データ ≠ エビデンス

f:id:mendota:20180609191311j:plain

 前回に引き続き、「根拠に基づいた政策形成(EBPM)」の話。

 このブログでも過去に取り上げた、保育園通いと子どもの発達の関係についての研究についてたびたび講演を行っている。*1

 幸い、多くの方に関心を持っていただき、講演ではたくさんの質問をいただく。特に多いのは、「幼稚園と保育園では子どもの発達に違いは出るの?」、「認可保育所無認可保育所での違いは?」、「どういう保育所が子どもの発達にいいの?」といったものだ。

 実際にはもう少しマシな答え方をするものの、率直な答えは「信頼性の高い研究がないのでわかりません」というものだ。なぜわからないのかと続けて聞かれれば、そもそも調査が行われていない・データが無いためだと答えているが、実はこれは半分正しくて、半分正しくない。 labor-econ.hatenablog.com

データだけでは不十分

 私の経験した範囲では、一般の人々のみならず、教育の専門家・研究者でも、調査を行えば上の疑問に対する答えが得られると思っている人は多い。しかし、調査が行われてデータがあるというのは必要条件に過ぎず、データがあるからといって必ずしも上の疑問に対する答えを得られるわけではない。

単純な比較から因果関係はわからない

 「保育園通い」の効果を知るにはどうしたらいいだろうか。すぐに思いつくのは、保育園に通っている子どもと、通っていない子どもの発達状態を比較することだ。

 しかし、保育園に通っている子どもと、通っていない子どもの間では、家庭環境が大きく異なる。21世紀出生児縦断調査によると、保育園に通っている子どもの母親の24%が四大卒以上であるのに対し、通っていない子どもの母親では、四大卒は19%である。

 したがって、保育園に通っている子どもと、通っていない子どもで発達状態を比較しても、その違いが保育園通いの有無のためなのか、母親の学歴に代表される家庭環境の違いを反映しているのか区別がつかない。データがあっても、単純な比較から「保育園通いの効果」を知るのは極めて難しいのだ。

広義の「実験」が必要

理想的には社会実験を

 「保育園通いの効果」を知るためには、データがあることに加えて、広い意味での「実験」が行われる必要がある。理想的には、薬の効果を検証するためのものと同様な実験があるといい。つまり、無作為に保育園に通う子どもと通わない子どもを決めて、その後の発達を調査するのだ。もっとも、そんな実験は倫理的に問題があるし、やったとしても、拒否する人が多くて上手くいかないかもしれない。

自然実験による因果関係の解明

 もう一つの方法は政策変更を利用するやり方だ。私達の研究では、2000年台に子ども一人あたりの保育所定員が増えた地域と、あまり増えなかった地域を比較している。*2 2000年時点では、両地域の経済的な豊かさなどに大きな違いがなかったため、両地域における2000年台の子どもの発達の変化の違いは、保育所利用の変化の違いに帰着できると考えられる。

 こうした政策変更をある種の社会実験とみなし、自然実験などと呼ぶことがある。人為的に行われた実験ではなく、自然の手で(ここでは政治家・政策担当者の手であるが)あたかも社会実験が行われたようにみなせるためである。

データと「実験」の両者が因果関係の解明には不可欠

 こういうわけで、何かの「効果」を知るためにはデータが手に入っただけでは不十分なのである。理想的には社会実験、それが無理ならば分析に適した自然実験を見つけてこなければならない。ここが経済学者を始めとする、社会科学者の腕の見せ所でもあるのだが、相当な訓練を積んでようやくできるようになるようなものだ。因果関係の解明というのは、とっても大変な作業なのである。

*1:日経新聞の「経済教室」や、現代ビジネス(記事1記事2)でも記事を書いているので、そちらも見てほしい。

*2:ここでは研究の基本的なアイデアについて述べている。厳密に何が行われたかを知るには論文自体を読んでほしい。