エビデンスに基づく政策形成に必要な「データ分析の力」とは？

昨今「エビデンスに基づく政策形成（evidence-based policy making）」の重要性が指摘され始めている。政策立案や政策改定の際には「科学的なデータ分析によるエビデンス（証拠）」に基づいた議論を行うべきだ、という考え方である。米国や英国で始まったこの概念は各国に飛び火し、昨今では日本の官公庁でも関心が高まっている。

こうした動きを加速するためには、エビデンスを利用する実務家側にも「データ分析結果を正確に理解する力」や「怪しいデータ分析結果には騙されない力」が必要である。しかし、残念ながらそういった理解が広く浸透しているとは言い難いことが最近の調査で明らかになってきている。

本稿では著者の近刊である『データ分析の力：因果関係に迫る思考法』（光文社新書）の一部を用いて、エビデンスに基づく政策形成実現のために必要となる「データ分析の力」とはどのようなものなのかを考えてみよう。

RIETIでは「エビデンスに基づく政策形成の実態」についての調査を行った（森川、2017）。中でも興味深い調査項目の1つは、エビデンスに基づく政策形成を実行に移す際の障害について政策実務者、政策研究者に質問した結果である。

結果を見ると「統計データの解析や研究を理解するスキルが職員に不足している」という回答は実務者・研究者ともに約2/3にのぼっており、官公庁職員の分析スキルを高めていくことが、エビデンスに基づく政策形成のインフラとして不可欠なことを示唆している。

「統計データの解析や研究を理解するスキル」は多岐に渡るが、中でも重要なのはデータ分析で明らかにされた結果が「単なる相関関係を示しているにすぎない」のか「政策が効果を及ぼした因果関係」を示しているのかを見極める力である。

たとえば以下の例を考えてみよう。読者は上司から「省エネ補助金の実施は企業の省エネに影響しているのか？」という政策課題へのエビデンスを探すよう求められた。そのため、過去のデータを集めてみることにした。

データを見てみると次のことが分かったとしよう。ある企業Aは2011年に省エネ補助金へ申請を行い、500万円の補助金を受けた。企業Aについて集計されたデータを見ると、生産量1単位あたりのエネルギー使用量は2010年では100であり、2012年においては80であった。

このエビデンスを根拠に、上司に対し以下のような報告をしたとしよう。

「下記の図を見ていただくと分かるように、省エネ補助金交付による影響で、生産量1単位あたりのエネルギー使用量が20%減少したことがわかりました。そのため、省エネ補助金を交付すると大きな省エネ効果が得られると期待できます。」

さてここで、なぜこの結論が間違っている可能性があるのか考えてみよう。ここでは、省エネ補助金がエネルギー消費量に及ぼした影響をデータ分析結果から主張したいわけである。しかし、2010年と2012年のエネルギー消費量へ影響を及ぼした要因は、省エネ補助金の交付以外にも様々なことが考えられる。

たとえば、2010年に比べると2012年は比較的涼しい夏だったため、気候条件の影響で生産工場におけるエアコンの消費が減ったのかもしれない。もしくは、2011年に起きた東日本大震災による影響で企業Aの社員たちの省エネ意識が高まったのかもしれない。また、企業Aは補助金交付の可否にかかわらずエネルギー効率の良い新規機器の導入を2011年に既に予定していたかもしれない。そうすると、このデータ分析からでは「省エネ補助金が20%の省エネ向上をもたらした」という因果関係は判定できないのである。

つまり、図が示しているのは「省エネ補助金交付」と「エネルギー消費量」の相関関係ではあるが、因果関係かどうかは分からないのである。「気象条件の違い」などのデータは収集可能であり、統計分析を用いて影響を除外することができるかもしれない。しかし、「社員たちの省エネ意識の変化」や「この企業はそもそも設備投資を2011年に行う予定であった」というようなデータは収集が難しく、これらの要因を省かない場合、相関関係を根拠に政策効果（因果関係）を主張することはできないのである。

単なる相関関係を誤って因果関係と解釈してしまうと、本来は効果のない政策に対して「政策効果があった」と結論付けてしまい、税金の無駄遣いを招くことになる。また、全く逆の問題も起こる。それは「本当は大きな効果がある政策」に関しても、相関関係を誤って因果関係と解釈してしまうことにより「政策効果は小さかったので今後はこの政策は廃止すべきだ」という誤った結論を誘発してしまうのである。

説明をされてみると「相関関係をエビデンスとして政策形成をすべきではない」ということは比較的容易に理解できる。しかし、現実の政策現場で「データ分析専門家」から提供される結果が単なる相関関係であることは非常に多く、またそれがあたかも因果関係を示す「エビデンス」として提示されることも多い。そのため、エビデンスを利用する実務家がこの違いを理解しておくことはさまざまな場面で重要になってくるのである。

オバマ政権下で発足した「エビデンスに基づく政策のための評議会」では、政策効果の因果関係を科学的に提示できるデータ分析手法の利用を推し進めている。

最も信頼度の高い科学的検証法は「ランダム化比較試験（RCT）」と呼ばれる方法である。日本での実例の1つは著者も関わった経済産業省・資源エネルギー庁による「社会システム実証実験」である。また、たとえランダム化比較試験が実行不可能な場合でも、社会実験が行われた状況と非常に近い状況を利用するという「自然実験」と呼ばれる手法が開発され続けている。

これらの手法に関心のある方は伊藤（2017）を参考にしていただければと思うが、国際的な流れとして重要なのは、米国や英国の「エビデンスに基づく政策形成」ではエビデンスを利用する実務家側が科学的分析をエビデンス提供者に求める動きが広がりつつあることだ。極端な場合は（例えば米国エネルギー省における事例）こういった科学的分析手法以外の分析結果はエビデンスとして認めない、という発令を行う場合もある。まさに、分析結果を利用する実務家側が分析結果提供者へ厳しい要求をすることにより、信頼度の高いエビデンスを政策議論へ利用していく流れを作り出しているのである。

科学的な分析によって得られたエビデンスを実際の政策形成に生かす作業も各国で始まっている。たとえば著者やカリフォルニア大学バークレー校の研究者が行った電力価格に関する研究結果はカリフォルニア州政府の政策決定会議で利用されている（Borenstein, 2012, Ito, 2014）。会議では「複雑な料金体系は消費者に混乱を与えてしまい、予期していた政策効果が得られないという分析結果が出たため、料金体系の簡易化・明瞭化が必要である」という結論が出され、その後実際にカリフォルニア州の電力料金体系の簡易化・明瞭化が進められた（CPUC, 2015）。同様の例として、米州開発銀行は「開発途上国の子どもたちに無償でノートパソコンを配る」という政策を進めていたが、科学的なデータ分析により政策効果が無いことが示されたため、この政策を廃止し、新たな開発政策を試行することになった（Cristia, 2012）。また、シカゴ大学犯罪研究所とシカゴ市は共同でさまざまな政策の効果分析を行い、費用対効果の低い防犯政策は廃止・縮小し、費用対効果が高い政策を推進する取り組みを続けている（Heller, 2015）。

我が国でも信頼性の高いエビデンスを作り出していくと同時に、どのようにすれば政策形成の場でエビデンスを有効に活用できるのか、という議論も始めていく必要がある。