政策効果 星の林に 漕ぎ隠る見ゆ

2020年のノーベル経済学賞は、観察データから統計的に因果関係を推論する取り組みに対する貢献に与えられた。このような因果関係を実証分析する手法は、「エビデンスに基づく政策形成」（Evidence-Based Policy Making：以下EBPM）を推進する際の強力なツールとなる。日本においてEBPMのエビデンスという言葉が指す範囲にはまだ議論があるものも、統計的な因果推論に基づいた政策効果の推定は、今回の受賞によって政策形成におけるエビデンスとしての地位を高めたと言えるだろう。その一方で、このような学術的な研究手法を直接EBPMの枠組みに持ち込む際に心配事がある。このコラムでは、その心配事と、もし自分が政策担当者であればどうするかを考えてみる。

観察データに対して、もっともらしい因果関係としての政策効果を見いだそうとすると、皮肉なことに統計的に有意な分析結果を得られないことがある。つまり、「政策効果が有るのか無いのか分からない（注1）」という結果である。これは、よりもっともらしい推定手法を観察データに適用しようとすればするほど生じやすい現象である。

ここでいう観察データとは、経済主体（人々や企業）の自発的な行動の結果を記録したものをいう。このような観察データを用いて、政策効果の実証分析を行うには困難を伴う。自然科学の実験のように、政策実施の有無を無作為に経済主体に割り当ててるわけではないからである。そのため観察データの中で、政策の対象となった経済主体と、政策の対象にならなかった経済主体を比べるだけでは、政策の効果を推定することはできない。

例えば、雇用が少ない企業に対して、雇用水準を向上させる目的で補助金を配るような政策について、その政策効果としてのアウトカム変数、すなわち雇用がどれだけ増えたかを推定するとしよう。まず政策実施後の観察データから、政策の対象となった企業の雇用量と、政策の対象にならなかった雇用量を比べるだけでは有用ではない。もともと雇用が少ない企業が政策対象になっているので、政策実施後でも政策対象になった企業の雇用量は、政策対象でない企業よりも雇用量が少なくても不思議ではない。そのため、政策の対象となった企業の雇用量と、政策の対象にならなかった雇用量との差を、政策効果の推定値とすると、本来の政策効果よりも過小評価されたものとなる。

観察データから統計的に因果関係を推論するというのは、このような政策の効果が過小あるいは状況によっては過大評価されてしまう時に、よりもっともらしく政策効果を推定する手法である。補助金の文脈に即して、この手法のアイデアを手短に述べると、政策の有無をあたかも実験のように割り振られている企業だけを比べるというものである。

しかし、この手法では推定値の標準誤差が大きくて明快な分析結果が出ないことが多くある。観察データの中から非常に限られた情報を用いるために、実質的なサンプルサイズが政策効果の有無を検出するためには不十分となりやすいからである。標準誤差の大きさは、推定値の信頼区間を大きくさせ、信頼区間に0を含みやすい。すなわち「政策効果が無い（0である）」という帰無仮説を棄却できないという意味で、統計的に有意でない結果を生じさせやすい。そしてこの現象は時に、本来は効果がある政策であっても、データ上では有意でないために、効果が無い政策と等閑視されるという（学術的には言い過ぎな）事態を引き起こす恐れもある。

もし自分が政策担当者とすれば、この現象にどのように抗うべきだろうか。まず考えられるのは、十分な分析ができるようにデータのサンプルサイズを増やすか、データの質を高めること。または、観察データを諦めて、自然科学の実験のような形で政策を実施し、効果を検証することが絶対的に正当な方法だろう。しかしどちらの方法も、かかる政策コストが大きすぎることがあるかもしれない。

そもそも、因果関係の推定にこだわった結果「政策効果が有るのか無いのか分からない」という現象が起きたとして、せっかく集めた観察データにはエビデンスとしての価値はないのだろうか。筆者はそうは思わない。政策効果の実証研究では見逃されがちだが、一方EBPMの枠組みにおいては、信頼区間の上限を超えた極端に高い政策効果の見積もりを棄却できるエビデンスとしての力がある。この力を有意義に使うためには、政策を実行する前に、期待される政策効果を数量的な単位で見積もっておくことが考えられる。

筆者はさっき、『「政策効果が無い（0である）」という帰無仮説』と書いた。実際、多くの実証研究における帰無仮説において政策効果を0以外の値に設定する必然性はなく、0に設定している。しかし帰無仮説を「真の政策効果は、事前に見積もっていた政策効果と等しい」と設定することは可能であり、事前に見積もっておいた効果が高すぎないかを検証する意味において観察データからエビデンスとしての力を引き出すことができるだろう。もちろん見積りを政策実施前に定めて検証する枠組みを作ることにも政策コストは生じるであろうが、事前の実験や統計データの整備に比べれば安価であろう。

ここで述べた、政策の効果を事前に見積っておき、それが高過ぎないかを事後的に検証する枠組みは、結局のところ信頼区間が大きい問題を解決していない。一方で、それ以外の便益があると考えられる。まずは、政策実施に当たっての予算の策定の際に、予想される効果を数量的に見積もることで、予算と政策の便益とのコストパフォーマンスを見える化できる。また、この時、事後的に検証されるという枠組みがあれば、高すぎる効果の見積もりからの高額な予算請求を抑制できる。

データ上では統計的に有意ではないために効果が無い政策と見なされる学術的には少し言い過ぎな言論に対して、事前に期待していた政策効果についても棄却されていないという反論は、力技としては成立するだろう。また、「真の政策効果が期待よりも下回っていたか」を検証する際には、信頼区間を短く取る方が政策実行者にとって辛く保守的な評価になることも最後に指摘しておきたい。