1. はじめに
効果がない（乏しい）政策が漫然と行われ続けることは望ましいことではない。しかし、個々の政策がその目標に照らして役に立っているのか（効果があるのか）という因果関係を明らかにするためのツールは少なく、ほとんどの政策は効果があるのかないのかわからないのが現状である。
それが変わりつつある。因果関係を明らかにするための研究が学際的に進められ（因果推論や信頼性革命と呼ばれる）、こうした研究の成果に立脚して、政策形成に携わる人々が研究者と協働することを通じて、政策の効果を明らかにすることが可能となってきた。
日本ではEBPM（エビデンスに基づく政策形成）は和風化してわかりにくくなっているが（注1）、本来のEBPMは以上述べたような因果関係の検証を基礎とするもので、個々の政策が目指す目標（アウトカムとして定量的に示される）に対して実際にその政策が役に立っているか（効果があるのか）という問いを設定した上で、政策の効果についての因果関係の有無や程度を示すエビデンスを明らかにし、そのエビデンスを参照にしつつ政策形成を行うものである。
2017年頃の政府内におけるEBPMの議論の盛り上がりを受けて経済産業省でもEBPMを進める方向になり、その具体的な取り組みの1つとして、2018年度から経済産業政策のエビデンスを作る（効果検証を行う）作業の一端を独立行政法人経済産業研究所（RIETI）が担うこととになった。
RIETIが行う経済産業政策の効果検証の大まかな流れは次の通りである。まず、経済産業省において政策評価を担当する業務改革課が個々の政策の立案や運用に携わる担当課室と調整して、効果検証を行う案件を特定した。それらの案件について、RIETIの研究員が分析に必要な情報（補助金の採択企業・不採択企業のリストなど）を担当部局（業務が外部機関によって行われている場合には当該機関）から受領して分析を行った。基本的な統計データ（補助金の採択企業・不採択企業それぞれの売上高・雇用者数の平均値など）や分析方針について研究員から担当部局と業務改革課に対して中間的な報告が行われ、何度も議論を経た上で、分析結果を中心とした最終的な報告が行われて完結した。
政策の効果検証は行政官と研究員の協働作業として行われるが、両者は経験してきた環境が異なっており、仕事で用いる言葉や時間感覚や物事の詰め方など様々な面においてコミュニケーションが成立しにくい。筆者は経済産業省からRIETIへの出向者で、数年間のRIETIの経験で多少は研究者に近い仕事もしたので、EBPM担当のコーディネーターという肩書きで、両者の間に入る仕事に携わった。
以上がRIETIによるEBPM の活動の概要だが、論文化が可能なものについては、RIETIにおける内部レビューを経て、ディスカッションペーパー（DP）やポリシー・ディスカッション・ペーパー（PDP）として公表され、更に一部は学術誌への掲載に至った。これまでにRIETIの研究員が行った主なエビデンス作りとして、①中小企業に対する補助金の効果検証（注2、注3、注4、注5、注6）、②女性活躍を推進する企業として選定された「なでしこ銘柄」に選ばれたことの株価への影響（注7）、③日本貿易振興会（ジェトロ）が主催する輸出展示会への参加が輸出に及ぼす影響（注8）、④研究開発税制の効果の検証（注9）が挙げられる。
以下では、第2節で、RIETIで行われた政策の効果検証を知る上での基礎知識を述べ、第3節で、これらの手法を用いて行われた実際の経済産業政策の効果検証の例を紹介し、第4節でこれらの効果検証の際に直面した様々な課題について紹介していきたい。
2. 政策の効果検証を知る上での基礎知識
政策の効果を検証する場合には、当該政策の対象となった人や企業（以下では「介入群」）とならなかった人や企業（以下では「対照群」）を比較するのが基本となる。適切な比較対象がないと個々の政策に効果があるかどうかはわからない。また、比較対象が存在する場合でも単純比較では政策の効果は把握できない。
表1でエビデンスのレベル（高低）を示しており、レベルが高いほど信頼度が高くなる。政策の対象者だけの事後調査（セミナー参加者や補助金受給者への満足度調査など）、政策の対象者だけの前後比較、政策を受けた者と受けなかった者の単純比較はエビデンスのレベルが低く（レベル2以下）、何とかレベル3以上に持ち込むのが政策の効果検証に当たっての基本方針となる。
介入群と対照群の間の元々の違いを処理して政策効果を厳密に検証するための手法はいくつかあるが（表1のレベル3以上）、政策を実施する以前からの周到な準備が必要な場合が多い。以下では効果検証の黄金律として知られている①ランダム化比較試験（RCT）に言及した後、②経済産業政策の効果検証に実際に使われた回帰不連続デザイン（RDD）、③差の差分析（DID）、④傾向スコアマッチング（PSM）を紹介する。
①ランダム化比較試験（RCT, Randomized controlled trial）
介入群と対照群をあらかじめランダムに振り分けて（コイントスで表が出たら政策対象とするなど）介入を行う実験手法で、主に医療において行われてきた。RCTのポイントは群分けを偶然に任せることにあり、これによって介入群と対照群がほとんど同じ属性を持つようになるため、他の手法と比べてエビデンスのレベルが高い（表1のレベル5）。経済産業政策の効果検証でRCTが使われることはほとんどないが、政策の効果検証に当たってはどうやってRCTに近づけるかが重要になるため、RCTを知っておくとEBPMを理解しやすくなる。
②回帰不連続デザイン（RDD, Regression discontinuity design）
RDDでは、何らかの変数（ランニング変数）が特定の点数（カットオフ）を上回ると介入が行われてカットオフを下回ると介入が行われない場合に、カットオフの近傍のサンプルについては介入を受けた人々と受けなかった人々がランダムな振り分けに近くなることを利用して、介入の効果検証を行う。
図1は厚生労働省が行っている特定健康診査・特定保健指導（メタボ健診）にRDDを適用した例である（注11）。一定の条件を満たすと、BMI（体重を身長の2乗で割ったもの）が25以上では特定保健指導の対象となり、25未満では対象とならないことを利用して、保健指導の対象となることの翌年度のBMIへの効果を検証している。
RDDの強みは実験なしにRCTに近い分析が可能となることだが、カットオフ周辺のサンプルでしか分析が行えないという限界がある。また、介入の対象になろうとしたり外れようとしたりしてカットオフ周辺でランニング変数の操作が行われると正確な分析が行えなくなる。
③差の差分析（DID, Difference-in-differences）
ある政策が特定時点（T0）以降に特定の人々や企業を対象として行われ、それ以外に対して行われない場合には、前者を介入群、後者を対照群として扱って分析する。仮にその政策が行われなかったならば、T0以降の両群のアウトカムが平行に推移するという仮定（平行トレンド）の下、政策の効果を推定する（図2）。
T0以前に両群のアウトカムが平行に推移している場合、平行トレンドの仮定はもっともらしいと判断する場合が多いが、実際には平行トレンドが満たされないために分析まで進めない場合も多い。
④傾向スコアマッチング（PSM, Propensity score matching）
研究対象となる個々の人や企業についての様々なデータ（変数）を使って、それぞれの人や企業が介入を受ける確率（傾向スコア）を計算する。介入群の個々の人や企業と傾向スコアがほぼ同じ対照群の人や企業をペアにする（マッチさせる）と、傾向スコアを利用するために使った変数において、介入群と対照群の属性が揃ってきて、あたかも「疑似ランダム化」したように介入群と対照群の比較が行えるようになる。
ただし、「疑似ランダム化」が成功するためには介入の有無やアウトカムに影響を及ぼす重要な変数の数値がすべてわかっていてマッチングのための作業に使えることが必要である。実際にはこのような変数の中にはデータ化されていないものも多い（やる気や真面目さのような心理的な変数など）。この場合、PSM の分析そのものは行えても分析結果が真の値（通常はわからない）からかけ離れる場合がある。
平行トレンドが満たされないためにDIDによる分析がそのまま行えない場合などで、PSMによって介入群と対照群の属性を可能な限り近づけた上で、DID による分析を行うこともある（PSM-DID）。
3. 経済産業政策の効果検証の実例
3.1 中小企業への補助金
①ものづくり補助金
ものづくり補助金は中小企業への代表的な補助金である。2012年度に開始されたこの補助金は、各年度の予算額が1000億円程度、事業者への補助上限額も約1000万円と規模の大きなものとなっている。ものづくり補助金では、革新的サービス開発・生産プロセスの改善等を行うための設備投資等を支援することによって、地域の中核的な中小事業者の生産性向上を図ることが目的となっている。
ものづくり補助金では補助金の採択企業となるか否かの決定に当たっては、同補助金の受領を希望する企業からの申請内容を採点し、その点数を踏まえて採択企業を決定することになっていた。採択最低点（この点数を下回れば全て不採択）、不採択最高点（この点数を超えれば全て採択）が決められ、点数がその間にある場合には採択審査委員会が再審査して採択か不採択かが決められるという原則があった（図3）。このため、多少の無理はあるものの、RDDによる分析が可能だった（課題については後述する）。
RDDによる分析によれば、主要なアウトカムである生産性を表す3年間の1人あたり付加価値額の伸び率を始めとするほとんどのアウトカムにおいて、採択企業と不採択企業の間の有意な差は見られなかった（注2、注5）。
PSM-DIDによる分析も行われている（注4）。こちらでは付加価値額などで有意な差が見られたが、1人あたり付加価値額の伸び率についてはRDDによる分析と同様に採択企業と不採択企業の間の有意差は見られなかった。
②持続化補助金（注6）
「小規模事業者持続化補助金（以下では「持続化補助金」）」は、小規模事業者の生産性向上を後押しするために創設された。分析対象となった2013～2014年度の事業では、小規模事業者が販路開拓や生産性向上に取り組む費用の3分の2（上限は原則として50万円）が補助金交付された。事業者は経営指導員の指導の下で経営計画を作成して、当該計画に基づく取り組みを補助事業として申請することとなっていた。
補助金の採択は審査員によって採点された事業者毎の得点が一定の値（これがカットオフになる）を超えるか否かで決まったため、RDDの適用対象となった。分析の結果、補助金事業への採択が売上高などのアウトカムに及ぼす影響は見られなかった。
補助金を申請することによって、申請しない場合に比べて売上高などが伸びるかどうかも検証された。これは経営計画の作成が生産性向上に寄与したかどうかを検証することになる。PSM-DIDによる分析によれば、申請企業は申請しなかった企業に比べて売上高や生産性の上昇が見られた。
3.2 ジェトロの輸出展示会（注8）
日本貿易振興機構（ジェトロ）では輸出展示会・商談会を通じた輸出振興を行っている。
RIETIのEBPM関連の業務として、この輸出展示会・商談会の効果検証が行われ、Makioka（注8）において論文化された。
この研究ではPSM-DIDが分析に用いられている。分析は2段階で行われ、第1段階として、個々の事業者についての属性に関する情報で把握されているものを利用して疑似ランダム化が行われた（PSM）。第2段階で疑似ランダム化によって選ばれた企業の介入群と対照群のそれぞれについて、展示会参加前と参加後の数字の差を比較することによって、輸出展示会等への参加の効果を明らかにした（DID）。
分析の主な結果として、介入群が対照群と比べて展示会参加から1年後の輸出確率が約10%高く、これが輸出展示会等に参加することの効果と解釈されている。
4. 浮かび上がってきた課題
経済産業政策の効果検証に携わる中で多くの課題が浮かび上がってきた。大きく言えば、①EBPMフレンドリーな政策の制度設計、②分析に必要なデータが構築されて利用可能にすること、③関係者の利害によってエビデンスが歪められないことの3つである。
①EBPMフレンドリーな政策の制度設計の重要性
●施策の対象を裁量が入らない定量的な審査基準に基づいて決める
多くの補助金制度を始めとして、個人や法人がある施策の対象となるか否かを決めるに当たっては、あらかじめ定められた得点を超える場合のみを対象としたり、得点を超えた場合のみに2次審査の対象としたりする場合が多い。このような取り扱いは施策の効果を高めることや審査の透明性の確保などを意図しているが、後々の政策効果の検証を行う上で有意義である。
本稿の例では、持続化補助金の効果検証で典型的なRDDによる分析が行われている（注6）。これは申請した事業者毎に採点を行い、一定の得点を超えたら補助金を交付すると決めていたために実施可能になった。
ものづくり補助金もRDDによる分析は行われているのだが、こちらは困難が伴った。上述のとおり、採択最低点と不採択最高点を決めた上で、その間に入る企業については採択審査委員会が再審査して決めることとなっていたが、初期のものづくり補助金では、補助金採択が審査点に依拠していない部分があり、必ずしも原則が守られていなかった（注2）。このため、RDDによる分析そのものは行われたのだが、分析の信頼度に疑問があった。井上・橋本・坂下・角谷（注5）による分析が行われた平成27年度の同補助金では原則が遵守されるようになった。これによってRDDの分析結果の信頼性が上がることとなった。ただ、依然として、採択の基準となる点数（カットオフ）が2つ存在することになるため、分析結果を2つ示す必要がでてきて、わかりにくくなった。
以上のことは、あらかじめ決められた定量的な審査基準を満たしたかどうかの判断に当たって裁量の余地が入らないようにすることの重要性を示している。
●施策の対象となるか否かを偶然に委ねる部分を作る
ジェトロへの輸出展示会への参加についての効果検証（注8）では、参加を事業者が自らの意思で決めることができ、上記のRDDの適用事例のような審査によって参加者を決めるプロセスが存在しなかった。これは分析に当たって自己選択バイアスという課題を生じさせることとなった。たとえば、輸出意欲を失った企業が輸出展示会に参加しなくなる傾向が強いとすると、輸出展示会に参加しなかったために輸出確率が低くなったのか、それとも、輸出意欲を失ったために輸出確率が低くなったのかの区別がつかない。似たようなことは持続化補助金の申請についての効果検証（注6）でもありうる。申請するかどうかを自らの意思で決められるためである。
Makioka（注8）やTakahashi and Hashimoto（注6）では、傾向スコアマッチングを用いることによって対応しているが、この手法による疑似ランダム化では、計測されていない属性についての情報を介入群と対照群の間で揃えることは難しいため、疑似ランダム化が本来のランダム化から乖離しているかもしれないという懸念はどうしても残る。
こうした限界は分析に携わる者では如何ともしがたく、政策を立案する段階で研究者のアドバイスを受けながら何らかの工夫をすることが必要になる。その1つとして奨励デザインがある。奨励デザインでは政策の対象となりうる人や企業をランダムに介入群と対照群に分けた上で、介入群のみに政策措置への参加を促す。この場合は、当該政策措置の対象となるかどうかは案内を受けた側の任意になるが、奨励という介入により行動を変化させる人や企業、つまり奨励により政策に参加する人や企業にとって政策の効果がどの程度か推定できる。
例えば、持続化補助金の対象企業が予算額に比べて多くなりすぎそうな場合には、審査を通過した企業の中から抽選で補助金交付企業を選ぶことにすれば効果検証を行いやすくなる。別な方法として、あらかじめ抽選で決めた範囲の中小企業に募集をかけても効果検証を行いやすくなる。また、ジェトロの輸出展示会などで、募集企業数に対して参加企業数が足りなさそうで、何らかの宣伝が必要になった場合には、たとえば電話で勧誘する企業リストを作成して、そのリストの作成の際に偶然の要素を盛り込むことが望まれる（電話番号の末尾が偶数の企業にのみ電話するなど）。生真面目さを捨てて何らかの偶然的要素を盛り込むことが、効果のある政策かどうかを見極めるという価値を生むことになる。
ランダム化みたいに偶然に委ねることへの抵抗を感じる場合は、何らかの数値を使って基準を作ることも可能である。たとえばジェトロの輸出展示会への小企業の参加を促すため、従業員が37名以下の企業だけにダイレクトメールを送るといったことが考えられる。37名というのは全く根拠のない数字だが、根拠がないが故に信頼できる分析が行いやすくなる。このダイレクトメールによって従業員37名以下の企業が38名以上の企業と比べてセミナー参加率が著しく高くなっていれば、RDDによる分析が可能になる。
②分析に必要なデータが構築されて利用可能にすることの重要性
ものづくり補助金の場合、政府統計である工業統計調査と民間信用会社の東京商工リサーチ（TSR）の企業情報データが分析に用いられている。持続化補助金ではTSRの企業情報データが分析に用いられている。ジェトロの輸出展示会の効果検証では政府統計の企業活動基本調査が分析に用いられている。
外国の研究によると、補助金の効果や輸出支援の効果は大企業よりも中小企業の方が大きいことが知られているので、本来であれば中小企業の分析が欠かせない。ところが、中小企業、とりわけ零細企業は上記のデータから漏れてしまう場合が多い。これも一つの原因と考えられるが、ものづくり補助金と工業統計調査の接合率は50～70%で、ものづくり補助金とTSRのデータの接合率は50%前後、持続化補助金とTSRの企業情報データの接合率は概ね33%となっており、零細企業を中心として分析できない企業数がかなりの量にのぼった。
また、ものづくり補助金の場合、初回は対象が製造業だけだったが、2回目以降はサービス産業も含まれているため、分析対象が限定的になった。本当は業種横断的な政府統計である経済センサスを使った分析を行いたかったのだが、調査が5年に1回に限定されていることから断念した。
以上のとおりそれぞれの統計については制約があって効果検証のブレーキになるのだが、このブレーキが更に強化される傾向が見られる。
代表例が政府統計の中の工業統計調査で、小規模な製造業もカバーしていて、ものづくり補助金の効果検証を行う上で重要なデータだったが、経済構造実態調査に吸収されることになり、調査対象が従業者数4人以上の事業所から売上高が上位9割へ変更したために、零細企業のカバレッジが減少することとなった。
日本国内に現存するデータで、経済産業政策の効果検証を行う上で今後最も期待されるのは国税庁が保有する法人関係の税務情報である。税務情報はほとんど全ての営利企業をカバーしていると思われ、ほぼ毎年のデータが存在し、法人番号が付与されており、分析に必要な条件がほぼ揃っている。厳格な条件の下で一部の研究者にアクセスが許されており、論文化されたものも出ている。企業関係の様々な補助金などの効果検証を税務情報によって行うことができれば最も信頼できる分析結果が得られる可能性が高い。この面での進捗が期待される。
以上の話は主としてアウトカムについてのものだが、補助金の採択企業・不採択企業、審査得点などの業務情報もまたEBPMにおける重要なデータである。本稿で述べたEBPM関係では守秘義務の遵守を主たる内容とする覚書を締結することでRIETI側がこれらの業務情報にアクセスできたが、一般的には業務情報に研究者がアクセスすることに対するハードルは高い。行政機関が保有する個人情報の研究目的での研究者への提供が可能であることを明記した個人情報保護法第69条を踏まえつつ、業務情報の研究目的のための提供についての改善が望まれる。
③関係者の利害によってエビデンスが歪められないことの重要性
本稿で取り上げた中小企業の補助金やジェトロの輸出展示会の効果検証は、筆者の実感では奇跡的にうまくいった事例である。その背景として、EBPMの立ち上げ期だったこともあって経済産業省の担当課（業務改革課の前身である政策評価広報課）の職員がEBPM 推進への熱意を持っていたこと、中小企業庁の担当者が留学帰りでEBPMの推進者であったこと、ジェトロの職員が前向きに協力してくれたことなどの事情があった。
ただ、これは一般化できない。多くの行政官にはEBPMを自ら推進しようとするインセンティブは乏しい。仮に自分が担当する政策に効果がないことが明らかになれば、役所のトップや政治家やマスコミ相手に釈明を迫られたり、場合によっては政策の廃止も含めた見直しを迫られたりするかもしれない。そんなに大変なことになる話からは逃げたくなるのは自然なことだ。
エビデンスを作らないインセンティブが行政官にある一方で、コロナ禍以後はエビデンスという言葉が世間に定着し、個々の政策についてエビデンスはあるのかという声があちこちから出るようになった。このため、対外的な説明を行えるようにするために何らかのエビデンスを作る必要性を行政側が認識している場合は増えている。その一方で、政策に効果がないというエビデンスを作られても困るので、政策に効果があるという結論を導くようなエビデンスを出すための操作が行われ（PBEM（policy based evidence making）と呼ばれる）、世間で流通するエビデンスが政策の本当の効果と乖離してしまう恐れがある。筆者はこれをEBPMのハイジャックと呼んでいる（注12）。
経済産業政策のEBPMでハイジャックが行われているかどうかの証拠を筆者は持っていない。ただ、経済産業省からRIETIに政策の効果検証案件を持ち込むことは以前よりも減っている一方で、経済産業省の政策担当部局が民間シンクタンクに効果検証を依頼するという話は何度か聞いた。民間シンクタンクに効果検証を依頼すると顧客である行政側の意向を反映しやすくて都合がいいということはあるかもしれないが、PBEMに陥るリスクにも留意する必要がある。RIETIは経済産業省からの交付金で運営されていて同省の監督下にある独立行政法人なので、経済産業政策の効果検証において同省にコントロールされているという疑念を持たれる立場にある。こうした疑念を払拭するためには、経済産業省職員とのコミュニケーションを重視しつつも、役所への忖度に陥ることのない中立性の確保に向けて特段の注意を払う必要があるだろう。
5. おわりに
政策の本当の効果を明らかにして効果のないものはやめるというのは国民から見れば望ましいことだ。しかし、個々の行政官や利害関係者（補助金の受給者、補助金制度の運用主体など）からみれば、これは必ずしも望ましいことではない。このギャップをどう埋めていくかがEBPMの最大の課題になる。
なかなか良い解決策は思い浮かばないが、少なくとも、政策の本当の効果を明らかにしようとする本来の意味でのEBPMに取り組む部局やそこで働く行政官を前向きに評価するような行政機関（更には日本政府全体）であることが望まれる。
＊本稿は、2023年１月号の月刊誌『統計』に掲載されたものを、一般財団法人日本統計協会の許可を得て、転載したものです。
