施策評価におけるデータ収集の苦労
2008年から2011年にかけて博士論文を書いた際、最も苦労したのは分析データの収集でした。テーマは、ベンチャー支援策の効果の研究で、中小企業基盤整備機構の実施するベンチャーファンド出資事業を中心に政策の効果を分析する試みです。
分析手法としては、OECDの政策評価アドバイザーを務めるDavid Storey教授の評価フレームワーク（図1）（注1）を参考にしています（OECDでは、現在もこの6つのステップを中小企業政策評価のモデルとしています）。
当時はハーバード大学のJosh Lerner 教授が実施した米国政府のSBIR（Small Business Innovation Research）の分析（注2）が有名であり、第五段階の評価をしていたので、それと同等の分析をすることを目標としました。支援先ベンチャーのデータを入手し、その企業と規模や業種等の属性が同等である非支援企業（支援を受けていない企業）のグループを作成。両グループの間で、支援実施後の売り上あげや従業者数などがどのように変化したかを比較するのです。
ところが、ここで問題が発生。支援先と比較する企業群のデータが簡単には集まらないのです。 ベンチャー企業は新規性と成長性のある企業と定義づけられ、その性質上不確定な要素（注3）を多く抱えるので、成長の度合いも企業によって大きく異なります。中小機構ファンドの支援先も、さまざまな成長段階にあり、それにマッチする企業を見つけることは至難の技だったのです。
結局、帝国データバンクの企業概要データベースCOSMOS2（注4）のデータを使い、161社の支援先企業と類似する非支援企業を233社、苦労しながら抽出して、両者を比較しました。検定の結果、支援先企業が有意に売り上げ、従業者数を伸ばしていることがわかりました。また、重回帰分析で支援先企業の生産性が向上することが確認できました。無事、論文は完成したのですが、研究にかける多くの時間をデータ探しに奔走したプロジェクトでした。
新しい分析手法との出会い
その5年後、ベンチャー支援の実務に従事する中、スタンフォード大学の星岳雄教授から新しい分析手法のご紹介をいただきました。
Lerner教授の指導を受けた、Sabrina Howell氏の論文（注5）です。この論文ではSBIR制度で実施されたエネルギー関連のベンチャー支援の効果を"Regression Discontinuity Approach（RDアプローチ）"という新しい手法で分析しています。
前述のとおり、従前より施策の効果測定には、施策利用企業と属性が近い非施策利用企業のマッチンググループを作り、比較をする手法が採られていました。しかし、この方法ではデータの収集・整備に労力がかかる、公的施策を志向する企業とそうでない企業のバイアスを制御できないといった課題があります。また、施策を利用しなくても成功した企業を採択していること（Winner Picking）の有無を評価できないという面もありました。
RDアプローチでは、審査員の評点など客観的なスコアによって採択の可否を決める施策について、採択案件と非採択案件でスコアの近いもののパフォーマンス（売り上げ・雇用などの業績）のデータを収集し、回帰分析によって施策実施前後のそれらの変化を比較することを通じて、施策が実際に効いているかどうかを評価します。
この分析手法では、採択・非採択の境界線に近いデータを分析するので、必要なデータが少なくてすみます。また施策を志向している2つの企業群の比較なので、施策志向バイアスもありません。さらにスコアとパフォーマンスの関係を見れば、Winner Pickingの判定もできます。
図2にその基本的な考え方を示します。横軸が採択時の審査における企業のスコア、縦軸が一定期間経過後の企業のパフォーマンスです。Cの縦線は採択と不採択を分ける採択ライン。ここでABは施策がない場合の評価とパフォーマンスとの関係を示します。採択時のスコアが良い企業はパフォーマンスも良くなっているという仮定です。ここで、施策の効果があったとすれば、採択企業群のパフォーマンスはFBからDEにシフトすることになります。このシフトがあったかどうかを分析するのが、RDアプローチの仕組みです。
早速、星教授と東京大学大学院の岡崎哲二教授にお願いして、この分析手法を使って、経済産業省新規産業室で補正予算により実施した「新事業創出目利き事業（Jump Start Nippon）」の政策評価プロジェクトを共同で進めています。収集するデータの量が必要最小限であるため分析の着手が速く、研究の進展も順調で明確な分析結果が出ており、近々発表の予定です。
施策評価と実務面から見たEBPM
EBPM（evidence based policy making）が注目されている現在、その推進にあたって、改めて、個別施策の評価が重要となっています。評価手法も進化しており「ABテスト」としてビジネスで消費者行動分析などに使われているRCT（Randomized Controlled Trial）を使った精緻な施策効果の測定がなされたり、本稿で取り上げたRDアプローチなどの活用も増えてきました（注6）。このような新しい分析手法を積極的に活用して、実務上でも前向きに評価に取り組むべきと考えています。
そのためには、施策の制度設計にデータ収集など評価のデザインを組込むことが第一歩となります。例えば、ベンチャー支援策をRDアプローチで分析するには、採択企業と不採択企業の施策実施前と施策実施から一定期間経過後の売上、従業員数、資金調達などのデータが不可欠です。これらをフォローできるように、募集要綱の中にアンケート調査への協力など、データを集める仕組みをあらかじめ入れておくことが大切。制度設計時から評価データの収集を意識し、適切なデータで適切な評価をすることで、施策評価が効率的にできます。施策評価の分析が多く出ることによって、施策間の効果の比較も可能となり、EBPMの進展に貢献すると考えています。
最後に解決が可能かどうかは別として、実務サイドから見た日本のEBPMの課題を2つ挙げたいと思います。
1つめは、「制度の継続」。Lerner教授の著書"Boulevard of Broken Dreams"（注7）に、政策にはリードタイムが必要と指摘されています。確かに、施策が浸透するには数年かかる場合がありますし、人材育成や産業のエコシステム形成を目指す施策ではその効果が出るのに数十年を要するものもあります。分析の観点からも一定の期間継続された施策でないとデータの数の不足や時系列の分析ができないなどの問題が出ます。
しかし日本の施策は実施期間が短いのが現実です。通常3年から5年で制度が入れ替わります。補正予算事業では1年だけのものもあります。評価のために施策を継続するのは本末転倒ですが、EBPMの推進を機会に、施策の継続と効果の関係が明らかになり、近時の施策実施の過度の短サイクル化の改善を進めるべきと考えています。
2つめは、「評価結果の反映」。現在の予算査定や事業評価では、施策評価の結果が十分に活用されていないきらいがあります。確かに事業評価等でのレビューは毎年実施されていますが、実際の運用では予算削減、廃止のみを目指しているように見受けられます。よい評価結果が出たので、予算を大幅に増額したという話は聞いたことがありません。無駄を削減するという観点は大事ですが、あわせて効果のある施策は大きく伸ばしたり、中長期で継続したりするということも必要。減点方式でなく、良いものは加点するというインセンティブがあれば実務サイドでも施策評価に積極的に取り組むのではないでしょうか。
EBPMの議論が進む中、今後、新しい分析手法などを使った施策評価や、評価に基づく政策の検討が本格化し、政府の取り組みの効果が向上することを期待しています。また、実務サイドの一員として担当施策の評価にしっかりと取り組んでまいりたいと考えています。
