エビデンスに基づく政策立案を根付かせるために（議事概要）

中島 厚志（RIETI理事長）

日本経済の中長期的な成長の実現に向けての経済産業政策のあり方などについて、客観的なデータに基づく理論的、実証的な研究を行うとともに、政策に貢献することが、RIETIのミッションです。1年前にも「エビデンスに基づく政策立案を推進するために」と題したシンポジウムを開催いたしました。この1年の間に、EBPMへの関心は一層高まり、その実践も広がりを見せています。この状況を踏まえ、今回はEBPMを「根付かせるために」という、さらに進化したテーマでシンポジウムを開催することができ、大変喜ばしく思います。

RIETIでは本日のスピーカーの1人でもある、山口一男先生を中心に「日本におけるエビデンスに基づく政策の推進」というテーマで研究プロジェクトを進めています。今回のシンポジウムでは研究成果をご報告いただくとともに、教育・医療・環境といった各分野におけるEBPMの現状、EBPMの理論と方法などについて、第一線の専門の研究者と政策当事者からお話しいただきます。本日のシンポジウムが、EBPMについての皆様の知見を深めるとともに、今後一層の定着につながることを期待しています。

山口 一男（RIETI客員研究員 / シカゴ大学ラルフ・ルイス記念特別社会学教授）

今年ほど、エビデンスに基づかない政策立案の弊害を感じたことはありません。政治主導の政策によるマイナス面が多く見られ、行政に対する国民の信頼が損なわれることとなりました。与党の政策立案に対し、野党がエビデンスを求めると、エビデンスがない、または野党の批判を支持するようなエビデンスが見つかったために事実を捻じ曲げるといった事例が多発したように思います。

例えば裁量労働制の改革、入管法改正、改正水道法などは、意図する結果が起こるために必要なエビデンスに欠け、このため裁量労働者の無償長時間労働の拡大、外国人労働者の人権被害拡大、水道代の高騰や水質の悪化などの、意図せざる政策の失敗に結び付く可能性が大きいと考えられます。これらは、これまで国民に比較的信頼されていた日本の行政が、政策にあわせて事実の確認を怠ったり、事実を捻じ曲げたりするなどをしてきたことを示し、家屋で言えば土台が崩れかかっていることを露呈したような状態です。これは、雨漏りを放置したことが原因かもしれません。政策立案の杜撰さや行政の信頼低下という「天漏り」には迂遠なようでも「屋根の修理」、つまり「EBPMを根付かせる」ことが必要なのではないでしょうか。そして、これが将来的には国の土台を強化するものと信じ、粛々と取り組みを進め、ひいては行政の信頼回復に繋がることを願っています。

中室 牧子（慶應義塾大学総合政策学部准教授）

教育に科学的根拠が必要な理由

教育の分野では、米国の"Scared Straight"のように、期待していた成果が得られないばかりでなく、逆効果となってしまった政策も多数存在します。就学期の生徒は発達や情緒の面で変化が早く、介入が行われなかったとしても生じた変化を介入の効果と誤解しやすいからです。よって、教育における政策には特に、科学的に信頼できる評価が必要です。そのためにも、いきなり全国展開ではなく、モデル事業・特区・規制のサンドボックス等、実験的に事業を行うことのできる環境をフル活用して、科学的に信頼できる評価を行い、期待した成果を挙げられた政策のみを拡張するという「小さく始めて大きく育てる」方が望ましいと考えています。

教育投資の収益率の高さを疑う人は少ないものの、少子化と巨額の財政赤字を背景に、教育財源の確保は困難な状況に陥っています。就学期の子どもがいる世帯は全体のたった2割です。しかし、「数」の多いところではなく「効果」の高いところへの資源配分をするという「コンセンサス」を形成しなければ、この先ますます教育予算の確保は困難になっていくでしょう。子どものいない8割の家庭を含む国民全体に説明責任をきちんと果たし、限られた予算を効果的・効率的に使用していることを証明する挙証責任が問われているのです。

政策の評価において、"Y"（政策目標や成果）を設定すること、そして"Y"を改善する蓋然性の高い"X"（政策手段）を設定することはとても重要です。政策介入の開始時に、明確に「"Y"が何か」が意識されていることは極めて重要ですが、実は行政事業の中にはこれが意識されないままにスタートしているものがかなり多くあります。"X"と"Y"を設定するのは政治家や行政官、"X"と"Y"の因果関係を明らかにするのは研究者の仕事です。従って、私は研究者と政策担当者の間には協働の余地があると考えています。

研究者と政策担当者の協働の重要性

教育の政策決定の場では、「精神論」が支配的で、優先順位がつけられず具体性のない目標設定がされがちです。政策は教育に対しても「資源配分」、つまり「ヒト・モノ・カネ」をどう動かすかがとても重要であり、それが見えるビジョンが必要です。XとYの因果関係を検証する統計的手法（因果推論）の目標はたった1つ、処置群（政策介入の対象となっているグループ）と対照群（政策介入の対象になっていないグループ）を比較することです。よって効果測定の成否は、政策介入が始まる前に決まるといえます。「はじめ8割あと2割」ということで、初めのデザインが重要です。

政策担当者と研究者が一緒に政策の効果を測定する機会を増やすことも重要です。米国のRand医療保険実験のように、双方にメリットが得られる大規模なプロジェクトが実施できれば理想的ですが、日本ではなかなか難しいでしょう。まずは「インフラ整備」、つまりデータを整備することが必要です。埼玉県学力・学習状況調査のように、今あるものを少し工夫することで、わざわざ実験をせずに現状分析、効果測定が可能になるという事例もあります。

EBPMで実現しようとしていることは、「支出」の大きさではなく「効果」の大きさで政策の評価をすること。そして、納税者である国民が納得できる形で、特に教育政策に関して、当該の政策への支出の妥当性を説明することです。

大根田 頼尚（文部科学省高等教育局専門教育課専門官 / 「埼玉県学力・学習状況調査」推進アドバイザー）

埼玉県学力・学習状況調査

行政の立場から、EBPMを根付かせるために現場や研究者との関係で留意すべきことについて、「埼玉県学力・学習状況調査（埼玉県学調）」を例に挙げてお話します。学力の高い低いは学校教育だけの問題ではありません。社会経済的な要因や親の教育力によっても左右されます。学力テストの平均点の高い低いが話題になりがちですが、付加価値、言い換えれば学力の変化幅、変化量こそが教育の本質部分です。埼玉県学調は、1人1人の学力の伸び（変化）を継続して把握することのできる自治体初の調査で、非認知能力・学習方略にも注目して調査を実施しています。

子供たち1人1人に対して、調査結果と指導内容をセットにカルテとして作成し引継ぐことで、指導の効果があったどうかを毎年度検証し、指導の改善を図ることが可能になります。子供に変化をもたらす最も大きな要因の1つは教員です。この教員の要素の何が子供の能力を伸ばし、またその教員の要素はどうすれば伸びるのかが、これまではブラックボックスでしたが、埼玉県学調のデータを統計的に分析することで、学力向上に効果的な指導方法が一定程度見えてきました。例えば、「主体的・対話的で深い学びは、子供たちの学習方略の改善や非認知能力の向上を通じて、学力を向上させる」、「学級経営（子供同士の人間関係作りや、教師と子供の信頼関係作り）が、主体的・対話的で深い学びの実現や、子供たちの非認知能力、学習方略の向上に重要」といった結果が得られています。平成30年度からは、広島県福山市、福島県郡山市、福島県西会津町が参加するとともに、OECDとの協働の検討も始まっています。

現場への理解、協働が必要

埼玉県学調を通じてEBPMを根付かせる上で重要だと考えるのは、「現場に受け入れられる」という点です。教育政策は、立案だけでは不十分で教室に届いてはじめて意味を持ちます。その意味で、政策立案者は、EBPMではなく、現場の文脈に寄り添ってデータを扱うことについて説明する必要があります。埼玉県学調であれば、教育の本質は変化であり、データはそれを明らかにするためのものであることを全面に出したことで現場の理解が進みました。また、教師という職をリスペクトし、データがあたかも魔法の杖／万能であるかのような態度を取らず、あくまで現場のサポート、頑張る教員を支えるためのものであるというスタンスも重要です。将来的なこととしては、データの蓄積が進むとAIを活用したアダプティブ・ラーニングも可能性として出てきますが、それをもって教師の職がいらないとはならないことは、埼玉県学調を見れば明らかです。教師が得意とすること、データが得意なことをデータを分析して見極めていくこと、ビッグデータ・AIブームに安易に流されないためにも、データに基づくことが必要です。

政策判断においては、"Y"と"X"をきちんと決めて、継続的に検証していくことも大切です。往々にしてXは多くの成果（Y）を念頭においていますが、実際は限定された成果（例：y1-1-a）しか計測できないことがほとんどです。にもかかわらず、そのXとy1-1-aにおいて相関関係がないからといって、すぐに当該施策Xをやめるべきと結論づけるのは非常に危険です。成果の測定が十分にできていないことから相関関係で示せないにも拘わらず、相関関係がでないことだけを理由に予算を取りやめることは、EBPMが予算を付けない言い訳に使われているとなりかねません。政策立案において、EBPMはあくまで参考情報であり、それだけが決定要因ではないのです。

研究者との協働も重要です。行政側においては、いかに良いデータを提供できるか、また一定程度研究者がやりたい研究を許容するかがポイントになります。また研究者側は、行政のニーズを理解して、ともに努力をしていけるかがポイントです。行政側が提案する調査案は、様々な制約要因から、研究者にとっては完璧でないものも多いですが、それを許容して進めていく中で大きな研究となっていくことも多々あります。両者が議論し、折り合いをつけていく、まさに「小さく始めて大きく育てる」ことが重要です。

最後に、国としては今後、データを整備し、それをどう使っていくかを考えていかなければなりません。特定の企業や団体がデータを抱え込むのではなく、いかにオープンにしていくか、国レベルでのルールが必要となるでしょう。EBPMには大きなポテンシャルがあります。しかし、今すぐできることが多くないのも事実です。過小評価も過大評価もせず、質の高いデータを継続的に集めることなど、基礎的なところから地道に進めることが大切です。

モデレータ：小林 庸平（RIETIコンサルティングフェロー / 三菱UFJリサーチ&コンサルティング経済政策部主任研究員）

Q：研究者が行政と協働する上での壁は何ですか？

中室：主に、地理的な問題や専門性の問題です。これらをマッチングさせるシステムができれば非常に役に立つでしょう。また審議会に参加しても、その場で研究者が言えることは限られています。効果測定に参加しながら、助言する方が専門性を発揮できると思います。

Q：研究結果、またデータ利用への向き合い方について、ご意見をお聞かせください。

大根田：今のところ、主体的・対話的で深い学びや学級経営に効果があるなど、期待通りの結果が得られています。しかし、そうでない場合に行政としてどう受け止めるかが、今後の課題です。ある結果が特定の施策の継続や中止を直接決めるわけではなく、あくまで特定の状況下での1つの参考情報として受け止めるという点が重要かと思います。

関沢 洋一（RIETI上席研究員）

EBMの事例

医療ではEBPMに先だって"Evidence Based"というアプローチが登場しています。このため、EBM（エビデンスに基づく医療、Evidence Based Medicine）は、EBPMのモデルとして参考になります。

EBMで生まれてEBPMに持ち込まれた発想として、エビデンスの強さについてのピラミッド型のランキングがあります。二番目に強いエビデンスがランダム化比較試験（RCT）で、一番強いエビデンスは、複数のRCTを体系的に統合したシステマティックレビューです。システマティックレビューの代表的なものとして国際的なNGOであるコクランによるコクランレビューがあります。RCTのような実験を伴わない観察研究や、専門家の意見はエビデンスとしては弱いものとされます。

今日の発表では、政策として推進されている健康診断とがん検診についてみたいと思います。日本において、労働者の健康診断は、労働安全衛生法に基づく法的義務です。しかし、コクランレビューによれば、健康診断には重大な疾患を減らしたり寿命を延ばしたりする効果が認められないとされています。また、Inter99と呼ばれる健康診断と健康指導を組み合わせた大規模なRCTでも、同様に寿命の延びなどの効果が認められませんでした。

がん検診については、がん対策基本法で推奨されていますが、その効果や便益については論争があります。大腸がんや乳がんの検診では、それぞれのがんによる死亡率の減少は示されているものの、寿命の延びは示されていません。胸部X線検査については、この検査が肺がんによる死亡率を減らさないことが大規模なRCTで示されています。

エビデンスが操作される懸念

"Evidence Based"の下では、実際に行われる政策や医療行為とエビデンスの整合性が期待されます。しかし、当該政策等に効果がない、または小さいことが判明するのを望まない人が関与することによりエビデンスが操作され、世間で流通するエビデンスが当該政策等の本当の効果と乖離する恐れがあります。エビデンスの形成は、科学的・中立的に行われることが望ましいのですが、議会や政府が意思決定を行うに当たっては、政策の効果以外の要素も考慮する必要があるため、エビデンスを参考情報にとどめる"Evidence Informed"も手段の1つでしょう。とはいえ、効果が乏しいことが示される衝撃は大きいので、エビデンス形成が利害関係者間の争いの場になることは避けられません。

エビデンスが操作される懸念の解決策として、事前評価の徹底が必要です。始めたものを止めることは難しいので、先行研究・データ・ロジックを駆使して、行おうとする政策に効果がありそうかどうか事前に十分に検討することが重要です。また、中立的にエビデンスを検証する組織を設けたり、知事などの地方自治体の首長が"Evidence Based"にコミットしたりすることも意味があると思います。

ただ、EBPMが操作される懸念を表面的な制度作りだけによって防ぐのは難しいです。医療についてのEBMでも、政策形成についてのEBPMでも、国民をあざむかないという意味での正直さ・誠実さが求められるところがあります。その一方で、政策を行った当初は効果があるかどうかはわからず、何年も経った後で効果がないことが判明することも多いので、国民の側でも、後から振り返ってみると効果のなかったことをさせられたり、間違ったことを教えられたりしても、それを許すような寛容さが必要になってきます。

横尾 英史（RIETIリサーチアソシエイト / 国立環境研究所研究員）

RCTの事例紹介

米国の電気料金に関するRCTでは、1,245世帯を無作為に、①電気料金を全ての時間帯で一定にする群、②ピーク時間帯の料金を高く設定する群、③節電に対してキャッシュバックする群の3グループに割り当てました（Wolak, 2010; 2011）。結果、ピーク時間帯の電力消費の削減に一番効果があったのは②で13.0%減、続いて③で5.3%減となりました。日本でも経済産業省の資源エネルギー庁が同様のRCTを実施し、ピーク時間帯の料金を高く設定することで、需要を約20%シフトすることが可能であると結論づけています。

また電気料金を変更せずに、他人の電力消費量との比較資料を見せるだけで、平均2%の節電効果が得られるということを示した実験もあります（Allcott and Rogers, 2014）。これは電気料金の11～20%値上げと同程度の効果です。こちらも資源エネルギー庁が同様の検証をしたところ、電気消費量が多い世帯に1.2%の節電効果ありました。このような行動経済学を利用した政策（ナッジ）が、現在、各国政府で試行され始めています。日本でも平成29年度から、環境省が「低炭素型の行動変容を促す情報発信（ナッジ）等による家庭等の自発的対策推進事業」、通称「ナッジ事業」を始めました。

地方自治体レベルでは、神戸市環境局が食品ロス削減のためにちらしを作成し、半分の世帯だけに配布して効果を測定するというRCTを実施しました。結果、ちらしの有無には効果の差がないことがわかったそうですが、自らの政策を検証することはもちろん、思うような結果が得られなかった場合もきちんと報告をしているという点が高く評価できると思います。

もちろんRCTは万能ではありません。課題もあれば、限界もあります。例えばインドネシアでは、国際協力機構（JICA）の事業の下、現地のごみ収集を行うコミュニティを支援し、戸別訪問による普及啓発に取り組んでいます。この普及啓発のやり方の違いの効果検証をRCTで行いました。これには私自身も協力をしています。このRCTをデザインする上で、一群あたりの世帯数をいくつにするかという技術的な課題が出ました。この事例ではJICAの職員さんから効果の予想を聞いて、それをもとに私が計算して決めました。このように実験設計に専門的な知識や技術が求められる面があります。

国内では、省エネ家電の普及について、ネットショッピングにおける省エネラベルの効果を検証したいという要望がありました。しかし、協力してくれる事業者をみつけることができず、RCTを実現できませんでした。そこでウェブによるアンケート調査を実施しました。そして、この調査の中でRCTのデザインを応用しました。その結果、星の数を見せることには効果があるが、省エネ基準達成率を見せてもあまり効果がないことが分かりました。

EBPMを根付かせるために

エネルギー・環境分野でEBPMを根付かせるには、実務者が直面する政策課題に対し、次の3つの問いかけをすることが大切です。まずは、その政策をRCTで評価できないか？省エネラベルの事例のように、たとえRCTが実施できない場合も、他の方法で評価することもできます。次に、その政策に効果はあるか？神戸市の事例のように、効果がない場合も、他の政策を検討すれば良いでしょう。そして最後は、政策を評価できる研究者と連携できないか？私が1通のメールをきっかけにJICAのプログラムに協力したように、ちょっとしたきっかけから協働が実現します。また昨年から「環境経済学と政策形成のワークショップ」と題して、政策立案者と政策研究者のマッチングの場を設けています。このように、機会がなければつくれば良いのです。

モデレータ：小林 庸平（RIETIコンサルティングフェロー / 三菱UFJリサーチ&コンサルティング経済政策部主任研究員）

Q：政策の効果を測定する際、短期的に効果が得られるものばかりが注目される恐れはないのでしょうか。またRCTを超える方法、例えばモデルやシミュレーションを併用するといった方法はないのでしょうか。

横尾：ご指摘の通り、短期的な効果が注目されがちなのは確かです。行政はどうしても担当者がローテーションしますし、予算などの限界もあります。それに比べ、研究者はある程度自由がきくため、長期的にフォローすることができます。そういう意味でも協働には意味があるのではないでしょうか。
またRCT以上の方法というとなかなか難しいかもしれませんが、エネルギー・環境の分野では、モデルやシミュレーションを使ったアプローチも以前から実施しています。RCTとシミュレーションを使い分けていくことが必要です。

Q：EBPM視点をPDCAの中に活用していくべきだと思いますか。

関沢：いったん動かした政策をやめるのは難しいので、政策のPDCAではC（チェック）が適切に行われることは期待しにくいです。また、効果の有無がわかるまで時間がかかる政策も多いです。このため、政策についてPDCAのサイクルを回すのは現実にはかなり難しく、効果的な政策を行うためには、P（計画）の段階で事前評価を十分に行うことが大切だと思います。

Q：研究者がいないと技術的、または予算的にRCTは実施できないのでしょうか。

横尾：研究者がいなくても実施は可能です。ただし、研究者と協働した方が先行研究についての知識や実験デザインがより良くなるなど、メリットが多いと思います。

成田 悠輔（RIETI客員研究員 / イェール大学助教授）

EBPMの逆説を超えて

GMの名物社長であったアルフレッド・スローンは周りの意見を重視する経営者だったと言われています。ただし、満場一致の場合は、強い警戒心を示したと言われています。なぜなら、全ての物事には良い面と悪い面があるはずで、満場一致は同調行動や思考停止のあらわれだと考える方が自然だからです。スローンの精神にしたがって、本シンポジウムで満場一致で前提になっている「EBPMを根付かせるべき」という説に、あえて反対してみようと思います。

そもそもOpinion-Based Policy Making （OBPM）よりEBPM が優れているというEBPMの前提自体、エビデンスではなくただの意見（opinion）です。皮肉なことに、少なくとも先進国では「EBPMがOBPMより有効である」というエビデンスは存在しません。ということは、「EBPMの原則を貫くなら、EBPMはやるべきではない」という逆説が得られてしまうことになります。

では、どうすればこの逆説を解決できるでしょうか？理想的には、自治体を無作為にEBPMとOBPMに割り当てて政策の成果を比較する壮大な社会実験を行いたくなります。しかし、そんな社会実験は不可能です。現実的には、この理想的実験を模した自然実験・政策変更を用いることが考えられます。たとえば、米国のPew財団とMacArthur財団は、一部の州に犯罪領域でEBPM支援をする活動を行っています。このEBPM支援という自然実験が刑務所行きの人数に与えた影響について、いわゆる「イベント分析」と「差の差分析」をした結果、いい影響があったようだという暫定的結論が出ました。このようにEBPMの有効性に関するメタエビデンスを蓄積することで、いつの日かEBPMの逆説を解決できるようになるはずです。

EBPMからEvidence-Based Goal Makingへ

たとえEBPMの逆説が解決されたとしても、まだ難題が立ちはだかります。私が「村上春樹のEBPM批判」と呼んでいる難題です。彼の処女作『風の歌を聴け』の中には次のような文章があります。

「その時期、僕はそんな風に全てを数値に置き換えることによって他人に何かを伝えられるかもしれないと真剣に考えていた。そして他人に伝える何かがある限り僕は確実に存在しているはずだと。
しかし当然のことながら、僕の吸った煙草の本数や上った階段の数やペニスのサイズに対して誰ひとり興味など持ちはしない。そして僕は自分のレーゾン・デートゥルを見失い、ひとりぼっちになった。」（村上春樹『風の歌を聴け』）

僕の見立てでは、ここで村上春樹はEBPMについて語っているのであって、前半の謎の確信に満ちた自分がEBPMの現在、自分を見失った後半の自分がEBPMの未来です。どういうことでしょうか？そもそも政策の難しさは、政策の（1）存在理由・目的も（2）適切な政策手段も（3）実行方法も不明だという「政策の三重苦」にあります。このうち、EBPMが有効かもしれないのは（2）政策手段と（3）実行方法に対してだけです。その結果、存在理由（レーゾン・デートゥル）は難問なのでどこかの政治家や官僚が与えてくれるものとして無視し、とりあえず測れるから測ってみたエビデンスが濫造されているのがEBPMの現状です。しかしこの現状が意味するのは、EBPMは政治家や官僚から与えられた目的にただ隷属しているだけの奴隷だということではないでしょうか。

どうすればこの奴隷状態を打開できるでしょうか？ふたたび、もっと徹底的にエビデンスに基づくことを提案します。データやエビデンスの役割として、手段改善ばかりが注目されがちですが、本来は目的発見のためにもデータは有効です。わかりやすい例は、選挙・投票データを用いて有権者が政策に何を求めているのかを見つけることです。たとえばL2やCatalistなどの民間企業は米国で最も品質の高い個人単位の投票パネルデータを構築したことで知られています。このようなエビデンスに基づく目的発見を仮にEBGoalM（Evidenced-Based Goal Making）と呼ぶことにします。

EBGoalMで目的を発見し、発見した目的のためにEBPMを使い、EBPMの効果をメタエビデンスで測定する---そんな次世代のEBPMを構築していくことを提案いたします。

山口 一男（RIETI客員研究員 / シカゴ大学ラルフ・ルイス記念特別社会学教授）

意図せざる結果

人々の政策・施策には人々の行動に関する理解が欠かせません。これを行為理論といいます。この理解不足のために、意図せざる結果を生み出した政策がたくさんあります。例えば1967～1981年に東京都が施行した学校群制度では、比較的裕福で学力の高い子どもを持つ家庭が都立高校を見放し、有名私立高校への鞍替えが起こりました。結果、都立高校進学者の学力は低下し、一方有名私立高校の大学進学率が躍進するという事態を招きました。これにより、与えられる高校教育の質が家庭の経済状態に強く依存することとなってしまったのです。

また1980～2000年代の公立初等・中等教育における「ゆとり教育」制度では、子どもの学力向上に多くの親が不安を持ち、学習塾の利用や私立中学への進学を増大させることとなりました。その結果、教育にかかる費用はますます高騰し、教育機会に対し貧富の差による不平等が生じました。またしても中産階級に有利な学習環境を生み出してしまったのです。最近では文部科学省の有識者会議が、国立大学付属校の入学を、テストでなく抽選とするなど入学における「学力偏重」を是正せよとの報告書をまとめましたが、実施されれば同じ過ちを犯すことになるでしょう。

日本だけではありません。世界でも、人々の合理的選択を考えないことによる失敗例は多くあります。米国の公立中等教育における「Bussing」制度は、貧困層の子どもに教育の機会を与える意図で実施されました。しかし、結果としては中産階級層が他地域に引っ越すなど、地域全体の公教育の質を下げることとなりました。韓国ソウル市でも、2007年に塾の時間制限（夜10時以降禁止）制度が施行されましたが、結局は市外の塾に通う生徒が増え、結果的には帰宅時間がさらに遅くなってしまいました。翌2008年には廃案となっています。

多くの場合、新制度によって新たなコストが生じる人たちが、そのコストを回避しようとすることで意図せざる結果が生まれてしまいます。その回避が別手段でできるか否かは、その人の資産にも依存するので、新制度はかえって社会的機会の不平等を生みやすいのです。不確定性がある状況では、人々の行動原理を把握する必要があり、合理的期待を形成できるかが問題です。また合理的機会の形成の有無に関して、米国の計量経済学者のマンスキらが「主観的確率」を計測する方法を発達させ、この方法は政策が意図せざる結果を生む可能性についても有用な実証的根拠を与えます。これらの事例からも、エビデンスなしに、オピニオンだけで政策立案をすることは危険であることが分かります。政策の実施前には、きちんとした検証が欠かせないでしょう。

RCTにおけるNon-Compliance問題

ノン・コンプライアンス問題とは、治療群（処置群）と統制群に人をランダムに割り当てても、それに従わない人々が出てくることから生じる問題です。ノン・コンプライアンス問題は操作変数法を用いて有効に対処できるのですが、これには標準誤差が増すという欠点があり、精度を高めるにはコストがかかります。最近シカゴ大学のブラック教授らにより開発された、治療変数の内生性のテストの結果、内生性なし（観察されない交絡要因はない）と結論できれば、より精度の高い平均治療効果の推定値を用いることができます。一般にRCTにしても、ノン・コンプライアンスや仲介変数が存在する場合は、そのままではランダムな割当の仮定が成り立たなくなり、治療効果（処置効果）の推定には工夫が必要になります。この工夫についてはまもなく公表される私のRIETIのディスカッション・ペーパーで詳しく紹介しています。

モデレータ：内山 融（東京大学大学院総合文化研究科教授）

Q：EBPMをマクロ経済政策に適用することの可能性について、教えてください。

成田：マクロ経済政策の効き目に関するエビデンスを信頼できる形で蓄積することは難しいと思います。そもそもマクロ経済政策は国単位の政策なので、日本と米国など国同士の比較が必要ですが、条件が大きく異なるため、マクロ経済政策の影響だけを取り出すことが難しいのです。ただし、ここ10年ほどで高頻度で高品質のマクロ経済指標に関するデータ（たとえば物価）が手に入るようになり、マクロ経済政策の短期的な因果的な効果に関する研究は進んでいます。将来的にはマクロ経済政策におけるEBPMも可能になるかもしれません。

Q：EBGoalMは操作のための道具になり得るのではないですか。米国ではSNS分析による行動ターゲティングで、選挙結果が操作されるというデジタル・ゲリマンダリングが問題視されています。これをどう乗り越え、EBGoalMを実現すべきとお考えでしょうか。

成田：そもそもエビデンスは操作のための道具です。エビデンスが政策やビジネスを変えるなら、政策やビジネスは人間を変えるので、結局エビデンスが人間を変えることになるからです。これはEBGoalMでもEBPMでも起こり得る問題です。これに対する簡単な答えは今のところ持ち合わせておりません。

Q：Opinion basedであっても、意図せざる結果は予測できそうな気がするのですが、なぜ施行に至ったのでしょうか。

山口：政策立案者は、人々が制度をそのまま受け入れるという仮定に立っています。よって、国民の行動の変化を予測できなかったことが失敗の要因だと思います。

Q：学校群制度や「ゆとり教育」制度が、実際に学力低下を招いたというエビデンスはあるのですか。

山口：「ゆとり教育」制度の実施後に、労働者階級と中産階級の間で、学習時間と学力差が拡大したことは分析されています。貧富の差が学力の差に影響を与えたり、公教育での学力が低下したのは確かですが、日本全体の平均学力が低下したかどうかについては明確でありません。

Q：文科省の有識者会議について、国立大学付属校は安価で質の高い教育を施すためではなく、教育実験を行い、その結果を全国展開するためにあるのだと思います。これについて、ご意見をお聞かせください。

山口：どういったカリキュラムが効果を生むかは、学力レベルによっても異なります。よって、公立学校でもレベル別にカリキュラムを検討することが必要だと思います。私は英才教育の実験を国立大学付属校で行うことも重要と考えています。

内山 融（東京大学大学院総合文化研究科教授）

英国のEBPMにおいては、分析専門職が重要です。英国政府では、エコノミスト職（Economist）、社会調査職（Social Researcher）、オペレーショナルリサーチ職（Operational Researcher）、統計職（Statistician）など政策分析を担当する専門職（Analytical Profession）が政策形成に大きな影響力を持っています。そして、こうした分析専門職の役割を高めているのが、省庁の枠を超えた専門職ネットワークの存在、そして分析部門統括職の存在です。

制度的要因として、英国では財務省がGreen BookやMagenta Book等を通じ、政策分析のガイドラインを各省に浸透させています。また各省のエコノミストによる分析を財務省のエコノミストがチェックする体制により、分析の質を担保しています。それから議会（Parliament）や超党派的に政府を監視する常任委員会（Select Committees）による監視、会計検査院（National Audit Office）による各省の政策評価の品質評価もEBPMを支える上で大切な役割を果たします。

成田 悠輔（RIETI客員研究員 / イェール大学助教授）

EBPMの民間外注についてお話しします。EBPMを最も推進しているのはテック産業です。テック産業ではABテストと呼ばれるRCTが常に行われ、サービスが秒単位で更新されています。 それを踏まえると、EBPMを企業に外注することも方法の1つなのではないでしょうか。

三浦 聡（経済産業省大臣官房政策評価広報課長 / RIETIコンサルティングフェロー）

前回のシンポジウム以降の政府における大きな動きは、各府省に「政策立案総括審議官」等を設置したことです。

経済産業省における取り組みとしては、平成31年度概算要求プロセスにおいて、調査委託等を除く一定の予算規模の事業について、ロジックモデルの作成を義務づけました。

他にも、「EBPM推進事業」を選定し、事業の効果検証や見直しに向けた検討を政策評価広報課、調査統計G（統計コンシェルジュ）、RIETI等が協働して支援しています。

事業の効果検証を進めるに当たっては、例えば、「どんな分析ができるか」の前に、「どんな分析をしたいか」について、事業の抱える問題や見直しの方向性（仮説）を踏まえてしっかりと考えることが重要です。また、分析して終わりではなく、それを生かして次の事業に繋げていくよう、どう仕組みとして定着させていくかも、今後の課題です。

中室 牧子（慶應義塾大学総合政策学部准教授）

大阪市では「パフォーマンス・ペイ」を検討していますが、学力テストと教員の給与やボーナスを連動させる取り組みは、海外では決して珍しくありません。しかし効果はどちらともいえないのが現状です。そこで私が大阪市に提案したのは、成績ではなく伸びを判断基準にすること、そして個人ではなく教員をグループ化して評価するということです。また高すぎる目標設定や少なすぎるインセンティブ、単一の目標に過度に依存した評価など、過去に失敗している要因は避けるべきだとも提案しました。大阪市総合教育会議では、これらを踏まえ「教員別学力向上指標」「学校別学力向上指標」（≒付加価値）を作成する、教員の業務領域を3つにわけ（「安心・安全」「体力・学力」「学校運営への貢献」）、このうち「体力・学力」についての評価に「学力向上指標」を用いることが提案されました。

現状を改善する可能性のある政策を「試行」し「検証」することに、納税者である国民全体がもう少し寛容にならなければなりません。初めから成功する政策だけを行政に求めることは難しいです。また今回のように行政側と教職員側の利益が対立しているケースでは効果測定は非常に困難です。このような状況の中で、どういう設計で効果測定をするのか、という論点を投げかけたいと思います。

山口：EBPMの制度設計について、行政における設計と、民間における設計の2つがあります。英国での事例と、日本への示唆をお聞かせください。

内山：まずはEBPMが大事だという意識を高めることが大切です。また評価だけで終わらず、それを活用する仕組みを作る必要があります。英国のように専門職を増やすことも1つの手段です。民間だけでなく、行政の側にも人材育成が求められます。需要と供給をマッチングさせるためにも、研究者との協働はやはり重要です。英国のように民間シンクタンクが育つと良いと思います。また政治的リーダーシップも必要です。

山口：エビデンスを使うことについても、議論を促進する必要があると思います。また今後どう人材を育成していくのか、ご意見をお聞かせください。

三浦：使うことの促進について、特効薬があるというよりも、地道に各局と対話をしていくことが大切だと思います。因果関係の有無を受けて、次の政策をどう展開するか、検証結果と予算要求との関係を示すことが必要です。また人材育成は、全省庁において大事なテーマであり、議論されています。育つまでには時間がかかるので、これから地道に進めていかねばならない分野です。

山口：研究者と行政の協働について、日本全体で促進するためには何が必要だと考えますか。

中室：特に若手研究者は業績にシビアで、行政との協働には成果を出すまでに時間がかかるため消極的です。研究者も研究内容を発信する、若手に早いうちから経験を積んで慣れさせることが重要です。

山口：シンクタンクのような民間機関が調査に貢献しているとありましたが、データをつくる部分で民間が関わるメリットは何でしょうか。

成田：民間との連携には乗り越えるのが困難な壁があります。興味とインセンティブの違いです。インセンティブを整った集団をつくるには、誰でもそそられるわかりやすいインセンティブ、つまりお金をつけることが効果的かもしれません。たとえば政策評価指標に応じて報酬が支払われるヘッジファンドを作り、研究者でも行政人でも民間人でも競争入札で参加できるようにすることが考えられます。

山口：RCTやエビデンスを蓄積することの倫理問題についてお話をお聞かせください。

成田：この問題は、特に治験について古くから提起されています。私自身も最近RCTへの倫理的懸念に関する論文を書き、懸念を緩和するような実験設計を提案しました。（"Experiment-as-Market: Incorporating Welfare into Randomized Controlled Trials" https://papers.ssrn.com/sol3/papers.cfm?abstract_id=3094905）テック産業でも「バンディットアルゴリズム」や「強化学習アルゴリズム」などといった名前で倫理的実験設計が用いられています。単なるRCTではなく、倫理を考慮したRCTと政策の作成を同時進行する未来が訪れると思います。

山口：米国には社会調査に関する倫理委員会（IRB）があり、未成年や妊婦や知的障碍者や囚人など、一般的には保護されるべき対象者については、得られる知見のもたらすベネフィットがそれらの人々を対象とする調査を行うことの社会コストを上回ることが求められます。対象が誰なのかが倫理問題の議論の対象になるのです。またノン・コンプライアンスについては、希望参加者の中でRCTをすることで発生を少なくすることができる一方、結果についてすべての人に効果があるのか判断できず、外的妥当性がなくなってしまいます。一般に倫理的な問題が生じるコストと科学的知見のベネフィットを勘案して、どういう場合にどちらを優先させるかを考えなくてはなりません。

成田：ここまで議論されたのはエビデンスを「作る」際の倫理的問題ですが、エビデンスを「使う」際にも倫理的問題は発生します。政策は人間形成に大きく関与しているため、ある意味で、エビデンスを使った政策の実施はエビデンスを用いた人格操作ともいえるからです。EBPMを通じてどのような人格操作をされたいのか皆さんのご意見を伺いたいです。

内山：政治学では、政策による人格形成は必ずしも悪い方向に作用するわけではないとも考えられます。熟議民主主義（Deliberative democracy）の考え方では、相互の討議を通じて当初の選好が変わっていく可能性が指摘されています。

三浦：政策が人間に影響を与えることに異論はありません。そのうえで、EBPMを実施する際何に気を付けるべきかを考えることが大切だと思います。

山口：基礎的な学力がない子どもほど、伸ばすのに労力がかかります。先生の努力に関係なく、伸びに差が出てしまうのではないでしょうか。

中室：もちろん学校の教員だけが影響を与えているわけではありませんが、下位校でも付加価値を伸ばすことができている教員もいます。それがどんな人物かを分析することでヒントが得られるかもしれません。ただし中学校へ進学すると下位校における伸びは低くなる傾向があります。この辺りも分析も進めていければと思います。

山口：研究者からみて、行政のすべきことは何だと思いますか。

中室：行政も自身の政策の妥当性を発信することが大切です。大阪市の例では、会議後の報道で、明らかに誤った情報が報道されました。情報発信が足りていないと感じています。

山口：公共性を考慮すると、民間のEBPMでは目標設定が難しいのではないですか。

成田：行政と企業に大きな違いがあるという前提自体が幻想です。経済的に自らを維持しながら社会的活動を営む組織の2類型に過ぎません。ご存知の通り、FacebookやGoogleなどのテック企業では、既に「公共性」や「倫理性」を問われており、電脳世界の世界政府のようです。

山口：教育の評価について、学力以外の指標を定量化できるでしょうか。

中室：非認知能力については心理学により分析が進められています。学校への適応能力、進学実績、労働市場での成果に関わりがあるとみられています。