政策の効果をどう測定するか?:海外における「エビデンスに基づく政策」の最新動向

開催日 2016年10月25日
スピーカー 伊藤 公一朗 (シカゴ大学公共政策大学院助教授/全米経済研究所(NBER)研究員/RIETI研究員)
スピーカー 小林 庸平 (RIETIコンサルティングフェロー/三菱UFJリサーチ&コンサルティング(株) 経済政策部 副主任研究員)
モデレータ 海老原 史明 (RIETIコンサルティングフェロー/経済産業省製造産業局航空機武器宇宙産業課課長補佐)
ダウンロード/関連リンク
開催案内/講演概要

アメリカやイギリスを始めとする諸外国では、科学的なデータ分析に基づいて政策を評価し、より良い政策の立案や運営につなげていく「エビデンスに基づく政策設計」という考え方が広く浸透しつつあります。本BBLでは、科学的な政策評価とはどのようなものなのか、政策担当者・実務家・研究者がどのように協力していく形があり得るのか、といった話題に関して海外での実情や日本での事例を交えてお話しします。また、講演終了後は参加者を交えて、日本の政策現場でエビデンスに基づく政策を行っていくための期待や課題について議論します。

議事録

エビデンスに基づく政策形成とは

伊藤公一朗写真伊藤:
現在、政策担当者の多くは、政策にどれだけの予算を支出できるか(インプット)を主眼として政策形成をしがちです。しかし、今後は政策がどれだけの効果を生み出すか(アウトカム)を物差しとして政策形成をすべきというのが、私が最も言いたいことです。

どの国も同じ状況だと思うのですが、アメリカでは現状に対する問題意識から、オバマ大統領の主導で「Evidence-Based Policymaking Commission Act of 2016(エビデンスに基づく政策のための評議会)」が民主・共和両党の共同法案として成立し、諮問委員会が設置されました。

諮問委員会にはハーバード大学のJeffrey Liebman教授やシカゴ大学のBruce Meyer教授をはじめとする15人の学者が集められ、政府が持つ詳細な行政データを研究者に利用・分析させる体制の整備と、RCT(ランダム化比較試験)などの科学的手法を用いて政策効果の因果関係が解明される仕組みづくりという大きく2つの使命が与えられました。行政データには、行政は補助金を受け取った人の細かいアウトカムのデータも含まれています。

オバマ大統領が厳密な科学的手法による評価に力点を置くのは、「データ=エビデンス」ではないからです。数字やグラフが出てくるだけでも大きな進歩だとは思うのですが、それだけでエビデンスと捉えてしまうと、何でもいいから数字を持ってこようとする動きに走ってしまって、間違った方向に進みかねません。「エビデンス=政策がアウトカムへ影響を及ぼした因果関係」であり、オバマ大統領はそれを示すデータ分析を求めているのです。

このことを理解するために、ケーススタディとして電力について考えてみたいと思います。日本では電力の供給が切迫した状態なので、2011年に価格を上げることで消費者が消費量を変え、問題を解決できないかと試みました。ここで政策担当者が知りたい因果関係は、料金を上げると消費者がどのぐらいの量を節電するのかということです。

時間がない中で集められるデータで分析しようとすると、2010年と2012年の電力価格と平均消費量を集めれば何か分かるのではないかと考えられます。たとえば2010年は20円、2012年は25円で5円上昇したのに対し、平均消費量は20単位から15単位に下がったとすると、価格を5円上げると消費量が5単位下がったので、価格政策は有効であるという結論を出してしまいがちです。

しかし、そこで立ち止まってほしいのです。この分析方法が誤っている可能性は、さまざまに考えられます。たとえば、2010年と2012年で気温が全く違った場合、消費者が消費量を変えたのは単に気温の影響だったかもしれません。また、2010年はまだ日本経済がリーマンショックから立ち上がろうとしていた段階で、2012年は経済がだいぶ良くなっていたとすると、マクロ経済のショックが要因だったかもしれません。

さらに、2011年に起きた東日本大震災の影響で消費者の意識が変わり、そもそも2012年は意識的な節電が進んでいた可能性もあります。そうした要素をデータとして集めてきてコントロールすることも可能かもしれませんが、意識をどうやってコントロールするのか、現在の経済学では難しいというのが結論です。

私たちとしては、Aという政策がBというアウトカムにどう影響を与えたかを見たいのですが、それが難しいのです。なぜなら、BがAに影響している場合もあれば、天候やマクロ経済ショックなど、Cという要因がAとBの両方に影響を与えた可能性もあるからです。

つまり、AとBという2つのデータに相関関係があって一緒に動いているように見えても、直接の関係性があるかどうかは全く分からないのです。A→Bへの因果関係を言うためには、B→A、C→A、C→Bの影響を消し去らなければならないのです。

ビッグデータのような大量のデータがあれば、あるいは、統計学のスペシャリストが高度なモデルを解析すれば、バイアスの問題は解決するのではないかという考え方も基本的には間違いです。データの量が増えても、どれだけ高度なモデルを使っても、因果関係にたどり着くのは難しいということが研究で明らかになっています。

これが社会科学データのやっかいな点であり、誤解されがちな点でもあって、残念ながら日本における政策分析の多くが、こうした単なるビフォー・アフター分析で因果関係が断定されているのが実情です。私たちは、データだけではエビデンスではないということを認識する必要があります。

政策効果を正しく測定する方法

政策効果を測定する方法はたくさんありますが、最良の方法は非常にシンプルで、RCT(ランダム化比較試験)を行うことです。

製薬会社は、新薬の効果を検証するために簡単な実験を行います。患者を無作為で平等にグループ分け(ランダマイゼーション)し、トリートメントグループ(医薬品の投与を行うグループ)とコントロールグループ(医薬品の投与を行わないグループ)として比較することで、コントロールグループに健康状態の変化が起きた場合、それは医薬品の効果によるものだと科学的に言えるようにするのです。

政策評価もこの方法で行えばバイアスが科学的に排除できるということで、資源エネルギー庁省エネルギー・新エネルギー部新産業・社会システム推進室と地方自治体、企業、われわれ研究者が組んで、横浜、京都けいはんな、豊田、北九州の4地域で「次世代エネルギー・社会システム実証実験」を行いました。

世帯を3つのグループ(価格インセンティブを与えることによって節電を促すグループ、良心に訴えて自発的な節電を要請するグループ、何も行わないグループ)にランダムに振り分け、スマートメーターを入れて各世帯の30分ごとの電力消費データを入手します。何も行わないグループがあることで、2つの政策効果をはっきりと示すことができます。

RCTのもう1つのいい点は、グループ間の比較をするだけでいいので、分析結果が非常に理解しやすいことです。けいはんなでは、政策を行った時間帯には節電要請を受けたグループと価格インセンティブを受けたグループの消費量が下がり、価格インセンティブの効果の方がより大きいという結果が出ました。

また、この実験を何回も繰り返すことで、節電要請グループの効果は長続きしないことも分かりました。一方、価格政策は何回打っても同じような消費量削減効果が出ました。ここから得られる政策インプリケーションは、節電要請は長期的な消費量削減にはあまり強い効果を持たないということです。

政策によってはRCTができないこともありますが、その場合でも実験に近い状況をうまく利用できれば、科学的分析は可能です。たとえば、私がカリフォルニア州政府、電力会社と共同で行った研究では、州南部のミッションビエホという都市は北と南で電力会社が異なり、電力料金が違うため、10年分の世帯ごとの月間電力消費量というデータを使って分析することができました。

このように、政府統計などの既存の行政データを賢く使う分析手法もあるのですが、残念なことに他の先進国に比べて日本はデータ提供という面では立ち遅れていて、現状、世界中の研究者が日本の政策は分析不可能との認識を持っています。これでは政策に役立つエビデンスは出てきません。日本でエビデンスに基づく政策形成を行うためには、データセキュリティを守りつつ、研究者にデータを提供する仕組みを整える必要があります。

政策担当者と研究者のパートナーシップ

政策担当者は、政策を実際に運用し、課題が何かを深く理解している一方で、データ分析の専門知識や時間は必ずしも持ち合わせていません。片や研究者は、データ分析の専門知識は豊富ですが、実際の政策課題に明るくないケースが多々あります。ですから、エビデンスに基づく政策形成に向けては、政策担当者と研究者の協力が不可欠なのです。

アメリカではこの点が両者に理解されており、政策担当者と研究者チーム、NGO・NPOの三者が協力してRCTによる政策効果の分析を行い、解決策を見いだしていくスタイルが確立されつつあります。

イギリスでの適用事例

小林庸平写真小林:
私からは、イギリスの政策形成の過程におけるエビデンスの活用の仕方と、日本の自治体と連携した取り組みから見えた課題についてお話しします。

イギリスの実例から分かるのは、エビデンスに基づく政策形成を行うためには、政策を作る人(研究者)とそれを使う人(現場の政策担当者)を取り持つ存在の重要性です。

イギリスでその役目を担っているのは、What Works Centre(WWC)と呼ばれる官民協働組織です。WWCは、エビデンスの創出(一次研究の資金面の支援によって科学的なエビデンスを形成する)から伝達(系統的レビューによって、「最も有効な施策・取組は何か」を整理し現場で利用できるよう工夫する)、適用(行うべき政策や事業を決定してそのガイドラインを提示し、効果のある施策・取組が効率的に展開されることを促進する)までを一気通貫で行っています。

現在、医療・ヘルスケア、教育(不利な環境にある子どもたちの学力向上)、子ども・青少年の非行・暴力・虐待に対する早期介入、犯罪抑止、地域経済活性化・雇用創出、福祉・多面的な豊かさ、高齢社会の、7つの分野のWWCが発足しています。政策分野ごとに政策効果のエビデンスを「つくって」「つたえて」「つかう」という流れで動き始めているのがイギリスの特徴です。

中でも教育分野のEducation Endowment Foundation(EEF)は、エビデンスを分かりやすく伝えるための「ツールキット」を作成し、子どもに対するプログラムの費用対効果やエビデンスの質の高さを一覧できるようにしています。エビデンスをどう活用するかが重視されており、コストの安いプログラムを抽出したり、効果が大きいプログラムを選べたり、使い手のニーズにあわせて整理できる形になっているのが特徴です。

日本での適用事例

日本でも、政策評価の重要性に対する認識が高まる中、神奈川県葉山町と連携し、資源ステーション(資源ごみの収集場所)における放置ごみ減少の政策効果の検証に取り組みました。ステーションを3つにグルーピングし、対策なしのグループ、分別を呼び掛けるチラシを配布するグループ、収集終了の看板を掲示するグループに分けてRCTを行いました。

検証の結果、チラシを配布したグループは、配布当初はごみが減りましたが、効果に持続性がありませんでした。一方、看板の掲示は放置ごみの発生率を15%ほど減少させる効果があることが明らかになりました。効果が実証的に検証できたことを受けて、葉山町では来年、予算を付けて看板の掲示を全町展開することにしています。まさにエビデンスを確認して予算に生かす取り組みであり、エビデンスは政策を変えていく力になるといえるでしょう。

今回は、住民と協働しながらRCTを用いて効果を検証しており、手間暇のかかる取り組みだったのですが、住民や役場担当者と丁寧にコミュニケーションをとることで、実験的手法を用いた効果測定への理解を得ることができました。また、葉山町は海水浴で有名な町なので、放置ごみは海水浴客のマナーの悪さに起因しているのではないかと考えがちですが、データから分別間違いの多いことが明らかになり、情報やデータをきちんと把握し共有することの大切さを痛感させられました。そして何より、客観的なデータを用いることによって政策論議の基盤ができ、住民協働を非常に建設的に進められたことは、大きな利点だったと思います。

政策担当者からは、取り組みの効果を学術的な方法で調べることで、自己満足ではない形で成果が実感できる。属人的な影響が排除されたデータがあれば、財政当局や議会の理解が得やすく、ランダム化によって他地域でも同様の効果が期待できることが実証されているので、全町展開しやすいという声も聞かれました。

エビデンスに基づく政策形成を進める上で大事なのは、現場の政策担当者と研究者をつなぐことであり、われわれシンクタンクはまさにその役割を担っていると考えています。

質疑応答

Q:

エビデンスに基づく分析を、予算のより効率的な配分や、政策効果の最大化を図るところにうまく組み込めるといいと思うのですが、アメリカやイギリスではどうなっていますか。

伊藤:

アメリカでは、ある政策を活かすかなくすかを考えるのではなく、あらかじめ政策に幾つかの選択肢を用意して、どれが限られた予算の中で効果が最大化できるかを考えます。日本でも、科学的にどの政策がよいかを評価するときに、同じ予算で2倍の効果があれば、予算的に半分節約したと同じだという考え方をするとよいのではないかと思います。

Q:

政府内ではエージェンシースラックが発生し、主権者の国民ではなく、政治家や役人の論理で意思決定が進むことが多くあって、そのときにはエビデンスに基づく分析はむしろコストと見られます。エビデンスに基づく政策形成が進んでいる国には、それを抑制する方向のインセンティブやガバナンスが働いているのではないかと思うのですが。

伊藤:

世界銀行がいい例で、国際公務員は良い政策を多く打っていれば昇進に良い影響が出ます。エビデンスに基づいた評価が行われているということです。

それから、ちゃんと評価できる仕組みを入れた政策を作った人には、評価した時点で良いポイントが付くようなインセンティブがあればよいのではないかと思います。評価結果次第でマイナスポイントが付き、昇進にネガティブな影響が出るようでは怖くて政策が出せません。たとえ良くない結果が出ても、次の予算請求のときに改善した提案をすることができるわけですから、それも考えたインセンティブ付けを工夫するといいと思います。

Q:

現在、日本では若干アウトカム指標の設定が揺らいでおり、効果測定も意味を失う可能性があります。アメリカの政策現場においてはその状況は既に脱しているのでしょうか。

小林:

何がインプットになっていて、何が実際の活動として行われて、それがどんなアウトカムを生むのかというロジックモデルの構築が、日頃の業務に忙殺されて、できていないように思います。さらに、アウトカムの中にもGDPを上げるというような遠いアウトカムもあれば、生産性を上げるというようなもう少し手前のアウトカムもあります。そのあたりの議論を整理していくことが、エビデンスに基づく政策形成の第一段階としてしなければならないことではないかと感じています。

伊藤:

アウトカムに関しては、どの国でもまだ課題なのではないかと思います。ただ、何をアウトカムとするかは研究者が決めるべきことではなく、国民が求めるものがアウトカムであって、この予算で何をしたいのかをまず話すところから始まるのかもしれません。

研究者ができることは、こういうアウトカムを良くすれば世の中にこんなに良い結果をもたらすという材料を提供することだと思うのですが、現状としてアウトカムが何か分からない状況で政策を作っているのであれば、そこを議論すること自体がとても大事かもしれません。ただ、難しいのは、答えがないことです。皆さんが議論して答えを決めなければならないのだと思います。

Q:

イギリスのWWCのような役割は、アメリカではどのようなところが担う仕組みになっているのでしょうか。

伊藤:

私が知っている限りは大学です。大学の研究者は論文を書きますが、論文はそんなに多くの人は読みません。ですから、意識のある大学では、一般の人も読めるものに落とし込んでアウトプットする広報担当を置いています。一般の人や政策担当者が、忙しい中でも分かりやすく読めるものが実は重要なのです。シンクタンクがその役を担っている場合もありますが、イギリスのWWCはしっかり制度として確立しているので参考になると思います。

Q:

政策担当者が政策の選択肢を随意に作ってしまうと、比較対象の政策よりはましだという形で、もう1つの政策を正当化するツールにもなり得ます。セカンドベストはおろか、さらに低いレベルの政策でも、コントロールグループと比べれば少しは効果があると評価されるなど、意図的な説得材料にならないような仕掛けや研究があれば教えてください。

小林:

葉山町の事例は、住民協働で行ったことによって、合意形成をしながら選択肢をつくった点がポイントです。住民に集まっていただいて、最初にどういう問題があるのかを議論した上でモニタリングしてもらい、データを集めていきました。住民参加で改善したいアウトカムは何かを丁寧に時間をかけて設定していったということで、行政が上からこれがアウトカムだと出した形ではなかったと思っています。

伊藤:

物差しは2つ考えられます。1つは費用対効果の数字を出すことで、これが一番考えやすい指標です。もう1つは経済学でいう厚生分析です。大体の場合はどちらか、もしくは両方を考えて分析します。

ただ、経済学者が考える費用対効果や厚生分析が必ずしも国の政策のオブジェクティブと常に合致するとは思わないので、最後は政治決定や、中にいる皆さんで議論が必要になると思うのですが、今の2点が役に立つかもしれません。

モデレータ:

政策担当者の立場から見ると、トリートメントグループとコントロールグループの二者だけでなく、3つ目、4つ目の選択肢を入れた実験手法で何か新しい政策を打つことにチャレンジし続けるメリットは、非常に大きいのではないかと強く思います。今回を機に、きちんと省内外で共通認識を持ち、省内で地道に成功事例にチャレンジを続けて、玉を1つ、2つと増やしていくことが重要だと思います。

伊藤:

今日お話しして終わりではなく、これをきっかけとして、皆さんからこういう政策を評価したいのだけれどもどうしたらいいかといった疑問や、こういう取組をするためには研究者側としてはこんなことが必要だという要望、霞ヶ関側ではこんなことができるというアイデアなどがあれば、ぜひ聞かせていただきたいと考えています。

小林:

現場と研究者のコミュニケーションは、まさにRIETIの機能の1つではないかと思います。私も微力ながらコーディネーションはできるのではないかと思っていて、ぜひ皆さんと一歩でも二歩でもエビデンスに基づく政策を前に進めていけたらと思っていますので、よろしくお願いします。

この議事録はRIETI編集部の責任でまとめたものです。