Special Report

政策評価で「科学風のウソをつく」方法

戒能 一成
研究員

政策評価と「科学風のウソ」

筆者は経済産業研究所に在籍して15年になるが、立場上からさまざまなシンクタンク・コンサルティング会社などの研究組織や大学で行われた「政策評価」を第三者評価・鑑定して欲しいと関係行政庁の担当から依頼されることがある。

個人的実感として、近年の定量的政策評価への意識の高まりとは裏腹に、依然として(悪意の有無は別として)科学的な証左を用いながら誠に不適切な「政策評価」の類が横行している状況にあると言わざるを得ず、この類の文献や報告書の中には刮目して読まなければならないものが多いことを日々大変残念に思っているところである。

当該問題は日本に限った問題ではなく、Manski(2011)*により類似の問題が米国でも深刻である旨が実名入りの事例を挙げて報告されている。具体的な報告は承知しないが欧州諸国や移行経済国、中国・インドなどの途上国でも推して知るべきであろう。

本稿では筆者が過去この分野で実際に見聞した「科学風のウソ」の実例を基礎に、どのようにして不適切な定量的政策評価が生産されてくるのか、その典型的な手口はどのようなものなのか、それをどうやって見破ればよいのかを、官公庁の政策企画立案の担当者に理解・実践できるようなるべく平易に解説することを試みる。

本稿および筆者への批判・苦情・中傷は勿論歓迎するが、筆者の知らない具体的事例の「タレ込み」や「どう考えてもおかしい」事例の相談を最も歓迎する。

科学風のウソが生産される背景・要因

一見科学的な証左を用いながら不適切な「政策評価」が行われる背景・要因は、構造的なものと技術的なものに分類できる。前者は政策評価を委託する行政庁やこれを受託するシンクタンクや大学の組織的・全体的な問題と考えることができ、後者はシンクタンクなどの研究組織あるいは行政庁内部で政策評価を実施する分析者の個人的・部分的な能力・資質の妥当性や倫理性などの技術的問題と考えることができる。(表1)

表1:政策評価において「科学風のウソ」が生産される背景・要因
(1) 構造的背景 - 最初から「結果ありき」の政策評価が選好される要因 -
  • 「勇気ある撤退」を全く評価しない行政庁側の組織風土
  • 予算・人員を巡る担当部署での「限定合理性」や「縦割主義」による視野狭窄
  • 関係者の「思込み」や「欧米では〜」型の権威主義
  • 行政庁側の中立的でない評価要請や過度の分析・評価者への介入・圧力
  • 分析・評価側の客観性の欠落や金銭的・競争的・学術的動機に基づく利害相反
(2) 技術的背景 - 都合のよい政策評価の「結果」が捏造・抽出される要因 -
  • 統計試料の出典・年度の恣意的な取捨選択や混合・補間・加重
  • 代表性の欠落や異常値の残留など偏った試料からの外挿・拡大推計
  • 分析期間・対象における外的要因などの不考慮・悪用
  • 分析手法における前提条件の乱用・逸脱や基礎的理論の無視
  • 潜在的な偏差・誤差の軽視と強引な解釈

さて、親愛なる本稿の読者は幾つ思い当たられたであろうか?

筆者が見てきた典型的な構造的背景は、委託を行う行政庁側での「勇気ある撤退」を全く評価しない組織風土と分析・評価側の各種利害相反の組合わせであり、行政庁側で何が何でも現状政策を肯定し予算・定員を確保する正当化手段として政策評価が捉えられ、分析・評価側で金銭的・競争的動機からこれに応じて「曲学阿世」と誹られても仕方がない不適切な成果が納品される場合である。

次が学術界での新奇な分析結果("Surprise")を狙い過ぎた研究組織・大学の研究者が分析技術の粋を尽して現場の関係者が赤面・困惑するような的外れな研究をされる場合である。

技術的背景としては委託を行う行政庁側の担当者の各種統計的手法への基礎的理解が不足し不適切な評価をそのまま検収して「地雷を踏んでしまう」場合であり、分析・評価側の担当者が発注者の圧力に屈して統計試料や分析手法の意図的・潜在的な取捨選択や我田引水な解釈・報告に手を染め「暗黒面に堕ちてしまう」場合である。

頻度は高くないが、行政庁とは独立的な立場にある研究組織・国際機関などが行ったものではあるものの、無理をして「批判のための批判」を行おうとした結果、到底是認できない偏った統計調査を基礎としたり前提条件を乱立させその逸脱・矛盾を幾つも内包したまま宙に浮いた結論を導いている「政策評価」に出くわす場合もある。

つまり、非常に遺憾ながら政策評価において「科学風のウソ」が生産される動機は根深く分野・組織・時代を問わず常時存在している、ということである。

科学風のウソを捏造する「手口」

上記の組織的要因などについては筆者の専門外であるが、技術的要因などについては長年の(意図せざる)研究対象であり、その概略と代表的な「手口」を暗黒面の側から敢えて解りやすく説明すると以下のとおりである。統計自体の問題については「統計でウソをつく方法」*が著名であり、是非一読を御勧めする。

(統計試料の出典・年度の意図的な取捨選択や混合)

近年は統計調査の個票を用いたパネルデータ分析が流行であるが、パネルデータ分析には恣意的に対象・期間を取捨選択すると見事に違う結果が得られるという便利で困った特性がある。取捨選択以外にも個票を適宜集計して暗黙裏にウェイトを再調整したり、恣意的な異常値排除を行ったパネルデータからも非常に香ばしい結果を得ることができる。

(代表性の欠落や異常値の残留など偏った試料からの外挿・拡大推計)

計量経済学で重視される「ランダム化された実験的手法」については、調査会社に丸投げされ子細が不詳な対象から得られたランダムな試料であってもこの手法に分類される。つまりランダム化は調査対象自体の妥当性を担保する訳ではない。ランダムに選ばれた「新橋駅前の酔客」や「平日昼間から自宅で電話に出られる」聞取調査の対象を日本人の代表に仕立て上げるのはその筋の常套手段である。

(分析期間・対象における外的要因などの不考慮・悪用)

処置効果が正しく評価できる基本的な要件は政策措置などの効果を除いて「他の条件が一定:"Ceteris Paribus"」であることである。従って偶然に生じた処置以外の外的要因や内生的選択の結果("Aschenfelter's Dip"*など)を悪用し存在しない効果を出現させる上では、対照群を用いず処置群のみを試料に用いる前後差分析(BA)や本来必要な説明変数を脱落させた時系列分析(TSA)が非常に重宝である。一般に「相関は因果を意味しない」ことは良く知られているが、「因果があっても外的要因や二次的影響が管理・考慮されていなければ正しい評価はできない」ことは高い頻度で忘れられている。

(分析手法における前提条件の乱用・逸脱や基礎的理論の無視)

如何なる分析手法にもそれが適用できる前提条件が幾つか存在する。処置効果においては多くの場合に処置群・対照群の間での選択との独立性(CMI)が注目され両者の異質性が管理されているか否かが問われる場合は多いが、他の前提条件が充足されているか迄を律儀に確認する行政庁の依頼元は稀である。特に誤差の組織相関・系列相関の不存在*などの面倒な前提条件の確認は、折角標準誤差を小さくして捏造・誇張した政策措置の効果をうっかり正しく検証してしまう場合があるためその筋では忌み嫌われている。

同様の理由から「聞いたことがないような」新奇な横文字の評価手法を突然提案することも、基礎的な前提条件の確認などを「有耶無耶にして煙に巻く」上では非常に有効である。

(潜在的な偏差・誤差の軽視と強引な解釈)

危険率5%での統計検定の結果は「5%の危険率で帰無仮説が棄却(= 有意でない可能性は5%未満である)」か否かを示しているに過ぎず「政策措置の効果が出る確率が95%」であることを意味している訳ではない。しかし統計的知識が十分でない行政庁の依頼元は何故か「95%」という数字に弱いことが多いため「95%有意」と書くと喜ばれる。同様に処置群・対照群に最初から差異がある場合には統計検定で見掛け上非常に良好な結果が得られるため、時間方向の情報を敢えて用いない横断面分析(CS)や不連続回帰分析(RD)を用いた評価がその筋では非常に重宝されている。

科学風のウソに対する基本的検出手順

上記の代表的な「手口」を検出し見破るべき行政庁側の視点から改めて見た場合、以下のような基本的な確認事項と問題の検出手順が浮かび上がってこよう。あまりにも簡単で実効性を訝られるかも知れないが、再度強調するがこれらは筆者が政策評価の分野で実際に見聞した実例を基礎としたものであり、これだけで相当部分の「科学風のウソ」を予防できると考えられる。(表2)

見方を変えれば、公正で良識ある分析・評価者が余計な詮索を受けないためには、分析・評価結果の報告において下記の要点について順を追って明確に説明し、その正当性・妥当性を挙証しておくべきである。

表2:政策評価における「科学風のウソ」を検出し見破るための基本的確認事項
(1) 分析に用いた統計試料の出典・年度・試料数および予備処理の有無の確認
  • 分析試料の出典・年度・試料数、欠測の有無
  • 原試料の異常値排除・集計・ウェイト付与など予備処理の有無とその内容
(2) 分析試料の代表性の挙証・予備処理の正当性の挙証
  • 分析試料の代表性の挙証と政策実施対象との対応関係の確認
  • 予備処理内容・手法の正当性の挙証と結果確認
(3) 分析期間・対象における観察指標推移の確認 - 処置群・対照群の数値推移のグラフ化 -
  • 処置前後の分析期間での処置群・対照群の観察指標の推移確認(推移のグラフ化など)
  • 処置前後の分析期間での処置群・対照群の並行推移性・対応性確認
(4) 事例に適用する分析手法の正当性の挙証と前提条件の確認
  • 適用する分析手法の正当性の挙証と先行適用事例との類似性の確認 (代替的な分析手法を適用・併用しない正当性の確認)
  • 当該分析手法における前提条件の列記、確認内容・手法と確認結果
  • 基礎的・基本的分析手法からの段階的適用の確認(不自然な手法選択有無の確認)
(5) 潜在的な偏差・誤差の可能性を考慮した感度分析と安全側解釈
  • 潜在的な偏差・誤差の可能性を踏まえた感度分析の実施と結果確認
  • 結果解釈の妥当性の確認(論理的飛躍・統計的誤解釈の有無の確認)

科学風のウソの検出事例 - 福島第一原発事故の風評被害の評価の事例 -

具体的な事例として、自省の意味も込めて小生が最近「やらかした」問題と上記検出手法の応用について解説する。

福島第一原発事故による福島県産農産物の風評被害については、東京都中央卸売市場での取引価格・数量実績を用いてその定量的な評価が可能である。統計出典・予備処理等に特段の問題はなく入念なグラフ化による観察を行ったため上記(1)〜(3)の条件は充足していた。また被害の「継続」「収束」の判定基準を明確に定義していたため結果解釈の(5)の条件にも問題がなかった。しかし、横断面前後差分析(DID)での評価において2017年2月時点*では前提条件について十分な注意を払わなかったため(4)の条件で重大な誤りに陥っていた。

具体的には6つある横断面前後差分析(DID)の前提条件のうち「処置による対照群への二次的影響の不存在性(SUTVA: Stable Unit Treatment Value Assumption)」の確認手法が解らずその確認を怠ってしまった。簡単に言えば、福島などでの風評被害を背景に代替需要を受けて事故後に供給量が増えた北海道・佐賀など二次的影響のある産地を十分吟味せずに対照群に含めていたため、横断面前後差分析(DID)の前提条件の抵触により風評被害の効果を実態より過大に推計していたのである。(図1)

更なる調査の結果、「処置による対照群への二次的効果の不存在性(SUTVA)」の確認・対策手法は過去に殆ど研究されていなかったことが判明し、これを開発し再評価することにより妥当と思われる結果を2017年12月*に得ている。この間、関係者に御迷惑を御掛けしたことをこの場を借りて深く御詫びしたい。

図1:横断面前後差分析(DID)の「SUTVA」条件と処置効果の推計結果への偏差(概念図)
図1:横断面前後差分析(DID)の「SUTVA」条件と処置効果の推計結果への偏差(概念図)

科学風のウソを見抜く能力の組織的・体系的育成

以上政策評価における「科学風のウソ」について概説を行ったが、政策の企画立案の現場に置かれた行政庁の担当者が個人の努力で対処を続けていくことには限界がある。

上記一連の分析や対策は、見方を変えれば政策制度という政府が提供する特殊なサービスの「品質管理活動」であると考えることができる訳であり、製造業などのQA/QCと同様に行政庁が組織一丸となって対処していくことが非常に重要である。

従って、行政庁における政策評価の現場においては以下のような措置を講じていくことを提言したい。

(実践的な計量経済学の研修・内部教育課程の整備)

「科学風のウソ」に煙に巻かれない基本は、行政庁の担当者が相応の知識を持つことである。

多くの行政庁には研修制度などが整備されているが、座学での一般論の講義を改め「政策評価での分析・評価の盲点・留意点」に的を絞った実践的な研修・内部教育課程に転換していくべきである。

また、国内の行政庁にはほぼ例外なく研究所が付置され多くの国立大学法人には公共政策を専攻する課程が設けられている訳であり、こうした研究機関に政策評価上の問題事例の整理・検証・対策を依頼し関連資料の整備充実や人材育成を付託することによって「気軽に相談できる政策評価の専門家」を増やしていくことは、中長期的に見て行政庁と関連研究機関の双方に利得をもたらすものと考えられる。

(大学・研究機関での関連成果の参照・実践的な相談の実施)

上記の小生の知見はほぼ全て経済産業省など現場の担当者が「この分析・評価はおかしい」と直感したものを小生に相談した事案の中から多大な労力を払って得られたものである。

残念ながら研究所が全ての相談に応じることは不可能であるが、高頻度で見られる問題点に対応するため、ささやかながら小生HPにおいて東京大学公共政策大学院での講義実績を基礎とした「政策評価の失敗事例」の収集・分析と基礎的手法についての簡単な解説資料の無償公開を開始したところである。御関心の向きは是非御参照頂きたい。

https://www.rieti.go.jp/users/kainou-kazunari/

また微力ながら関連する第三者検証・鑑定の依頼は今後とも引き受けていく意向である。

(公正・入念な検証と「勇気ある撤退」を重んじる組織風土の醸成)

行政庁の多くでは予算・人員の獲得と政策制度の創設・充実は組織の維持・発展上の重要課題である。しかしその課題は政府の政策方針と現実の行政需要に基づいて是認され、かつ政策評価を通じて合理性が挙証されたものでなければならない。

相応の調査費などを費やした政策評価の結果が万一にも否定的なものであった場合、行政庁側は不完全な分析・評価への是正・検証を訴求することは可であるものの、検証してなお否定的な結果が覆らなかった場合には当該結果を政策の抜本的改善や大所高所に立った「勇気ある撤退」につなげていくべきであり、そうした冷静な判断を下した担当者やそれを認めた幹部こそ組織内外から高く評価されるべきであろう。

財政支出の相当部分を将来負担で賄っている現状にあって、政策評価で不都合な結果を「御蔵入り」をさせて問題を先送りすることや恣意的な評価を分析・評価者に強いることは、政策制度という特殊なサービスにおける「品質不正問題」であり、間違いなく日本国とその将来世代への背信行為である。

文献

2018年1月17日掲載

この著者の記事