「政策研究の費用対効果」評価の重要性
- 「新・総合エネルギー統計」の開発を振返って -

戒能 一成
研究員

「新・総合エネルギー統計」とは

総合エネルギー統計は、単に経済産業省で国内エネルギー需給の算定に用いられるだけでなく、ほぼそのままの形で環境省でのエネルギー起源温室効果ガスの算定に用いられ、日本国政府の気候変動枠組条約上の報告義務の履行の基礎となっている重要な統計である。

2015年度に経済産業省において採用された「新・総合エネルギー統計(以下「新統計」という)」は、2010年度から5カ年を掛け小生が開発したシステムを用いて算定されている。

新統計は2007年度に小生が開発した旧システムと比較して分解能・算定精度が格段に高く、標準産業分類中分類98業種に準拠した産業分類別のエネルギー需給を電力から各種石油製品や新エネルギーに至るほぼ全てのエネルギー源につき網羅的に表象し、1990〜2013年度についての平均算定誤差2%未満を達成するなど一定の成果を上げている。

既に新統計は開発の終了に伴い小生の手を離れ、とある別組織が担当し継続的に更新作業が行われているが、一連の開発を振り返った感想と今後の政策研究への示唆を整理してみた。

開発動機は「何の問題もないはずの作業上の不具合」

当該新統計の開発は、実は経済産業研究所の正規のプロジェクトとして発足したものではない。当該開発は、2007年度に小生が開発した旧システムで既に予定され織り込み済みであった「エネルギー消費統計調査」への、本来は何の問題もないはずの更新作業上の不具合が出発点となったのである。

旧総合エネルギー統計では、第三次産業・中小製造業などのエネルギー需給の算定を5年毎作成の産業連関表からの補間・補外推計に依存していたが、経済産業省が2005年度から開始した第三次産業部門などを対象とした「エネルギー消費統計調査」に切り替えることにより、精度の低い補間・補外推計から毎年度の統計調査への移行により更なる精度向上を図ることとされており、当初から筆者を含め誰もがその成功を疑わなかった。

ところが、当該作業を実施した結果は当初の期待とは全く逆となり、毎年度の統計調査を用いているのに算定精度が著しく低下するという怪現象が再三発生することとなり、当初は「不具合の原因究明」程度に軽く考えて開発が始まったものである。

経済産業研究所で正規のプロジェクトとするためには、BSWSを経て予算配分を議論し研究補助者を募集するなどどう頑張っても3カ月以上の時間と煩瑣な事務作業が必要であるが、上記のとおり本件は小生が無償で引き受けた「作業上の不具合」が出発点であったため、当初は予算・補助人員ゼロの個人的研究課題とせざるを得なかったものである。

予算・補助人員ゼロ開発のための「入念な予察作業」と「徹底的な自動化」

予算・補助人員ゼロでどうやって毎年度200万件を超える膨大なデータを処理するか、という点は本件開発の当初からの問題であったが、以下の方法により結果的にただ1人で1990〜2013年度迄の一連の開発に成功している。

  • 「入念な予察作業」
    代表的業種・エネルギー源を数件選定しさまざまな方法論を試行してみる「予察作業」を反復的に実施し、高い確度で成功する手法が見つかる迄作業範囲・対象を拡大しない。
  • 「徹底的な自動化」
    数値計算ソフトのマクロによるデータ変換・集計・処理の実施、高性能PCでの夜間自動計算の実施など、必要がなければ手作業をせずソフトウェア開発に集中する。

あくまで結果論ではあるが、本件においては後述のとおり発想の転換が開発成功の鍵であったため、「総合エネルギー・データベース(仮称)整備」などと称して最初から大規模なプロジェクトを組んで作業を行っていたならば、かなりの確率で大失敗していたと推察される。

開発成功の鍵は東郷元帥の故事「必要ならば躊躇なく捨てよ」

「エネルギー消費統計調査」は第三次産業・中小製造業に対し有効回答20万件以上を集める一大統計であり、当然に一般の統計調査同様の実査と集計処理が行われていた。

上記「予察作業」を進める中で、3カ月を経ずして「エネルギー消費統計調査」の中に極端に高濃度かつ偶発的な異常値が含まれていることが判明し原因究明はあっけなく終了した。

問題はその後であり、当該高濃度で偶発的な異常値を除去する方策を発見する迄に2年近い歳月が掛かったのであるが、作業上最大の障害となったのは「多額の調査費用を費やしたのだからデータは捨てずに隅々まで活用すべき」などといった固定観念であった。

長く失敗が続いたある日、問題解決のヒントを与えたのは偶然読んだ日本海海戦直前での連合艦隊東郷平八郎元帥の「石炭ヲ海ニ捨テヨ」の故事である。決戦を前に各戦艦には高価だが高性能な英国産無煙炭が支給され各艦長は歓喜して石炭を満載したが、その分だけ船が重くなり鈍足・不安定となって射撃精度が低下してしまっていた。当該問題を訓練時に看過した東郷元帥が下した、世にも珍奇で勿体ない、しかし誠に的確な命令がそれであったのである。

通常の公的統計において個票データは多額の費用を使って得た「石炭」であり有効に活用すべく各担当者はこれを「満載」しようとするのが常であり、本件ではその結果として前述の戦艦よろしく精度と安定性が損なわれていたことに誰も気付かなかったのである。

新統計の開発について「政策研究の費用対効果」を考えてみる

当該開発を「研究開発投資」として見た場合はどう評価すべきであろうか?

前述のとおり開発費用は小生の人件費5年分のみであり 1億円に満たない金額である。

開発が失敗していた場合、未処理の「エネルギー消費統計調査」は新統計で許容される誤差水準を超えてしまっているため、「エネルギー消費統計調査」側では標本数の増加など費用の掛かる対策が講じられる一方、当該対策が奏功する迄の期間やその後もなお残留する誤差については、新統計側での精度低下に目を瞑るなどの妥協が図られたのではないかと推測する。

仮にそのシナリオに沿った解決が図られた場合、経済産業省では毎年度数億円の統計予算を追加することを半永久的に強いられていたはずであり、新統計の精度的妥協による弊害を無視したとしても、小生の数年分の人件費など簡単に回収できる効果が得られた計算となる。

問題は、これを事前に評価し認識する方法がなかった、という点である。

「政策研究の費用対効果」の諸元や方法論の策定・明示の必要性

つまり小生は幸運にも予算ゼロ・補助人員ゼロで驚異的に費用対効果の高い開発に成功した訳ではあるが、上述のとおりこれは単なる偶然である。

むしろ、当該開発の運営管理を巡って小生がこの5年間に体験した、不条理な当局からの御指導や研究と直接何の関係もない作業を若手の政策研究者に再体験させるのは全く以て不合理であると思われる。また、全ての政策研究の課題において小生が行ったような予算ゼロ・研究補助者ゼロの手法が成功を保障してくれるという訳でもない。

したがって、本来は上述のような「政策研究の費用対効果」の諸元や方法論は研究マネジメントの一環として策定・明示され、研究者や研究組織の毎年度の研究課題における「投資優先順位」の選択や「研究ポートフォリオ」戦略の策定と資源配分に活用されるべきであり、試行錯誤による偶然の成果を重点投資による必然の成果に変えていくべきなのである。

政府部内になお巣喰っている諸課題に対し、より体系的で合理的な「政策研究開発投資」で解決していくためには、有効な投資先の厳選と結果の公正な評定は必要不可欠であり、もしかして「政策研究の費用対効果」の評価手法はそれ自体が緊急の開発課題なのではないだろうか?

2016年3月29日掲載

この著者の記事