社会的インパクト評価から見たEBPM：WHYとWHATの重視

評価学ではプログラム評価の体系がよく引き合いに出されますが、この理念が今日の日本も含めたEBPMの底流にあると考えられます。一方で、主に自治体でよく見られる政策評価は、マネジメント改善のための評価が主流化しています。これはニュー・パブリック・マネジメントの潮流を基にして、業績測定を中心に据えた評価手法です。この2つが今日のEBPMの流れにおいて統合しつつあるものの、実務上の要請に応じた運用は単純ではないと感じています。

インパクト投資は2000年代後半に欧米を中心に広がり、今や日本でも活発に実施されています。インパクト投資は、「金銭的なリターンと並行して、ポジティブで測定可能な社会的・環境的インパクトを生み出すことを意図して行われる投資」と定義されています。“intention”や“intentionality”といった「意図」が中心にあり、新たな市場形成を共に担うアクターを増やしたいという意向が、この中核的特徴には表れています。

このインパクト投資は、Impact Measurementという投資行動によるインパクトの計測を重視するものから、Impact Measurement & Management (IMM)と呼ばれる、インパクト測定の管理へと移行してきました。つまり、単なる測定にとどまらず、目標を基にした戦略の策定と指標やターゲット設定、分析の相互作用が重要視されるようになったのです。

そういった変遷をへてインパクト・マネジメントのアプローチが生まれたわけですが、投資行動における測定、つまりいかに測るか（HOW）に加えて、何を測るのか（WHAT）、どのような意図でアウトカムを達成しようしているのか（WHY）が重要な論点であるというのが、IMMにおける大きな気付きでした。

どのような意図でアウトカムを達成し、投資家の意思決定に役立つインパクト情報を抽出できるかが、「WHYとWHAT」のクエスチョンになります。ここでプログラム評価型の考え方が役に立ちます。

内閣府の定義では、社会的インパクト評価は「社会的インパクトを定量的・定性的に把握し、当該事業や活動について価値判断を加えること」としています。これは、もともと英国における social impact measurementの流れを参考にワーキンググループで議論されたものです。そして、社会的インパクト評価は、休眠預金等活用事業を見込んで始まりましたが、その評価指針では、社会的インパクト評価の対象範囲として、「課題（ニーズ）の分析」「事業設計（セオリー）の分析」「実施状況（プロセス）の分析」「アウトカムの分析」が記されています。これに「効率性評価」を加えたものがプログラム評価の5階層と呼ばれます。つまり日本の社会的インパクト評価にはプログラム評価の要素が組み込まれているのです。

測定の前にWHYとWHATを問うというのは、ニーズやセオリーの分析を行うということです。セオリーの分析では、ロジックモデルやセオリー・オブ・チェンジを用いてアウトカムを設定します。それを基に指標を決定し、測定対象を特定していきます。このように、WHYとWHATを問うことで、何をどのように測定すべきかが明確になります。

私が代表理事を務めるSocial Impact Management Initiative (SIMI)では、「社会的インパクト・マネジメント・ガイドライン」と「アウトカム指標データベース」を出しています。インパクト・マネジメント・サイクルをPDCA的に回しながら、そこに評価作業を組み込むことで、社会的インパクト・マネジメントが実践できる構成になっています。

まず、事業目的が社会のニーズに対応しているかを問います。これは、先ほどの休眠預金事業において課題の分析に該当します。次に、事業目的の達成に向けた計画が適切であるか。これは、事業設計の分析に相当し、課題解決に向けた打ち手を可視化、言語化します。

さらに、事業の実施状況や期待される成果に関する質問に答えていくことで社会的インパクト評価を行うこととなり、これらの問いの結果が適切に報告・活用されるサイクルを回すことで、事業改善が進んでいきます。

そして、これと対になるものがアウトカム指標データベースです。これは、事業者が主体的に事業の目的を定め、関係者と共有する際の指針として活用できるように作ったもので、12分野にわたりロジックモデルを含むツールセットを公開しています。ロジックモデルを書く上で、ステークホルダーにとっての「直接アウトカム」「中間アウトカム」「最終アウトカム」を考えるためのガイドにもなっており、指標と併せて示しています。

ここ数年、同様の試みが政府機関でも進展しています。例えば、2022年に金融庁が公表した「ソーシャルボンドガイドライン」付属書4では、想定されるインパクト、目指すアウトカム、およびそれに対応する指標が整理されています。

エビデンスというと、主にその信頼性が議論になりますが、われわれは“actionability”、エビデンスの活用可能性に着目しました。エビデンスを使って評価結果を導出する際に、その活用をあらかじめ見越して評価を行わなければ、マネジメント・サイクルの運用は難しくなります。

信頼に足るエビデンスをいかに構築するかというのは大きなタスクですが、同時に、その構築されたエビデンスをどのように統合し、評価の結論へ結び付け、活用するかという視点も極めて重要です。

Project Evidentが発行する『Next Generation Evidence』では、生徒や家族の経験を直接形づくる幅広い指導者や実務者が、エクイティ（公平性）のためにエビデンスを構築し、活用する力を獲得し、それを実践することを目的として掲げています。エビデンスと言ったときに、施策や事業の企画・実施者、そして対象・受益者にとってもエビデンスが有効に活用されるための方策を検討することが重要です。

日本評価学会には、社会的インパクト評価分科会の活動もあります。プログラム評価に関して評価士養成講座の開講するなど、さまざまな取り組みを行っています。ご興味のある方は当学会のホームページをご覧いただき、講座等への参加もご検討いただければと思います。

橋本：
評価においては、“WHY”と“WHAT”を問うた上で、どのように評価をするのかという“HOW”の順序が重要ですが、これが主客転倒してしまっているというのが本日の重要なメッセージだったと思います。また、アウトカム指標データベースは有用であり、評価する際にはこれらを活用して業績やインパクトの定義を事前に吟味する必要があります。

一方で、目的を持ちつつ当事者として評価を行う中で、最終アウトカムに近づくほど指標は抽象的になるため、これを測定可能な形に操作化することが課題になると感じました。加えて、日本の行政実務においては、「網羅性」を重視するあまり、評価する行為自体が「エビデンス」残しのための作業に終始してしまっているのではないかという懸念もあります。

エビデンスの活用可能性を議論するにあたり、“WHY”と“WHAT”に加えて、私からいくつかの“W”を追加させていただきたいと思います。まず、“WHO”です。自己評価か第三者評価か、自律的か他律的か、制度化された評価かアドホックな評価かによって、評価の取り組み方も異なります。

次に、“WHEN”ということで評価の実施と結果公表のタイミングですが、実務上妥当と認められるエビデンスの水準をどこに設定するかが非常に重要になります。評価学では、「科学的評価」と「実用的評価」という評価の妥当性に対する見解の対立があります。この2つの立場にどう折り合いをつけるかが評価においては重要です。

学術研究では、科学的探求や検証を通じて命題の正しさを明らかにすることが主眼となりますが、評価研究においては、むしろ調査対象となるプログラムの改善に寄与するような評価結果の産出が重視されます。評価において最も重要な目的は、真実であることを示すことではなく、改善することであり、学術研究上の方法論争に比べると、評価研究はよりプラグマティックな対応を取ることで実務に寄与する傾向があります。

続く“WHERE”の視点では、エビデンスの所在を特定することで効率的にエビデンスの精度を高めることができると思っています。また、地理・人・金銭・時間的な制約が、かえって評価デザインのトレードオフを最適化する契機となる場合もあります。そのため、エビデンスを一から作るだけではなく、既存のエビデンスをいかに統合、活用するかが、評価デザインにおいては求められていると思います。

今田：
純粋な学術研究では、真理の探求や科学的な方法で検証可能なエビデンスを抽出することが大きな目的とされますが、科学的評価と実用的評価の到達可能な均衡点を見つけ出すことが、評価研究と評価実践の狭間でいつも悩むところだと思います。

時間的、予算的制約の中で、よりプラグマティックで実務に寄与するアプローチを考えることが評価実務においては大事な点で、そこがマネジメント・サイクルを回して改善する、あるいはエビデンスの活用可能性を考えるといったところと通底するポイントだと思います。

Q：

測定可能なアウトカムの設定の難しさから測定が容易なエビデンス設定に流れてしまいがちだと思いますが、困難なものも測定できるのでしょうか。

今田：

どういう指標で何を測るかというHOWから始めてしまうと、そういったところに陥りやすいというのはあります。測定が困難なものも指標として設定すべきかについては一概にイエスとは言えませんが、アウトカムには優先順位があると思うので、それを測定するための指標をしっかりと考え、結果の評価を行うことが本筋です。測りにくいものであれば代理指標を考えるなどして、事業実施者の一番測りたいものが何かを特定するお手伝いを評価者がすることが大事です。

橋本：

指標化が難しくても、定性的なデータを集めるなど、それを可能な限り可視化していくための方法はあるので、意図を持って主体的に操作化していくことが鍵になると思います。

Q：

プログラム評価は、経済・社会環境が絶えず変化する中でどれほど有効でしょうか。

今田：

アメリカ評価学会では評価の在り方そのものを問い直す議論もあり、事業単位ではなく事業群で評価をするやり方へと徐々に進化しています。単線のロジックモデルを書くプログラム評価が万能だとは決して考えていなくて、例えば、セオリー・オブ・チェンジに事業ごとのロジックモデルを組み込むといった評価も行われています。

Q：

社会インパクト評価の物差しは単発事業だけでなく、より大きな物差しとも考えられますか。また、インパクト投資のロジックの世界とEBPMの世界はどのように影響し合っているのでしょうか。

今田：

SIMIの社会的インパクト・マネジメント・ガイドラインは単一の事業以外でも適用するように考えていますし、EBPMも同様の発想が一部ではあると思います。インパクト経路は汎用性や標準化が大事であるものの、インパクトは個別性が非常に大きいため、標準化や汎用化によって個別性が捨て去られてしまうというリスクがあります。

インパクト投資や金融の世界では、標準化を非常に強く求める傾向があるのでせめぎ合いになりますが、インパクトの個別性を重視した上で、ステークホルダーの意見や考えも取り入れて、納得できるロジックモデルを一緒に描いていくことが重要です。

Q：

評価領域における人材はどのように育成していけばよいでしょうか。

今田：

評価学会では評価士養成講座のほか、評価士のためのフォローアップ講座も開始していますが、当学会以外でも学術的・体系的に評価学を学べる仕組みづくりに取り組んでいきたいと思っています。

橋本：

評価を理論的に理解することに加えて、実践も非常に重要です。皆さんがそれぞれ持っている現場でどのように評価が行われ、どういった評価が可能なのかを、ぜひ皆さんと一緒に考えていきたいと思っています。