これまでに、「ものづくり・サービス補助金（ものづくり補助金）」事業と「小規模事業者持続化補助金（持続化補助金）」事業の効果分析を担当してきた。その経験からみえた課題を共有し、今後のEBPM分析への橋渡しとしたい。
政策の効果分析を行う際に、最初に直面する課題はアウトカムの設定である。通常の研究論文では、研究者が関心を持つ、もしくは効果が観察されそうな指標をアウトカムに設定する。しかし、EBPMにおけるアウトカムは、事業ごとに作成される「ロジックモデル」においてあらかじめ定められていることが多い。ところが、「ロジックモデル」で設定されたアウトカム指標が実際の分析に使えないことは少なくない。例えば、持続化補助金のアウトカムは「生産性の向上」であったが、利用可能なデータに付加価値額や労働時間が含まれず、「全要素生産性（TFP）」や「労働生産性」を計算できなかった。そこで、「一人当たり売上高」を生産性指標として代用した。このように事後的に政策の効果を測定するEBPMのアウトカムでは、事業の目的とデータの利用可能性の間で妥当そうな指標を設定することになる。
次に、分析の実行段階で明らかになるのは、データの制約から、分析対象の事業全体を評価することが困難であるという点である。ものづくり補助金の分析では、付加価値額を含む「工業統計調査」を用いることを選択した結果、分析対象を製造業に限定せざるを得なかった。また、持続化補助金の分析では、法人番号を持たない未登記の小規模事業者の多くが、アウトカム指標を含むTSRデータと接合できず、分析に用いることができなかった。このような分析からこぼれ落ちるサンプルは、ランダムに発生するものではなく、特定の産業であったり、事業者規模であったりと偏りがある。分析者サイドは利用可能なデータを用いてベストを尽くすが、そこから得られた結果が政策全体の評価と一致する保証がない場合は、分析者は誠実に記すべきであるし、読み手も分析の範囲には注意深くあるべきである。
最後に、すべての段階において、継続的な政策担当部局とのコミュニケーションが不可欠である。よいデータがあればよい EBPMができるわけではない。分析の着手から結果の公表に至る過程で、政策担当部局と分析担当者が目的や進捗を共有できなければ、EBPMは円滑に進められない。双方の「村のルール」（スケジュール感や業界用語など）が理解しづらいこともままあるため、現在のEBPMチームの関沢上席研究員・研究コーディネーター（EBPM担当）のような、経済産業省から出向し、政策サイドと研究者サイドの両方の考え方や作業の進め方に理解のあるコーディネーターの介在は非常に重要である。
