什么是循证决策所需的“数据分析能力”?

伊藤公一朗 研究员

  最近“循证决策(evidence-based policy making)”的重要性开始受到关注,认为制定政策和修改政策时应根据“科学性数据分析得出的证据”展开讨论。始于美国和英国的这一概念迅速向各国扩展,最近在日本政府各部门也引起了高度关注。

  为了加速这一动向,利用证据的实际工作人员一方也需要有“正确理解数据分析结果的能力”和“不受可疑的数据分析结果摆布的能力”。但遗憾的是,最近的调查表明,这种理解能力很难说已经广泛扎根。

  本文使用笔者近著《数据分析能力:探究因果关系的思考法》(光文社新书)中的一部分,考察什么是为实现循证决策所需的“数据分析能力”。

“循证决策”的障碍之一是缺乏理解数据分析的能力

  RIETI对“循证决策的实际情况”进行了调查(森川,2017),其中尤其吸引人的一个调查项目是对参与制定政策的人员和政策研究人员提出的问题:实施循证决策时的障碍是什么?

  从回答结果来看,回答“工作人员缺乏解析和研究统计数据的能力”的业务人员和研究人员都占三分之二左右,这说明提高政府官员的分析能力是循证决策不可或缺的基本素质。

分清因果关系与相关关系的思考方法至关重要

  “解析和研究统计数据的能力”涉及范畴广泛,但其中最重要的是认清数据分析得出的结果“仅仅显示了相关关系”,还是“显示了政策产生效果的因果关系”的识别能力。

  比如我们思考一下下面两个事例。假设上司要求你寻找“实施节能补贴是否对企业的节能产生影响”这一政策课题的证据,为此你就会收集以往的数据。

  又假设从数据可以看出下述情况:某企业A2011年申请节能补贴,领取了500万日元的补贴。从收集到的有关企业A的数据来看,平均每单位产量使用的能源量2010年为100,2012年为80。

  再假设以这些数据为证据向上司提出了下述报告。

  “从下图可知,由于发放节能补贴的影响,每单位产量使用的能源量减少了20%。因此可以预期,发放节能补贴将取得巨大的节能效果。”

图:由于节能补贴的影响节能取得了成果吗?
图:由于节能补贴的影响节能取得了成果吗?

  在这里我们思考一下为什么这个结论可能是错误的。在这里读者想用数据分析结果来说明节能补贴对能源消费量产生了影响。但是对2010年和2012年的能源消费量产生影响的因素,除了节能补贴之外还可能有很多。

  例如2012年夏季比2010年凉快,所以受气候条件的影响,生产工厂使用的冷气可能减少了。或者受2011年发生的东日本大地震的影响,企业A的员工也许提高了节能意识。又或者企业A不论能不能获得补贴,都已经在2011年预定引进能源效率高的新型机器。如此看来,这个数据分析并不能断定“节能补贴带来节能提高20%”的因果关系。

  也就是说,上图所显示的虽然是“发放节能补贴”与“能源消费量”的相关关系,但是不是因果关系还无法知道。“气象条件的差异”等数据可以收集到,也许可以用统计分析排除气象条件的影响。但是,“员工的节能意识变化”和“这个企业原本就预定于2011年投资购买设备”这样的数据很难收集,如果不省略这些因素就无法以相关关系为根据评估政策效应(即因果关系)。

为什么需要区分因果关系与相关关系?

  如果误把单纯的相关关系解释为因果关系,就会对本来并无效应的政策做出“产生了政策效应”的结论,造成税金的浪费。此外还会发生完全相反的问题,即“本来可以产生重大效应的政策”,却因误把相关关系解释为因果关系,引发“政策效应太小,今后应取消这项政策”这样的错误结论。

  一经这样解释,“不应以相关关系为证据制定政策”就比较容易理解。但是在实际制定政策工作中由“数据分析专家”提供的结果大多只是单纯的相关关系,而且往往作为显示因果关系的“证据”被提出来。鉴于此,循证决策的实际工作人员理解两者的差异,在各种情况下都是非常重要的。

什么样的数据分析可以提供“政策效应的因果关系”呢?

  奥巴马政权时成立的“循证决策评议会”积极推动了能够科学地提供政策效应因果关系的数据分析方法的利用。

  最受信赖的科学检验法被称为“随机化比较试验(RCT)”。日本的实际事例之一是笔者也参与其中的经济产业省资源能源厅实施的“社会体系实证实验”。另外,被称为“自然实验”的方法还在研发之中,这种方法即使在不能实施随机化比较试验时,也可以利用与实施过的社会实验非常近似的状况。

  对这些方法感兴趣的人可以参考伊藤(2017)。重要的是作为一种国际潮流,在美国和英国的“循证决策”过程中,使用证据的实际工作人员要求证据提供者进行科学分析的动向在不断扩展,甚至(如美国能源部)发出政令不承认除这种科学分析方法之外的分析结果为证据。正是由于使用分析结果的实际工作人员对分析结果提供者的严格要求,形成了在政策讨论中使用高信用度证据的潮流。

  世界各国都已经开始把经过科学分析得出的证据用于实际决策。例如笔者和加利福尼亚大学柏克利分校的研究人员进行的关于电力价格的研究结果,被用于加利福尼亚州政府的决策会议(Borenstein,2012,Ito,2004)。在会议上得出了“分析结果表明,复杂的收费体系会给消费者带来混乱,收不到预期的政策效应,因此需要简化和明确收费体系”的结论,并且后来加利福尼亚州确实简化和明确了电力收费体系(CPUC,2015)。同样的事例还有美洲开发银行曾经实施了“向发展中国家儿童无偿提供笔记本电脑”的政策,但是由于科学数据分析显示没有政策效应,所以该银行停止了这项政策,改为试行新的开发政策(Cristia,2012)。此外,芝加哥大学犯罪研究所和芝加哥市合作分析了各种政策的效应,目前正在取消或缩小费效比低的防止犯罪政策,推动费效比高的政策(Heller,2015)。

  日本也需要在提供高信用度证据的同时,开始讨论如何在形成政策的现场有效地利用证据。

参考文献
  • 伊藤公一朗(2017)《数据分析能力:探究因果关系的思考法》
  • 森川正之(2017)“关于‘循证决策’的证据” RIETI Policy Discussion Paper Series 17-P-008
  • Borenstein, Severin. 2012. "The redistributional impact of nonlinear electricity pricing," American Economic Journal: Economic Policy, vol. 4, no. 3, pp. 56-90.
  • CPUC (California Public Utility Commission). 2015. Proposed Decision filed by ALJ/McKINNEY/CPUC on 04/21/2015 Conf# 85061. Proceeding: R1206013.
  • Cristia, Julian, Ana Santiago, Santiago Cueto, Pablo Ibarraran, and Eugenio Severio. 2012. "Technology and Child Development: Evidence from the One Laptop per Child Program." IDB Working Paper Series 304.
  • Ito, Koichiro. 2014. "Do Consumers Respond to Marginal or Average Price? Evidence from Nonlinear Electricity Pricing." American Economic Review, 104(2): 537-63.
  • Heller, Sara B., Anuj K. Shah, Jonathan Guryan, Jens Ludwig, Sendhil Mullainathan, and Harold A. Pollack. 2015. "Thinking, Fast and Slow? Some Field Experiments to Reduce Crime and Dropout in Chicago." NBER Working Paper, 21178.

2017年4月28日登载

浏览该著者的文章