Information Advantage or Bias Related to Social Ties: Evidence from a peer review system for national research grants

本研究では、経済学分野の科研費の審査員と応募者のデータと所属先、研究分野等のデータを用いて、応募者と審査員とのsocial tieの関係性が、審査スコアにどのような影響を与えるのかを分析し、さらに審査の精度に影響を与えているのかを明らかにした。Social tiesとして、審査員と応募者との間で大学が一致するかどうか、大学のうち部局まで一致しているかどうか、過去に科研費で共同研究していたかどうか、専門分野が一致しているかどうかの4つを用いた。推計では、まず、これらの4つのtieがある場合、審査スコアは他のtieがない審査員と比較して、高くなる傾向があることがわかった。問題はこのような上方シフトが何らかのえこひいきによるものなのか、それともtieを通じた追加情報のおかげなのかどうかである。それを探索するために、これら4つのtieがある場合とない場合のスコアを用いて、将来の応募者の研究生産性の予測精度を比較した。その結果、審査員と応募者が同一部局に属している場合には、予測精度が低下する一方で、同一大学（同一部局を除く）である場合、専門分野が一致する場合には精度が向上することが明らかとなった。同一部局の場合には何らかのえこひいきを想起させる結果である一方、それ以外のtieでは審査の質を向上させることを示しているといえる。そして、このようなsocial tiesによる審査精度の向上は、特に准教授や専任講師などで強く観察されることから、応募経験の少なさ、評判などが不十分な若手においてsocial tiesが正確な審査に重要な役割を果たすことを示唆する結果を得た。

We examine how reviewer–applicant social ties (department and university affiliation, co-applicant relationships, research field similarity) influence reviewer evaluations, based on Japanese research grant application data (2005–2016). All relationships between social ties and scores are positively correlated, even after accounting for unobservable applicant characteristics and proposal quality. Regarding bias and information advantage effects, upward deviation from department match negatively correlates with applicants’ future research outputs, implying bias. Upward deviation from research field or university match positively correlates with future productivity, indicating that information advantage predicts applicants’ future productivity. Information advantage through social ties is stronger for younger applicants.