ノンテクニカルサマリー

科研費審査プロセスにおけるバイアスの分析―えこひいきか、情報優位か

執筆者 大西 宏一郎(早稲田大学)/大湾 秀雄(ファカルティフェロー)
研究プロジェクト イノベーション能力の構築とインセンティブ設計:マイクロデータからの証拠
ダウンロード/関連リンク

このノンテクニカルサマリーは、分析結果を踏まえつつ、政策的含意を中心に大胆に記述したもので、DP・PDPの一部分ではありません。分析内容の詳細はDP・PDP本文をお読みください。また、ここに述べられている見解は執筆者個人の責任で発表するものであり、所属する組織および(独)経済産業研究所としての見解を示すものではありません。

イノベーションプログラム(第五期:2020〜2023年度)
「イノベーション能力の構築とインセンティブ設計:マイクロデータからの証拠」プロジェクト

公平性、専門性の観点から科学研究費(以下、科研費)の配分にはpeer reviewシステムが使われている。しかし、各分野の研究者の数が多くないことから、応募者と審査員の間に何らかのsocial tiesがあるケースが見受けられる。このようなtiesが審査に影響を与えないように、科研費では、応募者と審査員の間に利害関係がある場合、審査員は審査を辞退することとなっている。しかしながら、科研費の規定では、その利害関係の範囲が狭く定義づけられているため、実際にはtiesの存在する中で審査が行われている可能性がある。例えば、両者が同一大学の同一学部・学科・研究科・専攻に所属するというだけでは利害関係者とならないと規定されている。一方、例えば米国NIHのグラントでは、両者が同一部局はおろか同一大学というだけで利害関係者と定義されており、この点で大きな違いとなっている。このような一種の利害関係の定義の緩さは、科研費データを使うことで審査員と応募者とのsocial tiesと審査結果の関係性を分析する貴重な機会を提供してくれる。

Social tiesは審査員によるえこひいき、内集団バイアス等のマイナスの側面が強調されることが多い。しかし、応募者に関する追加的な情報を有することで、より効率的な研究費の配分が可能となることも否定できない。実際、科研費でも応募書類以外の情報を審査に用いることを禁止していない。そこで本研究では、経済学分野の科研費の審査員と応募者のデータと所属先、研究分野等のデータを用いて、応募者と審査員とのsocial tiesの関係性が、審査スコアにどのような影響を与えるのかを分析し、更に審査の精度に影響を与えているのかを明らかにした。

分析では、審査員と応募者との間で大学が一致するかどうか、大学のうち部局まで一致しているかどうか、過去に科研費で共同研究していたかどうか、専門分野が一致しているかどうかの4つのtiesと審査スコアとの関係性を見た。図1はsocial tiesのある審査員とそうでない審査員で審査スコアの分布がどのように異なるのかを見たものである。ここでは応募者の質をコントロールするために、同じ応募者に対してtiesのある審査員とない審査員でスコアがどのように異なるのかを見ている。図では、social tiesのある審査員のスコアはtiesのない審査員と比較してスコアが高くなることがわかる。この結果は、コントロール変数を加えた回帰分析でも同様であった。

問題は、このようなスコアの上方シフトが、バイアスによるものなのか、private informationによるものなのかである。この点を確認するために、科研費取得の有無等の様々な要因をコントロールしたうえで、tiesがある審査員の審査スコアが他の審査員との審査スコアと比べ、応募者のその後の研究業績をどの程度上手く予測できるのかを推計した。その結果、審査員と応募者が同一部局に属する場合には、審査員のスコアの将来の研究業績予測力は低下することを示す結果を得た。一方で専門分野が一致している場合は、将来の研究業績の説明力は有意に向上する。また単に応募者と審査員が同一大学(部局一致の影響は除く)であること、過去に共同研究していた若手応募者のケースでもスコアの説明力の増加が観察された。これらの結果は、両者が同一部局であることは審査スコアに上方バイアスをもたらしている可能性が高い一方、同一大学(同一部局を除く)という緩いつながりや専門分野の一致は、審査の精度を高めることを示しているといえる。特に、専門分野の一致の説明力が高かったことを鑑みると、審査員には応募分野の専門家を配置すべきであることも同時に示しているといえる。なお、これらの影響は准教授や専任講師等の若手の研究者で強くみられることも明らかとなった。これは、学界での評判などの情報が少ない若手にとっては、審査員との緩いつながりあることなどを通じた、追加的な情報が正しい評価を下すうえで重要であることを示しているともいえる。

最後に、審査員と応募者で部局が一致する場合の悪影響を評価するために、仮に部局が一致する場合には審査を辞退していた場合、科研費採択者がどのように変わっていたのかをシミュレートした。その結果、部局が一致し、かつ採択されていた応募者において、基盤Bで12%、基盤Cで6%、若手Bで11%ほど非採択となっていた可能性を示す結果を得た。もともと部局が一致するケースは多くないので、このようなえこひいきとみられるスコアの上方バイアスが全体に与える影響は小さいものの、審査の公平性の観点からはやはり制度変更が必要であると言えよう。

図1 social tiesがある応募者に対する各審査員のスコアの分布
[ 図を拡大 ]
図1 social tiesがある応募者に対する各審査員のスコアの分布