科学者の業績の一部は論文の被引用件数で評価される。本稿では、多くの引用件数を得られる研究結果の発表への圧力のため、未知の分野への探求がおざなりになり、科学の進歩を損ねている状況を指摘したい。しかし、科学論文の新規性を計測する代替方法がないため、引用件数を重視した評価が続いている。インパクトファクターではなく、科学者がよりイノベーティブな研究を追求できるようにする、新規性に基づいた科学ジャーナルのランク付けについて紹介したい。
科学者の名声や昇進は、論文のインパクトと発表先の科学ジャーナルの権威によって左右される。インパクトは他の論文に引用された件数によって計算される。
あらゆる科学分野において、被引用件数に基づく評価に対する不満は驚くほど高い。引用件数が最も高い科学ジャーナルであるサイエンスの編集長でさえ、こうした評価方法はイノベーティブな研究を阻害し、追従型の研究につながると警鐘を鳴らしている (Alberts 2013)。
引用件数をめぐる問題
被引用件数に基づくランク付けの問題点は何か。まず、研究の種類についてまったく考慮されない点である。つまり、新規性のある研究なのか、それとも従来の研究を踏襲しているのかという点である。被引用件数の多い論文に新しいアイデアが示されているかもしれないが、そのような本質的な理由は存在しない。
新規性のある優れた研究は、従来の研究を踏襲した優れた研究と比べて被引用件数が多いのは事実だが、真に新しいアイデアを追求することに伴うリスクを補うものではない (Foster et al. 2015)。従来型の科学を研究するほうが無難で、資金の獲得や学術誌への掲載の可能性は高い。
新たな分野を探求する明確なインセンティブがなければ、新規性のある科学はなかなか生まれない (Besancenot and Vranceanu 2015)。また、科学の道に進む人は、未知の分野の研究を望んでいるということを考慮すると、そもそも引用件数で計測する実績評価は、科学の道に進むことに対する意欲を本質的に潰してしまうだろう (Osterloh and Frey 2015) 。
過去30年間の引用件数に基づく評価は、科学者の研究の仕方を変えてしまったのかもしれない。生体臨床医学分野のエビデンスが示すように、この間、以前と比較して科学者は新規性のある研究に取り組むことをしない傾向が見られる (Foster et al. 2015)。引用件数を気にせずに研究する場合と比較して、科学の進歩は遅れてしまっているのである。
解決方法
この問題に対処するため、我々はインパクトではなく、新規性に着目し、科学ジャーナルをランク付けする手法を開発した(Packalen and Bhattacharya 2015)。この手法では、比較的新しいアイデアを紹介する論文を掲載する傾向があるかという観点で科学ジャーナルを評価するのである。すでに確立している知識のみに基づく論文を掲載するジャーナルは、どれほどインパクトが大きくても、我々のランキング手法では評価されない。
科学論文に使われる単語や表現（ポリメラーゼ連鎖反応、マイクロプロセッサ、ランダム化比較実験など）を基に新たなランキング手法を構築した。新しい単語や表現が新しいアイデアを示すと考えたからである。研究結果の頑健性を確実にするため、シソーラスを活用し、古いアイデアと同義語である新しい単語の存在を考慮にいれた。
各科学ジャーナルに掲載された論文のうち、どの程度の割合で比較的新しいアイデアについて書かれているのか、ネオフィリア指数を算出した。科学ジャーナルにそれぞれのアイデアが最初に掲載されてから何年経っているかについて注目した。新しいアイデアに挑戦している研究をすぐに掲載する科学ジャーナルは高いネオフィリア指数を得る。
この手法に基づき、医学ジャーナル126誌のランク付けを実施した。表1は、知名度が高い医学ジャーナルトップ10に関するネオフィリア指数のランキングを示している。これらは引用件数トップ10のジャーナルとしてよく知られている（注1）。ネオフィリア指数が1.50の場合、ジャーナルに掲載された論文の50%が比較的新しいアイデアに基づいていることを示す。
ネオフィリア指数は1980～2013年に出版された論文に基づいて計算した。赤で示した部分はイノベーティブな論文の発表数が多く、青で示した部分は少ないことを示している。
権威ある科学ジャーナルの中でもネオフィリア指数には大きな隔たりがあり、イノベーティブな論文を他誌より多数、掲載しているジャーナルもある。また、権威あるジャーナルにのうち2誌は、トップ10入りしていない他の（権威で劣る）ジャーナル全体よりもネオフィリア指数が低かった。したがって、権威ある科学ジャーナルが必ずしも科学のイノベーションに寄与しているとは限らない。
また、多くの科学ジャーナルのネオフィリア指数は、長期にわたって同じ水準に維持されていることがわかった。すなわち、ネオフィリア指数の差は、ランダム要因ではなく探索を求める編集者の姿勢の違いを反映している。
概して、ネオフィリア指数と引用ランキングの間には正の相関関係があり、平均的にみて、引用件数が多い論文誌はイノベーティブな論文を多く掲載している。ただし、引用件数が少なくてもイノベーティブな論文を載せているジャーナルがある一方で、引用件数の多いジャーナルがイノベーティブな論文の掲載を躊躇するケースもある。明らかに、この2つのランキング手法はそれぞれ異なる科学の側面を浮き彫りにしている。
更なる科学探求に向けて
我々は、医学などの分野においてネオフィリア指数のランク付けを公表することにより、科学のイノベーションが促進されることを望んでいる。数値化なくして行動パターンを変えようとするのは難しい。ネオフィリア指数のランク付けは科学者に向けて、「権威の高いジャーナルはイノベーションを尊重する」、という明確なメッセージを送ることとなる。科学者は同業者から評価されることを望むため、ランク付けの方法が変われば、イノベーティブでリスクを伴う新しいアイデアに挑戦することを決断しやすくするだろう。
科学者が新しいランク付けに注目するようになれば、科学ジャーナルも後に続くだろう。そうなれば、イノベーティブな実験を促す正のフィードバックループが生まれる。大学や研究助成機関がネオフィリア指数に基づくランク付けを任期や昇進、助成の判断に採用すれば、正のフィードバックループはさらに促進されるだろう。
引用件数によるランク付けと同じく、新規性に基づくランク付けも予期せぬ結果をもたらす可能性がある。たとえば、科学者や科学ジャーナルは、新たなアイデアを示すにとどまり、研究にその新しいアイデアを取り込もうとしないかもしれない。とはいえ、実際には、科学者も論文誌もイメージを損ねるリスクがあるので、このようなことにはならないだろう。さらに、アルゴリズムや、より頑健性のある新たなランキング手法が開発されることによって、このような行動は見破られるようになるだろう。したがって、引用件数に基づく指数が多数開発されることになるだろう。
創意性も含め、あらゆるものは測定可能である
容赦ない数値化が求められる現代では、科学者は、研究の創意性を測定することはできないと言い逃れすることはできない。インパクトと同様に新規性は数値化できるし、されるべきである。引用件数に基づく指標の重要性は今後も変わらないだろう。科学的インパクト評価の重要性に変わりはない。科学のさまざまな側面を測定する一連の指数によって科学の進歩を促すことができるのである。
本稿は、2015年11月9日にwww.VoxEU.orgにて掲載されたものを、VoxEUの許可を得て、翻訳、転載したものです。
