順序は評価を歪めるのか：大規模ピアノコンクールの観察データとフィールド実験からのエビデンス

本研究は、専門家による逐次評価において、評価対象の提示順が判断を歪める「順序効果」がなぜ生じ、またそれを是正することが可能なのかを検証する。日本最大規模のピアノコンクールを対象に、2004～2022年度の長期観察データと、2023年度に実施したクラスターランダム化比較試験（RCT）を組み合わせて分析を行った。観察データの分析から、演奏順が早い奏者ほど評価が低くなる頑健な順序効果が一貫して確認された。この順序効果は、参加者数が少ない大会や、演奏者の水準が高く競争の激しい上級クラスにおいてより顕著であった。これらの結果は、審査員が評価全体の整合性を保とうとする動機から、全体のパフォーマンス分布を把握できない序盤において極端な評価を避け、初期の評価を抑制する「キャリブレーション」によって順序効果が生じている可能性を示唆している。これを踏まえ、本研究では、審査員に対して過去データに基づく順序効果の存在と大きさを明示的に伝える情報提供介入を設計し、その因果効果をRCTによって検証した。分析の結果、全体としては情報提供によって順序効果が有意に是正されたという強い証拠は得られなかった。ただし、上級クラスに限定すると、序盤の不利が部分的に緩和される可能性が示された。これらの結果は、逐次評価における順序効果が頑健に存在する一方で、注意喚起や情報提供といった個人の努力に依存した介入のみでは十分に是正できず、制度上の対応が必要であることが示唆される。