日本語タイトル:多様なアルゴリズム生成データを用いた反実仮想予測:メルカリにおける実装

Off-policy Evaluation with General Logging Policies: Implementation at Mercari

執筆者 成田 悠輔(客員研究員)/奥村 恭平(Northwestern University)/清水 亮洋(株式会社メルカリ)/矢田 紘平(University of Wisconsin-Madison)
発行日/NO. 2022年10月  22-E-097
ダウンロード/関連リンク

概要

公共政策からビジネスまで、アルゴリズムを利用した意思決定が広がっている。その際に重要なのが、過去に使用された方策(意思決定アルゴリズム)が蓄積したデータを用いて、過去に使われたことのない新しい方策の性能を予測することだ。「方策外評価」などと呼ばれるこの予測によって、データに基づいて意思決定・資源配分アルゴリズム・メカニズムを設計していくことが可能になる。本論文では、従来の手法では分析することの難しかった、より広いクラスの方策が生成したデータに適用可能な方策外評価手法を開発する。そして、提案手法をフリマアプリ・メルカリにおけるクーポン割当方策の評価に適用し、既存の方策を改善する方法を示す。

概要(英語)

Off-policy evaluation (OPE) attempts to predict the performance of counterfactual policies using log data from a different policy. We extend its applicability by developing an OPE method for a class of both full support and deficient support logging policies in contextual-bandit settings. This class includes deterministic bandit (such as Upper Confidence Bound) as well as deterministic decision-making based on supervised and unsupervised learning. We prove that our method's prediction converges in probability to the true performance of a counterfactual policy as the sample size increases. We validate our method with experiments on partly and entirely deterministic logging policies. Finally, we apply it to evaluate coupon targeting policies by a major online platform and show how to improve the existing policy.