Content-based Metric on Monetary Policy Uncertainty by Using Large Language Models

政策の不確実性は、政策の有効性を損なう潜在的な要因である。既存の研究では、新聞記事中の特定のキーワードの出現頻度をもとに政策の不確実性が測定されてきた。しかし、このキーワードに基づくアプローチでは、記事の文脈は考慮されておらず、不確実性のタイプを識別できないという弱点があった。本研究では、大規模言語モデルを活用して、報道内容からさまざまなタイプの政策不確実性を計測する新たな方法を提示する。具体的には、政策の不確実性を将来の政策パスを巡る不透明性（フォワードルッキングな不確実性と呼ぶ）と現在採られている、また近い将来採られることが決まっている政策の有効性を巡る不透明性（バックワードルッキングな不確実性と呼ぶ）に分ける。企業が提供する大規模言語モデルをファインチューニングし、ファインチューニングされたモデルに記事の中で政策の不確実性について触れられているかを文脈に基づいてタイプごとに判定させる。不透明であることを意味する特定のキーワードが含まれない記事であっても、政策の不確実性について言及された記事を抽出できる。この方法を用いて、2015年から2016年の日本の中央銀行の金融政策を巡る不確実性（以降、MPUと表す）を定量化する。非伝統的な政策がとられたこの時期の金融政策の特徴を踏まえ、政策変更の階層に基づきMPUを金融市場調節方針と政策枠組みに分類する。私たちが提示した方法を使うことで、MPUのダイナミクスがきちんと捉えられる。特に、既存のアプローチでは十分に捉えられていなかったフォワードルッキングな不確実性がしっかり捉えられるようになった。新たに得られた金融政策不確実性指数は、政策枠組みが変更されるときの状況によって、フォワードルッキングな不確実性とバックワードルッキングな不確実性の高まりに大きな違いがあることを示している。このことは、金融政策を巡る不確実性が金融政策を取り巻くその時々の情勢に応じて変化することを示唆している。

Policy uncertainty has the potential to reduce policy effectiveness. Existing studies have measured policy uncertainty by tracking the frequency of specific keywords in newspaper articles. However, this keyword-based approach fails to account for the context of the articles and differentiate the types of uncertainty that such contexts indicate. This study introduces a new method of measuring different types of policy uncertainty in news content which utilizes large language models (LLMs). Specifically, we differentiate policy uncertainty into forward-looking and backward-looking uncertainty, or in other words, uncertainty regarding future policy direction and uncertainty about the effectiveness of the current policy. We fine-tune the LLMs to identify each type of uncertainty expressed in newspaper articles based on their context, even in the absence of specific keywords indicating uncertainty. By applying this method, we measure Japan’s monetary policy uncertainty (MPU) from 2015 to 2016. To reflect the unprecedented monetary policy conditions during this period when the unconventional policies were taken, we further classify MPU by layers of policy changes: changes in specific market operations and changes in the broader policy framework. The experimental results show that our approach successfully captures the dynamics of MPU, particularly for forward-looking uncertainty, which is not fully captured by the existing approach. Forward- and backward-looking uncertainty indices exhibit distinct movements depending on the conditions under which changes in the policy framework occur. This suggests that perceived uncertainty regarding monetary policy would be state-dependent, varying with the prevailing social environment.