システム不具合が招いた内閣総辞職
2021年1月、オランダのルッテ内閣が、不適切な詐欺検知システムにより10,000を超える家庭から育児手当を不当に返還させたスキャンダルの責任を取るため、コロナ対応の渦中ながら総辞職した（注1）。このスキャンダルが大きな議論を巻き起こした背景には、書類のミスを一切許さない遊びのないシステムを開発した技術的な課題や特定の人種や多国籍保有者を差別的にターゲットにするといった運用的な課題がある（注2）。今回の事例を通じて、すでに行政において機械による意思決定が重要な判断に活用されていること、また、そのシステムを適切にコントロールできなかった結果として多くの人を困窮に貶めてしまうケースがあるということが明らかになった。デジタル庁の発足を2021年9月に控え、日本での行政活動もデジタル化が進む見込みである。本稿では、AI倫理を中心としたデジタル技術を取り巻く最新の動向を俯瞰しつつ、EUが新たに発表したAI規制法案を紹介することを通じて、政策的示唆を得ることを目的に議論したい。
筆者は2011年に経済産業省に入省以来、ビッグデータ活用、オープンデータ、ロボット実証事業などの業務を通じてデジタル・AIに関連した政策の企画・立案を行ってきた（なお、ここに示す内容は個人の見解であり、所属する組織の見解ではない）。また2017年から米国に留学し、統計やAI開発手法等を学んできた。これまでのキャリアを振り返っても、AIの責任ある使用方法、偏見の排除、説明可能性などに関する「AIのあるべき論（AI倫理）（注3）」が近年ほど活発に議論されるようになったことはかつてなかった。国際的にもこの潮流は顕著であり、2019年にはEUの欧州委員会（EC）のEthics Guidelines for Trustworthy AI（4月）（注4）、OECDのAI原則（5月）（注5）、G20のAI原則（6月）（注6）、など、立て続けにAI倫理に関する国際的な合意がなされた。これはAIがこれまでの実証実験的なフェーズを乗り越え、生活のさまざまな領域で本格的に活用されつつあることの証左であろう。
AIとは
そもそもAIとはArtificial Intelligenceの略称で、日本語では人工知能と訳される。これは機械に人間の知性が行っている活動を行わせようとする学問領域であり、その中には人間の知性そのものを再現しようとする「強いAI」と人間の知性の一部を機械に代替させる「弱いAI」という大きな2つの方向性がある（注7）。弱いAIには、自然言語処理・画像認識・ロボットなどの機能が包括されており、統計に基づく機械学習といった手法がその機能を実現する基盤となっている（注8）。どの機能であれ、基本となる構造は、ある入力データに対してモデルがその入力を解析し判断結果を出力として返すことである。また、ビッグデータ、クラウドコンピューティング、センサーなどはAIの開発や運用を後押しするインフラのように機能している。AIは多種多様な形で多くの産業領域に浸透しつつあり、著名なAI活動家であるAndrew Ng氏は、AIがまるで100年前に電気が引き起こしたように、全ての産業を変革しつつある、と紹介している（注9）。日本経済の発展においてもAIは引き続き重要なテーマになることは間違いがない。
AIが抱える課題
現在AIは多様な形ですでに日常生活に活用されていて、今後もさらに活用が広がる見込みである。他方、AIには特有の課題があり、AI活用が進むにつれそれらの課題は無視できない状態になりつつある。以下に紹介するものはAIに関連するさまざまな課題のごく一部であるが、こういった課題に適切に対応し、より良いAIの発展を促進しようという考えから、近年AI倫理に関する議論が活発化していると考えられる。
- 代表的な課題の1点目として、AIは多くの場合において確率的に判断を行うため、100%正確にはなりえず、その誤判断により引き起こされた結果が多大な影響をもたらす可能性があることが挙げられる。したがって判断を間違えることにより発生した損害を誰がどのように補償するべきなのか、という議論が必要となる。例えば、国土交通省は2018年に自動運転が引き起こした損害への対応に関する考え方を発表している（注10）。
- 2点目は、AIは一定のデータをもとに学習を行うことから学習データの内容が不完全だったり差別的なものだった場合、差別的な判断を繰り返し導きかねないことが挙げられる。例えばこれまでの人事採用において、ある特徴（性別・出身大学等）を持つ被験者を優先的に採用する傾向があったとして、その採用結果を学習用データにAIモデルを構築したところ、特定の特徴を持つ被験者を優先的に採用し続けるモデルとなる可能性がある（注11）。
- 3点目として、AIが判断に至った理由や背景を説明することが時として不可能になり、結果としてAIの判断の信憑性や発展性に疑問が生まれることが挙げられる。例えば企業がAIを活用してビジネスを行った場合に、その判断に伴う結果について、「AIが判断した」以上の説明ができないとなると、適切な改善方法を検討することもままならない。
EUによるAI規制
AI倫理はさまざまな機関がそれぞれの状況に合わせた適切なAIの在り方を検討する形で進められてきており、法的な拘束力を伴った国際的な規制は筆者の知る限り存在しなかった。そんな中、2021年4月21日、ECがAIの利用に関する包括的な規制法案として、Proposal for a Regulation on a European approach for Artificial Intelligenceを発表した（注12）。これは、EUがこれまで行ってきたAIの適切な活用のための議論（注13）の中で、大きな方向性として打ち出されていた、「Excellence」と「Trust」の特に「Trust」を担保するための規制である。実際に発効するには欧州議会などでの議論を経る必要があり、数年かかる見通しである。AIの中から、具体的に規制の対象となるものを列記して、そのリスクの大きさ・重要度に応じて大きく4段階の措置で対応する形式になっている。有償・無償に関わらず欧州域内でAIサービスを提供する日本企業も当該規制措置の対象になる（2条・3条）（注14）。
| リスク分類 | 規制の対象となるAIの例 | 備考 |
|---|---|---|
| 第一分類 受容できないリスク （5条） |
|
禁止（5条） |
|
原則禁止（特定の条件を満たせば使用可能）（5条） | |
| 第二分類 ハイリスク （6条） |
|
使用にあたっては定められた条件を満たす必要あり（8-15条） |
| 第三分類 限定的リスク （52条） |
|
AIを使用している旨を通知する義務あり（52条） |
|
コンテンツがAIにより生成もしくは操作されている旨を通知する義務あり（52条） | |
| 第四分類 最小限のリスク （69条） |
|
使用にあたっての規制なし。ただし自主的な行動規範（Codes of Conduct）の策定は推奨される（69条） |
| ※なお、軍事目的のためだけに使用されるAIは当該規制の対象外となっている。（2条） | ||
禁止の対象となるAIは、サブリミナルな手法により人の行動を操作して損害を与えるAI等、大きなリスクがあるものであり、規制が必要と考えられる。具体的な例示にはないが、SNSなどの情報から特定の政党を支持する人を投票に促すようなAI（マイクロ・ターゲティング）なども対象となりえるのではないかと考える（注15、注16）。また、条件付き規制の対象となるハイリスクAIについては、気になる項目が散見される。例えば10条には、ハイリスクAIはエラーを含まないデータに基づいて開発されなければならないとあるが、場合によってはデータのエラーを完全に除去することは非常に困難であったり不可能なケースも想定される。また、AI開発のためのデータは、当該AIの対象を代表する（Representative）データを用いる、とあるがEU域外に拠点を持つ企業等にとってはデータ取得に困難が伴うことも考えられる。加えて、ハイリスクAIの提供者は、欧州各国の監督官庁（Competent Authority）の要請により、AIが定められた条件に適合していることを証明するための情報（AIモデルの詳細など機密情報も含まれうる）を提出する義務が発生するため（16条）、提出情報の秘匿性の確保、万が一にも情報が流出した場合の賠償スキーム、要請手続の公平性などといった論点について、今後の動向を注視する必要がある。
日本における政策の方向性
EUのこういった動きに対して、日本では「（規制は）時期尚早」や「法的拘束力のある横断的な規制は不要」という見方があるが（注17）、当該規制案を参考にしつつAI倫理の議論を深化させることは、AIがかつての電気のように社会を変革しつつある状況を鑑みると非常に重要である（注18）。なお、日本は2016年のG7情報通信大臣会合においてAI開発原則のたたき台を紹介するなど、関連する議論を長らく推進しており、現在も総務省「AIネットワーク社会推進会議」や経済産業省「AI社会実装アーキテクチャー検討会」など、様々な会議体で検討を進めている（注19）。
今回のEUによる規制案を見るにつけ、サブリミナルな手法により人の行動を操作して損害を与えるAI等、EU規制案で禁止とされた受容できないリスクを持つAIについては、深堀りした検討を早急に行うべきではないかと筆者は考える。これらのAIは、総務省が発表している「AI利活用ガイドライン」（注20）の、安全の原則や尊厳・自律の原則に反するものでありその影響も大きいため、他のAI倫理に関連するテーマと同等に扱うのではなく、上述した総務省や経済産業省の会議体などで最重要テーマとして取り扱うことが、政府が標ぼうするリスクベース・アプローチにも適合する（注21）。AIが内包する複雑性（様々なジレンマ）を考えると、特にリスクが大きいAIには速やかに対応し、緊急性が比較的低い他のAIに関する議論はより時間をかけて行うことが適切ではないか（注22）。
加えて、EUによるAI規制案は、日本のAI規制の是非についての議論を進めるための触媒となりえる。例えば、EUがAI規制法案を念頭に置いて行ったパブリックコメントで提出された意見（1,215件）のうち、AI規制は「既存の法体系で十分」と考えている割合がわずか3%だったことや、「新たな規制法が必要」という意見が42%だったことは、日本国内での議論の参考になりえる（注23）。また、今回のEUによる世界初の国際的なAI規制案の発表により、今後数年はAI規制の動向に多くの注目が集まることを鑑みると、将来の規制の方向性について、日本としても検討スケジュールを提示する等、これまで以上に明確なスタンスをとることが、産業の予見性を高め、企業の意思決定・経営判断の参考となる情報を提供する意味で重要だと考えられる（注24）。
