耳から始めるMixed Reality－究極のMR世界を実現するための道筋

私は、Virtual Reality（VR）が世界の在り方や物自体を変えることなく認識の仕方や見え方を変えられるところに大きな可能性を感じ、大学在学中の2016年に株式会社GATARIを創業しました。2020年にはフィジカルとデジタルな世界がとけ合うMixed Reality（MR）社会の実現を目指し、MRのプラットフォーム「Auris」をリリースしました。

Virtual Realityを使うことで、人間の現実感を人工的に作り出すことができます。われわれが現実と呼んでいるものは、自分の知覚によって切り取った世界に過ぎません。Virtual Realityは、人がどのように空間を認識し、知覚で切り取っているのかを明らかにし、それを応用することで現実と変わらない体験を作り出します。ですから、VRはテクノロジーの部分が注目されていますが、その中心にあるのは人間理解であり、誰にとっても当事者であるという点は非常に魅力的です。

そして、さまざまなフィクションや想像の余白をVRに持ち込めるというメリットもあります。つまり、必ずしも現実に縛られない可能性を持っているのです。VRはテクノロジーの進歩とともにどんどん更新されており、20世紀最大の発明でもあるインターネットによって、いよいよ現実感を持ったものになってきました。

その中でMixed Reality（MR）の世界では、デジタルな情報をモノ化し、物質と情報が等価になった世界がすでに実現できています。

MRとは一般的にリアルとデジタルの両方がある空間のことであり、企業によって独自の定義を与えてそれぞれ発展させています。われわれとしては、リアルな空間とデジタルな空間がシームレスに融合し、リアルなモノとバーチャルな情報を等価に表示・操作できる状態と定義しています。

MR社会では、公共空間の中にさまざまなプライベート空間を作るという今までにない空間の在り方を実現することができます。例えば、まちづくりをフィジカルな面のみで行うのは持続可能性の観点から限界がありますが、デジタルな技術があれば、創造性に富んだ空間を演出・構築できたり、一人一人に対してより適した情報を提供するなどもできるようになります。このようにデジタルな情報とフィジカルな情報が等価に存在し、どちらかを選べる状態であれば、真にインクルーシブな空間づくりを実現できるのです。

MRを実現する技術として重要なのが、カメラ（LiDARセンサ）とARcloud技術（VPS技術）です。LiDARセンサに映る風景と、事前にスキャンしておいた空間をマッチングすることで、自分の位置を高精度で認識することができます。

もう1つ重要なのが、スキャンデータとスキャンの方法です。スキャンデータは大きくは人のためのスキャンデータとソフトウェアのためのスキャンデータに分けられます。人のためのスキャンデータは、空間の形状や見た目、設備が保持されているため、人が遠隔地から管理するには非常にいいデータです。ソフトウェアのためのスキャンデータは、現実空間から特徴点を抽出し、その3Dデータを保持している状態であり、人にとってはそれが何を表しているのかまったく分からないのですが、ソフトウェアは情報を認識することができます。現場をスキャンする時、特徴点が出やすい場所と出にくい場所があるので、MR社会を実現させるためには、特徴点を多く検出できるようなソフトウェアに優しいまちづくりを設計当初より考慮できると、より理想的だと考えられます。

MRの特徴として、公共空間の中に誰かのためのプライベート空間を無数に存在させることができる「パーソナル性」については先ほどお話ししました。

他には「多層性」が挙げられます。1つのスキャンデータを取ればさまざまな体験を多層的に重ねられるので、レイヤーを選択することで1つの空間内でまったく異なる体験が実現可能となります。このことは、施設における現実のフィジカルな制約を超えてさまざまな価値提供の可能性を秘めています。

それから、「運用性」が挙げられます。MRではデジタルな情報をモノのように空間に配置できるのですが、物理的には場所を占拠しないし、アプリを通して見なければそこに存在するようには思えない点がメリットだと思います。さらには空間を、遠隔地からウェブサイトを更新するような感覚で編集・更新・追加することが可能です。

市場背景としては、デバイスの普及やユースケースの開拓が後押しして、AR・MRを中心に年率40%の急成長を遂げており、2028年には約46兆円の市場規模に達するともいわれています。国内でもメタバース・プラットフォーム系スタートアップの調達が続いており、非常に市場の期待が高い領域です。

その中でGATARIは、施設向けのMR市場を開拓するデジタル空間のパイオニア企業として活動しています。施設間のスキャンデータを受け皿として整備し、その受け皿の上にさまざまなコンテンツやワールドを積み重ねることでリアルな空間の価値を引き出しています。

それを実現するサービスがAuris（オーリス）です。「現実に没入する新しい音声体験から未来のインフラを作る」というキャッチコピーを掲げ、デジタルな情報が現実の世界にとけ合っているような空間を、ユーザーがスマートフォン1台で作ることを可能にし、それを保存・公開すれば誰もが体験できるようなMRプラットフォームとなっています。

エンターテインメントを入り口にさまざまな施設とユースケースを開拓しており、さまざまな空間にスキャンデータを整備してコンテンツを提供し、必要に応じて多層的で広告的な体験や解説・音声ガイド、多言語対応、視覚障害者向けの取り組みを展開しています。

特徴的なのは、視覚のMR体験と同じようなアセットを使いながら、サウンドファーストの体験を提供している点です。われわれは視覚のMR体験の前段階として音声体験に取り組んできたのですが、実際に導入した施設などと話してみると、ARにおいては視覚的な体験よりも音声的な体験の方が没入感に深く寄与することが分かってきました。

現実空間においてはリアルを目で見せて、耳で演出してあげるような音声のアプローチの方が没入感が非常に大きいのです。かつ、キャラクターの制作コストを考えると、視覚的な体験と比べて音声を作るクリエイターはすでに世の中にたくさんおり、3Dモデルの制作と比べて安価なので、まずは音声から始めることにしています。

最近では、東京ドームシティのお化け屋敷の他、現実空間に干渉せずに空間にリッチな体験を導入できるメリットを生かし、彦根城などの文化財にも導入していただいています。

それから、その場所に行かないと体験できない利点を生かし、ホテルがラジオ番組とコラボして、宿泊者にしか体験できないようなラジオのスピンオフコンテンツが付いた宿泊プランを提供したりしています。また、公共空間内に情報を置けるメリットを生かし、Jリーグ・湘南ベルマーレの今年の開幕戦では、駅からスタジアムまでの道のりでサポーターが音声体験を楽しめる企画も実施しました。こうした取り組みは現状、概念実証（PoC）から社会に実装できるような、実際に空間に価値をもたらすことができるようなフェーズを迎えています。

湘南ベルマーレが2022年に行った「WARM-UP」では、収容制限による収益減、大規模集客イベントによる感染リスクへの不安、ファンサービスの自粛によるファン離れといった課題に対し、われわれが道路などの公共空間にデータを配置してコンテンツを体験できる仕掛けを作りました。アンケートを取ると、次回体験意向は9.0/10で、普段シャトルバスに乗っている人が徒歩に行動変容した割合は33%に上りました。また、バス利用者の83%が「感染リスクが下がる」と回答していました。

東京ドームシティのお化け屋敷は、新しいファン層を開拓して収益性を上げることが課題だったのですが、われわれは声優とデートをしているような体験を提供することで新規層を呼び込みました。アンケート評価では、満足度は4.3/5で、メディアへの露出も広告換算価値で4,500万円分以上ありました。運用性という点では、通常は演出を入れ替えるときに2週間程度営業が中止になるのですが、この取り組みでは営業を止めた日数が0日でした。こうした高い体験評価や話題性による演出、運用性の良さによって、2022年は過去30年間で最大の売り上げを記録することができました。

このように価値をもたらす実績がまさにMRの分野では積み上げられているのですが、併せて施設ごとの体験を増やしていく方向性の取り組みも行っています。

その1つが、羽田イノベーションシティでの取り組みです。設計図のBIM（Building Information Modeling）データを変換したポリゴンベースの3Dデータと、われわれが使っている仮想専用サーバー（VPS）のアルゴリズムでスキャンを行った特徴点ベースのスキャンデータを組み合わせ、現地でユーザーがカメラを通していろいろな体験ができるという機能です。

さらには、視覚障害者に向けたデジタル空間の提供も行っています。視覚障害者の方とお話しすると、一般の人にとっておしゃれで心地よい場所であっても、視覚障害者にとっては何がどこにあるのかが分かりづらくなっていることがよくあります。物理的な空間が1つしかない以上、現実だけで誰にとっても心地よい空間作りをするのは難しいのですが、ソフトウェアからのアプローチを組み合わせることで、視覚障害者にとっても住みよい空間に変えられる可能性を秘めています。

MRによってインクルーシブな空間を実現するに当たっていくつか課題があります。

1つ目がスキャンデータの整備です。アルゴリズムごとにスキャンデータが異なるため、それぞれ収集する必要があるのですが、誰もが使えるインフラとしてのスキャンデータを整備するにはまだ技術的に課題があります。また、特徴点抽出が難しく、ソフトウェアに優しくないリアルな空間が存在しています。それから、施設のスキャンデータ整備のインセンティブを作り出すことも重要です。

2つ目が施設オーナーとの連携です。現行の法律では、屋外建造物で空間を認識するカメラを向ける行為は著作権侵害が発生する可能性があるので、施設オーナーとの密な連携がとても大切です。無視し続ければ不法侵入ととらえられる可能性があります。

3つ目がプライバシーの懸念です。常にカメラがオン状態であることがMR社会の前提なので、プライバシー侵害の問題が同様に起きるでしょう。それを規制で守ろうとすると、規制が膨大になる可能性があります。

MR社会の実現のためには多くの課題が累積しており、リアルとデジタルからの双方向的なアプローチが必要になります。

安藤：
御社としての強みはどこにあるのでしょうか。スキャン技術そのものはある程度コモディティ化していると思うのですが、スキャンの方法に特異性があるのか、それともソリューション側において御社の強みがあるのでしょうか。

A：
アルゴリズムを使って特徴点を抽出するための知見が非常に重要になっているのですが、われわれは国内外でさまざまなターゲットの施設のスキャンデータを収集しており、どのような抽出方法であれば体験が安定するのかということに関して非常に多くの知見・データをためている点は、強みだと思っています。

ソリューションに関しては、ユーザーがスマートフォンで、一切ノーコードでコンテンツを制作できる点では世界で唯一のアプリケーションであり、ユーザーがスキャンデータをベースにコンテンツを配置できるという「コンテンツの民主化」において、頭一つ抜きん出ています。

Q：

一般的にARとMRはどのように異なるのでしょうか。

A：

われわれの定義では、ARはどちらかというと現実にレイヤーベースで重畳していくものであり、現実空間を認識していません。一方、MRはそもそも空間を認識していて、その空間に存在しているという空間ベースの世界観になっています。ただ、用途として重なるところが多く、AR的な体験がだんだんMR的な体験に寄っているのが現状です。

Q：

VRでは事故は起きませんが、ARでは事故があり得ます。リスクマネジメントはどのようにされていますか。

A：

非常に重要な問題で、現状ではユーザーの利用規約やチュートリアルのユーザーインターフェース（UI）のところで、事故が起きた時の責任の所在、対応について明示的に書いてしまうことが多いです。

Q：

日本の声優は世界的にもレベルが高くて人気ですが、音声合成技術を使えば好きな声優の声を全ての場所の解説に使えると思います。推しボイスのMRは近く実現化されるのでしょうか。

A：

これは結構パンドラの箱的な話で、われわれはコンテンツの中で音声合成を使うことはあります。最近は文章を入力するだけで自然に抑揚のある日本語で読み上げてくれるソフトがあり、それを使ったコンテンツ制作での利用もあるのですが、特定の有名声優の声を音声合成で使うのはとてもセンシティブな問題なので、基本的に声優事務所と談義の上、方向性を着地させるようにしています。現状は、研究レベルでしか行われていないことがほとんどだと思います。

Q：

AurisをポケモンGOと連携させれば世界的なヒットになると思いますが、Niantic社との連携はされるのでしょうか。

A：

Niantic社はそれこそAR・MRにおいて第一人者的な企業で、ポケモンGOで使われているLightship VPSという独自のVPS技術を提供しています。なので、Niantic社としては、ポケモンGOのAR体験を今後自社の技術でアップデートしていくと思いますし、実際ポケストップのスキャンデータをベースに、あたかも空間にポケモンたちが存在し、街の中で探すような体験は、現状の技術の中で近い将来Niantic社から実現されると思っています。

Q：

GATARI社が世界制覇をするために政府ができることはありますか。

A：

スキャンデータの定義の部分が一番ネックであり、場所をスキャンデータで抑えてしまえば、後から非常に参入しにくいので、今のうちにスキャンデータを取得し、そこにさまざまなコンテンツを乗せることを後押しするインセンティブを施設に対して提供することが必要だと思います。われわれがイメージしているのはバリアフリー法のようなものです。そうした取り組みがデジタル空間やスキャンデータにも応用されれば、日本が世界に先駆けてMRの世界を実現できると思います。