《メタバースと五感VR》触覚、嗅覚、味覚のVR技術解説｜究極のVRは”BMI”？
メタバース市場は2021年には4百億ドル程度でしたが、2030年頃には世界で7千億ドル近くに達するとの予想1）もあり、今後の発展が大いに期待されます。
今回はメタバースを支える要素技術の中からVR（Virtual Reality；仮想現実）技術について簡単に説明し、この技術とも関係の深いサイバネティック・アバター技術の最近の研究開発動向についても簡単に紹介します。
目次
１．メタバース、VRの違い
メタバースが注目される前には「VR」という言葉が注目されていましたが、同じものと混同されている場合もありますので、本題に入る前にそれぞれの違いについて簡単に説明しておきます。
メタバースは一言で言うと「世界」です。
もちろん現実世界とは異なります。コンピュータが作り上げたデジタル上の空間に、「アバター」と呼ばれるキャラクターを通してユーザーが活動する仮想空間であると定義されることが一般的です。小説や映画などでも取り上げられていますので、ご存知の方も多いのではないでしょうか。
これに対して、VRは一言で言うと「体験」です。
実際には起こっていない現象の体験感覚を、ある種のデバイスを通してユーザーに与えることと考えると良いでしょう。代表的なVRデバイスとして視覚を提示するVRゴーグルの普及が進んでいますし、高性能なヘッドホンもある意味で聴覚を提示するVRデバイスと言えます。メタバースの中のゲームやエンターテイメントにVR技術を実装すると、ユーザーにこれまで以上の臨場体験を提供することができます。
最近、このメタバースにおける臨場感を利用した「VRコマース」が、Eコマースに代わる新しいネットショッピングの形態として認知されてきました。このような商業利用を手始めとして、VR技術を実装したメタバースの活用は生産現場や医療現場など多くの場面で想定されており、その市場は大きく成長していくものと期待されています。
２．メタバースと五感
ご存じの通り、人間の感じることができる感覚は大別すると「視覚」「聴覚」「触覚」「嗅覚」「味覚」の5種類で、総称して「五感」と呼ばれています。
何を目的としてメタバース（仮想空間）を利用するかにもよりますが、メタバースと現実世界との区別が難しくなるほどの高い没入感・臨場感の体験を得ようとするならば、メタバースを体感できる感覚が多い方が有利と考えられます。例えば、メタバースの中で犬を撫でているのに手はマウスの固さを感じていたり、至高のワインの香りが部屋の芳香剤の香りだったりすると興ざめですよね。
メタバース自体は仮想空間なので、高性能なコンピュータ、プログラマー、デザイナー、シナリオライターが揃えばほぼ出来上がりです。
現実世界のユーザーをこのメタバースと繋ぐためには、五感に関わるインターフェイスが必要になります。
「視覚」と「聴覚」に対応するユーザーインターフェイスでは、VRゴーグル、VRヘッドセットが一足先に進歩を遂げています。
このユーザーインターフェイスに「触覚」、「嗅覚」、「味覚」を加えることが出来ればメタバースへの没入感、臨場感が更に高まり、ユーザー満足度は大きく向上するのではないでしょうか。
３．メタバースを支える五感VR技術
それでは、五感に対応したVR技術の開発はどの程度進んでいるのでしょうか。
前述の通り、視覚のVR技術は、最近のディスプレイ技術、光学技術、センサ技術、画像処理技術、そして膨大な演算の高速処理を可能とするコンピュータの進歩によって、いわゆるVRゴーグル、VRヘッドセットとして大きな発展を遂げています。
また聴覚についても、VRゴーグル、VRヘッドセットに取り込まれていますし、単体としても高性能なヘッドホンやイヤホンが提示する臨場感は音響VRと言って過言でないレベルに達しています。
従って、改めて本コラムでこれ以上取り上げることはせず、「触覚」、「嗅覚」および「味覚」のVR技術に絞って紹介することとします。
（1）触覚VR技術
人間が皮膚で感じる刺激としては、触覚以外に痛覚、圧覚、冷覚、温覚などがあり、これらの感覚器の数も皮膚上の分布もそれぞれ異なります。メタバースの中でわざわざ痛い目にあいたいという人は限られていると思いますが、得体の知れない何かでもとりあえず触ってみるという人は多いのではないでしょうか。こういった、対象物に触れてみたいという人間の基本的な欲求に対応できるよう、メタバースでは皮膚で感じる刺激の中でも触覚を提示することが一般的です。
メタバースの中では実際に触れることが出来る物体は存在しませんので、皮膚に触覚の刺激を与えるための何らかのデバイス、インターフェイスが必要となります。
この触覚を提示するための基礎となる技術は「ハプティクス技術」として知られています。
ハプティックス技術は、触覚メカニズムに基づく刺激を皮膚に与えて人工的に触覚を再現提示する技術です。
これは、色の三原色原理に対応する「触原色原理」と言われる原理に基づく技術です。人間の網膜には３種類の錐体細胞が存在し、それぞれ波長選択性特性が異なることから、RGB合成によってあらゆる人工色を提示することが出来、これを三原色原理と言います。
触覚の場合、３種類の錐体細胞に対応して触覚の主要な３種類の感覚器が存在し、RGBをそれぞれの感覚器の特性値に置き換えて触原色原理を構成します。
図1には、触覚データの取得から提示までのフローを簡単に示しています。
【図1 触覚VR技術（ハプティックス技術）の概略フロー】
メタバースとの親和性が高い代表的なハプティックス技術を以下の表にまとめています。
【表1 触覚VR技術（ハプティックス技術）比較】
いずれの方式もメタバースの中で十分な没入感を得られるレベルまで達しているとは言い難い開発状況ではありますが、他の方式等との組み合わせることによって多彩な触覚を提示する方法がMeta社から提案3）されています。
また、香港城市大学のYang准教授らは、安全性を担保できる動作電圧で電気的刺激による触覚提示グローブを報告4）しています。
ハプティクス技術を活用した触覚VR技術は、メタバースへの実装に向けて着実に進化しているようです。
（2）嗅覚VR技術
メタバースの中での嗅覚の体験は、メタバース空間と連動して臭い成分を実際に感じとってもらう必要があります。臭いを充填したカートリッジなどをVRゴーグルやヘッドセットに装着し、メタバースのプログラムと同期して臭いを放出する技術となりますので、システム自体のハードルは触覚VR技術などに比べると幾分下がるのではないでしょうか。
ただし、「臭い」と簡単に書いていますが、嗅覚VR技術の難しい点は、必要とする臭いを構成する成分の定性と定量の分析とデータ化なのです。従来のガスセンサ技術とは異なり、臭いの分析とデータ化には高性能な嗅覚センサが必要になりますので、この嗅覚センサが嗅覚VR技術の核心と言って過言ではありません。
嗅覚センサの原理・構成要素
図2には、一般的なガスセンサ素子と嗅覚センサ素子の基本的な原理の違いを模式図で示しています。
どちらも臭い分子吸着前後で素子の周波数や抵抗値の違いを検出するのですが、嗅覚センサの場合は、吸着する臭い分子の種類と量が分子選択膜の特性に依存する点で異なります。
嗅覚センサについては、次に紹介する味覚VR技術に関わる味覚センサよりも若干遅れていましたが、JSTの革新的研究開発推進プログラム（ImPACT）の中で2014年から2018年にかけて人工嗅覚システムプロジェクト5）として推進され多くの成果6）を上げています。
【図2 (a)ガスセンサと(b)嗅覚センサの原理模式図】
ImPACTの研究成果、あるいは別の研究開発成果基づいた高性能な嗅覚センサは実用段階に移りつつありますが、デバイスの大まかな構成要素を図3に示します。
臭い成分の濃度はppmからpptオーダーであることから、高精度に分析するためにはサンプルガスの濃縮を必要とします。また、人間の嗅覚受容体は約400存在しますが、嗅覚センサではセンサ素子を十数個アレイ化し、計測データを機械学習あるいはAIを利用して臭いをパターン化することによって、嗅覚受容体とセンサ素子の数の差を補っています。
【図3 嗅覚センサ構成要素の模式図】
嗅覚センサによって得られたデータから、理論的には様々な臭いを再現したり判定したりすることが出来ることから、メタバース以外にも品質検査分野、ヘルスケア分野、セキュリティー分野など多方面での活用も考えられています。
【図4 嗅覚センサと臭いデータのヘルスケア分野への活用例】
嗅覚ディスプレイ
また、メタバースで臭いを提示するには嗅覚ディスプレイが必要になりますが、東京工業大学の中本教授らは、20種類の要素臭を調合し、これらを20チャンネルマイクロディスペンサと表面弾性波（SAW）デバイスで噴霧化して臭いを提示する嗅覚ディスプレイを最近の報告で提案7）しています。
図5は宮下教授らのプレスリリース8）から抜粋した嗅覚ディスプレイの原理模式図を示しています。
この嗅覚ディスプレイにより香りで空間を演出することが可能となることから、エンターテイメント、介護・医療の現場、セラピーの現場など、多くの場面に新たな価値を付け加えることが出来ると期待されます。
【図5 嗅覚ディスプレイの原理模式図8）】
嗅覚VR技術の最近の進歩を見るとメタバースへの実装も案外近いのではないかと期待します。
（3）味覚VR技術
メタバース空間と連動して味を感じとってもらう技術が、味覚VR技術となります。
すなわち、味覚の分析（味覚センサ）と、味覚の提示（味覚ディスプレイ）によって構成される技術になります。人の感じる味覚は、塩味「しょっぱい」、甘味「甘い」、酸味「すっぱい」、苦味「苦い」、旨味「うまい」の基本五味から構成されているとの考えが一般的で、図6に示した通り、舌のどの場所で何の味覚を感じるかはほぼ解明されています。
【図6 味覚を感じる舌の主な部位】
味覚センサの原理と技術動向
人間の嗅覚受容体の数は400程度なのに対して、舌にある味覚受容体は30程度と一桁少ないことが知られています。また、嗅覚の基本臭が特定されていないのに対し、味覚の場合はそれぞれの味に対応する代表的な成分（基本味）がナトリウムイオン、糖、酸、キニーネ、グルタミン酸と知られています。
これらのことから、味覚センサは嗅覚センサに比べて多少取り組みやすかったのではないでしょうか。九州大学の都甲教授らは1980年代から味覚センサに関する研究9）を行い、5基本味に苦味に似た渋味を加えた6味覚成分の味覚センサを提案しています。
図7は都甲教授らの出願した特許公報10）から抜粋した味覚センサの模式図を表しています。
この味覚センサを用いた味覚測定原理は、作用極34に形成された分子膜31に味覚成分が付着した時の基準電極25に対する電位差を測定することにあり、各味覚成分は異なる分子膜を作用極に形成した味覚センサで測定されます。
【図7 味覚センサの模式図10）】
更に、親水性である酸味、塩味、旨味成分と疎水性である苦味、渋味成分では、各成分の分子膜から脱離する特性に違いがあるため電位差の減衰傾向に違いが生じます。
この現象は飲食時の後味、コク、キレなどと表現される味覚が舌に残る感覚に相当すると考えられることから、この電位差の減衰特性の解析を付け加えることによってより精密な味覚測定11）を可能としています。
これらの成果に基づいた味覚センサは、株式会社インテリジェントセンサーテクノロジー社から測定装置として既に市販12）されており、食品分野、飲料分野、製薬分野などで活用されているようです13）。
また、同様な電気化学的な分析方法ですが、慶応技術大学の特許技術を活用した測定結果をAIで解析する味覚センサも商品化14）されているようです。急速に進歩しているAIは、メタバースやVR技術と親和性が高いと思われますので、AI技術搭載の味覚センサは今後も注目すべき技術の一つと考えます。
味覚ディスプレイ
一方、味覚ディスプレイの進歩は味覚センサの進歩に比べて遅れていて、触覚ディスプレイ、嗅覚ディスプレイと比較しても開発が遅れている状況です。
味覚へ直接刺激する味覚ディスプレイ方式ではなく、最近の脳科学の進歩も関係して脳への低侵襲あるいは非侵襲な刺激で味覚を再現する方法15）を提案する動きもあるようです。
この技術はBMI（ブレインマシンインターフェイス）と称される技術の一つなのですが、これについては次章で簡単に解説します。
味覚ディスプレイ方式については、明治大学の宮下教授らの報告が注目されています。
一つは、基本五味成分を含んだ電解質ゲルを舌先に触れさせ、これに微弱通電することによって味成分の電解質ゲルからの吸脱着を制御し任意の味を再現する味覚ディスプレイが提案16）されています。
図8には、この発表から抜粋した味覚ディスプレイのシステム模式図を示しています。
【図8 味覚ディスプレイ模式図16）】
2022年には、箸に微弱電流を流して塩味を提示する技術を宮下教授らと飲料メーカーが共同で提案17）していますが、これも味覚ディスプレイの一種類と考えることが出来ます。
味覚を提示する技術が困難であるためメタバースへの実装は少し先になってしまいそうですが、味覚VR技術開発も徐々に進歩しているようです。
４．究極のVR技術？BMIとは《注目のブレインテック技術》
最後に、前章でも少し言葉が出てきましたが、究極のVR技術とも言える「BMI」（ブレインマシンインターフェイス）について、簡単に紹介します。
聞きなれない言葉かも知れませんが、その名の通り脳（ブレイン）とマシンを繋ぐシステムのことです。
近年、脳活動を計測（インプット）し、得られたデータを解析、フィードバック（アウトプット）する一連の技術が脳と技術を組み合わせた造語「ブレインテック」と称され注目を集めつつありますが、BMIはブレインテック技術のアウトプットの活用方法の一つになります。
図9には、ブレインテック全体のイメージとブレインテックにおけるBMIの位置付けを示しています。
【図9 ブレインテックのイメージとBMIの位置付け】
従来、脳活動の計測は、脳に電極を埋め込んで計測するなどの侵襲型の計測が主な計測方法であったため、安全性や倫理面で問題が危惧されていました。しかし最近の技術の進歩により、fMRIやEEGのように高精度で簡便な非侵襲での計測が可能になってきたことから、その測定データの活用が注目を集めています。
BMIによると、脳波によって機械を操作したり、脳への直接刺激によって五感提示したりすることが可能になりますので、特に提示が難しい味覚や嗅覚VR技術を提供するのみならず、メタバース全体を補完できる技術と考えられ、Meta社などのアメリカの大手IT企業やイーロン・マスク氏も注目しているようです。
メタバース以外にも、例えば月面のように人間が通常の活動を行うことが困難な過酷な環境下ではアバターロボットによる作業が必要になってくると考えられていますが、このような作業は単純な遠隔操作とは異なるフィードバック性と操作性が望まれることから、5種類のVR技術と違和感なくシームレスに連動するにはBMI技術が重要になってきます。
この、あたかも人がアバターに憑依するような技術は、1980年代頃から東京大学の舘教授らによって「テレイグジスタンス（Telexistence）」として提唱、研究18）されてきましたが、最近は「サイバネティック・アバター技術」とも称され研究開発が進んでいるようです。
2020年から内閣府所管で、「我が国発の破壊的イノベーションの創出を目指し、従来技術の延長にない、より大胆な発想に基づく挑戦的な研究開発（ムーンショット）を推進する国の大型研究プログラム」としてムーンショット型研究開発制度19）がスタートしていますが、その中のプログラムの一つとして「2050年までに、人が身体、脳、空間、時間の制約から解放された社会を実現」20）が、大阪芸術大学の萩田教授をプログラムディレクターに据えて採択され、研究開発が進んでいるようです。今後の成果が期待されます。
５．おわりに：今後の技術動向に注目
ということで今回は、メタバース、VR技術、ブレインテック、BMI、サイバネティック・アバター技術などについて簡単に紹介しました。
この分野の技術進歩は目を見張るものが有りますので、今後も最新の技術動向に注目を続け、社会実装を多くの人が実感できる日が来ることを期待して待ちたいと思います。とはいえ、2050年のある日、目覚めたら機械に繋がれて夢を見せられていたってことがないように願いたいですが。
（日本アイアール株式会社 特許調査部 F・F）
- メタバース相談室 ［運営：monoAI technology株式会社］
《引用文献・参考文献》
- 1）総務省「令和4年情報通信に関する現状報告」
- 2）梶本裕之, 「触原色原理に基づく電気触覚ディスプレイ」（博士論文）, 東京大学, 2004
https://repository.dl.itc.u-tokyo.ac.jp/record/2753/files/K-216018.pdf/ - 3）https://www.facebook.com/Meta/videos/920124292224079/
- 4）香港城市大学（WEBサイト）
https://www.cityu.edu.hk/research/stories/2022/10/20/research-co-led-cityu-develops-high-resolution-wearable-electrotactile-rendering-device-virtualizes-sense-touch - 5）ImPACT Program（WEBサイト）
https://www.jst.go.jp/impact/hp_miyata/index.html - 6）例えば、B. Wyszynski, R. Yatabe, A. Nakao, M. Nakatani, A. Oki, H. Oka and K. Toko, Sensors, 17, 1606, 2017.
https://doi.org/10.3390/s17071606、など - 7）伊関, Dani, 横式, 中本, 「多成分調合型嗅覚ディスプレイを用いた匂いの再現の研究」電気学会論文誌Ｅ, 142, 63-70, 2022.
https://doi.org/10.1541/ieejsmas.142.63 - 8）東京工業大学（プレスリリース）「多成分調合型嗅覚ディスプレイを用いた匂いの再現の研究」
https://www.titech.ac.jp/news/pdf/tokyotechpr20220401-nakamoto.pdf - 9）例えば、S. Iiyama, K. Toko, K. Yamafuji, Agric. Biol. Chem., 50, 2709-2714, 1986.
https://doi.org/10.1080/00021369.1986.10867831、など - 10）特開2000-283947公報
- 11）Y. Kobayashi, M. Habara, H. Ikezaki, R. Chen, Y. Naito and K. Toko, Sensors, 10, 3411-3443, 2010.
https://doi.org/10.1080/00021369.1986.10867831 - 12）株式会社インテリジェントセンサーテクノロジー（WEBサイト）
https://www.insent.co.jp/about/ - 13）例えば、
http://www.pref.mie.lg.jp/common/content/000172265.pdf
https://www.naro.go.jp/project/results/laboratory/vegetea/2006/vegetea06-18.html、など - 14）OISSY株式会社（WEBサイト）
https://aissy.jp/ - 15）T. Sonomura, H. Iwai, Bio Clinica, 33, 1410-1412, 2018
- 16）明治大学 宮下研究室（WEBサイト）
https://miyashita.com/ - 17）明治大学（プレスリリース）「世界初！電気刺激の活用で塩味が約1.5倍に増強される効果を確認—「味を調整できる食器」の開発につながる新技術—」
https://www.meiji.ac.jp/koho/press/6t5h7p00003fh8kv.html - 18）Tachi Laboratory（WEBサイト）
https://tachilab.org/jp/index.html - 19）内閣府,ムーンショット型研究開発制度（WEBサイト）
https://www8.cao.go.jp/cstp/moonshot/index.html - 20）ムーンショット目標１ プログラム紹介（WEBサイト）
https://www.jst.go.jp/moonshot/program/goal1/index.html
