360度動画へのアバター合成によるバーチャル歩行体験

＜概要＞

豊橋技術科学大学 情報・知能工学専攻博士後期課程２年 中村純也、情報・知能工学系教授 北崎充晃、東京大学教授 池井寧の研究チームは、座っている人にバーチャル歩行体験を提供するシステムを開発しています。本研究では、360度の実写動画（8K解像度）に歩いているアバターとその影をリアルタイムに合成し、足裏への振動と組み合わせることにより、歩行体験が強化することを明らかにしました。また、アバターの影は、360度動画中には本来存在しない、自身の身体の存在を思い起こさせました。将来的には、実写で記録された過去の空間メディアへ、自身の身体感覚ごと没入できる体験が提供できると期待されます。

＜詳細＞

歩行は、人にとって基本的な行動で、日々の活動の中心となる大切な運動です。豊橋技術科学大学と東京大学からなる研究チームは、座っている人にバーチャルな歩行体験を提供するシステムを開発しており、このシステムでは、3DCG空間や360度の実写動画によるバーチャルな空間での歩行体験を目指しています。

バーチャルな空間において、体験者自身の身体情報が得られることは、体験を高める上で重要な要素です。この研究では、360度動画を体験する上で、本来含まれていない、体験者自身の身体情報を追加し、360度動画と統合することで、歩行体験を強化しました。身体情報は、歩いているアバター（バーチャル人間）とアバターに光が当たることで得られる影、歩行時に足裏から得られる振動で構成されます。歩いている様子は、360度動画と合成されたアバターとその影から見ることができ、長い影を用いると、歩行体験時の脚の運動感や臨場感が強化されました。この研究成果は、2024年2月22日にiPerception誌に掲載されました。

バーチャルリアリティ（VR）やメタバースの領域では、様々な歩行装置が開発されています。しかし、その多くは実際に手足を動かすものでした。このような装置はサイズが大きく、複雑で高コストであるため、家庭用には想定されていません。また、身体的な健康状態に大きく依存します。本システムの特徴として、座った人が足を動かさずに歩行体験を得ることができます。また、市販のヘッドマウントディイスプレイ（HMD）と足裏への４つの振動子（バイブレータ）で構成され、構造やコストにおいてコンパクトです。

このシステムは、歩行移動する様子が記録された、8K解像度の360度の動画をHMDで体験することを基本にしています。360度動画に合成されたアバターは、ユーザーの頭の動きと連動しており、ユーザーが右を向くと右側の景色が見え、アバターも右を向きます。アバターの動きは360度動画のフォーマットにリアルタイムに変換され、レンダリングされます。アバターは、ユーザーの視点がアバターの視点と一致する一人称視点から観察され、360度動画の中心に常に一致します。アバターの影は、進行方向の右前方に描画され、HMDの限られた視野でも常に観察されます。

アバターが歩いて足が地面に着地すると、そのタイミングでユーザーの足裏（踵と前足部）に振動が伝わります。アバターの運動と同期した足裏振動を提示することで、強力な歩行感覚が生じました。

＜今後の展望＞

このような四肢を動かさずに歩行体験が得られるシステムがより発展することで、身体的制約に左右されず、歩くことから始まる多くの体験の楽しさを提供でき、クオリティ・オブ・ライフ（QOL）を上げることが期待されます。また、360度動画に代表される、空間を記録できるフォーマットへの対応により、多くのシチュエーションでの活用が期待され、より幅広い層への展開が期待されます。今後、装置がさらにコンパクトになれば、家庭での歩行体験、あるいは旅行体験も可能になるでしょう。

＜論文情報＞

Nakamura, J., Ikei, Y., and Kitazaki, M. (2023). Effects of self-avatar cast shadow and foot vibration on telepresence, virtual walking experience, and cybersickness from omnidirectional movie, iPerception, 15(1). https://doi.org/10.1177/20416695241227857

本研究の一部は、JST ERATO JPMJER1701 (稲見自在化身体プロジェクト)及び、科研費 (JP22J21664, JP18H04118, JP23H03882) の補助を受けて実施されました。