360度動画の中を歩くためのバーチャル歩行システム

＜概要＞

豊橋技術科学大学と東京大学の研究チームは、360°動画を用いて座っている観察者のためのバーチャル歩行システムを開発し、歩行感覚や地面の材質の知覚が、シーンに調和した振動によって強化されることを明らかにしました。本システムを用いると、様々な360度動画をリアルなバーチャル歩行体験に変換することができます。

＜詳細＞

歩行は、人の心身の健康を増進させることが期待できます。しかし、身体的な障害やCOVID-19の影響などによって、外を歩くことが困難な場合があります。豊橋技術科学大学の研究チームは、東京大学の研究者と共同で、360度動画とシーンに合わせた足裏への振動を利用した、座っている人のためのバーチャル歩行システムを開発しました。足裏振動のタイミングは360度動画（全天周動画）から自動的に計算されます。実験の結果、リズミカルでシーンに調和した振動は、歩行感覚や地面の材質感を向上させることがわかりました。本システムを用いると、様々な360度動画をリアルなバーチャル歩行体験に変換することができます。本研究は、2021年12月20日にIEEE Access誌に掲載されました。

バーチャルリアリティを用いることで、歩行障害のある人やCOVID-19流行下においても、人にリアルな歩行体験を提供することができます。しかし、多くのバーチャル歩行システムでは、そのシステム専用にカスタマイズされたコンテンツしか体験できません。

豊橋技術科学大学と東京大学の研究者らは、360度動画をバーチャル歩行体験に変換し、適切なタイミングでシーンに調和した振動を足裏に与えるバーチャル歩行システムを提案しました。

実験では、4つの地面のシーンに対して調和した振動パターンを用意しました。調和した振動と調和していない振動によって、歩行感覚や地面の材質の知覚が変化するかどうかを心理学的測定法で検証しました。その結果、足裏へのリズミカルな振動は、シーンと振動の調和性・整合性に関わらず、自己運動、歩行、脚の動作、テレプレゼンス（遠隔臨場感）の感覚を改善することがわかりました。さらに、室内の廊下や雪の地面のシーンでは、調和した振動が不調和の振動よりも歩行関連の感覚やテレプレゼンスを向上させることがわかりました。また、地面の質感は、シーンと振動が調和していると強調され、逆にシーンと振動が調和していないと混乱して知覚されました。

筆頭著者で大学院生の中村純也氏は、「もし既存の360度動画をバーチャル歩行体験システムに利用することができれば、自宅で様々な旅行体験ができると思いつきました。そこで、自動走行などに利用されているvisual SLAM（Simultaneous Localization and Mapping）を動画に適用して、動画内の視点の動きの軌跡を推定し、適切なタイミングで足の振動を発生させる方法を開発しました。」と話してくれました。北崎充晃教授によると、この研究のもう一つの重要なポイントは、足裏振動がシーンの中で地面と一致することで、地面の質感知覚のみならず歩行感覚も向上することだそうです。これにより、雪のように柔らかい地面や廊下の硬い床などを歩いている感じがします。しかし、実験では一般的な4つのシナリオしか使用しておらず、振動も既存のパターンを利用しています。今後はあらゆる動画から調和した振動パターンを自動生成する方法を開発すべきであるとのことです。

＜今後の展望＞

開発されたシステムを発展させると、様々な360度動画をリアルなバーチャル歩行に変換し、世界のいろいろな場所でのバーチャル旅行を提供することができます。また、身体的な制約や社会的な制約で外を歩けない人や状況でも、メンタルヘルスの増進に貢献することができます。

本研究の一部はJST ERATO JPMJER1701（稲見自在化身体プロジェクト）および科研費（JP18H04118， JP20H04489）の補助を受けて実施されました。

＜論文情報＞

Nakamura, J., Matsuda, Y., Amemiya, T., Ikei, Y., and Kitazaki, M. (2021). Virtual Walking with Omnidirectional Movies and Foot Vibrations: Scene-congruent Vibrations Enhance Walking-related Sensations and Ground Material Perceptions. IEEE Access.

DOI: 10.1109/ACCESS.2021.3136557

https://ieeexplore.ieee.org/document/9656181