プロジェクタの投影画面を指先で操作できるタッチセンシング技術を開発

【概要】

奈良先端科学技術大学院大学（学長：塩﨑一裕）先端科学技術研究科 情報科学領域 光メディアインタフェース研究室の辻茉佑香（博士後期課程1年）、向川康博教授、舩冨卓哉准教授と東海大学（学長：山田清志）情報通信学部の久保尋之講師、アリゾナ州立大学のSuren Jayasuriya（スレン ジャヤスリヤ）助教のグループは、プロジェクタで壁など平面に投影した映像について、スマートフォンのように画面に指で触れて操作できるタッチセンシング機能をつける技術を共同で開発しました。どのような平面でもタッチディスプレイ化できるうえ、投影した平面に直接触れず空中で操作する簡便な装置への応用が期待されます。

本研究では、プロジェクタとカメラを組み合わせて、指が特定の平面に近づいたことを検知するシステムを構築しました。これは、プロジェクタの平面映像にタッチしている指の一部だけをカメラ（ローリングシャッターカメラ）で撮影し、コンピュータ処理により指がタッチした位置情報を検出して投影映像に反映する方式です。これまでの手法とは異なり、指の位置を検出するための光源が不要で、その結果として安価で小型な点が特徴です。

さらに、センシングする領域を適切に設定すれば、例えば平面から1～2cm離れた位置からのタッチ操作が実現可能で、画面に直接触れない空中操作への応用が可能になります。

この研究成果は、国際学術誌IEEE Accessに掲載されました

【背景と目的】

床や壁にプロジェクタで映像を投影すると、さまざまな平面を仮想的にディスプレイにすることができます。しかし、もともと床などにはスマートフォンのようなタッチセンシングの仕組みが備わっていないことから、映像投影した面に直接触れて操作をするためには、追加のタッチセンシング機能を実装する必要があります。

ところが、従来の画像処理でタッチセンシングを実現するとき、プロジェクタの映像が手の映像にかぶさって検出を妨げてしまうことや、どの位置にタッチしているかどうかを1台のカメラ映像から判定するのが難しいといった課題がありました。

こうしたことから、本研究では、プロジェクタの映像に影響されず、一般的な1台のカメラを使った映像処理でのタッチセンシングの実現を目指しました。

【解説・特徴】

カメラでシーンを撮影すると、通常はファインダーの範囲に収まる状景が余すことなく写し取られます。そこで本研究では、プロジェクタと、操作する指を撮影するカメラを組み合わせて一体化し、コンピュータ処理することで、指で触れたかどうかの判定に必要な特定の奥行き・傾き・厚みの部分だけに限定することができました。

そのために使用したカメラはローリングシャッターという方式で、撮影対象を1ラインずつ上から順に撮影することができます。このカメラにより、投影される平面に対し、少し上部にある部分だけを平面と平行の方向に数㎝の厚みで撮影すれば、指がタッチした場合は指の一部が撮影され、そうでない場合は指が撮影されない仕組みを作ることができます。これによって、指が面にタッチしているかどうかを、1台のカメラから判定することができます。

今回の研究では、カメラがプロジェクタ映像そのものを撮影しないため、例えばプロジェクタ映像にリアルな手が含まれていた場合にも、コンピュータは本物の手と映像の手を区別することができます。また、投影映像はときに重要な情報を含むことがあるため、プロジェクタ映像を撮影せずにタッチセンシングを行うことはプライバシーの観点でも有効です。

【今後の展開】

本研究は、タッチセンシングする領域をコントロールすることができるため、平面に直接タッチせずに、空中でタッチ操作を行えるようなタッチレス操作への応用が可能だと考えています。空中操作は、人と人との間接的な接触を減らすポテンシャルを秘めており、感染症対策にも有効です。

###

【掲載論文】

タイトル: Touch sensing for a projected screen using slope disparity gating

著者: Mayuka Tsuji, Hiroyuki Kubo, Suren Jayasuriya, Takuya Funatomi & Yasuhiro Mukaigawa

掲載誌: IEEE Access

【研究室ホームページ】

https://isw3.naist.jp/Contents/Research/mi-06-ja.html