見守りロボットのための深層学習を用いた人物姿勢推定

豊橋技術科学大学の情報・知能工学系 三浦純教授らの研究グループは、人物のさまざまな姿勢を距離データのみから深層学習を用いて推定する方法を開発しました。深層学習では大量の学習データを必要としますが、コンピュータグラフィクス技術とモーションキャプチャ技術を用いて効率的にデータを生成する技術を実現しています。作成したデータは一般に公開しており、広く関連分野の研究の進展に資することを期待しています。

少子高齢化や介護人材不足などを背景に、ロボットによる見守りへの期待が高まっています。例えば、介護施設等での見守りでは、ロボットが施設内を巡回しながら入居者の状態を見て回ることが想定されます。人の状態を知るためには、まず姿勢の推定（立っている、座っている、倒れている等）が有用ですが、これまでの方法は画像を用いるものがほとんどでした。しかし、画像を用いる方法ではプライバシーの問題や暗いところでは適用が難しい、といった課題があります。そこで、研究グループ（平成28年度博士前期課程修了生 西佳一郎および三浦教授）は、距離データのみを用いて姿勢認識を行う手法を開発しました（図１）．

　立位や座位など、体の各部位が比較的わかりやすい姿勢に対しては、姿勢を高精度に推定する手法や機器はありますが、見守りでは臥位（横になった状態）やうずくまっている状態などさまざまな姿勢を認識する必要があり、これまで難しい問題でした。近年の深層学習（多段のニューラルネットワークを利用する手法）の進展に伴い、画像を用いて複雑な姿勢の推定を行う手法の開発が進んでいます。深層学習のためには大量の学習データを準備する必要がありますが、画像データの場合には画像から各部位を人が見て特定することは比較的容易で、公開されているデータセットもいくつか存在します。しかし、距離データの場合には部位の境界が見にくく、学習データの作成は簡単ではありません。

　そこで、本研究ではコンピュータグラフィクス（CG）技術とモーションキャプチャ技術を組み合わせて大量の学習データを生成する手法を確立しました（図２）。この手法ではまず、さまざまな体型のCGデータを作成します。次にこのデータに各部位の情報（頭部、胴部、右上腕部など11の部位）と、各関節位置を含む骨格情報を付加します。これにより、関節角度を与えるだけでCGモデルに任意の姿勢を取らせることが可能になります。図３にさまざまな座位姿勢に対しデータを生成した例を示します。

開発した手法を用いると、任意の体型の人物と任意の姿勢の組み合わせに対し学習データを生成することができます。現在，座位（隠蔽なし・あり）と臥位のいくつかの姿勢に対し総計10万程度のデータを作成，公開しており、研究目的であれば自由に利用可能です（http://www.aisl.cs.tut.ac.jp/database_HDIBPL.html）。今後はデータ作成のための人物モデルおよびその詳細な構築手順も含めて公開することで誰もが簡単にデータを作成できるようにし、当該分野の発展に貢献できればと考えています。

本研究成果は、平成29年6月3日（土）にPattern Recognition誌上に掲載されました。

###

[Funding Agency]

本研究の一部は科研費25280093の支援を受けました。

[Reference]

Kaichiro Nishi and Jun Miura (2017). Generation of human depth images with body part labels for complex human pose recognition, Pattern Recognition, DOI: 10.1016/j.patcog.2017.06.006

---

---