概要

  YouTube に公開した技術紹介の動画は以下にあります。

ロボットが相手の動きで自分の動きを知る。一人称ビジョン。
技術紹介動画(学外リンク)
https://youtu.be/kAL1dxEZtSw

ジェスチャの時間切り出しなし、任意位置の許容、個数に制約のない、ジェスチャ認識。
技術紹介動画(学外リンク)
https://youtu.be/HdrJn5MJr7I

ジェスチャの速度変化、大きさの変化に頑健な認識
技術紹介動画(学外リンク)
https://youtu.be/ylmmJnJlGgM

動く背景、遮蔽(occlusion) に頑健なジェスチャ認識。
技術紹介動画(学外リンク)
https://youtu.be/2OmeSz3nEGg




 現在,われわれは,”ゴローン”とよぶ移動ロボットを開発している.この”ゴローン”の機能の1つとして,”ゴローン”のカメラの動画映像を無線で計算機に送信し,計算機でジェスチャ認識した結果をリアルタイムで”ゴローン”に送信し,それによって”ゴローン”を操作するようにしている.ジェスチャ識別は「時空間連続DP」というアルゴリズムで行っているが,その部分を,FPGAなどで実装すれば”ゴローン”ト内でジェスチャ識別を行わせることもできる.

  「時空間連続DP」は以前にわれわれが,開発したものであるが,それを移動ロボットに搭載された単一カメラの動画像からのジェスチャ認識を行わせた.ジェスチャの指示は,移動ロボットの右回り,左回りの指示,また,ロボットに搭載されたライトのスイッチのつけと消しを指示する4つの動作の認識である.現在は識別するジェスチャの数は少ないが,今後その数を増やしていきたい.
 
 通常,移動ロボットは,その動きを,自律的に決めるか,あるいは人間の指示で決めるかの,2つのどちらか,または双方によって行われている.自動運転自動車は前者である.他方,介護ロボットなど,人間と関わる移動ロボットは,人間の指示によって動いて欲しい場合も多い.そのとき,人間側は指示の方法には通常2つがある.音声とジェスチャである.音声は便利ではあるが,ロボットと人間が離れているときは人間側に近いマイクを使わなければならないという制約が,現在の技術ではある.一方,ジェスチャはそのような制約はないが,ロボットと人間が共に,動いている状況で,人間のジェスチャをうまく認識する技術はまだ確立していない.

  従来は,レーザや超音波のセンサーやキネクトセンサなどを搭載した移動ロボットが,周辺にいる静止している人物を検知し,それに追随するというものである.単一のカメラの動画像を搭載した移動ロボットが,周辺にいる移動する人間のジェスチャを認識して,それによって操作をされるという研究はほとんどないといってよい.その理由は,動く背景で,また,不特定多数の動く人間がいる環境で,特定のジェスチャを,その始めと終わりの時刻を指定せずに認識する技術がないためである.

講座・グループ

研究カテゴリー

活動分野
ロボット 画像処理 知能システム 人間機械インターフェース
関連キーワード