概要

提案するアルゴリズムは,前方に移動する車やドローンの移動体に搭載された単一カメラによる動画像から,移動前方方向の距離シーン、すなわちRGB-Dの4次元画像の動画像を実時間で再構成する方式の提案である.これによって,高価なまた多種類,多数のセンサーをもちいることなく,車やドローンの自動運転技術に応用することができる画像センサーを提供することにある.


 近年,車やドローンなどの移動する物体に,外界を捉えるセンサーを搭載することが行われている.DARPA Urban ChallengeにおけるStanford University, Carnegie Mellon University, Google Car の取り組みやなどである.

 この目的は,車やドローンの自動運転のための距離情報の取得のためであり,これらのセンサー情報はそのために使われる.例を,車の自動運転をとれば,距離センサーとは,レーザLaidar),超音波,赤外線,ステレオカメラがその主なものである.特にレーザセンサーは1台の車に10台程度搭載されている.その中には極めて高額なレーザセンサーも含まれている.また,その性能も超音波センサーなど車の近くの距離範囲を対象領域とするものが多い.また,車から離れた場所に届くレーザセンサーでも,距離を測る対象物を特定することが困難であるという問題を抱えている.ステレオカメラでの距離センサーで測られる距離も含め、従来法は距離の点群(distance point cloud) であり、点群がどの外界の物体に対応しているかを決定する課題を抱えている.

表示画像では、動画中の各画像について、mean-shift による領域内の点を target pixel とし、それのtracking し、motion parallax を抽出し、それを距離値に変換したものを、動く棒状に表したものである。棒状表現は、target pixel の周辺のtexture を示している。これにより、距離情報と対象の物体のtexture との結合がよく分かる。ここでは7点のtarget pixel (7つの領域)のものを示しているが、実際にはすべてのpixel, すべての領域からtarget pixel を設定することが可能である。


 本技術は,動画のピクセルをトラッキングすることに基づく動的距離風景を再構成している.これの応用として車の自動運転をするための3次元地図の作成にも応用できる. また、車が停車中の場合の動画像からは、前方に動くものの距離がframe-wise に抽出できることになる。

 一方,関連する技術として,動画像における対象物のトラッキング技術というものがある.従来のトラッキング技術は,歩行者などの動きを単にトラッキング(追跡)するものである.

 従来のトラッキングには,2つの分類がされている.1つは,画像の領域テンプレートを用いるもの,1つは,特徴テンプレート(画像の特徴を記述したもの)を用いるものである.画像テンプレートを用いるものには,パーティクル・フィルターと,mean-shift によるもの,とされている.上記文献にはないが,画像領域を用いるものとして,近年deep learning によるもの(SSDなど)が提案されている.

 一般に,従来の領域テンプレートによるトラッキングでは,最初にトラッキング対象画像を画像中から事前に取り出す作業が必要である.Particle Filter やmean-shift 法では,単一の領域テンプレートを用いて,動画中から,それのピクセル値ヒストグラムの尤度(particle filter) や正規化mean-shiftヒストグラムを手がかりにトラッキング移動先を決定する方法である.いずれも,トラッキング対象物体ごとの処理である.

 次に,従来の特徴に基づくトラッキング方法を述べる.SIFT法やSURF(Speed UP Robust Feature) 法では,sift やSURFと呼ばれる画像の特徴を抽出し,キーポイントと呼ばれる点を定め,そこでのsift や SURF特徴を表現し,これの移動先を次の画像中に推定する.これらの特徴の存在しないところではトラッキングはできないといえる.

 先に述べたようにこれらのトラッキングは物体のトラッキング自体が目的であり,カメラと物体間の距離の計算を目的とするものではない. 

提案技術は,特許出願中です.

講座・グループ