概要

   室内に限らず,都市や街,山岳,里山の広範囲の風景を,長時間のビデオ動画として取得することは容易です.ここでは,これらの長時間のビデオ動画に写っている室内外の広域のシーン全体を,高密度かつ距離のdynamic range の極めて大きい3次元シーンで自動復元する手法を提案します.この課題は,実世界の3次元復元技術のフロンティアといえるものです.

  このようなシーンの3次元画像復元ができれば,室内外でのロボットの作業支援(Visual SLAM技術)や,室内,あるいは室外の広域の3次元シーンに人間が任意に入り込むVR体験(walk through)システムの構築など,の実現に寄与します.更には,自動車の屋根に360度カメラをつけ,移動する車からのビデオ動画像から周辺の3Dシーンを再構成するとき、これは自動運転にも利用できます.

  3次元復元の従来技術として,超音波,赤外線やレーザの距離センサーを用いるものや,視覚を使うものも,ステレオの2眼以上のカメラを用いるもの、シルエットで空間のvoxel を埋めるもの、など多様な方法(image-based, voxel-based, object-based algorithmsに分類される)がありました.しかし,従来技術では,扱える対象のシーンは,距離範囲や画素の稠密性の限定や,広域性,対象物の反射特性の制約がされたものとなっています.さらには,SIFTなどの特徴抽出,factorization, RANSAC, Kalman filter など複数の技術を総合する必要もありました.そのため,一般のユーザが普通にとるビデオ動画から、簡単に3次元画像をうる技術が従来,提供されてこなかったといえます.

   本研究では,室内外や広域のシーンを対象に,特段の制約なしに,普通に得られる単一の長時間ビデオから,高密度、距離範囲の広い3次元シーンの復元を行っています.その簡単さのために,一般の各種目的への供用が容易なものとなっています.ここでいうシーンは,必ずしもカメラの直下の風景に限らず,任意のカメラ方向が撮る風景を意味します.

   都市,建物,道路,川,森などでは、大きなもの同士を区別する3次元情報があり、また,個々の大きなものの構成部分を区別する3次元情報があります.ここでは,前者の3次元情報を取り出したものを示します.個々の内部を区別することも同じ手法で抽出が可能です.

 ここでは,前者のみを以下の画像で示します.

 下の画像は、(1) 市街地を撮った ビデオの1フレーム画像(静止画)、 (2) 前記(1)の画像のR,G,Bと距離値を合わせた3次元画像を斜め方向から見たもの、 (3)  会津大学の庭園をドローンで10m の高さから撮った下方の動画からの3次元復元を示している.

  なお,提案方式の内容の一部については,Ryuichi Oka and Ranaweera Rasika, Region-wise 3D Image Reconstruction from Video Based on Accumulated Moton Parallax, MIRU2017,PS1-5,August 2017 で発表している.

また,この手法は,特許出願中です.
 

講座・グループ

研究カテゴリー

活動分野
画像処理 ロボット その他 車の自動運転,VRコンテンツ自動作成
関連キーワード