JP2001116527A

JP2001116527A - 立体物検出方法及び装置

Info

Publication number: JP2001116527A
Application number: JP29893399A
Authority: JP
Inventors: Ryosuke Iida; 亮介飯田; Katsumasa Onda; 勝政恩田; Masato Nishizawa; 眞人西澤
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1999-10-20
Filing date: 1999-10-20
Publication date: 2001-04-27

Abstract

(57)【要約】【課題】移動体の移動中に、当該移動体に搭載された
撮像装置の撮像によって得られた画像を処理して、平面
に対して静止している立体物を検出することのできる立
体物検出方法及び装置を提供すること。【解決手段】立体物検出方法として、移動体に取り付
けられた撮像手段１により遠景撮像をし、撮像により得
られた複数枚の画像１２、１４から、この画像中におけ
る動きベクトルを算出する一方、前記画像中に存在する
平面の動きベクトルを求め、前記画像中における動きベ
クトルと前記画像中に存在する平面の動きベクトルとか
ら、前記平面に対して静止している立体物を検出するよ
うにしたため、移動体に取り付けた撮像カメラにより得
られた画像から道路面とその他の立体物とを区別するこ
とができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は立体物検出方法及び
装置、特に、移動体の移動中に、当該移動体に搭載され
た撮像装置の撮像によって得られた画像を処理して、平
面に対して静止している立体物を検出する立体物検出方
法及び装置に関するものである。

【０００２】

【従来の技術】撮像カメラなどの撮像装置により撮像さ
れた画像をもとに立体物を判別する技術が種々提案され
ている。このような立体物の判別或いは検出技術につい
ての従来例としては、例えば特開平１１−１６４３２６
号公報に記載されたものがある。この技術は、連続する
撮像画像からスリット状に切り出したスリット画像を結
合し、ステレオ視を行なう際の左目視用及び右目視用の
パノラマ画像を生成して、両眼視差を利用して前記パノ
ラマ画像の立体表示を行なうパノラマステレオ画像の生
成表示技術を提案するものである。そして、この技術で
は、パノラマステレオ画像を生成するに際して、連続す
る２つの撮像画像を比較し、この２つの撮像画像のう
ち、基準となる画像を２当分する中心線から等距離にあ
る２本の基準線上の各画素におけるオプティカルフロー
の大きさを算出し、次に前記算出した各画素のオプティ
カルフローの大きさに基づいて、前記右目用及び左目用
のパノラマ画像を生成するためのスリット画像の幅をそ
れぞれ決定する。次に、前記スリット画像の幅及び前記
基準線に基づいて、前記基準となる画像から前記右目用
および左目用のパノラマ画像を生成するためのスリット
画像をそれぞれ切り出し、前記右目用および左目用のパ
ノラマ画像を生成するためのスリット画像をそれぞれ結
合し、右目用および左目用のパノラマ画像をそれぞれ生
成するというものである。このようにしてパノラマ画像
を生成することにより、厳密な機器や操作を必要としな
くても、より正確なパノラマ画像を結合し、ステレオ視
を行なう際の左目視および右目視用のパノラマ画像が生
成できる。また、そのパノラマ画像内の対象物までの距
離に基づいたステレオ表示が可能になるという利点があ
る。

【０００３】

【発明が解決しようとする課題】しかしながら、上記従
来例の技術をはじめとする各種の従来技術においては、
立体物を撮像画像から捉えるには、複数の撮像カメラか
らの画像を結合して両眼視差を作り出さなければなら
ず、単一の撮像カメラにより得られた画像から立体物を
検出することは難しかった。しかも、撮像カメラが車両
などの連続走行する移動体に搭載されているような場
合、撮像画像は時々刻々を変化するものでありその変化
速度もまた変わるから、充分なステレオ画像の生成は困
難であるという不具合があった。

【０００４】本発明は、かかる点に鑑みてなされたもの
であり、移動体の移動中に、当該移動体に搭載された撮
像装置の撮像によって得られた画像を処理して、平面に
対して静止している立体物を検出することのできる立体
物検出方法及び装置を提供することを目的とする。

【０００５】

【課題を解決するための手段】本発明は、上記目的を達
成するため、立体物検出方法として、移動体に取り付け
られた撮像手段により遠景撮像をし、撮像により得られ
た複数枚の画像から、この画像中における動きベクトル
を算出する一方、前記画像中に存在する平面の動きベク
トルを求め、前記画像中における動きベクトルと前記画
像中に存在する平面の動きベクトルとから、前記平面に
対して静止している立体物を検出するようにしたことを
要旨とする。

【０００６】この方法では、例えば自動車に搭載した撮
像カメラにより得られた画像から道路面とその他の立体
物とを区別することができる。本発明では、上記のよう
な、撮像した画像の処理により立体物検出を行なうた
め、複数の撮像手段を備える必要がなく、しかも処理デ
ータ量が不要に増大しないため、車両などの移動体に搭
載された撮像手段により得られた画像の高速処理が可能
となる。また平面の動きベクトルを基準とした、動きベ
クトルの相違という観点で立体物の検出を行なうから、
平面画像から正確に立体物を検出することができる。

【０００７】本発明はまた、上記立体物検出方法を実施
するための検出装置を、移動体に取り付けられた撮像手
段と、この撮像手段により撮像された複数枚の画像から
動きベクトルを算出する第１の動きベクトル算出手段
と、前記画像中に存在する平面の動きベクトルを求める
第２の動きベクトル算出手段と、前記第１の動きベクト
ル算出手段で得られた動きベクトルと前記第２の動きベ
クトル算出手段で得られた動きベクトルとから、前記平
面に対して静止している立体物を検出する立体物検出手
段とにより構成したことを要旨とする。

【０００８】この立体物検出装置には、撮像手段の撮像
状況を検出する撮像状況検出手段と、前記移動体の移動
状況を検出する移動状況検出手段とをさらに備え、前記
第２の動きベクトル算出手段に、前記撮像状況検出手段
および前記移動状況検出手段からのデータをもとに、前
記画像中の各点に対応する平面の動きベクトルを算出さ
せるようにすることができる。また別の手法として、前
記第２の動きベクトル算出手段は、前記第１の動きベク
トル算出手段からの動きベクトルデータを解析し、その
解析結果から、前記画像中の各点に対応する平面の動き
ベクトルを算出するようにすることもできる。

【０００９】このような各種態様を有する発明として、
本発明の請求項１に記載の発明は、移動体に取り付けら
れた撮像手段と、この撮像手段により撮像された複数枚
の画像から動きベクトルを算出する第１の動きベクトル
算出手段と、前記画像中に存在する平面の動きベクトル
を求める第２の動きベクトル算出手段と、前記第１の動
きベクトル算出手段で得られた動きベクトルと前記第２
の動きベクトル算出手段で得られた動きベクトルとか
ら、前記平面に対して静止している立体物を検出する立
体物検出手段とを備えたものであり、車両などの移動体
に搭載された撮像手段により得られた画像の高速処理が
可能となる。また平面の動きベクトルを基準とした、動
きベクトルの相違という観点で立体物の検出を行なうか
ら、平面画像から正確に立体物を検出することができる
という作用を有する。

【００１０】本発明の請求項２に記載の発明は、請求項
１記載の立体物検出装置において、前記第１の動きベク
トル算出手段は、オプティカルフロー処理により動きベ
クトルを算出するようにしたものであり、動きベクトル
の算出が容易且つ正確にオな得るという作用を有する。

【００１１】本発明の請求項３に記載の発明は、請求項
１または２記載の立体物検出装置において、前記撮像手
段の撮像状況を検出する撮像状況検出手段と、前記移動
体の移動状況を検出する移動状況検出手段とをさらに備
え、前記第２の動きベクトル算出手段は、前記撮像状況
検出手段および前記移動状況検出手段からのデータをも
とに、前記画像中の各点に対応する平面の動きベクトル
を算出するようにしたものである。

【００１２】本発明の請求項４に記載の発明は、請求項
１または２記載の立体物検出装置において、前記第２の
動きベクトル算出手段は、前記第１の動きベクトル算出
手段からの動きベクトルデータを解析し、その解析結果
から、前記画像中の各点に対応する平面の動きベクトル
を算出するようにしたものである。

【００１３】本発明の請求項５に記載の発明は、請求項
４記載の立体物検出装置において、前記第２の動きベク
トル算出手段は、前記第１の動きベクトル算出手段から
の動きベクトルデータを解析するに当たって、平面であ
ることが明確な部分の動きベクトルからオプティカルフ
ローを算出するようにしたものである。

【００１４】本発明の請求項６に記載の発明は、請求項
４記載の立体物検出装置において、前記第２の動きベク
トル算出手段は、前記第１の動きベクトル算出手段から
の動きベクトルデータを解析するに当たって、前記画像
中で平面の動きベクトル量が充分得られている場合に
は、前記画像より平面のオプティカルフローを算出する
ようにしたものである。

【００１５】本発明の請求項７に記載の発明は、請求項
４記載の立体物検出装置において、前記第２の動きベク
トル算出手段は、前記第１の動きベクトル算出手段から
の動きベクトルデータを解析するに当たって、前記画像
中の所定の高さ位置についての動きベクトルの最小値を
求め、この最小の動きベクトルをその高さ位置に対応す
る平面の動きベクトルとするようにしたものである。

【００１６】本発明の請求項８に記載の発明は、立体物
検出方法として、移動体に取り付けられた撮像手段によ
り遠景撮像をし、前記撮像により得られた複数枚の画像
から、この画像中における動きベクトルを算出する一
方、前記画像中に存在する平面の動きベクトルを求め、
前記画像中における動きベクトルと前記画像中に存在す
る平面の動きベクトルとから、前記平面に対して静止し
ている立体物を検出するようにしたものであり、平面の
動きベクトルを基準とした、動きベクトルの相違という
観点で立体物の検出を行なうから、平面画像から正確に
立体物を検出することができるという作用を有する。

【００１７】

【発明の実施の形態】以下、本発明の実施の形態につい
て、図面を参照して詳細に説明する。（実施の形態１）図１は本発明の実施の形態１における
立体物検出装置の構成を示すブロック図である。なお、
この実施の形態１においては、移動体である自動車に撮
像カメラを搭載し、上記自動車の走行中において、上記
撮像カメラにより自動車の外を撮像（遠景撮像）しなが
ら立体物検出を行なうものとする。

【００１８】図１に示す立体物検出装置は、自動車に搭
載される撮像カメラ１と、撮像カメラ１で得られた画像
から動きベクトルを算出する第１の動きベクトル算出部
２と、上記画像中の平面の動きベクトルを求める第２の
動きベクトル算出部３と、上記第１の動きベクトル算出
部２で得られた動きベクトルと前記第２の動きベクトル
算出部３で得られた動きベクトルとを比較する比較器
と、比較器４における比較結果から画像中の対象物が平
面に対して立体物であるかどうかを判定する立体物判定
部５と、撮像カメラ１による撮像状況を検出して上記第
２の動きベクトル算出部３へ送付する撮像状況検出部６
と、自動車の移動距離を検出して上記第２の動きベクト
ル算出部３へ送付する移動距離検出部７と、装置全体の
動作をコントロールする制御部８とから構成されてい
る。

【００１９】この実施の形態において撮像カメラ１は、
自動車に搭載された状態で、特に旋回動作やチルト動作
を行なうことなく固定した状態で撮像を行なう。またズ
ーム動作なども行なわず一定の画角、一定の方向へ固定
されている。また撮像カメラ１の取り付け位置について
は例えは自動車を中心に側方、フロント方向、リア方
向、或いは斜め方向等どの方向であってもよい。

【００２０】第１の動きベクトル算出部２は、撮像カメ
ラ１により撮像された複数枚の画像から動きベクトルを
算出する。この場合、第１の動きベクトル算出部２は、
例えば、注目画像について１タイミング前（この明細書
においては、「移動前」と表現する）の撮像画像と現在
（同、「移動後」）の撮像画像と間で画素ごとのデータ
の比較を行なう、いわゆるオプティカルフロー算出処理
によって動きベクトルを算出する。第２の動きベクトル
算出部３は撮像状況検出部６および移動距離検出部７か
らの検出結果に基づき画像中に存在する平面の動きベク
トルを求める。撮像状況検出部６は撮像カメラ１による
撮像状況を検出する。この撮像状況検出では、（１）撮
像カメラ１が自動車のどの場所に取り付けられている
か、（２）撮像カメラ１は自動車からどの方向へ向けて
設置されているか（カメラの光軸はどの方向へ向いてい
るか、或いは道路面に対する角度はどれだけか）、
（３）撮像カメラ１の画角、Ｆ値など、種々の撮影条
件、などのデータが検出される。

【００２１】移動距離検出部７は立体物検出動作中にお
ける自動車の移動距離を検出する。これは、自動車の速
度情報と撮像カメラ１による画像取り込みタイミングの
間隔とに基づいて或いはその他の方法により検出され
る。制御部８はＣＰＵなどにより構成される。そして複
数の画像中の同じ点についての動きベクトルを比較する
ために上記第１の動きベクトル算出部２からのデータ出
力と第１の動きベクトル算出部２からのデータ出力の対
応およびタイミング制御を行ない、また立体物判定部５
における判別動作をコントロールする。

【００２２】かかる構成を有する立体物検出装置につい
て、以下動作を説明する。図２および図３は本発明にお
ける立体物検出の動作原理を説明する図である。なおこ
の説明では撮像カメラ１は自動車のサイドウインドウか
ら側方へ向けて設置されているものとして説明する。

【００２３】図２は、自動車走行中における撮像カメラ
１による撮像動作および撮像により得られる画像の状態
を表す図である。図２において、１０は自動車側方のフ
ィールド（遠景、景色を含む道路面を表す）である。こ
のフィールド１０の中には道路上の点Ａと立体物Ｂとが
存在している。図２から明らかなように、撮像カメラ１
側から見て道路上の点Ａは立体物Ｂよりも遠くに存在す
る。１１は移動前の撮像カメラ１の位置を表し、この位
置で撮像カメラ１は画像１２を撮像している。１３は移
動後の撮像カメラ１の位置を表し、この位置で撮像カメ
ラ１は画像１４を撮像している。移動前のカメラ位置１
１においては、撮像カメラ１から見ると道路上の点Ａと
立体物Ｂとはちょうど重なって見える。したがって、画
像１２の中においては、道路上の点Ａの画像（Ａ１と
する）と立体物Ｂの画像（Ｂ１とする）は１点（Ａ１，
Ｂ１）に重なって写る。すなわち画像１２では奥行きの
異なる２点が同じ点に投影されていることになる。

【００２４】ここで、移動前の撮像カメラ１から得られ
る画像１２と移動後の撮像カメラ１から得られる画像１
４とから、異なる２点の画像上での移動量について考え
る。移動前の撮像カメラ１から得た画像１２上で同じ点
に投影されている奥行きの異なる２点は、撮像カメラ１
の移動後は画像１４面の上では異なる２点（道路上の点
Ａの画像をＡ２とし、立体物Ｂの画像をＢ２とする）に
投影される。このとき、画像１４面上で２点Ａ２、Ｂ２
の移動量を比べてみると、奥行きの大きい方の道路上の
点Ａが奥行きの小さい方の立体物Ｂの点よりも小さくな
ることが分かる。図３は、このような撮像カメラ１の移
動前と移動後における画像での奥行きの異なる２点の移
動量の違いを説明する図である。

【００２５】ここで、２点のうち、撮像カメラ１から見
て遠くに位置する方の点（この例ではＡ）を道路面上の
点、またもう一方の点（同じくＢ）を道路面の上に存在
する立体物と考えれば、道路上に存在する立体物のオプ
ティカルフローは、そこに物体がなかった場合の道路面
のオプティカルフローより常に大きくなるということが
言える。したがって、何らかの方法で撮像カメラ１の移
動前の画像と移動後の画像上での平面のオプティカルフ
ローが求められれば、同じ画像上の注目部位（注目点）
について、周辺部位のオプティカルフローと比べて大き
なオプティカルフローを持つ点を立体物として検出する
ことができる。本発明における立体物検出の原理はこの
ような思想に基づくものである。

【００２６】図４は本実施の形態における立体物検出動
作の処理手順を説明するフロー図である。立体物検出動
作が開始されると、処理ステップ（以下、単にステップ
という）ＳＴ１において、撮像カメラ１により撮像が行
なわれ、これにより得られた画像データとして移動前の
画像１２および移動後の画像１４が第１の動きベクトル
算出部２へ入力される。第１の動きベクトル算出部２に
おいては撮像画像についての動きベクトル、すなわちオ
プティカルフロー（これを第１の動きベクトルとする）
が求められる（ステップＳＴ２）。図５は第１の動きベ
クトル算出部２において求められた第１の動きベクトル
の例を示す図である。図５において１５は画像である。
また、矢印は第１の動きベクトルでありこの図では立体
物の動きベクトルと平面の動きベクトルとが混在してい
る。そして、動きベクトル１６、１７、１８、１９、２
０は平面の動きベクトルであり、画像１５中の上方へ行
くほど動きベクトルは小さく、下方へ行くほど動きベク
トルは大きくなっている。これは、画像１５中で上方へ
行くほど実際のフィールド（図２の符号１０）では遠方
になって動きは小さくなる一方、下方へ行くほど実際の
フィールド１０では近接位置になって動きは大きくなる
ことによる。なお、画像中、同じ高さ位置（水平なスリ
ットで画成され得る位置）は撮像カメラ１側から見て同
じ距離にある地点を示し平面の動きベクトルは同じ大き
さになる。また動きベクトル２１および２２はそれぞれ
立体物２３および２４の動きベクトルである。画像１５
中において同じ高さ位置にある平面の動きベクトル（例
えば動きベクトル１８）と立体物の動きベクトル（例え
ば動きベクトル２１）とでは、立体物の動きベクトルの
方が大きいことが分かる。

【００２７】一方、第２の動きベクトル算出部３には撮
像状況検出部６から、撮像カメラ１の向き或いはその他
の状況に関するデータが入力される。また同様に、移動
距離検出部７は移動前の画像１２が撮像されてから移動
後の画像１４が撮像されるまでの自動車の移動距離を検
出し、その移動距離データを第２の動きベクトル算出部
３へ送付する。第２の動きベクトル算出部３は上記撮像
状況検出部６および移動距離検出部７からの検出データ
を基に画像中に存在する平面の動きベクトル（これを第
２の動きベクトルとする）を演算により求める（ステッ
プＳＴ３）。この実施の形態においては、第２の動きベ
クトル算出部３は、画像１２、１４の全体が平面である
と推定してその平面の動きベクトルを演算により求め
る。図６は第２の動きベクトル算出部３において求めら
れた第２の動きベクトルの例を示す図である。この図で
は、上記図５のように立体物の動きベクトル（２１、２
２）は存在せず、すべてが平面の動きベクトル１６〜２
０となっている。

【００２８】上記第１の動きベクトル算出部位２および
第２の動きベクトル算出部３は制御部８のコントロール
の下でそれぞれ第１の動きベクトルおよび第２の動きベ
クトルを比較器４に出力し、比較器４は第１および第２
の動きベクトルを比較する（ステップＳＴ４）。この比
較結果は立体物判定部５に送られて画像１２、１４中に
立体物が存在するか否かがチェックされる（ステップＳ
Ｔ５）。このチェック動作においては、第１の動きベク
トルと第２の動きベクトルとの差が所定の閾値より大き
いか否かがチェックされる。そして、上記第１の動きベ
クトルと第２の動きベクトルとの差が所定の閾値より大
きい場合は立体物検出が行なわれて検出信号が出力され
る一方（ステップＳＴ６）、第１の動きベクトルと第２
の動きベクトルとの差が所定の閾値より大きくない場合
は立体物が検出されなかったことを表す非検出信号が出
力される（ステップＳＴ７）。このようにして画像中に
おける立体物の検出が行なわれる。

【００２９】図７は本実施の形態の変更例として、撮像
カメラ１を自動車のフロント部分に、この自動車の進行
方向に向けて設置した場合の第１の動きベクトル算出部
２において求められた第１の動きベクトルの例を示す図
である。このように、撮像カメラ１を自動車のフロント
部分に設置した場合は、動きベクトルは放射状に、且つ
遠い地点ではゆっくりと近づき、近い地点では高速で近
づく形の動きベクトルが得られる。このような撮像カメ
ラ１の設置状態でも、上述の態様と同様に立体物検出を
行なうことができる。

【００３０】（実施の形態２）次に、本発明の第２の実
施の形態について説明する。この実施の形態において
は、第２の動きベクトル算出手段は、第１の動きベクト
ル算出手段からの動きベクトルデータを解析し、その解
析結果から、前記画像中の各点に対応する平面の動きベ
クトルを算出する方式が採用される。

【００３１】図８は本発明の実施の形態１における立体
物検出装置の構成を示すブロック図である。なお、図８
において図１に示す機能部と同じ機能部には同じ符号を
付して詳細な説明を省略する。図８に示す立体物検出装
置では、図１における撮像状況検出部６と、移動距離検
出部７とが省略されている。また、この立体物検出装置
では、図１における第２の動きベクトル算出手段３とは
異なった動作を行なう第２の動きベクトル算出手段３０
が備えられている。そして、第１の動きベクトル算出手
段２と第２の動きベクトル算出手段３０とはデータ線３
１によって接続されている。

【００３２】かかる構成により、立体物検出動作に際し
ては、第２の動きベクトル算出部３０は第１の動きベク
トル算出手段から動きベクトルデータを図５に示す画像
１５とともに受け取り、その動きベクトル１６〜２２を
解析し、その解析結果から、平面であることが明確な部
分の動きベクトルからオプティカルフローを算出する。
また、別の態様として、第２の動きベクトル算出手段３
０は、第１の動きベクトル算出手段２からの動きベクト
ルデータを解析するに当たって、画像中で平面の動きベ
クトル量が充分得られている場合には、上記画像より平
面のオプティカルフローを算出し、これを平面の動きベ
クトルとする。これは、先にも述べたように、画像１５
中には平面の動きベクトルと立体物の動きベクトルが混
在しており、もし画像１５中に立体物が存在するとすれ
ば、その立体物画像の動きベクトルは必ず立体物が無い
とした平面の動きベクトルよりも大きい動きベクトルと
なるはずであるから、画像１５中における同一高さ位置
に存在する複数の動きベクトルの最小値を求めれば、そ
れが平面の動きベクトルと認定しても差し支えないこと
による。

【００３３】このようにして、第２の動きベクトル算出
部３０による平面の動きベクトルが算出された上で立体
物の検出が行なわれる。

【００３４】なお、この実施の形態において、変更例と
して、第２の動きベクトル算出部３０は撮像カメラ１に
も接続され、この第２の動きベクトル算出部３０は第１
の動きベクトル算出手段から動きベクトルデータのみを
受け取り、画像は撮像カメラ１から受け取るようにする
こともできる。

【００３５】

【発明の効果】以上説明したように、本発明は、立体物
検出方法として、移動体に取り付けられた撮像手段によ
り遠景撮像をし、撮像により得られた複数枚の画像か
ら、この画像中における動きベクトルを算出する一方、
前記画像中に存在する平面の動きベクトルを求め、前記
画像中における動きベクトルと前記画像中に存在する平
面の動きベクトルとから、前記平面に対して静止してい
る立体物を検出するようにしたため、移動体に取り付け
た撮像カメラにより得られた画像から道路面とその他の
立体物とを区別することができる。また、本発明では、
上記のような、撮像した画像の処理により立体物検出を
行なうため、複数の撮像手段を備える必要がなく、しか
も処理データ量が不要に増大しないため、車両などの移
動体に搭載された撮像手段により得られた画像の高速処
理が可能となる。また平面の動きベクトルを基準とし
た、動きベクトルの相違という観点で立体物の検出を行
なうから、平面画像から正確に立体物を検出することが
できる。

【図面の簡単な説明】

【図１】本発明の実施の形態１における立体物検出装置
の構成を示すブロック図

【図２】前記実施の形態において自動車の走行中におけ
る撮像カメラによる撮像動作および撮像により得られる
画像の状態を表す図

【図３】前記実施の形態において撮像カメラの移動前と
移動後における画像での奥行きの異なる２点の移動量の
違いを説明する図

【図４】前記実施の形態における立体物検出動作の処理
手順を説明するフロー図

【図５】前記実施の形態において第１の動きベクトル算
出部により求められた第１の動きベクトルの例を示す図

【図６】前記実施の形態において第２の動きベクトル算
出部により求められた第２の動きベクトルの例を示す図

【図７】前記実施の形態の変更例として、撮像カメラを
自動車のフロント部分に進行方向に向けて設置した場合
の第１の動きベクトル算出部により求められた第１の動
きベクトルの例を示す図

【図８】本発明の実施の形態２における立体物検出装置
の構成を示すブロック図

【符号の説明】

１撮像カメラ２第１の動きベクトル算出部３、３０第２の動きベクトル算出部４比較器５立体物判定部６撮像状況検出部７移動距離検出部８制御部１０フィールド（遠景、景色）１１移動前のカメラ位置１２画像（移動前）１３移動後のカメラ位置１４画像（移動後）１５画像１６、１７、１８、１９、２０平面の動きベクトル２１、２２立体物の動きベクトル２３、２４立体物

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｈ０４Ｎ 7/18 Ｇ０６Ｆ 15/62 ４１５ // Ｈ０４Ｎ 13/02 15/70 ４１０ (72)発明者西澤眞人神奈川県横浜市港北区綱島東四丁目３番１号松下通信工業株式会社内Ｆターム(参考） 2F065 AA53 BB05 FF01 FF04 JJ03 JJ19 JJ26 MM03 QQ31 5B057 AA16 BA02 BA11 CA08 CA13 CB01 CB08 CB13 CC01 DA06 DB03 DB09 DC02 DC03 DC31 5C054 AA01 FC13 FC15 FD02 HA28 HA30 5C061 AB03 AB08 AB12 AB17 5L096 AA09 CA04 EA23

Claims

【特許請求の範囲】

【請求項１】移動体に取り付けられた撮像手段と、こ
の撮像手段により撮像された複数枚の画像から動きベク
トルを算出する第１の動きベクトル算出手段と、前記画
像中に存在する平面の動きベクトルを求める第２の動き
ベクトル算出手段と、前記第１の動きベクトル算出手段
で得られた動きベクトルと前記第２の動きベクトル算出
手段で得られた動きベクトルとから、前記平面に対して
静止している立体物を検出する立体物検出手段とを備え
た立体物検出装置。
【請求項２】前記第１の動きベクトル算出手段は、オ
プティカルフロー処理により動きベクトルを算出するこ
とを特徴とする請求項１記載の立体物検出装置。
【請求項３】前記撮像手段の撮像状況を検出する撮像
状況検出手段と、前記移動体の移動状況を検出する移動
状況検出手段とをさらに備え、前記第２の動きベクトル
算出手段は、前記撮像状況検出手段および前記移動状況
検出手段からのデータをもとに、前記画像中の各点に対
応する平面の動きベクトルを算出することを特徴とする
請求項１または２記載の立体物検出装置。
【請求項４】前記第２の動きベクトル算出手段は、前
記第１の動きベクトル算出手段からの動きベクトルデー
タを解析し、その解析結果から、前記画像中の各点に対
応する平面の動きベクトルを算出することを特徴とする
請求項１または２記載の立体物検出装置。
【請求項５】前記第２の動きベクトル算出手段は、前
記第１の動きベクトル算出手段からの動きベクトルデー
タを解析するに当たって、平面であることが明確な部分
の動きベクトルからオプティカルフローを算出すること
を特徴とする請求項４記載の立体物検出装置。
【請求項６】前記第２の動きベクトル算出手段は、前
記第１の動きベクトル算出手段からの動きベクトルデー
タを解析するに当たって、前記画像中で平面の動きベク
トル量が充分得られている場合には、前記画像より平面
のオプティカルフローを算出することを特徴とする請求
項４記載の立体物検出装置。
【請求項７】前記第２の動きベクトル算出手段は、前
記第１の動きベクトル算出手段からの動きベクトルデー
タを解析するに当たって、前記画像中の所定の高さ位置
についての動きベクトルの最小値を求め、この最小の動
きベクトルをその高さ位置に対応する平面の動きベクト
ルとすることを特徴とする請求項４記載の立体物検出装
置。
【請求項８】移動体に取り付けられた撮像手段により
遠景撮像をし、前記撮像により得られた複数枚の画像から、この画像中
における動きベクトルを算出する一方、前記画像中に存在する平面の動きベクトルを求め、前記画像中における動きベクトルと前記画像中に存在す
る平面の動きベクトルとから、前記平面に対して静止し
ている立体物を検出する立体物検出方法。