JP3321936B2 - 移動物体検出装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は移動物体検出装置に係
り、より詳しくは、画像上の複数の移動物体を正確に検
出できる移動物体検出装置に関する。

【０００２】

【従来の技術および発明が解決しようとする課題】画像
を用いた環境認識技術において、動画像（時間的に連続
なフレームを用いた画像）系列を用いる方法があり、動
画像中の移動物体を検出する方法には、連続フレーム間
の差分を演算する方法、画像全体の速度（動ベクトル）
分布を求める方法等がある。

【０００３】動ベクトルを用いた技術としては、画面全
体の動ベクトル分布を求め、類似した方向や大きさを持
つ動ベクトルが画像上で空間的に連続しているとき、そ
れらを統合することにより一つの移動物体として環境を
認識しようとする技術が知られている。

【０００４】この技術は、図３（ａ）、（ｂ）に示すよ
うな時間的に連続な２枚の画像間で、図３（ｃ）に矢印
で示すような動きがある時、２枚の画像間の類似した動
ベクトルを統合し、移動物体の領域を検出しようとする
ものである。

【０００５】画像上に分布している動ベクトルを統合す
る技術を利用した装置としては、図１に示すように、フ
レームメモリ１−１、フレームメモリ１−２、動ベクト
ル検出装置２、および領域統合装置４からなる装置があ
り、この装置は、例えば、特開平２−１１８８８４号公
報、特開平３−２４６７５号公報、特開平４−１４８２
８３号公報等に示されている。

【０００６】しかし、一般に実画像上で動ベクトルを計
算した場合、図３（ｄ）に示すように、それぞれの位置
の画像濃度パターンによっては正しい動ベクトルが検出
できないことがあるので、全ての位置で正しい動ベクト
ルを求めることはできない。このため、得られた動ベク
トルをそのまま統合するだけでは、誤った動ベクトルの
影響で、正しく移動物体領域を取り出すことができな
い、という問題がある。なお、図３（ｄ）において、矢
印は動ベクトルを示し、・は大きさ０の動ベクトルを示
す。

【０００７】一方、画面全体の動ベクトル分布と同時に
その動ベクトルの信頼性を計算する方法を利用した装置
としては、図２に示すように、フレームメモリ１−１、
フレームメモリ１−２、動ベクトル検出装置２、および
信頼度検出装置３からなる装置があり、この装置は、例
えば、特開平３−４８３７２号公報、特開平４−２６２
８３号公報等に示されている。

【０００８】この信頼度は個々の動ベクトルの正しさの
指標を表しているが、従来の技術では隣接する動ベクト
ル相互の位置関係の考慮がなされていないので、画像全
体を理解するためには不適切である。

【０００９】そこで、動ベクトルの統合による画像の領
域統合を行うに当たって、上記信頼度を利用して、求め
られた動ベクトルの信頼度とある閾値とを比較し、その
信頼度が閾値を越えた動ベクトルのみを用いて領域統合
を行うという方法が考えられる。しかし、正しい動ベク
トルと誤った動ベクトルとが持つ信頼度分布が、必ずし
も一つの閾値で区切られるわけではないので、誤った動
ベクトルがほとんど領域統合に使用されないように閾値
を高くした場合には、図４（ａ）に示すように、隣接関
係を調べることができないほど少数の動ベクトルしか閾
値を越えないことになる。一方、正しい動ベクトルが切
り捨てられることがないように閾値を低くした場合に
は、図４（ｂ）に示すように、誤った動ベクトルも多数
閾値を越え、領域統合結果にも図４（ｃ）のように多数
の誤った領域が検出されて信頼度を導入した効果が得ら
れなくなる、等の問題が生じる。

【００１０】本発明は上記問題点を解消するためになさ
れたもので、画面上で求めた誤差を含んだ動ベクトルが
多い動ベクトル分布に基づき、信頼性が高い動ベクトル
および信頼性がある程度高い動ベクトル相互の位置関係
を考慮して、画像上の移動物体を正確に検出することが
できる移動物体検出装置を提供することを目的とする。

【００１１】

【課題を解決するための手段】上記目的を達成するため
に請求項１の発明は、図５に示すように、所定時刻の画
像と所定時刻より単位時間前の画像とから画面上の動ベ
クトルの分布および該動ベクトルに対する信頼度の分布
を検出する動ベクトル・信頼度検出手段Ａと、前記検出
された信頼度の分布に基づいて信頼度が予め設定した第
１の閾値より高い動ベクトルを初期動ベクトルとして抽
出する初期動ベクトル抽出手段Ｂと、前記検出された信
頼度の分布に基づいて信頼度が予め前記第１の閾値より
小さい値に設定した第２の閾値より低い動ベクトルを除
去して信頼度が第２の閾値以上の動ベクトルを出力する
ベクトル除去手段Ｃと、前記初期動ベクトルを備えた位
置の周辺の領域を検索することにより、前記初期動ベク
トルと同一または類似した動ベクトルをベクトル除去手
段より出力された動ベクトルの中から抽出し、抽出した
動ベクトルを備えた位置を統合して領域を求める領域統
合手段Ｄと、を含んで構成したものである。

【００１２】

【作用】請求項１の発明の作用について説明する。検出
された画面上の動ベクトルは、通常、ノイズ、誤差等を
含んでいるが、この動ベクトルの信頼性を表す信頼度を
検出することは可能である。そこで、請求項１の発明の
動ベクトル・信頼度検出手段Ａでは、所定時刻の画像と
所定時刻より単位時間前の画像とから画面上の動ベクト
ルの分布およびこの動ベクトルに対する信頼度の分布を
検出する。

【００１３】動ベクトルの分布を検出する方法として
は、画像を多数の小領域に分割し、小領域毎の相関演算
によって、複数画像間の対応関係を演算する方法があ
る。この方法では、対応を演算する過程で、最大相関
値、最大相関値付近の相関値分布の勾配、最大相関値と
２番目に高い値を持つ相関値とのピークの差、または割
合、等を演算することで、この動ベクトルの信頼度を評
価できる。

【００１４】初期動ベクトル抽出手段Ｂは、動ベクトル
・信頼度検出手段Ａにより検出された信頼度の分布に基
づいて信頼度が予め設定した第１の閾値より高い動ベク
トルを初期動ベクトルとして抽出する。ベクトル除去手
段Ｃは、動ベクトル・信頼度検出手段Ａにより検出され
た信頼度の分布に基づいて信頼度が予め第１の閾値より
小さい値に設定した第２の閾値より低い動ベクトル、す
なわち領域統合に用いるのに不適切な、信頼性の低い動
ベクトルを除去して、信頼度が第２の閾値以上の動ベク
トルを出力する。

【００１５】領域統合手段Ｄは、初期動ベクトルを備え
た位置の周辺の領域を検索することにより、初期動ベク
トルと同一または類似した動ベクトルをベクトル除去手
段より出力された動ベクトルの中から抽出し、抽出した
動ベクトルを備えた位置を統合して領域を求める。領域
の統合は、画像中で物体の存在する領域は一塊の領域と
なって存在しており、また１つの物体の内部において検
出される動ベクトルは隣接するもの同士では少なくとも
それらの方向、すなわち方向、または方向および大きさ
が同一または類似したものになる、という知識に基づく
ものである。すなわち、信頼性の高い動ベクトルの周囲
で、信頼性の高い動ベクトルと同一または類似した動ベ
クトルがあれば、ある程度信頼性が低いと判断された動
ベクトルであっても正しいものと判断して同じ領域に属
するものとして統合するものである。動ベクトルが同一
または類似か否かは、動ベクトルの方向、または方向及
び大きさを判定することにより判断することができる。

【００１６】このように、請求項１の発明では、信頼性
の高い初期動ベクトルの周辺を探索し、信頼性の高い初
期動ベクトルの近くに分布している、信頼性の高い初期
動ベクトルと同一または類似した、ある程度信頼性の低
い動ベクトルを含めて領域統合を行っているので、ノイ
ズ、誤差を含む動ベクトル分布から、信頼性の高い動ベ
クトルを含む移動物体領域を選択し、検出することがで
きる。一方、動ベクトルおよび信頼度検出過程におい
て、十分高い信頼度が得られなかったが、実際には正し
いベクトルを表していると考えられる信頼度が中程度の
動ベクトルをも統合に加えることができるので、移動物
体領域の形状が大きく欠落したり、誤った領域を多数検
出したりすることが少なくなり、従来手法に比べて移動
物体の存在する領域を正しく推定できる。

【００１７】

【その他の発明の説明】請求項１の発明において画像を
検出するカメラが静止していれば、画面上の静止物体領
域と移動物体領域とを分離することは比較的容易である
が、カメラ自身が運動している時は、静止物体の占める
領域にもカメラ運動による動ベクトルが生じるので、こ
れを分離することが困難になる等の問題が生じる。

【００１８】そこで、その他の発明の第１の発明は、図
６に示すように、請求項１の発明に、カメラの並進速度
を検出する並進速度検出手段Ｅと、検出された並進速度
からカメラの並進運動によって生じた動ベクトルを検出
する動ベクトル検出手段Ｆと、動ベクトル・信頼度検出
手段Ａにより検出された動ベクトルとカメラの並進運動
によって生じた動ベクトルとを比較して移動状態を判断
する移動状態判別手段Ｇと、を更に設け、領域統合手段
Ｄにおいて移動状態判別手段Ｇの検出結果を用いてカメ
ラの並進運動とは独立して移動している移動物体領域を
静止物体の領域から分離して領域統合するものである。

【００１９】第１の発明は、カメラが並進運動している
ときには、画面上の静止物体はカメラの並進速度の方向
と対応した方向で、かつ並進速度の大きさに対応した大
きさの動ベクトルを持つことを利用して、静止物体が存
在した場合に発生する動ベクトル、すなわち、カメラの
並進運動によって生じてた動ベクトルを検出し、この動
ベクトルと動ベクトル・信頼度検出手段Ａによって検出
された動ベクトルとを照合すること等によって移動状態
を判断することによって、本来は静止している物体上の
動ベクトルを検知し、カメラの並進運動とは独立した運
動をしている移動物体領域を、カメラの並進運動によっ
て生じた動ベクトルによって構成される静止物体の領域
から分離するものである。

【００２０】これによって、請求項１の発明の場合に加
えてカメラが並進運動している場合でも、カメラの並進
運動とは独立した運動をしている移動物体を、カメラの
並進運動によって動ベクトルが生じる領域から分離して
検出することができる。

【００２１】第１の発明では、カメラの並進速度は、動
ベクトル・信頼度検出手段Ａにより検出された動ベクト
ルから並進運動成分を検出することによって検出しても
よく、カメラ等に取り付けた他のセンサにより検出して
もよい。また、動ベクトル・信頼度検出手段Ａにより検
出された動ベクトルからカメラの並進運動によって生じ
た動ベクトルを除去した残りの動ベクトルによって移動
物体領域を統合してもよく、動ベクトル・信頼度検出手
段Ａにより検出された動ベクトルの中のカメラの並進運
動によって生じている動ベクトルにラベルを付す等によ
って、静止物体の動ベクトルと移動物体の動ベクトルと
を区別し、静止物体の領域と移動物体領域とを分離して
統合してもよい。

【００２２】第２の発明は、図７に示すように、請求項
１の発明に、カメラの回転速度を検出する回転速度検出
手段Ｈと、検出された回転速度からカメラの回転運動に
よって生じた動ベクトルを検出する動ベクトル検出手段
Ｉと、カメラの回転運動によって生じた動ベクトルを用
いてカメラの回転運動による成分が無くなるように、動
ベクトル・信頼度検出手段Ａにより検出された動ベクト
ルを補正する補正手段Ｊと、を更に設け、初期動ベクト
ル抽出手段Ｂ、ベクトル除去手段Ｃおよび領域統合手段
Ｄにおいて、この補正された動ベクトルを用いて領域統
合するものである。

【００２３】本発明は、上記構成により、画像全体の動
ベクトルに一定の回転運動成分が加わったことを検出
し、一定の回転運動成分が検出された場合には、それを
補正するようにしている。

【００２４】これによって、請求項１の発明の場合に加
えて、カメラが回転運動をした場合でも、それによって
各動ベクトルに加わるカメラ回転運動成分を補正し、移
動物体の領域を正しく検出できる。

【００２５】なお、カメラの回転速度は、動ベクトル・
信頼度検出手段Ａにより検出された動ベクトルの縦成分
および横成分から回転運動成分を検出することによって
検出してもよく、カメラ等に取り付けた他のセンサによ
り検出してもよい。また、補正手段Ｊは、初期動ベクト
ル抽出手段Ｂおよびベクトル除去手段Ｃの後段に設け、
抽出された初期動ベクトルおよびベクトル除去手段Ｃか
ら出力された動ベクトルの各々に対して、カメラの回転
運動による成分が無くなるように補正してもよい。この
場合には、ベクトル除去手段Ｃによって除去された信頼
度が低い動ベクトルに対して補正をしなくても良くなる
ので、処理が速やかになる。

【００２６】そして、第３の発明は、請求項１の発明に
第１の発明と第２の発明とを加えたものであり、図８に
示すように、カメラの並進速度を検出する並進速度検出
手段Ｅと、検出された並進速度からカメラの並進運動に
よって生じた動ベクトルを検出する動ベクトル検出手段
Ｆと、動ベクトル・信頼度検出手段Ａにより検出された
動ベクトルとカメラの並進運動によって生じた動ベクト
ルとから静止物体の動ベクトルを検出する移動状態判別
手段Ｇと、カメラの回転速度を検出する回転速度検出手
段Ｈと、検出された回転速度からカメラの回転運動によ
って生じた動ベクトルを検出する動ベクトル検出手段Ｉ
と、カメラの回転運動によって生じた動ベクトルを用い
てカメラの回転運動による成分が無くなるように、動ベ
クトル・信頼度検出手段Ａにより検出された動ベクトル
を補正する補正手段Ｊと、を更に設け、初期動ベクトル
抽出手段Ｂ、ベクトル除去手段Ｃおよび領域統合手段Ｄ
において、このカメラの回転運動による影響が補正され
た動ベクトルを用いてカメラの並進運動と独立して移動
している移動物体領域を静止物体の領域から分離して領
域統合するものである。

【００２７】本第３の発明によれば、請求項１の発明の
場合に加えて、カメラが並進運動している場合であって
も、カメラの並進運動とは独立した運動をしている移動
物体を検出することができ、さらに、カメラが回転運動
をした場合でも、移動物体の領域を正しく検出できるの
で、移動物体領域をより正確に検出することができる、
という効果が得られる。

【００２８】

【実施例】以下図面を参照して本発明の実施例を詳細に
説明する。第１の実施例は請求項１の発明を適用したも
のである。

【００２９】図９に示すように、第１実施例の移動物体
検出装置は、原画像、すなわちある時刻の画像ａのデー
タを記憶するためのフレームメモリ１０、画像ａより単
位時間前（１時刻前）の画像ｂのデータを記憶するため
のフレームメモリ１２を備えている。フレームメモリ１
０、１２は、相関値を演算するための相関値検出装置１
４に接続されている。相関値検出装置１４は、画像ａ、
ｂの間の動ベクトルを検出する動ベクトル検出装置１
６、および動ベクトル検出装置１６により検出される動
ベクトル各々の信頼性を示す値（信頼度）を検出する信
頼度検出装置１８に接続されている。

【００３０】動ベクトル検出装置１６および信頼度検出
装置１８は、各々、信頼度と予め設定した第１の閾値と
を比較して動ベクトル検出装置１６により検出された動
ベクトルのうち、高い信頼度を有する動ベクトル（初期
動ベクトルに対応する）を検出して出力する高信頼度動
ベクトル判定装置２２、および信頼度と予め設定した第
２の閾値（＜第１の閾値）とを比較して動ベクトル検出
装置１６により検出された動ベクトルのうち、非常に低
い信頼度を有する動ベクトルを判定し、領域統合の対象
としない動ベクトルを除去して、信頼度が高い動ベクト
ルおよび信頼度が中間の動ベクトルを出力する低信頼度
動ベクトル判定装置２０に接続されている。低信頼度動
ベクトル判定装置２０および高信頼度動ベクトル判定装
置２２は、低信頼度動ベクトル判定装置２０より出力さ
れた動ベクトルおよび高信頼度動ベクトル判定装置２２
により検出された高信頼度動ベクトルの情報に基づいて
領域統合を行う領域統合装置２４を介して、領域統合装
置２４により検出された領域群から移動物体領域を検出
する移動物体領域検出装置２６に接続されている。

【００３１】以上のように構成された、第１実施例の移
動物体検出装置の作用について説明する。フレームメモ
リ１０およびフレームメモリ１２には、ある時刻の画像
ａと１時刻前の画像ｂとの時間的に連続した２枚の画像
データが入力される。相関値検出装置１４は領域ベース
の相関法を用いて相関値を演算し、動ベクトル検出装置
１６および信頼度検出装置１８は相関値検出装置１４で
演算された相関値から動ベクトルの分布およびその動ベ
クトルの信頼度の分布の検出を行う。

【００３２】すなわち、図１０（ｂ）に示すように、図
１０（ａ）に示す原画像の画面を格子状に分割し、格子
が区切るそれぞれの桝目を動ベクトルおよび信頼度の検
出を行う単位小領域とし、それぞれの小領域を注目領域
として、１時刻前の画像ｂに対し１時刻後の画像ａの同
じ位置を中心としてその周辺との相関演算を行う。図１
１（ａ）における１時刻前の画像ｂのＲは動ベクトルの
検出を行う小領域、すなわち注目領域を示し、Ｓは小領
域Ｒと最も相関の高い小領域を探索する探索領域であ
る。各領域の大きさは、例えばＳは１６画素×１６画
素、Ｒは８画素×８画素に選ぶことができる。

【００３３】この相関演算では、画像ａ上の注目領域
を、画像のｘ方向、ｙ方向にそれぞれ（ｉ，ｊ）（ただ
し、ｉmin ＜ｉ＜ｉmax,ｊmin ＜ｊ＜ｊmax)だけ変位
し、変位前の画像ｂ上の探索領域内の画像濃淡値と変位
後の画像ａの探索領域内の画像濃淡値との差分の絶対値
和を相関値として検出する。この相関値Ｃ（ｉ，ｊ）は
以下の（１）式で表される。

【００３４】

【数１】

【００３５】ただし、（ｘc −ωx ／２) ＜ｘ＜（ｘc
＋ωx ／２），（ｙc −ωy ／２)＜ｙ＜（ｙc ＋ωｙ
／２）である。ここで、Ｉt （ｘ，ｙ），Ｉs （ｘ，
ｙ）はそれぞれ画像ａ，画像ｂの座標（ｘ，ｙ）におけ
る濃淡値、Ｉs （ｘ＋ｉ，ｙ＋ｊ）はｘ方向、ｙ方向に
それぞれ（ｉ，ｊ）だけ変位させた後の濃淡値、ｘｃ，
ｙｃはそれぞれ動ベクトルを検出する注目領域の中心座
標、ωx ，ωy は注目領域の大きさ（画素）である。

【００３６】動ベクトル検出装置１６では、相関値Ｃ
（ｉ，ｊ）の最小値を与える変位量（ｉ，ｊ）を演算
し、その変位量（ｉ，ｊ）をその小領域の動ベクトルと
する。

【００３７】信頼度検出装置１８では、次の（２）式に
示すように、相関値の最小値Ｃ（ｉ，ｊ）min と、最小
値の次に小さい相関値Ｃ（ｉ’，ｊ’）との差を演算
し、この差をこの動ベクトルの信頼度Ｒ（ｉ，ｊ）とす
る。

【００３８】 Ｒ（ｉ，ｊ）＝Ｃ（ｉ’，ｊ’）−Ｃ（ｉ，ｊ）min ・・・(2) 図１１（ｂ）における小領域ｓは小領域Ｒと最も相関の
高い小領域すなわち式（１）が最小値となる位置を表し
ている。

【００３９】次に、高信頼度動ベクトル判定装置２２で
は、各々の動ベクトルの信頼度を予め設定した第１の閾
値と比較し、信頼度が非常に高い動ベクトルを判定し、
すなわち、領域統合を行う際に、各領域の核となるよう
な、極めて信頼度が高い動ベクトルを検出し、検出した
動ベクトルを出力する。

【００４０】低信頼度動ベクトル判定装置２０では、各
々の動ベクトルの信頼度を予め設定した第２の閾値と比
較し、信頼度が非常に低く、領域統合に用いる動ベクト
ルとして適さない動ベクトルを判定し、領域統合装置２
４の入力となる動ベクトル群から除去して残りの動ベク
トルを出力する。

【００４１】図１２（ｃ）に信頼度が非常に高い動ベク
トルの小領域、信頼度が非常に低い動ベクトルの小領域
および信頼度が中間の動ベクトルの小領域を示す。

【００４２】領域統合装置２４では、高信頼度動ベクト
ル判定装置２２により判定された極めて信頼度が高い動
ベクトルの周辺を、領域の核となる信頼度が極めて高い
動ベクトルを始点として連続的に４近傍の小領域を探索
し、核となる動ベクトルと方向および大きさが同一また
は類似していると判定される動ベクトルを、核となる動
ベクトルと同じ領域を形成するものとして統合する。こ
の結果、信頼度が極めて高い動ベクトルから見て、４近
傍接続で連続的につながっている範囲に存在する信頼度
は極めて高くないが極めて信頼度が高い動ベクトルと同
じ動きをしていると考えられる領域が同一領域として統
合される。

【００４３】動ベクトルの方向および大きさの類似性の
判定は、例えば、方向については基準となる動ベクトル
の角度（方向）と比較する動ベクトルの角度との差をと
り、この差が予め与えた差の閾値より小さいとき、ま
た、大きさについてはカメラ運動の有無やその小領域上
の画像上での位置を考慮して３次元的にその動ベクトル
の大きさを表す動きの大きさを判断し、基準となる動ベ
クトルの動きの大きさと比較する動ベクトルの動きの大
きさとの差をとり、この差が予め与えた差の閾値より小
さいとき、それぞれ類似していると判定する。なお、例
えば、焦点距離８mmの２／３インチＣＣＤカメラによる
５１２×４３６の大きさの画像に対し１画素の精度で動
ベクトルを算出した場合には、上記角度の閾値は１０°
程度、動きの大きさの閾値は１０ｍとすることができ
る。これらの閾値は、画像の分解能や計算精度を向上さ
せることにより小さくすることができる。

【００４４】この領域統合装置２４による統合の様子を
図１２、図１３、図１７を参照して説明する。

【００４５】移動物体の実際の動きが図１２（ａ）の矢
印で示すようであるとすると、動ベクトル検出装置１６
で検出される動ベクトルのは図１２（ｂ）に示すよう
に、ノイズや誤差を含んだものとなる。信頼度検出装置
１８で検出される信頼度の分布は図１２（ｃ）に示すよ
うになり、信頼度が非常に低い動ベクトルは上記低信頼
度動ベクトル判定装置２０によって除去され、信頼度が
非常に高い動ベクトルは高信頼度動ベクトル判定装置２
２によって検出され、信頼度が非常に高い動ベクトルを
有する小領域が図１３（ａ）に示すようにまばらに求め
られる。

【００４６】このように求められた高信頼度の動ベクト
ルを有する小領域（図１７（ａ）に示す１の小領域）の
４近傍の小領域を探索し（図１７（ａ））、その中心の
動ベクトルと方向および大きさが同一または類似の動ベ
クトルがあれば、それを同一領域に属するものとして統
合し（図１７（ｂ），（ｃ））、順次、統合された動ベ
クトルが図１７（ｃ）に示す２の小領域）の４近傍の小
領域の有する動ベクトルが図１７（ａ）に示す１の小領
域の信頼度が非常に高い動ベクトルと方向および大きさ
が同一または類似であれば、同じ領域を形成するものと
して統合する（図１７（ｄ），（ｅ））。この手順を統
合された全ての動ベクトルの４近傍に図１７（ａ）の１
の小領域が存在しなくなるまで繰り返す。

【００４７】このような手順で小領域を統合していく
と、図１３（ｂ）に示すように領域が統合されていき、
最終的に図１３（ｃ）に示すように領域が統合される。
なお、この信頼度が非常に低い動ベクトルは低信頼度動
ベクトル判定手段２０で除去されているので、４近傍の
うち信頼度が非常に低い動ベクトルを有する小領域に関
しては始めから判定を行う必要はない。

【００４８】移動物体領域検出装置２６では、図１３
（ｃ）に示すように統合された各領域の動ベクトルの大
きさを判断し、大きさが０でない領域を移動物体領域と
して出力する。なお、このとき動ベクトルの方向も同時
に判断すれば移動物体領域の移動方向に関する情報も出
力できる。

【００４９】以上のように本実施例によれば、画像上に
複数の移動物体が存在する場合でも、図１３（ｃ）に示
すように、それらの候補領域を正しく分割することがで
きる。

【００５０】本実施例では、信頼度として相関値の最小
値と最小値の次に小さい値との差を用いたが、その他
に、最小値の次に小さい値に対する相関値の最小値の割
合、相関値の最小値の相関値分布の平均値からの突出度
等を用いてもよい。

【００５１】また、図１０では、動ベクトルを求める小
領域を、互いに重ならないように定めたが、小領域を１
画素ずつ移動させて高い密度で動ベクトルを計算するこ
ともできる。２つの動ベクトルが類似しているかどうか
を判断する基準として、本実施例では動ベクトルの方向
および大きさを用いたが、動ベクトルの方向のみを用い
てもよく、またカメラの運動によって加わる成分を予測
または測定し、その成分との相違性を比較の基準に加え
ても良い。

【００５２】次に本発明の第２の実施例における移動物
体検出装置を図１４に示したブロック図を参照して説明
する。なお、図１４において図９と対応する部分には同
一符号を付して説明を省略する。

【００５３】本実施例は第１実施例の高信頼度動ベクト
ル判定装置２２に代えて、高信頼度領域検出装置２８を
設けたものである。

【００５４】図１４において、低信頼度動ベクトル判定
装置２０は、第１実施例と同様に、各々の動ベクトルの
信頼度を予め設定した第２の閾値と比較し、信頼度が非
常に低く、領域統合に用いる動ベクトルとして適さない
動ベクトルを判定し、領域統合装置２４の入力となる動
ベクトル群から除去して残りの動ベクトルを信頼度と共
に出力する。領域統合装置２４は、低信頼度動ベクトル
判定装置２０から出力された、非常に信頼度の低い動ベ
クトルを除いた動ベクトルの配列を走査することにより
領域を統合する。すなわち、画面の左より右へ、さらに
上より下へ順に走査し、注目領域の動ベクトルが、注目
領域の左側（すなわち１つ前）に位置している小領域の
動ベクトルと同一または類似しているかどうか、注目領
域の上側（すなわち１走査ライン前）に位置している小
領域の動ベクトルと同一または類似しているかどうかを
逐次判断し、動ベクトルが同一または類似の小領域が同
じ領域に含まれるように領域統合を行うことで、画面全
体の領域分割を行う。このとき、各小領域に対応してそ
の小領域に属する領域のラベルにあわせて各動ベクトル
の信頼度も記憶される。

【００５５】また、領域統合を行うとき図１８（ａ）に
示すような領域のラベルを記憶する配列状のメモリのほ
かに、新しい領域が見つかる毎にチェーン構造のリスト
を追加し、動ベクトルの追加、既に上の行で形成さ
れていた領域とのマージ、マージを行った後の新しく
作りかけていた部分の領域のリストからの削除、を動的
に行うリストを保持し適宣更新を行う。

【００５６】たとえば、図１８（ａ）に示すようにｖが
領域４に属すると判断され（状態１）、さらに領域３に
属する動ベクトルとも類似していると判断されたとき
（状態２）、領域４を領域３にマージし（状態３）、領
域４をリストから削除する（状態）。

【００５７】このとき、図１８（ａ）に示すような、領
域のラベルの記憶領域には、領域のマージや消去が起こ
った時点で過去の位置のラベルを書き換えてもよいが、
別に領域４＝領域３という関係を記憶しておき領域統合
終了時に修正を行ってもよい。

【００５８】一方、図１８（ｂ）に示すような、領域統
合と同時に動ベクトルの追加、マージ、消去を動的に行
う現在までの領域のリストを作成し、適宣更新を行う。

【００５９】なお、上記走査方向はこれに限らず、左右
逆であっても、または上下逆であってもよい。

【００６０】本実施例では、小領域配列を１走査した時
点で領域分割が終了するので、統合に要する時間を短縮
することができるとともに、その時間が予測できる。

【００６１】高信頼度領域検出装置２８は、領域統合装
置２４により統合された領域群の中から信頼性の高い領
域のみを移動物体領域として選択する。すなわち、領域
統合装置２４により統合された統合領域リストの領域群
各々を構成する動ベクトルの信頼度の分布状態を調べ、
各々の領域の信頼性を判定し、高信頼度領域を検出す
る。なお、領域統合装置２４において統合した各領域毎
に領域内の動ベクトルの信頼度の平均値や最高値等を記
憶しておいて、高信頼度領域検出装置２８において信頼
度の平均値等の大きさを判断して高信頼度領域を検出し
てもよい。

【００６２】以上説明したように、第１、第２の実施例
の移動物体検出装置は、時間的に連続する２枚の画像か
ら検出された動ベクトルを統合し、類似した動ベクトル
を統合する際に、極めて信頼性が低い動ベクトルを排除
し、極めて信頼性が高い動ベクトルと、その近傍にあっ
てしかもその動ベクトルと同一または類似しているとい
うことから信頼性が高いと考えられる動ベクトルのみを
用いて領域統合を行うので、各動ベクトルの信頼性およ
び信頼性が所定値以上の動ベクトル相互の位置関係を考
慮して、画像上の移動物体を正確に検出することができ
る次に第３の発明を適用した第３実施例について説明す
る。

【００６３】図１５は、本発明の第３実施例の移動物体
検出装置のブロック図を示すものである。図１５におい
て図９と対応する部分には同一符号を付して説明を省略
する。

【００６４】図に示すように、本実施例の移動物体検出
装置は、動ベクトル検出装置１６により検出された動ベ
クトル全体から、カメラの並進運動成分を検出し、並進
運動速度を検出する並進速度検出装置３０、並進速度検
出装置３０より検出されたカメラの並進運動速度から、
その並進運動によって生じる画面上の静止物体の動ベク
トル、すなわちカメラの並進運動による動ベクトルを検
出する動ベクトル検出装置３２を備えている。動ベクト
ル検出装置３２は、並進運動による動ベクトル検出装置
３２により検出されたカメラの並進運動による動ベクト
ルと動ベクトル検出装置１６により検出された動ベクト
ルとから静止物体の動ベクトルを移動状態情報として検
出する移動状態判別装置３４に接続されている。

【００６５】また、動ベクトル検出装置１６により検出
された動ベクトル全体から、カメラの回転運動成分を検
出し、回転運動速度を検出する回転運動検出装置３６が
設けられており、動ベクトル検出装置１６は、回転運動
検出装置３６より得られたカメラの回転運速度から、そ
の回転運動によって生じる画面上の動ベクトル、すなわ
ちカメラの回転運動による動ベクトルを検出する動ベク
トル検出装置３８に接続されている。回転運動による動
ベクトルを検出する動ベクトル検出装置３８は、動ベク
トル検出装置３８により検出されたカメラの回転運動に
よる動ベクトルを用いて、動ベクトル検出装置１６によ
り検出された動ベクトルの回転運動成分をキャンセルす
るように補正するカメラ回転運動の補正装置４０に接続
されている。

【００６６】以上のように構成された第３の実施例の移
動物体検出装置では、並進速度検出装置３０にて動ベク
トル検出装置１６により検出された動ベクトル全体の方
向成分の分布より、カメラの水平移動、垂直移動、前進
移動または後退移動の有無、すなわち並進運動の有無を
推定し、カメラの並進速度を検出する。なお、並進速度
は、カメラ等に取り付けたセンサ等により検出してもよ
い。並進速度による動ベクトル検出手段３２では、画面
上の物体が全て静止していると仮定した場合に得られる
動ベクトルの方向を計算する。移動状態判別装置３４に
おいて、並進速度による動ベクトル検出手段３２によっ
て計算された動ベクトルの方向と、動ベクトル検出装置
１６により検出された動ベクトルの方向と比較すること
により、動ベクトル検出装置１６により得られた動ベク
トルが、カメラの並進運動によって生じているのか、カ
メラの並進運動とは無関係に移動している物体によって
生じているのかを判断して移動状態情報を出力する。

【００６７】領域統合装置２４では、統合された領域群
を構成する動ベクトルに対して移動状態情報を用いて移
動状態の判別を行い、得られた領域がそれぞれ静止物体
領域であるか移動物体領域であるかを判断し、カメラの
並進運動とは独立した運動をしている移動物体を、カメ
ラ運動によって生じる領域から分離して検出する。

【００６８】また、回転運動検出装置３６において、動
ベクトル検出装置１６により検出された動ベクトルの方
向成分の分布を求め、図１６に示すような成分から構成
されるカメラの回転運動成分が画像全体の動ベクトルに
一定に加わった場合に、それを検出する。なお、回転速
度は、カメラ等に取り付けたセンサ等により検出したカ
メラ回転角度から求めてもよい。カメラ回転運動の補正
装置４０は、回転運動による動ベクトル検出装置３８に
よって得られた回転運動による動ベクトルを用いて、画
面全体の動ベクトルに加わった成分をキャンセルするよ
うに動ベクトルを補正する。

【００６９】例えば、カメラの振動等によって画面全体
に一定の縦方向成分、つまり図１６におけるtilt成分が
加わった場合、本来静止しているはずの領域にも全体に
小さな縦方向成分が現れることになる。信頼性の高い領
域の存在する位置の時間的な連続性や位置の拘束性を考
慮して不自然な成分が画面全体に一定に存在する時、ま
た静止して見えるべき領域すなわち大きさが０の動ベク
トルが観測されるべき位置で、大きさ、方向が一定の動
ベクトルが観測された時、その振動成分を除去するよう
な補正を画面全体の動ベクトルに適用する。

【００７０】

【発明の効果】以上説明したように本発明によれば、画
面上で求めた誤差を含んだ動ベクトルが多い動ベクトル
分布に基づき、各動ベクトルの信頼性が所定値以上の動
ベクトル相互の位置関係を考慮して領域を統合している
ので、画像上の移動物体を正確に検出することができ
る、という効果が得られる。

【図面の簡単な説明】

【図１】動ベクトルを用いて領域統合する従来装置のブ
ロック図である。

【図２】動ベクトルと信頼度とを用いて領域統合する従
来装置のブロック図である。

【図３】（ａ）、（ｂ）、（ｃ）、（ｄ）従来技術の１
時刻前の画像、所定時刻の画像、実際の動き、動ベクト
ルの分布を示す線図である。

【図４】（ａ）、（ｂ）、（ｃ）は従来技術の領域統合
状態の様子を示す線図である。

【図５】請求項１の発明のブロック図ある。

【図６】その他の発明中の第１の発明のブロック図であ
る。

【図７】その他の発明中の第２の発明のブロック図であ
る。

【図８】その他の発明中の第３の発明のブロック図であ
る。

【図９】本発明の第１実施例のブロック図である。

【図１０】（ａ）は原画像を示す線図であり、（ｂ）は
原画像を単位小領域に分割した状態を示す線図である。

【図１１】（ａ）は１時刻前の画像の注目領域と周辺領
域とを示す線図であり、（ｂ）は所定時刻の画像の相関
値が最小となる領域を示す線図である。

【図１２】（ａ）、（ｂ）、（ｃ）は実際の動き、動ベ
クトルおよび信頼度の分布を示す線図である。

【図１３】（ａ）、（ｂ）、（ｃ）は領域統合状態の様
子を示す線図である。

【図１４】本発明の第２実施例のブロック図である。

【図１５】本発明の第３実施例のブロック図である。

【図１６】カメラの回転運動成分を示す線図である。

【図１７】（ａ）、（ｂ）、（ｃ）、（ｄ）は領域統合
過程の様子を示す線図である。

【図１８】（ａ）は領域ラベルの配列を示す線図であ
り、（ｂ）は領域リストの更新を示す線図である。

【符号の説明】

１６ 動ベクトル検出装置 １８ 信頼度検出装置 ２０ 低信頼度動ベクトル判定装置 ２２ 高信頼度動ベクトル判定装置 ２４ 領域統合装置

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平５−75987（ＪＰ，Ａ) 特開 平２−118884（ＪＰ，Ａ) 特開 平４−148283（ＪＰ，Ａ) 特開 平４−26283（ＪＰ，Ａ) 特開 平３−48372（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 7/00 - 7/60 G06T 1/00 H04N 7/18 H04N 7/24 - 7/68

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】 所定時刻の画像と所定時刻より単位時間
   前の画像とから画面上の動ベクトルの分布および該動ベ
   クトルに対する信頼度の分布を検出する動ベクトル・信
   頼度検出手段と、 前記検出された信頼度の分布に基づいて信頼度が予め設
   定した第１の閾値より高い動ベクトルを初期動ベクトル
   として抽出する初期動ベクトル抽出手段と、 前記検出された信頼度の分布に基づいて信頼度が予め前
   記第１の閾値より小さな値に設定した第２の閾値より低
   い動ベクトルを除去して信頼度が第２の閾値以上の動ベ
   クトルを出力するベクトル除去手段と、 前記初期動ベクトルを備えた位置の周辺の領域を検索す
   ることにより、前記初期動ベクトルと同一または類似し
   た動ベクトルをベクトル除去手段より出力された動ベク
   トルの中から抽出し、抽出した動ベクトルを備えた位置
   を統合して領域を求める領域統合手段と、 を含む移動物体検出装置。