JP3321936B2 - 移動物体検出装置 - Google Patents
移動物体検出装置Info
- Publication number
- JP3321936B2 JP3321936B2 JP27711093A JP27711093A JP3321936B2 JP 3321936 B2 JP3321936 B2 JP 3321936B2 JP 27711093 A JP27711093 A JP 27711093A JP 27711093 A JP27711093 A JP 27711093A JP 3321936 B2 JP3321936 B2 JP 3321936B2
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- reliability
- motion
- region
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Description
【0001】
【産業上の利用分野】本発明は移動物体検出装置に係
り、より詳しくは、画像上の複数の移動物体を正確に検
出できる移動物体検出装置に関する。
り、より詳しくは、画像上の複数の移動物体を正確に検
出できる移動物体検出装置に関する。
【0002】
【従来の技術および発明が解決しようとする課題】画像
を用いた環境認識技術において、動画像(時間的に連続
なフレームを用いた画像)系列を用いる方法があり、動
画像中の移動物体を検出する方法には、連続フレーム間
の差分を演算する方法、画像全体の速度(動ベクトル)
分布を求める方法等がある。
を用いた環境認識技術において、動画像(時間的に連続
なフレームを用いた画像)系列を用いる方法があり、動
画像中の移動物体を検出する方法には、連続フレーム間
の差分を演算する方法、画像全体の速度(動ベクトル)
分布を求める方法等がある。
【0003】動ベクトルを用いた技術としては、画面全
体の動ベクトル分布を求め、類似した方向や大きさを持
つ動ベクトルが画像上で空間的に連続しているとき、そ
れらを統合することにより一つの移動物体として環境を
認識しようとする技術が知られている。
体の動ベクトル分布を求め、類似した方向や大きさを持
つ動ベクトルが画像上で空間的に連続しているとき、そ
れらを統合することにより一つの移動物体として環境を
認識しようとする技術が知られている。
【0004】この技術は、図3(a)、(b)に示すよ
うな時間的に連続な2枚の画像間で、図3(c)に矢印
で示すような動きがある時、2枚の画像間の類似した動
ベクトルを統合し、移動物体の領域を検出しようとする
ものである。
うな時間的に連続な2枚の画像間で、図3(c)に矢印
で示すような動きがある時、2枚の画像間の類似した動
ベクトルを統合し、移動物体の領域を検出しようとする
ものである。
【0005】画像上に分布している動ベクトルを統合す
る技術を利用した装置としては、図1に示すように、フ
レームメモリ1−1、フレームメモリ1−2、動ベクト
ル検出装置2、および領域統合装置4からなる装置があ
り、この装置は、例えば、特開平2−118884号公
報、特開平3−24675号公報、特開平4−1482
83号公報等に示されている。
る技術を利用した装置としては、図1に示すように、フ
レームメモリ1−1、フレームメモリ1−2、動ベクト
ル検出装置2、および領域統合装置4からなる装置があ
り、この装置は、例えば、特開平2−118884号公
報、特開平3−24675号公報、特開平4−1482
83号公報等に示されている。
【0006】しかし、一般に実画像上で動ベクトルを計
算した場合、図3(d)に示すように、それぞれの位置
の画像濃度パターンによっては正しい動ベクトルが検出
できないことがあるので、全ての位置で正しい動ベクト
ルを求めることはできない。このため、得られた動ベク
トルをそのまま統合するだけでは、誤った動ベクトルの
影響で、正しく移動物体領域を取り出すことができな
い、という問題がある。なお、図3(d)において、矢
印は動ベクトルを示し、・は大きさ0の動ベクトルを示
す。
算した場合、図3(d)に示すように、それぞれの位置
の画像濃度パターンによっては正しい動ベクトルが検出
できないことがあるので、全ての位置で正しい動ベクト
ルを求めることはできない。このため、得られた動ベク
トルをそのまま統合するだけでは、誤った動ベクトルの
影響で、正しく移動物体領域を取り出すことができな
い、という問題がある。なお、図3(d)において、矢
印は動ベクトルを示し、・は大きさ0の動ベクトルを示
す。
【0007】一方、画面全体の動ベクトル分布と同時に
その動ベクトルの信頼性を計算する方法を利用した装置
としては、図2に示すように、フレームメモリ1−1、
フレームメモリ1−2、動ベクトル検出装置2、および
信頼度検出装置3からなる装置があり、この装置は、例
えば、特開平3−48372号公報、特開平4−262
83号公報等に示されている。
その動ベクトルの信頼性を計算する方法を利用した装置
としては、図2に示すように、フレームメモリ1−1、
フレームメモリ1−2、動ベクトル検出装置2、および
信頼度検出装置3からなる装置があり、この装置は、例
えば、特開平3−48372号公報、特開平4−262
83号公報等に示されている。
【0008】この信頼度は個々の動ベクトルの正しさの
指標を表しているが、従来の技術では隣接する動ベクト
ル相互の位置関係の考慮がなされていないので、画像全
体を理解するためには不適切である。
指標を表しているが、従来の技術では隣接する動ベクト
ル相互の位置関係の考慮がなされていないので、画像全
体を理解するためには不適切である。
【0009】そこで、動ベクトルの統合による画像の領
域統合を行うに当たって、上記信頼度を利用して、求め
られた動ベクトルの信頼度とある閾値とを比較し、その
信頼度が閾値を越えた動ベクトルのみを用いて領域統合
を行うという方法が考えられる。しかし、正しい動ベク
トルと誤った動ベクトルとが持つ信頼度分布が、必ずし
も一つの閾値で区切られるわけではないので、誤った動
ベクトルがほとんど領域統合に使用されないように閾値
を高くした場合には、図4(a)に示すように、隣接関
係を調べることができないほど少数の動ベクトルしか閾
値を越えないことになる。一方、正しい動ベクトルが切
り捨てられることがないように閾値を低くした場合に
は、図4(b)に示すように、誤った動ベクトルも多数
閾値を越え、領域統合結果にも図4(c)のように多数
の誤った領域が検出されて信頼度を導入した効果が得ら
れなくなる、等の問題が生じる。
域統合を行うに当たって、上記信頼度を利用して、求め
られた動ベクトルの信頼度とある閾値とを比較し、その
信頼度が閾値を越えた動ベクトルのみを用いて領域統合
を行うという方法が考えられる。しかし、正しい動ベク
トルと誤った動ベクトルとが持つ信頼度分布が、必ずし
も一つの閾値で区切られるわけではないので、誤った動
ベクトルがほとんど領域統合に使用されないように閾値
を高くした場合には、図4(a)に示すように、隣接関
係を調べることができないほど少数の動ベクトルしか閾
値を越えないことになる。一方、正しい動ベクトルが切
り捨てられることがないように閾値を低くした場合に
は、図4(b)に示すように、誤った動ベクトルも多数
閾値を越え、領域統合結果にも図4(c)のように多数
の誤った領域が検出されて信頼度を導入した効果が得ら
れなくなる、等の問題が生じる。
【0010】本発明は上記問題点を解消するためになさ
れたもので、画面上で求めた誤差を含んだ動ベクトルが
多い動ベクトル分布に基づき、信頼性が高い動ベクトル
および信頼性がある程度高い動ベクトル相互の位置関係
を考慮して、画像上の移動物体を正確に検出することが
できる移動物体検出装置を提供することを目的とする。
れたもので、画面上で求めた誤差を含んだ動ベクトルが
多い動ベクトル分布に基づき、信頼性が高い動ベクトル
および信頼性がある程度高い動ベクトル相互の位置関係
を考慮して、画像上の移動物体を正確に検出することが
できる移動物体検出装置を提供することを目的とする。
【0011】
【課題を解決するための手段】上記目的を達成するため
に請求項1の発明は、図5に示すように、所定時刻の画
像と所定時刻より単位時間前の画像とから画面上の動ベ
クトルの分布および該動ベクトルに対する信頼度の分布
を検出する動ベクトル・信頼度検出手段Aと、前記検出
された信頼度の分布に基づいて信頼度が予め設定した第
1の閾値より高い動ベクトルを初期動ベクトルとして抽
出する初期動ベクトル抽出手段Bと、前記検出された信
頼度の分布に基づいて信頼度が予め前記第1の閾値より
小さい値に設定した第2の閾値より低い動ベクトルを除
去して信頼度が第2の閾値以上の動ベクトルを出力する
ベクトル除去手段Cと、前記初期動ベクトルを備えた位
置の周辺の領域を検索することにより、前記初期動ベク
トルと同一または類似した動ベクトルをベクトル除去手
段より出力された動ベクトルの中から抽出し、抽出した
動ベクトルを備えた位置を統合して領域を求める領域統
合手段Dと、を含んで構成したものである。
に請求項1の発明は、図5に示すように、所定時刻の画
像と所定時刻より単位時間前の画像とから画面上の動ベ
クトルの分布および該動ベクトルに対する信頼度の分布
を検出する動ベクトル・信頼度検出手段Aと、前記検出
された信頼度の分布に基づいて信頼度が予め設定した第
1の閾値より高い動ベクトルを初期動ベクトルとして抽
出する初期動ベクトル抽出手段Bと、前記検出された信
頼度の分布に基づいて信頼度が予め前記第1の閾値より
小さい値に設定した第2の閾値より低い動ベクトルを除
去して信頼度が第2の閾値以上の動ベクトルを出力する
ベクトル除去手段Cと、前記初期動ベクトルを備えた位
置の周辺の領域を検索することにより、前記初期動ベク
トルと同一または類似した動ベクトルをベクトル除去手
段より出力された動ベクトルの中から抽出し、抽出した
動ベクトルを備えた位置を統合して領域を求める領域統
合手段Dと、を含んで構成したものである。
【0012】
【作用】請求項1の発明の作用について説明する。検出
された画面上の動ベクトルは、通常、ノイズ、誤差等を
含んでいるが、この動ベクトルの信頼性を表す信頼度を
検出することは可能である。そこで、請求項1の発明の
動ベクトル・信頼度検出手段Aでは、所定時刻の画像と
所定時刻より単位時間前の画像とから画面上の動ベクト
ルの分布およびこの動ベクトルに対する信頼度の分布を
検出する。
された画面上の動ベクトルは、通常、ノイズ、誤差等を
含んでいるが、この動ベクトルの信頼性を表す信頼度を
検出することは可能である。そこで、請求項1の発明の
動ベクトル・信頼度検出手段Aでは、所定時刻の画像と
所定時刻より単位時間前の画像とから画面上の動ベクト
ルの分布およびこの動ベクトルに対する信頼度の分布を
検出する。
【0013】動ベクトルの分布を検出する方法として
は、画像を多数の小領域に分割し、小領域毎の相関演算
によって、複数画像間の対応関係を演算する方法があ
る。この方法では、対応を演算する過程で、最大相関
値、最大相関値付近の相関値分布の勾配、最大相関値と
2番目に高い値を持つ相関値とのピークの差、または割
合、等を演算することで、この動ベクトルの信頼度を評
価できる。
は、画像を多数の小領域に分割し、小領域毎の相関演算
によって、複数画像間の対応関係を演算する方法があ
る。この方法では、対応を演算する過程で、最大相関
値、最大相関値付近の相関値分布の勾配、最大相関値と
2番目に高い値を持つ相関値とのピークの差、または割
合、等を演算することで、この動ベクトルの信頼度を評
価できる。
【0014】初期動ベクトル抽出手段Bは、動ベクトル
・信頼度検出手段Aにより検出された信頼度の分布に基
づいて信頼度が予め設定した第1の閾値より高い動ベク
トルを初期動ベクトルとして抽出する。ベクトル除去手
段Cは、動ベクトル・信頼度検出手段Aにより検出され
た信頼度の分布に基づいて信頼度が予め第1の閾値より
小さい値に設定した第2の閾値より低い動ベクトル、す
なわち領域統合に用いるのに不適切な、信頼性の低い動
ベクトルを除去して、信頼度が第2の閾値以上の動ベク
トルを出力する。
・信頼度検出手段Aにより検出された信頼度の分布に基
づいて信頼度が予め設定した第1の閾値より高い動ベク
トルを初期動ベクトルとして抽出する。ベクトル除去手
段Cは、動ベクトル・信頼度検出手段Aにより検出され
た信頼度の分布に基づいて信頼度が予め第1の閾値より
小さい値に設定した第2の閾値より低い動ベクトル、す
なわち領域統合に用いるのに不適切な、信頼性の低い動
ベクトルを除去して、信頼度が第2の閾値以上の動ベク
トルを出力する。
【0015】領域統合手段Dは、初期動ベクトルを備え
た位置の周辺の領域を検索することにより、初期動ベク
トルと同一または類似した動ベクトルをベクトル除去手
段より出力された動ベクトルの中から抽出し、抽出した
動ベクトルを備えた位置を統合して領域を求める。領域
の統合は、画像中で物体の存在する領域は一塊の領域と
なって存在しており、また1つの物体の内部において検
出される動ベクトルは隣接するもの同士では少なくとも
それらの方向、すなわち方向、または方向および大きさ
が同一または類似したものになる、という知識に基づく
ものである。すなわち、信頼性の高い動ベクトルの周囲
で、信頼性の高い動ベクトルと同一または類似した動ベ
クトルがあれば、ある程度信頼性が低いと判断された動
ベクトルであっても正しいものと判断して同じ領域に属
するものとして統合するものである。動ベクトルが同一
または類似か否かは、動ベクトルの方向、または方向及
び大きさを判定することにより判断することができる。
た位置の周辺の領域を検索することにより、初期動ベク
トルと同一または類似した動ベクトルをベクトル除去手
段より出力された動ベクトルの中から抽出し、抽出した
動ベクトルを備えた位置を統合して領域を求める。領域
の統合は、画像中で物体の存在する領域は一塊の領域と
なって存在しており、また1つの物体の内部において検
出される動ベクトルは隣接するもの同士では少なくとも
それらの方向、すなわち方向、または方向および大きさ
が同一または類似したものになる、という知識に基づく
ものである。すなわち、信頼性の高い動ベクトルの周囲
で、信頼性の高い動ベクトルと同一または類似した動ベ
クトルがあれば、ある程度信頼性が低いと判断された動
ベクトルであっても正しいものと判断して同じ領域に属
するものとして統合するものである。動ベクトルが同一
または類似か否かは、動ベクトルの方向、または方向及
び大きさを判定することにより判断することができる。
【0016】このように、請求項1の発明では、信頼性
の高い初期動ベクトルの周辺を探索し、信頼性の高い初
期動ベクトルの近くに分布している、信頼性の高い初期
動ベクトルと同一または類似した、ある程度信頼性の低
い動ベクトルを含めて領域統合を行っているので、ノイ
ズ、誤差を含む動ベクトル分布から、信頼性の高い動ベ
クトルを含む移動物体領域を選択し、検出することがで
きる。一方、動ベクトルおよび信頼度検出過程におい
て、十分高い信頼度が得られなかったが、実際には正し
いベクトルを表していると考えられる信頼度が中程度の
動ベクトルをも統合に加えることができるので、移動物
体領域の形状が大きく欠落したり、誤った領域を多数検
出したりすることが少なくなり、従来手法に比べて移動
物体の存在する領域を正しく推定できる。
の高い初期動ベクトルの周辺を探索し、信頼性の高い初
期動ベクトルの近くに分布している、信頼性の高い初期
動ベクトルと同一または類似した、ある程度信頼性の低
い動ベクトルを含めて領域統合を行っているので、ノイ
ズ、誤差を含む動ベクトル分布から、信頼性の高い動ベ
クトルを含む移動物体領域を選択し、検出することがで
きる。一方、動ベクトルおよび信頼度検出過程におい
て、十分高い信頼度が得られなかったが、実際には正し
いベクトルを表していると考えられる信頼度が中程度の
動ベクトルをも統合に加えることができるので、移動物
体領域の形状が大きく欠落したり、誤った領域を多数検
出したりすることが少なくなり、従来手法に比べて移動
物体の存在する領域を正しく推定できる。
【0017】
【その他の発明の説明】請求項1の発明において画像を
検出するカメラが静止していれば、画面上の静止物体領
域と移動物体領域とを分離することは比較的容易である
が、カメラ自身が運動している時は、静止物体の占める
領域にもカメラ運動による動ベクトルが生じるので、こ
れを分離することが困難になる等の問題が生じる。
検出するカメラが静止していれば、画面上の静止物体領
域と移動物体領域とを分離することは比較的容易である
が、カメラ自身が運動している時は、静止物体の占める
領域にもカメラ運動による動ベクトルが生じるので、こ
れを分離することが困難になる等の問題が生じる。
【0018】そこで、その他の発明の第1の発明は、図
6に示すように、請求項1の発明に、カメラの並進速度
を検出する並進速度検出手段Eと、検出された並進速度
からカメラの並進運動によって生じた動ベクトルを検出
する動ベクトル検出手段Fと、動ベクトル・信頼度検出
手段Aにより検出された動ベクトルとカメラの並進運動
によって生じた動ベクトルとを比較して移動状態を判断
する移動状態判別手段Gと、を更に設け、領域統合手段
Dにおいて移動状態判別手段Gの検出結果を用いてカメ
ラの並進運動とは独立して移動している移動物体領域を
静止物体の領域から分離して領域統合するものである。
6に示すように、請求項1の発明に、カメラの並進速度
を検出する並進速度検出手段Eと、検出された並進速度
からカメラの並進運動によって生じた動ベクトルを検出
する動ベクトル検出手段Fと、動ベクトル・信頼度検出
手段Aにより検出された動ベクトルとカメラの並進運動
によって生じた動ベクトルとを比較して移動状態を判断
する移動状態判別手段Gと、を更に設け、領域統合手段
Dにおいて移動状態判別手段Gの検出結果を用いてカメ
ラの並進運動とは独立して移動している移動物体領域を
静止物体の領域から分離して領域統合するものである。
【0019】第1の発明は、カメラが並進運動している
ときには、画面上の静止物体はカメラの並進速度の方向
と対応した方向で、かつ並進速度の大きさに対応した大
きさの動ベクトルを持つことを利用して、静止物体が存
在した場合に発生する動ベクトル、すなわち、カメラの
並進運動によって生じてた動ベクトルを検出し、この動
ベクトルと動ベクトル・信頼度検出手段Aによって検出
された動ベクトルとを照合すること等によって移動状態
を判断することによって、本来は静止している物体上の
動ベクトルを検知し、カメラの並進運動とは独立した運
動をしている移動物体領域を、カメラの並進運動によっ
て生じた動ベクトルによって構成される静止物体の領域
から分離するものである。
ときには、画面上の静止物体はカメラの並進速度の方向
と対応した方向で、かつ並進速度の大きさに対応した大
きさの動ベクトルを持つことを利用して、静止物体が存
在した場合に発生する動ベクトル、すなわち、カメラの
並進運動によって生じてた動ベクトルを検出し、この動
ベクトルと動ベクトル・信頼度検出手段Aによって検出
された動ベクトルとを照合すること等によって移動状態
を判断することによって、本来は静止している物体上の
動ベクトルを検知し、カメラの並進運動とは独立した運
動をしている移動物体領域を、カメラの並進運動によっ
て生じた動ベクトルによって構成される静止物体の領域
から分離するものである。
【0020】これによって、請求項1の発明の場合に加
えてカメラが並進運動している場合でも、カメラの並進
運動とは独立した運動をしている移動物体を、カメラの
並進運動によって動ベクトルが生じる領域から分離して
検出することができる。
えてカメラが並進運動している場合でも、カメラの並進
運動とは独立した運動をしている移動物体を、カメラの
並進運動によって動ベクトルが生じる領域から分離して
検出することができる。
【0021】第1の発明では、カメラの並進速度は、動
ベクトル・信頼度検出手段Aにより検出された動ベクト
ルから並進運動成分を検出することによって検出しても
よく、カメラ等に取り付けた他のセンサにより検出して
もよい。また、動ベクトル・信頼度検出手段Aにより検
出された動ベクトルからカメラの並進運動によって生じ
た動ベクトルを除去した残りの動ベクトルによって移動
物体領域を統合してもよく、動ベクトル・信頼度検出手
段Aにより検出された動ベクトルの中のカメラの並進運
動によって生じている動ベクトルにラベルを付す等によ
って、静止物体の動ベクトルと移動物体の動ベクトルと
を区別し、静止物体の領域と移動物体領域とを分離して
統合してもよい。
ベクトル・信頼度検出手段Aにより検出された動ベクト
ルから並進運動成分を検出することによって検出しても
よく、カメラ等に取り付けた他のセンサにより検出して
もよい。また、動ベクトル・信頼度検出手段Aにより検
出された動ベクトルからカメラの並進運動によって生じ
た動ベクトルを除去した残りの動ベクトルによって移動
物体領域を統合してもよく、動ベクトル・信頼度検出手
段Aにより検出された動ベクトルの中のカメラの並進運
動によって生じている動ベクトルにラベルを付す等によ
って、静止物体の動ベクトルと移動物体の動ベクトルと
を区別し、静止物体の領域と移動物体領域とを分離して
統合してもよい。
【0022】第2の発明は、図7に示すように、請求項
1の発明に、カメラの回転速度を検出する回転速度検出
手段Hと、検出された回転速度からカメラの回転運動に
よって生じた動ベクトルを検出する動ベクトル検出手段
Iと、カメラの回転運動によって生じた動ベクトルを用
いてカメラの回転運動による成分が無くなるように、動
ベクトル・信頼度検出手段Aにより検出された動ベクト
ルを補正する補正手段Jと、を更に設け、初期動ベクト
ル抽出手段B、ベクトル除去手段Cおよび領域統合手段
Dにおいて、この補正された動ベクトルを用いて領域統
合するものである。
1の発明に、カメラの回転速度を検出する回転速度検出
手段Hと、検出された回転速度からカメラの回転運動に
よって生じた動ベクトルを検出する動ベクトル検出手段
Iと、カメラの回転運動によって生じた動ベクトルを用
いてカメラの回転運動による成分が無くなるように、動
ベクトル・信頼度検出手段Aにより検出された動ベクト
ルを補正する補正手段Jと、を更に設け、初期動ベクト
ル抽出手段B、ベクトル除去手段Cおよび領域統合手段
Dにおいて、この補正された動ベクトルを用いて領域統
合するものである。
【0023】本発明は、上記構成により、画像全体の動
ベクトルに一定の回転運動成分が加わったことを検出
し、一定の回転運動成分が検出された場合には、それを
補正するようにしている。
ベクトルに一定の回転運動成分が加わったことを検出
し、一定の回転運動成分が検出された場合には、それを
補正するようにしている。
【0024】これによって、請求項1の発明の場合に加
えて、カメラが回転運動をした場合でも、それによって
各動ベクトルに加わるカメラ回転運動成分を補正し、移
動物体の領域を正しく検出できる。
えて、カメラが回転運動をした場合でも、それによって
各動ベクトルに加わるカメラ回転運動成分を補正し、移
動物体の領域を正しく検出できる。
【0025】なお、カメラの回転速度は、動ベクトル・
信頼度検出手段Aにより検出された動ベクトルの縦成分
および横成分から回転運動成分を検出することによって
検出してもよく、カメラ等に取り付けた他のセンサによ
り検出してもよい。また、補正手段Jは、初期動ベクト
ル抽出手段Bおよびベクトル除去手段Cの後段に設け、
抽出された初期動ベクトルおよびベクトル除去手段Cか
ら出力された動ベクトルの各々に対して、カメラの回転
運動による成分が無くなるように補正してもよい。この
場合には、ベクトル除去手段Cによって除去された信頼
度が低い動ベクトルに対して補正をしなくても良くなる
ので、処理が速やかになる。
信頼度検出手段Aにより検出された動ベクトルの縦成分
および横成分から回転運動成分を検出することによって
検出してもよく、カメラ等に取り付けた他のセンサによ
り検出してもよい。また、補正手段Jは、初期動ベクト
ル抽出手段Bおよびベクトル除去手段Cの後段に設け、
抽出された初期動ベクトルおよびベクトル除去手段Cか
ら出力された動ベクトルの各々に対して、カメラの回転
運動による成分が無くなるように補正してもよい。この
場合には、ベクトル除去手段Cによって除去された信頼
度が低い動ベクトルに対して補正をしなくても良くなる
ので、処理が速やかになる。
【0026】そして、第3の発明は、請求項1の発明に
第1の発明と第2の発明とを加えたものであり、図8に
示すように、カメラの並進速度を検出する並進速度検出
手段Eと、検出された並進速度からカメラの並進運動に
よって生じた動ベクトルを検出する動ベクトル検出手段
Fと、動ベクトル・信頼度検出手段Aにより検出された
動ベクトルとカメラの並進運動によって生じた動ベクト
ルとから静止物体の動ベクトルを検出する移動状態判別
手段Gと、カメラの回転速度を検出する回転速度検出手
段Hと、検出された回転速度からカメラの回転運動によ
って生じた動ベクトルを検出する動ベクトル検出手段I
と、カメラの回転運動によって生じた動ベクトルを用い
てカメラの回転運動による成分が無くなるように、動ベ
クトル・信頼度検出手段Aにより検出された動ベクトル
を補正する補正手段Jと、を更に設け、初期動ベクトル
抽出手段B、ベクトル除去手段Cおよび領域統合手段D
において、このカメラの回転運動による影響が補正され
た動ベクトルを用いてカメラの並進運動と独立して移動
している移動物体領域を静止物体の領域から分離して領
域統合するものである。
第1の発明と第2の発明とを加えたものであり、図8に
示すように、カメラの並進速度を検出する並進速度検出
手段Eと、検出された並進速度からカメラの並進運動に
よって生じた動ベクトルを検出する動ベクトル検出手段
Fと、動ベクトル・信頼度検出手段Aにより検出された
動ベクトルとカメラの並進運動によって生じた動ベクト
ルとから静止物体の動ベクトルを検出する移動状態判別
手段Gと、カメラの回転速度を検出する回転速度検出手
段Hと、検出された回転速度からカメラの回転運動によ
って生じた動ベクトルを検出する動ベクトル検出手段I
と、カメラの回転運動によって生じた動ベクトルを用い
てカメラの回転運動による成分が無くなるように、動ベ
クトル・信頼度検出手段Aにより検出された動ベクトル
を補正する補正手段Jと、を更に設け、初期動ベクトル
抽出手段B、ベクトル除去手段Cおよび領域統合手段D
において、このカメラの回転運動による影響が補正され
た動ベクトルを用いてカメラの並進運動と独立して移動
している移動物体領域を静止物体の領域から分離して領
域統合するものである。
【0027】本第3の発明によれば、請求項1の発明の
場合に加えて、カメラが並進運動している場合であって
も、カメラの並進運動とは独立した運動をしている移動
物体を検出することができ、さらに、カメラが回転運動
をした場合でも、移動物体の領域を正しく検出できるの
で、移動物体領域をより正確に検出することができる、
という効果が得られる。
場合に加えて、カメラが並進運動している場合であって
も、カメラの並進運動とは独立した運動をしている移動
物体を検出することができ、さらに、カメラが回転運動
をした場合でも、移動物体の領域を正しく検出できるの
で、移動物体領域をより正確に検出することができる、
という効果が得られる。
【0028】
【実施例】以下図面を参照して本発明の実施例を詳細に
説明する。第1の実施例は請求項1の発明を適用したも
のである。
説明する。第1の実施例は請求項1の発明を適用したも
のである。
【0029】図9に示すように、第1実施例の移動物体
検出装置は、原画像、すなわちある時刻の画像aのデー
タを記憶するためのフレームメモリ10、画像aより単
位時間前(1時刻前)の画像bのデータを記憶するため
のフレームメモリ12を備えている。フレームメモリ1
0、12は、相関値を演算するための相関値検出装置1
4に接続されている。相関値検出装置14は、画像a、
bの間の動ベクトルを検出する動ベクトル検出装置1
6、および動ベクトル検出装置16により検出される動
ベクトル各々の信頼性を示す値(信頼度)を検出する信
頼度検出装置18に接続されている。
検出装置は、原画像、すなわちある時刻の画像aのデー
タを記憶するためのフレームメモリ10、画像aより単
位時間前(1時刻前)の画像bのデータを記憶するため
のフレームメモリ12を備えている。フレームメモリ1
0、12は、相関値を演算するための相関値検出装置1
4に接続されている。相関値検出装置14は、画像a、
bの間の動ベクトルを検出する動ベクトル検出装置1
6、および動ベクトル検出装置16により検出される動
ベクトル各々の信頼性を示す値(信頼度)を検出する信
頼度検出装置18に接続されている。
【0030】動ベクトル検出装置16および信頼度検出
装置18は、各々、信頼度と予め設定した第1の閾値と
を比較して動ベクトル検出装置16により検出された動
ベクトルのうち、高い信頼度を有する動ベクトル(初期
動ベクトルに対応する)を検出して出力する高信頼度動
ベクトル判定装置22、および信頼度と予め設定した第
2の閾値(<第1の閾値)とを比較して動ベクトル検出
装置16により検出された動ベクトルのうち、非常に低
い信頼度を有する動ベクトルを判定し、領域統合の対象
としない動ベクトルを除去して、信頼度が高い動ベクト
ルおよび信頼度が中間の動ベクトルを出力する低信頼度
動ベクトル判定装置20に接続されている。低信頼度動
ベクトル判定装置20および高信頼度動ベクトル判定装
置22は、低信頼度動ベクトル判定装置20より出力さ
れた動ベクトルおよび高信頼度動ベクトル判定装置22
により検出された高信頼度動ベクトルの情報に基づいて
領域統合を行う領域統合装置24を介して、領域統合装
置24により検出された領域群から移動物体領域を検出
する移動物体領域検出装置26に接続されている。
装置18は、各々、信頼度と予め設定した第1の閾値と
を比較して動ベクトル検出装置16により検出された動
ベクトルのうち、高い信頼度を有する動ベクトル(初期
動ベクトルに対応する)を検出して出力する高信頼度動
ベクトル判定装置22、および信頼度と予め設定した第
2の閾値(<第1の閾値)とを比較して動ベクトル検出
装置16により検出された動ベクトルのうち、非常に低
い信頼度を有する動ベクトルを判定し、領域統合の対象
としない動ベクトルを除去して、信頼度が高い動ベクト
ルおよび信頼度が中間の動ベクトルを出力する低信頼度
動ベクトル判定装置20に接続されている。低信頼度動
ベクトル判定装置20および高信頼度動ベクトル判定装
置22は、低信頼度動ベクトル判定装置20より出力さ
れた動ベクトルおよび高信頼度動ベクトル判定装置22
により検出された高信頼度動ベクトルの情報に基づいて
領域統合を行う領域統合装置24を介して、領域統合装
置24により検出された領域群から移動物体領域を検出
する移動物体領域検出装置26に接続されている。
【0031】以上のように構成された、第1実施例の移
動物体検出装置の作用について説明する。フレームメモ
リ10およびフレームメモリ12には、ある時刻の画像
aと1時刻前の画像bとの時間的に連続した2枚の画像
データが入力される。相関値検出装置14は領域ベース
の相関法を用いて相関値を演算し、動ベクトル検出装置
16および信頼度検出装置18は相関値検出装置14で
演算された相関値から動ベクトルの分布およびその動ベ
クトルの信頼度の分布の検出を行う。
動物体検出装置の作用について説明する。フレームメモ
リ10およびフレームメモリ12には、ある時刻の画像
aと1時刻前の画像bとの時間的に連続した2枚の画像
データが入力される。相関値検出装置14は領域ベース
の相関法を用いて相関値を演算し、動ベクトル検出装置
16および信頼度検出装置18は相関値検出装置14で
演算された相関値から動ベクトルの分布およびその動ベ
クトルの信頼度の分布の検出を行う。
【0032】すなわち、図10(b)に示すように、図
10(a)に示す原画像の画面を格子状に分割し、格子
が区切るそれぞれの桝目を動ベクトルおよび信頼度の検
出を行う単位小領域とし、それぞれの小領域を注目領域
として、1時刻前の画像bに対し1時刻後の画像aの同
じ位置を中心としてその周辺との相関演算を行う。図1
1(a)における1時刻前の画像bのRは動ベクトルの
検出を行う小領域、すなわち注目領域を示し、Sは小領
域Rと最も相関の高い小領域を探索する探索領域であ
る。各領域の大きさは、例えばSは16画素×16画
素、Rは8画素×8画素に選ぶことができる。
10(a)に示す原画像の画面を格子状に分割し、格子
が区切るそれぞれの桝目を動ベクトルおよび信頼度の検
出を行う単位小領域とし、それぞれの小領域を注目領域
として、1時刻前の画像bに対し1時刻後の画像aの同
じ位置を中心としてその周辺との相関演算を行う。図1
1(a)における1時刻前の画像bのRは動ベクトルの
検出を行う小領域、すなわち注目領域を示し、Sは小領
域Rと最も相関の高い小領域を探索する探索領域であ
る。各領域の大きさは、例えばSは16画素×16画
素、Rは8画素×8画素に選ぶことができる。
【0033】この相関演算では、画像a上の注目領域
を、画像のx方向、y方向にそれぞれ(i,j)(ただ
し、imin <i<imax,jmin <j<jmax)だけ変位
し、変位前の画像b上の探索領域内の画像濃淡値と変位
後の画像aの探索領域内の画像濃淡値との差分の絶対値
和を相関値として検出する。この相関値C(i,j)は
以下の(1)式で表される。
を、画像のx方向、y方向にそれぞれ(i,j)(ただ
し、imin <i<imax,jmin <j<jmax)だけ変位
し、変位前の画像b上の探索領域内の画像濃淡値と変位
後の画像aの探索領域内の画像濃淡値との差分の絶対値
和を相関値として検出する。この相関値C(i,j)は
以下の(1)式で表される。
【0034】
【数1】
【0035】ただし、(xc −ωx /2) <x<(xc
+ωx /2),(yc −ωy /2)<y<(yc +ωy
/2)である。ここで、It (x,y),Is (x,
y)はそれぞれ画像a,画像bの座標(x,y)におけ
る濃淡値、Is (x+i,y+j)はx方向、y方向に
それぞれ(i,j)だけ変位させた後の濃淡値、xc,
ycはそれぞれ動ベクトルを検出する注目領域の中心座
標、ωx ,ωy は注目領域の大きさ(画素)である。
+ωx /2),(yc −ωy /2)<y<(yc +ωy
/2)である。ここで、It (x,y),Is (x,
y)はそれぞれ画像a,画像bの座標(x,y)におけ
る濃淡値、Is (x+i,y+j)はx方向、y方向に
それぞれ(i,j)だけ変位させた後の濃淡値、xc,
ycはそれぞれ動ベクトルを検出する注目領域の中心座
標、ωx ,ωy は注目領域の大きさ(画素)である。
【0036】動ベクトル検出装置16では、相関値C
(i,j)の最小値を与える変位量(i,j)を演算
し、その変位量(i,j)をその小領域の動ベクトルと
する。
(i,j)の最小値を与える変位量(i,j)を演算
し、その変位量(i,j)をその小領域の動ベクトルと
する。
【0037】信頼度検出装置18では、次の(2)式に
示すように、相関値の最小値C(i,j)min と、最小
値の次に小さい相関値C(i’,j’)との差を演算
し、この差をこの動ベクトルの信頼度R(i,j)とす
る。
示すように、相関値の最小値C(i,j)min と、最小
値の次に小さい相関値C(i’,j’)との差を演算
し、この差をこの動ベクトルの信頼度R(i,j)とす
る。
【0038】 R(i,j)=C(i’,j’)−C(i,j)min ・・・(2) 図11(b)における小領域sは小領域Rと最も相関の
高い小領域すなわち式(1)が最小値となる位置を表し
ている。
高い小領域すなわち式(1)が最小値となる位置を表し
ている。
【0039】次に、高信頼度動ベクトル判定装置22で
は、各々の動ベクトルの信頼度を予め設定した第1の閾
値と比較し、信頼度が非常に高い動ベクトルを判定し、
すなわち、領域統合を行う際に、各領域の核となるよう
な、極めて信頼度が高い動ベクトルを検出し、検出した
動ベクトルを出力する。
は、各々の動ベクトルの信頼度を予め設定した第1の閾
値と比較し、信頼度が非常に高い動ベクトルを判定し、
すなわち、領域統合を行う際に、各領域の核となるよう
な、極めて信頼度が高い動ベクトルを検出し、検出した
動ベクトルを出力する。
【0040】低信頼度動ベクトル判定装置20では、各
々の動ベクトルの信頼度を予め設定した第2の閾値と比
較し、信頼度が非常に低く、領域統合に用いる動ベクト
ルとして適さない動ベクトルを判定し、領域統合装置2
4の入力となる動ベクトル群から除去して残りの動ベク
トルを出力する。
々の動ベクトルの信頼度を予め設定した第2の閾値と比
較し、信頼度が非常に低く、領域統合に用いる動ベクト
ルとして適さない動ベクトルを判定し、領域統合装置2
4の入力となる動ベクトル群から除去して残りの動ベク
トルを出力する。
【0041】図12(c)に信頼度が非常に高い動ベク
トルの小領域、信頼度が非常に低い動ベクトルの小領域
および信頼度が中間の動ベクトルの小領域を示す。
トルの小領域、信頼度が非常に低い動ベクトルの小領域
および信頼度が中間の動ベクトルの小領域を示す。
【0042】領域統合装置24では、高信頼度動ベクト
ル判定装置22により判定された極めて信頼度が高い動
ベクトルの周辺を、領域の核となる信頼度が極めて高い
動ベクトルを始点として連続的に4近傍の小領域を探索
し、核となる動ベクトルと方向および大きさが同一また
は類似していると判定される動ベクトルを、核となる動
ベクトルと同じ領域を形成するものとして統合する。こ
の結果、信頼度が極めて高い動ベクトルから見て、4近
傍接続で連続的につながっている範囲に存在する信頼度
は極めて高くないが極めて信頼度が高い動ベクトルと同
じ動きをしていると考えられる領域が同一領域として統
合される。
ル判定装置22により判定された極めて信頼度が高い動
ベクトルの周辺を、領域の核となる信頼度が極めて高い
動ベクトルを始点として連続的に4近傍の小領域を探索
し、核となる動ベクトルと方向および大きさが同一また
は類似していると判定される動ベクトルを、核となる動
ベクトルと同じ領域を形成するものとして統合する。こ
の結果、信頼度が極めて高い動ベクトルから見て、4近
傍接続で連続的につながっている範囲に存在する信頼度
は極めて高くないが極めて信頼度が高い動ベクトルと同
じ動きをしていると考えられる領域が同一領域として統
合される。
【0043】動ベクトルの方向および大きさの類似性の
判定は、例えば、方向については基準となる動ベクトル
の角度(方向)と比較する動ベクトルの角度との差をと
り、この差が予め与えた差の閾値より小さいとき、ま
た、大きさについてはカメラ運動の有無やその小領域上
の画像上での位置を考慮して3次元的にその動ベクトル
の大きさを表す動きの大きさを判断し、基準となる動ベ
クトルの動きの大きさと比較する動ベクトルの動きの大
きさとの差をとり、この差が予め与えた差の閾値より小
さいとき、それぞれ類似していると判定する。なお、例
えば、焦点距離8mmの2/3インチCCDカメラによる
512×436の大きさの画像に対し1画素の精度で動
ベクトルを算出した場合には、上記角度の閾値は10°
程度、動きの大きさの閾値は10mとすることができ
る。これらの閾値は、画像の分解能や計算精度を向上さ
せることにより小さくすることができる。
判定は、例えば、方向については基準となる動ベクトル
の角度(方向)と比較する動ベクトルの角度との差をと
り、この差が予め与えた差の閾値より小さいとき、ま
た、大きさについてはカメラ運動の有無やその小領域上
の画像上での位置を考慮して3次元的にその動ベクトル
の大きさを表す動きの大きさを判断し、基準となる動ベ
クトルの動きの大きさと比較する動ベクトルの動きの大
きさとの差をとり、この差が予め与えた差の閾値より小
さいとき、それぞれ類似していると判定する。なお、例
えば、焦点距離8mmの2/3インチCCDカメラによる
512×436の大きさの画像に対し1画素の精度で動
ベクトルを算出した場合には、上記角度の閾値は10°
程度、動きの大きさの閾値は10mとすることができ
る。これらの閾値は、画像の分解能や計算精度を向上さ
せることにより小さくすることができる。
【0044】この領域統合装置24による統合の様子を
図12、図13、図17を参照して説明する。
図12、図13、図17を参照して説明する。
【0045】移動物体の実際の動きが図12(a)の矢
印で示すようであるとすると、動ベクトル検出装置16
で検出される動ベクトルのは図12(b)に示すよう
に、ノイズや誤差を含んだものとなる。信頼度検出装置
18で検出される信頼度の分布は図12(c)に示すよ
うになり、信頼度が非常に低い動ベクトルは上記低信頼
度動ベクトル判定装置20によって除去され、信頼度が
非常に高い動ベクトルは高信頼度動ベクトル判定装置2
2によって検出され、信頼度が非常に高い動ベクトルを
有する小領域が図13(a)に示すようにまばらに求め
られる。
印で示すようであるとすると、動ベクトル検出装置16
で検出される動ベクトルのは図12(b)に示すよう
に、ノイズや誤差を含んだものとなる。信頼度検出装置
18で検出される信頼度の分布は図12(c)に示すよ
うになり、信頼度が非常に低い動ベクトルは上記低信頼
度動ベクトル判定装置20によって除去され、信頼度が
非常に高い動ベクトルは高信頼度動ベクトル判定装置2
2によって検出され、信頼度が非常に高い動ベクトルを
有する小領域が図13(a)に示すようにまばらに求め
られる。
【0046】このように求められた高信頼度の動ベクト
ルを有する小領域(図17(a)に示す1の小領域)の
4近傍の小領域を探索し(図17(a))、その中心の
動ベクトルと方向および大きさが同一または類似の動ベ
クトルがあれば、それを同一領域に属するものとして統
合し(図17(b),(c))、順次、統合された動ベ
クトルが図17(c)に示す2の小領域)の4近傍の小
領域の有する動ベクトルが図17(a)に示す1の小領
域の信頼度が非常に高い動ベクトルと方向および大きさ
が同一または類似であれば、同じ領域を形成するものと
して統合する(図17(d),(e))。この手順を統
合された全ての動ベクトルの4近傍に図17(a)の1
の小領域が存在しなくなるまで繰り返す。
ルを有する小領域(図17(a)に示す1の小領域)の
4近傍の小領域を探索し(図17(a))、その中心の
動ベクトルと方向および大きさが同一または類似の動ベ
クトルがあれば、それを同一領域に属するものとして統
合し(図17(b),(c))、順次、統合された動ベ
クトルが図17(c)に示す2の小領域)の4近傍の小
領域の有する動ベクトルが図17(a)に示す1の小領
域の信頼度が非常に高い動ベクトルと方向および大きさ
が同一または類似であれば、同じ領域を形成するものと
して統合する(図17(d),(e))。この手順を統
合された全ての動ベクトルの4近傍に図17(a)の1
の小領域が存在しなくなるまで繰り返す。
【0047】このような手順で小領域を統合していく
と、図13(b)に示すように領域が統合されていき、
最終的に図13(c)に示すように領域が統合される。
なお、この信頼度が非常に低い動ベクトルは低信頼度動
ベクトル判定手段20で除去されているので、4近傍の
うち信頼度が非常に低い動ベクトルを有する小領域に関
しては始めから判定を行う必要はない。
と、図13(b)に示すように領域が統合されていき、
最終的に図13(c)に示すように領域が統合される。
なお、この信頼度が非常に低い動ベクトルは低信頼度動
ベクトル判定手段20で除去されているので、4近傍の
うち信頼度が非常に低い動ベクトルを有する小領域に関
しては始めから判定を行う必要はない。
【0048】移動物体領域検出装置26では、図13
(c)に示すように統合された各領域の動ベクトルの大
きさを判断し、大きさが0でない領域を移動物体領域と
して出力する。なお、このとき動ベクトルの方向も同時
に判断すれば移動物体領域の移動方向に関する情報も出
力できる。
(c)に示すように統合された各領域の動ベクトルの大
きさを判断し、大きさが0でない領域を移動物体領域と
して出力する。なお、このとき動ベクトルの方向も同時
に判断すれば移動物体領域の移動方向に関する情報も出
力できる。
【0049】以上のように本実施例によれば、画像上に
複数の移動物体が存在する場合でも、図13(c)に示
すように、それらの候補領域を正しく分割することがで
きる。
複数の移動物体が存在する場合でも、図13(c)に示
すように、それらの候補領域を正しく分割することがで
きる。
【0050】本実施例では、信頼度として相関値の最小
値と最小値の次に小さい値との差を用いたが、その他
に、最小値の次に小さい値に対する相関値の最小値の割
合、相関値の最小値の相関値分布の平均値からの突出度
等を用いてもよい。
値と最小値の次に小さい値との差を用いたが、その他
に、最小値の次に小さい値に対する相関値の最小値の割
合、相関値の最小値の相関値分布の平均値からの突出度
等を用いてもよい。
【0051】また、図10では、動ベクトルを求める小
領域を、互いに重ならないように定めたが、小領域を1
画素ずつ移動させて高い密度で動ベクトルを計算するこ
ともできる。2つの動ベクトルが類似しているかどうか
を判断する基準として、本実施例では動ベクトルの方向
および大きさを用いたが、動ベクトルの方向のみを用い
てもよく、またカメラの運動によって加わる成分を予測
または測定し、その成分との相違性を比較の基準に加え
ても良い。
領域を、互いに重ならないように定めたが、小領域を1
画素ずつ移動させて高い密度で動ベクトルを計算するこ
ともできる。2つの動ベクトルが類似しているかどうか
を判断する基準として、本実施例では動ベクトルの方向
および大きさを用いたが、動ベクトルの方向のみを用い
てもよく、またカメラの運動によって加わる成分を予測
または測定し、その成分との相違性を比較の基準に加え
ても良い。
【0052】次に本発明の第2の実施例における移動物
体検出装置を図14に示したブロック図を参照して説明
する。なお、図14において図9と対応する部分には同
一符号を付して説明を省略する。
体検出装置を図14に示したブロック図を参照して説明
する。なお、図14において図9と対応する部分には同
一符号を付して説明を省略する。
【0053】本実施例は第1実施例の高信頼度動ベクト
ル判定装置22に代えて、高信頼度領域検出装置28を
設けたものである。
ル判定装置22に代えて、高信頼度領域検出装置28を
設けたものである。
【0054】図14において、低信頼度動ベクトル判定
装置20は、第1実施例と同様に、各々の動ベクトルの
信頼度を予め設定した第2の閾値と比較し、信頼度が非
常に低く、領域統合に用いる動ベクトルとして適さない
動ベクトルを判定し、領域統合装置24の入力となる動
ベクトル群から除去して残りの動ベクトルを信頼度と共
に出力する。領域統合装置24は、低信頼度動ベクトル
判定装置20から出力された、非常に信頼度の低い動ベ
クトルを除いた動ベクトルの配列を走査することにより
領域を統合する。すなわち、画面の左より右へ、さらに
上より下へ順に走査し、注目領域の動ベクトルが、注目
領域の左側(すなわち1つ前)に位置している小領域の
動ベクトルと同一または類似しているかどうか、注目領
域の上側(すなわち1走査ライン前)に位置している小
領域の動ベクトルと同一または類似しているかどうかを
逐次判断し、動ベクトルが同一または類似の小領域が同
じ領域に含まれるように領域統合を行うことで、画面全
体の領域分割を行う。このとき、各小領域に対応してそ
の小領域に属する領域のラベルにあわせて各動ベクトル
の信頼度も記憶される。
装置20は、第1実施例と同様に、各々の動ベクトルの
信頼度を予め設定した第2の閾値と比較し、信頼度が非
常に低く、領域統合に用いる動ベクトルとして適さない
動ベクトルを判定し、領域統合装置24の入力となる動
ベクトル群から除去して残りの動ベクトルを信頼度と共
に出力する。領域統合装置24は、低信頼度動ベクトル
判定装置20から出力された、非常に信頼度の低い動ベ
クトルを除いた動ベクトルの配列を走査することにより
領域を統合する。すなわち、画面の左より右へ、さらに
上より下へ順に走査し、注目領域の動ベクトルが、注目
領域の左側(すなわち1つ前)に位置している小領域の
動ベクトルと同一または類似しているかどうか、注目領
域の上側(すなわち1走査ライン前)に位置している小
領域の動ベクトルと同一または類似しているかどうかを
逐次判断し、動ベクトルが同一または類似の小領域が同
じ領域に含まれるように領域統合を行うことで、画面全
体の領域分割を行う。このとき、各小領域に対応してそ
の小領域に属する領域のラベルにあわせて各動ベクトル
の信頼度も記憶される。
【0055】また、領域統合を行うとき図18(a)に
示すような領域のラベルを記憶する配列状のメモリのほ
かに、新しい領域が見つかる毎にチェーン構造のリスト
を追加し、動ベクトルの追加、既に上の行で形成さ
れていた領域とのマージ、マージを行った後の新しく
作りかけていた部分の領域のリストからの削除、を動的
に行うリストを保持し適宣更新を行う。
示すような領域のラベルを記憶する配列状のメモリのほ
かに、新しい領域が見つかる毎にチェーン構造のリスト
を追加し、動ベクトルの追加、既に上の行で形成さ
れていた領域とのマージ、マージを行った後の新しく
作りかけていた部分の領域のリストからの削除、を動的
に行うリストを保持し適宣更新を行う。
【0056】たとえば、図18(a)に示すようにvが
領域4に属すると判断され(状態1)、さらに領域3に
属する動ベクトルとも類似していると判断されたとき
(状態2)、領域4を領域3にマージし(状態3)、領
域4をリストから削除する(状態)。
領域4に属すると判断され(状態1)、さらに領域3に
属する動ベクトルとも類似していると判断されたとき
(状態2)、領域4を領域3にマージし(状態3)、領
域4をリストから削除する(状態)。
【0057】このとき、図18(a)に示すような、領
域のラベルの記憶領域には、領域のマージや消去が起こ
った時点で過去の位置のラベルを書き換えてもよいが、
別に領域4=領域3という関係を記憶しておき領域統合
終了時に修正を行ってもよい。
域のラベルの記憶領域には、領域のマージや消去が起こ
った時点で過去の位置のラベルを書き換えてもよいが、
別に領域4=領域3という関係を記憶しておき領域統合
終了時に修正を行ってもよい。
【0058】一方、図18(b)に示すような、領域統
合と同時に動ベクトルの追加、マージ、消去を動的に行
う現在までの領域のリストを作成し、適宣更新を行う。
合と同時に動ベクトルの追加、マージ、消去を動的に行
う現在までの領域のリストを作成し、適宣更新を行う。
【0059】なお、上記走査方向はこれに限らず、左右
逆であっても、または上下逆であってもよい。
逆であっても、または上下逆であってもよい。
【0060】本実施例では、小領域配列を1走査した時
点で領域分割が終了するので、統合に要する時間を短縮
することができるとともに、その時間が予測できる。
点で領域分割が終了するので、統合に要する時間を短縮
することができるとともに、その時間が予測できる。
【0061】高信頼度領域検出装置28は、領域統合装
置24により統合された領域群の中から信頼性の高い領
域のみを移動物体領域として選択する。すなわち、領域
統合装置24により統合された統合領域リストの領域群
各々を構成する動ベクトルの信頼度の分布状態を調べ、
各々の領域の信頼性を判定し、高信頼度領域を検出す
る。なお、領域統合装置24において統合した各領域毎
に領域内の動ベクトルの信頼度の平均値や最高値等を記
憶しておいて、高信頼度領域検出装置28において信頼
度の平均値等の大きさを判断して高信頼度領域を検出し
てもよい。
置24により統合された領域群の中から信頼性の高い領
域のみを移動物体領域として選択する。すなわち、領域
統合装置24により統合された統合領域リストの領域群
各々を構成する動ベクトルの信頼度の分布状態を調べ、
各々の領域の信頼性を判定し、高信頼度領域を検出す
る。なお、領域統合装置24において統合した各領域毎
に領域内の動ベクトルの信頼度の平均値や最高値等を記
憶しておいて、高信頼度領域検出装置28において信頼
度の平均値等の大きさを判断して高信頼度領域を検出し
てもよい。
【0062】以上説明したように、第1、第2の実施例
の移動物体検出装置は、時間的に連続する2枚の画像か
ら検出された動ベクトルを統合し、類似した動ベクトル
を統合する際に、極めて信頼性が低い動ベクトルを排除
し、極めて信頼性が高い動ベクトルと、その近傍にあっ
てしかもその動ベクトルと同一または類似しているとい
うことから信頼性が高いと考えられる動ベクトルのみを
用いて領域統合を行うので、各動ベクトルの信頼性およ
び信頼性が所定値以上の動ベクトル相互の位置関係を考
慮して、画像上の移動物体を正確に検出することができ
る次に第3の発明を適用した第3実施例について説明す
る。
の移動物体検出装置は、時間的に連続する2枚の画像か
ら検出された動ベクトルを統合し、類似した動ベクトル
を統合する際に、極めて信頼性が低い動ベクトルを排除
し、極めて信頼性が高い動ベクトルと、その近傍にあっ
てしかもその動ベクトルと同一または類似しているとい
うことから信頼性が高いと考えられる動ベクトルのみを
用いて領域統合を行うので、各動ベクトルの信頼性およ
び信頼性が所定値以上の動ベクトル相互の位置関係を考
慮して、画像上の移動物体を正確に検出することができ
る次に第3の発明を適用した第3実施例について説明す
る。
【0063】図15は、本発明の第3実施例の移動物体
検出装置のブロック図を示すものである。図15におい
て図9と対応する部分には同一符号を付して説明を省略
する。
検出装置のブロック図を示すものである。図15におい
て図9と対応する部分には同一符号を付して説明を省略
する。
【0064】図に示すように、本実施例の移動物体検出
装置は、動ベクトル検出装置16により検出された動ベ
クトル全体から、カメラの並進運動成分を検出し、並進
運動速度を検出する並進速度検出装置30、並進速度検
出装置30より検出されたカメラの並進運動速度から、
その並進運動によって生じる画面上の静止物体の動ベク
トル、すなわちカメラの並進運動による動ベクトルを検
出する動ベクトル検出装置32を備えている。動ベクト
ル検出装置32は、並進運動による動ベクトル検出装置
32により検出されたカメラの並進運動による動ベクト
ルと動ベクトル検出装置16により検出された動ベクト
ルとから静止物体の動ベクトルを移動状態情報として検
出する移動状態判別装置34に接続されている。
装置は、動ベクトル検出装置16により検出された動ベ
クトル全体から、カメラの並進運動成分を検出し、並進
運動速度を検出する並進速度検出装置30、並進速度検
出装置30より検出されたカメラの並進運動速度から、
その並進運動によって生じる画面上の静止物体の動ベク
トル、すなわちカメラの並進運動による動ベクトルを検
出する動ベクトル検出装置32を備えている。動ベクト
ル検出装置32は、並進運動による動ベクトル検出装置
32により検出されたカメラの並進運動による動ベクト
ルと動ベクトル検出装置16により検出された動ベクト
ルとから静止物体の動ベクトルを移動状態情報として検
出する移動状態判別装置34に接続されている。
【0065】また、動ベクトル検出装置16により検出
された動ベクトル全体から、カメラの回転運動成分を検
出し、回転運動速度を検出する回転運動検出装置36が
設けられており、動ベクトル検出装置16は、回転運動
検出装置36より得られたカメラの回転運速度から、そ
の回転運動によって生じる画面上の動ベクトル、すなわ
ちカメラの回転運動による動ベクトルを検出する動ベク
トル検出装置38に接続されている。回転運動による動
ベクトルを検出する動ベクトル検出装置38は、動ベク
トル検出装置38により検出されたカメラの回転運動に
よる動ベクトルを用いて、動ベクトル検出装置16によ
り検出された動ベクトルの回転運動成分をキャンセルす
るように補正するカメラ回転運動の補正装置40に接続
されている。
された動ベクトル全体から、カメラの回転運動成分を検
出し、回転運動速度を検出する回転運動検出装置36が
設けられており、動ベクトル検出装置16は、回転運動
検出装置36より得られたカメラの回転運速度から、そ
の回転運動によって生じる画面上の動ベクトル、すなわ
ちカメラの回転運動による動ベクトルを検出する動ベク
トル検出装置38に接続されている。回転運動による動
ベクトルを検出する動ベクトル検出装置38は、動ベク
トル検出装置38により検出されたカメラの回転運動に
よる動ベクトルを用いて、動ベクトル検出装置16によ
り検出された動ベクトルの回転運動成分をキャンセルす
るように補正するカメラ回転運動の補正装置40に接続
されている。
【0066】以上のように構成された第3の実施例の移
動物体検出装置では、並進速度検出装置30にて動ベク
トル検出装置16により検出された動ベクトル全体の方
向成分の分布より、カメラの水平移動、垂直移動、前進
移動または後退移動の有無、すなわち並進運動の有無を
推定し、カメラの並進速度を検出する。なお、並進速度
は、カメラ等に取り付けたセンサ等により検出してもよ
い。並進速度による動ベクトル検出手段32では、画面
上の物体が全て静止していると仮定した場合に得られる
動ベクトルの方向を計算する。移動状態判別装置34に
おいて、並進速度による動ベクトル検出手段32によっ
て計算された動ベクトルの方向と、動ベクトル検出装置
16により検出された動ベクトルの方向と比較すること
により、動ベクトル検出装置16により得られた動ベク
トルが、カメラの並進運動によって生じているのか、カ
メラの並進運動とは無関係に移動している物体によって
生じているのかを判断して移動状態情報を出力する。
動物体検出装置では、並進速度検出装置30にて動ベク
トル検出装置16により検出された動ベクトル全体の方
向成分の分布より、カメラの水平移動、垂直移動、前進
移動または後退移動の有無、すなわち並進運動の有無を
推定し、カメラの並進速度を検出する。なお、並進速度
は、カメラ等に取り付けたセンサ等により検出してもよ
い。並進速度による動ベクトル検出手段32では、画面
上の物体が全て静止していると仮定した場合に得られる
動ベクトルの方向を計算する。移動状態判別装置34に
おいて、並進速度による動ベクトル検出手段32によっ
て計算された動ベクトルの方向と、動ベクトル検出装置
16により検出された動ベクトルの方向と比較すること
により、動ベクトル検出装置16により得られた動ベク
トルが、カメラの並進運動によって生じているのか、カ
メラの並進運動とは無関係に移動している物体によって
生じているのかを判断して移動状態情報を出力する。
【0067】領域統合装置24では、統合された領域群
を構成する動ベクトルに対して移動状態情報を用いて移
動状態の判別を行い、得られた領域がそれぞれ静止物体
領域であるか移動物体領域であるかを判断し、カメラの
並進運動とは独立した運動をしている移動物体を、カメ
ラ運動によって生じる領域から分離して検出する。
を構成する動ベクトルに対して移動状態情報を用いて移
動状態の判別を行い、得られた領域がそれぞれ静止物体
領域であるか移動物体領域であるかを判断し、カメラの
並進運動とは独立した運動をしている移動物体を、カメ
ラ運動によって生じる領域から分離して検出する。
【0068】また、回転運動検出装置36において、動
ベクトル検出装置16により検出された動ベクトルの方
向成分の分布を求め、図16に示すような成分から構成
されるカメラの回転運動成分が画像全体の動ベクトルに
一定に加わった場合に、それを検出する。なお、回転速
度は、カメラ等に取り付けたセンサ等により検出したカ
メラ回転角度から求めてもよい。カメラ回転運動の補正
装置40は、回転運動による動ベクトル検出装置38に
よって得られた回転運動による動ベクトルを用いて、画
面全体の動ベクトルに加わった成分をキャンセルするよ
うに動ベクトルを補正する。
ベクトル検出装置16により検出された動ベクトルの方
向成分の分布を求め、図16に示すような成分から構成
されるカメラの回転運動成分が画像全体の動ベクトルに
一定に加わった場合に、それを検出する。なお、回転速
度は、カメラ等に取り付けたセンサ等により検出したカ
メラ回転角度から求めてもよい。カメラ回転運動の補正
装置40は、回転運動による動ベクトル検出装置38に
よって得られた回転運動による動ベクトルを用いて、画
面全体の動ベクトルに加わった成分をキャンセルするよ
うに動ベクトルを補正する。
【0069】例えば、カメラの振動等によって画面全体
に一定の縦方向成分、つまり図16におけるtilt成分が
加わった場合、本来静止しているはずの領域にも全体に
小さな縦方向成分が現れることになる。信頼性の高い領
域の存在する位置の時間的な連続性や位置の拘束性を考
慮して不自然な成分が画面全体に一定に存在する時、ま
た静止して見えるべき領域すなわち大きさが0の動ベク
トルが観測されるべき位置で、大きさ、方向が一定の動
ベクトルが観測された時、その振動成分を除去するよう
な補正を画面全体の動ベクトルに適用する。
に一定の縦方向成分、つまり図16におけるtilt成分が
加わった場合、本来静止しているはずの領域にも全体に
小さな縦方向成分が現れることになる。信頼性の高い領
域の存在する位置の時間的な連続性や位置の拘束性を考
慮して不自然な成分が画面全体に一定に存在する時、ま
た静止して見えるべき領域すなわち大きさが0の動ベク
トルが観測されるべき位置で、大きさ、方向が一定の動
ベクトルが観測された時、その振動成分を除去するよう
な補正を画面全体の動ベクトルに適用する。
【0070】
【発明の効果】以上説明したように本発明によれば、画
面上で求めた誤差を含んだ動ベクトルが多い動ベクトル
分布に基づき、各動ベクトルの信頼性が所定値以上の動
ベクトル相互の位置関係を考慮して領域を統合している
ので、画像上の移動物体を正確に検出することができ
る、という効果が得られる。
面上で求めた誤差を含んだ動ベクトルが多い動ベクトル
分布に基づき、各動ベクトルの信頼性が所定値以上の動
ベクトル相互の位置関係を考慮して領域を統合している
ので、画像上の移動物体を正確に検出することができ
る、という効果が得られる。
【図1】動ベクトルを用いて領域統合する従来装置のブ
ロック図である。
ロック図である。
【図2】動ベクトルと信頼度とを用いて領域統合する従
来装置のブロック図である。
来装置のブロック図である。
【図3】(a)、(b)、(c)、(d)従来技術の1
時刻前の画像、所定時刻の画像、実際の動き、動ベクト
ルの分布を示す線図である。
時刻前の画像、所定時刻の画像、実際の動き、動ベクト
ルの分布を示す線図である。
【図4】(a)、(b)、(c)は従来技術の領域統合
状態の様子を示す線図である。
状態の様子を示す線図である。
【図5】請求項1の発明のブロック図ある。
【図6】その他の発明中の第1の発明のブロック図であ
る。
る。
【図7】その他の発明中の第2の発明のブロック図であ
る。
る。
【図8】その他の発明中の第3の発明のブロック図であ
る。
る。
【図9】本発明の第1実施例のブロック図である。
【図10】(a)は原画像を示す線図であり、(b)は
原画像を単位小領域に分割した状態を示す線図である。
原画像を単位小領域に分割した状態を示す線図である。
【図11】(a)は1時刻前の画像の注目領域と周辺領
域とを示す線図であり、(b)は所定時刻の画像の相関
値が最小となる領域を示す線図である。
域とを示す線図であり、(b)は所定時刻の画像の相関
値が最小となる領域を示す線図である。
【図12】(a)、(b)、(c)は実際の動き、動ベ
クトルおよび信頼度の分布を示す線図である。
クトルおよび信頼度の分布を示す線図である。
【図13】(a)、(b)、(c)は領域統合状態の様
子を示す線図である。
子を示す線図である。
【図14】本発明の第2実施例のブロック図である。
【図15】本発明の第3実施例のブロック図である。
【図16】カメラの回転運動成分を示す線図である。
【図17】(a)、(b)、(c)、(d)は領域統合
過程の様子を示す線図である。
過程の様子を示す線図である。
【図18】(a)は領域ラベルの配列を示す線図であ
り、(b)は領域リストの更新を示す線図である。
り、(b)は領域リストの更新を示す線図である。
16 動ベクトル検出装置 18 信頼度検出装置 20 低信頼度動ベクトル判定装置 22 高信頼度動ベクトル判定装置 24 領域統合装置
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平5−75987(JP,A) 特開 平2−118884(JP,A) 特開 平4−148283(JP,A) 特開 平4−26283(JP,A) 特開 平3−48372(JP,A) (58)調査した分野(Int.Cl.7,DB名) G06T 7/00 - 7/60 G06T 1/00 H04N 7/18 H04N 7/24 - 7/68
Claims (1)
- 【請求項1】 所定時刻の画像と所定時刻より単位時間
前の画像とから画面上の動ベクトルの分布および該動ベ
クトルに対する信頼度の分布を検出する動ベクトル・信
頼度検出手段と、 前記検出された信頼度の分布に基づいて信頼度が予め設
定した第1の閾値より高い動ベクトルを初期動ベクトル
として抽出する初期動ベクトル抽出手段と、 前記検出された信頼度の分布に基づいて信頼度が予め前
記第1の閾値より小さな値に設定した第2の閾値より低
い動ベクトルを除去して信頼度が第2の閾値以上の動ベ
クトルを出力するベクトル除去手段と、 前記初期動ベクトルを備えた位置の周辺の領域を検索す
ることにより、前記初期動ベクトルと同一または類似し
た動ベクトルをベクトル除去手段より出力された動ベク
トルの中から抽出し、抽出した動ベクトルを備えた位置
を統合して領域を求める領域統合手段と、 を含む移動物体検出装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP27711093A JP3321936B2 (ja) | 1993-11-05 | 1993-11-05 | 移動物体検出装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP27711093A JP3321936B2 (ja) | 1993-11-05 | 1993-11-05 | 移動物体検出装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH07129777A JPH07129777A (ja) | 1995-05-19 |
JP3321936B2 true JP3321936B2 (ja) | 2002-09-09 |
Family
ID=17578928
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP27711093A Expired - Fee Related JP3321936B2 (ja) | 1993-11-05 | 1993-11-05 | 移動物体検出装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3321936B2 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4016227B2 (ja) * | 1998-01-07 | 2007-12-05 | ソニー株式会社 | 画像処理装置および方法、並びに記録媒体 |
JP4223233B2 (ja) * | 2002-05-29 | 2009-02-12 | パナソニック株式会社 | 移動物体検出装置および移動物体検出方法 |
JP2006134035A (ja) * | 2004-11-05 | 2006-05-25 | Fuji Heavy Ind Ltd | 移動物体検出装置および移動物体検出方法 |
JP4490794B2 (ja) * | 2004-11-18 | 2010-06-30 | 日本電信電話株式会社 | 動物体輪郭抽出方法及び装置並びに動物体輪郭抽出プログラム |
JP2007148647A (ja) * | 2005-11-25 | 2007-06-14 | Sumitomo Electric Ind Ltd | 二輪車検出装置、信号制御システム、二輪車検出システム、二輪車検出方法及びコンピュータプログラム |
JP4694993B2 (ja) * | 2006-03-16 | 2011-06-08 | 富士重工業株式会社 | 相関評価システムおよび相関評価方法 |
JP4545211B2 (ja) * | 2008-10-06 | 2010-09-15 | パナソニック株式会社 | 移動物体検出装置 |
CN102227749B (zh) | 2009-07-29 | 2014-07-09 | 松下电器产业株式会社 | 移动体检测方法及移动体检测装置 |
JP7357836B2 (ja) * | 2019-12-17 | 2023-10-10 | 株式会社竹中工務店 | 画像処理装置及び画像処理プログラム |
-
1993
- 1993-11-05 JP JP27711093A patent/JP3321936B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH07129777A (ja) | 1995-05-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8170368B2 (en) | Correcting device and method for perspective transformed document images | |
US7783118B2 (en) | Method and apparatus for determining motion in images | |
JP4157620B2 (ja) | 移動物体検出装置及びその方法 | |
US7565029B2 (en) | Method for determining camera position from two-dimensional images that form a panorama | |
US10636165B2 (en) | Information processing apparatus, method and non-transitory computer-readable storage medium | |
US20100118156A1 (en) | Image processing apparatus, image pickup apparatus and image processing method | |
US6784927B1 (en) | Image processing apparatus and image processing method, and storage medium | |
EP2715278B1 (en) | 3d scanner using structured lighting | |
US10721431B2 (en) | Method for estimating a timestamp in a video stream and method of augmenting a video stream with information | |
JPH0935061A (ja) | 画像処理方法 | |
US20070025592A1 (en) | Target-region detection apparatus, method and program | |
JP2019132664A (ja) | 自車位置推定装置、自車位置推定方法、及び自車位置推定プログラム | |
JP3321936B2 (ja) | 移動物体検出装置 | |
JP2996657B2 (ja) | 階調パターン整合による動き検出装置及びその方法 | |
US5621825A (en) | Image processor, image processing method and apparatus applying same | |
JPH11195127A (ja) | 白線認識方法および装置 | |
KR20120138642A (ko) | 화상 처리 방법 및 화상 처리 장치 | |
JPH10134193A (ja) | 移動ベクトル算出方法及び装置 | |
JP2006215655A (ja) | 動きベクトル検出方法、動きベクトル検出装置、動きベクトル検出プログラム及びプログラム記録媒体 | |
JPH1098644A (ja) | 動き検出装置 | |
JP3230509B2 (ja) | 動画像処理装置 | |
JP3421456B2 (ja) | 画像処理装置 | |
JPH06168331A (ja) | パターンマッチング方法 | |
JPH11190611A (ja) | 3次元計測方法およびその方法を用いた3次元計測処理装置 | |
JP3020299B2 (ja) | 動きベクトル検出装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
LAPS | Cancellation because of no payment of annual fees |