JP3321936B2 - Moving object detection device - Google Patents
Moving object detection deviceInfo
- Publication number
- JP3321936B2 JP3321936B2 JP27711093A JP27711093A JP3321936B2 JP 3321936 B2 JP3321936 B2 JP 3321936B2 JP 27711093 A JP27711093 A JP 27711093A JP 27711093 A JP27711093 A JP 27711093A JP 3321936 B2 JP3321936 B2 JP 3321936B2
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- reliability
- motion
- region
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Description
【０００１】[0001]
【産業上の利用分野】本発明は移動物体検出装置に係
り、より詳しくは、画像上の複数の移動物体を正確に検
出できる移動物体検出装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a moving object detecting device, and more particularly, to a moving object detecting device capable of accurately detecting a plurality of moving objects on an image.
【０００２】[0002]
【従来の技術および発明が解決しようとする課題】画像
を用いた環境認識技術において、動画像（時間的に連続
なフレームを用いた画像）系列を用いる方法があり、動
画像中の移動物体を検出する方法には、連続フレーム間
の差分を演算する方法、画像全体の速度（動ベクトル）
分布を求める方法等がある。2. Description of the Related Art In an environment recognition technique using an image, there is a method using a moving image (image using temporally continuous frames). The detection method includes the method of calculating the difference between consecutive frames, the speed of the entire image (motion vector).
There is a method of obtaining the distribution, and the like.
【０００３】動ベクトルを用いた技術としては、画面全
体の動ベクトル分布を求め、類似した方向や大きさを持
つ動ベクトルが画像上で空間的に連続しているとき、そ
れらを統合することにより一つの移動物体として環境を
認識しようとする技術が知られている。As a technique using motion vectors, a motion vector distribution of the entire screen is obtained, and when motion vectors having similar directions and magnitudes are spatially continuous on an image, they are integrated. 2. Description of the Related Art A technique for recognizing an environment as one moving object is known.
【０００４】この技術は、図３（ａ）、（ｂ）に示すよ
うな時間的に連続な２枚の画像間で、図３（ｃ）に矢印
で示すような動きがある時、２枚の画像間の類似した動
ベクトルを統合し、移動物体の領域を検出しようとする
ものである。[0004] This technique is used when there is a movement as shown by an arrow in FIG. 3 (c) between two temporally continuous images as shown in FIGS. 3 (a) and 3 (b). In this case, similar motion vectors between the images are integrated to detect the area of the moving object.
【０００５】画像上に分布している動ベクトルを統合す
る技術を利用した装置としては、図１に示すように、フ
レームメモリ１−１、フレームメモリ１−２、動ベクト
ル検出装置２、および領域統合装置４からなる装置があ
り、この装置は、例えば、特開平２−１１８８８４号公
報、特開平３−２４６７５号公報、特開平４−１４８２
８３号公報等に示されている。[0005] As an apparatus utilizing a technique for integrating motion vectors distributed on an image, as shown in FIG. 1, a frame memory 1-1, a frame memory 1-2, a motion vector detection device 2, and an area There is a device comprising the integration device 4, which is described in, for example, JP-A-2-118884, JP-A-3-24675, and JP-A-4-1482.
No. 83, for example.
【０００６】しかし、一般に実画像上で動ベクトルを計
算した場合、図３（ｄ）に示すように、それぞれの位置
の画像濃度パターンによっては正しい動ベクトルが検出
できないことがあるので、全ての位置で正しい動ベクト
ルを求めることはできない。このため、得られた動ベク
トルをそのまま統合するだけでは、誤った動ベクトルの
影響で、正しく移動物体領域を取り出すことができな
い、という問題がある。なお、図３（ｄ）において、矢
印は動ベクトルを示し、・は大きさ０の動ベクトルを示
す。However, in general, when a motion vector is calculated on an actual image, a correct motion vector may not be detected depending on an image density pattern at each position as shown in FIG. Cannot find the correct motion vector. For this reason, there is a problem that the moving object region cannot be correctly extracted due to an erroneous motion vector only by integrating the obtained motion vectors as they are. Note that, in FIG. 3D, an arrow indicates a motion vector, and a symbol indicates a motion vector of magnitude 0.
【０００７】一方、画面全体の動ベクトル分布と同時に
その動ベクトルの信頼性を計算する方法を利用した装置
としては、図２に示すように、フレームメモリ１−１、
フレームメモリ１−２、動ベクトル検出装置２、および
信頼度検出装置３からなる装置があり、この装置は、例
えば、特開平３−４８３７２号公報、特開平４−２６２
８３号公報等に示されている。On the other hand, as an apparatus utilizing the method of calculating the reliability of the motion vector simultaneously with the distribution of the motion vector of the entire screen, as shown in FIG.
There is a device comprising a frame memory 1-2, a motion vector detecting device 2, and a reliability detecting device 3. This device is disclosed in, for example, Japanese Patent Application Laid-Open No. 3-48372 and Japanese Patent Application Laid-Open No. 4-262.
No. 83, for example.
【０００８】この信頼度は個々の動ベクトルの正しさの
指標を表しているが、従来の技術では隣接する動ベクト
ル相互の位置関係の考慮がなされていないので、画像全
体を理解するためには不適切である。Although this reliability represents an index of the correctness of each motion vector, the prior art does not consider the positional relationship between adjacent motion vectors. Improper.
【０００９】そこで、動ベクトルの統合による画像の領
域統合を行うに当たって、上記信頼度を利用して、求め
られた動ベクトルの信頼度とある閾値とを比較し、その
信頼度が閾値を越えた動ベクトルのみを用いて領域統合
を行うという方法が考えられる。しかし、正しい動ベク
トルと誤った動ベクトルとが持つ信頼度分布が、必ずし
も一つの閾値で区切られるわけではないので、誤った動
ベクトルがほとんど領域統合に使用されないように閾値
を高くした場合には、図４（ａ）に示すように、隣接関
係を調べることができないほど少数の動ベクトルしか閾
値を越えないことになる。一方、正しい動ベクトルが切
り捨てられることがないように閾値を低くした場合に
は、図４（ｂ）に示すように、誤った動ベクトルも多数
閾値を越え、領域統合結果にも図４（ｃ）のように多数
の誤った領域が検出されて信頼度を導入した効果が得ら
れなくなる、等の問題が生じる。In order to integrate the image regions by integrating the motion vectors, the reliability of the motion vector is compared with a certain threshold value using the above-mentioned reliability, and the reliability exceeds the threshold value. A method of performing region integration using only motion vectors is conceivable. However, since the reliability distributions of the correct motion vector and the incorrect motion vector are not necessarily separated by one threshold, when the threshold is increased so that the incorrect motion vector is hardly used for region integration, As shown in FIG. 4A, only a small number of motion vectors exceed the threshold value so that the adjacency relationship cannot be checked. On the other hand, when the threshold value is lowered so that the correct motion vector is not truncated, as shown in FIG. ), A large number of erroneous regions are detected, and the effect of introducing reliability cannot be obtained.
【００１０】本発明は上記問題点を解消するためになさ
れたもので、画面上で求めた誤差を含んだ動ベクトルが
多い動ベクトル分布に基づき、信頼性が高い動ベクトル
および信頼性がある程度高い動ベクトル相互の位置関係
を考慮して、画像上の移動物体を正確に検出することが
できる移動物体検出装置を提供することを目的とする。SUMMARY OF THE INVENTION The present invention has been made to solve the above problems, and has high reliability and high reliability to some extent based on a motion vector distribution having many motion vectors including an error obtained on a screen. It is an object of the present invention to provide a moving object detection device capable of accurately detecting a moving object on an image in consideration of a positional relationship between motion vectors.
【００１１】[0011]
【課題を解決するための手段】上記目的を達成するため
に請求項１の発明は、図５に示すように、所定時刻の画
像と所定時刻より単位時間前の画像とから画面上の動ベ
クトルの分布および該動ベクトルに対する信頼度の分布
を検出する動ベクトル・信頼度検出手段Ａと、前記検出
された信頼度の分布に基づいて信頼度が予め設定した第
１の閾値より高い動ベクトルを初期動ベクトルとして抽
出する初期動ベクトル抽出手段Ｂと、前記検出された信
頼度の分布に基づいて信頼度が予め前記第１の閾値より
小さい値に設定した第２の閾値より低い動ベクトルを除
去して信頼度が第２の閾値以上の動ベクトルを出力する
ベクトル除去手段Ｃと、前記初期動ベクトルを備えた位
置の周辺の領域を検索することにより、前記初期動ベク
トルと同一または類似した動ベクトルをベクトル除去手
段より出力された動ベクトルの中から抽出し、抽出した
動ベクトルを備えた位置を統合して領域を求める領域統
合手段Ｄと、を含んで構成したものである。According to a first aspect of the present invention, there is provided an image processing apparatus comprising: a motion vector on a screen comprising an image at a predetermined time and an image unit time before the predetermined time, as shown in FIG. And a motion vector / reliability detecting means A for detecting a distribution of reliability for the motion vector and a motion vector having a reliability higher than a first threshold value set in advance based on the detected distribution of reliability. An initial motion vector extracting means for extracting the motion vector as an initial motion vector; and removing a motion vector whose reliability is lower than a second threshold value set in advance to a value smaller than the first threshold value based on the distribution of the detected reliability. And a vector removal means C for outputting a motion vector having a reliability equal to or higher than a second threshold value and searching for a region around a position having the initial motion vector, thereby obtaining the same or the same as the initial motion vector. The similar to the motion vector extracted from the motion vector output from the vector removal means, extracting a region integrating unit D to determine the area by integrating the position with the motion vector has, which is constituted contains.
【００１２】[0012]
【作用】請求項１の発明の作用について説明する。検出
された画面上の動ベクトルは、通常、ノイズ、誤差等を
含んでいるが、この動ベクトルの信頼性を表す信頼度を
検出することは可能である。そこで、請求項１の発明の
動ベクトル・信頼度検出手段Ａでは、所定時刻の画像と
所定時刻より単位時間前の画像とから画面上の動ベクト
ルの分布およびこの動ベクトルに対する信頼度の分布を
検出する。The operation of the first aspect of the invention will be described. The detected motion vector on the screen usually includes noise, an error, and the like, but it is possible to detect the reliability indicating the reliability of the motion vector. Therefore, the motion vector / reliability detecting means A according to the first aspect of the present invention calculates the distribution of the motion vector on the screen and the distribution of the reliability for the motion vector from the image at the predetermined time and the image unit time before the predetermined time. To detect.
【００１３】動ベクトルの分布を検出する方法として
は、画像を多数の小領域に分割し、小領域毎の相関演算
によって、複数画像間の対応関係を演算する方法があ
る。この方法では、対応を演算する過程で、最大相関
値、最大相関値付近の相関値分布の勾配、最大相関値と
２番目に高い値を持つ相関値とのピークの差、または割
合、等を演算することで、この動ベクトルの信頼度を評
価できる。As a method of detecting the distribution of the motion vector, there is a method of dividing an image into a number of small areas and calculating a correspondence between a plurality of images by performing a correlation calculation for each of the small areas. In this method, in the process of calculating the correspondence, the maximum correlation value, the gradient of the correlation value distribution near the maximum correlation value, the peak difference or ratio between the maximum correlation value and the correlation value having the second highest value, etc. By calculating, the reliability of this motion vector can be evaluated.
【００１４】初期動ベクトル抽出手段Ｂは、動ベクトル
・信頼度検出手段Ａにより検出された信頼度の分布に基
づいて信頼度が予め設定した第１の閾値より高い動ベク
トルを初期動ベクトルとして抽出する。ベクトル除去手
段Ｃは、動ベクトル・信頼度検出手段Ａにより検出され
た信頼度の分布に基づいて信頼度が予め第１の閾値より
小さい値に設定した第２の閾値より低い動ベクトル、す
なわち領域統合に用いるのに不適切な、信頼性の低い動
ベクトルを除去して、信頼度が第２の閾値以上の動ベク
トルを出力する。The initial motion vector extracting means B extracts a motion vector whose reliability is higher than a preset first threshold value as an initial motion vector based on the distribution of the reliability detected by the motion vector / reliability detecting means A. I do. The vector elimination unit C is a motion vector whose reliability is lower than a second threshold set in advance to a value smaller than the first threshold based on the distribution of the reliability detected by the motion vector / reliability detector A, An unreliable motion vector that is inappropriate for use in integration is removed, and a motion vector whose reliability is equal to or higher than a second threshold is output.
【００１５】領域統合手段Ｄは、初期動ベクトルを備え
た位置の周辺の領域を検索することにより、初期動ベク
トルと同一または類似した動ベクトルをベクトル除去手
段より出力された動ベクトルの中から抽出し、抽出した
動ベクトルを備えた位置を統合して領域を求める。領域
の統合は、画像中で物体の存在する領域は一塊の領域と
なって存在しており、また１つの物体の内部において検
出される動ベクトルは隣接するもの同士では少なくとも
それらの方向、すなわち方向、または方向および大きさ
が同一または類似したものになる、という知識に基づく
ものである。すなわち、信頼性の高い動ベクトルの周囲
で、信頼性の高い動ベクトルと同一または類似した動ベ
クトルがあれば、ある程度信頼性が低いと判断された動
ベクトルであっても正しいものと判断して同じ領域に属
するものとして統合するものである。動ベクトルが同一
または類似か否かは、動ベクトルの方向、または方向及
び大きさを判定することにより判断することができる。The area integrating means D retrieves a motion vector which is the same as or similar to the initial motion vector from the motion vectors output from the vector removing means by searching for an area around the position having the initial motion vector. Then, the position with the extracted motion vector is integrated to obtain an area. In the integration of the regions, the region where the object is present in the image exists as a lump region, and the motion vector detected inside one object is at least the direction, that is, the direction, between adjacent ones. Or the direction and size are the same or similar. That is, if there is a motion vector that is the same or similar to a highly reliable motion vector around a highly reliable motion vector, it is determined that even a motion vector determined to be somewhat unreliable is correct. They are integrated as belonging to the same area. Whether the motion vectors are the same or similar can be determined by determining the direction of the motion vector, or the direction and the magnitude.
【００１６】このように、請求項１の発明では、信頼性
の高い初期動ベクトルの周辺を探索し、信頼性の高い初
期動ベクトルの近くに分布している、信頼性の高い初期
動ベクトルと同一または類似した、ある程度信頼性の低
い動ベクトルを含めて領域統合を行っているので、ノイ
ズ、誤差を含む動ベクトル分布から、信頼性の高い動ベ
クトルを含む移動物体領域を選択し、検出することがで
きる。一方、動ベクトルおよび信頼度検出過程におい
て、十分高い信頼度が得られなかったが、実際には正し
いベクトルを表していると考えられる信頼度が中程度の
動ベクトルをも統合に加えることができるので、移動物
体領域の形状が大きく欠落したり、誤った領域を多数検
出したりすることが少なくなり、従来手法に比べて移動
物体の存在する領域を正しく推定できる。As described above, according to the first aspect of the present invention, the vicinity of the highly reliable initial motion vector is searched, and the highly reliable initial motion vector distributed near the highly reliable initial motion vector is searched. Since region integration is performed including the same or similar motion vectors with low reliability to some extent, a moving object region including highly reliable motion vectors is selected and detected from the motion vector distribution including noise and error. be able to. On the other hand, in the motion vector and reliability detection process, a sufficiently high reliability was not obtained, but a motion vector with a medium reliability which is considered to actually represent a correct vector can be added to the integration. Therefore, the shape of the moving object area is largely prevented from being lost or a large number of erroneous areas are detected, and the area where the moving object exists can be correctly estimated as compared with the conventional method.
【００１７】[0017]
【その他の発明の説明】請求項１の発明において画像を
検出するカメラが静止していれば、画面上の静止物体領
域と移動物体領域とを分離することは比較的容易である
が、カメラ自身が運動している時は、静止物体の占める
領域にもカメラ運動による動ベクトルが生じるので、こ
れを分離することが困難になる等の問題が生じる。[Description of Other Inventions] In the first aspect of the present invention, if a camera for detecting an image is stationary, it is relatively easy to separate a stationary object region and a moving object region on a screen, but the camera itself When the camera is moving, a motion vector due to the camera motion is also generated in the area occupied by the stationary object, so that it becomes difficult to separate the motion vector.
【００１８】そこで、その他の発明の第１の発明は、図
６に示すように、請求項１の発明に、カメラの並進速度
を検出する並進速度検出手段Ｅと、検出された並進速度
からカメラの並進運動によって生じた動ベクトルを検出
する動ベクトル検出手段Ｆと、動ベクトル・信頼度検出
手段Ａにより検出された動ベクトルとカメラの並進運動
によって生じた動ベクトルとを比較して移動状態を判断
する移動状態判別手段Ｇと、を更に設け、領域統合手段
Ｄにおいて移動状態判別手段Ｇの検出結果を用いてカメ
ラの並進運動とは独立して移動している移動物体領域を
静止物体の領域から分離して領域統合するものである。Therefore, a first aspect of the present invention, as shown in FIG. 6, comprises a translation speed detecting means E for detecting the translation speed of the camera and a camera based on the detected translation speed. A motion vector detecting means F for detecting a motion vector generated by the translational motion of the camera, and a motion vector detected by the motion vector / reliability detecting means A are compared with a motion vector generated by the translational motion of the camera to determine a moving state. Moving state determining means G for judging, and using the detection result of the moving state determining means G in the area integrating means D to convert the moving object area moving independently of the translational movement of the camera into the area of the stationary object. And integrate the domain.
【００１９】第１の発明は、カメラが並進運動している
ときには、画面上の静止物体はカメラの並進速度の方向
と対応した方向で、かつ並進速度の大きさに対応した大
きさの動ベクトルを持つことを利用して、静止物体が存
在した場合に発生する動ベクトル、すなわち、カメラの
並進運動によって生じてた動ベクトルを検出し、この動
ベクトルと動ベクトル・信頼度検出手段Ａによって検出
された動ベクトルとを照合すること等によって移動状態
を判断することによって、本来は静止している物体上の
動ベクトルを検知し、カメラの並進運動とは独立した運
動をしている移動物体領域を、カメラの並進運動によっ
て生じた動ベクトルによって構成される静止物体の領域
から分離するものである。According to a first aspect of the present invention, when the camera is performing a translational motion, the stationary object on the screen is a motion vector having a direction corresponding to the direction of the translational speed of the camera and a magnitude corresponding to the magnitude of the translational speed. Is used to detect a motion vector generated when a stationary object is present, that is, a motion vector generated by the translational motion of the camera, and detect the motion vector and the motion vector / reliability detecting means A. The moving object area that is moving independently of the translational motion of the camera by detecting the motion vector on the originally stationary object by judging the moving state by comparing it with the Is separated from the region of the stationary object constituted by the motion vector generated by the translational movement of the camera.
【００２０】これによって、請求項１の発明の場合に加
えてカメラが並進運動している場合でも、カメラの並進
運動とは独立した運動をしている移動物体を、カメラの
並進運動によって動ベクトルが生じる領域から分離して
検出することができる。Thus, even when the camera is performing a translational motion, in addition to the case of the first aspect of the present invention, a moving object that is moving independently of the translational motion of the camera is moved by the translational motion of the camera. Can be detected separately from the region in which occurs.
【００２１】第１の発明では、カメラの並進速度は、動
ベクトル・信頼度検出手段Ａにより検出された動ベクト
ルから並進運動成分を検出することによって検出しても
よく、カメラ等に取り付けた他のセンサにより検出して
もよい。また、動ベクトル・信頼度検出手段Ａにより検
出された動ベクトルからカメラの並進運動によって生じ
た動ベクトルを除去した残りの動ベクトルによって移動
物体領域を統合してもよく、動ベクトル・信頼度検出手
段Ａにより検出された動ベクトルの中のカメラの並進運
動によって生じている動ベクトルにラベルを付す等によ
って、静止物体の動ベクトルと移動物体の動ベクトルと
を区別し、静止物体の領域と移動物体領域とを分離して
統合してもよい。In the first invention, the translation speed of the camera may be detected by detecting a translational motion component from the motion vector detected by the motion vector / reliability detecting means A. May be detected by the sensor. Further, the moving object region may be integrated by the remaining motion vectors obtained by removing the motion vectors generated by the translational motion of the camera from the motion vectors detected by the motion vector / reliability detection means A. The motion vector of the stationary object and the motion vector of the moving object are distinguished by, for example, labeling the motion vector generated by the translational motion of the camera among the motion vectors detected by the means A, so that the motion vector of the stationary object and the motion The object region may be separated and integrated.
【００２２】第２の発明は、図７に示すように、請求項
１の発明に、カメラの回転速度を検出する回転速度検出
手段Ｈと、検出された回転速度からカメラの回転運動に
よって生じた動ベクトルを検出する動ベクトル検出手段
Ｉと、カメラの回転運動によって生じた動ベクトルを用
いてカメラの回転運動による成分が無くなるように、動
ベクトル・信頼度検出手段Ａにより検出された動ベクト
ルを補正する補正手段Ｊと、を更に設け、初期動ベクト
ル抽出手段Ｂ、ベクトル除去手段Ｃおよび領域統合手段
Ｄにおいて、この補正された動ベクトルを用いて領域統
合するものである。In the second invention, as shown in FIG. 7, the rotation speed detecting means H for detecting the rotation speed of the camera and the rotation motion of the camera based on the detected rotation speed are provided. A motion vector detected by the motion vector / reliability detection means A is used so that a component due to the rotational motion of the camera is eliminated using the motion vector detecting means I for detecting the motion vector and the motion vector generated by the rotational motion of the camera. A correcting means J for correcting the motion vector is further provided, and the initial motion vector extracting means B, the vector removing means C, and the area integrating means D integrate the areas using the corrected motion vectors.
【００２３】本発明は、上記構成により、画像全体の動
ベクトルに一定の回転運動成分が加わったことを検出
し、一定の回転運動成分が検出された場合には、それを
補正するようにしている。According to the present invention, the above structure detects that a constant rotational motion component is added to the motion vector of the entire image, and corrects the constant rotational motion component when it is detected. I have.
【００２４】これによって、請求項１の発明の場合に加
えて、カメラが回転運動をした場合でも、それによって
各動ベクトルに加わるカメラ回転運動成分を補正し、移
動物体の領域を正しく検出できる。Thus, in addition to the case of the first aspect of the present invention, even when the camera makes a rotational movement, the camera rotational movement component added to each motion vector is corrected thereby, and the area of the moving object can be correctly detected.
【００２５】なお、カメラの回転速度は、動ベクトル・
信頼度検出手段Ａにより検出された動ベクトルの縦成分
および横成分から回転運動成分を検出することによって
検出してもよく、カメラ等に取り付けた他のセンサによ
り検出してもよい。また、補正手段Ｊは、初期動ベクト
ル抽出手段Ｂおよびベクトル除去手段Ｃの後段に設け、
抽出された初期動ベクトルおよびベクトル除去手段Ｃか
ら出力された動ベクトルの各々に対して、カメラの回転
運動による成分が無くなるように補正してもよい。この
場合には、ベクトル除去手段Ｃによって除去された信頼
度が低い動ベクトルに対して補正をしなくても良くなる
ので、処理が速やかになる。The rotation speed of the camera is determined by the motion vector
The detection may be performed by detecting a rotational motion component from the vertical component and the horizontal component of the motion vector detected by the reliability detection means A, or may be detected by another sensor attached to a camera or the like. The correcting means J is provided at a stage subsequent to the initial motion vector extracting means B and the vector removing means C,
Each of the extracted initial motion vector and the motion vector output from the vector removing unit C may be corrected so that the component due to the rotational motion of the camera is eliminated. In this case, it is not necessary to correct the motion vector having low reliability removed by the vector removing means C, so that the processing is speeded up.
【００２６】そして、第３の発明は、請求項１の発明に
第１の発明と第２の発明とを加えたものであり、図８に
示すように、カメラの並進速度を検出する並進速度検出
手段Ｅと、検出された並進速度からカメラの並進運動に
よって生じた動ベクトルを検出する動ベクトル検出手段
Ｆと、動ベクトル・信頼度検出手段Ａにより検出された
動ベクトルとカメラの並進運動によって生じた動ベクト
ルとから静止物体の動ベクトルを検出する移動状態判別
手段Ｇと、カメラの回転速度を検出する回転速度検出手
段Ｈと、検出された回転速度からカメラの回転運動によ
って生じた動ベクトルを検出する動ベクトル検出手段Ｉ
と、カメラの回転運動によって生じた動ベクトルを用い
てカメラの回転運動による成分が無くなるように、動ベ
クトル・信頼度検出手段Ａにより検出された動ベクトル
を補正する補正手段Ｊと、を更に設け、初期動ベクトル
抽出手段Ｂ、ベクトル除去手段Ｃおよび領域統合手段Ｄ
において、このカメラの回転運動による影響が補正され
た動ベクトルを用いてカメラの並進運動と独立して移動
している移動物体領域を静止物体の領域から分離して領
域統合するものである。A third aspect of the present invention is obtained by adding the first and second aspects of the present invention to the first aspect of the present invention. As shown in FIG. A detecting means E, a moving vector detecting means F for detecting a moving vector generated by the translational movement of the camera from the detected translation speed, and a moving vector detected by the moving vector / reliability detecting means A and the translation of the camera. Moving state discriminating means G for detecting a motion vector of a stationary object from the generated motion vector, rotation speed detecting means H for detecting the rotation speed of the camera, and a motion vector generated by the rotational motion of the camera from the detected rotation speed Vector detecting means I for detecting
And a correction means J for correcting the motion vector detected by the motion vector / reliability detection means A so that the component due to the rotation motion of the camera is eliminated using the motion vector generated by the rotation motion of the camera. , Initial motion vector extracting means B, vector removing means C and area integrating means D
In this method, the moving object region moving independently of the translational motion of the camera is separated from the region of the stationary object and integrated using the motion vector corrected for the influence of the rotational motion of the camera.
【００２７】本第３の発明によれば、請求項１の発明の
場合に加えて、カメラが並進運動している場合であって
も、カメラの並進運動とは独立した運動をしている移動
物体を検出することができ、さらに、カメラが回転運動
をした場合でも、移動物体の領域を正しく検出できるの
で、移動物体領域をより正確に検出することができる、
という効果が得られる。According to the third aspect of the invention, in addition to the case of the first aspect, even when the camera is performing a translational movement, the movement performing a movement independent of the translational movement of the camera. The object can be detected, and even when the camera makes a rotational movement, the area of the moving object can be correctly detected, so that the moving object area can be detected more accurately.
The effect is obtained.
【００２８】[0028]
【実施例】以下図面を参照して本発明の実施例を詳細に
説明する。第１の実施例は請求項１の発明を適用したも
のである。Embodiments of the present invention will be described below in detail with reference to the drawings. The first embodiment is one to which the invention of claim 1 is applied.
【００２９】図９に示すように、第１実施例の移動物体
検出装置は、原画像、すなわちある時刻の画像ａのデー
タを記憶するためのフレームメモリ１０、画像ａより単
位時間前（１時刻前）の画像ｂのデータを記憶するため
のフレームメモリ１２を備えている。フレームメモリ１
０、１２は、相関値を演算するための相関値検出装置１
４に接続されている。相関値検出装置１４は、画像ａ、
ｂの間の動ベクトルを検出する動ベクトル検出装置１
６、および動ベクトル検出装置１６により検出される動
ベクトル各々の信頼性を示す値（信頼度）を検出する信
頼度検出装置１８に接続されている。As shown in FIG. 9, the moving object detecting apparatus according to the first embodiment has a frame memory 10 for storing an original image, that is, data of an image a at a certain time. A frame memory 12 for storing data of the image b) is provided. Frame memory 1
Reference numerals 0 and 12 denote a correlation value detection device 1 for calculating a correlation value.
4 is connected. The correlation value detection device 14 outputs an image a,
motion vector detecting device 1 for detecting a motion vector during b
6 and a reliability detector 18 for detecting a value (reliability) indicating the reliability of each of the motion vectors detected by the motion vector detector 16.
【００３０】動ベクトル検出装置１６および信頼度検出
装置１８は、各々、信頼度と予め設定した第１の閾値と
を比較して動ベクトル検出装置１６により検出された動
ベクトルのうち、高い信頼度を有する動ベクトル（初期
動ベクトルに対応する）を検出して出力する高信頼度動
ベクトル判定装置２２、および信頼度と予め設定した第
２の閾値（＜第１の閾値）とを比較して動ベクトル検出
装置１６により検出された動ベクトルのうち、非常に低
い信頼度を有する動ベクトルを判定し、領域統合の対象
としない動ベクトルを除去して、信頼度が高い動ベクト
ルおよび信頼度が中間の動ベクトルを出力する低信頼度
動ベクトル判定装置２０に接続されている。低信頼度動
ベクトル判定装置２０および高信頼度動ベクトル判定装
置２２は、低信頼度動ベクトル判定装置２０より出力さ
れた動ベクトルおよび高信頼度動ベクトル判定装置２２
により検出された高信頼度動ベクトルの情報に基づいて
領域統合を行う領域統合装置２４を介して、領域統合装
置２４により検出された領域群から移動物体領域を検出
する移動物体領域検出装置２６に接続されている。Each of the motion vector detecting device 16 and the reliability detecting device 18 compares the reliability with a preset first threshold value, and among the motion vectors detected by the motion vector detecting device 16, A high-reliability motion vector determination device 22 that detects and outputs a motion vector (corresponding to an initial motion vector) having the following equation: and compares the reliability with a preset second threshold (<first threshold). Of the motion vectors detected by the motion vector detection device 16, a motion vector having a very low reliability is determined, and a motion vector not to be subjected to region integration is removed, so that a motion vector having a high reliability and a reliability It is connected to a low-reliability motion vector determination device 20 that outputs an intermediate motion vector. The low-reliability motion vector determination device 20 and the high-reliability motion vector determination device 22 include the motion vector output from the low-reliability motion vector determination device 20 and the high-reliability motion vector determination device 22.
And a moving object region detecting device 26 that detects a moving object region from the group of regions detected by the region integrating device 24 via the region integrating device 24 that performs region integration based on the information of the high reliability motion vector detected by It is connected.
【００３１】以上のように構成された、第１実施例の移
動物体検出装置の作用について説明する。フレームメモ
リ１０およびフレームメモリ１２には、ある時刻の画像
ａと１時刻前の画像ｂとの時間的に連続した２枚の画像
データが入力される。相関値検出装置１４は領域ベース
の相関法を用いて相関値を演算し、動ベクトル検出装置
１６および信頼度検出装置１８は相関値検出装置１４で
演算された相関値から動ベクトルの分布およびその動ベ
クトルの信頼度の分布の検出を行う。The operation of the moving object detecting apparatus according to the first embodiment having the above-described structure will be described. To the frame memory 10 and the frame memory 12, two temporally continuous image data of an image a at a certain time and an image b one time before are input. The correlation value detection device 14 calculates a correlation value using a region-based correlation method, and the motion vector detection device 16 and the reliability detection device 18 calculate the distribution of the motion vector from the correlation value calculated by the correlation value detection device 14 and its distribution. The distribution of the reliability of the motion vector is detected.
【００３２】すなわち、図１０（ｂ）に示すように、図
１０（ａ）に示す原画像の画面を格子状に分割し、格子
が区切るそれぞれの桝目を動ベクトルおよび信頼度の検
出を行う単位小領域とし、それぞれの小領域を注目領域
として、１時刻前の画像ｂに対し１時刻後の画像ａの同
じ位置を中心としてその周辺との相関演算を行う。図１
１（ａ）における１時刻前の画像ｂのＲは動ベクトルの
検出を行う小領域、すなわち注目領域を示し、Ｓは小領
域Ｒと最も相関の高い小領域を探索する探索領域であ
る。各領域の大きさは、例えばＳは１６画素×１６画
素、Ｒは８画素×８画素に選ぶことができる。That is, as shown in FIG. 10 (b), the screen of the original image shown in FIG. 10 (a) is divided into a grid, and each of the cells divided by the grid is a unit for detecting a motion vector and reliability. A small area is set, and each small area is set as an attention area, and a correlation calculation is performed with respect to the image b one time earlier and the periphery of the same position of the image a one time later. FIG.
In FIG. 1 (a), R of the image b one time before is a small area for detecting a motion vector, that is, a target area, and S is a search area for searching for a small area having the highest correlation with the small area R. The size of each region can be selected, for example, as S is 16 pixels × 16 pixels and R is 8 pixels × 8 pixels.
【００３３】この相関演算では、画像ａ上の注目領域
を、画像のｘ方向、ｙ方向にそれぞれ（ｉ，ｊ）（ただ
し、ｉmin ＜ｉ＜ｉmax,ｊmin ＜ｊ＜ｊmax)だけ変位
し、変位前の画像ｂ上の探索領域内の画像濃淡値と変位
後の画像ａの探索領域内の画像濃淡値との差分の絶対値
和を相関値として検出する。この相関値Ｃ（ｉ，ｊ）は
以下の（１）式で表される。In this correlation operation, the region of interest on the image a is displaced by (i, j) (where imin <i <imax, jmin <j <jmax) in the x and y directions of the image, respectively. The absolute value sum of the difference between the image density value in the search area of the previous image b and the image density value in the search area of the displaced image a is detected as a correlation value. The correlation value C (i, j) is represented by the following equation (1).
【００３４】[0034]
【数１】 (Equation 1)
【００３５】ただし、（ｘc −ωx ／２) ＜ｘ＜（ｘc
＋ωx ／２），（ｙc −ωy ／２)＜ｙ＜（ｙc ＋ωｙ
／２）である。ここで、Ｉt （ｘ，ｙ），Ｉs （ｘ，
ｙ）はそれぞれ画像ａ，画像ｂの座標（ｘ，ｙ）におけ
る濃淡値、Ｉs （ｘ＋ｉ，ｙ＋ｊ）はｘ方向、ｙ方向に
それぞれ（ｉ，ｊ）だけ変位させた後の濃淡値、ｘｃ，
ｙｃはそれぞれ動ベクトルを検出する注目領域の中心座
標、ωx ，ωy は注目領域の大きさ（画素）である。Where (xc-ωx / 2) <x <(xc
+ Ωx / 2), (yc−ωy / 2) <y <(yc + ωy
/ 2). Here, It (x, y), Is (x,
y) is a gray value at coordinates (x, y) of image a and image b, respectively, Is (x + i, y + j) is a gray value after being displaced by (i, j) in the x and y directions, xc,
yc is the center coordinate of the region of interest for detecting the motion vector, and ωx and ωy are the size (pixels) of the region of interest.
【００３６】動ベクトル検出装置１６では、相関値Ｃ
（ｉ，ｊ）の最小値を与える変位量（ｉ，ｊ）を演算
し、その変位量（ｉ，ｊ）をその小領域の動ベクトルと
する。In the motion vector detecting device 16, the correlation value C
A displacement (i, j) that gives the minimum value of (i, j) is calculated, and the displacement (i, j) is set as a motion vector of the small area.
【００３７】信頼度検出装置１８では、次の（２）式に
示すように、相関値の最小値Ｃ（ｉ，ｊ）min と、最小
値の次に小さい相関値Ｃ（ｉ’，ｊ’）との差を演算
し、この差をこの動ベクトルの信頼度Ｒ（ｉ，ｊ）とす
る。In the reliability detector 18, as shown in the following equation (2), the minimum correlation value C (i, j) min and the correlation value C (i ', j') next to the minimum value are obtained. ) Is calculated, and this difference is set as the reliability R (i, j) of the motion vector.
【００３８】 Ｒ（ｉ，ｊ）＝Ｃ（ｉ’，ｊ’）−Ｃ（ｉ，ｊ）min ・・・(2) 図１１（ｂ）における小領域ｓは小領域Ｒと最も相関の
高い小領域すなわち式（１）が最小値となる位置を表し
ている。R (i, j) = C (i ′, j ′) − C (i, j) min (2) The small area s in FIG. 11B has the highest correlation with the small area R. A small area, that is, a position where Expression (1) has a minimum value.
【００３９】次に、高信頼度動ベクトル判定装置２２で
は、各々の動ベクトルの信頼度を予め設定した第１の閾
値と比較し、信頼度が非常に高い動ベクトルを判定し、
すなわち、領域統合を行う際に、各領域の核となるよう
な、極めて信頼度が高い動ベクトルを検出し、検出した
動ベクトルを出力する。Next, the high-reliability motion vector determination device 22 compares the reliability of each motion vector with a preset first threshold value, and determines a motion vector having a very high reliability.
That is, when performing region integration, a motion vector with extremely high reliability, which is the core of each region, is detected, and the detected motion vector is output.
【００４０】低信頼度動ベクトル判定装置２０では、各
々の動ベクトルの信頼度を予め設定した第２の閾値と比
較し、信頼度が非常に低く、領域統合に用いる動ベクト
ルとして適さない動ベクトルを判定し、領域統合装置２
４の入力となる動ベクトル群から除去して残りの動ベク
トルを出力する。The low-reliability motion vector determination device 20 compares the reliability of each motion vector with a second threshold value set in advance, and finds that the reliability is extremely low and the motion vector is not suitable as a motion vector used for region integration. And the area integration device 2
4 is removed from the input motion vector group and the remaining motion vectors are output.
【００４１】図１２（ｃ）に信頼度が非常に高い動ベク
トルの小領域、信頼度が非常に低い動ベクトルの小領域
および信頼度が中間の動ベクトルの小領域を示す。FIG. 12C shows a small area of a motion vector having a very high reliability, a small area of a motion vector having a very low reliability, and a small area of a motion vector having an intermediate reliability.
【００４２】領域統合装置２４では、高信頼度動ベクト
ル判定装置２２により判定された極めて信頼度が高い動
ベクトルの周辺を、領域の核となる信頼度が極めて高い
動ベクトルを始点として連続的に４近傍の小領域を探索
し、核となる動ベクトルと方向および大きさが同一また
は類似していると判定される動ベクトルを、核となる動
ベクトルと同じ領域を形成するものとして統合する。こ
の結果、信頼度が極めて高い動ベクトルから見て、４近
傍接続で連続的につながっている範囲に存在する信頼度
は極めて高くないが極めて信頼度が高い動ベクトルと同
じ動きをしていると考えられる領域が同一領域として統
合される。In the region integrating device 24, the periphery of the extremely reliable motion vector determined by the high-reliability motion vector determination device 22 is continuously determined starting from the highly reliable motion vector which is the core of the region. A search is made for small regions in the vicinity of 4, and motion vectors determined to be the same or similar in direction and magnitude to the nucleus motion vector are integrated as forming the same region as the nucleus motion vector. As a result, when viewed from a motion vector having an extremely high reliability, the motion that is not extremely high but exists in the range continuously connected by the four-neighbor connection is the same as the motion vector having the extremely high reliability. Possible regions are integrated as the same region.
【００４３】動ベクトルの方向および大きさの類似性の
判定は、例えば、方向については基準となる動ベクトル
の角度（方向）と比較する動ベクトルの角度との差をと
り、この差が予め与えた差の閾値より小さいとき、ま
た、大きさについてはカメラ運動の有無やその小領域上
の画像上での位置を考慮して３次元的にその動ベクトル
の大きさを表す動きの大きさを判断し、基準となる動ベ
クトルの動きの大きさと比較する動ベクトルの動きの大
きさとの差をとり、この差が予め与えた差の閾値より小
さいとき、それぞれ類似していると判定する。なお、例
えば、焦点距離８mmの２／３インチＣＣＤカメラによる
５１２×４３６の大きさの画像に対し１画素の精度で動
ベクトルを算出した場合には、上記角度の閾値は１０°
程度、動きの大きさの閾値は１０ｍとすることができ
る。これらの閾値は、画像の分解能や計算精度を向上さ
せることにより小さくすることができる。The similarity between the directions and the magnitudes of the motion vectors is determined, for example, by taking the difference between the angle (direction) of the reference motion vector and the angle of the motion vector to be compared, and this difference is given in advance. When the difference is smaller than the threshold value of the difference, the magnitude of the motion that three-dimensionally represents the magnitude of the motion vector in consideration of the presence or absence of camera motion and the position on the image in the small area. Then, the difference between the magnitude of the motion of the reference motion vector and the magnitude of the motion of the motion vector to be compared is determined. When the difference is smaller than a predetermined threshold value of the difference, it is determined that they are similar to each other. For example, when a motion vector is calculated with an accuracy of one pixel for an image of 512 × 436 with a 2/3 inch CCD camera having a focal length of 8 mm, the threshold value of the angle is 10 °.
The degree and the magnitude threshold of the movement can be 10 m. These thresholds can be reduced by improving the resolution and calculation accuracy of the image.
【００４４】この領域統合装置２４による統合の様子を
図１２、図１３、図１７を参照して説明する。The state of integration by the area integration device 24 will be described with reference to FIGS. 12, 13 and 17.
【００４５】移動物体の実際の動きが図１２（ａ）の矢
印で示すようであるとすると、動ベクトル検出装置１６
で検出される動ベクトルのは図１２（ｂ）に示すよう
に、ノイズや誤差を含んだものとなる。信頼度検出装置
１８で検出される信頼度の分布は図１２（ｃ）に示すよ
うになり、信頼度が非常に低い動ベクトルは上記低信頼
度動ベクトル判定装置２０によって除去され、信頼度が
非常に高い動ベクトルは高信頼度動ベクトル判定装置２
２によって検出され、信頼度が非常に高い動ベクトルを
有する小領域が図１３（ａ）に示すようにまばらに求め
られる。Assuming that the actual movement of the moving object is as shown by the arrow in FIG.
As shown in FIG. 12 (b), the motion vector detected by (1) includes noise and error. The distribution of the reliability detected by the reliability detection device 18 is as shown in FIG. 12C, and the motion vector having a very low reliability is removed by the low reliability motion vector determination device 20 and the reliability is reduced. An extremely high motion vector is a highly reliable motion vector determination device 2.
2, small areas having motion vectors with extremely high reliability are sparsely obtained as shown in FIG.
【００４６】このように求められた高信頼度の動ベクト
ルを有する小領域（図１７（ａ）に示す１の小領域）の
４近傍の小領域を探索し（図１７（ａ））、その中心の
動ベクトルと方向および大きさが同一または類似の動ベ
クトルがあれば、それを同一領域に属するものとして統
合し（図１７（ｂ），（ｃ））、順次、統合された動ベ
クトルが図１７（ｃ）に示す２の小領域）の４近傍の小
領域の有する動ベクトルが図１７（ａ）に示す１の小領
域の信頼度が非常に高い動ベクトルと方向および大きさ
が同一または類似であれば、同じ領域を形成するものと
して統合する（図１７（ｄ），（ｅ））。この手順を統
合された全ての動ベクトルの４近傍に図１７（ａ）の１
の小領域が存在しなくなるまで繰り返す。A search is made for four small areas (FIG. 17 (a)) in the vicinity of the small area (the small area shown in FIG. 17 (a)) having the motion vector of high reliability obtained in this way. If there is a motion vector having the same or similar direction and magnitude as the center motion vector, it is integrated as belonging to the same area (FIGS. 17B and 17C), and the integrated motion vectors are sequentially The motion vectors of the four sub-regions near the four sub-regions (the two sub-regions shown in FIG. 17C) have the same direction and magnitude as the motion vector of the one sub-region shown in FIG. Or, if they are similar, they are integrated as forming the same area (FIGS. 17D and 17E). This procedure is performed in the vicinity of 4 of all the integrated motion vectors, as shown in FIG.
Is repeated until the small area no longer exists.
【００４７】このような手順で小領域を統合していく
と、図１３（ｂ）に示すように領域が統合されていき、
最終的に図１３（ｃ）に示すように領域が統合される。
なお、この信頼度が非常に低い動ベクトルは低信頼度動
ベクトル判定手段２０で除去されているので、４近傍の
うち信頼度が非常に低い動ベクトルを有する小領域に関
しては始めから判定を行う必要はない。When the small areas are integrated in such a procedure, the areas are integrated as shown in FIG.
Finally, the areas are integrated as shown in FIG.
Since the motion vector with a very low reliability has been removed by the low reliability motion vector determination means 20, a determination is made from the beginning on a small region having a motion vector with a very low reliability among the four neighborhoods. No need.
【００４８】移動物体領域検出装置２６では、図１３
（ｃ）に示すように統合された各領域の動ベクトルの大
きさを判断し、大きさが０でない領域を移動物体領域と
して出力する。なお、このとき動ベクトルの方向も同時
に判断すれば移動物体領域の移動方向に関する情報も出
力できる。In the moving object area detecting device 26, FIG.
As shown in (c), the magnitude of the motion vector of each integrated area is determined, and an area whose magnitude is not 0 is output as a moving object area. At this time, if the direction of the motion vector is also determined at the same time, information on the moving direction of the moving object area can be output.
【００４９】以上のように本実施例によれば、画像上に
複数の移動物体が存在する場合でも、図１３（ｃ）に示
すように、それらの候補領域を正しく分割することがで
きる。As described above, according to the present embodiment, even when a plurality of moving objects are present on an image, as shown in FIG. 13C, the candidate areas can be correctly divided.
【００５０】本実施例では、信頼度として相関値の最小
値と最小値の次に小さい値との差を用いたが、その他
に、最小値の次に小さい値に対する相関値の最小値の割
合、相関値の最小値の相関値分布の平均値からの突出度
等を用いてもよい。In this embodiment, the difference between the minimum value of the correlation value and the next smallest value is used as the reliability. However, the ratio of the minimum value of the correlation value to the next smallest value of the minimum value is also used. Alternatively, the degree of protrusion of the minimum value of the correlation value from the average value of the correlation value distribution may be used.
【００５１】また、図１０では、動ベクトルを求める小
領域を、互いに重ならないように定めたが、小領域を１
画素ずつ移動させて高い密度で動ベクトルを計算するこ
ともできる。２つの動ベクトルが類似しているかどうか
を判断する基準として、本実施例では動ベクトルの方向
および大きさを用いたが、動ベクトルの方向のみを用い
てもよく、またカメラの運動によって加わる成分を予測
または測定し、その成分との相違性を比較の基準に加え
ても良い。Further, in FIG. 10, the small regions for which the motion vectors are obtained are determined so as not to overlap each other.
It is also possible to calculate a motion vector at a high density by moving each pixel. In this embodiment, the direction and magnitude of the motion vector are used as criteria for determining whether or not two motion vectors are similar. However, only the direction of the motion vector may be used. May be predicted or measured, and the difference with the component may be added as a reference for comparison.
【００５２】次に本発明の第２の実施例における移動物
体検出装置を図１４に示したブロック図を参照して説明
する。なお、図１４において図９と対応する部分には同
一符号を付して説明を省略する。Next, a moving object detecting apparatus according to a second embodiment of the present invention will be described with reference to the block diagram shown in FIG. In FIG. 14, portions corresponding to those in FIG. 9 are denoted by the same reference numerals, and description thereof is omitted.
【００５３】本実施例は第１実施例の高信頼度動ベクト
ル判定装置２２に代えて、高信頼度領域検出装置２８を
設けたものである。In this embodiment, a high-reliability area detecting device 28 is provided in place of the high-reliability motion vector determining device 22 of the first embodiment.
【００５４】図１４において、低信頼度動ベクトル判定
装置２０は、第１実施例と同様に、各々の動ベクトルの
信頼度を予め設定した第２の閾値と比較し、信頼度が非
常に低く、領域統合に用いる動ベクトルとして適さない
動ベクトルを判定し、領域統合装置２４の入力となる動
ベクトル群から除去して残りの動ベクトルを信頼度と共
に出力する。領域統合装置２４は、低信頼度動ベクトル
判定装置２０から出力された、非常に信頼度の低い動ベ
クトルを除いた動ベクトルの配列を走査することにより
領域を統合する。すなわち、画面の左より右へ、さらに
上より下へ順に走査し、注目領域の動ベクトルが、注目
領域の左側（すなわち１つ前）に位置している小領域の
動ベクトルと同一または類似しているかどうか、注目領
域の上側（すなわち１走査ライン前）に位置している小
領域の動ベクトルと同一または類似しているかどうかを
逐次判断し、動ベクトルが同一または類似の小領域が同
じ領域に含まれるように領域統合を行うことで、画面全
体の領域分割を行う。このとき、各小領域に対応してそ
の小領域に属する領域のラベルにあわせて各動ベクトル
の信頼度も記憶される。In FIG. 14, the low-reliability motion vector determination device 20 compares the reliability of each motion vector with a preset second threshold value and determines that the reliability is very low, as in the first embodiment. Then, a motion vector that is not suitable as a motion vector used for area integration is determined, removed from a group of motion vectors to be input to the area integration device 24, and the remaining motion vectors are output together with reliability. The region integrating device 24 integrates regions by scanning an array of motion vectors excluding the extremely low reliability motion vectors output from the low reliability motion vector determination device 20. That is, scanning is performed from the left to the right of the screen in order from the top to the bottom, and the motion vector of the attention area is the same as or similar to the motion vector of the small area located on the left side (that is, immediately before) of the attention area. It is determined sequentially whether the motion vector is the same or similar to the motion vector of the small area located above the target area (that is, one scan line before), and the small area having the same or similar motion vector is the same area. By performing region integration so as to be included in, the entire screen is divided into regions. At this time, the reliability of each motion vector is also stored corresponding to each small region in accordance with the label of the region belonging to the small region.
【００５５】また、領域統合を行うとき図１８（ａ）に
示すような領域のラベルを記憶する配列状のメモリのほ
かに、新しい領域が見つかる毎にチェーン構造のリスト
を追加し、動ベクトルの追加、既に上の行で形成さ
れていた領域とのマージ、マージを行った後の新しく
作りかけていた部分の領域のリストからの削除、を動的
に行うリストを保持し適宣更新を行う。When region integration is performed, a chain structure list is added every time a new region is found, in addition to an array-like memory for storing region labels as shown in FIG. Adds, merges with the area already formed in the line above, and deletes the newly created part from the list of areas after the merge is performed. .
【００５６】たとえば、図１８（ａ）に示すようにｖが
領域４に属すると判断され（状態１）、さらに領域３に
属する動ベクトルとも類似していると判断されたとき
（状態２）、領域４を領域３にマージし（状態３）、領
域４をリストから削除する（状態）。For example, as shown in FIG. 18A, when it is determined that v belongs to the area 4 (state 1), and it is also determined that v is similar to the motion vector belonging to the area 3 (state 2), The area 4 is merged with the area 3 (state 3), and the area 4 is deleted from the list (state).
【００５７】このとき、図１８（ａ）に示すような、領
域のラベルの記憶領域には、領域のマージや消去が起こ
った時点で過去の位置のラベルを書き換えてもよいが、
別に領域４＝領域３という関係を記憶しておき領域統合
終了時に修正を行ってもよい。At this time, the label at the past position may be rewritten in the storage area of the label of the area as shown in FIG.
Separately, the relationship of region 4 = region 3 may be stored, and correction may be made at the end of region integration.
【００５８】一方、図１８（ｂ）に示すような、領域統
合と同時に動ベクトルの追加、マージ、消去を動的に行
う現在までの領域のリストを作成し、適宣更新を行う。On the other hand, as shown in FIG. 18 (b), a list of areas up to the present where dynamic addition, merging, and erasure are performed simultaneously with area integration is created and appropriately updated.
【００５９】なお、上記走査方向はこれに限らず、左右
逆であっても、または上下逆であってもよい。The scanning direction is not limited to this, and may be reversed left and right or upside down.
【００６０】本実施例では、小領域配列を１走査した時
点で領域分割が終了するので、統合に要する時間を短縮
することができるとともに、その時間が予測できる。In this embodiment, since the area division ends when one scan of the small area array is performed, the time required for integration can be reduced and the time can be predicted.
【００６１】高信頼度領域検出装置２８は、領域統合装
置２４により統合された領域群の中から信頼性の高い領
域のみを移動物体領域として選択する。すなわち、領域
統合装置２４により統合された統合領域リストの領域群
各々を構成する動ベクトルの信頼度の分布状態を調べ、
各々の領域の信頼性を判定し、高信頼度領域を検出す
る。なお、領域統合装置２４において統合した各領域毎
に領域内の動ベクトルの信頼度の平均値や最高値等を記
憶しておいて、高信頼度領域検出装置２８において信頼
度の平均値等の大きさを判断して高信頼度領域を検出し
てもよい。The high reliability area detection device 28 selects only a highly reliable area from the area group integrated by the area integration apparatus 24 as a moving object area. That is, the distribution state of the reliability of the motion vector configuring each of the regions in the integrated region list integrated by the region integrating device 24 is checked,
The reliability of each area is determined, and a high reliability area is detected. Note that the average value or the maximum value of the reliability of the motion vector in the region is stored for each region integrated by the region integration device 24, and the average value of the reliability or the like is stored in the high reliability region detection device 28. The high reliability area may be detected by judging the size.
【００６２】以上説明したように、第１、第２の実施例
の移動物体検出装置は、時間的に連続する２枚の画像か
ら検出された動ベクトルを統合し、類似した動ベクトル
を統合する際に、極めて信頼性が低い動ベクトルを排除
し、極めて信頼性が高い動ベクトルと、その近傍にあっ
てしかもその動ベクトルと同一または類似しているとい
うことから信頼性が高いと考えられる動ベクトルのみを
用いて領域統合を行うので、各動ベクトルの信頼性およ
び信頼性が所定値以上の動ベクトル相互の位置関係を考
慮して、画像上の移動物体を正確に検出することができ
る次に第３の発明を適用した第３実施例について説明す
る。As described above, the moving object detection devices of the first and second embodiments integrate motion vectors detected from two temporally consecutive images and integrate similar motion vectors. In this case, a motion vector with extremely low reliability is excluded, and a motion vector with extremely high reliability is considered to be highly reliable because it is in the vicinity of the motion vector and is the same or similar to the motion vector. Since the region integration is performed using only the vectors, it is possible to accurately detect the moving object on the image in consideration of the reliability of each motion vector and the positional relationship between the motion vectors whose reliability is a predetermined value or more. Next, a third embodiment in which the third invention is applied will be described.
【００６３】図１５は、本発明の第３実施例の移動物体
検出装置のブロック図を示すものである。図１５におい
て図９と対応する部分には同一符号を付して説明を省略
する。FIG. 15 is a block diagram showing a moving object detecting apparatus according to a third embodiment of the present invention. In FIG. 15, portions corresponding to those in FIG. 9 are denoted by the same reference numerals, and description thereof is omitted.
【００６４】図に示すように、本実施例の移動物体検出
装置は、動ベクトル検出装置１６により検出された動ベ
クトル全体から、カメラの並進運動成分を検出し、並進
運動速度を検出する並進速度検出装置３０、並進速度検
出装置３０より検出されたカメラの並進運動速度から、
その並進運動によって生じる画面上の静止物体の動ベク
トル、すなわちカメラの並進運動による動ベクトルを検
出する動ベクトル検出装置３２を備えている。動ベクト
ル検出装置３２は、並進運動による動ベクトル検出装置
３２により検出されたカメラの並進運動による動ベクト
ルと動ベクトル検出装置１６により検出された動ベクト
ルとから静止物体の動ベクトルを移動状態情報として検
出する移動状態判別装置３４に接続されている。As shown in the figure, the moving object detecting device of this embodiment detects the translational motion component of the camera from the entire motion vector detected by the motion vector detecting device 16 and detects the translational motion speed. From the translational movement speed of the camera detected by the detection device 30 and the translation speed detection device 30,
A motion vector detecting device 32 is provided for detecting a motion vector of a stationary object on the screen caused by the translation, that is, a motion vector due to the translation of the camera. The motion vector detecting device 32 uses the motion vector of the translational motion of the camera detected by the motion vector detecting device 32 of the translational motion and the motion vector detected by the motion vector detecting device 16 as the motion vector of the stationary object as moving state information. It is connected to a moving state determination device 34 for detecting.
【００６５】また、動ベクトル検出装置１６により検出
された動ベクトル全体から、カメラの回転運動成分を検
出し、回転運動速度を検出する回転運動検出装置３６が
設けられており、動ベクトル検出装置１６は、回転運動
検出装置３６より得られたカメラの回転運速度から、そ
の回転運動によって生じる画面上の動ベクトル、すなわ
ちカメラの回転運動による動ベクトルを検出する動ベク
トル検出装置３８に接続されている。回転運動による動
ベクトルを検出する動ベクトル検出装置３８は、動ベク
トル検出装置３８により検出されたカメラの回転運動に
よる動ベクトルを用いて、動ベクトル検出装置１６によ
り検出された動ベクトルの回転運動成分をキャンセルす
るように補正するカメラ回転運動の補正装置４０に接続
されている。A rotational motion detector 36 is provided for detecting the rotational motion component of the camera from the entire motion vector detected by the motion vector detector 16 and detecting the rotational motion speed. Is connected to a motion vector detection device 38 that detects a motion vector on the screen caused by the rotation motion, that is, a motion vector due to the rotation motion of the camera, from the rotation speed of the camera obtained by the rotation motion detection device 36. . The motion vector detection device 38 that detects a motion vector due to the rotation motion uses a motion vector due to the rotation motion of the camera detected by the motion vector detection device 38 to generate a rotational motion component of the motion vector detected by the motion vector detection device 16. Is connected to a camera rotational motion correcting device 40 that corrects so as to cancel.
【００６６】以上のように構成された第３の実施例の移
動物体検出装置では、並進速度検出装置３０にて動ベク
トル検出装置１６により検出された動ベクトル全体の方
向成分の分布より、カメラの水平移動、垂直移動、前進
移動または後退移動の有無、すなわち並進運動の有無を
推定し、カメラの並進速度を検出する。なお、並進速度
は、カメラ等に取り付けたセンサ等により検出してもよ
い。並進速度による動ベクトル検出手段３２では、画面
上の物体が全て静止していると仮定した場合に得られる
動ベクトルの方向を計算する。移動状態判別装置３４に
おいて、並進速度による動ベクトル検出手段３２によっ
て計算された動ベクトルの方向と、動ベクトル検出装置
１６により検出された動ベクトルの方向と比較すること
により、動ベクトル検出装置１６により得られた動ベク
トルが、カメラの並進運動によって生じているのか、カ
メラの並進運動とは無関係に移動している物体によって
生じているのかを判断して移動状態情報を出力する。In the moving object detecting apparatus of the third embodiment configured as described above, the distribution of the directional components of the entire motion vector detected by the motion vector detecting device 16 by the translation speed detecting device 30 is used to determine the camera position. The presence / absence of horizontal movement, vertical movement, forward movement or backward movement, that is, the presence / absence of translation movement is estimated, and the translation speed of the camera is detected. Note that the translation speed may be detected by a sensor or the like attached to a camera or the like. The motion vector detecting means 32 based on the translation speed calculates the direction of the motion vector obtained when it is assumed that all the objects on the screen are stationary. The moving state discriminating device 34 compares the direction of the motion vector calculated by the motion vector detecting means 32 based on the translation speed with the direction of the motion vector detected by the motion vector detecting device 16 so that the motion vector detecting device 16 It is determined whether the obtained motion vector is generated by the translational motion of the camera or by the moving object irrespective of the translational motion of the camera, and the moving state information is output.
【００６７】領域統合装置２４では、統合された領域群
を構成する動ベクトルに対して移動状態情報を用いて移
動状態の判別を行い、得られた領域がそれぞれ静止物体
領域であるか移動物体領域であるかを判断し、カメラの
並進運動とは独立した運動をしている移動物体を、カメ
ラ運動によって生じる領域から分離して検出する。The region integrating device 24 determines the moving state of the motion vectors constituting the integrated region group using the moving state information, and determines whether the obtained region is a stationary object region or a moving object region. Is determined, and a moving object performing a motion independent of the translational motion of the camera is detected separately from an area generated by the camera motion.
【００６８】また、回転運動検出装置３６において、動
ベクトル検出装置１６により検出された動ベクトルの方
向成分の分布を求め、図１６に示すような成分から構成
されるカメラの回転運動成分が画像全体の動ベクトルに
一定に加わった場合に、それを検出する。なお、回転速
度は、カメラ等に取り付けたセンサ等により検出したカ
メラ回転角度から求めてもよい。カメラ回転運動の補正
装置４０は、回転運動による動ベクトル検出装置３８に
よって得られた回転運動による動ベクトルを用いて、画
面全体の動ベクトルに加わった成分をキャンセルするよ
うに動ベクトルを補正する。The rotational motion detecting device 36 determines the distribution of the directional component of the motion vector detected by the motion vector detecting device 16, and the rotational motion component of the camera composed of the components shown in FIG. Is detected when the motion vector is constantly added. Note that the rotation speed may be obtained from a camera rotation angle detected by a sensor or the like attached to the camera or the like. The camera rotational motion corrector 40 corrects the motion vector so as to cancel components added to the motion vector of the entire screen using the motion vector due to the rotational motion obtained by the motion vector detector 38 according to the rotational motion.
【００６９】例えば、カメラの振動等によって画面全体
に一定の縦方向成分、つまり図１６におけるtilt成分が
加わった場合、本来静止しているはずの領域にも全体に
小さな縦方向成分が現れることになる。信頼性の高い領
域の存在する位置の時間的な連続性や位置の拘束性を考
慮して不自然な成分が画面全体に一定に存在する時、ま
た静止して見えるべき領域すなわち大きさが０の動ベク
トルが観測されるべき位置で、大きさ、方向が一定の動
ベクトルが観測された時、その振動成分を除去するよう
な補正を画面全体の動ベクトルに適用する。For example, when a constant vertical component, that is, a tilt component in FIG. 16, is added to the entire screen due to the vibration of the camera or the like, a small vertical component appears entirely in an area that should be stationary. Become. Considering the temporal continuity of the position where the highly reliable region exists and the constraint of the position, when an unnatural component is constantly present on the entire screen, or the region that should be seen as still, that is, the size is 0 When a motion vector having a constant magnitude and direction is observed at a position where the motion vector is to be observed, a correction for removing the vibration component is applied to the motion vector of the entire screen.
【００７０】[0070]
【発明の効果】以上説明したように本発明によれば、画
面上で求めた誤差を含んだ動ベクトルが多い動ベクトル
分布に基づき、各動ベクトルの信頼性が所定値以上の動
ベクトル相互の位置関係を考慮して領域を統合している
ので、画像上の移動物体を正確に検出することができ
る、という効果が得られる。As described above, according to the present invention, based on a motion vector distribution having a large number of motion vectors including an error obtained on the screen, the reliability of each motion vector is equal to or greater than a predetermined value. Since the regions are integrated in consideration of the positional relationship, it is possible to obtain an effect that a moving object on an image can be accurately detected.
【図１】動ベクトルを用いて領域統合する従来装置のブ
ロック図である。FIG. 1 is a block diagram of a conventional apparatus for integrating regions using motion vectors.
【図２】動ベクトルと信頼度とを用いて領域統合する従
来装置のブロック図である。FIG. 2 is a block diagram of a conventional device that performs area integration using a motion vector and reliability.
【図３】（ａ）、（ｂ）、（ｃ）、（ｄ）従来技術の１
時刻前の画像、所定時刻の画像、実際の動き、動ベクト
ルの分布を示す線図である。FIGS. 3 (a), (b), (c), (d) Conventional art 1
FIG. 3 is a diagram illustrating distribution of an image before time, an image at a predetermined time, actual motion, and a motion vector.
【図４】（ａ）、（ｂ）、（ｃ）は従来技術の領域統合
状態の様子を示す線図である。FIGS. 4A, 4B, and 4C are diagrams showing a state of a region integration state according to the related art.
【図５】請求項１の発明のブロック図ある。FIG. 5 is a block diagram according to the first embodiment of the present invention;
【図６】その他の発明中の第１の発明のブロック図であ
る。FIG. 6 is a block diagram of a first invention among other inventions.
【図７】その他の発明中の第２の発明のブロック図であ
る。FIG. 7 is a block diagram of a second invention in another invention.
【図８】その他の発明中の第３の発明のブロック図であ
る。FIG. 8 is a block diagram of a third invention in another invention.
【図９】本発明の第１実施例のブロック図である。FIG. 9 is a block diagram of a first embodiment of the present invention.
【図１０】（ａ）は原画像を示す線図であり、（ｂ）は
原画像を単位小領域に分割した状態を示す線図である。10A is a diagram illustrating an original image, and FIG. 10B is a diagram illustrating a state in which the original image is divided into unit small areas.
【図１１】（ａ）は１時刻前の画像の注目領域と周辺領
域とを示す線図であり、（ｂ）は所定時刻の画像の相関
値が最小となる領域を示す線図である。11A is a diagram illustrating a region of interest and a peripheral region of an image one time before, and FIG. 11B is a diagram illustrating a region where the correlation value of the image at a predetermined time is minimum.
【図１２】（ａ）、（ｂ）、（ｃ）は実際の動き、動ベ
クトルおよび信頼度の分布を示す線図である。FIGS. 12A, 12B and 12C are diagrams showing distributions of actual motion, motion vector and reliability.
【図１３】（ａ）、（ｂ）、（ｃ）は領域統合状態の様
子を示す線図である。FIGS. 13A, 13B, and 13C are diagrams illustrating a state of a region integration state.
【図１４】本発明の第２実施例のブロック図である。FIG. 14 is a block diagram of a second embodiment of the present invention.
【図１５】本発明の第３実施例のブロック図である。FIG. 15 is a block diagram of a third embodiment of the present invention.
【図１６】カメラの回転運動成分を示す線図である。FIG. 16 is a diagram showing a rotational motion component of the camera.
【図１７】（ａ）、（ｂ）、（ｃ）、（ｄ）は領域統合
過程の様子を示す線図である。FIGS. 17 (a), (b), (c), and (d) are diagrams showing a state of a region integration process.
【図１８】（ａ）は領域ラベルの配列を示す線図であ
り、（ｂ）は領域リストの更新を示す線図である。18A is a diagram illustrating an array of area labels, and FIG. 18B is a diagram illustrating updating of an area list.
１６ 動ベクトル検出装置 １８ 信頼度検出装置 ２０ 低信頼度動ベクトル判定装置 ２２ 高信頼度動ベクトル判定装置 ２４ 領域統合装置 Reference Signs List 16 motion vector detection device 18 reliability detection device 20 low reliability motion vector determination device 22 high reliability motion vector determination device 24 area integration device
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平５−75987（ＪＰ，Ａ) 特開 平２−118884（ＪＰ，Ａ) 特開 平４−148283（ＪＰ，Ａ) 特開 平４−26283（ＪＰ，Ａ) 特開 平３−48372（ＪＰ，Ａ) (58)調査した分野(Int.Cl.7，ＤＢ名) G06T 7/00 - 7/60 G06T 1/00 H04N 7/18 H04N 7/24 - 7/68 ────────────────────────────────────────────────── ─── Continuation of the front page (56) References JP-A-5-75987 (JP, A) JP-A-2-118888 (JP, A) JP-A-4-148283 (JP, A) JP-A-4-148 26283 (JP, A) JP-A-3-48372 (JP, A) (58) Fields investigated (Int. Cl. 7 , DB name) G06T 7 /00-7/60 G06T 1/00 H04N 7/18 H04N 7/24-7/68
Claims (1)
前の画像とから画面上の動ベクトルの分布および該動ベ
クトルに対する信頼度の分布を検出する動ベクトル・信
頼度検出手段と、 前記検出された信頼度の分布に基づいて信頼度が予め設
定した第１の閾値より高い動ベクトルを初期動ベクトル
として抽出する初期動ベクトル抽出手段と、 前記検出された信頼度の分布に基づいて信頼度が予め前
記第１の閾値より小さな値に設定した第２の閾値より低
い動ベクトルを除去して信頼度が第２の閾値以上の動ベ
クトルを出力するベクトル除去手段と、 前記初期動ベクトルを備えた位置の周辺の領域を検索す
ることにより、前記初期動ベクトルと同一または類似し
た動ベクトルをベクトル除去手段より出力された動ベク
トルの中から抽出し、抽出した動ベクトルを備えた位置
を統合して領域を求める領域統合手段と、 を含む移動物体検出装置。1. A motion vector / reliability detecting means for detecting a distribution of motion vectors on a screen and a distribution of reliability for the motion vectors from an image at a predetermined time and an image unit time before the predetermined time, and Initial motion vector extracting means for extracting, as an initial motion vector, a motion vector having a reliability higher than a first threshold value set in advance based on the distribution of the reliability, and a reliability based on the distribution of the detected reliability. Comprises a vector removing unit that removes a motion vector lower than a second threshold value set in advance to a value smaller than the first threshold value and outputs a motion vector having a reliability equal to or higher than a second threshold value, and the initial motion vector. By searching for a region around the set position, a motion vector that is the same as or similar to the initial motion vector is extracted from the motion vectors output from the vector removing unit, and extracted. A moving object detecting device, comprising: a region integrating means for obtaining a region by integrating positions provided with the obtained motion vectors.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP27711093A JP3321936B2 (en) | 1993-11-05 | 1993-11-05 | Moving object detection device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP27711093A JP3321936B2 (en) | 1993-11-05 | 1993-11-05 | Moving object detection device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH07129777A JPH07129777A (en) | 1995-05-19 |
| JP3321936B2 true JP3321936B2 (en) | 2002-09-09 |
Family
ID=17578928
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP27711093A Expired - Fee Related JP3321936B2 (en) | 1993-11-05 | 1993-11-05 | Moving object detection device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3321936B2 (en) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4016227B2 (en) * | 1998-01-07 | 2007-12-05 | ソニー株式会社 | Image processing apparatus and method, and recording medium |
| JP4223233B2 (en) * | 2002-05-29 | 2009-02-12 | パナソニック株式会社 | Moving object detection apparatus and moving object detection method |
| JP2006134035A (en) * | 2004-11-05 | 2006-05-25 | Fuji Heavy Ind Ltd | Moving object detecting device and moving object detecting method |
| JP4490794B2 (en) * | 2004-11-18 | 2010-06-30 | 日本電信電話株式会社 | Moving body contour extraction method and apparatus, and moving body contour extraction program |
| JP2007148647A (en) * | 2005-11-25 | 2007-06-14 | Sumitomo Electric Ind Ltd | Two-wheel vehicle detecting device, signal control system, two-wheel vehicle detecting system, two-wheel vehicle detecting method, and computer program |
| JP4694993B2 (en) * | 2006-03-16 | 2011-06-08 | 富士重工業株式会社 | Correlation evaluation system and correlation evaluation method |
| JP4545211B2 (en) * | 2008-10-06 | 2010-09-15 | パナソニック株式会社 | Moving object detection device |
| WO2011013281A1 (en) * | 2009-07-29 | 2011-02-03 | パナソニック株式会社 | Mobile body detection method and mobile body detection apparatus |
| JP7357836B2 (en) * | 2019-12-17 | 2023-10-10 | 株式会社竹中工務店 | Image processing device and image processing program |
-
1993
- 1993-11-05 JP JP27711093A patent/JP3321936B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH07129777A (en) | 1995-05-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8170368B2 (en) | Correcting device and method for perspective transformed document images | |
| US7783118B2 (en) | Method and apparatus for determining motion in images | |
| JP4157620B2 (en) | Moving object detection apparatus and method | |
| US7565029B2 (en) | Method for determining camera position from two-dimensional images that form a panorama | |
| US10636165B2 (en) | Information processing apparatus, method and non-transitory computer-readable storage medium | |
| US20100118156A1 (en) | Image processing apparatus, image pickup apparatus and image processing method | |
| US6784927B1 (en) | Image processing apparatus and image processing method, and storage medium | |
| US10721431B2 (en) | Method for estimating a timestamp in a video stream and method of augmenting a video stream with information | |
| JPH0935061A (en) | Image processing method | |
| US20070025592A1 (en) | Target-region detection apparatus, method and program | |
| JP3321936B2 (en) | Moving object detection device | |
| JP2996657B2 (en) | Motion detection apparatus and method using gradation pattern matching | |
| US5621825A (en) | Image processor, image processing method and apparatus applying same | |
| JPH11195127A (en) | Method for recognizing white line and device therefor | |
| KR20120138642A (en) | Image processing method and image processing apparatus | |
| JPH10134193A (en) | Method and device for calculating moving vector | |
| US6650362B1 (en) | Movement detecting apparatus with feature point extractor based on luminance gradient in current frame | |
| JP2006215655A (en) | Method, apparatus, program and program storage medium for detecting motion vector | |
| JP4133246B2 (en) | Image deformation information generation apparatus, image deformation information generation method, and image deformation information generation program | |
| JP3230509B2 (en) | Moving image processing device | |
| JP3421456B2 (en) | Image processing device | |
| JPH06168331A (en) | Patter matching method | |
| JPH11190611A (en) | Three-dimensional measuring method and three-dimensional measuring processor using this method | |
| JP3020299B2 (en) | Motion vector detection device | |
| JPH08195956A (en) | Moving amount detection method and moving amount detector |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |