JP4314929B2 - Motion detection device - Google Patents
Motion detection device Download PDFInfo
- Publication number
- JP4314929B2 JP4314929B2 JP2003298483A JP2003298483A JP4314929B2 JP 4314929 B2 JP4314929 B2 JP 4314929B2 JP 2003298483 A JP2003298483 A JP 2003298483A JP 2003298483 A JP2003298483 A JP 2003298483A JP 4314929 B2 JP4314929 B2 JP 4314929B2
- Authority
- JP
- Japan
- Prior art keywords
- moving object
- image
- unit
- moving
- wide
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Description
本発明は、ビデオカメラ等の撮影装置で撮影される画像から動体を検出し追跡するための動体検出装置に関する。 The present invention relates to a moving object detection apparatus for detecting and tracking a moving object from an image photographed by a photographing apparatus such as a video camera.
人物を動体として検出して追跡する動体検出装置は、建物の入口でのビデオ監視システムや駅構内等における歩行者計測システム等、様々な用途に広く用いられている。 2. Description of the Related Art A moving object detection apparatus that detects and tracks a person as a moving object is widely used in various applications such as a video monitoring system at a building entrance and a pedestrian measurement system in a station.
図１５は、このような従来の動体検出装置の構成の一例を示すブロック図である。従来の動体検出装置１１００においては、カメラ１１０１において撮影されたビデオ画像がフレーム毎にビデオメモリ１１０２に記憶される。各フレームは、ピーク検出部１１０３で処理されて、物体の輪郭（エッジ）の極大位置を特定することにより、フレーム中で極大位置を含む領域を人物領域として特定する。 FIG. 15 is a block diagram showing an example of the configuration of such a conventional moving object detection apparatus. In the conventional moving object detection apparatus 1100, the video image captured by the camera 1101 is stored in the video memory 1102 for each frame. Each frame is processed by the peak detection unit 1103, and the maximum position of the contour (edge) of the object is specified, so that an area including the maximum position in the frame is specified as a person area.
次に、ピーク検出部１１０３で特定された人物領域が、ピーク追跡部１１０４によって複数の連続したフレームにわたって追跡される。識別部１１０５は、移動する人物領域の軌跡にもとづいて、その動き方の違いを利用して人物と他の動体とを識別する。そしてカウンタ１１０６が求められる人物の数を出力する（例えば、特許文献１を参照。）。
しかしながら、このような従来の動体検出装置においては、動体検出装置に搭載されるカメラは１台であったので、例えば広角視野のカメラを用いた場合にはフレーム中の探知された人物は小さく撮影されてしまい、人相の確認や顔認証等の後処理を行うことが難しかった。逆に、視野の狭い狭角の望遠レンズを搭載したカメラを用いた場合には、拡大された解像度の高い人物の画像を得ることができるが、人物の追跡はカメラの画角内、つまり狭い視野領域内に限定されるので、広域にわたる人物の検出や追跡は難しかった。
また、広角視野のカメラを用いた従来の動体検出装置においては、図３（ａ）に示すように２人の人物が互いに重なってしまい、広角画像の中で人物を正しくカウントされている否かを知ることが出来なかった。
However, in such a conventional moving object detection device, since there is one camera mounted on the moving object detection device, for example, when a wide-angle field of view camera is used, the detected person in the frame is photographed small. Therefore, it was difficult to perform post-processing such as confirmation of human phase and face authentication. Conversely, when a camera equipped with a narrow-angle telephoto lens with a narrow field of view is used, an enlarged image of a person with high resolution can be obtained. However, tracking of a person is within the angle of view of the camera, that is, narrowly. Since it is limited within the field of view, it is difficult to detect and track people over a wide area.
Further, in the conventional moving object detection apparatus using the wide-angle field of view camera, as shown in FIG. 3A, two persons overlap each other, and whether or not the persons are correctly counted in the wide-angle image is determined. I could not know.
本発明はこのような課題に鑑みてなされたもので、広域における動体検出と解像度の高い動体の画像の出力とを同時に実現することができる動体検出装置を提供することを目的とする。
また、広角視野のカメラで撮影された画像において人物が重なっているか否かを確認することにより、広角画像の中で人物が正しくカウントされているか否かを知ることを目的とする。
The present invention has been made in view of such problems, and an object of the present invention is to provide a moving object detection apparatus that can simultaneously realize moving object detection in a wide area and output of a moving object image with high resolution.
It is another object of the present invention to know whether or not a person is correctly counted in a wide-angle image by confirming whether or not the person is overlapped in an image taken with a wide-angle visual field camera.
このような課題を解決するために、本発明の動体検出装置は、広角画像を撮影する第１の撮影部と、前記広角画像よりも狭い画角の狭角画像を撮影する第２の撮影部と、前記広角画像中における動体の位置を検出する動***置検出部と、前記動***置検出部で検出された前記動体の位置にもとづいて、所定時間後における前記広角画像中の前記動体の移動位置を予測する動***置予測部と、前記動体の移動位置にもとづいて、前記広角画像から前記動体を含む目標領域内の動体画像を切り出す動体画像切出部と、前記切り出された動体画像から前記動体の特徴を示す特徴画像情報を作成する特徴画像情報作成部と、前記特徴画像情報に対応する前記目標領域内の前記広角画像から第１のヒストグラムを作成する第１のヒストグラム作成部と、前記動***置予測部で予測された前記動体の位置の情報にもとづいて、前記第２の撮影部が前記動体を視野に捉えるように、前記第２の撮影部の位置または方向を移動させる移動部と、前記第１の撮像部の倍率と前記第２の撮像部の倍率とから画像を拡大する拡大倍率を求め、前記狭角画像内に前記目標領域を前記拡大倍率だけ拡大した照合領域を設定する照合領域設定部と、前記特徴画像情報に対応する前記照合領域内の前記狭角画像から第２のヒストグラムを作成する第２のヒストグラム作成部と、前記第１のヒストグラムと前記第２のヒストグラムとを照合し照合度合いを出力する照合部とを備えた構成を有している。 In order to solve such a problem, the moving object detection apparatus of the present invention includes a first imaging unit that captures a wide-angle image and a second imaging unit that captures a narrow-angle image having a narrower angle of view than the wide-angle image. And a moving object position detecting unit for detecting a position of the moving object in the wide-angle image, and a moving position of the moving object in the wide-angle image after a predetermined time based on the position of the moving object detected by the moving object position detecting unit. A moving object position prediction unit that predicts the moving object, a moving object image cutout unit that cuts out a moving object image in a target area including the moving object from the wide-angle image based on the moving position of the moving object, and the moving object from the extracted moving object image A feature image information creating unit that creates feature image information indicating a feature of the first image, a first histogram creating unit that creates a first histogram from the wide-angle image in the target area corresponding to the feature image information, Based on the information on the position of the moving object predicted by the moving object position prediction unit, the moving unit moves the position or direction of the second imaging unit so that the second imaging unit captures the moving object in the field of view. And an enlargement magnification for enlarging the image from the magnification of the first imaging unit and the magnification of the second imaging unit, and setting a collation area in which the target area is enlarged by the enlargement magnification in the narrow-angle image A collation area setting section that performs a second histogram creation section that creates a second histogram from the narrow-angle image in the collation area corresponding to the feature image information, the first histogram, and the second histogram. And a collation unit that outputs a collation degree.
このような構成により、広角画像と狭角画像を比較することにより、広角視野のカメラで撮影された画像において人物が重なっているか否かを確認することができ、広角画像の中での人物のカウントが正しいか否かを知ることが出来る。 With such a configuration, by comparing the wide-angle image and the narrow-angle image, it is possible to confirm whether or not the person is overlapped in the image taken by the wide-angle field of view camera. You can know if the count is correct.
また、本発明の動体検出方法は、広角画像を撮影する第１の撮影ステップと、前記広角画像よりも狭い画角の狭角画像を撮影する第２の撮影ステップと、前記広角画像中における動体の位置を検出する動***置検出ステップと、前記動***置検出ステップで検出された前記動体の位置にもとづいて、所定時間後における前記広角画像中の前記動体の移動位置を予測する動***置予測ステップと、前記動体の移動位置にもとづいて、前記広角画像から前記動体を含む目標領域内の動体画像を切り出す動体画像切出ステップと、前記切り出された動体画像から前記動体の特徴を示す特徴画像情報を作成する特徴画像情報作成ステップと、前記特徴画像情報に対応する前記目標領域内の前記広角画像から第１のヒストグラムを作成する第１のヒストグラム作成ステップと、前記動***置予測ステップで予測された前記動体の位置の情報にもとづいて、前記第２の撮影ステップが前記動体を視野に捉えるように、前記第２の撮影ステップの位置または方向を移動させる移動ステップと、前記第１の撮像ステップの倍率と前記第２の撮像ステップの倍率とから画像を拡大する拡大倍率を求め、前記狭角画像内の前記物体の移動位置に前記目標領域を前記拡大倍率だけ拡大した照合領域を設定する照合領域設定ステップと、前記特徴画像情報に対応する前記照合領域内の前記狭角画像から第２のヒストグラムを作成する第２のヒストグラム作成ステップと、前記第１のヒストグラムと前記第２のヒストグラムとを照合し照合度合いを出力する照合ステップとを備えた構成を有している。 Further, the moving object detection method of the present invention includes a first photographing step for photographing a wide-angle image, a second photographing step for photographing a narrow-angle image having a narrower angle of view than the wide-angle image, and a moving object in the wide-angle image. A moving object position detecting step for detecting the position of the moving object, and a moving object position predicting step for predicting a moving position of the moving object in the wide-angle image after a predetermined time based on the position of the moving object detected in the moving object position detecting step. A moving body image cutting step for cutting out a moving body image in a target area including the moving body from the wide-angle image based on the moving position of the moving body, and feature image information indicating characteristics of the moving body from the cut out moving body image. A feature image information creation step to be created, and a first histogram for creating a first histogram from the wide-angle image in the target area corresponding to the feature image information Based on the information on the position of the moving object predicted in the ram creation step and the moving object position prediction step, the position or direction of the second shooting step so that the second imaging step captures the moving object in the field of view. An enlargement magnification for enlarging the image from the moving step for moving the image, the magnification of the first imaging step and the magnification of the second imaging step, and the target region at the moving position of the object in the narrow-angle image A collation area setting step for setting a collation area that is enlarged by the magnification, a second histogram creation step for creating a second histogram from the narrow-angle image in the collation area corresponding to the feature image information, A collation step of collating the first histogram with the second histogram and outputting a collation degree;
このような構成により、広角画像と狭角画像を比較することにより、広角視野のカメラで撮影された画像において人物が重なっているか否かを確認することができ、広角画像の中での人物のカウントが正しいか否かを知ることが出来る。 With such a configuration, by comparing the wide-angle image and the narrow-angle image, it is possible to confirm whether or not the person is overlapped in the image taken by the wide-angle field of view camera. You can know if the count is correct.
以上述べたように、本発明の動体検出装置によれば、広角画像を撮影するマスターカメラと狭角画像を撮影するスレーブカメラとを併用する構成により、広域における動体検出と解像度の高い動体の画像の出力とを同時に実現することができる。
また、広角画像と狭角画像を比較することにより、広角視野のカメラで撮影された画像において人物が重なっているか否かを確認することができ、広角画像の中での人物のカウントが正しいか否かを知ることが出来る。
As described above, according to the moving object detection apparatus of the present invention, a moving object detection in a wide area and a high-resolution moving object image can be achieved by using a master camera that captures a wide-angle image and a slave camera that captures a narrow-angle image. Can be realized at the same time.
In addition, by comparing the wide-angle image and the narrow-angle image, it is possible to confirm whether or not the person is overlapped in the image taken by the camera with the wide-angle field of view, and whether the person count in the wide-angle image is correct. You can know whether or not.
以下、本発明の実施の形態について、図面を用いて詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
（第１の実施の形態）
図１は、本発明の第１の実施の形態における動体検出装置１の構成を示すブロック図である。
(First embodiment)
FIG. 1 is a block diagram showing a configuration of a moving object detection apparatus 1 according to the first embodiment of the present invention.
図１に示したように、本発明の第１の実施の形態における動体検出装置１は、広角画像を撮影するマスターカメラ１０１、マスターカメラ１０１で撮影された広角画像を記憶する第１のビデオメモリ１０２、広角画像よりも狭い画角の狭角画像を撮影するスレーブカメラ１０７、スレーブカメラ１０７によって撮影された画像を記憶する第２のビデオメモリ１０８、マスターカメラ１０１とスレーブカメラ１０７とを離間させるための離間手段１１１、マスターカメラ１０１で撮影された画像中における動体の位置を示す位置情報を決定して動体画像を切り出す画像切出部１０３、後述する方法で位置情報から動体の特徴テンプレート情報を作成する特徴画像情報作成部１２５、動体の位置情報および特徴テンプレート情報を記憶する記憶部１０４、広角画像における動体の移動すべき位置を予測する移動位置予測部１０５、移動位置予測部１０５によって予測された動体の移動先位置に応じて、狭角画像の中に人物を視野に捉えるようにスレーブカメラ１０７を移動させる移動部１０６、狭角画像の中の動体と広角画像から抽出された動体との比較照合を行う照合部１０９、ならびに、広角画像および狭角画像から抽出された動体の画像や動体の検出結果等を表示する表示部１１０を備えている。 As shown in FIG. 1, the moving object detection device 1 according to the first embodiment of the present invention includes a master camera 101 that captures a wide-angle image, and a first video memory that stores a wide-angle image captured by the master camera 101. 102, a slave camera 107 that captures a narrow-angle image having a narrower angle of view than a wide-angle image, a second video memory 108 that stores an image captured by the slave camera 107, and the master camera 101 and the slave camera 107 are separated from each other. Separating means 111, position information indicating the position of the moving object in the image taken by the master camera 101, an image cutout unit 103 that extracts the moving object image, and creates feature template information of the moving object from the position information by a method described later Feature image information creating unit 125, storage unit for storing moving object position information and feature template information 04, a moving position predicting unit 105 that predicts a moving position of the moving object in the wide-angle image, and a person in the narrow-angle image is captured in the field of view according to the moving destination position predicted by the moving position predicting unit 105. A moving unit 106 for moving the slave camera 107, a collating unit 109 for comparing and comparing a moving object in a narrow-angle image and a moving object extracted from a wide-angle image, and a moving object extracted from a wide-angle image and a narrow-angle image A display unit 110 is provided for displaying images, moving object detection results, and the like.
次に、本発明の第１の実施の形態における動体検出装置１の動作について説明する。図２は、本発明の第１の実施の形態における動体検出装置１の動作ステップを説明するための図である。 Next, the operation of the moving object detection device 1 according to the first embodiment of the present invention will be described. FIG. 2 is a diagram for explaining the operation steps of the moving object detection device 1 according to the first embodiment of the present invention.
図２において、動体である人物１００１はマスターカメラ１０１の画角１０４０内を軌跡１００２に沿って動いているものと仮定して説明する。 In FIG. 2, a description will be made assuming that a person 1001 that is a moving object moves along a locus 1002 within the angle of view 1040 of the master camera 101.
マスターカメラ１０１は動画像を撮影し、その各フレーム画像（以下、広角画像と記す）１０１０（Ｎ−ｋ〜Ｎ、以下、カッコ内の記号はフレームの順番を示す）は第１のビデオメモリ１０２に順次記憶され、古い画像は消去されて更新される。 The master camera 101 captures a moving image, and each frame image (hereinafter referred to as a wide-angle image) 1010 (N−K to N, hereinafter, symbols in parentheses indicate the order of the frames) is the first video memory 102. The old images are erased and updated.
まず、画像切出部１０３が、第１のビデオメモリ１０２から広角画像１０１０（Ｎ−ｋ〜Ｎ）の各々のフレーム画像を読み出し、それぞれのフレーム画像において人物の頭部位置１０１１（Ｎ−ｋ〜Ｎ）を位置決めし、それにもとづいて頭部位置１０１１を中心に所定の大きさの画像（以下、人体画像と記す）１０１２（Ｎ−ｋ〜Ｎ）を切り出して出力する（Ｓ１００３）。 First, the image cutout unit 103 reads out each frame image of the wide-angle image 1010 (N−K to N) from the first video memory 102, and the head position 1011 (N−k to N−K) of the person in each frame image. N) is positioned, and based on this, an image (hereinafter referred to as a human body image) 1012 (Nk to N) having a predetermined size centering on the head position 1011 is cut out and output (S1003).
特徴画像情報作成部１２５は切り出された人体画像１０１２（Ｎ−ｋ〜Ｎ）から特徴テンプレート情報１０１３を作成する。特徴テンプレート情報１０１３は、頭部位置１０１１（Ｎ−ｋ〜Ｎ）を用いて作成され、記憶部１０４に格納される。特徴テンプレート情報１０１３の作成方法については、後述する（Ｓ１００４）。 The feature image information creation unit 125 creates feature template information 1013 from the cut human body image 1012 (Nk to N). The feature template information 1013 is created using the head position 1011 (Nk to N) and stored in the storage unit 104. A method of creating the feature template information 1013 will be described later (S1004).
移動位置予測部１０５は、広角画像１０１０（Ｎ−ｋ〜Ｎ）において位置決めされた頭部位置１０１１（Ｎ−ｋ〜Ｎ）から次のフレーム画像である広角画像１０１０（Ｎ＋）における頭部位置１０１９を予測する（Ｓ１００５）（以下、この頭部位置を予測頭部位置と記す）。例えば、予測頭部位置１０１９の予測にはＫａｌｍａｎ ｆｉｌｔｅｒを用いることができる（例えば、参考文献１を参照。）。 The movement position prediction unit 105 performs a head position 1019 in the wide-angle image 1010 (N +) that is the next frame image from the head position 1011 (N-K to N) positioned in the wide-angle image 1010 (Nk to N). (S1005) (hereinafter, this head position is referred to as a predicted head position). For example, a Kalman filter can be used to predict the predicted head position 1019 (see, for example, Reference 1).
参考文献１：Ｍ． Ｒ． ＤｏｂｉｅおよびＰ． Ｈ． Ｌｅｗｉｓ．“Ｔｈｅ ａｐｐｌｉｃａｔｉｏｎ ｏｆ ａ Ｋａｌｍａｎ ｆｉｌｔｅｒ ｔｏ ｏｂｊｅｃｔ ｔｒａｃｋｉｎｇ”１９９２ Ｒｅｓｅａｒｃｈ Ｊｏｕｒｎａｌ，Ｄｅｐａｒｔｍｅｎｔ ｏｆ Ｅｌｅｃｔｒｏｎｉｃｓ ａｎｄ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ，Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｓｏｕｔｈａｍｐｔｏｎ，Ｐａｇｅｓ ４５−４７，１９９２．
移動部１０６は、移動位置予測部１０５で予測された予測頭部位置１０１９にもとづいて、スレーブカメラ１０７に人物１００１を含む領域（画角１０４１）を撮影させるためにスレーブカメラ１０７の方向を変更する。予測頭部位置１０１９にもとづいて、例えばルックアップテーブルを用いて得られた、パン−チルト−ズーム信号が移動位置予測部１０５から移動部１０６に送信される（Ｓ１００６）。
Reference 1: M.M. R. Dobie and P.M. H. Lewis. “The application of a Kalman filter to object tracking”, 1992 Research Journal, Department of Electronics and Computer Science, University out of 47.
Based on the predicted head position 1019 predicted by the movement position prediction unit 105, the movement unit 106 changes the direction of the slave camera 107 in order to cause the slave camera 107 to capture an area (view angle 1041) including the person 1001. . Based on the predicted head position 1019, for example, a pan-tilt-zoom signal obtained using a lookup table is transmitted from the movement position prediction unit 105 to the movement unit 106 (S1006).
スレーブカメラ１０７が所定の位置に移動されると、広角画像１０１０（Ｎ＋）に相当する、マスターカメラ１０１で撮影された新しい広角画像１０２０およびスレーブカメラ１０７で撮影された狭角画像１０１４が、各々第１のビデオメモリ１０２および第２のビデオメモリ１０８から照合部１０９に送られる。 When the slave camera 107 is moved to a predetermined position, a new wide-angle image 1020 photographed by the master camera 101 and a narrow-angle image 1014 photographed by the slave camera 107 corresponding to the wide-angle image 1010 (N +) are respectively displayed. The data is sent from the first video memory 102 and the second video memory 108 to the collation unit 109.
照合部１０９は、まず広角画像１０２０の中で頭部を含む領域を人物領域１０１５として定め、照合のために、記憶部１０４に格納された特徴テンプレート情報１０１３を用いて狭角画像１０１４において、広角画像１０２０の人物領域１０１５に対応する拡大された領域を照合領域１０１６として設定する（Ｓ１００７）。移動位置予測部１０５から出力される予測頭部位置１０１９は、照合部１０９において狭角画像１０１４における照合領域１０１６を設定する際に用いられる。 The collation unit 109 first determines an area including the head in the wide-angle image 1020 as a person area 1015, and uses the feature template information 1013 stored in the storage unit 104 for collation in the narrow-angle image 1014. An enlarged area corresponding to the person area 1015 of the image 1020 is set as the collation area 1016 (S1007). The predicted head position 1019 output from the movement position prediction unit 105 is used when the collation unit 109 sets the collation area 1016 in the narrow-angle image 1014.
照合部１０９は、広角画像１０２０における人物領域１０１５と、狭角画像１０１４における照合領域１０１６との間で照合を行い、その結果、領域間の類似関係が高ければ、両者は一致すると判定する（Ｓ１００８）。 The matching unit 109 performs matching between the person region 1015 in the wide-angle image 1020 and the matching region 1016 in the narrow-angle image 1014. As a result, if the similarity between the regions is high, the matching unit 109 determines that the two match (S1008). ).
表示部１１０は、照合領域１０１６の高解像度な画像１０１８ならびに広角画像１０２０および追跡軌跡１０１７を表示する（Ｓ１００９）。 The display unit 110 displays the high-resolution image 1018, the wide-angle image 1020, and the tracking locus 1017 in the matching area 1016 (S1009).
本発明の第１の実施の形態における動体検出装置１においては、離間手段１１１がスレーブカメラ１０７をマスターカメラ１０１から離間させているので、広角画像１０２０において複数の人物が重なって１つになって見える場合に、その重なりを狭角画像１０１４において知ることができる。この効果について、図３を用いてさらに詳細に説明する。 In the moving body detection apparatus 1 according to the first embodiment of the present invention, the separating unit 111 separates the slave camera 107 from the master camera 101, so that a plurality of persons overlap in the wide-angle image 1020 to become one. When visible, the overlap can be seen in the narrow angle image 1014. This effect will be described in more detail with reference to FIG.
図３（ａ）は、従来の技術で説明したような、カメラを１台備えた動体検出装置において撮影された広角画像７０５の一例である。図３（ａ）に示したように、広角画像７０５においては、２人の人物７０１、７０２をカメラ７０３によって撮影した場合、互いに重なる。一方、本発明の第１の実施の形態における動体検出装置１によれば、図３（ｂ）に示したように、離間手段１１１がマスターカメラ１０１およびスレーブカメラ１０７を所定の距離７０７離間させているので、狭角画像７０６には、複数の人物７０１、７０２が分離して撮影される。この２つの画像を比較することにより、広角画像７０５に撮影された人物が本当に１人であるのか否かを確認することができる。例えば、以降の処理において、広角画像７０５中の人物をカウントするような場合、撮影された人物が確実に１人であるか否かを知ることは重要である。広角画像７０５において１人であるとカウントされても、狭角画像７０６において複数のカウントがされた場合には、追跡すべき人物の設定等、さらに詳しい処理を行う必要が生じる。 FIG. 3A is an example of a wide-angle image 705 photographed by a moving object detection apparatus having one camera as described in the related art. As shown in FIG. 3A, in the wide-angle image 705, when two people 701 and 702 are photographed by the camera 703, they overlap each other. On the other hand, according to the moving body detection apparatus 1 in the first embodiment of the present invention, as shown in FIG. 3B, the separating unit 111 separates the master camera 101 and the slave camera 107 by a predetermined distance 707. Therefore, a plurality of persons 701 and 702 are photographed separately in the narrow-angle image 706. By comparing these two images, it can be confirmed whether or not the person photographed in the wide-angle image 705 is really one person. For example, in the subsequent processing, when counting the number of persons in the wide-angle image 705, it is important to know whether or not the number of photographed persons is one. Even if one person is counted in the wide-angle image 705, if a plurality of counts are counted in the narrow-angle image 706, it is necessary to perform further detailed processing such as setting a person to be tracked.
次に、本発明の第１の実施の形態における動体検出装置１の各構成要素について、さらに詳細に説明する。 Next, each component of the moving body detection device 1 according to the first embodiment of the present invention will be described in more detail.
図４は、本発明の第１の実施の形態における動体検出装置１の画像切出部１０３および特徴画像情報作成部１２５の構成を示すブロック図である。 FIG. 4 is a block diagram showing configurations of the image cutout unit 103 and the feature image information creation unit 125 of the moving object detection device 1 according to the first embodiment of the present invention.
図４に示したように、第１のビデオメモリ１０２から出力された広角画像１０１０は、まず頭部検出部２０１に送られ、人物の頭部中心の位置、すなわち頭部位置１０１１が検出される。頭部検出部２０１で検出された頭部位置１０１１は、移動位置予測部１０５および人物領域切出部２０２に送られる。 As shown in FIG. 4, the wide-angle image 1010 output from the first video memory 102 is first sent to the head detection unit 201 to detect the position of the head of the person, that is, the head position 1011. . The head position 1011 detected by the head detection unit 201 is sent to the movement position prediction unit 105 and the person area extraction unit 202.
続いて人物領域切出部２０２は、頭部検出部２０１で検出された頭部位置１０１１を中心に人体画像１０１２を切り出す。特徴画像情報作成部１２５は、人物領域切出部２０２において複数の広角画像１０１０（Ｎ−ｋ〜Ｎ）から切り出された人体画像１０１２（Ｎ−ｋ〜Ｎ）を用いて、特徴テンプレート情報１０１３を作り出し、特徴テンプレート情報１０１３は記憶部１０４に記憶される。なお、頭部検出部２０１で検出された頭部位置１０１１または人体画像１０１２の情報は、記憶部１０４に記憶される構成であってもよい。 Subsequently, the person region cutout unit 202 cuts out the human body image 1012 around the head position 1011 detected by the head detection unit 201. The feature image information creation unit 125 uses the human body images 1012 (Nk to N) cut out from the plurality of wide-angle images 1010 (Nk to N) by the person region cutout unit 202 to obtain the feature template information 1013. The feature template information 1013 is created and stored in the storage unit 104. The information on the head position 1011 or the human body image 1012 detected by the head detection unit 201 may be stored in the storage unit 104.
頭部検出部２０１および人物領域切出部２０２における画像処理方法についてさらに詳細に説明する。図５は、本発明の第１の実施の形態における頭部検出部２０１および人物領域切出部２０２の動作を説明するための図である。図５（ａ）に示したような広角画像５０１から、頭部検出部２０１は、エッジ検出フィルタ（例えばＳｏｂｅｌ、Ｌａｐｌａｃｉａｎ（例えば、参考文献２を参照。））を用いて、図５（ｂ）に示したような２値化されたエッジマップ５０２を算出して、エッジが連続する線をリンクエッジ５０３として検出する。 The image processing method in the head detection unit 201 and the person area extraction unit 202 will be described in more detail. FIG. 5 is a diagram for explaining the operations of the head detection unit 201 and the person area cutout unit 202 according to the first embodiment of the present invention. From the wide-angle image 501 as shown in FIG. 5A, the head detection unit 201 uses an edge detection filter (for example, Sobel, Laplacian (for example, see Reference 2)) as shown in FIG. The binarized edge map 502 as shown in FIG. 6 is calculated, and a line with continuous edges is detected as the link edge 503.
参考文献２：Ｒ． Ｈａｒａｌｉｃｋ ａｎｄ Ｌ． Ｓｈａｐｉｒｏ，“Ｃｏｍｐｕｔｅｒ ａｎｄ Ｒｏｂｏｔ Ｖｉｓｉｏｎ”，Ｖｏｌ． １，Ａｄｄｉｓｏｎ−Ｗｅｓｌｅｙ Ｐｕｂｌｉｓｈｉｎｇ Ｃｏｍｐａｎｙ，ｐａｇｅｓ ３４６−３５１，１９９２．
図５（ｃ）に示したように、頭部検出部２０１は、広角画像５０１における凸型のリンクエッジ５０３の中心位置を頭頂として頭部位置５０５を推定する。
Reference 2: R.I. Haralick and L.H. Shapiro, “Computer and Robot Vision”, Vol. 1, Addison-Wesley Publishing Company, pages 346-351, 1992.
As shown in FIG. 5C, the head detection unit 201 estimates the head position 505 with the center position of the convex link edge 503 in the wide-angle image 501 as the top of the head.
人物領域切出部２０２は、リンクエッジ５０３により規定された最大輝度領域から図５（ｄ）に示したような所定の大きさの画像を切り出し、人体画像５０６とする。 The person area cutout unit 202 cuts out an image having a predetermined size as shown in FIG. 5D from the maximum luminance area defined by the link edge 503 to obtain a human body image 506.
次に、特徴画像情報作成部１２５における画像処理方法の一例を図６に示す。図６は本発明の第１の実施の形態における動体検出装置１の特徴画像情報作成部１２５の動作を説明するための図である。図６（ａ）に示したような、連続する広角画像５０１（Ｎ−２〜Ｎ）において各フレーム毎に頭部検出部２０１が頭部位置５０５（Ｎ−２〜Ｎ）を決定する。人物領域切出部２０２は、それぞれの広角画像５０１（Ｎ−２〜Ｎ）において、各フレーム毎に人体画像５０６（Ｎ−２〜Ｎ）を切り出す。 Next, an example of an image processing method in the feature image information creation unit 125 is shown in FIG. FIG. 6 is a diagram for explaining the operation of the feature image information creation unit 125 of the moving object detection device 1 according to the first embodiment of the present invention. In the continuous wide-angle images 501 (N−2 to N) as shown in FIG. 6A, the head detection unit 201 determines the head position 505 (N−2 to N) for each frame. The person region cutout unit 202 cuts out the human body image 506 (N-2 to N) for each frame in each wide-angle image 501 (N-2 to N).
特徴画像情報作成部１２５は、図６（ｂ）に示したように、人体画像５０６（Ｎ−２〜Ｎ）の頭部位置５０５（Ｎ−２〜Ｎ）が同じ位置になるように重ねあわせることにより、人体画像５０６の各画素（ｘ，ｙ）における色彩を時刻ｔ方向にならべた３次元データ５２０を生成する。３次元データ５２０の各要素は、色彩値Ｃで色の３要素によって次式のようにあらわされる。 As illustrated in FIG. 6B, the feature image information creation unit 125 superimposes the human body images 506 (N−2 to N) so that the head positions 505 (N−2 to N) are at the same position. As a result, the three-dimensional data 520 in which the colors at the respective pixels (x, y) of the human body image 506 are arranged in the time t direction is generated. Each element of the three-dimensional data 520 is represented by the following equation by the color value C and the three elements of color.
なお、ｒ、ｇ、ｂは各々、赤、緑、青の色要素をあらわす。 Note that r, g, and b represent red, green, and blue color elements, respectively.
この３次元データ５２０から図６（ｃ）に示したような色彩値Ｃの安定性を示す特徴テンプレート情報５１３を作成することができる。特徴テンプレート情報５１３は、〔０，１〕の範囲内の値を持つ２次元関数ｓ（ｘ，ｙ）である。人体画像５０６（Ｎ−２〜Ｎ）は頭部位置５０５（Ｎ−２〜Ｎ）をもとに重ねると、人物の存在しない領域（非人物領域５１４）はｓ（ｘ，ｙ）＝０となる。それ以外の領域は人物領域５１５で、ｓ（ｘ，ｙ）＞０となり、ｓ（ｘ，ｙ）の値が大きくなるに従って、その場所に人物の存在する可能性が高くなる。 Feature template information 513 indicating the stability of the color value C as shown in FIG. 6C can be created from the three-dimensional data 520. The feature template information 513 is a two-dimensional function s (x, y) having a value in the range [0, 1]. When the human body image 506 (N−2 to N) is superimposed based on the head position 505 (N−2 to N), a region where no person exists (non-person region 514) is s (x, y) = 0. Become. The other area is the person area 515, where s (x, y)> 0, and as the value of s (x, y) increases, the possibility that a person exists at that location increases.
なお、この際カメラノイズや人物の動きのために画素の色彩値がフレーム毎に変化するため、ｓ（ｘ，ｙ）は変化する。ｓ（ｘ，ｙ）が、１．０、すなわち最大値となった場合には、その場所に人物がいる可能性が非常に高いことを示す。 At this time, since the color value of the pixel changes for each frame due to camera noise or the movement of a person, s (x, y) changes. When s (x, y) is 1.0, that is, the maximum value, it indicates that there is a very high possibility that there is a person at the place.
人体画像５０６（Ｎ−２〜Ｎ）のそれぞれにおいて、画素（ｘ，ｙ）が人物領域の場合のｓ（ｘ，ｙ）の値は、次に説明するアルゴリズムによって計算される。 In each of the human body images 506 (N−2 to N), the value of s (x, y) when the pixel (x, y) is a person region is calculated by an algorithm described below.
まず、３次元データ５２０を時間軸方向に平均した２次元データ First, two-dimensional data obtained by averaging three-dimensional data 520 in the time axis direction
を求める。 Ask for.
（数２）は、次式に示すように、ｒ、ｇ、ｂの要素を持っている。 (Equation 2) has elements r, g, and b as shown in the following equation.
２次元データにする前に、図７に示すような時空間フィルタ５２１を施すことにより、３次元データＣ（ｃ，ｙ，ｔ）を平滑化した値μ（ｘ，ｙ，ｔ）を求める。図７に示す時空間フィルタ５２１では、フレームの人体画像５０６（Ｎ）のμ（ｘ，ｙ，ｔ）を求める際、ｘｙ方向または時間軸ｔ方向に近いものほど重み付けを大きくしてμ（ｘ，ｙ，ｔ）の値を求める様子を示している。図７では、ブロックの色が濃いほど重み付けが大きいことを示している。 Before making the two-dimensional data, a space-time filter 521 as shown in FIG. 7 is applied to obtain a value μ (x, y, t) obtained by smoothing the three-dimensional data C (c, y, t). In the spatio-temporal filter 521 shown in FIG. 7, when μ (x, y, t) of the human body image 506 (N) of the frame is obtained, the weight is increased as the value is closer to the xy direction or the time axis t direction, and μ (x , Y, t). In FIG. 7, the darker the block color, the greater the weighting.
次式は時空間フィルタ５２１によって、３次元データ５２０を平滑化する方法を示している。 The following equation shows a method for smoothing the three-dimensional data 520 by the spatio-temporal filter 521.
次式は、平滑化した３次元データ５２０を時間軸方向に平均して、（数２）を求める方法を示している。 The following equation shows a method of obtaining (Equation 2) by averaging the smoothed three-dimensional data 520 in the time axis direction.
ｗ（ｘ，ｙ，ｔ）はガウス関数を示している。ｗ（ｘ，ｙ，ｔ）は、次式に示すように、ｒ、ｇ、ｂの要素で構成されている。 w (x, y, t) represents a Gaussian function. w (x, y, t) is composed of r, g, and b elements as shown in the following equation.
また、これらの要素は次式で示すものである。 These elements are shown by the following formulas.
このとき、σx，σy，σtは、分散をあらわす。 At this time, σ x , σ y , and σ t represent dispersion.
分散σx，σy，σtを求めるために、まず、次式のように各軸方向の平均値ｃx，ｃy，ｃtを求める。 Variance sigma x, sigma y, to determine the sigma t, firstly, the average value c x of the axial to the following equation, c y, seek c t.
そして、これらの平均値を用いて、分散σx，σy，σtを次式のように求めることができる。 Then, using these average values, the variances σ x , σ y , and σ t can be obtained as follows.
ｓ（ｘ，ｙ）の値を求める際には、まず、求めた When calculating the value of s (x, y), first
を用いて、３次元データ５２０の重み付けした分散λr，λg，λbを求める。 Are used to find the weighted variances λ r , λ g , λ b of the three-dimensional data 520.
この過程において、 In this process,
を計算し、その最大値をλmaxとする。 And the maximum value is λ max .
この結果、ｓ（ｘ，ｙ）は次式によって求めることができる。 As a result, s (x, y) can be obtained by the following equation.
次に、本発明の第１の実施の形態における動体検出装置１の記憶部１０４について説明する。図８は本発明の第１の実施の形態における動体検出装置１の記憶部１０４の機能を説明するための図である。記憶部１０４は、特徴画像情報作成部１２５で作成された特徴テンプレート情報３０３の値（例えば〔０，２５５〕の範囲内の値）を保持するための２次元データ格納部３０１、および、特徴テンプレート情報３０３の高さｈおよび幅ｗを記憶するテンプレートサイズ記憶部３０２を有する。記憶部１０４に記憶された情報は照合部１０９に送られる。 Next, the memory | storage part 104 of the moving body detection apparatus 1 in the 1st Embodiment of this invention is demonstrated. FIG. 8 is a diagram for explaining the function of the storage unit 104 of the moving object detection device 1 according to the first embodiment of the present invention. The storage unit 104 includes a two-dimensional data storage unit 301 for holding the value of the feature template information 303 created by the feature image information creation unit 125 (for example, a value within the range of [0, 255]), and a feature template A template size storage unit 302 that stores the height h and width w of the information 303 is provided. Information stored in the storage unit 104 is sent to the verification unit 109.
次に、本発明の第１の実施の形態における動体検出装置１の照合部１０９について説明する。図９は本発明の第１の実施の形態における動体検出装置１の照合部１０９の動作を説明するための図である。照合部１０９は、広角画像６０１から目標領域６０３を設定する。次に、照合部１０９は、広角画像６０１の目標領域６０３に対応する、狭角画像６０２における拡大された探索範囲６０５を設定する。続いて照合部１０９は、拡大された探索範囲６０５の範囲内でシフトされる照合領域６０４を設定する。設定された照合領域６０４は、シフトしながら特徴テンプレート情報５１３を用いて目標領域６０３と照合される。最も照合結果が良好であった照合領域６０４の位置が出力される。 Next, the verification unit 109 of the moving object detection device 1 according to the first embodiment of the present invention will be described. FIG. 9 is a diagram for explaining the operation of the matching unit 109 of the moving object detection device 1 according to the first embodiment of the present invention. The matching unit 109 sets the target area 603 from the wide-angle image 601. Next, the matching unit 109 sets an enlarged search range 605 in the narrow-angle image 602 corresponding to the target area 603 of the wide-angle image 601. Subsequently, the collation unit 109 sets a collation area 604 that is shifted within the expanded search range 605. The set collation area 604 is collated with the target area 603 using the feature template information 513 while shifting. The position of the collation area 604 with the best collation result is output.
ここで、照合部１０９の詳細な構成について説明する。図１０は、本発明の第１の実施の形態における動体検出装置１の照合部１０９の構成を示すブロック図である。 Here, a detailed configuration of the matching unit 109 will be described. FIG. 10 is a block diagram showing a configuration of the collation unit 109 of the moving object detection device 1 according to the first embodiment of the present invention.
なお、以下、図９に示す座標６０６（Ｘｍ，Ｙｍ）、座標６０７（Ｘｓ，Ｙｓ）および座標６０８（ｘ，ｙ）が、それぞれ目標領域６０３、照合領域６０４および特徴テンプレート情報５１３における該当の座標をあらわすとして説明する。 Hereinafter, coordinates 606 (Xm, Ym), coordinates 607 (Xs, Ys), and coordinates 608 (x, y) shown in FIG. 9 are the corresponding coordinates in the target area 603, the matching area 604, and the feature template information 513, respectively. This is explained as
目標領域設定部４０１は目標領域６０３を設定する。目標領域６０３とは、広角画像６０１において移動位置予測部１０５により与えられる、動体が移動すべき位置の近傍を人物領域切出部２０２で切り出された人体画像の占める領域のことをいう。 The target area setting unit 401 sets a target area 603. The target area 603 is an area occupied by the human body image cut out by the human area cutout unit 202 in the vicinity of the position where the moving body should move, which is given by the movement position prediction unit 105 in the wide-angle image 601.
照合領域設定部４０２は、照合領域６０４を設定する。照合領域６０４の走査輪郭は、拡大率Ｚを用い目標領域６０３の外形を拡大することにより決定される。 The collation area setting unit 402 sets the collation area 604. The scanning contour of the collation area 604 is determined by enlarging the outer shape of the target area 603 using the enlargement factor Z.
照合領域６０４は拡大された探索範囲６０５内においてその上下左右にシフトされる。目標領域６０３および照合領域６０４が一旦決められると、それぞれに対応した立体カラーヒストグラム（以下、ＳＣＨと記す）が作られる。ＳＣＨは、下記のように定義された５次元確率密度関数である。 The collation area 604 is shifted vertically and horizontally within the enlarged search range 605. Once the target area 603 and the collation area 604 are determined, a three-dimensional color histogram (hereinafter referred to as SCH) corresponding to each of them is created. SCH is a five-dimensional probability density function defined as follows.
定義：ＳＣＨ（ｘ，ｙ，ｒ，ｇ，ｂ）は画素（ｘ，ｙ）が色彩値（ｒ，ｇ，ｂ）を有する確率。 Definition: SCH (x, y, r, g, b) is the probability that a pixel (x, y) has a color value (r, g, b).
目標領域ヒストグラム算出部４０３は、第１のビデオメモリ１０２から広角画像６０１中を読みこみ、特徴テンプレート情報５１３における画素（ｘ，ｙ）に対応する目標領域６０３の画素（Ｘｍ，Ｙｍ）を選択する。選択された画素情報は、後述する目標領域ＳＣＨの算出に用いられる。 The target area histogram calculation unit 403 reads the wide-angle image 601 from the first video memory 102 and selects a pixel (Xm, Ym) in the target area 603 corresponding to the pixel (x, y) in the feature template information 513. . The selected pixel information is used for calculation of a target area SCH described later.
目標領域ヒストグラム算出部４０３における目標領域ＳＣＨ６２６の算出は、図１１に示されたアルゴリズムにより達成することができる。図１１は、本発明の第１の実施の形態における目標領域ＳＣＨ６２６の算出を説明するための図である。 The calculation of the target area SCH 626 in the target area histogram calculation unit 403 can be achieved by the algorithm shown in FIG. FIG. 11 is a diagram for explaining calculation of the target region SCH 626 in the first embodiment of the present invention.
特徴テンプレート情報５１３の画素６２０（ｘ，ｙ）に対応する、目標領域６０３の画素６２２（Ｘｍ，Ｙｍ）は、次の式を満たすように選択される。 The pixel 622 (Xm, Ym) in the target area 603 corresponding to the pixel 620 (x, y) in the feature template information 513 is selected so as to satisfy the following expression.
（Ｘｍ，Ｙｍ）＝（ｘ，ｙ）
選択された画素６２２（Ｘｍ，Ｙｍ）が色彩値（ｒ，ｇ，ｂ）を有する場合、ヒストグラム値６２５（ｘ，ｙ，ｒ，ｇ，ｂ）は、下記の式により更新される。
(Xm, Ym) = (x, y)
When the selected pixel 622 (Xm, Ym) has a color value (r, g, b), the histogram value 625 (x, y, r, g, b) is updated by the following equation.
ＳＣＨtarget（ｘ，ｙ，ｒ，ｇ，ｂ）＝ＳＣＨtarget（ｘ，ｙ，ｒ，ｇ，ｂ）＋ｓ（ｘ，ｙ）
なお、ｓ（ｘ，ｙ）は画素（ｘ，ｙ）における安定性の特徴テンプレート情報５１３の値である。
SCH target (x, y, r, g, b) = SCH target (x, y, r, g, b) + s (x, y)
Note that s (x, y) is the value of the stability feature template information 513 in the pixel (x, y).
上述の処理が安定性の特徴テンプレート情報５１３上のすべての画素（ｘ，ｙ）について行われる。得られたヒストグラム値６２５は、通常の“ｎｏｎ−ｐａｒａｍｅｔｒｉｃ ｄｅｎｓｉｔｙ ｅｓｔｉｍａｔｏｒ（例えば、参考文献３を参照。）”により標準化され、平滑化されて目標領域ＳＣＨ６２６を得ることができる。 The above-described processing is performed for all pixels (x, y) on the stability feature template information 513. The obtained histogram value 625 is standardized by a normal “non-parametric densitometer (see, for example, Reference 3)” and can be smoothed to obtain the target region SCH 626.
参考文献３：Ｂ．Ｗ． Ｓｉｌｖｅｒｍａｎ． “Ｄｅｎｓｉｔｙ Ｅｓｔｉｍａｔｉｏｎ ｆｏｒ Ｓｔａｔｉｓｔｉｃｓ ａｎｄ Ｄａｔａ Ａｎａｌｙｓｉｓ”． Ｃｈａｐｍａｎ ＆ Ｈａｌｌ，１９８６．
次に、照合領域ヒストグラム算出部４０４は、第２のビデオメモリ１０８から狭角画像６０２を読みこみ、特徴テンプレート情報５１３の画素（ｘ，ｙ）に対応する照合領域６０４における画素（Ｘｓ，Ｙｓ）周辺の領域を選択することにより、照合領域６０４内を反復的にサンプリングする。選択された画素の位置情報は、後述する照合領域ＳＣＨ６３６の算出に用いられる。
Reference 3: B. W. Silverman. “Density Estimates for Statistics and Data Analysis”. Chapman & Hall, 1986.
Next, the matching area histogram calculation unit 404 reads the narrow-angle image 602 from the second video memory 108, and the pixel (Xs, Ys) in the matching area 604 corresponding to the pixel (x, y) of the feature template information 513. By selecting the surrounding area, the collation area 604 is repeatedly sampled. The position information of the selected pixel is used for calculation of a collation area SCH 636 described later.
照合領域ヒストグラム算出部４０４における照合領域ＳＣＨ６３６の最適化は、図１２に示されたアルゴリズムにより実現することができる。図１２は、本発明の第１の実施の形態における照合領域ＳＣＨ６３６の最適化を説明するための図である。 The optimization of the matching area SCH 636 in the matching area histogram calculation unit 404 can be realized by the algorithm shown in FIG. FIG. 12 is a diagram for explaining optimization of collation region SCH 636 in the first embodiment of the present invention.
なお、照合領域ヒストグラム算出部４０４により選択された領域を領域Ｒとあらわすものとする。 It is assumed that the region selected by the matching region histogram calculation unit 404 is represented as a region R.
領域Ｒは、下記の式により定められる。 The region R is determined by the following formula.
なお、Ｚは前述の拡大率Ｚであり、σは（ｚｘ，ｚｙ）を中心とする標準化された２次元立体ガウス加重関数ｈ（ｘs，ｙs）の分散である。 Z is the above-described enlargement ratio Z, and σ is a variance of a standardized two-dimensional solid Gaussian weighting function h (x s , y s ) centered on (zx, zy).
最適化の過程中、領域Ｒの中心画素には、より大きな加重が行われる。領域Ｒ中の画素６３４（ｘs，ｙs）がカラー（ｒ，ｇ，ｂ）を有する場合、すなわちヒストグラム値６３５は、下記の式により更新される。 During the optimization process, a greater weight is applied to the center pixel of region R. When the pixel 634 (x s , y s ) in the region R has the color (r, g, b), that is, the histogram value 635 is updated by the following equation.
なお、ｓ（ｘ，ｙ）は位置（ｘ，ｙ）における特徴テンプレート情報５１３の値である。 Note that s (x, y) is the value of the feature template information 513 at the position (x, y).
このような処理は、特徴テンプレート情報５１３上のすべての画素（ｘ，ｙ）に対して反復される。得られたヒストグラムは、通常の“ｎｏｎ−ｐａｒａｍｅｔｒｉｃ ｄｅｎｓｉｔｙ ｅｓｔｉｍａｔｏｒ（例えば、参考文献３を参照。）”により標準化され、平滑化されて、照合領域ＳＣＨ６３６を得ることができる。 Such processing is repeated for all pixels (x, y) on the feature template information 513. The obtained histogram can be standardized and smoothed by a normal “non-parametric density estimator (see, for example, Reference 3)” to obtain a matching region SCH 636.
次に、ヒストグラム判別部４０５は、目標領域ＳＣＨ６２６と照合領域ＳＣＨ６３６との間の類似性を求めるためにヒストグラムマッチングを行う。マッチングに用いるアルゴリズムの一例は、次に示されている“Ｂａｌｌａｒｄ’ｓ ｈｉｓｔｏｇｒａｍ ｉｎｔｅｒｓｅｃｔｉｏｎ（例えば、参考文献４を参照。）”。： Next, the histogram determination unit 405 performs histogram matching in order to obtain the similarity between the target area SCH 626 and the matching area SCH 636. An example of an algorithm used for matching is “Ballard's histogram intersection” (for example, see Reference 4). :
参考文献４：Ｍ． Ｊ． Ｓｗａｉｎ ａｎｄ Ｄ． Ｈ． Ｂａｌｌａｒｄ． “Ｃｏｌｏｒ ｉｎｄｅｘｉｎｇ” Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，７（１）． Ｐａｇｅｓ １１−３２，１９９１．
ヒストグラム判別部４０５からのマッチング出力値（以下、相関値と記す）は、０（相関なし、すなわち互いのＳＣＨがまったく異なっている）から１（完全相関、すなわち互いのＳＣＨが完全一致する）までの値を有する。
Reference 4: M.M. J. et al. Swain and D.C. H. Ballard. “Color indexing” International Journal of Computer Vision, 7 (1). Pages 11-32, 1991.
The matching output value from the histogram discriminating unit 405 (hereinafter referred to as a correlation value) ranges from 0 (no correlation, that is, the SCHs are completely different) to 1 (complete correlation, that is, the SCHs are completely matched). Has the value of
また、最大出力検出部４０６は、拡大された探索範囲６０５内において、走査輪郭を反復的にシフトさせて設定される複数の照合領域６０４の各々と目標領域６０３との間での相関値の最大値を検出する。最も相関値の高い照合領域６０４およびその画素（Ｘｓ，Ｙｓ）の位置情報が、最大出力検出部４０６から表示部１１０に出力される。 In addition, the maximum output detection unit 406 maximizes the correlation value between each of the plurality of collation regions 604 set by repeatedly shifting the scanning contour and the target region 603 within the expanded search range 605. Detect value. The position information of the collation region 604 having the highest correlation value and the pixel (Xs, Ys) is output from the maximum output detection unit 406 to the display unit 110.
このような構成により、本発明の第１の実施の形態における動体検出装置によれば、広角画像を撮影できるマスターカメラおよび解像度の高い狭角画像を撮影できるスレーブカメラの２つのカメラを用いることによって、広域における動体検出と解像度の高い動体の画像の出力とを同時に実現することができる。また、広角画像から抽出された人体等の動体と、狭角画像において対応する領域とをＳＣＨによって照合するので、高い精度での照合が可能である。 With such a configuration, according to the moving object detection apparatus of the first embodiment of the present invention, by using two cameras, a master camera that can capture a wide-angle image and a slave camera that can capture a narrow-angle image with high resolution. In addition, it is possible to simultaneously realize moving object detection in a wide area and output of a moving object image with high resolution. In addition, since a moving object such as a human body extracted from a wide-angle image and a corresponding region in a narrow-angle image are collated by SCH, collation with high accuracy is possible.
（第２の実施の形態）
次に、本発明の第２の実施の形態における動体検出装置について説明する。
(Second Embodiment)
Next, the moving body detection apparatus in the 2nd Embodiment of this invention is demonstrated.
図１３は本発明の第２の実施の形態における動体検出装置２の構成を示すブロック図である。また、図１４は本発明の第２の実施の形態における動体検出装置２の動作を説明するための図である。なお、説明を簡単にするために、図１３における動体検出装置２の各構成要素について、第１の実施の形態に説明した動体検出装置１の構成要素と同様の構成要素については同じ符号を付し、その説明を省略する。 FIG. 13 is a block diagram showing the configuration of the moving object detection device 2 according to the second embodiment of the present invention. Moreover, FIG. 14 is a figure for demonstrating operation | movement of the moving body detection apparatus 2 in the 2nd Embodiment of this invention. In order to simplify the description, the same reference numerals are given to the same constituent elements as those of the moving object detection apparatus 1 described in the first embodiment. The description is omitted.
図１３に示すように、本発明の第２の実施の形態における動体検出装置２においては、マスターカメラ１０１およびスレーブカメラ１０７は可動プラットフォーム９０４に取り付けられている。可動プラットフォーム９０４の制御は、カメラシステム移動部８０２によって行われている。 As shown in FIG. 13, in the moving body detection device 2 according to the second embodiment of the present invention, the master camera 101 and the slave camera 107 are attached to a movable platform 904. Control of the movable platform 904 is performed by the camera system moving unit 802.
図１４（ａ）に示したように、例えば、移動する人物９０１が軌跡９０７における位置Ａにおいてマスターカメラ１０１の画角９０５内にあるとき、スレーブカメラ１０７は移動部１０６によって移動して人物９０１の拡大された画像を撮影する。 As shown in FIG. 14A, for example, when the moving person 901 is within the angle of view 905 of the master camera 101 at the position A in the locus 907, the slave camera 107 is moved by the moving unit 106 and the person 901 is moved. Take an enlarged image.
図１４（ｂ）に示したように、人物９０１が位置Ｂに移動した場合には、スレーブカメラ１０７は移動部１０６によってスレーブカメラ１０７の画角９０６内に人物９０１の画像を撮影するために位置を移動する。 As shown in FIG. 14B, when the person 901 moves to the position B, the slave camera 107 is moved by the moving unit 106 to take an image of the person 901 within the angle of view 906 of the slave camera 107. To move.
しかしながら、図１４（ｃ）に示したように、人物９０１がマスターカメラ１０１の画角９０５から外れて位置Ｃにさらに移動した場合には、可動プラットフォーム９０４は、マスターカメラ１０１の画角に人物９０１を捉え続けるように、マスターカメラ１０１を移動させる。このとき、同時にスレーブカメラ１０７は、可動プラットフォーム９０４が動いている間スレーブカメラ１０７の画角９０６内に人物９０１の画像を撮影するように、移動部１０６によって位置を移動する。 However, as shown in FIG. 14C, when the person 901 moves out of the angle of view 905 of the master camera 101 and further moves to the position C, the movable platform 904 moves the person 901 to the angle of view of the master camera 101. The master camera 101 is moved so as to keep catching. At this time, the position of the slave camera 107 is moved by the moving unit 106 so as to capture an image of the person 901 within the angle of view 906 of the slave camera 107 while the movable platform 904 is moving.
なお、図示しないが、図１３における移動位置予測部１０５は、人物９０１がマスターカメラ１０１の画角９０５から外れつつあるときには、移動する人物９０１をマスターカメラ１０１の画角９０５内に保持するためにカメラシステム移動部８０２にチルト信号またはパン信号またはズーム信号等を出力する構成であってもよい。 Although not shown, the movement position prediction unit 105 in FIG. 13 holds the moving person 901 within the angle of view 905 of the master camera 101 when the person 901 is deviating from the angle of view 905 of the master camera 101. The camera system moving unit 802 may be configured to output a tilt signal, pan signal, zoom signal, or the like.
このようにして、本発明の第２の実施の形態における動体検出装置によれば、動体がマスターカメラの画角から外れた位置に移動するような場合にも、可動プラットフォームによってマスターカメラが移動する構成により、第１の実施の形態で説明した動体検出装置と比較しても、さらに広い範囲で動体の検出が可能となる。 Thus, according to the moving object detection device in the second embodiment of the present invention, even when the moving object moves to a position deviating from the angle of view of the master camera, the master camera moves by the movable platform. With the configuration, even when compared with the moving object detection apparatus described in the first embodiment, it is possible to detect a moving object in a wider range.
なお、本発明の実施の形態においては、動体として人物を例として示したが、本発明の動体検出装置は検出する動体の種類を限定するものではない。動物や車両等、他のいかなる動体をも同様に検出できることはいうまでもない。 In the embodiment of the present invention, a person is shown as an example of a moving object. However, the moving object detection device of the present invention does not limit the type of moving object to be detected. It goes without saying that any other moving object such as an animal or a vehicle can be detected in the same manner.
本発明にかかる動体検出装置を用いれば、マスターカメラとスレーブカメラとを併用する構成により、広域における動体検出と解像度の高い動体の画像の出力とを同時に実現することができるという効果を有し、ビデオカメラ等の撮影装置で撮影される画像から動体を検出し追跡するための動体検出装置等として有用である。 By using the moving object detection device according to the present invention, it is possible to simultaneously realize the detection of moving objects in a wide area and the output of moving images with a high resolution by using the master camera and the slave camera together. The present invention is useful as a moving object detection device for detecting and tracking a moving object from an image photographed by a photographing device such as a video camera.
１，２ 動体検出装置
１０１ マスターカメラ
１０２ 第１のビデオメモリ
１０３ 画像切出部
１０４ 記憶部
１０５ 移動位置予測部
１０６ 移動部
１０７ スレーブカメラ
１０８ 第２のビデオメモリ
１０９ 照合部
１１０ 表示部
１１１ 離間手段
１２５ 特徴画像情報作成部
２０１ 頭部検出部
２０２ 人物領域切出部
３０１ ２次元データ格納部
３０２ テンプレートサイズ記憶部
３０３，５１３，１０１３ 特徴テンプレート情報
４０１ 目標領域設定部
４０２ 照合領域設定部
４０３ 目標領域ヒストグラム算出部
４０４ 照合領域ヒストグラム算出部
４０５ ヒストグラム判別部
４０６ 最大出力検出部
５０１，６０１，７０５，１０１０，１０２０ 広角画像
５０２ エッジマップ
５０３ リンクエッジ
５０５，１０１１ 頭部位置
５０６，１０１２ 人体画像
５１４ 非人物領域
５１５，１０１５ 人物領域
５２０ ３次元データ
５２１ 時空間フィルタ
６０２，７０６，１０１４ 狭角画像
６０３ 目標領域
６０４，１０１６ 照合領域
６０５ 拡大された探索範囲
６０６，６０７，６０８ 座標
６２０，６２２，６３４ 画素
６２５，６３５ ヒストグラム値
６２６ 目標領域ＳＣＨ
６３６ 照合領域ＳＣＨ
７０１，７０２，９０１，１００１ 人物
７０３ カメラ
７０７ （所定の離間）距離
８０２ カメラシステム移動部
９０４ 可動プラットフォーム
９０５，１０４０ （マスターカメラの）画角
９０６，１０４１ （スレーブカメラの）画角
９０７，１００２ 軌跡
１０１７ 追跡軌跡
１０１８ 高解像度な画像
１０１９ 予測頭部位置
DESCRIPTION OF SYMBOLS 1, 2 Moving body detection apparatus 101 Master camera 102 1st video memory 103 Image extraction part 104 Storage part 105 Movement position prediction part 106 Movement part 107 Slave camera 108 2nd video memory 109 Collation part 110 Display part 111 Separation means 125 Feature image information creation unit 201 Head detection unit 202 Human region extraction unit 301 Two-dimensional data storage unit 302 Template size storage unit 303,513,1013 Feature template information 401 Target region setting unit 402 Collation region setting unit 403 Target region histogram calculation Unit 404 collation region histogram calculation unit 405 histogram discrimination unit 406 maximum output detection unit 501, 601, 705, 1010, 1020 wide angle image 502 edge map 503 link edge 505, 1011 head position 506 012 Human body image 514 Non-human region 515, 1015 Human region 520 Three-dimensional data 521 Spatio-temporal filter 602, 706, 1014 Narrow-angle image 603 Target region 604, 1016 Matching region 605 Enlarged search range 606, 607, 608 Coordinates 620, 622, 634 pixels 625, 635 Histogram value 626 Target area SCH
636 Verification area SCH
701, 702, 901, 1001 Person 703 Camera 707 (predetermined separation) distance 802 Camera system moving unit 904 Movable platform 905, 1040 Angle of view 906, 1041 Angle of view 907, 1002 (Slave camera) 907, 1002 Trajectory 1017 Tracking locus 1018 High resolution image 1019 Predicted head position
Claims (2)
前記動***置検出部で検出された前記動体の位置にもとづいて、所定時間後における前記広角画像中の前記動体の移動位置を予測する動***置予測部と、前記動体の移動位置にもとづいて、前記広角画像から前記動体を含む目標領域内の動体画像を切り出す動体画像切出部と、
前記切り出された動体画像から前記動体の特徴を示す特徴画像情報を作成する特徴画像情報作成部と、
前記特徴画像情報に対応する前記目標領域内の前記広角画像から第１のヒストグラムを作成する第１のヒストグラム作成部と、
前記動***置予測部で予測された前記動体の位置の情報にもとづいて、前記第２の撮影部が前記動体を視野に捉えるように、前記第２の撮影部の位置または方向を移動させる移動部と、
前記第１の撮像部の倍率と前記第２の撮像部の倍率とから画像を拡大する拡大倍率を求め、前記狭角画像内に前記目標領域を前記拡大倍率だけ拡大した照合領域を設定する照合領域設定部と、
前記特徴画像情報に対応する前記照合領域内の前記狭角画像から第２のヒストグラムを作成する第２のヒストグラム作成部と、前記第１のヒストグラムと前記第２のヒストグラムとを照合し照合度合いを出力する照合部とを備えたことを特徴とする動体検出装置。 A first image capturing unit that captures a wide-angle image, a second image capturing unit that captures a narrow-angle image having a narrower angle of view than the wide-angle image, and a moving object position detection unit that detects the position of the moving object in the wide-angle image. ,
Wherein based on the position of the moving object detected by the moving object position detection unit, a moving object position predicting unit for predicting a movement position of the moving object in the wide-angle image after a predetermined time, based on the moving position of the moving object, the A moving body image cutout unit that cuts out a moving body image in a target area including the moving body from a wide-angle image;
A feature image information creating unit that creates feature image information indicating the feature of the moving object from the clipped moving object image;
A first histogram creating unit that creates a first histogram from the wide-angle image in the target area corresponding to the feature image information;
Based on the information on the position of the moving object predicted by the moving object position prediction unit, the moving unit moves the position or direction of the second imaging unit so that the second imaging unit captures the moving object in the field of view. When,
A collation for obtaining an enlargement magnification for enlarging an image from the magnification of the first imaging unit and the magnification of the second imaging unit, and setting a collation area in which the target area is enlarged by the enlargement magnification in the narrow-angle image An area setting section;
A second histogram creation unit that creates a second histogram from the narrow-angle image in the collation area corresponding to the feature image information, collates the first histogram with the second histogram, and determines a collation degree. A moving object detection apparatus comprising: a collating unit for outputting .
前記動***置検出ステップで検出された前記動体の位置にもとづいて、所定時間後における前記広角画像中の前記動体の移動位置を予測する動***置予測ステップと、A moving object position prediction step for predicting a moving position of the moving object in the wide-angle image after a predetermined time based on the position of the moving object detected in the moving object position detection step;
前記動体の移動位置にもとづいて、前記広角画像から前記動体を含む目標領域内の動体画像を切り出す動体画像切出ステップと、前記切り出された動体画像から前記動体の特徴を示す特徴画像情報を作成する特徴画像情報作成ステップと、Based on the moving position of the moving object, a moving object image extracting step of extracting a moving object image in a target area including the moving object from the wide-angle image, and generating feature image information indicating the characteristics of the moving object from the extracted moving object image A feature image information creation step,
前記特徴画像情報に対応する前記目標領域内の前記広角画像から第１のヒストグラムを作成する第１のヒストグラム作成ステップと、前記動***置予測ステップで予測された前記動体の位置の情報にもとづいて、前記第２の撮影ステップが前記動体を視野に捉えるように、前記第２の撮影ステップの位置または方向を移動させる移動ステップと、Based on the first histogram creation step of creating a first histogram from the wide-angle image in the target area corresponding to the feature image information, and the position information of the moving object predicted in the moving object position prediction step, A moving step of moving the position or direction of the second imaging step so that the second imaging step captures the moving object in the field of view;
前記第１の撮像ステップの倍率と前記第２の撮像ステップの倍率とから画像を拡大する拡大倍率を求め、前記狭角画像内の前記物体の移動位置に前記目標領域を前記拡大倍率だけ拡大した照合領域を設定する照合領域設定ステップと、An enlargement magnification for enlarging the image is obtained from the magnification of the first imaging step and the magnification of the second imaging step, and the target area is enlarged by the enlargement magnification at the moving position of the object in the narrow-angle image. A collation area setting step for setting a collation area;
前記特徴画像情報に対応する前記照合領域内の前記狭角画像から第２のヒストグラムを作成する第２のヒストグラム作成ステップと、前記第１のヒストグラムと前記第２のヒストグラムとを照合し照合度合いを出力する照合ステップとを備えたことを特徴とする動体検出方法。A second histogram creating step for creating a second histogram from the narrow-angle image in the collation area corresponding to the feature image information, and collating the first histogram with the second histogram to obtain a collation degree. A moving object detection method comprising: a collating step for outputting.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003298483A JP4314929B2 (en) | 2003-08-22 | 2003-08-22 | Motion detection device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003298483A JP4314929B2 (en) | 2003-08-22 | 2003-08-22 | Motion detection device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005072840A JP2005072840A (en) | 2005-03-17 |
| JP4314929B2 true JP4314929B2 (en) | 2009-08-19 |
Family
ID=34403969
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003298483A Expired - Fee Related JP4314929B2 (en) | 2003-08-22 | 2003-08-22 | Motion detection device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4314929B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106778655A (en) * | 2016-12-27 | 2017-05-31 | 华侨大学 | A kind of entrance based on human skeleton is trailed and enters detection method |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4911468B2 (en) * | 2007-09-14 | 2012-04-04 | 富士フイルム株式会社 | Image processing apparatus, image processing method, and program |
| EP2474162B8 (en) * | 2009-08-31 | 2019-08-14 | Trace Optics Pty Ltd | A method and apparatus for relative control of multiple cameras |
| JP5649429B2 (en) | 2010-12-14 | 2015-01-07 | パナソニックＩｐマネジメント株式会社 | Video processing device, camera device, and video processing method |
| CN109327652A (en) * | 2018-10-29 | 2019-02-12 | 中国科学院长春光学精密机械与物理研究所 | A kind of ultrahigh resolution monitoring display device |
-
2003
- 2003-08-22 JP JP2003298483A patent/JP4314929B2/en not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106778655A (en) * | 2016-12-27 | 2017-05-31 | 华侨大学 | A kind of entrance based on human skeleton is trailed and enters detection method |
| CN106778655B (en) * | 2016-12-27 | 2020-05-05 | 华侨大学 | Human body skeleton-based entrance trailing entry detection method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2005072840A (en) | 2005-03-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7729512B2 (en) | Stereo image processing to detect moving objects | |
| KR101647370B1 (en) | road traffic information management system for g using camera and radar | |
| KR101971866B1 (en) | Method and apparatus for detecting object in moving image and storage medium storing program thereof | |
| US8599266B2 (en) | Digital processing of video images | |
| EP1553516B1 (en) | Pedestrian extracting apparatus | |
| US5063603A (en) | Dynamic method for recognizing objects and image processing system therefor | |
| JP4692371B2 (en) | Image processing apparatus, image processing method, image processing program, recording medium recording image processing program, and moving object detection system | |
| US7940957B2 (en) | Object tracker for visually tracking object motion | |
| KR101935399B1 (en) | Wide Area Multi-Object Monitoring System Based on Deep Neural Network Algorithm | |
| KR101441333B1 (en) | Detecting Apparatus of Human Component AND Method of the same | |
| JP5722381B2 (en) | Video analysis | |
| EP2372642B1 (en) | Method and system for detecting moving objects | |
| US20040141633A1 (en) | Intruding object detection device using background difference method | |
| KR101788225B1 (en) | Method and System for Recognition/Tracking Construction Equipment and Workers Using Construction-Site-Customized Image Processing | |
| EP3156940A1 (en) | Information processing apparatus, information processing method, and program | |
| EP3819812B1 (en) | A method of object re-identification | |
| JP4667508B2 (en) | Mobile object information detection apparatus, mobile object information detection method, and mobile object information detection program | |
| CN101398896B (en) | Device and method for extracting color characteristic with strong discernment for image forming apparatus | |
| JP4821355B2 (en) | Person tracking device, person tracking method, and person tracking program | |
| JPH09153137A (en) | Method for recognizing picture | |
| JP7518609B2 (en) | Image processing device, image processing method, and program | |
| Baris et al. | Classification and tracking of traffic scene objects with hybrid camera systems | |
| JP4314929B2 (en) | Motion detection device | |
| CN107958202B (en) | Human body detection apparatus, control method of human body detection apparatus, and storage medium | |
| JP2006010652A (en) | Object-detecting device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060309 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20060412 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081119 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081125 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090123 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090428 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090511 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120529 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120529 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130529 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130529 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |