JP4314929B2 - Motion detection device - Google Patents
Motion detection device Download PDFInfo
- Publication number
- JP4314929B2 JP4314929B2 JP2003298483A JP2003298483A JP4314929B2 JP 4314929 B2 JP4314929 B2 JP 4314929B2 JP 2003298483 A JP2003298483 A JP 2003298483A JP 2003298483 A JP2003298483 A JP 2003298483A JP 4314929 B2 JP4314929 B2 JP 4314929B2
- Authority
- JP
- Japan
- Prior art keywords
- moving object
- image
- unit
- moving
- wide
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Description
本発明は、ビデオカメラ等の撮影装置で撮影される画像から動体を検出し追跡するための動体検出装置に関する。 The present invention relates to a moving object detection apparatus for detecting and tracking a moving object from an image photographed by a photographing apparatus such as a video camera.
人物を動体として検出して追跡する動体検出装置は、建物の入口でのビデオ監視システムや駅構内等における歩行者計測システム等、様々な用途に広く用いられている。 2. Description of the Related Art A moving object detection apparatus that detects and tracks a person as a moving object is widely used in various applications such as a video monitoring system at a building entrance and a pedestrian measurement system in a station.
図15は、このような従来の動体検出装置の構成の一例を示すブロック図である。従来の動体検出装置1100においては、カメラ1101において撮影されたビデオ画像がフレーム毎にビデオメモリ1102に記憶される。各フレームは、ピーク検出部1103で処理されて、物体の輪郭(エッジ)の極大位置を特定することにより、フレーム中で極大位置を含む領域を人物領域として特定する。 FIG. 15 is a block diagram showing an example of the configuration of such a conventional moving object detection apparatus. In the conventional moving object detection apparatus 1100, the video image captured by the camera 1101 is stored in the video memory 1102 for each frame. Each frame is processed by the peak detection unit 1103, and the maximum position of the contour (edge) of the object is specified, so that an area including the maximum position in the frame is specified as a person area.
次に、ピーク検出部1103で特定された人物領域が、ピーク追跡部1104によって複数の連続したフレームにわたって追跡される。識別部1105は、移動する人物領域の軌跡にもとづいて、その動き方の違いを利用して人物と他の動体とを識別する。そしてカウンタ1106が求められる人物の数を出力する(例えば、特許文献1を参照。)。
しかしながら、このような従来の動体検出装置においては、動体検出装置に搭載されるカメラは1台であったので、例えば広角視野のカメラを用いた場合にはフレーム中の探知された人物は小さく撮影されてしまい、人相の確認や顔認証等の後処理を行うことが難しかった。逆に、視野の狭い狭角の望遠レンズを搭載したカメラを用いた場合には、拡大された解像度の高い人物の画像を得ることができるが、人物の追跡はカメラの画角内、つまり狭い視野領域内に限定されるので、広域にわたる人物の検出や追跡は難しかった。
また、広角視野のカメラを用いた従来の動体検出装置においては、図3(a)に示すように2人の人物が互いに重なってしまい、広角画像の中で人物を正しくカウントされている否かを知ることが出来なかった。
However, in such a conventional moving object detection device, since there is one camera mounted on the moving object detection device, for example, when a wide-angle field of view camera is used, the detected person in the frame is photographed small. Therefore, it was difficult to perform post-processing such as confirmation of human phase and face authentication. Conversely, when a camera equipped with a narrow-angle telephoto lens with a narrow field of view is used, an enlarged image of a person with high resolution can be obtained. However, tracking of a person is within the angle of view of the camera, that is, narrowly. Since it is limited within the field of view, it is difficult to detect and track people over a wide area.
Further, in the conventional moving object detection apparatus using the wide-angle field of view camera, as shown in FIG. 3A, two persons overlap each other, and whether or not the persons are correctly counted in the wide-angle image is determined. I could not know.
本発明はこのような課題に鑑みてなされたもので、広域における動体検出と解像度の高い動体の画像の出力とを同時に実現することができる動体検出装置を提供することを目的とする。
また、広角視野のカメラで撮影された画像において人物が重なっているか否かを確認することにより、広角画像の中で人物が正しくカウントされているか否かを知ることを目的とする。
The present invention has been made in view of such problems, and an object of the present invention is to provide a moving object detection apparatus that can simultaneously realize moving object detection in a wide area and output of a moving object image with high resolution.
It is another object of the present invention to know whether or not a person is correctly counted in a wide-angle image by confirming whether or not the person is overlapped in an image taken with a wide-angle visual field camera.
このような課題を解決するために、本発明の動体検出装置は、広角画像を撮影する第1の撮影部と、前記広角画像よりも狭い画角の狭角画像を撮影する第2の撮影部と、前記広角画像中における動体の位置を検出する動***置検出部と、前記動***置検出部で検出された前記動体の位置にもとづいて、所定時間後における前記広角画像中の前記動体の移動位置を予測する動***置予測部と、前記動体の移動位置にもとづいて、前記広角画像から前記動体を含む目標領域内の動体画像を切り出す動体画像切出部と、前記切り出された動体画像から前記動体の特徴を示す特徴画像情報を作成する特徴画像情報作成部と、前記特徴画像情報に対応する前記目標領域内の前記広角画像から第1のヒストグラムを作成する第1のヒストグラム作成部と、前記動***置予測部で予測された前記動体の位置の情報にもとづいて、前記第2の撮影部が前記動体を視野に捉えるように、前記第2の撮影部の位置または方向を移動させる移動部と、前記第1の撮像部の倍率と前記第2の撮像部の倍率とから画像を拡大する拡大倍率を求め、前記狭角画像内に前記目標領域を前記拡大倍率だけ拡大した照合領域を設定する照合領域設定部と、前記特徴画像情報に対応する前記照合領域内の前記狭角画像から第2のヒストグラムを作成する第2のヒストグラム作成部と、前記第1のヒストグラムと前記第2のヒストグラムとを照合し照合度合いを出力する照合部とを備えた構成を有している。 In order to solve such a problem, the moving object detection apparatus of the present invention includes a first imaging unit that captures a wide-angle image and a second imaging unit that captures a narrow-angle image having a narrower angle of view than the wide-angle image. And a moving object position detecting unit for detecting a position of the moving object in the wide-angle image, and a moving position of the moving object in the wide-angle image after a predetermined time based on the position of the moving object detected by the moving object position detecting unit. A moving object position prediction unit that predicts the moving object, a moving object image cutout unit that cuts out a moving object image in a target area including the moving object from the wide-angle image based on the moving position of the moving object, and the moving object from the extracted moving object image A feature image information creating unit that creates feature image information indicating a feature of the first image, a first histogram creating unit that creates a first histogram from the wide-angle image in the target area corresponding to the feature image information, Based on the information on the position of the moving object predicted by the moving object position prediction unit, the moving unit moves the position or direction of the second imaging unit so that the second imaging unit captures the moving object in the field of view. And an enlargement magnification for enlarging the image from the magnification of the first imaging unit and the magnification of the second imaging unit, and setting a collation area in which the target area is enlarged by the enlargement magnification in the narrow-angle image A collation area setting section that performs a second histogram creation section that creates a second histogram from the narrow-angle image in the collation area corresponding to the feature image information, the first histogram, and the second histogram. And a collation unit that outputs a collation degree.
このような構成により、広角画像と狭角画像を比較することにより、広角視野のカメラで撮影された画像において人物が重なっているか否かを確認することができ、広角画像の中での人物のカウントが正しいか否かを知ることが出来る。 With such a configuration, by comparing the wide-angle image and the narrow-angle image, it is possible to confirm whether or not the person is overlapped in the image taken by the wide-angle field of view camera. You can know if the count is correct.
また、本発明の動体検出方法は、広角画像を撮影する第1の撮影ステップと、前記広角画像よりも狭い画角の狭角画像を撮影する第2の撮影ステップと、前記広角画像中における動体の位置を検出する動***置検出ステップと、前記動***置検出ステップで検出された前記動体の位置にもとづいて、所定時間後における前記広角画像中の前記動体の移動位置を予測する動***置予測ステップと、前記動体の移動位置にもとづいて、前記広角画像から前記動体を含む目標領域内の動体画像を切り出す動体画像切出ステップと、前記切り出された動体画像から前記動体の特徴を示す特徴画像情報を作成する特徴画像情報作成ステップと、前記特徴画像情報に対応する前記目標領域内の前記広角画像から第1のヒストグラムを作成する第1のヒストグラム作成ステップと、前記動***置予測ステップで予測された前記動体の位置の情報にもとづいて、前記第2の撮影ステップが前記動体を視野に捉えるように、前記第2の撮影ステップの位置または方向を移動させる移動ステップと、前記第1の撮像ステップの倍率と前記第2の撮像ステップの倍率とから画像を拡大する拡大倍率を求め、前記狭角画像内の前記物体の移動位置に前記目標領域を前記拡大倍率だけ拡大した照合領域を設定する照合領域設定ステップと、前記特徴画像情報に対応する前記照合領域内の前記狭角画像から第2のヒストグラムを作成する第2のヒストグラム作成ステップと、前記第1のヒストグラムと前記第2のヒストグラムとを照合し照合度合いを出力する照合ステップとを備えた構成を有している。 Further, the moving object detection method of the present invention includes a first photographing step for photographing a wide-angle image, a second photographing step for photographing a narrow-angle image having a narrower angle of view than the wide-angle image, and a moving object in the wide-angle image. A moving object position detecting step for detecting the position of the moving object, and a moving object position predicting step for predicting a moving position of the moving object in the wide-angle image after a predetermined time based on the position of the moving object detected in the moving object position detecting step. A moving body image cutting step for cutting out a moving body image in a target area including the moving body from the wide-angle image based on the moving position of the moving body, and feature image information indicating characteristics of the moving body from the cut out moving body image. A feature image information creation step to be created, and a first histogram for creating a first histogram from the wide-angle image in the target area corresponding to the feature image information Based on the information on the position of the moving object predicted in the ram creation step and the moving object position prediction step, the position or direction of the second shooting step so that the second imaging step captures the moving object in the field of view. An enlargement magnification for enlarging the image from the moving step for moving the image, the magnification of the first imaging step and the magnification of the second imaging step, and the target region at the moving position of the object in the narrow-angle image A collation area setting step for setting a collation area that is enlarged by the magnification, a second histogram creation step for creating a second histogram from the narrow-angle image in the collation area corresponding to the feature image information, A collation step of collating the first histogram with the second histogram and outputting a collation degree;
このような構成により、広角画像と狭角画像を比較することにより、広角視野のカメラで撮影された画像において人物が重なっているか否かを確認することができ、広角画像の中での人物のカウントが正しいか否かを知ることが出来る。 With such a configuration, by comparing the wide-angle image and the narrow-angle image, it is possible to confirm whether or not the person is overlapped in the image taken by the wide-angle field of view camera. You can know if the count is correct.
以上述べたように、本発明の動体検出装置によれば、広角画像を撮影するマスターカメラと狭角画像を撮影するスレーブカメラとを併用する構成により、広域における動体検出と解像度の高い動体の画像の出力とを同時に実現することができる。
また、広角画像と狭角画像を比較することにより、広角視野のカメラで撮影された画像において人物が重なっているか否かを確認することができ、広角画像の中での人物のカウントが正しいか否かを知ることが出来る。
As described above, according to the moving object detection apparatus of the present invention, a moving object detection in a wide area and a high-resolution moving object image can be achieved by using a master camera that captures a wide-angle image and a slave camera that captures a narrow-angle image. Can be realized at the same time.
In addition, by comparing the wide-angle image and the narrow-angle image, it is possible to confirm whether or not the person is overlapped in the image taken by the camera with the wide-angle field of view, and whether the person count in the wide-angle image is correct. You can know whether or not.
以下、本発明の実施の形態について、図面を用いて詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
(第1の実施の形態)
図1は、本発明の第1の実施の形態における動体検出装置1の構成を示すブロック図である。
(First embodiment)
FIG. 1 is a block diagram showing a configuration of a moving object detection apparatus 1 according to the first embodiment of the present invention.
図1に示したように、本発明の第1の実施の形態における動体検出装置1は、広角画像を撮影するマスターカメラ101、マスターカメラ101で撮影された広角画像を記憶する第1のビデオメモリ102、広角画像よりも狭い画角の狭角画像を撮影するスレーブカメラ107、スレーブカメラ107によって撮影された画像を記憶する第2のビデオメモリ108、マスターカメラ101とスレーブカメラ107とを離間させるための離間手段111、マスターカメラ101で撮影された画像中における動体の位置を示す位置情報を決定して動体画像を切り出す画像切出部103、後述する方法で位置情報から動体の特徴テンプレート情報を作成する特徴画像情報作成部125、動体の位置情報および特徴テンプレート情報を記憶する記憶部104、広角画像における動体の移動すべき位置を予測する移動位置予測部105、移動位置予測部105によって予測された動体の移動先位置に応じて、狭角画像の中に人物を視野に捉えるようにスレーブカメラ107を移動させる移動部106、狭角画像の中の動体と広角画像から抽出された動体との比較照合を行う照合部109、ならびに、広角画像および狭角画像から抽出された動体の画像や動体の検出結果等を表示する表示部110を備えている。 As shown in FIG. 1, the moving object detection device 1 according to the first embodiment of the present invention includes a master camera 101 that captures a wide-angle image, and a first video memory that stores a wide-angle image captured by the master camera 101. 102, a slave camera 107 that captures a narrow-angle image having a narrower angle of view than a wide-angle image, a second video memory 108 that stores an image captured by the slave camera 107, and the master camera 101 and the slave camera 107 are separated from each other. Separating means 111, position information indicating the position of the moving object in the image taken by the master camera 101, an image cutout unit 103 that extracts the moving object image, and creates feature template information of the moving object from the position information by a method described later Feature image information creating unit 125, storage unit for storing moving object position information and feature template information 04, a moving position predicting unit 105 that predicts a moving position of the moving object in the wide-angle image, and a person in the narrow-angle image is captured in the field of view according to the moving destination position predicted by the moving position predicting unit 105. A moving unit 106 for moving the slave camera 107, a collating unit 109 for comparing and comparing a moving object in a narrow-angle image and a moving object extracted from a wide-angle image, and a moving object extracted from a wide-angle image and a narrow-angle image A display unit 110 is provided for displaying images, moving object detection results, and the like.
次に、本発明の第1の実施の形態における動体検出装置1の動作について説明する。図2は、本発明の第1の実施の形態における動体検出装置1の動作ステップを説明するための図である。 Next, the operation of the moving object detection device 1 according to the first embodiment of the present invention will be described. FIG. 2 is a diagram for explaining the operation steps of the moving object detection device 1 according to the first embodiment of the present invention.
図2において、動体である人物1001はマスターカメラ101の画角1040内を軌跡1002に沿って動いているものと仮定して説明する。 In FIG. 2, a description will be made assuming that a person 1001 that is a moving object moves along a locus 1002 within the angle of view 1040 of the master camera 101.
マスターカメラ101は動画像を撮影し、その各フレーム画像(以下、広角画像と記す)1010(N−k〜N、以下、カッコ内の記号はフレームの順番を示す)は第1のビデオメモリ102に順次記憶され、古い画像は消去されて更新される。 The master camera 101 captures a moving image, and each frame image (hereinafter referred to as a wide-angle image) 1010 (N−K to N, hereinafter, symbols in parentheses indicate the order of the frames) is the first video memory 102. The old images are erased and updated.
まず、画像切出部103が、第1のビデオメモリ102から広角画像1010(N−k〜N)の各々のフレーム画像を読み出し、それぞれのフレーム画像において人物の頭部位置1011(N−k〜N)を位置決めし、それにもとづいて頭部位置1011を中心に所定の大きさの画像(以下、人体画像と記す)1012(N−k〜N)を切り出して出力する(S1003)。 First, the image cutout unit 103 reads out each frame image of the wide-angle image 1010 (N−K to N) from the first video memory 102, and the head position 1011 (N−k to N−K) of the person in each frame image. N) is positioned, and based on this, an image (hereinafter referred to as a human body image) 1012 (Nk to N) having a predetermined size centering on the head position 1011 is cut out and output (S1003).
特徴画像情報作成部125は切り出された人体画像1012(N−k〜N)から特徴テンプレート情報1013を作成する。特徴テンプレート情報1013は、頭部位置1011(N−k〜N)を用いて作成され、記憶部104に格納される。特徴テンプレート情報1013の作成方法については、後述する(S1004)。 The feature image information creation unit 125 creates feature template information 1013 from the cut human body image 1012 (Nk to N). The feature template information 1013 is created using the head position 1011 (Nk to N) and stored in the storage unit 104. A method of creating the feature template information 1013 will be described later (S1004).
移動位置予測部105は、広角画像1010(N−k〜N)において位置決めされた頭部位置1011(N−k〜N)から次のフレーム画像である広角画像1010(N+)における頭部位置1019を予測する(S1005)(以下、この頭部位置を予測頭部位置と記す)。例えば、予測頭部位置1019の予測にはKalman filterを用いることができる(例えば、参考文献1を参照。)。 The movement position prediction unit 105 performs a head position 1019 in the wide-angle image 1010 (N +) that is the next frame image from the head position 1011 (N-K to N) positioned in the wide-angle image 1010 (Nk to N). (S1005) (hereinafter, this head position is referred to as a predicted head position). For example, a Kalman filter can be used to predict the predicted head position 1019 (see, for example, Reference 1).
参考文献1:M. R. DobieおよびP. H. Lewis.“The application of a Kalman filter to object tracking”1992 Research Journal,Department of Electronics and Computer Science,University of Southampton,Pages 45−47,1992.
移動部106は、移動位置予測部105で予測された予測頭部位置1019にもとづいて、スレーブカメラ107に人物1001を含む領域(画角1041)を撮影させるためにスレーブカメラ107の方向を変更する。予測頭部位置1019にもとづいて、例えばルックアップテーブルを用いて得られた、パン−チルト−ズーム信号が移動位置予測部105から移動部106に送信される(S1006)。
Reference 1: M.M. R. Dobie and P.M. H. Lewis. “The application of a Kalman filter to object tracking”, 1992 Research Journal, Department of Electronics and Computer Science, University out of 47.
Based on the predicted head position 1019 predicted by the movement position prediction unit 105, the movement unit 106 changes the direction of the slave camera 107 in order to cause the slave camera 107 to capture an area (view angle 1041) including the person 1001. . Based on the predicted head position 1019, for example, a pan-tilt-zoom signal obtained using a lookup table is transmitted from the movement position prediction unit 105 to the movement unit 106 (S1006).
スレーブカメラ107が所定の位置に移動されると、広角画像1010(N+)に相当する、マスターカメラ101で撮影された新しい広角画像1020およびスレーブカメラ107で撮影された狭角画像1014が、各々第1のビデオメモリ102および第2のビデオメモリ108から照合部109に送られる。 When the slave camera 107 is moved to a predetermined position, a new wide-angle image 1020 photographed by the master camera 101 and a narrow-angle image 1014 photographed by the slave camera 107 corresponding to the wide-angle image 1010 (N +) are respectively displayed. The data is sent from the first video memory 102 and the second video memory 108 to the collation unit 109.
照合部109は、まず広角画像1020の中で頭部を含む領域を人物領域1015として定め、照合のために、記憶部104に格納された特徴テンプレート情報1013を用いて狭角画像1014において、広角画像1020の人物領域1015に対応する拡大された領域を照合領域1016として設定する(S1007)。移動位置予測部105から出力される予測頭部位置1019は、照合部109において狭角画像1014における照合領域1016を設定する際に用いられる。 The collation unit 109 first determines an area including the head in the wide-angle image 1020 as a person area 1015, and uses the feature template information 1013 stored in the storage unit 104 for collation in the narrow-angle image 1014. An enlarged area corresponding to the person area 1015 of the image 1020 is set as the collation area 1016 (S1007). The predicted head position 1019 output from the movement position prediction unit 105 is used when the collation unit 109 sets the collation area 1016 in the narrow-angle image 1014.
照合部109は、広角画像1020における人物領域1015と、狭角画像1014における照合領域1016との間で照合を行い、その結果、領域間の類似関係が高ければ、両者は一致すると判定する(S1008)。 The matching unit 109 performs matching between the person region 1015 in the wide-angle image 1020 and the matching region 1016 in the narrow-angle image 1014. As a result, if the similarity between the regions is high, the matching unit 109 determines that the two match (S1008). ).
表示部110は、照合領域1016の高解像度な画像1018ならびに広角画像1020および追跡軌跡1017を表示する(S1009)。 The display unit 110 displays the high-resolution image 1018, the wide-angle image 1020, and the tracking locus 1017 in the matching area 1016 (S1009).
本発明の第1の実施の形態における動体検出装置1においては、離間手段111がスレーブカメラ107をマスターカメラ101から離間させているので、広角画像1020において複数の人物が重なって1つになって見える場合に、その重なりを狭角画像1014において知ることができる。この効果について、図3を用いてさらに詳細に説明する。 In the moving body detection apparatus 1 according to the first embodiment of the present invention, the separating unit 111 separates the slave camera 107 from the master camera 101, so that a plurality of persons overlap in the wide-angle image 1020 to become one. When visible, the overlap can be seen in the narrow angle image 1014. This effect will be described in more detail with reference to FIG.
図3(a)は、従来の技術で説明したような、カメラを1台備えた動体検出装置において撮影された広角画像705の一例である。図3(a)に示したように、広角画像705においては、2人の人物701、702をカメラ703によって撮影した場合、互いに重なる。一方、本発明の第1の実施の形態における動体検出装置1によれば、図3(b)に示したように、離間手段111がマスターカメラ101およびスレーブカメラ107を所定の距離707離間させているので、狭角画像706には、複数の人物701、702が分離して撮影される。この2つの画像を比較することにより、広角画像705に撮影された人物が本当に1人であるのか否かを確認することができる。例えば、以降の処理において、広角画像705中の人物をカウントするような場合、撮影された人物が確実に1人であるか否かを知ることは重要である。広角画像705において1人であるとカウントされても、狭角画像706において複数のカウントがされた場合には、追跡すべき人物の設定等、さらに詳しい処理を行う必要が生じる。 FIG. 3A is an example of a wide-angle image 705 photographed by a moving object detection apparatus having one camera as described in the related art. As shown in FIG. 3A, in the wide-angle image 705, when two people 701 and 702 are photographed by the camera 703, they overlap each other. On the other hand, according to the moving body detection apparatus 1 in the first embodiment of the present invention, as shown in FIG. 3B, the separating unit 111 separates the master camera 101 and the slave camera 107 by a predetermined distance 707. Therefore, a plurality of persons 701 and 702 are photographed separately in the narrow-angle image 706. By comparing these two images, it can be confirmed whether or not the person photographed in the wide-angle image 705 is really one person. For example, in the subsequent processing, when counting the number of persons in the wide-angle image 705, it is important to know whether or not the number of photographed persons is one. Even if one person is counted in the wide-angle image 705, if a plurality of counts are counted in the narrow-angle image 706, it is necessary to perform further detailed processing such as setting a person to be tracked.
次に、本発明の第1の実施の形態における動体検出装置1の各構成要素について、さらに詳細に説明する。 Next, each component of the moving body detection device 1 according to the first embodiment of the present invention will be described in more detail.
図4は、本発明の第1の実施の形態における動体検出装置1の画像切出部103および特徴画像情報作成部125の構成を示すブロック図である。 FIG. 4 is a block diagram showing configurations of the image cutout unit 103 and the feature image information creation unit 125 of the moving object detection device 1 according to the first embodiment of the present invention.
図4に示したように、第1のビデオメモリ102から出力された広角画像1010は、まず頭部検出部201に送られ、人物の頭部中心の位置、すなわち頭部位置1011が検出される。頭部検出部201で検出された頭部位置1011は、移動位置予測部105および人物領域切出部202に送られる。 As shown in FIG. 4, the wide-angle image 1010 output from the first video memory 102 is first sent to the head detection unit 201 to detect the position of the head of the person, that is, the head position 1011. . The head position 1011 detected by the head detection unit 201 is sent to the movement position prediction unit 105 and the person area extraction unit 202.
続いて人物領域切出部202は、頭部検出部201で検出された頭部位置1011を中心に人体画像1012を切り出す。特徴画像情報作成部125は、人物領域切出部202において複数の広角画像1010(N−k〜N)から切り出された人体画像1012(N−k〜N)を用いて、特徴テンプレート情報1013を作り出し、特徴テンプレート情報1013は記憶部104に記憶される。なお、頭部検出部201で検出された頭部位置1011または人体画像1012の情報は、記憶部104に記憶される構成であってもよい。 Subsequently, the person region cutout unit 202 cuts out the human body image 1012 around the head position 1011 detected by the head detection unit 201. The feature image information creation unit 125 uses the human body images 1012 (Nk to N) cut out from the plurality of wide-angle images 1010 (Nk to N) by the person region cutout unit 202 to obtain the feature template information 1013. The feature template information 1013 is created and stored in the storage unit 104. The information on the head position 1011 or the human body image 1012 detected by the head detection unit 201 may be stored in the storage unit 104.
頭部検出部201および人物領域切出部202における画像処理方法についてさらに詳細に説明する。図5は、本発明の第1の実施の形態における頭部検出部201および人物領域切出部202の動作を説明するための図である。図5(a)に示したような広角画像501から、頭部検出部201は、エッジ検出フィルタ(例えばSobel、Laplacian(例えば、参考文献2を参照。))を用いて、図5(b)に示したような2値化されたエッジマップ502を算出して、エッジが連続する線をリンクエッジ503として検出する。 The image processing method in the head detection unit 201 and the person area extraction unit 202 will be described in more detail. FIG. 5 is a diagram for explaining the operations of the head detection unit 201 and the person area cutout unit 202 according to the first embodiment of the present invention. From the wide-angle image 501 as shown in FIG. 5A, the head detection unit 201 uses an edge detection filter (for example, Sobel, Laplacian (for example, see Reference 2)) as shown in FIG. The binarized edge map 502 as shown in FIG. 6 is calculated, and a line with continuous edges is detected as the link edge 503.
参考文献2:R. Haralick and L. Shapiro,“Computer and Robot Vision”,Vol. 1,Addison−Wesley Publishing Company,pages 346−351,1992.
図5(c)に示したように、頭部検出部201は、広角画像501における凸型のリンクエッジ503の中心位置を頭頂として頭部位置505を推定する。
Reference 2: R.I. Haralick and L.H. Shapiro, “Computer and Robot Vision”, Vol. 1, Addison-Wesley Publishing Company, pages 346-351, 1992.
As shown in FIG. 5C, the head detection unit 201 estimates the head position 505 with the center position of the convex link edge 503 in the wide-angle image 501 as the top of the head.
人物領域切出部202は、リンクエッジ503により規定された最大輝度領域から図5(d)に示したような所定の大きさの画像を切り出し、人体画像506とする。 The person area cutout unit 202 cuts out an image having a predetermined size as shown in FIG. 5D from the maximum luminance area defined by the link edge 503 to obtain a human body image 506.
次に、特徴画像情報作成部125における画像処理方法の一例を図6に示す。図6は本発明の第1の実施の形態における動体検出装置1の特徴画像情報作成部125の動作を説明するための図である。図6(a)に示したような、連続する広角画像501(N−2〜N)において各フレーム毎に頭部検出部201が頭部位置505(N−2〜N)を決定する。人物領域切出部202は、それぞれの広角画像501(N−2〜N)において、各フレーム毎に人体画像506(N−2〜N)を切り出す。 Next, an example of an image processing method in the feature image information creation unit 125 is shown in FIG. FIG. 6 is a diagram for explaining the operation of the feature image information creation unit 125 of the moving object detection device 1 according to the first embodiment of the present invention. In the continuous wide-angle images 501 (N−2 to N) as shown in FIG. 6A, the head detection unit 201 determines the head position 505 (N−2 to N) for each frame. The person region cutout unit 202 cuts out the human body image 506 (N-2 to N) for each frame in each wide-angle image 501 (N-2 to N).
特徴画像情報作成部125は、図6(b)に示したように、人体画像506(N−2〜N)の頭部位置505(N−2〜N)が同じ位置になるように重ねあわせることにより、人体画像506の各画素(x,y)における色彩を時刻t方向にならべた3次元データ520を生成する。3次元データ520の各要素は、色彩値Cで色の3要素によって次式のようにあらわされる。 As illustrated in FIG. 6B, the feature image information creation unit 125 superimposes the human body images 506 (N−2 to N) so that the head positions 505 (N−2 to N) are at the same position. As a result, the three-dimensional data 520 in which the colors at the respective pixels (x, y) of the human body image 506 are arranged in the time t direction is generated. Each element of the three-dimensional data 520 is represented by the following equation by the color value C and the three elements of color.
なお、r、g、bは各々、赤、緑、青の色要素をあらわす。 Note that r, g, and b represent red, green, and blue color elements, respectively.
この3次元データ520から図6(c)に示したような色彩値Cの安定性を示す特徴テンプレート情報513を作成することができる。特徴テンプレート情報513は、〔0,1〕の範囲内の値を持つ2次元関数s(x,y)である。人体画像506(N−2〜N)は頭部位置505(N−2〜N)をもとに重ねると、人物の存在しない領域(非人物領域514)はs(x,y)=0となる。それ以外の領域は人物領域515で、s(x,y)>0となり、s(x,y)の値が大きくなるに従って、その場所に人物の存在する可能性が高くなる。 Feature template information 513 indicating the stability of the color value C as shown in FIG. 6C can be created from the three-dimensional data 520. The feature template information 513 is a two-dimensional function s (x, y) having a value in the range [0, 1]. When the human body image 506 (N−2 to N) is superimposed based on the head position 505 (N−2 to N), a region where no person exists (non-person region 514) is s (x, y) = 0. Become. The other area is the person area 515, where s (x, y)> 0, and as the value of s (x, y) increases, the possibility that a person exists at that location increases.
なお、この際カメラノイズや人物の動きのために画素の色彩値がフレーム毎に変化するため、s(x,y)は変化する。s(x,y)が、1.0、すなわち最大値となった場合には、その場所に人物がいる可能性が非常に高いことを示す。 At this time, since the color value of the pixel changes for each frame due to camera noise or the movement of a person, s (x, y) changes. When s (x, y) is 1.0, that is, the maximum value, it indicates that there is a very high possibility that there is a person at the place.
人体画像506(N−2〜N)のそれぞれにおいて、画素(x,y)が人物領域の場合のs(x,y)の値は、次に説明するアルゴリズムによって計算される。 In each of the human body images 506 (N−2 to N), the value of s (x, y) when the pixel (x, y) is a person region is calculated by an algorithm described below.
まず、3次元データ520を時間軸方向に平均した2次元データ First, two-dimensional data obtained by averaging three-dimensional data 520 in the time axis direction
を求める。 Ask for.
(数2)は、次式に示すように、r、g、bの要素を持っている。 (Equation 2) has elements r, g, and b as shown in the following equation.
2次元データにする前に、図7に示すような時空間フィルタ521を施すことにより、3次元データC(c,y,t)を平滑化した値μ(x,y,t)を求める。図7に示す時空間フィルタ521では、フレームの人体画像506(N)のμ(x,y,t)を求める際、xy方向または時間軸t方向に近いものほど重み付けを大きくしてμ(x,y,t)の値を求める様子を示している。図7では、ブロックの色が濃いほど重み付けが大きいことを示している。 Before making the two-dimensional data, a space-time filter 521 as shown in FIG. 7 is applied to obtain a value μ (x, y, t) obtained by smoothing the three-dimensional data C (c, y, t). In the spatio-temporal filter 521 shown in FIG. 7, when μ (x, y, t) of the human body image 506 (N) of the frame is obtained, the weight is increased as the value is closer to the xy direction or the time axis t direction, and μ (x , Y, t). In FIG. 7, the darker the block color, the greater the weighting.
次式は時空間フィルタ521によって、3次元データ520を平滑化する方法を示している。 The following equation shows a method for smoothing the three-dimensional data 520 by the spatio-temporal filter 521.
次式は、平滑化した3次元データ520を時間軸方向に平均して、(数2)を求める方法を示している。 The following equation shows a method of obtaining (Equation 2) by averaging the smoothed three-dimensional data 520 in the time axis direction.
w(x,y,t)はガウス関数を示している。w(x,y,t)は、次式に示すように、r、g、bの要素で構成されている。 w (x, y, t) represents a Gaussian function. w (x, y, t) is composed of r, g, and b elements as shown in the following equation.
また、これらの要素は次式で示すものである。 These elements are shown by the following formulas.
このとき、σx,σy,σtは、分散をあらわす。 At this time, σ x , σ y , and σ t represent dispersion.
分散σx,σy,σtを求めるために、まず、次式のように各軸方向の平均値cx,cy,ctを求める。 Variance sigma x, sigma y, to determine the sigma t, firstly, the average value c x of the axial to the following equation, c y, seek c t.
そして、これらの平均値を用いて、分散σx,σy,σtを次式のように求めることができる。 Then, using these average values, the variances σ x , σ y , and σ t can be obtained as follows.
s(x,y)の値を求める際には、まず、求めた When calculating the value of s (x, y), first
を用いて、3次元データ520の重み付けした分散λr,λg,λbを求める。 Are used to find the weighted variances λ r , λ g , λ b of the three-dimensional data 520.
この過程において、 In this process,
を計算し、その最大値をλmaxとする。 And the maximum value is λ max .
この結果、s(x,y)は次式によって求めることができる。 As a result, s (x, y) can be obtained by the following equation.
次に、本発明の第1の実施の形態における動体検出装置1の記憶部104について説明する。図8は本発明の第1の実施の形態における動体検出装置1の記憶部104の機能を説明するための図である。記憶部104は、特徴画像情報作成部125で作成された特徴テンプレート情報303の値(例えば〔0,255〕の範囲内の値)を保持するための2次元データ格納部301、および、特徴テンプレート情報303の高さhおよび幅wを記憶するテンプレートサイズ記憶部302を有する。記憶部104に記憶された情報は照合部109に送られる。 Next, the memory | storage part 104 of the moving body detection apparatus 1 in the 1st Embodiment of this invention is demonstrated. FIG. 8 is a diagram for explaining the function of the storage unit 104 of the moving object detection device 1 according to the first embodiment of the present invention. The storage unit 104 includes a two-dimensional data storage unit 301 for holding the value of the feature template information 303 created by the feature image information creation unit 125 (for example, a value within the range of [0, 255]), and a feature template A template size storage unit 302 that stores the height h and width w of the information 303 is provided. Information stored in the storage unit 104 is sent to the verification unit 109.
次に、本発明の第1の実施の形態における動体検出装置1の照合部109について説明する。図9は本発明の第1の実施の形態における動体検出装置1の照合部109の動作を説明するための図である。照合部109は、広角画像601から目標領域603を設定する。次に、照合部109は、広角画像601の目標領域603に対応する、狭角画像602における拡大された探索範囲605を設定する。続いて照合部109は、拡大された探索範囲605の範囲内でシフトされる照合領域604を設定する。設定された照合領域604は、シフトしながら特徴テンプレート情報513を用いて目標領域603と照合される。最も照合結果が良好であった照合領域604の位置が出力される。 Next, the verification unit 109 of the moving object detection device 1 according to the first embodiment of the present invention will be described. FIG. 9 is a diagram for explaining the operation of the matching unit 109 of the moving object detection device 1 according to the first embodiment of the present invention. The matching unit 109 sets the target area 603 from the wide-angle image 601. Next, the matching unit 109 sets an enlarged search range 605 in the narrow-angle image 602 corresponding to the target area 603 of the wide-angle image 601. Subsequently, the collation unit 109 sets a collation area 604 that is shifted within the expanded search range 605. The set collation area 604 is collated with the target area 603 using the feature template information 513 while shifting. The position of the collation area 604 with the best collation result is output.
ここで、照合部109の詳細な構成について説明する。図10は、本発明の第1の実施の形態における動体検出装置1の照合部109の構成を示すブロック図である。 Here, a detailed configuration of the matching unit 109 will be described. FIG. 10 is a block diagram showing a configuration of the collation unit 109 of the moving object detection device 1 according to the first embodiment of the present invention.
なお、以下、図9に示す座標606(Xm,Ym)、座標607(Xs,Ys)および座標608(x,y)が、それぞれ目標領域603、照合領域604および特徴テンプレート情報513における該当の座標をあらわすとして説明する。 Hereinafter, coordinates 606 (Xm, Ym), coordinates 607 (Xs, Ys), and coordinates 608 (x, y) shown in FIG. 9 are the corresponding coordinates in the target area 603, the matching area 604, and the feature template information 513, respectively. This is explained as
目標領域設定部401は目標領域603を設定する。目標領域603とは、広角画像601において移動位置予測部105により与えられる、動体が移動すべき位置の近傍を人物領域切出部202で切り出された人体画像の占める領域のことをいう。 The target area setting unit 401 sets a target area 603. The target area 603 is an area occupied by the human body image cut out by the human area cutout unit 202 in the vicinity of the position where the moving body should move, which is given by the movement position prediction unit 105 in the wide-angle image 601.
照合領域設定部402は、照合領域604を設定する。照合領域604の走査輪郭は、拡大率Zを用い目標領域603の外形を拡大することにより決定される。 The collation area setting unit 402 sets the collation area 604. The scanning contour of the collation area 604 is determined by enlarging the outer shape of the target area 603 using the enlargement factor Z.
照合領域604は拡大された探索範囲605内においてその上下左右にシフトされる。目標領域603および照合領域604が一旦決められると、それぞれに対応した立体カラーヒストグラム(以下、SCHと記す)が作られる。SCHは、下記のように定義された5次元確率密度関数である。 The collation area 604 is shifted vertically and horizontally within the enlarged search range 605. Once the target area 603 and the collation area 604 are determined, a three-dimensional color histogram (hereinafter referred to as SCH) corresponding to each of them is created. SCH is a five-dimensional probability density function defined as follows.
定義:SCH(x,y,r,g,b)は画素(x,y)が色彩値(r,g,b)を有する確率。 Definition: SCH (x, y, r, g, b) is the probability that a pixel (x, y) has a color value (r, g, b).
目標領域ヒストグラム算出部403は、第1のビデオメモリ102から広角画像601中を読みこみ、特徴テンプレート情報513における画素(x,y)に対応する目標領域603の画素(Xm,Ym)を選択する。選択された画素情報は、後述する目標領域SCHの算出に用いられる。 The target area histogram calculation unit 403 reads the wide-angle image 601 from the first video memory 102 and selects a pixel (Xm, Ym) in the target area 603 corresponding to the pixel (x, y) in the feature template information 513. . The selected pixel information is used for calculation of a target area SCH described later.
目標領域ヒストグラム算出部403における目標領域SCH626の算出は、図11に示されたアルゴリズムにより達成することができる。図11は、本発明の第1の実施の形態における目標領域SCH626の算出を説明するための図である。 The calculation of the target area SCH 626 in the target area histogram calculation unit 403 can be achieved by the algorithm shown in FIG. FIG. 11 is a diagram for explaining calculation of the target region SCH 626 in the first embodiment of the present invention.
特徴テンプレート情報513の画素620(x,y)に対応する、目標領域603の画素622(Xm,Ym)は、次の式を満たすように選択される。 The pixel 622 (Xm, Ym) in the target area 603 corresponding to the pixel 620 (x, y) in the feature template information 513 is selected so as to satisfy the following expression.
(Xm,Ym)=(x,y)
選択された画素622(Xm,Ym)が色彩値(r,g,b)を有する場合、ヒストグラム値625(x,y,r,g,b)は、下記の式により更新される。
(Xm, Ym) = (x, y)
When the selected pixel 622 (Xm, Ym) has a color value (r, g, b), the histogram value 625 (x, y, r, g, b) is updated by the following equation.
SCHtarget(x,y,r,g,b)=SCHtarget(x,y,r,g,b)+s(x,y)
なお、s(x,y)は画素(x,y)における安定性の特徴テンプレート情報513の値である。
SCH target (x, y, r, g, b) = SCH target (x, y, r, g, b) + s (x, y)
Note that s (x, y) is the value of the stability feature template information 513 in the pixel (x, y).
上述の処理が安定性の特徴テンプレート情報513上のすべての画素(x,y)について行われる。得られたヒストグラム値625は、通常の“non−parametric density estimator(例えば、参考文献3を参照。)”により標準化され、平滑化されて目標領域SCH626を得ることができる。 The above-described processing is performed for all pixels (x, y) on the stability feature template information 513. The obtained histogram value 625 is standardized by a normal “non-parametric densitometer (see, for example, Reference 3)” and can be smoothed to obtain the target region SCH 626.
参考文献3:B.W. Silverman. “Density Estimation for Statistics and Data Analysis”. Chapman & Hall,1986.
次に、照合領域ヒストグラム算出部404は、第2のビデオメモリ108から狭角画像602を読みこみ、特徴テンプレート情報513の画素(x,y)に対応する照合領域604における画素(Xs,Ys)周辺の領域を選択することにより、照合領域604内を反復的にサンプリングする。選択された画素の位置情報は、後述する照合領域SCH636の算出に用いられる。
Reference 3: B. W. Silverman. “Density Estimates for Statistics and Data Analysis”. Chapman & Hall, 1986.
Next, the matching area histogram calculation unit 404 reads the narrow-angle image 602 from the second video memory 108, and the pixel (Xs, Ys) in the matching area 604 corresponding to the pixel (x, y) of the feature template information 513. By selecting the surrounding area, the collation area 604 is repeatedly sampled. The position information of the selected pixel is used for calculation of a collation area SCH 636 described later.
照合領域ヒストグラム算出部404における照合領域SCH636の最適化は、図12に示されたアルゴリズムにより実現することができる。図12は、本発明の第1の実施の形態における照合領域SCH636の最適化を説明するための図である。 The optimization of the matching area SCH 636 in the matching area histogram calculation unit 404 can be realized by the algorithm shown in FIG. FIG. 12 is a diagram for explaining optimization of collation region SCH 636 in the first embodiment of the present invention.
なお、照合領域ヒストグラム算出部404により選択された領域を領域Rとあらわすものとする。 It is assumed that the region selected by the matching region histogram calculation unit 404 is represented as a region R.
領域Rは、下記の式により定められる。 The region R is determined by the following formula.
なお、Zは前述の拡大率Zであり、σは(zx,zy)を中心とする標準化された2次元立体ガウス加重関数h(xs,ys)の分散である。 Z is the above-described enlargement ratio Z, and σ is a variance of a standardized two-dimensional solid Gaussian weighting function h (x s , y s ) centered on (zx, zy).
最適化の過程中、領域Rの中心画素には、より大きな加重が行われる。領域R中の画素634(xs,ys)がカラー(r,g,b)を有する場合、すなわちヒストグラム値635は、下記の式により更新される。 During the optimization process, a greater weight is applied to the center pixel of region R. When the pixel 634 (x s , y s ) in the region R has the color (r, g, b), that is, the histogram value 635 is updated by the following equation.
なお、s(x,y)は位置(x,y)における特徴テンプレート情報513の値である。 Note that s (x, y) is the value of the feature template information 513 at the position (x, y).
このような処理は、特徴テンプレート情報513上のすべての画素(x,y)に対して反復される。得られたヒストグラムは、通常の“non−parametric density estimator(例えば、参考文献3を参照。)”により標準化され、平滑化されて、照合領域SCH636を得ることができる。 Such processing is repeated for all pixels (x, y) on the feature template information 513. The obtained histogram can be standardized and smoothed by a normal “non-parametric density estimator (see, for example, Reference 3)” to obtain a matching region SCH 636.
次に、ヒストグラム判別部405は、目標領域SCH626と照合領域SCH636との間の類似性を求めるためにヒストグラムマッチングを行う。マッチングに用いるアルゴリズムの一例は、次に示されている“Ballard’s histogram intersection(例えば、参考文献4を参照。)”。: Next, the histogram determination unit 405 performs histogram matching in order to obtain the similarity between the target area SCH 626 and the matching area SCH 636. An example of an algorithm used for matching is “Ballard's histogram intersection” (for example, see Reference 4). :
参考文献4:M. J. Swain and D. H. Ballard. “Color indexing” International Journal of Computer Vision,7(1). Pages 11−32,1991.
ヒストグラム判別部405からのマッチング出力値(以下、相関値と記す)は、0(相関なし、すなわち互いのSCHがまったく異なっている)から1(完全相関、すなわち互いのSCHが完全一致する)までの値を有する。
Reference 4: M.M. J. et al. Swain and D.C. H. Ballard. “Color indexing” International Journal of Computer Vision, 7 (1). Pages 11-32, 1991.
The matching output value from the histogram discriminating unit 405 (hereinafter referred to as a correlation value) ranges from 0 (no correlation, that is, the SCHs are completely different) to 1 (complete correlation, that is, the SCHs are completely matched). Has the value of
また、最大出力検出部406は、拡大された探索範囲605内において、走査輪郭を反復的にシフトさせて設定される複数の照合領域604の各々と目標領域603との間での相関値の最大値を検出する。最も相関値の高い照合領域604およびその画素(Xs,Ys)の位置情報が、最大出力検出部406から表示部110に出力される。 In addition, the maximum output detection unit 406 maximizes the correlation value between each of the plurality of collation regions 604 set by repeatedly shifting the scanning contour and the target region 603 within the expanded search range 605. Detect value. The position information of the collation region 604 having the highest correlation value and the pixel (Xs, Ys) is output from the maximum output detection unit 406 to the display unit 110.
このような構成により、本発明の第1の実施の形態における動体検出装置によれば、広角画像を撮影できるマスターカメラおよび解像度の高い狭角画像を撮影できるスレーブカメラの2つのカメラを用いることによって、広域における動体検出と解像度の高い動体の画像の出力とを同時に実現することができる。また、広角画像から抽出された人体等の動体と、狭角画像において対応する領域とをSCHによって照合するので、高い精度での照合が可能である。 With such a configuration, according to the moving object detection apparatus of the first embodiment of the present invention, by using two cameras, a master camera that can capture a wide-angle image and a slave camera that can capture a narrow-angle image with high resolution. In addition, it is possible to simultaneously realize moving object detection in a wide area and output of a moving object image with high resolution. In addition, since a moving object such as a human body extracted from a wide-angle image and a corresponding region in a narrow-angle image are collated by SCH, collation with high accuracy is possible.
(第2の実施の形態)
次に、本発明の第2の実施の形態における動体検出装置について説明する。
(Second Embodiment)
Next, the moving body detection apparatus in the 2nd Embodiment of this invention is demonstrated.
図13は本発明の第2の実施の形態における動体検出装置2の構成を示すブロック図である。また、図14は本発明の第2の実施の形態における動体検出装置2の動作を説明するための図である。なお、説明を簡単にするために、図13における動体検出装置2の各構成要素について、第1の実施の形態に説明した動体検出装置1の構成要素と同様の構成要素については同じ符号を付し、その説明を省略する。 FIG. 13 is a block diagram showing the configuration of the moving object detection device 2 according to the second embodiment of the present invention. Moreover, FIG. 14 is a figure for demonstrating operation | movement of the moving body detection apparatus 2 in the 2nd Embodiment of this invention. In order to simplify the description, the same reference numerals are given to the same constituent elements as those of the moving object detection apparatus 1 described in the first embodiment. The description is omitted.
図13に示すように、本発明の第2の実施の形態における動体検出装置2においては、マスターカメラ101およびスレーブカメラ107は可動プラットフォーム904に取り付けられている。可動プラットフォーム904の制御は、カメラシステム移動部802によって行われている。 As shown in FIG. 13, in the moving body detection device 2 according to the second embodiment of the present invention, the master camera 101 and the slave camera 107 are attached to a movable platform 904. Control of the movable platform 904 is performed by the camera system moving unit 802.
図14(a)に示したように、例えば、移動する人物901が軌跡907における位置Aにおいてマスターカメラ101の画角905内にあるとき、スレーブカメラ107は移動部106によって移動して人物901の拡大された画像を撮影する。 As shown in FIG. 14A, for example, when the moving person 901 is within the angle of view 905 of the master camera 101 at the position A in the locus 907, the slave camera 107 is moved by the moving unit 106 and the person 901 is moved. Take an enlarged image.
図14(b)に示したように、人物901が位置Bに移動した場合には、スレーブカメラ107は移動部106によってスレーブカメラ107の画角906内に人物901の画像を撮影するために位置を移動する。 As shown in FIG. 14B, when the person 901 moves to the position B, the slave camera 107 is moved by the moving unit 106 to take an image of the person 901 within the angle of view 906 of the slave camera 107. To move.
しかしながら、図14(c)に示したように、人物901がマスターカメラ101の画角905から外れて位置Cにさらに移動した場合には、可動プラットフォーム904は、マスターカメラ101の画角に人物901を捉え続けるように、マスターカメラ101を移動させる。このとき、同時にスレーブカメラ107は、可動プラットフォーム904が動いている間スレーブカメラ107の画角906内に人物901の画像を撮影するように、移動部106によって位置を移動する。 However, as shown in FIG. 14C, when the person 901 moves out of the angle of view 905 of the master camera 101 and further moves to the position C, the movable platform 904 moves the person 901 to the angle of view of the master camera 101. The master camera 101 is moved so as to keep catching. At this time, the position of the slave camera 107 is moved by the moving unit 106 so as to capture an image of the person 901 within the angle of view 906 of the slave camera 107 while the movable platform 904 is moving.
なお、図示しないが、図13における移動位置予測部105は、人物901がマスターカメラ101の画角905から外れつつあるときには、移動する人物901をマスターカメラ101の画角905内に保持するためにカメラシステム移動部802にチルト信号またはパン信号またはズーム信号等を出力する構成であってもよい。 Although not shown, the movement position prediction unit 105 in FIG. 13 holds the moving person 901 within the angle of view 905 of the master camera 101 when the person 901 is deviating from the angle of view 905 of the master camera 101. The camera system moving unit 802 may be configured to output a tilt signal, pan signal, zoom signal, or the like.
このようにして、本発明の第2の実施の形態における動体検出装置によれば、動体がマスターカメラの画角から外れた位置に移動するような場合にも、可動プラットフォームによってマスターカメラが移動する構成により、第1の実施の形態で説明した動体検出装置と比較しても、さらに広い範囲で動体の検出が可能となる。 Thus, according to the moving object detection device in the second embodiment of the present invention, even when the moving object moves to a position deviating from the angle of view of the master camera, the master camera moves by the movable platform. With the configuration, even when compared with the moving object detection apparatus described in the first embodiment, it is possible to detect a moving object in a wider range.
なお、本発明の実施の形態においては、動体として人物を例として示したが、本発明の動体検出装置は検出する動体の種類を限定するものではない。動物や車両等、他のいかなる動体をも同様に検出できることはいうまでもない。 In the embodiment of the present invention, a person is shown as an example of a moving object. However, the moving object detection device of the present invention does not limit the type of moving object to be detected. It goes without saying that any other moving object such as an animal or a vehicle can be detected in the same manner.
本発明にかかる動体検出装置を用いれば、マスターカメラとスレーブカメラとを併用する構成により、広域における動体検出と解像度の高い動体の画像の出力とを同時に実現することができるという効果を有し、ビデオカメラ等の撮影装置で撮影される画像から動体を検出し追跡するための動体検出装置等として有用である。 By using the moving object detection device according to the present invention, it is possible to simultaneously realize the detection of moving objects in a wide area and the output of moving images with a high resolution by using the master camera and the slave camera together. The present invention is useful as a moving object detection device for detecting and tracking a moving object from an image photographed by a photographing device such as a video camera.
1,2 動体検出装置
101 マスターカメラ
102 第1のビデオメモリ
103 画像切出部
104 記憶部
105 移動位置予測部
106 移動部
107 スレーブカメラ
108 第2のビデオメモリ
109 照合部
110 表示部
111 離間手段
125 特徴画像情報作成部
201 頭部検出部
202 人物領域切出部
301 2次元データ格納部
302 テンプレートサイズ記憶部
303,513,1013 特徴テンプレート情報
401 目標領域設定部
402 照合領域設定部
403 目標領域ヒストグラム算出部
404 照合領域ヒストグラム算出部
405 ヒストグラム判別部
406 最大出力検出部
501,601,705,1010,1020 広角画像
502 エッジマップ
503 リンクエッジ
505,1011 頭部位置
506,1012 人体画像
514 非人物領域
515,1015 人物領域
520 3次元データ
521 時空間フィルタ
602,706,1014 狭角画像
603 目標領域
604,1016 照合領域
605 拡大された探索範囲
606,607,608 座標
620,622,634 画素
625,635 ヒストグラム値
626 目標領域SCH
636 照合領域SCH
701,702,901,1001 人物
703 カメラ
707 (所定の離間)距離
802 カメラシステム移動部
904 可動プラットフォーム
905,1040 (マスターカメラの)画角
906,1041 (スレーブカメラの)画角
907,1002 軌跡
1017 追跡軌跡
1018 高解像度な画像
1019 予測頭部位置
DESCRIPTION OF SYMBOLS 1, 2 Moving body detection apparatus 101 Master camera 102 1st video memory 103 Image extraction part 104 Storage part 105 Movement position prediction part 106 Movement part 107 Slave camera 108 2nd video memory 109 Collation part 110 Display part 111 Separation means 125 Feature image information creation unit 201 Head detection unit 202 Human region extraction unit 301 Two-dimensional data storage unit 302 Template size storage unit 303,513,1013 Feature template information 401 Target region setting unit 402 Collation region setting unit 403 Target region histogram calculation Unit 404 collation region histogram calculation unit 405 histogram discrimination unit 406 maximum output detection unit 501, 601, 705, 1010, 1020 wide angle image 502 edge map 503 link edge 505, 1011 head position 506 012 Human body image 514 Non-human region 515, 1015 Human region 520 Three-dimensional data 521 Spatio-temporal filter 602, 706, 1014 Narrow-angle image 603 Target region 604, 1016 Matching region 605 Enlarged search range 606, 607, 608 Coordinates 620, 622, 634 pixels 625, 635 Histogram value 626 Target area SCH
636 Verification area SCH
701, 702, 901, 1001 Person 703 Camera 707 (predetermined separation) distance 802 Camera system moving unit 904 Movable platform 905, 1040 Angle of view 906, 1041 Angle of view 907, 1002 (Slave camera) 907, 1002 Trajectory 1017 Tracking locus 1018 High resolution image 1019 Predicted head position
Claims (2)
前記動***置検出部で検出された前記動体の位置にもとづいて、所定時間後における前記広角画像中の前記動体の移動位置を予測する動***置予測部と、前記動体の移動位置にもとづいて、前記広角画像から前記動体を含む目標領域内の動体画像を切り出す動体画像切出部と、
前記切り出された動体画像から前記動体の特徴を示す特徴画像情報を作成する特徴画像情報作成部と、
前記特徴画像情報に対応する前記目標領域内の前記広角画像から第1のヒストグラムを作成する第1のヒストグラム作成部と、
前記動***置予測部で予測された前記動体の位置の情報にもとづいて、前記第2の撮影部が前記動体を視野に捉えるように、前記第2の撮影部の位置または方向を移動させる移動部と、
前記第1の撮像部の倍率と前記第2の撮像部の倍率とから画像を拡大する拡大倍率を求め、前記狭角画像内に前記目標領域を前記拡大倍率だけ拡大した照合領域を設定する照合領域設定部と、
前記特徴画像情報に対応する前記照合領域内の前記狭角画像から第2のヒストグラムを作成する第2のヒストグラム作成部と、前記第1のヒストグラムと前記第2のヒストグラムとを照合し照合度合いを出力する照合部とを備えたことを特徴とする動体検出装置。 A first image capturing unit that captures a wide-angle image, a second image capturing unit that captures a narrow-angle image having a narrower angle of view than the wide-angle image, and a moving object position detection unit that detects the position of the moving object in the wide-angle image. ,
Wherein based on the position of the moving object detected by the moving object position detection unit, a moving object position predicting unit for predicting a movement position of the moving object in the wide-angle image after a predetermined time, based on the moving position of the moving object, the A moving body image cutout unit that cuts out a moving body image in a target area including the moving body from a wide-angle image;
A feature image information creating unit that creates feature image information indicating the feature of the moving object from the clipped moving object image;
A first histogram creating unit that creates a first histogram from the wide-angle image in the target area corresponding to the feature image information;
Based on the information on the position of the moving object predicted by the moving object position prediction unit, the moving unit moves the position or direction of the second imaging unit so that the second imaging unit captures the moving object in the field of view. When,
A collation for obtaining an enlargement magnification for enlarging an image from the magnification of the first imaging unit and the magnification of the second imaging unit, and setting a collation area in which the target area is enlarged by the enlargement magnification in the narrow-angle image An area setting section;
A second histogram creation unit that creates a second histogram from the narrow-angle image in the collation area corresponding to the feature image information, collates the first histogram with the second histogram, and determines a collation degree. A moving object detection apparatus comprising: a collating unit for outputting .
前記動***置検出ステップで検出された前記動体の位置にもとづいて、所定時間後における前記広角画像中の前記動体の移動位置を予測する動***置予測ステップと、A moving object position prediction step for predicting a moving position of the moving object in the wide-angle image after a predetermined time based on the position of the moving object detected in the moving object position detection step;
前記動体の移動位置にもとづいて、前記広角画像から前記動体を含む目標領域内の動体画像を切り出す動体画像切出ステップと、前記切り出された動体画像から前記動体の特徴を示す特徴画像情報を作成する特徴画像情報作成ステップと、Based on the moving position of the moving object, a moving object image extracting step of extracting a moving object image in a target area including the moving object from the wide-angle image, and generating feature image information indicating the characteristics of the moving object from the extracted moving object image A feature image information creation step,
前記特徴画像情報に対応する前記目標領域内の前記広角画像から第1のヒストグラムを作成する第1のヒストグラム作成ステップと、前記動***置予測ステップで予測された前記動体の位置の情報にもとづいて、前記第2の撮影ステップが前記動体を視野に捉えるように、前記第2の撮影ステップの位置または方向を移動させる移動ステップと、Based on the first histogram creation step of creating a first histogram from the wide-angle image in the target area corresponding to the feature image information, and the position information of the moving object predicted in the moving object position prediction step, A moving step of moving the position or direction of the second imaging step so that the second imaging step captures the moving object in the field of view;
前記第1の撮像ステップの倍率と前記第2の撮像ステップの倍率とから画像を拡大する拡大倍率を求め、前記狭角画像内の前記物体の移動位置に前記目標領域を前記拡大倍率だけ拡大した照合領域を設定する照合領域設定ステップと、An enlargement magnification for enlarging the image is obtained from the magnification of the first imaging step and the magnification of the second imaging step, and the target area is enlarged by the enlargement magnification at the moving position of the object in the narrow-angle image. A collation area setting step for setting a collation area;
前記特徴画像情報に対応する前記照合領域内の前記狭角画像から第2のヒストグラムを作成する第2のヒストグラム作成ステップと、前記第1のヒストグラムと前記第2のヒストグラムとを照合し照合度合いを出力する照合ステップとを備えたことを特徴とする動体検出方法。A second histogram creating step for creating a second histogram from the narrow-angle image in the collation area corresponding to the feature image information, and collating the first histogram with the second histogram to obtain a collation degree. A moving object detection method comprising: a collating step for outputting.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003298483A JP4314929B2 (en) | 2003-08-22 | 2003-08-22 | Motion detection device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003298483A JP4314929B2 (en) | 2003-08-22 | 2003-08-22 | Motion detection device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005072840A JP2005072840A (en) | 2005-03-17 |
JP4314929B2 true JP4314929B2 (en) | 2009-08-19 |
Family
ID=34403969
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003298483A Expired - Fee Related JP4314929B2 (en) | 2003-08-22 | 2003-08-22 | Motion detection device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4314929B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106778655A (en) * | 2016-12-27 | 2017-05-31 | 华侨大学 | A kind of entrance based on human skeleton is trailed and enters detection method |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4911468B2 (en) * | 2007-09-14 | 2012-04-04 | 富士フイルム株式会社 | Image processing apparatus, image processing method, and program |
EP2474162B8 (en) * | 2009-08-31 | 2019-08-14 | Trace Optics Pty Ltd | A method and apparatus for relative control of multiple cameras |
JP5649429B2 (en) | 2010-12-14 | 2015-01-07 | パナソニックIpマネジメント株式会社 | Video processing device, camera device, and video processing method |
CN109327652A (en) * | 2018-10-29 | 2019-02-12 | 中国科学院长春光学精密机械与物理研究所 | A kind of ultrahigh resolution monitoring display device |
-
2003
- 2003-08-22 JP JP2003298483A patent/JP4314929B2/en not_active Expired - Fee Related
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106778655A (en) * | 2016-12-27 | 2017-05-31 | 华侨大学 | A kind of entrance based on human skeleton is trailed and enters detection method |
CN106778655B (en) * | 2016-12-27 | 2020-05-05 | 华侨大学 | Human body skeleton-based entrance trailing entry detection method |
Also Published As
Publication number | Publication date |
---|---|
JP2005072840A (en) | 2005-03-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7729512B2 (en) | Stereo image processing to detect moving objects | |
KR101647370B1 (en) | road traffic information management system for g using camera and radar | |
KR101971866B1 (en) | Method and apparatus for detecting object in moving image and storage medium storing program thereof | |
US8599266B2 (en) | Digital processing of video images | |
EP1553516B1 (en) | Pedestrian extracting apparatus | |
US5063603A (en) | Dynamic method for recognizing objects and image processing system therefor | |
JP4692371B2 (en) | Image processing apparatus, image processing method, image processing program, recording medium recording image processing program, and moving object detection system | |
US7940957B2 (en) | Object tracker for visually tracking object motion | |
KR101935399B1 (en) | Wide Area Multi-Object Monitoring System Based on Deep Neural Network Algorithm | |
KR101441333B1 (en) | Detecting Apparatus of Human Component AND Method of the same | |
JP5722381B2 (en) | Video analysis | |
EP2372642B1 (en) | Method and system for detecting moving objects | |
US20040141633A1 (en) | Intruding object detection device using background difference method | |
KR101788225B1 (en) | Method and System for Recognition/Tracking Construction Equipment and Workers Using Construction-Site-Customized Image Processing | |
EP3156940A1 (en) | Information processing apparatus, information processing method, and program | |
EP3819812B1 (en) | A method of object re-identification | |
JP4667508B2 (en) | Mobile object information detection apparatus, mobile object information detection method, and mobile object information detection program | |
CN101398896B (en) | Device and method for extracting color characteristic with strong discernment for image forming apparatus | |
JP4821355B2 (en) | Person tracking device, person tracking method, and person tracking program | |
JPH09153137A (en) | Method for recognizing picture | |
JP7518609B2 (en) | Image processing device, image processing method, and program | |
Baris et al. | Classification and tracking of traffic scene objects with hybrid camera systems | |
JP4314929B2 (en) | Motion detection device | |
CN107958202B (en) | Human body detection apparatus, control method of human body detection apparatus, and storage medium | |
JP2006010652A (en) | Object-detecting device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060309 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20060412 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081119 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081125 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090123 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090428 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090511 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120529 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120529 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130529 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130529 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |