JP2020198468A

JP2020198468A - Imaging apparatus, imaging method, and program

Info

Publication number: JP2020198468A
Application number: JP2019101717A
Authority: JP
Inventors: 恒樹安孫子; Tsuneki Abiko
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2019-05-30
Filing date: 2019-05-30
Publication date: 2020-12-10

Abstract

To easily locate an object.SOLUTION: An imaging apparatus includes first imaging means, changing means that changes the imaging direction of the first imaging means, acquisition means that acquires the direction of an object, control means that controls the changing means so as to change the imaging direction of the first imaging means along the direction of the object acquired by the acquisition means, and identification means that identifies the position of the object on the basis of the image captured by the first imaging means according to the control of the changing means by the control means.SELECTED DRAWING: Figure 9

Description

本発明は、撮像装置、撮像方法及びプログラムに関する。 The present invention relates to an imaging device, an imaging method and a program.

近年、ネットワークカメラを利用した監視システムが広く普及している。
ネットワークカメラは、大規模な公共機関や量販店における監視カメラとして用いられる等、幅広い分野で利用されており、様々な運用方法がある。ネットワークカメラは、運用形態に合わせるために様々な機能的特徴をもったものが存在する。例えば、パン・チルトといった撮影方向を自在に変更できるネットワークカメラや、撮影方向は変更できないが高倍率のズーム撮影が可能なネットワークカメラ等が存在する。このようなネットワークカメラの中には、魚眼レンズを搭載し、広い範囲を一度に監視可能なネットワークカメラ（全方位カメラ）が存在する。 In recent years, surveillance systems using network cameras have become widespread.
Network cameras are used in a wide range of fields, such as being used as surveillance cameras in large-scale public institutions and mass retailers, and there are various operation methods. There are network cameras that have various functional features in order to match the operation mode. For example, there are network cameras such as pan / tilt that can freely change the shooting direction, network cameras that cannot change the shooting direction but can perform high-magnification zoom shooting, and the like. Among such network cameras, there is a network camera (omnidirectional camera) equipped with a fisheye lens and capable of monitoring a wide range at once.

全方位カメラは、非常に広い視野角を持つ一方で、カメラから離れた場所では割り当てられた画素数が少なく、解像度が落ちてしまう。そのため、全方位カメラは、人の顔や車番等、詳細な情報を取得することには向いていない。そのような欠点を補うため、全方位カメラとパン・チルト及びズーム機能を持つカメラ（ＰＴＺ型監視カメラ）と連携させる機能を持つ監視システムが、特許文献１に開示されている。この監視システムは、全方位カメラで広い範囲を一度に監視し、その映像中で特に注視すべきオブジェクトは、ＰＴＺ型監視カメラで拡大して撮像し、詳細情報を取得する。
このような監視システムでは、一般的にカメラの設置時にカメラ間で連携を行うためのキャリブレーション作業を行い、同一の世界座標系の中でカメラ間の相互の位置姿勢と追尾対象の座標を共有することで広範囲かつ詳細な情報を網羅した映像をユーザに配信する。 While the omnidirectional camera has a very wide viewing angle, the number of pixels allocated is small at a place far from the camera, and the resolution drops. Therefore, the omnidirectional camera is not suitable for acquiring detailed information such as a person's face and a car number. In order to make up for such a defect, Patent Document 1 discloses a surveillance system having a function of linking an omnidirectional camera with a camera having pan / tilt and zoom functions (PTZ type surveillance camera). This surveillance system monitors a wide range at once with an omnidirectional camera, and objects that should be especially watched in the image are magnified and imaged by a PTZ type surveillance camera to acquire detailed information.
In such a monitoring system, calibration work is generally performed for cooperation between cameras when the cameras are installed, and the mutual position / orientation between the cameras and the coordinates of the tracking target are shared in the same world coordinate system. By doing so, a video that covers a wide range of detailed information is distributed to the user.

米国特許９３１３４００号公報U.S. Pat. No. 9313400

特許文献１に開示された技術では、第１のカメラと第２のカメラで撮影した画像間で世界座標系における座標を対応付けした制御ＬＵＴ（Ｌｏｏｋ−ＵｐＴａｂｌｅ）を構築している。そして、第１のカメラで撮影した画像において指定された注目領域（ＲＯＩ：ＲｅｇｉｏｎＯｆＩｎｔｅｒｅｓｔ）と制御ＬＵＴによって第２のカメラの撮影方向を決定する、というカメラ連携方法が提案されている。 In the technique disclosed in Patent Document 1, a control LUT (Look-Up Table) in which coordinates in the world coordinate system are associated between images taken by the first camera and the second camera is constructed. Then, a camera cooperation method has been proposed in which the shooting direction of the second camera is determined by the region of interest (ROI: Region Of Interest) and the control LUT specified in the image taken by the first camera.

しかしながら、特許文献１に開示されたカメラ連携では、第１のカメラで指定されたＲＯＩは、ある軸方向を確定することはできるが、軸上のどの位置に指定された物体が存在するのか第２のカメラで特定することができない。このため、特許文献１に開示された技術では、カメラ連携のための制御ＬＵＴを構築し、第１のカメラと第２のカメラにおける画像的な特徴や座標を対応付けすることで、軸上における座標を特定している。制御ＬＵＴを構築する方法としては、たとえば人の手によって画像を見比べ、対応点を入力する方法が考えられるが、この方法では、多くの時間がかかり、人的負荷が大きくなる。
また、レーザレンジスキャナや複眼のカメラ等を用いることで、三次元空間における物体の位置特定をすることが可能であるが、機材の追加が必要となるため、コストや設置の手間等が発生する。 However, in the camera cooperation disclosed in Patent Document 1, the ROI specified by the first camera can determine a certain axial direction, but at what position on the axis the specified object exists. It cannot be identified by 2 cameras. Therefore, in the technique disclosed in Patent Document 1, a control LUT for camera cooperation is constructed, and image features and coordinates of the first camera and the second camera are associated with each other on the axis. The coordinates are specified. As a method of constructing the control LUT, for example, a method of comparing images by human hands and inputting corresponding points can be considered, but this method takes a lot of time and increases a human load.
In addition, it is possible to identify the position of an object in a three-dimensional space by using a laser range scanner, a compound-eye camera, etc., but since it is necessary to add equipment, costs and labor for installation are incurred. ..

本発明は上述の課題に鑑みて成されたものであり、オブジェクトの位置を容易に特定することができる撮像装置を提供することを目的とする。 The present invention has been made in view of the above problems, and an object of the present invention is to provide an imaging device capable of easily specifying the position of an object.

上記の課題を解決するため、本発明に係る撮像装置のある態様によれば、第１の撮像手段と、前記第１の撮像手段の撮像方向を変更する変更手段と、オブジェクトの方向を取得する取得手段と、前記取得手段が取得した前記オブジェクトの方向に沿って前記第１の撮像手段の撮像方向を変更するように前記変更手段を制御する制御手段と、前記制御手段による前記変更手段の制御に応じた前記第１の撮像手段の撮像画像に基づいて前記オブジェクトの位置を特定する特定手段と、を備える撮像装置が提供される。 In order to solve the above problems, according to an aspect of the image pickup apparatus according to the present invention, a first image pickup means, a change means for changing the image pickup direction of the first image pickup means, and an object direction are acquired. The acquisition means, the control means for controlling the changing means so as to change the imaging direction of the first imaging means along the direction of the object acquired by the acquisition means, and the control of the changing means by the control means. An imaging device including a specific means for specifying the position of the object based on an image captured by the first imaging means according to the above is provided.

本発明によれば、オブジェクトの位置を容易に特定することができる。 According to the present invention, the position of the object can be easily specified.

実施形態１の監視システムの構成例を示す図。The figure which shows the configuration example of the monitoring system of Embodiment 1. FIG. 監視システムの構成例を示すブロック図。A block diagram showing a configuration example of a monitoring system. 監視システムのカメラ配置及び広角型監視カメラが設定した軸方向を示す概略図。The schematic diagram which shows the camera arrangement of a surveillance system and the axial direction set by a wide-angle surveillance camera. 追尾対象を指定する際に表示される画面の例を示す図。The figure which shows the example of the screen which is displayed when the tracking target is specified. 軸方向と追尾対象を三次元的な領域として示す模式図。Schematic diagram showing the axial direction and the tracking target as a three-dimensional region. 軸方向のデータの例を示す図。The figure which shows the example of the data in the axial direction. 追尾対象の候補情報のデータの例を示す図。The figure which shows the example of the data of the candidate information to be tracked. ＰＴＺ型監視カメラで追尾対象を特定する処理の例を示すフローチャート。The flowchart which shows the example of the process which identifies the tracking target by a PTZ type surveillance camera. ＰＴＺ型監視カメラ内の走査処理の例を示すフローチャート。The flowchart which shows the example of the scanning process in a PTZ type surveillance camera. 実施形態２の監視システムのカメラ配置及び広角型監視カメラが設定した軸方向の例を示す概略図。The schematic diagram which shows the example of the camera arrangement of the surveillance system of Embodiment 2 and the axial direction set by the wide-angle surveillance camera. 軸方向に近い位置に存在する追尾対象候補の例を示す概略図。The schematic diagram which shows the example of the tracking target candidate existing at the position close to the axial direction. 移動前の軸方向と追尾対象及び移動後の軸方向と追尾対象を三次元的な領域として示す模式図。The schematic diagram which shows the axial direction and the tracking object before movement, and the axial direction and tracking object after movement as a three-dimensional area. ＰＴＺ型監視カメラで追尾対象を特定する処理の例を示すフローチャート。The flowchart which shows the example of the process which identifies the tracking target by a PTZ type surveillance camera.

以下、添付図面を参照して、本発明を実施するための実施形態について詳細に説明する。なお、以下に説明する各実施形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正または変更されるべきものであり、本発明は以下の実施形態に必ずしも限定されるものではない。また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。なお、同一の対象等については、同じ符号を付して説明する。 Hereinafter, embodiments for carrying out the present invention will be described in detail with reference to the accompanying drawings. It should be noted that each embodiment described below is an example as a means for realizing the present invention, and should be appropriately modified or changed depending on the configuration of the device to which the present invention is applied and various conditions. Is not necessarily limited to the embodiment of. Moreover, not all combinations of features described in the present embodiment are essential for the means of solving the present invention. The same objects and the like will be described with the same reference numerals.

（実施形態１）
図１は、実施形態１の監視システムの構成例を示している。
本実施形態の監視システムは、主にパン、チルト及びフォーカス、ズーム機構を持つＰＴＺ型監視カメラ１と、広角型監視カメラ２と、クライアント装置３を備えている。ＰＴＺ型監視カメラ１、広角型監視カメラ２、クライアント装置３は、ネットワーク４に接続されており、相互に通信が可能である。また、ＰＴＺ型監視カメラ１と広角型監視カメラ２は、同一の世界座標系における互いの位置を保持している。ネットワーク４は、ＰＴＺ型監視カメラ１、広角型監視カメラ２、クライアント装置３の間の通信が可能であれば、有線でも無線でもよく、特に限定されない。また、ＰＴＺ型監視カメラ１は、本実施形態では１台としているが、２台以上設置されていてもよい。 (Embodiment 1)
FIG. 1 shows a configuration example of the monitoring system of the first embodiment.
The surveillance system of the present embodiment mainly includes a PTZ type surveillance camera 1 having a pan, tilt and focus, and zoom mechanisms, a wide-angle type surveillance camera 2, and a client device 3. The PTZ type surveillance camera 1, the wide-angle type surveillance camera 2, and the client device 3 are connected to the network 4 and can communicate with each other. Further, the PTZ type surveillance camera 1 and the wide-angle type surveillance camera 2 hold each other's positions in the same world coordinate system. The network 4 may be wired or wireless as long as communication between the PTZ type surveillance camera 1, the wide-angle type surveillance camera 2, and the client device 3 is possible, and is not particularly limited. Further, although the number of PTZ type surveillance cameras 1 is one in the present embodiment, two or more PTZ type surveillance cameras 1 may be installed.

図２は、本実施形態における監視システムの構成例を示すブロック図である。
ＰＴＺ型監視カメラ１は、撮像部１１と、画像処理部１２と、撮像制御部１３と、システム制御部１４と、パン駆動部１８と、チルト駆動部１９と、ＰＴ（パン、チルト）制御部１７と、光学系制御部２０と、通信部１５と、を備えている。ＰＴＺ型監視カメラ１は、さらに、光学系駆動部２１と、候補座標保持部２４と、追尾対象特定部２５とを備えている。 FIG. 2 is a block diagram showing a configuration example of the monitoring system according to the present embodiment.
The PTZ type surveillance camera 1 includes an imaging unit 11, an image processing unit 12, an imaging control unit 13, a system control unit 14, a pan drive unit 18, a tilt drive unit 19, and a PT (pan, tilt) control unit. A 17, an optical system control unit 20, and a communication unit 15 are provided. The PTZ type surveillance camera 1 further includes an optical system drive unit 21, a candidate coordinate holding unit 24, and a tracking target identification unit 25.

撮像部１１は、例えばレンズ及び撮像素子を備えており、被写体の撮像及び電気信号への変換を行う。画像処理部１２は、撮像部１１によって変換された電気信号に画像処理、圧縮符号化処理を行い、画像データを生成し、システム制御部１４に供給する。撮像制御部１３は、システム制御部１４から指示に基づいて露出等の撮像部１１の設定を変更する。 The image pickup unit 11 includes, for example, a lens and an image pickup element, and takes an image of a subject and converts it into an electric signal. The image processing unit 12 performs image processing and compression coding processing on the electric signal converted by the imaging unit 11, generates image data, and supplies the image data to the system control unit 14. The image pickup control unit 13 changes the settings of the image pickup unit 11 such as exposure based on instructions from the system control unit 14.

パン駆動部１８は、例えばパン動作を行うパン駆動機構、その駆動源のモータ、パン駆動機構の角度を検出する角度センサ等を備えており、モータが駆動されることにより、パン駆動機構がパン方向に駆動する。チルト駆動部１９は、例えばチルト動作を行うチルト駆動機構、その駆動源のモータ、チルト駆動機構の角度を検出する角度センサ等を備えており、モータが駆動されることにより、チルト駆動機構がチルト方向に駆動する。ＰＴ制御部１７は、システム制御部１４から供給された指示信号に基づいて、パン駆動部１８、チルト駆動部１９、及び光学系駆動部２１を制御する。また、ＰＴ制御部１７は、パン駆動部１８、チルト駆動部１９、光学系駆動部２１のセンサ情報を解析し、ピッチ角、ヨー角を取得することができる。ＰＴ制御部１７は、システム制御部１４から供給された指示信号に基づいて、ピッチ角、ヨー角をシステム制御部１４に供給する。 The pan drive unit 18 includes, for example, a pan drive mechanism that performs a pan operation, a motor of the drive source thereof, an angle sensor that detects an angle of the pan drive mechanism, and the like. When the motor is driven, the pan drive mechanism pans. Drive in the direction. The tilt drive unit 19 includes, for example, a tilt drive mechanism that performs a tilt operation, a motor of the drive source, an angle sensor that detects the angle of the tilt drive mechanism, and the like, and the tilt drive mechanism tilts when the motor is driven. Drive in the direction. The PT control unit 17 controls the pan drive unit 18, the tilt drive unit 19, and the optical system drive unit 21 based on the instruction signal supplied from the system control unit 14. Further, the PT control unit 17 can analyze the sensor information of the pan drive unit 18, the tilt drive unit 19, and the optical system drive unit 21 to acquire the pitch angle and the yaw angle. The PT control unit 17 supplies the pitch angle and the yaw angle to the system control unit 14 based on the instruction signal supplied from the system control unit 14.

光学系駆動部２１は、フォーカスレンズ、ズームレンズの駆動部及びモータ、ズームレンズの位置を検出するセンサ等を備え、モータが駆動されることによりズームレンズが光軸方向に移動して焦点距離を変更する。また、光学系駆動部２１は、モータが駆動されることによりフォーカスレンズが光軸方向に移動して焦点調節を行う。光学系制御部２０は、システム制御部１４から供給された指示信号に基づいて光学系駆動部２１を制御する。また、光学系制御部２０は、フォーカスを制御する合焦機能を有しており、指定された焦点距離において合焦させる制御を行う。さらに、光学系駆動部２１は、センサの情報を解析し、現在のズーム倍率や絞りを計算し、システム制御部１４に供給する。 The optical system drive unit 21 includes a focus lens, a zoom lens drive unit, a motor, a sensor for detecting the position of the zoom lens, and the like. When the motor is driven, the zoom lens moves in the optical axis direction to determine the focal length. change. Further, in the optical system drive unit 21, the focus lens moves in the optical axis direction when the motor is driven to adjust the focus. The optical system control unit 20 controls the optical system drive unit 21 based on the instruction signal supplied from the system control unit 14. Further, the optical system control unit 20 has a focusing function for controlling the focus, and controls focusing at a designated focal length. Further, the optical system drive unit 21 analyzes the sensor information, calculates the current zoom magnification and aperture, and supplies the information to the system control unit 14.

システム制御部１４は、軸方向受信部１６と、追尾対象走査部２２と、評価値算出部２３とを備えている。システム制御部１４は、通信部１５およびネットワーク４を介して、生成された画像データをクライアント装置３に送信する。また、システム制御部１４は、ネットワーク４および通信部１５を介して供給されたカメラ制御コマンドを解析し、当該カメラ制御コマンドに応じた処理を行う。具体的には、例えば、システム制御部１４は、画像処理部１２に対する画質調整の設定、ＰＴ制御部１７に対するパン・チルト及びズーム動作の設定といった撮像パラメータ設定の指示等を行う。さらに、システム制御部１４は、広角型監視カメラ２から軸方向５１（図３）に関する情報を受信し、システム制御部１４内の軸方向受信部１６に供給する。 The system control unit 14 includes an axial reception unit 16, a tracking target scanning unit 22, and an evaluation value calculation unit 23. The system control unit 14 transmits the generated image data to the client device 3 via the communication unit 15 and the network 4. Further, the system control unit 14 analyzes the camera control command supplied via the network 4 and the communication unit 15, and performs processing according to the camera control command. Specifically, for example, the system control unit 14 gives instructions for setting image quality adjustment to the image processing unit 12, setting imaging parameters such as pan / tilt and zoom operation settings to the PT control unit 17. Further, the system control unit 14 receives information regarding the axial direction 51 (FIG. 3) from the wide-angle surveillance camera 2 and supplies the information to the axial receiving unit 16 in the system control unit 14.

追尾対象走査部２２は、軸方向受信部１６が受信した軸方向５１に関する情報に基づいて、ＰＴ制御部１７と光学系制御部２０を制御して撮像方向（視野）を変更しながら走査を行う。具体的には、追尾対象走査部２２は、ＰＴＺ型監視カメラ１の撮像範囲が軸方向５１上で移動するように、ＰＴ制御部１７と光学系制御部２０を制御する。さらに、追尾対象走査部２２は、取得した画像から評価値を算出する評価値算出部２３から取得した評価値に基づいて、追尾対象のオブジェクト（以下、単に追尾対象という。）と判断された座標を関連情報と共に候補座標保持部２４に保存する。追尾対象特定部２５は、候補座標保持部２４に保存された追尾対象の候補から追尾対象を特定し、システム制御部１４に通知する。保存された追尾対象を特定する方法については、図８を用いて後述する。 The tracking target scanning unit 22 controls the PT control unit 17 and the optical system control unit 20 based on the information about the axial direction 51 received by the axial receiving unit 16 to perform scanning while changing the imaging direction (field of view). .. Specifically, the tracking target scanning unit 22 controls the PT control unit 17 and the optical system control unit 20 so that the imaging range of the PTZ type surveillance camera 1 moves in the axial direction 51. Further, the tracking target scanning unit 22 has coordinates determined to be a tracking target object (hereinafter, simply referred to as a tracking target) based on the evaluation value acquired from the evaluation value calculation unit 23 that calculates the evaluation value from the acquired image. Is stored in the candidate coordinate holding unit 24 together with the related information. The tracking target specifying unit 25 identifies the tracking target from the tracking target candidates stored in the candidate coordinate holding unit 24, and notifies the system control unit 14. The method of identifying the saved tracking target will be described later with reference to FIG.

広角型監視カメラ２は、撮像部３１と、画像処理部３２と、システム制御部３３と、通信部３５と、撮像装置相対位置保持部３６とを備えている。
撮像部３１は、レンズ及び撮像素子から構成され、被写体の撮像及び電気信号への変換を行う。また、撮像部３１は、半球状の視野角（画角）を有する広角レンズを備えている。画像処理部３２は、撮像部３１によって変換された電気信号に画像処理、圧縮符号化処理を行い、画像データを生成し、システム制御部３３に供給する。 The wide-angle surveillance camera 2 includes an image pickup unit 31, an image processing unit 32, a system control unit 33, a communication unit 35, and an image pickup device relative position holding unit 36.
The image pickup unit 31 is composed of a lens and an image pickup element, and performs imaging of a subject and conversion into an electric signal. Further, the imaging unit 31 includes a wide-angle lens having a hemispherical viewing angle (angle of view). The image processing unit 32 performs image processing and compression coding processing on the electric signal converted by the image pickup unit 31, generates image data, and supplies the image data to the system control unit 33.

システム制御部３３は、軸方向送信部３７と追尾対象受信部３８を備えている。システム制御部３３は、生成された画像データを通信部３５およびネットワーク４を介してクライアント装置３に送信する。また、システム制御部３３は、ネットワーク４および通信部３５を介して供給されたカメラ制御コマンドを解析し、コマンドに応じた処理行う。例えば、システム制御部３３は、画像処理部３２に対する画質調整の設定等を行う。また、撮像装置相対位置保持部３６は、公知の手段を用いてキャリブレーションを行い、ＰＴＺ型監視カメラ１と同一の座標系における座標を保持する。追尾対象受信部３８は、ネットワーク４および通信部３５を介してクライアント装置３から受信した注目領域（ＲＯＩ：ＲｅｇｉｏｎＯｆＩｎｔｅｒｅｓｔ）に応じて、撮像部３１からの画像中の座標を実空間の座標に変換する。また、軸方向送信部３７は、追尾対象受信部３８による変換結果と撮像装置相対位置保持部３６が保持している座標から追尾対象の軸方向を計算し、当該軸方向をネットワーク４および通信部３５を介してＰＴＺ型監視カメラ１に送信する。なお、本実施形態では、クライアント装置３から追尾対象をＲＯＩとして指示しているが、広角型監視カメラ２の画像中のオブジェクトの認識を行い、認識結果に基づいて追尾対象を決定するようにしてもよい。 The system control unit 33 includes an axial transmission unit 37 and a tracking target reception unit 38. The system control unit 33 transmits the generated image data to the client device 3 via the communication unit 35 and the network 4. Further, the system control unit 33 analyzes the camera control command supplied via the network 4 and the communication unit 35, and performs processing according to the command. For example, the system control unit 33 sets the image quality adjustment for the image processing unit 32 and the like. Further, the image pickup device relative position holding unit 36 calibrates using a known means and holds the coordinates in the same coordinate system as the PTZ type surveillance camera 1. The tracking target receiving unit 38 converts the coordinates in the image from the imaging unit 31 into the coordinates in the real space according to the region of interest (ROI: Region Of Interest) received from the client device 3 via the network 4 and the communication unit 35. Convert. Further, the axial transmission unit 37 calculates the axial direction of the tracking target from the conversion result by the tracking target receiving unit 38 and the coordinates held by the image pickup device relative position holding unit 36, and sets the axial direction to the network 4 and the communication unit. It is transmitted to the PTZ type surveillance camera 1 via 35. In the present embodiment, the tracking target is instructed as the ROI from the client device 3, but the object in the image of the wide-angle surveillance camera 2 is recognized and the tracking target is determined based on the recognition result. May be good.

クライアント装置３は、表示部４１と、入力部４２と、システム制御部４３と、通信部４５とを備えている。表示部４１は、液晶表示装置等であり、ネットワーク４および通信部４５を介してＰＴＺ型監視カメラ１、広角型監視カメラ２から受信した画像データの表示等を行う。また、表示部４１は、ＰＴＺ型監視カメラ１及び広角型監視カメラ２のカメラ制御を行うためのグラフィックユーザインターフェース（以下、ＧＵＩと称する。）等を表示する。このカメラ制御は、例えば、ＰＴＺ型監視カメラ１のズーム率の設定、パン・チルト方向の変更、ＰＴＺ型監視カメラ１及び広角型監視カメラ２の撮像等である。入力部４２は、キーボード、マウス等のポインティング・デバイス等を備えており、クライアント装置３のユーザは、入力部４２を介して上述のＧＵＩを操作し、指示を入力する。システム制御部４３は、ユーザからの指示と、ネットワーク４および通信部４５を介してＰＴＺ型監視カメラ１や広角型監視カメラ２から受信した情報に基づいて表示部４１を制御する。また、システム制御部４３は、通信部４５からネットワーク４を介してＰＴＺ型監視カメラ１や広角型監視カメラ２に送信するデータのセットの作成等の処理を実行する。 The client device 3 includes a display unit 41, an input unit 42, a system control unit 43, and a communication unit 45. The display unit 41 is a liquid crystal display device or the like, and displays image data received from the PTZ type surveillance camera 1 and the wide-angle type surveillance camera 2 via the network 4 and the communication unit 45. In addition, the display unit 41 displays a graphic user interface (hereinafter, referred to as GUI) for controlling the cameras of the PTZ type surveillance camera 1 and the wide-angle type surveillance camera 2. This camera control includes, for example, setting the zoom ratio of the PTZ type surveillance camera 1, changing the pan / tilt direction, imaging the PTZ type surveillance camera 1 and the wide-angle surveillance camera 2. The input unit 42 includes a pointing device such as a keyboard and a mouse, and the user of the client device 3 operates the above-mentioned GUI via the input unit 42 to input an instruction. The system control unit 43 controls the display unit 41 based on an instruction from the user and information received from the PTZ type surveillance camera 1 and the wide-angle type surveillance camera 2 via the network 4 and the communication unit 45. Further, the system control unit 43 executes processing such as creating a set of data to be transmitted from the communication unit 45 to the PTZ type surveillance camera 1 and the wide-angle type surveillance camera 2 via the network 4.

図３は、図１の監視システムのＰＴＺ型監視カメラ１および広角型監視カメラ２の配置と、広角型監視カメラ２から指定した追尾対象５３が存在する軸方向５１を示す概略図である。ＰＴＺ型監視カメラ１と、広角型監視カメラ２は、ネットワーク４を介して通信可能な状態となっており、且つ、クライアント装置３と通信可能な状態となっている。広角型監視カメラ２は、撮像された映像をクライアント装置３に送信し、クライアント装置３は、表示部４１に受信した映像を表示し、ユーザが入力部４２から追尾対象の存在する領域を指定した結果をＲＯＩとして広角型監視カメラ２に送る。広角型監視カメラ２は、送信されてきたＲＯＩと撮像装置相対位置保持部３６が保持している広角型監視カメラ２の位置を用いて、軸座標を指示する軸座標指示として、ＰＴＺ型監視カメラと共通の世界座標系における軸方向５１を計算する。さらに、クライアント装置３は、広角型監視カメラ座標７２（図５）と、世界座標系における軸方向５１上に存在する任意の座標である任意軸上座標８２を軸方向データとしてＰＴＺ型監視カメラ１に送信する。 FIG. 3 is a schematic view showing the arrangement of the PTZ type surveillance camera 1 and the wide-angle type surveillance camera 2 of the surveillance system of FIG. 1 and the axial direction 51 in which the tracking target 53 designated by the wide-angle type surveillance camera 2 exists. The PTZ type surveillance camera 1 and the wide-angle type surveillance camera 2 are in a state where they can communicate with each other via the network 4, and are in a state where they can communicate with the client device 3. The wide-angle surveillance camera 2 transmits the captured image to the client device 3, the client device 3 displays the received image on the display unit 41, and the user specifies an area where the tracking target exists from the input unit 42. The result is sent as ROI to the wide-angle surveillance camera 2. The wide-angle surveillance camera 2 uses the transmitted ROI and the position of the wide-angle surveillance camera 2 held by the image pickup device relative position holding unit 36 to indicate the axis coordinates as the PTZ type surveillance camera. Calculate the axial direction 51 in the same world coordinate system as. Further, the client device 3 uses the wide-angle surveillance camera coordinates 72 (FIG. 5) and the arbitrary axial coordinates 82, which are arbitrary coordinates existing on the axial direction 51 in the world coordinate system, as axial data for the PTZ surveillance camera 1. Send to.

これらの情報を受信すると、ＰＴＺ型監視カメラ１は、軸方向受信部１６が受信した軸方向５１から、図５の広角型監視カメラ座標７２で結像し、かつ、被写界深度が所定の閾値より浅くなるように、ＰＴ制御部１７と光学系制御部２０を制御する。これにより、ＰＴＺ型監視カメラ１を指向させた位置を初期位置として、追尾対象走査部２２は、軸方向５１上に広角型監視カメラ座標７２から遠ざかるように、ＰＴ制御部１７を制御し、軸方向５１上の点で合焦するように光学系制御部２０を制御する。また、本実施形態では、ユーザが広角型監視カメラ２の画像中の指向対象のオブジェクト（追尾対象５３）を指定するため、広角型監視カメラ座標７２を走査の初期位置とすることで、ユーザが指定したオブジェクトを捉える時間が速くなる。これにより、ＰＴＺ型監視カメラ１の撮像方向をオブジェクトに容易に向けることができる。 Upon receiving this information, the PTZ type surveillance camera 1 forms an image from the axial direction 51 received by the axial receiving unit 16 at the wide-angle surveillance camera coordinates 72 of FIG. 5, and has a predetermined depth of field. The PT control unit 17 and the optical system control unit 20 are controlled so as to be shallower than the threshold value. As a result, the tracking target scanning unit 22 controls the PT control unit 17 so as to move away from the wide-angle surveillance camera coordinates 72 in the axial direction 51 with the position in which the PTZ type surveillance camera 1 is directed as the initial position. The optical system control unit 20 is controlled so as to be in focus at a point on the direction 51. Further, in the present embodiment, since the user specifies the object to be directed (tracking target 53) in the image of the wide-angle surveillance camera 2, the user can set the wide-angle surveillance camera coordinates 72 as the initial position for scanning. The time to capture the specified object becomes faster. As a result, the imaging direction of the PTZ type surveillance camera 1 can be easily directed to the object.

上述の制御を行う際に、評価値算出部２３は、ＰＴＺ型監視カメラ１の撮像範囲５２で取得された画像を用いて、解像度を評価する評価値を計算する。物体が存在しない画像から、物体を捉えた画像に変化すると、解像度に関する評価値が変動するため、評価値が変動した量や変動の度合いを基準とすることで、広角型監視カメラ２の画像中で指示した追尾対象５３が存在する座標を特定可能となる。なお、本実施形態では、評価値算出部２３が算出する評価値は、例えばＭＴＦ（ＭｏｄｕｌａｔｉｏｎＴｒａｎｓｆｅｒＦｕｎｃｔｉｏｎ）を用いるが、コントラスト値等、解像度を評価することが可能な数値ならばよい。 When performing the above-mentioned control, the evaluation value calculation unit 23 calculates an evaluation value for evaluating the resolution using the image acquired in the imaging range 52 of the PTZ type surveillance camera 1. When the image that does not have an object changes to an image that captures an object, the evaluation value related to the resolution fluctuates. Therefore, by using the amount of fluctuation of the evaluation value and the degree of fluctuation as a reference, the image of the wide-angle surveillance camera 2 It becomes possible to specify the coordinates where the tracking target 53 specified in is present. In the present embodiment, the evaluation value calculated by the evaluation value calculation unit 23 uses, for example, an MTF (Modulation Transfer Function), but any numerical value such as a contrast value that can evaluate the resolution may be used.

図４は、広角型監視カメラ２の画像中で追尾対象５３を指定する際にクライアント装置３の表示部４１に表示される画面の例を示している。映像６１は、広角型監視カメラ２によって撮像中の映像であり、ネットワーク４を介してクライアント装置３の表示部４１に表示されている。追尾対象５３は、例えば、ユーザが、クライアント装置３の入力部４２に接続されたマウスによってマウスポインタ６２で指示し、クリック操作することで指定される。指定された追尾対象５３のＲＯＩは、ネットワーク４を介して広角型監視カメラ２に送信され、広角型監視カメラ２上で軸方向５１としてＰＴＺ型監視カメラ１に送信される。 FIG. 4 shows an example of a screen displayed on the display unit 41 of the client device 3 when the tracking target 53 is specified in the image of the wide-angle surveillance camera 2. The image 61 is an image being captured by the wide-angle surveillance camera 2, and is displayed on the display unit 41 of the client device 3 via the network 4. The tracking target 53 is specified, for example, by the user instructing with the mouse pointer 62 by the mouse connected to the input unit 42 of the client device 3 and performing a click operation. The ROI of the designated tracking target 53 is transmitted to the wide-angle surveillance camera 2 via the network 4, and is transmitted to the PTZ surveillance camera 1 in the axial direction 51 on the wide-angle surveillance camera 2.

図５は、広角型監視カメラ２で設定された軸方向５１とＰＴＺ型監視カメラ１を三次元的な領域として模式図で示したものである。
広角型監視カメラ２の座標である広角型監視カメラ座標７２から、追尾対象５３の座標である追尾対象座標７３に向かう矢印が軸方向５１に該当する。上述のようにＲＯＩが指定されると、広角型監視カメラ２は、軸方向５１上に存在する点である任意軸上座標８２と広角型監視カメラ座標７２を、軸方向５１を示す情報としてＰＴＺ型監視カメラ１に送信する。ＰＴＺ型監視カメラ１は、軸方向５１を示す情報に応じて軸方向５１を示す１次の直線式を求め、広角型監視カメラ座標７２を始点として広角型監視カメラ座標７２から遠ざかるように、ＰＴ制御部１７を制御し、軸方向５１上の走査を行って撮像を行う。走査中のＰＴＺ型監視カメラ１は、自身の世界座標系における座標であるＰＴＺ型監視カメラ座標７１と走査している座標である走査対象座標７４の距離であるＰＴＺ型監視カメラ走査位置距離７５から、合焦する距離を求める。さらに、走査中のＰＴＺ型監視カメラ１は、光学系制御部２０を制御して、軸方向５１上に合焦し、かつ被写界深度が浅くなるように（すなわち、狭い範囲でのみ合焦するように）フォーカスを制御する。これにより、合焦して撮像している範囲であるＰＴＺ型監視カメラ撮像範囲５２が、追尾対象５３の評価値に変化を発生させ、追尾対象５３をＰＴＺ型監視カメラ１で特定可能となる。 FIG. 5 is a schematic view showing the axial direction 51 set by the wide-angle surveillance camera 2 and the PTZ surveillance camera 1 as a three-dimensional region.
The arrow from the wide-angle surveillance camera coordinates 72, which is the coordinates of the wide-angle surveillance camera 2, to the tracking target coordinates 73, which is the coordinates of the tracking target 53, corresponds to the axial direction 51. When ROI is specified as described above, the wide-angle surveillance camera 2 uses the arbitrary axial coordinates 82 and the wide-angle surveillance camera coordinates 72, which are points existing on the axial direction 51, as information indicating the axial direction 51, PTZ. It is transmitted to the type surveillance camera 1. The PTZ type surveillance camera 1 obtains a linear linear expression indicating the axial direction 51 according to the information indicating the axial direction 51, and moves away from the wide-angle surveillance camera coordinates 72 starting from the wide-angle surveillance camera coordinates 72. The control unit 17 is controlled to perform scanning on the axial direction 51 to perform imaging. The scanning PTZ type surveillance camera 1 is from the PTZ type surveillance camera scanning position distance 75, which is the distance between the PTZ type surveillance camera coordinates 71, which is the coordinates in its own world coordinate system, and the scanning target coordinates 74, which are the coordinates being scanned. , Find the focusing distance. Further, the PTZ type surveillance camera 1 during scanning controls the optical system control unit 20 so as to focus on the axial direction 51 and have a shallow depth of field (that is, focus only in a narrow range). Control the focus (as you do). As a result, the PTZ type surveillance camera imaging range 52, which is the range in which the image is focused and imaged, causes a change in the evaluation value of the tracking target 53, and the tracking target 53 can be specified by the PTZ type surveillance camera 1.

図６は、軸方向のデータの例を示す図である。
軸方向データテーブル８１には、広角型監視カメラ２の座標情報として、ＰＴＺ型監視カメラ１と同一の世界座標系における広角型監視カメラ座標７２が格納されている。また、軸方向データテーブル８１には、クライアント装置３から送信されてきたＲＯＩに基づいて計算された任意軸上座標８２が格納されている。これらの情報を含む軸方向のデータが、ＰＴＺ型監視カメラ１に供給されることで、ＰＴＺ型監視カメラ１で軸方向５１を一意に特定することが可能となる。 FIG. 6 is a diagram showing an example of data in the axial direction.
In the axial data table 81, the wide-angle surveillance camera coordinates 72 in the same world coordinate system as the PTZ surveillance camera 1 are stored as the coordinate information of the wide-angle surveillance camera 2. Further, the axial data table 81 stores arbitrary axial coordinates 82 calculated based on the ROI transmitted from the client device 3. By supplying the axial data including such information to the PTZ type surveillance camera 1, the PTZ type surveillance camera 1 can uniquely identify the axial direction 51.

図７は、追尾対象の候補情報のデータの例を示す図である。
追尾対象候補情報テーブル８５には、ＰＴＺ型監視カメラ１内の候補座標保持部２４に保存されている追尾対象５３の候補となった座標に関連した情報が格納されている。追尾対象候補情報テーブル８５には、追尾対象５３の候補として特定された座標である対象候補座標８６と、特定において検出された評価値と画像的な特徴を表す値を含む特徴量行列８７と、特定された時刻を示す検出時刻８８とが対応付けて格納されている。 FIG. 7 is a diagram showing an example of data of candidate information to be tracked.
The tracking target candidate information table 85 stores information related to the coordinates that are candidates for the tracking target 53 stored in the candidate coordinate holding unit 24 in the PTZ type surveillance camera 1. In the tracking target candidate information table 85, the target candidate coordinates 86, which are the coordinates specified as the candidates of the tracking target 53, the feature quantity matrix 87 including the evaluation values detected in the identification and the values representing the image features, and The detection time 88 indicating the specified time is stored in association with the detection time 88.

図８は、広角型監視カメラ２から指定された軸方向５１をＰＴＺ型監視カメラ１が受信し、ＰＴＺ型監視カメラ１で追尾対象５３を特定する処理の例を示すフローチャートである。
まず、ステップＳ１において、広角型監視カメラ２の追尾対象受信部３８は、図４の画面に対して指定された追尾対象の情報（ＲＯＩ）をクライアント装置３から受信する。続くＳ２において、広角型監視カメラ２の軸方向送信部３７は、任意軸上座標８２と広角型監視カメラ座標７２を軸方向データテーブル８１に変換し、ＰＴＺ型監視カメラ１に送信する。 FIG. 8 is a flowchart showing an example of a process in which the PTZ type surveillance camera 1 receives the axial direction 51 designated from the wide-angle type surveillance camera 2 and the PTZ type surveillance camera 1 identifies the tracking target 53.
First, in step S1, the tracking target receiving unit 38 of the wide-angle surveillance camera 2 receives the tracking target information (ROI) designated for the screen of FIG. 4 from the client device 3. In the following S2, the axial transmission unit 37 of the wide-angle surveillance camera 2 converts the arbitrary axial coordinates 82 and the wide-angle surveillance camera coordinates 72 into the axial data table 81 and transmits them to the PTZ surveillance camera 1.

次に、ステップＳ３において、軸方向を受信すると、ＰＴＺ型監視カメラ１は、Ｓ４において、図５で示した軸方向５１上を走査し、追尾対象５３を特定する処理である走査軸走査処理を行う。なお、走査軸走査処理の詳細については、図９を用いて後述する。ステップＳ５において、ＰＴＺ型監視カメラ１の追尾対象特定部２５は、保存されている複数の追尾対象候補情報テーブル８５の検出時刻８８を比較し、最初に検出された追尾対象候補を追尾対象と特定する。続くステップＳ６において、ＰＴＺ型監視カメラ１のシステム制御部１４は、追尾対象５３の特定が完了したことを広角型監視カメラ２に通知する。この通知を受信すると、広角型監視カメラ２は、Ｓ７において、クライアント装置３に追尾対象の特定が完了したことを通知して処理を完了する。 Next, when the axial direction is received in step S3, the PTZ type surveillance camera 1 scans on the axial direction 51 shown in FIG. 5 in S4 to perform a scanning axis scanning process, which is a process of identifying the tracking target 53. Do. The details of the scanning axis scanning process will be described later with reference to FIG. In step S5, the tracking target identification unit 25 of the PTZ type surveillance camera 1 compares the detection times 88 of the plurality of stored tracking target candidate information tables 85, and identifies the first detected tracking target candidate as the tracking target. To do. In the following step S6, the system control unit 14 of the PTZ type surveillance camera 1 notifies the wide-angle type surveillance camera 2 that the identification of the tracking target 53 is completed. Upon receiving this notification, the wide-angle surveillance camera 2 notifies the client device 3 that the identification of the tracking target is completed in S7, and completes the process.

図９は、ＰＴＺ型監視カメラ１で行う走査軸走査処理の例を示すフローチャートである。
まず、ステップＳ１１において、追尾対象走査部２２は、ＰＴ制御部１７を制御して始点座標である広角型監視カメラ座標７２の方向に撮像部１１を指向させる。ステップＳ１２において、追尾対象走査部２２は、軸方向５１上の点で合焦し、かつ、被写界深度が最も浅くなるように光学系制御部２０を制御する。ステップＳ１３において、評価値算出部２３は、合焦した状態で取得した画像から評価値を算出する。ステップＳ１４において、追尾対象走査部２２は、算出された評価値がある基準を満たしているか否かを判定する。算出された評価値がある基準を満たしている場合には、追尾対象走査部２２は、続くステップＳ１５において、追尾対象候補として、対応する追尾対象候補の座標等を追尾対象候補情報テーブル８５のデータ構造に従って候補座標保持部２４に保存する。評価値がある基準を満たしていない場合には、ステップＳ１４からステップＳ１６に進む。評価値が満たす基準について、本実施形態では、例えばＭＴＦ値がある一定の数値を超えたか否かとしているが、ＭＴＦ値の極点等の他の条件を基準としてもよい。本実施形態では、特徴量行列８７として、例えば評価値のみを保存してもよいが、その他の処理に使用する画像処理の結果等を保存してもよい。 FIG. 9 is a flowchart showing an example of scanning axis scanning processing performed by the PTZ type surveillance camera 1.
First, in step S11, the tracking target scanning unit 22 controls the PT control unit 17 to direct the imaging unit 11 in the direction of the wide-angle surveillance camera coordinates 72, which is the starting point coordinates. In step S12, the tracking target scanning unit 22 controls the optical system control unit 20 so that it is in focus at a point on the axial direction 51 and has the shallowest depth of field. In step S13, the evaluation value calculation unit 23 calculates the evaluation value from the image acquired in the focused state. In step S14, the tracking target scanning unit 22 determines whether or not the calculated evaluation value satisfies a certain criterion. When the calculated evaluation value satisfies a certain criterion, the tracking target scanning unit 22 sets the coordinates and the like of the corresponding tracking target candidate as the tracking target candidate as the data of the tracking target candidate information table 85 in the following step S15. It is stored in the candidate coordinate holding unit 24 according to the structure. If the evaluation value does not meet a certain criterion, the process proceeds from step S14 to step S16. Regarding the criteria that the evaluation value satisfies, in the present embodiment, for example, whether or not the MTF value exceeds a certain value is determined, but other conditions such as the pole point of the MTF value may be used as a reference. In the present embodiment, for example, only the evaluation value may be stored as the feature amount matrix 87, but the result of image processing used for other processing may be stored.

次に、ステップＳ１６において、追尾対象走査部２２は、現在指向している座標から軸方向５１上で広角型監視カメラ座標７２から遠ざける指向座標を計算する。具体的には、追尾対象走査部２２は、広角型監視カメラ座標７２から軸方向５１に所定の間隔で遠ざかる指向座標を計算する。ステップＳ１７において、追尾対象走査部２２は、算出された座標が走査可能な範囲を超えたか否かを判定する。走査可能な範囲を超えていなかった場合、追尾対象走査部２２は、ステップＳ１８において、ＰＴ制御部１７を制御し、次の指向座標に指向させ、ステップＳ１２からの処理を繰り返す。捜査可能な範囲を超えていた場合、追尾対象走査部２２は、方向軸走査処理を終了する。 Next, in step S16, the tracking target scanning unit 22 calculates the directional coordinates away from the wide-angle surveillance camera coordinates 72 on the axial direction 51 from the coordinates currently directional. Specifically, the tracking target scanning unit 22 calculates the directional coordinates that move away from the wide-angle surveillance camera coordinates 72 in the axial direction 51 at predetermined intervals. In step S17, the tracking target scanning unit 22 determines whether or not the calculated coordinates exceed the scannable range. If the scannable range is not exceeded, the tracking target scanning unit 22 controls the PT control unit 17 in step S18, directs it to the next directivity coordinate, and repeats the process from step S12. If the searchable range is exceeded, the tracking target scanning unit 22 ends the directional axis scanning process.

以上説明したように、本実施形態では、ＰＴＺ型監視カメラ１を軸方向に沿って走査して得られえた追尾対象候補から、評価値に応じて追尾対象を特定することができ、オブジェクトの位置を容易に特定することができる。 As described above, in the present embodiment, the tracking target can be specified according to the evaluation value from the tracking target candidates obtained by scanning the PTZ type surveillance camera 1 along the axial direction, and the position of the object. Can be easily identified.

（実施形態２）
次に、図１０〜図１３を参照し、実施形態２について、説明する。
実施形態１では、１つの追尾対象５３が検出された例について説明していたが、本実施形態では、追尾対象５３に加えて、その他の追尾対象候補９０が検出された状況でも追尾を行うことができるようになっている。以下、このような状況における処理について主に説明する。 (Embodiment 2)
Next, the second embodiment will be described with reference to FIGS. 10 to 13.
In the first embodiment, an example in which one tracking target 53 is detected has been described, but in the present embodiment, tracking is performed even in a situation where another tracking target candidate 90 is detected in addition to the tracking target 53. Can be done. Hereinafter, the processing in such a situation will be mainly described.

本実施形態の監視システムは、上述の図１及び図２と同様に構成されている。実施形態１の場合と同様の構成要素については、同一の符号を用いることで、それらの詳細な説明を省略する。この監視システムでは、図２の構成に加えて、ＰＴＺ型監視カメラ１に特徴量起因対象特定部（図示せず）を設けている。以下、実施形態１との相違点である特徴量起因対象特定部を中心に説明する。 The monitoring system of the present embodiment is configured in the same manner as in FIGS. 1 and 2 described above. For the same components as in the first embodiment, the same reference numerals are used, and detailed description thereof will be omitted. In this monitoring system, in addition to the configuration shown in FIG. 2, the PTZ type surveillance camera 1 is provided with a feature amount-caused target identification unit (not shown). Hereinafter, the feature amount-based target identification portion, which is a difference from the first embodiment, will be mainly described.

実施形態１では、評価値算出部２３で算出される評価値は、合焦に関する数値であった。本実施形態では画像を用いて人物等のオブジェクトの検出や年齢、性別推定等に用いる画像処理の特徴量を計算する特徴量起因対象特定部によって評価値を計算する。特徴量起因対象特定部は、計算した評価値を合焦に関する数値と合わせて特徴量行列８７として候補座標保持部２４に保持する。また、実施形態１では、評価値算出部２３で計算される評価値の変動量によって追尾対象５３を特定していたが、本実施形態では、特徴量起因対象特定部によって計算した画像処理の評価値を用いて追尾対象５３を特定する。 In the first embodiment, the evaluation value calculated by the evaluation value calculation unit 23 is a numerical value related to focusing. In the present embodiment, the evaluation value is calculated by the feature amount-caused target identification unit that calculates the feature amount of image processing used for detecting an object such as a person and estimating age, gender, etc. using an image. The feature amount-based target identification unit holds the calculated evaluation value together with the numerical value related to focusing in the candidate coordinate holding unit 24 as a feature amount matrix 87. Further, in the first embodiment, the tracking target 53 is specified by the fluctuation amount of the evaluation value calculated by the evaluation value calculation unit 23, but in the present embodiment, the evaluation of the image processing calculated by the feature amount-derived target identification unit is performed. The tracking target 53 is specified using the value.

図１０は、この監視システムのカメラ設置構成及び広角型監視カメラ２から指定した追尾対象５３の存在する軸方向５１を示す概略図である。また、図１１は、追尾対象５３とは異なるが軸方向５１に近い位置に存在する追尾対象候補９０の例を示す概略図である。
実施形態１では、ＰＴＺ型監視カメラ１が軸方向５１に走査する際に、光学系制御部２０を制御し、被写界深度を浅くしていたが、十分に被写界深度を浅くできない場合、軸方向５１上に存在する物体を追尾対象候補として誤検出してしまう場合がある。このような場合、本来は追尾対象５３に指向すべきＰＴＺ型監視カメラ１が、別の物体（追尾対象候補９０）に指向されてしまう可能性がある。 FIG. 10 is a schematic view showing the camera installation configuration of this surveillance system and the axial direction 51 in which the tracking target 53 designated from the wide-angle surveillance camera 2 exists. Further, FIG. 11 is a schematic view showing an example of a tracking target candidate 90 that is different from the tracking target 53 but exists at a position close to the axial direction 51.
In the first embodiment, when the PTZ type surveillance camera 1 scans in the axial direction 51, the optical system control unit 20 is controlled to make the depth of field shallow, but the depth of field cannot be made sufficiently shallow. , An object existing in the axial direction 51 may be erroneously detected as a tracking target candidate. In such a case, the PTZ type surveillance camera 1 that should be directed to the tracking target 53 may be directed to another object (tracking target candidate 90).

このため、本実施形態では、複数の走査によって取得された追尾対象候補の画像的な特徴量から評価値を求め、比較することで誤検出を防止する。すなわち、本実施形態では、複数の軸方向に沿った走査により得られた撮像画像に応じて追尾対象を特定する。ここで、追尾対象候補の画像的な特徴量には、例えば追尾対象候補の画像の形状の類似度、色の類似度、画像の解像度等が含まれる。本実施形態では、例えば図１１に示すように、追尾対象５３について広角型監視カメラ２から異なる位置にある追尾対象（５３、５３ａ）を２回以上指定し、夫々について軸方向５１を送信する。ＰＴＺ型監視カメラ１は、複数回の追尾対象５３の画像的な特徴量を有する特徴量行列８７を取得し、これらを比較して類似した追尾対象５３が検出された場合に、追尾対象５３として特定する。 Therefore, in the present embodiment, erroneous detection is prevented by obtaining an evaluation value from the image feature quantities of the tracking target candidates acquired by a plurality of scans and comparing them. That is, in the present embodiment, the tracking target is specified according to the captured image obtained by scanning along a plurality of axial directions. Here, the image feature amount of the tracking target candidate includes, for example, the shape similarity, the color similarity, the image resolution, and the like of the image of the tracking target candidate. In the present embodiment, for example, as shown in FIG. 11, the tracking target (53, 53a) at a different position from the wide-angle surveillance camera 2 is designated twice or more for the tracking target 53, and the axial direction 51 is transmitted for each. The PTZ type surveillance camera 1 acquires a feature amount matrix 87 having an image feature amount of the tracking target 53 a plurality of times, and when a similar tracking target 53 is detected by comparing these, the tracking target 53 is set as the tracking target 53. Identify.

図１２は、広角型監視カメラ２で設定された軸方向５１、ＰＴＺ型監視カメラ１と追尾対象５３、移動後の追尾対象５３ａを三次元的な領域として模式図で図示したものである。
実施形態１では、合焦し、評価値に変動が発生した追尾対象候補の座標のうち、時間的に最も早く検出されたものを追尾対象５３としていた。本実施形態では、広角型監視カメラ２は、２つ以上の軸方向５１をＰＴＺ型監視カメラ１に送信する。ＰＴＺ型監視カメラ１は、夫々の軸方向５１における走査で取得された追尾対象５３と追尾対象候補９０の画像の特徴量行列８７を比較する。そして、ＰＴＺ型監視カメラ１の特徴量起因対象特定部は、類似する特徴量行列８７が存在する追尾対象候補を追尾対象５３と特定する。例えば、広角型監視カメラ２が複数の軸方向５１を送信し、ＰＴＺ型監視カメラ１が夫々の軸方向５１における走査で得た画像には追尾対象５３、５３ａが写り込んでいるとする。この場合、夫々の走査において撮像された画像から計算された特徴量行列８７からは、追尾対象候補の類似性の特徴を検出することができる。そこで、夫々の走査で得られた追尾対象候補の特徴を比較し、類似する追尾対象候補の組み合わせを検出することで、ＰＴＺ型監視カメラ１で追尾対象５３を特定することが可能になる。 FIG. 12 is a schematic diagram showing the axial direction 51 set by the wide-angle surveillance camera 2, the PTZ surveillance camera 1, the tracking target 53, and the tracking target 53a after movement as a three-dimensional region.
In the first embodiment, among the coordinates of the tracking target candidates whose focusing and the evaluation value fluctuate, the one detected earliest in time is set as the tracking target 53. In the present embodiment, the wide-angle surveillance camera 2 transmits two or more axial directions 51 to the PTZ surveillance camera 1. The PTZ type surveillance camera 1 compares the feature amount matrix 87 of the images of the tracking target 53 and the tracking target candidate 90 acquired by scanning in each axial direction 51. Then, the feature amount-based target identification unit of the PTZ type surveillance camera 1 identifies the tracking target candidate in which the similar feature amount matrix 87 exists as the tracking target 53. For example, it is assumed that the wide-angle surveillance camera 2 transmits a plurality of axial directions 51, and the images obtained by scanning the PTZ surveillance cameras 1 in the respective axial directions 51 include the tracking targets 53 and 53a. In this case, the feature of similarity of the tracking target candidate can be detected from the feature amount matrix 87 calculated from the images captured in each scan. Therefore, by comparing the characteristics of the tracking target candidates obtained by each scanning and detecting a combination of similar tracking target candidates, it becomes possible to identify the tracking target 53 with the PTZ type surveillance camera 1.

図１３は、広角型監視カメラ２から指定された複数の軸方向５１に応じて、ＰＴＺ型監視カメラ１が追尾対象５３を特定する処理の例を示すフローチャートである。
まず、広角型監視カメラ２の追尾対象受信部３８は、ステップＳ２１において、クライアント装置３から指定されたＲＯＩ（１回目の追尾対象情報）を受信する。ステップＳ２２において、軸方向送信部３７は、受信した１回目の追尾対象情報に応じて任意軸上座標８２と広角型監視カメラ座標７２を含む軸方向データテーブル８１を生成し、軸情報としてＰＴＺ型監視カメラ１に送信する。 FIG. 13 is a flowchart showing an example of a process in which the PTZ type surveillance camera 1 identifies the tracking target 53 according to a plurality of axial directions 51 designated by the wide-angle type surveillance camera 2.
First, the tracking target receiving unit 38 of the wide-angle surveillance camera 2 receives the ROI (first tracking target information) specified from the client device 3 in step S21. In step S22, the axial transmission unit 37 generates an axial data table 81 including arbitrary axial coordinates 82 and wide-angle surveillance camera coordinates 72 according to the received first tracking target information, and PTZ type as the axial information. It is transmitted to the surveillance camera 1.

ステップＳ２３において、１回目の追尾対象情報を受信すると、ＰＴＺ型監視カメラ１の追尾対象走査部２２は、Ｓ２４において、図１２で示した軸方向５１上を走査させ、追尾対象５３を特定する処理である走査軸走査処理を行う。走査軸走査処理については、実施形態１と同様である。１回目の走査が完了すると、追尾対象走査部２２は、ステップＳ２５において、広角型監視カメラ２に１回目の走査が完了したことを通知する。この通知に応じて、広角型監視カメラ２は、Ｓ２６において、クライアント装置３に１回目の走査が完了したことを通知する。広角型監視カメラ２は、ステップＳ２７において、クライアント装置３から、１回目とは別の座標で同一の追尾対象を指定する２回目の追尾対象情報（ＲＯＩ）を受信する。これに応じて、軸方向送信部３７は、ステップＳ２８において、任意軸上座標８２と広角型監視カメラ座標７２を含む軸方向データテーブル８１を生成し、２回目の軸情報としてＰＴＺ型監視カメラ１に送信する。 When the first tracking target information is received in step S23, the tracking target scanning unit 22 of the PTZ type surveillance camera 1 scans on the axial direction 51 shown in FIG. 12 in S24 to identify the tracking target 53. Scanning axis scanning processing is performed. The scanning axis scanning process is the same as in the first embodiment. When the first scan is completed, the tracking target scanning unit 22 notifies the wide-angle surveillance camera 2 that the first scan is completed in step S25. In response to this notification, the wide-angle surveillance camera 2 notifies the client device 3 that the first scan has been completed in S26. In step S27, the wide-angle surveillance camera 2 receives from the client device 3 the second tracking target information (ROI) that specifies the same tracking target at coordinates different from the first. In response to this, in step S28, the axial transmission unit 37 generates an axial data table 81 including the arbitrary axial coordinates 82 and the wide-angle surveillance camera coordinates 72, and the PTZ surveillance camera 1 is used as the second axis information. Send to.

ステップＳ２９において、２回目の軸情報を受信すると、ＰＴＺ型監視カメラ１の追尾対象走査部２２は、Ｓ３０において、図１２で示した軸方向５１上を走査させ、追尾対象５３を特定する処理である走査軸走査処理を行う。走査軸走査処理については、実施形態１と同様である。２回目の走査軸走査処理が完了すると、特徴量起因対象特定部は、ステップＳ３１において、候補座標保持部２４に保存されている２回目の走査結果と１回目の走査結果を比較して類似する特徴が存在するものを探索する。そして、特徴量起因対象特定部は、ステップＳ３２において、探索したもののうち１回目の走査と２回目の走査で最も類似しているものを追尾対象と特定する。追尾対象を特定すると、追尾対象走査部２２は、ステップＳ３３において、広角型監視カメラ２に２回目の追尾対象の特定が完了したことを通知する。この通知に応じて、広角型監視カメラ２は、Ｓ３４において、クライアント装置３に追尾対象の特定が完了したことを通知する。 When the second axis information is received in step S29, the tracking target scanning unit 22 of the PTZ type surveillance camera 1 scans on the axial direction 51 shown in FIG. 12 in S30 to identify the tracking target 53. Performs a certain scanning axis scanning process. The scanning axis scanning process is the same as in the first embodiment. When the second scanning axis scanning process is completed, the feature amount-caused target identification unit compares and resembles the second scanning result and the first scanning result stored in the candidate coordinate holding unit 24 in step S31. Search for features that exist. Then, in step S32, the feature amount-based target identification unit identifies the searched object that is most similar in the first scan and the second scan as the tracking object. When the tracking target is specified, the tracking target scanning unit 22 notifies the wide-angle surveillance camera 2 that the second tracking target has been specified in step S33. In response to this notification, the wide-angle surveillance camera 2 notifies the client device 3 that the identification of the tracking target is completed in S34.

なお、本実施形態では、類似するものの座標を追尾対象５３の座標として特定しているが、類似度を算出し、類似度が一定以上に達した場合は、追尾対象５３として特定してもよい。
ステップＳ３３、Ｓ３４では追尾対象５３が特定されたことをＰＴＺ型監視カメラ１から広角型監視カメラ２に通知し、広角型監視カメラ２からクライアント装置３に通知して処理を完了する。 In the present embodiment, the coordinates of similar objects are specified as the coordinates of the tracking target 53, but the similarity may be calculated and specified as the tracking target 53 when the similarity reaches a certain level or more. ..
In steps S33 and S34, the PTZ type surveillance camera 1 notifies the wide-angle type surveillance camera 2 that the tracking target 53 has been identified, and the wide-angle type surveillance camera 2 notifies the client device 3 to complete the process.

以上説明したように、本実施形態では、複数の軸方向における走査によって得られた夫々の追尾対象候補の画像的な特徴量から評価値を求め、夫々の評価値を比較して追尾対象を特定することにより、追尾対象の特定の精度を向上させることができる。
なお、本実施形態では、追尾対象の決定に用いる評価値として、画像処理に基づく特徴量から求めた評価値を用いたが、追尾対象候補の座標のうち高さを比較し、類似する高さ座標を有する追尾対象候補を追尾対象５３と特定してもよい。あるいは、位置が所定の閾値より近い追尾対象候補がある場合に、当該追尾対象候補を追尾対象５３と特定してもよい。また、本実施形態では、１回目の走査と同様に２回目の走査を行っているが、２回目の走査では、１回目の走査で取得された対象候補の高さに該当する軸方向上の点のみを走査の対象としてもよい。これにより、２回目の走査の時間を短縮することができる。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その技術的思想の範囲内で種々の変形及び変更が可能である。 As described above, in the present embodiment, the evaluation value is obtained from the image feature amount of each tracking target candidate obtained by scanning in a plurality of axial directions, and the tracking target is specified by comparing the evaluation values. By doing so, it is possible to improve the specific accuracy of the tracking target.
In the present embodiment, as the evaluation value used for determining the tracking target, the evaluation value obtained from the feature amount based on the image processing is used, but the heights of the coordinates of the tracking target candidates are compared and similar heights are used. The tracking target candidate having coordinates may be specified as the tracking target 53. Alternatively, when there is a tracking target candidate whose position is closer than a predetermined threshold value, the tracking target candidate may be specified as the tracking target 53. Further, in the present embodiment, the second scan is performed in the same manner as the first scan, but in the second scan, the height of the target candidate acquired in the first scan is on the axial direction. Only points may be scanned. As a result, the time for the second scan can be shortened.
Although the preferred embodiments of the present invention have been described above, the present invention is not limited to these embodiments, and various modifications and modifications can be made within the scope of the technical idea thereof.

（その他の実施形態）
以上、各実施形態を詳述したが、本発明は例えば、システム、装置、方法、プログラム若しくは記録媒体（記憶媒体）等としての実施態様をとることが可能である。具体的には、複数の機器（例えば、ホストコンピュータ、インタフェース機器、撮像装置、ｗｅｂアプリケーション等）から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。 (Other embodiments)
Although each embodiment has been described in detail above, the present invention can take an embodiment as a system, an apparatus, a method, a program, a recording medium (storage medium), or the like. Specifically, it may be applied to a system composed of a plurality of devices (for example, a host computer, an interface device, an imaging device, a web application, etc.), or it may be applied to a device composed of one device. Good.

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワークまたは記憶媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。ＡＳＩＣはＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔの略である。 The present invention supplies a program that realizes one or more functions of the above-described embodiment to a system or device via a network or storage medium, and one or more processors in the computer of the system or device reads and executes the program. It can also be realized by the processing to be performed. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions. ASIC is an abbreviation for Application Specific Integrated Circuit.

１…ＰＴＺ型監視カメラ、２…広角型監視カメラ、３…クライアント装置、４…ネットワーク、１１…撮像部、１２…画像処理部、１３…撮像制御部、１４…システム制御部、１５…通信部、１６…軸方向受信部、１７…ＰＴ制御部、１８…パン駆動部、１９…チルト駆動部、２０…光学系制御部、２１…光学系駆動部、２２…追尾対象走査部、２３…評価値算出部、２４…候補座標保持部、２５…追尾対象特定部、３１…撮像部、３２…画像処理部、３３…システム制御部、３５…通信部、３６…撮像装置相対位置保持部、３７…軸方向送信部、３８…追尾対象受信部、４１…表示部、４２…入力部、４３…システム制御部、４５…通信部 1 ... PTZ type surveillance camera, 2 ... wide angle type surveillance camera, 3 ... client device, 4 ... network, 11 ... imaging unit, 12 ... image processing unit, 13 ... imaging control unit, 14 ... system control unit, 15 ... communication unit , 16 ... Axial receiving unit, 17 ... PT control unit, 18 ... Pan drive unit, 19 ... Tilt drive unit, 20 ... Optical system control unit, 21 ... Optical system drive unit, 22 ... Tracking target scanning unit, 23 ... Evaluation Value calculation unit, 24 ... Candidate coordinate holding unit, 25 ... Tracking target identification unit, 31 ... Imaging unit, 32 ... Image processing unit, 33 ... System control unit, 35 ... Communication unit, 36 ... Imaging device relative position holding unit, 37 ... Axial transmission unit, 38 ... Tracking target reception unit, 41 ... Display unit, 42 ... Input unit, 43 ... System control unit, 45 ... Communication unit

Claims

第１の撮像手段と、
前記第１の撮像手段の撮像方向を変更する変更手段と、
オブジェクトの方向を取得する取得手段と、
前記取得手段が取得した前記オブジェクトの方向に沿って前記第１の撮像手段の撮像方向を変更するように前記変更手段を制御する制御手段と、
前記制御手段による前記変更手段の制御に応じた前記第１の撮像手段の撮像画像に基づいて前記オブジェクトの位置を特定する特定手段と、
を備えることを特徴とする撮像装置。 The first imaging means and
A changing means for changing the imaging direction of the first imaging means, and
How to get the direction of an object and
A control means for controlling the changing means so as to change the imaging direction of the first imaging means along the direction of the object acquired by the acquiring means.
A specific means for specifying the position of the object based on an image captured by the first imaging means according to the control of the changing means by the control means, and
An imaging device characterized by comprising.

前記第１の撮像手段の画角より広い画角で撮像を行う第２の撮像手段と、
前記第２の撮像手段による撮像画像中のオブジェクトを指定する指定手段と、
前記指定手段によって指定された前記オブジェクトの方向を算出して前記取得手段に供給する第１の算出手段と、
を備えることを特徴とする請求項１記載の撮像装置。 A second imaging means that performs imaging at an angle of view wider than the angle of view of the first imaging means, and
Designating means for designating an object in an image captured by the second imaging means, and
A first calculation means that calculates the direction of the object designated by the designated means and supplies it to the acquisition means.
The imaging device according to claim 1, further comprising.

前記制御手段による前記変更手段の制御に応じて、前記オブジェクトの方向に沿った位置に前記第１の撮像手段を合焦させる合焦手段、
を備えることを特徴とする請求項１または請求項２に記載の撮像装置。 A focusing means for focusing the first imaging means at a position along the direction of the object according to the control of the changing means by the control means.
The imaging device according to claim 1 or 2, wherein the image pickup apparatus is provided with.

前記合焦手段は、被写界深度が所定の閾値より浅くなるように前記第１の撮像手段を合焦させる、
ことを特徴とする請求項３記載の撮像装置。 The focusing means focuses the first imaging means so that the depth of field becomes shallower than a predetermined threshold value.
3. The imaging device according to claim 3.

前記特定手段は、
前記第１の撮像手段の撮像画像から所定の評価値を算出する第２の算出手段と、
前記制御手段による前記変更手段の制御中に、前記第２の算出手段によって算出された前記評価値が所定の条件を満たしたときに、前記第１の撮像手段の撮像方向に対応する位置を保持する保持手段と、を備え、
前記保持手段に保持されている前記位置に応じて前記オブジェクトの位置を特定する、
ことを特徴とする請求項１から請求項４のいずれか１項に記載の撮像装置。 The specific means
A second calculation means for calculating a predetermined evaluation value from an image captured by the first imaging means, and
During the control of the changing means by the control means, when the evaluation value calculated by the second calculating means satisfies a predetermined condition, the position corresponding to the imaging direction of the first imaging means is held. With a holding means,
The position of the object is specified according to the position held by the holding means.
The imaging device according to any one of claims 1 to 4, wherein the imaging device is characterized by the above.

前記特定手段は、前記保持手段に最初に保持された前記位置を、前記オブジェクトの位置として特定する、
ことを特徴とする請求項５記載の撮像装置。 The specific means identifies the position first held by the holding means as the position of the object.
5. The imaging device according to claim 5.

前記第２の算出手段は、
少なくとも、形状の類似度、色の類似度、画像の解像度のいずれかに応じて前記評価値を算出する、
ことを特徴とする請求項５記載の撮像装置。 The second calculation means is
The evaluation value is calculated according to at least one of shape similarity, color similarity, and image resolution.
5. The imaging device according to claim 5.

前記取得手段は、同一の前記オブジェクトに対して複数の前記オブジェクトの方向を取得し、
前記制御手段は、前記取得手段が取得した複数の前記オブジェクトの方向夫々に沿って前記第１の撮像手段の撮像方向を変更するように前記変更手段を制御し、
前記特定手段は、前記制御手段による前記変更手段の制御に応じた夫々の前記第１の撮像手段の撮像画像に応じて前記オブジェクトの位置を特定する、
ことを特徴とする請求項１から請求項７のいずれか１項に記載の撮像装置。 The acquisition means acquires the directions of a plurality of the objects with respect to the same object.
The control means controls the changing means so as to change the imaging direction of the first imaging means along the directions of the plurality of objects acquired by the acquiring means.
The specifying means specifies the position of the object according to the captured image of each of the first imaging means according to the control of the changing means by the control means.
The imaging device according to any one of claims 1 to 7, wherein the imaging device is characterized by the above.

前記特定手段は、
前記制御手段による前記変更手段の制御に応じた夫々の前記第１の撮像手段の撮像画像に応じて前記オブジェクトの位置を各々特定し、
前記特定した夫々のオブジェクトの位置が所定の閾値より近い場合に、前記特定した夫々のオブジェクトの位置に応じて、前記オブジェクトの位置を特定する、
ことを特徴とする請求項８記載の撮像装置。 The specific means
The positions of the objects are specified according to the images captured by the first imaging means according to the control of the changing means by the control means.
When the position of each of the specified objects is closer than a predetermined threshold value, the position of the object is specified according to the position of each of the specified objects.
8. The imaging device according to claim 8.

オブジェクトの方向を取得するステップと、
前記取得した前記オブジェクトの方向に沿って第１の撮像手段の撮像方向を変更するステップと、
前記撮像方向の変更に応じた前記第１の撮像手段の撮像画像に基づいて前記オブジェクトの位置を特定するステップと、
を有することを特徴とする撮像方法。 Steps to get the direction of an object,
A step of changing the imaging direction of the first imaging means along the acquired direction of the object, and
A step of specifying the position of the object based on the image captured by the first imaging means in response to the change in the imaging direction, and
An imaging method characterized by having.

コンピュータを、請求項１から請求項９のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラム。 A program for causing a computer to function as each means of the imaging device according to any one of claims 1 to 9.