JP2023044924A - Imaging device, control method of imaging device and program - Google Patents

Abstract

To enable tracking to be continued even when tracking failed when tracking a subject on the basis of video analysis.SOLUTION: An imaging device is the imaging device which can perform pan-, tilt-, zoom-driving and communicate to a radio device held by the subject, and comprises: first specification means which specifies a relative position of a subject with respect to the imaging device by performing video analysis on image data obtained by imaging means of the imaging device; second specification means which specifies the relative position of the subject with respect to the imaging device on the basis of the incoming direction of an electric wave received from the radio device; determination means which determines whether or not tracking of the subject failed on the basis of the result of tracking the subject using the first specification means; position specification control means which executes at least one of the first specification means and second specification means on the basis of the determination result of the determination means; and PTZ control means which performs control of pan-, tilt- or zoom-driving to the position specified by the first specification means or second specification means.SELECTED DRAWING: Figure 5

Description

本開示は、撮像装置、撮像装置の制御方法およびプログラムに関する。 The present disclosure relates to an imaging device, an imaging device control method, and a program.

パン・チルト・ズーム制御（以下、ＰＴＺ制御という）を実行するネットワークカメラが知られている。この種のネットワークカメラには、画面内で被写体を捉え続けるように、被写体の位置に応じて、撮影方向を変更する自動追尾機能を有するものがある。 Network cameras that perform pan/tilt/zoom control (hereinafter referred to as PTZ control) are known. Some network cameras of this type have an automatic tracking function that changes the shooting direction according to the position of the subject so that the subject can be captured continuously within the screen.

人物の位置の特定には、通常、人体検出などの映像解析が用いられることが多いが、映像解析には、特性上の苦手なシーンがある。照明変動による周辺光の色変化や被写体の向き・姿勢の状態変化により、予め学習したデータと一致する特徴量を被写体から抽出できない場合などである。さらには、被写体が遮蔽物と重なった場合や画角から外れた場合など、画角内に被写体が映らない状態では、映像解析のアルゴリズムによらず、検出することは困難になる。そのような場合でも、通常は、フレーム間の検出結果を加味した追尾処理によって、ある程度は被写体を見失わずにすむ。しかし、未検出の状態が続けば、最終的には、被写体を見失って、追尾に失敗（以下、追尾をロストという）し、自動追尾を継続できなくなる。 Video analysis such as human body detection is usually used to identify the position of a person. For example, it may not be possible to extract feature values that match pre-learned data from a subject due to changes in the color of ambient light due to lighting fluctuations or changes in the orientation and posture of the subject. Furthermore, when the subject is not visible within the angle of view, such as when the subject overlaps with an obstacle or is out of the angle of view, it becomes difficult to detect the subject regardless of the video analysis algorithm. Even in such a case, it is usually possible to keep track of the subject to some extent by tracking processing that takes into account the detection results between frames. However, if the undetected state continues, eventually the subject is lost, tracking fails (hereinafter referred to as tracking lost), and automatic tracking cannot be continued.

上記を踏まえ、特許文献１には、映像解析による被写体の追尾をロストした場合に、音情報を用いて、被写体から発せられる音源方向を推定し、その推定結果に基づいて、撮影方向を調整することが開示されている。 Based on the above, in Patent Document 1, when the tracking of the subject by video analysis is lost, the direction of the sound source emitted from the subject is estimated using sound information, and the shooting direction is adjusted based on the estimation result. is disclosed.

特開２０１９－００６１５４号公報JP 2019-006154 A

特許文献１では、飛行体を被写体として想定するため、比較的、所望の音を集音しやすく、追尾をロストした場合でも、音源方向に撮影方向を調整することで、自動追尾を継続できる。しかしながら、被写体のいる方向から集音できることが前提となっているため、撮影環境によっては、安定した効果が得られない。例えば、人物を被写体とした場合、必ずしも人物が集音できるような音を発するとは限らず、さらには雑音のある環境下では、音源方向が定まらず、人物のいる位置を捉えることは困難になる。 In Japanese Patent Application Laid-Open No. 2004-200012, since a flying object is assumed as a subject, it is relatively easy to collect a desired sound, and even if tracking is lost, automatic tracking can be continued by adjusting the shooting direction toward the direction of the sound source. However, since it is premised that sound can be collected from the direction in which the subject is present, a stable effect cannot be obtained depending on the shooting environment. For example, when a person is the subject, it is not always possible for the person to emit a sound that can be collected, and furthermore, in a noisy environment, the direction of the sound source cannot be determined, making it difficult to determine the position of the person. Become.

本開示の目的は、映像解析に基づいて被写体を追尾する際に、追尾に失敗した場合でも、追尾を継続できるようにすることである。 An object of the present disclosure is to enable tracking to continue even if tracking fails when tracking a subject based on video analysis.

撮像装置は、パンとチルトとズームの駆動が可能であり、被写体が所持した無線装置との間で通信可能な撮像装置であって、前記撮像装置の撮像手段により得られる画像データに対して映像解析することで、前記撮像装置に対する被写体の相対位置を特定する第１の特定手段と、前記無線装置から受信した電波の飛来方向に基づいて、前記撮像装置に対する被写体の相対位置を特定する第２の特定手段と、前記第１の特定手段を用いて前記被写体を追尾した結果、前記被写体の追尾に失敗したか否かを判定する判定手段と、前記判定手段の判定結果に基づいて、前記第１の特定手段および前記第２の特定手段のうちのいずれか一方を実行する位置特定制御手段と、前記第１の特定手段または前記第２の特定手段で特定した位置へパン、チルトまたはズーム駆動の制御を行うＰＴＺ制御手段とを有し、前記位置特定制御手段は、前記判定手段において、前記第１の特定手段を用いた追尾に失敗したと判定した場合には、前記第１の特定手段から前記第２の特定手段に切り替えて前記被写体の追尾を行うように制御する。 The imaging device is capable of panning, tilting, and zooming, and is capable of communicating with a wireless device possessed by a subject. a first identifying means for identifying the relative position of the subject with respect to the imaging device by analyzing; determination means for determining whether or not tracking of the subject has failed as a result of tracking the subject using the first determination means; and based on the determination result of the determination means, the first position specifying control means for executing either one of the first specifying means and the second specifying means; and pan, tilt or zoom drive to the position specified by the first specifying means or the second specifying means. When the determination means determines that the tracking using the first determination means has failed, the position determination control means controls the first determination means to the second identifying means to track the subject.

本開示によれば、映像解析に基づいて被写体を追尾する際に、追尾に失敗した場合でも、追尾を継続することができる。 According to the present disclosure, when tracking a subject based on video analysis, even if tracking fails, tracking can be continued.

ネットワークシステムの構成例を示す図である。1 is a diagram illustrating a configuration example of a network system; FIG. ネットワークカメラの構成例を示す図である。1 is a diagram showing a configuration example of a network camera; FIG. 電波の飛来方向を検知する原理を説明するための図である。FIG. 4 is a diagram for explaining the principle of detecting the incoming direction of radio waves; 自動追尾処理の流れを示すフローチャートである。4 is a flowchart showing the flow of automatic tracking processing; 自動追尾処理の流れを示すフローチャートである。4 is a flowchart showing the flow of automatic tracking processing; 自動追尾処理時の画像フレームの例を示す図である。FIG. 10 is a diagram showing an example of image frames during automatic tracking processing;

図１は、本実施形態によるネットワークシステム１００の構成例を示す図である。ネットワークシステム１００は、ネットワークカメラ１０１と、クライアント装置１０２と、無線装置１０３と、ネットワーク１０４と、無線ネットワーク１０５とを有する。 FIG. 1 is a diagram showing a configuration example of a network system 100 according to this embodiment. Network system 100 includes network camera 101 , client device 102 , wireless device 103 , network 104 , and wireless network 105 .

ネットワークカメラ１０１は、有線または無線のネットワークによる映像配信やカメラ制御が可能である。ネットワークカメラ１０１は、撮像装置として機能する。 The network camera 101 is capable of video distribution and camera control via a wired or wireless network. The network camera 101 functions as an imaging device.

クライアント装置１０２は、ネットワーク１０４を介して、ネットワークカメラ１０１に接続される。クライアント装置１０２は、ブラウザを介して、ネットワークカメラ１０１の制御や情報の出力を行う。 A client device 102 is connected to a network camera 101 via a network 104 . The client device 102 controls the network camera 101 and outputs information via a browser.

無線装置１０３は、無線ネットワーク１０５を介して、ネットワークカメラ１０１に接続される。無線装置１０３は、Ｂｌｕｅｔｏｏｔｈ（登録商標）の５．１仕様に準拠した無線通信モジュールを内蔵する。無線装置１０３は、ネットワークカメラ１０１により撮影される被写体１０６が有するものである。被写体１０６が人物である場合には、被写体１０６が無線装置１０３を所持している。無線装置１０３は、以下に詳述するように、ネットワークカメラ１０１で被写体１０６を自動追尾するのに利用される。 A wireless device 103 is connected to the network camera 101 via a wireless network 105 . The wireless device 103 incorporates a wireless communication module conforming to the Bluetooth (registered trademark) 5.1 specification. A wireless device 103 is owned by a subject 106 photographed by the network camera 101 . If the subject 106 is a person, the subject 106 carries the wireless device 103 . Wireless device 103 is used to automatically track object 106 with network camera 101, as will be described in detail below.

ネットワーク１０４は、ネットワークカメラ１０１によって撮影された映像を外部の録画サーバ等に配信するためのネットワークであり、ネットワークカメラ１０１とクライアント装置１０２との相互通信を可能にする。本実施形態では、ネットワーク１０４の通信形態は、有線ＬＡＮとするが、無線ＬＡＮであってもよい。 A network 104 is a network for distributing video captured by the network camera 101 to an external recording server or the like, and enables mutual communication between the network camera 101 and the client device 102 . In this embodiment, the communication form of the network 104 is a wired LAN, but may be a wireless LAN.

無線ネットワーク１０５は、ネットワークカメラ１０１と無線装置１０３との相互通信を可能にする。本実施形態では、無線ネットワーク１０５は、Ｂｌｕｅｔｏｏｔｈ（登録商標）に則ったものとするが、Ｚ－Ｗａｖｅ（登録商標）、Ｚｉｇｂｅｅ（登録商標）、あるいはＵｌｔｒａ Ｗｉｄｅ Ｂａｎｄ（登録商標）等の無線通信規格に則ったものでもよい。 Wireless network 105 allows network camera 101 and wireless device 103 to communicate with each other. In this embodiment, the wireless network 105 conforms to Bluetooth (registered trademark). may be in accordance with

図２は、本実施形態によるネットワークカメラ１０１の構成例を示す図である。ネットワークカメラ１０１は、撮像部２０１と、レンズ制御部２０２と、雲台２０３とを有する。また、ネットワークカメラ１０１は、Ａ／Ｄ変換部２０４と、カメラ信号処理部２０５と、記憶部２０６と、バス２０７と、映像解析部２０８と、圧縮伸長部２０９と、有線通信処理部２１０と、無線通信処理部２１１と、ＣＰＵ２１２とを有する。ＣＰＵ２１２は、中央演算処理装置である。 FIG. 2 is a diagram showing a configuration example of the network camera 101 according to this embodiment. The network camera 101 has an imaging unit 201 , a lens control unit 202 and a camera platform 203 . The network camera 101 also includes an A/D conversion unit 204, a camera signal processing unit 205, a storage unit 206, a bus 207, a video analysis unit 208, a compression/decompression unit 209, a wired communication processing unit 210, It has a wireless communication processing unit 211 and a CPU 212 . CPU 212 is a central processing unit.

撮像部２０１は、ズームレンズ、フォーカスレンズ、絞り、および撮像素子を有する。レンズ制御部２０２は、ズームレンズおよびフォーカスレンズを光軸に沿って移動させ、絞りを動作させるように制御する。撮像部２０１では、撮像素子が、ズームレンズ、フォーカスレンズ、および絞りを通過した光を光電変換して、アナログ画像信号を生成する。撮像部２０１は、撮像素子で生成されたアナログ画像信号を、サンプリングによる増幅処理を施した後、Ａ／Ｄ変換部２０４に出力する。 The imaging unit 201 has a zoom lens, a focus lens, an aperture, and an imaging element. A lens control unit 202 controls to move the zoom lens and the focus lens along the optical axis and to operate the diaphragm. In the imaging unit 201, the imaging device photoelectrically converts light that has passed through the zoom lens, the focus lens, and the diaphragm to generate an analog image signal. The imaging unit 201 outputs an analog image signal generated by the imaging device to the A/D conversion unit 204 after performing amplification processing by sampling.

雲台２０３は、パン駆動部およびチルト駆動部を有する。ＣＰＵ２１２は、雲台２０３を不図示のアクチュエータを介して制御することで、撮像部２０１を水平および垂直方向に回転させるパンおよびチルト駆動（以降、ＰＴ駆動という）を行い、撮影方向を変更することができる。 The platform 203 has a pan drive and a tilt drive. The CPU 212 controls the camera platform 203 via an actuator (not shown) to perform pan and tilt drive (hereinafter referred to as PT drive) that rotates the imaging unit 201 in the horizontal and vertical directions, thereby changing the shooting direction. can be done.

Ａ／Ｄ変換部２０４は、アナログ画像信号をデジタル画像信号に変換し、デジタル画像信号をカメラ信号処理部２０５に出力する。カメラ信号処理部２０５は、Ａ／Ｄ変換部２０４で変換したデジタル画像信号に対して、各種画像処理を行って、映像信号を生成する。各種画像処理は、例えば、オフセット処理、ガンマ補正処理、ゲイン処理、ＲＧＢ補間処理、ノイズ低減処理、色調補正処理等である。 The A/D converter 204 converts the analog image signal into a digital image signal and outputs the digital image signal to the camera signal processor 205 . A camera signal processing unit 205 performs various image processing on the digital image signal converted by the A/D conversion unit 204 to generate a video signal. Various image processing includes, for example, offset processing, gamma correction processing, gain processing, RGB interpolation processing, noise reduction processing, color tone correction processing, and the like.

記憶部２０６は、ＲＡＭ、ＲＯＭ、記憶装置等により構成される。ＲＡＭは、ＳＲＡＭやＤＲＡＭ等の揮発性メモリである。ＲＯＭは、ＥＥＰＲＯＭやフラッシュメモリ等の不揮発性メモリである。記憶装置は、ＨＤＤ（ハードディスクドライブ）やＳＳＤ（ソリッドステートドライブ）等である。本実施形態で述べる機能を実現するためのプログラムや当該プログラムが実行される際に用いられるデータは、ＲＯＭまたは記憶装置に格納される。これらのプログラムやデータは、ＣＰＵ２１２による制御下で、バス２０７を介して、適宜ＲＡＭに取り込まれ、ＣＰＵ２１２によって実行されることで、各部として機能する。 The storage unit 206 is composed of a RAM, a ROM, a storage device, and the like. RAM is volatile memory such as SRAM and DRAM. ROM is a non-volatile memory such as EEPROM or flash memory. The storage device is an HDD (Hard Disk Drive), an SSD (Solid State Drive), or the like. A program for realizing the functions described in this embodiment and data used when the program is executed are stored in a ROM or a storage device. These programs and data are appropriately loaded into the RAM via the bus 207 under the control of the CPU 212 and executed by the CPU 212 to function as respective units.

映像解析部２０８は、映像信号を解析して、人体検出、顔検出、動体検出等の各種検出処理を行う。例えば、被写体１０６の位置を特定するための映像解析の一例として、画像フレーム内の人体を検出する人体検出が挙げられるが、ユースシーンによっては、顔検出や動体検出を用いるようにしてもよい。映像解析部２０８は、映像解析結果を、バス２０７を介してＣＰＵ２１２に出力する。 A video analysis unit 208 analyzes video signals and performs various detection processes such as human body detection, face detection, and moving body detection. For example, an example of video analysis for specifying the position of the subject 106 is human body detection for detecting a human body in an image frame, but depending on the use scene, face detection or moving body detection may be used. The video analysis unit 208 outputs the video analysis result to the CPU 212 via the bus 207 .

圧縮伸長部２０９は、映像信号に圧縮処理を施して圧縮データを生成する。有線通信処理部２１０は、ネットワーク１０４を介して、クライアント装置１０２との間でネットワーク通信の処理を行う。 A compression/decompression unit 209 performs compression processing on the video signal to generate compressed data. The wired communication processing unit 210 processes network communication with the client device 102 via the network 104 .

無線通信処理部２１１は、無線ネットワーク１０５を介して、無線装置１０３との間で無線通信の処理を行う。本実施形態では、無線通信処理部２１１は、Ｂｌｕｅｔｏｏｔｈ（登録商標）の５．１仕様に準拠した無線通信モジュールに含まれることを想定するが、それに限られるものではない。例えば、無線通信処理部２１１は、ＵＳＢ等の汎用インターフェースを用いて、外付けで無線通信モジュールを接続するようにしてもよい。 The wireless communication processing unit 211 performs wireless communication processing with the wireless device 103 via the wireless network 105 . In this embodiment, it is assumed that the wireless communication processing unit 211 is included in a wireless communication module conforming to the Bluetooth (registered trademark) 5.1 specification, but it is not limited to this. For example, the wireless communication processing unit 211 may be externally connected to a wireless communication module using a general-purpose interface such as USB.

ＣＰＵ２１２は、ネットワークカメラ１０１の全体の制御を司る。また、ＣＰＵ２１２は、映像解析位置特定部２１２－１、電波位置特定部２１２－２、ロスト判定部２１２－３、位置特定制御部２１２－４、ＰＴＺ制御部２１２－５、電波送信間隔制御部２１２－６、および追尾システム制御部２１２－７として機能する。各部について説明する。 A CPU 212 controls the entire network camera 101 . The CPU 212 also includes a video analysis position specifying unit 212-1, a radio wave position specifying unit 212-2, a lost determination unit 212-3, a position specifying control unit 212-4, a PTZ control unit 212-5, and a radio wave transmission interval control unit 212. -6, and a tracking system controller 212-7. Each part will be explained.

映像解析位置特定部２１２－１は、映像解析部２０８による人体検出結果に基づいて、画像フレーム内の被写体１０６の位置を特定（以降、位置特定という）する。 The video analysis position specifying unit 212-1 specifies the position of the subject 106 in the image frame based on the human body detection result by the video analysis unit 208 (hereinafter referred to as position specifying).

電波位置特定部２１２－２は、無線装置１０３から受信した電波の飛来方向（以降、電波方向という）に基づいて、ネットワークカメラ１０１から見た無線装置１０３、即ち無線装置１０３を有する被写体１０６の相対位置を特定する。電波位置特定部２１２－２における被写体１０６の位置の特定方法は、Ｂｌｕｅｔｏｏｔｈ（登録商標）の５．１仕様に準拠した無線通信の方向検知機能に基づいて行うものであり、その詳細は図３を用いて後述する。 The radio wave position specifying unit 212-2 locates the wireless device 103 as seen from the network camera 101, that is, the relative position of the object 106 having the wireless device 103, based on the incoming direction of the radio wave received from the wireless device 103 (hereinafter referred to as the radio wave direction). Locate. The method of specifying the position of the object 106 in the radio wave position specifying unit 212-2 is based on the direction detection function of wireless communication conforming to the 5.1 specification of Bluetooth (registered trademark). will be used later.

ロスト判定部２１２－３は、映像解析位置特定部２１２－１で特定した被写体１０６の位置に基づいて、追尾をロストしたか否かを判定する。本実施形態における判定方法は、人体検出処理を行った結果、所定数のフレームで連続して検出できない場合に、追尾をロストしたと判定することを想定するが、それに限らない。例えば、連続する複数のフレーム内で、所定回数以上、未検出となった場合に、追尾をロストしたと判定してもよい。また、上記のロスト判定方法に基づいて、一度、追尾をロストしたと仮判定した後、被写体１０６を最後に特定した位置を中心とした所定領域内をテンプレートマッチング等で再探索した上で見つからない場合に限って、追尾をロストしたと判定してもよい。 The lost determination unit 212-3 determines whether tracking is lost based on the position of the subject 106 specified by the video analysis position specifying unit 212-1. In the determination method of the present embodiment, it is assumed that, as a result of the human body detection processing, it is determined that tracking is lost when continuous detection is not possible in a predetermined number of frames, but the present invention is not limited to this. For example, it may be determined that tracking is lost when detection is not performed a predetermined number of times or more in a plurality of consecutive frames. Further, based on the above-described lost determination method, after temporarily determining that tracking has been lost, the object 106 cannot be found after searching again by template matching or the like within a predetermined area centering on the position where the subject 106 was last specified. Only in this case, it may be determined that tracking is lost.

位置特定制御部２１２－４は、ロスト判定部２１２－３の判定結果に基づいて、映像解析位置特定部２１２－１および電波位置特定部２１２－２の実行を制御する。ここで、本実施形態では、電波位置特定部２１２－２で捉えられる被写体１０６の位置の精度は、映像解析位置特定部２１２－１で捉えられる被写体１０６の位置の精度よりも低くなると想定する。詳細は図３で述べるが、電波の方向検知の原理上、受信デバイス側に備えたアンテナ間の距離が大きいほど、精度を向上できるが、その分、受信デバイス側の物理サイズが大きくなる。そのため、実用シーンを踏まえると、アンテナ間の距離は制約があるため、映像解析で捉える位置の精度よりも劣る。したがって、位置特定制御部２１２－４は、映像解析位置特定部２１２－１で被写体１０６の位置を特定できる限りは、映像解析に基づいて追尾することが、精度面では望ましいものとして制御を行う。 Position specifying control section 212-4 controls execution of video analysis position specifying section 212-1 and radio wave position specifying section 212-2 based on the determination result of lost determination section 212-3. Here, in this embodiment, it is assumed that the accuracy of the position of the subject 106 captured by the radio wave position specifying unit 212-2 is lower than the accuracy of the position of the subject 106 captured by the video analysis position specifying unit 212-1. Details will be described in FIG. 3, but according to the principle of direction detection of radio waves, the greater the distance between the antennas provided on the receiving device side, the greater the accuracy can be improved, but the physical size of the receiving device side becomes larger accordingly. Therefore, considering the actual situation, the distance between the antennas is limited, so the accuracy of the position is inferior to that captured by video analysis. Therefore, as long as the position of the object 106 can be specified by the image analysis position specifying unit 212-1, the position specifying control unit 212-4 performs control based on the image analysis, which is desirable in terms of accuracy.

ＰＴＺ制御部２１２－５は、位置特定制御部２１２－４で実行される映像解析位置特定部２１２－１あるいは電波位置特定部２１２－２の位置特定により取得した被写体１０６の位置に基づいて、パンとチルトとズームの駆動（以降、ＰＴＺ駆動）を制御する。その際、ＰＴＺ制御部２１２－５は、レンズ制御部２０２および雲台２０３を用いて、ＰＴＺ駆動を制御する。そして、ＰＴＺ制御部２１２－５は、被写体１０６の位置にネットワークカメラ１０１の撮影方向を向けるように、ＰＴＺ駆動を制御することで、被写体１０６の自動追尾を可能にする。 The PTZ control unit 212-5 performs panning based on the position of the subject 106 obtained by the position identification by the video analysis position identification unit 212-1 or the radio wave position identification unit 212-2 executed by the position identification control unit 212-4. and tilt and zoom driving (hereinafter referred to as PTZ driving). At that time, the PTZ control unit 212-5 uses the lens control unit 202 and the camera platform 203 to control PTZ driving. Then, the PTZ control unit 212-5 enables automatic tracking of the subject 106 by controlling PTZ drive so that the shooting direction of the network camera 101 is directed toward the position of the subject 106. FIG.

電波送信間隔制御部２１２－６は、無線装置１０３がネットワークカメラ１０１に送信する電波の送信間隔を制御する。電波送信間隔制御部２１２－６は、送信間隔を示す指示データを無線装置１０３に送信することで、無線装置１０３は、ネットワークカメラ１０１への電波の送信間隔を変更する。送信間隔を短くすれば、ネットワークカメラ１０１で被写体１０６の位置を逐一特定することができるが、無線装置１０３の電池の消耗は激しくなる。一方で、送信間隔を長くすれば、無線装置１０３の電池の消耗を軽減させることはできるが、ネットワークカメラ１０１で被写体１０６の位置を特定する間隔が長くなり、被写体１０６の位置を特定しづらくなる。 The radio wave transmission interval control unit 212 - 6 controls the transmission interval of radio waves that the wireless device 103 transmits to the network camera 101 . The radio wave transmission interval control unit 212 - 6 transmits instruction data indicating the transmission interval to the wireless device 103 , so that the wireless device 103 changes the transmission interval of the radio wave to the network camera 101 . If the transmission interval is shortened, the network camera 101 can identify the position of the subject 106 one by one, but the battery of the wireless device 103 will be consumed rapidly. On the other hand, if the transmission interval is lengthened, the consumption of the battery of the wireless device 103 can be reduced, but the interval at which the position of the object 106 is specified by the network camera 101 becomes long, making it difficult to specify the position of the object 106 . .

追尾システム制御部２１２－７は、自動追尾の全体処理の制御を行う。具体的には、自動追尾処理の開始および終了の制御などを行う。 The tracking system control unit 212-7 controls the overall processing of automatic tracking. Specifically, it controls the start and end of the automatic tracking process.

図３は、ネットワークカメラ１０１が無線装置１０３からの電波方向を検知する原理を説明するための図である。ネットワークカメラ１０１は、Ｂｌｕｅｔｏｏｔｈ（登録商標）の５．１仕様に準拠した無線通信の方向検知機能を有する。その場合、ネットワークカメラ１０１は、複数のアンテナ３０２を持つアンテナアレイを用いて、各アンテナ３０２の場所が異なることに起因する電波の位相差を活用することで、電波方向を検知する。電波方向を検知する方法としては、次の２つがある。一つめの方法は、Ａｎｇｌｅ Ｏｆ Ａｒｒｉｖａｌ（ＡｏＡ）と呼ばれ、受信デバイス側で電波の受信角度を計算するものである。二つめの方法は、Ａｎｇｌｅ Ｏｆ Ｄｅｐａｒｔｕｒｅ（ＡｏＤ）と呼ばれ、送信デバイス側で放射角度を計算し、受信デバイスに送信するものである。本実施形態では、無線装置１０３が送信デバイスであり、ネットワークカメラ１０１が受信デバイスであり、ネットワークカメラ１０１がＡｏＡによって方向検知を行うが、ＡｏＤを用いても同様の効果が得られる。 FIG. 3 is a diagram for explaining the principle by which the network camera 101 detects the direction of radio waves from the wireless device 103. As shown in FIG. The network camera 101 has a wireless communication direction detection function conforming to the Bluetooth (registered trademark) 5.1 specification. In this case, the network camera 101 uses an antenna array having a plurality of antennas 302 and utilizes the phase difference of radio waves caused by the different locations of the antennas 302 to detect the radio wave direction. There are the following two methods for detecting the radio wave direction. The first method is called Angle Of Arrival (AoA), in which the receiving device calculates the reception angle of radio waves. The second method is called Angle Of Departure (AoD), in which the transmitting device calculates the radiation angle and transmits it to the receiving device. In this embodiment, the wireless device 103 is the transmitting device, the network camera 101 is the receiving device, and the network camera 101 performs direction detection using AoA, but similar effects can be obtained using AoD.

図３に示すように、受信デバイスであるネットワークカメラ１０１は、受信機３０１と、等間隔で配置される複数のアンテナ３０２とを有する。また、送信デバイスである無線装置１０３は、発信機３０３と、単一のアンテナ３０４とを有する。無線装置１０３は、発信機３０３によってアンテナ３０４から特殊な方向検知信号を含む電波３０５を発信し、この電波３０５をネットワークカメラ１０１が複数のアンテナ３０２で受信する。このとき、等間隔で配置された複数のアンテナ３０２は、各々、電波３０５を受信する。その結果、アンテナ３０４と各アンテナ３０２との間の距離は、距離Ｄ１と距離Ｄ２のように、異なる距離になる。これにより、ネットワークカメラ１０１は、アンテナ３０２毎に異なる位相の信号を検知することができる。そして、ネットワークカメラ１０１は、アクティブなアンテナを切り替えながら、電波の位相情報として、同相位相成分および直交位相成分を持つ変調信号（ＩＱ変調信号）を取得し、ＩＱ変調信号に基づいて、信号の相対的な方向である入射角θを計算する。入射角θの計算は、電波の波長、アンテナ間の距離、位相差を用いて行うが、その方法は公知であるので説明を省略する。そして、ネットワークカメラ１０１は、設置時に行うキャリブレーションによって、３次元空間における現在のネットワークカメラ１０１の向き（撮影方向）を把握することができる。したがって、ネットワークカメラ１０１は、無線装置１０３からの電波方向に基づいて、ネットワークカメラ１０１から見た無線装置１０３の相対位置を特定することができる。 As shown in FIG. 3, a network camera 101, which is a receiving device, has a receiver 301 and multiple antennas 302 arranged at regular intervals. Also, the transmitting device, wireless device 103 , has a transmitter 303 and a single antenna 304 . The wireless device 103 uses a transmitter 303 to transmit radio waves 305 including a special direction detection signal from an antenna 304 , and the network camera 101 receives these radio waves 305 with a plurality of antennas 302 . At this time, each of the plurality of antennas 302 arranged at regular intervals receives radio waves 305 . As a result, the distances between antenna 304 and each antenna 302 are different distances, such as distance D1 and distance D2. This allows the network camera 101 to detect signals with different phases for each antenna 302 . Then, the network camera 101 acquires a modulated signal (IQ modulated signal) having an in-phase component and a quadrature phase component as radio wave phase information while switching the active antenna, and based on the IQ modulated signal, the relative Calculate the incident angle θ, which is the normal direction. The incident angle θ is calculated using the wavelength of the radio waves, the distance between the antennas, and the phase difference. Then, the network camera 101 can grasp the current orientation (imaging direction) of the network camera 101 in the three-dimensional space by performing calibration at the time of installation. Therefore, the network camera 101 can specify the relative position of the wireless device 103 as seen from the network camera 101 based on the radio wave direction from the wireless device 103 .

図４は、本実施形態によるネットワークカメラ１０１の自動追尾処理の流れを示すフローチャートである。以下、ネットワークカメラ１０１の制御方法を説明する。 FIG. 4 is a flow chart showing the flow of automatic tracking processing of the network camera 101 according to this embodiment. A method of controlling the network camera 101 will be described below.

ステップＳ４０１では、追尾システム制御部２１２－７は、自動追尾処理の動作に係る初期設定を反映する。反映する内容としては、追尾対象を被写体１０６とする、あるいは、被写体１０６と無線装置１０３を対応付ける等である。尚、初期設定の内容は、予め決められてもよいし、クライアント装置１０２からの入力に従って決められてもよい。 In step S401, the tracking system control unit 212-7 reflects the initial settings related to the operation of the automatic tracking process. Contents to be reflected include setting the subject 106 as the tracking target, or associating the subject 106 with the wireless device 103 . Note that the contents of the initial settings may be determined in advance, or may be determined according to input from the client device 102 .

ステップＳ４０２では、追尾システム制御部２１２－７は、ステップＳ４０１で反映した初期設定で、自動追尾処理を実行する。この処理の詳細の流れは、図５で説明する。 In step S402, the tracking system control unit 212-7 executes automatic tracking processing with the initial settings reflected in step S401. A detailed flow of this process will be described with reference to FIG.

ステップＳ４０３では、ＰＴＺ制御部２１２－５は、追尾システム制御部２１２－７の指示によって、ホームポジションとして予め設定した位置を、ＰＴＺ制御すべきパン方向とチルト方向とズーム方向への駆動量へと変換し、ＰＴＺ駆動する指示を出力する。尚、変換処理については、公知なため、説明を省略する。ステップＳ４０３は、ステップＳ４０２で実行する自動追尾処理が継続できなくなった場合に行われる。 In step S403, the PTZ control unit 212-5 converts the position set in advance as the home position into the driving amounts in the pan direction, tilt direction, and zoom direction to be PTZ controlled according to the instruction from the tracking system control unit 212-7. Convert and output an instruction to PTZ drive. Since the conversion process is well known, the explanation is omitted. Step S403 is performed when the automatic tracking process executed in step S402 cannot be continued.

ステップＳ４０４では、追尾システム制御部２１２－７は、自動追尾処理を継続するか否かを判断する。追尾システム制御部２１２－７は、継続する場合には、ステップＳ４０２に戻り、終了する場合には、図４のフローチャートの処理を終了する。判断方法は、クライアント装置１０２からの明示的な終了指示に基づいてもよいし、あらかじめ、終了条件を決めておいてもよい。 At step S404, the tracking system control unit 212-7 determines whether or not to continue the automatic tracking process. The tracking system control unit 212-7 returns to step S402 when continuing, and terminates the processing of the flowchart of FIG. 4 when ending. The determination method may be based on an explicit termination instruction from the client device 102, or may be determined in advance as termination conditions.

図５は、図４のステップＳ４０２の処理の詳細を示すフローチャートである。図６（ａ）～（ｈ）は、自動追尾処理時の撮影画像の画像フレーム例を示す図である。 FIG. 5 is a flow chart showing the details of the processing in step S402 of FIG. FIGS. 6A to 6H are diagrams showing image frame examples of captured images during automatic tracking processing.

ステップＳ５０１では、位置特定制御部２１２－４は、人体検出を位置特定手法として用いるように設定する。 In step S501, the position specifying control unit 212-4 sets to use human body detection as a position specifying method.

ステップＳ５０２では、電波送信間隔制御部２１２－６は、無線装置１０３からの電波の送信間隔を所定の間隔よりも長い間隔とするように、無線装置１０３に指示する。これにより、無線装置１０３の電池の消耗を軽減させることができる。 In step S502, the radio wave transmission interval control unit 212-6 instructs the radio device 103 to set the radio wave transmission interval from the radio device 103 to be longer than a predetermined interval. As a result, consumption of the battery of the wireless device 103 can be reduced.

ステップＳ５０３では、映像解析位置特定部２１２－１は、映像解析部２０８における人体検出結果を取得し、被写体１０６の位置を特定したか否かを判定する。映像解析位置特定部２１２－１は、特定した場合には、ステップＳ５０４へ進み、特定していない場合には、ステップＳ５０５へ進む。 In step S503, the video analysis position specifying unit 212-1 acquires the human body detection result in the video analysis unit 208, and determines whether or not the position of the subject 106 has been specified. The video analysis position specifying unit 212-1 proceeds to step S504 if specified, and proceeds to step S505 if not specified.

ステップＳ５０４では、ＰＴＺ制御部２１２－５は、ステップＳ５０３で特定した被写体１０６の位置に向かって、ネットワークカメラ１０１のＰＴ駆動を指示する。ここでは、被写体１０６が画角の中央位置に表示されるように、ネットワークカメラ１０１の撮影方向の変更を行う。具体的には、ＰＴＺ制御部２１２－５は、パン方向とチルト方向への駆動量を求めて、ＰＴ駆動の指示を出力するが、駆動量の求め方については公知なため、説明を省略する。また、本実施形態では、パン方向とチルト方向へ駆動するものとして説明するが、それに限らない。例えば、ＰＴＺ制御部２１２－５は、人体検出結果の人体枠のサイズに応じて、被写体１０６までの距離を推定し、必要に応じてズームを制御してもよい。また、ＰＴＺ制御部２１２－５は、ステップＳ５０４の後、ステップＳ５０３に戻る。これにより、人体検出で被写体１０６の位置を特定できている間は、人体検出に基づいて自動追尾処理を継続できる。 In step S504, the PTZ control unit 212-5 instructs PT driving of the network camera 101 toward the position of the subject 106 identified in step S503. Here, the photographing direction of the network camera 101 is changed so that the subject 106 is displayed at the central position of the angle of view. Specifically, the PTZ control unit 212-5 obtains the drive amount in the pan direction and the tilt direction, and outputs an instruction for PT drive. . Also, in the present embodiment, it is assumed that the camera is driven in the pan direction and the tilt direction, but the present invention is not limited to this. For example, the PTZ control unit 212-5 may estimate the distance to the subject 106 according to the size of the human body frame in the human body detection result, and may control the zoom as necessary. After step S504, the PTZ control unit 212-5 returns to step S503. As a result, as long as the position of the subject 106 can be identified by human body detection, automatic tracking processing can be continued based on human body detection.

ステップＳ５０５では、ロスト判定部２１２－３は、被写体１０６の追尾をロストしたか否かを判定する。ロスト判定部２１２－３は、ロストしたと判定した場合には、ステップＳ５０６に進み、ロストしていないと判定した場合には、ステップＳ５０３へ戻る。これにより、人体検出処理の結果、未検出であっても、完全に被写体１０６の位置を見失い、追尾をロストしない限りは、人体検出に基づいて自動追尾処理を継続できる。 In step S505, the lost determination unit 212-3 determines whether tracking of the subject 106 is lost. If the lost determination unit 212-3 determines that the item is lost, the process proceeds to step S506, and if it determines that the item is not lost, the process returns to step S503. As a result, even if the human body is not detected as a result of the human body detection process, the automatic tracking process can be continued based on the human body detection unless the position of the object 106 is completely lost and the tracking is not lost.

ステップＳ５０６では、位置特定制御部２１２－４は、電波を位置特定手法として用いるように設定する。このとき、人体検出処理は、ＰＴ制御するための位置特定の対象から外れるが、引き続き検出処理は継続する。 In step S506, the position identification control unit 212-4 sets to use radio waves as a method of position identification. At this time, the human body detection process is removed from the target of position specification for PT control, but the detection process continues.

ステップＳ５０７では、電波送信間隔制御部２１２－７は、無線装置１０３からの電波の送信間隔を所定の間隔よりも短い間隔とするように、無線装置１０３に指示する。これにより、ネットワークカメラ１０１は、被写体１０６の位置を逐一特定することができる。 In step S507, the radio wave transmission interval control unit 212-7 instructs the radio device 103 to set the radio wave transmission interval from the radio device 103 to be shorter than a predetermined interval. As a result, the network camera 101 can specify the position of the subject 106 one by one.

ステップＳ５０８では、電波位置特定部２１２－２は、無線装置１０３からの電波信号を無線通信処理部２１１より取得し、電波方向に基づいて、被写体１０６の位置を特定したか否かを判定する。電波位置特定部２１２－２は、特定した場合には、ステップＳ５０９へ進み、特定していない場合には、図５のフローチャートの処理を終了する。 In step S508, the radio wave position specifying unit 212-2 acquires the radio wave signal from the wireless device 103 from the wireless communication processing unit 211, and determines whether or not the position of the subject 106 has been specified based on the radio wave direction. The radio wave position specifying unit 212-2 proceeds to step S509 if specified, and terminates the processing of the flowchart in FIG. 5 if not specified.

ステップＳ５０９では、ＰＴＺ制御部２１２－５は、ステップＳ５０８で特定した位置を、ＰＴ制御すべきパン方向とチルト方向への駆動量へと変換し、ＰＴ駆動指示を出力する。尚、変換処理については公知なため、説明を省略する。また、本実施形態では、パン方向とチルト方向へ駆動するものとして説明するが、それに限らない。例えば、ＰＴＺ制御部２１２－５は、電波強度の値に応じて、無線装置１０３までの距離を推定し、必要に応じてズームを制御してもよい。以上、ネットワークカメラ１０１は、ステップＳ５０６からステップＳ５０９までの処理によって、ステップＳ５０５で追尾をロストした場合においても、自動追尾処理を継続できるようになる。 In step S509, the PTZ control unit 212-5 converts the position identified in step S508 into a drive amount in the pan direction and tilt direction to be PT controlled, and outputs a PT drive instruction. Since the conversion process is well known, the explanation is omitted. Also, in the present embodiment, it is assumed that the camera is driven in the pan direction and the tilt direction, but the present invention is not limited to this. For example, the PTZ control unit 212-5 may estimate the distance to the wireless device 103 according to the value of the radio wave intensity, and control the zoom as necessary. As described above, the network camera 101 can continue automatic tracking processing by the processing from steps S506 to S509 even when tracking is lost in step S505.

ステップＳ５１０では、ロスト判定部２１２－３は、ステップＳ５０８で電波に基づいて特定した位置を中心とした所定の矩形領域内で人体検出により人物を検出できたか否かを判定する。ロスト判定部２１２－３は、検出できていない場合には、ステップＳ５０８に戻り、引き続き、電波に基づいて自動追尾を行う。一方で、ロスト判定部２１２－３は、検出できたと判定した場合には、ステップＳ５０１に戻り、人体検出に基づいた自動追尾に変更する。 In step S510, the lost determination unit 212-3 determines whether or not a person has been detected by human body detection within a predetermined rectangular area centered on the position specified based on the radio wave in step S508. If the lost determination unit 212-3 has not been detected, the process returns to step S508, and automatic tracking is continued based on radio waves. On the other hand, when the lost determination unit 212-3 determines that the detection is successful, the process returns to step S501 and changes to automatic tracking based on human body detection.

これにより、ネットワークカメラ１０１は、電波に基づいて自動追尾処理を実行中に、映像解析により被写体１０６と思わしき人物の位置を検出した場合には、映像解析に基づいて自動追尾するように変更できる。その結果、ネットワークカメラ１０１は、前述の通り、映像解析に基づいて特定した被写体１０６の位置の方が、電波に基づいて特定した位置よりも精度向上が見込めることに加え、ステップＳ５０２によって、無線装置１０３の電池の消耗を軽減できる。 As a result, when the network camera 101 detects the position of a person who seems to be the object 106 by image analysis while performing automatic tracking processing based on radio waves, the network camera 101 can be changed to perform automatic tracking based on the image analysis. As a result, as described above, the network camera 101 expects that the position of the subject 106 specified based on the video analysis is more accurate than the position specified based on the radio waves. 103 battery consumption can be reduced.

図６（ａ）～（ｈ）は、図５のフローチャートの自動追尾処理時の画像フレームの具体例を示す図である。尚、画像フレーム６０１は、ネットワークカメラ１０１が撮影した時の撮影映像である画像フレームを示す。以下、図５の処理と関連付けて図６（ａ）～（ｈ）を説明する。 6A to 6H are diagrams showing specific examples of image frames during automatic tracking processing in the flowchart of FIG. Note that an image frame 601 indicates an image frame that is an image captured by the network camera 101 . 6A to 6H will be described below in association with the processing in FIG.

まず、図６（ａ）から図６（ｃ）を参照して、人体検出を用いて追尾する中で、追尾をロストするまでの処理について説明する。図６（ａ）は、ネットワークカメラ１０１が、人体検出を用いて、無線装置１０３を所持した被写体１０６の検出位置６０２を捉えた状態を示す。図５では、ネットワークカメラ１０１は、人体検出で被写体１０６の位置を特定し（ステップＳ５０３でＹｅｓ）、特定した位置へＰＴ駆動指示を出力し（ステップＳ５０４）、ステップＳ５０３に戻る。すなわち、ネットワークカメラ１０１は、人体検出で被写体１０６を検出できている間は、人体検出に基づく自動追尾を継続する。 First, with reference to FIGS. 6(a) to 6(c), the processing up to the loss of tracking during tracking using human body detection will be described. FIG. 6A shows a state in which the network camera 101 captures the detected position 602 of the subject 106 holding the wireless device 103 using human body detection. In FIG. 5, the network camera 101 specifies the position of the subject 106 by human body detection (Yes in step S503), outputs a PT drive instruction to the specified position (step S504), and returns to step S503. That is, the network camera 101 continues automatic tracking based on human body detection while the subject 106 can be detected by human body detection.

図６（ｂ）は、ネットワークカメラ１０１が、人体検出に時に失敗し、断片的にしか検出位置６０３を特定できないものの、ロストはしていない状態を示す。図５では、ネットワークカメラ１０１は、人体検出で被写体１０６の位置を特定できなかった場合（ステップＳ５０３でＮｏ）であっても、追尾をロストしていなければ（ステップＳ５０５でＮｏ）、ステップＳ５０３に戻る。すなわち、ネットワークカメラ１０１は、追尾をロストするまでは、人体検出に基づく自動追尾を継続する。 FIG. 6B shows a state in which the network camera 101 sometimes fails to detect a human body, and although the detection position 603 can only be partially identified, it is not lost. In FIG. 5, even if the position of the subject 106 cannot be identified by human body detection (No in step S503), if the network camera 101 does not lose tracking (No in step S505), the process proceeds to step S503. return. That is, the network camera 101 continues automatic tracking based on human body detection until tracking is lost.

図６（ｃ）は、ネットワークカメラ１０１が、被写体１０６の位置を見失い、追尾をロストした状態を示す。図５では、ネットワークカメラ１０１が、追尾をロストした場合（ステップＳ５０５でＹｅｓ）である。その結果、ネットワークカメラ１０１は、被写体１０６の位置を見失うため、被写体１０６を画角の中心に捉えるようなＰＴ制御は行えない状態になる。 FIG. 6C shows a state in which the network camera 101 has lost sight of the subject 106 and has lost tracking. In FIG. 5, the network camera 101 has lost tracking (Yes in step S505). As a result, the network camera 101 loses sight of the position of the subject 106, and therefore cannot perform PT control to capture the subject 106 at the center of the angle of view.

次に、図６（ｄ）および図６（ｅ）を参照して、追尾をロストした際に、電波を用いて追尾を継続する処理について説明する。図６（ｄ）は、ネットワークカメラ１０１が、電波を無線装置１０３から取得し、電波方向を特定することで、電波位置６０４を捉えた状態を示す。また、図６（ｅ）は、ネットワークカメラ１０１が、電波位置６０４が画角の中心になるように、ＰＴ駆動させた結果の状態を示す。図５では、ネットワークカメラ１０１は、電波に基づいて被写体１０６の位置を特定した場合（ステップＳ５０８でＹｅｓ）、電波方向によって特定した位置へＰＴ駆動指示を出力する（ステップＳ５０９）ことで、被写体１０６を画角の中心に収めることができる。 Next, with reference to FIGS. 6(d) and 6(e), processing for continuing tracking using radio waves when tracking is lost will be described. FIG. 6D shows a state in which the network camera 101 acquires radio waves from the wireless device 103, identifies the direction of the radio waves, and captures the position 604 of the radio waves. FIG. 6(e) shows a state resulting from PT driving of the network camera 101 so that the radio wave position 604 is at the center of the angle of view. In FIG. 5, when the position of the subject 106 is specified based on the radio waves (Yes in step S508), the network camera 101 outputs a PT drive instruction to the position specified by the direction of the radio waves (step S509). can be placed in the center of the angle of view.

最後に、図６（ｆ）から図６（ｈ）を参照して、電波を用いて追尾中に、人体検出を用いた追尾処理に戻す処理について説明する。図６（ｆ）は、ネットワークカメラ１０１が、電波を用いた自動追尾中に、人物検出結果として検出位置６０６を捉えた状態を示す。検出位置６０６は、所定領域６０５の外で検出された状態を示す。図５では、ネットワークカメラ１０１は、電波に基づいた自動追尾中に、所定領域内で人体検出できなかった（ステップＳ５１０でＮｏ）ために、ステップＳ５０８に戻る。その場合、ネットワークカメラ１０１は、引き続き、電波に基づいて被写体１０６の位置を捉えて、被写体１０６の動きにあわせてＰＴ駆動を行う。 Finally, referring to FIGS. 6(f) to 6(h), the process of returning to the tracking process using human body detection during tracking using radio waves will be described. FIG. 6F shows a state in which the network camera 101 captures a detection position 606 as a human detection result during automatic tracking using radio waves. A detection position 606 indicates a state detected outside the predetermined area 605 . In FIG. 5, the network camera 101 cannot detect a human body within the predetermined area during automatic tracking based on radio waves (No in step S510), so the process returns to step S508. In this case, the network camera 101 continues to capture the position of the subject 106 based on radio waves, and performs PT driving in accordance with the movement of the subject 106 .

図６（ｇ）は、ネットワークカメラ１０１が、所定領域６０５内で人体検出結果として検出位置６０７を捉えた状態を示す、また、図６（ｈ）は、ネットワークカメラ１０１が、図６（ｇ）の結果、位置特定手法を人体検出に戻した状態を示す。図５では、ネットワークカメラ１０１は、電波に基づいた自動追尾中に、所定領域内で人体検出処理によって被写体１０６を検出できた（ステップＳ５１０でＹｅｓ）ために、ステップＳ５０１に戻り、人体検出を自動追尾に用いる位置特定手法として設定する。さらには、ネットワークカメラ１０１は、ステップＳ５０２で電波の送信間隔を所定間隔よりも長くするように変更することで、無線装置１０３の電池の消耗を軽減できる。 FIG. 6(g) shows a state in which the network camera 101 captures the detected position 607 as the human body detection result within the predetermined area 605. FIG. 6(h) shows a state in which the network camera 101 captures As a result, the position specifying method is returned to human body detection. In FIG. 5, since the network camera 101 was able to detect the subject 106 by the human body detection processing within the predetermined area during the automatic tracking based on radio waves (Yes in step S510), the process returns to step S501 to automatically detect the human body. It is set as the position identification method used for tracking. Furthermore, the network camera 101 can reduce battery consumption of the wireless device 103 by changing the radio wave transmission interval to be longer than a predetermined interval in step S502.

以上のように、ネットワークカメラ１０１は、パンとチルトとズームの駆動が可能であり、被写体１０６が所持した無線装置１０３との間で通信可能な撮像装置である。映像解析位置特定部２１２－１は、ネットワークカメラ１０１の撮像部２０１により得られる画像データに対して映像解析することで、ネットワークカメラ１０１に対する被写体１０６の相対位置を特定する。電波位置特定部２１２－２は、無線装置１０３から受信した電波の飛来方向に基づいて、ネットワークカメラ１０１に対する被写体１０６の相対位置を特定する。 As described above, the network camera 101 is an imaging device capable of panning, tilting, and zooming and communicating with the wireless device 103 possessed by the subject 106 . Video analysis position specifying unit 212 - 1 specifies the relative position of subject 106 with respect to network camera 101 by performing video analysis on image data obtained by imaging unit 201 of network camera 101 . Radio wave position identifying section 212 - 2 identifies the relative position of object 106 with respect to network camera 101 based on the direction of radio wave received from wireless device 103 .

ステップＳ５０５では、ロスト判定部２１２－３は、映像解析位置特定部２１２－１を用いて被写体１０６を追尾した結果、被写体１０６の追尾に失敗したか否かを判定する。位置特定制御部２１２－４は、ロスト判定部２１２－３の判定結果に基づいて、映像解析位置特定部２１２－１および電波位置特定部２１２－２のうちのいずれか一方を実行する。ステップＳ５０６は、ロスト判定部２１２－３において、映像解析位置特定部２１２－１を用いた追尾に失敗したと判定した場合の処理である。その場合、ステップＳ５０６では、位置特定制御部２１２－４は、映像解析位置特定部２１２－１から電波位置特定部２１２－２に切り替えて被写体１０６の追尾を行うように制御する。 In step S505, the lost determination unit 212-3 determines whether tracking of the object 106 has failed as a result of tracking the object 106 using the video analysis position specifying unit 212-1. Position specifying control section 212-4 executes either one of video analysis position specifying section 212-1 and radio wave position specifying section 212-2 based on the determination result of lost determination section 212-3. Step S506 is processing when the lost determination unit 212-3 determines that tracking using the video analysis position specifying unit 212-1 has failed. In this case, in step S506, the position specifying control unit 212-4 switches from the video analysis position specifying unit 212-1 to the radio wave position specifying unit 212-2 and performs control to track the subject .

ステップＳ５０４では、ＰＴＺ制御部２１２－５は、映像解析位置特定部２１２－１で特定した位置へパン、チルトまたはズーム駆動の制御を行う。ステップＳ５０９では、ＰＴＺ制御部２１２－５は、電波位置特定部２１２－２で特定した位置へパン、チルトまたはズーム駆動の制御を行う。 In step S504, the PTZ control unit 212-5 controls panning, tilting, or zooming to the position specified by the video analysis position specifying unit 212-1. In step S509, the PTZ control unit 212-5 controls panning, tilting, or zooming to the position specified by the radio wave position specifying unit 212-2.

ステップＳ５１０では、位置特定制御部２１２－４は、電波位置特定部２１２－２を用いて被写体１０６を追尾中に、映像解析位置特定部２１２－１で被写体１０６の位置を特定した場合には、ステップＳ５０１に戻る。具体的には、ステップＳ５１０では、位置特定制御部２１２－４は、上記の追尾中に、電波位置特定部２１２－４で特定した位置を中心とした所定領域の内側で、映像解析位置特定部２１２－１で被写体１０６の位置を特定した場合には、ステップＳ５０１に戻る。ステップＳ５０１では、位置特定制御部２１２－４は、電波位置特定部２１２－２から映像解析位置特定部２１２－１に切り替えて被写体１０６の追尾を行うように制御する。 In step S510, when the position identification control unit 212-4 identifies the position of the subject 106 with the video analysis position identification unit 212-1 while the radio wave position identification unit 212-2 is tracking the subject 106, Return to step S501. Specifically, in step S510, the position identification control unit 212-4, during the above-described tracking, causes the video analysis position identification unit If the position of the object 106 is specified in 212-1, the process returns to step S501. In step S501, the position specifying control unit 212-4 controls so that the radio wave position specifying unit 212-2 is switched to the video analysis position specifying unit 212-1 to track the object .

また、ステップＳ５１０では、位置特定制御部２１２－４は、上記の追尾中に、電波位置特定部２１２－２で特定した位置を中心とした所定領域の外側で、映像解析位置特定部２１２－１で被写体１０６の位置を特定した場合には、ステップＳ５０８に戻る。その場合、位置特定制御部２１２－４は、電波位置特定部２１２－２から映像解析位置特定部２１２－１に切り替えないように制御する。 Further, in step S510, the position identification control unit 212-4 moves the video analysis position identification unit 212-1 outside the predetermined area centered on the position identified by the radio wave location identification unit 212-2 during the above tracking. If the position of the subject 106 is identified in step S508, the process returns to step S508. In that case, the position specifying control section 212-4 controls not to switch from the radio wave position specifying section 212-2 to the video analysis position specifying section 212-1.

ステップＳ５０２およびＳ５０７では、電波送信間隔制御部２１２－６は、無線装置１０３がネットワークカメラ１０１へ電波を送信する送信間隔を制御する。電波送信間隔制御部２１２－６は、映像解析位置特定部２１２－１を用いて被写体１０６を追尾する場合と、電波位置特定部２１２－２を用いて被写体１０６を追尾する場合とで、上記の電波の送信間隔が異なるように、電波の送信間隔を制御する。電波送信間隔制御部２１２－６は、映像解析位置特定部２１２－１を用いて被写体１０６を追尾する場合の電波の送信間隔が、電波位置特定部２１２－２を用いて被写体１０６を追尾する場合の電波の送信間隔よりも長くなるように、電波の送信間隔を制御する。 In steps S502 and S507, the radio wave transmission interval control unit 212-6 controls the transmission interval at which the wireless device 103 transmits radio waves to the network camera 101. FIG. Radio wave transmission interval control unit 212-6 performs the above-described To control the transmission intervals of radio waves so that the transmission intervals of radio waves are different. The radio wave transmission interval control unit 212-6 controls the radio wave transmission interval when tracking the subject 106 using the video analysis position specifying unit 212-1, when tracking the subject 106 using the radio wave position specifying unit 212-2. The radio wave transmission interval is controlled so as to be longer than the radio wave transmission interval of .

以上、本実施形態によれば、ネットワークカメラ１０１は、映像解析に基づいて自動追尾中に、追尾をロストした場合でも、被写体１０６が有する無線装置１０３からの電波方向に基づいて、被写体１０６の位置を特定することが可能になる。これにより、ネットワークカメラ１０１は、撮影環境の影響を受けにくく、安定して自動追尾を継続することができ、自動追尾機能の性能を向上させることができる。また、ネットワークカメラ１０１は、追尾をロストした場合に、ホームポジションに戻らず、被写体１０６のいる方向を撮影し続けることで、映像解析で被写体１０６を再検出できる状況になった場合に、被写体１０６と同一の人物の検出しやすくなる。 As described above, according to the present embodiment, network camera 101 can detect the position of subject 106 based on the direction of radio waves from wireless device 103 possessed by subject 106 even when tracking is lost during automatic tracking based on video analysis. can be specified. As a result, the network camera 101 can stably continue automatic tracking without being affected by the shooting environment, and the performance of the automatic tracking function can be improved. Further, if the network camera 101 loses tracking, it does not return to the home position, but continues to shoot in the direction in which the subject 106 is present. It becomes easier to detect the same person as

また、ネットワークカメラ１０１は、電波に基づいて自動追尾中に、現在の被写体１０６の位置を中心とした所定領域内で人体検出できた場合に限り、人体検出に基づいて自動追尾できるように制御すると述べた。その結果、ネットワークカメラ１０１は、被写体１０６と同一人物の可能性が高い人物を検知した場合に、人体検出に基づく位置特定に変更することで、被写体１０６に対する位置特定の精度の向上を見込める。その際、ネットワークカメラ１０１は、電波の送信間隔を所定の間隔よりも長い間隔にすることで、無線装置１０３の電池の消耗も軽減できる。尚、人体検出した人物が被写体１０６と同一人物かを判断する方法は、上記に限らない。例えば、ネットワークカメラ１０１に顔認証機能が備わっていた場合には、ネットワークカメラ１０１は、領域で制限せず、顔認証の結果で判断してもよい。すなわち、ネットワークカメラ１０１は、人体検出した結果、その人物の顔が被写体１０６と同一人物であると認証されれば、ステップＳ５０１へ遷移してもよい。 Further, the network camera 101 is controlled so that automatic tracking based on human body detection can be performed only when a human body can be detected within a predetermined area around the current position of the subject 106 during automatic tracking based on radio waves. Stated. As a result, when the network camera 101 detects a person who is highly likely to be the same person as the subject 106, it is expected to improve the accuracy of position specification for the subject 106 by changing to position specification based on human body detection. At this time, the network camera 101 can reduce battery consumption of the wireless device 103 by setting the radio wave transmission interval to be longer than a predetermined interval. Note that the method for determining whether the person detected as a human body is the same person as the subject 106 is not limited to the above. For example, if the network camera 101 has a face authentication function, the network camera 101 may not be limited by area and may make a determination based on the result of face authentication. That is, if the network camera 101 detects that the person's face is the same as that of the subject 106 as a result of human body detection, the network camera 101 may transition to step S501.

また、ネットワークカメラ１０１は、ステップＳ５０８において、電波方向に基づいて被写体１０６の位置を特定できなかった場合には、すぐに自動追尾処理を終了し、ステップＳ４０３において、ホームポジションに戻るものとして説明したが、それに限らない。例えば、ネットワークカメラ１０１は、ステップＳ５０８で被写体１０６の位置を特定できなかった場合でも、所定回数、ステップＳ５０８に戻って実行するようにしてもよいし、しばらく時間をあけてからステップＳ５０８を実行してもよい。 Further, in step S508, if the position of subject 106 cannot be specified based on the radio wave direction, network camera 101 immediately ends the automatic tracking process, and returns to the home position in step S403. However, it is not limited to that. For example, even if the position of the subject 106 cannot be identified in step S508, the network camera 101 may return to step S508 a predetermined number of times, or execute step S508 after a while. may

さらに、本実施形態で用いる無線通信規格は、Ｂｌｕｅｔｏｏｔｈ（登録商標）のバージョン５．１を用いると説明したが、方向検知機能が動作すれば、バージョンは問わない。すなわち、Ｂｌｕｅｔｏｏｔｈ（登録商標）のバージョン５．２以降であっても、バージョン５．１の方向検知機能が踏襲されていれば、本実施形態を実施する無線通信規格としては条件を満たす。あるいは、Ｂｌｕｅｔｏｏｔｈ（登録商標）に限らず、電波の方向を検知できる無線通信プロトコルであれば、代用可能である。 Furthermore, although it has been described that the wireless communication standard used in the present embodiment uses version 5.1 of Bluetooth (registered trademark), any version can be used as long as the direction detection function operates. That is, even if the Bluetooth (registered trademark) is version 5.2 or later, if the direction detection function of version 5.1 is followed, it satisfies the conditions as a wireless communication standard for carrying out the present embodiment. Alternatively, any wireless communication protocol capable of detecting the direction of radio waves can be used instead of Bluetooth (registered trademark).

（その他の実施形態）
本開示は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。 (Other embodiments)
The present disclosure provides a program that implements one or more functions of the above-described embodiments to a system or device via a network or a storage medium, and one or more processors in a computer of the system or device reads and executes the program. It can also be realized by processing to It can also be implemented by a circuit (for example, ASIC) that implements one or more functions.

以上、本実施形態について説明したが、本開示はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。 Although the embodiments have been described above, the present disclosure is not limited to these embodiments, and various modifications and changes are possible within the scope of the gist.

１０１：ネットワークカメラ、１０２：クライアント装置、１０３：無線装置、１０４：ネットワーク、１０５：無線ネットワーク、２０１：撮像部、２０２：レンズ制御部、２０３：雲台、２０４：Ａ／Ｄ変換部、２０５：カメラ信号処理部、２０６：記憶部、２０７：バス、２０８：映像解析部、２０９：圧縮伸長部、２１０：有線通信処理部、２１１：無線通信処理部、２１２：ＣＰＵ（中央演算処理装置） 101: network camera, 102: client device, 103: wireless device, 104: network, 105: wireless network, 201: imaging unit, 202: lens control unit, 203: platform, 204: A/D conversion unit, 205: Camera signal processing unit, 206: storage unit, 207: bus, 208: video analysis unit, 209: compression/decompression unit, 210: wired communication processing unit, 211: wireless communication processing unit, 212: CPU (central processing unit)

Claims (8)

パンとチルトとズームの駆動が可能であり、被写体が所持した無線装置との間で通信可能な撮像装置であって、
前記撮像装置の撮像手段により得られる画像データに対して映像解析することで、前記撮像装置に対する被写体の相対位置を特定する第１の特定手段と、
前記無線装置から受信した電波の飛来方向に基づいて、前記撮像装置に対する被写体の相対位置を特定する第２の特定手段と、
前記第１の特定手段を用いて前記被写体を追尾した結果、前記被写体の追尾に失敗したか否かを判定する判定手段と、
前記判定手段の判定結果に基づいて、前記第１の特定手段および前記第２の特定手段のうちのいずれか一方を実行する位置特定制御手段と、
前記第１の特定手段または前記第２の特定手段で特定した位置へパン、チルトまたはズーム駆動の制御を行うＰＴＺ制御手段とを有し、
前記位置特定制御手段は、前記判定手段において、前記第１の特定手段を用いた追尾に失敗したと判定した場合には、前記第１の特定手段から前記第２の特定手段に切り替えて前記被写体の追尾を行うように制御することを特徴とする撮像装置。 An imaging device capable of driving pan, tilt, and zoom, and capable of communicating with a wireless device possessed by a subject,
a first identifying means for identifying the relative position of a subject with respect to the imaging device by performing image analysis on image data obtained by the imaging means of the imaging device;
a second identifying means for identifying the relative position of the subject with respect to the imaging device based on the direction of radio waves received from the wireless device;
determination means for determining whether or not tracking of the subject has failed as a result of tracking the subject using the first specifying means;
position specifying control means for executing either one of the first specifying means and the second specifying means based on the determination result of the determining means;
PTZ control means for controlling pan, tilt or zoom drive to the position specified by the first specifying means or the second specifying means;
When the determination means determines that tracking using the first determination means has failed, the position determination control means switches from the first determination means to the second determination means to determine the position of the subject. An imaging device characterized in that it is controlled to track. 前記位置特定制御手段は、前記第２の特定手段を用いて前記被写体を追尾中に、前記第１の特定手段で前記被写体の位置を特定した場合には、前記第２の特定手段から前記第１の特定手段に切り替えて前記被写体の追尾を行うように制御することを特徴とする請求項１に記載の撮像装置。 The position specifying control means, when the position of the subject is specified by the first specifying means while the subject is being tracked using the second specifying means, is controlled by the second specifying means. 2. The image pickup apparatus according to claim 1, wherein control is performed to track the subject by switching to one specifying means. 前記位置特定制御手段は、前記第２の特定手段を用いて前記被写体を追尾中に、前記第２の特定手段で特定した位置を中心とした所定領域の内側で、前記第１の特定手段で前記被写体の位置を特定した場合には、前記第２の特定手段から前記第１の特定手段に切り替えて前記被写体の追尾を行うように制御することを特徴とする請求項１または２に記載の撮像装置。 The position specifying control means is configured to, while tracking the subject using the second specifying means, inside a predetermined area centered on the position specified by the second specifying means, with the first specifying means. 3. The apparatus according to claim 1, wherein when the position of said subject is specified, said second specifying means is switched to said first specifying means and said subject is tracked. Imaging device. 前記位置特定制御手段は、前記第２の特定手段を用いて前記被写体を追尾中に、前記第２の特定手段で特定した位置を中心とした所定領域の外側で、前記第１の特定手段で前記被写体の位置を特定した場合には、前記第２の特定手段から前記第１の特定手段に切り替えないように制御することを特徴とする請求項３に記載の撮像装置。 The position specifying control means, while tracking the subject using the second specifying means, outside a predetermined area centered on the position specified by the second specifying means, with the first specifying means. 4. The imaging apparatus according to claim 3, wherein when the position of the subject is specified, control is performed so as not to switch from the second specifying means to the first specifying means. 前記第１の特定手段を用いて前記被写体を追尾する場合と、前記第２の特定手段を用いて前記被写体を追尾する場合とで、前記無線装置が前記撮像装置へ電波を送信する送信間隔が異なるように、前記電波の送信間隔を制御する電波送信間隔制御手段をさらに有することを特徴とする請求項１～４のいずれか１項に記載の撮像装置。 When the subject is tracked using the first identifying means and when the subject is tracked using the second identifying means, transmission intervals at which the wireless device transmits radio waves to the imaging device are different. 5. The imaging apparatus according to any one of claims 1 to 4, further comprising radio wave transmission interval control means for controlling transmission intervals of said radio waves differently. 前記電波送信間隔制御手段は、前記第１の特定手段を用いて前記被写体を追尾する場合の電波の送信間隔が、前記第２の特定手段を用いて前記被写体を追尾する場合の電波の送信間隔よりも長くなるように、前記電波の送信間隔を制御することを特徴とする請求項５に記載の撮像装置。 The radio wave transmission interval control means sets the radio wave transmission interval when tracking the subject using the first specifying means to be the radio wave transmission interval when tracking the subject using the second specifying means. 6. The imaging apparatus according to claim 5, wherein the transmission interval of the radio waves is controlled so as to be longer than . パンとチルトとズームの駆動が可能であり、被写体が所持した無線装置との間で通信可能な撮像装置の制御方法であって、
前記撮像装置の撮像手段により得られる画像データに対して映像解析することで、前記撮像装置に対する被写体の相対位置を特定する第１の特定ステップと、
前記無線装置から受信した電波の飛来方向に基づいて、前記撮像装置に対する被写体の相対位置を特定する第２の特定ステップと、
前記第１の特定ステップを用いて前記被写体を追尾した結果、前記被写体の追尾に失敗したか否かを判定する判定ステップと、
前記判定ステップの判定結果に基づいて、前記第１の特定ステップおよび前記第２の特定ステップのうちのいずれか一方を実行する位置特定制御ステップと、
前記第１の特定ステップまたは前記第２の特定ステップで特定した位置へパン、チルトまたはズーム駆動の制御を行うＰＴＺ制御ステップとを有し、
前記位置特定制御ステップでは、前記判定ステップにおいて、前記第１の特定ステップを用いた追尾に失敗したと判定した場合には、前記第１の特定ステップから前記第２の特定ステップに切り替えて前記被写体の追尾を行うように制御することを特徴とする撮像装置の制御方法。 A control method for an imaging device capable of driving pan, tilt, and zoom, and capable of communicating with a wireless device possessed by a subject, comprising:
a first specifying step of specifying a relative position of a subject with respect to the imaging device by performing image analysis on image data obtained by imaging means of the imaging device;
a second identifying step of identifying the relative position of the subject with respect to the imaging device based on the direction of radio waves received from the wireless device;
a determination step of determining whether or not tracking of the subject has failed as a result of tracking the subject using the first identifying step;
a position specifying control step of executing either one of the first specifying step and the second specifying step based on the determination result of the determining step;
a PTZ control step of controlling pan, tilt or zoom drive to the position specified in the first specifying step or the second specifying step;
In the position specifying control step, when it is determined in the determining step that tracking using the first specifying step has failed, the first specifying step is switched to the second specifying step, and the subject is A control method for an imaging device, characterized by controlling so as to track the . コンピュータを、請求項１～６のいずれか１項に記載された撮像装置の各手段として機能させるためのプログラム。 A program for causing a computer to function as each means of the imaging apparatus according to any one of claims 1 to 6.

Images