JP7374692B2 - Imaging device, imaging device control method, and program - Google Patents

Imaging device, imaging device control method, and program Download PDF

Info

Publication number
JP7374692B2
JP7374692B2 JP2019180967A JP2019180967A JP7374692B2 JP 7374692 B2 JP7374692 B2 JP 7374692B2 JP 2019180967 A JP2019180967 A JP 2019180967A JP 2019180967 A JP2019180967 A JP 2019180967A JP 7374692 B2 JP7374692 B2 JP 7374692B2
Authority
JP
Japan
Prior art keywords
imaging
sensor device
sensor
person
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019180967A
Other languages
Japanese (ja)
Other versions
JP2021057835A (en
Inventor
敬介 松岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2019180967A priority Critical patent/JP7374692B2/en
Publication of JP2021057835A publication Critical patent/JP2021057835A/en
Application granted granted Critical
Publication of JP7374692B2 publication Critical patent/JP7374692B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Accessories Of Cameras (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は、撮像装置、撮像装置の制御方法、およびプログラムに関する。 The present invention relates to an imaging device, a method of controlling the imaging device, and a program.

IoT(Internet of Things)が普及するにつれて、センシング機能を有した無線通信機器(以降、センサデバイス)からセンサデータを収集するようなネットワークが構築されるようになってきた。IoT向けの無線通信規格としては、Z-WaveやZigBeeが存在し、用途に応じて使い分けられる(Z-Wave、およびZigBeeは登録商標)。 As the Internet of Things (IoT) has become widespread, networks have been constructed that collect sensor data from wireless communication devices (hereinafter referred to as sensor devices) having sensing functions. Z-Wave and ZigBee exist as wireless communication standards for IoT, and can be used depending on the purpose (Z-Wave and ZigBee are registered trademarks).

また、近年、ビルや工場といった設備室で、カメラと複数のセンサデバイスを設置し、カメラでセンサデータを収集して空間内を監視するような需要が増えてきている。 In addition, in recent years, there has been an increasing demand for cameras and multiple sensor devices to be installed in equipment rooms such as buildings and factories, and for monitoring the space by collecting sensor data with the cameras.

センサデバイスが出力するセンサデータの異変値を検知した時に、そのセンサデバイスの設置位置周辺をカメラで撮影することで、管理者は、遠隔地より現場を視認でき、その結果、省人化や作業効率化につながると期待されている。 When an abnormal value is detected in the sensor data output by a sensor device, a camera takes a picture of the area around the sensor device's installation location, allowing administrators to visually check the site from a remote location, resulting in labor savings and work efficiency. It is expected that this will lead to increased efficiency.

センサデバイスの設置位置周辺を撮影するためには、カメラから見たセンサデバイスの設置位置を予め登録しておく必要がある。しかし、カメラの映像を見ながら手動で各センサデバイスの設置位置を登録する方法では、ユーザの作業負担が大きい。特に、センサデバイスの数が増えるに従い負担が増大する。そのため、センサデバイスの設置位置を簡易的に特定し登録する方法が求められている。 In order to photograph the area around the installation position of the sensor device, it is necessary to register the installation position of the sensor device as seen from the camera in advance. However, the method of manually registering the installation position of each sensor device while viewing camera images imposes a heavy workload on the user. In particular, as the number of sensor devices increases, the burden increases. Therefore, there is a need for a method for easily specifying and registering the installation position of a sensor device.

特許文献1には、各センサデバイスにLED等の発光装置を取り付けた上で、起動時に発光するように制御する。そして、センサデバイスが起動したことをPC経由でカメラに伝え、発光箇所を撮影することで、センサデバイスの設置位置を特定することが開示されている。 In Patent Document 1, a light emitting device such as an LED is attached to each sensor device, and the sensor device is controlled to emit light at the time of startup. It is also disclosed that the installation position of the sensor device can be specified by notifying the camera via the PC that the sensor device has been activated and photographing the light emitting location.

特開2007-233619号公報Japanese Patent Application Publication No. 2007-233619

しかしながら、特許文献1に記載の技術を用いる場合、発光装置を有しないセンサデバイスについてはLED等の発光装置を取り付け、起動信号と連動して発光装置を発光させる制御が必要である。そのため、センサデバイスに対して改造が必要であり、手間がかかるという課題があった。 However, when using the technique described in Patent Document 1, it is necessary to attach a light emitting device such as an LED to a sensor device that does not have a light emitting device, and to control the light emitting device to emit light in conjunction with a start signal. Therefore, there was a problem in that the sensor device required modification, which was time-consuming.

本発明は、センサデバイスに特別な制御を加えることなく、センサデバイスに対応づける撮像手段の撮像方向、またはズーム値の少なくともいずれか一方を決定可能な仕組みを提供することを目的とする。 An object of the present invention is to provide a mechanism that can determine at least one of the imaging direction and zoom value of an imaging means associated with a sensor device without applying special control to the sensor device.

本発明は、センサデバイスと接続可能な撮像装置であって、撮像手段と、前記センサデバイスから、所定の情報を取得する取得手段と、前記撮像手段により撮像することで得られる画像データに映る人物の位置を特定する特定手段と、前記取得手段により前記所定の情報を取得した後に前記特定手段により特定した人物の位置の情報を用いて、前記センサデバイスに対応づける前記撮像手段の撮像方向、またはズーム値の少なくともいずれか一方を決定する決定手段と、前記決定手段により決定された前記撮像手段の撮像方向、またはズーム値を前記センサデバイスの情報と対応づけて登録する登録手段とを備え、前記所定の情報は、前記センサデバイスのペアリングの要求の情報、前記センサデバイスの通信開始を示す情報、及び、前記センサデバイスが起動したことを示す情報の内の少なくともいずれかを含む。 The present invention is an imaging device connectable to a sensor device, comprising an imaging means, an acquisition means for acquiring predetermined information from the sensor device, and a person appearing in image data obtained by imaging with the imaging means. and an imaging direction of the imaging means that is associated with the sensor device using information on the position of the person identified by the identification means after acquiring the predetermined information by the acquisition means; comprising determining means for determining at least one of the zoom values, and registration means for registering the imaging direction of the imaging means determined by the determining means or the zoom value in association with information on the sensor device, The predetermined information includes at least one of information on a request for pairing of the sensor device, information indicating the start of communication between the sensor device, and information indicating that the sensor device has been activated.

本発明によれば、センサデバイスに特別な制御を加えることなく、センサデバイスに対応づける撮像手段の撮像方向、またはズーム値の少なくともいずれか一方を決定することができる。 According to the present invention, at least one of the imaging direction and the zoom value of the imaging means associated with the sensor device can be determined without applying any special control to the sensor device.

本発明の一実施形態におけるシステム構成図System configuration diagram in an embodiment of the present invention 本発明の一実施形態における機能ブロック図Functional block diagram in one embodiment of the present invention 本発明の一実施形態における処理の流れを示すフローチャートFlowchart showing the flow of processing in an embodiment of the present invention 本発明の一実施形態における登録要求時の操作を示す図A diagram showing operations at the time of a registration request in an embodiment of the present invention 本発明の一実施形態におけるセンサの位置情報を管理するテーブルの一例を示す図A diagram showing an example of a table for managing sensor position information in an embodiment of the present invention 本発明の一実施形態における処理の流れを示すフローチャートFlowchart showing the flow of processing in an embodiment of the present invention 本発明の一実施形態におけるユーザ選択処理時の選択画面を示す図A diagram showing a selection screen during user selection processing in an embodiment of the present invention 本発明の一実施形態における処理の流れを示すフローチャートFlowchart showing the flow of processing in an embodiment of the present invention 本発明の一実施形態における補正処理時の画面を示す図A diagram showing a screen during correction processing in an embodiment of the present invention 本発明の一実施形態における処理の流れを示すフローチャートFlowchart showing the flow of processing in an embodiment of the present invention 本発明の一実施形態におけるセンサの移動を監視する処理の概念図Conceptual diagram of processing for monitoring sensor movement in an embodiment of the present invention 各実施形態の各機能を実現するためのハードウェア構成を示す図Diagram showing the hardware configuration for realizing each function of each embodiment

以下、本発明の実施形態について、図面を参照しながら説明する。尚、以下の実施形態は特許請求の範囲に関る本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。なお、同一な構成については、同じ符号を付して説明する。 Embodiments of the present invention will be described below with reference to the drawings. It should be noted that the following embodiments do not limit the present invention related to the claims, and all combinations of features described in the present embodiments are not essential to the solution of the present invention. Not exclusively. Note that the same components will be described with the same reference numerals.

(実施形態1)
図1は、本実施形態におけるシステム構成の一例を示す図である。システム構成は主にネットワークカメラ101、クライアント装置102、センサデバイス103を含み、ネットワーク104と無線ネットワーク105によって構成される。
(Embodiment 1)
FIG. 1 is a diagram showing an example of a system configuration in this embodiment. The system configuration mainly includes a network camera 101, a client device 102, a sensor device 103, and is configured by a network 104 and a wireless network 105.

ネットワークカメラ101は、有線または無線のネットワークを介して、映像配信や、外部装置からのネットワークカメラ101の制御が可能である。また、ネットワークカメラ101は、無線ネットワーク105を介してセンサデバイス103と接続可能である。 The network camera 101 is capable of video distribution and control of the network camera 101 from an external device via a wired or wireless network. Further, the network camera 101 can be connected to the sensor device 103 via the wireless network 105.

クライアント装置102は、ネットワーク104を介してネットワークカメラ101と接続されており、ブラウザによってネットワークカメラ101の情報の出力や、ネットワークカメラ101の制御を行う。 The client device 102 is connected to the network camera 101 via the network 104, and outputs information about the network camera 101 and controls the network camera 101 using a browser.

センサデバイス103は、無線ネットワーク105を介してネットワークカメラ101と接続される。センサデバイス103は、無線通信規格で規定されたプロファイルを使用して、温度や湿度といった数値データ、もしくはデバイスを制御するためのON、OFFの情報などの送受信が可能である。尚、センサデバイス103は、1台に限らず、複数台設置されていても良い。 Sensor device 103 is connected to network camera 101 via wireless network 105. The sensor device 103 is capable of transmitting and receiving numerical data such as temperature and humidity, or ON/OFF information for controlling the device, using a profile defined by a wireless communication standard. Note that the number of sensor devices 103 is not limited to one, and a plurality of sensor devices may be installed.

ネットワーク104は、ネットワークカメラ101によって撮影された映像を外部の録画サーバーなどへ配信するためのネットワークである。本実施例において、ネットワーク104の通信形態は有線LANとするが、無線LANであってもよい。 The network 104 is a network for distributing video captured by the network camera 101 to an external recording server or the like. In this embodiment, the communication form of the network 104 is a wired LAN, but it may be a wireless LAN.

無線ネットワーク105は、Z-Wave、Zigbee等の無線通信規格に則って、ネットワークカメラ101とセンサデバイス103の相互通信を可能にする。相互通信を行うためには、ネットワークカメラ101とセンサデバイス103の間で、事前に機器の登録処理(ペアリング)を行う必要がある。登録処理は、ネットワークカメラ101側で、センサデバイス103の登録を要請する通信メッセージ(以降、登録要求)を受けとることで開始される。 The wireless network 105 enables mutual communication between the network camera 101 and the sensor device 103 in accordance with wireless communication standards such as Z-Wave and Zigbee. In order to perform mutual communication, it is necessary to perform device registration processing (pairing) between the network camera 101 and the sensor device 103 in advance. The registration process starts when the network camera 101 side receives a communication message requesting registration of the sensor device 103 (hereinafter referred to as a registration request).

図2は、本実施形態におけるネットワークカメラ101及びクライアント装置102の機能構成の一例を示すブロック図である。 FIG. 2 is a block diagram showing an example of the functional configuration of the network camera 101 and client device 102 in this embodiment.

ネットワークカメラ101は、撮像部201、画像処理部202、システム制御部203、パン・チルト・ズーム制御部204、画像解析部205、記憶部206、無線通信処理部207、有線通信処理部208を備える。以下、ネットワークカメラ101が備える各機能部について説明する。 The network camera 101 includes an imaging section 201, an image processing section 202, a system control section 203, a pan/tilt/zoom control section 204, an image analysis section 205, a storage section 206, a wireless communication processing section 207, and a wired communication processing section 208. . Each functional unit included in the network camera 101 will be described below.

撮像部201は、レンズ及び撮像素子から構成され、被写体の撮像及び電気信号への変換を行う。 The imaging unit 201 includes a lens and an image sensor, and performs imaging of a subject and converting the image into an electrical signal.

画像処理部202は、撮像部201によって変換された電気信号に画像処理、圧縮符号化処理を行い、画像データを生成し、システム制御部203へ伝達する。 The image processing unit 202 performs image processing and compression encoding processing on the electrical signal converted by the imaging unit 201, generates image data, and transmits the image data to the system control unit 203.

システム制御部203は、有線通信処理部208を介して、生成された画像データをクライアント装置102に配信する。また、有線通信処理部208を介して伝達されたカメラ制御コマンドを解析し、コマンドに応じた処理を行う。例えば、画像処理部202に対して画質調整の設定や、パン・チルト・ズーム制御部204に対してパン・チルト・ズーム動作の設定といった撮影パラメータ設定の指示を行う。更に、カメラ内部パラメータの変化を検知し、検知動作をイベントトリガーとした処理を行う。 The system control unit 203 delivers the generated image data to the client device 102 via the wired communication processing unit 208. It also analyzes camera control commands transmitted via the wired communication processing unit 208 and performs processing according to the commands. For example, it instructs the image processing unit 202 to set image quality adjustment, and the pan/tilt/zoom control unit 204 to set shooting parameters such as settings for pan/tilt/zoom operations. Furthermore, changes in camera internal parameters are detected and processing is performed using the detection operation as an event trigger.

また、システム制御部203は、センサデバイス103が出力するセンサデータが異変値を示した場合、後述する管理テーブル503に従い、センサデバイス103に対応する位置にカメラの撮像方向を変更するようパン・チルト・ズーム制御部204に指示する。すなわち、システム制御部203は、カメラの撮像方向に関する撮像制御を行う。 Further, when the sensor data output by the sensor device 103 shows an abnormal value, the system control unit 203 pans/tilts the camera to change the imaging direction to a position corresponding to the sensor device 103 according to a management table 503 described later. - Instruct the zoom control unit 204. That is, the system control unit 203 performs imaging control regarding the imaging direction of the camera.

パン・チルト・ズーム制御部204は、システム制御部203から伝達された指示信号に基づいて、非図示のパン駆動部、チルト駆動部、及びズーム駆動部を制御する。また、非図示のパン駆動部、チルト駆動部、ズーム駆動部のデバイス情報を解析し、パン角、チルト角、ズーム角を取得できる。 The pan/tilt/zoom control unit 204 controls a pan drive unit, a tilt drive unit, and a zoom drive unit (not shown) based on the instruction signal transmitted from the system control unit 203. Further, device information of a pan drive unit, a tilt drive unit, and a zoom drive unit (not shown) can be analyzed to obtain a pan angle, a tilt angle, and a zoom angle.

画像解析部205は、人体検出、動体検知、置き去り検知等の画像解析を行う処理部である。また検出した人を追尾する人体追尾機能も備える。人体検出は、例えば、人の頭部から両肩にかけての外形を特徴量として人体を検出する機能である。また、置き去り検知は、例えば動体として検知された物体が、所定時間以上静止した場合に、物体が置き去られたと検知する機能である。 The image analysis unit 205 is a processing unit that performs image analysis such as human body detection, moving body detection, and abandonment detection. It also has a human body tracking function that tracks detected people. Human body detection is a function that detects a human body using, for example, the external shape from the head of the person to both shoulders as a feature quantity. Further, the left-behind detection is a function that detects that an object has been left behind, for example, when an object detected as a moving object remains stationary for a predetermined period of time or more.

記憶部206は、画質調整のパラメータやネットワークの設定値に加え、無線通信に必要なセンサデバイスの識別IDの情報を記憶し、再起動した場合でも以前設定した値を参照することが可能である。また、センサデバイスの設置位置を登録した管理テーブル、及び参照先の各種データ等も記憶する。 In addition to image quality adjustment parameters and network setting values, the storage unit 206 stores information on the identification ID of the sensor device necessary for wireless communication, and even if the computer is restarted, the previously set values can be referenced. . It also stores a management table in which the installation positions of sensor devices are registered, various reference data, and the like.

無線通信処理部207は、無線ネットワーク105を介して、センサデバイス103との間で無線通信の処理を行う。また、センサデバイス103を無線ネットワークに参加させるための登録処理を行う。 The wireless communication processing unit 207 performs wireless communication processing with the sensor device 103 via the wireless network 105. Furthermore, registration processing is performed to allow the sensor device 103 to participate in the wireless network.

有線通信処理部208は、有線LANまたは無線LANによるネットワーク104を介して、クライアント装置102との間で、ネットワーク通信の処理を行う。 The wired communication processing unit 208 performs network communication processing with the client device 102 via the wired LAN or wireless LAN network 104.

クライアント装置102は、表示部211、入力部212、システム制御部213、通信部214、記憶部215を備える。以下、クライアント装置102が備える各機能部について説明する。 The client device 102 includes a display section 211 , an input section 212 , a system control section 213 , a communication section 214 , and a storage section 215 . Each functional unit included in the client device 102 will be described below.

表示部211は、液晶表示装置等であり、通信部214を介して、ネットワークカメラ101から受信した画像データの表示や、ユーザに操作を促す特定の操作画面を表示する。また、ネットワークカメラ101のカメラ制御を行うためのグラフィカルユーザインターフェース(以下、GUI)等を表示する。カメラ制御とは、例えばネットワークカメラ101のズーム率の設定、パン・チルト方向の変更、あるいは無線通信に関する各種設定などである。 The display unit 211 is a liquid crystal display device or the like, and displays image data received from the network camera 101 via the communication unit 214 and a specific operation screen that prompts the user to perform an operation. It also displays a graphical user interface (hereinafter referred to as GUI) for controlling the network camera 101. Camera control includes, for example, setting the zoom rate of the network camera 101, changing the pan/tilt direction, or various settings related to wireless communication.

入力部212は、キーボード、マウス等のポインティング・デバイス等であり、クライアント装置102のユーザは、入力部212を介してGUIを操作する。 The input unit 212 is a pointing device such as a keyboard or a mouse, and the user of the client device 102 operates the GUI via the input unit 212.

システム制御部213は、ユーザからの操作に応じて、通信部214を介しカメラに設定された各種情報を要求したり、あるいはGUIから入力した制御コマンドをネットワークカメラ101へ送信したりする。 The system control unit 213 requests various information set in the camera via the communication unit 214, or transmits control commands input from the GUI to the network camera 101, in response to a user's operation.

記憶部215は、カメラのIPアドレスなどの情報やネットワークの設定といった設定値を記憶し、再起動した場合でも以前設定した値を参照することが可能である。 The storage unit 215 stores information such as the IP address of the camera and setting values such as network settings, and can refer to previously set values even when the camera is restarted.

次に図3に示すフローチャートを用いて、本実施例全体の処理の流れを説明する。尚、以降の説明において、簡易表現の都合上、センサと表現した場合には、特に言及しない限り、センサデバイス103を指すものとする。 Next, the overall processing flow of this embodiment will be explained using the flowchart shown in FIG. Note that in the following description, for convenience of simple expression, when the term "sensor" is used, it refers to the sensor device 103 unless otherwise specified.

ステップS301において、ネットワークカメラ101に対するユーザからの所定のGUI操作をトリガとして、システム制御部203が無線通信処理部207と連携し、ネットワークカメラ101を、センサからの登録要求を取得可能な状態へと移行する。 In step S301, triggered by a user's predetermined GUI operation on the network camera 101, the system control unit 203 cooperates with the wireless communication processing unit 207 to bring the network camera 101 into a state where it can acquire registration requests from sensors. Transition.

ここで、センサから登録要求を発行する際のユーザの操作例について、図4を用いて説明する。センサから登録要求を発行するためには、通常、センサに対してユーザが所定のUI操作を行う必要がある。 Here, an example of a user's operation when issuing a registration request from a sensor will be described using FIG. 4. In order to issue a registration request from a sensor, a user usually needs to perform a predetermined UI operation on the sensor.

図4ではボタン401がユーザにより押下されることで、センサから登録要求を発行することを示すが、それに限らない。所定スイッチの入力操作、あるいは手をかざすジェスチャ操作等、センサの仕様に沿ったユーザ操作であればよい。 Although FIG. 4 shows that pressing the button 401 by the user causes the sensor to issue a registration request, the present invention is not limited thereto. Any user operation that meets the specifications of the sensor may be used, such as an input operation of a predetermined switch or a gesture operation of waving a hand over the user's hand.

このように、センサから登録要求を発行するためには、手動操作が必要になる。即ち、センサの付近には人物が存在することになる。 In this way, manual operation is required to issue a registration request from the sensor. In other words, there is a person near the sensor.

ステップS302において、システム制御部203は、センサからの登録要求を取得できたかを判断する。 In step S302, the system control unit 203 determines whether a registration request from the sensor has been obtained.

システム制御部203は、センサからの登録要求を取得できた場合(ステップS302でYES)には、ステップS303へ進む。システム制御部203は、センサからの登録要求を取得できていない場合(ステップS302でNO)には、ステップS310へ進む。 If the system control unit 203 is able to obtain the registration request from the sensor (YES in step S302), the process proceeds to step S303. If the system control unit 203 has not been able to obtain a registration request from the sensor (NO in step S302), the process proceeds to step S310.

なお、本実施例では、センサからの登録要求の取得を条件として、ステップS303以降の処理を実行するが、センサからの登録要求に限らずとも良い。ステップS303以降の処理を実行する条件となる所定の情報を、センサと、ネットワークカメラ101との間で、予め決定しておけば、例えば、センサからの通信開始を示す情報や、センサが起動したことを示す情報でも良い。 Note that in this embodiment, the processing from step S303 onwards is executed on the condition that a registration request is obtained from a sensor, but it is not limited to a registration request from a sensor. If predetermined information that is a condition for executing the processing from step S303 onward is determined between the sensor and the network camera 101, for example, information indicating the start of communication from the sensor, information indicating that the sensor has started, etc. It may also be information indicating that.

ステップS303において、システム制御部203は、画像解析部205を介して、画像処理部202で生成された画像データに対し、人体検出を実行することで、人物を探索する。 In step S303, the system control unit 203 searches for a person by performing human body detection on the image data generated by the image processing unit 202 via the image analysis unit 205.

ステップS304において、システム制御部203は、人体検出を実行することにより、画像データ内で人物の位置を特定できたかを判断する。システム制御部203は、人物の位置を特定できた場合(ステップS304でYES)には、ステップS305へ進む。システム制御部203は、人物の位置を特定できていない場合(ステップS304でNO)には、ステップS306へ進む。 In step S304, the system control unit 203 determines whether the position of the person has been identified within the image data by executing human body detection. If the system control unit 203 is able to identify the position of the person (YES in step S304), the process proceeds to step S305. If the system control unit 203 has not been able to specify the position of the person (NO in step S304), the process proceeds to step S306.

ステップS305において、システム制御部203は、検出した人物毎に、その人物の位置情報と、その人物を検出時のカメラ映像のスナップショット(以降、画像データ)とを記憶部206に記憶する。位置情報とは、カメラの駆動位置であり、例えば、パン・チルト・ズーム値で表される。本実施例では、システム制御部203は、センサに対して位置情報を紐づけて管理する管理テーブルにデータを登録する。管理テーブルは図5で後述する。 In step S305, the system control unit 203 stores, for each detected person, the position information of the person and a snapshot of the camera image at the time of detecting the person (hereinafter referred to as image data) in the storage unit 206. The position information is the driving position of the camera, and is expressed by, for example, pan/tilt/zoom values. In this embodiment, the system control unit 203 registers data in a management table that manages sensors in association with position information. The management table will be described later with reference to FIG.

ステップS306において、システム制御部203は、パン・チルト・ズーム制御部204を介して、所定のパン・チルト駆動(PT駆動)を行って人物の探索を継続するか否かを判断する。 In step S306, the system control unit 203 determines whether to continue searching for a person by performing a predetermined pan/tilt drive (PT drive) via the pan/tilt/zoom control unit 204.

人物の探索の継続条件は、検出した人物がセンサの設置者と識別できるか否かであり、識別できれば探索を終了し、識別できなければPT駆動範囲内で予め設定した駆動方向へ所定量を駆動し、探索を継続する。 The continuation condition for searching for a person is whether or not the detected person can be identified as the person who installed the sensor. If the person can be identified, the search ends; if the person cannot be identified, the search is continued by a predetermined amount within the PT drive range in a preset driving direction. Drive and continue exploring.

本実施例では、センサの設置者の識別手段として、事前に登録した識別情報を、撮影時に検出する手段を想定する。例えば、手を挙げる等のジェスチャ操作を登録し、その操作をする人物を検出する、あるいは設置者の顔を事前に登録し、その顔を検出する等によりセンサの設置者を識別する。このように、設置者の識別情報を事前に登録して、それらを検出することで、探索を完了するまでの時間を削減することが可能になる。 In this embodiment, as a means for identifying the person installing the sensor, a means for detecting identification information registered in advance at the time of photographing is assumed. For example, the installer of the sensor can be identified by registering a gesture operation such as raising a hand and detecting the person performing the operation, or by registering the installer's face in advance and detecting that face. In this way, by registering the installer's identification information in advance and detecting it, it is possible to reduce the time required to complete the search.

システム制御部203は、探索を継続する場合(ステップS306でYES)には、ステップS303に戻る。システム制御部203は、探索を継続しない場合(ステップS306でNO)には、ステップS307へ進む。 If the system control unit 203 continues the search (YES in step S306), the process returns to step S303. If the system control unit 203 does not continue the search (NO in step S306), the process proceeds to step S307.

ステップS307において、システム制御部203は、センサに対応して人物の位置を一つに決定できたか否かを判断する。すなわち、ステップS307では、システム制御部203は、センサに対応する位置を決定できたかを判断する。センサに対応する位置は、当該センサでイベントを検知したときに、パン・チルト・ズーム制御部204が、パン・チルト・ズームする値を示す。 In step S307, the system control unit 203 determines whether one position of the person can be determined in accordance with the sensor. That is, in step S307, the system control unit 203 determines whether the position corresponding to the sensor has been determined. The position corresponding to a sensor indicates the value to which the pan/tilt/zoom control unit 204 pans, tilts, or zooms when an event is detected by the sensor.

システム制御部203は、人物の位置を一つに決定できた場合(ステップS307でYES)には、ステップS308へ進む。システム制御部203は、人物の位置を一つに決定できていない場合(ステップS307でNO)には、ステップS309へ進む。ステップS307では、センサから登録要求を取得した後にステップS304~ステップS306の処理を実行した結果、一人だけ検出した場合には、センサに対応する位置を決定できたと判断する。一方、ステップS304~ステップS306を実行した結果、複数人検出した場合には、センサに対応する位置を決定できていないと、システム制御部203は判断する。 If the system control unit 203 is able to determine one person's position (YES in step S307), the system control unit 203 proceeds to step S308. If the system control unit 203 has not been able to determine one person's position (NO in step S307), the system control unit 203 proceeds to step S309. In step S307, if only one person is detected as a result of executing the processes of steps S304 to S306 after obtaining a registration request from the sensor, it is determined that the position corresponding to the sensor has been determined. On the other hand, if multiple people are detected as a result of executing steps S304 to S306, the system control unit 203 determines that the position corresponding to the sensor has not been determined.

ステップS308において、システム制御部203は、センサの位置を決定したことを示す決定フラグを有効化(ON)し、記憶部206で記憶する管理テーブルを更新する。ここで、管理テーブルの一例を、図5を用いて説明する。図5(a)は、ステップS302で登録要求を取得した時点の人を検知した映像を示す模式図であり、映像のフレーム501内で人体を検出すると、人体枠502が表示される。 In step S308, the system control unit 203 enables (ON) a determination flag indicating that the sensor position has been determined, and updates the management table stored in the storage unit 206. Here, an example of the management table will be explained using FIG. 5. FIG. 5A is a schematic diagram showing a video in which a person is detected at the time when the registration request is acquired in step S302. When a human body is detected within a frame 501 of the video, a human body frame 502 is displayed.

図5(b)及び図5(c)は、図5(a)の結果の管理テーブルの一例であり、それぞれ、図5(b)はステップS305の後、図5(c)はステップS308の後の管理テーブルの状態を示す。 5(b) and 5(c) are examples of management tables resulting from FIG. 5(a). FIG. 5(b) is after step S305, and FIG. 5(c) is after step S308. Shows the status of the management table afterward.

管理テーブル503は、センサ毎に、決定フラグ、位置情報、画像データを紐づけて登録する。決定フラグとは、センサの位置を決定できたか否かを示すフラグである。ステップS305の時点即ち、図5(b)の時点では、ステップS303の処理によって複数人検出されている可能性もあるため、センサの位置を決定できない。一方で、ステップS308の時点、即ち、図5(c)の時点では、センサの位置を一つに決定できているため、決定フラグを有効化(ON)に更新する。 The management table 503 registers a determination flag, position information, and image data in association with each other for each sensor. The determination flag is a flag indicating whether or not the position of the sensor has been determined. At the time of step S305, that is, at the time of FIG. 5(b), the position of the sensor cannot be determined because there is a possibility that multiple people have been detected by the process of step S303. On the other hand, at the time of step S308, that is, at the time of FIG. 5C, one sensor position has been determined, so the determination flag is updated to enable (ON).

尚、本実施例では、位置情報を、カメラの撮像方向を示すパン・チルト・ズーム値としたがそれに限らず、座標系における人の検出位置でもよい。その場合、カメラがセンサ設置位置周辺を向くためには、座標から撮像方向へ換算できるマップ情報が必要にある。 In this embodiment, the position information is pan/tilt/zoom values indicating the imaging direction of the camera, but is not limited thereto, and may be the detected position of the person in the coordinate system. In this case, in order to direct the camera toward the vicinity of the sensor installation position, map information that can be converted from the coordinates to the imaging direction is required.

ステップS309において、システム制御部203は、決定フラグを無効化(OFF)した状態で、管理テーブルを更新する。 In step S309, the system control unit 203 updates the management table with the determination flag disabled (OFF).

ステップS310において、システム制御部203は、本実施例におけるセンサの設置位置の登録処理を終了するか否かを判断する。判断条件は、ユーザによる明示的な指示でもよいし、ステップS302の登録要求の取得を試みた結果、所定時間以上取得できなかった場合に終了すると判断してもよい。システム制御部203は、センサの設置位置の登録処理を終了する場合(ステップS310でYES)には、ステップS311へ進む。システム制御部203は、センサの設置位置の登録処理を継続する場合(ステップS310でNO)には、ステップS302へ戻る。 In step S310, the system control unit 203 determines whether to end the sensor installation position registration process in this embodiment. The determination condition may be an explicit instruction from the user, or it may be determined that the process ends if the attempt to obtain the registration request in step S302 fails for a predetermined period of time or longer. If the system control unit 203 ends the sensor installation position registration process (YES in step S310), the process proceeds to step S311. If the system control unit 203 continues the sensor installation position registration process (NO in step S310), the process returns to step S302.

ステップS311において、システム制御部203は、ネットワークカメラ101を、センサからの登録要求を取得できる状態を解除して、本フローチャートを終了する。 In step S311, the system control unit 203 disables the network camera 101 from being able to obtain registration requests from sensors, and ends this flowchart.

尚、本実施例における人体検出(ステップS303)は、予め、広角にズーム制御した上で実行することを想定する。具体的には、パン・チルト・ズーム制御部204が、予め、人体検出可能な範囲で最もズームアウトしたときのズーム値を特定し、そのズーム値へズームアウトした上で人体検出を行う。 It is assumed that the human body detection (step S303) in this embodiment is performed after performing wide-angle zoom control in advance. Specifically, the pan/tilt/zoom control unit 204 specifies in advance the zoom value at which the camera is zoomed out the most within the range where a human body can be detected, and performs human body detection after zooming out to that zoom value.

ズーム値の算出例としては、ネットワークカメラ101の撮影範囲に事前に人を配置して、段階的にズームアウトしながら人体検出を行うことで特定する方法が考えられる。 As an example of calculating the zoom value, a method of identifying a person by placing a person in the photographing range of the network camera 101 in advance and performing human body detection while zooming out in stages can be considered.

そして、人物を検出できた場合(ステップS304でYES)には、パン・チルト・ズーム制御部204が、所定のルールに基づいて、パン・チルト・ズーム値を制御してから管理テーブルに登録する。 If a person is detected (YES in step S304), the pan/tilt/zoom control unit 204 controls the pan/tilt/zoom values based on predetermined rules and then registers them in the management table. .

例えば、検出した人物が、所定のサイズになるまでズームインした上で、人物が画角の中心になるように、パン・チルト・ズーム制御部204がPT制御した結果の位置情報と画像データを管理テーブルに登録する等である。一方で、人物を検出できなかった場合(ステップS304でNO)には、ステップS306において、パン・チルト・ズーム制御部204がまだ人体検出を行えていない画角までPT駆動した上で、人体検出を継続する。 For example, after zooming in until the detected person reaches a predetermined size, the pan/tilt/zoom control unit 204 manages the position information and image data resulting from PT control so that the person is at the center of the angle of view. For example, registering it in a table. On the other hand, if a person could not be detected (NO in step S304), in step S306, the pan/tilt/zoom control unit 204 performs PT driving to an angle of view for which human body detection has not yet been performed, and then performs human body detection. Continue.

例えば、人物が存在する可能性のあるパン角度範囲が180度の場合に、人体検出時の画角が60度の場合には、論理的には最大2回の駆動の追加で、全ての範囲で人体検出を行える。 For example, if the panning angle range in which a person may exist is 180 degrees, and the angle of view at the time of human body detection is 60 degrees, logically, the entire range can be covered by adding a maximum of two drives. can perform human body detection.

以上、人体検出時には、人体検出可能な範囲で最も広角に撮影することで、空間内の人物を見つける時間を短縮しつつも、管理テーブルに登録する位置情報や画像データは、ユーザが視認しやすい結果を登録できる。 As mentioned above, when detecting a human body, by taking a picture at the widest angle within the human body detectable range, the time to find a person in the space is shortened, while the position information and image data registered in the management table are easily visible to the user. Results can be registered.

以上に説明した処理によって、空間内に人物が一人の場合、あるいは、設置者の識別情報を事前に登録することで、センサに対応する位置情報を自動的に決定できる。 Through the processing described above, when there is only one person in the space, or by registering the installer's identification information in advance, the position information corresponding to the sensor can be automatically determined.

次に図6に示すフローチャートを用いて、センサに対して複数人を検出したことで位置を決定できなかった場合(ステップS307でNO)に、ユーザに選択させる処理の流れを説明する。 Next, using the flowchart shown in FIG. 6, a description will be given of the flow of processing for allowing the user to make a selection when the sensor detects multiple people and the position cannot be determined (NO in step S307).

図6の処理は、ステップS309の処理を実行後に、クライアント装置102を介したユーザからの指示に応じて実行しても良いし、ユーザからの指示を受け付けることなくネットワークカメラ101が実行しても良い。 The process in FIG. 6 may be executed in response to an instruction from the user via the client device 102 after executing the process in step S309, or may be executed by the network camera 101 without receiving an instruction from the user. good.

ステップS601において、システム制御部203は、管理テーブル503の決定フラグが無効化(OFF)のセンサに紐づけた複数の画像データを表示部211に表示するように表示制御を行い、画像データの選択をユーザに促す。 In step S601, the system control unit 203 performs display control so that the display unit 211 displays a plurality of image data associated with the sensor whose determination flag in the management table 503 is disabled (OFF), and selects the image data. prompt the user.

ここで、選択時のUIの一例を、図7で説明する。図7は、表示部211に表示した選択画面例である。 Here, an example of the UI at the time of selection will be described with reference to FIG. FIG. 7 is an example of a selection screen displayed on the display unit 211.

複数の画像データの中からセンサに対応する画像データを選択することで、システム制御部203は、センサの位置を決定できる。図7の例では、画像701及び画像702のうち、画像702を選択することを示す。 By selecting image data corresponding to the sensor from among the plurality of image data, the system control unit 203 can determine the position of the sensor. The example in FIG. 7 shows that image 702 is selected from image 701 and image 702.

基本的には、選択者は設置者であり、センサ設置後にクライアント装置102のところまで設置者が移動してから画像データを選択することを想定する。センサの設置場所の物理環境のみを手掛かりにして、センサの位置を特定するのではなく、自分の映る画像データを選べば良いため、画像データの選択は容易である。一方で、選択者が設置者と異なる人物であってもよい。その場合でも、画像データ上で設置者を確認しながら選べるため、画像データを容易に選択できる。 Basically, the selector is the installer, and it is assumed that the installer moves to the client device 102 after installing the sensor and then selects image data. Selection of image data is easy because the user only needs to select the image data in which he/she is reflected, rather than specifying the position of the sensor using only the physical environment of the sensor installation location as a clue. On the other hand, the selector may be a different person from the installer. Even in that case, the image data can be easily selected because the installer can be selected while checking the image data.

ステップS602において、システム制御部203は、画像データが選択されたかを判断する。システム制御部203は、画像データが選択された場合(ステップS602でYES)には、ステップS603へ進む。システム制御部203は、画像データが選択されていない場合(ステップS602でNO)には、ステップS602に戻る。 In step S602, the system control unit 203 determines whether image data has been selected. If the image data is selected (YES in step S602), the system control unit 203 proceeds to step S603. If no image data is selected (NO in step S602), the system control unit 203 returns to step S602.

ステップS603において、システム制御部203は、画像データに紐づいた決定フラグをONにし、ステップS602で未選択の画像データと位置情報を削除して、管理テーブル503を更新する。その結果、センサに対応して、位置情報と画像データが一意に決定できる。 In step S603, the system control unit 203 turns on the determination flag associated with the image data, deletes unselected image data and position information in step S602, and updates the management table 503. As a result, position information and image data can be uniquely determined corresponding to the sensor.

ステップS604において、システム制御部203は、管理テーブル503に登録した全てのセンサの位置が決定されたかを判断する。システム制御部203は、全てのセンサの位置が決定された場合(ステップS604でYES)には、本フローチャートを終了する。システム制御部203は、位置が決定されていないセンサがある、即ち決定フラグがOFFのセンサがある場合(ステップS604でNO)には、ステップS601に戻る。 In step S604, the system control unit 203 determines whether the positions of all sensors registered in the management table 503 have been determined. If the positions of all the sensors have been determined (YES in step S604), the system control unit 203 ends this flowchart. If there is a sensor whose position has not been determined, that is, if there is a sensor whose determination flag is OFF (NO in step S604), the system control unit 203 returns to step S601.

以上に説明した処理によって、複数人を検出した場合でも、センサの位置を一箇所に決定することができる。 Through the processing described above, even when multiple people are detected, the sensor position can be determined at one location.

続いて、図8に示すフローチャートを用いて、管理テーブルに登録したセンサに対する位置情報を、ユーザが補正するための処理の流れを説明する。図8の処理は、ステップS308、またはステップS309の処理を実行後に、クライアント装置102を介したユーザからの指示に応じて実行される。 Next, using the flowchart shown in FIG. 8, a process flow for the user to correct the position information for the sensor registered in the management table will be explained. The process in FIG. 8 is executed in response to an instruction from the user via the client device 102 after executing the process in step S308 or S309.

ステップS801において、システム制御部203は、センサに紐づいた画像データを、システム制御部213を介して表示部211に表示させる。そして、システム制御部213を介してユーザによる補正対象の画像データの選択を検知する。 In step S801, the system control unit 203 causes the display unit 211 to display image data linked to the sensor via the system control unit 213. Then, the selection of image data to be corrected by the user is detected via the system control unit 213.

ステップS802において、ステップS801でユーザが選択した補正対象のセンサの位置情報を、管理テーブル503より読み込み、その位置へPT駆動した映像を、システム制御部213を介して表示部211に表示させる。 In step S802, the position information of the sensor to be corrected selected by the user in step S801 is read from the management table 503, and the image PT driven to that position is displayed on the display unit 211 via the system control unit 213.

ここで、補正画面のUIの一例を、図9で説明する。図9(a)は、表示部211に表示した補正の画面例であり、ユーザは、映像のフレーム901を見て、パン・チルト・ズーム操作UI902を操作する。図9(b)は、操作後のフレーム901であり、四角の物体を中心にズームした結果が表示されている。 Here, an example of the UI of the correction screen will be described with reference to FIG. 9. FIG. 9A is an example of a correction screen displayed on the display unit 211, in which the user views a video frame 901 and operates the pan/tilt/zoom operation UI 902. FIG. 9B shows a frame 901 after the operation, in which the result of zooming around a square object is displayed.

図9(a)では、補正対象のセンサに関連づいた位置情報を参照し、記憶したPTZ値にあわせてパン・チルト・ズーム制御を行って、駆動後の映像を取得し、表示している。ここで、ユーザが補正しやすいように、ズームに関しては、最も広角となるようにワイド端に移動してもよい。 In Fig. 9(a), the position information associated with the sensor to be corrected is referenced, pan/tilt/zoom control is performed in accordance with the stored PTZ value, and the image after driving is acquired and displayed. . Here, in order to make the correction easier for the user, the zoom may be moved to the wide end so as to have the widest angle.

そして、図9(b)のように、パン・チルト・ズーム操作UI902を操作して、ユーザの所望の画角にし、最後にOKボタンが押下されると、システム制御部213を介してシステム制御部203は、操作完了を検知する。 Then, as shown in FIG. 9(b), when the user operates the pan/tilt/zoom operation UI 902 to set the angle of view desired by the user and finally presses the OK button, the system is controlled via the system control unit 213. The unit 203 detects the completion of the operation.

ステップS803において、システム制御部203は、センサに対する補正操作を完了したかを判断する。例えば、図9(a)におけるOKボタンが押されると、システム制御部203は、操作を完了したと判断し、(ステップS803でYES)には、ステップS804に進む。システム制御部203は、操作が完了していないと判断した場合(ステップS803でNO)には、ステップS803を継続する。 In step S803, the system control unit 203 determines whether the correction operation for the sensor is completed. For example, when the OK button in FIG. 9A is pressed, the system control unit 203 determines that the operation has been completed (YES in step S803), and proceeds to step S804. If the system control unit 203 determines that the operation has not been completed (NO in step S803), it continues step S803.

ステップS804において、システム制御部203は、補正後の位置情報とその位置における画像データを取得し、管理テーブル503の位置情報と画像データを更新する。 In step S804, the system control unit 203 acquires the corrected position information and image data at that position, and updates the position information and image data in the management table 503.

ステップS805において、システム制御部203は、位置を補正したいセンサが他にあるかを判断する。判断方法は、例えば、補正する候補のセンサとして、表示部211上でユーザが選んだセンサのうち、まだ補正処理を完了していないセンサがある場合は、他のセンサも補正すると判断する。システム制御部203は、補正したいセンサが他にあると判断した場合(ステップS805でYES)には、ステップS801へ戻る。システム制御部203は、補正したいセンサが他にないと判断した場合(ステップS805でNO)には、本フローチャートを終了する。 In step S805, the system control unit 203 determines whether there is another sensor whose position is to be corrected. For example, if there is a sensor that has not yet completed the correction process among the sensors selected by the user on the display unit 211 as a candidate sensor to be corrected, it is determined that the other sensors are also to be corrected. If the system control unit 203 determines that there is another sensor to be corrected (YES in step S805), the process returns to step S801. If the system control unit 203 determines that there are no other sensors to be corrected (NO in step S805), this flowchart ends.

以上説明した処理によって、センサに対応して自動的に決定されたセンサの位置を、ユーザが所望する位置に補正することができる。 Through the processing described above, the position of the sensor automatically determined corresponding to the sensor can be corrected to the position desired by the user.

以上、本実施形態では、センサの登録要求をネットワークカメラが受信した時点の映像における人の位置に基づいて、センサの位置を決定する方法を示した。また、検出した人が1人の場合は自動的に決定し、複数人の場合はユーザが選択することで決定できることを示した。その結果、センサ自体に、特別な制御を施したり、発光装置の取り付けを行わなくても、センサ設置位置の大まかな位置を決定できる。そのため、最終的な位置の決定にユーザ操作が介在した場合でも、結果として、ネットワークカメラへのセンサの登録作業の負荷を軽減できる。 As described above, in this embodiment, a method for determining the position of a sensor is shown based on the position of a person in the video at the time when the network camera receives the sensor registration request. Furthermore, it was shown that if there is only one person detected, it is determined automatically, and if there are multiple people, it can be determined by the user's selection. As a result, the approximate position of the sensor installation position can be determined without applying special control to the sensor itself or attaching a light emitting device. Therefore, even if a user operation intervenes in determining the final position, the load on the work of registering sensors to the network camera can be reduced as a result.

(実施形態2)
実施形態1では、センサの登録要求をネットワークカメラが受信した時点の映像における人の位置に基づいて、センサの位置を特定し登録する方法について述べた。一方で、設置場所の制約等から、図4で説明したような手動操作をしづらい天井等にセンサが設置されることがある。その場合、手動操作による登録要求を発行した後に、センサが移動されることが考えられる。本実施形態では、人を検知した後にセンサが移動された場合でも、センサの位置を特定する方法を説明する。
(Embodiment 2)
In the first embodiment, a method of identifying and registering the sensor position based on the position of the person in the video at the time when the network camera receives the sensor registration request has been described. On the other hand, due to constraints on the installation location, the sensor may be installed on a ceiling or the like where it is difficult to manually operate the sensor as explained in FIG. In that case, the sensor may be moved after issuing a manual registration request. In this embodiment, a method for specifying the position of a sensor even if the sensor is moved after detecting a person will be described.

図10に示すフローチャートを用いて、人を検知した後に、センサの移動を監視して、センサの位置を補正する処理の流れを説明する。尚、本フローチャートは、図3における人の位置に基づいて位置情報と画像情報を登録する処理(ステップS305)の後に行われ、処理後は、ステップS306に進む。 The flow of the process of detecting a person, monitoring the movement of the sensor, and correcting the position of the sensor will be described using the flowchart shown in FIG. Note that this flowchart is performed after the process of registering position information and image information based on the position of the person in FIG. 3 (step S305), and after the process, the process advances to step S306.

ステップS1001において、システム制御部203は、所定時間の間、センサの移動を監視するかを判断する。センサの移動を監視するか否かは、予め初期設定時に決定するものとする。システム制御部203は、センサの移動を監視する場合(ステップS1001でYES)には、ステップS1002に進む。システム制御部203は、センサの移動を監視しない場合(ステップS1001でNO)には、本フローチャートを終了する。 In step S1001, the system control unit 203 determines whether to monitor the movement of the sensor for a predetermined period of time. It is assumed that whether or not to monitor the movement of the sensor is determined in advance at the time of initial setting. If the system control unit 203 monitors the movement of the sensor (YES in step S1001), the process proceeds to step S1002. If the system control unit 203 does not monitor the movement of the sensor (NO in step S1001), the system control unit 203 ends this flowchart.

ステップS1002において、システム制御部203は、所定時間内に、追尾中の人物(ステップS303で検出した人物)の周辺で置き去り検知が発生したかを判断する。すなわち、ステップS1002において、システム制御部203は、追尾中の人物の所定範囲内で物体の置き去りが発生したかを特定する。 In step S1002, the system control unit 203 determines whether abandonment detection has occurred around the person being tracked (the person detected in step S303) within a predetermined period of time. That is, in step S1002, the system control unit 203 identifies whether an object has been left behind within a predetermined range of the person being tracked.

ここで、置き去り検知を用いたセンサの移動に追従する処理の概念図を、図11で説明する。図11(a)は、センサからの登録要求時に検出した人1101が、センサを天井に設置する様子を示す。 Here, a conceptual diagram of a process for following the movement of a sensor using left-behind detection will be explained with reference to FIG. FIG. 11A shows a person 1101 detected at the time of a registration request from the sensor installing the sensor on the ceiling.

このとき、人1101の移動に伴って、置き去り検知を監視する範囲1102(所定範囲)を更新する。図11(b)は、図11(a)の結果、置き去り検知が発生し、検知枠1103を捉えた例である。人物と共に移動したセンサが、所定の場所に設置されることで、所定時間停止したときに、置き去りされたと検知することができる。 At this time, as the person 1101 moves, a range 1102 (predetermined range) for monitoring the detection of abandonment is updated. FIG. 11(b) is an example in which, as a result of FIG. 11(a), the left-behind detection occurs and the detection frame 1103 is captured. By installing a sensor that has moved with a person at a predetermined location, it is possible to detect that the person has been left behind when the sensor has stopped for a predetermined period of time.

システム制御部203は、置き去り検知が発生した場合(ステップS1002でYES)には、ステップS1003に進む。システム制御部203は、置き去り検知が発生していない場合(ステップS1002でNO)には、本フローチャートを終了する。 If the left-behind detection occurs (YES in step S1002), the system control unit 203 proceeds to step S1003. If the left-behind detection has not occurred (NO in step S1002), the system control unit 203 ends this flowchart.

ステップS1003において、システム制御部203は、置き去り検知した物体の位置の位置情報を、センサに対応する位置として、その位置を撮影した画像データとともに管理テーブル503へ記憶して、本フローチャートを終了する。 In step S1003, the system control unit 203 stores the position information of the position of the object detected as being left behind as a position corresponding to the sensor in the management table 503 together with the image data of the position, and ends this flowchart.

以上説明した処理によって、登録要求時に人を検知した後、センサが移動した場合においても所定時間内であれば追従でき、センサの設置位置を補正することができる。 Through the processing described above, even if the sensor moves after detecting a person at the time of a registration request, it can be followed within a predetermined time and the installation position of the sensor can be corrected.

次に、図12を用いて、各実施形態の各機能を実現するためのハードウェア構成を説明する。なお、ネットワークカメラ101における201~208の各機能部は、図12に示すハードウェア構成により実現可能である。また、クライアント装置102における211~215の各機能部も図12に示すハードウェア構成により実現可能である。 Next, the hardware configuration for realizing each function of each embodiment will be described using FIG. 12. Note that each of the functional units 201 to 208 in the network camera 101 can be realized by the hardware configuration shown in FIG. Further, each of the functional units 211 to 215 in the client device 102 can also be realized by the hardware configuration shown in FIG.

RAM(Random Access Memory)1202は、CPU(Central Processing Unit)1201が実行するコンピュータプログラムを一時的に記憶する。また、RAM1202は、通信インターフェイス1204を介して外部から取得したデータ(コマンドや画像データ)などを一時的に記憶する。また、RAM1202は、CPU1201が各種の処理を実行する際に用いるワークエリアを提供する。また、RAM1202は、例えば、フレームメモリとして機能したり、バッファメモリとして機能したりする。 A RAM (Random Access Memory) 1202 temporarily stores a computer program executed by a CPU (Central Processing Unit) 1201. Further, the RAM 1202 temporarily stores data (commands, image data), etc. acquired from the outside via the communication interface 1204. Further, the RAM 1202 provides a work area used by the CPU 1201 when executing various processes. Further, the RAM 1202 functions, for example, as a frame memory or as a buffer memory.

CPU1201は、RAM1202に格納されるコンピュータプログラムを実行する。CPU以外にも、DSP(Digital Signal Processor)等のプロセッサやASIC(Application Specific Integrated Circuit)を用いてもよい。 CPU 1201 executes a computer program stored in RAM 1202. In addition to the CPU, a processor such as a DSP (Digital Signal Processor) or an ASIC (Application Specific Integrated Circuit) may be used.

HDD(Hard Disk Drive)1203は、オペレーティングシステムのプログラムや画像データを記憶する。また、HDD1203は、コンピュータプログラムを記憶する。 A HDD (Hard Disk Drive) 1203 stores operating system programs and image data. Furthermore, the HDD 1203 stores computer programs.

HDD1203に保存されているコンピュータプログラムやデータは、CPU1201による制御に従って、適宜、RAM1202にロードされ、CPU1201によって実行される。HDD以外にもフラッシュメモリ等の他の記憶媒体を用いてもよい。バス1205は、各ハードウェアを接続する。バス1205を介して各ハードウェアがデータをやり取りする。以上が各実施形態におけるハードウェア構成である。 Computer programs and data stored in the HDD 1203 are appropriately loaded into the RAM 1202 and executed by the CPU 1201 under the control of the CPU 1201. In addition to the HDD, other storage media such as flash memory may also be used. A bus 1205 connects each piece of hardware. Each piece of hardware exchanges data via a bus 1205. The above is the hardware configuration in each embodiment.

また、図2に示す各機能ブロックは、図12に示すハードウェアにより実現してもよいし、ソフトウェアにより実現することもできる。 Further, each functional block shown in FIG. 2 may be realized by the hardware shown in FIG. 12, or may be realized by software.

(その他の実施形態)
以上、実施形態を詳述したが、本発明は例えば、システム、装置、方法、プログラム若しくは記録媒体(記憶媒体)等としての実施態様をとることが可能である。具体的には、複数の機器(例えば、ホストコンピュータ、インターフェイス機器、撮像装置、Webアプリケーション等)から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。
(Other embodiments)
Although the embodiments have been described in detail above, the present invention can be implemented as, for example, a system, an apparatus, a method, a program, or a recording medium (storage medium). Specifically, it may be applied to a system consisting of multiple devices (for example, a host computer, an interface device, an imaging device, a web application, etc.), or it may be applied to a device consisting of a single device. good.

また、本発明は、以下の処理でも実現可能である。上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。 Further, the present invention can also be realized by the following processing. A program that implements one or more of the functions of the embodiments described above is supplied to a system or device via a network or a storage medium. It is a process in which one or more processors in the computer of the system or device reads and executes the program. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.

101 ネットワークカメラ
102 クライアント装置
103 センサデバイス
101 Network camera 102 Client device 103 Sensor device

Claims (8)

センサデバイスと接続可能な撮像装置であって、
撮像手段と、
前記センサデバイスから、所定の情報を取得する取得手段と、
前記撮像手段により撮像することで得られる画像データに映る人物の位置を特定する特定手段と、
前記取得手段により前記所定の情報を取得した後に前記特定手段により特定した人物の位置の情報を用いて、前記センサデバイスに対応づける前記撮像手段の撮像方向、またはズーム値の少なくともいずれか一方を決定する決定手段と、
前記決定手段により決定された前記撮像手段の撮像方向、またはズーム値を前記センサデバイスの情報と対応づけて登録する登録手段とを備え
前記所定の情報は、前記センサデバイスのペアリングの要求の情報、前記センサデバイスの通信開始を示す情報、及び、前記センサデバイスが起動したことを示す情報の内の少なくともいずれかを含む
ことを特徴とする撮像装置。
An imaging device connectable to a sensor device,
an imaging means;
acquisition means for acquiring predetermined information from the sensor device;
identification means for identifying the position of a person appearing in image data obtained by imaging with the imaging means;
After the acquisition means acquires the predetermined information, the information on the position of the person identified by the identification means is used to determine at least one of an imaging direction or a zoom value of the imaging means to be associated with the sensor device. a means of determining
comprising a registration means for registering the imaging direction or zoom value of the imaging means determined by the determination means in association with information on the sensor device ;
The predetermined information includes at least one of information on a pairing request for the sensor device, information indicating the start of communication between the sensor device, and information indicating that the sensor device has been activated.
An imaging device characterized by:
前記撮像手段の撮像方向、およびズーム値を制御する撮像制御手段を更に備え、
前記撮像制御手段は、前記登録手段で登録された前記撮像手段の撮像方向、またはズーム値となるように前記撮像手段の撮像方向、またはズーム値を制御することを特徴とする請求項1に記載の撮像装置。
Further comprising an imaging control means for controlling an imaging direction and a zoom value of the imaging means,
2. The imaging control means controls the imaging direction or zoom value of the imaging means so as to match the imaging direction or zoom value of the imaging means registered by the registration means. imaging device.
前記特定手段で位置を特定した人物が複数人いる場合に、各人物の方向を撮像するように前記撮像手段の撮像方向を制御する撮像制御手段と、
前記撮像手段により各人物の方向を撮像した画像データに対し、ユーザからの選択を受け付ける選択画面を表示するように制御する表示制御手段とを更に備え、
前記決定手段は、前記選択画面を介して選択を受け付けた画像データを撮像したときの前記撮像手段の撮像方向を、前記センサデバイスに対応づける前記撮像手段の撮像方向として決定することを特徴とする請求項2に記載の撮像装置。
an imaging control means for controlling an imaging direction of the imaging means so as to take an image in the direction of each person when there are multiple persons whose positions have been identified by the identification means;
further comprising a display control means for controlling to display a selection screen that accepts a selection from a user with respect to image data taken in the direction of each person by the imaging means,
The determining means is characterized in that the determining means determines, as the imaging direction of the imaging means to be associated with the sensor device, the imaging direction of the imaging means when imaging the image data whose selection is accepted via the selection screen. The imaging device according to claim 2.
前記特定手段で特定した人物を追尾し、当該人物の所定範囲内で物体の置き去りが発生したかを特定する置き去り特定手段を更に備え、
前記決定手段は、前記置き去り特定手段により前記人物の所定範囲内で置き去り検知が発生したと特定された場合には、置き去りが発生した位置の情報を用いて、前記センサデバイスに対応づける撮像方向、またはズーム値の少なくともいずれか一方を決定することを特徴とする請求項1乃至3のいずれか1項に記載の撮像装置。
further comprising a left-behind identifying means for tracking the person identified by the identifying means and determining whether an object has been left behind within a predetermined range of the person;
The determining means is configured to determine, when the left-behind specifying means specifies that the left-behind detection has occurred within a predetermined range of the person, an imaging direction to be associated with the sensor device using information on a position where the left-behind has occurred; The imaging device according to any one of claims 1 to 3, wherein at least one of a zoom value and a zoom value is determined.
ユーザからの指示に従って、前記決定手段で決定した前記撮像手段の撮像方向、またはズーム値を補正する補正手段を更に備えることを特徴とする請求項1乃至4のいずれか1項に記載の撮像装置。 The imaging apparatus according to any one of claims 1 to 4, further comprising a correction unit that corrects the imaging direction or zoom value of the imaging unit determined by the determination unit in accordance with an instruction from a user. . 前記撮像制御手段は、前記撮像手段をパン・チルト駆動させることで、撮像方向を段階的に変更し、
前記特定手段は、前記段階的に変更された撮像方向の画像データそれぞれから、人物の位置を特定することを特徴とする請求項2に記載の撮像装置。
The imaging control means changes the imaging direction in stages by panning and tilting the imaging means,
3. The imaging apparatus according to claim 2, wherein the specifying means specifies the position of the person from each image data of the stepwise changed imaging direction.
センサデバイスと接続可能であり、撮像手段を備える撮像装置の制御方法であって、
前記センサデバイスから、所定の情報を取得する取得工程と、
前記撮像手段により撮像することで得られる画像データに映る人物の位置を特定する特定工程と、
前記取得工程で前記所定の情報を取得した後に前記特定工程で特定した人物の位置の情報を用いて、前記センサデバイスに対応づける前記撮像手段の撮像方向、またはズーム値の少なくともいずれか一方を決定する決定工程と、
前記決定工程で決定された前記撮像手段の撮像方向、またはズーム値を前記センサデバイスの情報と対応づけて登録する登録工程とを有し、
前記所定の情報は、前記センサデバイスのペアリングの要求の情報、前記センサデバイスの通信開始を示す情報、及び、前記センサデバイスが起動したことを示す情報の内の少なくともいずれかを含む
ことを特徴とする撮像装置の制御方法。
A method for controlling an imaging device that is connectable to a sensor device and includes an imaging means, the method comprising:
an acquisition step of acquiring predetermined information from the sensor device;
a specifying step of specifying the position of a person appearing in image data obtained by imaging with the imaging means;
After acquiring the predetermined information in the acquisition step, at least one of an imaging direction or a zoom value of the imaging means to be associated with the sensor device is determined using information on the position of the person identified in the identification step. a decision process to
a registration step of registering the imaging direction or zoom value of the imaging means determined in the determination step in association with information on the sensor device ;
The predetermined information includes at least one of information on a pairing request for the sensor device, information indicating the start of communication between the sensor device, and information indicating that the sensor device has been activated.
A method for controlling an imaging device, characterized in that:
コンピュータに、請求項7に記載の制御方法を実行させることを特徴とするプログラム。 A program for causing a computer to execute the control method according to claim 7 .
JP2019180967A 2019-09-30 2019-09-30 Imaging device, imaging device control method, and program Active JP7374692B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019180967A JP7374692B2 (en) 2019-09-30 2019-09-30 Imaging device, imaging device control method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019180967A JP7374692B2 (en) 2019-09-30 2019-09-30 Imaging device, imaging device control method, and program

Publications (2)

Publication Number Publication Date
JP2021057835A JP2021057835A (en) 2021-04-08
JP7374692B2 true JP7374692B2 (en) 2023-11-07

Family

ID=75271215

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019180967A Active JP7374692B2 (en) 2019-09-30 2019-09-30 Imaging device, imaging device control method, and program

Country Status (1)

Country Link
JP (1) JP7374692B2 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005026916A (en) 2003-06-30 2005-01-27 Casio Comput Co Ltd Photographing system and program
JP2005301850A (en) 2004-04-15 2005-10-27 Konica Minolta Holdings Inc Monitor camera system
JP2012155531A (en) 2011-01-26 2012-08-16 Secom Co Ltd Complex sensor
JP2015099966A (en) 2013-11-18 2015-05-28 三菱電機株式会社 Imaging system and imaging apparatus
JP2018160822A (en) 2017-03-23 2018-10-11 セコム株式会社 Monitoring system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005026916A (en) 2003-06-30 2005-01-27 Casio Comput Co Ltd Photographing system and program
JP2005301850A (en) 2004-04-15 2005-10-27 Konica Minolta Holdings Inc Monitor camera system
JP2012155531A (en) 2011-01-26 2012-08-16 Secom Co Ltd Complex sensor
JP2015099966A (en) 2013-11-18 2015-05-28 三菱電機株式会社 Imaging system and imaging apparatus
JP2018160822A (en) 2017-03-23 2018-10-11 セコム株式会社 Monitoring system

Also Published As

Publication number Publication date
JP2021057835A (en) 2021-04-08

Similar Documents

Publication Publication Date Title
JP4928275B2 (en) Camera control apparatus and control method thereof
US10796543B2 (en) Display control apparatus, display control method, camera system, control method for camera system, and storage medium
US10404947B2 (en) Information processing apparatus, information processing method, camera system, control method for camera system, and storage medium
US20170251139A1 (en) Image capturing apparatus, external device, image capturing system, method for controlling image capturing apparatus, method for controlling external device, method for controlling image capturing system, and program
JP2008085874A (en) Person monitoring system, and person monitoring method
US7684591B2 (en) Information processing system, information processing apparatus and information processing method, program, and recording medium
US20030202102A1 (en) Monitoring system
JP2001094860A (en) Camera control system, method for controlling camera and storage medium
JPH10210342A (en) Camera control system, video reception device, control method and storage medium
JP2019062575A (en) Control device, control method, and program
JP5868128B2 (en) Information processing apparatus and control method thereof
JP6624800B2 (en) Image processing apparatus, image processing method, and image processing system
JP2019211337A (en) Information processor, system, method for processing information, and program
CN107230240B (en) Shooting method and mobile terminal
JP5677055B2 (en) Surveillance video display device
JP7374692B2 (en) Imaging device, imaging device control method, and program
JP2013065971A (en) Imaging device and control method for imaging device
EP2672694B1 (en) Improved control of an image capturing device
JP2013247461A (en) Camera control device and camera control method
JP5963571B2 (en) Image display device and surveillance camera system
JP7237520B2 (en) Information processing device, information processing method and program
JP2004289779A (en) Mobile body imaging method and mobile body imaging system
JP7191663B2 (en) IMAGING DEVICE, CONTROL METHOD AND PROGRAM
JP6875965B2 (en) Control devices, control methods, programs, and monitoring systems
JP2015133020A (en) Management client device, management system, management method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220915

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230725

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230801

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230915

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230926

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231025

R151 Written notification of patent or utility model registration

Ref document number: 7374692

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151