WO2014174737A1 - 監視装置、監視方法および監視用プログラム - Google Patents
監視装置、監視方法および監視用プログラム Download PDFInfo
- Publication number
- WO2014174737A1 WO2014174737A1 PCT/JP2014/000424 JP2014000424W WO2014174737A1 WO 2014174737 A1 WO2014174737 A1 WO 2014174737A1 JP 2014000424 W JP2014000424 W JP 2014000424W WO 2014174737 A1 WO2014174737 A1 WO 2014174737A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- monitoring device
- crowd
- monitoring
- control unit
- sound source
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
Definitions
- the present invention relates to a monitoring apparatus, a monitoring method, and a monitoring program for controlling a monitoring device according to an input video.
- Various technologies are known for controlling a monitoring device by remote operation and for automatically controlling the device. For example, a technique for automatically changing the shooting range of a camera without the operator operating the camera is also known.
- Patent Document 1 describes an image monitoring apparatus that automatically moves a video camera toward a specific monitoring target.
- the image monitoring apparatus described in Patent Document 1 specifies the direction of a sound source using a plurality of microphones, and changes the imaging direction of the camera to the specified direction.
- FIG. 8 is an explanatory diagram illustrating an example of a situation in which an abnormal situation has occurred.
- the main cause of the occurrence of an abnormal situation or the range where the abnormal situation has occurred is referred to as the epicenter of the abnormal situation.
- the epicenter of an abnormal situation for example, there are criminals with guns and runaway cars.
- a sound source for example, a scream
- the epicenter of the abnormal situation is different from the position of the sound source indicating the abnormal situation.
- the image monitoring apparatus described in Patent Document 1 concentrates monitoring only on the direction of the sound source. Therefore, in the image monitoring apparatus described in Patent Document 1, since the camera cannot be controlled so as to capture a range in which the main cause leading to the generation of the sound source (that is, the epicenter of an abnormal situation) cannot be controlled, There is a problem that the situation regarding can not be monitored properly.
- an object of the present invention is to provide a monitoring apparatus, a monitoring method, and a monitoring program that can appropriately control a device for monitoring a situation that has occurred.
- a monitoring apparatus includes a crowd behavior analysis unit that calculates a movement direction of a crowd from an input image in which the crowd is photographed, and a monitoring device control unit that controls a monitoring device according to the calculated movement direction of the crowd. It is provided with.
- the monitoring method according to the present invention is characterized in that the movement direction of the crowd is calculated from an input image in which the crowd is photographed, and the monitoring device is controlled in accordance with the calculated movement direction of the crowd.
- a monitoring program controls a monitoring device according to a crowd behavior analysis process for calculating a movement direction of a crowd from an input image in which the crowd is photographed, and the calculated movement direction of the crowd.
- a monitoring device control process is executed.
- FIG. FIG. 1 is a block diagram showing a configuration example of a first embodiment of a monitoring apparatus according to the present invention.
- the monitoring apparatus of this embodiment includes a crowd behavior analysis unit 11, a monitoring device control unit 13, and a monitoring device 30.
- the monitoring device 30 is various devices used for monitoring.
- the monitoring device 30 is a camera that captures a monitoring range or a microphone that collects sound in the monitoring range will be described as an example.
- the monitoring device 30 is not limited to a camera or a microphone.
- the monitoring device 30 may be, for example, a vibration sensor that detects movement of a monitoring target, a temperature sensor that measures a human body temperature, an object temperature, or the like.
- the monitoring apparatus illustrated in FIG. 1 describes only one monitoring device 30, the number of the monitoring devices 30 is not limited to one and may be two or more.
- the monitoring apparatus may include a plurality of monitoring devices 30 of the same type.
- the monitoring apparatus may include a plurality of cameras and a plurality of microphones.
- the monitoring device itself does not have to include the monitoring device 30.
- the monitoring device 30 may be configured to control the monitoring device 30 connected via a communication network.
- a camera is used as the monitoring device 30, and the camera inputs the captured video to the crowd behavior analysis unit 11.
- the crowd behavior analysis unit 11 analyzes the behavior of the crowd from an input video obtained by photographing the crowd. Specifically, the crowd behavior analysis unit 11 calculates the movement direction of the crowd and the movement change amount (speed) from the input video.
- the crowd is a set of individuals to be monitored.
- the individuals to be monitored include not only a single person but also a person who moves on a car, a motorcycle, a bicycle, or the like.
- the crowd behavior analysis unit 11 may determine, for example, a group of monitoring targets as a crowd after recognizing each monitoring target. In addition, the crowd behavior analysis unit 11 may learn a crowd pattern appearing in the video in advance and compare the pattern with the input video to determine the crowd.
- the crowd behavior analysis unit 11 may calculate the movement direction and movement change amount of the crowd based on, for example, video feature values calculated from the input video. At this time, the crowd behavior analysis unit 11 may use information representing an apparent movement, such as an optical flow, as the video feature amount. Then, the crowd behavior analysis unit 11 inputs the calculated movement direction and movement change amount of the crowd to the monitoring device control unit 13.
- the method by which the crowd behavior analysis unit 11 calculates the movement direction and movement change amount of the crowd is not limited to the above method. If the method can identify the movement of the crowd from the input video, the crowd behavior analysis unit 11 may calculate the movement direction and the movement change amount of the crowd using other methods.
- the monitoring device control unit 13 controls the monitoring device 30 based on the movement direction of the crowd input from the crowd behavior analysis unit 11.
- controlling the monitoring device 30 means operating according to the function of each monitoring device, or switching the control from the plurality of monitoring devices 30 to a device that performs monitoring.
- controlling the monitoring device 30 so as to be able to monitor a certain direction means that the monitoring device 30 is operated so that an event in a certain direction can be detected based on the function of each monitoring device.
- the monitoring device control unit 13 performs control to switch from the direction currently monitored by the monitoring device 30 to the direction to be monitored. Also good. Even when the monitoring device 30 itself does not have the function of changing the monitoring direction, when the monitoring device 30 monitors various directions using the plurality of monitoring devices 30, the monitoring device control unit 13 Control may be switched from among the monitoring devices 30 to the monitoring device 30 that can monitor the direction to be monitored.
- the monitoring device control unit 13 changes the range that the monitoring device 30 captures according to the movement direction of the crowd.
- the monitoring device control unit 13 changes the sensitivity of the monitoring device 30 according to the moving direction of the crowd.
- the monitoring device control unit 13 may start control of sensors existing in a direction corresponding to the movement direction of the crowd.
- FIG. 2 is an explanatory diagram showing an example of a method for controlling the monitoring device 30 based on the movement direction of the crowd.
- the crowd 41 moves in the moving direction m1 while producing the sound 51
- the crowd 42 moves in the moving direction m2 while producing the sound 51 due to the occurrence of the epicenter 50 of the abnormal situation.
- a camera and a microphone are installed as the monitoring device 30, the camera captures the crowd 41, and the microphone particularly collects sound in the direction of the crowd 41.
- the crowd behavior analysis unit 11 calculates that the crowd 41 is moving in the movement direction m 1, and the movement direction m 1 of the crowd 41 is input to the monitoring device control unit 13.
- the monitoring device control unit 13 may control the monitoring device 30 so as to monitor a direction spatially opposite to the moving direction of the crowd. That is, it can be said that the method illustrated in FIG. 2 is a method for monitoring the epicenter of the abnormal situation (the direction of the movement of the crowd).
- the monitoring device control unit 13 may control the camera so as to change the shooting range in a direction opposite to the moving direction of the crowd.
- the monitoring device control unit 13 may control the microphone so as to increase the sensitivity in the direction opposite to the movement direction of the crowd.
- the monitoring device control unit 13 may change the shooting range in a direction opposite to the movement direction of the crowd to a range that can be shot by the camera.
- the shooting range may be changed to an extent that is out of the shooting range.
- the crowd behavior analysis unit 11 calculates the movement direction of the crowd for each image captured by each camera, and the movement direction of the plurality of crowds is sent to the monitoring device control unit 13. You may enter. And the monitoring device control part 13 may control a camera so that the range which overlaps in the direction opposite to the moving direction of each crowd may be made into an imaging
- the monitoring device control unit 13 may control the directivity of each microphone so that the sound in the direction opposite to the movement direction of the crowd can be detected. By performing such control, the sound of the epicenter of an abnormal situation can be detected with higher accuracy.
- the monitoring device control unit 13 controls a camera that captures a direction opposite to the movement direction of the crowd, or a microphone having high sensitivity in the direction opposite to the movement direction of the crowd. May be switched. By performing such control, even when the monitoring device 30 that cannot change the shooting range and the sound collection sensitivity is used, the situation that has occurred can be appropriately monitored.
- the monitoring device control unit 13 may control not only to change the shooting range and sensitivity in the direction opposite to the movement direction of the crowd, but also to change the monitoring accuracy of the monitoring device 30.
- the monitoring device control unit 13 may control the camera to zoom up (for example, in a direction opposite to the moving direction of the crowd).
- the monitoring device control unit 13 may control the microphone so as to increase the volume (for example, in the direction opposite to the moving direction of the crowd). Note that other methods by which the monitoring device control unit 13 controls the microphone will be described later.
- the method in which the monitoring device control unit 13 controls the monitoring device 30 based on the movement direction of the crowd has been described.
- the movement of the crowd in a certain direction is a phenomenon that occurs even in a steady state.
- the monitoring device control unit 13 controls the monitoring device 30 not only in the movement direction of the crowd but also when the movement change amount satisfies a predetermined criterion (for example, when the movement change amount is larger than a predetermined threshold). You may do it. By doing in this way, the situation which should be monitored can be grasped more appropriately.
- the method of controlling the monitoring device 30 so that the monitoring device control unit 13 can monitor the direction opposite to the movement direction of the crowd has been described.
- the method by which the monitoring device control unit 13 controls the monitoring device 30 is not limited to a method that enables monitoring in the direction opposite to the movement direction of the crowd.
- the monitoring device control unit 13 may control the monitoring device 30 so that the moving direction of the crowd can be monitored.
- FIG. 3 is an explanatory diagram showing an example of another method for controlling the monitoring device 30 based on the movement direction of the crowd.
- the method illustrated in FIG. 3 is different from the method illustrated in FIG. 2 in that the monitoring device controller 13 controls the monitoring device 30 so that the movement direction of the crowd can be monitored. That is, it can be said that the method illustrated in FIG. 3 is a method for monitoring whether the range 52 in the evacuation direction of the crowd is safe.
- the monitoring device control unit 13 may control the camera so as to change the shooting range in the moving direction of the crowd.
- the monitoring device control unit 13 may control the microphone so as to increase the sensitivity in the movement direction of the crowd.
- the monitoring device control unit 13 may control the monitoring device 30 so as to monitor a predetermined direction with respect to the movement direction of the crowd.
- the monitoring device control unit 13 controls the monitoring device 30 so that it can monitor both the movement direction of the crowd and the direction opposite to the movement direction of the crowd. May be. Specifically, the monitoring device control unit 13 controls the camera so that the shooting accuracy of the range along the movement direction of the crowd out of the range shot by the camera capable of shooting at 360 degrees is higher. Good.
- the monitoring device control unit 13 may perform control to switch to a camera that captures the moving direction of the crowd and a camera that captures a direction opposite to the moving direction of the crowd. Good.
- the monitoring device control unit 13 reciprocates the movement direction of the crowd and the direction opposite to the movement direction of the crowd so as to capture both ranges. May be controlled. These controls are also applicable to a microphone.
- the monitoring device control unit 13 controls the monitoring device 30 to give identification information indicating the content of the data to the data (for example, video data, sound data, etc.) acquired by each monitoring device 30. Also good.
- the monitoring device control unit 13 may add labels such as “crowd movement source” and “crowd movement destination”, a device ID, a position where the monitoring device is installed, and the like as identification information to each data. .
- the monitoring device control unit 13 displays information indicating the event (for example, “abnormal situation (Seismic source ”,“ crowd destination area ”,“ flash detection ”, etc.), likelihood of the event, etc. may be attached to each data. By giving such identification information, it becomes easy to later extract necessary information from the monitoring data.
- the crowd behavior analysis unit 11 and the monitoring device control unit 13 are realized by a CPU of a computer that operates according to a program (monitoring program).
- the program may be stored in a storage unit (not shown) of the monitoring device, and the CPU may read the program and operate as the crowd behavior analysis unit 11 and the monitoring device control unit 13 according to the program.
- the crowd behavior analysis unit 11 and the monitoring device control unit 13 may each be realized by dedicated hardware.
- FIG. 4 is a flowchart illustrating an operation example of the monitoring apparatus according to the present embodiment.
- a camera that is one of the monitoring devices 30 captures a video of the monitoring range and inputs the captured video to the crowd behavior analysis unit 11 (step S11).
- the crowd behavior analysis unit 11 identifies the crowd from the input video and calculates the movement direction of the crowd (step S12). At this time, the crowd behavior analysis unit 11 may also calculate the movement change amount of the crowd.
- the monitoring device control unit 13 controls the monitoring device 30 according to the calculated moving direction (step S13). At this time, the monitoring device control unit 13 may control the monitoring device 30 when the calculated movement change amount satisfies a predetermined criterion.
- the crowd behavior analysis unit 11 calculates the movement direction of the crowd from the input video in which the crowd is photographed, and the monitoring device control unit 13 calculates the calculated movement direction of the crowd. Accordingly, the monitoring device 30 is controlled. Therefore, it is possible to appropriately control the device for monitoring the situation that has occurred.
- the monitoring apparatus controls the monitoring device by calculating the moving direction of the crowd from an image of the crowd taken. Therefore, even when the range that can be monitored by each device is narrow, the situation that has occurred can be appropriately monitored.
- Embodiment 2 a second embodiment of the monitoring device according to the present invention will be described. Similar to the monitoring apparatus of the first embodiment, the monitoring apparatus of the present embodiment appropriately controls a device for monitoring a situation that has occurred. Furthermore, when the crowd moves together with the sound sources detected from the monitoring range, the monitoring device according to the present embodiment can appropriately monitor the cause of the movement of the crowd (that is, the epicenter). is there.
- FIG. 5 is a block diagram showing a configuration example of the second embodiment of the monitoring apparatus according to the present invention.
- symbol same as FIG. 1 is attached
- subjected and description is abbreviate
- the monitoring apparatus of this embodiment includes a crowd behavior analysis unit 11, an environmental sound analysis unit 12, a monitoring device control unit 13, and a monitoring device 30. That is, the monitoring device of the present embodiment is different from the monitoring device of the first embodiment in that the environmental sound analysis unit 12 is provided.
- a microphone is also used as the monitoring device 30, and the microphone collects sound within the monitoring range (hereinafter referred to as environmental sound) and inputs the sound to the environmental sound analysis unit 12.
- the environmental sound analysis unit 12 analyzes sound sources included in the sound in the monitoring range (that is, environmental sound). Specifically, the environmental sound analysis unit 12 analyzes the sound source detected from the monitoring range, determines the direction of the sound source, and identifies the type of the sound source, the volume of the sound of the sound source, and the like.
- the result of identifying the content of the sound source such as the type of the sound source and the volume of the sound source, will be referred to as a sound source identification result.
- the environmental sound analysis unit 12 may analyze a sound source indicating an abnormal situation, for example.
- sound sources that indicate an abnormal situation include screams, automobile sounds (for example, engine sounds, exhaust sounds, slip sounds, etc.), various explosion sounds, gunshots, and glass breaking sounds. Note that a method for determining the direction of a sound source and a method for identifying the content of a sound source based on the sound collection result are widely known, and thus detailed description thereof is omitted here.
- the environmental sound analysis unit 12 may periodically input an analysis result regarding the sound source such as a sound source direction and a sound source identification result to the monitoring device control unit 13.
- an analysis result regarding the sound source such as a sound source direction and a sound source identification result
- the environmental sound analysis unit 12 recognizes a predetermined type of sound source (for example, a sound source indicating an abnormal situation)
- the environmental sound analysis unit 12 inputs the result of recognizing the sound source and the direction of the sound source to the monitoring device control unit 13. May be.
- the environmental sound analysis unit 12 is realized by a CPU of a computer that operates according to a program (monitoring program), for example.
- the monitoring device control unit 13 controls the monitoring device 30 based on the direction of the sound source input from the environmental sound analysis unit 12 or the sound source identification result. For example, the monitoring device control unit 13 may start processing of each monitoring device 30 in the case of a predetermined type of sound source such as a sound source indicating an abnormal situation.
- the monitoring device control unit 13 may determine which of the movement directions of the crowd is controlled so that the monitoring device 30 can be monitored based on the sound source identification result.
- the monitoring device control unit 13 may control the directivity of each microphone so that the sound of the direction of the input sound source can be detected more. By performing such control, the superdirective microphone function can be realized, so that the sound monitoring accuracy of the sound source can be further increased.
- the monitoring device control unit 13 may start shooting when a sound source identification result indicating that a predetermined type of sound source is detected is input. Moreover, the monitoring device control part 13 may perform control which changes the imaging
- the monitoring device control unit 13 may start sensor processing based on the sound source identification result.
- the monitoring device control unit 13 may control not only to turn on / off the monitoring device 30 but also to change the monitoring accuracy of the monitoring device 30.
- the monitoring device control unit 13 may control the monitoring device 30 so as to change the accuracy of sound collection.
- the monitoring device control unit 13 may change the data format based on the sound source identification result. For example, when the sound of the identified sound source is small, the monitoring device control unit 13 may control the monitoring device 30 to change the number of quantization bits (for example, change from 16 bits to 24 bits). For example, when it is determined that it is necessary to detect a high frequency sound according to the identification result, the monitoring device control unit 13 changes the sampling rate (for example, sampling from 16 kHz to CD sound quality (44. The monitoring device 30 may be controlled to change to sampling at 1 kilohertz). By performing such control, the content of the generated sound source can be monitored more appropriately.
- the number of quantization bits for example, change from 16 bits to 24 bits.
- the monitoring device control unit 13 changes the sampling rate (for example, sampling from 16 kHz to CD sound quality (44.
- the monitoring device 30 may be controlled to change to sampling at 1 kilohertz). By performing such control, the content of the generated sound source can be monitored more appropriately.
- FIG. 6 is a flowchart illustrating an operation example of the monitoring apparatus according to the present embodiment. In this operation example, it is assumed that a camera and a microphone are used for the monitoring device 30.
- the environmental sound analysis unit 12 analyzes the environmental sound and determines whether or not a sound source indicating an abnormal situation is included (step S21). When it is determined that the sound source indicating an abnormal situation is not included in the environmental sound (No in step S21), the environmental sound analysis unit 12 repeats the process of step S21. On the other hand, if the environmental sound includes a sound source indicating an abnormal situation (Yes in step S21), the environmental sound analysis unit 12 inputs the direction of the sound source and the sound source identification result to the monitoring device control unit 13 (step) S22).
- the monitoring device control unit 13 performs control to change the shooting range of the camera based on the input direction of the sound source so that the camera as the monitoring device 30 can capture the direction of the sound source (step S23).
- the camera captures an image of the shooting range and inputs the captured image to the crowd behavior analysis unit 11 (step S24). Thereafter, the operation of calculating the movement direction of the crowd from the input video and controlling the monitoring device 30 is the same as the processing from step S12 to step S13 illustrated in FIG.
- the environmental sound analysis unit 12 analyzes the sound source detected from the monitoring range, calculates at least one of the direction of the sound source and the sound source identification result, and the monitoring device.
- the control unit 13 controls the monitoring device 30 based on the direction of the sound source or the sound source identification result. Therefore, in addition to the effect of the first embodiment, it is possible to more appropriately determine whether or not the event should be monitored.
- the environmental sound analysis unit 12 analyzes the environmental sound, the analysis result can be used as a trigger for monitoring various events.
- FIG. 7 is a block diagram showing an overview of the monitoring apparatus according to the present invention.
- the monitoring apparatus according to the present invention includes a crowd behavior analysis unit 81 (for example, a crowd behavior analysis unit 11) that calculates a movement direction of the crowd from an input video in which the crowd is photographed, and a calculated crowd movement direction. And a monitoring device control unit 82 (for example, the monitoring device control unit 13) that controls the monitoring device (for example, the monitoring device 30, a camera, a microphone, and the like).
- a crowd behavior analysis unit 81 for example, a crowd behavior analysis unit 11
- a monitoring device control unit 13 controls the monitoring device (for example, the monitoring device 30, a camera, a microphone, and the like).
- the monitoring device control unit 82 may control the monitoring device so that the calculated movement direction of the crowd or a direction opposite to the movement direction can be monitored. For example, by controlling the monitoring device so that the movement direction of the crowd can be monitored, it is possible to monitor whether the range of the evacuation direction of the crowd is safe. Further, for example, by controlling the monitoring device so that the direction opposite to the movement direction of the crowd can be monitored, the epicenter of the abnormal situation (the movement direction of the crowd) can be monitored.
- the monitoring device analyzes a sound source detected from the monitoring range and calculates at least one of the sound source identification result indicating the direction of the sound source and the content of the sound source (for example, the environmental sound analysis unit) 12) may be provided.
- the monitoring device control unit 82 may control the monitoring device based on the direction of the sound source or the sound source identification result. With such a configuration, it is possible to more appropriately determine whether or not the event should be monitored. Furthermore, with such a configuration, the analysis result by the sound source analysis unit can be used as a trigger for monitoring various events.
- the monitoring device control unit 82 may control the monitoring device when the sound source identification result indicates the content of a predetermined sound source (for example, a sound source indicating an abnormal situation). Even with such a configuration, an event to be monitored can be determined more appropriately.
- a predetermined sound source for example, a sound source indicating an abnormal situation
- the crowd behavior analysis unit 81 calculates the movement change amount of the crowd from the input video, and the monitoring device control unit 82 determines that the movement change amount satisfies a predetermined criterion (for example, the movement change amount has a predetermined threshold value).
- the monitoring device may be controlled. With such a configuration, an event to be monitored can be determined more appropriately.
- the monitoring device control unit 82 identifies a direction to be monitored according to the calculated movement direction of the crowd, and switches control from a plurality of monitoring devices to a monitoring device capable of monitoring the direction to be monitored. May be. With such a configuration, even if the monitoring device itself cannot change the monitoring range, the range in which the event has occurred can be appropriately monitored by linking a plurality of monitoring devices.
- the monitoring device control unit 82 identifies the direction to be monitored according to the calculated movement direction of the crowd, and switches the monitoring direction from the direction currently monitored by the monitoring device to the direction to be monitored. Control may be performed. With such a configuration, if the monitoring device itself can change the monitoring range, the range in which the event has occurred can be appropriately monitored.
- the monitoring device control unit 82 may give identification information indicating the content of the data to the data acquired by the monitoring device by controlling the monitoring device. By giving such identification information, it becomes easy to later extract necessary information from the monitoring data.
- the monitoring device may be an imaging device (for example, a camera) that can capture the monitoring range.
- the crowd behavior analysis unit 81 calculates the movement direction of the crowd from the input video imaged by the imaging device, and the monitoring device control unit 82 determines the shooting range of the imaging device according to the calculated movement direction of the crowd. May be controlled.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Alarm Systems (AREA)
- Emergency Alarm Devices (AREA)
Abstract
本発明による監視装置は、群衆行動分析部81と、監視用デバイス制御部82とを備えており、群衆行動分析部81は、群衆が撮影された入力映像からその群衆の移動方向を算出し、監視用デバイス制御部82は、算出された群衆の移動方向に応じて、監視用デバイスを制御する。
Description
本発明は、入力される映像に応じて監視用のデバイスを制御する監視装置、監視方法および監視用プログラムに関する。
監視用のデバイスを遠隔操作で制御する技術や、そのデバイスの制御を自動で行う技術が各種知られている。例えば、監視者がカメラを操作せずに、カメラの撮影範囲を自動で変化させる技術も知られている。
特許文献1には、特定の監視対象に向けて自動的にビデオカメラを動かす画像監視装置が記載されている。特許文献1に記載された画像監視装置は、複数のマイクを用いて音源の方位を特定し、その特定した方位にカメラの撮像方向を変化させる。
しかし、特許文献1に記載された画像監視装置により特定される音源の方位が必ずしも監視対象になるとは限らない。図8は、異常事態が発生した状況の例を示す説明図である。以下、異常事態が発生した主原因、または、異常事態が発生した範囲のことを、異常事態の震源と記す。異常事態の震源として、例えば、銃を持つ犯罪者や暴走車の存在が挙げられる。
異常事態が発生すると、異常事態の震源以外の位置で異常事態を示す音源(例えば、悲鳴など)が発生することがある。この場合、異常事態の震源と、異常事態を示す音源の位置は異なることになる。このような場合であっても、特許文献1に記載された画像監視装置は、音源の方位にのみ監視を集中してしまう。したがって、特許文献1に記載された画像監視装置では、その音源が発生するに至った主原因が存在する範囲(すなわち、異常事態の震源)を撮影するようにカメラを制御できないため、発生した事態に関する状況を適切に監視できないという問題がある。
そこで、本発明は、発生した事態を監視するためのデバイスを適切に制御できる監視装置、監視方法および監視用プログラムを提供することを目的とする。
本発明による監視装置は、群衆が撮影された入力映像からその群衆の移動方向を算出する群衆行動分析部と、算出された群衆の移動方向に応じて、監視デバイスを制御する監視デバイス制御部とを備えたことを特徴とする。
本発明による監視方法は、群衆が撮影された入力映像からその群衆の移動方向を算出し、算出された群衆の移動方向に応じて、監視デバイスを制御することを特徴とする。
本発明による監視用プログラムは、コンピュータに、群衆が撮影された入力映像からその群衆の移動方向を算出する群衆行動分析処理、および、算出された群衆の移動方向に応じて、監視デバイスを制御する監視デバイス制御処理を実行させることを特徴とする。
本発明によれば、発生した事態を監視するためのデバイスを適切に制御できる。
以下、本発明の実施形態を図面を参照して説明する。
実施形態1.
図1は、本発明による監視装置の第1の実施形態の構成例を示すブロック図である。本実施形態の監視装置は、群衆行動分析部11と、監視デバイス制御部13と、監視デバイス30とを備えている。
図1は、本発明による監視装置の第1の実施形態の構成例を示すブロック図である。本実施形態の監視装置は、群衆行動分析部11と、監視デバイス制御部13と、監視デバイス30とを備えている。
監視デバイス30は、監視をするために用いられる各種デバイスである。以下では、監視デバイス30が、監視範囲を撮影するカメラや、監視範囲の音を集音するマイクロフォンである場合を例に説明する。ただし、監視デバイス30は、カメラやマイクロフォンに限定されない。監視デバイス30は、例えば、監視対象の動きを検知する振動センサや、人の体温や物体の温度などを計測する温度センサなどであってもよい。
また、図1に例示する監視装置は、監視デバイス30を1台だけ記載しているが、監視デバイス30の台数は1台に限られず、2台以上あってもよい。また、監視装置は、同じ種類の監視デバイス30を複数備えていてもよい。例えば、監視デバイス30にカメラやマイクロフォンが用いられる場合、監視装置は、複数のカメラおよび複数のマイクロフォンを備えていてもよい。
また、監視装置自身が監視デバイス30を備えていなくてもよい。例えば、監視装置が通信ネットワークを介して接続される監視デバイス30を制御する構成でもよい。また、本実施形態では、監視デバイス30にカメラが用いられ、そのカメラは、撮影した映像を群衆行動分析部11に入力する。
群衆行動分析部11は、群衆を撮影した入力映像から、その群衆の行動を分析する。具体的には、群衆行動分析部11は、入力映像から群衆の移動方向や、その移動変化量(スピード)を算出する。ここで、群衆とは、監視対象とする個の集合である。本実施形態では、監視対象とする個には、単体の人だけでなく、例えば、車やオートバイ、自転車等に乗って移動する人なども含まれる。
群衆行動分析部11は、例えば、個々の監視対象を認識したあとで、その監視対象のまとまりを群衆と判定してもよい。また、群衆行動分析部11は、映像に現れる群衆のパターンを予め学習しておき、そのパターンと入力映像とを比較して群衆を判定してもよい。
また、群衆行動分析部11は、例えば、入力映像から算出される映像特徴量に基づいて、群衆の移動方向や移動変化量を算出してもよい。このとき、群衆行動分析部11は、オプティカルフローなど、見かけの動きを表わす情報を映像特徴量として用いてもよい。そして、群衆行動分析部11は、算出した群衆の移動方向および移動変化量を監視デバイス制御部13に入力する。
なお、群衆行動分析部11が群衆の移動方向や移動変化量を算出する方法は、上記方法に限定されない。入力映像から群衆の動きを特定可能な方法であれば、群衆行動分析部11は、他の方法を用いて群衆の移動方向や移動変化量を算出してもよい。
監視デバイス制御部13は、群衆行動分析部11から入力される群衆の移動方向に基づいて、監視デバイス30を制御する。ここで、監視デバイス30を制御するとは、各監視デバイスが有する機能に応じて動作させることや、複数の監視デバイス30の中から監視を行うデバイスへ制御を切り替えることを意味する。また、監視デバイス30を制御してある方向を監視できるようにするとは、各監視デバイスが有する機能に基づいてある方向の事象を検出できるように動作させることを言う。
具体的には、監視デバイス30自身が監視方向を変更できる機能を有する場合、監視デバイス制御部13は、その監視デバイス30が現在監視している方向から、監視すべき方向へ切り替える制御を行ってもよい。また、監視デバイス30自身が監視方向を変更できる機能を有していない場合であっても、複数の監視デバイス30を用いて様々な方向を監視している場合、監視デバイス制御部13は、それらの監視デバイス30の中から、監視すべき方向を監視可能な監視デバイス30に制御を切り替えるようにしてもよい。
例えば、監視デバイス30がカメラの場合、監視デバイス制御部13は、監視デバイス30が撮影する範囲を群衆の移動方向に応じて変化させる。また、例えば、監視デバイス30がマイクロフォンの場合、監視デバイス制御部13は、監視デバイス30の感度を群衆の移動方向に応じて変化させる。
また、例えば、監視デバイス30が震度センサや温度センサの場合、監視デバイス制御部13は、群衆の移動方向に応じた方向に存在するセンサの制御を開始させてもよい。
図2は、群衆の移動方向に基づいて監視デバイス30を制御する方法の例を示す説明図である。図2に示す例では、異常事態の震源50が発生したことにより、群衆41が音声51を発しながら移動方向m1に移動し、群衆42が音声51を発しながら移動方向m2に移動したとする。また、図2に示す例では、監視デバイス30として、カメラおよびマイクロフォンが設置され、カメラが群衆41を撮影しており、マイクロフォンが群衆41の方向の音を特に集音しているとする。この場合、群衆行動分析部11によって群衆41が移動方向m1に移動していることが算出され、その群衆41の移動方向m1が監視デバイス制御部13に入力される。
ここで、群衆が特定の方向から離れて急に移動している事象が検出された場合、その元となる方向に何らかの原因(ここでは、異常事態の震源)があると想定される。そこで、監視デバイス制御部13は、群衆の移動方向と空間的に反対の方向を監視できるように監視デバイス30を制御してもよい。すなわち、図2に例示する方法は、異常事態の震源(群衆の移動元方向)を監視する方法であると言える。
例えば、監視デバイス30がカメラの場合、監視デバイス制御部13は、群衆の移動方向と反対方向に撮影範囲を変化させるようにカメラを制御してもよい。また、例えば、監視デバイス30がマイクロフォンの場合、監視デバイス制御部13は、群衆の移動方向と反対方向の感度を高くするようにマイクロフォンを制御してもよい。
例えば、監視装置がカメラを1台のみ備えている場合、監視デバイス制御部13は、群衆の移動方向と反対方向に、そのカメラが撮影可能な範囲まで撮影範囲を変化させてもよく、現在の撮影範囲から外れる程度まで撮影範囲を変化させてもよい。
また、監視装置がカメラを複数台備えている場合、群衆行動分析部11は、各カメラが撮影した映像ごとに群衆の移動方向を算出し、複数の群衆の移動方向を監視デバイス制御部13に入力してもよい。そして、監視デバイス制御部13は、各群衆の移動方向とは反対の方向で重なる範囲を撮影範囲とするようにカメラを制御してもよい。
また、例えば、監視装置がマイクロフォンを複数台備えている場合、監視デバイス制御部13は、群衆の移動方向と反対方向の音をより検出できるように各マイクロフォンの指向性を制御してもよい。このような制御を行うことで、異常事態の震源の音を、より精度高く検出できる。
また、監視装置がカメラやマイクを複数台備えている場合、監視デバイス制御部13は、群衆の移動方向と反対方向を撮影するカメラや、群衆の移動方向と反対方向の感度が高いマイクロフォンに制御を切り替えてもよい。このような制御を行うことにより、撮影範囲や集音感度を変更できない監視デバイス30を用いている場合であっても、発生した事態を適切に監視できる。
さらに、監視デバイス制御部13は、群衆の移動方向と反対方向に撮影範囲や感度を変更させるだけでなく、監視デバイス30の監視精度を変更するように制御してもよい。例えば、監視デバイス30がカメラの場合、監視デバイス制御部13は、(例えば、群衆の移動方向と反対方向に)ズームアップするようカメラを制御してもよい。
また、例えば、監視デバイス30がマイクロフォンの場合、監視デバイス制御部13は、(例えば、群衆の移動方向と反対方向の)ボリュームを大きくするようにマイクロフォンを制御してもよい。なお、監視デバイス制御部13がマイクロフォンを制御する他の方法は、後述される。
上記説明では、監視デバイス制御部13が群衆の移動方向に基づいて、監視デバイス30を制御する方法を説明した。一方、群衆が一定の方向に移動することは、定常状態でも、生じる現象である。
しかし、例えば、群衆の移動変化量が大きい場合、その群衆は急な移動をしていると考えられ、異常事態が発生したことが想定される。例えば、テロリズムが発生した場合、群衆は避難目的で急に走り出すことが考えられる。そこで、監視デバイス制御部13は、群衆の移動方向だけでなく、移動変化量が所定の基準を満たす場合(例えば、移動変化量が所定の閾値よりも大きい場合)に、監視デバイス30を制御するようにしてもよい。このようにすることで、監視すべき事態をより適切に捉えることができる。
また、上記説明では、監視デバイス制御部13が、群衆の移動方向と反対方向を監視できるように監視デバイス30を制御する方法を説明した。ただし、監視デバイス制御部13が、監視デバイス30を制御する方法は、群衆の移動方向と反対方向を監視できるようにする方法に限定されない。
例えば、異常事態の震源を監視することも重要であるが、群衆の移動先の安全性を監視することも重要である。そこで、監視デバイス制御部13は、群衆の移動方向を監視できるように監視デバイス30を制御してもよい。
図3は、群衆の移動方向に基づいて監視デバイス30を制御する他の方法の例を示す説明図である。図3に例示する方法は、図2に例示する方法と比較して、監視デバイス制御部13が群衆の移動方向を監視できるように監視デバイス30を制御している点において異なる。すなわち、図3に例示する方法は、群衆の避難方向の範囲52が安全か監視する方法であると言える。
例えば、監視デバイス30がカメラの場合、監視デバイス制御部13は、群衆の移動方向に撮影範囲を変化させるようにカメラを制御してもよい。また、例えば、監視デバイス30がマイクロフォンの場合、監視デバイス制御部13は、群衆の移動方向の感度を高くするようにマイクロフォンを制御してもよい。
なお、どちらの方向に監視デバイス30を制御するかは任意である。監視デバイス制御部13は、群衆の移動方向に対して予め定めた方向を監視できるように監視デバイス30を制御してもよい。
また、監視デバイス30が360度撮影可能なカメラの場合、監視デバイス制御部13は、群衆の移動方向、および、群衆の移動方向と反対方向のいずれの方向も監視できるように監視デバイス30を制御してもよい。具体的には、監視デバイス制御部13は、360度撮影可能なカメラが撮影する範囲のうち、群衆の移動方向に沿った範囲の撮影精度をより高くするように、そのカメラを制御してもよい。
また、監視装置がカメラを複数台備えている場合、監視デバイス制御部13は、群衆の移動方向を撮影するカメラ、および、群衆の移動方向と反対方向を撮影するカメラに切り替える制御を行ってもよい。また、監視装置がカメラを1台のみ備えている場合、監視デバイス制御部13は、群衆の移動方向、および、群衆の移動方向と反対方向を往復させて、両方の範囲を撮影できるようにカメラを制御してもよい。これらの制御は、マイクロフォンの場合にも同様に適用可能である。
さらに、監視デバイス制御部13は、監視デバイス30を制御することにより、各監視デバイス30が取得したデータ(例えば、映像データ、音データなど)に、そのデータの内容を示す識別情報を付与してもよい。監視デバイス制御部13は、例えば、「群衆の移動元」や「群衆の移動先」といったラベルや、デバイスID、監視デバイスが設置されている位置などを識別情報として各データに付与してもよい。
また、群衆行動分析部11が入力映像から事象を特定している場合(または、蓋然性が高い事象を検出した場合)、監視デバイス制御部13は、その事象を示す情報(例えば、「異常事態の震源」、「群衆の移動先エリア」、「フラッシュの検出」など)や、その事象の尤度などを各データに付与してもよい。このような識別情報を付与することにより、後に監視データの中から必要な情報を抽出することが容易になる。
群衆行動分析部11と、監視デバイス制御部13とは、プログラム(監視用プログラム)に従って動作するコンピュータのCPUによって実現される。例えば、プログラムは、監視装置の記憶部(図示せず)に記憶され、CPUは、そのプログラムを読み込み、プログラムに従って、群衆行動分析部11および監視デバイス制御部13として動作してもよい。また、群衆行動分析部11と、監視デバイス制御部13とは、それぞれが専用のハードウェアで実現されていてもよい。
次に、本実施形態の監視装置の動作の一例を説明する。図4は、本実施形態の監視装置の動作例を示すフローチャートである。まず、監視デバイス30の1つであるカメラが、監視範囲の映像を撮影し、群衆行動分析部11に撮影した映像を入力する(ステップS11)。群衆行動分析部11は、入力映像から群衆を特定し、その群衆の移動方向を算出する(ステップS12)。このとき、群衆行動分析部11は、群衆の移動変化量を併せて算出してもよい。そして、監視デバイス制御部13は、算出された移動方向に応じて監視デバイス30を制御する(ステップS13)。このとき、監視デバイス制御部13は、算出された移動変化量が予め定めた基準を満たす場合に、監視デバイス30を制御するようにしてもよい。
以上のように、本実施形態によれば、群衆行動分析部11が、群衆が撮影された入力映像からその群衆の移動方向を算出し、監視デバイス制御部13が、算出された群衆の移動方向に応じて、監視デバイス30を制御する。よって、発生した事態を監視するためのデバイスを適切に制御できる。
一般に、監視デバイス1台で広い範囲を監視できることが望ましい。その一方で、各監視デバイスが監視できる範囲には限界がある。しかし、本実施形態の監視装置は、群衆が撮影された映像から群衆の移動方向を算出して監視デバイスを制御する。そのため、個々のデバイスが監視可能な範囲が狭い場合であっても、発生した事態を適切に監視することができる。
実施形態2.
次に、本発明による監視装置の第2の実施形態を説明する。本実施形態の監視装置は、第1の実施形態の監視装置と同様、発生した事態を監視するためのデバイスを適切に制御するものである。さらに、本実施形態の監視装置は、監視範囲から検出される音源とともに群衆が移動する場合に、その群衆が移動することとなった原因(すなわち、震源)を適切に監視できるようにするものである。
次に、本発明による監視装置の第2の実施形態を説明する。本実施形態の監視装置は、第1の実施形態の監視装置と同様、発生した事態を監視するためのデバイスを適切に制御するものである。さらに、本実施形態の監視装置は、監視範囲から検出される音源とともに群衆が移動する場合に、その群衆が移動することとなった原因(すなわち、震源)を適切に監視できるようにするものである。
図5は、本発明による監視装置の第2の実施形態の構成例を示すブロック図である。なお、第1の実施形態と同様の構成については、図1と同一の符号を付し、説明を省略する。本実施形態の監視装置は、群衆行動分析部11と、環境音分析部12と、監視デバイス制御部13と、監視デバイス30とを備えている。すなわち、本実施形態の監視装置は、環境音分析部12を備えている点において、第1の実施形態の監視装置と異なる。
また、本実施形態では、監視デバイス30にマイクロフォンも用いられ、そのマイクロフォンは、監視範囲の音(以下、環境音と記す。)を集音し、その音を環境音分析部12に入力する。
環境音分析部12は、監視範囲の音(すなわち、環境音)に含まれる音源を分析する。具体的には、環境音分析部12は、監視範囲から検出される音源を分析して、音源の方位を判定し、また、音源の種類や音源の音の大きさなどを識別する。以下、音源の種類や音源の音の大きさなど、音源の内容を識別する結果のことを音源識別結果と記す。
環境音分析部12は、例えば、異常事態を示す音源を分析してもよい。異常事態を示す音源として、悲鳴、自動車音(例えば、エンジン音、排気音、スリップ音など)、各種爆発音、銃声、ガラスの割れる音などが挙げられる。なお、集音結果に基づいて、音源の方位を判定する方法や、音源の内容を識別する方法は広く知られているため、ここでは詳細な説明は省略する。
環境音分析部12は、音源方位や音源識別結果など、音源に関する分析結果を定期的に監視デバイス制御部13に入力してもよい。また、環境音分析部12は、所定の種類の音源(例えば、異常事態を示す音源)を認識したときに、その音源を認識した結果とその音源の方位とを監視デバイス制御部13に入力してもよい。なお、環境音分析部12は、例えば、プログラム(監視用プログラム)に従って動作するコンピュータのCPUによって実現される。
監視デバイス制御部13は、環境音分析部12から入力される音源の方位または音源の識別結果に基づいて、監視デバイス30を制御する。監視デバイス制御部13は、例えば、異常事態を示す音源など、所定の種類の音源の場合に、各監視デバイス30の処理を開始させるようにしてもよい。
また、監視デバイス制御部13は、音源の識別結果に基づいて、群衆の移動方向のうち、どちらの移動方向を監視できるように監視デバイス30を制御するか決定してもよい。
また、例えば、監視装置がマイクロフォンを複数台備えている場合、監視デバイス制御部13は、入力される音源の方位の音をより検出できるように各マイクロフォンの指向性を制御してもよい。このような制御を行うことで、超指向性マイクロフォンの機能を実現できるため、音源の音の監視精度をより高めることができる。
また、例えば、監視デバイス30がカメラの場合、監視デバイス制御部13は、所定の種類の音源を検出したことを示す音源識別結果が入力されたときに、撮影を開始するようにしてもよい。また、監視デバイス制御部13は、このような音源識別結果が入力されたとき、音源方位にカメラの撮影範囲を変更する制御を行ってもよい。このような制御を行うことにより、異常事態の発生を知らせる群衆を特定できる。このような群衆が特定できれば、群衆行動分析部11が第1の実施形態で示したように、この撮影範囲を基準として群衆の移動方向を算出できる。この群衆の移動方向に基づいて監視デバイス制御部13が、各監視デバイス30を制御することで、発生した事態をより適切に監視できるようになる。
また、例えば、監視デバイス30が振動センサや温度センサなどの場合、監視デバイス制御部13は、音源の識別結果に基づいて、センサ処理を開始させてもよい。
また、監視デバイス制御部13は、監視デバイス30のオン/オフを制御するだけでなく、監視デバイス30の監視精度を変更するように制御してもよい。例えば、監視デバイス30がマイクロフォンの場合、監視デバイス制御部13は、集音の精度を変更するように監視デバイス30を制御してもよい。
具体的には、監視デバイス制御部13は、音源識別結果に基づいてデータフォーマットを変更するようにしてもよい。例えば、識別した音源の音が小さい場合、監視デバイス制御部13は、量子化ビット数を変更(例えば、16ビットから24ビットへの変更)するように監視デバイス30を制御してもよい。また、例えば、識別結果に応じて高域の音を検出することが必要と判断された場合、監視デバイス制御部13は、サンプリングレートを変更(例えば、16キロヘルツでのサンプリングからCD音質(44.1キロヘルツ)でのサンプリングに変更)するように監視デバイス30を制御してもよい。このような制御を行うことで、発生した音源の内容をより適切に監視できるようになる。
次に、本実施形態の監視装置の動作の一例を説明する。図6は、本実施形態の監視装置の動作例を示すフローチャートである。本動作例では、監視デバイス30にカメラおよびマイクロフォンが用いられるとする。
環境音分析部12は、環境音を分析し、異常事態を示す音源が含まれるか否か判断する(ステップS21)。環境音に異常事態を示す音源が含まれないと判定した場合(ステップS21におけるNo)、環境音分析部12は、ステップS21の処理を繰り返す。一方、環境音に異常事態を示す音源が含まれている場合(ステップS21におけるYes)、環境音分析部12は、その音源の方位と音源識別結果とを監視デバイス制御部13に入力する(ステップS22)。
監視デバイス制御部13は、入力された音源の方位に基づいて、監視デバイス30であるカメラがその音源の方位を撮影できるように、そのカメラの撮影範囲を変更させる制御を行う(ステップS23)。カメラは、その撮影範囲の映像を撮影し、撮影した映像を群衆行動分析部11に入力する(ステップS24)。以降、入力された映像から群衆の移動方向を算出して、監視デバイス30を制御する動作は、図4に例示するステップS12からステップS13までの処理と同様である。
以上のように、本実施形態によれば、環境音分析部12が、監視範囲から検出される音源を分析して、その音源の方位と音源識別結果のうちの少なくとも一方を算出し、監視デバイス制御部13が、音源の方位または音源識別結果に基づいて、監視デバイス30を制御する。そのため、第1の実施形態の効果に加え、監視すべき事象か否かをより適切に判断できるようになる。また、本実施形態では、環境音分析部12が、環境音を分析しているため、分析結果を、様々な事象を監視するトリガとして利用することが可能になる。
次に、本発明の概要を説明する。図7は、本発明による監視装置の概要を示すブロック図である。本発明による監視装置は、群衆が撮影された入力映像からその群衆の移動方向を算出する群衆行動分析部81(例えば、群衆行動分析部11)と、算出された群衆の移動方向に応じて、監視デバイス(例えば、監視デバイス30、カメラ、マイクロフォンなど)を制御する監視デバイス制御部82(例えば、監視デバイス制御部13)とを備えている。
そのような構成により、発生した事態を監視するためのデバイスを適切に制御できる。したがって、対象とする事象を適切に監視できる。
また、監視デバイス制御部82は、算出された群衆の移動方向またはその移動方向と反対方向を監視できるように監視デバイスを制御してもよい。例えば、群衆の移動方向を監視できるように監視デバイスを制御することで、群衆の避難方向の範囲が安全か監視できる。また、例えば、群衆の移動方向と反対方向を監視できるように監視デバイスを制御することで、異常事態の震源(群衆の移動元方向)を監視できる。
また、監視装置は、監視範囲から検出される音源を分析して、その音源の方位とその音源の内容を示す音源識別結果のうちの少なくとも一方を算出する音源分析部(例えば、環境音分析部12)を備えていてもよい。そして、監視デバイス制御部82は、音源の方位または音源識別結果に基づいて、監視デバイスを制御してもよい。そのような構成により、監視すべき事象か否かをより適切に判断できるようになる。さらに、このような構成により、音源分析部による分析結果を、様々な事象を監視するトリガとして利用することが可能になる。
また、監視デバイス制御部82は、音源識別結果が予め定めた音源(例えば、異常事態を示す音源)の内容を示している場合に監視デバイスを制御してもよい。そのような構成であっても、監視すべき事象をより適切に判断できる。
また、群衆行動分析部81は、入力映像から群衆の移動変化量を算出し、監視デバイス制御部82は、移動変化量が所定の基準を満たす場合(例えば、移動変化量が予め定めた閾値を超える場合)に監視デバイスを制御してもよい。そのような構成により、監視すべき事象をより適切に判断できる。
また、監視デバイス制御部82は、算出された群衆の移動方向に応じて監視すべき方向を特定し、複数存在する監視デバイスの中から、監視すべき方向を監視可能な監視デバイスに制御を切り替えてもよい。そのような構成により、監視デバイス自身が、監視範囲を変更できない場合であっても、複数の監視デバイスを連携させることで、事象が発生した範囲を適切に監視できる。
他にも、監視デバイス制御部82は、算出された群衆の移動方向に応じて監視すべき方向を特定し、監視デバイスが現在監視している方向から、監視すべき方向へ監視する方向を切り替える制御を行ってもよい。そのような構成により、監視デバイス自身が、監視範囲を変更できる場合であれば、事象が発生した範囲を適切に監視できる。
また、監視デバイス制御部82は、監視デバイスを制御することにより、その監視デバイスが取得したデータに対して、そのデータの内容を示す識別情報を付与してもよい。このような識別情報を付与することにより、後に監視データの中から必要な情報を抽出することが容易になる。
また、監視デバイスが、監視範囲を撮影可能な撮像装置(例えば、カメラ)であってもよい。この場合、群衆行動分析部81は、撮像装置によって撮影された入力映像から群衆の移動方向を算出し、監視デバイス制御部82は、算出された群衆の移動方向に応じて、撮像装置の撮影範囲を制御してもよい。
以上、実施形態及び実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
この出願は、2013年4月26日に出願された日本特許出願2013-093213を基礎とする優先権を主張し、その開示の全てをここに取り込む。
11 群衆行動分析部
12 環境音分析部
13 監視デバイス制御部
30 監視デバイス
41,42 群衆
50 異常事態の震源
51 音声
12 環境音分析部
13 監視デバイス制御部
30 監視デバイス
41,42 群衆
50 異常事態の震源
51 音声
Claims (13)
- 群衆が撮影された入力映像から当該群衆の移動方向を算出する群衆行動分析部と、
算出された群衆の移動方向に応じて、監視デバイスを制御する監視デバイス制御部とを備えた
ことを特徴とする監視装置。 - 監視デバイス制御部は、算出された群衆の移動方向または当該移動方向と反対方向を監視できるように監視デバイスを制御する
請求項1記載の監視装置。 - 監視範囲から検出される音源を分析して、当該音源の方位と当該音源の内容を示す音源識別結果のうちの少なくとも一方を算出する音源分析部を備え、
監視デバイス制御部は、前記音源の方位または前記音源識別結果に基づいて、監視デバイスを制御する
請求項1または請求項2記載の監視装置。 - 監視デバイス制御部は、音源識別結果が予め定めた音源の内容を示している場合に監視デバイスを制御する
請求項3記載の監視装置。 - 群衆行動分析部は、入力映像から群衆の移動変化量を算出し、
監視デバイス制御部は、前記移動変化量が所定の基準を満たす場合に監視デバイスを制御する
請求項1から請求項4のうちのいずれか1項に記載の監視装置。 - 監視デバイス制御部は、算出された群衆の移動方向に応じて監視すべき方向を特定し、複数存在する監視デバイスの中から、前記監視すべき方向を監視可能な監視デバイスに制御を切り替える
請求項1から請求項5のうちのいずれか1項に記載の監視装置。 - 監視デバイス制御部は、算出された群衆の移動方向に応じて監視すべき方向を特定し、監視デバイスが現在監視している方向から、前記監視すべき方向へ監視する方向を切り替える制御を行う
請求項1から請求項5のうちのいずれか1項に記載の監視装置。 - 監視デバイス制御部は、監視デバイスを制御することにより当該監視デバイスが取得したデータに対して、当該データの内容を示す識別情報を付与する
請求項1から請求項7のうちのいずれか1項に記載の監視装置。 - 監視デバイスは、監視範囲を撮影可能な撮像装置であり、
群衆行動分析部は、前記撮像装置によって撮影された入力映像から群衆の移動方向を算出し、
監視デバイス制御部は、算出された群衆の移動方向に応じて、前記撮像装置の撮影範囲を制御する
請求項1から請求項8のうちのいずれか1項に記載の監視装置。 - 群衆が撮影された入力映像から当該群衆の移動方向を算出し、
算出された群衆の移動方向に応じて、監視デバイスを制御する
ことを特徴とする監視方法。 - 算出された群衆の移動方向または当該移動方向と反対方向を監視できるように監視デバイスを制御する
請求項10記載の監視方法。 - コンピュータに、
群衆が撮影された入力映像から当該群衆の移動方向を算出する群衆行動分析処理、および、
算出された群衆の移動方向に応じて、監視デバイスを制御する監視デバイス制御処理
を実行させるための監視用プログラム。 - コンピュータに、
監視デバイス制御処理で、算出された群衆の移動方向または当該移動方向と反対方向を監視できるように監視デバイスを制御させる
請求項12記載の監視用プログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013093213 | 2013-04-26 | ||
JP2013-093213 | 2013-04-26 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2014174737A1 true WO2014174737A1 (ja) | 2014-10-30 |
Family
ID=51791328
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2014/000424 WO2014174737A1 (ja) | 2013-04-26 | 2014-01-28 | 監視装置、監視方法および監視用プログラム |
Country Status (1)
Country | Link |
---|---|
WO (1) | WO2014174737A1 (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018510398A (ja) * | 2015-02-17 | 2018-04-12 | 日本電気株式会社 | 事象関連データ監視システム |
US10281889B2 (en) | 2016-12-02 | 2019-05-07 | Imam Abdulrahman Bin Faisal University | System and method to guide a crowd |
WO2019117736A1 (en) * | 2017-12-15 | 2019-06-20 | Motorola Solutions, Inc | Device, system and method for crowd control |
US10579881B2 (en) | 2015-09-01 | 2020-03-03 | Nec Corporation | Surveillance information generation apparatus, imaging direction estimation apparatus, surveillance information generation method, imaging direction estimation method, and program |
WO2021124435A1 (ja) * | 2019-12-17 | 2021-06-24 | 日本電気株式会社 | 画像処理方法 |
JP2023502816A (ja) * | 2020-10-30 | 2023-01-26 | 深▲セン▼市商▲湯▼科技有限公司 | 現場監視方法及び装置、電子機器、記憶媒体並びにプログラム |
WO2023026437A1 (ja) * | 2021-08-26 | 2023-03-02 | 日本電気株式会社 | 監視装置、監視システム、監視方法、及びプログラムが格納された非一時的なコンピュータ可読媒体 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2002021441A1 (fr) * | 2000-09-06 | 2002-03-14 | Hitachi, Ltd. | Detecteur de comportement anormal |
JP2002344957A (ja) * | 2001-05-11 | 2002-11-29 | Hitachi Kokusai Electric Inc | 画像監視装置 |
JP2004139261A (ja) * | 2002-10-16 | 2004-05-13 | Matsushita Electric Ind Co Ltd | 監視モニター装置 |
JP2007028680A (ja) * | 2003-10-21 | 2007-02-01 | Matsushita Electric Ind Co Ltd | 監視装置 |
JP2012058944A (ja) * | 2010-09-08 | 2012-03-22 | Secom Co Ltd | 異常検知装置 |
-
2014
- 2014-01-28 WO PCT/JP2014/000424 patent/WO2014174737A1/ja active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2002021441A1 (fr) * | 2000-09-06 | 2002-03-14 | Hitachi, Ltd. | Detecteur de comportement anormal |
JP2002344957A (ja) * | 2001-05-11 | 2002-11-29 | Hitachi Kokusai Electric Inc | 画像監視装置 |
JP2004139261A (ja) * | 2002-10-16 | 2004-05-13 | Matsushita Electric Ind Co Ltd | 監視モニター装置 |
JP2007028680A (ja) * | 2003-10-21 | 2007-02-01 | Matsushita Electric Ind Co Ltd | 監視装置 |
JP2012058944A (ja) * | 2010-09-08 | 2012-03-22 | Secom Co Ltd | 異常検知装置 |
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018510398A (ja) * | 2015-02-17 | 2018-04-12 | 日本電気株式会社 | 事象関連データ監視システム |
JP2020102238A (ja) * | 2015-02-17 | 2020-07-02 | 日本電気株式会社 | 事象監視システム、事象監視方法及び事象監視プログラム |
US11670159B2 (en) | 2015-02-17 | 2023-06-06 | Nec Corporation | System for monitoring event related data |
US10970995B2 (en) | 2015-02-17 | 2021-04-06 | Nec Corporation | System for monitoring event related data |
US11710322B2 (en) | 2015-09-01 | 2023-07-25 | Nec Corporation | Surveillance information generation apparatus, imaging direction estimation apparatus, surveillance information generation method, imaging direction estimation method, and program |
US10579881B2 (en) | 2015-09-01 | 2020-03-03 | Nec Corporation | Surveillance information generation apparatus, imaging direction estimation apparatus, surveillance information generation method, imaging direction estimation method, and program |
US10748010B2 (en) | 2015-09-01 | 2020-08-18 | Nec Corporation | Surveillance information generation apparatus, imaging direction estimation apparatus, surveillance information generation method, imaging direction estimation method, and program |
US10977499B2 (en) | 2015-09-01 | 2021-04-13 | Nec Corporation | Surveillance information generation apparatus, imaging direction estimation apparatus, surveillance information generation method, imaging direction estimation method, and program |
US10281889B2 (en) | 2016-12-02 | 2019-05-07 | Imam Abdulrahman Bin Faisal University | System and method to guide a crowd |
GB2582512A (en) * | 2017-12-15 | 2020-09-23 | Motorola Solutions Inc | Device, system and method for crowd control |
AU2017442559B2 (en) * | 2017-12-15 | 2021-05-06 | Motorola Solutions, Inc | Device, system and method for crowd control |
WO2019117736A1 (en) * | 2017-12-15 | 2019-06-20 | Motorola Solutions, Inc | Device, system and method for crowd control |
US11282349B2 (en) | 2017-12-15 | 2022-03-22 | Motorola Solutions, Inc. | Device, system and method for crowd control |
GB2582512B (en) * | 2017-12-15 | 2022-03-30 | Motorola Solutions Inc | Device, system and method for crowd control |
WO2021124435A1 (ja) * | 2019-12-17 | 2021-06-24 | 日本電気株式会社 | 画像処理方法 |
JPWO2021124435A1 (ja) * | 2019-12-17 | 2021-06-24 | ||
JP7414077B2 (ja) | 2019-12-17 | 2024-01-16 | 日本電気株式会社 | 画像処理方法 |
JP2023502816A (ja) * | 2020-10-30 | 2023-01-26 | 深▲セン▼市商▲湯▼科技有限公司 | 現場監視方法及び装置、電子機器、記憶媒体並びにプログラム |
JP7305808B2 (ja) | 2020-10-30 | 2023-07-10 | 深▲セン▼市商▲湯▼科技有限公司 | 現場監視方法及び装置、電子機器、記憶媒体並びにプログラム |
WO2023026437A1 (ja) * | 2021-08-26 | 2023-03-02 | 日本電気株式会社 | 監視装置、監視システム、監視方法、及びプログラムが格納された非一時的なコンピュータ可読媒体 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2014174737A1 (ja) | 監視装置、監視方法および監視用プログラム | |
JP7420169B2 (ja) | 監視システム、監視方法及びプログラム | |
WO2014174738A1 (ja) | 監視装置、監視方法および監視用プログラム | |
CN107223332B (zh) | 基于声学相机的音频视觉场景分析 | |
JP6135880B2 (ja) | 音声処理方法、音声処理システム、及び記憶媒体 | |
JP6344383B2 (ja) | 行動解析装置、行動解析方法および行動解析プログラム | |
JP2018165759A5 (ja) | ||
KR101485022B1 (ko) | 행동 패턴 분석이 가능한 객체 추적 시스템 및 이를 이용한 방법 | |
WO2014155958A1 (ja) | 対象物監視システム、対象物監視方法および監視対象抽出プログラム | |
KR101384781B1 (ko) | 이상 음원 탐지 장치 및 방법 | |
JP6458474B2 (ja) | 監視システム、映像解析装置、映像解析方法およびプログラム | |
JP5374080B2 (ja) | 撮影装置、その制御方法及びコンピュータプログラム | |
WO2019097412A1 (en) | System and method for multimedia-based performance monitoring of an equipment | |
JP4175180B2 (ja) | 監視通報システム | |
JP4859130B2 (ja) | 監視システム | |
JP5173861B2 (ja) | 撮像装置及びその制御方法 | |
EP2927885A1 (en) | Sound processing apparatus, sound processing system and sound processing method | |
JP2020017904A (ja) | 撮像装置の制御装置、方法及びプログラム | |
US20240153526A1 (en) | Audio event analysis, classification, and detection system | |
JP2014155014A5 (ja) | ||
WO2023002563A1 (ja) | 監視装置、監視システム、監視方法、及びプログラムが格納された非一時的なコンピュータ可読媒体 | |
JP2009017031A (ja) | 映像情報出力装置、監視カメラシステム、及び映像情報出力方法 | |
JPWO2022009349A5 (ja) | 会話監視装置、制御方法、及びプログラム | |
JP2018066821A (ja) | 音声処理システム、音声処理装置、監視カメラ、監視システム、プログラムおよび音声処理方法 | |
JP2018092468A (ja) | 防犯監視システム及びその制御方法並びにコンピュータプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 14788193 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 14788193 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: JP |