WO2014174737A1 - 監視装置、監視方法および監視用プログラム - Google Patents

監視装置、監視方法および監視用プログラム Download PDF

Info

Publication number
WO2014174737A1
WO2014174737A1 PCT/JP2014/000424 JP2014000424W WO2014174737A1 WO 2014174737 A1 WO2014174737 A1 WO 2014174737A1 JP 2014000424 W JP2014000424 W JP 2014000424W WO 2014174737 A1 WO2014174737 A1 WO 2014174737A1
Authority
WO
WIPO (PCT)
Prior art keywords
monitoring device
crowd
monitoring
control unit
sound source
Prior art date
Application number
PCT/JP2014/000424
Other languages
English (en)
French (fr)
Inventor
真宏 谷
宝珠山　治
孝文 越仲
亮磨 大網
博義 宮野
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Publication of WO2014174737A1 publication Critical patent/WO2014174737A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion

Definitions

  • the present invention relates to a monitoring apparatus, a monitoring method, and a monitoring program for controlling a monitoring device according to an input video.
  • Various technologies are known for controlling a monitoring device by remote operation and for automatically controlling the device. For example, a technique for automatically changing the shooting range of a camera without the operator operating the camera is also known.
  • Patent Document 1 describes an image monitoring apparatus that automatically moves a video camera toward a specific monitoring target.
  • the image monitoring apparatus described in Patent Document 1 specifies the direction of a sound source using a plurality of microphones, and changes the imaging direction of the camera to the specified direction.
  • FIG. 8 is an explanatory diagram illustrating an example of a situation in which an abnormal situation has occurred.
  • the main cause of the occurrence of an abnormal situation or the range where the abnormal situation has occurred is referred to as the epicenter of the abnormal situation.
  • the epicenter of an abnormal situation for example, there are criminals with guns and runaway cars.
  • a sound source for example, a scream
  • the epicenter of the abnormal situation is different from the position of the sound source indicating the abnormal situation.
  • the image monitoring apparatus described in Patent Document 1 concentrates monitoring only on the direction of the sound source. Therefore, in the image monitoring apparatus described in Patent Document 1, since the camera cannot be controlled so as to capture a range in which the main cause leading to the generation of the sound source (that is, the epicenter of an abnormal situation) cannot be controlled, There is a problem that the situation regarding can not be monitored properly.
  • an object of the present invention is to provide a monitoring apparatus, a monitoring method, and a monitoring program that can appropriately control a device for monitoring a situation that has occurred.
  • a monitoring apparatus includes a crowd behavior analysis unit that calculates a movement direction of a crowd from an input image in which the crowd is photographed, and a monitoring device control unit that controls a monitoring device according to the calculated movement direction of the crowd. It is provided with.
  • the monitoring method according to the present invention is characterized in that the movement direction of the crowd is calculated from an input image in which the crowd is photographed, and the monitoring device is controlled in accordance with the calculated movement direction of the crowd.
  • a monitoring program controls a monitoring device according to a crowd behavior analysis process for calculating a movement direction of a crowd from an input image in which the crowd is photographed, and the calculated movement direction of the crowd.
  • a monitoring device control process is executed.
  • FIG. FIG. 1 is a block diagram showing a configuration example of a first embodiment of a monitoring apparatus according to the present invention.
  • the monitoring apparatus of this embodiment includes a crowd behavior analysis unit 11, a monitoring device control unit 13, and a monitoring device 30.
  • the monitoring device 30 is various devices used for monitoring.
  • the monitoring device 30 is a camera that captures a monitoring range or a microphone that collects sound in the monitoring range will be described as an example.
  • the monitoring device 30 is not limited to a camera or a microphone.
  • the monitoring device 30 may be, for example, a vibration sensor that detects movement of a monitoring target, a temperature sensor that measures a human body temperature, an object temperature, or the like.
  • the monitoring apparatus illustrated in FIG. 1 describes only one monitoring device 30, the number of the monitoring devices 30 is not limited to one and may be two or more.
  • the monitoring apparatus may include a plurality of monitoring devices 30 of the same type.
  • the monitoring apparatus may include a plurality of cameras and a plurality of microphones.
  • the monitoring device itself does not have to include the monitoring device 30.
  • the monitoring device 30 may be configured to control the monitoring device 30 connected via a communication network.
  • a camera is used as the monitoring device 30, and the camera inputs the captured video to the crowd behavior analysis unit 11.
  • the crowd behavior analysis unit 11 analyzes the behavior of the crowd from an input video obtained by photographing the crowd. Specifically, the crowd behavior analysis unit 11 calculates the movement direction of the crowd and the movement change amount (speed) from the input video.
  • the crowd is a set of individuals to be monitored.
  • the individuals to be monitored include not only a single person but also a person who moves on a car, a motorcycle, a bicycle, or the like.
  • the crowd behavior analysis unit 11 may determine, for example, a group of monitoring targets as a crowd after recognizing each monitoring target. In addition, the crowd behavior analysis unit 11 may learn a crowd pattern appearing in the video in advance and compare the pattern with the input video to determine the crowd.
  • the crowd behavior analysis unit 11 may calculate the movement direction and movement change amount of the crowd based on, for example, video feature values calculated from the input video. At this time, the crowd behavior analysis unit 11 may use information representing an apparent movement, such as an optical flow, as the video feature amount. Then, the crowd behavior analysis unit 11 inputs the calculated movement direction and movement change amount of the crowd to the monitoring device control unit 13.
  • the method by which the crowd behavior analysis unit 11 calculates the movement direction and movement change amount of the crowd is not limited to the above method. If the method can identify the movement of the crowd from the input video, the crowd behavior analysis unit 11 may calculate the movement direction and the movement change amount of the crowd using other methods.
  • the monitoring device control unit 13 controls the monitoring device 30 based on the movement direction of the crowd input from the crowd behavior analysis unit 11.
  • controlling the monitoring device 30 means operating according to the function of each monitoring device, or switching the control from the plurality of monitoring devices 30 to a device that performs monitoring.
  • controlling the monitoring device 30 so as to be able to monitor a certain direction means that the monitoring device 30 is operated so that an event in a certain direction can be detected based on the function of each monitoring device.
  • the monitoring device control unit 13 performs control to switch from the direction currently monitored by the monitoring device 30 to the direction to be monitored. Also good. Even when the monitoring device 30 itself does not have the function of changing the monitoring direction, when the monitoring device 30 monitors various directions using the plurality of monitoring devices 30, the monitoring device control unit 13 Control may be switched from among the monitoring devices 30 to the monitoring device 30 that can monitor the direction to be monitored.
  • the monitoring device control unit 13 changes the range that the monitoring device 30 captures according to the movement direction of the crowd.
  • the monitoring device control unit 13 changes the sensitivity of the monitoring device 30 according to the moving direction of the crowd.
  • the monitoring device control unit 13 may start control of sensors existing in a direction corresponding to the movement direction of the crowd.
  • FIG. 2 is an explanatory diagram showing an example of a method for controlling the monitoring device 30 based on the movement direction of the crowd.
  • the crowd 41 moves in the moving direction m1 while producing the sound 51
  • the crowd 42 moves in the moving direction m2 while producing the sound 51 due to the occurrence of the epicenter 50 of the abnormal situation.
  • a camera and a microphone are installed as the monitoring device 30, the camera captures the crowd 41, and the microphone particularly collects sound in the direction of the crowd 41.
  • the crowd behavior analysis unit 11 calculates that the crowd 41 is moving in the movement direction m 1, and the movement direction m 1 of the crowd 41 is input to the monitoring device control unit 13.
  • the monitoring device control unit 13 may control the monitoring device 30 so as to monitor a direction spatially opposite to the moving direction of the crowd. That is, it can be said that the method illustrated in FIG. 2 is a method for monitoring the epicenter of the abnormal situation (the direction of the movement of the crowd).
  • the monitoring device control unit 13 may control the camera so as to change the shooting range in a direction opposite to the moving direction of the crowd.
  • the monitoring device control unit 13 may control the microphone so as to increase the sensitivity in the direction opposite to the movement direction of the crowd.
  • the monitoring device control unit 13 may change the shooting range in a direction opposite to the movement direction of the crowd to a range that can be shot by the camera.
  • the shooting range may be changed to an extent that is out of the shooting range.
  • the crowd behavior analysis unit 11 calculates the movement direction of the crowd for each image captured by each camera, and the movement direction of the plurality of crowds is sent to the monitoring device control unit 13. You may enter. And the monitoring device control part 13 may control a camera so that the range which overlaps in the direction opposite to the moving direction of each crowd may be made into an imaging
  • the monitoring device control unit 13 may control the directivity of each microphone so that the sound in the direction opposite to the movement direction of the crowd can be detected. By performing such control, the sound of the epicenter of an abnormal situation can be detected with higher accuracy.
  • the monitoring device control unit 13 controls a camera that captures a direction opposite to the movement direction of the crowd, or a microphone having high sensitivity in the direction opposite to the movement direction of the crowd. May be switched. By performing such control, even when the monitoring device 30 that cannot change the shooting range and the sound collection sensitivity is used, the situation that has occurred can be appropriately monitored.
  • the monitoring device control unit 13 may control not only to change the shooting range and sensitivity in the direction opposite to the movement direction of the crowd, but also to change the monitoring accuracy of the monitoring device 30.
  • the monitoring device control unit 13 may control the camera to zoom up (for example, in a direction opposite to the moving direction of the crowd).
  • the monitoring device control unit 13 may control the microphone so as to increase the volume (for example, in the direction opposite to the moving direction of the crowd). Note that other methods by which the monitoring device control unit 13 controls the microphone will be described later.
  • the method in which the monitoring device control unit 13 controls the monitoring device 30 based on the movement direction of the crowd has been described.
  • the movement of the crowd in a certain direction is a phenomenon that occurs even in a steady state.
  • the monitoring device control unit 13 controls the monitoring device 30 not only in the movement direction of the crowd but also when the movement change amount satisfies a predetermined criterion (for example, when the movement change amount is larger than a predetermined threshold). You may do it. By doing in this way, the situation which should be monitored can be grasped more appropriately.
  • the method of controlling the monitoring device 30 so that the monitoring device control unit 13 can monitor the direction opposite to the movement direction of the crowd has been described.
  • the method by which the monitoring device control unit 13 controls the monitoring device 30 is not limited to a method that enables monitoring in the direction opposite to the movement direction of the crowd.
  • the monitoring device control unit 13 may control the monitoring device 30 so that the moving direction of the crowd can be monitored.
  • FIG. 3 is an explanatory diagram showing an example of another method for controlling the monitoring device 30 based on the movement direction of the crowd.
  • the method illustrated in FIG. 3 is different from the method illustrated in FIG. 2 in that the monitoring device controller 13 controls the monitoring device 30 so that the movement direction of the crowd can be monitored. That is, it can be said that the method illustrated in FIG. 3 is a method for monitoring whether the range 52 in the evacuation direction of the crowd is safe.
  • the monitoring device control unit 13 may control the camera so as to change the shooting range in the moving direction of the crowd.
  • the monitoring device control unit 13 may control the microphone so as to increase the sensitivity in the movement direction of the crowd.
  • the monitoring device control unit 13 may control the monitoring device 30 so as to monitor a predetermined direction with respect to the movement direction of the crowd.
  • the monitoring device control unit 13 controls the monitoring device 30 so that it can monitor both the movement direction of the crowd and the direction opposite to the movement direction of the crowd. May be. Specifically, the monitoring device control unit 13 controls the camera so that the shooting accuracy of the range along the movement direction of the crowd out of the range shot by the camera capable of shooting at 360 degrees is higher. Good.
  • the monitoring device control unit 13 may perform control to switch to a camera that captures the moving direction of the crowd and a camera that captures a direction opposite to the moving direction of the crowd. Good.
  • the monitoring device control unit 13 reciprocates the movement direction of the crowd and the direction opposite to the movement direction of the crowd so as to capture both ranges. May be controlled. These controls are also applicable to a microphone.
  • the monitoring device control unit 13 controls the monitoring device 30 to give identification information indicating the content of the data to the data (for example, video data, sound data, etc.) acquired by each monitoring device 30. Also good.
  • the monitoring device control unit 13 may add labels such as “crowd movement source” and “crowd movement destination”, a device ID, a position where the monitoring device is installed, and the like as identification information to each data. .
  • the monitoring device control unit 13 displays information indicating the event (for example, “abnormal situation (Seismic source ”,“ crowd destination area ”,“ flash detection ”, etc.), likelihood of the event, etc. may be attached to each data. By giving such identification information, it becomes easy to later extract necessary information from the monitoring data.
  • the crowd behavior analysis unit 11 and the monitoring device control unit 13 are realized by a CPU of a computer that operates according to a program (monitoring program).
  • the program may be stored in a storage unit (not shown) of the monitoring device, and the CPU may read the program and operate as the crowd behavior analysis unit 11 and the monitoring device control unit 13 according to the program.
  • the crowd behavior analysis unit 11 and the monitoring device control unit 13 may each be realized by dedicated hardware.
  • FIG. 4 is a flowchart illustrating an operation example of the monitoring apparatus according to the present embodiment.
  • a camera that is one of the monitoring devices 30 captures a video of the monitoring range and inputs the captured video to the crowd behavior analysis unit 11 (step S11).
  • the crowd behavior analysis unit 11 identifies the crowd from the input video and calculates the movement direction of the crowd (step S12). At this time, the crowd behavior analysis unit 11 may also calculate the movement change amount of the crowd.
  • the monitoring device control unit 13 controls the monitoring device 30 according to the calculated moving direction (step S13). At this time, the monitoring device control unit 13 may control the monitoring device 30 when the calculated movement change amount satisfies a predetermined criterion.
  • the crowd behavior analysis unit 11 calculates the movement direction of the crowd from the input video in which the crowd is photographed, and the monitoring device control unit 13 calculates the calculated movement direction of the crowd. Accordingly, the monitoring device 30 is controlled. Therefore, it is possible to appropriately control the device for monitoring the situation that has occurred.
  • the monitoring apparatus controls the monitoring device by calculating the moving direction of the crowd from an image of the crowd taken. Therefore, even when the range that can be monitored by each device is narrow, the situation that has occurred can be appropriately monitored.
  • Embodiment 2 a second embodiment of the monitoring device according to the present invention will be described. Similar to the monitoring apparatus of the first embodiment, the monitoring apparatus of the present embodiment appropriately controls a device for monitoring a situation that has occurred. Furthermore, when the crowd moves together with the sound sources detected from the monitoring range, the monitoring device according to the present embodiment can appropriately monitor the cause of the movement of the crowd (that is, the epicenter). is there.
  • FIG. 5 is a block diagram showing a configuration example of the second embodiment of the monitoring apparatus according to the present invention.
  • symbol same as FIG. 1 is attached
  • subjected and description is abbreviate
  • the monitoring apparatus of this embodiment includes a crowd behavior analysis unit 11, an environmental sound analysis unit 12, a monitoring device control unit 13, and a monitoring device 30. That is, the monitoring device of the present embodiment is different from the monitoring device of the first embodiment in that the environmental sound analysis unit 12 is provided.
  • a microphone is also used as the monitoring device 30, and the microphone collects sound within the monitoring range (hereinafter referred to as environmental sound) and inputs the sound to the environmental sound analysis unit 12.
  • the environmental sound analysis unit 12 analyzes sound sources included in the sound in the monitoring range (that is, environmental sound). Specifically, the environmental sound analysis unit 12 analyzes the sound source detected from the monitoring range, determines the direction of the sound source, and identifies the type of the sound source, the volume of the sound of the sound source, and the like.
  • the result of identifying the content of the sound source such as the type of the sound source and the volume of the sound source, will be referred to as a sound source identification result.
  • the environmental sound analysis unit 12 may analyze a sound source indicating an abnormal situation, for example.
  • sound sources that indicate an abnormal situation include screams, automobile sounds (for example, engine sounds, exhaust sounds, slip sounds, etc.), various explosion sounds, gunshots, and glass breaking sounds. Note that a method for determining the direction of a sound source and a method for identifying the content of a sound source based on the sound collection result are widely known, and thus detailed description thereof is omitted here.
  • the environmental sound analysis unit 12 may periodically input an analysis result regarding the sound source such as a sound source direction and a sound source identification result to the monitoring device control unit 13.
  • an analysis result regarding the sound source such as a sound source direction and a sound source identification result
  • the environmental sound analysis unit 12 recognizes a predetermined type of sound source (for example, a sound source indicating an abnormal situation)
  • the environmental sound analysis unit 12 inputs the result of recognizing the sound source and the direction of the sound source to the monitoring device control unit 13. May be.
  • the environmental sound analysis unit 12 is realized by a CPU of a computer that operates according to a program (monitoring program), for example.
  • the monitoring device control unit 13 controls the monitoring device 30 based on the direction of the sound source input from the environmental sound analysis unit 12 or the sound source identification result. For example, the monitoring device control unit 13 may start processing of each monitoring device 30 in the case of a predetermined type of sound source such as a sound source indicating an abnormal situation.
  • the monitoring device control unit 13 may determine which of the movement directions of the crowd is controlled so that the monitoring device 30 can be monitored based on the sound source identification result.
  • the monitoring device control unit 13 may control the directivity of each microphone so that the sound of the direction of the input sound source can be detected more. By performing such control, the superdirective microphone function can be realized, so that the sound monitoring accuracy of the sound source can be further increased.
  • the monitoring device control unit 13 may start shooting when a sound source identification result indicating that a predetermined type of sound source is detected is input. Moreover, the monitoring device control part 13 may perform control which changes the imaging
  • the monitoring device control unit 13 may start sensor processing based on the sound source identification result.
  • the monitoring device control unit 13 may control not only to turn on / off the monitoring device 30 but also to change the monitoring accuracy of the monitoring device 30.
  • the monitoring device control unit 13 may control the monitoring device 30 so as to change the accuracy of sound collection.
  • the monitoring device control unit 13 may change the data format based on the sound source identification result. For example, when the sound of the identified sound source is small, the monitoring device control unit 13 may control the monitoring device 30 to change the number of quantization bits (for example, change from 16 bits to 24 bits). For example, when it is determined that it is necessary to detect a high frequency sound according to the identification result, the monitoring device control unit 13 changes the sampling rate (for example, sampling from 16 kHz to CD sound quality (44. The monitoring device 30 may be controlled to change to sampling at 1 kilohertz). By performing such control, the content of the generated sound source can be monitored more appropriately.
  • the number of quantization bits for example, change from 16 bits to 24 bits.
  • the monitoring device control unit 13 changes the sampling rate (for example, sampling from 16 kHz to CD sound quality (44.
  • the monitoring device 30 may be controlled to change to sampling at 1 kilohertz). By performing such control, the content of the generated sound source can be monitored more appropriately.
  • FIG. 6 is a flowchart illustrating an operation example of the monitoring apparatus according to the present embodiment. In this operation example, it is assumed that a camera and a microphone are used for the monitoring device 30.
  • the environmental sound analysis unit 12 analyzes the environmental sound and determines whether or not a sound source indicating an abnormal situation is included (step S21). When it is determined that the sound source indicating an abnormal situation is not included in the environmental sound (No in step S21), the environmental sound analysis unit 12 repeats the process of step S21. On the other hand, if the environmental sound includes a sound source indicating an abnormal situation (Yes in step S21), the environmental sound analysis unit 12 inputs the direction of the sound source and the sound source identification result to the monitoring device control unit 13 (step) S22).
  • the monitoring device control unit 13 performs control to change the shooting range of the camera based on the input direction of the sound source so that the camera as the monitoring device 30 can capture the direction of the sound source (step S23).
  • the camera captures an image of the shooting range and inputs the captured image to the crowd behavior analysis unit 11 (step S24). Thereafter, the operation of calculating the movement direction of the crowd from the input video and controlling the monitoring device 30 is the same as the processing from step S12 to step S13 illustrated in FIG.
  • the environmental sound analysis unit 12 analyzes the sound source detected from the monitoring range, calculates at least one of the direction of the sound source and the sound source identification result, and the monitoring device.
  • the control unit 13 controls the monitoring device 30 based on the direction of the sound source or the sound source identification result. Therefore, in addition to the effect of the first embodiment, it is possible to more appropriately determine whether or not the event should be monitored.
  • the environmental sound analysis unit 12 analyzes the environmental sound, the analysis result can be used as a trigger for monitoring various events.
  • FIG. 7 is a block diagram showing an overview of the monitoring apparatus according to the present invention.
  • the monitoring apparatus according to the present invention includes a crowd behavior analysis unit 81 (for example, a crowd behavior analysis unit 11) that calculates a movement direction of the crowd from an input video in which the crowd is photographed, and a calculated crowd movement direction. And a monitoring device control unit 82 (for example, the monitoring device control unit 13) that controls the monitoring device (for example, the monitoring device 30, a camera, a microphone, and the like).
  • a crowd behavior analysis unit 81 for example, a crowd behavior analysis unit 11
  • a monitoring device control unit 13 controls the monitoring device (for example, the monitoring device 30, a camera, a microphone, and the like).
  • the monitoring device control unit 82 may control the monitoring device so that the calculated movement direction of the crowd or a direction opposite to the movement direction can be monitored. For example, by controlling the monitoring device so that the movement direction of the crowd can be monitored, it is possible to monitor whether the range of the evacuation direction of the crowd is safe. Further, for example, by controlling the monitoring device so that the direction opposite to the movement direction of the crowd can be monitored, the epicenter of the abnormal situation (the movement direction of the crowd) can be monitored.
  • the monitoring device analyzes a sound source detected from the monitoring range and calculates at least one of the sound source identification result indicating the direction of the sound source and the content of the sound source (for example, the environmental sound analysis unit) 12) may be provided.
  • the monitoring device control unit 82 may control the monitoring device based on the direction of the sound source or the sound source identification result. With such a configuration, it is possible to more appropriately determine whether or not the event should be monitored. Furthermore, with such a configuration, the analysis result by the sound source analysis unit can be used as a trigger for monitoring various events.
  • the monitoring device control unit 82 may control the monitoring device when the sound source identification result indicates the content of a predetermined sound source (for example, a sound source indicating an abnormal situation). Even with such a configuration, an event to be monitored can be determined more appropriately.
  • a predetermined sound source for example, a sound source indicating an abnormal situation
  • the crowd behavior analysis unit 81 calculates the movement change amount of the crowd from the input video, and the monitoring device control unit 82 determines that the movement change amount satisfies a predetermined criterion (for example, the movement change amount has a predetermined threshold value).
  • the monitoring device may be controlled. With such a configuration, an event to be monitored can be determined more appropriately.
  • the monitoring device control unit 82 identifies a direction to be monitored according to the calculated movement direction of the crowd, and switches control from a plurality of monitoring devices to a monitoring device capable of monitoring the direction to be monitored. May be. With such a configuration, even if the monitoring device itself cannot change the monitoring range, the range in which the event has occurred can be appropriately monitored by linking a plurality of monitoring devices.
  • the monitoring device control unit 82 identifies the direction to be monitored according to the calculated movement direction of the crowd, and switches the monitoring direction from the direction currently monitored by the monitoring device to the direction to be monitored. Control may be performed. With such a configuration, if the monitoring device itself can change the monitoring range, the range in which the event has occurred can be appropriately monitored.
  • the monitoring device control unit 82 may give identification information indicating the content of the data to the data acquired by the monitoring device by controlling the monitoring device. By giving such identification information, it becomes easy to later extract necessary information from the monitoring data.
  • the monitoring device may be an imaging device (for example, a camera) that can capture the monitoring range.
  • the crowd behavior analysis unit 81 calculates the movement direction of the crowd from the input video imaged by the imaging device, and the monitoring device control unit 82 determines the shooting range of the imaging device according to the calculated movement direction of the crowd. May be controlled.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Alarm Systems (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

本発明による監視装置は、群衆行動分析部８１と、監視用デバイス制御部８２とを備えており、群衆行動分析部８１は、群衆が撮影された入力映像からその群衆の移動方向を算出し、監視用デバイス制御部８２は、算出された群衆の移動方向に応じて、監視用デバイスを制御する。

Description

監視装置、監視方法および監視用プログラム
　本発明は、入力される映像に応じて監視用のデバイスを制御する監視装置、監視方法および監視用プログラムに関する。
　監視用のデバイスを遠隔操作で制御する技術や、そのデバイスの制御を自動で行う技術が各種知られている。例えば、監視者がカメラを操作せずに、カメラの撮影範囲を自動で変化させる技術も知られている。
　特許文献１には、特定の監視対象に向けて自動的にビデオカメラを動かす画像監視装置が記載されている。特許文献１に記載された画像監視装置は、複数のマイクを用いて音源の方位を特定し、その特定した方位にカメラの撮像方向を変化させる。
特開２００２－３４４９５７号公報
　しかし、特許文献１に記載された画像監視装置により特定される音源の方位が必ずしも監視対象になるとは限らない。図８は、異常事態が発生した状況の例を示す説明図である。以下、異常事態が発生した主原因、または、異常事態が発生した範囲のことを、異常事態の震源と記す。異常事態の震源として、例えば、銃を持つ犯罪者や暴走車の存在が挙げられる。
　異常事態が発生すると、異常事態の震源以外の位置で異常事態を示す音源（例えば、悲鳴など）が発生することがある。この場合、異常事態の震源と、異常事態を示す音源の位置は異なることになる。このような場合であっても、特許文献１に記載された画像監視装置は、音源の方位にのみ監視を集中してしまう。したがって、特許文献１に記載された画像監視装置では、その音源が発生するに至った主原因が存在する範囲（すなわち、異常事態の震源）を撮影するようにカメラを制御できないため、発生した事態に関する状況を適切に監視できないという問題がある。
　そこで、本発明は、発生した事態を監視するためのデバイスを適切に制御できる監視装置、監視方法および監視用プログラムを提供することを目的とする。
　本発明による監視装置は、群衆が撮影された入力映像からその群衆の移動方向を算出する群衆行動分析部と、算出された群衆の移動方向に応じて、監視デバイスを制御する監視デバイス制御部とを備えたことを特徴とする。
　本発明による監視方法は、群衆が撮影された入力映像からその群衆の移動方向を算出し、算出された群衆の移動方向に応じて、監視デバイスを制御することを特徴とする。
　本発明による監視用プログラムは、コンピュータに、群衆が撮影された入力映像からその群衆の移動方向を算出する群衆行動分析処理、および、算出された群衆の移動方向に応じて、監視デバイスを制御する監視デバイス制御処理を実行させることを特徴とする。
　本発明によれば、発生した事態を監視するためのデバイスを適切に制御できる。
本発明による監視装置の第１の実施形態の構成例を示すブロック図である。 監視デバイスを制御する方法の例を示す説明図である。 監視デバイスを制御する他の方法の例を示す説明図である。 第１の実施形態の監視装置の動作例を示すフローチャートである。 本発明による監視装置の第２の実施形態の構成例を示すブロック図である。 第２の実施形態の監視装置の動作例を示すフローチャートである。 本発明による監視装置の概要を示すブロック図である。 異常事態が発生した状況の例を示す説明図である。
　以下、本発明の実施形態を図面を参照して説明する。
実施形態１．
　図１は、本発明による監視装置の第１の実施形態の構成例を示すブロック図である。本実施形態の監視装置は、群衆行動分析部１１と、監視デバイス制御部１３と、監視デバイス３０とを備えている。
　監視デバイス３０は、監視をするために用いられる各種デバイスである。以下では、監視デバイス３０が、監視範囲を撮影するカメラや、監視範囲の音を集音するマイクロフォンである場合を例に説明する。ただし、監視デバイス３０は、カメラやマイクロフォンに限定されない。監視デバイス３０は、例えば、監視対象の動きを検知する振動センサや、人の体温や物体の温度などを計測する温度センサなどであってもよい。
　また、図１に例示する監視装置は、監視デバイス３０を１台だけ記載しているが、監視デバイス３０の台数は１台に限られず、２台以上あってもよい。また、監視装置は、同じ種類の監視デバイス３０を複数備えていてもよい。例えば、監視デバイス３０にカメラやマイクロフォンが用いられる場合、監視装置は、複数のカメラおよび複数のマイクロフォンを備えていてもよい。
　また、監視装置自身が監視デバイス３０を備えていなくてもよい。例えば、監視装置が通信ネットワークを介して接続される監視デバイス３０を制御する構成でもよい。また、本実施形態では、監視デバイス３０にカメラが用いられ、そのカメラは、撮影した映像を群衆行動分析部１１に入力する。
　群衆行動分析部１１は、群衆を撮影した入力映像から、その群衆の行動を分析する。具体的には、群衆行動分析部１１は、入力映像から群衆の移動方向や、その移動変化量（スピード）を算出する。ここで、群衆とは、監視対象とする個の集合である。本実施形態では、監視対象とする個には、単体の人だけでなく、例えば、車やオートバイ、自転車等に乗って移動する人なども含まれる。
　群衆行動分析部１１は、例えば、個々の監視対象を認識したあとで、その監視対象のまとまりを群衆と判定してもよい。また、群衆行動分析部１１は、映像に現れる群衆のパターンを予め学習しておき、そのパターンと入力映像とを比較して群衆を判定してもよい。
　また、群衆行動分析部１１は、例えば、入力映像から算出される映像特徴量に基づいて、群衆の移動方向や移動変化量を算出してもよい。このとき、群衆行動分析部１１は、オプティカルフローなど、見かけの動きを表わす情報を映像特徴量として用いてもよい。そして、群衆行動分析部１１は、算出した群衆の移動方向および移動変化量を監視デバイス制御部１３に入力する。
　なお、群衆行動分析部１１が群衆の移動方向や移動変化量を算出する方法は、上記方法に限定されない。入力映像から群衆の動きを特定可能な方法であれば、群衆行動分析部１１は、他の方法を用いて群衆の移動方向や移動変化量を算出してもよい。
　監視デバイス制御部１３は、群衆行動分析部１１から入力される群衆の移動方向に基づいて、監視デバイス３０を制御する。ここで、監視デバイス３０を制御するとは、各監視デバイスが有する機能に応じて動作させることや、複数の監視デバイス３０の中から監視を行うデバイスへ制御を切り替えることを意味する。また、監視デバイス３０を制御してある方向を監視できるようにするとは、各監視デバイスが有する機能に基づいてある方向の事象を検出できるように動作させることを言う。
　具体的には、監視デバイス３０自身が監視方向を変更できる機能を有する場合、監視デバイス制御部１３は、その監視デバイス３０が現在監視している方向から、監視すべき方向へ切り替える制御を行ってもよい。また、監視デバイス３０自身が監視方向を変更できる機能を有していない場合であっても、複数の監視デバイス３０を用いて様々な方向を監視している場合、監視デバイス制御部１３は、それらの監視デバイス３０の中から、監視すべき方向を監視可能な監視デバイス３０に制御を切り替えるようにしてもよい。
　例えば、監視デバイス３０がカメラの場合、監視デバイス制御部１３は、監視デバイス３０が撮影する範囲を群衆の移動方向に応じて変化させる。また、例えば、監視デバイス３０がマイクロフォンの場合、監視デバイス制御部１３は、監視デバイス３０の感度を群衆の移動方向に応じて変化させる。
　また、例えば、監視デバイス３０が震度センサや温度センサの場合、監視デバイス制御部１３は、群衆の移動方向に応じた方向に存在するセンサの制御を開始させてもよい。
　図２は、群衆の移動方向に基づいて監視デバイス３０を制御する方法の例を示す説明図である。図２に示す例では、異常事態の震源５０が発生したことにより、群衆４１が音声５１を発しながら移動方向ｍ１に移動し、群衆４２が音声５１を発しながら移動方向ｍ２に移動したとする。また、図２に示す例では、監視デバイス３０として、カメラおよびマイクロフォンが設置され、カメラが群衆４１を撮影しており、マイクロフォンが群衆４１の方向の音を特に集音しているとする。この場合、群衆行動分析部１１によって群衆４１が移動方向ｍ１に移動していることが算出され、その群衆４１の移動方向ｍ１が監視デバイス制御部１３に入力される。
　ここで、群衆が特定の方向から離れて急に移動している事象が検出された場合、その元となる方向に何らかの原因（ここでは、異常事態の震源）があると想定される。そこで、監視デバイス制御部１３は、群衆の移動方向と空間的に反対の方向を監視できるように監視デバイス３０を制御してもよい。すなわち、図２に例示する方法は、異常事態の震源（群衆の移動元方向）を監視する方法であると言える。
　例えば、監視デバイス３０がカメラの場合、監視デバイス制御部１３は、群衆の移動方向と反対方向に撮影範囲を変化させるようにカメラを制御してもよい。また、例えば、監視デバイス３０がマイクロフォンの場合、監視デバイス制御部１３は、群衆の移動方向と反対方向の感度を高くするようにマイクロフォンを制御してもよい。
　例えば、監視装置がカメラを１台のみ備えている場合、監視デバイス制御部１３は、群衆の移動方向と反対方向に、そのカメラが撮影可能な範囲まで撮影範囲を変化させてもよく、現在の撮影範囲から外れる程度まで撮影範囲を変化させてもよい。
　また、監視装置がカメラを複数台備えている場合、群衆行動分析部１１は、各カメラが撮影した映像ごとに群衆の移動方向を算出し、複数の群衆の移動方向を監視デバイス制御部１３に入力してもよい。そして、監視デバイス制御部１３は、各群衆の移動方向とは反対の方向で重なる範囲を撮影範囲とするようにカメラを制御してもよい。
　また、例えば、監視装置がマイクロフォンを複数台備えている場合、監視デバイス制御部１３は、群衆の移動方向と反対方向の音をより検出できるように各マイクロフォンの指向性を制御してもよい。このような制御を行うことで、異常事態の震源の音を、より精度高く検出できる。
　また、監視装置がカメラやマイクを複数台備えている場合、監視デバイス制御部１３は、群衆の移動方向と反対方向を撮影するカメラや、群衆の移動方向と反対方向の感度が高いマイクロフォンに制御を切り替えてもよい。このような制御を行うことにより、撮影範囲や集音感度を変更できない監視デバイス３０を用いている場合であっても、発生した事態を適切に監視できる。
　さらに、監視デバイス制御部１３は、群衆の移動方向と反対方向に撮影範囲や感度を変更させるだけでなく、監視デバイス３０の監視精度を変更するように制御してもよい。例えば、監視デバイス３０がカメラの場合、監視デバイス制御部１３は、（例えば、群衆の移動方向と反対方向に）ズームアップするようカメラを制御してもよい。
　また、例えば、監視デバイス３０がマイクロフォンの場合、監視デバイス制御部１３は、（例えば、群衆の移動方向と反対方向の）ボリュームを大きくするようにマイクロフォンを制御してもよい。なお、監視デバイス制御部１３がマイクロフォンを制御する他の方法は、後述される。
　上記説明では、監視デバイス制御部１３が群衆の移動方向に基づいて、監視デバイス３０を制御する方法を説明した。一方、群衆が一定の方向に移動することは、定常状態でも、生じる現象である。
　しかし、例えば、群衆の移動変化量が大きい場合、その群衆は急な移動をしていると考えられ、異常事態が発生したことが想定される。例えば、テロリズムが発生した場合、群衆は避難目的で急に走り出すことが考えられる。そこで、監視デバイス制御部１３は、群衆の移動方向だけでなく、移動変化量が所定の基準を満たす場合（例えば、移動変化量が所定の閾値よりも大きい場合）に、監視デバイス３０を制御するようにしてもよい。このようにすることで、監視すべき事態をより適切に捉えることができる。
　また、上記説明では、監視デバイス制御部１３が、群衆の移動方向と反対方向を監視できるように監視デバイス３０を制御する方法を説明した。ただし、監視デバイス制御部１３が、監視デバイス３０を制御する方法は、群衆の移動方向と反対方向を監視できるようにする方法に限定されない。
　例えば、異常事態の震源を監視することも重要であるが、群衆の移動先の安全性を監視することも重要である。そこで、監視デバイス制御部１３は、群衆の移動方向を監視できるように監視デバイス３０を制御してもよい。
　図３は、群衆の移動方向に基づいて監視デバイス３０を制御する他の方法の例を示す説明図である。図３に例示する方法は、図２に例示する方法と比較して、監視デバイス制御部１３が群衆の移動方向を監視できるように監視デバイス３０を制御している点において異なる。すなわち、図３に例示する方法は、群衆の避難方向の範囲５２が安全か監視する方法であると言える。
　例えば、監視デバイス３０がカメラの場合、監視デバイス制御部１３は、群衆の移動方向に撮影範囲を変化させるようにカメラを制御してもよい。また、例えば、監視デバイス３０がマイクロフォンの場合、監視デバイス制御部１３は、群衆の移動方向の感度を高くするようにマイクロフォンを制御してもよい。
　なお、どちらの方向に監視デバイス３０を制御するかは任意である。監視デバイス制御部１３は、群衆の移動方向に対して予め定めた方向を監視できるように監視デバイス３０を制御してもよい。
　また、監視デバイス３０が３６０度撮影可能なカメラの場合、監視デバイス制御部１３は、群衆の移動方向、および、群衆の移動方向と反対方向のいずれの方向も監視できるように監視デバイス３０を制御してもよい。具体的には、監視デバイス制御部１３は、３６０度撮影可能なカメラが撮影する範囲のうち、群衆の移動方向に沿った範囲の撮影精度をより高くするように、そのカメラを制御してもよい。
　また、監視装置がカメラを複数台備えている場合、監視デバイス制御部１３は、群衆の移動方向を撮影するカメラ、および、群衆の移動方向と反対方向を撮影するカメラに切り替える制御を行ってもよい。また、監視装置がカメラを１台のみ備えている場合、監視デバイス制御部１３は、群衆の移動方向、および、群衆の移動方向と反対方向を往復させて、両方の範囲を撮影できるようにカメラを制御してもよい。これらの制御は、マイクロフォンの場合にも同様に適用可能である。
　さらに、監視デバイス制御部１３は、監視デバイス３０を制御することにより、各監視デバイス３０が取得したデータ（例えば、映像データ、音データなど）に、そのデータの内容を示す識別情報を付与してもよい。監視デバイス制御部１３は、例えば、「群衆の移動元」や「群衆の移動先」といったラベルや、デバイスＩＤ、監視デバイスが設置されている位置などを識別情報として各データに付与してもよい。
　また、群衆行動分析部１１が入力映像から事象を特定している場合（または、蓋然性が高い事象を検出した場合）、監視デバイス制御部１３は、その事象を示す情報（例えば、「異常事態の震源」、「群衆の移動先エリア」、「フラッシュの検出」など）や、その事象の尤度などを各データに付与してもよい。このような識別情報を付与することにより、後に監視データの中から必要な情報を抽出することが容易になる。
　群衆行動分析部１１と、監視デバイス制御部１３とは、プログラム（監視用プログラム）に従って動作するコンピュータのＣＰＵによって実現される。例えば、プログラムは、監視装置の記憶部（図示せず）に記憶され、ＣＰＵは、そのプログラムを読み込み、プログラムに従って、群衆行動分析部１１および監視デバイス制御部１３として動作してもよい。また、群衆行動分析部１１と、監視デバイス制御部１３とは、それぞれが専用のハードウェアで実現されていてもよい。
　次に、本実施形態の監視装置の動作の一例を説明する。図４は、本実施形態の監視装置の動作例を示すフローチャートである。まず、監視デバイス３０の１つであるカメラが、監視範囲の映像を撮影し、群衆行動分析部１１に撮影した映像を入力する（ステップＳ１１）。群衆行動分析部１１は、入力映像から群衆を特定し、その群衆の移動方向を算出する（ステップＳ１２）。このとき、群衆行動分析部１１は、群衆の移動変化量を併せて算出してもよい。そして、監視デバイス制御部１３は、算出された移動方向に応じて監視デバイス３０を制御する（ステップＳ１３）。このとき、監視デバイス制御部１３は、算出された移動変化量が予め定めた基準を満たす場合に、監視デバイス３０を制御するようにしてもよい。
　以上のように、本実施形態によれば、群衆行動分析部１１が、群衆が撮影された入力映像からその群衆の移動方向を算出し、監視デバイス制御部１３が、算出された群衆の移動方向に応じて、監視デバイス３０を制御する。よって、発生した事態を監視するためのデバイスを適切に制御できる。
　一般に、監視デバイス１台で広い範囲を監視できることが望ましい。その一方で、各監視デバイスが監視できる範囲には限界がある。しかし、本実施形態の監視装置は、群衆が撮影された映像から群衆の移動方向を算出して監視デバイスを制御する。そのため、個々のデバイスが監視可能な範囲が狭い場合であっても、発生した事態を適切に監視することができる。
実施形態２．
　次に、本発明による監視装置の第２の実施形態を説明する。本実施形態の監視装置は、第１の実施形態の監視装置と同様、発生した事態を監視するためのデバイスを適切に制御するものである。さらに、本実施形態の監視装置は、監視範囲から検出される音源とともに群衆が移動する場合に、その群衆が移動することとなった原因（すなわち、震源）を適切に監視できるようにするものである。
　図５は、本発明による監視装置の第２の実施形態の構成例を示すブロック図である。なお、第１の実施形態と同様の構成については、図１と同一の符号を付し、説明を省略する。本実施形態の監視装置は、群衆行動分析部１１と、環境音分析部１２と、監視デバイス制御部１３と、監視デバイス３０とを備えている。すなわち、本実施形態の監視装置は、環境音分析部１２を備えている点において、第１の実施形態の監視装置と異なる。
　また、本実施形態では、監視デバイス３０にマイクロフォンも用いられ、そのマイクロフォンは、監視範囲の音（以下、環境音と記す。）を集音し、その音を環境音分析部１２に入力する。
　環境音分析部１２は、監視範囲の音（すなわち、環境音）に含まれる音源を分析する。具体的には、環境音分析部１２は、監視範囲から検出される音源を分析して、音源の方位を判定し、また、音源の種類や音源の音の大きさなどを識別する。以下、音源の種類や音源の音の大きさなど、音源の内容を識別する結果のことを音源識別結果と記す。
　環境音分析部１２は、例えば、異常事態を示す音源を分析してもよい。異常事態を示す音源として、悲鳴、自動車音（例えば、エンジン音、排気音、スリップ音など）、各種爆発音、銃声、ガラスの割れる音などが挙げられる。なお、集音結果に基づいて、音源の方位を判定する方法や、音源の内容を識別する方法は広く知られているため、ここでは詳細な説明は省略する。
　環境音分析部１２は、音源方位や音源識別結果など、音源に関する分析結果を定期的に監視デバイス制御部１３に入力してもよい。また、環境音分析部１２は、所定の種類の音源（例えば、異常事態を示す音源）を認識したときに、その音源を認識した結果とその音源の方位とを監視デバイス制御部１３に入力してもよい。なお、環境音分析部１２は、例えば、プログラム（監視用プログラム）に従って動作するコンピュータのＣＰＵによって実現される。
　監視デバイス制御部１３は、環境音分析部１２から入力される音源の方位または音源の識別結果に基づいて、監視デバイス３０を制御する。監視デバイス制御部１３は、例えば、異常事態を示す音源など、所定の種類の音源の場合に、各監視デバイス３０の処理を開始させるようにしてもよい。
　また、監視デバイス制御部１３は、音源の識別結果に基づいて、群衆の移動方向のうち、どちらの移動方向を監視できるように監視デバイス３０を制御するか決定してもよい。
　また、例えば、監視装置がマイクロフォンを複数台備えている場合、監視デバイス制御部１３は、入力される音源の方位の音をより検出できるように各マイクロフォンの指向性を制御してもよい。このような制御を行うことで、超指向性マイクロフォンの機能を実現できるため、音源の音の監視精度をより高めることができる。
　また、例えば、監視デバイス３０がカメラの場合、監視デバイス制御部１３は、所定の種類の音源を検出したことを示す音源識別結果が入力されたときに、撮影を開始するようにしてもよい。また、監視デバイス制御部１３は、このような音源識別結果が入力されたとき、音源方位にカメラの撮影範囲を変更する制御を行ってもよい。このような制御を行うことにより、異常事態の発生を知らせる群衆を特定できる。このような群衆が特定できれば、群衆行動分析部１１が第１の実施形態で示したように、この撮影範囲を基準として群衆の移動方向を算出できる。この群衆の移動方向に基づいて監視デバイス制御部１３が、各監視デバイス３０を制御することで、発生した事態をより適切に監視できるようになる。
　また、例えば、監視デバイス３０が振動センサや温度センサなどの場合、監視デバイス制御部１３は、音源の識別結果に基づいて、センサ処理を開始させてもよい。
　また、監視デバイス制御部１３は、監視デバイス３０のオン／オフを制御するだけでなく、監視デバイス３０の監視精度を変更するように制御してもよい。例えば、監視デバイス３０がマイクロフォンの場合、監視デバイス制御部１３は、集音の精度を変更するように監視デバイス３０を制御してもよい。
　具体的には、監視デバイス制御部１３は、音源識別結果に基づいてデータフォーマットを変更するようにしてもよい。例えば、識別した音源の音が小さい場合、監視デバイス制御部１３は、量子化ビット数を変更（例えば、１６ビットから２４ビットへの変更）するように監視デバイス３０を制御してもよい。また、例えば、識別結果に応じて高域の音を検出することが必要と判断された場合、監視デバイス制御部１３は、サンプリングレートを変更（例えば、１６キロヘルツでのサンプリングからＣＤ音質（４４．１キロヘルツ）でのサンプリングに変更）するように監視デバイス３０を制御してもよい。このような制御を行うことで、発生した音源の内容をより適切に監視できるようになる。
　次に、本実施形態の監視装置の動作の一例を説明する。図６は、本実施形態の監視装置の動作例を示すフローチャートである。本動作例では、監視デバイス３０にカメラおよびマイクロフォンが用いられるとする。
　環境音分析部１２は、環境音を分析し、異常事態を示す音源が含まれるか否か判断する（ステップＳ２１）。環境音に異常事態を示す音源が含まれないと判定した場合（ステップＳ２１におけるＮｏ）、環境音分析部１２は、ステップＳ２１の処理を繰り返す。一方、環境音に異常事態を示す音源が含まれている場合（ステップＳ２１におけるＹｅｓ）、環境音分析部１２は、その音源の方位と音源識別結果とを監視デバイス制御部１３に入力する（ステップＳ２２）。
　監視デバイス制御部１３は、入力された音源の方位に基づいて、監視デバイス３０であるカメラがその音源の方位を撮影できるように、そのカメラの撮影範囲を変更させる制御を行う（ステップＳ２３）。カメラは、その撮影範囲の映像を撮影し、撮影した映像を群衆行動分析部１１に入力する（ステップＳ２４）。以降、入力された映像から群衆の移動方向を算出して、監視デバイス３０を制御する動作は、図４に例示するステップＳ１２からステップＳ１３までの処理と同様である。
　以上のように、本実施形態によれば、環境音分析部１２が、監視範囲から検出される音源を分析して、その音源の方位と音源識別結果のうちの少なくとも一方を算出し、監視デバイス制御部１３が、音源の方位または音源識別結果に基づいて、監視デバイス３０を制御する。そのため、第１の実施形態の効果に加え、監視すべき事象か否かをより適切に判断できるようになる。また、本実施形態では、環境音分析部１２が、環境音を分析しているため、分析結果を、様々な事象を監視するトリガとして利用することが可能になる。
　次に、本発明の概要を説明する。図７は、本発明による監視装置の概要を示すブロック図である。本発明による監視装置は、群衆が撮影された入力映像からその群衆の移動方向を算出する群衆行動分析部８１（例えば、群衆行動分析部１１）と、算出された群衆の移動方向に応じて、監視デバイス（例えば、監視デバイス３０、カメラ、マイクロフォンなど）を制御する監視デバイス制御部８２（例えば、監視デバイス制御部１３）とを備えている。
　そのような構成により、発生した事態を監視するためのデバイスを適切に制御できる。したがって、対象とする事象を適切に監視できる。
　また、監視デバイス制御部８２は、算出された群衆の移動方向またはその移動方向と反対方向を監視できるように監視デバイスを制御してもよい。例えば、群衆の移動方向を監視できるように監視デバイスを制御することで、群衆の避難方向の範囲が安全か監視できる。また、例えば、群衆の移動方向と反対方向を監視できるように監視デバイスを制御することで、異常事態の震源（群衆の移動元方向）を監視できる。
　また、監視装置は、監視範囲から検出される音源を分析して、その音源の方位とその音源の内容を示す音源識別結果のうちの少なくとも一方を算出する音源分析部（例えば、環境音分析部１２）を備えていてもよい。そして、監視デバイス制御部８２は、音源の方位または音源識別結果に基づいて、監視デバイスを制御してもよい。そのような構成により、監視すべき事象か否かをより適切に判断できるようになる。さらに、このような構成により、音源分析部による分析結果を、様々な事象を監視するトリガとして利用することが可能になる。
　また、監視デバイス制御部８２は、音源識別結果が予め定めた音源（例えば、異常事態を示す音源）の内容を示している場合に監視デバイスを制御してもよい。そのような構成であっても、監視すべき事象をより適切に判断できる。
　また、群衆行動分析部８１は、入力映像から群衆の移動変化量を算出し、監視デバイス制御部８２は、移動変化量が所定の基準を満たす場合（例えば、移動変化量が予め定めた閾値を超える場合）に監視デバイスを制御してもよい。そのような構成により、監視すべき事象をより適切に判断できる。
　また、監視デバイス制御部８２は、算出された群衆の移動方向に応じて監視すべき方向を特定し、複数存在する監視デバイスの中から、監視すべき方向を監視可能な監視デバイスに制御を切り替えてもよい。そのような構成により、監視デバイス自身が、監視範囲を変更できない場合であっても、複数の監視デバイスを連携させることで、事象が発生した範囲を適切に監視できる。
　他にも、監視デバイス制御部８２は、算出された群衆の移動方向に応じて監視すべき方向を特定し、監視デバイスが現在監視している方向から、監視すべき方向へ監視する方向を切り替える制御を行ってもよい。そのような構成により、監視デバイス自身が、監視範囲を変更できる場合であれば、事象が発生した範囲を適切に監視できる。
　また、監視デバイス制御部８２は、監視デバイスを制御することにより、その監視デバイスが取得したデータに対して、そのデータの内容を示す識別情報を付与してもよい。このような識別情報を付与することにより、後に監視データの中から必要な情報を抽出することが容易になる。
　また、監視デバイスが、監視範囲を撮影可能な撮像装置（例えば、カメラ）であってもよい。この場合、群衆行動分析部８１は、撮像装置によって撮影された入力映像から群衆の移動方向を算出し、監視デバイス制御部８２は、算出された群衆の移動方向に応じて、撮像装置の撮影範囲を制御してもよい。
　以上、実施形態及び実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　この出願は、２０１３年４月２６日に出願された日本特許出願２０１３－０９３２１３を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　１１　群衆行動分析部
　１２　環境音分析部
　１３　監視デバイス制御部
　３０　監視デバイス
　４１，４２　群衆
　５０　異常事態の震源
　５１　音声

Claims (13)

  1. 　群衆が撮影された入力映像から当該群衆の移動方向を算出する群衆行動分析部と、
    　算出された群衆の移動方向に応じて、監視デバイスを制御する監視デバイス制御部とを備えた
    　ことを特徴とする監視装置。
  2. 　監視デバイス制御部は、算出された群衆の移動方向または当該移動方向と反対方向を監視できるように監視デバイスを制御する
    　請求項１記載の監視装置。
  3. 　監視範囲から検出される音源を分析して、当該音源の方位と当該音源の内容を示す音源識別結果のうちの少なくとも一方を算出する音源分析部を備え、
    　監視デバイス制御部は、前記音源の方位または前記音源識別結果に基づいて、監視デバイスを制御する
    　請求項１または請求項２記載の監視装置。
  4. 　監視デバイス制御部は、音源識別結果が予め定めた音源の内容を示している場合に監視デバイスを制御する
    　請求項３記載の監視装置。
  5. 　群衆行動分析部は、入力映像から群衆の移動変化量を算出し、
    　監視デバイス制御部は、前記移動変化量が所定の基準を満たす場合に監視デバイスを制御する
    　請求項１から請求項４のうちのいずれか１項に記載の監視装置。
  6. 　監視デバイス制御部は、算出された群衆の移動方向に応じて監視すべき方向を特定し、複数存在する監視デバイスの中から、前記監視すべき方向を監視可能な監視デバイスに制御を切り替える
    　請求項１から請求項５のうちのいずれか１項に記載の監視装置。
  7. 　監視デバイス制御部は、算出された群衆の移動方向に応じて監視すべき方向を特定し、監視デバイスが現在監視している方向から、前記監視すべき方向へ監視する方向を切り替える制御を行う
    　請求項１から請求項５のうちのいずれか１項に記載の監視装置。
  8. 　監視デバイス制御部は、監視デバイスを制御することにより当該監視デバイスが取得したデータに対して、当該データの内容を示す識別情報を付与する
    　請求項１から請求項７のうちのいずれか１項に記載の監視装置。
  9. 　監視デバイスは、監視範囲を撮影可能な撮像装置であり、
    　群衆行動分析部は、前記撮像装置によって撮影された入力映像から群衆の移動方向を算出し、
    　監視デバイス制御部は、算出された群衆の移動方向に応じて、前記撮像装置の撮影範囲を制御する
    　請求項１から請求項８のうちのいずれか１項に記載の監視装置。
  10. 　群衆が撮影された入力映像から当該群衆の移動方向を算出し、
    　算出された群衆の移動方向に応じて、監視デバイスを制御する
    　ことを特徴とする監視方法。
  11. 　算出された群衆の移動方向または当該移動方向と反対方向を監視できるように監視デバイスを制御する
    　請求項１０記載の監視方法。
  12. 　コンピュータに、
    　群衆が撮影された入力映像から当該群衆の移動方向を算出する群衆行動分析処理、および、
    　算出された群衆の移動方向に応じて、監視デバイスを制御する監視デバイス制御処理
    　を実行させるための監視用プログラム。
  13. 　コンピュータに、
    　監視デバイス制御処理で、算出された群衆の移動方向または当該移動方向と反対方向を監視できるように監視デバイスを制御させる
    　請求項１２記載の監視用プログラム。
PCT/JP2014/000424 2013-04-26 2014-01-28 監視装置、監視方法および監視用プログラム WO2014174737A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013093213 2013-04-26
JP2013-093213 2013-04-26

Publications (1)

Publication Number Publication Date
WO2014174737A1 true WO2014174737A1 (ja) 2014-10-30

Family

ID=51791328

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/000424 WO2014174737A1 (ja) 2013-04-26 2014-01-28 監視装置、監視方法および監視用プログラム

Country Status (1)

Country Link
WO (1) WO2014174737A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018510398A (ja) * 2015-02-17 2018-04-12 日本電気株式会社 事象関連データ監視システム
US10281889B2 (en) 2016-12-02 2019-05-07 Imam Abdulrahman Bin Faisal University System and method to guide a crowd
WO2019117736A1 (en) * 2017-12-15 2019-06-20 Motorola Solutions, Inc Device, system and method for crowd control
US10579881B2 (en) 2015-09-01 2020-03-03 Nec Corporation Surveillance information generation apparatus, imaging direction estimation apparatus, surveillance information generation method, imaging direction estimation method, and program
WO2021124435A1 (ja) * 2019-12-17 2021-06-24 日本電気株式会社 画像処理方法
JP2023502816A (ja) * 2020-10-30 2023-01-26 深▲セン▼市商▲湯▼科技有限公司 現場監視方法及び装置、電子機器、記憶媒体並びにプログラム
WO2023026437A1 (ja) * 2021-08-26 2023-03-02 日本電気株式会社 監視装置、監視システム、監視方法、及びプログラムが格納された非一時的なコンピュータ可読媒体

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002021441A1 (fr) * 2000-09-06 2002-03-14 Hitachi, Ltd. Detecteur de comportement anormal
JP2002344957A (ja) * 2001-05-11 2002-11-29 Hitachi Kokusai Electric Inc 画像監視装置
JP2004139261A (ja) * 2002-10-16 2004-05-13 Matsushita Electric Ind Co Ltd 監視モニター装置
JP2007028680A (ja) * 2003-10-21 2007-02-01 Matsushita Electric Ind Co Ltd 監視装置
JP2012058944A (ja) * 2010-09-08 2012-03-22 Secom Co Ltd 異常検知装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002021441A1 (fr) * 2000-09-06 2002-03-14 Hitachi, Ltd. Detecteur de comportement anormal
JP2002344957A (ja) * 2001-05-11 2002-11-29 Hitachi Kokusai Electric Inc 画像監視装置
JP2004139261A (ja) * 2002-10-16 2004-05-13 Matsushita Electric Ind Co Ltd 監視モニター装置
JP2007028680A (ja) * 2003-10-21 2007-02-01 Matsushita Electric Ind Co Ltd 監視装置
JP2012058944A (ja) * 2010-09-08 2012-03-22 Secom Co Ltd 異常検知装置

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018510398A (ja) * 2015-02-17 2018-04-12 日本電気株式会社 事象関連データ監視システム
JP2020102238A (ja) * 2015-02-17 2020-07-02 日本電気株式会社 事象監視システム、事象監視方法及び事象監視プログラム
US11670159B2 (en) 2015-02-17 2023-06-06 Nec Corporation System for monitoring event related data
US10970995B2 (en) 2015-02-17 2021-04-06 Nec Corporation System for monitoring event related data
US11710322B2 (en) 2015-09-01 2023-07-25 Nec Corporation Surveillance information generation apparatus, imaging direction estimation apparatus, surveillance information generation method, imaging direction estimation method, and program
US10579881B2 (en) 2015-09-01 2020-03-03 Nec Corporation Surveillance information generation apparatus, imaging direction estimation apparatus, surveillance information generation method, imaging direction estimation method, and program
US10748010B2 (en) 2015-09-01 2020-08-18 Nec Corporation Surveillance information generation apparatus, imaging direction estimation apparatus, surveillance information generation method, imaging direction estimation method, and program
US10977499B2 (en) 2015-09-01 2021-04-13 Nec Corporation Surveillance information generation apparatus, imaging direction estimation apparatus, surveillance information generation method, imaging direction estimation method, and program
US10281889B2 (en) 2016-12-02 2019-05-07 Imam Abdulrahman Bin Faisal University System and method to guide a crowd
GB2582512A (en) * 2017-12-15 2020-09-23 Motorola Solutions Inc Device, system and method for crowd control
AU2017442559B2 (en) * 2017-12-15 2021-05-06 Motorola Solutions, Inc Device, system and method for crowd control
WO2019117736A1 (en) * 2017-12-15 2019-06-20 Motorola Solutions, Inc Device, system and method for crowd control
US11282349B2 (en) 2017-12-15 2022-03-22 Motorola Solutions, Inc. Device, system and method for crowd control
GB2582512B (en) * 2017-12-15 2022-03-30 Motorola Solutions Inc Device, system and method for crowd control
WO2021124435A1 (ja) * 2019-12-17 2021-06-24 日本電気株式会社 画像処理方法
JPWO2021124435A1 (ja) * 2019-12-17 2021-06-24
JP7414077B2 (ja) 2019-12-17 2024-01-16 日本電気株式会社 画像処理方法
JP2023502816A (ja) * 2020-10-30 2023-01-26 深▲セン▼市商▲湯▼科技有限公司 現場監視方法及び装置、電子機器、記憶媒体並びにプログラム
JP7305808B2 (ja) 2020-10-30 2023-07-10 深▲セン▼市商▲湯▼科技有限公司 現場監視方法及び装置、電子機器、記憶媒体並びにプログラム
WO2023026437A1 (ja) * 2021-08-26 2023-03-02 日本電気株式会社 監視装置、監視システム、監視方法、及びプログラムが格納された非一時的なコンピュータ可読媒体

Similar Documents

Publication Publication Date Title
WO2014174737A1 (ja) 監視装置、監視方法および監視用プログラム
JP7420169B2 (ja) 監視システム、監視方法及びプログラム
WO2014174738A1 (ja) 監視装置、監視方法および監視用プログラム
CN107223332B (zh) 基于声学相机的音频视觉场景分析
JP6135880B2 (ja) 音声処理方法、音声処理システム、及び記憶媒体
JP6344383B2 (ja) 行動解析装置、行動解析方法および行動解析プログラム
JP2018165759A5 (ja)
KR101485022B1 (ko) 행동 패턴 분석이 가능한 객체 추적 시스템 및 이를 이용한 방법
WO2014155958A1 (ja) 対象物監視システム、対象物監視方法および監視対象抽出プログラム
KR101384781B1 (ko) 이상 음원 탐지 장치 및 방법
JP6458474B2 (ja) 監視システム、映像解析装置、映像解析方法およびプログラム
JP5374080B2 (ja) 撮影装置、その制御方法及びコンピュータプログラム
WO2019097412A1 (en) System and method for multimedia-based performance monitoring of an equipment
JP4175180B2 (ja) 監視通報システム
JP4859130B2 (ja) 監視システム
JP5173861B2 (ja) 撮像装置及びその制御方法
EP2927885A1 (en) Sound processing apparatus, sound processing system and sound processing method
JP2020017904A (ja) 撮像装置の制御装置、方法及びプログラム
US20240153526A1 (en) Audio event analysis, classification, and detection system
JP2014155014A5 (ja)
WO2023002563A1 (ja) 監視装置、監視システム、監視方法、及びプログラムが格納された非一時的なコンピュータ可読媒体
JP2009017031A (ja) 映像情報出力装置、監視カメラシステム、及び映像情報出力方法
JPWO2022009349A5 (ja) 会話監視装置、制御方法、及びプログラム
JP2018066821A (ja) 音声処理システム、音声処理装置、監視カメラ、監視システム、プログラムおよび音声処理方法
JP2018092468A (ja) 防犯監視システム及びその制御方法並びにコンピュータプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14788193

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14788193

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP