JP6425019B2 - Abnormal sound detection system and abnormal sound detection method - Google Patents

Description

本発明は、異常音を検出する異常音検出システム及び異常音検出方法に関する。 The present invention relates to an abnormal sound detection system and an abnormal sound detection method for detecting an abnormal sound.

従来、防犯装置として、所定のエリア内において発生した異常音を検出した場合に、異常音を検出したことを知らせるための警報音を出力する情報処理装置が知られている（例えば、特許文献１参照）。特許文献１に示す情報処理装置では、検出した異常音の種類が判別される。   Conventionally, as a crime prevention device, there is known an information processing device which outputs an alarm sound for notifying that an abnormal sound has been detected when an abnormal sound generated in a predetermined area is detected (for example, Patent Document 1) reference). In the information processing apparatus shown in Patent Document 1, the type of the detected abnormal sound is determined.

特開２００４−２２７１１６号公報JP 2004-227116 A

しかし、特許文献１を含む従来技術では、エリア内のいずれの場所においても異常音が検出された場合、警報音が一様に出力されてユーザに報知していたが、エリア内の状況によっては警報音を出力させない方がユーザの利便性を低下させない点で好ましいという課題があった。   However, in the prior art including Patent Document 1, when an abnormal sound is detected at any place in the area, the alarm sound is uniformly output to notify the user, but depending on the situation in the area, There is a problem that it is preferable not to output the alarm sound in that the convenience of the user is not reduced.

例えば、エリア内に設置されたテレビやオーディオ機器から出力された大きな音が異常音として誤検出されてしまい、監視者としてのユーザに対する利便性を低下させてしまうことがある。このような音は、テレビやオーディオ機器から出力された音の視聴者又は聴取者への娯楽等の目的のために番組で使用されたものであり、言い換えると、異常音として捉えられるべきでない音声である。   For example, a loud sound output from a television or audio device installed in an area may be erroneously detected as an abnormal sound, which may reduce the convenience for the user as a surveillance person. Such sound is used in a program for the purpose of entertainment to a viewer or listener of a sound output from a television or audio device, and in other words, it should not be regarded as an abnormal sound. It is.

従って、上述した従来技術に対し、異常音として捉えるべき音声とそうでない音声とを明確に区別して、異常音として捉えるべきでない音声が検出された場合には、警報音を出力させないようにする仕組みが必要であった。   Therefore, in contrast to the above-described prior art, a mechanism that clearly distinguishes a voice that should be caught as an abnormal sound and a voice that is not like it, and prevents a warning sound from being output when a voice that should not be caught as an abnormal sound is detected. Was necessary.

本発明は、上述した従来の状況に鑑みて案出され、異常音として捉えるべきでない音声を明確に区別し、異常音検出システム及び異常音検出方法を提供することを目的とする。 The present invention is devised in view of the above-described conventional situation, and it is an object of the present invention to clearly distinguish voices that should not be regarded as abnormal sounds and to provide an abnormal sound detection system and an abnormal sound detection method .

本発明は、収音装置と異常音検出装置とが接続された異常音検出システムであって、前記収音装置は、複数の異常音検出領域を含む収音領域の音声を収音する収音部を有し、前記異常音検出装置は、各々の前記異常音検出領域と異常音とが対応付けられた異常通知対象外リストを記憶する記憶部と、前記収音部により収音された音声に対し、いずれかの前記異常音検出領域に応じて指定された方向に指向性を形成する指向性形成部と、前記異常通知対象外リストのいずれかの前記異常音検出領域に前記指向性が形成された音声に前記異常音が検出された場合に、検出された前記異常音に対応したアラート通知を行わず、前記異常通知対象外リストのいずれかの前記異常音検出領域以外の検出領域に前記指向性が形成された音声に前記異常音が検出された場合に、検出された前記異常音に対応したアラート通知を行う通知部と、を備え、前記収音領域を撮像する撮像装置が更に接続され、前記異常音検出装置は、前記撮像装置により撮像された前記収音領域の画像を用いて、前記複数の異常音検出領域を設定する、異常音検出システムである。 The present invention is an abnormal sound detection system in which a sound collection device and an abnormal sound detection device are connected, and the sound collection device collects sound of a sound collection area including a plurality of abnormal sound detection areas. A storage unit configured to store an abnormal notification not-applicable list in which the abnormal sound detection device includes an abnormal notification detection list in which the abnormal sound detection areas and the abnormal sounds are associated with each other; On the other hand, the directivity forming unit forms directivity in a direction designated according to any of the abnormal sound detection areas, and the directivity is set in the abnormal sound detection area of any of the abnormality notification exclusion target list. When the abnormal sound is detected in the formed voice, an alert notification corresponding to the detected abnormal sound is not performed, and a detection area other than the abnormal sound detection area in any of the abnormality notification excluded list is displayed. The abnormal sound is present in the voice in which the directivity is formed. If issued, and a notification unit that performs alert notification corresponding to said detected abnormal sound, the image pickup apparatus for imaging a sound collection region is further connected, the abnormal sound detecting apparatus, the imaging apparatus using the image of the sound collecting area which is captured by, to set the plurality of abnormal sound detection area is an abnormal sound detection system.

本発明によれば、異常音として捉えるべきでない音声を明確に区別でき、ユーザの利便性を向上できる。   According to the present invention, voices that should not be regarded as abnormal sounds can be clearly distinguished, and user convenience can be improved.

本実施形態の異常音検出システムのシステム構成の一例を示すブロック図Block diagram showing an example of the system configuration of the abnormal sound detection system of the present embodiment （Ａ）検出対象外範囲指定リストの登録内容の一例を示すテーブル、（Ｂ）検出対象外音種類リストの登録内容を示すテーブル(A) A table showing an example of registered contents of the non-detection target range specification list, (B) a table showing registered contents of the detection target non-sound type list ＰＣによる事前設定手順の一例を説明するフローチャートFlow chart explaining an example of the pre-setting procedure by the PC パノラマ画像が表示されたディスプレイの画面を示す図A diagram showing a screen of a display on which a panoramic image is displayed パノラマ画像に対して行われた画面分割及び設定範囲の指定を説明する図A diagram for explaining screen division and setting range designation performed on a panoramic image 検出対象外の音を指定するためのポップアップ画面を示す図Figure showing pop-up screen for specifying sound not to be detected ＰＣによる異常音検出処理手順の一例を説明するフローチャートFlow chart for explaining an example of abnormal sound detection processing procedure by PC （Ａ），（Ｂ）ディスプレイに表示されるアラート通知画面を示す図、（Ｃ）異常音が検出された設定範囲の撮像画像が表示されたディスプレイの画面を示す図(A), (B) A diagram showing an alert notification screen displayed on a display, (C) A diagram showing a screen of a display on which a captured image of a set range where an abnormal sound is detected is displayed 所定形状を描画することで指定された設定範囲を示す図A diagram showing the setting range specified by drawing a predetermined shape

以下、本発明に係る異常音検出システムを具体的に開示した実施形態（以下、「本実施形態」という）について、図面を参照して説明する。   Hereinafter, an embodiment (hereinafter, referred to as “the present embodiment”) which specifically discloses the abnormal sound detection system according to the present invention will be described with reference to the drawings.

図１は、本実施形態の異常音検出システム５のシステム構成の一例を示すブロック図である。図１に示す異常音検出システム５は、監視用のカメラ１０，１０Ａと、マイクアレイ２０と、レコーダ４０と、ＰＣ（Personal Computer）５０とが、ネットワーク２５を介して相互に接続された構成である。   FIG. 1 is a block diagram showing an example of the system configuration of the abnormal sound detection system 5 of the present embodiment. The abnormal sound detection system 5 shown in FIG. 1 has a configuration in which monitoring cameras 10 and 10A, a microphone array 20, a recorder 40, and a PC (Personal Computer) 50 are mutually connected via a network 25. is there.

カメラ１０とマイクアレイ２０とは、例えばカメラ１０を中心に配置し、カメラ１０を囲むようにリング型の筐体を有するマイクアレイ２０を嵌め込むことで、カメラ１０及びマイクアレイ２０一体型の監視ユニット１５を構築する。カメラ１０Ａは、カメラ１０と同様の構成であり、カメラ１０とは異なる対象エリアを撮像する単独配置型のカメラである。以下、説明を簡単にするために、カメラ１０について説明し、カメラ１０Ａの動作については省略するが、カメラ１０Ａはカメラ１０と同様に動作する。また、異常音検出システム５における異常音の監視対象のエリアとして、本実施形態では、例えばホテルのロビーを例示する。   The camera 10 and the microphone array 20 are disposed, for example, at the center of the camera 10, and the microphone array 20 having a ring-shaped housing is fitted so as to surround the camera 10, thereby monitoring the camera 10 and the microphone array 20 integrally. Build unit 15. The camera 10A has a configuration similar to that of the camera 10, and is a single arrangement type camera for imaging a target area different from the camera 10. Hereinafter, the camera 10 will be described in order to simplify the description, and the operation of the camera 10A will be omitted, but the camera 10A operates in the same manner as the camera 10. Further, as an area to be monitored for abnormal sound in the abnormal sound detection system 5, for example, a lobby of a hotel is exemplified in the present embodiment.

撮像装置の一例としてのカメラ１０は、監視カメラとしてホテルのロビーの天井に設置され、前面に魚眼レンズを搭載した全方位画像を撮像可能な全方位カメラであり、監視対象の地点（場所）の周囲の映像（静止画及び動画を含む。以下同様。）を撮像する。カメラ１０は、撮像した映像のデータ（映像データ）を、ネットワーク２５を介して監視室７５内のＰＣ５０に転送し、更に、レコーダ４０に記録する。   The camera 10 as an example of an imaging device is an omnidirectional camera which is installed on the ceiling of the lobby of a hotel as a surveillance camera and has an fisheye lens mounted on the front and can capture an omnidirectional image. The image of (including still and moving images, and so on) is captured. The camera 10 transfers the captured video data (video data) to the PC 50 in the monitoring room 75 via the network 25 and further records the data in the recorder 40.

なお、カメラ１０は、監視室７５内のＰＣ５０から遠隔操作が可能なパン機能・チルト機能・ズームイン機能並びにズームアウト機能（以下、ＰＴＺ（Pan Tilt Zoom）機能という）を有するＰＴＺカメラでもよいし、画角が予め固定された所定位置を撮像する固定カメラでもよい。   The camera 10 may be a PTZ camera having a pan function, a tilt function, a zoom in function, and a zoom out function (hereinafter referred to as a PTZ (Pan Tilt Zoom) function) capable of remote control from the PC 50 in the monitoring room 75. It may be a fixed camera which picks up a predetermined position at which the angle of view is previously fixed.

収音装置の一例としてのマイクアレイ２０は、ホテルのロビーの天井に設置され、収音部の一例としての複数のマイクロホン２２（例えば図４参照）が一様に設けられた筐体を有する。マイクアレイ２０は、各々のマイクロホン２２を用いて、監視対象の地点（場所）周囲の音声を収音し、各々のマイクロホン２２により収音された音声のデータ（音声データ）を、ネットワーク２５を介して監視室７５内のＰＣ５０に送信し、更に、レコーダ４０に記録する。なお、各マイクロホン２２は、無指向性マイクロホンでも良いし、双指向性マイクロホン、単一指向性マイクロホン、鋭指向性マイクロホン、超指向性マイクロホン（例えばガンマイク）又はこれらの組み合わせが用いられても良い。   A microphone array 20 as an example of a sound collection device is installed on a ceiling of a lobby of a hotel, and has a housing in which a plurality of microphones 22 (see, for example, FIG. 4) as an example of a sound collection unit are uniformly provided. The microphone array 20 picks up the sound around the point to be monitored (location) using each of the microphones 22, and the voice data (voice data) collected by each of the microphones 22 is transmitted via the network 25. Then, the data is transmitted to the PC 50 in the monitoring room 75 and is further recorded in the recorder 40. Each microphone 22 may be a non-directional microphone, or a bi-directional microphone, a unidirectional microphone, a sharp directional microphone, a super directional microphone (for example, a gun microphone), or a combination thereof may be used.

レコーダ４０は、データの記録等の各処理を制御するための制御部（不図示）と、映像データ及び音声データを格納するための記録部（不図示）とを含む構成である。レコーダ４０は、カメラ１０により撮像された映像データと、マイクアレイ２０により収音された音声データとを対応付けて記録する。   The recorder 40 is configured to include a control unit (not shown) for controlling each process such as data recording, and a recording unit (not shown) for storing video data and audio data. The recorder 40 associates the video data captured by the camera 10 with the audio data collected by the microphone array 20 and records them.

異常音検出装置の一例としてＰＣ５０は、例えば監視者７７が常駐する監視室７５に設置され、信号処理部５１、メモリ５２、操作部５３及び再生部６０を有し、カメラ１０，１０Ａで撮像された映像及びマイクアレイ２０で収音された音声を用いた収音領域の監視処理を行う。   As an example of the abnormal sound detection device, a PC 50 is installed in, for example, a monitoring room 75 in which a monitor 77 resides, and has a signal processing unit 51, a memory 52, an operation unit 53 and a reproduction unit 60. A sound collection area monitoring process is performed using the captured image and the sound collected by the microphone array 20.

信号処理部５１は、例えばＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）又はＤＳＰ（Digital Signal Processor）を用いて構成され、ＰＣ５０の各部の動作を全体的に統括するための制御処理、他の各部との間のデータの入出力処理、データの演算（計算）処理及びデータの記憶処理を実行する。   The signal processing unit 51 is configured using, for example, a central processing unit (CPU), a micro processing unit (MPU), or a digital signal processor (DSP), and control processing for overall control of the operation of each unit of the PC 50 Execute data input / output processing, data calculation (calculation) processing, and data storage processing with each part of.

指向性形成部の一例としての信号処理部５１は、マイクアレイ２０から直接転送された、或いはレコーダ４０からに記録された音声データを用いて、音声データの指向性制御処理により、各々のマイクロホンにより収音された各音声データを加算し、マイクアレイ２０の各マイクロホン２２の位置から監視者７７により指定された特定方向への音声（例えば音量レベル）を強調（増幅）するために、特定方向への指向性を形成した音声データを生成する。なお、マイクアレイ２０によって収音された音声の指向性を形成するための音声データの指向性制御処理に関する技術は、例えば特開２０１４−１４３６７８号公報等に示されるように、公知技術である。   The signal processing unit 51 as an example of the directivity forming unit uses the voice data directly transferred from the microphone array 20 or recorded from the recorder 40, and performs directivity control processing of the voice data by each microphone. In order to add the collected voice data and to enhance (amplify) the voice (for example, the volume level) from the position of each microphone 22 of the microphone array 20 to a specific direction designated by the monitor 77, To generate voice data forming the directivity of A technique related to directivity control processing of audio data for forming directivity of voice collected by the microphone array 20 is a known technique as disclosed in, for example, JP-A-2014-143678.

言い換えると、信号処理部５１は、マイクアレイ２０から送信された音声データを用いて、マイクアレイ２０から特定方向（指向方向）への音声の音量レベルを強調（増幅）するために、特定方向への指向性を形成した音声データを生成する。また、特定方向とは、マイクアレイ２０から、監視者７７の操作部５３を介して指定された所定の指定箇所に対応する位置に向かう方向であり、音声データの音量レベルを強調（増幅）するために監視者７７を含むユーザにより指定される方向である。   In other words, the signal processing unit 51 uses voice data transmitted from the microphone array 20 to increase (amplify) the volume level of voice from the microphone array 20 in a specific direction (directed direction). To generate voice data forming the directivity of Further, the specific direction is a direction from the microphone array 20 to a position corresponding to a predetermined designated portion designated through the operation unit 53 of the monitor 77, and emphasizes (amplifies) the volume level of audio data. And the direction specified by the user including the observer 77.

信号処理部５１は、全方位カメラによって撮像された映像データの座標系（例えばｘ軸，ｙ軸，ｚ軸のうち２次元又は３次元の座標変換）の変換処理を行い、変換処理後の映像データをディスプレイ６３に表示させる。ディスプレイ６３に映像データを表示する場合、映像データの表示の方法として、円形画像、矩形画像、パノラマ画像の３通りの方法がある。各表示方法については後述するが、ここでは、説明を分かり易くするために、パノラマ画像を用いる場合を示す。   The signal processing unit 51 performs conversion processing of the coordinate system (for example, two-dimensional or three-dimensional coordinate conversion among the x-axis, y-axis, and z-axis) of the video data captured by the omnidirectional camera, and the video after conversion processing The data is displayed on the display 63. In the case of displaying video data on the display 63, there are three methods of displaying video data, a circular image, a rectangular image, and a panoramic image. Although each display method will be described later, here, in order to make the description easy to understand, a case of using a panoramic image is shown.

操作部５３は、例えばディスプレイ６３の画面に対応して配置され、ユーザの指又はスタイラスペンによって入力操作が可能なタッチパネル又はタッチパッドを用いて構成される。操作部５３は、ユーザの操作に応じて、音声データの音量レベルの強調（増幅）を所望する１つ以上の指定箇所の座標のデータを信号処理部５１に出力する。なお、操作部５３は、マウス又はキーボード等のポインティングデバイスを用いて構成されても良い。   The operation unit 53 is disposed, for example, in correspondence with the screen of the display 63, and is configured using a touch panel or a touch pad that allows an input operation with a user's finger or a stylus pen. The operation unit 53 outputs, to the signal processing unit 51, data of the coordinates of one or more designated places where enhancement (amplification) of the volume level of the audio data is desired according to the operation of the user. The operation unit 53 may be configured using a pointing device such as a mouse or a keyboard.

再生部６０は、ディスプレイ６３とスピーカ６５とを含む構成であり、カメラ１０から送信された、或いはレコーダ４０に記録された映像データをディスプレイ６３に表示させ、更に、マイクアレイ２０から送信された或いはレコーダ４０に記録された音声データをスピーカ６５に音声出力させる。なお、ディスプレイ６３及びスピーカ６５は、再生部６０とは別々の構成としても良い。   The playback unit 60 is configured to include a display 63 and a speaker 65, and causes the display 63 to display the video data transmitted from the camera 10 or recorded in the recorder 40, and further transmitted from the microphone array 20 or The audio data recorded in the recorder 40 is output to the speaker 65 as audio. The display 63 and the speaker 65 may be configured separately from the reproduction unit 60.

表示部の一例としてのディスプレイ６３は、カメラ１０によって撮像されてネットワーク２５を介して転送された、或いはレコーダ４０に記録された映像データを表示する。音声出力部の一例としてのスピーカ６５は、マイクアレイ２０によって収音されてネットワーク２５を介して転送された、或いはレコーダ４０に記録された音声データ、若しくはその音声データを基にして、信号処理部５１により指向性が形成された後の音声データ（言い換えると、特定方向への強調処理が行われた音声データ）を音声出力する。   The display 63 as an example of the display unit displays video data captured by the camera 10 and transferred via the network 25 or recorded in the recorder 40. The speaker 65 as an example of the audio output unit is a signal processing unit based on audio data collected by the microphone array 20 and transferred via the network 25 or recorded in the recorder 40 or the audio data thereof. The voice data after the directivity is formed by the voice 51 (in other words, the voice data subjected to the enhancement processing in the specific direction) is voice-outputted.

記憶部の一例としてのメモリ５２は、各種データを記憶する揮発性メモリ及び不揮発性メモリからなる記憶媒体を用いて構成され、後述する検出対象外範囲指定リスト３１（図２（Ａ）参照）、検出対象外音種類リスト３２（図２（Ｂ）参照）等のデータを記憶する。   The memory 52 as an example of the storage unit is configured using a storage medium including volatile memory and non-volatile memory for storing various data, and is a detection target outside range designation list 31 (see FIG. 2A) described later. Data such as the non-target sound type list 32 (see FIG. 2B) is stored.

図２（Ａ）は、検出対象外範囲指定リスト３１の登録内容の一例を示すテーブルである。図２（Ｂ）は、検出対象外音種類リスト３２の登録内容の一例を示すテーブルである。図２（Ａ）に示す検出対象外範囲指定リスト３１には、レコードを示す番号毎に、設定範囲、検出対象外音及び備考欄が登録されている。例えば、番号Ｌ１のレコードには、設定範囲Ｂ１，Ｃ１の検出対象外音が「水音」であることが登録されている。また、番号Ｌ２のレコードには、設定範囲Ｂ６，Ｃ６の検出対象外音が「全ての音」であることが登録されている。なお、範囲の指定の方法については後述する。   FIG. 2A is a table showing an example of registered contents of the non-detection target range designation list 31. FIG. 2B is a table showing an example of the registered contents of the detection target non-sound type list 32. In the non-detection target range designation list 31 shown in FIG. 2A, a setting range, a detection target non-sound, and a remarks column are registered for each number indicating a record. For example, in the record of the number L1, it is registered that the detection target outside sound in the setting ranges B1 and C1 is "water sound". Further, in the record of the number L2, it is registered that the outside sound to be detected in the setting ranges B6 and C6 is "all sounds". The method of specifying the range will be described later.

また、図２（Ｂ）に示す検出対象外音種類リスト３２には、検出対象外の音声が複数種類登録されている。例えば検出対象外の音の種類として、「水音」、「爆発音」、「全ての音」、「悲鳴」等が登録されている。これらの音は、後述するように、検出外対象音として任意に設定可能である。   Further, in the non-target sound type list 32 shown in FIG. 2 (B), plural types of voices other than the target sound are registered. For example, “water sound”, “explosive sound”, “all sounds”, “scream”, etc. are registered as types of sounds not to be detected. These sounds can be arbitrarily set as non-detection target sounds as described later.

次に、上記した構成を有する異常音検出システム５の動作を具体的に説明する。   Next, the operation of the abnormal sound detection system 5 having the above-described configuration will be specifically described.

図３は、ＰＣ５０による事前設定手順の一例を説明するフローチャートである。この事前設定処理では、監視者７７を含むユーザによる入力操作に従って各種の設定が行われる。まず、信号処理部５１は、カメラ１０で撮像された全方位画像をディスプレイ６３に表示させる（Ｓ１）。   FIG. 3 is a flowchart for explaining an example of the pre-setting procedure by the PC 50. In this presetting process, various settings are performed in accordance with an input operation by the user including the monitor 77. First, the signal processing unit 51 causes the display 63 to display the omnidirectional image captured by the camera 10 (S1).

信号処理部５１が全方位画像をディスプレイ６３の画面に表示させる場合、例えば３通りの方法がある。カメラ１０は、前述したように、前面に魚眼レンズ（不図示）を搭載した全方位カメラであるため、特段の補正処理がなされない場合には、撮像画像は円形画像となる。   When the signal processing unit 51 causes the omnidirectional image to be displayed on the screen of the display 63, there are, for example, three methods. As described above, since the camera 10 is an omnidirectional camera having a fisheye lens (not shown) mounted on the front surface, the captured image is a circular image when no special correction processing is performed.

第１の表示方法では、信号処理部５１は、カメラ１０で撮像された全方位画像をそのまま表示出力させる。この場合、全方位画像は円形画像であるので、撮像中心から遠ざかる程、歪んだ画像となる。   In the first display method, the signal processing unit 51 causes the omnidirectional image captured by the camera 10 to be displayed and output as it is. In this case, since the omnidirectional image is a circular image, the image becomes distorted as it goes away from the imaging center.

第２の表示方法では、信号処理部５１は、円形画像に対しその中心から扇形の部分画像を切り取り、この扇形の部分画像に対し所定の歪補正を行い、矩形画像を表示させる。   In the second display method, the signal processing unit 51 cuts out a fan-shaped partial image from the center of the circular image, performs predetermined distortion correction on the fan-shaped partial image, and displays a rectangular image.

第３の表示方法では、信号処理部５１は、円形画像に対し所定のパノラマ変換を行い、全景画像としてのパノラマ画像を表示させる。上記したように、本実施形態では、パノラマ画像が表示された場合を説明する。   In the third display method, the signal processing unit 51 performs predetermined panoramic conversion on the circular image, and displays a panoramic image as a panoramic image. As described above, in the present embodiment, the case where a panoramic image is displayed will be described.

図４は、パノラマ画像ＧＺが表示されたディスプレイ６３の画面を示す図である。ディスプレイ６３の画面には、ホテルのロビーの天井に設置されたカメラ１０が真下に向けて撮像した場合のパノラマ画像ＧＺが表示されている。また、ディスプレイ６３の画面の略中央には、パノラマ画像ＧＺと重なるように、カメラ１０とマイクアレイ２０とが一体となるように組み合わされた監視ユニット１５が表示されてもよい。   FIG. 4 is a view showing the screen of the display 63 on which the panoramic image GZ is displayed. On the screen of the display 63, a panoramic image GZ when the camera 10 installed on the ceiling of the lobby of the hotel is imaged directly downward is displayed. Further, at substantially the center of the screen of the display 63, the monitoring unit 15 in which the camera 10 and the microphone array 20 are combined so as to be integrated with the panoramic image GZ may be displayed.

また、パノラマ画像ＧＺの略中央には、テーブル８３、３組のソファ８４，８５，８６及びソファ８４に座る人物９１、ソファ８５に座る２人の人物９２，９３が映っている。パノラマ画像ＧＺの左側には、噴水８１，配水管８７，生け花８８が映っている。パノラマ画像ＧＺの右側には、テレビ８２，生け花８９が映っている。パノラマ画像ＧＺの上側には、扉９４，９６及び扉９４の近くにいる人物９５が映っている。   In the approximate center of the panoramic image GZ, a table 83, three sets of sofas 84, 85, 86 and a person 91 sitting on the sofa 84, and two persons 92 and 93 sitting on the sofa 85 are shown. On the left side of the panoramic image GZ, a fountain 81, a water pipe 87, and an arrangement flower 88 are shown. On the right side of the panoramic image GZ, the television 82 and the flower arrangement 89 are shown. On the upper side of the panoramic image GZ, a door 94, 96 and a person 95 near the door 94 are shown.

信号処理部５１は、ディスプレイ６３に表示されたパノラマ画像ＧＺに対し、画面分割が設定されたか否かを判別する（Ｓ２）。即ち、信号処理部５１は、ユーザ（例えば監視者７７）の操作部５３に対する入力操作によって画面分割の設定を受け付けたか否かを判別する。画面分割の設定の方法として、予め登録された分割フォーマットをユーザが選択することによって画面分割を行う方法がある。   The signal processing unit 51 determines whether or not the screen division is set for the panoramic image GZ displayed on the display 63 (S2). That is, the signal processing unit 51 determines whether or not the screen division setting is accepted by an input operation on the operation unit 53 of the user (for example, the monitor 77). As a method of setting the screen division, there is a method of dividing the screen by the user selecting a division format registered in advance.

図５は、パノラマ画像ＧＺに対して行われた画面分割及び設定範囲の指定を説明する図である。例えば図５には、パノラマ画像ＧＺが表示されたディスプレイ６３の画面を４×６のマス目に分割する場合が示されている。４×６のマス目に分割された場合、２４箇所の異常音検出領域が対象エリア８０（ここでは、ホテルのロビー）に設定されたことになる。図５では、設定範囲Ａ１〜Ｄ６が設定されている。つまり、パノラマ画像ＧＺに対して設定された個々の設定範囲Ａ１〜Ｄ６は、対象エリア８０の一部である異常音検出領域に相当する。なお、画面分割の形態は、図５に示す４×６のマス目の例に限らず、例えば４×４、８×４等のマス目、或いはマス目のような矩形でなく、菱形や三角形で区画するように行われてもよい。以下、所定形状で区画するように画面分割された個々の範囲を「設定範囲」と称する。   FIG. 5 is a diagram for explaining screen division and setting range setting performed on the panoramic image GZ. For example, FIG. 5 shows a case where the screen of the display 63 on which the panoramic image GZ is displayed is divided into 4 × 6 squares. When divided into 4 × 6 squares, 24 abnormal sound detection areas are set in the target area 80 (here, the lobby of the hotel). In FIG. 5, setting ranges A1 to D6 are set. That is, the individual setting ranges A1 to D6 set for the panoramic image GZ correspond to the abnormal sound detection area which is a part of the target area 80. The form of the screen division is not limited to the example of the 4 × 6 grid shown in FIG. 5, but it is not a rectangle such as 4 × 4, 8 × 4, etc. or a grid such as rhombus or triangle. It may be performed to divide by. Hereinafter, each range divided into the screen so as to be divided into a predetermined shape is referred to as a “setting range”.

信号処理部５１は、画面分割が設定されていない場合（Ｓ２、ＮＯ）、ステップＳ１に戻ってディスプレイ６３の画面にパノラマ画像ＧＺを表示し続ける。一方、画面分割の設定が完了すると（Ｓ２、ＹＥＳ）、信号処理部５１は、複数の異常検出領域の中から特定の異常検出領域（例えば、噴水やテレビが置かれている領域）に相当する設定範囲を全設定範囲の中から指定する（Ｓ３）。   When the screen division is not set (S2, NO), the signal processing unit 51 returns to step S1 and continues to display the panoramic image GZ on the screen of the display 63. On the other hand, when the setting of screen division is completed (S2, YES), the signal processing unit 51 corresponds to a specific abnormality detection area (for example, an area where a fountain or a television is placed) among a plurality of abnormality detection areas. A setting range is designated from among all setting ranges (S3).

この設定範囲の指定の方法には、いくつか挙げられる。例えば、図５に示すように、予め画面分割された個々の設定範囲に対し、識別番号（ここでは、Ａ１、…、Ｄ６）を割り当てておき、ユーザが操作部５３（例えばキーボード）から所望の設定範囲に対応する識別番号を入力することで、所望の設定範囲が指定される。また、ディスプレイ６３の画面にパノラマ画像ＧＺに重なるように表示された全設定範囲の中から、カーソル１０８で１つ１つ設定範囲を選択することでも、所望の設定範囲を指定可能である。指定された設定範囲は、他の設定範囲と区別可能な表示形態（例えば、反転表示、網点表示）で表示される。図５では、指定された設定範囲Ｂ１、Ｃ１、Ｂ６、Ｃ６は、網掛けで表示されている。   There are several ways to specify this setting range. For example, as shown in FIG. 5, identification numbers (here, A1,..., D6) are assigned to individual setting ranges divided in advance in advance, and the user desires from the operation unit 53 (for example, a keyboard). A desired setting range is designated by inputting an identification number corresponding to the setting range. Further, it is possible to specify a desired setting range by selecting the setting range one by one with the cursor 108 out of the entire setting ranges displayed so as to overlap the panoramic image GZ on the screen of the display 63. The designated setting range is displayed in a display form (for example, reverse display, halftone dot display) that can be distinguished from other setting ranges. In FIG. 5, the designated setting ranges B1, C1, B6, and C6 are displayed by hatching.

信号処理部５１は、ステップＳ３で指定された選択範囲に対し、検出対象外の音を指定する（Ｓ４）。検出対象外の音の指定は、例えば検出対象外の音の一覧を表すポップアップ画面１２０（図６参照）をディスプレイ６３に表示し、ユーザがカーソル１０８で１つ１つ検出対象外の音を選択することで、検出対象外の音を指定可能である。図６は、検出対象外の音を指定するためのポップアップ画面１２０を示す図である。このポップアップ画面１２０には、検出対象外の音として、図２（Ｂ）に示す検出対象外音種類リスト３２に挙げられた検出対象外の音が選択可能に表示される。   The signal processing unit 51 designates a sound not to be detected in the selection range designated in step S3 (S4). For the specification of sounds not to be detected, for example, a pop-up screen 120 (see FIG. 6) representing a list of sounds not to be detected is displayed on the display 63, and the user selects the sounds not to be detected one by one with the cursor 108. By doing this, it is possible to specify a sound not to be detected. FIG. 6 is a diagram showing a pop-up screen 120 for specifying a sound not to be detected. On the pop-up screen 120, sounds not included in the detection target non-sound type list 32 shown in FIG. 2B are displayed as selectable sounds outside the detection target.

具体的に、「水音」、「爆発音」、「全ての音」、「悲鳴」等である。図２（Ａ）に示すように、噴水８１が設置されている異常音検出領域に相当する設定範囲Ｂ１，Ｃ１に対し、検出対象外の音として「水音」が指定される。また、テレビ８２が設置されている異常音検出領域に相当する設定範囲Ｂ６，Ｃ６に対し、検出対象外の音として「全ての音」が指定される。これにより、ＰＣ５０における事前設定処理が終了する。   Specifically, "water sound", "explosive sound", "all sounds", "screams" and the like. As shown in FIG. 2A, “water sound” is designated as a sound other than the detection target in the setting ranges B1 and C1 corresponding to the abnormal sound detection area in which the fountain 81 is installed. In addition, "all sounds" are specified as the sounds not to be detected in the setting ranges B6 and C6 corresponding to the abnormal sound detection area in which the television 82 is installed. Thus, the presetting process in the PC 50 ends.

図７は、ＰＣ５０による異常音検出処理手順の一例を説明するフローチャートである。異常音検出処理は、事前設定が済んだ後の運用時に行われる処理である。運用時においては、カメラ１０は対象エリア８０をリアルタイムに撮像し、この撮像画像を映像データとしてＰＣ５０に転送し、更に、レコーダ４０に記録させる。また、マイクアレイ２０は、カメラ１０の撮像動作と同期して対象エリア８０をリアルタイムに収音し、この収音した音声を音声データとしてＰＣ５０に転送し、更に、レコーダ４０に記録させる。   FIG. 7 is a flowchart for explaining an example of an abnormal sound detection processing procedure by the PC 50. The abnormal sound detection process is a process performed at the time of operation after presetting. During operation, the camera 10 captures an image of the target area 80 in real time, transfers the captured image as video data to the PC 50, and causes the recorder 40 to record the image. Further, the microphone array 20 picks up the target area 80 in real time in synchronization with the imaging operation of the camera 10, transfers the picked up voice as voice data to the PC 50, and causes the recorder 40 to record it.

信号処理部５１は、カメラ１０から転送された撮像データを基に、ディスプレイ６３の画面に対象エリア８０のパノラマ画像ＧＺを表示する（Ｓ１１）。信号処理部５１は、パノラマ画像ＧＺに対し画面分割によって設定された設定範囲の１つが指定されるまで待つ（Ｓ１２）。この設定範囲の指定は、信号処理部５１が自動的に例えば全設定範囲の中から順番に１つを選択することで行われてもよいし、ユーザが任意に選択することで行われてもよい。   The signal processing unit 51 displays the panoramic image GZ of the target area 80 on the screen of the display 63 based on the imaging data transferred from the camera 10 (S11). The signal processing unit 51 waits for designation of one of the setting ranges set by screen division for the panoramic image GZ (S12). The specification of the setting range may be performed by the signal processing unit 51 automatically selecting one from among all the setting ranges, for example, or by the user arbitrarily selecting. Good.

ステップＳ１２で設定範囲が指定されると（Ｓ１２、ＹＥＳ）、信号処理部５１は、マイクアレイ２０で収音された対象エリア全体の音声の中から、指定された設定範囲の音声を強調するために、前述した音声データの指向性制御処理を実行し、指定された方向に音声の指向性を形成し、指定された方向の音声を出力する（Ｓ１３）。   When the setting range is designated in step S12 (S12, YES), the signal processing unit 51 emphasizes the voice of the designated setting range out of the voice of the entire target area collected by the microphone array 20. Then, the directivity control process of the voice data described above is executed, the voice directivity is formed in the designated direction, and the voice in the designated direction is output (S13).

信号処理部５１は、ステップＳ１３で出力された音声を基に異常音が発生したか否かを判別する（Ｓ１４）。異常音の判別では、例えば音量と周波数特性との少なくとも一方が用いられる。即ち、音声が予め設定された閾値を超える音量を有する場合、出力された音声は異常音と判別される。また、音声の周波数特性が所定の条件を満たす場合、例えば音声の周波数特性を解析し、中心周波数とその分布が特定の周波数範囲に含まれる場合、出力された音声は異常音と判別され、更にその種類が特定される。ここでは、出力された音声が異常音と判別され、更にその種類が特定される場合を示す。なお、音量と周波数特性との両方が用いられてもよい。   The signal processing unit 51 determines whether or not an abnormal sound is generated based on the voice output in step S13 (S14). In the determination of the abnormal sound, for example, at least one of the volume and the frequency characteristic is used. That is, when the sound has a volume higher than a preset threshold, the output sound is determined as an abnormal sound. Further, when the frequency characteristic of the voice satisfies a predetermined condition, for example, the frequency characteristic of the voice is analyzed, and when the center frequency and the distribution thereof are included in a specific frequency range, the outputted voice is determined as an abnormal sound and further The type is identified. Here, the case where the output sound is determined as an abnormal sound and the type is specified is further shown. Note that both volume and frequency characteristics may be used.

ステップＳ１４で異常音が発生していない場合（Ｓ１４、ＮＯ）、信号処理部５１は、次の設定範囲を指定する（Ｓ１５）。前述したように、ユーザが特に設定範囲を指定していない場合、信号処理部５１は、前述した順番に従って次の設定範囲を指定する。そして、信号処理部５１はステップＳ１３の処理に戻る。   When the abnormal sound is not generated in step S14 (S14, NO), the signal processing unit 51 designates the next setting range (S15). As described above, when the user does not particularly designate the setting range, the signal processing unit 51 designates the next setting range in the order described above. Then, the signal processing unit 51 returns to the process of step S13.

一方、ステップＳ１４で異常音が発生した場合（Ｓ１４、ＹＥＳ）、信号処理部５１は、指定された設定範囲が、この異常音を検出すべき範囲であるか否か、つまり図２（Ａ）に示す検出対象外範囲指定リスト３１に該当しない設定範囲であるか否かを判別する（Ｓ１６）。例えば指定された設定範囲が「Ｂ１」であり、異常音の種類が「水音」である場合、指定された範囲は、異常音を検出すべき範囲でないと判別される。   On the other hand, when an abnormal sound is generated in step S14 (S14, YES), the signal processing unit 51 determines whether the designated setting range is a range in which the abnormal sound should be detected, that is, FIG. It is determined whether or not the setting range does not correspond to the non-detection target range designation list 31 shown in (S16). For example, when the designated setting range is “B1” and the type of the abnormal sound is “water sound”, it is determined that the designated range is not a range in which the abnormal sound should be detected.

ステップＳ１６で異常音を検出すべき範囲でないと判別された場合（Ｓ１６、ＮＯ）、信号処理部５１は、アラート通知をしない（アラートＯＦＦ）と判断し（Ｓ１７）、次の設定範囲を指定する（Ｓ１８）。前述したように、ユーザが特に設定範囲を指定していない場合、信号処理部５１は、前述した順番に従って次の設定範囲を指定する（Ｓ１８）。そして、信号処理部５１はステップＳ１３の処理に戻る。   If it is determined in step S16 that the abnormal sound is not within the range to be detected (S16, NO), the signal processing unit 51 determines that alert notification is not to be issued (alert OFF) (S17), and designates the next setting range. (S18). As described above, when the user does not particularly designate the setting range, the signal processing unit 51 designates the next setting range in the order described above (S18). Then, the signal processing unit 51 returns to the process of step S13.

一方、ステップＳ１６で異常音を検出すべき範囲であると判別された場合（Ｓ１６、ＹＥＳ）、信号処理部５１は、アラート通知（アラートＯＮ）を行う（Ｓ１９）。例えば、指定された範囲が「Ａ５」であり、異常音の種類が「悲鳴」である場合、指定された範囲は異常音を検出すべき範囲であると判別され、アラート通知が行われる。本実施形態では、アラート通知として、スピーカ６５から警報音が鳴動し、ディスプレイ６３の画面に警報メッセージが表示される。   On the other hand, when it is determined that the abnormal sound is to be detected in step S16 (S16, YES), the signal processing unit 51 performs alert notification (alert ON) (S19). For example, when the designated range is “A5” and the type of abnormal sound is “scream”, it is determined that the designated range is a range in which the abnormal sound should be detected, and alert notification is performed. In the present embodiment, as the alert notification, an alarm sound is emitted from the speaker 65, and an alarm message is displayed on the screen of the display 63.

図８（Ａ），（Ｂ）は、ディスプレイ６３に表示されるアラート通知画面を示す図である。図８（Ａ）に示すアラート通知画面では、「設定範囲Ａ５のエリアで悲鳴が聞こえました。確認して下さい。」の警報メッセージが表示される。そして、ユーザ（例えば監視者７７）が、設定範囲Ａ５のエリアの状況を点検し、その後、この画面に表示されたＯＫボタン６３ｚをカーソルや特定のキー操作等で選択すると、この警報メッセージは消去される。   FIGS. 8A and 8B show an alert notification screen displayed on the display 63. FIG. In the alert notification screen shown in FIG. 8 (A), an alarm message of “You hear a scream in the area of setting range A5. Please confirm.” Is displayed. Then, when the user (for example, the monitor 77) checks the condition of the area of the setting range A5 and then selects the OK button 63z displayed on this screen by a cursor or a specific key operation, the alarm message is deleted. Be done.

図８（Ｂ）に示すアラート通知画面では、図８（Ａ）と同様の警報メッセージとともに、確認ボタン６３ｙが表示される。ユーザ（例えば監視者７７）がこの確認ボタン６３ｙを押下すると、カメラ１０によって撮像された、異常音が検出された設定範囲Ａ５の画像がディスプレイ６３の画面一杯に表示される。図８（Ｃ）は、異常音が検出された設定範囲の撮像画像が表示されたディスプレイ６３の画面を示す図である。ここでは、ディスプレイ６３の画面には、設定範囲Ａ５において、扉９４が開かれ、人物９５と別の人物９１とがトラブルとなっている状況が映し出されている。なお、ユーザは、図８（Ａ）に示すアラート通知画面と図８（Ｂ）に示すアラート通知画面とのいずれの画面をディスプレイ６３に表示させるかを選択可能である。   On the alert notification screen shown in FIG. 8 (B), a confirmation button 63y is displayed together with an alarm message similar to that of FIG. 8 (A). When the user (for example, the monitor 77) presses the confirmation button 63y, the image of the setting range A5 captured by the camera 10 and in which the abnormal sound is detected is displayed on the entire screen of the display 63. FIG. 8C is a view showing the screen of the display 63 on which the captured image of the setting range in which the abnormal sound is detected is displayed. Here, on the screen of the display 63, in the setting range A5, the door 94 is opened, and a situation in which the person 95 and another person 91 are in trouble is shown. The user can select which of the alert notification screen shown in FIG. 8A and the alert notification screen shown in FIG. 8B is to be displayed on the display 63.

以上により、本実施形態の異常音検出システム５では、予め異常音の検出対象外となる設定範囲及び音の種類を登録しておくことで、ホテルのロビーのような対象エリア８０において、異常音が検出されても、そこに設置されたテレビ８２から流れる音声や噴水８１が発する水音等は、異常音として誤検出されることが無くなる。つまり、異常音として捉えるべき音声が検出された場合には、ＰＣ５０は、アラート通知を行い、異常音として捉えるべきでない音声が検出された場合には、アラート通知を行わない。これにより、異常音として捉えるべき音声とそうでない音声とを明確に区別でき、ユーザ（例えば監視者７７）の監視時における利便性の劣化を抑制できる。   As described above, in the abnormal sound detection system 5 of the present embodiment, the abnormal sound is not detected in the setting range and the type of the sound in advance, so that the abnormal sound can be detected in the target area 80 such as the hotel lobby. Even if is detected, the sound flowing from the television 82 installed there and the water sound etc. emitted by the fountain 81 will not be erroneously detected as abnormal sound. That is, when a sound to be captured as an abnormal sound is detected, the PC 50 performs alert notification, and when a sound not to be captured as an abnormal sound is detected, the alert notification is not performed. As a result, it is possible to clearly distinguish the voice that should be caught as an abnormal sound and the voice that is not so, and to suppress the deterioration of convenience when monitoring the user (for example, the monitor 77).

例えば、上記実施形態では、画面を分割することで得られた複数の設定範囲のいずれかを選択することで、設定範囲が指定されたが、画面を分割することなく、設定範囲が指定されてもよい。一例として、ユーザがディスプレイ６３の画面に表示された対象エリアの画像に対し、ユーザの嗜好に応じた所定形状が描画されたことで、設定範囲が指定されてもよい。図９は、所定形状を描画することで指定された設定範囲を示す図である。ユーザは、ディスプレイ６３の画面に対し、カーソル１０８を移動させ、或いはスタイラスペン（図示せず）でなぞって閉曲線を描画することで、設定範囲を指定してもよい。図９には、テレビ８２を囲むように閉曲線１０３が描かれている。このように、ユーザが領域の形や大きさを任意に決めることができ、設定範囲を適切に指定可能である。これにより、設定範囲の指定の自由度が高まり、操作性が向上する。   For example, in the above embodiment, the setting range is specified by selecting one of a plurality of setting ranges obtained by dividing the screen, but the setting range is specified without dividing the screen. It is also good. As an example, the setting range may be designated by drawing a predetermined shape according to the preference of the user on the image of the target area displayed on the screen of the display 63 by the user. FIG. 9 is a diagram showing a setting range designated by drawing a predetermined shape. The user may designate the setting range by moving the cursor 108 on the screen of the display 63 or drawing a closed curve by tracing with a stylus pen (not shown). In FIG. 9, a closed curve 103 is drawn so as to surround the television 82. Thus, the user can arbitrarily determine the shape and size of the area, and can appropriately specify the setting range. As a result, the degree of freedom in setting the setting range is enhanced, and the operability is improved.

また、上記実施形態では、異常音が発生すると、最初にその種類を特定した後、その後、発生元が検出すべき設定範囲であるか否かを判別していたが、最初に異常音の発生箇所（設定範囲）を特定し、この発生箇所が検出対象外範囲指定リストに掲載されている場合、続いて異常音の種類が検出対象外の音であるか否かを判別するようにしてもよい。これにより、異常音の発生個所が検出すべき設定範囲でない場合、異常音の種類を特定する処理を省くことができ、ＰＣ５０が行う処理の負荷を軽減できる。   Further, in the above embodiment, when an abnormal sound is generated, the type is first identified, and thereafter it is determined whether or not the generation source is a setting range to be detected. Even if the location (setting range) is specified and this occurrence location is included in the outside detection range specification list, then it is determined whether or not the type of abnormal sound is an outside detection target sound. Good. As a result, when the generation position of the abnormal sound is not within the setting range to be detected, the process of specifying the type of abnormal sound can be omitted, and the load of the process performed by the PC 50 can be reduced.

また、上記実施形態では、異常音検出システム５は、アラート通知を行う場合、警報音の鳴動と警報メッセージの表示とを行ったが、その他、異常音（例えばガラスの割れる音）を検出した時点又は所定時間の経過後に、監視者７７を含むユーザが所持する携帯端末にメールを送信してもよいし、監視室７５に設置された警報ランプを点灯させてもよい。また、異常音検出システム５は、異常音の検出を外部端末（例えば監視者７７を含むユーザが所持する携帯端末）に通知したことをＰＣ５０のメモリ５２に記憶させてもよい。これにより、異常音検出システム５は、収音領域に対する第三者の不法侵入に対する対策を施すことができる。また、警報音の代わりに、第三者に警報を意識させないように、特定のメロディ音を流すようにしてもよい。   Further, in the above embodiment, the abnormal sound detection system 5 performs the ringing of the alarm sound and the display of the alarm message when performing the alert notification, but in addition, the time when the abnormal sound (for example, the sound of broken glass) is detected Alternatively, an e-mail may be sent to a portable terminal owned by a user including the monitor 77 after a predetermined time has elapsed, or an alarm lamp installed in the monitoring room 75 may be turned on. In addition, the abnormal sound detection system 5 may store in the memory 52 of the PC 50 that the detection of the abnormal sound has been notified to the external terminal (for example, a portable terminal possessed by the user including the monitor 77). As a result, the abnormal sound detection system 5 can take measures against a third party's illegal intrusion into the sound collection area. Further, instead of the alarm sound, a specific melody sound may be flowed so as not to make the third party aware of the alarm.

また、上記実施形態では、ＰＣ５０は、カメラ１０からリアルタイムに撮像された画像、及びこのカメラ１０と同期してマイクアレイ２０から収音された音声を監視する場合を示したが、レコーダ４０に記録された映像データ及び音声データを後から分析する場合においても、同様に異常音検出動作を行うようにしてもよい。この場合、検出すべきでない設定範囲では、異常音と判定しないので、記録された映像データ及び音声データを分析する際、速やかな分析が可能となる。   In the above embodiment, the PC 50 monitors the image captured in real time from the camera 10 and the sound collected from the microphone array 20 in synchronization with the camera 10. Also in the case of later analyzing the video data and the audio data, the abnormal sound detection operation may be performed similarly. In this case, in the setting range which should not be detected, since it is not determined as an abnormal sound, when analyzing the recorded video data and audio data, quick analysis becomes possible.

以下に、本発明に係る異常音検出システムの構成、作用、効果について列挙する。   The configuration, operation, and effects of the abnormal sound detection system according to the present invention will be listed below.

本発明の一実施形態は、収音装置と異常音検出装置とが接続された異常音検出システムであって、前記収音装置は、複数の異常音検出領域を含む収音領域の音声を収音する収音部を有し、前記異常音検出装置は、各々の前記異常音検出領域と異常音とが対応付けられた異常通知対象外リストを記憶する記憶部と、前記収音部により収音された音声に対し、いずれかの前記異常音検出領域に応じて指定された方向に指向性を形成する指向性形成部と、前記異常通知対象外リストのいずれかの前記異常音検出領域に前記指向性が形成された音声に前記異常音が検出された場合に、検出された前記異常音に対応したアラート通知を行わず、前記異常通知対象外リストのいずれかの前記異常音検出領域以外の検出領域に前記指向性が形成された音声に前記異常音が検出された場合に、検出された前記異常音に対応したアラート通知を行う通知部と、を備える、異常音検出システムである。   One embodiment of the present invention is an abnormal sound detection system in which a sound collection device and an abnormal sound detection device are connected, and the sound collection device collects voice in a sound collection area including a plurality of abnormal sound detection areas. A storage unit that has a sound collection unit that sounds, and the abnormal sound detection device stores an abnormality notification exclusion list in which the abnormal sound detection areas and the abnormal sounds are associated with each other; A directivity forming unit that forms directivity in a direction designated according to any of the abnormal sound detection areas for the sounded sound, and the abnormal sound detection area of any of the abnormality notification non-target list. When the abnormal sound is detected in the voice in which the directivity is formed, an alert notification corresponding to the detected abnormal sound is not performed, and the abnormal sound detection area other than any one of the abnormal sound detection excluded list The voice whose directivity is formed in the detection area of If the serial abnormal sound is detected, and a notification unit that performs alert notification corresponding to said detected abnormal sound, an abnormal sound detecting system.

この構成では、収音部は、複数の異常音検出領域を含む収音領域内の音声を収音する。指向性形成部は、収音部により収音された音声に対し、いずれかの異常音検出領域に応じて指定された方向に音声の指向性を形成する。通知部は、記憶部に記憶された異常通知対象外リストのいずれかの異常音検出領域に指向性が形成された音声に異常音が検出された場合に、検出された異常音に対応したアラート通知を行わず、一方、異常通知対象外リストのいずれかの異常音検出領域以外の検出領域に指向性が形成された音声に異常音が検出された場合に、検出された異常音に対応したアラート通知を行う。   In this configuration, the sound collection unit collects the sound in the sound collection area including the plurality of abnormal sound detection areas. The directivity forming unit forms the directivity of the voice in the direction designated according to any of the abnormal sound detection areas for the voice collected by the sound collection unit. The notification unit is an alert corresponding to the detected abnormal sound when the abnormal sound is detected in the sound in which directivity is formed in any of the abnormal sound detection areas in the abnormal notification excluded list stored in the storage unit. Corresponds to the detected abnormal sound when the abnormal sound is detected in the sound in which the directivity is formed in the detection area other than the abnormal sound detection area in any of the abnormality notification non-target list, while the notification is not performed. Perform alert notification.

これにより、異常音検出システムは、異常音として捉えるべき音声と異常音として捉えるべきでない音声とを明確に区別でき、例えばユーザの監視時における利便性の劣化を抑制できる。   As a result, the abnormal sound detection system can clearly distinguish between the sound that should be caught as an abnormal sound and the sound that should not be caught as an abnormal sound, and can suppress, for example, the deterioration of convenience when monitoring the user.

また、本発明の一実施形態は、前記異常音検出領域は、所定形状を有する領域である、異常音検出システムである。   In one embodiment of the present invention, the abnormal sound detection area is an area having a predetermined shape.

これにより、異常音検出システムは、収音装置の収音対象となる収音領域を所定形状に分割して複数の異常音検出領域を設定できる。   Thus, the abnormal sound detection system can divide the sound collection area to be collected by the sound collection device into a predetermined shape and set a plurality of abnormal sound detection areas.

また、本発明の一実施形態は、前記所定形状を有する領域は、所定の入力操作により描画された領域である、異常音検出システムである。   Moreover, one Embodiment of this invention is an abnormal sound detection system whose area | region which has the said predetermined shape is an area | region drawn by predetermined | prescribed input operation.

これにより、異常音検出システムは、例えばユーザの所定の入力操作により描画された領域を異常音検出領域として扱うので、ユーザが領域の形や大きさを任意に決めることができ、設定範囲を適切に指定可能である。これにより、設定範囲の指定の自由度が高まり、ユーザの操作性が向上する。   Thus, the abnormal sound detection system treats, for example, the area drawn by the user's predetermined input operation as the abnormal sound detection area, so that the user can arbitrarily determine the shape and size of the area, and the setting range is appropriate. Can be specified. As a result, the degree of freedom in setting the setting range is enhanced, and the operability of the user is improved.

また、本発明の一実施形態は、撮像装置が更に接続され、前記異常音検出装置は、表示部を有し、前記アラート通知に対する所定の指示操作が行われた場合に、前記撮像装置により撮像された、前記アラート通知の対象である前記異常音検出領域における画像を前記表示部に表示させる、異常音検出システムである。   In one embodiment of the present invention, an imaging device is further connected, the abnormal sound detection device has a display unit, and imaging is performed by the imaging device when a predetermined instruction operation for the alert notification is performed. The abnormal sound detection system displays the image in the abnormal sound detection area, which is the target of the alert notification, on the display unit.

これにより、異常音検出システムは、撮像装置により撮像された、アラート通知の対象である異常音検出領域における画像を表示部に表示するので、ユーザは、異常音が検出された異常音検出領域を視覚的かつ簡易に確認でき、すぐさまその状況を把握できる。   Thus, the abnormal sound detection system displays the image in the abnormal sound detection area, which is the target of the alert notification, captured by the imaging device on the display unit, so the user can detect the abnormal sound detection area where the abnormal sound is detected. It can be checked visually and easily, and you can immediately grasp the situation.

また、本発明の一実施形態は、前記収音領域を撮像する撮像装置が更に接続され、前記異常音検出装置は、前記撮像装置により撮像された前記収音領域の画像を用いて、前記複数の異常音検出領域を設定する、異常音検出システムである。   In one embodiment of the present invention, an imaging device for imaging the sound collection region is further connected, and the abnormal sound detection device uses the plurality of images of the sound collection region captured by the imaging device. An abnormal sound detection system for setting an abnormal sound detection area of

これにより、異常音検出システムは、ユーザが複数の異常音検出領域を設定する際に、撮像装置が撮像した収音領域の画像を用いるので、複数の異常音検出領域を設定するための操作を簡易化できる。   Thus, the abnormal sound detection system uses the image of the sound collection area captured by the imaging device when the user sets a plurality of abnormal sound detection areas, so an operation for setting a plurality of abnormal sound detection areas is performed. It can be simplified.

以上、図面を参照しながら各種の実施形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。   Although various embodiments have been described above with reference to the drawings, it goes without saying that the present invention is not limited to such examples. It will be apparent to those skilled in the art that various changes and modifications can be made within the scope of the appended claims, and of course these also fall within the technical scope of the present invention. It is understood.

本発明は、異常音を検出する際、異常音として捉えるべきでない音声を明確に区別し、ユーザの利便性を向上する異常音検出システム及び異常音検出方法として有用である。 INDUSTRIAL APPLICABILITY The present invention is useful as an abnormal sound detection system and an abnormal sound detection method that clearly distinguish a voice that should not be regarded as an abnormal sound when detecting an abnormal sound, and improve user's convenience.

５ 異常音検出システム
１０、１０Ａ カメラ
１５ 監視ユニット
２０ マイクアレイ
２５ ネットワーク
３１ 検出対象外範囲指定リスト
３２ 検出対象外音種類リスト
４０ レコーダ
５０ ＰＣ
５１ 信号処理部
５２ メモリ
５３ 操作部
６０ 再生部
６３ ディスプレイ
６３ｙ 確認ボタン
６３ｚ ＯＫボタン
６５ スピーカ
７５ 監視室
７７ 監視者
８０ 対象エリア
８１ 噴水
８２ テレビ
８４、８５、８６ ソファ
８７ 配水管
８８、８９ 生け花
９１、９２、９３、９５ 人物
９４、９６ 扉
１０３ 閉曲線
１０８ カーソル
１２０ ポップアップ画面
Ａ１〜Ａ６、Ｂ１〜Ｂ６、Ｃ１〜Ｃ６、Ｄ１〜Ｄ６ 設定範囲
ＧＺ パノラマ画像 5 abnormal sound detection system 10, 10A camera 15 monitoring unit 20 microphone array 25 network 31 list of detection non-selection range 32 list of detection non-sound type 40 recorder 50 PC
51 signal processing unit 52 memory 53 operation unit 60 playback unit 63 display 63 y confirmation button 63 z OK button 65 speaker 75 monitoring room 77 surveillance person 80 target area 81 fountain 82 television 84, 85, 86 sofa 87 water distribution pipe 88, 89 flower arrangement 91, 92, 93, 95 person 94, 96 door 103 closed curve 108 cursor 120 pop-up screen A1 to A6, B1 to B6, C1 to C6, D1 to D6 setting range GZ panoramic image

Claims (5)

収音装置と異常音検出装置とが接続された異常音検出システムであって、
前記収音装置は、
複数の異常音検出領域を含む収音領域の音声を収音する収音部を有し、
前記異常音検出装置は、
各々の前記異常音検出領域と異常音とが対応付けられた異常通知対象外リストを記憶する記憶部と、
前記収音部により収音された音声に対し、いずれかの前記異常音検出領域に応じて指定された方向に指向性を形成する指向性形成部と、
前記異常通知対象外リストのいずれかの前記異常音検出領域に前記指向性が形成された音声に前記異常音が検出された場合に、検出された前記異常音に対応したアラート通知を行わず、前記異常通知対象外リストのいずれかの前記異常音検出領域以外の検出領域に前記指向性が形成された音声に前記異常音が検出された場合に、検出された前記異常音に対応したアラート通知を行う通知部と、を備え、
前記収音領域を撮像する撮像装置が更に接続され、
前記異常音検出装置は、前記撮像装置により撮像された前記収音領域の画像を用いて、前記複数の異常音検出領域を設定する、
異常音検出システム。 An abnormal sound detection system in which a sound collection device and an abnormal sound detection device are connected,
The sound collecting device is
It has a sound pickup unit that picks up the sound of a sound pickup area including a plurality of abnormal sound detection areas,
The abnormal sound detection device is
A storage unit that stores an abnormality notification exclusion list in which each of the abnormal sound detection areas and the abnormal sound are associated;
A directivity forming unit configured to form directivity in a direction designated according to any one of the abnormal sound detection areas with respect to the sound collected by the sound collection unit;
When the abnormal sound is detected in the voice in which the directivity is formed in any of the abnormal sound detection areas in the abnormality notification non-target list, alert notification corresponding to the detected abnormal sound is not performed. An alert notification corresponding to the detected abnormal sound when the abnormal sound is detected in the voice in which the directivity is formed in a detection area other than the abnormal sound detection area in any of the abnormality notification excluded list And a notification unit to
An imaging device for imaging the sound collection area is further connected;
The abnormal sound detection device sets the plurality of abnormal sound detection regions using the image of the sound collection region captured by the imaging device.
Abnormal sound detection system. 請求項１に記載の異常音検出システムであって、
前記異常音検出領域は、所定形状を有する領域である、
異常音検出システム。 The abnormal sound detection system according to claim 1,
The abnormal sound detection area is an area having a predetermined shape,
Abnormal sound detection system. 請求項２に記載の異常音検出システムであって、
前記所定形状を有する領域は、所定の入力操作により描画された領域である、
異常音検出システム。 The abnormal sound detection system according to claim 2,
The area having the predetermined shape is an area drawn by a predetermined input operation,
Abnormal sound detection system. 請求項１に記載の異常音検出システムであって、
前記異常音検出装置は、表示部を有し、前記アラート通知に対する所定の指示操作が行われた場合に、前記撮像装置により撮像された、前記アラート通知の対象である前記異常音検出領域における画像を前記表示部に表示させる、
異常音検出システム。 The abnormal sound detection system according to claim 1 ,
Before SL abnormal sound detecting apparatus, a display unit, when a predetermined instruction operation with respect to the alert notification has been performed, is imaged by the imaging device, in the abnormal sound detection area is the alert notification of the target Display an image on the display unit,
Abnormal sound detection system. 収音装置と異常音検出装置と撮像装置とが接続された異常音検出システムにおける異常音検出方法であって、
前記収音装置は、
複数の異常音検出領域を含む収音領域の音声を収音し、
前記異常音検出装置は、
前記撮像装置により撮像された前記収音領域の画像を用いて、前記複数の異常音検出領域を設定し、各々の前記異常音検出領域と異常音とが対応付けられた異常通知対象外リストを記憶し、
前記収音された音声に対し、いずれかの前記異常音検出領域に応じて指定された方向に指向性を形成し、
前記異常通知対象外リストのいずれかの前記異常音検出領域に前記指向性が形成された音声に前記異常音が検出された場合に、検出された前記異常音に対応したアラート通知を行わず、前記異常通知対象外リストのいずれかの前記異常音検出領域以外の検出領域に前記指向性が形成された音声に前記異常音が検出された場合に、検出された前記異常音に対応したアラート通知を行う、
異常音検出方法。 An abnormal sound detection method in an abnormal sound detection system in which a sound collection device, an abnormal sound detection device, and an imaging device are connected,
The sound collecting device is
Pick up the sound in the sound collection area including multiple abnormal sound detection areas,
The abnormal sound detection device is
The plurality of abnormal sound detection areas are set using the image of the sound collection area captured by the imaging device, and the abnormal notification non-listed list in which the respective abnormal sound detection areas and the abnormal sounds are associated with each other. Remember
With respect to the collected voice, directivity is formed in a direction designated according to any one of the abnormal sound detection areas,
When the abnormal sound is detected in the voice in which the directivity is formed in any of the abnormal sound detection areas in the abnormality notification non-target list, alert notification corresponding to the detected abnormal sound is not performed. An alert notification corresponding to the detected abnormal sound when the abnormal sound is detected in the voice in which the directivity is formed in a detection area other than the abnormal sound detection area in any of the abnormality notification excluded list I do,
Abnormal sound detection method.

Images