JP6682222B2 - 検知装置及びその制御方法、コンピュータプログラム - Google Patents

検知装置及びその制御方法、コンピュータプログラム Download PDF

Info

Publication number
JP6682222B2
JP6682222B2 JP2015187441A JP2015187441A JP6682222B2 JP 6682222 B2 JP6682222 B2 JP 6682222B2 JP 2015187441 A JP2015187441 A JP 2015187441A JP 2015187441 A JP2015187441 A JP 2015187441A JP 6682222 B2 JP6682222 B2 JP 6682222B2
Authority
JP
Japan
Prior art keywords
feature amount
situation
detection
sound
database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015187441A
Other languages
English (en)
Other versions
JP2017062349A (ja
Inventor
智彦 黒木
智彦 黒木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2015187441A priority Critical patent/JP6682222B2/ja
Priority to EP16183924.6A priority patent/EP3147902B1/en
Priority to US15/258,386 priority patent/US10109299B2/en
Priority to CN201610844554.9A priority patent/CN106558317A/zh
Publication of JP2017062349A publication Critical patent/JP2017062349A/ja
Application granted granted Critical
Publication of JP6682222B2 publication Critical patent/JP6682222B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/57—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for processing of video signals
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/16—Actuation by interference with mechanical vibrations in air or other fluid
    • G08B13/1654—Actuation by interference with mechanical vibrations in air or other fluid using passive vibration detection systems
    • G08B13/1672—Actuation by interference with mechanical vibrations in air or other fluid using passive vibration detection systems using sonic detecting means, e.g. a microphone operating in the audio frequency range
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19695—Arrangements wherein non-video detectors start video recording or forwarding but do not generate an alarm themselves
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Alarm Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Emergency Alarm Devices (AREA)

Description

本発明は検知装置及びその制御方法、コンピュータプログラムに関し、特に音声を検知する技術に関する。
監視カメラシステムにおいて、撮影現場の音声をユーザが監視するための音声モニタリングが知られている。特に近年の監視カメラシステムでは、監視員が２４時間モニタリングしなくも現場の音声から異常を自動的に検知し、通知を行う異常音検知が知られている。特許文献１には、音声の周波数やケプストラムなどの特徴量を基に異常音を検知し通知することや、誤検知低減のために周囲の環境音の特徴量が記憶された特徴量データベースを備え環境音が異常音か否かを判定することが記載されている。
特開２００４−３５７０１４号公報
しかしながら、従来の構成では、ある特定の状況において事前に現場環境の特徴量を登録した特徴量データベースを参照して判定を行う。このため、データベースの特徴量を取得した環境と異なる状況においては、十分な検知精度を得ることができなかった。特に、２４時間監視を行う監視カメラにおいては時間帯における現場環境の変化が顕著に表れ、その状況によっては検知精度に大きく低下していた。
そこで、本発明の目的は、高精度に特定の音を検知することが可能な技術を提供することである。
上記目的を達成するため、本発明による検知装置は以下の構成を備える。即ち、
撮影対象を撮影して生成された画像データから該撮影対象の状況を検出する検出手段と、
前記撮影対象の周辺の音声を集音して生成された音声データから音声の特徴量を抽出する抽出手段と、
前記検出手段によって検出された前記撮影対象の状況に応じた特定音の特徴量と、前記抽出手段によって抽出された特徴量とを比較して、特定音を検知する検知手段と、を備え、
前記検出手段は、前記撮影対象の状況として、前記画像データに基づく画像に含まれる特定の物体の数を検出する。
また、本発明の他の態様による検知装置は以下の構成を備える。即ち、
撮影対象を撮影して生成された画像データから該撮影対象の状況を検出する検出手段と、
前記撮影対象の周辺の音声を集音して生成された音声データから音声の特徴量を抽出する抽出手段と、
前記検出手段によって検出された前記撮影対象の状況に応じた特定音の特徴量と、前記抽出手段によって抽出された特徴量とを比較して、特定音を検知する検知手段と、を備え、
前記検出手段は、前記撮影対象の状況として、前記画像データに基づく画像の明るさを検出する。
本発明によれば、高精度に特定の音を検知することが可能な技術を提供することができる。
監視カメラシステムの機能構成を示すブロック図 監視カメラシステムのハードウェア構成を示すブロック図 特徴量データベース構成を示す図 異常音検知の手順を示すフローチャート 監視カメラシステムのブロック構成図 異常音検知の手順を示すフローチャート 監視カメラシステムのブロック構成図 特徴量データベース構成を示す図 異常音検知の手順を示すフローチャート 監視カメラシステムのブロック構成図 異常音検知の手順を示すフローチャート
以下、添付の図面を参照しながら、本発明の実施形態を詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
＜＜実施形態１＞＞
（監視システム）
本発明の第一の実施形態（実施形態１）に係る監視システムの構成例について、図１を参照して説明する。図１は本実施形態に係る監視システムの機能構成を示すブロック図である。
異常音監視システムＡ１０００は、撮影現場にいる人の異常を監視するシステムであり、撮影現場で人の悲鳴や罵声などが発生した場合にそれを異常音として検知し、監視モニタ装置Ａ１０１４にイベント通知を行う。異常音監視システムＡ１０００は、映像入力装置Ａ１００８、音声入力装置Ａ１００１、情報処理部Ａ１０１５、及び、通信部Ａ１０１３を有しており、通信部Ａ１０１３は外部の監視モニタ装置Ａ１０１４に接続されている。音声入力装置Ａ１００１は撮影対象の周辺の音声を集音して生成された音声データを入力する装置であり、マイク等により構成される。映像入力装置Ａ１００８は周囲を撮影して撮影画像（映像）を生成・入力する装置であり、カメラ等により構成される。
情報処理部Ａ１０１５は、映像情報処理部Ａ１０１６と、音声情報処理部Ａ１０１７、検出タイマ部Ａ１０１８、及び、イベント通知部Ａ１０１２を有する。映像情報処理部Ａ１０１６は入力された映像情報を処理し、音声情報処理部Ａ１０１７は入力された音声情報を処理する。検出タイマ部Ａ１０１８はタイマにより映像検出の頻度を決定し、イベント通知部Ａ１０１２は外部に通知イベントを出力する。
映像情報処理部Ａ１０１６は、入力された映像を保持する映像入力部Ａ１００９、及び、入力された映像から現在の周辺情報を検出する周辺状況検出部Ａ１０１０を有する。周辺状況検出部Ａ１０１０は、撮影対象を撮影して生成された画像データから該撮影対象の状況を検出する。本実施形態では、周辺状況検出部Ａ１０１０は、映像入力部Ａ１００９から入力された映像をもとに画面内に映る人物の人数を数え、その結果を単体、複数人、多人数（群衆）の三段階で出力する。人数を数える手法として、例えば顔検知やテンプレートマッチング法など用いる。顔検知やテンプレートマッチング法としては、いかなる手法も利用することができる。ここで、出力結果の判断基準は、人が居ない場合も含め０〜１名の場合は単体、人数が２〜２０名の場合は複数人、２０名以上の場合は多人数とする。
音声情報処理部Ａ１０１７は、音声入力部Ａ１００２、特徴量抽出部Ａ１００３、特徴量マッチング部Ａ１００４、特徴量データベースＡ１００５、尤度計算部Ａ１００６、検知結果判断部Ａ１００７、及び、データベース構成判断部Ａ１０１１を有する。音声入力部Ａ１００２は音声入力装置Ａ１００１から入力音声を入力し、特徴量抽出部Ａ１００３は音声入力部Ａ１００２で入力された音声データ（入力音声）から音声の特徴量を抽出する機能を持つ。ここで使用する特徴量は、音声の基本周波数、フォルマント周波数、スペクトラム、ケプストラムから得られるメル周波数ケプストラム係数（ＭＦＣＣ）やゼロクロス、サブバンドエナジーなどである。ＭＦＣＣはMel-Frequency Cepstrum Coefficientsの略称である。メル周波数ケプストラム係数やゼロクロス、サブバンドエナジーについては、詳細な説明を省略する。
特徴量データベースＡ１００５は異常音を含む特定音の特徴量を格納・保持している。後述するように、特徴量データベースＡ１００５は、複数の周囲の状況（本実施形態では入力映像に映っている人物の人数）ごとに音声の特徴を表す特徴量を保持している。特徴量マッチング部Ａ１００４は特徴量抽出部Ａ１００３で抽出した特徴量と特徴量データベースＡ１００５の周囲の状況に対応する各特徴量とを比較する機能を持つ。
尤度計算部Ａ１００６は、特徴量マッチング部Ａ１００４の結果をもとに特徴量データベースＡ１００５の各々のマッチング対象の特徴量に対する入力音声の特徴量の尤度を計算する。そして、検知結果の候補をその尤度計算のスコアとともにいわゆるN-Bestで出力する。N-Bestについては詳細な説明を省略する。
検知結果判断部Ａ１００７は尤度計算部Ａ１００６から出力された候補のトップを検知結果として用いる。その候補が異常音として登録した音声であり、スコアが規定の閾値を超えた場合、異常が発生したと判断してイベント通知部Ａ１０１２に異常を通知する。
データベース構成判断部Ａ１０１１は周辺状況検出部Ａ１０１０で検出した人の数や混み具合の情報から特徴量データベースＡ１００５に登録されている特徴量の構成を切り替える機能を持つ。
図２は、本実施形態に係る異常音監視システムＡ１０００のハードウェア構成例を示すブロック図である。異常音監視システムＡ１０００は、パーソナルコンピュータ（ＰＣ）やタブレット端末等により実現される。
図２において、ＣＰＵ９９０は中央演算処理装置であり、コンピュータプログラムに基づいて他の構成要素と協働し、異常音監視システムＡ１０００全体の動作を制御する。ＲＯＭ９９１は読出し専用メモリであり、基本プログラムや基本処理に使用するデータ等を記憶する。ＲＡＭ９９２は書込み可能メモリであり、ＣＰＵ９９０のワークエリア等として機能する。
外部記憶ドライブ９９３は記録媒体へのアクセスを実現し、ＵＳＢメモリ等のメディア（記録媒体）９９４に記憶されたコンピュータプログラムやデータを本システムにロードすることができる。ストレージ９９５はＳＳＤ（ソリッドステートドライブ）等の大容量メモリとして機能する装置である。ストレージ９９５には、各種コンピュータプログラムやデータが格納される。
操作部９９６はユーザからの指示やコマンドの入力を受け付ける装置であり、キーボードやポインティングデバイス、タッチパネル等がこれに相当する。ディスプレイ９９７は、操作部９９６から入力されたコマンドや、それに対する異常音監視システムＡ１０００の応答出力等を表示する表示装置である。インターフェイス（Ｉ／Ｆ）９９８は外部装置とのデータのやり取りを中継する装置である。システムバス９９９は、異常音監視システムＡ１０００内のデータの流れを司るデータバスである。
図１に示した異常音監視システムＡ１０００の各機能要素はＣＰＵ９９０がコンピュータプログラムに基づき装置全体を制御することにより実現されるが、機能要素の全部または一部を専用のハードウェアにより構成してもよい。
（特徴量データベース）
図３は、本実施形態に係る特徴量データベースＡ１００５の構成例を示す図である。特徴量データベースＡ１００５は、悲鳴音特徴量Ｄ００２、苦手音（検出精度が低くなってしまう特定音）特徴量［群衆］Ｄ００３、苦手音特徴量［複数人］Ｄ００４、及び、苦手音特徴量［単体］Ｄ００５から構成されている。悲鳴音特徴量Ｄ００２は、悲鳴、罵声、唸り等の人の異常音の特徴量である。
苦手音特徴量は、悲鳴音に近い苦手音の特徴量である。本実施形態では誤検知低減のために、人の数に応じて苦手音の特徴量を、苦手音特徴量［群衆］Ｄ００３、苦手音特徴量［複数人］Ｄ００４、及び、苦手音特徴量［単体］Ｄ００５に分類して保持している。苦手音特徴量［群衆］Ｄ００３は人が多人数いないと発生しないような音声である「歓声」「喝采」「ざわめき」などの特徴量を有する。苦手音特徴量［複数人］Ｄ００４は人が複数人いないと発生しないような音声である「会話(複数人)」「笑い声(複数人)」「拍手(複数)」などの特徴量を有する。苦手音特徴量［単体］Ｄ００５は人が単体でも発生しうる音声である「笑い声」「泣き声」「呼び声」などの特徴量を有する。
このように特徴量データベースＡ１００５内の特徴量はその内容に応じてグルーピングされた複数の特徴量データの集まりで構成されている。これらの特徴量は、必要に応じて動的にデータベースから解除・設定することで、特徴量マッチング部Ａ１００４のマッチング対象から除外・包含することができる（Ｄ００６）。
（動作手順）
ここで、図４のフローチャートを参照しながら映像から入力される現在の状況に合わせ特徴量データベースの構成を入れ替える動作の処理手順について説明する。以下の各ステップは、ＣＰＵ９９０の制御に基づき実行される。
本実施形態では、周辺状況検出部Ａ１０１０によって検出された撮影対象の状況に応じた特定音の特徴量と、特徴量抽出部Ａ１００３によって抽出された特徴量とを比較して、特定音を検知する。具体的には、図４のＳ１０１〜Ｓ１１２では、入力された映像情報を基に検出された撮影対象の状況に応じて特徴量データベースＡ１００５の構成を更新する特徴量データベース構成更新処理を実行する。そして、Ｓ１１３〜Ｓ１２０では、更新された特徴量データベースＡ１００５を用いて異常音を検知する異常音検知処理を実行する。このように本実施形態では、撮影対象の状況に応じた特徴量データベースＡ１００５を用いて異常音を検知するため、撮影対象の状況に関わらず高精度で異常音を検知することができる。
異常音監視システムＡ１０００は起動すると、Ｓ１０１において映像入力装置Ａ１００８から映像情報を入力し、映像入力部Ａ１００９に格納する。そして、Ｓ１０２において、入力された映像情報を周辺状況検出部Ａ１０１０にて解析し、映像上の人の数や混雑具合（混雑度）を検出する。
次に、Ｓ１０３において、周辺状況検出部Ａ１０１０にて検出した情報を基に、その混雑具合が多人数レベル（群衆）であるか否かを判定する。真の場合（Ｓ１０３でＹＥＳ）はＳ１０５へ進み、偽の場合（Ｓ１０３でＮＯ）はＳ１０４へ進む。
Ｓ１０４において、現在の特徴量データベースＡ１００５に苦手音特徴量［群衆］Ｄ００３が設定されているかを判定する。真の場合（Ｓ１０４でＹＥＳ）はＳ１０６へ進み、偽の場合（Ｓ１０４でＮＯ）はＳ１０８へ進む。
Ｓ１０５において、現在の特徴量データベースＡ１００５に苦手音特徴量［群衆］Ｄ００３が設定されているかを判定する。真の場合（Ｓ１０５でＹＥＳ）はＳ１０９へ進み、偽の場合はＳ１０７へ進む。
Ｓ１０６において、現在の状況では発声されることのない群衆時の音声の特徴量が格納されている苦手音特徴量［群衆］Ｄ００３を特徴量データベースＡ１００５から解除する。そして、Ｓ１０８へ進む。
Ｓ１０７において、現在の状況から発声される可能性のある群衆時の音声の特徴量が格納されている苦手音種特徴量［群衆］Ｄ００３を特徴量データベースＡ１００５に設定する。そして、Ｓ１０９へ進む。
Ｓ１０８において、周辺状況検出部Ａ１０１０にて検出した情報を基にその混雑具合が複数人レベルか否かを判定する。真の場合（Ｓ１０８でＹＥＳ）はＳ１０９に進み、偽の場合（Ｓ１０８でＮＯ）はＳ１１０に進む。
Ｓ１０９において、現在の特徴量データベースＡ１００５に苦手音特徴量［複数人］Ｄ００４が設定されているかを判定する。真の場合（Ｓ１０９でＹＥＳ）はＳ１１３へ進み、偽の場合（Ｓ１０９でＮＯ）はＳ１１１へ進む。
Ｓ１１０において、現在の特徴量データベースＡ１００５に苦手音特徴量［複数人］Ｄ００４が設定されているかを判定する。真の場合（Ｓ１１０でＹＥＳ）はＳ１１２に進み、偽の場合（Ｓ１１０でＮＯ）はＳ１１３に進む。
Ｓ１１１において、現在の状況から発声される可能性のある、群衆時の音声の特徴量が格納されている苦手音種特徴量［複数人］Ｄ００４を特徴量データベースＡ１００５に設定する。そして、Ｓ１１３に進む。
Ｓ１１２において、現在の状況では発声されることのない複数人時の音声の特徴量が格納されている苦手音特徴量［複数人］Ｄ００４を特徴量データベースＡ１００５から解除する。そして、Ｓ１１３に進む。
Ｓ１１３において、特徴量データベースＡ１００５を更新するための次の周辺状況検出を行うタイムアウト時間５ｓｅｃ（５秒）を検出タイマ部Ａ１０１８に設定する。Ｓ１１４において、音声入力部Ａ１００２に入力された音声の特徴量を特徴量抽出部Ａ１００３にて抽出する。そして、Ｓ１１５において、特徴量抽出部Ａ１００３にて抽出した特徴量と特徴量データベースＡ１００５の各特徴量との比較を特徴量マッチング部Ａ１００４にて行う。
次に、Ｓ１１６において、データベースＡ１００５の各特徴量と入力音声の特徴量との間における尤度計算を尤度計算部Ａ１００６にて行う。
Ｓ１１７において、尤度計算結果で最も近かった音声が悲鳴音であり、その尤度が予め定められた閾値を超えているかを検知結果判断部Ａ１００７にて判定する。悲鳴音の尤度が閾値を超えている悲鳴の異常音を検知した場合には、イベント通知部Ａ１０１２に通知する。イベント情報は通信部Ａ１０１３を介して監視モニタ装置Ａ１０１４に通知される。
Ｓ１１８において、音声入力部Ａ１００２に音声が入力されたか否かを判定する。真の場合（Ｓ１１８でＹＥＳ）はＳ１１３へ、偽の場合（Ｓ１１８でＮＯ）はＳ１１９に進む。
Ｓ１１９において、不図示の異常音検知システムＯｎ／Ｏｆｆ ＳＷ（スイッチ）がユーザにより操作されたかどうかを判定する。真の場合（Ｓ１１９でＹＥＳ）はフローチャートに係る処理を終了し、偽の場合（Ｓ１１９でＮＯ）はＳ１２０に進む。
Ｓ１２０において、検出タイマ部Ａ１０１８がタイムアウトしたか否かを判定する。真の場合（Ｓ１２０でＹＥＳ）はＳ１０１へ、偽の場合（Ｓ１２０でＮＯ）はＳ１１８へ進む。
以上のように、特徴量データベース構成更新処理ではＳ１０２で検出された人の混雑度に対応する特徴量を設定し、異常音検知処理において、その特徴量に基づき異常音を検出する。このように、現在の状況に最適な特徴量データベースで異常音検知を行うことで、検知精度を向上させることができる。また、本実施形態では撮影対象の状況に基づき、特徴量データベースの特徴量を更新し、更新された特徴量データベースの特徴量と、抽出された特徴量とを比較して、特定音を検知する。具体的には、撮影対象の状況に対応する特徴量データを特徴量データベースに設定したり、不要な特徴量データを特徴量データベースから解除したりする。これにより、特徴量の比較処理や尤度計算処理のコストを低減化し、その結果ＣＰＵ負荷の低減や処理速度が向上をもたらすことが可能となる。
なお、図４のフローチャートは、混雑レベルが群衆レベルと判定された場合（Ｓ１０３でＹＥＳ）には、苦手音特徴量［群衆］Ｄ００３だけでなく苦手音特徴量［複数人］Ｄ００４を設定する例を示している（Ｓ１０７、Ｓ１１１）。しかし、より効率的な処理のため、混雑レベルが群衆レベルのときは、苦手音特徴量［群衆］Ｄ００３のみを設定するようにしてもよい。
また、本実施形態では、撮影対象の状況として、画像データに基づく画像に含まれる人物の数を検出する例を説明したが、これに限られない。例えば、撮影対象の状況として、人物の数に限られず、車、電車、船、製造装置等の特定の物体の数を検出するようにしてもよい。あるいは、撮影対象の状況として、画像データに基づく画像の明るさを検出するようにしてもよい。
＜＜実施形態２＞＞
実施形態１では、検出された撮影対象の状況に応じて特徴量データベースの内容を更新することで、音声データから抽出された特徴量との比較対象を撮影対象の状況に応じた特定音の特徴量とする例を説明した。本実施形態では、検出された撮影対象の状況に応じて、特徴量データベースに保持されている特徴量の尤度に重みづけを行うことで、比較対象を撮影対象の状況に応じた特定音の特徴量とする例について説明する。
（監視システム）
本発明の第二の実施形態（実施形態２）に係る監視システムの構成例について、図５を参照して説明する。図５は本実施形態に係る監視システムの機能構成を示すブロック図である。なお、監視システムのハードウェア構成は実施形態１（図２）と同様である。
異常音監視システムＢ１０００は、撮影現場にいる人の異常を監視するシステムであり、撮影現場で人の悲鳴や罵声などが発生した場合それ異常音として検知し、監視モニタ装置Ａ１０１４にイベント通知を行う。
本実施形態の異常音監視システムＢ１０００は図１の異常音監視システムＡ１０００と異なり、データベース構成判断部Ａ１０１１の代わりに、周辺状況から尤度計算の重みづけを変更する尤度重みづけ判断部Ｂ１０１１を有する。また、本実施形態の尤度計算部Ｂ１００６は、周辺状況に応じて重み付けされた尤度計算の結果を加味して尤度の計算を行う点が、図１の尤度計算部Ａ１００６と異なる。その他の構成は実施形態１に記載した図１の異常音監視システムＡ１０００と同様であるため、詳細な説明を省略する。特徴量データベースＡ１００５の構成例も実施形態１と同様に、図３に示される。
重みづけ判断部Ｂ１０１１は、周辺状況検出部Ａ１０１０の結果から特徴量データベースＡ１００５の各特徴量の音声が現在発声される可能性がどのくらいあるかを判断し、各特徴量の尤度計算スコアに重みづけの係数を算出する。具体的には、検出された撮影対象の状況に対応する特徴量の尤度に対して、この検出された撮影対象の状況に対応しない特徴量の尤度よりも大きな値で重みづけを行う。例えば、重みづけの係数は周辺状況検出部Ａ１０１０の結果が多人数（群衆）の場合は、特徴量データベースＡ１００５内のすべて音声について発声する確率が十分にあると判断し、図５のすべての苦手音特徴量Ｄ００３〜Ｄ００５の重みづけ係数を１とする。
周辺状況検出部Ａ１０１０の結果が複数人であるが多人数ではない場合は、苦手音特徴量［群衆］Ｄ００３の特徴量の音声が発声される確率が低いと判断し、苦手音特徴量［群衆］Ｄ００３の重みづけ係数を０．９とする。他の苦手音特徴量Ｄ００４、Ｄ００５は発声確率が十分だと判断して重みづけ係数を１とする。
周辺状況検出部Ａ１０１０の結果が単体の場合は、苦手音特徴量［群衆］Ｄ００３は発声させる確率が最も低いと判断しその重みづけ係数を０．８とする。苦手音特徴量［複数人］Ｄ００４の特徴量の音声は発声される確率が低いと判断し重みづけ係数を０．９とする。苦手音特徴量［単体］Ｄ００５は発声確率が十分だと判断して重みづけ係数を１とする。また、異常音である悲鳴音特徴量Ｄ００２の重みづけ係数は、周辺状況の検出結果にかかわらず１とする。
尤度計算部Ｂ１００６はＡ１００６の機能に加え、重みづけ判断部Ｂ１０１１の結果をもとに尤度スコアに重みづけの係数を乗算し、最終的な尤度計算結果を算出する。例えば、周辺状況検出部Ａ１０１０の結果が単体の場合で、検知結果候補が歓声：７０、悲鳴：６９、拍手：６６の順で算出されたとする。この場合、それぞれ０．８、１．０、０．９の重みづけ係数が乗算され、最終的な候補とスコアは悲鳴：６９、拍手：５９、歓声：５６となる。
（動作手順）
ここで、図６のフローチャートを参照しながら映像から入力される現在の状況に合わせ尤度計算の重みづけを行う動作の処理手順について説明する。以下の各ステップは、ＣＰＵ９９０の制御に基づき実行される。なお、図６において、図４と同様の処理には同一の符号を付している。
図６のＳ１０１〜Ｓ２０４では、入力された映像情報を基に検出された撮影対象の状況に応じて各特徴量に対して適用する尤度の重み付けを変更する尤度計算重みづけ変更処理を実行する。そして、Ｓ１１３〜Ｓ１２０では、変更された尤度の重みづけを用いて異常音を検知する異常音検知処理を実行する。このように本実施形態では、撮影対象の状況に応じて尤度に重みづけを行って異常音を検知するため、撮影対象の状況に関わらず高精度で異常音を検知することができる。
異常音監視システムＢ１０００は起動すると、Ｓ１０１において映像入力装置Ａ１００８からの映像情報を映像入力部Ａ１００９に格納する。そして、Ｓ１０２において、入力された映像情報を周辺状況検出部Ａ１０１０にて解析し、映像上の人の数や混雑具合（混雑度）を検出する。
次に、Ｓ２０３において、Ｓ１０２の結果から苦手音特徴量［群衆］Ｄ００３の尤度重みづけ係数算出を、尤度重みづけ判断部Ｂ１０１１にて行う。ここでは、人数が単体の場合は０．８、複数人の場合は０．９、多人数（群衆）の場合は１．０を重みづけ係数として設定する。
Ｓ２０４において、Ｓ１０２の結果から苦手音特徴量［複数人］Ｄ００４の尤度重みづけ係数算出を、尤度重みづけ判断部Ｂ１０１１にて行う。人数が単体の場合は０．９、複数人及び多人数の場合は１．０を重みづけ係数として設定する。
Ｓ２０５において、Ｓ１０２の結果から苦手音特徴量［単体］Ｄ００５の尤度重みづけ係数算出を、尤度重みづけ判断部Ｂ１０１１にて行う。苦手音特徴量［単体］Ｄ００５の場合は、検出された人の人数にかかわらず１．０を重みづけ係数として設定する。
Ｓ１１３において、特徴量データベースＡ１００５を更新する次の周辺状況検出を行うタイムアウト時間を５ｓｅｃを検出タイマ部Ａ１０１８に設定する。Ｓ１１４において、音声入力部Ａ１００２に入力された音声の特徴量を特徴量抽出部Ａ１００３にて抽出する。Ｓ１１５において、特徴量抽出部Ａ１００３にて抽出した特徴量と特徴量データベースＡ１００５の特徴量の比較を特徴量マッチング部Ａ１００４にて行う。
Ｓ２１６において、尤度重みづけ判断部Ｂ１０１１にて算出した係数を乗算した特徴量データベースＡ１００５の各特徴量と入力音声の特徴量との間における尤度計算を、尤度計算部Ｂ１００６にて行う。
Ｓ１１７において、尤度計算結果で最も近かった音声が悲鳴音であり、その尤度が予め定められた閾値を超えているかを検知結果判断部Ａ１００７にて判定する。悲鳴音の尤度が閾値を超えている悲鳴の異常音を検知した場合には、イベント通知部Ａ１０１２に通知する。イベント情報は通信部Ａ１０１３を介して監視モニタ装置Ａ１０１４に通知される。
Ｓ１１８において、音声入力部Ａ１００２に音声が入力されたか否かを判定する。真の場合（Ｓ１１８でＹＥＳ）はＳ１１３へ、偽の場合（Ｓ１１８でＮＯ）はＳ１１９に進む。
Ｓ１１９において不図示の異常音検知システムＯｎ／Ｏｆｆ ＳＷがユーザにより操作されたかどうかを判定する。真の場合（Ｓ１１９でＹＥＳ）はフローチャートに係る処理を終了し、偽の場合（Ｓ１１９でＮＯ）はＳ１２０に進む。
Ｓ１２０において、検出タイマ部Ａ１０１８がタイムアウトしたか否かを判定する。真の場合（Ｓ１２０でＹＥＳ）はＳ１０１へ、偽の場合（Ｓ１２０でＮＯ）はＳ１１８へ進む。
以上のように、本実施形態では、これにより現在の状況から発声する可能性を加味し、尤度計算に重みづけを行って検知結果を導出する。このため、撮影対象の状況により適合した特徴量により異常音等の特定音を検知することができ、異常音検知の検知精度を向上させることが可能となる。
＜＜実施形態３＞＞
実施形態１では、撮影対象の状況として、画像データに基づく画像に含まれる特定の物体（人物）の数を検出する場合の例を説明した。本実施形態では、撮影対象の状況として車の通過頻度や渋滞具合を検出し、交通環境の例外音（特定音）を検知する例を説明する。
（監視システム）
本発明の第三の実施形態（実施形態３）に係る監視システムの構成例について、図７を参照して説明する。図７は本実施形態に係る監視システムの機能構成を示すブロック図である。なお、監視システムのハードウェア構成は実施形態１（図２）と同様である。
本実施形態の異常音監視システムＣ１０００は、道路の交通状況の異常を監視するシステムであり、撮影現場で衝突音やガラス破壊音、破裂音などが発生した場合、それを異常音として検知し、監視モニタ装置Ａ１０１４にイベント通知を行う。
本実施形態の異常音監視システムＣ１０００は図１の異常音監視システムＡ１０００と異なり、周辺状況検出部Ａ１０１０の代わりに交通状況検出部Ｃ１０１０を備えている。また、悲鳴音に関する特徴量を記憶した特徴量データベースＡ１００５の代わりに、交通音の特徴量を記憶した特徴量データベース（交通音特徴量データベース）Ｃ１００５を有する。
交通状況検出部Ｃ１０１０は、映像入力部Ａ１００９から入力された映像を基に画面内の自動車の数や通過速度、通過頻度を検出し、それらの情報から交通状況を判断する。本実施形態では、一例として、画面内の車のうち５台以上の車が通過速度２０km/h以下で走行する状態が１５分以上続いた場合、交通状況を”渋滞中”として出力する。このため、片方向の車線だけが渋滞している場合も渋滞中と判断する。また、上記渋滞中に当てはまらない状態で、１５分毎の自動車の通過台数が１２５台以上の場合、交通状況を”交通量多い”と出力する。それ以外の場合は交通状況を”通常”と出力する。
車の台数を数える手法として、例えばテンプレートマッチングなどを用いることができる。また、車の通過速度や通過頻度を求める手法として、動体検知や通過検知などを用いることができる。テンプレートマッチングや動体検知、通過検知については公知の手法を用いることができる。その他の構成は実施形態１に記載した図１の異常音監視システムＡ１０００と同様である。
（特徴量データベース）
図８は、本実施形態に係る特徴量データベースＣ１００５の構成例を示す図である。特徴量データベースＣ１００５は、衝突・破壊音特徴量Ｄ１０２と環境音特徴量［渋滞］Ｄ１０３、環境音特徴量［交通量多］Ｄ１０４、及び、環境音特徴量［基本］Ｄ１０５から構成されている。衝突・破壊音特徴量Ｄ１０２は、交通の異常音特徴量である。
環境音特徴量は撮影対象周辺の環境音の特徴量である。本実施形態では、誤検知低減のために、自動車の渋滞度や交通量に応じて、環境音の特徴量を、環境音特徴量［渋滞］Ｄ１０３、環境音特徴量［交通量多］Ｄ１０４、及び、環境音特徴量［基本］Ｄ１０５に分類して保持している。環境音特徴量［渋滞］Ｄ１０３は交通状況として車が渋滞している状態でないと発生しないような音声である「アイドリング（普通車）」「アイドリング（大型車）」「クラクション（複数）」などの特徴量を有する。環境音特徴量［交通量多］Ｄ１０４は、渋滞はしていないが交通量が非常に多い状態でないと発生しないような音声である「通過音（複数）」「振動音」「エンジン音」などの特徴量を有する。環境音特徴量［基本］Ｄ１０５は、基本的な交通状況で発生しうる音声である「クラクション（単体）」「ブレーキ音」「サイレン音」などの特徴量を有する。
特徴量データベースＣ１００５内の特徴量はその内容に応じてグルーピングされた複数の特徴量データの集まりで構成されている。これらの特徴量は、必要に応じて動的にデータベースから解除・設定することで、特徴量マッチング部Ａ１００４のマッチング対象から除外・包含することができる（Ｄ１０６）。
（動作手順）
ここで、図９のフローチャートを参照しながら映像から入力される現在の状況に合わせ特徴量データベースの構成を入れ替える動作の処理手順について説明する。以下の各ステップは、ＣＰＵ９９０の制御に基づき実行される。なお、図９において、図４と同様の処理には同一の符号を付している。
図９のＳ１０１〜Ｓ３１２では、入力された映像情報を基に検出された撮影対象の状況に応じて特徴量データベースＣ１００５の構成を更新する特徴量データベース構成更新処理を実行する。そして、Ｓ１１３〜Ｓ１２０では、更新された特徴量データベースＣ１００５を用いて異常音を検知する異常音検知処理を実行する。このように本実施形態では、撮影対象の状況に応じた特徴量データベースＣ１００５を用いて異常音を検知するため、撮影対象の状況に関わらず高精度で異常音を検知することができる。
異常音監視システムＣ１０００は起動すると、Ｓ１０１において映像入力装置Ａ１００８からの映像情報を映像入力部Ａ１００９に格納する。Ｓ３０２において、入力された映像情報を交通状況検出部Ｃ１０１０にて解析し、映像上の車の数や通過速度、通過頻度から渋滞具合や交通量を検出する。Ｓ３０３において、交通状況検出部Ｃ１０１０にて検出した情報を基に、その交通状況が渋滞しているか否かを判定する。真の場合（Ｓ３０３でＹＥＳ）はＳ３０５へ進み、偽の場合（Ｓ３０３でＮＯ）はＳ３０４へ進む。
Ｓ３０４において、現在の特徴量データベースＣ１００５に環境音特徴量［渋滞］Ｄ１０３が設定されているかを判定する。真の場合（Ｓ３０４でＹＥＳ）はＳ３０６へ進み、偽の場合（Ｓ３０４でＮＯ）はＳ３０８へ進む。
Ｓ３０５において、現在の特徴量データベースＣ１００５に環境音特徴量［渋滞］Ｄ１０３が設定されているかを判定する。真の場合（Ｓ３０５でＹＥＳ）はＳ３０９へ進み、偽の場合（Ｓ３０５でＮＯ）はＳ３０７へ進む。
Ｓ３０６において、現在の交通状況では発生しない音声である渋滞時の音声の特徴量が格納されている環境音特徴量［渋滞］Ｄ１０３を特徴量データベースＣ１００５から解除する。そして、Ｓ３０８へ進む。
Ｓ３０７において、現在の交通状況から発生する可能性のある音声である渋滞時の音声の特徴量が格納されている環境音特徴量［渋滞］Ｄ１０３を特徴量データベースＣ１００５に設定する。
Ｓ３０８において、交通状況検出部Ｃ１０１０にて検出した情報を基に、その交通量が多いか否かを判定する。真の場合（Ｓ３０８でＹＥＳ）はＳ３１０へ進み、偽の場合（Ｓ３０８でＮＯ）はＳ３０９へ進む。
Ｓ３０９において、現在の特徴量データベースＣ１００５に環境音特徴量［交通量多］Ｄ１０４が設定されているかを判定する。真の場合（Ｓ３０９でＹＥＳ）はＳ３１１へ進み、負の場合（Ｓ３０９でＮＯ）はＳ１１３へ進む。
Ｓ３１０において、現在の特徴量データベースＣ１００５に環境音特徴量［交通量多］Ｄ１０４が設定されているかを判定する。真の場合（Ｓ３１０でＹＥＳ）はＳ１１３へ進み、負の場合（Ｓ３１０でＮＯ）はＳ３１２へ進む。
Ｓ３１１において、現在の交通状況から発生しない音声である交通量が多い時の音声の特徴量が格納されている環境音特徴量［交通量多］Ｄ１０４を特徴量データベースＣ１００５から解除する。そして、Ｓ１１３へ進む。
Ｓ３１２において、現在の交通状況から発生する可能性のある音声である交通量が多い時の音声の特徴量が格納されている環境音特徴量［交通量多］Ｄ１０４を特徴量データベースＣ１００５に設定する。そして、Ｓ１１３へ進む。
Ｓ１１３において、特徴量データベースＡ１００５を更新するための次の交通状況検出を行うタイムアウト時間５ｓｅｃを検出タイマ部Ａ１０１８に設定する。Ｓ１１４において、音声入力部Ａ１００２に入力された音声の特徴量を特徴量抽出部Ａ１００３にて抽出する。そして、Ｓ３１５において、特徴量抽出部Ａ１００３にて抽出した特徴量と特徴量データベースＣ１００５の各特徴量との比較を特徴量マッチング部Ａ１００４にて行う。
次に、Ｓ１１６において、データベースＣ１００５の各特徴量と入力音声の特徴量との間における尤度計算を尤度計算部Ａ１００６にて行う。
Ｓ１１７において、尤度計算結果で最も近かった音声が衝突・破壊音であり、その尤度が予め定められた閾値を超えているかを検知結果判断部Ａ１００７にて判定する。尤度が閾値を超えている衝突・破壊音の異常音を検知した場合には、イベント通知部Ａ１０１２に通知する。イベント情報は通信部Ａ１０１３を介して監視モニタ装置Ａ１０１４に通知される。
Ｓ１１８において音声入力部Ａ１００２に音声が入力されたか否かを判定する。真の場合（Ｓ１１８でＹＥＳ）はＳ１１３へ、偽の場合（Ｓ１１８でＮＯ）はＳ１１９に進む。
Ｓ１１９において不図示の異常音検知システムＯｎ／Ｏｆｆ ＳＷが操作されたかどうかを判定する。真の場合（Ｓ１１９でＹＥＳ）はフローチャートに係る処理を終了し、偽の場合（Ｓ１１９でＮＯ）はＳ１２０に進む。
Ｓ１２０において、検出タイマ部Ａ１０１８がタイムアウトしたか否かを判定する。真の場合（Ｓ１２０でＹＥＳ）はＳ１０１へ、偽の場合（Ｓ１２０でＮＯ）はＳ１１８へ進む。
上記のように、本実施形態では、現在の状況に応じて特徴量データベースを更新し、最適な特徴量データベースで異常音検知を行う。このため、交通状況にかかわらず、高度な検知精度を維持することができる。また、本実施形態では不要な特徴量データを特徴量データベースから解除することで特徴量の比較処理や尤度計算処理が少なくなる。これにより、ＣＰＵ負荷の低減や処理速度を向上させることができる。
＜＜実施形態４＞＞
実施形態３では、交通環境を撮影する場合において、検出された撮影対象の状況に応じて特徴量データベースの内容を更新することで、音声データから抽出された特徴量との比較対象を撮影対象の状況に応じた特定音の特徴量とする例を説明した。本実施形態では、検出された撮影対象の状況に応じて、特徴量データベースに保持されている特徴量の尤度に重みづけを行うことで、比較対象を撮影対象の状況に応じた特定音の特徴量とする例について説明する。
（監視システム）
本発明の第四の実施形態（実施形態４）に係る監視システムの構成例について、図１０を参照して説明する。図１０は本実施形態に係る監視システムの機能構成を示すブロック図である。なお、監視システムのハードウェア構成は実施形態１（図２）と同様である。
本実施形態の異常音監視システムＤ１０００は、道路の交通状況の異常を監視するシステムであり、撮影現場で衝突音やガラス破壊音、破裂音などが発生した場合、それを異常音として検知し監視モニタ装置Ａ１０１４にイベント通知を行う。
本実施形態の異常音監視システムＤ１０００は図７の異常音監視システムＣ１０００と異なり、データベース構成判断部Ａ１０１１の代わりに周辺状況から尤度計算の重みづけを変更する尤度重みづけ判断部Ｂ１０１１を備えている。また、本実施形態の尤度計算部Ｂ１００６は、周辺状況に応じて重み付けされた尤度計算の結果を加味して尤度の計算を行う点が、図７の尤度計算部Ａ１００６と異なる。その他の構成は実施形態３に記載した図７の異常音監視システムＣ１０００と同様であるため、詳細な説明を省略する。
重みづけ判断部Ｂ１０１１は、交通状況検出部Ｃ１０１０の結果から特徴量データベースＣ１００５の各特徴量の音声が現在発声される可能性がどのくらいあるかを判断し、各特徴量の尤度計算スコアに重みづけの係数を算出する。交通状況検出部Ｃ１０１０の結果が”渋滞”の場合には、特徴量データベースＣ１００５内の環境音特徴量［渋滞］Ｄ１０３の特徴量の音声の発生確率が十分にあるとして、重みづけ係数を１とする。一方、渋滞中では環境音特徴量［交通量多］Ｄ１０４の特等量の音声は発生する確率が最も低いと判断し、重みづけ係数を０．８とする。
交通状況検出部Ｃ１０１０の結果が”交通量多い”の場合には、特徴量データベースＣ１００５内の環境音特徴量［交通量多］Ｄ１０４の特徴量の音声の発生確率が十分にあるとして、重みづけ係数を１とする。一方、交通量が多いものの渋滞には至っていない状況では環境音特徴量［渋滞］Ｄ１０３の特等量の音声は発生する確率が最も低いと判断し、重みづけ係数を０．８とする。
交通状況検出部Ｃ１０１０の結果が”通常”の場合には、特徴量データベースＣ１００５内の環境音特徴量［渋滞］Ｄ１０３及び環境音特徴量［交通量多］Ｄ１０４の特徴量の音声が発生する確率は低いと判断し、重みづけ係数は０．９とする。環境音特徴量［基本］Ｄ１０５はいかなる状態でも発生する確率が十分にあるため、図８の全ての環境音特徴量Ｄ０１０３〜Ｄ０１０５について重みづけ係数を１とする。また、異常音である衝突・破壊音特徴量Ｄ１０２の重みづけ係数は、交通量にかかわらず１とする。
尤度計算部Ｂ１００６はＡ１００６の機能に加え、重みづけ判断部Ｂ１０１１の結果をもとに尤度スコアに重みづけの係数を乗算して最終的な尤度計算結果を算出する。例えば、交通状況検出部Ｃ１０１０の結果が”交通量多い”の場合で、検知結果候補がアイドリング（大型車）：７０、破裂音：６９、振動音：５９の順で算出された場合、それぞれ０．８、１．０、１．０の重みづけ係数が掛けられる。重みづけ係数が掛けられた結果、最終的な候補とスコアは破裂音：６９、振動音：５９、アイドリング音（大型車）：５６の順となる。
（動作手順）
ここで、図１１のフローチャートを参照して映像から入力される現在の状況に合わせ尤度計算の重みづけを行う動作の処理手順について説明する。以下の各ステップは、ＣＰＵ９９０の制御に基づき実行される。なお、図１１において、図４と同様の処理には同一の符号を付している。
図１１のＳ１０１〜Ｓ４０５では、入力された映像情報を基に検出された撮影対象の状況に応じて各特徴量に対して適用する尤度の重み付けを変更する尤度計算重みづけ変更処理を実行する。そして、Ｓ１１３〜Ｓ１２０では、変更された尤度の重みづけを用いて異常音を検知する異常音検知処理を実行する。このように本実施形態では、撮影対象の状況に応じて尤度に重みづけを行って異常音を検知するため、撮影対象の状況に関わらず高精度で異常音を検知することができる。
異常音監視システムＤ１０００は起動すると、Ｓ１０１において映像入力装置Ａ１００８からの映像情報を映像入力部Ａ１００９に格納する。そして、Ｓ３０２において、入力された映像情報を交通状況検出部Ｃ１０１０にて解析し、映像上の車の数や通過速度、通過頻度から渋滞具合や交通量（交通状況）を検出する。
次に、Ｓ４０３において、Ｓ３０２の結果から環境音特徴量［渋滞］Ｄ１０３の尤度重みづけ係数算出を、尤度重みづけ判断部Ｂ１０１１にて行う。ここでは、”渋滞中”の場合は１．０を、”交通量多い”の場合は０．８を、”通常”の場合は０．９を尤度重みづけ係数として設定する。
Ｓ４０４において、Ｓ３０２の結果から環境音特徴量［交通量多］Ｄ１０４の尤度重みづけ係数算出を、尤度重みづけ判断部Ｂ１０１１にて行う。”渋滞中”の場合は０．８を、”交通量多い”の場合は１．０を、”通常”の場合は０．９を尤度重みづけ係数として設定する。
Ｓ４０５において、Ｓ３０２の結果から環境音特徴量［基本］Ｄ１０５の尤度重みづけ係数算出を、尤度重みづけ判断部Ｂ１０１１にて行う。環境音特徴量［基本］Ｄ１０５の場合は、検出された交通状況にかかわらず１．０を重みづけ係数として設定する。
Ｓ１１３において、特徴量データベースＡ１００５を更新するための次の交通状況検出を行うタイムアウト時間５ｓｅｃを検出タイマ部Ａ１０１８に設定する。Ｓ１１４において、音声入力部Ａ１００２に入力された音声の特徴量を特徴量抽出部Ａ１００３にて抽出する。Ｓ３１５において、特徴量抽出部Ａ１００３にて抽出した特徴量と特徴量データベースＣ１００５の特徴量の比較を特徴量マッチング部Ａ１００４にて行う。
Ｓ２１６において、尤度重み付け判断部Ｂ１０１１にて算出した係数を乗算した特徴量データベースＣ１００５の各特徴量と入力音声の特徴量との間における尤度計算を、尤度計算部Ｂ１００６にて行う。
Ｓ１１７において、尤度計算結果で最も近かった音声が衝突・破壊音であり、その尤度が予め定められた閾値を超えているかを検知結果判断部Ａ１００７にて判定する。尤度が閾値を超えている衝突・破壊音の異常音を検知した場合には、イベント通知部Ａ１０１２に通知する。イベント情報は通信部Ａ１０１３を介して監視モニタ装置Ａ１０１４に通知される。
Ｓ１１８において音声入力部Ａ１００２に音声が入力されたか否かを判定する。真の場合（Ｓ１１８でＹＥＳ）はＳ１１３へ、偽の場合（Ｓ１１８でＮＯ）はＳ１１９に進む。
Ｓ１１９において不図示の異常音検知システムＯｎ／Ｏｆｆ ＳＷが操作されたかどうかを判定する。真の場合（Ｓ１１９でＹＥＳ）はフローチャートに係る処理を終了し、偽の場合（Ｓ１１９でＮＯ）はＳ１２０に進む。
Ｓ１２０において、検出タイマ部Ａ１０１８がタイムアウトしたか否かを判定する。真の場合（Ｓ１２０でＹＥＳ）はＳ１０１へ、偽の場合（Ｓ１２０でＮＯ）はＳ１１８へ進む。
以上のように、本実施形態では、交通環境を撮影する場合において、現在の状況から発声する可能性を加味し、尤度計算に重みづけを行って検知結果を導出する。このため、撮影状況に変化に関わらず異常音検知の検知精度を向上させることができる。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
例えば、電車の線路周辺の異常音を検知する異常音監視システムにおいて、特徴量データベースＡ１００５に警報音や電車の通過音を環境音として備えるようにしてもよい。この場合、周辺状況検出部Ａ１０１０の代わりに、カメラ映像から踏切の開閉や信号機の点滅を判断する検出部を備え、検出部にて検出した電車の通過判断に応じて特徴量データベースの入れ替えや尤度の重みづけの変更を行うようにしてもよい。
また、例えば、港周辺の異常音を検知する異常音監視システムであれば、特徴量データベースＡ１００５に汽笛音や停泊音を環境音として備えるようにしてもよい。この場合、周辺状況検出部Ａ１０１０の代わりに、カメラ映像から港の船の発着動作を判断する検出部を備え、検出部にて検出した船の発着動作判断に応じて特徴量データベースの入れ替えや尤度の重みづけの変更を行うようにしてもよい。
また、例えば、工場などで製造装置の異常音を検知する異常音監視システムであれば、特徴量データベースＡ１００５に機械音を環境音として備えるようにしてもよい。この場合、周辺状況検出部Ａ１０１０の代わりに、カメラ映像から製造装置の動作を判断する検出部を備え、検出部にて検出した製造装置の動作検出状況に応じて特徴量データベースの入れ替えや重みづけの変更を行うようにしてもよい。
また、例えば、屋外の交通の異常音を検知する異常音監視システムであれば、特徴量データベースＡ１００５に晴天、雨天、雷雨、暴風、積雪時などその天候状況に応じた環境音を備えるようにしてもよい。この場合、周辺状況検出部Ａ１０１０の代わりに、カメラ映像から撮影環境の天候を判断する検出部を備え、検出部による天候の検出状況に応じて特徴量データベースの入れ替えや尤度の重みづけの変更を行うようにしてもよい。
また、例えば、倉庫の異常音を検知する異常音監視システムであれば、特徴量データベースＡ１００５に暗闇で行わない作業の作業音・動作音を環境音として分類分けして備えるようにしてもよい。この場合、周辺状況検出部Ａ１０１０の代わりに、カメラ映像から撮影環境の明るさを判断する検出部を備え、検出部による明るさの検出状況に応じて特徴量データベースの入れ替えや重みづけの変更を行うようにしてもよい。
また、例えば、店舗の異常音をする異常音監視システムであれば、特徴量データベースＡ１００５に夜間の暗闇中では盗難を疑われるレジ開閉などの音を環境音として備えるようにしてもよい。この場合、周辺状況検出部Ａ１０１０の代わりに、カメラ映像から撮影環境の明るさを判断する検出部を備え、検出部による明るさの検出状況に応じて特徴量データベースに環境音として登録するか異常音として登録するかを切り替えるようにしてもよい。
また、検知対象とする異常音として、人の悲鳴音、人の罵声音、銃の発砲音、ガラスの破壊音、車の衝突・破壊音、電車の衝突・破壊音、船の衝突・破壊音等を対象としてもよい。
上記各実施形態の構成によれば、音声による異常監視を行うときに、現在の状況に合わせ検知精度を向上させることができる。
＜＜その他の実施形態＞＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。例えば、上述の各フローチャートは、ＣＰＵ９９０がメモリに読み込まれたプログラムに基づく処理を行うことで実行可能である。
Ａ１０００：異常音監視システム、Ａ１００３：特徴量抽出部、Ａ１００７：検知結果判断部、Ａ１０１０：周辺情報検出部、Ａ１０１５：情報処理部

Claims (11)

  1. 撮影対象を撮影して生成された画像データから該撮影対象の状況を検出する検出手段と、
    前記撮影対象の周辺の音声を集音して生成された音声データから音声の特徴量を抽出する抽出手段と、
    前記検出手段によって検出された前記撮影対象の状況に応じた特定音の特徴量と、前記抽出手段によって抽出された特徴量とを比較して、特定音を検知する検知手段と、を備え、
    前記検出手段は、前記撮影対象の状況として、前記画像データに基づく画像に含まれる特定の物体の数を検出することを特徴とする検知装置。
  2. 撮影対象を撮影して生成された画像データから該撮影対象の状況を検出する検出手段と、
    前記撮影対象の周辺の音声を集音して生成された音声データから音声の特徴量を抽出する抽出手段と、
    前記検出手段によって検出された前記撮影対象の状況に応じた特定音の特徴量と、前記抽出手段によって抽出された特徴量とを比較して、特定音を検知する検知手段と、を備え、
    前記検出手段は、前記撮影対象の状況として、前記画像データに基づく画像の明るさを検出することを特徴とする検知装置。
  3. 特定音の特徴量を保持するデータベースをさらに備え、
    前記検知手段は、前記データベースによって保持される特定音の特徴量と、前記抽出手段によって抽出された特徴量とを比較して、特定音を検知する
    ことを特徴とする請求項１または２に記載の検知装置。
  4. 前記検出手段によって検出された前記撮影対象の状況に基づき、前記データベースの特徴量を更新する更新手段をさらに備え、
    前記検知手段は、更新された前記データベースの特徴量と、前記抽出手段によって抽出された特徴量とを比較して、特定音を検知する
    ことを特徴とする請求項３に記載の検知装置。
  5. 前記データベースは撮影対象の状況に対応づけて前記特徴量を保持し、
    前記更新手段は、前記検出手段によって検出された前記撮影対象の状況に対応する特徴量が前記データベースによって保持されていない場合に、当該特徴量を前記データベースに設定する
    ことを特徴とする請求項４に記載の検知装置。
  6. 前記データベースは撮影対象の状況に対応づけて前記特徴量を保持し、
    前記更新手段は、前記検出手段によって検出された前記撮影対象の状況に対応しない特徴量が前記データベースによって保持されている場合に、当該特徴量を前記データベースから解除する
    ことを特徴とする請求項４に記載の検知装置。
  7. 前記データベースは撮影対象の状況に対応づけて前記特徴量を保持し、
    前記検出手段によって検出された前記撮影対象の状況に応じて、前記データベースに保持されている特徴量の尤度に重みづけを行う重みづけ手段をさらに備え、
    前記検知手段は、前記尤度の重みづけが行われた特徴量と、前記抽出手段によって抽出された特徴量とを比較して、特定音を検知する
    ことを特徴とする請求項３に記載の検知装置。
  8. 前記重みづけ手段は、前記検出手段によって検出された前記撮影対象の状況に対応する特徴量の尤度に対して、該検出された撮影対象の状況に対応しない特徴量の尤度よりも大きな値で重みづけを行うことを特徴とする請求項７に記載の検知装置。
  9. 撮影対象を撮影して生成された画像データから該撮影対象の状況を検出する検出工程と、
    前記撮影対象の周辺の音声を集音して生成された音声データから音声の特徴量を抽出する抽出工程と、
    前記検出工程によって検出された前記撮影対象の状況に応じた特定音の特徴量と、前記抽出工程によって抽出された特徴量とを比較して、特定音を検知する検知工程と、を備え、
    前記検出工程は、前記撮影対象の状況として、前記画像データに基づく画像に含まれる特定の物体の数を検出することを特徴とする検知装置の制御方法。
  10. 撮影対象を撮影して生成された画像データから該撮影対象の状況を検出する検出工程と、
    前記撮影対象の周辺の音声を集音して生成された音声データから音声の特徴量を抽出する抽出工程と、
    前記検出工程によって検出された前記撮影対象の状況に応じた特定音の特徴量と、前記抽出工程によって抽出された特徴量とを比較して、特定音を検知する検知工程と、を備え、
    前記検出工程は、前記撮影対象の状況として、前記画像データに基づく画像の明るさを検出することを特徴とする検知装置の制御方法。
  11. コンピュータを請求項１から８のいずれか１項に記載の検知装置が備える各手段として機能させるためのコンピュータプログラム。
JP2015187441A 2015-09-24 2015-09-24 検知装置及びその制御方法、コンピュータプログラム Active JP6682222B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2015187441A JP6682222B2 (ja) 2015-09-24 2015-09-24 検知装置及びその制御方法、コンピュータプログラム
EP16183924.6A EP3147902B1 (en) 2015-09-24 2016-08-12 Sound processing apparatus, sound processing method, and computer program
US15/258,386 US10109299B2 (en) 2015-09-24 2016-09-07 Sound processing apparatus, sound processing method, and storage medium
CN201610844554.9A CN106558317A (zh) 2015-09-24 2016-09-22 声音处理装置和声音处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015187441A JP6682222B2 (ja) 2015-09-24 2015-09-24 検知装置及びその制御方法、コンピュータプログラム

Publications (2)

Publication Number Publication Date
JP2017062349A JP2017062349A (ja) 2017-03-30
JP6682222B2 true JP6682222B2 (ja) 2020-04-15

Family

ID=57083042

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015187441A Active JP6682222B2 (ja) 2015-09-24 2015-09-24 検知装置及びその制御方法、コンピュータプログラム

Country Status (4)

Country Link
US (1) US10109299B2 (ja)
EP (1) EP3147902B1 (ja)
JP (1) JP6682222B2 (ja)
CN (1) CN106558317A (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7062879B2 (ja) * 2017-03-31 2022-05-09 サクサ株式会社 表示制御装置及び表示制御方法
CN109036461A (zh) * 2017-06-12 2018-12-18 杭州海康威视数字技术股份有限公司 一种通知信息的输出方法、服务器及监控***
US11431887B2 (en) * 2018-07-24 2022-08-30 Sony Semiconductor Solutions Corporation Information processing device and method for detection of a sound image object
CN109999488A (zh) * 2018-12-29 2019-07-12 瑞声科技(新加坡)有限公司 一种振动方法、终端及存储介质
CN110363991B (zh) * 2019-07-16 2021-01-08 珠海市杰理科技股份有限公司 路况分析方法、装置、处理设备、路况分析***和车辆
CN110459242A (zh) * 2019-08-21 2019-11-15 广州国音智能科技有限公司 变声检测方法、终端及计算机可读存储介质
CN113947855A (zh) * 2021-09-18 2022-01-18 中标慧安信息技术股份有限公司 一种基于语音识别的智能楼宇人员安全报警***
CN115116230A (zh) * 2022-07-26 2022-09-27 浪潮卓数大数据产业发展有限公司 一种交通环境监测方法、设备及介质
CN115035913B (zh) * 2022-08-11 2022-11-11 合肥中科类脑智能技术有限公司 一种声音异常检测方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002229592A (ja) * 2001-01-30 2002-08-16 Nec Corp 音声認識装置
JP2003169171A (ja) * 2001-11-30 2003-06-13 Canon Inc 画像形成装置
JP2003296757A (ja) 2002-03-29 2003-10-17 Canon Inc 情報処理方法および装置
JP4100243B2 (ja) * 2003-05-06 2008-06-11 日本電気株式会社 映像情報を用いた音声認識装置及び方法
JP4175180B2 (ja) 2003-05-29 2008-11-05 松下電工株式会社 監視通報システム
US7697026B2 (en) * 2004-03-16 2010-04-13 3Vr Security, Inc. Pipeline architecture for analyzing multiple video streams
CN1776807A (zh) * 2004-11-15 2006-05-24 松下电器产业株式会社 声音辨识***及具有该***的安全装置
MX2009001254A (es) * 2006-08-03 2009-02-11 Ibm Sistema de vigilancia de video y metodo con reconocimiento de video y audio combinado.
JP2009092976A (ja) * 2007-10-10 2009-04-30 Xanavi Informatics Corp 車載装置
US8315430B2 (en) * 2007-11-07 2012-11-20 Viewdle Inc. Object recognition and database population for video indexing
JP5452158B2 (ja) * 2009-10-07 2014-03-26 株式会社日立製作所 音響監視システム、及び音声集音システム
JP2011166442A (ja) * 2010-02-09 2011-08-25 Sanyo Electric Co Ltd 撮像装置
JP5917270B2 (ja) * 2011-05-27 2016-05-11 キヤノン株式会社 音検出装置及びその制御方法、プログラム
CN102737480B (zh) * 2012-07-09 2014-03-05 广州市浩云安防科技股份有限公司 一种基于智能视频的异常语音监控***及方法
FR2994495B1 (fr) * 2012-08-10 2015-08-21 Thales Sa Procede et systeme pour detecter des evenements sonores dans un environnement donne
KR101932535B1 (ko) * 2012-08-27 2018-12-27 한화테크윈 주식회사 실내 감시 시스템 및 실내 감시 방법
CN103196838B (zh) 2013-03-15 2014-11-26 辽宁师范大学 一种海岸河口富营养化高光谱遥感监测方法
CN103198838A (zh) * 2013-03-29 2013-07-10 苏州皓泰视频技术有限公司 一种用于嵌入式***的异常声音监控方法和监控装置
US9946921B2 (en) * 2013-04-26 2018-04-17 Nec Corporation Monitoring device, monitoring method and monitoring program
JP6427902B2 (ja) * 2014-03-17 2018-11-28 富士通株式会社 抽出プログラム、方法、及び装置
US9516412B2 (en) * 2014-03-28 2016-12-06 Panasonic Intellectual Property Management Co., Ltd. Directivity control apparatus, directivity control method, storage medium and directivity control system
CN104144328B (zh) * 2014-07-31 2017-06-16 中国人民解放军63908部队 一种智能视频监控方法
US10068445B2 (en) * 2015-06-24 2018-09-04 Google Llc Systems and methods of home-specific sound event detection

Also Published As

Publication number Publication date
JP2017062349A (ja) 2017-03-30
CN106558317A (zh) 2017-04-05
EP3147902A1 (en) 2017-03-29
EP3147902B1 (en) 2020-01-01
US20170092296A1 (en) 2017-03-30
US10109299B2 (en) 2018-10-23

Similar Documents

Publication Publication Date Title
JP6682222B2 (ja) 検知装置及びその制御方法、コンピュータプログラム
US11433855B2 (en) Intelligent detection and alerting of potential intruders
US9761248B2 (en) Action analysis device, action analysis method, and action analysis program
US10614693B2 (en) Dangerous situation notification apparatus and method
KR101116273B1 (ko) 교통사고 인식장치 및 그 방법
JP6532106B2 (ja) 監視装置、監視方法および監視用プログラム
US9311930B2 (en) Audio based system and method for in-vehicle context classification
Andersson et al. Fusion of acoustic and optical sensor data for automatic fight detection in urban environments
CN112744174B (zh) 车辆碰撞监测方法、装置、设备及计算机可读存储介质
CN112277936B (zh) 车辆碰撞检测处理方法、装置、车载终端和存储介质
De Godoy et al. Paws: A wearable acoustic system for pedestrian safety
SG178563A1 (en) Method and system for event detection
Suliman et al. Detection of impulsive sounds in stream of audio signals
KR101736466B1 (ko) 음향 정보 기반 상황 인식 장치 및 방법
JP3847738B2 (ja) 車両周辺監視システム
KR101794260B1 (ko) 음성인식을 이용한 보안등 및 보안시스템
CN111862529A (zh) 报警方法及设备
KR101882309B1 (ko) 음성인식을 이용한 보안등 및 보안시스템
CN114511978B (zh) 一种入侵预警方法、装置、车辆和计算机可读存储介质
CN117445805B (zh) 面向公交车司乘冲突的人员预警和行车控制方法及***
Kim et al. Discriminative training of GMM via log-likelihood ratio for abnormal acoustic event classification in vehicular environment
KR102141657B1 (ko) 음성 및 영상기반 비상유도시스템
KR20220161686A (ko) 사고음 딥러닝을 통한 음향기반 도로 사고 자동 검지 시스템
WO2021199311A1 (ja) 監視装置、監視方法、および記録媒体
Gunathilake et al. Deep Learning-Based Approach for Real-Time Traffic Signal Optimization and Vehicle Surveillance

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180709

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190710

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190722

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190920

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200225

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200325

R151 Written notification of patent or utility model registration

Ref document number: 6682222

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151