JP4046592B2 - 音源識別装置および突発事象検出装置並びに突発事象自動記録装置 - Google Patents
音源識別装置および突発事象検出装置並びに突発事象自動記録装置 Download PDFInfo
- Publication number
- JP4046592B2 JP4046592B2 JP2002309074A JP2002309074A JP4046592B2 JP 4046592 B2 JP4046592 B2 JP 4046592B2 JP 2002309074 A JP2002309074 A JP 2002309074A JP 2002309074 A JP2002309074 A JP 2002309074A JP 4046592 B2 JP4046592 B2 JP 4046592B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- spectrum
- extracted
- sound source
- level
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
- Traffic Control Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、交差点などに設置されて交通事故等の突発事象に起因する音を検出するとともに、この交通事故等を自動的に撮影して記録するための音源識別装置および突発事象検出装置並びに突発事象自動記録装置に関するものである。
【０００２】
【従来の技術】
近年、交通事故は増加の一途を辿り、交通事故の発生数を減らすことが急務とされ、このため、交差点などに交通事故自動記録装置を設置し、事故前後の状況を映像にて記録することにより、事故分析が行われている。
【０００３】
この種の交通事故自動記録装置は、カメラ装置にて交差点を撮影するとともに、交通事故に基づく衝突音、急ブレーキ音などを検出した際に、その前後における映像を、自動的に保存するものである。
【０００４】
ところで、交差点などにおいては、事故以外の音が多数発生しており、交通事故の映像を保存するためには、検出した音が交通事故に起因しているものであるか否かを判断する必要がある。
【０００５】
従来、音を分析する場合、音圧解析とスペクトル解析とが併用して行われており、例えば音圧解析については、時系列の音圧分布にて、或るしきい値を超えた場合に、車両の衝突による衝撃音が発生したと判断されていた。すなわち、音響信号のスペクトル分布から、衝撃音と判断されていた（例えば、特開平４−３３８９００号公報参照）。
【０００６】
【特許文献１】
特開平４−３３８９００号公報（第３頁の［００２２］〜［００２３］欄）
【０００７】
【発明が解決しようとする課題】
ところで、上述した音源の判断方法によると、大型トラックの荷台の振動音、道路工事の音、カラスの鳴き声などは、事故音と区別するのが難しく、したがって自動的に記録された映像を再生した場合、単に、大型トラックが通過しただけというように、事故とは関係のない映像が多く記録されており、その検出精度が低いという問題があった。
【０００８】
そこで、本発明は、音による交通事故等の突発事象の検出精度を向上させ得る音源識別装置および突発事象検出装置並びに突発事象自動記録装置を提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記課題を解決するために、本発明の音源識別装置は、音響検出手段にて検出された音響信号から所定周波数帯域の信号を抽出する信号抽出手段と、
上記信号抽出手段にて抽出された抽出音響信号を入力して、所定の積分時間にて積分を行い音響エネルギーを求めるとともに当該音響エネルギーが所定の設定レベル値を超えているか否かを判断するレベル検出手段と、
上記信号抽出手段にて抽出された抽出音響信号を入力して、上記レベル検出手段における積分時間よりも短い所定の積分時間にて積分を行い音響エネルギーを求めるとともに当該音響エネルギーが所定の設定ピーク値を超えているか否かを検出するピーク検出手段と、
上記レベル検出手段およびピーク検出手段からの検出信号を入力して、レベル値およびピーク値のいずれかがそれぞれの設定値を超えている場合に、当該抽出音響信号の周波数スペクトルを演算するスペクトル演算手段と、
このスペクトル演算手段にて求められた周波数スペクトルを入力して、ニューラルネットワークにて音源の種類を特定する音源識別手段とを具備し、
さらに上記音源識別手段において、
最大レベルを示す周波数スペクトルの周波数軸上での位置に応じた分割パターンに基づきスペクトルデータ群を複数に分割して分類するとともに、最大レベルを示す周波数スペクトルが位置する分類番号を求め、この求められた分類番号に応じて信号特定用パターンを選択し、この信号特定用パターンをスペクトル演算手段からの周波数スペクトルに適用して新たな周波数スペクトルを抽出した後、当該抽出された周波数スペクトル系列と予め求められたスペクトル系列とのパターンマッチングをニューラルネットワーク手法を用いて行うことにより、音源の種類を特定するようにしたものである。
【００１０】
上記音源識別装置の構成によると、音響検出手段にて検出された音響信号について、レベル検出手段およびピーク検出手段にて、少なくともいずれかの検出信号が検出された場合に、当該音響信号の周波数スペクトルを求めるとともに、ニューラルネットワークを用いてその音源の種別を特定するようにしたので、すなわちニューラルネットワークにて音源の種別を特定する際に、予備判断を行うようにしたので、音源を、正確に識別することができる。
【００１１】
また、本発明の突発事象検出装置は、音響検出手段にて検出された音響信号から所定周波数帯域の信号を抽出する信号抽出手段と、
上記信号抽出手段にて抽出された抽出音響信号を入力して、所定の積分時間にて積分を行い音響エネルギーを求めるとともに当該音響エネルギーが所定の設定レベル値を超えているか否かを判断するレベル検出手段と、
上記信号抽出手段にて抽出された抽出音響信号を入力して、上記レベル検出手段における積分時間よりも短い所定の積分時間にて積分を行い音響エネルギーを求めるとともに当該音響エネルギーが所定の設定ピーク値を超えているか否かを判断するピーク検出手段と、
上記信号抽出手段にて抽出された抽出音響信号を入力して、所定の積分時間にて積分を行い音響エネルギーを求めるとともに当該音響エネルギーが所定の設定レベル値を超えている場合に、さらに所定時間経過後に、再度、当該所定の設定レベル値を超えているか否かを判断するレベル継続検出手段と、
上記レベル検出手段およびピーク検出手段からの検出信号を入力して、レベル値およびピーク値のいずれかがそれぞれの設定値を超えている場合に、当該抽出音響信号の周波数スペクトルを演算するスペクトル演算手段と、
このスペクトル演算手段にて求められた周波数スペクトルを入力して、ニューラルネットワークにて音源の種類を特定する音源識別手段と、
この音源識別手段にて識別された識別信号を入力するとともに、上記ピーク検出手段およびレベル継続検出手段からの検出信号を入力して、これら各信号に基づき、突発事象であるか否かを判定する突発事象判定手段とを具備し、
さらに上記音源識別手段において、
上記スペクトル演算手段で求められた周波数スペクトルの合計面積に応じた分割パターンに基づきスペクトルデータ群を複数に分割して第一の分類番号を付すとともに、上記スペクトル演算手段で求められた周波数スペクトルのうち最大レベルを示す周波数スペクトルの周波数軸上での位置に応じた分割パターンに基づきスペクトルデータ群を複数に分割して第二の分類番号を付した後、最大レベルを示す周波数スペクトルが位置する両分類番号を求め、
この求められた両分類番号に応じて信号特定用パターンを選択し、この信号特定用パターンをスペクトル演算手段からの周波数スペクトルに適用して新たな周波数スペクトルを抽出した後、当該抽出された周波数スペクトル系列と予め求められたスペクトル系列とのパターンマッチングをニューラルネットワーク手法を用いて行うことにより、音源の種類を特定するようにしたものである。
【００１２】
さらに、本発明の突発事象自動記録装置は、上記突発事象検出装置を用いた突発事象自動記録装置であって、突発事象判定手段により突発事象であると判断された場合に、突発事象を撮影している撮影手段からの映像を、映像記録手段にて保存させる映像保存指示手段を具備させたものである。
【００１３】
上記突発事象検出装置および当該突発事象検出装置を用いた突発事象自動記録装置の構成によると、上記音源識別装置におけるニューラルネットワークにて特定された音源に対して、さらにレベル継続検出手段により、信号レベルが継続しているか否かの判断が加味されているので、音源が、予め、想定された突発事象に基づくものであるか否かを、正確に検出することができ、したがって自動的に突発事象の映像を記録する場合に、その検出精度を向上させることができる。すなわち、上記事故判定装置を、交通事故自動記録装置に適用した場合には、交通事故を、精度よく、映像にて記録することができる。
【００１４】
【発明の実施の形態】
以下、本発明の第１の実施の形態に係る音源識別装置および突発事象検出装置並びに突発事象自動記録装置を、図１〜図８に基づき説明する。
【００１５】
なお、本実施の形態においては、突発事象自動記録装置について説明するが、本発明に係る音源識別装置および突発事象検出装置については、当該突発事象自動記録装置にて使用されるものであり、この装置の構成の一部として説明する。
【００１６】
また、本実施の形態では、突発事象として交通事故を対象として説明するが、その音源の識別対象としては、衝突音などの他に、交通事故の検出に際し、重要な手掛かりとなるブレーキ、クラクション、サイレン、暴走音などの音源についても対象としており、したがって以下の説明では、これらを含めて事故音と称するとともに、交通事故以外の事象も含むため事故等と称し、さらに突発事象検出装置については事故検出装置と、また突発事象自動記録装置については交通事故自動記録装置として説明する。
【００１７】
図１に示すように、この交通事故自動記録装置１には、交通事故を監視する箇所、例えば交通事故が頻繁に発生する交差点Ｋに設置されるカメラ装置（撮影手段）２と、交差点Ｋ付近にて発生する音を検出するためのマイクロフォン（音響検出手段の一例で、以下、マイクという）３と、このマイク３にて検出された音響信号に基づき事故等を特定するための事故検出装置４と、この事故検出装置４にて事故等であると判断された場合に、カメラ装置１にて撮影された映像を記録する映像記録手段（例えば、ビデオ装置、ハードディスク装置などが用いられる）５とから構成されている。
【００１８】
上記事故検出装置４は、図２に示すように、上記マイク３にて集音された音響信号を入力して所定周波数帯域の信号を抽出する信号抽出手段１１と、この信号抽出手段１１にて抽出された抽出音響信号を入力して、所定の第１積分時間にて積分を行い音響エネルギー（積分値である、以下、同じ）を求め、且つ当該音響エネルギーが所定の第１設定レベル値を超えているか否かを判断するとともに、超えている場合には、所定の検出信号を出力するレベル検出手段１２と、上記信号抽出手段１１にて抽出された抽出音響信号を入力して、上記第１積分時間よりも短い所定の第２積分時間にて積分を行い音響エネルギーを求め、且つ当該音響エネルギーが所定の設定ピーク値を超えているか否かを判断するとともに、超えている場合には、所定の検出信号を出力するピーク検出手段１３と、上記信号抽出手段１１にて抽出された抽出音響信号を入力して、所定の第３積分時間にて積分を行い音響エネルギーを求め、且つ当該音響エネルギーが所定の設定レベル値を超えている場合に、さらに所定時間経過後に、再度、当該所定の設定レベル値を超えているか否かを判断するとともに、超えている場合には、所定の検出信号を出力するレベル継続検出手段１４と、上記レベル検出手段１２およびピーク検出手段１３からの少なくともいずれかの検出信号を入力した場合に、所定周波数領域を所定個数に分割するとともに、これら各分割周波数領域に係る音響信号の周波数スペクトル（以下、単にスペクトルといい、またスペクトラムともいう）をそれぞれ演算するスペクトル演算手段１５と、このスペクトル演算手段１５にて求められた各分割周波数領域でのスペクトルを入力して、ニューラルネットワーク（手法）を用いて音源を特定し識別を行う音源識別手段１６と、この音源識別手段１６にて識別された音源識別信号を入力するとともに、上記ピーク検出手段１３およびレベル継続検出手段１４からの検出信号をそれぞれ入力して、事故等であるか否かを判定する事故判定手段１７とが具備されている。
【００１９】
また、この交通事故自動記録装置１には、上記事故判定手段１７にて事故等であると判定された場合に、カメラ装置２にて撮影している映像を映像記録手段５に記録させるための保存指示を出力する映像保存指示手段１８が設けられている。
【００２０】
次に、上記各手段における構成または処理内容について詳しく説明する。
上記信号抽出手段１１では、周波数が例えば０〜２．５ｋＨｚの信号が取り出された後、０〜５００Ｈｚの部分が除去される。これは、交通事故および車両の走行に、すなわち事故等に起因して発生する事故音の範囲を絞るとともに、余分なエンジン音（０〜５００Ｈｚ）を除去するためである。
【００２１】
また、上記レベル検出手段１２は、信号抽出手段１１からの抽出音響信号を入力して、所定の第１積分時間（例えば、５００ｍｓｅｃ程度）にて積分を行い音響エネルギーを求める第１積分器２１と、この第１積分器２１にて求められた音響エネルギーと所定の第１設定レベル値とを比較して音響エネルギーが当該第１設定レベル値を超えている場合に、検出信号（トリガー信号である）として、例えば「１」の信号（なお、設定レベル値以下の場合には、「０」が出力されている）を出力する第１比較器２２とが具備されている。すなわち、このレベル検出手段１２では、音響信号を或る時間間隔で積分することにより、当該音響信号の大きさが、所定のレベルを超えているか否かが判断される。
【００２２】
上記ピーク検出手段１３は、信号抽出手段１１からの抽出音響信号を入力して、上記第１積分時間より短い第２積分時間（例えば、１００ｍｓｅｃ程度）にて積分を行い音響エネルギーを求める第２積分器２３と、この第２積分器２３にて求められた音響エネルギーと所定の第２設定レベル値とを比較して音響エネルギーのピーク値が当該第２設定レベル値（設定ピーク値でもある）を超えている場合に、検出信号（トリガー信号である）として、例えば「１」の信号（なお、設定レベル値以下の場合には、「０」が出力されている）を出力する第２比較器２４とが具備されている。すなわち、このピーク検出手段１３では、音響信号を短い時間でもって積分することにより、当該音響信号のピーク値が、所定のレベル（ピーク値）を超えているか否かが判断される。
【００２３】
上記レベル継続検出手段１４は、信号抽出手段１１からの抽出音響信号を入力して、所定の第３積分時間（例えば、レベル検出手段における第１積分時間と同じ時間とされる）にて積分を行い音響エネルギーを求める第３積分器２５と、この第３積分器２５にて求められた音響エネルギーと所定の第３設定レベル値（例えば、レベル検出手段における設定レベル値が用いられる）とを比較して音響エネルギーが当該第３設定レベル値を超えている場合に、所定時間後（例えば、３００ｍｓｅｃ）に、再度、同じ設定レベル値を超えているか否かを比較して超えている場合には、当該設定レベル値が継続（維持）されていると判断し、検出信号（トリガー信号である）として、例えば「１」の信号（なお、設定レベル値が継続されていない場合には、「０」が出力されている）を出力する第３比較器２６とが具備されている。
【００２４】
なお、図３に、上記各検出手段１２〜１４における各比較器２２，２４，２６での入力信号、出力信号および検出信号の波形図を示し、（ａ）はレベル検出手段１２での第１比較器２２のものを、（ｂ）はピーク検出手段１３での第２比較器２４のものを、（ｃ）はレベル継続検出手段１４での第３比較器２６のものをそれぞれ示し、また（ｄ）は、リセット信号を示す。
【００２５】
また、上記スペクトル演算手段１５では、レベル検出手段１２からの検出信号（「１」）およびピーク検出手段１３からの検出信号（「１」）のいずれかが入力されると、まず抽出音響信号がＡ／Ｄ変換器（図示せず）にてデジタル化された後、図４に示すように、所定周波数領域（４５０〜２５００Ｈｚ）を所定個数、例えば１０５個に分割した各分割周波数領域（バンクともいう）に係る音響信号の周波数スペクトル（周波数スペクトラムともいう）が、高速フーリエ変換（ＦＦＴ）にて求められる。
【００２６】
そして、上記音源識別手段１６にて、ニューラルネットワークが用いられて音源の種類が特定される。
以下、このニューラルネットワークを用いた処理内容について、詳しく説明する。
【００２７】
この音源識別手段１６では、周波数スペクトルを４段階にてそれぞれの分類方法（第１分類〜第４分類）に基づき且つニューラルネットワーク（手法）を用いて認識・分類作業が行われ、これらの分類作業にて得られた分類番号が、予め、実験などにより求められた分類表と照合されて、検出された音が、衝突音、タイヤと路面の摩擦音、クラクション、暴走音、サイレンを含めて多数の種類のいずれかに特定される。
【００２８】
ここで、上記分類作業の内容について説明する。第１分類（第１段階）では、１０５個に分割した各分割周波数領域（以下、バンクという）に係る音響信号の各周波数スペクトルを、その最大値でもって正規化を行った後、正規化が行われた１０５バンクにおける周波数スペクトルが最大ピーク（最大レベルといえる）のものを求める。
【００２９】
そして、この１０５バンクの分割周波数領域（スペクトルデータ群といえる）が、上記最大ピークが存在するバンク数（バンクの位置）に応じた分割パターンに、例えば１０個に分けられるとともに＃０〜＃９の分類番号が付された後、当該抽出音響信号に係るスペクトル系列（図４の棒状グラフにて示す）のうち、最大のレベルを有するスペクトルが、＃０〜＃９のいずれの部分に属するかが求められる。なお、１０５バンクの分割の仕方は、最大レベルのバンク位置に応じて予め求められている。具体的には、実際の交通音のサンプルデータ（５０００件）に基づき、例えば５０００件それぞれの各最大レベルのバンク位置を度数分布化し（横軸がバンク位置で、縦軸が件数となる）、それが等分になるように分割する。すなわち、最大レベルのバンク位置の度数分布が大きい部分は、分割幅が狭くされるとともに、最大レベルのバンク位置の度数分布が小さい部分は、分割幅が広くされる（場合によっては、等分でなくてもよく、また分割個数については、１０個でなくてもよい）。そして、例えばバンク番号が小さいものから大きいものへと分類番号が、＃０〜＃９というように付けられる。したがって、図４においては、８８バンク付近が最大のレベルを有しており、この８８バンクが属する分類番号が、例えば＃８というように割り当てられる。
【００３０】
そして、第２分類〜第４分類においては、音響信号の特徴部分をスペクトルに基づき抽出するとともに、この抽出されたスペクトル系列と、音源を特定するために、予め実験により求められたスペクトル系列とのパターンマッチング（パターン認識）を、ニューラルネットワーク（手法）を用いて行い、これら各分類作業にて得られた分類番号に基づき、最終的に、上述したように、実験などにより求められた分類表と照合されて、検出された音が、衝突音、タイヤと路面の摩擦音、クラクション、暴走音、サイレンを含めて多数の種類のいずれかに特定される。なお、これら各分類作業においては、その前段階作業にて得られた分類結果に基づき、データベースに多数用意された信号特定用パターンの中から、所定個数の一群（後述するが、例えば５個づつ）が選択抽出されて、パターン認識に使用される。
【００３１】
以下、第２分類作業〜第４分類作業について説明する。
第２分類作業では、まず、上記第１分類で求められた分類番号（例えば、＃８である）に基づき、５個のパターンがデータベースから取り出される。
【００３２】
そして、当該音響信号における１０５バンクのスペクトル系列のうち、最大スペクトルの５０％未満のデータを零となし（ゼロリセットともいう）、これを正規化したスペクトル系列（図５に示す）に対して、ニューラルネットワークを用いて、上記５個のパターンに、当該５個以外のパターン（用意されたパターン以外のもの）を示すパターンを加えた、計６個のパターンとパターンマッチングを行うことにより、分類番号が割り当てられる。
【００３３】
第３分類では、上記第２分類で求められた分類番号に基づき、やはり、５個のパターンがデータベースから取り出されるとともに、当該音響信号における１０５バンクのスペクトル系列のうち、最大スペクトルおよびその前後２バンクづつの合計５バンクのスペクトル部分をゼロとなし（ゼロリセット）、新たな１０５バンクのスペクトル系列を作成する。そして、新たに作成された１０５バンクのスペクトル系列のうち、最大スペクトルが或るしきい値以上のスペクトルに対しては、最大スペクトルの２５％未満をゼロとなし、それを正規化したスペクトル系列（図６に示す）に対してニューラルネットワークを用いて、上記５個のパターンに、当該５個以外のパターンを示すパターンおよびしきい値未満のパターン（しきい値未満についても、１個のパターンとみなす）を加えた、計７個のパターンとパターンマッチングを行うことにより、分類番号が割り当てられる。すなわち、この分類作業では、強さが一番大きいスペクトル部分が除去された残りのスペクトル系列に対する分類が行われることになる。
【００３４】
さらに、第４分類では、下記の２つの場合について分類が行われる。
勿論、この分類作業においても、第３分類作業にて得られた分類番号に基づき、データベースからパターンマッチングに使用されるパターンが５個取り出される。
【００３５】
▲１▼第３分類において、最大スペクトルがしきい値未満である場合。
第３分類にて作成された１０５バンクのスペクトル系列のうち、最大スペクトルの２５％未満のスペクトルをゼロとなし（ゼロリセット）、それを正規化したスペクトル系列に対して、ニューラルネットワークにより、上記５個のパターンに、当該５個以外のパターンを示すパターンを加えた、計６個のパターンとパターンマッチングを行うことにより、分類番号が割り当てられる。
【００３６】
▲２▼第３分類において、最大スペクトルが所定のしきい値以上である場合。
第３分類にて作成された１０５バンクのスペクトル系列に対し、最大スペクトルおよびその前後２バンクの計５バンクのスペクトルをゼロとなし（ゼロリセット）、新たな１０５バンクのスペクトル系列を作成する。
【００３７】
そして、この１０５バンクのスペクトル系列のうち、最大スペクトルが或るしきい値以上のスペクトルに対しては、最大スペクトルの１２．５％未満のスペクトルをゼロとなし、それを正規化したスペクトル系列（図７に示す）に対してニューラルネットワークによるパターン認識を行い、７個のパターン（この場合も、データベースから取り出された５パターンに、当該５個以外のパターンを示すパターンおよびしきい値未満のパターンを加えたもの）とパターンマッチングを行うことにより、分類番号が割り当てられる。この分類作業では、強さが二番目に大きいスペクトル部分が除去されたスペクトル系列に対する分類が行われることになる。なお、上記のニューラルネットワークによる分類作業の概念図を、図８に示す。
【００３８】
さらに、上記事故判定手段１７では、上記音源識別手段１６での分類結果、すなわち識別信号（ＮＴにて表す）および上記レベル継続検出手段１４からの検出信号（ＰＤにて表す）並びにピーク検出手段１３からの検出信号（ＰＴにて表す）を入力して、｛（ＮＴａｎｄＰＤ）ｏｒＰＴ｝の論理演算が行われ、その音源が事故等に起因するもの（事故音）であるか否かが判定される。なお、識別信号（ＮＴ）については、事故等に起因して発生する音である場合には「１」とされ、また検出信号（ＰＤ）についても、音が継続している場合には「１」に、検出信号（ＰＴ）についても、ピーク値が所定の強さ以上である場合には「１」とされる。
【００３９】
そして、上記論理演算式における論理積（ａｎｄ）の部分は、音が瞬間的なものでなく、事故等であれば、わずかな時間ではあるが継続する音であると考えられることから、検出信号（ＰＤ）との論理積をとるようにしたものであり、一方、事故等に起因する音であれば、そのピーク値がかなりの強さを有すると考えられるため、そのピーク値が設定レベル値（勿論、この値は実験などにより設定されている）より大きいものである場合には、事故等に起因するものと判断し得るように、上記論理積（ＮＴａｎｄＰＤ）に対して検出信号（ＰＴ）の論理和をとるようにしたものである。
【００４０】
したがって、この論理演算式によると、検出した音が、ニューラルネットワークにより、事故等に関係するものであり且つその音が少しの時間であるが継続している場合、または検出した音のピーク値が事故等に起因して発生するような強い（高い）ものである場合には、事故等に起因した音であると判定される。
【００４１】
この事故判定手段１７で事故等であると判定された場合には、映像保存指示手段１８にその旨の指示が出力されて、映像記録手段５にて、当該事故等の発生時の前後における映像が記録されて保存される。
【００４２】
そして、この映像保存指示手段１８による映像の保存指示時には、映像データのインデックスとして、上記事故判定手段１７で事故等であると判断された場合の事故内容（例えば、コード化したもの）が一緒に記録される。このインデックスにより、例えば衝突音、衝突音＋タイヤと路面の摩擦音、衝突音＋クラクション、タイヤと路面の摩擦音、クラクション、暴走音、サイレン、これら以外の音の識別が行われる。
【００４３】
ところで、上記各手段、積分器、比較器などについては、それぞれ電気信号回路により構成されており、特に、ニューラルネットワークにより演算が行われる音源識別手段１６には、演算処理部として例えばＣＰＵが具備されており、勿論、ニューラルネットワークには学習機能が具備されている。
【００４４】
次に、上記交通事故自動記録装置により、交通事故等を自動的に記録する際の処理手順を簡単に説明する。
例えば、交差点に配置された当該交通事故自動記録装置１のカメラ装置２およびマイク３が作動している状態において、マイク３により検出された音響信号が信号抽出手段１１にて所定周波数帯域でもって抽出され、この抽出音響信号が、レベル検出手段１２、ピーク検出手段１３およびレベル継続検出手段１４に入力されて、事故等であるか否かの予備判断が行われる。
【００４５】
そして、レベル検出手段１２およびピーク検出手段１３のうち、少なくもと、いずれかからの検出信号があった場合、抽出音響信号に対してＡ／Ｄ変換が行われた後、スペクトル演算手段１５にてスペクトルの演算が行われる。
【００４６】
この演算により求められたスペクトル系列が音源識別手段１６に入力されて、ここで、上述したニューラルネットワークを用いた分類方法にて、音源が識別されるとともに、この識別された音が事故等に結び付く可能性が高いもの（例えば、衝突音、衝突音＋タイヤと路面の摩擦音、衝突音＋クラクション、タイヤと路面の摩擦音、クラクション、暴走音、サイレンなどの音）である場合には、事故等を示す検出信号（ＮＴ）が出力される。
【００４７】
次に、上記事故等の検出信号（ＮＴ）、レベル継続検出手段１４からの継続を示す検出信号（ＰＤ）およびピーク検出手段１３からのピークの検出信号（ＰＴ）が事故判定手段１７に入力されて論理演算が行われ、事故等に起因する音であるか否かが判定される。
【００４８】
そして、事故判定手段１７にて、事故等であると判断された場合には、映像保存指示手段１８にその旨の指示信号が出力されて、その音が発生した前後において撮影された映像が映像記録手段５に記録されて保存される。勿論、この映像データの記録時には、その映像データに対するインデックスとして、音源識別手段１６にて特定された音源種別のコードデータが一緒に記録され、後からの映像データの検索の容易化が図られている。
【００４９】
なお、音源識別手段１６での１回の識別時間は、例えば３秒とされており、各検出手段１２〜１４において、検出信号（トリガー信号）が得られた場合には、この３秒が経過するまでは検出信号の出力が維持され、３秒経過後にリセット信号が出力される。
【００５０】
このように、上記交通事故自動記録装置１の構成、特にその音源識別手段１６の構成によると、エンジン音などのように、車両が通常に発している低周波数および人間が聞くことが困難な高い周波数を除去した抽出音響信号について、レベル検出手段１２にて音響信号のレベル値が設定レベル値を超えているか否かを検出するとともに、ピーク検出手段１３にて音響信号のピーク値が設定ピーク値を超えているか否かを検出し、少なくとも一方がそれぞれの設定値を超えている場合に、当該音響信号の周波数スペクトルを求めるとともに、ニューラルネットワークを用いて、その音源の種別を特定するようにしたので、音源の識別を、より正確に行うことができる。
【００５１】
また、この音源識別手段１６を用いた事故検出装置４の構成によると、ニューラルネットワークにて特定された音源に対して、さらにレベル継続検出手段１４にて音響信号のレベル継続時間が設定継続時間を超えているか否かの判断が加味されているので、事故等であるか否かの判断を、一層、正確に行うことができる。
【００５２】
したがって、この事故判定装置４を、交通事故自動記録装置１に適用した場合には、交通事故等を、精度よく、映像にて記録することができる。
交差点に設置して実験を行ったところ、従来の交通事故自動記録装置では、その検出精度が３０％程度であったのに対し、本実施の形態に係る交通事故自動記録装置では、その検出精度が８０％程度までに向上した。
【００５３】
次に、本発明の第２の実施の形態に係る音源識別装置および突発事象検出装置並びに突発事象自動記録装置について説明する。
上記第１の実施の形態においては、最初に、１０５バンクに分割された分割周波数領域を、最大レベルを有するスペクトルのバンク番号に応じて、予め、定められた分割パターンに応じて１０個に分割するようにしたが、本第２の実施の形態では、周波数スペクトルの合計面積に応じた分割パターンに基づき５個に分割し、この５個に分割されたパターンと上記第１の実施の形態と同様の分割の方法にて１０個に分割されたパターンとを併用するようにしたものである。
【００５４】
以下、本第２の実施の形態について説明するが、基本的な構成については、第１の実施の形態で説明したものと同じであるため、音源識別手段１６に着目して説明する。なお、構成については、同一番号を用いて簡単に説明するものとする。
【００５５】
音源識別手段１６では、周波数スペクトルを４段階にてそれぞれの分類方法（第１分類〜第４分類）に基づき且つニューラルネットワーク（手法）を用いて認識・分類作業が行われ、これらの分類作業にて得られた分類番号が、予め、実験などにより求められた分類表と照合されて、検出された音が、衝突音、タイヤと路面の摩擦音、クラクション、暴走音、サイレンを含めて多数の種類のいずれかに特定される。
【００５６】
ここで、上記分類作業の内容について説明する。
本第２の実施の形態では、第１分類において、分類基準が異なる２種類の分割パターンを併用して分類番号を求めるようにしたものである。
【００５７】
すなわち、第１分類（第１段階）では、１０５個に分割した各分割周波数領域（以下、バンクともいう）に係る音響信号の各周波数スペクトルを、その最大値でもって正規化を行った後、正規化が行われた１０５バンクにおける周波数スペクトルについて、合計面積が求められる。
【００５８】
そして、１０５バンクの分割周波数領域（スペクトルデータ群といえる）が、上記合計面積に応じて予め定められている分割パターンに基づき、例えば５個に分けられて、＃０〜＃４の分類番号が付される。ここでの分割の仕方は、実際の交通音のサンプルデータ（５０００件）に基づき、例えば５０００件それぞれの各合計面積値を度数分布化し（横軸がバンク位置で、縦軸が面積値となる）、それが等分になるように分割する。すなわち、合計面積値の度数分布の大きい部分は、分割幅が狭くされるとともに、合計面積値の度数分布が小さい部分は、分割幅が広くされる（場合によっては、等分でなくてもよく、また分割個数については、５個でなくてもよい）。例えば、第１の実施の形態にて説明した図４において、１０５バンクの周波数スペクトルの合計面積が２４１０であるとすると、この合計面積２４１０が属する分類番号（第一の分類番号であり、予め、合計面積値と分類番号とが対応付けられている）が、例えば＃３というように割り当てられる。
【００５９】
次に、第１の実施の形態と同様の方法（手順）にて、１０５バンクが例えば１０個に分けられて、＃０〜＃９の分類番号（第二の分類番号）が付される。そして、この第１分類における分類番号は上記２種類の番号が考慮されて決定される。例えば、合計面積値による５個の分割では＃３に、最大レベルのバンク位置による１０個の分割では＃９というように番号が割り当てられると、この第１分類による分類番号は、＃３９となる。
【００６０】
次に、第２分類〜第４分類においては、音響信号の特徴部分をスペクトルに基づき抽出するとともに、この抽出されたスペクトル系列と、音源を特定するために、予め実験により求められたスペクトル系列とのパターンマッチング（パターン認識）を、ニューラルネットワーク（手法）を用いて行い、これら各分類作業にて得られた分類番号に基づき、最終的に、上述したように、実験などにより求められた分類表と照合されて、検出された音が、衝突音、タイヤと路面の摩擦音、クラクション、暴走音、サイレンを含めて多数の種類のいずれかに特定される。なお、これら各分類作業においては、その前段階作業にて得られた分類結果に基づき、データベースに多数用意された信号特定用パターンの中から、所定個数の一群（後述するが、例えば５個づつ）が選択抽出されて、パターン認識に使用される。
【００６１】
以下、第２分類作業〜第４分類作業について説明する。
第２分類作業では、まず、上記第１分類で求められた分類番号（例えば、＃３９である）に基づき、５個のパターンがデータベースから取り出される。
【００６２】
そして、当該音響信号における１０５バンクのスペクトル系列のうち、最大スペクトルの５０％未満のデータを零となし（ゼロリセットともいう）、これを正規化したスペクトル系列に対して、ニューラルネットワークを用いて、上記５個のパターンに、当該５個以外のパターン（用意されたパターン以外のもの）を示すパターンを加えた、計６個のパターンとパターンマッチングを行うことにより、分類番号が割り当てられる。
【００６３】
第３分類では、上記第２分類で求められた分類番号に基づき、やはり、５個のパターンがデータベースから取り出されるとともに、当該音響信号における１０５バンクのスペクトル系列のうち、最大スペクトルおよびその前後２バンクづつの合計５バンクのスペクトル部分をゼロとなし（ゼロリセット）、新たな１０５バンクのスペクトル系列を作成する。そして、新たに作成された１０５バンクのスペクトル系列のうち、最大スペクトルが或るしきい値以上のスペクトルに対しては、最大スペクトルの２５％未満をゼロとなし、それを正規化したスペクトル系列に対してニューラルネットワークを用いて、上記５個のパターンに、当該５個以外のパターンを示すパターンおよびしきい値未満のパターン（しきい値未満についても、１個のパターンとみなす）を加えた、計７個のパターンとパターンマッチングを行うことにより、分類番号が割り当てられる。すなわち、この分類作業では、強さが一番大きいスペクトル部分が除去された残りのスペクトル系列に対する分類が行われることになる。
【００６４】
さらに、第４分類では、下記の２つの場合について分類が行われる。
勿論、この分類作業においても、第３分類作業にて得られた分類番号に基づき、データベースからパターンマッチングに使用されるパターンが５個取り出される。
【００６５】
▲１▼第３分類において、最大スペクトルがしきい値未満である場合。
第３分類にて作成された１０５バンクのスペクトル系列のうち、最大スペクトルの２５％未満のスペクトルをゼロとなし（ゼロリセット）、それを正規化したスペクトル系列に対して、ニューラルネットワークにより、上記５個のパターンに、当該５個以外のパターンを示すパターンを加えた、計６個のパターンとパターンマッチングを行うことにより、分類番号が割り当てられる。
【００６６】
▲２▼第３分類において、最大スペクトルが所定のしきい値以上である場合。
第３分類にて作成された１０５バンクのスペクトル系列に対し、最大スペクトルおよびその前後２バンクの計５バンクのスペクトルをゼロとなし（ゼロリセット）、新たな１０５バンクのスペクトル系列を作成する。
【００６７】
そして、この１０５バンクのスペクトル系列のうち、最大スペクトルが或るしきい値以上のスペクトルに対しては、最大スペクトルの１２．５％未満のスペクトルをゼロとなし、それを正規化したスペクトル系列に対してニューラルネットワークによるパターン認識を行い、７個のパターン（この場合も、データベースから取り出された５パターンに、当該５個以外のパターンを示すパターンおよびしきい値未満のパターンを加えたもの）とパターンマッチングを行うことにより、分類番号が割り当てられる。この分類作業では、強さが二番目に大きいスペクトル部分が除去されたスペクトル系列に対する分類が行われることになる。
【００６８】
なお、この後の作業について説明すると、上述した第１の実施の形態と同様に、上記事故判定手段１７では、上記音源識別手段１６での分類結果、すなわち識別信号（ＮＴにて表す）および上記レベル継続検出手段１４からの検出信号（ＰＤにて表す）並びにピーク検出手段１３からの検出信号（ＰＴにて表す）を入力して、｛（ＮＴａｎｄＰＤ）ｏｒＰＴ｝の論理演算が行われ、その音源が事故等に起因するもの（事故音）であるか否かが判定される。なお、識別信号（ＮＴ）については、事故等に起因して発生する音である場合には「１」とされ、また検出信号（ＰＤ）についても、音が継続している場合には「１」に、検出信号（ＰＴ）についても、ピーク値が所定の強さ以上である場合には「１」とされる。
【００６９】
そして、上記論理演算式における論理積（ａｎｄ）の部分は、音が瞬間的なものでなく、事故等であれば、わずかな時間ではあるが継続する音であると考えられることから、検出信号（ＰＤ）との論理積をとるようにしたものであり、一方、事故等に起因する音であれば、そのピーク値がかなりの強さを有すると考えられるため、そのピーク値が設定レベル値（勿論、この値は実験などにより設定されている）より大きいものである場合には、事故等に起因するものと判断し得るように、上記論理積（ＮＴａｎｄＰＤ）に対して検出信号（ＰＴ）の論理和をとるようにしたものである。
【００７０】
したがって、この論理演算式によると、検出した音が、ニューラルネットワークにより、事故等に関係するものであり且つその音が少しの時間であるが継続している場合、または検出した音のピーク値が事故等に起因して発生するような強い（高い）ものである場合には、事故等に起因した音であると判定される。
【００７１】
この事故判定手段１７で事故等であると判定された場合には、映像保存指示手段１８にその旨の指示が出力されて、映像記録手段５にて、当該事故等の発生時の前後における映像が記録されて保存される。
【００７２】
そして、この映像保存指示手段１８による映像の保存指示時には、映像データのインデックスとして、上記事故判定手段１７で事故等であると判断された場合の事故内容（例えば、コード化したもの）が一緒に記録される。このインデックスにより、例えば衝突音、衝突音＋タイヤと路面の摩擦音、衝突音＋クラクション、タイヤと路面の摩擦音、クラクション、暴走音、サイレン、これら以外の音の識別が行われる。
【００７３】
この第２の実施の形態に係る音源識別装置においても、第１の実施の形態と同様に音源の識別をより正確に行うことができるが、第１分類の過程を設けているため、さらなる正確さでもって音源の識別を行うことができる。
【００７４】
ところで、上記第２の実施の形態においては、第１分類〜第４分類というように、４段階でもって分類を行うものとして説明したが、例えば第２の実施の形態にて説明した第１分類〜第３分類を用いて、音源の識別を行うようにしてもよい。勿論、この場合も、第１の実施の形態と同様に、音源の識別を正確に行うことができる。
【００７５】
【発明の効果】
以上のように本発明の音源識別装置の構成によると、音響検出手段にて検出された音響信号について、レベル検出手段およびピーク検出手段にて、少なくともいずれかの検出信号が検出された場合に、当該音響信号の周波数スペクトルを求めるとともに、ニューラルネットワークを用いてその音源の種別を特定するようにしたので、すなわちニューラルネットワークにて音源の種別を特定する際に、予備判断を行うようにしたので、音源を、より正確に識別することができる。
【００７６】
また、本発明の突発事象検出装置および当該突発事象検出装置を用いた突発事象自動記録装置の構成によると、上記音源識別装置におけるニューラルネットワークにて特定された音源に対して、さらにレベル継続検出手段により、信号レベルが継続しているか否かの判断が加味されているので、音源が、予め、想定された突発事象に基づくものであるか否かを、一層、正確に検出することができ、したがって自動的に突発事象の映像を記録する場合に、その検出精度を向上させることができる。例えば、上記事故判定装置を、交通事故自動記録装置に適用した場合には、交通事故を、精度よく、映像にて記録することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態における交通事故自動記録装置の概略全体構成を示す図である。
【図２】同交通事故自動記録装置における事故判定装置の概略構成を示すブロック図である。
【図３】同事故判定装置における判断予備信号検出手段での検出信号を示すグラフである。
【図４】同音源識別手段における第１分類作業に係る音響信号のスペクトル演算結果を示すグラフである。
【図５】同音源識別手段における第２分類作業の結果のスペクトル分布を示すグラフである。
【図６】同音源識別手段における第３分類作業の結果のスペクトル分布を示すグラフである。
【図７】同音源識別手段における第４分類作業の結果のスペクトル分布を示すグラフである。
【図８】同事故判定装置の音源識別手段におけるニューラルネットワークによる分類作業の概念図である。
【符号の説明】
１ 突発事象自動記録装置
２ カメラ装置
３ マイクロフォン
４ 突発事象検出装置
５ 映像記録手段
１１ 信号抽出手段
１２ レベル検出手段
１３ ピーク検出手段
１４ レベル継続検出手段
１５ スペクトル演算手段
１６ 音源識別手段
１７ 事故判定手段
１８ 映像保存指令手段
２１ 第１積分器
２２ 第１比較器
２３ 第２積分器
２４ 第２比較器
２５ 第３積分器
２６ 第３比較器
【発明の属する技術分野】
本発明は、交差点などに設置されて交通事故等の突発事象に起因する音を検出するとともに、この交通事故等を自動的に撮影して記録するための音源識別装置および突発事象検出装置並びに突発事象自動記録装置に関するものである。
【０００２】
【従来の技術】
近年、交通事故は増加の一途を辿り、交通事故の発生数を減らすことが急務とされ、このため、交差点などに交通事故自動記録装置を設置し、事故前後の状況を映像にて記録することにより、事故分析が行われている。
【０００３】
この種の交通事故自動記録装置は、カメラ装置にて交差点を撮影するとともに、交通事故に基づく衝突音、急ブレーキ音などを検出した際に、その前後における映像を、自動的に保存するものである。
【０００４】
ところで、交差点などにおいては、事故以外の音が多数発生しており、交通事故の映像を保存するためには、検出した音が交通事故に起因しているものであるか否かを判断する必要がある。
【０００５】
従来、音を分析する場合、音圧解析とスペクトル解析とが併用して行われており、例えば音圧解析については、時系列の音圧分布にて、或るしきい値を超えた場合に、車両の衝突による衝撃音が発生したと判断されていた。すなわち、音響信号のスペクトル分布から、衝撃音と判断されていた（例えば、特開平４−３３８９００号公報参照）。
【０００６】
【特許文献１】
特開平４−３３８９００号公報（第３頁の［００２２］〜［００２３］欄）
【０００７】
【発明が解決しようとする課題】
ところで、上述した音源の判断方法によると、大型トラックの荷台の振動音、道路工事の音、カラスの鳴き声などは、事故音と区別するのが難しく、したがって自動的に記録された映像を再生した場合、単に、大型トラックが通過しただけというように、事故とは関係のない映像が多く記録されており、その検出精度が低いという問題があった。
【０００８】
そこで、本発明は、音による交通事故等の突発事象の検出精度を向上させ得る音源識別装置および突発事象検出装置並びに突発事象自動記録装置を提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記課題を解決するために、本発明の音源識別装置は、音響検出手段にて検出された音響信号から所定周波数帯域の信号を抽出する信号抽出手段と、
上記信号抽出手段にて抽出された抽出音響信号を入力して、所定の積分時間にて積分を行い音響エネルギーを求めるとともに当該音響エネルギーが所定の設定レベル値を超えているか否かを判断するレベル検出手段と、
上記信号抽出手段にて抽出された抽出音響信号を入力して、上記レベル検出手段における積分時間よりも短い所定の積分時間にて積分を行い音響エネルギーを求めるとともに当該音響エネルギーが所定の設定ピーク値を超えているか否かを検出するピーク検出手段と、
上記レベル検出手段およびピーク検出手段からの検出信号を入力して、レベル値およびピーク値のいずれかがそれぞれの設定値を超えている場合に、当該抽出音響信号の周波数スペクトルを演算するスペクトル演算手段と、
このスペクトル演算手段にて求められた周波数スペクトルを入力して、ニューラルネットワークにて音源の種類を特定する音源識別手段とを具備し、
さらに上記音源識別手段において、
最大レベルを示す周波数スペクトルの周波数軸上での位置に応じた分割パターンに基づきスペクトルデータ群を複数に分割して分類するとともに、最大レベルを示す周波数スペクトルが位置する分類番号を求め、この求められた分類番号に応じて信号特定用パターンを選択し、この信号特定用パターンをスペクトル演算手段からの周波数スペクトルに適用して新たな周波数スペクトルを抽出した後、当該抽出された周波数スペクトル系列と予め求められたスペクトル系列とのパターンマッチングをニューラルネットワーク手法を用いて行うことにより、音源の種類を特定するようにしたものである。
【００１０】
上記音源識別装置の構成によると、音響検出手段にて検出された音響信号について、レベル検出手段およびピーク検出手段にて、少なくともいずれかの検出信号が検出された場合に、当該音響信号の周波数スペクトルを求めるとともに、ニューラルネットワークを用いてその音源の種別を特定するようにしたので、すなわちニューラルネットワークにて音源の種別を特定する際に、予備判断を行うようにしたので、音源を、正確に識別することができる。
【００１１】
また、本発明の突発事象検出装置は、音響検出手段にて検出された音響信号から所定周波数帯域の信号を抽出する信号抽出手段と、
上記信号抽出手段にて抽出された抽出音響信号を入力して、所定の積分時間にて積分を行い音響エネルギーを求めるとともに当該音響エネルギーが所定の設定レベル値を超えているか否かを判断するレベル検出手段と、
上記信号抽出手段にて抽出された抽出音響信号を入力して、上記レベル検出手段における積分時間よりも短い所定の積分時間にて積分を行い音響エネルギーを求めるとともに当該音響エネルギーが所定の設定ピーク値を超えているか否かを判断するピーク検出手段と、
上記信号抽出手段にて抽出された抽出音響信号を入力して、所定の積分時間にて積分を行い音響エネルギーを求めるとともに当該音響エネルギーが所定の設定レベル値を超えている場合に、さらに所定時間経過後に、再度、当該所定の設定レベル値を超えているか否かを判断するレベル継続検出手段と、
上記レベル検出手段およびピーク検出手段からの検出信号を入力して、レベル値およびピーク値のいずれかがそれぞれの設定値を超えている場合に、当該抽出音響信号の周波数スペクトルを演算するスペクトル演算手段と、
このスペクトル演算手段にて求められた周波数スペクトルを入力して、ニューラルネットワークにて音源の種類を特定する音源識別手段と、
この音源識別手段にて識別された識別信号を入力するとともに、上記ピーク検出手段およびレベル継続検出手段からの検出信号を入力して、これら各信号に基づき、突発事象であるか否かを判定する突発事象判定手段とを具備し、
さらに上記音源識別手段において、
上記スペクトル演算手段で求められた周波数スペクトルの合計面積に応じた分割パターンに基づきスペクトルデータ群を複数に分割して第一の分類番号を付すとともに、上記スペクトル演算手段で求められた周波数スペクトルのうち最大レベルを示す周波数スペクトルの周波数軸上での位置に応じた分割パターンに基づきスペクトルデータ群を複数に分割して第二の分類番号を付した後、最大レベルを示す周波数スペクトルが位置する両分類番号を求め、
この求められた両分類番号に応じて信号特定用パターンを選択し、この信号特定用パターンをスペクトル演算手段からの周波数スペクトルに適用して新たな周波数スペクトルを抽出した後、当該抽出された周波数スペクトル系列と予め求められたスペクトル系列とのパターンマッチングをニューラルネットワーク手法を用いて行うことにより、音源の種類を特定するようにしたものである。
【００１２】
さらに、本発明の突発事象自動記録装置は、上記突発事象検出装置を用いた突発事象自動記録装置であって、突発事象判定手段により突発事象であると判断された場合に、突発事象を撮影している撮影手段からの映像を、映像記録手段にて保存させる映像保存指示手段を具備させたものである。
【００１３】
上記突発事象検出装置および当該突発事象検出装置を用いた突発事象自動記録装置の構成によると、上記音源識別装置におけるニューラルネットワークにて特定された音源に対して、さらにレベル継続検出手段により、信号レベルが継続しているか否かの判断が加味されているので、音源が、予め、想定された突発事象に基づくものであるか否かを、正確に検出することができ、したがって自動的に突発事象の映像を記録する場合に、その検出精度を向上させることができる。すなわち、上記事故判定装置を、交通事故自動記録装置に適用した場合には、交通事故を、精度よく、映像にて記録することができる。
【００１４】
【発明の実施の形態】
以下、本発明の第１の実施の形態に係る音源識別装置および突発事象検出装置並びに突発事象自動記録装置を、図１〜図８に基づき説明する。
【００１５】
なお、本実施の形態においては、突発事象自動記録装置について説明するが、本発明に係る音源識別装置および突発事象検出装置については、当該突発事象自動記録装置にて使用されるものであり、この装置の構成の一部として説明する。
【００１６】
また、本実施の形態では、突発事象として交通事故を対象として説明するが、その音源の識別対象としては、衝突音などの他に、交通事故の検出に際し、重要な手掛かりとなるブレーキ、クラクション、サイレン、暴走音などの音源についても対象としており、したがって以下の説明では、これらを含めて事故音と称するとともに、交通事故以外の事象も含むため事故等と称し、さらに突発事象検出装置については事故検出装置と、また突発事象自動記録装置については交通事故自動記録装置として説明する。
【００１７】
図１に示すように、この交通事故自動記録装置１には、交通事故を監視する箇所、例えば交通事故が頻繁に発生する交差点Ｋに設置されるカメラ装置（撮影手段）２と、交差点Ｋ付近にて発生する音を検出するためのマイクロフォン（音響検出手段の一例で、以下、マイクという）３と、このマイク３にて検出された音響信号に基づき事故等を特定するための事故検出装置４と、この事故検出装置４にて事故等であると判断された場合に、カメラ装置１にて撮影された映像を記録する映像記録手段（例えば、ビデオ装置、ハードディスク装置などが用いられる）５とから構成されている。
【００１８】
上記事故検出装置４は、図２に示すように、上記マイク３にて集音された音響信号を入力して所定周波数帯域の信号を抽出する信号抽出手段１１と、この信号抽出手段１１にて抽出された抽出音響信号を入力して、所定の第１積分時間にて積分を行い音響エネルギー（積分値である、以下、同じ）を求め、且つ当該音響エネルギーが所定の第１設定レベル値を超えているか否かを判断するとともに、超えている場合には、所定の検出信号を出力するレベル検出手段１２と、上記信号抽出手段１１にて抽出された抽出音響信号を入力して、上記第１積分時間よりも短い所定の第２積分時間にて積分を行い音響エネルギーを求め、且つ当該音響エネルギーが所定の設定ピーク値を超えているか否かを判断するとともに、超えている場合には、所定の検出信号を出力するピーク検出手段１３と、上記信号抽出手段１１にて抽出された抽出音響信号を入力して、所定の第３積分時間にて積分を行い音響エネルギーを求め、且つ当該音響エネルギーが所定の設定レベル値を超えている場合に、さらに所定時間経過後に、再度、当該所定の設定レベル値を超えているか否かを判断するとともに、超えている場合には、所定の検出信号を出力するレベル継続検出手段１４と、上記レベル検出手段１２およびピーク検出手段１３からの少なくともいずれかの検出信号を入力した場合に、所定周波数領域を所定個数に分割するとともに、これら各分割周波数領域に係る音響信号の周波数スペクトル（以下、単にスペクトルといい、またスペクトラムともいう）をそれぞれ演算するスペクトル演算手段１５と、このスペクトル演算手段１５にて求められた各分割周波数領域でのスペクトルを入力して、ニューラルネットワーク（手法）を用いて音源を特定し識別を行う音源識別手段１６と、この音源識別手段１６にて識別された音源識別信号を入力するとともに、上記ピーク検出手段１３およびレベル継続検出手段１４からの検出信号をそれぞれ入力して、事故等であるか否かを判定する事故判定手段１７とが具備されている。
【００１９】
また、この交通事故自動記録装置１には、上記事故判定手段１７にて事故等であると判定された場合に、カメラ装置２にて撮影している映像を映像記録手段５に記録させるための保存指示を出力する映像保存指示手段１８が設けられている。
【００２０】
次に、上記各手段における構成または処理内容について詳しく説明する。
上記信号抽出手段１１では、周波数が例えば０〜２．５ｋＨｚの信号が取り出された後、０〜５００Ｈｚの部分が除去される。これは、交通事故および車両の走行に、すなわち事故等に起因して発生する事故音の範囲を絞るとともに、余分なエンジン音（０〜５００Ｈｚ）を除去するためである。
【００２１】
また、上記レベル検出手段１２は、信号抽出手段１１からの抽出音響信号を入力して、所定の第１積分時間（例えば、５００ｍｓｅｃ程度）にて積分を行い音響エネルギーを求める第１積分器２１と、この第１積分器２１にて求められた音響エネルギーと所定の第１設定レベル値とを比較して音響エネルギーが当該第１設定レベル値を超えている場合に、検出信号（トリガー信号である）として、例えば「１」の信号（なお、設定レベル値以下の場合には、「０」が出力されている）を出力する第１比較器２２とが具備されている。すなわち、このレベル検出手段１２では、音響信号を或る時間間隔で積分することにより、当該音響信号の大きさが、所定のレベルを超えているか否かが判断される。
【００２２】
上記ピーク検出手段１３は、信号抽出手段１１からの抽出音響信号を入力して、上記第１積分時間より短い第２積分時間（例えば、１００ｍｓｅｃ程度）にて積分を行い音響エネルギーを求める第２積分器２３と、この第２積分器２３にて求められた音響エネルギーと所定の第２設定レベル値とを比較して音響エネルギーのピーク値が当該第２設定レベル値（設定ピーク値でもある）を超えている場合に、検出信号（トリガー信号である）として、例えば「１」の信号（なお、設定レベル値以下の場合には、「０」が出力されている）を出力する第２比較器２４とが具備されている。すなわち、このピーク検出手段１３では、音響信号を短い時間でもって積分することにより、当該音響信号のピーク値が、所定のレベル（ピーク値）を超えているか否かが判断される。
【００２３】
上記レベル継続検出手段１４は、信号抽出手段１１からの抽出音響信号を入力して、所定の第３積分時間（例えば、レベル検出手段における第１積分時間と同じ時間とされる）にて積分を行い音響エネルギーを求める第３積分器２５と、この第３積分器２５にて求められた音響エネルギーと所定の第３設定レベル値（例えば、レベル検出手段における設定レベル値が用いられる）とを比較して音響エネルギーが当該第３設定レベル値を超えている場合に、所定時間後（例えば、３００ｍｓｅｃ）に、再度、同じ設定レベル値を超えているか否かを比較して超えている場合には、当該設定レベル値が継続（維持）されていると判断し、検出信号（トリガー信号である）として、例えば「１」の信号（なお、設定レベル値が継続されていない場合には、「０」が出力されている）を出力する第３比較器２６とが具備されている。
【００２４】
なお、図３に、上記各検出手段１２〜１４における各比較器２２，２４，２６での入力信号、出力信号および検出信号の波形図を示し、（ａ）はレベル検出手段１２での第１比較器２２のものを、（ｂ）はピーク検出手段１３での第２比較器２４のものを、（ｃ）はレベル継続検出手段１４での第３比較器２６のものをそれぞれ示し、また（ｄ）は、リセット信号を示す。
【００２５】
また、上記スペクトル演算手段１５では、レベル検出手段１２からの検出信号（「１」）およびピーク検出手段１３からの検出信号（「１」）のいずれかが入力されると、まず抽出音響信号がＡ／Ｄ変換器（図示せず）にてデジタル化された後、図４に示すように、所定周波数領域（４５０〜２５００Ｈｚ）を所定個数、例えば１０５個に分割した各分割周波数領域（バンクともいう）に係る音響信号の周波数スペクトル（周波数スペクトラムともいう）が、高速フーリエ変換（ＦＦＴ）にて求められる。
【００２６】
そして、上記音源識別手段１６にて、ニューラルネットワークが用いられて音源の種類が特定される。
以下、このニューラルネットワークを用いた処理内容について、詳しく説明する。
【００２７】
この音源識別手段１６では、周波数スペクトルを４段階にてそれぞれの分類方法（第１分類〜第４分類）に基づき且つニューラルネットワーク（手法）を用いて認識・分類作業が行われ、これらの分類作業にて得られた分類番号が、予め、実験などにより求められた分類表と照合されて、検出された音が、衝突音、タイヤと路面の摩擦音、クラクション、暴走音、サイレンを含めて多数の種類のいずれかに特定される。
【００２８】
ここで、上記分類作業の内容について説明する。第１分類（第１段階）では、１０５個に分割した各分割周波数領域（以下、バンクという）に係る音響信号の各周波数スペクトルを、その最大値でもって正規化を行った後、正規化が行われた１０５バンクにおける周波数スペクトルが最大ピーク（最大レベルといえる）のものを求める。
【００２９】
そして、この１０５バンクの分割周波数領域（スペクトルデータ群といえる）が、上記最大ピークが存在するバンク数（バンクの位置）に応じた分割パターンに、例えば１０個に分けられるとともに＃０〜＃９の分類番号が付された後、当該抽出音響信号に係るスペクトル系列（図４の棒状グラフにて示す）のうち、最大のレベルを有するスペクトルが、＃０〜＃９のいずれの部分に属するかが求められる。なお、１０５バンクの分割の仕方は、最大レベルのバンク位置に応じて予め求められている。具体的には、実際の交通音のサンプルデータ（５０００件）に基づき、例えば５０００件それぞれの各最大レベルのバンク位置を度数分布化し（横軸がバンク位置で、縦軸が件数となる）、それが等分になるように分割する。すなわち、最大レベルのバンク位置の度数分布が大きい部分は、分割幅が狭くされるとともに、最大レベルのバンク位置の度数分布が小さい部分は、分割幅が広くされる（場合によっては、等分でなくてもよく、また分割個数については、１０個でなくてもよい）。そして、例えばバンク番号が小さいものから大きいものへと分類番号が、＃０〜＃９というように付けられる。したがって、図４においては、８８バンク付近が最大のレベルを有しており、この８８バンクが属する分類番号が、例えば＃８というように割り当てられる。
【００３０】
そして、第２分類〜第４分類においては、音響信号の特徴部分をスペクトルに基づき抽出するとともに、この抽出されたスペクトル系列と、音源を特定するために、予め実験により求められたスペクトル系列とのパターンマッチング（パターン認識）を、ニューラルネットワーク（手法）を用いて行い、これら各分類作業にて得られた分類番号に基づき、最終的に、上述したように、実験などにより求められた分類表と照合されて、検出された音が、衝突音、タイヤと路面の摩擦音、クラクション、暴走音、サイレンを含めて多数の種類のいずれかに特定される。なお、これら各分類作業においては、その前段階作業にて得られた分類結果に基づき、データベースに多数用意された信号特定用パターンの中から、所定個数の一群（後述するが、例えば５個づつ）が選択抽出されて、パターン認識に使用される。
【００３１】
以下、第２分類作業〜第４分類作業について説明する。
第２分類作業では、まず、上記第１分類で求められた分類番号（例えば、＃８である）に基づき、５個のパターンがデータベースから取り出される。
【００３２】
そして、当該音響信号における１０５バンクのスペクトル系列のうち、最大スペクトルの５０％未満のデータを零となし（ゼロリセットともいう）、これを正規化したスペクトル系列（図５に示す）に対して、ニューラルネットワークを用いて、上記５個のパターンに、当該５個以外のパターン（用意されたパターン以外のもの）を示すパターンを加えた、計６個のパターンとパターンマッチングを行うことにより、分類番号が割り当てられる。
【００３３】
第３分類では、上記第２分類で求められた分類番号に基づき、やはり、５個のパターンがデータベースから取り出されるとともに、当該音響信号における１０５バンクのスペクトル系列のうち、最大スペクトルおよびその前後２バンクづつの合計５バンクのスペクトル部分をゼロとなし（ゼロリセット）、新たな１０５バンクのスペクトル系列を作成する。そして、新たに作成された１０５バンクのスペクトル系列のうち、最大スペクトルが或るしきい値以上のスペクトルに対しては、最大スペクトルの２５％未満をゼロとなし、それを正規化したスペクトル系列（図６に示す）に対してニューラルネットワークを用いて、上記５個のパターンに、当該５個以外のパターンを示すパターンおよびしきい値未満のパターン（しきい値未満についても、１個のパターンとみなす）を加えた、計７個のパターンとパターンマッチングを行うことにより、分類番号が割り当てられる。すなわち、この分類作業では、強さが一番大きいスペクトル部分が除去された残りのスペクトル系列に対する分類が行われることになる。
【００３４】
さらに、第４分類では、下記の２つの場合について分類が行われる。
勿論、この分類作業においても、第３分類作業にて得られた分類番号に基づき、データベースからパターンマッチングに使用されるパターンが５個取り出される。
【００３５】
▲１▼第３分類において、最大スペクトルがしきい値未満である場合。
第３分類にて作成された１０５バンクのスペクトル系列のうち、最大スペクトルの２５％未満のスペクトルをゼロとなし（ゼロリセット）、それを正規化したスペクトル系列に対して、ニューラルネットワークにより、上記５個のパターンに、当該５個以外のパターンを示すパターンを加えた、計６個のパターンとパターンマッチングを行うことにより、分類番号が割り当てられる。
【００３６】
▲２▼第３分類において、最大スペクトルが所定のしきい値以上である場合。
第３分類にて作成された１０５バンクのスペクトル系列に対し、最大スペクトルおよびその前後２バンクの計５バンクのスペクトルをゼロとなし（ゼロリセット）、新たな１０５バンクのスペクトル系列を作成する。
【００３７】
そして、この１０５バンクのスペクトル系列のうち、最大スペクトルが或るしきい値以上のスペクトルに対しては、最大スペクトルの１２．５％未満のスペクトルをゼロとなし、それを正規化したスペクトル系列（図７に示す）に対してニューラルネットワークによるパターン認識を行い、７個のパターン（この場合も、データベースから取り出された５パターンに、当該５個以外のパターンを示すパターンおよびしきい値未満のパターンを加えたもの）とパターンマッチングを行うことにより、分類番号が割り当てられる。この分類作業では、強さが二番目に大きいスペクトル部分が除去されたスペクトル系列に対する分類が行われることになる。なお、上記のニューラルネットワークによる分類作業の概念図を、図８に示す。
【００３８】
さらに、上記事故判定手段１７では、上記音源識別手段１６での分類結果、すなわち識別信号（ＮＴにて表す）および上記レベル継続検出手段１４からの検出信号（ＰＤにて表す）並びにピーク検出手段１３からの検出信号（ＰＴにて表す）を入力して、｛（ＮＴａｎｄＰＤ）ｏｒＰＴ｝の論理演算が行われ、その音源が事故等に起因するもの（事故音）であるか否かが判定される。なお、識別信号（ＮＴ）については、事故等に起因して発生する音である場合には「１」とされ、また検出信号（ＰＤ）についても、音が継続している場合には「１」に、検出信号（ＰＴ）についても、ピーク値が所定の強さ以上である場合には「１」とされる。
【００３９】
そして、上記論理演算式における論理積（ａｎｄ）の部分は、音が瞬間的なものでなく、事故等であれば、わずかな時間ではあるが継続する音であると考えられることから、検出信号（ＰＤ）との論理積をとるようにしたものであり、一方、事故等に起因する音であれば、そのピーク値がかなりの強さを有すると考えられるため、そのピーク値が設定レベル値（勿論、この値は実験などにより設定されている）より大きいものである場合には、事故等に起因するものと判断し得るように、上記論理積（ＮＴａｎｄＰＤ）に対して検出信号（ＰＴ）の論理和をとるようにしたものである。
【００４０】
したがって、この論理演算式によると、検出した音が、ニューラルネットワークにより、事故等に関係するものであり且つその音が少しの時間であるが継続している場合、または検出した音のピーク値が事故等に起因して発生するような強い（高い）ものである場合には、事故等に起因した音であると判定される。
【００４１】
この事故判定手段１７で事故等であると判定された場合には、映像保存指示手段１８にその旨の指示が出力されて、映像記録手段５にて、当該事故等の発生時の前後における映像が記録されて保存される。
【００４２】
そして、この映像保存指示手段１８による映像の保存指示時には、映像データのインデックスとして、上記事故判定手段１７で事故等であると判断された場合の事故内容（例えば、コード化したもの）が一緒に記録される。このインデックスにより、例えば衝突音、衝突音＋タイヤと路面の摩擦音、衝突音＋クラクション、タイヤと路面の摩擦音、クラクション、暴走音、サイレン、これら以外の音の識別が行われる。
【００４３】
ところで、上記各手段、積分器、比較器などについては、それぞれ電気信号回路により構成されており、特に、ニューラルネットワークにより演算が行われる音源識別手段１６には、演算処理部として例えばＣＰＵが具備されており、勿論、ニューラルネットワークには学習機能が具備されている。
【００４４】
次に、上記交通事故自動記録装置により、交通事故等を自動的に記録する際の処理手順を簡単に説明する。
例えば、交差点に配置された当該交通事故自動記録装置１のカメラ装置２およびマイク３が作動している状態において、マイク３により検出された音響信号が信号抽出手段１１にて所定周波数帯域でもって抽出され、この抽出音響信号が、レベル検出手段１２、ピーク検出手段１３およびレベル継続検出手段１４に入力されて、事故等であるか否かの予備判断が行われる。
【００４５】
そして、レベル検出手段１２およびピーク検出手段１３のうち、少なくもと、いずれかからの検出信号があった場合、抽出音響信号に対してＡ／Ｄ変換が行われた後、スペクトル演算手段１５にてスペクトルの演算が行われる。
【００４６】
この演算により求められたスペクトル系列が音源識別手段１６に入力されて、ここで、上述したニューラルネットワークを用いた分類方法にて、音源が識別されるとともに、この識別された音が事故等に結び付く可能性が高いもの（例えば、衝突音、衝突音＋タイヤと路面の摩擦音、衝突音＋クラクション、タイヤと路面の摩擦音、クラクション、暴走音、サイレンなどの音）である場合には、事故等を示す検出信号（ＮＴ）が出力される。
【００４７】
次に、上記事故等の検出信号（ＮＴ）、レベル継続検出手段１４からの継続を示す検出信号（ＰＤ）およびピーク検出手段１３からのピークの検出信号（ＰＴ）が事故判定手段１７に入力されて論理演算が行われ、事故等に起因する音であるか否かが判定される。
【００４８】
そして、事故判定手段１７にて、事故等であると判断された場合には、映像保存指示手段１８にその旨の指示信号が出力されて、その音が発生した前後において撮影された映像が映像記録手段５に記録されて保存される。勿論、この映像データの記録時には、その映像データに対するインデックスとして、音源識別手段１６にて特定された音源種別のコードデータが一緒に記録され、後からの映像データの検索の容易化が図られている。
【００４９】
なお、音源識別手段１６での１回の識別時間は、例えば３秒とされており、各検出手段１２〜１４において、検出信号（トリガー信号）が得られた場合には、この３秒が経過するまでは検出信号の出力が維持され、３秒経過後にリセット信号が出力される。
【００５０】
このように、上記交通事故自動記録装置１の構成、特にその音源識別手段１６の構成によると、エンジン音などのように、車両が通常に発している低周波数および人間が聞くことが困難な高い周波数を除去した抽出音響信号について、レベル検出手段１２にて音響信号のレベル値が設定レベル値を超えているか否かを検出するとともに、ピーク検出手段１３にて音響信号のピーク値が設定ピーク値を超えているか否かを検出し、少なくとも一方がそれぞれの設定値を超えている場合に、当該音響信号の周波数スペクトルを求めるとともに、ニューラルネットワークを用いて、その音源の種別を特定するようにしたので、音源の識別を、より正確に行うことができる。
【００５１】
また、この音源識別手段１６を用いた事故検出装置４の構成によると、ニューラルネットワークにて特定された音源に対して、さらにレベル継続検出手段１４にて音響信号のレベル継続時間が設定継続時間を超えているか否かの判断が加味されているので、事故等であるか否かの判断を、一層、正確に行うことができる。
【００５２】
したがって、この事故判定装置４を、交通事故自動記録装置１に適用した場合には、交通事故等を、精度よく、映像にて記録することができる。
交差点に設置して実験を行ったところ、従来の交通事故自動記録装置では、その検出精度が３０％程度であったのに対し、本実施の形態に係る交通事故自動記録装置では、その検出精度が８０％程度までに向上した。
【００５３】
次に、本発明の第２の実施の形態に係る音源識別装置および突発事象検出装置並びに突発事象自動記録装置について説明する。
上記第１の実施の形態においては、最初に、１０５バンクに分割された分割周波数領域を、最大レベルを有するスペクトルのバンク番号に応じて、予め、定められた分割パターンに応じて１０個に分割するようにしたが、本第２の実施の形態では、周波数スペクトルの合計面積に応じた分割パターンに基づき５個に分割し、この５個に分割されたパターンと上記第１の実施の形態と同様の分割の方法にて１０個に分割されたパターンとを併用するようにしたものである。
【００５４】
以下、本第２の実施の形態について説明するが、基本的な構成については、第１の実施の形態で説明したものと同じであるため、音源識別手段１６に着目して説明する。なお、構成については、同一番号を用いて簡単に説明するものとする。
【００５５】
音源識別手段１６では、周波数スペクトルを４段階にてそれぞれの分類方法（第１分類〜第４分類）に基づき且つニューラルネットワーク（手法）を用いて認識・分類作業が行われ、これらの分類作業にて得られた分類番号が、予め、実験などにより求められた分類表と照合されて、検出された音が、衝突音、タイヤと路面の摩擦音、クラクション、暴走音、サイレンを含めて多数の種類のいずれかに特定される。
【００５６】
ここで、上記分類作業の内容について説明する。
本第２の実施の形態では、第１分類において、分類基準が異なる２種類の分割パターンを併用して分類番号を求めるようにしたものである。
【００５７】
すなわち、第１分類（第１段階）では、１０５個に分割した各分割周波数領域（以下、バンクともいう）に係る音響信号の各周波数スペクトルを、その最大値でもって正規化を行った後、正規化が行われた１０５バンクにおける周波数スペクトルについて、合計面積が求められる。
【００５８】
そして、１０５バンクの分割周波数領域（スペクトルデータ群といえる）が、上記合計面積に応じて予め定められている分割パターンに基づき、例えば５個に分けられて、＃０〜＃４の分類番号が付される。ここでの分割の仕方は、実際の交通音のサンプルデータ（５０００件）に基づき、例えば５０００件それぞれの各合計面積値を度数分布化し（横軸がバンク位置で、縦軸が面積値となる）、それが等分になるように分割する。すなわち、合計面積値の度数分布の大きい部分は、分割幅が狭くされるとともに、合計面積値の度数分布が小さい部分は、分割幅が広くされる（場合によっては、等分でなくてもよく、また分割個数については、５個でなくてもよい）。例えば、第１の実施の形態にて説明した図４において、１０５バンクの周波数スペクトルの合計面積が２４１０であるとすると、この合計面積２４１０が属する分類番号（第一の分類番号であり、予め、合計面積値と分類番号とが対応付けられている）が、例えば＃３というように割り当てられる。
【００５９】
次に、第１の実施の形態と同様の方法（手順）にて、１０５バンクが例えば１０個に分けられて、＃０〜＃９の分類番号（第二の分類番号）が付される。そして、この第１分類における分類番号は上記２種類の番号が考慮されて決定される。例えば、合計面積値による５個の分割では＃３に、最大レベルのバンク位置による１０個の分割では＃９というように番号が割り当てられると、この第１分類による分類番号は、＃３９となる。
【００６０】
次に、第２分類〜第４分類においては、音響信号の特徴部分をスペクトルに基づき抽出するとともに、この抽出されたスペクトル系列と、音源を特定するために、予め実験により求められたスペクトル系列とのパターンマッチング（パターン認識）を、ニューラルネットワーク（手法）を用いて行い、これら各分類作業にて得られた分類番号に基づき、最終的に、上述したように、実験などにより求められた分類表と照合されて、検出された音が、衝突音、タイヤと路面の摩擦音、クラクション、暴走音、サイレンを含めて多数の種類のいずれかに特定される。なお、これら各分類作業においては、その前段階作業にて得られた分類結果に基づき、データベースに多数用意された信号特定用パターンの中から、所定個数の一群（後述するが、例えば５個づつ）が選択抽出されて、パターン認識に使用される。
【００６１】
以下、第２分類作業〜第４分類作業について説明する。
第２分類作業では、まず、上記第１分類で求められた分類番号（例えば、＃３９である）に基づき、５個のパターンがデータベースから取り出される。
【００６２】
そして、当該音響信号における１０５バンクのスペクトル系列のうち、最大スペクトルの５０％未満のデータを零となし（ゼロリセットともいう）、これを正規化したスペクトル系列に対して、ニューラルネットワークを用いて、上記５個のパターンに、当該５個以外のパターン（用意されたパターン以外のもの）を示すパターンを加えた、計６個のパターンとパターンマッチングを行うことにより、分類番号が割り当てられる。
【００６３】
第３分類では、上記第２分類で求められた分類番号に基づき、やはり、５個のパターンがデータベースから取り出されるとともに、当該音響信号における１０５バンクのスペクトル系列のうち、最大スペクトルおよびその前後２バンクづつの合計５バンクのスペクトル部分をゼロとなし（ゼロリセット）、新たな１０５バンクのスペクトル系列を作成する。そして、新たに作成された１０５バンクのスペクトル系列のうち、最大スペクトルが或るしきい値以上のスペクトルに対しては、最大スペクトルの２５％未満をゼロとなし、それを正規化したスペクトル系列に対してニューラルネットワークを用いて、上記５個のパターンに、当該５個以外のパターンを示すパターンおよびしきい値未満のパターン（しきい値未満についても、１個のパターンとみなす）を加えた、計７個のパターンとパターンマッチングを行うことにより、分類番号が割り当てられる。すなわち、この分類作業では、強さが一番大きいスペクトル部分が除去された残りのスペクトル系列に対する分類が行われることになる。
【００６４】
さらに、第４分類では、下記の２つの場合について分類が行われる。
勿論、この分類作業においても、第３分類作業にて得られた分類番号に基づき、データベースからパターンマッチングに使用されるパターンが５個取り出される。
【００６５】
▲１▼第３分類において、最大スペクトルがしきい値未満である場合。
第３分類にて作成された１０５バンクのスペクトル系列のうち、最大スペクトルの２５％未満のスペクトルをゼロとなし（ゼロリセット）、それを正規化したスペクトル系列に対して、ニューラルネットワークにより、上記５個のパターンに、当該５個以外のパターンを示すパターンを加えた、計６個のパターンとパターンマッチングを行うことにより、分類番号が割り当てられる。
【００６６】
▲２▼第３分類において、最大スペクトルが所定のしきい値以上である場合。
第３分類にて作成された１０５バンクのスペクトル系列に対し、最大スペクトルおよびその前後２バンクの計５バンクのスペクトルをゼロとなし（ゼロリセット）、新たな１０５バンクのスペクトル系列を作成する。
【００６７】
そして、この１０５バンクのスペクトル系列のうち、最大スペクトルが或るしきい値以上のスペクトルに対しては、最大スペクトルの１２．５％未満のスペクトルをゼロとなし、それを正規化したスペクトル系列に対してニューラルネットワークによるパターン認識を行い、７個のパターン（この場合も、データベースから取り出された５パターンに、当該５個以外のパターンを示すパターンおよびしきい値未満のパターンを加えたもの）とパターンマッチングを行うことにより、分類番号が割り当てられる。この分類作業では、強さが二番目に大きいスペクトル部分が除去されたスペクトル系列に対する分類が行われることになる。
【００６８】
なお、この後の作業について説明すると、上述した第１の実施の形態と同様に、上記事故判定手段１７では、上記音源識別手段１６での分類結果、すなわち識別信号（ＮＴにて表す）および上記レベル継続検出手段１４からの検出信号（ＰＤにて表す）並びにピーク検出手段１３からの検出信号（ＰＴにて表す）を入力して、｛（ＮＴａｎｄＰＤ）ｏｒＰＴ｝の論理演算が行われ、その音源が事故等に起因するもの（事故音）であるか否かが判定される。なお、識別信号（ＮＴ）については、事故等に起因して発生する音である場合には「１」とされ、また検出信号（ＰＤ）についても、音が継続している場合には「１」に、検出信号（ＰＴ）についても、ピーク値が所定の強さ以上である場合には「１」とされる。
【００６９】
そして、上記論理演算式における論理積（ａｎｄ）の部分は、音が瞬間的なものでなく、事故等であれば、わずかな時間ではあるが継続する音であると考えられることから、検出信号（ＰＤ）との論理積をとるようにしたものであり、一方、事故等に起因する音であれば、そのピーク値がかなりの強さを有すると考えられるため、そのピーク値が設定レベル値（勿論、この値は実験などにより設定されている）より大きいものである場合には、事故等に起因するものと判断し得るように、上記論理積（ＮＴａｎｄＰＤ）に対して検出信号（ＰＴ）の論理和をとるようにしたものである。
【００７０】
したがって、この論理演算式によると、検出した音が、ニューラルネットワークにより、事故等に関係するものであり且つその音が少しの時間であるが継続している場合、または検出した音のピーク値が事故等に起因して発生するような強い（高い）ものである場合には、事故等に起因した音であると判定される。
【００７１】
この事故判定手段１７で事故等であると判定された場合には、映像保存指示手段１８にその旨の指示が出力されて、映像記録手段５にて、当該事故等の発生時の前後における映像が記録されて保存される。
【００７２】
そして、この映像保存指示手段１８による映像の保存指示時には、映像データのインデックスとして、上記事故判定手段１７で事故等であると判断された場合の事故内容（例えば、コード化したもの）が一緒に記録される。このインデックスにより、例えば衝突音、衝突音＋タイヤと路面の摩擦音、衝突音＋クラクション、タイヤと路面の摩擦音、クラクション、暴走音、サイレン、これら以外の音の識別が行われる。
【００７３】
この第２の実施の形態に係る音源識別装置においても、第１の実施の形態と同様に音源の識別をより正確に行うことができるが、第１分類の過程を設けているため、さらなる正確さでもって音源の識別を行うことができる。
【００７４】
ところで、上記第２の実施の形態においては、第１分類〜第４分類というように、４段階でもって分類を行うものとして説明したが、例えば第２の実施の形態にて説明した第１分類〜第３分類を用いて、音源の識別を行うようにしてもよい。勿論、この場合も、第１の実施の形態と同様に、音源の識別を正確に行うことができる。
【００７５】
【発明の効果】
以上のように本発明の音源識別装置の構成によると、音響検出手段にて検出された音響信号について、レベル検出手段およびピーク検出手段にて、少なくともいずれかの検出信号が検出された場合に、当該音響信号の周波数スペクトルを求めるとともに、ニューラルネットワークを用いてその音源の種別を特定するようにしたので、すなわちニューラルネットワークにて音源の種別を特定する際に、予備判断を行うようにしたので、音源を、より正確に識別することができる。
【００７６】
また、本発明の突発事象検出装置および当該突発事象検出装置を用いた突発事象自動記録装置の構成によると、上記音源識別装置におけるニューラルネットワークにて特定された音源に対して、さらにレベル継続検出手段により、信号レベルが継続しているか否かの判断が加味されているので、音源が、予め、想定された突発事象に基づくものであるか否かを、一層、正確に検出することができ、したがって自動的に突発事象の映像を記録する場合に、その検出精度を向上させることができる。例えば、上記事故判定装置を、交通事故自動記録装置に適用した場合には、交通事故を、精度よく、映像にて記録することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態における交通事故自動記録装置の概略全体構成を示す図である。
【図２】同交通事故自動記録装置における事故判定装置の概略構成を示すブロック図である。
【図３】同事故判定装置における判断予備信号検出手段での検出信号を示すグラフである。
【図４】同音源識別手段における第１分類作業に係る音響信号のスペクトル演算結果を示すグラフである。
【図５】同音源識別手段における第２分類作業の結果のスペクトル分布を示すグラフである。
【図６】同音源識別手段における第３分類作業の結果のスペクトル分布を示すグラフである。
【図７】同音源識別手段における第４分類作業の結果のスペクトル分布を示すグラフである。
【図８】同事故判定装置の音源識別手段におけるニューラルネットワークによる分類作業の概念図である。
【符号の説明】
１ 突発事象自動記録装置
２ カメラ装置
３ マイクロフォン
４ 突発事象検出装置
５ 映像記録手段
１１ 信号抽出手段
１２ レベル検出手段
１３ ピーク検出手段
１４ レベル継続検出手段
１５ スペクトル演算手段
１６ 音源識別手段
１７ 事故判定手段
１８ 映像保存指令手段
２１ 第１積分器
２２ 第１比較器
２３ 第２積分器
２４ 第２比較器
２５ 第３積分器
２６ 第３比較器
Claims (3)
- 音響検出手段にて検出された音響信号から所定周波数帯域の信号を抽出する信号抽出手段と、
上記信号抽出手段にて抽出された抽出音響信号を入力して、所定の積分時間にて積分を行い音響エネルギーを求めるとともに当該音響エネルギーが所定の設定レベル値を超えているか否かを判断するレベル検出手段と、
上記信号抽出手段にて抽出された抽出音響信号を入力して、上記レベル検出手段における積分時間よりも短い所定の積分時間にて積分を行い音響エネルギーを求めるとともに当該音響エネルギーが所定の設定ピーク値を超えているか否かを検出するピーク検出手段と、
上記レベル検出手段およびピーク検出手段からの検出信号を入力して、レベル値およびピーク値のいずれかがそれぞれの設定値を超えている場合に、当該抽出音響信号の周波数スペクトルを演算するスペクトル演算手段と、
このスペクトル演算手段にて求められた周波数スペクトルを入力して、ニューラルネットワークにて音源の種類を特定する音源識別手段とを具備し、
さらに上記音源識別手段において、
最大レベルを示す周波数スペクトルの周波数軸上での位置に応じた分割パターンに基づきスペクトルデータ群を複数に分割して分類するとともに、最大レベルを示す周波数スペクトルが位置する分類番号を求め、この求められた分類番号に応じて信号特定用パターンを選択し、この信号特定用パターンをスペクトル演算手段からの周波数スペクトルに適用して新たな周波数スペクトルを抽出した後、当該抽出された周波数スペクトル系列と予め求められたスペクトル系列とのパターンマッチングをニューラルネットワーク手法を用いて行うことにより、音源の種類を特定するようにしたことを特徴とする音源識別装置。 - 音響検出手段にて検出された音響信号から所定周波数帯域の信号を抽出する信号抽出手段と、
上記信号抽出手段にて抽出された抽出音響信号を入力して、所定の積分時間にて積分を行い音響エネルギーを求めるとともに当該音響エネルギーが所定の設定レベル値を超えているか否かを判断するレベル検出手段と、
上記信号抽出手段にて抽出された抽出音響信号を入力して、上記レベル検出手段における積分時間よりも短い所定の積分時間にて積分を行い音響エネルギーを求めるとともに当該音響エネルギーが所定の設定ピーク値を超えているか否かを判断するピーク検出手段と、
上記信号抽出手段にて抽出された抽出音響信号を入力して、所定の積分時間にて積分を行い音響エネルギーを求めるとともに当該音響エネルギーが所定の設定レベル値を超えている場合に、さらに所定時間経過後に、再度、当該所定の設定レベル値を超えているか否かを判断するレベル継続検出手段と、
上記レベル検出手段およびピーク検出手段からの検出信号を入力して、レベル値およびピーク値のいずれかがそれぞれの設定値を超えている場合に、当該抽出音響信号の周波数スペクトルを演算するスペクトル演算手段と、
このスペクトル演算手段にて求められた周波数スペクトルを入力して、ニューラルネットワークにて音源の種類を特定する音源識別手段と、
この音源識別手段にて識別された識別信号を入力するとともに、上記ピーク検出手段およびレベル継続検出手段からの検出信号を入力して、これら各信号に基づき、突発事象であるか否かを判定する突発事象判定手段とを具備し、
さらに上記音源識別手段において、
上記スペクトル演算手段で求められた周波数スペクトルの合計面積に応じた分割パターンに基づきスペクトルデータ群を複数に分割して第一の分類番号を付すとともに、上記スペクトル演算手段で求められた周波数スペクトルのうち最大レベルを示す周波数スペクト ルの周波数軸上での位置に応じた分割パターンに基づきスペクトルデータ群を複数に分割して第二の分類番号を付した後、最大レベルを示す周波数スペクトルが位置する両分類番号を求め、
この求められた両分類番号に応じて信号特定用パターンを選択し、この信号特定用パターンをスペクトル演算手段からの周波数スペクトルに適用して新たな周波数スペクトルを抽出した後、当該抽出された周波数スペクトル系列と予め求められたスペクトル系列とのパターンマッチングをニューラルネットワーク手法を用いて行うことにより、音源の種類を特定するようにしたことを特徴とする突発事象検出装置。 - 請求項２記載の突発事象検出装置を用いた突発事象自動記録装置であって、
突発事象判定手段により突発事象であると判断された場合に、突発事象を撮影している撮影手段からの映像を、映像記録手段にて保存させる映像保存指示手段を具備させたことを特徴とする突発事象自動記録装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002309074A JP4046592B2 (ja) | 2001-10-25 | 2002-10-24 | 音源識別装置および突発事象検出装置並びに突発事象自動記録装置 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001-327045 | 2001-10-25 | ||
| JP2001327045 | 2001-10-25 | ||
| JP2002309074A JP4046592B2 (ja) | 2001-10-25 | 2002-10-24 | 音源識別装置および突発事象検出装置並びに突発事象自動記録装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003202260A JP2003202260A (ja) | 2003-07-18 |
| JP4046592B2 true JP4046592B2 (ja) | 2008-02-13 |
Family
ID=27666468
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002309074A Expired - Fee Related JP4046592B2 (ja) | 2001-10-25 | 2002-10-24 | 音源識別装置および突発事象検出装置並びに突発事象自動記録装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4046592B2 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10832699B1 (en) | 2019-12-05 | 2020-11-10 | Toyota Motor North America, Inc. | Impact media sharing |
| US11107355B2 (en) | 2019-12-05 | 2021-08-31 | Toyota Motor North America, Inc. | Transport dangerous driving reporting |
| US11308800B2 (en) | 2019-12-05 | 2022-04-19 | Toyota Motor North America, Inc. | Transport impact reporting based on sound levels |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4242422B2 (ja) * | 2004-03-31 | 2009-03-25 | 日立造船株式会社 | 突発事象の記録・解析システム |
| JP4945222B2 (ja) * | 2006-11-28 | 2012-06-06 | 日立オートモティブシステムズ株式会社 | 突発事象解消判定システム |
| JP2010287190A (ja) * | 2009-06-15 | 2010-12-24 | Fujitsu Ten Ltd | 運転情報記録装置および運転情報処理プログラム |
| JP6281273B2 (ja) * | 2013-12-16 | 2018-02-21 | 富士通株式会社 | 音響装置の検査装置及び音響装置の検査方法並びに音響装置の検査プログラム |
| JP6577260B2 (ja) * | 2015-06-23 | 2019-09-18 | 株式会社東芝 | 情報処理装置および事象検出方法 |
| JP2020027569A (ja) * | 2018-08-17 | 2020-02-20 | 国立大学法人滋賀医科大学 | 生体音診断装置 |
-
2002
- 2002-10-24 JP JP2002309074A patent/JP4046592B2/ja not_active Expired - Fee Related
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10832699B1 (en) | 2019-12-05 | 2020-11-10 | Toyota Motor North America, Inc. | Impact media sharing |
| US11107355B2 (en) | 2019-12-05 | 2021-08-31 | Toyota Motor North America, Inc. | Transport dangerous driving reporting |
| US11308800B2 (en) | 2019-12-05 | 2022-04-19 | Toyota Motor North America, Inc. | Transport impact reporting based on sound levels |
| US11328737B2 (en) | 2019-12-05 | 2022-05-10 | Toyota Motor North America, Inc. | Impact media sharing |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003202260A (ja) | 2003-07-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4242422B2 (ja) | 突発事象の記録・解析システム | |
| JP3069529B2 (ja) | 事故音検出回路 | |
| JP4046592B2 (ja) | 音源識別装置および突発事象検出装置並びに突発事象自動記録装置 | |
| AU2013223662B2 (en) | Modified mel filter bank structure using spectral characteristics for sound analysis | |
| Zinemanas et al. | MAVD: a dataset for sound event detection in urban environments | |
| KR100733145B1 (ko) | 정규화된 스펙트럼 부밴드 중심점에 기반한 핑거프린트생성 방법 및 오디오 핑거프린팅 시스템 | |
| KR102066718B1 (ko) | 음향기반 터널 사고 검지 시스템 | |
| CN108877814B (zh) | 窨井盖盗损检测方法、智能终端及计算机可读存储介质 | |
| CN112529177A (zh) | 一种车辆碰撞检测方法及装置 | |
| EP2028651A1 (en) | Method and apparatus for detection of specific input signal contributions | |
| Mato-Méndez et al. | Blind separation to improve classification of traffic noise | |
| Bhave et al. | Vehicle engine sound analysis applied to traffic congestion estimation | |
| Lee et al. | Acoustic hazard detection for pedestrians with obscured hearing | |
| KR20120103286A (ko) | 오디오 신호를 이용하여 차량에 대한 관심 대상 이벤트를 감지하기 위한 방법 및 장치 | |
| JP3164100B2 (ja) | 交通音源種別識別装置 | |
| CN111370000A (zh) | 声纹识别算法评估方法、***、移动终端及存储介质 | |
| Astapov et al. | A hierarchical algorithm for moving vehicle identification based on acoustic noise analysis | |
| Hashimoto et al. | Detection of car abnormal vibration using machine learning | |
| KR100262564B1 (ko) | 차량용 음성 인식 장치 | |
| Parineh et al. | Detecting emergency vehicles With 1D-CNN using fourier processed audio signals | |
| Shariff et al. | Wet Road Detection Using CNN with Transfer Learning | |
| CN113247730B (zh) | 基于多维特征的电梯乘客尖叫检测方法及*** | |
| CN113593251B (zh) | 一种炸街车快速筛选方法及*** | |
| JPH02162495A (ja) | 雪崩検知装置 | |
| CN117520853A (zh) | 基于多维信息融合的行人主观意图判断方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040930 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060206 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070731 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071001 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071023 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071120 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101130 Year of fee payment: 3 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 4046592 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111130 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111130 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121130 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131130 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |