JP4046592B2 - 音源識別装置および突発事象検出装置並びに突発事象自動記録装置 - Google Patents
音源識別装置および突発事象検出装置並びに突発事象自動記録装置 Download PDFInfo
- Publication number
- JP4046592B2 JP4046592B2 JP2002309074A JP2002309074A JP4046592B2 JP 4046592 B2 JP4046592 B2 JP 4046592B2 JP 2002309074 A JP2002309074 A JP 2002309074A JP 2002309074 A JP2002309074 A JP 2002309074A JP 4046592 B2 JP4046592 B2 JP 4046592B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- spectrum
- extracted
- sound source
- level
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
- Traffic Control Systems (AREA)
Description
【発明の属する技術分野】
本発明は、交差点などに設置されて交通事故等の突発事象に起因する音を検出するとともに、この交通事故等を自動的に撮影して記録するための音源識別装置および突発事象検出装置並びに突発事象自動記録装置に関するものである。
【0002】
【従来の技術】
近年、交通事故は増加の一途を辿り、交通事故の発生数を減らすことが急務とされ、このため、交差点などに交通事故自動記録装置を設置し、事故前後の状況を映像にて記録することにより、事故分析が行われている。
【0003】
この種の交通事故自動記録装置は、カメラ装置にて交差点を撮影するとともに、交通事故に基づく衝突音、急ブレーキ音などを検出した際に、その前後における映像を、自動的に保存するものである。
【0004】
ところで、交差点などにおいては、事故以外の音が多数発生しており、交通事故の映像を保存するためには、検出した音が交通事故に起因しているものであるか否かを判断する必要がある。
【0005】
従来、音を分析する場合、音圧解析とスペクトル解析とが併用して行われており、例えば音圧解析については、時系列の音圧分布にて、或るしきい値を超えた場合に、車両の衝突による衝撃音が発生したと判断されていた。すなわち、音響信号のスペクトル分布から、衝撃音と判断されていた(例えば、特開平4−338900号公報参照)。
【0006】
【特許文献1】
特開平4−338900号公報(第3頁の[0022]〜[0023]欄)
【0007】
【発明が解決しようとする課題】
ところで、上述した音源の判断方法によると、大型トラックの荷台の振動音、道路工事の音、カラスの鳴き声などは、事故音と区別するのが難しく、したがって自動的に記録された映像を再生した場合、単に、大型トラックが通過しただけというように、事故とは関係のない映像が多く記録されており、その検出精度が低いという問題があった。
【0008】
そこで、本発明は、音による交通事故等の突発事象の検出精度を向上させ得る音源識別装置および突発事象検出装置並びに突発事象自動記録装置を提供することを目的とする。
【0009】
【課題を解決するための手段】
上記課題を解決するために、本発明の音源識別装置は、音響検出手段にて検出された音響信号から所定周波数帯域の信号を抽出する信号抽出手段と、
上記信号抽出手段にて抽出された抽出音響信号を入力して、所定の積分時間にて積分を行い音響エネルギーを求めるとともに当該音響エネルギーが所定の設定レベル値を超えているか否かを判断するレベル検出手段と、
上記信号抽出手段にて抽出された抽出音響信号を入力して、上記レベル検出手段における積分時間よりも短い所定の積分時間にて積分を行い音響エネルギーを求めるとともに当該音響エネルギーが所定の設定ピーク値を超えているか否かを検出するピーク検出手段と、
上記レベル検出手段およびピーク検出手段からの検出信号を入力して、レベル値およびピーク値のいずれかがそれぞれの設定値を超えている場合に、当該抽出音響信号の周波数スペクトルを演算するスペクトル演算手段と、
このスペクトル演算手段にて求められた周波数スペクトルを入力して、ニューラルネットワークにて音源の種類を特定する音源識別手段とを具備し、
さらに上記音源識別手段において、
最大レベルを示す周波数スペクトルの周波数軸上での位置に応じた分割パターンに基づきスペクトルデータ群を複数に分割して分類するとともに、最大レベルを示す周波数スペクトルが位置する分類番号を求め、この求められた分類番号に応じて信号特定用パターンを選択し、この信号特定用パターンをスペクトル演算手段からの周波数スペクトルに適用して新たな周波数スペクトルを抽出した後、当該抽出された周波数スペクトル系列と予め求められたスペクトル系列とのパターンマッチングをニューラルネットワーク手法を用いて行うことにより、音源の種類を特定するようにしたものである。
【0010】
上記音源識別装置の構成によると、音響検出手段にて検出された音響信号について、レベル検出手段およびピーク検出手段にて、少なくともいずれかの検出信号が検出された場合に、当該音響信号の周波数スペクトルを求めるとともに、ニューラルネットワークを用いてその音源の種別を特定するようにしたので、すなわちニューラルネットワークにて音源の種別を特定する際に、予備判断を行うようにしたので、音源を、正確に識別することができる。
【0011】
また、本発明の突発事象検出装置は、音響検出手段にて検出された音響信号から所定周波数帯域の信号を抽出する信号抽出手段と、
上記信号抽出手段にて抽出された抽出音響信号を入力して、所定の積分時間にて積分を行い音響エネルギーを求めるとともに当該音響エネルギーが所定の設定レベル値を超えているか否かを判断するレベル検出手段と、
上記信号抽出手段にて抽出された抽出音響信号を入力して、上記レベル検出手段における積分時間よりも短い所定の積分時間にて積分を行い音響エネルギーを求めるとともに当該音響エネルギーが所定の設定ピーク値を超えているか否かを判断するピーク検出手段と、
上記信号抽出手段にて抽出された抽出音響信号を入力して、所定の積分時間にて積分を行い音響エネルギーを求めるとともに当該音響エネルギーが所定の設定レベル値を超えている場合に、さらに所定時間経過後に、再度、当該所定の設定レベル値を超えているか否かを判断するレベル継続検出手段と、
上記レベル検出手段およびピーク検出手段からの検出信号を入力して、レベル値およびピーク値のいずれかがそれぞれの設定値を超えている場合に、当該抽出音響信号の周波数スペクトルを演算するスペクトル演算手段と、
このスペクトル演算手段にて求められた周波数スペクトルを入力して、ニューラルネットワークにて音源の種類を特定する音源識別手段と、
この音源識別手段にて識別された識別信号を入力するとともに、上記ピーク検出手段およびレベル継続検出手段からの検出信号を入力して、これら各信号に基づき、突発事象であるか否かを判定する突発事象判定手段とを具備し、
さらに上記音源識別手段において、
上記スペクトル演算手段で求められた周波数スペクトルの合計面積に応じた分割パターンに基づきスペクトルデータ群を複数に分割して第一の分類番号を付すとともに、上記スペクトル演算手段で求められた周波数スペクトルのうち最大レベルを示す周波数スペクトルの周波数軸上での位置に応じた分割パターンに基づきスペクトルデータ群を複数に分割して第二の分類番号を付した後、最大レベルを示す周波数スペクトルが位置する両分類番号を求め、
この求められた両分類番号に応じて信号特定用パターンを選択し、この信号特定用パターンをスペクトル演算手段からの周波数スペクトルに適用して新たな周波数スペクトルを抽出した後、当該抽出された周波数スペクトル系列と予め求められたスペクトル系列とのパターンマッチングをニューラルネットワーク手法を用いて行うことにより、音源の種類を特定するようにしたものである。
【0012】
さらに、本発明の突発事象自動記録装置は、上記突発事象検出装置を用いた突発事象自動記録装置であって、突発事象判定手段により突発事象であると判断された場合に、突発事象を撮影している撮影手段からの映像を、映像記録手段にて保存させる映像保存指示手段を具備させたものである。
【0013】
上記突発事象検出装置および当該突発事象検出装置を用いた突発事象自動記録装置の構成によると、上記音源識別装置におけるニューラルネットワークにて特定された音源に対して、さらにレベル継続検出手段により、信号レベルが継続しているか否かの判断が加味されているので、音源が、予め、想定された突発事象に基づくものであるか否かを、正確に検出することができ、したがって自動的に突発事象の映像を記録する場合に、その検出精度を向上させることができる。すなわち、上記事故判定装置を、交通事故自動記録装置に適用した場合には、交通事故を、精度よく、映像にて記録することができる。
【0014】
【発明の実施の形態】
以下、本発明の第1の実施の形態に係る音源識別装置および突発事象検出装置並びに突発事象自動記録装置を、図1〜図8に基づき説明する。
【0015】
なお、本実施の形態においては、突発事象自動記録装置について説明するが、本発明に係る音源識別装置および突発事象検出装置については、当該突発事象自動記録装置にて使用されるものであり、この装置の構成の一部として説明する。
【0016】
また、本実施の形態では、突発事象として交通事故を対象として説明するが、その音源の識別対象としては、衝突音などの他に、交通事故の検出に際し、重要な手掛かりとなるブレーキ、クラクション、サイレン、暴走音などの音源についても対象としており、したがって以下の説明では、これらを含めて事故音と称するとともに、交通事故以外の事象も含むため事故等と称し、さらに突発事象検出装置については事故検出装置と、また突発事象自動記録装置については交通事故自動記録装置として説明する。
【0017】
図1に示すように、この交通事故自動記録装置1には、交通事故を監視する箇所、例えば交通事故が頻繁に発生する交差点Kに設置されるカメラ装置(撮影手段)2と、交差点K付近にて発生する音を検出するためのマイクロフォン(音響検出手段の一例で、以下、マイクという)3と、このマイク3にて検出された音響信号に基づき事故等を特定するための事故検出装置4と、この事故検出装置4にて事故等であると判断された場合に、カメラ装置1にて撮影された映像を記録する映像記録手段(例えば、ビデオ装置、ハードディスク装置などが用いられる)5とから構成されている。
【0018】
上記事故検出装置4は、図2に示すように、上記マイク3にて集音された音響信号を入力して所定周波数帯域の信号を抽出する信号抽出手段11と、この信号抽出手段11にて抽出された抽出音響信号を入力して、所定の第1積分時間にて積分を行い音響エネルギー(積分値である、以下、同じ)を求め、且つ当該音響エネルギーが所定の第1設定レベル値を超えているか否かを判断するとともに、超えている場合には、所定の検出信号を出力するレベル検出手段12と、上記信号抽出手段11にて抽出された抽出音響信号を入力して、上記第1積分時間よりも短い所定の第2積分時間にて積分を行い音響エネルギーを求め、且つ当該音響エネルギーが所定の設定ピーク値を超えているか否かを判断するとともに、超えている場合には、所定の検出信号を出力するピーク検出手段13と、上記信号抽出手段11にて抽出された抽出音響信号を入力して、所定の第3積分時間にて積分を行い音響エネルギーを求め、且つ当該音響エネルギーが所定の設定レベル値を超えている場合に、さらに所定時間経過後に、再度、当該所定の設定レベル値を超えているか否かを判断するとともに、超えている場合には、所定の検出信号を出力するレベル継続検出手段14と、上記レベル検出手段12およびピーク検出手段13からの少なくともいずれかの検出信号を入力した場合に、所定周波数領域を所定個数に分割するとともに、これら各分割周波数領域に係る音響信号の周波数スペクトル(以下、単にスペクトルといい、またスペクトラムともいう)をそれぞれ演算するスペクトル演算手段15と、このスペクトル演算手段15にて求められた各分割周波数領域でのスペクトルを入力して、ニューラルネットワーク(手法)を用いて音源を特定し識別を行う音源識別手段16と、この音源識別手段16にて識別された音源識別信号を入力するとともに、上記ピーク検出手段13およびレベル継続検出手段14からの検出信号をそれぞれ入力して、事故等であるか否かを判定する事故判定手段17とが具備されている。
【0019】
また、この交通事故自動記録装置1には、上記事故判定手段17にて事故等であると判定された場合に、カメラ装置2にて撮影している映像を映像記録手段5に記録させるための保存指示を出力する映像保存指示手段18が設けられている。
【0020】
次に、上記各手段における構成または処理内容について詳しく説明する。
上記信号抽出手段11では、周波数が例えば0〜2.5kHzの信号が取り出された後、0〜500Hzの部分が除去される。これは、交通事故および車両の走行に、すなわち事故等に起因して発生する事故音の範囲を絞るとともに、余分なエンジン音(0〜500Hz)を除去するためである。
【0021】
また、上記レベル検出手段12は、信号抽出手段11からの抽出音響信号を入力して、所定の第1積分時間(例えば、500msec程度)にて積分を行い音響エネルギーを求める第1積分器21と、この第1積分器21にて求められた音響エネルギーと所定の第1設定レベル値とを比較して音響エネルギーが当該第1設定レベル値を超えている場合に、検出信号(トリガー信号である)として、例えば「1」の信号(なお、設定レベル値以下の場合には、「0」が出力されている)を出力する第1比較器22とが具備されている。すなわち、このレベル検出手段12では、音響信号を或る時間間隔で積分することにより、当該音響信号の大きさが、所定のレベルを超えているか否かが判断される。
【0022】
上記ピーク検出手段13は、信号抽出手段11からの抽出音響信号を入力して、上記第1積分時間より短い第2積分時間(例えば、100msec程度)にて積分を行い音響エネルギーを求める第2積分器23と、この第2積分器23にて求められた音響エネルギーと所定の第2設定レベル値とを比較して音響エネルギーのピーク値が当該第2設定レベル値(設定ピーク値でもある)を超えている場合に、検出信号(トリガー信号である)として、例えば「1」の信号(なお、設定レベル値以下の場合には、「0」が出力されている)を出力する第2比較器24とが具備されている。すなわち、このピーク検出手段13では、音響信号を短い時間でもって積分することにより、当該音響信号のピーク値が、所定のレベル(ピーク値)を超えているか否かが判断される。
【0023】
上記レベル継続検出手段14は、信号抽出手段11からの抽出音響信号を入力して、所定の第3積分時間(例えば、レベル検出手段における第1積分時間と同じ時間とされる)にて積分を行い音響エネルギーを求める第3積分器25と、この第3積分器25にて求められた音響エネルギーと所定の第3設定レベル値(例えば、レベル検出手段における設定レベル値が用いられる)とを比較して音響エネルギーが当該第3設定レベル値を超えている場合に、所定時間後(例えば、300msec)に、再度、同じ設定レベル値を超えているか否かを比較して超えている場合には、当該設定レベル値が継続(維持)されていると判断し、検出信号(トリガー信号である)として、例えば「1」の信号(なお、設定レベル値が継続されていない場合には、「0」が出力されている)を出力する第3比較器26とが具備されている。
【0024】
なお、図3に、上記各検出手段12〜14における各比較器22,24,26での入力信号、出力信号および検出信号の波形図を示し、(a)はレベル検出手段12での第1比較器22のものを、(b)はピーク検出手段13での第2比較器24のものを、(c)はレベル継続検出手段14での第3比較器26のものをそれぞれ示し、また(d)は、リセット信号を示す。
【0025】
また、上記スペクトル演算手段15では、レベル検出手段12からの検出信号(「1」)およびピーク検出手段13からの検出信号(「1」)のいずれかが入力されると、まず抽出音響信号がA/D変換器(図示せず)にてデジタル化された後、図4に示すように、所定周波数領域(450〜2500Hz)を所定個数、例えば105個に分割した各分割周波数領域(バンクともいう)に係る音響信号の周波数スペクトル(周波数スペクトラムともいう)が、高速フーリエ変換(FFT)にて求められる。
【0026】
そして、上記音源識別手段16にて、ニューラルネットワークが用いられて音源の種類が特定される。
以下、このニューラルネットワークを用いた処理内容について、詳しく説明する。
【0027】
この音源識別手段16では、周波数スペクトルを4段階にてそれぞれの分類方法(第1分類〜第4分類)に基づき且つニューラルネットワーク(手法)を用いて認識・分類作業が行われ、これらの分類作業にて得られた分類番号が、予め、実験などにより求められた分類表と照合されて、検出された音が、衝突音、タイヤと路面の摩擦音、クラクション、暴走音、サイレンを含めて多数の種類のいずれかに特定される。
【0028】
ここで、上記分類作業の内容について説明する。第1分類(第1段階)では、105個に分割した各分割周波数領域(以下、バンクという)に係る音響信号の各周波数スペクトルを、その最大値でもって正規化を行った後、正規化が行われた105バンクにおける周波数スペクトルが最大ピーク(最大レベルといえる)のものを求める。
【0029】
そして、この105バンクの分割周波数領域(スペクトルデータ群といえる)が、上記最大ピークが存在するバンク数(バンクの位置)に応じた分割パターンに、例えば10個に分けられるとともに#0〜#9の分類番号が付された後、当該抽出音響信号に係るスペクトル系列(図4の棒状グラフにて示す)のうち、最大のレベルを有するスペクトルが、#0〜#9のいずれの部分に属するかが求められる。なお、105バンクの分割の仕方は、最大レベルのバンク位置に応じて予め求められている。具体的には、実際の交通音のサンプルデータ(5000件)に基づき、例えば5000件それぞれの各最大レベルのバンク位置を度数分布化し(横軸がバンク位置で、縦軸が件数となる)、それが等分になるように分割する。すなわち、最大レベルのバンク位置の度数分布が大きい部分は、分割幅が狭くされるとともに、最大レベルのバンク位置の度数分布が小さい部分は、分割幅が広くされる(場合によっては、等分でなくてもよく、また分割個数については、10個でなくてもよい)。そして、例えばバンク番号が小さいものから大きいものへと分類番号が、#0〜#9というように付けられる。したがって、図4においては、88バンク付近が最大のレベルを有しており、この88バンクが属する分類番号が、例えば#8というように割り当てられる。
【0030】
そして、第2分類〜第4分類においては、音響信号の特徴部分をスペクトルに基づき抽出するとともに、この抽出されたスペクトル系列と、音源を特定するために、予め実験により求められたスペクトル系列とのパターンマッチング(パターン認識)を、ニューラルネットワーク(手法)を用いて行い、これら各分類作業にて得られた分類番号に基づき、最終的に、上述したように、実験などにより求められた分類表と照合されて、検出された音が、衝突音、タイヤと路面の摩擦音、クラクション、暴走音、サイレンを含めて多数の種類のいずれかに特定される。なお、これら各分類作業においては、その前段階作業にて得られた分類結果に基づき、データベースに多数用意された信号特定用パターンの中から、所定個数の一群(後述するが、例えば5個づつ)が選択抽出されて、パターン認識に使用される。
【0031】
以下、第2分類作業〜第4分類作業について説明する。
第2分類作業では、まず、上記第1分類で求められた分類番号(例えば、#8である)に基づき、5個のパターンがデータベースから取り出される。
【0032】
そして、当該音響信号における105バンクのスペクトル系列のうち、最大スペクトルの50%未満のデータを零となし(ゼロリセットともいう)、これを正規化したスペクトル系列(図5に示す)に対して、ニューラルネットワークを用いて、上記5個のパターンに、当該5個以外のパターン(用意されたパターン以外のもの)を示すパターンを加えた、計6個のパターンとパターンマッチングを行うことにより、分類番号が割り当てられる。
【0033】
第3分類では、上記第2分類で求められた分類番号に基づき、やはり、5個のパターンがデータベースから取り出されるとともに、当該音響信号における105バンクのスペクトル系列のうち、最大スペクトルおよびその前後2バンクづつの合計5バンクのスペクトル部分をゼロとなし(ゼロリセット)、新たな105バンクのスペクトル系列を作成する。そして、新たに作成された105バンクのスペクトル系列のうち、最大スペクトルが或るしきい値以上のスペクトルに対しては、最大スペクトルの25%未満をゼロとなし、それを正規化したスペクトル系列(図6に示す)に対してニューラルネットワークを用いて、上記5個のパターンに、当該5個以外のパターンを示すパターンおよびしきい値未満のパターン(しきい値未満についても、1個のパターンとみなす)を加えた、計7個のパターンとパターンマッチングを行うことにより、分類番号が割り当てられる。すなわち、この分類作業では、強さが一番大きいスペクトル部分が除去された残りのスペクトル系列に対する分類が行われることになる。
【0034】
さらに、第4分類では、下記の2つの場合について分類が行われる。
勿論、この分類作業においても、第3分類作業にて得られた分類番号に基づき、データベースからパターンマッチングに使用されるパターンが5個取り出される。
【0035】
▲1▼第3分類において、最大スペクトルがしきい値未満である場合。
第3分類にて作成された105バンクのスペクトル系列のうち、最大スペクトルの25%未満のスペクトルをゼロとなし(ゼロリセット)、それを正規化したスペクトル系列に対して、ニューラルネットワークにより、上記5個のパターンに、当該5個以外のパターンを示すパターンを加えた、計6個のパターンとパターンマッチングを行うことにより、分類番号が割り当てられる。
【0036】
▲2▼第3分類において、最大スペクトルが所定のしきい値以上である場合。
第3分類にて作成された105バンクのスペクトル系列に対し、最大スペクトルおよびその前後2バンクの計5バンクのスペクトルをゼロとなし(ゼロリセット)、新たな105バンクのスペクトル系列を作成する。
【0037】
そして、この105バンクのスペクトル系列のうち、最大スペクトルが或るしきい値以上のスペクトルに対しては、最大スペクトルの12.5%未満のスペクトルをゼロとなし、それを正規化したスペクトル系列(図7に示す)に対してニューラルネットワークによるパターン認識を行い、7個のパターン(この場合も、データベースから取り出された5パターンに、当該5個以外のパターンを示すパターンおよびしきい値未満のパターンを加えたもの)とパターンマッチングを行うことにより、分類番号が割り当てられる。この分類作業では、強さが二番目に大きいスペクトル部分が除去されたスペクトル系列に対する分類が行われることになる。なお、上記のニューラルネットワークによる分類作業の概念図を、図8に示す。
【0038】
さらに、上記事故判定手段17では、上記音源識別手段16での分類結果、すなわち識別信号(NTにて表す)および上記レベル継続検出手段14からの検出信号(PDにて表す)並びにピーク検出手段13からの検出信号(PTにて表す)を入力して、{(NTandPD)orPT}の論理演算が行われ、その音源が事故等に起因するもの(事故音)であるか否かが判定される。なお、識別信号(NT)については、事故等に起因して発生する音である場合には「1」とされ、また検出信号(PD)についても、音が継続している場合には「1」に、検出信号(PT)についても、ピーク値が所定の強さ以上である場合には「1」とされる。
【0039】
そして、上記論理演算式における論理積(and)の部分は、音が瞬間的なものでなく、事故等であれば、わずかな時間ではあるが継続する音であると考えられることから、検出信号(PD)との論理積をとるようにしたものであり、一方、事故等に起因する音であれば、そのピーク値がかなりの強さを有すると考えられるため、そのピーク値が設定レベル値(勿論、この値は実験などにより設定されている)より大きいものである場合には、事故等に起因するものと判断し得るように、上記論理積(NTandPD)に対して検出信号(PT)の論理和をとるようにしたものである。
【0040】
したがって、この論理演算式によると、検出した音が、ニューラルネットワークにより、事故等に関係するものであり且つその音が少しの時間であるが継続している場合、または検出した音のピーク値が事故等に起因して発生するような強い(高い)ものである場合には、事故等に起因した音であると判定される。
【0041】
この事故判定手段17で事故等であると判定された場合には、映像保存指示手段18にその旨の指示が出力されて、映像記録手段5にて、当該事故等の発生時の前後における映像が記録されて保存される。
【0042】
そして、この映像保存指示手段18による映像の保存指示時には、映像データのインデックスとして、上記事故判定手段17で事故等であると判断された場合の事故内容(例えば、コード化したもの)が一緒に記録される。このインデックスにより、例えば衝突音、衝突音+タイヤと路面の摩擦音、衝突音+クラクション、タイヤと路面の摩擦音、クラクション、暴走音、サイレン、これら以外の音の識別が行われる。
【0043】
ところで、上記各手段、積分器、比較器などについては、それぞれ電気信号回路により構成されており、特に、ニューラルネットワークにより演算が行われる音源識別手段16には、演算処理部として例えばCPUが具備されており、勿論、ニューラルネットワークには学習機能が具備されている。
【0044】
次に、上記交通事故自動記録装置により、交通事故等を自動的に記録する際の処理手順を簡単に説明する。
例えば、交差点に配置された当該交通事故自動記録装置1のカメラ装置2およびマイク3が作動している状態において、マイク3により検出された音響信号が信号抽出手段11にて所定周波数帯域でもって抽出され、この抽出音響信号が、レベル検出手段12、ピーク検出手段13およびレベル継続検出手段14に入力されて、事故等であるか否かの予備判断が行われる。
【0045】
そして、レベル検出手段12およびピーク検出手段13のうち、少なくもと、いずれかからの検出信号があった場合、抽出音響信号に対してA/D変換が行われた後、スペクトル演算手段15にてスペクトルの演算が行われる。
【0046】
この演算により求められたスペクトル系列が音源識別手段16に入力されて、ここで、上述したニューラルネットワークを用いた分類方法にて、音源が識別されるとともに、この識別された音が事故等に結び付く可能性が高いもの(例えば、衝突音、衝突音+タイヤと路面の摩擦音、衝突音+クラクション、タイヤと路面の摩擦音、クラクション、暴走音、サイレンなどの音)である場合には、事故等を示す検出信号(NT)が出力される。
【0047】
次に、上記事故等の検出信号(NT)、レベル継続検出手段14からの継続を示す検出信号(PD)およびピーク検出手段13からのピークの検出信号(PT)が事故判定手段17に入力されて論理演算が行われ、事故等に起因する音であるか否かが判定される。
【0048】
そして、事故判定手段17にて、事故等であると判断された場合には、映像保存指示手段18にその旨の指示信号が出力されて、その音が発生した前後において撮影された映像が映像記録手段5に記録されて保存される。勿論、この映像データの記録時には、その映像データに対するインデックスとして、音源識別手段16にて特定された音源種別のコードデータが一緒に記録され、後からの映像データの検索の容易化が図られている。
【0049】
なお、音源識別手段16での1回の識別時間は、例えば3秒とされており、各検出手段12〜14において、検出信号(トリガー信号)が得られた場合には、この3秒が経過するまでは検出信号の出力が維持され、3秒経過後にリセット信号が出力される。
【0050】
このように、上記交通事故自動記録装置1の構成、特にその音源識別手段16の構成によると、エンジン音などのように、車両が通常に発している低周波数および人間が聞くことが困難な高い周波数を除去した抽出音響信号について、レベル検出手段12にて音響信号のレベル値が設定レベル値を超えているか否かを検出するとともに、ピーク検出手段13にて音響信号のピーク値が設定ピーク値を超えているか否かを検出し、少なくとも一方がそれぞれの設定値を超えている場合に、当該音響信号の周波数スペクトルを求めるとともに、ニューラルネットワークを用いて、その音源の種別を特定するようにしたので、音源の識別を、より正確に行うことができる。
【0051】
また、この音源識別手段16を用いた事故検出装置4の構成によると、ニューラルネットワークにて特定された音源に対して、さらにレベル継続検出手段14にて音響信号のレベル継続時間が設定継続時間を超えているか否かの判断が加味されているので、事故等であるか否かの判断を、一層、正確に行うことができる。
【0052】
したがって、この事故判定装置4を、交通事故自動記録装置1に適用した場合には、交通事故等を、精度よく、映像にて記録することができる。
交差点に設置して実験を行ったところ、従来の交通事故自動記録装置では、その検出精度が30%程度であったのに対し、本実施の形態に係る交通事故自動記録装置では、その検出精度が80%程度までに向上した。
【0053】
次に、本発明の第2の実施の形態に係る音源識別装置および突発事象検出装置並びに突発事象自動記録装置について説明する。
上記第1の実施の形態においては、最初に、105バンクに分割された分割周波数領域を、最大レベルを有するスペクトルのバンク番号に応じて、予め、定められた分割パターンに応じて10個に分割するようにしたが、本第2の実施の形態では、周波数スペクトルの合計面積に応じた分割パターンに基づき5個に分割し、この5個に分割されたパターンと上記第1の実施の形態と同様の分割の方法にて10個に分割されたパターンとを併用するようにしたものである。
【0054】
以下、本第2の実施の形態について説明するが、基本的な構成については、第1の実施の形態で説明したものと同じであるため、音源識別手段16に着目して説明する。なお、構成については、同一番号を用いて簡単に説明するものとする。
【0055】
音源識別手段16では、周波数スペクトルを4段階にてそれぞれの分類方法(第1分類〜第4分類)に基づき且つニューラルネットワーク(手法)を用いて認識・分類作業が行われ、これらの分類作業にて得られた分類番号が、予め、実験などにより求められた分類表と照合されて、検出された音が、衝突音、タイヤと路面の摩擦音、クラクション、暴走音、サイレンを含めて多数の種類のいずれかに特定される。
【0056】
ここで、上記分類作業の内容について説明する。
本第2の実施の形態では、第1分類において、分類基準が異なる2種類の分割パターンを併用して分類番号を求めるようにしたものである。
【0057】
すなわち、第1分類(第1段階)では、105個に分割した各分割周波数領域(以下、バンクともいう)に係る音響信号の各周波数スペクトルを、その最大値でもって正規化を行った後、正規化が行われた105バンクにおける周波数スペクトルについて、合計面積が求められる。
【0058】
そして、105バンクの分割周波数領域(スペクトルデータ群といえる)が、上記合計面積に応じて予め定められている分割パターンに基づき、例えば5個に分けられて、#0〜#4の分類番号が付される。ここでの分割の仕方は、実際の交通音のサンプルデータ(5000件)に基づき、例えば5000件それぞれの各合計面積値を度数分布化し(横軸がバンク位置で、縦軸が面積値となる)、それが等分になるように分割する。すなわち、合計面積値の度数分布の大きい部分は、分割幅が狭くされるとともに、合計面積値の度数分布が小さい部分は、分割幅が広くされる(場合によっては、等分でなくてもよく、また分割個数については、5個でなくてもよい)。例えば、第1の実施の形態にて説明した図4において、105バンクの周波数スペクトルの合計面積が2410であるとすると、この合計面積2410が属する分類番号(第一の分類番号であり、予め、合計面積値と分類番号とが対応付けられている)が、例えば#3というように割り当てられる。
【0059】
次に、第1の実施の形態と同様の方法(手順)にて、105バンクが例えば10個に分けられて、#0〜#9の分類番号(第二の分類番号)が付される。そして、この第1分類における分類番号は上記2種類の番号が考慮されて決定される。例えば、合計面積値による5個の分割では#3に、最大レベルのバンク位置による10個の分割では#9というように番号が割り当てられると、この第1分類による分類番号は、#39となる。
【0060】
次に、第2分類〜第4分類においては、音響信号の特徴部分をスペクトルに基づき抽出するとともに、この抽出されたスペクトル系列と、音源を特定するために、予め実験により求められたスペクトル系列とのパターンマッチング(パターン認識)を、ニューラルネットワーク(手法)を用いて行い、これら各分類作業にて得られた分類番号に基づき、最終的に、上述したように、実験などにより求められた分類表と照合されて、検出された音が、衝突音、タイヤと路面の摩擦音、クラクション、暴走音、サイレンを含めて多数の種類のいずれかに特定される。なお、これら各分類作業においては、その前段階作業にて得られた分類結果に基づき、データベースに多数用意された信号特定用パターンの中から、所定個数の一群(後述するが、例えば5個づつ)が選択抽出されて、パターン認識に使用される。
【0061】
以下、第2分類作業〜第4分類作業について説明する。
第2分類作業では、まず、上記第1分類で求められた分類番号(例えば、#39である)に基づき、5個のパターンがデータベースから取り出される。
【0062】
そして、当該音響信号における105バンクのスペクトル系列のうち、最大スペクトルの50%未満のデータを零となし(ゼロリセットともいう)、これを正規化したスペクトル系列に対して、ニューラルネットワークを用いて、上記5個のパターンに、当該5個以外のパターン(用意されたパターン以外のもの)を示すパターンを加えた、計6個のパターンとパターンマッチングを行うことにより、分類番号が割り当てられる。
【0063】
第3分類では、上記第2分類で求められた分類番号に基づき、やはり、5個のパターンがデータベースから取り出されるとともに、当該音響信号における105バンクのスペクトル系列のうち、最大スペクトルおよびその前後2バンクづつの合計5バンクのスペクトル部分をゼロとなし(ゼロリセット)、新たな105バンクのスペクトル系列を作成する。そして、新たに作成された105バンクのスペクトル系列のうち、最大スペクトルが或るしきい値以上のスペクトルに対しては、最大スペクトルの25%未満をゼロとなし、それを正規化したスペクトル系列に対してニューラルネットワークを用いて、上記5個のパターンに、当該5個以外のパターンを示すパターンおよびしきい値未満のパターン(しきい値未満についても、1個のパターンとみなす)を加えた、計7個のパターンとパターンマッチングを行うことにより、分類番号が割り当てられる。すなわち、この分類作業では、強さが一番大きいスペクトル部分が除去された残りのスペクトル系列に対する分類が行われることになる。
【0064】
さらに、第4分類では、下記の2つの場合について分類が行われる。
勿論、この分類作業においても、第3分類作業にて得られた分類番号に基づき、データベースからパターンマッチングに使用されるパターンが5個取り出される。
【0065】
▲1▼第3分類において、最大スペクトルがしきい値未満である場合。
第3分類にて作成された105バンクのスペクトル系列のうち、最大スペクトルの25%未満のスペクトルをゼロとなし(ゼロリセット)、それを正規化したスペクトル系列に対して、ニューラルネットワークにより、上記5個のパターンに、当該5個以外のパターンを示すパターンを加えた、計6個のパターンとパターンマッチングを行うことにより、分類番号が割り当てられる。
【0066】
▲2▼第3分類において、最大スペクトルが所定のしきい値以上である場合。
第3分類にて作成された105バンクのスペクトル系列に対し、最大スペクトルおよびその前後2バンクの計5バンクのスペクトルをゼロとなし(ゼロリセット)、新たな105バンクのスペクトル系列を作成する。
【0067】
そして、この105バンクのスペクトル系列のうち、最大スペクトルが或るしきい値以上のスペクトルに対しては、最大スペクトルの12.5%未満のスペクトルをゼロとなし、それを正規化したスペクトル系列に対してニューラルネットワークによるパターン認識を行い、7個のパターン(この場合も、データベースから取り出された5パターンに、当該5個以外のパターンを示すパターンおよびしきい値未満のパターンを加えたもの)とパターンマッチングを行うことにより、分類番号が割り当てられる。この分類作業では、強さが二番目に大きいスペクトル部分が除去されたスペクトル系列に対する分類が行われることになる。
【0068】
なお、この後の作業について説明すると、上述した第1の実施の形態と同様に、上記事故判定手段17では、上記音源識別手段16での分類結果、すなわち識別信号(NTにて表す)および上記レベル継続検出手段14からの検出信号(PDにて表す)並びにピーク検出手段13からの検出信号(PTにて表す)を入力して、{(NTandPD)orPT}の論理演算が行われ、その音源が事故等に起因するもの(事故音)であるか否かが判定される。なお、識別信号(NT)については、事故等に起因して発生する音である場合には「1」とされ、また検出信号(PD)についても、音が継続している場合には「1」に、検出信号(PT)についても、ピーク値が所定の強さ以上である場合には「1」とされる。
【0069】
そして、上記論理演算式における論理積(and)の部分は、音が瞬間的なものでなく、事故等であれば、わずかな時間ではあるが継続する音であると考えられることから、検出信号(PD)との論理積をとるようにしたものであり、一方、事故等に起因する音であれば、そのピーク値がかなりの強さを有すると考えられるため、そのピーク値が設定レベル値(勿論、この値は実験などにより設定されている)より大きいものである場合には、事故等に起因するものと判断し得るように、上記論理積(NTandPD)に対して検出信号(PT)の論理和をとるようにしたものである。
【0070】
したがって、この論理演算式によると、検出した音が、ニューラルネットワークにより、事故等に関係するものであり且つその音が少しの時間であるが継続している場合、または検出した音のピーク値が事故等に起因して発生するような強い(高い)ものである場合には、事故等に起因した音であると判定される。
【0071】
この事故判定手段17で事故等であると判定された場合には、映像保存指示手段18にその旨の指示が出力されて、映像記録手段5にて、当該事故等の発生時の前後における映像が記録されて保存される。
【0072】
そして、この映像保存指示手段18による映像の保存指示時には、映像データのインデックスとして、上記事故判定手段17で事故等であると判断された場合の事故内容(例えば、コード化したもの)が一緒に記録される。このインデックスにより、例えば衝突音、衝突音+タイヤと路面の摩擦音、衝突音+クラクション、タイヤと路面の摩擦音、クラクション、暴走音、サイレン、これら以外の音の識別が行われる。
【0073】
この第2の実施の形態に係る音源識別装置においても、第1の実施の形態と同様に音源の識別をより正確に行うことができるが、第1分類の過程を設けているため、さらなる正確さでもって音源の識別を行うことができる。
【0074】
ところで、上記第2の実施の形態においては、第1分類〜第4分類というように、4段階でもって分類を行うものとして説明したが、例えば第2の実施の形態にて説明した第1分類〜第3分類を用いて、音源の識別を行うようにしてもよい。勿論、この場合も、第1の実施の形態と同様に、音源の識別を正確に行うことができる。
【0075】
【発明の効果】
以上のように本発明の音源識別装置の構成によると、音響検出手段にて検出された音響信号について、レベル検出手段およびピーク検出手段にて、少なくともいずれかの検出信号が検出された場合に、当該音響信号の周波数スペクトルを求めるとともに、ニューラルネットワークを用いてその音源の種別を特定するようにしたので、すなわちニューラルネットワークにて音源の種別を特定する際に、予備判断を行うようにしたので、音源を、より正確に識別することができる。
【0076】
また、本発明の突発事象検出装置および当該突発事象検出装置を用いた突発事象自動記録装置の構成によると、上記音源識別装置におけるニューラルネットワークにて特定された音源に対して、さらにレベル継続検出手段により、信号レベルが継続しているか否かの判断が加味されているので、音源が、予め、想定された突発事象に基づくものであるか否かを、一層、正確に検出することができ、したがって自動的に突発事象の映像を記録する場合に、その検出精度を向上させることができる。例えば、上記事故判定装置を、交通事故自動記録装置に適用した場合には、交通事故を、精度よく、映像にて記録することができる。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態における交通事故自動記録装置の概略全体構成を示す図である。
【図2】同交通事故自動記録装置における事故判定装置の概略構成を示すブロック図である。
【図3】同事故判定装置における判断予備信号検出手段での検出信号を示すグラフである。
【図4】同音源識別手段における第1分類作業に係る音響信号のスペクトル演算結果を示すグラフである。
【図5】同音源識別手段における第2分類作業の結果のスペクトル分布を示すグラフである。
【図6】同音源識別手段における第3分類作業の結果のスペクトル分布を示すグラフである。
【図7】同音源識別手段における第4分類作業の結果のスペクトル分布を示すグラフである。
【図8】同事故判定装置の音源識別手段におけるニューラルネットワークによる分類作業の概念図である。
【符号の説明】
1 突発事象自動記録装置
2 カメラ装置
3 マイクロフォン
4 突発事象検出装置
5 映像記録手段
11 信号抽出手段
12 レベル検出手段
13 ピーク検出手段
14 レベル継続検出手段
15 スペクトル演算手段
16 音源識別手段
17 事故判定手段
18 映像保存指令手段
21 第1積分器
22 第1比較器
23 第2積分器
24 第2比較器
25 第3積分器
26 第3比較器
Claims (3)
- 音響検出手段にて検出された音響信号から所定周波数帯域の信号を抽出する信号抽出手段と、
上記信号抽出手段にて抽出された抽出音響信号を入力して、所定の積分時間にて積分を行い音響エネルギーを求めるとともに当該音響エネルギーが所定の設定レベル値を超えているか否かを判断するレベル検出手段と、
上記信号抽出手段にて抽出された抽出音響信号を入力して、上記レベル検出手段における積分時間よりも短い所定の積分時間にて積分を行い音響エネルギーを求めるとともに当該音響エネルギーが所定の設定ピーク値を超えているか否かを検出するピーク検出手段と、
上記レベル検出手段およびピーク検出手段からの検出信号を入力して、レベル値およびピーク値のいずれかがそれぞれの設定値を超えている場合に、当該抽出音響信号の周波数スペクトルを演算するスペクトル演算手段と、
このスペクトル演算手段にて求められた周波数スペクトルを入力して、ニューラルネットワークにて音源の種類を特定する音源識別手段とを具備し、
さらに上記音源識別手段において、
最大レベルを示す周波数スペクトルの周波数軸上での位置に応じた分割パターンに基づきスペクトルデータ群を複数に分割して分類するとともに、最大レベルを示す周波数スペクトルが位置する分類番号を求め、この求められた分類番号に応じて信号特定用パターンを選択し、この信号特定用パターンをスペクトル演算手段からの周波数スペクトルに適用して新たな周波数スペクトルを抽出した後、当該抽出された周波数スペクトル系列と予め求められたスペクトル系列とのパターンマッチングをニューラルネットワーク手法を用いて行うことにより、音源の種類を特定するようにしたことを特徴とする音源識別装置。 - 音響検出手段にて検出された音響信号から所定周波数帯域の信号を抽出する信号抽出手段と、
上記信号抽出手段にて抽出された抽出音響信号を入力して、所定の積分時間にて積分を行い音響エネルギーを求めるとともに当該音響エネルギーが所定の設定レベル値を超えているか否かを判断するレベル検出手段と、
上記信号抽出手段にて抽出された抽出音響信号を入力して、上記レベル検出手段における積分時間よりも短い所定の積分時間にて積分を行い音響エネルギーを求めるとともに当該音響エネルギーが所定の設定ピーク値を超えているか否かを判断するピーク検出手段と、
上記信号抽出手段にて抽出された抽出音響信号を入力して、所定の積分時間にて積分を行い音響エネルギーを求めるとともに当該音響エネルギーが所定の設定レベル値を超えている場合に、さらに所定時間経過後に、再度、当該所定の設定レベル値を超えているか否かを判断するレベル継続検出手段と、
上記レベル検出手段およびピーク検出手段からの検出信号を入力して、レベル値およびピーク値のいずれかがそれぞれの設定値を超えている場合に、当該抽出音響信号の周波数スペクトルを演算するスペクトル演算手段と、
このスペクトル演算手段にて求められた周波数スペクトルを入力して、ニューラルネットワークにて音源の種類を特定する音源識別手段と、
この音源識別手段にて識別された識別信号を入力するとともに、上記ピーク検出手段およびレベル継続検出手段からの検出信号を入力して、これら各信号に基づき、突発事象であるか否かを判定する突発事象判定手段とを具備し、
さらに上記音源識別手段において、
上記スペクトル演算手段で求められた周波数スペクトルの合計面積に応じた分割パターンに基づきスペクトルデータ群を複数に分割して第一の分類番号を付すとともに、上記スペクトル演算手段で求められた周波数スペクトルのうち最大レベルを示す周波数スペクト ルの周波数軸上での位置に応じた分割パターンに基づきスペクトルデータ群を複数に分割して第二の分類番号を付した後、最大レベルを示す周波数スペクトルが位置する両分類番号を求め、
この求められた両分類番号に応じて信号特定用パターンを選択し、この信号特定用パターンをスペクトル演算手段からの周波数スペクトルに適用して新たな周波数スペクトルを抽出した後、当該抽出された周波数スペクトル系列と予め求められたスペクトル系列とのパターンマッチングをニューラルネットワーク手法を用いて行うことにより、音源の種類を特定するようにしたことを特徴とする突発事象検出装置。 - 請求項2記載の突発事象検出装置を用いた突発事象自動記録装置であって、
突発事象判定手段により突発事象であると判断された場合に、突発事象を撮影している撮影手段からの映像を、映像記録手段にて保存させる映像保存指示手段を具備させたことを特徴とする突発事象自動記録装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002309074A JP4046592B2 (ja) | 2001-10-25 | 2002-10-24 | 音源識別装置および突発事象検出装置並びに突発事象自動記録装置 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001-327045 | 2001-10-25 | ||
JP2001327045 | 2001-10-25 | ||
JP2002309074A JP4046592B2 (ja) | 2001-10-25 | 2002-10-24 | 音源識別装置および突発事象検出装置並びに突発事象自動記録装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003202260A JP2003202260A (ja) | 2003-07-18 |
JP4046592B2 true JP4046592B2 (ja) | 2008-02-13 |
Family
ID=27666468
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002309074A Expired - Fee Related JP4046592B2 (ja) | 2001-10-25 | 2002-10-24 | 音源識別装置および突発事象検出装置並びに突発事象自動記録装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4046592B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10832699B1 (en) | 2019-12-05 | 2020-11-10 | Toyota Motor North America, Inc. | Impact media sharing |
US11107355B2 (en) | 2019-12-05 | 2021-08-31 | Toyota Motor North America, Inc. | Transport dangerous driving reporting |
US11308800B2 (en) | 2019-12-05 | 2022-04-19 | Toyota Motor North America, Inc. | Transport impact reporting based on sound levels |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4242422B2 (ja) * | 2004-03-31 | 2009-03-25 | 日立造船株式会社 | 突発事象の記録・解析システム |
JP4945222B2 (ja) * | 2006-11-28 | 2012-06-06 | 日立オートモティブシステムズ株式会社 | 突発事象解消判定システム |
JP2010287190A (ja) * | 2009-06-15 | 2010-12-24 | Fujitsu Ten Ltd | 運転情報記録装置および運転情報処理プログラム |
JP6281273B2 (ja) * | 2013-12-16 | 2018-02-21 | 富士通株式会社 | 音響装置の検査装置及び音響装置の検査方法並びに音響装置の検査プログラム |
JP6577260B2 (ja) * | 2015-06-23 | 2019-09-18 | 株式会社東芝 | 情報処理装置および事象検出方法 |
JP2020027569A (ja) * | 2018-08-17 | 2020-02-20 | 国立大学法人滋賀医科大学 | 生体音診断装置 |
-
2002
- 2002-10-24 JP JP2002309074A patent/JP4046592B2/ja not_active Expired - Fee Related
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10832699B1 (en) | 2019-12-05 | 2020-11-10 | Toyota Motor North America, Inc. | Impact media sharing |
US11107355B2 (en) | 2019-12-05 | 2021-08-31 | Toyota Motor North America, Inc. | Transport dangerous driving reporting |
US11308800B2 (en) | 2019-12-05 | 2022-04-19 | Toyota Motor North America, Inc. | Transport impact reporting based on sound levels |
US11328737B2 (en) | 2019-12-05 | 2022-05-10 | Toyota Motor North America, Inc. | Impact media sharing |
Also Published As
Publication number | Publication date |
---|---|
JP2003202260A (ja) | 2003-07-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4242422B2 (ja) | 突発事象の記録・解析システム | |
JP3069529B2 (ja) | 事故音検出回路 | |
JP4046592B2 (ja) | 音源識別装置および突発事象検出装置並びに突発事象自動記録装置 | |
AU2013223662B2 (en) | Modified mel filter bank structure using spectral characteristics for sound analysis | |
Zinemanas et al. | MAVD: a dataset for sound event detection in urban environments | |
KR100733145B1 (ko) | 정규화된 스펙트럼 부밴드 중심점에 기반한 핑거프린트생성 방법 및 오디오 핑거프린팅 시스템 | |
KR102066718B1 (ko) | 음향기반 터널 사고 검지 시스템 | |
CN108877814B (zh) | 窨井盖盗损检测方法、智能终端及计算机可读存储介质 | |
CN112529177A (zh) | 一种车辆碰撞检测方法及装置 | |
EP2028651A1 (en) | Method and apparatus for detection of specific input signal contributions | |
Mato-Méndez et al. | Blind separation to improve classification of traffic noise | |
Bhave et al. | Vehicle engine sound analysis applied to traffic congestion estimation | |
Lee et al. | Acoustic hazard detection for pedestrians with obscured hearing | |
KR20120103286A (ko) | 오디오 신호를 이용하여 차량에 대한 관심 대상 이벤트를 감지하기 위한 방법 및 장치 | |
JP3164100B2 (ja) | 交通音源種別識別装置 | |
CN111370000A (zh) | 声纹识别算法评估方法、***、移动终端及存储介质 | |
Astapov et al. | A hierarchical algorithm for moving vehicle identification based on acoustic noise analysis | |
Hashimoto et al. | Detection of car abnormal vibration using machine learning | |
KR100262564B1 (ko) | 차량용 음성 인식 장치 | |
Parineh et al. | Detecting emergency vehicles With 1D-CNN using fourier processed audio signals | |
Shariff et al. | Wet Road Detection Using CNN with Transfer Learning | |
CN113247730B (zh) | 基于多维特征的电梯乘客尖叫检测方法及*** | |
CN113593251B (zh) | 一种炸街车快速筛选方法及*** | |
JPH02162495A (ja) | 雪崩検知装置 | |
CN117520853A (zh) | 基于多维信息融合的行人主观意图判断方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040930 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060206 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070731 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071001 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071023 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071120 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101130 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4046592 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111130 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111130 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121130 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131130 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |