JP4065314B2 - 対象音分析装置、対象音分析方法および対象音分析プログラム - Google Patents

対象音分析装置、対象音分析方法および対象音分析プログラム Download PDF

Info

Publication number
JP4065314B2
JP4065314B2 JP2007519957A JP2007519957A JP4065314B2 JP 4065314 B2 JP4065314 B2 JP 4065314B2 JP 2007519957 A JP2007519957 A JP 2007519957A JP 2007519957 A JP2007519957 A JP 2007519957A JP 4065314 B2 JP4065314 B2 JP 4065314B2
Authority
JP
Japan
Prior art keywords
sound
target sound
evaluation
target
frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007519957A
Other languages
English (en)
Other versions
JPWO2007080764A1 (ja
Inventor
伸一 芳澤
良久 中藤
哲 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Application granted granted Critical
Publication of JP4065314B2 publication Critical patent/JP4065314B2/ja
Publication of JPWO2007080764A1 publication Critical patent/JPWO2007080764A1/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/017Detecting movement of traffic to be counted or controlled identifying vehicles
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272Voice signal separating
    • G10L21/028Voice signal separating using properties of sound source
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/90Pitch determination of speech signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)

Description

本発明は、対象音と同じ基本周期を有する対象音とは異なる音と、対象音とを区別して、評価音に対象音が含まれるか否かを分析する装置、方法およびプログラムに関する。特に、評価音における対象音の基本周期が存在する時間や周波数帯域を決定することにより、評価音に対象音が含まれるか否かを分析する装置、方法およびプログラムに関する。
基本周期を分析する技術は、混合音分離、音判別、音声合成など幅広い分野で利用されており重要な役割を担っている。例えば、混合音分離において、音声の基本周期であるピッチを用いて非周期的な雑音を含む混合音の中から音声を抽出するものがある。また、楽音の基本周期を用いてオーケストラの演奏を楽器ごとに分離するものがある。さらに、音声合成において、音声の基本周期であるピッチをパラメータの1つとして抽出して合成音声を作成するものがある。
基本周期を分析する第1の従来技術では、聴覚フィルタやフーリエ変換により作成した時間−周波数構造(スペクトログラム)を用いて、自己相関を計算することにより、基本周期を抽出している(例えば、非特許文献1参照)。
第1の従来技術では、所定の時間間隔で入力した信号をフーリエ変換して時間−周波数構造(スペクトログラム)を計算する。そして、所定の周波数において、時間軸方向にパワースペクトルの自己相関を計算することで、基本周期を抽出する。
図35Aおよび図35Bは、時間−周波数構造を用いて基本周期を求める方法を説明する図である。
図35Aに、ある周波数におけるパワースペクトルを示す。縦軸はパワースペクトルの大きさを示し、横軸はサンプル番号を示す。図35Bに、図35Aに示したパワースペクトルの自己相関を示す。縦軸は自己相関を示し、横軸は基本周期の候補を示す。
ここで、自己相関の求め方と、基本周期の求め方について説明する。
ある周波数における、ある時刻(サンプル番号)
Figure 0004065314
のパワースペクトルを
Figure 0004065314
とすると、自己相関
Figure 0004065314
は、数4により算出される。
Figure 0004065314
なお、数4において
Figure 0004065314
は、基本周期の候補であり、
Figure 0004065314
は、分析領域内のサンプル数である。
基本周波数
Figure 0004065314
は、数8に示すように最大の自己相関(数3)をもつ基本周期の候補として求める。
Figure 0004065314
図35Bの例では基本周期は110サンプル(に対応する時間)となる。
基本周期を分析する第2の従来技術では、ウェーブレット変換により作成した、ある周波数におけるパワースペクトルの時間構造を用いて、パワースペクトルの大きさが所定の閾値以上となる時間間隔を求めることで基本周期を抽出している(例えば、特許文献1参照)。
第2の従来技術では、ある時間間隔で入力した信号をウェーブレット変換してパワースペクトルの時間構造を作成する。例えば、入力した信号
Figure 0004065314
の2進ウェーブレット変換値
Figure 0004065314
は、2進数列で量子化したスケールパラメータ
Figure 0004065314
およびシフトパラメータ
Figure 0004065314
を用いて、数13により算出される。
Figure 0004065314
ここで、分析する周波数帯域はスケールパラメータ(数11)により決定される。また、シフトパラメータ(数12)はサンプル番号に対応する。
なお、数13において、
Figure 0004065314
はウェーブレット関数、
Figure 0004065314
はウェーブレット関数(数14)の複素共役である。
図36に、スケールパラメータ
Figure 0004065314
に対応する周波数で、音声信号をウェーブレット変換したときのパワースペクトルの時間構造を示す。縦軸はパワースペクトル(数13)を示し横軸はサンプル番号(数12)を示す。
図36に示すように、音声信号をウェーブレット変換すると、パワースペクトルの時間構造はあるサンプル番号において大きな値をもつ形状になる。この従来技術では、パワースペクトルのピークを検出するための閾値
Figure 0004065314
が設定されており、パワースペクトルの大きさと閾値(数17)とを比較して閾値以上のピークを決定する。そして、閾値を越えるピークの時間間隔を基本周期
Figure 0004065314
とする。図36の例では基本周期は110サンプル(に対応する時間)となる。
基本周期を分析する第3の従来技術では、声道調音等価フィルタの逆フィルタ特性に設定したフィルタに原音声を通して得られる残差波形パターンを用いて基本周期(ピッチ)を求めている。このとき、ある時間間隔で残差波形パターンと有声音の合成時に用いる1ピッチ波形パターン(基本波形パターン)との相互相関を求め、相互相関のピークの時間間隔を基本周期(ピッチ)としている(例えば、特許文献2参照)。
図37A〜図37Cに、残差波形パターンと相互相関との関係を示す。
逆フィルタリングによって図37Aに示される残差波形パターンが抽出される。次に、図37Bに示される有声音の合成時に用いる1ピッチ波形パターンと残差波形パターンとの相互相関を求める。図37Cには、残差波形パターンと1ピッチ波形パターンとの相互相関の時間構造が示されている。この時間構造は、残差波形パターンに対して1ピッチ波形パターンをある時間間隔で時間シフトさせて相互相関を求めて、この相互相関を時間ごとに横軸に並べたものである。図37Cの例では基本周期は2msとなる。
Malcolm Slaney、外1名、"A Perceptual Pitch Detector"、1990年、ICASSP(International Conference on Acoustics, Speech, and Signal Processing)、IEEE(第3章) 特開2004-126855号公報(第1項、第3図、第4図) 特開昭63-5398号公報(第1項、第3図)
しかしながら、第1の従来技術では、対象音と同じ基本周期をもつ対象音と異なる音に対しても、対象音と同じ基本周期の値を出力するため、対象音とは同じ基本周期をもつ対象音とは異なる音と対象音とを区別して基本周期を分析することが困難であるという問題がある。例えば、基本周期(ピッチ)の類似した2人の男性の声を区別して基本周期を分析することが困難である。このため、評価音に対象音が含まれるか否かを分析することが困難である。
また、第2の従来技術でも、対象音と同じ基本周期をもつ対象音と異なる音に対しても、対象音と同じ基本周期の値を出力するため、対象音とは同じ基本周期をもつ対象音とは異なる音と対象音とを区別して基本周期を分析することが困難であるという問題がある。このため、評価音に対象音が含まれるか否かを分析することが困難である。例えば、基本周期の類似した2人の男性の声を区別して基本周期を分析する場合に声の大きさによりパワースペクトルの最大値が変動するため、対象としない人のパワースペクトルの最大値が対象とする人のパワースペクトルの最大値よりも大きい場合には閾値を設定することが困難である。
さらに、第3の従来技術でも、対象音と同じ基本周期をもつ対象音と異なる音に対しても、対象音と同じ基本周期の値を出力するため、対象音とは同じ基本周期をもつ対象音とは異なる音と対象音とを区別して基本周期を分析することが困難である。このため、評価音に対象音が含まれるか否かを分析することが困難である。
本発明は、このような問題点に鑑みてなされたものであり、「対象音」と「対象音と同じ基本周期を有する対象音と異なる音」とを区別して、評価音に対象音が含まれるか否かを分析することができる対象音分析装置等を提供することを目的とする。特に、評価音における対象音の基本周期が存在する時間や周波数帯域を決定する対象音分析装置等を提供することを目的とする。
上記目的を達成するために、本発明に係る対象音分析装置は、評価音に対象音が含まれるか否かを分析する対象音分析装置であって、基本周期を分析するために用いられる分析波形である対象音を準備する対象音準備手段と、基本周期を分析される被分析波形である評価音を準備する評価音準備手段と、前記差分値が所定の閾値以下となる時刻の繰返し間隔を算出し、前記繰返し間隔の周期と前記対象音の基本周期とが略等しい場合に前記評価音に前記対象音が存在すると判定し、前記繰返し間隔の周期と前記対象音の基本周期とが略等しく無い場合に前記評価音に前記対象音が存在しないと判定する分析手段とを備える。
これによって、評価音と対象音の差分値を算出して、所定の閾値以下である差分値における繰り返し間隔の周期と対象音の基本周期とに基づいて、評価音に対象音が存在するか否かを判定するため、対象音とは同じ基本周期をもつ対象音とは異なる音と対象音とを区別して対象音の有無を分析することができる。なぜなら、評価音が対象音であるときに差分値の最小値が近似的にゼロになり、評価音が対象音とは同じ基本周期をもつ対象音とは異なる音のときには差分値の最小値はゼロから離れた大きな値になるからである。
好ましくは、前記対象音準備手段は、前記対象音を周波数分析することにより得られる対象音周波数パターンを準備し、前記評価音準備手段は、前記評価音を周波数分析することにより得られる評価音周波数パターンを準備し、前記分析手段は、前記評価音周波数パターンに対して前記対象音周波数パターンを時間シフトさせながら、対応する時刻における前記評価音周波数パターンと前記対象音周波数パターンとの差分値を順次算出して、前記差分値が所定の閾値以下となる時刻の繰返し間隔を算出し、前記繰返し間隔の周期と前記対象音の基本周期とが略等しい場合に前記評価音に前記対象音が存在すると判定し、前記繰返し間隔の周期と前記対象音の基本周期とが略等しく無い場合に前記評価音に前記対象音が存在しないと判定する。
これによって、評価音周波数パターンと対象音周波数パターンの差分値を算出して、所定の閾値以下である差分値における繰り返し間隔の周期と前記対象音の基本周期とに基づいて、前記評価音に前記対象音が存在するか否かを判定するため、対象音と同じ基本周期を有する対象音と異なる音と対象音とを区別して対象音の有無を分析することができる。ここでは、評価音を周波数分析した評価音周波数パターンと対象音を周波数分析した対象音周波数パターンとを用いるため、周波数帯域ごとに対象音の有無を分析できる。例えば、対象音と雑音とが混合した評価音を分析する場合に、雑音のない周波数帯域を選択して対象音の有無を分析できる。
さらに好ましくは、前記対象音分析装置は、さらに、前記対象音に関連する音情報を設定する音情報設定手段を備え、前記対象音準備手段は、設定された前記音情報に基づいて前記対象音または前記対象音周波数パターンを準備する。
これによって、対象音準備手段は、音情報設定手段が設定した音情報に基づいて対象音を準備するため、対象音準備手段が準備する対象音を制御することができる。また、対象音準備手段は、音情報設定手段が設定した対象音に関する音情報に基づいて対象音周波数パターンを準備するため、対象音準備手段が準備する対象音周波数パターンを制御することができる。これにより、利用者は、音情報設定手段を用いて対象音を設定することができる。
さらに好ましくは、前記音情報設定手段は、対象音の入力を受け付け、入力された前記対象音を前記音情報とし、前記対象音準備手段は、入力された前記対象音を準備される前記対象音とするか、または、さらに、当該対象音を周波数分析することにより前記対象音周波数パターンを準備する。
これによって、対象音準備手段は、音情報設定手段が入力した対象音を準備する対象音とするため、対象音準備手段は、対象音の候補となる複数の音を事前に記憶する必要がなく記憶容量を小さくできる。また、対象音準備手段は、音情報設定手段が入力した対象音を用いて対象音周波数パターンを作成するため、対象音準備手段は、対象音の候補に対応する複数の対象音周波数パターンを記憶する必要がなく記憶容量を小さくできる。
さらに好ましくは、前記対象音分析装置は、さらに、複数の評価音の各々に対して前記対象音を時間シフトさせながら、対応する時刻における前記評価音と前記対象音との差分値を順次算出して、前記差分値の最小値を算出し、前記複数の評価音に対応する複数の前記最小値のうちの最大値に基づいて、前記所定の閾値を設定する閾値設定手段を備える。
これによって、複数の評価音に共通する閾値を設定することができる。例えば、同じバイク音であっても、騒音下で集音されたバイク音と騒音のない環境下で集音されたバイク音とをそれぞれ評価音とした場合に、2つのバイク音に共通する閾値を設定することができる。よって、複数の対象音に対して適切な閾値が設定でき複数の対象音に対して対象音の有無を分析できる。また、閾値を適切に制御することにより対象音の有無の分析誤りを減少できる。
さらに好ましくは、前記対象音準備手段は、前記対象音と所定の周波数成分から構成される非周期な分析波形との相互相関により算出される、振幅スペクトルおよび位相スペクトルの少なくとも一方を含む対象音周波数パターンを準備し、前記評価音準備手段は、評価音と前記分析波形との相互相関により算出される、振幅スペクトルおよび位相スペクトルの少なくとも一方を含む評価音周波数パターンを準備する。
これによって、非周期な分析波形を用いて作成された、対象音周波数パターンおよび評価音周波数パターンを用いて対象音の基本周期を分析するため、対象音および評価音の周期的特徴が現れる。このため対象音の有無が分析できる。例えば、対象音の基本周期よりも高い周波数帯域における対象音周波数パターンにも対象音の基本周期が現れるため、対象音の基本周期に対応する周波数帯域に雑音が付加されても対象音の有無を分析できる。また、全ての周波数帯域において対象音周波数パターンに対象音の基本周期が現れるため周波数帯域ごとに基本周期を分析でき対象音抽出に利用できる。
さらに好ましくは、前記対象音準備手段は、前記対象音と、所定の周波数成分から構成される分析波形の一部を構成し所定の時間分解能を有する複数の局所分析波形との、それぞれの相互相関により算出される、振幅スペクトルおよび位相スペクトルの少なくとも一方を含む複数の対象音周波数パターンを準備し、前記評価音準備手段は、前記評価音と前記複数の局所分析波形との、それぞれの相互相関により算出される、振幅スペクトルおよび位相スペクトルの少なくとも一方を含む複数の評価音周波数パターンを準備し、前記分析手段は、前記複数の局所分析波形を用いて準備された前記複数の対象音周波数パターンの組を対象音周波数パターンのデータとし、前記複数の局所分析波形を用いて準備された前記評価音周波数パターンの組を評価音周波数パターンのデータとして前記評価音周波数パターンのデータに対して前記対象音周波数パターンのデータを時間シフトさせながら、対応する時刻における前記評価音周波数パターンのデータと前記対象音周波数パターンのデータとの差分値を順次算出して、前記差分値が所定の閾値以下となる時刻の繰返し間隔を算出し、前記繰返し間隔の周期と前記対象音の基本周期とが略等しい場合に前記評価音に前記対象音が存在すると判定し、前記繰返し間隔の周期と前記対象音の基本周期とが略等しく無い場合に前記評価音に前記対象音が存在しないと判定する。
これによって、複数の局所分析波形を用いて準備された対象音周波数パターンと、複数の局所分析波形を用いて準備された評価音周波数パターンと、それぞれ一組のデータとして用いて基本周期を分析するため、分析波形での周波数分解能における時間的な周波数構造の変化が扱え、周波数分解能をあたかも細かくして基本周期を分析することができる。例えば、混合音において雑音の少ない狭い周波数帯域で基本周期を分析できる。これにより、混合音(評価音)中の対象音の有無をより正確に判定することができる。
さらに好ましくは、前記対象音分析装置は、さらに、前記分析手段で用いる対象音周波数パターンおよび評価音周波数パターンの周波数帯域を設定する周波数設定手段を備え、前記分析手段は、前記周波数設定手段で設定された前記周波数帯域の前記対象音周波数パターンおよび前記評価音周波数パターンを用いて、前記対象音の基本周期を分析する。
これによって、周波数設定手段を用いて、分析手段で用いる対象音周波数パターンおよび評価音周波数パターンの周波数帯域を制御できる。これにより、分析する周波数帯域を変更したり分析する周波数帯域の帯域幅を変更したりできる。例えば、対象音と雑音が混合した評価音から対象音の有無を分析する場合に、雑音のない周波数帯域を選択して基本周期を分析できる。
なお、本発明は、このような特徴的な手段を備える対象音分析装置として実現することができるだけでなく、対象音分析装置に含まれる特徴的な手段をステップとする対象音分析方法として実現したり、対象音分析装置に含まれる特徴的な手段としてコンピュータを機能させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、CD−ROM(Compact Disc-Read Only Memory)等の記録媒体やインターネット等の通信ネットワークを介して流通させることができるのは言うまでもない。
以上のように、評価音に対して対象音を時間シフトさせながら評価音と対象音との差分値を算出した場合に所定の閾値以下である繰り返し時間間隔の周期と対象音の基本周期とに基づいて評価音に対象音が存在するか否かを判定することにより、「対象音」と「対象音と同じ基本周期を有する対象音と異なる音」とを区別して、評価音に対象音が含まれるか否かを分析することができる。さらに、突発的に対象音に類似した波形パターンの雑音等が評価音の中にあったとしても、突発的な雑音等であるか対象音であるか正確に分析することもできる。
はじめに、本発明による対象音分析方法の概念を説明する。
図1A〜図1Gに、本発明による対象音分析方法の模式図を示す。
はじめに、評価音が対象音である場合について説明する。図1Aに示した評価音A(図1Cに示す対象音の3周期分の波形パターン)に対して、図1Cに示した対象音(ここでは基本波形パターンを用いている)を時間シフトさせながら、対応する時刻における評価音Aと対象音との差分値を順次算出する。差分値を算出した結果を図1Dに示す。評価音Aは対象音と同一であるため差分値の最小値がゼロになる部分が存在する。そして、差分値がゼロになる時間間隔は対象音の基本周期と一致する。したがって、評価音の中に対象音が存在する場合は、差分値がゼロになる時間間隔の周期が対象音の基本周期と一致することがわかる。なお、繰り返し時間間隔は、所定の閾値以下である差分値における繰り返し時間間隔とする。この例では閾値はゼロより少し大きな値としている。図1Dに示すように、ゼロより少し大きい閾値以下である差分値の繰り返し間隔は、差分値がゼロになる時間間隔と同一である。
次に、評価音が、同じ基本周期をもつ対象音とは異なる音である場合について説明する。図1Bに示した評価音B(図1Cに示す対象音と同じ基本周期を有する対象音と異なる音の3周期分の波形パターン)に対して、図1Cに示した対象音を時間シフトさせながら、対応する時刻における評価音Bと対象音との差分値を順次算出する。差分値を算出した結果を図1Eに示す。評価音Bに含まれる音は、対象音と基本周期は同じであるが波形パターンが対象音の波形パターンと異なるため、差分値の最小値はゼロにならず大きな値をもつことになる。このとき評価音Bは対象音と同一の基本周期をもつ波形パターンであるため差分値の最小値の時間間隔は対象音の基本周期と同一になる。そこで、閾値を導入して所定の閾値以下である差分値の繰り返し時間間隔に基づいて対象音が評価音に存在するか否かを分析する。この閾値は図1Dで示した閾値と同一の値(ゼロより少し大きい値)である。図1Eに示すように、評価音の中に対象音と同一の波形パターンが存在しないために差分値はゼロとならず、閾値以下である差分値の繰り返しは存在しない。したがって、本方法によって、評価音Bが対象音とは異なることを判定できる。
以上説明したように、評価音と対象音の差分値を算出して、所定の閾値以下である差分値における繰り返し間隔に基づいて評価音の中に対象音が存在するか否かを分析する。すなわち、繰り返し時間間隔の周期が対象音の基本周期に略等しい場合は評価音の中に対象音が存在すると判定し、繰り返し時間間隔の周期が対象音の基本周期に略等しく無い場合は評価音の中に対象音が存在しないと判定するように分析する。この構成により、対象音と同じ基本周期を有する対象音と異なる音と対象音とを区別して評価音の中に対象音が存在するか否かを分析することができる。
また、繰り返し間隔に基づいて評価音の中に対象音が存在するかを分析することで、突発的に対象音に類似した波形パターンの雑音等が評価音の中にあったとしても、突発的な雑音等であるか対象音であるか正確に分析することもできる(詳細は、第1の実施の形態で後述する)。
本発明で導入した閾値は、対象音の基本波形パターンにゆらぎがなければゼロより少し大きい値とすることで設定できる。また、対象音の基本波形パターンにゆらぎが存在する場合は、対象音の基本波形パターンのゆらぎ幅を考慮しながら差分値の最小値のゆらぎによる変動の最大値より少し大きな値とすることで設定できる。また、分析誤りの結果をフィードバックすることで調節することもできる。また、複数の対象音を扱う場合には対象音ごとに値を設定することもできる。
ここで、本発明との比較のため、図1Fおよび図1Gに、第3の従来技術を用いた場合の結果を模式的に示す。第3の従来技術では、声道調音等価フィルタの逆フィルタ特性に設定したフィルタに原音声を通して得られる残差波形パターン(評価音に対応)と有声音の合成時に用いる1ピッチ波形パターン(対象音に対応)との相互相関の時間間隔で基本周期を決定していた。図1Fに、図1Aに示した評価音Aに対して、図1Cに示した対象音を時間シフトさせながら、対応する時刻における評価音Aと対象音との相互相関を順次算出した結果の一例を示す。図1Gに、図1Bに示した評価音Bに対して、図1Cに示した対象音を時間シフトさせながら、対応する時刻における評価音Aと対象音との相互相関を順次算出した結果の一例を示す。第3の従来技術では、本発明による差分値とは異なり、相互相関を用いているため対象音と異なる音に対しても大きな値をとることがある。このため閾値を導入することが困難である。このことは、差分値とは異なり、相関値は符号が一致するか否かを判定するものであり、相関値を算出する2個の波形パターンの符号が一致する部分の波形パターンの値が大きい場合には、2個の波形パターンが同一であるか否かに関わらず大きな値をとるためである。このように、相関値を用いた従来技術では閾値を導入することが困難であった。また、本願発明者は、相互相関を対象音(対象音周波数パターン)および対応する評価音(評価音周波数パターン)の大きさで正規化した正規化相互相関を導入した後に閾値を用いることを考えたが、音(周波数パターン)の大きさの情報が欠如するため、対象音(対象音周波数パターン)より非常に大きい又は小さい対象音以外の音(周波数パターン)に対しても形状が相似であれば対象音と誤って判断されてしまうため利用することが困難であることがわかった。特に、対象音(対象音周波数パターン)が正弦波のように単純な形状であり振幅が非常に小さい雑音区間の評価音(評価音周波数パターン)を分析するときに、量子化誤差の影響も加わり分析誤りが増加してしまう。また、対象音を周波数帯域ごとに分割して分析するときには、周波数帯域間における対象音周波数パターンの大きさの関係(対象音のスペクトル構造)が重要となるため、周波数パターンの大きさの情報が必要となる。これと比較して本発明による差分値は、音の大きさの情報を利用できるため上記の課題を解決できる。
以下本発明の実施の形態について、図面を参照しながら説明する。
(第1の実施の形態)
図2は、本発明の、第1の実施の形態における対象音分析装置の全体構成を示すブロック図である。ここでは、本発明に係る対象音分析装置が車両検知システムに組み込まれた一例が示されている。本実施の形態では、バイク音の基本周期を分析することにより利用者の周辺にバイク音が存在することを判定することで、利用者にバイクの接近を知らせる場合を例にして説明する。
車両検知システム100は、評価音S100がバイク音であるかを検知し、バイク音の場合には警告音S103を出力するシステムであり、基本周期分析部101と、警告音出力部105とを備える。
基本周期分析部101は、評価音S100の基本周期を分析する処理部であり、対象音準備部102と、評価音準備部103と、分析部104とを備える。
対象音準備部102には対象音S101と対象音S101の基本周期S105とが記憶されている。分析部104には閾値S104が記憶されている。対象音準備部102は、対象音S101と基本周期S105を分析部104へ出力する。評価音準備部103は、評価音S100を入力して分析部104へ出力する。分析部104は、評価音S100に対して対象音S101を時間シフトさせながら、対応する時刻における評価音S100と対象音S101との差分値を順次算出して、閾値S104以下である差分値における繰り返し時間間隔の周期と対象音S101の基本周期S105とに基づいて、評価音S100中に対象音S101が存在するか否かを分析して、基本周期S105を用いて評価音S100において対象音S101が存在する場合に検知信号S102を警告音出力部105へ出力する。
対象音準備部102は、基本周期を分析するために用いられる分析波形パターンである対象音を準備する対象音準備手段の一例である。
評価音準備部103は、基本周期を分析される被分析波形パターンである評価音を準備する評価音準備手段の一例である。
分析部104は、前記評価音に対して前記対象音を時間シフトさせながら、対応する時刻における前記評価音と前記対象音との差分値を順次算出して、前記差分値が所定の閾値以下となる時刻の繰返し間隔を算出し、当該繰返し間隔の周期と前記対象音の基本周期とに基づいて、前記評価音に前記対象音が存在するか否かを判定する分析手段の一例である。
警告音出力部105は、検知信号S102を入力したときに警告音S103を利用者へ提示する。
次に、以上のように構成された車両検知システム100の動作について説明する。
図3は、車両検知システム100の動作手順を示すフローチャートである。
この例では、車両検知システム100を出荷する前に、対象音準備部102には対象音S101としてバイク音が記憶されており(ステップ200)、さらに対象音S101であるバイク音の基本周期S105が記憶されている。また、分析部104には閾値S104が記憶されている。
図4にバイク音の一例を示す。これよりバイク音が周期的な音であることがわかる。また、図5A〜図5Cに対象音S101の一例を示す。対象音は、図5Aに示す1周期分のバイク音でもよいし、図5Bに示す2周期分のバイク音でもよいし、図5Cに示す3周期分のバイク音でもよく、対象音の時間長の制約はない。この例では図5Aに示す1周期分のバイク音を対象音S101とする。また、対象音S101の基本周期S105は2.9ms〜3.2msである。
はじめに、車両検知システム100を起動することで、評価音準備部103は、マイクを用いて評価音S100である利用者の周辺の音を取り込み始める(ステップ201)。この例では利用者の周辺の音からバイク音の基本周期が数個含まれる9msの間隔で評価音を取り込む。すなわち利用者の周辺の音を9msごとに区分しながら入力してバイク音の基本周期を分析することになる。
次に、利用者の周辺の音から構成された評価音S100の中に、対象音準備部102に記憶された対象音S101であるバイク音の基本周期が含まれているか否かを分析する(ステップ202)。具体的には、分析部104において、評価音S100に対して対象音S101を時間シフトさせながら、対応する時刻における評価音S100と対象音S101との差分値を順次算出して、閾値S104以下である差分値における繰り返し時間間隔に基づいて対象音S101の基本周期を分析する。そして、基本周期S105を用いて評価音S100において対象音S101が存在する場合に検知信号S102を警告音出力部105へ出力する。
図6A〜図6Cに、分析部104における対象音の基本周期を分析する方法の一例を示す。この例では評価音が対象音である場合が示されている。
図6Aには評価音の一例が示されている。この例では、現時刻から遡って9msの利用者の周辺の音を切り出して評価音としている。この例では評価音は3周期分の対象音であるバイク音から構成されている。ここで評価音S100を
Figure 0004065314
と表現する。ここでnは時間を離散化した値であり、この例ではLは9msに対応する値である。
図6Bには対象音の一例が示されている。この例では1周期分のバイク音を対象音としている。ここで対象音S101を
Figure 0004065314
と表現する。ここでnは時間を離散化した値であり、この例ではWは対象音S101の基本周期である3msに対応する値である。
図6Cには、評価音S100に対して対象音S101を時間シフトしたときの差分値が示されている。この例では差分値としてユークリッド距離を用いている。ここで差分値を
Figure 0004065314
と表現する。ここでmは時間を離散化した値であり差分値を求める評価音S100の始端の時刻に対応する。この差分値は時間幅Wでの評価音と対象音との差分を総和した値である。この例では評価音が対象音であるため差分値の繰り返し時間間隔は3msとなり対象音の基本周期S105と一致する。
ここで、閾値S104を導入する。この閾値S104をΘと表現する。この例では、閾値S104は車両検知システム100を出荷する前に分析部104に記憶されており、対象音の基本波形パターンのゆらぎ幅を考慮して差分値の最小値のゆらぎによる変動の最大値より少し大きな値に設定してある。
図6Cには対象音の基本周期の分析方法の一例が示されている。ここでは閾値Θ以下である数21に示す差分値の繰り返し時間間隔を求める。この例では、評価音が対象音であるため差分値の最小値はゼロに極めて近い値になる。このため閾値Θ以下である差分値の繰り返し時間間隔は、閾値を考慮しない差分値の繰り返し時間間隔と一致する。この例では評価音S100の基本周期は3msになる。
次に、評価音の基本周期は、3msであり対象音の基本周期S105である2.9ms〜3.2msの範囲内にあるため、分析部104は、評価音S100において対象音S101が存在すると判定して検知信号S102を警告音出力部105へ出力する(ステップ203)。そして、警告音出力部105は、検知信号S102を入力したタイミングで警告音S103を利用者へ提示する。
また、図7A〜図7Cに、分析部104において、評価音S100が、対象音S101と同じ基本周期を有する対象音S101と異なる音である場合の一例を示す。
図7Aにはバイク音とは異なる評価音S100の一例が示されている。この例でも現時刻から遡って9msの利用者の周辺の音を切り出して評価音S100としている。この例では評価音S100は3周期分の対象音とは異なる音から構成されており基本周期は対象音S101と同じでW=3msである。
図7Bには対象音S101の一例が示されている。この例では図6Bと同様に1周期分のバイク音を対象音S101としており基本周期は3msである。
図7Cには、評価音S100に対して対象音S101を時間シフトしたときの差分値が示されている。この例では図6Cと同様に差分値としてユークリッド距離を用いている。この例では評価音S100が対象音S101と同じ基本周期をもつ音であるため、差分値の繰り返し時間間隔は対象音S101の基本周期と一致して3msとなる。
ここで、閾値S104を導入する。この例でも閾値S104は車両検知システム100を出荷する前に分析部104に記憶されており、対象音の基本波形パターンのゆらぎ幅を考慮して差分値の最小値のゆらぎによる変動の最大値より少し大きな値に設定してある。この値は図6A〜図6Cの例と同じである。ここで閾値Θ以下である数21に示す差分値の繰り返し時間間隔を求める。この例では、評価音が対象音とは異なる音であるため、差分値の最小値はゼロから離れて大きな値になる。そのため閾値Θ以下である差分値の繰り返し時間間隔は存在しない。
このような場合には、分析部104は、評価音S100の基本周期は存在しないか、評価音S100の基本周期が存在するとしても対象音S101の基本周期S105である2.9ms〜3.2msの範囲内にないため、評価音S100において対象音S101が存在しないと判定し、検知信号S102を警告音出力部105へ出力しない(ステップ203)。このため、警告音出力部105は、検知信号S102が入力されないため警告音S103を利用者へ提示しない。
なお、評価音S100が対象音S101と基本周期が異なる音である場合には、分析部104において、評価音S100の基本周期には対象音S101の基本周期S105が現れないため、評価音S100において対象音S101が存在しないと判定され利用者に警告音S103は提示されない。
最後に、これらのステップ201からステップ203の動作を車両検知システム100が停止されるまで繰り返す(ステップ204)。
以上説明したように、本発明の第1の実施の形態によれば、評価音と対象音との差分値を算出して、所定の閾値以下である差分値における繰り返し間隔の周期と対象音の基本周期とに基づいて、評価音に対象音が存在するか否かを分析する。このため、「対象音と同じ基本周期を有する対象音と異なる音」と「対象音」とを区別して、評価音に対象音が含まれるか否かを分析することができる。
なお、分析部104の代わりに、繰り返し時間間隔の周期を分析せずに評価音と対象音の差分値だけで対象音の存在を判断する場合を考えてみる。すなわち差分値がゼロまたはゼロに近くなったときに対象音が存在すると判定する。図8A〜図8Cに差分値だけで対象音の存在を判定する方法を示す。図8Aは評価音であり、図8Bは対象音である。図8Aの評価音には、時間の前半に対象音と類似した波形パターンが存在し、時間の後半に対象音と同じ基本周期3msを持つ雑音が存在する。なお、評価音には、実際には対象音が含まれていない。図8Cに第1の実施の形態と同様に求めた差分値を示す。時間の後半は、上記実施の形態で説明した通り、閾値以下の部分は存在しない。すなわち、時間の後半部分には対象音が存在しないことがわかる。一方、時間の前半部分の評価音には、対象音と類似した波形パターンが存在するため、差分値がゼロに近い部分が存在する。すなわち、閾値以下の部分が存在する。評価音の波形パターンと対象音の波形パターンとの差分値が閾値以下の場合に、評価音の中に対象音が存在するという方法では、今回の評価音の中に対象音が存在すると誤って判断してしまう可能性がある。一方、第1の実施の形態では、評価音の波形パターンと対象音の波形パターンとの差分値が閾値以下になる場合だけでなく、閾値以下になる差分値の時間間隔の周期が対象音の基本周期と略等しいか否かを判断しているため、図8Cの場合でも対象音が存在しないと判断できる。したがって、閾値以下になる差分値の時間間隔の周期が対象音の基本周期と略等しいか否かを判断することにより、対象音の波形パターンに類似した突発的な雑音等が評価音に存在しても正確に対象音の有無を誤判定することなく分析することができ、雑音下においても対象音の有無を検知することができる。
〈第1の実施の形態の第1の変形例〉
第1の実施の形態における第1の変形例について説明する。図9は、本発明の、第1の実施の形態における第1の変形例における対象音分析装置の全体構成を示すブロック図である。ここでは、図2に示した車両検知システム100に加えて音情報設定部700が追加されている。この変形例では、利用者が対象音S101を設定することができる。
車両検知システム200は、基本周期分析部201と、警告音出力部105とを備える。基本周期分析部201は、音情報設定部700と、対象音準備部701と、評価音準備部103と、分析部104とを備える。
分析部104には閾値S104が記憶されている。音情報設定部700は、対象音に関する音情報S700を設定して対象音準備部701へ出力する。対象音準備部701は、音情報S700に基づいて対象音S101を準備して、また対象音S101の基本周期S105を準備して、対象音S101と基本周期S105を分析部104へ出力する。評価音準備部103は、評価音S100を入力して分析部104へ出力する。分析部104は、評価音S100に対して対象音S101を時間シフトさせながら、対応する時刻における評価音S100と対象音S101との差分値を順次算出する。分析部104は、閾値S104以下である差分値における繰り返し時間間隔の周期と対象音S101の基本周期S105とに基づいて、評価音S100中に対象音S101が存在するか否かを分析する。分析部104は、評価音S100中に対象音S101が存在する場合に検知信号S102を警告音出力部105へ出力する。警告音出力部105は、検知信号S102を入力したときに警告音S103を利用者へ提示する。
次に、以上のように構成された車両検知システム200の動作について説明する。
図10は、車両検知システム200の動作手順を示す他のフローチャートである。
この例では、車両検知システム200を出荷する前に分析部104には閾値S104が記憶されている。この例では閾値S104はゼロより少し大きな値である0.2に設定している。
はじめに、音情報設定部700は、マイクを用いて音情報S700であるバイク音を取り込み対象音準備部701へ出力する(ステップ800)。
次に、対象音準備部701は、音情報S700であるバイク音の一部を切り取ることで対象音S101を準備する(ステップ801)。また、バイク音の基本周期を求めて基本周期S105とする。この例ではバイク音の基本周期の求め方は、対象とする音はバイク音のみでありバイク音と同じ基本周期をもつ他の音が含まれていないため第1の従来技術の方法を用いる。
次に、車両検知システム200を起動することで、評価音準備部103は、マイクを用いて評価音S100である利用者の周辺の音を取り込み始める(ステップ201)。
次に、利用者の周辺の音から構成された評価音S100の中に、対象音準備部102が準備した対象音S101であるバイク音の基本周期が含まれているか否かを分析する(ステップ202)。
次に、警告音の提示をするか否かを判断して対象音が存在するときに警告音を出力する(ステップ203)。
ここでのステップ201、ステップ202、ステップ203は、第1の実施の形態と同じなので説明を省略する。
最後に、これらのステップ201からステップ203の動作を車両検知システム200が停止されるまで繰り返す(ステップ204)。
以上説明したように、対象音準備部701は、音情報設定手段が入力した対象音を準備する対象音とするため、対象音の候補となる複数の音を事前に記憶する必要がなく記憶容量を小さくできる。
なお、ステップ800において、音情報S700として、バイク音を含む評価音S100を入力して、ステップ801において、音情報S700からバイク音の部分を切り出して、対象音S101を準備してもよい。この場合は、対象音以外の音が存在する場合でも対象音S101を準備することができる。
〈他の例〉
音情報設定部700と対象音準備部701の他の例を説明する。
図10は、車両検知システム200の動作手順を示す他のフローチャートである。
この例では、車両検知システム200を出荷する前に、対象音準備部701には対象音の候補として、バイク音と自動車のエンジン音とサイレン音が記憶されている。また、対象音準備部701には対象音の候補ごとに対応する基本周期が記憶されている。また、分析部104には閾値S104が記憶されている。
図11に自動車のエンジン音の一例を示す。また、図12に緊急車両のサイレン音の一例を示す。これより自動車のエンジン音とサイレン音が周期的な音であることがわかる。
図13に対象音の候補の一例を示す。この例では、対象音準備部701は、対象音の候補として、「バイク音」と「自動車のエンジン音」と「サイレン音」の3種類の対象音を記憶している。また、対象音の候補ごとに対応する基本周期が記憶されている。
はじめに、音情報設定部700は、利用者に対象音の候補を提示する。図14Aおよび図14Bには対象音の候補を提示する方法の一例が示されている。この例では、図14Aに示すようなタッチディスプレイに対象音の名前(バイク、自動車、サイレン)と対象音の波形パターンを提示している。利用者はタッチディスプレイを用いて対象音を選択することにより音情報S700である選択信号を作成する。この例では、図14Bに示すようにバイク音が選択されてディスプレイ上で「バイク」の周りの色が反転している。このとき選択したバイク音の音がスピーカから出力される。これにより利用者は選択した対象音を確認することができる(ステップ800)。
次に、対象音準備部701は、音情報S700である選択信号に対応する対象音を対象音S101とする(ステップ801)。また、選択信号に対応する対象音S101の基本周期を基本周期S105とする。この例では対象音S101はバイク音であり、基本周期S105はバイク音の基本周期である2.9ms〜3.2msである。
次に、車両検知システム100を起動することで、評価音準備部103は、マイクを用いて評価音S100である利用者の周辺の音を取り込み始める(ステップ201)。
次に、利用者の周辺の音から構成された評価音S100の中に、対象音準備部102が準備した対象音S101であるバイク音の基本周期が含まれているか否かを分析する(ステップ202)。
次に、警告音の提示をするか否かを判断して対象音が存在するときに警告音を出力する(ステップ203)。
ここでのステップ201、ステップ202、ステップ203は、第1の実施の形態と同じなので説明を省略する。
最後に、これらのステップ201からステップ203の動作を車両検知システム200が停止されるまで繰り返す(ステップ204)。
以上説明したように、対象音準備部701が記憶した対象音の候補を用いて対象音を準備できるため対象音を入力する必要がない。これにより、対象音を入力できない場合でも対象音を分析することができる。例えば、騒音下でバイク音が存在するか否かを分析する場合に、騒音下では静かな環境でのバイク音を収音することはできないが、対象音準備部701が記憶した静かな環境でのバイク音を用いることでバイク音が存在するか否かを分析することができる。また、対象音を入力する時間を省略できるためリアルタイム処理が可能である。
以上説明したように、本発明の第1の実施の形態の第1の変形例によれば、対象音準備部701は、音情報設定部700が設定した音情報に基づいて対象音を準備するため、対象音準備部701が準備する対象音を制御することができる。これにより、利用者は音情報設定部700を用いて対象音を設定することができる。
〈第1の実施の形態の第2の変形例〉
第1の実施の形態における第2の変形例について説明する。図15は、本発明の、第1の実施の形態における第2の変形例における対象音分析装置の全体構成を示すブロック図である。ここでは、図9に示した車両検知システム200に加えて、閾値設定部1100が追加されている。閾値設定部1100は、複数の評価音の各々に対して対象音を時間シフトさせながら、対応する時刻における評価音と対象音との差分値を順次算出して、前記差分値の最小値を算出し、前記複数の評価音に対応する複数の前記最小値のうちの最大値に基づいて、所定の閾値を設定する閾値設定手段の一例である。
車両検知システム300は、基本周期分析部301と、警告音出力部105とを備える。
基本周期分析部301は、閾値設定部1100と、音情報設定部700と、対象音準備部701と、評価音準備部103と、分析部104とを備える。
閾値設定部1100が、対象音準備部701が準備した対象音に基づいて閾値を設定する方法について説明する。この例では閾値設定部1100は図15における「選択信号S1100A」を用いて閾値S104を設定する。また、図15における「閾値情報S1100B」と「音情報S1100C」は用いない。
この例では、車両検知システムを出荷する前に、対象音準備部701には対象音の候補として、「バイク音」と「自動車のエンジン音」と「サイレン音」が記憶されている。また、対象音準備部701には対象音の候補ごとに対応する基本周期が記憶されている。また、閾値設定部1100には対象音準備部701が記憶した対象音の候補ごとに対応する閾値が記憶されている。ここでは、「バイク音の閾値」と「自動車のエンジン音の閾値」と「サイレン音の閾値」が記憶されている。これらの閾値は、対象音の候補ごとに、それらの基本波形パターンのゆらぎ幅を考慮して差分値の最小値のゆらぎによる変動の最大値より少し大きな値に設定してある。
図16A〜図16Eに閾値の設定方法を示す。図16Aには3周期分のバイク音Aの基本波形パターンが示されている。また、図16Bにはバイク音Bの基本波形パターンが示されている。また、図16Cにはバイク音Cの基本波形パターンが示されている。バイク音A、バイク音B、バイク音Cの基本波形パターンは、走行状態の影響によりゆらぎが発生している。図16Dには第1の実施の形態と同様に求めたバイク音A(評価音に対応)とバイク音B(対象音に対応)の差分値が示されている。また、図16Eには第1の実施の形態と同様に求めたバイク音A(評価音に対応)とバイク音C(対象音に対応)の差分値が示されている。図16Dと図16Eより、バイク音Aと、バイク音Bおよびバイク音Cは波形パターンの形状が少し異なるため差分値の最小値がゼロより少し大きな値になる。ここで、バイク音Bもバイク音Cも対象音であるバイク音であるため、バイク音Aとバイク音Bの差分値の最小値と、バイク音Aとバイク音Cとの差分値とを比較したときの大きい方の値より少し大きな値を閾値Θとする。この例ではバイク音Aとバイク音Cとの差分値の最小値は、バイク音Aとバイク音Bとの差分値の最小値より大きいため、バイク音Aとバイク音Cとの差分値の最小値より少し大きな値に閾値を設定する。
音情報設定部700は、対象音に関する音情報S700を設定して対象音準備部701へ出力する。対象音準備部701は、音情報S700に基づいて対象音S101を準備して、また対象音S101の基本周期S105を準備して、対象音S101と基本周期S105を分析部104へ出力する。閾値設定部1100は、対象音準備部701が準備した対象音S101に基づいて閾値S104を設定する。評価音準備部103は、評価音S100を入力して分析部104へ出力する。分析部104は、評価音S100に対して対象音S101を時間シフトさせながら、対応する時刻における評価音S100と対象音S101との差分値を順次算出する。分析部104は、閾値S104以下である差分値における繰り返し時間間隔の周期と対象音S101の基本周期S105とに基づいて、評価音S100中に対象音S101が存在するか否かを分析する。分析部104は、評価音S100において対象音S101が存在する場合に検知信号S102を警告音出力部105へ出力する。警告音出力部105は、検知信号S102を入力したときに警告音S103を利用者へ提示する。
次に、以上のように構成された車両検知システム300の動作について説明する。
図17は、車両検知システム300の動作手順を示すフローチャートである。
この例では、音情報設定部700は、対象音の候補を提示して利用者に対象音を選択させて選択信号を作成する(ステップ800)。この例ではバイク音が選択される。
次に、対象音準備部701は、音情報S700である選択信号S1100Aに対応する対象音を対象音S101とする(ステップ801)。この例ではバイク音が対象音S101となる。また、選択信号S1100Aに対応する対象音S101の基本周期を基本周期S105とする。この例では基本周期S105はバイク音の基本周期である2.9ms〜3.2msである。
ここでのステップ800、ステップ801は、第1の実施の形態における第1の変形例の他の例と同じなので説明を省略する。
次に、閾値設定部1100は、閾値設定部1100が記憶した閾値から、対象音準備部701が準備した対象音S101に対応する閾値を閾値S104に設定する。この例ではバイク音が対象音として選択されるためバイク音に対応した閾値が閾値S104となる(ステップ1200)。
次に、車両検知システム300を起動することで、評価音準備部103は、マイクを用いて評価音S100である利用者の周辺の音を取り込み始める(ステップ201)。
次に、利用者の周辺の音から構成された評価音S100の中に、対象音準備部102が準備した対象音S101であるバイク音の基本周期が含まれているか否かを分析する(ステップ202)。
次に、警告音の提示をするか否かを判断して対象音が存在するときに警告音を出力する(ステップ203)。
ここでのステップ201、ステップ202、ステップ203は、第1の実施の形態と同じなので説明を省略する。
最後に、これらのステップ201からステップ203の動作を車両検知システム300が停止されるまで繰り返す(ステップ204)。
以上説明したように、分析部104は対象音に対応した閾値を用いて基本周期を分析できるため、存在するか否かを判定する対象音を切り替えることができる。
〈もう一つの他の例〉
利用者が閾値設定部1100を用いて閾値を設定する方法について説明する。この例では閾値設定部1100は図15における「閾値情報S1100B」を用いて閾値S104を設定する。また、図15における「選択信号S1100A」と「音情報S1100C」は用いない。
この例では、車両検知システム300を出荷する前に、対象音準備部701には対象音の候補として、「バイク音」と「自動車のエンジン音」と「サイレン音」が記憶されている。また、対象音準備部701には対象音の候補ごとに対応する基本周期が記憶されている。また、分析部104には閾値S104が記憶されている。この閾値は、対象音の候補の全て音の基本波形パターンのゆらぎ幅を考慮して差分値の最小値のゆらぎによる変動の最大値より少し大きな値に設定してある。
音情報設定部700は、対象音に関する音情報S700を設定して対象音準備部701へ出力する。対象音準備部701は、音情報S700に基づいて対象音S101を準備して、また対象音S101の基本周期S105を準備して、対象音S101と基本周期S105を分析部104へ出力する。閾値設定部1100は、利用者が入力した閾値情報S1100Bに基づいて閾値S104を設定する。評価音準備部103は、評価音S100を入力して分析部104へ出力する。分析部104は、評価音S100に対して対象音S101を時間シフトさせながら、対応する時刻における評価音S100と対象音S101との差分値を順次算出する。分析部104は、閾値S104以下である差分値における繰り返し時間間隔の周期と対象音S101の基本周期とに基づいて、評価音S100中に対象音S101が存在するか否かを判断する。分析部104は、対象音S101が存在すると判断した場合に検知信号S102を警告音出力部105へ出力する。警告音出力部105は、検知信号S102を入力したときに警告音S103を利用者へ提示する。
次に、以上のように構成された車両検知システム300の動作について説明する。
図17は、車両検知システム300の動作手順を示すフローチャートである。
はじめに、音情報設定部700は、対象音の候補を提示して利用者に対象音を選択させて選択信号を作成する(ステップ800)。この例ではバイク音が選択される。
次に、対象音準備部701は、音情報S700である選択信号に対応する対象音を対象音S101とする(ステップ801)。この例ではバイク音が対象音S101となる。
ここでのステップ800、ステップ801は、第1の実施の形態における第1の変形例の他の例と同じなので説明を省略する。
次に、閾値設定部1100は、利用者が入力した閾値情報S1100Bである閾値の値を閾値S104とする(ステップ1200)。なお、他の方法としては、利用者が入力した閾値情報S1100Bである閾値の増減量に応じて分析部104が記憶した閾値を調節して閾値S104とすることもできる。
図18Aおよび図18Bに、利用者が閾値情報を入力する方法の一例を示す。図18Aには利用者が閾値の値を入力する方法が示されている。利用者はつまみにより閾値の値を入力する。このときディスプレイには代表的な対象音同士の差分値と設定中の閾値が表示される。つまりつまみを左右に動かすことにより設定中の閾値の値が変化するとともに画面上の閾値のラインも上下する。これにより利用者は閾値の値を直感的に設定しやすくなる。図18Bには記憶されている閾値からの閾値の増減量を入力する方法が示されている。利用者はつまみにより閾値の増減量を入力する。このとき記憶されている閾値がΘ0で閾値の増減量がΔΘであれば閾値S104はΘ0+ΔΘとなる。そしてディスプレイに表示された値より閾値の増減量と閾値の値を確認できる。
次に、車両検知システム300を起動することで、評価音準備部103は、マイクを用いて評価音S100である利用者の周辺の音を取り込み始める(ステップ201)。
次に、利用者の周辺の音から構成された評価音S100の中に、対象音準備部102が準備した対象音S101であるバイク音が含まれているか否かを分析する(ステップ202)。
次に、警告音の提示をするか否かを判断して対象音が存在するときに警告音を出力する(ステップ203)。
ここでのステップ201、ステップ202、ステップ203は、第1の実施の形態と同じなので説明を省略する。
最後に、これらのステップ201からステップ203の動作を車両検知システム300が停止されるまで繰り返す(ステップ204)。
以上説明したように、利用者は閾値設定部1100を用いて対象音に適切な閾値を設定できる。これにより分析誤りを減少できる。
〈さらにもう一つの他の例〉
閾値設定部1100は、対象音準備部701が準備した対象音S101の基本波形パターンのゆらぎ幅に基づいて閾値を設定する方法について説明する。この例では閾値設定部1100は図15における「音情報S1100C」を用いて閾値S104を設定する。また、図15における「選択信号S1100A」と「閾値情報S1100B」は用いない。
音情報設定部700は、対象音に関する音情報S700である対象音を含む音を対象音準備部701へ出力する。対象音準備部701は、音情報S700に基づいて対象音S101を準備して、また対象音S101の基本周期S105を準備して、対象音S101と基本周期S105を分析部104へ出力する。閾値設定部1100は、対象音準備部701が準備した対象音S101の基本波形パターンのゆらぎ幅に基づいて閾値を設定する。評価音準備部103は、評価音S100を入力して分析部104へ出力する。分析部104は、評価音S100に対して対象音S101を時間シフトさせながら、対応する時刻における評価音S100と対象音S101との差分値を順次算出する。分析部104は、閾値S104以下である差分値における繰り返し時間間隔の周期と対象音S101の基本周期S105とに基づいて、評価音S100中に対象音S101が存在するか否かを分析する。分析部104は、評価音S100において対象音S101が存在する場合に検知信号S102を警告音出力部105へ出力する。警告音出力部105は、検知信号S102を入力したときに警告音S103を利用者へ提示する。
次に、以上のように構成された車両検知システム300の動作について説明する。
図17は、車両検知システム300の動作手順を示すフローチャートである。
はじめに、音情報設定部700は、マイクを用いて音情報S700であるバイク音を取り込み対象音準備部701へ出力する(ステップ800)。
次に、対象音準備部701は、音情報S700であるバイク音の一部を切り取ることで対象音S101を準備する(ステップ801)。また、バイク音の基本周期を求めて基本周期S105とする。この例では、バイク音の基本周期の求め方は、対象とする音はバイク音のみでありバイク音と同じ基本周期をもつ他の音が含まれていないため第1の従来技術の方法を用いる。
ここでのステップ800、ステップ801は、第1の実施の形態おける第1の変形例と同じなので説明を省略する。
次に、閾値設定部1100は、対象音S1100Cとして音情報S700であるバイク音を音情報S1100Cとして入力して、閾値S104を、バイク音の基本波形パターンのゆらぎ幅を考慮して差分値の最小値のゆらぎによる変動の最大値より少し大きな値に設定する(ステップ1200)。すなわち対象音S101の基本波形パターンのゆらぎ幅を考慮して閾値S104を設定する。この例では図16A〜図16Eに示した方法と同様な方法で閾値S104を設定する。
次に、車両検知システム300を起動することで、評価音準備部103は、マイクを用いて評価音S100である利用者の周辺の音を取り込み始める(ステップ201)。
次に、利用者の周辺の音から構成された評価音S100の中に、対象音準備部102に記憶された対象音S101であるバイク音の基本周期が含まれているか否かを分析する(ステップ202)。
次に、警告音の提示をするか否かを判断して対象音が存在するときに警告音を出力する(ステップ203)。
ここでのステップ201、ステップ202、ステップ203は、第1の実施の形態と同じなので説明を省略する。
最後に、これらのステップ201からステップ203の動作を車両検知システム300が停止されるまで繰り返す(ステップ204)。
以上説明したように、閾値設定部1100は、対象音に適切な閾値を自動的に求めることができるため閾値を事前に準備する必要がない。これにより、利用者は分析する対象音を追加した場合に追加した対象音に対して閾値を設定する必要がなく使い勝手がよい。
以上説明したように、本発明の第1の実施の形態の第2の変形例によれば、閾値設定部1100を用いて分析部104が用いる閾値を制御できるため、複数の対象音に対して適切な閾値が設定でき複数の対象音の各々について当該対象音が存在するか否かを分析することができる。また、閾値を適切に制御することにより対象音が存在するか否かの分析誤りを減少させることができる。
ここで、分析部により対象音が存在するか否かを分析する他の方法について補足する。この例では、評価音の一部を切り出して対象音とし、評価音の基本周期を求めることにより、対象音が存在するか否かを分析する方法について述べる。この例では対象音の基本周期は基本周期分析部には記憶されていない。
図19A〜図19Cにはこの例における基本周期の分析方法が示されている。図19Aには評価音が示されており基本周期が同じ2種類の音から構成されている。図19Bには評価音から切り出された対象音の一例が示されている。図19B(a)は図19AのAの部分を切り取って作成した対象音Aであり、図19B(b)は図19AのBの部分を切り取って作成した対象音Bである。それらは異なる種類の音の1周期分の波形パターンである。
ここで、第1の実施の形態と同様にして、評価音と対象音Aの差分値を求める。また、第1の実施の形態と同様にして、評価音と対象音Bの差分値を求める。求めた差分値を図19Cに示す。図19C(a)は対象音Aを用いたときの差分値である。また、図19C(b)は対象音Bを用いたときの差分値である。図19C(a)より、対象音Aが含まれている時間のみ基本周期が現れるため、その時間において対象音Aが存在して対象音Aの基本周期はWであると分析することができる。同時に、図19C(b)より、対象音Bが含まれている時間のみ基本周期が現れるため、その時間において対象音Bが存在して対象音Bの基本周期はWであると分析することができる。これら2つの結果を合わせると、評価音には2種類の音が含まれそれらの基本周期がWであることがわかり、また、2種類の音が切り替わる時刻もわかる。
(第2の実施の形態)
図20は、本発明の、第2の実施の形態における対象音分析装置の全体構成を示すブロック図である。ここでは、本発明に係る対象音分析装置が補聴システムに組み込まれた一例が示されている。本実施の形態では、音声の基本周期を分析することにより、3人の話者が同時に発声している混合音の中から特定の話者の声を抽出する場合を例にして説明する。この例では周波数帯域ごとに対象音の基本周期を分析し、対象音が存在することを判定する方法について説明する。
図21Aおよび図21Bには、Aさんの音声の波形パターンおよびAさんを含む3人の音声を混合した混合音の波形パターンがそれぞれ示されている。図21AよりAさんの音声は周期的な音であることがわかる。また、Aさん以外の人の音声も周期的な音である。この例では、図21Bに示される3人の音声が混合した混合音から図21Aに示されるAさんの音声を抽出して、Aさんの音声だけを利用者に提供する場合について説明する。
補聴システム1700は、基本周期分析部1701と、音抽出部1705とを備える。基本周期分析部1701は、対象音準備部1702と、評価音準備部1703と、分析部1704とを備える。
対象音準備部1702には対象音を周波数分析して得られる周波数帯域ごとの対象音周波数パターンS1702と対象音の基本周期S1706が記憶されている。分析部1704には閾値S1705が記憶されている。対象音準備部1702は、対象音周波数パターンS1702と基本周期S1706を分析部1704へ出力する。評価音準備部1703は、評価音S1700を入力して評価音S1700を周波数分析して周波数帯域ごとの評価音周波数パターンS1701を分析部1704へ出力する。分析部1704は、周波数帯域ごとに、評価音周波数パターンS1701に対して対象音周波数パターンS1702を時間シフトさせながら、対応する時刻における評価音周波数パターンS1701と対象音周波数パターンS1702との差分値を順次算出する。分析部1704は、閾値S1705以下である差分値における繰り返し時間間隔の周期と対象音の基本周期S1706とに基づいて、評価音S1700において対象音が存在する時間−周波数領域に関する情報である領域情報S1703を音抽出部1705へ出力する。音抽出部1705は、領域情報S1703と評価音周波数パターンS1701を用いて対象音を抽出して利用者へ提示する。
対象音準備部1702は、対象音を周波数分析することにより得られる対象音周波数パターンを準備する対象音準備手段の一例である。
評価音準備部1703は、評価音を周波数分析することにより得られる評価音周波数パターンを準備する評価音準備手段の一例である。
分析部1704は、前記評価音周波数パターンに対して前記対象音周波数パターンを時間シフトさせながら、対応する時刻における前記評価音周波数パターンと前記対象音周波数パターンとの差分値を順次算出して、前記差分値が所定の閾値以下となる時刻の繰返し間隔を算出し、当該繰返し間隔の周期と前記対象音の基本周期とに基づいて、前記評価音に前記対象音が存在するか否かを判定する分析手段の一例である。
次に、以上のように構成された補聴システム1700の動作について説明する。
図22は、補聴システム1700の動作手順を示すフローチャートである。
この例では、補聴システムを出荷する前に、対象音準備部1702には対象音周波数パターンS1702としてAさんの音声を周波数分析して得られる周波数帯域ごとの周波数パターンが記憶されており(ステップ1800)、さらに対象音であるAさんの音声の基本周期S1706が記憶されている。また、分析部1704には周波数帯域ごとに閾値S1705が記憶されている。この例では対象音であるAさんの音声の基本周期S1706は3ms〜12msである。また、ここでの対象音周波数パターンは第1の実施の形態における対象音を離散フーリエ変換することで得られる。ただしこの例では対象音はバイク音ではなくAさんの音声である。
図23に、対象音周波数パターンS1702を求める方法の概念図を示す。ある時刻における対象音周波数パターンS1702を
Figure 0004065314
と表現する。ここで、Nはフーリエ変換の窓長であり対象音の長さWより短くする。ここでkは分析する周波数帯域のインデックスである。なお、
Figure 0004065314
は対象音であり、
Figure 0004065314
は分析波形パターンである。
そして、対象音周波数パターンS1702は
Figure 0004065314
と表現できる。ここでtは分析する対象音の始端の時刻である。対象音周波数パターンは対象音の周波数の時間構造を表現している。この例ではtを1ポイントずらしながら対象音周波数パターンを算出している。
はじめに、補聴システム1700を起動することで、評価音準備部1703は、マイクを用いて評価音S1700である利用者の周辺の音である3人の音声の混合音を取り込み始める。この例ではAさんの音声の基本周期が数個含まれる30msの間隔で評価音を取り込む。すなわち混合音を30msごとに区分しながら入力してAさんの基本周期を分析することになる。そして、評価音S1700を周波数分析して、周波数帯域ごとの評価音周波数パターンS1701を作成する(ステップ1801)。評価音周波数パターンを作成する方法は、対象音周波数パターンを作成する方法と同じで対象音を評価音S1700に置き換えて算出する。ある時刻における評価音周波数パターンを
Figure 0004065314
と表現する。ここで、Nはフーリエ変換の窓長であり評価音S1700の長さLより短くする。ここでkは分析する周波数帯域のインデックスである。なお、
Figure 0004065314
は評価音である。
そして、評価音周波数パターンS1701は
Figure 0004065314
と表現できる。
次に、3人の音声の混合音から構成された評価音S1700の中に、対象音準備部1702に記憶された対象音であるAさんの音声の基本周期が含まれているか否かを分析する(ステップ1802)。具体的には、分析部1704において、周波数帯域ごとに、評価音周波数パターンS1701に対して対象音周波数パターンS1702を時間シフトさせながら、対応する時刻における評価音周波数パターンS1701と対象音周波数パターンS1702との差分値を順次算出する。分析部1704は、閾値S1705以下である差分値における繰り返し時間間隔に基づいて、対象音の基本周期を分析する。そして、分析部1704は、基本周期S1706を用いて評価音S1700において対象音が存在する時間−周波数領域に関する情報である領域情報S1703を音抽出部1705へ出力する。
図24A〜図24Cに、分析部1704における対象音の基本周期を分析する方法の一例を示す。この例では、周波数帯域kの評価音周波数パターンが対象音(対象音周波数パターン)である場合が示されている。この例では周波数帯域ごとに差分値を求める。
図24Aには周波数帯域kの評価音周波数パターンの一例が示されている。この例では現時刻から遡って30msの混合音の周波数パターンを切り出して評価音周波数パターンXHk(t)としている。この例では評価音周波数パターンは5周期分の対象音であるAさんの音声から構成されている。
図24Bには周波数帯域kの対象音周波数パターンの一例が示されている。この例では2周期分のAさんの音声の周波数パターンを対象音周波数パターンXTk(t)としている。
図24Cには、周波数帯域kにおいて、評価音周波数パターンS1701に対して対象音周波数パターンS1702を時間シフトしたときの差分値が示されている。この例では差分値としてユークリッド距離を用いている。ここで差分値を
Figure 0004065314
と表現する。ここでmは時間を離散化した値であり、差分値を求める評価音周波数パターンS1701の始端の時刻に対応する。この差分値は時間幅(W―N)での評価音周波数パターンと対象音周波数パターンとの差分を総和した値である。この例では評価音周波数パターンが対象音周波数パターンであるため、差分値の繰り返し時間間隔は対象音の基本周期S1706(3ms〜12ms)と一致する。この例では6msである。
ここで、閾値S1705を導入する。ここで周波数帯域kにおける閾値S1705をΘkと表現する。この例では、閾値S1705は、補聴システムを出荷する前に分析部1704に記憶されており、対象音周波数パターンの基本波形パターンのゆらぎ幅を考慮して差分値の最小値のゆらぎによる変動の最大値より少し大きな値に設定してある。
図24Cには、周波数帯域kにおける、対象音の基本周期の分析方法が示されている。この例では閾値Θk以下である数29に示す差分値の繰り返し時間間隔を求める。この例では評価音周波数パターンが対象音周波数パターンであるため、差分値の最小値はゼロに極めて近い値になる。そのため閾値Θk以下である差分値の繰り返し時間間隔は、閾値を考慮しない差分値の繰り返し時間間隔と一致する。これより評価音周波数パターンS1701の基本周期は6msとなる。
次に、評価音周波数パターンの基本周期は6msであり、対象音の基本周期S1706である3ms〜12msの範囲であるため、評価音周波数パターンS1701において対象音が存在すると判定して「周波数帯域kに対象音が存在する」という領域情報S1703を作成する。
また、図25A〜図25Cに、分析部1704において、評価音周波数パターンが、対象音(対象音周波数パターン)とは異なる対象音とは同じ基本周期をもつ音の周波数パターンである場合の一例を示す。
図25Aには周波数帯域kの評価音周波数パターンの一例が示されている。この例でも現時刻から遡って30msの混合音の周波数パターンを切り出して評価音周波数パターンXHk(t)としている。この例では評価音周波数パターンは5周期分の対象音とはことなるBさんの音声から構成されており、基本周期は対象音と同じで6msである。
図25Bには周波数帯域kの対象音周波数パターンの一例が示されている。この例では図24Bと同様に2周期分のAさんの音声の周波数パターンを対象音周波数パターンXTk(t)としており基本周期は6msである。
図25Cには、周波数帯域kの評価音周波数パターンS1701に対して対象音周波数パターンS1702を時間シフトしたときの差分値が示されている。この例でも図24Cと同様に差分値としてユークリッド距離を用いている。この例では評価音周波数パターンが対象音(対象音周波数パターン)とは同じ基本周期をもつ音であるため、差分値の繰り返し時間間隔は対象音の基本周期と一致して6msとなる。
ここで、閾値S1705を導入する。この例でも、閾値S1705は、補聴システムを出荷する前に分析部1704に記憶されており、対象音周波数パターンの基本波形パターンのゆらぎ幅を考慮して差分値の最小値のゆらぎによる変動の最大値より少し大きな値に設定してある。この値は図24Cの例と同じである。
図25Cには、周波数帯域kにおける、対象音の基本周期の分析方法が示されている。この例では閾値Θk以下である数29に示す差分値の繰り返し時間間隔を求める。この例では、評価音周波数パターンが対象音(対象音周波数パターン)とは異なる音であるため、差分値の最小値はゼロから離れて大きな値になる。そのため閾値Θk以下である差分値の繰り返し時間間隔は存在しない。
次に、評価音周波数パターンの基本周期は存在せず、対象音の基本周期S1706である3ms〜12msの範囲にないため、評価音周波数パターンS1701において対象音が存在しないと判定して「周波数帯域kに対象音が存在しない」という領域情報S1703を作成する。
なお、周波数帯域kの評価音周波数パターンが対象音と基本周期が異なる音である場合には、分析部1704において、周波数帯域kの評価音周波数パターンS1701の基本周期には対象音の基本周期S1706が現れないため、評価音周波数パターンS1701において対象音が存在しないと判定され「周波数帯域kに対象音が存在しない」という領域情報S1703が作成される。
これらの処理を全ての周波数帯域k(k=1,2,…,N)に対して行い最終的な領域情報S1703を作成する。
次に、音抽出部1705は、領域情報S1703と評価音周波数パターンS1701を用いて対象音を抽出して利用者へ提示する(ステップ1803)。
この例では、評価音周波数パターンS1701において、領域情報S1703で「周波数帯域kに対象音が存在しない」と記載された時間−周波数領域の周波数パターンをゼロの値に置き換えて、「周波数帯域kに対象音が存在する」と記載された時間−周波数領域の周波数パターンは評価音周波数パターンS1701を用いて、抽出音の周波数パターンを作成する。そして抽出音の周波数パターンを逆フーリエ変換することにより抽出音S1704を作成して利用者にスピーカを用いて提示する。
最後に、これらのステップ1801からステップ1803の動作を補聴システム1700が停止されるまで繰り返す(ステップ1804)。
以上説明したように、本発明の第2の実施の形態によれば、評価音周波数パターンと対象音周波数パターンの差分値を算出して、所定の閾値以下である差分値における繰り返し間隔に基づいて基本周期を分析するため、対象音とは異なる対象音と同じ基本周期をもつ音と対象音とを区別して基本周期を分析することができる。ここでは、評価音と対象音を周波数分析した評価音周波数パターンと対象音周波数パターンを用いるため、周波数帯域ごとに基本周期を分析できる。例えば、周波数帯域ごとに混合音の周波数パターンから対象音の周波数パターンを抽出することで混合音分離が実現できる。これにより、評価音中に対象音が含まれているか否かを判定することができる。
〈第2の実施の形態の変形例〉
第2の実施の形態における変形例について説明する。図26は、本発明の、第2の実施の形態における変形例における対象音分析装置の全体構成を示すブロック図である。ここでは、図20に示した補聴システム1700に加えて音情報設定部2300が追加されている。
補聴システム1800は、基本周期分析部1801と、音抽出部1705とを備える。基本周期分析部1801は、音情報設定部2300と、対象音準備部2301と、評価音準備部1703と、分析部1704とを備える。
分析部1704には閾値S1705が記憶されている。音情報設定部2300は、対象音に関する音情報S2300を設定して対象音準備部2301へ出力する。対象音準備部2301は、音情報S2300に基づいて対象音周波数パターンS1702を準備して、また対象音の基本周期S1706を準備して、対象音周波数パターンS1702と基本周期S1706を分析部1704へ出力する。評価音準備部1703は、評価音S1700を入力して評価音S1700を周波数分析して周波数帯域ごとの評価音周波数パターンS1701を分析部1704へ出力する。分析部1704は、周波数帯域ごとに、評価音周波数パターンS1701に対して対象音周波数パターンS1702を時間シフトさせながら、対応する時刻における評価音周波数パターンS1701と対象音周波数パターンS1702との差分値を順次算出する。分析部1704は、閾値S1705以下である差分値における繰り返し時間間隔の周期と対象音の基本周期S1706とに基づいて、評価音S1700において対象音が存在する時間−周波数領域に関する情報である領域情報S1703を音抽出部1705へ出力する。音抽出部1705は、領域情報S1703と評価音周波数パターンS1701を用いて対象音を抽出して利用者へ提示する。
次に、以上のように構成された補聴システム1800の動作について説明する。
図27は、補聴システム1800の動作手順を示すフローチャートである。
この例では、補聴システム1800を出荷する前に分析部1704には閾値S1705が記憶されている。この例では全ての周波数帯域に対して閾値S1705はゼロより少し大きな値である0.5に設定している。
はじめに、音情報設定部2300は、マイクを用いて音情報S2300であるAさんの音声を取り込み対象音準備部2301へ出力する(ステップ2400)。
次に、対象音準備部2301は、音情報S2300であるAさんの音声の一部を切り取り周波数分析することで対象音周波数パターンS1702を準備する(ステップ2401)。この例では第2の実施の形態と同様にして離散フーリエ変換により対象音周波数パターンを作成する。またAさんの音声の基本周期を求めて基本周期S1706とする。この例では、Aさんの音声の基本周期の求め方は、対象とする音はAさんの音声のみでありAさんの音声と同じ基本周期をもつ他の音が含まれていないため第1の従来技術の方法を用いる。
次に、補聴システム1800を起動することで、評価音準備部1703は、マイクを用いて評価音S1700である利用者の周辺の音である3人の音声の混合音を取り込み始める。そして、評価音S1700を周波数分析して、周波数帯域ごとの評価音周波数パターンS1701を作成する(ステップ1801)。
次に、3人の音声の混合音から構成された評価音周波数パターンS1701の中に、対象音準備部2301が準備した対象音周波数パターンS1702であるAさんの音声の基本周期が含まれているか否かを分析して領域情報1703を作成する(ステップ1802)。
次に、音抽出部1705は、領域情報S1703と評価音周波数パターンS1701を用いて対象音を抽出して利用者へ提示する(ステップ1803)。
ここでのステップ1801、ステップ1802、ステップ1803は、第2の実施の形態と同じなので説明を省略する。
最後に、これらのステップ1801からステップ1803の動作を補聴システム1800が停止されるまで繰り返す(ステップ1804)。
以上説明したように、対象音準備部2301は、音情報設定部2300が入力した対象音を準備する対象音とするため、対象音準備部2301は、対象音の候補となる複数の音を事前に記憶する必要がなく記憶容量を小さくできる。
〈他の例〉
音情報設定部2300と対象音準備部2301の他の例を説明する。
図27は、補聴システム1800の動作手順を示す他のフローチャートである。
この例では、補聴システム1800を出荷する前に、対象音準備部2301には対象音周波数パターンの候補として、Aさんの音声の周波数パターン、Bさんの音声の周波数パターン、Cさんの音声の周波数パターンが記憶されている。また、対象音準備部2301には対象音(対象音周波数パターン)の候補ごとに対応する基本周期が記憶されている。また、分析部1704には周波数帯域ごとに閾値S1705が記憶されている。
はじめに、音情報設定部2300は、利用者に対象音の候補を提示する。ここではAさんの音声が選択され「Aさんの音声」という選択信号を作成する(ステップ2400)。
次に、対象音準備部2301は、音情報S2300である選択信号に対応する対象音周波数パターンを対象音周波数パターンS1702とする(ステップ2401)。この例ではAさんの音声の周波数パターンが対象音周波数パターンS1702である。また、選択信号に対応する対象音の基本周期を基本周期S1706とする。この例では基本周期S1706はAさんの音声の基本周期である3ms〜12msである。
次に、補聴システム1800を起動することで、評価音準備部1703は、マイクを用いて評価音S1700である利用者の周辺の音である3人の音声の混合音を取り込み始める。そして、評価音S1700を周波数分析して、周波数帯域ごとの評価音周波数パターンS1701を作成する(ステップ1801)。
次に、3人の音声の混合音から構成された評価音周波数パターンS1701の中に、対象音準備部2301が準備した対象音周波数パターンS1702であるAさんの音声の基本周期が含まれているか否かを分析して領域情報1703を作成する(ステップ1802)。
次に、音抽出部1705は、領域情報S1703と評価音周波数パターンS1701を用いて対象音を抽出して利用者へ提示する(ステップ1803)。
ここでのステップ1801、ステップ1802、ステップ1803は、第2の実施の形態と同じなので説明を省略する。
最後に、これらのステップ1801からステップ1803の動作を補聴システム1800が停止されるまで繰り返す(ステップ1804)。
以上説明したように、対象音準備部2301が記憶した対象音周波数パターンの候補を用いて対象音周波数パターンを準備できるため、対象音を入力して周波数分析して対象音周波数パターンを作成する必要がない。これにより、対象音を入力できない場合でも対象音の有無を分析することができる。例えば、騒音下でのAさんの音声の基本周期を分析する場合に、騒音下では静かな環境でのAさんの音声を収音することはできないが、対象音準備部2301が記憶した静かな環境でのAさんの音声を周波数分析して作成した対象音周波数パターンを用いることでAさんの音声の有無を分析することができる。また、対象音を入力する時間や入力した対象音を周波数分析する時間を省略できるためリアルタイム処理が可能である。
なお、第1の実施の形態の第2の変形例と同様にして、閾値設定部を追加して、分析部1704が用いる閾値を制御してもよい。これにより、複数の対象音に対して適切な閾値が設定でき複数の対象音に対して基本周期を分析できる。また、閾値を適切に制御することにより基本周期の分析誤りを減少できる。また、第1の実施の形態の第2の変形例では対象音ごとに閾値を設定していたが、さらに、周波数帯域ごとに閾値を設定してもよい。これにより、さらに分析誤りを減少できる。
〈もう一つの他の例〉
好ましくは、対象音準備部2301は、対象音と所定の周波数成分から構成される非周期な分析波形パターンとの相互相関により算出される、振幅スペクトルおよび位相スペクトルの少なくとも一方を含む対象音周波数パターンを準備して、評価音準備部1703は、評価音と上記分析波形パターンとの相互相関により算出される、振幅スペクトルおよび位相スペクトルの少なくとも一方を含む評価音周波数パターンを準備する。
図28に、非周期な分析波形パターンの一例が示されている。この例では、1.5周期分のコサイン波形パターンとサイン波形パターンを分析波形パターンとする。具体的には、第2の実施の形態における、数22と数26の右辺の総和をとるnの範囲を、分析する周波数帯域kごとに、数24のコサイン波形パターンとサイン波形パターンが1.5周期分となるように設定して周波数パターンを求める。具体的には数25と数28の右辺の総和のNの値を周波数帯域kごとに1.5周期となるように調節して周波数パターンを求める。
これによって、非周期な分析波形パターンを用いて作成された、対象音周波数パターンおよび評価音周波数パターンを用いて対象音の基本周期を分析するため、対象音および評価音の周期的特徴が現れるため対象音の基本周期が分析できる。例えば、対象音の基本周期よりも高い周波数帯域における対象音周波数パターンにも対象音の基本周期が現れるため、対象音の基本周期に対応する周波数帯域に雑音が付加されても基本周期を分析できる。また、全ての周波数帯域において対象音周波数パターンに対象音の基本周期が現れるため周波数帯域ごとに基本周期を分析できる。これにより、評価音中に対象音が含まれているか否かを判定することができる。
〈さらにもう一つの他の例〉
好ましくは、対象音準備部2301は、対象音と、所定の周波数成分から構成される分析波形パターンの一部を構成し所定の時間分解能を有する複数の局所分析波形パターンとの、それぞれの相互相関により算出される、振幅スペクトルおよび位相スペクトルの少なくとも一方を含む対象音周波数パターンを準備する。評価音準備部1701は、評価音と上記複数の局所分析波形パターンとの、それぞれの相互相関により算出される、振幅スペクトルおよび位相スペクトルの少なくとも一方を含む評価音周波数パターンを準備する。分析部1704は、上記複数の局所分析波形パターンを用いて準備された対象音周波数パターンと、上記複数の局所分析波形パターンを用いて準備された評価音周波数パターンとを、それぞれ一組のデータとして用いて対象音の基本周期を分析し、対象音の有無を判定する。
図29に対象音周波数パターンおよび評価音周波数パターンの作成方法の一例を示す。
図29(a)に3周期分のコサイン波形パターンから構成される分析波形パターンが示されている。この分析波形パターンを評価音または対象音に畳み込んで周波数パターンを作成した場合、3周期分のコサイン波形パターンで1つの値を求めるため時間分解能は3周期分のコサイン波形パターンの長さになる。
一方、図29(b)のように、分析波形パターンの一部を構成し所定の時間分解能を有する複数の局所分析波形パターンを準備して、局所波形パターンごとに1つの値を求めると時間分解能は細かくなる。この例では0.5周期分のコサイン波形パターンの長さになる。これにより時間分解能を細かくすることで時間的な周波数構造の変化が現れ、基本周期の形状が明確になる。
ここで、複数の局所分析波形パターンを用いて準備された周波数パターンを一組のデータとして用いることで、3周期分のコサイン波形パターンで求めた周波数パターンがもつ周波数情報を扱えることについて述べる。
この例では離散コサイン変換を用いて周波数パターンを作成する。
3周期分のコサイン波形パターンから構成される分析波形パターンでの周波数パターンを
Figure 0004065314
と表現して、局所分析波形パターンでの周波数パターンを
Figure 0004065314
Figure 0004065314
Figure 0004065314
Figure 0004065314
Figure 0004065314
Figure 0004065314
と表現する。ただし
Figure 0004065314
でありNは離散コサイン変換の窓長のサンプル数である。また、評価音または対象音を
Figure 0004065314
としている。ここで、分析波形パターンでの周波数パターンと局所分析波形パターンでの周波数パターンの関係は、
Figure 0004065314
と表現できる。
これにより、6個の局所分析波形パターンを用いて準備された周波数パターンを一組のデータとして用いることで分析波形パターンでの周波数パターンを作成することができるため、局所分析波形パターンでの周波数パターンを一組のデータとして用いることで分析波形パターンでの周波数パターンと同等に扱うことができる。
このように、6個の局所分析波形パターンでの周波数パターンをひとかたまりのデータとして扱ったものは、分析波形パターンでの周波数パターンがもつ周波数情報に、さらに時間的な周波数構造の変化に関する情報を付加したものであることがわかる。
図30には、周波数パターンの他の作成方法の一例が示されている。
図30(a)に、図29(a)と同じ3周期分のコサイン波形パターンから構成される分析波形パターンが示されている。この分析波形パターンを評価音または対象音に畳み込んで周波数パターンを作成した場合、3周期分のコサイン波形パターンで1つの値を求めるため時間分解能は3周期分のコサイン波形パターンの長さになる。
一方、図30(b)のように、分析波形パターンの一部を構成し所定の時間分解能を有する複数の局所分析波形パターンを準備して、局所波形パターンごとに1つの値を求めると時間分解能は細かくなる。この例では1周期分のコサイン波形パターンの長さになる。
この例でも、分析波形パターンの周波数パターンは3個の周波数パターンの和で表現できるため、3個の局所分析波形パターンを用いて準備された周波数パターンを一組のデータとして用いることで、3周期分のコサイン波形パターンで求めた周波数パターンと同等に扱うことができる。
図31(a)に、図30の局所分析波形パターンを用いて分析した3人の音声の混合音の、2KHzでの周波数パターンを示す。図31(b)に、図30の局所分析波形パターンを用いて分析したAさんの音声の、2KHzでの周波数パターンを示す。この例では、混合音の周波数パターンの中にAさんの音声の周波数パターンの基本周期が明確に現れることがわかる。
図32には、図30の例における、分析波形パターンでの周波数パターンと局所分析波形パターンでの周波数パターンとの関係が示されている。この例では対象音をBT(n)と表現して評価音をBH(n)と表現する。このときの対象音の分析波形パターンでの周波数パターンを
Figure 0004065314
と表現して、対象音の局所分析波形パターンでの周波数パターンを
Figure 0004065314
Figure 0004065314
Figure 0004065314
と表現する。ここでWは第2の実施の形態と同じであり、Nは離散コサイン変換の窓長のサンプル数であり、Ckは数37である。また、評価音の分析波形パターンでの周波数パターンを
Figure 0004065314
と表現して、対象音の局所分析波形パターンでの周波数パターンを
Figure 0004065314
Figure 0004065314
Figure 0004065314
と表現する。ここでWは第2の実施の形態と同じであり、Nは離散コサイン変換の窓長のサンプル数であり、Ckは数37である。
この例では、周波数帯域fにおいて、評価音周波数パターンに対して対象音周波数パターンを時間シフトしたときの差分値をユークリッド距離で表現する。このとき分析波形パターンでの周波数パターンでの差分値は
Figure 0004065314
と表現できる。
ここで、局所分析波形パターンでの周波数パターンの差分値を
Figure 0004065314
と表現する。
ここで図32を用いて周波数パターンXHと周波数パターンXTとの距離を考えると、分析波形パターンでの周波数パターンの距離は平面XHの切片XHfと平面XTの切片XTfとの距離であるのに対して、局所分析波形パターンでの周波数パターンの距離は、2つの平面XHと平面XTでの平面上の座標の距離をも考慮していることになる。すなわち周波数パターンの細かい時間パターンを考慮していることになる。
これによって、複数の局所分析波形パターンを用いて準備された対象音周波数パターンと、複数の局所分析波形パターンを用いて準備された評価音周波数パターンと、それぞれ一組のデータとして用いて基本周期を分析するため、分析波形パターンでの周波数分解能における周波数情報の時間的な周波数構造の変化が扱え、あたかも周波数分解能を細かくして基本周期を分析できる。
(第3の実施の形態)
図33は、本発明の、第3の実施の形態における対象音分析装置の全体構成を示すブロック図である。ここでは、本発明に係る対象音分析装置が車両検知システムに組み込まれた一例が示されている。本実施の形態では、バイク音の基本周期を分析することにより、利用者の周辺にバイク音が存在することを判定することで、利用者にバイクの接近を知らせる場合を例にして説明する。この例では、図2に示した基本周期分析部101の代わりに、基本周期分析部3003を用いている。基本周期分析部3003は、図20の基本周期分析部1701の構成に加えて、周波数設定部3000が追加されている。周波数設定部3000は、分析手段で用いる対象音周波数パターンおよび評価音周波数パターンの周波数帯域を設定する周波数設定手段の一例である。
車両検知システム3002は、基本周期分析部3003と、警告音出力部105とを備える。基本周期分析部3003は、対象音準備部1702と、評価音準備部1703と、周波数設定部3000と、分析部3001とを備える。
この例では、周波数設定部3000は、図33における「帯域情報AS3001A」を用いて帯域情報S3000を設定する。また、図33における「帯域情報BS3001B」と「帯域情報CS3001C」は用いない。
対象音準備部1702には対象音を周波数分析して得られる周波数帯域ごとの対象音周波数パターンS1702と対象音の基本周期S1706が記憶されている。分析部3001には閾値S1705が記憶されている。対象音準備部1702は、対象音周波数パターンS1702と基本周期S1706を分析部3001へ出力する。評価音準備部1703は、評価音S100を入力して評価音S100を周波数分析して周波数帯域ごとの評価音周波数パターンS1701を分析部3001へ出力する。周波数設定部3000は、帯域情報AS3001Aを入力して帯域情報S3000を作成して分析部3001へ出力する。分析部3001は、帯域情報S3000に基づいた周波数帯域において、評価音周波数パターンS1701に対して対象音周波数パターンS1702を時間シフトさせながら、対応する時刻における評価音周波数パターンS1701と対象音周波数パターンS1702との差分値を順次算出する。分析部3001は、閾値S1705以下である差分値における繰り返し時間間隔の周期と対象音の基本周期S1706とに基づいて、評価音S100中の対象音の有無を判断し、対象音が存在する場合に検知信号S102を警告音出力部105へ出力する。警告音出力部105は、検知信号S102を入力したときに警告音S103を利用者へ提示する。
次に、以上のように構成された車両検知システム3002の動作について説明する。
図34は、車両検知システム3002の動作手順を示すフローチャートである。
この例では、車両検知システムを出荷する前に、対象音準備部102には対象音周波数パターンS1702としてバイク音を周波数分析して得られる周波数帯域ごとの周波数パターンが記憶されており(ステップ1800)、さらに対象音であるバイク音の基本周期S1706が記憶されている。また、分析部3001には周波数帯域ごとに閾値S1705が記憶されている。
はじめに、車両検知システム3002を起動することで、評価音準備部1703は、マイクを用いて評価音S100である利用者の周辺の音を取り込み始める。そして、評価音S100を周波数分析して、周波数帯域ごとの評価音周波数パターンS1701を作成する(ステップ1801)。
次に、利用者は、周波数設定部3000を用いて基本周期を分析する周波数帯域を入力する。この例では対象音であるバイク音のパワーが大きい200Hzと500Hzの周波数帯域を入力する。そして、帯域情報S3000である「200Hz、500Hz」を分析部3001へ出力する(ステップ3100)。なお、評価音S100に含まれる雑音を考慮して200Hzに雑音が付加されている場合には500Hzのみを基本周波数を分析する周波数帯域に設定することもできる。
次に評価音S100の中に、対象音準備部1702に記憶された対象音であるバイク音の基本周期が含まれているか否かを分析する(ステップ3101)。この例では、帯域情報S3000は「200Hzと500Hz」であるため、200Hzにおける周波数パターンと500Hzの周波数パターンにおいて、第2の実施の形態と同様にして対象音の基本周期を分析する。次に、200Hzおよび500Hzの分析結果において、いずれか一方でも対象音が存在すると判定した場合に「対象音が存在する」という検知信号S102を警告音出力部105へ出力する。また、いずれの周波数帯域においても対象音が存在しないと判定した場合には検知信号S102を警告音出力部105へ出力しない。
次に、警告音出力部105は、検知信号S102が入力されたときに警告音S103を利用者へ提示する(ステップ203)。
ここでのステップ1800、ステップ1801、ステップ203は、第1の実施の形態と第2の実施の形態と同じなので説明を省略する。
最後に、これらのステップ1801、ステップ3100、ステップ3101、ステップ203の動作を車両検知システム3002が停止されるまで繰り返す(ステップ3102)。
以上説明したように、周波数設定部3000を用いて、分析部3001で用いる対象音周波数パターンおよび評価音周波数パターンの周波数帯域を制御できる。これにより、分析する周波数帯域を変更したり分析する周波数帯域の帯域幅を変更したりできる。例えば、対象音と雑音とが混合した評価音を分析する場合に、雑音のない周波数帯域を選択して評価音の基本周期を分析でき、これにより対象音の有無を判定することができる。
〈他の例〉
周波数設定部の他の例について説明する。
この例では、周波数設定部3000は、図33における「帯域情報BS3001B」と「帯域情報CS3001C」とを用いて帯域情報S3000を設定する。また、図33における「帯域情報AS3001A」は用いない。
対象音準備部1702には対象音を周波数分析して得られる周波数帯域ごとの対象音周波数パターンS1702と対象音の基本周期S1706が記憶されている。分析部3001には閾値S1705が記憶されている。対象音準備部1702は、対象音周波数パターンS1702と基本周期S1706を分析部3001へ出力する。評価音準備部1703は、評価音S100を入力して評価音S100を周波数分析して周波数帯域ごとの評価音周波数パターンS1701を分析部3001へ出力する。周波数設定部3000は、評価音S100である帯域情報CS3001Cと、対象音準備部1702から帯域情報BS3001Bを入力して帯域情報S3000を作成して分析部3001へ出力する。分析部3001は、帯域情報S3000に基づいた周波数帯域において、評価音周波数パターンS1701に対して対象音周波数パターンS1702を時間シフトさせながら、対応する時刻における評価音周波数パターンS1701と対象音周波数パターンS1702との差分値を順次算出する。分析部3001は、閾値S1705以下である差分値における繰り返し時間間隔の周期と対象音の基本周期S1706とに基づいて、評価音S100中に対象音が存在するか否かを判定する。分析部3001は、対象音が存在する場合に検知信号S102を警告音出力部105へ出力する。警告音出力部105は、検知信号S102を入力したときに警告音S103を利用者へ提示する。
次に、以上のように構成された車両検知システム3002の動作について説明する。
図34は、車両検知システム3002の動作手順を示すフローチャートである。
この例では、車両検知システムを出荷する前に、対象音準備部1702には対象音周波数パターンS1702としてバイク音を周波数分析して得られる周波数帯域ごとの周波数パターンが記憶されており(ステップ1800)、さらに対象音であるバイク音の基本周期S1706が記憶されている。また、分析部3001には周波数帯域ごとに閾値S1705が記憶されている。
はじめに、車両検知システム3002を起動することで、評価音準備部1703は、マイクを用いて評価音S100である利用者の周辺の音を取り込み始める。そして、評価音S100を周波数分析して、周波数帯域ごとの評価音周波数パターンS1701を作成する(ステップ1801)。
次に、周波数設定部3000は、帯域情報BS3001Bである対象音から対象音のパワーの大きい周波数帯域を選択する。ここでは200Hzと500Hzが選択される。また、帯域情報CS3001Cである評価音S100から評価音に含まれる雑音のパワーの大きい周波数帯域を選択する。ここでは200Hzが選択される。そして、これらより対象音のパワーが大きくて雑音が含まれない周波数帯域を帯域情報S3000に設定する。この例では帯域情報S3000は「500Hz」となる。
次に評価音S100の中に、対象音準備部1702に記憶された対象音であるバイク音の基本周期が含まれているか否かを分析する(ステップ3101)。この例では帯域情報S3000は「500Hz」であるため、500Hzの周波数パターンにおいて、第2の実施の形態と同様にして対象音の基本周期を分析する。次に、500Hzの分析結果において対象音が存在すると判定した場合に「対象音が存在する」という検知信号S102を警告音出力部105へ出力する。
次に、警告音出力部105は、検知信号S102が入力されたときに警告音S103を利用者へ提示する(ステップ203)。
ここでのステップ1800、ステップ1801、ステップ203は、第1の実施の形態と第2の実施の形態と同じなので説明を省略する。
以上説明したように、周波数設定部3000は、対象音に適切な周波数帯域を自動的に求めることができるため、利用者は、周波数帯域を設定する必要がなく使い勝手がよい。
本発明に係る対象音分析装置は、混合音分離、音判別、音声合成の機能を取り入れた車両検出システム、補聴器、携帯電話、テレビ会議システムなど幅広い製品に展開でき実用的価値は極めて高い。
図1Aは、本発明による対象音分析方法の概念図である。 図1Bは、本発明による対象音分析方法の概念図である。 図1Cは、本発明による対象音分析方法の概念図である。 図1Dは、本発明による対象音分析方法の概念図である。 図1Eは、本発明による対象音分析方法の概念図である。 図1Fは、本発明による対象音分析方法の概念図である。 図1Gは、本発明による対象音分析方法の概念図である。 図2は、第1の実施の形態における対象音分析装置の全体構成を示すブロック図である。 図3は、車両検知システムの動作手順を示すフローチャートである。 図4は、バイク音の一例を示した図である。 図5Aは、バイク音における対象音の一例を示した図である。 図5Bは、バイク音における対象音の一例を示した図である。 図5Cは、バイク音における対象音の一例を示した図である。 図6Aは、評価音と対象音を用いて差分値を算出する方法の一例を示した図である。 図6Bは、評価音と対象音を用いて差分値を算出する方法の一例を示した図である。 図6Cは、評価音と対象音を用いて差分値を算出する方法の一例を示した図である。 図7Aは、評価音と対象音を用いて差分値を算出する方法の他の一例を示した図である。 図7Bは、評価音と対象音を用いて差分値を算出する方法の他の一例を示した図である。 図7Cは、評価音と対象音を用いて差分値を算出する方法の他の一例を示した図である。 図8Aは、対象音とのパターンマッチングによる方法の一例を示した図である。 図8Bは、対象音とのパターンマッチングによる方法の一例を示した図である。 図8Cは、対象音とのパターンマッチングによる方法の一例を示した図である。 図9は、第1の実施の形態における第1の変形例における対象音分析装置の全体構成を示すブロック図である。 図10は、車両検知システムの他の動作手順を示すフローチャートである。 図11は、自動車のエンジン音の一例を示した図である。 図12は、サイレン音の一例を示した図である。 図13は、対象音準備部の一例を示した図である。 図14Aは、タッチディスプレイを用いて対象音を選択する一例を示した図である。 図14Bは、タッチディスプレイを用いて対象音を選択する一例を示した図である。 図15は、第1の実施の形態における第2の変形例における対象音分析装置の全体構成を示すブロック図である。 図16Aは、閾値の設定の方法の一例を示した図である。 図16Bは、閾値の設定の方法の一例を示した図である。 図16Cは、閾値の設定の方法の一例を示した図である。 図16Dは、閾値の設定の方法の一例を示した図である。 図16Eは、閾値の設定の方法の一例を示した図である。 図17は、車両検知システムのもう一つ他の動作手順を示すフローチャートである。 図18Aは、閾値の入力方法の一例を示した図である。 図18Bは、閾値の入力方法の一例を示した図である。 図19Aは、基本周期を分析する方法の一例を示した図である。 図19Bは、基本周期を分析する方法の一例を示した図である。 図19Cは、基本周期を分析する方法の一例を示した図である。 図20は、第2の実施の形態における対象音分析装置の全体構成を示すブロック図である。 図21Aは、Aさんの音声の一例を示した図である。 図21Bは、Aさんを含む3人の音声の混合音の一例を示した図である。 図22は、補聴システムの動作手順を示すフローチャートである。 図23は、周波数パターンを作成する方法の一例を示した図である。 図24Aは、評価音周波数パターンと対象音周波数パターンを用いて差分値を算出する方法の一例を示した図である。 図24Bは、評価音周波数パターンと対象音周波数パターンを用いて差分値を算出する方法の一例を示した図である。 図24Cは、評価音周波数パターンと対象音周波数パターンを用いて差分値を算出する方法の一例を示した図である。 図25Aは、評価音周波数パターンと対象音周波数パターンを用いて差分値を算出する方法の他の一例を示した図である。 図25Bは、評価音周波数パターンと対象音周波数パターンを用いて差分値を算出する方法の他の一例を示した図である。 図25Cは、評価音周波数パターンと対象音周波数パターンを用いて差分値を算出する方法の他の一例を示した図である。 図26は、第2の実施の形態における変形例における対象音分析装置の全体構成を示すブロック図である。 図27は、補聴システムの他の動作手順を示すフローチャートである。 図28は、非周期な分析波形パターンの一例を示した図である。 図29は、分析波形パターンと局所分析波形パターンとの関係を示した図である。 図30は、分析波形パターンと局所分析波形パターンとの他の関係を示した図である。 図31は、評価音周波数パターンと対象音の周波数パターンの一例を示した図である。 図32は、分析波形パターンと局所分析波形パターンとのもう一つ他の関係を示した図である。 図33は、第3の実施の形態における対象音分析装置の全体構成を示すブロック図である。 図34は、車両検知システムの動作手順を示すフローチャートである。 図35Aは、従来技術である時間−周波数構造を用いて自己相関を用いて基本周期を分析する方法を説明する図である。 図35Bは、従来技術である時間−周波数構造を用いて自己相関を用いて基本周期を分析する方法を説明する図である。 図36は、従来技術である時間−周波数構造の振幅値が所定のしきい値以上となるピークの時間間隔により基本周期を分析する方法を説明する図である。 図37Aは、従来技術である残差波形パターンに関する相互相関を用いて基本周期を分析する方法を説明する図である。 図37Bは、従来技術である残差波形パターンに関する相互相関を用いて基本周期を分析する方法を説明する図である。 図37Cは、従来技術である残差波形パターンに関する相互相関を用いて基本周期を分析する方法を説明する図である。
符号の説明
100、3002 車両検知システム
101、1701 基本周期分析部
102、701、1702、2301 対象音準備部
103、1703 評価音準備部
104、1704、3001 分析部
105 警告音出力部
700、2300 音情報設定部
1100 閾値設定部
1700 補聴システム
1705 音抽出部
3000 周波数設定部
S100、S1700 評価音
S101 対象音
S102 検知信号
S103 警告音
S104、S1705 閾値
S105、S1706 基本周期
S700、S2300 音情報
S1100A 選択信号
S1100B 閾値情報
S1100C 音情報
S1701 評価音周波数パターン
S1702 対象音周波数パターン
S1703 領域情報
S1704 抽出音
S3000 帯域情報
S3001A 帯域情報A
S3001B 帯域情報B
S3001C 帯域情報C

Claims (10)

  1. 評価音に対象音が含まれるか否かを分析する対象音分析装置であって、
    基本周期を分析するために用いられる分析波形である対象音を準備する対象音準備手段と、
    基本周期を分析される被分析波形である評価音を準備する評価音準備手段と、
    前記評価音に対して前記対象音を時間シフトさせながら、対応する時刻における前記評価音と前記対象音との差分値を順次算出して、前記差分値が所定の閾値以下となる時刻の繰返し間隔を算出し、前記繰返し間隔の周期と前記対象音の基本周期とが略等しい場合に前記評価音に前記対象音が存在すると判定し、前記繰返し間隔の周期と前記対象音の基本周期とが略等しく無い場合に前記評価音に前記対象音が存在しないと判定する分析手段とを備える
    ことを特徴とする対象音分析装置。
  2. 前記対象音準備手段は、前記対象音を周波数分析することにより得られる対象音周波数パターンを準備し、
    前記評価音準備手段は、前記評価音を周波数分析することにより得られる評価音周波数パターンを準備し、
    前記分析手段は、前記評価音周波数パターンに対して前記対象音周波数パターンを時間シフトさせながら、対応する時刻における前記評価音周波数パターンと前記対象音周波数パターンとの差分値を順次算出して、前記差分値が所定の閾値以下となる時刻の繰返し間隔を算出し、前記繰返し間隔の周期と前記対象音の基本周期とが略等しい場合に前記評価音に前記対象音が存在すると判定し、前記繰返し間隔の周期と前記対象音の基本周期とが略等しく無い場合に前記評価音に前記対象音が存在しないと判定する
    ことを特徴とする請求項1に記載の対象音分析装置。
  3. 前記対象音準備手段は、前記対象音と所定の周波数成分から構成される非周期な分析波形との相互相関により算出される、振幅スペクトルおよび位相スペクトルの少なくとも一方を含む対象音周波数パターンを準備し、
    前記評価音準備手段は、評価音と前記分析波形との相互相関により算出される、振幅スペクトルおよび位相スペクトルの少なくとも一方を含む評価音周波数パターンを準備する
    ことを特徴とする請求項2に記載の対象音分析装置。
  4. 前記対象音準備手段は、前記対象音と、所定の周波数成分から構成される分析波形の一部を構成し所定の時間分解能を有する複数の局所分析波形との、それぞれの相互相関により算出される、振幅スペクトルおよび位相スペクトルの少なくとも一方を含む複数の対象音周波数パターンを準備し、
    前記評価音準備手段は、前記評価音と前記複数の局所分析波形との、それぞれの相互相関により算出される、振幅スペクトルおよび位相スペクトルの少なくとも一方を含む複数の評価音周波数パターンを準備し、
    前記分析手段は、前記複数の局所分析波形を用いて準備された前記複数の対象音周波数パターンの組を対象音周波数パターンのデータとし、前記複数の局所分析波形を用いて準備された前記評価音周波数パターンの組を評価音周波数パターンのデータとして前記評価音周波数パターンのデータに対して前記対象音周波数パターンのデータを時間シフトさせながら、対応する時刻における前記評価音周波数パターンのデータと前記対象音周波数パターンのデータとの差分値を順次算出して、前記差分値が所定の閾値以下となる時刻の繰返し間隔を算出し、前記繰返し間隔の周期と前記対象音の基本周期とが略等しい場合に前記評価音に前記対象音が存在すると判定し、前記繰返し間隔の周期と前記対象音の基本周期とが略等しく無い場合に前記評価音に前記対象音が存在しないと判定する
    ことを特徴とする請求項2に記載の対象音分析装置。
  5. 前記対象音分析装置は、さらに、前記分析手段で用いる対象音周波数パターンおよび評価音周波数パターンの周波数帯域を設定する周波数設定手段を備え、
    前記分析手段は、前記周波数設定手段で設定された前記周波数帯域の前記対象音周波数パターンおよび前記評価音周波数パターンを用いて、前記対象音の基本周期を分析する
    ことを特徴とする請求項2に記載の対象音分析装置。
  6. 前記対象音分析装置は、さらに、前記対象音に関連する音情報を設定する音情報設定手段を備え、
    前記対象音準備手段は、設定された前記音情報に基づいて前記対象音または前記対象音周波数パターンを準備する
    ことを特徴とする請求項1に記載の対象音分析装置。
  7. 前記音情報設定手段は、対象音の入力を受け付け、入力された前記対象音を前記音情報とし、
    前記対象音準備手段は、入力された前記対象音を準備される前記対象音とするか、または、さらに、当該対象音を周波数分析することにより前記対象音周波数パターンを準備する
    ことを特徴とする請求項に記載の対象音分析装置。
  8. 前記対象音分析装置は、さらに、複数の評価音の各々に対して前記対象音を時間シフトさせながら、対応する時刻における前記評価音と前記対象音との差分値を順次算出して、前記差分値の最小値を算出し、前記複数の評価音に対応する複数の前記最小値のうちの最大値に基づいて、前記所定の閾値を設定する閾値設定手段を備える
    ことを特徴とする請求項1に記載の対象音分析装置。
  9. 評価音に対象音が含まれるか否かを分析する対象音分析装置による対象音分析方法であって、
    前記対象音分析装置が備える対象音準備手段が、基本周期を分析するために用いられる分析波形である対象音を準備するステップと、
    前記対象音分析装置が備える評価音準備手段が、基本周期を分析される被分析波形である評価音を準備するステップと、
    前記対象音分析装置が備える分析手段が、前記評価手段が準備した評価音に対して前記対象音準備手段が準備した対象音を時間シフトさせながら、対応する時刻における前記評価音と前記対象音との差分値を順次算出して、前記繰返し間隔の周期と前記対象音の基本周期とが略等しい場合に前記評価音に前記対象音が存在すると判定し、前記繰返し間隔の周期と前記対象音の基本周期とが略等しく無い場合に前記評価音に前記対象音が存在しないと判定するステップとを含む
    ことを特徴とする対象音分析方法。
  10. 評価音に対象音が含まれるか否かを分析するプログラムであって、
    基本周期を分析するために用いられる分析波形である対象音を準備するステップと、
    基本周期を分析される被分析波形である評価音を準備するステップと、
    前記評価音に対して前記対象音を時間シフトさせながら、対応する時刻における前記評価音と前記対象音との差分値を順次算出して、前記差分値が所定の閾値以下となる時刻の繰返し間隔を算出し、前記繰返し間隔の周期と前記対象音の基本周期とが略等しい場合に前記評価音に前記対象音が存在すると判定し、前記繰返し間隔の周期と前記対象音の基本周期とが略等しく無い場合に前記評価音に前記対象音が存在しないと判定するステップとをコンピュータに実行させる
    ことを特徴とする対象音分析プログラム。
JP2007519957A 2006-01-12 2006-12-21 対象音分析装置、対象音分析方法および対象音分析プログラム Expired - Fee Related JP4065314B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2006005178 2006-01-12
JP2006005178 2006-01-12
PCT/JP2006/325548 WO2007080764A1 (ja) 2006-01-12 2006-12-21 対象音分析装置、対象音分析方法および対象音分析プログラム

Publications (2)

Publication Number Publication Date
JP4065314B2 true JP4065314B2 (ja) 2008-03-26
JPWO2007080764A1 JPWO2007080764A1 (ja) 2009-06-11

Family

ID=38256175

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007519957A Expired - Fee Related JP4065314B2 (ja) 2006-01-12 2006-12-21 対象音分析装置、対象音分析方法および対象音分析プログラム

Country Status (4)

Country Link
US (1) US8223978B2 (ja)
JP (1) JP4065314B2 (ja)
CN (1) CN101213589B (ja)
WO (1) WO2007080764A1 (ja)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006120829A1 (ja) * 2005-05-13 2006-11-16 Matsushita Electric Industrial Co., Ltd. 混合音分離装置
JP4601643B2 (ja) * 2007-06-06 2010-12-22 日本電信電話株式会社 信号特徴抽出方法、信号探索方法、信号特徴抽出装置、コンピュータプログラム、及び、記録媒体
WO2009047858A1 (ja) * 2007-10-12 2009-04-16 Fujitsu Limited エコー抑圧システム、エコー抑圧方法、エコー抑圧プログラム、エコー抑圧装置、音出力装置、オーディオシステム、ナビゲーションシステム及び移動体
US8270621B2 (en) * 2009-02-11 2012-09-18 International Business Machines Corporation Automatic generation of audible alert according to ambient sound
JP5454161B2 (ja) * 2010-01-19 2014-03-26 大日本印刷株式会社 音響データの関連情報登録装置および音響データの関連情報検索装置
US20150149167A1 (en) * 2011-03-31 2015-05-28 Google Inc. Dynamic selection among acoustic transforms
US8620646B2 (en) * 2011-08-08 2013-12-31 The Intellisis Corporation System and method for tracking sound pitch across an audio signal using harmonic envelope
CN103558029B (zh) * 2013-10-22 2016-06-22 重庆建设机电有限责任公司 一种发动机异响故障在线诊断***和诊断方法
JP6645063B2 (ja) * 2014-07-29 2020-02-12 ヤマハ株式会社 ターゲット文字列の推定
KR20160044363A (ko) * 2014-10-15 2016-04-25 현대자동차주식회사 음향 신호 처리를 이용한 경적 인식 장치 및 방법
CN104332162B (zh) * 2014-11-25 2018-05-15 武汉大学 一种音频信号车辆识别***
JP6754972B2 (ja) 2015-01-09 2020-09-16 節雄 阿仁屋 オーディオ装置の評価方法及びその装置並びにオーディオ装置及びスピーカー装置
JP6759545B2 (ja) * 2015-09-15 2020-09-23 ヤマハ株式会社 評価装置およびプログラム
US9756281B2 (en) 2016-02-05 2017-09-05 Gopro, Inc. Apparatus and method for audio based video synchronization
US9697849B1 (en) 2016-07-25 2017-07-04 Gopro, Inc. Systems and methods for audio based synchronization using energy vectors
US9640159B1 (en) 2016-08-25 2017-05-02 Gopro, Inc. Systems and methods for audio based synchronization using sound harmonics
US9653095B1 (en) * 2016-08-30 2017-05-16 Gopro, Inc. Systems and methods for determining a repeatogram in a music composition using audio features
US9916822B1 (en) 2016-10-07 2018-03-13 Gopro, Inc. Systems and methods for audio remixing using repeated segments
CN108697352B (zh) * 2017-06-29 2021-04-20 深圳和而泰智能控制股份有限公司 生理信息测量方法及生理信息监测装置、设备
CN108269249A (zh) * 2017-12-11 2018-07-10 深圳市智能机器人研究院 一种螺栓检测***及其实现方法
JP2019200387A (ja) * 2018-05-18 2019-11-21 日本電信電話株式会社 検知装置、その方法、およびプログラム
JP7017488B2 (ja) * 2018-09-14 2022-02-08 株式会社日立製作所 音点検システムおよび音点検方法
JP7266390B2 (ja) 2018-11-20 2023-04-28 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 行動識別方法、行動識別装置、行動識別プログラム、機械学習方法、機械学習装置及び機械学習プログラム
CN112750458B (zh) * 2019-10-30 2022-11-25 北京爱数智慧科技有限公司 一种触屏声音检测方法和装置
CN118179018A (zh) * 2021-04-28 2024-06-14 网易(杭州)网络有限公司 信息处理方法、装置、存储介质及电子设备
US20240144792A1 (en) * 2022-10-26 2024-05-02 Sherry Green Mullins Decibel alarm system

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0679238B2 (ja) * 1984-11-27 1994-10-05 日本電気株式会社 ピツチ抽出装置
JPH0690638B2 (ja) 1986-06-25 1994-11-14 松下電工株式会社 音声分析方式
US5742734A (en) * 1994-08-10 1998-04-21 Qualcomm Incorporated Encoding rate selection in a variable rate vocoder
JPH09258762A (ja) * 1996-03-25 1997-10-03 Casio Comput Co Ltd ピッチ抽出装置
JP3266124B2 (ja) * 1999-01-07 2002-03-18 ヤマハ株式会社 アナログ信号中の類似波形検出装置及び同信号の時間軸伸長圧縮装置
JP2001126074A (ja) * 1999-08-17 2001-05-11 Atl Systems:Kk パターンマッチングによるデータ検索方法及びそのプログラムを記録した記録媒体
WO2001016935A1 (fr) * 1999-08-26 2001-03-08 Sony Corporation Procede et dispositif d'extraction/traitement d'informations, et procede et dispositif de stockage
US6990453B2 (en) * 2000-07-31 2006-01-24 Landmark Digital Services Llc System and methods for recognizing sound and music signals in high noise and distortion
JP2003317368A (ja) * 2002-04-25 2003-11-07 Digion Inc パルス性ノイズのデジタル信号処理による検出および除去方法
US8073157B2 (en) * 2003-08-27 2011-12-06 Sony Computer Entertainment Inc. Methods and apparatus for targeted sound detection and characterization
JP3895657B2 (ja) * 2002-10-01 2007-03-22 三菱電機エンジニアリング株式会社 事故音検出回路
US8073684B2 (en) * 2003-04-25 2011-12-06 Texas Instruments Incorporated Apparatus and method for automatic classification/identification of similar compressed audio files
JP4376035B2 (ja) * 2003-11-19 2009-12-02 パイオニア株式会社 音響特性測定装置及び自動音場補正装置並びに音響特性測定方法及び自動音場補正方法
WO2005109399A1 (ja) * 2004-05-11 2005-11-17 Matsushita Electric Industrial Co., Ltd. 音声合成装置および方法
WO2006120829A1 (ja) * 2005-05-13 2006-11-16 Matsushita Electric Industrial Co., Ltd. 混合音分離装置
JP5678445B2 (ja) * 2010-03-16 2015-03-04 ソニー株式会社 音声処理装置、音声処理方法およびプログラム

Also Published As

Publication number Publication date
US20080304672A1 (en) 2008-12-11
JPWO2007080764A1 (ja) 2009-06-11
US8223978B2 (en) 2012-07-17
CN101213589B (zh) 2011-04-27
CN101213589A (zh) 2008-07-02
WO2007080764A1 (ja) 2007-07-19

Similar Documents

Publication Publication Date Title
JP4065314B2 (ja) 対象音分析装置、対象音分析方法および対象音分析プログラム
US11990143B2 (en) Multi-mode audio recognition and auxiliary data encoding and decoding
US10026410B2 (en) Multi-mode audio recognition and auxiliary data encoding and decoding
JP4438144B2 (ja) 信号分類方法及び装置、記述子生成方法及び装置、信号検索方法及び装置
JP4041154B2 (ja) 混合音分離装置
EP2136286A2 (en) System and method for automatically producing haptic events from a digital audio file
JP2014512022A (ja) スペクトル挙動の変換を実行する音響信号処理システム及び方法
EP2962299A1 (en) Audio signal analysis
US20090089051A1 (en) Vocal fry detecting apparatus
CN107871492B (zh) 音乐合成方法和***
Goto A predominant-f0 estimation method for real-world musical audio signals: MAP estimation for incorporating prior knowledge about f0s and tone models
JP2017520016A (ja) パラメトリック音声合成システムに基づく声門パルスモデルの励磁信号形成方法
JP2007093635A (ja) 既知雑音除去装置
VH et al. A study on speech recognition technology
Lee et al. Adversarial audio synthesis using a harmonic-percussive discriminator
JP2011158515A (ja) 音声認識装置および音声認識方法
Cooper Speech detection using gammatone features and one-class support vector machine
JP2001027895A (ja) 信号分離方法及び装置
US20110153316A1 (en) Acoustic Perceptual Analysis and Synthesis System
Alías Pujol et al. A Review of physical and perceptual feature extraction techniques for speech, music and environmental sounds
JP5169297B2 (ja) 音処理装置およびプログラム
Dulimarta Implementation of a monophonic note tracking algorithm on Android
JPH05265489A (ja) ピッチ抽出方法
JP2008165113A (ja) 音声合成装置

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071228

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4065314

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110111

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110111

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120111

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130111

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130111

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140111

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees