JP2004354589A - 音響信号判別方法、音響信号判別装置、音響信号判別プログラム - Google Patents
音響信号判別方法、音響信号判別装置、音響信号判別プログラム Download PDFInfo
- Publication number
- JP2004354589A JP2004354589A JP2003150788A JP2003150788A JP2004354589A JP 2004354589 A JP2004354589 A JP 2004354589A JP 2003150788 A JP2003150788 A JP 2003150788A JP 2003150788 A JP2003150788 A JP 2003150788A JP 2004354589 A JP2004354589 A JP 2004354589A
- Authority
- JP
- Japan
- Prior art keywords
- sound
- sound type
- frequency
- primary
- type
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
【課題】音響信号判別装置で判別した判定結果の信頼性を高める。
【解決手段】複数の音響特徴量から、それぞれの特徴量毎に尤度計算を施し、尤度が最も大きい値を呈する音種を入力信号の音種と決定する音響信号判別方法において、同一音種と判定した連続性の有る判定結果の信頼性をチェックし、連続性が有るにも係わらず尤度が低い判定結果に対してはこの判定結果を誤判定として排除する第１修正処理と、所定の分析窓長内で発生頻度の低い判定結果を発生頻度の高い判定結果に置換する第２修正処理を施し、音種の判定結果の信頼性を高める。
【選択図】 図１６
【解決手段】複数の音響特徴量から、それぞれの特徴量毎に尤度計算を施し、尤度が最も大きい値を呈する音種を入力信号の音種と決定する音響信号判別方法において、同一音種と判定した連続性の有る判定結果の信頼性をチェックし、連続性が有るにも係わらず尤度が低い判定結果に対してはこの判定結果を誤判定として排除する第１修正処理と、所定の分析窓長内で発生頻度の低い判定結果を発生頻度の高い判定結果に置換する第２修正処理を施し、音種の判定結果の信頼性を高める。
【選択図】 図１６
Description
【０００１】
【発明の属する技術分野】
本発明は、例えば音声、音楽、環境雑音などの音響の種別を判別する音響信号判別方法、音響信号判別装置、音響信号判別プログラムに関する。
【０００２】
【従来の技術】
従来の音響信号判別技術は、音源成分を求めるために信号の自己相関係数を求め、また、信号の定常性を求めるためにバンドパスフィルタを用いて求めるなど特徴量の抽出毎に別の信号処理を行う必要があり、そのために信号処理効率が悪いという問題があった。
その一例として、入力信号から特徴抽出部にて一定時間毎に複数の特徴量を抽出し、各音韻毎の特徴量と多数の学習用音声データから特徴量分布作成部で作成した特徴量分布との統計的距離を計算する特徴量尤度算出部を有し、各音韻毎に得られた継続時間と多数の学習用音声データから継続時間分布作成部で作成した継続時間分布との統計的距離とを算出する継続時間尤度算出部を有し、これら２つの距離を統合して音声を検出する総合判定部を備えた音声検出方法が提案されている（特許文献１、特許文献２）。
【０００３】
【特許文献１】
特開平６−３３２４９２号公報
【特許文献２】
特開平８−８７２９３号公報
【０００４】
【発明が解決しようとする課題】
上記した特許文献１及び特許文献２に見られるように、従来は被判別信号の特徴量として、各音韻毎の特徴量と多数の学習用音声データから特徴量分布作成部で作成した特徴量分布との統計的距離を計算するなどの信号処理を行うため、信号処理効率が悪いという問題があった。
また、信号の定常性を計測するために、バンドパスフィルタを用いて周波数スペクトルの長時間の傾向をみる方法があるが、結果を得るために長い時間の分析窓が必要であった。また、音源成分の抽出にはスペクトル包絡の調波構造に基づく手法は存在したが、調波構造のピークが捉えにくいことや、調波構造のピーク間隔の揺らぎによって周波数スペクトル全体のもつ調波構造を捉えることはできなかった。
【０００５】
更に、雑音の識別を行うには、その信号の雑音の度合を計測する方法が必要であるが、これを計測する尺度は提案されていない。また、スペクトルの高域と低域などの形状の比較を行う場合において、スペクトル包絡の複雑さを簡易な表現に変換し、比較を行う尺度も提案されていない。
このため本出願人は先に「特願２００３−２９９４３」により被判別音響信号の周波数スペクトルを求め、この周波数スペクトルから信号の定常性及び非定常性を特定することができる特徴量及び周波数スペクトル全体の持つ調波構造を捉えることができる特徴量、雑音の度合を計測する特徴量及びスペクトル包絡の簡易な表現を実現することができる特徴量を提案し、これらの特徴量を用いることにより効率よく、然も精度よく被判別音響信号の種別を判定することができる音響信号判別方法、音響信号判別装置、音響信号判別プログラムを提案した。
この発明は先に提案した音響信号判別方法、音響信号判別装置及び音響信号判別プログラムの改良に関し、特に判別結果に得られた音種の判別誤りを検出する処理と、その誤りを修正する修正処理を付加し、判別結果の信頼性を向上させようとするものである。
【０００６】
【課題を解決するための手段】
この発明では、被判別音響信号の周波数スペクトルと、この周波数スペクトルの時間軸上で隣接する周波数スペクトルの相関係数を時間軸方向の相関係数として求め、この時間軸方向の相関係数の時系列の分散値を特徴量として抽出する第１特徴量抽出処理と、互いに異なる複数の時点でそれぞれ被判別音響信号の周波数スペクトルを求め、この複数の周波数スペクトルを周波数軸方向にずらし、周波数のずれ毎に複数の周波数スペクトルの相関係数を周波数軸方向の相関係数として計算し、周波数軸方向の相関係数のピークが所定周波数間隔で存在する場合、そのピークの間隔から周期性を持つ信号の基本周波数を算出し、この基本周波数を特徴量として抽出する第２特徴量抽出処理と、周波数軸方向の相関係数の所定周波数範囲内の平均値を特徴量として抽出する第３特徴量抽出処理と、周波数軸方向の相関係数の開始点から回帰係数を求めることにより、周波数スペクトルの高域成分と低域成分の大局的な形状の違いを計測し、被判別音響信号の周波数スペクトルの概形を特徴量として抽出する第４特徴量抽出処理と、被判別音響信号の周波数スペクトルから、この周波数スペクトルのスペクトルパワー又は中心周波数、バンド幅の何れかを抽出する第５特徴量抽出処理と、複数の特徴量抽出処理で抽出した任意の数の特徴量を用いて、被判別音響信号の種別を各特徴量毎に判別する音響信号判別方法であって、特徴量毎の判別結果として得られる複数の音響種別の中で最も長く同一の判別結果を出力している音響種別の同一判別結果を出力し続ける時間長を計測し、その時間長を一次分析窓幅とし、同一判定結果を出力し続ける音響種別を一次音響種別と決定する一次分析条件決定処理と、この一次分析条件決定処理で決定した一次分析窓幅の中で各特徴量を用いた判別結果を再計算し、一次分析窓幅の範囲内の音響種別を求める一次再判別処理と、この一次再判別処理で得られた音響種別と一次分析条件決定処理で決定した一次音響種別とを比較し、一致すればその窓幅の音響種別をその窓幅の範囲で一致した音響種別と決定する一次音響種別決定処理と、一次再判別処理の再判別結果が一次音響種別と不一致の場合に次に長い時間長の音響種別判別結果を呈する音響種別の時間長を二次分析窓幅とし、その音響種別を二次音響種別と決定する二次分析条件決定処理と、この二次分析条件決定処理で決定した二次分析窓幅の中で上記特徴量を用いた音響判別結果を再計算し、音響種別を求める二次再判別処理と、この二次再判別処理で得られた音響種別と、二次分析条件決定処理で決定して二次音響種別とを比較し、一致すればその窓幅の音響種別をその窓幅の範囲で一致した音響種別と決定する二次音響種別修正処理と、二次再判別処理の二次判別結果が上記二次分析条件決定処理で決定した二次音響種別と不一致の場合に次に長い音響種別判別結果を呈する音響種別を三次音響種別とし、その時間長を三次分析窓幅と決定し、音響種別修正処理を繰返し、音響種別の判別結果が一致するまで繰返す音響信号判別方法を提案する。
この発明では更に、音響信号判別方法により修正処理された音響種別の列を所定の窓長を持つ分析窓で分析し、その分析窓内で発生頻度の低い音響種別を発生頻度の高い音響種別に置換処理する音響信号判別方法を提案する。
【０００７】
この発明では更に、被判別音響信号の周波数スペクトルと、この周波数スペクトルの時間軸上で隣接する周波数スペクトルの相関係数を時間軸方向の相関係数として求め、この時間軸方向の相関係数の時系列の分散値を特徴量として抽出する第１特徴量抽出手段と、互いに異なる複数の時点でそれぞれ被判別音響信号の周波数スペクトルを求め、この複数の周波数スペクトルを周波数軸方向にずらし、周波数のずれ毎に複数の周波数スペクトルの相関係数を周波数軸方向の相関係数として計算し、周波数軸方向の相関係数のピークが所定周波数間隔で存在する場合、そのピークの間隔から周期性を持つ信号の基本周波数を算出し、この基本周波数を特徴量として抽出する第２特徴量抽出手段と、周波数軸方向の相関係数の所定周波数範囲内の平均値を特徴量として抽出する第３特徴量抽出手段と、周波数軸方向の相関係数の開始点から回帰係数を求めることにより、周波数スペクトルの高域成分と低域成分の大局的な形状の違いを計測し、被判別音響信号の周波数スペクトルの概形を特徴量として抽出する第４特徴量抽出手段と、被判別音響信号の周波数スペクトルから、この周波数スペクトルのスペクトルパワー又は中心周波数、バンド幅の何れかを抽出する第５特徴量抽出手段と、複数の特徴量抽出手段で抽出した任意の数の特徴量を用いて被判別音響信号の種別を各特徴量毎に判別する音響信号判別装置であって、各特徴量毎の判別結果として得られる複数の音響種別の中で最も長く同一の判別結果を出力している音響種別の同一判別結果を出力し続ける時間長を計測し、その時間長を一次分析窓幅とし、同一判定結果を出力し続ける音響種別を一次音響種別と決定する一次分析条件決定手段と、この一次分析条件決定手段で決定した一次分析窓幅の中で各特徴量を用いた判別結果を再計算し、一次分析窓幅の範囲内の音響種別を求める一次再判別手段と、この一次再判別手段で得られた音響種別と一次分析条件決定手段で決定した一次音響種別とを比較し、一致すればその窓幅の音響種別をその窓幅の範囲で一致した音響種別と決定する一次音響種別修正手段と、一次再判別手段の再判別結果が一次音響種別と不一致の場合に次に長い時間長の音響種別判別結果を呈する音響種別の時間長を二次分析窓幅とし、その音響種別を二次音響種別と決定する二次分析条件決定手段と、この二次分析条件決定手段で決定した二次分析窓幅の中で上記特徴量を用いた音響判別結果を再計算し、音響種別を求める二次再判別手段と、この二次再判別手段で得られた音響種別と、二次分析条件決定手段で決定して二次音響種別とを比較し、一致すればその窓幅の音響種別をその窓幅の範囲で一致した音響種別を決定する二次音響種別修正手段と、二次再判別手段の二次判別結果が二次分析条件決定手段で決定した二次音響種別と不一致の場合に次に長い音響種別判別結果を呈する音響種別を三次音響種別とし、その時間長を三次分析窓幅と決定し、音響種別修正処理を繰返し、音響種別の判別結果が一致するまで繰返す音響信号判別装置を提案する。
【０００８】
この発明では更に、音響信号判別装置により判別された音響種別の列を所定の窓長を持つ分析窓で分析し、その分析窓内で発生頻度の低い音響種別を発生頻度の高い音響種別に置換処理する置換処理手段を具備していることを特徴とする音響信号判別装置を提案する。
この発明では更に、コンピュータが解読可能な符号列によって記述され、コンピュータに音響信号判別方法の少なくとも一方を実行させる音響信号判別プログラムを提案する。
【０００９】
作用
本発明によれば、先に提案した発明と同様に第１特徴量抽出処理乃至第５特徴量抽出処理で抽出する各特徴量は全て被判別音響信号の周波数スペクトルから抽出する。従って、全て同一系統の信号処理で音響信号の種別を判別でき信号処理の効率がよい。
また、音響信号の定常性及び非定常性を判別する特徴量、単一音源の有無を判別する特徴量、雑音の白色性を判別する特徴量、スペクトルの形状を簡素に表現し、スペクトルの形状の違いを比較することを可能とした特徴量をそれぞれ抽出するから、信頼性の高い種別判定を行うことができる。
更に、本発明によれば先に提案した発明で得られる作用効果に加えて種別判定結果から判定の誤りを検出し、その誤りを修正する修正処理及び修正手段を付加したから、判別結果の信頼性を更に高めることができる。
【００１０】
【発明の実施の形態】
図１に先に提案した音響信号判別方法を用いて音響信号の種別を判定する音響信号判別装置の概要を示す。
被判別音響信号は周波数分析手段１で周波数分析され、周波数スペクトルが求められる。周波数分析手段１としては例えばＦＦＴ等と呼ばれている高速フーリエ変換手段を用いることができる。高速フーリエ変換手段によれば例えば１０２４サンプルの音響データを１フレームとして取扱い、１フレーム内に存在する音響データの周波数成分を分析する。
この発明ではこの周波数分析手段１で分析した周波数スペクトルを利用して第１特徴量〜第Ｎ特徴量を抽出する構成とした点を特徴とするものである。この実施例ではＮ＝５とした場合を示す。このために、周波数分析手段１の出力側に、第１特徴量抽出手段１０と、第２特徴量抽出手段２０と、第３特徴量抽出手段３０と、第４特徴量抽出手段４０と、第５特徴量抽出手段５０が接続される。
図１では時間軸方向の相関係数計算手段１１と、分散値計算手段１２をブロックで囲んで第１特徴量抽出手段１０を構成しているように表記しているが、実質的には周波数分析手段１を含んで第１特徴量抽出手段１０が構成される。
【００１１】
第１特徴量抽出手段１０を構成する時間軸方向の相関係数計算手段１１は、周波数分析手段１から与えられる周波数分析結果を時間軸方向に隣接する周波数スペクトルの相関係数を計算する。相関係数の値が高い値（１に近い値）の発生頻度が多い状況では入力された被判定音響信号は時間軸方向に周波数スペクトルの変動が少ないと見ることができる。この状況下にある信号を以下では定常性を持つ信号、又は定常的な信号と称すことにする。
これに対し、相関係数が低い値（０に近い値）の発生頻度が多い状況ではその時点の被判別音響信号は時間軸方向に大きく変動していると見ることができる。この状況下にある信号を以下では非定常性を持つ信号又は非定常な信号と称すことにする。
【００１２】
定常性を持つ信号と非定常性を持つ信号の一例を図２を用いて説明する。図２で横軸は時間を示す。図２の前半の区間Ｘ１はＢＧＭ音楽信号を被判別音響信号として入力した状況、後半の区間Ｘ２は音声信号を被判別音響信号として入力した状況を示す。上段Ａに示す曲線は被判別音響信号のパワー値（ＲＭＳ）を示す。パワー値は上に向う程パワー値が高く、下に向うほどパワー値が低いことを表わす。
中段Ｂは被判別音響信号のピッチ（基本周波数）を抽出した結果を表わす。このピッチに関しては第２特徴量抽出手段２０の部分で説明するが、このピッチデータも上に向う程周波数が高く、下に向う程周波数が低いことを表わす。
下段Ｃは第１特徴量抽出手段１０を構成する時間軸方向の相関係数計算手段１１で計算した時間軸方向の相関係数を示す。この相関係数は上に向う程相関値が１に近づき、下に向う程０値に近づく。
【００１３】
図２に示す時間軸方向の相関係数の軌跡から被判別音響信号が音楽の場合は相関係数は安定し、音声区間では相関係数が大きく変動する様子が解る。
尚、時間軸方向のｎ番目のパワースペクトルとｎ＋１番目のパワースペクトルとの相関係数Ｒｔ，ｔ＋１は以下に示す（１）式，（２）式，（３）式で求められる。
【数１】
（２）式はパワースペクトルの相関係数、（３）式は正規化のための重み係数を示す。
【００１４】
音楽が被判別音響信号の場合、スペクトルの包絡が時間軸方向に似通っているために高い相関値を保つと考えられる。これに対して音声の区間では相関係数値が大きく変動している。音声の中でも母音部分では高いと相関値を示すが、子音部分や音韻の境界ではスペクトルの変化が生じるために低い相関値を示すものと考えられる。この結果、この発明ではある時間長の相関値を計測し、その分散の度合により信号が定常的か非定常的かを判定するものとする。
このために、第１特徴量抽出手段１０では時間軸方向の相関係数計算手段１１の出力側に分散値計算手段１２を設け、この分散値計算手段１２で相関係数の単位時間あたりの分散値Ｖを計算する。分散値Ｖは以下に示す（４）式で計算される。
【数２】
（４）式において分析フレーム長をＮとし、Ｒｎは連続するＮ個の相関係数、Ｒ＾はフレーム内の相関係数の平均を示す。
【００１５】
図３に各種別の音響信号の相関係数の分散を示す。図３に示す曲線Ｓ１は被判別音響信号が音楽の場合の相関値の分散を表わす。
曲線Ｓ２は被判別音響信号が音声の場合の相関値の分散を表わす。
曲線Ｓ３はポーズ区間の相関値の分散。
曲線Ｓ４は自動車の走行音の相関値の分散。
曲線Ｓ５はプロペラ機のエンジン音の相関値の分散。
曲線Ｓ６はペーパーノイズ（紙をめくる音）の相関値の分散を示す。
音楽と音声の相関値の分散曲線Ｓ１とＳ２は分布の重なりが少ない形状となっている。よって、この分散を特徴量として用いることにより音声と音楽とを判別することができる。但し、その他の音響信号に関しては分布が広がっており、この特徴量では種別の判別は困難であると見られる。図３に示す例では、分散値が４０〜６０の範囲で音楽、分散値が６０〜８０の範囲で音声と判定することができる。第１特徴量抽出手段１０はこの分散値を第１特徴量として判別手段６０に出力する。種別の判別方法に関しては判別手段６０の項で説明する。
【００１６】
次に、第２特徴量抽出手段２０について説明する。第２特徴量抽出手段は周波数軸方向の相関係数計算手段２１と、ピッチ抽出手段２２とによって構成することができる。周波数軸方向の相関係数計算手段２１は周波数分析手段１で周波数分析した時点ｎで得られた周波数スペクトルと、時点ｎ＋１で得られた周波数スペクトルを相互に周波数軸方向に移動させながら、各移動周波数毎に相関係数を計算する。
図４にその様子を示す。図４に示すＳＰ１は時点ｎで得られた周波数スペクトル、ＳＰ２は時点ｎ＋１で得られた周波数スペクトルを示す。双方の周波数スペクトルの周波数差が０Ｈｚである状態から、何れか一方の周波数スペクトルを周波数軸方向にわずかずつ（Δｆ）移動させ、移動毎に相互の相関係数を求める。相関係数は（５）式、（６）式、（７）式で求められる。
【数３】
【００１７】
図５にスペクトルの移動による相関係数の一例を示す。スペクトルＳＰ１とＳＰ２を周波数軸方向にずらしながら相互の相関係数を求めることにより、調波構造のピークに双方のスペクトルが重なる毎に強い相関を示し、ピークの重なりがずれれば０．２程度の極めて低い相関を示す。この繰り返しにより明確な相関値のピークが得られる。相関係数に周期的にピークが発生する場合、被判別音響信号に周期性を持つ信号が含まれていることが分る。ピークの間隔を抽出することで周期性を持つ信号のピッチ周波数を得ることができる。
ピッチ抽出手段２２は図５に示した相関係数のピーク相互間の間隔から周期性を持つ信号のピッチ周波数を求める。具体的には図５に示すピークＰ１は周波数差が０Ｈｚの場合の相関値で得られるピーク、Ｐ２は２番目のピークである。ピークＰ１とＰ２の間隔τから周期性を持つ信号の基本周波数（ピッチ周波数）を求めることができる。第２特徴量抽出手段２０はこのピッチ周波数を第２特徴量として判別手段６０に出力する。
【００１８】
次に第３特徴量抽出手段３０について説明する。第３特徴量抽出手段３０は図１では平均値計算部３１のみをブロックで囲んで示しているが、実質的には周波数分析手段１と、周波数軸方向の相関係数計算手段２１とを含んで構成される。平均値算出手段３１は周波数軸方向の相関係数計算手段２１が周波数スペクトルＳＰ１とＳＰ２を周波数Δｆずつずらす毎に算出する相関値を相関値の算出が終了するまで積算し、その平均値を求める。つまり、周波数スペクトルＳＰ１とＳＰ２の周波数のずれが０Ｈｚの状態から、周波数のずれ量Δｆが最大に達するまでの間に算出された相関値を積算し、その平均値を求める。この平均値により雑音性が大きいか、小さいかを判定することができる。
【００１９】
その理由は以下の如くである。図６に示すＡ１はホワイトノイズのパワースペクトルの包絡、Ｂ１はピンクノイズの周波数スペクトルのパワーの概略、Ｃ１は例えば音楽、音声等の有色音のスペクトルのパワーの概略を示す。
図６Ａ２は周波数軸方向の相関係数計算手段２１で周波数をΔｆずつずらした場合に算出される同様の相関係数、Ｂ２はピンクノイズの相関係数、Ｃ２は有色音の相関係数をそれぞれ示す。
図６Ａ２とＢ２、Ｃ２において、或る周波数範囲Δｆｍに限定してその範囲内の相関係数の平均値ＳＡＶはホワイトノイズの場合「１」で最大となり、次にピンクノイズ、有色音の順に平均値ＳＡＶの値が求められる。従って、相関係数の平均値ＳＡＶの値が「１」に近い程ノイズ性が高いと判定することができる。特に平均値が「１」に近い程白色性に近いことが分る。
【００２０】
図７と図８を用いて相関係数の平均値が意味するところを説明する。図７は音楽、ペーパーノイズ、自動車の走行音の各音響信号のパワースペクトルを示す。図７に示す曲線ｍｆは音楽のパワースペクトル、曲線ｐｆはプロペラ機のエンジン音のパワースペクトル、曲線ｓｆは自動車の走行音のパワースペクトルを示す。図７に示すパワースペクトルでは音楽のパワースペクトルは他の音と区別でくるが、自動車の走行音とプロペラ機のエンジン音は全く重なり合っており、区別は難しい。
これに対し、図８にこの発明で用いる周波数軸方向の相関係数を示す。図８に示す曲線ｍｃは音楽の周波数スペクトルを周波数軸方向にずらしながら相関係数を計算し、計算した周波数軸方向の相関係数をプロットした曲線を示す。曲線ＳＣは自動車走行音の周波数軸方向の相関係数、曲線ＰＣはプロペラ機のエンジン音の周波数軸方向の相関係数を示す。図８から分かるように、各曲線ＳＣ、ｍｃ、ＰＣは重なり合う部分は少なく、或る周波数のずれ範囲に制限し、その範囲内の相関値の平均を求めることにより、その平均値を尺度とすれば音楽と、自動車の走行音と、プロペラ機のエンジン音を区別することができる。従って、第３特徴量抽出手段３０は第３特徴量として周波数軸方向の相関係数の平均値を抽出し、その平均値を判別手段６０に出力する。
【００２１】
次に、第４特徴量抽出手段４０について説明する。第４特徴量抽出手段４０も図１では回帰係数計算手段４１のみをブロックで囲んで示しているが、実質上は周波数分析手段１と周波数軸方向の相関係数計算手段２１を含んで第４特徴量抽出手段４０が構成される。
第４特徴量抽出手段４０を構成する回帰係数計算手段４１は相関係数の低域から高域に至る概略の傾きを求めている。図９にその様子を示す。図９に示す曲線ｍは或る音響信号の周波数軸方向の相関係数。この相関係数の傾きａを求めることにより低域と高域の相関値の差が大きいか小さいかを計測することができる。傾きａは一次回帰係数の演算方法により以下に示す（８）式、（９）式で求めることができる。
【数４】
（８）式で求められるＤは一次直線Ｎから曲線ｍに下した距離を示す。距離Ｄを積分した値が最小となる傾きａを算出する。
【００２２】
図１０に傾きａを実例に適用した例を示す。自動車の走行音の相関係数の傾きはａ１、音楽の相関係数の傾きはａ２、プロペラ機のエンジン音の相関係数の傾きはａ３のように求めることができる。これらの傾きａ１、ａ２、ａ３から、音の種別を判定することができる。第４特徴量抽出手段４０はこの相関係数の傾きａを第４特徴量として判別手段６０に出力する。
第５特徴量抽出手段５０では周波数分析手段１から周波数スペクトルラムを取り込み、平均パワー計算手段５１により周波数スペクトラムの平均パワーを求め、この平均パワーを第５特徴量として判別手段６０に出力する。
判別手段６０では各特徴量抽出手段１０〜５０から出力される各特徴量を用いてどの種別の音響信号であるかを判定する。
この判定のために、予めデータベース７０に学習データが用意される。この学習データは、例えば音声に関しては発音の正しいアナウンサなどの音声及びその他の種別の音響信号（以下カテゴリと称す）を予め、第１特徴量抽出手段１０〜第５特徴量抽出手段５０でそれぞれの特徴量を抽出し、各特徴量について分散μと平均σを求め、データベース７０に格納する。
【００２３】
図１１にデータベースに格納したデータ群の様子を示す。
データベース７０に学習データが用意された状態で音種の判別が行える状態となる。周波数分析手段１に被判別音響信号が入力されると、上記した第１特徴量抽出手段１０、第２特徴量抽出手段２０、第３特徴量抽出手段３０、第４特徴量抽出手段４０、第５特徴量抽出手段５０は第１特徴量ｘ１、第２特徴量ｘ２、第３特徴量ｘ３、第４特徴量ｘ４、第５特徴量ｘ５を抽出する。
その抽出結果を図１２に示す。
これらの各特徴量ｘｉ（ｘ１，ｘ２…ｘ５）は以下に示す（１０）式に代入され、各特徴量ｘｉ（ｘ１，ｘ２…ｘ５）毎にこの例では５種類のカテゴリＣ＝５の全てに渡って尤度Ｐｃ，ｉを求める。
【数５】
ここでＣはカテゴリを表わす添字、ｉは特徴量を表わす添字である。
分散μと平均σはデータベース７０の各対応する欄から読み出して（１０）式に代入する。
各カテゴリの各特徴量（ｘ１，ｘ２，ｘ３，ｘ４，ｘ５）毎に尤度の積Ｐｃ，ｉが求められた後、（１１）式で各カテゴリの尤度の積Ｐｃを求める。
（１１）式により各カテゴリの尤度の積Ｐｃが求められた中で最も大きい尤度の積の値Ｐｃを提示したカテゴリを被判定音響信号のカテゴリと判定する。
【００２４】
図１３に判定結果の一例を示す。図１３の左欄のカテゴリ名は入力した音響信号のカテゴリ、上段のカテゴリ名は判定したカテゴリを示す。各欄の数値は単位時間に判定した回数を示す。つまり、音声を入力した場合に、音声と判定した回数が２３９２回、ＢＧＭ音楽と判定した回数が４８回、ノイズと判定した回数が７１回、環境騒音として判定した回数が７３回であったことを表わす。その結果音声の判別率は９２．６％となる。その他のカテゴリの判定率も７７〜８８％程度に推移し、良好な判別率を提示している。尚、上述の実施例では判定手段６０において第１特徴量〜第５特徴量の全てを判定の尺度として利用した場合を説明したが、必ずしも全ての特徴量を用いる必要はなく、最小限一つの特徴量だけでも判別を実行することができる。
図１３に示した判定結果から明らかなように、先に提案した音響信号判別方法及び音響信号判別装置によれば各カテゴリに属する音響信号の入力に対し、各カテゴリの正解率は高いものの、誤まった判定を下す回数もかなりの数になる。
この発明では、この誤った判定結果を検出し、その誤りを修正する第１修正手段と、第２修正手段を付加したことを特徴とするものである。
【００２５】
図１４にその構成の概要を示す。つまり、図１乃至図１３で説明した特徴量抽出手段２で抽出した各特徴量を判別手段６０に入力し、判別手段６０でデータベース７０に格納した学習済のデータを参照し、各特徴量毎に各カテゴリのパラメータを出力する。
判別手段６０から出力されたパラメータＰ１ ，Ｐ２ ，Ｐ３ は第１修正手段８０に入力され、第１修正手段８０でカテゴリの再判別を実行し、その再判別の結果、誤りが検出された場合は再判別の結果に修正される。更に第２修正手段９０では所定の分析窓長を設定し、この分析窓内で発生頻度の低い音響種別を発生頻度の高い音響種別に置換し、短時間に発生する判定誤りを修正する。
図１４に示す例では特徴量抽出手段２から第１〜第３特徴量を判別手段６０に入力し、判別手段６０ではこれらの各特徴量毎にパラメータＰ１ ，Ｐ２ ，Ｐ３ を出力させる構成とした場合を示すが、現実には例えば第１〜第４特徴量を特徴量１と２とを統合して一つの特徴量とし、特徴量３と４を統合して一つの特徴量とし、それらの特徴量を用いてカテゴリの判別を行なう方法も考えられる。ここでは説明を簡素にするために、３つの特徴量のそれぞれについて音種（カテゴリ）の判別を行なうものとして説明する。
【００２６】
図１５に判別手段６０のパラメータＰ１ ，Ｐ２ ，Ｐ３ の一例を示す。パラメータＰ１ ，Ｐ２ ，Ｐ３ はそれぞれが第１特徴量、第２特徴量及び第３特徴量のそれぞれから各音種毎の尤度を計算し、各音響種別の尤度を比較し、最も高い尤度をもつ種別を入力信号の音響種別として決定する。図１５に示す添字ＮＺが付された判別結果はノイズと判定したパラメータを表わす。また添字ＳＰが付されたパラメータは音声（スピーチ）と判定したパラメータ、添字ＭＵが付されたパラメータは音楽と判定したパラメータを表わす。ここでは判別手段６０はノイズと、音声、音楽の３種のカテゴリを判別するものとして説明する。
これら３つのパラメータＰ１ 〜Ｐ３ が得られ、これら３つのパラメータから最終的に一つの音響種別に絞り込む場合に、一般的な音響種別の決定方法を採るものとすると、各時点ｔ，ｔ＋１，ｔ＋２，ｔ＋３…の各時点毎にパラメータＰ１ ，Ｐ２ ，Ｐ３ の各種別毎の尤度を計算し、各時点毎に最も高い尤度をもつ種別を入力信号の音響種別と決定する決定方法が考えられる。
【００２７】
然し乍ら、この決定方法を採った場合には音種毎に計算した尤度がわずかでも大きい尤度を示す音種に決定されるため、連続性を持ちながらわずかな尤度の差で他の音種であるものに決定される例が多発する欠点がある。
この欠点を解消する他の方法としては比較的長い分析窓を設定し、その分析窓に含まれる各パラメータＰ１ ，Ｐ２ ，Ｐ３ の各音響種別の頻度を調べ、頻度の低い音響種別を頻度の高い音響種別に置き換える方法も考えられる。然し乍ら、この方法を採る場合には新たに比較的長い分析窓を設けなくてはならないことと、分析窓の長さによって信号の判定精度が大きく影響を受けるなどの問題が生じる。
【００２８】
この発明ではこれらの不都合を解消するために、第１修正処理と第２修正処理とに分け、第１修正処理では同一音響種別を出力し続けるパラメータを検出し、この同一音響種別を出力し続ける時間長を分析窓長とし、この分析窓の中の全ての音響種別の尤度を再計算し、この分析窓内で最も大きい尤度を持つ音響種別をその分析窓内の音響種別として決定する方法を採る。
従って、この方法によれば長い時間連続して同一音響種別を出力しているパラメータに重みが付され、他の短時間に発生する音響種別の影響を小さくできる。この結果、短かい時間に尤度がわずかに大きいために誤まった判定結果が発生しても、その影響を低減することができる。
更に、この発明では第２修正処理において、所定の窓長を設定しその窓内で発生頻度の低い音響種別を発生頻度の高い音響種別に置換する処理を施す。この置換処理により、短かい時間に発生する誤判断を除去することができる。
【００２９】
図１６に第１修正手段８０と、第２修正手段９０の実施例を示す。第１修正手段８０は一次分析条件決定手段８１Ａ、二次分析条件決定手段８２Ａ、三次分析条件決定手段８３Ａと、一次再判別手段８１Ｂ、二次再判別手段８２Ｂ、三次再判別手段８３Ｂと、一次音響種別決定手段８１Ｃ、二次音響種別決定手段８２Ｃ、三次音響種別決定手段８３Ｃとによって構成することができる。
一次分析条件決定手段８１Ａは判別手段６０から出力されるパラメータＰ１ ，Ｐ２ ，Ｐ３ を監視し、各時点毎に同一音響種別を出力し続けている音響判別結果を検出する。図１５に示す例ではパラメータＰ２ が時点ｔからｔ＋１，ｔ＋２の３つのスロットに渡って同一の音声ＳＰと判定された判別結果を出力している例を示す。一次分析条件決定手段８１Ａはこの状況を検出し、その時間長（ｔ〜ｔ＋２の時間長）を一次分析窓長として決定する。更に、連続している音響種別ＳＰを一次音響種別と決定する。この決定により一次分析条件が満され、この一次分析条件が一次再判別手段８１Ｂに入力される。
一次再判別手段８１Ｂでは一次分析窓長内の全ての音響種別の尤度を再計算し、最も大きい尤度を示す音響種別を検出する。検出された音響種別を一次種別決定手段８１Ｃに入力し、一次種別決定手段８１Ｃで検出された音響種別と、一次分析条件決定手段８１Ａで決定した一次音響種別と比較し、一致していればその一致した音響種別をその窓内の音響種別として決定する。
【００３０】
ここで検出した音響種別と一次音響種別とが不一致である場合にはその不一致の検出信号を二次分析条件決定手段８２Ａに入力する。二次分析条件決定手段８２Ａでは次に長い時間長を検出する。図１５に示す例ではパラメータＰ１ が時点ｔとｔ＋１でノイズＮＺと判定された判定結果を出力している状態を示す。従って、ここではノイズＮＺを二次音響種別とし、更に時間ｔとｔ＋１の時間長を二次分析窓長として決定する。
この二次分析条件が二次再判別手段８２Ａに渡され、二次分析窓長内の全ての音響種別の尤度を再計算し、最も大きい尤度を持つ音響種別を検出する。検出された音響種別を二次音響種別決定手段８２Ｃに送り込む。二次音響種別決定手段８２Ｃでは検出された音響種別と二次音響種別とを比較し、一致していればその一致した音響種別をその分析窓内の音響種別と決定する。
不一致の場合はその不一致であることを表わす信号を三次分析条件決定手段８３Ａに入力し、次に長い時間長と、三次音響種別を決定し、この処理を音響種別が一致するまで繰返す。
この第１修正処理により、尤度の差が小さい誤判定が存在しても、断続時間長が充分に長ければその誤判定を除去することができ尤度の高い判別結果だけが残ることになる。
【００３１】
図１７に第１修正処理による結果の例を示す。上述したように第１修正処理によれば尤度の高い判別結果が残るように修正が行なわれるから、その処理結果には尤度が高く短かい時間の誤判定が含まれる不都合が生じる。図１７に示す例では時点ｔ＋３で第１修正結果に音楽と判定した部分が存在する。この誤判定の原因としては突発的なノイズなどにより、音響的な特徴が瞬間的に大きく変わる部分や、母音の定常部分が音楽などに間違えられるものと考えられる。
この誤判定を除去するために、この発明では第２修正処理を施す。この第２修正処理は所定の分析窓長を設定し、この分析窓長の内で発生頻度の低い判別結果を発生頻度の高い判別結果に置換える処理を施す。図１７にその第２修正処理の様子を示す。図１７に示すＴは第２修正処理用に設定した分析窓長を示す。この例では３スロット分の時間長を第２修正処理用分析窓長Ｔとして設定した場合を示す。分析窓長Ｔ内で発生頻度の低い判定結果ＬＭＵ（音楽と判定した判定結果）を、発生頻度の高い判定結果ＬＳＰ（音声と判定した判定結果）に置換することにより、短かい時間長の誤判定を除去することができる。図１７Ｄに第２修正処理結果を示す。この処理結果から明らかなように、第２修正処理結果は正解に近似し、高い正解率を得ることができる。
【００３２】
図１８にこの発明を適用した場合と、一般的な音響種別決定方法を用いた場合との比較結果を示す。一般的な音響種別決定方法としては例えば図１７に示した各パラメータＰ１ ，Ｐ２ ，Ｐ３ を１スロット分ずつ全ての尤度を求め、最も高い尤度を示す音種を入力信号の音種に決定する方法とした。図１８から明らかなように、この発明によれば高い正解率が得られた。
図１に示した周波数分析手段１、第１特徴量抽出手段１０、第２特徴量抽出手段２０、第３特徴量抽出手段３０、第４特徴量抽出手段４０、第５特徴量抽出手段５０、判別手段６０と、図１４及び図１６に示した第１修正手段８０、第２修正手段９０はコンピュータと、コンピュータにインストールされた音響信号判別プログラムとによって実現される。
【００３３】
コンピュータは図１９に示すようにプログラムを解読し実行するＣＰＵ１０１と、読出専用メモリＲＯＭ１０２と、読み、書き可能なメモリＲＡＭ１０３と、入力ポート１０４，出力ポート１０５、外部記憶装置１０６等により構成される。
一般的にはＲＡＭ１０３に周波数分析プログラム１０３Ａと、第１特徴量抽出処理プログラム１０３Ｂ、第２特徴量抽出処理プログラム１０３Ｃ、第３特徴量抽出処理プログラム１０３Ｄ、第４特徴量抽出処理プログラム１０３Ｅ、第５特徴量抽出処理プログラム１０３Ｇ、第１修正処理プログラム１０３Ｈ、第２修正処理プログラム１０３Ｉ等が格納され、入力ポート１０４に入力された被判別音響信号の判別処理が実行される。判別結果は出力ポート１０５を通じて出力され、例えばモニタ（特に図示しない）に表示される。尚、図１９に示す例では外部記憶装置１０６に学習データを格納したデータベースを構築した例を示すが、データベースをＲＡＭ１０３に構築する場合もある。
【００３４】
図２０にこの発明による音響信号判別プログラムの概要を表わすフローチャートを示す。
ステップＳＰ１で音響信号が入力される。
ステップＳＰ２でこの音響信号の周波数分析を実行する。
ステップＳＰ３で周波数分析で得られた周波数スペクトルを用いて時間軸方向の相関係数を算出する。
ステップＳＰ４で時間軸方向の相関係数の分散値を算出し、この分析値を第１特徴量として出力する。
ステップＳＰ５では周波数分析結果を用いて周波数軸方向の相関係数を算出する（詳しくは図４参照）。
ステップＳＰ６で周波数軸方向の相関係数を用いて基本周波数を算出し、この基本周波数を第２特徴量として出力する。
【００３５】
ステップＳＰ７ではステップＳＰ５で算出した周波数軸方向の相関係数の平均値を求め、この平均値を第３特徴量として出力する。
ステップＳＰ８では回帰係数を算出し、スペクトルの概形（詳しくは図９参照）を求め、そのスペクトルの概形を第４特徴量として出力する。
ステップＳＰ９では周波数分析結果からスペクトルパワー又はスペクトルの中心周波数、バンド幅の何れか又は全部を算出し、第５特徴量として出力する。
ステップＳＰ１０ではこれら第１特徴量から第５特徴量の少なくとも何れか一つを用いて判別処理を実行する。判別処理に用いる特徴量の選択は主に音声を検出したいか或は音楽を検出したいか等で適宜に選択される。
ステップＳＰ１１で第１修正処理を実行し、
ステップＳＰ１２で第２修正処理を実行し、判別処理ステップＳＰ１０で発生した誤判定を除去し、信頼性の高い判別結果を出力する。
上述したように、この発明による音響信号判別プログラムはコンピュータが解読可能な符号によって記述され、コンピュータが読み取り可能な記録媒体に記録され、この記録媒体からインストールされるか、又は通信回線を通じてコンピュータにインストールされ、ＣＰＵ１０１が解読して実行される。
【００３６】
【発明の効果】
以上説明したように、この発明によれば音響信号の種別を判定するために用いる特徴量は全て周波数分析結果である周波数スペクトルを利用して抽出するため、信号処理の効率がよい。
更に、この発明では時点ｎで得られた周波数スペクトルと、時点ｎ＋１で得られた周波数スペクトルを時間軸方向にずらしながら相関係数を求め、この相関係数を利用して第２特徴量乃至第４特徴量を求め、これらの特徴量により、第２特徴量としてピッチ成分の抽出と、第３特徴量として相関係数の平均値、第４特徴量としてスペクトルの概形を定めることができる傾斜を求めたから、従来では判別が困難であった音声と音楽、或はノイズと環境騒音を判別することができるようになった。更に、第１修正処理と第２修正処理を追加したので判定の信頼性をより一層高めることができた。
【図面の簡単な説明】
【図１】この発明の先行技術となる音響信号判別装置の一実施例を説明するためのブロック図。
【図２】図１に示した実施例で用いる時間軸方向の相関係数を説明するためのグラフ。
【図３】図２で説明した時間軸方向の相関係数から求めた第１特徴量となる相関値の分散を説明するためのグラフ。
【図４】図１に示した実施例で用いる複数の周波数スペクトルを周波数軸方向にずらしながら、各周波数のずれ毎に相関係数を求める方法を説明するためのグラフ。
【図５】図４で説明した方法で求めた第２特徴量を説明するためのグラフ。
【図６】図１に示した実施例で用いる第３特徴量を説明するためのグラフ。
【図７】被判別音響信号の音種別のパワースペクトルの一例を説明するためのグラフ。
【図８】図７に示したパワースペクトルを図１に示した実施例で用いる周波数軸方向にスペクトルを移動させて算出した相関係数に置換した例を示すグラフ。
【図９】図１に示した実施例で用いる第４特徴量を説明するためのグラフ。
【図１０】図１に示した実施例で用いる第４特徴量の実例を説明するためのグラフ。
【図１１】図１に示した実施例の判別手段で用いるデータベースの内部の様子を説明するための図。
【図１２】被判別音響信号から抽出した第１特徴量乃至第５特徴量の抽出状態を説明するための図。
【図１３】図１に示した実施例の運用結果の一例を説明するための図。
【図１４】この発明の概要を説明するためのブロック図。
【図１５】この発明の第１修正処理を説明するための図。
【図１６】この発明の要部の具体的な実施例を説明するためのブロック図。
【図１７】この発明の第２修正処理を説明するための図。
【図１８】この発明を適用した場合の判別結果と従来技術との判別結果を説明するための図。
【図１９】この発明による音響信号判別装置プログラムをコンピュータで実行させる状態を説明するための構成概念図。
【図２０】この発明による音響信号判別プログラムの概要を説明するためのフローチャート。
【符号の説明】
１ 周波数分析手段 ８１Ａ 一次分析条件決定手段
１０ 第１特徴量抽出手段 ８１Ｂ 一次再判別手段
２０ 第２特徴量抽出手段 ８１Ｃ 一次音響種別決定手段
３０ 第３特徴量抽出手段 ８２Ａ 二次分析条件決定手段
４０ 第４特徴量抽出手段 ８２Ｂ 二次再判別手段
５０ 第５特徴量抽出手段 ８２Ｃ 二次音響種別決定手段
６０ 判別手段 ８３Ａ 三次分析条件決定手段
７０ データベース ８３Ｂ 三次再判別手段
８０ 第１修正手段 ８３Ｃ 三次音響種別決定手段
ｘ１〜ｘ５ 第１特徴量〜第５特徴量
【発明の属する技術分野】
本発明は、例えば音声、音楽、環境雑音などの音響の種別を判別する音響信号判別方法、音響信号判別装置、音響信号判別プログラムに関する。
【０００２】
【従来の技術】
従来の音響信号判別技術は、音源成分を求めるために信号の自己相関係数を求め、また、信号の定常性を求めるためにバンドパスフィルタを用いて求めるなど特徴量の抽出毎に別の信号処理を行う必要があり、そのために信号処理効率が悪いという問題があった。
その一例として、入力信号から特徴抽出部にて一定時間毎に複数の特徴量を抽出し、各音韻毎の特徴量と多数の学習用音声データから特徴量分布作成部で作成した特徴量分布との統計的距離を計算する特徴量尤度算出部を有し、各音韻毎に得られた継続時間と多数の学習用音声データから継続時間分布作成部で作成した継続時間分布との統計的距離とを算出する継続時間尤度算出部を有し、これら２つの距離を統合して音声を検出する総合判定部を備えた音声検出方法が提案されている（特許文献１、特許文献２）。
【０００３】
【特許文献１】
特開平６−３３２４９２号公報
【特許文献２】
特開平８−８７２９３号公報
【０００４】
【発明が解決しようとする課題】
上記した特許文献１及び特許文献２に見られるように、従来は被判別信号の特徴量として、各音韻毎の特徴量と多数の学習用音声データから特徴量分布作成部で作成した特徴量分布との統計的距離を計算するなどの信号処理を行うため、信号処理効率が悪いという問題があった。
また、信号の定常性を計測するために、バンドパスフィルタを用いて周波数スペクトルの長時間の傾向をみる方法があるが、結果を得るために長い時間の分析窓が必要であった。また、音源成分の抽出にはスペクトル包絡の調波構造に基づく手法は存在したが、調波構造のピークが捉えにくいことや、調波構造のピーク間隔の揺らぎによって周波数スペクトル全体のもつ調波構造を捉えることはできなかった。
【０００５】
更に、雑音の識別を行うには、その信号の雑音の度合を計測する方法が必要であるが、これを計測する尺度は提案されていない。また、スペクトルの高域と低域などの形状の比較を行う場合において、スペクトル包絡の複雑さを簡易な表現に変換し、比較を行う尺度も提案されていない。
このため本出願人は先に「特願２００３−２９９４３」により被判別音響信号の周波数スペクトルを求め、この周波数スペクトルから信号の定常性及び非定常性を特定することができる特徴量及び周波数スペクトル全体の持つ調波構造を捉えることができる特徴量、雑音の度合を計測する特徴量及びスペクトル包絡の簡易な表現を実現することができる特徴量を提案し、これらの特徴量を用いることにより効率よく、然も精度よく被判別音響信号の種別を判定することができる音響信号判別方法、音響信号判別装置、音響信号判別プログラムを提案した。
この発明は先に提案した音響信号判別方法、音響信号判別装置及び音響信号判別プログラムの改良に関し、特に判別結果に得られた音種の判別誤りを検出する処理と、その誤りを修正する修正処理を付加し、判別結果の信頼性を向上させようとするものである。
【０００６】
【課題を解決するための手段】
この発明では、被判別音響信号の周波数スペクトルと、この周波数スペクトルの時間軸上で隣接する周波数スペクトルの相関係数を時間軸方向の相関係数として求め、この時間軸方向の相関係数の時系列の分散値を特徴量として抽出する第１特徴量抽出処理と、互いに異なる複数の時点でそれぞれ被判別音響信号の周波数スペクトルを求め、この複数の周波数スペクトルを周波数軸方向にずらし、周波数のずれ毎に複数の周波数スペクトルの相関係数を周波数軸方向の相関係数として計算し、周波数軸方向の相関係数のピークが所定周波数間隔で存在する場合、そのピークの間隔から周期性を持つ信号の基本周波数を算出し、この基本周波数を特徴量として抽出する第２特徴量抽出処理と、周波数軸方向の相関係数の所定周波数範囲内の平均値を特徴量として抽出する第３特徴量抽出処理と、周波数軸方向の相関係数の開始点から回帰係数を求めることにより、周波数スペクトルの高域成分と低域成分の大局的な形状の違いを計測し、被判別音響信号の周波数スペクトルの概形を特徴量として抽出する第４特徴量抽出処理と、被判別音響信号の周波数スペクトルから、この周波数スペクトルのスペクトルパワー又は中心周波数、バンド幅の何れかを抽出する第５特徴量抽出処理と、複数の特徴量抽出処理で抽出した任意の数の特徴量を用いて、被判別音響信号の種別を各特徴量毎に判別する音響信号判別方法であって、特徴量毎の判別結果として得られる複数の音響種別の中で最も長く同一の判別結果を出力している音響種別の同一判別結果を出力し続ける時間長を計測し、その時間長を一次分析窓幅とし、同一判定結果を出力し続ける音響種別を一次音響種別と決定する一次分析条件決定処理と、この一次分析条件決定処理で決定した一次分析窓幅の中で各特徴量を用いた判別結果を再計算し、一次分析窓幅の範囲内の音響種別を求める一次再判別処理と、この一次再判別処理で得られた音響種別と一次分析条件決定処理で決定した一次音響種別とを比較し、一致すればその窓幅の音響種別をその窓幅の範囲で一致した音響種別と決定する一次音響種別決定処理と、一次再判別処理の再判別結果が一次音響種別と不一致の場合に次に長い時間長の音響種別判別結果を呈する音響種別の時間長を二次分析窓幅とし、その音響種別を二次音響種別と決定する二次分析条件決定処理と、この二次分析条件決定処理で決定した二次分析窓幅の中で上記特徴量を用いた音響判別結果を再計算し、音響種別を求める二次再判別処理と、この二次再判別処理で得られた音響種別と、二次分析条件決定処理で決定して二次音響種別とを比較し、一致すればその窓幅の音響種別をその窓幅の範囲で一致した音響種別と決定する二次音響種別修正処理と、二次再判別処理の二次判別結果が上記二次分析条件決定処理で決定した二次音響種別と不一致の場合に次に長い音響種別判別結果を呈する音響種別を三次音響種別とし、その時間長を三次分析窓幅と決定し、音響種別修正処理を繰返し、音響種別の判別結果が一致するまで繰返す音響信号判別方法を提案する。
この発明では更に、音響信号判別方法により修正処理された音響種別の列を所定の窓長を持つ分析窓で分析し、その分析窓内で発生頻度の低い音響種別を発生頻度の高い音響種別に置換処理する音響信号判別方法を提案する。
【０００７】
この発明では更に、被判別音響信号の周波数スペクトルと、この周波数スペクトルの時間軸上で隣接する周波数スペクトルの相関係数を時間軸方向の相関係数として求め、この時間軸方向の相関係数の時系列の分散値を特徴量として抽出する第１特徴量抽出手段と、互いに異なる複数の時点でそれぞれ被判別音響信号の周波数スペクトルを求め、この複数の周波数スペクトルを周波数軸方向にずらし、周波数のずれ毎に複数の周波数スペクトルの相関係数を周波数軸方向の相関係数として計算し、周波数軸方向の相関係数のピークが所定周波数間隔で存在する場合、そのピークの間隔から周期性を持つ信号の基本周波数を算出し、この基本周波数を特徴量として抽出する第２特徴量抽出手段と、周波数軸方向の相関係数の所定周波数範囲内の平均値を特徴量として抽出する第３特徴量抽出手段と、周波数軸方向の相関係数の開始点から回帰係数を求めることにより、周波数スペクトルの高域成分と低域成分の大局的な形状の違いを計測し、被判別音響信号の周波数スペクトルの概形を特徴量として抽出する第４特徴量抽出手段と、被判別音響信号の周波数スペクトルから、この周波数スペクトルのスペクトルパワー又は中心周波数、バンド幅の何れかを抽出する第５特徴量抽出手段と、複数の特徴量抽出手段で抽出した任意の数の特徴量を用いて被判別音響信号の種別を各特徴量毎に判別する音響信号判別装置であって、各特徴量毎の判別結果として得られる複数の音響種別の中で最も長く同一の判別結果を出力している音響種別の同一判別結果を出力し続ける時間長を計測し、その時間長を一次分析窓幅とし、同一判定結果を出力し続ける音響種別を一次音響種別と決定する一次分析条件決定手段と、この一次分析条件決定手段で決定した一次分析窓幅の中で各特徴量を用いた判別結果を再計算し、一次分析窓幅の範囲内の音響種別を求める一次再判別手段と、この一次再判別手段で得られた音響種別と一次分析条件決定手段で決定した一次音響種別とを比較し、一致すればその窓幅の音響種別をその窓幅の範囲で一致した音響種別と決定する一次音響種別修正手段と、一次再判別手段の再判別結果が一次音響種別と不一致の場合に次に長い時間長の音響種別判別結果を呈する音響種別の時間長を二次分析窓幅とし、その音響種別を二次音響種別と決定する二次分析条件決定手段と、この二次分析条件決定手段で決定した二次分析窓幅の中で上記特徴量を用いた音響判別結果を再計算し、音響種別を求める二次再判別手段と、この二次再判別手段で得られた音響種別と、二次分析条件決定手段で決定して二次音響種別とを比較し、一致すればその窓幅の音響種別をその窓幅の範囲で一致した音響種別を決定する二次音響種別修正手段と、二次再判別手段の二次判別結果が二次分析条件決定手段で決定した二次音響種別と不一致の場合に次に長い音響種別判別結果を呈する音響種別を三次音響種別とし、その時間長を三次分析窓幅と決定し、音響種別修正処理を繰返し、音響種別の判別結果が一致するまで繰返す音響信号判別装置を提案する。
【０００８】
この発明では更に、音響信号判別装置により判別された音響種別の列を所定の窓長を持つ分析窓で分析し、その分析窓内で発生頻度の低い音響種別を発生頻度の高い音響種別に置換処理する置換処理手段を具備していることを特徴とする音響信号判別装置を提案する。
この発明では更に、コンピュータが解読可能な符号列によって記述され、コンピュータに音響信号判別方法の少なくとも一方を実行させる音響信号判別プログラムを提案する。
【０００９】
作用
本発明によれば、先に提案した発明と同様に第１特徴量抽出処理乃至第５特徴量抽出処理で抽出する各特徴量は全て被判別音響信号の周波数スペクトルから抽出する。従って、全て同一系統の信号処理で音響信号の種別を判別でき信号処理の効率がよい。
また、音響信号の定常性及び非定常性を判別する特徴量、単一音源の有無を判別する特徴量、雑音の白色性を判別する特徴量、スペクトルの形状を簡素に表現し、スペクトルの形状の違いを比較することを可能とした特徴量をそれぞれ抽出するから、信頼性の高い種別判定を行うことができる。
更に、本発明によれば先に提案した発明で得られる作用効果に加えて種別判定結果から判定の誤りを検出し、その誤りを修正する修正処理及び修正手段を付加したから、判別結果の信頼性を更に高めることができる。
【００１０】
【発明の実施の形態】
図１に先に提案した音響信号判別方法を用いて音響信号の種別を判定する音響信号判別装置の概要を示す。
被判別音響信号は周波数分析手段１で周波数分析され、周波数スペクトルが求められる。周波数分析手段１としては例えばＦＦＴ等と呼ばれている高速フーリエ変換手段を用いることができる。高速フーリエ変換手段によれば例えば１０２４サンプルの音響データを１フレームとして取扱い、１フレーム内に存在する音響データの周波数成分を分析する。
この発明ではこの周波数分析手段１で分析した周波数スペクトルを利用して第１特徴量〜第Ｎ特徴量を抽出する構成とした点を特徴とするものである。この実施例ではＮ＝５とした場合を示す。このために、周波数分析手段１の出力側に、第１特徴量抽出手段１０と、第２特徴量抽出手段２０と、第３特徴量抽出手段３０と、第４特徴量抽出手段４０と、第５特徴量抽出手段５０が接続される。
図１では時間軸方向の相関係数計算手段１１と、分散値計算手段１２をブロックで囲んで第１特徴量抽出手段１０を構成しているように表記しているが、実質的には周波数分析手段１を含んで第１特徴量抽出手段１０が構成される。
【００１１】
第１特徴量抽出手段１０を構成する時間軸方向の相関係数計算手段１１は、周波数分析手段１から与えられる周波数分析結果を時間軸方向に隣接する周波数スペクトルの相関係数を計算する。相関係数の値が高い値（１に近い値）の発生頻度が多い状況では入力された被判定音響信号は時間軸方向に周波数スペクトルの変動が少ないと見ることができる。この状況下にある信号を以下では定常性を持つ信号、又は定常的な信号と称すことにする。
これに対し、相関係数が低い値（０に近い値）の発生頻度が多い状況ではその時点の被判別音響信号は時間軸方向に大きく変動していると見ることができる。この状況下にある信号を以下では非定常性を持つ信号又は非定常な信号と称すことにする。
【００１２】
定常性を持つ信号と非定常性を持つ信号の一例を図２を用いて説明する。図２で横軸は時間を示す。図２の前半の区間Ｘ１はＢＧＭ音楽信号を被判別音響信号として入力した状況、後半の区間Ｘ２は音声信号を被判別音響信号として入力した状況を示す。上段Ａに示す曲線は被判別音響信号のパワー値（ＲＭＳ）を示す。パワー値は上に向う程パワー値が高く、下に向うほどパワー値が低いことを表わす。
中段Ｂは被判別音響信号のピッチ（基本周波数）を抽出した結果を表わす。このピッチに関しては第２特徴量抽出手段２０の部分で説明するが、このピッチデータも上に向う程周波数が高く、下に向う程周波数が低いことを表わす。
下段Ｃは第１特徴量抽出手段１０を構成する時間軸方向の相関係数計算手段１１で計算した時間軸方向の相関係数を示す。この相関係数は上に向う程相関値が１に近づき、下に向う程０値に近づく。
【００１３】
図２に示す時間軸方向の相関係数の軌跡から被判別音響信号が音楽の場合は相関係数は安定し、音声区間では相関係数が大きく変動する様子が解る。
尚、時間軸方向のｎ番目のパワースペクトルとｎ＋１番目のパワースペクトルとの相関係数Ｒｔ，ｔ＋１は以下に示す（１）式，（２）式，（３）式で求められる。
【数１】
【００１４】
音楽が被判別音響信号の場合、スペクトルの包絡が時間軸方向に似通っているために高い相関値を保つと考えられる。これに対して音声の区間では相関係数値が大きく変動している。音声の中でも母音部分では高いと相関値を示すが、子音部分や音韻の境界ではスペクトルの変化が生じるために低い相関値を示すものと考えられる。この結果、この発明ではある時間長の相関値を計測し、その分散の度合により信号が定常的か非定常的かを判定するものとする。
このために、第１特徴量抽出手段１０では時間軸方向の相関係数計算手段１１の出力側に分散値計算手段１２を設け、この分散値計算手段１２で相関係数の単位時間あたりの分散値Ｖを計算する。分散値Ｖは以下に示す（４）式で計算される。
【数２】
【００１５】
図３に各種別の音響信号の相関係数の分散を示す。図３に示す曲線Ｓ１は被判別音響信号が音楽の場合の相関値の分散を表わす。
曲線Ｓ２は被判別音響信号が音声の場合の相関値の分散を表わす。
曲線Ｓ３はポーズ区間の相関値の分散。
曲線Ｓ４は自動車の走行音の相関値の分散。
曲線Ｓ５はプロペラ機のエンジン音の相関値の分散。
曲線Ｓ６はペーパーノイズ（紙をめくる音）の相関値の分散を示す。
音楽と音声の相関値の分散曲線Ｓ１とＳ２は分布の重なりが少ない形状となっている。よって、この分散を特徴量として用いることにより音声と音楽とを判別することができる。但し、その他の音響信号に関しては分布が広がっており、この特徴量では種別の判別は困難であると見られる。図３に示す例では、分散値が４０〜６０の範囲で音楽、分散値が６０〜８０の範囲で音声と判定することができる。第１特徴量抽出手段１０はこの分散値を第１特徴量として判別手段６０に出力する。種別の判別方法に関しては判別手段６０の項で説明する。
【００１６】
次に、第２特徴量抽出手段２０について説明する。第２特徴量抽出手段は周波数軸方向の相関係数計算手段２１と、ピッチ抽出手段２２とによって構成することができる。周波数軸方向の相関係数計算手段２１は周波数分析手段１で周波数分析した時点ｎで得られた周波数スペクトルと、時点ｎ＋１で得られた周波数スペクトルを相互に周波数軸方向に移動させながら、各移動周波数毎に相関係数を計算する。
図４にその様子を示す。図４に示すＳＰ１は時点ｎで得られた周波数スペクトル、ＳＰ２は時点ｎ＋１で得られた周波数スペクトルを示す。双方の周波数スペクトルの周波数差が０Ｈｚである状態から、何れか一方の周波数スペクトルを周波数軸方向にわずかずつ（Δｆ）移動させ、移動毎に相互の相関係数を求める。相関係数は（５）式、（６）式、（７）式で求められる。
【数３】
図５にスペクトルの移動による相関係数の一例を示す。スペクトルＳＰ１とＳＰ２を周波数軸方向にずらしながら相互の相関係数を求めることにより、調波構造のピークに双方のスペクトルが重なる毎に強い相関を示し、ピークの重なりがずれれば０．２程度の極めて低い相関を示す。この繰り返しにより明確な相関値のピークが得られる。相関係数に周期的にピークが発生する場合、被判別音響信号に周期性を持つ信号が含まれていることが分る。ピークの間隔を抽出することで周期性を持つ信号のピッチ周波数を得ることができる。
ピッチ抽出手段２２は図５に示した相関係数のピーク相互間の間隔から周期性を持つ信号のピッチ周波数を求める。具体的には図５に示すピークＰ１は周波数差が０Ｈｚの場合の相関値で得られるピーク、Ｐ２は２番目のピークである。ピークＰ１とＰ２の間隔τから周期性を持つ信号の基本周波数（ピッチ周波数）を求めることができる。第２特徴量抽出手段２０はこのピッチ周波数を第２特徴量として判別手段６０に出力する。
【００１８】
次に第３特徴量抽出手段３０について説明する。第３特徴量抽出手段３０は図１では平均値計算部３１のみをブロックで囲んで示しているが、実質的には周波数分析手段１と、周波数軸方向の相関係数計算手段２１とを含んで構成される。平均値算出手段３１は周波数軸方向の相関係数計算手段２１が周波数スペクトルＳＰ１とＳＰ２を周波数Δｆずつずらす毎に算出する相関値を相関値の算出が終了するまで積算し、その平均値を求める。つまり、周波数スペクトルＳＰ１とＳＰ２の周波数のずれが０Ｈｚの状態から、周波数のずれ量Δｆが最大に達するまでの間に算出された相関値を積算し、その平均値を求める。この平均値により雑音性が大きいか、小さいかを判定することができる。
【００１９】
その理由は以下の如くである。図６に示すＡ１はホワイトノイズのパワースペクトルの包絡、Ｂ１はピンクノイズの周波数スペクトルのパワーの概略、Ｃ１は例えば音楽、音声等の有色音のスペクトルのパワーの概略を示す。
図６Ａ２は周波数軸方向の相関係数計算手段２１で周波数をΔｆずつずらした場合に算出される同様の相関係数、Ｂ２はピンクノイズの相関係数、Ｃ２は有色音の相関係数をそれぞれ示す。
図６Ａ２とＢ２、Ｃ２において、或る周波数範囲Δｆｍに限定してその範囲内の相関係数の平均値ＳＡＶはホワイトノイズの場合「１」で最大となり、次にピンクノイズ、有色音の順に平均値ＳＡＶの値が求められる。従って、相関係数の平均値ＳＡＶの値が「１」に近い程ノイズ性が高いと判定することができる。特に平均値が「１」に近い程白色性に近いことが分る。
【００２０】
図７と図８を用いて相関係数の平均値が意味するところを説明する。図７は音楽、ペーパーノイズ、自動車の走行音の各音響信号のパワースペクトルを示す。図７に示す曲線ｍｆは音楽のパワースペクトル、曲線ｐｆはプロペラ機のエンジン音のパワースペクトル、曲線ｓｆは自動車の走行音のパワースペクトルを示す。図７に示すパワースペクトルでは音楽のパワースペクトルは他の音と区別でくるが、自動車の走行音とプロペラ機のエンジン音は全く重なり合っており、区別は難しい。
これに対し、図８にこの発明で用いる周波数軸方向の相関係数を示す。図８に示す曲線ｍｃは音楽の周波数スペクトルを周波数軸方向にずらしながら相関係数を計算し、計算した周波数軸方向の相関係数をプロットした曲線を示す。曲線ＳＣは自動車走行音の周波数軸方向の相関係数、曲線ＰＣはプロペラ機のエンジン音の周波数軸方向の相関係数を示す。図８から分かるように、各曲線ＳＣ、ｍｃ、ＰＣは重なり合う部分は少なく、或る周波数のずれ範囲に制限し、その範囲内の相関値の平均を求めることにより、その平均値を尺度とすれば音楽と、自動車の走行音と、プロペラ機のエンジン音を区別することができる。従って、第３特徴量抽出手段３０は第３特徴量として周波数軸方向の相関係数の平均値を抽出し、その平均値を判別手段６０に出力する。
【００２１】
次に、第４特徴量抽出手段４０について説明する。第４特徴量抽出手段４０も図１では回帰係数計算手段４１のみをブロックで囲んで示しているが、実質上は周波数分析手段１と周波数軸方向の相関係数計算手段２１を含んで第４特徴量抽出手段４０が構成される。
第４特徴量抽出手段４０を構成する回帰係数計算手段４１は相関係数の低域から高域に至る概略の傾きを求めている。図９にその様子を示す。図９に示す曲線ｍは或る音響信号の周波数軸方向の相関係数。この相関係数の傾きａを求めることにより低域と高域の相関値の差が大きいか小さいかを計測することができる。傾きａは一次回帰係数の演算方法により以下に示す（８）式、（９）式で求めることができる。
【数４】
【００２２】
図１０に傾きａを実例に適用した例を示す。自動車の走行音の相関係数の傾きはａ１、音楽の相関係数の傾きはａ２、プロペラ機のエンジン音の相関係数の傾きはａ３のように求めることができる。これらの傾きａ１、ａ２、ａ３から、音の種別を判定することができる。第４特徴量抽出手段４０はこの相関係数の傾きａを第４特徴量として判別手段６０に出力する。
第５特徴量抽出手段５０では周波数分析手段１から周波数スペクトルラムを取り込み、平均パワー計算手段５１により周波数スペクトラムの平均パワーを求め、この平均パワーを第５特徴量として判別手段６０に出力する。
判別手段６０では各特徴量抽出手段１０〜５０から出力される各特徴量を用いてどの種別の音響信号であるかを判定する。
この判定のために、予めデータベース７０に学習データが用意される。この学習データは、例えば音声に関しては発音の正しいアナウンサなどの音声及びその他の種別の音響信号（以下カテゴリと称す）を予め、第１特徴量抽出手段１０〜第５特徴量抽出手段５０でそれぞれの特徴量を抽出し、各特徴量について分散μと平均σを求め、データベース７０に格納する。
【００２３】
図１１にデータベースに格納したデータ群の様子を示す。
データベース７０に学習データが用意された状態で音種の判別が行える状態となる。周波数分析手段１に被判別音響信号が入力されると、上記した第１特徴量抽出手段１０、第２特徴量抽出手段２０、第３特徴量抽出手段３０、第４特徴量抽出手段４０、第５特徴量抽出手段５０は第１特徴量ｘ１、第２特徴量ｘ２、第３特徴量ｘ３、第４特徴量ｘ４、第５特徴量ｘ５を抽出する。
その抽出結果を図１２に示す。
これらの各特徴量ｘｉ（ｘ１，ｘ２…ｘ５）は以下に示す（１０）式に代入され、各特徴量ｘｉ（ｘ１，ｘ２…ｘ５）毎にこの例では５種類のカテゴリＣ＝５の全てに渡って尤度Ｐｃ，ｉを求める。
【数５】
分散μと平均σはデータベース７０の各対応する欄から読み出して（１０）式に代入する。
各カテゴリの各特徴量（ｘ１，ｘ２，ｘ３，ｘ４，ｘ５）毎に尤度の積Ｐｃ，ｉが求められた後、（１１）式で各カテゴリの尤度の積Ｐｃを求める。
（１１）式により各カテゴリの尤度の積Ｐｃが求められた中で最も大きい尤度の積の値Ｐｃを提示したカテゴリを被判定音響信号のカテゴリと判定する。
【００２４】
図１３に判定結果の一例を示す。図１３の左欄のカテゴリ名は入力した音響信号のカテゴリ、上段のカテゴリ名は判定したカテゴリを示す。各欄の数値は単位時間に判定した回数を示す。つまり、音声を入力した場合に、音声と判定した回数が２３９２回、ＢＧＭ音楽と判定した回数が４８回、ノイズと判定した回数が７１回、環境騒音として判定した回数が７３回であったことを表わす。その結果音声の判別率は９２．６％となる。その他のカテゴリの判定率も７７〜８８％程度に推移し、良好な判別率を提示している。尚、上述の実施例では判定手段６０において第１特徴量〜第５特徴量の全てを判定の尺度として利用した場合を説明したが、必ずしも全ての特徴量を用いる必要はなく、最小限一つの特徴量だけでも判別を実行することができる。
図１３に示した判定結果から明らかなように、先に提案した音響信号判別方法及び音響信号判別装置によれば各カテゴリに属する音響信号の入力に対し、各カテゴリの正解率は高いものの、誤まった判定を下す回数もかなりの数になる。
この発明では、この誤った判定結果を検出し、その誤りを修正する第１修正手段と、第２修正手段を付加したことを特徴とするものである。
【００２５】
図１４にその構成の概要を示す。つまり、図１乃至図１３で説明した特徴量抽出手段２で抽出した各特徴量を判別手段６０に入力し、判別手段６０でデータベース７０に格納した学習済のデータを参照し、各特徴量毎に各カテゴリのパラメータを出力する。
判別手段６０から出力されたパラメータＰ１ ，Ｐ２ ，Ｐ３ は第１修正手段８０に入力され、第１修正手段８０でカテゴリの再判別を実行し、その再判別の結果、誤りが検出された場合は再判別の結果に修正される。更に第２修正手段９０では所定の分析窓長を設定し、この分析窓内で発生頻度の低い音響種別を発生頻度の高い音響種別に置換し、短時間に発生する判定誤りを修正する。
図１４に示す例では特徴量抽出手段２から第１〜第３特徴量を判別手段６０に入力し、判別手段６０ではこれらの各特徴量毎にパラメータＰ１ ，Ｐ２ ，Ｐ３ を出力させる構成とした場合を示すが、現実には例えば第１〜第４特徴量を特徴量１と２とを統合して一つの特徴量とし、特徴量３と４を統合して一つの特徴量とし、それらの特徴量を用いてカテゴリの判別を行なう方法も考えられる。ここでは説明を簡素にするために、３つの特徴量のそれぞれについて音種（カテゴリ）の判別を行なうものとして説明する。
【００２６】
図１５に判別手段６０のパラメータＰ１ ，Ｐ２ ，Ｐ３ の一例を示す。パラメータＰ１ ，Ｐ２ ，Ｐ３ はそれぞれが第１特徴量、第２特徴量及び第３特徴量のそれぞれから各音種毎の尤度を計算し、各音響種別の尤度を比較し、最も高い尤度をもつ種別を入力信号の音響種別として決定する。図１５に示す添字ＮＺが付された判別結果はノイズと判定したパラメータを表わす。また添字ＳＰが付されたパラメータは音声（スピーチ）と判定したパラメータ、添字ＭＵが付されたパラメータは音楽と判定したパラメータを表わす。ここでは判別手段６０はノイズと、音声、音楽の３種のカテゴリを判別するものとして説明する。
これら３つのパラメータＰ１ 〜Ｐ３ が得られ、これら３つのパラメータから最終的に一つの音響種別に絞り込む場合に、一般的な音響種別の決定方法を採るものとすると、各時点ｔ，ｔ＋１，ｔ＋２，ｔ＋３…の各時点毎にパラメータＰ１ ，Ｐ２ ，Ｐ３ の各種別毎の尤度を計算し、各時点毎に最も高い尤度をもつ種別を入力信号の音響種別と決定する決定方法が考えられる。
【００２７】
然し乍ら、この決定方法を採った場合には音種毎に計算した尤度がわずかでも大きい尤度を示す音種に決定されるため、連続性を持ちながらわずかな尤度の差で他の音種であるものに決定される例が多発する欠点がある。
この欠点を解消する他の方法としては比較的長い分析窓を設定し、その分析窓に含まれる各パラメータＰ１ ，Ｐ２ ，Ｐ３ の各音響種別の頻度を調べ、頻度の低い音響種別を頻度の高い音響種別に置き換える方法も考えられる。然し乍ら、この方法を採る場合には新たに比較的長い分析窓を設けなくてはならないことと、分析窓の長さによって信号の判定精度が大きく影響を受けるなどの問題が生じる。
【００２８】
この発明ではこれらの不都合を解消するために、第１修正処理と第２修正処理とに分け、第１修正処理では同一音響種別を出力し続けるパラメータを検出し、この同一音響種別を出力し続ける時間長を分析窓長とし、この分析窓の中の全ての音響種別の尤度を再計算し、この分析窓内で最も大きい尤度を持つ音響種別をその分析窓内の音響種別として決定する方法を採る。
従って、この方法によれば長い時間連続して同一音響種別を出力しているパラメータに重みが付され、他の短時間に発生する音響種別の影響を小さくできる。この結果、短かい時間に尤度がわずかに大きいために誤まった判定結果が発生しても、その影響を低減することができる。
更に、この発明では第２修正処理において、所定の窓長を設定しその窓内で発生頻度の低い音響種別を発生頻度の高い音響種別に置換する処理を施す。この置換処理により、短かい時間に発生する誤判断を除去することができる。
【００２９】
図１６に第１修正手段８０と、第２修正手段９０の実施例を示す。第１修正手段８０は一次分析条件決定手段８１Ａ、二次分析条件決定手段８２Ａ、三次分析条件決定手段８３Ａと、一次再判別手段８１Ｂ、二次再判別手段８２Ｂ、三次再判別手段８３Ｂと、一次音響種別決定手段８１Ｃ、二次音響種別決定手段８２Ｃ、三次音響種別決定手段８３Ｃとによって構成することができる。
一次分析条件決定手段８１Ａは判別手段６０から出力されるパラメータＰ１ ，Ｐ２ ，Ｐ３ を監視し、各時点毎に同一音響種別を出力し続けている音響判別結果を検出する。図１５に示す例ではパラメータＰ２ が時点ｔからｔ＋１，ｔ＋２の３つのスロットに渡って同一の音声ＳＰと判定された判別結果を出力している例を示す。一次分析条件決定手段８１Ａはこの状況を検出し、その時間長（ｔ〜ｔ＋２の時間長）を一次分析窓長として決定する。更に、連続している音響種別ＳＰを一次音響種別と決定する。この決定により一次分析条件が満され、この一次分析条件が一次再判別手段８１Ｂに入力される。
一次再判別手段８１Ｂでは一次分析窓長内の全ての音響種別の尤度を再計算し、最も大きい尤度を示す音響種別を検出する。検出された音響種別を一次種別決定手段８１Ｃに入力し、一次種別決定手段８１Ｃで検出された音響種別と、一次分析条件決定手段８１Ａで決定した一次音響種別と比較し、一致していればその一致した音響種別をその窓内の音響種別として決定する。
【００３０】
ここで検出した音響種別と一次音響種別とが不一致である場合にはその不一致の検出信号を二次分析条件決定手段８２Ａに入力する。二次分析条件決定手段８２Ａでは次に長い時間長を検出する。図１５に示す例ではパラメータＰ１ が時点ｔとｔ＋１でノイズＮＺと判定された判定結果を出力している状態を示す。従って、ここではノイズＮＺを二次音響種別とし、更に時間ｔとｔ＋１の時間長を二次分析窓長として決定する。
この二次分析条件が二次再判別手段８２Ａに渡され、二次分析窓長内の全ての音響種別の尤度を再計算し、最も大きい尤度を持つ音響種別を検出する。検出された音響種別を二次音響種別決定手段８２Ｃに送り込む。二次音響種別決定手段８２Ｃでは検出された音響種別と二次音響種別とを比較し、一致していればその一致した音響種別をその分析窓内の音響種別と決定する。
不一致の場合はその不一致であることを表わす信号を三次分析条件決定手段８３Ａに入力し、次に長い時間長と、三次音響種別を決定し、この処理を音響種別が一致するまで繰返す。
この第１修正処理により、尤度の差が小さい誤判定が存在しても、断続時間長が充分に長ければその誤判定を除去することができ尤度の高い判別結果だけが残ることになる。
【００３１】
図１７に第１修正処理による結果の例を示す。上述したように第１修正処理によれば尤度の高い判別結果が残るように修正が行なわれるから、その処理結果には尤度が高く短かい時間の誤判定が含まれる不都合が生じる。図１７に示す例では時点ｔ＋３で第１修正結果に音楽と判定した部分が存在する。この誤判定の原因としては突発的なノイズなどにより、音響的な特徴が瞬間的に大きく変わる部分や、母音の定常部分が音楽などに間違えられるものと考えられる。
この誤判定を除去するために、この発明では第２修正処理を施す。この第２修正処理は所定の分析窓長を設定し、この分析窓長の内で発生頻度の低い判別結果を発生頻度の高い判別結果に置換える処理を施す。図１７にその第２修正処理の様子を示す。図１７に示すＴは第２修正処理用に設定した分析窓長を示す。この例では３スロット分の時間長を第２修正処理用分析窓長Ｔとして設定した場合を示す。分析窓長Ｔ内で発生頻度の低い判定結果ＬＭＵ（音楽と判定した判定結果）を、発生頻度の高い判定結果ＬＳＰ（音声と判定した判定結果）に置換することにより、短かい時間長の誤判定を除去することができる。図１７Ｄに第２修正処理結果を示す。この処理結果から明らかなように、第２修正処理結果は正解に近似し、高い正解率を得ることができる。
【００３２】
図１８にこの発明を適用した場合と、一般的な音響種別決定方法を用いた場合との比較結果を示す。一般的な音響種別決定方法としては例えば図１７に示した各パラメータＰ１ ，Ｐ２ ，Ｐ３ を１スロット分ずつ全ての尤度を求め、最も高い尤度を示す音種を入力信号の音種に決定する方法とした。図１８から明らかなように、この発明によれば高い正解率が得られた。
図１に示した周波数分析手段１、第１特徴量抽出手段１０、第２特徴量抽出手段２０、第３特徴量抽出手段３０、第４特徴量抽出手段４０、第５特徴量抽出手段５０、判別手段６０と、図１４及び図１６に示した第１修正手段８０、第２修正手段９０はコンピュータと、コンピュータにインストールされた音響信号判別プログラムとによって実現される。
【００３３】
コンピュータは図１９に示すようにプログラムを解読し実行するＣＰＵ１０１と、読出専用メモリＲＯＭ１０２と、読み、書き可能なメモリＲＡＭ１０３と、入力ポート１０４，出力ポート１０５、外部記憶装置１０６等により構成される。
一般的にはＲＡＭ１０３に周波数分析プログラム１０３Ａと、第１特徴量抽出処理プログラム１０３Ｂ、第２特徴量抽出処理プログラム１０３Ｃ、第３特徴量抽出処理プログラム１０３Ｄ、第４特徴量抽出処理プログラム１０３Ｅ、第５特徴量抽出処理プログラム１０３Ｇ、第１修正処理プログラム１０３Ｈ、第２修正処理プログラム１０３Ｉ等が格納され、入力ポート１０４に入力された被判別音響信号の判別処理が実行される。判別結果は出力ポート１０５を通じて出力され、例えばモニタ（特に図示しない）に表示される。尚、図１９に示す例では外部記憶装置１０６に学習データを格納したデータベースを構築した例を示すが、データベースをＲＡＭ１０３に構築する場合もある。
【００３４】
図２０にこの発明による音響信号判別プログラムの概要を表わすフローチャートを示す。
ステップＳＰ１で音響信号が入力される。
ステップＳＰ２でこの音響信号の周波数分析を実行する。
ステップＳＰ３で周波数分析で得られた周波数スペクトルを用いて時間軸方向の相関係数を算出する。
ステップＳＰ４で時間軸方向の相関係数の分散値を算出し、この分析値を第１特徴量として出力する。
ステップＳＰ５では周波数分析結果を用いて周波数軸方向の相関係数を算出する（詳しくは図４参照）。
ステップＳＰ６で周波数軸方向の相関係数を用いて基本周波数を算出し、この基本周波数を第２特徴量として出力する。
【００３５】
ステップＳＰ７ではステップＳＰ５で算出した周波数軸方向の相関係数の平均値を求め、この平均値を第３特徴量として出力する。
ステップＳＰ８では回帰係数を算出し、スペクトルの概形（詳しくは図９参照）を求め、そのスペクトルの概形を第４特徴量として出力する。
ステップＳＰ９では周波数分析結果からスペクトルパワー又はスペクトルの中心周波数、バンド幅の何れか又は全部を算出し、第５特徴量として出力する。
ステップＳＰ１０ではこれら第１特徴量から第５特徴量の少なくとも何れか一つを用いて判別処理を実行する。判別処理に用いる特徴量の選択は主に音声を検出したいか或は音楽を検出したいか等で適宜に選択される。
ステップＳＰ１１で第１修正処理を実行し、
ステップＳＰ１２で第２修正処理を実行し、判別処理ステップＳＰ１０で発生した誤判定を除去し、信頼性の高い判別結果を出力する。
上述したように、この発明による音響信号判別プログラムはコンピュータが解読可能な符号によって記述され、コンピュータが読み取り可能な記録媒体に記録され、この記録媒体からインストールされるか、又は通信回線を通じてコンピュータにインストールされ、ＣＰＵ１０１が解読して実行される。
【００３６】
【発明の効果】
以上説明したように、この発明によれば音響信号の種別を判定するために用いる特徴量は全て周波数分析結果である周波数スペクトルを利用して抽出するため、信号処理の効率がよい。
更に、この発明では時点ｎで得られた周波数スペクトルと、時点ｎ＋１で得られた周波数スペクトルを時間軸方向にずらしながら相関係数を求め、この相関係数を利用して第２特徴量乃至第４特徴量を求め、これらの特徴量により、第２特徴量としてピッチ成分の抽出と、第３特徴量として相関係数の平均値、第４特徴量としてスペクトルの概形を定めることができる傾斜を求めたから、従来では判別が困難であった音声と音楽、或はノイズと環境騒音を判別することができるようになった。更に、第１修正処理と第２修正処理を追加したので判定の信頼性をより一層高めることができた。
【図面の簡単な説明】
【図１】この発明の先行技術となる音響信号判別装置の一実施例を説明するためのブロック図。
【図２】図１に示した実施例で用いる時間軸方向の相関係数を説明するためのグラフ。
【図３】図２で説明した時間軸方向の相関係数から求めた第１特徴量となる相関値の分散を説明するためのグラフ。
【図４】図１に示した実施例で用いる複数の周波数スペクトルを周波数軸方向にずらしながら、各周波数のずれ毎に相関係数を求める方法を説明するためのグラフ。
【図５】図４で説明した方法で求めた第２特徴量を説明するためのグラフ。
【図６】図１に示した実施例で用いる第３特徴量を説明するためのグラフ。
【図７】被判別音響信号の音種別のパワースペクトルの一例を説明するためのグラフ。
【図８】図７に示したパワースペクトルを図１に示した実施例で用いる周波数軸方向にスペクトルを移動させて算出した相関係数に置換した例を示すグラフ。
【図９】図１に示した実施例で用いる第４特徴量を説明するためのグラフ。
【図１０】図１に示した実施例で用いる第４特徴量の実例を説明するためのグラフ。
【図１１】図１に示した実施例の判別手段で用いるデータベースの内部の様子を説明するための図。
【図１２】被判別音響信号から抽出した第１特徴量乃至第５特徴量の抽出状態を説明するための図。
【図１３】図１に示した実施例の運用結果の一例を説明するための図。
【図１４】この発明の概要を説明するためのブロック図。
【図１５】この発明の第１修正処理を説明するための図。
【図１６】この発明の要部の具体的な実施例を説明するためのブロック図。
【図１７】この発明の第２修正処理を説明するための図。
【図１８】この発明を適用した場合の判別結果と従来技術との判別結果を説明するための図。
【図１９】この発明による音響信号判別装置プログラムをコンピュータで実行させる状態を説明するための構成概念図。
【図２０】この発明による音響信号判別プログラムの概要を説明するためのフローチャート。
【符号の説明】
１ 周波数分析手段 ８１Ａ 一次分析条件決定手段
１０ 第１特徴量抽出手段 ８１Ｂ 一次再判別手段
２０ 第２特徴量抽出手段 ８１Ｃ 一次音響種別決定手段
３０ 第３特徴量抽出手段 ８２Ａ 二次分析条件決定手段
４０ 第４特徴量抽出手段 ８２Ｂ 二次再判別手段
５０ 第５特徴量抽出手段 ８２Ｃ 二次音響種別決定手段
６０ 判別手段 ８３Ａ 三次分析条件決定手段
７０ データベース ８３Ｂ 三次再判別手段
８０ 第１修正手段 ８３Ｃ 三次音響種別決定手段
ｘ１〜ｘ５ 第１特徴量〜第５特徴量
Claims (5)
- 被判別音響信号の周波数スペクトルと、この周波数スペクトルの時間軸上で隣接する周波数スペクトルの相関係数を時間軸方向の相関係数として求め、この時間軸方向の相関係数の時系列の分散値を特徴量として抽出する第１特徴量抽出処理と、
互いに異なる複数の時点でそれぞれ被判別音響信号の周波数スペクトルを求め、この複数の周波数スペクトルを周波数軸方向にずらし、周波数のずれ毎に複数の周波数スペクトルの相関係数を周波数軸方向の相関係数として計算し、周波数軸方向の相関係数のピークが所定周波数間隔で存在する場合、そのピークの間隔から周期性を持つ信号の基本周波数を算出し、この基本周波数を特徴量として抽出する第２特徴量抽出処理と、
上記周波数軸方向の相関係数の所定周波数範囲内の平均値を特徴量として抽出する第３特徴量抽出処理と、
上記周波数軸方向の相関係数の開始点から回帰係数を求めることにより、上記周波数スペクトルの高域成分と低域成分の大局的な形状の違いを計測し、上記被判別音響信号の周波数スペクトルの概形を特徴量として抽出する第４特徴量抽出処理と、
上記被判別音響信号の周波数スペクトルから、この周波数スペクトルのスペクトルパワー又は中心周波数、バンド幅の何れかを抽出する第５特徴量抽出処理と、
上記複数の特徴量抽出処理で抽出した任意の数の特徴量を用いて、被判別音響信号の種別を各特徴量毎に判別する音響信号判別方法であって、
上記特徴量毎の判別結果として得られる複数の音響種別の中で最も長く同一の判別結果を出力している音響種別の同一判別結果を出力し続ける時間長を計測し、その時間長を一次分析窓幅とし、同一判定結果を出力し続ける音響種別を一次音響種別と決定する一次分析条件決定処理と、
この一次分析条件決定処理で決定した一次分析窓幅の中で上記各特徴量を用いた判別結果を再計算し、上記一次分析窓幅の範囲内の音響種別を求める一次再判別処理と、
この一次再判別処理で得られた音響種別と上記一次分析条件決定処理で決定した一次音響種別を比較し、一致すればその窓幅の音響種別をその窓幅の範囲で一致した音響種別と決定する一次音響種別決定処理と、
上記一次再判別処理の再判別結果が上記一次音響種別と不一致の場合に、次に長い時間長の音響種別判別結果を呈する音響種別の時間長を二次分析窓幅とし、その音響種別を二次音響種別と決定する二次分析条件決定処理と、
この二次分析条件決定処理で決定した二次分析窓幅の中で上記特徴量を用いた音響判別結果を再計算し、音響種別を求める二次再判別処理と、
この二次再判別処理で得られた音響種別と、上記二次分析条件決定処理で決定した二次音響種別とを比較し、一致すればその窓幅の音響種別をその窓幅の範囲で一致した音響種別と決定する二次音響種別修正処理と、
上記二次再判別処理の二次判別結果が上記二次分析条件決定処理で決定した二次音響種別と不一致の場合に次に長い音響種別判別結果を呈する音響種別を三次音響種別とし、その時間長を三次分析窓幅と決定し、上記音響種別修正処理を繰返し、音響種別の判別結果が一致するまで繰返すことを特徴とする音響信号判別方法。 - 請求項１記載の音響信号判別方法により修正処理された音響種別の列を所定の窓長を持つ分析窓で分析し、その分析窓内で発生頻度の低い音響種別を発生頻度の高い音響種別に置換処理することを特徴とする音響信号判別方法。
- 被判別音響信号の周波数スペクトルと、この周波数スペクトルの時間軸上で隣接する周波数スペクトルの相関係数を時間軸方向の相関係数として求め、この時間軸方向の相関係数の時系列の分散値を特徴量として抽出する第１特徴量抽出手段と、
互いに異なる複数の時点でそれぞれ被判別音響信号の周波数スペクトルを求め、この複数の周波数スペクトルを周波数軸方向にずらし、周波数のずれ毎に複数の周波数スペクトルの相関係数を周波数軸方向の相関係数として計算し、周波数軸方向の相関係数のピークが所定周波数間隔で存在する場合、そのピークの間隔から周期性を持つ信号の基本周波数を算出し、この基本周波数を特徴量として抽出する第２特徴量抽出手段と、
上記周波数軸方向の相関係数の所定周波数範囲内の平均値を特徴量として抽出する第３特徴量抽出手段と、
上記周波数軸方向の相関係数の開始点から回帰係数を求めることにより、上記周波数スペクトルの高域成分と低域成分の大局的な形状の違いを計測し、上記被判別音響信号の周波数スペクトルの概形を特徴量として抽出する第４特徴量抽出手段と、
上記被判別音響信号の周波数スペクトルから、この周波数スペクトルのスペクトルパワー又は中心周波数、バンド幅の何れかを抽出する第５特徴量抽出手段と、
上記複数の特徴量抽出手段で抽出した任意の数の特徴量を用いて被判別音響信号の種別を各特徴量毎に判別する音響信号判別装置であって、
上記各特徴量毎の判別結果として得られる複数の音響種別の中で最も長く同一の判別結果を出力している音響種別の同一判別結果を出力し続ける時間長を計測し、その時間長を一次分析窓幅とし、同一判定結果を出力し続ける音響種別を一次音響種別と決定する一次分析条件決定手段と、
この一次分析条件決定手段で決定した一次分析窓幅の中で上記各特徴量を用いた判別結果を再計算し、上記一次分析窓幅の範囲内の音響種別を求める一次再判別手段と、
この一次再判別手段で得られた音響種別と上記一次分析条件決定手段で決定した一次音響種別とを比較し、一致すればその窓幅の音響種別をその窓幅の範囲で一致した音響種別と決定する一次音響種別修正手段と、
上記一次再判別手段の再判別結果が上記一次音響種別と不一致の場合に、次に長い時間長の音響種別判別結果を呈する音響種別の時間長を二次分析窓幅とし、その音響種別を二次音響種別と決定する二次分析条件決定手段と、
この二次分析条件決定手段で決定した二次分析窓幅の中で上記特徴量を用いた音響判別結果を再計算し、音響種別を求める二次再判別手段と、
この二次再判別手段で得られた音響種別と、上記二次分析条件決定手段で決定して二次音響種別とを比較し、一致すればその窓幅の音響種別をその窓幅の範囲で一致した音響種別と決定する二次音響種別修正手段と、
上記二次再判別手段の二次判別結果が上記二次分析条件決定手段で決定した二次音響種別と不一致の場合に次に長い音響種別判別結果を呈する音響種別を三次音響種別とし、その時間長を三次分析窓幅と決定し、上記音響種別修正処理を繰返し、音響種別の判別結果が一致するまで繰返すことを特徴とする音響信号判別装置。 - 請求項３記載の音響信号判別装置により判別された音響種別の列を所定の窓長を持つ分析窓で分析し、その分析窓内で発生頻度の低い音響種別を発生頻度の高い音響種別に置換処理する置換処理手段を具備していることを特徴とする音響信号判別装置。
- コンピュータが解読可能な符号列によって記述され、コンピュータに請求項１又は２記載の音響信号判別方法の少なくとも一方を実行させることを特徴とする音響信号判別プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003150788A JP2004354589A (ja) | 2003-05-28 | 2003-05-28 | 音響信号判別方法、音響信号判別装置、音響信号判別プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003150788A JP2004354589A (ja) | 2003-05-28 | 2003-05-28 | 音響信号判別方法、音響信号判別装置、音響信号判別プログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004354589A true JP2004354589A (ja) | 2004-12-16 |
Family
ID=34046501
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003150788A Pending JP2004354589A (ja) | 2003-05-28 | 2003-05-28 | 音響信号判別方法、音響信号判別装置、音響信号判別プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004354589A (ja) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007072273A (ja) * | 2005-09-08 | 2007-03-22 | Sharp Corp | 音声信号判別装置、音質調整装置、コンテンツ表示装置、プログラム、及び記録媒体 |
| JP2009210593A (ja) * | 2008-02-29 | 2009-09-17 | Toshiba Corp | 特徴量抽出装置、方法及びプログラム |
| WO2010146711A1 (ja) | 2009-06-19 | 2010-12-23 | 富士通株式会社 | 音声信号処理装置及び音声信号処理方法 |
| JP2011527445A (ja) * | 2008-07-11 | 2011-10-27 | フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ | 信号の異なるセグメントを分類するための方法および識別器 |
| JP2014502478A (ja) * | 2010-12-10 | 2014-01-30 | フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ | 予め計算された参照曲線を用いて入力信号を分解する装置および方法 |
| WO2017168660A1 (ja) * | 2016-03-30 | 2017-10-05 | 富士通株式会社 | 楽音検出装置および楽音検出プログラム |
-
2003
- 2003-05-28 JP JP2003150788A patent/JP2004354589A/ja active Pending
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4587916B2 (ja) * | 2005-09-08 | 2010-11-24 | シャープ株式会社 | 音声信号判別装置、音質調整装置、コンテンツ表示装置、プログラム、及び記録媒体 |
| JP2007072273A (ja) * | 2005-09-08 | 2007-03-22 | Sharp Corp | 音声信号判別装置、音質調整装置、コンテンツ表示装置、プログラム、及び記録媒体 |
| US8073686B2 (en) | 2008-02-29 | 2011-12-06 | Kabushiki Kaisha Toshiba | Apparatus, method and computer program product for feature extraction |
| JP4599420B2 (ja) * | 2008-02-29 | 2010-12-15 | 株式会社東芝 | 特徴量抽出装置 |
| JP2009210593A (ja) * | 2008-02-29 | 2009-09-17 | Toshiba Corp | 特徴量抽出装置、方法及びプログラム |
| JP2011527445A (ja) * | 2008-07-11 | 2011-10-27 | フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ | 信号の異なるセグメントを分類するための方法および識別器 |
| WO2010146711A1 (ja) | 2009-06-19 | 2010-12-23 | 富士通株式会社 | 音声信号処理装置及び音声信号処理方法 |
| US8676571B2 (en) | 2009-06-19 | 2014-03-18 | Fujitsu Limited | Audio signal processing system and audio signal processing method |
| JP2014502478A (ja) * | 2010-12-10 | 2014-01-30 | フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ | 予め計算された参照曲線を用いて入力信号を分解する装置および方法 |
| JP2014502479A (ja) * | 2010-12-10 | 2014-01-30 | フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ | ダウンミキサーを用いて入力信号を分解する装置および方法 |
| US9241218B2 (en) | 2010-12-10 | 2016-01-19 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Apparatus and method for decomposing an input signal using a pre-calculated reference curve |
| US10187725B2 (en) | 2010-12-10 | 2019-01-22 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Apparatus and method for decomposing an input signal using a downmixer |
| US10531198B2 (en) | 2010-12-10 | 2020-01-07 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Apparatus and method for decomposing an input signal using a downmixer |
| WO2017168660A1 (ja) * | 2016-03-30 | 2017-10-05 | 富士通株式会社 | 楽音検出装置および楽音検出プログラム |
| JPWO2017168660A1 (ja) * | 2016-03-30 | 2018-09-27 | 富士通株式会社 | 楽音検出装置および楽音検出プログラム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103886871B (zh) | 语音端点的检测方法和装置 | |
| EP1309964B1 (en) | Fast frequency-domain pitch estimation | |
| US7601907B2 (en) | Signal processing apparatus and method, program, and recording medium | |
| US7649137B2 (en) | Signal processing apparatus and method, program, and recording medium | |
| US8175868B2 (en) | Voice judging system, voice judging method and program for voice judgment | |
| WO2012176199A1 (en) | Method and system for identification of speech segments | |
| JP2004240214A (ja) | 音響信号判別方法、音響信号判別装置、音響信号判別プログラム | |
| US8762147B2 (en) | Consonant-segment detection apparatus and consonant-segment detection method | |
| CN103165127B (zh) | 声音分段设备和方法以及声音检测*** | |
| JP2004538525A (ja) | 周波数分析によるピッチ判断方法および装置 | |
| US8086449B2 (en) | Vocal fry detecting apparatus | |
| US8942977B2 (en) | System and method for speech recognition using pitch-synchronous spectral parameters | |
| US8438014B2 (en) | Separating speech waveforms into periodic and aperiodic components, using artificial waveform generated from pitch marks | |
| US20070288233A1 (en) | Apparatus and method for detecting degree of voicing of speech signal | |
| US8532986B2 (en) | Speech signal evaluation apparatus, storage medium storing speech signal evaluation program, and speech signal evaluation method | |
| US20070276659A1 (en) | Apparatus and method for identifying prosody and apparatus and method for recognizing speech | |
| US8849662B2 (en) | Method and system for segmenting phonemes from voice signals | |
| JP5382780B2 (ja) | 発話意図情報検出装置及びコンピュータプログラム | |
| JP2004354589A (ja) | 音響信号判別方法、音響信号判別装置、音響信号判別プログラム | |
| CN114694640A (zh) | 基于音频频谱图的异常声音提取识别方法及装置 | |
| Yarra et al. | A mode-shape classification technique for robust speech rate estimation and syllable nuclei detection | |
| JP2625998B2 (ja) | 特徴抽出方式 | |
| US20060150805A1 (en) | Method of automatically detecting vibrato in music | |
| Fitria et al. | Music transcription of javanese gamelan using short time fourier transform (stft) | |
| CN112908343B (zh) | 一种基于倒谱语谱图的鸟类物种数量的获取方法及*** |