JP2776848B2 - 雑音除去方法、それに用いるニューラルネットワークの学習方法 - Google Patents
雑音除去方法、それに用いるニューラルネットワークの学習方法Info
- Publication number
- JP2776848B2 JP2776848B2 JP63313859A JP31385988A JP2776848B2 JP 2776848 B2 JP2776848 B2 JP 2776848B2 JP 63313859 A JP63313859 A JP 63313859A JP 31385988 A JP31385988 A JP 31385988A JP 2776848 B2 JP2776848 B2 JP 2776848B2
- Authority
- JP
- Japan
- Prior art keywords
- noise
- neural network
- signal
- learning
- index
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000013528 artificial neural network Methods 0.000 title claims description 57
- 238000000034 method Methods 0.000 title claims description 36
- 239000013598 vector Substances 0.000 claims description 45
- 230000005236 sound signal Effects 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 230000015572 biosynthetic process Effects 0.000 description 8
- 238000003786 synthesis reaction Methods 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 5
- 238000007781 pre-processing Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 210000002569 neuron Anatomy 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 230000008030 elimination Effects 0.000 description 3
- 238000003379 elimination reaction Methods 0.000 description 3
- 238000011410 subtraction method Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 101000822695 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C1 Proteins 0.000 description 1
- 101000655262 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C2 Proteins 0.000 description 1
- 101000655256 Paraclostridium bifermentans Small, acid-soluble spore protein alpha Proteins 0.000 description 1
- 101000655264 Paraclostridium bifermentans Small, acid-soluble spore protein beta Proteins 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/16—Speech classification or search using artificial neural networks
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0316—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
- G10L21/0364—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude for improving intelligibility
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
本発明は、音声の伝送、認識等における分析時の雑音
除去方式に関する。
除去方式に関する。
従来の雑音除去方式には、接話マイク法、サブストラ
クシション法、複数マイク法、フィルタリング法等が提
案されている。このうち接話マイク法は、マイクの指向
性を利用するものである。サブストラクション法は、予
め雑音のみを登録しておき、雑音重畳信号から差し引く
ことによる。複数マイク法は、マイク位置による位相差
等を利用するものである。フィルタリング法は、信号と
雑音の帯域が異なる場合にフィルタリングによって信号
のみを取り出すものである。 一方、田村震一，アレックス・ワイベル：「ニューラ
ル ネットワークを使った波形入出力による雑音抑圧」
（信学技報Vol.87,No.351,pp.33−37,1988年１月）記載
のように、雑音を含む音声波形を入力とし、雑音を除去
した音声を出力とするように、ニューラルネットワーク
を学習させるものも提案されている。
クシション法、複数マイク法、フィルタリング法等が提
案されている。このうち接話マイク法は、マイクの指向
性を利用するものである。サブストラクション法は、予
め雑音のみを登録しておき、雑音重畳信号から差し引く
ことによる。複数マイク法は、マイク位置による位相差
等を利用するものである。フィルタリング法は、信号と
雑音の帯域が異なる場合にフィルタリングによって信号
のみを取り出すものである。 一方、田村震一，アレックス・ワイベル：「ニューラ
ル ネットワークを使った波形入出力による雑音抑圧」
（信学技報Vol.87,No.351,pp.33−37,1988年１月）記載
のように、雑音を含む音声波形を入力とし、雑音を除去
した音声を出力とするように、ニューラルネットワーク
を学習させるものも提案されている。
上記従来技術のうち、接話マイク法は、接話マイクを
装着する必要があり、使い勝手に問題があった。またサ
ブストラクション法、フィルタリング法は、雑音の性質
が既知であるときにのみ有効であるという問題があっ
た。さらに複数マイク法はマイクを複数個必要とするた
め、設置方法に問題があった。 一方、ニューラルネットワークを用いて雑音を除去す
る方法は、音韻性の劣化を伴うという問題があった。 本発明は、信号の伝送または認識を行う際に、一般的
な捕音装置を用いて入力した信号から、雑音を、性質に
よらずかつ音韻性の劣化を伴うことなく除去し、信号の
S/Nを改善することを目的としており、また伝送または
認識の前処理を高速に行う手段を提供することを目的と
する。
装着する必要があり、使い勝手に問題があった。またサ
ブストラクション法、フィルタリング法は、雑音の性質
が既知であるときにのみ有効であるという問題があっ
た。さらに複数マイク法はマイクを複数個必要とするた
め、設置方法に問題があった。 一方、ニューラルネットワークを用いて雑音を除去す
る方法は、音韻性の劣化を伴うという問題があった。 本発明は、信号の伝送または認識を行う際に、一般的
な捕音装置を用いて入力した信号から、雑音を、性質に
よらずかつ音韻性の劣化を伴うことなく除去し、信号の
S/Nを改善することを目的としており、また伝送または
認識の前処理を高速に行う手段を提供することを目的と
する。
上記目的を達成するために、 雑音を含む信号を自己相関係数などの特徴ベクトル
（特徴量の組）に変換する分析部と、これを入力とし、
該当するクラスタを代表する、雑音を含まない信号を変
換した特徴ベクトルに対応する、代表ベクトルのインデ
クスを出力とする、ニューラルネットワークを用いたも
のである。 なお、上記ニューラルネットワークを学習させる目的
で、まず代表的な雑音と、雑音を含まない信号を予め用
意し、次に雑音を含まない信号を変換した特徴ベクトル
に対してクラスタリングを行い、そのクラスタを代表す
る代表ベクトルを選択しコードブックを作成する。そし
て、このコードブックから、上記特徴ベクトルの該当す
る最適なクラスタを代表する代表ベクトルのインデクス
を得てこれを教師データとし、また雑音と、雑音を含ま
ない信号を重畳し、これを変換した特徴ベクトルを学習
データとして、ニューラルネットワークを学習させる方
式を用いたものである。 また、上記雑音除去方式を伝送に利用する場合には、
受信側の合成部において、合成に適した特徴ベクトルを
代表ベクトルに持つコードブックを、別途用いる。
（特徴量の組）に変換する分析部と、これを入力とし、
該当するクラスタを代表する、雑音を含まない信号を変
換した特徴ベクトルに対応する、代表ベクトルのインデ
クスを出力とする、ニューラルネットワークを用いたも
のである。 なお、上記ニューラルネットワークを学習させる目的
で、まず代表的な雑音と、雑音を含まない信号を予め用
意し、次に雑音を含まない信号を変換した特徴ベクトル
に対してクラスタリングを行い、そのクラスタを代表す
る代表ベクトルを選択しコードブックを作成する。そし
て、このコードブックから、上記特徴ベクトルの該当す
る最適なクラスタを代表する代表ベクトルのインデクス
を得てこれを教師データとし、また雑音と、雑音を含ま
ない信号を重畳し、これを変換した特徴ベクトルを学習
データとして、ニューラルネットワークを学習させる方
式を用いたものである。 また、上記雑音除去方式を伝送に利用する場合には、
受信側の合成部において、合成に適した特徴ベクトルを
代表ベクトルに持つコードブックを、別途用いる。
ニューラルネットワークの写像機能を利用して、雑音
を含む信号を変換した特徴ベクトルを、該当する最適な
クラスタを代表する、雑音を含まない信号の特徴ベクト
ルに対応する、代表ベクトルのインデクスに写像するこ
とによりS/Nを改善し、かつ高速にコード化を行う。 また、雑音重畳信号を特徴ベクトルに変換した後、そ
の中から雑音の影響の小さい特徴量を選んで、ニューラ
ルネットワークの入力ベクトルとすることにより、写像
の性能を向上させ、S/Nを改善することができる。例え
ば、特徴ベクトルとして自己相関係数を選択した場合、
雑音の影響はパワーを表す零次の係数に集中する。そこ
でこの零次の係数を除いた残りの係数を正規化し、ニュ
ーラルネットワークの入力とすることでS/Nを改善す
る。またこのとき、残りの係数のうちの最大値をもって
擬似パワーとし、これを別途合成部等に送ることでパワ
ー情報を回復する。 さらに、上記雑音除去方式を伝送に用いる場合には、
受信側のコードブックとして、各クラスタの代表ベクト
ルが、合成に適した特徴ベクトルに対応するように学習
させたものを用いることにより、合成処理の高速化を行
うことができる。
を含む信号を変換した特徴ベクトルを、該当する最適な
クラスタを代表する、雑音を含まない信号の特徴ベクト
ルに対応する、代表ベクトルのインデクスに写像するこ
とによりS/Nを改善し、かつ高速にコード化を行う。 また、雑音重畳信号を特徴ベクトルに変換した後、そ
の中から雑音の影響の小さい特徴量を選んで、ニューラ
ルネットワークの入力ベクトルとすることにより、写像
の性能を向上させ、S/Nを改善することができる。例え
ば、特徴ベクトルとして自己相関係数を選択した場合、
雑音の影響はパワーを表す零次の係数に集中する。そこ
でこの零次の係数を除いた残りの係数を正規化し、ニュ
ーラルネットワークの入力とすることでS/Nを改善す
る。またこのとき、残りの係数のうちの最大値をもって
擬似パワーとし、これを別途合成部等に送ることでパワ
ー情報を回復する。 さらに、上記雑音除去方式を伝送に用いる場合には、
受信側のコードブックとして、各クラスタの代表ベクト
ルが、合成に適した特徴ベクトルに対応するように学習
させたものを用いることにより、合成処理の高速化を行
うことができる。
以下、本発明の実施例を第１図〜第７図により説明す
る。 第１図は、前処理部に本雑音除去方式を用いてS/N改
善を行う符号化方式の、一実施例の構成を表すブロック
図である。以下、各動作について説明する。まず、入力
された雑音を含む音声信号は、分析部101において公知
の分析手段によって自己相関係数v0〜vn102に変換され
る。次に、雑音の影響の大きい零次の係数v0を除いたv1
〜vnから、最大値検出部103によって最大値vmax104を擬
似パワーとして検出し、正規化部105によって正規化す
る。正規化された自己相関係数v1′〜vn′106は、第２
図に示すように、入力層、中間層および出力層のユニッ
ト間を重みつきで結合させた、階層構造を持つニューラ
ルネットワーク107に入力され、ニューラルネットワー
ク107は、該当する最適なクラスタを代表する代表ベク
トルのインデクス108を出力する。ただし上記ニューラ
ルネットワークは後述する方法等によって予め学習させ
ておくものとする。出力されたインデクス108は、最大
値検出部によって検出された上記自己相関係数の最大値
vmax104と共に、送信部109より伝送路110を通り受信部1
11に伝送される。受信されたインデクス112は、ベクト
ル選択部113へ入力され、ベクトル選択部113は、上記イ
ンデクス112に対応する代表ベクトルをコードブック114
から選択し、出力する。このときコードブック114は、
アイ・イー・イー・イー、トランザクションズ オン
コミュニケーションズ、ボリューム シーオーエム−2
8、ナンバー１、1980年（IEEE TRANSACTIONS ON COMMUN
ICATIONS,VOL.COM−28,No.1,JANUARY 1980,pp.84−95）
記載のコードブック生成法等によって、各クラスタの代
表ベクトルが偏自己相関係数k1〜kn115に対応するよう
に学習しているものとする。合成部116では、上記偏自
己相関係数k1〜kn115と、伝送された擬似パワーvmax117
によって音声信号を合成し出力する。 第３図（ａ）は、ニューラルネットワークを構成する
ニューロンのモデルの例である。入力x1〜xnは、それぞ
れ重みw1〜wnをかけた荷重和の形でニューロンに入力さ
れる。ニューロンは、入力に対しある関数ｆ（・）によ
って出力ｙを規定する。すなわち、 となる。ただし、θはオフセットである。（ｂ）、
（ｃ）、（ｄ）に関数ｆ（・）の例を示す。 第４図は、第２図に示すように、入力層、中間層およ
び出力層のユニツト間を重みつきで結合させた、階層構
造を持つニューラルネットワークを、上述した雑音除去
の目的を実現する性質を持つように学習させる、ニュー
ラルネットワーク学習方式の流れ図である。アルゴリズ
ムを以下に示す。 Step1: 適用範囲を代表する雑音を含まない信号を選び入力す
る。 Step2: 適用環境を代表する雑音を選び入力する。 Step3: すべての信号データを、偏自己相関係数に変換する。 Step4: 偏自己相関係数に対し、上記コードブック生成法等に
よって、クラスタリングを行いコードブックを生成す
る。 Step5: 信号データと雑音データを、すべての組み合わせにつ
いて重畳し、これを自己相関係数に変換する。 Step6: すべての偏自己相関係数に対し、コードブックより、
該当する最適なクラスタを代表する代表ベクトルに対応
するインデクスを選択する。 Step7: 同じ信号から得た自己相関係数とインデクスをそれぞ
れ学習データ、教師データとする学習セットを、すべて
の信号および雑音に対し作り、これらをニューラルネッ
トワークに与え、ニューラルネットワークを学習させ
る。 Step8: 学習結果が収束するまでStep7を繰り返す。 第５図は、第２図に示すように、入力層、中間層およ
び出力層のユニット間を重みつきで結合させた、階層構
造を持つニューラルネットワークを、上述した雑音除去
の目的を実現する性質を持つように学習させる、ニュー
ラルネットワーク学習方式の構成図である。 まず、適用範囲を代表する雑音を含まない音声を入力
し、第１のスイッチ501によりA/D変換器502を通した
後、第２のスイッチ503により第１のメモリ504に格納す
る。 また、適用環境を代表する雑音を入力し、第１のスイ
ッチ501によりA/D変換器502を通した後、第２のスイッ
チ503により第２のメモリ505に格納する。 次に、信号重畳部506において、第１のメモリ504より
取り出した音声データと、第２のメモリ505から取り出
した雑音データを重畳し、雑音重畳音声を、第３のスイ
ッチ507により分析部508に入力し、分析部508において
自己相関係数v0〜vn509に変換する。自己相関係数のう
ち、雑音の影響の大きい零次の係数v0を除いたv1〜vnか
ら、最大値検出部510によって最大値vmax511を擬似パワ
ーとして検出し、また、正規化部512によって正規化す
る。正規化された自己相関係数v1′〜vn′513を、ニュ
ーラルネットワーク学習部514において、第２図に示す
階層構造を持つニューラルネットワーク515の学習デー
タとする。 また、第１のメモリ504から第３のスイッチ507により
取り出した音声データを、分析部508において自己相関
係数u0〜un516に変換する。偏自己相関係数抽出部517
は、u0〜un516を合成に適した偏自己相関係数k1〜kn518
に変換する。イｆンデクス生成部519は、k1〜kn518の該
当する最適なクラスタを代表する代表ベクトルを、コー
ドブック520から選択し、そのインデクス521を生成す
る。ただしコードブック520は、上記コードブック生成
法等によって、各クラスタの代表ベクトル偏自己相関係
数k1〜kn518に対応するように予め学習しているものと
する。インデクス521は、レジスタ522を介してニューラ
ルネットワーク学習部514に入力され、ニューラルネッ
トワーク515を学習させるための教師データに用いられ
る。 ニューラルネットワーク学習部514は、上記学習デー
タと教師データを、同じ音声データによるもの同志がセ
ットとなるタイミングでニューラルネットワーク515に
与え、これを学習させる。 ところで上記実施例では、ニューラルネットワークと
して、階層型構造を持つものを用いているが、入力と出
力の関係を満たしているものであればよいため、例え
ば、ホップフィールド型や、ボルツマンマシン型構造を
持つニューラルネットワークを用いても、同様の機能を
実現できることは明らかである。また、ニューラルネッ
トワークへの入力数が多い場合には、ニューラルネット
ワークの規模を抑えるために、第６図に示すような多段
型ニューラルネットワークの構成を用いることができ
る。第６図は、２段、４ニューラルネットワークからな
る多段型ニューラルネットワークの例である。入力ベク
トルは３つに分けられそれぞれニューラルネットワーク
601、602、603に入力される。各ニューラルネットワー
クの出力は、次段のニューラルネットワーク604の入力
となる。 第７図は、本雑音除去方式を前処理に用いた、音声認
識のブロック図であり、本雑音除去方式による雑音除去
部701において、音声信号から雑音を除去し、コードに
変換した特徴量を、認識部702において認識する。
る。 第１図は、前処理部に本雑音除去方式を用いてS/N改
善を行う符号化方式の、一実施例の構成を表すブロック
図である。以下、各動作について説明する。まず、入力
された雑音を含む音声信号は、分析部101において公知
の分析手段によって自己相関係数v0〜vn102に変換され
る。次に、雑音の影響の大きい零次の係数v0を除いたv1
〜vnから、最大値検出部103によって最大値vmax104を擬
似パワーとして検出し、正規化部105によって正規化す
る。正規化された自己相関係数v1′〜vn′106は、第２
図に示すように、入力層、中間層および出力層のユニッ
ト間を重みつきで結合させた、階層構造を持つニューラ
ルネットワーク107に入力され、ニューラルネットワー
ク107は、該当する最適なクラスタを代表する代表ベク
トルのインデクス108を出力する。ただし上記ニューラ
ルネットワークは後述する方法等によって予め学習させ
ておくものとする。出力されたインデクス108は、最大
値検出部によって検出された上記自己相関係数の最大値
vmax104と共に、送信部109より伝送路110を通り受信部1
11に伝送される。受信されたインデクス112は、ベクト
ル選択部113へ入力され、ベクトル選択部113は、上記イ
ンデクス112に対応する代表ベクトルをコードブック114
から選択し、出力する。このときコードブック114は、
アイ・イー・イー・イー、トランザクションズ オン
コミュニケーションズ、ボリューム シーオーエム−2
8、ナンバー１、1980年（IEEE TRANSACTIONS ON COMMUN
ICATIONS,VOL.COM−28,No.1,JANUARY 1980,pp.84−95）
記載のコードブック生成法等によって、各クラスタの代
表ベクトルが偏自己相関係数k1〜kn115に対応するよう
に学習しているものとする。合成部116では、上記偏自
己相関係数k1〜kn115と、伝送された擬似パワーvmax117
によって音声信号を合成し出力する。 第３図（ａ）は、ニューラルネットワークを構成する
ニューロンのモデルの例である。入力x1〜xnは、それぞ
れ重みw1〜wnをかけた荷重和の形でニューロンに入力さ
れる。ニューロンは、入力に対しある関数ｆ（・）によ
って出力ｙを規定する。すなわち、 となる。ただし、θはオフセットである。（ｂ）、
（ｃ）、（ｄ）に関数ｆ（・）の例を示す。 第４図は、第２図に示すように、入力層、中間層およ
び出力層のユニツト間を重みつきで結合させた、階層構
造を持つニューラルネットワークを、上述した雑音除去
の目的を実現する性質を持つように学習させる、ニュー
ラルネットワーク学習方式の流れ図である。アルゴリズ
ムを以下に示す。 Step1: 適用範囲を代表する雑音を含まない信号を選び入力す
る。 Step2: 適用環境を代表する雑音を選び入力する。 Step3: すべての信号データを、偏自己相関係数に変換する。 Step4: 偏自己相関係数に対し、上記コードブック生成法等に
よって、クラスタリングを行いコードブックを生成す
る。 Step5: 信号データと雑音データを、すべての組み合わせにつ
いて重畳し、これを自己相関係数に変換する。 Step6: すべての偏自己相関係数に対し、コードブックより、
該当する最適なクラスタを代表する代表ベクトルに対応
するインデクスを選択する。 Step7: 同じ信号から得た自己相関係数とインデクスをそれぞ
れ学習データ、教師データとする学習セットを、すべて
の信号および雑音に対し作り、これらをニューラルネッ
トワークに与え、ニューラルネットワークを学習させ
る。 Step8: 学習結果が収束するまでStep7を繰り返す。 第５図は、第２図に示すように、入力層、中間層およ
び出力層のユニット間を重みつきで結合させた、階層構
造を持つニューラルネットワークを、上述した雑音除去
の目的を実現する性質を持つように学習させる、ニュー
ラルネットワーク学習方式の構成図である。 まず、適用範囲を代表する雑音を含まない音声を入力
し、第１のスイッチ501によりA/D変換器502を通した
後、第２のスイッチ503により第１のメモリ504に格納す
る。 また、適用環境を代表する雑音を入力し、第１のスイ
ッチ501によりA/D変換器502を通した後、第２のスイッ
チ503により第２のメモリ505に格納する。 次に、信号重畳部506において、第１のメモリ504より
取り出した音声データと、第２のメモリ505から取り出
した雑音データを重畳し、雑音重畳音声を、第３のスイ
ッチ507により分析部508に入力し、分析部508において
自己相関係数v0〜vn509に変換する。自己相関係数のう
ち、雑音の影響の大きい零次の係数v0を除いたv1〜vnか
ら、最大値検出部510によって最大値vmax511を擬似パワ
ーとして検出し、また、正規化部512によって正規化す
る。正規化された自己相関係数v1′〜vn′513を、ニュ
ーラルネットワーク学習部514において、第２図に示す
階層構造を持つニューラルネットワーク515の学習デー
タとする。 また、第１のメモリ504から第３のスイッチ507により
取り出した音声データを、分析部508において自己相関
係数u0〜un516に変換する。偏自己相関係数抽出部517
は、u0〜un516を合成に適した偏自己相関係数k1〜kn518
に変換する。イｆンデクス生成部519は、k1〜kn518の該
当する最適なクラスタを代表する代表ベクトルを、コー
ドブック520から選択し、そのインデクス521を生成す
る。ただしコードブック520は、上記コードブック生成
法等によって、各クラスタの代表ベクトル偏自己相関係
数k1〜kn518に対応するように予め学習しているものと
する。インデクス521は、レジスタ522を介してニューラ
ルネットワーク学習部514に入力され、ニューラルネッ
トワーク515を学習させるための教師データに用いられ
る。 ニューラルネットワーク学習部514は、上記学習デー
タと教師データを、同じ音声データによるもの同志がセ
ットとなるタイミングでニューラルネットワーク515に
与え、これを学習させる。 ところで上記実施例では、ニューラルネットワークと
して、階層型構造を持つものを用いているが、入力と出
力の関係を満たしているものであればよいため、例え
ば、ホップフィールド型や、ボルツマンマシン型構造を
持つニューラルネットワークを用いても、同様の機能を
実現できることは明らかである。また、ニューラルネッ
トワークへの入力数が多い場合には、ニューラルネット
ワークの規模を抑えるために、第６図に示すような多段
型ニューラルネットワークの構成を用いることができ
る。第６図は、２段、４ニューラルネットワークからな
る多段型ニューラルネットワークの例である。入力ベク
トルは３つに分けられそれぞれニューラルネットワーク
601、602、603に入力される。各ニューラルネットワー
クの出力は、次段のニューラルネットワーク604の入力
となる。 第７図は、本雑音除去方式を前処理に用いた、音声認
識のブロック図であり、本雑音除去方式による雑音除去
部701において、音声信号から雑音を除去し、コードに
変換した特徴量を、認識部702において認識する。
本発明によれば、雑音を含む信号の特徴ベクトルか
ら、該当する最適なクラスタを代表する、雑音を含まな
い代表ベクトルのインデクスを得る目的で、ニューラル
ネットワークを用いることにより、雑音の除去が行え
る。しかも、特徴ベクトルの該当する最適なクラスタを
代表する代表ベクトルを、最小歪の計算等により検索す
る必要がなくなり、単純な積和演算のみでインデクスを
得ることができるため、処理を高速に行えるという効果
を持つ。 また、雑音の影響の小さい特徴量のみを用いることに
よって雑音の影響を軽減することができる。例えば、特
徴ベクトルとして自己相関係数を用いた場合、雑音の影
響の大きいパワーを表す零次の係数を除いた、残りの係
数のみを用いる。このとき、残りの係数の最大値をもっ
て擬似パワーとすることで、パワー情報を回復する。 一方、ニューラルネットワークは、学習時の入力を正
規化することによって、収束を早めることができる場合
がある。特徴ベクトルを正規化する正規化部を設けるこ
とにより、そのような学習を行ったニューラルネットワ
ークを用いることができるようになる。 さらに、合成側のコードブックとして、各クラスタの
代表ベクトルが、合成に適した特徴ベクトルとなるよう
に学習させたものを用いることにより、特徴ベクトル間
の変換にかかる時間を節約でき、処理の高速化が望め
る。例えば、自己相関係数を分析部の出力とすること
で、雑音の影響を零次の項に集中させ、合成部では、合
成に適した偏自己相関係数を用いる場合、上記ニューラ
ルネットワークを学習させる過程で、偏自己相関係数を
各クラスタの代表ベクトルとするコードブックを用いれ
ば、これを合成側のコードブックとすることができ、あ
らたにコードブック生成を行う必要がなくなる。また、
上記ニューラルネットワークを学習させる過程で、自己
相関係数を代表ベクトルとするコードブックを用いてい
る場合でも、これを偏自己相関係数に変換することは容
易であり、従って、これにより簡単に合成側のコードブ
ックを作成することができる。
ら、該当する最適なクラスタを代表する、雑音を含まな
い代表ベクトルのインデクスを得る目的で、ニューラル
ネットワークを用いることにより、雑音の除去が行え
る。しかも、特徴ベクトルの該当する最適なクラスタを
代表する代表ベクトルを、最小歪の計算等により検索す
る必要がなくなり、単純な積和演算のみでインデクスを
得ることができるため、処理を高速に行えるという効果
を持つ。 また、雑音の影響の小さい特徴量のみを用いることに
よって雑音の影響を軽減することができる。例えば、特
徴ベクトルとして自己相関係数を用いた場合、雑音の影
響の大きいパワーを表す零次の係数を除いた、残りの係
数のみを用いる。このとき、残りの係数の最大値をもっ
て擬似パワーとすることで、パワー情報を回復する。 一方、ニューラルネットワークは、学習時の入力を正
規化することによって、収束を早めることができる場合
がある。特徴ベクトルを正規化する正規化部を設けるこ
とにより、そのような学習を行ったニューラルネットワ
ークを用いることができるようになる。 さらに、合成側のコードブックとして、各クラスタの
代表ベクトルが、合成に適した特徴ベクトルとなるよう
に学習させたものを用いることにより、特徴ベクトル間
の変換にかかる時間を節約でき、処理の高速化が望め
る。例えば、自己相関係数を分析部の出力とすること
で、雑音の影響を零次の項に集中させ、合成部では、合
成に適した偏自己相関係数を用いる場合、上記ニューラ
ルネットワークを学習させる過程で、偏自己相関係数を
各クラスタの代表ベクトルとするコードブックを用いれ
ば、これを合成側のコードブックとすることができ、あ
らたにコードブック生成を行う必要がなくなる。また、
上記ニューラルネットワークを学習させる過程で、自己
相関係数を代表ベクトルとするコードブックを用いてい
る場合でも、これを偏自己相関係数に変換することは容
易であり、従って、これにより簡単に合成側のコードブ
ックを作成することができる。
第１図は、前処理部に本雑音除去方式を用いてS/N改善
を行う符号化方式の、一実施例の構成を表すブロック
図、第２図は、階層構造を持つニューラルネットワーク
の例を示す図、第３図は、ニューラルネットワークを構
成するニューロンのモデルの例を示す図、第４図は、第
２図に示したような構造を持つニューラルネットワーク
を学習させる、ニューラルネットワーク学習方式の流れ
図、第５図は、第２図に示したような構造を持つニュー
ラルネットワークを学習させる。ニューラルネットワー
ク学習方式の構成図、第６図は、２段、４ニューラルネ
ットワークからなる多段型ニューラルネットワークの例
を示す図、第７図は、本雑音除去方式を前処理に用い
た、音声認識のブロック図である。 符号の説明 101……分析部、103……最大値検出部、105……正規化
部、107……ニューラルネットワーク、113……ベクトル
選択部、114……コードブック、116……合成部、502…
…A/D変換器、504……第１のメモリ、505……第２のメ
モリ、506……信号重畳部、508……分析部、510……最
大値検出部、512……正規化部、514……ニューラルネッ
トワーク学習部、515……ニューラルネットワーク、517
……偏自己相関係数抽出部、519……インデクス生成
部、520……コードブック、601,602,603,604……ニュー
ラルネットワーク、701……雑音除去部、702……認識部
を行う符号化方式の、一実施例の構成を表すブロック
図、第２図は、階層構造を持つニューラルネットワーク
の例を示す図、第３図は、ニューラルネットワークを構
成するニューロンのモデルの例を示す図、第４図は、第
２図に示したような構造を持つニューラルネットワーク
を学習させる、ニューラルネットワーク学習方式の流れ
図、第５図は、第２図に示したような構造を持つニュー
ラルネットワークを学習させる。ニューラルネットワー
ク学習方式の構成図、第６図は、２段、４ニューラルネ
ットワークからなる多段型ニューラルネットワークの例
を示す図、第７図は、本雑音除去方式を前処理に用い
た、音声認識のブロック図である。 符号の説明 101……分析部、103……最大値検出部、105……正規化
部、107……ニューラルネットワーク、113……ベクトル
選択部、114……コードブック、116……合成部、502…
…A/D変換器、504……第１のメモリ、505……第２のメ
モリ、506……信号重畳部、508……分析部、510……最
大値検出部、512……正規化部、514……ニューラルネッ
トワーク学習部、515……ニューラルネットワーク、517
……偏自己相関係数抽出部、519……インデクス生成
部、520……コードブック、601,602,603,604……ニュー
ラルネットワーク、701……雑音除去部、702……認識部
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 ＦＩ Ｇ１０Ｌ 9/08 ３０１ Ｇ１０Ｌ 9/08 ３０１Ａ (72)発明者 市川 熹 東京都国分寺市東恋ケ窪１丁目280番地 株式会社日立製作所中央研究所内 (56)参考文献 特開 平２−15718（ＪＰ，Ａ) 特開 平１−274198（ＪＰ，Ａ) 特開 昭54−94212（ＪＰ，Ａ) ＩＥＥＥ ＡＳＳＰ ＭＡＧＡＺＩＮ Ｅ Ｐ．４〜22 （Ａｐｒｉｌ1987) 日本音響学会講演論文集 平成元年３ 月 １−６−10 Ｐ．19〜20 (58)調査した分野(Int.Cl.6，ＤＢ名) G10L 3/00 521 G10L 9/08 301 G10L 9/10 301 G10L 3/02 301 G10L 3/00 515 G10L 9/08 ＪＩＣＳＴファルイ（ＪＯＩＳ)
Claims (4)
- 【請求項１】雑音を含む信号を入力し、該信号の特徴を
示す複数の特徴量に変換し、該特徴量から最も雑音の影
響を受けている１の特徴量を除いた残りの特徴量に基づ
いてニューラルネットワークにより最適なクラスタを代
表する代表ベクトルのインデクスを得、該インデクスと
上記残りの特徴量の中の最大値を示す特徴量とを上記音
声信号の符号化信号として出力することを特徴とする雑
音除去方法。 - 【請求項２】上記ニューラルネットワークは、上記残り
の特徴量を正規化した値を入力とすることを特徴とする
請求項１の雑音除去方法。 - 【請求項３】上記ニューラルネットワークは、雑音を含
まない信号と雑音から作成された学習データと教師デー
タとを用いて予め学習されていることを特徴とする請求
項１の雑音除去方法。 - 【請求項４】雑音と雑音を含まない信号を準備し、 上記雑音と雑音を含まない信号とを重畳し、 上記雑音を含まない信号、及び該重畳された雑音重畳信
号を特徴ベクトルに変換し、 上記雑音を含まない信号の特徴ベクトルの該当する最適
なクラスタを代表する代表ベクトルをコードブックから
選択してそのインデクスを生成し、 上記雑音重畳信号の特徴ベクトルを学習データとし、上
記インデクスを教師データとしてニューラルネットワー
クを学習させることを特徴とするニューラルネットワー
ク学習方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP63313859A JP2776848B2 (ja) | 1988-12-14 | 1988-12-14 | 雑音除去方法、それに用いるニューラルネットワークの学習方法 |
| CA002005117A CA2005117C (en) | 1988-12-14 | 1989-12-11 | Noise reduction system |
| US07/448,949 US5185848A (en) | 1988-12-14 | 1989-12-12 | Noise reduction system using neural network |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP63313859A JP2776848B2 (ja) | 1988-12-14 | 1988-12-14 | 雑音除去方法、それに用いるニューラルネットワークの学習方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH02160298A JPH02160298A (ja) | 1990-06-20 |
| JP2776848B2 true JP2776848B2 (ja) | 1998-07-16 |
Family
ID=18046365
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP63313859A Expired - Lifetime JP2776848B2 (ja) | 1988-12-14 | 1988-12-14 | 雑音除去方法、それに用いるニューラルネットワークの学習方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US5185848A (ja) |
| JP (1) | JP2776848B2 (ja) |
| CA (1) | CA2005117C (ja) |
Families Citing this family (50)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0827817B2 (ja) * | 1991-07-29 | 1996-03-21 | 浜松ホトニクス株式会社 | 光ニューラルネットワーク装置 |
| US5280562A (en) * | 1991-10-03 | 1994-01-18 | International Business Machines Corporation | Speech coding apparatus with single-dimension acoustic prototypes for a speech recognizer |
| US5222146A (en) * | 1991-10-23 | 1993-06-22 | International Business Machines Corporation | Speech recognition apparatus having a speech coder outputting acoustic prototype ranks |
| US5402520A (en) * | 1992-03-06 | 1995-03-28 | Schnitta; Bonnie S. | Neural network method and apparatus for retrieving signals embedded in noise and analyzing the retrieved signals |
| US5809461A (en) * | 1992-03-30 | 1998-09-15 | Seiko Epson Corporation | Speech recognition apparatus using neural network and learning method therefor |
| US5630019A (en) * | 1992-05-23 | 1997-05-13 | Kabushiki Kaisha Topcon | Waveform evaluating apparatus using neural network |
| DE4309985A1 (de) * | 1993-03-29 | 1994-10-06 | Sel Alcatel Ag | Geräuschreduktion zur Spracherkennung |
| US5528731A (en) * | 1993-11-19 | 1996-06-18 | At&T Corp. | Method of accommodating for carbon/electret telephone set variability in automatic speaker verification |
| US5604839A (en) * | 1994-07-29 | 1997-02-18 | Microsoft Corporation | Method and system for improving speech recognition through front-end normalization of feature vectors |
| US5737485A (en) * | 1995-03-07 | 1998-04-07 | Rutgers The State University Of New Jersey | Method and apparatus including microphone arrays and neural networks for speech/speaker recognition systems |
| US6151592A (en) * | 1995-06-07 | 2000-11-21 | Seiko Epson Corporation | Recognition apparatus using neural network, and learning method therefor |
| US5878389A (en) * | 1995-06-28 | 1999-03-02 | Oregon Graduate Institute Of Science & Technology | Method and system for generating an estimated clean speech signal from a noisy speech signal |
| JP3697748B2 (ja) * | 1995-08-21 | 2005-09-21 | セイコーエプソン株式会社 | 端末、音声認識装置 |
| GB2306010A (en) * | 1995-10-04 | 1997-04-23 | Univ Wales Medicine | A method of classifying signals |
| US6446038B1 (en) * | 1996-04-01 | 2002-09-03 | Qwest Communications International, Inc. | Method and system for objectively evaluating speech |
| US5963899A (en) * | 1996-08-07 | 1999-10-05 | U S West, Inc. | Method and system for region based filtering of speech |
| FI971679A (fi) * | 1997-04-18 | 1998-10-19 | Nokia Telecommunications Oy | Puheen havaitseminen tietoliikennejärjestelmässä |
| US6032116A (en) * | 1997-06-27 | 2000-02-29 | Advanced Micro Devices, Inc. | Distance measure in a speech recognition system for speech recognition using frequency shifting factors to compensate for input signal frequency shifts |
| US6003003A (en) * | 1997-06-27 | 1999-12-14 | Advanced Micro Devices, Inc. | Speech recognition system having a quantizer using a single robust codebook designed at multiple signal to noise ratios |
| US6044343A (en) * | 1997-06-27 | 2000-03-28 | Advanced Micro Devices, Inc. | Adaptive speech recognition with selective input data to a speech classifier |
| US6067515A (en) * | 1997-10-27 | 2000-05-23 | Advanced Micro Devices, Inc. | Split matrix quantization with split vector quantization error compensation and selective enhanced processing for robust speech recognition |
| US6070136A (en) * | 1997-10-27 | 2000-05-30 | Advanced Micro Devices, Inc. | Matrix quantization with vector quantization error compensation for robust speech recognition |
| JP3584458B2 (ja) * | 1997-10-31 | 2004-11-04 | ソニー株式会社 | パターン認識装置およびパターン認識方法 |
| US6219642B1 (en) | 1998-10-05 | 2001-04-17 | Legerity, Inc. | Quantization using frequency and mean compensated frequency input data for robust speech recognition |
| US6347297B1 (en) | 1998-10-05 | 2002-02-12 | Legerity, Inc. | Matrix quantization with vector quantization error compensation and neural network postprocessing for robust speech recognition |
| US6304865B1 (en) | 1998-10-27 | 2001-10-16 | Dell U.S.A., L.P. | Audio diagnostic system and method using frequency spectrum and neural network |
| EP1152399A1 (fr) * | 2000-05-04 | 2001-11-07 | Faculte Polytechniquede Mons | Traitement en sous bandes de signal de parole par réseaux de neurones |
| US7496509B2 (en) * | 2004-05-28 | 2009-02-24 | International Business Machines Corporation | Methods and apparatus for statistical biometric model migration |
| ATE534243T1 (de) * | 2006-04-01 | 2011-12-15 | Widex As | Hörgerät und verfahren zur signalverarbeitungssteuerung in einem hörgerät |
| KR100908121B1 (ko) * | 2006-12-15 | 2009-07-16 | 삼성전자주식회사 | 음성 특징 벡터 변환 방법 및 장치 |
| US8239196B1 (en) * | 2011-07-28 | 2012-08-07 | Google Inc. | System and method for multi-channel multi-feature speech/noise classification for noise suppression |
| US9026439B2 (en) * | 2012-03-28 | 2015-05-05 | Tyco Fire & Security Gmbh | Verbal intelligibility analyzer for audio announcement systems |
| WO2015193531A1 (en) | 2014-06-16 | 2015-12-23 | Nokia Technologies Oy | Data processing |
| US9520128B2 (en) * | 2014-09-23 | 2016-12-13 | Intel Corporation | Frame skipping with extrapolation and outputs on demand neural network for automatic speech recognition |
| US9881631B2 (en) * | 2014-10-21 | 2018-01-30 | Mitsubishi Electric Research Laboratories, Inc. | Method for enhancing audio signal using phase information |
| US10454877B2 (en) | 2016-04-29 | 2019-10-22 | Cisco Technology, Inc. | Interoperability between data plane learning endpoints and control plane learning endpoints in overlay networks |
| GB2560174B (en) * | 2017-03-01 | 2020-09-23 | Toshiba Kk | Training an automatic speech recognition system |
| US10963813B2 (en) | 2017-04-28 | 2021-03-30 | Cisco Technology, Inc. | Data sovereignty compliant machine learning |
| US10477148B2 (en) | 2017-06-23 | 2019-11-12 | Cisco Technology, Inc. | Speaker anticipation |
| US10608901B2 (en) | 2017-07-12 | 2020-03-31 | Cisco Technology, Inc. | System and method for applying machine learning algorithms to compute health scores for workload scheduling |
| US10091348B1 (en) | 2017-07-25 | 2018-10-02 | Cisco Technology, Inc. | Predictive model for voice/video over IP calls |
| CN107481728B (zh) * | 2017-09-29 | 2020-12-11 | 百度在线网络技术（北京）有限公司 | 背景声消除方法、装置及终端设备 |
| US10867067B2 (en) | 2018-06-07 | 2020-12-15 | Cisco Technology, Inc. | Hybrid cognitive system for AI/ML data privacy |
| US10446170B1 (en) | 2018-06-19 | 2019-10-15 | Cisco Technology, Inc. | Noise mitigation using machine learning |
| CN109147798B (zh) * | 2018-07-27 | 2023-06-09 | 北京三快在线科技有限公司 | 语音识别方法、装置、电子设备及可读存储介质 |
| JP7019096B2 (ja) | 2018-08-30 | 2022-02-14 | ドルビー・インターナショナル・アーベー | 低ビットレート符号化オーディオの増強を制御する方法及び機器 |
| CN109215635B (zh) * | 2018-10-25 | 2020-08-07 | 武汉大学 | 用于语音清晰度增强的宽带语音频谱倾斜度特征参数重建方法 |
| WO2020207593A1 (en) * | 2019-04-11 | 2020-10-15 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio decoder, apparatus for determining a set of values defining characteristics of a filter, methods for providing a decoded audio representation, methods for determining a set of values defining characteristics of a filter and computer program |
| EP3809410A1 (en) * | 2019-10-17 | 2021-04-21 | Tata Consultancy Services Limited | System and method for reducing noise components in a live audio stream |
| US11334766B2 (en) * | 2019-11-15 | 2022-05-17 | Salesforce.Com, Inc. | Noise-resistant object detection with noisy annotations |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2558682B2 (ja) * | 1987-03-13 | 1996-11-27 | 株式会社東芝 | 知的ワ−クステ−シヨン |
| US4975961A (en) * | 1987-10-28 | 1990-12-04 | Nec Corporation | Multi-layer neural network to which dynamic programming techniques are applicable |
-
1988
- 1988-12-14 JP JP63313859A patent/JP2776848B2/ja not_active Expired - Lifetime
-
1989
- 1989-12-11 CA CA002005117A patent/CA2005117C/en not_active Expired - Fee Related
- 1989-12-12 US US07/448,949 patent/US5185848A/en not_active Expired - Fee Related
Non-Patent Citations (2)
| Title |
|---|
| ＩＥＥＥ ＡＳＳＰ ＭＡＧＡＺＩＮＥ Ｐ．４〜２２ （Ａｐｒｉｌ１９８７） |
| 日本音響学会講演論文集 平成元年３月 １−６−１０ Ｐ．１９〜２０ |
Also Published As
| Publication number | Publication date |
|---|---|
| US5185848A (en) | 1993-02-09 |
| JPH02160298A (ja) | 1990-06-20 |
| CA2005117A1 (en) | 1990-06-14 |
| CA2005117C (en) | 1994-03-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2776848B2 (ja) | 雑音除去方法、それに用いるニューラルネットワークの学習方法 | |
| JP3591068B2 (ja) | 音声信号の雑音低減方法 | |
| JP4815661B2 (ja) | 信号処理装置及び信号処理方法 | |
| KR102294638B1 (ko) | 잡음 환경에 강인한 화자 인식을 위한 심화 신경망 기반의 특징 강화 및 변형된 손실 함수를 이용한 결합 학습 방법 및 장치 | |
| US5812973A (en) | Method and system for recognizing a boundary between contiguous sounds for use with a speech recognition system | |
| CN109147763B (zh) | 一种基于神经网络和逆熵加权的音视频关键词识别方法和装置 | |
| AU684214B2 (en) | System for recognizing spoken sounds from continuous speech and method of using same | |
| CN110265065B (zh) | 一种构建语音端点检测模型的方法及语音端点检测*** | |
| CN108461081B (zh) | 语音控制的方法、装置、设备和存储介质 | |
| JP2000099080A (ja) | 信頼性尺度の評価を用いる音声認識方法 | |
| US11978471B2 (en) | Signal processing apparatus, learning apparatus, signal processing method, learning method and program | |
| CN111653270B (zh) | 语音处理方法、装置、计算机可读存储介质及电子设备 | |
| EP1239458A2 (en) | Voice recognition system, standard pattern preparation system and corresponding methods | |
| CN113870893A (zh) | 一种多通道双说话人分离方法及*** | |
| KR20190141350A (ko) | 로봇에서의 음성인식 장치 및 방법 | |
| CN112420079A (zh) | 语音端点检测方法和装置、存储介质及电子设备 | |
| US5828998A (en) | Identification-function calculator, identification-function calculating method, identification unit, identification method, and speech recognition system | |
| JPH04318900A (ja) | 多方向同時収音式音声認識方法 | |
| JP2992324B2 (ja) | 音声区間検出方法 | |
| CN112002307B (zh) | 一种语音识别方法和装置 | |
| JP3098593B2 (ja) | 音声認識装置 | |
| CN113744752A (zh) | 语音处理方法及装置 | |
| KR20130125014A (ko) | 하모닉 주파수 의존성을 이용한 독립벡터분석에 기반한 강한 음성 인식 방법 및 이를 이용한 음성 인식 시스템 | |
| KR101022457B1 (ko) | Ｃａｓａ 및 소프트 마스크 알고리즘을 이용한 단일채널 음성 분리방법 | |
| CN115171716B (zh) | 一种基于空间特征聚类的连续语音分离方法、***及电子设备 |