JP5875414B2 - 雑音抑制方法、プログラム及び装置 - Google Patents
雑音抑制方法、プログラム及び装置 Download PDFInfo
- Publication number
- JP5875414B2 JP5875414B2 JP2012050603A JP2012050603A JP5875414B2 JP 5875414 B2 JP5875414 B2 JP 5875414B2 JP 2012050603 A JP2012050603 A JP 2012050603A JP 2012050603 A JP2012050603 A JP 2012050603A JP 5875414 B2 JP5875414 B2 JP 5875414B2
- Authority
- JP
- Japan
- Prior art keywords
- speech
- reliability index
- observed
- value
- band
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 68
- 230000001629 suppression Effects 0.000 title claims description 38
- 238000001228 spectrum Methods 0.000 claims description 56
- 238000009499 grossing Methods 0.000 claims 3
- 230000006870 function Effects 0.000 description 19
- 238000012937 correction Methods 0.000 description 17
- 238000009826 distribution Methods 0.000 description 13
- 239000013598 vector Substances 0.000 description 13
- 238000013459 approach Methods 0.000 description 11
- 238000000605 extraction Methods 0.000 description 9
- 230000003595 spectral effect Effects 0.000 description 9
- 239000000284 extract Substances 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000010606 normalization Methods 0.000 description 7
- 238000004590 computer program Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000011410 subtraction method Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000004378 air conditioning Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/20—Speech recognition techniques specially adapted for robustness in adverse environments, e.g. in noise, of stress induced speech
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Circuit For Audible Band Transducer (AREA)
- Machine Translation (AREA)
Description
本発明の各実施形態の説明に入る前に、フロントエンドに適用されるモデルベースの雑音補正について、図1に基づいて説明する。なお、以下の説明において、「観測音声」とは、発話音声に背景雑音が重畳された実際の観測音を意味し、「クリーン音声」とは、一切の雑音が重畳されていない発話音声を意味し、「クリーン音声推定値」は、観測音声から推定されるクリーン音声の推定値を意味する。また、「周波数スペクトル」とは、パワースペクトルまたは振幅スペクトルを意味する。
観測音声yのフレームtにおけるバンドd(メルスケールの周波数帯)のメル対数スペクトル領域の観測値yd(t)は、クリーン音声の値xd(t)とノイズの値nd(t)の関数として下記式(1)のように表すことができる。
このセクションでは、MMSE推定における事後確率に対して信頼性指標を重みとした重み付けを行う手法について説明する。以下の説明においては、この手法をCW−MMSE(Confidence Weighted MMSE)として参照する。
人の発音に含まれる母音の周波数スペクトルは調波構造を持つことが知られており、背景雑音のない環境下では、観測音声の周波数スペクトルの全帯域で母音の調波構造は維持される。一方、自動車の走行音や空調音などの広帯域雑音の下では、多くのバンドで母音の調波構造が失われ、フォルマントなど音声パワーが集中したバンドのみで調波構造が維持される。
もし仮に、観測音声がクリーン音声と等価であった場合、その観察音声に手を加えないで出力することが最善の策であろう。しかし、モデルベースのアプローチによれば、そのような場合であってもクリーン音声のモデルを推定するので、必然的に、その出力はクリーン音声より劣化する。第2の実施形態は、この問題を解決するための手法を開示する。
このセクションでは、これまで説明してきたCW−MMSEとCW−INTを組み合わせる手法について説明する。以下の説明においては、この手法をCW−MMSE+CW−INTとして参照する。
本実験は、自動車内音声認識の評価用データベースCENSREC-3を用いて行った。評価条件は、学習データとテストデータの双方に遠隔マイクロフォンを使用するCondition 3とした。実験に必要な様々な特徴量を出力するフロントエンドを用意し、学習データとテストデータの双方に適用した。特徴量は、MFCC 12次元 + ΔMFCC 12次元 + ΔΔMFCC 12次元 + C0 + ΔC0 + ΔΔC0 の39次元で、発話単位のCMNを適用した。音響モデルの作り方などバックエンドの構成は無変更とした(Category 0)。
下記表1は、3つの実施例プログラム(CW-MMSE、CW-INT、CW-MMSE+CW-INT)、および比較例プログラム(標準MMSE:SegraのMMSE)の単語正解精度(%)をまとめて示す。なお、「CENSREC-3 Baseline」は、音声強調や雑音除去を何も行わないベースラインである。
102…CW-MMSE推定部
105…LPW生成部
104…信頼性指標作成部
106…メルLPW生成部
107,108…正規化部
200…線形補間部
500…音声認識システム
502,503…雑音抑制部
504…特徴量抽出部
512…モデルベース雑音補正部
514…MMSE推定部
516…データベース
1000,2000,3000…フロントエンド
Claims (12)
- 雑音抑制方法であって、
観測音声のスペクトルに基づいてバンドごとの信頼性指標を作成するステップと、
観測音声に基づいて生成されるクリーン音声の確率モデルに対してMMSE推定を実行してクリーン音声推定値を推定するステップであって、該MMSE推定の事後確率に対して前記信頼性指標を重みとした重み付けを前記バンドごとに行う、ステップと
を含む方法。 - 前記信頼性指標は、前記観測音声における調波構造の顕著さを表す指標である、請求項1に記載の方法。
- 前記信頼性指標を作成するステップは、
前記観測音声のスペクトルから調波構造を抽出して正規化するステップと、
正規化した値をメルスケール上で平滑化するステップと、
平滑化した値の平均が1になるように正規化するステップと
を含む請求項1または2に記載の方法。 - 前記信頼性指標を作成するステップは、第1の信頼性指標および第2の信頼性指標を作成するステップであり、
前記クリーン音声推定値を推定するステップは、観測音声に基づいて生成されるクリーン音声の確率モデルに対してMMSE推定を実行してクリーン音声推定値を推定するステップであって、該MMSE推定の事後確率に対して前記第1の信頼性指標を重みとした重み付けを前記バンドごとに行う、ステップであり、
前記バンドごとに前記観測音声の観測値と前記クリーン音声推定値の間で前記第2の信頼性指標を重みとした線形補間を実行して出力値を導出するステップをさらに含む
請求項1または2に記載の方法。 - 前記第1の信頼性指標および第2の信頼性指標を作成するステップは、
前記観測音声のスペクトルから調波構造を抽出して正規化するステップと、
正規化した値をメルスケール上で平滑化するステップと、
平滑化した値の平均が1になるように正規化して前記第1の信頼性指標を作成するステップと、
平滑化した値を0から1の間で正規化して前記第2の信頼性指標を作成するステップと
を含む、
請求項4に記載の方法。 - 雑音抑制方法であって、
観測音声のスペクトルに基づいて該観測音声における調波構造の顕著さを表す信頼性指標をバンドごとに作成するステップと、
観測音声からクリーン音声推定値を推定するステップと、
前記バンドごとに前記観測音声の観測値と前記クリーン音声推定値の間で前記信頼性指標を重みとした線形補間を実行して出力値を導出するステップと
を含む方法。 - 前記信頼性指標を作成するステップは、
前記観測音声のスペクトルから調波構造を抽出して正規化するステップと、
正規化した値をメルスケール上で平滑化するステップと、
平滑化した値を0から1の間で正規化するステップと
を含む、
請求項6に記載の方法。 - コンピュータに、請求項1〜7のいずれか一項に記載の方法の各ステップを実行させるためのコンピュータ実行可能なプログラム。
- 雑音抑制装置であって、
観測音声のスペクトルに基づいてバンドごとの信頼性指標に作成する信頼性指標作成部と、
観測音声に基づいて生成されたクリーン音声の確率モデルに対してMMSE推定を実行してクリーン音声推定値を推定する雑音抑制部であって、該MMSE推定の事後確率に対して前記信頼性指標を重みとした重み付けを前記バンドごとに行う雑音抑制部と
を含む装置。 - 前記信頼性指標作成部は、第1の信頼性指標および第2の信頼性指標を作成し、
前記雑音抑制部は、前記MMSE推定の事後確率に対して前記第1の信頼性指標を重みとした重み付けを前記バンドごとに行い、
前記バンドごとに前記観測音声の観測値と前記クリーン音声推定値の間で前記第2の信頼性指標を重みとした線形補間を実行して出力値を導出する線形補間部をさらに含む
請求項9に記載の装置。 - 雑音抑制装置であって、
観測音声のスペクトルに基づいて信頼性指標をバンドごとに作成する信頼性指標作成部と、
観測音声からクリーン音声推定値を推定する雑音抑制部と、
前記バンドごとに前記観測音声の観測値と前記クリーン音声推定値の間で前記信頼性指標を重みとした線形補間を実行して出力値を導出する線形補間部と
を含む装置。 - 前記信頼性指標は、前記観測音声における調波構造の顕著さを表す指標である、請求項9〜11のいずれか一項に記載の装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012050603A JP5875414B2 (ja) | 2012-03-07 | 2012-03-07 | 雑音抑制方法、プログラム及び装置 |
US13/786,603 US9190072B2 (en) | 2012-03-07 | 2013-03-06 | Local peak weighted-minimum mean square error (LPW-MMSE) estimation for robust speech |
CN201310071302.3A CN103310798B (zh) | 2012-03-07 | 2013-03-06 | 降噪方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012050603A JP5875414B2 (ja) | 2012-03-07 | 2012-03-07 | 雑音抑制方法、プログラム及び装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013186258A JP2013186258A (ja) | 2013-09-19 |
JP5875414B2 true JP5875414B2 (ja) | 2016-03-02 |
Family
ID=49114869
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012050603A Expired - Fee Related JP5875414B2 (ja) | 2012-03-07 | 2012-03-07 | 雑音抑制方法、プログラム及び装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US9190072B2 (ja) |
JP (1) | JP5875414B2 (ja) |
CN (1) | CN103310798B (ja) |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10149047B2 (en) * | 2014-06-18 | 2018-12-04 | Cirrus Logic Inc. | Multi-aural MMSE analysis techniques for clarifying audio signals |
US9858922B2 (en) | 2014-06-23 | 2018-01-02 | Google Inc. | Caching speech recognition scores |
US9299347B1 (en) | 2014-10-22 | 2016-03-29 | Google Inc. | Speech recognition using associative mapping |
US9786270B2 (en) | 2015-07-09 | 2017-10-10 | Google Inc. | Generating acoustic models |
US10679326B2 (en) * | 2015-11-24 | 2020-06-09 | Canon Kabushiki Kaisha | Image data processing apparatus and image data processing method that determine confidence data indicating a level of confidence in a pixel value in high resolution image data |
US10229672B1 (en) | 2015-12-31 | 2019-03-12 | Google Llc | Training acoustic models using connectionist temporal classification |
CN106971707A (zh) * | 2016-01-14 | 2017-07-21 | 芋头科技(杭州)有限公司 | 基于输出抵消噪声的语音降噪的方法及***以及智能终端 |
CN106971733A (zh) * | 2016-01-14 | 2017-07-21 | 芋头科技(杭州)有限公司 | 基于语音降噪的声纹识别的方法及***以及智能终端 |
CN106971741B (zh) * | 2016-01-14 | 2020-12-01 | 芋头科技(杭州)有限公司 | 实时将语音进行分离的语音降噪的方法及*** |
CN106971739A (zh) * | 2016-01-14 | 2017-07-21 | 芋头科技(杭州)有限公司 | 一种语音降噪的方法及***以及智能终端 |
US20180018973A1 (en) | 2016-07-15 | 2018-01-18 | Google Inc. | Speaker verification |
US10062378B1 (en) * | 2017-02-24 | 2018-08-28 | International Business Machines Corporation | Sound identification utilizing periodic indications |
US10706840B2 (en) | 2017-08-18 | 2020-07-07 | Google Llc | Encoder-decoder models for sequence to sequence mapping |
CN109545238B (zh) * | 2018-12-11 | 2022-05-10 | 珠海一微半导体股份有限公司 | 一种基于清洁机器人的语音去噪装置 |
CN109360580B (zh) * | 2018-12-11 | 2022-01-04 | 珠海一微半导体股份有限公司 | 一种基于语音识别的迭代去噪装置和清洁机器人 |
CN109410928B (zh) * | 2018-12-11 | 2022-03-04 | 珠海一微半导体股份有限公司 | 一种基于语音识别的去噪方法和芯片 |
CN109584899B (zh) * | 2018-12-11 | 2022-02-08 | 珠海一微半导体股份有限公司 | 一种基于语音识别的去噪装置和清洁机器人 |
CN110556125B (zh) * | 2019-10-15 | 2022-06-10 | 出门问问信息科技有限公司 | 基于语音信号的特征提取方法、设备及计算机存储介质 |
US11545143B2 (en) | 2021-05-18 | 2023-01-03 | Boris Fridman-Mintz | Recognition or synthesis of human-uttered harmonic sounds |
CN113838475B (zh) * | 2021-11-29 | 2022-02-15 | 成都航天通信设备有限责任公司 | 一种基于对数mmse估计器的语音信号增强方法及*** |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5960391A (en) * | 1995-12-13 | 1999-09-28 | Denso Corporation | Signal extraction system, system and method for speech restoration, learning method for neural network model, constructing method of neural network model, and signal processing system |
JP2001195100A (ja) * | 2000-01-13 | 2001-07-19 | Oki Electric Ind Co Ltd | 音声処理回路 |
US7047047B2 (en) * | 2002-09-06 | 2006-05-16 | Microsoft Corporation | Non-linear observation model for removing noise from corrupted signals |
JP2008298844A (ja) | 2007-05-29 | 2008-12-11 | Advanced Telecommunication Research Institute International | 雑音抑圧装置、コンピュータプログラム、及び音声認識システム |
WO2009038013A1 (ja) * | 2007-09-21 | 2009-03-26 | Nec Corporation | 雑音除去システム、雑音除去方法および雑音除去プログラム |
CN101452701B (zh) | 2007-12-05 | 2011-09-07 | 株式会社东芝 | 基于反模型的置信度估计方法及装置 |
WO2011024572A1 (ja) * | 2009-08-28 | 2011-03-03 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 音声特徴量抽出装置、音声特徴量抽出方法、及び音声特徴量抽出プログラム |
-
2012
- 2012-03-07 JP JP2012050603A patent/JP5875414B2/ja not_active Expired - Fee Related
-
2013
- 2013-03-06 CN CN201310071302.3A patent/CN103310798B/zh not_active Expired - Fee Related
- 2013-03-06 US US13/786,603 patent/US9190072B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
CN103310798A (zh) | 2013-09-18 |
CN103310798B (zh) | 2015-08-26 |
US20130238324A1 (en) | 2013-09-12 |
US9190072B2 (en) | 2015-11-17 |
JP2013186258A (ja) | 2013-09-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5875414B2 (ja) | 雑音抑制方法、プログラム及び装置 | |
CN106971741B (zh) | 实时将语音进行分离的语音降噪的方法及*** | |
JP5230103B2 (ja) | 自動音声認識器のためのトレーニングデータを生成する方法およびシステム | |
US10217456B2 (en) | Method, apparatus, and program for generating training speech data for target domain | |
US8812312B2 (en) | System, method and program for speech processing | |
JP5723923B2 (ja) | 音声特徴量抽出装置、及び音声特徴量抽出プログラム | |
KR101892733B1 (ko) | 켑스트럼 특징벡터에 기반한 음성인식 장치 및 방법 | |
JP5242782B2 (ja) | 音声認識方法 | |
US9087513B2 (en) | Noise reduction method, program product, and apparatus | |
JPWO2007141923A1 (ja) | ゲイン制御システム、ゲイン制御方法及びゲイン制御プログラム | |
JP4705414B2 (ja) | 音声認識装置、音声認識方法、音声認識プログラムおよび記録媒体 | |
JP4728791B2 (ja) | 音声認識装置、音声認識方法、そのプログラムおよびその記録媒体 | |
JP5282523B2 (ja) | 基本周波数抽出方法、基本周波数抽出装置、およびプログラム | |
Jain et al. | Marginal energy density over the low frequency range as a feature for voiced/non-voiced detection in noisy speech signals | |
WO2013132959A1 (ja) | 雑音抑制方法、プログラム及び装置 | |
JP4571871B2 (ja) | 音声信号分析方法およびこの分析方法を実施する装置、この音声信号分析装置を用いた音声認識装置、この分析方法を実行するプログラムおよびその記憶媒体 | |
Makhijani et al. | Speech enhancement using pitch detection approach for noisy environment | |
JP5200080B2 (ja) | 音声認識装置、音声認識方法、およびそのプログラム | |
Sadeghi et al. | The effect of different acoustic noise on speech signal formant frequency location | |
CN112201261A (zh) | 基于线性滤波的频带扩展方法、装置及会议终端*** | |
Kathania et al. | Experiments on children's speech recognition under acoustically mismatched conditions | |
Ichikawa et al. | Model-based noise reduction leveraging frequency-wise confidence metric for in-car speech recognition | |
Lee et al. | Linear-scale perceptual feature extraction for Speech Bandwidth Extensions | |
JP2006084659A (ja) | オーディオ信号分析方法、その方法を用いた音声認識方法、それらの装置、プログラムおよびその記録媒体 | |
Ali et al. | The phase spectra based feature for robust speech recognition |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140902 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150410 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150414 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150709 |
|
TRDD | Decision of grant or rejection written | ||
RD14 | Notification of resignation of power of sub attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7434 Effective date: 20151222 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151222 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160119 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5875414 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |