JP5785674B2 - デュアルマイクに基づく音声残響低減方法及びその装置 - Google Patents
デュアルマイクに基づく音声残響低減方法及びその装置 Download PDFInfo
- Publication number
- JP5785674B2 JP5785674B2 JP2015524601A JP2015524601A JP5785674B2 JP 5785674 B2 JP5785674 B2 JP 5785674B2 JP 2015524601 A JP2015524601 A JP 2015524601A JP 2015524601 A JP2015524601 A JP 2015524601A JP 5785674 B2 JP5785674 B2 JP 5785674B2
- Authority
- JP
- Japan
- Prior art keywords
- input signal
- microphone input
- main microphone
- reverberation
- frequency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 68
- 230000009977 dual effect Effects 0.000 title claims description 32
- 238000001228 spectrum Methods 0.000 claims description 151
- 238000012546 transfer Methods 0.000 claims description 100
- 238000006243 chemical reaction Methods 0.000 claims description 38
- 230000008569 process Effects 0.000 claims description 33
- 230000003595 spectral effect Effects 0.000 claims description 30
- 230000009467 reduction Effects 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 10
- 230000005284 excitation Effects 0.000 description 7
- 238000013461 design Methods 0.000 description 6
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000011410 subtraction method Methods 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/02—Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/002—Damping circuit arrangements for transducers, e.g. motional feedback circuits
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/04—Circuits for transducers, loudspeakers or microphones for correcting frequency response
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
- G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
- G10L2021/02165—Two microphones, one receiving mainly the noise signal and the other one mainly the speech signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
- H04R2225/43—Signal processing in hearing aids to enhance the speech intelligibility
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2227/00—Details of public address [PA] systems covered by H04R27/00 but not provided for in any of its subgroups
- H04R2227/009—Signal processing in [PA] systems to enhance the speech intelligibility
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2410/00—Microphones
- H04R2410/05—Noise reduction with a separate noise microphone
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Circuit For Audible Band Transducer (AREA)
- Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
Description
1)早期残響が除去されて、処理後の音響が薄くなる。
2)残響の強さに対して判断せず、異なる残響の場合においても同じスペクトル減算処理を用いることで、残響が弱く、音声の明瞭度がそもそも高い場合に音声品質を損傷する可能性がある。
3)直接音の到来方向を正確に推定して、直接音を分離する必要があるので、マイクロフォンに高い一致性が要求され、音響設計に対しても厳しい制限がある。
前記伝達関数h(t)のテーリング部分hr(t)を取得するとともに、該伝達関数h(t)によって残響の強さを判断して、利得函数の調節因子βを算出する処理と、
前記補助マイク入力信号を用いてhr(t)に畳み込みを行ってメインマイク入力信号の後期残響推定信号を得る処理と、
前記メインマイク入力信号の後期残響推定信号に対して時間ドメインから周波数ドメインへの変換を行って、メインマイク入力信号の後期残響スペクトルを得て、メインマイク入力信号に対して時間ドメインから周波数ドメインへの変換を行ってメインマイク入力信号の周波数スペクトルを得る処理と、
前記メインマイク入力信号の周波数スペクトル、前記利得函数の調節因子β及びメインマイク入力信号の後期残響スペクトルによって、利得函数を算出する処理と、
前記メインマイク入力信号の周波数スペクトルに利得函数を乗算して、メインマイク入力信号の残響除去後の周波数スペクトルを得る処理と、
前記メインマイク入力信号の残響除去後の周波数スペクトルに対して周波数ドメインから時間ドメインへの変換を行って、メインマイク入力信号の残響除去後の時間ドメイン信号を得る処理と、
前記メインマイク入力信号の残響除去後の時間ドメイン信号を、フレームごとに重畳加算してから、メインマイク入力信号の残響除去後の連続信号を出力する処理とを行う、
デュアルマイクに基づく音声残響低減方法が提供される。
前記残響スペクトル推定ユニットは、メインマイク入力信号及び補助マイク入力信号を受信し、前記メインマイク入力信号及び補助マイク入力信号によって、前記補助マイクからメインマイクまでの伝達関数h(t)を算出して、該伝達関数h(t)のテーリング部分hr(t)を取得するとともに、前記伝達関数h(t)によって残響の強さを判断し、利得函数の調節因子βを算出してスペクトル減算ユニットに出力し、補助マイク入力信号を用いてhr(t)に畳み込みを行ってメインマイク入力信号の後期残響推定信号を得て、メインマイク入力信号の後期残響推定信号に対して時間ドメインから周波数ドメインへの変換を行ってメインマイク入力信号の後期残響スペクトルを得てからスペクトル減算ユニットに出力するために用いられ、
前記スペクトル減算ユニットは、メインマイク入力信号、前記残響スペクトル推定ユニットから出力された利得函数の調節因子β及びメインマイク入力信号の後期残響スペクトルを受信し、メインマイク入力信号に対して時間ドメインから周波数ドメインへの変換を行ってメインマイク入力信号の周波数スペクトルを得て、前記メインマイク入力信号の周波数スペクトル、利得函数の調節因子β及びメインマイク入力信号の後期残響スペクトルによって利得函数を算出し、前記メインマイク入力信号の周波数スペクトルに利得函数を乗算してメインマイク入力信号の残響除去後の周波数スペクトルを得て、前記メインマイク入力信号の残響除去後の周波数スペクトルに対して周波数ドメインから時間ドメインへの変換を行ってメインマイク入力信号の残響除去後の時間ドメイン信号を得て、前記メインマイク入力信号の残響除去後の時間ドメイン信号を、フレームごとに重畳加算してから、メインマイク入力信号の残響除去後の連続信号を出力するために用いられる、デュアルマイクに基づく音声残響低減装置が提供される。
従来技術に対する分析により、より良く残響を低減するために、後期残響を除去すると同時に直接音と早期残響とを保護する必要があるので、正確で安定な後期残響推定及び残響強さ判断が必要とされる。
早期残響信号は、音声に対して強調作用を果たすことができるが、後期残響は、音声の明瞭度を低減することになる。図1は、本発明の実施例に挙げられた励磁信号からマイク入力信号までの伝達関数のグラフである。図1を参照して、励磁信号からマイク入力信号までの伝達関数において、ピークが最大の箇所は、直接音に対応しており、通常、最大ピークから離れた或る点を、早期反射と後期反射との境界点として、最大ピークから境界点までの部分が早期残響に対応し、境界点以降の部分が後期残響に対応する。図1において、該境界点が50msである。
(1)
w(t)は、励磁信号からマイク入力信号までの伝達関数である。0〜50msが直接音と早期残響部分に対応し、50ms以降が後期残響部分に対応する。残響が強いほど、C50の値が小さくなる。残響除去前後のC50の向上が残響除去効果を反映し得るため、C50は、残響除去の客観的評価指標としてもよい。
(2)
h(t)は、頭部と尾部との二つの部分に分けることができる。
(3)
そのうち、hd(t)がh(t)の頭部を表し、hr(t)がh(t)の尾部を表す。
h(t)のテーリング部分hr(t)は、信号の、空間における複数回の反射を反映しているため、h(t)のテーリング部分hr(t)と補助マイク入力信号x1(t)との畳み込み信号
は、メインマイクの後期残響成分に近く、メインマイク後期残響成分の推定信号とされる。h(t)において一つの点を選び取ってhd(t)とhr(t)の境界点として、h(t)の境界点の前の値を0にセットして、hr(t)が得られる。境界点からh(t)の最大ピークまでの距離範囲を30ms〜80ms(経験値)に設置することができる。経験により、境界点からh(t)までの最大ピークが50ms以上である場合、メインマイクの後期残響推定信号
には、直接音と早期反射成分がまったく残留せず、音声への損傷を低減し得るため、本発明の実施例において、境界点として50msを取ることを例として説明を行う。
図3は、本発明の一つの実施例におけるデュアルマイクに基づく音声残響低減方法の流れの模式図である。図3に示すように、該方法は、主に、残響スペクトル推定部分とスペクトル減算部分とを含み、具体的には、フレームごとに下記の処理を行う。
ステップ1.2 伝達関数h(t)のテーリング部分hr(t)を取得する。
ステップ1.3 そして、伝達関数h(t)によって残響の強さを判断して、利得函数の調節因子βを算出する。
ステップ1.4 補助マイク入力信号を用いてhr(t)に畳み込みを行って、メインマイク入力信号の後期残響推定信号
を得る。
ステップ1.5 メインマイク入力信号の後期残響推定信号
に対して時間ドメインから周波数ドメインへの変換を行って、メインマイク入力信号の後期残響スペクトル
を得る。
ステップ2.2 メインマイク入力信号の周波数スペクトルX2、利得函数の調節因子β及びメインマイク入力信号の後期残響スペクトル
によって、利得函数Gを算出する。
ステップ2.3 メインマイク入力信号の周波数スペクトルX2に利得函数Gを乗算して、メインマイク入力信号の残響除去後の周波数スペクトルDを得る。
ステップ2.4 メインマイク入力信号の残響除去後の周波数スペクトルDに対して周波数ドメインから時間ドメインへの変換を行って、メインマイク入力信号の残響除去後の時間ドメイン信号d(t)を得る。
ステップ2.5 メインマイク入力信号の残響除去後の時間ドメイン信号を、フレームごとに重畳加算してから、メインマイク入力信号の残響低減後の連続信号xd(t)を出力する。
入力:補助マイクの入力信号x1(t)、メインマイクの入力信号x2(t)。
出力:利得函数の調節因子β(スペクトル減算プロセスにおいての一つの入力とする)、メインマイク入力信号の後期残響スペクトル
(スペクトル減算プロセスにおいての一つの入力とする)。
残響スペクトル推定は、ステップ1.1、ステップ1.2、ステップ1.3、ステップ1.4、ステップ1.45、ステップ1.5との六つのステップを含む。
入力:メインマイク入力信号x2(t)、利得函数の調節因子β(残響スペクトル推定プロセスにおいての出力)、メインマイク入力信号の後期残響スペクトル
(残響スペクトル推定プロセスにおいての出力)。
出力:メインマイク入力信号の残響低減後の信号xd(t)(システム全体の出力でもある)。
スペクトル減算プロセスは、ステップ2.1、ステップ2.2、ステップ2.3、ステップ2.4、ステップ2.5との五つのステップを含む。
1.残響スペクトル推定プロセス
ステップ1.1 補助マイクからメインマイクまでの伝達関数h(t)を算出する。
ステップ1.1の入力:補助マイクの入力信号x1(t)及びメインマイクの入力信号x2(t)。
ステップ1.1の出力:補助マイクからメインマイクまでの伝達関数h(t)(ステップ1.2の入力とする)。
(4)
周波数ドメインの伝達関数Hに対して逆フーリエ変換を行って、時間ドメインの伝達関数h(t)を得る。
本発明のその他の実施例において、h(t)の計算は、例えば適応フィルタリングの方法等の異なる方法を用いてもよく、ここでは詳述しない。
ステップ1.2の入力:補助マイクからメインマイクまでの伝達関数h(t)(ステップ1.1の出力)。
ステップ1.2の出力:補助マイクからメインマイクまでの伝達関数のテーリング部分hr(t)(ステップ1.4の入力とする)。
ステップ1.3の入力:補助マイクからメインマイクまでの伝達関数h(t)(ステップ1.1の出力)。
ステップ1.3の出力:利得函数の調節因子β(スペクトル減算プロセスにおいての一つの入力とする)。
(5)
そのうち、h(t)が補助マイクからメインマイクまでの伝達関数であり、Tがh(t)の時間軸においての指定された境界点である。該境界点Tは、必ずしも早期残響と後期残響との境界点ではないが、該境界点Tの前は、必ず直接音を含み、更に、早期残響の一部又は全部を含んでもよい。
(6)
ρ1及びρ2が設定値を取り、経験値であり、本発明の実施例において、ρ1が9dB、ρ2が2dBを取る(マイク間隔が6cmである)。
を得る。
ステップ1.4の入力:補助マイクの入力信号x1(t)、補助マイクからメインマイクまでの伝達関数のテーリング部分hr(t)(ステップ1.2の出力)。
ステップ1.4の出力:メインマイク入力信号の後期残響推定信号
(ステップ1.45の入力とする)。
具体的には、下記の式のようになる。
(7)
に対して周波数補償を行い、補償後の信号
を得る。
ステップ1.45の入力:メインマイク入力信号の後期残響推定信号
(ステップ1.4の出力)。
ステップ1.45の出力:周波数補償が行われたメインマイク入力信号の後期残響推定信号
(ステップ1.5の入力とする)。
とメインマイク入力信号の真実の後期残響成分とを比べると、後期残響推定信号
は、低周波数域部分において推定不足である。そのため、本発明において、メインマイク入力信号の後期残響推定信号
に対して周波数補償を行う。メインマイクと補助マイクとの間の間隔は、後期残響推定信号
に影響を及ぼすため、本発明の実施例において、異なるマイク間隔に応じてローパスフィルタを設けて、後期残響推定信号に対して対応する周波数補償を行い、補償後の後期残響推定信号
を得る。
の低周波数域部分に対して周波数補償を行う度合いが小さくなる。
を時間ドメインから周波数ドメインに変換して、メインマイク入力信号の後期残響スペクトル
を得る。
ステップ1.5の入力:周波数補償が行われたメインマイク入力信号の後期残響推定信号
(ステップ1.45の出力)。
ステップ1.5の出力:メインマイク入力信号の後期残響スペクトル
(スペクトル減算プロセスにおいての一つの入力とする)。
周波数補償が行われたメインマイクの後期残響推定信号
を周波数ドメインに変換して、メインマイク入力信号の後期残響スペクトル
が得られる。
(8)
ステップ2.1 メインマイクの入力信号x2(t)を時間ドメインから周波数ドメインに変換して、X2と記す。
ステップ2.1の入力:メインマイクの入力信号x2(t)。
ステップ2.1の出力:メインマイク入力信号の周波数スペクトルX2(ステップ2.2の入力とされる)。
具体的には、下記の式のようになる。
(9)
から利得函数Gを算出するとともに、調節因子βによって利得函数を調節する。
ステップ2.2の入力:メインマイク入力信号の周波数スペクトルX2(ステップ2.1の出力)、メインマイクの後期残響スペクトル
(残響スペクトル推定プロセスにおいてのステップ1.5の出力)、利得函数の調節因子β(残響スペクトル推定プロセスにおいてのステップ1.3の出力)。
ステップ2.2の出力:利得函数G(ステップ2.3の一つの入力とする)。
(10)
そのうち、lがフレーム番号、kが周波数ポイント番号、βが利得函数の調節因子、
がメインマイク入力信号の後期残響周波数スペクトル、X2がメインマイク入力信号の周波数スペクトルである。
ステップ2.3の入力:メインマイク入力信号の周波数スペクトルX2(ステップ2.1の出力)、利得函数G(ステップ2.2の出力)。
ステップ2.3の出力:メインマイク入力信号の残響除去後の周波数スペクトルD(ステップ2.4の入力とする)。
具体的には、下記の式によって、メインマイク入力信号の残響除去後の周波数スペクトルD(l,k)を算出する。
(11)
そのうち、lがフレーム番号、kが周波数ポイント番号、|X2(l,k)|がメインマイク入力信号の振幅スペクトル、G(l,k)が利得函数、phase(l,k)がメインマイク入力信号の位相である。
ステップ2.4の入力:メインマイク入力信号の残響除去後の周波数スペクトルD(ステップ2.3の出力)。
ステップ2.4の出力:メインマイク入力信号の残響除去後の時間ドメイン信号d(t)(ステップ2.5の入力とする)。
(12)
ステップ2.5の入力:メインマイク入力信号の残響除去後の時間ドメイン信号d(t)(ステップ2.4の出力)。
ステップ2.5の出力:メインマイク入力信号の残響低減後の連続信号xd(t)(システム全体の出力)。
そのうち、h(t)が補助マイクからメインマイクまでの伝達関数、Tがh(t)の時間軸においての指定された境界点である。
そして、残響強さ判断ユニット913は、前記の式(6)によって利得函数の調節因子βを算出する。即ち、
そのうち、ρ1とρ2が設定値を取る。例えば、ρ1が9dB、ρ2が2dBを取る(マイクの間隔が6cmである)。
そのうち、lがフレーム番号、kが周波数ポイント番号、βが利得函数の調節因子、
がメインマイク入力信号の後期残響周波数スペクトル、X2がメインマイク入力信号の周波数スペクトルである。
そのうち、lがフレーム番号、kが周波数ポイント番号、|X2(l,k)|がメインマイク入力信号の振幅、G(l,k)が利得函数、phase(l,k)がメインマイク入力信号の位相である。
を得て、
に対して時間ドメインから周波数ドメインへの変換を行って、x2(t)の後期残響スペクトル
を得てから該装置におけるスペクトル減算ユニット800に出力するために用いられる。該装置におけるスペクトル減算ユニット800は、x2(t)に対して時間ドメインから周波数ドメインへの変換を行って、x2(t)の周波数スペクトルを得て、x2(t)の周波数スペクトル、前記β及び
によって利得函数を算出し、x2(t)の周波数スペクトルに利得函数を乗算して、x2(t)の残響除去後の周波数スペクトルを得て、周波数ドメインから時間ドメインへの変換を行って、x2(t)の残響除去後の時間ドメイン信号を得るために用いられる。
を得てから、スペクトル減算法によって、メインマイク入力信号x2(t)の周波数スペクトルからメインマイク入力信号の後期残響推定スペクトル
を差し引くため、メインマイクの入力信号x2(t)からその後期残響を効果的に除去するとともに早期残響を保留することができ、音声の品質が向上する。同時に、本発明の後期残響を推定するプロセスに、残響の強さによってスペクトル減算の強度を調節し、残響が弱い時にスペクトル減算を少なくするか又はしないようにして、残響が弱く、音声の明瞭度が高い場合に音声を損傷しないことが保証され、音声品質が保護される。そして、このような装置において、直接音の到来方向を正確に推定する必要がないため、マイクが高い一致性を持つことが要求されることなく、音響設計に対しても厳しい制限がない。
Claims (10)
- メインマイク入力信号及び補助マイク入力信号を受信し、フレームごとにメインマイク入力信号及び補助マイク入力信号によって、補助マイクからメインマイクまでの伝達関数h(t)を算出する処理と、
前記伝達関数h(t)のテーリング部分hr(t)を取得するとともに、該伝達関数h(t)によって残響の強さを判断して利得函数の調節因子βを算出する処理と、
前記補助マイク入力信号を用いてhr(t)に畳み込みを行って、メインマイク入力信号の後期残響推定信号を得る処理と、
前記メインマイク入力信号の後期残響推定信号に対して時間ドメインから周波数ドメインへの変換を行って、メインマイク入力信号の後期残響スペクトルを得て、メインマイク入力信号に対して時間ドメインから周波数ドメインへの変換を行って、メインマイク入力信号の周波数スペクトルを得る処理と、
前記メインマイク入力信号の周波数スペクトル、前記利得函数の調節因子β及びメインマイク入力信号の後期残響スペクトルによって、利得函数を算出する処理と、
前記メインマイク入力信号の周波数スペクトルに利得函数を乗算して、メインマイク入力信号の残響除去後の周波数スペクトルを得る処理と、
前記メインマイク入力信号の残響除去後の周波数スペクトルに対して周波数ドメインから時間ドメインへの変換を行って、メインマイク入力信号の残響除去後の時間ドメイン信号を得る処理と、
前記メインマイク入力信号の残響除去後の時間ドメイン信号を、フレームごとに重畳加算してからメインマイク入力信号の残響除去後の連続信号を出力する処理とを、
行うことを含むことを特徴とするデュアルマイクに基づく音声残響低減方法。 - 前記メインマイク入力信号の後期残響推定信号を得た後、時間ドメインから周波数ドメインへの変換を行う前に、
前記メインマイクと補助マイクとの間の距離が大きいほど、メインマイク入力信号の後期残響推定信号に対して周波数補償を行う度合いが小さくなるように、前記メインマイク入力信号の後期残響推定信号に対して周波数補償を行うことと、
この周波数補償が行われた信号に対して時間ドメインから周波数ドメインへの変換を行って、前記メインマイク入力信号の後期残響スペクトルを得ることとを、
更に含むことを特徴とする請求項1に記載のデュアルマイクに基づく音声残響低減方法。 - 前記伝達関数h(t)によって残響の強さを判断することは、下記の式によって残響の強さを表すパラメータρを算出し、
そのうち、h(t)が補助マイクからメインマイクまでの伝達関数、Tがh(t)の時間軸において指定された境界点であり、
前記利得函数の調節因子βを算出することは、下記の式によってβを算出し、
そのうち、ρ1とρ2が設定値である、
ことを特徴とする請求項1に記載のデュアルマイクに基づく音声残響低減方法。 - 前記メインマイク入力信号の周波数スペクトル、前記利得函数の調節因子β及びメインマイク入力信号の後期残響スペクトルによって利得函数を算出することは、下記の式によって利得函数G(l,k)を算出し、
そのうち、lがフレーム番号、kが周波数ポイント番号、βが利得函数の調節因子、
がメインマイク入力信号の後期残響周波数スペクトル、X2がメインマイク入力信号の周波数スペクトルである、
ことを特徴とする請求項1に記載のデュアルマイクに基づく音声残響低減方法。 - 前記伝達関数h(t)のテーリング部分hr(t)を取得することは、
伝達関数h(t)の時間軸において早期残響と後期残響との境界点を取って、伝達関数h(t)の該境界点の前の値を0にセットして、伝達関数h(t)のテーリング部分hr(t)を得ることを含む、
ことを特徴とする請求項1に記載のデュアルマイクに基づく音声残響低減方法。 - メインマイク及び補助マイクに受信された信号に対してフレームごとに処理を行い、残響スペクトル推定ユニットとスペクトル減算ユニットとを含み、そのうち、
前記残響スペクトル推定ユニットは、メインマイク入力信号及び補助マイク入力信号を受信し、前記メインマイク入力信号及び補助マイク入力信号によって、前記補助マイクからメインマイクまでの伝達関数h(t)を算出して、該伝達関数h(t)のテーリング部分hr(t)を取得するとともに、前記伝達関数h(t)によって残響の強さを判断し、利得函数の調節因子βを算出してスペクトル減算ユニットに出力して、補助マイク入力信号を用いてhr(t)に畳み込みを行って、メインマイク入力信号の後期残響推定信号を得て、メインマイク入力信号の後期残響推定信号に対して時間ドメインから周波数ドメインへの変換を行って、メインマイク入力信号の後期残響スペクトルを得てからスペクトル減算ユニットに出力するために用いられ、
前記スペクトル減算ユニットは、メインマイク入力信号、前記残響スペクトル推定ユニットから出力された利得函数の調節因子β及びメインマイク入力信号の後期残響スペクトルを受信し、メインマイク入力信号に対して時間ドメインから周波数ドメインへの変換を行って、メインマイク入力信号の周波数スペクトルを得て、前記メインマイク入力信号の周波数スペクトル、利得函数の調節因子β及びメインマイク入力信号の後期残響スペクトルによって利得函数を算出し、前記メインマイク入力信号の周波数スペクトルに利得函数を乗算して、メインマイク入力信号の残響除去後の周波数スペクトルを得て、前記メインマイク入力信号の残響除去後の周波数スペクトルに対して周波数ドメインから時間ドメインへの変換を行って、メインマイク入力信号の残響除去後の時間ドメイン信号を得て、前記メインマイク入力信号の残響除去後の時間ドメイン信号を、フレームごとに重畳加算してからメインマイク入力信号の残響除去後の連続信号を出力するために用いられる、
ことを特徴とするデュアルマイクに基づく音声残響低減装置。 - 前記残響スペクトル推定ユニットは、伝達関数算出ユニット、伝達関数テーリング算出ユニット、残響強さ判断ユニット、後期残響推定ユニット及び第一の時間/周波数変換ユニットを含み、更に周波数補償ユニットを含み、
前記スペクトル減算ユニットは、第二の時間/周波数変換ユニット、利得函数算出ユニット、残響除去ユニット、周波数/時間変換ユニット及び重畳加算ユニットを含み、そのうち、
伝達関数算出ユニットは、メインマイク入力信号及び補助マイク入力信号を受信し、メインマイク入力信号及び補助マイク入力信号によって、補助マイクからメインマイクまでの伝達関数h(t)を算出して、伝達関数h(t)を伝達関数テーリング算出ユニット及び残響強さ判断ユニットに出力するために用いられ、
伝達関数テーリング算出ユニットは、前記伝達関数h(t)のテーリング部分hr(t)を求めて後期残響推定ユニットに出力するために用いられ、
残響強さ判断ユニットは、前記伝達関数h(t)によって残響の強さを判断し、利得函数の調節因子βを算出して利得函数算出ユニットに出力するために用いられ、
後期残響推定ユニットは、前記補助マイク入力信号を受信し、補助マイク入力信号を用いてhr(t)に畳み込みを行って、メインマイク入力信号の後期残響推定信号を得てから周波数補償ユニットに出力するために用いられ、
周波数補償ユニットは、前記メインマイク入力信号の後期残響推定信号に対して周波数補償を行って、第一の時間/周波数変換ユニットに出力するために用いられ、そのうち、メインマイクと補助マイクとの間の距離が大きいほど、メインマイク入力信号の後期残響推定信号に対して周波数補償を行う度合いが小さくなり、
第一の時間/周波数変換ユニットは、前記周波数補償されたメインマイク入力信号の後期残響推定信号に対して時間ドメインから周波数ドメインへの変換を行って、メインマイク入力信号の後期残響スペクトルを得てから利得函数算出ユニットに出力するために用いられ、
第二の時間/周波数変換ユニットは、前記メインマイク入力信号を受信し、時間ドメインから周波数ドメインへの変換を行って、メインマイク入力信号の周波数スペクトルを得て利得函数算出ユニットに出力するために用いられ、
利得函数算出ユニットは、前記第二の時間/周波数変換ユニットから出力されたメインマイク入力信号の周波数スペクトル、残響強さ判断ユニットから出力された利得函数の調節因子β及び第一の時間/周波数変換ユニットから出力されたメインマイク入力信号の後期残響スペクトルによって、利得函数を算出して、残響除去ユニットに出力するために用いられ、
残響除去ユニットは、前記メインマイク入力信号の周波数スペクトルに利得函数を乗算して、メインマイク入力信号の残響除去後の周波数スペクトルを得て、周波数/時間変換ユニットに出力し、
周波数/時間変換ユニットは、前記メインマイク入力信号の残響除去後の周波数スペクトルに対して周波数ドメインから時間ドメインへの変換を行って、メインマイク入力信号の残響除去後の時間ドメイン信号を得て、重畳加算ユニットに出力するために用いられ、
重畳加算ユニットは、前記メインマイク入力信号の残響除去後の時間ドメイン信号を、フレームごとに重畳加算してから、メインマイク入力信号の残響除去後の連続信号を出力するために用いられる、
ことを特徴とする請求項6に記載のデュアルマイクに基づく音声残響低減装置。 - 前記残響強さ判断ユニットは、下記の式によって残響の強さを表すパラメータρを算出するために用いられ、
そのうち、h(t)が補助マイクからメインマイクまでの伝達関数、Tがh(t)の時間軸においての指定された境界点であり、
そして、下記の式によって利得函数の調節因子βを算出するために用いられ、
そのうち、ρ1とρ2が設定値である、
ことを特徴とする請求項7に記載のデュアルマイクに基づく音声残響低減装置。 - 前記利得函数算出ユニットは、下記の式によって利得函数G(l,k)を算出するために用いられ、
そのうち、lがフレーム番号、kが周波数ポイント番号、βが利得函数の調節因子、
がメインマイク入力信号の後期残響周波数スペクトル、X2がメインマイク入力信号の周波数スペクトルである、
ことを特徴とする請求項7に記載のデュアルマイクに基づく音声残響低減装置。 - 前記伝達関数テーリング算出ユニットは、前記伝達関数h(t)の時間軸において早期残響と後期残響との境界点を取って、伝達関数h(t)の該境界点の前の値を0にセットして、伝達関数h(t)のテーリング部分hr(t)を得るために用いられることを特徴とする請求項7に記載のデュアルマイクに基づく音声残響低減装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210536578.X | 2012-12-12 | ||
CN201210536578.XA CN103067821B (zh) | 2012-12-12 | 2012-12-12 | 一种基于双麦克的语音混响消减方法和装置 |
PCT/CN2013/001557 WO2014089914A1 (zh) | 2012-12-12 | 2013-12-12 | 一种基于双麦克的语音混响消减方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015523609A JP2015523609A (ja) | 2015-08-13 |
JP5785674B2 true JP5785674B2 (ja) | 2015-09-30 |
Family
ID=48110252
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015524601A Active JP5785674B2 (ja) | 2012-12-12 | 2013-12-12 | デュアルマイクに基づく音声残響低減方法及びその装置 |
Country Status (7)
Country | Link |
---|---|
US (1) | US9414157B2 (ja) |
EP (1) | EP2858379B1 (ja) |
JP (1) | JP5785674B2 (ja) |
KR (1) | KR101502297B1 (ja) |
CN (1) | CN103067821B (ja) |
DK (1) | DK2858379T3 (ja) |
WO (1) | WO2014089914A1 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103067821B (zh) * | 2012-12-12 | 2015-03-11 | 歌尔声学股份有限公司 | 一种基于双麦克的语音混响消减方法和装置 |
CN104156553B (zh) * | 2014-05-09 | 2018-08-17 | 哈尔滨工业大学深圳研究生院 | 无需信源数估计的相干信号波达方向估计方法及*** |
CN105848052B (zh) * | 2015-01-16 | 2019-10-11 | 宇龙计算机通信科技(深圳)有限公司 | 一种麦克切换方法及终端 |
GB2549103B (en) * | 2016-04-04 | 2021-05-05 | Toshiba Res Europe Limited | A speech processing system and speech processing method |
CN110660404B (zh) * | 2019-09-19 | 2021-12-07 | 北京声加科技有限公司 | 基于零陷滤波预处理的语音通信和交互应用***、方法 |
EP3809726A1 (en) * | 2019-10-17 | 2021-04-21 | Bang & Olufsen A/S | Echo based room estimation |
CN111179958A (zh) * | 2020-01-08 | 2020-05-19 | 厦门亿联网络技术股份有限公司 | 一种语音晚期混响抑制方法及*** |
CN112053698A (zh) * | 2020-07-31 | 2020-12-08 | 出门问问信息科技有限公司 | 语音转换方法及装置 |
CN113542980B (zh) * | 2021-07-21 | 2023-03-31 | 深圳市悦尔声学有限公司 | 一种抑制扬声器串扰的方法 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3649847B2 (ja) * | 1996-03-25 | 2005-05-18 | 日本電信電話株式会社 | 残響除去方法及び装置 |
CN1166160C (zh) * | 1996-05-31 | 2004-09-08 | 皇家菲利浦电子有限公司 | 抑制输入信号中干扰成分的设备 |
US6549586B2 (en) * | 1999-04-12 | 2003-04-15 | Telefonaktiebolaget L M Ericsson | System and method for dual microphone signal noise reduction using spectral subtraction |
EP1879181B1 (en) * | 2006-07-11 | 2014-05-21 | Nuance Communications, Inc. | Method for compensation audio signal components in a vehicle communication system and system therefor |
JP5166117B2 (ja) * | 2008-05-20 | 2013-03-21 | 株式会社船井電機新応用技術研究所 | 音声入力装置及びその製造方法、並びに、情報処理システム |
EP2211564B1 (en) * | 2009-01-23 | 2014-09-10 | Harman Becker Automotive Systems GmbH | Passenger compartment communication system |
US8233352B2 (en) * | 2009-08-17 | 2012-07-31 | Broadcom Corporation | Audio source localization system and method |
US8897455B2 (en) * | 2010-02-18 | 2014-11-25 | Qualcomm Incorporated | Microphone array subset selection for robust noise reduction |
CN101976565A (zh) * | 2010-07-09 | 2011-02-16 | 瑞声声学科技(深圳)有限公司 | 基于双麦克风语音增强装置及方法 |
JP2012048133A (ja) | 2010-08-30 | 2012-03-08 | Nippon Telegr & Teleph Corp <Ntt> | 残響除去方法とその装置とプログラム |
JP5594133B2 (ja) * | 2010-12-28 | 2014-09-24 | ソニー株式会社 | 音声信号処理装置、音声信号処理方法及びプログラム |
CN102347028A (zh) * | 2011-07-14 | 2012-02-08 | 瑞声声学科技(深圳)有限公司 | 双麦克风语音增强装置及方法 |
CN103067821B (zh) * | 2012-12-12 | 2015-03-11 | 歌尔声学股份有限公司 | 一种基于双麦克的语音混响消减方法和装置 |
CN203243506U (zh) * | 2012-12-12 | 2013-10-16 | 歌尔声学股份有限公司 | 一种基于双麦克的语音混响消减装置 |
CN103087821B (zh) | 2013-01-15 | 2016-09-07 | 武汉工业学院 | 一种保留谷维素的米糠油精炼方法 |
US9100762B2 (en) * | 2013-05-22 | 2015-08-04 | Gn Resound A/S | Hearing aid with improved localization |
-
2012
- 2012-12-12 CN CN201210536578.XA patent/CN103067821B/zh active Active
-
2013
- 2013-12-12 US US14/411,651 patent/US9414157B2/en active Active
- 2013-12-12 KR KR1020147036443A patent/KR101502297B1/ko active IP Right Grant
- 2013-12-12 EP EP13863250.0A patent/EP2858379B1/en active Active
- 2013-12-12 JP JP2015524601A patent/JP5785674B2/ja active Active
- 2013-12-12 WO PCT/CN2013/001557 patent/WO2014089914A1/zh active Application Filing
- 2013-12-12 DK DK13863250.0T patent/DK2858379T3/en active
Also Published As
Publication number | Publication date |
---|---|
DK2858379T3 (en) | 2019-01-21 |
EP2858379A1 (en) | 2015-04-08 |
EP2858379A4 (en) | 2015-11-11 |
WO2014089914A1 (zh) | 2014-06-19 |
JP2015523609A (ja) | 2015-08-13 |
US9414157B2 (en) | 2016-08-09 |
KR20150008925A (ko) | 2015-01-23 |
CN103067821A (zh) | 2013-04-24 |
KR101502297B1 (ko) | 2015-03-12 |
CN103067821B (zh) | 2015-03-11 |
US20150189431A1 (en) | 2015-07-02 |
EP2858379B1 (en) | 2018-10-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5785674B2 (ja) | デュアルマイクに基づく音声残響低減方法及びその装置 | |
US8194880B2 (en) | System and method for utilizing omni-directional microphones for speech enhancement | |
US11245976B2 (en) | Earphone signal processing method and system, and earphone | |
KR101610656B1 (ko) | 널 프로세싱 노이즈 감산을 이용한 노이즈 억제 시스템 및 방법 | |
KR101449433B1 (ko) | 마이크로폰을 통해 입력된 사운드 신호로부터 잡음을제거하는 방법 및 장치 | |
US9210504B2 (en) | Processing audio signals | |
US8824693B2 (en) | Processing audio signals | |
US8654990B2 (en) | Multiple microphone based directional sound filter | |
US8812309B2 (en) | Methods and apparatus for suppressing ambient noise using multiple audio signals | |
KR101597752B1 (ko) | 잡음 추정 장치 및 방법과, 이를 이용한 잡음 감소 장치 | |
JP5479655B2 (ja) | 残留エコーを抑制するための方法及び装置 | |
US8462962B2 (en) | Sound processor, sound processing method and recording medium storing sound processing program | |
EP3008924A1 (en) | Method of signal processing in a hearing aid system and a hearing aid system | |
US8174935B2 (en) | Adaptive array control device, method and program, and adaptive array processing device, method and program using the same | |
WO2003017718A1 (en) | Post-processing scheme for adaptive directional microphone system with noise/interference suppression | |
TWI465121B (zh) | 利用全方向麥克風改善通話的系統及方法 | |
US20190035382A1 (en) | Adaptive post filtering | |
KR102517939B1 (ko) | 원거리 장 사운드 캡처링 | |
WO2018229821A1 (ja) | 信号処理装置、遠隔会議装置、および信号処理方法 | |
JP4209348B2 (ja) | エコー抑圧方法、この方法を実施する装置、プログラムおよび記録媒体 | |
WO2023276424A1 (ja) | ハウリング抑圧装置、ハウリング抑圧方法及びハウリング抑圧プログラム | |
TW202331701A (zh) | 雙麥克風陣列回音消除方法、雙麥克風陣列回音消除裝置、電子設備、及非揮發性電腦可讀儲存媒體 | |
JP2021150959A (ja) | 聴覚装置および聴覚装置に関連する方法 | |
JP2019154030A (ja) | 補聴器の作動方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150130 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20150130 |
|
TRDD | Decision of grant or rejection written | ||
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20150630 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150707 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150724 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5785674 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R370 | Written measure of declining of transfer procedure |
Free format text: JAPANESE INTERMEDIATE CODE: R370 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |