JP5516169B2 - 音響処理装置およびプログラム - Google Patents
音響処理装置およびプログラム Download PDFInfo
- Publication number
- JP5516169B2 JP5516169B2 JP2010159543A JP2010159543A JP5516169B2 JP 5516169 B2 JP5516169 B2 JP 5516169B2 JP 2010159543 A JP2010159543 A JP 2010159543A JP 2010159543 A JP2010159543 A JP 2010159543A JP 5516169 B2 JP5516169 B2 JP 5516169B2
- Authority
- JP
- Japan
- Prior art keywords
- noise
- component
- acoustic signal
- matrix
- coefficient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Circuit For Audible Band Transducer (AREA)
- Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
Description
さらに好適な態様において、周波数推定手段は、目的音抽出手段が生成した推定目的音成分の基本周波数を推定する。以上の態様においては、雑音成分が抑圧された推定目的音成分について基本周波数が推定されるから、雑音成分が混在した状態で基本周波数を推定する場合と比較して目的音成分の基本周波数を高精度に推定できるという利点がある。ただし、目的音成分と雑音成分とが混在した第1音響信号または第2音響信号を対象として目的音成分の基本周波数を推定する方法も採用され得る。なお、基本周波数の推定の方法(例えば周波数領域での処理か時間領域での処理か)は任意である。
図1は、本発明の第1実施形態に係る音響処理装置100のブロック図である。図1に示すように、音響処理装置100には信号供給装置12と放音装置14とが接続される。信号供給装置12は、相異なる位置で並列(同時)に収音されたステレオ形式の音響信号s1および音響信号s2を音響処理装置100に供給する。各音響信号si(i=1,2)は、目的音成分と雑音成分との混合音の音圧波形を表す時間領域信号である。図1では、相互に離間して配置された複数の収音機器122(例えば無指向性のマイクロホン)が信号供給装置12として例示されている。ただし、可搬型または内蔵型の記録媒体から各音響信号siを取得して音響処理装置100に供給する再生装置や、各音響信号siを通信網から受信して音響処理装置100に供給する通信装置を、信号供給装置12として採用することも可能である。
gTi[mA,nA]=vTi[mA,nA]/v[mA,nA] ……(A)
gNi[mA,nA]=vNi[mA,nA]/v[mA,nA] ……(B)
次に、本発明の第2実施形態について説明する。なお、以下の各例示において作用や機能が第1実施形態と同等である要素については、以上の説明で参照した符号を流用して各々の詳細な説明を適宜に省略する。
第3実施形態の音響処理装置100は、図11に示すように第2処理部32に調整部65を追加した構成である。調整部65は、推定雑音信号qNiのスペクトルSNiの強度(パワー)を減少させる増幅器(例えば1未満の数値を乗算する乗算器)である。目的音合成部66は、第1実施形態と同様のスペクトルZi(帯域BLb)およびスペクトルRiと、調整部65による処理後(減衰後)のスペクトルSNiとの合成で単位期間毎に順次にスペクトルZRiを生成する。すなわち、音響信号siの雑音成分が低音量で再生音に付加される。
第1実施形態では、基底行列Wiと係数行列Hiとから生成した目的音係数列GTiを目的音抽出部52が観測行列Viに作用させることでスペクトルYTiの時系列を生成し、雑音係数列GNiを雑音抽出部54が観測行列Viに作用させることでスペクトルYNiの時系列を生成した。第4実施形態は、目的音抽出部52や雑音抽出部54の動作を簡略化した形態である。
以上の各形態には多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された2以上の態様は適宜に併合され得る。
以上の各形態では、推定目的音信号qTiのスペクトルZiから音響信号siの目的音成分の基本周波数Fi[nB]を推定したが、基本周波数Fi[nB]の推定の方法は任意である。例えば、推定目的音信号qTiの基本周波数Fi[nB]を時間領域の処理(例えば自己相関関数を利用した方法)で推定することも可能である。また、目的音成分の抽出前の音響信号si(またはスペクトルXi)の解析で基本周波数Fi[nB]を推定する構成も採用され得る。ただし、雑音成分が混在している段階では基本周波数Fi[nB]の推定の精度が低下するから、基本周波数Fi[nB]の高精度な推定という観点からは、雑音成分の抑圧後に基本周波数Fi[nB]を推定する第1実施形態の構成が有利である。
目的音成分と雑音成分との分離(第1処理部31)や残留成分の抽出(第2処理部32)の対象を低域側の帯域(BLa,BLb)に限定する構成は省略され得る。例えば、音響信号siの全帯域を行列分解部44や雑音特定部46による処理の対象とした構成も採用され得る。ただし、風雑音の強度は高域側の帯域(例えば帯域BHa)で低下するから、音響信号siの帯域分割を省略した構成では、風雑音の独立した基底Ci[k]を非負行列因子分解で高精度に抽出することが困難となる。したがって、抑圧の対象となる雑音成分の周波数帯域が事前に判明している場合には、雑音成分を包含する周波数帯域(帯域BLa)のみを行列分解部44や雑音特定部46による処理の対象とした前述の構成が格別に好適である。
以上の各形態では、音響信号siの解析期間T0毎に目的音係数列GTiおよび雑音係数列GNiを生成したが、解析期間T0の区切は省略される。例えば、音響信号siの全区間にわたる単位期間毎のスペクトルXiの時系列を1個の観測行列Viとした構成も採用され得る。
以上の各形態では、目的音係数列GTiの各係数値gTi[mA,nA]を音響信号siの各成分値xi[mA,nA]に乗算することで推定目的音信号qTiを生成したが、目的音係数列GTiを音響信号siに作用させる方法は適宜に変更される。例えば、音響信号siの各成分値xi[mA,nA]に係数値gTi[mA,nA]を加算する構成も採用され得る。また、以上の各形態での例示とは反対に、風雑音が優勢であるほど係数値gTi[mA,nA]が大きい数値となるように目的音係数列GTiを生成する構成では、成分値xi[mA,nB]を係数値gTi[mA,nA]で除算または減算する構成が採用され得る。雑音成分の強調用の雑音係数列GNiについても同様に、音響信号siに対する適用の方法や風雑音の優劣との関係は適宜に変更される。
以上の各形態では、2系統の音響信号qi(q1,q2)を生成したが、1系統(モノラル形式)の音響信号q1のみを生成する場合にも以上の各形態が同様に適用され得る。例えば、音響信号s1に対応する1系統のみを対象として目的音成分と雑音成分との分離や残留成分の抽出および付加が実行される。以上の構成では、音響信号s1の基底行列W1から雑音基底C1_noiseを特定するために音響信号s2が利用される。
演算処理装置22の処理は、音響信号siの供給に並行して実時間的に実行され、処理毎に逐次的に音響信号qiが再生され得る。ただし、事前に用意された音響信号siに対する処理が完了してから音響信号qiの再生を開始する構成(バッチ処理)も好適である。
Claims (6)
- 並列に収音された第1音響信号および第2音響信号の各々について、当該音響信号の周波数毎の成分値の時系列を要素とする観測行列の非負行列因子分解で、当該音響信号の相異なる成分の周波数毎の成分値を示す複数の基底を含む基底行列と、当該各基底の重み値の時系列を各々が示す複数の重み系列を含む係数行列とを生成する行列分解手段と、
前記第1音響信号の前記基底行列の前記複数の基底のうち前記第2音響信号の前記基底行列の基底との相関が高い基底を、前記第1音響信号の雑音成分に対応する雑音基底として特定する雑音特定手段と、
前記第1音響信号から前記雑音成分を抑圧した推定目的音成分を前記基底行列のうち前記雑音基底以外の各基底と前記係数行列のうち前記雑音基底以外に対応する各重み系列とを利用して生成する目的音抽出手段と、
前記第1音響信号から目的音成分を抑圧した推定雑音成分を前記雑音基底と前記係数行列のうち当該雑音基底に対応する重み系列とを利用して生成する雑音抽出手段と、
前記目的音成分の調波構造に対応する残留成分を前記推定雑音成分から抽出する調波成分抽出手段と、
前記推定目的音成分と前記残留成分とを合成する目的音合成手段と
を具備する音響処理装置。 - 前記調波成分抽出手段は、
前記目的音成分の基本周波数を推定する周波数推定手段と、
前記推定雑音成分のうち前記基本周波数の整数倍の周波数の調波成分が強調されるように各係数値が設定された調波係数列を生成する調波係数列生成手段と、
前記調波係数列を前記推定雑音成分に作用させて前記残留成分を抽出する調波抽出手段とを含む
請求項1の音響処理装置。 - 前記周波数推定手段は、前記目的音抽出手段が生成した前記推定目的音成分の基本周波数を推定する
請求項2の音響処理装置。 - 前記第1音響信号および前記第2音響信号の単位区間毎のスペクトルの時系列を、各単位区間の窓幅と移動量とを含む第1解析パラメータのもとで前記観測行列として生成する第1周波数分析手段と、
前記第1解析パラメータとは相違する窓幅と移動量とを含む第2解析パラメータのもとで前記推定目的音成分および前記推定雑音成分のスペクトルを単位区間毎に順次に生成する第2周波数分析手段と、
前記第2解析パラメータに応じた間隔で時間軸上および周波数軸上に配列する解析点毎に係数値が設定された補正係数列を生成する係数列補正手段とを具備し、
前記雑音抽出手段は、前記第1解析パラメータに応じた間隔で時間軸上および周波数軸上に配列する解析点毎に係数値が設定された雑音係数列を、前記雑音基底と当該雑音基底に対応する重み系列とを利用して生成し、前記雑音係数列を前記観測行列に作用させて前記推定雑音成分を生成し、
前記係数列補正手段は、前記雑音係数列から前記補正係数列を生成し、
前記調波係数列生成手段は、前記補正係数列から前記基本周波数の整数倍の周波数の成分を抽出して前記調波係数列を生成する
請求項2または請求項3の音響処理装置。 - 前記第1音響信号と前記第2音響信号との位相差を算定する位相差算定手段と、
前記第1音響信号と前記第2音響信号との強度差を算定する強度差算定手段とを具備し、
前記目的音抽出手段は、前記第1音響信号と前記第2音響信号との位相差および強度差に応じて各係数値が可変に設定された目的音係数列を、前記基底行列のうち前記雑音基底以外の各基底と前記係数行列のうち前記雑音基底以外に対応する重み系列とから生成して前記観測行列に作用させ、
前記雑音抽出手段は、前記第1音響信号と前記第2音響信号との位相差および強度差に応じて各係数値が可変に設定された雑音係数列を、前記雑音基底と当該雑音基底に対応する重み系列とから生成して前記観測行列に作用させる
請求項4の音響処理装置。 - 並列に収音された第1音響信号および第2音響信号の各々について、当該音響信号の周波数毎の成分値の時系列を要素とする観測行列の非負行列因子分解で、当該音響信号の相異なる成分の周波数毎の成分値を示す複数の基底を含む基底行列と、当該各基底の重み値の時系列を各々が示す複数の重み系列を含む係数行列とを生成する行列分解処理と、
前記第1音響信号の前記基底行列の前記複数の基底のうち前記第2音響信号の前記基底行列の基底との相関が高い基底を、前記第1音響信号の雑音成分に対応する雑音基底として特定する雑音特定処理と、
前記第1音響信号から前記雑音成分を抑圧した推定目的音成分を前記基底行列のうち前記雑音基底以外の各基底と前記係数行列のうち前記雑音基底以外に対応する各重み系列とを利用して生成する目的音抽出処理と、
前記第1音響信号から目的音成分を抑圧した推定雑音成分を前記雑音基底と前記係数行列のうち当該雑音基底に対応する重み系列とを利用して生成する雑音抽出処理と、
前記目的音成分の調波構造に対応する残留成分を前記推定雑音成分から抽出する調波成分抽出処理と、
前記推定目的音成分と前記残留成分とを合成する目的音合成処理と
をコンピュータに実行させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010159543A JP5516169B2 (ja) | 2010-07-14 | 2010-07-14 | 音響処理装置およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010159543A JP5516169B2 (ja) | 2010-07-14 | 2010-07-14 | 音響処理装置およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012022120A JP2012022120A (ja) | 2012-02-02 |
JP5516169B2 true JP5516169B2 (ja) | 2014-06-11 |
Family
ID=45776455
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010159543A Expired - Fee Related JP5516169B2 (ja) | 2010-07-14 | 2010-07-14 | 音響処理装置およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5516169B2 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013160735A1 (en) * | 2012-04-27 | 2013-10-31 | Sony Mobile Communications Ab | Noise suppression based on correlation of sound in a microphone array |
JP6174856B2 (ja) | 2012-12-27 | 2017-08-02 | キヤノン株式会社 | 雑音抑制装置、その制御方法、及びプログラム |
US9384553B2 (en) * | 2013-04-03 | 2016-07-05 | Mitsubishi Electric Research Laboratories, Inc. | Method for factorizing images of a scene into basis images |
JP2015118361A (ja) * | 2013-11-15 | 2015-06-25 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
JP6371516B2 (ja) | 2013-11-15 | 2018-08-08 | キヤノン株式会社 | 音響信号処理装置および方法 |
JP6482173B2 (ja) * | 2014-01-20 | 2019-03-13 | キヤノン株式会社 | 音響信号処理装置およびその方法 |
JP6274872B2 (ja) * | 2014-01-21 | 2018-02-07 | キヤノン株式会社 | 音処理装置、音処理方法 |
US10515650B2 (en) | 2015-06-30 | 2019-12-24 | Nec Corporation | Signal processing apparatus, signal processing method, and signal processing program |
JP7443823B2 (ja) * | 2020-02-28 | 2024-03-06 | ヤマハ株式会社 | 音響処理方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001124621A (ja) * | 1999-10-28 | 2001-05-11 | Matsushita Electric Ind Co Ltd | 風雑音低減可能な騒音計測装置 |
JP2006227152A (ja) * | 2005-02-16 | 2006-08-31 | Nippon Telegr & Teleph Corp <Ntt> | 計算装置およびその計算装置を利用した収音装置 |
JP4356670B2 (ja) * | 2005-09-12 | 2009-11-04 | ソニー株式会社 | 雑音低減装置及び雑音低減方法並びに雑音低減プログラムとその電子機器用収音装置 |
JP2008263483A (ja) * | 2007-04-13 | 2008-10-30 | Sanyo Electric Co Ltd | 風雑音低減装置、音響信号録音装置及び撮像装置 |
US8015003B2 (en) * | 2007-11-19 | 2011-09-06 | Mitsubishi Electric Research Laboratories, Inc. | Denoising acoustic signals using constrained non-negative matrix factorization |
JP5454330B2 (ja) * | 2010-04-23 | 2014-03-26 | ヤマハ株式会社 | 音響処理装置 |
-
2010
- 2010-07-14 JP JP2010159543A patent/JP5516169B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2012022120A (ja) | 2012-02-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5516169B2 (ja) | 音響処理装置およびプログラム | |
JP5124014B2 (ja) | 信号強調装置、その方法、プログラム及び記録媒体 | |
WO2014021318A1 (ja) | 音声分析合成のためのスペクトル包絡及び群遅延の推定システム及び音声信号の合成システム | |
US20080228470A1 (en) | Signal separating device, signal separating method, and computer program | |
Kim et al. | Nonlinear enhancement of onset for robust speech recognition. | |
EP2946382B1 (en) | Vehicle engine sound extraction and reproduction | |
US8090119B2 (en) | Noise suppressing apparatus and program | |
JP6019969B2 (ja) | 音響処理装置 | |
JP5454330B2 (ja) | 音響処理装置 | |
JP5187666B2 (ja) | 雑音抑圧装置およびプログラム | |
JP5034735B2 (ja) | 音処理装置およびプログラム | |
US10297272B2 (en) | Signal processor | |
EP2640096A2 (en) | Sound processing apparatus | |
US9959852B2 (en) | Vehicle engine sound extraction | |
JP5942388B2 (ja) | 雑音抑圧用係数設定装置、雑音抑圧装置および雑音抑圧用係数設定方法 | |
CN117219102A (zh) | 一种基于听觉感知的低复杂度语音增强方法 | |
JP5387442B2 (ja) | 信号処理装置 | |
JP2798003B2 (ja) | 音声帯域拡大装置および音声帯域拡大方法 | |
Dreier et al. | Sound source modelling by nonnegative matrix factorization for virtual reality applications | |
US20130322644A1 (en) | Sound Processing Apparatus | |
JP5263020B2 (ja) | 信号処理装置 | |
JP5884473B2 (ja) | 音響処理装置および音響処理方法 | |
JP6790659B2 (ja) | 音響処理装置および音響処理方法 | |
JP2015169901A (ja) | 音響処理装置 | |
Kreutzer et al. | Time domain attack and release modeling-applied to spectral domain sound synthesis |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130520 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131128 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131217 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140207 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140304 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140317 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5516169 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |