JP2009025490A - 収音装置、収音方法、その方法を用いた収音プログラム、および記録媒体 - Google Patents
収音装置、収音方法、その方法を用いた収音プログラム、および記録媒体 Download PDFInfo
- Publication number
- JP2009025490A JP2009025490A JP2007187594A JP2007187594A JP2009025490A JP 2009025490 A JP2009025490 A JP 2009025490A JP 2007187594 A JP2007187594 A JP 2007187594A JP 2007187594 A JP2007187594 A JP 2007187594A JP 2009025490 A JP2009025490 A JP 2009025490A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- sound
- unit
- sound collection
- signal amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Circuit For Audible Band Transducer (AREA)
- Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
Abstract
【解決手段】本発明の収音装置は、6つ以上の収音部、処理対象信号生成部、パワースペクトル推定部、利得係数算出部、乗算部を備える。各収音部は、複数のマイクロホンを搭載して構成されるマイクロホンアレーの出力信号を利用して、それぞれ異なる領域の音を収音する。処理対象信号生成部は、あらかじめ定めた1つ以上のマイクロホンまたは収音部からの信号から、処理対象信号を生成する。パワースペクトル推定部は、各収音部で得られた各収音信号の信号量から、所望音源の信号量と、その他の音源の信号量とを周波数ごとに推定する。利得係数算出部は、所望音源の信号量、所望音源の信号量を含む全ての音源の信号量、処理対象信号から周波数ごとに利得係数を求める。乗算部は、利得係数算出部で算出した利得係数を前記処理対象信号に乗算する。
【選択図】図8
Description
日岡裕輔、小林和則、古家賢一、片岡章俊、"小型マイクロホンアレー対を用いた特定位置にある音源の強調"、日本音響学会2006年春季研究発表会講演論文集、pp.621-622、2006.
第6収音部4−6ではフィルタ処理部51と52の出力信号x’L(ML/2)(n)とx’R(MR/2)(n)を減算部54に入力する。減算部54では入力された信号を式(11)のように減算して、信号yNC(n)を出力する。したがって第6収音部4−6では、マイクロホンアレー3Lとマイクロホンアレー3Rの間の中間点から見て、所望音源1の方向以外で発せられる音のみを強調して収音する。
図6はパワースペクトル推定部7における処理の流れを示している。パワースペクトル推定部7に入力される周波数成分YSL(ω,l)、YNL(ω,l)、YSC(ω,l)、YNC(ω,l)、YSR(ω,l)、YNR(ω,l)はそれぞれパワー演算部61に入力され、信号のパワー値|YSL(ω,l)|2、|YNL(ω,l)|2、|YSC(ω,l)|2、|YNC(ω,l)|2、|YSR(ω,l)|2、|YNR(ω,l)|2が出力され、ベクトル化部62に入力される。ベクトル化部62では、入力された第1乃至第6収音部4−1〜4−6の各出力信号のパワー値を式(12)のようにベクトル形式でまとめた、パワーベクトルY(ω,l)を出力する。
図7は利得係数算出部8における処理の流れを示している。図6に示したパワースペクトル推定部7より入力された推定信号パワーベクトルXopt(ω,l)はベクトル要素抽出部81に入力される。ベクトル要素抽出部81では式(19)に示すように、入力された推定信号パワーベクトルの第1成分を推定信号パワー|S(ω,l)|2、第2成分を推定左方向雑音パワー|NL(ω,l)|2、第3成分を推定正面方向雑音パワー|NC(ω,l)|2、第4成分を推定右方向雑音パワー|NR(ω,l)|2としてそれぞれ出力し、それらはSN比推定部82に入力される。
図8に、本発明の第1実施形態の収音装置全体の構成例を示す。図2に示した特願2006−52502の収音装置全体の構成とは、利得係数算出部130と処理対象信号生成部140が異なる。図9は、第1実施形態の収音装置の処理フローを示す図である。
R(ω,l)=GS(ω,l)・GSNR(ω,l) (24)
その他の構成部の処理は、図2の収音装置と同じである。
図12に、本発明の第2実施形態の収音装置全体の構成例を示す。第1実施形態(図8)とは、各収音部4’−1〜4’−6、処理対象信号生成部140’、パワースペクトル推定部7’、利得係数算出部130’が異なる。以下では、第1実施形態と異なる構成部について説明する。第2実施形態の収音装置の処理フローは、図9に示す。
なお、第1実施形態で説明したように、除算部142’で割る数をいくつにしても、波形が同じなので、信号処理の観点からは等価である。つまり、4以外の値で除算しても、等価な処理である。
図17に利得係数算出部130’の機能構成例を示す。利得係数算出部130’は、ベクトル要素抽出部81’、第1ゲイン算出部131、第2ゲイン算出部132’、ゲイン乗算部133から構成される。ベクトル要素抽出部81’は、入力された推定信号パワーベクトルXopt(ω,l)を、推定信号パワー|S(ω,l)|2、推定左側方雑音パワー|NLL(ω,l)|2、推定左方向雑音パワー|NL(ω,l)|2、推定正面方向雑音パワー|NC(ω,l)|2、推定右方向雑音パワー|NR(ω,l)|2、推定右側方雑音パワー|NRR(ω,l)|2としてそれぞれ出力する。第1ゲイン算出部131は、推定信号パワー|S(ω,l)|2と処理対象信号YS(ω,l)から、第1ゲイン係数GS(ω,l)を次式のように計算し、出力する。
その他の構成部の処理は、第1実施形態の収音装置と同じである。
第2実施形態(図12)のパワースペクトル推定部の別の構成例(変形例)を図18に示す。パワースペクトル推定部7”は、パワー演算部61’、ベクトル化部62’、非負拘束最小二乗部63”から構成される。パワー演算部61’とベクトル化部62’は、第2実施形態のパワースペクトル推定部(図16)と同じである。非負拘束最小二乗部63”は、入力されたパワーベクトルY(ω,l)とゲイン行列Tが、式(46)に示すように推定信号パワーベクトルXopt(ω,l)が非負であるという拘束条件の下で、式(45)に示すように、Y(ω,l)とT・Xopt(ω,l)の二乗誤差が最小になる推定信号パワーベクトルXopt(ω,l)を求め、出力する。
subject to Xopt(ω,l)≧0 (46)
なお、この解を算出する方法としては、例えば、C. L. Lawson and R. J. Hanson, “Solving Least Squares Problems,” Prentice-Hall, 1974.に記載のNon-negative Least Square法が利用できる。Xopt(ω,l)の各成分は、信号のパワーなので必ず非負値をとるはずであるが、特願2006−52502や第1実施形態、第2実施形態の処理では、現実にはありえない負値が成分となることもあり得る。このような成分が含まれることは、雑音抑圧性能の低下の原因となる。本変形例の処理では、推定信号パワーベクトルXopt(ω,l)の各成分は、必ず非負値となるので、雑音抑圧特性を向上できる。
図19に、本発明の第3実施形態の収音装置全体の構成例を示す。第2実施形態(図12)とは、パワースペクトル推定部110、残響スペクトル推定部120が異なる。また、図20に第3実施形態の収音装置全体の処理フローの例を示す。パワースペクトルの推定結果から残響スペクトルを推定し、フィードバック(減算)する点が、第1実施形態や第2実施形態と異なる。以下では、第2実施形態と異なる構成部について説明する。
乗算部63’、擬似逆行列演算部64’も第2実施形態のパワースペクトル推定部7’(図16)と同じである。擬似逆行列演算部64’には式(36)により定義されるゲイン行列Tが入力され、その擬似逆行列T+を出力する。乗算部63’は、式(48)に示すように残響が減算された信号Y’(ω,l)に擬似逆行列T+を乗算し、推定信号パワーベクトルXopt(ω,l)を出力する。
図22に、残響スペクトル推定部120の機能構成例を示す。残響スペクトル推定部120は、ゲイン行列乗算部125と重み付き加算部126から構成される。ゲイン行列乗算部125は、所望音源の信号量とその他の音源の信号量Xopt(ω,l)を、収音部ごとの信号量Zest(ω,l)に変換する。ゲイン行列T’は、残響成分に対する各収音部の指向特性のゲインで、例えば次式とすればよい。
次に第3実施形態の収音装置での実験結果を示す。図25は実験環境を示す図である。それぞれのマイクロホンアレーには、4つのマイクロホンが直線状に4cmの等間隔で配置されている。座標の単位はメートルであり、(0.4,0)と(−0.4,0)にそれぞれの中心が位置している。所望音源(対象話者の位置)が(0,0.5)にある。そして、3つの異なる背景雑音源(その他の話者の位置)が(−1.6,2.5)、(1.6,1.0)、(0.0,2.5)に配置されている。
Claims (10)
- 複数のマイクロホンを搭載して構成されるマイクロホンアレーの出力信号を利用して、それぞれ異なる領域の音を収音する6つ以上の収音部と、
あらかじめ定めた1つ以上の前記マイクロホンまたは前記収音部からの信号から、処理対象信号を生成する処理対象信号生成部と、
前記各収音部で得られた各収音信号の信号量から、所望音源の信号量と、その他の音源の信号量とを周波数ごとに推定するパワースペクトル推定部と、
前記所望音源の信号量、所望音源の信号量を含む全ての音源の信号量、および前記処理対象信号から周波数ごとに利得係数を求める利得係数算出部と、
前記利得係数算出部で算出した利得係数を前記処理対象信号に乗算する乗算部と、
を備える収音装置。 - 請求項1または2記載の収音装置であって、
前記パワースペクトル推定部は、
前記各収音部で得られた各収音信号の信号のパワーベクトルをY(ω,l)、推定信号パワーベクトルをXopt(ω,l)とするときに
あらかじめ定められたゲイン行列Tを用いて、
Xopt(ω,l)の各成分が非負である、かつ、
‖Y(ω,l)−T・Xopt(ω,l)‖2が最小である
ことを満足する推定信号パワーベクトルをXopt(ω,l)を求める
ことを特徴とする収音装置。 - 請求項1から3のいずれかに記載の収音装置であって、
前記パワースペクトル推定部が推定した所望音源の信号量とその他の音源の信号量から、残響音の信号量を周波数ごとに求める残響スペクトル推定部も備え、
前記パワースペクトル推定部は、
前記各収音部で得られた各収音信号と残響音の信号量から、残響信号を除去した所望音源の信号量と、その他の音源の信号量とを周波数ごとに推定する
ことを特徴とする収音装置。 - 複数のマイクロホンを搭載して構成されるマイクロホンアレーの出力信号を利用して、それぞれ異なる6つ以上の領域の音を収音する収音ステップと、
あらかじめ定めた1つ以上の前記マイクロホンからの信号または前記収音ステップで収音した信号から、処理対象信号を生成する処理対象信号生成ステップと、
前記各収音ステップで得た各収音信号の信号量から、所望音源の信号量と、その他の音源の信号量とを周波数ごとに推定するパワースペクトル推定ステップと、
前記所望音源の信号量、所望音源の信号量を含む全ての音源の信号量、および前記処理対象信号から周波数ごとに利得係数を求める利得係数算出ステップと、
前記利得係数算出ステップで算出した利得係数を前記処理対象信号に乗算する乗算ステップと、
を有する収音方法。 - 請求項5または6記載の収音方法であって、
前記パワースペクトル推定ステップは、
前記各収音ステップで得た各収音信号の信号のパワーベクトルをY(ω,l)、推定信号パワーベクトルをXopt(ω,l)とするときに
あらかじめ定められたゲイン行列Tを用いて、
Xopt(ω,l)の各成分が非負である、かつ、
‖Y(ω,l)−T・Xopt(ω,l)‖2が最小である
ことを満足する推定信号パワーベクトルをXopt(ω,l)を求める
ことを特徴とする収音方法。 - 請求項5から7のいずれかに記載の収音方法であって、
前記パワースペクトル推定ステップが推定した所望音源の信号量とその他の音源の信号量から、残響音の信号量を周波数ごとに求める残響スペクトル推定ステップも備え、
前記パワースペクトル推定ステップは、
前記各収音ステップで得られた各収音信号と残響音の信号量から、残響信号を除去した所望音源の信号量と、その他の音源の信号量とを周波数ごとに推定する
ことを特徴とする収音方法。 - 請求項1から4のいずれかに記載の収音装置として、コンピュータを動作させる収音プログラム。
- 請求項9記載の収音プログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007187594A JP4928376B2 (ja) | 2007-07-18 | 2007-07-18 | 収音装置、収音方法、その方法を用いた収音プログラム、および記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007187594A JP4928376B2 (ja) | 2007-07-18 | 2007-07-18 | 収音装置、収音方法、その方法を用いた収音プログラム、および記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009025490A true JP2009025490A (ja) | 2009-02-05 |
JP4928376B2 JP4928376B2 (ja) | 2012-05-09 |
Family
ID=40397357
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007187594A Expired - Fee Related JP4928376B2 (ja) | 2007-07-18 | 2007-07-18 | 収音装置、収音方法、その方法を用いた収音プログラム、および記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4928376B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102194464A (zh) * | 2010-03-16 | 2011-09-21 | 索尼公司 | 声音处理设备、声音处理方法和程序 |
WO2015159731A1 (ja) * | 2014-04-16 | 2015-10-22 | ソニー株式会社 | 音場再現装置および方法、並びにプログラム |
JP2017022468A (ja) * | 2015-07-07 | 2017-01-26 | 沖電気工業株式会社 | 収音装置、プログラム及び方法 |
JP2019057901A (ja) * | 2017-09-22 | 2019-04-11 | 沖電気工業株式会社 | 機器制御装置、機器制御プログラム、機器制御方法、対話装置、及びコミュニケーションシステム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006066988A (ja) * | 2004-08-24 | 2006-03-09 | Nippon Telegr & Teleph Corp <Ntt> | 収音方法、収音装置、収音プログラム、およびこれを記録した記録媒体 |
WO2006046293A1 (ja) * | 2004-10-28 | 2006-05-04 | Fujitsu Limited | 雑音抑圧装置 |
WO2007052604A1 (ja) * | 2005-11-01 | 2007-05-10 | Matsushita Electric Industrial Co., Ltd. | 収音装置 |
JP2007336232A (ja) * | 2006-06-15 | 2007-12-27 | Nippon Telegr & Teleph Corp <Ntt> | 特定方向収音装置、特定方向収音プログラム、記録媒体 |
JP2009005261A (ja) * | 2007-06-25 | 2009-01-08 | Nippon Telegr & Teleph Corp <Ntt> | 収音装置、収音方法、その方法を用いた収音プログラム、および記録媒体 |
-
2007
- 2007-07-18 JP JP2007187594A patent/JP4928376B2/ja not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006066988A (ja) * | 2004-08-24 | 2006-03-09 | Nippon Telegr & Teleph Corp <Ntt> | 収音方法、収音装置、収音プログラム、およびこれを記録した記録媒体 |
WO2006046293A1 (ja) * | 2004-10-28 | 2006-05-04 | Fujitsu Limited | 雑音抑圧装置 |
WO2007052604A1 (ja) * | 2005-11-01 | 2007-05-10 | Matsushita Electric Industrial Co., Ltd. | 収音装置 |
JP2007336232A (ja) * | 2006-06-15 | 2007-12-27 | Nippon Telegr & Teleph Corp <Ntt> | 特定方向収音装置、特定方向収音プログラム、記録媒体 |
JP2009005261A (ja) * | 2007-06-25 | 2009-01-08 | Nippon Telegr & Teleph Corp <Ntt> | 収音装置、収音方法、その方法を用いた収音プログラム、および記録媒体 |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102194464A (zh) * | 2010-03-16 | 2011-09-21 | 索尼公司 | 声音处理设备、声音处理方法和程序 |
JP2011191669A (ja) * | 2010-03-16 | 2011-09-29 | Sony Corp | 音声処理装置、音声処理方法およびプログラム |
WO2015159731A1 (ja) * | 2014-04-16 | 2015-10-22 | ソニー株式会社 | 音場再現装置および方法、並びにプログラム |
CN106165444A (zh) * | 2014-04-16 | 2016-11-23 | 索尼公司 | 声场再现设备、方法和程序 |
JPWO2015159731A1 (ja) * | 2014-04-16 | 2017-04-13 | ソニー株式会社 | 音場再現装置および方法、並びにプログラム |
EP3133833A4 (en) * | 2014-04-16 | 2017-12-13 | Sony Corporation | Sound field reproduction apparatus, method and program |
CN106165444B (zh) * | 2014-04-16 | 2019-09-17 | 索尼公司 | 声场再现设备、方法和程序 |
US10477309B2 (en) | 2014-04-16 | 2019-11-12 | Sony Corporation | Sound field reproduction device, sound field reproduction method, and program |
JP2017022468A (ja) * | 2015-07-07 | 2017-01-26 | 沖電気工業株式会社 | 収音装置、プログラム及び方法 |
JP2019057901A (ja) * | 2017-09-22 | 2019-04-11 | 沖電気工業株式会社 | 機器制御装置、機器制御プログラム、機器制御方法、対話装置、及びコミュニケーションシステム |
Also Published As
Publication number | Publication date |
---|---|
JP4928376B2 (ja) | 2012-05-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5641186B2 (ja) | 雑音抑圧装置およびプログラム | |
JP3863306B2 (ja) | マイクロホンアレイ装置 | |
US20110286609A1 (en) | Multiple microphone based directional sound filter | |
JP5079761B2 (ja) | 直間比推定装置、音源距離測定装置、雑音除去装置、各装置の方法と、装置プログラム | |
JP4724054B2 (ja) | 特定方向収音装置、特定方向収音プログラム、記録媒体 | |
WO2012014451A1 (ja) | 多入力雑音抑圧装置、多入力雑音抑圧方法、プログラムおよび集積回路 | |
JP5530741B2 (ja) | 残響抑圧装置及び残響抑圧方法 | |
JP5060465B2 (ja) | 収音装置、収音方法、収音プログラム、記録媒体 | |
JP5785674B2 (ja) | デュアルマイクに基づく音声残響低減方法及びその装置 | |
JP4928376B2 (ja) | 収音装置、収音方法、その方法を用いた収音プログラム、および記録媒体 | |
JP4473829B2 (ja) | 収音装置、プログラム及びこれを記録した記録媒体 | |
JP4886616B2 (ja) | 収音装置、収音方法、その方法を用いた収音プログラム、および記録媒体 | |
JP4928382B2 (ja) | 特定方向収音装置、特定方向収音方法、特定方向収音プログラム、記録媒体 | |
JP4787727B2 (ja) | 音声収音装置、その方法、そのプログラム、およびその記録媒体 | |
JP5294603B2 (ja) | 音響信号推定装置、音響信号合成装置、音響信号推定合成装置、音響信号推定方法、音響信号合成方法、音響信号推定合成方法、これらの方法を用いたプログラム、及び記録媒体 | |
JP2011119898A (ja) | 音声取得装置、音声取得方法、音声取得プログラム | |
JP2015019185A (ja) | 音声スイッチ装置、音声スイッチ方法、及びそのプログラム | |
JP5635024B2 (ja) | 音響信号強調装置、遠近判定装置、それらの方法、及びプログラム | |
JP2004078021A (ja) | 収音方法、収音装置、および収音プログラム | |
JP5937451B2 (ja) | エコー消去装置、エコー消去方法及びプログラム | |
JP5698166B2 (ja) | 音源距離推定装置、直間比推定装置、雑音除去装置、それらの方法、及びプログラム | |
JP5105336B2 (ja) | 音源分離装置、プログラム及び方法 | |
JP5826712B2 (ja) | マルチチャネルエコー消去装置、マルチチャネルエコー消去方法、およびプログラム | |
JP2005062096A (ja) | 話者位置検出方法、装置、プログラム、および記録媒体 | |
JP5713933B2 (ja) | 音源距離測定装置、音響直間比推定装置、雑音除去装置、それらの方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090729 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20110810 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111115 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120105 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120131 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120210 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150217 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4928376 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |