JP7266433B2 - 音源定位装置、音源定位方法、およびプログラム - Google Patents
音源定位装置、音源定位方法、およびプログラム Download PDFInfo
- Publication number
- JP7266433B2 JP7266433B2 JP2019048404A JP2019048404A JP7266433B2 JP 7266433 B2 JP7266433 B2 JP 7266433B2 JP 2019048404 A JP2019048404 A JP 2019048404A JP 2019048404 A JP2019048404 A JP 2019048404A JP 7266433 B2 JP7266433 B2 JP 7266433B2
- Authority
- JP
- Japan
- Prior art keywords
- sound source
- source localization
- sound
- microphones
- angle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
- H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
- H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
- H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/05—Application of the precedence or Haas effect, i.e. the effect of first wavefront, in order to improve sound-source localisation
Landscapes
- Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- General Health & Medical Sciences (AREA)
- Circuit For Audible Band Transducer (AREA)
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
Description
また、上述した(4)によれば、(M+K)(2N+1)が(M×K)未満のNを選択するため、ステアリングベクトルの演算量を従来より低減することができる。
また、上述した(5)によれば、角度θを離散化せずに直接出力が最大となるθを多項式の解として求められることができる。また、上述した(5)によれば、Nが小さいときには比較的早く計算でき誤差も小さい。
図1は、本実施形態に係る音処理装置1の構成例を示すブロック図である。図1に示すように、音処理装置1は、取得部101、音源定位部102、ステアリングベクトル記憶部103、音源分離部104、発話区間検出部105、特徴量抽出部106、音響モデル記憶部107、音源同定部108、および認識結果出力部109を備える。音源定位部102は、ステアリングベクトル算出部1021、およびテーブル記憶部1022を備える。
また、音処理装置1には、収音部2が有線または無線で接続されている。
次に、ビームフォーミング法による処理例の概要を説明する。図2は、従来技術におけるビームフォーミングにおける演算回数を説明するための図である。なお、図2では、添え字を一部省略している。
取得部101が周波数領域に変換した観測信号Xmは、次式(1)のように表される。
水平方向一次元における音源定位の場合のビームフォーミング法では、離散化した角度をθk(k=1,2,3,…,K)毎に、ビームフォーミングの出力値Ykを次式(3)で計算する。なお、以下の説明では、インデックスiを省略して説明する。
次に、本実施形態による音源定位における演算方法を説明する。なお、以下の説明においても(ω)の記述を省略する。
本実施形態では、ステアリングベクトル算出部1021が、各マイクロホン21についてのステアリング係数(ビームフォーミング係数)Gm(θk)を、次式(8)のようにN次の複素フーリエ係数でモデル化する。
ここで、例として、入射角度θのみを変数とする1次元のステアリング係数G(θk)に対し、式(8)で与えられる複素振幅モデルを導入した場合の係数(Cn(ω))の決定方法について説明する。なお以下の説明では、簡略化のためωを省略しCnと記述する。
実測した伝達関数の数をL、その時の入射角度θl(l=1,2,3,…,L)とすると次式(9)の連立方程式が得られる。
式(8)、(16)は、行列・ベクトルで次式(17)のように表される。
フーリエモデルで計算する場合、ビームフォーミング出力Ykは、Yk=Gx=SCx=S(Cx)のように表すことができる。
Sは、式(17)のように、K行、2N+1列の行列であり、K(2N+1)回の乗算が必要である。また、Cは、式(17)のように、2N+1行、M列の行列であり、(2N+1)M回の乗算が必要である。このため、式(17)の乗算回数の合計は、(M+K)(2N+1)回である。
なお、exp(inθk)自体の計算は、予めテーブルを用意することで参照のみの処理となるため、計算回数から除外した。このexp(inθk)のテーブルは、テーブル記憶部1022があらかじめ記憶している。
例えば,マイクロホン数M=32、離散化角度数K=72、複素フーリエモデル次数N=5の場合の演算回数は、1144(=(2N+1)(M+K)=11*104)回である。上述したように、通常の演算回数は2304回であるので、約半分の乗算回数で計算できる。
次に、従来技術と本実施形態の演算回数の比較例を説明する。
図3は、従来技術の演算回数例を示す図である。横の第1軸がマイクロホン数Mであり、横の第2軸が離散化角度数Kであり、縦軸が乗算回数である。図3に示すように、マイクロホン数M=100、離散化角度数Kが400の場合、乗算回数は約4×104回である。
図5に示すように、マイクロホン数M=100、離散化角度数Kが400、複素フーリエモデル次数Nが10次の場合、乗算回数は約1×104回である。従来技術のM×K回と比較して、乗算回数が1/4に低減されている。
図7に示すように、マイクロホン数M=100、離散化角度数Kが400、複素フーリエモデル次数Nが40次の場合、乗算回数は約4×104回である。この場合の演算回数は、従来技術のM×K回と同等である。なお、複素フーリエモデル次数N=40は、離散角度Mを81点もつのと同じ細かさでモデル化することに相当する。
次に、本実施形態におけるマイクロホン数と乗算回数の関係を説明する。
図8~図10は、本実施形態におけるマイクロホン数と乗算回数の関係を示す図である。図8は、本実施形態に係るマイクロホン数Mが8個の場合の演算回数を示す図である。図9は、本実施形態に係るマイクロホン数Mが32個の場合の演算回数を示す図である。図10は、本実施形態に係るマイクロホン数Mが128個の場合の演算回数を示す図である。図8~図10において、横軸は離散化角度数Kであり、縦軸が演算回数である。また、符号g11は従来技におけるMN回の演算回数である。符号g21は複素フーリエモデル次数Nが5であり、符号g22は複素フーリエモデル次数Nが10であり、符号g23は複素フーリエモデル次数Nが20である。
図8~図10に示すように、マイクロホン数Mと離散化角度数Kが大きく、複素フーリエモデル次数Nが小さい場合に演算回数が従来技術のMN回と比較して低減することができる。
次に、音処理装置1の処理手順例を説明する。
図11は、本実施形態に係る音処理装置1の処理のフローチャートである。
ここで、予め測定した伝達関数が30度毎であったとする。
例えば、特開2010-171785号公報(以下、特許文献2という)には、少ない数の限られた方向の伝達関数から、中間的な方向の伝達関数を補間により求める手法が開示されている。しかしながら、特許文献2に記載の技術では、元の測定した伝達関数が、全周を整数で等分した角度に限定される。また、特許文献2に記載の技術では、補間で算出できる伝達関数の角度も実測した角度間隔の整数倍でとなる必要がある。そのため、特許文献2に記載の技術では、任意の中間的な角度の伝達関数値を補間で求めることができなかった。
これに対し、各マイクロホン21についてのステアリング係数Gm(θk)をN次の複素フーリエ係数でモデル化すると、任意の角度θについて,その出力Y(θ)を次式(20)のように表すことができる。
|Y(θ)|2=Y*(θ)Y(θ)であるので、式(22)は、次式(23)のように表される。
なお、式(24)は、4N次の方程式であるため、N(次数)が小さい場合に比較的高速に計算でき、誤差も少ない。
Claims (7)
- 2つ以上のマイクロホンを有する収音部と、
前記マイクロホンそれぞれが收音した音信号を周波数領域に変換し、変換した周波数領域の音信号に対して、所定の角度毎に音源を移動させた場合の前記マイクロホン毎のステアリングベクトルをN(Nは1以上の整数)次のフーリエ級数展開でモデル化して、モデル化した前記ステアリングベクトルを用いて任意の角度についてのビームフォーミング出力をY(θ)と表し、|Y(θ)|2 が最大となる角度θが満たす式の方程式の解を求めることで|Y(θ)|2が最大となる角度θを求めることにより、音源の定位を行う音源定位部、
を備える音源定位装置。 - 前記音源定位部は、
K行(2N+1)列の前記フーリエ基底関数の行列に、(2N+1)行M列の前記フーリエ係数の行列を乗じることで、前記ステアリング係数Gm(θk)を成分とするK行M列の行列を算出する、請求項2に記載の音源定位装置。 - 前記音源定位部は、
(M+K)(2N+1)が(M×K)未満のNを選択する、請求項2または請求項3に記載の音源定位装置。 - 2つ以上のマイクロホンを有する収音部を有する音源定位装置における音源定位方法であって、
音源定位部が、前記マイクロホンそれぞれが收音した音信号を周波数領域に変換し、変換した周波数領域の音信号に対して、所定の角度毎に音源を移動させた場合の前記マイクロホン毎のステアリングベクトルをN(Nは1以上の整数)次のフーリエ級数展開でモデル化して、モデル化した前記ステアリングベクトルを用いて任意の角度についてのビームフォーミング出力をY(θ)と表し、|Y(θ)|2 が最大となる角度θが満たす式の方程式の解を求めることで|Y(θ)|2が最大となる角度θを求めることにより、音源の定位を行う手順、
を含む音源定位方法。 - 2つ以上のマイクロホンを有する収音部を有する音源定位装置のコンピュータに、
前記マイクロホンそれぞれが收音した音信号を周波数領域に変換し、変換した周波数領域の音信号に対して、所定の角度毎に音源を移動させた場合の前記マイクロホン毎のステアリングベクトルをN(Nは1以上の整数)次のフーリエ級数展開でモデル化して、モデル化した前記ステアリングベクトルを用いて任意の角度についてのビームフォーミング出力をY(θ)と表し、|Y(θ)|2 が最大となる角度θが満たす式の方程式の解を求めることで|Y(θ)|2が最大となる角度θを求めることにより、音源の定位を行うステップ、
を実行させるプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019048404A JP7266433B2 (ja) | 2019-03-15 | 2019-03-15 | 音源定位装置、音源定位方法、およびプログラム |
US16/809,053 US10966024B2 (en) | 2019-03-15 | 2020-03-04 | Sound source localization device, sound source localization method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019048404A JP7266433B2 (ja) | 2019-03-15 | 2019-03-15 | 音源定位装置、音源定位方法、およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020150490A JP2020150490A (ja) | 2020-09-17 |
JP7266433B2 true JP7266433B2 (ja) | 2023-04-28 |
Family
ID=72422536
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019048404A Active JP7266433B2 (ja) | 2019-03-15 | 2019-03-15 | 音源定位装置、音源定位方法、およびプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US10966024B2 (ja) |
JP (1) | JP7266433B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112466325B (zh) * | 2020-11-25 | 2024-06-04 | Oppo广东移动通信有限公司 | 声源定位方法和装置,及计算机存储介质 |
CN117289208B (zh) * | 2023-11-24 | 2024-02-20 | 北京瑞森新谱科技股份有限公司 | 一种声源定位方法和装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008141593A (ja) | 2006-12-04 | 2008-06-19 | Nippon Telegr & Teleph Corp <Ntt> | 音声収音装置、その方法、そのプログラム、およびその記録媒体 |
US20110019835A1 (en) | 2007-11-21 | 2011-01-27 | Nuance Communications, Inc. | Speaker Localization |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010171785A (ja) | 2009-01-23 | 2010-08-05 | National Institute Of Information & Communication Technology | 頭部伝達関数補間用係数算出装置、音像定位装置、頭部伝達関数補間用係数算出方法、及びプログラム |
EP2448289A1 (en) | 2010-10-28 | 2012-05-02 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for deriving a directional information and computer program product |
-
2019
- 2019-03-15 JP JP2019048404A patent/JP7266433B2/ja active Active
-
2020
- 2020-03-04 US US16/809,053 patent/US10966024B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008141593A (ja) | 2006-12-04 | 2008-06-19 | Nippon Telegr & Teleph Corp <Ntt> | 音声収音装置、その方法、そのプログラム、およびその記録媒体 |
US20110019835A1 (en) | 2007-11-21 | 2011-01-27 | Nuance Communications, Inc. | Speaker Localization |
Also Published As
Publication number | Publication date |
---|---|
JP2020150490A (ja) | 2020-09-17 |
US10966024B2 (en) | 2021-03-30 |
US20200296508A1 (en) | 2020-09-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9971012B2 (en) | Sound direction estimation device, sound direction estimation method, and sound direction estimation program | |
KR101238362B1 (ko) | 음원 거리에 따라 음원 신호를 여과하는 방법 및 장치 | |
JP6591477B2 (ja) | 信号処理システム、信号処理方法及び信号処理プログラム | |
JP6635903B2 (ja) | 音源位置推定装置、音源位置推定方法、及びプログラム | |
JP7235534B2 (ja) | マイクロホンアレイ位置推定装置、マイクロホンアレイ位置推定方法、およびプログラム | |
JP2017044916A (ja) | 音源同定装置および音源同定方法 | |
JP7266433B2 (ja) | 音源定位装置、音源定位方法、およびプログラム | |
CN110047507B (zh) | 一种声源识别方法及装置 | |
US10674261B2 (en) | Transfer function generation apparatus, transfer function generation method, and program | |
CN103837858A (zh) | 一种用于平面阵列的远场波达角估计方法及*** | |
US11482239B2 (en) | Joint source localization and separation method for acoustic sources | |
JP4738284B2 (ja) | ブラインド信号抽出装置、その方法、そのプログラム、及びそのプログラムを記録した記録媒体 | |
Faverjon et al. | Stochastic inversion in acoustic scattering | |
JP7204545B2 (ja) | 音響信号処理装置、音響信号処理方法、およびプログラム | |
KR101534781B1 (ko) | 음원 방향 추정 장치 | |
JP7267043B2 (ja) | 音響信号処理装置、音響信号処理方法、およびプログラム | |
JP7207539B2 (ja) | 学習データ拡張装置、学習データ拡張方法、およびプログラム | |
CN115696108A (zh) | 一种声源定位方法、装置及电子设备 | |
GB2368936A (en) | Digital signal processing method and system | |
CN118091542A (zh) | 声相仪及其实现方法、电子设备 | |
CN118112501A (zh) | 一种适用周期信号的声源定位方法、设备和声源测量装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211126 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220928 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221004 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221205 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221220 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230220 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230411 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230418 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7266433 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |