JP4652191B2

JP4652191B2 - 複数音源の分離方法

Info

Publication number: JP4652191B2
Application number: JP2005279512A
Authority: JP
Inventors: 潤二中島; 祐治淺井; 雅直大脇; 健史財満; 恭弘山下
Original assignee: Chubu Electric Power Co Inc; Kumagai Gumi Co Ltd
Current assignee: Chubu Electric Power Co Inc; Kumagai Gumi Co Ltd
Priority date: 2005-09-27
Filing date: 2005-09-27
Publication date: 2011-03-16
Anticipated expiration: 2025-09-27
Also published as: JP2007096418A

Description

本発明は、到来する音の音源が複数個である場合に、その音源の位置を分離して特定する方法に関するもので、特に、周波数が同一かまたは近接している複数音源の位置を分離して特定する方法に関する。

従来、音の到来方向を推定する方法としては、複数のマイクロフォンで得られる信号の位相差から音の到来方向を推定する、いわゆる音響学的手法が考案されている。ここで、図１１（ａ）に示すように、２つのマイクロフォンＭ１，Ｍ２を所定の間隔ｄだけ離隔して配置し、このマイクロフォンＭ１，Ｍ２により、θ_s方向から平面波として到来する音波を受音する場合を考える。上記θ_s方向から到来した音波は、まず第１のマイクロフォンＭ１で受音され、次に、上記音波は第２のマイクロフォンＭ２で受音されるとすると、上記第２のマイクロフォンＭ２の受音信号ｘ２（ｔ）は、上記第１のマイクロフォンＭ１の受音信号ｘ１（ｔ）に対して、音波が距離ξ＝ｄ・sinθ_s進行するのに要した時間τ_s＝ξ/ｃ（ｃ；音速）だけ遅れた信号となる。したがって、上記マイクロフォンＭ１，Ｍ２間の時間遅れτ_s（あるいは、マイクロフォンＭ１，Ｍ２間の位相差δ₂₁）を求めることにより、上記音波の到来方向θ_sを求めることができる。
しかし、マイクロフォン数が２個では音波の到来方向θ_sを精度よく測定することは困難であるため、実際には、図１１（ｂ）に示すように、多数のマイクロフォンＭ１〜Ｍｍを等間隔に配置したマイクロフォンアレーを構築し、基準となるマイクロフォンＭ１に対する各マイクロフォンＭｉ（ｉ＝２〜ｍ）の位相差δ_m1から音波の到来方向θ_sを求めるようにしている。具体的には、各マイクロフォンＭ１〜Ｍｍの後段にそれぞれ遅延器Ｄ１〜Ｄｍを設けるとともに、上記遅延器Ｄ１〜Ｄｍの出力を加算する加算器Σを設けて遅延和アレーを構成する。これにより、上記各マイクロフォンＭ１〜Ｍｍの出力信号に、上記Ｍ１〜Ｍｍの幾何学的配置から求めた時間差をそれぞれ遅延して与えると、仮定した方向θ_sからの音波の成分はすべて同期化されるが、仮定した方向以外の方向の成分はキャンセルされて小さくなるので、上記遅延された信号を加算処理することにより、音波の到来方向θ_sを求めることができる。この時間差による遅延和アレー処理を用いて、ある方向から到来する音の成分を強調して取出す方法は、一般に、ビームフォーマ法（または、ビームフォーカシング法）と呼ばれている（例えば、非特許文献１参照）。

一方、計測点に配置された複数のマイクロフォンの出力信号の位相差からではなく、複数のマイクロフォンから互いに交わる直線状に配置された複数のマイクロフォン対を構成し、対となる２つのマイクロフォンＭａ，Ｍｂ間の位相差（時間遅れＤ_ab）と、他の対となる２つのマイクロフォンＭｃ，Ｍｄ間の位相差（時間遅れＤ_cd）とから音源の方向を推定する方法が提案されている（例えば、非特許文献２，３、特許文献１参照）。
すなわち、図１２に示すように、４個のマイクロフォンＭ１〜Ｍ４を、互いに直交する２直線上にそれぞれ所定の間隔で配置された２組のマイクロフォン対（Ｍ１，Ｍ３）及びマイクロフォン対（Ｍ２，Ｍ４）を構成するように配置するとともに、第５のマイクロフォンＭ５を上記マイクロフォンＭ１〜Ｍ４の作る平面上にない位置に配置して、更に４組のマイクロフォン対（Ｍ５, Ｍ１）〜（Ｍ５, Ｍ４）を構成した場合、音の入射方向である水平角θと仰角φとは以下の式（１）及び式（２）で表わせる。
ここで、時間遅れＤ_ijは、マイクロフォンＭ_iに到達する音圧信号と、このマイクロフォンＭ_iに対して対となるマイクロフォンＭ_jに到達する音圧信号との時間差であり、この対となる２つのマイクロフォンＭ_i及びＭ_jに入力される信号のクロススペクトルＰ_ij（ｆ）を求め、更に、対象とする上記周波数ｆの位相角情報Ψ（ｒａｄ）を用いて、以下の式（３）により算出される。
これにより、上記マイクロフォンアレーを用いて音源の方向を推定する場合に比較して、少ないマイクロフォン数で音源の方向を正確に推定することができるだけでなく、屋外においても、音源の方向を精度よく推定することができる。
なお、上記式（１），（２）は、マイクロフォン間の距離を半波長とする周波数以下の平面波で成立する。また、対象となる音源位置が測定点とほぼ同一平面上にあり、仰角φを必要としない場合には、２組のマイクロフォン対（Ｍ１，Ｍ３）及び（Ｍ２，Ｍ４）のみで音源の方向である水平角θを推定することができる。
大賀寿郎，山崎芳男，金田豊；音響システムとディジタル処理，コロナ社，１９９５上明戸昇，野上英和，山下恭弘，財満健史，大脇雅直，杉山武，和田浩之；音情報と画像を組込んだ音源探査システムの開発，日本建築学会計画系論文集，第553号，pp17-22,2002.3 大脇雅直，財満健史，和田浩之，山下恭弘；画像に音情報を組込んだ音源探査システムの開発，電力土木、No.308，pp100-104,2003.11 特開２００３−１１１１８３号公報

しかしながら、上記従来の方法では、複数の音源の周波数が異なる場合には、受音する信号から特定の周波数の音信号を抽出して、それぞれの音源の方向を推定すればよいが、周波数が同一である場合には、互いの音が干渉し合うことによって、正しく目的音の方向を推定できない場合がある。また、音源は１個であるが、路面や壁などによる反射音が大きい場合にも、同一周波数の複数の音源が存在する場合と同様に、上記音源の方向を正確に測定できなかった。
例えば、上記ビームフォーマ法では、音波の到来方向（メインローブ）以外に、一定の方向にサイドローブと呼ばれている弱い指向性が現れることから、音源が多数ある場合には、到来方向の精度が低下してしまっていた。そこで、この他方向からの出力の寄与を最小にするため、目的音の大きさを変化させずに、雑音を最小化するため、各マイクロフォンに重み付けをして、到来方向のパワーの推定値の分散が最小になるようなθを求めることにより、音の到来方向を求める方法（最小分散法）も提案されている（例えば、田中雅史，金田豊，小島順治；音源方向の推定法の室内残響下での性能評価，日本音響学会誌50巻7号，pp540-548,1994 参照）。しかしながら、この場合にも、実音源における直接音と反射音のように、物理的に相関の高い音を対象とした場合には、十分な測定精度を得ることができなかった。

本発明は、従来の問題点に鑑みてなされたもので、音源が複数個である場合や、反射音の影響が大きい場合でも、複数の音源の方向、もしくは、直接音の方向と反射音の方向とを正確に分離することのできる方法を提供することを目的とする。

本発明者らは、鋭意検討を重ねた結果、基準となるマイクロフォンに入力する観測音の振幅をその大きさとしたベクトルは、その大きさが各音源から上記基準マイクロフォンに入力する音の振幅の大きさを表し、その位相角が上記観測音に対する位相差を表わす複素ベクトル（以下、音ベクトルという）の和で表わされることから、各マイクロフォンについても、実際に観測された各マイクロフォンに入力する観測音の上記基準マイクロフォンに対する位相差から、各音源の音ベクトルを求めることができるので、これらの音ベクトルの組から各音源毎に各マイクロフォン間の位相差を求め、この位相差から上記複数の音源の方向を推定するとともに、この推定された音源のうちの１つの音源から各マイクロフォンに到来する音の位相差を求めて、この位相差から新たな音ベクトルの組を求め、この新たな音ベクトルの組が最初に仮定した音ベクトルの組に最も近い音ベクトルの組を各音源からの音ベクトルの組とすれば、複数の音源の方向を分離して特定できることを見出し、本発明に至ったものである。

すなわち、本願の請求項１に記載の発明は、複数個の音源、特に、周波数が同一または近接するような複数個の音源から到来した音の合成音である観測音を複数のマイクロフォンで採取し、上記観測音の各マイクロフォン間の位相差のデータを用いて上記各音源の方向を分離して特定する方法であって、
複数のマイクロフォンで観測した観測音の、各マイクロフォン間の位相差をそれぞれ検出する第１のステップと、
基準となるマイクロフォンに入力する観測音に対応する複素ベクトルを、大きさが観測音の大きさを表わしその位相角が０°である基準音ベクトルで表わしたとき、各音源から上記基準マイクロフォンに入力する音に対応する音ベクトルが、それぞれ、その大きさが各音源から到来する音の大きさを表わし、その位相角が上記観測音に対する位相差を表わす複素ベクトルであり、かつ、上記各音源の音ベクトルの和が上記基準音ベクトルになるように上記各音源の音ベクトルを設定する第２のステップと、
上記基準となるマイクロフォン以外の各マイクロフォンについて、上記設定された各音ベクトルと大きさが等しく、かつ、その和が当該マイクロフォンに入力する観測音の音ベクトルになるように、上記各マイクロフォンに入力する各音源の音ベクトルをそれぞれ算出し、全てのマイクロフォンについての各音源からの音ベクトルの組を求める第３のステップと、
上記音ベクトルの組の中から１つの音源方向の音ベクトルを特定し、この特定された音ベクトルについて、各マイクロフォン間の位相差を求める第４のステップと、
上記第４のステップで求めた位相差から上記特定された音源の方向を推定する第５のステップと、
上記推定された特定音源から到来する音の各マイクロフォン間の位相差を算出する第６のステップと、
各マイクロフォンについて、上記第６のステップで求めた位相差から、上記推定された特定音源からの音の音ベクトルを各マイクロフォン毎に算出する第７のステップと、
各マイクロフォンについて、上記第３のステップで算出された音ベクトルと、上記第７のステップで算出された音ベクトルとの差のベクトルを求める第８のステップと、
上記第２のステップにおいて、各音源からの音ベクトルの大きさと位相角とを変更して、その変更された音ベクトルについて、上記第２のステップから上記第８のステップを繰り返して、上記第２のステップで設定された各音ベクトルのそれぞれについて、上記差のベクトルを求め、例えば、上記求められた差のベクトルの絶対値の和が最小となるような各音源の音ベクトルの組を特定するなど、上記求められた差のベクトルの大きさに基づいて、最も確からしい各音源の音ベクトルの組を特定し、上記特定された音ベクトルの組の各音ベクトルと上記基準音ベクトルとの位相角の差から、上記各音源の方向をそれぞれ推定する第９のステップ、
とを備えたことを特徴とするものである。
なお、上記複数の音源としては、１つの音源と上記音源からの反射音を発生する仮想音源（２次音源）である場合も含むものとする。

請求項２に記載の発明は、請求項１に記載の複数音源の分離方法において、上記第１のステップで行う観測音の各マイクロフォン間の位相差の検出と、第５のステップで行う音源方向の推定とを、互いに交わる２つの直線上にそれぞれ所定の間隔で配置された２組のマイクロフォン対を構成するマイクロフォン間の位相差を用いて音源の方向を推定する音源位置推定手段を備えた音源位置推定装置を用いて行うようにしたことを特徴とする。
また、請求項３に記載の発明は、請求項１に記載の複数音源の分離方法において、上記第１のステップで行う観測音の各マイクロフォン間の位相差の検出と、第５のステップで行う音源方向の推定とを、互いに交わる２つの直線上にそれぞれ所定の間隔で配置された２組のマイクロフォン対と上記２組のマイクロフォン対の作る平面上にない第５のマイクロフォンとから成るマイクロフォン群と、上記２組のマイクロフォン対を構成するマイクロフォン間の位相差、及び、上記第５のマイクロフォンと上記２組のマイクロフォン対を構成する４個のマイクロフォンのそれぞれとで構成される４組のマイクロフォン対を構成するマイクロフォン間の位相差を用いて音源の方向を推定する音源位置推定手段を備えた音源位置推定装置とを用いて行うようにしたことを特徴とする。
請求項４に記載の発明は、請求項１〜請求項３のいずれかに記載の複数音源の分離方法において、上記推定された音源方向近傍の映像を採取し、上記推定された音源方向と上記採取された映像とから音源の位置を特定するようにしたことを特徴とする。

本発明によれば、複数の音源の位置、特に、周波数が同一かまたは近接している複数音源の位置を分離して特定する際に、その大きさが基準となるマイクロフォンに入力する観測音の振幅に対する各音源からの音の振幅の大きさを表し、その角度が上記観測音に対する位相差を表わす音ベクトルを各音源毎に想定し、この想定された音ベクトルの組を用いて各音源の方向を推定した後、上記推定された音源の中の特定音源から各マイクロフォンに到達する音の位相差を求め、この位相差から新たな音ベクトルを求めるとともに、この新たな音ベクトルと上記設定した上記特定音源の音ベクトルとの差のベクトルが最も小さくなるような音ベクトルを求め、この音ベクトルを含む音ベクトルの組を与える各音源方向を各音源の推定方向として音源の方向を分離して特定するようにしたので、音源が複数個である場合や、反射音の影響が大きい場合でも、複数の音源の方向、もしくは、直接音の到来方向と反射音の到来方向とを正確に分離して特定することができる。
このとき、上記第１のステップで行う観測音の各マイクロフォン間の位相差の検出と、第５のステップで行う音源方向の推定とを、互いに交わる２つの直線上にそれぞれ所定の間隔で配置された２組のマイクロフォン対を構成するマイクロフォン間の位相差を用いて音源の方向を推定する音源位置推定手段を備えた音源位置推定装置、あるいは、互いに交わる２つの直線上にそれぞれ所定の間隔で配置された２組のマイクロフォン対と上記２組のマイクロフォン対の作る平面上にない第５のマイクロフォンとから成るマイクロフォン群と、上記２組のマイクロフォン対を構成するマイクロフォン間の位相差、及び、上記第５のマイクロフォンと上記２組のマイクロフォン対を構成する４個のマイクロフォンのそれぞれとで構成される４組のマイクロフォン対を構成するマイクロフォン間の位相差を用いて音源の方向を推定する音源位置推定手段を備えた音源位置推定装置とを用いて行うようにすれば、少ないマイクロフォン数で、効率よくかつ正確に音源の方向を分離することができる。

以下、本発明の最良の形態について、図面に基づき説明する。
図１は本発明の最良の形態に係る音源探査システムの概要を示す図で、Ｍ１〜Ｍ５は図示しない騒音源からの雑音の音圧レベルを測定するための測定用のマイクロフォン、１１は音源位置近傍の映像を採取するためのＣＣＤカメラ（以下、カメラという）、１２はローパスフィルタを備えていて、上記マイクロフォンＭ１〜Ｍ５で採取された音響情報から所定の周波数以下の成分を取り出し増幅する増幅器、１３は上記増幅された音響情報（アナログ信号）をデジタル信号に変換するＡ／Ｄ変換器、１４は上記カメラ１１の映像情報信号（アナログ信号）をデジタル信号に変換するビデオ入出力ユニットである。また、２０は上記各マイクロフォンＭ１〜Ｍ５を所定の位置に配列するためのマイクロフォンフレーム、３０は三脚から成る支持部材３１と、この支持部材３１の上部に配設された回転台３２とから成る測定用基台で、この回転台３２により、上記マイクロフォンフレーム２０を回転でき、上記マイクロフォンＭ１〜Ｍ５を水平面内で回転させることができる。
また、４０は入力手段であるキーボード４１とマイクロフォン数やサンプリング周波数などの測定パラメータを記憶するとともに、音源位置推定の演算等を行う記憶演算部４２と画像表示手段であるディスプレイ４３とを備えた音源位置推定装置で、上記記憶・演算部４２は、上記測定パラメータを記憶するパラメータファイル４２ｍを備えたデータ記憶手段４２ａと、上記Ａ／Ｄ変換されたマイクロフォンＭ１〜Ｍ５からの音響情報を用いて騒音源の方向を推定する音源位置推定手段４２ｂと、上記カメラ１１からの映像に上記推定された音源位置を示す画像を付加した画像を生成して上記ディスプレイ４３に送る画像合成手段４２ｃとを備えるとともに、上記騒音源が複数である可能性がある場合、あるいは、上記騒音の反射音の影響が強く、あたかも２音源から音が到来していると考えられる場合に、上記複数の音源の方向、または、直接音の方向と反射音の方向とを分離するための、音源分離手段４２ｄを備えている。これにより、上記騒音源が複数である場合や反射音の影響が強い場合などには、上記騒音源の方向を分離して推定するとともに、上記カメラ１１からの映像に、上記推定された複数の音源位置を示す画像を付加した画像を生成して上記ディスプレイ４３に表示することができる。

次に、本発明による複数音源の分離方法について、図２のフローチャートに基づき説明する。なお、説明を簡単にするため、分離する音源を同一周波数の音を発生する音源Ａと音源Ｂとの２つの音源とし、基準となるマイクロフォンを、図１２に示した四角錐状に配置された５個のマイクロフォンＭ１〜Ｍ５のうちの、上記四角錐の頂点に配置されたマイクロフォンＭ５とした場合について説明する。
最初に、マイクロフォンＭ１〜Ｍ５の出力から、上記各マイクロフォンＭ１〜Ｍ５に入力される観測音の音源が１個であると仮定したときの上記観測音の音源方向を推定する（ステップＳ１０）。
このとき実際の測定においては、音源の位置がマイクロフォンの位置から十分（例えば、マイクロフォン間隔の１０倍以上）離れているので、各マイクロフォンＭ１〜Ｍ５に到達する音を平面波とみなすことが可能である。そこで、本例では、音源位置を求める際に、音源の位置がマイクロフォンＭ１〜Ｍ５の位置から十分離れており、音は平面波として各マイクロフォンＭ１〜Ｍ５に入射すると仮定して音源位置を推定する。
平面波近似においては、マイクロフォンＭ_ｉとマイクロフォンＭ_j間の時間遅れＤ_ijと音源の位置の水平角θ及び仰角φとは、上述した式（１），（２）で表わせるので、各マイクロフォンＭ１〜Ｍ５の出力信号を周波数分析して、対象となる周波数ｆにおける各マイクロフォンＭ_ｉ，Ｍ_ｊ間の時間遅れＤ_ijを算出することにより、上記水平角θ及び仰角φを求めることができる。以下、上記式（１），（２）を再掲する。
また、上記時間遅れＤ_ijは、２つのマイクロフォン対（Ｍ_ｉ，Ｍ_ｊ）に入力される信号のクロススペクトルＰ_ij（ｆ）を求め、更に、対象とする上記周波数ｆの位相角情報Ψ（ｒａｄ）を用いて、以下の式（３）を用いて算出される。
なお、上記推定された音源方向近傍の映像をカメラ１１により採取すれば、上記推定された音源方向と上記カメラ１１で採取した映像情報とから、音源の位置についても推定することができるとともに、音源位置推定装置４０のディスプレイ４３上に表示された音源方向近傍の映像に、上記推定された音源位置を表示することができる。
また、上記音源の位置は、各周波数毎に算出することができる。
但し、この音源位置は、上述したように、観測音の音源が１個であると仮定した場合の音源位置で、本例では、以下に示すように、音源分離手段４２ｄを用いて上記音源位置を音源Ａの位置と音源Ｂの位置とに分離する。
なお、上記観測音の音源方向あるいは音源位置と後に推定する音源Ａ，Ｂの方向あるいは位置とを比較する必要のない場合には、上記時間遅れＤ_ijを算出するだけでよく、上記水平角θ及び仰角φの算出や上記観測音の音源位置の推定については省略してもよい。

次に、図３（ａ）に示すように、基準マイクロフォンであるマイクロフォンＭ５に入力する観測音を振幅が１で位相角が０°である複素ベクトル（以下、観測音基準ベクトルという）Ｓ５で表現するとともに、音源ＡからマイクロフォンＭ５に入力される音の複素ベクトルＡ５（以下、音ベクトルＡ５という）の振幅Ｐ_Aと位相角δ_A、及び、音源Ｂから上記マイクロフォンＭ５に入力する音の複素ベクトルＢ５（以下、音ベクトルＢ５という）の振幅Ｐ_Bと位相角δ_Bとをそれぞれ設定する（ステップＳ１１）。
上記マイクロフォンＭ５に入力される観測音は、音源ＡからマイクロフォンＭ５に入力される音と音源ＢからマイクロフォンＭ５に入力される音との合成音であるので、上記音ベクトルＳ５は上記音ベクトルＡ５と上記音ベクトルＢ５とのベクトル和となる。したがって、上記音ベクトルＡ５の振幅Ｐ_Aと位相角δ_Aとを設定すれば、音源ＢからマイクロフォンＭ５に入力される音の音ベクトルＢ５の振幅Ｐ_Bと位相角δ_Bとは、上記振幅Ｐ_Aと上記位相角δ_Aとを用いて一義的に求めることができる（ステップＳ１２）。
本例では、図３（ｂ）に示すように、上記ステップＳ１１において設定される音ベクトルＡ５の振幅Ｐ_Aを０．４〜４．０の範囲で、ΔＰ_A＝０．１ずつ変化させるとともに、位相角δ_Aを０°〜３６０°の範囲で、Δδ_A＝１°ずつ変化させて、上記ステップＳ１１から以下に記載するステップＳ１８までを繰り返し、上記振幅Ｐ_Aと上記位相角δ_Aとの全ての組について音源Ａ及び音源Ｂの方向を推定する。そして、この推定された音源Ａからの音と音源Ｂからの音との合成音が上記観察音に最も近い振幅Ｐ_Aと位相角δ_Aとを有する音ベクトルＡ５を求めて上記音源Ａの方向と音源Ｂの方向とを特定する。

次に、図４を参照して、各マイクロフォンＭ１〜Ｍ４に入力される観察音の音ベクトルＳ１〜Ｓ４から、上記音源Ａ及び音源Ｂから上記マイクロフォンＭ１〜Ｍ４に入力される音の音ベクトルＡ１〜Ａ４及び音ベクトルＢ１〜Ｂ４を求める方法について説明する。
図４（ａ）に示すように、マイクロフォンＭ１の観測音ベクトルＳ１の振幅は上記観測音基準ベクトルＳ５の振幅と等しく１であり、観測音基準ベクトルＳ５と観測音ベクトルＳ１との角度差Δ₅₁は、上記ステップＳ１０で実際に検出された時間遅れＤ₅₁に等しい。また、上記観測音ベクトルＳ１は上記音源ＡからマイクロフォンＭ１に入力される音の音ベクトルＡ１と、上記音源ＢからマイクロフォンＭ１に入力される音の音ベクトルＢ１との和となっており、かつ、上記音ベクトルＡ１，Ｂ１の振幅Ｐ_A1，Ｐ_B1は、それぞれ上記音ベクトルＡ５，Ｂ５の振幅Ｐ_A，Ｐ_Bと等しい。したがって、そのベクトル和が上記観測音ベクトルＳ１となる音ベクトルＡ１，Ｂ１としては、図４（ａ）に示すように、［Ａ11，Ｂ11］，［Ａ12，Ｂ12］の２通りが考えられる。
同様に、マイクロフォンＭ２〜Ｍ４に入力される音源Ａ及び音源Ｂからの音の音ベクトルＡ２〜Ａ４，Ｂ２〜Ｂ４についても、図４（ｂ）〜（ｄ）に示すように、それぞれ２組の音ベクトル［Ａi1，Ｂi1］，［Ａi2，Ｂi2］のいずれかになる（ｉ＝２〜４）。したがって、基準となるマイクロフォンＭ５の音ベクトルＡ５，Ｂ５に対してそれぞれ時間遅れがＤ_5iである観測音が入力されるマイクロフォンＭｉに入力される音源Ａ及び音源Ｂからの音の音ベクトルの組［Ａik，Ｂik］の数は、１つの音ベクトルＡ５を設定すると、ｉ＝１〜４，ｋ＝１，２であるので、１６通りあることになる（ステップＳ１３）。

音ベクトルの組合わせを求めた後には、以下に示すように、音源Ａの方向と音源Ｂの方向とを上記１６通りの音ベクトルの組合わせにつきそれぞれ推定し、どの音ベクトルの組合わせが実際の音源Ａの方向に近いかを推定する。なお、以下の計算は、仮定した１つの音ベクトルＡ５に対して想定される１６通りの音ベクトルの組［Ａik，Ｂik］について行うが、表現を単純化するため、上記Ａik，Ｂikを単にＡi，Ｂiと表わし、その位相角をδ_Ai，δ_Biと表わす。
上記各マイクロフォンＭ１〜Ｍ４の音ベクトルＡi(ｉ＝１〜４)の角度δ_Aiと基準マイクロフォンＭ５の音ベクトルＡ５の位相角δ_Aとの角度差δ_A5iは、図５（ａ）〜（ｄ）に示すように、音源ＡからマイクロフォンＭｉへ入力した音の位相と基準マイクロフォンＭ５へ入力した音の位相との差である。したがって、上記角度差δ_A5iと、上記角度差δ_A5iを用いて算出した角度差δ_A13及び角度差δ_A24とをそれぞれ時間遅れＤ₁₃，Ｄ₂₄及び時間遅れＤ₅₁〜Ｄ₅₄として、上記式（１），（２）に代入すれば、音源Ａの方向（水平角θAと仰角φA）を推定することができる。また、音源Ｂについても、同様に、上記音ベクトルＢiの角度δ_Biからδ_B5i及びδ_B13及びδ_B24を求めることにより、音源Ｂの方向（水平角θBと仰角φB）を推定することができる（ステップＳ１４）。
音源Ａ，Ｂの方向の推定が完了した後には、上記推定した１つの音源Ａから平面波が到来してきたと仮定して、上記各マイクロフォンＭ１〜Ｍ５へ入力する平面波の、上記基準となるマイクロフォンＭ５に対する各マイクロフォンＭｉの時間遅れＤ_5i(A)をそれぞれ算出する（ステップＳ１５）。上記時間遅れＤ_5i(A)は、上記ステップＳ１２で仮定した基準マイクロフォンＭ５の音ベクトルＡ５を用いて推定した音源Ａの方向から上記マイクロフォンＭ５に入力される音の音ベクトルである新たな音ベクトルａ５と各マイクロフォンＭ１〜Ｍ４の新たな音ベクトルａｉ（ｉ＝１〜４）との位相差に相当する。また、上記音ベクトルａｉの振幅が上記音ベクトルＡ５の振幅Ｐ_Aに等しい。
ここで、上記新たな音ベクトルａ５を、上記ステップＳ１２で仮定した音ベクトルＡ５に等しいとして、上記新たな音ベクトルａ１〜ａ４と上記ステップＳ１３で求めた音ベクトルＡ１〜Ａ４とを比較する。すなわち、上記新たな音ベクトルａ１〜ａ４と上記ステップＳ１３で求めた音ベクトルＡ１〜Ａ４とがほぼ一致すれば、上記音ベクトルＡ５の設定が実際の音源Ａからの音ベクトルであると考えられる。
そこで、図６（ａ）〜（ｄ）に示すように、上記推定された音源Ａからの音の音ベクトルａｉと、上記ステップＳ１３において上記音ベクトルＡ５に基づいて求めたベクトルＡｉ（ｉ＝１〜４）との差のベクトルΔ_Aiを求めた後、この差のベクトルΔ_Aiの大きさの和を算出して保存する（ステップＳ１６）。上記新たな音ベクトルａ１〜ａ４と上記ステップＳ１３で求めた音ベクトルＡ１〜Ａ４との差が小さいほど上記設定された音ベクトルＡ５が実際の音源Ａからの音ベクトルに近いことから、上記差のベクトルΔ_Aiの大きさの和を、上記設定された音ベクトルＡ５が実際の音源Ａの音ベクトルに近いかどうかの判定基準とすれば、実際の音源Ａの方向を精度よく推定することができる。

次にステップＳ１４に戻って、上記差のベクトルΔ_Aiの大きさの和を算出して保存する操作を１つの音ベクトルＡ５が設定されたときに求められた１６通りの組み合わせ全てについて行う（ステップＳ１７）。
１つの音ベクトルＡ５についての差のベクトルΔ_Aiの大きさの和の算出が終了したら、ステップＳ１１に戻って、上記音ベクトルＡ５の振幅Ｐ_Aまたは位相差δ_Aを変化させて上記ステップＳ１２からステップＳ１７までの操作を繰り返し、上記音ベクトルＡ５の振幅Ｐ_Aを０．４〜４．０の範囲でΔＰ_A＝０．１ずつ変化させ、位相差δ_Aを０°〜３６０°の範囲で、Δδ_A＝１°ずつ変化させた全ての場合について、上記差のベクトルΔ_Aiの大きさの和を算出して保存する操作を行う（ステップＳ１８）。
そして、上記差のベクトルΔ_Aiの大きさの和を比較し、上記絶対値の和が最小値をとるような音ベクトルＡ５，及びＢ５を特定し、この特定された音ベクトルＡ５，及びＢ５から得られる音源Ａ及び音源Ｂの方向を、観測音を分離して得られた音源Ａ及び音源Ｂの方向とする（ステップＳ１９）。
すなわち、ステップＳ１４，Ｓ１５において、音ベクトルＡ５，及びＢ５が上記特定された音ベクトルＡ５，及びＢ５である場合の音源Ａの方向（水平角θAと仰角φA）及び音源Ｂの方向（水平角θBと仰角φB）が観測音を分離して得られた音源Ａ及び音源Ｂの方向となる。そして、上記推定された音源Ａの方向と音源Ｂの方向とを含む映像をカメラ１１により採取し、音源位置推定装置４０のディスプレイ４３上に表示された映像上に上記音源Ａ，Ｂの方向をそれぞれ表示することにより、上記音源Ａの位置と音源Ｂの位置を決定する（ステップＳ２０）。

このように、本最良の形態によれば、まず、各マイクロフォンの観測音を表わす音ベクトルが、その大きさが基準となるマイクロフォンに入力する観測音の振幅に対する各音源からの音の振幅の大きさを表し、その位相角が上記観測音に対する位相差を表わす、音源Ａ及び音源Ｂからの音の音ベクトルの和で表わされるとして、基準となるマイクロフォンＭ５に入力される各音源からの音ベクトルＡ５，Ｂ５を想定し、上記音ベクトルＡ５，Ｂ５と各マイクロフォンＭ１〜Ｍ４に入力される観測音の位相差とから、各マイクロフォン毎に音ベクトルＡｉ，Ｂｉを求めて音ベクトルの組（Ａｉ，Ｂｉ）を算出する操作を行って、この算出された音ベクトルの組から各音源Ａ，Ｂの方向を推定する。そして、上記推定された音源Ａの方向から音が到来するとして、上記到来音の基準となるマイクロフォンＭ５に対する各マイクロフォンＭｉの時間遅れＤ_5i(A)をそれぞれ算出し、この時間遅れＤ_5i(A)から新たな音ベクトルａｉの組を求め、この新たな音ベクトルａｉの組と上記設定した各音源の音ベクトルＡｉの組との差のベクトルΔ_Aiの大きさの和を求める。この差のベクトルΔ_Aiの大きさの和は、上記音ベクトルＡ５が実際の音源Ａの音ベクトルに近いかどうかの判定基準となるので、上記差のベクトルΔ_Aiの大きさの和が最も小さくなるような音ベクトルＡｉの組を求め、この音ベクトルＡｉの組を与える各音源Ａ，Ｂの方向を各音源Ａ，Ｂの推定方向として音源Ａ，Ｂの方向を分離するようにすれば、音源が複数個である場合や、反射音の影響が大きい場合でも、複数の音源の方向、もしくは、直接音の方向と反射音の方向とを正確に分離して特定することができる。

なお、上記最良の形態では、音ベクトルＡ５の大きさと位相角とを変化させて音源Ａと音源Ｂの方向を推定するようにしたが、図７に示すように、音ベクトルＡ５の位相角と音ベクトルＢ５の位相角とをそれぞれ変化させて音源Ａと音源Ｂの方向を推定するようにしてもよい。この場合、音ベクトルＡ５，Ｂ５の大きさは、音ベクトルＡ５と音ベクトルＢ５との和が観測音基準ベクトルＳ５になることから一義的に求めることができる。
また、上記例では、音源が２個である場合について説明したが、本発明はこれに限るものではなく、音源が３個以上の場合でも、図８に示すように、観測音基準ベクトルＳ５に対して各音ベクトルＡ５，Ｂ５，Ｃ５，‥‥を想定することにより、各音源Ａ，Ｂ，Ｃ‥‥からの音の到来の方向を推定することができる。例えば、音源が３個である場合には、音ベクトルＡ５，Ｂ５の大きさと位相角となる４つのパラメータを設定するか、音ベクトルＡ５の大きさと位相角と、音ベクトルＢ５，Ｃ５の位相角となる４つのパラメータを設定するなどすれば、音ベクトルの組（Ａｉ，Ｂｉ，Ｃｉ）を求めることができる。その後は、音源が２つの場合と同様に、上記音ベクトルＡ５から音源Ａの方向を推定して新たな音ベクトルの組（ａｉ，ｂｉ，ｃｉ）を求めて、上記音ベクトルの組（Ａｉ，Ｂｉ，Ｃｉ）と比較して、最も確からしい（Ａｉ，Ｂｉ，Ｃｉ）の組、すなわち、実際の音源Ａ，Ｂ，Ｃの音ベクトルに近い（Ａｉ，Ｂｉ，Ｃｉ）の組を求めて、上記音源Ａ，Ｂ，Ｃの方向を推定するようにすればよい。
また、音源Ａ及び音源Ｂの方向特定の判定基準を、上述した差のベクトルΔ_Aiの絶対値の和に代えて、差のベクトルΔ_Aiの積を用いても良い。あるいは、上記差のベクトルΔ_Aiの二乗の和の平方根を用いても良い。
また、音源が１個である場合でも、反射音の影響が強い場合には、音源Ａを直接音を発生する音源とし、音源Ｂを上記音源Ａからの反射音を発生する仮想音源（２次音源）とすれば、反射の起こる箇所の特定や反射音の影響を正確に把握することができる。

本発明の音源探査システムを用いて、無響室内に所定距離離して設置した左右のスピーカから出力される２５０Ｈｚの正弦波を採取し、その音源位置を分離して特定したところ、分離処理前には、図９（ａ）に示すように、音源の推定位置が左右のスピーカのほぼ中間の位置であったのに対して、分離処理後には、図９（ｂ）に示すように、音源位置を左右のスピーカの２箇所に分離することができた。
また、左のスピーカと測定箇所との間に床（反射板）を設置し、左のスピーカのみから出力される１０００Ｈｚの正弦波を採取したところ、分離処理前には、図１０（ａ）に示すように、音源の推定位置が左のスピーカの右下側であったのに対して、分離処理後には、図１０（ｂ）に示すように、音源位置を左のスピーカのほぼ中心部と床面の２箇所に分離することができるとともに、反射位置についても推定できることが確認された。

以上説明したように、本発明によれば、音源が複数個である場合や、反射音の影響が大きい場合でも、複数の音源の方向、もしくは、音の到来方向と反射音の到来方向とを正確に分離して特定することができるので、遮音壁などの防音対策を行う場合に、その遮音効果を正確にシミュレーションすることができ、有効な騒音対策を行うことができる。

本発明の最良の形態に係わる音源探査システムの概要を示す図である。音源の分離方法を示すフローチャートである。各音源から基準マイクロフォンに到達する音の複素ベクトルを設定する方法を示す図である。各マイクロフォンの音ベクトルの組を求める方法を示す図である。各マイクロフォンの音ベクトルから、各マイクロフォンへ入力した音の位相と基準マイクロフォンへ入力した音の位相との差を求める方法を示す図である。仮定した音ベクトルの組から推定した推定音源から各マイクロフォンに到来する音の音ベクトルを求める方法を示す図である。本発明による音ベクトルの他の設定方法を示す図である。音源が３個である場合の音ベクトルの設定方法を示す図である。本発明による２音源の分離処理の実施例を示す図である。本発明による反射音の分離処理の実施例を示す図である。従来のマイクロフォンアレーを用いた音の到来方向の推定方法を示す図である。マイクロフォン対を用いた音源探査方法におけるマイクロフォンの配列を示す図である。

符号の説明

Ｍ１〜Ｍ５マイクロフォン、１１カメラ、１２増幅器、
１３Ａ／Ｄ変換器、１４ビデオ入出力ユニット、２０マイクロフォンフレーム、
３０基台、３１支持部材、３２回転台、４０音源位置推定装置、
４１キーボード、４２記憶・演算部、４２ａデータ記憶手段、
４２ｂ音源位置推定手段、４２ｃ画像合成手段、４２ｄ音源分離手段、
４２ｍパラメータファイル、４３ディスプレイ。

Claims

複数個の音源から到来した音の合成音である観測音を複数のマイクロフォンで採取し、上記観測音の各マイクロフォン間の位相差のデータを用いて上記各音源の方向を分離して特定する複数音源の分離方法であって、
複数のマイクロフォンで観測した観測音の、各マイクロフォン間の位相差をそれぞれ検出する第１のステップと、
基準となるマイクロフォンに入力する観測音に対応する複素ベクトルを、大きさが観測音の大きさを表わしその位相角が０°である基準音ベクトルで表わしたとき、各音源から上記基準マイクロフォンに入力する音に対応する音ベクトルが、それぞれ、その大きさが各音源から到来する音の大きさを表わし、その位相角が上記観測音に対する位相差を表わす複素ベクトルであり、かつ、上記各音源の音ベクトルの和が上記基準音ベクトルになるように上記各音源の音ベクトルを設定する第２のステップと、
上記基準となるマイクロフォン以外の各マイクロフォンについて、上記設定された各音ベクトルと大きさが等しく、かつ、その和が当該マイクロフォンに入力する観測音の音ベクトルになるように、上記各マイクロフォンに入力する各音源の音ベクトルをそれぞれ算出し、全てのマイクロフォンについての各音源からの音ベクトルの組を求める第３のステップと、
上記音ベクトルの組の中から１つの音源方向の音ベクトルを特定し、この特定された音ベクトルについて、各マイクロフォン間の位相差を求める第４のステップと、
上記第４のステップで求めた位相差から上記特定された音源の方向を推定する第５のステップと、
上記推定された特定音源から到来する音の各マイクロフォン間の位相差を算出する第６のステップと、
各マイクロフォンについて、上記第６のステップで求めた位相差から、上記推定された特定音源の音ベクトルを各マイクロフォン毎に算出する第７のステップと、
各マイクロフォンについて、上記第３のステップで算出された音ベクトルと、上記第７のステップで算出された音ベクトルとの差のベクトルを求める第８のステップと、
上記第２のステップにおいて、各音源からの音ベクトルの大きさと位相角とを変更して、その変更された音ベクトルについて、上記第２のステップから上記第８のステップを繰り返して、上記第２のステップで設定された各音ベクトルのそれぞれについて、上記差のベクトルを求め、上記求められた差のベクトルの大きさに基づいて、最も確からしい各音源の音ベクトルの組を特定し、上記特定された音ベクトルの組の各音ベクトルと上記基準音ベクトルとの位相角の差から、上記各音源の方向をそれぞれ推定する第９のステップ、
とを備えたことを特徴とする複数音源の分離方法。
上記第１のステップで行う観測音の各マイクロフォン間の位相差の検出と、第５のステップで行う音源方向の推定とを、互いに交わる２つの直線上にそれぞれ所定の間隔で配置された２組のマイクロフォン対を構成するマイクロフォン間の位相差を用いて音源の方向を推定する音源位置推定手段を備えた音源位置推定装置を用いて行うようにしたことを特徴とする請求項１に記載の複数音源の分離方法。
上記第１のステップで行う観測音の各マイクロフォン間の位相差の検出と、第５のステップで行う音源方向の推定とを、互いに交わる２つの直線上にそれぞれ所定の間隔で配置された２組のマイクロフォン対と上記２組のマイクロフォン対の作る平面上にない第５のマイクロフォンとから成るマイクロフォン群と、上記２組のマイクロフォン対を構成するマイクロフォン間の位相差、及び、上記第５のマイクロフォンと上記２組のマイクロフォン対を構成する４個のマイクロフォンのそれぞれとで構成される４組のマイクロフォン対を構成するマイクロフォン間の位相差とを用いて音源の方向を推定する音源位置推定手段を備えた音源位置推定装置とを用いて行うようにしたことを特徴とする請求項１に記載の複数音源の分離方法。
上記推定された音源方向近傍の映像を採取し、上記推定された音源方向と上記採取された映像とから音源の位置を特定するようにしたことを特徴とする請求項１〜請求項３のいずれかに記載の複数音源の分離方法。