JP2009257944A - 音源探査システム - Google Patents

Abstract

【課題】システムのコストを削減することが可能な音源探査システムを提供する。
【解決手段】本発明の音源探査システムは、音源探査対象空間を撮像する撮像装置２００と、複数のマイクロフォンが所定配置で設けられてなるマイクロフォンアレイ３００と、前記マイクロフォンアレイ３００との相対位置関係が変更しないマーカー部３１０と、前記撮像装置２００による前記マーカー部の撮像画像を解析することによって複数のマイクロフォンそれぞれの位置を演算する演算部１００と、前記マイクロフォンアレイを構成する各マイクロフォンで測定された音圧データから音源位置を演算する演算部１００と、前記演算部１００によって演算された音源位置を可視化した画像と、前記撮像装置２００によって撮像される音源探査対象空間の撮像画像とを、重ね合わせて表示する表示装置４００とからなることを特徴とする。
【選択図】 図１

Description

本発明は、マイクロフォンアレイを用いて、音波到来方向（音源方向）を探査し、その結果を撮像装置で撮影した映像に重ね合わせて表示することによって、建築空間の音響状態を視覚化する音源探査システムに関する。

施工の不具合などによって、騒音が居室空間内に漏れたり、或いは、経年変化などで壁などに小さな穴などができてしまい、当該穴から居室空間内に騒音が漏れたり、といったことが、集合住宅やオフィスビルなどの建築空間において発生することがある。そこで、このような騒音を調査する必要性が生じるわけであるが、このような微弱な騒音の音源がどこであるのかを正確に特定することは人間の感覚では困難である、という課題があった。

そこで、このような課題に対処するために音源の所在を特定し、当該所在を明示する音源探査システムが提案されている。例えば、特許文献１（特開２００３−１１１１８３号公報）には、互いに交わる２つの直線上にそれぞれ所定の間隔で配置された２組のマイクロフォン対と、上記２組のマイクロフォン対の作る平面上にない第５のマイクロフォンとから成るマイクロフォン群と、上記各マイクロフォンの出力信号の位相差から音源の位置を推定する音源位置推定手段と、上記推定された音源位置近傍の映像を採取する映像採取手段と、上記推定された音源位置を上記採取された映像上に表示する表示手段とを備えたことを特徴とする音源探査システムが開示されている。
特開２００３−１１１１８３号公報

ところで、特許文献１に記載の音源探査システムを運用する上では、その原理上マイクロフォン群と映像採取手段との位置情報を取得する構成が必要不可欠となる。したがって、特許文献１の音源探査システムでは、マイクロフォン群を構成する各マイクロフォンの地上での絶対位置を測定するためのＧＰＳが設けられる構成となっている。しかしながら、位置情報を取得するためにＧＰＳ機器を音源探査システムに設けることはシステムのコストアップにつながる、など問題となっていた。

この発明は、上記のような課題を解決するものであって、請求項１に係る発明は、音源探査対象空間を撮像する撮像装置と、複数のマイクロフォンが所定配置で設けられてなるマイクロフォンアレイと、前記マイクロフォンアレイとの相対位置関係が変更しないマーカー部と、前記撮像装置による前記マーカー部の撮像画像を解析することによって複数のマイクロフォンそれぞれの位置を演算するマイクロフォン位置演算手段と、前記マイクロフォンアレイを構成する各マイクロフォンで測定された音圧データから音源位置を演算する音源位置演算手段と、前記音源位置演算手段によって演算された音源位置を可視化した画像と、前記撮像装置によって撮像される音源探査対象空間の撮像画像とを、重ね合わせて表示する表示装置とからなることを特徴とする。

本発明の音源探査システムによれば、マイクロフォンアレイとの相対位置関係が変更しないマーカー部の画像データに基づき、周知の画像認識や画像解析技術を用いて、複数のマイクロフォンそれぞれの位置を演算する構成であるので、位置情報を得るためのＧＰＳ
などのハードウエアを要することなく、安価な音源探査システムを提供することが可能となる。

以下、本発明の実施の形態を図面を参照しつつ説明する。図１は本発明の実施の形態に係る音源探査システムの設置例を示す図であり、図２は本発明の実施の形態に係る音源探査システムのブロック構成の概要を示す図である。

図１は居室空間Ｒに本発明の音源探査システムが設置されて、居室空間Ｒにおける穴から漏れる騒音（音源１及び音源２）を探査する様子を示しており、以下、本発明の音源探査システムをこのような場合に基づき説明する。図１及び図２において、１００は演算部、２００は撮像装置、３００はマイクロフォンアレイ、４００は表示装置をそれぞれ示している。

演算部１００は、ＣＰＵとＣＰＵ上で動作するプログラムを保持するＲＯＭやＨＤＤ、ＣＰＵのワークエリアとして機能するＲＡＭ、他の機器と接続するためのインターフェイス手段などからなる汎用の情報処理機構であり、例えばパーソナルコンピュータを用いることができる。

撮像装置２００は、音源を含む居室内の様子を撮像するものであり、動画撮像装置又は静止画撮像装置のいずれも用いることが可能であるが、本発明の音源探査システムには好ましくは前者の撮像装置を用いるとよい。なお、撮像装置２００を設置するときにおいては、音源を含む居室内と共に、マイクロフォンアレイ３００も撮影することが可能なように配置する。撮像装置２００によって取得された画像データは、演算部１００に入力され画像解析が行われると共に、表示装置４００に表示するための原画像のデータとなる。

マイクロフォンアレイ３００は、マイクロフォンＭ１、Ｍ２、Ｍ３、・・Ｍｎのｎ個のマイクロフォンの集合体であり、このマイクロフォンアレイ３００を構成する個々のマイクロフォンによって騒音源からの雑音の音圧レベルを測定する。

マイクロフォンアレイ３００を構成するマイクロフォンの個数は、少なくとも３つであればよいが、ここでは、一般化して、マイクロフォンアレイ３００は仮にｎ個のマイクロフォンの集合体であるものとする。マイクロフォンアレイ３００のそれぞれのマイクロフォンで測定された音圧レベルは、演算部１００に入力されて、音源位置が演算によって特定される。

表示装置４００は、システムのユーザーに対して設定時などにおける各種の報知を行う出力インターフェイスとして機能するとともに、視覚化された音源に係る情報を、原画像データと重ね合わせて表示出力するようになっている。なお、本発明の音源探査システムでは、このような表示装置４００に代えて、印刷出力を行うようなものも用いることが可能である。

このマイクロフォンアレイ３００についてより詳しく説明する。図３は本発明の実施の形態に係る音源探査システムのマイクロフォンアレイ３００の外観斜視図である。図３において、３０１は台座部、３０２は支柱部、３０３は球状部をそれぞれ示している。

マイクロフォンアレイ３００は、概略、所定マーキングが施されたマーカー部を外周に備える台座部３０１と、当該台座部３０１に立設されると共に、球状部３０３を支持する支柱部３０２と、マイクロフォンＭ１、Ｍ２、Ｍ３、・・Ｍｎのｎ個のマイクロフォンが埋設されてなる球状部３０３とから構成されている。

台座部３０１は、図示するように立方体形状をしており、その４つの側面にはそれぞれ異なるマーキングが施されている。また、各マーカーの模様は左右非対称、上下非対称とし、全ての面の模様はお互いに異なるもので、反転または回転したものも用いない。図３にその一例を示すが、前述した条件を満たす模様であれば、この模様にはこだわらない。これら台座部３０１のマーカー部に施されている模様に対して、マイクロフォンＭ１、Ｍ２、Ｍ３、・・Ｍｎの相対位置は変化することがない。また、台座部３０１のマーカー部の模様とマイクロフォンＭ１、Ｍ２、Ｍ３、・・Ｍｎの位置とが対応付けられるようにして、演算部１００に記憶されている。

次に、以上のように構成される音源探査システムを用いての音源探査の方法について説明する。まず、実際の音源探査に先立っては、音源探査システムを図１に示すような形態でセッティングを行う。そして、そのようなセッティングを行った後、まず、撮像装置２００とマイクロフォンアレイ３００との位置関係を把握するための初期設定を実行する。図４は本発明の実施の形態に係る音源探査システムによる探査時のこのような初期設定のフローを示す図である。このようなフロー（或いは、図５に示すフロー）は、ＣＰＵ、ＲＯＭ、ＲＡＭ、インターフェイスなどの各部を備えた汎用のコンピュータシステムである演算部１００が、所定のプログラムに基づいて撮像装置２００、マイクロフォンアレイ３００、表示装置４００と共に協働する実現されるものである。

図４において、ステップＳ１００で初期設定が開始されると続いてステップＳ１０１に進む。

ステップＳ１０１では、撮像装置２００によって取得された画像データに基づいて、マイクロフォンアレイ３００のマーカー部の画像認識が実行される。

続く、ステップＳ１０２では、マイクロフォンアレイ３００のマーカー部の認識画像に基づいて、３次元姿勢推定が実行される。図６はマイクロフォンアレイ３００のマーカー部の認識画像に基づく３次元姿勢推定を説明する図である。撮像装置２００とマイクロフォンアレイ３００との配置関係に応じて、マイクロフォンアレイ３００のマーカー部は、図６（Ａ）に示すように画像認識されたり、或いは図６（Ｂ）に示すように画像認識されたりする。本発明の音源探査システムでは、このような３次元姿勢推定に基づき撮像装置２００とマイクロフォンアレイ３００との配置位置関係を割り出すようにする。

ステップＳ１０３では、上記のような３次元姿勢推定に基づき、マイクロフォンＭ１の位置（Ｘ_M1，Ｙ_M1，Ｚ_M1）、マイクロフォンＭ２の位置（Ｘ_M2，Ｙ_M2，Ｚ_M2）、マイクロフォンＭ３の位置（Ｘ_M3，Ｙ_M3，Ｚ_M3）、・・・マイクロフォンＭｎの位置（Ｘ_Mn，Ｙ_Mn，Ｚ_Mn）を演算する。なお、撮像装置２００の位置（Ｘ_C1，Ｙ_C1，Ｚ_C1）については、予め定めておくようにする。あるいは、撮像装置２００の位置を基準位置（０，０，０）として定めるようにしてもよい。要は、マイクロフォンＭ１の位置、マイクロフォンＭ２の位置、マイクロフォンＭ３の位置、・・・マイクロフォンＭｎの位置と、撮像装置２００の位置との相対的な位置関係を算出できればよい。

このように本発明の実施の形態に係る音源探査システムでは、マイクロフォンアレイ３００との相対位置関係が変更しないマーカー部３０１の画像データに基づき、周知の画像認識や画像解析技術を用いて、複数のマイクロフォンＭ１、Ｍ２、Ｍ３、・・Ｍｎそれぞれの位置を演算部１００によって演算する構成であるので、位置情報を得るためのＧＰＳなどのハードウエアを要することなく、安価な音源探査システムを提供することが可能となる。

ステップＳ１０４では、初期設定のフローを終了する。

次に、以上のようにして初期設定された音源探査システムを用いて音源探査を行う流れについて説明する。図５は本発明の実施の形態に係る音源探査システムによる音源探査の流れを示す図である。

図５において、ステップＳ２００で音源探査システムを用いた音源探査が開始されると、続いてステップＳ２０１に進む。

ステップＳ２０１においては、各マイクロフォンＭ１、Ｍ２、Ｍ３、・・Ｍｎから音圧レベルに係るデータが取得される。

次に、ステップＳ２０２では、各マイクロフォンＭ１、Ｍ２、Ｍ３、・・Ｍｎによって取得された音圧レベルに係るデータに基づいて音源の位置の座標の計算が行われる。３つ以上の音圧レベルデータから、音源の位置座標を取得する方法については従来周知の方法−例えば、特開２００３−１１１１８３号公報に記載されている方法−を用いることができる。図１の例によれば、ステップＳ２０２では、音源１の位置Ｓ１（Ｘ_S1，Ｙ_S1，Ｚ_S1）及び音源２の位置Ｓ２（Ｘ_S2，Ｙ_S2，Ｚ_S2）を演算することとなる。

次のステップＳ２０３では、求められた音源を可視化して、原画像データに重ね合わせて、表示装置４００に出力する。ここで音源を可視化するときにおけるイメージについて説明する。図７は本発明の実施の形態に係る音源探査システムの撮像装置２００で撮像される原画像を示す図であり、図８は本発明の実施の形態に係る音源探査システムで原画像と重ね合わされた音源の可視化像を示す図である。図８は表示装置４００による表示画像を示している。

音響状態を視覚化するにあたっては、例えば、音源１の位置Ｓ１近傍及び音源２の位置Ｓ２近傍は、例えば濃い画像とし、音源が存在しない箇所においては薄い画像とする。そして、このような濃淡からなる画像と原画像データとを重ね合わせることによって、例えば図８のよう表示画像データを得る。

このように本発明の実施の形態に係る音源探査システムでは、演算部１００によって演算された音源位置を可視化した画像と、撮像装置２００によって撮像される音源探査対象空間Ｒの撮像画像とを、表示装置４００で重ね合わせて表示するようにしているので、音源がどこであるのかをビジュアル的に正確に特定することが可能となる。

ステップＳ２０４では、音源探査システムを用いた音源探査を終了する。

本発明の実施の形態に係る音源探査システムの設置例を示す図である。 本発明の実施の形態に係る音源探査システムのブロック構成の概要を示す図である。 本発明の実施の形態に係る音源探査システムのマイクロフォンアレイの外観斜視図である。 本発明の実施の形態に係る音源探査システムによる探査時の初期設定の流れを示す図である。 本発明の実施の形態に係る音源探査システムによる音源探査の流れを示す図である。 マイクロフォンアレイのマーカー部の認識画像に基づく３次元姿勢推定を説明する図である。 本発明の実施の形態に係る音源探査システムの撮像装置２００で撮像される原画像を示す図である。 本発明の実施の形態に係る音源探査システムで原画像と重ね合わされた音源の可視化像を示す図である。

符号の説明

１００・・・演算部、２００・・・撮像装置、３００・・・マイクロフォンアレイ、３０１・・・台座部、３０２・・・支柱部、３０３・・・球状部、４００・・・表示装置

Claims (1)

1. 音源探査対象空間を撮像する撮像装置と、
   複数のマイクロフォンが所定配置で設けられてなるマイクロフォンアレイと、
   前記マイクロフォンアレイとの相対位置関係が変更しないマーカー部と、
   前記撮像装置による前記マーカー部の撮像画像を解析することによって複数のマイクロフォンそれぞれの位置を演算するマイクロフォン位置演算手段と、
   前記マイクロフォンアレイを構成する各マイクロフォンで測定された音圧データから音源位置を演算する音源位置演算手段と、
   前記音源位置演算手段によって演算された音源位置を可視化した画像と、前記撮像装置によって撮像される音源探査対象空間の撮像画像とを、重ね合わせて表示する表示装置とからなることを特徴とする音源探査システム。