JP5534870B2 - 音源推定用画像の作成装置 - Google Patents
音源推定用画像の作成装置 Download PDFInfo
- Publication number
- JP5534870B2 JP5534870B2 JP2010048102A JP2010048102A JP5534870B2 JP 5534870 B2 JP5534870 B2 JP 5534870B2 JP 2010048102 A JP2010048102 A JP 2010048102A JP 2010048102 A JP2010048102 A JP 2010048102A JP 5534870 B2 JP5534870 B2 JP 5534870B2
- Authority
- JP
- Japan
- Prior art keywords
- sound source
- microphones
- image
- video
- angle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Studio Devices (AREA)
- Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
- Circuit For Audible Band Transducer (AREA)
Description
一方、計測点に配置された複数のマイクロフォンの出力信号の位相差からではなく、複数のマイクロフォンから互いに交わる直線状に配置された複数のマイクロフォン対を構成し、対となる2つのマイクロフォン間の位相差に相当する到達時間差と、他の対となる2つのマイクロフォン間の到達時間差との比から音源の方向を推定する方法が提案されている(例えば、特許文献1〜3参照)。
このとき、CCDカメラ等の映像採取手段により推定された音源の方向の映像を撮影し、この映像のデータと音源の方向のデータとを合成して、映像中に推定した音源の方向と音圧レベルとを図形で表示するようにすれば、音源を視覚的に把握することができる。
このような場合、従来は、マイクロフォンとカメラとをこの推定された音源方向に向けて回転させた後、音源と推定される方向から伝播される音と前記音源と推定される方向の映像の採取と音源方向の推定とをやり直していたため、作業性が悪かった。
また、360°カメラなどの観測点の周りの360°の映像を採取する映像採取手段を用いれば、観測点の周りの全ての方向の音源を映像中に表示することは可能であるが、この場合には、撮影された画像の歪みが大きいことから、逆に音源の特定が難しくなるといった問題点が生じてしまう。
これにより、音源方向の水平角θや仰角φが大きな場合でも、再度音の情報の採取と音源方向の推定とを行うことなく、音源推定方向の鮮明な映像を撮影することができる。
これにより、音源方向の水平角θや仰角φを、少ないマイクロフォン数で、効率よくかつ正確に推定することができる。
図1は本実施の形態に係る音源推定装置10の構成を示す機能ブロック図である。
同図において、11は音圧レベル測定手段、12は映像採取手段、13は取付台、14は回転手段、15は増幅器、16はA/D変換器、17は音源方向推定手段、18は映像入出力手段、19は回転判定手段、20は撮影方向制御手段、21はデータ合成手段、22は音源位置表示手段である。
音圧レベル測定手段11は、5本のマイクロフォンM1〜M5と、これらのマイクロフォンM1〜M5を以下のように配置して固定するマイク固定台11Dとを備える。
マイクロフォンM1〜M5は、図4に示すように、マイクロフォンM1,M3と、マイクロフォンM2,M4とが、互いに直交する2直線(同図のx軸とy軸)上にそれぞれ所定の間隔Lで配置されて、2組のマイクロフォン対(M1,M3)及びマイクロフォン対(M2,M4)を構成するように配置されている。マイクロフォンM5は、マイクロフォンM1〜M4の中心を通る、上記平面に垂直な直線(z軸)上に上記平面からの距離がL/2の位置に配置されている。
取付台13は、基台である三脚13aと、この三脚13a上に設置されたカメラ取付台13bと、このカメラ取付台13bに立設されてマイク固定台11Dを下側から支持する4本の支持棒13cとを備えている。
マイクロフォンM1〜M5は、映像採取手段12の上側に、マイク固定台11Dに固定された状態で設置される。
一方、映像採取手段12は、回転手段14を介して、カメラ取付台13bに回転可能に取付けられる。
回転手段14は、例えば、ステッピングモーターなどの、撮影方向制御手段20からの制御信号(ステッピングモーターの場合には、制御パルス信号)により駆動される。
このとき、映像採取手段12の焦点位置が回転手段14の回転軸上にあり、かつ、回転手段14の回転軸とマイクロフォンM1〜M5の中心線とが一致するように、音圧レベル測定手段11と映像採取手段12とを取付台13に取付けることが好ましい。また、本例では、映像採取手段12の初期位置として、図1の一点鎖線Dで示す映像採取手段12のレンズ光軸の方向を、マイクロフォンM3からマイクロフォンM1に向かう方向(図1及び図4のx方向)とした。
音源方向推定手段17は、記憶部17aと演算部17bとを備える。記憶部17aは、A/D変換器16でA/D変換された音圧波形データを記憶して保存する。演算部17bは、予め設定した複数の周波数fk(k=1〜n)それぞれについて、上記2組のマイクロフォン対(M1,M3),(M2,M4)における音の到達時間差D13及びD24をそれぞれ求めて、到達時間差の比(D13/D24)から観測点と音源との成す水平角θを周波数fk毎に推定するとともに、到達時間差D13及びD24とマイクロフォンM1〜M4とマイクロフォンM5とのマイクロフォン間の到達時間差D5j(j=1〜4)とから仰角φを推定し、上記水平角θと上記仰角φとを音源方向の座標データ(θ,φ)としてデータ合成手段21に出力するとともに、上記水平角θを回転判定手段19に送る。このとき、音源の音圧レベルのデータと周波数データも同時にデータ合成手段21に送る。なお、音圧データとしては、マイクロフォンM1〜M5の出力電圧の平均値、もしくは、マイクロフォンM5の出力電圧を用いればよい。
水平角θと仰角φの計算方法については後述する。
回転判定手段19は、音源方向推定手段17で推定された水平角θと映像採取手段12の水平角方向の最大視野θMax及び最小視野θminとを比較し、水平角θの大きさがθMax−γ(γは10°程度)を超えた場合、及び、θmin+γよりも小さい場合には、水平角θを指定回転角Θとして撮影方向制御手段20とデータ合成手段21に出力する。
水平角θの大きさがθmin+γ≦θ≦θMax−γの場合には、指定回転角Θを出力しない。
データ合成手段21は、映像入出力手段18から送られてきた画像データに音源方向推定手段17で推定された音源方向の座標(θ,φ)と音圧レベルと周波数とから成る音源情報を示す画像データを付加した画像データを生成する。
音源位置表示手段22は、データ合成手段21から送られてきた画像データを表示画面22mに表示する。
音源情報を示す画像データとしては、図2(a)に示すような、音源の方向を示す座標データ(θ,φ)上に、例えば、座標(θ,φ)を中心とした網目模様の丸印Rなどのような、音源方向を示す図形とすればよい。このとき、各マイクロフォンM1〜M5で採取した音圧信号の大きさを丸の半径により表わせばよい。なお、予め設定した周波数帯域の音源方向を表示する場合や、周波数帯域毎の音源方向を表示する場合には、周波数帯域により丸印Rの色をそれぞれ設定すればよい。
これにより、映像採取手段12により撮影された映像に音源50が映っている場合には、音源50は網目模様の丸印Rがついて撮影される。
なお、水平角θの大きさがθ<θmin+γ、または、θ>θMax−γの場合には、図2(b)に示すように、表示画面22mの中心位置は、(θ=0,φ=0)から(θ=Θ,φ=0)に変更される。
各マイクロフォン対(Mi, Mj)のマイクロフォンMiとマイクロフォンMjとの間の到達時間差をDijとすると、音の入射方向である水平角θと仰角φとは以下の式(1),(2)で表わせるので、各マイクロフォンM1〜M5の出力信号をFFTを用いて周波数分析し、対象となる周波数fにおける各マイクロフォンMi,Mj間の到達時間差Dijを算出することにより、前記水平角θ及び仰角φを求めることができる。
なお、映像採取手段12は、レンズ光軸が初期位置マイクロフォンM1とマイクロフォンM3とを結ぶ線と平行になるようにセットされているものとする。
まず、マイクロフォンM1〜M5にて音の情報を採取するとともに、映像採取手段12により映像の情報を採取する(ステップS10)。そして、この音の情報を増幅器15で増幅した後、A/D変換器16によりA/D変換して、音圧波形データとして音源方向推定手段17の記憶部17aに保存する(ステップS11)。なお、映像の情報は映像入出力手段18に送られる。
次に、音源方向推定手段17の演算部17bにて、記憶手段17aに保存された音圧波形データから各マイクロフォンM1〜M5間の位相差を求め、この求められた位相差から音源方向である水平角θと仰角φとを推定する(ステップS12)。
ステップS13において、水平角θの大きさがθMax−γを超えた場合、もしくは、θmin+γよりも小さい場合には、ステップS16に進んで、水平角θと仰角φとをデータ合成手段21に出力するとともに、水平角θを指定回転角Θとして撮影方向制御手段20に出力して、回転手段14を回転させ、映像採取手段12を指定回転角Θだけ回転させる。
そして、指定回転角Θだけ回転した位置における映像を映像採取手段12にて撮影した後(ステップS17)、この撮影された画像データと音源方向推定手段17で推定された音源方向の座標(θ,φ)と音圧レベルと周波数とから成る音源情報を示す画像データを付加した画像データを生成し(ステップS18)、この画像データを音源位置表示手段22の表示画面22mに網目状の丸印Rが映った映像を表示する(ステップS19)。
また、上記例では、音源方向推定手段17で推定された水平角θと映像採取手段12の水平角方向の最大視野θMax及び最小視野θminとを比較する際に、水平角θの大きさとθMax−γ、もしくは、θmin+γとを比較したが、γ=0としてもよい。この場合には、映像採取手段12を回転させる回数は減るが、音源を示す網目状の丸印Rが表示画面22mの端部側に表示されるので、実施の形態よりも音源の推定精度は若干低下する恐れがある。したがって、本実施の形態のようにγを10°程度に設定することが好ましい。
12 映像採取手段、13 取付台、14 回転手段、15 増幅器、
16 A/D変換器、17 音源方向推定手段、18 映像入出力手段、
19 回転判定手段、20 撮影方向制御手段、21 データ合成手段、
22 音源位置表示手段、50 音源、M1〜M5 マイクロフォン。
Claims (2)
- 複数のマイクロフォンで採取した音の情報と映像採取手段とにより撮影した映像の情報とを用いて音源を推定するための画像を作成する装置であって、
前記複数のマイクロフォンで採取した音の音圧信号の位相差から音源の方向を推定する音源方向推定手段と、
前記映像採取手段を回転させる回転手段と、
前記映像採取手段を回転させるか否かを判定する回転判定手段と、
前記回転手段を制御して前記映像採取手段の撮影方向を制御する撮影方向制御手段と、
前記推定された音源の方向のデータと前記撮影された映像の画像データとを合成して、音源を推定するための画像である、前記推定された音源の方向を示す図形が描画された画像を作成する画像合成手段と、
前記合成された画像を表示画面に表示する音源位置表示手段とを備え、
前記映像採取手段は、水平方向の視野の最大値がθ Max で最小値がθ min である、予め設定された撮影視野内の映像を採取し、
前記回転判定手段は、前記推定された音源の方向の水平角θが、前記最大値θ Max から予め設定した角度γを減算した角度よりも大きいか、前記最小値θ min に前記角度γを加算した角度よりも小さい場合には、前記映像採取手段を回転させると判定し、
前記撮影方向制御手段は、前記回転判定手段が映像採取手段を回転させると判定した場合に、前記回転手段を制御して前記映像採取手段を所定の角度だけ回転させ、
前記画像合成手段は、前記回転判定手段による前記映像採取手段の回転判定がなされなかった場合には、前記推定された音源の方向のデータと前記映像採取手段の位置を動かさずに撮影された映像の画像データとを合成し、前記回転判定がなされた場合には、前記推定された音源の方向のデータと前記映像採取手段の回転後に撮影された映像の画像データとを合成することを特徴とする音源推定用画像の作成装置。 - 前記複数のマイクロフォンは、
互いに交わる2つの直線上にそれぞれ所定の間隔で配置された2組のマイクロフォン対を構成する第1〜第4のマイクロフォンと、前記2組のマイクロフォン対の作る平面上にない第5のマイクロフォンとを有し、
前記2組のマイクロフォン対を構成するマイクロフォン間の位相差の比と、前記第5のマイクロフォンと前記2組のマイクロフォン対を構成する4個のマイクロフォンのそれぞれとで構成される4組のマイクロフォン対を構成するマイクロフォン間の位相差とを用いて前記音源の方向を推定することを特徴とする請求項1に記載の音源推定用画像の作成装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010048102A JP5534870B2 (ja) | 2010-03-04 | 2010-03-04 | 音源推定用画像の作成装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010048102A JP5534870B2 (ja) | 2010-03-04 | 2010-03-04 | 音源推定用画像の作成装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011188025A JP2011188025A (ja) | 2011-09-22 |
JP5534870B2 true JP5534870B2 (ja) | 2014-07-02 |
Family
ID=44793829
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010048102A Active JP5534870B2 (ja) | 2010-03-04 | 2010-03-04 | 音源推定用画像の作成装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5534870B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8183997B1 (en) * | 2011-11-14 | 2012-05-22 | Google Inc. | Displaying sound indications on a wearable computing system |
CN102901949B (zh) * | 2012-10-13 | 2014-04-16 | 天津大学 | 一种二维空间分布式声音相对定位方法及装置 |
CN104748764B (zh) * | 2015-04-01 | 2017-05-24 | 清华大学 | 一种声场可视化***中声像平面的空间角度标定方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005252660A (ja) * | 2004-03-04 | 2005-09-15 | Matsushita Electric Ind Co Ltd | 撮影システム及び撮影制御方法 |
JP5089198B2 (ja) * | 2007-03-09 | 2012-12-05 | 中部電力株式会社 | 音源位置推定システム |
-
2010
- 2010-03-04 JP JP2010048102A patent/JP5534870B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2011188025A (ja) | 2011-09-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5089198B2 (ja) | 音源位置推定システム | |
JP5702160B2 (ja) | 音源推定方法及び音源推定装置 | |
JP5693201B2 (ja) | 指定領域からの伝播音の再生方法とその装置 | |
JP5294925B2 (ja) | 音源の推定方法とその装置 | |
WO2017075788A1 (zh) | 一种防抖拍照方法、装置及照相设备 | |
WO2017143910A1 (zh) | 采集处理方法、装置、***和计算机存储介质 | |
CN107231526B (zh) | 图像处理方法以及电子设备 | |
CN106885622A (zh) | 一种大视场多点三维振动测量方法 | |
JP2016057063A (ja) | 測定対象物の非接触検知方法及びその装置 | |
JP5534870B2 (ja) | 音源推定用画像の作成装置 | |
JP5456563B2 (ja) | 音源推定用画像の表示方法とその装置 | |
JP2010236939A (ja) | 音源推定方法及び音源推定装置 | |
JP5462667B2 (ja) | 音源方向推定機能付き監視カメラ装置 | |
JP6392656B2 (ja) | 音源方向推定方法 | |
JP2001208524A (ja) | 画像処理装置及び画像処理方法 | |
WO2018032565A1 (zh) | 显微镜下样本图片的获取方法、成像装置及其获取样本图片的方法 | |
JP6370646B2 (ja) | Mtf測定装置 | |
JP5242452B2 (ja) | 音源の推定方法とその装置 | |
EP2743885B1 (en) | Image processing apparatus, image processing method and program | |
WO2019113737A1 (en) | Manual focus assist | |
JP2019207464A (ja) | 位相差検出器及び画像処理装置、並びにプログラム | |
JP2011122854A (ja) | 音の到来方向判定システム及びプログラム | |
JP2008148049A (ja) | 振動補正装置、およびこれを用いた撮像装置、並びに振動補正装置の駆動方法 | |
JP4280957B2 (ja) | 画像処理装置および方法、並びに記録媒体 | |
JP2009133642A (ja) | 画像処理装置、撮像装置及び画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130123 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130918 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131008 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131206 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140422 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140422 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5534870 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |