JP6361927B2

JP6361927B2 - 情報処理装置、情報処理方法、およびプログラム

Info

Publication number: JP6361927B2
Application number: JP2015001516A
Authority: JP
Inventors: 正則岩崎
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2014-08-13
Filing date: 2015-01-07
Publication date: 2018-07-25
Anticipated expiration: 2035-01-07
Also published as: JP2016042072A; WO2016024487A1; US10627519B2; US20170212240A1

Description

本開示は、情報処理装置、情報処理方法、およびプログラムに関し、特に、複数の音源の相対音量を検出できるようにした情報処理装置、情報処理方法、およびプログラムに関する。

従来、可干渉性光であるレーザ光を音源に照射し、その反射光の干渉状態を示すスペックル像を解析することにより、音源が発した音声を再現できる発明が存在する（例えば、特許文献１参照）。

ＵＳ２０１０／０２２６５４３

特許文献１の発明によれば、例えば、音声が直接届かないような距離に位置する人物（音源）の喉にレーザ光を照射し、その反射光のスペックル像をビデオ撮像して、スペックル像の振動周波数および振動振幅を抽出、所定の信号処理を行えば、その人物が発している音声を再現することができる。

しかしながら、特許文献１の発明では、複数の音源が存在する場合、それらの相対的な音量を得ることができなかった。

本開示はこのような状況に鑑みてなされたものであり、複数音源の相対的な音量を取得できるようにするものである。

本開示の一側面である情報処理装置は、第１の対象物に対して可干渉性を有する光を照射した場合に得られる前記光の反射光の干渉状態を撮像した第１のスペックル像と、第２の対象物に対して可干渉性を有する光を照射した場合に得られる前記光の反射光の干渉状態を撮像した第２のスペックル像を取得する取得部と、前記第１の対象物までの第１の距離と、前記第２の対象物までの第２の距離を測定する測距部と、前記第１のスペックル像の第１の移動量と、前記第２のスペックル像の第２の移動量を計測する計測部と、前記第１の距離、前記第２の距離、前記第１の移動量、および前記第２の移動量を所定の演算式に代入することで、前記第２の対象物の前記第１の対象物に対する相対的な音量を演算する演算部とを備える。

前記演算部は、前記第１の距離をＬ１、前記第２の距離をＬ２、前記第１の移動量をＨ１、前記第２の移動量をＨ３、および前記第１のスペックル像までの距離をＬ０としたとき、（tan ^−１（Ｈ _３／（Ｌ _２ −Ｌ _０）））／（tan ^−１（Ｈ _１／（Ｌ _１ −Ｌ _０）））を演算することで、前記相対的な音量を演算することができる。

前記第１の対象物と前記第２の対象物に対して可干渉性を有する光を照射する照明部をさらに備えることができる。

前記照明部は、前記第１の対象物と前記第２の対象物に対してレーザ光またはLED光を照射することができる。

前記測距部は、前記照明部から照射される前記可干渉性を有する光を用いて、前記第１の対象物と前記第２の対象物までの距離をそれぞれ測定することができる。

前記測距部は、前記照明部から照射される前記可干渉性を有する光を用いたTOF法により、前記第１の対象物と前記第２の対象物までの距離をそれぞれ測定することができる。

前記測距部は、複数のカメラによって前記第１の対象物と前記第２の対象物をそれぞれ撮像した時の視差を用いて、前記第１の対象物と前記第２の対象物までの距離をそれぞれ測定することができる。

前記測距部は、単一のカメラによって前記第１の対象物と前記第２の対象物をそれぞれ撮像した時の撮像素子上の像高さを用いて、前記第１の対象物と前記第２の対象物までの距離をそれぞれ測定することができる。

前記測距部は、単一のカメラによって前記第１の対象物と前記第２の対象物を撮像画像の画像処理により特定し、特定した前記第１の対象物と前記第２の対象物を撮像した時の撮像素子上の像高さと結像素子の焦点距離を用いて前記第１の対象物と前記第２の対象物までの距離の比をそれぞれ算出するか、または、前記第１の対象物と前記第２の対象物の高さの平均値を用いて前記第１の対象物と前記第２の対象物までの距離をそれぞれ測定することができる。

前記測距部は、単一のカメラによって前記第１の対象物と前記第２の対象物を撮像画像の画像処理により特定し、特定した前記第１の対象物と前記第２の対象物の情報をデータベースから取得し、前記第１の対象物と第２の対象物を撮像した時の撮像素子上の像高さと結像素子の焦点距離を用いて前記第１の対象物と前記第２の対象物までの距離の比をそれぞれ算出するか、または、前記第１の対象物と前記第２の対象物の高さの平均値を用いて前記第１の対象物と前記第２の対象物までの距離をそれぞれ測定することができる。

本開示の一側面である情報処理装置は、前記データベースをさらに備えることができる。

前記測距部は、外部に配置されている前記データベースと通信することにより、特定した前記第１の対象物と前記第２の対象物の情報を取得する。

前記取得部は、前記測距部を兼ねることができる。

前記第１のスペックル像と前記第２のスペックル像を撮像する撮像部のレンズの焦点距離を取得する焦点距離取得部と、前記第１のスペックル像と前記第２のスペックル像が撮像されたときの前記焦点距離を用いて、前記第２の移動量を補正する補正部とをさらに備え、前記演算部は、補正済みの前記第２の移動量を用いて、前記相対的な音量を演算することができる。

前記演算部は、さらに、演算した前記相対的な音量に基づいて、前記第１の対象物と前記第２の対象物のそれぞれの音量を演算することができる。

本開示の一側面である情報処理方法は、情報処理装置が、第１の対象物に対して可干渉性を有する光を照射した場合に得られる前記光の反射光の干渉状態を撮像した第１のスペックル像と、第２の対象物に対して可干渉性を有する光を照射した場合に得られる前記光の反射光の干渉状態を撮像した第２のスペックル像を取得し、前記第１の対象物までの第１の距離と、前記第２の対象物までの第２の距離を測定し、前記第１のスペックル像の第１の移動量と、前記第２のスペックル像の第２の移動量を計測し、前記第１の距離、前記第２の距離、前記第１の移動量、および前記第２の移動量を所定の演算式に代入することで、前記第２の対象物の前記第１の対象物に対する相対的な音量を演算する。

本開示の一側面であるプログラムは、コンピュータを、第１の対象物に対して可干渉性を有する光を照射した場合に得られる前記光の反射光の干渉状態を撮像した第１のスペックル像と、第２の対象物に対して可干渉性を有する光を照射した場合に得られる前記光の反射光の干渉状態を撮像した第２のスペックル像を取得する取得部と、前記第１の対象物までの第１の距離と、前記第２の対象物までの第２の距離を測定する測距部と、前記第１のスペックル像の第１の移動量と、前記第２のスペックル像の第２の移動量を計測する計測部と、前記第１の距離、前記第２の距離、前記第１の移動量、および前記第２の移動量を所定の演算式に代入することで、前記第２の対象物の前記第１の対象物に対する相対的な音量を演算する演算部として機能させる。

本開示の一側面においては、第１の対象物に対して可干渉性を有する光を照射した場合に得られる前記光の反射光の干渉状態を撮像した第１のスペックル像と、第２の対象物に対して可干渉性を有する光を照射した場合に得られる前記光の反射光の干渉状態を撮像した第２のスペックル像が取得され、前記第１の対象物までの第１の距離と、前記第２の対象物までの第２の距離が測定され、前記第１のスペックル像の第１の移動量と、前記第２のスペックル像の第２の移動量が計測され、前記第１の距離、前記第２の距離、前記第１の移動量、および前記第２の移動量を所定の演算式に代入することで、前記第２の対象物の前記第１の対象物に対する相対的な音量が演算される。

本開示の一側面によれば、距離が異なる複数の音源の音量比を得ることができる。

本開示を適用した音声検出システムの構成例を示すブロック図である。図１の情報処理装置の構成例を示すブロック図である。撮像装置、音源、および物平面の位置関係を示す図である。音量の変化に伴うスペックル移動角の変化を示す図である。焦点距離が固定の場合の相対音量測定処理を説明するフローチャートである。撮像装置の焦点距離、カメラ画角、およびイメージセンサのサイズの関係を示す図である。焦点距離が可変の場合の相対音量測定処理を説明するフローチャートである。撮像装置から音源までの相対距離の算出方法を説明するための図である。撮像装置と音源との位置関係を示す図である。音源の結像画像を示す図である。コンピュータの構成例を示すブロック図である。

以下、本開示を実施するための最良の形態（以下、実施の形態と称する）について、図面を参照しながら詳細に説明する。

＜音声検出システムの構成例＞
図１は本開示を適用した音声検出システムの構成例を示している。この音声検出システム１０は、可干渉光源照明装置１１、撮像装置１２、測距装置１３、および情報処理装置１４から構成される。

可干渉光源照明装置１１は、可干渉性光であるレーザ光を発生する光源を内蔵しており、発生したレーザ光を音源２０に照射する。なお、レーザ光を発生する光源の代わりに、部分可干渉性を有するLED光などを発生する光源を採用してもよい。

撮像装置１２は、音発生に伴って振動する音源２０に対して照射された照射光の反射光の干渉状態を表す、物平面上のスペックル像２１をビデオ撮像し、その結果得られる動画像信号を情報処理装置１４に出力する。ただし、物平面は、音源２０からフラウンフォーファ回折の影響が出る距離（Ｄ^２／４λ）以上離れているものとする。ここで、Ｄはレーザ光のスポット径、λはレーザ光の波長である。また、撮像装置１２は、撮像するスペックル像２０までの距離（物側焦点位置）Ｌ_０、および撮像時のレンズの焦点距離ｆも情報処理装置１４に供給する。

測距装置１３は、撮像装置１２から音源２０までの距離Ｌ_１，Ｌ_２等を測定する。距離の測定には、例えば、複数のカメラにより音源２０を撮像し、その結果得られる複数の画像の視差を用いることができる。また、測距装置１３と可干渉光源照明装置１１とを一体化し、可干渉光源照明装置１１がレーザ光などを音源２０に照射しその反射光が測距装置１３に戻るまでの往復時間を計測して距離を求めたりするTOF(time of flight)法を用いることができる。さらに、可干渉光源照明装置１１が照射するレーザ光などの径と、撮像装置１２で撮像されるスペックル像２１の径に基づいて距離を算出するようにしてもよい。

またさらに、測距装置１３は、撮像装置から音源２０までの相対距離を撮像画像から算出するようにしてもよい。ただし、測距装置１３を設ける代わりに、撮像装置１２自身により音源２０までの相対距離を撮像画像から算出するようにしてもよい（詳細後述）。

情報処理装置１４は、撮像されたスペックル像２１の移動量Ｈを計測し、撮像装置１２からの距離が異なる第１音源２０Ａと第２音源２０Ｂ（図３）の音量比を算出する。ここで、スペックル像２１の移動量Ｈとは、音源２０の振動に対応して変化するスペックル像２１の物平面上における変位量を指し、音源２０の音量に比例するものとする。

＜情報処理装置１４の詳細な構成例＞
次に、図２は情報処理装置１４の詳細な構成例を示している。図３は、撮像装置１２、第１音源２０Ａ、第２音源２０Ｂ、および物平面（スペックル像２１）の位置関係を示している。

情報処理装置１４は、スッペクル像取得部３１、スペックル移動量計測部３２、音源距離取得部３３、物平面距離取得部３４、音量比演算部３５、焦点距離取得部３６、焦点距離比演算部３７、およびスペックル移動量補正部３８を有する。

スッペクル像取得部３１は、撮像装置１２が撮像したスペックル像２１の動画像信号を取得する。スペックル移動量計測部３２は、スペックル像２１の移動量Ｈ_１，Ｈ_２を計測する。ただし、スペックル移動量Ｈ_１は、撮像装置１２から距離Ｌ_１に位置する第１音源２０Ａのスペックル像２１に対応し、スペックル移動量Ｈ_２は、撮像装置１２から距離Ｌ_２に位置する第２音源２０Ｂのスペックル像２１に対応するものとする。

音源距離取得部３３は、測距装置１３を制御し、撮像装置１２から第１音源２０Ａまで距離Ｌ_１、撮像装置１２から第２音源２０Ｂまで距離Ｌ_２を測定させて測定結果を取得する。

物平面距離取得部３４は、撮像装置１２からスペックル像２１が現れる物平面までの距離Ｌ_０を撮像装置１２から取得する。音量比演算部３５は、スペックル移動量Ｈ_１，Ｈ_２、および距離Ｌ_０，Ｌ_１，Ｌ_２に基づいて、第１音源２０Ａと第２音源２０Ｂがそれぞれ出力する音声の音量比（第１音源２０Ａと第２音源２０Ｂの一方に対する他方の相対的な音量）を演算する。

焦点距離取得部３６は、撮像装置１２が焦点距離を変更可能なズームレンズを内蔵している場合、スペックル像２１の撮像時の焦点距離ｆ_１，ｆ_２を取得する。ただし、焦点距離ｆ_１は第１音源２０Ａのスペックル像２１の撮像時に対応し、焦点距離ｆ_２は第２音源２０Ｂのスペックル像２１の撮像時に対応するものとする。

焦点距離比演算部３７は、焦点距離ｆ_１，ｆ_２の比ｆ_２／ｆ_１を演算する。スペックル移動量補正部３８は、焦点距離比に基づいて、スペックル移動量Ｈ_３を補正する。この場合、音量比演算部３５は、補正後のスペックル移動量Ｈ_３を用いて音量比を演算することになる。

＜音量比演算の原理＞
次に、音量比（音源２０Ｂの音源２０Ａに対する相対的な音量）を演算する方法について説明する。

図３において、Ｌ_０は撮像装置１２から物平面までの距離を示す。Ｌ_１は撮像装置１２から第１音源２０Ａまでの距離を示す。Ｌ_２は撮像装置１２から第２音源２０Ｂまでの距離を示す。Ｈ_１は第１音源２０Ａに対応するスペックル移動量である。Ｈ_２は第２音源２０Ｂに対応するスペックル移動量である。θ_１は第１音源２０Ａに対応するスペックル移動角である。θ_２は第２音源２０Ｂに対応するスペックル移動角である。θ_Ｃ１は撮像装置１２のレンズの焦点距離がｆ_１である場合のカメラ画角を示す。θ_Ｃ２は撮像装置１２のレンズの焦点距離がｆ_２である場合のカメラ画角を示す。

ここでは、前提条件として、撮像装置１２のレンズの焦点距離は固定されているものとする。また、第２音源２０Ｂの音量は、第１音源２０Ｂの音量と等しいするものとする。この場合、スペックル移動角θ_２＝θ_１となる。

θ_２＝θ_１の関係から次式（１）が成立する。
（Ｌ_１−Ｌ_０）：（Ｌ_２−Ｌ_０）＝Ｈ_１：Ｈ_２
・・・（１）

次に、第２音源２０Ｂの音量が第１音源２０Ａの音量よりも小さくなった場合を考える。

図４は、第２音源２０Ｂの音量が第１音源２０Ａの音量よりも小さくなった場合のスペックル移動角の変化を示している。

この場合のスペックル移動角θ_２は、次式（２）に示されるように、スペックル移動角θ_１よりも小さいθ_３となる。
スペックル移動角θ_２＝θ_３＜θ_１
・・・（２）

そして、スペックル移動角θ_２の変化に伴い、スペックル移動量はＨ_２からＨ_３になる。図４に示された状態は、三角関数を用いて次式（３）のように表すことができる。
第１音源２０Ａに関して、
tanθ_１＝Ｈ_１／（Ｌ_１−Ｌ_０）
第２音源２０Ｂに関して、
tanθ_３＝Ｈ_３／（Ｌ_２−Ｌ_０）
・・・（３）

式（３）より次式（４）が導出される。
θ_１＝tan^−１（Ｈ_１／（Ｌ_１−Ｌ_０））
θ_３＝tan^−１（Ｈ_３／（Ｌ_２−Ｌ_０））
・・・（４）

ところで、第２音源２０Ｂの音量の変化に伴い、スペックル移動角θ_２がθ_１からθ_３となったことから次式（５）が成立するものと考えられる。
第２音源２０Ｂの第１音源２０Ａに対する相対的な音量
＝第２音源２０Ｂの今の音量／第１音源２０Ａの音量
＝θ_３／θ_１
・・・（５）

式（５）に式（４）を代入すれば、第２音源２０Ｂの第１音源２０Ａに対する相対的な音量を演算するための次式（６）を得ることができる。
第２音源２０Ｂの第１音源２０Ａに対する相対的な音量
＝θ_３／θ_１
＝（tan^−１（Ｈ_３／（Ｌ_２−Ｌ_０）））／（tan^−１（Ｈ_１／（Ｌ_１−Ｌ_０）））
・・・（６）

式（６）から、第２音源２０Ｂの第１音源２０Ａに対する相対的な音量は、距離Ｌ_０，Ｌ_１，Ｌ_２、およびスペックル移動量Ｈ_３，Ｈ_１を用いて演算できることが分かる。

＜情報処理装置１４による第１の相対音量測定処理＞
次に、図５は、情報処理装置１４による相対音量測定処理を説明するフローチャートである。

この相対音量測定処理は、撮像装置１２のレンズの焦点距離が固定されていることを前提とする。

ステップＳ１において、可干渉光源照明装置１１は第１音源２０Ａを照射し、撮像装置１２は、第１音源２０Ａからの反射光の干渉状態を表すスペックル像２１Ａを撮像する。スペックル像取得部３１は、撮像されたスペックル像２１Ａの動画像信号を取得してスペックル移動量計測部３２に出力する。

ステップＳ２において、スペックル移動量計測部３２は、スペックル像２１Ａの動画像信号からスペックル移動量Ｈ_１を計測して音量比演算部３５に出力する。ステップＳ３において、音源距離取得部３３は、撮像装置１２から第１音源２０Ａまでの距離Ｌ_１を測距装置１３から取得し、音量比演算部３５に出力する。

ステップＳ４において、可干渉光源照明装置１１は第２音源２０Ｂを照射し、撮像装置１２は、第２音源２０Ｂからの反射光の干渉状態を表すスペックル像２１を撮像する。スペックル像取得部３１は、撮像されたスペックル像２１Ｂの動画像信号を取得してスペックル移動量計測部３２に出力する。

ステップＳ５において、スペックル移動量計測部３２は、スペックル像２１Ｂの動画像信号からスペックル移動量Ｈ_３を計測して音量比演算部３５に出力する。ステップＳ６において、音源距離取得部３３は、撮像装置１２から第２音源２０Ｂまでの距離Ｌ_２を測距装置１３から取得し、音量比演算部３５に出力する。

ステップＳ７において、物平面距離取得部３４は、物平面までの距離Ｌ_０を撮像装置１２から取得し、音量比演算部３５に出力する。

ステップＳ８において、音量比演算部３５は、式（６）に距離Ｌ_０，Ｌ_１，Ｌ_２、およびスペックル移動量Ｈ_３，Ｈ_１の値を代入することにより、音量比（第２音源２０Ｂの第１音源２０Ａに対する相対的な音量）を演算する。以上で、撮像装置１２のレンズの焦点距離が固定されていることを前提とした相対音量測定処理の説明を終了する。

なお、音量が予め判明している音源のスペックル像を撮像し、その移動量を計測して絶対音量としてキャリブレーションして記録することで、第１音源２０Ａの音量を正確に測定可能となり、第１音源２０Ａの音量から音量比演算部３５にて演算された音量比に従って第２音源２０Ｂの音量も正確に得ることが可能となる。

＜撮像装置１２の焦点距離が可変である場合について＞
次に、撮像装置１２の焦点距離が可変である場合について説明する。

図６は、撮像装置１２の焦点距離ｆと、カメラ画角θ_Ｃと、撮像装置１２のイメージセンサのサイズＩ_ｍの関係を示している。

同図に示されるように、焦点距離ｆ_１のときのカメラ画角をθ_Ｃ１とし、焦点距離ｆ_２のときのカメラ画角をθ_Ｃ２とした場合、これらは三角関数を用いた次式（７）の関係がある。
tanθ_Ｃ１＝Ｉ_ｍ／ｆ_１
tanθ_Ｃ２＝Ｉ_ｍ／ｆ_２
・・・（７）

式（７）から次式（８）が導出される。
ｆ_１・tanθ_Ｃ１＝ｆ_２・tanθ_Ｃ２
tanθ_Ｃ２＝（ｆ_１／ｆ_２）tanθ_Ｃ１
・・・（８）

一方、焦点距離ｆ_１、カメラ画角θ_Ｃ１の場合における物平面の高さはＬ_０・tanθ_Ｃ１となり、焦点距離ｆ_２、カメラ画角θ_Ｃ２の場合における物平面の高さはＬ_０・tanθ_Ｃ２となる。よって、スペックル移動量Ｈを焦点距離ｆ_１で撮像した場合におけるイメージセンサ上でのサイズはＨ／Ｌ_０・tanθ_Ｃ１となり、同じスペックル移動量Ｈを焦点距離ｆ_２で撮像した場合におけるイメージセンサ上でのサイズはＨ／Ｌ_０・tanθ_Ｃ２となって、両者の比は次式（９）のとおりとなる。
同じスペック移動量を焦点距離f_１で撮像した場合と焦点距離f_１で撮像した場合のイメージセンサ上のサイズの比
＝（Ｈ／Ｌ_０・tanθ_Ｃ２）／（Ｈ／Ｌ_０・tanθ_Ｃ１）
＝Ｌ_０・tanθ_Ｃ１／Ｌ_０・tanθ_Ｃ２
＝tanθ_Ｃ１／tanθ_Ｃ２
・・・（９）

式（９）に式（８）を代入すれば、次式（１０）を得る。
同じスペック移動量を焦点距離f_１で撮像した場合と焦点距離f_１で撮像した場合のイメージセンサ上のサイズの比
＝ｆ_２／ｆ_１
・・・（１０）

式（１０）から明らかなように、同じスペック移動量を焦点距離f_１で撮像した場合と焦点距離f_２で撮像した場合のイメージセンサ上のサイズの比は焦点距離の比ｆ_２／ｆ_１となる。よって、該焦点距離の比を用いれば、焦点距離ｆ_２で撮像されたスペックル像２１のスペック移動量Ｈを、焦点距離ｆ_１で撮像された場合に得られるスペック移動量Ｈ’に補正することができる。

具体的には、焦点距離ｆ_２で撮像されたスペックル像２１のスペック移動量Ｈに、焦点距離比ｆ_２／ｆ_１の逆数ｆ_１／ｆ_２を乗算すれば、補正済みスペックル移動量Ｈ’を得ることができる。

＜情報処理装置１４による第２の相対音量測定処理＞
次に、図７は、情報処理装置１４による相対音量測定処理を説明するフローチャートである。

この相対音量測定処理は、撮像装置１２のレンズの焦点距離が可変であり、第１音源２０Ａに対応するスペックル像を撮像するときの焦点距離をｆ_１とし、第２音源２０Ｂに対応するスペックル像を撮像するときの焦点距離をｆ_２とする。

ステップＳ２１において、可干渉光源照明装置１１は第１音源２０Ａを照射し、撮像装置１２は、第１音源２０Ａからの反射光の干渉状態を表すスペックル像２１Ａを焦点距離ｆ_１で撮像する。スペックル像取得部３１は、撮像されたスペックル像２１Ａの動画像信号を取得してスペックル移動量計測部３２に出力する。ステップＳ２２において、焦点距離取得部３６は、撮像装置１２から撮像時の焦点距離（いまの場合、ｆ_１）を取得して焦点距離比演算部３７に通知する。

ステップＳ２３において、スペックル移動量計測部３２は、スペックル像２１Ａの動画像信号からスペックル移動量Ｈ_１を計測して音量比演算部３５に出力する。ステップＳ２４において、音源距離取得部３３は、撮像装置１２から第１音源２０Ａまでの距離Ｌ_１を測距装置１３から取得し、音量比演算部３５に出力する。

ステップＳ２５において、可干渉光源照明装置１１は第２音源２０Ｂを照射し、撮像装置１２は、第２音源２０Ｂからの反射光の干渉状態を表すスペックル像２１を焦点距離ｆ_２で撮像する。スペックル像取得部３１は、撮像されたスペックル像２１Ｂの動画像信号を取得してスペックル移動量計測部３２に出力する。ステップＳ２６において、焦点距離取得部３６は、撮像装置１２から撮像時の焦点距離（いまの場合、ｆ_２）を取得して焦点距離比演算部３７に通知する。

ステップＳ２７において、スペックル移動量計測部３２は、スペックル像２１Ｂの動画像信号からスペックル移動量Ｈ_３を計測してスペックル移動量補正部３８に出力する。

ステップＳ２８において、焦点距離比演算部３７は、スペックル像２１Ａ，２１Ｂがそれぞれ撮像されたときの焦点距離比ｆ_２／ｆ_１を演算してスペックル移動量補正部３８に通知する。スペックル移動量補正部３８は、スペックル移動量Ｈ_３に焦点距離比の逆数ｆ_１／ｆ_２を乗算し、その結果得られた補正済みスペックル移動量Ｈ_３を音量比演算部３５に出力する。

ステップＳ２９において、音源距離取得部３３は、撮像装置１２から第２音源２０Ｂまでの距離Ｌ_２を測距装置１３から取得し、音量比演算部３５に出力する。

ステップＳ３０において、物平面距離取得部３４は、物平面までの距離Ｌ_０を撮像装置１２から取得し、音量比演算部３５に出力する。

ステップＳ３１において、音量比演算部３５は、式（６）に距離Ｌ_０，Ｌ_１，Ｌ_２、およびスペックル移動量Ｈ_３，Ｈ_１の値を代入することにより、音量比（第２音源２０Ｂの第１音源２０Ａに対する相対的な音量）を演算する。ただし、スペックル移動量Ｈ_３には、補正済みの値を用いることとする。以上で、撮像装置１２のレンズの焦点距離が可変であることを前提とした相対音量測定処理の説明を終了する。

＜撮像装置１２自身で音源２０までの相対距離を算出する方法について＞
上述した第１および第２の相対音量測定処理の説明では、測距装置１３が撮像装置１２から音源２０までの相対距離Ｌ_１，Ｌ_２を測定するようにしていたが、測距装置１３を省略して、撮像装置１２自身で音源２０までの相対距離を算出し、その相対距離を用いて相対音量を測定するようにしてもよい。

図８は、撮像装置１２と音源２０としての人物Ａ，Ｂの位置関係を表している。図９は、図８の位置関係を上から見た状態を示している。なお、ここでは仮定として、人物Ａと人物Ｂの身長は同じ高さｈ_０とあり、人物Ａは撮像装置１２から距離Ｌ_１の位置に、人物Ｂは撮像装置１２から距離Ｌ_１よりも遠くの距離Ｌ_２の位置に存在するものとする。

撮像装置１２にて人物Ａ，Ｂを焦点距離ｆで撮像すると、撮像装置１２の撮像素子上の結像画像は図１０に示されるとおりとなる。すなわち、結像画像における人物Ａの高さはｈ_１となり、より遠くに位置している人物Ｂの高さはｈ_２となる。この場合、撮像装置１２から人物Ａまでの距離Ｌ_１および人物Ｂまでの距離Ｌ_２は、焦点距離ｆと結像画像における高さによって次式（１１）のとおりに表される。
Ｌ_１＝ｆ×ｈ_０／ｈ_１
Ｌ_２＝ｆ×ｈ_０／ｈ_２
・・・（１１）

式（１１）から次式（１２）に示す距離Ｌ_２が導出される。
Ｌ_２＝Ｌ_１×ｈ_１／ｈ_２
・・・（１２）

なお、式（１２）におけるｈ_１／ｈ_２は結像画像から得ることができるので、距離Ｌ_２は距離Ｌ_１の相対距離として表すことができる。

したがって、距離Ｌ_１を未知のまま、式（６）のＬ_２にＬ_１×ｈ_１／ｈ_２を代入すれば、第２音源２０Ｂの第１音源２０Ａに対する相対的な音量θ_３／θ_１を演算することができる。

ところで、上述した説明では、人物Ａと人物Ｂの身長は同じ高さｈ_０であると仮定したが、両者に身長差があってもよい。一般に、人の大人の身長は150ｃｍから200ｃｍ程度であり、その平均的な身長は国や人種毎に概ね限定された範囲に収まる。例えば、身長が高いことで知られているオランダの男性の平均身長は183.8ｃｍ、女性の平均身長は170.7ｃｍであり、身長が低いことで知られているインドネシアの男性の平均身長は158ｃｍ、女性の平均身長は147ｃｍであり、日本の男性の平均身長は170.7ｃｍ、女性の平均身長は158ｃｍである。

仮に、上述した人物Ａ，Ｂの身長が180ｃｍと150ｃｍであると、身長に6:5の比で誤差が生じるが、言い換えると、6:5程度の相対誤差が許容される用途であれば実用に耐え得る相対的な音量を演算できるといえる。

また、身長以外にも頭部の大きさ、両目の間隔などある程度の範囲で寸法が決まっている部位を撮像して、距離Ｌ_２を距離Ｌ_１の相対距離として表すようにしてもよい。

またさらに、音源２０は人物に限らず、音を発する物体、例えば自動車、電車、自転車、オートバイ、ロボット、動物などでもよい。その場合、その音源２０を撮像画像から抽出して種別を判別し、判別した種別毎の標準的な寸法をデータベースなどから取得し、取得した標準的な寸法に基づいて結像画像のおける高さの比を調整してから、相対音量の算出に利用してもよい。なお、上述したデータベースは、情報処理装置１４の内部に備えてもよいし、情報処理装置１４の外部に配置して通信により適宜必要な情報を取得するようにしてもよい。

本実施の形態においては、複数の音源の相対音量を得ることについて説明したが、本開示は、複数の対象物表面の相対変位量を得る場合にも適用可能である。この場合、本開示の情報処理装置は、機械や建物などの振動をその表面変位量として検出し、その相対変位量の変化から異常の発生を検知する振動モニタとして機能させることが可能となる。

＜コンピュータの構成例＞
ところで、上述した情報処理装置１４の一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図１１は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

コンピュータ２００において、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。

バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、およびドライブ２１０が接続されている。

入力部２０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記憶部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインタフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１１を駆動する。

以上のように構成されるコンピュータ２００では、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５およびバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。

なお、コンピュータ２００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。

本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

１０音声検出システム，１１可干渉光源照明装置，１２撮像装置，１３測距装置，２０音源，２１スペックル像，３１スペックル像取得部，３２スペックル移動量計測部，３３音源距離取得部，３４物平面距離取得部，３５音量比演算部，３６焦点距離取得部，３７焦点距離比演算部，３８スペックル移動量補正部，２００コンピュータ，２０１ CPU

Claims

第１の対象物に対して可干渉性を有する光を照射した場合に得られる前記光の反射光の干渉状態を撮像した第１のスペックル像と、第２の対象物に対して可干渉性を有する光を照射した場合に得られる前記光の反射光の干渉状態を撮像した第２のスペックル像を取得する取得部と、
前記第１の対象物までの第１の距離と、前記第２の対象物までの第２の距離を測定する測距部と、
前記第１のスペックル像の第１の移動量と、前記第２のスペックル像の第２の移動量を計測する計測部と、
前記第１の距離、前記第２の距離、前記第１の移動量、および前記第２の移動量を所定の演算式に代入することで、前記第２の対象物の前記第１の対象物に対する相対的な音量を演算する演算部と
を備える情報処理装置。
前記演算部は、前記第１の距離をＬ１、前記第２の距離をＬ２、前記第１の移動量をＨ１、前記第２の移動量をＨ３、および前記第１のスペックル像までの距離をＬ０としたとき、（tan ^−１（Ｈ _３／（Ｌ _２ −Ｌ _０）））／（tan ^−１（Ｈ _１／（Ｌ _１ −Ｌ _０）））を演算することで、前記相対的な音量を演算する
請求項１に記載の情報処理装置。
前記第１の対象物と前記第２の対象物に対して可干渉性を有する光を照射する照明部を
さらに備える請求項１または２に記載の情報処理装置。
前記照明部は、前記第１の対象物と前記第２の対象物に対してレーザ光またはLED光を照射する
請求項３に記載の情報処理装置。
前記測距部は、前記照明部から照射される前記可干渉性を有する光を用いて、前記第１の対象物と前記第２の対象物までの距離をそれぞれ測定する
請求項３または４に記載の情報処理装置。
前記測距部は、前記照明部から照射される前記可干渉性を有する光を用いたTOF法により、前記第１の対象物と前記第２の対象物までの距離をそれぞれ測定する
請求項３または４に記載の情報処理装置。
前記測距部は、複数のカメラによって前記第１の対象物と前記第２の対象物をそれぞれ撮像した時の視差を用いて、前記第１の対象物と前記第２の対象物までの距離をそれぞれ測定する
請求項３または４に記載の情報処理装置。
前記測距部は、単一のカメラによって前記第１の対象物と前記第２の対象物をそれぞれ撮像した時の撮像素子上の像高さを用いて、前記第１の対象物と前記第２の対象物までの距離をそれぞれ測定する
請求項１から４のいずれかに記載の情報処理装置。
前記測距部は、単一のカメラによって前記第１の対象物と前記第２の対象物を撮像画像の画像処理により特定し、特定した前記第１の対象物と前記第２の対象物を撮像した時の撮像素子上の像高さと結像素子の焦点距離を用いて前記第１の対象物と前記第２の対象物までの距離の比をそれぞれ算出するか、または、前記第１の対象物と前記第２の対象物の高さの平均値を用いて前記第１の対象物と前記第２の対象物までの距離をそれぞれ測定する
請求項１から４のいずれかに記載の情報処理装置。
前記測距部は、単一のカメラによって前記第１の対象物と前記第２の対象物を撮像画像の画像処理により特定し、特定した前記第１の対象物と前記第２の対象物の情報をデータベースから取得し、前記第１の対象物と第２の対象物を撮像した時の撮像素子上の像高さと結像素子の焦点距離を用いて前記第１の対象物と前記第２の対象物までの距離の比をそれぞれ算出するか、または、前記第１の対象物と前記第２の対象物の高さの平均値を用いて前記第１の対象物と前記第２の対象物までの距離をそれぞれ測定する
請求項１から４のいずれかに記載の情報処理装置。
前記データベースをさらに備える
請求項１０に記載の情報処理装置。
前記測距部は、外部に配置されている前記データベースと通信することにより、特定した前記第１の対象物と前記第２の対象物の情報を取得する
請求項１０に記載の情報処理装置。
前記取得部は、前記測距部を兼ねる
請求項８乃至１２のいずれかに記載の情報処理装置。
前記第１のスペックル像と前記第２のスペックル像を撮像する撮像部のレンズの焦点距離を取得する焦点距離取得部と、
前記第１のスペックル像と前記第２のスペックル像が撮像されたときの前記焦点距離を用いて、前記第２の移動量を補正する補正部と
をさらに備え、
前記演算部は、補正済みの前記第２の移動量を用いて、前記相対的な音量を演算する
請求項１乃至１３のいずれかに記載の情報処理装置。
前記演算部は、さらに、演算した前記相対的な音量に基づいて、前記第１の対象物と前記第２の対象物のそれぞれの音量を演算する
請求項１乃至１４のいずれかに記載の情報処理装置。
情報処理装置が、
第１の対象物に対して可干渉性を有する光を照射した場合に得られる前記光の反射光の干渉状態を撮像した第１のスペックル像と、第２の対象物に対して可干渉性を有する光を照射した場合に得られる前記光の反射光の干渉状態を撮像した第２のスペックル像を取得し、
前記第１の対象物までの第１の距離と、前記第２の対象物までの第２の距離を測定し、
前記第１のスペックル像の第１の移動量と、前記第２のスペックル像の第２の移動量を計測し、
前記第１の距離、前記第２の距離、前記第１の移動量、および前記第２の移動量を所定の演算式に代入することで、前記第２の対象物の前記第１の対象物に対する相対的な音量を演算する
情報処理方法。
コンピュータを、
第１の対象物に対して可干渉性を有する光を照射した場合に得られる前記光の反射光の干渉状態を撮像した第１のスペックル像と、第２の対象物に対して可干渉性を有する光を照射した場合に得られる前記光の反射光の干渉状態を撮像した第２のスペックル像を取得する取得部と、
前記第１の対象物までの第１の距離と、前記第２の対象物までの第２の距離を測定する測距部と、
前記第１のスペックル像の第１の移動量と、前記第２のスペックル像の第２の移動量を計測する計測部と、
前記第１の距離、前記第２の距離、前記第１の移動量、および前記第２の移動量を所定の演算式に代入することで、前記第２の対象物の前記第１の対象物に対する相対的な音量を演算する演算部と
して機能させるプログラム。