JP6233023B2 - 音響処理装置、音響処理方法および音響処理プログラム - Google Patents

Description

本発明は、音響処理装置、音響処理方法および音響処理プログラムに関する。

音が人の頭部や耳介の影響を受けて左右の耳に入るまでの時間的な特性を示す頭部インパルス応答(HRIR: Head Related Impulse Response)を用いることで、任意の方向から音が聞こえてくるように人に感じさせる技術がある。この種の技術は、音像定位技術あるいは立体音響技術と呼ばれている。

頭部インパルス応答には個人差がある。そこで、個人の頭部の周囲に設けられた複数の音源のそれぞれを用いて頭部インパルス応答を計測し、計測した複数の頭部インパルス応答を互いに補間することで、任意の方向の頭部インパルス応答を求める技術が提案されている(例えば、特許文献１参照)。また、複数の方向について計測した個人の頭部インパルス応答相互の補間に、複数の人物について計測して蓄積した頭部インパルス応答に対する統計的な学習で求めた共通の頭部インパルス応答を用いる手法が提案されている(例えば、特許文献２，３参照)。

特開２０００−１６６０００号公報 特表２００８−５２７８２１号公報 特開２０１０−４５４８９号公報

複数の方向について計測した個人の頭部インパルス応答を補間することで任意の方向の頭部インパルス応答を生成する従来の技術では、個人の頭部の周囲に例えば等間隔で複数の音源を配置した状態で、個人の頭部インパルス応答の計測が行われる。したがって、この種の技術では、個人の頭部インパルス応答を計測するために、大規模な計測装置が設けられる場合が多く、また、周囲に設けられた音源のそれぞれについて計測が繰り返されるので、頭部インパルス応答の計測作業も煩雑である。

ところで、例えば、展示会などに集まった多数の人物のそれぞれを対象として音像定位技術を用いたサービスを実現するためには、多数の人物のそれぞれに対応して、任意の方向についての頭部インパルス応答を用意することが望ましい。

しかしながら、多数の人物のそれぞれに対応した頭部インパルス応答の計測に大規模な計測装置を準備し、また、煩雑な作業を繰り返すことは、計測装置を設置する場所の制約や時間的な制約のために、実現が困難である。

本件開示の音響処理装置、音響処理方法および音響処理プログラムは、一部の方向について個人毎に計測した頭部インパルス応答を用いて、良好な音像定位を実現する技術を提供することを目的とする。

一つの観点によれば、音響処理装置は、頭部の前方方向の所定の範囲内の複数の第１方向のそれぞれから頭部に音響が到達する際に計測されたインパルス応答に基づいて、所定の範囲の外側の第２方向から頭部に音響が到達する際のインパルス応答の遅延時間を予測する予測部と、第２方向からの音響に対して予めモデル化された基準のインパルス応答の遅延時間を、予測部で予測された遅延時間に合わせて補正する補正部と、を備え、予測部は、頭部とインパルス応答の計測の際に第１方向に設置された音源との位置関係として、音源から到達する音響の遅延時間が、計測されたインパルス応答の遅延時間となる位置関係を特定する特定部と、特定部によって特定された位置関係に基づいて、第２方向から頭部に音響が到達する場合に予測される遅延時間を算出する算出部と、を有する。

別の観点によれば、音響処理方法は、頭部の前方方向の所定の範囲内の複数の第１方向のそれぞれから頭部に音響が到達する際に計測されたインパルス応答に基づいて、所定の範囲の外側の第２方向から頭部に音響が到達する際のインパルス応答の遅延時間を予測する予測工程と、第２方向からの音響に対して予めモデル化された基準のインパルス応答の遅延時間を、予測工程で予測された遅延時間に合わせて補正する補正工程と、を含み、予測工程は、頭部とインパルス応答の計測の際に第１方向に設置された音源との位置関係として、音源から到達する音響の遅延時間が、計測されたインパルス応答の遅延時間となる位置関係を特定する特定工程と、特定工程によって特定された位置関係に基づいて、第２方向から頭部に音響が到達する場合に予測される遅延時間を算出する算出工程と、を有する。

別の観点によれば、音響処理プログラムは、頭部の前方方向の所定の範囲内の複数の第１方向のそれぞれから頭部に音響が到達する際に計測されたインパルス応答に基づいて、所定の範囲の外側の第２方向から頭部に音響が到達する際のインパルス応答の遅延時間を予測する予測工程と、第２方向からの音響に対して予めモデル化された基準のインパルス応答の遅延時間を、予測工程で予測された遅延時間に合わせて補正する補正工程と、を含む処理をコンピュータに実行させ、予測工程は、頭部とインパルス応答の計測の際に第１方向に設置された音源との位置関係として、音源から到達する音響の遅延時間が、計測されたインパルス応答の遅延時間となる位置関係を特定する特定工程と、特定工程によって特定された位置関係に基づいて、第２方向から頭部に音響が到達する場合に予測される遅延時間を算出する算出工程と、を有する。

本発明の音響処理装置、音響処理方法および音響処理プログラムは、一部の方向について個人毎に計測した頭部インパルス応答を用いて、良好な音像定位を実現することができる。

音響処理装置の一実施形態を示す図である。 図１に示した計測装置により個別頭部インパルス応答を計測する範囲の例を示す図である。 個別頭部インパルス応答の例を示す図である。 遅延時間と音源の方向との関係の例を示す図である。 共通頭部インパルス応答の遅延時間の補正例を示す図である。 図１に示した音響処理装置の動作を示す図である。 図２に示したマイクロホンと音源との位置関係の例を示す図である。 音響処理装置の別実施形態を示す図である。 図８に示した算出部によって算出される遅延時間の例を示す図である。 音響処理装置の別実施形態を示す図である。 図１０に示した重み設定部により設定される重みの例を示す図である。 音響処理装置の別実施形態を示す図である。 図１２に示した人物と展示会場内の展示物との位置関係の例を示す図である。 音響処理装置のハードウェア構成の一例を示す図である。 図１４に示した位置検出装置のハードウェア構成例を示す図である。 図１４に示した計測装置の動作を示す図である。 図１４に示した音響ＡＲ装置の動作を示す図である。

以下、図面に基づいて、実施形態を説明する。以下では、所定の計測範囲に含まれる方向ついて個人毎に計測された頭部インパルス応答と、計測範囲に含まれない他の方向について予め用意した共通の頭部インパルス応答とを組み合わせて利用する技術が説明される。

ここで、人物の頭部の向きを基準とする角度で示される様々な方向についての頭部インパルス応答を比較すると、人物の頭部の前方の頭部インパルス応答は、頭部の側方及び後方の頭部インパルス応答に比べて個人差が大きい。そこで、以下では、人物の頭部の向きを含む所定の範囲について個人毎に計測した頭部インパルス応答と、個人毎の計測を行わない範囲についてダミーヘッドを用いた計測などにより予めモデル化された頭部インパルス応答とを組み合わせる場合について説明する。

図１は、音響処理装置の一実施形態を示す。図１に示した音響処理装置１０は、予測部１１と、補正部１２とを含んでいる。また、図１に示した計測装置ＥＱは、図２を用いて説明する所定の計測範囲Ｒの内側に設定された複数の方向である第１方向について、人物Ｑ１に固有の頭部インパルス応答を計測し、計測で得られた人物Ｑ１の頭部インパルス応答を音響処理装置１０に渡す。また、図１に示した記憶装置ＳＤは、計測装置ＥＱによる計測範囲Ｒの外側に設定された複数の方向である第２方向について、ダミーヘッドなどを用いた計測を行うことで得られた別の頭部インパルス応答を示す情報を格納している。記憶装置ＳＤは、音響処理装置１０とは独立した構成要素として設けられてもよいし、音響処理装置１０に含まれていてもよい。

以下の説明において、計測装置ＥＱによる計測で得られる人物Ｑ１に固有の頭部インパルス応答は、個別頭部インパルス応答と称される。また、記憶装置ＳＤに格納された情報で示される別の頭部インパルス応答は、共通頭部インパルス応答と称される。共通頭部インパルス応答は、ダミーヘッドなどを用いた計測によって得られた頭部インパルス応答に限られず、計測範囲Ｒの外側に設定された第２方向からの音響に対して予めモデル化された頭部インパルス応答であればよい。例えば、共通頭部インパルス応答は、多数の人物についての計測で得られた頭部インパルス応答の学習によりモデル化された頭部インパルス応答でもよい。なお、計測装置ＥＱによる個別頭部インパルス応答の計測および共通頭部インパルス応答の計測については、図２を用いて後述する。

図１に示した音響処理装置１０において、予測部１１は、計測装置ＥＱによって第１方向のそれぞれについて計測された個別頭部インパルス応答を受ける。予測部１１は、受けた個別頭部インパルス応答に基づいて、図３及び図４を用いて後述する予測処理を行い、計測装置ＥＱによる計測範囲Ｒの外側に設定された複数の第２方向のそれぞれから人物Ｑ１に音響が到達する場合の遅延時間を予測する。予測部１１において、各第２方向について予測された遅延時間は、補正部１２に渡される。補正部１２は、図５を用いて後述する補正処理を行うことで、記憶装置ＳＤに各第２方向に対応して格納された共通頭部インパルス応答の遅延時間を、同じ方向について予測された遅延時間に合わせる。補正部１２によって遅延時間が補正された共通頭部インパルス応答と計測された個別頭部インパルス応答とは、次に述べる音響ＡＲ（Augmented Reality：拡張現実）装置ＡＲＣに渡される。音響ＡＲ装置ＡＲＣに渡された個別頭部インパルス応答と補正された共通頭部インパルス応答とは、任意の方向に音像を定位させる処理である音像定位処理において、組み合わせて用いられる。

音響ＡＲ装置ＡＲＣは、制御部ＣＮＴと、音声データベースＤＢ１と、例えば、スマートホンやタブレット型端末などの人物Ｑ１によって携帯可能な端末装置ＵＥに内蔵された音響処理部ＳＰとを含んでいる。制御部ＣＮＴは、音声データベースＤＢ１に接続されており、制御部ＣＮＴは、音声データベースＤＢ１に格納された音声情報を取得可能である。また、制御部ＣＮＴと音響処理部ＳＰとは、例えば、無線ＬＡＮ(Local Area Network)などを用いた通信経路により接続されている。音響処理部ＳＰは、制御部ＣＮＴから受けた音声情報に基づいて音響信号を生成する機能を有する。

制御部ＣＮＴは、例えば、音像定位処理により音像が定位させられる方向毎に、音響処理装置１０から渡される個別頭部インパルス応答あるいは補正された共通頭部インパルス応答を対応付ける。例えば、制御部ＣＮＴは、所定の計測範囲Ｒの内側に設定された第１方向のそれぞれと、当該第１方向についての計測で得られた個別頭部インパルス応答との対応関係を示す情報を内部のメモリなどに記憶する。また、制御部ＣＮＴは、計測範囲Ｒの外側に設定された第２方向のそれぞれと、当該第２方向に対応する共通頭部インパルス応答の遅延時間を補正することで得られた補正後の共通頭部インパルス応答との対応関係を示す情報を内部のメモリなどに記憶する。

制御部ＣＮＴは、音声データベースＤＢ１から取得した音声情報を音響処理部ＳＰに渡す際に、音像を定位させる方向に対応して格納された個別頭部インパルス応答あるいは補正された共通頭部インパルス応答を示す情報を内部のメモリなどから読み出す。そして、制御部ＣＮＴは、内部のメモリなどから読み出した情報を、音声情報から生成した音響信号に適用する頭部インパルス応答を示す情報として、音声データベースＤＢ１から取得した音声情報とともに音響処理部ＳＰに渡す。

音響処理部ＳＰは、制御部ＣＮＴから受けた音声情報に基づいて音響信号を生成する。また、音響処理部ＳＰは、内蔵のフィルタを用いて、制御部ＣＮＴから渡される頭部インパルス応答と音声情報から生成した音響信号との畳み込み処理を行い、畳み込み処理後の音響信号を、人物Ｑ１の耳に装着されたイアホンＥＰＬ，ＥＰＲにより出力する。

すなわち、図１に示した音響ＡＲ装置ＡＲＣは、人物Ｑ１に対して第１方向のそれぞれに音像を定位させる音響の生成に、人物Ｑ１に同じ第１方向から音響を到達させた状態で計測された個別頭部インパルス応答を用いる。そして、音響ＡＲ装置ＡＲＣは、人物Ｑ１に対して第２方向に音像を定位させる音響の生成に、第２方向からの音響に対してモデル化された共通頭部インパルス応答の遅延時間を補正することで得られた補正後の共通頭部インパルス応答を用いる。

なお、端末装置ＵＥは、スマートホンやタブレット型端末に限らず、人物Ｑ１による持ち運びが可能であり、イアホンＥＰＬ，ＥＰＲにステレオ音響を出力させるための音響処理部ＳＰを含む装置であればよく、携帯電話や携帯型ゲーム機などでもよい。また、音響ＡＲ装置ＡＲＣの制御部ＣＮＴは、端末装置ＵＥに含まれていてもよいし、また、音響処理装置１０は、音響ＡＲ装置ＡＲＣの制御部ＣＮＴ及び音響処理部ＳＰを含んでもよい。

次に、音響処理装置１０に含まれる予測部１１および補正部１２の機能および動作の説明に先立って、計測装置ＥＱにより、個別頭部インパルス応答を計測する手法について説明する。

図２は、図１に示した計測装置ＥＱにより個別頭部インパルス応答を計測する範囲の例を示す。なお、図２に示す要素のうち、図１に示した要素と同等のものは、同一の符号で示すとともに要素の説明を省略する場合がある。

図２に示した人物Ｑ１の耳ＥＬ，ＥＲのそれぞれには、マイクロホンＭＣＬ，ＭＣＲが装着されている。マイクロホンＭＣＬ，ＭＣＲの出力は、計測装置ＥＱに接続されている。計測装置ＥＱは、インパルス応答の測定用の信号であるＴＳＰ(Time stretched Pulse)信号を生成する機能を有しており、生成したＴＳＰ信号をスピーカＳ１に入力する。なお、図２の例では、スピーカＳ１は、人物Ｑ１の頭部の正面の方向を示す向きＤｉｒを基準にして角度θ１の方向に人物Ｑ１から距離Ｄの位置に設置されている。また、図２において、点線で示した円形Ｓ’は、図２とともに図４を用いて後述する共通頭部インパルス応答の計測に用いられる音源の一例を示す。

計測装置ＥＱは、例えば、スピーカＳ１から人物Ｑ１に到達した音響を、マイクロホンＭＣＬ，ＭＣＲで得られる音響信号として受ける。そして、受けた音響信号で示されるインパルス応答を、人物Ｑ１の頭部の向きＤｉｒから角度θ１で示される方向について個別頭部インパルス応答として音響処理装置１０に渡す。即ち、計測装置ＥＱは、個別頭部インパルス応答を計測する。

同様にして、計測装置ＥＱは、人物Ｑ１の頭部の向きＤｉｒを中心軸とし、中心角２φの扇形で示される計測範囲Ｒにおいて、スピーカＳ１が設置される角度θ１を変えながら、個別頭部インパルス応答の計測を行う。例えば、計測装置ＥＱは、計測範囲Ｒを示す扇形の弧上に計測を行う角度θ１のそれぞれで示される位置に設置された複数のスピーカＳ１のそれぞれに順次にＴＳＰ信号に対応する音響を発生させる。そして、計測装置ＥＱは、各スピーカＳ１の位置に対応する第１方向（例えば、角度θ１の方向）から人物Ｑ１に到達した音響を示す音響信号から、第１方向のそれぞれについての個別頭部インパルス応答を求める。なお、図２に示した計測範囲Ｒは、人物Ｑ１の正面の向きＤｉｒを基準とする角度が所定の範囲内である計測範囲の一例であり、角度θ１で示される方向は、計測範囲Ｒの内側に設定された複数の第１方向の一例である。また、計測範囲Ｒを示す扇形の中心角２φは、例えば、角度１８０度よりも小さい角度であり、１２０度〜１５０度程度に設定されることが望ましい。

図２に示した計測範囲Ｒに含まれる各方向についての個別頭部インパルス応答の計測は、人物Ｑ１の周囲の３６０度方向について頭部インパルス応答を計測する場合に比べて少ないスペースで計測を行うことができる。このため、人物Ｑ１の周囲の３６０度方向について頭部インパルス応答を計測する場合に比べて、スピーカＳ１の設置数及びスピーカＳ１と計測装置ＥＱとを接続する配線数を削減することができ、また、計測時間も短縮できる。

次に、人物Ｑ１の頭部を基準とする所定の範囲について計測された個別頭部インパルス応答の遅延時間を用いて、共通頭部インパルス応答の遅延時間を補正する手法について説明する。

図１に示した予測部１１は、計測装置ＥＱから受けた個別頭部インパルス応答に基づいて、図２に示した計測範囲Ｒの外側に設定された複数の第２方向のそれぞれから音響が到達する際のインパルス応答の遅延時間を予測する。

予測部１１は、各第１方向の個別頭部インパルス応答に基づいて、第１方向のそれぞれから音響が人物Ｑ１の頭部に到達する際の遅延時間を特定する。例えば、予測部１１は、計測装置ＥＱから受けた個別頭部インパルス応答において、音響が発生した時刻から波形の振幅が所定の閾値以上となるまでの時間を遅延時間とする。なお、遅延時間の特定に用いる閾値は、例えば、音響信号において、雑音成分を判別する際に用いられる閾値と同等の値を設定することが望ましい。

図３は、個別頭部インパルス応答の例を示す。なお、図３に示した座標軸ｔは、音響が生成された時刻からの時間を示し、座標軸Ｐは音圧を示す。ここで、音響が生成された時刻としては、図２に示した計測装置ＥＱからスピーカＳ１にＴＳＰ信号が渡された時刻を用いることが望ましい。

図３の例は、図２において角度θ１で示した方向から人物Ｑ１の頭部に音響を到達させた際にマイクロホンＭＣＬ，ＭＣＲのいずれかで得られた音響信号から求めた個別頭部インパルス応答の波形を示す。図３の例において、図２において角度θ１で示される方向についての個別頭部インパルス応答の遅延時間は、座標軸ｔの原点（ｔ＝０）から個別頭部インパルス応答を示す波形が閾値Ｔｈｐを初めて超えるまでの時間δｐ（θ１）で示される。なお、図３の例では、人物Ｑ１の耳の一方について求められた個別頭部インパルス応答を示し、他方の耳について求められた個別頭部インパルス応答の図示は省略されている。

予測部１１は、図２に示した計測範囲Ｒの内側に設定された各第１方向（例えば、図２のθ１）と、個別頭部インパルス応答の遅延時間δｐ（θ１）との関係から、計測範囲Ｒの外側の他の方向からの音響に対するインパルス応答の遅延時間を予測する。

図４は、遅延時間と音源の方向との関係の例を示す。図４において、座標軸θは、図２に示した人物Ｑ１の頭部の向きＤｉｒを基準とする音源の方向を示し、座標軸ｔは、図３に示した遅延時間を示す。なお、図４の例において、図２に示した人物Ｑ１の頭部の正面の向きＤｉｒから時計回りで測った角度は、座標軸θにおいて正の値として示され、人物Ｑ１の頭部の向きＤｉｒから反時計回りに測った角度は、座標軸θにおいて負の値として示される。すなわち、図２に示した計測範囲Ｒは、図４に示した座標軸θにおいて、角度「−φ」〜角度「＋φ」の範囲に相当する。

また、図４の例において、黒丸のそれぞれは、図２に示した計測範囲Ｒに設定された複数の第１方向のそれぞれに配置された音源から音響が人物Ｑ１の一方の耳に到達する場合について計測された個別頭部インパルス応答が示す遅延時間を示す。例えば、黒色の円形Ｐｍ（θ１）は、図２に示した人物Ｑ１の頭部の向きＤｉｒに対して角度θ１の方向に音源（例えば、スピーカＳ１）がある場合について計測された個別頭部インパルス応答に現れる遅延時間を示す。なお、図４においては、人物Ｑ１の他方の耳に音響が到達する場合について計測された個別頭部インパルス応答が示す遅延時間と音源の方向との関係についての図示は省略されている。

図１に示した予測部１１は、例えば、図４に示した複数の黒丸の分布に近似する曲線ＣＶを求めることで、音源の方向と遅延時間との関係を推定する。そして、予測部１１は、推定した関係を示す曲線ＣＶに基づいて、図２に示した計測範囲Ｒの外側に設定された第２方向のそれぞれに音源を配置した計測を行った場合に想定される個別頭部インパルス応答が示す遅延時間を予測する。なお、予測部１１において、計測された個別頭部インパルス応答で示される遅延時間から計測範囲Ｒの外側に設定される各方向から音響が到達する場合に予測される遅延時間を求める方法は、図４に示した曲線ＣＶを求める方法に限られない。例えば、予測部１１は、図７から図９を用いて後述する手法を用いて、音源の方向と遅延時間との関係を推定してもよい。

図１に示した記憶装置ＳＤには、図２に示した計測範囲Ｒの外側に設定された第２方向のそれぞれについて、ダミーヘッドなどを用いて予め計測された共通頭部インパルス応答を示す情報が記憶されている。なお、共通頭部インパルス応答は、ダミーヘッドを用いて計測された頭部インパルス応答に限られない。例えば、共通頭部インパルス応答は、図２に示した人物Ｑ１とは別の人物の頭部に図２に示した計測範囲Ｒの外側に設定された第２方向のそれぞれから音響を到達させた状態で計測した頭部インパルス応答でもよい。また、図２において、点線で示した円形Ｓ’は、共通頭部インパルス応答の計測に用いた音源の一例を示す。

ここで、図２に示した人物Ｑ１の頭部と個別頭部インパルス応答の計測に用いられた音源であるスピーカＳ１との距離Ｄと、ダミーヘッドと共通頭部インパルス応答の計測に用いられた音源Ｓ’との距離Ｄ’とは、厳密には一致しない場合がある。なぜなら、人物Ｑ１の両耳を結ぶ線分の中点およびダミーヘッドの両耳を結ぶ線分の中点のそれぞれを、計測範囲Ｒを示す扇形の中心に位置決めすることは困難だからである。同様に、人物Ｑ１の両耳間の距離と、共通頭部インパルス応答の計測のためにダミーヘッドに装着された２つのマイクロホン相互の距離とは、厳密には一致しない場合がある。このため、図２に示した計測範囲Ｒの外側に設定された第２方向のそれぞれについて予測された遅延時間と、対応する方向に音源がある場合について記憶装置ＳＤに記憶された共通頭部インパルス応答が示す遅延時間とは一致しない場合がある。例えば、人物Ｑ１の頭部の向きＤｉｒから角度θ２（θ２＜−φ）の方向について図４に示した曲線ＣＶから予測される遅延時間τ（θ２）と、同じ角度θ２で示される方向に音源Ｓ’がある場合の共通頭部インパルス応答が示す遅延時間とは、必ずしも一致しない。

そこで、図１に示した補正部１２は、図２に示した計測範囲Ｒの外側に設定された複数の第２方向のそれぞれについて記憶装置ＳＤに記憶された共通頭部インパルス応答に、予測部１１によって対応する方向について求められた遅延時間を示させる補正を行う。

図５は、共通頭部インパルス応答の遅延時間の補正例を示す。図５において、座標軸ｔは、共通頭部インパルス応答における時間の経過を示し、座標軸Ｐは、音圧を示す。

図５(Ａ)は、図２に示した人物Ｑ１の頭部の位置に、ダミーヘッドの正面の向きを人物Ｑ１の頭部の向きＤｉｒと一致させて配置し、頭部の向きＤｉｒと角度θ２で交差する方向から音響を到達させた状態で計測された頭部インパルス応答の例である。即ち、図５(Ａ)に示した頭部インパルス応答は、図１に示した記憶装置ＳＤに角度θ２に対応して記憶された共通頭部インパルス応答の一例である。なお、角度θ２で示される方向は、図２に示した計測範囲Ｒの外側に設定された第２方向の一つである。図５(Ａ)に示した共通頭部インパルス応答の遅延時間は、共通頭部インパルス応答を表す波形が閾値Ｔｈｐを初めて超える時刻δｃ(θ２)で示される。

また、図５（Ｂ）は、図１に示した補正部１２で得られる補正された共通頭部インパルス応答の例を示す。すなわち、補正部１２は、図５（Ａ）に示した共通頭部インパルス応答の遅延時間を補正することで、図５（Ｂ）に示す補正後の共通頭部インパルス応答を得る。

図１に示した補正部１２は、記憶装置ＳＤに第２方向のそれぞれについて保持されている共通頭部インパルス応答を時間軸方向において移動させることで、第２方向のそれぞれについて予測部１１によって予測された遅延時間に合わせる。

例えば、補正部１２は、図２に示した頭部の向きＤｉｒから角度θ２の方向について、図４に示した関係から予測された遅延時間τ（θ２）と図５（Ａ）に示した共通頭部インパルス応答の遅延時間δｃ（θ２）との差分ｄτを求める。そして、補正部１２は、差分ｄτがなくなるように、角度θ２で示される方向の共通頭部インパルス応答を座標軸ｔ上で移動させる。補正部１２は、以上に説明した補正を行うことで、移動後の共通頭部インパルス応答の波形が閾値Ｔｈｐを超えるまでの経過時間と、予測部１１によって予測された遅延時間とをほぼ同等にする。

図６は、図１に示した音響処理装置１０の動作を示す。図６に示したステップＳ３０１〜ステップＳ３０３の処理は、図１に示した音響処理装置１０の動作を示す。また、図６に示した各ステップの処理は、個人について計測された個別頭部インパルス応答と予め用意された共通頭部インパルス応答とを用いて任意の方向についての音像定位を実現するための音響処理方法および音響処理プログラムの例を示す。例えば、図６に示す処理は、音響処理装置１０に搭載されたプロセッサが音響処理プログラムを実行することで実現される。なお、図６に示す処理は、音響処理装置１０に搭載されるハードウェアによって実行されてもよい。

ステップＳ３０１において、図１に示した音響処理装置１０は、例えば、図２に示した計測範囲Ｒの内側に設定された複数の第１方向のそれぞれについて、計測装置ＥＱによって計測された個別頭部インパルス応答を受ける。

ステップＳ３０２において、図１に示した予測部１１は、計測された個別頭部インパルス応答から、図２に示した計測範囲Ｒの外側に設定された複数の第２方向について計測した場合に得られる個別頭部インパルス応答が示す遅延時間を予測する。

ステップＳ３０３において、図１に示した補正部１２は、第２方向のそれぞれに対応する共通頭部インパルス応答が示す遅延時間を、ステップＳ３０２の処理で予測された遅延時間に近づける補正を行う。

以上に説明したステップＳ３０３の処理で遅延時間が補正された共通頭部インパルス応答は、ステップＳ３０１の処理で計測装置ＥＱから受けた個別頭部インパルス応答とともに、図１に示した音響ＡＲ装置ＡＲＣに渡される。

そして、音響ＡＲ装置ＡＲＣは、図２に示した計測範囲Ｒの内側に設定された第１方向に音像を定位させる音響の生成に、同じ方向からの音響に対して計測された個別頭部インパルス応答を用いる。また、音響ＡＲ装置ＡＲＣは、計測範囲Ｒの外側に設定された第２方向に音像を定位させる音響の生成に、同じ方向からの音響に対してモデル化された共通頭部インパルス応答の遅延時間を補正することで得られた補正後の共通頭部インパルス応答を用いる。

つまり、図１に示した音響ＡＲ装置ＡＲＣにおいて、第２方向に音像を定位させる音響の生成に用いられる頭部インパルス応答の遅延時間は、同じ第２方向について予測部１１によって予測された遅延時間とほぼ同等になる。ここで、予測部１１によって予測された遅延時間は、図２に示したスピーカＳ１が配置された弧の延長上に設置された別のスピーカＳ１’から人物Ｑ１に音響を到達させた状態で計測される頭部インパルス応答の遅延時間とほぼ同等である。

即ち、図１に示した音響処理装置１０は、任意の方向に音像を定位させるために音響ＡＲ装置ＡＲＣによって生成される音響において、対応する方向についての個別頭部インパルス応答が示す遅延時間を再現することができる。したがって、図１に示した音響処理装置１０を用いることにより、人物Ｑ１に聴取させる音響が有する遅延時間の観点において、全ての方向につき個別頭部インパルス応答を計測した場合と同等の良好な音像定位を実現することができる。

ここで、人間は、両耳のそれぞれで聴取した音響の時間差に基づいて、聴取した音響に対応する音源の方向を知覚する。したがって、任意の方向に音像を定位させる音響において、対応する方向についての個別頭部インパルス応答が示す遅延時間を再現することで、人物Ｑ１と音源との相対位置が変化する場合にも、人物Ｑ１に不自然な印象を与えない音響を聴取させることができる。

また、図２を用いて説明したように、計測範囲Ｒに含まれる各方向について個別頭部インパルス応答を計測するために用いるスペースは、人物Ｑ１の周囲３６０度についての計測のために用いられるスペースよりも小さい。更に、計測範囲Ｒを分割して得られる複数の範囲ごとに個別頭部インパルス応答を計測することで、個別頭部インパルス応答の計測のために用意するスペースを縮小することも可能である。例えば、計測範囲Ｒを示す扇形の内角をｎ(ｎは２以上の整数)個に分割して得られる図形に外接する程度の大きさの矩形を底面とする箱型のブース内に、回転可能なイスと複数のスピーカとを対向させて配置することで、個別頭部インパルス応答の計測は可能である。この場合に、図２に計測範囲Ｒに含まれる各方向の個別頭部インパルス応答は、イスに着席した人物Ｑ１と複数のスピーカとの相対位置を変えて、計測処理をｎ回繰り返すことで計測することができる。

以上に説明したように、図１に示した音響処理装置１０で用いる個別頭部インパルス応答の計測は、従来の技術で用いられたような大規模な設備を用いなくても実現することが可能である。したがって、例えば、展示会などの会場の一角などに、個別頭部インパルス応答の計測用のブースを設け、展示会などに集まった多数の人物のそれぞれについて、個別頭部インパルス応答の計測を行うことが可能である。そして、多数の人物のそれぞれについての計測で得られた個別頭部インパルス応答を用いて、各人物に対して音像定位技術を用いたサービスを提供することが可能となる。なお、図１に示した音響処理装置１０を用いて、例えば、人物Ｑ１に対して音像定位技術を用いたサービスを提供する音響ＡＲシステムについては、図１２〜図１７を用いて後述する。

次に、図１に示した予測部１１において、計測に用いられたマイクロホンと音源との位置関係を推定することで、人物Ｑ１の頭部の向きＤｉｒを基準とする音源の方向と、個別頭部インパルス応答が示す遅延時間との関係を推定する手法について説明する。

図７は、図２に示したマイクロホンＭＣＬ，ＭＣＲとスピーカＳ１との位置関係の例を示す。なお、図７に示す要素のうち、図２に示した要素と同等のものは、同一の符号で示すとともに要素の説明を省略する場合がある。また、図７に示したスピーカＳ１は、個別頭部インパルス応答の計測に用いられた音源の一例である。

図７において、線分ＤＬおよび線分ＤＲは、スピーカＳ１と２つのマイクロホンＭＣＬ，ＭＣＲとを互いに結んで得られる三角形の辺のうち、スピーカＳ１に相当する頂点を挟む２つの辺をそれぞれ示す。即ち、図７に示した線分ＤＬの長さ｜ＤＬ｜は、スピーカＳ１からマイクロホンＭＣＬまでの距離を示し、線分ＤＲの長さ｜ＤＲ｜は、スピーカＳ１からマイクロホンＭＣＲまでの距離を示す。また、線分Ｄは、２つのマイクロホンＭＣＬ，ＭＣＲを互いに結ぶ線分の中点ＱｃとスピーカＳ１とを結んで得られる線分を示す。そして、線分Ｄの長さＹは、２つのマイクロホンＭＣＬ，ＭＣＲを互いに結ぶ線分Ｗの中点ＱｃからスピーカＳ１までの距離を示し、線分Ｗの長さＸは、２つのマイクロホンＭＣＬ，ＭＣＲ間の距離を示す。すなわち、線分Ｄの長さＹは、人物Ｑ１の両耳を結ぶ線分の中点からスピーカＳ１までの距離を示し、線分Ｗの長さＸは、人物Ｑ１の両耳の間の距離を示す。

スピーカＳ１が人物Ｑ１の頭部の正面の向きＤｉｒを基準として角度θの方向にある場合に、スピーカＳ１からマイクロホンＭＣＬ、ＭＣＲまでの距離｜ＤＬ｜および距離｜ＤＲ｜のそれぞれは、角度θの関数として式(１)、式(２)で表される。なお、式(１)、式(２)において、符号Ｙは、線分Ｗの中点ＱｃからスピーカＳ１までの距離を示し、符号Ｘは、２つのマイクロホンＭＣＬ，ＭＣＲ間の距離Ｘを示す。

そして、スピーカＳ１で発生した音響をマイクロホンＭＣＬ，ＭＣＲで受けた際に得られる音響信号から頭部インパルス応答を求めた場合に、求めた頭部インパルス応答に現れる遅延時間ＴＬ，ＴＲは、式(３)、式(４)で示される。なお、式(３)および式(４)において、符号ＤＬ(θ)は、角度θの関数として式(１)で表されるスピーカＳ１からマイクロホンＭＣＬまでの距離を示す。また、符号ＤＲ(θ)は、角度θの関数として式(２)で表されるスピーカＳ１からマイクロホンＭＣＲまでの距離を示す。そして、符号Ｖは、空気中の音速を示し、符号Ｃは、図１に示した計測装置ＥＱによる頭部インパルス応答の計測処理にかかる処理時間などを含む固定のオフセット時間を示す。

式(１)から式(４)に示した関係を用いれば、計測装置ＥＱを用いて複数の方向について計測された個別頭部インパルス応答のそれぞれに現れた遅延時間に基づいて、図７に示した距離Ｘ，距離Ｙと式(３)、(４)に示したオフセット時間Ｃとを推定することができる。ここで、図７に示した距離Ｘ，距離Ｙと式(３)、(４)に示したオフセット時間Ｃとは、人物Ｑ１の個別頭部インパルス応答を計測した際に固有のパラメータであり、計測装置ＥＱによる人物Ｑ１についての計測を特徴付ける計測条件である。即ち、音響処理装置１０の予測部１１において上述の式(１)から式(４)に示した関係を用いることで、一部の方向について計測された個別頭部インパルス応答から、計測時における人物Ｑ１の両耳と音源との位置関係を含む計測条件を推定することができる。そして、推定された計測条件に基づいて、計測装置ＥＱによる計測が行われていない任意の方向について、人物Ｑ１の個別頭部インパルス応答が示すと予想される遅延時間を求めることができる。

図８は、音響処理装置１０の別実施形態を示す。なお、図８に示す構成要素のうち、図１に示した構成要素と同等のものは、同一の符号で示すとともに構成要素の説明を省略する場合がある。

図８に示した音響処理装置１０は、予測部１１および補正部１２に加えて、記憶装置ＳＤと生成部１３とを含んでいる。図８の例では、計測装置ＥＱによる第１方向のそれぞれについての計測で得られた個別頭部インパルス応答（個別ＨＲＩＲ：Head Related Impulse Response）ＰＩＲは、例えば、第１方向のそれぞれに対応して記憶装置ＳＤに格納される。また、記憶装置ＳＤは、第２方向のそれぞれに対応して予め用意された共通頭部インパルス応答(共通ＨＲＩＲ)ＣＩＲを格納しており、補正部１２は、記憶装置ＳＤにアクセスすることで、共通頭部インパルス応答ＣＩＲを取得する。そして、補正部１２によって補正された共通頭部インパルス応答(補正ＨＲＩＲ)ＡＩＲは、記憶装置ＳＤに格納される。

図８に示した生成部１３は、例えば、設定部１３１と、選択部１３２と、音響処理部ＳＰと、記憶部ＭＥＭとを含んでいる。図８に示した音響処理部ＳＰは、例えば、端末装置ＵＥに搭載されたハードウェアである。また、記憶部ＭＥＭは、端末装置ＵＥに内蔵されたメモリの一部を用いて実現される。そして、選択部１３２は、例えば、端末装置ＵＥに搭載されたプロセッサにより、図１７を用いて後述するアプリケーションプログラムを実行することによって実現される。また、設定部１３１は、例えば、無線ＬＡＮなどのネットワークＮＷを介して端末装置ＵＥに接続されており、記憶部ＭＥＭに対するアクセスが可能である。

図８に示した生成部１３において、設定部１３１は、図２に示した計測範囲Ｒの内側に設定された第１方向のそれぞれに対応して、当該第１方向についての計測で得られた個別頭部インパルス応答を記憶部ＭＥＭに記憶させる。また、設定部１３１は、計測範囲Ｒの外側に設定された第２方向のそれぞれに対応して、当該第２方向についての共通頭部インパルス応答の遅延時間を補正することで得られた補正後の共通頭部インパルス応答を記憶部ＭＥＭに記憶させる。

選択部１３２は、例えば、ネットワークＮＷを介して、サーバ装置ＳＶから音像を定位させる方向を示す情報を受け、受けた情報で示される方向に対応して記憶部ＭＥＭに格納された個別頭部インパルス応答あるいは補正後の共通頭部インパルス応答を読み出す。そして、選択部１３２は、読み出した個別頭部インパルス応答あるいは補正後の共通頭部インパルス応答を、サーバ装置ＳＶからの情報で示された方向に音像を定位させる音響の生成に用いるインパルス応答として音響処理部ＳＰに渡す。

また、音声データベースＤＢ１に蓄積された音響情報は、例えば、サーバ装置ＳＶによって読み出され、ネットワークＮＷを介して、音響処理部ＳＰに渡される。そして、音響処理部ＳＰは、サーバ装置ＳＶから渡された音響情報から生成した音響信号と選択部１３２から渡されたインパルス応答との畳み込み処理を行うことで、サーバ装置ＳＶからの情報で示された方向に音像を定位させる音響を生成する。

即ち、図８に示した生成部１３は、補正部１２で遅延時間が補正された共通頭部インパルス応答を用いて、第２方向に音像を定位させる音響を生成する。そして、生成部１３は、計測装置ＥＱによって計測された個別頭部インパルス応答を用いて、第１方向に音像を定位させる音響の生成を行う。また、図８に示したサーバ装置ＳＶおよび選択部１３２は、図１に示した音響ＡＲ装置ＡＲＣの制御部ＣＮＴに相当する機能を果たす。

図８に示した音響処理装置１０において、予測部１１は、特定部１１１と、算出部１１２とを含んでいる。特定部１１１は、人物Ｑ１の頭部と個別頭部インパルス応答の計測の際に各第１方向に設置された音源との位置関係として、各音源から到達する音響の遅延時間が、計測された個別頭部インパルス応答のそれぞれの遅延時間となる位置関係を特定する。算出部１１２は、特定された計測条件に基づいて、第２方向のそれぞれから人物Ｑ１の頭部に音響が到達する場合に予測される遅延時間を算出し、第２方向のそれぞれについて算出した遅延時間を補正部１２に渡す。

特定部１１１は、例えば、上述の式（１）から式（４）に示した関係を用いて、個別頭部インパルス応答が計測された際の計測条件として、図７に示した距離Ｘ，距離Ｙと式（３）、（４）に示したオフセット時間Ｃとを求める。ここで、図７に示した角θで示される第１方向についての計測で左耳について得られた遅延時間ｔＬ（θ）に含まれる誤差は、遅延時間ｔＬ（θ）と式（３）で求められる遅延時間ＴＬ（θ）との差で示される。同様に、角θで示される第１方向のそれぞれについての計測で右耳について得られた遅延時間ｔＲ（θ）に含まれる誤差は、遅延時間ｔＲ（θ）と式（４）で求められる遅延時間ＴＲ（θ）との差で示される。そこで、特定部１１１は、図７に示した角度θが値−φから値φの範囲で変化する場合について、例えば、式（５）で示される誤差の二乗和Ｅを最小化するパラメータのセットとして、図７に示した距離Ｘ，距離Ｙとオフセット時間Ｃとを特定する。なお、式（５）において、角度θの変域の下限として示した値−φから角度θの上限として示した値φまでの範囲は、図２に示した計測範囲Ｒの内側に相当する。

そして、算出部１１２は、特定部１１１によって特定されたパラメータと上述の式（１）〜式（４）とを用いることで、図２に示した計測範囲Ｒの外側に設定された複数の第２方向のそれぞれにおいて予測される遅延時間を算出する。つまり、算出部１１２は、特定されたパラメータＸ，Ｙと第２方向を示す角度θとを式（１）を代入することで、個別頭部インパルス応答の計測条件が再現された場合に、計測範囲Ｒの外側に設置された音源から人物Ｑ１の左耳までの距離ＤＬ（θ）を求める。同様に、算出部１１２は、特定されたパラメータＸ，Ｙと第２方向を示す角度θとを式（２）に代入することで、個別頭部インパルス応答の計測条件が再現された場合に、計測範囲Ｒの外側に設置された音源から人物Ｑ１の右耳までの距離ＤＲ（θ）を求める。そして、算出部１１２は、式（１）を用いて求めた距離ＤＬ（θ）と特定されたパラメータＣとを式（３）に代入することで、個別頭部インパルス応答の計測条件が再現された状態で、第２方向からの音響に対して得られるインパルス応答の遅延時間を算出する。同様に、算出部１１２は、式（２）を用いて求めた距離ＤＲ（θ）と特定されたパラメータＣとを式（４）に代入することで、個別頭部インパルス応答の計測条件が再現された状態で、第２方向からの音響に対して得られるインパルス応答の遅延時間を算出する。

図９は、図８に示した算出部１１２によって算出される遅延時間の例を示す。なお、図９に示す要素のうち、図４に示した要素と同等のものは、同一の符号で示すとともに構成要素の説明を省略する場合がある。

図９(Ａ)は、図８に示した計測装置ＥＱによる計測で得られた個別頭部インパルス応答の遅延時間と式（１）〜式（５）とに基づいて特定部１１１によって特定されたパラメータを用いた場合に、算出部１１２によって算出される遅延時間の例を示す。また、図９（Ｂ）は、図１０を用いて後述する別の特定部１１１ａによって特定されたパラメータを用いた場合に算出部１１２によって算出される遅延時間の例を示す。

まず、図９（Ａ）の例について説明する。図９（Ａ）に示した黒丸のそれぞれは、計測装置ＥＱによる計測範囲Ｒに含まれる複数の第１方向のそれぞれについて得られた個別頭部インパルス応答の遅延時間を示す。また、図９（Ａ）に示した曲線ＣＶａは、式（５）で示される誤差の二乗和Ｅを最小化するパラメータを代入した式（３）あるいは式（４）から算出された遅延時間の角度θに対応する変化を示す。そして、図９（Ａ）に示した白丸のそれぞれは、図８に示した記憶装置ＳＤに格納された共通頭部インパルス応答のそれぞれに対応する第２方向について、算出部１１２によって算出される遅延時間を示す。

ここで、上述した式（５）で示される誤差の二乗和Ｅにおいては、計測で得られた全ての遅延時間に同等の重みが与えられている。このため、式（５）を用いる特定部１１１によって得られるパラメータのセットは、図９（Ａ）に示した全ての黒丸の分布を近似する曲線ＣＶａを与えるパラメータのセットとなる。しかしながら、曲線Ｃｖａを与えるパラメータのセットと式（１）から式（４）とを用いて、計測範囲Ｒの内側と外側の境界を示す境界方向の遅延時間を算出すると、計測で得られた遅延時間と算出される遅延時間との間に差が生じる場合がある。例えば、図９(Ａ)の例では、計測範囲Ｒの境界方向を示す角度θ＝−φについて計測された個別頭部インパルス応答に表れる遅延時間Ｐｍ(−φ)と、特定されたパラメータのセットを用いて算出された遅延時間Ｔａ(−φ)との間には差ｄが生じている。

図９（Ａ）の例に示した差ｄは、計測範囲Ｒの内側に設定された第１方向のそれぞれからの音響に対して計測された個別頭部インパルス応答に含まれる誤差によって発生する。このような差ｄが生じていると、計測範囲Ｒの境界付近において、計測で得られた個別頭部インパルス応答が示す遅延時間と、共通頭部インパルス応答の補正に用いる遅延時間とが滑らかに接続しなくなる。例えば、図９（Ａ）の例では、計測範囲Ｒの境界付近に設定された第２方向を示す角度θ３について算出された遅延時間Ｔａ（−θ３）と境界方向についての計測で得られた遅延時間Ｐｍ（−φ）との間に、差ｄと同程度の大きさを持つギャップｄＡが生じている。そして、このようなギャップｄＡが生じていると、計測範囲Ｒの境界付近で音像を定位させる方向が変化した際に、人物Ｑ１に聴取させる音響に不自然な無音時間が発生する場合や、順次に聴取されるはずの音響が重なり合って聴取される場合などが発生する。

図９(Ａ)に示したギャップｄＡは、図１０に示す特定部１１１ａにより特定されたパラメータのセットを用いることにより、計測で得られた全ての遅延時間に同等の重みを与えた最小二乗法で特定されたパラメータを用いる場合に比べて小さくすることができる。

図１０は、音響処理装置１０の別実施形態を示す。なお、図１０に示す構成要素のうち、図１または図８に示した構成要素と同等のものは、同一の符号で示すとともに構成要素の説明を省略する場合がある。

図１０の音響処理装置は、図８に示した音響処理装置１０の特定部１１１に代えて、特定部１１１ａを有している。図１０に示した特定部１１１ａは、最小二情報などを用いた回帰分析により、上述の式（１）から式（４）に示したパラメータＸ，Ｙ，Ｃを求める分析部１１３と、分析部１１３による回帰分析に用いる重みを設定する重み設定部１１４とを含んでいる。

分析部１１３は、例えば、上述の式（５）に代えて、次に示す式（６）で示される誤差の二乗和Ｅ’を最小化するパラメータＸ，Ｙ，Ｃを求める。なお、式（６）において、符号Ｗ（θ）は、人物Ｑ１の正面の向きＤｉｒを基準として角度θの方向からの音響に対して計測された個別頭部インパルス応答の遅延時間の誤差に対して、重み設定部１４によって設定される重みを示す。

重み設定部１４は、例えば、角度θの下限（θ＝−φ）および上限（θ＝φ）に設定された第１方向からの音響に対して計測された個別頭部インパルス応答の遅延時間の誤差に他の第１方向よりも大きい重みを設定する。

図１１は、図１０に示した重み設定部１１４により設定される重みの例を示す。なお、図１１において、座標軸θは、図２に示した人物Ｑ１の頭部の向きＤｉｒを基準とする音源の方向を示し、座標軸Ｗは、重みとして設定される値の大きさを示す。なお、図４の例において、図２に示した人物Ｑ１の頭部の正面の向きＤｉｒから時計回りで測った角度は、座標軸θにおいて正の値として示され、人物Ｑ１の頭部の向きＤｉｒから反時計回りに測った角度は、座標軸θにおいて負の値として示される。すなわち、図２に示した計測範囲Ｒは、図４に示した座標軸θにおいて、角度「−φ」〜角度「＋φ」の範囲に相当する。

図１１（Ａ）及び図１１（Ｂ）のそれぞれは、図１０に示した重み設定部１１４により、式（６）において、角度θの関数Ｗ（θ）として設定される重みの例を示す。

図１１（Ａ）に示した重みＷ（θ）は、角度θの下限（θ＝−φ）および上限（θ＝φ）に設定された第１方向の計測で得られた個別頭部インパルス応答の遅延時間の誤差に重みＷ１を与える。一方、重みＷ（θ）は、他の第１方向の計測で得られた個別頭部インパルス応答の遅延時間の誤差に、重みＷ１よりも小さい値を持つ重みＷ２を与える。

図１０に示した分析部１１３は、図１１（Ａ）に示した重みＷ（θ）が設定された式（６）で示される誤差の二乗和を最小化するパラメータＸ，Ｙ，Ｃを求めることで、遅延時間ｔＬ(−φ)，ｔＲ(−φ)を含む項で示される誤差を最小化するパラメータを求める。これにより、図９（Ｂ）に示したように、分析部１１３で求められたパラメータのセットで示される曲線ＣＶｂが角度θ＝−φの場合に示す遅延時間と計測された個別頭部インパルス応答の遅延時間との差を、図９（Ａ）に示した差ｄよりも小さくできる。

図９（Ｂ）の例では、角度θ＝−φの方向について計測された個別頭部インパルス応答の遅延時間Ｐｍ（−φ）と、特定されたパラメータＸ，Ｙ，Ｃを用いて算出部１１２により算出される遅延時間Ｔｂ（−φ）とはほぼ同等になっている。これに伴って、図９（Ｂ）に示した角度θ３について算出部１１２により算出される遅延時間Ｔｂ（−θ３）と計測で得られた遅延時間Ｐｍ（−φ）との間のギャップｄＢは、図９（Ａ）に示したギャップｄＡよりも小さくなっている。

即ち、図１０に示した特定部１１１ａにより特定されたパラメータを用いることで、個別頭部インパルス応答の計測に誤差がある場合でも、個別頭部インパルス応答の遅延時間と補正された共通頭部インパルス応答の遅延時間とを平滑に接続することができる。

したがって、図１０に示した特定部１１１ａを有する音響処理装置１０は、生成部１３により、個別頭部インパルス応答の計測に誤差がある場合でも、計測範囲Ｒの境界付近において、音源の方向が滑らかに変化する音響を人物Ｑ１に与えることができる。

なお、重み設定部１１４によって設定される重みＷ（θ）は、図１１（Ａ）に示した重みＷ（θ）に限らず、計測で得られた個別頭部インパルス応答の遅延時間の誤差に、計測範囲Ｒの境界に近いほど大きい重みを与える重みＷ（θ）であればよい。重み設定部１１４は、例えば、図１１（Ｂ）に示すように、角度θと角度φあるいは角度−φとの差に応じて、重みとして設定する値を段階的に変化させる重みＷ（θ）を設定してもよい。

図１１（Ｂ）に示した重みＷ（θ）は、角度θが角度−φ＋ηより大きく角度φ−η未満である範囲内に設定された第１方向からの音響に対して計測された個別頭部インパルス応答の遅延時間の誤差に所定の値Ｗ２を持つ重みを設定する。一方、図１１（Ｂ）に示した重みＷ（θ）は、角度θが角度−φあるいは角度φである第１方向からの音響に対して計測された個別頭部インパルス応答の遅延時間の誤差に、値Ｗ２よりも大きい値Ｗ１を持つ重みを設定する。そして、図１１（Ｂ）に示した重みＷ（θ）は、角度θが角度−φ＋ηあるいは角度φ−ηである第１方向からの音響に対して計測された個別頭部インパルス応答の遅延時間の誤差に、値Ｗ１よりも小さく、かつ値Ｗ２よりも大きい値Ｗ３を持つ重みを設定する。

また、重み設定部１１４は、図１１（Ａ），（Ｂ）の例に限らず、重みとして設定する値を４段階以上に区切って設定する重みＷ（θ）を用いて、分析部１１３における重み付けを設定してもよい。

また、特定部１１１ａにおいて、パラメータＸ，Ｙ，Ｃを求めるために用いる手法は、重み付き最小二乗法に限られない。特定部１１１ａは、例えば、計測範囲Ｒの境界に近い第１方向の個別頭部インパルス応答の遅延時間に対して、境界から離れた第１方向の個別頭部インパルス応答の遅延時間に対する重みよりも大きい重み与える重み付けで、パラメータＸ，Ｙ，Ｃを求めればよい。

以上に説明した音響処理装置１０は、例えば、展示会場などへの来場者に対して、展示物を説明する音声情報を展示物の方向から聞こえるように認識させる案内システムを実現する上で有用である。

図１２は、音響処理装置１０の別実施形態を示す。なお、図１２に示す構成要素のうち、図１または図８に示した構成要素と同等のものは、同一の符号で示すとともに構成要素の説明を省略する場合がある。

図１２に示した音響処理装置１０及び音響ＡＲ装置ＡＲＣは、音像定位技術を用いて、展示会場などへの来場者に音声情報による案内を行う案内システムＧＳに含まれている。

図１２に示した音響ＡＲ装置ＡＲＣは、図８に示したサーバ装置ＳＶと音声データベースＤＢ１と選択部１３２と音響処理部ＳＰとに加えて、展示データベースＤＢ２と、方位特定部ＤＲＤとを含んでいる。

図１２に示したサーバ装置ＳＶは、音声データベースＤＢ１及び展示データベースＤＢ２のそれぞれに接続されており、サーバ装置ＳＶは、音声データベースＤＢ１及び展示データベースＤＢ２に蓄積された情報にアクセス可能である。展示データベースＤＢ２には、図１３を用いて後述する展示会場ＨＬ内に配置された展示物のそれぞれの位置を示す情報が蓄積されている。また、図１２に示した音声データベースＤＢ１には、展示会場ＨＬに配置された展示物のそれぞれを説明するための音声情報が蓄積されている。

また、図１２に示した方位特定部ＤＲＤは、例えば、端末装置ＵＥに搭載されたプロセッサにより、図１７を用いて後述するアプリケーションプログラムを実行することにより実現される。方位特定部ＤＲＤは、例えば、近距離無線通信技術を用いた無線通信経路などにより、人物Ｑ１の頭部に装着された位置検出装置ＨＭＤに接続されており、位置検出装置ＨＭＤによって得られた情報を受ける。また、方位特定部ＤＲＤは、ネットワークＮＷを介してサーバ装置ＳＶに接続されており、サーバ装置ＳＶに対して問い合わせを行うことにより、展示データベースＤＢ２に蓄積された情報を参照する。

図１２に示した位置検出装置ＨＭＤは、図１３を用いて後述する処理を行うことにより、人物Ｑ１の頭部の位置及び頭部の正面の向きＤｉｒを示す情報を取得する。

次に、図１２に示した位置検出装置ＨＭＤの機能および動作と音響ＡＲ装置ＡＲＣに含まれる各構成要素の機能および動作とについて、図１３を用いて説明する。

図１３は、図１２に示した人物Ｑ１と展示会場ＨＬ内の展示物との位置関係の例を示す。なお、図１３に示す要素のうち、図１２に示した要素と同等のものは、同一の符号で示すとともに構成要素の説明を省略する場合がある。

図１３の例は、矩形の領域ＨＬで示した展示会場内に、カプセル型の図形Ｅｘｈ１，Ｅｘｈ２で示した２つの展示物と、円形Ａｎｃ１，Ａｎｃ２で示した標識が設置されている場合を示す。標識Ａｎｃ１，Ａｎｃ２のそれぞれは、展示物Ｅｘｈ１，Ｅｘｈ２のそれぞれに対応付けられており、例えば、赤外線などを用いて、対応する展示物Ｅｘｈ１、Ｅｘｈ２を示す識別情報を発信する機能を有している。図１３において、破線で示した扇形ＡＲ１，ＡＲ２のそれぞれは、標識Ａｎｃ１，Ａｎｃ２のそれぞれによって発信された識別情報を示す赤外線などが到達する範囲を示している。

図１３の例では、展示物Ｅｘｈ１および標識Ａｎｃ１は、展示会場ＨＬの角の一つに配置されており、展示物Ｅｘｈ２および標識Ａｎｃ２は、展示会場ＨＬの別の角の一つに配置されている。なお、展示会場ＨＬには、３以上の展示物と展示物のそれぞれに対応付けられた標識が配置されてもよい。

また、図１３に示した音声データベースＤＢ１は、例えば、展示物Ｅｘｈ１，Ｅｘｈ２のそれぞれを示す識別情報に対応して、各展示物Ｅｘｈ１，Ｅｘｈ２の内容を説明する音声情報を蓄積している。そして、展示データベースＤＢ２は、例えば、各展示物Ｅｘｈ１，Ｅｘｈ２の識別情報に対応して、各展示物Ｅｘｈ１，Ｅｘｈ２の展示会場ＨＬにおける位置を示す情報を蓄積している。

図１３に示した位置検出装置ＨＭＤは、標識Ａｎｃ１，Ａｎｃ２によって発信された識別情報を受信する機能と、ジャイロセンサなどにより人物Ｑ１の位置および人物Ｑ１の頭部の正面の向きＤｉｒを検出する機能を有している。また、位置検出装置ＨＭＤは、近距離無線通信技術などを用いて、受信した識別情報および人物Ｑ１の位置および頭部の正面の向きＤｉｒを示す情報を端末装置ＵＥに送信する機能を有している。なお、図１３においては、位置検出装置ＨＭＤと端末装置ＵＥとの間に設定される近距離無線通信技術による通信経路の図示は省略されている。また、位置検出装置ＨＭＤに含まれるジャイロセンサなどの機能および動作については、図１５および図１７を用いて後述する。

図１３の例では、端末装置ＵＥは、展示会場ＨＬの壁などに設置されたアクセスポイントＡＰを介してネットワークＮＷに接続されており、ネットワークＮＷを介してサーバ装置ＳＶおよび音響処理装置１０との間で情報の授受が可能である。

図１２に示した端末装置ＵＥに含まれる方位特定部ＤＲＤは、例えば、所定の時間毎に、位置検出装置ＨＭＤから、位置検出装置ＨＭＤで受信された識別情報と位置検出装置で検出された人物Ｑ１の位置及び人物Ｑ１の頭部の向きＤｉｒを示す情報とを受ける。ここで、位置検出装置ＨＭＤで受信された識別情報は、人物Ｑ１が図１３に示した領域ＡＲ１，ＡＲ２のどちらに滞在しているか、即ち、人物Ｑ１に最寄りの展示物が展示物Ｅｘｈ１，Ｅｘｈ２のいずれであるかを示している。図１３の例では、人物Ｑ１は領域ＡＲ１内に滞在しているため、位置検出装置ＨＭＤは、標識Ａｎｃ１から発信された識別情報を受信し、受信した識別情報を人物Ｑ１の頭部の位置及び向きＤｉｒを示す情報とともに、方位特定部ＤＲＤに渡す。

方位特定部ＤＲＤは、位置検出装置ＨＭＤから受けた識別情報に基づいて、サーバ装置ＳＶに問い合わせを行うことで、例えば、展示データベースＤＢ２から展示物Ｅｘｈ１の位置を示す情報を取得する。そして、方位特定部ＤＲＤから受けた人物Ｑ１の位置および頭部の向きＤｉｒを示す情報と展示物Ｅｘｈ１の位置を示す情報とに基づいて、人物Ｑ１の頭部の向きＤｉｒを基準とする展示物Ｅｘｈ１の方向を示す角度を求める。ここで、人物Ｑ１の頭部の向きＤｉｒを基準とする展示物Ｅｘｈ１の方向は、音響ＡＲ装置ＡＲＣによる音像定位処理により、展示物Ｅｘｈ１を説明する音声情報に対応する音像を定位させる方向を示す。

つまり、方位特定部ＤＲＤは、例えば、位置検出装置ＨＭＤから人物Ｑ１に最寄りの展示物を示す情報と、人物Ｑ１の頭部の向きＤｉｒを示す情報とを受ける毎に、音像定位処理により音像を定位させる方向を示す角度θを求める。そして、方位特定部ＤＲＤは、求めた角度θを、音響処理部ＳＰによる畳み込み処理に用いられる頭部インパルス応答を指定するための情報として、図１２に示した選択部１３２に渡す。

音像を定位させる方向を示す角度θを示す情報を方位特定部ＤＲＤから受けた場合に、選択部１３２は、角度θに対応して記憶部ＭＥＭに格納された個別頭部インパルス応答あるいは補正後の共通頭部インパルス応答を読み出す。そして、選択部１３２は、読み出した個別頭部インパルス応答あるいは補正後の共通頭部インパルス応答を、音像定位処理のための畳み込みに用いる頭部インパルス応答として、音響処理部ＳＰに渡す。

また、サーバ装置ＳＶは、例えば、方位特定部ＤＲＤから展示部Ｅｘｈ１を示す識別情報に基づく問い合わせを受けた場合に、人物Ｑ１が展示物Ｅｘｈ１に対応する領域ＡＲ１に滞在していることを認識する。この場合に、サーバ装置ＳＶは、展示するＥｘｈ１を示す識別情報に対応して音声データベースＤＢ１に蓄積された音声情報を読み出し、読み出した音声情報を、ネットワークＮＷを介して端末装置ＵＥの音響処理部ＳＰに渡す。

したがって、音響処理部ＳＰは、人物Ｑ１の頭部の向きＤｉｒを基準とする角度θの方向が、図２に示した計測範囲Ｒの内側に設定された第１方向である場合に、展示物Ｅｘｈ１の音声情報から生成した音響信号と個別頭部インパルス応答との畳み込みを行う。一方、角度θの方向が、図２に示した計測範囲Ｒの外側に設定された第２方向である場合に、音響処理部ＳＰは、展示物Ｅｘｈ１の音声情報から生成した音響信号と補正後の共通頭部インパルス応答との畳み込みを行う。

図９を用いて説明したように、人物Ｑ１の頭部の向きＤｉｒを基準とする角度毎に記憶部ＭＥＭに格納された個別頭部インパルス応答あるいは補正された共通頭部インパルス応答は、角度の変化に応じて滑らかに変化する遅延時間を示す。したがって、方位特定部ＤＲＤで求められた角度θの変化に応じて、例えば、音声処理部ＳＰでの畳み込み処理に用いる頭部インパルス応答が個別頭部インパルス応答と補正後の共通頭部インパルス応答との間で切り替えられても遅延時間の連続性は維持される。

即ち、図１２に示した音響ＡＲ装置ＡＲＣは、例えば、図１３に示した展示会場ＨＬ内で移動する人物Ｑ１と展示物Ｅｘｈ１との相対位置の変化を、人物Ｑ１に対して定位させる音像の位置に滑らかに反映することができる。即ち、図１２に示した案内システムＧＳは、人物Ｑ１の頭部の前方方向の所定の範囲内について計測された個別頭部インパルス応答と予め用意された共通頭部インパルス応答とを用いて、任意の方向に仮想的な音像を定位させて音声による案内を提供可能である。

図２を用いて説明したように、計測装置ＥＱによる計測を人物Ｑ１の頭部の正面方向を含む一部の方向に限定することで、例えば、展示会場などに訪れる多数の人物についての個別頭部インパルス応答の計測が可能となる。したがって、図１２に示した案内システムＧＳは、展示会場などに訪れる多数の人物に対して、個別に全ての方向について個別頭部インパルス応答を計測する場合よりも低いコストで、ほぼ同等の自然さで音像を定位させるサービスを提供することができる。

以上に説明した本件開示の音響処理装置１０は、コンピュータ装置などを用いて実現することができる。

図１４は、音響処理装置１０のハードウェア構成の一例を示す。なお、図１４に示す構成要素のうち、図１２に示した構成要素と同等のものは、同一の符号で示すとともに構成要素の説明を省略する場合がある。

コンピュータ装置２０は、プロセッサ２１と、メモリ２２と、ハードディスク装置２３と、ネットワークインタフェース２４と、オーディオインタフェース２５と、音響信号生成部２６とを含んでいる。図１４に示したプロセッサ２１と、メモリ２２と、ハードディスク装置２３と、ネットワークインタフェース２４と、オーディオインタフェース２５と、音響信号生成部２６とは、バスを介して互いに接続されている。コンピュータ装置２０は、ネットワークインタフェース２４を介して、ネットワークＮＷに接続されており、サーバ装置ＳＶ及び端末装置ＵＥのそれぞれとネットワークを介したデータの授受が可能である。また、コンピュータ装置２０は、オーディオインタフェース２５を介して、複数のスピーカＳＰＫと人物Ｑ１の両耳のそれぞれに装着されたマイクロホンＭＣＬ，ＭＣＲとに接続されている。

図１４において、プロセッサ２１と、メモリ２２と、ハードディスク装置２３と、ネットワークインタフェース２４と、オーディオインタフェース２５とは、音響処理装置１０に含まれる。また、プロセッサ２１と、メモリ２２と、音響信号生成部２６と、オーディオインタフェース２５とは、計測装置ＥＱに含まれる。

図１４に示したメモリ２２は、コンピュータ装置２０のオペレーティングシステムを格納している。更に、メモリ２２は、プロセッサ２１が図６に示した音響処理を実行するためのアプリケーションプログラムを格納している。また、メモリ２２は、更に、図２を用いて説明した個別頭部インパルス応答を計測するための計測処理を実行するためのアプリケーションプログラムを格納している。なお、図６に示した音響処理を実行するためのアプリケーションプログラム及び計測処理を実行するためのアプリケーションプログラムは、例えば、光ディスクなどの記憶媒体に記録して頒布することもできるし、ネットワークＮＷを介して配信することもできる。例えば、図６に示した音響処理のためのアプリケーションプログラム及び計測処理のためのアプリケーションプログラムは、ネットワークインタフェース２４を介して、サーバ装置ＳＶからダウンロードされてもよい。ダウンロードされたアプリケーションプログラムは、メモリ２２あるいはハードディスク装置２３に格納されることで、プロセッサ２１による実行が可能になる。なお、音響処理のためのアプリケーションプログラムは、ダミーヘッドなどを用いて計測された共通頭部インパルス応答を示す情報を含んでいることが望ましい。

プロセッサ２１は、メモリ２２に格納された音響処理のためのアプリケーションプログラムを実行することにより、図１に示した予測部１１、補正部１２の機能を果たす。また、プロセッサ２１は、メモリ２２に格納された計測処理のためのアプリケーションプログラムに基づいて、音響信号生成部２６およびオーディオインタフェース２５の動作を制御することにより、図１に示した計測装置ＥＱの機能を果たす。なお、計測装置ＥＱに含まれる音響信号生成部２６の機能及び計測装置ＥＱの動作については、図１６を用いて後述する。

図１４に示した端末装置ＵＥは、プロセッサ３１と、メモリ３２と、ネットワークインタフェース３３と、音響処理部ＳＰと、近距離無線通信インタフェース３４とを含んでいる。図１４に示したプロセッサ３１と、メモリ３２と、ネットワークインタフェース３３と、音響処理部ＳＰと、近距離無線通信インタフェース３４とは、バスを介して互いに接続されている。端末装置ＵＥは、ネットワークインタフェース３３を介してネットワークＮＷに接続されており、サーバ装置ＳＶ及び音響処理装置１０のそれぞれとネットワークＮＷを介したデータの授受が可能である。また、端末装置ＵＥは、近距離無線通信インタフェース３４を介して、人物Ｑ１’の頭部に装着された位置検出装置ＨＭＤに接続されている。また、音響処理部ＳＰは、人物Ｑ１’の両耳のそれぞれに装着されたイアホンＥＰＬ，ＥＰＲのそれぞれに接続されている。音響処理部ＳＰで生成された音響信号は、イアホンＥＰＬ，ＥＰＲにより音響として出力され、イアホンＥＰＬ，ＥＰＲにより出力された音響は人物Ｑ１’によって聴取される。なお、図１４に示した人物Ｑ１’は、計測装置ＥＱによって個別頭部インパルス応答の計測が行われた人物Ｑ１と同一の人物を示している。また、位置検出装置ＨＭＤのハードウェア構成については、図１５を用いて後述する。

図１４に示した端末装置ＵＥにおいて、プロセッサ３１と、メモリ３２と、ネットワークインタフェース３３と、音響処理部ＳＰと、近距離無線通信インタフェース３４とは、音響ＡＲ装置ＡＲＣに含まれる。

図１４に示したメモリ３２は、端末装置ＵＥのオペレーティングシステムとともに、プロセッサ３１が、人物Ｑ１’に対して音像定位技術を用いたサービスを提供するための音響ＡＲ処理を実行するためのアプリケーションプログラムを格納している。なお、音響ＡＲ処理を実行するためのアプリケーションプログラムは、例えば、メモリカードなどの記憶媒体に記録して頒布することもできるし、ネットワークＮＷを介して配信することもできる。例えば、音響ＡＲ処理のためのアプリケーションプログラムは、ネットワークインタフェース３４を介して、サーバ装置ＳＶからダウンロードされてもよい。ダウンロードされたアプリケーションプログラムは、メモリ３２に格納されることで、プロセッサ３１による実行が可能になる。

そして、プロセッサ３１は、メモリ３２に格納された音響ＡＲ処理のためのアプリケーションプログラムを実行することにより、図１２に示した選択部１３２及び方位特定部ＤＲＤの機能を果たす。

図１５は、図１４に示した位置検出装置ＨＭＤのハードウェア構成例を示す。なお、図１５に示す要素のうち、図１２に示した要素と同等のものは、同一の符号で示すとともに構成要素の説明を省略する場合がある。

図１５に示した位置検出装置ＨＭＤは、プロセッサ４１と、近距離無線通信インタフェース４２と、赤外線センサ４３と、ジャイロセンサ４４と、加速度センサ４５とを含んでいる。図１５に示した位置検出装置ＨＭＤにおいて、プロセッサ４１は、近距離無線送受信部４２、赤外線センサ４３、ジャイロセンサ４４及び加速度センサ４５のそれぞれと接続されている。位置検出装置ＨＭＤは、近距離無線通信インタフェース４２を介して端末装置ＵＥに接続されている。また、赤外線センサ４３は、図１３に示した標識Ａｎｃ１，Ａｎｃ２から放出された赤外線で示される識別情報を受信する機能を有している。

プロセッサ４１に内蔵されたメモリは、ジャイロセンサ４４及び加速度センサ４５のそれぞれで得られた計測結果に基づいて、人物Ｑ１’の頭部の位置及び頭部の正面の向きＤｉｒ（図１３）を検出する位置検出処理のためのプログラムを格納している。また、プロセッサ４１は、内蔵のメモリに格納された位置検出処理のためのプログラムを実行することで、人物Ｑ１’の頭部の位置及び向きを検出し、検出した位置及び向きを近距離無線通信インタフェース４２により端末装置ＵＥに送信する。なお、位置検出装置ＨＭＤの動作については、図１７を用いて後述する。

図１６は、図１４に示した計測装置ＥＱの動作を示す。図１６に示したステップＳ３２１〜ステップＳ３２６の各処理は、図１４に示したメモリ２２に格納された計測処理のためのアプリケーションプログラムに含まれる処理の一例である。また、これらのステップＳ３２１〜ステップＳ３２６の各処理は、図１４に示したコンピュータ装置２０のプロセッサ２１によって実行される。

図１６の例は、図２において計測範囲Ｒを示す扇形の内角をｎ(ｎは２以上の整数)個に分割し、分割された計測範囲のそれぞれの内側に設定された複数の第１方向について、順次に個別頭部インパルス応答を計測する手法の例を示す。この場合に、図１４に示した複数のスピーカＳＰＫのそれぞれは、例えば、人物Ｑ１が着席した回転可能なイスの回転中心を中心とする中心角２φ／ｎの扇形の弧をｍ(ｍは２以上の整数)等分する位置に設置される。なお、図１４の例では、人物Ｑ１が着席しているイスおよびプロセッサ２１によりイスを回転させるための機構の図示は省略されている。

そして、プロセッサ２１は、人物Ｑ１が着席したイスを回転させることで、スピーカＳＰＫが配置された弧と分割された計測範囲の一つである選択範囲に対応する扇形の弧とを一致させた状態で、以降に述べる処理を開始する。この場合に、ｍ個のスピーカＳＰＫのそれぞれとイスの回転中心とを結ぶ線分の方向は、選択範囲の内側に設定されたｍ個の第１方向のそれぞれを示す。

図１６に示したステップＳ３２１において、プロセッサ２１は、音響信号生成部２６に対してＴＳＰ信号の生成を指示することで、複数のスピーカＳＰＫのそれぞれに順次にＴＳＰ信号に対応する音響を出力させる。音響信号生成部２６によって生成されたＴＳＰ信号は、例えば、オーディオインタフェース２５を介して複数のスピーカＳＰＫのそれぞれに順次に渡される。そして、オーディオインタフェース２５からＴＳＰ信号を受けたスピーカＳＰＫは、ＴＳＰ信号に対応する音響を出力する。

ステップＳ３２２において、プロセッサ２１は、ステップＳ３２１の処理で出力された音響が人物Ｑ１の頭部に到達した際にマイクロホンＭＣＬ，ＭＣＲで生成された音響信号を受け、受けた音響信号をメモリ２２またはハードディスク装置２３に保持する。マイクロホンＭＣＬ，ＭＣＲのそれぞれで得られた音響信号は、オーディオインタフェース２５を介してプロセッサ２１に渡される。プロセッサ２１は、ステップＳ３２１において、ＴＳＰ信号の生成を指示した時刻から所定の時間が経過するまでの期間にオーディオインタフェース２５を介してマイクロホンＭＣＬ，ＭＣＲのそれぞれから受けた音響信号をメモリ２２などに保持させる。ここで、プロセッサ２１は、マイクロホンＭＣＬ，ＭＣＲから受けた音響信号を、選択範囲の内側に設定された複数の第１方向のうち、音響を出力したスピーカＳＰＫに対応する第１方向からの音響としてメモリ２２などに記憶させる。

ステップＳ３２３において、プロセッサ２１は、選択範囲の内側に設定された全ての第１方向から受けた音響を示す音響信号を保持したか否かに基づいて、選択範囲の計測が完了したか否かを判定する。

選択範囲の内側に設定された複数の第１方向の中に、まだ、音響信号を保持していない第１方向がある場合に、プロセッサ２１は、ステップＳ３２３の否定判定ルート(ＮＯ)に従ってステップＳ３２１の処理に戻る。この場合に、プロセッサ２１は、ステップＳ３２１において、新たな第１方向に対応するスピーカＳＰＫにＴＳＰ信号に対応する音響を出力させる。

ステップＳ３２１〜ステップＳ３２３の処理を繰り返すことにより、選択範囲の内側に設定された全ての第１方向についての音響の出力が完了した場合に（ステップＳ３２３の肯定判定（ＹＥＳ））、プロセッサ２１は、ステップＳ３２４の処理に進む。

ステップＳ３２４において、プロセッサ２１は、分割された計測範囲の全てについての計測が終了したか否か、即ち、図２に示した計測範囲Ｒについての計測が完了したか否かを判定する。

分割された計測範囲のいずれかについての計測がまだ終了していない場合に（ステップＳ３２４の否定判定（ＮＯ））、プロセッサ２１は、ステップＳ３２５の処理に進む。

ステップＳ３２５において、プロセッサ２１は、ｎ個の分割された計測範囲のうち、まだ計測が完了していない分割された計測範囲を選択範囲とし、選択範囲についての計測を行うための位置決め処理を行う。プロセッサ２１は、例えば、人物Ｑ１が着席しているイスを回転させることで、人物Ｑ１の頭部と複数のスピーカＳＰＫとの相対位置を変更し、計測が完了した選択範囲に隣接する範囲を新たな選択範囲とする。ここで、プロセッサ２１は、分割された計測範囲の一つについての計測が完了する毎にプロセッサ２１がイスを回転させる角度は、例えば、図２に示した角度２φをｎ等分した角度で示される。

一方、分割された計測範囲の全てについての計測が終了したと判定された場合に（ステップＳ３２４の肯定判定（ＹＥＳ））、プロセッサ２１は、ステップＳ３２６の処理に進む。

ステップＳ３２６において、プロセッサ２１は、第１方向のそれぞれに対応してメモリ２２などに記憶させた音響信号に基づいて、人物Ｑ１の両耳のそれぞれについての個別頭部インパルス応答を求める。また、プロセッサ２１は、第１方向のそれぞれに求めた個別頭部インパルス応答を示す情報を、メモリ２２あるいはハードディスク装置２３に格納する。メモリ２２あるいはハードディスク装置２３に格納された個別頭部インパルス応答を示す情報は、図６に示した音響処理のためのアプリケーションプログラムを実行する際に用いられる。

なお、第１方向のそれぞれの個別頭部インパルス応答を求める手法は、図１６に示したステップＳ３２６において一括して求める手法に限られない。例えば、プロセッサ２１は、ステップＳ３２２の処理で第１方向のそれぞれに対応する音響信号を取得する毎に、取得した音響信号から当該第１方向についての個別頭部インパルス応答を求めてもよい。

以上に説明した計測処理が完了した後に、プロセッサ２１は、図６に示した音響処理のためのアプリケーションプログラムを実行する。音響処理のためのアプリケーションプログラムを実行する過程で、プロセッサ２１は、例えば、図７〜図９を用いて説明したようにして、各第１方向についての計測処理で得られた個別頭部インパルス応答から、各第２方向についての遅延時間を予測する。そして、プロセッサ２１は、予測された遅延時間を用いて、メモリ２２またはハードディスク装置２３に各第２方向に対応して保持された共通頭部インパルス応答の遅延時間を補正する。その後、プロセッサ２１は、計測処理により各第１方向について得られた個別頭部インパルス応答を示す情報及び各第２方向について得られた補正後の共通頭部インパルス応答を示す情報を、ネットワークＮＷを介して端末装置ＵＥに渡し、メモリ３２に格納させる。以上に説明したようにして、音響処理のためのアプリケーションプログラムを実行する過程で、端末装置ＵＥのメモリ３２に格納された情報は、端末装置ＵＥのプロセッサ３１により、音響ＡＲ処理のためのアプリケーションプログラムが実行される際に用いられる。

図１７は、図１４に示した音響ＡＲ装置ＡＲＣの動作を示す。図１７に示したステップＳ３３１〜ステップＳ３３７の各処理は、音響ＡＲ処理のためのアプリケーションプログラムに含まれる処理の一例である。また、これらのステップＳ３３１〜ステップＳ３３５の各処理は、端末装置ＵＥのプロセッサ３１により、例えば、人物Ｑ１’が図１３に示した展示会場ＨＬに入った後、数ミリ秒から数１０ミリ秒程度に設定される所定の時間が経過する毎に実行される。

ステップＳ３３１において、プロセッサ３１は、位置検出装置ＨＭＤによって検出された人物Ｑ１’の頭部の位置及び向きを示す情報と、図１３に示した展示物Ｅｘｈ１，Ｅｘｈ２のうち人物Ｑ１’に最寄りの一つを示す情報とを収集する。例えば、プロセッサ３１は、近距離無線通信インタフェース３５を介して、位置検出装置ＨＭＤに対して、ジャイロセンサ４４と加速度センサ４５と赤外線センサ４３とのそれぞれで得られた計測結果の送信を要求する。プロセッサ３１からの要求は、図１５に示した近距離無線通信インタフェース４２を介して、位置検出装置ＨＭＤのプロセッサ４１に渡される。プロセッサ４１は、プロセッサ３１から渡された要求に基づいて、ジャイロセンサ４４から角速度の計測結果を受けるとともに、加速度センサ４５から加速度の計測結果を受ける。また、プロセッサ４１は、図１３に示した標識Ａｎｃ１，Ａｎｃ２のいずれかから赤外線センサ４３に到達した赤外線で示される識別情報を受ける。そして、プロセッサ４１は、角速度及び加速度の計測結果を示す情報とともに赤外線センサ４３で得られた識別情報を、近距離無線通信インタフェース４２を介して端末装置ＵＥに送信する。位置検出装置ＨＭＤのプロセッサ４１によって送信された情報は、端末装置ＵＥの近距離無線通信インタフェース３５を介してプロセッサ３１に渡される。そして、プロセッサ３１は、受けた情報に含まれる加速度及び角速度に基づいて、人物Ｑ１’の頭部の位置及び向きを算出する。また、プロセッサ３１は、受けた情報に含まれる識別情報を、展示物Ｅｘｈ１，Ｅｘｈ２のうち人物Ｑ１’に最寄りの一つを示す情報として用いる。なお、人物Ｑ１’の頭部の位置及び向きを算出する処理は、位置検出装置ＨＭＤのプロセッサ４１によって実行されてもよい。

ステップＳ３３２において、プロセッサ３１は、ステップＳ３３１の処理で受けた識別情報が、以前に図１７に示した処理を実行した際に受けた識別情報から変化しているか否かを判定する。

図１７に示した処理を初めて実行した場合またはステップＳ３３１の処理で以前とは異なる識別情報を受けた場合に、プロセッサ２１は、ステップＳ３３２の肯定判定（ＹＥＳ）として、ステップＳ３３３の処理に進む。一方、ステップＳ３３１の処理で受けた識別情報と以前に受けた識別情報とが同一である場合に（ステップＳ３３２の否定判定（ＮＯ））、プロセッサ３１は、ステップＳ３３３の処理を行わずに、ステップＳ３３４の処理に進む。

ステップＳ３３３において、プロセッサ３１は、ステップＳ３３１の処理で受けた新たな識別情報に基づき、図１４に示したサーバ装置ＳＶに対する問い合わせを行うことで、識別情報で示される展示物の位置を音声による案内を提供する対象の位置として取得する。

ステップＳ３３４において、プロセッサ３１は、案内の対象となる展示物の位置と、人物Ｑ１’の頭部の位置及び向きとに基づいて、人物Ｑ１’の頭部の向きを基準として、案内の対象となる展示物の方向を算出する。例えば、展示物Ｅｘｈ１の位置を示す情報及び人物Ｑ１の頭部の位置および向きを示す情報に基づいて、プロセッサ３１は、図１３に示した人物Ｑ１の頭部の向きＤｉｒと人物Ｑ１の頭部と展示物Ｅｘｈ１とを結ぶ線分とが交差する角度θを算出する。そして、プロセッサ３１は、算出した角度θを示す情報を、定位させる音像の方向を人物Ｑ１’の頭部の正面の向きＤｉｒを基準として示す情報として、図１４に示した音声処理部ＳＰに渡す。

ステップＳ３３５において、プロセッサ３１は、サーバ装置ＳＶから、案内の対象となる展示物に対応して音声データベースＤＢ１に蓄積された音声情報の一部を受ける。例えば、プロセッサ３１は、図１７に示した処理を実行する毎に、時間間隔と同等の時間で再生される量毎に分割された音声情報を順次に受け、受けた音声情報を音声処理部ＳＰに渡す。

ステップＳ３３６において、プロセッサ３１は、ステップＳ３３４の処理で受けた情報で示される方向に対応する耳毎の頭部インパルス応答とステップＳ３３５の処理で受けた音声情報から耳毎に生成した音響信号との畳み込み処理を音声処理部ＳＰに実行させる。例えば、ステップＳ３３４の処理で算出された角度θが第１方向のいずれかを示す場合に、音声処理部ＳＰは、角度θで示される第１方向に対応してメモリ３２に保持された各耳の個別頭部インパルス応答と音響信号との畳み込み処理を実行する。一方、ステップＳ３３４の処理で算出された角度θが第２方向のいずれかを示す場合に、音声処理部ＳＰは、角度θで示される第２方向に対応してメモリ３２に保持された補正後の共通頭部インパルス応答と音響信号との畳み込み処理を実行する。

ステップＳ３３７において、プロセッサ３１は、ステップＳ３３６の処理で人物Ｑ１の両耳のそれぞれについて生成された音響信号を、音響処理部ＳＰからイアホンＥＰＬ、ＥＰＲを介して出力させ、人物Ｑ１に聴取させる。

以上に説明したように、図１４に示した端末装置ＵＥのプロセッサ３１により、所定の時間毎にステップＳ３３１〜ステップＳ３３７の処理を実行することで、図１２に示した音響ＡＲ装置ＡＲＣを実現することができる。すなわち、図１４に示した音響ＡＲ装置ＡＲＣは、音響処理装置１０によって端末装置ＵＥのメモリ３２に各方向に対応して格納された個別頭部インパルス応答あるいは補正後の共通頭部インパルス応答を用いて音像定位処理を行うことができる。

これにより、音響ＡＲ装置ＡＲＣは、例えば、図１３に示した展示会場ＨＬ内を移動する人物Ｑ１の頭部の向きＤｉｒを基準とした展示物Ｅｘｈ１の方向からの音響として、展示物Ｅｘｈ１に対応する音声情報から生成した音響を人物Ｑ１に聴取させることができる。すなわち、図１４に示した音響ＡＲ装置ＡＲＣは、展示会場ＨＬ内を移動する人物Ｑ１に対する音像定位技術を用いたサービスとして、展示物Ｅｘｈ１，Ｅｘｈ２などを説明する音声による情報を提供する案内サービスを実現することができる。

以上の詳細な説明により、実施形態の特徴点及び利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で、前述のような実施形態の特徴点および利点にまで及ぶことを意図するものである。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更を容易に想到できるはずである。したがって、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物に拠ることも可能である。

以上の説明に関して、更に、以下の各項を開示する。
(付記１) 頭部の前方方向の所定の範囲内の複数の第１方向のそれぞれから前記頭部に音響が到達する際に計測されたインパルス応答に基づいて、前記所定の範囲の外側の第２方向から前記頭部に音響が到達する際のインパルス応答の遅延時間を予測する予測部と、
前記第２方向からの音響に対して予めモデル化された基準のインパルス応答の遅延時間を、前記予測部で予測された遅延時間に合わせて補正する補正部と、
を備えたことを特徴とする音響処理装置。
(付記２) 付記１に記載の音響処理装置において、
前記補正部で遅延時間が補正された基準のインパルス応答を用いて、前記第２方向に前記音像を定位させる音響を生成する生成部と、
を備えたことを特徴とする音響処理装置。
(付記３) 付記１または付記２に記載の音響処理装置において、
前記予測部は、
前記頭部とインパルス応答の計測の際に前記第１方向に設置された音源との位置関係として、前記音源から到達する音響の遅延時間が、計測されたインパルス応答の遅延時間となる位置関係を特定する特定部と、
前記特定部によって特定された位置関係に基づいて、前記第２方向から前記頭部に音響が到達する場合に予測される遅延時間を算出する算出部とを有する
ことを特徴とする音響処理装置。
(付記４) 付記３に記載の音響処理装置において、
前記特定部は、
前記位置関係の特定に、前記複数の第１方向のうち前記所定の範囲の境界に近い第１方向から前記頭部に音響が到達する際に計測されたインパルス応答の遅延時間に対する重みを、前記境界から離れた第１方向から前記頭部に音響が到達する際に計測されたインパルス応答の遅延時間に対する重みよりも大きくした重み付けを用いる
ことを特徴とする音響処理装置。
（付記５）付記３に記載の音響処理装置において、
前記特定部は、
前記境界に近い第１方向を含む複数の第１方向についての計測で得られた前記インパルス応答の遅延時間のそれぞれに、前記境界に近いほど大きい重みを設定した回帰分析を行うことで、前記位置関係を特定する
ことを特徴とする音響処理装置。
（付記６）頭部の前方方向の所定の範囲内の複数の第１方向のそれぞれから前記頭部に音響が到達する際に計測されたインパルス応答に基づいて、前記所定の範囲の外側の第２方向から前記頭部に音響が到達する際のインパルス応答の遅延時間を予測し、
前記第２方向からの音響に対して予めモデル化された基準のインパルス応答の遅延時間を、前記予測部で予測された遅延時間に合わせて補正する、
ことを特徴とする音響処理方法。
（付記７）頭部の前方方向の所定の範囲内の複数の第１方向のそれぞれから前記頭部に音響が到達する際に計測されたインパルス応答に基づいて、前記所定の範囲の外側の第２方向から前記頭部に音響が到達する際のインパルス応答の遅延時間を予測し、
前記第２方向からの音響に対して予めモデル化された基準のインパルス応答の遅延時間を、前記予測部で予測された遅延時間に合わせて補正する、
処理をコンピュータに実行させることを特徴とする音響処理プログラム。

１０…音響処理装置；１１…予測部１１…補正部；１３…生成部；１１１，１１１ａ…特定部；１１２…算出部；１３１…設定部；１３２…選択部；２０…コンピュータ装置；２１，３１，４１…プロセッサ；２２，３２…メモリ；２３…ハードディスク装置；２４，３３…ネットワークインタフェース；２５…オーディオインタフェース；２６…音響信号生成部；３５，４２…近距離無線通信インタフェース；４３…赤外線センサ；４４…ジャイロセンサ；４５…加速度センサ；ＥＱ…計測装置；ＳＤ…記憶装置；ＡＲＣ…音響ＡＲ(Augmented Reality：拡張現実)装置；ＭＥＭ…記憶部；ＣＮＴ…制御部；ＤＢ１…音声データベース；ＤＢ２…展示データベース；ＵＥ…端末装置；ＳＰ…音響処理部；ＳＶ…サーバ装置；ＤＲＤ…方位特定部；ＭＣＬ，ＭＣＲ…マイクロホン；ＥＰＬ，ＥＰＲ…イアホン；ＨＭＤ…位置検出装置；ＮＷ…ネットワーク；Ｑ１…人物；Ｅｘｈ１，Ｅｘｈ２…展示物；Ａｎｃ１，Ａｎｃ２…標識；ＳＰＫ…スピーカ

Claims (5)

1. 頭部の前方方向の所定の範囲内の複数の第１方向のそれぞれから前記頭部に音響が到達する際に計測されたインパルス応答に基づいて、前記所定の範囲の外側の第２方向から前記頭部に音響が到達する際のインパルス応答の遅延時間を予測する予測部と、
   前記第２方向からの音響に対して予めモデル化された基準のインパルス応答の遅延時間を、前記予測部で予測された遅延時間に合わせて補正する補正部と、を備え、
   前記予測部は、
   前記頭部とインパルス応答の計測の際に前記第１方向に設置された音源との位置関係として、前記音源から到達する音響の遅延時間が、計測されたインパルス応答の遅延時間となる位置関係を特定する特定部と、
   前記特定部によって特定された位置関係に基づいて、前記第２方向から前記頭部に音響が到達する場合に予測される遅延時間を算出する算出部と、を有する
   ことを特徴とする音響処理装置。
2. 請求項１に記載の音響処理装置において、
   前記補正部で遅延時間が補正された基準のインパルス応答を用いて、前記第２方向に音像を定位させる音響を生成する生成部を備える
   ことを特徴とする音響処理装置。
3. 請求項１または請求項２に記載の音響処理装置において、
   前記特定部は、
   前記位置関係の特定に、前記複数の第１方向のうち前記所定の範囲の境界に近い第１方向から前記頭部に音響が到達する際に計測されたインパルス応答の遅延時間に対する重みを、前記境界から離れた第１方向から前記頭部に音響が到達する際に計測されたインパルス応答の遅延時間に対する重みよりも大きくした重み付けを用いる
   ことを特徴とする音響処理装置。
4. 頭部の前方方向の所定の範囲内の複数の第１方向のそれぞれから前記頭部に音響が到達する際に計測されたインパルス応答に基づいて、前記所定の範囲の外側の第２方向から前記頭部に音響が到達する際のインパルス応答の遅延時間を予測する予測工程と、
   前記第２方向からの音響に対して予めモデル化された基準のインパルス応答の遅延時間を、前記予測工程で予測された遅延時間に合わせて補正する補正工程と、を含み、
   前記予測工程は、
   前記頭部とインパルス応答の計測の際に前記第１方向に設置された音源との位置関係として、前記音源から到達する音響の遅延時間が、計測されたインパルス応答の遅延時間となる位置関係を特定する特定工程と、
   前記特定工程によって特定された位置関係に基づいて、前記第２方向から前記頭部に音響が到達する場合に予測される遅延時間を算出する算出工程と、を有する
   ことを特徴とする音響処理方法。
5. 頭部の前方方向の所定の範囲内の複数の第１方向のそれぞれから前記頭部に音響が到達する際に計測されたインパルス応答に基づいて、前記所定の範囲の外側の第２方向から前記頭部に音響が到達する際のインパルス応答の遅延時間を予測する予測工程と、
   前記第２方向からの音響に対して予めモデル化された基準のインパルス応答の遅延時間を、前記予測工程で予測された遅延時間に合わせて補正する補正工程と、を含む処理をコンピュータに実行させ、
   前記予測工程は、
   前記頭部とインパルス応答の計測の際に前記第１方向に設置された音源との位置関係として、前記音源から到達する音響の遅延時間が、計測されたインパルス応答の遅延時間となる位置関係を特定する特定工程と、
   前記特定工程によって特定された位置関係に基づいて、前記第２方向から前記頭部に音響が到達する場合に予測される遅延時間を算出する算出工程と、を有する
   ことを特徴とする音響処理プログラム。

Images