JP5867799B2 - 収音再生装置、プログラム及び収音再生方法 - Google Patents

Description

本発明は、外部音響を収音し、その音響信号をバイノーラル信号に変換して再生する収音再生装置、該収音再生装置に用いられるプログラム及び収音再生方法に関する。

３次元の音響情報を得るための技術として、例えば、擬似頭（ダミーヘッド）を用いたバイノーラル録音が知られている（特許文献１，２参照）。しかし、これらのバイノーラル録音を有効に実行するためには、擬似頭を人間の頭部と同等の大きさとする必要がある。また、実際の頭と同程度の音響特性を実現するため、擬似頭に充分な剛性と質量を持たせなくてはならない。

このような大きさと質量をもつ擬似頭では、運搬が困難であるのに加えて、狭い空間では使用できないため、音源探査装置やモバイル通信端末として使用できる状況がかなりの程度限定されてしまうという問題がある。例えば、災害現場で瓦礫に埋もれた生存者を探索する場合、狭く曲がりくねった空隙に挿入できるような音源探査装置が求められる。標準的な大きさの擬似頭では、このような用途には適さない。

音源探査技術としては、例えば、多数のマイクロホンを空間的に配置し、信号の遅延和合成によって、任意の方向に鋭い指向性を生むマイクロホンアレイが知られている（特許文献３参照）。
しかしながら、高い感度を得るにはマイクロホン数を多くする必要があり、それにともなってアレイ自体のサイズが大きくなるだけでなく、扱うデータ量も大きくなるという問題がある。

比較的小型の装置としては、半径８．５ｃｍの球体に２５２チャネルのマイクロホンを配置した球状マイクロホンアレイ（非特許文献１）なども提案されているが、これらの提案手法では、チャネル数が非常に多いため、信号量も多く、高度な信号処理が必要となる問題がある。

本発明は、従来における前記諸問題を解決し、以下の目的を達成することを課題とする。即ち、本発明は、マイクロホン保持部材の小型化及び軽量化が可能であり、かつ、少ないデータ量で臨場感に富んだバイノーラル信号を再生可能な収音再生装置、該収音再生装置に用いられるプログラム及び収音再生方法を提供することを目的とする。

前記課題を解決するための手段としては、以下の通りである。即ち、
＜１＞ １個の参照マイクロホンと２個又は３個の比較マイクロホンを有する音響収音部と、人の頭部による音の振幅レベル及び位相に対する影響を周波数の関数として表現した頭部伝達関数データを前記音の到来方向ごとに記録した頭部伝達関数データベースと、前記音響収音部で収音され、時間ごとに区切られた音響信号と前記頭部伝達関数データから２チャネルのバイノーラル信号を合成する信号処理部と、前記２チャネルのバイノーラル信号を音響として再生する音響再生部と、を有し、前記信号処理部は、前記音響信号を逐次周波数分析する周波数分析手段と、前記参照マイクロホンを通じて取得される前記音響信号を基準信号とし、前記比較マイクロホンから取得される前記音響信号を比較信号としたとき、逐次周波数分析された前記音響信号に対し、その周波数成分ごとに前記基準信号と前記比較信号の位相差及び振幅レベル差を算出する差分算出手段と、前記位相差及び振幅レベル差から前記周波数成分ごとの音像方向を推定する音像方向推定手段と、前記推定された周波数成分ごとの音像方向にしたがい、前記頭部伝達関数データベースから前記推定された周波数成分ごとの前記頭部伝達関数データを読み出し、前記周波数成分ごとの前記頭部伝達関数データが周波数軸上に並べられた前記時間ごとにおける合成頭部伝達関数を算出する合成頭部伝達関数算出手段と、前記合成頭部伝達関数を前記基準信号に付加することにより、前記２チャネルのバイノーラル信号を合成するバイノーラル信号合成手段と、を有することを特徴とする収音再生装置。
＜２＞ バイノーラル信号を記録する記録部を有する前記＜１＞に記載の収音再生装置。
＜３＞ 音響再生部の配置角度の変更を検出し、その変更に係る信号を信号処理部に出力する角度センサを有し、音像方向推定手段は、前記角度センサで検出された前記配置角度の変更にしたがい、その推定する音像方向を変更して前記音像方向を推定する前記＜１＞から＜２＞のいずれかに記載の収音再生装置。
＜４＞ 音響収音部が、参照マイクロホン及び２個又は３個の比較マイクロホンを保持するマイクロホン保持部材を有し、前記参照マイクロホン及び前記比較マイクロホンのそれぞれが、相互に１ｃｍ〜１０ｃｍの距離を隔てた状態で保持される前記＜１＞から＜３＞のいずれかに記載の収音再生装置。
＜５＞ 音響収音部が、参照マイクロホン及び２個又は３個の比較マイクロホンを保持するマイクロホン保持部材を有し、前記参照マイクロホン及び前記比較マイクロホンが水中音響収音用のハイドロホンとして構成され、前記各ハイドロホンのそれぞれが、相互に４ｃｍ〜５０ｃｍの距離を隔てた状態で保持される前記＜１＞から＜３＞のいずれかに記載の収音再生装置。
＜６＞ マイクロホン保持部材が、少なくとも耳介部と外耳道部を有し、頭部を模擬しているが、前記頭部に比べて小さい大きさの擬似頭であり、比較マイクロホンのうち少なくとも２個が、各々前記外耳道部に配され、参照マイクロホンが前記比較マイクロホンに対して、距離を隔てて前記擬似頭に配される前記＜４＞から＜５＞のいずれかに記載の収音再生装置。
＜７＞ 信号処理部がパーソナルコンピュータで構成される前記＜１＞から＜６＞のいずれかに記載の収音再生装置。
＜８＞ 信号処理部において合成されたバイノーラル信号を音響再生部に送信する無線インターフェースを有する前記＜１＞から＜７＞のいずれかに記載の収音再生装置。
＜９＞ 前記＜７＞に記載の収音再生装置に用いられ、信号処理部に対し、バイノーラル信号の合成を実行させることを特徴とするプログラム。
＜１０＞ １個の参照マイクロホンと２個又は３個の比較マイクロホンから音響を収音する音響収音ステップと、前記収音された音響の時間ごとに区切られた音響信号と人の頭部による音のレベル及び位相に対する影響を周波数の関数として表現した頭部伝達関数データを前記音の到来方向ごとに記録した頭部伝達関数データベースとから２チャネルのバイノーラル信号を合成する信号処理ステップと、前記２チャネルのバイノーラル信号を音響として再生する音響再生ステップと、を有し、前記信号処理ステップは、前記音響信号を逐次周波数分析する逐次周波数分析処理と、前記参照マイクロホンを通じて取得される前記音響信号を基準信号とし、前記比較マイクロホンから取得される前記音響信号を比較信号としたとき、逐次周波数分析された前記音響信号に対し、その周波数成分ごとに前記基準信号と前記比較信号の位相差及び振幅レベル差を算出する差分算出処理と、前記位相差及び振幅レベル差から前記周波数成分ごとの音像方向を推定する音像方向推定処理と、前記推定された周波数成分ごとの音像方向にしたがい、前記頭部伝達関数データベースから前記推定された周波数成分ごとの前記頭部伝達関数データを読み出し、前記周波数成分ごとの前記頭部伝達関数データが周波数軸上に並べられた前記時間ごとにおける合成頭部伝達関数を算出する合成頭部伝達関数算出処理と、前記合成頭部伝達関数を前記基準信号に付加することにより前記２チャネルのバイノーラル信号を合成するバイノーラル信号合成処理と、を実行することを特徴とする収音再生方法。
＜１１＞ 音響再生ステップを実行する音響再生部の配置角度の変更を検出する角度変更検出ステップを有し、音像方向推定処理は、前記角度変更検出ステップで検出された前記配置角度の変更にしたがい、その推定する音像方向を変更して前記音像方向を推定する前記＜１０＞に記載の収音再生方法。

本発明によれば、従来技術における前記諸問題を解決することができ、マイクロホン保持部材の小型化及び軽量化が可能であり、かつ、少ないデータ量で臨場感に富んだバイノーラル信号を再生可能な収音再生装置、該収音再生装置に用いられるプログラム及び収音再生方法を提供することができる。

本発明の収音再生装置の概要を示す説明図である。 信号処理部における信号処理手順の概要を示す説明図である。 音像方向の推定方法を説明する説明図である。 擬似頭を用いた場合の音像方向の推定方法を説明する説明図である。 ３次元空間における音の到来する方向を説明する説明図である。 ４個のマイクロホンのそれぞれを正四面体の頂点を成すように配置した状態を示す説明図である。 本発明の一実施形態に係る信号処理部の信号処理例を示す説明図である。 音響出力部の装用者が頭を回転したときに仮想音像が回転してしまうことを説明する説明図である。 従来のテレヘッドの手法を説明する説明図である。 本発明の一実施形態に係る収音再生装置において、音響出力部の装用者が頭部の向きを変えたときに３次元音空間情報を保持する手法を説明する説明図である。 本発明の収音再生装置を空中音響の収音に利用する場合と、水中音響の収音に利用する場合の参照マイクロホン及び比較マイクロホンの配置状況を示す図である。 左方向から提示した音声をステレオ録音した信号のパワースペクトルを示す図である。 本発明の収音再生装置にて合成したバイノーラル信号のパワースペクトルを示す図である。

（収音再生装置）
本発明の収音再生装置は、音響収音部と、頭部伝達関数データベースと、信号処理部と、音響再生部とを有し、更に必要に応じて、その他の部材を有する。

本発明の収音再生装置の基本的な構成例を図１に示す。音響収音部１は、１個の参照マイクロホン４と２個の比較マイクロホン５ａ，５ｂとを有し、参照マイクロホン４及び比較マイクロホン５ａ，５ｂは、それぞれ互いに数ｃｍ程度の距離をおいて２次元的あるいは３次元的に配置される。比較マイクロホンの数は、３個でもよいが、この図では、最も簡単な構成例として左右一対の比較マイクロホンからなる場合を示している。
参照マイクロホン４から収音された音響情報及び比較マイクロホン５ａ，５ｂから収音された音響情報は、ＡＤ変換された後、それぞれ基準信号及び比較信号として、無線又は有線のインターフェースを介して信号処理部２へ送信される。
信号処理部２は、基準信号、比較信号及び頭部伝達関数データベース６の各情報を用いて２チャネルのバイノーラル信号を合成する。
合成されたバイノーラル信号は、無線又は有線のインターフェースを介して音響再生部３に送信され、ＤＡ変換された後、音響再生部３に配されるステレオ受話器７にて、３次元の音空間情報を有する音響として再生される。
なお、本発明の収音再生装置では、少ないデータ量でバイノーラル信号を合成することとし、データの取扱性に難がないため、音響収音部１にて収音された信号を無線通信で信号処理部２に送信すること、及び信号処理部２で合成されたバイノーラル信号を無線インターフェースを介して音響再生部３に送信することについても難がない。
したがって、音源探査を行う現場から離れた遠隔地にいる使用者が現場の３次元音響情報を得ることができ、音源探査装置、遠隔監視装置への応用、ロボットの遠隔操作への活用も期待できる。

＜音響収音部＞
音響収音部１は、前述の通り、少なくとも参照マイクロホン４と比較マイクロホン５ａ、５ｂとを有し、更に必要に応じて、これらを保持するマイクロホン保持部材を有する。

ここで、参照マイクロホン４と比較マイクロホン５ａ、５ｂの配置に関しては、次の２つの拘束条件が満たされている必要がある。

第１の拘束条件は、少なくとも水平面上のあらゆる方向に対して参照マイクロホン４の特性が変化しないこと、つまり、少なくとも水平面上に関して指向性がないことである。これを満たすには、参照マイクロホン４の近傍に音響特性に影響を及ぼすような障害物が存在しないことが求められる。

第２の拘束条件は、参照マイクロホン４と各比較マイクロホン５ａ、５ｂ及び比較マイクロホン同士が、少なくとも水平面上で、ある程度の距離を隔てて配置されることである。
この距離の最適値は、本発明の用途によって適宜決めればよいが、通常は数ｃｍ程度で充分であり、場合によっては１ｃｍ未満でも問題ない。
好ましくは、参照マイクロホン４及び比較マイクロホン５ａ，５ｂのそれぞれが、相互に１ｃｍ〜１０ｃｍの距離を隔てた状態で保持される。

前記２つの拘束条件がともに満たされていれば、参照マイクロホン４及び比較マイクロホン５ａ、５ｂの配置は任意である。

また、前記マイクロホン保持部材の形状、構造としては、前記２つの拘束条件が満たされるように、参照マイクロホン４及び比較マイクロホン５ａ、５ｂを配置することができる限り特に制限はなく、目的に応じて適宜選択することができる。
例えば、録音用マイクのようなマイクロホンを収容して保持することが可能な筐体や擬似頭の中から、小型で軽量性のものを適宜選択することができる。
したがって、音響収音部１を参照マイクロホン４及び比較マイクロホン５ａ、５ｂとを有して構成することとすれば、これらを保持する前記マイクロホン保持部材の小型化及び軽量化が可能となる。
これにより、例えば、前記マイクロホン保持部材を手のひらに乗せて持ち運ぶことができ、人間が入ることのできない配管内や瓦礫の下に挿入し、音源探査させることも可能である。なお、前記擬似頭としても、人の頭部を模擬するものでなくてよく、デザイン性の観点から種々の形状のものを選択することができる。

ところで、使用者自身の外耳に装着してバイノーラル信号を記録するイヤホンタイプのバイノーラルマイクロホンが市販されているが、その種のマイクロホンは、人間が頭に装着して初めてバイノーラル信号を記録できるものなので、人間が入れない空隙の音源探査には使えない。また、装用者が聞いている音を再現することになるため、通信端末としても不向きである。
前記収音再生装置では、単体でバイノーラル信号を再生可能であり、人間の頭部を必要としない。また、前記収音再生装置を話者に対面するように配置すれば、通信端末として使用したとき、遠隔地にいる相手にとっては、自分が話者に対面している状況を擬似体験することになり、効果的である。

＜頭部伝達関数データベース＞
頭部伝達関数データベース６は、人の頭部による音の振幅レベル及び位相に対する影響を周波数の関数として表現した頭部伝達関数データを前記音の到来方向ごとに記録している。以下、この頭部伝達関数データベース６について説明する。

通常、人間が聞いている音は、その人の頭部や耳介による集音、遮音、反射、回折といった影響を受けている。このため、外耳道内で観測される信号は、頭のかわりに置かれたマイクロホンで観測される信号とは、パワースペクトルも位相スペクトルも明らかに異なるものとなる。

空間内に配置された１本のマイクロホンにてモノラル録音された信号や、水平方向に離して配置された２本のマイクロホンによりステレオ録音された信号をヘッドホンを介して人間に聞かせても、そのような信号には、前記頭部伝達関数の影響が欠如しているので、音に空間的な広がりが感じられず、まるで音源が頭の中で鳴っているように聞こえる。これは頭内定位と呼ばれる現象である。

これに対し、形状が人間の頭部を模擬しており、左右の外耳道内にマイクロホンが取り付けられた擬似頭にて録音された信号をヘッドホンを介して人間に聞かせると、その人には、前記擬似頭のまわりで鳴らされた音が、あたかも自分の頭のまわりで鳴っているかのように、空間的に広がって知覚される。これは頭外定位と呼ばれる現象である。この頭外定位が生じるのは、前記擬似頭の外耳道内で録音される信号には、前記擬似頭の頭部伝達関数が含まれているからである。

一般に、前記擬似頭を用いて録音することは、バイノーラル録音と呼ばれ、その録音された信号は、バイノーラル信号と呼ばれるが、本明細書において、前記収音再生装置で合成されるバイノーラル信号とは、この本来的な意味でのバイノーラル信号を擬似的に合成した信号を示す。

前記頭部伝達関数を逆フーリエ変換し、時間波形にしたものは、頭部インパルス応答と呼ばれる。前記擬似頭の頭部インパルス応答をあらかじめ測定しておけば、いちいち前記擬似頭を使って録音しなくても、モノラル録音された信号に、あらかじめ測定されている前記頭部インパルス応答を畳み込むことで、擬似的にバイノーラル信号を合成することができる。

前記頭部伝達関数及び前記頭部インパルス応答は、音の到来する方向に依存して様々に変化するので、あらかじめあらゆる方向の前記頭部伝達関数あるいは前記頭部インパルス応答を測定しておき、データベース化しておく。

モノラル信号に任意の方向の頭部インパルス応答を畳み込めば、音像の方向を任意に操作することができる。このため、水平面上の方位を５度刻みや１０度刻みで測定した前記頭部インパルス応答や、仰角方向も複数に分割して測定した前記頭部インパルス応答のデータベースが多くの研究機関等によって公開されている。

前記モノラル信号に前記頭部インパルス応答を畳み込む手法によって擬似的に前記バイノーラル信号を合成できるが、この手法には原理的な問題点がある。
即ち、前記モノラル信号には、音源からの直接音と、壁、床、天井などから跳ね返ってくる反射音とが含まれており、これらを分離することはできない。現実の環境では、前記反射音は、前記直接音とは異なる方向から耳に到達しているが、前記モノラル信号に前記頭部インパルス応答を畳み込む手法では、前記直接音にも前記反射音にもすべて同じ方向の前記頭部インパルス応答が畳み込まれてしまう。
したがって、この手法で得られる擬似バイノーラル信号は、本来のバイノーラル信号と大きく異なる。

そのため、現実的なバイノーラル信号を得るには、特許文献１及び２に提示されるように前記擬似頭を使って録音することが有効な手法の一つになる。この擬似頭には、人間の頭部の音響特性を忠実に模擬することが求められるため、当然、人間の頭部と同等の大きさが求められることになる。

しかし、人間の頭部と同等の大きさを持つ擬似頭では、その大きさ及び質量ゆえ、研究目的以外での用途は殆ど期待できないのが現状である。
本発明の前記収音再生装置では、音響収音部１を人間の頭部に比べて圧倒的に小さく、軽量化された構成としても、音響収音部１が参照マイクロホン４と比較マイクロホン５ａ，５ｂを有する構成とすることで、音響収音部１から収音した信号に基づいて、信号処理部２で擬似的なバイノーラル信号の合成を可能とするものであり、信号処理部２では、あらかじめ実際の人間の頭部あるいは擬似頭を用いて測定された頭部伝達関数データベース６を用いる。

この頭部伝達関数データベース６としては、例えば、ｆ_０［Ｈｚ］からｆ_ｎ−１［Ｈｚ］のすべての周波数に関して、水平面上の方向を５度刻み、あるいは１０度刻みに分割したすべての方位についての頭部伝達関数、つまり振幅レベル値と位相の値が記録されたデータベースが挙げられる。

＜信号処理部＞
信号処理部２は、音響収音部１で収音された音響信号と頭部伝達関数データベース６に記録された前記頭部伝達関数データから２チャネルの前記バイノーラル信号を合成し、周波数分析手段と、差分算出手段と、音像方向推定手段と、合成頭部伝達関数算出手段と、バイノーラル信号合成手段とを実行する。
この信号処理部２における情報処理の流れを図２に基づいて説明する。

−周波数分析手段−
前記周波数分析手段は、前記音響信号を逐次周波数分析する機能を有する手段である。
前記周波数分析手段としては、前記機能を有する限り特に制限はなく、目的に応じて適宜選択することができ、例えば、音響信号を時間ごとに区切る時間窓と、前記時間窓で区切られた音響信号を位相スペクトルとパワースペクトルの情報に変換する時間軸−周波数軸変換器（ＦＦＴ）との組合せ回路等の電気回路要素が挙げられる。

ここでは、参照マイクロホン４にて収音された信号と比較マイクロホン５ａ、５ｂにて収音された信号が、それぞれ短い時間窓に区切られる。以下、参照マイクロホン４にて収音された信号を基準信号、比較マイクロホン５ａ、５ｂにて収音された信号を比較信号とする。

前記時間窓に区切られた前記基準信号及び前記比較信号のそれぞれから周波数分析によってパワースペクトルと位相スペクトルが得られる。例えば、ｎ点のフーリエ分析にて前記周波数分析処理を実行する場合、周波数ｆ_０［Ｈｚ］からｆ_ｎ−１［Ｈｚ］の各周波数成分について、振幅レベルと位相が求められることになる（図２参照）。
なお、前記振幅レベルとは、音響パワーレベル［ｄＢ］や音圧レベル［ｄＢ］などのスペクトル波形において観測される振幅の値［ｄＢ］を示す。

−差分算出手段−
前記差分算出手段は、逐次周波数分析された前記音響信号に対し、その周波数成分ごとに前記基準信号と前記比較信号の位相差及び振幅レベル差を算出する機能を有する手段である。
前記差分算出手段としては、前記機能を有する限り特に制限はなく、例えば、減算器等の電気回路要素が挙げられる。

ここでは、前記周波数分析手段により得られた位相スペクトルとパワースペクトルから、例えば、ｆ_０［Ｈｚ］からｆ_ｎ−１［Ｈｚ］の各周波数ごとに、前記基準信号と前記各比較信号の振幅レベル差と位相差が求められる。この振幅レベル差と位相差にもとづいて、各周波数成分ごとの音像方向が推定される（図２参照）。

−音像方向推定手段−
前記音像方向推定手段は、前記位相差及び振幅レベル差から前記周波数ごとの音像方向を推定する機能を有する手段である。
前記音像方向推定手段としては、前記機能を有する限り特に制限はなく、例えば、前記位相差及び振幅レベル差を角度の情報に変換するデータ変換装置等の電気回路要素が挙げられる。

ここでの前記位相差及び振幅レベル差から前記周波数ごとの音像方向を推定する方法について、図３を用いて説明する。図３は、音像方向を推定する方法を説明する説明図であり、参照マイクロホン４と左右一対の比較マイクロホン５ａ、５ｂを上から見下ろしたときの様子を示している。この音響収音部１の構成例では、参照マイクロホン４と２個の比較マイクロホン５ａ、５ｂとが水平面上で正三角形の各頂点をなすように配置されている。

参照マイクロホン４と比較マイクロホン５ａ，５ｂの配置に関する前記第１の拘束条件を満たすように、比較マイクロホン５ａ、５ｂは、参照マイクロホン４に対して障害物にならない程度の小型マイクロホンとされる。

いま、図中のＡの方向にある音源から、ｆ［Ｈｚ］の音が到来しているものとする。参照マイクロホン４にて収音される基準信号をＳ_ｃ、図中左側の比較マイクロホン５ａにて収音される比較信号をＳ_ｌ、図中右側の比較マイクロホン５ｂにて収音される比較信号をＳ_ｒとする。ある時間窓において、基準信号Ｓ_ｃと左側の比較信号Ｓ_ｌがそれぞれ周波数分析され、ｆ［Ｈｚ］の成分について、Ｓ_ｃとＳ_ｌの位相差φ［ｒａｄ］が求められる。

音速をｃ［ｍｍ／ｓ］とすると、周波数ｆ［Ｈｚ］と波長λ［ｍｍ］には、
λ＝ｃ÷ｆ （１）
の関係がある。
前記音源から参照マイクロホン４までの伝搬距離と前記音源から比較マイクロホン５ａまでの伝搬距離の差をｄ［ｍｍ］とすると、信号の波長λ［ｍｍ］と信号間の位相差φ［ｒａｄ］との関係は、
２π×ｄ÷λ＝φ［ｒａｄ］ （２）
と表せる。
したがって、信号間の位相差φ［ｒａｄ］から信号の伝搬距離の差ｄ［ｍｍ］が求められる。

ｄ［ｍｍ］がわかれば、マイクロホンの配置間隔をｒ［ｍｍ］として、
ｃｏｓθ_０＝ｄ÷ｒ （３）
なので、
θ_０＝ａｃｏｓ（ｄ÷ｒ） （４）
から、音像の方向θ_０［ｒａｄ］が求められる。ただし、
ａｃｏｓ（ｄ÷ｒ）＝θ_０＝−θ_０ （５）
なので、前記音源が図中のＡ方向にあるのかＢ方向にあるのか区別できない。

そこで、右側の比較信号Ｓ_ｒと基準信号Ｓ_ｃに基づく音像方向推定も同様に行う。その結果、音像方向として、θ_１と−θ_１が算出される。つまり図中のＡ方向かＣ方向である。

両推定結果を同時に満たす音像方向は、ＢでもＣでもなくＡだけなので、ｆ［Ｈｚ］の音像方向がＡの方向であると特定される。２次元的に配置された３個のマイクロホンを用いることで水平面上の音像方向を一義的に求められるわけである。

この方法で、ｆ_０［Ｈｚ］からｆ_ｎ−１［Ｈｚ］までのすべての周波数成分について音像方向が推定される。すべての周波数成分の音像方向が推定されれば、後述するように頭部伝達関数データベース６を利用してバイノーラル信号が合成可能とされる。

続いて、参照マイクロホン４及び比較マイクロホン５ａ、５ｂを、前記マイクロホン保持部材の一例としての小型擬似頭８上に配置する実施形態について、音像方向の推定方法を図４を用いて説明する。

図４に示す例では、形状が人間の頭部を模擬した擬似頭上に参照マイクロホン４及び左右一対の比較マイクロホン５ａ、５ｂが配置されている。この場合も、マイクロホン間の水平距離は数ｃｍ程度でよいので、擬似頭の半径も数ｃｍでよい。

この小型擬似頭８を上から見下ろすと、参照マイクロホン４及び比較マイクロホン５ａ、５ｂは直線上に並んでいる。このため、図３に示した例のように音像方向を信号間の位相差だけから一義的に特定することができない。つまり音が図中のＡ方向から到来しているのか、Ｂ方向から到来しているのかについて、信号間の位相差だけでは区別できないことになる。

しかし、左右の比較マイクロホン５ａ、５ｂの背後に耳介９ａ、９ｂが設けられている。この耳介９ａ、９ｂは、前方から到来する音に対しては、集音器として働くが、後方から到来する音に対しては障害物となり、遮音効果を及ぼす。

参照マイクロホン４に対して耳介９ａ、９ｂの影響が無視できるなら、参照マイクロホン４の特性は、水平面上の方向に依存しないので、前方から到来する音に対しても後方から到来する音に対しても感度は同じである。
したがって、信号間位相差だけでは前方から到来する音と後方から到来する音を区別できなくても、基準信号Ｓ_ｃと比較信号Ｓ_ｌ及びＳ_ｒのレベル差が音像方向を推定する手がかりとして利用でき、図中のＡ方向から来る音とＢ方向から来る音を区別することが可能となる。

耳介９ａ、９ｂによる影響は、音の到来方向にも、信号の周波数にも依存するので、使用する小型擬似頭８の頭部伝達関数をあらかじめ測定しておく必要がある。

ここで、図４に示すように参照マイクロホン４及び比較マイクロホン５ａ、５ｂを、マイクロホン保持部材（小型擬似頭８）に配置する利点について述べる。

図３のように擬似頭を用いずにマイクロホンを配置する場合、波長が短くなる高周波数帯域において、前記位相差を前記音像方向を推定する手がかりとして利用できなくなる。図３のマイクロホン配置において、信号の伝搬距離差ｄ［ｍｍ］は、マイクロホン間の距離ｒ［ｍｍ］より短いはずである。三角関数の周期性から、φ［ｒａｄ］とφ−２π［ｒａｄ］は同等であるが、信号の周波数が低く、波長が２ｒ［ｍｍ］よりも長ければ、φ［ｒａｄ］から算出される信号伝搬距離差とφ−２π［ｒａｄ］から算出される信号伝搬距離差のうち、一方がｒ［ｍｍ］より短ければ、他方は必ずｒ［ｍｍ］よりも長いはずなので、本来の信号間位相差がφ［ｒａｄ］なのかφ−２π［ｒａｄ］なのかが一義的に特定され、音像方向も特定できる。

しかし、信号の周波数が高くなり、波長が２ｒ［ｍｍ］よりも短くなると、信号間位相差φ［ｒａｄ］から算出される伝搬距離差とφ−２π［ｒａｄ］から算出される伝搬距離差の両方がマイクロホン間距離ｒ［ｍｍ］よりも短くなることもあり、本来の信号間位相差がφ［ｒａｄ］なのかφ−２π［ｒａｄ］なのか特定できない場合も出てくる。この場合、音像方向も特定できない。

信号間位相差以外に前記音像方向を推定する今一つの手がかりとして、信号間振幅レベル差がある。しかし、図３に示すようなマイクロホン配置において、信号間振幅レベル差が利用できるのは、音源が比較的近距離にあるときだけである。音源が近距離にあれば、数ｃｍ程度の距離差でも計測可能な信号間振幅レベル差が生じるが、音源が遠くにある場合、例えば１０ｍ以上も離れていると、数ｃｍ程度の距離差による信号間振幅レベル差は殆ど検出できないため、前記音像方向を推定する手がかりとして利用することが困難である。

これに対し、図４に示すようにマイクロホンが小型擬似頭８上に配置されていれば、擬似頭の横方向から到来する音は、頭のまわりを回折して反対側に達することになる。波には、波長が長いほど回折しやすいという性質がある。周波数の高い音は回折しにくく、低周波音に比べて頭の反対側に伝搬しにくいのである。

つまり、周波数が高くなるほど、左右の比較信号Ｓ_ｌとＳ_ｒの間に振幅レベル差が生じやすくなるのである。これは音源が遠方にあっても変わらないので、遠くから到来する信号でも、振幅レベル差が音像方向を推定する手がかりとして利用できることを意味する。

本発明において重要なのは、あらゆる周波数成分の音像方向を推定することである。そのための手がかりとして、信号間位相差や振幅レベル差を利用しやすいように各マイクロホンを配置すればよい。この意味で、参照マイクロホン４と比較マイクロホン５ａ，５ｂの配置に関する第１及び第２の拘束条件がともに満たされているなら、前記マイクロホン保持部材（小型擬似頭８）の形状に制約はない。

なお、音響収音部１で収音されるべき実際の音源数は１つとは限らない。むしろ通常の環境では、複数の音源が同時に存在するのが普通であり、音源の数も未知である。
したがって、ここでいう音像方向というのは、複数の音源から到来する音が混じり合った合成音像の音像方向である。
ここでは、ｆ_０［Ｈｚ］からｆ_ｎ−１［Ｈｚ］の各周波数について推定された音像方向を、それぞれ角度θ_０からθ_ｎ−１として処理し、合成音像の音像方向を通常の環境に即して推定する。

−合成頭部伝達関数算出手段−
前記合成頭部伝達関数算出手段は、前記推定された音像方向にしたがい、前記頭部伝達関数データベースから前記頭部伝達関数データを読み出し、時変の合成頭部伝達関数を算出する機能を有する手段である。
前記合成頭部伝達関数算出手段としては、前記機能を有する限り特に制限はなく、目的に応じて適宜選択することができ、例えば、音像の方向を表す角度値からなる入力信号に対し、その入力信号に対応する周波数ごとの振幅レベル値と位相の値をデータベースから読み出し、これを出力するデータ変換装置と、その出力信号を周波数順に並べ替えるデータ並べ替え器と、並べ替えられたデータを時間軸情報に変換してインパルス応答を得る周波数軸−時間軸変換器（逆ＦＦＴ）の組合せ回路等の電気回路要素が挙げられる。

ここでは、頭部伝達関数データベース６から、周波数ごとに音像方向に対応するレベル値と位相の値を取得する。例えば、任意の周波数ｆ_ｘ［Ｈｚ］について推定された音像方向は、θ_ｘなので、頭部伝達関数データベース６から、ｆ_ｘ［Ｈｚ］の音がθ_ｘの方向から到来する場合の、振幅レベル値と位相の値を取得する。これをｆ_０［Ｈｚ］からｆ_ｎ−１［Ｈｚ］のすべての成分について行い、得られたレベル値と位相の値を逆フーリエ変換すれば、その観測時間窓における合成頭部インパルス応答になる（図２参照）。
一般に頭部伝達関数や頭部インパルス応答は、音が任意の一方向から到来する場合を想定したものだが、本発明の信号処理部で求められるのは周波数ごとに異なる音像方向に基づく頭部インパルス応答ないし頭部伝達関数なので、ここでは、合成頭部インパルス応答ないし合成頭部伝達関数と呼ぶ。
前記収音再生装置は、頭部伝達関数を、周波数ごとの頭部伝達関数である合成頭部伝達関数として算出し、これをもとにバイノーラル信号を合成するため、複数の音源から到来する音響信号のそれぞれに音空間情報を付加して、臨場感に富んだバイノーラル信号を再生することができる。

−バイノーラル信号合成手段−
前記バイノーラル信号合成手段は、前記合成頭部伝達関数（前記合成頭部インパルス応答）を参照マイクロホン４を通じて取得される前記基準信号に付加することにより、前記２チャネルのバイノーラル信号を合成する機能を有する手段である。
前記バイノーラル信号合成手段としては、前記機能を有する限り特に制限はなく、目的に応じて適宜選択することができ、例えば、畳み込み器等の電気回路要素が挙げられる。

ここでは、前記合成頭部伝達関数算出手段により算出された合成頭部インパルス応答を、参照マイクロホン４にて収音された基準信号に畳み込み、実際の人間の耳で観測される信号を模擬し、臨場感に富んだ２チャネルのバイノーラル信号を合成する（図２参照）。

また、比較マイクロホンの数を３個として、３次元音空間情報を付加したバイノーラル信号を合成する場合は、次のように実施することができる。
３次元空間において、音が到来する方向は、水平面上の方向に仰角方向を加えたｘ，ｙ，ｚ座標として表される（図５参照）。しかし、図３に示したように参照マイクロホン４と比較マイクロホン５ａ及び５ｂを水平面上に配置する方法では、音像の水平面上の方向しか特定されない。
実環境での音の聞こえ方を、より忠実に再現するには、仰角方向も含めた音像方向を推定することが望ましい。それには、１個の参照マイクロホンに３個の比較マイクロホンを合わせた合計４個のマイクロホンを３次元的に配置するとともに、頭部伝達関数データベース６にも仰角方向を含めた３次元の頭部伝達関数データを用意しておくとよい。

１例として、４個のマイクロホンを、それぞれが正四面体の頂点を成すように配置した場合について、図６を用いて説明する。正四面体には、４つの面がある。これらを図６のように、Ａ，Ｂ，Ｃ，Ｄとする。４つの面Ａ，Ｂ，Ｃ，Ｄは、いずれも正三角形である。このうち正三角形Ａが水平面上にあるとすると、Ａの頂点となる３つのマイクロホンを用いて、図４に示した方法により、水平面上の音像方向が特定できることは、すでに述べた通りである。しかし、この方法では、仰角方向については音像方向を特定できないため、推定される方向は、垂直方向に面積をもつ面となる。

正三角形Ｂ，正三角形Ｃ，正三角形Ｄのそれぞれにおいても同様にして音像方向を推定できるが、推定される方向は、いずれも面である。ただし、４つの正三角形Ａ，Ｂ，Ｃ，Ｄは、互いに平行ではないので、それらの正三角形から推定される音像方向も互いに平行関係にはならない。
平行ではない２つの面の交差は、直線となる。更に互いに平行ではない３つの面の交差は、長さをもたない点となる。
したがって、正三角形Ａ，Ｂ，Ｃ，Ｄのうち、いずれか３個を用いて音像方向を推定すれば、３つの推定結果を同時に満たす方向は、３次元空間において１方向に特定される。つまり、水平面上の方向に加えて仰角方向も特定できることになる。

このようにして推定された３次元の音像方向を利用するため、頭部伝達関数データベース６には、５度刻みや１０度刻みで分割した仰角方向ごとに、水平方向にも５度刻みや１０度刻みで分割された精緻な頭部伝達関数データを用意しておく。
周波数ごとに推定された３次元の音像方向にもとづき、頭部伝達関数データベース６から、当該周波数かつ当該方向（仰角方向及び水平方向）の頭部伝達関数データ（振幅レベル値及び位相の値）を読み出す。それ以降の処理について、図３についての説明と同じである。

信号処理部２を電気回路要素により構成した場合の一例を信号処理の流れとともに図７を用いて説明する。

参照マイクロホン４から取得された音響信号は、時間窓５０で時間ごとに区切られた後、基準信号として時間軸−周波数軸変換器（ＦＦＴ）５１にて周波数分析され、位相スペクトル及びパワースペクトルの信号として出力される。
また、比較マイクロホン５ａから取得された音響信号についても同様に、時間窓５０’で時間ごとに区切られた後、比較信号として時間軸−周波数軸変換器（ＦＦＴ）５１’にて周波数分析され、位相スペクトル及びパワースペクトルの信号として出力される。
基準信号及び比較信号のパワースペクトルの信号は、減算器５２にて差分算出され、振幅レベル差の信号としてデータ変換装置５３に出力される。
同様に、基準信号及び比較信号の位相スペクトルの信号は、減算器５２’にて差分算出され、位相差の信号としてデータ変換装置５３に出力される。
データ変換装置５３は、入力される振幅レベル差及び位相差の信号を、周波数成分ｆ_０［Ｈｚ］〜ｆ_ｎ−１［Ｈｚ］ごとに音像方向の角度θ_０［ｒａｄ］〜θ_ｎ−１［ｒａｄ］の情報に変換する。任意の周波数ｆ_ｘにおける音像方向の角度θ_ｘの情報は、頭部伝達関数データベース６にあらかじめ記録された音像方向の角度θ_ｘにおける頭部伝達関数データ（振幅レベル値及び位相の値）とともに、データ並べ替え器５４に出力され、頭部伝達関数データが周波数軸上に並べられた合成頭部伝達関数として出力される。
前記合成頭部伝達関数は、周波数軸−時間軸変換器（逆ＦＦＴ）５５にて、逆フーリエ変換され、観測時間窓における合成頭部インパルス応答として出力される。
比較マイクロホン５ｂから取得された音響信号についても、比較マイクロホン５ａから取得された音響信号と同様の処理により、観測時間窓における合成頭部インパルス応答として出力される。
これらの合成頭部インパルス応答は、畳み込み器５６にて参照マイクロホン４にて収音された基準信号に畳み込まれ、前記２チャネルのバイノーラル信号が合成される。

以上、図７を用いて、信号処理部２を電気回路要素により構成した場合の一例を説明したが、市販のパーソナルコンピュータをハードウエア資源として用い、このパーソナルコンピュータに、後述する本発明のプログラムをインストールすることで、前記信号処理部２を電気回路要素により構成した場合と同様の信号処理を実行することができる。
信号処理部２として、このコンピュータを用いた構成とすれば、手持ちのハードウエア資源を有効に活用することができ、安価に前記収音再生装置を構築することができる。

＜音響再生部＞
音響再生部３は、前記２チャネルのバイノーラル信号をステレオ音響として再生する。
音響再生部３としては、例えば、前記２チャネルのバイノーラル信号をＤＡ変換して、それぞれの信号を独立して出力するステレオ受話器７を有して構成される（図１参照）。

＜その他の部材＞
前記その他の部材としては、特に制限はなく、目的に応じて適宜選択することができ、例えば、記録部、角度センサ等が挙げられる。

−記録部−
前記記録部は、前記バイノーラル信号を記録する。これにより、前記バイノーラル信号を必要に応じて読み出し、その３次元音空間情報を再生することができる。
前記記録部としては、特に制限はなく、目的に応じて適宜選択することができ、公知の記録媒体を適用することができる。
前記収音再生装置としては、前記マイクロホン保持部材の小型化及び軽量化によりハンドリング性に優れるため、前記記録部を更に備えることで、ボイスレコーダ等の携帯記録メディアとしても好適に利用することができる。

−角度センサ−
前記角度センサは、音響再生部３の配置角度の変更を検出し、その変更に係る信号を信号処理部２に出力する。この時、前記音像方向推定手段は、前記角度センサで検出された前記配置角度の変更にしたがい、その推定する音像方向を変更して前記音像方向を推定する。

ここで、音響再生部３としてのステレオ受話器７の装用者が頭部の向きを変えたときに、３次元音空間情報を保持させるための手法について、図８、図９及び図１０により説明する。

実生活場面での様々な音源、例えば犬、救急車、電気掃除機などは、聴取者の頭の動きとは関係なく、独立に動いている。また、テレビ、洗濯機、ドアチャイムといった音源は、聴取者の頭が動いても、それに追従して動いたりはしない。これに対し、ヘッドホンから提示される信号の音像は、聴取者の頭の動きに同調して動いてしまう。

一般に擬似頭を用いてバイノーラル録音された信号は、ヘッドホンを介して提示されるため、図８に示すように、ヘッドホンの装用者が頭部を動かしてしまうと、知覚される音像の方向が狂ってしまう。この図８は、擬似頭１０に対し左３０度の方向に音源がある場合について示したものである。左上段に示すようにヘッドホン装用者が正面を向いていれば、仮想音源も左３０度方向に知覚されるので問題はない。
しかし、左下段のようにヘッドホン装用者が頭部を右に６０度回転させると、仮想音源も頭が回転した方向に動いてしまう。頭外にある音源が聴取者の頭の動きに合わせて動くというのは、現実場面では殆ど考えられないことであり、非常に不自然である。

この問題を回避する手段として、ヘッドホンの回転をセンサにて検知することでヘッドホン装用者の頭部の向きの変化を検出し、それに追従させるように擬似頭も回転させる方法が提案されている（非特許文献２）。ヘッドホン装用者の頭部の回転に追従して擬似頭を回転させる方法は、テレヘッド方式と呼ばれている。
この方式では、図９に示すように、ヘッドホンの回転を角度センサ１１で検出し、テレヘッド１２がヘッドホンの回転に追従して回転する。このため、ヘッドホン装用者が頭部を回転させても、頭外にある仮想音像の方向は変化せず、自然な音像定位が実現される。

しかし、テレヘッド方式を実現するには、ヘッドホンの回転を検出させる機構だけでなく、擬似頭を回転させるためのモータや、モータを駆動させる電力が必要となる。

これに対し、前記角度センサ及び前記音像方向推定手段を用いた手法によれば、基本的な構成に、ステレオ受話器７の回転を検出する機構を加えるだけで、後はすべて信号処理だけでテレヘッド方式と同様の効果を生み出すことが可能である。

信号処理部２では、すでに述べた通り、基準信号と比較信号の位相差及び振幅レベル差を手掛かりとして、周波数ごとの音像方向を推定し、推定された音像方向に基づいて時変の合成頭部伝達関数を算出し、バイノーラル信号を合成している。ここで、音像方向を表す角度の基準となる０度方向は、信号処理部２で、便宜的に決めればよいだけである。

図１０に示すように、ステレオ受話器７が回転した場合、参照マイクロホン４や比較マイクロホン５ａ，５ｂを回転させるのではなく、当該回転角度分だけ、信号処理部２上の０度方向を回転させればよい。具体的には、ステレオ受話器がθ［ｒａｄ］だけ回転したなら、信号処理部２で推定された音像方向からθ［ｒａｄ］を算術的に減算するだけで済む。

図１０の例では、もともと−３０度方向に音源があった。角度センサ１１によってステレオ受話器が６０度回転したことが検出されれば、もともとの推定音像方向である−３０度から６０度を減算し、あらたな音像方向−９０度が容易に求められる。このようにマイクロホンを回転させる必要がないので、モータもモータを駆動する電力も不要である。

更に、テレヘッド自体を回転させる方式では、同時に複数のヘッドホン装用者の頭部回転に対応したバイノーラル信号を得るには、ヘッドホン装用者の人数分、個別のテレヘッドを用意し、それを各ヘッドホン装用者の頭部の回転に合わせて回転させなくてはならないのに対し、本発明を用いると、信号処理のプログラムを並列に複数実行させることによって、１個の収音装置で、複数の聴取者に、個別のバイノーラル信号を提示することも可能である。これは、アミューズメント施設などでオーディオビジュアルコンテンツを同時に複数の視聴者に提示する場合などに有効と考えられる。

前記収音再生装置は、音響収音部１の参照マイクロホン４及び比較マイクロホン５ａ，５ｂを水中音響収音用のハイドロホンとして構成することにより、水中でのバイノーラル録音に応用することが可能となる。
水中での音速は、およそ１，５００ｍ／ｓであり、空中での音速（約３４０ｍ／ｓ）の約４．４倍である。これは、同じ周波数の音波の水中における波長が空中に比べて約４．４倍になることを示す。
したがって、水中でバイノーラル録音を行うには、例えば、前記マイクホロン保持部材として擬似頭を用いる場合、標準的な擬似頭の４倍から５倍の大きさの擬似頭を用いる必要がある。この場合、従来法によれば、直径が７０ｃｍを超える大きさの擬似頭が必要になる。

しかし、参照マイクロホンと比較マイクロホンを用いる前記収音再生装置によれば、空中での使用において１ｃｍ〜１０ｃｍ程度の間隔をもって、これらのマイクロホンを配置すればよいので、水中での使用においても、前記各マイクロホンを構成する３個又は４個のハイドロホンを最大でも互いに５０ｃｍほどの間隔で２次元的又は３次元的に配置するだけでよい。
即ち、図１１に示すように、前記収音再生装置を空中で利用する場合の前記各マイクロホンの配置間隔をｎ［ｍｍ］とするなら、水中で利用する場合、ハイドロホンの間隔は、ｎ×４．４［ｍｍ］程度となる。
したがって、前記収音再生装置を水中音響の収音再生に用いる場合、音波の波長が水中では、空中の４倍〜５倍であることに合わせて、参照マイクロホン４及び比較マイクロホン５ａ，５ｂからなる各ハイドロホンのそれぞれが、相互に４ｃｍ〜５０ｃｍの距離を隔てた状態で２次元的に保持されるように構成すればよい（図１１参照）。なお、実用上は、前記距離を１０ｃｍから２０ｃｍ程度とすれば十分である。

また、収音された信号からバイノーラル信号を合成する信号処理方法は、空中での音波を対象とする場合とまったく同じでよい。
したがって、低価格にて水中の音を立体的に聞かせることが可能となり、海底探査や転覆した船舶内での音源探査への応用が期待できる。

図１、図３、図４、図１０及び図１１の説明では、わかりやすくするため、比較マイクロホンの数を２個としているが、比較マイクロホンを３個とし、３次元に配置すれば、水平方向だけでなく仰角方向も含めて、より高い精度で音像方向を推定できることは容易に予測できるだろう。本発明における一実施形態を示したが、本発明は、ここで説明した形態に限定されるものではなく、基本的な構成、方法が守られていれば、その他の点については適宜変更することが可能である。

（プログラム）
本発明のプログラムは、前記信号処理部が前記コンピュータで構成される前記収音再生装置に用いられ、前記信号処理部に対し、バイノーラル信号の合成を実行させる。
即ち、前記プログラムは、前記信号処理部としての前記コンピュータに対し、前記音響信号を逐次周波数分析する周波数分析処理と、前記参照マイクロホンを通じて取得される前記音響信号を基準信号とし、前記比較マイクロホンから取得される前記音響信号を比較信号としたとき、逐次周波数分析された前記音響信号に対し、その周波数成分ごとに前記基準信号と前記比較信号の位相差及び振幅レベル差を算出する差分算出処理と、前記位相差及び振幅レベル差から前記周波数成分ごとの音像方向を推定する音像方向推定処理と、前記推定された周波数成分ごとの音像方向にしたがい、前記頭部伝達関数データベースから前記推定された周波数成分ごとの前記頭部伝達関数データを読み出し、時変の合成頭部伝達関数を算出する合成頭部伝達関数算出処理と、前記合成頭部伝達関数を前記基準信号に付加することにより、前記２チャネルのバイノーラル信号を合成するバイノーラル信号合成処理を実行させる。
また、前記収音再生装置が前記角度センサを有する場合、前記音像方向推定処理を、前記角度センサで検出された前記配置角度の変更にしたがい、その推定する方向を変更して前記音像方向を推定することとして、前記信号処理部に実行させる。

（収音再生方法）
本発明の収音再生方法は、音響収音ステップと、信号処理ステップと、音響再生ステップとを有し、更に必要に応じて、角度変更検出ステップを有する。

前記音響収音ステップでは、１個の参照マイクロホンと、２個又は３個の比較マイクロホンから音響を収音する。
この音響収音ステップとしては、本発明の前記収音再生装置における前記音響収音部により、実施することができる。

前記信号処理ステップでは、前記収音された音響の音響信号と、人の頭部による音の振幅レベル及び位相に対する影響を周波数の関数として表現した頭部伝達関数データを前記音の到来方向ごとに記録した頭部伝達関数データベースから２チャネルのバイノーラル信号を合成する。
具体的には、前記信号処理ステップでは、前記音響信号を逐次周波数分析する逐次周波数分析処理と、前記参照マイクロホンを通じて取得される音響信号を基準信号とし、前記比較マイクロホンから取得される音響信号を比較信号としたとき、逐次周波数分析された前記音響信号に対し、その周波数成分ごとに前記基準信号と前記比較信号の位相差及びレベル差を算出する差分算出処理と、前記位相差及びレベル差から前記周波数成分ごとの音像方向を推定する音像方向推定処理と、前記推定された音像方向にしたがい、前記頭部伝達関数データベースから前記頭部伝達関数データを読み出し、時変の合成頭部伝達関数を算出する合成頭部伝達関数算出処理と、前記合成頭部伝達関数を前記基準信号に付加することにより前記２チャネルのバイノーラル信号を合成するバイノーラル信号合成処理と、を実行する。
前記信号処理ステップとしては、本発明の前記収音再生装置における前記信号処理部及び前記頭部伝達関数データベースにより実施することができる。

前記音響再生ステップでは、前記２チャネルのバイノーラル信号を音響として再生する。この音響再生ステップとしては、本発明の前記収音再生装置における前記音響再生部により実施することができる。

前記角度変更検出ステップは、音響再生ステップを実行する音響再生部の配置角度の変更を検出する。この場合、前記音像方向推定処理では、前記角度変更検出ステップで検出された前記配置角度の変更にしたがい、その推定する音像方向を変更して前記音像方向を推定する。この角度変更検出ステップとしては、本発明の前記収音再生装置における前記角度センサにより実施することができる。

以下に、一般的なステレオ録音方法により録音した場合と、本発明の収音再生装置によりバイノーラル録音した場合とで、実際上のどのような相違が確認されるかについて説明する。
左方向から提示した音声をステレオ録音した信号のパワースペクトルを図１２に示す。全体的に右チャネルに比べて左チャネルの振幅レベルがわずかに高いこと以外、スペクトルの形状に明確な差は認められない。
同じ音声を本発明の収音再生装置による音響収音部にて収音し、収音された信号をもとに信号処理部にて合成したバイノーラル信号のパワースペクトルを図１３に示す。頭部伝達関数の影響が加わっているため、単純なステレオ信号（図１２）とは明らかにスペクトル形状が異なる。更に、右チャネルと左チャネルの信号に振幅レベル差だけではなく、５ｋＨｚから１０ｋＨｚ付近などに、スペクトル形状の差が認められる。これは、左方向から到来する音に対する頭部伝達関数が左右で明確に異なるためであり、図１３は、信号処理によってその違いが再現されていることを示すものである。

１ 音響収音部
２ 信号処理部
３ 音響再生部
４，４’ 参照マイクロホン
５ａ，５ａ’ 比較マイクロホン（左）
５ｂ，５ｂ’ 比較マイクロホン（右）
６ 頭部伝達関数データベース
７ ステレオ受話器
８ 小型擬似頭
９ａ 耳介（左）
９ｂ 耳介（右）
１０ 擬似頭
１１ 角度センサ
１２ テレヘッド
５０，５０’ 時間窓
５１，５１’ 時間軸−周波数軸変換器（ＦＦＴ）
５２，５２’ 減算器
５３ データ変換装置
５４ データ並べ替え器
５５ 周波数軸−時間軸変換装置（逆ＦＦＴ）
５６ 畳み込み器

特開平７−２３１５００号公報 特開２００９−２００５６９号公報 特開２０１０− ２５８０２号公報

坂本 修一，小玉 純一，本郷 哲，岡本 拓磨，岩谷 幸雄，鈴木 陽一，２５２ｃｈ等密度球状アレイを用いた３次元音場情報取得システム，電子情報通信学会技術研究報告，ＥＡ２０１０−４６， ２０１０ Ｔｏｓｈｉｍａ Ｉ．，Ｕｅｍａｔｓｕ Ｈ．，ａｎｄ Ｈｉｒａｈａｒａ Ｔ．，Ａ ｓｔｅｅｒａｂｌｅ ｄｕｍｍｙ ｈｅａｄ ｔｈａｔ ｔｒａｃｋｓ ｔｈｒｅｅ−ｄｉｍｅｎｔｉｏｎａｌ ｈｅａｄ ｍｏｖｅｍｅｎｔ：ＴｅｌｅＨｅａｄ，Ａｃｏｕｓｔｉｃａｌ Ｓｃｉｅｎｃｅ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ，２４，３２７−３２９，２００３

Claims (11)

1. １個の参照マイクロホンと２個又は３個の比較マイクロホンとを有する音響収音部と、
   人の頭部による音の振幅レベル及び位相に対する影響を周波数の関数として表現した頭部伝達関数データを前記音の到来方向ごとに記録した頭部伝達関数データベースと、
   前記音響収音部で収音され、時間ごとに区切られた音響信号と前記頭部伝達関数データから２チャネルのバイノーラル信号を合成する信号処理部と、
   前記２チャネルのバイノーラル信号を音響として再生する音響再生部と、を有し、
   前記信号処理部は、前記音響信号を逐次周波数分析する周波数分析手段と、
   前記参照マイクロホンを通じて取得される前記音響信号を基準信号とし、前記比較マイクロホンから取得される前記音響信号を比較信号としたとき、逐次周波数分析された前記音響信号に対し、その周波数成分ごとに前記基準信号と前記比較信号の位相差及び振幅レベル差を算出する差分算出手段と、
   前記位相差及び振幅レベル差から前記周波数成分ごとの音像方向を推定する音像方向推定手段と、
   前記推定された周波数成分ごとの音像方向にしたがい、前記頭部伝達関数データベースから前記推定された周波数成分ごとの前記頭部伝達関数データを読み出し、前記周波数成分ごとの前記頭部伝達関数データが周波数軸上に並べられた前記時間ごとにおける合成頭部伝達関数を算出する合成頭部伝達関数算出手段と、
   前記合成頭部伝達関数を前記基準信号に付加することにより、前記２チャネルのバイノーラル信号を合成するバイノーラル信号合成手段と、を有することを特徴とする収音再生装置。
2. バイノーラル信号を記録する記録部を有する請求項１に記載の収音再生装置。
3. 音響再生部の配置角度の変更を検出し、その変更に係る信号を信号処理部に出力する角度センサを有し、
   音像方向推定手段は、前記角度センサで検出された前記配置角度の変更にしたがい、その推定する音像方向を変更して前記音像方向を推定する請求項１から２のいずれかに記載の収音再生装置。
4. 音響収音部が、参照マイクロホン及び２個又は３個の比較マイクロホンを保持するマイクロホン保持部材を有し、
   前記参照マイクロホン及び前記比較マイクロホンのそれぞれが、相互に１ｃｍ〜１０ｃｍの距離を隔てた状態で保持される請求項１から３のいずれかに記載の収音再生装置。
5. 音響収音部が、参照マイクロホン及び２個又は３個の比較マイクロホンを保持するマイクロホン保持部材を有し、
   前記参照マイクロホン及び前記比較マイクロホンが水中音響収音用のハイドロホンとして構成され、
   前記各ハイドロホンのそれぞれが、相互に４ｃｍ〜５０ｃｍの距離を隔てた状態で保持される請求項１から３のいずれかに記載の収音再生装置。
6. マイクロホン保持部材が、少なくとも耳介部と外耳道部を有し、頭部を模擬しているが、前記頭部に比べて小さい大きさの擬似頭であり、
   比較マイクロホンのうち少なくとも２個が、各々前記外耳道部に配され、参照マイクロホンが前記比較マイクロホンに対して、距離を隔てて前記擬似頭に配される請求項４から５のいずれかに記載の収音再生装置。
7. 信号処理部がパーソナルコンピュータで構成される請求項１から６のいずれかに記載の収音再生装置。
8. 信号処理部において合成されたバイノーラル信号を音響再生部に送信する無線インターフェースを有する請求項１から７のいずれかに記載の収音再生装置。
9. 請求項７に記載の収音再生装置に用いられ、
   信号処理部に対し、バイノーラル信号の合成を実行させることを特徴とするプログラム。
10. １個の参照マイクロホンと２個又は３個の比較マイクロホンから音響を収音する音響収音ステップと、
    前記収音された音響の時間ごとに区切られた音響信号と人の頭部による音のレベル及び位相に対する影響を周波数の関数として表現した頭部伝達関数データを前記音の到来方向ごとに記録した頭部伝達関数データベースとから２チャネルのバイノーラル信号を合成する信号処理ステップと、
    前記２チャネルのバイノーラル信号を音響として再生する音響再生ステップと、を有し、
    前記信号処理ステップは、前記音響信号を逐次周波数分析する逐次周波数分析処理と、
    前記参照マイクロホンを通じて取得される前記音響信号を基準信号とし、前記比較マイクロホンから取得される前記音響信号を比較信号としたとき、逐次周波数分析された前記音響信号に対し、その周波数成分ごとに前記基準信号と前記比較信号の位相差及び振幅レベル差を算出する差分算出処理と、
    前記位相差及び振幅レベル差から前記周波数成分ごとの音像方向を推定する音像方向推定処理と、
    前記推定された周波数成分ごとの音像方向にしたがい、前記頭部伝達関数データベースから前記推定された周波数成分ごとの前記頭部伝達関数データを読み出し、前記周波数成分ごとの前記頭部伝達関数データが周波数軸上に並べられた前記時間ごとにおける合成頭部伝達関数を算出する合成頭部伝達関数算出処理と、
    前記合成頭部伝達関数を前記基準信号に付加することにより前記２チャネルのバイノーラル信号を合成するバイノーラル信号合成処理と、を実行することを特徴とする収音再生方法。
11. 音響再生ステップを実行する音響再生部の配置角度の変更を検出する角度変更検出ステップを有し、
    音像方向推定処理は、前記角度変更検出ステップで検出された前記配置角度の変更にしたがい、その推定する音像方向を変更して前記音像方向を推定する請求項１０に記載の収音再生方法。