JP6896626B2 - ヘッドホンを通じて頭部外面化３ｄオーディオを生成するシステム及び方法 - Google Patents

Description

本発明は、ヘッドホン（本出願において、聴取者の耳に近接近したヘッドホン、イヤホン、イヤースピーカー、又は他の何れかのトランスデューサを含むものとする）を通じて頭部外面化（ｈｅａｄ−ｅｘｔｅｒｎａｌｉｚｅｄ）３Ｄオーディオ用の３Ｄオーディオフィルタを生成するシステム及び方法に関し、より詳細には、ヘッドホンを通じて高品質の３Ｄ頭部外面化された３Ｄオーディオを提供するためのフィルタ設計に関する。

本発明は、音楽聴取、エンターテイメントシステム、プロ用オーディオ、映画、情報通信、テレビ会議、ゲーム、仮想現実システム、コンピュータオーディオ、軍事及び医療用オーディオ用途を含む、ヘッドホンを通じて聴取者にオーディオが提供される実質的に全ての用途において汎用性がある。

ヘッドホンを通じたオーディオの頭部外面化に使用される従来技術のシステム及び方法は、以下の２つの方法のうちの１又は組み合わせに依存する。これらの従来技術の第１は、バイノーラルオーディオ、すなわち、ダミーヘッドマイクロホンで音響的に記録されたオーディオ、又はダミーヘッド又は人間の頭部の数値的ＨＲＩＲ（ｈｅａｄ−ｒｅｌａｔｅｄ ｉｍｐｕｌｓｅ ｒｅｓｐｏｎｓｅ：頭部関連インパルス応答）を用いてコンピュータ上でバイノーラル方式でミックスされるオーディオを用いている。本方法に関する課題は、音響の良好な頭部外面化をもたらすことができるのがごく僅かな比率の聴取者だけである点である。実質的に全ての聴取者に標準的なヘッドホンを通じて頭部外面化されたバイノーラル音響に対する十分に立証された機能的不良は、多くの要因に起因する（例えば、Ｒｏｚｅｎｎ Ｎｉｃｏｌ， Ｂｉｎａｕｒａｌ Ｔｅｃｈｎｏｌｏｇｙ， ＡＥＳ Ｍｏｎｏｇｒａｐｈｓ ｓｅｒｉｅｓ， Ａｕｄｉｏ Ｅｎｇｉｎｅｅｒｉｎｇ Ｓｏｃｉｅｔｙ， Ａｐｒｉｌ ２０１０を参照）。かかる要因の１つは、音響記録に使用されるヘッドのＨＲＩＲと実際の聴取者のＨＲＩＲとの不一致である。別の重要な要因は、頭部移動に対する堅牢性の欠如であり、すなわち、聴取者が頭部を回転させると、感知されたオーディオ像が頭部とともに移動し、この技巧が感知のリアリズムを劣化させることである。ＰＡ法１では、音源の位置は、既に記録されている音響場において一般的には未知であるので、感知されたオーディオ像を決定するのに既存の頭部追跡（ヘッドトラッキング）技術を使用することはできない。

第２の従来技術の方法（ＰＡ法２）は、リスニングルームにおいてラウドスピーカーのバイノーラルインパルス応答を表現又はエミュレートするデジタル（又はアナログ）フィルタを通してオーディオをフィルタリングする（このようなフィルタは、ＳＲｂＩＲフィルタと呼ばれ、ここで「ＳＲｂＩＲ」は、「スピーカー＋ルームバイノーラルインパルス応答（Ｓｐｅａｋｅｒｓ＋Ｒｏｏｍ ｂｉｎａｕｒａｌ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）」を表す）。ＰＡ法１に優るこの方法の利点は、種々の頭部位置（予想される頭部回転の範囲をカバーする３つの位置は、他の頭部回転角度でＳＲｂＩＲを外挿するのに通常は十分である）にて測定又は算出されたＳＲｂＩＲを用いた入力オーディオの畳み込みは、頭部追跡を用いて頭部位置の関数として変化することができ、その結果、聴取者は、空間内で固定されたラウドスピーカーからもたらされる音響を感知するようになるので、スピーカーの位置が効果的に既知であるときに、空間内で感知されたオーディオ像を決定するのに既存の頭部追跡技術の使用ができることである（これにより、頭部移動に対する堅牢性が大幅に高くなり、従って、感知された音響場のリアリズムが向上される）。しかしながら、ＰＡ法２は、音響の良好な頭部外面化をもたらすことができるが、標準的なラウドスピーカーの音響をエミュレートしており、これによりこの音響は真の３次元ではない（すなわち、ラウドスピーカーが位置していると感知される領域を超えて３Ｄ空間において大きく広がらない）。

ラウドスピーカーを通したバイノーラル録音における両耳間到達時間差（Ｉｎｔｅｒ−Ａｕｒａｌ Ｔｉｍｅ Ｄｉｆｆｅｒｅｎｃｅ，ＩＴＤ）、両耳間音圧差（Ｉｎｔｅｒ−Ａｕｒａｌ Ｌｅｖｅｌ Ｄｉｆｆｅｒｅｎｃｅ，ＩＬＤ）及びスペクトルキューの伝送は、クロストーク（意図しない耳に到達する各ラウドスピーカーからの音響）によって重度に劣化するので、標準的なラウドスピーカーを通したバイノーラルオーディオの音響が真の３Ｄではないときには、バイノーラルオーディオの利点は大きく損なわれる。

文献又は何らかの既知の従来技術では報告されていないが、ＳＲｂＩＲフィルタに加えて、クロストーク除去されたラウドスピーカーの再生音響をエミュレートする目的でクロストーク除去（ＸＴＣ）フィルタを使用することによって、上述の第２の方法を高品質３Ｄサウンドにする（依然として音響を頭部外面化しながら）ことは可能であるように思われる。しかしながら、標準的なＸＴＣフィルタは、ＳＲｂＩＲフィルタで本来的に表され且つヘッドホンを通じた音響の外面化には必須であるクロストークを除去又は有意に低下させることになるので、このようなプロセスは所望の品質の音響をもたらさない。

従って、本発明の主な目的は、ヘッドホンを通じた３Ｄオーディオのより効果的な頭部外面化を可能にするシステム及び方法を提供することである。

国際出願ＰＣＴ／ＵＳ２０１１／５０１８１号

Ｒｏｚｅｎｎ Ｎｉｃｏｌ，「Ｂｉｎａｕｒａｌ Ｔｅｃｈｎｏｌｏｇｙ」， ＡＥＳ Ｍｏｎｏｇｒａｐｈｓ ｓｅｒｉｅｓ， Ａｕｄｉｏ Ｅｎｇｉｎｅｅｒｉｎｇ Ｓｏｃｉｅｔｙ， Ａｐｒｉｌ ２０１０年 Ｔ． Ｔａｋｅｕｃｈｉ ｅｔ ａｌ． "Ｉｎｆｌｕｅｎｃｅ ｏｆ Ｉｎｄｉｖｉｄｕａｌ ＨＲＴＦ ｏｎ ｔｈｅ ｐｅｒｆｏｒｍａｎｃｅ ｏｆ ｖｉｒｔｕａｌ ａｃｏｕｓｔｉｃ Ｉｍａｇｉｎｇ Ｓｙｓｔｅｍｓ（仮想音響イメージングシステムの性能に対する個々のＨＲＴＦの影響）" Ａｕｄｉｏ Ｅｎｇｉｎｅｅｒｉｎｇ Ｓｏｃｉｅｔｙ Ｃｏｎｖｅｎｔｉｏｎ １０４， １９９８年５月 Ｐ．Ｖ．Ｈ．Ｍａｎｎｅｒｈｅｉｍ" Ｖｉｓｕａｌｌｙ Ａｄａｐｔｉｖｅ Ｖｉｒｔｕａｌ ｓｏｕｎｄ Ｉｍａｇｉｎｇ ｕｓｉｎｇ Ｌｏｕｄｓｐｅａｋｅｒｓ"， ＰｈＤ Ｔｈｅｓｉｓ， Ｕｎｉｖ． ｏｆ Ｓｏｕｔｈ Ｈａｍｐｔｏｎ，２００８年２月

本発明のシステム及び方法は、実質的にあらゆる聴取者にとってヘッドホンを通じてオーディオの頭部外面化に関する課題を解決することにより上述の従来のシステム及び方法の欠点を回避させ、非バイノーラル録音からでも真の３Ｄオーディオサウンドステージを生成する。加えて、バイノーラル録音では、本発明のシステム及び方法は、実質的に全ての聴取者がバイノーラル録音された音響場の正確な３Ｄ表現を聴くことが可能となる。

本発明のシステム及び方法は、スピーカー＋ルームバイノーラルインパルス応答（ＳＲｂＩＲ）を特有のクロストーク除去（ＸＴＣ）フィルタと組み合わせることに依存し、これは、効果的な頭部外面化に必要とされるＳＲｂＩＲのスペクトル及び時間的特性を劣化又は有意に変化させない。この固有の組み合わせは、クロストーク除去スピーカーのエミュレーションを可能にし、また、ヘッドホンを通じた外面化され堅牢な３Ｄオーディオレンダリングの３つの主たる課題全てを解決する。具体的には、この組み合わせは、以下の３つである。
（１）スペクトル的及び時間的に損なわれていないＳＲｂＩＲの結果として、事実上全ての聴取者、すなわち、差分の聴覚損失の無いあらゆる聴取者にとって効果的に音響を外面化する（ＰＡ法１では可能ではない）こと。
（２）空間内で感知されたオーディオ像を決定するのに既存の頭部追跡技術の使用を可能にする（ＰＡ法１では可能ではない）こと。
（３）３Ｄ像の感知に必要とされるＩＴＤ及びＩＬＤキュー（及びバイノーラル録音の場合にはスペクトルキュー）のはるかに小さな限定範囲を提供することによって、３Ｄオーディオ像を生成する（非クロストーク除去されたスピーカーによって生成されるオーディ像とは異なる）（ＰＡ法２では可能ではない）こと。

本発明の方法の実施可能な応用、普遍性及び達成は、録音時における複数（多くの場合）の音源の位置（この位置は一般には未知）を再現する課題を、方位面の前方部分の空間に位置付けられるクロストーク除去スピーカーの音響を単にエミュレートするところまで低減することによって更に確実にされ、これにより、方位面の前方部分における音源の位置は、個々の頭部関連伝達関数（ＨＲＴＦ）の間の差違に主として敏感ではないという十分に立証された音響心理的事実を利用することが可能になる。

この後者の事実を利用することにより、本発明のシステム及び方法は、全ての聴取者に対してヘッドホンを通じた３Ｄ音響を効果的に外面化する非個別化（すなわち、ユニバーサルの）フィルタを生成できるようにする。これら非個別化フィルタが実際に個別化フィルタと同程度に有効であることは、本発明の重要な実験的に検証された特徴である。

仮想音響イメージングシステム（聴取者のＨＲＴＦ用いて）を通じて投影された音響を方位面の位置に位置特定するよう尋ねた聴取者の主観テスト結果を示すグラフである。 図１で使用された個々のＨＲＴＦの代わりにダミーＨＲＴＦを用いた主観テスト結果のグラフである。 オーディオ信号を処理して頭部外面化３Ｄオーディオ像を作製するためのオーディオフィルタを生成する本発明の方法のフローチャートである。 典型的なＳＲｂＩＲの４つの測定されたインパルス応答のグラフである。 図４に示されるＳＲｂＩＲの２つのインパルス応答の周波数応答のグラフである。 図４に示される測定値から得られたスペクトル的色付けのないクロストーク除去（ＳＵ−ＸＴＣ）フィルタを構成する４つのインパルス応答のグラフである。 図６に示すＳＵ−ＸＴＣフィルタの測定されたクロストーク除去性能のグラフである。 図６に示すＳＵ−ＸＴＣフィルタの周波数応答（下方の平坦な曲線）と図４に示す方法で生成されたスペクトル的色付けのないクロストーク除去ＨＰフィルタの周波数応答（上方の２つの曲線）のグラフである。 オーディオ信号を処理して頭部外面化３Ｄオーディオ像を作製するためのオーディオフィルタを生成する本発明のシステム（３Ｄオーディオヘッドホンプロセッサ）の一例の概略図である。

本発明の第１の主要事項は、ＳＲｂＩＲフィルタと組み合わせたときに、ＳＲｂＩＲフィルタの頭部外面化能力を妨げない又は可聴的に低下させない（すなわち、そのスペクトル特性を変化させない）特有のＸＴＣフィルタを使用することである。この特有のＸＴＣフィルタは、ＸＴＣフィルタの解析的に導出される又は実験的に測定されるシステム伝達行列を反転させるのに用いられる周波数依存正則化パラメータ（ＦＤＲＰ）を利用するよう設計されたものである。算出されたＦＤＲＰは、（聴取者の耳ではなく）ラウドスピーカーにおける平坦な振幅対平坦な周波数応答をもたらす。このようなフィルタは、名称が「ラウドスピーカーを通したオーディオのスペクトル的色付けのない最適なクロストーク除去」の国際出願ＰＣＴ／ＵＳ２０１１／５０１８１号に記載されており、その教示内容は引用により本明細書に組み込まれる。この特有のＸＴＣフィルタは、本明細書ではスペクトル的色付けのないクロストーク除去フィルタ又はＳＵ−ＸＴＣフィルタと呼ばれる（商業上「ＢＡＣＣＨフィルタ」とも呼ばれ、ここでＢＡＣＣＨは、Ｔｈｅ Ｔｒｕｓｔｅｅｓ ｏｆ Ｐｒｉｎｃｅｔｏｎ Ｕｎｉｖｅｒｓｉｔｙの登録商標である）。

ＳＲｂＩＲフィルタとの組み合わせをヘッドホンを通じた極めて効果的な頭部外面化３ＤオーディオをもたらすようにするＳＵ−ＸＴＣフィルタの特定の特性は、ＳＵ−ＸＴＣフィルタの最大の特徴である平坦な周波数応答（振幅スペクトル）である。この平坦な周波数応答（又はスペクトル着色の欠如）は、２つのフィルタを組み合わせることによりＳＲｂＩＲフィルタの周波数応答（振幅スペクトル）を概ね影響がないようにすることができる。定義上は平坦な応答から有意に逸脱した周波数応答を有するＸＴＣフィルタである他の何れかのタイプのＸＴＣフィルタは、２つのフィルタが組み合わされたときにＳＲｂＩＲフィルタのトーン歪みにつながり、これによりヘッドホンを通じた音響の頭部外面化に必要とされる、ＳＲｂＩＲでの符号化のスペクトルキューを損なうことになる。本発明では、基本的に平坦な周波数応答を有するＸＴＣフィルタを用いることができる。「基本的に平坦な周波数応答」を有するフィルタとは、フィルタリングされたオーディオ信号のトーン成分に可聴変化を引き起こさないフィルタである。例えば、その周波数応答が、オーディオ範囲にわたって完全な平坦応答から１ｄＢ以上の広帯域（１オクターブ以上）の何らかの逸脱がない及び／又は完全な平坦応答から２ｄＢ以上の狭帯域（１オクターブ未満）の何らかの逸脱がないフィルタは、可聴的に平坦とみなすことができる。

本発明のシステム及び方法におけるＸＴＣフィルタ（ＳＵ−ＸＴＣフィルタで適合された）の別の要件は、このフィルタが無響であること、すなわち、無響室で行われた測定から設計されるか、又はより実際的には、以下で説明するように直接音を除いた全てを排除するために単に初期ＩＲを時間ウインドウ処理する（通常は約３ｍｓの時間ウインドウを用いる）ことによって得られたものであることである。

本発明のＸＴＣフィルタの設計に際してＩＲの無響部分よりもはるかに多くを含むことは、最終的なヘッドホンフィルタの音響外面化能力の低下を招くことになる。このことは、ＳＲｂＩＲがスピーカーの聴取のクロストークをエミュレートし、非無響ＸＴＣフィルタがＳＲｂＩＲと組み合わされたときに同じクロストークを除去する（少なくとも部分的にはＸＴＣフィルタの周波数応答を通じて、大部分は拡張非無響時間応答を通じて）ように働くことになり、従って、標準的なヘッドホン聴取の必然的なクロストーク除去された音響をもたらす（本来的に頭部内面化を生じる）という事実によって容易に説明される。

基本的に、本発明の３Ｄ音響フィルタ（本明細書では「ＳＵ−ＸＴＣ−ＨＰフィルタ」と呼ばれ、ここでＨＰは「ヘッドホン処理（ｈｅａｄｐｈｏｎｅｓ ｐｒｏｃｅｓｓｉｎｇ）」又は「ヘッドホンプロセッサ（ｈｅａｄｐｈｏｎｅｓ ｐｒｏｃｅｓｓｏｒ）」を表す）は、ＳＵ−ＸＴＣフィルタとＳＲｂＩＲフィルタの適切な組み合わせ（以下でそのステップが記載される本発明の方法により定められる）であり、（適切な頭部追跡と組み合わされたときに）ヘッドホンを通じたクロストーク除去スピーカー再生の堅牢で優れたエミュレーションを可能にする。聴取者は、トーン着色（歪み）のない平坦な周波数応答クロストーク除去フィルタを通じたラウドスピーカーのペアを聴取することによって聴こえることになるものと基本的に同じサウンドステージを聴くことになる。ＳＵ−ＸＴＣフィルタを用いたラウドスピーカーの聴取は、３Ｄ音響像をもたらすので、ＳＵ−ＸＴＣ−ＨＰフィルタを通じて結果として得られるヘッドホン像は、基本的に同じ３Ｄ音響像である。

本発明の方法の実施可能な応用、普遍性及び達成は、録音時における複数（多くの場合）の音源の位置（この位置は一般には未知）を再現する課題を、方位面（典型的には聴取者の位置から±４５度の方位スパン内にある）の前方部分の空間に位置付けられるＸＴＣ処理されたスピーカーの音響を単にエミュレートするところまで低減することによって更に確実にされ、これにより、方位面（±４５度の方位スパン角度内）の前方部分における音源の位置は、個々の頭部関連伝達関数（ＨＲＴＦ）の間の差違に主として敏感ではないという十分に立証された音響心理的事実を利用することが可能になる。この事実は、図１及び２に明確に例証されている（Ｔ． Ｔａｋｅｕｃｈｉ ｅｔ ａｌ． “Ｉｎｆｌｕｅｎｃｅ ｏｆ Ｉｎｄｉｖｉｄｕａｌ ＨＲＴＦ ｏｎ ｔｈｅ ｐｅｒｆｏｒｍａｎｃｅ ｏｆ ｖｉｒｔｕａｌ ａｃｏｕｓｔｉｃ Ｉｍａｇｉｎｇ Ｓｙｓｔｅｍｓ（仮想音響イメージングシステムの性能に対する個々のＨＲＴＦの影響）” Ａｕｄｉｏ Ｅｎｇｉｎｅｅｒｉｎｇ Ｓｏｃｉｅｔｙ Ｃｏｎｖｅｎｔｉｏｎ １０４， １９９８年５月）。図１において、多数の聴取者を伴った主観テスト結果がグラフで示されている。聴取者は、グラフのｘ軸で表される角座標を有する方位面の位置に仮想音響イメージングシステムを通じて投影された音響を位置特定するよう尋ねられた。ｙ軸は、感知された方位位置を示し、各点のサイズは、当該位置で音響を感知した人の数に比例している。図１において、音響仮想化は、各聴取者に対して測定された個々のＨＲＴＦを用いて行い、予想通り、データは良好な位置特定を示す直線（ｙ＝ｘ）を概ね辿っている。図２は、個々のＨＲＴＦの代わりにダミーヘッド（ＫＥＭＡＲダミー）の単一のＨＲＴＦを用いた同様の実験セットの結果を示している。高方位角度では、音響位置の誤差は悪化するが、前方方位角度（±４５度）では、音響位置は良好ではあるが、汎用ダミーＨＲＴＦによってフィルタリングされた音響を聴取していることは図２から明らかである。

この適切な音響心理的事実は、種々の聴取者に対してＳＵ−ＸＴＣ−ＨＰフィルタの普遍性をベースとしていることとは別に、ＳＲｂＩＲフィルタが単一のダミーヘッド行った測定から、又はダミー（又は単一の個々の）ＨＲＴＦを用いて算出／シミュレートされた測定から構成できるという有用な実施態様を有する。これは、ＳＲｂＩＲを測定（又は算出）するのに使用されるラウドスピーカー（又は仮想スピーカー）は、ＳＵ−ＸＴＣフィルタが当該同じ幾何形状に合わせて設計（又は算出）されている限り、方位面（±４５度の方位スパン角度内）の前方部分に任意的に位置付けることができることに起因する。

ヘッドホンを通じて３Ｄでバイノーラルオーディオを極めて堅牢且つ効果的に外面化するＳＵ−ＸＴＣ−ＨＰフィルタフィルタのこの能力は、ヘッドホンを通じて従来行うことができたものよりもはるかに優れており、これは、ヘッドホンを通じてフル３Ｄでバイノーラルオーディオを効果的に外面化できる人の割合が、数％（バイノーラル録音を行うのに用いられるヘッドにＨＲＩＲが近接している極めて少数の聴取者）から実質的に１００％（重度又は差分の聴覚損失の無い事実上あらゆる聴取者）にまで高まったことを意味している。これは、ラウドスピーカーを通じた標準的なバイノーラルオーディオ再生（ＰＡ法１）に関するＳＵ−ＸＴＣ−ＨＰフィルタの主な利点の１つである。このことは、ヘッドホンを通じて標準的なステレオ（すなわち、非バイノーラル）録音を外面化するＳＵ−ＸＴＣ−ＨＰフィルタの能力に加えて、ＳＵ−ＸＴＣフィルタリングされたラウドスピーカー再生から得ることができるものと基本的に同じ感知３Ｄ像をもたらす。

本発明のシステム及び方法の有用性は、ＳＵ−ＸＴＣ−ＨＰフィルタによって処理されることになる入力オーディオが無響で録音（すなわち、残響を含まない）されていない限り、ＳＵ−ＸＴＣ−ＨＰフィルタがウインドウ化ＳＲｂＩＲフィルタによって表される部屋の残響特性を感知した音響に可聴的に付加しないという事実によって更に確実にされることが重要である。これは、処理された入力オーディオの感知したリバーブテールが、ＳＲｂＩＲのリバーブテールよりもｘｄＢ大きいことになることに起因する。ここで、ｘは、ＳＲｂＩＲのピークの振幅とそのリバーブテールの平均振幅との差違であり、従って、実際には録音されたリバーブは、ｘが２０ｄＢを超えるために常に優勢となるか、又は設計上それよりも容易に大きく又は高くすることができる。

ＳＵ−ＸＴＣ−ＨＰフィルタを生成する新規の方法は、以下の５つの主要ステップを含む。

ステップ１：図３を参照すると、ラウドスピーカーのペアの測定（聴取者が身装着したインナーイヤー式バイノーラルマイクロホン又はダミーヘッドを用いて）又はシミュレートしたバイノーラルインパルス応答は、直接音と実際の室内でラウドスピーカーをシミュレートするのに十分な室内反射とを含むように十分に長い時間ウインドウでウインドウ化される（通常は１５０ｍｓ以上のウインドウが必要とされる）。ウインドウ化されたバイノーラルインパルス応答は、更に処理されなくとも求めるＳＲｂＩＲフィルタとして機能を果たすことができ、何らかのステレオ入力信号で２ｘ２（真ステレオ）畳み込みにより畳み込まれてヘッドホンに送り込まれた場合には、ラウドスピーカーからもたらされるオーディオの感知を聴取者に与えることになる。しかしながら、以下のステップ２に関連して検討するように、ラウドスピーカーのこのウインドウ化されたバイノーラルＩＲは、多くの場合は更に処理されて、本発明のシステム及び方法においてＳＲｂＩＲフィルタとして使用するのに最適にされる。上記で説明された音響心理的事実の結果として、本発明のシステム及び方法は、ラウドスピーカーの方位スパンを小さく（典型的には聴取者の位置から±４５度の方位スパン内にある）されたときに、その感知性能が本来的に個々のＨＲＴＦに本来的に敏感ではないＳＵ−ＸＴＣ−ＨＰフィルタをもたらすことになり、この場合、対象の聴取者に関してこの測定を実施する必要はない。その代わりに、及び多くの場合、より実際的には当該測定にはダミーヘッドを用いることができ、或いは同等に、ＳＲｂＩＲは、ダミー又は対象の聴取者とは全く異なる単一固体の汎用ＨＲＴＦを用いて数値的に構成することができる。これは、図３に示す方法の入力２２で二分法によって例証され、ここで大きなスピーカースパン角度で得られたＳＲｂＩＲは、本方法の終わりにおいて、ＳＲｂＩＲフィルタの設計にＨＲＴＦが使用される聴取者によって使用される必要がある聴取者依存のＳＵ−ＸＴＣ−ＨＰフィルタを生じ、他方、小さなスピーカースパン角度で得られたＳＲｂＩＲは、あらゆる聴取者が用いることができる聴取者非依存の（すなわち、ユニバーサルな）ＳＵ−ＸＴＣ−ＨＰフィルタを生じる。

このＳＲｂＩＲフィルタはまた、原理的には、人間の聴取者又はダミーヘッドの測定された（構成された）ＨＲＴＦを用いて、室内の単一のスピーカーの汎用（非個別化の）インパルス応答（単一の無指向性マイクロホンで測定されるか又はコンピュータシミュレーションを通じて構成される）（例えば、近隣表面からの反射で点音源をシミュレートする）を畳み込む（すなわち、デジタルフィルタを信号に加えるのに一般的に使用される時間又は周波数ドメインにおいて標準の数学的な畳み込み演算をデジタル手段を通じて適用する）ことによって構成することができる。ＳＲｂＩＲを構成するこの（比較的厳しい要求の）方法は、ＳＵ−ＸＴＣ−ＨＰフィルタによってエミュレートされたスピーカー又は部屋の音響を事後に変更する能力という利点を提供する。

ＳＲｂＩＲフィルタは、実際には４つの実ＩＲ（各々が２つの耳の一方で測定された２つのスピーカーのうちの１つからの音響のＩＲを表している）からなる点は明らかなはずである。典型的なＳＲｂＩＲの４つのＩＲが図４に示されている。ＩＲは、４つのパネル（上部左：左耳／左スピーカー；底部左：左耳／右スピーカー；上部右：右耳／左スピーカー；及び底部右：右耳／右スピーカー）で示される。明確にするために、この図ではＩＲの最初の２０ｍｓだけが図示されているが、使用される実際のウインドウ化ＩＲははるかに長く延びている（上述のような十分な室内反射を含めるために典型的には１５０ｍｓ以上）（これらのグラフの破線曲線は、ステップ３に関連して以下で説明されるＳＵ−ＸＴＣを設計するのに使用される時間ウインドウを表している）。

参照として、このＳＲｂＩＲの周波数応答（２つのＩＲについての）が図５に示されている（実線の曲線：左耳／左スピーカー；破線曲線：右耳／右スピーカー）（他の図でも全てのスペクトルのグラフは同様であり、ｘ軸はＨｚ単位の周波数、ｙ軸はｄＢ単位の振幅である）。

ステップ２：次に、ＳＲｂＩＲは、任意選択的に処理されて（但し、ここでの処理は、次の段落で説明される理由で飛ばすことができる）、その頭部外面化能力を最適化し、更に必要に応じて、最終フィルタの記憶装置及びＣＰＵ要件を低減することができる。このような処理は、ステップ１で使用されたインナーイヤーマイクロホン及び対象のヘッドホンのスペクトル着色を除去（又は補償）する逆フィルタリングの標準的手法を用いて円滑化（時間又は周波数ドメインで）及び等化することを含むことができる。このような等化フィルタは、聴取者がインナーイヤーマイクロホン及び対象のヘッドホンの両方を装着しながら各耳におけるヘッドホンのインパルス応答を測定し、これを用いて何らかの逆ＩＲフィルタ設計技術を通じて等化フィルタを生成することによって設計することができる。

特定の実施形態において、頭部外面化能力を最適化するようＳＲｂＩＲを処理するステップは、インナーイヤーマイクロホンが平坦な周波数応答を有し（又はそれを有するように等化され）、対象のヘッドホンが「開放」タイプである（Ｓｅｎｎｈｅｉｓｅｒ ＨＤシリーズ、すなわち、静電気及び磁気平面型ヘッドホンなど）場合には飛ばすことができる。オープンヘッドホン（すなわち、エンクロージャが音響に概ね透過的である）は、トランスデューサと外耳道への入口との間に比較的低いインピーダンスを有し、これにより最終ＳＵ−ＸＴＣ−ＨＰフィルタの有効性を劣化させる重大な不利点を生じることなく等化ステップを飛ばすことが可能となる。

ステップ３：所要のＳＵ−ＸＴＣフィルタを設計する前に、ステップ１で測定（又は構成）されたＳＲｂＩＲにおける４つのＩＲは、直接音（スピーカーの主時間反応の時間範囲を表す通常は最大２〜３ｍｓ）を保持する時間ウインドウを使用し、全ての反射音響（当該ウィンドウ後の全ての音響）を排除してＳＲｂＩＲにおける４つのＩＲの各々からの反射音響の全て又はそのほとんどを除去するようにウインドウ化され、その結果、ＳＵ−ＸＴＣは、基本的にＳＲｂＩＲの無音（すなわち、直接音）部分であるもので設計される。このような時間ウインドウの一例は、図中で破線曲線として示されている。

ステップ４：所要のＳＵ−ＸＴＣフィルタの設計は、ステップ３で得られたウインドウ化ＳＲｂＩＲを入力として用いて、名称が「ラウドスピーカーを通したオーディオのスペクトル的色付けのない最適なクロストーク除去（Ｓｐｅｃｔｒａｌｌｙ ｕｎｃｏｌｏｒｅｄ ｏｐｔｉｍａｌ ｃｒｏｓｓｔａｌｋ ｃａｎｃｅｌｌａｔｉｏｎ ｆｏｒ ａｕｄｉｏ ｔｈｒｏｕｇｈ ｌｏｕｄｓｐｅａｋｅｒｓ）」の国際出願ＰＣＴ／ＵＳ２０１１／５０１８１号に記載されるように進められる。

ステップ４の結果として得られたこのようなＳＵ−ＸＴＣフィルタの一例が図６に示され、２ｘ２ＩＲのセットが、図４に示すＳＲｂＩＲ実施例に対応する。このフィルタの測定されたクロストーク除去性能は、図７に示されている（実線の曲線：左耳で測定した音響レベルのみを有する左チャンネルの信号入力：破線曲線：右耳で測定された音響レベルのみを有する右チャンネルの信号入力）（この実施例の平均ＸＴＣレベルは１７ｄＢを上回る）。

左チャンネルのみにおける信号入力又は右チャンネルのみにおける信号入力についてのＳＵ−ＸＴＣの周波数応答は、ＳＵ−ＸＴＣフィルタから予想されるように、図９のグラフの下側部分の基本的に平坦な線として図示される。

ステップ５：最終ＳＵ−ＸＴＣ−ＨＰフィルタは、ステップ２で得られたＳＲｂＩＲとステップ４で得られたＳＵ−ＸＴＣフィルタとの組み合わせである。この組み合わせは、２つのフィルタを共に畳み込みし、次いで結果として得られた単一のＳＵ−ＸＴＣ−ＨＰを用いてヘッドホンの生のオーディをフィルタリングすることによって、又は代替として、ＳＵ−ＸＴＣフィルタ（例えば、図６に示すもの）とＳＲｂＩＲ（例えば、図４に示すもの）を別個に順番に畳み込みする（この畳み込みの各々は「真のステレオ」又は２ｘ２畳み込みである）ことによって行うことができる。

ＳＵ−ＸＴＣフィルタの周波数応答は平坦であるので、ＳＵ−ＸＴＣ−ＨＰフィルタの周波数応答（図８の上側の２つの曲線で示される）は、２つの図を比較することで検証できるように、ＳＲｂＩＲ（図５に示される）の周波数応答と基本的に同じである。これにより、ＳＲｂＩＲを得るのに使用されるクロストーク除去（仮想又はリアルの）ラウドスピーカーを聴取者が実際に聴いていたのと同じ音響をヘッドホンを通じて聴取者が感知することが確保される。

上述の方法の必然的帰結は、センサで聴取者の頭部回転を追跡し、また即座に測定された頭部回転座標（ヨー角）をリアルタイムで用いて、測定（又はシミュレーション）が事前に行われた位置に対応する２つの（ＳＵ−ＸＴＣ−ＨＰ）フィルタ間の内挿から導出される当該方位角に相当する適切な（ＳＵ−ＸＴＣ−ＨＰ）フィルタにシフトすることで従来技術と同様にして得られた像を調整することにより、空間内で感知された３Ｄ像を決定する既存の頭部追跡技術を使用できること（ＰＡ法１とは異なって）である。このような調整なしでは、音響の頭部外面化は、頭部が回転したときにかなり悪化することが分かっている。

頭部追跡のハードウェア及びソフトウェアの要件は、標準的なヘッドホンと比べてコスト及び複雑さが付加されるが、ゲーム産業（例えば、ＴｒａｃｋＩＲ， Ｋｉｎｅｃｔ， Ｖｉｓａｇｅ ＳＤＫ）で使用されることが多いような商業的に既存のコスト効果のある頭部追跡ハードウェアであれば、当該目的に極めて効果的に機能する。これらには、光学センサ（例えば、カメラ）、赤外センサ又は内部測定ユニット（例えば、マイクロジャイロスコープ、加速度計、ジャイロスコープ及び磁気探知機）が含まれる。

頭部追跡の解決策はまた、従来技術のＩＲ内挿及びスライド畳み込み法に依存し、これらは、３つのＳＲｂＩＲ測定値（上述の方法のステップ１の一部として）を通じて３つのＳＵ−ＸＴＣ−ＨＰフィルタを作製し、１つが中央リスニング位置にあるヘッドに対応し、１つが極左に回転したヘッドに対応し、３つめが極右に回転したヘッドに対応することが必要とされる。次いで、一連のＳＵ−ＸＴＣ−ＨＰフィルタ（通常はほとんどの用途で十分であるには４０個のフィルタであることが分かっている）は、これら３つのアンカーフィルタ間の内挿によって迅速に構築されて、頭部回転座標（ヨー）の瞬時的値に応じて適切なフィルタがオンザフライで選択される。これらの技術は、従来技術の文献、例えば、Ｐ．Ｖ．Ｈ．Ｍａｎｎｅｒｈｅｉｍ“ Ｖｉｓｕａｌｌｙ Ａｄａｐｔｉｖｅ Ｖｉｒｔｕａｌ ｓｏｕｎｄ Ｉｍａｇｉｎｇ ｕｓｉｎｇ Ｌｏｕｄｓｐｅａｋｅｒｓ”， ＰｈＤ Ｔｈｅｓｉｓ， Ｕｎｉｖ． ｏｆ Ｓｏｕｔｈ Ｈａｍｐｔｏｎ，２００８年２月に記載されており、その教示内容は引用により本明細書に組み込まれる。

本方法を利用するシステムの一例が図９に示されている。本システムは、ＳＵ−ＸＴＣ−ＨＰフィルタをベースとした３Ｄオーディオヘッドホンプロセッサになる。本システムは、ＩＲ測定システム５０を用いて、無響室内のラウドスピーカーのペアのＩＲを測定し、又はシミュレーションシステム６０を用いて、音響反射６２に対するラウドスピーカーのペアのバイノーラル応答をシミュレートする。ＩＲ測定システムにおいて、インナーイヤーマイクロホン５４のペアは、人間又はダミーヘッド５６に装着される。次いで、測定又はシミュレートされたＩＲは、マイクプリアンプ及びＡ／Ｄコンバータ６６によって処理されてＳＲｂＩＲを生成する。

プロセッサ７０は、音響及び反射音響を含めるようＳＲｂＩＲをウインドウ化する。プロセッサ７０はまた、上記のステップ２に関連して記載されたように一部の実施形態においてバイノーラルＩＲを平滑化及び等化することになる。プロセッサ７０はまた、ＳＲｂＩＲにおいて４つのＩＲをウインドウ化して、ＳＵ−ＸＴＣフィルタを生成する前に直接音を含めて反射音響を含めないようにし、該ＳＵ−ＸＴＣフィルタは、ＳＲｂＩＲフィルタと組み合わされ、該ＳＲｂＩＲフィルタとＳＵ−ＸＴＣフィルタを組み合わせることでＳＵ−ＸＴＣ−ＨＰフィルタを生成する。Ａ／Ｄコンバータ７６を通じて処理された生オーディオ７４は、ＳＵ−ＸＴＣ−ＨＰフィルタを用いてオーディオをフィルタリングする畳み込み器（コンボルバ）７２を通じて供給される。フィルタリングされたオーディオは、Ｄ／Ａコンバータ及びヘッドホンプリアンプ７８に供給され、処理された３Ｄオーディオ出力８０を生成する。次に、処理された出力８０は、聴取者８２が装着したヘッドホンセットに供給される。デジタル事前処理は、上述の本発明の方法のステップに相当する。ヘッドトラッカー８３を用いて、聴取者の頭部回転を追跡し、畳み込み器（コンボルバ）７２に供給される瞬時的な頭部ヨー座標を生成して、瞬時頭部ヨー角度の関数として畳み込みを調整することができる。

好ましい実施形態を参照して上記の発明を説明してきたが、当業者であれば様々な代替形態及び修正形態を想定することが可能である。このような代替形態及び修正形態の全ては、添付の請求項の範囲内にあるものとする。

５０：ＩＲ測定システム
５４：インナーイヤーマイクロホン
５６：ダミーヘッド
６０：シミュレーションシステム
６２：音響反射
６６：Ａ／Ｄコンバータ
７０：プロセッサ
７２：畳み込み器（コンボルバ）
７４：生オーディオ
７６：Ａ／Ｄコンバータ
７８：ヘッドホンプリアンプ
８０：３Ｄオーディオ出力
８２：聴取者
８３：ヘッドトラッカー

Claims (19)

1. オーディオ信号を処理してヘッドホンを通じた頭部外面化３Ｄオーディオ像を作製するためのオーディオフィルタを生成する方法であって、
   頭部の両耳に装着されたバイノーラルマイクロホンを用いたインパルス応答測定システムで部屋のスピーカーのペアのインパルス応答を測定するステップと、
   直接音及び反射音を含む特定の特性を有する前記インパルス応答から、４つの実インパルス応答から成るスピーカー＋ルームバイノーラルインパルス応答（ＳＲｂＩＲ）フィルタを生成するステップと、
   直接音を含むが反射音を除去した前記ＳＲｂＩＲフィルタの時間ウインドウでウインドウ化されたバージョンからスペクトル的色付けのないクロストーク除去フィルタを生成するステップと、
   プロセッサを用いて、前記ＳＲｂＩＲフィルタ及び前記クロストーク除去フィルタの組み合わせを介して、前記オーディオ信号をフィルタリングし、ステレオオーディオ信号を生成するステップと、
   得られた前記ステレオオーディオ信号をヘッドホンにフィードし、頭部外面化３Ｄオーディオ像の感知を与えるオーディオ再生のエミュレーションを、クロストーク除去スピーカーを介して聴取者に提供するステップと、を含む、方法。
2. 前記ヘッドホンがイヤホンである、請求項１に記載のオーディオフィルタを生成する方法。
3. 前記ヘッドホンがイヤースピーカーである、請求項１に記載のオーディオフィルタを生成する方法。
4. 前記ヘッドホンが、聴取者の耳に近接近して配置されるように設計されたトランスデューサである、請求項１に記載のオーディオフィルタを生成する方法。
5. 前記ＳＲｂＩＲが、前記インパルス応答を測定することによって得られる、請求項１に記載のオーディオフィルタを生成する方法。
6. 前記ＳＲｂＩＲが、前記インパルス応答の解析的又は数値的モデリングによって得られる、請求項１に記載のオーディオフィルタを生成する方法。
7. 前記ＳＲｂＩＲが、前記インパルス応答を算出することによって得られる、請求項１に記載のオーディオフィルタを生成する方法。
8. 前記ＳＲｂＩＲフィルタを生成するステップが、ダミーの汎用頭部関連伝達関数（ＨＲＴＦ）を用いて前記ＳＲｂＩＲを構成するステップを含む、請求項１に記載のオーディオフィルタを生成する方法。
9. 前記クロストーク除去フィルタが、前記スピーカーの無響インパルス応答をベースとしている、請求項１に記載のオーディオフィルタを生成する方法。
10. 前記ＳＲｂＩＲによって表される２つのラウドスピーカー間の聴取者の位置から測定した方位スパンが、±４５度以下のスパン角度である、請求項１に記載のオーディオフィルタを生成する方法。
11. 前記ＳＲｂＩＲフィルタ及び前記クロストーク除去フィルタの組み合わせは、前記ＳＲｂＩＲフィルタと前記クロストーク除去フィルタとを共に畳み込みすることにより得られるオーディオフィルタを生成し、結果として得られる前記オーディオフィルタを用いて前記オーディオ信号を生成するステップによって行われる、請求項１に記載のオーディオフィルタを生成する方法。
12. 前記ＳＲｂＩＲフィルタ及び前記クロストーク除去フィルタの組み合わせは、前記オーディオ信号を前記２つのフィルタで順番に畳み込むことにより得られるオーディオフィルタを生成するステップによって行われる、請求項１に記載のオーディオフィルタを生成する方法。
13. 頭部追跡技術を使用して頭部外面化３Ｄオーディオ像を調整するステップを更に含む、請求項１に記載のオーディオフィルタを生成する方法。
14. 前記ＳＲｂＩＲを構成するのに非個別化されたＨＲＴＦが使用される、請求項１に記載のオーディオフィルタを生成する方法。
15. 前記ＳＲｂＩＲを構成するのに個別化されたＨＲＴＦが使用される、請求項１に記載のオーディオフィルタを生成する方法。
16. オーディオ信号を処理してヘッドホンを通じた頭部外面化３Ｄオーディオ像を作製するためのオーディオフィルタを生成するシステムであって、
    頭部の両耳に装着されたバイノーラルマイクロホンを有するインパルス応答測定システムと、
    前記インパルス応答測定システムから受信する一又は二以上のインパルス応答により、スピーカーのペアのウインドウ化されたバイノーラルインパルス応答を測定するための少なくとも一つのプロセッサであって、前記ウインドウ化されたバイノーラルインパルス応答から、直接音及び反射音を含む特定の特性を有し、４つの実インパルス応答から成るスピーカー＋ルームバイノーラルインパルス応答（ＳＲｂＩＲ）フィルタを生成する少なくとも一つのプロセッサと、を備え、
    前記少なくとも一つのプロセッサは、直接音を含むが反射音を除去した前記ＳＲｂＩＲフィルタの時間ウインドウでウインドウ化されたバージョンからスペクトル的色付けのないクロストーク除去フィルタを生成し、さらに、前記ＳＲｂＩＲフィルタ及び前記クロストーク除去フィルタの組み合わせを介して、前記オーディオ信号をフィルタリングし、ステレオオーディオ信号を生成し、
    オーディオフィルタを生成するシステムは、さらに、得られた前記ステレオオーディオ信号を受け、頭部外面化３Ｄオーディオ像の感知を与えるオーディオ再生のエミュレーションを、クロストーク除去スピーカーを介して聴取者に提供するためのヘッドホンを備えた、オーディオフィルタを生成するシステム。
17. インナーイヤーバイノーラルマイクロホンのペアをさらに含む、請求項１６に記載のオーディオフィルタを生成するシステム。
18. 前記プロセッサは、オーディオ信号を、前記ＳＲｂＩＲフィルタ及びクロストーク除去フィルタの両方を順番に介してフィルタリングする、請求項１に記載のオーディオフィルタを生成する方法。
19. 前記プロセッサは、オーディオ信号を、前記ＳＲｂＩＲフィルタ及びクロストーク除去フィルタの組み合わせから作成されるフィルタによって、フィルタリングする、請求項１に記載のオーディオフィルタを生成する方法。

Images