JP5897219B2 - オブジェクト・ベースのオーディオの仮想レンダリング - Google Patents

Description

関連出願への相互参照
本願は、ここに参照によってその全体において組み込まれる2013年8月31日に出願された米国仮優先権出願第61/695,944号の優先権を主張するものである。

発明の分野
一つまたは複数の実装は、概括的にはオーディオ信号処理に、より詳細にはオブジェクト・ベースのオーディオの仮想レンダリングおよび等化に関する。

背景セクションで論じられる主題は、単に背景セクションでの言及の結果として従来技術であると想定されるべきではない。同様に、背景セクションにおいて言及されるまたは背景セクションの主題に関連する問題は、従来技術において前から認識されていたと想定されるべきではない。背景セクションにおける主題は、単に種々のアプローチを表わしており、それら自身も発明であることがある。

一対のスピーカーを通じた空間的オーディオの仮想レンダリングは、一般に、ステレオ・バイノーラル信号の生成に関わる。この信号が次いで漏話キャンセラーを通じてフィードされて、左右のスピーカー信号を生成する。バイノーラル信号は、聴取者の左右の耳に到達する所望される音を表わし、可能性としては種々の位置にある多数の源を含む、三次元（3D）空間における特定のオーディオ・シーンをシミュレートするために合成される。漏話キャンセラーは、バイノーラル信号の左チャネルは実質的に左耳のみに、右チャネルは右耳のみに送達され、それによりバイノーラル信号の意図を保持するよう、ステレオ・ラウドスピーカー再生に内在する自然の漏話を解消または軽減することを試みる。レンダリングされる音が発するように感じられる点に必ずしもラウドスピーカーが物理的に位置していないので、そのようなレンダリングを通じて、オーディオ・オブジェクトは「仮想的に」3D空間内に配置される。

漏話キャンセラーの設計は、スピーカーから聴取者の耳へのオーディオ伝送のモデルに基づく。図１は、現在知られている漏話キャンセラー・システムについてのオーディオ伝送のモデルを示している。信号s_Lおよびs_Rが、左右のスピーカー１０４および１０６から送られる信号を表わし、信号e_Lおよびe_Rが、聴取者１０２の左右の耳に到達する信号を表わす。各耳信号は、左右のスピーカー信号の和としてモデル化され、各スピーカー信号は、各スピーカーからその耳への音響伝達をモデル化する別個の、線形で時間不変な伝達関数Hによってフィルタリングされる。これら四つの伝達関数１０８は通例、聴取者１０２に対する想定されるスピーカー配置の関数として選択される頭部伝達関数（HRTF）を使ってモデル化される。一般に、HRTFは、耳が空間内の点からどのように音を受領するかを特徴付ける応答である。空間内の特定の点から発するように感じられるバイノーラル音を合成するために、二つの耳についての一対のHRTFが使用されることができる。

図１に描かれるモデルは、次のような行列の式の形に書くことができる。

式(1)は、ある特定の周波数における信号間の関係を反映しており、関心対象の全周波数範囲に適用されることが意図されている。以下の関係する式すべてについても同様である。漏話キャンセラー行列Cは、式(2)に示されるように、行列Hを逆行列にすることによって実現されてもよい。

左右のバイノーラル信号b_Lおよびb_Rを与えられると、スピーカー信号s_Lおよびs_Rは、上記バイノーラル信号に漏話キャンセラー行列を乗算したものとして計算される。

式(3)を式(1)に代入し、C＝H^-1に注意すると、次のようになる。

換言すれば、漏話キャンセラーをバイノーラル信号に適用することによってスピーカー信号を生成することは、上記バイノーラル信号に等しい信号を聴取者の耳において与える。これは、行列Hがスピーカーから聴取者の耳へのオーディオの物理的な音響伝達を完璧にモデル化することを前提としている。現実には、そうでないことが多く、よって、式(4)は一般には近似される。しかしながら、実際上、この近似は通例、十分に近く、聴取者は実質的に、バイノーラル信号bによって意図された空間的印象を知覚することになる。

バイノーラル信号bはしばしば、モノラル・オーディオ・オブジェクト信号oから、バイノーラル・レンダリング・フィルタB_LおよびB_Rの適用を通じて合成される。

レンダリング・フィルタ対Bは、たいていの場合、聴取者に対する空間内でのある関連付けられた位置から発するオブジェクト信号oの印象を与えるよう選ばれた一対のHRTFによって与えられる。式の形では、この関係は次のように表わせる。

上記の式(6)において、pos(o)は聴取者に対する3D空間内のオブジェクト信号oの所望される位置を表わす。この位置は、デカルト座標(x,y,z)または極座標系のような他の任意の等価な座標系で表わされてもよい。この位置は、空間を通じたオブジェクトの動きをシミュレートするために時間的に変化していてもよい。関数HRTF{}は、位置によって指定可能なHRTFの集合を表わすことが意図されている。実験室において人間の被験者から測定された多くのそのような集合が存在する。たとえば、CIPICデータベースであり、これは、多数の異なる被験者についての高空間分解能HRTFのパブリックドメイン・データベースである。代替的に、上記集合は、球状頭部モデルのようなパラメトリック・モデルで構成されていてもよい。実際的な実装では、漏話キャンセラーを構築するために使われるHRTFは、しばしば、バイノーラル信号を生成するために使われるのと同じ集合から選ばれる。ただし、これは必須ではない。

多くの応用において、空間内のさまざまな位置にある多数のオブジェクトが同時にレンダリングされる。そのような場合、バイノーラル信号は、関連付けられたHRTFが適用されたオブジェクト信号の和によって与えられる：

この多オブジェクト・バイノーラル信号では、スピーカー信号を生成するためのレンダリング・チェーン全体は次式によって与えられる。

多くの応用において、オブジェクト信号o_iは、左、中央、右、左サラウンドおよび右サラウンドからなる5.1信号のような多チャネル信号の個々のチャネルによって与えられる。この場合、各オブジェクトに関連付けられたHRTFは、各チャネルに関連付けられた固定スピーカー位置に対応するよう選ばれてもよい。このようにして、5.1サラウンド・システムは、ステレオ・ラウドスピーカーのセットを通じて仮想化されてもよい。他の応用では、オブジェクトは、3D空間の任意のところに自由に動くことが許容される源であってもよい。次世代空間的オーディオ・フォーマットの場合、式(8)におけるオブジェクトの集合は、自由に動くオブジェクトと固定されたチャネルの両方からなっていてもよい。

仮想空間的オーディオ・レンダリング・プロセッサの一つの欠点は、その効果が、漏話キャンセラーの設計において想定される、スピーカーに対する最適位置に聴取者が座ることに強く依存するということである。したがって、たとえ聴取者が最適聴取位置に置かれていなくてもバイノーラル信号によって意図される空間的印象を維持する仮想レンダリング・システムおよびプロセスが必要とされている。

オブジェクト・ベースのオーディオ・コンテンツの仮想レンダリングおよび漏話キャンセラーのための改善された等化のシステムおよび方法の諸実施形態が記述される。仮想化器は、各オブジェクトのバイノーラル・レンダリングと、その後の、結果として得られるステレオ・バイノーラル信号の、対応する複数のスピーカー対にフィードする多数の漏話キャンセル回路の間でのパンとを通じた、オブジェクト・ベースのオーディオの仮想レンダリングに関わる。単一対のスピーカーを利用する従来技術の仮想レンダリングに比較して、本稿の方法およびシステムは、漏話キャンセラー・スイートスポットの内部および外部の聴取者両方にとって空間的印象を改善する。

仮想空間的レンダリング方法は、複数の漏話キャンセラーの間での、各オーディオ・オブジェクトから生成されるバイノーラル信号のパンによって、複数対のスピーカーに拡張される。漏話キャンセラー間のパンは、各オーディオ・オブジェクトに関連付けられた位置によって制御される。各オブジェクトに関連付けられたバイノーラル・フィルタ対を選択するために利用されるのと同じ位置である。複数の漏話キャンセラーは、対応する複数のスピーカー対のために設計され、該複数のスピーカー対にフィードされる。各スピーカー対は、意図される聴取位置に対して異なる物理的位置および／または配向をもつ。

諸実施形態は、仮想化されるモノフォニック・オーディオ信号に適用される漏話キャンセラー・フィルタおよびバイノーラル・フィルタ両方から計算される漏話キャンセラーについての改善された等化プロセスをも含む。等化プロセスは、スイートスポットの外部の聴取者にとっての改善された音色および標準レンダリングから仮想レンダリングに切り換わるときのより小さな音色シフトにつながる。

参照による組み込み
本明細書において言及される各刊行物、特許および／または特許出願は、個々の各刊行物および／または特許出願が具体的かつ個別的に参照によって組み込まれることが指示される場合と同じように、ここに参照によってその全体において組み込まれる。

以下の図面において、同様の参照符号は同様の要素を指すために使われる。以下の図面はさまざまな例を描いているが、一つまたは複数の実装は図面に描かれる例に限定されるものではない。
現在知られている漏話キャンセラー・システムを示す図である。 仮想空間的レンダリングのための最適位置に対して位置される三人の聴取者の例を示す図である。 ある実施形態のもとでの、複数の漏話キャンセラーの間で、オーディオ・オブジェクトから生成されるバイノーラル信号をパンするためのシステムのブロック図である。 ある実施形態のもとでの、複数の漏話キャンセラーの間でバイノーラル信号をパンする方法を示すフローチャートである。 ある実施形態のもとでの、仮想レンダリング・システムとともに使用されうる諸スピーカー対のアレイを示す図である。 ある実施形態のもとでの、単一オブジェクトoについて適用される等化プロセスを描く図である。 ある実施形態のもとでの、単一オブジェクトについての上記等化プロセスを実行する方法を示すフローチャートである。 ある実施形態のもとでの、複数のオブジェクトへの等化プロセスを適用するシステムのブロック図である。 第一の実施形態のもとでの、レンダリング・フィルタについての周波数応答を描くグラフである。 第二の実施形態のもとでの、レンダリング・フィルタについての周波数応答を描くグラフである。

複数対のスピーカーを通じたオブジェクト・ベースのオブジェクトの仮想レンダリングならびにそのような仮想レンダリングのための改善された等化方式のためのシステムおよび方法が記載されるが、応用はそれに限定されるものではない。本稿に記載される一つまたは複数の実施形態の諸側面は、ソフトウェア命令を実行する一つまたは複数のコンピュータまたは処理装置を含む混合、レンダリングおよび再生システムにおいて源オーディオ情報を処理するオーディオまたはオーディオビジュアル・システムにおいて実装されてもよい。記載される実施形態の任意のものは、単独で、あるいは任意の組み合わせにおいて互いと一緒に使用されうる。さまざまな実施形態は本明細書の一つまたは複数の箇所で議論または暗示されることがある従来技術のさまざまな欠点によって動機付けられたことがあるが、実施形態は必ずしもこれらの欠点のいずれかに対処するものではない。換言すれば、種々の実施形態は、明細書で論じていることがありうる種々の欠点に対処することがある。いくつかの実施形態は、明細書で論じていることがありうるいくつかの欠点またはたった一つの欠点に部分的に対処するだけであることがあり、いくつかの実施形態はこれらの欠点のいずれにも対処しないことがありうる。

諸実施形態は、効果が、漏話キャンセラーの設計において想定される、スピーカーに対する位置に聴取者が位置していることに強く依存するという事実に関する、既知の仮想オーディオ・レンダリング・プロセスの一般的な限界に対処することが意図されている。聴取者が最適位置（いわゆる「スイートスポット」）にいない場合、漏話キャンセル効果は部分的または完全に損なわれることがあり、バイノーラル信号によって意図される空間的印象は聴取者によって知覚されない。これは、聴取者のうち一人しか有効にスイートスポットを占めることができない複数聴取者の場合、特に問題である。たとえば、図２に描かれるようにカウチに座っている三人の聴取者では、三人のうち中央の聴取者２０２のみが、スピーカー２０４および２０６によって再生される仮想空間的レンダリングの完全な恩恵を享受する可能性が高い。その聴取者だけが漏話キャンセラーのスイートスポットにいるからである。そこで、諸実施形態は、最適位置にいる聴取者にとっての体験を維持し、あるいは可能性としては向上させつつ、最適位置の外部にいる聴取者にとっての体験を改善することに向けられる。

描画２００は、漏話キャンセラーを用いて生成されるスイートスポット位置２０２の発生を示している。式(3)によって記述されるバイノーラル信号への漏話キャンセラーの適用および式(5)および(7)によって記述されるオブジェクト信号へのバイノーラル・フィルタの適用は、周波数領域における行列乗算として直接実装されてもよいことを注意しておくべきである。しかしながら、等価な適用が、時間領域で、多様なトポロジーで構成された適切なFIR（有限インパルス応答）もしくはIIR（無限インパルス応答）フィルタとの畳み込みを通じて達成されてもよい。

空間的オーディオの再生において、スイートスポット２０２は、三つ以上のスピーカーを利用することによって二人以上の聴取者に拡張されてもよい。これは、たいていの場合、5.1サラウンド・システムでのように、三つ以上のスピーカーを用いてより大きなスイートスポットを囲むことによって達成される。そのようなシステムでは、たとえば聴取者（単数または複数）の背後から聞こえることが意図される音は、該聴取者の背後に物理的に位置するスピーカーによって生成され、よって、聴取者全員がそうした音を背後からくるものとして知覚する。他方、ステレオ・スピーカーを通じた仮想空間的レンダリングでは、背後からのオーディオの知覚は、バイノーラル信号を生成するために使用されるHRTFによって制御され、スイートスポット２０２にいる聴取者によってのみ適正に知覚されることになる。スイートスポットの外部の聴取者は、そのオーディオを、自分の前方のステレオ・スピーカーから発するものとして知覚する可能性が高い。そのようなサラウンド・システムの設置は、その恩恵にもかかわらず、多くの消費者にとって実際的ではない。ある種の場合には、消費者は、すべてのスピーカーを聴取環境の前方に、しばしばテレビジョン・ディスプレイと同じ位置に保持するほうを好むことがありうる。他の場合には、空間または設備の入手可能性が制約されることがある。

諸実施形態は、利用されるすべてのスピーカー対が実質的に同位置であることを許容するが同位置であることは必須ではない仕方で、スイートスポットの外部の聴取者のために三つ以上のスピーカーを使うことと、スイートスポット内部の聴取者にとっての体験を維持または改善することとの恩恵を組み合わせるような仮想空間的レンダリングとの関連での複数のスピーカー対の使用に向けられる。仮想空間的レンダリング方法は、複数の漏話キャンセラーの間で各オーディオ・オブジェクトから生成されるバイノーラル信号をパンすることによって、複数対のラウドスピーカーに拡張される。漏話キャンセラー間のパンは、各オーディオ・オブジェクトに関連付けられた位置によって制御され、同じ位置が各オブジェクトに関連付けられたバイノーラル・フィルタ対を選択するために利用される。複数の漏話キャンセラーは、対応する複数のスピーカー対のために設計され、該複数のスピーカー対にフィードされる。各スピーカー対は、意図される聴取位置に対して異なる物理的位置および／または配向をもつ。

上記のように、多オブジェクト・バイノーラル信号では、スピーカー信号を生成するレンダリング・チェーン全体は、式(8)の総和の表式によって与えられる。この表式は、式(8)の、M対のスピーカーへの次の拡張によって記述されてもよい。

上記の式(9)では、変数は以下の割り当てをもつ。

o_i＝ N個のうちi番目のオブジェクトについてのオーディオ信号
B_i＝ B_i＝HRTF{pos(o_i)}によって与えられる、i番目のオブジェクトについてのバイノーラル・フィルタ対
α_ij＝ i番目のオブジェクトについてのj番目の漏話キャンセラーへのパン係数
C_j＝ j番目のスピーカー対についての漏話キャンセラー行列
s_j＝ j番目のスピーカー対に送られるステレオ・スピーカー信号。

各オブジェクトiに関連付けられるM個のパン係数は、可能性としては時間変動するオブジェクトの位置を入力として取るパン関数を使って計算される。

式(9)および式(10)は、図３に描かれるブロック図によって等価に表現される。図３は、複数の漏話キャンセラーの間で、オーディオ・オブジェクトから生成されるバイノーラル信号をパンするシステムを示しており、図４は、ある実施形態のもとでの、複数の漏話キャンセラーの間でバイノーラル信号をパンする方法を示すフローチャートである。描画３００および４００に示されるように、N個のオブジェクト信号o_iのそれぞれについて、オブジェクト位置pos(o_i)の関数として選択されるバイノーラル・フィルタの対B_iがまず適用されて、バイノーラル信号を生成する（ステップ４０２）。同時に、パン関数は、オブジェクト位置pos(o_i)に基づいてM個のパン係数a_i1……a_iMを計算する（ステップ４０４）。各パン係数は、別個にバイノーラル信号に乗算されて、M個のスケーリングされたバイノーラル信号を生成する（ステップ４０６）。M個の漏話キャンセラーC_jのそれぞれについて、N個のオブジェクト全部からのj番目のスケーリングされたバイノーラル信号が総和される（ステップ４０８）。次いで、この総和された信号は漏話キャンセラーによって処理され、j番目のスピーカー信号対s_jを生成する。この信号対がj番目のラウドスピーカー対を通じて再生される（ステップ４１０）。図４に示されるステップの順序は、示される序列に厳密に固定されるのではなく、図示したステップまたは工程の一部がプロセス４００の序列とは異なる序列において他のステップの前または後に実行されてもよいことを注意しておくべきである。

複数ラウドスピーカー対の恩恵をスイートスポットの外部の聴取者に拡張するために、パン関数は、（ミキサーまたはコンテンツ・クリエーターによって意図されるところの）オブジェクトの所望される物理的位置をそうした聴取者に伝達するのを助ける仕方で、オブジェクト信号を諸スピーカー対に分散させる。たとえば、オブジェクトが頭上から聞こえることが意図されている場合、パン手段は、オブジェクトを、すべての聴取者にとって高さの感覚を最も効果的に再現するスピーカー対にパンする。オブジェクトが側方に聞かれることが意図されている場合、パン手段は、オブジェクトを、すべての聴取者にとって幅の感覚を最も効果的に再現するスピーカー対にパンする。より一般には、パン係数の最適な集合を計算するために、パン関数は、各オブジェクトの所望される空間的位置を、各スピーカー対の空間的再生機能と比較する。

一般に、実際的ないかなる数のスピーカー対が、いかなる適切なアレイにおいて使われてもよい。ある典型的な実装では、図５に示されるように聴取者の前方でみな共位置にある三つのスピーカー対が、アレイにおいて利用されてもよい。描画５００に示されるように、聴取者５０２はスピーカー・アレイ５０４に対するある位置に位置される。アレイは、アレイの軸に対する特定の方向に音を投射するいくつかのドライバを含む。たとえば、図５に示されるように、第一のドライバ対５０６は、聴取者に向かって前方を指し（前方発射ドライバ）、第二の対５０８は横を指し（側方発射ドライバ）、第三の対５１０は上方を指す（上方発射ドライバ）。これらの対は、前方５０６、側方５０８および高さ５１０とラベル付けされ、それぞれに対して漏話キャンセラーC_F、C_SおよびC_Hがそれぞれ関連付けられる。

各スピーカー対と関連付けられた漏話キャンセラーならびに各オーディオ・オブジェクトについてのバイノーラル・フィルタの生成両方のために、パラメトリックな球状頭部モデルHRTFが利用される。ある実施形態では、そのようなパラメトリックな球状頭部モデルHRTFは、ここに参照によって組み込まれ本願に付録１として添付される「ダイナミックレンジ圧縮のあるサラウンドサウンド仮想化器および方法」という名称の米国特許出願第13/132,570号（米国特許出願公開第2011/0243338号）に記載されるように生成されてもよい。一般に、これらのHRTFは、聴取者の正中面に対するオブジェクトの角度のみに依存する。図５に示されるように、この正中面での角度は0度と定義され、左側の角度は負と定義され、右側の角度は正と定義される。

図５に示されるスピーカー・レイアウトについて、スピーカー角θ_Cは三つのスピーカー対すべてについて同じであることが想定され、よって、漏話キャンセラー行列Cは三つの対すべてについて同じである。各対がほぼ同じ位置になかったとしたら、角度は各対について異なる設定をされることができる。HRTF_L{θ}およびHRTF_R{θ}が、角度θにおけるオーディオ源に関連付けられた左および右のパラメトリックHRTFフィルタを定義するとする。式(2)において定義される漏話キャンセラー行列の四つの要素は次式によって与えられる。

各オーディオ・オブジェクト信号o_iには、可能性としては時間変動する、デカルト座標で与えられる位置{x_i,y_i,z_i}が関連付けられる。好ましい実施形態において用いられるパラメトリックHRTFは、いかなる高度手がかりも含まないので、HRTF関数からバイノーラル・フィルタ対を計算する際に、オブジェクト位置のxおよびy座標のみが利用される。これらの{x_i,y_i}座標は等価な動径および角度{r_i,θ_i}に変換される。ここで、動径は0から1までの間にあるように規格化される。ある実施形態では、パラメトリックHRTFは聴取者からの距離に依存せず、よって動径は次のように左右のバイノーラフ・フィルタの計算に組み込まれる。

動径が0のとき、バイノーラル・フィルタはすべての周波数を通じて単に1であり、聴取者は、両方の耳で同じようにオブジェクト信号を聞く。これは、オブジェクト位置が聴取者の頭の内部に厳密に位置している場合に相当する。動径が1のときは、フィルタは角度θ_iで定義されたパラメトリックHRTFに等しい。動径項の平方根を取ると、フィルタのこの補間は、空間的情報をよりよく保存するHRTFに向けてバイアスされる。この計算が必要となるのは、パラメトリックHRTFモデルが距離手がかりを組み込まないからであることを注意しておく。異なるHRTF集合はそのような手がかりを組み込んでいてもよく、その場合、式(12a)および(12b)によって記述される補間は必要なくなる。

各オブジェクトについて、三つの漏話キャンセラーそれぞれについてのパン係数が、各キャンセラーの配向に対するオブジェクト位置{x_i,y_i,z_i}から計算される。上方発射スピーカー対５１０は、天井または聴取環境の他の上の表面から音を反射させることによって、上からの音を伝達するために意図されている。よって、その関連付けられたパン係数は、高度座標z_iに比例する。前方および側方発射対のパン係数は、{x_i,y_i}座標から導出されるオブジェクト角度θ_iによって支配される。θ_iの絶対値は30度未満であり、オブジェクトは完全に前方対５０６にパンされる。θ_iの絶対値が30から90度の間であるときは、オブジェクトは前方対と側方対５０６および５０８の間にパンされる。θ_iの絶対値が90度より大きいときは、オブジェクトは完全に側方対５０８にパンされる。このパン・アルゴリズムでは、スイートスポット５０２にいる聴取者は、三つの漏話キャンセラーすべての恩恵を受ける。さらに、上方発射対を用いて高度の知覚が加えられ、側方発射対は、横および後に混合される、オブジェクトについての拡散性の要素を加え、これは知覚される包み込みを向上させることができる。スイートスポットの外部の聴取者にとっては、キャンセラーはその有効性の多くを失うが、これらの聴取者は、それでも上方発射対からの高度の知覚ならびに前方から側方へのパンからの直接音と拡散音の間の変化を得る。

描画４００に示されるように、本方法のある実施形態は、パン関数を使ってオブジェクト位置に基づくパン係数を計算することに関わる（ステップ４０４）。α_iF、α_iSおよびα_iHがi番目のオブジェクトの、前方、側方および高さ漏話キャンセラーへのパン係数を表わすとすると、これらのパン係数の計算のためのアルゴリズムは次によって与えられる。

上記のアルゴリズムは、パンされる際のすべてのオブジェクト信号のパワーを維持することを注意しておくべきである。このパワーの維持は次のように表わせる。

α_iF ²＋α_iS ²＋α_iH ²＝1 (13h)
ある実施形態では、パンおよび相互相関を使う仮想化器方法およびシステムが、固定されたチャネル信号と一緒の動的なオブジェクト信号の混合を含む次世代空間的オーディオ・フォーマットに適用されてもよい。そのようなシステムは、ここに参照によって組み込まれ本願に付録２として添付される「適応オーディオ信号生成、符号化およびレンダリングのためのシステムおよび方法」という名称の、2012年4月20日に出願された、係属中の米国仮特許出願第61/636,429号において記述される空間的オーディオ・システムに対応してもよい。サラウンドサウンド・アレイを使うある実装では、固定チャネル信号は、固定した空間的位置を各チャネルに割り当てることによって、上記のアルゴリズムで処理されてもよい。左、右、中央、左サラウンド、右サラウンド、左高さおよび右高さからなる七チャネル信号の場合、次の{r θ z}座標が想定されてもよい：
左 {1,−30,0}
右 {1,30,0}
中央 {1,0,0}
左サラウンド {1,−90,0}
右サラウンド {1,90,0}
左高さ {1,−30,1}
右高さ {1,30,1}。

図５に示されるように、好ましいスピーカー・レイアウトは、単一の離散的な中央スピーカーをも含んでいてもよい。この場合、中央チャネルは、図４の回路によって処理されるのではなく、直接この中央スピーカーにルーティングされてもよい。純粋にチャネル・ベースのレガシー信号が該好ましい実施形態によってレンダリングされる場合には、各オブジェクト位置が静的なので、システム４００の要素すべては、時間を通じて一定である。この場合、これらの要素のすべては、システムの立ち上げ時に一度事前計算されるのでもよい。さらに、バイノーラル・フィルタ、パン係数および漏話キャンセラーは、各固定オブジェクトについてM対の固定されたフィルタに事前に組み合わされてもよい。

前方／側方／上方発射ドライバをもつ共位置のドライバ・アレイに関して諸実施形態が記述されたが、可能な実施形態は実際的に他にいくらでもある。たとえば、スピーカーの側方対は除外されて、前方を向くスピーカーと上方を向くスピーカーのみとしてもよい。また、上方発射スピーカー対の代わりに前方を向く対の上の天井近くに位置され、直接聴取者の方を向くスピーカーの対としてもよい。この構成は、たとえばスクリーンの側辺に沿って下から上へと離間されている多数のスピーカー対に拡張されてもよい。

〈仮想レンダリングのための等化〉
諸実施形態は、仮想化されるモノフォニック・オーディオ信号に適用される漏話キャンセラー・フィルタおよびバイノーラル・フィルタ両方から計算される漏話キャンセラーについての改善された等化にも向けられる。その結果は、スイートスポットの外部の聴取者にとっての改善された音色および標準レンダリングから仮想レンダリングに切り換わるときのより小さな音色シフトである。

上記のように、ある種の実装では、仮想レンダリング効果はしばしば、漏話キャンセラーの設計において想定される、スピーカーに対する位置に聴取者が座ることに強く依存する。たとえば、聴取者が正しいスイートスポットに座っていない場合、漏話打ち消し効果は部分的または完全に損なわれることがある。この場合、バイノーラル信号によって意図される空間的印象は聴取者によって完全には知覚されない。さらに、スイートスポットから外れた聴取者はしばしば、結果として得られるオーディオの音色が不自然であるという不満をもつことがありうる。

音色に関するこの問題に対処するために、バイノーラル信号bの知覚される音色を位置にかかわりなくすべての聴取者にとってより自然なものにするという目標をもって、式(2)における漏話キャンセラーのさまざまな等化が提案されてきた。そのような等化は、

に従ってスピーカー信号の計算に加えられてもよい。

上記の式(14)において、Eは左および右のスピーカー信号両方に適用される単一の等化フィルタである。そのような等化を調べるために、式(2)は次の形に再配列されることができる。

聴取者が二つのスピーカーの間に対称的に配置されているとすると、ITF_L＝ITF_RかつEQF_L＝EQF_Rであり、式(6)は次に帰着する。

漏話キャンセラーのこの定式化に基づいて、いくつかの等化フィルタEが使用されてもよい。たとえば、バイノーラル信号がモノである（左右の信号が等しい）場合、次のフィルタが使用されてもよい。

バイノーラル信号の二つのチャネルが統計的に独立である場合についての代替的なフィルタは、次のように表わされてもよい。

そのような等化は、バイノーラル信号bの知覚される音色に関して恩恵を与えうる。しかしながら、バイノーラル信号bはしばしばモノラル・オーディオ・オブジェクト信号oから、バイノーラル・レンダリング・フィルタB_LおよびB_Rの適用を通じて合成される。

レンダリング・フィルタ対Bはたいていの場合、聴取者に対する空間内でのある関連付けられた位置から発するオブジェクト信号oの印象を与えるよう選ばれた一対のHRTFによって与えられる。式の形では、この関係は次のように表わせる。

上式において、pos(o)は聴取者に対する3D空間内のオブジェクト信号oの所望される位置を表わす。この位置は、デカルト座標(x,y,z)または極座標のような他の任意の等価な座標系で表わされてもよい。この位置は、空間を通じたオブジェクトの動きをシミュレートするために時間的に変化していてもよい。関数HRTF{}は、位置によってアドレッシング可能なHRTFの集合を表わすことが意図されている。実験室において人間の被験者から測定された多くのそのような集合が存在する。たとえば、CIPICデータベースである。代替的に、上記集合は、先述した球状頭部モデルのようなパラメトリック・モデルで構成されていてもよい。実際的な実装では、漏話キャンセラーを構築するために使われるHRTFは、しばしば、バイノーラル信号を生成するために使われるのと同じ集合から選ばれる。ただし、これは必須ではない。

式(19)を式(14)に代入すると、

に従ってオブジェクト信号から計算された、等化されたスピーカー信号が得られる。

多くの仮想空間的レンダリング・システムにおいて、ユーザーはオーディオ信号oの標準的レンダリングから式(21)を用いるバイノーラル化され、漏話打ち消しされたレンダリングへと切り換えることができる。そのような場合、漏話キャンセラーCとバイノーラル化フィルタBの適用両方から音色シフトが帰結することがあり、そのようなシフトが聴取者によって不自然であると知覚されることがある。式(17)および(18)によって例示されるように、単に漏話キャンセラーから計算される等化フィルタEは、バイノーラル化フィルタを考慮に入れないので、この音色シフトをなくすことができない。諸実施形態は、この音色シフトを解消または軽減する等化フィルタに向けられる。

式(14)によって記述されるバイノーラル信号への等化フィルタおよび漏話キャンセラーの適用ならびに式(19)によって記述されるオブジェクト信号へのバイノーラル・フィルタの適用は、周波数領域における行列乗算として直接的に実装されてもよいことを注意しておくべきである。しかしながら、等価な適用が、時間領域で、多様なトポロジーで構成された適切なFIR（有限インパルス応答）もしくはIIR（無限インパルス応答）フィルタとの畳み込みを通じて達成されてもよい。

改善された等化フィルタを設計するために、式(21)をその成分の左および右のスピーカー信号に展開することが有用である。

上式で、スピーカー信号は、左右のレンダリング・フィルタR_LおよびR_Rおよびそれに続く等化Eがオブジェクト信号oに適用されたものとして表現できる。これらのレンダリング・フィルタのそれぞれは、式(22b)および(22c)に見られるように、漏話キャンセラーCおよびバイノーラル・フィルタB両方の関数である。プロセスは、スピーカーに対する聴取者の位置にかかわりない自然な音色を、オーディオ信号が仮想化なしでレンダリングされるときと実質的に同じ音色とともに達成するという目標をもって、等化フィルタEをこれら二つのレンダリング・フィルタR_LおよびR_Rの関数として計算する。

任意の特定の周波数において、オブジェクト信号の左右のスピーカー信号中への混合は、

として一般的に表わせる。

上式(23)において、α_Lおよびα_Rは混合係数であり、これらの係数は周波数を通じて変わりうる。したがって、非仮想レンダリングについてオブジェクト信号が左右のスピーカー信号中に混合される仕方が式(23)によって記述されうる。実験的に、オブジェクト信号oの知覚される音色またはスペクトル・バランスは、左右のスピーカー信号の組み合わされたパワーによってよくモデル化されることが見出された。これは、二つのラウドスピーカーのまわりの幅広い聴取領域について成り立つ。式(23)から、非仮想化スピーカー信号の組み合わされたパワーは次式によって与えられる。

式(13)から、仮想化スピーカー信号の組み合わされたパワーは次式によって与えられる。

最適な等化フィルタE_optは、P_V＝P_NVと置いて、Eについて解くことによって見出される。

式(26)における等化フィルタE_optは、仮想化レンダリングについて、幅広い聴取領域を通じて一貫しており、かつ非仮想化レンダリングについてと実質的に同じ音色を与える。E_optはレンダリング・フィルタR_LおよびR_Rの関数として計算されていることが見て取れる。これらのレンダリング・フィルタは今度は漏話キャンセラーCおよびバイノーラル化フィルタB両方の関数である。

多くの場合、非仮想化レンダリングについてのオブジェクト信号の左右のスピーカーへの混合は、パワーを保存するパン則に従う。つまり、下記の式(27)の等号がすべての周波数について成り立つ。

この場合、等化フィルタは次のように簡略化される。

このフィルタを使うと、左右のスピーカー信号のパワースペクトルの和は、オブジェクト信号のパワースペクトルに等しくなる。

図６は、ある実施形態のもとでの、単一オブジェクトoについて適用される等化プロセスを描く図であり、図７は、ある実施形態のもとでの、単一オブジェクトについての上記等化プロセスを実行する方法を示すフローチャートである。描画７００に示されるように、バイノーラル・フィルタ対Bはまず、オブジェクトの可能性としては時間変動する位置の関数として計算され（ステップ７０２）、次いでオブジェクト信号に適用されて、ステレオ・バイノーラル信号を生成する（ステップ７０４）。次に、ステップ７０６に示されるように、漏話キャンセラーCが上記バイノーラル信号に適用されて、前置等化されたステレオ信号を生成する。最後に、等化フィルタEが適用されて、ステレオ・ラウドスピーカー信号sを生成する（ステップ７０８）。この等化フィルタは、漏話キャンセラーCおよびバイノーラル・フィルタ対B両方の関数として計算されてもよい。オブジェクト位置が時間変動する場合、バイノーラル・フィルタは時間を追って変化する。つまり、等化Eフィルタも時間とともに変化する。図７に示されるステップの順序は、図示される序列に厳密に固定されているわけではないことを注意しておくべきである。たとえば、等化器フィルタ・プロセス７０８は、漏話キャンセラー・プロセス７０６の前または後に適用されうる。また、図６に示されるように、実線６０１はオーディオ信号の流れを描くことが意図されており、一方、破線６０３はパラメータの流れを表わすことが意図されていることも注意しておくべきである。ここで、パラメータは、HRTF関数に関連付けられているパラメータである。

多くの応用において、空間内のさまざまな、可能性としては時間変動する位置に置かれている多数のオーディオ・オブジェクト信号が同時にレンダリングされる。そのような場合、バイノーラル信号は、関連付けられたHRTFが適用されたオブジェクト信号の和によって与えられる：

この多オブジェクト・バイノーラル信号では、本発明の等化を含む、スピーカー信号を生成するためのレンダリング・チェーン全体は次式によって与えられる。

単一オブジェクトの式(21)に比べ、等化フィルタが漏話キャンセラーの前に移されている。こうすることによって、すべての成分オブジェクト信号に共通の漏話が和の外に出せる。他方、各等化フィルタE_iは、各オブジェクトのバイノーラル・フィルタB_iに依存するので、各オブジェクトに特有である。

図８は、ある実施形態のもとでの、同じ漏話キャンセラーを通じて入力された複数のオブジェクトに同時に等化プロセスを適用するシステムのブロック図８００である。多くの応用において、オブジェクト信号o_iは、左、中央、右、左サラウンドおよび右サラウンドからなる5.1信号のような多チャネル信号の個々のチャネルによって与えられる。この場合、各オブジェクトに関連付けられたHRTFは、各チャネルに関連付けられた固定スピーカー位置に対応するよう選ばれてもよい。このようにして、5.1サラウンド・システムは、ステレオ・ラウドスピーカーのセットを通じて仮想化されてもよい。他の応用では、オブジェクトは、3D空間の任意のところに自由に動くことが許容される源であってもよい。次世代空間的オーディオ・フォーマットの場合、式(30)におけるオブジェクトの集合は、自由に動くオブジェクトと固定されたチャネルの両方からなっていてもよい。

ある実施形態では、漏話キャンセラーおよびバイノーラル・フィルタは、パラメトリックな球状頭部モデルHRTFに基づく。そのようなHRTFは、聴取者の正中面に対するオブジェクトの方位角によってパラメータ化される。正中面における角度は0度と定義され、左側の角度は負、右側の角度は正である。漏話キャンセラーおよびバイノーラル・フィルタのこの特定の定式化を与えられると、最適な等化フィルタE_optは式(28)に従って計算される。図９は、第一の実施形態のもとでの、レンダリング・フィルタについての周波数応答を描くグラフである。図９に示されるように、プロット９００は、物理的なスピーカー離間角度20度および仮想オブジェクト位置−30度に対応する、レンダリング・フィルタR_LおよびR_Rと、結果として得られる等化フィルタE_optとの大きさ周波数応答を描いている。異なるスピーカー離間構成については異なる応答が得られることがある。図１０は、第二の実施形態のもとでの、レンダリング・フィルタについての周波数応答を描くグラフである。図１０は、物理的なスピーカー離間角度20度および仮想オブジェクト位置−30度についてのプロット１０００を描いている。

本稿に記載される仮想化および等化技法の諸側面は、適切なスピーカーおよび再生装置を通じたオーディオまたはオーディオ／ビジュアル・コンテンツの再生のためのシステムの諸側面を表わし、映画館、コンサート・ホール、野外シアター、家庭または部屋、聴取ブース、自動車、ゲーム・コンソール、ヘッドホンまたはヘッドセット・システム、パブリック・アドレス（PA）システムまたは他の任意の再生環境のような捕捉されたコンテンツの再生を聴取者が体験する任意の環境を表わしうる。諸実施形態は、空間的オーディオ・コンテンツがテレビジョン・コンテンツに関連する家庭シアター環境において適用されてもよいが、実施形態は他の消費者ベースのシステムでも実装されうることは注意しておくべきである。オブジェクト・ベースのオーディオおよびチャネル・ベースのオーディオを含む空間的オーディオ・コンテンツは、任意の関係したコンテンツ（関連したオーディオ、ビデオ、グラフィックなど）との関連で使用されてもよいし、あるいは単体のオーディオ・コンテンツをなしてもよい。再生環境は、ヘッドホンまたは近距離場モニタから大小の部屋、自動車、戸外アリーナ、コンサート・ホールなどまでの任意の適切な聴取環境でありうる。

本稿に記載されるシステムの諸側面は、デジタルまたはデジタイズされたオーディオ・ファイルを処理するための適切なコンピュータ・ベースの音処理ネットワーク環境において実装されうる。適応オーディオ・システムの諸部分は、コンピュータ間で伝送されるデータをバッファリングおよびルーティングするはたらきをする一つまたは複数のルータ（図示せず）を含む、任意の所望される数の個別の機械を有する一つまたは複数のネットワークを含んでいてもよい。そのようなネットワークは、さまざまな異なるネットワーク・プロトコルの上に構築されてもよく、インターネット、広域ネットワーク（WAN）、ローカル・エリア・ネットワーク（LAN）またはその任意の組み合わせであってもよい。ネットワークがインターネットを含むある実施形態では、一つまたは複数の機械がウェブ・ブラウザ・プログラムを通じてインターネットにアクセスするよう構成されていてもよい。

上記のコンポーネント、ブロック、プロセスまたは他の機能構成要素の一つまたは複数は、システムのプロセッサ・ベースのコンピューティング装置の実行を制御するコンピュータ・プログラムを通じて実装されてもよい。本稿に開示されるさまざまな機能は、ハードウェア、ファームウェアのいくつもある組み合わせを使っておよび／またはさまざまな機械可読もしくはコンピュータ可読媒体において具現されたデータおよび／または命令として、挙動上の、レジスタ転送、論理コンポーネントおよび／または他の特性を用いて記載されることがあることを注意しておくべきである。そのようなフォーマットされたデータおよび／または命令が具現されうるコンピュータ可読媒体は、光学式、磁気式もしくは半導体記憶媒体のようなさまざまな形の物理的（非一時的）、不揮発性記憶媒体を含むがそれに限定されない。

文脈がそうでないことを明確に要求するのでないかぎり、本記述および請求項を通じて、単語「有する」「含む」などは、排他的もしくは網羅的な意味ではなく包含的な意味に解釈されるものとする。すなわち、「……を含むがそれに限定されない」の意味である。単数または複数を使った単語は、それぞれ複数または単数をも含む。さらに、「本稿で」「以下で」「上記で」「下記で」および類似の意味の単語は、全体としての本願を指すのであって、本願のいかなる特定の部分を指すものでもない。単語「または」が二つ以上の項目のリストを参照して使われるとき、その単語は該単語の以下の解釈のすべてをカバーする：リスト中の項目の任意のもの、リスト中の項目のすべておよびリスト中の項目の任意の組み合わせ。

一つまたは複数の実装が、例として、個別的な実施形態を用いて記載されているが、一つまたは複数の実装は開示される実施形態に限定されないことは理解されるものとする。逆に、当業者に明白であろうさまざまな修正および類似の構成をカバーすることが意図されている。したがって、付属の請求項の範囲は、そのようなすべての修正および類似の構成を包含するような最も広い解釈を与えられるべきである。

Claims (15)

1. オブジェクト・ベースのオーディオを仮想レンダリングする方法であって：
   オブジェクト信号および対応するオブジェクト信号位置をバイノーラル・フィルタ対に適用してバイノーラル信号を生成する段階であって、前記オブジェクト信号および前記オブジェクト信号位置は前記オブジェクト・ベースのオーディオのオーディオ・オブジェクトに関連付けられている、段階と；
   前記バイノーラル信号に、前記オブジェクト信号位置に基づいて計算されるパン係数を乗算して、スケーリングされたバイノーラル信号を生成する段階と；
   前記バイノーラル・フィルタ対から生成される前記バイノーラル信号を、複数の漏話キャンセラーの間でパンする段階であって、漏話キャンセラーの間での前記パンは各オーディオ・オブジェクトに関連付けられた位置によって制御される、段階と；
   前記スケーリングされたバイノーラル信号を足し合わせる段階と；
   足し合わされたスケーリングされたバイノーラル信号に漏話打ち消しプロセスを適用して、スピーカーを通じた再生のためのスピーカー信号対を生成する段階とを含み、
   前記スピーカーが、スピーカー・エンクロージャー内の複数のドライバ・アレイを含み、前記複数のドライバ・アレイが、前方発射ドライバと、側方発射ドライバもしくは上方発射ドライバのいずれかとを含む、
   方法。
2. 前記バイノーラル・フィルタ対が、聴取領域における聴取者に対する三次元空間内の前記オブジェクト信号の所望される位置の頭部伝達関数（HRTF）の対を利用する、請求項１記載の方法。
3. 前記オブジェクト・ベースのオーディオが、定義されたサラウンドサウンド構成において配置されたスピーカー・アレイを有するサラウンド・システムにおける再生のために構成されたレガシー・コンテンツを含み、前記レガシー・コンテンツの固定チャネル位置が前記オブジェクト信号のそれぞれのオブジェクトを含む、請求項１記載の方法。
4. 前記オブジェクト信号が時間変化する信号であり、前記オブジェクト信号には三次元空間における位置が関連付けられている、請求項１記載の方法。
5. 一対のバイノーラル・フィルタ関数が、オーディオ・オブジェクトに関連付けられた位置に基づいて前記オブジェクト信号に適用される、請求項１記載の方法。
6. 前記スピーカーが、一対の側方発射ドライバをもつサウンドバーである、請求項１記載の方法。
7. 前記スピーカーが、一対の上方発射ドライバをもつサウンドバーである、請求項１記載の方法。
8. 前記スピーカーが、一対の前方発射ドライバをもつサウンドバーである、請求項１記載の方法。
9. 聴取環境における複数のスピーカー対を通じてオブジェクト・ベースのオーディオを仮想レンダリングするシステムであって：
   複数のオブジェクト信号を受領する受領器段と；
   一つまたは複数のオブジェクト信号の各オブジェクト信号に一対のバイノーラル・フィルタ関数を適用してそれぞれのバイノーラル信号を生成するよう構成された複数のバイノーラル・フィルタであって、前記オブジェクト信号の少なくとも一部は時間変化するオブジェクトを含み、各バイノーラル・フィルタはそれぞれのオブジェクト信号のオブジェクト位置の関数として選択される、バイノーラル・フィルタと；
   各オブジェクト信号についての複数のパン係数を前記オブジェクト位置に基づいて計算するよう構成された複数のパン回路であって、前記複数のパン係数の各パン係数は、前記それぞれのバイノーラル信号を乗算されて複数のスケーリングされたバイノーラル信号を生成する、パン回路と；
   前記複数のパン係数の各パン係数についての対応するスケーリングされたバイノーラル信号を足し合わせて複数の足し合わされた信号を生成するよう構成された複数の加算器回路と；
   複数の漏話キャンセラー回路であって、各漏話キャンセラー回路が、前記複数の足し合わされた信号の各足し合わされた信号に、漏話打ち消しプロセスを適用して、それぞれのスピーカー対を通じた出力のためのスピーカー信号対を生成する、漏話キャンセラー回路とを有し、
   前記複数のスピーカー対が、スピーカー・エンクロージャー内に囲まれており、前記複数のスピーカー対が、前方発射ドライバと、側方発射ドライバもしくは上方発射ドライバのいずれかとを含む、
   システム。
10. 前記一対のバイノーラル・フィルタのそれぞれが、聴取領域における聴取者に対する三次元空間内の前記オブジェクト信号の所望される位置の一対の頭部伝達関数（HRTF）の一つを利用する、請求項９記載のシステム。
11. 各パン回路が、前記複数のオブジェクト信号の各オブジェクト信号を、それぞれのオブジェクト信号の前記所望される位置を聴取領域中の複数の聴取者の各聴取者に伝達する仕方で、前記複数のスピーカー対の各スピーカー対に分配するよう構成されたパン関数を実装する、請求項９記載のシステム。
12. 前記オブジェクト信号の前記所望される位置が、知覚的に聴取者の上の位置を含み、前記オブジェクト信号が聴取者の上に物理的に位置されたスピーカーと、聴取者への下方反射のために聴取領域の天井に向けて音波を投射するよう構成された上方発射ドライバとのうちの一方によって再生される、請求項１０記載のシステム。
13. 前記スピーカーが、一対の側方発射ドライバをもつサウンドバーである、請求項９記載のシステム。
14. 前記スピーカーが、一対の上方発射ドライバをもつサウンドバーである、請求項９記載のシステム。
15. 前記スピーカーが、一対の前方発射ドライバをもつサウンドバーである、請求項９記載のシステム。

Images