JP5694174B2 - オーディオ空間化および環境シミュレーション - Google Patents

Description

関連出願に対する相互引用
この特許協力条約出願は、２００８年１０月２０日に出願され、"Audio Spatialization and Environment Simulation"（オーディオ空間化および環境シミュレーション）と題する米国仮特許出願第６１／１０６，８７２号の優先権を主張する。この出願をここで引用したことにより、その内容全体が本願にも含まれるものとする。

本願は、所有を同じくする以下の特許出願と関係があり、その各々をここで引用することにより、それらが以下に全て明記されるかのように、その内容が本願にも含まれるものとする。

２００７年３月１日に出願され、"Audio Spatialization and Environment Simulation"（オーディオ空間化および環境シミュレーション）と題する米国仮特許出願第６０／８９２，５０８号
２００８年３月３日に出願され、"Audio Spatialization and Environment Simulation"（オーディオ空間化および環境シミュレーション）と題する米国実用新案登録出願第１２／０４１，１９号、および
２００８年３月３日に出願され、"Audio Spatialization and Environment Simulation"（オーディオ空間化および環境シミュレーション）と題するＰＣＴ出願ＰＣＴ／ＵＳ０８／５５６６９号

従来技術

GenAudio社のAstoundSound（商標）は、静止音響および／または移動音響を有する仮想空間の中央にリスナーを置く独特な音響定位プロセスである。人間の脳の心理音響的応答のために、リスナーは、これらの定位された音響が空間内にある任意の位置から発するように知覚することができる。GenAudio社のAstoundSound（商標）技術による心理音響効果は、ディジタル信号処理（ＤＳＰ）を頭部関連伝達関数（ＨＲＴＦ：head related transfer function）に対して応用することによって達成することができる。

一般的に言うと、ＨＲＴＦは、人間の頭部、型、外耳、胴体、皮膚、および耳介(pinna)の形状および組成をモデル化することができる。実施形態の中には、２つ以上のＨＲＴＦ（頭部の左側に１つ、そして頭部の右側に１つ）が、入力音響信号を修正して、音響が空間における異なる（仮想）位置から発するような印象を作り出すことができるものがある。GenAudio社のAstoundSound（商標）技術を用いると、心理音響的効果をわずか２つのスピーカで実現することができる。

実施形態の中には、この技術をソフトウェア・フレームワークによって発現させることができるものもある。このソフトウェア・フレームワークは、オーディオ信号を左耳チャネルおよび右耳チャネルに分割し、別個の１組のディジタル・フィルタをこれら２つのチャネルの各々に適用するというような、双耳フィルタリング方法によって当該ＤＳＰ ＨＲＴＦを実現する。更に、実施形態の中には、定位したオーディオ出力の事後フィルタリングを、エンコーディング／デコーディングまたは特殊な再生機器を用いることなく、遂行することができるものもある。

AstoundSound（商標）技術は、モデル−ビュー−コントローラ（ＭＶＣ）ソフトウェア・アーキテクチャによって実現することもできる。この種のアーキテクチャは、本技術を多くの異なる形態でインスタンス化することを可能にすることができる。実施形態の中には、AstoundSound（商標）のアプリケーションが、１組の共通ソフトウェア・インターフェースを通じて、同様の基礎となる処理コードに到達できる場合もある。更に、AstoundSound（商標）技術の中核は、多数のプラットフォーム（例えば、Macintosh、Windows、および／またはLinus上で動作することもできる）に跨って使用することができるコントローラおよびモデルを含むことができる。これらのコントローラおよび方法は、オーディオ入力信号のリアル・タイムＤＳＰ処理プレー・スルー(play-through)を可能にすることもできる。

図１は、潜在的に可能なシステム・アーキテクチャのモデル・ビュー・コントローラを示す。 図２は、リスナーに対する方位角および仰角における１つ以上の仮想スピーカを示す。 図３は、エクスパンダの処理フローを示す。 図４は、エクスパンダについて潜在的に可能な配線図を示す。 図５は、プラグインの処理フローを示す。 図６は、プラグインについて潜在的に可能な配線図を示す。 図７は、三次元空間における仮想音源の発振を示す。 図８は、プラグインの処理フローを示す。 図９は、潜在的に可能な配線図を示す。 図１０は、音源のオーディオ反射の定位を示す。 図１１は、オーディオ定位の処理フローを示す。 図１２は、四累乗(biquad)フィルタおよび方程式を示す。

AstoundStereo（商標）エクスパンダ・アプリケーション(Expander Application)
実施形態の中には、AstoundStereo（商標）エクスパンダ(Expander)・アプリケーションは、通常のステレオ・オーディオを入力として取り込み、出力のステレオ・イメージが著しく広くなるようにこの入力を処理することができる単体のエクゼキュータブルとして実装することができるものもある。更に、入力からの中央情報（例えば、楽声および／または中央に設置される楽器）を保存することもできる。つまり、リスナーはより広いステレオ・イメージを「聞く」ことができる。何故なら、基礎となるAstoundStereo（商標）ＤＳＰ技術が、オーディオを発する仮想スピーカがリスナーの頭部に対して所定の方位角、仰角、および距離のところに置かれているという心理音響的知覚を創作するからである。このオーディオの仮想定位は、リスナーの物理的スピーカおよび／またはヘッドホンよりも離れたところに仮想スピーカを置くように思わせることができる。

エクスパンダの一実施形態は、コンピュータ用のオーディオ・デバイス・ドライバとしてインスタンス化することができる。その結果、エクスパンダ・アプリケーションは、コンピュータによって発生したオーディオおよび／またはコンピュータを通過するオーディオを大量に処理することができる、大域実行オーディオ・プロセッサとなることができる。例えば、実施形態の中には、エクスパンダ・アプリケーションが、コンピュータ上でオーディオを生成または導出する全てのサード・パーティ製アプリケーションを処理することができる場合もある。

エクスパンダをコンピュータ用のオーディオ・デバイス・ドライバとしてインスタンス化することの別の成果は、ユーザが彼／彼女のコンピュータ・アカウントにログインしている間、エクスパンダが存在しアクティブになっていることができることである。つまり、iTunesおよび／またはDVD Playerのようなサード・パーティ製アプリケーションの場合のように個々のファイルを処理のためにロードすることなく、大量のオーディオをエクスパンダに導出し、リアル・タイムで処理することができる。

AstoundStereo（商標）エクスパンダの特徴の一部には、以下が含まれる。
ステレオ拡張対称仮想スピーカ定位（ＥＬ、ＡＺ、ＤＩＳＴ）
ステレオ拡張強度調節
ActiveBass（商標）
包括的回避(Global Bypass)
選択可能な出力デバイス
処理フロー
製品コントローラ(Products Controller)ライブラリからのソフトウェア・コントローラ・クラス(software controller class)が、AstoundStereo（商標）エクスパンダ・アプリケーションの処理フローを利用可能にすることができる。前述のように、コントローラ・クラスは、基礎となるＤＳＰモデルおよび機能に対する共通のインターフェース定義であることができる。コントローラ・クラスは、ステレオ拡張処理に適したＤＳＰインタラクションを定義することができる。図３は、ステレオ拡張に適していると考えられる「定位のためのディジタル・オーディオ処理」と称するＤＳＰインタラクションの一例を示す。図３において示される動作(activity)を、図１１に更に詳しく図示する。

コントローラは、二チャネル・ステレオ信号を入力として受け入れることができる。この信号は、左チャネルおよび右チャネルに分離することができる。次いで、各チャネルを、図４に示すような、AstoundStereo線形ＤＳＰ機能セットを通じて導出し、特定の空間ポイント（例えば、２つの仮想スピーカ位置）に定位することができる。

仮想スピーカの位置は、ビュー・ベースのアプリケーションによって、リスナーに対して特定の方位角、仰角、および距離の所に固定することができる（例えば、以下の無限インパルス応答フィルタを参照のこと）。ここで、一方の仮想スピーカは、リスナーの左耳からある距離だけ離れて配置され、他方の仮想スピーカはリスナーの右耳からある距離だけ離れて配置される。これらの位置は、楽声および中央段楽器存在感(center stage instrument presence)を強調するための％−中央回避(Center Bypass)（以下で更に詳しく説明する）用パラメータ、低周波応答を強調するためのロー・パス・フィルタリングおよび補償（例えば、以下の低周波処理を参照のこと）用パラメータ、ならびに距離シミュレーション用パラメータ（例えば、２００８年３月２００８日に出願され、"Audio Spatialization and Environment Simulation"と題するＰＣＴ出願ＰＣＴ／ＵＳ０８／５５６６９号を参照のこと）と組み合わせることができる。

前述の位置をこれらのパラメータと組み合わせることによって、リスナーにより広いステレオ音場の知覚を与えることができる。
尚、仮想スピーカの位置は、実施形態によっては非対称的であってもよいことは、注記に値するであろう。

対称的な位置付けは、定位効果を減退させて（例えば、信号の相殺によって）望ましくない場合もある。これについては、半球対称性(Hemispherical Symmetry)に関して以下で更に詳しく説明する。

AstoundStereoエクスパンダは（プラグインではなく）アプリケーションであるので、ＤＳＰ処理を回避し、リスナーがオーディオ信号をその本来のステレオ形態で聴取することを可能にするために、包括的(global)ＤＳＰバイパス・スイッチを内蔵することができる。加えて、エクスパンダは、一意でありしかも聞こえないGenAudioディジタル透かしを検出することができる、統合ディジタル透かし技術を含むこともできる。この透かしの検出によって、AstoundStereoエクスパンダ処理が自動的に包括的回避(global bypass)を利用可能にすることができる。透かしを入れた信号は、入力信号が既にAstoundSound（商標）機能を内蔵するために既に変更されていることを示すことができる。この種の信号を回避することは、入力信号を２回処理すること、および定位効果を減退または転化させることを避けるために行うことができる。

実施形態の中には、AstoundStereo（商標）処理が、ユーザが定義可能なステレオ拡張強度レベルを含むこともできるものもある。この調節可能なパラメータは、低周波処理、％−中央回避、および定位利得のためのパラメータを全て組み合わせることができる。更に、実施形態の中には、ステレオ拡張強度レベルに対する所定の最小および最大設定値を含む場合もある。このユーザが定義可能な調節は、全ての関連するパラメータに対する最小値および最大値間における線形補間とすることができる。AstoundStereo（商標）技術のActiveBass（商標）は、ユーザが選択可能なスイッチを含むことができる。このスイッチは、低周波パラメータ（低周波処理の章において以下で説明する）の１つ以上を所定の設定値まで増大して、リスナーのオーディオ出力デバイスからより深く、濃厚で、低音が多い応答を得ることができる。

実施形態の中には、この選択可能な出力デバイスの機構が、内蔵コンピュータ・スピーカ、ヘッドホン、コンピュータのラインアウト・ポートを経由した外部スピーカ、ＵＳＢ／ＦｉｒｅＷｉｒｅスピーカ／出力デバイス、および／またはオーディオをスピーカ／出力デバイスに導出することができるようにするために設置された他のあらゆるポートというような、種々の出力デバイス間でリスナーが選択することを可能にするメカニズムとしてもよい。
AstoundStereo（商標）エクスパンダ・プラグイン・アプリケーション
実施形態の中には、AstoundStereo（商標）エクスパンダ・エクゼキュータブルと実質的に同様とすることができるAstoundStereo（商標）エクスパンダ・プラグインを含むことができるものもある。また、実施形態の中には、エクスパンダ・プラグインがサード・パーティ製エクゼキュータブルによってホストされることもある点で、エクスパンダ・エクゼキュータブルとは異なる場合もある。例えば、エクスパンダ・プラグインは、Windows Media Pralyer、iTunes、Real Playerおよび／またはWinAmp、ならびにその他多数というような、オーディオ再生エクゼキュータブル内に存在することができる。尚、エクスパンダ・プラグインは、エクスパンダ・エクゼキュータブルと実質的に同じ特徴および機能を含むことができることは、注記に値する。
処理フロー
エクスパンダ・プラグインは、エクスパンダ・エクゼキュータブルと実質的に同じ内部処理フローを含むが、外部フローは異なることもある。例えば、ユーザ、またはプラグインをインスタンス化するシステムの代わりに、これはサード・パーティ製オーディオ再生エクゼキュータブルによって対処することができる。
AstoundStereo（商標）プラグイン・アプリケーション
AstoundStereo（商標）プラグインは、サード・パーティ製エクゼキュータブル（例えば、ProTools、Logic、Nuendo、Audacity、Garage Band等）によってホストされてもよく、それでもなお、AstoundStereo（商標）エクスパンダとの類似性をいくつか有することができる。エクスパンダと同様に、広いステレオ・フィールドを形成することができる。しかしながら、エクスパンダとは異なり、プロの音響技術者に合わせて特注することができ、多数のＤＳＰパラメータを露出し、３Ｄユーザ・インターフェースを通じて広範囲の同調可能な制御パラメータにアクセスさせることができる。また、エクスパンダとは異なり、プラグインの実施形態の中には、ディジタル透かしを最終的な出力オーディオ信号にエンコードすることができるディジタル透かしコンポーネントを統合することによって、エクスパンダとは異なるものとなることができる場合もある。このような透かしは、GenAudioが、この技術によって処理された多種多様のオーディオを一意に特定することを可能にすることができる。実施形態の中には、露出されるパラメータが以下を含むことができる場合がある。

定位方位角および仰角
独立した左および右定位利得(Gain)
定位距離および距離残響
定位オーディオ出力の知覚増大のための方位角および仰角における位置的振動
マスタ入力および出力利得
中央回避(Center Bypass)の広さおよび利得
中央帯域通過周波数および帯域幅
低周波帯域通過周波数、ロール・オフ、利得、およびＩＴＤ補償
４帯域ＨＲＴＦフィルタ等化
反射定位方位角および仰角（以下で残響定位の章において更に詳しく論ずる）
反射定位量、部屋の大きさ、減退(decay)、密度、および減衰(damping)
処理フロー
プラグインは、サード・パーティ製ホスト・エクゼキュータブルによってインスタンス化し、消滅させることができる。
％−中央回避(Center Bypass)
％−中央回避（図３および図６において先に言及した）は、ＤＳＰエレメントであり、実施形態の中には、オーディオの中央情報（例えば、楽声または「中央段(center stage)」機器）の少なくとも一部を処理しないまま残しておくことを可能にするものもある。ステレオ・オーディオ入力において処理を回避することを許容してもよい中央情報の量は、異なる実施形態間で様々に変動することがある。

一定のステレオ・オーディオを回避させることによって、中央チャネル情報が、一層自然で、真に迫る表現となって目立つまま残ることができる。この特徴がないと、中央情報は失われていく即ち減退していき、不自然な音響をオーディオに与えるおそれがある。動作の間、実際の定位処理が行われる前に、着信するオーディオ信号を中央信号およびステレオ・エッジ信号に分割することができる。実施形態の中には、この処理が、左および右チャネルからＬ＋Ｒモノラルの総和を減算すること、即ち、Ｍ−Ｓデコーディングを含むことができるものもある。続いて、ステレオ・エッジを処理し終えた後に、中央部を処理することができる。このように、中央回避は、処理された中央信号をどれくらい出力に加算するか決定することができる。
中央帯域通過(Center Band Pass)
図６に示す中央帯域通過ＤＳＰエレメントは、％−中央回避ＤＳＰエレメントの結果を強化することができる。中央信号は、優勢な楽声および楽器（これらは一般に記録の中央チャネルに存在する）を強調するために、可変帯域通過フィルタによって処理することができる。中央チャネル全体でないと減衰できない場合、楽声および優勢な楽器を混合から除去して、「カラオケ」効果を創作することもできるが、実施形態によっては望ましくない場合もある。帯域通過フィルタを適用すると、優勢な楽声との関連が低い周波数を選択的に除去することによって、この問題を軽減することができ、したがって、優勢な楽声を失うことなく、ステレオ・イメージを広げることができる。
空間発振器(Spatial Oscillator)
人間の脳は、音源と人間の耳との間に相対的な移動があると、音響の位置を一層精度高く決定することができる。例えば、リスナーは、音源が固定されている場合、音響の位置を判定し易くするために、頭部を横に動かすことがある。この逆も成り立つ。つまり、空間発振ＤＳＰエレメントは、所与の定位した音源を取り込み、定位した空間においてそれを振動(vibrate)および／または揺動(shake)させて、リスナーに追加の空間化(spatialization)（空間的広がり）を与えることができる。言い換えると、双方の仮想スピーカ（定位した音源）を振動および／または揺動させることにより、リスナーはAstoundStereo（商標）処理の空間化効果を一層容易に検出することが可能になる。

実施形態の中は、仮想スピーカ（１つまたは複数）の全体的な移動が非常に小さくてもよく、あるいはほぼ知覚できない程であってもよい場合もある。仮想スピーカの移動が小さくても、脳にとっては位置を認識し決定するには十分であると言える。定位した音響の空間発振(spatial oscillation)は、周期的関数をＨＲＴＦ関数の位置パラメータに適用することによって行うことができる。このような周期的関数は、限定ではないが、正弦波、方形波、および／または三角波、ならびにその他の多くを含むことができる。実施形態の中には、正弦波発生器を周波数および深さ変数と共に用いて、定位点の方位角を繰り返し調節することができるものもある。このように、周波数は、振動の速度を示すことができる乗数であり、深さは、定位点に向けて移動した距離の絶対値を示すことができる乗数である。この処理の更新レートは、実施形態の中には、サンプル毎にすればよい場合もある。
半球対称性(Hemispherical Symmetry)
リスナーの頭部は、身体の球欠平面(sagittal plane)に関して対称的であるので、実施形態の中には、この対称性を利用して、格納するフィルタ係数の量を半分に減少させることができるものもある。リスナーの左側および右側にある所与の対称位置（９０゜および２７０゜方位角というような）についてのフィルタ係数を格納する代わりに、一方側についてのフィルタ係数を選択的に格納し、次いで位置および出力チャネルの双方を交換することによって、逆側についても再生することができる。言い換えると、２７０度方位角における位置を処理する代わりに、９０度方位角に対応するフィルタを用いることができ、次いで左および右チャネルを交換して、半球の他方側にその効果を忠実に映すことができる。
AstoundSound（商標）プラグイン・アプリケーション
プロの音響エンジニア用のAstoundSound（商標）プラグインは、AstoundStrereo（商標）プラグインに対して類似性を有していてもよい。例えば、サード・パーティ製エクゼキュータブルによってホストされてもよく、広範囲のチューニング性能のために全てのＤＳＰパラメータを露出してもよい。これら２つが相違するのは、AstoundSoundプラグインがモノラル信号を入力として取り込み、１つの音源の完全な４Ｄ（経時的な移動を有する三次元空間定位）制御を、３Ｄユーザ・インターフェースを介して可能にすることである。本文書において論じた他のアプリケーションとは異なり、AstoundSoundプラグインは、３Ｄ空間における仮想音源を移動させるための３Ｄ入力デバイス（例えば、「３Ｄマウス」）の使用を可能にすることもできる。

更に、AstoundSoundプラグインは、最終的な出力オーディオ信号にディジタル透かしを直接エンコードする透かしコンポーネントを統合することもでき、GenAudioがこの技術を用いて処理された多種多様のオーディオを一意に特定することを可能にする。実施形態の中にはこの機能をプラグインとして実装することもあるので、ホストのエクゼキュータブルはこのプラグインの多数のインスタンスをインスタンス化することができ、これによって、多数のモノラル音源を空間化することを可能にすることができる。実施形態の中には、統合されたユーザ・インターフェースが、ホスト内で起動するAstoundSoundプラグインのこれらの独立したインスタンス化の１つ以上の定位した位置を示すことができる場合がある。実施形態の中には、露出されるパラメータが以下を含むこともある。

定位方位角および仰角
定位距離および距離残響
方位角および仰角の位置的振動
マスタ入力および出力利得
低周波帯域通過周波数、ロール・オフ、利得およびＩＴＤ補償
４帯域ＨＲＴＦフィルタ等化
反射定位方位角および仰角（詳細については残響定位の章を参照のこと）
反射定位量、部屋の大きさ、減退、密度、および減衰
処理フロー
このプラグインは、エクゼキュータブルをホストするサード・パーティによって、インスタンス化され、そして消滅させられる。
残響定位(Reverb Localization)
空間化の効果を向上させるために、実施形態の中には、直接（「ドライ」）信号とは異なる１組の定位フィルタを適用することによって、残響（または反射）信号を定位することができる場合もある。したがって、知覚した直接信号の反射の起点を、直接信号自体の経路以外で、位置付けることができる。反射はどこにでも定位することができるが（即ち、可変測位）、これらをリスナーの背後に位置付けると、明確さが高まり、空間化全体が向上する結果が得られることが確認されている。
共通技術
無限インパルス応答フィルタ
従来のAstoundSound（商標）ＤＰＳ技術は、概念的な単位球上において多数の独立したポイント（例えば、〜７，０００以上）を定義することができる。これらのポイントの各々について、そのポイントについての右および左ＨＲＴＦ、ならびに右および左の頭部−外耳道伝達関数の逆に基づいて、２つの有限インパルス応答（ＦＩＲ）フィルタを計算した。

実施形態の中には、ＦＩＲフィルタの代わりに、１組の無限インパルス応答（ＩＩＲ）フィルタを用いてもよいものもある。例えば、最小平均二乗誤差近似を用いて、元の１，９２０係数ＦＩＲ ＨＲＴＦフィルタから１組の６４係数ＩＩＲフィルタを作成することができる。周波数ドメインにおいて線形畳み込みを行うために必要なブロックに基づく処理とは異なり、ＩＩＲフィルタは、フーリエ変換を行う必要なく、時間ドメインにおいて畳み込みを行うことができる。この時間ドメインの畳み込み処理は、サンプル毎に定位結果を計算するために用いることができる。実施形態の中には、ＩＩＲフィルタが内在的なレイテンシを有しておらず、したがって、これらは、知覚可能な遅延（レイテンシ）を生ずることなく、双方の位置更新をシミュレートし音響波を定位するために用いることができるものもある。更に、元のＦＩＲフィルタにおける１，９２０個の係数からＩＩＲにおける６４個の係数に係数の数を減少させることによって、定位結果を計算するために用いられるメモリ・フットプリントおよび／またはＣＰＵサイクルを大幅に減少させることができる。元のＦＩＲフィルタから得られる耳介間時間差（ＩＴＤ：Inter-aural Time Difference）測定値にしたがって左および右信号を遅延させることによって、ＩＴＤを信号に加算し戻すこともできる。

ＨＲＴＦ測定は、比較的高い分解能で、規則的な空間間隔で行うことができるので、隣接するフィルタ間における空間補間は、位置更新（例えば、音源を経時的に移動させるとき）のためには最小に抑えることができる。実際に、実施形態の中には、補間を全く行わずにこれを遂行できる場合もある。即ち、音源方向の移動は、最も近い測定方向に合わせてＩＩＲフィルタをロードすることによって、シミュレートすることができる。次いで、隣接するＩＩＲフィルタ間で切り換えるときにあらゆるジッパ・ノイズ(zipper noise)を避けるために、少数のサンプルにわたって位置更新を平滑化することができる。サンプル未満の精度(sub-sample accuracy)を得るために、右および左チャネル双方に、ＩＴＤのために線形補間遅延線を適用することもできる。ＦＩＲフィルタも過去の（および／または今後の）サンプルの加重和を計算することによってサンプルを処理するという点で、ＩＩＲフィルタはＦＩＲフィルタに似ている。ここで、重みは、１組の係数によって決定することができる。しかしながら、ＩＩＲの状況では、この出力をフィルタ入力にフィード・バックすることによって、理論的に決して０に減退しない、「無限インパルス応答」という名の漸近的減退インパルス応答を形成することができる。このように処理した信号をフィード・バックすると、信号を多数回フィルタにかけることによって、その信号を部分的に「再処理」することができ、したがって、所与の数の係数に対するフィルタの制御性または険しさ(steepness)を高めることができる。ＩＩＲ四累乗構造についての概略図、およびその出力を発生するための式を、以下で図１２において示す。
サンプル・レート独立性
従来のＦＩＲフィルタは、４４．１ｋＨｚのサンプル・レートでサンプリングされており、したがって、ナイキスト規準(Nyquist criterion)のために、ＦＩＲフィルタは０Ｈｚおよびサンプリング・レートの半分（即ち、ナイキスト周波数）の間でしか信号を処理することができなかった。しかしながら、今日のオーディオ製作環境では、それよりも高いサンプリング・レートが望まれる場合もある。AstoundSound（商標）フィルタが、より高いサンプル・レートに付随する高周波内容を失うことなく、より高いサンプル・レートに対処できるようにするためには、元のフィルタのナイキスト周波数（２２，０５０Ｈｚ）よりも高い周波数を避ければよい。この回避を遂行するために、最初に、信号を低周波数帯域（＜ナイキスト）および高周波数帯域（＞＝ナイキスト）に分割することができる。次いで、低周波数帯域を、従来のＨＲＴＦフィルタのサンプリング周波数にダウン・サンプリングし、続いて４４．１ｋＨｚのサンプリング周波数で定位アルゴリズムによって処理することができる。一方、高周波数帯域は、今後の処理のために保持しておくことができる。定位処理を低周波数帯域に適用した後、結果的に得られた定位信号を再度従来のサンプル・レートにアップ・サンプリングし、高周波数帯域と混合させることができる。このように、高周波数の回避を、４４．１ｋＨｚへのサンプル・レート変換の後には残存していない元の信号において行うことができる。

代替実施形態では、従来のＦＩＲフィルタをより高いサンプル・レートで設計し直すこと、および／またはこれらのＩＩＲ構造に変換することによって、従来のＦＩＲフィルタのサンプリング・レートを拡大し、こうすることによって同じ効果を達成することができる。しかしながら、これには、２回の余分なサンプル・レート変換を伴い、したがって、処理済みの信号にこれらを適用することは、４４．１ｋＨｚのようにより頻繁に遭遇するサンプル・レートを処理するときには、処理負荷の増大を意味する場合もある。４４．１ｋＨｚのサンプル・レートは十分に検査されており、今日の消費者用音楽再生システムにおいて頻繁に遭遇するサンプル・レートであり続けているので、実施形態の中には、余分な帯域幅を除いて一層限定した数のケースのみにサンプル・レート変換を適用してもよい場合もある。また、AstoundSound（商標）ＤＳＰ処理の大部分は４４．１ｋＨｚで実行することができるので、サンプル・サイクル当たり消費されるＣＰＵ命令を少なくすることができる。
フィルタ等化(Filter Equalization)
「フィルタ等化」は、一般に、ＨＲＴＦ定位に混入される可能性があるカラー化(colorization)を低減するために、ある周波数スペクトル帯を減衰させる処理を指す。従来では、多数の（例えば、〜７，０００以上）独立フィルタ・ポイントについて、平均強度応答を計算して、理想的な（平坦な）強度応答プロセスからこれらのフィルタの全体的偏差を決定した。この平均化プロセスは、従来のフィルタ集合の周波数スペクトルにおいて４つの別個のピークを特定した。これらのピークは平坦な強度から逸脱し、潜在的に望ましくない方法でフィルタに信号をカラー化させる。定位／カラー化のトレードオフを定めるために、AstoundSound（商標）ＤＳＰ実装の実施形態の中には、４つの異なる周波数において４−帯域イコライザを追加することによって、これら別個の周波数ポイントにおいて利得を減衰させることができる。ここでは４つの別個の周波数について論じたが、示差的な周波数等化ポイントであればいずれの数でも可能であり、多帯域イコライザを用いてもよいことは、注記してしかるべきである。この場合、別個の各周波数には、イコライザの１つ以上の帯域によってアドレスすることができる。
低周波処理
ロー・パス・フィルタリング
実施形態の中には、低周波数を定位する必要がない場合もある。加えて、場合によっては、低周波数を定位すると、その存在が変化したり、最終的な出力オーディオに影響を及ぼすこともある。このため、実施形態の中には、入力信号内にある低周波数を避けるとよい場合もある。例えば、信号を周波数で分割して、低周波数を不変のまま通過させてもよい。尚、回避が始まる正確な周波数（ここでは、「ＬＰ周波数」と呼ぶ）、および／または周波数における回避開始の定位（ここでは、「Ｑファクタ」または「ロールオフ」と呼ぶ）を可変にしてもよいことは注記してしかるべきである。
ＩＴＤ補償
定位信号と回避した低周波信号との最終的な混合の準備を行うとき、耳介間時間差（ＩＴＤ）によって定位信号に混入した時間遅延が、双方の信号が異なる相対的時間遅延を有する原因となることがある。この時間遅延アーチファクトのために、低周波信号を定位信号と混合するときに、遷移周波数において低周波内容(low frequency content)の位相不整合を生ずる可能性がある。このため、実施形態の中には、ＩＴＤ補償パラメータを用いて、低周波信号を所定量だけ遅延させることによって、この位相不一致を補償することができるものもある。
位相反転(Phase Flip)
場合によっては、定位信号と回避した低周波信号との間における位相不一致のために、低周波信号が殆ど相殺される点まで低周波信号を減衰させてしまうこともある。このため、実施形態の中には、信号の極性を逆にする（これは、信号に−１を乗算することと等価である）ことによって、信号の位相を反転させることができるものもある。このように信号を反転させることによって、減衰を増強(boost)に変化させて、元の低周波信号の多くを元の状態に戻すことができる。
ロー・パス利得(Low Pass Gain)
実施形態の中には、低周波数が調節可能な出力利得を有することできるものがある。この調節によって、フィルタ処理された低周波数に、最終的なオーディオ出力において多少突出した存在感(presence)を持たせることができる。

Claims (16)

1. リスナーの音響定位を改良する方法であって、
   音響信号をコントローラに入力するステップと、
   前記音響信号を左耳信号及び右耳信号に分割するステップと、
   前記左耳信号及び前記右耳信号を修正するステップであって、
   複数の無限インパルス応答（ＩＩＲ）フィルタを前記左耳信号及び前記右耳信号の各々に適用し、前記フィルタは、前記リスナーの身体の形状及び組成をモデル化する左の頭部関連伝達関数（ＨＲＴＦ）及び右の頭部関連伝達関数（ＨＲＴＦ）のそれぞれに基づいて計算されること、
   複数の仮想定位音源を、前記リスナーから離れた距離にある複数の位置で生成すること、
   周期的関数を、左の頭部関連伝達関数（ＨＲＴＦ）及び右の頭部関連伝達関数（ＨＲＴＦ）のそれぞれの１またはそれ以上の位置パラメータに適用することによって、前記複数の仮想定位音源の空間発振を実行すること、
   前記複数の位置を複数のパラメータと組み合わせることであって、前記複数のパラメータが、中央回避パラメータ、ロー・パス・フィルタリング・パラメータ、及び距離シミュレーション用パラメータを含むこと、
   を含むステップと、
   定位した左耳信号及び定位した右耳信号を出力するステップと、
   を備えている、方法。
2. 前記信号が変化したことを示すために、前記定位した左耳信号及び前記定位した右耳信号に透かし信号を埋め込むステップを更に備えている、請求項１に記載の方法。
3. 前記修正するステップが、前記左耳信号及び前記右耳信号の各々を第１の周波数帯及び第２の周波数帯に分離することを含み、前記第２周波数帯が前記第１周波数帯よりも低い周波数を有する、請求項１に記載の方法。
4. 前記第２周波数帯における前記左耳信号及び前記右耳信号を回避するステップを更に備えている、請求項３に記載の方法。
5. 前記第１周波数帯における前記左耳信号及び前記右耳信号の各々を、中央信号及びステレオ・エッジ信号に分割するステップを更に備えている、請求項３に記載の方法。
6. 前記第１周波数帯における前記左耳信号及び前記右耳信号の前記ステレオ・エッジ信号を定位するステップを更に備えている、請求項５に記載の方法。
7. 前記第１周波数帯における前記中央信号を回避するステップを更に備えている、請求項５に記載の方法。
8. 前記中央信号を可変帯域通過フィルタによって処理するステップを更に備えている、請求項６に記載の方法。
9. 前記第１周波数帯における前記信号について出力利得を調整するステップを更に備えている、請求項３に記載の方法。
10. 前記複数のフィルタを時間ドメインにおいて畳み込むステップを更に備えている、請求項１に記載の方法。
11. 定位した左耳信号及び定位した右耳信号を出力する前記ステップが、前記定位した左耳信号及び右耳信号を、耳介間時間差（ＩＴＤ）である時間期間によって遅延させること、及び、前記第１周波数帯における前記定位した信号を前記第２周波数帯における回避した各信号と混合することを備えている、請求項１に記載の方法。
12. 空間発振を実行する前記ステップが、前記仮想定位音源の前記複数の位置を調節するために、正弦波発生器を周波数変数及び深さ変数と共に用いることを備えている、請求項１に記載の方法。
13. 前記周期的関数が、正弦波、方形波及び三角波からなるグループから選択される、請求項１に記載の方法。
14. リスナーの音響定位を改良する方法であって、
    左耳信号及び右耳信号をコントローラに入力するステップと、
    前記左耳信号及び前記右耳信号を修正するステップであって、
    複数の無限インパルス応答（ＩＩＲ）フィルタを前記左耳信号及び前記右耳信号の各々に適用し、前記フィルタは、前記リスナーの身体の形状及び組成をモデル化する左の頭部関連伝達関数（ＨＲＴＦ）及び右の頭部関連伝達関数（ＨＲＴＦ）のそれぞれに基づいて計算されること、
    複数の仮想定位音源を、前記リスナーから離れた距離にある複数の位置で生成すること、
    周期的関数を、左の頭部関連伝達関数（ＨＲＴＦ）及び右の頭部関連伝達関数（ＨＲＴＦ）のそれぞれの１またはそれ以上の位置パラメータに適用することによって、前記複数の仮想定位音源の空間発振を実行すること、及び
    前記複数の位置を複数のパラメータと組み合わせること、
    を含むステップと、
    定位した左耳信号及び定位した右耳信号を出力するステップと、
    を備えている、方法。
15. 前記複数のパラメータが、中央回避パラメータ、ロー・パス・フィルタリング・パラメータ、及び距離シミュレーション用パラメータを含む、請求項１４に記載の方法。
16. デコーダによって前記左耳信号及び前記右耳信号に透かしがあるかどうかを検出し、前記透かしが存在しているときに前記左耳信号及び前記右耳信号を回避し、前記透かしがないときに前記信号を修正する前記ステップを継続するステップを更に備えている、請求項１４に記載の方法。

Images