JP2014506416A - オーディオ空間化および環境シミュレーション - Google Patents

Abstract

オーディオ音源を処理して四次元空間化音響を形成する方法および装置を開示する。指定された時間期間にわたって三次元空間における経路に沿って仮想音源を移動させて、四次元音響定位を遂行することができる。本明細書において説明する種々の実施形態は、既存のモノ、２チャネルおよび／またはマルチチャネル・オーディオ信号を、２つ以上のオーディオ・チャネルを有する空間化オーディオ信号に変換する方法およびシステムを提供する。着信オーディオ信号は、ダウン・ミキシング、アップ・ミキシング、またはそれ以外の変換を行い、もっと少ない、もっと多い、または同じ数のオーディオ・チャネルにすることができる。また、種々の実施形態では、１つ以上のチャネルを有する着信オーディオ信号から、低周波効果および中央チャネル信号を生成する方法、システム、および動作についても説明する。
【選択図】図３６

Description

関連出願に対する相互引用
このＰＣＴ特許出願は、発明者Jerry Mahubub et al.,の名義で２０１０年１２月２２日に出願された、"Audio Spatialization and Environment Simulation"（オーディオ空間化および環境シミュレーション）と題する米国仮特許出願第６１／４２６，２１０号に対する優先権を主張する。この出願の開示および内容全体は、この出願をここで引用したことによって、本願にも含まれるものとする。

本願は、発明者Jerry Mahubub et al.,の名義で２００９年１０月２１日に出願された、"Audio Spatialization and Environment Simulation"（オーディオ空間化および環境シミュレーション）と題する同時係属中の米国通常特許出願第１２／５８２，４４９号に対する優先権を主張する。この出願の開示および内容全体は、この出願をここで引用したことによって、本願にも含まれるものとする。また、本願は、発明者Jerry Mahubub et al.,の名義で２００８年３月３日に出願された、"Audio Spatialization and Environment Simulation"（オーディオ空間化および環境シミュレーション）と題する同時係属中の米国通常特許出願第１２／０４１，１９１号に対する優先権を主張する。この出願の開示および内容全体は、この出願をここで引用したことによって、本願にも含まれるものとする。
１．技術分野
本開示は、一般的には、音響設計に関し、更に特定すれば、オーディオ波形を計算および作成するためのディジタル信号処理方法および装置に関する。このオーディオ波形をヘッドホン、スピーカ、または他の再生デバイスによって再生すると、四次元空間における少なくとも１つの空間座標から発する少なくとも１つの音響をエミュレートする。

従来技術

音響は、四次元空間における種々の地点から発する。これらの音響を聴く人間は、種々の聴覚的キュー(cue)を用いて、音響が発生する空間的地点を判定することができる。例えば、人間の脳は、内耳時間遅延(inner-aural time delays)（即ち、各鼓膜に衝撃を与える音響間の時間遅延）、リスナーの両耳間における音圧レベル差、左および右耳に衝撃を与える音響の知覚の位相ずれ等のような音響定位キューを素早くそして効果的に処理して、音響の発生点を精度高く特定する。一般に、「音響定位キュー」とは、リスナーの両耳間における時間および／またはレベルの差、音波の時間および／またはレベル差、更にはオーディオ波形についてのスペクトル情報を指す。（「四次元空間」とは、本明細書において用いる場合、一般に、時間の経過を含む三次元空間、または時間の関数としての三次元座標変位、および／またはパラメータによって定義される曲線を指す。四次元空間は、通例、４空間座標または位置ベクトル、例えば、矩形系では｛ｘ，ｙ，ｚ，ｔ｝、球系では｛ｒ，θ，φ，ｔ｝等を用いて定義される。）

人間の脳および聴覚系が音響の発生源(origin)を三角測量することの有効性は、２つ以上のスピーカに跨がる再生のために音響を複製および空間化(spatialize)しようと試みるオーディオ・エンジニアや他の人々に対して、特別な課題を提起する。一般に、過去の手法は洗練された音響前処理および後処理を採用しており、デコーダ・ボードまたはロジックというような、特殊なハードウェアを必要とする場合もある。現在知られているエンコード処理および圧縮技術の相応しい例には、Dolby LabsのDOLBYディジタル処理、DTS、SonyのSDDSフォーマット等が含まれる。現在知られているオーディオ空間化技術の相応しい例には、Qsound Labs, IncのQSOUND Q3D Positional 3D Audio、Wave Arts Inc.のPANORAMA5、およびArkamys, Inc.の３DSOUNDが含まれる。これらの手法はある程度の成功を収めてはるが、これらは費用および労働集約的である。更に、処理したオーディオを再生するには、通例、比較的高価なオーディオ・コンポーネントが必要となる。加えて、これらの手法は、全てのタイプのオーディオ、または全てのオーディオ用途に適している訳ではない。

したがって、固定または移動音源の仮想球体（または、シミュレーションによるいずれかの形状またはサイズの仮想環境）の中央にリスナーを置き、２つだけのスピーカまたはヘッドホンから真に迫る音響体験を提供するオーディオ空間化の新たな手法が求められている。

概して言うと、本開示の一実施形態は、四次元空間化音響を創作する方法および装置の形態を取る。広義の態様では、オーディオ波形を空間化することによって空間化音響を創作する方法例は、球座標系またはデカルト座標系において空間点を決定する動作と、この空間点に対応するインパルス応答フィルタをオーディオ波形の第１セグメントに適用して空間化波形を生成する動作とを含む。空間化波形は、その空間点から発する非空間化波形(non-spatialized waveform)のオーディオ特性をエミュレートする。即ち、空間化波形が１対のスピーカから再生されると、その音響が、スピーカの代わりに、選択した空間点から発する如くに聞こえるような、位相、振幅、内耳遅延等が得られる。

頭部関係(head-related)伝達関数は、種々の境界条件を考慮に入れた、所与の空間点についての音響特性(acoustic properties)のモデルとなる。本実施形態では、頭部関係伝達関数は、所与の空間点について球座標系において計算される。球座標を用いることによって、一層正確な伝達関数（したがって、一層正確なインパルス応答フィルタ）を創作することができる。更には、このために一層精度高いオーディオ空間化が可能になる。

認めることができるであろうが、本実施形態は、多数の頭部関係伝達関数を採用し、したがって多数のインパルス応答フィルタを採用して、種々の空間点に対してオーディオを空間化することができる。（本明細書において用いる場合、「空間点」および「空間座標」とう用語は、相互交換可能である。）つまり、本実施形態は、オーディオ波形に種々の音響特性をエミュレートさせて、異なる時点において異なる空間点から発するように感じさせることができる。２つの空間点間において滑らかな推移を得るため、したがって滑らかな四次元オーディオ体験を提供するために、補間プロセスによって種々の空間化波形を互いに畳み込むことができる。

尚、デコーダ・ボードやアプリケーションというような特殊なハードウェアや追加のソフトウェア、更にはDOLBYまたはDTS処理機器を採用したステレオ機器は、本実施形態において完全なオーディオの空間化を遂行するためには不要であることは、注記してしかるべきである。逆に、空間化オーディオ波形は、２つ以上のスピーカを有するオーディオ・システムであればいずれでも、論理処理またはデコードを行っても行わなくても、再生することができ、全範囲の四次元空間化を遂行することができる。

一実施形態では、１つ以上の受け取った入力オーディオ信号から定位ステレオ出力オーディオ信号を生成する方法について記載する。各オーディオ信号には対応するオーディオ・チャネルが関連付けられている。この実施形態では、プロセッサが、入力オーディオ信号の少なくとも１つのチャネルを受け取り、２つ以上の定位チャネル出力オーディオ信号を生成するために、入力オーディオ信号の少なくとも１つのチャネルを処理し、少なくとも２つのチャネルを有する定位ステレオ出力オーディオ信号を生成するために、２つ以上の定位チャネル出力オーディオ信号の各々をミキシングするように構成することができる。更に、入力オーディオ信号を２つ以上のパケットのシーケンスで受け取るのでもよく、各パケットが固定フレーム長を有する。入力オーディオ信号は、モノ・チャネル入力オーディオ信号であってもよい。定位ステレオ出力オーディオ信号は、２つ以上の出力チャネルを含んでもよい。

少なくとも１つの実施形態において、２つ以上の定位チャネル出力オーディオ信号を生成するために、入力オーディオ信号の少なくとも１つのチャネルを処理してもよい。加えておよび／または代わりに、１つ以上のＤＳＰパラメータを利用して、受け取った入力オーディオ信号の各チャネルを処理してもよい。利用するＤＳＰパラメータは、例えば、２つ以上の定位オーディオ信号の内少なくとも１つと共に用いるために指定される方位角と関連付けられるとよい。更に、バイパス・モードの選択に基づいて、方位角を指定してもよく、指定した方位角を、モノ・チャネル・オーディオ信号のような入力オーディオ信号に適用するフィルタを特定するために、ディジタル信号プロセッサによって利用してもよい。このフィルタは、有限インパルス応答フィルタ、無限インパルス応答フィルタ、または他の形式のフィルタを利用してもよい。

少なくとも１つの実施形態において、ロー・パス・フィルタおよびロー・パス信号エンハンサの内少なくとも１つを用いることによって、入力オーディオ信号の少なくとも１つのチャネルを処理してもよい。また、残響、利得、およびパラメータ均一化(parametric equalization)設定、またはその他の設定値の内少なくとも１つを調節するために、２つ以上の定位チャネル出力オーディオ信号の各々を処理してもよい。更に、２つ以上の定位チャネル出力オーディオ信号を処理するとき、対応する出力チャネルの１つ以上の一致対を選択するとよい。このような一致対は、前部チャネル、側部チャネル、後部チャネル、およびサラウンド・チャネルから成る一群から選択するとよい。

少なくとも１つの実施形態において、定位ステレオ出力オーディオ信号を１つ以上の受け取った入力オーディオ信号から生成する方法は、１つ以上のＤＳＰパラメータの特定する動作を含んでもよい。このようなＤＳＰパラメータは、ディジタル信号プロセッサにアクセス可能な記憶媒体にＤＳＰパラメータを格納するとよい。

少なくとも１つの実施形態において、定位ステレオ出力オーディオ信号を１つ以上の受け取った入力オーディオ信号から生成する方法は、入力オーディオ信号のＮ．Ｍチャネルを含む入力オーディオ信号と共に利用してもよく、Ｎが１よりも大きい整数であり、Ｍが整数であり、定位ステレオ出力オーディオ信号が、少なくとも２つのチャネルを含む。更に、特定は、Ｑ．Ｒチャネルを含む所望の出力チャネル構成に対して行うのでもよく、または受け取るのでもよく、Ｑが１よりも大きい整数であり、Ｒが整数である。更に、Ｑ．Ｒチャネルの各々を含むように定位ステレオ出力オーディオ信号を生成するために、入力オーディオ信号を処理するのでもよい。尚、ＱはＮよりも大きい、Ｎよりも小さい、またはＮと等しいことも可能であることは認められよう。同様に、ＭおよびＲのいずれか１つ、または双方が１の数値に等しいことも可能である。

少なくとも１つの実施形態において、定位ステレオ出力オーディオ信号を１つ以上の受け取った入力オーディオ信号から生成する方法は、１対の対応する入力チャネルに対するバイパス・構成の選択を含むとよい。この入力チャネルは、入力信号のＮチャネルの対応する前部チャネルの対および対応する後部チャネルの対から選択するとよい。更に、入力信号のＮチャネルの対応する前部チャネルの対および対応する後部チャネルの対から選択少なくとも１つのチャネルに対するバイパス・構成の選択は、選択した入力チャネルの対応する対の各々に対して方位角を指定する動作を含んでもよい。尚、各方位角は、選択した入力チャネルの対応する対の各々と関連付けられた仮想オーディオ出力コンポーネントに対する関係に基づいて指定するとよいことは認められよう。同様に、このような指定は、中央チャネル・オーディオ信号を出力するように構成された仮想オーディオ出力コンポーネントに関して行うのでもよい。

少なくとも１つの実施形態において、定位ステレオ出力オーディオ信号を１つ以上の受け取った入力オーディオ信号から生成する方法は、入力信号の選択されなかった対応する対の各々に対して、第２方位角設定値を指定する動作を含んでもよく、入力チャネルの選択されなかった対応する対の各々と関連付けられた仮想オーディオ出力コンポーネントの、中央チャネル・オーディオ信号を出力するように構成された仮想オーディオ出力コンポーネントに対する関係に基づいて、第２方位角設定値の各々を指定する。更に具体的には、少なくとも１つの実施形態において、対応する後部チャネルの対を選択してもよく、選択した後部入力チャネルの対応する対の各々に対して指定した方位角は、１１０°に等しい。

少なくとも１つの実施形態において、 定位ステレオ出力オーディオ信号を１つ以上の受け取った入力オーディオ信号から生成する方法は、対応する前部チャネルの対の各々に対して、２２．５°から３０°までの範囲で第２方位角設定値を指定する動作を含んでもよく、それぞれの左前部仮想オーディオ・コンポーネントおよび右前部仮想オーディオ・コンポーネントの各々の中央チャネル・オーディオ信号を出力するように構成された仮想オーディオ出力コンポーネントに対する関係に基づいて、各指定第２方位角設定値を指定する。また、仮想オーディオ・コンポーネントの各々は、中央チャネル・オーディオ信号を出力するように構成された仮想オーディオ出力コンポーネントに対して、入力オーディオ信号のＮチャネルの内対応する入力チャネルと関連付けられていてもよい。

少なくとも１つの実施形態において、定位ステレオ出力オーディオ信号を１つ以上の受け取った入力オーディオ信号から生成する方法は、 更に、入力オーディオ信号から、１つ以上の入力チャネルを選択する動作と、入力チャネル毎に仰角を指定する動作と、各入力チャネルに対して指定した仰角に基づいて、選択した各入力チャネルに適用するＩＩＲフィルタを特定する動作とを含んでもよい。更に、本プロセスは、Ｎ個の定位チャネルを生成するために、ＩＩＲフィルタによって選択した入力チャネルの各々をフィルタリングする動作を含んでもよい。更におよび／または代わりに、本プロセスは、場合によっては、Ｎ個の定位チャネルの各々を、２つのステレオ対出力チャネルにダウン・ミキシングする動作を含んでもよい。

少なくとも１つの実施形態において、定位ステレオ出力オーディオ信号を１つ以上の受け取った入力オーディオ信号から生成する方法は、更に、Ｎ個の入力オーディオ信号のチャネルの各々に、ロー・パス周波数フィルタを適用する動作を含んでもよい。Ｎ個の入力オーディオ・チャネルは、少なくとも２つの側部チャネルを含む。更におよび／または代わりに、本方法は、第１架空中央チャネルを生成するために、各側部チャネルを中央−側部デコーディングする動作を含んでもよい。更に、Ｎ個の入力オーディオ・チャネルが、少なくとも２つの前部チャネルを含み、更に、１つ以上の架空中央チャネルを生成するために、１組以上のチャネルの各々を中央−側部デコーディングしてもよいことは認められよう。このような中央−側部デコーディングは、例えば、前部チャネル、側部チャネル、サラウンド・チャネル、および後部チャネルから成る一群から選択した対応するチャネル対に適用するとよい。

少なくとも１つの実施形態において、定位ステレオ出力オーディオ信号を１つ以上の受け取った入力オーディオ信号から生成する方法は、入力オーディオ・チャネルのＮ個のチャネルの各々に、ロー・パス周波数フィルタリング、利得および均一化を適用することによって、入力オーディオ・チャネルのＮ個のチャネルの各々によって供給されるいずれの低周波信号も特定し強調する動作を含んでもよい。更におよび／または代わりに、本プロセスは、Ｎ個の入力オーディオ信号チャネルの内、ステレオ・チャネルの前対に対応する各々を中央−側部デコーディングする動作を含んでもよい。更におよび／または代わりに、本プロセスは、Ｎ個のオーディオ信号チャネルの各々を、定位ステレオ・オーディオ出力信号にダウン・ミキシングする動作を含んでもよい。更におよび／または代わりに、本プロセスは、Ｎ個のオーディオ信号チャネルの各々を、定位ステレオ・オーディオ出力信号にアップ・ミキシングする動作を含んでもよい。

少なくとも１つの実施形態において、定位ステレオ出力オーディオ信号を１つ以上の受け取った入力オーディオ信号から生成する方法は、（ａ）第１架空中央チャネルおよび第２架空中央チャネルを合算する動作と、（ｂ）合算動作の結果を２で除算する動作と、（ｃ）除算動作の商を第２架空中央チャネルから差し引く動作とを実行することによって、仮想中央モノ・チャネルを生成する動作を含んでもよい。

少なくとも１つの実施形態において、定位ステレオ出力オーディオ信号を１つ以上の受け取った入力オーディオ信号から生成する方法では、入力オーディオ信号の少なくとも１つのチャネルが、ＬｔＲｔ信号における信号を含んでもよい。更におよび／または代わりに、本プロセスは、右後部オーディオ信号を左後部ＬｔＲｔオーディオ信号から差し引くことによって、左後部サラウンド・チャネルを入力オーディオ信号から分離する動作と、左後部オーディオ信号を右後部ＬｔＲｔオーディオ信号から差し引くことによって、右後部サラウンド・チャネルを入力オーディオ信号から分離する動作とを含んでもよい。

本開示のこれらおよびその他の利点ならびに特徴は、以下の説明および特許請求の範囲を読むことによって、明白となろう。

図１は、４つのスピーカの間にある「スウィート・スポット」を占めるリスナーの上面図(top-down view)、および方位座標系の一例を示す。 図２は、図１に示したリスナーの前面図、および高度座標系の一例を示す。 図３は、図１に示したリスナーの側面図、および図２の高度座標系の一例を示す。 図４は、本開示の一実施形態のソフトウェア・アーキテクチャの上位図を示す。 図５は、本開示の一実施形態のモノラルまたはステレオ信号源の信号処理チェーンを示す。 図６は、本開示の一実施形態の上位ソフトウェア・プロセスのフローチャートである。 図７は、仮想音源の３Ｄ位置をどのように設定するかを示す。 図８は、既存の既定(existing pre-defined)ＨＴＲＦフィルタから新たなＨＴＲＦフィルタをどのように補間すればよいかを示す。 図９は、左および右ＨＴＲＦフィルタ係数間の内耳時間差を示す。 図１０は、本開示の一実施形態の音源定位のためのＤＳＰソフトウェア処理フローを示す。 図１１は、固定および移動音源に対するドプラ・シフト効果を示す。 図１２は、リスナーと固定音源との間の距離がどのように単純な遅延として知覚されるかを示す。 図１３は、リスナーの位置または音源の位置を移動させると、音源の音高知覚がどのように変化するかを示す。 図１４は、フィード・フォワードおよびフィードバック経路を有する遅延エレメントとして実現した全パス・フィルタのブロック図である。 図１５は、定位される仮想音源の近傍にある物体からの多数の反射をシミュレートするための全パス・フィルタのネスティングを示す。 図１６は、全パス・フィルタ・モデルの結果、好ましい波形（入来直接音響）、および音源からリスナーへの早期反射(early reflections)を示す。 図１７は、ステレオ信号の左および右チャネルが実質的に同一であるときにおける音源の見かけ上の位置を示す。 図１８は、信号が右チャネルのみに現れるときにおける音源の見かけ上の位置を示す。 図１９は、左および右チャネル間におけるサンプルの短期分散を示す、典型的なステレオ音楽信号の角度計出力を示す。 図２０は、中央信号バンド・パス・フィルタリングを利用する本開示の一実施形態の信号導出を示す。 図２１は、重複ＳＴＦＴフレームを用いて長い入力信号をどのようにブロック処理するかを示す。 図２２は、ステレオ出力定位プロセスへのモノ信号入力を示す。 図２３は、図２２に示したステレオ出力定位プロセスへのモノ信号入力と共に用いるように構成された配線図である。 図２４は、マルチチャネル入力−２チャネル出力定位プロセスへのを示す。 図２５は、図２４に示したマルチチャネル入力−２チャネル出力定位プロセスと共に用いるように構成された配線図である。 図２６は、マルチチャネル入力−３チャネル出力定位プロセスを示す。 図２７は、図２６に示したマルチチャネル入力−３チャネル出力定位プロセスと共に用いるように構成された配線図である。 図２８は、２チャネル入力−３チャネル出力定位プロセスを示す。 図２９は、図２８に示した２チャネル入力−３チャネル出力定位プロセスと共に用いるように構成された配線図である。 図３０は、ステレオ入力−ステレオ出力／中央チャネル定位プロセスと共に示す。 図３１は、図３０に示したステレオ入力−ステレオ出力／中央チャネル定位プロセスと共に用いるように構成された配線図である。 図３２ａは、２チャネルＬｔＲｔ入力−仮想マルチチャネル・ステレオ出力プロセスを示す。 図３２ｂは、代わりの２チャネルＬｔＲｔ入力−仮想マルチチャネル・ステレオ出力プロセスを示す。 図３３ａは、図３２ａに示した２チャネルＬｔＲｔ入力−仮想マルチチャネル・ステレオ出力プロセスと共に用いるように構成された配線図である。 図３３ｂは、図３２ｂに示した２チャネルＬｔＲｔ入力−仮想マルチチャネル・ステレオ出力プロセスと共に用いるように構成された配線図である。 図３４は、％−中央バイパス・プロセスと共に用いるように構成された中央−側部デコーダ(mid-side decoder)を用いる配線図である。 図３５は、図３４の配線図の一方からの斜視図を示す。 図３６は、マルチチャネル入力ダウン・ミキシング−マルチチャネル出力プロセスを示す。 図３７は、図３６に示したプロセスと共に用いるように構成された配線図である。 図３８は、２チャネル入力−アップ・ミキシング５．１マルチチャネル出力プロセスを示す。 図３９は、図３８に示したプロセスと共に用いるように構成された配線図である。

１．本開示の全体像
概して、本開示の一実施形態は、音響定位技術を利用して、あらゆるサイズ／形状の固定および移動音響の仮想球体または仮想部屋の中央にリスナーを置く。これによって、わずか２つのスピーカまたは１対のヘッドホンを用いて、リスナーに真に迫った音響体験を提供する。任意の位置における仮想音源の印象を形成するには、オーディオ信号を処理してこれを左耳チャネルおよび右耳チャネルに分割し、別個のフィルタを２つのチャネルの各々に適用して（「両耳フィルタリング」）、処理したオーディオの出力ストリームを形成するとよく、この処理したオーディオは、スピーカまたはヘッドホンによって再生するか、あるいは後に再生するためにファイルに格納することができる。

本開示の一実施形態では、オーディオ源を処理して、四次元（「４Ｄ」）音響定位を遂行する。４Ｄ処理によって、仮想音源を三次元（「３Ｄ」）空間における経路に沿って、指定された時間期間にわたって移動させることができる。多数の空間座標（通例、空間内で「移動する」音源を複製するため）間で空間化波形が推移するとき、この空間座標間の推移を滑らかにすると、一層現実的で精度の高い体験を創作することができる。言い換えると、空間化波形を操作すると、空間化音響が空間内における不連続点間で急激に変化するのではなく、一方の空間座標から他方に見かけ上滑らかに推移させることができる（空間化音響が実際に１つ以上のスピーカ、１対のヘッドホン、または他の再生デバイスから発していても）。言い換えると、空間化波形に対応する空間化音響は、再生デバイス（１つまたは複数）によって占められる点（１つまたは複数）以外の３Ｄ空間における１点から発するように思われるだけでなく、見かけ上の放出点が時間の経過と共に変わっていくことができる。本実施形態では、空間化波形を第１空間座標から第２空間座標に、自由空間内において、方向には関係なく、および／または拡散場両耳(diffuse field binaural)環境内において畳み込むことができる。

三次元音響定位（そして、究極的には、４Ｄ定位）は、所定の頭部関係伝達フィルタ（「ＨＲＴＦ」）または頭部関係インパルス応答（「ＨＲＩＲ」）から導き出された１組のフィルタによって、入力オーディオ・データをフィルタリングすることによって行うことができる。 所定の頭部関係伝達フィルタ（「ＨＲＴＦ」）または頭部関係インパルス応答（「ＨＲＩＲ」）は、所与の３Ｄ座標から発する音に対する耳毎の周波数に対する位相および振幅の分散(variance)を数学的にモデル化することができる。即ち、各三次元座標は、一意のＨＲＴＦおよび／またはＨＲＩＲを有することができる。予め計算したフィルタＨＲＴＦまたはＨＲＩＲがない空間座標について、推定フィルタ、ＨＲＴＦまたはＨＲＩＲを、近隣のフィルタ／ＨＲＴＦ／ＨＲＩＲから作成することができる。このプロセスについては、以下で更に詳しく説明する。ＨＲＴＦおよび／またはＨＲＩＲをどのようにして導き出すかについての詳細は、２００４年３月１６日に出願された米国特許出願第１０／８０２，３１９号において見いだすことができる。この出願をここで引用したことにより、その内容全体が本願にも含まれるものとする。

ＨＲＴＦは、耳の耳介内における反射または反響、耳介の不規則な形状によって生ずる歪み、リスナーの肩および／または胴体からの音響反射、リスナーの鼓膜間の距離等というような、種々の生理学的要素を考慮に入れることができる。ＨＲＴＦは、このような要素を組み込んで、洗練された音響の一層忠実なまたは精度が高い再現(reproduction)を行うことができる。

インパルス応答フィルタは、ＨＲＴＦの空間特性をエミュレートするために作成または計算することができる。一口に言えば、しかしながら、インパルス応答フィルタはＨＲＴＦの数値／ディジタル表現である。

ステレオ波形は、インパルス応答フィルタまたはその近似を本発明によって適用して、空間化波形を作成することによって変換することができる。ステレオ波形上の各点（または時間間隔によって分離された各点）は、対応する音響が発する空間座標に効果的にマッピングされる。ステレオ波形は、サンプリングしてインパルス応答フィルタにかけることができる。このフィルタは、「定位フィルタ」(Localization Filter)と一般的に呼んでもよく、前述のＨＲＴＦを近似する。

定位フィルタは、そのタイプおよびその係数によって指定され、一般に波形を修正して(modify)空間化音響を複製する。定位フィルタの係数が定義されると、これらを追加の二分波形(dichotic waveform)（ステレオまたはモノのいずれか）に適用し、定位フィルタを毎回生成する中間ステップを飛ばして、これらの波形に対して音響を空間化することができる。

本実施形態は、三次元空間内の１点における音響を複製し、仮想環境の大きさが小さくなるに連れて正確度を高めることができる。本開示の一実施形態では、任意の大きさにした部屋を、仮想環境として、仮想部屋の中央からその境界まで、０から１００までの相対的測定単位を用いて測定する。本実施形態は、球座標を採用して、仮想部屋内における空間化点の位置を測定する。尚、当該の空間化点は、リスナーに対するものであることは、注記してしかるべきである。即ち、リスナーの頭部の中央が、球座標系の原点に対応する。つまり、先に与えられた複製の相対的な正確度は、部屋の大きさに関するものであり、空間化点のユーザの知覚を高める。

本開示の一実施形態例では、１組で７３３７個の予め計算したＨＲＴＦフィルタの集合を採用し、単位球体上に配置する。各フィルタ組の中には、左および右ＨＲＴＦフィルタがある。本明細書で用いる場合、「単位球体」とは、方位角および仰角が度を単位として測定される球座標系とする。空間内における他の点は、その位置に対してフィルタ係数を近似的に補間することによって、シミュレートすることができる。これについては、以下で更に詳しく説明する。
２．球座標系
一般に、本実施形態は球座標系（即ち、半径ｒ、高度θ、および方位角φを座標として有する座標系）を採用するが、標準的なデカルト座標系における入力にも対応する。デカルト座標の入力は、本開示のある種の実施形態によって、球座標に変換することができる。球座標は、シミュレートした空間点のマッピング、ＨＲＴＦフィルタ係数の計算、２つの空間点間における畳み込み、および／または本明細書において記載する実質的に全ての計算に用いることができる。一般に、球座標系を採用することによって、ＨＲＴＦフィルタの精度（つまり、再生中における波形の空間精度）を向上させることができる。したがって、種々の空間化動作を球座標系において実行すると、精度および正確度の向上というような一定の利点を得ることができる。

加えて、ある種の実施形態では、球座標の使用によって、ＨＲＴＦフィルタを作成し空間点間において空間オーディオを畳み込むために利用する処理時間、および本明細書において記載する他の処理動作を最少限に抑えることができる。音響／オーディオ波は一般に球形波(spherical wave)のような媒体を通じて伝搬するので、球座標系は音響波の挙動をモデル化するには、つまり音響を空間化するには、非常に適している。代替実施形態では、デカルト座標系を含む他の座標系を採用することもできる。

本文書では、実施形態例について論ずるときには、具体的な球座標の慣例を採用する。更に、ゼロ方位１００、ゼロ高度１０５、および十分な長さのゼロでない半径が、それぞれ、図１および図３に示すように、リスナーの頭部の中央前方にある点に対応する。前述のように、「高度」および「仰角」という用語は、本明細書では、通常相互交換可能である。本実施形態では、方位角は時計回り方向に増加し、１８０度がリスナーの真後ろにあたる。方位角は０から３５９度までを範囲とする。代替実施形態では、図１に示すように、反時計回り方向に方位角が増加してもよい。同様に、高度は、図２に示すように、９０度（リスナーの頭部の真上）から−９０度（リスナーの頭部の真下）までを範囲とする。図３は、本明細書において用いられる高度座標系の側面図を示す。

尚、前述の座標系についての本文書の論述において、リスナーは主要な１対のスピーカ、即ち、前方にある１対のスピーカ１１０，１２０に面していることを仮定することは注記してしかるべきである。つまり、図１に示すように、前部スピーカの設置に対応する方位角半球が０から９０度および２７０から３５９度までを範囲とし、一方後部スピーカの設置に対応する方位角半球は９０から２７０度までを範囲とする。リスナーが前部スピーカ１１０、１２０に対する彼の回転軸合わせを変更した場合、座標系は変化しない。言い換えると、方位角および高度はスピーカに依存し、リスナーには依存しない。しかしながら、空間化オーディオが、リスナーが着用しているヘッドホンを通じて再生されるときは、ヘッドホンがリスナーと共に動く限りは、基準座標系はリスナーに依存する。本明細書における論述に限って、リスナーは１対の前部スピーカ１１０、１２０の間で相対的に中央にあり、スピーカ１１０、１２０から等しい距離のところに居続けると仮定する。後部の、または追加の周囲スピーカ１３０、１４０は任意選択肢である。座標系の原点１６０は、リスナーの頭部２５０の中央、即ち、図１のスピーカ設定における「スイート・スポット」にほぼ対応する。しかしながら、いずれの球座標表記(notation)でも本実施形態と共に採用してもよいことは注記してしかるべきである。この表記は、限定として示されるのではなく、便宜上示されるに過ぎない。加えて、オーディオ波形の空間化、およびスピーカまたは他の再生デバイスを通じて再生されるときの対応する空間化の効果は、必ずしも「スイート・スポット」を占めるリスナーや、再生デバイス（１つまたは複数）に対する他のいずれの位置を占めるリスナーにも依存する訳ではない。空間化波形は、標準的なオーディオ再生装置によって再生され、再生中仮想音源位置１５０から発する空間化オーディオの空間的幻想を創作することができる。

３．ソフトウェア・アーキテクチャ
図４は、ソフトウェア・アーキテクチャの上位図を示す。本開示の一実施形態では、クライアント−サーバ・ソフトウェア・アーキテクチャを利用する。このようなアーキテクチャは、様々な異なる形態で本開示のインスタンス化を可能にとし、４Ｄオーディオ後処理用の専門的オーディオ設計アプリケーション、マルチチャネル・プレゼンテーション・フォーマット（例えば、５．１オーディオ）を２チャネル・ステレオ出力においてシミュレートするための専門的なオーディオ設計ツール、家庭オーディオ・ミキシング熱狂者または小さな独立スタジオ用の対称的な３Ｄ定位後処理を可能にする「プロシューマ」（例えば、「玄人はだしの消費者」）アプリケーション、ならびに１組の予め選択された仮想ステレオ・スピーカ位置を仮定してステレオ・ファイルをリアル・タイムで定位する消費者用アプリケーションが含まれるが、これらに限定されるのではない。これらのアプリケーションは全て、同じ基礎的処理原理を利用し、そして多くの場合コードも利用する。更に、本開示のアーキテクチャは、消費者用電子機器（ＣＥ）におけるアプリケーションも有することができ、モノ入力、ステレオ入力、またはマルチチャネル入力を、（ａ）１つ以上のモノ入力の場合のような１つの点源(point source)、（ｂ）ステレオ拡張または仮想マルチチャネル出力知覚のためのステレオ入力、（ｃ）真のマルチチャネル入力のステレオ出力からの仮想マルチチャネル聴取体験の再現(reproducing)、あるいは（ｄ）真のマルチチャネル入力のマルチチャネルから、および任意にマルチチャネルに追加の統合ステレオ出力を加えたものからの異なる仮想マルチチャネル聴取体験の再現、のリアル・タイムの仮想化として処理することができる。これらのアプリケーションは単独（例えば、コンピュータ・アプリケーション）であることができ、またはある種のＣＥデバイス内に埋め込むこともできる。これについては、本開示の第８章において以下で更に詳しく説明する。

図４に示すように、一実施形態例では、様々なサーバ側ライブラリがある。ホスト・システム適合化ライブラリ４００は、ホスト・アプリケーションとサーバ側ライブラリとの間における直接通信を可能にするアダプタおよびインターフェースの集合体を提供する。ディジタル信号処理ライブラリ４０５は、入力信号を３Ｄおよび４Ｄ定位信号に変換するフィルタおよびオーディオ処理ソフトウェア・ルーチンを含む。信号再生ライブラリ４１０は、再生、一時停止、早送り、巻き戻しというような基本的な再生機能を提供し、１つ以上の処理されたオーディオ信号を記録する。曲線モデリング・ライブラリ４１５は、仮想音源に対して空間における静止３Ｄ点をモデリングし、更に時間の経過と共に去来する空間における動的４Ｄ経路をモデリングする。データ・モデリング・ライブラリ４２０は、入力およびシステム・パラメータをモデル化し、通例、楽器ディジタル・インターフェース設定値、ユーザ選好設定値、データ暗号化、およびデータ複製保護を含む。総合ユーティリティ・ライブラリ４２５は、座標変換、ストリング操作、時間関数、および基本的数学関数というような、全てのライブラリに共通して用いられる機能を提供する。

本開示の種々の実施形態は、ビデオ・ゲーム・コンソール４３０、ミキシング・コンソール４３５、リアル・タイム・オーディオ・スイート・インターフェース４４０を含むがこれらに限定されないホスト・ベース・プラグイン、ＴＤＭオーディオ・インターフェース、仮想スタジオ技術インターフェース４４５、およびオーディオ・ユニット・インターフェースを含む種々のホスト・システムにおいて採用することができ、あるいは、パーソナル計算デバイス（デスクトップまたはラップトップ・コンピュータのような）上で実行する単体アプリケーション、ウェブ系アプリケーション４５０、仮想サラウンド・アプリケーション４５５、拡張ステレオ・アプリケーション４６０、ｉＰｏｄまたは他のＭＰ３再生デバイス、ＳＤまたはＨＤ無線受信機、ホーム・シアター受信機またはプロセッサ、自動車用音響システム、セル・フォン、パーソナル・ディジタル・アシスタントまたは他のハンドヘルド計算デバイス、コンパクト・ディスク（「ＣＤ」）プレーヤ、ディジタル・バーサタイル・ディスク（「ＤＶＤ」）プレーヤまたはブルーレイ・プレーヤ、その他の消費者用または専門的オーディオ再生または操作電子システムまたはアプリケーション等において採用され、処理されたオーディオ・ファイルがスピーカまたはヘッドホンを通じて再生されるときに、空間における任意の位置に現れる仮想音源を設けることができる。更に、本開示の実施形態は、ヘッドホン、サウンド・バー(sound bars)に埋め込まれるというように、あるいはヘッドホン／スピーカを差し込むかそれ以外で接続することができる別個の処理コンポーネントに埋め込まれるというように、埋め込みアプリケーションにも採用することができる。本明細書において記載する埋め込みアプリケーションは、例えば、１つよりも多いマイクロフォンによって音響を記録するＣＥデバイスにおいて、位置マイクロフォン(positional microphone)のような入力デバイスと共に用いることができ、各マイクロフォンからの音響は、固定方位角および仰角の入力として処理されてから、デバイスの物理媒体に記録される。このアプリケーションであれば、記録を再生するときに、しかるべき定位効果が得られる。

即ち、空間化波形は、標準的なオーディオ再生装置によって再生することができ、再生の間仮想音源位置から発する空間化オーディオの空間的幻想を創作するために特殊なデコーディング機器を必要としない。言い換えると、DOLBY、DTS等を用いることによってエンコードされた音源をデコードする音響システムを必要とする多くのオーディオ源とは異なり、再生装置は、入力波形の空間化を精度高く再現するためには、特別のプログラミングもハードウェアも全く含む必要はない。同様に、ヘッドホン、２チャネル・オーディオ、３チャネル・オーディオ、４チャネル・オーディオ、５チャネル以上のオーディオ等を含む、いずれのスピーカ構成からでも、サブウーハがあってもなくても、空間化を精度高く体験することができる。

図５は、所望の出力が３Ｄまたは４Ｄ空間における空間化点である構成における、モノラル５００またはステレオ５０５オーディオ源入力ファイルあるいはデータ・ストリーム（サウンド・カードのようなプラグイン・カードからのオーディオ信号）のための信号処理チェーンを示す。３Ｄ空間では１つの音源が置かれるのが一般的であるので、ステレオのようなマルチチャネル・オーディオ源は、ディジタル信号プロセッサ（「ＤＳＰ」）５２５によって処理される前に、ミキシングされて１つのモノラル・チャネル５１０になる。尚、ＤＳＰは特殊目的ハードウェア上に実装されていてもよく、または汎用コンピュータのＣＰＵ上に実装されてもよい。入力チャネル・セレクタ５１５は、ステレオ・ファイルのいずれかのチャネル、または双方のチャネルを処理することを可能にする。続いて、１つのモノラル・チャネルを２つの同じ入力チャネルに分割し、これらのチャネルを更に処理するために、ＤＳＰ５２５に導出することができる。

本開示の実施形態の中には、多数の入力ファイルまたはデータ／ストリームを同時に処理することを可能にするものもある。一般に、同時に処理される追加の入力ファイル毎に、図５と同じ構成を設ける(replicate)。グローバル・バイパス・スイッチ５２０は、全ての入力ファイルがＤＳＰ５２５をバイパスすることを可能にする。これは、出力の「Ａ／Ｂ」比較に有用である（例えば、ファイルまたは波形の処理後と未処理との比較）。

加えて、個々の入力ファイルまたはデータ・ストリームは各々、ＤＳＰ５２５を通過するのではなく、直接左出力５３０、右出力５３５、または中央／低周波放出出力５４０に導出することもできる。これは、例えば、多数の入力ファイルまたはデータ・ストリームを同時に処理し、１つ以上のファイルをＤＳＰによって処理しないときに用いることができる。例えば、左前部チャネルおよび右前部チャネルのみを定位しようとする場合、定位されない中央チャネルは多くの場合コンテキストを規定するために利用することができ、ＤＳＰをバイパスして導出するとよい。加えて、オーディオ・ファイルまたはデータ・ストリームが極端に低い周波数を有する場合（例えば、中央オーディオ・ファイルまたはデータ・ストリームが概略的に２０から５００Ｈｚの範囲の周波数を有する）、殆どのリスナーが低周波数の発生源を正確に指摘するのは困難であるのが通例である限りにおいて、空間化する必要がない場合がある。このような周波数を有する波形は、ＨＲＴＦフィルタの使用によって空間化することもできるが、関連する音響定位キュー(sound localization cue)を検出することに殆どのリスナーは困難を体験するので、このような空間化の有効性が最小になる。したがって、このようなオーディオ・ファイルまたはデータ・ストリームは、本開示のコンピュータ実装実施形態において利用される計算時間および処理パワーを低減するために、ＤＳＰをバイパスして導出するとよい。

図６は、本開示の一実施形態の上位ソフトウェア・プロセス・フローのフローチャートである。このプロセスは動作６００において開始し、ここで本実施形態はソフトウェアを初期化する。次いで、動作６０５を実行する。動作６０５は、プラグインからの処理すべきオーディオ・データまたはデータ・ストリームをインポート(import)する。動作６１０は、定位すべき場合にはオーディオ・ファイルに仮想音源位置を選択し、またはオーディオ・ファイルを定位しない場合には通過(pass through)を選択するために実行する。動作６１５において、処理すべき入力オーディオ・ファイルが他にもあるか否か判断するためにチェックを行う。他のオーディオ・ファイルもインポートすべき場合、動作６０５を再度実行する。インポートすべきオーディオ・ファイルが他にはない場合、本実施形態は動作６２０に進む。

動作６２０では、オーディオ入力ファイルまたはデータ・ストリーム毎に、再生選択肢を設定する(configure)。再生選択肢は、ループ再生および処理すべきチャネル（左、右、双方等）を含むことができる。次いで、動作６２５を実行し、オーディオ・ファイルまたはデータ・ストリームに音響経路が形成されているか否か判定を行う。音響ファイルが形成されている場合、動作６３０を実行して音響経路データをロードする。音響経路データは、種々の三次元空間位置において音響を経時的に音響経路に沿って定位するために用いられる１組のＨＲＴＦフィルタである。音響経路データは、ユーザによってリアル・タイムで入力し、永続的メモリまたは他の適した記憶媒体に格納することができる。動作６３０に続いて、本実施形態は、以下で説明するように、動作６３５を実行する。しかしながら、本実施形態が動作６２５において音響経路が形成されていないと判定した場合、動作６３０の代わりに動作６３５にアクセスする（言い換えると、動作６３０を飛ばす）。

動作６３５では、処理されている入力信号のオーディオ信号セグメントを再生する。次いで、動作６４０を実行して、入力オーディオ・ファイルまたはデータ・ストリームをＤＳＰによって処理するか否か判定を行う。ファイルまたはストリームをＤＳＰによって処理する場合、動作６４５を実行する。動作６４０において、ＤＳＰ処理を実行しないと判定した場合、動作６５０を実行する。

動作６４５では、オーディオ入力ファイルまたはデータ・ストリームをＤＳＰによって処理して、定位したステレオ音響出力ファイルを生成する。次いで、動作６５０を実行し、本実施形態はオーディオ・ファイル・セグメントまたはデータ・ストリームを出力する。即ち、本開示の実施形態では、入力オーディオを実質的にリアル・タイムで処理することができる。動作６５５において、本実施形態は、入力オーディオ・ファイルまたはデータ・ストリームの終点に達したか否か判定を行う。ファイルまたはデータ・ストリームの終点に達していない場合、動作６６０を実行する。オーディオ・ファイルまたはデータ・ストリームの終点に達している場合、処理は停止する。

動作６６０では、入力オーディオ・ファイルまたはデータ・ストリームの仮想音響位置を移動させて４Ｄ音響を創作するか否か判定を行う。尚、初期構成設定の間に、ユーザが音源の３Ｄ位置を指定し、追加の３Ｄ位置を、音源がその位置にあるべきときのタイム・スタンプと共に供給してもよいことを注記しておく。音源が移動している場合、動作６６５を実行する。それ以外の場合、動作６３５を実行する。

動作６６５では、仮想音源に新たな位置を設定する。次いで、動作６３０を実行する。
尚、動作６２５，６３０，６３５，６４０，６４５，６５０，６５５，６６０，６６５は、通例、同時に処理される入力オーディオ・ファイルまたはデータ・ストリーム毎に並列に実行されることは注記してしかるべきである。即ち、各入力オーディオ・ファイルまたはデータ・ストリームを、セグメント毎に、他の入力ファイルまたはデータ・ストリームと同時に処理する。

４．音源位置の指定および両耳フィルタ補間
図７は、３Ｄ空間において仮想音源の位置を指定するために、本開示の一実施形態が採用する基本プロセスを示す。図７において記載されている動作および方法は、しかるべく構成された計算デバイスであればいずれでも実行することができる。一例として、本方法は、図７の方法を具体化するソフトウェアを実行するコンピュータによって実行することができる。動作７００を実行して、３Ｄ音響位置の空間座標を入手する。ユーザは、通例、ユーザ・インターフェースを介して３Ｄ位置を入力する。あるいは、この３Ｄ位置は、ファイル、ハードウェア・デバイスによって入力すること、または静的に定義することもできる。３Ｄ音源位置は、矩形座標（ｘ、ｙ、ｚ）または球座標（ｒ、シータ、パイ）において指定することができる。次いで、動作７０５を実行して、音響の位置が矩形座標内にあるか否か判定を行う。３Ｄ音響位置が矩形座標内にある場合、動作７１０を実行して、この矩形座標を球座標に変換する。次いで、動作７１５を実行して、３Ｄ位置の球座標を更に処理するために利得値と共にしかるべきデータ構造に格納する。利得値は、信号の「ボリューム」の独立した制御を行う手段となる(provide)。一実施形態では、入力オーディオ信号ストリームまたはファイル毎に別の利得値を使用可にする(enable)。

本明細書において既に述べたように、本開示の一実施形態では、７，３３７個の既定の両耳フィルタを格納し、各々が単位球体の離散位置にある。各両耳フィルタは２つのコンポーネント、ＨＲＴＦＬフィルタ（概略的にインパルス応答フィルタ、例えば、ＩＲＬフィルタによって近似される）およびＨＲＴＦＲフィルタ（一般にインパルス応答フィルタ、例えば、ＩＲＲフィルタによって近似される）を有し、合わせてフィルタ集合をなす。各フィルタ集合は、単位球体上に配置されたＨＲＩＲ形態におけるフィルタ係数として供給することができる。これらのフィルタ集合は、種々の実施形態では、単位球体の周囲に均一にまたはばらばらに分散させることができる。他の実施形態では、これらよりも多いまたは少ない両耳フィルタ集合を格納することができる。動作７１５の後、動作７２０を実行する。動作７２０では、指定された３Ｄ位置が既定の両耳フィルタの１つによってカバーされないときに最も近いＮ個の近隣フィルタを選択する。実際の３Ｄ位置が既定の両耳定位フィルタによってカバーされない場合、所望の位置におけるフィルタ出力を、以下の２つの方法（７２５ａ，７２５ｂ）のいずれかによって生成することができる。

１．最も近い近隣フィルタ（７２５ａ）：所望の位置と格納されている３Ｄ球体上におけるフィルタ座標との間の距離を計算することによって、定位すべき点に対して最も近い近隣フィルタを選択する。次いで、このフィルタを処理に用いる。定位した位置における急激なジャンプを回避するために、選択したフィルタの出力と、以前に選択したフィルタのオーディオ出力との間のクロス・フェード(cross fade)を計算する。

２．フィルタ出力のダウン・ミキシング(down-mixing)（７２５ｂ）：指定された空間位置を取り囲む３つ以下の近隣フィルタを選択する。全ての近隣フィルタを並列に用いて、同じ入力信号を処理し、３つ以下のフィルタリングした出力信号を形成する。各出力信号はフィルタの位置に対応する。次いで、個々のフィルタ位置と定位した位置との間の相対的距離にしたがって、３つ以下のフィルタの出力をミキシングする。これによって、定位した位置に最も近いフィルタが、フィルタリングし組み合わせた出力信号に対して最も大きく寄与するように、加重和を得る。他の実施形態では、これらよりも多いまたは少ない既定のフィルタを用いて新たなフィルタを生成することもできる。

更に他の実施形態では、レムズ交換(Remez Exchange)法のような、無限インパルス応答（「ＩＩＲ」）フィルタ設計プロセスを用いることによって、新たなフィルタを生成することもできる。

尚、ＨＲＴＦフィルタは波形に特定ではないことは言うまでもない。即ち、各ＨＲＴＦフィルタは、いずれの入力波形のいずれの部分についてもオーディオを空間化することができ、スピーカまたはヘッドホンによって再生するときに、仮想音源位置から発するように思わせることができる。

図８は、様々な既定のＨＲＴＦフィルタ集合を示し、各々、Ｘで示されており、位置８００に配置される新たなＨＲＴＦフィルタを生成するために利用される単位球体上に位置する。位置８００は、所望の３Ｄ仮想音源位置であり、その方位角および仰角によって指定される（０．５，１．５）。この位置は、既定のフィルタ集合の１つによってカバーされない。この例示では、３つの最も近い近隣の既定フィルタ集合８０５，８１０，８１５が、位置８００に対してフィルタ集合を生成するために用いられる。位置８００に対してしかるべき３つの近隣フィルタ集合を選択するには、ピタゴラスの距離関係にしたがって、所望の位置と単位球体上の全ての格納されている位置との間の距離Ｄを最小にすることによって行う。

Ｄ＝ＳＱＲＴ（（ｅ_ｘ−ｅ_ｋ）^２＋（ａ_ｘ−ａ_ｋ）^２）
ここで、ｅ_ｋおよびａ_ｋは、格納されている位置ｋにおける仰角および方位角であり、ｅ_ｘおよびａ_ｘは、所望の位置ｘにおける仰角および方位角である。

このように、位置８００に対してフィルタリングした出力を得るために、フィルタ集合８０５，８１０，８１５を一実施形態によって用いることができる。他の実施形態では、中間フィルタ出力の生成のために、これらよりも多いまたは少ない既定のフィルタを用いることもできる。

所望の位置の出力を計算するとき、一般的に内耳時間差（「ＩＴＤ」(inner-aural time difference)）を考慮するとよい。各ＨＲＩＲは、内在的な遅延を有し、この遅延は、図９に示すように、それぞれの外耳道と音源との間の距離に依存する。このＩＴＤは、ＨＲＩＲにおいて、実際のフィルタ係数の前方におけるゼロでないオフセットとして現れる。したがって、既知の位置ｋおよびｋ＋１から所望の位置ｘにおいてＨＲＩＲに類似するフィルタを作成するのは困難な場合もある。既定のフィルタが格子に密度高く実装されているときは、誤差が小さいので、ＩＴＤによって引き起こされる遅延は無視することができる。しかしながら、本明細書における計算を行う計算デバイスにおいてメモリが限られている場合、これは選択肢にならない場合がある。

メモリが限られている場合、および／または計算パワーを保存しようとする場合、補間プロセスの間に、右フィルタならびに左フィルタの遅延Ｄ_ＲおよびＤ_Ｌに対するＩＴＤの寄与を除去できるように、右外耳道および左外耳道に対するＩＴＤ９０５，９１０を、それぞれ、推定するとよい。本開示の一実施形態では、ＨＲＩＲがＨＲＩＲ最大絶対値の５％を超過するオフセットを調べることによって、ＩＴＤを決定することができる。この推定値は正確ではない。何故なら、ＩＴＤは、サンプリング間隔の分解能を超えた遅延時間Ｄの断片的遅延であるからである。実際の遅延の断片は、ＨＲＩＲにおけるピークを跨ぐ放物線補間(parabolic interpolation)を用いて、ピークの実際の位置Ｔを推定することによって決定される。これは、一般的には、数学的に次のように表すことができる３つの既知の点に当てはまる放物線の最大値を求めることによって行われる。

ｐ_ｎ＝｜ｈ_Ｔ｜−｜ｈ_Ｔ−１｜
ｐ_ｍ＝｜ｈ_Ｔ｜−｜ｈ_Ｔ＋１｜
Ｄ＝ｔ＋（ｐ_ｎ−ｐ_ｍ）／（２＊（ｐ_ｎ）＋ｐ_ｍ＋ε）
ここで、εは分母がゼロでないことを確保するための小さな値である。

ＨＲＩＲは、ＩＴＤを考慮してフィルタ・インパルス応答からこれを除去するために、時間ドメインにおいて時間シフトすることができる（ｈ’ｔ＝ｈ_ｔ＋Ｄ）。
新たな出力を生成した後、右外耳道および左外耳道をそれぞれ量Ｄ_ＲまたはＤ_Ｌだけ遅延させることによって、ＩＴＤを再度加算する。また、表現している(render)音源の現在の位置にしたがって、遅延を補間する。即ち、外耳道毎に、
Ｄ＝αＤ_ｋ＋１＋（１−α）Ｄ_ｋ
ここで、α＝ｘ−ｋである。

５．ディジタル信号処理およびＨＲＴＦフィルタリング
一旦指定された３Ｄ音響位置に対して両耳フィルタ係数を決定したなら、各入力オーディオ・ストリームを処理して、ステレオ出力を定位して供給することができる。本開示の一実施形態では、ＤＳＰユニットを３つの別々のサブプロセスに再分割する。これらは、両耳フィルタリング、ドプラ・シフト処理、および周囲(ambience)処理である。図１０は、本開示の一実施形態の音源定位のためのＤＳＰソフトウェア処理フローを示す。

最初に、動作１０００を実行して、ＤＳＰによる更なる処理のために、オーディオ入力チャネルに対するオーディオ・データのブロックを得る。次いで、動作１００５を実行して、このブロックに両耳フィルタリングの処理を行う。次いで、動作１０１０を実行して、このブロックにドプラ・シフトの処理を行う。最後に、処理１０１５を実行して、このブロックに部屋シミュレーション(room simulation)の処理を行う。他の実施形態では、両耳フィルタリング１００５、ドプラ・シフト処理１０１０、および部屋シミュレーション処理１０１５を異なる順序で実行してもよい。

両耳フィルタリング動作１００５の間、動作１０２０を実行して、指定された３Ｄ位置に対するＨＲＩＲフィルタ集合を読み込む。
オーディオ・データのブロックの部屋シミュレーション処理（動作１０１５）の間に、動作１０５０を実行する。動作１０５０では、部屋の形状およびサイズに合わせてオーディオ・データのブロックを処理する。次いで、動作１０５５を実行する。動作１０５５では、壁、床、および天井の材料に合わせてオーディオ・データのブロックを処理する。次いで、動作１０６０を実行する。動作１０６０では、３Ｄ音源位置およびリスナーの耳からの距離を反映するように、オーディオ・データのブロックを処理する。

人間の耳は、音響キューの周囲ならびに外耳および耳介を含む人間の聴覚系との様々な相互作用から、この音響キューの位置を推論する。異なる位置からの音響は、人間の聴覚系において異なる共鳴(resonance)および相殺(cancellation)を生じ、空間における音響キューの相対的位置を判定することを、人間の脳に可能にする。

音響キューの環境、耳、および耳介との相互作用によって生ずるこれらの共鳴および相殺は、本質的に性質上線形であり、したがって、線形時間不変（「ＬＴＩ」）システムの外部刺激に対する応答として、定位された音響を表現することによって取り込むことができる。これは、本開示の種々の実施形態によって計算することができる。（一般に、本明細書において明記する計算、式、およびその他の動作は、本開示の実施形態によって実行することができ、そうするのが通例である。つまり、例えば、一実施形態例は、本明細書において開示するタスク、計算、動作等を実行することができるように、しかるべく構成されたコンピュータ・ハードウェアまたはソフトウェアの形態をなすことができる。したがって、このようなタスク、式、動作、計算等（纏めて、「データ」）の論述は、このようなデータを実行する、このようなデータにアクセスする、またはそれ以外で利用することを含む、実施形態例のコンテキストで明記されることは、理解されてしかるべきである。）
いずれの離散ＬＴＩシステムの１つのインパルス応答に対する応答も、システムの「インパルス応答」と呼ばれる。このようなシステムのインパルス応答ｈ（ｔ）を想定すると、任意の入力信号ｓ（ｔ）に対するその応答ｙ（ｔ）は、時間ドメインにおける畳み込みと呼ばれるプロセスを通じて、一実施形態によって構築することができる。即ち、
ｙ（ｔ）＝ｓ（ｔ）・ｈ（ｔ）
ここで、「・」は畳み込みを示す。

オーディオ・データのブロックに両耳フィルタリングを行った後、本開示の実施形態は、更に、ドプラ・シフトを考慮するためまたは形成するために（図１０の動作１０１０）、オーディオ・データのブロックを更に処理することもできる。他の実施形態では、オーディオ・データのブロックに両耳フィルタリングを行う前に、このデータのブロックにドプラ・シフトの処理を行うこともできる。ドプラ・シフトとは、図１１に示すように、音源のリスナーに対する相対的な移動の結果知覚される音源の音高変化である。図１１に示すように、固定の音源には音高の変化は起こらない。しかしながら、音源１３１０がリスナーに向かって移動するに連れて音高は高くなるように知覚され、一方音源が移動してリスナーから離れるに連れて、音高は低くなるように知覚される。音速は３３４メートル／秒であり、移動する音源の速度よりも数倍高いので、音源がゆっくり移動する場合でも、ドプラ・シフトには容易に気付くことができる。つまり、本実施形態は、定位プロセスがドプラ・シフトを考慮に入れて、リスナーが移動する音源の速度および方向を判定することができるように、構成することができる。

ドプラ・シフトの効果は、本開示の実施形態によって、ディジタル信号処理を用いて創作することができる。音源とリスナーとの間の最大距離にサイズが比例するデータ・バッファを作成する。これより図１２を参照すると、オーディオ・データのブロックをバッファの「入力タップ」(in tap)１４０５に供給する。「入力タップ」１４０５は、バッファのインデックス０にあるとよく、仮想音源の位置に対応する。「出力タップ」１４１５は、リスナーの位置に対応する。固定の仮想音源では、リスナーと仮想音源との間の距離は、図１２に示すように、単純な遅延として知覚される。

仮想音源を経路に沿って移動させるとき、リスナー・タップまたは音源タップを移動させて知覚される音響の音高を変化させることによって、ドプラ・シフト効果を導入することができる。例えば、図１３に示すように、リスナーのタップ位置１５１５を左に移動させると、音源１５００に向かって移動することを意味し、音波のピークおよび谷がリスナーの位置に当たるのが速くなる。これは、音高が高くなることと同等である。あるいは、知覚される音高を低くするためには、リスナーのタップ位置１５１５を移動させて音源１５００から離すことができる。

本実施形態は、左耳および右耳に別個にドプラ・シフトを生じさせて、リスナーに対して放射方向に移動するだけでなく、回転移動する音源をシミュレートすることができる。ドプラ・シフトは、音源がリスナーに近づきつつあるときには、周波数が高くなる音高を形成することができるので、そして入力信号は臨界でサンプリングされることがあるので、音高の上昇の結果一部の周波数がナイキスト周波数を外れてしまい、エリアシングを生ずる可能性がある。エリアシングが起こるのは、レートＳｒでサンプリングした信号がナイキスト周波数＝Ｓｒ／２以上の周波数を含むときである（例えば、４４．１ｋＨｚでサンプリングした信号は、２２，０５０Ｈｚのナイキスト周波数を有し、この信号は、エリアシングを回避するためには、２２，０５０Ｈｚ未満の周波数内容を有するとよい）。ナイキスト周波数よりも高い周波数は、それよりも低い周波数の位置に現れて、望ましくないエリアシング効果を生ずる。本開示の実施形態は、ドプラ・シフト処理の前または最中にアンチ・エリアシング・フィルタを採用し、音高のいずれの変化も、処理されたオーディオ信号内において他の周波数とエリアスする周波数を生じないようにすることができる。

左および右耳のドプラ・シフトを互いに独立して処理するので、本開示の実施形態をマルチプロセッサ・システム上で実行すると、耳毎に別のプロセッサを利用し、オーディオ・データのブロックの全体的な処理時間を最少限に抑えることができる。

本開示の実施形態は、オーディオ・データのブロックに対して周囲処理を実行することができる（図１０の動作１０１５）。周囲処理は、部屋の特性を考慮に入れるための反射処理（図１０の動作１０５０および１０５５）および距離処理（図１０の動作１０６０）を含む。

音源のラウドネス（デシベル・レベル）は、音源とリスナーとの間の距離の関数である。リスナーまでの途中で、音波のエネルギの一部が、摩擦および消散（空気の吸収）によって熱に変換される。また、３Ｄ空間における波の伝搬によって、音波のエネルギは、リスナーおよび音源が離れる程、広い空間の容積全体に分散される（距離減衰）。

理想的な環境では、音源から距離ｄ２におけるリスナーとの間の音圧レベルの減衰Ａ（ｄＢ単位）の基準レベルは、ｄ１の距離において測定され、以下のように表すことができる。

Ａ＝２０ｌｏｇ１０（ｄ２／ｄ１）
この関係は、一般に、完全に損失がない雰囲気において、干渉する物体が全くない場合でなければ有効でない。本開示の一実施形態では、距離ｄ２にある音源に対する減衰係数(attenuation factor)を計算するために、この関係を用いる。

音波は、一般に、環境内にある物体と相互作用し、音波は反射、屈折、または回折を受ける。表面からの反射によって、離散反響(discrete echoes)が信号に追加され、一方屈折および回折の方が、一般に、周波数依存性が高く、周波数と共に変化する時間遅延を生ずる。したがって、本開示の実施形態では、音源の距離知覚を強化するために直近の周囲についての情報を組み込む。

音波の物体との相互作用をモデル化するためには、様々な方法を本開示の実施形態によって使用することができ、これらの方法には、光線追跡、ならびに櫛形および全通過フィルタリングを用いる残響(ray tracing and reverb)処理が含まれる。光線追跡では、仮想音源の反射をリスナーの位置から音源まで逆に追跡する。これによって、本当の部屋の現実的な近似を可能にする。何故なら、このプロセスは音波の経路をモデル化するからである。

櫛形および全通過フィルタリングを用いる残響処理では、実際の環境は通例モデル化されない。むしろ、現実的な音響効果を代わりに再現する。広く用いられている１つの方法では、"Colorless artificial reverberation" （無色人工的残響）、M.R. Schroeder and B.F. Logan, IRE Transactions, Vol. AU-9, pp.209-214, 1961という論文に記載されているように、櫛形および全通過フィルタを直列および並列構成に配列する。この論文をここで引用したことにより、その内容が本願にも含まれるものとする。

全通過フィルタ１６００は、図１４に示すように、フィード・フォワード１６１０およびフィードバック１６１５経路を有する遅延エレメント１６０５として実装することができる。全通過フィルタの構造では、フィルタｉは、以下の式で示される伝達関数を有する。

Ｓ_ｉ（ｚ）＝（ｋ_ｉ＋ｚ^−１）／（１＋ｋ_ｊｚ^−１）
理想的な全通過フィルタは、長周期単位振幅応答（そのため全域通過という）により周波数依存の遅延を作り出す。そのため、全域通過フィルタは、長周期位相スペクトルに対してのみ効果を有する。本開示の一実施形態では、定位される仮想音源の近傍にある物質により加えられる多重反響の音響効果を遂行するために、図１５に示すように、全域通過フィルタ１７０５，１７１０をネストすることができる。特定的な一実施形態では、１６個のネストされた全域通過フィルタのネットワークを、共有メモリ・ブロック（蓄積バッファ）全体にわたって実装する。オーディオ・チャンネル毎に８個である、追加の１６個の出力タップが、仮想音源及びリスナーの周囲にある壁、天井及び床の存在をシミュレートする。

蓄積バッファへのタップは、それらの時間遅延が、一次反響時間と、リスナーの２つの耳と仮想音源との空間内における経路長とに対応するように、間隔を空けて置かれるとよい。図１６は、全域通過フィルタ・モデル、優先波形(preferential waveform)１８０５（直接入射音）、および仮想音源からリスナーまでの初期反響１８１０，１８１５，１８２０，１８２５，１８３０の結果を示す。
６．更なる処理の改善
ある種の条件下において、ＨＲＴＦフィルタは、特定の周波数を望ましくなく強調するスペクトルの不平衡をひきおこす可能性がある。これは、フィルタの振幅スペクトル に、処理された信号が平坦な振幅スペクトルを有する場合に隣接周波数領域間の不平衡を起こす可能性がある、大きなディップ(dip)及びピークがあることにより発生する。

定位キューを生成するために一般に用いられる小規模のピークに影響することなく、この音の不平衡効果を中和するために、周波数によって異なる全体利得係数をフィルタ振幅スペクトルに適用する。この利得係数は、周波数スペクトルにおける変化を平滑化し、全体的にその平坦性を最大化して、理想的なフィルタ・スペクトルからの大規模な逸脱を最小限に抑えるイコライザとして動作する。

加えて、両耳フィルタの一部の効果は、リスナーの位置に対して対称的に位置付けられた２つの仮想スピーカを通じてステレオ・トラックが再生されるときに相殺されることもある。これは、フィルタ双方の内耳レベル差（「ＩＬＤ」），ＩＴＤおよび位相応答の対称性によるものと考えられる。即ち、ＩＬＤ，ＩＴＤならびに左耳フィルタおよび右耳フィルタの位相応答は、通常、互いの逆数となる。

図１７は、２つの仮想スピーカ２３０５、２３１０を通じてモノラル信号を再生するときのように、ステレオ信号の左および右チャネルが実質的に同一であるときに生ずる場合がある状況を示す。この設定はリスナー２３１５に対して対称的であるので、
ＩＴＤ Ｌ−Ｒ ＝ ＩＴＤ Ｌ−Ｌ、およびＩＴＤ Ｌ−Ｌ ＝ ＩＴＤ Ｒ−Ｒ
となる。

ここで、ＩＴＤ Ｌ−Ｒは左チャンネルから右耳へのＩＴＤであり、ＩＴＤ Ｒ−Ｌは右チャンネルから左耳へのＩＴＤであり、ＩＴＤ Ｌ−Ｌは左チャンネルから左耳へのＩＴＤであり、ＩＴＤ Ｒ−Ｒは右チャンネルから右耳へのＩＴＤである。

図１７に示すような、２つの対称的に配置された仮想スピーカ２３０５、２３１０で再生されるモノラル信号について、一般に、仮想音源が中央２３２０から来るように感じられるように、ＩＴＤを足し合わせる。

更に、図１８は、信号が右２４０５（又は左２４１０）チャンネルのみに現れる状況を示す。そのような状況では、右（左）フィルタ集合、ならびにそのＩＴＤ、ＩＬＤ、および位相および振幅応答のみを信号に適用し、この信号が、スピーカ領域の外側にある遠方の右（遠方の左）の位置２４１５から来るかのように感じさせる。

最後に、図１９に示すように、ステレオ・トラックを処理するとき、エネルギの大半は、一般に、ステレオ領域２５００の中央に配置される。これは、一般に、多くの楽器を含むステレオ・トラックでは、大抵の楽器はステレオ・イメージの中央にパンニングされ、一部の楽器だけがステレオ・イメージの両側にあるように感じられることを意味する。

２つ以上のスピーカを通じて再生される定位ステレオ信号の定位をより効果的にするために、２つのステレオ・チャンネル間のサンプル分配を、ステレオ・イメージのエッジに向けてバイアスするとよい。これによって、より多くの入力信号が両耳聴フィルタによって定位されるように、２つの入力チャンネルを相関付けないことによって、両チャンネルに共通な全信号を効果的に低減する。

しかしながら、ステレオ・イメージの中央部を減衰することにより、他の問題を招く可能性がある。特に、声及びリード楽器(lead instruments)の減衰が引き起こされ、望ましくないカラオケのような効果が生み出されることがある。本開示の実施形態では、音声及びリード楽器を事実上処理されていない状態のまま残すように中央の信号にバンド・パス・フィルタリングを加えることによって、これを無効にする。

図２０は、中央信号のバンド・パス・フィルタリングを用いる本開示の一実施形態の信号導出を示す。これは、本実施形態によって、図５の動作５２５に組み込んでもよい。
再度図５を参照すると、ＤＳＰ処理モードは、ＤＳＰ信号経路の多数のインスタンスを形成するために、多数の入力ファイル又はデータ・ストリームを受け入れることができる。信号経路毎のＤＳＰ処理モードでは、一般に、１つのステレオ・ファイル又はデータ・ストリームを入力として受け入れ、入力信号を左右のチャンネルに分割し、ＤＳＰプロセスのための２つのインスタンスを形成し、１つのインスタンスをモノラル信号として左チャンネルに、もう１つのインスタンスをモノラル信号としての右チャンネルに割り当てる。図２０は、処理モード内における左インスタンス２６０５及び右インスタンス２６１０を示す。

図２０の左インスタンス２６０５は、図示された全てのコンポーネントを含むが、左チャンネルにある信号のみを有する。右インスタンス２６１０は、左インスタンスと同様であるが、右チャンネルにある信号のみを有する。左インスタンスの場合、信号は加算器２６１５に行く半分と、左減算器２６２０に行く半分とに分割される。加算器２６１５は、ステレオ信号の中央分配のモノラル信号を生成し、この信号は、特定の周波数範囲が減衰器２６３０への通過を許されるバンド・パス・フィルタ２６２５に入力される。中央の寄与(contribution)を左減算器と組み合わせて、ステレオ信号の最も左の様相(aspect)または左の様相のみを生成する。次いで、これらは、定位のために左ＨＲＴＦフィルタ２６３５によって処理される。最後に、左に定位された信号を、減衰された中央寄与信号と組み合わせる。同様の処理が右インスタンス２６１０にも行われる。

左右のインスタンスを組み合わせて最終出力を得ることができる。これによって、元の信号の中央寄与の存在を保持しつつ、遠方の左右の音響の定位を強めることができる。
一実施形態では、バンド・パス・フィルタ２６２５は、１２ｄＢ／オクターブのスティープネス、３００Ｈｚの下側周波数カットオフ値、および２ｋＨｚの上側周波数カットオフ値を有する。一般に、減衰率が２０〜４０％である場合に良好な結果が得られる。他の実施形態では、バンド・パス・フィルタに対する異なる設定値、および／または異なる減衰率を用いても良い。

７．ブロックに基づく処理
一般に、音声入力信号は非常に長くなる場合がある。そのような長い入力信号は、定位ステレオ出力を生成するように、時間ドメインにおいて両耳聴フィルタによって畳み込むとよい。しかしながら、本開示の実施形態によって信号をディジタル処理するとき、入力オーディオ信号をオーディオ・データのブロック単位に処理するとよい。

オーディオ・データは、ブロック２７０５において、図２１に示すようにブロックが重なり合うように処理するとよい。ブロックは、ｋサンプル毎に取り込まれ（ｋサンプルのストライドと呼ぶ）、ここでｋは、変換フレーム・サイズＮよりも小さい整数である。この結果、隣接するブロックが、（Ｎ−ｋ）／Ｎによって定められるストライド率だけ重なり合うことになる。実施形態の中には、このストライド率を変更できるものもある。

オーディオ信号は、ブロックのエッジにおいて信号がカットオフされる際に生じるエッジ効果を最小に抑えるために、重なり合うブロック単位で処理するとよい。種々の実施形態では、ブロック内部にあるデータにウィンドウ２７１０（漸減関数）を適用して、ブロックの開始および終了において徐々にゼロになるようにすることができる。一実施形態では、ハン・ウィンドウ(Hann window)を漸減関数として用いることができる。

ハン・ウィンドウ関数は、数学的には、次のように表される。
ｙ＝０．５−０．５ｃｏｓ（２πｔ／Ｎ）
他の実施形態では、ハミング、ガウス、およびカイザー・ウィンドウを含むがこれらには限定されないような、他の適したウィンドウを採用してもよい。

個々のブロックから継ぎ目のない出力を形成するために、以前に用いたのと同じストライドを用いて、処理済みブロックからの結果を纏めて合算する。これは、「重複保存」(overlap-save)と呼ばれる技法を用いて行うことができ、次のフレームとのクロスフェードを適用するように、各ブロックの一部を格納する。適正なストライドが使用された場合、個々のフィルタリングされたブロックがひと続きにされると、ウィンドウ関数の効果が相殺される（即ち、合計で１になる）。これによって、それぞれにフィルタリングされたブロックから、グリッチがない出力を生成する。一実施形態では、ＦＥＴブロック・サイズの５０％に等しいストライドを利用することができる。即ち、４０９６のＦＥＴフレーム・サイズに対して、ストライドを２０４８に設定することができる。この実施形態では、それぞれ処理されたセグメントが、前のセグメントと５０％ずつ互いに重なり合う。即ち、ブロックｉの後ろ半分は、ブロックｉ＋１の前半分に足し合わされて、最終的な出力信号が得られる。これにより、一般に、フレーム間のクロスフェードを遂行するために信号処理期間に格納するデータ量が少なくなる。

一般に、クロスフェードを行うには少量のデータを格納すればよいので、入力信号と出力信号との間に生ずるレイテンシ（遅延）は僅かであると考えられる。この遅延は通例２０ｍｓよりも遙かに短く、全ての処理されるチャネルで概ね同じであるので、処理された信号に対する効果は無視できる程度であるのが一般的である。また、生で処理するよりも、ファイルからデータを処理するとよく、このような遅延が無関係になることは、注記してしかるべきである。

更に、ブロックに基づく処理は、秒毎のパラメータ更新回数を抑制することができる。本開示の一実施形態では、各変換フレームを、１組のＨＲＴＦフィルタを用いて処理することができる。したがって、ブロックの期間中に音源位置の変化は起こらない。これが通常気がつかないのは、隣接するブロック間のクロスフェードも、２つの異なる音源位置の描出(rendering)の間に滑らかにクロスフェードするからである。あるいは、０サンプルの重複に達するまで、ストライドｋを増加させることもでき、これによって連続出力が得られる。または、より多くの重複が生ずるようにストライドｋを減少させることもできるが、１秒当たり処理するブロック数が増加する。

一実施形態では、オーディオ・ファイル・ユニットが信号処理システムに入力を供給することもできる。このオーディオ・ファイル・ユニットは、オーディオ・ファイルを読み取って、二進パルス・コード変調（「ＰＣＭ」）データに変換する（デコードする）。ＰＣＭデータは、元の音響の音圧レベルに比例して変化する。最終的な入力データ・ストリームは、ＩＥＥＥ７５４浮動小数点データ・フォーマット（即ち、４４．１ｋＨｚでサンプリングされ、データ値が−０．１から＋０．１の範囲に制限される）とすることができる。これによって、処理チェーン全体にわたって一貫した正確度を得ることができる。尚、処理されるオーディオ・ファイルは一般に一定レートでサンプリングされることは注記してしかるべきである。他の実施形態では、他のフォーマットでエンコードされたオーディオ・ファイル、および／または異なるレートでサンプリングされたオーディオ・ファイルを利用することもできる。更に他の実施形態では、サウンド・カードのようなプラグイン・カードからのデータの入力オーディオ・ストリームを、実質的にリアル・タイムで処理することもできる。

先に論じたように、一実施形態では、７，３３７個の予め定義されたフィルタを有するＨＲＴＦフィルタ集合を利用することができる。これらのフィルタは、２４ビットの長さの係数を有することができる。ＨＲＴＦフィルタ集合は、アップ・サンプリング、ダウン・サンプリング、分解能向上、または分解能低下によって新たな１組のフィルタ（即ち、フィルタの計数）に変更し、元の４４．１ｋＨｚ、２４ビットのフォーマットをいずれかのサンプリング・レートおよび／または分解能に変更することができる。次いで、この新たなフィルタ集合は、異なるサンプリング・レートおよび分解能（例えば、８８．２ｋＨｚ、３２ビット）を有する入力音声波形に適用することができる。

オーディオ・データの処理後、ユーザは、出力をファイルに保存することができる。ユーザは、内部でミキシング・ダウンされた１つのステレオ・ファイルに出力を保存することができ、または各定位トラックを独立のステレオ・ファイルとして保存してもよい。また、ユーザは、結果的に得られたファイル・フォーマットを選択することができる（例えば、＊．ｍｐ３、＊． ａｉｆ、＊．ａｕ、＊．ｗａｖ、＊．ｗｍａ等）。結果的に得られた定位ステレオ出力は、定位ステレオ音声の再現に必要とされる何の特別な装置も用いることなく、従来のオーディオ装置で再生することができる。更に、一旦格納されたファイルは、ＣＤプレーヤーでの再生のために標準のＣＤオーディオに変換することもできる。ＣＤオーディオ・ファイル・フォーマットの一例に、．ＣＤＡフォーマットがある。また、ＤＶＤオーディオ、ＨＤオーディオ及びＶＨＳオーディオ・フォーマットを含むがそれらに限定されない他のフォーマットにファイルを変換することもできる。

８．埋め込みプロセス
本開示の実施形態は、消費者用電子機器（ＣＥ）市場に合わせた種々の用途においてオーディオ空間化用ＤＳＰを設けるように構成することができる。具体的には、サード・パーティ製のハードウェア、ファームウェア、またはオペレーティング・システム・カーネル内に本開示にしたがって提供される埋め込みアプリケーションは、２つ以上のチャネルに定位を用いることができる。このようなオーディオ・チェーンは、特殊ＤＳＰプロセッサ、あるいは他の標準的なまたはリアル・タイム埋め込みプロセッサ内で動作することもできる。例えば、埋め込みプロセスは、種々の消費者用電子デバイスのオーディオ出力チェーン内に実装することができる。消費者用電子デバイスには、ハンドヘルド・メディア・デバイス、セル・フォン、スマート・フォン、ＭＰ３プレーヤ、ブロードキャストまたはストリーミング・メディア・デバイス、衛星、ケーブル、インターネット、またはブロードキャスト・ビデオ用セット・トップ・ボックス、インターネット・ブロードキャスト用ストリーミング・メディア・サーバ、オーディオ受信機／プレーヤ、ＤＶＤ／ブルーレイ・プレーヤ、家庭用、携帯用、または自動車用無線機（アナログまたはディジタル）、ホーム・シアター受信機またはプリアンプ、テレビジョン、ディジタル・オーディオ記憶および再生デバイス、ナビゲーションおよび「インフォテインメント」(infotainment)システム、自動車用ナビゲーションおよび／または「インフォテインメント」システム、ハンドヘルドＧＰＳユニット、入力／出力システム、外部スピーカ、ヘッドホン、外部、独立、出力信号修正デバイス（即ち、再生音源とスピーカまたはヘッドホンシステムとの間に常駐し、ＤＳＰ処理をサポートするしかるべき回路を内蔵する非永続的、単体デバイス）、あるいはマイクロフォン（モノ、ステレオ、またはマルチチャネル入力）を含むことができるが、これらに限定されるのではない。埋め込みＤＳＰに適した他のＣＥアプリケーションも当業者には周知であり、そして当業者には認められよう。このようなアプリケーションは、本開示の範囲に該当することを意図している。

オーディオ空間化のための埋め込みＤＳＰは、オーディオを取り込み、再生し、および／または表現する電子ハードウェア・デバイスの能力を向上させることができる。この能力は、このようなデバイスを真に３Ｄオーディオ対応にすること、またそうでなければ、３Ｄオーディオをエミュレートすることを可能にし、これによって現実的な音響光景(soundscape)を提供し、オーディオ・コンテンツを一層明確にする潜在的な可能性が得られる。

以下に示すのは、様々な一般的なＣＥシステム構成におけるオーディオ空間化のための埋め込みプロセスの説明である。これらには、モノ入力−ステレオ出力、マルチチャネル入力−２チャネル出力、マルチチャネル入力−ダウン・ミキシング・マルチチャネル出力、マルチチャネル入力−３チャネル出力、２チャネル入力−３チャネル出力、ステレオ入力−定位中央チャネルを有するステレオ出力、２チャネルＬｔＲｔ（左総合／右総合）−仮想マルチチャネル・ステレオ出力（２つの代替構成における）、そして２チャネル入力−アップ・ミキシング５．１マルチチャネル出力が含まれる。これらのシステム構成は、性質上例示であることを意図しており、当業者は、以下の開示に基づくいずれのシステム構成においても、オーディオ空間化を可能にするために種々の変更を行うことができよう。

以下で説明する各埋め込みプロセスに付随する図（即ち、図２２、図２４、図２６、図２８、図３０、図３２ａ、図３２ｂ、図３６、および図３８）に関して、その中に描かれている矢印は、種々のタイプの情報の流れを表すが、性質上広義に例示的であることを意図しており、矢印間に厳密な接続がなくても不連続な情報の流れを意味するのではない（例えば、図２２に関して、外部動作３０００を、３０２０ｂを介してプロセス３０２５に接続する矢印は、動作３０３０ａおよび３０３０ｂに至る矢印とは、厳密に言えば、接続されていないが、これによって不連続な情報の流れを意図しているのではない）。更に、図において、情報が組み合わされて１つの流れになったり、情報が１つよりも多い流れに分けられる場合、その中で種々のシンボル（例えば、バー、菱形、円等）を用いても、１つの特定のシンボルが必ずしも同じ図または他の図において同様のシンボルの機能を表す訳ではなく、これらのシンボルは性質上広義に例示的であることを意図している（例えば、再度図２２に関して、バーのシンボルは、情報フローの分離（例えば、動作３０３０ａおよび３０３０ｂに別れる）を示すため、および情報フローの結合（例えば、動作３０３５に結合する）を表すための双方で用いられる。このように、本出願人は、本明細書において紹介するいずれの図もいずれの特定の慣例の表現様式にも必ずしも従うとは限らず、本開示のある種の態様を広義に例示することを意図しているということを念頭に入れている。

Ａ．モノ入力−ステレオ出力
本開示によるモノ信号定位のための埋め込みプロセスは、空間化プロセスの外部にある何らかのタイプのイベント・キューに基づいて、１つの入力モノ信号と、関連するＤＳＰパラメータとを受け取る。一般に、これらのイベントは、何らかの外部刺激によって、他のプロセスによって自動的に生成されるが、何らかの人−機械インターフェースを通じて人間が開始することもできる。例えば、モノ信号定位プロセスは、イベント・シミュレータならびに自動車用「インフォテインメント」およびナビゲーション・システムにおける警報、通知、および効果のために、直接応用することができる。更に他の用途には、コンピュータのハードウェアまたはゲーミング・ソフトウェア、およびコンソール・ビデオ・ゲーミング・システム内における、人間のゲーム・プレー入力に対する応答を含むことができる。

モノ信号定位プロセスは、多数の独立したモノ入力信号をサポートすることができる。出力は、各々共通の固定フレーム長を有する多数の入力バッファ（音源毎に１つずつ）を採用し、各入力バッファを直列に処理し、次いで入力信号を纏めて合算することによって結果的に得られた信号を一緒にミキシングして１つの出力バッファを得ることによって、同期することができる。このプロセスは、以下の式によって表すことができる。

OutputBufferLeft ＝ Σ(InputBufferLeft[i]*gain[i])
OutputBufferRight ＝ Σ(InputBufferRight[i]*gain[i])
ここで、ｉは定位された各モノ音源を表す。尚、ミキシングする同時入力信号の実際の数は、プロセッサ速度の要素(factor)であることは認められよう。

既に開示したように、ＤＳＰパラメータは、具体的に、結果的に定位される信号に適用される一定の方位角［０°，３５９°］、仰角［９０°，−９０°］、および距離キュー・データ［０，１００］（ここで、０の場合、頭部の中央で音響が知覚され、１００は任意の離れた位置である）を含む。これらのパラメータ値を本プロセスにリアル・タイムで、いずれかの任意のレートで送り出すことができ、聴くことができる動きの感覚が得られる（例えば、前述のような４Ｄ効果）。

図２２は、本開示によるモノ信号定位のためのプロセス・フローの一実施形態を示す。定位の前に、外部イベントが行われると（３０００）、センサ３００５ａまたは人間によって開始される動作３００５ｂによって検出することができる。この時点において、本システムは、イベント検出メッセージを生成し（３０１０）、その後正しいイベント応答を判定することができる（３０１５）。このような応答は、本システムが正しいオーディオ・ファイルまたはストリームを入れるように指示する(cue)（３０２０ａ）ことを含むとよく、あるいは正しいＤＳＰおよび定位パラメータを入れるように指示する（３０２０ｂ）ことも含むとよい。勿論、他の応答も可能である。図２２に示すように、動作３０００から３０２０（ａ，ｂ）までは、モノ信号定位プロセス３２５の前に、そして外部で行われる。

一旦正しいオーディオ・ファイルまたはストリーム、ならびに正しいＤＳＰおよび定位パラメータが指示されたなら、モノ信号を定位するために以下の動作を実行することができる（３０２５）。指示されたオーディオ・ファイルまたはストリームについて、本プロセスは固定フレーム・サイズを有するオーディオの入力バッファを受け取る（３０３０ａ）。指示されたＤＳＰおよび定位パラメータについて、本プロセスはこのようなパラメータを受け取り（３０３０ｂ）、処理のためにこれらを格納する（３０３１）。その後、動作３０３５において、動作３０３０ｂからの方位角および仰角入力パラメータを含むＤＳＰおよび定位パラメータを適用して、正しいＩＩＲフィルタを調べて読み出す。動作３０４０において、ロー・パス・フィルタ、ＬＦＥ利得およびＥＱを用いて、低周波数強調のためにオーディオを処理することができる。動作３０４５において、動作３０３５からのフィルタ、ならびに距離および残響入力値を用いて、既に説明したように処理方法の定位効果を適用し、部屋シミュレーション残響およびパラメータＥＱの多数の帯域を適用して、あらゆるトーン・カラライゼーション(tone colorization)を補正する。最後に、動作３０５０において、出力バッファに処理した信号を入力し、オーディオ・バッファを外部プロセスに戻す。

図２３は、図２２において先に説明したプロセスと共に用いるように構成されたコンポーネントの配線図の一例を示す。ＤＳＰパラメータ・マネージャ３１００は、動作３０３０（ａ、ｂ）から３０３５までを実行するコンポーネントである。ロー・パス・フィルタ３１０５、ＩＴＤ補償３１１０、および位相反転(phase flip)３１１５のコンポーネントは、動作３０４０を実行する。動作３０４５に関して、ＨＲＴＦコンポーネント３１２０はしかるべきＩＩＲフィルタを直接適用し、一方内耳時間遅延コンポーネント３１２５および内耳振幅差コンポーネント３１３０は、定位効果を完成するために、必要な左耳／右耳タイミング情報を適用する。動作３０４０の最終的な態様(aspect)は、距離コンポーネント３１３５によって適用され、現実的な部屋のシミュレーション（または自由な場）に合わせた距離および残響のために信号減衰を適用する。左／右遅延コンポーネント３１４０は、自動車オーディオ用途において運転手または乗員にオーディオの中心を置くという要望というような、ある種の用途のために左−右バイアスを信号に適用する任意のコンポーネントである。

Ｂ．マルチチャネル入力−２チャネル出力
本開示による、定位マルチチャネル入力−ダウン・ミキシング２チャネル出力のための埋め込みプロセスでは、仮想マルチチャネル構成指定に加えて、１組の離散マルチチャネル・モノ・オーディオ信号を入力として受け取る。このプロセスは、２．１，３．１，４．０，５．１，６．１，７．１，１０．２等を含むがこれらに限定されない、いずれのマルチチャネル入力にも適用することができる。したがって、本プロセスは少なくとも２．１−チャネル入力を有するいずれのマルチチャネル構成でもサポートする。

いずれのマルチチャネル入力でも用いてもよいが、本開示では、例示の目的に限って、標準的な５．１入力（左前部、右前部、中央、左サラウンド、右サラウンド、および低周波数効果）を代表的なマルチチャネル音源として用いる。この構成指定は、チャネルのどの対（前部対または後部対、あるいは両方）に定位効果が適用されるのかに影響を及ぼす。全ての構成において、中央およびＬＦＥ信号を分割して、前部対に加算し、別々の利得段を各々に適用する。ステレオ信号が前部対にある場合、架空中央信号を隔離してそれを前部信号対に加算するために、中央−側部デコーディング(Mid-Side Decoding)を適用することができる（中央−側部デコーディングの詳細な説明については、副章Ｇにおいて以下で示す、本明細書の詳細な説明を参照のこと）。

ここで説明しているマルチチャネル入力／２チャネル出力プロセスの特有の用途が、コンピュータ、ＴＶ、および他のＣＥデバイスにおいて見られるような、マルチチャネル音楽および映画出力にある。この用途では、マルチチャネル信号を入力として受け取ることができるが、デバイス自体は出力のために１対のステレオ・スピーカを内蔵するに過ぎない。他の用途例が、特殊マルチチャネル・マイクロフォン入力にあり、この場合所望の出力は２チャネル仮想マルチチャネルである。

５．１マルチチャネル入力の例に関して、前部対および後部対（物理的）位置角度に対するＩＴＵ７７５サラウンド音響標準を、仮想方位角および仰角定位予備設定(presets)として予め構成することができる。ＩＴＵ７７５は、信号の前部対が前方に面する中央に対して２２．５から３０°の角度を有することを指定し、信号の後部対が前方に面する中央に対して１１０°の角度を有することを指定する。ＩＴＵ７７５を用いることができるが、これは制約ではなく、いずれの任意の定位角度でも適用することができる。

一構成では、信号の前部対は修正されないまま通過するが、後部対は定位される。他の構成では、信号の前部対が定位されるが、信号の後部対は修正されないまま残される。更に他の構成では、前部および後部の信号対双方が定位される。このような構成では、一方の対の他方の対に対する角度の広がりを増加させて、各対が他方を音響的に相補することが望ましい場合がある。マルチチャネル音源における実際のチャネル数に基づいて、これらの構成の組み合わせをしかるべく拡張してもよい。

図２４は、５．１入力を一例として用いる、本開示による２チャネル信号定位のプロセス・フローの一実施形態を示す。図２４に示すように、５．１（または他の入力）構成３２００を確立し、選択したオーディオ・ファイルまたはストリーム３２０５を送る動作は、２チャネル信号定位プロセス３２１０の前に、そしてこのプロセスの外部で行われる。

２チャネル信号定位プロセスは、パラメータ設定経路において、外部プロセスからマルチチャネル構成入力パラメータを受け取る動作（３２１５）から開始する。また、ＤＳＰ入力パラメータも外部プロセスから受け取る（３２２０）。動作３２１５および３２２０からのパラメータを処理のために格納する（３２２５）。その後、利得、ＥＱ値等のような、定位に関係ないＤＳＰパラメータを処理のために設定する（３２３０）。

代わりの動作３２３５ａ、３２３５ｂ、および３２３５ｃでは、前部ステレオ対（後部定位のみが得られる）または後部ステレオ対（前方定位のみが得られる）に対する定位をバイパスするために、マルチチャネル構成を用いるか、または前部ステレオ対に対する方位角定位パラメータを設定する。この例では、ステップ３２３５ｃを実行する場合、前部対方位角値を標準的なＩＴＵ７７５値に設定する。

代わりの動作３２４０ａ、３２４０ｂ、および３２４０は、それぞれ、動作３２３５ａ、３２３５ｂ、および３２３５ｃに対応し、定位のためにマルチチャネル構成を使用して関連する方位角パラメータ設定を完了することによって、動作３２３５ａ、３２３５ｂ、および３２３５ｃを引き立たせる(compliment)。この例では、動作３２３５ａを実行する場合、続いて動作３２４０ａを実行し、後部ステレオ対方位角値を標準的なＩＴＵ７７５値に設定する。３２３５ｂ／３２４０ｂ経路および３２３５ｃ／３２４０ｃ経路は同様に、この場合もＩＴＵ７７５の角度を一例として用いて、定位のために方位角パラメータを設定する。

これよりプロセス３２１０のオーディオ信号経路を参照すると、動作３２４５は、フレーム・サイズが固定の入力オーディオ・バッファを外部プロセスから受け取る。手順３２５０において、方位角および仰角入力パラメータを用いて、正しいＩＩＲフィルタを調べて読み出す。その後、ロー・パス・フィルタ、ＬＦＥ利得、およびＥＱを用いることによって、低周波数強調を適用する（３２５５）。前部ステレオ対が架空の中央チャネルを含む場合、動作３２６０において中央−側部デコード・プロセスによってこれを抽出することができる。

動作３２６５において、動作３２４０からのフィルタ、ならびに距離および残響入力値を用いて、本処理方法の定位効果を適用することによって、合成ステレオ信号を生成し、部屋シミュレーション残響およびパラメータＥＱの多数の帯域を適用して、あらゆるトーン・カラライゼーションを補正する。

最後に、動作３２７０において、定位した前部信号、定位した後部信号、中央信号、およびＬＦＥ信号を合算して合成ステレオ対を得ることによって、これらの信号をダウン・ミキシングすることができる。この出力ステレオ・バッファには、その後動作３２７５において、処理した信号を入力し、このオーディオ・バッファを外部プロセスに戻す。

図２５は、図２４において上で説明した手順と共に用いるように構成されたコンポーネントの配線図の一例を示す。（可変率中央バイパス動作(percent-center bypass operation)に関しては、その詳細な説明を副章Ｇにおいて以下で示す）。ＨＲＴＦ３３００、内耳時間遅延３３０５、および内耳振幅差３３１０、ならびに距離および残響３３１５コンポーネント（図示する各チャネルにおける）は、図２３に関して先に説明したような機能を実行し、前述のような２チャネル定位プロセスを実行するために利用されるコンポーネントを備えている。左前部および右前部の定位のために、このようなコンポーネントの集合が２組あり、更に左後部および右後部の定位のために２組ある。

いずれの２回で１組の定位のために２チャネル定位プロセスを実行するために用いられるコンポーネントも、いずれのモノ入力信号にも適用することができる。例えば、前に述べた２チャネル定位プロセスのいずれかを左前部、右前部、左後部、および／または右後部信号に適用することに加えてまたはその代わりに、１つ以上の実施形態では、中央チャネル信号に対して定位を行うように構成することもできる。尚、このような中央チャネル信号は、マルチチャネル入力ストリームにおいてしばしば供給されるような、真の中央チャネル入力であってもよく、あるいはＭ−Ｓデコーダまたは他の中央チャネル・デコーディング・アルゴリズムから導き出してもよい。同様に、前に述べた２チャネル定位プロセスは、構成に関係なく、いずれの入力信号にも適用することができる。例えば、少なくとも１つの実施形態において図２５のコンポーネントを用いて、離散入力信号定位を、７．１、１０．２、および他のマルチチャネル入力構成に、必要に応じておよび／または所望通りに適用することができる。

Ｃ．マルチチャネル入力対３チャネル出力
本開示によるマルチチャネル入力対３チャネル（左、中央、および右、またはＬＣＲ）の埋め込みプロセスでは、１組の離散マルチチャネル・モノ・オーディオ信号を、仮想マルチチャネル構成指定に加えて、受け取る。このプロセスは、いずれのマルチチャネル入力にも適用することができ、３．０，３．１，４．０，５．１，６．１，７．１，１０．２等を含むがこれらに限定されるのではない。つまり、本プロセスは最小でも３チャネル入力を有するいずれのマルチチャネル構成でもサポートする。このプロセスは、上の副章Ｂにおいて既に説明したマルチチャネル入力／２チャネル出力プロセスと同様である。２チャネル構成と３チャネル構成との間の相違には、左前部および右前部信号に適用される可変率中央バイパス・（副章Ｇにおいて以下に示すその詳細な説明を参照のこと）がなく、入力中央チャネルを直接出力中央チャネルに、利得を適用して、導くことが含まれる。

例示の目的で、本開示は、標準５．１入力（左前部、右前部、中央、左サラウンド、右サラウンド、および低周波数効果）を代表的マルチチャネル音源として再度採用する。標準的な５．１設定（左前部、右前部、中央、左サラウンド、右サラウンド、および低周波数効果）とした１組の離散モノ・オーディオ信号が入力として与えられると、実際の中央チャネル出力を有する仮想５．１出力を形成することができる。この変種(variant)は、最小のフェーズで信号対（例えば、左／右前部または後部対）の独立した定位を可能にする。このタイプの定位は、いずれの数のマルチチャネル入力にも拡張することができる。以前の２チャネルの例と同様、方位角定位パラメータは標準的なＩＴＵ７７５値に設定されるが、これは本プロセスの要件ではなく、一例として用いられるに過ぎない。

３チャネルの変種は、仮想マルチチャネル効果が望まれ、（第３の）物理的中央チャネルが出力に利用可能ないずれの埋め込み解決策(embedded solution)にも適用することができる。その効果は、従前のステレオ・スピーカ音場の外側であっても、明確で均衡の取れた出力が得られることである（即ち、大きく拡大したスイート・スポットが得られる）。

先に説明したマルチチャネル入力対２チャネル出力と同様、種々の信号定位構成の組み合わせも、マルチチャネル音源内にある実際のチャネル数に基づいて、しかるべく拡張することができる。

図２６は、５．１入力を一例として用いる、本開示による３チャネル信号定位のためのプロセス・フローの一実施形態を示す。図２６に示すように、５．１（または他の入力）構成を確立し（３４００）、選択したオーディオ・ファイルまたはストリームを送る（３４０５）動作は、３チャネル信号定位プロセス３４１０の前に、そしてその外部で行われる。

３チャネル信号定位プロセスは、パラメータ設定経路において、外部プロセスからマルチチャネル構成入力パラメータを受け取る動作（３４１５）から開始する。ＤＳＰ入力パラメータも、外部プロセスから受け取る（３４２０）。動作３４１５および３４２０からのパラメータを処理のために格納する（３４２５）。その後、利得、ＥＱ値等のような、定位に関係ない全てのＤＳＰパラメータを処理のために設定する（３４３０）。

代わりの動作３４３５ａ、３４３５ｂ、および３４３５ｃでは、前部ステレオ対（後部定位のみが得られる）または後部ステレオ対（前方定位のみが得られる）に対する定位をバイパスするために、マルチチャネル構成を用いるか、または前部ステレオ対に対する方位角定位パラメータを設定する。この例では、ステップ３４３５ｃを実行する場合、前部対方位角値を標準的なＩＴＵ７７５値に設定する。

代わりの動作３４４０ａ，３４４０ｂ，３４４０は、それぞれ、動作３４３５ａ，３４３５ｂ，３４３５ｃに対応し、定位のためにマルチチャネル構成を使用して関連する方位角パラメータ設定を完了することによって、動作３４３５ａ，３４３５ｂ，３４３５ｃを引き立たせる(compliment)。この例では、動作３４３５ａを実行する場合、続いて動作３４４０ａを実行し、後部ステレオ対方位角値を標準的なＩＴＵ７７５値に設定する。３４３５ｂ／３４４０ｂ経路および３４３５ｃ／３４４０ｃ経路は同様に、この場合もＩＴＵ７７５を一例として用いて、定位のために方位角パラメータを設定する。

これよりプロセス３４１０のオーディオ信号経路を参照すると、動作３４４５は、フレーム・サイズが固定の入力オーディオ・バッファを外部プロセスから受け取る。手順３４５０において、方位角および仰角入力パラメータを用いて、正しいＩＩＲフィルタを調べて読み出す。その後、ロー・パス・フィルタ、ＬＦＥ利得、およびＥＱを用いることによって、低周波数強調を適用する（３４５５）。

入力信号が専用中央チャネルを含むので、動作３４６０は入力中央チャネルを出力チャネルに導き、動作３４３０において設定した利得値を適用することを含む。動作３４５０からのフィルタ、ならびに距離および残響入力値を用いて、本処理方法の定位効果を適用することによって、合成ステレオ信号を生成し、部屋シミュレーション残響およびパラメータＥＱの多数の帯域を適用して、あらゆるトーン・カラライゼーションを補正する（動作３４６５）。

最後に、動作３４７０において、定位した前部信号、定位した後部信号、中央信号、およびＬＦＥ信号を合算して合成ステレオ対を得ることによって、これらの信号をダウン・ミキシングすることができる。この出力ステレオ・バッファおよび中央チャネル出力モノ・バッファには、その後動作３４７５において、処理した信号を入力し、このオーディオ・バッファを外部プロセスに戻す。

図２７は、図２６において先に説明したプロセスと共に用いるように構成されたコンポーネントの配線図の一例を示す。ＨＲＴＦ３５００、内耳時間遅延３５０５、および内耳振幅差３５１０、ならびに距離および残響３５１５コンポーネント（示されている各チャネルにおいて）が、図２３に関して先に説明した機能を実行し、以上で説明したような、３チャネル定位プロセスを実行するために利用されるコンポーネントを備えている。左前部および右前部の定位のために、このようなコンポーネントが２組あり、更に左後部および右後部の定位のために２組ある。しかしながら、図２５と比較して、中央チャネル（Ｃｉｎ，ｏｕｔ）が中央バイパス３５０１を介して接続されていない。

Ｄ．２チャネル入力対３チャネル出力
本開示による２チャネル入力対３チャネル（左、中央、および右、またはＬＣＲ）出力のための埋め込みプロセスは、ステレオ信号を入力として受け取り、現実感のある中央チャネル出力を有するステレオ拡張出力を形成する。この構成に独特な２つの側面(aspects)は、最小のフェーズによるステレオ拡張、および鮮明な(non-smeared)中央信号である。左および右信号を合算することによって、真のモノ中央信号が得られる。しかしながら、架空中央と呼ばれる、ある量の中央情報が、拡張側部(expanded side)信号に現れる。側部信号からこの架空中央を分離するために、中央−側部デコーディング(Mid-Side Decoding)を用いることができる（その詳細な説明については、副章Ｇにおいて以下で示す、本明細書の詳細な説明を参照のこと）。真のモノ中央を、分離した中間信号から差し引いて、ステレオ拡張によって汚されていない明確な中央信号を残す。

この構成は、ステレオ入力信号の拡張が望まれ、更に（第３の）物理的中央チャネルが出力に利用可能ないずれの埋め込み解決策(embedded solution)にも適用することができる。その効果は、従前のステレオ・スピーカ音場の外側であっても、明確で均衡の取れた出力が得られることである（即ち、先に説明したように、大きく拡大したスイート・スポットが得られる）。

図２８は、本開示による、ステレオ入力対３チャネル出力のためのプロセス・フローの一実施形態を示す。図２８に示すように、実行可能ファイルを初期化する動作（３６００）は、３チャネル信号定位プロセス（３６０５）の前に、そしてその外部で行われる。

この信号定位プロセスは、外部プロセスから入力パラメータを受け取る動作（動作３６１０）から開始し、フレーム・サイズが固定の入力オーディオ・バッファを外部プロセスから受け取る（動作３６２０）。これらの入力パラメータを処理のために格納する（動作３６１５）。動作３６２５において、動作３６１０からの方位角および仰角入力パラメータを用いて、真のＩＩＲフィルタを調べて読み出すことができる。

グローバル・バイパス・パラメータが設定されていない場合（判断ブロック３６２９）、動作３６３０においてロー・パス・フィルタ、ＬＦＥ利得、およびＥＱを用いることによって、低周波数強調を適用することができる。その後、動作３６２５からのフィルタ、ならびに距離および残響入力値を用いて、本処理方法の定位効果を適用し、合成ステレオ信号を生成することができ、更に部屋シミュレーション残響およびパラメータＥＱの多数の帯域を適用してあらゆるトーン・カラライゼーションを補正する。同時に、中央−側部デコード・プロセス（その詳細な説明については、副章Ｇにおいて以下で示す、本明細書の詳細な説明を参照のこと）によって、架空中央チャネルを前部ステレオ対から抽出することができる。その後、動作３６４５において、右および左入力信号を合算し（そして２で除算し）、３６４０において抽出した架空中央からこのモノ信号を差し引き、それを専用出力中央チャネルに導き、動作３６１５においてプリアンプ利得値を適用することによって、中央モノ・チャネルを形成することができる。動作３６５０において、左および右信号を合算することができる。１つ以上の出力バッファに、処理したステレオ信号およびモノ中央信号を入力することができ、オーディオ・バッファを外部プロセスに戻すことができる。

グローバル・バイパス・パラメータが設定されている場合（判断ブロック３６２９）、本プロセスは直接動作３６２５から前述の動作３６５０に直接進む。
図２９は、図２８において先に説明したプロセスと共に用いるように構成されたコンポーネントの配線図の一例を示す。ＨＲＴＦ３７００、内耳時間遅延３７０５、および内耳振幅差３７１０、ならびに距離および残響３７１５のコンポーネント（示される各チャネルにおいて）が、図２３に関して先に説明した機能を実行し、前述のような、定位プロセスを実行するために利用するコンポーネントを備えている。

Ｅ．中央チャネル定位
本開示による中央チャネル定位のための埋め込みプロセスでは、ステレオ対信号を受け取り、定位中央チャネルを有する定位ステレオ出力を生成する。このプロセスは、副章Ｄにおいて既に説明したステレオ入力プロセスに類似する。これらのプロセス間の相違には、このプロセスでは専用の出力チャネルがないことが含まれる。加えて、ここで今説明している中央チャネル定位プロセスは、入力ステレオ対からの架空中央を用い、それを定位する。これは、通例、追加の仰角および距離を求めるためである（しかし、左または右方位角によって偏倚される可能性がある）。

例示のみを目的として、標準的な２チャネル・ステレオ入力をこの開示では採用する。しかしながら、このプロセスは、２．０，４．０，６．０等を含むがこれらには限定されない、あらゆる数のステレオ対入力にも拡張することができる。

中央−側部デコーディング（副章Ｇにおいて以下で示すこの処理の詳細な説明を参照のこと）を用いることによって、既に説明したように、いわゆる「架空」中央チャネル信号を取り込み、そしてその後左および右出力チャネルにダウン・ミキシングする前に、モノ定位コンポーネントを経由してこれを導き出すことができる。このプロセスには、仮想オーディオ単位球体上に中央チャネルを押し出すという音響効果があり、リスナーはこの仮想球体の中央にいる。この技法は、特に、ヘッドホンで聴くときに有益である。何故なら、ヘッドホン・スピーカの位置付けのために、中央チャネルが、リスナーの前方外ではなく、「リスナーの頭部中心」（即ち、実物のスピーカの水平面）において通例体験されるからである。しかしながら、外部スピーカの構成においても応用することができる。中央信号をリスナーの前方外に押し出すことによって、中央信号が拡張／定位した側部信号と相応することが可能になる。勿論、距離に加えて中央信号に仰角キューを適用させることができるように、最大限の定位を適用する。

このシステム構成は、ステレオ入力信号の拡張が望まれ、出力デバイス自体は１対のステレオ・スピーカしか有していない場合に、あらゆる埋め込み解決策において適用することができる。特に、このシステム構成は、ヘッドホンに直接に適用することができ、ヘッドホン自体の内部にあるプロセッサに埋め込まれていても、またはヘッドホンが接続されている別個のユニットに埋め込まれていてもよい。

図３０は、本開示による中央チャネル定位のためのプロセス・フローの一実施形態を示す。図３０に示すように、実行可能ファイルを初期化する動作（３８００）は、通例、中央チャネル定位プロセス３８０５の前に、そしてこのプロセスの外部で行われる。

中央チャネル定位プロセスは、外部プロセスから入力パラメータを受け取る動作３８１０から開始し、更に、フレーム・サイズが固定の入力オーディオ・バッファを外部プロセス３８２０から受け取る（３８２０）。動作３８１５において、これらの入力パラメータを処理のために格納する。動作３８２５において、動作３８１０からの方位角および仰角入力パラメータを用いて、正しいＩＩＲフィルタを調べて読み出すことができる。動作３８２７において、本実施形態は、グローバル・バイパス・パラメータが設定されているか否か判定を行う。

グローバル・バイパス・パラメータが設定されていない場合（判断ブロック３８２９）、動作３６３０においてロー・パス・フィルタ、ＬＦＥ利得、およびＥＱを用いることによって、低周波数強調を適用することができる。図２８に関して説明した３チャネルの例と比較すると、中央チャネル定位プロセスは、中央−側部デコード・プロセスによって、「架空」中央チャネルならびに左および右側部信号を抽出し、前部ステレオから分離する動作３８３１を含む。その後、動作３８３５において、動作３８２５からのフィルタ、ならびに距離および残響入力値を用いて、本処理方法の定位効果を適用し、合成ステレオ信号を生成することができ、更に部屋シミュレーション残響およびパラメータＥＱの多数の帯域を適用してあらゆるトーン・カラライゼーションを補正する。同時にまたは順次、中央−側部デコード・プロセスによって、架空中央チャネルを前部ステレオ対から抽出することができる（３８４０）。動作３８３５および３８４０からの出力を動作３８５０に受け渡し、そして任意に組み合わせることができる（動作３８３５／３８４０および３８５０間の菱形によって示されるように）。動作３８５０において、左および右信号を合算することができる。１つ以上の出力バッファに、処理したステレオ信号およびモノ中央信号を入力することができ、オーディオ・バッファを外部プロセスに戻すことができる。

グローバル・バイパス・パラメータが設定されている場合（判断ブロック３８２９）、前述のように、本プロセスは直接動作３８２５から前述の動作３８５０に直接進む。
図３１は、図３０において先に説明したプロセスと共に用いるように構成されたコンポーネントの配線図の一例を示す。ＨＲＴＦ３９００、内耳時間遅延３９０５、および内耳振幅差３９１０、ならびに距離および残響３９１５のコンポーネント（示されている４つのチャネルの各々において）が、図２３に関して先に説明した機能を実行し、前述のように、定位プロセスを実行するために利用するコンポーネントを備えている。左前部および右前部の定位のために、このようなコンポーネントの集合が２組あり、更に左中央および右中央の定位のために２組ある。

Ｆ．ＬｔＲｔ信号の２チャネル入力
本発明によるＬｔＲｔ（左総合／右総合）信号の２チャネル入力のための埋め込みプロセスは、ＬｔＲｔとしてエンコードされたステレオ対信号を受け取り、仮想マルチチャネル聴取体験として、定位されたステレオ出力を生成する。具体的には、このプロセスはマトリクス化サラウンド情報(matrixed surround information)を抽出し、それを１つの仮想サラウンド・チャネルとして定位する。ＬｔＲｔ信号は、マルチチャネルをミキシングによってステレオにする、例えば、５．１をステレオに落とす(folded-down)ＬＣＲＳ（左、中央、右、およびサラウンド）マトリクス縮減プロセス(matrix fold-down process)の結果である。ＬｔＲｔオーディオが正しいデコーダを通じて供給された場合、その結果、元のサラウンド・ミキシングが戻される。ここで説明している定位プロセスは、中央チャネル定位に関する先の副章Ｅにおいて説明したステレオ入力プロセスに類似するが、後部チャネル情報をＬｔＲｔ入力から抽出し、それを１つの仮想後部サラウンド・チャネルとして定位する追加のプロセスを有する。更に、ここで説明している定位プロセスは、３チャネル出力システムがある場合（即ち、専用の実在する中央スピーカ）、２チャネル入力対３チャネル出力に関して先に副章Ｄにおいて説明したプロセスと組み合わせる（またはこのプロセスに適用する）ことができる。

このシステム構成は、入力ＬｔＲｔ信号（映画からのような）を仮想マルチチャネル・ステレオとして出力しようとしており、出力デバイス自体には１つの対のステレオ・スピーカしかない場合に、あらゆる埋め込み解決策において適用することができる。特に、このシステム構成は、ヘッドホンに直接に適用することができ、ヘッドホン自体の内部にあるプロセッサに埋め込まれていても、またはヘッドホンが接続されている別個のユニットに埋め込まれていてもよい。

図３２ａは、本開示によるＬｔＲｔ信号定位のためのプロセス・フローの一実施形態を示す。図３２ａに示すように、実行可能ファイルを初期化する動作（４０００ａ）は、通例、ＬｔＲｔ信号定位プロセス４００５ａの前に、そしてこのプロセスの外部で行われる。

ＬｔＲｔ信号定位プロセスは、外部プロセスから入力パラメータを受け取る動作４０１０ａから開始し、更に、フレーム・サイズが固定の入力オーディオ・バッファを外部プロセスから受け取る（４０２０ａ）。動作４０１５ａにおいて、これらの入力パラメータを処理のために格納する。動作４０２５ａにおいて、動作４０１０ａからの方位角および仰角入力パラメータを用いて、正しいＩＩＲフィルタを調べて読み出すことができる。

グローバル・バイパス・パラメータが設定されていない場合（判断ブロック４０２９ａ）、動作４０３０ａにおいてロー・パス・フィルタ、ＬＦＥ利得、およびＥＱを用いることによって、低周波数強調を適用することができる。動作４０３１ａにおいて、本プロセスは、LeftBiasedRear = L - RおよびRightBiasedRear = R - Lを取り込み、これらを合算し、２で除算し、調整可能なロー・パス・フィルタ（［２０Ｈｚ，１０ＫＨｚ］の範囲で）を適用することによって、左バイアスおよび右バイアス位相外れサラウンド・チャネル情報を抽出し、CenterRearSurroundチャネルを生成することができる。

プロセス４０３２ａにおいて、本プロセスは、中央−側部デコード・プロセス（副章Ｇにおいて以下で示すこの処理の詳細な説明を参照のこと）によって、架空中央チャネルならびに左および右側部信号を抽出し、前部ステレオ対から分離することができ、これによって、CenterLeftおよびCenterRight信号に利得を適用させることができる。次いで、本プロセスは、動作４０３３ａにおいて、MonoCenter=L+Rを取り込み、動作４０３１ａにおいて形成したCenterRearSurroundを差し引くことによって、TrueCenterチャネルを得ることができる。

その後、動作４０３５ａにおいて、本プロセスは、距離および残響入力値を含む、動作４０２５ａからのパラメータを用いて、本処理アルゴリズムの定位効果を、動作４０３２ａから抽出した両側部信号に適用し、合成ステレオ信号を生成し、部屋シミュレーション残響およびパラメータＥＱの多数の帯域を適用してあらゆるトーン・カラライゼーションを補正することができる。同時に、動作４０４０ａにおいて、本プロセスは、距離および残響入力値を含む、動作４０２５ａからのパラメータを用いて、本処理アルゴリズムの定位効果を、動作４０３３ａから抽出したTrueCenter信号に適用し、合成ステレオ信号を生成し、部屋シミュレーション残響およびパラメータＥＱの多数の帯域を適用してあらゆるトーン・カラライゼーションを補正することができる。尚、距離キューおよび残響の使用は、この動作では任意であることを注記しておく。また、同時に、動作４０４５ａにおいて、本プロセスは、距離および残響入力値を含む、動作４０２５ａからのパラメータを用いて、本処理アルゴリズムの定位効果を、動作４０３１ａから抽出したCenterRearSurround信号に適用し、合成ステレオ信号を生成し、部屋シミュレーション残響およびパラメータＥＱの多数の帯域を適用してあらゆるトーン・カラライゼーションを補正することができる。その後、本プロセスは左および右信号を合算し、出力バッファに、処理したステレオ信号を入力し、そして動作４０５０ａにおいてオーディオ・バッファを外部プロセスに戻すことができる。

グローバル・バイパス・パラメータが設定されている場合（判断ブロック４０２９ａ）、前述のように、本プロセスは直接動作４０２５ａから前述の動作４０５０ａに直接進む。

図３３ａは、図３２ａにおいて先に説明したアルゴリズムと共に用いるように構成されたコンポーネントの配線図の一例を示す。ＨＲＴＦ４１００ａ、内耳時間遅延４１０５ａ、および内耳振幅差４１１０ａ、ならびに距離および残響４１１５ａのコンポーネントは（示されている４つのチャネルの各々において）、図２３に関して先に説明した機能を実行し、前述のようにＬｔＲｔ信号定位プロセスを実行するために利用したコンポーネントを備えている。左前部および右前部の定位のために、このようなコンポーネントの集合が２組あり、更に仮想中央前および仮想中央後部の定位のために２組ある。更に、図３３ａに示すように、距離キューおよび残響セクションをバイパスし、定位した信号を（音響的に知覚される）単位球体上に置くことができる。

本開示によるＬｔＲｔ信号の２チャネル入力のための代わりの埋め込みプロセスを図３２ｂおよび図３３ｂに示す。この代わりのプロセスは、図３２ａおよび図３３ａに関して先に示し説明したプロセスに関係があるが、全体的に後部サラウンド・チャネルをどのように扱うかに関して相違する。前述のプロセスと同様、この代わりの埋め込みプロセスも、ＬｔＲｔとしてエンコードされたステレオ対信号を取り込み、定位ステレオ出力を仮想マルチチャネル聴取体験として生成する。しかしながら、この代わりの方法は、１つの後部サラウンドに定位するのではなく、各後部サラウンド・チャネル（左および右サラウンド）を個別に定位する。

前述のプロセスと同様、この代わりのプロセスも、入力ＬＴＲＴ信号（映画からの信号というような）を仮想マルチチャネル・ステレオとして出力しようとしており、出力デバイス自体には１つの対のステレオ・スピーカしかない場合に、あらゆる埋め込み解決策において適用することができる。特に、この代替案は、ヘッドホンに直接に適用することができ、ヘッドホン自体の内部にあるプロセッサに埋め込まれていても、またはヘッドホンが接続されている別個のユニットに埋め込まれていてもよい。

図３２ｂは、本開示によるＬｔＲｔ信号定位のための代わりのプロセス・フローの一実施形態を示す。図３２ｂに示すように、実行可能ファイルを初期化する動作（４０００ｂ）は、ＬｔＲｔ信号定位プロセス４００５ｂの前に、そしてこのプロセスの外部で行われる。

ＬｔＲｔ信号定位プロセスは、外部プロセスから入力パラメータを受け取る動作４０１０ｂから開始し、更に、フレーム・サイズが固定の入力オーディオ・バッファを外部プロセスから受け取る（４０２０ｂ）。動作４０１５ｂにおいて、これらの入力パラメータを処理のために格納する。動作４０２５ｂにおいて、動作４０１０ｂからの方位角および仰角入力パラメータを用いて、正しいＩＩＲフィルタを調べて読み出すことができる。

グローバル・バイパス・パラメータが設定されていない場合（判断ブロック４０２９ｂ）、動作４０３０ｂにおいてロー・パス・フィルタ、ＬＦＥ利得、およびＥＱを用いることによって、低周波数強調を適用することができる。ＬｔＲｔ信号定位プロセスは、右信号を左（左バイアス後部サラウンドを与える）から差し引くことにより、そして左信号を右（右バイアス後部サラウンドを与える）から差し引くことによって、後部サラウンド・チャネルを抽出し分離する動作４０３１ｂを含む。その後、調整可能なロー・パス・フィルタ（［２０Ｈｚ、１０ＫＨｚ］の範囲で）を適用することができる。中央チャネル定位プロセスと同様に、ＬｔＲｔ信号定位プロセスは、中央−側部デコード・プロセスによって、「架空」中央チャネルならびに左および右側部信号を抽出し、前部ステレオから分離する動作４０３２ｂを含む。

その後、動作４０３５ｂにおいて、動作４０２５ｂからのフィルタならびに距離および残響入力値を用いて、本処理アルゴリズムの定位効果を適用して、合成ステレオ信号を生成し、部屋シミュレーション残響およびパラメータＥＱの多数の帯域を適用してあらゆるトーン・カラライゼーションを補正することができる。同時に、動作４０４０ｂにおいて、中央−側部デコード・プロセス４０３２ｂによって、中央チャネルを前部ステレオ対から抽出することができる。また同時に、動作４０４５ｂにおいて、４０２５ｂからのフィルタならびに距離および残響入力値を用いて、本処理アルゴリズムの定位効果を、動作４０３１ｂから抽出した左後部および右後部サラウンド信号に適用し、２つの合成ステレオ信号を生成し、更に部屋シミュレーション残響およびパラメータＥＱの多数の帯域を適用してあらゆるトーン・カラライゼーションを補正することができる。最後に、動作４０５０ｂにおいて、左および右信号を合算することができる。１つ以上の出力バッファに、処理したステレオ信号を入力し、更にモノ中央信号を入力し、オーディオ・バッファを外部プロセスに戻すことができる。

グローバル・バイパス・パラメータが設定されている場合（判断ブロック４０２９ｂ）、前述のように、本プロセスは直接動作４０２５ｂから前述の動作４０５０ｂに直接進む。

図３３ｂは、図３２ｂにおいて先に説明した代わりのアルゴリズムと共に用いるように構成されたコンポーネントの配線図の一例を示す。 ＨＲＴＦ４１００ｂ、内耳時間遅延４１０５ｂ、および内耳振幅差４１１０ｂ、ならびに距離および残響４１１５ｂのコンポーネントは（示されている６つのチャネルの各々において）、図２３に関して先に説明した機能を実行し、前述のようにＬｔＲｔ信号定位プロセスを実行するために利用したコンポーネントを備えている。このようなコンポーネントの集合は、左前部および右前部の定位のために２組あり、左中央および右中央定位のために２組あり、更に左および右仮想後部定位のために２組ある。

Ｇ．パーセント−中央バイパス・(Percent-Center Bypass)
既に開示したシステム構成の中には、それぞれの配線図例に示すように、パーセント−中央バイパス・（以後「％−中央バイパス・」）プロセスを採用するものがいくつかある。本開示による％−中央バイパス・プロセスを図３４に示す。

％−中央バイパス・は、中央−側部デコーダを用いる。このプロセスは、図面上のそれぞれのブロックを大括弧付きで参照しつつ、以下のように説明することができる。
centerConcentrationを範囲（０．１）における実数値とする［ブロック４２００］。

Ｌ＝左ステレオ信号、およびＲ＝右ステレオ信号とし、その信号をコピーする［ブロック４２０５，４２１０］。
centerBus(L)をＭＳ−デコード・プロセスによって生成した架空中央信号の左側（ステレオ対の意味で）とし［ブロック４２２５］、centerBus(R)を右側とする［ブロック４２３０］。

sideChan(L)をＭＳ−デコード・プロセスによって生成した側部信号の左側（ステレオ対の意味で）とし［ブロック４２３５］、sideChan(R)を右側とする［ブロック４２４０］。

Mono ＝ (L + R) / 2［ブロック４２２０］
CenterBus(L) ＝ centerConcentration * mono + (1 - centerConcentration) * L;
centerBus(R) ＝ centerConcentration * mono + (1 - centerConcentration) * R;
sideChan(L) ＝ centerConcentration * (L - mono);および
sideChan(R) ＝ centerConcentration * (R - mono)
centerConcentration制御は、合成中央チャネル情報の量を調節する。即ち、％−中央バイパス・を制御する。側部信号のみが、定位のためのそれぞれのシステム情勢処理コンポーネントに受け渡される。centerConcentrationを１００％（１．０）に設定すると、中央チャネルはモノのみを受け取り、一方、側部チャネルは元の信号(original)からモノを差し引いて受け取る。この設定の結果、元のステレオ入力信号に含まれる架空中央情報が完全に無視され、側部信号が定位処理のために分離されることになる。対極において、centerConcentrationを０％（０．０）に設定すると、中央チャネルは、モノのない、元の分離された左および右チャネルを受け取り、側部信号は消去される(zero out)。この設定の結果、定位する側部信号はなくなり、中央チャネルにはバイアス合成信号が得られる。５０％では、左および右チャネルは６ｄｂだけ減衰し、中央は半分がモノで半分が側部信号を合わせた信号を受け取る。側部信号の定位処理の後、左信号の全てを合算し、右信号の全てを合算する。

Lfinal ＝ centerBus(L) + sideChan(L)
Rfinal ＝ centerBus(R) + sideChan(R)
ステレオ対の一方側、例えば、左側を処理する観点からは、単一側配線図は、図３５に示すようになり、この観点は、本文書内においてこれまでに開示した配線図の内、％−中央バイパス・を用いるもの全てに示される。

Ｈ．マルチチャネル入力ダウン・ミキシング−マルチチャネル出力
本開示によるマルチチャネル入力ダウン・ミキシング−マルチチャネル出力のための埋め込みプロセスは、１組の離散マルチチャネル・オーディオ信号と、所望のマルチチャネル出力構成の指定を受け取ることができる。例えば、マルチチャネル入力オーディオ信号は、５．１、７．１、１０．２またはその他というようないずれのフォーマットでもよく、所望の出力構成は、マルチチャネル入力オーディオ信号において供給される成分と同じ成分またはそれより少ない成分を含む。例えば、７．１入力信号を５．１成分構成で出力すること、または５．１入力信号を３．１成分構成で出力することが望ましい。少なくとも１つの実施形態では、この入力信号をそれよりも少ない出力成分にミキシングすることに対処するために、本明細書において説明した種々の定位効果を応用することができる。一実施形態では、１つ以上の定位効果を、１つ１つの信号から一致した対に適用すると、その結果左および右出力信号成分双方に同等の効果が適用されることになる。他の実施形態では、定位効果を多数の入力信号に適用すると、多数の出力信号成分にわたって同等の効果が適用されることになる。例えば、定位効果を離散７．１入力に適用することができ、その結果、混合仮想離散５．１出力が得られ、オーディオ信号（例えば、後部信号）の内１つのチャネルのみが仮想化され、オーディオ信号の残りのチャネルは、修正されず離散のまま留まる。本明細書において説明した３−Ｄおよび／または４−Ｄ定位効果というような、１つ以上の定位効果は、多数の入力信号に適用することができる。すると、定位した入力信号からステレオ信号が得られ、このステレオ信号を所望の左−右出力チャネル対、例えば、サラウンド左およびサラウンド右チャネル対に導出する、または言い換えると供給することができる。少なくとも１つの実施形態では、残りの出力信号、例えば、左前部および右前部は、修正されずに、離散出力として留まる。加えておよび／または代わりに、１つ以上の定位効果を１つよりも多い一致した対に適用することもできる。このような実施態様は、入力および出力チャネルの数が等しいが、それでも他の定位効果が望まれるときに望ましいと考えられる。例えば、７．１チャネル入力信号が本来全く定位効果を含んでいない場合、本明細書において説明した効果の内１つ以上によって定位して、定位７．１チャネル出力信号を供給し、７．１出力成分構成に供給することができる。出力信号チャネル数を減らさずに定位を適用するとき（受け取った入力信号チャネルの数に基づくというように）、いずれの定位効果を適用する場合でも、１つ以上の新たな信号をミキシングすることによって、しかるべき１対の出力チャネルまたはそれ以上を生成することは認められよう。このような定位効果を適用すると、オーディオ入力ストリームを強調して、所望通りに、音源の仰角の仮想上昇および／または低下を含む、拡張音響、またそうでなければ定位音響を、いずれのドメイン（３−Ｄおよび／または４−Ｄ）においても供給することができる。尚、本明細書において説明した種々の定位効果の内１つ以上を適用することにより、更に一層現実感のあるオーディオ環境を創作できることは認められよう。例えば、オンライン・ゲームに参加しているリスナーにとって、例えば、第１パス(pass)上の戦闘機の存在が（仮想的に）より高く思われる場合、第２の機銃掃射パス上におけるこの戦闘機の存在は、コンポーネント構成およびその配置を実際に／物理的に変更しない。

更に具体的に、ダウン・ミキシング、および／または１つ以上の定位効果をマルチチャネル入力信号に適用して同じ数または少ない数のチャネル・コンポーネントの定位出力信号を形成する一実施形態例について、７．１入力信号の実施形態を参照して説明する。しかしながら、以下の説明は、入力信号チャネルのいずれの他の構成にも、いずれの所与の実施形態および構成についても所望通りに、適用できることは認められよう。広く一般に認められているように、７．１入力チャネル信号は、通例、左前部、右前部、中央、左サラウンド、右サラウンド、左後部、右後部、およびＬＦＥチャネルを含む。これらの信号の各々は、個々のモノ・オーディオ信号として特徴付けることができ、これらの信号から、混合仮想化５．１出力信号を生成することが望ましい。本明細書において説明した１つ以上のステレオ拡張技法を、左前部および右前部出力信号というような出力成分信号から選択した１対に適用し、一方左後部および右後部出力信号（７．１信号フォーマットにおいて供給される）を３Ｄにおける空間配置のために完全に仮想化し、そして残りの中央チャネル、ＬＦＥ、ならびに左および右サラウンド信号は無修正のままで、元々供給されたときの離散形態になっている。尚、本明細書において説明した１つ以上の定位および／または仮想化効果を適用すると、出力信号が独立して定位された後部信号の特性を有し（対応する前部チャネルによってリスナーに提示されるように）、前信号対によって供給される拡張音響段(expanded sound stage)が最小限の位相不連続および／または歪みを有するという結果を得ることができることは認められよう。

更に、マルチチャネル入力ダウン・ミキシング−マルチチャネル出力プロセスは、マルチチャネル出力コンポーネント構成に３−Ｄ効果が望まれるあらゆる埋め込み解決手段において適用できることは認められよう。例えば、公開劇場設定または個人の（例えば、ホーム・シアター）劇場設定において、入力源のオーディオ入力信号が、所与の出力コンポーネント構成に利用可能なオーディオ入力信号よりも多い場合、もっと多くのコンポーネントを追加することによってシアターを変更するのではなく、本明細書において説明した定位効果の内１つ以上を入力信号に適用し、所与の出力コンポーネント構成に相応する出力信号を生成することができる。本明細書において説明したアルゴリズムの１つ以上をオーディオ再生システム内に埋め込むことによって、またはそれ以外ではこのオーディオ再生システムに利用可能にすることによって（例えば、ファームウェアのダウンロード、インターネット接続を通じたオフサイト処理システムへのコール、またはその他によって利用可能にすることができる）、本明細書において説明した種々の実施形態の構成変更可能な本質のために、いずれの数の入力チャネルであっても処理して、いずれの数の出力チャネルにでも（チャネル数が少なくなる場合も多くなる場合も含む）導出することが可能になる。また、適用する具体的な定位効果も、コンテンツのタイプ（例えば、ゲーム愛好家は、コンサートを聴く人とは異なる定位を望むかもしれない）、利用可能な入力チャネルの数、利用可能な入力チャネルのタイプ、利用可能な出力コンポーネントの数、およびこのような出力コンポーネントの特性というような、種々の要因に基づいて、リアル・タイムで選択することができる。例えば、前部のスピーカが最大出力に設定した高パワー・コンポーネントであるが、サラウンドまたは他の利用可能なスピーカがそれよりも少ないまたは多い特定の能力を有するという所与の出力コンポーネント構成では、所与の１つ以上の定位効果を適用するのか、または他の利用可能な定位効果を適用するのか、という選択になるのでもよい。

これより図３６を参照すると、マルチチャネル入力信号を同じ数または少ない数の定位出力信号に定位するプロセスの一実施形態例が示されている。図示のように、このプロセスは、７．１入力チャネル信号源から、定位５．１出力チャネル信号を得ることに関して示されている。しかしながら、本明細書において説明した概念、プロセス・フロー、および原理は、入力信号および定位出力信号のいずれの所望の組み合わせにも適用することができる。

本明細書に記載した他の実施形態例に関して先に示したように、破線エリアの外側で行われる動作は、今説明している定位プロセスの外部で行われてもよい。したがって、本プロセスは、オーディオ・システムが入力信号の構成の識別(identification)を受け取ったとき（動作５０００）に実施すればよい。例えば、７．１チャネル入力信号源の入力構成は、入力信号自体の内部で規定され、オーディオ・システムの操作者によって選択され、他の入力パラメータに基づいてデコードされる、またはその他であってもよい。入力信号特性をどのように受け取る、判断する、または検出するかには関係なく、これを特定したときに、本プロセスは続いて、選択したオーディオ・ファイルまたはストリームをオーディオ・システム・コンポーネントに伝達し、本明細書において説明した１つ以上の定位効果を適用する（動作５００２）。

この時点において、図３６に示す動作は、少なくとも２本の処理経路に沿って進む。しかしながら、これらの処理経路の各々の多数のインスタンスが、同時にまたは実質的に同時に、いずれかの所与のオーディオ・システム・コンポーネントにおいて行われてもよいことは、認められよう。例えば、クアッド・コア・プロセッサ(quad core processor)上で動作するソフトウェアにおいてディジタル信号プロセッサとして設けられたオーディオ・システム・コンポーネントは、所望に応じて、いずれかまたは双方の経路の多数のインスタンスを実行することもできる。つまり、以下の論述は各経路を別個に説明することは認められようが、各経路は、１つ以上のプロセス・ステップとして処理されるとき（ハードウェアおよび／またはソフトウェアにおいてインスタンス化することができる）、多数のインスタンスおよび／またはその変形と組み合わせて、および／または多数のインスタンスおよび／またはその変形において、別個に行うことができる。

最初に図３６に示す「パラメータ設定経路」から始めると、本プロセスは、入力チャネル信号構成（例えば、７．１）を受け取る動作（動作５００４）を含むことができる。尚、この動作および本明細書において説明した他の動作は、いずれかの所与の実施態様に基づいて、任意選択肢と見なしてもよいことは認められよう。例えば、所与の構成は、常にある一定の特性（例えば、７．１）の入力信号のみを受け取るように常に構成されていることもあり、この場合、構成パラメータを受け取る必要はなくてもよく、本明細書において説明した他のプロセス・ステップも実施しなくてもよいか、または必要でなくてもよい。

また、本プロセスは、出力信号構成およびＤＳＰパラメータ、および／または所望のダウン・ミキシングおよび定位を遂行するために利用される他のパラメータを受け取る動作（動作５００６）も含むことができる。ＤＳＰパラメータは、具体的に、結果的に得られる定位信号に適用すべき、所要の方位角［０°，３５９°］、仰角［９０°、−９０°］、および距離キュー・データ［０，１００］（０の場合、頭の中央で音響が知覚され、１００は任意の離れた位置である）を含むことができる。前述のように、適用する定位効果は、例えば、出力コンポーネント構成、コンポーネントの特性、コンテンツのタイプ、およびリスナーの好みに基づいて様々であってよい。更に、受け取られるパラメータおよび／または定位効果は、埋め込む、ダウンロードする、（離れてホストされているサービスまたはそれ以外のホストされているサービスに）コールする、またそうでなければ特定し、利用するのであってもよいことは認められよう。これらのＤＳＰパラメータは、格納する、またはそうでなければ、必要に応じて、ＤＳＰまたは入力信号に望まれる１つ以上の定位効果を適用する他のプロセッサに利用可能にするのでもよい（動作５００８）。尚、このような格納は、指定されたアクセス時刻および他の動作パラメータを満たすのであれば、いずれのローカル記憶デバイスまたはリモート記憶デバイスにおいても行うことができることは認められよう。

更に、本プロセスは利得、イコライザ値、および他のパラメータというような非定位ＤＳＰパラメータを設定する動作も含むことができる（動作５０１０）。尚、非定位入力チャネルおよび対応する出力チャネル・パラメータは、１つ以上の入力チャネル信号に適用しようとする１つ以上の定位効果に基づいて調節することが必要になる場合もあることは認められよう。本プロセスは、いずれかの所与の時点において望まれる、このような非定位パラメータを決定し適用するロジックを含むことができる。このロジックの例については、以上で説明した。

本プロセスは、少なくともこの実施形態については、３つのプロセス例の実施を、いずれかの所与の時点において含むことができる。これらのプロセス例の内第１のプロセスは、前部ステレオ出力チャネル対の定位をバイパスするために備えることができる（動作５０１２）。第２のプロセス例は、対応する後部ステレオ出力チャネル対（即ち、左後部および右後部）をバイパスするために備えることができる（動作５０１４）。第３のプロセス例は、前部ステレオ出力チャネル対に対して特定の方位角（または他の寸法パラメータ）を指定するために備えることができる（動作５０１６）。方位角範囲の例は、０°超から９０°未満まで任意に変化することができるが、公称上は２２．５°から３０°までである。

次に、そして動作５０１２、５０１４、および／または５０１６において指定された直前のプロセスに基づいて、相補動作を選択し実行する。これらの相補動作には、方位角を有するように左後部および右後部チャネルを設定することを含む。この方位角は、後部中央から０°超から後部中央から９０°未満まで任意に変化することができるが、公称上は後部中央から３０°である（動作５０１８および５０２２）。または、公称上２２．５°から３０°の任意の方位角を有するように、対応する前部チャネルを指定する(動作５０２０）。更にまたは代わりに、出力チャネル・コンポーネントのいずれの特定の構成と、それに対して遂行しようとする所望の１つ以上の定位効果との関係に基づいて、他の指定も適用することができる。

これより、図３６に示す「オーディオ信号経路」を参照すると、本プロセスは、処理のためにオーディオ信号のフレーム、パケット、セグメント、ブロック、またはストリームを受け取る動作も含むことができる（動作５０２４）。尚、このようなオーディオ・ストリームまたは複数のストリームは、アナログ・ドメインまたはディジタル・ドメインにおいて供給し、オーディオ信号の所与のセグメントを本明細書において説明した定位効果の内１つ以上による修正に適したパケットまたはフレームに（必要に応じて）変換するように、適した前処理を行うようにしてもよいことは認められてしかるべきである。

また、本プロセスは、１つ以上の定位効果を適用するために用いられる１つ以上のＩＩＲフィルタを入手する動作も含む（動作５０２６）。このようなフィルタは、１つ以上の方位角、仰角、および／または所与の定位効果に対して望まれる他のパラメータに基づいて入手するとよい。尚、フィルタの選択は、動作５０２４においてオーディオ信号の１つまたは複数のセグメントを受け取る前、受け取るのと同時、または受け取った後に行ってもよいことは認められよう。更に、利用しようとするフィルタは、ユーザの好み、コンテンツのタイプ、および／または他の要因に基づいて、時間の経過と共に変化してもよい。

次に、受け取ったオーディオ信号の所与のセグメントに適用するために選択した１つ以上のＩＩＲフィルタを適用する(動作５０２８および５０３０)。図３６に示すように、１つ以上の選択したフィルタリング・プロセスまたはフィルタリング以外のプロセス(non-filter process)（例えば、距離、残響、パラメータ等価、トーン・カラライゼーション補正、およびその他）の所与の入力オーディオ信号への適用は、並列で行われてもよい。あるいは、フィルタを直列にまたはそれ以外で適用してもよい。選択した１つ以上のフィルタは、前述のように、望まれる定位効果を得るために、入力オーディオ信号（１つまたは複数）に適用される。この実施形態例では、選択したフィルタを対応する後部入力信号に適用し（動作５０２８）、更に対応する前部入力信号に適用する（動作５０３０）。

また、本プロセスは、８つの入力信号（７．１入力信号の場合に供給されるような）を６個の出力信号（５．１コンポーネント構成において用いられるような）にダウン・ミキシングする動作を含むことができる（動作５０３２）。一実施形態では、このようなダウン・ミキシングは、後部入力信号を側部チャネルの合成ステレオ対（即ち、サラウンド左およびサラウンド右）に合算することによって行うことができる。他の実施形態では、後部入力信号の半分を対応する前部チャネルに合算し、半分を対応する側部チャネルに合算することによって、ダウン・ミキシングを行うこともできる。他の実施形態では、中央チャネルおよび／または前部チャネルおよび／または側部チャネルがあるおよび／またはないＬＦＥを利用することもできる。実際には、前部、側部、中央、および／またはＬＦＥチャネルのいずれの組み合わせでも、様々な可変比率で、後部入力信号と合算して、数が多い入力信号の構成（７．１のような）から数が少ない出力信号の構成（５．１のような）にダウン・ミキシングすることができる。

本プロセスは、例えば、１つ以上の出力バッファを用いて、処理した信号および未処理の信号を供給し、必要に応じて更にオーディオ処理を行うために、本開示にしたがって定位処理のために信号を入手した元のオーディオ処理ストリームにこれらの信号を戻すことによって終結する（動作５０３４）。

これより図３７を参照すると、図３６において先に説明したプロセスと共に用いるように構成されたコンポーネントの配線図の一例が示されている。図３７において示した配線図、および以上の配線図例のいずれの場合と同様、それによって設けられる機能は、ハードウェア（例えば、チップ上および／または専用ＤＳＰ内のシステムとして）、ソフトウェア（例えば、汎用、目的限定、または特殊プロセッサによって実施される１つ以上の動作ルーチンとして）、またはその組み合わせとして実現できることは認められよう。図３７に示すように、７．１チャネル入力信号を５．１チャネル出力信号に定位する実施形態では、左前部、右前部、左後部、および右後部チャネル（後部チャネルは、代わりに、「サラウンド」チャネルであると見なしてもよい）に対するプロセス・コアの例を示す。これらのプロセス・コアは、ＨＲＴＦ５０３６、内耳時間遅延５０３８、内耳振幅差５０４０、ならびに距離および残響５０４２のコンポーネント（示される各チャネルにおいて）を含むことができ、これらは図２３に関して先に説明したような機能を実行する。集合的に、これらのコンポーネントは、前述のような、３チャネル定位プロセスを実行する。この７．１から５．１へのダウン・ミキシングの実施形態例について示すように、対応する後部ブロックを、ステレオ拡張および定位のために対応する前部チャネルに適用し、更に７．１構成の後部チャネルを、後部定位のために、対応する５．１構成の側部チャネルに適用する。しかしながら、特定の実施態様に望まれる通りに、７．１構成の後部チャネルは、加えておよび／または代わりに、対応する５．１構成の前部チャネル、および／または５．１構成の前部チャネルおよび側部チャネルの組み合わせに適用できることは認められよう。

Ｉ．マルチチャネル入力対アップ・ミキシング・マルチチャネル出力
本明細書において説明した種々の定位およびその他のオーディオ効果処理は、２つ以上の入力チャネルを有する入力信号を、それよりも多い出力チャネルを有する出力信号にアップ・ミキシングするためにも利用することができる。例えば、一実施形態では、本明細書において説明した種々の定位プロセス、ＩＩＲフィルタ、および技法を用いて、２チャネル入力信号を、５．１チャネル出力信号にアップ・ミキシングすることができる。いずれの数の入力信号でも、所望の数の出力信号にアップ・ミキシングすることができるが、この例では、２チャネル・ステレオ入力信号を受け取り、その構成部分を擬似離散５．１出力信号に定位することを仮定する。少なくとも１つの実施形態では、このようなアップ・ミキシングおよび擬似離散マルチチャネル出力信号の生成は、受け取ったチャネル数が少ない入力信号の各チャネルを、一連のロー・パス・フィルタに通過させることによって行うことができる。このような一実施形態では、ロー・パス・フィルタを縦続状に構成して、一意の信号特性の特定および分離において一層高い特殊性が得られるようにする。

他の実施形態では、他の構成のロー・パス・フィルタ、バンド・パス・フィルタ、ハイ・パス・フィルタ、およびその他のフィルタ構成も、所与の実施形態に対して望まれる通りに、１つ以上の元の入力信号から所望の信号特性を特定する、フィルタリングする、および／または選択するために利用することができる。多重層のフィルタリングに加えて、１つ以上の中央−側部デコーディング・ブロックも用いて、元の入力ステレオ信号から特定の信号特性を分解する、言い換えると特定する、および／または分離するために用いることができる。フィルタおよびデコーディングのときに、所与の実施態様について指定される通りに、本明細書において説明した１つ以上の定位技法をこのような信号に適用すると、仮想的に信号を前部チャネルおよび／または後部チャネルに位置付けることができる。ある種の実施形態では、中央チャネルおよびＬＦＥチャネルが離散のまま留まってもよく、即ち、元の入力信号からフィルタリングおよびデコードするが、定位技法をこれらには適用しないのでもよい。

少なくとも１つの実施形態では、定位のときに、少なくとも２組のステレオ対出力信号、即ち、前部および後部のステレオ対出力信号を生成する（双方の組に左および右チャネルを生成する）。したがって、別の状況では離散ステレオ入力信号であったものから、４つの擬似離散チャネルおよび２つの離散チャネルを生成する。また、これらの技法は、５．１入力を７．１出力にアップ・ミキシングするというように、数が少ない方のいずれのチャネル入力信号から、数が多い方のチャネル出力信号にアップ・ミキシングするためにも利用できることも認められよう。これらのアップ・ミキシング技法が商業的に実用可能な実施形態には、入力信号が２チャネルを有するが、出力コンポーネント構成がそれよりも多い数のコンポーネント、およびそれに関連するチャネルをサポートする、あらゆる音楽および映画の環境が含まれる。

５．１出力チャネル構成において利用する場合、少なくとも１つの実施形態では、ＩＴＵ７７５サラウンド音響規格を利用して、前部および後部対の配置角度(location angle)を指定するとよい。この規格をここで引用したことにより、その内容が本願にも含まれるものとする。広く一般に知られているように、これらの角度は、中央に面するスピーカに対するこのようなコンポーネントにとって最適な物理的位置を指定する。実際の構成は様々になりそうに思われるが、このような仕様は基準線を規定し、この基準線から、あらゆる所与の実際の実施態様に望まれるように、いずれの定位効果も調節することができる。具体的には、ＩＴＵ７７５規格は、スピーカ・コンポーネントの前部対（これらから発せられる信号）が、前方に向いている中央スピーカに対して２２．５から３０°の角度を有することを指定し、スピーカの後部対が、１１０°の角度を有すること（この場合も中央スピーカに対して）を指定する。再度言うが、ＩＴＵ７７５は明確な基準線を規定するが、このような基準線は任意選択肢であり、必須ではないことは認められよう。いずれの定位角度でも利用してもよく、それと共に利用される種々の定位効果アルゴリズムに、望ましい調節を適用すればよい。

これより図３８を参照すると、マルチチャネル入力信号をそれよりも数が多い定位出力信号に定位するプロセスの一実施形態例を示す。この実施形態では、２チャネル入力源を５．１チャネル出力信号にアップ・ミキシングすることが望ましい。先に示したように、このプロセスも２つの外部動作を含む。即ち、出力５．１構成を確立する動作（動作５１００）、およびアップ・ミキシングすることが望まれる２チャネル入力信号を本プロセスに送る動作（動作５１０２）である。また、本プロセスは、同時に行われる「パラメータ設定経路」および「オーディオ信号経路」と並列に実施してもよい（所望に応じて）。

これより、「パラメータ設定経路」を参照すると、このプロセス・フローは、ＤＰＳ入力パラメータを受け取る動作を含み、ＤＳＰパラメータは、具体的に、一定の方位角［０°，３５９°］、仰角［９０°，−９０°］、および距離キュー・データ［０，１００］（ここで、０の場合、頭部の中央で音響が知覚され、１００は任意の離れた位置である）を含み、これらを、結果的に得られる定位信号に適用する。ＤＳＰパラメータは、望まれる出力チャネルの数、およびそれらの構成に基づくことができる（動作５１０４）。次いで、これらのパラメータを格納することができる（動作５１０６）。先と同様、このような格納は、所望の定位効果処理を遂行するために所与の実施形態において用いられるのに適した、ＤＳＰに対してローカルまたはリモートの記憶デバイス、および／または他のプロセッサであればいずれにおいてでも行うことができる。

尚、ある種の実施形態では、パラメータを予め格納することは、任意選択肢であること、および／または不要である場合もあることは認められよう。また、本プロセスは、種々の非定位ＤＳＰパラメータの指定および／または設定も含む。その例には、利得レベル、イコライザ値、残響、およびその他の共通オーディオ成分を含むことができる（動作５１０８）。また、本プロセスは、左前部／右前部の対をなすスピーカ（動作５１１０）および左後部／右後部の対を成すスピーカ（動作５１１２）に対して、いずれかの望まれる方位角値を指定する(specify)、言い換えると指示する(designate)ことも含む。一実施形態では、これらの方各値はＩＴＵ７７５の値（例えば、デフォルト設定値として）を利用してもよい。他の実施形態では、測定、指定、予備設定、および／または適応的に設定した値を、所与のスピーカおよび／またはスピーカ対のいずれに対しても、方位角値として利用することもできる。図３８では、これらの動作が指定されたシーケンスで行われるように示すが、このようなシーケンスは、これらのステップの一部を含むのでも、全然含まないのでもよいことは認められよう。例えば、所与のオーディオ・システムを、一旦中央チャネル・スピーカに対する前および後部スピーカの位置に関して構成し、次いでこのような構成をロードし、例えば、動作５１１０および５１１２において指定することもできる。同様に、一旦所与の１組のＤＳＰパラメータを、動作５１０４と同様に、所与のオーディオ・システム構成に合わせて指定するが、利得のような非定位設定値は、操作者によって変更するのであってもよい。つまり、「パラメータ設定経路」に沿って指定されている動作の一部または全部を、本明細書において説明した実施形態のいずれの所与の実施態様とでも利用することができ、あるいはこれらの動作を利用しなくてもよいことは認められよう。

これより、「オーディオ信号経路」部分を参照すると、図３８に示すように、このプロセス・フローは、ＳＤＰのようなオーディオ・システム・コンポーネントが入力オーディオ信号を受け取ったときに開始される（動作５１１４）。既に本明細書において説明した実施形態と同様、このようなオーディオ信号は、オーディオまたはディジタル・フォーマットで受け取ることができる（適した信号処理が行われ、１つ以上の定位効果を適用するのに適したフォーマットに、この信号を変換する）。また、この信号は、フレーム、パケット、ブロック、ストリーム、またはその他として受け取ることもできる。少なくとも１つの実施形態では、動作５１１４においてＤＳＰがそれを受け取る前に、入力信号を固定サイズの多数のパケット（またはフレーム）に区分する。

所望のドメインおよびサイズで入力信号を受け取ったとき（サイズが所与の実施形態に対して指定される場合）、本プロセスは続いて、先に説明したＩＩＲフィルタのような、１つ以上の定位フィルタを選択し入手する（動作５１１６）。フィルタは、少なくとも１つの実施形態では、所与のオーディオ・システム構成に合わせて指定された方位角および／または仰角パラメータであればいずれに基づいてでも選択することができる。更に、フィルタは、動作５１０６においてアクセス可能な記憶デバイスに予め格納されているものから選択することもできる。他の実施形態では、他の人のような音響に干渉する物体、背景ノイズ、またはその他の存在または不在というような、リアル・タイム入力に基づいて選択することもできる。

フィルタの選択時に、および／またはフィルタの選択と併せて、本プロセスは、更に、１つ以上のロー・パス・フィルタを着信信号の各チャネルに適用し、ＬＦＥ互換信号を求める動作も含むことができる（動作５１１８）。尚、所与の１組の着信信号が、通例では所与の１組の２つののみの標準スピーカ（ヘッドホンのような）では提示できないが、相応しく構成されたＬＦＥオーディオ・コンポーネントによって提示できるロー・パス信号を含む場合もあることは認められよう。同様に、着信信号を、１つ以上の中央−側部デコード・プロセスに引き渡すために１つ以上の高い帯域の(higher-band)バンド・パス・フィルタ（動作５１１８において用いるロー・パス・フィルタと比較して）によってフィルタリングすることもできる（動作５１２０）。このようなフィルタリングおよび中央−側部デコーディングの結果、前（左／右）チャネルへの最終的な出力（更なる処理の後）に適した、少なくとも１組の側部信号が得られることが望ましい。

中央−側部デコーディング、そして相応にフィルタリングされ動作５１２０によって生成された信号は、後部（左／右）出力信号を生成するように、第２の中央−側部デコード・プロセスにも引き渡すことができ、中央−側部デコーディングによって検出された信号を、中央チャネル出力信号に指定する（動作５１２２）。尚、動作５１１８，５１２０，５１２２は、所与のＤＳＰが３つのプロセス・ストリームに複製された入力信号を分析するのに十分な処理能力を有するときには、並列に行われてもよいことは認められよう。このような並列処理は、オーディオ信号の生のストリーミングを定位しているときには望ましいと考えられる。

前対信号および後部対信号を特定および生成すると（動作５１２０および５１２２による）、本処理は続いて、１つ以上の定位フィルタを、既に生成されている前部信号および後部信号に適用することができる（それぞれ、動作５１２６および５１２８）。動作５１０６を参照して先に説明したように、このように以前に特定した定位フィルタを予め格納しておいてもよい。少なくとも１つの実施形態では、しかしながら、このようなフィルタをリアル・タイムで入手することができる。このように、使用前にフィルタを予め格納することは、任意選択肢であり、本明細書に記載した実施形態のいずれの実施態様にも必須とは見なすべきでない。１つ以上の定位フィルタを対応する前部信号および／または後部信号に適用することによって、合成ステレオ信号を生成し、追加のフィルタリングおよび／またはその他共通して知られているオーディオ処理技法を、このステレオ信号に、所与の実施態様に対して望まれる通りに適用することができる。これは、利得、残響、およびパラメータ均一化を調節して、あらゆるトーン・カラライゼーションまたは他の望ましくない効果に対して調節を行うことを含むが、これらには限定されない。

本プロセスは、マルチチャネル出力信号の同期ブロックのパケットの生成で終結し、更に処理して最終的に出力するために、このパケットをいずれかの外部プロセスに戻す。
これより図３９を参照すると、図３８において先に説明したプロセスと共に用いるように構成したコンポーネントの配線図の一例が示されている。図３９に示す配線図、および以上の配線図例のいずれの場合と同様、それによって設けられる機能は、ハードウェア（例えば、チップ上および／または専用ＤＳＰ内のシステムとして）、ソフトウェア（例えば、汎用、目的限定、または特殊プロセッサによって実施される１つ以上の動作ルーチンとして）、またはその組み合わせとして実現できることは認められよう。２チャネル入力信号を５．１チャネル出力信号にアップ・ミキシングする実施形態について図３９に示すように、左前部、右前部、左後部、および右後部チャネル（後部チャネルは、代わりに、「サラウンド」チャネルであると見なしてもよい）に対するプロセス・コアの例が示されている。これらのプロセス・コアは、ＨＲＴＦ５１３２、内耳時間遅延５１３４、内耳振幅差５１３６、ならびに距離および残響５１３８のコンポーネント（示されている各チャネルにおいて）を含むことができ、これらが、図２３に関して先に説明したように機能を実行する。集合的に、これらのコンポーネントは、前述のように、アップ・ミキシングおよび定位プロセスを実行する。この２チャネルから５．１チャネルへのアップ・ミキシングの実施形態例について示すように、対応する２つの入力信号にロー・パス・フィルタをかけ、中央−側部デコーディングを２回行い、次いで対応するコンポーネント５１３２，５１３４，５１３６，５１３８によって定位効果を適用する。中央チャネルの生成は、％−中央バイパス・の実施形態を参照して章Ｇにおいて先に説明した通りである。

以上で説明した処理アルゴリズムのいずれに関しても（例えば、図２２から図３９まで、およびそれに関して設けられた説明）、各主要処理ブロックは任意選択肢である（即ち、リアル・タイムでバイパスすることができる）。具体的には、全ての定位処理ブロック、全ての距離キュー処理ブロック、全ての残響処理ブロック、全ての中央チャネル処理ブロック、および全てのＬＦＥ処理ブロックをリアル・タイムでバイパスすることができる。これによって、処理アルゴリズムを使用用途に一層合わせて個々に形成することが可能になる。所与の処理ブロックが不要であるまたは望まれない場合、あるいは追加の処理を必要とせずに音響効果全体を強調する場合、このような余分な処理ブロックをバイパスすればよい。この特徴が含意するのは、処理ブロックをバイパスするとき、ＣＰＵ処理の削減があり、このようなブロックへの入力信号はいずれも、不変のまま出力段に受け渡され、不変の信号の最終出力との均衡を高めるために、ある量の利得だけを加えることである。

９．用途
定位ステレオ（またはマルチチャネル）音響は、方向性オーディオ・キューを供給し、リスナーに一層大きな現実的感覚を与えるために、多くの異なる用途に応用することができる。例えば、定位２チャネル・ステレオ音響出力を５．１のようなマルチ・スピーカ設定に流すことができる。これは、定位ステレオ・ファイルをDigiDesignのProToolsのようなミキシング・ツールにインポートして、最終的な５．１出力ファイルを生成することによって行うことができる。このような技法は、時間の経過と共に３Ｄ空間を動く多数の音源の現実感のある知覚を与えることによって、高品位無線、家庭用、自動車用、商用受信システムおよび携帯用音楽システムに応用することができる。また、この出力をＴＶにブロードキャストし、ＤＶＤ音響を強調するため、または映画の音響を強調するために用いることもできる。

本文書において説明した動作および方法は、しかるべく構成された計算デバイスであればいずれによってでも実行することができる。一例として、本方法は、本明細書において開示した方法の１つ以上を具体化するソフトウェアを実行するコンピュータによって実行することができる。つまり、定位音響は、非定位音響データから生成し、コンピュータ・アクセス可能記憶媒体上に１つ以上のデータ・ファイルとして格納することができ、このファイルにアクセスすると、コンピュータまたはこれと通信する他のデバイスが、定位音響を再生することを可能にする。このデータは、標準的なオーディオ機器（受信機、ヘッドホン、ミキサ等）が同様に定位音響を再生できるように、フォーマットし格納することができる。

また、本技術は、ビデオ・ゲームの仮想現実環境の現実性を高め体験全体を改良するためにも用いることができる。トレッドミルまたは固定自転車のような運動機器と組み合わせることによっても、仮想投射を強調し、一層楽しい運動トレーニングを提供することができる。航空機、自動車、およびボート・シミュレータのようなシミュレータも、仮想指向性音響を組み込むことによって、一層現実的にすることができる。

ステレオ音源は、遙かに多く広がって響くようにすることによって、一層楽しい聴取体験を提供することができる。このようなステレオ音源は、家庭用および商用ステレオ受信機、ならびに携帯用音楽プレーヤを含むことができる。

また、本技術は、ディジタル補聴器にも組み込み、一方の耳において部分的に聴覚を失った人々が、身体の聞こえない方の側からの音響定位を体験できるようにすることも可能である。一方の耳において完全に聴覚を失った人も、聴覚の損失が先天的でなければ、この体験を有することができる。

本技術は、多数の同時（即ち、会議）通話をサポートするセルラ・フォン、「スマート」フォン、およびその他のワイヤレス通信デバイスにも組み込むことができ、各発呼者をリアル・タイムで離れた仮想空間位置に置くようにすることができる。即ち、本技術は、ボイス・オーバーＩＰおよび平凡な古い電話サービス、ならびに移動体セルラ・サービスにも応用することができる。

加えて、本技術は、軍需用および民生用ナビゲーション・システムが一層正確な方向性キューをユーザに供給することを可能にすることもできる。このような改良は、より良い方向性オーディオ・キューを供給し、ユーザが一層容易に音響位置を特定することを可能にすることによって、衝突回避システムを使用するパイロット、対空攻撃の状況に関与する軍のパイロット、およびＧＰＳナビゲーション・システムのユーザを補助することができる。

以上の本開示の実施形態例の説明から当業者には認められるように、記載した実施形態には多数の変形も、本開示の主旨および精神から逸脱することなく、行うことができる。例えば、ＨＲＴＦフィルタ集合は、もっと多くても少なくても、格納することができ、他のタイプのインパルス応答フィルタを用いてＨＲＴＦを近似することもでき、フィルタ計数を別々に（ＳＱＬデータベースにおけるエントリのように）格納することもできる。更に、具体的な実施形態およびプロセスのコンテキストで本開示について説明したが、このような説明は一例であり、限定ではない。したがって、本開示の適正な範囲は、以上の例によって特定されるのではなく、以下の特許請求の範囲によって特定されるものとする。

Claims (39)

1. １つ以上の受け取った入力オーディオ信号から定位ステレオ出力オーディオ信号を生成する方法であって、各オーディオ信号が対応するオーディオ・チャネルに関連付けられており、
   プロセッサにおいて、
   入力オーディオ信号における少なくとも１つのチャネルを受け取るステップと、
   ２つ以上の定位チャネル出力オーディオ信号を生成するために、入力オーディオ信号における前記少なくとも１つのチャネルを処理するステップと、
   少なくとも２つのチャネルを有する定位ステレオ出力オーディオ信号を生成するために、前記２つ以上の定位チャネル出力オーディオ信号の各々をミキシングするステップと、
   を含む方法。
2. 請求項１記載の方法において、前記入力オーディオ信号を２つ以上のパケットのシーケンスで受け取り、各パケットが固定フレーム長を有する、方法。
3. 請求項１記載の方法において、前記入力オーディオ信号が、モノ・チャネル入力オーディオ信号である、方法。
4. 請求項１記載の方法において、前記定位ステレオ出力オーディオ信号が、２つ以上の出力チャネルを含む、方法。
5. 請求項１記載の方法において、２つ以上の定位チャネル出力オーディオ信号を生成するために入力オーディオ信号における前記少なくとも１つのチャネルを処理する前記ステップが、更に、
   １つ以上のＤＳＰパラメータを利用して、前記受け取った入力オーディオ信号の各チャネルを処理するステップを含む、方法。
6. 請求項５記載の方法において、前記利用する１つ以上のＤＳＰパラメータの内少なくとも１つが、前記２つ以上の定位オーディオ信号の内少なくとも１つと共に用いるために指定される方位角と関連付けられる、方法。
7. 請求項６記載の方法において、選択したバイパス・モードに基づいて、方位角を指定する、方法。
8. 請求項６記載の方法において、前記指定した方位角を、前記モノ・チャネル・オーディオ信号に適用するフィルタを特定するために、前記ディジタル信号プロセッサによって利用する、方法。
9. 請求項８記載の方法において、前記フィルタをＩＩＲフィルタとして構成する、方法。
10. 請求項１記載の方法であって、更に、ロー・パス・フィルタおよびロー・パス信号エンハンサの内少なくとも１つを用いることによって、入力オーディオ信号における前記少なくとも１つのチャネルを処理するステップを含む、方法。
11. 請求項５記載の方法であって、更に、
    残響、利得、およびパラメータ均一化設定の内少なくとも１つを調節するために、前記２つ以上の定位チャネル出力オーディオ信号の各々を処理するステップを含む、方法。
12. 請求項１１記載の方法において、前記処理された２つ以上の定位チャネル出力オーディオ信号が、前部チャネル、側部チャネル、後部チャネル、およびサラウンド・チャネルから成る一群から選択した、対応する出力チャネルの１つ以上の一致対を含む、方法。
13. 請求項５記載の方法であって、更に、
    前記１つ以上のＤＳＰパラメータの特定を受け取るステップを含む、方法。
14. 請求項１３記載の方法であって、更に、ディジタル信号プロセッサにアクセス可能な記憶媒体に前記ＤＳＰパラメータを格納するステップを含む、方法。
15. 請求項１記載の方法において、前記入力オーディオ信号が入力オーディオ信号のＮ．Ｍチャネルを含み、ここでＮは１よりも大きい整数であり、Ｍは整数であり、前記定位ステレオ出力オーディオ信号が、少なくとも２つのチャネルを含む、方法。
16. 請求項１５記載の方法であって、更に、
    Ｑ．Ｒチャネルを含む所望の出力チャネル構成の特定を受け取るステップであって、Ｑは１よりも大きい整数であり、Ｒは整数である、ステップと、
    前記Ｑ．Ｒチャネルの各々を含むように定位ステレオ出力オーディオ信号を生成するために、前記入力オーディオ信号を処理するステップと、
    を含む方法。
17. 請求項１５記載の方法において、Ｑ＞Ｎである、方法。
18. 請求項１５記載の方法において、Ｑ≦Ｎである、方法。
19. 請求項１６記載の方法において、Ｍ＝１およびＲ＝１の内少なくとも１つである、方法。
20. 請求項１５記載の方法であって、更に、
    前記入力オーディオ信号のＮチャネルの対応する前部チャネルの対および対応する後部チャネルの対から選択した、１対の対応する入力チャネルを、バイパス構成として選択するステップを含む、方法。
21. 請求項２０記載の方法において、前記入力オーディオ信号のＮチャネルの対応する前部チャネルの対および対応する後部チャネルの対から選択した、１対の対応する入力チャネルを、バイパス構成として選択する前記ステップが、更に、
    前記選択した入力チャネルの対応する対の各々に対して方位角を指定するステップを含み、前記選択した入力チャネルの対応する対の各々と関連付けられた仮想オーディオ出力コンポーネントの、中央チャネル・オーディオ信号を出力するために構成された仮想オーディオ出力コンポーネントに対する関係に基づいて、各方位角を指定する、方法。
22. 請求項２１記載の方法であって、更に、
    前記入力信号の選択されなかった対応する対の各々に対して、第２方位角設定値を指定するステップを含み、前記入力チャネルの選択されなかった対応する対の各々と関連付けられた仮想オーディオ出力コンポーネントの、中央チャネル・オーディオ信号を出力するように構成された前記仮想オーディオ出力コンポーネントに対する関係に基づいて、前記第２方位角設定値の各々を指定する、方法。
23. 請求項２０記載の方法において、前記対応する後部チャネルの対を選択し、前記選択した後部入力チャネルの対応する対の各々に対して指定した方位角が１１０°に等しい、方法。
24. 請求項２３記載の方法であって、更に、
    前記対応する前部チャネルの対の各々に対して、２２．５°から３０°までの範囲で第２方位角設定値を指定するステップを含み、それぞれの左前部仮想オーディオ・コンポーネントおよび右前部仮想オーディオ・コンポーネントの各々の、中央チャネル・オーディオ信号を出力するように構成された前記仮想オーディオ出力コンポーネントに対する関係に基づいて、各指定第２方位角設定値を指定し、前記仮想オーディオ・コンポーネントの各々が、前記入力オーディオ信号のＮチャネルの内対応する入力チャネルと関連付けられている、方法。
25. 請求項１記載の方法において、前記処理ステップが、更に、
    前記入力オーディオ信号から、１つ以上の入力チャネルを選択するステップと、
    入力チャネル毎に仰角を指定するステップと、
    各入力チャネルに対して指定した仰角に基づいて、選択した各入力チャネルに適用するＩＩＲフィルタを特定するステップと、
    を含む方法。
26. 請求項２５記載の方法であって、更に、Ｎ個の定位チャネルを生成するために、ＩＩＲフィルタによって前記選択した入力チャネルの各々をフィルタリングするステップを含む方法。
27. 請求項２６記載の方法であって、更に、
    前記Ｎ個の定位チャネルの各々を、２つのステレオ対出力チャネルにダウン・ミキシングするステップを含む方法。
28. 請求項２６記載の方法であって、更に、
    前記Ｎ個の定位チャネルの各々を、２つのステレオ対出力チャネルにアップ・ミキシングするステップを含む方法。
29. 請求項２６記載の方法であって、更に、
    前記Ｎ個の入力オーディオ信号のチャネルの各々に、ロー・パス周波数フィルタを適用するステップを含む方法。
30. 請求項２６記載の方法において、前記Ｎ個の入力オーディオ・チャネルが、少なくとも２つの側部チャネルを含み、更に、
    第１架空中央チャネルを生成するために、各側部チャネルを中央−側部デコーディングするステップを含む方法。
31. 請求項３０記載の方法において、前記Ｎ個の入力オーディオ・チャネルが、少なくとも２つの前部チャネルを含み、更に、
    第２架空中央チャネルを生成するために、前記前部チャネルの各々を中央−側部デコーディングするステップを含む方法。
32. 請求項１記載の方法において、前記入力オーディオ信号が少なくとも２つのチャネルを含み、更に、
    架空中央チャネルを生成するために、前記入力オーディオ信号の少なくとも２つのチャネルを中央側デコーディングするステップを含む方法。
33. 請求項３２記載の方法において、前部チャネル、側部チャネル、サラウンド・チャネル、および後部チャネルから成る一群から選択した対応するチャネル対に、前記中央−側部デコーディングを適用する、方法。
34. 請求項２０記載の方法であって、更に、
    入力オーディオ・チャネルの前記Ｎ個のチャネルの各々に、ロー・パス周波数フィルタリング、利得および均一化を適用することによって、入力オーディオ・チャネルの前記Ｎ個のチャネルの各々によって供給されるいずれの低周波信号も特定し強調するステップと、
    前記Ｎ個の入力オーディオ信号チャネルの内、ステレオ・チャネルの前対に対応する各々を中央−側部デコーディングするステップと、
    を含む方法。
35. 請求項３４記載の方法であって、更に、
    前記Ｎ個のオーディオ信号チャネルの各々を、前記定位ステレオ・オーディオ出力信号にダウン・ミキシングするステップを含む方法。
36. 請求項３４記載の方法であって、更に、
    前記Ｎ個のオーディオ信号チャネルの各々を、前記定位ステレオ・オーディオ出力信号にアップ・ミキシングするステップを含む方法。
37. 請求項３１記載の方法であって、更に、
    （ａ）前記第１架空中央チャネルおよび前記第２架空中央チャネルを合算する動作、（ｂ）前記合算ステップの結果を２で除算する動作、並びに（ｃ）前記除算ステップの商を前記第２架空中央チャネルから差し引く動作を実行することによって、仮想中央モノ・チャネルを生成するステップを含む、方法。
38. 請求項１記載の方法において、前記入力オーディオ信号の少なくとも１つのチャネルが、ＬｔＲｔ信号における信号を含む、方法。
39. 請求項３８記載の方法であって、更に、
    右後部オーディオ信号を左後部ＬｔＲｔオーディオ信号から差し引くことによって、左後部サラウンド・チャネルを前記入力オーディオ信号から分離するステップと、
    左後部オーディオ信号を右後部ＬｔＲｔオーディオ信号から差し引くことによって、右後部サラウンド・チャネルを前記入力オーディオ信号から分離するステップと、
    を含む方法。

Images