JPH11503882A

JPH11503882A - 複雑性を低減したイメージングフィルタを用いた３次元仮想オーディオ表現

Info

Publication number: JPH11503882A
Application number: JP7529647A
Authority: JP
Inventors: アベル・ジョナサン・エス．
Original assignee: オーリアル・セミコンダクター・インコーポレーテッド
Priority date: 1994-05-11
Filing date: 1995-05-03
Publication date: 1999-03-30
Also published as: AU2460395A; AU703379B2; EP0760197A1; CA2189126C; CA2189126A1; EP0760197B1; WO1995031881A1; EP0760197A4

Abstract

(57)【要約】圧縮された頭部関連伝達関数（ＨＲＴＦ）（１３０）のパラメータは、仮想オーディオ表現のための音声信号のフィルタリングに使用するため、予め生成されるか、または、リアルタイムに生成される。周波数領域の観点からは、既知の伝達関数の周波数成分が、耳の臨界帯域の幅の関数である複数の帯域幅に渡って平滑化される（１２５）。第１の実現例では、ＨＲＴＦ（１２０）を周波数依存の重み関数と周波数領域において畳み込むことによって、ＨＲＴＦが平滑化される。第２の方法では、ＨＲＴＦの周波数軸がワープされ、非線形周波数領域に写像される。

Description

【発明の詳細な説明】複雑性を低減したイメージングフィルタを用いた３次元仮想オーディオ表現技術分野この発明は、一般に３次元オーディオ、すなわち仮想オーディオに関する。さらに詳しくは、この発明は、仮想オーディオ表現に使用されるイメージングフィルタの複雑性を低減する方法および装置に係わる。この発明の教示によれば、このような複雑性の低減は、得られる３次元オーディオ表現の音響心理学的局所化特性に実質的に影響を与えることなく達成される背景技術聴取者に到達する音は、音源と聴取者との相対的な位置に依存する伝播効果を示す。また、聴取環境の効果も存在する。これらの効果は、信号強度の差や到達時間の差を含み、聴取者に音源位置の感じを与える。早期の、または、遅延した反響効果のような環境効果が含まれる場合には、この環境効果もまた、聴取者に音響的な環境の感じを与えることになる。適切な伝播効果を模擬するために音を処理することによって、聴取者は、その音が、３次元空間内の特定の点から、すなわち「仮想位置」から発せられているように受け取るであろう。例えば、ウィットマンおよびキスラーによる「自由音場聴取のヘッドホーンシミュレーション」,J．Acoust．Soc．Am.，Vol．85，No.2，1989を参照。現在の３次元すなわち仮想オーディオ表現は、複数の選択された頭部関連伝達関数（ＨＲＴＦ）を用いて音声入力信号を時間領域フィルタリングすることによって達成されている。各ＨＲＴＦは、３次元空間内の特定の位置または領域における音響心理学的な局所化、もしくは、３次元空間内の方向における音響心理学的な局所化を達成する伝播効果や音響キューを再現するように設計される。例えば、エリザベス・エム．・ウェンゼルによる「仮想音響表現における局所化」,P resence，Vol．1，No．1，Sumner 1992 を参照。簡単のために、この明細書では、１つのオーディオチャンネルに作用する１つのＨＲＴＦについてのみ言及する。実際には、複数対のＨＲＴＦが、聴取者の両耳に適切な信号を供給するために使用される。現在では、ほとんどのＨＲＴＦは、空間的な方向についてのみ索引付けられており、レンジ成分は独立に考慮されている。いくつかのＨＲＴＦは、レンジと方向の両方を含むことによって空間的な位置を規定しており、位置によって索引付けられている。ここでは特定の例として、方向を規定するＨＲＴＦに言及しているが、この発明は、方向または位置のいずれかを表すＨＲＴＦに適用される。典型的には、ＨＲＴＦは、実験的な測定によって得られるか、または、実験的に得られたＨＲＴＦを修正することによっても得られる。実際的な仮想オーディオ表現の構成では、複数のＨＲＴＦパラメータセットのテーブルが保存されており、その各ＨＲＴＦパラメータセットは、３次元空間の特定の点または領域に関連づけられている。テーブルの保存容量を削減するために、いくつかの空間的位置に対するＨＲＴＦパラメータのみが保存される。他の空間位置に対するＨＲＴＦパラメータは、テーブルに保存されたＨＲＴＦ位置の適切なセットを補間することによって生成される。上述したように、音響環境もまた考慮される。実際には、これは、ＨＲＴＦを修正するか、または、音声信号を、所望の音響環境を模擬する追加のフィルタリングの処理対象とすることによって達成される。説明の簡単のために、開示された実施例はＨＲＴＦに言及しているが、この発明は、より一般に仮想オーディオ表現に使用されるすべての伝達関数に適用されるものであり、そのような伝達関数としては、ＨＲＴＦや、音響環境効果を表す伝達関数や、頭部関連変換と音響環境効果の両方を表す伝達関数を含んでいる。従来の典型的な構成を図１に示す。３次元空間位置信号１０がＨＲＴＦパラメータテーブルおよび補間関数１１に適用されて、信号１０によって識別される３次元位置に応じた１組の補間されたＨＲＴＦパラメータ１２が得られる。入力音声信号１２は、適用され補間されたＨＲＴＦパラメータによって決定される伝達関数を有するイメージングフィルタ１５に適用される。このフィルタ１５は、ヘッドホーン１７の１チャンネルに適用するのに適した「空間化された」音声出力を提供する。種々の図面は、再現のためにヘッドホーンを示しているが、適切なＨＲＴＦは、スピーカを含む他のタイプのオーディオトランスデューサによって、音響心理学的に局所化された音声を生成することができる。この発明は、特定のタイプのオーディオトランスデューサを使用することに限定されるものではない。イメージングフィルタが有限インパルス応答（ＦＩＲ）フィルタで実現される時には、ＨＲＴＦパラメータは、そのＨＲＴＦに関連づけられたインパルス応答を構成するＦＩＲフィルタタップを規定する。以下に説明するように、この発明は、ＦＩＲフィルタを使用することに限定されるものではない。図１に示す従来技術のアプローチの主な欠点は、比較的長く複雑なＨＲＴＦの演算コストである。従来技術では、ＨＲＴＦの長さすなわち複雑性を低減するためにいくつかの技術を用いている。図２ａに示すＨＲＴＦは、時間遅れ成分Ｄと、インパルス応答成分ｇ（ｔ）とを含んでいる。すなわち、イメージングフィルタは、図２ｂに示すように、時間遅れ関数Ｚ^-Dと、インパルス応答関数ｇ（ｔ）とで実現できる。まず、この時間遅れを除去することによって複数のＨＲＴＦを時間的に整列させれば、イメージングフィルタのインパルス応答関数の計算の複雑性が低減される。図３ａは、従来技術の構成を示しており、ここでは複数の対の未加工の（すなわち「生の」）ＨＲＴＦが時間整列プロセッサ１０１に適用され、その出力端子に時間整列ＨＲＴＦ１０２と、後に使用（図示せず）される時間遅れ値１０３とが出力される。プロセッサ１０１は、複数対の未加工のＨＲＴＦの相互相関を取って、それらの到達時間の時間差を決定する。これらの時間差は、遅れ値１０３である。時間遅れ値１０３とフィルタ区間は、後の使用のために保持されるので、音響心理学的な局所化ロスは生じず、知覚的な効果は保存される。各時間整列ＨＲＴＦ１０２は、その後、最小位相コンバータ１０４で処理されて残りの時間遅れが除去され、時間整列ＨＲＴＦがさらに短くなる。図３ｂは、未加工のＨＲＴＦパラメータ１００から得られた未加工の２組の左 −右対のＨＲＴＦ(Ｒ１／Ｌ１およびＲ２／Ｌ２)の例を示している。図３ｃは、これに対応する時間整列ＨＲＴＦ１０２を示している。図３ｄは、これに対応する出力最小位相ＨＲＴＦ１０５を示している。時間整列ＨＲＴＦ１０２のインパルス応答長さは、未加工のＨＲＴＦ１００から短縮されており、また、最小位相ＨＲＴＦ１０５は時間整列ＨＲＴＦ１０２から短縮されている。このように、複数のＨＲＴＦを時間整列させるために遅れを抽出し、最小位相変換を適用することによって、フィルタの複雑性（ＦＩＲフィルタの場合にはその長さ）が低減される。図２ｂおよび図３ａの技術を使用したとしても、４８ｋＨｚのオーディオサンプリング率において、ＦＩＲフィルタに対して２５６点程度の長い最少位相応答が通常使用されており、これは、プロセッサが音源毎に２５ｍｉｐｓのオーダーで処理を実行することを要求する。演算のためのリソースが限られている場合には、ＨＲＴＦの長さすなわち複雑性をさらに低減するために、従来技術において２つの付加的なアプローチが、単独もしくは組み合わされて使用される。１つの技術は、図４ａに示すように、ＨＲＴＦをダウンサンプリングすることによって、サンプリング率を低下する方法である。多くの局所化キュー、特に、高さにとって重要なものは、高周波数成分を含むので、サンプリング率の低下はオーディオ表現の性能を受け入れ不可能な程度にまで劣化させることがある。他の技術は、図４ｂに示されており、時間領域でＨＲＴＦにウィンドウ関数を乗ずることによって、または、周波数領域でこれに対応する重み関数を用いてＨＲＴＦを畳み込むことによって、ＨＲＴＦにウィンドウ関数を適用する方法である。この処理は、時間領域においてＨＲＴＦにウィンドウを乗ずることを考えることによって最も容易に理解しうる。このとき、短縮されたＨＲＴＦが得られるように、ウィンドウ幅はＨＲＴＦよりも狭いものが選択される。このようなウィンドウ処理は、固定された重み関数を用いた周波数領域平滑化の結果が得られる。この既知のウィンドウ処理技術は、音響心理学的局所化特性を劣化させ、特に、複雑で長いインパルス応答を有する空間的な位置や方向に関するものを劣化させる。このように、元のＨＲＴＦの知覚的な効果や音響心理学的局所化特性を維持しつつ、ＨＲＴＦの複雑性すなわち長さを低減する方法が望まれている。発明の開示この発明によれば、３次元仮想オーディオ表現は、空間位置信号に応じて１組の伝達関数パラメータを生成し、この１組の頭部関連伝達関数パラメータに応じて音声信号をフィルタ処理する。この１組の頭部関連伝達関数パラメータは、複数の既知の頭部関連伝達関数のためのパラメータを平滑化したものである。この発明による平滑化は、その動作を周波数領域で考えることによって最も良く説明しうる。複数の既知の伝達関数の周波数成分は、周波数に関して一定の関数ではない複数の帯域幅に渡って平滑化される。得られた複数の伝達関数のパラメータ（ここでは「圧縮された」伝達関数と呼ぶ）は、仮想オーディオ表現のために音声信号をフィルタ処理するために使用される。圧縮された頭部関連伝達関数パラメータは、予め生成されていてもよく、あるいは、リアルタイムで作成されてもよい。前記の平滑化帯域は、耳の複数の臨界帯域の幅（すなわち、「臨界帯域幅」）の関数であることが好ましい。この関数は、平滑化帯域幅が、臨界帯域幅に比例するようにとることもできる。周知のように、耳の臨界帯域の幅は、周波数の増大にともなって増大し、従って、平滑化帯域幅も周波数とともに増大する。臨界帯域幅に対して平滑化帯域幅がより広いほど、結果として得られるＨＲＴＦの複雑性が低下する。ＦＩＲフィルタとして実現されるＨＲＴＦの場合には、フィルタの長さ（フィルタタップの数）は、臨界帯域幅の倍数として表現される平滑化帯域幅の逆数に関連付けられる。臨界帯域幅を考慮にいれている本発明の教示を適用することによって、複雑性や長さを同程度に低減した場合に、上述のような従来技術のウィンドウ技術によって、より単純に短くなったＨＲＴＦに比べて、知覚的効果や音響心理学的局所化の劣化がより少ないような、複雑性の低い、短いＨＲＴＦが得られる。ＨＲＴＦ（「未加工のＨＲＴＦ」）の例と、従来のウィンドウ処理方法によって作成された短縮されたＨＲＴＦの例と、本発明の方法によって作成されたＨＲＴＦ（「圧縮ＨＲＴＦ」）が、図５ａ（時間領域）および図５ｂ（周波数領域）に示されている。未加工のＨＲＴＦは、その複雑性すなわち長さを低減する処理が行われていない既知のＨＲＴＦの例である。図５ａにおいて、ＨＲＴＦの時間領域インパルス応答振幅が、０から３ミリ秒の時間軸に沿ってプロットされている。図５ｂには、各ＨＲＴＦの周波数領域伝達関数パワーが、１ｋＨｚから２０ｋＨｚまでの対数周波数軸に沿ってプロットされている。図５ｂの時間領域において、従来のＨＲＴＦは或る程度の短縮化を示しているが、圧縮ＨＲＴＦはさらに短縮化されている。図５ｂの周波数領域において、従来技術ＨＲＴＦにおける一様な平滑化帯域幅の効果が明らかであり、一方、圧縮ＨＲＴＦは、周波数の増大に伴って平滑化帯域幅が増大する効果を示している。図５ｂは対数周波数尺度なので、圧縮ＨＲＴＦは、未加工ＨＲＴＦに対して一定の平滑化を示している。時間領域の長さの差と、周波数領域における周波数応答の差があるにも係わらず、未加工ＨＲＴＦと、従来技術ＨＲＴＦと、圧縮ＨＲＴＦとは、同等な音響心理学的性能を提供する。未加工ＨＲＴＦに対する従来のウィンドウ処理の量と、本発明による圧縮の量とを、未加工ＨＲＴＦに対して実質的に同様の音響心理学的性能を与えるように選択すると、予備的な二重目隠し聴取テストでは、従来技術のウィンドウ処理ＨＲＴＦよりも圧縮ＨＲＴＦの方が好まれることが示される。驚いたことに、圧縮ＨＲＴＦは、未加工のＨＲＴＦよりも好まれる。この理由は、平滑化処理によって除去されたＨＲＴＦの微細構造が、ＨＲＴＦの位置には未関連であり、一種のノイズとして認識されるからであると考えられる。本発明は、少なくとも２つの方法によって実現可能である。第１の方法では、周波数領域において、周波数に依存する重み関数を用いてＨＲＴＦを畳み込むことによって、ＨＲＴＦが平滑化される。この重み関数は、不変ではなく、周波数に依存する関数であるという点において、従来技術の時間領域ウィンドウ関数の周波数領域版とは異なる。この代わりに、周波数依存の重み関数の時間領域版を、時間領域において、ＨＲＴＦインパルス応答に適用するようにしてもよい。第２の方法では、ＨＲＴＦの周波数軸がワープされ、すなわち、非線形周波数領域に写像され、この周波数ワープＨＲＴＦが、時間領域において（時間領域に変換された後に）従来のウィンドウ関数で乗算されるか、または、周波数領域において従来のウィンドウ関数の不変周波数応答と畳み込まれる。ウィンドウ処理された信号に対しては、その後、逆周波数ワーピングが行われる。この発明は、あらゆる種類のイメージングフィルタを使用して実現され得るものであり、このイメージングフィルタとしては、アナログフィルタや、ハイブリッドアナログ／デジタルフィルタや、デジタルフィルタなどを含むが、これらには限定されない。このようなフィルタは、ハードウェアや、ソフトウェアや、ハードウェア／ソフトウェアのハイブリッド構成など（例えばデジタル信号処理）によって実現されうる。デジタル的にあるいは部分的にデジタル的に実現された時には、ＦＩＲフィルタ、ＩＩＲ（無限インパルス応答）フィルタ、およびハイブリッドＦＩＲ／ＩＩＲフィルタを使用することができる。この発明は、また、主成分フィルタ・アーキテクチャによっても実現できる。仮想オーディオ表現の他の態様は、アナログ、デジタル、アナログ／デジタルのハイブリッド、ハードウェア、ソフトウェア、および、ハードウェア／ソフトウェアのハイブリッド技術を含む任意の組み合わせ、例えばデジタル信号処理、を用いて実現可能である。ＦＩＲフィルタで実現する場合には、ＨＲＴＦパラメータはそのＦＩＲフィルタを規定するフィルタタップである。ＩＩＲフィルタの場合には、ＨＲＴＦパラメータは、そのＩＩＲフィルタを規定する極およびゼロ点、または、他の特性である。主成分フィルタの場合には、ＨＲＴＦパラメータは、位置依存の重みである。この発明の他の態様では、１群のＨＲＴＦ内の各ＨＲＴＦは、その１群内のすべての頭部関連伝達関数に共通する固定頭部関連伝達関数と、それぞれの頭部関連伝達関数に関連付けられた可変頭部関連伝達関数とに分離され、この固定頭部関連伝達関数および各可変頭部関連伝達関数の組み合わせが、それぞれの元の既知の頭部関連伝達関数と実質的に等価である。この発明による平滑化技術は、固定ＨＲＴＦと可変ＨＲＴＦの一方、または、双方に適用してもよく、あるいは、両方ともに適用しなくてもよい。図面の簡単な説明図１は、従来技術の仮想オーディオ表現構成の機能ブロック図である。図２ａは、頭部関連伝達関数（ＨＲＴＦ）のインパルス応答の例である。図２ｂは、イメージングフィルタがＨＲＴＦの時間遅れ部分およびインパルス応答部分を表すように示された機能ブロック図である。図３ａは、ＨＲＴＦの複雑性すなわち長さを低減させる１つの従来技術の機能ブロック図である。図３ｂは、１組の左および右の「未加工」ＨＲＴＦ対を示す。図３ｃは、図３ｂの１組のＨＲＴＦ対が、時間整列されて短くなったものを示す。図３ｄは、図３０の１組のＨＲＴＦ対が、最少位相変換されてさらに長さが低減したものを示す。図４ａは、サンプリング率を低下させることによって、ＨＲＴＦインパルス応答を短くする従来の技術を示す機能ブロック図である。図４ｂは、時間領域においてＨＲＴＦインパルス応答にウィンドウを乗ずることによって、ＨＲＴＦインパルス応答を短くする従来の技術を示す機能ブロック図である。図５ａは、時間領域における３つの波形の組を示しており、「未加工」ＨＲＴＦの一例と、従来技術によって短縮されたＨＲＴＦと、本発明の教示に従って圧縮されたＨＲＴＦとを示している。図５ｂは、図５ａの１組のＨＲＴＦ波形の周波数領域表現である。図６ａは、本発明に従って圧縮ＨＲＴＦを得る実施例を示す機能ブロック図である。図６ｂは、一例の入力ＨＲＴＦの周波数応答を示している。図６ｃは、一例のＨＲＴＦインパルス応答のインパルス応答を示している。図６ｄは、圧縮出力ＨＲＴＦの周波数応答を示している。図６ｅは、圧縮出力ＨＲＴＦのインパルス応答を示している。図７ａは、本発明により圧縮ＨＲＴＦを得る他の実施例を示している。図７ｂは、一例の入力ＨＲＴＦインパルス応答のインパルス応答を示している。図７ｃは、一例の入力ＨＲＴＦの周波数応答を示している。図７ｄは、周波数ワーピング後の入力ＨＲＴＦの周波数応答を示している。図７ｅは、圧縮出力ＨＲＴＦの周波数応答を示している。図７ｆは、逆周波数ワーピング後の圧縮出力ＨＲＴＦの周波数応答を示している。図７ｇは、逆周波数ワーピング後の圧縮出力ＨＲＴＦのインパルス応答を示している。図８は、図６ａおよび図７ａの実施例の動作を理解するために有用な３つのウィンドウのファミリを示している。図９は、イメージングフィルタが主成分フィルタとして実施されている場合の機能ブロック図である。図１０は、本発明の他の態様を示す機能ブロック図である。発明の実施の形態図６ａは、この発明に従って圧縮ＨＲＴＦを生成する実施例を示している。この実施例では、入力ＨＲＴＦの周波数応答が、周波数領域において周波数依存の重み関数を用いて畳み込まれることによって、入力ＨＲＴＦが平滑化される。この代わりに、周波数依存の重み関数の時間領域版を、時間領域においてＨＲＴＦインパルス応答に適用するようにしても良い。図７ａは、この発明に従って圧縮ＨＲＴＦを生成する他の実施例を示している。この実施例によれば、入力ＨＲＴＦの周波数軸がワープされ（歪められ）、すなわち、非線形周波数領域に写像されて、この周波数ワープＨＲＴＦが、周波数領域において、不変重み関数（すなわち、従来の時間領域ウィンドウ関数の周波数領域版である重み関数）の周波数応答と畳み込まれる。その後、逆周波数ワーピングが平滑化信号に適用される。この代わりに、周波数ワープＨＲＴＦを時間領域に変換して、従来のウィンドウ関数で乗算するようにしてもよい。図６ａにおいては、オプションとしての非線形スケーリング関数５１が入力ＨＲＴＦ５０に適用されている。その後、平滑化関数５４がＨＲＴＦ５２に適用される。入力ＨＲＴＦに非線形スケーリングが適用される場合には、この後に、逆スケーリング関数５６が平滑化ＨＲＴＦ５４に適用される。圧縮ＨＲＴＦは出力として与えられる。以下でさらに説明するように、非線形スケーリング５１と非線形逆スケーリング５６は、平滑化平均関数が信号振幅または信号パワーのいずれに関するものか、および、それが算術平均か幾何平均か、その他の平均化関数であるか、を制御することができる。平滑化プロセッサ５４は、ＨＲＴＦを周波数依存重み関数と畳み込む。この平滑化プロセッサは、移動重み付き算術平均として実現しても良い；ここで、少なくとも平滑化帯域幅ｂ_fは周波数の関数であり、オプションとしてウィンドウ形状Ｗ_fも周波数の関数としてもよい。重み関数の幅は、周波数と共に増加する。重み関数の長さは臨界帯域幅の倍数であることが好ましく、要求されるＨＲＴＦインパルス応答長さが短いほど、その倍数値は大きくなる。ＨＲＴＦは、典型的には低周波数成分（約３００Ｈｚ以下）および高周波数成分（約１６ｋＨｚ以上）を欠いている。可能な限り短い(従って最も複雑で無い) ＨＲＴＦを提供するためには、ＨＲＴＦ周波数応答を、人間の可聴域の通常の下限および上限まで、あるいはそれらを超えて、拡張することが望ましい。しかし、こうした場合には、拡張された低周波数および高周波数音声帯域における重み関数の幅を、ＨＲＴＦの内容が典型的に含まれている音声帯域の主要な非拡張部分を通じて使用されている臨界帯域幅の倍数よりも、耳の臨界帯域に対して相対的により広くすべきである。約５００Ｈｚより下では、音声の波長が頭部のサイズに比較して大きいので、ＨＲＴＦは概略平坦なスペクトルとなる。従って、上述の臨界帯域幅の倍数よりも広い平滑化帯域幅を用いることが好ましい。約１６ｋＨｚより上の高周波数においては、人間の聴覚が貧弱であり、また、ほとんどの局所化キューはそのような高周波数よりも下に集中しているので、上述の臨界帯域幅の倍数よりも広い平滑化帯域幅を用いることが好ましい。従って、音声帯域の低周波数端および高周波数端における重み帯域幅は、ここで説明された式によって予測される帯域幅を超えて拡張するようにしてもよい。例えば、この発明の１つの具体的な実施例において、１ｋＨｚよりも下の周波数に対しては約２５０Ｈｚの一定の平滑化帯域幅が使用され、１ｋＨｚよりも上では１／３オクターブ帯域幅が使用される。１／３オクターブ帯域幅は臨界帯域幅の近似であり、１ｋＨｚにおいて１／３オクターブ帯域幅は約２５０Ｈｚである。従って、１ｋＨｚより下では、平滑化帯域幅は、臨界帯域幅よりも広い。場合によっては、低周波数（例えば３００〜５００Ｈｚ）でのパワーを、従来のＨＲＴＦ測定技術を使用しては正確には決定できないデータを補充するために、ＤＣにまで外挿するようにしてもよい。１つの群に属するすべてのＨＲＴＦを処理するのに、同じ臨界帯域幅の倍数を有する重み関数を用いるようにしてもよいが、異なる臨界帯域幅倍数値を有する複数の重み関数をそれぞれのＨＲＴＦに適用して、すべてのＨＲＴＦが同程度に圧縮されることがないようにしてもよい。これは、得られた複数の圧縮ＨＲＴＦが、同じ複雑性と長さを有することを確保するために必要なことがある（いくつかの未加工ＨＲＴＦは、その空間的位置に依存して、より複雑でより長いで、より大幅な、または、より少ない圧縮が必要になることがある）。この代わりに、ある方向や空間的位置を表すＨＲＴＦの圧縮量を他のＨＲＴＦよりも少なくして全体の空間的局所化のより良い感覚を維持しつつ、演算の複雑性を全体としていくらか緩和するようにしてもよい。ＨＲＴＦの圧縮量は、ＨＲＴＦの相対的な音響心理学的重要性の関数として変化するようにしてもよい。例えば、早期反射は、異なる方向から到達するので、別々の複数のＨＲＴＦを用いて得られるものであり、直接音声経路ほどには正確な空間化は重要ではない。従って、早期反射は、「過短縮化」されたＨＲＴＦを用いて、知覚的な影響無しで得ることができる。図６ａの平滑化５４を実現する他の方法は、各周波数ｆに対して、Ｈ_θ（ｎ）は、位置θにおける入力ＨＲＴＦ５２であり、Ｓ_θ（ｆ）は圧縮ＨＲＴＦ５４、ｎは周波数、Ｎはナイキスト周波数の１／２である。従って、各々が０からＮまでの区間でそれぞれ定義されている重み関数Ｗ_f, _θ（ｎ）のファミリーが存在し、これらの重み関数の幅は、それらの中心周波数ｆの関数であり、また、オプションとしてはＨＲＴＦ位置θの関数としてもよい。各重み関数の和は１である（式３）。図８は、ガウス分布形状を有する重み関数のファミリーの３つの構成要素を、周波数に対する振幅応答をプロットして示している。簡単のために、重み関数のファミリーの中の３個のみが示されている。中央のウィンドウは、その中心が周波数ｎ₀にあり、帯域幅ｂ_f=n0を有している。重み関数は、ガウス分布を有する必要はない。他の形状の重み関数としては、単純化のために、長方形を含む重み関数を用いてもよい。また、重み関数は、その中心周波数に対して対称である必要はない。非線形スケーリング関数５１および逆スケーリング関数５６を考慮して、図６ａを、もっと一般に次のように特徴付けることができる。ここで、Ｇはスケーリング５１であり、Ｇ^-1は逆スケーリングである。これまでに説明した平滑化５４は、入力ＨＲＴＦ伝達関数の統計に依存する算術平均関数を与えているが、丸め平均値（トリム平均）または中央値が、算術平均よりも好ましいかもしれない。人間の耳は、臨界帯域内における合計フィルタパワーに感受性があるようなので、図６ａの非線形スケーリング５１を２乗演算として実現し、出力逆スケーラ５６を平方根演算として実現することが好ましい。最少位相変換のような、或る前処理や後処理を適用することが望ましい場合もある。この代わりに、または２乗演算スケーリングおよび平方根逆スケーリングに加えて、非線形スケーリング５１が対数関数であり、逆スケーリング５７が指数関数である時には、平滑化５４の算術平均は幾何平均となる。このような平均は、高さ方向の知覚に重要と考えられる空スペクトルを保存するのに有用である。図６ｂと６ｃは、入力ＨＲＴＦの周波数スペクトルと入力インパルス応答の一例を、それぞれ周波数領域と時間領域で示している。図６ｄと６ｅは、それぞれの領域における圧縮出力ＨＲＴＦ５７を示している。ＨＲＴＦスペクトルが平滑化されている程度および、そのインパルス応答が短縮されている程度は、平滑化５４に対して選択された臨界帯域幅の倍数に依存している。圧縮ＨＲＴＦの特性は、また、上述したウィンドウ形状と他の要因に依存している。図７ａを参照する。この実施例において、入力ＨＲＴＦの周波数軸は、歪められた周波数スペクトルに作用する一定帯域幅の平滑化１２５が図６ａの平滑化５４と同等になるように、周波数ワーピング関数１２１によって変換される。平滑化ＨＲＴＦは、逆ワーピング１２９で処理されて、出力圧縮ＨＲＴＦが得られる。図６ａと同様に、非線形スケーリング５１と逆スケーリング５６を、任意に入力ＨＲＴＦと出力ＨＲＴＦに適用するようにしても良い。周波数ワーピング関数１２１は、一定帯域幅平滑化との組み合わせによって、図６ａの実施例の周波数依存平滑化帯域幅の目的を達成する。例えば、周波数をバークスケールに写像するワーピング関数を、臨界帯域平滑化を実現するために使用しても良い。平滑化１２５は、重み関数の幅が周波数に関して一定であるという点を除いて、図６ａの実施例と同様に、時間領域ウィンドウ関数の乗算として実現することもでき、また、周波数領域の重み関数の畳み込みとして実現することもできる。図６ａに関する場合と同様に、最少位相変換のような、或る前処理や後処理を適用することが望ましいこともある。周波数ワーピング関数１２１とスケーリング関数５１とが適用される順序は、逆にすることができる。これらの関数は線形ではないが、周波数ワーピング１２１は周波数領域に影響を与え、スケーリング５１は周波数ビンの値にのみ影響するので、これらの関数は交換できる。従って、逆スケーリング関数５６と逆ワーピング関数1２９もまた、逆にすることができる。さらに他の方法として、出力ＨＲＴＦをブロック１２５の後に取り出して、逆スケーリングと逆ワーピングを、その圧縮ＨＲＴＦパラメータを受け取る装置や関数の中に設けるようにしてもよい。図７ｂおよび７ｃは、入力ＨＲＴＦの入力応答および周波数スペクトルの一例をそれぞれ示している。図７ｄは、バークスケールに写像されたＨＲＴＦの周波数スペクトルを示している。図７ｅは、平滑化１２５の後のＨＲＴＦのスペクトルを示している。逆周波数ワーピングを行った後は、結果として得られる圧縮ＨＲＴＦは、図７ｆに示すようなスペクトルと、図７ｇに示すようなインパルス応答を有している。結果として得られるＨＲＴＦ特性は、図６ａの実施例のものと同一である。イメージングフィルタは、また、図９に示す方法で、主成分フィルタとして実施することもできる。位置信号３０は、図１のブロック１１と機能的に類似した重みテーブルおよび補間関数３１に適用される。ブロック３１によって提供されるパラメータと、補間された重みと、方向性マトリクスと、主成分フィルタとは、イメージングフィルタを制御するＨＲＴＦパラメータと機能的に等価である。この実施例のイメージングフィルタ１５’は、１組の並列固定フィルタ３４、すなわち、主成分フィルタ、ＰＣ₀〜ＰＣ_Nにおいて入力信号３３をフィルタ処理し、それらの出力は位置依存の重み付けによって混合されて、所望のイメージングフィルタを近似する。この近似の精度は、使用されている主成分フィルタの数と共に増加する。１組の未加工ＨＲＴＦに対して一定程度の近似を達成するには、この発明の実施例によって圧縮されたものに対する場合よりも、より多くの演算リソースが、追加の主成分フィルタの形で必要になる。この発明の他の態様が、図１０の実施例に示されている。３次元空間位置信号７０が、等化されたＨＲＴＦパラメータテーブルおよび補間関数７１に適用され、信号７０によって識別された３次元位置に応じた１組の補間された等化ＨＲＴＦパラメータ７２が得られる。入力音声信号７３は、等化フィルタ７４と、補間された等化ＨＲＴＦパラメータによって決定されるイメージングフィルタ７５とに適用される。この代わりに、等化フィルタ７４が、イメージングフィルタ７５の後に設置されていても良い。このフィルタ７５は、ヘッドホーン７７の１チャンネルに適用するのに適した空間化された音声出力を与える。テーブル７１内の複数組の等化された頭部関連伝達関数パラメータは、１群の既知の頭部関連伝達関数を、その群のすべての頭部関連伝達関数に共通する１つの固定頭部関連伝達関数と、それら既知の頭部関連伝達関数の各々に関連する可変位置依存頭部関連伝達関数とに分割することによって予め得られ、この固定頭脳関連伝達関数と各可変頭部関連伝達関数との組み合わせは、それぞれの元の既知の頭部関連伝達関数に実質的に等しい。等化フィルタ７４は、従って、テーブル内のすべての頭部関連伝達関数に共通する固定頭部関連関数を表している。このようにして、ＨＲＴＦとイメージングフィルタの複雑性が低減する。この等化フィルタ特性は、イメージングフィルタの複雑性を最少にするように選択される。これは、等化ＨＲＴＦテーブルのサイズを最小化し、ＨＲＴＦの補間とイメージングフィルタリングのための演算リソースを低減し、また、テーブル化されたＨＲＴＦのためのメモリリソースを低減する。ＦＩＲイメージングフィルタの場合には、フィルタ長さを最少にすることが望ましい。所望の等化フィルタを見いだすには、種々の最適化基準を用いることができる。等化フィルタは、平均ＨＲＴＦＭを近似するようなものでもよく、こうすれば、位置依存部のスペクトルが平均的に平坦になる（またその時間が短くなる）。等化フィルタは、１群の既知の伝達関数の拡散場音成分を表していても良い。等化フィルタが、ＨＲＴＦの重み付き平均として構成されている時には、その重み付けは、より長くより複雑なＨＲＴＦを、より重視するようにすべきである。左チャンネルと右チャンネルに対して、（位置可変ＨＲＴＦの前または後のいずれかに）異なる固定等化処理を行うようにしてもよく、単一の等化処理をモノラル音源信号に適用してもよい（モノラル信号が左成分と右成分とに分離される前に単一のフィルタとして適用してもよく、または、左成分と右成分のそれぞれに対する２つのフィルタとして適用しても良い）。人間の対称性から予測されるように、最適な左耳および右耳等化フィルタは、しばしばほぼ同一である。従って、音源信号は、単一の等化フィルタを用いてフィルタリングを行い、その出力を、両方の位置依存ＨＲＴＦフィルタに与えるようにしてもよい。この発明の教示に従って、等化されたＨＲＴＦパラメータと、固定等化フィルタのパラメータのいずれかを平滑化するか、または、等化されたＨＲＴＦパラメータと等化フィルタパラメータの両方を平滑化することによって、さらに利点が得られる。また、等化フィルタとイメージングフィルタとに対して、異なるフィルタ構造を使用することによって、演算を節約することができる。例えば、その内の一方をＩＩＲフィルタとして実現し、他方をＦＩＲフィルタとして実現するようにしてもよい。典型的には固定フィルタの方がかなり滑らかな応答を有するので、等化フィルタは低次のＩＩＲフィルタとして実現するのがもっともよいであろう。また、等化フィルタをアナログフィルタとして実現することも容易である。主成分法を含む、ＨＲＴＦフィルタにおいて使用するのに適したあらゆるフィルタリング技術を、可変位置依存部等化ＨＲＴＦパラメータを実現するために使用することができる。例えば、図１０は、イメージングフィルタ７５として、図９の実施例において説明したようなタイプの主成分イメージングフィルタ１５’ を利用してもよい。

───────────────────────────────────────────────────── フロントページの続き (81)指定国ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＤＥ，ＤＫ，ＥＳ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＡＵ，ＣＡ，ＪＰ

Claims

【特許請求の範囲】１．３次元仮想オーディオ表現方法であって、空間位置または方向信号に応じた１組の伝達関数パラメータを生成し、音声信号を前記１組の伝達関数パラメータに応じてフィルタリングし、この際、複数のパラメータから選択されるかまたは補間することによって得られる前記１組の伝達関数パラメータは、既知の伝達関数の周波数成分を、周波数に関して一定でない関数である帯域幅にわたって平滑化し、得られた圧縮伝達関数の伝達関数パラメータを記録する、ことによって生成される、方法。２．請求項１記載のオーディオ表現方法であって、前記帯域幅は臨界帯域幅の関数である、方法。３．請求項２記載のオーディオ表現方法であって、前記平滑化は、前記表現の音声帯域の少なくとも一部における各周波数成分に対して、前記周波数成分を含む帯域幅内において前記周波数成分に対して平均化関数を適用することを含む、方法。４．請求項３記載のオーディオ表現方法であって、前記平均化関数は、前記周波数成分の振幅の関数である、方法。５．請求項３記載のオーディオ表現方法であって、前記平均化関数は、前記周波数成分のパワーの関数である。６．請求項４または５記載のオーディオ表現方法であって、前記平均化関数は中央値を決定する、方法。７．請求項４または５記載のオーディオ表現方法であって、前記平均化関数は重み付き算術平均を決定する、方法。８．請求項４または５記載のオーディオ表現方法であって、前記平均化関数は重み付き幾何平均を決定する、方法。９．請求項４または５記載のオーディオ表現方法であって、前記平均化関数は丸め平均を決定する、方法。１０．請求項２記載のオーディオ表現方法であって、前記重み関数は長方形形状を有する、方法。１１．請求項１記載のオーディオ表現方法であって、前記帯域幅は臨界帯域幅に比例する、方法。１２．請求項１１記載のオーディオ表現方法であって、前記伝達関数パラメータは、低周波数および高周波数において拡張されており、前記帯域幅は、前記低周波数領域および高周波数領域において、臨界帯域幅に比例する帯域幅よりも広い、方法。１３．請求項１記載のオーディオ表現方法であって、前記平滑化は、前記伝達関数を周波数依存重み関数と畳み込むことを含み、前記周波数依存重み関数の幅は臨界帯域幅の関数である、方法。１４．請求項１３記載のオーディオ表現方法であって、前記重み関数は、臨界帯域幅の１以上の倍数である帯域幅を有する、方法。１５．請求項１４記載のオーディオ表現方法であって、前記伝達関数パラメータは、低周波数および高周波数において拡張されており、前記帯域幅は、前記低周波数領域および高周波領域において、臨界帯域幅に比例する帯域幅よりも広い、方法。１６．請求項１３記載のオーディオ表現方法であって、前記重み関数は、長方形ウィンドウよりも高次の連続性を有する形状を有している、方法。１７．請求項１記載のオーディオ表現方法であって、周波数成分の平滑化は、周波数領域において前記周波数成分を平滑化することを含む、方法。１８．請求項１７記載のオーディオ表現方法であって、前記平滑化は、前記既知の伝達関数Ｈ（f）を、次の関係に従って、周波数領域において重み関数Ｗ_f（i ）と畳み込むことを含み、ここで、少なくとも平滑化帯域幅ｂ_fは周波数の関数であり、また、任意に重み関数形Ｗ_fも周波数の関数である。１９．請求項１記載のオーディオ表現方法であって、周波数成分の平滑化は、前記既知の伝達関数に周波数ワーピング関数を適用し、周波数ワープされた伝達関数を時間領域に変換し、前記周波数ワープされた伝達関数のインパルス応答を時間領域ウィンドウ処理することを含む、方法。２０．請求項１記載のオーディオ表現方法であって、周波数成分の平滑化は、前記既知の伝達関数に周波数ワーピング関数を適用し、周波数ワープされた伝達関数を、一定の重み関数の周波数応答と周波数領域畳み込みを行うことを含む、方法。２１．請求項１９または２０記載のオーディオ表現方法であって、前記周波数ワーピング関数は、前記伝達関数をバークスケールに写像する、方法。２２．請求項１９または２０記載のオーディオ表現方法であって、さらに、前記乗算または前記畳み込みに先だって、前記既知の伝達関数に非線形スケーリングを適用し、ウィンドウ処理または畳み込みがなされた伝達関数に対して逆スケーリングを適用することを含む、方法。２３．請求項１記載のオーディオ表現方法であって、前記フィルタリングは、主成分フィルタリングである、方法。２４．請求項１記載のオーディオ表現方法であって、前記伝達関数パラメータは等化された伝達関数パラメータであり、前記フィルタリングは、固定等化フィルタリングと、前記等化された伝達関数パラメータに応じたフィルタリングとを含む、方法。２５．請求項１記載のオーディオ表現方法であって、前記１組の伝達関数は、既知の伝達関数の周波数成分を、異なる複数の帯域幅に渡って、前記伝達関数に関連する前記空間位置または方向の関数として平滑化することによって得られる、方法。２６．請求項１記載のオーディオ表現方法であって、前記１組の伝達関数は、既知の伝達関数の周波数成分を、異なる複数の帯域幅に渡って、前記伝達関数の複雑性の関数として平滑化することによって得られる、方法。２７．請求項１記載のオーディオ表現方法であって、前記１組の伝達関数は、既知の伝達関数の周波数成分を、異なる複数の帯域幅に渡って、前記伝達関数に関連する前記空間位置または方向の関数として、および、前記伝達関数の複雑性の関数として平滑化することによって得られる、方法。２８．請求項２６または２７記載のオーディオ表現方法であって、前記帯域幅は、伝達関数の複雑性の増大と共に増大する、方法。２９．請求項１または２８記載のオーディオ表現方法であって、前記帯域幅は、結果として得られる最も複雑な圧縮された伝達関数が所定の複雑性を超えないように選択される、方法。３０．請求項１記載のオーディオ表現方法であって、前記１組の伝達関数は、既知の伝達関数の周波数成分を、異なる複数の帯域幅に渡って、前記伝達関数の相対的な音響心理学的重要性の関数として平滑化することによって得られる、方法。３１．請求項１記載のオーディオ表現方法であって、前記１組の伝達関数は、既知の伝達関数の周波数成分を、異なる複数の帯域幅に渡って、前記伝達関数に関連する前記空間位置または方向の関数として、および、前記伝達関数の相対的な音響心理学的重要性の関数として平滑化することによって得られる、方法。３２．３次元仮想オーディオ表現方法であって、空間位置または方向信号に応じた１組の等化伝達関数パラメータを生成し、固定等化フィルタリングを用いて、また、前記１組の等化伝達関数パラメータに応じて、音声信号をフィルタリングすることを含み、ここで、前記固定等化フィルタリングの生成と、前記１組の等化伝達関数パラメータが複数のパラメータから選択されるかまたは補間されることによって得られる際の複数のパラメータの生成とは、１群の既知の伝達関数を、前記１群内のすべての伝達関数に共通する１つの固定伝達関数と、前記既知の伝達関数のそれぞれに関連する可変伝達関数とに分離し、この際、前記固定伝達関数と各可変伝達関数との組み合わせは、それぞれの元の既知の伝達関数に実質的に等しくなるようにし、前記固定等化フィルタリングを特徴付けるために前記固定伝達関数の前記パラメータを記録し、得られた可変伝達関数の各伝達関数のパラメータを、前記等化伝達関数パラメータとして使用するために記録する、ことによってなされる、方法。３３．請求項２８記載のオーディオ表現方法であって、前記固定等化フィルタリングおよび前記１組の等化伝達関数パラメータの生成は、さらに、前記可変伝達関数のそれぞれの周波数成分を、周波数に対して一定でない関数である帯域幅に渡って平滑化すること、を含む、方法。３４．請求項２８記載のオーディオ表現方法であって、前記固定等化フィルタリングおよび前記１組の等化伝達関数パラメータの生成は、さらに、前記固定伝達関数の周波数成分を、周波数に対して一定でない関数である帯域幅に渡って平滑化すること、を含む、方法。３５．請求項２８記載のオーディオ表現方法であって、前記１群の既知の伝達関数は、最低の複雑性の可変伝達関数が得られるように１つの固定伝達関数を選択することによって、１つの固定伝達関数と複数の可変伝達関数とに分離される、方法。３６．請求項２８記載のオーディオ表現方法であって、前記１群の既知の伝達関数は、前記１群の既知の伝達関数の拡散場音成分を表す１つの固定伝達関数を選択することによって、１つの固定伝達関数と複数の可変伝達関数とに分離される、方法。３７．請求項２８記載のオーディオ表現方法であって、前記１群の既知の伝達関数は、空間における特定の方向または複数方向の範囲を表す伝達関数である、方法。３８．請求項２８記載のオーディオ表現方法であって、さらに、前記固定伝達関数の周波数成分を、周波数に対して一定でない関数である帯域幅に渡って平滑化する追加のステップを含み、前記固定等化フィルタリングを特徴付けるための前記固定伝達関数のパラメータを記録するステップは、得られた圧縮固定伝達関数のパラメータを記録する、方法。３９．請求項２８記載のオーディオ表現方法であって、空間位置または方向信号に応じて生成される複数組の等化伝達関数パラメータが、主成分フィルタリングによって生成される、方法。４０．３次元仮想オーディオ表現装置であって、空間位置または方向信号に応じた１組の伝達関数パラメータを生成する手段であって、前記パラメータは、既知の伝達関数の周波数成分を、周波数に関して一定でない関数である帯域幅にわたって平滑化し、得られた圧縮伝達関数の伝達関数パラメータを記録する、ことによって得られる複数のパラメータから選択されるかまたは補間されることによって得られるようにした手段と、音声信号を前記１組の伝達関数パラメータに応じてフィルタリングする手段と、を備える装置。４１．３次元仮想オーディオ表現装置であって、空間位置または方向信号に応じた１組の等化伝達関数パラメータを生成する手段であって、前記パラメータは、１群の既知の伝達関数を、前記１群のすべての伝達関数に共通する１つの固定伝達関数と、前記既知の伝達関数のそれぞれに関連する可変伝達関数とに分離し、この際、前記固定伝達関数と各可変伝達関数との組み合わせは、それぞれの元の既知の伝達関数に実質的に等しくなるようにし、前記固定等化フィルタリングを特徴付けるために前記固定伝達関数の前記パラメータを記録し、得られた可変伝達関数のそれぞれの伝達関数のパラメータを、前記等化伝達関数パラメータとして使用するために記録する、ことによって得られる複数のパラメータから選択されるかまたは補間されるようにした手段と、固定等化フィルタリングを用い、また、前記１組の等化伝達関数パラメータに応じて、音声信号をフィルタリングする手段と、を備える装置。