JP2009512364A

JP2009512364A - 仮想オーディオシミュレーション

Info

Publication number: JP2009512364A
Application number: JP2008535840A
Authority: JP
Inventors: クレイグ・ジン; アラン・ホ・ルン・カン; アンドレ・バン・シャイク
Original assignee: パーソナル・オーディオ・ピーティーワイ・リミテッド
Priority date: 2005-10-20
Filing date: 2006-10-11
Publication date: 2009-03-19
Also published as: US20090041254A1; EP1938655A1; WO2007045016A1; EP1938655A4

Abstract

仮想空間オーディオのためのバイノーラル音信号を生成する装置（１）は、仮想空間オーディオとして再生される信号を受信するための受信器（４）を具備している。信号処理装置（３）は、受信したオーディオ信号を処理するため受信器（４）と通信して、仮想音のターゲット距離を変化させるための距離変化関数を使用する演算、及び、仮想空間オーディオとして受信した信号を再生する演算を実施する。装置（１）は、出力デバイスが接続可能なコネクタ（６）と、ターゲット距離における仮想空間オーディオのバイノーラル音信号を出力するための信号処理装置によって制御されている出力デバイスとをさらに具備している。

Description

本発明は、距離変動型の空間オーディオ(spatial audio)のシミュレーションに関する。特に、本発明は、空間における正確な距離及び方向で仮想音源（virtual sound source）を聴取者が明確に知覚するような距離変動型の仮想空間オーディオの再生（rendering virtual spatial audio）の方法及び装置に関する。

本願は、２００５年１０月２０日に出願されたオーストラリア仮出願第２００５９０５８１７号の優先権を主張し、その内容は引用により本明細書に組み込まれる。

出願人は、距離に伴って変化する仮想空間オーディオを生成するための多様な方法を知っている。距離制御が仮想聴覚ディスプレイ（virtual auditory display）にとって特に重要な空間の１特定領域は、空間のニアフィールド領域（near-field region of space）である。空間のニアフィールド領域とは、聴取者の至近距離、すなわち、概ね手の届く距離の空間位置(spatial location)であると説明することができる。ニアフィールドの仮想音源を高精度に位置決めするための最も一般的な方法は、ニアフィールドで音響的に記録された頭部伝達関数（ＨＲＴＦ）を利用するものである。ＨＲＴＦは、仮想聴覚空間（virtual auditory space）のシミュレーションに使用される音響伝達関数である。ニアフィールドＨＲＴＦは、ニアフィールドの位置から測定が記録された被験者又は試験用人頭の外耳道の入口までの音圧変化（pressure transformation）を説明する音響伝達関数である。ニアフィールド音響ＨＲＴＦは、既知のインパルス測定技術を使用して記録することができる。高精度に記録されたニアフィールドＨＲＴＦは、次いで、適切なフィルタリング技術を使用して仮想音源の合成に使用される。オーバーヘッドフォンを適切に装着すると、これらの仮想音源がニアフィールドＨＲＴＦの測定位置によって決定されるニアフィールドのロケーションから発せられるように、知覚上、感じられる。

空間のニアフィールド領域の仮想空間オーディオを生成するその他の方法は、空間のファーフィールド領域（far-field region of space）の仮想音源に信号変形を適用することに依存する。空間のファーフィールド領域とは、空間のニアフィールド領域よりも聴取者からさらに離れた、すなわち、概ね聴取者から１〜２ｍ以上離れた空間位置であると説明することができる。

ファーフィールド仮想音源からニアフィールド仮想音源を合成しようとする理由は、空間のニアフィールド領域のＨＲＴＦの記録が困難であり、かつ、時間がかかる事実に由来する。実際、それは空間のファーフィールド領域のＨＲＴＦを記録するよりもさらに困難である。ニアフィールドＨＲＴＦの記録に関係する困難には、（ｉ）拡声器ダイヤフラム（loudspeaker diaphragm）の有次元性が理想的な点源近似（point-source approximation）を無効にすること、（ｉｉ）頭部に対する拡声器位置の小さな誤差がＨＲＴＦを大きく変化させることがある。

ファーフィールド距離変形を目的とした信号処理と真のニアフィールド処理とを区別する必要がある。ファーフィールド仮想音源の距離知覚は、例えば、直接音エネルギーと残響音エネルギーとの相対比率を変化させることによって、そして、また、大気による吸収をシミュレートするローパスフィルタを適用することによって変形することが一般的である。これらの信号処理は、一般に、ファーフィールドに存在する仮想音源の知覚距離を変化させることを目的としており、かつ、ニアフィールドに関係するＨＲＴＦの体系的な変化を直接説明しない。

空間のニアフィールド領域の仮想空間オーディオを生成するその他の方法は、ＨＲＴＦを使用して仮想拡声器再生（virtual loudspeaker playback）がシミュレートされるニアフィールド制御（ＮＦＣ）アンビソニックアプローチのバイノーラル合成(binaural synthesis)を使用する方法である。仮想空間オーディオに対するＮＦＣアンビソニックアプローチは、仮想音場(virtual sound field)の球状調和展開（spherical harmonic expansion）に依存する。より正確には、ニアフィールド点源によって生成される音場は、点源拡声器としてモデル化される拡声器を使用してシミュレートされる。点源近似は波面に曲率を与え、かつ、アンビソニック音ディスプレイ（ambisonic sound display）に従来から使用されてきた拡声器の平面波モデルとは異なる。アンビソニック仮想空間オーディオの背景となる基本原理は、球状調和近似（spherical harmonic approximation）の特定の次数まで有効である空間音場を再現することである。ＮＣＦアンビソニック計算は、点源球状調和近似に依存する。ＮＦＣアンビソニック拡声器再生のバイノーラル合成は、次いで、ＨＲＴＦフィルタを使用して拡声器アレイ（array of loudspeakers）をシミュレートすることに依存する。

空間のニアフィールド領域の仮想空間オーディオを生成する従来方法には、ニアフィールドＨＲＴＦフィルタをリアルタイムで導出するために使用する数学モデルに単純性、正確性、かつ、直接性を欠くという欠点がある。現在のコンピュータのサウンドカードには、ニアフィールド領域サウンド制御が十分な精度でない両耳レベル差（interaural level difference）の単純な変調に依存するという欠点がある。ＮＦＣアンビソニックに基づくバイノーラル合成には、モデルが非常に複雑で、かつ、精度が不十分であるという欠点がある。

以下に使用されるいくつかの技術用語を次のように定義する。「頭部伝達関数（Head-related transfer function：ＨＲＴＦ）」は、仮想聴覚空間のシミュレーションに使用するフィルタ関数である。一般に、耳ごと及び空間位置ごとに１つのＨＲＴＦが存在する。本明細書では、ＨＲＴＦフィルタ関数は、１つの空間位置から他の空間位置までの音圧変化を示すあらゆるフィルタ関数を含むように一般化している。「距離変化関数（distance variation function：ＤＶ）」は、ある他の初期位置で既知のＨＲＴＦから新規、ターゲット、位置の条件によるＨＲＴＦフィルタを導出するために使用される数学量である。「初期関数(initial function)、Ｓ_Ｉ」及び「ターゲット関数(target function)、Ｓ_Ｔ」は、初期空間位置及びターゲット空間位置に関係する数学量をそれぞれ引用し、上記に定義した距離変化関数の計算に使用することができる。「頭部状表面(head-like surface)」は、音響散乱特性を有する剛体面であり、実施されたＨＲＴＦ音響測定を有するオブジェクトとある類似性を共有する。頭部状表面の例は、剛球体、楕円体、長球体、音響試験用マネキン、人頭、人頭モデル等を具備している。

本発明の第１構成態様によると、仮想空間オーディオを生成するための方法があり、この方法は、
方向ｘ＾及び距離Ｄ_Ｉに対応する頭部伝達関数（ＨＲＴＦ）Ｈ_Ｉを与えるステップと、
距離に伴うＨＲＴＦの変化をモデル化する距離変化関数ＤＶを決定するステップと、
距離変化関数ＤＶ及びＨＲＴＦ：Ｈ_Ｉを音に適用して、方向ｙ＾及び距離Ｄ_Ｔに対応するバイノーラル音を生成するための信号処理装置を使用するステップと
を具備している。

ＤＶ、または、Ｈ_Ｉの一方又は両方は、音に直接適用される可能性があることを理解されたい。したがって、Ｈ_Ｉを最初に音に直接適用してもよく、その後、ＤＶをその結果に適用し、又はその逆も同様である。しかし、好ましい構成態様では、方向ｙ＾及び距離Ｄ_Ｔに対応する頭部伝達関数Ｈ_Ｔを得るため、前記方法は距離変化関数ＤＶをＨ_Ｉに適用するステップを具備してもよい。

前記方法は、距離変化関数を周波数領域がＨ_Ｔ＝ＤＶ・Ｈ_ＩであるＨ_Ｉに適用するステップを具備することができる。代わりに、前記方法は距離変化関数を時間領域がＨ_Ｔ＝ＤＶｃｏｎｖｏｌｖｅＨ_ＩであるＨ_Ｉに適用するステップを具備してもよい。

前記方法は、ＨＲＴＦ、Ｈ_Ｔを有する音をフィルタリングして、バイノーラル音信号を生成するための信号処理装置を使用するステップを具備してもよい。

好ましくは、前記方法は、仮想空間オーディオバイノーラル音信号と一致する音を聴取者に送るための音響アクチュエータを使用するステップを具備している。

さらに、距離Ｄ_Ｉはファーフィールドに存在し、かつ、距離Ｄ_Ｔはニアフィールドに存在することができる。

前記方法は、
初期距離Ｄ_Ｉに対応する初期関数Ｓ_Ｉを決定するステップと、
ターゲット距離Ｄ_Ｔに対応するターゲット関数Ｓ_Ｔを決定するステップと、
Ｓ_ＩからＳ_Ｔまでの距離変化関数ＤＶを決定するステップと
によって、距離に伴うＨＲＴＦの変化をモデル化する距離変化関数ＤＶを決定するステップを具備してもよい。

初期関数は、頭部状表面から初期距離に位置する音の点源に対して頭部状周囲の散乱音の音波方程式の解を特徴付ける可能性がある。ターゲット関数は、頭部状表面からターゲット距離に位置する音の点源に対して頭部状表面周囲の散乱音の音波方程式の解を特徴付ける可能性がある。

前記方法は、伝達関数を使用して周波数領域において実施することができ、かつ、

として距離変化関数を計算するステップを具備することができる。代わりに、前記方法はフィルタ関数を使用して時間領域において実施してもよく、かつ、ＤＶ＝Ｓ_ＴｄｅｃｏｎｖｏｌｖｅＳ_Ｉとして距離変化関数を計算するステップを具備してもよい。

前記方法は、頭部状表面から離れた初期距離及びターゲット距離ごとの音源による剛体頭部状表面の表面音圧の解析解に従って、初期関数及びターゲット関数を計算するステップを具備することができる。したがって、ＨＲＴＦに一致する人の被験者に対応して整合する剛体頭部状表面の半径を、解析解において用いるステップを具備することができる。代わりに、前記方法は、解の高速反復計算法を使用して解析解を計算するステップを具備してもよい。

前記方法は、頭部状表面から離れた初期距離及びターゲット距離ごとの音源による剛体頭部状表面の表面音圧から、初期関数及びターゲット関数を導出するステップを具備することができる。

前記方法は、初期距離又はターゲット距離以外の距離に対応するデータから、初期関数、ターゲット関数、初期関数及びターゲット関数の両方のいずれか１つを内挿するステップを具備することができる。

１構成態様では、前記方法は、方向ｘ＾と同一である方向ｙ＾を選択するステップを具備することができる。その他の構成態様では、前記方法は、距離に依存するパララックス効果によって方向ｘ＾に方向ｙ＾を関係付けるステップを具備してもよい。

本発明の第２構成態様によると、距離に伴うＨＲＴＦの変化をモデル化する距離変化関数を決定するための方法があり、前記方法は、
初期距離に対応する初期関数Ｓ_Ｉを決定するステップと、
ターゲット距離に対応するターゲット関数Ｓ_Ｔを決定するステップと、
Ｓ_ＩからＳ_Ｔまでの距離変化関数ＤＶを決定するステップと
を具備する。

本発明の第３構成態様によると、方向ｘ＾及び距離Ｄ_Ｉに対応する頭部伝達関数（ＨＲＴＦ）Ｈ_Ｉを方向ｙ＾及び距離Ｄ_Ｔに対応する頭部伝達関数Ｈ_Ｔに変形するための方法があり、前記方法は、
距離に伴うＨＲＴＦの変化をモデル化する距離変化関数ＤＶを決定するステップと、
距離変化関数ＤＶをＨ_Ｔ取得のためのＨ_Ｉに適用するステップと、
を具備する。

前記方法は、本発明の第２構成態様に関連する上記方法を使用して距離変化関数を決定するステップを具備することができる。

前記方法は、方向ｘ＾と同一である方向ｙ＾を選択するステップを具備することができる。代わりに、前記方法は、距離に依存するパララックス効果によって方向ｘ＾に方向ｙ＾を関係付けるステップを具備してもよい。

本発明の第４構成態様によると、仮想空間オーディオのためのバイノーラル音信号を生成する方法があり、前記方法は、
方向ｘ＾及び距離Ｄ_Ｉに対応する頭部伝達関数（ＨＲＴＦ）Ｈ_Ｉを方向ｙ＾及び距離Ｄ_Ｔに対応する頭部伝達関数Ｈ_Ｔに変形するステップと、
バイノーラル音信号を生成するために、変形されたＨＲＴＦを有する音をフィルタリングする信号処理装置を使用するステップと
を具備する。

前記方法は、本発明の第３構成態様に関連する上記方法を使用してＨＲＴＦ：Ｈ_Ｔを導出するステップを具備することができる。

本発明の第５構成態様によると、仮想空間オーディオのためのバイノーラル音信号を生成する方法があり、前記方法は、
方向ｘ＾及び距離Ｄ_Ｉに対応する頭部伝達関数（ＨＲＴＦ）Ｈ_Ｉを有する入力音をフィルタリングするステップと、
距離に伴うＨＲＴＦの変化をモデル化する距離変化関数ＤＶを有する音をフィルタリングするための信号処理装置を使用するステップと
を具備する。

前記方法は、本発明の第２構成態様に関連する上記方法を使用して距離変化関数ＤＶを導出するステップを具備することができる。

本発明の第６構成態様によると、仮想空間オーディオを生成するための方法があり、前記方法は、
仮想空間オーディオのためのバイノーラル音信号を生成するステップと、
仮想空間オーディオバイノーラル音信号と一致する音を聴取者に送るための音響アクチュエータを使用するステップと
を具備する。

前記方法は、本発明の第４構成態様又は第５構成態様に関連する上記方法を使用してバイノーラル音信号を生成するステップを具備することができる。

本発明の第７構成態様によると、仮想空間オーディオを生成するための装置があり、前記装置は、
仮想空間オーディオとして再生される信号を受信するための受信器と、
受信器と通信して、受信したオーディオ信号を処理し、仮想音のターゲット距離が変化する距離変化関数を使用して演算を実施し、かつ、受信した信号を仮想空間オーディオとして再生するための信号処理装置と、
出力デバイスに接続可能であり、出力デバイスが信号処理装置によって制御されて、ターゲット距離の仮想空間オーディオのバイノーラル音信号を出力するコネクタと
を具備する。

前記装置は、ニアフィールドバイノーラル音信号と一致する音を聴取者に送る出力デバイスを具備することができる。

本発明の１実施形態は、添付図面を参照し、一例として、説明される。

図において、一般に、参照符号１は本発明の１実施形態による仮想空間オーディオを生成するための装置を意味する。装置１は、オーディオ信号を受信するための入力データポート４と、関連位置信号（associated position signal）を受信するための入力データポート５とを具備し、関連位置信号は、聴取者の個人的な仮想聴覚空間に対してオーディオ信号が空間的に再生されるターゲットロケーション（距離及び方向）を決定する。明らかに、オーディオ信号と位置信号との両方とも時間によって変化する可能性がある。いくつかの実施形態では、オーディオ信号とその関連位置信号を一体化して、単一の入力信号を生成することができる。

前記装置１は、信号処理装置３とデータストレージユニット２とを備えた演算ユニット７を具備している。信号処理装置３は、オプションのマイクロプロセッサ９によって置換え、または、補足してもよい。

信号処理装置３は、オーディオ信号の所期の方向

（以下、ｑ￣＝（ｒ，θ_ｋ，φ_ｋ）と表記する）に基づき、データストレージユニット２からＨＲＴＦフィルタを選択する。ＨＲＴＦフィルタは、多様なフォーマットでデータストレージユニット２に格納することができる。好ましい１実施形態では、ＨＲＴＦフィルタは、あらゆる方向へのＨＲＴＦフィルタの内挿に使用することができる追加の側面情報（additional side information）を有する圧縮フォーマット（ＨＲＴＦデータに主成分分析を行うときに取得されるフォーマットなど）で格納されている。追加の側面情報は、空間における離散的な方向の一連のＨＲＴＦフィルタから抽出することができ、球面スプラインアルゴリズム又は近隣(near-neighbor)内挿法などの内挿法を使用する。代わりに、必要なＨＲＴＦフィルタは、オプションのデータ通信ポート８を使用して外部ソースから取得してもよい。

好ましい１実施形態では、信号処理装置３は、データストレージユニット２に格納されたＨＲＴＦフィルタに関係するターゲットロケーションの距離Ｄ_Ｔ及び距離Ｄ_Ｉに基づき、距離変化関数ＤＶを計算する。距離変化関数ＤＶが要求されている（例えば、Ｄ_ＴがＤ_Ｉと等しくなく、かつ、Ｄ_Ｔ又はＤ_Ｉの少なくとも一方が空間のニアフィールド領域に存在する）と仮定する。好ましい１実施形態では、信号処理装置３は、剛体面の形態の頭部状表面における音散乱のための分析解を使用して、距離Ｄ_Ｉに関係する初期関数Ｓ_Ｉと距離Ｄ_Ｔに関係するターゲット関数Ｓ_Ｔとを導出する。半径ａの剛体球表面で、ロケーション

で、正弦波の点音源によって、周波数ｆで、波数

で、ロケーションｑ￣＝（ｒ，θ_ｋ，φ_ｋ）では、音圧ｐ_Ｓ（ａ，θ_Ｓ，φ_Ｓ；ｋ，ｒ）は次式で与えられる。

ここで、ｃは音の速度であり、ｈ_ｎ（ｋｒ）＝ｊ_ｎ（ｋｒ）＋ｊｙ_ｎ（ｋｒ）はｎ次の第１種変形球ベッセル関数（modified spherical Bessel function of the first kind of order n）であり、

は、ｎ次かつｍ次の球面調和関数（spherical harmonic function of degree n and order m）である。特定の距離ｒの点音源による球表面における音圧伝達関数を決定するために、剛体球表面における音圧ｐ_Ｓ（ａ，θ_Ｓ，φ_Ｓ；ｋ，ｒ）は、所望の波数ｋごとに計算することができる。したがって、好ましい１実施形態では、信号処理装置３は、Ｓ_Ｉ＝ｐ_Ｓ（ａ，θ_Ｓ，φ_Ｓ；ｋ，Ｄ_Ｉ）として距離Ｄ_Ｉに対応するＳ_Ｉを計算する。信号処理装置３は、Ｓ_Ｔ＝ｐ_Ｓ（ａ，θ_Ｓ，φ_Ｓ；ｋ，Ｄ_Ｔ）として距離Ｄ_Ｔに対応するＳ_Ｔを計算する。ａの数値は聴取者の頭のサイズによって決定され、かつ、データストレージユニット２に格納された一連のＨＲＴＦからあらかじめ計算することができる（例えば、クーン（Kuhn）のモデルの使用）。方位角及び仰角（θ_Ｓ，φ_Ｓ）は、聴取者の頭の耳のロケーション（耳ごとに別のＨＲＴＦフィルタ及び距離変化フィルタＤＶがあることに注意）によって決定される。信号処理装置３は、次いで、

として距離変化関数を計算する。

前記信号処理装置３は、ターゲット方向ｑ￣＝（ｒ，θ_ｋ，φ_ｋ）、及び、データストレージユニット２に格納されたＨＲＴＦデータに基づき、初期ＨＲＴＦ：Ｈ_Ｉを決定する。好ましい１実施形態では、球面スプライン内挿法は、初期ＨＲＴＦの決定に使用される。好ましい１実施形態では、信号処理装置３は、パララックス効果を考慮し、かつ、初期ＨＲＴＦフィルタを決定するときのターゲット方向を適切に変更する。信号処理装置３は、次いで、Ｈ_Ｔ＝ＤＶ・Ｈ_ＩとしてターゲットＨＲＴＦ：Ｈ_Ｔを計算する。

前記信号処理装置３はＨＲＴＦ：Ｈ_Ｔを受信したオーディオ信号に適用して、ニアフィールドにおける仮想聴覚空間を適切にシミュレートするためのバイノーラル音信号を導出する。これらのバイノーラル音信号は、ヘッドフォンセット、拡声器アレイ、または、出力データポート６を経由するその他の音響アクチュエータなどの出力デバイスを通過することができる。

一般的な方法では、ＨＲＴＦフィルタは対象から特定の距離で音響的に記録される。ＨＲＴＦフィルタは、ニアフィールドの仮想聴覚空間のシミュレーションに使用される。ニアフィールドの仮想聴覚空間のシミュレーションには、測定距離とシミュレートされた仮想聴覚ディスプレイの音信号のための所望のターゲット距離とが同一でない可能性があるという困難が伴う。典型的には、ＨＲＴＦフィルタは、聴取者の空間のファーフィールド領域と呼ばれるものに音響的に記録される。空間のファーフィールド領域は、一般に、聴取者から１ｍ以上離れた一連のロケーションとみなされる。ファーフィールドロケーションを明確にする特徴は、空間のファーフィールド領域における音源が近似誤差の小さい平面波音源として近似できることである。空間のファーフィールド領域のための平面波音源特性の結果、空間の特定の方向のためのＨＲＴＦフィルタは、距離の関数としてのスペクトル特性にほぼ変化がない。音の全強度は、空間のファーフィールド領域において距離に伴い自然に変化することとなるが、これは適切なゲイン又は減衰率を有する音信号の単純なスケーリングによって説明することができる。したがって、空間のファーフィールド領域のＨＲＴＦフィルタは、方向だけに伴う変化があり、かつ、距離の関数では変化がない。

一方、空間のニアフィールド領域とは、一般に、対象の１ｍ以内のロケーションを指し、かつ、この理由から一連のロケーションを「手の届く範囲」と言う。仮想聴覚空間におけるニアフィールド音のシミュレーションにはいくつかの技術的な困難がある。主な困難は、空間のニアフィールド領域に対応するＨＲＴＦフィルタが距離の関数として変化することである。したがって、異なるＨＲＴＦフィルタが聴取者のニアフィールドの距離のひとつひとつに必要である。ＨＲＴＦフィルタの音響的な記録は困難であり、かつ、時間がかかる。現在、空間のニアフィールド領域のための記録されたＨＲＴＦフィルタデータベースは非常に少ない。空間のニアフィールド領域におけるＨＲＴＦフィルタの音響的な記録には、音源に要求される正確な位置決め、及び、広帯域点音源を生成するなどの多数の困難がある。

空間のニアフィールド領域における高忠実度の仮想聴覚空間のシミュレーションに関係する困難を前提とすれば、本発明の大きな利点は、空間のニアフィールド領域のための高忠実度のＨＲＴＦフィルタを生成する手段を提供することである。さらに、本発明は、リアルタイムかつオンザフライでニアフィールドＨＲＴＦフィルタを高忠実度に生成して、あらゆる仮想聴覚ディスプレイの要求に整合させることができる。距離変化関数ＤＶの計算は、標準的な反復法による計算を使用して非常に高速に実施することができる。本発明のその他の利点は、ニアフィールドＨＲＴＦフィルタは、バイノーラルＮＦＣアンビソニック法などのその他の既知の手法に比べてより精度良く、かつ、計算がより容易であることである。

それにもかかわらず、本発明のさらなる利点は、空間領域、すなわち、人の知覚の没頭（immersion）及び聴覚空間のリアリズムに強く影響を及ぼすニアフィールドにおける仮想空間オーディオのシミュレーションを可能にすることである。ニアフィールドの音の高精度なシミュレーションは、聴覚ディスプレイのリアリズムを大いに強調する。さらに、異なる話者の分離もまた、話の明瞭度を非常に向上させる。したがって、多数の異なる話者を一体化する仮想聴覚ディスプレイにおいて、ニアフィールドに位置する話者を精度良くシミュレートする能力は、より明瞭かつ使用に適した仮想聴覚ディスプレイを実現することになる。

広く開示された本発明の真の趣旨又は範囲から逸脱することなく、当業者によって、多様な変形形態及び／又は修正形態が、特定の実施形態を示した本発明になされうることを理解されたい。したがって、提示する実施形態は、すべての点で、具体例であり、かつ、限定されないと理解されるものである。

図１は本発明の１実施形態形態による仮想空間オーディオ生成の装置を概念的に図示したものである。図２は本発明の１実施形態形態による仮想空間オーディオ生成の方法のフローチャートを図示したものである。

符号の説明

１装置
２データストレージユニット
３信号処理装置
４入力データポート
５入力データポート
６出力データポート
７演算ユニット
８データ通信ポート
９マイクロプロセッサ

Claims

仮想空間オーディオを生成するための方法であって、
方向

（以下、ｘ＾と表記する）及び距離Ｄ_Ｉに対応する頭部伝達関数（ＨＲＴＦ）Ｈ_Ｉを与えるステップと、
距離に伴うＨＲＴＦの変化をモデル化する距離変化関数ＤＶを決定するステップと、
前記距離変化関数ＤＶ及び前記ＨＲＴＦ：Ｈ_Ｉを音に適用して、方向

（以下、ｙ＾と表記する）及び距離Ｄ_Ｔに対応するバイノーラル音を生成するための信号処理装置を使用するステップと
を具備することを特徴とする方法。
前記方向ｙ＾及び前記距離Ｄ_Ｔに対応する頭部伝達関数Ｈ_Ｔを得るため、前記距離変化関数ＤＶをＨ_Ｉに適用するステップを具備することを特徴とする請求項１に記載の方法。
前記距離変化関数を周波数領域がＨ_Ｔ＝ＤＶ・Ｈ_ＩであるＨ_Ｉに適用するステップを具備することを特徴とする請求項２に記載の方法。
前記距離変化関数を時間領域がＨ_Ｔ＝ＤＶｃｏｎｖｏｌｖｅＨ_ＩであるＨ_Ｉに適用するステップを具備することを特徴とする請求項２に記載の方法。
前記ＨＲＴＦ：Ｈ_Ｔを有する音をフィルタリングして、バイノーラル音信号を生成するための前記信号処理装置を使用するステップを具備することを特徴とする請求項２乃至４のいずれか１項に記載の方法。
前記仮想空間オーディオバイノーラル音信号と一致する音を聴取者に送るための音響アクチュエータを使用するステップを具備することを特徴とする請求項１乃至５のいずれか１項に記載の方法。
前記距離Ｄ_Ｉはファーフィールドに存在し、かつ、前記距離Ｄ_Ｔはニアフィールドに存在することを特徴とする請求項１乃至６のいずれか１項に記載の方法。
初期距離Ｄ_Ｉに対応する初期関数Ｓ_Ｉを決定するステップと、
ターゲット距離Ｄ_Ｔに対応するターゲット関数Ｓ_Ｔを決定するステップと、
Ｓ_ＩからＳ_Ｔまでの距離変化関数ＤＶを決定するステップと
によって、距離に伴うＨＲＴＦの変化をモデル化する前記距離変化関数ＤＶを決定するステップを具備することを特徴とする請求項１乃至７のいずれか１項に記載の方法。
伝達関数を使用して前記周波数領域において実施し、かつ、

として前記距離変化関数を計算するステップを具備することを特徴とする請求項８に記載の方法。
フィルタ関数を使用して前記時間領域において実施し、かつ、ＤＶ＝Ｓ_ＴｄｅｃｏｎｖｏｌｖｅＳ_Ｉとして前記距離変化関数を計算するステップを具備することを特徴とする請求項８に記載の方法。
頭部状表面から離れた前記初期距離及び前記ターゲット距離ごとの音源による剛体頭部状表面の前記表面音圧の解析解に従って、前記初期関数及び前記ターゲット関数を計算するステップを具備することを特徴とする請求項８乃至１０のいずれか１項に記載の方法。
ＨＲＴＦに一致する人の被験者に対応して整合する前記剛体頭部状表面の半径を、前記解析解において用いるステップを具備することを特徴とする請求項１１に記載の方法。
解の高速反復計算法を使用して前記解析解を計算するステップを具備することを特徴とする請求項１１に記載の方法。
前記頭部状表面から離れた前記初期距離及びターゲット距離ごとの音源による前記剛体頭部状表面の表面音圧の解析解から、前記初期関数及びターゲット関数を導出するステップを具備することを特徴とする請求項８乃至１０のいずれか１項に記載の方法。
前記初期距離又はターゲット距離以外の距離に対応するデータから、前記初期関数、前記ターゲット関数、前記初期関数及び前記ターゲット関数の両方のいずれか１つを内挿するステップを具備することを特徴とする請求項８乃至１４のいずれか１項に記載の方法。
前記方向ｘ＾と同一である前記方向ｙ＾を選択するステップを具備することを特徴とする請求項１乃至１５のいずれか１項に記載の方法。
距離に依存するパララックス効果によって前記方向ｘ＾に前記方向ｙ＾を関係付けるステップを具備することを特徴とする請求項１乃至１５のいずれか１項に記載の方法。
距離に伴うＨＲＴＦの変化をモデル化する距離変化関数を決定するための方法であって、
初期距離に対応する前記初期関数Ｓ_Ｉを決定するステップと、
ターゲット距離に対応する前記ターゲット関数Ｓ_Ｔを決定するステップと、
Ｓ_ＩからＳ_Ｔまでの距離変化関数ＤＶを決定するステップと
を具備することを特徴とする方法。
伝達関数を使用して前記周波数領域において実施され、かつ、

として前記距離変化関数を計算するステップを具備することを特徴とする請求項１８に記載の方法。
フィルタ関数を使用して前記時間領域において実施され、かつ、ＤＶ＝Ｓ_ＴｄｅｃｏｎｖｏｌｖｅＳ_Ｉとして前記距離変化関数を計算するステップを具備することを特徴とする請求項１８に記載の方法。
前記頭部状表面から離れた前記初期距離及びターゲット距離ごとの音源による前記剛体頭部状表面の表面音圧の解析解に従って、前記初期関数及びターゲット関数を計算するステップを具備することを特徴とする請求項１８乃至２０のいずれか１項に記載の方法。
ＨＲＴＦに一致する人の被験者に対応して整合する前記剛体頭部状表面の半径を、前記解析解において用いるステップを具備することを特徴とする請求項２１に記載の方法。
解の高速反復計算法を使用して前記解析解を計算するステップを具備する請求項２１に記載の方法。
前記頭部状表面から離れた前記初期距離及びターゲット距離ごとの音源による前記剛体頭部状表面の表面音圧から、前記初期関数及びターゲット関数を導出するステップを具備することを特徴とする請求項１８乃至２０のいずれか１項に記載の方法。
前記初期距離又はターゲット距離以外の距離に対応するデータから、前記初期関数、前記ターゲット関数、前記初期関数及び前記ターゲット関数の両方のいずれか１つを内挿するステップを具備することを特徴とする請求項１８乃至２４のいずれか１項に記載の方法。
方向ｘ＾及び距離Ｄ_Ｉに対応する頭部伝達関数（ＨＲＴＦ）Ｈ_Ｉを方向ｙ＾及び距離Ｄ_Ｔに対応する頭部伝達関数Ｈ_Ｔに変形するための方法であって、
距離に伴うＨＲＴＦの変化をモデル化する距離変化関数ＤＶを決定するステップと、
前記距離変化関数ＤＶをＨ_Ｔ取得のためのＨ_Ｉに適用するステップと、
を具備することを特徴とする方法。
請求項１８乃至２５に記載の方法を使用して前記距離変化関数を決定するステップを具備することを特徴とする請求項２６に記載の方法。
前記距離変化関数を前記周波数領域がＨ_Ｔ＝ＤＶ・Ｈ_ＩであるＨ_Ｉに適用するステップを具備することを特徴とする請求項２６又は請求項２７に記載の方法。
前記距離変化関数を前記時間領域がＨ_Ｔ＝ＤＶｃｏｎｖｏｌｖｅＨ_ＩであるＨ_Ｉに適用するステップを具備することを特徴とする請求項２６又は請求項２７に記載の方法。
前記方向ｘ＾と同一である前記方向ｙ＾を選択するステップを具備することを特徴とする請求項２６乃至２９のいずれか１項に記載の方法。
距離に依存するパララックス効果によって前記方向ｘ＾に前記方向ｙ＾を関係付けるステップを具備することを特徴とする請求項２６乃至２９のいずれか１項に記載の方法。
仮想空間オーディオのためのバイノーラル音信号を生成する方法であって、
方向ｘ＾及び距離Ｄ_Ｉに対応する頭部伝達関数（ＨＲＴＦ）Ｈ_Ｉを方向ｙ＾及び距離Ｄ_Ｔに対応する頭部伝達関数Ｈ_Ｔに変形するステップと、
バイノーラル音信号を生成するために、変形されたＨＲＴＦを有する音をフィルタリングする信号処理装置を使用するステップと
を具備することを特徴とする方法。
請求項２６乃至３１のいずれか１項に記載の方法を使用して前記ＨＲＴＦ：Ｈ_Ｔを導出するステップを具備することを特徴とする請求項３２に記載の方法。
仮想空間オーディオのためのバイノーラル音信号を生成する方法であって、
方向ｘ＾及び距離Ｄ_Ｉに対応する頭部伝達関数（ＨＲＴＦ）Ｈ_Ｉを有する入力音をフィルタリングするステップと、
距離に伴うＨＲＴＦの変化をモデル化する距離変化関数ＤＶを有する音をフィルタリングするための信号処理装置を使用するステップと
を具備することを特徴とする方法。
請求項１８乃至２５のいずれか１項に記載の方法を使用して前記距離変化関数ＤＶを導出するステップを具備することを特徴とする請求項３４に記載の方法。
仮想空間オーディオを生成するための方法であって、
仮想空間オーディオのためのバイノーラル音信号を生成するステップと、
前記仮想空間オーディオバイノーラル音信号と一致する音を聴取者に送るための音響アクチュエータを使用するステップと
を具備することを特徴とする方法。
請求項３２乃至３５のいずれか１項に記載の方法を使用して前記バイノーラル音信号を生成するステップを具備することを特徴とする請求項３６に記載の方法。
仮想空間オーディオを生成するための装置であって、
仮想空間オーディオとして再生される信号を受信するための受信器と、
受信器と連通して、前記受信したオーディオ信号を処理し、前記仮想音のターゲット距離が変化する距離変化関数を使用して演算を実施し、かつ、前記受信した信号を仮想空間オーディオとして再生するための信号処理装置と、
出力デバイスに接続可能であり、前記出力デバイスが前記信号処理装置によって制御されて、前記ターゲット距離の仮想空間オーディオのバイノーラル音信号を出力するコネクタと
を具備することを特徴とする装置。
ニアフィールドバイノーラル音信号と一致する音を聴取者に送る前記出力デバイスを具備することを特徴とする請求項３８に記載の装置。