JP2009508442A - オーディオ処理のためのシステムおよび方法 - Google Patents

Abstract

オーディオ信号処理のためのシステムおよび方法を開示し、離散的な数の簡単なデジタルフィルタ（２６６）がオーディオ周波数範囲の特定の部分に対して発生させられる。ある周波数範囲が人間の耳の場所弁別能力に対して特に重要であり、一方他の範囲は一般に無視されることを研究は示している。頭に関する伝達関数（ＨＲＴＦ）（１７０）は、異なる場所に位置している音を耳がどのように知覚するかを特徴付ける例示的な応答関数である。このような応答関数の１つ以上の“場所臨界部分（１７２、１７４）を選択することにより、場所弁別能力が実質上維持されるヒアリングをシミュレートするために使用できる簡単なフィルタ（１８０）を構成できる。フィルタは簡単なものとすることができるため、限定された計算力およびリソースを有するデバイス（５５０、５６２）中で実現して、多くの望ましいオーディオ効果に対する基礎を形成する場所弁別応答を提供できる。
【選択図】 図１４

Description

優先権主張

本出願は、オーディオ処理のためのシステムおよび方法と題する、２００５年９月１３日に出願された米国仮出願第６０／７１６，５８８号の合衆国法典第３５部第１１９条（ｅ）に基づく優先権の利益を主張し、その全体は参照によりここに組み込まれる。

背景

分野
本開示は一般にオーディオ信号処理に関し、より詳細には、可聴周波数範囲の場所臨界部分をフィルタリングして、３次元リスニング効果をシミュレートするシステムおよび方法に関する。

関連技術の説明
サウンド信号を処理して、向上したリスニング効果を提供することができる。例えば、さまざまな処理技術は、リスナを基準として位置している、または動いているものとして、音源を知覚させることができる。このような技術により、制限された構成および性能を有するスピーカを使用するときでさえ、リスナはシミュレートされた３次元リスニング体験を楽しむことができる。

しかしながら、多くのサウンド知覚向上技術は複雑であり、かなりの計算力およびリソースを必要とすることが多い。したがって、限定された計算力およびリソースを有する多くのデバイスに適用されるとき、これらの技術の使用は、実際的でないか、または不可能である。セル電話機、ＰＤＡ、ＭＰ３プレイヤ、およびこれらに類似するもののような、ポータブルデバイスの多くは、一般にこのカテゴリに属する。

概要

ここで開示するようなオーディオ信号処理のためのシステムおよび方法のさまざまな実施形態により、前述の問題の少なくともいくつかに対処できる。１つの実施形態において、オーディオ周波数範囲の特定の部分に対して、離散的な数の簡単なデジタルフィルタを発生させることができる。ある周波数範囲が人間の耳の、場所弁別能力に対して特に重要であり、一方他の範囲は一般に無視されることを研究が示している。頭関連の伝達関数（ＨＲＴＦ）は、異なる場所に位置する音を耳がどのように知覚するかを特徴付ける例示的な応答関数である。このような応答関数の１つ以上の“場所臨界”部分を選択することにより、場所弁別能力が実質上維持されるヒアリングをシミュレートするために使用できる簡単なフィルタを構築できる。フィルタは簡単であるため、限定された計算力およびリソースを有するデバイス中でフィルタを実現して、多くの望ましいオーディオ効果に対する基礎を形成する場所弁別応答を提供できる。

本開示の１つの実施形態は、デジタルオーディオ信号を処理する方法に関する。方法は１つ以上のデジタル信号を受け取ることを含み、１つ以上のデジタル信号のそれぞれは、リスナを基準とした音源の空間的な位置に関する情報を有する。方法はさらに１つ以上のデジタルフィルタを選択することを含み、１つ以上のデジタルフィルタのそれぞれは、特定の範囲のヒアリング応答関数から形成されている。方法はさらに、１つ以上のフィルタを１つ以上のデジタル信号に適用することを含み、その結果、対応する１つ以上のフィルタされた信号を生じさせ、１つ以上のフィルタされた信号のそれぞれは、音源に適用されるヒアリング応答関数のシミュレートされた影響を有する。

１つの実施形態において、ヒアリング応答関数は、頭関連の伝達関数（ＨＲＴＦ）を含む。１つの実施形態において、特定の範囲は、ＨＲＴＦ内の周波数の特定の範囲を含む。１つの実施形態において、周波数の特定の範囲は実質上、可聴周波数間の平均の感度よりも大きい、平均的な人間のヒアリングに対する場所弁別感度を提供する周波数の範囲内にあり、またはこの周波数の範囲とオーバーラップする。１つの実施形態において、周波数の特定の範囲は、ＨＲＴＦ中のピーク構造を含むか、またはこのピーク構造と実質上オーバーラップする。１つの実施形態において、ピーク構造は実質上、約２．５ＫＨｚと約７．５ＫＨｚとの間の周波数の範囲内にあるか、またはこの周波数の範囲とオーバーラップする。１つの実施形態において、ピーク構造は実質上、約８．５ＫＨｚと約１８ＫＨｚとの間の周波数の範囲内にあるか、またはこの周波数の範囲とオーバーラップする。

１つの実施形態において、１つ以上のデジタル信号は、左右のスピーカに出力すべき左右のデジタル信号を含む。１つの実施形態において、リスナを基準とした音源の空間的な位置に基づいて、左右のデジタル信号は、両耳間時間差（ＩＴＤ）に対して調整される。１つの実施形態において、ＩＴＤの調整は、音源の空間的な位置関する情報を有するモノラルの入力信号を受け取ることを含む。ＩＴＤの調整は、空間的な情報に基づいて、時間差の値を決定することをさらに含む。ＩＴＤの調整は、時間差の値をモノラル入力信号に導入することにより、左右の信号を発生させることをさらに含む。

１つの実施形態において、時間差の値は、ｓｉｎθｃｏｓφの絶対値に比例する量を含み、ここでθはリスナの正面を基準とした音源の方位角を表し、φはリスナの耳と正面の方向とにより規定される水平面を基準とした音源の仰角を表す。１つの実施形態において、量は次のように表現される。

１つの実施形態において、音源の空間的な位置が変化するとき、時間差の値の決定が実行される。１つの実施形態において、方法は、以前の値と現在の値との間の時間差の値のクロスフェイドな移行を実行することをさらに含む。１つの実施形態において、複数の処理サイクルの間に、左右の信号の発生に使用するための時間差の値を以前の値から現在の値に変更することをクロスフェイドな移行は含む。

１つの実施形態において、１つ以上のフィルタされた信号は、左右のスピーカに出力すべき左右のフィルタされた信号を含む。１つの実施形態において、方法は、存在するかもしれないが、１つ以上のフィルタの適用により対処されない任意の強度差に対処するために、両耳間強度差（ＩＩＤ）に対して、左右のフィルタされた信号のそれぞれを調整することをさらに含む。１つの実施形態において、ＩＩＤに対する左右のフィルタされた信号の調整は、音源がリスナを基準として左または右に位置しているかどうかを決定することを含む。調整は、弱い方の信号として、音源の反対側にある左または右のフィルタされた信号を割り当てることをさらに含む。調整は、強い方の信号として、左または右のフィルタされた信号のうちの他方を割り当てることをさらに含む。調整は、第１の補償により、弱い方の信号を調整することをさらに含む。調整は、第２の補償により、強い方の信号を調整することを含む。

１つの実施形態において、第１の補償は、ｃｏｓθに比例する補償値を含み、ここでθはリスナの正面を基準とした音源の方位角を表す。１つの実施形態において、音源が実質上真正前にある場合、補償値はオリジナルのフィルタレベルの差とすることができるように、そして音源が実質上まっすぐ強い方の側にある場合、弱い方の信号に対して利得調整がなされないために補償値はほぼ１であるように、補償値が標準化される。

１つの実施形態において、第２の補償値は、ｓｉｎθに比例する補償値を含み、ここでθはリスナの正面を基準とした音源の方位角を表す。１つの実施形態において、音源が実質上真正面にある場合、強い方の信号に対して利得調整がなされないために補償値がほぼ１であるように、そして音源が実質上まっすぐ弱い方の側にある場合、補償値はほぼ２であり、それによりほぼ６ｄＢの利得補償を提供して異なる値の方位角における全体的な音の大きさをおおまかに一致させるように補償値が標準化される。

１つの実施形態において、音源の選択された移動のために、新しい１つ以上のデジタルフィルタが左右のフィルタされた信号に適用されるとき、ＩＩＤに対する左右のフィルタされた信号の調整が実行される。１つの実施形態において、方法は、以前の値と現在の値との間の第１と第２との補償値のクロスフェイドな移行を実行することをさらに含む。１つの実施形態において、クロスフェイドな移行は、複数の処理サイクルの間に第１と第２との補償値を変更することを含む。

１つの実施形態において、１つ以上のデジタルフィルタは複数のデジタルフィルタを含む。１つの実施形態において、１つ以上のデジタル信号のそれぞれは、複数のデジタルフィルタの数と同じ数の信号に分割され、それにより複数のデジタルフィルタが複数の分割された信号に並列に適用される。１つの実施形態において、１つ以上のフィルタされた信号のそれぞれは、複数のデジタルフィルタによりフィルタされた、複数の分割された信号を組み合わせることにより取得される。１つの実施形態において、組み合わせることは、複数の分割された信号を合計することを含む。

１つの実施形態において、複数のデジタルフィルタは、第１と第２とのデジタルフィルタを含む。１つの実施形態において、ヒアリング応答関数のパスバンド部分で実質上最大平坦であり、ヒアリング応答関数のストップバンド部分で実質上ゼロに向けてロールオフする応答を生じさせるフィルタを第１と第２とのデジタルフィルタのそれぞれは含む。１つの実施形態において、第１と第２とのデジタルフィルタのそれぞれは、バターワースフィルタを含む。１つの実施形態において、第１と第２とのデジタルフィルタのうちの１つに対するパスバンド部分は、約２．５ＫＨｚと約７．５ＫＨｚとの間の周波数の範囲により規定される。１つの実施形態において、第１と第２とのデジタルフィルタのうちの１つに対するパスバンド部分は、約８．５ＫＨｚと約１８ＫＨｚとの間の周波数の範囲により規定される。

１つの実施形態において、１つ以上のデジタルフィルタの選択は、リスナについての有限の数の幾何学的位置に基づいている。１つの実施形態において、幾何学的な位置は複数の半面を含み、それぞれの半面は、リスナの耳の間の方向に沿ったエッジと、リスナに対して正面の方向および耳により規定される水平面を基準とした仰角φとにより規定される。１つの実施形態において、複数の半面は、１つ以上の前部半面と１つ以上の後部半面とにグループ化される。１つの実施形態において、前部半面は、リスナの前部かつ約０および＋／−４５度の仰角にある半面を含み、そして後部半面は、リスナの後部かつ約０および＋／−４５度の仰角にある半面を含む。

１つの実施形態において、方法は、１つ以上のデジタル信号の受け取り前または１つ以上のフィルタの適用後のいずれかにおいて、以下の処理ステップのうちの少なくとも１つを実行することをさらに含む。これらの処理は、サンプルレート変換、音源速度に対するドップラー調整、リスナに対する音源の距離に対処する距離調整、音源を基準としたリスナの頭の方向に対処する方向調整、または残響調整である。

１つの実施形態において、１つ以上のデジタル信号に対する１つ以上のデジタルフィルタの適用は、リスナに関する音源の動きの影響をシミュレートする。

１つの実施形態において、１つ以上のデジタル信号に対する１つ以上のデジタルフィルタの適用は、リスナに関して、選択された場所に音源を置くことの影響をシミュレートする。１つの実施形態において、方法は、１つ以上の追加的な音源の影響をシミュレートして、リスナに関して、選択された場所で複数の音源の効果をシミュレートすることをさらに含む。１つの実施形態において、１つ以上のデジタル信号は、左右のスピーカに出力すべき左右のデジタル信号を含み、複数の音源は２つより多い音源を含み、それにより２つより多い音源の影響が左右のスピーカによりにシミュレートされる。１つの実施形態において、複数の音源は、サラウンドサウンド配置のうちの１つに類似した方法で配置された５つの音源を含み、左右のスピーカがヘッドフォン中に位置しており、そのため、サラウンドサウンド効果が、ヘッドフォンに提供される左右のフィルタされた信号によりシミュレートされる。

本開示の別の実施形態は、音源からの音を表すデジタル信号を処理する位置オーディオエンジンに関する。オーディオエンジンは、１つ以上のデジタルフィルタを選択するように構成されたフィルタ選択コンポーネントを含み、１つ以上のデジタルフィルタのそれぞれは、特定の範囲のヒアリング応答関数から形成されており、選択は、リスナを基準とした音源の空間的な位置に基づいている。オーディオエンジンは、１つ以上のデジタルフィルタを１つ以上のデジタル信号に適用するように構成されたフィルタ適用コンポーネントを含み、その結果、対応する１つ以上のフィルタリングされた信号を生じさせ、１つ以上のフィルタされた信号のそれぞれは、音源からの音に適用されたヒアリング応答関数のシミュレートされた影響を有している。

１つの実施形態において、ヒアリング応答関数は、頭関連の伝達関数（ＨＲＴＦ）を含む。１つの実施形態において、特定の範囲は、ＨＲＴＦ内の周波数の特定の範囲を含む。１つの実施形態において、周波数の特定の範囲は実質上、可聴周波数間の平均の感度よりも大きい、平均的な人間のヒアリングに対する場所弁別感度を提供する周波数の範囲内にあり、またはその周波数の範囲とオーバーラップする。１つの実施形態において、周波数の特定の範囲は、ＨＲＴＦ中のピーク構造を含むか、またはこのピーク構造と実質上オーバーラップする。１つの実施形態において、ピーク構造は実質上、約２．５ＫＨｚと約７．５ＫＨｚとの間の周波数の範囲内にあるか、またはこの周波数の範囲とオーバーラップする。１つの実施形態において、ピーク構造は実質上、約８．５ＫＨｚと約１８ＫＨｚとの間の周波数の範囲内にあるか、またはこの周波数の範囲とオーバーラップする。

１つの実施形態において、１つ以上のデジタル信号は左右のデジタル信号を含み、それにより、１つ以上のフィルタされた信号は、左右のスピーカに出力すべき左右のフィルタされた信号を含む。

１つの実施形態において、１つ以上のデジタルフィルタは複数のデジタルフィルタを含む。１つの実施形態において、１つ以上のデジタル信号のそれぞれは、複数のデジタルフィルタの数と同じ数の信号に分割され、それにより複数のデジタルフィルタが複数の分割された信号に並列に適用される。１つの実施形態において、１つ以上のフィルタされた信号のそれぞれは、複数のデジタルフィルタによりフィルタされた、複数の分割された信号を組み合わせることにより取得される。１つの実施形態において、組み合わせることは、複数の分割された信号を合計することを含む。

１つの実施形態において、複数のデジタルフィルタは、第１と第２とのデジタルフィルタを含む。１つの実施形態において、ヒアリング応答関数のパスバンド部分で実質上最大平坦であり、ヒアリング応答関数のストップバンド部分で実質上ゼロに向けてロールオフする応答を生じさせるフィルタを第１と第２とのデジタルフィルタのそれぞれは含む。１つの実施形態において、第１と第２とのデジタルフィルタのそれぞれは、バターワースフィルタを含む。１つの実施形態において、第１と第２とのデジタルフィルタのうちの１つに対するパスバンド部分は、約２．５ＫＨｚと約７．５ＫＨｚとの間の周波数の範囲により規定される。１つの実施形態において、第１と第２とのデジタルフィルタのうちの１つに対するパスバンド部分は、約８．５ＫＨｚと約１８ＫＨｚとの間の周波数の範囲により規定される。

１つの実施形態において、１つ以上のデジタルフィルタの選択は、リスナについての有限の数の幾何学的位置に基づいている。１つの実施形態において、幾何学的な位置は複数の半面を含み、それぞれの半面は、リスナの耳の間の方向に沿ったエッジと、リスナに対して正面の方向および耳により規定される水平面を基準とした仰角φとにより規定される。１つの実施形態において、複数の半面は、１つ以上の前部半面と１つ以上の後部半面とにグループ化される。１つの実施形態において、前部半面は、リスナの前部かつ約０および＋／−４５度の仰角にある半面を含み、そして後部半面は、リスナの後部かつ約０および＋／−４５度の仰角にある半面を含む。

１つの実施形態において、１つ以上のデジタル信号に対する１つ以上のデジタルフィルタの適用は、リスナ関する音源の動きの影響をシミュレートする。

１つの実施形態において、１つ以上のデジタル信号に対する１つ以上のデジタルフィルタの適用は、リスナに関して、選択された場所に音源を置くことの影響をシミュレートする。

本開示のさらに別の実施形態は、デジタルオーディオ信号を処理するシステムに関する。モノラル入力信号を受け取り、左右のＩＴＤ調整された信号を発生させて、音源からリスナの左右の耳に到着する音の到着時間差をシミュレートするように構成された両耳間時間差（ＩＴＤ）コンポーネントをシステムは含む。モノラル入力信号は、リスナを基準とした、音源の空間的な位置に関する情報を含む。システムは、左右のＩＴＤ調整された信号を受け取り、１つ以上のデジタルフィルタを左右のＩＴＤ調整された信号のそれぞれに適用して、左右のフィルタされたデジタル信号を発生させるように構成された位置フィルタコンポーネントをさらに含み、１つ以上のデジタルフィルタのそれぞれは、特定の範囲のヒアリング応答関数に基づいており、それにより左右のフィルタされたデジタル信号はヒアリング応答関数をシミュレートする。システムは、左右のフィルタされたデジタル信号を受け取り、左右のＩＩＤ調整された信号を発生させて、左右の耳に到着する音の強度差をシミュレートするように構成された両耳間強度差（ＩＩＤ）コンポーネントをさらに含む。

１つの実施形態において、ヒアリング応答関数は、頭関連の伝達関数（ＨＲＴＦ）を含む。１つの実施形態において、特定の範囲は、ＨＲＴＦ内の周波数の特定の範囲を含む。１つの実施形態において、周波数の特定の範囲は実質上、可聴周波数間の平均の感度よりも大きい、平均的な人間のヒアリングに対する場所弁別感度を提供する周波数の範囲内にあるか、またはこの周波数の範囲とオーバーラップする。１つの実施形態において、周波数の特定の範囲は、ＨＲＴＦ中のピーク構造を含むか、またはこのピーク構造と実質上オーバーラップする。１つの実施形態において、ピーク構造は実質上、約２．５ＫＨｚと約７．５ＫＨｚとの間の周波数の範囲内にあるか、またはこの周波数の範囲とオーバーラップする。１つの実施形態において、ピーク構造は実質上、約８．５ＫＨｚと約１８ＫＨｚとの間の周波数の範囲内にあるか、またはこの周波数の範囲とオーバーラップする。

１つの実施形態において、ＩＴＤは、ｓｉｎθｃｏｓφの絶対値に比例する量を含み、ここでθはリスナの正面を基準とした音源の方位角を表し、φはリスナの耳と正面の方向とにより規定される水平面を基準とした音源の仰角を表す。

１つの実施形態において、音源の空間的な位置が変化するとき、ＩＴＤの決定が実行される。１つの実施形態において、ＩＴＤコンポーネントは、以前の値と現在の値との間のＩＴＤのクロスフェイドな移行を実行するようにさらに構成されている。１つの実施形態において、クロスフェイドな移行は、複数の処理サイクルの間に、以前の値から現在の値にＩＴＤを変更することを含む。

１つの実施形態において、ＩＴＤコンポーネントは、音源がリスナを基準として左または右に位置しているかどうかを決定するように構成されている。ＩＴＤコンポーネントはさらに、弱い方の信号として、音源の反対側にある左または右のフィルタされた信号を割り当てるように構成されている。ＩＴＤコンポーネントはさらに、強い方の信号として、左または右のフィルタされた信号のうちの他方を割り当てるように構成されている。ＩＴＤコンポーネントはさらに、第１の補償により、弱い方の信号を調整するように構成されている。ＩＴＤコンポーネントはさらに、第２の補償により、強い方の信号を調整するように構成されている。

１つの実施形態において、第１の補償はｃｏｓθに比例する補償値を含み、ここでθはリスナの正面を基準とした音源の方位角を表す。１つの実施形態において、第２の補償値はｓｉｎθに比例する補償値を含み、ここでθはリスナの正面を基準とした音源の方位角を表す。

１つの実施形態において、音源の選択された移動のために新しい１つ以上のデジタルフィルタが左右のフィルタされた信号に適用されるとき、ＩＩＤに対する左右のフィルタされた信号の調整が実行される。１つの実施形態において、ＩＴＤのコンポーネントはさらに、以前の値と現在の値との間の第１と第２との補償値のクロスフェイドな移行を実行するように構成されている。１つの実施形態において、複数の処理サイクルの間に、クロスフェイドな移行は、第１と第２との補償値を変更することを含む。

１つの実施形態において、１つ以上のデジタルフィルタは複数のデジタルフィルタを含む。１つの実施形態において、１つ以上のデジタル信号のそれぞれは、複数のデジタルフィルタの数と同じ数の信号に分割され、それにより複数のデジタルフィルタが複数の分割された信号に並列に適用される。１つの実施形態において、左右のフィルタされたデジタル信号のそれぞれは、複数のデジタルフィルタによりフィルタされた、複数の分割された信号を組み合わせることにより取得される。１つの実施形態において、組み合わせることは、複数の分割された信号を合計することを含む。

１つの実施形態において、複数のデジタルフィルタは、第１と第２とのデジタルフィルタを含む。１つの実施形態において、ヒアリング応答関数のパスバンド部分で実質上最大平坦であり、ヒアリング応答関数のストップバンド部分で実質上ゼロに向けてロールオフする応答を生じさせるフィルタを第１と第２とのデジタルフィルタのそれぞれは含む。１つの実施形態において、第１と第２とのデジタルフィルタのそれぞれは、バターワースフィルタを含む。１つの実施形態において、第１と第２とのデジタルフィルタのうちの１つに対するパスバンド部分は、約２．５ＫＨｚと約７．５ＫＨｚとの間の周波数の範囲により規定される。１つの実施形態において、第１と第２とのデジタルフィルタのうちの１つに対するパスバンド部分は、約８．５ＫＨｚと約１８ＫＨｚとの間の周波数の範囲により規定される。

１つの実施形態において、位置フィルタコンポーネントはさらに、リスナについての有限の数の幾何学的位置に基づいて、１つ以上のデジタルフィルタを選択するように構成されている。１つの実施形態において、幾何学的な位置は複数の半面を含み、それぞれの半面は、リスナの耳の間の方向に沿ったエッジと、リスナに対して正面の方向および耳により規定される水平面を基準とした仰角φとにより規定される。１つの実施形態において、複数の半面は、１つ以上の前部半面と１つ以上の後部半面とにグループ化される。１つの実施形態において、前部半面は、リスナの前部かつ約０および＋／−４５度の仰角にある半面を含み、そして後部半面は、リスナの後部かつ約０および＋／−４５度の仰角にある半面を含む。

１つの実施形態において、システムは、以下のもののうちの少なくとも１つをさらに含む。それらは、サンプルレート変換コンポーネント、音源速度をシミュレートするように構成されたドップラー調整コンポーネント、リスナに対する音源の距離に対処するように構成された距離調整コンポーネント、音源を基準としたリスナの頭の方向に対処するように構成された方向調整コンポーネント、または残響をシミュレートするための残響調整コンポーネントである。

本開示のさらに別の実施形態は、デジタルオーディオ信号を処理するシステムに関する。システムは複数の信号処理チェーンを含み、それぞれのチェーンは、モノラル入力信号を受信し、左右のＩＴＤ調整された信号を発生させて、音源からリスナの左右の耳に到着する音の到着時間差をシミュレートするように構成された両耳間時間差（ＩＴＤ）コンポーネントを含む。モノラル入力信号は、リスナを基準とした、音源の空間的な位置に関する情報を含む。それぞれのチェーンは、左右のＩＴＤ調整された信号を受信し、１つ以上のデジタルフィルタを左右のＩＴＤ調整された信号のそれぞれに適用して、左右のフィルタされたデジタル信号を発生させるように構成された位置フィルタコンポーネントをさらに含み、１つ以上のデジタルフィルタのそれぞれは、特定の範囲のヒアリング応答関数に基づいており、それにより左右のフィルタされたデジタル信号はヒアリング応答関数をシミュレートする。それぞれのチェーンはさらに、左右のフィルタされたデジタル信号を受信し、左右のＩＩＤ調整された信号を発生させて、左右の耳に到着する音の強度差をシミュレートするように構成された両耳間強度差（ＩＩＤ）コンポーネントを含む。

本開示のさらに別の実施形態は、１つ以上のデジタル信号を受信する手段を有する装置に関する。装置はさらに、音源の空間的な位置に関する情報に基づいて、１つ以上のデジタルフィルタを選択する手段を含む。装置は、１つ以上のフィルタを１つ以上のデジタル信号に適用して、それによりヒアリング応答関数の影響をシミュレートする、対応する１つ以上のフィルタリングされた信号を生じる手段をさらに含む。

本開示のさらに別の実施形態は、１つ以上の電子フィルタを形成する手段と、１つ以上の電子フィルタをサウンド信号に適用して、それにより３次元サウンド効果をシミュレートする手段とを有する装置に関する。

これらと他の観点、利点、および本教示の新しい特徴は、以下の詳細な説明を読み、添付の図面を参照すると明らかになる。図面において、類似の要素は、類似の参照番号を有する。

いくつかの実施形態の詳細な説明

本開示は一般に、オーディオ信号処理技術に関する。いくつかの実施形態において、本開示のさまざまな特徴および技術をオーディオまたはオーディオ／ビジュアルデバイス上で実現できる。ここで記述するように、本開示のさまざまな特徴により、サウンド信号の効率的な処理ができるようになり、それにより、いくつかのアプリケーションにおいて、限定された信号処理リソースによるものでさえ、実際的な位置サウンドイメージングを達成できる。そのため、いくつかの実施形態において、計算力が限定されているかもしれないハンドヘルドデバイスのようなポータブルデバイスにより、実際的なインパクトをリスナに与えるサウンドを出力できる。ここで開示したさまざまな特徴および概念は、ポータブルデバイスにおける実現に限定されず、サウンド信号を処理する任意の電子デバイスにおいて実現できることを理解するだろう。

図１は、リスナ１０２がスピーカ１０８から音１１０を聴くことを示す例示的な状況１００を示す。リスナ１０２を基準としたある場所にあるような１つ以上の音源１１２を知覚するように、リスナ１０２を描写している。例示的な音源１１２ａは、リスナ１０２の前部かつ右に“現れており”、例示的な音源１１２ｂは、リスナの後部かつ左に現れている。例示的な音源１１２ａはまた、リスナ１０２を基準として動いているものとして描写されている（矢印１１４として示されている）。

また図１中で示したように、リスナ１０２がいくつかの音源に関して動いているかのように、いくつかの音により思わせることができる。音源とリスナとの方向および動きの多くの他の組み合わせを実現できる。いくつかの実施形態において、（例えば、スクリーンからの）対応する視知覚とともに組み合わされたこのような聴知覚は、効果的で強力な知覚効果をリスナに提供できる。

１つの実施形態において、位置オーディオエンジン１０４は、スピーカ１０８に対して信号１０６を発生させて提供し、このようなリスニング効果を達成できる。位置オーディオエンジン１０４のさまざまな実施形態および特徴を以下でより詳細に記述する。

図２は、リスナ１０２がヘッドフォン１２４のような２つのスピーカデバイスから音を聴いている別の例示的な状況１２０を示す。再度、例示的なヘッドフォンに対して信号１２２を発生させて提供しているように位置オーディオエンジン１０４を描写している。この例示的な実現において、リスナ１０２により知覚される音は、リスナ１０２を基準とした、実質上固定した場所に複数の音源があるかのように思わせる。例えば、音源１２６（この例においては５つであるが、他の数および構成も可能である）がある場所に位置しているように見せかけることにより、サラウンドサウンド効果を創造できる。

いくつかの実施形態において、（例えば、スクリーンからの）対応する視知覚とともに組み合わされたこのような聴知覚は、効果的で強力な知覚効果をリスナに提供できる。したがって、例えば、ヘッドフォンを通してハンドヘルドデバイスを聴いているリスナに対してサラウンドサウンド効果を創造できる。位置オーディオエンジン１０４のさまざまな実施形態および特徴を以下でより詳細に記述する。

図３は、入力信号１３２を受け取り、出力信号１３４を発生させる位置オーディオエンジン１３０のブロック図を示す。ここで記述したような特徴を伴うこのような信号処理を多数の方法で実現できる。限定でない例において、電子デバイス中のオペレーティングシステムとマルチメディアアプリケーションとの間のアプリケーションプログラミングインターフェイス（ＡＰＩ）として、位置オーディオエンジン１３０のいくつかまたはすべての機能を実現できる。別の限定でない例として、エンジン１３０のいくつかまたはすべての機能を（例えば、データファイルまたはストリーミングデータ中の）ソースデータに組み込むことができる。

他の構成が可能である。例えば、本開示のさまざまな概念および特徴をアナログシステム中の信号処理に対して実現できる。このようなシステムにおいて、ここで記述したさまざまな技術に類似した方法で、場所臨界情報に基づいて、位置フィルタのアナログ均等物を構成できる。したがって、本開示のさまざまな概念および特徴は、デジタルシステムに限定されないことを理解するだろう。

図４は、位置オーディオエンジン１３０により実行できるプロセス１４０の１つの実施形態を示す。プロセスブロック１４２において、選択された位置応答情報が所定の周波数範囲中で取得される。１つの実施形態において、所定の範囲は、可聴周波数範囲（例えば、約２０Ｈｚから約２０ＫＨｚ）とすることができる。プロセスブロック１４４において、オーディオ信号は、選択された位置応答情報に基づいて処理される。

図５は、プロセス１４０（図４）の選択された位置応答情報は、場所臨界または場所関連情報とすることができるプロセス１５０の１つの実施形態を示す。プロセスブロック１５２において、場所臨界情報は、周波数応答データから取得される。プロセスブロック１５４において、場所または１つ以上の音源は、場所臨界情報に基づいて決定される。

図６は、プロセス１５０（図５）のさらに特定の実現を実行できるプロセス１６０の１つの実施形態を示す。プロセスブロック１６２において、別々の組のフィルタパラメータが取得され、フィルタパラメータは、１つ以上のＨＲＴＦ（頭関連の伝達関数）のうちの１つ以上の場所臨界部分をシミュレートすることができる。１つの実施形態において、フィルタパラメータは、デジタル信号フィルタリングに対するフィルタ係数とすることができる。プロセスブロック１６４において、１つ以上の音源の場所が、フィルタパラメータを使用するフィルタリングに基づいて決定される。

記述目的のために、“場所臨界”は、音源の場所弁別が特に正確であることが見出される人間のヒアリング応答スペクトル（例えば、周波数応答スペクトル）の部分を意味する。ＨＲＴＦは、人間のヒアリング応答スペクトルの例である。人間のリスナは一般に、ＨＲＴＦ情報全体を処理せずに、音がどこから来るのかを弁別することを研究（例えば、Ｅ．Ａ．マックパーソン、米国の音響社会のジャーナル、１０１，３１０５，１９９７による“スペクトルの相関と耳介キュー処理の場所特徴整合モデルとの比較”）が示している。代わりに、それらはＨＲＴＦ中のある特徴に焦点を合わせているように思われる。例えば、４ＫＨｚを超える周波数における場所特徴整合および勾配の相関は、音方向の識別に対して特に重要であるように思われ、その一方でＨＲＴＦの他の部分は一般的に無視される。

図７Ａは、（ほぼ耳のレベルにおける）前方で右に約４５度に位置している例示的な音源に対する左右の耳のヒアリング応答に対応する例示的なＨＲＴＦ１７０を示す。１つの実施形態において、矢印１７２と１７４とにより示される２つのピーク構造、および（ピーク１７２と１７４との間の谷のような）関連した構造を、例示的な音源方向の左耳のヒアリングに対する場所臨界であると考えることができる。同様に、矢印１７６と１７８とにより示される２つのピーク構造、および（ピーク１７６と１７８との間の谷のような）関連した構造を、例示的な音源方向の右耳のヒアリングに対する場所臨界であると考えることができる。

図７Ｂはプロセス１９０の１つの実施形態を示し、プロセスブロック１９２において、図７Ａの例示的なＨＲＴＦ１７０のような応答データから１つ以上の場所臨界周波数（または周波数範囲）を弁別できる。例示的なＨＲＴＦ１７０において、２つの例示的な周波数が矢印１７２、１７４、１７６、および１７８により示される。プロセスブロック１９４において、１つ以上のこのような場所臨界周波数応答をシミュレートするフィルタ係数を取得できる。ここで記述したように、そしてプロセスブロック１９６中で示したように、このようなフィルタ係数を引き続き使用して、ＨＲＴＦ１７０を発生させた例示的な音源方向の応答をシミュレートできる。

ＨＲＴＦ１７０に対応するシミュレートされたフィルタ応答１８０は、プロセスブロック１９４中で決定されたフィルタ係数から結果として生じさせることができる。示したように、ピーク１８６、１８８、１８２、および１８４（ならびに対応する谷）を再現して、それにより音源の場所弁別のために場所臨界応答を提供する。ＨＲＴＦ１７０の他の部分は一般に無視されることが示されており、その結果、より低い周波数で実質上平坦な応答として表されている。

ある部分および／または構造だけが選択される（この例において、２つのピークおよび関連した谷）ため、フィルタ応答の形成（例えば、例示的なシミュレートされた応答１８０を生じさせるフィルタ係数の決定）を非常に簡単にすることができる。さらに、非常に簡単にされた方法でこのようなフィルタ係数を記憶して使用でき、その結果、リスナに対する実際的な位置弁別サウンド出力を実現するために必要とされる計算力を減らすことができる。フィルタ係数決定の特定の例および後続の使用を以下でより詳細に記述する。

ここでの記述において、フィルタ係数の決定および後続の使用を、例示的な２つのピーク選択という文脈において記述している。しかしながら、いくつかの実施形態において、ＨＲＴＦの他の部分および／または特徴を識別およびシミュレートできることが理解される。そのため例えば、所定のＨＲＴＦが、場所臨界とすることができる３つのピークを有する場合、それらの３つのピークを識別およびシミュレートできる。したがって、２つのピークに対する２つのフィルタの代わりに、３つのフィルタは、それらの３つのピークを表すことができる。

１つの実施形態において、所望の特徴および／または範囲の近似された応答を発生させるフィルタ係数を取得することにより、ＨＲＴＦ（または他の周波数応答曲線）の選択された特徴および／または範囲をシミュレートすることができる。任意の数の知られている技術を使用して、このようなフィルタ係数を取得できる。

１つの実施形態において、選択された特徴（例えば、ピーク）により提供できる簡単化は、簡単にされたフィルタリング技術の使用を可能にする。１つの実施形態において、無限インパルス応答（ＩＩＲ）のような、高速および簡単なフィルタリングを利用して、限定された数の選択された場所臨界特徴の応答をシミュレートできる。

例として、知られているバターワースフィルタリング技術を使用して、例示的なＨＲＴＦ１７０の２つの例示的なピーク（左のヒアリングに対する１７２および１７４、右のヒアリングに対する１７６および１７８）をシミュレートできる。例えば、ＭＡＴＬＡＢのような信号処理アプリケーションを含む、知られている任意の技術を使用して、このような既知のフィルタに対する係数を取得できる。表１は、例示的なＨＲＴＦ１７０のシミュレートされた応答を返すことができるＭＡＴＬＡＢ関数呼び出しの例を示す。

１つの実施形態において、例示的なＨＲＴＦ１７０の選択されたピークに応答する前述の例示的なＩＩＲフィルタは、シミュレートされた応答１８０を生じさせることができる。プロセス１９０のプロセスブロック１９６中で示したように、対応するフィルタ係数を後続の使用のために記憶することができる。

前に述べたように、（ほぼ耳のレベルにおいて）例示的なＨＲＴＦ１７０およびシミュレートされた応答１８０は、前方で右に約４５度に位置する音源に対応する。リスナに関して２または３次元応答カバレッジを提供する類似した方法で、他の源の位置に対する応答を取得できる。他の音源の位置に対する特定のフィルタリング例を以下でより詳細に記述する。

図８は、ここでの記述目的のための例示的な空間座標の規定２００を示す。リスナ１０２は原点に位置していると仮定する。Ｙ軸は、リスナ１０２が向いている前方であると考えている。したがって、Ｘ−Ｙ平面は、リスナ１０２に関して水平面を表す。音源２０２は、原点から距離“Ｒ”に位置していることを示している。角度φは水平面からの仰角を表し、角度θは、Ｙ軸からの方位角を表す。したがって、例えば、リスナの頭の直後に位置している音源は、θ＝１８０度、およびφ＝０度を有する。

１つの実施形態において、図９中で示したように、（原点にいる）リスナに関する空間を前後だけでなく、左右に分割できる。１つの実施形態において、前部半面２１０および後部半面２１２を規定でき、それにより前部半面２１０および後部半面２１２は共に、仰角φを有する平面を規定し、Ｘ軸でＸ−Ｙ平面を二分する。したがって、例えば、θ＝４５およびφ＝０にあり、図７Ａの例示的なＨＲＴＦ１７０に対応する例示的な音源は、前部右（ＦＲ）セクション中にあり、φ＝０における前部半面中にある。

１つの実施形態において、以下でより詳細に記述するように、耳のレベルより上および／または下にある音源に対処するために、さまざまな半面は、水平より上および／または下にあるものとすることができる。所定の半面に対して、一方の側（例えば、右側）に対して取得される応答を使用して、リスナの頭の対称性のために反対側（例えば、左側）にある（Ｙ−Ｚ平面に関して）鏡像場所における応答を推定できる。１つの実施形態において、このような対称性は、前後に対しては存在しないため、前後（したがって、前部および後部半面）に対して、別々の応答を取得できる。

図１０は、１つの実施形態において、（原点にいる）リスナの周りの空間が複数の前部および後部半面に分割できることを示す。１つの実施形態において、前部半面３６２は水平な方向（φ＝０）にあるものとすることができ、対応する後部半面３６４もまた実質上水平である。前部半面３６６は、前方の、約４５度（φ＝４５°）の高い方向にあるものとすることができ、対応する後部半面３６８は、後部半面３６４の下約４５度にある。前部半面３７０は、約−４５度（φ＝−４５°）の方向にあるものとすることができ、対応する後部半面３７２は、後部半面３６４の上約４５度にある。

１つの実施形態において、リスナに関する音源は、前述の半面のうちの１つの上にあるものとして近似することができる。それぞれの半面は、１組のフィルタ係数を有することができ、１組のフィルタ係数は、その半面上にある音源の応答をシミュレートする。したがって、図７Ａに関して上述した例示的なシミュレートされた応答は、前部水平半面３６２に対して１組のフィルタ係数を提供できる。左右の応答の相対する利得を調整して、前方向（Ｙ軸）からの左右の変位に対処することにより、前部水平半面３６２上のどこかに位置している音源に対してシミュレートされる応答を近似することができる。さらに、以下に記述した方法で、音源の距離および／または速度のような他のパラメータも近似することができる。

図１１Ａ−１１Ｃは、上述した方法に類似した方法で取得できる、（示していない）さまざまな対応するＨＲＴＦに対するシミュレートされた応答のいくつかの例を示す。図１１Ａは、θ＝２７０°およびφ＝＋４５°（前方の高い半面３６６に対して真左）に対応するＨＲＴＦの場所臨界部分から取得した例示的なシミュレートされた応答３８０を示す。図１１Ｂは、θ＝２７０°およびφ＝０°（水平な半面３６２に対して真左）に対応するＨＲＴＦの場所臨界部分から取得した例示的なシミュレートされた応答３８２を示す。図１１Ｃは、θ＝２７０°およびφ＝−４５°（前方の低い半面３７０に対して真左）に対応するＨＲＴＦの場所臨界部分から取得した例示的なシミュレートされた応答３８４を示す。後部半面３７２、３６４、および３６８に対して同様のシミュレートされた応答を取得できる。さらに、θのさまざまな値で、このようなシミュレートされた応答を取得できる。

例示的なシミュレートされた応答３８４において、バンドストップバターワースフィルタリングを使用して、識別される特徴の所望の近似を取得できることに注意すべきである。このようにさまざまなタイプのフィルタリング技術を使用して、所望の結果が取得できることを理解すべきである。さらに、バターワースフィルタ以外のフィルタを使用して、同様の結果を達成できる。さらに、ＩＩＲフィルタは、高速かつ簡単なフィルタリングを提供するために使用されるが、（有限インパルス応答（ＦＩＲ）フィルタのような）他のフィルタを使用して、本開示の技術の少なくともいくつかを実現することもできる。

前述の例示的な半面構成（φ＝＋４５°、０°、−４５°）に対して、表２はフィルタリングパラメータをリストアップしており、フィルタリングパラメータを入力して、６つの半面（３６６、３６２、３７０、３７２、３６４、および３６８）に対するフィルタ係数を取得できる。（表１と同様に）表２中の例示的なパラメータに対して、ＭＡＴＬＡＢ中で例示的なバターワースフィルタの関数呼び出しを次のように作成できる。

ここで、それぞれの所定のフィルタに対して、Orderは、フィルタ項の最も高い次数を表し、f_Lowおよびf_Highは、選択された周波数範囲の境界値を表し、SamplingRateはサンプリングレートを表し、Typeはフィルタのタイプを表す。フィルタのパラメータに対して、他の値および／またはタイプも可能である。

１つの実施形態において、表２中で見られるように、それぞれの半面は４組のフィルタ係数を有することができ、それらは、左右のそれぞれに対して、２つの例示的な場所臨界ピークのための２つのフィルタに対するものである。したがって、６つの半面により、２４個のフィルタとすることができる。

１つの実施形態において、同一のフィルタ係数を使用して、所定の半面上のどこかにある源からの音に対する応答をシミュレートできる。以下でより詳細に記述するように、左右の変位、距離、および／または源の速度、による影響に対処して、それらを調整できる。源が１つの半面から別の半面に動く場合、以下に記述する方法で、フィルタ係数の移行を実現し、それにより、知覚される音において滑らかな移行を提供できる。

１つの実施形態において、所定の音源が２つの半面の間のどこかの場所に位置している（例えば、源は前部、φ＝＋３０°にある）場合、源は“最も近い”面（例えば、最も近い平面は、前部、φ＝＋４５°である）にあると考えることができる。理解できるように、ある状況においては、リスナに関する空間においてより多いまたはより少ない半面を提供して、それにより半面の分布においてより小さいまたはより大きい“粒度”を提供することが望ましいかもしれない。

さらに、３次元空間をＸ軸に関して半面に分割することを必ずしも必要としない。リスナを基準として空間を１、２、または３次元形状のいずれかに分割できる。１つの実施形態において、Ｘ軸に関して半面に分割されるとき、左右のヒアリングのような対称性を利用して、フィルタ係数の組の数を減らすことができる。

上述した６つの半面構成（φ＝＋４５°、０°、−４５°）は、リスナを基準とした限定された数の方向に対して、選択された場所臨界応答情報をどのように提供できるかに関する例であることが理解される。そうすることにより、比較的少ない、計算力および／またはリソースを使用して、実質上、実際的な３次元サウンド効果を再生できる。半面の数がより細かい粒度、例えば１０個（φ＝＋６０°、＋３０°、０°、−３０°、−６０°における前部および後部）に増加される場合でさえ、フィルタ係数の組の数を管理できるレベルで維持できる。

図１２は、機能ブロック図２２０の１つの実施形態を示し、ここで位置フィルタリング２２６は、上述したような場所臨界情報のシミュレーションにより、位置オーディオエンジンの機能を提供できる。１つの実施形態において、音源の場所に関する情報を有するモノラル入力信号２２２をコンポーネント２２４に入力でき、コンポーネント２２４は、両耳間時間遅延（または差）（“ＩＴＤ”）を決定する。源の場所情報に基づいて、ＩＴＤは、２つの耳に対する到着時間における差に関する情報を提供できる。ＩＴＤ機能の例を以下でより詳細に記述する。

１つの実施形態において、ＩＴＤコンポーネント２２４は、到着の差を考慮に入れた左右の信号を出力することができ、このような出力信号を位置フィルタコンポーネント２２６に提供できる。位置フィルタコンポーネント２２６の例示的な動作を以下でより詳細に記述する。

１つの実施形態において、位置フィルタコンポーネント２２６は、場所臨界応答に対して調整された左右の信号を出力できる。このような出力信号をコンポーネント２２８に提供でき、コンポーネント２２８は、両耳間強度差（“ＩＩＤ”）を決定する。ＩＩＤは、位置フィルタ出力の調整を提供して、左右の信号の強度における位置への依存を調整できる。ＩＩＤ補償の例を以下でより詳細に記述する。ＩＩＤコンポーネント２２８により、スピーカに対して左右の信号２３０を出力して、音源の位置効果を提供できる。

図１３は、図１２のＩＴＤコンポーネント２２４として実現できるＩＴＤ２４０の１つの実施形態のブロック図を示す。示すように、入力信号２４２は、所定のサンプリング時間で音源の場所に関する情報を含むことができる。このような場所は、音源のθおよびφの値を含むことができる。

入力信号２４２は、ＩＴＤ計算コンポーネント２４４に提供されることを示しており、ＩＴＤ計算コンポーネント２４４は、左右の耳における異なる到着時間（源が一方の側に位置している場合）をシミュレートするのに必要とされる両耳間時間遅延を計算する。１つの実施形態において、次のようにＩＴＤを計算できる。

したがって、予測されるように、源が、真前（θ＝０°）または真後（θ＝１８０°）のいずれかにあるとき、ＩＴＤ＝０であり、源が真左（θ＝２７０°）または右（θ＝９０°）のいずれかにあるとき、ＩＴＤは（φの所定の値に対して）最大値を有する。同様に、源が水平面（φ＝０°）にあるとき、ＩＴＤは（θの所定の値に対して）最大値を有し、源が、最上部（φ＝９０°）または最下部（φ＝−９０°）の場所のいずれかにあるとき、ＩＴＤはゼロである。

前述の方法で決定されたＩＴＤを入力信号２４２に導入して、それによりＩＴＤ調整された左右の信号を生じさせることができる。例えば、源の場所が右側にある場合、右の信号は、入力信号における音のタイミングから引かれるＩＴＤを有することができる。同様に、左の信号は、入力信号における音のタイミングに加えられるＩＴＤを有することができる。左右の信号を生じさせるこのようなタイミングの調整は、知られている方法で達成でき、左右の遅延線２４６ａおよび２４６ｂとして描写されている。

音源が実質上リスナを基準として静止している場合、同一のＩＴＤは、到着時間ベースの３次元サウンド効果を提供できる。しかしながら、音源が動く場合、ＩＴＤも変化するかもしれない。ＩＴＤの新しい値が遅延線に組み込まれる場合、以前のＩＴＤベースの遅延から突然の変化があるかもしれず、ことによるとＩＴＤの知覚において感知できるシフトを招くかもしれない。

１つの実施形態において、図１３中で示したように、ＩＴＤコンポーネント２４０は、クロスフェイドコンポーネント２５０ａと２５０ｂとをさらに含むことができ、クロスフェイドコンポーネント２５０ａと２５０ｂは、新しい遅延時間へのより滑らかな移行を左右の遅延線２４６ａおよび２４６ｂに提供する。ＩＴＤのクロスフェイド動作の例を以下でより詳細に記述する。

図１３中で示したように、左右の遅延調整された信号２４８が、ＩＴＤコンポーネント２４０により出力されることを示している。上述したように、遅延調整された信号２４８はクロスフェイドされているかもしれないし、またはされていないかもしれない。例えば、源が静止している場合、ＩＴＤは実質上同一のままであるので、クロスフェイドに対する必要がないかもしれない。源が動く場合、源の場所の変化によるＩＴＤ中の突然のシフトを減らし、または実質上除くために、クロスフェイドすることが望まれるかもしれない。

図１４は、図１２のコンポーネント２２６として実現できる位置フィルタコンポーネント２６０の１つの実施形態のブロック図を示す。示したように、左右の信号２６２が位置フィルタコンポーネント２６０に入力されることを示している。１つの実施形態において、図１３のＩＴＤコンポーネント２４０により入力信号２６２を提供できる。しかしながら、フィルタの準備（例えば、場所臨界応答に基づいたフィルタ係数の決定）に関連したさまざまな特徴および概念ならびに／またはフィルタの使用は、ＩＴＤコンポーネント２４０により提供される入力信号を有することに必ずしも依存しないことが理解される。例えば、ソースデータからの入力信号は、左／右の区別された情報および／またはＩＴＤにより区別された情報をすでに有しているかもしれない。このような状況において、位置フィルタコンポーネント２６０は実質上スタンドアロンのコンポーネントとして動作して、選択された場所臨界情報に基づいて、音の周波数応答を提供することを含む機能を提供できる。

図１４中で示したように、左右の入力信号２６２をフィルタ選択コンポーネント２６４に提供できる。１つの実施形態において、フィルタ選択は、音源に関係付けられたθおよびφの値に基づくものとすることができる。ここで記述した６つの半面の例に対して、θおよびφは、音源の場所を半面の１つに一意的に関係付けることができる。上述したように、音源が半面のうちの１つの上にない場合、その音源を“最も近い”半面に関係付けることができる。

例えば、音源が、θ＝１０°およびφ＝＋１０°に位置していることを仮定する。このような状況において、場所が前部にあり、水平方向が１０度の仰角に最も近いので、前部水平半面（図１０中の３６２）を選択できる。前部水平半面３６２は、表２中で示した例示的な方法において決定される１組のフィルタ係数を有することができる。こうして、“前部、φ＝＋０°”半面に対応する４つの例示的なフィルタ（２つの左および２つの右）を、この例の源の位置に対して選択できる。

図１４中で示したように、（選択コンポーネント２６４により識別された）左フィルタ２６６ａおよび２６８ａを左信号に適用でき、（また、選択コンポーネント２６４により識別された）右フィルタ２６６ｂおよび２６８ｂを右信号に適用できる。１つの実施形態において、フィルタ２６６ａ、２６８ａ、２６６ｂ、および２６８ｂのそれぞれは、それらのそれぞれのフィルタ係数に基づいて、知られている方法でデジタル信号に作用する。

ここで記述したように、２つの左フィルタおよび２つの右フィルタは、２つの例示的な場所臨界ピークという状況におけるものである。他の数のフィルタが可能であることが理解される。例えば、周波数応答において３つの場所臨界の、特徴および／または範囲がある場合、左および右側のそれぞれに対して３つのフィルタがあってもよい。

図１４中で示したように、左利得コンポーネント２７０ａは、左信号の利得を調整でき、右利得信号２７０ｂは、右信号の利得を調整できる。１つの実施形態において、表１２のパラメータに対応する以下の利得を左右の信号に適用できる。

１つの実施形態において、３つの例示的な仰角における左右の信号間の正確なレベル差を実質上維持するために、表３中でリストアップされる例示的な利得値を割り当てることができる。こうして、これらの例示的な利得を使用して、左右のプロセスにおいて正確なレベルを提供でき、左右のプロセスのそれぞれは、この例において、（第１および第２のフィルタ２６６および２６８からの）フィルタ出力と、（利得コンポーネント２７０からの）スケール変更された入力との３方向の合計を含む。

１つの実施形態において、図１４中で示したように、フィルタされ、そして利得調整された左右の信号をそれぞれの加算器２７２ａおよび２７２ｂにより合計し、それにより左右の出力信号２７４を生じさせることができる。

図１５は、図１２のコンポーネント２２８として実現できるＩＩＤ（両耳間強度差）調整コンポーネント２８０の１つの実施形態のブロック図を示す。示したように、左右の信号２８２がＩＩＤコンポーネント２８０に入力されることを示している。１つの実施形態において、図１４の位置フィルタコンポーネント２６０により、入力信号２８２を提供できる。

１つの実施形態において、ＩＩＤコンポーネント２８０は、第１の補償コンポーネント２８４中で、弱い方のチャネルの信号の強度を調整でき、また、第２の補償コンポーネント２８６中で、強い方のチャネルの信号の強度を調整できる。例えば、音源が、θ＝１０°（すなわち、１０度だけ右側）に位置していると仮定する。このような状況において、右のチャネルが強い方のチャネルであり、左のチャネルが弱い方のチャネルであると考えることができる。したがって、第１の補償２８４を左の信号に適用でき、第２の補償２８６を右の信号に適用できる。

１つの実施形態において、次の式で与えられる量により、弱い方のチャネルの信号のレベルを調整できる。

したがって、θ＝０度（真前にある）である場合、弱い方のチャネルの利得は、オリジナルのフィルタのレベル差により調整される。θ＝９０度（真右にある）である場合、Gain＝１であり、弱い方のチャネルに対して利得の調整は実施されない。

１つの実施形態において、次の式で与えられる量により、強い方のチャネルの信号のレベルを調整できる。

したがって、θ＝０度（真前にある）である場合、Gain＝１であり、強い方のチャネルに対して利得の調整は実施されない。θ＝９０度（真右にある）である場合、Gain＝２であり、その結果、６ｄＢの利得補償を提供して、異なる値のθにおける全体的な音の大きさをおおまかに一致させる。

音源が実質上静止している、または所定の半面内で実質上動く場合、同一のフィルタを使用して、フィルタ応答を発生させることができる。上述したようなＩＩＤ補償により、弱い方の、および強い方のヒアリング側に対する強度補償を提供できる。しかしながら、音源が１つの半面から別の半面に動く場合、フィルタは変化することもあり得る。したがって、フィルタレベルに基づいているＩＩＤは、滑らかな半面の移行を実施するような方法で補償を提供しないかもしれない。音源が半面の間を動くとき、このような移行は強度において感知できる突然のシフトを招くことがある。

したがって、図１５中で示した１つの実施形態において、ＩＩＤコンポーネント２８０はクロスフェイドコンポーネント２９０をさらに含むことができ、源が古い半面から新しい半面に動くとき、クロスフェイドコンポーネント２９０は新しい半面への滑らかな移行を提供する。ＩＩＤクロスフェイド動作の例を以下でより詳細に記述する。

図１５中で示したように、左右の強度調整された信号がＩＩＤコンポーネント２８０により出力されることを示している。上述したように、強度調整された信号２８８はクロスフェイドされているかもしれないし、またはされていないかもしれない。例えば、源が、静止している、または所定の半面内を動いている場合、フィルタは実質上同じままであるので、クロスフェイドに対する必要はないかもしれない。源が半面間を動く場合、ＩＩＤ中の突然のシフトを減らし、または実質上除くために、クロスフェイドすることが望まれるかもしれない。

図１６は、図１２および１３に関連して上述したＩＴＤコンポーネントにより実行できるプロセス３００の１つの実施形態を示す。プロセスブロック３０２において、音源位置の角度θおよびφが入力データから決定される。プロセスブロック３０４において、最大化されたＩＴＤサンプルがそれぞれのサンプリングレートに対して決定される。プロセスブロック３０６において、左右のデータに対してＩＴＤオフセット値が決定される。プロセスブロック３０８において、ＩＴＤオフセット値に対応する遅延が、左右のデータに導入される。

１つの実施形態において、プロセス３００はプロセスブロックをさらに含むことができ、そこでは、音源の動きに対処するために、クロスフェイディングが左右のＩＴＤ調整された信号に実行される。

図１７は、図１２、１４、および１５に関連して上述した、位置フィルタコンポーネントおよび／またはＩＩＤコンポーネントにより実行できるプロセス３１０の１つの実施形態を示す。プロセスブロック３１２において、ＩＩＤ補償利得を決定できる。等式２および３は、このような補償利得計算の例である。

決定ブロック３１４において、音源が前部かつ右（“Ｆ．Ｒ．”）にあるかどうかをプロセス３１０が決定する。答えが“はい”である場合、プロセスブロック３１６において、（適切な仰角で）前部のフィルタが左右のデータに適用される。フィルタが適用されたデータおよび利得調整されたデータは合計され、位置フィルタ出力信号が発生される。源が右側にあるため、右のデータが強い方のチャネルであり、左のデータが弱い方のチャネルである。したがって、プロセスブロック３１８において、第１の補償利得（等式２）が左のデータに適用される。プロセスブロック３２０において、第２の補償利得（等式３）が右のデータに適用される。プロセスブロック３２２において、位置フィルタされた、および利得調整された左右の信号が出力される。

決定ブロック３１４に対する答えが“いいえ”である場合、音源は前部かつ右にはない。したがって、プロセス３１０は、他の残っている象限に進む。

決定ブロック３２４において、音源が後部かつ右（“Ｒ．Ｒ．”）にあるかどうかをプロセス３１０が決定する。答えが“はい”である場合、プロセスブロック３２６において、（適切な仰角で）後部のフィルタが左右のデータに適用される。フィルタが適用されたデータおよび利得調整されたデータは合計され、位置フィルタ出力信号が発生される。源が右側にあるため、右のデータが強い方のチャネルであり、左のデータが弱い方のチャネルである。したがって、プロセスブロック３２８において、第１の補償利得（等式２）が左のデータに適用される。プロセスブロック３３０において、第２の補償利得（等式３）が右のデータに適用される。プロセスブロック３３２において、位置フィルタされた、および利得調整された左右の信号が出力される。

決定ブロック３２４に対する答えが“いいえ”である場合、音源は、Ｆ．Ｒ．またはＲ．Ｒ．にはない。したがって、プロセス３１０は、他の残っている象限に進む。

決定ブロック３３４において、音源が後部かつ左（“Ｒ．Ｌ．”）にあるかどうかをプロセス３１０が決定する。答えが“はい”である場合、プロセスブロック３３６において、（適切な仰角で）後部のフィルタが左右のデータに適用される。フィルタが適用されたデータおよび利得調整されたデータは合計され、位置フィルタ出力信号が発生される。源が左側にあるため、左のデータが強い方のチャネルであり、右のデータが弱い方のチャネルである。したがって、プロセスブロック３３８において、第２の補償利得（等式３）が左のデータに適用される。プロセスブロック３４０において、第１の補償利得（等式２）が右のデータに適用される。プロセスブロック３４２において、位置フィルタされた、および利得調整された左右の信号が出力される。

決定ブロック３３４に対する答えが“いいえ”である場合、音源は、Ｆ．Ｒ．、Ｒ．Ｒ．、またはＲ．Ｌ．にはない。したがって、プロセス３１０は、前部かつ左（“Ｆ．Ｌ．”）にあるものと考えられる音源に進む。

プロセスブロック３４６において、（適切な仰角で）前部のフィルタが左右のデータに適用される。フィルタが適用されたデータおよび利得調整されたデータは合計され、位置フィルタ出力信号が発生される。源が左側にあるため、左のデータが強い方のチャネルであり、右のデータが弱い方のチャネルである。したがって、プロセスブロック３４８において、第２の補償利得（等式３）が左のデータに適用される。プロセスブロック３５０において、第１の補償利得（等式２）が右のデータに適用される。プロセスブロック３５２において、位置フィルタされた、および利得調整された左右の信号が出力される。

図１８は、図１２−１５に関連して上述したオーディオ信号処理構成２２０により実行できるプロセス３９０の１つの実施形態を示す。特に、プロセス３９０は、半面内または半面間のいずれかの、音源の動きに対応することができる。

プロセスブロック３９２において、モノラル入力信号が取得される。プロセスブロック３９２において、位置ベースのＩＴＤが決定され、入力信号に適用される。決定ブロック３９６において、音源が位置を変更したかどうかをプロセス３９０が決定する。答えが“いいえ”である場合、ＩＴＤ遅延が適用された、左右の遅延線からデータを読み出すことができ、データを遅延線に書き戻すことができる。答えが“はい”である場合、プロセスブロック４００においてプロセス３９０は、新しい位置に基づいて、新しいＩＴＤ遅延を決定する。プロセスブロック４０２において、クロスフェイドを実行して、以前および新しいＩＴＤ遅延の間で滑らかな移行を提供できる。

１つの実施形態において、以前と現在との遅延線からデータを読み出すことにより、クロスフェイディングを実行できる。したがって、例えば、プロセス３９０が呼び出されるたびに、θおよびφの値が過去におけるそれらの値と比較されて、源の場所が変化しているかどうかが決定される。変化がない場合、新しいＩＴＤ遅延は計算されず、現在のＩＴＤ遅延が使用される（プロセスブロック３９８）。変化がある場合、新しいＩＴＤ遅延が計算され（プロセスブロック４００）、クロスフェイディングが実行される（プロセスブロック４０２）。１つの実施形態において、以前の値から新しい値にＩＴＤ遅延値を徐々に増加または減少させることにより、ＩＴＤクロスフェイディングを達成できる。

１つの実施形態において、音源の位置の変化が検出されるとき、ＩＴＤ遅延値のクロスフェイドを引き起こすことができ、複数の処理サイクルの間に、段階的な変化を発生させることができる。例えば、ＩＴＤ遅延が古い値ＩＴＤ_oldと新しい値ＩＴＤ_newを有する場合、次のＮ個の処理サイクルの間にクロスフェイドな移行を発生させることができる。

ここで、ΔＩＴＤ＝ＩＴＤ_new−ＩＴＤ_old（ＩＴＤ_new＞ＩＴＤ_oldを仮定している）である。

図１８中で示したように、ＩＴＤクロスフェイドとともに、またはＩＴＤクロスフェイドなしに、ＩＴＤ調整されたデータをさらに処理することができ、それにより、プロセスブロック４０４において、θおよびφの現在の値に基づいて、位置フィルタリングを実行できる。図１８の描写目的のために、プロセスブロック４０４はＩＩＤ補償を含むことも仮定される。

決定ブロック４０６において、半面において変更があったかどうかをプロセス３９０が決定する。答えが“いいえ”である場合、ＩＩＤ補償のクロスフェイディングは実行されない。答えが“はい”である場合、プロセスブロック４０８においてプロセス３９０は、θおよびφの以前の値に基づいて、別の位置フィルタリングを実行する。図１８の描写目的のために、プロセスブロック４０８はＩＩＤ補償を含むことも仮定される。プロセスブロック４１０において、ＩＩＤ補償値間で、および／またはフィルタが変更されるとき（例えば、以前および現在の半面に対応するフィルタを切り換えるとき）、クロスフェイディングを実行できる。異なるＩＩＤ利得を適用するとき、位置フィルタを切り換えるとき、または両方を実行するとき、グリッチまたは突然のシフトを滑らかにするように、このようなクロスフェイディングを構成できる。

１つの実施形態において、以前の値から新しい値にＩＩＤ補償利得値を、および／または以前のセットから新しいセットにフィルタ係数を徐々に増加または減少させることにより、ＩＩＤクロスフェイディングを達成できる。１つの実施形態において、半面における変更が検出されるとき、ＩＩＤ利得値のクロスフェイディングを引き起こすことができ、複数の処理サイクルの間にＩＩＤ利得値の段階的な変更を発生させることができる。例えば、所定のＩＩＤが、古い値のＩＩＤ_oldと、新しい値のＩＩＤ_newとを有する場合、次のＮ個の処理サイクルの間にクロスフェイディングの移行を発生させることができる。

ここで、ΔＩＩＤ＝ＩＩＤ_new−ＩＩＤ_old（ＩＩＤ_new＞ＩＩＤ_oldを仮定している）である。位置フィルタをクロスフェイドするために、位置フィルタ係数に対して同様の段階的な変更を導入できる。

図１８中でさらに示したように、位置フィルタされた、およびＩＩＤ補償された信号は、ＩＩＤクロスフェイドされたかどうかにかかわらず、プロセスブロック４１２において増幅できる出力信号を生じさせ、それにより、処理されたステレオ出力４１４を生じさせる。

いくつかの実施形態において、ＩＴＤ、ＩＴＤクロスフェイディング、位置フィルタリング、ＩＩＤ、ＩＩＤクロスフェイディング、またはこれらについての組み合わせ、のさまざまな特徴を、他のサウンド効果を高める特徴と組み合わせることができる。図１９は、ＩＴＤ／位置フィルタリング／ＩＩＤ処理の前および／または後に、サウンド信号を処理できる信号処理構成４２０の１つの実施形態のブロック図を示す。示したように、源４２２からのサウンド信号をサンプルレート変換（ＳＲＣ）４２４のために処理し、ドップラー効果４２６に対して調整して、動いている音源をシミュレートできる。距離４２８およびリスナ源の方向４３０に対処する効果も実現できる。１つの実施形態において、前述の方法で処理されたサウンド信号を入力信号４３２としてＩＴＤコンポーネント４３４に提供できる。ＩＴＤ処理だけでなく、位置フィルタ４３６およびＩＩＤ４３８による処理も、ここで記述したような方法で実行できる。

図１９中でさらに示したように、ＩＩＤコンポーネント４３８からの出力を残響コンポーネント４４０によりさらに処理して、出力信号４４２中で残響効果を提供できる。

１つの実施形態において、ＳＲＣ４２４、ドップラー４２６、距離４２８、方向４３０、および残響４４０、のコンポーネントの機能は、知られている技術に基づくことができ、したがって、さらに記述する必要はない。

図２０は、１つの実施形態において、複数のオーディオ信号処理チェーン（１からＮとして描写され、Ｎは１より大きい）が複数の源４５２からの信号を処理できることを示す。１つの実施形態において、ＳＲＣ４５４、ドップラー４５６、距離４５８、方向４６０、ＩＴＤ４６２、位置フィルタ４６４、およびＩＩＤ４６６のそれぞれのチェーンを、図１９の単一のチェーンの例４２０に類似して構成できる。それぞれのダウンミックスコンポーネント４７０および４７４中で、複数のＩＩＤ４６６からの左右の出力を組み合わせることができ、２つのダウンミックスされた信号を残響処理（４７２および４７６）することができ、それにより出力信号４７８を生成する。

１つの実施形態において、ＳＲＣ４５４、ドップラー４５６、距離４５８、方向４６０、ダウンミックス（４７０および４７４）、および残響（４７２および４７６）のコンポーネントの機能は、知られている技術に基づくことができ、したがって、さらに記述する必要はない。

図２１は、１つの実施形態において、他の構成が可能であることを示す。例えば、残響４８４、ドップラー４８６、距離４８８、および方向４９０、のコンポーネントにより、（例示的なストリーム１から８として描写された）複数のサウンドデータストリームのそれぞれを処理できる。方向コンポーネント４９０からの出力を、左右の信号を出力するＩＴＤコンポーネント４９２に入力することができる。

図２１中で示したように、ダウンミックスコンポーネント４９４を介して、８個のＩＴＤ４９２の出力を、対応する位置フィルタに方向付けることができる。このような６組の位置フィルタ４９６は、６つの例示的な半面に対応するように描写されている。位置フィルタ４９６は、それぞれのフィルタをそれらに対して提供された入力に適用し、対応する左右の出力信号を提供する。図２１の描写目的のため、位置フィルタがＩＩＤ補償機能を提供できることも仮定する。

図２１中で示したように、ダウンミックスコンポーネント４９８により、位置フィルタ４９６の出力をさらにダウンミックスすることができ、ダウンミックスコンポーネント４９８は、（標準ステレオコンテンツのような）２Ｄストリームを、ここで記述したように処理される３Ｄストリームと混合する。１つの実施形態において、このようなダウンミキシングにより、オーディオ信号中のクリッピングを回避できる。ＳＲＳ“ＷＯＷＸＴ”アプリケーションのようなサウンドを高めるコンポーネント５００により、ダウンミックスされた出力信号をさらに処理して、出力信号５０２を発生させることができる。

例として見たように、他のサウンド効果を高める技術とともに、ＩＴＤ、位置フィルタ、および／またはＩＩＤ、の特徴を組み込むことに対してさまざまな構成が可能である。したがって、ここで示した以外の構成が可能であることが理解される。

図２２Ａおよび２２Ｂは、位置フィルタリングのさまざまな機能をどのように実現できるかに関する、限定でない例示的な構成を示す。図２２Ａ中で示した１つの例示的なシステム５１０において、３Ｄサウンドアプリケーションプログラミングインターフェイス（ＡＰＩ）５２０として示されるコンポーネントにより、位置フィルタリングを実行できる。オペレーティングシステム５１８とマルチメディアアプリケーション５２２との間のインターフェスを提供する一方で、このようなＡＰＩは位置フィルタリング機能を提供できる。オーディオ出力コンポーネント５２４は、スピーカまたはヘッドフォンのような出力デバイスに出力信号５２６を提供できる。

１つの実施形態において、３ＤサウンドＡＰＩ５２０の少なくともいくつかの部分は、システム５１０のプログラムメモリ５１６中に存在し、プロセッサ５１４の制御の下にあるものとすることができる。１つの実施形態において、システム５１０は、視覚による入力をリスナに提供できるディスプレイ５１２コンポーネントを含むこともできる。ディスプレイ５１２により提供される視覚によるキューおよびＡＰＩ５２０により提供されるサウンド処理は、リスナ／観察者に対してオーディオビジュアル効果を高めることができる。

図２２Ｂは、別の例示的なシステム５３０を示し、別の例示的なシステム５３０は、ディスプレイコンポーネント５３２と、スピーカまたはヘッドフォンのようなデバイスに対して位置フィルタされた信号５４０を出力するオーディオ出力コンポーネント５３８とを含むこともできる。１つの実施形態において、システム５３０は、位置フィルタリングに対して必要とされる少なくともいくつかの情報を有するデータ５３４を内部に含むことができ、またはアクセスすることができる。例えば、データ５３４から、プロセッサ５３６の制御の下で実行されている（示していない）いくつかのアプリケーションに、さまざまなフィルタ係数および他の情報を提供してもよい。

ここで記述したように、位置フィルタリングおよび関係付けられた処理技術のさまざまな特徴は、過重な計算を必要とすることなく、実際的な３次元サウンド効果の発生を可能にする。それ自体、計算力およびリソースが限定されているかもしれないポータブルデバイスにおける実現に対して、本開示のさまざまな特徴は特に役に立つことができる。

図２３Ａおよび２３Ｂは、位置フィルタリングのさまざまな機能を実現できるポータブルデバイスの限定でない例を示す。図２３Ａは、１つの実施形態において、３Ｄオーディオ機能５５６がセル電話機５５０のようなポータブルデバイスにおいて実現できることを示す。多くのセル電話機は、ビデオディスプレイ５５２とオーディオ出力５５４とを含むことができるマルチメディア機能を提供する。しかし、このようなデバイスは通常、限定された、計算力およびリソースを有する。したがって、セル電話機５５０のユーザに対して、３Ｄオーディオ機能５５６は、向上したリスニング体験を提供できる。

図２３Ｂは、別の例示的な実現５６０において、位置フィルタリングによりサラウンドサウンド効果がシミュレートできる（シミュレートされた音源１２６により描写された）ことを示す。ヘッドフォン１２４の左右のスピーカだけを聴いているとはいえ、ヘッドフォン１２４に提供される出力信号５６４は、サラウンドサウンド効果をリスナ１０２に結果として経験させることができる。

例示的なサラウンドサウンド構成５６０に対して、５つの音源を処理するように、位置フィルタリングを構成できる（例えば、図２０または２１中の５つの処理チェーン）。１つの実施形態において、音源の場所に関する情報（例えば、５つのシミュレートされたスピーカの場所に関する情報）を入力データ中にエンコードすることができる。５つのスピーカ１２６はリスナ１０２を基準として動かないので、処理の際に、５つの音源の位置を固定できる。したがって、ＩＴＤの決定を簡単にすることができ、ＩＴＤクロスフェイディングを除くことができ、フィルタ選択を固定でき（例えば、源が水平面上に置かれている場合、前部および後部水平半面だけが、使用に必要とされる）、ＩＩＤ補償を簡単にすることができ、ＩＩＤクロスフェイディングを除くことができる。

ポータブルだけでなく、ポータブルでないデバイス上での他の実現が可能である。

ここでの記述において、コンポーネントまたはモジュールの点から、さまざまな機能を記述および描写している。このような描写は記述目的のためであり、物理的な境界またはパッケージング構成を必ずしも意味しない。例えば、図１２（および他の図）は、コンポーネントとしてＩＴＤ、位置フィルタ、およびＩＩＤを描写している。単一のデバイス／ソフトウェア、別々のデバイス／ソフトウェア、またはこれらについての任意の組み合わせ中で、これらのコンポーネントの機能を実現できることが理解される。さらに、位置フィルタのような所定のコンポーネントに対して、単一のデバイス／ソフトウェア、複数のデバイス／ソフトウェア、またはこれらについての任意の組み合わせ中で、その機能を実現できる。

一般に、一例として、ここで記述したように動作する、コンピュータ、プログラムロジック、またはデータおよび命令を表す他の基板構成をプロセッサが含むことができることが理解される。他の実施形態において、プロセッサは、制御回路、プロセッサ回路、プロセッサ、汎用目的の単一チップまたは複数チップのマイクロプロセッサ、デジタル信号プロセッサ、組み込まれたマイクロプロセッサ、マイクロ制御装置、およびこれらに類似するものを含むことができる。

さらに、１つの実施形態において、１つ以上のコンポーネントとしてプログラムロジックを有利に実現してもよいことが理解される。１つ以上のプロセッサ上で実行するようにコンポーネントを有利に構成してもよい。ソフトウェアまたはハードウェアコンポーネント、ソフトウェアモジュールのようなモジュール、オブジェクト指向のソフトウェアコンポーネント、クラスコンポーネントおよびタスクコンポーネント、プロセス方法、関数、属性、手続き、サブルーチン、プログラムコードのセグメント、ドライバ、ファームウェア、マイクロコード、回路、データ、データベース、データ構造、テーブル、配列、ならびに変数をコンポーネントは含むが、それらに限定されない。

上で開示した実施形態は、上で開示した実施形態に適用されるような本発明の基本的な新しい特徴を示し、記述し、指摘しているが、示した、デバイス、システム、および／または方法の詳細の形態におけるさまざまな省略、置換、および変更が、本発明の範囲から逸脱することなく当業者により実施されることを理解すべきである。したがって、本発明の範囲は、前述の記述により限定されるべきではなく、添付の特許請求の範囲により規定されるべきである。

図１は、位置オーディオエンジンが、リスナに対して動いている音源のサウンド効果を提供できる例示的なリスニング状況を示す。 図２は、位置オーディオエンジンが、ヘッドフォンを使用するリスナに対してサラウンドサウンド効果を提供できる別の例示的なリスニング状況を示す。 図３は、位置オーディオエンジンの全体的な機能のブロック図を示す。 図４は、図３の位置オーディオエンジンにより実行できるプロセスの１つの実施形態を示す。 図５は、図４のプロセスのさらに特定な例とすることができるプロセスの１つの実施形態を示す。 図６は、図５のプロセスのさらに特定な例とすることができるプロセスの１つの実施形態を示す。 図７Ａは、一例として、応答曲線からの１つ以上の場所臨界情報がどのように比較的簡単なフィルタ応答に変換できるかを示す。 図７Ｂは、図７Ａの例示的な変換を提供できるプロセスの１つの実施形態を示す。 図８は、記述の目的のための例示的な空間座標の規定２００を示す。 図９は、リスナに関する空間を４つの象限に分割できる例示的な空間の構成を示す。 図１０は、図９の空間の構成における音源を、Ｘ軸に関する複数の別々の半面上に位置しているものとして近似し、その結果、位置フィルタリング応答を簡単にすることができる例示的な空間の構成を示す。 図１１Ａは、さまざまな半面に対して、場所臨界シミュレートされたフィルタ応答を取得できるように、図１０のいくつかの半面上のさまざまな例示的な場所で取得できるＨＲＴＦのような例示的な応答曲線を示す。 図１１Ｂは、さまざまな半面に対して、場所臨界シミュレートされたフィルタ応答を取得できるように、図１０のいくつかの半面上のさまざまな例示的な場所で取得できるＨＲＴＦのような例示的な応答曲線を示す。 図１１Ｃは、さまざまな半面に対して、場所臨界シミュレートされたフィルタ応答を取得できるように、図１０のいくつかの半面上のさまざまな例示的な場所で取得できるＨＲＴＦのような例示的な応答曲線を示す。 図１２は、１つの実施形態において、位置フィルタが、位置臨界シミュレートされたフィルタ応答を提供でき、両耳間時間差（ＩＴＤ）および両耳間強度差（ＩＩＤ）の機能とともに動作できることを示す。 図１３は、図１２のＩＴＤコンポーネントの１つの実施形態を示す。 図１４は、図１２の位置フィルタコンポーネントの１つの実施形態を示す。 図１５は、図１２のＩＩＤコンポーネントの１つの実施形態を示す。 図１６は、図１２のＩＴＤコンポーネントにより実行できるプロセスの１つの実施形態を示す。 図１７は、図１２の位置フィルタとＩＩＤコンポーネントとにより実行できるプロセスの１つの実施形態を示す。 図１８は、図１２のＩＴＤ、位置フィルタ、およびＩＩＤコンポーネントの機能を提供するために実行できる、プロセスの１つの実施形態を示し、ここでクロスフェイディング機能が、動く音源の影響のなめらかな移行を提供できる。 図１９は、位置フィルタコンポーネントが他のサウンド処理コンポーネントとともにチェーンの一部となることができる例示的な単一の処理構成を示す。 図２０は、１つの実施形態において、複数の信号処理チェーンを実現して、複数の音源をシミュレートできることを示す。 図２１は、図２０の実施形態に対する別のバリエーションを示す。 図２２Ａは、位置フィルタを有する位置オーディオエンジンを実現できるオーディオシステムの限定でない例を示す。 図２２Ｂは、位置フィルタを有する位置オーディオエンジンを実現できるオーディオシステムの限定でない例を示す。 図２３Ａは、位置フィルタの機能を実現して、向上したリスニング体験をリスナに提供できるデバイスの限定でない例を示す。 図２３Ｂは、位置フィルタの機能を実現して、向上したリスニング体験をリスナに提供できるデバイスの限定でない例を示す。

Claims (46)

1. デジタルオーディオ信号を処理する方法において、
   １つ以上のデジタル信号を受け取り、前記１つ以上のデジタル信号のそれぞれは、リスナを基準とした音源の空間的な位置に関する情報を有することと、
   １つ以上のデジタルフィルタを選択し、前記１つ以上のデジタルフィルタのそれぞれは、特定の範囲のヒアリング応答関数から形成されていることと、
   前記１つ以上のフィルタを前記１つ以上のデジタル信号に適用し、それにより、対応する１つ以上のフィルタされた信号を生じさせ、前記１つ以上のフィルタされた信号のそれぞれは、前記音源に適用される前記ヒアリング応答関数のシミュレートされた影響を有することとを含む方法。
2. 前記１つ以上のデジタル信号は、左右のスピーカに出力すべき左右のデジタル信号を含む請求項１記載の方法。
3. 前記リスナを基準とした前記音源の空間的な位置に基づいて、前記左右のデジタル信号は、両耳間時間差（ＩＴＤ）に対して調整される請求項２記載の方法。
4. 前記ＩＴＤの調整は、
   前記音源の空間的な位置に関する情報を有するモノラル入力信号を受け取ることと、
   前記空間の情報に基づいて、時間差の値を決定することと、
   前記時間差の値を前記モノラル入力信号に導入することにより、左右の信号を発生させることとを含む請求項３記載の方法。
5. 前記時間差の値は、ｓｉｎθｃｏｓφの絶対値に比例する量を含み、ここでθは、前記リスナの正面を基準とした前記音源の方位角を表し、φは、前記リスナの耳と正面の方向とにより規定される水平面を基準とした前記音源の仰角を表す請求項７記載の方法。
6. 前記時間差の値の決定は、前記音源の空間的な位置が変化するときに実行される請求項４記載の方法。
7. 以前の値と現在の値との間で前記時間差の値のクロスフェイドな移行を実行することをさらに含む請求項６記載の方法。
8. 前記クロスフェイドな移行は、複数の処理サイクルの間に、前記左右の信号の発生に使用するための時間差の値を前記以前の値から前記現在の値に変更することを含む請求項７記載の方法。
9. 前記１つ以上のフィルタされた信号は、左右のスピーカに出力すべき左右のフィルタされた信号を含む請求項１記載の方法。
10. 存在するかもしれないが、前記１つ以上のフィルタの適用により対処されない任意の強度差に対処するために、両耳間強度差（ＩＩＤ）に対して、前記左右のフィルタされた信号のそれぞれを調整することをさらに含む請求項９記載の方法。
11. 前記ＩＩＤに対する左右のフィルタされた信号の調整は、
    前記音源が、前記リスナを基準として左または右に位置しているかどうかを決定することと、
    弱い方の信号として、前記音源の反対側にある前記左または右のフィルタされた信号を割り当てることと、
    強い方の信号として、前記左または右のフィルタされた信号のうちの他方を割り当てることと、
    第１の補償により前記弱い方の信号を調整することと、
    第２の補償により前記強い方の信号を調整することとを含む請求項１０記載の方法。
12. 前記第１の補償は、ｃｏｓθに比例する補償値を含み、ここでθは、前記リスナの正面を基準とした前記音源の方位角を表す請求項１１記載の方法。
13. 前記第２の補償は、ｓｉｎθに比例する補償値を含み、ここでθは、前記リスナの正面を基準とした前記音源の方位角を表す請求項１１記載の方法。
14. 前記ＩＩＤに対する左右のフィルタされた信号の調整は、前記音源の選択された移動のために、新しい１つ以上のデジタルフィルタが前記左右のフィルタされた信号に対して適用されるときに実行される請求項１１記載の方法。
15. 以前の値と現在の値との間で前記第１および第２の補償値のクロスフェイドな移行を実行することをさらに含む請求項１４記載の方法。
16. 前記クロスフェイドな移行は、複数の処理サイクルの間に前記第１および第２の補償値を変更することを含む請求項１５記載の方法。
17. 前記１つ以上のデジタル信号の受け取り前、または前記１つ以上のフィルタの適用後のいずれかで、サンプルレート変換、音源速度に対するドップラー調整、前記リスナに対する前記音源の距離に対処する距離調整、前記音源を基準とした前記リスナの頭の方向に対処する方向調整、または残響調整処理、の処理ステップのうちの少なくとも１つを実行することをさらに含む請求項１記載の方法。
18. 前記１つ以上のデジタル信号に対する前記１つ以上のデジタルフィルタの適用は、前記リスナに関する前記音源の動きの影響をシミュレートする請求項１記載の方法。
19. 前記１つ以上のデジタル信号に対する前記１つ以上のデジタルフィルタの適用は、前記リスナに関して、選択された場所に前記音源を置くことの影響をシミュレートする請求項１記載の方法。
20. １つ以上の追加的な音源の影響をシミュレートして、前記リスナに関して、選択された場所で複数の音源の影響をシミュレートすることをさらに含む請求項１９記載の方法。
21. 前記１つ以上のデジタル信号は、左右のスピーカに出力すべき左右のデジタル信号を含み、前記複数の音源は、２つより多い音源を含み、そのため、２つより多い音源の影響が、前記左右のスピーカによりシミュレートされる請求項１９記載の方法。
22. 前記複数の音源は、サラウンドサウンド配置のうちの１つに類似した方法で配置された５つの音源を含み、前記左右のスピーカはヘッドフォン中に位置しており、そのため、サラウンドサウンド効果が、前記ヘッドフォンに提供される前記左右のフィルタされた信号によりシミュレートされる請求項２１記載の方法。
23. 音源からの音を表すデジタル信号を処理する位置オーディオエンジンにおいて、
    １つ以上のデジタルフィルタを選択するように構成され、前記１つ以上のデジタルフィルタのそれぞれは、特定の範囲のヒアリング応答関数から形成されており、前記選択は、リスナを基準とした前記音源の空間的な位置に基づいているフィルタ選択コンポーネントと、
    前記１つ以上のデジタルフィルタを１つ以上のデジタル信号に適用し、それにより、対応する１つ以上のフィルタされた信号を生じさせるように構成され、前記１つ以上のフィルタされた信号のそれぞれは、前記音源からの音に適用される前記ヒアリング応答関数のシミュレートされた影響を有するフィルタ適用コンポーネントとを具備する位置オーディオエンジン。
24. 前記ヒアリング応答関数は、頭関連の伝達関数（ＨＲＴＦ）を含む請求項２３記載のオーディオエンジン。
25. 前記特定の範囲は、前記ＨＲＴＦ内の周波数の特定の範囲を含む請求項２４記載のオーディオエンジン。
26. 前記周波数の特定の範囲は実質上、可聴周波数間の平均の感度よりも大きい、平均的な人間のヒアリングに対する場所弁別感度を提供する周波数の範囲内にあるか、またはこの範囲とオーバーラップしている請求項２５記載のオーディオエンジン。
27. 前記周波数の特定の範囲は、前記ＨＲＴＦ中のピーク構造を含むか、またはこのピーク構造と実質上オーバーラップする請求項２５記載のオーディオエンジン。
28. 前記ピーク構造は実質上、約２．５ＫＨｚと約７．５ＫＨｚとの間の周波数の範囲内にあるか、またはこの範囲とオーバーラップする請求項２７記載のオーディオエンジン。
29. 前記ピーク構造は実質上、約８．５ＫＨｚと約１８ＫＨｚとの間の周波数の範囲内にあるか、またはこの範囲とオーバーラップする請求項２７記載のオーディオエンジン。
30. 前記１つ以上のデジタルフィルタは、複数のデジタルフィルタを備えている請求項２３記載のオーディオエンジン。
31. 前記１つ以上のデジタル信号のそれぞれは、前記複数のデジタルフィルタの数と同じ数の信号に分割され、それにより、前記複数のデジタルフィルタが、前記複数の分割された信号に並列に適用される請求項３０記載のオーディオエンジン。
32. 前記１つ以上のフィルタされた信号のそれぞれは、前記複数のデジタルフィルタによりフィルタされた、前記複数の分割された信号を組み合わせることにより得られる請求項３１記載のオーディオエンジン。
33. 前記組み合わせることは、前記複数の分割された信号を合計することを含む請求項３２のオーディオエンジン。
34. 前記複数のデジタルフィルタは、第１および第２のデジタルフィルタを備えている請求項３０記載のオーディオエンジン。
35. 前記第１および第２のデジタルフィルタのそれぞれは、ヒアリング応答関数のパスバンド部分で実質上最大平坦であり、ヒアリング応答関数のストップバンド部分で実質上ゼロに向けてロールオフする応答を生じさせるフィルタを備えている請求項３４記載のオーディオエンジン。
36. 前記第１および第２のデジタルフィルタのそれぞれは、バターワースフィルタを備えている請求項３５記載のオーディオエンジン。
37. 前記第１および第２のデジタルフィルタのうちの１つに対する前記パスバンド部分は、約２．５ＫＨｚと約７．５ＫＨｚとの間の周波数の範囲により規定される請求項３５記載のオーディオエンジン。
38. 前記第１および第２のデジタルフィルタのうちの１つに対する前記パスバンド部分は、約８．５ＫＨｚと約１８ＫＨｚとの間の周波数の範囲により規定される請求項３５記載のオーディオエンジン。
39. 前記１つ以上のデジタルフィルタの選択は、前記リスナについての有限の数の幾何学的位置に基づいている請求項２３記載のオーディオエンジン。
40. 前記幾何学的位置は複数の半面を含み、それぞれの半面は、前記リスナの耳間の方向に沿ったエッジと、前記リスナに対して正面の方向および前記耳により規定される水平面を基準とした仰角φとにより規定される請求項３９記載のオーディオエンジン。
41. 前記複数の半面は、１つ以上の前部半面と１つ以上の後部半面とにグループ化される請求項４０記載のオーディオエンジン。
42. 前記前部半面は、前記リスナの前部かつ約０および＋／−４５度の仰角にある半面を備え、前記後部半面は、前記リスナの後部かつ約０および＋／−４５度の仰角にある半面を備える請求項４１記載のオーディオエンジン。
43. デジタルオーディオ信号を処理するシステムにおいて、
    モノラル入力信号を受け取り、左右の両耳間時間差（ＩＴＤ）調整された信号を発生させて音源からリスナの左右の耳に到着する音の到着時間差をシミュレートするように構成され、前記モノラル入力信号は、前記リスナを基準とした前記音源の空間的な位置に関する情報を有しているＩＴＤコンポーネントと、
    前記左右のＩＴＤ調整された信号を受け取り、１つ以上のデジタルフィルタを前記左右のＩＴＤ調整された信号のそれぞれに適用して左右のフィルタされたデジタル信号を発生させるように構成され、前記１つ以上のデジタルフィルタのそれぞれは、特定の範囲のヒアリング応答関数に基づいており、それにより、前記左右のフィルタされたデジタル信号が、前記ヒアリング応答関数をシミュレートする位置フィルタコンポーネントと、
    前記左右のフィルタされたデジタル信号を受け取り、左右の両耳間強度差（ＩＩＤ）調整された信号を発生させて前記左右の耳に到着する音の強度差をシミュレートするように構成されたＩＩＤコンポーネントとを具備するシステム。
44. サンプルレート変換コンポーネント、音源速度をシミュレートするように構成されたドップラー調整コンポーネント、前記リスナに対する前記音源の距離に対処するように構成された距離調整コンポーネント、前記音源を基準とした前記リスナの頭の方向に対処するように構成された方向調整コンポーネント、または残響効果をシミュレートするための残響調整コンポーネントのうちの少なくとも１つをさらに具備する請求項４３記載のシステム。
45. デジタルオーディオ信号を処理するシステムにおいて、
    複数の信号処理チェーンを具備し、
    それぞれのチェーンは、
    モノラル入力信号を受け取り、左右の両耳間時間差（ＩＴＤ）調整された信号を発生させて音源からリスナの左右の耳に到着する音の到着時間差をシミュレートするように構成され、前記モノラル入力信号は、前記リスナを基準とした前記音源の空間的な位置に関する情報を有しているＩＴＤコンポーネントと、
    前記左右のＩＴＤ調整された信号を受け取り、１つ以上のデジタルフィルタを前記左右のＩＴＤ調整された信号のそれぞれに適用して左右のフィルタされたデジタル信号を発生させるように構成され、前記１つ以上のデジタルフィルタのそれぞれは、特定の範囲のヒアリング応答関数に基づいており、それにより、前記左右のフィルタされたデジタル信号が、前記ヒアリング応答関数をシミュレートする位置フィルタコンポーネントと、
    前記左右のフィルタされたデジタル信号を受け取り、左右の両耳間強度差（ＩＩＤ）調整された信号を発生させて前記左右の耳に到着する音の強度差をシミュレートするように構成されたＩＩＤコンポーネントとを備えるシステム。
46. 装置において、
    １つ以上のデジタル信号を受け取る手段と、
    音源の空間的な位置に関する情報に基づいて、１つ以上のデジタルフィルタを選択する手段と、
    前記１つ以上のフィルタを前記１つ以上のデジタル信号に適用し、それにより、ヒアリング応答関数の影響をシミュレートする、対応する１つ以上のフィルタされた信号を生じさせる手段とを具備する装置。

Images