JP5753899B2

JP5753899B2 - オーディオ信号合成器

Info

Publication number: JP5753899B2
Application number: JP2013519930A
Authority: JP
Inventors: クリストフ　フォーラー; フォーラークリストフ; ヴィレッテデビッド; ユーラン; ジャンフェンシー
Original assignee: ファーウェイテクノロジーズカンパニーリミテッド
Priority date: 2010-07-20
Filing date: 2010-07-20
Publication date: 2015-07-22
Anticipated expiration: 2030-07-20
Also published as: EP2586025A4; US9082396B2; CN103069481A; WO2012009851A1; JP2013536461A; CN103069481B; US20130129096A1; EP2586025A1

Description

本発明は、オーディオ符号化に関する。

たとえば、Ｃ．ＦａｌｌｅｒおよびＦ．Ｂａｕｍｇａｒｔｅ、「Ｅｆｆｉｃｉｅｎｔｒｅｐｒｅｓｅｎｔａｔｉｏｎｏｆｓｐａｔｉａｌａｕｄｉｏｕｓｉｎｇｐｅｒｃｅｐｔｕａｌｐａｒａｍｅｔｒｉｚａｔｉｏｎ」，Ｐｒｏｃ．ＩＥＥＥＷｏｒｋｓｈｏｐｏｎＡｐｐｌ．ｏｆＳｉｇ．Ｐｒｏｃ．ｔｏＡｕｄｉｏａｎｄＡｃｏｕｓｔ．，Ｏｃｔ．２００１、１９９〜２０２ページに記載されるようなパラメトリックステレオまたはマルチチャンネルオーディオ符号化は、通常モノラルまたはステレオのダウンミックスオーディオ信号をより多くのチャンネルをもつ信号に合成するために空間キューを使用する。通常、ダウンミックスオーディオ信号は、マルチチャンネルオーディオ信号、たとえば、ステレオオーディオ信号の複数のオーディオチャンネル信号の重畳によって生じる。これらのより少数のチャンネルは、波形符号化され、原信号チャンネル関係に関係するサイド情報、すなわち、空間キューは、符号化されたオーディオチャンネルに追加される。復号器は、復号化された波形符号化されたオーディオチャンネルに基づいて当初の数のオーディオチャンネルを再生するために、このサイド情報を使用する。

基本パラメトリックステレオ符号器は、モノラルダウンミックスオーディオ信号からステレオ信号を生成するために必要とされるキューとしてチャンネル間レベル差（ＩＬＤ）を使用することがある。より高度な符号器は、チャンネル間コヒーレンス（ＩＣＣ）も使用することがあり、このチャンネル間コヒーレンスは、オーディオチャンネル信号、すなわち、オーディオチャンネルの間の類似度を表すことがある。さらに、たとえば、３Ｄオーディオまたはヘッドホン・ベース・サラウンド・レンダリングのためバイノーラルステレオ信号を符号化するとき、同様にチャンネル間位相差（ＩＰＤ）は、チャンネル間の位相／遅延差を再現する役割を果たすことがある。

Ｊ．ＢｌａｕｅｒｔによるＳｐａｔｉａｌＨｅａｒｉｎｇ：ＴｈｅＰｓｙｃｈｏｐｈｙｓｉｃｓｏｆＨｕｍａｎＳｏｕｎｄＬｏｃａｌｉｚａｔｉｏｎ，ＴｈｅＭＩＴＰｒｅｓｓ，Ｃａｍｂｒｉｄｇｅ，Ｍａｓｓａｃｈｕｓｅｔｔｓ，ＵＳＡ，１９９７に記載されるように、ＩＣＣキューの合成は、環境と、ステレオ残響と、音源幅と、空間印象に関連している他の知覚とを再現するために大部分のオーディオコンテンツおよび音楽コンテンツに関連していることがある。Ｅ．Ｓｃｈｕｉｊｅｒｓ，Ｗ．Ｏｏｍｅｎ，Ｂ．ｄｅｎＢｒｉｎｋｅｒ，およびＪ．Ｂｒｅｅｂａａｒｔ、「Ａｄｖａｎｃｅｓｉｎｐａｒａｍｅｔｒｉｃｃｏｄｉｎｇｆｏｒｈｉｇｈ−ｑｕａｌｉｔｙａｕｄｉｏ」，ｉｎＰｒｅｐｒｉｎｔ１１４ｔｈＣｏｎｖ．Ａｕｄ．Ｅｎｇ．Ｓｏｃ．，Ｍａｒ．２００３に記載されるように、コヒーレンス合成は、周波数領域において逆相関器を使用することにより実施されることがある。しかし、マルチチャンネルオーディオ信号を合成する既知の合成アプローチは、複雑性を増大させることがある。

本発明によって達成されるべき目標は、ダウンミックスオーディオ信号からマルチチャンネルオーディオ信号を合成する効率的な概念を提供することである。

本発明は、マルチチャンネルオーディオ信号がダウンミックスオーディオ信号の少なくとも３つの信号コピーに基づいてダウンミックスオーディオ信号から効率的に合成されることがあるという研究結果に基づいている。ダウンミックスオーディオ信号は、たとえば、マルチチャンネルオーディオ信号、たとえば、ステレオオーディオ信号の左オーディオチャンネル信号と右オーディオチャンネル信号との和を含むことがある。このようにして、第１のコピーは、第１のオーディオチャンネルを表すことがあり、第２のコピーは、拡散音を表すことがあり、第３のコピーは、第２のオーディオチャンネルを表すことがある。マルチチャンネルオーディオ信号を合成する（たとえば、生成する）ために、第２のコピーは、マルチチャンネルオーディオ信号を合成するためにそれぞれのオーディオチャンネルとそれぞれに結合されることがある２つの逆相関信号を生成するために使用されることがある。２つの逆相関信号を取得するために、第２のコピーは、特に周波数領域において予め記憶されるか、または、遅延させられることがある。しかしながら、逆相関信号は、時間領域において直接取得されることがある。両方の場合に、複雑性の低い配置が達成されることがある。

第１の実施形態によれば、本発明は、ダウンミックスオーディオ信号からマルチチャンネルオーディオ信号を合成するオーディオ信号合成器であって、ダウンミックスオーディオ信号のスペクトルを表す被変換オーディオ信号を取得するためにダウンミックスオーディオ信号を周波数領域に変換する変換器と、被変換オーディオ信号に基づいて第１の補助信号を生成し、第２の補助信号を生成し、第３の補助信号を生成する信号生成器と、第３の補助信号から少なくとも部分的に逆相関にある第１の逆相関信号と第２の逆相関信号とを生成する逆相関器と、第１のオーディオ信号と第２のオーディオ信号とがマルチチャンネルオーディオ信号を形成する第１のオーディオ信号を取得するために第１の補助信号を第１の逆相関信号と結合し、第２のオーディオ信号を取得するために第２の補助信号を第２の逆相関信号と結合する結合器とを備えるオーディオ信号合成器に関する。変換器は、たとえば、ダウンミックスオーディオ信号の短時間スペクトル表現を供給するフーリエ変換器、または、フィルタバンクでもよい。この点に関して、逆相関信号は、これらの信号間の相互相関の第１の相互相関値がこの相互相関の別の相互相関値未満である場合、逆相関関係にあるとみなされることがある。

第１の態様の実施形態によれば、変換器は、ダウンミックスオーディオ信号を周波数領域に変換するためのフーリエ変換器またはフィルタを備える。フーリエ変換器は、たとえば、高速フーリエ変換器でもよい。

第１の態様の実施形態によれば、被変換オーディオ信号は、周波数帯域を占有し、第１の補助信号、第２の補助信号、および第３の補助信号は、周波数帯域のうちの同じ周波数サブ帯域を共用する。これに対応して、周波数帯域の他のサブ帯域は、同様に処理されることがある。

第１の態様の実施形態によれば、信号生成器は、被変換オーディオ信号の信号コピーを供給する信号コピー器と、第１の重み付き信号を取得するために第１の信号コピーに第１の重み係数を乗じる第１の乗算器と、第２の重み付き信号を取得するために第２の信号コピーに第２の重み係数を乗じる第２の乗算器と、第３の重み付き信号を取得するために第３の信号コピーに第３の重み係数を乗じる第３の乗算器とを備え、この信号生成器は、重み付き信号に基づいて補助信号を生成するように構成されている。重み付け係数は、それぞれの信号コピーの電力をそれぞれの第１のオーディオチャンネルと、第２のオーディオチャンネルと、拡散音とに調整または拡大縮小するために使用されることがある。

第１の態様の実施形態によれば、オーディオ信号合成器は、第１の補助信号を取得するために第１の重み付き信号を時間領域に変換し、第２の補助信号を取得するために第２の重み付き信号を時間領域に変換し、第３の補助信号を取得するために第３の重み付き信号を時間領域に変換する変換器を備える。変換器は、たとえば、フーリエ逆変換器でもよい。

第１の態様の実施形態によれば、第１の重み付け係数は、マルチチャンネルオーディオ信号の右オーディオチャンネルの電力に依存し、第２の重み付き係数は、マルチチャンネルオーディオ信号の左オーディオチャンネルの電力に依存する。このようにして、両方のオーディオチャンネルの電力は、それぞれ調整されることがある。

第１の態様の実施形態によれば、逆相関器は、第１の逆相関信号を取得するために周波数領域において第３の補助信号の第１のコピーを記憶する第１のストレージと、第２の逆相関信号を取得するために周波数領域において第３の補助信号の第２のコピーを記憶する第２のストレージとを備える。第１のストレージおよび第２のストレージは、逆相関信号を取得するために異なった期間のコピー信号を記憶するように構成されることがある。

第１の態様の実施形態によれば、逆相関器は、第１の逆相関信号を取得するために第３の補助信号の第１のコピーを遅延させる第１の遅延要素と、第２の逆相関信号を取得するために第３の補助信号の第２のコピーを遅延させる第２の遅延要素とを備える。遅延要素は、時間領域または周波数領域に配置されることがある。

第１の態様の実施形態によれば、逆相関器は、第１の逆相関信号を取得するために第３の補助信号の第１のコピーを濾波する第１の全域通過フィルタと、第２の逆相関信号を取得するために第３の補助信号の第２のコピーを濾波する第２の全域通過フィルタとを備える。個々の全域通過フィルタは、一例として、全域通過回路網によって形成されることがある。

第１の態様の実施形態によれば、逆相関器は、第１の逆相関信号を取得するために第３の補助信号の第１のコピーを残響させる第１のリバーブレーターと、第２の逆相関信号を取得するために第３の補助信号の第２のコピーを残響させる第２のリバーブレーターとを備える。

第１の態様の実施形態によれば、結合器は、第１のオーディオ信号を取得するために第１の補助信号と第１の逆相関信号とを合計し、第２のオーディオ信号を取得するために第２の補助信号と第２の相関信号とを合計するように構成されている。このようにして、合成器は、それぞれの信号を合計する加算器を備えることがある。

第１の態様の実施形態によれば、オーディオ信号合成器は、第１のオーディオ信号および第２のオーディオ信号を時間領域に変換する変換器をさらに備える。この変換器は、フーリエ逆変換器でもよい。

第１の態様の実施形態によれば、第１のオーディオ信号は、マルチチャンネルオーディオ信号の左チャンネルを表し、第２のオーディオ信号は、マルチチャンネルオーディオ信号の右チャンネルを表し、逆相関信号は、拡散オーディオ信号を表す。この拡散オーディオ信号は、拡散音を表すことがある。

第１の態様の実施形態によれば、オーディオ信号合成器は、第１の逆相関信号のエネルギーおよび第２の逆相関信号のエネルギーを決定するエネルギー決定器と、第１の逆相関信号のエネルギーを正規化する第１のエネルギー正規化器と、第２の逆相関信号のエネルギーを正規化する第２のエネルギー正規化器とをさらに備える。

第２の態様によれば、本発明は、ダウンミックスオーディオ信号からマルチチャンネルオーディオ信号、たとえば、ステレオオーディオ信号を合成、たとえば、生成する方法であって、ダウンミックスオーディオ信号のスペクトルを表す被変換オーディオ信号を取得するためにダウンミックスオーディオ信号を周波数領域に変換することと、被変換オーディオ信号に基づいて第１の補助信号、第２の補助信号、および第３の補助信号を生成することと、第３の補助信号から少なくとも部分的に逆相関にある第１の逆相関信号および第２の逆相関信号を生成することと、第１のオーディオ信号および第２のオーディオ信号がマルチチャンネルオーディオ信号を形成する第１のオーディオ信号を取得するために第１の補助信号を第１の逆相関信号と結合し、第２のオーディオ信号を取得するために第２の補助信号を第２の逆相関信号と結合することとを備える方法に関する。

一部の実施形態によれば、ダウンミックス信号からマルチチャンネルオーディオ信号を生成する方法は、ダウンミックス信号を受信することと、入力ダウンミックスオーディオ信号を複数のサブ帯域に変換することと、ターゲットマルチチャンネル信号の相関信号および無相関信号を表すサブ帯域信号を生成するためにサブ帯域領域において係数を適用するステップと、生成されたサブ帯域信号を時間領域に変換することと、無相関信号を表す生成された時間領域信号を逆相関させることと、相関信号を表す時間領域信号を逆相関信号と合成することとを備えることがある。

第４の態様によれば、本発明は、コンピュータ上で実行されるときにマルチチャンネルオーディオ信号を合成する方法を実行するコンピュータプログラムに関する。

発明のさらなる実施形態は、今度は以下の図面との関連で説明される。

図１は一実施形態によるオーディオ信号合成器のブロック図を示した図である。図２は一実施形態によるオーディオ信号合成器を示した図である。図３は一実施形態によるオーディオ信号合成器を示した図である。

図１は、ダウンミックスオーディオ信号のスペクトルを表す被変換オーディオ信号Ｘ（ｋ，ｉ）を取得するためにダウンミックスオーディオ信号ｘ（ｎ）を周波数領域に変換する変換器１０１を備えるオーディオ信号合成器のブロック図を示す。このオーディオ信号合成器は、被変換オーディオ信号に基づいて、第１の補助信号ｙ_１（ｎ）を生成し、第２の補助信号ｙ_２（ｎ）を生成し、第３の補助信号ｄ（ｎ）を生成する信号生成器１０３をさらに備える。オーディオ信号合成器は、第３の補助信号ｄ（ｎ）から第１の逆相関信号および第２の逆相関信号を生成する逆相関器１０５をさらに備える。オーディオ信号合成器は、ステレオ信号の左オーディオチャンネルを形成する第１のオーディオ信号ｚ_１（ｎ）を取得するために第１の補助信号を第１の逆相関信号と合成し、右オーディオチャンネル信号を形成する第２のオーディオ信号を取得するために第２の補助信号を第２の逆相関信号と合成する合成器１０７をさらに備える。

変換器１０１は、たとえば、ダウンミックス信号の短時間スペクトルを供給するように構成されているフーリエ変換器でもよく、または、どんなフィルタバンク（ＦＢ）でもよい。ダウンミックス信号は、一例として、たとえば、記録されたステレオ信号の左チャンネルと右チャンネルとの合成に基づいて生成されることがある。

信号生成器１０３は、たとえば、被変換オーディオ信号の３個のコピーを供給する信号コピー器１０９を備えることがある。コピー毎に、オーディオ信号合成器は、乗算器を備えることがある。このようにして、信号生成器１０３は、第１のコピーに第１の重み付け係数ｗ_１を乗じる第１の乗算器１１１と、第２のコピーに第２の重み付け係数ｗ_３を乗じる第２の乗算器１１３と、第３のコピーに重み付け係数ｗ_２を乗じる第３の乗算器１１５とを備える。

一部の実施形態によれば、乗算後のコピーは、逆変換器１１７、１１９および１２１にそれぞれ供給されることがある重み付き信号Ｙ_１（ｋ，ｉ）、Ｄ（ｋ，ｉ）およびＹ_２（ｋ，ｉ）を形成する。逆変換器１１７から１２１は、たとえば、逆フィルタバンク（ＩＦＢ）によって、または、フーリエ逆変換器によって形成されることがある。逆変換器１１７から１２１の出力に、第１の補助信号、第２の補助信号および第２の補助信号が供給されることがある。特に、逆変換器１１９の出力での第３の補助信号は、第１の逆相関要素Ｄ１および第２の逆相関要素Ｄ２を備える逆相関器１０５に供給される。逆相関要素Ｄ１およびＤ２は、たとえば、遅延要素によって、または、残響要素によって、または、全域通過フィルタによって形成されることがある。一例として、逆相関要素は、逆相関が達成されるように相互に第３の補助信号のコピーを遅延させることがある。それぞれの逆相関信号は、第１のオーディオ信号を取得するために第１の逆相関信号を第１の補助信号に加算する第１の加算器１２３と、第２のオーディオ信号を取得するために第２の逆相関信号を第２の補助信号に加算する第２の加算器１２５とを備える合成器１０７に供給される。

図１に表されるように、逆相関は、時間領域で実行されることがある。これに対応して、逆相関信号とそれぞれの補助信号とは、時間領域において重畳されることがある。しかしながら、逆相関と重畳とは、図２に表されるように、周波数領域において実行されることがある。

図２は、図１に示されたオーディオ信号合成器の構造と異なった構造を有するオーディオ信号合成器を示す。特に、図２のオーディオ信号合成器は、周波数領域で動作する信号生成器２０１を備える。特に、信号生成器２０１は、逆相関要素Ｄ１およびＤ２を使用して第２の乗算器１１３の出力を逆相関させるために周波数領域に配置された逆相関器１０５を備える。図２に示された実施形態では、乗算器１１１、１１３および１１５の出力信号は、一部の実施形態による第１、第２および第２の補助信号をそれぞれ形成する。逆相関要素Ｄ１およびＤ２は、遅延要素によって、または、所定の異なる期間に亘って周波数領域において第３の補助信号のコピーをそれぞれ記憶するストレージによって形成されることがある。逆相関要素Ｄ１およびＤ２の出力は、周波数領域に配置された加算器１２３および１２５を含む合成器１０７にそれぞれ供給される。加算器１２３および１２の出力は、時間領域信号ｚ_１（ｎ）およびｚ_２（ｎ）をそれぞれ供給するためにフーリエ逆変換器または逆フィルタバンクによって実施されることがある逆変換器２０３および２０５にそれぞれ供給される。

図１および図２に関して、ダウンミックスオーディオ信号は、ｘ（ｎ）で表される時間信号でもよく、ｎは、離散時間インデックスである。この信号の対応する時間−周波数表現は、Ｘ（ｋ，ｉ）であり、ｋは、たとえば、ダウンサンプリングされた時間インデックスであり、ｉは、パラメータ周波数帯域インデックスである。一般性を失うことなく、チャンネル間レベル差（ＩＣＬＤ）およびチャンネル間コヒーレンス（ＩＣＣ）合成を使用する例が考慮されてもよい。たとえば、図１に示されるように、モノラルダウンミックスオーディオ信号ｘ（ｎ）は、たとえば、フィルタバンク（ＦＢ）または変換器によって短時間スペクトル表現に変換される。一例として、１つのパラメトリックステレオパラメータ帯域のための処理が図１および図２に詳細に示される。すべての他の帯域が同様に処理されてもよい。重み付け係数を表すスケール係数ｗ１、ｗ２およびｗ３は、第１の補助信号の実施形態を形成する左相関音Ｙ_１（ｋ，ｉ）、第２の補助信号の実施形態を形成する右相関音Ｙ_２（ｋ，ｉ）、および第３の補助信号の実施形態を形成する左右無相関音Ｄ（ｋ，ｉ）の時間−周波数表現をそれぞれ生成するために、ダウンミックス信号Ｘ（ｋ，ｉ）の時間−周波数表現に適用される。

３個の信号Ｙ_１（ｋ，ｉ）、Ｙ_２（ｋ，ｉ）、およびＤ（ｋ，ｉ）の生成された時間−周波数表現は、逆フィルタバンク（ＩＦＢ）または逆変換器を使用して元の時間領域に変換される。一例として、２つの独立した逆相関器Ｄ_１およびＤ_２が、２個の少なくとも部分的に独立した信号を生成するために信号ｄ（ｎ）に適用され、これらの信号は、たとえば、最終的なステレオ出力左信号および右信号、すなわち、第１のオーディオ信号ｚ_１（ｎ）および第２のオーディオ信号ｚ_２（ｎ）を生成するためにｙ_１（ｎ）およびｙ_２（ｎ）に加算される。

重み付け係数の生成または計算に関連して、ダウンリンク信号の振幅が

であり、ＬおよびＲが左チャンネルおよび右チャンネルの振幅を表す場合、復号器において、左チャンネルおよび右チャンネルの相対電力は、ＩＣＬＤに基づく以下の式：

に従って求められる。以下では、表記の簡潔さのために、インデックスｋおよびｉは、省略されることがよくあることに注意すべきである。
ＩＣＣ（コヒーレンス）の場合、左チャンネルおよび右チャンネルにおける拡散量Ｐ_Ｄ（ｋ，ｉ）は、以下の式

に従って計算できる。

さらに使用する前に、Ｐ_Ｄは、零によって下限が定められ、Ｐ_１とＰ_２の最小値によって上限が定められることがある。

重み係数は、結果として得られる３個の信号Ｙ_１、Ｙ_２およびＤがＰ_１、Ｐ_２およびＰ_Ｄに等しい電力を有するように計算され、すなわち、

であり、ここで、ダウンミックスオーディオ信号の電力は、Ｐ_１、Ｐ_２およびＰ_Ｄは正規化されることがあるのでＰ＝１であり、係数ｇは、ダウンミックス入力信号に使用される正規化に関係する。従来の場合では、ダウンミックス信号が０．５を乗じられた合計であるとき、ｇは、０．５になるように選択されることがある。

ダウンミックス信号の振幅が

である場合、ある種の適応処理が行われることがある。ＣＬＤは、ｃ１およびｃ２に対して以下の式：

を使用して復号器側でダウンミックスに適用されることがある。

ｃ_１およびｃ_２に対する定義は、左チャンネルおよび右チャンネルに対する正確な振幅の復元を可能にすることがある。

Ｐ_１およびＰ_２は、前の定義に従って

および

として定義されることがあり、結果として

および

となる。

次いで、Ｐ_Ｄは、前述のとおり、上記Ｐ_１およびＰ_２に基づいて定義されることがある。

ＩＣＣ＝１である場合が考慮される場合、かつ、ダウンミックス信号の振幅が

であると仮定される場合、Ｐ_１、Ｐ_２およびＰ_Ｄの定義が使用され、ダウンミックス信号に適用され、

を生じる。
ダウンミックス計算とＰ_１係数およびＰ_２係数の仮定との間の不一致の影響を打ち消すために、上記式の一部の適応が実行されることがある。

および

を仮定すると、

を生じ、この場合、

である。

であるとして定義されたダウンミックス信号に対し、ｗ１、ｗ２およびｗ３は、

に従って左チャンネルおよび右チャンネルのエネルギーを維持するように適応させられることがある。

ＩＣＣ＝１である場合、ｗ１、ｗ２およびｗ３の定義は、重み付き係数ｃ_１およびｃ_２の場合と同じ結果を正確に取得することを可能にする。

別の代替的な適応方法が以下で説明される。

ＣＬＤ（チャンネル差レベル）に基づくステレオ符号器では、左チャンネルおよび右チャンネルのそれぞれに対する２つの利得が存在する。これらの利得は、再構成された左チャンネルおよび右チャンネルを生成するために復号化されたモノラル信号に乗じられることがある。

利得は、したがって、以下の式

ｃ_１＝２ｃ／（１＋ｃ）
ｃ_２＝２／（１＋ｃ）
に従って計算されることがある。これらの利得係数は、
Ｐ_１＝ｃ_１ ^２
Ｐ_２＝ｃ_２ ^２
Ｐ＝Ｐ_１＋Ｐ_２
を計算するために使用されることがある。

これらのＰ_１、Ｐ_２およびＰは、前述のとおりｗ１、ｗ２およびｗ３を計算するためにさらに使用されることがある。

係数ｗ１、ｗ２およびｗ３は、

によって拡大縮小され、その後、左信号、右信号および拡散信号にそれぞれ適用されることがある。

代替的に、電力Ｐ_１、Ｐ_２およびＰ_Ｄを有するように信号Ｙ_１、Ｙ_２およびＤをそれぞれ計算するのではなく、ウィーナーフィルタが最小２乗平均の意味で真の信号Ｙ_１、Ｙ_２およびＤを近似するために適用されることがある。この場合、ウィーナーフィルタ係数は、
ｗ１＝（Ｐ_１−Ｐ_Ｄ）／ｇ^２Ｐ
ｗ２＝（Ｐ_２−Ｐ_Ｄ）／ｇ^２Ｐ
ｗ３＝Ｐ_Ｄ／ｇ^２Ｐ
である。

逆相関器に関して、逆相関前の時間領域内の拡散信号ｄ（ｎ）は、スケール係数ｗ１、ｗ２およびｗ３が計算された方法に起因して、拡散音のため要求された短時間スペクトルを有する。したがって、目標は、必要以上に信号電力および短時間電力スペクトルを変更することなく、逆相関器を使用してｄ（ｎ）から２個の信号ｄ_１（ｎ）およびｄ_２（ｎ）を生成することである。

この目的のため、単位Ｌ_２ノルムをもつ２つの直交フィルタＤ_１およびＤ_２が使用されることがある。代替的に、一般に直交全域通過フィルタまたはリバーブレーターを使用することがある。たとえば、逆相関に適した２つの直交有限インパルス応答（ＦＩＲ）フィルタは、
Ｄ_１（ｎ）＝ｗ（ｎ）ｎ１（ｎ）
Ｄ_２（ｎ）＝ｗ（ｎ）ｎ２（ｎ）
であり、ここで、ｎ１（ｎ）は、インデックス０≦ｎ≦Ｍに対して、白色ガウス雑音のようなランダム変数であり、それ以外の場合、零である。ｎ２（ｎ）は、ｎ１（ｎ）と独立にランダム変数として同様に定義される。窓ｗ（ｎ）は、たとえば、フィルタＤ_１（ｎ）およびＤ_２（ｎ）のＬ_２ノルムが１であるような振幅をもつハン（Ｈａｈｎ）窓になるように選択され得る。

図３は、図２に示されたオーディオ信号合成器の構造に類似する構造を有するオーディオ信号合成器を示す。フィルタバンク１０１によって供給された第１の補助信号が、乗算器１１１に供給され、フィルタバンク１０１によって供給された第２の補助信号が、乗算器１１５に供給され、第３の補助信号の第１のコピーが、遅延要素Ｄ１およびＤ２の後の補助信号Ｄ（ｋ，ｉ）のエネルギーを決定するエネルギー決定器３０１に供給される。このエネルギー決定器３０１の出力が、エネルギー決定器３０１の出力に係数ｗ３を乗じる乗算器３０３に供給され、この乗算器は、乗算後の値を乗算器１２３に供給する。

第３の補助信号の第２のコピーが、第１の遅延要素Ｄ１に供給され、この第１の遅延要素の出力は、たとえば、第１の遅延要素Ｄ１のエネルギーＥ（Ｄ１）に関して第１の遅延要素Ｄ１の出力を正規化する第１のエネルギー正規化器３０５に供給される。第１のエネルギー正規化器３０５の出力が、乗算器３０７によって乗算器３０３の出力と乗算され、この乗算器３０７の出力が加算器１２３に供給される。

第３の補助信号の第３のコピーが、第２の遅延要素Ｄ２に供給され、この第２の遅延要素の出力は、たとえば、第２の遅延要素Ｄ２のエネルギーＥ（Ｄ２）に関して第２の遅延要素Ｄ２の出力を正規化する第２のエネルギー正規化器３０９に供給される。第２のエネルギー正規化器３０９の出力が、乗算器３１１によって乗算器３０３の出力と乗算され、この乗算器３１１の出力が加算器１２５に供給される。

図３には、重み付け関数ｗ１、ｗ２およびｗ３を適用するアルゴリズムの代替的な解決手法が表される。重み付け関数ｗ１、ｗ２およびｗ３は、元の左チャンネルおよび右チャンネルのエネルギーを維持するために定義されることがある。一実施形態によれば、ｗ３は、エネルギー正規化後の遅延された信号に適用される。図２に示された前の実施形態では、ｗ３は、ダウンミックス信号に直接適用されることがある。次いで、遅延形は、遅延Ｄ_１およびＤ_２を使用して、ステレオ信号の逆相関部分を作るために使用されることがある。遅延Ｄ_１およびＤ_２に起因して、Ｙ_１（ｋ，ｉ）およびＹ_２（ｋ，ｉ）に加算された逆相関部分は、前のフレームで計算された利得ｗ３が乗じられることがある。

さらに図３を参照すると、第１のステップでは、遅延Ｄ（ｋ，ｉ）後の信号のエネルギーＥ（Ｄ（ｋ，ｉ））が計算されることがある。第２のステップでは、遅延の出力は、計算されたエネルギーＥ（Ｄ_１）およびＥ（Ｄ_２）を使用して正規化されることがある。第３のステップでは、正規化されたＤ_１およびＤ_２は、ｗ３が乗じられる。第４のステップでは、Ｄ_１およびＤ_２のエネルギー調整形が加算器１２および１２５で信号Ｙ_１（ｋ，ｉ）およびＹ_２（ｋ，ｉ）に加算されることがある。

逆相関を行う複雑性の低い方法は、単純にＤ_１およびＤ_２に対して異なる遅延を使用することである。このアプローチは、逆相関音ｄ（ｎ）を表す信号がほとんど過渡状態を含んでいないということを利用することがある。一例として、Ｄ_１およびＤ_２に対し、１０ｍｓおよび２０ｍｓの遅延が使用されることがある。

Claims

ダウンミックスオーディオ信号からマルチチャンネルオーディオ信号を合成するオーディオ信号合成器であって、
前記ダウンミックスオーディオ信号のスペクトルを表す被変換オーディオ信号を取得するために前記ダウンミックスオーディオ信号を周波数領域に変換する変換器と、
前記被変換オーディオ信号に基づいて第１の補助信号を生成し、第２の補助信号を生成し、第３の補助信号を生成する信号生成器と、
前記第３の補助信号から少なくとも部分的に逆相関関係にある第１の逆相関信号と第２の逆相関信号とを生成する逆相関器と、
第１のオーディオ信号と第２のオーディオ信号とがマルチチャンネルオーディオ信号を形成する前記第１のオーディオ信号を取得するために前記第１の補助信号を前記第１の逆相関信号と結合し、前記第２のオーディオ信号を取得するために前記第２の補助信号を前記第２の逆相関信号と結合する結合器と
を備え、
前記逆相関器は、前記第１の逆相関信号を取得するために前記第３の補助信号の第１のコピーを遅延させる第１の遅延要素と、前記第２の逆相関信号を取得するために前記第３の補助信号の第２のコピーを遅延させる第２の遅延要素とを備え、
前記信号生成器は、前記被変換オーディオ信号の信号コピーを供給する信号コピー器と、第１の重み付き信号を取得するために第１の信号コピーに第１の重み係数を乗じる第１の乗算器と、第２の重み付き信号を取得するために第２の信号コピーに第２の重み係数を乗じる第２の乗算器と、第３の重み付き信号を取得するために第３の信号コピーに第３の重み係数を乗じる第３の乗算器とを備え、前記第１の補助信号は前記第１の重み付き信号に基づいて生成され、前記第２の補助信号は前記第２の重み付き信号に基づいて生成され、前記第３の補助信号は前記第３の重み付き信号に基づいて生成されることを特徴とするオーディオ信号合成器。
前記変換器は、前記ダウンミックスオーディオ信号を周波数領域に変換するためにフーリエ変換器またはフィルタを備えることを特徴とする請求項１に記載のオーディオ信号合成器。
前記被変換オーディオ信号は、周波数帯域を占有し、前記第１の補助信号、前記第２の補助信号、および前記第３の補助信号は、前記周波数帯域のうちの同じ周波数サブ帯域を共用することを特徴とする請求項１から２のいずれか一項に記載のオーディオ信号合成器。
前記オーディオ信号合成器は、前記第１の補助信号を取得するために前記第１の重み付き信号を時間領域に変換し、前記第２の補助信号を取得するために前記第２の重み付き信号を時間領域に変換し、前記第３の補助信号を取得するために前記第３の重み付き信号を時間領域に変換する変換器を備えることを特徴とする請求項１に記載のオーディオ信号合成器。
前記第１の重み付け係数は、前記マルチチャンネルオーディオ信号の第１のオーディオチャンネルの電力に依存し、前記第２の重み付き係数は、前記マルチチャンネルオーディオ信号の第２のオーディオチャンネルの電力に依存することを特徴とする請求項４に記載のオーディオ信号合成器。
前記逆相関器は、前記第１の逆相関信号を取得するために周波数領域において前記第３の補助信号の第１のコピーを記憶する第１のストレージと、前記第２の逆相関信号を取得するために周波数領域において前記第３の補助信号の第２のコピーを記憶する第２のストレージとを備えることを特徴とする請求項１から５のいずれか一項に記載のオーディオ信号合成器。
前記逆相関器は、前記第１の逆相関信号を取得するために前記第３の補助信号の第１のコピーを濾波する第１の全域通過フィルタと、前記第２の逆相関信号を取得するために前記第３の補助信号の第２のコピーを濾波する第２の全域通過フィルタとを備えることを特徴とする請求項１から６のいずれか一項に記載のオーディオ信号合成器。
前記逆相関器は、前記第１の逆相関信号を取得するために前記第３の補助信号の第１のコピーを残響させる第１のリバーブレーターと、前記第２の逆相関信号を取得するために前記第３の補助信号の第２のコピーを残響させる第２のリバーブレーターとを備えることを特徴とする請求項１から７のいずれか一項に記載のオーディオ信号合成器。
前記結合器は、前記第１のオーディオ信号を取得するために前記第１の補助信号と前記第１の逆相関信号とを合計し、前記第２のオーディオ信号を取得するために前記第２の補助信号と前記第２の逆相関信号とを合計するように構成されていることを特徴とする請求項１から８のいずれか一項に記載のオーディオ信号合成器。
前記信号生成器は、前記第１のオーディオ信号および前記第２のオーディオ信号を時間領域に変換する変換器を備えることを特徴とする請求項１から９のいずれか一項に記載のオーディオ信号合成器。
前記第１のオーディオ信号は、前記マルチチャンネルオーディオ信号の左チャンネルを表し、前記第２のオーディオ信号は、前記マルチチャンネルオーディオ信号の右チャンネルを表し、前記第１の逆相関信号および前記第２の逆相関信号は、拡散オーディオ信号を表すことを特徴とする請求項１から１０のいずれか一項に記載のオーディオ信号合成器。
前記第１の逆相関信号のエネルギーおよび前記第２の逆相関信号のエネルギーを決定するエネルギー決定器と、前記第１の逆相関信号の前記エネルギーを正規化する第１のエネルギー正規化器と、前記第２の逆相関信号の前記エネルギーを正規化する第２のエネルギー正規化器とをさらに備えることを特徴とする請求項１から１１のいずれか一項に記載のオーディオ信号合成器。
ダウンミックスオーディオ信号からマルチチャンネルオーディオ信号を合成する方法であって、
前記ダウンミックスオーディオ信号のスペクトルを表す被変換オーディオ信号を取得するために前記ダウンミックスオーディオ信号を周波数領域に変換することと、
前記被変換オーディオ信号に基づいて第１の補助信号と、第２の補助信号と、第３の補助信号とを生成することであって、前記被変換オーディオ信号の信号コピーを供給し、第１の重み付き信号を取得するために第１の信号コピーに第１の重み係数を乗じ、第２の重み付き信号を取得するために第２の信号コピーに第２の重み係数を乗じ、第３の重み付き信号を取得するために第３の信号コピーに第３の重み係数を乗じ、前記第１の重み付き信号に基づいて前記第１の補助信号を生成し、前記第２の重み付き信号に基づいて前記第２の補助信号を生成し、前記第３の重み付き信号に基づいて前記第３の補助信号を生成することと、
前記第３の補助信号から少なくとも部分的に逆相関にある第１の逆相関信号と第２の逆相関信号とを生成することと、
第１のオーディオ信号および第２のオーディオ信号が前記マルチチャンネルオーディオ信号を形成する前記第１のオーディオ信号を取得するために前記第１の補助信号を前記第１の逆相関信号と結合し、前記第２のオーディオ信号を取得するために前記第２の補助信号を前記第２の逆相関信号と結合することと
を備え、
前記第３の補助信号から少なくとも部分的に逆相関にある前記第１の逆相関信号と前記第２の逆相関信号とを生成することは、
前記第１の逆相関信号を取得するために前記第３の補助信号の第１のコピーを遅延させ、
前記第２の逆相関信号を取得するために前記第３の補助信号の第２のコピーを遅延させること
を備えることを特徴とする方法。
前記被変換オーディオ信号は、周波数帯域を占有し、前記第１の補助信号、前記第２の補助信号、および前記第３の補助信号は、前記周波数帯域のうちの同じ周波数サブ帯域を共用することを特徴とする請求項１３に記載の方法。
前記第１の重み付き信号に基づいて前記第１の補助信号を生成することは、前記第１の補助信号を取得するために前記第１の重み付き信号を時間領域に変換することを備え、
前記第２の重み付き信号に基づいて前記第２の補助信号を生成することは、前記第２の補助信号を取得するために前記第２の重み付き信号を時間領域に変換することを備え、
前記第３の重み付き信号に基づいて前記第３の補助信号を生成することは、前記第３の補助信号を取得するために前記第３の重み付き信号を時間領域に変換することを備えることを特徴とする請求項１３又は１４に記載の方法。
前記第１の重み付け係数は、前記マルチチャンネルオーディオ信号の第１のオーディオチャンネルの電力に依存し、前記第２の重み付き係数は、前記マルチチャンネルオーディオ信号の第２のオーディオチャンネルの電力に依存することを特徴とする請求項１３から１５のいずれか一項に記載の方法。
前記第３の補助信号から少なくとも部分的に逆相関にある前記第１の逆相関信号と前記第２の逆相関信号とを生成することは、
前記第１の逆相関信号を取得するために周波数領域において前記第３の補助信号の第１のコピーを記憶し、
前記第２の逆相関信号を取得するために周波数領域において前記第３の補助信号の第２のコピーを記憶すること
を備えることを特徴とする請求項１３から１６のいずれか一項に記載の方法。
前記第３の補助信号から少なくとも部分的に逆相関にある前記第１の逆相関信号と前記第２の逆相関信号とを生成することは、
前記第１の逆相関信号を取得するために前記第３の補助信号の第１のコピーを濾波し、
前記第２の逆相関信号を取得するために前記第３の補助信号の第２のコピーを濾波すること
を備えることを特徴とする請求項１３から１６のいずれか一項に記載の方法。
前記第３の補助信号から少なくとも部分的に逆相関にある前記第１の逆相関信号と前記第２の逆相関信号とを生成することは、
前記第１の逆相関信号を取得するために前記第３の補助信号の第１のコピーを残響させ、
前記第２の逆相関信号を取得するために前記第３の補助信号の第２のコピーを残響させること
を備えることを特徴とする請求項１３から１６のいずれか一項に記載の方法。
前記第１のオーディオ信号を取得するために前記第１の補助信号を前記第１の逆相関信号と結合し、前記第２のオーディオ信号を取得するために前記第２の補助信号を前記第２の逆相関信号と結合することは、
前記第１のオーディオ信号を取得するために前記第１の補助信号と前記第１の逆相関信号とを合計し、
前記第２のオーディオ信号を取得するために前記第２の補助信号と前記第２の逆相関信号とを合計すること
を備えることを特徴とする請求項１３から１９のいずれか一項に記載の方法。
前記第１のオーディオ信号は、前記マルチチャンネルオーディオ信号の左チャンネルを表し、前記第２のオーディオ信号は、前記マルチチャンネルオーディオ信号の右チャンネルを表し、前記第１の逆相関信号および前記第２の逆相関信号は、拡散オーディオ信号を表すことを特徴とする請求項１３から２０のいずれか一項に記載の方法。
前記第１の逆相関信号のエネルギーおよび前記第２の逆相関信号のエネルギーを決定し、
前記第１の逆相関信号の前記エネルギーを正規化し、前記第２の逆相関信号の前記エネルギーを正規化すること
をさらに備えることを特徴とする請求項１３から２０のいずれか一項に記載の方法。
コンピュータ上で実行されるときに請求項１３〜２２のいずれか一項に記載の方法を実行することを特徴とするコンピュータプログラム。