JP2006323314A - マルチチャネル音声信号をバイノーラルキュー符号化する装置 - Google Patents

Abstract

【課題】 従来のマルチチャネル音声信号符号化では、ダウンミックス信号と“残響信号”とをミキシングすることで音の拡がりを実現していた。しかしながら、このミキシング方法は、ダウンミックス信号とオリジナル信号との間のベクトル関係を完全に活用しているとはいえない。
【解決手段】本発明は、最初にダウンミックスチャネルとオリジナルチャネルとの間の所望のベクトル関係をバイノーラルキューから導出した後、ダウンミックス信号と、その直交的であり無相関的である信号との間の正確なベクトル関係をシミュレーションするという新しいミキシング方法を提案する。さらに本発明は、上記ミキシング方法をマルチチャネルに応用する方法を提案する。
【選択図】 図２

Description

本発明は、符号化処理においてバイノーラルキューを抽出して、ダウンミックス信号を生成し、復号化処理において前記バイノーラルキューを前記ダウンミックス信号に付加することでマルチチャネル音声信号を圧縮する装置に関する。本発明は、ホームシアターシステム、カーオーディオシステム、電子ゲームシステム等に適用可能である。

本発明は、マルチチャネル音声信号の符号化に関する。主たる目的は、ビットレートに制約がある場合でも、デジタル音声信号の聴覚上のクオリティーを最大限に保ちつつ当該デジタル音声信号の符号化を行うことである。ビットレートが低くなると、伝送帯域幅および記憶容量を小さくするという点で有利である。

従来より、上記のようにビットレート低減を実現するための方法が多く存在する。
”ＭＳステレオ”による方法では、ステレオチャネルＬおよびＲが、それらの”和”（Ｌ＋Ｒ）および”差分”（Ｌ−Ｒ）という形で表現される。これらのステレオチャネルの相関性が高い場合、”差分”信号に含まれるのは、”和”信号よりも少ないビットで粗い量子化を施せる重要度の低い情報である。Ｌ＝Ｒとなるような極端な例では、差分信号に関する情報を送信する必要はない。

”インテンシティステレオ”による方法では、耳が持つ音響心理学的特性を利用し、高周波数領域に対しては、周波数に対応するスケールファクタと共に”和”信号のみを送信し、デコーダ側でそのスケールファクタを”和”信号に適用して、ＬチャネルおよびＲチャネルを合成する。

”バイノーラルキュー符号化”による方法では、復号化処理においてダウンミックス信号の形成を行うために、バイノーラルキューが生成される。バイノーラルキューは、例えば、チャネル間レベル／強度差（ＩＬＤ）、チャネル間位相／遅延差（ＩＰＤ）、チャネル間干渉性／相関性（ＩＣＣ）等である。ＩＬＤキューからは相対的な信号のパワーを測定でき、ＩＰＤキューからは音が両耳に届くまでの時間差を測定でき、ＩＣＣキューからは類似性を測定できる。一般に、レベル／強度キューおよび位相／遅延キューにより音声のバランスや方向性を制御でき、干渉性／相関性キューにより音声の幅や拡がりを制御できる。これらのキューは一体となって、聴き手が聴覚的情景を頭の中で構成するのを助ける空間的パラメータとなる。

図１は、バイノーラルキュー符号化による方法を用いた典型的なコーデックを示す図である。符号化処理において、音声信号はフレームごとに処理される。モジュール（１００）は、左チャネルＬおよび右チャネルＲをダウンミックスし、Ｍ＝（Ｌ＋Ｒ）／２を生成する。バイノーラルキュー抽出モジュール（１０２）は、Ｌ、ＲおよびＭを処理し、バイノーラルキューを生成する。バイノーラル抽出モジュール（１０２）は、通常、時間−周波数変換モジュールを備え、当該モジュールにおいてＬ、ＲおよびＭを例えば、ＦＦＴ、ＭＤＣＴ等の完全なスペクトル表現に変換するか、またはＱＭＦ等のような時間と周波数とのハイブリッド表現に変換する。あるいは、スペクトル表現されたＬおよびＲの平均値をとることにより、スペクトル変換後にＬおよびＲからＭを生成することもできる。バイノーラルキューは、上記のように表現されたＬ、ＲおよびＭを、スペクトル帯域ごとに比較することで求めることができる。

オーディオエンコーダ（１０４）は、Ｍ信号を符号化し、圧縮ビットストリームを生成する。オーディオエンコーダの例として、ＭＰ３、ＡＡＣなどがある。バイノーラルキューは、モジュール（１０６）において量子化されてから、圧縮されたＭに多重化され、完全なビットストリームが形成される。復号化処理において、デマルチプレクサ（１０８）はＭのビットストリームをバイノーラルキュー情報から分離する。オーディオデコーダ（１１０）はＭのビットストリームを復号し、ダウンミックス信号Ｍを復元する。マルチチャネル合成モジュール（１１２）は、当該ダウンミックス信号および逆量子化されたバイノーラルキューを処理し、マルチチャネル信号を復元する。
ISO/IEC 14496-3:2001/AMD2, "Parametric Coding for high Quality Audio" US2003/0219130A1, "Coherence-based Audio Coding and Synthesis" Karls, M., Brandenburg, K., et al, "Applications of Digital Signal Processing to Audio and Acoustics", Kluwear Academic Press. JP2004/248989, "Encoding and Decoding Devices for Audio Signals"

本発明は、従来技術におけるバイノーラルキュー符号化に基づく方法を改良することを目的とする。

本発明は、符号化処理においてＱＭＦフィルタバンクを用いてＬチャネルおよびＲチャネルを時間−周波数（Ｔ／Ｆ）表現に変換するバイノーラルキュー符号化方法に関する。

非特許文献１では、ダウンミックス信号と”残響信号”とをミキシングすることで音の拡がりを実現している。残響信号は、ダウンミックス信号をShroederのオールパスリンクを用いて処理することで得ることができる。しかしながら、このミキシング方法は、ダウンミックス信号とオリジナル信号との間のベクトル関係を完全に活用しているとはいえない。

特許文献１では、ＩＬＤキューおよびＩＰＤキューに対して”ランダムシーケンス”を挿入することで、音の拡がり（すなわち、サラウンド効果）を実現している。ランダムシーケンスは、ＩＣＣキューによって制御される。

本発明の実施の形態１では、最初にダウンミックスチャネルとオリジナルチャネルとの間の所望のベクトル関係をバイノーラルキューから導出した後、ダウンミックス信号とその直交信号との間の正確なベクトル関係をシミュレーションするという新しいミキシング方法を提案する。

実施の形態２では、チャネル分離方法をマルチチャネルに応用する方法を提案する。

本発明では、バイノーラルキューを抽出し、オリジナル信号をダウンミキシングする符号化処理において、オリジナル信号が持つ、マルチチャネルならではの効果を高品位に再現することができる。これは、復号化処理において前記バイノーラルキューをダウンミックス信号に適用することで可能となる。

以下に示す実施の形態は、本発明の様々な進歩性の原理を例示しているにすぎず、以下に示す詳細な説明に対して種々変形を加えることが可能であることは、当業者であれば容易に理解するところである。従って、本発明は特許請求の範囲によってのみ制限されるものであって、以下に示す詳細な具体例よって限定されるものではない。

さらに、ここではステレオ−モノラル−ステレオ（以降、“２-１-２ケース”と記す）および５チャネル−モノラル−５チャネル（以降、“５-１-５ケース”と記す）の２つのケースのみを示しているが、本発明はこれに限定されるものではない。これを、ＭオリジナルチャネルおよびＮダウンミックスチャネルとして一般化することができる。

図２は２-１-２ケースにおける符号化処理を示す図である。変換モジュール（２００）は、オリジナルチャネルＬ（ｔ）およびＲ（ｔ）を処理し、それぞれの時間−周波数表現Ｌ（ｔ，f） およびＲ（ｔ，f）を得る。ここで、ｔは時間指標を示し、fは周波数指標を示す。変換モジュール（２００）は、例えば、ＭＰＥＧ Audio Extension １，２で用いられるような複素ＱＭＦフィルタバンク等である。Ｌ（ｔ，f）およびＲ（ｔ，f）は連続する複数のサブバンドを含んでおり、それぞれのサブバンドはオリジナル信号の狭い周波数帯域を表している。ＱＭＦフィルタバンクは、低周波数サブバンドでは狭い周波数帯域とし、高周波数サブバンドでは広い帯域に対応するため、複数のステージで構成することができる。

ダウンミックスモジュール（２０２）は、Ｌ（ｔ，f） およびＲ（ｔ，f）を処理し、ダウンミックス信号Ｍ（ｔ，f）を生成する。本実施の形態では、”重み付け”を用いた単純な方法を示す。

本発明では、ＩＬＤキューを用いてレベル調整を行う。ＩＬＤキューを計算するために、モジュール（２０４）は、Ｌ（ｔ，f）およびＲ（ｔ，f）をさらに処理し、ＩＬＤ（ｌ，ｂ）およびＢｏｒｄｅｒを生成する。図３に示されるように、まず、時間―周波数表現Ｌ（ｔ，f）を周波数方向に複数の帯域（３００）に分割する。それぞれの帯域は複数のサブバンドを含む。耳が持つ音響心理学的特性を利用して、低周波数帯域は、高周波数帯域よりもサブバンドの数が少なくなっている。例えば、サブバンドを帯域にグループ分けする際に、音響心理学の分野でよく知られている”バーク尺度”または”臨界帯域”を用いることができる。

Ｌ（ｔ，f）およびＲ（ｔ，f）はさらに時間方向に境界Ｂｏｒｄｅｒ（３０２）で周波数帯域（ｌ，ｂ）に分割され、これに対してＥ_L（ｌ，ｂ）およびＥ_R（ｌ，ｂ）を計算する。ここで、ｌは時間的区分の指標であり、ｂは帯域の指標を示す。Ｂｏｒｄｅｒの最適な配置場所は、Ｅ_L（ｌ，ｂ）およびＥ_R（ｌ，ｂ）の比率が急激に変化する時間的位置である。ＩＬＤ（ｌ,ｂ）は次のように算出される。

符号化処理においてチャネル間干渉性キューを求めるため、モジュール（２０６）はＬ（ｔ，f）およびＲ（ｔ，f）を処理し、以下の数式を用いてＩＣＣ（ｂ）を求める。

さらに、符号化処理において高周波数サブバンド（＞１．５ｋＨｚのみ）に対する高周波数チャネル間相関性キューを求めるため、（２０８）はＬ（ｔ，f）およびＲ（ｔ，f）を処理し、以下の数式を用いてＩＣＣＨ（ｂ）を求める。

後述するが、ＩＣＣ（ｌ，ｂ）をＩＬＤ（ｌ，ｂ）と組み合わせて用いることでゲインファクターを導出し、Ｍに対するＬおよびＲの実際の信号強度を復元する。さらに、ＩＣＣ（ｌ，ｂ）を用いて低周波数におけるＬとＲとの間の位相関係を計測するが、これはＬとＲと分離の度合いを計測するのにも役立つ。しかしながら高周波数においては、音が分離していることによってもたらされる効果は、位相差ではなく、ＬおよびＲの波形の類似度に影響される。例えば、Ｌ＝ｃｏｓ（ωｔ＋θ）、Ｒ＝ｃｏｓ（ωｔ）である場合、ωの値が大きければ、θの値に関わらず同じ立体音響的効果がもたらされる。このような波形相関性の計測にはＩＣＣＨ（ｌ，ｂ）の利用がより適している。

上記バイノーラルキューは全て、符号化処理における副情報の一部となる。図４に示すように、バイノーラルキュー生成のための全処理は、上述の入力・出力を用いてモジュール（４００）に含めることができる。

図５は、上記のように生成されたバイノーラルキューを用いた復号化処理を示す図である。変換モジュール（５００）はダウンミックス信号Ｍ（ｔ）を処理し、時間−周波数表現Ｍ（ｔ，f）に変換する。本実施の形態で示す変換モジュールは、複素ＱＭＦフィルタバンクである。

無相関器（５０２）はＭ（ｔ，f）を処理し、直交信号を二つ生成する。図６において、従来技術における直交信号生成方法の例を二つ示す。非特許文献１ではＢｌｏｃｋ（６００）を用い、分数遅延オールパスフィルタを用いて、ダウンミックス信号Ｍ（ｔ，f）に対して直交である残響信号を導出している。Ｂｌｏｃｋ（６０４）は直列接続されたオールパスフィルタを示している。なお、上記以外の無相関器を用いることも可能である。例えば、非特許文献２ではＢｌｏｃｋ（６０２）を用い、共通オールパスフィルタ（６０６）においてＭ（ｔ，f）を処理した後、処理されたＭ（ｔ，f）を、互いに素の関係となる遅延特性を持つ二つの櫛形フィルタ（６０８）、（６１０）において無相関する（mutually-prime orders）。以下では無相関器（６００）を想定して説明を行う。

本発明の実施の形態１において、モジュール（５０４）は（ｌ，ｂ）として示される帯域それぞれについて、バイノーラルキューＢｏｒｄｅｒ、ＩＬＤ（ｌ，ｂ）、ＩＣＣ（ｌ，ｂ）、およびＩＣＣＨ（ｌ，ｂ）からミキシング係数ｇ_L（ｌ，ｂ）、ｇ_R（ｌ，ｂ）、θ_L（ｌ，ｂ）、およびθ_R（ｌ，ｂ）を求める。次にモジュール（５０６）は、求められたミキシング係数に基づいてミキシングファクターｇ_L1（ｌ，ｂ）、ｇ_L2（ｌ，ｂ）、ｇ_R１（ｌ，ｂ）、およびｇ_R2（ｌ，ｂ）を算出する。

記載の簡略化を図るため、以下では数式において（ｌ，ｂ）の表記を省略する。
符号化器でのダウンミックス処理に基づき、Ｌ、Ｒ、およびＭのエネルギー間の関係を以下のように導出する。

従来、ＩＬＤおよびＩＣＣは以下のように定義されている。

このため、上記ＩＬＤおよびＩＣＣの定義を数式Ｅ_Mに代入すると、分離されたチャネルＬ’およびＲ’のレベルにまでＭを増幅するのに必要なゲイン係数は以下のようになる。

図７は、ベクトル関係において、ＭからＬおよびＲを“分離”する様子を幾何学的に示した図である（特許文献２）。同図において、θ_Lおよびθ_Rは分離の度合いを示す。低周波数に対しては（θ_L＋θ_R）をθ＝ｃｏｓ^-1（ＩＣＣ）に設定し、高周波数（＞１．５ｋＨｚ）に対しては（θ_L＋θ_R）をθ＝ｃｏｓ^-1（ＩＣＣＨ）に設定するが、その理由は上に述べたとおりである。図７に示す垂直三角形に対して三角関数を適用すると、

同様に、

復号化器ではオリジナルのＬおよびＲを利用できないため、相関性のない二つの信号 をモジュール（５０６）においてミックスして、上記分離をシミュレーションする。図 ８に示すように、前記相関性のない二つの信号は直交的なベクトル関係を有している。

非特許文献１においては、相関のない二つの信号は、ダウンミックス信号Ｓ１＝Ｍ と、Ｍから導出される無相関信号Ｓ２＝Ｍ_revとである。本発明 においては、ミキシングファクターｇ_L1、ｇ_L2、ｇ_R1、およ びｇ_R2を用いてＭおよびＭ_revをスケーリングすることでミ キシングを行い、続いてベクトル加算を行う。ｇ_L1、ｇ_L2、ｇ_R1 、およびｇ_R2は、ｇ_L、ｇ_R、θ_L、およびθ_Rから導出される 。これは、Ｍ_revはＭのオールパスバージョンであるため、｜Ｍ ｜＝｜Ｍ_rev｜となるためである。

左チャネルＬ’を合成する前提として、次の２つの要件が満たされている必要がある。

上記二つの連立方程式を解くことで、左チャネルを導出するためのミキシングファクターを求めることができる。

同様にして、右チャネルを導出するためのミキシングファクターを求めることができる。

最後に、二つのチャネルＬ’およびＲ’を合成するために、次のようにミキシングファクターを用いる。

モジュール（５０８）において、分離されたチャネルＬ’（l，ｂ）およびＲ’（l，ｂ）を逆変換し、時間領域信号Ｌ’（ｔ）およびＲ’（ｔ）を形成する。

本発明の実施の形態２では、上記チャネル分離方法をマルチチャネルにも応用する方法を示す。本実施の形態では、５-１-５ケースを用いて説明を行う。また、以下の数式をダウンミックス用の数式として想定する。

上記数式において、ＬおよびＲは二つのフロント（前方）チャネルを示し、Ｌ_SおよびＲ_Sは二つのリア（後方）チャネルを示し、Ｃはセントラル（中央）チャネルを示す。

図９に示す５-１-５ケースにおける符号化処理では、図４に示すモジュール（４００）において、４通りのチャネルの組合せに対して４回処理を行うことで４つのバイノーラルキューセットを生成する。例えば、一つ目のバイノーラルキューセットを生成するために、ブロック（９００）（図４におけるモジュール（４００）と同じ）に対してＣチャネルと中間ダウンミックスチャネル（Ｌ＋０．７０７ＳＬ_S＋Ｒ＋０．７０７Ｒ_S）を入力する。モジュール（９０２）〜（９０６）においても同様の処理が行われる。生成された４つのバイノーラルキューセットは、マルチステージ復号化処理においてダウンミックスチャネルＭを、Ｌ、Ｒ、Ｌ_S、Ｒ_SおよびＣに分離するために用いられる。

図１０はそのマルチステージ復号化処理を示す図である。図５に示す２-１-２ケースと同様に、ダウンミックスチャネルＭに対してＱＭＦ変換（１０００）および無相関処理（１００２）を行ってＭ_revを生成する。

バイノーラルキューセット１をミキシング係数算出モジュール（１００４）において処理し、二つのミキシングファクターセット（ｇ_L1、ｇ_L2）および（ｇ_R1、ｇ_R2）を生成する。この処理は、ＭをＣとＭ₁＝（Ｌ＋０．７０７Ｌ_s＋Ｒ＋０．７０７Ｒ_s）とに分離するために行われる。[数１５]より、Ｍ＝０．２９３Ｃ＋０．７０７Ｍ₁を求めることは容易であり、重み付けの値として０．２９３および０．７０７を用いる。

バイノーラルキューセット２をミキシング係数算出モジュール（１００６）において処理し、二つのミキシングファクターセット（ｇ_L3、ｇ_L4）および（ｇ_R3、ｇ_R4）を生成する。この処理はＭ₁をＭ₂＝（Ｌ＋Ｒ）／２とＭ₃＝（Ｌ_s＋Ｒ_s）／２とに分離するために行われる。[数１５]より、Ｍ₁＝０．５８６Ｍ₂＋０．４１４Ｍ₃を求めることは容易であり、重み付けの値として０．５８６および０．４１４を用いる。

バイノーラルキューセット３をミキシング係数算出モジュール（１００８）において処理し、二つのミキシングファクターセット（ｇ_L5、ｇ_L6）および（ｇ_R5、ｇ_R6）を生成する。この処理はＭ₂をＬとＲとに分離するために行われる。Ｍ₂＝０．５Ｌ＋０．５Ｒであるため、重み付けの値として０．５を用いる。

バイノーラルキューセット４をミキシング係数算出モジュール（１０１０）において処理し、二つのミキシングファクターセット（ｇ_L7、ｇ_L8）および（ｇ_R7、ｇ_R8）を生成する。この処理はＭ₃をＬｓとＲｓとに分離するために行われる。Ｍ₃＝０．５Ｌ_s＋０．５Ｒ_sであるため、重み付けの値として０．５を用いる。

チャネルミキシングモジュール（１０１２）〜（１０２０）は、一連の行列演算においてミキシングファクターを組み合わせ、全体のミキシングファクターを求める。ここで、まず次の点に留意されたい。

である場合、その直交信号（＋π／２で回転）は以下のようになる。

よって、行列形式で表わすと、

Ｌ’を求めるため、一連のチャネル分離処理に用いられるミキシングファクターＭ‐＞Ｍ₁‐＞Ｍ₂を組み合わせる。Ｌ’に対するミキシング用の数式は、

同様にして、モジュール（１０１４）〜（１０２０）において他のミキシング用の数式を求めることができる。
Ｍ‐＞Ｍ₁‐＞Ｍ₂から

Ｍ‐＞Ｍ₁‐＞Ｍ₃から

Ｍ‐＞Ｍ₁‐＞Ｍ₃から

Ｍから

逆ＱＭＦモジュール（１０２２）〜（１０３０）は、全ての合成チャネルを時間領域信号に変換する。

（その他変形例）
なお、本発明を上記実施の形態に基づいて説明してきたが、本発明は、上記の実施の形態に限定されないのはもちろんである。以下のような場合も本発明に含まれる。

（１）上記の各装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。前記ＲＡＭまたはハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

（２）上記の各装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。

（３）上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしてもよい。前記ＩＣカードまたは前記モジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。前記ＩＣカードまたは前記モジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ＩＣカードまたは前記モジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。

（４）本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。

また、本発明は、前記コンピュータプログラムまたは前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。

また、本発明は、前記コンピュータプログラムまたは前記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。

また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。

また、前記プログラムまたは前記デジタル信号を前記記録媒体に記録して移送することにより、または前記プログラムまたは前記デジタル信号を前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。

（５）上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。

本発明は、ホームシアターシステム、カーオーディオシステム、電子ゲームシステム等に適用可能である。

典型的なバイノーラルキュー符号化システム。 ２-１-２ケースにおける空間音声符号化処理。 周波数帯域を形成するための時間・周波数の分割。 バイノーラルキュー抽出ブロック。 ２-１-２ケースにおける空間音声復号化処理。 二つの無相関器。 音声信号のペアとそれらのダウンミックス信号と間のベクトル関係。 二つの直交信号ベクトルの和による信号合成。 ５-１-５ケースにおける空間音声符号化処理の一部。 ５-１-５ケースにおける空間音声復号化処理。

符号の説明

２００ 変換モジュール
２０２ ダウンミックスモジュール
２０４ ＩＬＤモジュール
２０６ ＩＣＣモジュール
２０８ ＩＣＣＨモジュール
４００ ２−１ＢＣＣ符号化モジュール
５００ ＱＭＦフィルタバンク
５０２ 無相関器
５０４ ミキシング係数算出モジュール
５０６ チャネルミキシングモジュール
５０８ ＱＭＦ^-1フィルタバンク

Claims (15)

1. 複数の音声チャネルを空間的音声情報として符号化する装置であって、
   （ａ） ダウンミックスチャネルを算出し、
   （ｂ） 前記複数の音声チャネルとダウンミックスチャネルとを時間−周波数表現に変換し、それらを周波数軸に沿って中間周波数帯域に分割し、
   （ｃ）前記ダウンミックスチャネルをマルチステージ復号化処理において個々の音声チャネルに分離するためのチャネル分離ステップを導出し、
   （ｄ） 各チャネル分離ステップについて、前記中間周波数帯域をさらに周波数帯域に分割するための、時間方向における境界を決定し、
   （ｅ） 各チャネル分離ステップおよび各周波数帯域について、チャネル間レベル差キュー（ＩＬＤ）を算出し、
   （ｆ） 各チャネル分離ステップおよび各周波数帯域について、チャネル間干渉性キュー（ＩＣＣ）を算出し、
   （ｇ） 各チャネル分離ステップおよび各高周波数の周波数帯域について、高周波数チャネル間相関性キュー（ＩＣＣＨ）を算出する
   ことを特徴とする装置。
2. 請求項１に記載の装置であって、各チャネル分離ステップについて、複数の信号からなる一つの複合ダウンミックス信号を入力とし、前記一つの複合ダウンミックス信号を、それぞれが一または複数の信号からなる二つの複合ダウンミックス信号に分割する
   ことを特徴とする装置。
3. 請求項１に記載の装置であって、前記境界は、時間方向においてＩＬＤに大きな変化が現れる時間的位置に配置される
   ことを特徴とする装置。
4. 請求項１に記載の装置であって、前記ＩＬＤキューは、周波数帯域における二つの複合信号のエネルギーの比率である
   ことを特徴とする装置。
5. 請求項１に記載の装置であって、前記ＩＣＣキューは、周波数帯域における二つの複合信号間の、位相の相関性を計測するために用いられる
   ことを特徴とする装置。
6. 請求項１に記載の装置であって、前記ＩＣＣＨキューは、周波数帯域における二つの複合信号間の、位相ではなく波形の相関性を計測するために用いられる
   ことを特徴とする装置。
7. 空間的音声情報を複数の音声チャネルに復号する装置であって、
   （ａ） ダウンミックスチャネルを時間−周波数表現に変換し、それらを周波数軸に沿って中間周波数帯域に分割し、
   （ｂ） 前記ダウンミックスチャネルに対して相関器による処理を施し、前記ダウンミックス信号の逆相関チャネルを形成し、
   （ｃ） 各チャネル分離ステップについて、Ｂｏｒｄｅｒ、ＩＬＤ，ＩＣＣ、およびＩＣＣＨをそれぞれが含む全てのバイノーラルキューセットをミキシング係数算出（ＭＣＣ）モジュールに入力して、ミキシングファクターを導出し、
   （ｄ） チャネルミキシング（ＣＭ）モジュールにおいて、前記ミキシングファクターを組み合わせることで、個々のチャネルに対する全体のミキシングファクターを算出し、
   （ｅ） 前記ＣＭモジュールにおいて、無相関信号と前記全体のミキシングファクターとをミキシングして、前記個々の信号を生成し、
   （ｆ） 全ての個々の信号を時間−周波数表現から時間領域に逆変換してマルチチャネル音声を復元する
   ことを特徴とする装置。
8. 請求項７に記載の装置であって、前記無相関信号は互いに直交である
   ことを特徴とする装置。
9. 請求項７に記載の装置であって、前記ＭＣＣは、対応するチャネル分離ステップについて出力された二つの複合信号にそれぞれに付加される２つのミキシングファクターセット生成する
   ことを特徴とする装置。
10. 請求項７および９に記載の装置であって、前記ミキシングファクターは、ゲインファクターおよび分離の度合いの関数である
    ことを特徴とする装置。
11. 請求項７、９および１０に記載の装置であって、前記ゲインファクターおよび分離の度合は、ＩＬＤ、ＩＣＣ、およびＩＣＣＨから予測される、二つの複合信号間のベクトル関係を考慮して算出される
    ことを特徴とする装置。
12. 請求項７に記載の装置であって、前記全体のミキシングファクターは、対応するチャネル分離ステージでそれぞれ導出されるミキシングファクターを、一連の行列演算によって合算することで算出する
    ことを特徴とする装置。
13. 請求項７に記載の装置であって、前記ミキシング処理において、前記ダウンミックス信号と、ベクトル的な関係において、直交かつ無相関な信号とを用いることによって、ダウンミックス信号と分離された信号との間の、所望の分離度合いを実現する
    ことを特徴とする装置。
14. 請求項７および１３に記載の装置であって、前記ミキシング処理において、前記ミキシングファクターを用いてダウンミックス信号と無相関信号とをスケーリングし、それらの信号がベクトル空間に追加された場合であっても、ダウンミックス信号からの分離の度合いが所望の度合いであり、信号強度が所望の強度である分離信号を生成できるようにする、
    ことを特徴とする装置。
15. 請求項１２、１３および１４に記載の装置であって、前記行列演算において、入力ダウンミックス信号とその無相関信号とに到達するまで、現在のチャネル分離ステージのダウンミックス信号と無相関信号とを、前回のチャネル分離ステージのダウミックス信号と無相関信号との関数として繰り返し導出する。
    ことを特徴とする装置。

Images