JP2011018060A - マルチチャネルオーディオ信号を表示するための装置と方法 - Google Patents

Abstract

【課題】マルチチャネル再生を目的として、選択的な数の出力チャネルをスケーラブルな状態で生成する。
【解決手段】少なくとも３つのオリジナルチャネルを有するマルチチャネル入力信号は、そのマルチチャネル信号のパラメータ表示によって示される。第１チャネル・ペア間の第１バランス・パラメータ（ｒ₁）、第１コヒーレンス・パラメータ又は第１チャネル間時間差と、第２チャネル・ペア間の第２バランス・パラメータ（ｒ₂）、第２コヒーレンス・パラメータ又は第２チャネル間時間差パラメータとが計算される。第１チャネル・ペア(102,104)は第２チャネル・ペア(102,104,103)が有する２つのチャネルとは異なる２つのチャネルを有し、２つのチャネル・ペアの各チャネルは、オリジナルチャネルのうちの１つか、重み付けされた組合せであり、第１チャネル・ペアと第２チャネル・ペアとは３つのオリジナルチャネルに関する情報を含む。
【選択図】図６

Description

本発明は、空間パラメータを使用した、オーディオ信号のマルチチャネル表示の符号化に関する。本発明は、出力チャネルの個数よりも少ない個数のチャネルから、１つのマルチチャネル信号を再生するための適切なパラメータを計算し、かつ定義するための新たな方法を提供する。特に本発明は、マルチチャネル表示のためのビットレートを最小化することを目的とし、かつ全てのチャネル構成のためのデータを容易に符号化及び復号化することを可能にする、マルチチャネル信号の符号化された表示を提供することを目的とする。

「低ビットレートディオ符号化のための効率的かつスケーラブルなパラメトリックステレオ符号化」と題する特許文献１には、ステレオ画像の非常に凝縮された表現を与えられたモノラル信号から、オリジナルステレオ画像に酷似するステレオ画像を再現することが可能であることが示されている。その基本原理は、入力信号を周波数帯と時間セグメントとに分割し、これらの周波数帯及び時間セグメントについて、チャネル間強度差（ＩＩＤ）及びチャネル間コヒーレンス（ＩＣＣ）を推定することにある。第１のパラメータは、特定の周波数帯における２チャネル間のパワー配分の測定値であり、第２のパラメータは、特定の周波数帯における２チャネル間の相関関係の推定値である。デコーダ側では、ＩＩＤデータに従って２つの出力チャネル間でモノラル信号を配分し、かつオリジナルステレオ・チャネルのチャネル相関関係を保持するために非相関化された信号を加算することにより、モノラル信号からステレオ画像が再現される。

マルチチャネルの場合（ここで言うマルチチャネルは、２つ以上の出力チャネルを意味する）では、幾つかの追加事項を考慮しなければならない。マルチチャネル構成は幾つか存在する。最もよく知られているものは、５．１構成（中央チャネル、前左／右、サラウンド左／右及びＬＦＥチャネル）である。但し、他にも多くの構成が存在する。完全なエンコーダ／デコーダ・システムの観点からすると、全てのチャネル構成に対して同じパラメータ・セット（例えばＩＩＤ及びＩＣＣ）またはそのサブセットを使用できるシステムを有することが望ましい。ＩＴＵ（国際電気通信連合会）−Ｒ ＢＳ．７７５では、所定のチャネル構成からより少ないチャネルを含むチャネル構成を達成できる幾つかのダウンミックス・スキームが定義された。常に全てのチャネルを復号する必要があり、かつダウンミックスに頼る代わりに、受信機が、チャネル復号の以前に、当面のチャネル構成に関連のあるパラメータを抽出可能にするマルチチャネル表示を有することが望ましい場合がある。さらに、例えばサラウンド・チャネルに対応するデータをビットストリーム内のエンハンスレイヤの中に格納することが可能である場合は、スケーラブル符号化または埋込み式(embedded)符号化の観点から、パラメータ・セットは本質的にスケーラブルであることが望ましい。

また、上記とは対照的に、処理されつつある信号の特徴に基づいて、様々なパラメータ定義を使用できることが望ましい場合もある。この場合、パラメータ化間での切換が実行され、その結果、その時点で処理されつつあるカレント信号セグメントにとって、最低のビットレート負荷で済むことができる。

和信号またはダウンミックス信号及び追加的なパラメトリックサイド情報を使用するマルチチャネル信号の他の表示は、当業者間においては、「バイノーラル・キュー・コーディング（ＢＣＣ）」として周知である。この技術は、非特許文献１と非特許文献２に記載されている。

概して、バイノーラル・キュー・コーディングは、１つのダウンミックスされたオーディオチャネルとサイド情報とを基礎とするマルチチャネル空間レンダリングのための方法である。オーディオの再現またはオーディオレンダリングのために、ＢＣＣエンコーダにより計算されかつＢＣＣデコーダにより使用されるべき複数のパラメータには、チャネル間のレベル差、チャネル間の時間差及びチャネル間のコヒーレンス・パラメータが含まれる。これらのチャネル間キューは、空間画像の知覚にとっては決定的な因子である。これらのパラメータは、オリジナル・マルチチャネル信号の時間サンプル・ブロックに与えられ、かつ周波数選択的に与えられることから、マルチチャネル信号サンプルの各ブロックが、複数の周波数帯のための複数のキューを有することになる。Ｃ再生チャネルの一般的な場合では、チャネル間のレベル差及びチャネル間の時間差は、チャネル・ペア間の各サブバンドについて、即ち、各チャネルとある参照チャネルとの比較において考慮される。各チャネル間レベル差の考慮のために、１つのチャネルがこの参照チャネルとして定義される。これらチャネル間のレベル差及びチャネル間の時間差により、使用される再生セットアップ内の一対のスピーカペアの間で、任意の方向に音源を配置することが可能となる。配置された音源の幅または拡散性の決定に際しては、全てのオーディオチャネルに対し、１つのサブバンドにつき１つのパラメータを考慮すれば十分である。このパラメータは、チャネル間のコヒーレンス・パラメータである。配置される音源の幅は、全ての可能なチャネル・ペアが同一のチャネル間コヒーレンス・パラメータを有するように、サブバンド信号を修正することによって制御される。

ＢＣＣコーディングでは、参照チャネル１と他のチャネルとの間で、全てのチャネル間レベル差が決定される。例えば、中央チャネルが参照チャネルであると決定されると、左チャネルとこの中央チャネルとの間の第１のチャネル間レベル差、右チャネルと中央チャネルとの間の第２のチャネル間レベル差、左サラウンド・チャネルと中央チャネルとの間の第３のチャネル間レベル差、及び右サラウンド・チャネルと中央チャネルとの間の第４のチャネル間レベル差が計算される。このシナリオは、５チャネル・スキームを説明するものである。この５チャネル・スキームが、「サブウーファ」チャネルとしても知られる低周波強化（low frequency enhancement）チャネルを追加的に含む場合には、この低周波強化チャネルと、単一の参照チャネルである中央チャネルとの間の第５のチャネル間レベル差が計算される。

「モノラル」チャネルとも称される単一のダウンミックス・チャネルと、ＩＣＬＤ（チャネル間レベル差）、ＩＣＴＤ（チャネル間時間差）及びＩＣＣ（チャネル間コヒーレンス）等の送信されるキューとを使用してオリジナル・マルチチャネルを復元する場合には、上記モノラル信号のスペクトル係数がこれらのキューを使用して修正される。このレベル修正は、各スペクトル係数のレベル修正を決定する正の実数を使用して実行される。チャネル間時間差は、各スペクトル係数のための位相修正を決定する大きさ１の複素数を使用して生成される。別の関数は、コヒーレンスの影響を決定する。各チャネルのレベル修正のためのファクタの算出は、まず参照チャネルのためのファクタを計算することから始まる。参照チャネルのためのファクタは、各周波数区分について、全チャネルのパワーの総和が和信号のパワーと同じであるように計算される。次に、この参照チャネルのためのレベル修正ファクタに基づいて、他のチャネルのためのレベル修正ファクタが、個々のＩＣＬＤパラメータを使用して計算される。

このように、ＢＣＣ合成を実行するためには、参照チャネルのレベル修正ファクタが計算される必要がある。この計算には、１つの周波数帯についての全てのＩＣＬＤパラメータが必要である。次に、この１つのチャネルに関するレベル修正に基づいて、他のチャネル、即ち参照チャネルでないチャネルのレベル修正ファクタを計算することができる。

上述の手法は、完全な再現のためには、各々全てのチャネル間レベル差が必要とされる点で不利である。エラーが多発する送信チャネルが存在する場合、この要件はさらに問題を発生させやすいものとなる。マルチチャネル出力信号の各々の計算にはチャネル間レベル差の各々が必要であることから、送信されるチャネル間レベル差におけるエラーは悉く、再現されるマルチチャネル信号のエラーを引き起こす。さらに、送信中にチャネル間レベル差が失われた場合にも、再現は全く不可能となる。これはたとえ、このチャネル間レベル差が、マルチチャネルの再生にはあまり重要でない、例えば左サラウンド・チャネルまたは右サラウンド・チャネルにしか必要でないようなチャネル間レベル差であった場合でも、再現不可能となる。ここで、これらのサラウンド・チャネルがマルチチャネル再生にとってそれほど重要でないという理由は、情報の大部分は、以下に左チャネルと呼ぶ前左チャネル、以下に右チャネルと呼ぶ前右チャネル、または中央チャネル内に含まれるからである。低周波強化チャネルのチャネル間レベル差が送信中に失われた場合、この状況はさらに悪くなる。この状況では、マルチチャネル再生は不可能となるか、あるいはエラーを含む再生のみが可能となる。但し、低周波強化チャネルは、リスナーの耳に届く快適さにはさほど決定的なものではない。従って、１つのチャネル間レベル差におけるエラーは、再現される出力チャネルの各々の中におけるエラーとなって伝搬される。

さらに、非特許文献３に示される現在のＢＣＣスキームは、直観的なリスニングのシナリオを考えた場合、参照チャネルが単一であるという理由で最適とはいえない。全てが単一の参照チャネルに関連付けられるということは、人間の耳にとって自然でなく、勿論全てのオーディオ処理の究極的な目標でもない。現実に人間は２つの耳を持ち、これら耳は人間の頭部の異なる側面に位置しているのである。よって、人間の自然なリスニングの印象は、信号のバランスが左側に大きいか、右側に大きいか、あるいは前後の間でのバランスがどうであるかによって決まるものである。それにも関わらず、音場の中の所定の音源が、単一の参照スピーカに対する関係において、各スピーカ間で所定のバランス内にあるか否かを感じ取るということは、人間の耳には不自然である。この相違、即ち、人間の自然なリスニングの印象を一方とし、ＢＣＣの数学的／物理学的なモデルを他方とするずれが、ビットレートの条件、スケーラビリティの条件、柔軟性の条件、再現アーチファクトの条件、またはエラーロバスト性の条件等を考慮する時、符号化スキームにおいて否定的な結果をもたらす可能性もある。

ＰＣＴ／ＳＥ０２／０１３７２

F.Baumgarte、C.Faller共著「バイノーラル・キュー・コーディング−第１部：聴覚心理学の基本と設計原理」音声及び音響処理に関するＩＥＥＥ論文集、第１１巻第６号、２００３年１１月 C.Faller、F.Baumgarte共著「バイノーラル・キュー・コーディング−第２部：スキームと応用」音声及び音響処理に関するＩＥＥＥ論文集、第１１巻第６号、２００３年１１月 C. Faller, F. Baumgarte共著「ステレオ及びマルチチャネル音響圧縮に適用されたバイノーラル・キュー・コーディング」２００２年５月１０−１３日ドイツ、ミュンヘン市におけるＡＥＳ会議の報告書５５７４号

本発明の目的は、マルチチャネルオーディオ信号を表示するための発展的な概念を提供することにある。

この目的は、マルチチャネル入力信号のパラメータ表示を生成するための請求項１に記載の装置、再現されたマルチチャネル表現を生成するための請求項２１に記載の装置、請求項３１または３２に記載の方法、請求項３３に記載のコンピュータ・プログラムまたは請求項３４に記載のパラメータ表示によって達成される。

本発明は、マルチチャネル表現のためには、チャネル・ペア間のバランス・パラメータが重要であるという知見を基礎とする。さらに、マルチチャネル信号のパラメータ表示は少なくとも２つの異なるバランス・パラメータを提供することで可能となり、これらのバランス・パラメータは２つの異なるチャネル・ペア間のバランスを示すものである。特に、第1のバランス・パラメータの基礎となる第１のチャネル・ペアと、第２のバランス・パラメータの基礎となる第２のチャネル・ペアとが異なり、これらのチャネル・ペアを形成している４つのチャネルが全て互いに異なるという事実から、柔軟性、スケーラビリティ、エラーロバスト性さらにはビットレート効率までもが結果として得られることになる。

上述のように、本発明の好適な概念は、単一の参照チャネルの概念とは異なり、人間の音の印象にとってより直感的でより自然な、マルチバランスまたはスーパーバランス概念を使用する。特に、第１及び第２のバランス・パラメータの基礎を成すチャネル・ペアには、オリジナル・チャネル、ダウンミックス・チャネルまたは好ましくは入力チャネル間の所定の組合せが含まれてもよい。

中央チャネルをチャネル・ペアの第１のチャネルとし、左オリジナル・チャネル及び右オリジナル・チャネルの和をチャネル・ペアの第２のチャネルとして導出されるバランス・パラメータは、中央チャネルと左右チャネルとの間の正確なエネルギー配分をもたらす上で特に有益であることが知られている。ここで留意すべきは、これらの３チャネルは、一般にオーディオ・シーンの大部分の情報を含むが、特に左右のステレオ定位（stereo localization）は、左右間のバランスによって影響されるだけでなく、中央と左右の和とのバランスによっても影響されるという点である。この知見は、本発明の好適な一実施形態において、このバランス・パラメータを使用することにより反映されている。

好ましくは、単一のモノラル・ダウンミックス信号が送信される場合、柔軟性とエラー・ロバスト性を有し、かつアーチファクトの発生が大きく抑制された、ビットレート効率の良いパラメータ表示のためには、中央／左プラス右のバランス・パラメータに加えて、左／右のバランス・パラメータと、後左／後右のバランス・パラメータと、前／後のバランス・パラメータとを使用することが、最適な解決策であることは知られている。

レシーバ側では、各チャネルが送信された情報のみによって計算されるＢＣＣ合成とは対照的に、本発明の好ましいマルチ−バランス表示においては、ダウンミックス・チャネルの生成に使用されたダウンミックス・スキームに関する情報をさらに利用する。つまり、本発明においては、先行技術のシステムでは使用されていないダウンミックス・スキームに関する情報が、アップミックスにおいても、バランス・パラメータに加えて使用される。従って、アップミックスの操作は、再現されるマルチチャネル信号内でバランス・パラメータのチャネル・ペアを形成するチャネル間のバランスが、上記バランス・パラメータによって決定されるように実行される。

この概念、即ち、異なるバランス・パラメータのために異なるチャネル・ペアを使用するという概念は、送信されるバランス・パラメータの各個を全て知ることなく、幾つかのチャネルを生成することを可能にする。特に、本発明においては、左、右及び中央の各チャネルは、後左／後右の如何なるバランスも一切知ることなく、または前／後の如何なるバランスも一切知ることなく再現されることが可能である。この効果として、微同調されたスケーラビリティが可能になる。なぜなら、ビットストリームから追加的なパラメータを抽出すること、または追加的なバランス・パラメータをレシーバへ送信することが、結果的には１つまたは複数の追加チャネルの再構築を可能にするからである。これは、先行技術による単一参照システム、即ち、再生出力チャネルの全てまたはその１つのサブグループのみを再生するために、各チャネル間レベル差を全て必要とするシステムとは対照的である。

また本発明の概念は、バランス・パラメータの選択を所定の再現環境に適応させることができる点でも柔軟性がある。例えば、オリジナルのマルチチャネル・セットアップが５チャネルであり、かつ再現マルチチャネル・セットアップが４チャネルであり、後者が例えばリスナーの背後に配置される単一のサラウンド・スピーカのみを有する場合、前後のバランス・パラメータは、左サラウンド・チャネル及び右サラウンド・チャネルに関する一切の知識なしに、結合されたサラウンド・チャネルの計算を可能にする。これは、データストリームから左サラウンド・チャネルのチャネル間レベル差と右サラウンド・チャネルのチャネル間レベル差とを抽出しなければならない単一参照チャネル・システムとは対照的であり、同システムでは、次に、左サラウンド・チャネルと右サラウンド・チャネルとを計算する必要があり、最終的に、両チャネルを加算して、４チャネル再現セットアップ用の単一のサラウンド・スピーカ・チャネルを取得しなければならない。より直感的かつよりユーザ指向的な本発明のバランス・パラメータ表示では、これらのステップは全て行う必要がない。なぜなら、このバランス・パラメータ表示が、結合されたサラウンド・チャネルを自動的に供給するためである。このバランス・パラメータ表示は、単一の参照チャネルに束縛されず、オリジナル・チャネルの組み合せをバランス・パラメータのチャネル・ペアの１チャネルとして使用することをも可能にするものである。

本発明は、オーディオ信号のパラメータ化されたマルチチャネル表示の課題に関する。本発明は、マルチチャネル表示のための適切なパラメータを定義する効率的な方法を提供し、かつ全てのチャネルを復号する必要なしに、所望されるチャネル構成を表示するパラメータを抽出する能力を提供する。本発明はさらに、与えられた信号セグメントの空間パラメータを符号化するために必要なビットレートを最小限に抑えるために、上記与えられた信号セグメントの最適なパラメータ構成を選択するという課題を解決する。また本発明は、従前では２チャネルの場合にのみ適用可能であった非相関化方法を、一般的なマルチチャネル環境において適用する方法を提供する。

好適な実施形態において、本発明は下記の特徴を有する。
−エンコーダ側で、マルチチャネル信号を１または２チャネル表示へダウンミックスし、
−マルチチャネル信号が与えられた時、マルチチャネル信号を表示するパラメータを、ビットレートを最小限に抑えるためにフレーム毎のベースで定義するか、またはデコーダがチャネル構成を抽出可能にするためにビットストリーム・レベルで定義するか、いずれかの方法で柔軟に定義し、
−デコーダ側で、そのデコーダにより現時点でサポートされているチャネル構成が与えられたとき、関連するパラメータ・セットを抽出し、
−当該のチャネル構成が与えられたとき、所望する個数の相互に非相関化された信号を生成し、
−ビットストリーム・データから復号されるパラメータ・セット及び非相関化信号が与えられたとき、出力信号を再生し、
−同じパラメータまたはパラメータのサブセットをチャネル構成に関わりなく使用できるように、マルチチャネルオーディオ信号のパラメータ化を定義し、
−パラメータ・セットのサブセットがスケーラブルストリームの異なるレイヤで送信されるようなスケーラブル符号化のスキームにおいて、上記パラメータを使用できるように、マルチチャネルオーディオ信号のパラメータ化を定義し、
−デコーダからの出力信号のエネルギー再生が、ダウンミックスされた信号の符号化に使用された基本的なオーディオ・コーデックによって害されないように、マルチチャネルオーディオ信号のパラメータ化を定義し、
−パラメータ化を符号化するためのビットレート負荷が最小限に抑えられるように、マルチチャネルオーディオ信号の様々なパラメータ化を切換えし、
−ダウンミックスされた信号のエネルギー補正ファクタを表示するパラメータが含まれるように、マルチチャネルオーディオ信号のパラメータ化を定義し、
−マルチチャネル信号を再生するために、相互に非相関化された複数のデコリレータを使用し、
−送信されたパラメータ・セットに基づいて計算されるアップミックス行列Ｈから、マルチチャネル信号を再生する。

本発明が適用される５．１チャネル構成に使用される命名法を示す。 本発明の好適な一実施形態による可能なエンコーダの構成を示す。 本発明の好適な一実施形態による可能なデコーダの構成を示す。 本発明によるマルチチャネル信号の好適なパラメータ化の一例を示す。 本発明によるマルチチャネル信号の好適なパラメータ化の他の例を示す。 本発明によるマルチチャネル信号の好適なパラメータ化のさらに他の例を示す。 １つまたは２つのベース・チャネルを生成するダウンミックス・スキームのセットアップを示す略図である。 本発明によるバランス・パラメータとダウンミックス・スキームに関する情報とを基礎とするアップミックス・スキームを略示したものである。 エンコーダ側のレベル・パラメータの決定方法を示す略図である。 デコーダ側のレベル・パラメータの使用方法を示す略図である。 ビットストリームの異なるレイヤにマルチチャネル・パラメータ化の異なる部分を有する、スケーラブルなビットストリームを示す。 バランス・パラメータと、このバランス・パラメータを使用して再生されるチャネルと、不使用または計算されないパラメータ及びチャネルとの関係を示すスケーラビリティ表である。 本発明によるアップミックス行列の適用例を示す。

次に、添付の図面を参照して、本発明を、その範囲または概念を限定するものではなく、一例として説明する。

以下に説明する実施形態は、オーディオ信号のマルチチャネル表示に関する本発明の原理を単に例示するものである。他の当業者にとって、本明細書において説明している装置及び詳細の修正及び変形が可能であることは自明である。従って、本発明は、添付の特許請求の範囲に記載されている範囲によってのみ限定されるべきものであり、本明細書において実施形態を記述しかつ説明するために示した特定の詳細によって限定されるべきではない。

以下に、ＩＩＤ及びＩＣＣパラメータのパラメータ化の方法、及びオーディオ信号のマルチチャネル表示を再現するために上記パラメータの使用方法について概説する。本発明に関する下記の説明において、言及される全ての信号は、フィルタバンク内のサブバンド信号、または対応するチャネルのための周波数範囲全体のうちの一部を示す他の何らかの周波数選択的表示であることが想定されている。従って、本発明は特定のフィルタバンクに限定されないこと、下記で概説する本発明は信号のサブバンド表示の１つの周波数帯に関して説明したものであること、及び同じ操作を全てのサブバンド信号に適用できること、に留意すべきである。

バランス・パラメータは「チャネル間強度差（ＩＩＤ）」パラメータとも称されるが、チャネル・ペア間のバランス・パラメータが、必ずしもチャネル・ペアの第１のチャネルにおけるエネルギーまたは強度と、チャネル・ペアにおける第２のチャネルのエネルギーまたは強度との間の比率である必要はない点は強調されるべきである。概して、バランス・パラメータは、チャネル・ペアの２チャネル間の音源の定位を指す。通常、この定位はエネルギー／レベル／強度の各差分によって与えられるが、両チャネルのパワー測定値またはチャネルの時間または周波数包絡線等の、信号の他の特徴を使用することもできる。

図１は５．１チャネル構成の様々なチャネルを視覚化したものであり、１０１は左サラウンド・チャネルａ（ｔ）を表し、１０２は左前チャネルｂ（ｔ）を表し、１０３は中央チャネルｃ（ｔ）を表し、１０４は右前チャネルｄ（ｔ）を表し、１０５は右サラウンド・チャネルｅ（ｔ）を表し、１０６はＬＦＥ（低周波強化）チャネルｆ（ｔ）を表す。

期待演算子を、

と定義するものと仮定すれば、先に概説したチャネルのエネルギーは、

と定義することができる（この場合は、左サラウンド・チャネルにより例示している）。

エンコーダ側では、５つのチャネルが２チャネル表示または１チャネル表示へダウンミックスされる。ダウンミックスは幾つかの方法で実行可能であるが、一般に使用される一方法はＩＴＵダウンミックスであり、下記のように定義される。
５．１チャネルから２チャネルへのダウンミックス：

５．１チャネルから１チャネルへのダウンミックス：

定数α、β、γ及びδとして通常使用される値は、

である。

ＩＩＤパラメータは、任意に選択される２チャネルまたは重み付けされたチャネル・グループのエネルギー比率として定義される。先に概説した５．１チャネル構成のためのチャネルのエネルギーを用いて、幾つかのＩＩＤパラメータ・セットを定義することができる。

図７は、上述の式を使用して単一のベース・チャネルｍまたは好適にはステレオ・ベースである２つのチャネルｌ_d及びｒ_dを計算する、一般的なダウンミキサ７００を示す。概して、上記ダウンミキサは所定のダウンミックス情報を使用する。線形ダウンミックスのこの好適な実施形態では、このダウンミックス情報は、重み付けファクタα、β、γ及びδを含む。当業者においては、一定または一定でない重み付けファクタを使用できることは、技術上周知である。

ＩＴＵ推奨ダウンミックスでは、αは１に設定され、β及びγは等しく、かつ０．５の平方根に設定され、δは０に設定される。概して、係数αは１．５乃至０．５の範囲で変わってもよい。さらに、係数β及びγは互いに異なり、０乃至１の範囲で変わってもよい。低周波強化チャネルｆ（ｔ）についても同様であり、このチャネルのファクタδは０乃至１の範囲で変わってもよい。さらに、左ダウンミックス及び右ダウンミックスのファクタは互いに同じである必要はない。これは、例えばサウンド・エンジニアによって実行される非自動ダウンミックスが考慮される場合に明確となる。サウンド・エンジニアは、任意の数学的法則によって導かれるダウンミックスよりも、より創造的なダウンミックスを指向し、彼自身の創造的なフィーリングによって導かれていく。この「創造的な」ダウンミックスが、所定のパラメータ・セットによって記録される場合、そのダウンミックスは、本発明に従う図８に示すアップミキサ８００により使用され、このアップミキサはパラメータだけでなく、ダウンミックス・スキームに関する追加情報によっても作動される。

図７に示すように、線形ダウンミックスが実行された場合、重み付けパラメータはダウンミックス・スキームに関する好適な情報であり、アップミキサによって使用されるべき情報である。しかしながら、ダウンミックス・スキームで使用される他の情報が存在していれば、アップミキサは、この他の情報もダウンミックス・スキームに関する情報として使用することができる。このような他の情報は、例えば、所定の行列要素、または例えば図１１に示すようなアップミックス行列の行列要素内の所定のファクタまたは関数であってもよい。

図１に略示した５．１チャネル構成を備えた場合、他のチャネル構成とこの５．１チャネル構成との関連性について考察すると、３チャネルの場合では、サラウンド・チャネルが利用不可となり、先の表記法によればＢ、Ｃ及びＤが利用可能となる。４チャネル構成では、Ｂ、Ｃ及びＤが利用可能であるが、加えて単一のサラウンド・チャネルを表す、またはより一般的には後チャネルと称されるＡ＋Ｅも利用可能となる。

本発明は、これら全てのチャネルに適用されるＩＩＤパラメータを使用する。即ち、５．１チャネル構成の４チャネル・サブセットは、５．１チャネルを記述するＩＩＤパラメータ・セット内に対応したサブセットを有する。下記のＩＩＤパラメータ・セットは、この課題を解決する。

上式から明らかに、ｒ₁パラメータは左ダウンミックス・チャネルと右ダウンミックス・チャネルとの間のエネルギー比率に対応し、ｒ₂パラメータは中央チャネルと左右前チャネルとの間のエネルギー比率に対応し、ｒ₃パラメータは２つのサラウンド・チャネルと３つの前チャネルとの間のエネルギー比率に対応し、ｒ₄パラメータは２つのサラウンド・チャネル間のエネルギー比率に対応し、ｒ₅パラメータはＬＦＥチャネルと他の全チャネルとの間のエネルギー比率に対応している。

上述のエネルギー比率を、図４に示す。様々な出力チャネルは、図１と同じく１０１乃至１０５で示し、よってここでは詳述を省く。スピーカのセットアップは左右半分に分割され、中央チャネル１０３は双方の半分の一部である。左半面と右半面との間のエネルギー比率を、本発明に係るパラメータｒ₁で示す。図４では、これをｒ₁の下の実線矢印で示す。さらに、中央チャネル１０３と左前チャネル１０２及び右前チャネル１０４との間のエネルギー配分を、本発明に係るパラメータｒ₂で示す。最後に図４では、前チャネルのセットアップ全体（１０２，１０３及び１０４）と後チャネル（１０１及び１０５）との間のエネルギー配分をｒ₃パラメータの矢印で示す。

上述のパラメータ化と、送信される単一のダウンミックス・チャネルのエネルギー：

とが与えられた場合、再現されるチャネルのエネルギーは、

で表すことができる。

従って、Ｍ信号のエネルギーは再現チャネルへ配分されることが可能であり、オリジナル・チャネルと同じエネルギーを有する再現チャネルがもたらされる。

上述の好適なアップミックス・スキームを、図８に示す。上記Ｆ、Ａ、Ｅ、Ｃ、Ｂ及びＤの式から明らかなように、アップミキサによって使用されるべきダウンミックス・スキームに関する情報は、重み付けファクタα、β、γ及びδであり、これらファクタは、オリジナル・チャネルの数より少ない数のダウンミックス・チャネルを得るために、重み付けされ、または重み付けされないチャネルが互いに加算され、もしくは減算される前に、オリジナル・チャネルへの重み付けに使用される。従って、図８から明らかなように、本発明によれば、再現されたチャネルのエネルギーは、エンコーダ側からデコーダ側へ送信されるバランス・パラメータによって決定されるだけでなく、ダウンミックス・ファクタα、β、γ及びδよっても決定される。

図８を考慮すると、左右のエネルギーＢ及びＤを計算するために、既に算出されているチャネル・エネルギーＦ、Ａ、Ｅ、Ｃが式内に使用されることが明らかである。但しこれは、必ずしも逐次的なアップミックス・スキームを意味しない。代わりに、例えば、所定のアップミックス行列要素を有する所定のアップミックス行列を使用して実行される完全並行型のアップミックス・スキームを達成するために、Ａ、Ｃ、Ｅ及びＦの式がＢ及びＤの式へ挿入されてもよい。従って、再現されたチャネルのエネルギーは、バランス・パラメータと、ダウンミックス・チャネルと、ダウンミックス・スキームに関するダウンミックス・ファクタ等の情報とによってのみ決定されることが明らかになる。

上述のＩＩＤパラメータがある場合、幾つかのチャネル構成に使用可能なＩＩＤパラメータのパラメータ・セットを定義するという課題は、後述の説明から明らかとなるように、解決済みであることは明白である。例として、３チャネル構成（即ち、利用可能な１チャネルから３つの前チャネルを再生するもの）について考慮すると、Ａ、Ｅ及びＦは存在しないことから、パラメータｒ₃、ｒ₄及びｒ₅がもはや使用されないことは明らかである。また、ｒ₁は左右前チャネル間のエネルギー比率を表し、ｒ₂は中央チャネルと左右前チャネルとの間のエネルギー比率を表すことから、パラメータｒ₁及びｒ₂が、ダウンミックスされた１つのチャネルから３つのチャネルを再生するために十分であることも明らかである。

より一般的な場合でも、先に定義したようなＩＩＤパラメータ（ｒ₁...ｒ₅）がｍ個のチャネルからｎ個のチャネルを再生する全てのサブセットに適用されることが容易に分る。但し、ｍ＜ｎ≦６である。図１０ｂから分るように、
−１チャネルから２チャネルを再生するシステムでは、チャネル間の正しいエネルギー比率に関する十分な情報がｒ₁パラメータから得られ、
−１チャネルから３チャネルを再生するシステムでは、チャネル間の正しいエネルギー比率に関する十分な情報がｒ₁及びｒ₂パラメータから得られ、
−１チャネルから４チャネルを再生するシステムでは、チャネル間の正しいエネルギー比率に関する十分な情報がｒ₁、ｒ₂及びｒ₃パラメータから得られ、
−１チャネルから５チャネルを再生するシステムでは、チャネル間の正しいエネルギー比率に関する十分な情報がｒ₁、ｒ₂、ｒ₃及びｒ₄パラメータから得られ、
−１チャネルから５．１チャネルを再生するシステムでは、チャネル間の正しいエネルギー比率に関する十分な情報がｒ₁、ｒ₂、ｒ₃、ｒ₄及びｒ₅パラメータから得られ、
−２チャネルから５．１チャネルを再生するシステムでは、チャネル間の正しいエネルギー比率に関する十分な情報がｒ₂、ｒ₃、ｒ₄及びｒ₅パラメータから得られる。

上述のスケーラビリティの特徴を、図１０ｂの表に示す。図１０ａに示しかつ後段で説明するスケーラブル・ビットストリームもこの図１０ｂの表に適応させることができ、この場合、図１０ａに示すものより細かいスケーラビリティを達成することができる。

本発明の好適な概念は、左右のチャネルを、単一のバランス・パラメータｒ₁から、他のいずれのバランス・パラメータを認識または抽出することなく、容易に再現できる点で特に効果的である。この目的に沿って、図８におけるＢ、Ｄの式では、チャネルＡ、Ｃ、Ｆ及びＥが単にゼロに設定される。

バランス・パラメータｒ₂のみを考慮すれば、再現されるチャネルは、一方は中央チャネルと低周波チャネル（このチャネルがゼロに設定されていないとき）との和であり、他方は左右のチャネルの和である。従って、単一のパラメータのみを使用して、一方では中央チャネルを、他方ではモノラル信号を再現することができる。この特徴は、左右の信号が左右の和から二分等により導出され、かつ中央と左右の和との間のエネルギーがバランス・パラメータｒ₂によって正確に決定される単純な３チャネル表示にとって、既に有益であると言える。

上述の場合、バランス・パラメータｒ₁またはｒ₂は、低いスケーリングレイヤに位置づけられる。

図１０ｂの記入欄の中で２行目について説明すれば、これは３つのチャネルＢ、Ｄ及びＣとＦの和が、５つのバランス・パラメータの全てでなく２つのバランス・パラメータｒ₁及びｒ₂のみを使用してどのように生成され得るかを示す。これらのパラメータの一方は、低位のスケーリングレイヤに位置づけられる他方のパラメータより高位のスケーリングレイヤに存在する可能性がある。

図８における式を考慮すると、Ｃを計算するために、非抽出パラメータｒ₅及び他の非抽出パラメータｒ₃が０に設定されることが明らかになる。さらに、不使用チャネルＡ、Ｅ、Ｆも０に設定され、よって３つのチャネルＢ、Ｄ及び中央チャネルＣと低周波強化チャネルＦとの組合せを計算することができる。

４チャネル表示をアップミックスする場合は、パラメータ・データストリームからパラメータｒ₁、ｒ₂及びｒ₃を抽出するだけで十分である。この時、ｒ₃は、他のパラメータｒ₁またはｒ₂よりも一段高位のスケーリングレイヤに存在する可能性もある。４チャネル構成は、本発明のスーパーバランス・パラメータ表示との関連で特に適しているが、その理由は、後に図６に関連して記述するように、第３のバランス・パラメータｒ₃が、前チャネルを一方とし後チャネルを他方とする組合せから既に導出されているためである。４チャネル構成が本発明に適しているのは、パラメータｒ₃が前後のバランス・パラメータであり、このバランス・パラメータは、第１のチャネルとして後チャネルＡ及びＥの組合せを有し、前チャネルとして左チャネルＢ、右チャネルＥ及び中央チャネルＣの組合せを有するチャネル・ペアから導出される、と言う事実に起因する。

従って、両サラウンド・チャネルの結合されたチャネル・エネルギーは、単一参照チャネルのセットアップにおける場合と同様に、さらなる別の計算及び後続の組合せなしに自動的に得られる。

単一チャネルから５チャネルを再現しなければならない場合は、さらにバランス・パラメータｒ₄が必要である。このパラメータｒ₄もやはり、次に高位のスケーリングレイヤに存在していてもよい。

５．１チャネルの再現を実行しなければならない場合は、全てのバランス・パラメータが必要である。従って、次のバランス・パラメータｒ₅を含む次に高位のスケーリングレイヤがレシーバへ送られ、そのレシーバにより復号される必要がある。

しかしながら、チャネル数の増大に従ってＩＩＤパラメータを増大させるこの手法を同様に使用すれば、５．１構成より多いチャネル数を有するチャネル構成をカバーするように、上述のＩＩＤパラメータを増大させることができる。従って、本発明は、上述の実施例に限定されるものではない。

次に、最も一般的に使用される場合の１つである、チャネル構成が５．１チャネル構成である場合について考察する。この５．１チャネルは２つのチャネルから再生されるものとする。この場合に関しては、パラメータｒ₃及びｒ₄を、

に置き換えることにより、異なるパラメータ・セットを定義することができる。パラメータｑ₃及びｑ₄は、前／後左チャネル間のエネルギー比率、及び前／後右チャネル間のエネルギー比率を表す。他にも、幾つかのパラメータ化を想定することができる。

図５は上記修正されたパラメータ化を描いたものである。（図４ではｒ₃により示された）前／後チャネル間のエネルギー配分を略示する１つのパラメータと、（図４ではｒ₄により示された）左サラウンド・チャネルと右サラウンド・チャネルとの間のエネルギー配分を記述するパラメータとに代えて、左前１０２と左サラウンド・チャネル１０１との間のエネルギー比率、及び右前チャネル１０４と右サラウンド・チャネル１０５との間のエネルギー比率を記述するパラメータｑ₃及びｑ₄が使用される。

本発明においては、マルチチャネル信号を表示するために、複数のパラメータ・セットが使用可能であることが望ましい。本発明のさらなる特徴は、使用されるパラメータの量子化タイプに依存して、様々なパラメータ化を選択できる点にある。

一例として、高いビットレートを使用できないという制約に起因してパラメータ化の粗い量子化を使用するシステムでは、アップミックス処理の中でエラーを増幅しないパラメータ化を使用すべきである。

１つのチャネルから５．１チャネルを再生するシステムにおける、上記再現エネルギーの式のうち、次の２つの式

を考慮すると、Ｍ、Ａ、Ｃ及びＦパラメータの極めて小さい量子化効果に起因して、減算がＢ及びＤエネルギーの大幅な変動をもたらし得ることは明らかである。

本発明によれば、パラメータの量子化による影響が小さい、異なるパラメータ化を使用すべきである。故に、粗い量子化が使用されれば、先に定義したようなｒ₁パラメータ、即ち、

は、次の代替定義によって置換することが可能である。

その結果、

という再現エネルギーの式をもたらし、Ａ、Ｅ、Ｃ及びＦの再現エネルギーの式は上述のままである。量子化の観点から、このパラメータ化はより良好なシステムをもたらすことは明らかである。

図６は先に説明したエネルギー比率を示す。様々な出力チャネルを１０１乃至１０５で示し、図１と同じであることからここでは詳述しない。スピーカのセットアップは、前部分と後部分とに分割される。図６では、前チャネル・セットアップ全体（１０２，１０３及び１０４）と後チャネル（１０１及び１０５）との間のエネルギー配分を、ｒ₃パラメータで表される矢印で示す。

本発明の他の重要かつ顕著な特徴は、パラメータ化、

を考慮すると、これらパラメータ化は、単に量子化の観点から良好なシステムであるだけではない。これらのパラメータ化には、３つの前チャネルの再現に使用されるパラメータは、サラウンド・チャネルの影響を受けることなく導出される、という優位点もある。また、中央チャネルと他の全チャネルとの関係を記述するパラメータｒ₂を想定することも可能である。但しこれには、サラウンド・チャネルが前チャネルを記述するパラメータの計算に含まれる、という欠点があると思われる。

本発明において記述されているパラメータ化は、チャネル間の相関性またはコヒーレンスの計測にも適用できることを念頭に置けば、ｒ₂の計算に後チャネルを含むことが、前チャネルの正確な再生にとって重大な悪影響を及ぼすことは明らかである。

一例として、全ての前チャネルでは信号が同一であり、後チャネルでは信号が完全に非相関であるという状況を想像することができる。オリジナル・サウンドの雰囲気情報の再生に後チャネルが頻繁に使用される場合、このような状況は珍しいことではない。

もし中央チャネルが他の全チャネルとの関連で記述されれば、後チャネルは完全に非相関であることから、中央と他の全チャネルの和との間の相関関係の値は比較的低くなる。前左／右チャネルと後左／右チャネルとの間の相関関係を計算するパラメータの場合にも、同じことが言える。

このような場合、エネルギーを正確に再現することができるが、しかし、全前チャネルが同一であった、即ち強力に相関されていたという情報を含まないパラメータ化に到達してしまう。これは確かに、左右前チャネルが後チャネルと非相関であるという情報と、中央チャネルも後チャネルと非相関であるという情報とを含む。但し、このようなパラメータ化から、全ての前チャネルが同一であるという事実を導出することはできない。

これは、本発明に従う下記のパラメータ化、

を使用することにより克服することができる。なぜなら、デコーダ側で前チャネルを再生するために使用されるパラメータの計算の中に、後チャネルが包含されないからである。

本発明では、中央チャネル１０３と左前チャネル１０２及び右前チャネル１０４との間のエネルギー配分をｒ₂で示す。左サラウンド・チャネル１０１と右サラウンド・チャネル１０５との間のエネルギー配分をｒ₄で示し、最後に左前チャネル１０２と右前チャネル１０４との間のエネルギー配分をｒ₁で示す。図から明らかであるように、パラメータは全て図４に略示したものと同じであるが、但し、本図におけるｒ₁は、左側全体と右側全体ではなく、左前スピーカと右前スピーカとの間のエネルギー配分に対応している。完全性を期して、中央チャネル１０３とＬＦＥ（低周波強化）チャネル１０６との間のエネルギー配分を略示するパラメータｒ₅も示している。

図６は本発明のパラメータ化の好適な実施形態の概略を示す。第１のバランス・パラメータｒ₁（実線で示す）は、前左／前右のバランス・パラメータを構成する。第２のバランス・パラメータｒ₂は、中央／左右のバランス・パラメータである。第３のバランス・パラメータｒ₃は前／後のバランス・パラメータを構成し、第４のバランス・パラメータｒ₄は後左／後右のバランス・パラメータを構成し、最後に第５のバランス・パラメータｒ₅は中央／ＬＦＥのバランス・パラメータを構成する。

図４は関連する状況を示す。図４では実線で示されている、ダウンミックス・左／右バランスの場合の第１のバランス・パラメータｒ₁は、チャネルＢ及びＤ間で基本的なチャネル・ペアとして定義されるオリジナル・前左／前右のバランス・パラメータによって置換されてもよい。図４ではこれは点線ｒ₁で示され、図５及び６における実線ｒ₁に対応する。

２つのベース・チャネル状況においては、パラメータｒ₃及びｒ₄、即ち前／後のバランス・パラメータ及び後左／右のバランス・パラメータは、２つの片側の前／後・パラメータによって置換される。第１の片側の前／後・パラメータｑ₃は、左サラウンド・チャネルＡ及び左チャネルＢより成るチャネル・ペアから導出される第１のバランス・パラメータと見なすこともできる。第２の片側の前／後バランス・パラメータｑ₄は、右チャネルＤ及び右サラウンド・チャネルＥより成る第２のチャネル・ペアに基づく第２のパラメータと見なすことができる。この場合もやはり、これらのチャネル・ペアは互いに独立している。第１のチャネルとして中央チャネルＣを有し、第２のチャネルとして左右のチャネルＢ及びＤの和を有する中央／左右のバランス・パラメータｒ₂の場合にも、同じことが言える。

１つまたは２つのチャネルから５．１チャネルを再生するシステムの粗い量子化に適した、本発明の他のパラメータ化を、下記のように定義する。
１チャネルから５．１チャネルへの場合：

２チャネルから５．１チャネルへの場合：

上述のパラメータ化は、厳密に理論的な視点からすれば、送信される信号のエネルギーを再生される信号へ正確に再配分するために必要とされるものより多くのパラメータを含むことは明らかである。しかしながら、このパラメータ化は量子化エラーからの影響が極めて少ない。

２ベース・チャネルのセットアップの場合の上記パラメータ・セットは、複数の参照チャネルを利用する。但し、図６に示すパラメータ構成とは対照的に、図７に示すパラメータ・セットは、参照チャネルとしてオリジナル・チャネルではなく専らダウンミックス・チャネルに依存する。バランス・パラメータｑ₁、ｑ₃及びｑ₄は、全く異なるチャネル・ペアから導出される。

以上、本発明のいくつかの実施の形態について説明した。すなわち、バランス・パラメータを導出するためのチャネル・ペアが、オリジナル・チャネルのみを含む場合（図４、図５、図６）、またはオリジナル・チャネル及びダウンミックス・チャネルを含む場合（図４、図５）、もしくは図７の下部に示すように、参照チャネルとして専らダウンミックス・チャネルに依存する場合である。しかし、図２のサラウンド・データ・エンコーダ２０６内に包含されるパラメータ生成器は、バランス・パラメータが基礎とするチャネル・ペアのためのチャネルとして、1つのベース・チャネルまたはベース・チャネルの組合せではなく、オリジナル・チャネルまたはオリジナル・チャネルの組合せのみを使用するように作動することが望ましい。これは、単一のベース・チャネルまたは２つのステレオ・ベース・チャネルに対し、そのサラウンド・エンコーダからサラウンド・デコーダへの送信中に、エネルギー変化が発生しないことを完全に保証することはできない、という事実に起因する。単一または複数のダウンミックス・チャネルに対するこのようなエネルギー変動は、低ビットレート条件下で動作するオーディオ・エンコーダ２０５（図２）またはオーディオ・デコーダ３０２（図３）によって引き起こされる可能性がある。このような状況はモノラル・ダウンミックス・チャネルまたはステレオ・ダウンミックス・チャネルのエネルギー操作をもたらす可能性があるが、この操作は左右のステレオ・ダウンミックス・チャネル間で異なる場合もあれば、周波数選択的及び時間選択的である場合もある。

本発明によれば、このようなエネルギー変動に対して完全に安全であるために、全てのダウンミックス・チャネルの各ブロック及び各周波数帯毎に、追加的なレベル・パラメータが送信されてもよい。バランス・パラメータがダウンミックス信号ではなくオリジナル信号を基礎とする場合、いかなるエネルギー補正もオリジナル・チャネル間のバランス状況に影響しないことから、各帯域に対して単一の補正ファクタで十分である。追加的なレベル・パラメータが送信されない場合でも、ダウンミックス・チャネルのエネルギー変動が音像における音源定位の歪みをもたらすことはなく、全体的なラウドネス変化をもたらすだけであり、この変化はバランス条件の変動によって引き起こされる音源の移動ほど厄介ではない。

（ダウンミックスされたチャネルの）エネルギーＭは、先に概説したように、エネルギーＢ、Ｄ、Ａ、Ｅ、Ｃ及びＦの和になるように注意する必要があることは重要である。しかし、１チャネルにダウンミックスされつつある様々なチャネル間の位相依存性に起因して、必ずしもこの通りにいくものではない。エネルギー補正ファクタが追加的なパラメータｒ_Mとして送信されることも可能であり、この時、デコーダ側で受信されるダウンミックスされた信号のエネルギーは、

と定義することができる。

追加的なパラメータｒ_M の適用例を、図９に示す。ダウンミックスされた入力信号は、アップミックス・モジュールへ送信される前に、レベル補正器９０２でｒ_Mパラメータにより修正される。この点は、図７と同じであり、よって詳述を省く。当業者にとって、上述のような単一チャネルのダウンミックス例のためのパラメータｒ_Mが、各ダウンミックス・チャネルにつき１つづつ与えられるように応用可能であり、よって単一のダウンミックス・チャネルに限定されないことは明らかである。

図９ａは本発明のレベル・パラメータ計算器９００を示し、図９ｂは本発明のレベル補正器９０２を示す。図９ａはエンコーダ側の状況を示し、図９ｂはデコーダ側の対応する状況を示す。レベル・パラメータまたは「追加的な」パラメータｒ_Mは、所定のエネルギー比率を与える補正ファクタである。これを説明するために、次のような例示的シナリオを想定する。あるオリジナル・マルチチャネル信号のために、一方で「マスタ・ダウンミックス」が存在し、他方で「パラメータ・ダウンミックス」が存在する。マスタ・ダウンミックスは、サウンド・スタジオにおいてサウンド・エンジニアにより、例えば主観的な音質の印象に基づいて生成されている。加えて、あるオーディオ記憶媒体がパラメータ・ダウンミックスを含み、このパラメータ・ダウンミックスは、例えば図２のサラウンド・エンコーダ２０３によって与えられる。このパラメータ・ダウンミックスは、１個または２個のベース・チャネルを含み、これらのベース・チャネルは、バランス・パラメータ・セットまたは他のいずれかのオリジナル・マルチチャネル信号のパラメトリック表示を使用して行う、マルチチャネル再現のための基礎を形成する。

例えば、放送者が、パラメータ・ダウンミックスの送信は希望しないが、マスタ・ダウンミックスを送信機からレシーバへと送信することを希望する場合はあり得る。さらに、マスタ・ダウンミックスをマルチチャネル表示へアップグレードするために、放送者はオリジナル・マルチチャネル信号のパラメトリック表示も送信する。（１つの帯域及び１つのブロックにおける）エネルギーは、マスタ・ダウンミックスとパラメータ・ダウンミックスとの間で変わる可能性がある（かつ典型的には変わる）ことから、ブロック９００において相対的なレベル・パラメータｒ_Mが生成され、追加的なパラメータとしてレシーバへと送信される。このレベル・パラメータはマスタ・ダウンミックスとパラメータ・ダウンミックスとから導出され、好適には、マスタ・ダウンミックスとパラメータ・ダウンミックスとの間における、１ブロック及び１帯域内のエネルギーの比率である。

概して、レベル・パラメータは、オリジナル・チャネルのエネルギーの和（Ｅ_orig）とダウンミックス・チャネルのエネルギーとの比率として計算される。このダウンミックス・チャネルは、パラメータ・ダウンミックス（Ｅ_PD）であっても、マスタ・ダウンミックス（Ｅ_MD）または他の任意のダウンミックス信号であってもよい。典型的には、特定のダウンミックス信号のエネルギーが使用され、エンコーダからデコーダへ送信される。

図９ｂはレベル・パラメータを使用したデコーダ側の構成を示す。レベル・パラメータ及びダウンミックス信号は、レベル補正器のブロック９０２へ入力される。このレベル補正器は、レベル・パラメータに依存して、単一または複数ベース・チャネルを補正する。追加のパラメータｒ_Mは相対値であることから、この相対値は対応するベース・チャネルのエネルギーに対して乗算される。

図９ａ及び図９ｂは、レベル補正が１つまたは複数のダウンミックス・チャネルに適用された状況を示しているが、レベル・パラメータはまたアップミックス行列に統合されてもよい。この場合、図８の式に現出するＭは、全て項「ｒ_MＭ」に置換される。

２つのチャネルから５．１チャネルを再生する場合について考慮すると、下記のような知見が得られる。

本発明を、図２及び図３内の２０５及び３０２で略示したような、基本的なオーディオ・コーデックと共に使用する場合は、さらなる考慮を行う必要がある。上記定義のＩＩＤパラメータ、すなわち、ｒ₁を

と定義するＩＩＤパラメータを考慮すると、このパラメータは潜在的にデコーダ側で利用可能である。なぜなら、このシステムは、送信される２チャネルがサラウンド・チャネルのステレオ・ダウンミックスであることを条件として、２つのチャネルから５．１チャネルを再生するものであるからである。

しかしながら、ビットレート制約下で動作するオーディオ・コーデックは、スペクトル分布を修正する可能性があり、その結果、デコーダ側で測定される左右のエネルギーはエンコーダ側でのエネルギーとは異なる。本発明によれば、再生されるチャネルのエネルギー分布に与えるこのような影響は、２チャネルから５．１チャネルを再現する場合にも、パラメータ

を送信することによって解消される。

信号化手段が装備されていれば、エンコーダは様々なパラメータ・セットを使用して当該の信号セグメントを符号化し、処理されつつある特定の信号セグメントにとって最低の負荷を与えるＩＩＤパラメータ・セットを選ぶことができる。この時、右の前／後チャネル間のエネルギー・レベルが類似し、かつ左の前／後チャネル間のエネルギー・レベルは類似しているが右の前／後チャネルのレベルとは著しく異なる、という可能性はある。パラメータのデルタ符号化及び後続のエントロピー符号化を実施する場合には、ｒ₃及びｒ₄の代わりにｑ₃及びｑ₄を使用することがより効率的である可能性がある。異なる特徴を有する別の信号セグメントに対しては、異なるパラメータ・セットを用いてビットレート負荷を減少させることができる。本発明は、信号セグメントの上記特徴によって、その時点で符号化される信号セグメントのビットレート負荷を最小限に抑えるために、様々なパラメトリック表示の中での自由な切換えを可能にする。最低限度のビットレート負荷を達成するために、ＩＩＤパラメータの様々なパラメータ化の中で切換えを実行し、かつその時点でどのパラメータ化が使用されているかを示す信号化手段を提供できる点は、本発明の本質的な特徴である。

さらに、パラメータのデルタ符号化並びに様々なパラメータ間のデルタ符号化は、周波数軸または時間軸の何れかで行うことができる。本発明によれば、使用される特定のデルタ符号化を示す信号化手段を提供できる場合には、パラメータは他の任意のパラメータに関してデルタ符号化されてもよい。

任意の符号化スキームに関する望ましい特徴として、スケーラブル符号化を実行する能力が挙げられる。これは、符号化されたビットストリームを複数の異なるレイヤに分割できることを意味する。コアレイヤはそれ自身で復号可能であり、より高位のレイヤは復号されたコアレイヤ信号を補強するように復号されることが可能である。異なる環境下では利用可能なレイヤの数は変わる可能性があるが、コアレイヤが利用可能である限り、デコーダは出力サンプルを生成することができる。上述のｒ₁乃至ｒ₅パラメータを使用するマルチチャネル符号化のためのパラメータ化は、スケーラブル符号化によく適合する。故に、例えばエンハンスレイヤにおける２つのサラウンド・チャネル（Ａ及びＥ）のためのデータ、即ちパラメータｒ₃及びｒ₄と、コアレイヤ内の前チャネルに対応するｒ₁及びｒ₂で表示されるパラメータとを格納することが可能である。

図１０に本発明によるスケーラブル・ビットストリームの構成を示す。ビットストリームレイヤは１００１及び１００２で示され、１００１は、波形符号化されたダウンミックス信号と、前チャネル（１０２，１０３及び１０４）の再生に必要なパラメータｒ₁及びｒ₂とを持つコアレイヤである。１００２で示すエンハンスレイヤは、後チャネル（１０１及び１０５）を再生するためのパラメータｒ₃，ｒ₄を持つ。

本発明の他の重要な態様は、マルチチャネル構成におけるデコリレータの使用である。デコリレータを使用する概念は、特許文献１において、１から２チャネルの場合に関して詳述されている。しかしながら、この理論を２以上のチャネルの場合へと拡大すると、幾つかの問題が発生する。本発明は、これらの問題を解決する。

初等数学によれば、N個の信号からM個の相互に非相関な信号を実現するためには、M−N個のデコリレータが必要となる。但し、異なるデコリレータは全て、共通の入力信号から相互に直交する出力信号を生成する関数器である。デコリレータは、典型的には全域通過フィルタまたは全域通過に近いフィルタであり、入力ｘ(ｔ)が与えられた時、Ｅ[|y|²]＝Ｅ[|x|²]及び略零に近い相互相関関係Ｅ[ｙｘ^*]を有する出力ｙ(ｔ)を生成する。優れたデコリレータの設計にはさらなる知覚的基準が加わるが、設計方法の幾つかの例は、オリジナル信号を非相関信号へ加算する際にコムフィルタの特徴を最小限に抑え、かつ過渡信号の中で時として長すぎるインパルス応答の効果を最小限に抑えるものであってもよい。先行技術によるデコリレータの中には、人工残響器(artificial reverberator)を使用して非相関にするものがある。また先行技術は、より高いエコー密度、ひいてはさらなる時間冗長を達成するために、例えば複合サブバンド・サンプルの位相を修正するような非整数遅延(fractional delays)処理も含む。

本発明は、１つの残響ベースのデコリレータを修正して、共通の入力信号から相互に非相関な出力信号を生成する複数のデコリレータを達成するための方法を提案する。２つのデコリレータは、同じ入力が与えられた時、それらの出力ｙ₁(ｔ)及びｙ₂(ｔ)が、零かまたは略零に近い相互相関性を有していれば、相互に非相関と言える。入力が定常性のホワイトノイズであるものと仮定すれば、インパルス応答ｈ₁及びｈ₂は、Ｅ［ｈ₁ｈ₂ ^*］が零かまたは略零に近いという意味で、直交していなければならないことになる。ペア単位で相互に非相関であるデコリレータのセットは、幾つかの方法で構築することができる。このような修正の効率的な実行方法の１つは、上記非整数遅延の一部である位相回転ファクタｑを変化させることである。

本発明では、位相回転ファクタは、全域通過フィルタ内の遅延ラインの一部であってもよいし、または単に全体的な非整数遅延であってもよい、と規定している。後者の場合、この方法は全域通過フィルタまたは残響状のフィルタに限定されず、例えば非整数遅延部分を含む単純遅延に適用することもできる。デコリレータにおける全域通過フィルタ・リンクは、Ｚドメインにおいて、

と記述することができる。但し、ｑは複素数値による位相回転ファクタ（|ｑ|＝１）であり、mはサンプル内の遅延ラインの長さであり、ａはフィルタ係数である。安定性を理由として、フィルタ係数の大きさは、|ａ|＜１に限定されなければならない。しかしながら、代替フィルタ係数ａ'＝−ａを使用することで、同じ残響減衰特性を有し、他方でその出力は非修正残響器からの出力とは著しく非相関である、新たな残響器が定義される。さらに、位相回転ファクタｑの修正は、例えば一定の位相オフセットｑ'＝ｑｅ^jcを加算することで実行することができる。定数Ｃは、一定の位相オフセットとして使用されてもよいが、それが適用される全ての周波数帯のための一定の時間オフセットに対応するように、スケーリングされてもよい。また位相オフセット定数Ｃは、全ての周波数帯で異なるランダム値であってもよい。

本発明によれば、ｍ個のチャネルからのｎ個のチャネルの生成は、サイズｎ×（ｍ＋ｐ）を有するアップミックス行列Ｈを、信号

のサイズ（ｍ＋ｐ）×１を有する列ベクトルに適用することにより実行される。但し、ｍはｍダウンミックスされかつ符号化された信号であり、ｓ内のｐ信号は、相互に非相関であり、かつｍ内の全信号と非相関である。これらの非相関信号は、ｍ内の信号からデコリレータによって生成される。次に、ｎ個の再現信号ａ’，ｂ’，...は、列ベクトルｘ’＝Ｈｙに包含される。

上述の説明は図１１に示され、非相関信号はデコリレータ１１０２、１１０３及び１１０４によって生成される。アップミックス行列Ｈは１１０１で示され、ベクトルｙに作用して出力信号ｘ’を生成する。

Ｒ＝Ｅ[ｘｘ^*]をオリジナル信号ベクトルの相関行列とし、Ｒ’＝Ｅ[ｘ’ｘ’^*]を再現された信号の相関行列とする。この場合、及びこれ以降、複素数成分を有する行列またはベクトルＸに関して、Ｘ^*は随伴行列、即ちＸの複素共軛転置行列を指す。Ｒの対角はエネルギー値Ａ，Ｂ，Ｃ，...を含み、上述のように定義したエネルギーの割当量から合計エネルギーレベルへと復号化されることが可能である。Ｒ^*＝Ｒであることから、アップミックス行列Ｈの調整によって完全または部分的に再現されるべき情報を含む異なる非対角の相互相関値は、ｎ（ｎ−１）／２個しか存在しない。完全相関構成の再現は、Ｒ’＝Ｒの場合に相当する。正確なエネルギー・レベルの再現は、Ｒ’及びＲがその対角上で等しい場合に対してのみ対応する。

ｍ＝１チャネルからｎチャネルを再現する場合では、完全な相関構成の再現は、ｐ＝ｎ−１個の相互に非相関なデコリレータと、条件、

を満たすアップミックス行列Ｈとを使用することにより達成される。但し、Ｍは単一の送信された信号のエネルギーである。Ｒは半正値(positive semidefinite)であることから、このような手法が存在することは周知である。さらに、Ｈの設計に関してはｎ（ｎ−１）／２の自由度が残され、本発明ではこれを使用してアップミックス行列の望ましいさらなる特性が得られる。中心的な設計基準は、送信される相関データに対するＨの依存性は略平坦である、というものである。

アップミックス行列をパラメータ化する簡便な方法の１つは、Ｈ＝ＵＤＶである。但し、Ｕ及びＶは直交行列であり、Ｄは対角行列である。Ｄの絶対値の平方は、Ｒ／Ｍの固有値に等しくなるように選ぶことができる。第１の座標へ最大値が適用されるように、Ｖを省いて固有値をえり分けることで、出力における非相関信号の全体エネルギーは最小限に抑えられる。現実の場合には、直交行列Ｕはｎ（ｎ−１）／２の回転角でパラメータ化される。これらの角度の形式を持つ相関データとＤのｎ個の対角値とを送信すれば、Ｈの好ましい平坦化された依存性が即座にもたらされるであろう。しかしながら、この手法では、エネルギーデータが固有値に変換されなければならないことから、スケーラビリティが犠牲にされる。

本発明が提供する第２の方法は、正規化された相関行列Ｒ₀をＲ＝ＧＲ₀Ｇで定義することにより、Ｒにおける相関部分からエネルギー部分を分離する方法である。但し、ＧはＲの対角成分の平方根に等しい対角値を有する対角行列、即ち√A,√B...であり、Ｒ₀は対角上に１を有する。等しいエネルギーを有する完全に非相関な信号の場合において、Ｈ₀を、好適な正規化されたアップミックスを定義する直交アップミックス行列であるとする。このような好適なアップミックス行列の例は、

である。

この時、アップミックスは、

で定義される。但し、行列ＳはＳＳ^*＝Ｒ₀の解である。Ｒ₀における正規化された相互相関値に対するこの解の依存性は、連続性を有するように、かつＲ₀＝Ｉの場合においてＳが恒等行列（identity matrix）Ｉに等しくなるように選択される。

ｎ個のチャネルをより少ないチャネル・グループに分割することは、部分的な相互相関構成を再現する簡便な方法である。本発明によれば、１チャネルから５．１チャネルを再現する場合にとって特に効果的なグループ分けは、｛ａ，ｅ｝，｛ｃ｝，｛ｂ，ｄ｝，｛ｆ｝である。但し、グループ｛ｃ｝，｛ｆ｝に非相関化は適用されず、グループ｛ａ，ｅ｝，｛ｂ，ｄ｝は同じようにダウンミックス化／非相関化されたペアのアップミックスによって生成される。これら２つのサブシステムのために、完全に非相関化された場合における好ましい正規化されたアップミックスは、各々、

として選定される。従って、合計１５個の相互相関関係うちの僅か２つ、即ちチャネル｛ａ，ｅ｝及び｛ｂ，ｄ｝の間の相互相関関係だけが送信され、再現されることになる。上述の説明で使用した用語上では、ｎ＝６，ｍ＝１及びｐ＝１の場合に関する設計の一例となる。アップミックス行列Ｈは６×２のサイズを持ち、出力ｃ’及びｆ’に対応する、第３行及び第６行の第２の列における２つの成分にゼロを有する。

本発明が提供する非相関化された信号を組み込む第３の手法は、より単純な視点から、各出力チャネルが、非相関化された信号ｓ_a，ｓ_b...を発生させる異なるデコリレータを備える、というものである。従って、再現される信号は、

として形成される。

パラメータφ_a，φ_b...は、出力チャネルａ’，ｂ’，...内に存在する非相関化された信号の量を制御する。相関データは、これらの角度の形式で送信される。例えば、チャネルａ’及びｂ’間に結果的に生じる正規化された相互相関関係が積cosφ_acosφ_bに等しい、という計算は容易である。ペア単位の相互相関関係の数がｎ（ｎ−１）／２であり、かつｎ個のデコリレータが存在することから、ｎ＞３である場合には、概してこの手法では与えられた相関構成に適合することができない。しかし、復号方法が極めて単純かつ安定していて、各出力チャネル内に存在する非相関化された信号の生成量を直接制御できるという優位点がある。これにより、非相関化された信号のミキシングは、例えばチャネル・ペアのエネルギーレベル差を組み込む知覚的基準に基づいて実行することが可能になる。

ｍ＞１個のチャネルからｎ個のチャネルを再現する場合では、相関行列Ｒ_y＝Ｅ[ｙｙ^*]をもはや対角であるとすることはできず、この点は、Ｒ’＝ＨＲ_yＨ^*を目標Ｒへ整合させる際に考慮されなければならない。Ｒ_yは、ブロック行列構成、

を有することから、単純化することができる。但し、Ｒ_m＝Ｅ[ｍｍ^*]であり、Ｒ_s＝Ｅ[ｓｓ^*]である。さらに、相互非相関化されたデコリレータを想定すると、行列Ｒ_sは対角である。この点は、正確なエネルギーの再現に関連して、アップミックスの設計にも影響を与えることに留意されたい。解決法としては、ダウンミックスされた信号の相関構成Ｒ_mに関する情報をデコーダにおいて計算するか、またはエンコーダから送信することが挙げられる。

２つのチャネルから５．１チャネルを再現する場合では、アップミックスの好適な方法は、

である。但し、ｓ₁はｍ₁＝ｌ_dの非相関化から得られ、ｓ₂はｍ₂＝ｒ_dの非相関化から得られる。

この場合、グループ｛ａ，ｂ｝及び｛ｄ，ｅ｝は、ペア単位の相互相関関係を考慮しながら、別個の１→２チャネル・システムとして扱われる。チャネルｃ及びｆに関しては、重みが、

であるように調整される。

本発明は、ハードウェア・チップ及びＤＳＰの双方において、様々な種類のシステムのために、アナログまたはデジタルの信号の記憶または送信に、任意のコーデックを使用して適用することができる。図２及び図３は、本発明の可能な適用例を示す。この例では、６つの入力信号（５．１チャネル構成）に作用するシステムが表示されている。図２はエンコーダ側を示し、別々のチャネル用のアナログ入力信号がデジタル信号に変換２０１され、各チャネル毎にフィルタバンクを使用して解析２０２される。フィルタバンクからの出力はサラウンド・エンコーダ２０３へ供給され、このサラウンド・エンコーダ２０３に含まれるパラメータ生成器がダウンミックスを実行して、オーディオ・エンコーダ２０５により符号化されるべき１つまたは２つのチャネルが生成される。さらに本発明により、ＩＩＤパラメータ及びＩＣＣパラメータ等のサラウンド・パラメータが抽出され、かつ制御データ２０４が抽出され、この制御データは、上記データの時間周波数グリッドと、どのパラメータ化が使用されるかを略示する。抽出されたパラメータは、本発明によれば、様々なパラメータ化間での切換か、またはパラメータのスケーラブルな配置かの何れかの方法によって符号化２０６される。サラウンド・パラメータ２０７と、制御信号と、ダウンミックスされ符号化された信号２０８とは、多重化２０９されて連続的なビットストリームとなる。

図３はデコーダの典型的な適用例、即ちマルチチャネル再現を実現するための装置を表示している。ここでは、オーディオ・デコーダは、ＱＭＦ合成フィルタバンクに先立って、周波数ドメイン表示の信号、例えばＭＰＥＧ−４高効率ＡＡＣデコーダからの出力信号を出力することが想定されている。上記連続的なビットストリームは逆多重化３０１され、符号化されたサラウンド・データはサラウンド・データ・デコーダ３０３へと供給され、ダウンミックスされ符号化されたチャネルは、本例ではＭＰＥＧ−４高効率ＡＡＣデコーダであるオーディオ・デコーダ３０２へと供給される。上記サラウンド・データ・デコーダはサラウンド・データを復号し、それをサラウンド・デコーダ３０５へと供給する。サラウンド・デコーダ３０５はアップミキサを含み、アップミキサは、復号されたダウンミックス・チャネルと、サラウンド・データと、制御信号３０４とに基づいて６つのチャネルを再生する。サラウンド・デコーダからの周波数ドメインの出力は、合成３０６されて時間ドメイン信号となり、この信号は続いてＤＡＣ３０７によりアナログ信号に変換される。

以上、主にバランス・パラメータの生成及び使用に関連して本発明を説明してきたが、好適には、バランス・パラメータを導出するための同じチャネル・ペアのグループ分けが、これらの２つのチャネル・ペア間のチャネル間コヒーレンス・パラメータまたは「幅」パラメータの計算にも使用される点は強調されるべきである。さらに、チャネル間の時間差またはある種の「位相キュー」も、バランス・パラメータの計算に使用される同じチャネル・ペアを使用して導出することができる。レシーバ側では、これらのパラメータをバランス・パラメータに追加して、またはその代替として使用し、マルチチャネル再現を実現することができる。或いは、チャネル間コヒーレンス・パラメータまたはチャネル間時間差をも、他の参照チャネルによって決定される他のチャネル間レベル差に追加して使用することができる。但し、図１０ａ及び図１０ｂに関連して上述したような、本発明のスケーラビリティに関する特徴の観点からすると、全てのパラメータに同一のチャネル・ペアを使用することが好適である。その場合、スケーラブル・ビットストリーム内において、各スケーリングレイヤが、出力チャネルのサブグループを再現するための全パラメータを含み、それら出力チャネルのサブグループは、図１０ｂの表における最後から２番目の列に略示しているような個々のスケーリングレイヤにより生成され得るものである。本発明は、個々のチャネル・ペア間のコヒーレンス・パラメータまたは時間差パラメータのみが計算されてデコーダへ送信される場合に有益である。この場合、レベル・パラメータは、マルチチャネル再現が実行される時、デコーダに既に存在して使用可能となっている。

本発明の方法を実施する際には所定の要件に依存するが、本発明の方法はハードウェアまたはソフトウェアにおいて実装することができる。これらの実装は、デジタル式の記憶媒体、特に本発明の方法が実行されるようにプログラム可能なコンピュータ・システムと共働する、内部に格納された電子的に読取り可能な制御信号を有するディスクまたはＣＤを使用して、実行することができる。従って、概して本発明は、機械で読取り可能なキャリア上に記憶されるプログラム・コードを有するコンピュータ・プログラムの製品であり、このプログラム・コードは、上記コンピュータ・プログラムの製品がコンピュータ上で使用される際に本発明の方法を実行するように動作する。換言すれば、本発明の方法は、上記コンピュータ・プログラムがコンピュータ上で使用される際に、少なくとも１つの本発明の方法を実行するためのプログラム・コードを有するコンピュータ・プログラムである。

１０１ 後左チャネル（左サラウンド・チャネル）
１０２ 前左チャネル
１０３ 前中央チャネル
１０４ 前右チャネル
１０５ 後右チャネル（右サラウンド・チャネル）
１０６ ＬＦＥ（低周波強化）チャネル
２０３ サラウンド・エンコーダ
２０５ オーディオ・エンコーダ
２０６ サラウンド・データ・エンコーダ
２０９ マルチプレクサ
３０１ デマルチプレクサ
３０２ オーディオ・デコーダ
３０３ サラウンド・データ・デコーダ
３０５ サラウンド・デコーダ
７００ ダウンミキサ
９００ レベル・パラメータ計算器
９０２ レベル補正器

Claims (30)

1. 少なくとも３つのオリジナル・チャネルを有するマルチチャネル入力信号のパラメータ表示を生成するための装置であって、
   第１チャネル・ペア間の第１バランス・パラメータ、第１コヒーレンス・パラメータ又は第１時間差パラメータと、第２チャネル・ペア間の第２バランス・パラメータ、第２コヒーレンス・パラメータ又は第２時間差パラメータとを生成するためのパラメータ生成器（２０３）を備え、
   上記バランス・パラメータ、コヒーレンス・パラメータ又は時間差パラメータは上記パラメータ表示を構成するものであり、
   上記第１チャネル・ペアは、上記第２チャネル・ペアの２つのチャネルとは異なる２つのチャネルを有し、
   上記２つのチャネル・ペアの各チャネルは、上記オリジナル・チャネルのうちの１つか、上記オリジナル・チャネルの重み付けされ又は重み付けされていない組合せか、ダウンミックス・チャネルか、あるいは少なくとも２つのダウンミックス・チャネルの重み付けされ又は重み付けされていない組合せであり、
   上記第１チャネル・ペアと上記第２チャネル・ペアとは、上記３つのオリジナル・チャネルに関する情報を含み、
   上記パラメータ生成器はパラメータの様々なセットを生成し、各セットは少なくとも２つのパラメータを含み、上記様々なセットの中のパラメータを計算するために使用されるチャネル・ペアは互いに異なり、
   上記パラメータ生成器はさらに、所定のパラメータ符号化スキームが与えられた時、低いビットレートに抑えられるように上記様々なセットの中の１つのセットを現時点で符号化されつつある信号セグメントのための出力として選択し、
   上記装置は、上記選択されたセットを所定のパラメータ符号化スキームを用いて符号化するためのパラメータ・エンコーダと、上記選択されたパラメータ・セットの特性を示す制御情報を生成するためのパラメータ制御情報生成器とをさらに備え、
   上記選択されたパラメータ・セットを特徴付ける上記制御情報（２０４）は、出力ビットストリームの中に含まれることを特徴とする装置。
2. 上記オリジナル・チャネルは左チャネル（Ｂ）と右チャネル（Ｄ）と中央チャネル（Ｃ）とを含み、
   上記第２バランス・パラメータ（ｒ₂ ）は中央バランス・パラメータであり、上記第２チャネル・ペアは、第１チャネルとして上記中央チャネルを有し、第２チャネルとして上記左チャネルと上記右チャネルとを含むチャネルの組合せを有することを特徴とする、請求項１に記載の装置。
3. 上記パラメータ生成器は上記中央バランス・パラメータを次式により計算し、
   

   

   ｒ₂ は上記中央バランス・パラメータであり、Ｃは上記中央チャネルを示し、Ｂは左チャネルを示し、Ｄは右チャネルを示し、γとαとはダウンミックス・ファクタを示すことを特徴とする、請求項２に記載の装置。
4. 上記第１バランス・パラメータ（ｒ₁ ）は左／右バランス・パラメータであり、上記第１チャネル・ペアは、第１チャネルとして左チャネル又は左ダウンミックス・チャネルを有し、第２チャネルとして右チャネル又は右ダウンミックス・チャネルを有することを特徴とする、請求項１乃至３のいずれか１項に記載の装置。
5. 上記パラメータ生成器は上記第１のバランス・パラメータを次式により計算し、
   

   

   ｒ₁ は上記第１バランス・パラメータであり、Ｌは第１ダウンミックス・チャネルを示し、Ｒは第２ダウンミックス・チャネルを示し、Ｂは左チャネルを示し、Ｄは右チャネルを示し、Ａは後左チャネルを示し、Ｅは後右チャネルを示し、Ｃは中央チャネルを示し、Ｆは低周波強化チャネルを示し、α，β，γ，δはダウンミックス・ファクタを示すことを特徴とする、請求項４に記載の装置。
6. 上記オリジナル・チャネルは後左チャネル（Ａ）と後右チャネル（Ｅ）とを含み、
   上記パラメータ生成器は、第３バランス・パラメータ（ｒ₃）として、又は第１および第２バランス・パラメータのうちの１つとして、前／後のチャネル・ペア間における前／後のバランス・パラメータを生成し、上記前／後のチャネル・ペアは、第１チャネルとして上記後左チャネルと上記後右チャネルとを含むチャネルの組合せを有し、第２チャネルとして左チャネルと右チャネルとを含むチャネルの組合せを有することを特徴とする、請求項１乃至５のいずれか１項に記載の装置。
7. 上記パラメータ生成器は上記前／後のバランス・パラメータ（ｒ₃）を次式により計算し、
   

   

   ｒ₃ は上記前／後のバランス・パラメータであり、Ａは後左チャネルを示し、Ｅは後右チャネルを示し、Ｂは左チャネルを示し、Ｄは右チャネルを示し、Ｃは中央チャネルを示し、α，β，γはダウンミックス・ファクタを示すことを特徴とする、請求項６に記載の装置。
8. 上記オリジナル・マルチチャネル信号は後左チャネルと後右チャネルとを含み、
   上記パラメータ生成器は、追加的なバランス・パラメータとして、あるいは第１又は第２バランス・パラメータとして、後の左／右チャネル・ペア間における後の左／右バランス・パラメータ（ｒ₄）を生成し、上記後の左／右チャネル・ペアは、第１チャネルとして上記後左チャネルを有し、第２チャネルとして上記後右チャネルを有することを特徴とする、請求項１乃至７のいずれか１項に記載の装置。
9. 上記オリジナル・マルチチャネル信号は低周波強化チャネルと中央チャネルとを含み、
   上記パラメータ生成器は、追加的なバランス・パラメータとして、あるいは第１又は第２バランス・パラメータとして、低周波強化チャネル・ペア間における低周波強化バランス・パラメータを生成し、上記低周波強化チャネル・ペアは、第１チャネルとして上記低周波強化チャネルを有し、第２チャネルとして上記中央チャネルか、又はこの中央チャネルとオリジナル・チャネルの左右のチャネルとを含むチャネルの組合せを有することを特徴とする、請求項１乃至８のいずれか１項に記載の装置。
10. 上記パラメータ生成器は上記低周波強化バランス・パラメータを次式により計算し、
    

    

    Ａは後左チャネルを示し、Ｅは後右チャネルを示し、Ｂは左チャネルを示し、Ｄは右チャネルを示し、Ｃは中央チャネルを示し、Ｆは低周波強化チャネルを示し、α，β，γ，δはダウンミックス・ファクタを示し、ｒ₅ は上記低周波強化バランス・パラメータを示すことを特徴とする、請求項９に記載の装置。
11. 上記パラメータ生成器は、上記第１および第２バランス・パラメータの内の１つとして、あるいは追加的なバランス・パラメータとして、片側の前／後のチャネル・ペア間で少なくとも１つの片側の前／後のバランス・パラメータ（ｑ₃ ，ｑ₄）を生成し、上記片側の前／後のチャネル・ペアは、第１チャネルとして後左チャネルを有しかつ第２チャネルとして左チャネルを有するか、又は第１チャネルとして後右チャネルを有しかつ第２チャネルとして右チャネルを有することを特徴とする、請求項１乃至１０のいずれか１項に記載の装置。
12. 上記第１および第２バランス・パラメータの内の１つは第１の左又は右のバランス・パラメータであり、そのチャネル・ペアは、第１チャネルとして左ダウンミックス・チャネルを有し、第２チャネルとして左オリジナル・チャネル又は後左オリジナル・チャネルを有し、
    上記第１および第２バランス・パラメータの内の１つは右のバランス・パラメータであり、そのチャネル・ペアは、第１チャネルとして右ダウンミックス・チャネルを有し、第２チャネルとして右オリジナル・チャネル又は後右オリジナル・チャネルを有し、
    上記第１又は第２バランス・パラメータ又は追加的なバランス・パラメータのうちの１つは中央バランス・パラメータであり、そのチャネル・ペアは、第１チャネルとして左右のダウンミックス・チャネルの合計を有し、第２チャネルとしてオリジナル中央チャネルを有することを特徴とする、請求項１乃至１１のいずれか１項に記載の装置。
13. 上記パラメータ生成器は、第１バランス・パラメータとして左バランス・パラメータを生成し、第２バランス・パラメータとして右バランス・パラメータを生成し、第３バランス・パラメータとして中央バランス・パラメータを生成することを特徴とする、請求項１２に記載の装置。
14. 上記パラメータ生成器は、第４バランス・パラメータとして左／左サラウンドのバランス・パラメータを生成し、第５バランス・パラメータとして右／右サラウンドのバランス・パラメータを生成することを特徴とする、請求項１２に記載の装置。
15. 上記パラメータ・エンコーダは量子化器を含むことを特徴とする、請求項１乃至１４のいずれか１項に記載の装置。
16. 上記パラメータ生成器は、上記チャネル・ペアに含まれるチャネルとして、ベース・チャネル又はベース・チャネルの組合せを使用せず、オリジナル・チャネル又はオリジナル・チャネルの組合せだけを使用することを特徴とする、請求項１乃至１５のいずれか１項に記載の装置。
17. 上記パラメータ・エンコーダは、上記選択されたセットのデルタ符号化およびそれに続くエントロピー符号化を実行するよう構成されていることを特徴とする、請求項１乃至１６のいずれか１項に記載の装置。
18. 上記デルタ符号化は、周波数軸及び時間軸のいずれか、又は異なるパラメータ間で実行され、
    上記使用されたデルタ符号化を示す信号化手段をさらに備えていることを特徴とする、請求項１７に記載の装置。
19. 少なくとも３つのオリジナル・チャネルを有するオリジナル・マルチチャネル信号の再生マルチチャネル表示を生成するための装置であって、この装置は、ダウンミックス・スキームを用いて上記オリジナル・マルチチャネル信号を変換することで生成された１つ又は複数のベース・チャネルと、第１チャネル・ペア間の第１バランス・パラメータ、第１コヒーレンス・パラメータ又は第１時間差パラメータと、第２チャネル・ペア間の第２バランス・パラメータ、第２コヒーレンス・パラメータ又は第２時間差パラメータとを使用しており、
    上記第１と第２のバランス・パラメータ、コヒーレンス・パラメータ又は時間差パラメータはパラメータ表示を構成するものであり、上記第１チャネル・ペアは、上記第２チャネル・ペアが有する２つのチャネルとは異なる２つのチャネルを有し、上記２つのチャネル・ペアの各チャネルは、上記オリジナル・チャネルのうちの１つか、上記オリジナル・チャネルの重み付けされ又は重み付けされていない組合せか、ダウンミックス・チャネルか、あるいは少なくとも２つのダウンミックス・チャネルの重み付けされ又は重み付けされていない組合せであり、上記第１チャネル・ペアと上記第２チャネル・ペアとは、上記３つのオリジナル・チャネルに関する情報を含み、
    さらに選択されたパラメータ・セットを特徴付ける制御情報（３０４）を用いる装置において、
    複数のアップミックス・チャネルを生成するためのアップミキサ（３０５）を備え、上記アップミックス・チャネルの数はベース・チャネルの数よりも多くかつオリジナル・チャネルの数よりも少ないか同数であり、
    上記ダウンミックス・スキームに関する情報に基づき、かつ、第１のチャネル・ペア間のバランス、コヒーレンス又はチャネル間時間差が上記第１バランス・パラメータに基づいて決定され、かつ第２のチャネル・ペア間のバランス、チャネル間コヒーレンス又はチャネル間の時間差が上記第２バランス・パラメータに基づいて決定されるように、上記バランス・パラメータ、コヒーレンス・パラメータ又はチャネル間時間差を使用して、上記アップミキサは再生チャネルを生成し、
    上記アップミキサ（３０５）がパラメータ・セット制御情報によって示されたパラメータ・セットを適用するように、上記アップミキサを制御するためのパラメータ・セット選択器をさらに備えることを特徴とする装置。
20. 上記オリジナル・チャネルは左チャネル（Ｂ）と右チャネル（Ｄ）と中央チャネル（Ｃ）とを含み、
    上記第２バランス・パラメータ（ｒ₂ ）は中央バランス・パラメータであり、上記第２チャネル・ペアは、第１チャネルとして上記中央チャネルを有し、第２チャネルとして上記左チャネルと上記右チャネルとを含むチャネルの組合せを有し、
    上記アップミキサは、上記第２バランス・パラメータ（ｒ₂）に基づいて、再生中央チャネルを生成することを特徴とする、請求項１９に記載の装置。
21. 上記第１バランス・パラメータ（ｒ₁）は左／右バランス・パラメータであり、上記第１チャネル・ペアは、第１チャネルとして左チャネル又は左ダウンミックス・チャネルを有し、第２チャネルとして右チャネル又は右ダウンミックス・チャネルを有し、
    上記アップミキサは、上記第１バランス・パラメータ（ｒ₁）に基づいて、再生左チャネルと再生右チャネルとを生成することを特徴とする、請求項１９又は２０に記載の装置。
22. 上記オリジナル・チャネルは後左チャネル（Ａ）と後右チャネル（Ｅ）とを含み、
    上記パラメータ表示は、第３バランス・パラメータ（ｒ₃）として、又は第１および第２バランス・パラメータの内の１つとして、前／後のチャネル・ペア間における前／後のバランス・パラメータを含み、上記前／後のチャネル・ペアは、第１チャネルとして上記後左チャネルと上記後右チャネルとを含むチャネルの組合せを有し、第２チャネルとして左チャネルと右チャネルとを含むチャネルの組合せを有し、
    上記アップミキサは、前／後のバランス・パラメータ（ｒ₃）を用いて、再生組合せ後チャネルを生成することを特徴とする、請求項１９乃至２１のいずれか１項に記載の装置。
23. 上記オリジナル・マルチチャネル信号は後左チャネルと後右チャネルとを含み、
    上記パラメータ表示は、追加的なバランス・パラメータとして、あるいは第１又は第２バランス・パラメータとして、後の左／右チャネル・ペア間における後の左／右バランス・パラメータ（ｒ₄）を含み、上記後の左／右チャネル・ペアは、第１チャネルとして上記後左チャネルを有し、第２チャネルとして上記後右チャネルを有することを特徴とする、請求項１９乃至２２のいずれか１項に記載の装置。
24. 上記装置に供給されるパラメータ情報は、第１バランス・パラメータとして左／右のバランス・パラメータを含み、第２バランス・パラメータとして中央バランス・パラメータを含み、第３バランス・パラメータとして前／後のバランス・パラメータを含み、第４バランス・パラメータとして後の左／右バランス・パラメータを含み、第５バランス・パラメータとして低周波強化バランス・パラメータを含み、上記データストリームは、上記第１および第２バランス・パラメータを低位のスケーリングレイヤの中に含み、上記第３および第４バランス・パラメータ、対応するコヒーレンス・パラメータ又は対応する時間差を単一又は複数の高位のスケーリングレイヤの中に含み、かつ
    上記アップミキサは、上記第１バランス・パラメータと上記第２バランス・パラメータとを用いて、左出力チャネルと、右出力チャネルと、上記中央出力チャネルを含む出力チャネルとを生成するか、又は
    上記アップミキサは、上記前／後のバランス・パラメータをさらに用いて、上記後左チャネルと上記後右チャネルとの合計をさらに再現するか、又は
    上記アップミキサは、追加的に、上記後の左／右バランス・パラメータを用いて、後左チャネルと後右チャネルとを再現することを特徴とする、請求項１９乃至２３のいずれか１項に記載の装置。
25. 上記アップミキサは上記再生マルチチャネル信号を次式により生成し、
    

    

    Ｆは低周波強化チャネルを示し、Ａは左サラウンド・チャネルを示し、Ｅは右サラウンド・チャネルを示し、Ｃは中央チャネルを示し、Ｂは左チャネルを示し、Ｄは右チャネルを示し、ｒ₁ は左／右バランス・パラメータであり、ｒ₂ は中央／左＋右バランス・パラメータであり、ｒ₃ は前／後のバランス・パラメータであり、ｒ₄ は後の左／右バランス・パラメータであり、ｒ₅ は中央／低周波強化バランス・パラメータであり、α，β，γ, δはダウンミックス・ファクタを示すことを特徴とする、請求項２４に記載の装置。
26. 上記ベース・チャネルの数は２以下であり、上記パラメータ表示は、第１および第２バランス・パラメータのうちの１つとして、又は追加的なバランス・パラメータとして、片側の前／後のチャネル・ペア間で少なくとも１つの片側の前／後のバランス・パラメータ（ｑ₃ ，ｑ₄）を含み、上記片側の前／後のチャネル・ペアは、第１チャネルとして後左チャネルを有しかつ第２チャネルとして左チャネルを有するか、又は第１チャネルとして後右チャネルを有しかつ第２チャネルとして右チャネルを有し、
    上記アップミキサは、左チャネル又は右チャネルと対応する片側の前／後のバランス・パラメータとに基づいて、再生の後左チャネル又は再生の後右チャネルを生成することを特徴とする、請求項１９乃至２５のいずれか１項に記載の装置。
27. 上記第１および第２バランス・パラメータの内の１つは第１の左又は右のバランス・パラメータであり、そのチャネル・ペアは、第１チャネルとして左ダウンミックス・チャネルを有し、第２チャネルとして左オリジナル・チャネル又は後左オリジナル・チャネルを有し、あるいは、
    上記第１および第２バランス・パラメータの内の１つは右のバランス・パラメータであり、そのチャネル・ペアは、第１チャネルとして右ダウンミックス・チャネルを有し、第２チャネルとして右オリジナル・チャネル又は後右オリジナル・チャネルを有し、あるいは、
    上記第１又は第２バランス・パラメータ又は追加的なバランス・パラメータのうちの１つは中央バランス・パラメータであり、そのチャネル・ペアは、第１チャネルとして左右のダウンミックス・チャネルの合計を有し、第２チャネルとしてオリジナル中央チャネルを有し、かつ
    上記アップミキサは、上記パラメータと、上記第１ベース・チャネル又は上記第２ベース・チャネル又は上記第１および第２ベース・チャネルの組合せとを用いて、上記再生チャネルを生成することを特徴とする、請求項１９乃至２６のいずれか１項に記載の装置。
28. 上記パラメータ・セットは、ｒ₃及びｒ₄の代わりにｑ₃及びｑ₄ を含み、
    上記ｑ₃ は、第１チャネルとして後−左チャネルを持ち、第２チャネルとして左チャネルを持つ、片側の前／後のチャネル・ペア間の第１の片側の前／後のバランス・パラメータであり、
    上記ｑ₄ は、第１チャネルとして後−右チャネルを持ち、第２チャネルとして右チャネルを持つ、片側の前／後のチャネル・ペア間の第２の片側の前／後のバランス・パラメータであり、
    上記ｒ₃ は前／後のバランスパラメータであり、
    上記ｒ₄ は後の左／右バランスパラメータであることを特徴とする請求項１９乃至２７のいずれか１項に記載の装置。
29. 少なくとも３つのオリジナル・チャネルを有するマルチチャネル入力信号のパラメータ表示を生成するための方法であって、
    第１チャネル・ペア間の第１バランス・パラメータ、第１コヒーレンス・パラメータ又は第１時間差パラメータを生成する工程（２０３）と、
    第２チャネル・ペア間の第２バランス・パラメータ、第２コヒーレンス・パラメータ又は第２時間差パラメータを生成する工程とを備え、
    上記バランス・パラメータ、コヒーレンス・パラメータ又は時間差パラメータは上記パラメータ表示を構成するものであり、
    上記第１チャネル・ペアは上記第２チャネル・ペアが有する２つのチャネルとは異なる２つのチャネルを有し、
    上記２つのチャネル・ペアの各チャネルは、上記オリジナル・チャネルのうちの１つか、上記オリジナル・チャネルの重み付けされ又は重み付けされていない組合せか、ダウンミックス・チャネルか、あるいは少なくとも２つのダウンミックス・チャネルの重み付けされ又は重み付けされていない組合せであり、
    上記第１チャネル・ペアと上記第２チャネル・ペアとは上記３つのオリジナル・チャネルに関する情報を含み、
    パラメータの様々なセットを生成し、各セットは少なくとも２つのパラメータを含み、上記様々なセットの中のパラメータを計算するために使用されるチャネル・ペアは互いに異なり、
    所定のパラメータ符号化スキームのもとで低いビットレートに抑えられるように、上記様々なセットの中の１つのセットを、現時点で符号化されつつある信号セグメントのための出力として選択し、
    上記方法は、上記選択されたセットを所定のパラメータ符号化スキームを用いて符号化し、上記選択されたパラメータ・セットの特性を示す制御情報を生成するステップをさらに備え、
    上記選択されたパラメータ・セットを特徴付ける上記制御情報は、出力ビットストリームの中に含まれることを特徴とする方法。
30. 少なくとも３つのオリジナル・チャネルを有するオリジナル・マルチチャネル信号の再生マルチチャネル表示を生成する方法であって、
    上記方法は、ダウンミックス・スキームを用いて上記オリジナル・マルチチャネル信号を変換することで生成された１つ又は複数のベース・チャネルと、第１チャネル・ペア間の第１バランス・パラメータ、第１コヒーレンス・パラメータ又は第１時間差パラメータと、第２チャネル・ペア間の第２バランス・パラメータ、第２コヒーレンス・パラメータ又は第２時間差パラメータとを使用し、
    上記第１と第２のバランス・パラメータ、コヒーレンス・パラメータ又は時間差パラメータはパラメータ表示を構成するものであり、上記第１チャネル・ペアは、上記第２チャネル・ペアが有する２つのチャネルとは異なる２つのチャネルを有し、上記２つのチャネル・ペアの各チャネルは、上記オリジナル・チャネルのうちの１つか、上記オリジナル・チャネルの重み付けされ又は重み付けされていない組合せか、ダウンミックス・チャネルか、あるいは少なくとも２つのダウンミックス・チャネルの重み付けされ又は重み付けされていない組合せであり、上記第１チャネル・ペアと上記第２チャネル・ペアとは、上記３つのオリジナル・チャネルに関する情報を含み、
    さらに現時点で符号化されつつある信号セグメントのために選択されたパラメータ・セットを特徴付ける制御情報（３０４）を用いる方法において、
    ベース・チャネルの数よりも多くかつオリジナル・チャネルの数よりも少ないか同じである数のアップミックス・チャネルを生成する工程（３０５）を備え、上記生成工程（３０５）は、パラメータ・セット制御情報によって示された上記選択されたパラメータ・セットが上記信号セグメントに適用されるように制御され、
    上記アップミックス・チャネルを生成する工程は、上記ダウンミックス・スキームに関する情報に基づき、かつ、第１のチャネル・ペア間のバランス、コヒーレンス又はチャネル間時間差が上記第１バランス・パラメータに基づいて決定され、かつ第２のチャネル・ペア間のバランス、チャネル間コヒーレンス又はチャネル間時間差が上記第２のバランス・パラメータに基づいて決定されるように、上記バランス・パラメータ、コヒーレンス・パラメータ又はチャネル間時間差を使用して、上記アップミキサは再生チャネルを生成することを特徴とする方法。

Images