JP2005521921A - 信号処理 - Google Patents

Abstract

ステレオデコーダおよびマルチチャンネルデコーダの両方により復号されるマルチチャンネルオーディオストリームのドミナントセンタ信号またはドミナントサラウンド状況の場合に、コンパチビリティマトリックス化を用いてマルチプル入力信号の改良された符号化を提供するコンパチブル信号の合計／差異コーディング。

Description

本発明は情報信号の処理に関し、特にオーディオ信号の処理に関する。

DVBやDVDといった新しいシステムの投入により、デジタルマルチチャンネルサウンドは多くのユーザの手の届くものとなった。しかし、大多数のユーザは、ステレオサウンド再生に長い間とどまるであろう。

２チャンネル機器とマルチチャンネル機器を持つ消費者の両方に役立つ１つのソリューションは、いわゆるサイマルキャストである。この場合、２つの別々の情報信号が並行して送信される。１つはマルチチャンネルサウンドを表し、１つは２チャンネルサウンドを表す。送信または記憶のキャパシティを経済的に利用するため、ほとんどのアプリケーションにおいてオーディオビットレートを削減している。送信または記憶された情報信号は符号化されたビットストリームの形態であり、オーディオ信号を再生するために読み出すデコーダを必要とする。それにもかかわらず、サイマルキャストは送信または記憶キャパシティの点で高価なソリューションであることは明らかである。このため、このソリューションはほとんどの現実的状況では受け入れられない。

他のソリューションは、マルチチャンネルサウンド再生機器を持つ消費者の要求を直接満たすように、マルチチャンネル情報信号のみを送信することである。２チャンネルユーザはマルチチャンネルデコーダを構成するデコーダと、マルチチャンネルから２チャンネルへダウンミックスするダウンミックスモジュールを必要とする。上記の２チャンネルデコーダは、通常のマルチチャンネルデコーダより複雑である。この場合、２チャンネルユーザ（過半数である）は、他人のマルチチャンネル能力の分まで支払わなければならない。

そういったユーザが、高いコストや大きい消費電力の形態で、マルチチャンネルオーディオ能力の負荷を負わなければならないことは望ましくない。また、サイマルキャスト（２チャンネル（ステレオ）とマルチチャンネルストリームの両方の記憶と転送）によりシステムのバンド幅を浪費することも望ましくない。

単一の符号化マルチチャンネルオーディオストリームを本来のステレオデコーダとマルチチャンネルデコーダの両方で復号できる符号化システムは、MPEG-2オーディオバックワードコンパチブルマルチチャンネルコーダ（MPEG-2 BC）である。他のすべてのコーディングシステムにおいては、ステレオデコーダは、基本的にステレオへのダウンミックスがついた（高価な）マルチチャンネルデコーダである。

MPEG-2BCコーダは、例えば、５チャンネルサウンドからステレオへのダウンミックスをエンコーダ側で実行し、純粋なステレオストリームとしてコーディングし、５つの入力信号から適当に選択された３つの信号をエクステンションとして符号化することにより、単一の符号化マルチチャンネルオーディオストリームを本来のステレオデコーダとマルチチャンネルデコーダの両方で復号することを可能としている。ステレオデコーダは純粋なステレオストリームを復号するだけである。マルチチャンネルデコーダもその余分な情報を復号し、ダウンミックスとその他の３チャンネルから元の５チャンネルを回復するために逆行列を用いる。この逆行列はコード化されたビットストリームの副情報として符号化される。

US-B1-6275589はMPEG-1とバックワードコンパチブルなMPEG-2について記載している。これによると、マルチチャンネルサウンドチャンネルの信号はマトリックス化される。プロセスで計算されたステレオ信号は、MPEG-1コンパチブルステレオ信号として送信され、残りのオーディオ信号は補完データとして送信される。この方法は、「コンパチビリティマトリックス化」として知られている。

テン・ケイトによる「マルチチャンネルビットレート削減オーディオ信号のコンパチビリティマトリックス化」（プレプリント3792、第96回AESコンベンション、1994年2月26日〜3月1日、アムステルダム）において、マルチチャンネル構成の信号の１つがステレオダウンミックスの左右チャンネルの両方にダウンミックスされている場合、MPEG-2BCシステムは最適に動作しないことが認識されている。これはセンターチャンネル、またはモノフォニックサラウンドチャンネルの場合である。第１の状態は一般に「ドミナントセンター」状態と呼ばれている。

本発明の目的は、コンパチビリティマトリックス化を用いて複数の入力信号の改良された符号化を提供することである。そのために、独立項に明確に定められた符号化方法、復号方法、符号化装置、復号装置、信号フォーマット、記録担体を本発明が提供する。有利な実施形態が独立項に明確に定められている。

本発明の第１の態様によると、上記目的は、N個の入力信号（N＞２）の符号化であって、
前記N個の入力信号からM個の信号の合成（N>M>=2）を生成し、
前記M個の信号の合成を符号データに符号化し、
前記N個の入力信号のうちN-M個の選択を符号データに符号化し、
前記M個の信号の合成は符号化前に直交化されることを特徴とする符号化により実現される。

好ましくは、前記直交化は合計／差異コーディングと独立コーディングを切り替えることにより行われる。例えば、ドミナントセンタ状況またはドミナントサラウンド状況の場合に、コンパチブル信号、すなわちM個の信号の合成の合計／差異信号コーディングが使用され、他の状況においては独立コーディングが使用される。

本発明の一実施形態において、エンコーダは前記直交化がどのように行われ、その結果逆直交化がどのように行われるべきかを前記デコーダに示すために制御信号を符号化信号に含める。

好ましくは、M=2である。

好ましくは、直交化は周波数ドメインにて行われる。

好ましくは、独立コーディングと合計／差異コーディングは周波数帯域ごとに選択されてもよい。

本発明のこれらおよび他の態様と実施形態は、以下に説明する好ましい実施形態から明らかとなるであろう。

添付した図面とともに本発明の好ましい実施形態の説明を読めば、本発明をより明確に理解できるであろう。

図１は、本発明が実装されるシステム１０全体のブロック図である。システム１０は、N個の入力信号からN-M個の信号へダウンミックスおよび選択するマトリックス１と、ステレオエンコーダ２ａとサラウンドエクステンションエンコーダ２ｂを含むエンコーダ２と、マルチプレクサ／フォーマッタ部３と、ステレオデコーダ４ａとサラウンドエクステンションデコーダ４ｂを含むデコーダ４と、逆行列５と、少なくとも２つのコーディングモードの間でエンコーダ２ａが実行するコーディングを切り替えるスイッチ部１５とを有する。図１に示したシステム１０は、エンコーダ内にダウンミックスを持つマルチチャンネルエンコーダ／マルチチャンネルデコーダシステムである。

N個の入力チャンネル、例えば、左チャンネルL、右チャンネルR、センターチャンネルC、左サラウンド信号LS、右サラウンド信号RSは、最初にマトリックス１に送信され、ステレオエンコーダ２ａとサラウンドエンコーダ２ｂを有するエンコーダ２にさらに送信される。ステレオエンコーダ２ａはM=2信号の合成、例えば、L0=L+C+LSとR0=R+C+RSを符号化する。ステレオエンコーダ２ａは、例えば、ドミナントセンターまたはドミナントサラウンドの場合にL0とR0の合計／差異コーディングにスイッチすることにより、スイッチング部１５とともに、M=2信号の合成を直交化する直交化部１２を有する。直交化部１２は、直交化がどのように行われ、その結果として逆直交化をどのように行うべきかを示す制御信号をデコーダにさらに提供する。符号化は、好ましくは、いわゆる「パーセプチュアルオーディオ符号化」である。そのパーセプチュアルオーディオ符号化によって、オーディオ信号の一連の時間ドメインブロックの各々は、周波数ドメインで符号化される。具体的に、各ブロックの周波数ドメインの表現がバンドに分割され、オーディオ信号が効率的に圧縮されるように各バンドが音響心理学基準に基づき符号化される。他のタイプの符号化方法も可能だが、この例ではこれ以上説明しない。

符号化された信号はマルチプレクサ／フォーマッタ部３でマルチプレックス／フォーマットされ、第1のビットストリーム中のM個の信号の合成および第2のビットストリーム中のN-M個の信号の選択として（デコーダ４に行く２つの矢印として示した）、デコーダ４に信号Qoutとして送信される。信号Qoutは図２に示されている。図２は、互いに「接触している」２つのビットストリームを示す。各ビットストリームはヘッダ７とデータフィールド８および／または９を有する。直交化がどのように実行されたかを示す制御信号は、第１および／または第２ビットストリームのヘッダ７に含まれていてもよい。

あるいは、直交化されたM個の信号の合成を表す符号データと、N-M個の信号の選択を表す符合データは、同じビットストリーム、例えば、データフィールド８と９にそれぞれ含まれている。制御信号は直交化がどのように実行されたかを示すので、ヘッダ７に含まれてもよい。

デコーダ４はステレオデコーダ４ａとサラウンドエクステンションデコーダ４ｂとを有する。マトリックス５は、復号されたステレオストリームと付加的な復号された３チャンネルから元の５チャンネルを導き出す。マトリックス５は、マトリックス１で実行された演算の逆、または実質的に逆の演算を実行する。ステレオデコーダ４ａは、復号後にM=2の合成を逆直交化する逆直交化部１４を有する。この逆直交化部１４は、例えば、直交化がどのように実行されたか、そしてその結果逆直交化がどのように実行されるべきかを示す制御信号によって合計／差異デコーディングまたは独立デコーディングに切り替えることにより、逆直交化する。制御信号は直交化部１２で生成され、符号データストリームに含まれる。

図３は好ましい実施形態によるN個の入力信号を符号化する方法のフロー図である。最初のステップ１０１において、N個の入力信号が符号化前に周波数ドメイン表現に変換される。２番目のステップ１０２において、ドミナントセンターの状況またはドミナントサラウンドの状況である（Yで示す）か否か（Nで示す）を判断する。もしYなら、合計／差異コーディングモード（ステップ１０３）が選択される。もしNなら、信号は独立に符号化される。実際の符号化はステップ１０４で行われる。ステップ１０４において、M個の信号の合成がデータのビットストリーム、典型的には第１のビットストリームに符号化され、N個の信号のうちN-M個の選択がデータの他のビットストリーム、典型的には第２のビットストリームに符号化される。ステップ１０２と１０３は合わせて直交化ステップとも呼ばれる。

当業者には明らかなように、復号演算は符号化演算に対して逆または実質的に逆である。

本発明の実施形態をよりよく説明するために、行列方程式の例を下で説明する。行列方程式１−２１は、本発明が適用されていない状況を表す。本発明のよりよい理解のために本発明の好ましい実施形態の方程式を説明する前に、符号化および復号を説明するためにこれらの方程式を示す。

行列方程式の例は以下の通りである（説明を明確にするため利得ファクターは省略した）。

エンコーダ側

ここで、送信チャンネルはL0、R0、T3、T4、T5である。

デコーダ側

ここで、記号´は復号された信号を表す。

デコーダ側の行列の逆演算は正確だが、上記の方程式では元の入力信号を正確には求められない。なぜなら、送信チャンネルL0、R0、T3、T4、T5が符号化により変えられているからである。

T3、T4、T5の符号化は、知覚エンコーダにより直接制御されており、その結果C´、LS´、RS´は品質問題を引き起こさない。上に提示した例において、マトリックス化により、L0、T3、T4の符号化ノイズがL´に現れ、R0、T3、T5の符号化ノイズがR´に現れる。L0およびR0と送信される余分なチャンネルを適当に選ぶことにより、この符号化ノイズを最小化することができる。もしC、LS、RSが最も弱い信号であれば、L´とR´の符号化ノイズはL0´とR0´がそれぞれ支配的になる。これも知覚エンコーダにより直接制御される。他の信号の組み合わせが最も弱い場合、この信号の組み合わせをT3、T4、T5として送信すべきである。

しかし、センター信号Cが最も強い信号であるとき（以下、「ドミナントセンター」の状況と呼ぶ）、L0はR0にほぼ等しい。

２つのほとんど等しい大きい信号を差し引くことにより、小さい信号のうちの１つを回復しなければならないことを示すことができる。このことは、次の式で表すことができる。

エンコーダ側

デコーダ側

ここで、R´は小さく、R0´とL0´はともに大きく、T3´、T4´、T5´はすべて小さい。L0またはR0中の比較的小さい誤差が、結果として得られる信号R´中の比較的大きくはっきりと聞こえる誤差になることが明らかである。品質を維持することは可能かもしれない。しかしそれには、コンパチブルな信号L0とR0のうち少なくとも一方を、その信号をよいサウンド品質で聴くのに必要なビットレートよりも非常に高いビットレートで符号化しなければならない。他の方法は、付加的送信チャンネルを符号化することであり、この場合４つの付加的送信チャンネルを符号化すればよい。しかし、一般的にこれではバンド幅が無駄になる。それゆえ、本発明の一態様によると、ドミナントセンターの状況においてコンパチブルな信号を合計／差異コーディングするエンコーダが提供される。これにより、センター信号Ｃはコンパチブル信号の方程式の１つから落ち、その方程式は４番目に小さい信号を計算するために用いることができる。もちろん、ドミナントでない状況でもすべて同じである。ドミナント状況について、コンパチブル信号のマトリックス化が付加される。

エンコーダ側

デコーダ側

R´は小さい信号のみから取得できる。C´は１つの強い信号（Ch0´）と多くの小さい信号から取得できる。小さい信号を取得するために強い信号をお互いに差し引く状況は、こうして避けられる。コンパチブルステレオデコーダ４ａにおいて、次のマトリックスを実行しなければならない。

本発明を適用する他の状況は、コンパチブル信号（L0、R0）がマトリックス化されたサラウンド信号、すなわちダウンミックスのモノフォニックサラウンド（S=f(LS+RS)）を含むとき、およびSが最も強い信号であるときである。この状況において、L0の振幅はR0とほとんど同じであるが、逆位相である。左チャンネルL、右チャンネルR,センター信号CをT3、T4、T5で送信すると、LSとRSは逆行列で回復可能である。L0´とR0´を加えることにより、小さい信号の１つを回復しなければならないことを示すことができる。LSとRSの弱い方は、第３の付加的信号とすべきである。これは下の例に示されている。

エンコーダ側

デコーダ側

L0´とR0´が逆位相であるから、小さい信号R´を取得するために２つのほとんど等しい大きい信号を加えることを意味する。L0´またはR0´中の比較的小さい誤差は、結果として得られる信号中の比較的大きいはっきり聞こえる誤差になることは明らかである。品質を維持することはできるが、コンパチブル信号の少なくとも１つを、その信号をよいサウンド品質で聞くために必要なビットレートより非常に高いビットレートでコーディングする必要がある。またこの場合、他の方法は、バンド幅を浪費するコストをかけて付加的送信チャンネルを符号化することである。

本発明の他の好ましい実施形態によると、コンパチブル信号のマトリックス化が次の方程式により付加される。

エンコーダ側

デコーダ側

R´は小さい信号のみから取得され、LS´は１つの強い信号（Ch1´）と多くの小さい信号から取得される。こうして、小さい信号を得るために強い信号をお互いに差し引くという状況が回避される。コンパチブルステレオデコーダにおいて、次のマトリックスが実行されねばならない。

本発明はマルチチャンネル音楽配信にも適用可能である。

符号データを記憶して、その後読み出し、復号し、記録担体のリスナーに提示することができる。

上記の実施形態は本発明を例示はするが限定するものではなく、当業者は添付した請求の範囲から逸脱することなく多くの代替的実施形態をデザインすることが可能であることに注意すべきである。請求項において、括弧内の参照記号はその請求項を限定するものと解してはならない。「有する」という言葉は、請求項に列挙された構成要素やステップ以外の構成要素やステップの存在を排除するものではない。本発明は、いくつかの別個の構成要素を有するハードウェアによって、および好適にプログラムされたコンピュータによって実施することができる。いくつかの手段を列挙した装置の請求項において、これらの手段は１つの同一のハードウェアによって実施することができる。ある手段が相互に異なる従属項に記載されていることをもって、それらの手段を組み合わせて使用することができないということを示すものではない。

本発明が実装されているシステムのブロック図である。 エンコーダから出力される信号を示す図である。 本発明の好ましい実施形態による方法を示すフロー図である。

Claims (14)

1. N個の入力信号（N＞２）を符号化する方法であって、
   前記N個の入力信号からM個の信号の合成（N>M>=2）を生成するステップと、
   前記M個の信号の合成を符号データに符号化するステップと、
   前記N個の入力信号のうちN-M個の選択を符号データに符号化するステップとを有し、
   前記M個の信号の合成は符号化前に直交化されることを特徴とする方法。
2. 請求項１に記載の方法であって、
   前記直交化は合計／差異コーディングと独立コーディングを切り替えることにより行われることを特徴とする方法。
3. 請求項１または２に記載の方法であって、
   前記直交化がどのように行われたかを前記デコーダに示すために制御信号が前記符号データに含まれることを特徴とする方法。
4. 請求項１ないし３いずれか一項に記載の方法であって、
   前記M個の信号の合成は第１のビットストリームにコード化され、前記N-M個の信号の選択は第２のビットストリームにコード化されることを特徴とする方法。
5. 請求項１ないし４いずれか一項に記載の方法であって、
   M＝２であることを特徴とする方法。
6. 請求項１ないし５いずれか一項に記載の方法であって、
   前記N個の入力信号は符号化前に周波数領域に変換されることを特徴とする方法。
7. 請求項１ないし６いずれか一項に記載の方法であって、
   前記直交化は周波数帯ごとに実行されることを特徴とする方法。
8. N個の信号を表す符号データを復号する方法であって、
   前記符号データはM個の信号の合成とN-M個の信号のセット（N>M>=2）を有し、前記M個の信号の合成は直交化され、
   前記復号する方法は、
   前記M個の信号の合成と前記N-M個の信号のセットを取得するために前記符号データを復号するステップと、
   前記M個の信号の合成と前記N-M個の信号のセットからN個の出力信号のセットを生成するステップとを有し、
   前記M個の信号の合成は前記N個の出力信号の生成の前に逆直交化されることを特徴とする方法。
9. 請求項８に記載の方法であって、
   前記逆直交化は合計／差異デコーディングと独立デコーディングを切り替えることにより行われることを特徴とする方法。
10. N個の入力信号（N＞２）を符号化する装置であって、
    前記N個の入力信号からM個の信号の合成（N>M>=2）を生成する手段と、
    前記M個の信号の合成を符号データに符号化する手段と、
    前記N個の入力信号のうちN-M個の選択を符号データに符号化する手段と、
    前記M個の信号の合成を符号化前に直交化する手段とを有することを特徴とする装置。
11. N個の信号を表す符号データを復号する装置であって、
    前記符号データはM個の信号の合成とN-M個の信号のセット（N>M>=2）を有し、前記M個の信号の合成は直交化され、
    前記復号する装置は、
    前記M個の信号の合成と前記N-M個の信号のセットを取得するために前記符号データを復号する手段と、
    前記M個の信号の合成と前記N-M個の信号のセットからN個の出力信号のセットを生成する手段とを有し、
    前記M個の信号の合成は前記N個の出力信号の生成の前に逆直交化されることを特徴とする装置。
12. N個の信号を表す符合データの送信に使用する信号フォーマットであって、
    前記符号データはM個の信号の合成とN-M個の信号のセット（N>M>=2）を有し、
    前記M個の信号の合成は直交化されていることを特徴とする信号フォーマット。
13. 請求項１２に記載の信号フォーマットであって、
    前記直交化がどのように行われたかを前記デコーダに示すために制御信号が前記符号データに含まれることを特徴とする方法。
14. 請求項１２または１３に記載の信号フォーマットが格納された記録担体。
    
    

Images