JP3887827B2 - 符号化方法及び装置、復号化方法及び装置、並びに記録媒体 - Google Patents

Description

技術分野
本発明は符号化された信号のフォーマットを拡張する際に好適な、符号化方法及び装置と、これに対応する復号化方法及び装置、符号化された信号が記録された記録媒体に関するものである。
背景技術
従来より、符号化された音響情報或いは音声情報の如き信号（以下、オーディオ信号と呼ぶ）を記録することが可能なものとして、例えば光磁気ディスクのような信号記録媒体が提案されている。上記オーディオ信号の高能率符号化の手法には種々あるが、その高能率符号化の手法としては、例えば、時間軸上のオーディオ信号を所定時間単位でブロック化し、このブロック毎の時間軸の信号を周波数軸上の信号に変換（スペクトル変換）して複数の周波数帯域に分割し、各帯域毎に符号化するブロック化周波数帯域分割方式であるいわゆる変換符号化や、時間軸上のオーディオ信号をブロック化しないで、複数の周波数帯域に分割して符号化する非ブロック化周波数帯域分割方式であるいわゆる帯域分割符号化（サブ・バンド・コーディング：ＳＢＣ）等を挙げることができる。また、上述の帯域分割符号化と変換符号化とを組み合わせた高能率符号化の手法も考えられている。この場合には、例えば、上記帯域分割符号化で帯域分割を行った後、該各帯域毎の信号を周波数軸上の信号にスペクトル変換し、このスペクトル変換された各帯域毎に符号化が施される。
ここで、上述した帯域分割符号化において用いられる帯域分割用フィルタとしては、例えばいわゆるＱＭＦ（Quadrature Mirror filter）などのフィルタがあり、このＱＭＦのフィルタは、文献「ディジタル・コーディング・オブ・スピーチ・イン・サブバンズ」（”Digital coding of speech in subbands”R. E. Crochiere, Bell Syst. Tech. J., Vol. 55, No.8 1976）に述べられている。このＱＭＦのフィルタは、帯域を等バンド幅に２分割するものであり、当該フィルタにおいては上記分割した帯域を後に合成する際にいわゆるエリアシングが発生しないことが特徴となっている。また、文献「ポリフェイズ・クァドラチュア・フィルターズ ―新しい帯域分割符号化技術」（”Polyphase Quadrature filters -A new subband coding technique”, Joseph H. Rothweiler, ICASSP 83, BOSTON）には、等帯域幅のフィルタ分割手法が述べられている。このポリフェイズ・クァドラチュア・フィルタにおいては、信号を等バンド幅の複数の帯域に分割する際に一度に分割できることが特徴となっている。
上述したスペクトル変換としては、例えば、入力オーディオ信号を所定単位時間（フレーム）でブロック化し、当該ブロック毎に離散フーリエ変換（Discrete Fourier Transform:ＤＦＴ）、離散コサイン変換（Discrete Cosine Transform：ＤＣＴ）、モディファイド離散コサイン変換（変形離散コサイン変換：Modified Discrete Cosine Transform ：ＭＤＣＴ）等を行うことで時間軸を周波数軸に変換するようなスペクトル変換がある。なお、上記ＭＤＣＴについては、文献「時間領域エリアシング・キャンセルを基礎とするフィルタ・バンク設計を用いたサブバンド／変換符号化」（”Subband/Transform Coding Using Filter Bank Disigns Based on Time Domain Aliasing Cancellation,”J. P. Princen A. B. Bradley, Univ. of Surrey Royal Melbourne Inst. of Tech. ICASSP 1987）に述べられている。
また、波形信号をスペクトル変換する方法として上述のＤＦＴやＤＣＴを使用した場合、例えばＭ個のサンプルデータからなる時間ブロックで変換（以下、このブロックを変換ブロックと呼ぶ）を行うと、Ｍ個の独立な実数データが得られる。ここで変換ブロック間の接続歪みを軽減するために、通常は、両隣の変換ブロック間でそれぞれＭ１個のサンプルデータをオーバーラップさせるので、これらＤＦＴやＤＣＴでは、平均化して（Ｍ−Ｍ１）個のサンプルデータに対してＭ個の実数データが得られるようになり、したがって、これらＭ個の実数データが、その後量子化及び符号化されることになる。
これに対して、スペクトル変換の方法として上述のＭＤＣＴを使用した場合には、両隣の変換ブロック間でそれぞれＭ個ずつのサンプルデータをオーバーラップさせた２Ｍ個のサンプルから、独立なＭ個の実数データが得られる。すなわち、ＭＤＣＴを使用した場合には、平均化してＭ個のサンプルデータに対してＭ個の実数データが得られ、これらＭ個の実数データが、その後量子化及び符号化されることになる。復号化装置においては、このようにしてＭＤＣＴを用いて得られた符号から、各ブロックにおいて逆変換を施して得た波形要素を互いに干渉させながら加え合わせることにより、波形信号を再構成することができる。
ところで、一般に、上記スペクトル変換のための変換ブロックを長くすると、周波数分解能が高まり、特定のスペクトル信号成分にエネルギが集中することが起きる。したがって、両隣の変換ブロック間でそれぞれ半分ずつサンプルデータをオーバーラップさせた長い変換ブロック長でスペクトル変換を行い、しかも得られたスペクトル信号成分の個数が、元の時間軸のサンプルデータの個数に対して増加しない上記ＭＤＣＴを使用するようにすれば、ＤＦＴやＤＣＴを使用した場合よりも効率の良い符号化を行うことが可能となる。また、隣接する変換ブロック同士で十分長いオーバーラップを持たせるようにすれば、波形信号の変換ブロック間の接続歪みを軽減することもできる。ただし、変換のための変換ブロックを長くするということは、変換のための作業領域がより多く必要になるということでもあるため、再生手段等の小型化を図る上での障害となり、特に半導体の集積度を上げることが困難な時点で長い変換ブロックを採用することはコストの増加につながるので注意が必要となる。
上述したように、フィルタやスペクトル変換によって帯域毎に分割された信号成分を量子化することにより、量子化雑音が発生する帯域を制御することができ、したがって、いわゆるマスキング効果などの性質を利用して聴覚的により高能率な符号化を行うことが可能となる。また、ここで量子化を行う前に、各帯域毎に、例えばその帯域における信号成分の絶対値の最大値で各サンプルデータの正規化を行うようにすれば、さらに高能率な符号化を行うことができる。
ここで、例えばオーディオ信号を周波数帯域分割して得た各信号成分を量子化する場合の周波数分割幅としては、例えば人間の聴覚特性を考慮した帯域幅を用いることが好ましい。すなわち、一般に高域ほど帯域幅が広くなるような臨界帯域（クリティカルバンド）と呼ばれている帯域幅で、オーディオ信号を複数（例えば２５バント）の帯域に分割することが好ましい。また、このときの各帯域毎のデータを符号化する際には、各帯域毎に所定のビット配分或いは、各帯域毎に適応的なビット割当（ビットアロケーション）による符号化が行われる。例えば、上記ＭＤＣＴ処理されて得られた係数データを上記ビットアロケーションによって符号化する際には、上記各変換ブロック毎のＭＤＣＴ処理により得られる各帯域毎のＭＤＣＴ係数データに対して、適応的な割当ビット数で符号化が行われることになる。ビット割当手法としては、次の２手法が知られている。
例えば、文献「音声信号の適応変換符号化」（”Adaptive Transform Coding of Speech Signals”, R. Zelinski and P. Noll, IEEE Transactions of Acoustics, Speech, and Signal Processing, vol. ASSP-25, No. 4, August 1977）では、各帯域毎の信号の大きさをもとに、ビット割当を行っている。この方式では、量子化雑音スペクトルが平坦となり、雑音エネルギが最小となるが、聴感覚的にはマスキング効果が利用されていないために実際の雑音感は最適ではない。
また、例えば文献「臨界帯域符号化器 ―聴覚システムの知覚の要求に関するディジタル符号化」（”The critical band coder --digital encoding of the perceptual requirements of the auditory system”, M. A. Kransner MIT, ICASSP 1980）では、聴覚マスキングを利用することで、各帯域毎に必要な信号対雑音比を得て固定的なビット割当を行う手法が述べられている。しかしこの手法では、サイン波入力で特性を測定する場合でも、ビット割当が固定的であるために特性値がそれほど良い値とならない。
これらの問題を解決するために、ビット割当に使用できる全ビットを、各小ブロック毎に予め定められた固定ビット割当パターン分と、各ブロックの信号の大きさに依存したビット配分を行う分とに分割使用するようにし、そのときの分割比を入力信号に関係する信号に依存させ、上記信号のスペクトルのパターンが滑らかなほど上記固定ビット割当パターン分への分割比率を大きくするような高能率符号化方法が提案されている。
この方法によれば、サイン波入力のように、特定のスペクトル信号成分にエネルギが集中する場合にはそのスペクトル信号成分を含むブロックに多くのビットを割り当てることにより、全体の信号対雑音特性を著しく改善することができる。一般に、急峻なスペクトル信号成分を持つ信号に対して人間の聴覚は極めて敏感であるため、このような方法を用いることにより、信号対雑音特性を改善することは、単に測定上の数値を向上させるばかりでなく、聴感上、音質を改善するのに有効である。
ビット割当の方法にはこの他にも数多くの方法が提案されており、さらに聴覚に関するモデルが精緻化され、符号化装置の能力が上がれば聴覚的にみてより高能率な符号化が可能になる。
これらの方法においては、計算によって求められた信号対雑音特性をなるべく忠実に実現するような実数のビット割当基準値を求め、それを近似する整数値を割当ビット数とすることが一般的である。
実際の符号列を構成するに当たっては、先ず、正規化及び量子化が行われる帯域毎に、量子化精度情報と正規化係数情報を所定のビット数で符号化し、次に、正規化及び量子化されたスペクトル信号成分を符号化すれば良い。また、ＩＳＯ標準（ＩＳＯ／ＩＥＣ １１１７２−３：１９９３（Ｅ），１９９３）では、帯域によって量子化精度情報を表すビット数が異なるように設定された高能率符号化方式が記述されており、ここでは高域になるにしたがって、量子化精度情報を表すビット数が小さくなるように規格化されている。
量子化精度情報を直接符号化する代わりに、復号化装置において例えば正規化係数情報から量子化精度情報を決定する方法も知られているが、この方法では、規格を設定した時点で正規化係数情報と量子化精度情報の関係が決まってしまうので、将来的にさらに高度な聴覚モデルに基づいた量子化精度の制御を導入することができなくなる。また、実現する圧縮率に幅がある場合には圧縮率毎に正規化係数情報と量子化精度情報との関係を定める必要が出てくる。
また、例えば、文献「最小冗長コードの構成のための方法」（”A Method for Construction of Minimum Redundancy Codes”D. A. Huffman:, Proc.I. R. E., 40, p. 1098 (1952)）のように、可変長符号を用いて符号化することによって、量子化されたスペクトル信号成分をより効率的に符号化する方法も知られている。
さらに、本件出願人によるPCT出願国際公開WO94/28633の明細書及び図面には、スペクトル信号成分から聴感上特に重要なトーン性の成分を分離して、他のスペクトル信号成分とは別に符号化する方法が提案されており、これにより、オーディオ信号等を聴感上の劣化を殆ど生じさせずに高い圧縮率で効率的に符号化することが可能になっている。
なお、上述した各符号化手法は、複数のチャネルから構成される音響信号の各チャネルに対しても適用することが可能である。例えば、左側のスピーカに対応するＬチャネル、右側のスピーカに対応するＲチャネルのそれぞれに適用しても良い。また、Ｌチャネル、Ｒチャネルそれぞれの信号を加えることによって得られた（Ｌ＋Ｒ）／２の信号に対して適用することも可能である。また、（Ｌ＋Ｒ）／２の信号と（Ｌ−Ｒ）／２の信号に対して上述の各手法を用いて効率の良い符号化を行うことも可能である。なお、１チャネルの信号を符号化する場合のデータ量は、２チャネルの信号をそれぞれ独立に符号化する場合の半分ですむので、記録媒体に信号を記録する場合、１チャネルのモノラル信号で記録するモードと２チャネルのステレオ信号で記録するモードの両者を設け、長時間の記録が必要な場合にはモノラル信号として記録できるように規格を設定するという方法がよく採られている。
上述したように、符号化効率を高める手法は次々と開発されており、したがって、新たに開発された符号化手法を組み込んだ規格を採用すれば、より長時間の記録が可能になったり、同じ記録時間であればより音質の高い音響（オーディオ）信号を記録することが可能になる。
ここで、上述したような規格を決定する際には、将来的に規格が変更又は拡張される場合のことを考慮して、予め信号記録媒体に対して上記規格に関するフラグ情報等を記録できる余地を残しておく方法がよく採られる。すなわち例えば、最初に規格化を行う場合には、ビットのフラグ情報として「０」を記録しておくようにし、規格変更を行う場合にはそのフラグ情報に「１」を記録する。変更後の規格に対応した再生装置は、このフラグ情報が「０」であるか「１」であるかをチェックし、もし「１」ならば、変更後の規格に基づいて信号記録媒体から信号を読み出し再生する。上記フラグ情報が「０」の場合には、もし、その再生装置が最初に定められた規格にも対応しているのであれば、その規格に基づいて信号記録媒体から信号を読み出して再生し、対応していないのであれば信号再生を行わない。
しかしながら、一旦定められた規格（以下、これを「旧規格」、又は「第１の符号化方法」と称する）で記録された信号のみを再生できる再生装置（以下、これを「旧規格対応再生装置」と称する）が普及すると、この旧規格対応再生装置では、より高能率の符号化方式を使用した上位の規格（以下、これを「新規格」、又は「第２の符号化方法」と称する）を使って記録された記録媒体を再生できないため、装置の使用者に混乱を与える。
特に、旧規格が決定された時点における再生装置（旧規格対応再生装置）には、記録媒体に記録されたフラグ情報を無視して、当該記録媒体に記録されている信号は全て旧規格で符号化されているものとして再生してしまうものも存在する。すなわち、記録媒体が新規格に基づいて記録されているものであったとしても、全ての旧規格対応再生装置がそのことを識別できるわけではない。このため、当該旧規格対応再生装置において、例えば新規格に基づいた信号が記録された記録媒体を、旧規格に基づいた信号が記録された記録媒体であると解釈して再生したような場合には、正常に動作しなかったり、ひどい雑音を発生したりする虞がある。
この問題を解決するために、本件出願人は、日本特許出願公開平１０−２２９３５の明細書及び図面において、追加された規格すなわち新規格で記録を行う場合には、「記録されている信号の一部は、この規格のみに対応した再生手段では再生できない。」との事実を知らせる信号を、旧規格に基づいて記録するとともに、旧規格対応再生装置で再生した場合には、旧規格に基づいて記録された信号以外には再生させないようにして装置の使用者に混乱を招いたり、雑音を発生させたりすることを防止する方法を提案している。また、この日本特許出願公開平１０−２２９３５の明細書及び図面においては、予め記録媒体に旧規格によるメッセージ信号を記録しておき、新規格で記録を行う場合には再生管理情報の内容を操作することで、旧規格対応再生装置で再生した場合にはメッセージ信号が再生されるようにすることによって、安価な新規格対応の記録装置で容易に記録ができるようにする方法、及び、旧規格対応再生装置で再生した場合には新規格で記録された部分に対応して、メッセージ信号が再生されるようにすることにより、実際にどの曲が旧規格で記録されているのかを旧規格対応再生装置の使用者に知らせるようにする方法も提案している。
しかしながら、これらの方法においては、旧規格対応再生装置では実際に記録されている音を再生することができない。このため、本件出願人は、日本特許出願平９−４２５１４号の明細書及び図面により、エンコーダによってその大きさが制御不可能なフレーム毎に多チャネルの信号を符号化する符号化方法において、旧規格対応再生装置が再生すべきチャネルの信号をそのフレームにおいて割当可能な最大ビット数よりも少ないビット数で符号化し、そのようにしてできたフレーム内の空き領域に他のチャネルの信号を符号化するすることにより、旧規格対応再生装置でも少数のチャネルの信号を再生できるようにするとともに、新規格対応の再生装置を用いれば、より多くのチャネルの信号が再生できるようにする方法を提案している。またこの方法では旧規格対応再生装置では再生しないチャネルの信号の符号化方法を旧規格の符号化方法よりも符号化効率の良いものとすることにより、多チャネル信号を符号化することによって生じる音質低下を軽減することが可能である。この方法において旧規格対応再生装置が再生可能な領域を領域１、旧規格対応再生装置では再生しない領域を領域２とする場合、例えば、領域１にＡ＝（Ｌ＋Ｒ）／２、領域２にＢ＝（Ｌ−Ｒ）／２の信号を記録したすることにより、旧規格対応再生装置ではモノラル信号Ａを再生し、新規格対応再生装置ではＡ，Ｂチャネルからステレオ信号Ｌ，Ｒを再生することが可能となる。
（Ｌ＋Ｒ）／２と（Ｌ−Ｒ）／２の信号を符号化して記録し、ステレオ信号を再生する方法については、例えば文献「広帯域ステレオ信号の知覚変換符号化」（”Perceptual Transform Coding of Wide-band Stereo Signals”, James D. Johnston, ICASSP89, pp. 1993-1995）に述べられている。
しかしながら、これらの方法を用いてステレオ信号を再生する場合、ステレオ信号の種類によっては符号化により生じる量子化雑音が問題を起こす場合がある。
図１Ａ〜１Ｈにはこれらの方法において、一般的なステレオ信号を符号化、復号化して再生する場合に生じる量子化雑音の様子について示す。
この図１Ａ，１Ｂは、ステレオ信号の左チャネル成分（Ｌ）及びステレオ信号の右チャネル成分（Ｒ）の時間軸波形をそれぞれ表し、図１Ｃ，１ＤはＬ，Ｒのチャネル成分を（Ｌ＋Ｒ）／２，（Ｌ−Ｒ）／２にチャネル変換した信号の時間軸波形をそれぞれ表している。図１Ｃ，１Ｄでは上記（Ｌ＋Ｒ）／２をＡ、（Ｌ−Ｒ）／２をＢで表している。一般に、ステレオ信号の各々のチャネル間には強い相関性が存在しているためＢ＝（Ｌ−Ｒ）／２は原信号Ｌ又はＲに比べてその信号レベルがかなり小さいものとなる。
また、図１Ｅ，１Ｆは、上記（Ｌ＋Ｒ）／２＝Ａ，（Ｌ−Ｒ）／２＝Ｂの信号をそれぞれ上記高能率符号化方法により符号化して復号化する際に生じる量子化雑音の様子を表し、図中Ｎ１とＮ２は（Ｌ＋Ｒ）／２＝Ａ，（Ｌ−Ｒ）／２＝Ｂの信号を符号化する際に生じる量子化雑音成分の時間軸波形をそれぞれ表している。ここで、（Ｌ＋Ｒ）／２＝Ａを符号化及び復号化した後の信号はＡ＋Ｎ１、（Ｌ−Ｒ）／２＝Ｂを符号化及び復号化した後の信号はＢ＋Ｎ２でそれぞれ表すことができる。高能率符号化方法において量子化雑音のレベルは元の信号レベルに依存する場合が多く、この場合はＮ１に比べてＮ２の信号レベルはかなり小さいものとなっている。
図１Ｇ，１Ｈは（Ａ＋Ｎ１），（Ｂ＋Ｎ２）の信号波形からステレオ信号の各々のチャネルを分離した様子を示している。（Ａ＋Ｎ１）と（Ｂ＋Ｎ２）の信号を加えることによりＲチャネル成分が消え、Ｌ成分だけを取り出すことができ、また（Ａ＋Ｎ１）から（Ｂ＋Ｎ２）の信号を引くことによりＬチャネル成分が消え、Ｒチャネル成分だけを取り出すことができる。
量子化雑音成分Ｎ１とＮ２は（Ｎ１＋Ｎ２）又は（Ｎ１−Ｎ２）という形で残るが、Ｎ２のレベルはＮ１に比べて極めて小さいため、聴感上は特に問題にならない。
一方、図２Ａ，２Ｈには右チャネル（Ｒ）の信号レベルが左チャネル（Ｌ）の信号レベルに比べて非常に小さいステレオ信号を例に同様に量子化雑音の様子について示している。図２Ａ，２Ｂはステレオ信号の左チャネル成分（Ｌ）、及びステレオ信号の右チャネル成分（Ｒ）の時間軸波形をそれぞれ表し、図２Ｃ，２ＤはＬ，Ｒチャネル成分を（Ｌ＋Ｒ）／２，（Ｌ−Ｒ）／２にチャネル変換した信号の時間軸波形をそれぞれ表している。この図２Ｃ，２Ｄでも図１の例と同じように上記（Ｌ＋Ｒ）／２をＡ、（Ｌ−Ｒ）／２をＢで表している。この例ではＲのチャネル成分の信号レベルが小さく両チャネル間の相関がないためＢ＝（Ｌ−Ｒ）／２の信号レベルは小さくならず、むしろＡ＝（Ｌ＋Ｒ）／２に近い信号となる。
図２Ｅ，２Ｆも図１と同様に上記（Ｌ＋Ｒ）／２＝Ａ，（Ｌ−Ｒ）／２＝Ｂの信号をそれぞれ上記高能率符号化方法により符号化して復号化する際に生じる量子化雑音の様子を表し、図中Ｎ１とＮ２は（Ｌ＋Ｒ）／２＝Ａ，（Ｌ−Ｒ）／２＝Ｂの信号を符号化する際に生じる量子化雑音成分の時間軸波形をそれぞれ表している。ここで、図１の例と同様に、（Ｌ＋Ｒ）／２＝Ａを符号化及び復号化した後の信号はＡ＋Ｎ１、（Ｌ−Ｒ）／２＝Ｂを符号化及び復号化した後の信号はＢ＋Ｎ２でそれぞれ表すことができる。
図２Ｇ，２Ｈも図１と同様に（Ａ＋Ｎ１），（Ｂ＋Ｎ２）の信号波形からステレオ信号の各々のチャネルを分離した様子を示している。（Ａ＋Ｎ１）と（Ｂ＋Ｎ２）の信号を加えることによりＲチャネル成分が消え、Ｌ成分だけを取り出すことができ、また（Ａ＋Ｎ１）から（Ｂ＋Ｎ２）の信号を引くことによりＬチャネル成分が消え、Ｒチャネル成分だけを取り出すことができる。
この図２の例の場合も量子化雑音成分Ｎ１とＮ２は（Ｎ１＋Ｎ２）又は（Ｎ１−Ｎ２）という形で残るが、この例ではＲチャネル成分の信号レベルが非常に小さいため、Ｒチャネル成分で（Ｎ１−Ｎ２）の量子化雑音成分をマスクすることができず、Ｒチャネル側で量子化雑音が聞こえてしまう場合がある。
発明の開示
そこで、本発明はこのような実情を鑑みてなされたものであり、旧規格対応再生装置による再生を可能にしながら、新規格拡張によって多チャネル化を実現する符号化・復号化の際に、符号化により生じる量子化雑音を最小限に抑え、音質劣化を軽減できる符号化方法及び装置、復号化装置、並びに記録媒体を提供することを目的とするものである。
すなわち本発明は、例えば旧規格対応再生装置による再生を可能にしながら、新規格拡張によって多チャネル化を実現する符号化・復号化方法において、拡張部分のチャネル信号を入力信号に応じて最適に選択し、符号化により生じる量子化雑音を最小限に抑えることにより音質劣化を軽減するものである。
本発明に係る符号化方法は、複数の入力チャネルの信号から第１の信号を生成し、複数の入力チャネルのうちの一部のチャネルと他のチャネルの信号レベルを求め、信号レベルに基づいて、一部のチャネルの信号のみからなる第２の信号と複数の入力チャネルの信号から生成した第２の信号との何れかを選択し、第１の信号及び選択した第２の信号を符号化する。
本発明に係る符号化装置は、複数の入力チャネルの信号から第１の信号を生成する第１の信号生成手段と、複数の入力チャネルのうちの一部のチャネルと他のチャネルの信号レベルに基づいて、一部のチャネルの信号のみからなる第２の信号と複数の入力チャネルの信号から生成した第２の信号との何れかを選択する第２の信号生成手段と、第１の信号及び選択した第２の信号を符号化する符号化手段とを具備する。
本発明に係る復号化方法は、符号列から第１の符号化信号と、第２の符号化信号と、第２の符号化信号の構成するチャネル信号の構成状態を示す構成情報とを分離し、分離した第１及び第２の符号化信号をそれぞれ復号化して第１及び第２の信号を生成し、構成情報に基づいて、第１及び第２の信号から複数のチャネル信号を生成するための復元処理を選択する。
本発明に係る復号化方法は、複数のチャネルの信号から生成されて符号化された第１の符号化信号と、複数のチャネルのうちの一部のチャネルと他のチャネルの信号レベルに基づいて一部のチャネルの信号のみからなる第２の信号又は複数のチャネルの信号から生成した第２の信号の何れかが選択されて符号化された第２の符号化信号とを含む符号列から第１及び第２の符号化信号を分離し、分離した第１及び第２の符号化信号をそれぞれ復号化し、復号化した第１及び第２の信号から複数チャネルの信号を復元する。
本発明に係る復号化装置は、符号列から第１の符号化信号と、第２の符号化信号と、第２の符号化信号の構成するチャネル信号の構成状態を示す構成情報とを分離する分離手段と、分離した第１及び第２の符号化信号をそれぞれ復号化して第１及び第２の信号を生成する復号化手段と、構成情報に基づいて、第１及び第２の信号から複数のチャネル信号を生成するための復元処理を選択する制御手段とを具備する。
本発明に係る復号化装置は、複数のチャネルの信号から生成されて符号化された第１の符号化信号と、複数のチャネルのうちの一部のチャネルと他のチャネルの信号レベルに基づいて一部のチャネルの信号のみからなる第２の信号又は複数のチャネルの信号から生成した第２の信号の何れかが選択されて符号化された第２の符号化信号とを含む符号列から第１及び第２の符号化信号を分離する分離手段と、分離した第１及び第２の符号化信号をそれぞれ復号化する復号化手段と、復号化した第１及び第２の信号から複数チャネルの信号を復元する復元手段とを具備する。
【図面の簡単な説明】
図１Ａ〜１Ｈは、一般的なステレオ信号を、従来技術によって符号化及び復号化して再生する場合に生じる量子化雑音の様子についての説明に用いる図である。
図２Ａ〜２Ｈは、右チャネル（Ｒ）の信号レベルが左チャネル（Ｌ）の信号レベルに比べて非常に小さいステレオ信号を、従来技術によって符号化及び復号化して再生する場合に生じる量子化雑音の様子についての説明に用いる図である。
図３は、本発明に係わる圧縮データの記録再生装置の一実施の形態としての記録再生装置の構成例を示すブロック回路図である。
図４は、符号化装置の具体的構成例を示すブロック回路図である。
図５は、変換回路の具体的構成例を示すブロック回路図である。
図６は、信号成分符号化回路の具体的構成例を示すブロック回路図である。
図７は、復号化装置の具体的構成例を示すブロック回路図である。
図８は、逆変換回路の具体的構成例を示すブロック回路図である。
図９は、信号成分復号化回路の具体的構成例を示すブロック回路図である。
図１０は、基本的な符号化方法を説明するための図である。
図１１は、基本的な符号化方法にて符号化したフレームの符号列の構成を説明するための図である。
図１２は、フレーム毎にＬ，Ｒチャネルを配置する例を示す図である。
図１３は、（Ｌ＋Ｒ）／２のチャネルをフレームに配置する例を示す図である。
図１４は、信号成分をトーン成分とノイズ成分に分けて符号化する符号化方法を説明するための図である。
図１５は、信号成分をトーン成分とノイズ成分に分けて符号化する符号化方法で符号化したフレームの符号列の構成を説明するための図である。
図１６は、信号成分をトーン成分とノイズ成分に分けて符号化する信号成分符号化回路の具体的構成例を示すブロック回路図である。
図１７は、信号成分をトーン成分とノイズ成分に分けて符号化された信号を復号する信号成分復号化回路の具体的構成例を示すブロック回路図である。
図１８は、Ａコーデックの符号列を記録する場合の記録フォーマットを説明するための図である。
図１９は、ＡコーデックとＢコーデックの符号列を記録する場合の記録フォーマットを説明するための図である。
図２０は、ＡコーデックとＢコーデックの符号列を記録した場合に旧規格対応再生装置で誤ってＢコーデックを再生しないことを実現する記録フォーマットを説明するための図である。
図２１は、ＡコーデックとＢコーデックの信号をフレーム内に配置する符号列の構成を説明するための図である。
図２２は、ＡコーデックとＢコーデックの信号をフレーム内に配置する符号列を生成する符号化装置の具体的構成を示すブロック回路図である。
図２３は、ＡコーデックとＢコーデックの信号をフレーム内に配置する符号列を生成する符号化装置の処理例を示すフローチャートである。
図２４は、ＡコーデックとＢコーデックの信号をフレーム内に配置する符号列を復号する信号成分復号化装置の具体的構成を示すブロック回路図である。
図２５は、ＡコーデックとＢコーデックの信号をフレーム内に配置する符号列を復号する信号成分復号化装置の処理例を示すフローチャートである。
図２６は、チャネル構成データとＡチャネル及びＢチャネルの信号をフレーム内に配置する本発明実施の形態の符号列の構成を説明するための図である。
図２７は、チャネル構成データとＡチャネル及びＢチャネルの信号をフレーム内に配置する本発明実施の形態の符号列を生成する符号化装置の具体的構成を示すブロック回路図である。
図２８は、本発明実施の形態の符号列を生成する符号化装置の制御回路の処理の流れを示すフローチャートである。
図２９は、チャネル構成データとＡチャネル及びＢチャネルの信号をフレーム内に配置する符号列を生成する本発明実施の形態の符号化装置の処理例を示すフローチャートである。
図３０は、チャネル構成データとＡチャネル及びＢチャネルの信号をフレーム内に配置する符号列を復号する本発明実施の形態の符号化装置の具体的構成を示すブロック回路図である。
図３１は、本発明実施の形態の符号列を復号化する復号化装置の処理の流れを示すフローチャートである。
図３２は、本発明実施の形態の符号列を復号化する復号化装置にて復号モードを決定する処理の流れを示すフローチャートである。
図３３Ａ〜３３Ｈは、右チャネル（Ｒ）の信号レベルが左チャネル（Ｌ）の信号レベルに比べて非常に小さいステレオ信号を、本発明実施の形態によって符号化及び復号化して再生した場合に生ずる量子化雑音の様子についての説明に用いる図である。
発明を実施するための最良の形態
以下、本発明の具体的な実施の形態について、図面を参照しながら説明する。先ず、図３には本発明の一実施の形態が適用される圧縮データ記録及び／又は再生装置の概略構成を示す。
図３に示す圧縮データ記録及び／又は再生装置において、先ず記録媒体としては、スピンドルモータ（Ｍ）５１により回転駆動される光磁気ディスク１が用いられる。光磁気ディスク１に対するデータの記録時には、例えば光学ヘッド（Ｈ）５３によりレーザ光を照射した状態で記録データに応じた変調磁界を磁気ヘッド５４により印加することによって、いわゆる磁界変調記録を行い、光磁気ディスク１の記録トラックに沿ってデータを記録する。また再生時には、光磁気ディスク１の記録トラックを光学ヘッド５３によりレーザ光でトレースして磁気光学的に再生を行う。
光学ヘッド５３は、例えば、レーザダイオード等のレーザ光源、コリメータレンズ、対物レンズ、偏光ビームスプリッタ、シリンドリカルレンズ等の光学部品及び所定パターンの受光部を有するフォトディテクタ等から構成されている。この光学ヘッド５３は、光磁気ディスク１を介して磁気ヘッド５４と対向する位置に設けられている。光磁気ディスク１にデータを記録するときには、後述する記録系の磁気ヘッド駆動回路６６により磁気ヘッド５４を駆動して記録データに応じた変調磁界を印加するとともに、光学ヘッド５３により光磁気ディスク１の目的トラックにレーザ光を照射することによって、磁界変調方式により熱磁気記録を行う。またこの光学ヘッド５３は、目的トラックに照射したレーザ光の反射光を検出し、例えばいわゆる非点収差法によりフォーカスエラーを検出し、例えばいわゆるプッシュプル法によりトラッキングエラーを検出する。光磁気ディスク１からデータを再生するとき、光学ヘッド５３は上記フォーカスエラーやトラッキングエラーを検出すると同時に、レーザ光の目的トラックからの反射光の偏光角（カー回転角）の違いを検出して再生信号を生成する。
光学ヘッド５３の出力は、ＲＦ回路５５に供給される。このＲＦ回路５５は、光学ヘッド５３の出力から上記フォーカスエラー信号やトラッキングエラー信号を抽出してサーボ制御回路５６に供給するとともに、再生信号を２値化して後述する再生系のデコーダ７１に供給する。
サーボ制御回路５６は、例えばフォーカスサーボ制御回路やトラッキングサーボ制御回路、スピンドルモータサーボ制御回路、スレッドサーボ制御回路等から構成される。上記フォーカスサーボ制御回路は、上記フォーカスエラー信号がゼロになるように、光学ヘッド５３の光学系のフォーカス制御を行う。また上記トラッキングサーボ制御回路は、上記トラッキングエラー信号がゼロになるように光学ヘッド５３の光学系のトラッキング制御を行う。さらに上記スピンドルモータサーボ制御回路は、光磁気ディスク１を所定の回転速度（例えば一定線速度）で回転駆動するようにスピンドルモータ５１を制御する。また、上記スレッドサーボ制御回路は、システムコントローラ５７により指定される光磁気ディスク１の目的トラック位置に光学ヘッド５３及び磁気ヘッド５４を移動させる。このような各種制御動作を行うサーボ制御回路５６は、該サーボ制御回路５６により制御される各部の動作状態を示す情報をシステムコントローラ５７に送る。
システムコントローラ５７にはキー入力操作部５８や表示部（ディスプレイ）５９が接続されている。このシステムコントローラ５７は、キー入力操作部５８による操作入力情報により操作入力情報により記録系及び再生系の制御を行う。またシステムコントローラ５７は、光磁気ディスク１の記録トラックからヘッダタイムやサブコードのＱデータ等により再生されるセクタ単位のアドレス情報に基づいて、光学ヘッド５３及び磁気ヘッド５４がトレースしている上記記録トラック上の記録位置や再生位置を管理する。さらにシステムコントローラ５７は、本圧縮データ記録再生装置のデータ圧縮率と上記記録トラック上の再生位置情報とに基づいて表示部５９に再生時間を表示させる制御を行う。
この再生時間表示は、光磁気ディスク１の記録トラックからいわゆるヘッダタイムやいわゆるサブコードＱデータ等により再生されるセクタ単位のアドレス情報（絶対時間情報）に対し、データ圧縮率の逆数（例えば１／４圧縮のときには４）を乗算することにより、実際の時間情報を求め、これを表示部５９に表示させるものである。なお、記録時においても、例えば光磁気ディスク等の記録トラックに予め絶対時間情報が記録されている（プリフォーマットされている）場合に、このプリフォーマットされた絶対時間情報を読み取ってデータ圧縮率の逆数を乗算することにより、現在位置を実際の記録時間で表示させることも可能である。
次にこのディスク記録再生装置の記録系において、入力端子６０からのアナログオーディオ入力信号Ａinがローパスフィルタ（ＬＰＦ）６１を介してＡ／Ｄ変換器６２に供給され、このＡ／Ｄ変換器６２は上記アナログオーディオ入力信号Ａinを量子化する。Ａ／Ｄ変換器６２から得られたディジタルオーディオ信号は、ＡＴＣ（Adaptive Transform Coding）エンコーダ６３に供給される。また、入力端子６７からのディジタルオーディオ入力信号Ｄinがディジタル入力インターフェース回路（ディジタル入力）６８を介してＡＴＣエンコーダ６３に供給される。ＡＴＣエンコーダ６３は、上記入力信号ＡinをＡ／Ｄ変換器６２により量子化した所定転送速度のディジタルオーディオＰＣＭデータについて、所定のデータ圧縮率に応じたビット圧縮（データ圧縮）処理を行うものであり、ＡＴＣエンコーダ６３から出力される圧縮データ（ＡＴＣデータ）は、メモリ６４に供給される。例えばデータ圧縮率が１／８の場合について説明すると、ここでのデータ転送速度は、上記標準のＣＤ−ＤＡのフォーマットのデータ転送速度（７５セクタ／秒）の１／８（9.375セクタ／秒）に低減されている。
次に、メモリ６４は、データの書込及び読出がシステムコントローラ５７により制御され、ＡＴＣエンコーダ６３から供給されるＡＴＣデータを一時的に記憶しておき、必要に応じてディスク上に記録するためのバッファメモリとして用いられている。すなわち、例えばデータ圧縮率が１／８の場合において、ＡＴＣエンコーダ６３から供給される圧縮オーディオデータは、そのデータ転送速度が、標準的なＣＤ−ＤＡフォーマットのデータ転送速度（７５セクタ／秒）の１／８、すなわち９．３７５セクタ／秒に低減されており、この圧縮データがメモリ６４に連続的に書き込まれる。この圧縮データ（ＡＴＣデータ）は、前述したように８セクタにつき１セクタの記録を行えば足りるが、このような８セクタおきの記録は事実上不可能に近いため、後述するようなセクタ連続の記録を行うようにしている。この記録は、休止期間を介して、所定の複数セクタ（例えば３２セクタ＋数セクタ）からなるクラスタを記録単位として、標準的なＣＤ−ＤＡフォーマットと同じデータ転送速度（７５セクタ／秒）でバースト的に行われる。
すなわちメモリ６４においては、上記ビット圧縮レートに応じた９．３７５（＝７５／８）セクタ／秒の低い転送速度で連続的に書き込まれたデータ圧縮率１／８のＡＴＣオーディオデータが、記録データとして上記７５セクタ／秒の転送速度でバースト的に読み出される。この読み出されて記録されるデータについて、記録休止期間を含む全体的なデータ転送速度は、上記９．３７５セクタ／秒の低い速度となっているが、バースト的に行われる記録動作の時間内での瞬時的なデータ転送速度は上記標準的な７５セクタ／秒となっている。したがって、ディスク回転速度が標準的なＣＤ−ＤＡフォーマットと同じ速度（一定線速度）のとき、該ＣＤ−ＤＡフォーマットと同じ記録密度、記憶パターンの記録が行われることになる。
メモリ６４から上記７５セクタ／秒の（瞬時的な）転送速度でバースト的に読み出されたＡＴＣオーディオデータすなわち記録データは、エンコーダ６５に供給される。ここで、メモリ６４からエンコーダ６５に供給されるデータ列において、１回の記録で連続記録される単位は、複数セクタ（例えば３２セクタ）からなるクラスタ及び該クラスタの前後位置に配されたクラスタ接続用の数セクタとしている。このクラスタ接続用セクタは、エンコーダ６５でのインターリーブ長より長く設定しており、インターリーブされても他のクラスタのデータに影響を与えないようにしている。
エンコーダ６５は、メモリ６４から上述したようにバースト的に供給される記録データについて、エラー訂正のための符号化処理（パリティ付加及びインターリーブ処理）やＥＦＭ符号化処理などを施す。このエンコーダ６５による符号化処理の施された記録データが磁気ヘッド駆動回路６６に供給される。この磁気ヘッド駆動回路６６は、磁気ヘッド５４が接続されており、上記記録データに応じた変調磁界を光磁気ディスク１に印加するように磁気ヘッド５４を駆動する。
また、システムコントローラ５７は、メモリ６４に対する上述の如きメモリ制御を行うとともに、このメモリ制御によりメモリ６４からバースト的に読み出される上記記録データを光磁気ディスク１の記録トラックに連続的に記録するように記録位置の制御を行う。この記録位置の制御は、システムコントローラ５７によりメモリ６４からバースト的に読み出される上記記録データの記録位置を管理して、光磁気ディスク１の記録トラック上の記録位置を指定する制御信号をサーボ制御回路５６に供給することによって行われる。
次に再生系について説明する。この再生系は、上述の記録系により光磁気ディスク１の記録トラック上に連続的に記録された記録データを再生するためのものであり、光学ヘッド５３によって光磁気ディスク１の記録トラックをレーザ光でトレースすることにより得られる再生出力がＲＦ回路５５により２値化されて供給されるデコーダ７１を備えている。このとき光磁気ディスクのみではなく、いわゆるコンパクトディスク（ＣＤ：Compact Disc、商標）と同じ再生専用光ディスクの読み出しも行うことができる。
デコーダ７１は、上述の記録系におけるエンコーダ６５に対応するものであって、ＲＦ回路５５により２値化された再生出力について、エラー訂正のための上述の如き復号化処理やＥＦＭ復号化処理などの処理を行い、上述のデータ圧縮率１／８のＡＴＣオーディオデータを、正規の転送速度よりも速い７５セクタ／秒の転送速度で再生する。このデコーダ７１により得られる再生データは、メモリ７２に供給される。
メモリ７２は、データの書込及び読出がシステムコントローラ５７により制御され、デコーダ７１から７５セクタ／秒の転送速度で供給される再生データがその７５セクタ／秒の転送速度でバースト的に書き込まれる。また、このメモリ７２は、上記７５セクタ／秒の転送速度でバースト的に書き込まれた上記再生データがデータ圧縮率１／８に対応する９．３７５セクタ／秒の転送速度で連続的に読み出される。
システムコントローラ５７は、再生データをメモリ７２に７５セクタ／秒の転送速度で書き込むとともに、メモリ７２から上記再生データを上記９．３７５セクタ／秒の転送速度で連続的に読み出すようなメモリ制御を行う。また、システムコントローラ５７は、メモリ７２に対する上述の如きメモリ制御を行うとともに、このメモリ制御によりメモリ７２からバースト的に書き込まれる上記再生データを光磁気ディスク１の記録トラックから連続的に再生するように再生位置の制御を行う。この再生位置の制御は、システムコントローラ５７によりメモリ７２からバースト的に読み出される上記再生データの再生位置を管理して、光磁気ディスク１若しくは光磁気ディスク１の記録トラック上の再生位置を指定する制御信号をサーボ制御回路５６に供給することによって行われる。
メモリ７２から９．３７５セクタ／秒の転送速度で連続的に読み出された再生データとして得られるＡＴＣオーディオデータは、ＡＴＣデコーダ７３に供給される。このＡＴＣデコーダ７３は、記録系のＡＴＣエンコーダ６３に対応するもので、例えばＡＴＣデータを８倍にデータ伸張（ビット伸張）することで１６ビットのディジタルオーディオデータを再生する。このＡＴＣデコーダ７３からのディジタルオーディオデータは、Ｄ／Ａ変換器７４に供給される。
Ｄ／Ａ変換器７４は、ＡＴＣデコーダ７３から供給されるディジタルオーディオデータをアナログ信号に変換して、アナログオーディオ出力信号Ａoutを形成する。このＤ／Ａ変換器７４により得られるアナログオーディオ信号Ａoutは、ローパスフィルタ（ＬＰＦ）７５を介して出力端子７６から出力される。
次に、高能率圧縮符号化について詳述する。すなわち、オーディオＰＣＭ信号等の入力ディジタル信号を、帯域分割符号化（ＳＢＣ）、適応変換符号化（ＡＴＣ）及び適応ビット割当の各技術を用いて高能率符号化する技術について、図４以降を参照しながら説明する。
本発明に係る音響波形信号の符号化方法を実行する符号化装置（図３のエンコーダ６３）では、図４に示すように、入力された信号波形１１０ａを変換回路１１１ａによって信号周波数成分１１０ｂに変換し、得られた各周波数成分１１０ｂを信号成分符号化回路１１１ｂによって符号化し、その後、符号列生成回路１１１ｃにおいて、信号成分符号化回路１１１ｂにて生成された符号化信号１１０ｃから符号列１１０ｄを生成する。
また、変換回路１１１ａにおいては、図５に示すように、入力信号１２０ａを帯域分割フィルタ１１２ａによって２つの帯域に分割し、得られた２つの帯域の信号１２０ｂ，１２０ｃをＭＤＣＴ等を用いた順スペクトル変換回路１１２ｂ，１１２ｃによりスペクトル信号成分１２０ｄ，１２０ｅに変換する。なお、入力信号１２０ａは、図４の信号波形１１０ａに対応し、また、スペクトル信号成分１２０ｄ、１２０ｅは図４の信号周波数成分１１０ｂに対応している。この図５に示す構成を有する変換回路１１１ａでは、上記２つの帯域に分割された信号１２０ｂ、１２０ｃの帯域幅が入力信号１２０ａの帯域幅の１／２となっており、該入力信号１２０ａが１／２に間引かれている。もちろん、当該変換回路１１１ａとしては、この具体例以外にも多数考えられ、例えば、入力信号を直接、ＭＤＣＴによってスペクトル信号に変換するものでも良いし、ＭＤＣＴではなく、ＤＦＴやＤＣＴによって変換するものであっても良い。また、いわゆる帯域分割フィルタによって信号を帯域成分に分割することも可能であるが、本発明に係る符号化方法においては、多数の周波数成分が比較的少ない演算量で得られる、上述のスペクトル変換によって周波数成分に変換する方法を採ると都合が良い。
また、信号成分符号化回路１１１ｂでは、図６に示すように、各信号成分１３０ａを正規化回路１１３ａによって所定の帯域毎に正規化するとともに、量子化精度決定回路１１３ｂにて信号成分１３０ａから量子化精度情報１３０ｃを計算し、当該量子化精度情報１３０ｃに基づいて、正規化回路１１３ａからの正規化信号１３０ｂを量子化回路１１３ｃが量子化する。なお、各信号成分１３０ａは、図４の信号周波数成分１１０ｂに対応し、量子化回路１１３ｃの出力信号１３０ｄは、図４の符号化信号１１０ｃに対応している。ただし、この出力信号１３０ｄには、量子化された信号成分に加え、上記正規化の際の正規化係数情報や上記量子化精度情報も含まれている。
一方、上述したような符号化装置によって生成された符号列からオーディオ信号を再現する復号化装置（図３の例ではデコーダ７３）においては、図７に示すように、符号列分解回路１１４ａによって符号列１４０ａから各信号成分の符号１４０ｂが抽出され、それらの符号１４０ｂから信号成分復号化回路１１４ｂによって各信号成分１４０ｃが復元され、この復元された信号成分１４０ｃから、逆変換回路１１４ｃによって音響波形信号１４０ｄが再現される。
この復号化装置の逆変換回路１１４ｃは、図８に示すように構成されるものであって、図５に示した変換回路に対応したものである。この図８に示す逆変換回路１１４ｃにおいて、逆スペクトル変換回路１１５ａ，１１５ｂでは、それぞれ供給された入力信号１５０ａ，１５０ｂに逆スペクトル変換を施して各帯域の信号を復元し、帯域合成フィルタ１１５ｃではこれら各帯域信号を合成する。入力信号１５０ａ，１５０ｂは、図７の信号成分復号化回路１１４ｂによって各信号成分が復元された信号１４０ｃに対応している。また、帯域合成フィルタ１１５ｃの出力信号１５０ｅは、図７の音響波形信号１４０ｄに対応している。
また、図７の信号成分復号化回路１１４ｂは、図９に示すように構成されるものであり、図７の符号列分解回路１１４ａからの符号１４０ｂすなわちスペクトル信号に対して、逆量子化と逆正規化処理とを施すものである。この図９に示す信号成分復号化回路１１４ｂにおいて、逆量子化回路１１６ａでは入力された符号１６０ａを逆量子化し、逆正規化回路１１６ｂでは上記逆量子化により得られた信号１６０ｂを逆正規化して信号成分１６０ｃを出力する。符号１６０ａは、図７の符号列分解回路１１４ａからの符号１４０ｂに対応し、出力信号成分１６０ｃは図７の信号成分１４０ｃに対応している。
なお、上述のような符号化装置の図５に示した変換回路によって得られるスペクトル信号は、例えば図１０に示すようなものとなる。この図１０に示す各スペクトル成分は、ＭＤＣＴによるスペクトル成分の絶対値を、レベルを〔ｄＢ〕に変換して示したものである。すなわちこの信号符号化装置においては、入力信号を所定の変換ブロック毎に６４個のスペクトル信号に変換しており、それを図中〔１〕から〔８〕にて示す８つの帯域（以下、これを符号化ユニットと呼ぶ）にまとめて正規化及び量子化している。このとき量子化精度を周波数成分の分布の仕方によって上記符号化ユニット毎に変化させるようにすれば、音質の劣化を最小限に抑えた聴覚的に効率の良い符号化が可能となる。
次に、図１１には、上述の方法で符号化した場合の符号列の構成例を示す。
この構成例の符号列は、各変換ブロックのスペクトル信号を復元するためのデータが、それぞれ所定のビット数で構成されるフレームに対応して符号化された情報が配置されている。各フレームの先頭（ヘッダ部）には、先ず同期信号及び符号化されている符号化ユニット数等の制御データを一定のビット数で符号化した情報が、次に各符号化ユニットの量子化精度データと正規化係数データをそれぞれ低域側の符号化ユニットから符号化した情報が、最後に各符号化ユニット毎に、上述の正規化係数データ及び量子化精度データに基づいて正規化及び量子化されたスペクトル係数データを低域側から、符号化した情報が配置されている。
この変換ブロックのスペクトル信号を復元するために実際に必要なビット数は、上記符号化されている符号化ユニットの数、及び各符号化ユニットの量子化精度情報が示す量子化ビット数によって決まり、その量は各フレーム毎に異なっていても良い。各フレームの先頭から上記必要なビット数のみが再生時に意味を持ち、各フレームの残りの領域は空き領域となり、再生信号には影響を与えない。通常は、音質向上のためにより多くのビットを有効に使用して、各フレームの空き領域がなるべく小さくなるようにする。
この例のように、各変換ブロックを一定のビット数のフレームに対応させて符号化しておくことにより、例えば、この符号列を光ディスク等の記録媒体に記録した場合、任意の変換ブロックの記録位置を容易に算出できるので、任意の箇所から再生を行う、いわわゆるランダム・アクセスを容易に実現することが可能である。
次に、図１２と図１３には、図１１に示したフレームのデータを記録媒体等に例えば時系列的に配置する場合の記録フォーマットの一例を示す。図１２には、例えばＬ（左），Ｒ（右）の２チャネルの信号をフレーム毎に交互に配置した例を示し、図１３には、Ｌ，Ｒの２チャネルの信号を（Ｌ＋Ｒ）／２して生成した１チャネルの信号（Ｌ，Ｒの２チャネルから生成されたモノラルの信号）をフレーム毎に配置した例を示している。
これら図１２のような記録フォーマットを採用することで、同一の記録媒体に対してＬ，Ｒの２チャネルの信号を記録することができ、また、図１３のように、フレーム毎に上記（Ｌ＋Ｒ）／２の１チャネル分のみを配置する記録フォーマットを採用する場合には、図１２のようにＬ，Ｒの２チャネルをフレーム毎に交互に配置する記録フォーマットに比べて、倍の時間の信号の記録再生が可能になるとともに、再生回路を複雑にすることなく容易に再生することも可能になる。
なお、図１２のような記録フォーマットを例えば標準時間モードと呼ぶとすると、図１３のように、少ないチャネル数で長時間の信号の記録再生を可能にする記録フォーマットは、上記標準時間モードの倍の時間の記録再生ができる長時間モードと呼ぶことができる。また、図１２の例においても、各フレームに対してＬ、Ｒの２チャネルでなく、モノラルの１チャネルのみを記録するようにすれば、Ｌ、Ｒの２チャネルを記録する場合よりも倍の時間の信号を記録できることになり、この場合も長時間モードと呼ぶことができる。
上述の説明では、符号化方法として図１１にて説明した手法のみを述べてきたが、この図１１で説明した符号化方法に対して、さらに符号化効率を高めることも可能である。
例えば、量子化されたスペクトル信号のうち、出現頻度の高いものに対しては比較的短い符号長を割り当て、出現頻度の低いものに対しては比較的長い符号長を割り当てる、いわゆる可変長符号化技術を用いることによって、符号化効率を高めることができる。
また例えば、入力信号を符号化する際の上記所定の変換ブロック、すなわちスペクトル変換のための時間ブロック長を長くとるようにすれば、量子化精度情報や正規化係数情報といったサブ情報の量を１ブロック当たりで相対的に削減でき、また、周波数分解能も上がるので、周波数軸上での量子化精度をより細やかに制御できるようになり、符号化効率を高めることが可能となる。
さらにまた、本件出願人によるPCT出願国際公開WO94/28633の明細書及び図面には、スペクトル信号成分から聴感上特に重要なトーン性の信号成分を分離して、他のスペクトル信号成分とは別に符号化する方法が提案されており、これを用いれば、オーディオ信号等を聴感上の劣化を殆ど生じさせずに高い圧縮率で効率的に符号化することが可能になる。
ここで、図１４を用いて、上記トーン性の信号成分を分離して符号化する方法を説明する。この図１４の例では、スペクトル信号成分からそれぞれトーン性の信号成分としてまとまった３個のトーン成分を分離した様子を示しており、これらの各トーン成分を構成する各信号成分は、各トーン成分の周波数軸上のそれぞれの位置データとともに符号化される。
一般に、音質を劣化させないためには少数のスペクトルにエネルギが集中する上記トーン成分の各信号成分を非常に高い精度で量子化する必要があるが、トーン成分を分離した後の各符号化ユニット内のスペクトル係数（非トーン性のスペクトル信号成分）は聴感上の音質を劣化させることなく、比較的少ないステップ数で量子化することができる。
図１４では、図を簡略にするために、比較的少数のスペクトル信号成分しか図示していないが、実際のトーン成分では、数十のスペクトル信号成分から構成される符号化ユニット内の数個の信号成分にエネルギが集中するので、そのようなトーン成分を分離したことによるデータ量の増加は比較的少なく、これらトーン成分を分離することによって、全体として、符号化効率を向上させることができる。
次に、図１５には、図１４を用いて説明した方法で符号化した場合の符号列の構成例を示す。この構成例では、各フレームの先頭にはヘッダ部として、同期信号及び符号化されている符号化ユニット数等の制御データを所定のビット数で符号化した情報が配置され、次にトーン成分についてのデータであるトーン成分データを符号化した情報が配置されている。
トーン成分データとしては、最初にトーン成分内の各信号成分の個数を符号化した情報が、次に各トーン成分の周波数軸上の位置情報を、その後はトーン成分内での量子化精度データ、正規化係数データ、正規化及び量子化されたトーン性の信号成分（スペクトル係数データ）をそれぞれ符号化した情報が配置されている。
上記トーン成分データの次には、元のスペクトル信号成分から上記トーン性の信号成分を差し引いた残りの信号（ノイズ性の信号成分ということもできる）のデータが符号化された情報を配置している。これには、各符号化ユニットの量子化精度データと正規化係数データ及び各符号化ユニット毎に上述の正規化係数データ及び量子化精度データに基づいて正規化及び量子化されたスペクトル係数データ（トーン成分以外の信号成分）を、それぞれ低域側の符号化ユニットから符号化した情報が配置されている。ただし、ここでトーン性及びそれ以外の信号成分のスペクトル信号成分（係数データ）は可変長の符号化がなされているものとする。
図１６には、上記各信号成分からトーン性の信号成分を分離する場合の、図４の信号成分符号化回路１１１ｂの具体例を示す。
この図１６に示す信号成分符号化回路１１１ｂにおいて、図４の変換回路１１１ａから供給された信号成分１７０ａ（１１０ｂ）は、トーン成分分離回路１１７ａに送られる。信号成分１７０ａは、トーン性の信号成分とそれ以外の信号成分（非トーン性の信号成分）とに分けられ、トーン性の信号成分１７０ｂはトーン成分符号化回路１１７ｂに、非トーン性の信号成分１７０ｃは非トーン成分符号化回路１１７ｃに送られる。これらトーン成分符号化回路１１７ｂと非トーン成分符号化回路１１７ｃでは、それぞれ供給された信号成分を符号化し、それぞれ得られた出力信号１７０ｄと１７０ｅを出力する。なお、トーン成分符号化回路１１７ｂでは、上記トーン性の信号成分の符号化と同時に、図１５のトーン成分データを構成する各情報の生成をも行う。トーン成分符号化回路１１７ｂと非トーン成分符号化回路１１７ｃにおける信号符号化のための構成は、それぞれ図６と同じである。
図１７には、上記各信号成分からトーン性の信号成分を分離した場合の、図７の信号成分復号化回路１１４ｂの具体例を示す。
この図１７に示す信号成分復号回路回路１１４ｂにおいて、図７の符号列分解回路１１４ａから供給された符号１４０ｂは、上記トーン成分データ１８０ａと非トーン性の信号成分１８０ｂからなり、これらデータ及び信号成分はそれぞれ対応するトーン成分復号化回路１１８ａと非トーン成分復号化回路１１８ｂに送られる。上記トーン成分復号化回路１１８ａでは、図１５に示したようなトーン成分データからトーン性の信号成分を復号化し、得られたトーン性の信号成分１８０ｃを出力する。また、上記非トーン成分復号化回路１１８ｂでは、非トーン性の信号成分を復号化し、得られた非トーン性の信号成分１８０ｄを出力する。これらトーン性の信号成分１８０ｃと非トーン性の信号成分１８０ｄは、共にスペクトル信号合成回路１１８ｃに送られる。このスペクトル信号合成回路１１８ｃでは、上記位置データに基づいて上記トーン性の信号成分と非トーン性の信号成分とを合成し、得られた信号成分１８０ｅを出力する。なお、トーン成分復号化回路１１８ａと非トーン成分復号化回路１１８ｂにおける信号復号化のための構成は、それぞれ図９と同じである。
ここで、図１８には、上述のようにして符号化された信号を、例えば光磁気ディスクに記録する場合のフォーマット例を示す。なお、この図１８の例では、全部で例えば４個（４曲）分のオーディオ信号データが記録されているとする。
この図１８において、当該ディスクには、これら全部で４個分のオーディオ信号データとともに、当該オーディオ信号データの記録、再生を行う場合に使用する管理データも記録されている。管理データ領域の０番地、１番地には、それぞれ先頭データ番号、最終データ番号が記録されている。図１８の例では、上記先頭データ番号の値として１が記録され、最終データ番号の値として４が記録されている。これにより、このディスクには１番目から４番目までの４個のオーディオ信号データが記録されていることがわかる。
管理データ領域の５番地から８番地までには、「各オーディオ信号データがディスクのどこに記録されているかを示すデータ」すなわちアドレス情報が、当該管理データ領域内のどこに記録されているのかを示すアドレス格納位置の情報が記録されている。このアドレス格納位置の情報はオーディオ信号データの再生順（曲の演奏順）に記録されており、１番目に再生されるオーディオ信号データのための上記アドレス格納位置の情報は５番地に、２番目に再生されるオーディオ信号データのための上記アドレス格納位置の情報は６番地に、といったようになっている。このような管理データを用いることにより、例えば、１番目と２番目の再生の順番を入れ替えることは、実際のオーディオ信号データの記録位置を入れ替える代わりに５番地と６番地の内容を入れ替えることによって容易に実現できる。また、管理データ領域内には、将来的な拡張が可能なように予備領域がとってあり、そこには０データが記録されるようになっている。
さてここで、ある符号化手法（以下、これを旧規格又はＡコーデックと呼ぶことにする）が開発され、これを用いてディスクへの記録フォーマットが規格化され、その後、当該Ａコーデックを拡張した、より高能率な符号化手法（以下、これを新規格又はＢコーデックと呼ぶことにする）が開発されたとする。このような場合、上記Ｂコーデックにより符号化された信号は、上記Ａコーデックによる信号が記録されるのと同一種類のディスクに記録できるようになる。このようにＢコーデックによる信号もＡコーデックの場合同様に記録できると、当該ディスクに対してより長時間の信号記録が可能になったり、より高音質の信号記録が可能になるので、ディスクの用途が広がり便利である。
上述した図１１を用いて説明した符号化方法をＡコーデックと考えた場合、例えば前述したように、量子化されたスペクトル信号のうち出現頻度の高いものに対しては比較的短い符号長を割り当て、出現頻度の低いものに対しては比較的長い符号長を割り当てるいわゆる可変長符号化技術を用いた符号化方法をＢコーデックと考えることができる。同様に、例えば前述したように、入力信号を符号化する際の変換ブロック長を長くとるようにして量子化精度情報や正規化係数情報等のサブ情報量を１ブロック当たりで相対的に削減するような符号化方法をＢコーデックと考えることもできる。また、例えば前述したように、スペクトル信号成分をトーン成分と非トーン成分とに分けて符号化する符号化方法をＢコーデックと考えることもできる。さらに、それら高能率な符号化方法を組み合わせたものをＢコーデックと考えることもできる。
上述のようにＡコーデックを拡張したＢコーデックにより符号化された信号をディスクに記録するような場合には、図１８に示したような旧規格（Ａコーデック）のみに対応していたディスクでは予備領域としていた２番地に、図１９に示すようなモード指定情報を記録するようにする。当該モード指定情報は、値が０のとき上記旧規格（Ａコーデック）に基づいた記録が行われていることを示し、値が１のときＡコーデック又はＢコーデックに基づいた記録が行われていることを示すものである。したがって、ディスク再生時に、当該モード指定情報の値が１になっていれば、当該ディスクにはＢコーデックに基づいた記録が行われている可能性があることを判別できる。
また、このように当該Ｂコーデックによる信号をディスクに記録する場合には、図１８で示したような各オーディオ信号データのアドレス情報（スタートアドレス及びエンドアドレス）を記録する領域の次に設けてあった予備領域の一つを、コーデック指定情報用の領域として使用する。当該コーデック指定情報は、値が０のとき上記スタートアドレス及びエンドアドレスからなるアドレス情報にて指定されるオーディオ信号データが、上記旧規格（Ａコーデック）に基づいて符号化されていることを示し、値が１のとき上記アドレス情報にて指定されるオーディオ信号データが新規格（Ｂコーデック）に基づいて符号化されていることを示すものである。これにより、Ａコーデックにより符号化されたオーディオ信号データとＢコーデックにより符号化されたオーディオ信号データを同一ディスク上に混在させて記録できるとともに、当該ディスクは新規格（Ｂコーデック）にも対応した再生装置（以下、新規格対応再生装置と呼ぶ）によって再生可能となる。
ところが、この図１９のように、ＡコーデックとＢコーデックのデータが混在して記録されたディスクは、Ａコーデックすなわち旧規格にて記録がなされたものか、Ｂコーデックすなわち新規格にて記録がなされたのもであるのかを、外見上で判別することはできない。したがって、使用者はこのディスクを旧規格対応再生装置で再生してしまう可能性がある。このとき、旧規格対応再生装置は、上記旧規格では、前述の図１８のように常に値０と定められていた２番地の内容をチェックせず、当該ディスクに記録されている信号は全てＡコーデックによるものであると解釈して再生を行おうとするため、再生できなかったり、乱雑で出鱈目な雑音を発生させたりして、使用者を混乱に陥れる危険性が高い。
本件出願人はこのような実情に鑑み、日本特許出願公開平１０−２２９３５の明細書及び図面において、追加された規格（新規格）で記録を行う場合には、「記録されている信号の一部は、この規格のみに対応した再生手段では再生できない。」との事実を知らせる信号を旧規格（Ａコーデック）に基づいて記録するとともに、旧規格対応再生装置で再生した場合には、旧規格（Ａコーデック）に基づいて記録された信号以外には再生させないようにして装置の使用者に混乱を招いたり、雑音を発生させたりすることを防止する方法を提案している。また、この日本特許出願公開平１０−２２９３５の明細書及び図面においては、予め記録媒体に旧規格（Ａコーデック）によるメッセージ信号を記録しておき、新規格で記録を行う場合には再生管理情報の内容を操作することで旧規格対応再生装置で再生した場合には上記メッセージ信号が再生されるようにすることによって、安価な新規格対応の記録機器で容易に記録ができるようにする方法、及び、旧規格対応再生装置で再生した場合には新規格で記録された部分に対応してメッセージ信号が再生されるようにすることにより、実際にどの曲が旧規格で記録されているのかを旧規格対応再生装置の使用者に知らせるようにする方法に関しても提案を行っている。すなわち、日本特許出願公開平１０−２２９３５の明細書及び図面においては、旧規格対応再生装置自身が再生できないデータを誤って再生しないようにするとともに、使用者に対してその記録媒体の内容を知らせるメッセージを伝えることによって旧規格対応再生装置の使用者を混乱に陥れることを防止する方法を提案している。
ここで、図２０には、日本特許出願公開平１０−２２９３５の明細書及び図面に記載の方法により、ディスクに記録を行った例を示している。この図２０の例では、新規格（Ｂコーデック）に関連する管理データは旧規格（Ａコーデック）に関連する管理データとは分離されて記録されている。
すなわち図２０において、例えば旧規格対応再生装置は、先ず０番地の旧規格先頭データ番号と１番地の旧規格最終データ番号（これらは図１８の先頭データ番号及び最終データ番号に対応する）を読み取る。この図２０の例では、これら旧規格先頭データ番号と旧規格最終データ番号から、このディスクに記録されているデータがデータ番号１から１までの１個だけであると解釈できる。次に、その１個のデータがディスク上のどこに記録されているのかを知るために、上記旧規格対応再生装置は、旧規格に則って５番地（すなわちアドレス格納位置情報）の内容を調べて、そのアドレス・データの入っている管理領域内の位置を知る。次に、上記旧規格対応再生装置は、その５番地のアドレス格納位置情報に示される番地（１１６番地）からの内容を調べることによって、データ番号０のオーディオ信号が記録されている位置（２０００００番地）を知る。
ここで、当該旧規格対応再生装置は、１１８番地に記録されているコーデック指定情報を無視するが、日本特許出願公開平１０−２２９３５の明細書及び図面に記載の方法では、データ番号０のオーディオ信号は実際にＡコーデックで符号化されているので問題はない。データ番号０のオーディオ信号の内容は「このディスクの信号を再生するためには、Ｂコーデック対応再生機をご使用下さい。」というメッセージであり、この信号が再生されることで、旧規格対応再生装置の使用者の混乱を回避できる。
一方、旧規格と新規格の両方に対応した再生装置（すなわち新規格対応再生装置）がこのディスクを再生する場合には、新規格に基づいて、先ず図２０の２番地のモード指定情報の内容がチェックされる。これにより当該新規格対応再生装置はこのディスクがモード指定情報の値が１の新規格（Ｂコーデック）に基づいて記録されている可能性があることを知る。そこで、当該新規格対応再生装置は、モード指定情報が１の場合の規定に基づいて、０番地の旧規格先頭データ番号と１番地の旧規格最終データ番号を無視し、３番地の新規格先頭データ番号と４番地の新規格最終データ番号の内容から、このディスクで再生すべきデータはデータ番号２から５までの４個であると解釈して再生を行う。すなわち、この場合には、旧規格対応再生装置のためのメッセージ（データ番号０の信号）は再生されない。ただし、このディスクの使用者への注意のために、このメッセージを新規格対応再生装置でも再生することができ、この場合には、３番地の新規格先頭データ番号の値を１にしておけば良い。
以上の説明から明らかなように、上述の日本特許出願公開平１０−２２９３５の明細書及び図面に記載の方法を用いれば、新規格対応再生装置でディスクに記録されている所望のオーディオ信号データを再生できるばかりなく、旧規格対応再生装置では、ディスク再生に関する注意のメッセージのみが再生され、使用者に不要な混乱を与えることを回避することができる。
しかしながら、上述の方法では旧規格対応再生装置で再生できるのはメッセージ信号であり、本当に再生したい信号そのものではない。
そこで、本件出願人は、日本特許出願平９−４２５１４号の明細書及び図面において、以下に説明するようなことを行うことによって、同一のディスク内にＡコーデックとＢコーデックによる信号が記録されている場合において、Ａコーデックによる信号については旧規格対応再生装置でも再生できるようにするとともに、新規格対応再生装置を用いればＡコーデックとＢコーデックの両方の信号を再生できるようにしている。
また、同一のディスク内に、旧規格（Ａコーデック）の信号と新規格（Ｂコーデック）の信号のように異なる規格の信号を同時に記録するようにすると、それぞれに対して割り当てられる記録領域が減ることになるため、記録再生される信号の品質（オーディオ信号の場合は音質）を維持することが困難になることも考えられるが、日本特許出願平９−４２５１４号の明細書及び図面に記載の技術では、この音質低下をも軽減可能にしてる。
これらのことを実現するために、日本特許出願平９−４２５１４号の明細書及び図面に記載の技術では、例えば図１３に示した記録フォーマットや図１２にてモノラルの信号を記録する場合のように、少ないチャネル数であれば長時間の記録再生が可能であるように予め規定されている符号列に対して、各フレームに割当可能な総ビット数よりも少ないビット数を上記少数チャネルに割り当てるようにする。言い換えれば、例えばＡコーデックについてはフレーム内に空き記録領域ができるように各フレームに割当可能な総ビット数よりも少ないビット数にて符号化を行うようにし、これにより得られたフレーム内の空き記録領域に、旧規格対応再生装置が再生しないチャネルの信号、すなわちＢコーデックの信号を記録するようにすることによって、長時間モードでの多チャネル記録再生（ＡコーデックとＢコーデックの両信号の記録再生）を可能にしている。なお、上記空き記録領域を作る方法としては、上記割当ビット数の調整の他に、上記Ａコーデックの符号化方法で符号化するチャネルの帯域を狭めるようにすることも可能である。
ここで、上述したように、１フレームに割当可能なビット数よりも少ないビット数でＡコーデックとＢコーデックの信号を符号化した場合は、１フレームの全ビットをＡコーデックの符号化のために割り当てた場合に比較して当該Ａコーデックの符号化のために割り当てられるビット数が減ってしまうため、旧規格対応再生装置で再生した場合の音質は低下してしまうことになる。しかし、日本特許出願平９−４２５１４号の明細書及び図面に記載の技術によれば、Ｂコーデックの符号化方法として長時間の変換ブロックを使用するなど、Ａコーデックの符号化方法よりも符号化効率の良い方法を採用しているため、Ｂコーデックの符号化方法のために利用するビット数が比較的少なくて済み、Ａコーデックの符号化方法に利用できるビット数を比較的多くとれるので、この音質低下の程度を軽微なものに留めることが可能である。
すなわち、日本特許出願平９−４２５１４号の明細書及び図面に記載の技術では、旧規格対応再生装置が再生しないチャネルの信号すなわちＢコーデックの信号を、当該旧規格対応再生装置が再生するチャネルの信号（Ａコーデックの信号）よりも効率の良い方法で符号化することにより、上述のように多チャネル化することで旧規格対応再生装置が再生する信号に割り当てられるビット数を少なくしたことによる音質の低下を、最小限に抑えることが可能である。実際に符号化効率を上げるための方法としては、前述したように、変換ブロックの長時間化、可変長符号の採用、トーン性の信号成分の分離等、種々の方法がある。これらは全て上記技術に含まれるが、以下では、説明を簡単にするために、このうち時間ブロック長の長時間化、可変長符号、トーン性成分分離を採用した場合の例について取り上げる。
図２１には、上述した日本特許出願平９−４２５１４号の明細書及び図面に記載の技術を適用してできた符号列の一具体例を示す。
この図２１の例において、一定のビット数で構成される各フレームは、それぞれ２つの領域に分離されており、図２１の領域１や領域３等には、例えば（Ｌ＋Ｒ）／２のチャネルの信号が上記Ａコーデックの符号化方法で符号化されて記録されており、また図中斜線が施されている領域２や領域４等には（Ｌ−Ｒ）／２のチャネルの信号が上記Ｂコーデックの符号化方法で符号化されて記録されている。上記領域２や領域４が上記空き記録領域に対応している。
なお、上記Ａコーデックの符号化方法は、例えば前述した図１１にて説明した符号化方法である。一方、Ｂコーデックの符号化方法は、例えばＡコーデックの２倍の変換ブロック長でスペクトル信号成分に変換した信号を図１５で示した符号化方法で符号化したものを例に挙げることができる。ただし、このときのＢコーデックの変換ブロック長はＡコーデックの変換ブロック長の２倍になっており、このため、その変換ブロックに対応する符号は２つのフレームに跨って記録されているとする。
また、この図２１の例において、上記Ａコーデックの符号化方法では固定長の符号化方法を採用しており、したがって当該Ａコーデックの符号化方法により得られた符号列（以下、Ａコーデック符号列と呼ぶ）が使用するビット数は容易に算出することができる。このようにＡコーデック符号列が使用するビット数を算出できれば、Ｂコーデックの符号化方法による符号列（以下、Ｂコーデック符号列と呼ぶ）の先頭位置をも容易に知ることができる。なお、別の方法として、Ｂコーデック符号列は、フレームの最後部から開始することにしてもよい。このようにしておくと、Ａコーデックの符号化方法に例えば可変長の符号化方法を採用した場合にも、Ｂコーデック符号列の先頭位置を容易に知ることができるようになる。このようにＢコーデック符号列の先頭位置を容易に算出できるようにしておくと、これらＡコーデックとＢコーデックの両方に対応した再生装置（新規格対応再生装置）が、両者の符号列を迅速に並行して処理することができるようになり、高速処理が可能となる。
また、Ａコーデックの符号化方法が図１１のように符号化ユニット数の情報を含むものである場合において、前述したように、他チャネルの信号を記録するための領域（空き記録領域）を確保するために当該Ａコーデックの符号化方法で符号化するチャネルの帯域を狭めるようにした場合、例えば高域側の量子化精度データ、正規化係数データを省略することができて都合が良い。この場合においても、Ａコーデックの符号化方法での符号化に使用されたビット数は容易に計算することが可能である。
図２１の例においては、上述したように、（Ｌ＋Ｒ）／２のチャネルの信号をＡコーデック符号列として記録し、また（Ｌ−Ｒ）／２のチャネルの信号をＢコーデック符号列として記録しているため、例えばＡコーデックの信号が記録された領域のみを復号すれば（Ｌ＋Ｒ）／２のモノラルの信号再生が可能となり、一方、Ａコーデックの信号が記録された領域とＢコーデックの信号が記録された領域の両者を復号し、それらの差を計算すればＲ（右）チャネルの信号が生成でき、和を計算すればＬ（左）チャネルの信号を生成でき、ステレオでの再生が可能となる。
この図２１のような符号列が記録された記録媒体に対して、上記旧規格対応再生装置は、Ｂコーデックの符号化方法で符号化されている領域については無視することになるので、上記の符号列が記録された記録媒体からモノラル信号を再生することができる。一方、この図２１に示した符号列が記録された記録媒体に対して、Ａコーデックの符号の復号回路とＢコーデックの符号の復号回路を搭載した再生装置（新規格対応再生装置）は、ステレオ信号を再生できるようにすることが可能である。このように、旧規格対応再生装置が既に普及してしまった後に、新規格対応再生装置がステレオ再生するための規格として図２１に示すような符号化方法を導入したとしても、旧規格対応再生装置がモノラル信号の再生をすることは可能となる。なお、上記Ａコーデックの符号を復号するための復号回路は、比較的小規模のハードウェアで実現できるため、そのような復号回路を搭載した再生装置は比較的安価に製造することができる。
次に、図２２には、上述した図２１の符号列を生成する符号化装置の具体的な構成を示す。
この図２２において、Ｌチャネルの入力信号１９０ａ及びＲチャネルの入力信号１９０ｂは、チャネル変換回路１１９ａによって、（Ｌ＋Ｒ）／２に相当する信号１９０ｃ及び（Ｌ−Ｒ）／２に相当する信号１９０ｄに変換される。（Ｌ＋Ｒ）／２信号１９０ｃは第１の符号化回路１１９ｂに、（Ｌ−Ｒ）／２信号１９０ｄは第２の符号化回路１１９ｃに送られる。
上記第１の符号化回路１１９ｂは図６の構成を有する図４の信号成分符号化回路１１１ｂに相当し、上記Ａコーデックの符号化方法が適用されるものである。一方、上記第２の符号化回路１１９ｃは、上記第１の符号化回路１１９ｂの倍の変換ブロック長を持ち、図１６の構成を有する図４の信号成分符号化回路１１１ｂに相当し、上記Ｂコーデックの符号化方法が適用されるものである。これら第１の符号化回路１１９ｂのＡコーデック符号列１９０ｅと第２の符号化回路１１９ｃのＢコーデック符号列１９０ｆは、共に符号列生成回路１１９ｄに供給される。
この符号列生成回路１１９ｄは、符号列１９０ｅ及び１９０ｆから、図２１に示した符号列を生成し、出力符号列信号１９０ｇとして出力する。
図２３には、図２２の符号列生成回路１１９ｄが図２１の符号列を生成する際の処理の流れを示す。
この図２３において、ステップＳ１０１では、フレーム番号Ｆが１に初期化され、ステップＳ１０２では第１の符号化回路１１９ｂからのＡコーデック符号列１９０ｅを受信する。ステップＳ１０３では、フレーム番号Ｆが偶数か否かの判断を行い、偶数でないときにはステップＳ１０６に、偶数であるときにはステップＳ１０４に処理を進める。
ステップＳ１０４では、第２の符号化回路１１９ｃからのＢコーデック符号列１９０ｆを受信する。次のステップＳ１０５では、符号列１９０ｅと１９０ｆとから、図２１の符号列を合成する。
ステップＳ１０６では、全てのフレームについての処理が終了したか否かの判断を行い、終了したときは当該図２３の処理を終わり、終了していないときには、ステップＳ１０７にてフレーム番号Ｆを１インクリメントしてステップＳ１０２に戻り、上述した処理を繰り返す。
なお、この図２３の処理において、フレーム番号Ｆは１から始まるが、Ｂコーデックの符号化方法の処理単位はＡコーデックの符号化方法の倍の２フレームが単位となるので、符号列の生成も２フレーム毎に行われる。
次に、図２４には、上述した本発明の符号化方法を用いて生成された図２１の符号列を復号する新規格対応再生装置の復号化装置の具体的な構成を示す。
この図２４において、図２１の符号列である入力符号列２００ａは、符号列分離回路１２０ａによってＡコーデック符号列２００ｂとＢコーデック符号列２００ｃとに分離される。上記Ａコーデック符号列２００ｂは第１の復号化回路１２０ｂに、Ｂコーデック符号列２００ｃは第２の復号化回路１２０ｃに送られる。
第１の復号化回路１２０ｂは図９の構成を有する図７の信号成分復号回路１１４ｂに相当し、Ａコーデックの符号を復号するものである。一方、第２の復号化回路１２０ｃは第２の復号化回路１２０ｂの倍の変換ブロック長を持ち、図１７の構成を有する図７の信号成分復号回路１１４ｂに相当し、Ｂコーデックの符号を復号するものである。これら第１の復号化回路１２０ｂにより復号された信号２００ｄは（Ｌ＋Ｒ）／２信号１９０ｃに相当し、第２の復号化回路１２０ｃにより復号された信号２００ｅは（Ｌ−Ｒ）／２信号１９０ｄに相当する。
ここで、（Ｌ＋Ｒ）／２信号２００ｄと（Ｌ−Ｒ）／２信号２００ｅとでは、それぞれ変換ブロック長が異なるため、その処理遅延時間には差がある。このため、第１の復号化回路１２０ｂからの（Ｌ＋Ｒ）／２信号２００ｄはメモリ回路１２０ｄに、第２の復号化回路１２０ｃからの（Ｌ−Ｒ）／２信号２００ｅはメモリ回路１２０ｅに供給され、これらメモリ回路１２０ｄと１２０ｅによって、上記処理遅延時間差が吸収される。これらメモリ回路１２０ｄと１２０ｅをそれぞれ経由した（Ｌ＋Ｒ）／２信号２００ｆ及び（Ｌ−Ｒ）／２信号２００ｇは、チャネル変換回路１２０ｆに送られる。
このチャネル変換回路１２０ｆは、（Ｌ＋Ｒ）／２信号２００ｆと（Ｌ−Ｒ）／２信号２００ｇを加算することでＬチャネルの信号２００ｈを生成し、また、（Ｌ＋Ｒ）／２信号２００ｆから（Ｌ−Ｒ）／２信号２００ｇを減算することでＲチャネルの信号２００ｉを生成し、これらＬチャネルとＲチャネルの信号をそれぞれ出力する。
図２５には、図２４の符号列分離回路１２０ａが図２１の符号列を分離する際の処理の流れを示す。
この図２５において、ステップＳ２０１では、フレーム番号Ｆが１に初期化され、ステップＳ２０２では、第１の復号化回路１２０ｂに送るためのＡコーデック符号列の分離及び送信を行う。ステップＳ２０３では、フレーム番号Ｆが奇数か否かの判断を行い、奇数でないときにはステップＳ２０５に、奇数であるときにはステップＳ２０４に処理を進める。
ステップＳ２０４では、第２の復号化回路１２０ｃに送るためのＢコーデック符号列の分離及び送信を行う。
ステップＳ２０５では、全てのフレームについての処理が終了したか否かの判断を行い、終了したときは当該図２５の処理を終わり、終了していないときには、ステップＳ２０６にてフレーム番号Ｆを１インクリメントしてステップＳ２０２に戻り、上述した処理を繰り返す。
なお、この図２５の処理において、フレーム番号Ｆは１から始まるが、Ｂコーデックの符号化方法の処理単位はＡコーデックの符号化方法の倍の２フレームが単位となるので、符号列の分離も２フレーム毎に行われる。
以上の説明では、各フレームの空き記録領域に追加のチャネル信号（Ｂコーデックの信号）のみを記録する例について述べたが、前述の従来技術にて述べたように、ステレオ信号の種類によっては符号化により発生する量子化雑音が問題を起こすことがある。
以下、この問題を解決する本発明の実施の形態の方法について説明する。
図２６には、当該本発明の方法を適用してできた実施の形態の符号列の一具体例を示す。この図２６の例は、旧規格では（Ｌ＋Ｒ）／２の１チャネルの信号（音響信号）の記録だけが可能であったのに対し、空き記録領域にチャネル構成データと追加チャネルの信号を記録することによって、新規格では（Ｌ＋Ｒ）／２と追加チャネルを組み合わせた２チャネルの信号の記録も可能にしたフォーマットの例を示したものである。
ここで（Ｌ＋Ｒ）／２に相当するチャネルをＡチャネル、追加チャネルに相当するチャネルをＢチャネルと表すことにする。実際に２チャネルの信号が記録されているのはＡチャネルの信号の後にチャネル構成データを記録するスペースが確保され、なおかつ、そのチャネル構成データが０以外の値になっている場合である。Ｂチャネルの信号は（Ｌ−Ｒ）／２、Ｌ、Ｒの何れかの信号であり、チャネル構成データの値はこれらの何れが記録されているのかを示している。この例ではチャネル構成データの値が１の場合は（Ｌ＋Ｒ）／２、チャネル構成データの値が２の場合はＬ、チャネル構成データの値が３の場合はＲの信号がそれぞれ記録されるようになっている。また、チャネル構成データを値０に設定することにより、ユーザにＡチャネルの音響信号のみを聞かせることが可能になる。
なお、チャネル構成データを値０に設定した場合には、フレームに割り当てられたビット数を全て使うことなくＡチャネルのみを記録することも可能である。
図２７には、図２６に示した符号列を生成する本発明の実施の形態の符号化装置の構成例を示す。
この図２７において、入力信号２１０ａはＬチャネルとＲチャネルの信号であり、この入力信号２１０ａは、チャネル変換回路１２１ａによって、Ａチャネルすなわち（Ｌ＋Ｒ）／２に相当する信号２１０ｂ及びＢチャネルに相当する信号２１０ｃに変換される。Ａチャネル信号２１０ｂは第１の符号化回路１２１ｂに、Ｂチャネル信号２１０ｃは第２の符号化回路１２１ｃに送られる。
第１の符号化回路１２１ｂではＡチャネルの信号２１０ｂを符号化し、第２の符号化回路１２１ｃではＢチャネルの信号２１０ｃを符号化する。これら第１の符号化回路１２１ｂからのＡチャネル符号列２１０ｄと第２の符号化回路１２１ｃからのＢチャネル符号列２１０ｅは、共に符号列生成回路１２１ｄに供給される。
この符号列生成回路１２１ｄは、符号列２１０ｄ及び２１０ｅから、図２６に示した符号列を生成し、出力符号列信号２１０ｈとして出力する。
ここで、当該図２７の構成には、制御回路１２１ｅが設置されている。この制御回路１２１ｅは、符号化のモードを指定する入力信号２１０ｆと入力信号２１０ａに応じて、チャネル変換回路１２１ａから符号列生成回路１２１ｄまでの構成に対し、後述する図２８及び図２９のフローチャートのようにして図２６の符号列を生成するように制御する制御信号２１０ｇを生成し、各構成要素に送る。制御信号２１０ｇには、ステレオモード、モノラルモードのどちらで符号化するかを指示する情報とＢチャネルをどのモードで符号化するかを指示する情報、すなわち（Ｌ−Ｒ）／２，Ｒ，Ｌの何れの信号を符号化するのかを指示する情報が含まれる。
図２８には、図２７の構成において、制御回路１２１ｅの処理の流れを示す。
ここでの処理はフレーム単位で行われる。先ず、ステップＳ３１０ではＡチャネルに（Ｌ＋Ｒ）／２を設定し、ステップＳ３０２では図２７の入力信号２１０ｆによりステレオモードか否かの判定を行い、ステレオモードでない場合は処理を終了する。ステレオモードの場合はステップＳ３０３に進む。このステップＳ３０３では、図２７の入力信号２１０ａのフレーム毎の信号エネルギを各チャネル毎に求め、ＬチャネルのエネルギをＥｌ、ＲチャネルのエネルギをＥｒとする。ステップＳ３０４ではエネルギＥｌとＥｒを比較し、ＥｌとＥｒの比（Ｅｌ／Ｅｒ）が例えば３０ｄＢより小さければステップＳ３０５に進み、逆に３０ｄＢ以上であればステップＳ３０８でＢチャネルにＲチャネルを設定する。ステップＳ３０５では同様にエネルギＥｌとＥｒを比較し、ＥｒとＥｌの比（Ｅｒ／Ｅｌ）が３０ｄＢより小さければ、ステップＳ３０６でＢチャネルに（Ｌ−Ｒ）／２を設定し、逆に大きければステップＳ３０７でＢチャネルにＬチャネルを設定する。ここで設定されたチャネル情報は、図２７の制御信号２１０ｇとして出力される。この例ではＬ，Ｒチャネルのエネルギ比を３０ｄＢという値と比較することによりＢチャネルのチャネル選択を行うようにしているが、エネルギの代わりに信号の振幅比等で比較しても良いし、３０ｄＢという値も量子化雑音のレベルなどに応じて変更しても良く、例えば１０ｄＢなどの値としても良い。
図２９には、図２７の構成において、制御信号２１０ｇに基づいて図２６に示したような符号列を生成する際の処理の流れを示す。なお、この図２９の例では、各フレーム当たり例えば２００バイト分が割り当てられているとする。
この図２９において、ステップＳ４０１では、記録再生を上述のようにステレオにて行うか否かを判断する。図２７のモード指定信号２１０ｆが、ステレオモードを示しているときにはステップＳ４０２以降の処理に、ステレオモードでない方、すなわちモノラルモードが選ばれたときにはステップＳ４０５の処理に移行する。
この図２９において、ステップＳ４０１にてステレオモードでの符号化が指示された場合のステップＳ４０２では、１５０バイトを使用して、上記Ａチャネルすなわち（Ｌ＋Ｒ）／２の信号を符号化する。次のステップＳ４０３では、１バイトを使用して上記チャネル構成データを生成して符号化する。その後、ステップＳ４０４では、４９バイトを使用して上記Ｂチャネルの信号を符号化する。
ここで、チャネル構成データは、Ｂチャネルが（Ｌ−Ｒ）／２に設定されている場合には１、Ｌチャネルが設定されている場合には２、Ｒチャネルに設定されている場合には３がそれぞれ符号化される。
一方、ステップＳ４０１にてモノラルモードが選ばれた場合のステップＳ４０５では、２００バイトを使用して、Ａチャネルすなわち（Ｌ＋Ｒ）／２の信号を符号化する。
次に図３０には、図２６に示したような符号列を復号する本実施の形態の復号化装置の一具体例を示す。
この図３０において、図２６の符号列である入力符号列２２０ａは、符号列分離回路１２２ａによってＡチャネルの符号列２２０ｂとＢチャネルの符号列２２０ｃとに分離される。上記Ａチャネルの符号列２２０ｂはＡチャネル符号列２１０ｄに相当し、上記Ｂチャネルの符号列２２０ｃは上記Ｂチャネルの符号列２１０ｅに相当する。上記Ａチャネルの符号列２２０ｂは第１の復号化回路１２２ｂに、上記Ｂチャネルの符号列２２０ｃは第２の復号化回路１２２ｃに送られる。第１の復号化回路１２２ｂは上記Ａチャネルの符号列２２０ｂを復号し、第２の復号化回路１２２ｃは上記Ｂチャネルの符号列２２０ｃを復号する。
ここで、第１の復号化回路１２２ｂにより復号されたＡチャネル信号２２０ｄと第２の復号化回路１２２ｃにより復号されたＢチャネル信号２２０ｅとでは、それぞれバイト長が異なるため、その処理遅延時間には差がある。このため、第１の復号化回路１２２ｂからのＡチャネル信号２２０ｄはメモリ回路１２２ｄに、第２の復号化回路１２２ｃからのＢチャネル信号２２０ｅはメモリ回路１２２ｅに供給され、これらメモリ回路１２２ｄと１２２ｅによって、上記処理遅延時間差が吸収される。これらメモリ回路１２２ｄと１２２ｅをそれぞれ経由したＡチャネル信号２２０ｆ及びＢチャネル信号２２０ｇは、チャネル変換回路１２２ｆに送られる。
このチャネル変換回路１２２ｆは、上記Ａチャネルすなわち（Ｌ＋Ｒ）／２信号２２０ｆとＢチャネル信号２２０ｇから音響信号を生成してそれぞれ出力する。
当該図３０の構成では、符号列分解回路１２２ａにて入力符号列２２０ａから上記チャネル構成データも分離される。符号列分解回路１２２ａでは、ステレオモードの場合には、上記チャネル分離データを分離し、符号列分離化１２２ａからチャネル変換回路１２２ｆまでの構成にて上述のような復号処理動作を行うための制御信号２２０ｈを生成し、各構成要素に送る。一方、モノラルモードの場合には、符号列分離化１２２ａからＡチャネル符号２２０ｂのみが出力され、第１の復号化回路１２２ｂ以降の構成にてモノラルの信号が再生される。
次に、図３１には、図２６に示した符号列を復号する図３０の構成の処理の流れを示す。
この図３１において、ステップＳ５０１では、入力符号列２２０ａの第１の符号列すなわち上記Ａチャネル符号列２２０ｂのバイト数Ｌ１を計算により求める。ステップＳ５０２では、このバイト数Ｌ１が２００より小さいか否かの判断が行われる。Ｌ１が２００より小さいときにはステップＳ５０３の以降の処理に進み、小さくない（Ｌ１＝２００）ときにはステップＳ５０５の処理に進む。ここで、ステップＳ５０２は、モノラルモードであるかステレオモードであるかの判定を行っている。すなわち、ステップＳ５０２は、旧規格で記録されているか、新規格で記録されているかの判定を、符号列のバイト数に基づいて行う。このように符号列のバイト数で判別することにより、フレーム毎若しくは数フレーム毎に、モードを変更することが可能になる。
なお、モノラルモードとステレオモードの判別は、図１９に示したように、管理データ内にモード指定情報として埋め込むことも可能である。
ステップＳ５０３では、チャネル構成データの値が０か否かの判断を行い、０であるときにはステップＳ５０４に、０でないときにはステップＳ５０５に進む。
ステップＳ５０４では、ＡチャネルとＢチャネルの信号を復号化させるための制御信号２２０ｈを生成して各構成要素に送り、これにより、上述のようにＡチャネル符号列２２０ｂが第１の復号化回路１２２ｂにて復号され、Ｂチャネル符号列２２０ｃが第２の復号化回路１２２ｃにて復号される。また、ステップＳ５０５ではモノラルモードであるためＡチャネル信号を復号化させるための制御信号２２０ｈを生成して各構成要素に送り、上述のようにＡチャネル符号列２２０ｂのみが第１の復号化回路１２２ｂにて復号される。
図３２には図３０の符号列分離回路１２２ａが復号化のステレオモードのときのチャネル設定を決定する方法の処理例を示す。
この図３２において、先ずステップＳ６０１において、チャネル構成データが０か否かの判断を行う。チャネル構成データが０の場合はステップＳ６０２に進み、このステップＳ６０２にてＬチャネル、Ｒチャネルと共にＡチャネルを出力するものとして、図３０の制御信号２２０ｈを生成する。
一方、ステップＳ６０１にてチャネル構成データが０でないと判断された場合には、ステップＳ６０３に進む。このステップＳ６０３ではチャネル構成データが１か否かの判断を行い、当該チャネル構成データが１であると判断した場合にはステップＳ６０４に進む。ステップＳ６０４では、Ｌチャネルとして（Ａ＋Ｂ）、Ｒチャネルとして（Ａ−Ｂ）のチャネルをそれぞれ出力するものとして、図３０の制御信号２２０ｈを生成する。
またステップＳ６０３にてチャネル構成データが１でないと判断した場合は、ステップＳ６０５に進む。このステップＳ６０５では、チャネル構成データが２であるか否かの判断を行う。このステップＳ６０５においてチャネル構成データが２であると判断した場合には、ステップＳ６０６に進み、このステップＳ６０６でＬチャネルとしてＢチャネル、Ｒチャネルとして（２Ａ−Ｂ）のチャネルをそれぞれ出力するものとして図３０の制御信号２２０ｈを生成する。
ステップＳ６０５にてチャネル構成データが２でないと判断した場合は、ステップＳ６０７に進む。このステップＳ６０７では、チャネル構成データが３か否かの判断を行う。このステップＳ６０７において、チャネル構成データが３であると判断した場合には、ステップＳ６０８に進み、このステップＳ６０８でＬチャネルとして（２Ａ−Ｂ）、ＲチャネルとしてＢチャネルをそれぞれ出力するものとして図３０の制御信号２２０ｈを生成する。ステップＳ６０７にてチャネル構成データが３でないと判断した場合は処理を終了する。
上述のようにして生成された制御信号２２０ｈがチャネル変換回路１２２ｆに送られることで、このチャネル変換回路１２２ｆからはステレオモードのときにはＬ，Ｒチャネルの信号が、モノラルモードのときにはモノラルの信号が出力されることになる。すなわち、チャネル構成データが０の場合は、上述のようにＬチャネル、Ｒチャネルと共にＡチャネルの信号を出力することでモノラルの信号が得られる。チャネル構成データが１の場合は、上述のように（Ａ＋Ｂ）にてＬチャネルの信号が得られ、（Ａ−Ｂ）にてＲチャネルの信号が得られる。また、チャネル構成データが２の場合には、ＢチャネルからＬチャネルの信号が得られ、（２Ａ−Ｂ）にてＲチャネルの信号が得られる。さらに、チャネル構成データが３である場合には、（２Ａ−Ｂ）にてＬチャネルの信号が得られ、ＢチャネルからＲチャネルの信号が得られる。
本発明実施の形態の方法を用いて、前述した図１及び図２と同様に示す図３３Ａ，３３Ｂのようなステレオ信号を処理する例について説明する。
この図３３Ａ，３３Ｂは、ステレオ信号の左チャネル成分（Ｌ）及びステレオ信号の右チャネル成分（Ｒ）の時間軸波形をそれぞれ表し、図３３Ｃ，３３ＤはＬ，Ｒのチャネル成分を（Ｌ＋Ｒ）／２＝Ａチャネルとし、例えばＲ＝Ｂチャネルにチャネル変換した信号の時間軸波形をそれぞれ表している。
また、図３３Ｅ，３３Ｆは、上記（Ｌ＋Ｒ）／２＝Ａチャネル，Ｒ＝Ｂチャネルの信号をそれぞれ本発明実施の形態の上述した高能率符号化方法により符号化して復号化する際に生じる量子化雑音の様子を表し、図中Ｎ１とＮ２は（Ｌ＋Ｒ）／２＝Ａチャネル，Ｒ＝Ｂチャネルの信号を符号化する際に生じる量子化雑音成分の時間軸波形をそれぞれ表している。ここで、（Ｌ＋Ｒ）／２＝Ａチャネルを符号化及び復号化した後の信号はＡ＋Ｎ１、Ｒ＝Ｂチャネルを符号化及び復号化した後の信号はＢ＋Ｎ２でそれぞれ表すことができる。
図３３Ｇ，３３Ｈは（Ａ＋Ｎ１），（Ｂ＋Ｎ２）の信号波形からステレオ信号のＬ，Ｒチャネルを分離した様子を示している。Ｌチャネルについては（２Ａ−Ｂ）により生成し、ＲチャネルについてはＢチャネルそのものである。
すなわち、この図３３に示したようなステレオ信号を前述した従来技術で処理すると、既に述べたように符号化により生じる量子化雑音が問題となるが、本実施の形態の場合には、図３３Ｃ，３３Ｄに示すように、Ａ＝（Ｌ＋Ｒ）／２とし、例えばＲ＝Ｂのチャネルとし、ＲチャネルはＢチャネルとして独立して符号化処理することにより、このＲチャネルは他チャネルで生じる量子化雑音に影響されることがないため、良好な音質で再生することができる。ＬチャネルについてはＲチャネルの信号レベルが小さいため他チャネルで生じる量子化雑音に影響されることがないため問題は生じない。一般にこのような方法で符号化を行う場合、Ｂチャネルに使用する情報を少なくする場合が多いが、本発明実施の形態による方法ではＢチャネルとして信号レベルが小さいものを選ぶようにチャネル変換を行うため、Ｂチャネルを少ない情報で符号化しても音質劣化は殆ど生じない。
このように旧規格対応再生装置では少数のチャネル再生が可能で、新規格対応再生装置ではより多数のチャネル再生が可能であり、且つチャネル変換を最適に行い音質劣化を最小限に止めるような符号化方法、復号化方法、及び符号化された記録した媒体等は全て本発明の方法に含まれる。
また、ここでは、第１の符号化方式として全体を２つの帯域に分割した後、スペクトル変換して、そのスペクトル係数を正規化及び量子化して固定長で符号化する方式を採用し、第２の符号化方式として全体を２つの帯域に分割した後、スペクトル変換して、そのスペクトル係数をトーン成分とその他の成分に分離した後、各々を正規化及び量子化して可変長で符号化する方式を採用したが、これらの符号化方式としては、その他にも様々なものが考えられ、例えば、第１の符号化方式として、帯域分割してから帯域幅に応じて間引いた時系列信号を正規化及び量子化して固定長で符号化する方式を採用し、第２の符号化方式として、全帯域の時系列信号をスペクトル変換して、そのスペクトル係数を正規化及び量子化して符号化する方式を採用するようにしても良い。ただし、第２の符号化方式としては、既に述べたようにできる限り符号化効率の良い手法を採用することによって、旧規格対応再生装置が再生した場合の音質低下を軽微なものにすることが望ましい。
さらに、オーディオ信号を用いた場合を例にとって説明を行ったが、本発明の方法は旧規格対応再生装置が再生する信号が例えば画像信号である場合にも適用可能である。すなわち、例えば、旧規格の符号列として輝度信号が符号化されている場合に本発明の方法を用いて色差信号、色相信号を符号列に加えることが可能である。本発明におけるチャネルとは映像の場合の輝度信号、色差信号、色相信号を含んだものである。
なお以上、符号化されたビットストリームを記録媒体に記録する場合について説明を行ったが、本発明の方法はビットストリームを伝送する場合にも適用可能である。また、記録媒体としても、ランダムアクセス可能なものであれば、光ディスク等の記録媒体に限らず、半導体メモリ等も使用可能であることは言うまでもない。
産業上の利用可能性
以上の説明からも明らかなように、本発明の信号符号化方法及び装置においては、複数の入力チャネルの信号から生成した第１の信号を符号化し、一部のチャネルと他のチャネルの信号レベルに基づいて、一部のチャネルの信号のみからなる第２の信号或いは複数の入力チャネルの信号から生成した第２の信号を符号化し、第２の信号として何れを選択したかを示す選択情報をも符号化し、第１、第２の信号の符号化方式を異なる符号化方式にすることにより、例えば、旧規格対応再生装置による再生を可能にしながら新規格拡張によって多チャネル化を実現する符号化・復号化を行う場合に、符号化により生じる量子化雑音を最小限に抑え、音質劣化を軽減可能となる。
また、本発明の信号復号化方法及び装置においては、複数のチャネルの信号から生成されて符号化された第１の符号化信号と、一部のチャネルの信号のみからなる第２の信号或いは複数のチャネルの信号から生成した第２の信号との何れかを選択して符号化した第２の符号化信号とを含む符号列を復号化するとともに、符号列から第２の信号の選択状況を特定する選択情報を取り出して復号化を制御し、復号化の際には第１、第２の符号化信号をそれぞれ異なる復号化方式にて復号化することにより、例えば、旧規格対応再生装置による再生が可能であり且つ新規格で拡張された信号をも再生でき、符号化及び復号化により生じる量子化雑音を最小限に抑え、音質劣化を軽減可能となる。
さらに本発明の信号記録媒体においては、複数の入力チャネルの信号から生成された第１の信号を符号化した第１の符号化信号と、一部のチャネルの信号のみからなる第２の信号或いは複数の入力チャネルの信号から生成した第２の信号の何れかを選択して符号化した第２の符号化信号と、それらの符号化パラメータと、第２の信号の選択情報を有する符号列を記録してなるとともに、第１、第２の信号の符号化方式が異なることにより、例えば、旧規格対応再生装置による再生が可能になり且つ新規格で拡張された信号をも再生でき、符号化及び復号化により生じる量子化雑音を最小限に抑え、音質劣化を軽減可能となる。

Claims (20)

1. 信号を符号化する符号化方法において、
   複数の入力チャネルの信号から第１の信号を生成し、
   上記複数の入力チャネルのうちの一部のチャネルと他のチャネルの信号レベルを求め、
   上記信号レベルに基づいて、上記一部のチャネルの信号のみからなる第２の信号と上記複数の入力チャネルの信号から生成した第２の信号との何れかを選択し、
   上記第１の信号及び上記選択した第２の信号を符号化する符号化方法。
2. 上記一部のチャネルの信号のみからなる第２の信号又は上記複数の入力チャネルの信号から生成した第２の信号の何れを選択したかを示す選択情報を生成し、符号化することを特徴とする請求の範囲第１項記載の符号化方法。
3. 上記一部のチャネルと他のチャネルの信号レベルの比が所定の閾値より大きいとき、上記一部のチャネルの信号のみからなる第２の信号を選択することを特徴とする請求の範囲第１項記載の符号化方法。
4. 上記一部のチャネルと他のチャネルの信号レベルの比が所定の閾値より小さいとき、上記複数の入力チャネルの信号から生成した第２の信号を選択することを特徴とする請求の範囲第１項記載の符号化方法。
5. 信号を符号化する符号化装置において、
   複数の入力チャネルの信号から第１の信号を生成する第１の信号生成手段と、
   上記複数の入力チャネルのうちの一部のチャネルと他のチャネルの信号レベルに基づいて、上記一部のチャネルの信号のみからなる第２の信号と上記複数の入力チャネルの信号から生成した第２の信号との何れかを選択する第２の信号生成手段と、
   上記第１の信号及び上記選択した第２の信号を符号化する符号化手段とを具備する符号化装置。
6. 符号化された信号を復号する復号化方法において、
   符号列から第１の符号化信号と、第２の符号化信号と、第２の符号化信号の構成するチャネル信号の構成状態を示す構成情報とを分離し、
   上記分離した第１及び第２の符号化信号をそれぞれ復号化して第１及び第２の信号を生成し、
   上記構成情報に基づいて、上記第１及び第２の信号から複数のチャネル信号を生成するための復元処理を選択する復号化方法。
7. 符号化された信号を復号する復号化方法において、
   複数のチャネルの信号から生成されて符号化された第１の符号化信号と、上記複数のチャネルのうちの一部のチャネルと他のチャネルの信号レベルに基づいて上記一部のチャネルの信号のみからなる第２の信号又は上記複数のチャネルの信号から生成した第２の信号の何れかが選択されて符号化された第２の符号化信号とを含む符号列から上記第１及び第２の符号化信号を分離し、
   上記分離した第１及び第２の符号化信号をそれぞれ復号化し、
   上記復号化した第１及び第２の信号から複数チャネルの信号を復元する復号化方法。
8. 上記符号列から、上記第２の信号の選択状況を特定する選択情報をも分離し、
   上記選択情報に基づいて、上記第１及び第２の符号化信号の復号化及び複数チャネルの信号の復元を制御することを特徴とする請求の範囲第７項記載の復号化方法。
9. 上記第２の信号が上記複数のチャネルのうちの一部のチャネルの信号のみからなることを上記選択情報が示すとき、上記第２の符号化信号から上記一部のチャネルの信号を復号化し、
   当該復号化した一部のチャネルの信号と上記復号化した第１の信号とから、上記複数チャネルの信号を復元することを特徴とする請求の範囲第８項記載の復号化方法。
10. 上記第２の信号が上記複数のチャネルの信号から生成されたことを上記選択情報が示すとき、上記第２の符号化信号から第２の信号を復号化し、
    当該復号化した第２の信号と上記復号化した第１の信号とから、上記複数チャネルの信号を復元することを特徴とする請求の範囲第８項記載の復号化方法。
11. 上記複数のチャネルの信号は、音響信号の右チャネルの信号と左チャネルの信号からなることを特徴とする請求の範囲第７項記載の復号化方法。
12. 上記第１の信号は、音響信号の右チャネルの信号と左チャネルの信号の加算によって求められた信号であり、
    上記複数のチャネルの信号から生成した第２の信号は、音響信号の右チャネルの信号と左チャネルの信号の減算によって求められた信号であることを特徴とする請求の範囲第１１項記載の復号化方法。
13. 符号化された信号を復号する復号化装置において、
    符号列から第１の符号化信号と、第２の符号化信号と、第２の符号化信号の構成するチャネル信号の構成状態を示す構成情報とを分離する分離手段と、
    上記分離した第１及び第２の符号化信号をそれぞれ復号化して第１及び第２の信号を生成する復号化手段と、
    上記構成情報に基づいて、上記第１及び第２の信号から複数のチャネル信号を生成するための復元処理を選択する制御手段とを具備する復号化装置。
14. 符号化された信号を復号する復号化装置において、
    複数のチャネルの信号から生成されて符号化された第１の符号化信号と、上記複数のチャネルのうちの一部のチャネルと他のチャネルの信号レベルに基づいて上記一部のチャネルの信号のみからなる第２の信号又は上記複数のチャネルの信号から生成した第２の信号の何れかが選択されて符号化された第２の符号化信号とを含む符号列から上記第１及び第２の符号化信号を分離する分離手段と、
    上記分離した第１及び第２の符号化信号をそれぞれ復号化する復号化手段と、
    上記復号化した第１及び第２の信号から複数チャネルの信号を復元する復元手段とを具備する復号化装置。
15. 上記分離手段は、上記符号列から、上記第２の信号の選択状況を特定する選択情報をも分離し、
    上記選択情報に基づいて、上記第１及び第２の符号化信号の復号化及び複数チャネルの信号の復元を制御する制御手段をさらに具備することを特徴とする請求の範囲第１４項記載の復号化装置。
16. 上記制御手段は、上記第２の信号が上記複数のチャネルのうちの一部のチャネルの信号のみからなることを上記選択情報が示すとき、上記第２の復号化手段を制御して、上記第２の符号化信号から上記一部のチャネルの信号を復号化するとともに、上記復元手段を制御して、上記復号化した一部のチャネルの信号と上記復号化した第１の信号とから上記複数チャネルの信号を復元することを特徴とする請求の範囲第１５項記載の復号化装置。
17. 上記制御手段は、上記第２の信号が上記複数のチャネルの信号から生成されたことを上記選択情報が示すとき、上記第２の復号化手段を制御して、上記第２の符号化信号から上記第２の信号を復号化するとともに、上記復元手段を制御して、上記復号化した第２の信号と上記復号化した第１の信号とから上記複数チャネルの信号を復元することを特徴とする請求の範囲第１５項記載の復号化装置。
18. 上記複数のチャネルの信号は、音響信号の右チャネルの信号と左チャネルの信号からなることを特徴とする請求の範囲第１４項記載の復号化装置。
19. 上記第１の信号は、音響信号の右チャネルの信号と左チャネルの信号の加算によって求められた信号であり、
    上記複数のチャネルの信号から生成した第２の信号は、音響信号の右チャネルの信号と左チャネルの信号の減算によって求められた信号であることを特徴とする請求の範囲第１８項記載の復号化装置。
20. 複数の入力チャネルの信号から生成された第１の信号を符号化した第１の符号化信号と、上記複数の入力チャネルのうちの一部のチャネルと他のチャネルの信号レベルに基づいて上記一部のチャネルの信号のみからなる第２の信号又は上記複数の入力チャネルの信号から生成した第２の信号の何れかを選択して符号化した第２の符号化信号と、上記第１、第２の信号の符号化の際の符号化パラメータとを有する符号列を記録してなる記録媒体。

Images