JP5340261B2 - ステレオ信号符号化装置、ステレオ信号復号装置およびこれらの方法 - Google Patents

Description

本発明は、ステレオ音声の符号化に用いられるステレオ信号符号化装置、ステレオ信号復号装置およびこれらの方法に関する。

移動体通信においては、伝送帯域の有効利用のために音声や画像のディジタル情報の圧縮符号化が必須である。その中でも携帯電話で広く利用される音声符号化装置（符号化／復号化）技術に対する期待は大きく、圧縮率の高い従来の高効率符号化に対してさらなる音質の要求が強まっている。

近年、通信ネットワークのブロードバンド化に伴い、音声通信に対して臨場感や音質の高さが求められるようになり、このニーズに応えるために、ステレオ音声の符号化技術を用いた音声通信システムの開発が進められている。

従来から、ステレオ音声を符号化する方法として、左チャネル信号と右チャネル信号との和であるモノラル信号と、左チャネル信号と右チャネル信号との差であるサイド信号とを求め、モノラル信号とサイド信号とをそれぞれ符号化する方法が知られている（特許文献１参照）。

左チャネル信号と右チャネル信号とは、人間の左右の両耳に入る音を表す信号であり、モノラル信号によって左チャネル信号と右チャネル信号との共通成分を表すことができ、サイド信号によって左チャネル信号と右チャネル信号との空間的な違いを表すことができる。

左チャネル信号と右チャネル信号との相関性が高いことから、これらの信号をモノラル信号とサイド信号とに変換してから符号化する方が、直接符号化するよりも、モノラル信号とサイド信号との特徴に応じた適切な符号化が可能になり、冗長性が少なく、低ビットレートで高品質な符号化を実現することができる。

また近年、多層構造を有するスケーラブル符号化装置の標準化がＩＴＵ−Ｔ(International Telecommunication Union Telecommunication Standardization Sector)、ＭＰＥＧ（Moving Picture Expert Group）などで検討されており、より効率的で高品質な音声符号化装置が求められている。

例えば、ＩＴＵ−Ｔ Ｇ．７２９．１に基づくスケーラブル符号化装置は、コアレイヤではＩＴＵ−Ｔ標準Ｇ．７２９の８ｋｂｐｓの符号化を行い、さらに拡張レイヤの符号化を行うことにより、８ｋｂｐｓ、１２ｋｂｐｓ、１４ｋｂｐｓ、１６ｋｂｐｓ、１８ｋｂｐｓ、２０ｋｂｐｓ、２２ｋｂｐｓ、２４ｋｂｐｓ、２６ｋｂｐｓ、２８ｋｂｐｓ、３０ｋｂｐｓ、３２ｋｂｐｓなど１２種のビットレートの符号化を行うことができる。このスケーラビリティは、下位レイヤでの符号化歪みを、上位レイヤにおいて順次符号化していくことによって実現される。すなわち、Ｇ．７２９．１のスケーラブル符号化装置は、ビットレート８ｋｂｐｓのコアレイヤ１個と、ビットレート４ｋｂｐｓの拡張レイヤ１個と、ビットレート２ｋｂｐｓの拡張レイヤ１０個から構成される。

また、ステレオ信号に対してスケーラブル符号化を行う技術としては、特許文献２記載のステレオ信号符号化装置が挙げられる。このステレオ信号符号化装置は、各レイヤに対
応する付加情報を所定数のビットで表現し、重要度がより高いビットシーケンスから重要度がより低いビットシーケンスの順に従って、所定の確率モデルを用いて算術符号化を行う。なお、このようなステレオ信号符号化装置は、左チャネル信号と右チャネル信号とを所定のルールで交替しながら符号化することを特徴とする。
特開２００１−２５５８９２号公報 特開平１１−３１７６７２号公報

しかしながら、特許文献２記載のステレオ信号符号化装置は上述したように、左チャネル信号と右チャネル信号とを所定のルールで交替しながら符号化するものであり、このような符号化は左チャネル信号と右チャネル信号との相関や情報の重要性に応じた符号化ではない。また、スケーラブル符号化を行うステレオ信号符号化装置では、モノラル符号化を行うレイヤとステレオ符号化を行うレイヤとをユーザの意志により設定した方が好ましいのに対し、特許文献２記載のステレオ信号符号化装置には、このような設定が不可能であるという問題点がある。

本発明の目的は、左チャネル信号と右チャネル信号との相関や情報の重要性に応じたスケーラブル符号化を行うことができ、またモノラル符号化を行うレイヤとステレオ符号化を行うレイヤとを設定することができるステレオ信号符号化装置、ステレオ信号復号装置、およびこれらの方法を提供することである。

本発明のステレオ信号符号化装置は、ステレオ信号を構成する第１チャネル信号と第２チャネル信号との和に関するモノラル信号を生成し、前記第１チャネル信号と前記第２チャネル信号との差に関するサイド信号を生成する和差計算手段と、モノラル符号化またはステレオ符号化のいずれかの符号化モードを示すモード情報をレイヤ毎に生成するモード情報生成手段と、前記モード情報に基づき、前記モノラル信号に関する情報を用いて第ｉ（ｉ＝１，２，…，Ｎ、Ｎは２以上の整数）レイヤのモノラル符号化を行うか、または前記モノラル信号に関する情報と前記サイド信号に関する情報との両方を用いて第ｉレイヤのステレオ符号化を行い、第ｉレイヤ符号化情報を得る第１から第Ｎレイヤ符号化手段と、を具備する構成をとる。

本発明のステレオ信号復号装置は、ステレオ信号を構成する第１チャネル信号と第２チャネル信号とを用いた符号化を行うステレオ信号符号化装置の第ｉ（ｉ＝１，２，…，Ｎ、Ｎは２以上の整数）レイヤの符号化処理においてモノラル符号化またはステレオ符号化のいずれかを行ったかを示すモード情報と、前記第１から第Ｎレイヤの符号化処理により得られた第１から第Ｎレイヤ符号化情報と、を受信する受信手段と、前記モード情報に基づき、前記第ｉレイヤ符号化情報を用いてモノラル復号またはステレオ復号を行い、前記第１チャネル信号と前記第２チャネル信号との和に関するモノラル信号の第ｉレイヤの復号結果と、前記第１チャネル信号と前記第２チャネル信号との差に関するサイド信号の第ｉレイヤの復号結果とを得る第１から第Ｎレイヤ復号手段と、前記モノラル信号の第Ｎレイヤの復号結果と、前記サイド信号の第Ｎレイヤの復号結果とを用いて、第１チャネル復号信号と第２チャネル復号信号とを算出する和差計算手段と、を具備する構成をとる。

本発明のステレオ信号符号化方法は、ステレオ信号を構成する第１チャネル信号と第２チャネル信号との和に関するモノラル信号を生成し、前記第１チャネル信号と前記第２チャネル信号との差に関するサイド信号を生成するステップと、モノラル符号化またはステレオ符号化のいずれかの符号化モードを示すモード情報をレイヤ毎に生成するステップと、前記モード情報に基づき、前記モノラル信号に関する情報を用いて第ｉ（ｉ＝１，２，
…，Ｎ、Ｎは２以上の整数）レイヤのモノラル符号化を行うか、または前記モノラル信号に関する情報と前記サイド信号に関する情報との両方を用いて第ｉレイヤのステレオ符号化を行い、第ｉレイヤ符号化情報を得るステップと、を有するようにした。

本発明のステレオ信号復号方法は、ステレオ信号を構成する第１チャネル信号と第２チャネル信号とを用いた符号化を行うステレオ信号符号化装置の第ｉ（ｉ＝１，２，…，Ｎ、Ｎは２以上の整数）レイヤの符号化処理においてモノラル符号化またはステレオ符号化のいずれかを行ったかを示すモード情報と、前記第１から第Ｎレイヤの符号化処理により得られた第１から第Ｎレイヤ符号化情報と、を受信するステップと、前記モード情報に基づき、前記第ｉレイヤ符号化情報を用いてモノラル復号またはステレオ復号を行い、前記第１チャネル信号と前記第２チャネル信号との和に関するモノラル信号の第ｉレイヤの復号結果と、前記第１チャネル信号と前記第２チャネル信号との差に関するサイド信号の第ｉレイヤの復号結果とを得るステップと、前記モノラル信号の第Ｎレイヤの復号結果と、前記サイド信号の第Ｎレイヤの復号結果とを用いて、第１チャネル復号信号と第２チャネル復号信号とを算出するステップと、を有するようにした。

本発明によれば、ステレオ信号のＬ信号とＲ信号とから算出されるモノラル信号（Ｍ信号）とサイド信号（Ｓ信号）に対してスケーラブル符号化を行い、モード情報に基づきスケーラブル符号化の各レイヤの符号化モードを設定することにより、左チャネル信号と右チャネル信号との相関や情報の重要性に応じてスケーラブル符号化を行うことができる。また、本発明によれば、モノラル符号化を行うレイヤとステレオ符号化を行うレイヤとを設定することができ、符号化精度の制御の自由度を向上することができる。

以下、本発明の実施の形態について図面を参照しながら説明する。

（実施の形態１）
図１は、本発明の実施の形態１に係るステレオ信号符号化装置１００の主要な構成を示すブロック図である。本発明の実施の形態１に係るステレオ信号符号化装置１００としては、１つのコアレイヤと３つの拡張レイヤとを備える場合を例にとって説明する。なお以下、ステレオ信号としては、左チャネル信号（以下、Ｌ信号と記す）と右チャネル信号（以下、Ｒ信号と記す）とからなる場合を例にとって説明する。

図１において、ステレオ信号符号化装置１００は、和差計算部１０１、モード設定部１０２、コアレイヤ符号化部１０３、第１拡張レイヤ符号化部１０４、第２拡張レイヤ符号化部１０５、第３拡張レイヤ符号化部１０６、および多重化部１０７を備える。

和差計算部１０１は、入力されるステレオ信号を構成するＬチャネル信号およびＲチャネル信号を用いて、下記の式（１）および（２）に従って、モノラル信号の和信号（以下、Ｍ信号と記す）およびサイド信号の差信号（以下、Ｓ信号と記す）を求め、コアレイヤ符号化部１０３に出力する。ここで、Ｌ信号とＲ信号とは、人間の左右の両耳に入る音を表す信号であり、Ｍ信号によってはＬ信号とＲ信号との共通成分を表すことができ、Ｓ信号によってはＬ信号とＲ信号との空間的な違いを表すことができる。
Ｍ_ｉ＝Ｌ_ｉ＋Ｒ_ｉ …（１）
Ｓ_ｉ＝Ｌ_ｉ−Ｒ_ｉ …（２）

式（１）および式（２）において、下付のｉは各信号のサンプル番号を示し、ｉを省略して信号を示す場合もある。例えば、Ｍ_ｉ信号を単にＭ信号と示す場合がある。

モード設定部１０２は、コアレイヤ符号化部１０３、第１拡張レイヤ符号化部１０４、第２拡張レイヤ符号化部１０５、および第３拡張レイヤ符号化部１０６の各符号化部の符号化モードを設定するためのモード情報を、予めユーザの操作により入力し、入力したモード情報を上記各符号化部および多重化部１０７に出力する。ここで、ユーザの操作としては、キーボード、ディップスイッチ、ボタンなどからの入力、またはＰＣ（Personal Computer）等からのダウンロードなどが挙げられる。

各符号化部の符号化モードとは、Ｍ信号に関する情報のみを符号化するモノラル符号化モード、またはＭ信号に関する情報およびＳ信号に関する情報の両方を符号化するステレ
オ符号化モードを言う。Ｍ信号に関する情報とは、代表的には、Ｍ信号自体または各レイヤにおけるＭ信号に関する符号化歪みを言う。また、Ｓ信号に関する情報とは、代表的には、Ｓ信号自体または各レイヤにおけるＳ信号に関する符号化歪みを言う。

以下、モード情報の各ビットを用いて、各レイヤの符号化モードを示す。すなわち、各ビットにおける「０」の値はモノラル符号化モードを示し、「１」の値はステレオ符号化モードを示す。具体的には、４ビットのモード情報の各ビットを用いて、順次、コアレイヤ符号化部１０３、第１拡張レイヤ符号化部１０４、第２拡張レイヤ符号化部１０５、および第３拡張レイヤ符号化部１０６の符号化モードを表す。

例えば、「００００」という４ビットのモード情報は、すべてのレイヤにおいてモノラル符号化を行うことを意味する。この場合、ステレオ信号符号化装置１００としては、Ｍ信号を最大限の高品質で符号化することができる。また、例えば、モード情報「００１１」は、コアレイヤ符号化部１０３および第１拡張レイヤ符号化部１０４の符号化モードはモノラル符号化モードであり、第２拡張レイヤ符号化部１０５および第３拡張レイヤ符号化部１０６の符号化モードはステレオ符号化モードであることを意味する。また、例えば、モード情報「１１１１」は、すべてのレイヤにおいてステレオ符号化を行うことを意味する。この場合、ステレオ信号符号化装置１００としては、Ｍ信号およびＳ信号の両方を平等の重み付けで符号化することができる。このように、４ビットのモード情報により、４つの符号化部に対して、１６通りの符号化モードを示すことができる。

本実施の形態においては、モード設定部１０２から出力されるモード情報は、各符号化部及び多重化部１０７に対して、同じ４ビットのモード情報として入力される。そして、それぞれの符号化部において、入力される４ビットのうち符号化モードの設定に必要な１つのビットのみを参照して、符号化モードを設定する。すなわち、入力される４ビットのモード情報に対して、コアレイヤ符号化部１０３は１ビット目を、第１拡張レイヤ符号化部１０４は２ビット目を、第２拡張レイヤ符号化部１０５は３ビット目を、そして第３拡張レイヤ符号化部１０６は４ビット目を参照する。

しかし、各符号化部に対してすべて同じ４ビットのモード情報を入力せずに、各符号化部において符号化モードの設定に必要な１つのビットを、モード設定部１０２においてあらかじめ振り分けて、モード設定部１０２がそれぞれの符号化部に対して１ビットずつ出力するようにしてもよい。すなわちモード設定部１０２は、４ビットのモード情報のうち、１ビット目のみをコアレイヤ符号化部１０３に、２ビット目のみを第１拡張レイヤ符号化部１０４に、３ビット目のみを第２拡張レイヤ符号化部１０５に、そして４ビット目のみを第３拡張レイヤ符号化部１０６に入力するようにしてもよい。

なお、いずれの場合においても、モード設定部１０２から多重化部１０７に入力されるモード情報は、４ビットのモード情報が入力される。

コアレイヤ符号化部１０３は、モード設定部１０２から入力されるモード情報に基づき、モノラル符号化モードまたはステレオ符号化モードのいずれかに設定される。コアレイヤ符号化部１０３をモノラル符号化モードに設定した場合には、コアレイヤ符号化部１０３は、和差計算部１０１から入力されるＭ信号のみを符号化し、得られるモノラル符号化情報をコアレイヤ符号化情報として多重化部１０７に出力する。また、コアレイヤ符号化部１０３は、和差計算部１０１から入力されたＭ信号のコアレイヤ符号化歪みを求めてコアレイヤにおけるＭ信号に関する情報として第１拡張レイヤ符号化部１０４に出力するとともに、和差計算部１０１から入力されたＳ信号をそのままコアレイヤにおけるＳ信号に関する情報として第１拡張レイヤ符号化部１０４に出力する。一方、コアレイヤ符号化部１０３をステレオ符号化モードに設定した場合には、コアレイヤ符号化部１０３は、和差
計算部１０１から入力されたＭ信号およびＳ信号の両方を符号化し、得られるステレオ符号化情報をコアレイヤ符号化情報として多重化部１０７に出力する。また、コアレイヤ符号化部１０３は、和差計算部１０１から入力されたＭ信号のコアレイヤ符号化歪みおよび和差計算部１０１から入力されたＳ信号のコアレイヤ符号化歪みを求めて、それぞれ、コアレイヤにおけるＭ信号に関する情報およびコアレイヤにおけるＳ信号に関する情報として、第１拡張レイヤ符号化部１０４に出力する。なお、コアレイヤ符号化部１０３の詳細については後述する。

第１拡張レイヤ符号化部１０４は、モード設定部１０２から入力されるモード情報に基づき、モノラル符号化モードまたはステレオ符号化モードのいずれかに設定される。第１拡張レイヤ符号化部１０４をモノラル符号化モードに設定した場合には、第１拡張レイヤ符号化部１０４は、コアレイヤ符号化部１０３から入力された、コアレイヤにおけるＭ信号に関する情報を符号化し、得られるモノラル符号化情報を第１拡張レイヤ符号化情報として多重化部１０７に出力する。また、第１拡張レイヤ符号化部１０４は、コアレイヤ符号化部１０３から入力された、コアレイヤにおけるＭ信号に関する情報を用いて、Ｍ信号に関する第１拡張レイヤ符号化歪みを求めて第１拡張レイヤにおけるＭ信号に関する情報として第２拡張レイヤ符号化部１０５に出力するとともに、コアレイヤ符号化部１０３から入力された、コアレイヤにおけるＳ信号に関する情報をそのまま第１拡張レイヤにおけるＳ信号に関する情報として第２拡張レイヤ符号化部１０５に出力する。

一方、第１拡張レイヤ符号化部１０４をステレオ符号化モードに設定した場合には、第１拡張レイヤ符号化部１０４は、コアレイヤ符号化部１０３から入力された、コアレイヤにおけるＭ信号に関する情報とコアレイヤにおけるＳ信号に関する情報との両方を符号化し、得られるステレオ符号化情報を第１拡張レイヤ符号化情報として多重化部１０７に出力する。また、第１拡張レイヤ符号化部１０４は、コアレイヤ符号化部１０３から入力された、コアレイヤにおけるＭ信号に関する情報およびコアレイヤにおけるＳ信号に関する情報を用いて、Ｍ信号に関する第１拡張レイヤ符号化歪みおよびＳ信号に関する第１拡張レイヤ符号化歪みを求めて、それぞれ、第１拡張レイヤにおけるＭ信号に関する情報および第１拡張レイヤにおけるＳ信号に関する情報として、第２拡張レイヤ符号化部１０５に出力する。なお、第１拡張レイヤ符号化部１０４の詳細については後述する。

第２拡張レイヤ符号化部１０５は、モード設定部１０２から入力されるモード情報に基づき、モノラル符号化モードまたはステレオ符号化モードのいずれかに設定される。第２拡張レイヤ符号化部１０５をモノラル符号化モードに設定した場合には、第２拡張レイヤ符号化部１０５は、第１拡張レイヤ符号化部１０４から入力された、第１拡張レイヤにおけるＭ信号に関する情報を符号化し、得られるモノラル符号化情報を第２拡張レイヤ符号化情報として多重化部１０７に出力する。また、第２拡張レイヤ符号化部１０５は、第１拡張レイヤ符号化部１０４から入力された、第１拡張レイヤにおけるＭ信号に関する情報を用いて、Ｍ信号に関する第２拡張レイヤ符号化歪みを求めて第２拡張レイヤにおけるＭ信号に関する情報として第３拡張レイヤ符号化部１０６に出力するとともに、第１拡張レイヤ符号化部１０４から入力された、第１拡張レイヤにおけるＳ信号に関する情報をそのまま第２拡張レイヤにおけるＳ信号に関する情報として第３拡張レイヤ符号化部１０６に出力する。

一方、第２拡張レイヤ符号化部１０５をステレオ符号化モードに設定した場合には、第２拡張レイヤ符号化部１０５は、第１拡張レイヤ符号化部１０４から入力された、第１拡張レイヤにおけるＭ信号に関する情報と第１拡張レイヤにおけるＳ信号に関する情報との両方を符号化し、得られるステレオ符号化情報を第２拡張レイヤ符号化情報として多重化部１０７に出力する。また、第２拡張レイヤ符号化部１０５は、第１拡張レイヤ符号化部１０４から入力された、第１拡張レイヤにおけるＭ信号に関する情報および第１拡張レイ
ヤにおけるＳ信号に関する情報を用いて、Ｍ信号に関する第２拡張レイヤ符号化歪みおよびＳ信号に関する第２拡張レイヤ符号化歪みを求めて、それぞれ、第２拡張レイヤにおけるＭ信号に関する情報および第２拡張レイヤにおけるＳ信号に関する情報として、第３拡張レイヤ符号化部１０６に出力する。なお、第２拡張レイヤ符号化部１０５の詳細については後述する。

第３拡張レイヤ符号化部１０６は、モード設定部１０２から入力されるモード情報に基づき、モノラル符号化モードまたはステレオ符号化モードのいずれかに設定される。第３拡張レイヤ符号化部１０６をモノラル符号化モードに設定した場合には、第３拡張レイヤ符号化部１０６は、第２拡張レイヤ符号化部１０５から入力された、第２拡張レイヤにおけるＭ信号に関する情報を符号化し、得られるモノラル符号化情報を第３拡張レイヤ符号化情報として多重化部１０７に出力する。

一方、第３拡張レイヤ符号化部１０６をステレオ符号化モードに設定した場合には、第３拡張レイヤ符号化部１０６は、第２拡張レイヤ符号化部１０５から入力された、第２拡張レイヤにおけるＭ信号に関する情報と第２拡張レイヤにおけるＳ信号に関する情報との両方を符号化し、得られるステレオ符号化情報を第３拡張レイヤ符号化情報として多重化部１０７に出力する。なお、第３拡張レイヤ符号化部１０６の詳細については後述する。

多重化部１０７は、モード設定部１０２から入力されるモード情報、コアレイヤ符号化部１０３から入力されるコアレイヤ符号化情報、第１拡張レイヤ符号化部１０４から入力される第１拡張レイヤ符号化情報、第２拡張レイヤ符号化部１０５から入力される第２拡張レイヤ符号化情報、および第３拡張レイヤ符号化部１０６から入力される第３拡張レイヤ符号化情報を多重化し、ステレオ信号復号装置に伝送されるビットストリームを生成する。

ステレオ信号符号化装置１００において、コアレイヤ符号化部１０３、第１拡張レイヤ符号化部１０４、および第２拡張レイヤ符号化部１０５は、同様な構成を有して基本的に同様な動作を行い、入力信号および出力信号のみが相違する。第３拡張レイヤ符号化部１０６は、符号化歪みを求めるための構成が不要であるため、上記３つの符号化部とは一部構成が異なる。すなわち、第３拡張レイヤ符号化部１０６は、図２に示す構成からモノラル復号部３０３、ステレオ復号部３０６、スイッチ３０７、加算器３０８、加算器３０９、スイッチ３１０を省いた構成となる。同様な構成を有する上記３つの符号化部については、例えば、コアレイヤ符号化部１０３は、Ｍ信号とＳ信号とを入力信号とし、モノラル符号化を行う場合には、Ｍ信号に関する情報であるＭ信号のコアレイヤ符号化歪みとＳ信号に関する情報であるＳ信号自体とを、第１拡張レイヤ符号化部１０４への出力信号とし、ステレオ符号化を行う場合には、Ｍ信号に関する情報であるＭ信号のコアレイヤ符号化歪みとＳ信号に関する情報であるＳ信号のコアレイヤ符号化歪みとを、第１拡張レイヤ符号化部１０４への出力信号とする。

また、第１拡張レイヤ符号化部１０４および第２拡張レイヤ符号化部１０５は、前段のレイヤにおける、Ｍ信号に関する情報とＳ信号に関する情報とを入力信号とし、モノラル符号化を行う場合には、前段のレイヤにおけるＭ信号に関する情報をさらに符号化した符号化歪みと、前段のレイヤにおけるＳ信号に関する情報自体とを、後段のレイヤの符号化部への出力信号とし、ステレオ符号化を行う場合には、前段のレイヤにおけるＭ信号に関する情報をさらに符号化した符号化歪みと、前段のレイヤにおけるＳ信号に関する情報をさらに符号化した符号化歪みとを、後段のレイヤの符号化部への出力信号とする。以下、コアレイヤ符号化部１０３を例にとり、これらの各符号化部の構成および動作を説明する。

図２は、コアレイヤ符号化部１０３の内部の主要な構成を示すブロック図である。

図２において、コアレイヤ符号化部１０３は、スイッチ３０１、モノラル符号化部３０２、モノラル復号部３０３、スイッチ３０４、ステレオ符号化部３０５、ステレオ復号部３０６、スイッチ３０７、加算器３０８、加算器３０９、スイッチ３１０、およびスイッチ３１１を備える。

スイッチ３０１は、モード設定部１０２から入力されるモード情報の１ビット目の値が「０」である場合には、和差計算部１０１から入力されるＭ信号をモノラル符号化部３０２に出力し、モード設定部１０２から入力されるモード情報の１ビット目の値が「１」である場合には、和差計算部１０１から入力されるＭ信号をステレオ符号化部３０５に出力する。

モノラル符号化部３０２は、スイッチ３０１から入力されるＭ信号を用いて符号化を行い（モノラル符号化）、得られるモノラル符号化情報をモノラル復号部３０３およびスイッチ３１１に出力する。なお、モノラル符号化部３０２の詳細については後述する。

モノラル復号部３０３は、モノラル符号化部３０２から入力されるモノラル符号化情報を復号し、得られる復号信号（モノラル復号Ｍ信号）をスイッチ３０７に出力する。なお、モノラル復号部３０３の詳細については後述する。

スイッチ３０４は、モード設定部１０２から入力されるモード情報の１ビット目の値が「１」である場合には、和差計算部１０１から入力されるＳ信号をステレオ符号化部３０５に出力する。

ステレオ符号化部３０５は、スイッチ３０１から入力されるＭ信号およびスイッチ３０４から入力されるＳ信号を用いて符号化を行い（ステレオ符号化）、得られるステレオ符号化情報をステレオ復号部３０６およびスイッチ３１１に出力する。なお、ステレオ符号化部３０５の詳細については後述する。

ステレオ復号部３０６は、ステレオ符号化部３０５から入力されるステレオ符号化情報を復号して得られる２つの復号信号、すなわちステレオ復号Ｍ信号とステレオ復号Ｓ信号とを、それぞれスイッチ３０７と加算器３０９とに出力する。

スイッチ３０７は、モード設定部１０２から入力されるモード情報の１ビット目の値が「０」である場合には、モノラル復号部３０３から入力されるモノラル復号Ｍ信号を加算器３０８に出力し、モード設定部１０２から入力されるモード情報の１ビット目の値が「１」である場合には、ステレオ復号部３０６から入力されるステレオ復号Ｍ信号を加算器３０８に出力する。

加算器３０８は、和差計算部１０１から入力されるＭ信号と、スイッチ３０７から入力されるモノラル復号Ｍ信号またはステレオ復号Ｍ信号のいずれかと、の差をＭ信号のコアレイヤ符号化歪みとして算出する。加算器３０８は、このＭ信号のコアレイヤ符号化歪みを、コアレイヤにおけるＭ信号に関する情報として第１拡張レイヤ符号化部１０４に出力する。

加算器３０９は、和差計算部１０１から入力されるＳ信号と、ステレオ復号部３０６から入力されるステレオ復号Ｓ信号と、の差をＳ信号のコアレイヤ符号化歪みとして算出する。加算器３０９は、このＳ信号のコアレイヤ符号化歪みをスイッチ３１０に出力する。

スイッチ３１０は、モード設定部１０２から入力されるモード情報の１ビット目の値が「０」である場合には、和差計算部１０１から入力されるＳ信号そのものを、コアレイヤにおけるＳ信号に関する情報として第１拡張レイヤ符号化部１０４に出力する。スイッチ３１０は、モード設定部１０２から入力されるモード情報の１ビット目の値が「１」である場合には、加算器３０９から入力されるＳ信号のコアレイヤ符号化歪みを、コアレイヤにおけるＳ信号に関する情報として第１拡張レイヤ符号化部１０４に出力する。

スイッチ３１１は、モード設定部１０２から入力されるモード情報の１ビット目の値が「０」である場合には、モノラル符号化部３０２から入力されるモノラル符号化情報をコアレイヤ符号化情報として多重化部１０７に出力する。スイッチ３１１は、モード設定部１０２から入力されるモード情報の１ビット目の値が「１」である場合には、ステレオ符号化部３０５から入力されるステレオ符号化情報をコアレイヤ符号化情報として多重化部１０７に出力する。

図３は、コアレイヤ符号化部１０３が、モード設定部１０２から入力されるモード情報の１ビット目の「０」という値に基づき、モノラル符号化モードに設定された場合の動作を説明するための図である。

図３に示すように、コアレイヤ符号化部１０３がモノラル符号化モードに設定された場合には、ステレオ符号化部３０５、ステレオ復号部３０６、および加算器３０９は動作せず、モノラル符号化部３０２およびモノラル復号部３０３は動作する。なお、加算器３０８は、スイッチ３０７を介してモノラル復号部３０３から入力されるモノラル復号Ｍ信号と、和差計算部１０１から入力されるＭ信号と、の残差信号をＭ信号のコアレイヤ符号化歪みとして求める。また、スイッチ３１０は、和差計算部１０１から入力されるＳ信号をそのまま第１拡張レイヤ符号化部１０４へ出力する。スイッチ３１１は、モノラル符号化部３０２から入力されるモノラル符号化情報をコアレイヤ符号化情報として多重化部１０７に出力する。

図４は、コアレイヤ符号化部１０３が、モード設定部１０２から入力されるモード情報の１ビット目の「１」という値に基づき、ステレオ符号化モードに設定された場合の動作を説明するための図である。

図４に示すように、コアレイヤ符号化部１０３がステレオ符号化モードに設定された場合には、モノラル符号化部３０２およびモノラル復号部３０３は動作せず、ステレオ符号化部３０５、ステレオ復号部３０６、および加算器３０９は動作する。なお、加算器３０８は、ステレオ復号部３０６から入力されるステレオ復号Ｍ信号と、和差計算部１０１から入力されるＭ信号と、の残差信号をＭ信号のコアレイヤ符号化歪みとして求める。また、スイッチ３１０は、加算器３０９から入力されるＳ信号のコアレイヤ符号化歪みを第１拡張レイヤ符号化部１０４に出力する。スイッチ３１１は、ステレオ符号化部３０５から入力されるステレオ符号化情報をコアレイヤ符号化情報として多重化部１０７に出力する。

図５は、モノラル符号化部３０２の内部の主要な構成を示すブロック図である。

図５において、モノラル符号化部３０２は、ＬＰＣ（Linear Prediction Coefficients）分析部３２１、ＬＰＣ量子化部３２２、ＬＰＣ逆量子化部３２３、逆フィルタ３２４、ＭＤＣＴ（Modified Discrete Cosine Transform）部３２５、スペクトル符号化部３２６、および多重化部３２７を備える。スペクトル符号化部３２６は、シェイプ量子化部１１１およびゲイン量子化部１１２を備え、シェイプ量子化部１１１は、区間探索部１２１および全体探索部１２２を備える。

ＬＰＣ分析部３２１は、スイッチ３０１を介して和差計算部１０１から入力されるＭ信号を用いて線形予測分析を行い、Ｍ信号のスペクトルの概形を示すＬＰＣパラメータ（線形予測パラメータ）を得てＬＰＣ量子化部３２２に出力する。

ＬＰＣ量子化部３２２は、ＬＰＣ分析部３２１から入力される線形予測パラメータをＬＳＰ（Line Spectrum Pair、またはLine Spectral Pair）やＩＳＰ（Immittance Spectrum Pair）などの補完性の良いパラメータに変換し、さらにベクトル量子化（ＶＱ：Vector
Quantization）、予測ベクトル量子化（予測ＶＱ：Predictive Vector Quantization）、多段ベクトル量子化（多段ＶＱ：Multi-Stage Vector Quantization）、スプリットベクトル量子化（スプリットＶＱ：Split Vector Quantization）などの量子化方法で量子化する。ＬＰＣ量子化部３２２は、量子化により得られるＬＰＣ量子化データをＬＰＣ逆量子化部３２３および多重化部３２７に出力する。

ＬＰＣ逆量子化部３２３は、ＬＰＣ量子化部３２２から入力されるＬＰＣ量子化データを用いて逆量子化を行い、得られるＬＳＰやＩＳＰなどのパラメータをさらにＬＰＣパラメータに逆変換する。

逆フィルタ３２４は、スイッチ３０１を介して和差計算部１０１から入力されるＭ信号に対し、ＬＰＣ逆量子化部３２３から入力されるＬＰＣパラメータを用いて逆フィルタリングを施すことにより、スペクトルの概形の特徴が取り除かれてフラットになったフィルタリング後のＭ信号をＭＤＣＴ部３２５に出力する。ここで、逆フィルタ３２４の機能は下記の式（３）により示される。

式（３）において、下付のｉは各信号のサンプル番号を示す。また、ｘ_ｉは逆フィルタ３２４の入力信号を示す。ｙ_ｉは逆フィルタ３２４の出力信号を示す。α_ｉはＬＰＣ量子化部３２２およびＬＰＣ逆量子化部３２３により量子化および逆量子化が施された後のＬＰＣパラメータを示し、Ｊは線形予測の次数を示す。

ＭＤＣＴ部３２５は、逆フィルタ３２４から入力される逆フィルタリング後のＭ信号に対してＭＤＣＴを行い、時間領域のＭ信号を周波数領域のＭ信号スペクトルに変換する。なお、ＭＤＣＴの代わりにＦＦＴ(Fast Fourier Transform:高速フーリエ変換)を用いても良い。ＭＤＣＴ部３２５は、ＭＤＣＴにより得られるＭ信号スペクトルをスペクトル符号化部３２６に出力する。

スペクトル符号化部３２６は、ＭＤＣＴ部３２５から入力されるＭ信号スペクトルを入力スペクトルとし、スペクトルのシェイプとゲインに分けて入力スペクトルを量子化し、得られるパルス符号とゲイン符号とを多重化部３２７に出力する。シェイプ量子化部１１１は、入力スペクトルのシェイプを少数のパルスの位置、極性で量子化し、ゲイン量子化部１１２は、シェイプ量子化部１１１によって探索されたパルスのゲインをバンド毎に算出して量子化する。スペクトル符号化部３２６は、探索されたパルスの位置および極性を表すパルス符号と、探索されたパルスのゲインを表すゲイン符号とを多重化部３２７に出力する。なお、シェイプ量子化部１１１、ゲイン量子化部１１２の詳細については後述する。

多重化部３２７は、ＬＰＣ量子化部３２２から入力されるＬＰＣ量子化データ、スペク
トル符号化部３２６から入力されるパルス符号およびゲイン符号を多重化してモノラル符号化情報を得、モノラル復号部３０３およびスイッチ３１１に出力する。

次に、シェイプ量子化部１１１、ゲイン量子化部１１２の詳細について説明する。シェイプ量子化部１１１は、所定の探索区間を複数に区切ったバンド毎にパルスを探索する区間探索部１２１と、この探索区間全体に渡ってパルスを探索する全体探索部１２２と、を備える。

探索の基準となる式は下記の式（４）である。なお、式（４）において、Ｅは符号化歪、ｓ_ｉは入力スペクトル、ｇは最適ゲイン、δはデルタ関数、ｐはパルスの位置である。

コスト関数を最小にするパルスの位置は、上記式（４)より、各々のバンドの中で入力スペクトルの絶対値|ｓ_ｐ|が最大になる位置であり、極性は、そのパルスの位置の入力スペクトルの値の極性である。

以下、入力スペクトルのベクトル長が８０サンプル、バンド数が５であって、各バンドで１本のパルスと全体で３本のパルスとの計８本のパルスでスペクトルを符号化する場合を例に説明する。この場合、各バンドの長さは１６サンプルとなる。なお、探索されるパルスの振幅は「１」に固定で、極性は「＋−」である。

区間探索部１２１は、バンド毎に、エネルギが最大の位置、極性（＋−）を探索し、１本ずつパルスを立てる。本例では、バンド数が５で、バンド毎に、パルスの位置を示すために４ビット（位置のエントリ：１６）、極性を示すために１ビット（＋−）必要であるので、合計２５ビットの情報ビットとなる。

区間探索部１２１の探索アルゴリズムのフローを図６に示す。なお、図６のフロー図で用いられる記号の内容は以下の通りである。
ｉ：位置
ｂ：バンドの番号
ｍａｘ：最大値
ｃ：カウンタ
ｐｏｓ[ｂ]：探索結果（位置）
ｐｏｌ[ｂ]：探索結果（極性）
ｓ[ｉ]：入力スペクトル

図６に示すように、区間探索部１２１は、バンド毎（０≦ｂ≦４）に、各サンプル（０≦ｃ≦１５）の入力スペクトルｓ[ｉ]を計算して、最大値ｍａｘを求める。

区間探索部１２１において探索されたパルスで表現されたスペクトルの例を図７に示す。図７に示すように、バンド幅１６サンプルの５つのバンドに、振幅「１」、極性「＋−」のパルスが１本ずつ立てられる。

全体探索部１２２は、探索区間全体に渡って、３本のパルスを立てる位置を探索し、パルスの位置と極性を符号化する。全体探索部１２２における探索では、少ない情報ビットで且つ少ない計算量で正確な位置を符号化するために、以下の４つの条件で探索を行う。（１）同じ位置に２つ以上のパルスを立てない。本例では、区間探索部１２１においてバンド毎に立てたパルスの位置にも立てないこととする。この工夫により、振幅成分の表現
に情報ビットを使わないので効率的に情報ビットを使用することができる。
（２）パルスを１本ずつ順番に開ループで探索する。探索の途中では（１）のルールに従い、既に決定されたパルスの位置については探索の対象外とする。
（３）位置の探索では、パルスが立たない方が良い場合も１つの位置として符号化する。（４）ゲインをバンド毎に符号化することを考慮して、バンド毎の理想ゲインによる符号化歪を評価しながらパルスを探索する。

全体探索部１２２は、入力スペクトル全体に渡って、１本のパルスの探索を、次の２段階のコスト評価で行う。まず、第１段階として、全体探索部１２２は、各バンドでのコストを評価し、最もコスト関数が小さくなる位置と極性を求める。そして、第２段階として、全体探索部１２２は、上記探索が１つのバンド内を終了する毎に全体のコストを評価し、これが最小になるパルスの位置と極性を最終結果として保存する。この探索を各バンドで順番に行っていく。この探索は、上記（１）ないし（４）の条件に合うように行われる。そして、１本のパルスの探索が終わると、そのパルスが探索位置にあるとして、次のパルスの探索を行う。これを繰り返して所定の本数（本例では、３本）になるまで探索を行う。

全体探索部１２２の探索アルゴリズムのフローを図８に示す。図８は、前処理のフロー図であり、図９は、本探索のフロー図である。なお、図９のフロー図に、上記（１）（２）（４）の条件に対応する部分について示す。

図８のフロー図で用いられる記号の内容は以下の通りである。
ｃ：カウンタ
ｐｆ[＊]：パルス有無フラグ
ｂ：バンドの番号
ｐｏｓ[＊]：検索結果（位置）
ｎ_ｓ[＊]：相関値
ｎ_ｍａｘ[＊]：相関値最大
ｎ２_ｓ[＊]：相関値２乗
ｎ２_ｍａｘ[＊]：相関値２乗最大
ｄ_ｓ[＊]：パワ値
ｄ_ｍａｘ[＊]：パワ値最大
ｓ[＊]：入力スペクトル

図９のフロー図で用いられる記号の内容は以下の通りである。
ｉ：パルス番号
ｉ０：パルス位置
ｃｍａｘ：コスト関数の最大値
ｐｆ[＊]：パルス有無フラグ（０：無、１：有）
ｉｉ０：バンド内の相対的パルス位置
ｎｏｍ：スペクトル振幅
ｎｏｍ２：分子項（スペクトルパワ）
ｄｅｎ：分母項
ｎ＿ｓ[＊]：相関値
ｄ＿ｓ[＊]：パワ値
ｓ[＊]：入力ベクトル
ｎ２＿ｓ[＊]：相関値２乗
ｎ＿ｍａｘ[＊]：相関値最大
ｎ２＿ｍａｘ[＊]：相関値２乗最大
ｉｄｘ＿ｍａｘ[＊]：各パルスの探索された結果（位置）
（なお、ｉｄｘ＿ｍａｘ[＊]の０〜４までは図６のｐｏｓ（ｂ）と同一である。）
ｆｄ０、ｆｄ１、ｆｄ２：一時記憶用バッファ（実数型）
ｉｄ０，ｉｄ１：一時記憶用バッファ（整数型）
ｉｄ０＿ｓ、ｉｄ１＿ｓ：一時記憶用バッファ（整数型）
＞＞：ビットシフト（右へシフト）
＆：ビット列としてのアンド

なお、図８、図９の探索において、ｉｄｘ＿ｍａｘ[＊]が「−１」のままである場合が、上記条件（３）のパルスが立たない方が良い場合である。この具体的事象としては、バンド毎に探索したパルスや全範囲で探索したパルスでスペクトルを十分近似できており、これ以上同じ大きさのパルスを立ててもかえって符号化歪が大きくなってしまう場合などが挙げられる。

探索したパルスの極性は、入力スペクトルのその位置の極性であり、全体探索部１２２は、この極性を３（本）×１＝３ビットで符号化する。なお、位置が「−１」の場合、すなわちパルスが立たない場合には極性はどちらでもよい。ただし、ビット誤りの検出に用いられる場合もあるため、通常どちらかに固定される。

また、全体探索部１２２は、パルスの位置情報を、パルスの位置の組み合わせの数で符号化する。本例では、入力スペクトルが８０サンプルで、バンド毎に５パルスが既に立っているので、パルスを立てない場合も考慮すると、位置のヴァリエーションは下記の式（５）の計算により１７ビットで表すことができる。

なお、同じ位置に２つのパルスが立たないようにするというルールによって、組み合わせの数を少なくすることができ、このルールの効果は、全体で探索するパルス数が多い程大きくなる。

ここで、全体探索部１２２において探索したパルスの位置を符号化する方法について詳細に述べる。
（１）３本のパルスの位置をその大きさでソーティングし、小さい数値から大きな数値に並べる。なお、「−１」についてはそのままにしておく。
（２）バンド毎に立つパルスの位置の分だけ左に詰めて、位置の数値を小さくする。これで求まる数値を「位置数」と呼ぶ。なお、「−１」についてはそのままにしておく。例えば、パルスの位置が６６で、これより小さい位置には、０〜１５、１６〜３１、３２〜４７、４８〜６４に１本ずつパルスがあったとすると、位置数は「６６−４＝６２」になる。
（３）「−１」を「そのパルスの最大の値＋１」の位置数に設定する。この場合、実際にパルスが存在する位置数と混同しないように調整しながら値の順番を決める。これにより、パルス＃０の位置数は０から７３まで、パルス＃１の位置数はパルス＃０の位置数から７４まで、パルス＃２の位置数はパルス＃１の位置数から７５までの範囲に限定され、下位の位置数が上位の位置数を超えないようになる。
（４）そして、組み合わせの符号を求める下記の式（６）に示す統合処理により、位置数（ｉ０，ｉ１，ｉ２）を統合して符号（ｃ）を得る。この統合処理は大きさの順番がある場合に全ての組み合わせを統合する計算処理である。

（５）そして、このｃの１７ビットと極性の３ビットを合わせて２０ビットの符号を得る。

なお、上記位置数の中で、パルス＃０が「７３」、パルス＃１が「７４」、パルス＃２が「７５」の場合が、そのパルスが立たない場合を示す位置数となる。例えば３つの位置数が（７３、−１、−１）という場合は、前の１つの位置数と「立たない場合」の位置数の関係から、（−１、７３、−１）と順番を変え、（７３、７３、７４）とされる。

このように、本例のように、入力スペクトルを８本のパルス列（バンド毎５本、全体３本）で表すモデルの場合、情報ビット４５ビットで符号化することができる。

区間探索部１２１および全体探索部１２２で探索されたパルスで表現されたスペクトルの例を図１０に示す。なお、図１０において、より太く表現されたパルスが全体探索部１２２において探索されたパルスである。

ゲイン量子化部１１２は、各バンドのゲインを量子化する。８本のパルスは各バンドに配置されているので、ゲイン量子化部１１２は、そのパルスと入力スペクトルとの相関を分析してゲインを求める。

ゲイン量子化部１１２は、理想ゲインを求めてからスカラ量子化やベクトル量子化で符号化する場合、まず、下記の式（７）で理想ゲインを求める。なお、式（７）において、ｇ^ｎはバンドｎの理想ゲイン、ｓ（ｉ＋１６ｎ）はバンドｎの入力スペクトル、ｖ^ｎ（ｉ）はバンドｎのシェイプを復号したベクトルである。

そして、ゲイン量子化部１１２は、理想ゲインをスカラ量子化（ＳＱ）する、または、５つのゲインをまとめてベクトル量子化により符号化する。ベクトル量子化する場合には、予測量子化、多段ＶＱ、スプリットＶＱ等により効率良く符号化することができる。また、ゲインは、聴感的には対数で聞こえるため、ゲインを対数変換してからＳＱ、ＶＱすれば聴感的に良好な合成音が得られる。

なお、理想ゲインを求めるのではなく、符号化歪を直接評価する方法もある。例えば、５つのゲインをＶＱする場合、下記の式（８）を最小にする。なお、式（８）において、Ｅ_ｋはｋ番目のゲインベクトルの歪み、ｓ（ｉ＋１６ｎ）はバンドｎの入力スペクトル、ｇ_ｎ ^（ｋ）はｋ番目のゲインベクトルのｎ番目の要素、ｖ^ｎ（ｉ）はバンドｎのシェイプを復号したシェイプベクトルである。

図１１は、モノラル復号部３０３の内部の主要な構成を示すブロック図である。図１１に示すモノラル復号部３０３は、分離部３３１、ＬＰＣ逆量子化部３３２、スペクトル復号部３３３、ＩＭＤＣＴ（Inverse Modified Discrete Cosine Transform）部３３４、および合成フィルタ３３５を備える。

図１１において、分離部３３１は、モノラル符号化部３０２から入力されるモノラル符号化情報をＬＰＣ量子化データ、パルス符号、およびゲイン符号に分離し、ＬＰＣ量子化データをＬＰＣ逆量子化部３３２に出力し、パルス符号およびゲイン符号をスペクトル復号部３３３に出力する。

ＬＰＣ逆量子化部３３２は、分離部３３１から入力されるＬＰＣ量子化データを逆量子化し、得られるＬＰＣパラメータを合成フィルタ３３５に出力する。

スペクトル復号部３３３は、分離部３３１から入力されるパルス符号およびゲイン符号を用い、図５に示したスペクトル符号化部３２６の符号化方法に対応する方法によってシェイプベクトルおよび復号ゲインを復号する。また、スペクトル復号部３３３は、復号したシェイプベクトルに復号ゲインを乗ずることによって復号スペクトルを得、復号スペクトルをＩＭＤＣＴ部３３４に出力する。

ＩＭＤＣＴ部３３４は、スペクトル復号部３３３から入力される復号スペクトルに対して図５に示したＭＤＣＴ部３２５の逆の変換を行い、変換によって得られた時系列のＭ信号を合成フィルタ３３５に出力する。

合成フィルタ３３５は、ＬＰＣ逆量子化部３３２から入力されるＬＰＣパラメータを用い、ＩＭＤＣＴ部３３４から入力される時系列のＭ信号に対して合成フィルタを掛け、モノラル復号Ｍ信号を得る。

次に、スペクトル復号部３３３における、全体で探索した３本のパルスの位置の復号方法について説明する。

スペクトル符号化部３２６の全体探索部１２２では、上記式（５）を用いて、位置数（ｉ０，ｉ１，ｉ２）を１つの符号に統合した。スペクトル復号部３３３では、この逆の処理を行うことになる。すなわち、スペクトル復号部３３３では、統合式の値を、各位置数を動かしながら順番に計算し、その値を下回る場合にその位置数を固定し、これを低次の位置数から上位に向かって１つずつ行っていくことによって復号する。図１２は、スペクトル復号部３３３の復号アルゴリズムを示すフロー図である。

なお、図１２において、エラー処理となっているステップへ進むのは、入力である統合された位置の符号ｋがビットエラーで異常になってしまった場合である。したがって、この場合には、所定のエラー処理により位置を求めなくてはならない。

また、復号器での計算量は、ループ処理がある分、符号器よりも増えることになる。ただし、それぞれのループは開ループであるので符号化装置の処理の全体量から見れば、復号器の計算量は余り大きなものではない。

図１３は、ステレオ符号化部３０５の内部の主要な構成を示すブロック図である。図１３に示すステレオ符号化部３０５は、図５に示したモノラル符号化部３０２と基本的に同様な構成を有し、基本的に同様な動作を行う。このため、図５と図１３とで、互いに同じ動作を行う部位の符号には、図１３の方の部位の符号にａを付加する。例えば、図５のＬＰＣ分析部３２１に対応する図１３における部位は、ＬＰＣ分析部３２１ａと表す。なお、図１３のステレオ符号化部３０５は、逆フィルタ３５１、ＭＤＣＴ部３５２、および統合部３５３をさらに具備する点において、図５のモノラル符号化部３０２と相違する。また、図１３のステレオ符号化部３０５におけるスペクトル符号化部３５６は、図５のモノラル符号化部３０２におけるスペクトル符号化部３２６と入力信号が相違するため、異なる符号を付す。

逆フィルタ３５１は、和差計算部１０１から入力されるＳ信号に対し、ＬＰＣ逆量子化部３２３ａから入力されるＬＰＣパラメータを用いて逆フィルタリングを施すことにより、スペクトルの概形の特徴を平滑にし、フィルタリング後のＳ信号としてＭＤＣＴ部３５２に出力する。ここで、逆フィルタ３２４ａの機能は上記の式（３）により示される。厳密に言えば、Ｍ信号から得られるＬＰＣ係数はＳ信号のスペクトルの概形とは整合しないが、一般的にＭ信号とＳ信号のスペクトルの概形が似ていることと、Ｓ信号のＬＰＣ分析、量子化、および逆量子化に必要な計算量およびＲＯＭ容量を節約することとを考慮し、ＬＰＣ逆量子化部３２３ａから入力されるＬＰＣパラメータを逆フィルタ３５１の逆フィルタリング処理に用いる。

ＭＤＣＴ部３５２は、逆フィルタ３５１から入力される逆フィルタリング後のＳ信号に対してＭＤＣＴを行い、時間領域のＳ信号を周波数領域のＳ信号スペクトルに変換する。なお、ＭＤＣＴの代わりにＦＦＴを用いても良い。ＭＤＣＴ部３５２は、ＭＤＣＴにより得られるＳ信号スペクトルを統合部３５３に出力する。

統合部３５３は、同一周波数のスペクトルが隣り合うように、ＭＤＣＴ部３２５ａから入力されるＭ信号スペクトルと、ＭＤＣＴ部３５２から入力されるＳ信号スペクトルとを統合し、得られる統合スペクトルをスペクトル符号化部３５６に出力する。

図１４は、統合部３５３においてＭ信号スペクトルとＳ信号スペクトルとを統合する様子を示す図である。スペクトル符号化部３５６は、２つのスペクトルを図１４に示すように統合して得られた統合スペクトルを１つの符号化対象スペクトルとして扱うため、Ｍ信号スペクトルおよびＳ信号のスペクトルの符号化において重要な部分により多くのビットを割り当てる。

再び図１３に戻り、スペクトル符号化部３５６は、統合部３５３から入力される統合スペクトルを入力スペクトルとする点がスペクトル符号化部３２６と相違する。またスペクトル符号化部３５６は、入力スペクトルの全体で探索するパルスの数がスペクトル符号化部３２６の場合と相違する。

全体で探索するパルスの数に関連して、スペクトル符号化部３５６のビットアロケーションについて図１５を参照しながら説明する。

スペクトル符号化部３５６は、統合スペクトルを入力スペクトルとするため、入力スペクトルのサンプル数は、スペクトル符号化部３２６の入力スペクトルの２倍となり、入力スペクトルを同じく５バンドに区切って得られる各バンドのサンプル数もスペクトル符号化部３２６の場合の２倍となる。モノラル符号化部３０２においてシェイプ符号のビット数の合計が４５ビットであることを考慮し、スペクトル符号化部３５６においては図１５に示すようなビットアロケーションを行う。図１５に示すように、スペクトル符号化部３
５６は、全体で探索するパルスの数が「２」であり、スペクトル符号化部３２６が全体で探索するパルスの数「３」と相違する。また、図１５に示すように、スペクトル符号化部３５６のスペクトル符号化に用いるビット数の合計「４６」と、スペクトル符号化部３２６のスペクトル符号化に用いるビット数の合計「４５」とも相違する。

ここで、スペクトル符号化部３５６のスペクトル符号化に用いるビット数の合計と、スペクトル符号化部３２６のスペクトル符号化に用いるビット数の合計とを完全に同じくすることも可能である。例えば、スペクトル符号化部３５６が全体で探索する２本のパルスのうち１本の探索範囲を０〜１５９サンプルから０〜５０サンプルに制限すれば良い。これにより、１６０×５１＜８１９２種の探索結果を１３ビットで表すことが可能となり、スペクトル符号化に用いるビット数の合計を４５ビットに納めることが可能となる。ほかにも、例えばバンド毎のパルスの探索において、第５バンド（最も高域のバンド）の探索範囲を０〜３１サンプルから０〜１５サンプルに制限することによっても、スペクトル符号化部３５６のスペクトル符号化に用いるビット数の合計と、スペクトル符号化部３２６のスペクトル符号化に用いるビット数の合計とを完全に同じくすることが可能である。この場合、５バンドのバンド毎のパルスの位置を５×４＋４＝２４のビット数で表すことが可能であるからである。

スペクトル符号化部３５６がＭ信号スペクトルとＳ信号スペクトルとが統合された統合スペクトルを符号化することにより、Ｍ信号およびＳ信号の特徴に応じたビット配分を自動的に行うこととなり、情報の重要性に応じた効率的な符号化を行うことができる。

例えば、Ｌ信号とＲ信号とが全く同じである場合には、Ｓ信号のスペクトルは「０」となり、統合スペクトルのうちＭ信号スペクトルからなる位置にのみパルスが立つため、Ｍ信号スペクトルが高精度で符号化される。

逆にＬ信号とＲ信号が逆位相に近い場合には、Ｓ信号スペクトルが大きくなり、統合スペクトルのうちＳ信号スペクトルからなる位置により多くのパルスが立つため、Ｓ信号スペクトルが高精度で符号化される。このように、特別な判断や場合分けを行わなくても、自動的にビットアロケーションが行われ、Ｍ信号スペクトルとＳ信号スペクトルとが効率的に符号化される。

また、ある周波数に大きな成分があって、かつＬ信号とＲ信号とが逆位相に近くない場合には、Ｍ信号スペクトルとＳ信号スペクトルとのいずれかに大きい成分が存在する傾向がある。ここで、同じ周波数成分のＭ信号スペクトルとＳ信号スペクトルとは隣り合わせて統合スペクトルに統合され、スペクトル符号化部３５６は統合スペクトルを複数のバンドに区切って符号化するため、大きな成分が存在する周波数のＭ信号スペクトルまたはＳ信号スペクトルのいずれか一方のみが探索され符号化される。これにより、同じ周波数成分の２つのパルスを符号化することを回避し、効率的な符号化を実現することができる。

図１６は、ステレオ復号部３０６の内部の主要な構成を示すブロック図である。ステレオ復号部３０６は、図１１に示したモノラル復号部３０３の分離部３３１、ＬＰＣ逆量子化部３３２、スペクトル復号部３３３、ＩＭＤＣＴ部３３４、および合成フィルタ３３５と同様な動作を行う、分離部３３１ａ、ＬＰＣ逆量子化部３３２ａ、スペクトル復号部３３３ａ、ＩＭＤＣＴ部３３４ａ、および合成フィルタ３３５ａを備える。そしてさらにステレオ復号部３０６は、分解部３６１、ＩＭＤＣＴ部３６２、および合成フィルタ３６３を備える。なお、図１６においては、合成フィルタ３３５ａの出力信号がステレオ復号Ｍ信号であり、合成フィルタ３６３の出力信号がステレオ復号Ｓ信号である。

分解部３６１は、スペクトル復号部３３３ａから入力される復号スペクトルを、図１３
の統合部３５３と逆の処理によって復号Ｍ信号スペクトルおよび復号Ｓ信号スペクトルに分解する。分解部３６１は、復号Ｍ信号スペクトルをＩＭＤＣＴ部３３４ａに出力し、復号Ｓ信号スペクトルをＩＭＤＣＴ部３６２に出力する。

ＩＭＤＣＴ部３６２は、分解部３６１から入力される復号Ｓ信号スペクトルに対して図１３に示したＭＤＣＴ部３５２と逆の変換を行い、変換によって得られた時系列のＳ信号を合成フィルタ３６３に出力する。

合成フィルタ３６３は、ＬＰＣ逆量子化部３３２ａから入力されるＬＰＣパラメータを用い、ＩＭＤＣＴ部３６２から入力される時系列のＳ信号に対して合成フィルタを掛け、ステレオ復号Ｓ信号を得る。

次に、図１に示したステレオ信号符号化装置１００に対応するステレオ信号復号装置の構成および動作について説明する。

図１７は、ステレオ信号符号化装置１００に対応するステレオ信号復号装置２００の主要な構成を示すブロック図である。

図１７において、ステレオ信号復号装置２００は、分離部２０１、モード設定部２０２、コアレイヤ復号部２０３、第１拡張レイヤ復号部２０４、第２拡張レイヤ復号部２０５、第３拡張レイヤ復号部２０６、および和差計算部２０７を備える。

分離部２０１は、ステレオ信号符号化装置１００から入力されるビットストリームを、モード情報、コアレイヤ符号化情報、第１拡張レイヤ符号化情報、第２拡張レイヤ符号化情報、および第３拡張レイヤ符号化情報に分離し、モード設定部２０２、コアレイヤ復号部２０３、第１拡張レイヤ復号部２０４、第２拡張レイヤ復号部２０５、および第３拡張レイヤ復号部２０６にそれぞれ出力する。

モード設定部２０２は、分離部２０１から入力される、コアレイヤ復号部２０３、第１拡張レイヤ復号部２０４、第２拡張レイヤ復号部２０５、および第３拡張レイヤ復号部２０６の復号モードを設定するためのモード情報を上記各復号部に出力する。

ここで、各復号部の復号モードとは、Ｍ信号に関する情報のみを復号するモノラル復号モード、またはＭ信号に関する情報とＳ信号に関する情報との両方を復号するステレオ復号モードを言う。Ｍ信号に関する情報とは、代表的には、Ｍ信号自体または各レイヤにおけるＭ信号に関する符号化歪みを言う。また、Ｓ信号に関する情報とは、代表的には、Ｓ信号自体または各レイヤにおけるＳ信号に関する符号化歪みを言う。

以下、モード情報の各ビットを用いて、各レイヤの復号モードを示す。すなわち、各ビットにおける「０」の値はモノラル復号モードを示し、「１」の値はステレオ復号モードを示す。具体的には、４ビットのモード情報の各ビットを用いて、順次、コアレイヤ復号部２０３、第１拡張レイヤ復号部２０４、第２拡張レイヤ復号部２０５、および第３拡張レイヤ復号部２０６の復号モードを表す。例えば、「００００」という４ビットのモード情報は、各復号部のすべてにおいてモノラル復号を行うことを意味する。また、例えば、モード情報「００１１」は、コアレイヤ復号部２０３および第１拡張レイヤ符号化部２０４はモノラル復号を行い、第２拡張レイヤ復号部２０５および第３拡張レイヤ復号部２０６はステレオ復号を行うことを意味する。このように、４ビットのモード情報により、４つの復号部に対して、１６通りの復号モードを示すことができる。

本実施の形態においては、モード設定部２０２から出力されるモード情報は、各復号部
に対して、同じ４ビットのモード情報として入力される。そして、それぞれの復号部において、入力される４ビットのうち復号モードの設定に必要な１つのビットのみを参照して、復号モードを設定する。すなわち、入力される４ビットのモード情報に対して、コアレイヤ復号部２０３は１ビット目を、第１拡張レイヤ復号部２０４は２ビット目を、第２拡張レイヤ復号部２０５は３ビット目を、そして第３拡張レイヤ復号部２０６は４ビット目を参照する。

しかし、各復号部に対してすべて同じ４ビットのモード情報を入力せずに、各復号部において復号モードの設定に必要な１つのビットを、モード設定部２０２においてあらかじめ振り分けて、モード設定部２０２がそれぞれの復号部に対して１ビットずつ出力するようにしてもよい。すなわちモード設定部２０２は、４ビットのモード情報のうち、１ビット目のみをコアレイヤ復号部２０３に、２ビット目のみを第１拡張レイヤ復号部２０４に、３ビット目のみを第２拡張レイヤ復号部２０５に、そして４ビット目のみを第３拡張レイヤ復号部２０６に入力するようにしてもよい。

なお、いずれの場合においても、分離部２０１からモード設定部２０２に入力されるモード情報は、４ビットのモード情報が入力される。

コアレイヤ復号部２０３は、モード設定部２０２から入力されるモード情報に基づき、モノラル復号モードまたはステレオ復号モードのいずれかに設定される。具体的には、コアレイヤ復号部２０３は、モノラル復号モードに設定された場合には、分離部２０１からコアレイヤ符号化情報として入力されるモノラル符号化情報を復号し、得られるコアレイヤ復号Ｍ信号を第１拡張レイヤ復号部２０４に出力する。この場合、Ｓ信号に関する情報は復号されないため、見かけ上、ゼロ信号がコアレイヤ復号Ｓ信号として、第１拡張レイヤ復号部２０４に出力される。

一方、コアレイヤ復号部２０３は、ステレオ復号モードに設定された場合には、分離部２０１からコアレイヤ符号化情報として入力されるステレオ符号化情報を復号し、得られるコアレイヤ復号Ｍ信号およびコアレイヤ復号Ｓ信号を第１拡張レイヤ復号部２０４に出力する。ただし、コアレイヤ復号部２０３は、復号を行う前にＭ信号およびＳ信号を全てクリア（０の値で埋めること）しておく。なお、コアレイヤ復号部２０３の詳細については後述する。

第１拡張レイヤ復号部２０４は、モード設定部２０２から入力されるモード情報に基づき、モノラル復号モードまたはステレオ復号モードのいずれかに設定される。具体的には、第１拡張レイヤ復号部２０４は、モノラル復号モードに設定された場合には、分離部２０１から第１拡張レイヤ符号化情報として入力されるモノラル符号化情報を復号し、Ｍ信号のコアレイヤ符号化歪みを得る。第１拡張レイヤ復号部２０４は、このＭ信号のコアレイヤ符号化歪みと、コアレイヤ復号部２０３から入力されるコアレイヤ復号Ｍ信号とを加算し、加算結果を第１拡張レイヤ復号Ｍ信号として第２拡張レイヤ復号部２０５に出力する。コアレイヤ復号部２０３から入力されるコアレイヤ復号Ｓ信号は、そのまま第１拡張レイヤ復号Ｓ信号として第２拡張レイヤ復号部２０５に出力される。

一方、第１拡張レイヤ復号部２０４は、ステレオ復号モードに設定された場合には、分離部２０１から第１拡張レイヤ符号化情報として入力されるステレオ符号化情報を復号し、Ｍ信号のコアレイヤ符号化歪みおよびＳ信号のコアレイヤ符号化歪みを得る。第１拡張レイヤ復号部２０４は、Ｍ信号のコアレイヤ符号化歪みと、コアレイヤ復号部２０３から入力されるコアレイヤ復号Ｍ信号とを加算し、加算結果を第１拡張レイヤ復号Ｍ信号として第２拡張レイヤ復号部２０５に出力する。また、第１拡張レイヤ復号部２０４は、Ｓ信号のコアレイヤ符号化歪みと、コアレイヤ復号部２０３から入力されるコアレイヤ復号Ｓ
信号とを加算し、加算結果を第１拡張レイヤ復号Ｓ信号として第２拡張レイヤ復号部２０５に出力する。なお、第１拡張レイヤ復号部２０４の詳細については後述する。

第２拡張レイヤ復号部２０５は、モード設定部２０２から入力されるモード情報に基づき、モノラル復号モードまたはステレオ復号モードのいずれかに設定される。具体的には、第２拡張レイヤ復号部２０５は、モノラル復号モードに設定された場合には、分離部２０１から第２拡張レイヤ符号化情報として入力されるモノラル符号化情報を復号し、Ｍ信号に関する第１拡張レイヤ符号化歪みを得る。第２拡張レイヤ復号部２０５は、このＭ信号に関する第１拡張レイヤ符号化歪みと、第１拡張レイヤ復号部２０４から入力される第１拡張レイヤ復号Ｍ信号とを加算し、加算結果を第２拡張レイヤ復号Ｍ信号として第３拡張レイヤ復号部２０６に出力する。第１拡張レイヤ復号部２０４から入力される第１拡張レイヤ復号Ｓ信号は、そのまま第２拡張レイヤ復号Ｓ信号として第３拡張レイヤ復号部２０５に出力される。

一方、第２拡張レイヤ復号部２０５は、ステレオ復号モードに設定された場合には、分離部２０１から第２拡張レイヤ符号化情報として入力されるステレオ符号化情報を復号し、Ｍ信号に関する第１拡張レイヤ符号化歪みおよびＳ信号に関する第１拡張レイヤ符号化歪みを得る。第２拡張レイヤ復号部２０５は、Ｍ信号に関する第１拡張レイヤ符号化歪みと、第１拡張レイヤ復号部２０４から入力される第１拡張レイヤ復号Ｍ信号とを加算し、加算結果を第２拡張レイヤ復号Ｍ信号として第３拡張レイヤ復号部２０６に出力する。また、第２拡張レイヤ復号部２０５は、Ｓ信号に関する第１拡張レイヤ符号化歪みと、第１拡張レイヤ復号部２０４から入力される第１拡張レイヤ復号Ｓ信号とを加算し、加算結果を第２拡張レイヤ復号Ｓ信号として第３拡張レイヤ復号部２０６に出力する。なお、第２拡張レイヤ復号部２０５の詳細については後述する。

第３拡張レイヤ復号部２０６は、モード設定部２０２から入力されるモード情報に基づき、モノラル復号モードまたはステレオ復号モードのいずれかに設定される。具体的には、第３拡張レイヤ復号部２０６は、モノラル復号モードに設定された場合には、分離部２０１から第３拡張レイヤ符号化情報として入力されるモノラル符号化情報を復号し、Ｍ信号に関する第２拡張レイヤ符号化歪みを得る。第３拡張レイヤ復号部２０６は、このＭ信号に関する第２拡張レイヤ符号化歪みと、第２拡張レイヤ復号部２０５から入力される第２拡張レイヤ復号Ｍ信号とを加算し、加算結果を第３拡張レイヤ復号Ｍ信号として和差計算部２０７に出力する。第２拡張レイヤ復号部２０５から入力される第２拡張レイヤ復号Ｓ信号は、そのまま第３拡張レイヤ復号Ｓ信号として和差計算部２０７に出力される。

一方、第３拡張レイヤ復号部２０６は、ステレオ復号モードに設定された場合には、分離部２０１から第３拡張レイヤ符号化情報として入力されるステレオ符号化情報を復号し、Ｍ信号に関する第２拡張レイヤ符号化歪みおよびＳ信号に関する第２拡張レイヤ符号化歪みを得る。第３拡張レイヤ復号部２０６は、Ｍ信号に関する第２拡張レイヤ符号化歪みと、第２拡張レイヤ復号部２０５から入力される第２拡張レイヤ復号Ｍ信号とを加算し、加算結果を第３拡張レイヤ復号Ｍ信号として和差計算部２０７に出力する。また、第３拡張レイヤ復号部２０６は、Ｓ信号に関する第２拡張レイヤ符号化歪みと、第２拡張レイヤ復号部２０５から入力される第２拡張レイヤ復号Ｓ信号とを加算し、加算結果を第３拡張レイヤ復号Ｓ信号として和差計算部２０７に出力する。なお、第３拡張レイヤ復号部２０６の詳細については後述する。

和差計算部２０７は、第３拡張レイヤ復号部２０６から入力される第３拡張レイヤ復号Ｍ信号と第３拡張レイヤ復号Ｓ信号とを用いて、下記の式（９）および式（１０）により、復号Ｌ信号および復号Ｒ信号を算出する。
Ｌ_ｉ’＝（Ｍ_ｉ’＋Ｓ_ｉ’）／２ …（９）
Ｒ_ｉ’＝（Ｍ_ｉ’−Ｓ_ｉ’）／２ …（１０）

式（９）および式（１０）において、Ｍ_ｉ’は第３拡張レイヤ復号Ｍ信号を示し、Ｓ_ｉ’は第３拡張レイヤ復号Ｓ信号を示し、Ｌ_ｉ’は復号Ｌ信号を示し、Ｒ_ｉ’は復号Ｒ信号を示す。

図１８は、コアレイヤ復号部２０３の内部の主要な構成を示すブロック図である。

図１８に示すコアレイヤ復号部２０３は、スイッチ２３１、モノラル復号部２３２、ステレオ復号部２３３、スイッチ２３４、およびスイッチ２３５を備える。

スイッチ２３１は、モード設定部２０２から入力されるモード情報の１ビット目の値が「０」である場合には、分離部２０１からコアレイヤ符号化情報として入力されるモノラル符号化情報をモノラル復号部２３２に出力し、モード設定部２０２から入力されるモード情報の１ビット目の値が「１」である場合には、分離部２０１からコアレイヤ符号化情報として入力されるステレオ符号化情報をステレオ復号部２３３に出力する。

モノラル復号部２３２は、スイッチ２３１から入力されるモノラル符号化情報を用いてモノラル復号を行い、得られるコアレイヤ復号Ｍ信号をスイッチ２３４に出力する。なお、モノラル復号部２３２の内部の構成および動作は図１１に示したモノラル復号部３０３と同様であるため、ここでは詳細な説明を省略する。

ステレオ復号部２３３は、スイッチ２３１から入力されるステレオ符号化情報を用いてステレオ復号を行い、得られるコアレイヤ復号Ｍ信号をスイッチ２３４に出力し、コアレイヤ復号Ｓ信号をスイッチ２３５に出力する。なお、ステレオ復号部２３３の内部の構成および動作は図１６に示したステレオ復号部３０６と同様であるため、ここでは詳細な説明を省略する。

スイッチ２３４は、モード設定部２０２から入力されるモード情報の１ビット目の値が「０」である場合には、モノラル復号部２３２から入力されるコアレイヤ復号Ｍ信号を第１拡張レイヤ復号部２０４に出力する。また、スイッチ２３４は、モード設定部２０２から入力されるモード情報の１ビット目の値が「１」である場合には、ステレオ復号部２３３から入力されるコアレイヤ復号Ｍ信号を第１拡張レイヤ復号部２０４に出力する。

スイッチ２３５は、モード設定部２０２から入力されるモード情報の１ビット目の値が「０」である場合には、接続をオフとして信号を出力しないが、等価な表現として、実質的には、値がすべてゼロの信号（ゼロ信号）が、コアレイヤ復号Ｓ信号として第１拡張レイヤ復号部２０４へ出力される。モード設定部２０２から入力されるモード情報の１ビット目の値が「１」である場合には、ステレオ復号部２３３から入力されるコアレイヤ復号Ｓ信号を第１拡張レイヤ復号部２０４に出力する。

図１９は、第２拡張レイヤ復号部２０５の内部の主要な構成を示すブロック図である。なお、図１７に示した第１拡張レイヤ復号部２０４、第２拡張レイヤ復号部２０５、および第３拡張レイヤ復号部２０６の内部の構成および動作は同様であり、入力信号および出力信号のみが相違するため、ここでは第２拡張レイヤ復号部２０５のみを例にとって説明する。

図１９において、第２拡張レイヤ復号部２０５は、スイッチ２５１、モノラル復号部２５２、ステレオ復号部２５３、スイッチ２５４、加算器２５５、スイッチ２５６、および加算器２５７を備える。

スイッチ２５１は、モード設定部２０２から入力されるモード情報の３ビット目の値が「０」である場合には、分離部２０１から第２拡張レイヤ符号化情報として入力されるモノラル符号化情報をモノラル復号部２５２に出力する。また、スイッチ２５１は、モード設定部２０２から入力されるモード情報の３ビット目の値が「１」である場合には、分離部２０１から第２拡張レイヤ符号化情報として入力されるステレオ符号化情報をステレオ復号部２５３に出力する。

モノラル復号部２５２は、スイッチ２５１から入力されるモノラル符号化情報を用いてモノラル復号を行い、得られるＭ信号に関する第１拡張レイヤ符号化歪みをスイッチ２５４に出力する。なお、モノラル復号部２５２の内部の構成および動作は図１１に示したモノラル復号部３０３と同様であるため、ここでは詳細な説明を省略する。

ステレオ復号部２５３は、スイッチ２５１から入力されるステレオ符号化情報を用いてステレオ復号を行い、得られるＭ信号に関する第１拡張レイヤ符号化歪みをスイッチ２５４に出力し、Ｓ信号に関する第１拡張レイヤ符号化歪みを加算器２５７に出力する。なお、ステレオ復号部２５３の内部の構成および動作は図１６に示したステレオ復号部３０６と同様であるため、ここでは詳細な説明を省略する。

スイッチ２５４は、モード設定部２０２から入力されるモード情報の３ビット目の値が「０」である場合には、モノラル復号部２５２から入力されるＭ信号に関する第１拡張レイヤ符号化歪みを加算器２５５に出力する。また、スイッチ２５４は、モード設定部２０２から入力されるモード情報の３ビット目の値が「１」である場合には、ステレオ復号部２５３から入力されるＭ信号に関する第１拡張レイヤ符号化歪みを加算器２５５に出力する。

加算器２５５は、スイッチ２５４から入力されるＭ信号に関する第１拡張レイヤ符号化歪みと、第１拡張レイヤ復号部２０４から入力される第１拡張レイヤ復号Ｍ信号とを加算し、加算結果を第２拡張レイヤ復号Ｍ信号として第３拡張レイヤ復号部２０６に出力する。

加算器２５７は、ステレオ復号部２５３から入力されるＳ信号に関する第１拡張レイヤ符号化歪みと、第１拡張レイヤ復号部２０４から入力される第１拡張レイヤ復号Ｓ信号とを加算し、加算結果をスイッチ２５６に出力する。

スイッチ２５６は、モード設定部２０２から入力されるモード情報の２ビット目の値が「０」である場合には、第１拡張レイヤ復号部２０４から入力される第１拡張レイヤ復号Ｓ信号をそのまま第２拡張レイヤ復号Ｓ信号として第３拡張レイヤ復号部２０６へ出力する。また、スイッチ２５６は、モード設定部２０２から入力されるモード情報の２ビット目の値が「１」である場合には、加算器２５７から入力される加算結果を、第２拡張レイヤ復号Ｓ信号として第３拡張レイヤ復号部２０６へ出力する。

このように、本実施の形態によれば、ステレオ信号のＬ信号とＲ信号とから算出されるモノラル信号（Ｍ信号）とサイド信号（Ｓ信号）に対してスケーラブル符号化を行うため、Ｌ信号とＲ信号との相関を利用したスケーラブル符号化を行うことができ、また本実施の形態によれば、モード情報に基づきスケーラブル符号化の各レイヤの符号化モードを設定するため、モノラル符号化を行うレイヤとステレオ符号化を行うレイヤとを設定することができ、符号化精度の制御の自由度を向上することができる。

また、本実施の形態によれば、同一周波数のスペクトルが隣り合うようにＭ信号スペク
トルとＳ信号スペクトルとを統合して符号化するため、ステレオ符号化において特別な判断や場合分けを必要としない自動的なビットアロケーションを行うことができ、Ｌ信号とＲ信号とにおける情報の重要性に応じた効率的な符号化を行うことができる。

（実施の形態２）
図２０は、本発明の実施の形態２に係るステレオ信号符号化装置１１０の主要な構成を示すブロック図である。図２０に示すステレオ信号符号化装置１１０は、図１に示したステレオ信号符号化装置１００と基本的に同様な構成を有し、基本的に同様な動作を行う。このため、図１と図２０とで、互いに同じ動作を行う部位の符号には、図２０の方の部位の符号にａを付加する。例えば、図１の和差計算部１０１に対応する図２０における部位は、和差計算部１０１ａと表す。なお、図２０のステレオ信号符号化装置１１０は、モード設定部１１２〜１１４をさらに具備する点において、図１のステレオ信号符号化装置１００と相違する。また、図２０のステレオ信号符号化装置１１０におけるモード設定部１１１は、図１のステレオ信号符号化装置１００におけるモード設定部１０２と入力信号及び動作が相違するため、異なる符号を付す。ただし、図２０に示したモード設定部１１１〜１１４の内部の構成および動作は同様であり、入力信号および出力信号のみが相違するため、ここではモード設定部１１１のみを例にとって説明する。

モード設定部１１１は、和差計算部１０１ａから入力されるＭ信号およびＳ信号のそれぞれのパワを算出し、算出したパワと予め設定された条件式とに基づいて、Ｍ信号に関する情報のみを符号化するモノラル符号化モード、またはＭ信号に関する情報およびＳ信号に関する情報の両方を符号化するステレオ符号化モードを設定する。例えば、Ｓ信号のパワがＭ信号のパワより大きい場合にはステレオ符号化モードを設定し、Ｓ信号のパワがＭ信号のパワより小さい場合にはモノラル符号化モードを設定する。また、Ｍ信号及びＳ信号共にパワが小さい場合はモノラル符号化モードを設定する。これは、符号器を設計する際、１つの信号を符号化するモノラル信号の符号器よりも、２つの信号を扱うステレオ信号の符号器の方が、ビットレートが高くなるということを考慮している。なお、設定されたモード情報は、コアレイヤ符号化部１０３ａおよび多重化部１０７ａに出力される。

モード設定部１１１におけるパワ算出は、下記の式（１１）及び式（１２）の計算により行われる。

式（１１）及び式（１２）において、ｉは各信号のサンプル番号を示し、ＰｏｗＭはＭ信号のパワを示し、Ｍ_ｉはＭ信号を示す。また、ＰｏｗＳはＳ信号のパワを示し、Ｓ_ｉはＳ信号を示す。

モード設定部１１１において予め設定された条件式を下記の式（１３）に示す。

式（１３）において、αは全パワ判定定数であり、聴覚的に認知されない信号のパワの
上限値が設定されればよい。また、βはＳ信号パワ判定定数であり、Ｓ信号パワ判定定数βの算出方法については後述する。また、ｍはモードを示す。なお、全パワ判定定数α及びＳ信号パワ判定定数βはＲＯＭ等に格納される。

Ｓ信号パワ判定定数βについては、Ｌ信号とＲ信号とのうち符号化歪みが少ない方を選択することにすると、モード設定部１１１〜１１４においてそれぞれ異なるβを統計的に計算して格納する方法が挙げられる。以下、Ｓ信号パワ判定定数βの具体的な算出方法について説明する。

ここでは、モード設定部１１１におけるＳ信号パワ判定定数βの算出方法について説明する。まず、多数のステレオ音声データをモード設定部１１１に学習用として入力し、Ｍ信号のパワとＳ信号のパワとの比を下記の式（１４）により求める。

式（１４）において、ｉは各信号のサンプル番号を示し、ｊは学習用のステレオ音声データの番号を示す。また、Ｍ_ｉはＭ信号を示し、Ｓ_ｉはＳ信号を示す。また、ＰｏｗＭ_ｊはｊ番目の学習用ステレオ音声データのＭ信号のパワを示し、ＰｏｗＳ_ｊはｊ番目の学習用ステレオ音声データのＳ信号のパワを示す。

次に、コアレイヤ符号化部１０３ａにおいて２つのモードで符号化及び復号化して得られた復号Ｍ信号及び復号Ｓ信号にダウンミックスの反対処理を行い、復号Ｌ信号及び復号Ｒ信号を求める。求めた復号Ｌ信号及び復号Ｒ信号のそれぞれのＳ／Ｎ比（すなわち、ステレオ信号符号化装置１１０に入力されたＬ信号とＲ信号との符号化歪みをノイズとしたときのＳ／Ｎ比）の和Ｅ^０ _ｊ、Ｅ^１ _ｊを求める。

次に、βの値を０〜１．０程度まで少しずつ変化させ、下記の式（１５）に示す総合Ｓ／Ｎ比Ｅ_βを求める。

上記Ｅ_βが最大になるときのβが求める値である。この値をモード設定部１１１に格納し、Ｓ信号パワ判定定数βとして用いる。各モード設定部１１２〜１１４においても、モード設定部１１１と同様に、Ｓ信号パワ判定定数βを求めて格納する。

なお、本発明の実施の形態２に係るステレオ信号復号装置は、実施の形態１の図１７に示した構成と同様であるため、ここでは詳細な説明を省略する。

このように、本実施の形態によれば、各レイヤにおける符号化処理が進むにつれ、音声の局所的特徴に基づきスケーラブル符号化の各レイヤの符号化モードを設定するため、モノラル符号化を行うレイヤとステレオ符号化を行うレイヤとを自動的に設定することができ、高品質な復号信号を得ることができる。また、モード毎にビットレートが異なる場合
には、伝送レート制御が自動的に行われ、情報ビット数を節約することができる。

以上、本発明の各実施の形態について説明した。

なお、上記各実施の形態では、ステレオ信号を主として音声信号として説明したが、オーディオ信号としても同様であることは言うまでもない。

また、上記各実施の形態では、統合部３５３が同一周波数のスペクトルが隣り合うようにＭ信号スペクトルとＳ信号スペクトルとを統合する場合を例にとって説明したが、本発明はこれに限定されず、統合部３５３においては単純にＳ信号スペクトルをＭ信号スペクトルの前か後に隣接して配置する統合を行っても良い。

また、上記各実施の形態では、左チャネル信号、右チャネル信号という名称を用いて２つのステレオ信号を表したが、より一般的な第１チャネル信号、第２チャネル信号という名称を用いることもできる。また、ビットの値「０」、「１」と符号化モード「モノラル符号化モード」、「ステレオ符号化モード」との対応も限定されない。

また、上記各実施の形態では、本発明をサンプリングレート１６ｋＨｚ、フレーム長を２０ｍｓの仕様に適用する場合を例にとって説明したが、本発明はこれに限定されず、サンプリングレートが８ｋＨｚ、２４ｋＨｚ、３２ｋＨｚ、４４．１ｋＨｚ、４８ｋＨｚなどであり、フレーム長が１０ｍｓ、３０ｍｓ、４０ｍｓなどであるほかの仕様にも本発明を適用できる。本発明はサンプリングレートやフレーム長に依存しない。

また、上記各実施の形態では、スケーラブル符号化を４レイヤの構成にしたが、本発明はこれに限定されず、レイヤ数は４でなくても良い。本発明はレイヤ数に依存しない。

また、上記各実施の形態では、音源信号のスペクトルの符号化にパルスによる符号化を用いる場合を例にとって説明したが、本発明はこれに限定されず、音源信号のスペクトルの符号化にＶＱ、予測ＶＱ、スプリットＶＱ、多段ＶＱ、帯域拡張技術、チャネル間予測符号化などを用いても良い。本発明はスペクトルの符号化形態に依存しない。

また、上記各実施の形態では、ステレオ信号を符号化して符号化情報を伝送する場合を例にとって説明したが、本発明はこれに限定されず、符号化情報を記録媒体に格納しても良い。例えば、オーディオ信号の符号化情報をメモリやディスクに蓄積して用いる場合が多く、本発明はこのような場合にも有効である。本発明は符号化情報を伝送するか蓄積するかには依存しない。

また、上記各実施の形態では、ステレオ信号が２チャネルの信号からなる場合を例にとって説明したが、本発明はこれに限定されず、ステレオ信号は５．１ｃｈなどの多チャネルからなっても良い。

また、上記各実施の形態では、Ｍ信号とＳ信号とのスペクトルの大きさのみを距離尺度として符号化を行う場合について説明したが、本発明はこれに限定されず、Ｍ信号とＳ信号との位相差や、エネルギ比を距離尺度として符号化を行っても良い。本発明はスペクトル符号化に用いる距離尺度に依存しない。

また、上記各実施の形態では、ステレオ信号復号装置は、ステレオ信号符号化装置が送信したビットストリームを受信して処理を行うとして説明したが、本発明はこれに限定されず、ステレオ信号復号装置が受信し処理するビットストリームは、この復号装置で処理可能なビットストリームを生成可能な符号化装置が送信したものであれば良い。

また、本発明に係るステレオ信号符号化装置およびステレオ信号復号装置は、移動体通信システムにおける通信端末装置および基地局装置に搭載することが可能であり、これにより上記と同様の作用効果を有する通信端末装置、基地局装置、および移動体通信システムを提供することができる。

また、ここでは、本発明をハードウェアで構成する場合を例にとって説明したが、本発明をソフトウェアで実現することも可能である。例えば、本発明に係るアルゴリズムをプログラミング言語によって記述し、このプログラムをメモリに記憶しておいて情報処理手段によって実行させることにより、本発明に係るステレオ信号符号化装置と同様の機能を実現することができる。

また、上記各実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されても良いし、一部または全てを含むように１チップ化されても良い。

また、ここではＬＳＩとしたが、集積度の違いによって、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩ等と呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現しても良い。ＬＳＩ製造後に、プログラム化することが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続もしくは設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。

さらに、半導体技術の進歩または派生する別技術により、ＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行っても良い。バイオ技術の適用等が可能性としてあり得る。

２００８年３月１９日出願の特願２００８−７２４９７及び２００８年１０月２４日出願の特願２００８−２７４５３６の日本出願に含まれる明細書、図面及び要約書の開示内容は、すべて本願に援用される。

本発明は、音声信号やオーディオ信号を符号化する符号化装置、および符号化された信号を復号する復号装置等に用いるに好適である。

本発明の実施の形態１に係るステレオ信号符号化装置の主要な構成を示すブロック図 本発明の実施の形態１に係るコアレイヤ符号化部の内部の主要な構成を示すブロック図 本発明の実施の形態１に係るコアレイヤ符号化部がモノラル符号化モードに設定された場合の動作を説明するための図 本発明の実施の形態１に係るコアレイヤ符号化部がステレオ符号化モードに設定された場合の動作を説明するための図 本発明の実施の形態１に係るモノラル符号化部の内部の主要な構成を示すブロック図 本発明の実施の形態１に係る区間探索部の探索アルゴリズムを示すフロー図 本発明の実施の形態１に係る区間探索部において探索されたパルスで表現されたスペクトルの例を示す図 本発明の実施の形態１に係る全体探索部の探索アルゴリズムの前処理を示すフロー図 本発明の実施の形態１に係る全体探索部の探索アルゴリズムの本探索を示すフロー図 本発明の実施の形態１に係る区間探索部および全体探索部で探索されたパルスで表現されたスペクトルの例を示す図 本発明の実施の形態１に係るモノラル復号部の内部の主要な構成を示すブロック図 本発明の実施の形態１に係るスペクトル復号部の復号アルゴリズムを示すフロー図 本発明の実施の形態１に係るステレオ符号化部の内部の主要な構成を示すブロック図 本発明の実施の形態１に係る統合部においてＭ信号スペクトルとＳ信号スペクトルとを統合する様子を示す図 本発明の実施の形態１に係るスペクトル符号化部のビットアロケーションについて説明するための図 本発明の実施の形態１に係るステレオ復号部の内部の主要な構成を示すブロック図 本発明の実施の形態１に係るステレオ信号復号装置の主要な構成を示すブロック図 本発明の実施の形態１に係るコアレイヤ復号部の内部の主要な構成を示すブロック図 本発明の実施の形態１に係る第２拡張レイヤ復号部の内部の主要な構成を示すブロック図 本発明の実施の形態２に係るステレオ信号符号化装置の主要な構成を示すブロック図

Claims (13)

1. ステレオ信号を構成する第１チャネル信号と第２チャネル信号との和に関するモノラル信号を生成し、前記第１チャネル信号と前記第２チャネル信号との差に関するサイド信号を生成する和差計算手段と、
   モノラル符号化またはステレオ符号化のいずれかの符号化モードを示すモード情報をレイヤ毎に生成するモード情報生成手段と、
   前記モード情報に基づき、前記モノラル信号に関する情報を用いて第ｉ（ｉ＝１，２，…，Ｎ、Ｎは２以上の整数）レイヤのモノラル符号化を行うか、または前記モノラル信号に関する情報と前記サイド信号に関する情報との両方を用いて第ｉレイヤのステレオ符号化を行い、第ｉレイヤ符号化情報を得る第１から第Ｎレイヤ符号化手段と、
   を具備するステレオ信号符号化装置。
2. 前記モード情報生成手段は、
   各ビットそれぞれを用いて前記符号化モードを示すＮビットの前記モード情報を生成し、
   前記第ｉレイヤ符号化手段は、
   前記モード情報の第ｉビットの値に基づき、前記第ｉレイヤのモノラル符号化または前記第ｉレイヤのステレオ符号化を行う、
   請求項１記載のステレオ信号符号化装置。
3. 前記第１レイヤ符号化手段は、
   前記モード情報の第１ビットの値がモノラル符号化を示す場合には、前記モノラル信号を用いて第１レイヤのモノラル符号化を行い、モノラル信号に関する第１レイヤの符号化歪みと前記サイド信号とを前記第２レイヤ符号化手段に出力する第１レイヤモノラル符号化手段と、
   前記モード情報の第１ビットの値がステレオ符号化を示す場合には、前記モノラル信号と前記サイド信号との両方を用いて第１レイヤのステレオ符号化を行い、前記モノラル信号に関する第１レイヤの符号化歪みと、前記サイド信号に関する第１レイヤの符号化歪みとを前記第２レイヤ符号化手段に出力する第１レイヤステレオ符号化手段と、
   を具備する請求項２記載のステレオ信号符号化装置。
4. 前記第ｎ（ｎ＝２，３，…，Ｎ−１）レイヤ符号化手段は、
   前記モード情報の第ｎビットの値がモノラル符号化を示す場合には、前記モノラル信号に関する情報を用いて第ｎレイヤのモノラル符号化を行い、モノラル信号に関する第ｎレイヤの符号化歪みと、前記第ｎ−１レイヤ符号化手段から入力された前記サイド信号に関する情報とを第ｎ＋１レイヤ符号化手段に出力する第ｎレイヤモノラル符号化手段と、
   前記モード情報の第ｎビットの値がステレオ符号化を示す場合には、前記モノラル信号に関する情報と前記サイド信号に関する情報との両方を用いて第ｎレイヤのステレオ符号化を行い、前記モノラル信号に関する第ｎレイヤの符号化歪みと前記サイド信号に関する第ｎレイヤの符号化歪みとを前記第ｎ＋１レイヤ符号化手段に出力する第ｎレイヤステレオ符号化手段と、
   を具備する請求項３記載のステレオ信号符号化装置。
5. 前記第Ｎレイヤ符号化手段は、
   前記モード情報の第Ｎビットの値がモノラル符号化を示す場合には、前記モノラル信号に関する情報を用いて第Ｎレイヤのモノラル符号化を行う第Ｎレイヤモノラル符号化手段と、
   前記モード情報の第Ｎビットの値がステレオ符号化を示す場合には、前記モノラル信号に関する情報と前記サイド信号に関する情報とを用いて第Ｎレイヤのステレオ符号化を行
   う第Ｎレイヤステレオ符号化手段と、
   を具備する請求項４記載のステレオ信号符号化装置。
6. 前記第ｉレイヤステレオ符号化手段は、
   前記モノラル信号に関する情報を周波数領域に変換して第１スペクトルを得る第１変換手段と、
   前記サイド信号に関する情報を周波数領域に変換して第２スペクトルを得る第２変換手段と、
   前記第１スペクトルと、前記第２スペクトルとを統合して統合スペクトルを得る統合手段と、
   前記統合スペクトルに対してスペクトル符号化を行うスペクトル符号化手段と、
   を具備する請求項５記載のステレオ信号符号化装置。
7. 前記統合手段は、
   同一周波数のスペクトルが隣り合うように前記第１スペクトルと、前記第２スペクトルとを統合する、
   請求項６記載のステレオ信号符号化装置。
8. 前記統合手段は、
   前記第１スペクトルを前記第２スペクトルの前か後に隣接して統合する、
   請求項６記載のステレオ信号符号化装置。
9. 前記モード情報生成手段は、
   前記第ｉレイヤ符号化手段に入力される前記モノラル信号と前記サイド信号とを用いて、第ｉ＋１レイヤに適用する前記モード情報を生成する、
   請求項１記載のステレオ信号符号化装置。
10. 前記モード情報生成手段は、
    前記第ｉレイヤ符号化手段に入力される前記モノラル信号のパワと前記サイド信号のパワとを算出し、算出したパワの相対関係に応じたモード情報を生成する、
    請求項９記載のステレオ信号符号化装置。
11. ステレオ信号を構成する第１チャネル信号と第２チャネル信号とを用いた符号化を行うステレオ信号符号化装置の第ｉ（ｉ＝１，２，…，Ｎ、Ｎは２以上の整数）レイヤの符号化処理においてモノラル符号化またはステレオ符号化のいずれかを行ったかを示すモード情報と、前記第１から第Ｎレイヤの符号化処理により得られた第１から第Ｎレイヤ符号化情報と、を受信する受信手段と、
    前記モード情報に基づき、前記第ｉレイヤ符号化情報を用いてモノラル復号またはステレオ復号を行い、前記第１チャネル信号と前記第２チャネル信号との和に関するモノラル信号の第ｉレイヤの復号結果と、前記第１チャネル信号と前記第２チャネル信号との差に関するサイド信号の第ｉレイヤの復号結果とを得る第１から第Ｎレイヤ復号手段と、
    前記モノラル信号の第Ｎレイヤの復号結果と、前記サイド信号の第Ｎレイヤの復号結果とを用いて、第１チャネル復号信号と第２チャネル復号信号とを算出する和差計算手段と、
    を具備するステレオ信号復号装置。
12. ステレオ信号を構成する第１チャネル信号と第２チャネル信号との和に関するモノラル信号を生成し、前記第１チャネル信号と前記第２チャネル信号との差に関するサイド信号を生成するステップと、
    モノラル符号化またはステレオ符号化のいずれかの符号化モードを示すモード情報をレ
    イヤ毎に生成するステップと、
    前記モード情報に基づき、前記モノラル信号に関する情報を用いて第ｉ（ｉ＝１，２，…，Ｎ、Ｎは２以上の整数）レイヤのモノラル符号化を行うか、または前記モノラル信号に関する情報と前記サイド信号に関する情報との両方を用いて第ｉレイヤのステレオ符号化を行い、第ｉレイヤ符号化情報を得るステップと、
    を有するステレオ信号符号化方法。
13. ステレオ信号を構成する第１チャネル信号と第２チャネル信号とを用いた符号化を行うステレオ信号符号化装置の第ｉ（ｉ＝１，２，…，Ｎ、Ｎは２以上の整数）レイヤの符号化処理においてモノラル符号化またはステレオ符号化のいずれかを行ったかを示すモード情報と、前記第１から第Ｎレイヤの符号化処理により得られた第１から第Ｎレイヤ符号化情報と、を受信するステップと、
    前記モード情報に基づき、前記第ｉレイヤ符号化情報を用いてモノラル復号またはステレオ復号を行い、前記第１チャネル信号と前記第２チャネル信号との和に関するモノラル信号の第ｉレイヤの復号結果と、前記第１チャネル信号と前記第２チャネル信号との差に関するサイド信号の第ｉレイヤの復号結果とを得るステップと、
    前記モノラル信号の第Ｎレイヤの復号結果と、前記サイド信号の第Ｎレイヤの復号結果とを用いて、第１チャネル復号信号と第２チャネル復号信号とを算出するステップと、
    を有するステレオ信号復号方法。

Images