JP2012141412A - 符号器、符号化方法および符号化プログラム - Google Patents

Abstract

【課題】音質の劣化を防ぐこと。
【解決手段】ＭＰＳ符号器１００は、ダウンミックスされる前の入力信号に含まれる各信号の重要度を算出する。そして、ＭＰＳ符号器１００は、各重要度をダウンミックスすることで、ダウンミックス後の入力信号と同数の重要度に変換し、各重要度に対応するダウンミックス後の入力信号を量子化する場合のビット配分を判定する。ＭＰＳ符号器１００は、判定されたビット配分に基づいて、ダウンミックス後の入力信号を量子化する。
【選択図】図１

Description

本発明は、符号器等に関する。

ＭＰＳ（MPEG SURROUND）符号化は、ＩＳＯ（International Organization for Standardization）／ＩＥＣ（International Electrotechnical Commission）で規格化された符号化技術である。ＭＰＳ符号化は、従来のステレオ、モノラル復号器と再生互換性をもちながら、５．１チャンネルサラウンドを実現する。

ＭＰＳ符号化を行う従来のＭＰＳ符号器について説明する。図１６は、従来のＭＰＳ符号器の構成を示す図（１）である。図１６に示すように、ＭＰＳ符号器１０は、Ｒ−ＯＴＴ（Reverse one to two）部１１ａ〜１１ｃ、Ｒ−ＴＴＴ（Reverse two to three）部１２を有する。また、ＭＰＳ符号器１０は、ビット配分決定部１３、量子化部１４ａ〜１４ｄ、多重化部１５を有する。

ここでは、５．１チャンネルのマルチチャネル信号を符号化する場合について説明する。マルチチャネル信号は、ＦＬ信号、ＳＬ信号、ＦＲ信号、ＳＲ信号、Ｃ信号、ＬＦＥ信号を含む。

ＦＬ信号は、フロント左のスピーカから出力される音に対応する。ＳＬ信号は、リア左のスピーカから出力される音に対応する。ＦＲ信号は、フロント右のスピーカから出力される音に対応する。ＳＲ信号は、リア右のスピーカから出力される音に対応する。Ｃ信号はセンターのスピーカから出力される音に対応する。ＬＦＥ信号は、サブウーファー等の低音域専用のスピーカから出力される音に対応する。

Ｒ−ＯＴＴ部１１ａ〜１１ｃは、マルチチャネル信号をダウンミックス（Down Mix）する処理部である。このうち、Ｒ−ＯＴＴ部１１ａは、ＦＬ信号とＳＬ信号とをダウンミックスし、ダウンミックスした信号をＲ−ＴＴＴ部１２に出力する。また、Ｒ−ＯＴＴ部１１ａは、残差信号を量子化部１４ａに出力し、空間情報を多重化部１５に出力する。ここで、残差信号は、ダウンミックスにより失われる情報と、元の情報との差分に対応する信号である。空間情報は、ダウンミックスする各信号のエネルギー比や各信号の相関に対応する信号である。

Ｒ−ＯＴＴ部１１ｂは、Ｃ信号とＬＦＥ信号とをダウンミックスし、ダウンミックスした信号をＲ−ＴＴＴ部１２に出力する。また、Ｒ−ＯＴＴ部１１ｂは、空間情報を多重化部１５に出力する。

Ｒ−ＯＴＴ部１１ｃは、ＦＲ信号とＳＲ信号とをダウンミックスし、ダウンミックスした信号をＲ−ＴＴＴ部１２に出力する。また、Ｒ−ＯＴＴ部１１ｃは、残差信号を量子化部１４ｄに出力し、空間情報を多重化部１５に出力する。

Ｒ−ＴＴＴ部１２は、Ｒ−ＯＴＴ部１１ａ〜１１ｃによりダウンミックスされた信号を更にダウンミックスする処理部である。Ｒ−ＴＴＴ部１２は、ダウンミックスした信号を量子化部１４ｂに出力し、残差信号を量子化部１４ｃに出力する。なお、Ｒ−ＴＴＴ部１２は、Ｒ−ＯＴＴ部１１ａ〜１１ｃからの信号をダウンミックスすることで、２種類の信号を生成する。すなわち、Ｒ−ＴＴＴ部１２は、３種類の信号をダウンミックスすることで、２種類の信号を生成し、この２種類の信号を量子化部１４ｂに出力する。

ビット配分決定部１３は、量子化部１４ａ〜１４ｄのビット配分を決定する処理部である。量子化部１４ａ〜１４ｄのビット配分は予め設定されており、ビット配分決定部１３は、設定されたビット配分に基づいて、量子化部１４ａ〜１４ｄのビット配分を制御する。

量子化部１４ａ〜１４ｄは、ビット配分決定部１３により制御されるビット配分で、信号を量子化する処理部である。例えば、ビット配分がｎビットの場合には、信号をｎビットの信号に量子化する。

量子化部１４ａは、Ｒ−ＯＴＴ部１１ａから取得する残差信号を量子化し、量子化した情報を多重化部１５に出力する。量子化部１４ｂは、Ｒ−ＴＴＴ部１２から取得する２つの信号をそれぞれ量子化し、量子化した情報を多重化部１５に出力する。量子化部１４ｃは、Ｒ−ＴＴＴ部１２から取得する残差信号を量子化し、量子化した情報を多重化部１５に出力する。量子化部１４ｄは、Ｒ−ＯＴＴ部１１ｃから取得する残差信号を量子化し、量子化した情報を多重化部１５に出力する。

多重化部１５は、量子化部１４ａ〜１４ｄから取得する情報を多重化し、多重化した情報を出力する処理部である。上記の図１６の構成は、ISO/IEC 23003-1:2007にて規格にて規定された構成要素である。

上記のように、ＭＰＳ符号化器１０は、量子化部１４ａ〜１４ｄのビット配分を予め固定しておき、マルチチャネル信号を量子化する。しかし、量子化に多くのビット数を要する信号を受信した場合には、ビット数が足りなくなる場合があった。

ここで、量子化に必要なビット数と固定配分されたビット数との関係の一例について説明する。図１７は、量子化に必要なビット数と固定配分されたビット数との関係を示す図である。図１７の縦軸は、ビット数を示す。また、図１７の１ａ、１ｂ、１ｃ、１ｄは、それぞれ、量子化部１４ａ〜１４ｄに固定配分されたビット数に対応する。また、２ａ、２ｂ、２ｃ、２ｄは、それぞれ、ある信号を量子化部１４ａ〜１４ｄが量子化する場合に必要となるビット数である。

図１７に示す例では、量子化部１４ａ、１４ｂ、１４ｄは、量子化に必要なビット数が固定配分されたビット数を超えないため、信号を量子化したとしても、量子化後により信号劣化することはない。これに対して、量子化部１４ｃは、量子化に必要なビット数よりも固定配分されるビット数が少ないため、信号を量子化すると、必要な情報が固定配分されるビット数に収まりきらず、量子化により信号が劣化してしまう。

図１７に示した問題を解消するべく、量子化部に設定するビット数を信号の重要度に応じて動的に変化させるという技術が存在する。このように、ビット数を動的に変化させることで、量子化に必要なビット数よりも、量子化部に設定されたビット数が小さくなることをなくし、信号が劣化することを防止する。

図１８は、従来のＭＰＳ符号器の構成を示す図（２）である。図１８に示すように、ＭＰＳ符号器２０は、Ｒ−ＯＴＴ部２１ａ〜２１ｃ、Ｒ−ＴＴＴ部２２、重要度算出部２３、ビット配分決定部２４、量子化部２５ａ〜２５ｄ、多重化部２６を有する。

Ｒ−ＯＴＴ部２１ａ〜２１ｃの説明は、図１６に示したＲ−ＯＴＴ部１１ａ〜１１ｃの説明と同様である。Ｒ−ＴＴＴ部２２の説明は、図１６に示したＲ−ＴＴＴ部１２の説明と同様である。多重化部２６は、図１６に示した多重化部１５の説明と同様である。

重量度算出部２３は、Ｒ−ＯＴＴ部２１ａ〜２１ｃ、Ｒ−ＴＴＴ部２２から残差信号、ダウンミックス信号を取得し、各信号の重要度を算出する処理部である。具体的に、重要度算出部２３は、Ｒ−ＯＴＴ部２１ａから出力される残差信号、Ｒ−ＯＴＴ２１ｃから出力される残差信号、Ｒ−ＴＴＴ部２２から出力される２種類の信号および残差信号の重要度をそれぞれ算出する。例えば、重要度算出部２３は、知覚複雑度（Perceptual Entropy）を用いて重要度を算出する。重要度算出部２３は、各信号の重要度をビット配列決定部２４に出力する。

ビット配分決定部２４は、重要度に応じて量子化部２５ａ〜２５ｄのビット配分を決定する処理部である。ビット配分決定部２４は、重要度の高い信号を量子化する量子化部のビット配分を大きくし、その他の量子化部のビット配分を小さくする。ビット配分決定部２４は、決定したビット配分に基づいて、量子化部２５ａ〜２５ｄのビット配分を制御する。

量子化部２５ａ〜２５ｄは、ビット配分決定部２４により制御されるビット配分で、信号を量子化する処理部である。なお、量子化部２５ａ〜２５ｄが量子化する信号は、図１６に示した量子化部１４ａ〜１４ｄと同様である。

上記のように、図１８に示したＭＰＳ符号器２０によれば、ビット配分決定部２４が重要度に応じてビット配分を調整し、量子化部２５ａ〜２５ｄのビット配分が動的に変化する。このため、量子化に必要なビット数よりも、量子化部２５ａ〜２５ｄに設定されたビット数が小さくなることをなくし、量子化により信号が劣化することを防止することができる。

特開平７−１７５４９９号公報 特表２００７−５３１９１５号公報

しかしながら、上述した従来技術では、マルチチャネル信号に含まれる各信号の重要度を正しく算出しておらず、音質が劣化するという問題があった。

図１９は、従来技術の問題点を説明するための図である。図１９では、ＭＰＳ符号器２０から出力された情報を、ＭＰＳ復号器３０が復号する場合を示している。ＭＰＳ符号器２０は、マルチチャネル信号に含まれる６ｃｈの信号をダウンミックして５ｃｈの信号を生成し、５ｃｈの信号を量子化する。ＭＰＳ符号器２０は、ダウンミックスされた５ｃｈの信号の重要度をそれぞれ計算し、重要度に合わせたビット数により、各信号を量子化する。

ＭＰＳ復号器３０は、ＭＰＳ符号器２０から情報を取得し、取得した情報を逆量子化する。そして、ＭＰＳ復号器３０は、逆ダウンミックスして、５ｃｈの信号を６ｃｈの信号に変換する。

ここで、ＭＰＳ符号器２０が算出する重要度は、ダウンミックス後の５ｃｈの信号に基づく重要度である。しかし、ＭＰＳ復号器３０から出力される最終的な信号は６ｃｈである。このため、ＭＰＳ符号器２０が計算する各信号の重要度が、ＭＰＳ復号器３０から出力される信号に対応していない場合があり、重要度を正しく計算できていない場合がある。

開示の技術は、上記に鑑みてなされたものであって、音質の劣化を防ぐことができる符号器、符号化方法および符号化プログラムを提供することを目的とする。

本願の開示する符号器は、重要度算出部、信号変換部、重要度変換部、ビット数判定部、量子化部を有する。重要度算出部は、入力信号に含まれる第１の数の信号の重要度をそれぞれ算出する。信号変換部は、入力信号に含まれる第１の数の信号を第２の数の信号に変換する。重要度変換部は、重要度算出部が算出した第１の数の重要度を第２の数の重要度に変換する。ビット数判定部は、重要度変換部により変換された第２の数の重要度に基づいて、信号変換部により変換された第２の数の信号の量子化後のビット数をそれぞれ判定する。量子化部は、ビット数判定部の判定結果に基づいて、第２の数の信号を量子化する。

本願の開示する符号器の一つの態様によれば、音質の劣化を防ぐことができるという効果を奏する。

図１は、本実施例にかかるＭＰＳ符号器の構成を示す図である。 図２は、ＦＬ（ｋ、ｎ）の構成を示す図である。 図３は、信号変換部の構成を示す図である。 図４は、量子化テーブルのデータ構造を示す図である。 図５は、重要度算出部の処理を説明するための図である。 図６は、重要度変換部の構成を示す図である。 図７は、Ｒ−ＯＴＴ−Ｐ部の構成を示す図である。 図８は、Ｒ−ＴＴＴ−Ｐ部の構成を示す図である。 図９は、ビット配分と重要度との関係を示す図である。 図１０は、ＣＬＤ量子化テーブルのデータ構造を示す図である。 図１１は、ＩＣＣ量子化テーブルのデータ構造を示す図である。 図１２は、ＣＰＣ量子化テーブルのデータ構造を示す図である。 図１３は、ＭＰＥＧ−２ ＡＤＴＳのフォーマット例を示す図である。 図１４は、本実施例にかかるＭＰＳ符号器の処理手順を示すフローチャートである。 図１５は、実施例にかかるＭＰＳ符号器を構成するコンピュータのハードウェア構成を示す図である。 図１６は、従来のＭＰＳ符号器の構成を示す図（１）である。 図１７は、量子化に必要なビット数と固定配分されたビット数との関係を示す図である。 図１８は、従来のＭＰＳ符号器の構成を示す図（２）である。 図１９は、従来技術の問題点を説明するための図である。

以下に、本願の開示する符号器、符号化方法および符号化プログラムの実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。

本実施例にかかるＭＰＳ符号器の構成の一例について説明する。このＭＰＳ符号器は、符号器の一例である。図１は、本実施例にかかるＭＰＳ符号器の構成を示す図である。図１に示すように、このＭＰＳ符号器１００は、時間周波数変換部１１０、信号変換部１２０、重要度算出部１３０、重要度変換部１４０を有する。また、ＭＰＳ符号器１００は、ビット数判定部１５０、コア符号化部１６０、残差符号化部１７０、空間情報符号化部１８０、多重化部１９０を有する。

時間周波数変換部１１０は、時間領域の入力信号を取得し、この入力信号を周波数領域の周波数信号に変換する処理部である。時間周波数変換部１１０に入力される入力信号は、マルチチャネル信号である。５．１チャンネルのサラウンドシステムでは、マルチチャネル信号は、ＦＬ信号、ＳＬ信号、ＦＲ信号、ＳＲ信号、Ｃ信号、ＬＦＥ信号を含む。

時間周波数変換部１１０は、例えば、式（１）に示すＱＭＦ（Quadrature Mirror Filter）フィルタバンクを用いて、入力信号を周波数信号に変換する。式（１）のＱＭＦ指数関数表示において、ｊは虚数単位であり、ｎは時間帯域に対応する自然数であり、ｋは周波数帯域に対応する自然数である。なお、ｎの値域を０以上１２８未満とする。ｋの値域を０以上６４未満とする。

入力信号に含まれるＦＬ信号、ＳＬ信号、ＦＲ信号、ＳＲ信号、Ｃ信号、ＬＦＥ信号をそれぞれ、ＦＬ（ｎ）、ＳＬ（ｎ）、ＦＲ（ｎ）、ＳＲ（ｎ）、Ｃ（ｎ）、ＬＦＥ（ｎ）とする。

時間周波数変換部１１０は、式（１）を利用して、時間領域のＦＬ（ｎ）、ＳＬ（ｎ）、ＦＲ（ｎ）をそれぞれ、周波数領域のＦＬ（ｋ、ｎ）、ＳＬ（ｋ、ｎ）、ＦＲ（ｋ、ｎ）に変換する。同様に、時間周波数変換部１１０は、時間領域のＳＲ（ｎ）、Ｃ（ｎ）、ＬＦＥ（ｎ）をそれぞれ、周波数領域のＳＲ（ｋ、ｎ）、Ｃ（ｋ、ｎ）、ＬＦＥ（ｋ、ｎ）に変換する。

一例として、ＦＬ（ｋ、ｎ）の構成について説明する。図２は、ＦＬ（ｋ、ｎ）の構成を示す図である。図２の縦軸は周波数を示し、横軸は時間を示す。図２に示すように、ＦＬ（ｋ、ｎ）は、時間ｎを０〜１２７に区分し、周波数ｋを０〜６３に区分した１２８×６４個のデータを含む。他の周波数信号ＳＬ（ｋ、ｎ）、ＦＲ（ｋ、ｎ）、ＳＲ（ｋ、ｎ）、Ｃ（ｋ、ｎ）、ＬＦＥ（ｋ、ｎ）の構成は、図２に示したものと同様である。

時間周波数変換部１１０は、周波数信号ＦＬ（ｋ、ｎ）、ＳＬ（ｋ、ｎ）、ＦＲ（ｋ、ｎ）、ＳＲ（ｋ、ｎ）、Ｃ（ｋ、ｎ）、ＬＦＥ（ｋ、ｎ）を、信号変換部１２０、重要度算出部１３０に出力する。

信号変換部１２０は、複数の信号を含む周波数信号をダウンミックスする処理部である。信号変換部１２０は、周波数信号をダウンミックスすることで、ダウンミックス信号と、残差信号と、空間情報とを生成する。このうち、ダウンミックス信号は、周波数信号に含まれる各信号をまとめた信号に対応する。残差信号は、ダウンミックスにより失われる情報と、元の情報との差分に対応する信号である。空間情報は、ダウンミックスする各信号のエネルギー比や相関等に対応する信号である。

信号変換部１２０は、ダウンミックス信号をコア符号化部１６０に出力する。信号変換部１２０は、残差信号を残差符号化部１７０に出力する。信号変換部１２０は、空間情報を重要度変換部１４０および空間情報符号化部１８０に出力する。

ここで、信号変換部１２０の構成の一例について説明する。図３は、信号変換部の構成を示す図である。図３に示すように、信号変換部１２０は、Ｒ−ＯＴＴ部１２１ａ〜１２１ｃ、Ｒ−ＴＴＴ部１２２を有する。

Ｒ−ＯＴＴ部１２１ａ〜１２１ｃは、二つのチャネルの信号を一つの信号にダウンミックする処理部である。

まず、Ｒ−ＯＴＴ部１２１ａについて説明する。Ｒ−ＯＴＴ部１２１ａは、ＦＬ（ｋ、ｎ）、ＳＬ（ｋ、ｎ）を基にして、ダウンミックス信号、残差信号、空間情報を生成する。Ｒ−ＯＴＴ部１２１ａは、ダウンミックス信号をＲ−ＴＴＴ部１２２に出力する。Ｒ−ＯＴＴ部１２１ａは、残差信号を残差符号化部１７０に出力する。Ｒ−ＯＴＴ部１２１ａは、空間情報を重要度変換部１４０、空間情報符号化部１８０に出力する。

具体的に、Ｒ−ＯＴＴ部１２１ａは、ＦＬ（ｋ、ｎ）、ＳＬ（ｋ、ｎ）をダウンミックスすることで、ダウンミックス信号Ｌ’（ｋ、ｎ）を生成する。また、Ｒ−ＯＴＴ部１２１ａは、ダウンミックス信号Ｌ’（ｋ、ｎ）と、ＦＬ（ｋ、ｎ）およびＳＬ（ｋ、ｎ）との差分に対応する信号を残差信号として抽出する。Ｒ−ＯＴＴ部１２１ａが抽出する残差信号を、残差信号ｒｅｓＯＴＴ１（ｋ、ｎ）と表記する。

Ｒ−ＯＴＴ部１２１ａが生成する空間情報は、ＣＬＤ（Channel Level Difference）およびＩＣＣ（Inter Channel Correlation）を含む。ここで、Ｒ−ＯＴＴ部１２１ａが、ＣＬＤおよびＩＣＣを算出する処理について順に説明する。

まず、Ｒ−ＯＴＴ部１２１ａがＣＬＤを算出する処理について説明する。Ｒ−ＯＴＴ部１２１ａは、ＦＬ（ｋ、ｎ）の自己相関と、ＳＬ（ｋ、ｎ）の自己相関を求め、各自己相関に基づいて、ＣＬＤを求める。

Ｒ−ＯＴＴ部１２１ａは、ＦＬ（ｋ、ｎ）の自己相関ｅ_ＦＬを式（２）によって求める。Ｒ−ＯＴＴ部１２１ａは、ＳＬ（ｋ、ｎ）の自己相関ｅ_ＳＬを式（３）によって求める。Ｒ−ＯＴＴ部１２１ａは、自己相関ｅ_ＦＬおよび自己相関ｅ_ＳＬを求めた後に、式（４）によってＣＬＤを求める。

次に、Ｒ−ＯＴＴ部１２１ａがＩＣＣを算出する処理について説明する。Ｒ−ＯＴＴ部１２１ａは、ＦＬ（ｋ、ｎ）とＳＬ（ｋ、ｎ）との相互相関を求め、求めた相互相関に基づいて、ＩＣＣを算出する。

Ｒ−ＯＴＴ部１２１ａは、ＦＬ（ｋ、ｎ）とＳＬ（ｋ、ｎ）との相互相関ｅ_ＦＬＳＬを式（５）によって求める。Ｒ−ＯＴＴ部１２１ａは、相互相関を求めた後に、式（６）によってＩＣＣを求める。なお、式（６）に含まれるｅ_ＦＬ（ｋ）、ｅ_ＳＬ（ｋ）は、それぞれ、式（２）、式（３）から求められる自己相関である。また、Ｒｅ｛＊｝は、複素数＊の実部を表す。

なお、Ｒ−ＯＴＴ部１２１ａが算出したＣＬＤおよびＩＣＣを、ＣＬＤ_ＬおよびＩＣＣ_Ｌと表記する。

次に、Ｒ−ＯＴＴ部１２１ｂについて説明する。Ｒ−ＯＴＴ部１２１ｂは、Ｃ（ｋ、ｎ）、ＬＦＥ（ｋ、ｎ）を基にして、ダウンミックス信号、空間情報を生成する。Ｒ−ＯＴＴ部１２１ｂは、ダウンミックス信号をＲ−ＴＴＴ部１２２に出力する。Ｒ−ＯＴＴ部１２１ｂは、空間情報を重要度変換部１４０、空間情報符号化部１８０に出力する。

具体的に、Ｒ−ＯＴＴ部１２１ｂは、Ｃ（ｋ、ｎ）とＬＦＥ（ｋ、ｎ）とをダウンミックスすることで、ダウンミックス信号Ｃ’（ｋ、ｎ）を生成する。

Ｒ−ＯＴＴ部１２１ｂが生成する空間情報は、ＣＬＤおよびＩＣＣを含む。ここで、Ｒ−ＯＴＴ部１２１ｂが、ＣＬＤおよびＩＣＣを算出する処理は、上述したＲ−ＯＴＴ部１２１ａにおいて説明した処理と同様である。ただし、Ｒ−ＯＴＴ部１２１ｂは、Ｃ（ｋ、ｎ）、ＬＦＥ（ｋ、ｎ）に基づいて、ＣＬＤおよびＩＣＣを算出する。Ｒ−ＯＴＴ部１２１ｂが算出したＣＬＤおよびＩＣＣを、ＣＬＤ_ＣおよびＩＣＣ_Ｃと表記する。

次に、Ｒ−ＯＴＴ部１２１ｃについて説明する。Ｒ−ＯＴＴ部１２１ｃは、ＦＲ（ｋ、ｎ）、ＳＲ（ｋ、ｎ）を基にして、ダウンミックス信号、残差信号、空間情報を生成する。Ｒ−ＯＴＴ部１２１は、ダウンミックス信号をＲ−ＴＴＴ部１２２に出力する。Ｒ−ＯＴＴ部１２１ｃは、残差信号を残差符号化部１７０に出力する。Ｒ−ＯＴＴ部１２１ｃは、空間情報を重要度変換部１４０、空間情報符号化部１８０に出力する。

具体的に、Ｒ−ＯＴＴ部１２１ｃは、ＦＲ（ｋ、ｎ）とＳＲ（ｋ、ｎ）とをダウンミックスすることで、ダウンミックス信号Ｒ’（ｋ、ｎ）を生成する。また、Ｒ−ＯＴＴ部１２１ｃは、ダウンミックス信号Ｒ’（ｋ、ｎ）と、ＦＲ（ｋ、ｎ）およびＳＲ（ｋ、ｎ）との差分に対応する信号を残差信号として抽出する。Ｒ−ＯＴＴ部１２１ｃが抽出する残差信号を残差信号ｒｅｓＯＴＴ２（ｋ、ｎ）と表記する。

Ｒ−ＯＴＴ部１２１ｃが生成する空間情報は、ＣＬＤおよびＩＣＣを含む。ここで、Ｒ−ＯＴＴ部１２１ｃが、ＣＬＤおよびＩＣＣを算出する処理は、上述したＲ−ＯＴＴ部１２１ａにおいて説明した処理と同様である。ただし、Ｒ−ＯＴＴ部１２１ｃは、ＦＲ（ｋ、ｎ）、ＳＲ（ｋ、ｎ）に基づいて、ＣＬＤおよびＩＣＣを算出する。Ｒ−ＯＴＴ部１２１ｃが算出したＣＬＤおよびＩＣＣを、ＣＬＤ_ＲおよびＩＣＣ_Ｒと表記する。

次に、図３に示したＲ−ＴＴＴ部１２２について説明する。Ｒ−ＴＴＴ部１２２は、Ｒ−ＯＴＴ部１２１ａ〜１２１ｃから入力されるダウンミックス信号Ｌ’（ｋ、ｎ）、Ｒ’（ｋ、ｎ）、Ｃ’（ｋ、ｎ）をダウンミックスする処理部である。また、Ｒ−ＴＴＴ部１２２は、ダウンミックス信号Ｌ’（ｋ、ｎ）、Ｒ’（ｋ、ｎ）、Ｃ’（ｋ、ｎ）に基づいて、残差信号および空間情報を生成する。

Ｒ−ＴＴＴ部１２２は、ダウンミックス信号Ｌ’（ｋ、ｎ）、Ｒ’（ｋ、ｎ）、Ｃ’（ｋ、ｎ）をダウンミックスしたダウンミックス信号を、コア符号化部１６０に出力する。Ｒ−ＴＴＴ部１２２は、残差信号を残差符号化部１７０に出力する。Ｒ−ＴＴＴ部１２２は、空間情報を空間情報符号化部１８０に出力する。

具体的に、Ｒ−ＴＴＴ部１２２は、ダウンミックス信号Ｌ’（ｋ、ｎ）、Ｒ’（ｋ、ｎ）、Ｃ’（ｋ、ｎ）をダウンミックスすることで、二つのダウンミックス信号を生成する。Ｒ−ＴＴＴ部１２２が生成するダウンミックス信号を、ダウンミックス信号Ｌ’’（ｋ、ｎ）、Ｒ’’（ｋ、ｎ）とする。Ｒ−ＴＴＴ部１２２は、ダウンミックス信号Ｌ’’（ｋ、ｎ）、Ｒ’’（ｋ、ｎ）と、ダウンミックス信号Ｌ’（ｋ、ｎ）、Ｒ’（ｋ、ｎ）、Ｃ’（ｋ、ｎ）との差分を残差信号として抽出する。Ｒ−ＴＴＴ部１２２が生成する残差信号を、残差信号ｒｅｓＴＴＴ（ｋ、ｎ）と表記する。

Ｒ−ＴＴＴ部１２２が生成する空間情報は、ＣＰＣ（Channel Prediction Coefficient）１、ＣＰＣ２、ＩＣＣを含む。ここで、Ｒ−ＴＴＴ部１２２が、ＣＰＣ１、ＣＰＣ２、ＩＣＣを算出する処理について順に説明する。

ＣＰＣ１、ＣＰＣ２を算出する場合には、まず、Ｒ−ＴＴＴ部１２２は、ダウンミックス信号Ｌ’（ｋ、ｎ）、Ｒ’（ｋ、ｎ）、Ｃ’（ｋ、ｎ）を式（７）に代入し、信号Ｌ’’（ｋ、ｎ）、Ｒ’’（ｋ、ｎ）、Ｃ’’（ｋ、ｎ）を算出する。

Ｒ−ＴＴＴ部１２２は、Ｌ’’（ｋ、ｎ）およびＲ’’（ｋ、ｎ）を式（８）に代入し、Ｃ’’（ｋ、ｎ）を式（９）に代入する。そして、式（９）のＥｒｒｏｒ（ｋ）の値が最小となるＣＰＣ１（ｋ）、ＣＰＣ２（ｋ）の組を求める。Ｅｒｒｏｒ（ｋ）の値が最小となるＣＰＣ１（ｋ）、ＣＰＣ２（ｋ）の組が、求めるべきＣＰＣ１、ＣＰＣ２となる。

Ｒ−ＴＴＴ部１２２は、量子化テーブルを利用して、式（８）にＣＰＣ１（ｋ）、ＣＰＣ２（ｋ）の値を代入し、Ｅｒｒｏｒ（ｋ）の値が最小となる組み合わせを算出しても良い。図４は、量子化テーブルのデータ構造を示す図である。図４に示すように、この量子化テーブルは、ｉｄｘ（index）と、ＣＰＣ［ｉｄｘ］とを対応付けて保持する。ここで、ｉｄｘは、式（８）のｋに対応する数値である。

図４に示す量子化テーブルを用いる場合には、Ｒ−ＴＴＴ部１２２は、５１×５１通りの中から、Ｅｒｒｏｒ（ｋ）の値が最小となる組み合わせを算出することで、ＣＰＣ１、ＣＰＣ２を求める。

図４の１段目に示すように、ＣＰＣ［−２０］の値は−２．０であり、ＣＰＣ［−１９］の値は−１．９であり、ＣＰＣ［−１８］の値は−１．８であり、ＣＰＣ［−１７］の値は−１．７である。また、ＣＰＣ［−１６］の値は−１．６であり、ＣＰＣ［−１５］の値は−１．５であり、ＣＰＣ［−１４］の値は−１．４であり、ＣＰＣ［−１３］の値は−１．３である。また、ＣＰＣ［−１２］の値は−１．２であり、ＣＰＣ［−１１］の値は−１．１であり、ＣＰＣ［−１０］の値は−１．０である。

図４の２段目に示すように、ＣＰＣ［−９］の値は−０．９であり、ＣＰＣ［−８］の値は−０．８であり、ＣＰＣ［−７］の値は−０．７であり、ＣＰＣ［−６］の値は−０．６である。また、ＣＰＣ［−５］の値は−０．５であり、ＣＰＣ［−４］の値は−０．４であり、ＣＰＣ［−３］の値は−０．３であり、ＣＰＣ［−２］の値は−０．２である。また、ＣＰＣ［−１］の値は−０．１であり、ＣＰＣ［０］の値は−０．０であり、ＣＰＣ［１］の値は−０．１である。

図４の３段目に示すように、ＣＰＣ［２］の値は０．２であり、ＣＰＣ［３］の値は０．３であり、ＣＰＣ［４］の値は０．４であり、ＣＰＣ［５］の値は０．５であり、ＣＰＣ［６］の値は０．６であり、ＣＰＣ［７］の値０．７はである。また、ＣＰＣ［８］の値は０．８であり、ＣＰＣ［９］の値は０．９であり、ＣＰＣ［１０］の値は１．０であり、ＣＰＣ［１１］の値は１．１であり、ＣＰＣ［１２］の値は１．２である。

図４の４段目に示すように、ＣＰＣ［１３］の値は１．３であり、ＣＰＣ［１４］の値は１．４であり、ＣＰＣ［１５］の値は１．５であり、ＣＰＣ［１６］の値は１．６であり、ＣＰＣ［１７］の値は１．７である。また、ＣＰＣ［１８］の値は１．８であり、ＣＰＣ［１９］の値は１．９であり、ＣＰＣ［２０］の値は２．０であり、ＣＰＣ［２１］の値は２．１であり、ＣＰＣ［２２］の値は２．２であり、ＣＰＣ［２３］の値は２．３である。

図４の５段目に示すように、ＣＰＣ［２４］の値は２．４であり、ＣＰＣ［２５］の値は２．５であり、ＣＰＣ［２６］の値は２．６であり、ＣＰＣ［２７］の値は２．７である。ＣＰＣ［２８］の値は２．８であり、ＣＰＣ［２９］の値は２．９であり、ＣＰＣ［３０］の値は３．０である。

次に、Ｒ−ＴＴＴ部１２２が、ＩＣＣを算出する処理について説明する。例えば、Ｒ−ＴＴＴ部１２２は、式（１０）に基づいて、ＩＣＣを算出する。

式（１０）において、ｅ_Ｌ’（ｋ）は、Ｌ’（ｋ、ｎ）の自己相関である。Ｒ−ＴＴＴ部１２２は、式（１１）によってｅ_Ｌ’（ｋ）を算出する。

式（１０）において、ｅ_Ｒ’（ｋ）は、Ｒ’（ｋ、ｎ）の自己相関である。Ｒ−ＴＴＴ部１２２は、式（１２）によってｅ_Ｒ’（ｋ）を算出する。

式（１０）において、ｅ_Ｃ’（ｋ）は、Ｃ’（ｋ、ｎ）の自己相関である。Ｒ−ＴＴＴ部１２２は、式（１３）によってｅ_Ｃ’（ｋ）を算出する。

式（１０）において、ｅ_ｌ（ｋ）は、ｌ（ｋ、ｎ）の自己相関である。Ｒ−ＴＴＴ部１２２は、式（１４）によってｅ_ｌ（ｋ）を算出する。式（１４）において、ｌ（ｋ、ｎ）は、Ｌ’チャネルの推定復号信号である。Ｒ−ＴＴＴ部１２２は、式（１５）によって、ｌ（ｋ、ｎ）を算出する。

式（１０）において、ｅ_ｒ（ｋ）は、ｒ（ｋ、ｎ）の自己相関である。Ｒ−ＴＴＴ部１２２は、式（１６）によってｅ_ｒ（ｋ）を算出する。式（１６）において、ｒ（ｋ、ｎ）は、Ｒ’チャンネルの推定復号信号である。Ｒ−ＴＴＴ部１２２は、式（１７）によって、ｒ（ｋ、ｎ）を算出する。

式（１０）において、ｅ_ｃ（ｋ）は、ｃ（ｋ、ｎ）の自己相関である。Ｒ−ＴＴＴ部１２２は、式（１８）によってｅ_ｃ（ｋ）を算出する。式（１８）において、ｃ（ｋ、ｎ）は、Ｃ’チャンネルの推定復号信号である。Ｒ−ＴＴＴ部１２２は、式（１９）によって、ｃ（ｋ、ｎ）を算出する。

すなわち、Ｒ−ＴＴＴ部１２２は、式（１１）〜（１９）に基づいて、ｅ_Ｌ’（ｋ）、ｅ_Ｒ’（ｋ）、ｅ_Ｃ’（ｋ）、ｅ_ｌ（ｋ）、ｅ_ｒ（ｋ）、ｅ_ｃ（ｋ）を算出する。そして、Ｒ−ＴＴＴ部１２２は、式（１０）に基づいて、ＩＣＣを算出する。

図１の説明に戻る。重要度算出部１３０は、周波数信号に含まれる各信号の重要度をそれぞれ算出する処理部である。この周波数信号には、上記のようにＦＬ（ｋ、ｎ）、ＳＬ（ｋ、ｎ）、ＦＲ（ｋ、ｎ）、ＳＲ（ｋ、ｎ）、Ｃ（ｋ、ｎ）、ＬＦＥ（ｋ、ｎ）が含まれる。以下の説明において、ＦＬ（ｋ、ｎ）、ＳＬ（ｋ、ｎ）、ＦＲ（ｋ、ｎ）、ＳＲ（ｋ、ｎ）、Ｃ（ｋ、ｎ）、ＬＦＥ（ｋ、ｎ）の重要度をそれぞれ、Ｐ（ＦＬ）、Ｐ（ＳＬ）、Ｐ（ＦＲ）、Ｐ（ＳＲ）、Ｐ（Ｃ）、Ｐ（ＬＦＥ）と表記する。重要度算出部１３０は、算出した各重要度を重要度変換部１４０に出力する。

まず、重要度算出部１３０が算出する重要度の概要について説明する。重要度算出部１３０は、知覚複雑度を重要度として算出する。図５は、重要度算出部の処理を説明するための図である。図５の横軸は周波数を示し、縦軸は周波数信号の電力に対応する。図５に示す１０ａは、周波数信号に含まれる各信号のうち何れかの信号の波形である。１０ｂは、マスキングパワーの波形を示す。このマスキングパワーは、量子化により発生する誤差のうち、許容する範囲を示すものである。このため、マスキングパワー１０ｂ以下の領域に存在する信号誤差は無視できる。これに対して、マスキングパワー１０ｂよりも上の領域に存在する信号誤差は無視できないものであり、この領域が大きいほど重要度は高くなる。重要度算出部１３０は、信号１０ａとマスキングパワー１０ｂの間の領域１０ｃを、信号１０ａの重要度として算出する。例えば、信号１０ａが、信号ＦＬ（ｋ、ｎ）の場合には、領域１０ｃの面積がＰ（ＦＬ）となる。

次に、重要度算出部１３０が、重要度を算出する場合の処理について説明する。ここでは、一例として、重要度算出部１３０が、ＦＬ（ｋ、ｎ）の重要度Ｐ（ＦＬ）を算出する場合について説明する。重要度算出部１３０は、式（２０）によって、重要度Ｐ（ＦＬ）を算出する。

式（２０）において、ｎｂ（ＦＬ、ｎ、ｋ）は、ＦＬチャンネルに対応するマスキングパワーに対応する。また、ｅ（ＦＬ、ｎ、ｋ）は、式（２１）によって求められるスペクトルパワーである。なお、重要度算出部１３０は、マスキングパワーの情報を記憶しているものとする。

なお、マスキングパワーは、簡易的には各周波数帯域の最小可聴域のパワーなどを用いても良い。または、重要度算出部１３０は＜「New Implementation Techniques of an Efficient MPEG Advanced Audio Coder]E.Kurniawati,C.T.Lau,B.Premkumar,J.Absar,S.George＞に記載された方法を用いても良い。

重要度算出部１３０は、ＦＬ（ｋ、ｎ）の場合と同様にして、ＳＬ（ｋ、ｎ）、ＦＲ（ｋ、ｎ）、ＳＲ（ｋ、ｎ）、Ｃ（ｋ、ｎ）、ＬＦＥ（ｋ、ｎ）の重要度を算出する。重要度算出部１３０は、重要度Ｐ（ＦＬ）、Ｐ（ＳＬ）、Ｐ（ＦＲ）、Ｐ（ＳＲ）、Ｐ（Ｃ）、Ｐ（ＬＦＥ）を重要度変換部１４０に出力する。

次に、重要度変換部１４０の処理について説明する。重要度変換部１４０は、複数の重要度をダウンミックスする処理部である。重要度変換部１４０がダウンミックスすることにより、６ｃｈの重要度が５ｃｈの重要度に変換される。重要度変換部１４０から出力される信号のチャネルの数は、信号変換部１２０から出力されるチャネルの数と等しい。

重要度変換部１４０の構成の一例について説明する。図６は、重要度変換部の構成を示す図である。図６に示すように、重要度変換部１４０は、Ｒ−ＯＴＴ−Ｐ部１４１ａ〜１４１ｃ、Ｒ−ＴＴＴ−Ｐ部１４２を有する。

Ｒ−ＯＴＴ−Ｐ部１４１ａについて説明する。Ｒ−ＯＴＴ−Ｐ部１４１ａは、重要度Ｐ（ＦＬ）、Ｐ（ＳＬ）、空間情報２０ａを取得し、ダウンミックス信号重要度Ｐ（Ｌ’）と、残差信号重要度Ｐ（ｒｅｓＯＴＴ１）とを生成する。なお、空間情報２０ａは、図３のＲ−ＯＴＴ部１２１ａが生成した空間情報に対応するものである。Ｒ−ＯＴＴ−Ｐ部１４１ａは、ダウンミックス信号重要度Ｐ（Ｌ’）をＲ−ＴＴＴ−Ｐ部１４２に出力する。Ｒ−ＯＴＴ−Ｐ部１４１ａは、残差信号重要度Ｐ（ｒｅｓＯＴＴ１）をビット数判定部１５０に出力する。

Ｒ−ＯＴＴ−Ｐ部１４１ｂについて説明する。Ｒ−ＯＴＴ−Ｐ部１４１ｂは、重要度Ｐ（Ｃ）、Ｐ（ＬＦＥ）、空間情報２０ｂを取得し、ダウンミックス信号重要度Ｐ（Ｃ’）を生成する。なお、空間情報２０ｂは、Ｒ−ＯＴＴ部１２１ｂが生成した空間情報に対応するものである。Ｒ−ＯＴＴ−Ｐ部１４１ｂは、ダウンミックス信号重要度Ｐ（Ｃ’）をＲ−ＴＴＴ−Ｐ部１４２に出力する。

Ｒ−ＯＴＴ−Ｐ部１４１ｃについて説明する。Ｒ−ＯＴＴ−Ｐ部１４１ｃは、重要度Ｐ（ＦＲ）、Ｐ（ＳＲ）、空間情報２０ｃを取得し、ダウンミックス信号重要度Ｐ（Ｒ’）と、残差信号重要度Ｐ（ｒｅｓＯＴＴ２）とを生成する。なお、空間情報２０ｃは、Ｒ−ＯＴＴ部１２１ｃが生成した空間情報に対応するものである。Ｒ−ＯＴＴ−Ｐ部１４１ｃは、ダウンミックス信号重要度Ｐ（Ｒ’）をＲ−ＴＴＴ−Ｐ部１４２に出力する。Ｒ−ＯＴＴ−Ｐ部１４１ｃは、残差信号重要度Ｐ（ｒｅｓＯＴＴ２）をビット数判定部１５０に出力する。

Ｒ−ＴＴＴ−Ｐ部１４２について説明する。Ｒ−ＴＴＴ−Ｐ部１４２は、ダウンミックス信号重要度Ｐ（Ｌ’）、Ｐ（Ｃ’）、Ｐ（Ｒ’）および空間情報２０ｄを取得し、ダウンミックス信号重要度Ｐ（Ｌ’’）、Ｐ（Ｒ’’）を生成する。また、Ｒ−ＴＴＴ−Ｐ部１４２は、ダウンミックス信号重要度Ｐ（Ｌ’）、Ｐ（Ｃ’）、Ｐ（Ｒ’）および空間情報２０ｄに基づいて、残差信号重要度Ｐ（ｒｅｓＴＴＴ）を生成する。なお、空間情報２０ｄは、図３のＲ−ＴＴＴ部１２２が生成した空間情報に対応するものである。Ｒ−ＴＴＴ−Ｐ部１４２は、ダウンミックス信号重要度Ｐ（Ｌ’’）、Ｐ（Ｒ’’）、残差信号重要度Ｐ（ｒｅｓＴＴＴ）をビット数判定部１５０に出力する。

このように、重要度変換部１４０は、重要度Ｐ（ＦＬ）、Ｐ（ＳＬ）、Ｐ（ＦＲ）、Ｐ（ＳＲ）、Ｐ（Ｃ）、Ｐ（ＬＦＥ）を、ダウンミックス信号重要度Ｐ（Ｌ’’）、Ｐ（Ｒ’’）および残差信号重要度Ｐ（ｒｅｓＯＴＴ１）、Ｐ（ｒｅｓＯＴＴ２）、Ｐ（ｒｅｓＴＴＴ）に変換する。

次に、図６に示したＲ−ＯＴＴ−Ｐ部１４１ａの構成について説明する。図７は、Ｒ−ＯＴＴ部の構成を示す図である。図７に示すように、Ｒ−ＯＴＴ−Ｐ部１４１ａは、重要度分配部３０ａ、３０ｂ、加算部４０ａ、４０ｂを有する。

重要度分配部３０ａは、重要度Ｐ（ＦＬ）と空間情報２０ａとを受け付け、２種類の計算を実行する処理部である。具体的に、重要度分配部３０ａは、式（２２）、式（２３）に示す計算を実行する。式（２２）および式（２３）に含まれるＨ１は、空間情報に対応する。例えば、Ｈ１の値は、ＣＬＤ_ＬおよびＩＣＣ_Ｌから式（３９）〜（４３）により得られる値である。

重要度分配部３０ａは、式（２２）による計算結果を加算部４０ａに出力する。また、重要度分配部３０ａは、式（２３）による計算結果を加算部４０ｂに出力する。

重要度分配部３０ｂは、重要度Ｐ（ＳＬ）と空間情報とを受け付け、２種類の計算を実行する処理部である。具体的に、重要度分配部３０ｂは、式（２４）、式（２５）に示す計算を実行する。式（２４）および式（２５）に含まれるＨ２は、空間情報に対応する。例えば、Ｈ２の値は、ＣＬＤ_ＬおよびＩＣＣ_Ｌから式（４４）および式（４０）〜式（４３）により得られる値である。

重要度分配部３０ｂは、式（２４）による計算結果を加算部４０ａに出力する。また、重要度分配部３０ｂは、式（２５）による計算結果を加算部４０ｂに出力する。

加算部４０ａは、重要度分配部３０ａ、３０ｂから出力される計算結果を加算する処理部である。加算部４０ａの加算結果Ｐ（Ｍ）は、式（２６）によって表すことができる。

式（２６）によって算出される値Ｐ（Ｍ）は、上記のダウンミックス信号重要度Ｐ（Ｌ’）に対応するものである。加算部４０ａは、加算結果Ｐ（Ｍ）を、Ｒ−ＴＴＴ−Ｐ部１４２に出力する。

加算部４０ｂは、重要度分配部３０ａ、３０ｂから出力される計算結果を加算する処理部である。加算部４０ｂの加算結果Ｐ（ｒｅｓＯＴＴ）は、式（２７）によって表すことができる。

式（２７）によって算出される値Ｐ（ｒｅｓＯＴＴ）は、上記の残差信号重要度Ｐ（ｒｅｓＯＴＴ１）に対応する。加算部４０ｂは、加算結果Ｐ（ｒｅｓＯＴＴ）を、ビット数判定部１５０に出力する。

Ｒ−ＯＴＴ−Ｐ部１４１ｂの構成について説明する。Ｒ−ＯＴＴ−Ｐ部１４１ｂの構成は、Ｒ−ＯＴＴ−Ｐ部１４１ａの構成と同様である。ただし、Ｒ−ＯＴＴ−Ｐ部１４１ｂは、重要度Ｐ（Ｃ）、重要度Ｐ（ＬＦＥ）、空間情報２０ｂを基にして、Ｐ（Ｍ）を算出する。このＰ（Ｍ）は、ダウンミックス信号重要度Ｐ（Ｃ’）に対応する。Ｒ−ＯＴＴ−Ｐ部１４１ｂは、Ｐ（Ｍ）をＲ−ＴＴＴ−Ｐ部１４２に出力する。

Ｒ−ＯＴＴ−Ｐ部１４１ｃの構成について説明する。Ｒ−ＯＴＴ−Ｐ部１４１ｃの構成は、Ｒ−ＯＴＴ−Ｐ部１４１ａの構成と同様である。ただし、Ｒ−ＯＴＴ−Ｐ部１４１ｃは、重要度Ｐ（ＦＲ）、重要度Ｐ（ＳＲ）、空間情報２０ｃを基にして、Ｐ（Ｍ）およびＰ（ｒｅｓＯＴＴ）を算出する。このＰ（Ｍ）は、ダウンミックス信号重要度Ｐ（Ｒ’）に対応する。Ｐ（ｒｅｓＯＴＴ）は、上記の残差信号重要度Ｐ（ｒｅｓＯＴＴ２）に対応する。Ｒ−ＯＴＴ−Ｐ部１４１ｃは、Ｐ（Ｍ）をＲ−ＴＴＴ−Ｐ部１４２に出力する。また、Ｒ−ＯＴＴ−Ｐ部１４１ｃは、Ｐ（ｒｅｓＯＴＴ）を、ビット数判定部１５０に出力する。

次に、図６に示したＲ−ＴＴＴ−Ｐ部１４２の構成について説明する。図８は、Ｒ−ＴＴＴ−Ｐ部１４２の構成を示す図である。図８に示すように、Ｒ−ＴＴＴ−Ｐ部１４２は、重要度分配部５０ａ、５０ｂ、５０ｃ、加算部６０ａ、６０ｂ、６０ｃを有する。

重要度分配部５０ａは、ダウンミックス信号重要度Ｐ（Ｌ’）と空間情報２０ｄとを受け付け、２種類の計算を実行する処理部である。具体的に、重要度分配部５０ａは、式（２８）、式（２９）に示す計算を実行し、Ｐ（Ｌ１）、Ｐ（Ｌ２）を求める。式（２８）および式（２９）に含まれるｃ１は、空間情報２０ｄに対応する。例えば、ｃ１はＣＰＣ１に対応し、ｃ２はＣＰＣ２に対応する。

重要度分配部５０ａは、Ｐ（Ｌ１）を加算部６０ａに出力する。重要度分配部５０ａは、Ｐ（Ｌ２）を加算部６０ｂに出力する。

重要度分配部５０ｂは、ダウンミックス信号重要度Ｐ（Ｃ’）と空間情報２０ｄとを受け付け、３種類の計算を実行する処理部である。具体的に、重要度分配部５０ｂは、式（３０）、式（３１）、式（３２）に示す計算を実行し、Ｐ（Ｃ１）、Ｐ（Ｃ２）、Ｐ（Ｃ３）を求める。式（３０）、式（３１）、式（３２）に含まれるｃ１、ｃ２は、空間情報に対応する。

重要度分配部５０ｂは、Ｐ（Ｃ１）を加算部６０ａに出力する。重要度分配部５０ｂは、Ｐ（Ｃ２）を加算部６０ｂに出力する。重要度分配部５０ｂは、Ｐ（Ｃ３）を加算部６０ｃに出力する。

重要度分配部５０ｃは、ダウンミックス信号重要度Ｐ（Ｒ’）と空間情報とを受け付け、２種類の計算を実行する処理部である。具体的に、重要度分配部５０ｃは、式（３３）、式（３４）に示す計算を実行し、Ｐ（Ｒ１）、Ｐ（Ｒ２）を求める。式（３３）、式（３４）に含まれるｃ２は、空間情報に対応する。重要度分配部５０ｃは、Ｐ（Ｒ１）を加算部６０ｂに出力し、Ｐ（Ｒ２）を加算部６０ｃに出力する。

加算部６０ａは、Ｐ（Ｌ１）とＰ（Ｃ１）とを加算する処理部である。加算部６０ａの加算結果Ｐ（Ｌ’’）は、式（３５）によって表すことができる。

式（３５）によって算出されるＰ（Ｌ’’）は、上記のダウンミックス信号Ｌ’’（ｋ、ｎ）に対応する。加算部６０ａは、加算結果Ｐ（Ｌ’’）を、ビット数判定部１５０に出力する。

加算部６０ｂは、Ｐ（Ｌ２）とＰ（Ｃ２）とＰ（Ｒ１）とを加算する処理部である。加算部６０ｂの加算結果Ｐ（ｒｅｓＴＴＴ）は、式（３６）によって表すことができる。

式（３６）によって算出されるＰ（ｒｅｓＴＴＴ）は、上記の残差信号ｒｅｓＴＴＴ（ｋ、ｎ）に対応する。加算部６０ｂは、加算結果Ｐ（ｒｅｓＴＴＴ）を、ビット数判定部１５０に出力する。

加算部６０ｃは、Ｐ（Ｃ３）とＰ（Ｒ２）とを加算する処理部である。加算部６０ｃの加算結果Ｐ（Ｒ’’）は、式（３７）によって表すことができる。

式（３７）によって算出されるＰ（Ｒ’’）は、上記のダウンミックス信号Ｒ’’（ｋ、ｎ）に対応する。加算部６０ｃは、加算結果Ｐ（Ｒ’’）を、ビット数判定部１５０に出力する。

図１の説明に戻る。ビット数判定部１５０は、重要度変換部１４０から取得する５チャネルの信号に基づいて、コア符号化部１６０および残差符号化部１７０のビット配分を算出する処理部である。ビット数判定部１５０が、重要度変換部１４０から取得する５チャネルの信号は、Ｐ（Ｌ’’）、Ｐ（Ｒ’’）、Ｐ（ｒｅｓＴＴＴ）、Ｐ（ｒｅｓＯＴＴ１）、Ｐ（ｒｅｓＯＴＴ２）を含む。

ビット数判定部１５０は、Ｐ（Ｌ’’）を基にして、ダウンミックス信号Ｌ’’（ｋ、ｎ）を量子化する場合のビット配分を算出する。ビット数判定部１５０は、Ｐ（Ｒ’’）を基にして、ダウンミックス信号Ｒ’’（ｋ、ｎ）を量子化する場合のビット配分を算出する。

ビット数判定部１５０は、Ｐ（ｒｅｓＯＴＴ１）を基にして、残差信号ｒｅｓＯＴＴ１（ｋ、ｎ）を量子化する場合のビット配分を算出する。ビット数判定部１５０は、Ｐ（ｒｅｓＯＴＴ２）を基にして、残差信号ｒｅｓＯＴＴ２（ｋ、ｎ）のビット配分を算出する。ビット数判定部１５０は、Ｐ（ｒｅｓＴＴＴ）を基にして、ＴＴＴ残差信号を量子化する場合のビット配分を算出する。

具体的に、ビット数判定部１５０がビット配分を算出する処理について説明する。ここでは一例として、Ｐ（Ｌ’’）を例にして説明する。ビット数判定部１５０は、Ｐ（Ｌ’’）に含まれる周波数毎の重要度を全て加算することで、重要度Ｐｓ（Ｌ’’、ｎ）を算出する。例えば、ビット数判定部１５０は、式（３８）を利用して、Ｐｓ（Ｌ’’、ｎ）を算出する。なお、式（３８）の右辺Ｐ（Ｌ’’、ｋ、ｎ）はＰ（Ｌ’’）に対応する。

例えば、ビット数判定部１５０は、ビット配分と重要度との関係を示すグラフと、Ｐｓ（Ｌ’’、ｎ）とを比較して、ビット配分を求める。図９は、ビット配分と重要度との関係を示す図である。図９の横軸は、重要度を示す。縦軸はビット配分を示す。横軸のＴｈ_Ｐ１の値は、例えば４０００であり、Ｔｈ_Ｐ２の値は、例えば７０００である。縦軸のＴｈ_ｂ１の値は、例えば５００であり、Ｔｈ_ｂ２の値は、例えば５０００である。

ビット数判定部１５０は、点１Ａと点１Ｂとを結ぶ直線と、Ｐｓ（Ｌ’’、ｎ）とを比較して、Ｐｓ（Ｌ’’、ｎ）に対応するビット配分を算出する。図９に示す例では、Ｐｓ（Ｌ’’、ｎ）に対応するビット配分はｂとなる。

ビット数判定部１５０は、残りの、Ｐ（Ｒ’’）、Ｐ（ｒｅｓＴＴＴ）、Ｐ（ｒｅｓＯＴＴ１）、Ｐ（ｒｅｓＯＴＴ２）に対しても、Ｐ（Ｌ’’）と同様にして、ビット配分を算出する。ビット数判定部１５０は、Ｐ（Ｌ’’）から求めたビット配分、Ｐ（Ｒ’’）から求めたビット配分をコア符号化部１６０に出力する。また、ビット数判定部１５０は、Ｐ（ｒｅｓＴＴＴ）、Ｐ（ｒｅｓＯＴＴ１）、Ｐ（ｒｅｓＯＴＴ２）からそれぞれ求めたビット配分を残差符号化部１７０に出力する。

図１の説明に戻る。コア符号化部１６０は、ビット数判定部１５０により算出されたＰ（Ｌ’’）のビット配分に収まるように、ダウンミックス信号Ｌ’’（ｋ、ｎ）を量子化する。また、コア符号化部１６０は、ビット数判定部１５０により算出されたＰ（Ｒ’’）のビット配分に収まるように、ダウンミックス信号Ｒ’’（ｋ、ｎ）を量子化する。

コア符号化部１６０が、ダウンミックス信号Ｌ’’（ｋ、ｎ）、Ｒ’’（ｋ、ｎ）を量子化する場合には、任意の符号化方式を用いる。例えば、コア符号化部１６０は、ＡＡＣ（Advanced Audio Coding）符号化及びＳＢＲ（Spectral Band Replication）符号化を利用して、ダウンミックス信号Ｌ’’（ｋ、ｎ）、Ｒ’’（ｋ、ｎ）を量子化する。コア符号化部１６０は、ダウンミックス信号Ｌ’’（ｋ、ｎ）、Ｒ’’（ｋ、ｎ）の低域成分をＡＡＣ方式で量子化し、高域成分をＳＢＲ方式で量子化する。コア符号化部１６０は、ＡＡＣ符号化を行う場合には、例えば、特開２００７−１８３５２８号公報に開示された技術を利用する。コア符号化部１６０は、ＳＢＲ方式で符号化を行う場合には、例えば、特開２００８−２２４９０２号公報に開示された技術を利用する。

コア符号化部１６０は、図３のＲ−ＴＴＴ部１２２から出力されるダウンミックス信号Ｌ’’（ｋ、ｎ）、Ｒ’’（ｋ、ｎ）を量子化する処理部である。コア符号化部１６０は、量子化後のビット数がＰ（Ｌ’’）のビット配分に収まるように、ダウンミックス信号Ｌ’’（ｋ、ｎ）に対して、ＡＡＣ符号化およびＳＢＲ符号化を行う。また、コア符号化部１６０は、量子化後のビット数がＰ（Ｒ’’）のビット配分に収まるように、ダウンミックス信号Ｒ’’（ｋ、ｎ）に対して、ＡＡＣ符号化およびＳＢＲ符号化を行う。コア符号化部１６０は、量子化後のダウンミックス信号Ｌ’’（ｋ、ｎ）、Ｒ’’（ｋ、ｎ）を多重化部１９０に出力する。

残差符号化部１７０は、Ｒ−ＴＴＴ部１２２、Ｒ−ＯＴＴ部１２１ａ、Ｒ−ＯＴＴ部１２１ｃからそれぞれ出力される残差信号ｒｅｓＴＴＴ（ｋ、ｎ）、ｒｅｓＯＴＴ１（ｋ、ｎ）、ｒｅｓＯＴＴ２（ｋ、ｎ）を量子化する処理部である。残差符号化部１７０は、Ｐ（ｒｅｓＴＴＴ）のビット配分に収まるように、ｒｅｓＴＴＴ（ｋ、ｎ）を量子化する。また、残差符号化部１７０は、Ｐ（ｒｅｓＯＴＴ１）のビット配分に収まるように、ｒｅｓＯＴＴ１（ｋ、ｎ）を量子化する。また、残差符号化部１７０は、Ｐ（ｒｅｓＯＴＴ１）のビット配分に収まるように、ｒｅｓＯＴＴ２（ｋ、ｎ）を量子化する。

残差符号化部１７０が、ｒｅｓＴＴＴ（ｋ、ｎ）、ｒｅｓＯＴＴ１（ｋ、ｎ）、ｒｅｓＯＴＴ２（ｋ、ｎ）を量子化する場合には、任意の符号化方式を用いる。例えば、残差符号化部１７０は、ＡＡＣ符号化を利用して、ＴＴＴ残差信号、第１の残差信号、第２の残差信号をそれぞれ量子化する。残差符号化部１７０は、量子化後のｒｅｓＴＴＴ（ｋ、ｎ）、ｒｅｓＯＴＴ１（ｋ、ｎ）、ｒｅｓＯＴＴ２（ｋ、ｎ）を多重化部１９０に出力する。

空間情報符号化部１８０は、Ｒ−ＯＴＴ部１２１ａ〜１２１ｃ、Ｒ−ＴＴＴ部１２２から出力される空間情報を量子化する処理部である。空間情報は、上記に示したように、ＣＬＤ、ＩＣＣ、ＣＰＣを含む。以下において、空間情報符号化部１８０がＣＬＤ、ＩＣＣ、ＣＰＣに対して行う量子化について説明する。

空間情報符号化部１８０がＣＬＤを量子化する処理について説明する。空間情報符号化部１８０は、ＣＬＤ量子化テーブルと、ＣＬＤの値とを比較して、ＣＬＤを量子化する。図１０は、ＣＬＤ量子化テーブルのデータ構造を示す図である。図１０に示すように、このＣＬＤ量子化テーブルは、ｉｄｘ（index）と、ＣＰＣ［ｉｄｘ］とを対応付けて保持する。

図１０の１段目に示すように、ＣＬＤ［−１５］の値は、−１５０であり、ＣＬＤ［−１４］の値は、−４５であり、ＣＬＤ［−１３］の値は、−４０であり、ＣＬＤ［−１２］の値は、−３５である。また、ＣＬＤ［−１１］の値は、−３０であり、ＣＬＤ［−１０］の値は、−２５であり、ＣＬＤ［−９］の値は、−２２であり、ＣＬＤ［−８］の値は、−１９である。また、ＣＬＤ［−７］の値は、−１６であり、ＣＬＤ［−６］の値は、−１３であり、ＣＬＤ［−５］の値は、−１０である。

図１０の２段目に示すように、ＣＬＤ［−４］の値は、−８であり、ＣＬＤ［−３］の値は、−６であり、ＣＬＤ［−２］の値は、−４であり、ＣＬＤ［−１］の値は、−２である。ＣＬＤ［０］の値は、０であり、ＣＬＤ［１］の値は、２であり、ＣＬＤ［２］の値は、４であり、ＣＬＤ［３］の値は、６であり、ＣＬＤ［４］の値は、８であり、ＣＬＤ［５］の値は、１０であり、ＣＬＤ［６］の値は、１３である。

図１０の３段目に示すように、ＣＬＤ［７］の値は、１６であり、ＣＬＤ［８］の値は、１９であり、ＣＬＤ［９］の値は、２２であり、ＣＬＤ［１０］の値は、２５であり、ＣＬＤ［１１］の値は、３０である。ＣＬＤ［１２］の値は、３５であり、ＣＬＤ［１３］の値は、４０であり、ＣＬＤ［１４］の値は、４５であり、ＣＬＤ［１５］の値は、１５０である。

空間情報符号化部１８０は、ＣＬＤ量子化テーブルのＣＬＤ［ｉｄｘ］の値のうち、最もＣＬＤの値に近いＣＬＤ［ｉｄｘ］を検出する。そして、空間情報符号化部は、検出したＣＬＤ［ｉｄｘ］に対応するｉｄｘの値を、量子化後のＣＬＤの値とする。例えば、ＣＬＤの値が「１０．８ｄＢ」の場合には、この値に最も近いＣＬＤ［ｉｄｘ］の値は、ＣＬＤ［５］の１０となる。このため、空間情報符号化部１８０がＣＬＤの値「１０．８ｄＢ」に対して量子化を行うと、量子化後の値は「５」となる。

次に、空間情報符号化部１８０がＩＣＣを量子化する処理について説明する。空間情報符号化部１８０は、ＩＣＣ量子化テーブルと、ＩＣＣの値とを比較して、ＩＣＣを量子化する。図１１は、ＩＣＣ量子化テーブルのデータ構造を示す図である。図１１に示すように、ＩＣＣ量子化テーブルは、ｉｄｘ（index）と、ＩＣＣ［ｉｄｘ］とを対応付けて保持する。

図１１に示すように、ＩＣＣ［０］の値は１であり、ＩＣＣ［１］の値は０．９３７であり、ＩＣＣ［２］の値は０．８４１１８であり、ＩＣＣ［３］の値は０．６００９２である。また、ＩＣＣ［４］の値は０．３６７６４であり、ＩＣＣ［５］の値は０であり、ＩＣＣ［６］の値は−０．５８９であり、ＩＣＣ［７］の値は−０．９９である。

空間情報符号化部１８０は、ＩＣＣ量子化テーブルのＩＣＣ［ｉｄｘ］の値のうち、最もＩＣＣの値に近いＩＣＣ［ｉｄｘ］を検出する。そして、空間情報符号化部１８０は、検出したＩＣＣに対応するｉｄｘの値を、量子化後のＩＣＣの値とする。例えば、ＩＣＣの値が「０．６」の場合には、この値に最も近いＩＣＣ［ｉｄｘ］の値は、ＩＣＣ［３］の０．６００９２となる。このため、空間情報符号化部１８０がＩＣＣの値「０．６」に対して量子化を行うと、量子化後の値は「３」となる。

次に、空間情報符号化部１８０がＣＰＣを量子化する処理について説明する。空間情報符号化部１８０が量子化するＣＰＣは、上記のＣＰＣ１、ＣＰＣ２に対応する。空間情報符号化部１８０は、ＣＰＣ量子化テーブルと、ＣＰＣの値とを比較して、ＣＰＣを量子化する。図１２は、ＣＰＣ量子化テーブルのデータ構造を示す図である。図１２に示すように、ＣＰＣ量子化テーブルは、ｉｄｘ（index）と、ＣＰＣ［ｉｄｘ］とを対応付けて保持する。

図１２の１段目に示すように、ＣＰＣ［−２０］の値は−２．０であり、ＣＰＣ［−１９］の値は−１．９であり、ＣＰＣ［−１８］の値は−１．８であり、ＣＰＣ［−１７］の値は−１．７である。ＣＰＣ［−１６］の値は−１．６である。また、ＣＰＣ［−１５］の値は−１．５であり、ＣＰＣ［−１４］の値は−１．４であり、ＣＰＣ［−１３］の値は−１．３である。ＣＰＣ［−１２］の値は−１．２であり、ＣＰＣ［−１１］の値は−１．１であり、ＣＰＣ［−１０］の値は−１．０である。

図１２の２段目に示すように、ＣＰＣ［−９］の値は−０．９であり、ＣＰＣ［−８］の値は−０．８であり、ＣＰＣ［−７］の値は−０．７であり、ＣＰＣ［−６］の値は−０．６であり、ＣＰＣ［−５］の値は−０．５である。また、ＣＰＣ［−４］の値は−０．４であり、ＣＰＣ［−３］の値は−０．３であり、ＣＰＣ［−２］の値は−０．２であり、ＣＰＣ［−１］の値は−０．１であり、ＣＰＣ［０］の値は０．０であり、ＣＰＣ［１］の値は０．１である。

図１２の３段目に示すように、ＣＰＣ［２］の値は０．２であり、ＣＰＣ［３］の値は０．３であり、ＣＰＣ［４］の値は０．４であり、ＣＰＣ［５］の値は０．５であり、ＣＰＣ［６］の値は０．６である。また、ＣＰＣ［７］の値は０．７であり、ＣＰＣ［８］の値は０．８であり、ＣＰＣ［９］の値は０．９であり、ＣＰＣ［１０］の値は１．０であり、ＣＰＣ［１１］の値は１．１であり、ＣＰＣ［１２］の値は１．２である。

図１２の４段目に示すように、ＣＰＣ［１３］の値は１．３であり、ＣＰＣ［１４］の値は１．４であり、ＣＰＣ［１５］の値は１．５である。また、ＣＰＣ［１６］の値は１．６であり、ＣＰＣ［１７］の値は１．７であり、ＣＰＣ［１８］の値は１．８であり、ＣＰＣ［１９］の値は１．９である。また、ＣＰＣ［２０］の値は２．０であり、ＣＰＣ［２１］の値は２．１であり、ＣＰＣ［２２］の値は２．２であり、ＣＰＣ［２３］の値は２．３である。

図１２の５段目に示すように、ＣＰＣ［２４］の値は２．４であり、ＣＰＣ［２５］の値は２．５であり、ＣＰＣ［２６］の値は２．６であり、ＣＰＣ［２７］の値は２．７である。また、ＣＰＣ［２８］の値は２．８であり、ＣＰＣ［２９］の値は２．９であり、ＣＰＣ［３０］の値は３．０である。

空間情報符号化部１８０は、ＣＰＣ量子化テーブルのＣＰＣ［ｉｄｘ］の値のうち、最もＣＰＣの値に近いＣＰＣ［ｉｄｘ］を検出する。そして、空間情報符号化部１８０は、検出したＣＰＣに対応するｉｄｘの値を、量子化後のＣＰＣの値とする。例えば、ＣＰＣの値が「１．２１」の場合には、この値に最も近いＣＰＣ［ｉｄｘ］の値は、ＣＰＣ［１２］の１．２となる。このため、空間情報符号化部１８０がＣＰＣの値「１．２１」に対して量子化を行うと、量子化後の値は「１２」となる。

空間情報符号化部１８０は、符号化した空間情報を多重化部１９０に出力する。

図１の説明に戻る。多重化部１９０は、コア符号化部１６０、残差符号化部１７０、空間情報符号化部から符号化された各データを取得し、取得した各データを多重化する処理部である。具体的に、多重化部１９０は、量子化されたダウンミックス信号Ｌ’’（ｋ、ｎ）、Ｒ’’（ｋ、ｎ）、量子化された残差信号ｒｅｓＴＴＴ（ｋ、ｎ）、残差信号ｒｅｓＯＴＴ１（ｋ、ｎ）、残差信号ｒｅｓＯＴＴ２（ｋ、ｎ）、量子化された空間情報を多重化する。

例えば、多重化部１９０の出力データの形式をＭＰＥＧ−２ ＡＤＴＳ（Audio Data Transport Stream）形式とする。図１３は、ＭＰＥＧ−２ ＡＤＴＳのフォーマット例を示す図である。図１３に示すように、出力データは、ＡＤＴＳヘッダのフィールド１ａ、ＡＡＣデータのフィールド１ｂ、ＦＩＬエレメントのフィールド１ｃを含む。

ＡＡＣデータには、ＡＡＣ方式で量子化されたダウンミックス信号Ｌ’’（ｋ、ｎ）、Ｒ’’（ｋ、ｎ）が格納される。ＦＩＬエレメントは、ＳＢＲデータのフィールド１ｄとＭＰＳデータのフィールド１ｅとを含む。ＳＢＲデータには、ＳＢＲ方式で量子化されたダウンミックス信号Ｌ’’（ｋ、ｎ）、Ｒ’’（ｋ、ｎ）が格納される。ＭＰＳデータ１ｅには、量子化された残差信号と空間情報が格納される。多重化部１９０は、多重化したデータを外部装置に出力する。

次に、本実施例にかかるＭＰＳ符号器の処理手順について説明する。図１４は、本実施例にかかるＭＰＳ符号器の処理手順を示すフローチャートである。図１４に示す処理は、例えば、ＭＰＳ符号器１００が、入力信号を取得したことを契機として実行される。なお、図１４に示すフロ−チャートにおいて、ステップＳ１０３〜ステップＳ１０４の処理と、ステップＳ１０５〜ステップＳ１０７の処理は平行して行われるものとする。なお、ステップＳ１０３〜ステップＳ１０４の処理を実行した後に、ステップＳ１０５〜ステップＳ１０７の処理を実行しても構わない。

図１４に示すように、ＭＰＳ符号器１００の時間周波数変換部１１０は、入力信号を取得し（ステップＳ１０１）、入力信号を周波数信号に変換する（ステップＳ１０２）。信号変換部１２０は、周波数信号をダウンミックスし（ステップＳ１０３）、空間情報を重要度変換部１４０に通知する（ステップＳ１０４）。

一方、ＭＰＳ符号器１００の重要度算出部１３０は、各周波数信号の重要度を算出する（ステップＳ１０５）。重要度変換部１４０は、信号変換部１２０から取得する空間情報を利用して、各重要度をダウンミックスし（ステップＳ１０６）、ビット数判定部１５０は、重要度に基づいてビット配分を判定する（ステップＳ１０７）。

コア符号化部１６０および残差符号化部１７０は、ビット数判定部１５０から取得したビット配分に応じて信号を量子化し、空間情報符号化部１８０は、空間情報を量子化する（ステップＳ１０８）。そして、多重化部１９０は、量子化された各信号を多重化する（ステップＳ１０９）。

次に、本実施例にかかるＭＰＳ符号器１００の効果について説明する。ＭＰＳ符号器１００は、ダウンミックスされる前の入力信号に含まれる各信号の重要度を算出する。そして、ＭＰＳ符号器１００は、各重要度をダウンミックスすることで、ダウンミックス後の入力信号と同数の重要度に変換し、各重要度に対応するダウンミックス後の入力信号を量子化する場合のビット配分を判定する。ダウンミックス前の重要度と入力信号とは一対一に対応しており、ダウンミックス後の入力信号と重要度ともそれぞれ対応しているため、入力信号に含まれる各信号のビット配分を正確に算出することができ、音質が劣化するという問題を解消することができる。

また、ＭＰＳ符号器１００は、Ｒ−ＯＴＴ部１２１ａ〜１２１ｃ、Ｒ−ＴＴＴ部１２２を介して、６チャネルの周波数信号を５チャネルの信号にダウンミックスする。同様に、ＭＰＳ符号器１００は、Ｒ−ＯＴＴ部１２１ａ〜１２１ｃ、Ｒ−ＴＴＴ部１２２を介して、６つの重要度を５つの重要度に変換する。このように、入力信号のダウンミックスと同様に、重要度をダウンミックスするので、ダウンミックス後の各信号の重要度をより適切に求めることができ、各信号に適したビット配分を求めることができる。

また、ＭＰＳ符号器１００は、周波数毎にマスキングパワーと周波数信号との差分を算出し、算出した差分の値を合計することで、各周波数信号の重要度を算出する。このため、各周波数信号の重要度を精度良く算出することができる。

なお、上記の各処理部１１０〜１９０は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）や、ＦＰＧＡ（Field Programmable Gate Array）などの集積装置に対応する。また、上記処理部１１０〜１９０は、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等の電子回路に対応する。

ところで、図１に示したＭＰＳ符号器１００の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、ＭＰＳ符号器１００の分散、統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、図１の重要度算出部１３０、重要度変換部１４０、ビット数判定部１５０の処理をまとめて実行する処理部をＭＰＳ符号器１００に設けても良い。

また、ＭＰＳ符号器１００は、既知のパーソナルコンピュータ、ワークステーション、移動体通信端末またはＰＤＡなどの情報処理装置に、ＭＰＳ符号器１００の各機能を搭載することによって実現することもできる。

図１５は、実施例にかかるＭＰＳ符号器を構成するコンピュータのハードウェア構成を示す図である。図１５に示すように、このコンピュータ２００は、各種演算処理を実行するＣＰＵ（Central Processing Unit）２１０と、ユーザからのデータの入力を受け付ける入力装置２２０と、モニタ２３０を有する。また、コンピュータ２００は、記憶媒体からプログラム等を読取る媒体読み取り装置２４０と、ネットワークを介して他のコンピュータとの間でデータの授受を行うネットワークインターフェース装置２５０を有する。また、コンピュータ２００は、各種情報を一時記憶するＲＡＭ（Random Access Memory）２６０と、ハードディスク装置２７０を有する。各装置２１０〜２７０は、バス２８０に接続される。

ハードディスク装置２７０は、重要度算出プログラム２７１、信号変換プログラム２７２、重要度変換プログラム２７３、ビット数判定プログラム２７４、量子化プログラム２７５を記憶する。

ＣＰＵ２１０は、ハードディスク装置２７０に記憶された各プログラム２７１〜２７５を読み出して、ＲＡＭ２６０に展開する。これにより、重要度算出プログラム２７１は、重要度算出プロセス２６１として機能する。信号変換プログラム２７２は、信号変換プロセス２６２として機能する。重要度変換プログラム２７３は、重要度変換プロセス２６３として機能する。ビット数判定プログラム２７４は、ビット数判定プロセス２６４として機能する。量子化プログラム２７５は、量子化プロセス２６５として機能する。

重要度算出プロセス２６１は、図１の重要度算出部１３０に対応する。信号変換プロセス２６２は、図１の信号変換部１２０に対応する。重要度変換プロセス２６３は、図１の重要度変換部１４０に対応する。ビット数判定プロセス２６４は、図１のビット数判定部１５０に対応する。量子化プロセス２６５は、図１のコア符号化部１６０、残差符号化部１７０、空間情報符号化部１８０に対応する。ＲＡＭ２６０の各プロセス２６１〜２６５が処理を実行することにより、入力信号を量子化する。

なお、上記のプログラム２７１〜２７５は、必ずしもハードディスク装置２７０に格納されている必要はない。例えば、ＣＤ−ＲＯＭ等の記憶媒体に記憶されたプログラム２７１〜２７５を、コンピュータ２００が読み出して実行するようにしてもよい。また、公衆回線、インターネット、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等に接続された記憶装置に、各プログラム２７１〜２７５を記憶させておいてもよい。この場合、コンピュータ２００がこれらから各プログラム２７１〜２７５を読み出して実行するようにしてもよい。

以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。

（付記１）入力信号に含まれる第１の数の信号の重要度をそれぞれ算出する重要度算出部と、
前記入力信号に含まれる第１の数の信号を第２の数の信号に変換する信号変換部と、
前記重要度算出部が算出した第１の数の重要度を第２の数の重要度に変換する重要度変換部と、
前記重要度変換部により変換された第２の数の重要度に基づいて、前記信号変換部により変換された第２の数の信号の量子化後のビット数をそれぞれ判定するビット数判定部と、
前記ビット数判定部の判定結果に基づいて、第２の数の信号を量子化する量子化部と、
を有することを特徴とする符号器。

（付記２）前記重要度変換部は、前記信号変換部で得られた空間情報に基づいて、第１の数の重要度を第２の数の重要度に変換することを特徴とする付記１に記載の符号器。

（付記３）前記信号変換部は、第１の数の信号を所定の数の信号に変換し、所定の数の信号を第２の数の信号に変換し、前記重要度変換部は、第１の数の重要度を所定の数の重要度に変換し、所定の数の重要度を第２の数の重要度に変換することを特徴とする付記１に記載の符号器。

（付記４）前記重要度算出部は、周波数毎にマスキングパワーと入力信号との差分を算出し、算出した差分の値を合計することで、入力信号の重要度を算出することを特徴とする付記１、２または３に記載の符号器。

（付記５）コンピュータが実行する符号化方法であって、
入力信号に含まれる第１の数の信号の重要度をそれぞれ算出し、
算出した第１の数の重要度を第２の数の重要度に変更し、
前記入力信号に含まれる第１の数の信号を第２の数の信号に変更し、
前記第２の数の重要度に基づいて、前記第２の数の信号の量子化後のビット数をそれぞれ判定し、
判定結果に基づいて、前記第２の数の信号を量子化することを特徴とする符号化方法。

（付記６）前記第１の数の信号を所定の数の信号に変換した後に、所定の数の信号を第２の数の信号に変換し、第１の数の重要度を所定の数の重要度に変換した後に、所定の数の重要度を第２の数の重要度に変換することを特徴とする付記５に記載の符号化方法。

（付記７）周波数毎にマスキングパワーと入力信号との差分を算出し、算出した差分の値を合計することで、入力信号の重要度を算出することを特徴とする付記５または６に記載の符号化方法。

（付記８）コンピュータに、
入力信号に含まれる第１の数の信号の重要度をそれぞれ算出し、
算出した第１の数の重要度を第２の数の重要度に変更し、
前記入力信号に含まれる第１の数の信号を第２の数の信号に変更し、
第２の数の重要度に基づいて、第２の数の信号の量子化後のビット数をそれぞれ判定し、
判定結果に基づいて、前記第２の数の信号を量子化する処理を実行させる符号化プログラム。

（付記９）前記第１の数の信号を所定の数の信号に変換した後に、所定の数の信号を第２の数の信号に変換し、第１の数の重要度を所定の数の重要度に変換した後に、所定の数の重要度を第２の数の重要度に変換することを特徴とする付記８に記載の符号化プログラム。

（付記１０）周波数毎にマスキングパワーと入力信号との差分を算出し、算出した差分の値を合計することで、入力信号の重要度を算出することを特徴とする付記８または９に記載の符号化プログラム。

１００ ＭＰＳ符号器
１１０ 時間周波数変換部
１２０ 信号変換部
１３０ 重要度算出部
１４０ 重要度変換部
１５０ ビット数判定部
１６０ コア符号化部
１７０ 残差符号化部
１８０ 空間情報符号化部
１９０ 多重化部

Claims (6)

1. 入力信号に含まれる第１の数の信号の重要度をそれぞれ算出する重要度算出部と、
   前記入力信号に含まれる第１の数の信号を第２の数の信号に変換する信号変換部と、
   前記重要度算出部が算出した第１の数の重要度を第２の数の重要度に変換する重要度変換部と、
   前記重要度変換部により変換された第２の数の重要度に基づいて、前記信号変換部により変換された第２の数の信号の量子化後のビット数をそれぞれ判定するビット数判定部と、
   前記ビット数判定部の判定結果に基づいて、第２の数の信号を量子化する量子化部と、
   を有することを特徴とする符号器。
2. 前記重要度変換部は、前記信号変換部で得られた空間情報に基づいて、第１の数の重要度を第２の数の重要度に変換することを特徴とする請求項１に記載の符号器。
3. 前記信号変換部は、第１の数の信号を所定の数の信号に変換し、所定の数の信号を第２の数の信号に変換し、前記重要度変換部は、第１の数の重要度を所定の数の重要度に変換し、所定の数の重要度を第２の数の重要度に変換することを特徴とする請求項１に記載の符号器。
4. 前記重要度算出部は、周波数毎にマスキングパワーと入力信号との差分を算出し、算出した差分の値を合計することで、入力信号の重要度を算出することを特徴とする請求項１、２または３に記載の符号器。
5. コンピュータが実行する符号化方法であって、
   入力信号に含まれる第１の数の信号の重要度をそれぞれ算出し、
   算出した第１の数の重要度を第２の数の重要度に変更し、
   前記入力信号に含まれる第１の数の信号を第２の数の信号に変更し、
   前記第２の数の重要度に基づいて、前記第２の数の信号の量子化後のビット数をそれぞれ判定し、
   判定結果に基づいて、前記第２の数の信号を量子化することを特徴とする符号化方法。
6. コンピュータに、
   入力信号に含まれる第１の数の信号の重要度をそれぞれ算出し、
   算出した第１の数の重要度を第２の数の重要度に変更し、
   前記入力信号に含まれる第１の数の信号を第２の数の信号に変更し、
   第２の数の重要度に基づいて、第２の数の信号の量子化後のビット数をそれぞれ判定し、
   判定結果に基づいて、前記第２の数の信号を量子化する処理を実行させる符号化プログラム。

Images