JP3881946B2 - 音響符号化装置及び音響符号化方法 - Google Patents
音響符号化装置及び音響符号化方法 Download PDFInfo
- Publication number
- JP3881946B2 JP3881946B2 JP2002267436A JP2002267436A JP3881946B2 JP 3881946 B2 JP3881946 B2 JP 3881946B2 JP 2002267436 A JP2002267436 A JP 2002267436A JP 2002267436 A JP2002267436 A JP 2002267436A JP 3881946 B2 JP3881946 B2 JP 3881946B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- acoustic
- encoding
- decoded
- decoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、楽音信号または音声信号などの音響信号を高能率に圧縮符号化する音響符号化装置及び音響符号化方法に関し、特に符号化コードの一部からでも楽音や音声を復号することができるスケーラブル符号化を行う音響符号化装置及び音響符号化方法に関する。
【０００２】
【従来の技術】
楽音信号または音声信号を低ビットレートで圧縮する音響符号化技術は、移動体通信における電波等の伝送路容量及び記録媒体の有効利用のために重要である。音声信号を符号化する音声符号化に、ＩＴＵ(International Telecommunication Union)で規格化されているＧ７２６、Ｇ７２９などの方式がある。これらの方式は、狭帯域信号（３００Ｈｚ〜３．４ｋＨｚ）を対象とし、８ｋｂｉｔ／ｓ〜３２ｋｂｉｔ／ｓのビットレートで高品質に符号化できる。
【０００３】
また、広帯域信号（５０Ｈｚ〜７ｋＨｚ）を符号化する標準方式としてＩＴＵのＧ７２２、Ｇ７２２．１や、３ＧＰＰ（The 3rd Generation Partnership Project）のＡＭＲ−ＷＢなどが存在する。これらの方式は、６．６ｋｂｉｔ／ｓ〜６４ｋｂｉｔ／ｓのビットレートで広帯域音声信号を高品質に符号化できる。
【０００４】
音声信号を低ビットレートで高能率に符号化を行う有効な方法に、ＣＥＬＰ(Code Excited Linear Prediction)がある。ＣＥＬＰは、人間の音声生成モデルを工学的に模擬したモデルに基づき、乱数やパルス列で表される励振信号を周期性の強さに対応するピッチフィルタと声道特性に対応する合成フィルタに通し、その出力信号と入力信号の二乗誤差が聴覚特性の重み付けの下で最小になるよう符号化パラメータを決定する方法である（例えば、非特許文献１参照）。
【０００５】
最近の標準音声符号化方式の多くがＣＥＬＰに基づいており、例えばＧ７２９は、８ｋｂｉｔ／ｓのビットレートで狭帯域信号の符号化でき、ＡＭＲ−ＷＢは６．６ｋｂｉｔ／ｓ〜２３．８５ｋｂｉｔ／ｓのビットレートで広帯域信号を符号化できる。
【０００６】
一方で、楽音信号を符号化する楽音符号化の場合、ＭＰＥＧ(Moving Picture Expert Group)で規格化されているレイヤ３方式やＡＡＣ方式のように、楽音信号を周波数領域に変換し、聴覚心理モデルを利用して符号化を行う変換符号化が一般的である。これらの方式は、サンプリングレートが４４．１ｋＨｚの信号に対しチャネル当たり６４ｋｂｉｔ／ｓ〜９６ｋｂｉｔ／ｓのビットレートでほとんど劣化が生じないことが知られている。
【０００７】
しかしながら、音声信号が主体で、背景に音楽や環境音が重畳している信号を符号化する場合、音声符号化方式を適用すると背景部の音楽や環境音の影響で、背景部の信号のみならず音声信号も劣化してしまい全体的な品質が低下するという問題がある。これは、音声符号化方式が、ＣＥＬＰという音声モデルに特化した方式を基本にしているために生じる問題である。また、音声符号化方式が対応できる信号帯域は高々７ｋＨｚまでであり、それ以上の高域を持つ信号に対しては構成上十分に対応しきれないという問題がある。
【０００８】
一方で、楽音符号化は、音楽に対して高品質に符号化を行うことができるので、前述したような背景に音楽や環境音がある音声信号についても十分な品質を得ることができる。また、楽音符号化は、対象となる信号の帯域もＣＤ品質であるサンプリングレートが２２ｋＨｚ程度の信号まで対応可能である。
【０００９】
その反面、高品質な符号化を実現するためにはビットレートを高くして使用する必要があり、仮にビットレートを３２ｋｂｉｔ／ｓ程度まで低く抑えると復号信号の品質が大きく低下するという問題がある。そのため、伝送レートの低い通信網で使用できないという問題がある。
【００１０】
上述した問題を回避するためにこれらの技術を組み合わせて、最初に入力信号を基本レイヤにてＣＥＬＰで符号化し、次にその復号信号を入力信号から減算して得られる誤差信号を求め、この信号を拡張レイヤにて変換符号化を行うスケーラブル符号化が考えられる。
【００１１】
この方法では、基本レイヤはＣＥＬＰを用いているため音声信号を高品質に符号化でき、かつ拡張レイヤは基本レイヤで表しきれない背景の音楽や環境音、基本レイヤでカバーする周波数帯よりも高い周波数成分の信号を効率よく符号化することができる。さらにこの構成によればビットレートを低く抑えることができる。加えて、この構成によれば、符号化コードの一部つまり基本レイヤの符号化コードのみから音響信号を復号することが可能であり、このようなスケーラブル機能は伝送容量の異なる複数のネットワークに対するマルチキャストの実現に有効である。
【００１２】
しかしながら、音声ではなく音楽を入力したときに十分な品質を確保するためには、拡張レイヤへのビット配分を多くする必要があり、その結果ビットレートが高くなってしまうという問題がある。
【００１３】
基本レイヤの符号化において、ＣＥＬＰのような音声に特化した符号化方式を用いているが、このＣＥＬＰでは音楽に対する符号化効率が高くない。音楽信号を符号化すると、入力信号と基本レイヤの復号信号との誤差信号（拡張レイヤの入力信号）のパワーが大きくなるので、パワーの大きくなった誤差信号に対応するために拡張レイヤに多くのビットを配分して、最終的な復号信号の品質を上げる必要があった。
【００１４】
この問題を解決するために、拡張レイヤで聴覚マスキングを利用して符号化効率を上げることが考えられる。聴覚マスキングとは、ある信号が与えられたときその信号の周波数の近傍に位置する信号が聞こえなくなる（マスクされる）という人間の聴覚特性を利用したものである。
【００１５】
図２８は、音響（音楽）信号のスペクトルの一例を示す図である。図２８において、実線は聴覚マスキングを表し、破線は誤差スペクトルを表している。ここでいう誤差スペクトルとは、入力信号と基本レイヤの復号信号との誤差信号（拡張レイヤの入力信号）のスペクトルを指す。
【００１６】
図２８の斜線部で表される誤差スペクトルは、聴覚マスキングよりも振幅値が小さいため人間の聴覚では聞こえず、それ以外の領域では誤差スペクトルの振幅値が聴覚マスキングを超えているので量子化歪が知覚される。
【００１７】
そこで、拡張レイヤでは図２８の白地部に含まれる誤差スペクトルを符号化してその領域の量子化歪が聴覚マスキングよりも小さくなるようにすればよい。また、斜線部に属する係数は既に聴覚マスキングよりも小さくので量子化する必要がない。
【００１８】
【非特許文献１】
"Code-Excited Linear Prediction (CELP): high quality speech at very low bit rates", Proc. ICASSP 85, pp.937-940, 1985.
【００１９】
【発明が解決しようとする課題】
しかしながら、従来の装置においては、聴覚マスキングにより量子化が必要な周波数の情報を伝送する必要があり、伝送する情報量が増加してビットレートを低くすることができないという問題がある。
【００２０】
本発明はかかる点に鑑みてなされたものであり、声が主体で背景に音楽や雑音が重畳しているような信号であっても、低ビットレートで高品質に符号化を行うことができる音響符号化装置及び音響符号化方法を提供することを目的とする。
【００２１】
【課題を解決するための手段】
本発明の音響符号化装置は、音響信号に対し聴感重み付けを施し、量子化歪みのスペクトルが前記音響信号のスペクトル包絡にマスクされるようにしてから符号化して第１符号化コードを得る第１符号化手段と、前記第１符号化コードを復号化して復号信号を得る復号化手段と、前記復号信号から得られる復号スペクトルについて聴覚マスキング閾値を算出する一方、前記復号スペクトルに対しスケール調整および平滑化を施すことにより、前記聴覚マスキング閾値と比較される誤差スペクトルを前記復号スペクトルから生成し、前記誤差スペクトルのうち当該聴覚マスキング閾値以上の振幅を示す周波数領域を特定する特定手段と、前記音響信号と前記復号信号との残差信号を得る減算手段と、前記残差信号のうち、前記特定手段によって特定された周波数領域について符号化を施し、第２符号化コードを得る第２符号化手段と、を具備する構成を採る。
【００２２】
この構成によれば、符号化信号の復号化した信号から拡張レイヤの符号化の対象となる周波数を決定することにより、符号化側から復号化側に伝送する基本レイヤの符号化信号のみで拡張レイヤの符号化の対象となる周波数を決定することができ、符号化側から復号化側にこの周波数の情報を伝送する必要がなくなり、低ビットレートで高品質に符号化を行うことができる。
【００２９】
また、マスキング効果の特性を利用して、入力信号のスペクトルから聴覚マスキングを算出し、拡張レイヤの符号化において、品質の劣化を伴わずに量子化の対象となるＭＤＣＴ係数の数を減らすことができ、低ビットレートで高品質に符号化を行うことができる。
【００６１】
【発明の実施の形態】
本発明者は、入力信号の代わりに基本レイヤの符号化コードを復号化した信号を使って拡張レイヤで符号化する周波数を推定しても、この復号信号は入力信号との歪が小さくなるよう決定されているため、充分に近似され大きな問題は生じないということに着目し本発明をするに至った。
【００６２】
本発明の骨子は、入力信号をダウンサンプリングして符号化し、符号化した信号を復号化してアップサンプリングし、このアップサンプリングした復号信号と入力信号との差分信号を符号化する符号化方法において、符号化側と復号化側の両方で算出されるアップサンプリングした復号信号から拡張レイヤで符号化もしくは復号化の対象となる周波数を決定することにより、符号化側から復号化側にこの周波数の情報を伝送ことなく、低ビットレートで高品質に符号化を行うことである。
【００６３】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
（実施の形態１）
図１は、本発明の実施の形態１に係る音響符号化装置の構成を示すブロック図である。図１の音響符号化装置１００は、ダウンサンプリング器１０１と、基本レイヤ符号化器１０２と、局所復号化器１０３と、アップサンプリング器１０４と、遅延器１０５と、減算器１０６と、周波数決定部１０７と、拡張レイヤ符号化器１０８と、多重化器１０９とから主に構成される。
【００６４】
図１において、ダウンサンプリング器１０１は、サンプリングレートＦＨの入力データ（音響データ）を受けつけ、この入力データをサンプリングレートＦＨより低いサンプリングレートＦＬに変換して基本レイヤ符号化器１０２に出力する。
【００６５】
基本レイヤ符号化器１０２は、サンプリングレートＦＬの入力データを所定の基本フレーム単位で符号化し、入力データを符号化した第１符号化コードを局所復号化器１０３と多重化器１０９に出力する。例えば、基本レイヤ符号化器１０２は、入力データをＣＥＬＰ方式で符号化する。
【００６６】
局所復号化器１０３は、第１符号化コードを復号化し、復号化により得られた復号信号をアップサンプリング器１０４に出力する。アップサンプリング器１０４は、復号信号のサンプリングレートをＦＨに上げて減算器１０６と周波数決定部１０７に出力する。
【００６７】
遅延器１０５は、入力信号を所定の時間遅延して減算器１０６に出力する。この遅延の大きさをダウンサンプリング器１０１と基本レイヤ符号化器１０２と局所復号化器１０３とアップサンプリング器１０４で生じる時間遅れと同値とすることにより、次の減算処理での位相のずれを防ぐ役割を持つ。例えば、この遅延時間は、ダウンサンプリング器１０１、基本レイヤ符号化器１０２、局所復号化器１０３、及びアップサンプリング器１０４における処理の時間の総和とする。減算器１０６は、入力信号を復号信号で減算し、減算結果を誤差信号として拡張レイヤ符号化器１０８に出力する。
【００６８】
周波数決定部１０７は、サンプリングレートをＦＨに上げた復号信号から誤差信号の符号化する領域と、符号化しない領域を決定して拡張レイヤ符号化器１０８に通知する。例えば、周波数決定部１０７は、サンプリングレートをＦＨに上げた復号信号から聴覚マスキングする周波数を決定して拡張レイヤ符号化器１０８に出力する。
【００６９】
拡張レイヤ符号化器１０８は、誤差信号を周波数領域の係数に変換して誤差スペクトルを生成し、周波数決定部１０７から得られる符号化の対象となる周波数情報に基づき誤差スペクトルの符号化を行う。多重化器１０９は、基本レイヤ符号化器１０２で符号化された信号と、拡張レイヤ符号化器１０８で符号化された信号を多重化する。
【００７０】
以下、基本レイヤ符号化器１０２と拡張レイヤ符号化器１０８とがそれぞれ符号化する信号について説明する。図２は、音響信号の情報の分布の一例を示す図である。図２において、縦軸は情報量を示し、横軸は周波数を示す。図２では、入力信号に含まれる音声情報と背景音楽・背景雑音情報がどの周波数帯にどれだけ存在しているかを表している。
【００７１】
図２に示すように、音声情報は、周波数の低い領域に情報が多く存在し、高域に向かうほど情報量は減少する。一方、背景音楽・背景雑音情報は、音声情報と比べると相対的に低域の情報は少なく、高域に含まれる情報が大きい。
【００７２】
そこで、基本レイヤではＣＥＬＰを用いて音声信号を高品質に符号化し、拡張レイヤでは基本レイヤで表しきれない背景の音楽や環境音、基本レイヤでカバーする周波数帯よりも高い周波数成分の信号を効率よく符号化する。
【００７３】
図３は、基本レイヤと拡張レイヤで符号化の対象とする領域の一例を示す図である。図３において、縦軸は情報量を示し、横軸は周波数を示す。図３は、基本レイヤ符号化器１０２と拡張レイヤ符号化器１０８がそれぞれ符号化する情報の対象となる領域を表している。
【００７４】
基本レイヤ符号化器１０２は、０〜ＦＬ間の周波数帯の音声情報を効率よく表すように設計されており、この領域での音声情報は品質良く符号化することができる。しかし、基本レイヤ符号化器１０２では、０〜ＦＬ間の周波数帯の背景音楽・背景雑音情報の符号化品質が高くない。
【００７５】
拡張レイヤ符号化器１０８は、上記説明にある基本レイヤ符号化器１０２の能力不足の部分と、ＦＬ〜ＦＨ間の周波数帯の信号をカバーするように設計されている。よって、基本レイヤ符号化器１０２と拡張レイヤ符号化器１０８を組み合わせることで広い帯域で高品質な符号化が実現できる。
【００７６】
図３に示すように、基本レイヤ符号化器１０２における符号化により得られた第１符号化コードには、０〜ＦＬ間の周波数帯の音声情報が含まれているので、少なくとも第１符号化コードのみでも復号信号が得られるというスケーラブル機能が実現できる。
【００７７】
また、拡張レイヤで聴覚マスキングを利用して符号化効率を上げることが考えられる。聴覚マスキングとは、ある信号が与えられたときその信号の周波数の近傍に位置する信号が聞こえなくなる（マスクされる）という人間の聴覚特性を利用したものである。
【００７８】
図２８は、音響（音楽）信号のスペクトルの一例を示す図である。図２８において、実線は聴覚マスキングを表し、破線は誤差スペクトルを表している。ここでいう誤差スペクトルとは、入力信号と基本レイヤの復号信号との誤差信号（拡張レイヤの入力信号）のスペクトルを指す。
【００７９】
図２８の斜線部で表される誤差スペクトルは、聴覚マスキングよりも振幅値が小さいため人間の聴覚では聞こえず、それ以外の領域では誤差スペクトルの振幅値が聴覚マスキングを超えているので量子化歪が知覚される。
【００８０】
そこで、拡張レイヤでは図２８の白地部に含まれる誤差スペクトルを符号化してその領域の量子化歪が聴覚マスキングよりも小さくなるようにすればよい。また、斜線部に属する係数は既に聴覚マスキングよりも小さくので量子化する必要がない。
【００８１】
本実施の形態の音響符号化装置１００では、聴覚マスキング等により残差信号を符号化する周波数を符号化側から復号化側に伝送することをせず、符号化側と復号側でそれぞれアップサンプリングされた基本レイヤの復号信号を用いて拡張レイヤが符号化する誤差スペクトルの周波数を決定する。
【００８２】
基本レイヤの符号化コードを復号化した復号信号は、符号化側と復号化側で同じ信号が得られるので、符号化側は、この復号化信号から聴覚マスキングする周波数を決定して信号を符号化し、復号化側は、この復号化信号から聴覚マスキングされた周波数の情報を得て信号を復号化することにより、誤差スペクトルの周波数の情報を付加情報として符号化して伝送する必要は無くなり、ビットレートの低減を実現することができる。
【００８３】
次に、本実施の形態に係る音響符号化装置の各ブロックの詳細な動作について説明する。最初にアップサンプリングされた基本レイヤの復号信号（以後、基本レイヤ復号信号と呼ぶ）から拡張レイヤにて符号化される誤差スペクトルの周波数を決定する周波数決定部１０７の動作の説明を行う。図４は、本実施の形態の音響符号化装置の周波数決定部の内部構成の一例を示すブロック図である。
【００８４】
図４において、周波数決定部１０７は、ＦＦＴ部４０１と、推定聴覚マスキング算出器４０２と、決定部４０３とから主に構成される。
【００８５】
ＦＦＴ部４０１は、アップサンプリング器１０４から出力された基本レイヤ復号信号ｘ（ｎ）を直交変換して振幅スペクトルＰ（ｍ）を算出して推定聴覚マスキング算出器４０２と決定部４０３に出力する。具体的には、ＦＦＴ部４０１は、以下の式（１）を用いて振幅スペクトルＰ（ｍ）を算出する。
【００８６】
【数１】
ここで、Ｒｅ（ｍ）とＩｍ（ｍ）は基本レイヤ復号信号ｘ（ｎ）のフーリエ係数の実部と虚部、ｍは周波数を表す。
【００８７】
次に、推定聴覚マスキング算出器４０２は、基本レイヤ復号信号の振幅スペクトルＰ（ｍ）を用いて推定聴覚マスキングＭ’（ｍ）を算出して決定部４０３に出力する。一般的には、聴覚マスキングは、入力信号のスペクトルを基に算出されるものであるが、本実施例では入力信号の代わりに基本レイヤ復号信号ｘ（ｎ）を使って聴覚マスキングを推定する。これは、基本レイヤ復号信号ｘ（ｎ）は入力信号との歪が小さくなるよう決定されているため、入力信号の代わりに基本レイヤ復号信号ｘ（ｎ）を用いても充分に近似され大きな問題は生じないという考えに基づいている。
【００８８】
次に、決定部４０３は、基本レイヤ復号信号の振幅スペクトルＰ（ｍ）と推定聴覚マスキング算出器４０２で得られる推定聴覚マスキングＭ’（ｍ）を用いて拡張レイヤ符号化器１０８で誤差スペクトルを符号化する対象の周波数を決定する。決定部４０３は、基本レイヤ復号信号の振幅スペクトルＰ（ｍ）を誤差スペクトルの近似値とみなし、次の式（２）が成り立つ周波数ｍを拡張レイヤ符号化器１０８に出力する。
【００８９】
【数２】
【００９０】
式（２）において、Ｐ（ｍ）の項は、誤差スペクトルの大きさを推定しており、Ｍ’（ｍ）の項は、聴覚マスキングを推定している。そして、決定部４０３は、推定誤差スペクトルと推定聴覚マスキングの大きさを比較し、式（２）を満たす場合、すなわち推定聴覚マスキングの大きさを推定誤差スペクトルの大きさが超える場合に、その周波数の誤差スペクトルはノイズとして知覚されるとして拡張レイヤ符号化器１０８で符号化する対象とする。
【００９１】
逆に推定聴覚マスキングの大きさより推定誤差スペクトルの大きさが下回る場合に、決定部４０３は、マスキング効果によりその周波数の誤差スペクトルはノイズとして知覚されないとみなし、この周波数の誤差スペクトルは量子化の対象から外す。
【００９２】
次に、推定聴覚マスキング算出器４０２の動作を説明する。図５は、本実施の形態の音響符号化装置の聴覚マスキング算出器の内部構成の一例を示す図である。図５において、推定聴覚マスキング算出器４０２は、バークスペクトル算出器５０１と、スプレッド関数畳み込み器５０２と、トーナリティ算出器５０３と、聴覚マスキング算出器５０４とから主に構成される。
【００９３】
図５において、バークスペクトル算出器５０１は、以下の式（３）を用いてバークスペクトルＢ（ｋ）を算出する。
【００９４】
【数３】
ここで、Ｐ（ｍ）は振幅スペクトルを表し、上述の式（１）より求められる。また、ｋはバークスペクトルの番号に対応し、ＦＬ（ｋ）、ＦＨ（ｋ）はそれぞれ第ｋバークスペクトルの最低周波数、最高周波数を表す。バークスペクトルＢ（ｋ）はバークスケール上で等間隔に帯域分割されたときのスペクトル強度を表す。ヘルツスケールをｆ、バークスケールをＢと表したとき、ヘルツスケールとバークスケールの関係は以下の式（４）で表される。
【００９５】
【数４】
【００９６】
スプレッド関数畳み込み器５０２は、以下に示す式（５）を用いてバークスペクトルＢ（ｋ）にスプレッド関数ＳＦ（ｋ）を畳み込み、Ｃ（ｋ）を算出する。
【００９７】
【数５】
【００９８】
トーナリティ算出器５０３は、以下の式（６）を用い、各バークスペクトルのスペクトル平坦度ＳＦＭ（ｋ）を求める。
【００９９】
【数６】
ここで、μｇ（ｋ）は第ｋバークスペクトルに含まれるパワースペクトルの幾何平均、μａ（ｋ）は第ｋバークスペクトルに含まれるパワースペクトルの算術平均を表す。そして、トーナリティ算出器５０３は、以下の式（７）を用いてスペクトル平坦度ＳＦＭ（ｋ）のデシベル値ＳＦＭｄＢ（ｋ）からトーナリティ係数α（ｋ）を算出する。
【０１００】
【数７】
【０１０１】
聴覚マスキング算出器５０４は、以下の式（８）を用いてトーナリティ算出器５０３で算出したトーナリティ係数α（ｋ）から各バークスケールのオフセットＯ（ｋ）を求める。
【０１０２】
【数８】
【０１０３】
そして、聴覚マスキング算出器５０４は、以下の式（９）を用いてスプレッド関数畳み込み器５０２で求めたＣ（ｋ）からオフセットＯ（ｋ）を減算して聴覚マスキングＴ（ｋ）を算出する。
【０１０４】
【数９】
ここで、Ｔq（ｋ）は絶対閾値を表す。絶対閾値は、人間の聴覚特性として観測される聴覚マスキングの最小値を表す。そして、聴覚マスキング算出器５０４は、バークスケールで表される聴覚マスキングＴ（ｋ）をヘルツスケールに変換して推定聴覚マスキングＭ'(ｍ)を求め、決定部４０３に出力する。
【０１０５】
このようにして求められた量子化の対象となる周波数ｍを使って、拡張レイヤ符号化器１０８にてＭＤＣＴ係数の符号化を行う。図６は、本実施の形態の拡張レイヤ符号化器の内部構成の一例を示すブロック図である。図６の拡張レイヤ符号化器１０８は、ＭＤＣＴ部６０１と、ＭＤＣＴ係数量子化器６０２とから主に構成される。
【０１０６】
ＭＤＣＴ部６０１は、減算器１０６から出力された入力信号に分析窓を乗じた後、ＭＤＣＴ変換(変形離散コサイン変換)してＭＤＣＴ係数を求める。ＭＤＣＴ変換は、前後の隣接フレームと分析フレームを半分ずつ完全に重ね合わせ、分析フレームの前半部は奇関数、後半部は偶関数という直交基底を用いる。ＭＤＣＴ変換は、波形を合成する際、逆変換後の波形を重ね合わせて加算することにより、フレーム境界歪が発生しないという特徴がある。ＭＤＣＴを行う際には、ｓｉｎ窓などの窓関数を入力信号に乗ずる。ＭＤＣＴ係数をＸ（ｎ）とすると、ＭＤＣＴ係数は、式（１０）に従い算出される。
【０１０７】
【数１０】
【０１０８】
ＭＤＣＴ係数量子化器６０２は、ＭＤＣＴ部６０１から出力された入力信号に周波数決定部１０７から出力された量子化の対象となる周波数に対応する係数を量子化する。そして、ＭＤＣＴ係数量子化器６０２は、量子化したＭＤＣＴ係数の符号化コードを多重化器１０９に出力する。
【０１０９】
このように、本実施の形態の音響符号化装置によれば、基本レイヤの符号化コードを復号化した信号から拡張レイヤの符号化の対象となる周波数を決定することにより、符号化側から復号化側に伝送する基本レイヤの符号化信号のみで拡張レイヤの符号化の対象となる周波数を決定することができ、符号化側から復号化側にこの周波数の情報を伝送する必要がなくなり、低ビットレートで高品質に符号化を行うことができる。
【０１１０】
なお、上記実施の形態では、ＦＦＴを使った聴覚マスキングの算出法について説明しているが、ＦＦＴの代わりＭＤＣＴを使って聴覚マスキングを算出することもできる。図７は、本実施の形態の周波数決定部の内部構成の一例を示すブロック図である。但し、図５と同一の構成となるものについては、図５と同一番号を付し、詳しい説明を省略する。
【０１１１】
ＭＤＣＴ部７０１は、ＭＤＣＴ係数を使って振幅スペクトルＰ（ｍ）を近似する。具体的には、ＭＤＣＴ部７０１は、以下の式（１１）を用いてＰ（ｍ）を近似する。
【０１１２】
【数１１】
ここで、Ｒ（ｍ）は、アップサンプリング器１０４から与えられる信号をＭＤＣＴ変換して求めたＭＤＣＴ係数を表す。
【０１１３】
推定聴覚マスキング算出器４０２は、ＭＤＣＴ部７０１において近似されたＰ（ｍ）からバークスペクトルＢ（ｋ）を算出する。それ以後は上述した方法に従い量子化の対象となる周波数情報を算出する。
【０１１４】
このように、本実施の形態の音響符号化装置は、ＭＤＣＴを使って聴覚マスキングを算出することもできる。
【０１１５】
次に、復号化側について説明する。図８は、本発明の実施の形態１に係る音響復号化装置の構成を示すブロック図である。図８の音響復号化装置８００は、分離器８０１と、基本レイヤ復号化器８０２と、アップサンプリング器８０３と、周波数決定部８０４と、拡張レイヤ復号化器８０５と、加算器８０６とから主に構成される。
【０１１６】
分離器８０１は、音響符号化装置１００において符号化されたコードを基本レイヤ用の第１符号化コードと拡張レイヤ用の第２符号化コードに分離し、第１符号化コードを基本レイヤ復号化器８０２に出力し、第２符号化コードを拡張レイヤ復号化器８０５に出力する。
【０１１７】
基本レイヤ復号化器８０２は、第１符号化コードを復号してサンプリングレートＦＬの復号信号を得る。そして、基本レイヤ復号化器８０２は、復号信号をアップサンプリング器８０３に出力する。アップサンプリング器８０３は、サンプリングレートＦＬの復号信号をサンプリングレートＦＨの復号信号に変換して周波数決定部８０４と加算器８０６に出力する。
【０１１８】
周波数決定部８０４は、アップサンプリングされた基本レイヤの復号信号を用いて拡張レイヤ復号化器８０５で復号化の対象となる誤差スペクトルの周波数を決定する。この周波数決定部８０４は、図１の周波数決定部１０７と同様の構成をとる。
【０１１９】
拡張レイヤ復号化器８０５は、第２符号化コードを復号してサンプリングレートＦＨの復号信号を得る。そして、拡張レイヤ復号化器８０５は、復号された拡張フレーム単位の復号信号を重ね合わせ、重ね合わせた復号信号を加算器８０６に出力する。具体的には、拡張レイヤ復号化器８０５は、復号信号に合成用の窓関数を乗じ、前フレームで復号された時間領域の信号とフレームの半分だけオーバーラップさせて加算して出力信号を生成する。
【０１２０】
加算器８０６は、アップサンプリング器８０３においてアップサンプリングされた基本レイヤの復号信号と、加算器８０６において復号化された拡張レイヤの復号信号とを加算して出力する。
【０１２１】
次に、本実施の形態に係る音響復号化装置の各ブロックの詳細な動作について説明する。図９は、本実施の形態の音響復号化装置の拡張レイヤ復号化器の内部構成の一例を示すブロック図である。図９は、図８の拡張レイヤ復号化器８０５の内部構成の一例を示す図である。図９の拡張レイヤ復号化器８０５は、ＭＤＣＴ係数復号化器９０１と、ＩＭＤＣＴ部９０２と、重ね合わせ加算器９０３とから主に構成される。
【０１２２】
ＭＤＣＴ係数復号化器９０１は、周波数決定部８０４から出力される復号化の対象となる誤差スペクトルの周波数に基づいて分離器８０１から出力される第２符号化コードから量子化されたＭＤＣＴ係数を復号する。具体的には、周波数決定部８０４から示された信号の周波数に対応する復号ＭＤＣＴ係数を配置し、それ以外の周波数にはゼロを与える。
【０１２３】
ＩＭＤＣＴ部９０２は、ＭＤＣＴ係数復号化器９０１から出力されるＭＤＣＴ係数に逆ＭＤＣＴ変換を施し、時間領域の信号を生成して重ね合わせ加算器９０３に出力する。
【０１２４】
重ね合わせ加算器９０３は、復号された拡張フレーム単位の復号信号を重ね合わせ、重ね合わせた復号信号を加算器８０６に出力する。具体的には、重ね合わせ加算器９０３は、復号信号に合成用の窓関数を乗じ、前フレームで復号された時間領域の信号とフレームの半分だけオーバーラップさせて加算して出力信号を生成する。
【０１２５】
このように、本実施の形態の音響復号化装置によれば、基本レイヤの符号化コードを復号化した信号から拡張レイヤの復号化の対象となる周波数を決定することにより、符号化側から復号化側に伝送する基本レイヤの符号化コードのみで拡張レイヤの復号化の対象となる周波数を決定することができ、符号化側から復号化側にこの周波数の情報を伝送する必要がなくなり、低ビットレートで高品質に符号化を行うことができる。
【０１２６】
（実施の形態２)
本実施の形態では、基本レイヤの符号化においてＣＥＬＰを用いる例について説明する。図１０は、本発明の実施の形態２の基本レイヤ符号化器の内部構成の一例を示すブロック図である。図１０は、図１の基本レイヤ符号化器１０２の内部構成を示す図である。図１０の基本レイヤ符号化器１０２は、ＬＰＣ分析器１００１と、聴感重み部１００２と、適応符号帳探索器１００３と、適応ゲイン量子化器１００４と、目標ベクトル生成器１００５と、雑音符号帳探索器１００６と、雑音ゲイン量子化器１００７と、多重化器１００８とから主に構成される。
【０１２７】
ＬＰＣ分析器１００１は、サンプリングレートＦＬの入力信号のＬＰＣ係数を算出し、このＬＰＣ係数をＬＳＰ係数などの量子化に適したパラメータに変換して量子化する。そして、ＬＰＣ分析器１００１は、この量子化で得られる符号化コードを多重化器１００８に出力する。
【０１２８】
また、ＬＰＣ分析器１００１は、符号化コードから量子化後のＬＳＰ係数を算出してＬＰＣ係数に変換し、量子化後のＬＰＣ係数を、適応符号帳探索器１００３、適応ゲイン量子化器１００４、雑音符号帳探索器１００６、及び雑音ゲイン量子化器１００７に出力する。さらに、ＬＰＣ分析器１００１は、量子化前のＬＰＣ係数を聴感重み部１００２、適応符号帳探索器１００３、適応ゲイン量子化器１００４、雑音符号帳探索器１００６、及び雑音ゲイン量子化器１００７に出力する。
【０１２９】
聴感重み部１００２は、ＬＰＣ分析器１００１で求められたＬＰＣ係数に基づいてダウンサンプリング器１０１から出力された入力信号に重み付けを行う。これは、量子化歪のスペクトルを入力信号のスペクトル包絡にマスクされるようスペクトル整形を行うことを目的としている。
【０１３０】
適応符号帳探索器１００３では、聴覚重み付けされた入力信号を目標信号として適応符号帳の探索が行われる。過去の音源系列をピッチ周期で繰り返した信号を適応ベクトルと呼び、あらかじめ定められた範囲のピッチ周期で生成された適応ベクトルによって適応符号帳は構成される。
【０１３１】
聴覚重み付けされた入力信号をｔ（ｎ）、ピッチ周期ｉの適応ベクトルに量子化前のＬＰＣ係数と量子化後のＬＰＣ係数で構成される重み付き合成フィルタのインパルス応答を畳み込んだ信号をｐi（ｎ）としたとき、適応符号帳探索器１００３は、式（１２）の評価関数Ｄを最小とする適応ベクトルのピッチ周期ｉをパラメータとして多重化器１００８に出力する。
【０１３２】
【数１２】
ここで、Ｎはベクトル長を表す。式（１２）の第１項はピッチ周期ｉに独立なので、実際には、適応符号帳探索器１００３は第２項のみを計算する。
【０１３３】
適応ゲイン量子化器１００４は、適応ベクトルに乗じられる適応ゲインの量子化を行う。適応ゲインβは、以下の式（１３）で表され、適応ゲイン量子化器１００４は、この適応ゲインβをスカラー量子化し、量子化時に得られる符号を多重化器１００８に出力する。
【０１３４】
【数１３】
【０１３５】
目標ベクトル生成器１００５は、入力信号から適応ベクトルの影響を減算して、雑音符号帳探索器１００６と雑音ゲイン量子化器１００７で用いる目標ベクトルを生成して出力する。目標ベクトル生成器１００５は、ｐi（ｎ）を式１２で表される評価関数Ｄを最小とするときの適応ベクトルに重み付き合成フィルタのインパルス応答を畳み込んだ信号、βｑを式１３で表される適応ベクトルβをスカラー量子化したときの量子化値としたとき、目標ベクトルｔ２（ｎ）は、以下に示す式（１４）のように表される。
【０１３６】
【数１４】
【０１３７】
雑音符号帳探索器１００６は、前記目標ベクトルｔ２（ｎ）と量子化前のＬＰＣ係数と量子化後のＬＰＣ係数を用いて雑音符号帳の探索を行う。例えば、雑音符号帳探索器１００６には、ランダム雑音や大規模な音声信号を使って学習した信号を用いることができる。また、雑音符号帳探索器１００６が備える雑音符号帳は、代数(Algebraic)符号帳のように、振幅１のパルスをあらかじめ定められた非常に少ない数だけ有するベクトルで表されることができる。この代数符号長は、パルスの位置とパルスの符号(極性)の最適な組み合わせを少ない計算量で決定することができるという特徴がある。
【０１３８】
雑音符号帳探索器１００６は、目標ベクトルをｔ２（ｎ）、コードｊに対応する雑音ベクトルに重み付き合成フィルタのインパルス応答を畳み込んだ信号をｃｊ（ｎ）としたとき、以下に示す式（１５）の評価関数Ｄを最小とする雑音ベクトルのインデックスｊを多重化器１００８に出力する。
【０１３９】
【数１５】
【０１４０】
雑音ゲイン量子化器１００７は、雑音ベクトルに乗じる雑音ゲインを量子化する。雑音ゲイン量子化器１００７は、以下に示す式（１６）を用いて雑音ゲインγを算出し、この雑音ゲインγをスカラー量子化して多重化器１００８に出力する。
【０１４１】
【数１６】
【０１４２】
多重化器１００８は、送られてきたＬＰＣ係数、適応ベクトル、適応ゲイン、雑音ベクトル、雑音ゲインの符号化コードを多重化して局所復号化器１０３及び多重化器１０９に出力する。
【０１４３】
次に、復号化側について説明する。図１１は、本実施の形態の基本レイヤ復号化器の内部構成の一例を示すブロック図である。図１１は、図６の基本レイヤ復号化器８０２の内部構成を示す図である。図１１の基本レイヤ復号化器８０２は、分離器１１０１と、音源生成器１１０２と、合成フィルタ１１０３とから主に構成される。
【０１４４】
分離器１１０１は、分離器８０１から出力された第１符号化コードをＬＰＣ係数、適応ベクトル、適応ゲイン、雑音ベクトル、雑音ゲインの符号化コードに分離して、適応ベクトル、適応ゲイン、雑音ベクトル、雑音ゲインの符号化コードを音源生成器１１０２に出力する。同様に、分離器１１０１は、ＬＰＣ係数の符号化コードを合成フィルタ１１０３に出力する。
【０１４５】
音源生成器１１０２は、適応ベクトル、適応ベクトルゲイン、雑音ベクトル、雑音ベクトルゲインの符号化コードを復号し、以下に示す式（１７）を用いて音源ベクトルｅｘ（ｎ）を生成する。
【０１４６】
【数１７】
ここで、ｑ（ｎ）は適応ベクトル、βqは適応ベクトルゲイン、ｃ（ｎ）は雑音ベクトル、γqは雑音ベクトルゲインを表す。
【０１４７】
合成フィルタ１１０３では、ＬＰＣ係数の符号化コードからＬＰＣ係数を復号し、以下に示す式（１８）を用いて復号されたＬＰＣ係数から合成信号ｓｙｎ（ｎ）を生成する。
【０１４８】
【数１８】
ここで、αｑは復号されたＬＰＣ係数、ＮＰはＬＰＣ係数の次数を表す。そして、合成フィルタ１１０３は、復号された復号信号ｓｙｎ（ｎ）をアップサンプリング器８０３に出力する。
【０１４９】
このように、本実施の形態の音響符号化装置及び音響復号化装置によれば、送信側において、基本レイヤにＣＥＬＰを適用して入力信号を符号化し、受信側において、この符号化した入力信号にＣＥＬＰを適用して復号することにより、低ビットレートで高品質な基本レイヤを実現することができる。
【０１５０】
なお、本実施の形態の音声符号化装置は、量子化歪の知覚を抑制するために、合成フィルタ１１０３の後にポストフィルタを従属接続する構成を採ることもできる。図１２は、本実施の形態の基本レイヤ復号化器の内部構成の一例を示すブロック図である。但し、図１１と同一の構成となるものについては、図１１と同一番号を付し、詳しい説明を省略する。
【０１５１】
ポストフィルタ１２０１は、量子化歪の知覚の抑制の実現のために様々な構成を適用しうるが、代表的な方法として、分離器１１０１で復号されて得られるＬＰＣ係数から構成されるホルマント強調フィルタを用いる方法がある。ホルマント強調フィルタＨf（ｚ）は以下に示す式（１９）で表される。
【０１５２】
【数１９】
ここで、Ａ（ｚ）は復号ＬＰＣ係数から構成される合成フィルタ、γn、γd、μはフィルタの特性を決定する定数を表す。
【０１５３】
（実施の形態３）
図１３は、本発明の実施の形態３に係る音響符号化装置の周波数決定部の内部構成の一例を示すブロック図である。但し、図４と同一の構成となるものについては、図４と同一番号を付し、詳しい説明を省略する。図１３の周波数決定部１０７は、推定誤差スペクトル算出器１３０１と、決定部１３０２とを具備し、基本レイヤ復号信号の振幅スペクトルＰ（ｍ）から推定誤差スペクトルＥ’（ｍ）を推定し、推定誤差スペクトルＥ’（ｍ）と推定聴覚マスキングＭ’（ｍ）とを用いて拡張レイヤ符号化器１０８で符号化される誤差スペクトルの周波数を決定する点が図４と異なる。
【０１５４】
ＦＦＴ部４０１は、アップサンプリング器１０４から出力された基本レイヤ復号信号ｘ（ｎ）を直交変換して振幅スペクトルＰ（ｍ）を算出して推定聴覚マスキング算出器４０２と推定誤差スペクトル算出器１３０１に出力する。
【０１５５】
推定誤差スペクトル算出器１３０１は、ＦＦＴ部４０１で算出される基本レイヤ復号信号の振幅スペクトルＰ（ｍ）から推定誤差スペクトルＥ’（ｍ）を算出して決定部１３０２に出力する。推定誤差スペクトルＥ’（ｍ）は、基本レイヤ復号信号の振幅スペクトルＰ（ｍ）を平坦に近づける処理を施し算出される。具体的には、推定誤差スペクトル算出器１３０１は、以下の式（２０）を用いて推定誤差スペクトルＥ’（ｍ）を算出する。
【０１５６】
【数２０】
ここでａとγは０以上１未満の定数を表す。
【０１５７】
決定部１３０２は、推定誤差スペクトル算出器１３０１において推定された推定誤差スペクトルＥ’（ｍ）と推定聴覚マスキング算出器４０２で得られる推定聴覚マスキングＭ’（ｍ）を用いて拡張レイヤ符号化器１０８で誤差スペクトルを符号化する対象の周波数を決定する。
【０１５８】
次に、本実施の形態の推定誤差スペクトル算出器１３０１が算出する推定誤差スペクトルについて説明する。図１４は、本実施の形態の推定誤差スペクトル算出器が算出する残差スペクトルの一例を示す図である。
【０１５９】
誤差スペクトルＥ（ｍ）は、図１４に示すように基本レイヤ復号信号の振幅スペクトルＰ（ｍ）に比べスペクトルの形状が平坦になり、かつ全帯域のパワーが小さくなっている。よって、振幅スペクトルＰ（ｍ）をγ（０＜γ＜１）乗することによりスペクトル形状を平坦化し、ａ（０＜ａ＜１）倍することにより全体域のパワーを減少させることにより、誤差スペクトルの推定精度を向上させることができる。
【０１６０】
同様に、復号化側も音響復号化装置８００の周波数決定部８０４の内部構成を符号化側の図１３の周波数決定部１０７と同じ構成とする。
【０１６１】
このように、本実施の形態の音響符号化装置によれば、基本レイヤの復号信号のスペクトルから推定した残差スペクトルを平滑化することにより、推定誤差スペクトルを残差スペクトルに近似することができ、拡張レイヤにて誤差スペクトルを効率よく符号化することができる。
【０１６２】
なお、本実施の形態では、ＦＦＴを用いた場合について説明したが、前述した実施の形態１と同様に、ＦＦＴの代わりにＭＤＣＴを用いる構成も可能である。
【０１６３】
（実施の形態４）
図１５は、本発明の実施の形態４に係る音響符号化装置の周波数決定部の内部構成の一例を示すブロック図である。但し、図４と同一の構成となるものについては、図４と同一番号を付し、詳しい説明を省略する。図１５の周波数決定部１０７は、推定聴覚マスキング修正部１５０１と、決定部１５０２とを具備し、周波数決定部１０７において、基本レイヤ復号信号の振幅スペクトルＰ（ｍ）から推定聴覚マスキング算出器４０２にて推定聴覚マスキングＭ’（ｍ）を算出した後に、この推定聴覚マスキングＭ’（ｍ）に基本レイヤ符号化器１０２の符号化コードの情報を基に修正を加える点が図４と異なる。
【０１６４】
ＦＦＴ部４０１は、アップサンプリング器１０４から出力された基本レイヤ復号信号ｘ（ｎ）を直交変換して振幅スペクトルＰ（ｍ）を算出して推定聴覚マスキング算出器４０２と決定部１５０２に出力する。推定聴覚マスキング算出器４０２は、基本レイヤ復号信号の振幅スペクトルＰ（ｍ）を用いて推定聴覚マスキングＭ’（ｍ）を算出して推定聴覚マスキング修正部１５０１に出力する。
【０１６５】
推定聴覚マスキング修正部１５０１は、基本レイヤ符号化器１０２から入力される基本レイヤの符号化コードの情報を用いて推定聴覚マスキング算出器４０２で求められる推定聴覚マスキングＭ’（ｍ）に修正を加える。
【０１６６】
ここでは、基本レイヤの符号化コードの情報として、復号ＬＰＣ係数から算出される１次のＰＡＲＣＯＲ係数が与えられるものとする。一般にＬＰＣ係数やＰＡＲＣＯＲ係数は入力信号のスペクトル包絡を表現する。ＰＡＲＣＯＲ係数の次数を下げていくと、ＰＡＲＣＯＲ係数の性質から、スペクトル包絡の形状が簡略化されてゆき、ＰＡＲＣＯＲ係数の次数が１次のときにスペクトルの傾きの程度を表すようになる。
【０１６７】
一方で、入力信号として与えられる楽音や音声のスペクトル特性には、高域に対して低域にパワーが偏っている場合（例えば母音）やその逆の場合（例えば子音）が存在する。基本レイヤ復号信号はこういった入力信号のスペクトル特性に影響を受けやすく、必要以上にスペクトルのパワーの偏りを強調してしまう傾向にある。
【０１６８】
そこで、本実施の形態の音響符号化装置は、推定聴覚マスキング修正部１５０１において、前述した１次のＰＡＲＣＯＲ係数を利用して過度に強調されたスペクトルの偏りを補正することにより、推定マスキングＭ’（ｍ）の精度を向上させることができる。
【０１６９】
推定聴覚マスキング修正部１５０１は、以下に示す式（２１）を用いて基本レイヤ符号化器１０２から出力された１次のＰＡＲＣＯＲ係数ｋ（１）から修正フィルタＨk（ｚ）を算出する。
【０１７０】
【数２１】
ここでβは１未満の正の定数を表す。次に、推定聴覚マスキング修正部１５０１は、以下に示す式（２２）を用いてＨk（ｚ）の振幅特性Ｋ（ｍ）を算出する。
【０１７１】
【数２２】
【０１７２】
そして、推定聴覚マスキング修正部１５０１は、以下の式（２３）を用いて修正フィルタの振幅特性Ｋ（ｍ）から修正後の推定聴覚マスキングＭ’’（ｍ）を算出する。
【０１７３】
【数２３】
【０１７４】
そして、推定聴覚マスキング修正部１５０１は、推定聴覚マスキングＭ’（ｍ）の代わりに修正後の聴覚マスキングＭ’’（ｍ）を決定部１５０２に出力する。
【０１７５】
決定部１５０２は、基本レイヤ復号信号の振幅スペクトルＰ（ｍ）と推定聴覚マスキング修正部１５０１から出力される修正後の聴覚マスキングＭ’’（ｍ）を用いて拡張レイヤ符号化器１０８で誤差スペクトルを符号化する対象の周波数を決定する。
【０１７６】
このように本実施の形態の音響符号化装置によれば、マスキング効果の特性を利用して、入力信号のスペクトルから聴覚マスキングを算出し、拡張レイヤの符号化において、量子化歪をこのマスキング値以下になるように量子化を行うことにより、品質の劣化を伴わずに量子化の対象となるＭＤＣＴ係数の数を減らすことができ、低ビットレートで高品質に符号化を行うことができる。
【０１７７】
このように、本実施の形態の音響符号化装置によれば、基本レイヤ復号信号の振幅スペクトルから推定した推定聴覚マスキングを、基本レイヤ符号化器の符号化コードの情報を基に修正を加えることにより、推定聴覚マスキングの精度を向上させることができ、結果拡張レイヤにて誤差スペクトルを効率よく符号化することができる。
【０１７８】
同様に、復号化側も音響復号化装置８００の周波数決定部８０４の内部構成を符号化側の図１５の周波数決定部１０７と同じ構成とする。
【０１７９】
なお、本実施の形態の周波数決定部１０７は、本実施の形態と実施の形態３とを組み合わせた構成を採ることもできる。図１６は、本実施の形態の音響符号化装置の周波数決定部の内部構成の一例を示すブロック図である。但し、図４と同一の構成となるものについては、図４と同一番号を付し、詳しい説明を省略する。
【０１８０】
ＦＦＴ部４０１は、アップサンプリング器１０４から出力された基本レイヤ復号信号ｘ（ｎ）を直交変換して振幅スペクトルＰ（ｍ）を算出して推定聴覚マスキング算出器４０２と推定誤差スペクトル算出器１３０１に出力する。
【０１８１】
推定聴覚マスキング算出器４０２は、基本レイヤ復号信号の振幅スペクトルＰ（ｍ）を用いて推定聴覚マスキングＭ’（ｍ）を算出して推定聴覚マスキング修正部１５０１に出力する。
【０１８２】
推定聴覚マスキング修正部１５０１は、基本レイヤ符号化器１０２から入力される基本レイヤの符号化コードの情報が推定聴覚マスキング修正部１５０１を用いて推定聴覚マスキング算出器４０２で求められる推定聴覚マスキングＭ’（ｍ）に修正を加える。
【０１８３】
推定誤差スペクトル算出器１３０１は、ＦＦＴ部４０１で算出される基本レイヤ復号信号の振幅スペクトルＰ（ｍ）から推定誤差スペクトルＥ’（ｍ）を算出して決定部１６０１に出力する。
【０１８４】
決定部１６０１は、推定誤差スペクトル算出器１３０１において推定された推定誤差スペクトルＥ’（ｍ）と推定聴覚マスキング修正部１５０１から出力される修正後の聴覚マスキングＭ’’（ｍ）を用いて拡張レイヤ符号化器１０８で誤差スペクトルを符号化する対象の周波数を決定する。
【０１８５】
また、本実施の形態では、ＦＦＴを用いた場合について説明したが、前述した実施の形態１と同様に、ＦＦＴの代わりにＭＤＣＴを用いる構成も可能である。
【０１８６】
（実施の形態５）
図１７は、本発明の実施の形態５に係る音響符号化装置の拡張レイヤ符号化器の内部構成の一例を示すブロック図である。但し、図６と同一の構成となるものについては、図６と同一番号を付し、詳しい説明を省略する。図１７の拡張レイヤ符号化器は、順序づけ部１７０１と、ＭＤＣＴ係数量子化器１７０２を具備し、周波数決定部１０７から与えられる周波数を推定歪値Ｄ（ｍ）の大きさに従い周波数別で符号化後の情報量に重み付けを行う点が図６の拡張レイヤ符号化器と異なる。
【０１８７】
図１７において、ＭＤＣＴ部６０１は、減算器１０６から出力された入力信号に分析窓を乗じた後、ＭＤＣＴ変換(変形離散コサイン変換)してＭＤＣＴ係数を求め、ＭＤＣＴ係数量子化器１７０２に出力する。
【０１８８】
順序づけ部１７０１は、周波数決定部１０７で求められた周波数情報を受けつけ、各周波数の推定誤差スペクトルＥ’（ｍ）が推定聴覚マスキングＭ’（ｍ）を超える量（以後、推定歪値と呼ぶ）Ｄ（ｍ）を算出する。この推定歪値Ｄ（ｍ）は、以下に示す式（２４）で定義される。
【０１８９】
【数２４】
【０１９０】
ここで、順序づけ部１７０１は、以下に示す式（２５）を満たす推定歪値Ｄ（ｍ）のみ算出する。
【０１９１】
【数２５】
【０１９２】
そして、順序づけ部１７０１は、推定歪値Ｄ（ｍ）の大きさが大きいものから順序付けを行い、その周波数情報をＭＤＣＴ係数量子化器１７０２に出力する。ＭＤＣＴ係数量子化器１７０２では、推定歪値Ｄ（ｍ）により順序付けされた周波数情報を基に、推定歪値Ｄ（ｍ）の大きいものからその周波数に位置する誤差スペクトルＥ（ｍ）にビットを多く配分して量子化を行う。
【０１９３】
ここでは例として、周波数決定手段から送られてくる周波数と推定歪値が図１８である場合について説明する。図１８は、本実施の形態の順序づけ部の推定歪値の順位づけの一例を示す図である。
【０１９４】
順序づけ部１７０１は、図１８の情報から、推定歪値Ｄ（ｍ）が大きい順に周波数の並べ替えを行う。この例では、順序づけ部１７０１の処理の結果、周波数ｍ＝７、８、４、９、１、１１、３、１２の順序が得られる。順序づけ部１７０１は、この順序付けの情報をＭＤＣＴ係数量子化器１７０２に出力する。
【０１９５】
ＭＤＣＴ係数量子化器１７０２では、ＭＤＣＴ部６０１から与えられる誤差スペクトルＥ（ｍ）の内、順序づけ部１７０１から与えられる順序付けの情報を基にして、Ｅ（７）、Ｅ（８）、Ｅ（４）、Ｅ（９）、Ｅ（１）、Ｅ（１１）、Ｅ（３）、Ｅ（１２）を量子化する。
【０１９６】
このとき、順序づけの先頭に位置する誤差スペクトルの量子化に用いられるビット数は多く配分され、末尾にいくに従いビット数は少なく配分される。すなわち、推定歪値Ｄ（ｍ）が大きい周波数ほど誤差スペクトルの量子化に用いられるビット数は多く配分され、推定歪値Ｄ（ｍ）が小さい周波数ほど誤差スペクトルの量子化に用いられるビット数は少なく配分される。
【０１９７】
例えば、Ｅ（７）を８ビット、Ｅ（８）、Ｅ（４）を７ビット、Ｅ（９）、Ｅ（１）を６ビット、Ｅ（１１）、Ｅ（３）、Ｅ（１２）を５ビットというようなビット配分を実施する。このような推定歪値Ｄ（ｍ）に応じた適応ビット配分を行うことにより、量子化の効率が向上することになる。
【０１９８】
ベクトル量子化を適用する場合には、拡張レイヤ符号化器１０８は、先頭に位置する誤差スペクトルから順にベクトルを構成し、それぞれのベクトルに対してベクトル量子化を行う。このとき、先頭に位置する誤差スペクトルのビット配分が多くなり、末尾に位置する誤差スペクトルのビット配分が小さくなるようなベクトルの構成と量子化ビット配分が成される。図１８の例では、Ｖ１＝（Ｅ（７）、Ｅ（８））、Ｖ２＝（Ｅ（４）、Ｅ（９））、Ｖ３＝（Ｅ（１）、Ｅ（１１）、Ｅ（３）、Ｅ（１２））のように、２次元、２次元、４次元の３ベクトルを構成し、Ｖ１を１０ビット、Ｖ２を８ビット、Ｖ３を８ビットというようなビット配分を行う。
【０１９９】
このように、本実施の形態の音響符号化装置によれば、拡張レイヤでの符号化において、推定誤差スペクトルが推定聴覚マスキングを超える量が大きい周波数に多くの情報量を配分して符号化することにより、量子化効率の向上を図ることができる。
【０２００】
次に復号化側について説明する。図１９は、本発明の実施の形態５に係るの音響復号化装置の拡張レイヤ復号化器の内部構成の一例を示すブロック図である。但し、図９と同一の構成となるものについては、図９と同一番号を付し、詳しい説明を省略する。図１９の拡張レイヤ復号化器８０５は、順序づけ部１９０１と、ＭＤＣＴ係数復号化器１９０２とを具備し、周波数決定部８０４から与えられる周波数を推定歪値Ｄ（ｍ）の大きさに従い順序付けを行う点が図９と異なる。
【０２０１】
順序づけ部１９０１は、上述の式（２４）を用いて推定歪値Ｄ（ｍ）を算出する。順序づけ部１９０１は、上述の順序づけ部１７０１と同一の構成を採る。この構成により適応ビット配分を行い量子化効率の向上を図ることができる上述の音響符号化法の符号化コードを復号することができる。
【０２０２】
ＭＤＣＴ係数復号化器１９０２は、推定歪値Ｄ（ｍ）の大きさに従い順序付けされた周波数の情報を用いて分離器８０１から出力された第２符号化コードを復号化する。具体的には、ＭＤＣＴ係数復号化器１９０２は、周波数決定部８０４から与えられる周波数に対応する復号ＭＤＣＴ係数を配置し、それ以外の周波数にはゼロを与える。次にＩＭＤＣＴ部９０２は、ＭＤＣＴ係数復号化器１９０２から得られるＭＤＣＴ係数に逆ＭＤＣＴ変換を施し、時間領域の信号を生成する。
【０２０３】
重ね合わせ加算器９０３は、前記信号に合成用の窓関数を乗じ、前フレームで復号された時間領域の信号とフレームの半分だけオーバーラップさせて加算して出力信号を生成する。重ね合わせ加算器９０３は、この出力信号を加算器８０６に出力する。
【０２０４】
このように、本実施の形態の音響復号化装置によれば、拡張レイヤでの符号化において、推定誤差スペクトルが推定聴覚マスキングを超える量に応じて適応ビット配分されたベクトル量子化を行うことにより、量子化効率の向上を図ることができる。
【０２０５】
（実施の形態６）
図２０は、本発明の実施の形態６に係る音響符号化装置の拡張レイヤ符号化器の内部構成の一例を示すブロック図である。但し、図６と同一の構成となるものについては、図６と同一番号を付し、詳しい説明を省略する。図２０の拡張レイヤ符号化器は、固定帯域指定部２００１と、ＭＤＣＴ係数量子化器２００２とを具備し、あらかじめ定めておいた帯域に含まれるＭＤＣＴ係数を周波数決定部１０７から得られる周波数と共に量子化する点が図６の拡張レイヤ符号化器と異なる。
【０２０６】
図２０において、固定帯域指定部２００１には、あらかじめ聴感上重要な帯域が設定されている。ここでは、設定されている帯域に含まれる周波数をｍ＝１５、１６とする。
【０２０７】
ＭＤＣＴ係数量子化器２００２は、ＭＤＣＴ部６０１から出力された入力信号に周波数決定部１０７から出力された聴覚マスキングを用いて入力信号を量子化する係数と量子化しない係数に分類し、量子化する係数と、さらに固定帯域指定部２００１が設定する帯域にある係数を符号化する。
【０２０８】
その周波数が図１８で示されたものであるとすると、ＭＤＣＴ係数量子化器２００２では、誤差スペクトルＥ（１）、Ｅ（３）、Ｅ（４）、Ｅ（７）、Ｅ（８）、Ｅ（９）、Ｅ（１１）、Ｅ（１２）および、固定帯域指定部２００１で指定される周波数の誤差スペクトルＥ（１５）、Ｅ（１６）が量子化される。
【０２０９】
このように、本実施の形態の音響符号化装置によれば、符号化の対象として選択されにくいが聴覚的に重要な帯域を強制的に量子化することにより、本来符号化の対象として選択されるべき周波数が選択されない場合でも、聴覚的に重要な帯域に含まれる周波数に位置する誤差スペクトルは必ず量子化されることになり、品質を改善することができる。
【０２１０】
次に、復号化側について説明する。図２１は、本発明の実施の形態６に係る音響復号化装置の拡張レイヤ復号化器の内部構成の一例を示すブロック図である。但し、図９と同一の構成となるものについては、図９と同一番号を付し、詳しい説明を省略する。図２１の拡張レイヤ復号化器は、固定帯域指定部２１０１と、ＭＤＣＴ係数復号化器２１０２とを具備し、あらかじめ定めておいた帯域に含まれるＭＤＣＴ係数を周波数決定部８０４から得られる周波数と共に復号化する点が図９の拡張レイヤ復号化器と異なる。
【０２１１】
図２１において、固定帯域指定部２１０１には、あらかじめ聴感上重要な帯域が設定されている。
【０２１２】
ＭＤＣＴ係数復号化器２１０２は、周波数決定部８０４から出力される復号化の対象となる誤差スペクトルの周波数に基づいて分離器８０１から出力される第２符号化コードから量子化されたＭＤＣＴ係数を復号する。具体的には、周波数決定部８０４と固定帯域指定部２１０１から示された信号の周波数に対応する復号ＭＤＣＴ係数を配置し、それ以外の周波数にはゼロを与える。
【０２１３】
ＩＭＤＣＴ部９０２は、ＭＤＣＴ係数復号化器２１０２から出力されるＭＤＣＴ係数に逆ＭＤＣＴ変換を施し、時間領域の信号を生成して重ね合わせ加算器９０３に出力する。
【０２１４】
このように、本実施の形態の音響復号化装置によれば、あらかじめ定めておいた帯域に含まれるＭＤＣＴ係数を復号化することにより、符号化の対象として選択されにくいが聴覚的に重要な帯域を強制的に量子化された信号を復号化することができ、符号化側において本来符号化の対象として選択されるべき周波数が選択されない場合でも、聴覚的に重要な帯域に含まれる周波数に位置する誤差スペクトルは必ず量子化されることになり、品質の改善することができる。
【０２１５】
なお、本実施の形態の拡張レイヤ符号化器及び拡張レイヤ復号化器は、本実施の形態と実施の形態５とを組み合わせた構成を採ることもできる。図２２は、本実施の形態の音響符号化装置の周波数決定部の内部構成の一例を示すブロック図である。但し、図６と同一の構成となるものについては、図６と同一番号を付し、詳しい説明を省略する。
【０２１６】
図２２において、ＭＤＣＴ部６０１は、減算器１０６から出力された入力信号に分析窓を乗じた後、ＭＤＣＴ変換(変形離散コサイン変換)してＭＤＣＴ係数を求め、ＭＤＣＴ係数量子化器２２０１に出力する。
【０２１７】
順序づけ部１７０１は、周波数決定部１０７で求められた周波数情報を受けつけ、各周波数の推定誤差スペクトルＥ’（ｍ）が推定聴覚マスキングＭ’（ｍ）を超える量（以後、推定歪値と呼ぶ）Ｄ（ｍ）を算出する。
固定帯域指定部２００１には、あらかじめ聴感上重要な帯域が設定されている。
【０２１８】
ＭＤＣＴ係数量子化器２２０１では、推定歪値Ｄ（ｍ）により順序付けされた周波数情報を基に、推定歪値Ｄ（ｍ）の大きいものからその周波数に位置する誤差スペクトルＥ（ｍ）にビットを多く配分して量子化を行う。また、ＭＤＣＴ係数量子化器２２０１は、固定帯域指定部２００１が設定する帯域にある係数を符号化する。
【０２１９】
次に復号化側について説明する。図２３は、本発明の実施の形態６に係る音響復号化装置の拡張レイヤ復号化器の内部構成の一例を示すブロック図である。但し、図９と同一の構成となるものについては、図９と同一番号を付し、詳しい説明を省略する。
【０２２０】
図２３において、順序づけ部１９０１は、周波数決定部８０４で求められた周波数情報を受けつけ、各周波数の推定誤差スペクトルＥ’（ｍ）が推定聴覚マスキングＭ’（ｍ）を超える量（以後、推定歪値と呼ぶ）Ｄ（ｍ）を算出する。
【０２２１】
そして、順序づけ部１９０１は、推定歪値Ｄ（ｍ）の大きさが大きいものから順序付けを行い、その周波数情報をＭＤＣＴ係数復号化器２３０１に出力する。固定帯域指定部２１０１には、あらかじめ聴感上重要な帯域が設定されている。
【０２２２】
ＭＤＣＴ係数復号化器２３０１は、順序づけ部１９０１から出力される復号化の対象となる誤差スペクトルの周波数に基づいて分離器８０１から出力される第２符号化コードから量子化されたＭＤＣＴ係数を復号する。具体的には、周波数決定部８０４と固定帯域指定部２１０１から示された信号の周波数に対応する復号ＭＤＣＴ係数を配置し、それ以外の周波数にはゼロを与える。
【０２２３】
ＩＭＤＣＴ部９０２は、ＭＤＣＴ係数復号化器２３０１から出力されるＭＤＣＴ係数に逆ＭＤＣＴ変換を施し、時間領域の信号を生成して重ね合わせ加算器９０３に出力する。
【０２２４】
（実施の形態７）
次に、本発明の実施の形態７について、図面を参照して説明する。図２４は、本発明の実施の形態７に係る通信装置の構成を示すブロック図である。図２３における信号処理装置２４０３は前述した実施の形態１から実施の形態６に示した音響符号化装置の中の１つによって構成されている点に本実施の形態の特徴がある。
【０２２５】
図２４に示すように、本発明の実施の形態７に係る通信装置２４００は、入力装置２４０１、Ａ／Ｄ変換装置２４０２及びネットワーク２４０４に接続されている信号処理装置２４０３を具備している。
【０２２６】
Ａ／Ｄ変換装置２４０２は、入力装置２４０１の出力端子に接続されている。信号処理装置２４０３の入力端子は、Ａ／Ｄ変換装置２４０２の出力端子に接続されている。信号処理装置２４０３の出力端子はネットワーク２４０４に接続されている。
【０２２７】
入力装置２４０１は、人間の耳に聞こえる音波を電気的信号であるアナログ信号に変換してＡ／Ｄ変換装置２４０２に与える。Ａ／Ｄ変換装置２４０２はアナログ信号をディジタル信号に変換して信号処理装置２４０３に与える。信号処理装置２４０３は入力されてくるディジタル信号を符号化してコードを生成し、ネットワーク２４０４に出力する。
【０２２８】
このように、本発明の実施の形態の通信装置によれば、通信において前述した実施の形態１〜６に示したような効果を享受でき、少ないビット数で効率よく音響信号を符号化する音響符号化装置を提供することができる。
【０２２９】
（実施の形態８）
次に、本発明の実施の形態８について、図面を参照して説明する。図２５は、本発明の実施の形態８に係る通信装置の構成を示すブロック図である。図２５における信号処理装置２５０３は前述した実施の形態１から実施の形態６に示した音響復号化装置の中の１つによって構成されている点に本実施の形態の特徴がある。
【０２３０】
図２５に示すように、本発明の実施の形態８に係る通信装置２５００は、ネットワーク２５０１に接続されている受信装置２５０２、信号処理装置２５０３、及びＤ／Ａ変換装置２５０４及び出力装置２５０５を具備している。
【０２３１】
受信装置２５０２の入力端子は、ネットワーク２５０１に接続されている。信号処理装置２５０３の入力端子は、受信装置２５０２の出力端子に接続されている。Ｄ／Ａ変換装置２５０４の入力端子は、信号処理装置２５０３の出力端子に接続されている。出力装置２５０５の入力端子は、Ｄ／Ａ変換装置２５０４の出力端子に接続されている。
【０２３２】
受信装置２５０２は、ネットワーク２５０１からのディジタルの符号化音響信号を受けてディジタルの受信音響信号を生成して信号処理装置２５０３に与える。信号処理装置２５０３は、受信装置２５０２からの受信音響信号を受けてこの受信音響信号に復号化処理を行ってディジタルの復号化音響信号を生成してＤ／Ａ変換装置２５０４に与える。Ｄ／Ａ変換装置２５０４は、信号処理装置２５０３からのディジタルの復号化音声信号を変換してアナログの復号化音声信号を生成して出力装置２５０５に与える。出力装置２５０５は、電気的信号であるアナログの復号化音響信号を空気の振動に変換して音波として人間の耳に聴こえるように出力する。
【０２３３】
このように、本実施の形態の通信装置によれば、通信において前述した実施の形態１〜６に示したような効果を享受でき、少ないビット数で効率よく符号化された音響信号を復号することができるので、良好な音響信号を出力することができる。
【０２３４】
（実施の形態９）
次に、本発明の実施の形態９について、図面を参照して説明する。図２６は、本発明の実施の形態９に係る通信装置の構成を示すブロック図である。本発明の実施の形態９において、図２６における信号処理装置２６０３は、前述した実施の形態１から実施の形態６に示した音響符号化器の中の１つによって構成されている点に本実施の形態の特徴がある。
【０２３５】
図２６に示すように、本発明の実施の形態９に係る通信装置２６００は、入力装置２６０１、Ａ／Ｄ変換装置２６０２、信号処理装置２６０３、ＲＦ変調装置２６０４及びアンテナ２６０５を具備している。
【０２３６】
入力装置２６０１は人間の耳に聞こえる音波を電気的信号であるアナログ信号に変換してＡ／Ｄ変換装置２６０２に与える。Ａ／Ｄ変換装置２６０２はアナログ信号をディジタル信号に変換して信号処理装置２６０３に与える。信号処理装置２６０３は入力されてくるディジタル信号を符号化して符号化音響信号を生成し、ＲＦ変調装置２６０４に与える。ＲＦ変調装置２６０４は、符号化音響信号を変調して変調符号化音響信号を生成し、アンテナ２６０５に与える。アンテナ２６０５は、変調符号化音響信号を電波として送信する。
【０２３７】
このように、本実施の形態の通信装置によれば、無線通信において前述した実施の形態１〜６に示したような効果を享受でき、少ないビット数で効率よく音響信号を符号化することができる。
【０２３８】
なお、本発明は、オーディオ信号を用いる送信装置、送信符号化装置又は音響信号符号化装置に適用することができる。また、本発明は、移動局装置又は基地局装置にも適用することができる。
【０２３９】
（実施の形態１０）
次に、本発明の実施の形態１０について、図面を参照して説明する。図２７は、本発明の実施の形態１０に係る通信装置の構成を示すブロック図である。本発明の実施の形態１０において、図２７における信号処理装置２７０３は、前述した実施の形態１から実施の形態６に示した音響復号化器の中の１つによって構成されている点に本実施の形態の特徴がある。
【０２４０】
図２７に示すように、本発明の実施の形態１０に係る通信装置２７００は、アンテナ２７０１、ＲＦ復調装置２７０２、信号処理装置２７０３、Ｄ／Ａ変換装置２７０４及び出力装置２７０５を具備している。
【０２４１】
アンテナ２７０１は、電波としてのディジタルの符号化音響信号を受けて電気信号のディジタルの受信符号化音響信号を生成してＲＦ復調装置２７０２に与える。ＲＦ復調装置２７０２は、アンテナ２７０１からの受信符号化音響信号を復調して復調符号化音響信号を生成して信号処理装置２７０３に与える。
【０２４２】
信号処理装置２７０３は、ＲＦ復調装置２７０２からのディジタルの復調符号化音響信号を受けて復号化処理を行ってディジタルの復号化音響信号を生成してＤ／Ａ変換装置２７０４に与える。Ｄ／Ａ変換装置２７０４は、信号処理装置２７０３からのディジタルの復号化音声信号を変換してアナログの復号化音声信号を生成して出力装置２７０５に与える。出力装置２７０５は、電気的信号であるアナログの復号化音声信号を空気の振動に変換して音波として人間の耳に聴こえるように出力する。
【０２４３】
このように、本実施の形態の通信装置によれば、無線通信において前述した実施の形態１〜６に示したような効果を享受でき、少ないビット数で効率よく符号化された音響信号を復号することができるので、良好な音響信号を出力することができる。
【０２４４】
なお、本発明は、オーディオ信号を用いる受信装置、受信復号化装置又は音声信号復号化装置に適用することができる。また、本発明は、移動局装置又は基地局装置にも適用することができる。
【０２４５】
また、本発明は上記実施の形態に限定されず、種々変更して実施することが可能である。例えば、上記実施の形態では、信号処理装置として行う場合について説明しているが、これに限られるものではなく、この信号処理方法をソフトウェアとして行うことも可能である。
【０２４６】
例えば、上記信号処理方法を実行するプログラムを予めＲＯＭ（Read Only Memory）に格納しておき、そのプログラムをＣＰＵ（Central Processor Unit）によって動作させるようにしても良い。
【０２４７】
また、上記信号処理方法を実行するプログラムをコンピュータで読み取り可能な記憶媒体に格納し、記憶媒体に格納されたプログラムをコンピュータのＲＡＭ（Random Access memory）に記録して、コンピュータをそのプログラムにしたがって動作させるようにしても良い。
【０２４８】
なお、上記説明では、時間領域から周波数領域への変換法にＭＤＣＴを用いる場合について説明を行っているがこれに限定されず直交変換であればいずれも適用できる。例えば、離散フーリエ変換または離散コサイン変換等を適用することもできる。
【０２４９】
なお、本発明は、オーディオ信号を用いる受信装置、受信復号化装置又は音声信号復号化装置に適用することができる。また、本発明は、移動局装置又は基地局装置にも適用することができる。
【０２５０】
【発明の効果】
以上説明したように、本発明の音響符号化装置及び音響符号化方法によれば、入力信号をダウンサンプリングして符号化し、符号化した信号を復号化してアップサンプリングし、このアップサンプリングした復号信号と入力信号との差分信号を符号化する符号化方法において、このアップサンプリングした復号信号から拡張レイヤで符号化の対象となる周波数を決定するため、符号化側と復号化側の両方にある信号のみで前記周波数を決定することができ、よって符号化側から復号化側にこの周波数の情報を伝送ことなく、低ビットレートで高品質に符号化を行うことができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１に係る音響符号化装置の構成を示すブロック図
【図２】音響信号の情報の分布の一例を示す図
【図３】基本レイヤと拡張レイヤで符号化の対象とする領域の一例を示す図
【図４】上記実施の形態の音響符号化装置の周波数決定部の内部構成の一例を示すブロック図
【図５】上記実施の形態の音響符号化装置の聴覚マスキング算出器の内部構成の一例を示す図
【図６】上記実施の形態の拡張レイヤ符号化器の内部構成の一例を示すブロック図
【図７】上記実施の形態の聴覚マスキング算出器の内部構成の一例を示すブロック図
【図８】本発明の実施の形態１に係る音響復号化装置の構成を示すブロック図
【図９】上記実施の形態の音響復号化装置の拡張レイヤ復号化器の内部構成の一例を示すブロック図
【図１０】本発明の実施の形態２の基本レイヤ符号化器の内部構成の一例を示すブロック図
【図１１】上記実施の形態の基本レイヤ復号化器の内部構成の一例を示すブロック図
【図１２】上記実施の形態の基本レイヤ復号化器の内部構成の一例を示すブロック図
【図１３】本発明の実施の形態３に係る音響符号化装置の周波数決定部の内部構成の一例を示すブロック図
【図１４】上記実施の形態の推定誤差スペクトル算出器が算出する残差スペクトルの一例を示す図
【図１５】本発明の実施の形態４に係る音響符号化装置の周波数決定部の内部構成の一例を示すブロック図
【図１６】上記実施の形態の音響符号化装置の周波数決定部の内部構成の一例を示すブロック図
【図１７】本発明の実施の形態５に係る音響符号化装置の拡張レイヤ符号化器の内部構成の一例を示すブロック図
【図１８】上記実施の形態の順序づけ部の推定歪値の順位づけの一例を示す図
【図１９】本発明の実施の形態５に係るの音響復号化装置の拡張レイヤ復号化器の内部構成の一例を示すブロック図
【図２０】本発明の実施の形態６に係る音響符号化装置の拡張レイヤ符号化器の内部構成の一例を示すブロック図
【図２１】本発明の実施の形態６に係る音響復号化装置の拡張レイヤ復号化器の内部構成の一例を示すブロック図
【図２２】上記実施の形態の音響符号化装置の周波数決定部の内部構成の一例を示すブロック図
【図２３】本発明の実施の形態６に係る音響復号化装置の拡張レイヤ復号化器の内部構成の一例を示すブロック図
【図２４】本発明の実施の形態７に係る通信装置の構成を示すブロック図
【図２５】本発明の実施の形態８に係る通信装置の構成を示すブロック図
【図２６】本発明の実施の形態９に係る通信装置の構成を示すブロック図
【図２７】本発明の実施の形態１０に係る通信装置の構成を示すブロック図
【図２８】音響（音楽）信号のスペクトルの一例を示す図
【符号の説明】
１０１ ダウンサンプリング器
１０２ 基本レイヤ符号化器
１０３ 局所復号化器
１０４ アップサンプリング器
１０５ 遅延器
１０６ 減算器
１０７、８０４ 周波数決定部
１０８ 拡張レイヤ符号化器
１０９ 多重化器
４０１ ＦＦＴ部
４０２ 推定聴覚マスキング算出器
４０３ 決定部
６０１、７０１ ＭＤＣＴ部
６０２ ＭＤＣＴ係数量子化器
８０１、１１０１ 分離器
８０２ 基本レイヤ復号化器
８０３ アップサンプリング器
８０５ 拡張レイヤ復号化器
８０６、９０３ 加算器
９０１ ＭＤＣＴ係数復号化器
９０２ ＩＭＤＣＴ部
１１０２ 音源生成器
１１０３ 合成フィルタ
１３０１ 推定誤差スペクトル算出器
１３０２、１５０２、１６０１ 決定部
１５０１ 推定聴覚マスキング修正部
１７０１、１９０１ 順序づけ部
１７０２、２００２、２２０１ ＭＤＣＴ係数量子化器
１９０２、２１０２、２３０１ ＭＤＣＴ係数復号化器
２００１、２１０１ 固定帯域指定部
【発明の属する技術分野】
本発明は、楽音信号または音声信号などの音響信号を高能率に圧縮符号化する音響符号化装置及び音響符号化方法に関し、特に符号化コードの一部からでも楽音や音声を復号することができるスケーラブル符号化を行う音響符号化装置及び音響符号化方法に関する。
【０００２】
【従来の技術】
楽音信号または音声信号を低ビットレートで圧縮する音響符号化技術は、移動体通信における電波等の伝送路容量及び記録媒体の有効利用のために重要である。音声信号を符号化する音声符号化に、ＩＴＵ(International Telecommunication Union)で規格化されているＧ７２６、Ｇ７２９などの方式がある。これらの方式は、狭帯域信号（３００Ｈｚ〜３．４ｋＨｚ）を対象とし、８ｋｂｉｔ／ｓ〜３２ｋｂｉｔ／ｓのビットレートで高品質に符号化できる。
【０００３】
また、広帯域信号（５０Ｈｚ〜７ｋＨｚ）を符号化する標準方式としてＩＴＵのＧ７２２、Ｇ７２２．１や、３ＧＰＰ（The 3rd Generation Partnership Project）のＡＭＲ−ＷＢなどが存在する。これらの方式は、６．６ｋｂｉｔ／ｓ〜６４ｋｂｉｔ／ｓのビットレートで広帯域音声信号を高品質に符号化できる。
【０００４】
音声信号を低ビットレートで高能率に符号化を行う有効な方法に、ＣＥＬＰ(Code Excited Linear Prediction)がある。ＣＥＬＰは、人間の音声生成モデルを工学的に模擬したモデルに基づき、乱数やパルス列で表される励振信号を周期性の強さに対応するピッチフィルタと声道特性に対応する合成フィルタに通し、その出力信号と入力信号の二乗誤差が聴覚特性の重み付けの下で最小になるよう符号化パラメータを決定する方法である（例えば、非特許文献１参照）。
【０００５】
最近の標準音声符号化方式の多くがＣＥＬＰに基づいており、例えばＧ７２９は、８ｋｂｉｔ／ｓのビットレートで狭帯域信号の符号化でき、ＡＭＲ−ＷＢは６．６ｋｂｉｔ／ｓ〜２３．８５ｋｂｉｔ／ｓのビットレートで広帯域信号を符号化できる。
【０００６】
一方で、楽音信号を符号化する楽音符号化の場合、ＭＰＥＧ(Moving Picture Expert Group)で規格化されているレイヤ３方式やＡＡＣ方式のように、楽音信号を周波数領域に変換し、聴覚心理モデルを利用して符号化を行う変換符号化が一般的である。これらの方式は、サンプリングレートが４４．１ｋＨｚの信号に対しチャネル当たり６４ｋｂｉｔ／ｓ〜９６ｋｂｉｔ／ｓのビットレートでほとんど劣化が生じないことが知られている。
【０００７】
しかしながら、音声信号が主体で、背景に音楽や環境音が重畳している信号を符号化する場合、音声符号化方式を適用すると背景部の音楽や環境音の影響で、背景部の信号のみならず音声信号も劣化してしまい全体的な品質が低下するという問題がある。これは、音声符号化方式が、ＣＥＬＰという音声モデルに特化した方式を基本にしているために生じる問題である。また、音声符号化方式が対応できる信号帯域は高々７ｋＨｚまでであり、それ以上の高域を持つ信号に対しては構成上十分に対応しきれないという問題がある。
【０００８】
一方で、楽音符号化は、音楽に対して高品質に符号化を行うことができるので、前述したような背景に音楽や環境音がある音声信号についても十分な品質を得ることができる。また、楽音符号化は、対象となる信号の帯域もＣＤ品質であるサンプリングレートが２２ｋＨｚ程度の信号まで対応可能である。
【０００９】
その反面、高品質な符号化を実現するためにはビットレートを高くして使用する必要があり、仮にビットレートを３２ｋｂｉｔ／ｓ程度まで低く抑えると復号信号の品質が大きく低下するという問題がある。そのため、伝送レートの低い通信網で使用できないという問題がある。
【００１０】
上述した問題を回避するためにこれらの技術を組み合わせて、最初に入力信号を基本レイヤにてＣＥＬＰで符号化し、次にその復号信号を入力信号から減算して得られる誤差信号を求め、この信号を拡張レイヤにて変換符号化を行うスケーラブル符号化が考えられる。
【００１１】
この方法では、基本レイヤはＣＥＬＰを用いているため音声信号を高品質に符号化でき、かつ拡張レイヤは基本レイヤで表しきれない背景の音楽や環境音、基本レイヤでカバーする周波数帯よりも高い周波数成分の信号を効率よく符号化することができる。さらにこの構成によればビットレートを低く抑えることができる。加えて、この構成によれば、符号化コードの一部つまり基本レイヤの符号化コードのみから音響信号を復号することが可能であり、このようなスケーラブル機能は伝送容量の異なる複数のネットワークに対するマルチキャストの実現に有効である。
【００１２】
しかしながら、音声ではなく音楽を入力したときに十分な品質を確保するためには、拡張レイヤへのビット配分を多くする必要があり、その結果ビットレートが高くなってしまうという問題がある。
【００１３】
基本レイヤの符号化において、ＣＥＬＰのような音声に特化した符号化方式を用いているが、このＣＥＬＰでは音楽に対する符号化効率が高くない。音楽信号を符号化すると、入力信号と基本レイヤの復号信号との誤差信号（拡張レイヤの入力信号）のパワーが大きくなるので、パワーの大きくなった誤差信号に対応するために拡張レイヤに多くのビットを配分して、最終的な復号信号の品質を上げる必要があった。
【００１４】
この問題を解決するために、拡張レイヤで聴覚マスキングを利用して符号化効率を上げることが考えられる。聴覚マスキングとは、ある信号が与えられたときその信号の周波数の近傍に位置する信号が聞こえなくなる（マスクされる）という人間の聴覚特性を利用したものである。
【００１５】
図２８は、音響（音楽）信号のスペクトルの一例を示す図である。図２８において、実線は聴覚マスキングを表し、破線は誤差スペクトルを表している。ここでいう誤差スペクトルとは、入力信号と基本レイヤの復号信号との誤差信号（拡張レイヤの入力信号）のスペクトルを指す。
【００１６】
図２８の斜線部で表される誤差スペクトルは、聴覚マスキングよりも振幅値が小さいため人間の聴覚では聞こえず、それ以外の領域では誤差スペクトルの振幅値が聴覚マスキングを超えているので量子化歪が知覚される。
【００１７】
そこで、拡張レイヤでは図２８の白地部に含まれる誤差スペクトルを符号化してその領域の量子化歪が聴覚マスキングよりも小さくなるようにすればよい。また、斜線部に属する係数は既に聴覚マスキングよりも小さくので量子化する必要がない。
【００１８】
【非特許文献１】
"Code-Excited Linear Prediction (CELP): high quality speech at very low bit rates", Proc. ICASSP 85, pp.937-940, 1985.
【００１９】
【発明が解決しようとする課題】
しかしながら、従来の装置においては、聴覚マスキングにより量子化が必要な周波数の情報を伝送する必要があり、伝送する情報量が増加してビットレートを低くすることができないという問題がある。
【００２０】
本発明はかかる点に鑑みてなされたものであり、声が主体で背景に音楽や雑音が重畳しているような信号であっても、低ビットレートで高品質に符号化を行うことができる音響符号化装置及び音響符号化方法を提供することを目的とする。
【００２１】
【課題を解決するための手段】
本発明の音響符号化装置は、音響信号に対し聴感重み付けを施し、量子化歪みのスペクトルが前記音響信号のスペクトル包絡にマスクされるようにしてから符号化して第１符号化コードを得る第１符号化手段と、前記第１符号化コードを復号化して復号信号を得る復号化手段と、前記復号信号から得られる復号スペクトルについて聴覚マスキング閾値を算出する一方、前記復号スペクトルに対しスケール調整および平滑化を施すことにより、前記聴覚マスキング閾値と比較される誤差スペクトルを前記復号スペクトルから生成し、前記誤差スペクトルのうち当該聴覚マスキング閾値以上の振幅を示す周波数領域を特定する特定手段と、前記音響信号と前記復号信号との残差信号を得る減算手段と、前記残差信号のうち、前記特定手段によって特定された周波数領域について符号化を施し、第２符号化コードを得る第２符号化手段と、を具備する構成を採る。
【００２２】
この構成によれば、符号化信号の復号化した信号から拡張レイヤの符号化の対象となる周波数を決定することにより、符号化側から復号化側に伝送する基本レイヤの符号化信号のみで拡張レイヤの符号化の対象となる周波数を決定することができ、符号化側から復号化側にこの周波数の情報を伝送する必要がなくなり、低ビットレートで高品質に符号化を行うことができる。
【００２９】
また、マスキング効果の特性を利用して、入力信号のスペクトルから聴覚マスキングを算出し、拡張レイヤの符号化において、品質の劣化を伴わずに量子化の対象となるＭＤＣＴ係数の数を減らすことができ、低ビットレートで高品質に符号化を行うことができる。
【００６１】
【発明の実施の形態】
本発明者は、入力信号の代わりに基本レイヤの符号化コードを復号化した信号を使って拡張レイヤで符号化する周波数を推定しても、この復号信号は入力信号との歪が小さくなるよう決定されているため、充分に近似され大きな問題は生じないということに着目し本発明をするに至った。
【００６２】
本発明の骨子は、入力信号をダウンサンプリングして符号化し、符号化した信号を復号化してアップサンプリングし、このアップサンプリングした復号信号と入力信号との差分信号を符号化する符号化方法において、符号化側と復号化側の両方で算出されるアップサンプリングした復号信号から拡張レイヤで符号化もしくは復号化の対象となる周波数を決定することにより、符号化側から復号化側にこの周波数の情報を伝送ことなく、低ビットレートで高品質に符号化を行うことである。
【００６３】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
（実施の形態１）
図１は、本発明の実施の形態１に係る音響符号化装置の構成を示すブロック図である。図１の音響符号化装置１００は、ダウンサンプリング器１０１と、基本レイヤ符号化器１０２と、局所復号化器１０３と、アップサンプリング器１０４と、遅延器１０５と、減算器１０６と、周波数決定部１０７と、拡張レイヤ符号化器１０８と、多重化器１０９とから主に構成される。
【００６４】
図１において、ダウンサンプリング器１０１は、サンプリングレートＦＨの入力データ（音響データ）を受けつけ、この入力データをサンプリングレートＦＨより低いサンプリングレートＦＬに変換して基本レイヤ符号化器１０２に出力する。
【００６５】
基本レイヤ符号化器１０２は、サンプリングレートＦＬの入力データを所定の基本フレーム単位で符号化し、入力データを符号化した第１符号化コードを局所復号化器１０３と多重化器１０９に出力する。例えば、基本レイヤ符号化器１０２は、入力データをＣＥＬＰ方式で符号化する。
【００６６】
局所復号化器１０３は、第１符号化コードを復号化し、復号化により得られた復号信号をアップサンプリング器１０４に出力する。アップサンプリング器１０４は、復号信号のサンプリングレートをＦＨに上げて減算器１０６と周波数決定部１０７に出力する。
【００６７】
遅延器１０５は、入力信号を所定の時間遅延して減算器１０６に出力する。この遅延の大きさをダウンサンプリング器１０１と基本レイヤ符号化器１０２と局所復号化器１０３とアップサンプリング器１０４で生じる時間遅れと同値とすることにより、次の減算処理での位相のずれを防ぐ役割を持つ。例えば、この遅延時間は、ダウンサンプリング器１０１、基本レイヤ符号化器１０２、局所復号化器１０３、及びアップサンプリング器１０４における処理の時間の総和とする。減算器１０６は、入力信号を復号信号で減算し、減算結果を誤差信号として拡張レイヤ符号化器１０８に出力する。
【００６８】
周波数決定部１０７は、サンプリングレートをＦＨに上げた復号信号から誤差信号の符号化する領域と、符号化しない領域を決定して拡張レイヤ符号化器１０８に通知する。例えば、周波数決定部１０７は、サンプリングレートをＦＨに上げた復号信号から聴覚マスキングする周波数を決定して拡張レイヤ符号化器１０８に出力する。
【００６９】
拡張レイヤ符号化器１０８は、誤差信号を周波数領域の係数に変換して誤差スペクトルを生成し、周波数決定部１０７から得られる符号化の対象となる周波数情報に基づき誤差スペクトルの符号化を行う。多重化器１０９は、基本レイヤ符号化器１０２で符号化された信号と、拡張レイヤ符号化器１０８で符号化された信号を多重化する。
【００７０】
以下、基本レイヤ符号化器１０２と拡張レイヤ符号化器１０８とがそれぞれ符号化する信号について説明する。図２は、音響信号の情報の分布の一例を示す図である。図２において、縦軸は情報量を示し、横軸は周波数を示す。図２では、入力信号に含まれる音声情報と背景音楽・背景雑音情報がどの周波数帯にどれだけ存在しているかを表している。
【００７１】
図２に示すように、音声情報は、周波数の低い領域に情報が多く存在し、高域に向かうほど情報量は減少する。一方、背景音楽・背景雑音情報は、音声情報と比べると相対的に低域の情報は少なく、高域に含まれる情報が大きい。
【００７２】
そこで、基本レイヤではＣＥＬＰを用いて音声信号を高品質に符号化し、拡張レイヤでは基本レイヤで表しきれない背景の音楽や環境音、基本レイヤでカバーする周波数帯よりも高い周波数成分の信号を効率よく符号化する。
【００７３】
図３は、基本レイヤと拡張レイヤで符号化の対象とする領域の一例を示す図である。図３において、縦軸は情報量を示し、横軸は周波数を示す。図３は、基本レイヤ符号化器１０２と拡張レイヤ符号化器１０８がそれぞれ符号化する情報の対象となる領域を表している。
【００７４】
基本レイヤ符号化器１０２は、０〜ＦＬ間の周波数帯の音声情報を効率よく表すように設計されており、この領域での音声情報は品質良く符号化することができる。しかし、基本レイヤ符号化器１０２では、０〜ＦＬ間の周波数帯の背景音楽・背景雑音情報の符号化品質が高くない。
【００７５】
拡張レイヤ符号化器１０８は、上記説明にある基本レイヤ符号化器１０２の能力不足の部分と、ＦＬ〜ＦＨ間の周波数帯の信号をカバーするように設計されている。よって、基本レイヤ符号化器１０２と拡張レイヤ符号化器１０８を組み合わせることで広い帯域で高品質な符号化が実現できる。
【００７６】
図３に示すように、基本レイヤ符号化器１０２における符号化により得られた第１符号化コードには、０〜ＦＬ間の周波数帯の音声情報が含まれているので、少なくとも第１符号化コードのみでも復号信号が得られるというスケーラブル機能が実現できる。
【００７７】
また、拡張レイヤで聴覚マスキングを利用して符号化効率を上げることが考えられる。聴覚マスキングとは、ある信号が与えられたときその信号の周波数の近傍に位置する信号が聞こえなくなる（マスクされる）という人間の聴覚特性を利用したものである。
【００７８】
図２８は、音響（音楽）信号のスペクトルの一例を示す図である。図２８において、実線は聴覚マスキングを表し、破線は誤差スペクトルを表している。ここでいう誤差スペクトルとは、入力信号と基本レイヤの復号信号との誤差信号（拡張レイヤの入力信号）のスペクトルを指す。
【００７９】
図２８の斜線部で表される誤差スペクトルは、聴覚マスキングよりも振幅値が小さいため人間の聴覚では聞こえず、それ以外の領域では誤差スペクトルの振幅値が聴覚マスキングを超えているので量子化歪が知覚される。
【００８０】
そこで、拡張レイヤでは図２８の白地部に含まれる誤差スペクトルを符号化してその領域の量子化歪が聴覚マスキングよりも小さくなるようにすればよい。また、斜線部に属する係数は既に聴覚マスキングよりも小さくので量子化する必要がない。
【００８１】
本実施の形態の音響符号化装置１００では、聴覚マスキング等により残差信号を符号化する周波数を符号化側から復号化側に伝送することをせず、符号化側と復号側でそれぞれアップサンプリングされた基本レイヤの復号信号を用いて拡張レイヤが符号化する誤差スペクトルの周波数を決定する。
【００８２】
基本レイヤの符号化コードを復号化した復号信号は、符号化側と復号化側で同じ信号が得られるので、符号化側は、この復号化信号から聴覚マスキングする周波数を決定して信号を符号化し、復号化側は、この復号化信号から聴覚マスキングされた周波数の情報を得て信号を復号化することにより、誤差スペクトルの周波数の情報を付加情報として符号化して伝送する必要は無くなり、ビットレートの低減を実現することができる。
【００８３】
次に、本実施の形態に係る音響符号化装置の各ブロックの詳細な動作について説明する。最初にアップサンプリングされた基本レイヤの復号信号（以後、基本レイヤ復号信号と呼ぶ）から拡張レイヤにて符号化される誤差スペクトルの周波数を決定する周波数決定部１０７の動作の説明を行う。図４は、本実施の形態の音響符号化装置の周波数決定部の内部構成の一例を示すブロック図である。
【００８４】
図４において、周波数決定部１０７は、ＦＦＴ部４０１と、推定聴覚マスキング算出器４０２と、決定部４０３とから主に構成される。
【００８５】
ＦＦＴ部４０１は、アップサンプリング器１０４から出力された基本レイヤ復号信号ｘ（ｎ）を直交変換して振幅スペクトルＰ（ｍ）を算出して推定聴覚マスキング算出器４０２と決定部４０３に出力する。具体的には、ＦＦＴ部４０１は、以下の式（１）を用いて振幅スペクトルＰ（ｍ）を算出する。
【００８６】
【数１】
【００８７】
次に、推定聴覚マスキング算出器４０２は、基本レイヤ復号信号の振幅スペクトルＰ（ｍ）を用いて推定聴覚マスキングＭ’（ｍ）を算出して決定部４０３に出力する。一般的には、聴覚マスキングは、入力信号のスペクトルを基に算出されるものであるが、本実施例では入力信号の代わりに基本レイヤ復号信号ｘ（ｎ）を使って聴覚マスキングを推定する。これは、基本レイヤ復号信号ｘ（ｎ）は入力信号との歪が小さくなるよう決定されているため、入力信号の代わりに基本レイヤ復号信号ｘ（ｎ）を用いても充分に近似され大きな問題は生じないという考えに基づいている。
【００８８】
次に、決定部４０３は、基本レイヤ復号信号の振幅スペクトルＰ（ｍ）と推定聴覚マスキング算出器４０２で得られる推定聴覚マスキングＭ’（ｍ）を用いて拡張レイヤ符号化器１０８で誤差スペクトルを符号化する対象の周波数を決定する。決定部４０３は、基本レイヤ復号信号の振幅スペクトルＰ（ｍ）を誤差スペクトルの近似値とみなし、次の式（２）が成り立つ周波数ｍを拡張レイヤ符号化器１０８に出力する。
【００８９】
【数２】
式（２）において、Ｐ（ｍ）の項は、誤差スペクトルの大きさを推定しており、Ｍ’（ｍ）の項は、聴覚マスキングを推定している。そして、決定部４０３は、推定誤差スペクトルと推定聴覚マスキングの大きさを比較し、式（２）を満たす場合、すなわち推定聴覚マスキングの大きさを推定誤差スペクトルの大きさが超える場合に、その周波数の誤差スペクトルはノイズとして知覚されるとして拡張レイヤ符号化器１０８で符号化する対象とする。
【００９１】
逆に推定聴覚マスキングの大きさより推定誤差スペクトルの大きさが下回る場合に、決定部４０３は、マスキング効果によりその周波数の誤差スペクトルはノイズとして知覚されないとみなし、この周波数の誤差スペクトルは量子化の対象から外す。
【００９２】
次に、推定聴覚マスキング算出器４０２の動作を説明する。図５は、本実施の形態の音響符号化装置の聴覚マスキング算出器の内部構成の一例を示す図である。図５において、推定聴覚マスキング算出器４０２は、バークスペクトル算出器５０１と、スプレッド関数畳み込み器５０２と、トーナリティ算出器５０３と、聴覚マスキング算出器５０４とから主に構成される。
【００９３】
図５において、バークスペクトル算出器５０１は、以下の式（３）を用いてバークスペクトルＢ（ｋ）を算出する。
【００９４】
【数３】
【００９５】
【数４】
スプレッド関数畳み込み器５０２は、以下に示す式（５）を用いてバークスペクトルＢ（ｋ）にスプレッド関数ＳＦ（ｋ）を畳み込み、Ｃ（ｋ）を算出する。
【００９７】
【数５】
トーナリティ算出器５０３は、以下の式（６）を用い、各バークスペクトルのスペクトル平坦度ＳＦＭ（ｋ）を求める。
【００９９】
【数６】
【０１００】
【数７】
聴覚マスキング算出器５０４は、以下の式（８）を用いてトーナリティ算出器５０３で算出したトーナリティ係数α（ｋ）から各バークスケールのオフセットＯ（ｋ）を求める。
【０１０２】
【数８】
そして、聴覚マスキング算出器５０４は、以下の式（９）を用いてスプレッド関数畳み込み器５０２で求めたＣ（ｋ）からオフセットＯ（ｋ）を減算して聴覚マスキングＴ（ｋ）を算出する。
【０１０４】
【数９】
【０１０５】
このようにして求められた量子化の対象となる周波数ｍを使って、拡張レイヤ符号化器１０８にてＭＤＣＴ係数の符号化を行う。図６は、本実施の形態の拡張レイヤ符号化器の内部構成の一例を示すブロック図である。図６の拡張レイヤ符号化器１０８は、ＭＤＣＴ部６０１と、ＭＤＣＴ係数量子化器６０２とから主に構成される。
【０１０６】
ＭＤＣＴ部６０１は、減算器１０６から出力された入力信号に分析窓を乗じた後、ＭＤＣＴ変換(変形離散コサイン変換)してＭＤＣＴ係数を求める。ＭＤＣＴ変換は、前後の隣接フレームと分析フレームを半分ずつ完全に重ね合わせ、分析フレームの前半部は奇関数、後半部は偶関数という直交基底を用いる。ＭＤＣＴ変換は、波形を合成する際、逆変換後の波形を重ね合わせて加算することにより、フレーム境界歪が発生しないという特徴がある。ＭＤＣＴを行う際には、ｓｉｎ窓などの窓関数を入力信号に乗ずる。ＭＤＣＴ係数をＸ（ｎ）とすると、ＭＤＣＴ係数は、式（１０）に従い算出される。
【０１０７】
【数１０】
ＭＤＣＴ係数量子化器６０２は、ＭＤＣＴ部６０１から出力された入力信号に周波数決定部１０７から出力された量子化の対象となる周波数に対応する係数を量子化する。そして、ＭＤＣＴ係数量子化器６０２は、量子化したＭＤＣＴ係数の符号化コードを多重化器１０９に出力する。
【０１０９】
このように、本実施の形態の音響符号化装置によれば、基本レイヤの符号化コードを復号化した信号から拡張レイヤの符号化の対象となる周波数を決定することにより、符号化側から復号化側に伝送する基本レイヤの符号化信号のみで拡張レイヤの符号化の対象となる周波数を決定することができ、符号化側から復号化側にこの周波数の情報を伝送する必要がなくなり、低ビットレートで高品質に符号化を行うことができる。
【０１１０】
なお、上記実施の形態では、ＦＦＴを使った聴覚マスキングの算出法について説明しているが、ＦＦＴの代わりＭＤＣＴを使って聴覚マスキングを算出することもできる。図７は、本実施の形態の周波数決定部の内部構成の一例を示すブロック図である。但し、図５と同一の構成となるものについては、図５と同一番号を付し、詳しい説明を省略する。
【０１１１】
ＭＤＣＴ部７０１は、ＭＤＣＴ係数を使って振幅スペクトルＰ（ｍ）を近似する。具体的には、ＭＤＣＴ部７０１は、以下の式（１１）を用いてＰ（ｍ）を近似する。
【０１１２】
【数１１】
【０１１３】
推定聴覚マスキング算出器４０２は、ＭＤＣＴ部７０１において近似されたＰ（ｍ）からバークスペクトルＢ（ｋ）を算出する。それ以後は上述した方法に従い量子化の対象となる周波数情報を算出する。
【０１１４】
このように、本実施の形態の音響符号化装置は、ＭＤＣＴを使って聴覚マスキングを算出することもできる。
【０１１５】
次に、復号化側について説明する。図８は、本発明の実施の形態１に係る音響復号化装置の構成を示すブロック図である。図８の音響復号化装置８００は、分離器８０１と、基本レイヤ復号化器８０２と、アップサンプリング器８０３と、周波数決定部８０４と、拡張レイヤ復号化器８０５と、加算器８０６とから主に構成される。
【０１１６】
分離器８０１は、音響符号化装置１００において符号化されたコードを基本レイヤ用の第１符号化コードと拡張レイヤ用の第２符号化コードに分離し、第１符号化コードを基本レイヤ復号化器８０２に出力し、第２符号化コードを拡張レイヤ復号化器８０５に出力する。
【０１１７】
基本レイヤ復号化器８０２は、第１符号化コードを復号してサンプリングレートＦＬの復号信号を得る。そして、基本レイヤ復号化器８０２は、復号信号をアップサンプリング器８０３に出力する。アップサンプリング器８０３は、サンプリングレートＦＬの復号信号をサンプリングレートＦＨの復号信号に変換して周波数決定部８０４と加算器８０６に出力する。
【０１１８】
周波数決定部８０４は、アップサンプリングされた基本レイヤの復号信号を用いて拡張レイヤ復号化器８０５で復号化の対象となる誤差スペクトルの周波数を決定する。この周波数決定部８０４は、図１の周波数決定部１０７と同様の構成をとる。
【０１１９】
拡張レイヤ復号化器８０５は、第２符号化コードを復号してサンプリングレートＦＨの復号信号を得る。そして、拡張レイヤ復号化器８０５は、復号された拡張フレーム単位の復号信号を重ね合わせ、重ね合わせた復号信号を加算器８０６に出力する。具体的には、拡張レイヤ復号化器８０５は、復号信号に合成用の窓関数を乗じ、前フレームで復号された時間領域の信号とフレームの半分だけオーバーラップさせて加算して出力信号を生成する。
【０１２０】
加算器８０６は、アップサンプリング器８０３においてアップサンプリングされた基本レイヤの復号信号と、加算器８０６において復号化された拡張レイヤの復号信号とを加算して出力する。
【０１２１】
次に、本実施の形態に係る音響復号化装置の各ブロックの詳細な動作について説明する。図９は、本実施の形態の音響復号化装置の拡張レイヤ復号化器の内部構成の一例を示すブロック図である。図９は、図８の拡張レイヤ復号化器８０５の内部構成の一例を示す図である。図９の拡張レイヤ復号化器８０５は、ＭＤＣＴ係数復号化器９０１と、ＩＭＤＣＴ部９０２と、重ね合わせ加算器９０３とから主に構成される。
【０１２２】
ＭＤＣＴ係数復号化器９０１は、周波数決定部８０４から出力される復号化の対象となる誤差スペクトルの周波数に基づいて分離器８０１から出力される第２符号化コードから量子化されたＭＤＣＴ係数を復号する。具体的には、周波数決定部８０４から示された信号の周波数に対応する復号ＭＤＣＴ係数を配置し、それ以外の周波数にはゼロを与える。
【０１２３】
ＩＭＤＣＴ部９０２は、ＭＤＣＴ係数復号化器９０１から出力されるＭＤＣＴ係数に逆ＭＤＣＴ変換を施し、時間領域の信号を生成して重ね合わせ加算器９０３に出力する。
【０１２４】
重ね合わせ加算器９０３は、復号された拡張フレーム単位の復号信号を重ね合わせ、重ね合わせた復号信号を加算器８０６に出力する。具体的には、重ね合わせ加算器９０３は、復号信号に合成用の窓関数を乗じ、前フレームで復号された時間領域の信号とフレームの半分だけオーバーラップさせて加算して出力信号を生成する。
【０１２５】
このように、本実施の形態の音響復号化装置によれば、基本レイヤの符号化コードを復号化した信号から拡張レイヤの復号化の対象となる周波数を決定することにより、符号化側から復号化側に伝送する基本レイヤの符号化コードのみで拡張レイヤの復号化の対象となる周波数を決定することができ、符号化側から復号化側にこの周波数の情報を伝送する必要がなくなり、低ビットレートで高品質に符号化を行うことができる。
【０１２６】
（実施の形態２)
本実施の形態では、基本レイヤの符号化においてＣＥＬＰを用いる例について説明する。図１０は、本発明の実施の形態２の基本レイヤ符号化器の内部構成の一例を示すブロック図である。図１０は、図１の基本レイヤ符号化器１０２の内部構成を示す図である。図１０の基本レイヤ符号化器１０２は、ＬＰＣ分析器１００１と、聴感重み部１００２と、適応符号帳探索器１００３と、適応ゲイン量子化器１００４と、目標ベクトル生成器１００５と、雑音符号帳探索器１００６と、雑音ゲイン量子化器１００７と、多重化器１００８とから主に構成される。
【０１２７】
ＬＰＣ分析器１００１は、サンプリングレートＦＬの入力信号のＬＰＣ係数を算出し、このＬＰＣ係数をＬＳＰ係数などの量子化に適したパラメータに変換して量子化する。そして、ＬＰＣ分析器１００１は、この量子化で得られる符号化コードを多重化器１００８に出力する。
【０１２８】
また、ＬＰＣ分析器１００１は、符号化コードから量子化後のＬＳＰ係数を算出してＬＰＣ係数に変換し、量子化後のＬＰＣ係数を、適応符号帳探索器１００３、適応ゲイン量子化器１００４、雑音符号帳探索器１００６、及び雑音ゲイン量子化器１００７に出力する。さらに、ＬＰＣ分析器１００１は、量子化前のＬＰＣ係数を聴感重み部１００２、適応符号帳探索器１００３、適応ゲイン量子化器１００４、雑音符号帳探索器１００６、及び雑音ゲイン量子化器１００７に出力する。
【０１２９】
聴感重み部１００２は、ＬＰＣ分析器１００１で求められたＬＰＣ係数に基づいてダウンサンプリング器１０１から出力された入力信号に重み付けを行う。これは、量子化歪のスペクトルを入力信号のスペクトル包絡にマスクされるようスペクトル整形を行うことを目的としている。
【０１３０】
適応符号帳探索器１００３では、聴覚重み付けされた入力信号を目標信号として適応符号帳の探索が行われる。過去の音源系列をピッチ周期で繰り返した信号を適応ベクトルと呼び、あらかじめ定められた範囲のピッチ周期で生成された適応ベクトルによって適応符号帳は構成される。
【０１３１】
聴覚重み付けされた入力信号をｔ（ｎ）、ピッチ周期ｉの適応ベクトルに量子化前のＬＰＣ係数と量子化後のＬＰＣ係数で構成される重み付き合成フィルタのインパルス応答を畳み込んだ信号をｐi（ｎ）としたとき、適応符号帳探索器１００３は、式（１２）の評価関数Ｄを最小とする適応ベクトルのピッチ周期ｉをパラメータとして多重化器１００８に出力する。
【０１３２】
【数１２】
【０１３３】
適応ゲイン量子化器１００４は、適応ベクトルに乗じられる適応ゲインの量子化を行う。適応ゲインβは、以下の式（１３）で表され、適応ゲイン量子化器１００４は、この適応ゲインβをスカラー量子化し、量子化時に得られる符号を多重化器１００８に出力する。
【０１３４】
【数１３】
目標ベクトル生成器１００５は、入力信号から適応ベクトルの影響を減算して、雑音符号帳探索器１００６と雑音ゲイン量子化器１００７で用いる目標ベクトルを生成して出力する。目標ベクトル生成器１００５は、ｐi（ｎ）を式１２で表される評価関数Ｄを最小とするときの適応ベクトルに重み付き合成フィルタのインパルス応答を畳み込んだ信号、βｑを式１３で表される適応ベクトルβをスカラー量子化したときの量子化値としたとき、目標ベクトルｔ２（ｎ）は、以下に示す式（１４）のように表される。
【０１３６】
【数１４】
雑音符号帳探索器１００６は、前記目標ベクトルｔ２（ｎ）と量子化前のＬＰＣ係数と量子化後のＬＰＣ係数を用いて雑音符号帳の探索を行う。例えば、雑音符号帳探索器１００６には、ランダム雑音や大規模な音声信号を使って学習した信号を用いることができる。また、雑音符号帳探索器１００６が備える雑音符号帳は、代数(Algebraic)符号帳のように、振幅１のパルスをあらかじめ定められた非常に少ない数だけ有するベクトルで表されることができる。この代数符号長は、パルスの位置とパルスの符号(極性)の最適な組み合わせを少ない計算量で決定することができるという特徴がある。
【０１３８】
雑音符号帳探索器１００６は、目標ベクトルをｔ２（ｎ）、コードｊに対応する雑音ベクトルに重み付き合成フィルタのインパルス応答を畳み込んだ信号をｃｊ（ｎ）としたとき、以下に示す式（１５）の評価関数Ｄを最小とする雑音ベクトルのインデックスｊを多重化器１００８に出力する。
【０１３９】
【数１５】
雑音ゲイン量子化器１００７は、雑音ベクトルに乗じる雑音ゲインを量子化する。雑音ゲイン量子化器１００７は、以下に示す式（１６）を用いて雑音ゲインγを算出し、この雑音ゲインγをスカラー量子化して多重化器１００８に出力する。
【０１４１】
【数１６】
多重化器１００８は、送られてきたＬＰＣ係数、適応ベクトル、適応ゲイン、雑音ベクトル、雑音ゲインの符号化コードを多重化して局所復号化器１０３及び多重化器１０９に出力する。
【０１４３】
次に、復号化側について説明する。図１１は、本実施の形態の基本レイヤ復号化器の内部構成の一例を示すブロック図である。図１１は、図６の基本レイヤ復号化器８０２の内部構成を示す図である。図１１の基本レイヤ復号化器８０２は、分離器１１０１と、音源生成器１１０２と、合成フィルタ１１０３とから主に構成される。
【０１４４】
分離器１１０１は、分離器８０１から出力された第１符号化コードをＬＰＣ係数、適応ベクトル、適応ゲイン、雑音ベクトル、雑音ゲインの符号化コードに分離して、適応ベクトル、適応ゲイン、雑音ベクトル、雑音ゲインの符号化コードを音源生成器１１０２に出力する。同様に、分離器１１０１は、ＬＰＣ係数の符号化コードを合成フィルタ１１０３に出力する。
【０１４５】
音源生成器１１０２は、適応ベクトル、適応ベクトルゲイン、雑音ベクトル、雑音ベクトルゲインの符号化コードを復号し、以下に示す式（１７）を用いて音源ベクトルｅｘ（ｎ）を生成する。
【０１４６】
【数１７】
【０１４７】
合成フィルタ１１０３では、ＬＰＣ係数の符号化コードからＬＰＣ係数を復号し、以下に示す式（１８）を用いて復号されたＬＰＣ係数から合成信号ｓｙｎ（ｎ）を生成する。
【０１４８】
【数１８】
【０１４９】
このように、本実施の形態の音響符号化装置及び音響復号化装置によれば、送信側において、基本レイヤにＣＥＬＰを適用して入力信号を符号化し、受信側において、この符号化した入力信号にＣＥＬＰを適用して復号することにより、低ビットレートで高品質な基本レイヤを実現することができる。
【０１５０】
なお、本実施の形態の音声符号化装置は、量子化歪の知覚を抑制するために、合成フィルタ１１０３の後にポストフィルタを従属接続する構成を採ることもできる。図１２は、本実施の形態の基本レイヤ復号化器の内部構成の一例を示すブロック図である。但し、図１１と同一の構成となるものについては、図１１と同一番号を付し、詳しい説明を省略する。
【０１５１】
ポストフィルタ１２０１は、量子化歪の知覚の抑制の実現のために様々な構成を適用しうるが、代表的な方法として、分離器１１０１で復号されて得られるＬＰＣ係数から構成されるホルマント強調フィルタを用いる方法がある。ホルマント強調フィルタＨf（ｚ）は以下に示す式（１９）で表される。
【０１５２】
【数１９】
【０１５３】
（実施の形態３）
図１３は、本発明の実施の形態３に係る音響符号化装置の周波数決定部の内部構成の一例を示すブロック図である。但し、図４と同一の構成となるものについては、図４と同一番号を付し、詳しい説明を省略する。図１３の周波数決定部１０７は、推定誤差スペクトル算出器１３０１と、決定部１３０２とを具備し、基本レイヤ復号信号の振幅スペクトルＰ（ｍ）から推定誤差スペクトルＥ’（ｍ）を推定し、推定誤差スペクトルＥ’（ｍ）と推定聴覚マスキングＭ’（ｍ）とを用いて拡張レイヤ符号化器１０８で符号化される誤差スペクトルの周波数を決定する点が図４と異なる。
【０１５４】
ＦＦＴ部４０１は、アップサンプリング器１０４から出力された基本レイヤ復号信号ｘ（ｎ）を直交変換して振幅スペクトルＰ（ｍ）を算出して推定聴覚マスキング算出器４０２と推定誤差スペクトル算出器１３０１に出力する。
【０１５５】
推定誤差スペクトル算出器１３０１は、ＦＦＴ部４０１で算出される基本レイヤ復号信号の振幅スペクトルＰ（ｍ）から推定誤差スペクトルＥ’（ｍ）を算出して決定部１３０２に出力する。推定誤差スペクトルＥ’（ｍ）は、基本レイヤ復号信号の振幅スペクトルＰ（ｍ）を平坦に近づける処理を施し算出される。具体的には、推定誤差スペクトル算出器１３０１は、以下の式（２０）を用いて推定誤差スペクトルＥ’（ｍ）を算出する。
【０１５６】
【数２０】
【０１５７】
決定部１３０２は、推定誤差スペクトル算出器１３０１において推定された推定誤差スペクトルＥ’（ｍ）と推定聴覚マスキング算出器４０２で得られる推定聴覚マスキングＭ’（ｍ）を用いて拡張レイヤ符号化器１０８で誤差スペクトルを符号化する対象の周波数を決定する。
【０１５８】
次に、本実施の形態の推定誤差スペクトル算出器１３０１が算出する推定誤差スペクトルについて説明する。図１４は、本実施の形態の推定誤差スペクトル算出器が算出する残差スペクトルの一例を示す図である。
【０１５９】
誤差スペクトルＥ（ｍ）は、図１４に示すように基本レイヤ復号信号の振幅スペクトルＰ（ｍ）に比べスペクトルの形状が平坦になり、かつ全帯域のパワーが小さくなっている。よって、振幅スペクトルＰ（ｍ）をγ（０＜γ＜１）乗することによりスペクトル形状を平坦化し、ａ（０＜ａ＜１）倍することにより全体域のパワーを減少させることにより、誤差スペクトルの推定精度を向上させることができる。
【０１６０】
同様に、復号化側も音響復号化装置８００の周波数決定部８０４の内部構成を符号化側の図１３の周波数決定部１０７と同じ構成とする。
【０１６１】
このように、本実施の形態の音響符号化装置によれば、基本レイヤの復号信号のスペクトルから推定した残差スペクトルを平滑化することにより、推定誤差スペクトルを残差スペクトルに近似することができ、拡張レイヤにて誤差スペクトルを効率よく符号化することができる。
【０１６２】
なお、本実施の形態では、ＦＦＴを用いた場合について説明したが、前述した実施の形態１と同様に、ＦＦＴの代わりにＭＤＣＴを用いる構成も可能である。
【０１６３】
（実施の形態４）
図１５は、本発明の実施の形態４に係る音響符号化装置の周波数決定部の内部構成の一例を示すブロック図である。但し、図４と同一の構成となるものについては、図４と同一番号を付し、詳しい説明を省略する。図１５の周波数決定部１０７は、推定聴覚マスキング修正部１５０１と、決定部１５０２とを具備し、周波数決定部１０７において、基本レイヤ復号信号の振幅スペクトルＰ（ｍ）から推定聴覚マスキング算出器４０２にて推定聴覚マスキングＭ’（ｍ）を算出した後に、この推定聴覚マスキングＭ’（ｍ）に基本レイヤ符号化器１０２の符号化コードの情報を基に修正を加える点が図４と異なる。
【０１６４】
ＦＦＴ部４０１は、アップサンプリング器１０４から出力された基本レイヤ復号信号ｘ（ｎ）を直交変換して振幅スペクトルＰ（ｍ）を算出して推定聴覚マスキング算出器４０２と決定部１５０２に出力する。推定聴覚マスキング算出器４０２は、基本レイヤ復号信号の振幅スペクトルＰ（ｍ）を用いて推定聴覚マスキングＭ’（ｍ）を算出して推定聴覚マスキング修正部１５０１に出力する。
【０１６５】
推定聴覚マスキング修正部１５０１は、基本レイヤ符号化器１０２から入力される基本レイヤの符号化コードの情報を用いて推定聴覚マスキング算出器４０２で求められる推定聴覚マスキングＭ’（ｍ）に修正を加える。
【０１６６】
ここでは、基本レイヤの符号化コードの情報として、復号ＬＰＣ係数から算出される１次のＰＡＲＣＯＲ係数が与えられるものとする。一般にＬＰＣ係数やＰＡＲＣＯＲ係数は入力信号のスペクトル包絡を表現する。ＰＡＲＣＯＲ係数の次数を下げていくと、ＰＡＲＣＯＲ係数の性質から、スペクトル包絡の形状が簡略化されてゆき、ＰＡＲＣＯＲ係数の次数が１次のときにスペクトルの傾きの程度を表すようになる。
【０１６７】
一方で、入力信号として与えられる楽音や音声のスペクトル特性には、高域に対して低域にパワーが偏っている場合（例えば母音）やその逆の場合（例えば子音）が存在する。基本レイヤ復号信号はこういった入力信号のスペクトル特性に影響を受けやすく、必要以上にスペクトルのパワーの偏りを強調してしまう傾向にある。
【０１６８】
そこで、本実施の形態の音響符号化装置は、推定聴覚マスキング修正部１５０１において、前述した１次のＰＡＲＣＯＲ係数を利用して過度に強調されたスペクトルの偏りを補正することにより、推定マスキングＭ’（ｍ）の精度を向上させることができる。
【０１６９】
推定聴覚マスキング修正部１５０１は、以下に示す式（２１）を用いて基本レイヤ符号化器１０２から出力された１次のＰＡＲＣＯＲ係数ｋ（１）から修正フィルタＨk（ｚ）を算出する。
【０１７０】
【数２１】
【０１７１】
【数２２】
そして、推定聴覚マスキング修正部１５０１は、以下の式（２３）を用いて修正フィルタの振幅特性Ｋ（ｍ）から修正後の推定聴覚マスキングＭ’’（ｍ）を算出する。
【０１７３】
【数２３】
そして、推定聴覚マスキング修正部１５０１は、推定聴覚マスキングＭ’（ｍ）の代わりに修正後の聴覚マスキングＭ’’（ｍ）を決定部１５０２に出力する。
【０１７５】
決定部１５０２は、基本レイヤ復号信号の振幅スペクトルＰ（ｍ）と推定聴覚マスキング修正部１５０１から出力される修正後の聴覚マスキングＭ’’（ｍ）を用いて拡張レイヤ符号化器１０８で誤差スペクトルを符号化する対象の周波数を決定する。
【０１７６】
このように本実施の形態の音響符号化装置によれば、マスキング効果の特性を利用して、入力信号のスペクトルから聴覚マスキングを算出し、拡張レイヤの符号化において、量子化歪をこのマスキング値以下になるように量子化を行うことにより、品質の劣化を伴わずに量子化の対象となるＭＤＣＴ係数の数を減らすことができ、低ビットレートで高品質に符号化を行うことができる。
【０１７７】
このように、本実施の形態の音響符号化装置によれば、基本レイヤ復号信号の振幅スペクトルから推定した推定聴覚マスキングを、基本レイヤ符号化器の符号化コードの情報を基に修正を加えることにより、推定聴覚マスキングの精度を向上させることができ、結果拡張レイヤにて誤差スペクトルを効率よく符号化することができる。
【０１７８】
同様に、復号化側も音響復号化装置８００の周波数決定部８０４の内部構成を符号化側の図１５の周波数決定部１０７と同じ構成とする。
【０１７９】
なお、本実施の形態の周波数決定部１０７は、本実施の形態と実施の形態３とを組み合わせた構成を採ることもできる。図１６は、本実施の形態の音響符号化装置の周波数決定部の内部構成の一例を示すブロック図である。但し、図４と同一の構成となるものについては、図４と同一番号を付し、詳しい説明を省略する。
【０１８０】
ＦＦＴ部４０１は、アップサンプリング器１０４から出力された基本レイヤ復号信号ｘ（ｎ）を直交変換して振幅スペクトルＰ（ｍ）を算出して推定聴覚マスキング算出器４０２と推定誤差スペクトル算出器１３０１に出力する。
【０１８１】
推定聴覚マスキング算出器４０２は、基本レイヤ復号信号の振幅スペクトルＰ（ｍ）を用いて推定聴覚マスキングＭ’（ｍ）を算出して推定聴覚マスキング修正部１５０１に出力する。
【０１８２】
推定聴覚マスキング修正部１５０１は、基本レイヤ符号化器１０２から入力される基本レイヤの符号化コードの情報が推定聴覚マスキング修正部１５０１を用いて推定聴覚マスキング算出器４０２で求められる推定聴覚マスキングＭ’（ｍ）に修正を加える。
【０１８３】
推定誤差スペクトル算出器１３０１は、ＦＦＴ部４０１で算出される基本レイヤ復号信号の振幅スペクトルＰ（ｍ）から推定誤差スペクトルＥ’（ｍ）を算出して決定部１６０１に出力する。
【０１８４】
決定部１６０１は、推定誤差スペクトル算出器１３０１において推定された推定誤差スペクトルＥ’（ｍ）と推定聴覚マスキング修正部１５０１から出力される修正後の聴覚マスキングＭ’’（ｍ）を用いて拡張レイヤ符号化器１０８で誤差スペクトルを符号化する対象の周波数を決定する。
【０１８５】
また、本実施の形態では、ＦＦＴを用いた場合について説明したが、前述した実施の形態１と同様に、ＦＦＴの代わりにＭＤＣＴを用いる構成も可能である。
【０１８６】
（実施の形態５）
図１７は、本発明の実施の形態５に係る音響符号化装置の拡張レイヤ符号化器の内部構成の一例を示すブロック図である。但し、図６と同一の構成となるものについては、図６と同一番号を付し、詳しい説明を省略する。図１７の拡張レイヤ符号化器は、順序づけ部１７０１と、ＭＤＣＴ係数量子化器１７０２を具備し、周波数決定部１０７から与えられる周波数を推定歪値Ｄ（ｍ）の大きさに従い周波数別で符号化後の情報量に重み付けを行う点が図６の拡張レイヤ符号化器と異なる。
【０１８７】
図１７において、ＭＤＣＴ部６０１は、減算器１０６から出力された入力信号に分析窓を乗じた後、ＭＤＣＴ変換(変形離散コサイン変換)してＭＤＣＴ係数を求め、ＭＤＣＴ係数量子化器１７０２に出力する。
【０１８８】
順序づけ部１７０１は、周波数決定部１０７で求められた周波数情報を受けつけ、各周波数の推定誤差スペクトルＥ’（ｍ）が推定聴覚マスキングＭ’（ｍ）を超える量（以後、推定歪値と呼ぶ）Ｄ（ｍ）を算出する。この推定歪値Ｄ（ｍ）は、以下に示す式（２４）で定義される。
【０１８９】
【数２４】
ここで、順序づけ部１７０１は、以下に示す式（２５）を満たす推定歪値Ｄ（ｍ）のみ算出する。
【０１９１】
【数２５】
そして、順序づけ部１７０１は、推定歪値Ｄ（ｍ）の大きさが大きいものから順序付けを行い、その周波数情報をＭＤＣＴ係数量子化器１７０２に出力する。ＭＤＣＴ係数量子化器１７０２では、推定歪値Ｄ（ｍ）により順序付けされた周波数情報を基に、推定歪値Ｄ（ｍ）の大きいものからその周波数に位置する誤差スペクトルＥ（ｍ）にビットを多く配分して量子化を行う。
【０１９３】
ここでは例として、周波数決定手段から送られてくる周波数と推定歪値が図１８である場合について説明する。図１８は、本実施の形態の順序づけ部の推定歪値の順位づけの一例を示す図である。
【０１９４】
順序づけ部１７０１は、図１８の情報から、推定歪値Ｄ（ｍ）が大きい順に周波数の並べ替えを行う。この例では、順序づけ部１７０１の処理の結果、周波数ｍ＝７、８、４、９、１、１１、３、１２の順序が得られる。順序づけ部１７０１は、この順序付けの情報をＭＤＣＴ係数量子化器１７０２に出力する。
【０１９５】
ＭＤＣＴ係数量子化器１７０２では、ＭＤＣＴ部６０１から与えられる誤差スペクトルＥ（ｍ）の内、順序づけ部１７０１から与えられる順序付けの情報を基にして、Ｅ（７）、Ｅ（８）、Ｅ（４）、Ｅ（９）、Ｅ（１）、Ｅ（１１）、Ｅ（３）、Ｅ（１２）を量子化する。
【０１９６】
このとき、順序づけの先頭に位置する誤差スペクトルの量子化に用いられるビット数は多く配分され、末尾にいくに従いビット数は少なく配分される。すなわち、推定歪値Ｄ（ｍ）が大きい周波数ほど誤差スペクトルの量子化に用いられるビット数は多く配分され、推定歪値Ｄ（ｍ）が小さい周波数ほど誤差スペクトルの量子化に用いられるビット数は少なく配分される。
【０１９７】
例えば、Ｅ（７）を８ビット、Ｅ（８）、Ｅ（４）を７ビット、Ｅ（９）、Ｅ（１）を６ビット、Ｅ（１１）、Ｅ（３）、Ｅ（１２）を５ビットというようなビット配分を実施する。このような推定歪値Ｄ（ｍ）に応じた適応ビット配分を行うことにより、量子化の効率が向上することになる。
【０１９８】
ベクトル量子化を適用する場合には、拡張レイヤ符号化器１０８は、先頭に位置する誤差スペクトルから順にベクトルを構成し、それぞれのベクトルに対してベクトル量子化を行う。このとき、先頭に位置する誤差スペクトルのビット配分が多くなり、末尾に位置する誤差スペクトルのビット配分が小さくなるようなベクトルの構成と量子化ビット配分が成される。図１８の例では、Ｖ１＝（Ｅ（７）、Ｅ（８））、Ｖ２＝（Ｅ（４）、Ｅ（９））、Ｖ３＝（Ｅ（１）、Ｅ（１１）、Ｅ（３）、Ｅ（１２））のように、２次元、２次元、４次元の３ベクトルを構成し、Ｖ１を１０ビット、Ｖ２を８ビット、Ｖ３を８ビットというようなビット配分を行う。
【０１９９】
このように、本実施の形態の音響符号化装置によれば、拡張レイヤでの符号化において、推定誤差スペクトルが推定聴覚マスキングを超える量が大きい周波数に多くの情報量を配分して符号化することにより、量子化効率の向上を図ることができる。
【０２００】
次に復号化側について説明する。図１９は、本発明の実施の形態５に係るの音響復号化装置の拡張レイヤ復号化器の内部構成の一例を示すブロック図である。但し、図９と同一の構成となるものについては、図９と同一番号を付し、詳しい説明を省略する。図１９の拡張レイヤ復号化器８０５は、順序づけ部１９０１と、ＭＤＣＴ係数復号化器１９０２とを具備し、周波数決定部８０４から与えられる周波数を推定歪値Ｄ（ｍ）の大きさに従い順序付けを行う点が図９と異なる。
【０２０１】
順序づけ部１９０１は、上述の式（２４）を用いて推定歪値Ｄ（ｍ）を算出する。順序づけ部１９０１は、上述の順序づけ部１７０１と同一の構成を採る。この構成により適応ビット配分を行い量子化効率の向上を図ることができる上述の音響符号化法の符号化コードを復号することができる。
【０２０２】
ＭＤＣＴ係数復号化器１９０２は、推定歪値Ｄ（ｍ）の大きさに従い順序付けされた周波数の情報を用いて分離器８０１から出力された第２符号化コードを復号化する。具体的には、ＭＤＣＴ係数復号化器１９０２は、周波数決定部８０４から与えられる周波数に対応する復号ＭＤＣＴ係数を配置し、それ以外の周波数にはゼロを与える。次にＩＭＤＣＴ部９０２は、ＭＤＣＴ係数復号化器１９０２から得られるＭＤＣＴ係数に逆ＭＤＣＴ変換を施し、時間領域の信号を生成する。
【０２０３】
重ね合わせ加算器９０３は、前記信号に合成用の窓関数を乗じ、前フレームで復号された時間領域の信号とフレームの半分だけオーバーラップさせて加算して出力信号を生成する。重ね合わせ加算器９０３は、この出力信号を加算器８０６に出力する。
【０２０４】
このように、本実施の形態の音響復号化装置によれば、拡張レイヤでの符号化において、推定誤差スペクトルが推定聴覚マスキングを超える量に応じて適応ビット配分されたベクトル量子化を行うことにより、量子化効率の向上を図ることができる。
【０２０５】
（実施の形態６）
図２０は、本発明の実施の形態６に係る音響符号化装置の拡張レイヤ符号化器の内部構成の一例を示すブロック図である。但し、図６と同一の構成となるものについては、図６と同一番号を付し、詳しい説明を省略する。図２０の拡張レイヤ符号化器は、固定帯域指定部２００１と、ＭＤＣＴ係数量子化器２００２とを具備し、あらかじめ定めておいた帯域に含まれるＭＤＣＴ係数を周波数決定部１０７から得られる周波数と共に量子化する点が図６の拡張レイヤ符号化器と異なる。
【０２０６】
図２０において、固定帯域指定部２００１には、あらかじめ聴感上重要な帯域が設定されている。ここでは、設定されている帯域に含まれる周波数をｍ＝１５、１６とする。
【０２０７】
ＭＤＣＴ係数量子化器２００２は、ＭＤＣＴ部６０１から出力された入力信号に周波数決定部１０７から出力された聴覚マスキングを用いて入力信号を量子化する係数と量子化しない係数に分類し、量子化する係数と、さらに固定帯域指定部２００１が設定する帯域にある係数を符号化する。
【０２０８】
その周波数が図１８で示されたものであるとすると、ＭＤＣＴ係数量子化器２００２では、誤差スペクトルＥ（１）、Ｅ（３）、Ｅ（４）、Ｅ（７）、Ｅ（８）、Ｅ（９）、Ｅ（１１）、Ｅ（１２）および、固定帯域指定部２００１で指定される周波数の誤差スペクトルＥ（１５）、Ｅ（１６）が量子化される。
【０２０９】
このように、本実施の形態の音響符号化装置によれば、符号化の対象として選択されにくいが聴覚的に重要な帯域を強制的に量子化することにより、本来符号化の対象として選択されるべき周波数が選択されない場合でも、聴覚的に重要な帯域に含まれる周波数に位置する誤差スペクトルは必ず量子化されることになり、品質を改善することができる。
【０２１０】
次に、復号化側について説明する。図２１は、本発明の実施の形態６に係る音響復号化装置の拡張レイヤ復号化器の内部構成の一例を示すブロック図である。但し、図９と同一の構成となるものについては、図９と同一番号を付し、詳しい説明を省略する。図２１の拡張レイヤ復号化器は、固定帯域指定部２１０１と、ＭＤＣＴ係数復号化器２１０２とを具備し、あらかじめ定めておいた帯域に含まれるＭＤＣＴ係数を周波数決定部８０４から得られる周波数と共に復号化する点が図９の拡張レイヤ復号化器と異なる。
【０２１１】
図２１において、固定帯域指定部２１０１には、あらかじめ聴感上重要な帯域が設定されている。
【０２１２】
ＭＤＣＴ係数復号化器２１０２は、周波数決定部８０４から出力される復号化の対象となる誤差スペクトルの周波数に基づいて分離器８０１から出力される第２符号化コードから量子化されたＭＤＣＴ係数を復号する。具体的には、周波数決定部８０４と固定帯域指定部２１０１から示された信号の周波数に対応する復号ＭＤＣＴ係数を配置し、それ以外の周波数にはゼロを与える。
【０２１３】
ＩＭＤＣＴ部９０２は、ＭＤＣＴ係数復号化器２１０２から出力されるＭＤＣＴ係数に逆ＭＤＣＴ変換を施し、時間領域の信号を生成して重ね合わせ加算器９０３に出力する。
【０２１４】
このように、本実施の形態の音響復号化装置によれば、あらかじめ定めておいた帯域に含まれるＭＤＣＴ係数を復号化することにより、符号化の対象として選択されにくいが聴覚的に重要な帯域を強制的に量子化された信号を復号化することができ、符号化側において本来符号化の対象として選択されるべき周波数が選択されない場合でも、聴覚的に重要な帯域に含まれる周波数に位置する誤差スペクトルは必ず量子化されることになり、品質の改善することができる。
【０２１５】
なお、本実施の形態の拡張レイヤ符号化器及び拡張レイヤ復号化器は、本実施の形態と実施の形態５とを組み合わせた構成を採ることもできる。図２２は、本実施の形態の音響符号化装置の周波数決定部の内部構成の一例を示すブロック図である。但し、図６と同一の構成となるものについては、図６と同一番号を付し、詳しい説明を省略する。
【０２１６】
図２２において、ＭＤＣＴ部６０１は、減算器１０６から出力された入力信号に分析窓を乗じた後、ＭＤＣＴ変換(変形離散コサイン変換)してＭＤＣＴ係数を求め、ＭＤＣＴ係数量子化器２２０１に出力する。
【０２１７】
順序づけ部１７０１は、周波数決定部１０７で求められた周波数情報を受けつけ、各周波数の推定誤差スペクトルＥ’（ｍ）が推定聴覚マスキングＭ’（ｍ）を超える量（以後、推定歪値と呼ぶ）Ｄ（ｍ）を算出する。
固定帯域指定部２００１には、あらかじめ聴感上重要な帯域が設定されている。
【０２１８】
ＭＤＣＴ係数量子化器２２０１では、推定歪値Ｄ（ｍ）により順序付けされた周波数情報を基に、推定歪値Ｄ（ｍ）の大きいものからその周波数に位置する誤差スペクトルＥ（ｍ）にビットを多く配分して量子化を行う。また、ＭＤＣＴ係数量子化器２２０１は、固定帯域指定部２００１が設定する帯域にある係数を符号化する。
【０２１９】
次に復号化側について説明する。図２３は、本発明の実施の形態６に係る音響復号化装置の拡張レイヤ復号化器の内部構成の一例を示すブロック図である。但し、図９と同一の構成となるものについては、図９と同一番号を付し、詳しい説明を省略する。
【０２２０】
図２３において、順序づけ部１９０１は、周波数決定部８０４で求められた周波数情報を受けつけ、各周波数の推定誤差スペクトルＥ’（ｍ）が推定聴覚マスキングＭ’（ｍ）を超える量（以後、推定歪値と呼ぶ）Ｄ（ｍ）を算出する。
【０２２１】
そして、順序づけ部１９０１は、推定歪値Ｄ（ｍ）の大きさが大きいものから順序付けを行い、その周波数情報をＭＤＣＴ係数復号化器２３０１に出力する。固定帯域指定部２１０１には、あらかじめ聴感上重要な帯域が設定されている。
【０２２２】
ＭＤＣＴ係数復号化器２３０１は、順序づけ部１９０１から出力される復号化の対象となる誤差スペクトルの周波数に基づいて分離器８０１から出力される第２符号化コードから量子化されたＭＤＣＴ係数を復号する。具体的には、周波数決定部８０４と固定帯域指定部２１０１から示された信号の周波数に対応する復号ＭＤＣＴ係数を配置し、それ以外の周波数にはゼロを与える。
【０２２３】
ＩＭＤＣＴ部９０２は、ＭＤＣＴ係数復号化器２３０１から出力されるＭＤＣＴ係数に逆ＭＤＣＴ変換を施し、時間領域の信号を生成して重ね合わせ加算器９０３に出力する。
【０２２４】
（実施の形態７）
次に、本発明の実施の形態７について、図面を参照して説明する。図２４は、本発明の実施の形態７に係る通信装置の構成を示すブロック図である。図２３における信号処理装置２４０３は前述した実施の形態１から実施の形態６に示した音響符号化装置の中の１つによって構成されている点に本実施の形態の特徴がある。
【０２２５】
図２４に示すように、本発明の実施の形態７に係る通信装置２４００は、入力装置２４０１、Ａ／Ｄ変換装置２４０２及びネットワーク２４０４に接続されている信号処理装置２４０３を具備している。
【０２２６】
Ａ／Ｄ変換装置２４０２は、入力装置２４０１の出力端子に接続されている。信号処理装置２４０３の入力端子は、Ａ／Ｄ変換装置２４０２の出力端子に接続されている。信号処理装置２４０３の出力端子はネットワーク２４０４に接続されている。
【０２２７】
入力装置２４０１は、人間の耳に聞こえる音波を電気的信号であるアナログ信号に変換してＡ／Ｄ変換装置２４０２に与える。Ａ／Ｄ変換装置２４０２はアナログ信号をディジタル信号に変換して信号処理装置２４０３に与える。信号処理装置２４０３は入力されてくるディジタル信号を符号化してコードを生成し、ネットワーク２４０４に出力する。
【０２２８】
このように、本発明の実施の形態の通信装置によれば、通信において前述した実施の形態１〜６に示したような効果を享受でき、少ないビット数で効率よく音響信号を符号化する音響符号化装置を提供することができる。
【０２２９】
（実施の形態８）
次に、本発明の実施の形態８について、図面を参照して説明する。図２５は、本発明の実施の形態８に係る通信装置の構成を示すブロック図である。図２５における信号処理装置２５０３は前述した実施の形態１から実施の形態６に示した音響復号化装置の中の１つによって構成されている点に本実施の形態の特徴がある。
【０２３０】
図２５に示すように、本発明の実施の形態８に係る通信装置２５００は、ネットワーク２５０１に接続されている受信装置２５０２、信号処理装置２５０３、及びＤ／Ａ変換装置２５０４及び出力装置２５０５を具備している。
【０２３１】
受信装置２５０２の入力端子は、ネットワーク２５０１に接続されている。信号処理装置２５０３の入力端子は、受信装置２５０２の出力端子に接続されている。Ｄ／Ａ変換装置２５０４の入力端子は、信号処理装置２５０３の出力端子に接続されている。出力装置２５０５の入力端子は、Ｄ／Ａ変換装置２５０４の出力端子に接続されている。
【０２３２】
受信装置２５０２は、ネットワーク２５０１からのディジタルの符号化音響信号を受けてディジタルの受信音響信号を生成して信号処理装置２５０３に与える。信号処理装置２５０３は、受信装置２５０２からの受信音響信号を受けてこの受信音響信号に復号化処理を行ってディジタルの復号化音響信号を生成してＤ／Ａ変換装置２５０４に与える。Ｄ／Ａ変換装置２５０４は、信号処理装置２５０３からのディジタルの復号化音声信号を変換してアナログの復号化音声信号を生成して出力装置２５０５に与える。出力装置２５０５は、電気的信号であるアナログの復号化音響信号を空気の振動に変換して音波として人間の耳に聴こえるように出力する。
【０２３３】
このように、本実施の形態の通信装置によれば、通信において前述した実施の形態１〜６に示したような効果を享受でき、少ないビット数で効率よく符号化された音響信号を復号することができるので、良好な音響信号を出力することができる。
【０２３４】
（実施の形態９）
次に、本発明の実施の形態９について、図面を参照して説明する。図２６は、本発明の実施の形態９に係る通信装置の構成を示すブロック図である。本発明の実施の形態９において、図２６における信号処理装置２６０３は、前述した実施の形態１から実施の形態６に示した音響符号化器の中の１つによって構成されている点に本実施の形態の特徴がある。
【０２３５】
図２６に示すように、本発明の実施の形態９に係る通信装置２６００は、入力装置２６０１、Ａ／Ｄ変換装置２６０２、信号処理装置２６０３、ＲＦ変調装置２６０４及びアンテナ２６０５を具備している。
【０２３６】
入力装置２６０１は人間の耳に聞こえる音波を電気的信号であるアナログ信号に変換してＡ／Ｄ変換装置２６０２に与える。Ａ／Ｄ変換装置２６０２はアナログ信号をディジタル信号に変換して信号処理装置２６０３に与える。信号処理装置２６０３は入力されてくるディジタル信号を符号化して符号化音響信号を生成し、ＲＦ変調装置２６０４に与える。ＲＦ変調装置２６０４は、符号化音響信号を変調して変調符号化音響信号を生成し、アンテナ２６０５に与える。アンテナ２６０５は、変調符号化音響信号を電波として送信する。
【０２３７】
このように、本実施の形態の通信装置によれば、無線通信において前述した実施の形態１〜６に示したような効果を享受でき、少ないビット数で効率よく音響信号を符号化することができる。
【０２３８】
なお、本発明は、オーディオ信号を用いる送信装置、送信符号化装置又は音響信号符号化装置に適用することができる。また、本発明は、移動局装置又は基地局装置にも適用することができる。
【０２３９】
（実施の形態１０）
次に、本発明の実施の形態１０について、図面を参照して説明する。図２７は、本発明の実施の形態１０に係る通信装置の構成を示すブロック図である。本発明の実施の形態１０において、図２７における信号処理装置２７０３は、前述した実施の形態１から実施の形態６に示した音響復号化器の中の１つによって構成されている点に本実施の形態の特徴がある。
【０２４０】
図２７に示すように、本発明の実施の形態１０に係る通信装置２７００は、アンテナ２７０１、ＲＦ復調装置２７０２、信号処理装置２７０３、Ｄ／Ａ変換装置２７０４及び出力装置２７０５を具備している。
【０２４１】
アンテナ２７０１は、電波としてのディジタルの符号化音響信号を受けて電気信号のディジタルの受信符号化音響信号を生成してＲＦ復調装置２７０２に与える。ＲＦ復調装置２７０２は、アンテナ２７０１からの受信符号化音響信号を復調して復調符号化音響信号を生成して信号処理装置２７０３に与える。
【０２４２】
信号処理装置２７０３は、ＲＦ復調装置２７０２からのディジタルの復調符号化音響信号を受けて復号化処理を行ってディジタルの復号化音響信号を生成してＤ／Ａ変換装置２７０４に与える。Ｄ／Ａ変換装置２７０４は、信号処理装置２７０３からのディジタルの復号化音声信号を変換してアナログの復号化音声信号を生成して出力装置２７０５に与える。出力装置２７０５は、電気的信号であるアナログの復号化音声信号を空気の振動に変換して音波として人間の耳に聴こえるように出力する。
【０２４３】
このように、本実施の形態の通信装置によれば、無線通信において前述した実施の形態１〜６に示したような効果を享受でき、少ないビット数で効率よく符号化された音響信号を復号することができるので、良好な音響信号を出力することができる。
【０２４４】
なお、本発明は、オーディオ信号を用いる受信装置、受信復号化装置又は音声信号復号化装置に適用することができる。また、本発明は、移動局装置又は基地局装置にも適用することができる。
【０２４５】
また、本発明は上記実施の形態に限定されず、種々変更して実施することが可能である。例えば、上記実施の形態では、信号処理装置として行う場合について説明しているが、これに限られるものではなく、この信号処理方法をソフトウェアとして行うことも可能である。
【０２４６】
例えば、上記信号処理方法を実行するプログラムを予めＲＯＭ（Read Only Memory）に格納しておき、そのプログラムをＣＰＵ（Central Processor Unit）によって動作させるようにしても良い。
【０２４７】
また、上記信号処理方法を実行するプログラムをコンピュータで読み取り可能な記憶媒体に格納し、記憶媒体に格納されたプログラムをコンピュータのＲＡＭ（Random Access memory）に記録して、コンピュータをそのプログラムにしたがって動作させるようにしても良い。
【０２４８】
なお、上記説明では、時間領域から周波数領域への変換法にＭＤＣＴを用いる場合について説明を行っているがこれに限定されず直交変換であればいずれも適用できる。例えば、離散フーリエ変換または離散コサイン変換等を適用することもできる。
【０２４９】
なお、本発明は、オーディオ信号を用いる受信装置、受信復号化装置又は音声信号復号化装置に適用することができる。また、本発明は、移動局装置又は基地局装置にも適用することができる。
【０２５０】
【発明の効果】
以上説明したように、本発明の音響符号化装置及び音響符号化方法によれば、入力信号をダウンサンプリングして符号化し、符号化した信号を復号化してアップサンプリングし、このアップサンプリングした復号信号と入力信号との差分信号を符号化する符号化方法において、このアップサンプリングした復号信号から拡張レイヤで符号化の対象となる周波数を決定するため、符号化側と復号化側の両方にある信号のみで前記周波数を決定することができ、よって符号化側から復号化側にこの周波数の情報を伝送ことなく、低ビットレートで高品質に符号化を行うことができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１に係る音響符号化装置の構成を示すブロック図
【図２】音響信号の情報の分布の一例を示す図
【図３】基本レイヤと拡張レイヤで符号化の対象とする領域の一例を示す図
【図４】上記実施の形態の音響符号化装置の周波数決定部の内部構成の一例を示すブロック図
【図５】上記実施の形態の音響符号化装置の聴覚マスキング算出器の内部構成の一例を示す図
【図６】上記実施の形態の拡張レイヤ符号化器の内部構成の一例を示すブロック図
【図７】上記実施の形態の聴覚マスキング算出器の内部構成の一例を示すブロック図
【図８】本発明の実施の形態１に係る音響復号化装置の構成を示すブロック図
【図９】上記実施の形態の音響復号化装置の拡張レイヤ復号化器の内部構成の一例を示すブロック図
【図１０】本発明の実施の形態２の基本レイヤ符号化器の内部構成の一例を示すブロック図
【図１１】上記実施の形態の基本レイヤ復号化器の内部構成の一例を示すブロック図
【図１２】上記実施の形態の基本レイヤ復号化器の内部構成の一例を示すブロック図
【図１３】本発明の実施の形態３に係る音響符号化装置の周波数決定部の内部構成の一例を示すブロック図
【図１４】上記実施の形態の推定誤差スペクトル算出器が算出する残差スペクトルの一例を示す図
【図１５】本発明の実施の形態４に係る音響符号化装置の周波数決定部の内部構成の一例を示すブロック図
【図１６】上記実施の形態の音響符号化装置の周波数決定部の内部構成の一例を示すブロック図
【図１７】本発明の実施の形態５に係る音響符号化装置の拡張レイヤ符号化器の内部構成の一例を示すブロック図
【図１８】上記実施の形態の順序づけ部の推定歪値の順位づけの一例を示す図
【図１９】本発明の実施の形態５に係るの音響復号化装置の拡張レイヤ復号化器の内部構成の一例を示すブロック図
【図２０】本発明の実施の形態６に係る音響符号化装置の拡張レイヤ符号化器の内部構成の一例を示すブロック図
【図２１】本発明の実施の形態６に係る音響復号化装置の拡張レイヤ復号化器の内部構成の一例を示すブロック図
【図２２】上記実施の形態の音響符号化装置の周波数決定部の内部構成の一例を示すブロック図
【図２３】本発明の実施の形態６に係る音響復号化装置の拡張レイヤ復号化器の内部構成の一例を示すブロック図
【図２４】本発明の実施の形態７に係る通信装置の構成を示すブロック図
【図２５】本発明の実施の形態８に係る通信装置の構成を示すブロック図
【図２６】本発明の実施の形態９に係る通信装置の構成を示すブロック図
【図２７】本発明の実施の形態１０に係る通信装置の構成を示すブロック図
【図２８】音響（音楽）信号のスペクトルの一例を示す図
【符号の説明】
１０１ ダウンサンプリング器
１０２ 基本レイヤ符号化器
１０３ 局所復号化器
１０４ アップサンプリング器
１０５ 遅延器
１０６ 減算器
１０７、８０４ 周波数決定部
１０８ 拡張レイヤ符号化器
１０９ 多重化器
４０１ ＦＦＴ部
４０２ 推定聴覚マスキング算出器
４０３ 決定部
６０１、７０１ ＭＤＣＴ部
６０２ ＭＤＣＴ係数量子化器
８０１、１１０１ 分離器
８０２ 基本レイヤ復号化器
８０３ アップサンプリング器
８０５ 拡張レイヤ復号化器
８０６、９０３ 加算器
９０１ ＭＤＣＴ係数復号化器
９０２ ＩＭＤＣＴ部
１１０２ 音源生成器
１１０３ 合成フィルタ
１３０１ 推定誤差スペクトル算出器
１３０２、１５０２、１６０１ 決定部
１５０１ 推定聴覚マスキング修正部
１７０１、１９０１ 順序づけ部
１７０２、２００２、２２０１ ＭＤＣＴ係数量子化器
１９０２、２１０２、２３０１ ＭＤＣＴ係数復号化器
２００１、２１０１ 固定帯域指定部
Claims (14)
- 音響信号に対し聴感重み付けを施し、量子化歪みのスペクトルが前記音響信号のスペクトル包絡にマスクされるようにしてから符号化して第１符号化コードを得る第１符号化手段と、
前記第１符号化コードを復号化して復号信号を得る復号化手段と、
前記復号信号から得られる復号スペクトルについて聴覚マスキング閾値を算出する一方、前記復号スペクトルに対しスケール調整および平滑化を施すことにより、前記聴覚マスキング閾値と比較される誤差スペクトルを前記復号スペクトルから生成し、前記誤差スペクトルのうち当該聴覚マスキング閾値以上の振幅を示す周波数領域を特定する特定手段と、
前記音響信号と前記復号信号との残差信号を得る減算手段と、
前記残差信号のうち、前記特定手段によって特定された周波数領域について符号化を施し、第２符号化コードを得る第２符号化手段と、
を具備することを特徴とする音響符号化装置。 - 前記第１符号化手段は、
前記音響信号の低周波数領域について符号化を施し、
前記第２符号化手段は、
前記残差信号のうち、低周波数領域については、前記特定手段によって特定された周波数領域について符号化を施し、高周波数領域については、予め定められた周波数領域を符号化する、
ことを特徴とする請求項１記載の音響符号化装置。 - 前記第２符号化手段は、
各周波数における前記聴覚マスキング閾値と振幅との差を求め、当該差に基づいて符号化ビットの配分を決定する、
ことを特徴とする請求項１記載の音響符号化装置。 - 前記特定手段は、
前記聴覚マスキング閾値を平滑化し、平滑化された聴覚マスキング閾値以上の振幅を示す周波数領域を特定する、
ことを特徴とする請求項１記載の音響符号化装置。 - 前記第１符号化手段は、ＣＥＬＰ方式による符号化を行い、
前記第２符号化手段は、ＭＤＣＴによる符号化を行う、
ことを特徴とする請求項１記載の音響符号化装置。 - 請求項１記載の音響符号化装置で得られた第１符号化コードを復号化して第１復号信号を得る第１復号化手段と、
前記第１復号信号から得られる復号スペクトルについて聴覚マスキング閾値を算出する一方、前記復号スペクトルに対しスケール調整および平滑化を施すことにより、前記聴覚マスキング閾値と比較される誤差スペクトルを前記復号スペクトルから生成し、前記誤差スペクトルのうち当該聴覚マスキング閾値以上の振幅を示す周波数領域を特定する特定手段と、
第２符号化コードのうち、前記特定手段によって特定された周波数領域について復号化を施し、第２復号信号を得る第２復号化手段と、
前記第１復号信号と前記第２復号信号とを加算して音響信号を得る加算手段と、
を具備することを特徴とする音響復号化装置。 - 前記第１復号化手段は、
前記第１符号化コードを復号化して低周波数領域の第１復号信号を得、
前記第２復号化手段は、
前記第２符号化コードのうち、低周波数領域については、前記特定手段によって特定された周波数領域について復号化を施し、高周波数領域については、予め定められた周波数領域を復号化する、
ことを特徴とする請求項６記載の音響復号化装置。 - 前記第２復号化手段は、
各周波数における前記聴覚マスキング閾値と振幅との差を求め、当該差に基づいて符号化ビットの配分を決定する、
ことを特徴とする請求項６記載の音響復号化装置。 - 前記特定手段は、
前記聴覚マスキング閾値を平滑化し、平滑化された聴覚マスキング閾値以上の振幅を示す周波数領域を特定する、
ことを特徴とする請求項６記載の音響復号化装置。 - 前記第１復号化手段は、ＣＥＬＰ方式による復号化を行い、
前記第２復号化手段は、ＩＭＤＣＴによる復号化を行う、
ことを特徴とする請求項６記載の音響復号化装置。 - 請求項１記載の音響符号化装置あるいは請求項６記載の音響復号化装置を具備することを特徴とする通信端末装置。
- 請求項１記載の音響符号化装置あるいは請求項６記載の音響復号化装置を具備することを特徴とする基地局装置。
- 音響信号に対し聴感重み付けを施し、量子化歪みのスペクトルが前記音響信号のスペクトル包絡にマスクされるようにしてから符号化して第１符号化コードを得る第１符号化ステップと、
前記第１符号化コードを復号化して復号信号を得る復号化ステップと、
前記復号信号から得られる復号スペクトルについて聴覚マスキング閾値を算出する一方、前記復号スペクトルに対しスケール調整および平滑化を施すことにより、前記聴覚マスキング閾値と比較される誤差スペクトルを前記復号スペクトルから生成し、前記誤差スペクトルのうち当該聴覚マスキング閾値以上の振幅を示す周波数領域を特定する特定ステップと、
前記音響信号と前記復号信号との残差信号を得る減算ステップと、
前記残差信号のうち、前記特定ステップで特定された周波数領域について符号化を施し、第２符号化コードを得る第２符号化ステップと、
を具備することを特徴とする音響符号化方法。 - 請求項１３記載の音響符号化方法で得られた第１符号化コードを復号化して第１復号信号を得る第１復号化ステップと、
前記第１復号信号から得られる復号スペクトルについて聴覚マスキング閾値を算出する一方、前記復号スペクトルに対しスケール調整および平滑化を施すことにより、前記聴覚マスキング閾値と比較される誤差スペクトルを前記復号スペクトルから生成し、前記誤差スペクトルのうち当該聴覚マスキング閾値以上の振幅を示す周波数領域を特定する特定ステップと、
第２符号化コードのうち、前記特定ステップで特定された周波数領域について復号化を施し、第２復号信号を得る第２復号化ステップと、
前記第１復号信号と前記第２復号信号とを加算して音響信号を得る加算ステップと、
を具備することを特徴とする音響復号化方法。
Priority Applications (8)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002267436A JP3881946B2 (ja) | 2002-09-12 | 2002-09-12 | 音響符号化装置及び音響符号化方法 |
| US10/512,407 US7752052B2 (en) | 2002-04-26 | 2003-04-28 | Scalable coder and decoder performing amplitude flattening for error spectrum estimation |
| CN2007101529084A CN101131820B (zh) | 2002-04-26 | 2003-04-28 | 编码设备、解码设备、编码方法和解码方法 |
| CNB038093723A CN100346392C (zh) | 2002-04-26 | 2003-04-28 | 编码设备、解码设备、编码方法和解码方法 |
| AU2003234763A AU2003234763A1 (en) | 2002-04-26 | 2003-04-28 | Coding device, decoding device, coding method, and decoding method |
| EP03728004.7A EP1489599B1 (en) | 2002-04-26 | 2003-04-28 | Coding device and decoding device |
| PCT/JP2003/005419 WO2003091989A1 (en) | 2002-04-26 | 2003-04-28 | Coding device, decoding device, coding method, and decoding method |
| US12/775,216 US8209188B2 (en) | 2002-04-26 | 2010-05-06 | Scalable coding/decoding apparatus and method based on quantization precision in bands |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002267436A JP3881946B2 (ja) | 2002-09-12 | 2002-09-12 | 音響符号化装置及び音響符号化方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004102186A JP2004102186A (ja) | 2004-04-02 |
| JP3881946B2 true JP3881946B2 (ja) | 2007-02-14 |
Family
ID=32265925
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002267436A Expired - Lifetime JP3881946B2 (ja) | 2002-04-26 | 2002-09-12 | 音響符号化装置及び音響符号化方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3881946B2 (ja) |
Families Citing this family (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1736965B1 (en) * | 2004-04-28 | 2008-07-30 | Matsushita Electric Industrial Co., Ltd. | Hierarchy encoding apparatus and hierarchy encoding method |
| EP1758099A1 (en) * | 2004-04-30 | 2007-02-28 | Matsushita Electric Industrial Co., Ltd. | Scalable decoder and expanded layer disappearance hiding method |
| EP1780895B1 (en) | 2004-07-28 | 2020-07-01 | III Holdings 12, LLC | Signal decoding apparatus |
| US7895035B2 (en) * | 2004-09-06 | 2011-02-22 | Panasonic Corporation | Scalable decoding apparatus and method for concealing lost spectral parameters |
| BRPI0516201A (pt) * | 2004-09-28 | 2008-08-26 | Matsushita Electric Ind Co Ltd | aparelho de codificação escalonável e método de codificação escalonável |
| KR20070070174A (ko) * | 2004-10-13 | 2007-07-03 | 마츠시타 덴끼 산교 가부시키가이샤 | 스케일러블 부호화 장치, 스케일러블 복호 장치 및스케일러블 부호화 방법 |
| JP4580210B2 (ja) * | 2004-10-19 | 2010-11-10 | ソニー株式会社 | 音声信号処理装置および音声信号処理方法 |
| RU2007115914A (ru) * | 2004-10-27 | 2008-11-10 | Мацусита Электрик Индастриал Ко., Лтд. (Jp) | Кодер звука и способ кодирования звука |
| KR20070084002A (ko) * | 2004-11-05 | 2007-08-24 | 마츠시타 덴끼 산교 가부시키가이샤 | 스케일러블 복호화 장치 및 스케일러블 부호화 장치 |
| ES2476992T3 (es) | 2004-11-05 | 2014-07-15 | Panasonic Corporation | Codificador, descodificador, método de codificación y método de descodificaci�n |
| BRPI0611430A2 (pt) * | 2005-05-11 | 2010-11-23 | Matsushita Electric Ind Co Ltd | codificador, decodificador e seus métodos |
| FR2888699A1 (fr) | 2005-07-13 | 2007-01-19 | France Telecom | Dispositif de codage/decodage hierachique |
| JP4682752B2 (ja) * | 2005-08-22 | 2011-05-11 | ソニー株式会社 | 音声符号化復号装置及び方法、並びに音声復号装置及び方法 |
| JP5173795B2 (ja) * | 2006-03-17 | 2013-04-03 | パナソニック株式会社 | スケーラブル符号化装置およびスケーラブル符号化方法 |
| JP5377287B2 (ja) | 2007-03-02 | 2013-12-25 | パナソニック株式会社 | ポストフィルタ、復号装置およびポストフィルタ処理方法 |
| JP5403949B2 (ja) * | 2007-03-02 | 2014-01-29 | パナソニック株式会社 | 符号化装置および符号化方法 |
| JP4871894B2 (ja) | 2007-03-02 | 2012-02-08 | パナソニック株式会社 | 符号化装置、復号装置、符号化方法および復号方法 |
| KR101411900B1 (ko) * | 2007-05-08 | 2014-06-26 | 삼성전자주식회사 | 오디오 신호의 부호화 및 복호화 방법 및 장치 |
| JP5388849B2 (ja) * | 2007-07-27 | 2014-01-15 | パナソニック株式会社 | 音声符号化装置および音声符号化方法 |
| EP2186087B1 (en) * | 2007-08-27 | 2011-11-30 | Telefonaktiebolaget L M Ericsson (PUBL) | Improved transform coding of speech and audio signals |
| EP2193348A1 (en) * | 2007-09-28 | 2010-06-09 | Voiceage Corporation | Method and device for efficient quantization of transform information in an embedded speech and audio codec |
| EP2224432B1 (en) * | 2007-12-21 | 2017-03-15 | Panasonic Intellectual Property Corporation of America | Encoder, decoder, and encoding method |
| US10325371B1 (en) * | 2019-01-22 | 2019-06-18 | StradVision, Inc. | Method and device for segmenting image to be used for surveillance using weighted convolution filters for respective grid cells by converting modes according to classes of areas to satisfy level 4 of autonomous vehicle, and testing method and testing device using the same |
| CN115577253B (zh) * | 2022-11-23 | 2023-02-28 | 四川轻化工大学 | 一种基于几何功率的监督频谱感知方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0846517A (ja) * | 1994-07-28 | 1996-02-16 | Sony Corp | 高能率符号化及び復号化システム |
| JP3622365B2 (ja) * | 1996-09-26 | 2005-02-23 | ヤマハ株式会社 | 音声符号化伝送方式 |
| JP3134817B2 (ja) * | 1997-07-11 | 2001-02-13 | 日本電気株式会社 | 音声符号化復号装置 |
| JPH11251917A (ja) * | 1998-02-26 | 1999-09-17 | Sony Corp | 符号化装置及び方法、復号化装置及び方法、並びに記録媒体 |
-
2002
- 2002-09-12 JP JP2002267436A patent/JP3881946B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004102186A (ja) | 2004-04-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3881943B2 (ja) | 音響符号化装置及び音響符号化方法 | |
| JP3881946B2 (ja) | 音響符号化装置及び音響符号化方法 | |
| US7752052B2 (en) | Scalable coder and decoder performing amplitude flattening for error spectrum estimation | |
| JP5047268B2 (ja) | Ｍｄｃｔ係数を使用する音声後処理 | |
| US12009003B2 (en) | Device and method for generating a high-band signal from non-linearly processed sub-ranges | |
| EP1939862B1 (en) | Encoding device, decoding device, and method thereof | |
| US9734835B2 (en) | Voice decoding apparatus of adding component having complicated relationship with or component unrelated with encoding information to decoded voice signal | |
| EP3311381B1 (en) | High-band signal generation | |
| JP5535241B2 (ja) | 音声信号復元装置および音声信号復元方法 | |
| JP2003323199A (ja) | 符号化装置、復号化装置及び符号化方法、復号化方法 | |
| JP2001222297A (ja) | マルチバンドハーモニック変換コーダ | |
| EP1881488A1 (en) | Encoder, decoder, and their methods | |
| JP4603485B2 (ja) | 音声・楽音符号化装置及び音声・楽音符号化方法 | |
| CN115171709B (zh) | 语音编码、解码方法、装置、计算机设备和存储介质 | |
| JP4786183B2 (ja) | 音声復号化装置、音声復号化方法、プログラム、記録媒体 | |
| JP2004302259A (ja) | 音響信号の階層符号化方法および階層復号化方法 | |
| JP4287840B2 (ja) | 符号化装置 | |
| JP4373693B2 (ja) | 音響信号の階層符号化方法および階層復号化方法 | |
| JP3576485B2 (ja) | 固定音源ベクトル生成装置及び音声符号化／復号化装置 | |
| JP2002149198A (ja) | 音声符号化装置及び音声復号化装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050405 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050606 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060418 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060616 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20060705 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061107 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061113 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3881946 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091117 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101117 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101117 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111117 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121117 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121117 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131117 Year of fee payment: 7 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |