JP2004101720A

JP2004101720A - 音響符号化装置及び音響符号化方法

Info

Publication number: JP2004101720A
Application number: JP2002261549A
Authority: JP
Inventors: Masahiro Oshikiri; 押切　正浩
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2002-09-06
Filing date: 2002-09-06
Publication date: 2004-04-02
Anticipated expiration: 2022-09-06
Also published as: CN101425294B; US20050252361A1; WO2004023457A1; JP3881943B2; CN100454389C; AU2003257824A1; CN101425294A; EP1533789A1; CN1689069A; US7996233B2; EP1533789A4

Abstract

【課題】遅延が短く低ビットレートで高品質に符号化を行うこと。
【解決手段】ダウンサンプリング器１０１は、サンプリングレートＦＨの入力データをサンプリングレートＦＨより低いサンプリングレートＦＬに変換する。基本レイヤ符号化器１０２は、サンプリングレートＦＬの入力データを所定の基本フレーム単位で符号化する。局所復号化器１０３は、第１符号化コードを復号化する。アップサンプリング器１０４は、復号信号のサンプリングレートをＦＨに上げる。減算器１０６は、入力信号を復号信号で減算し、減算結果を残差信号とする。フレーム分割器１０７は、残差信号を基本フレームより時間長が短い拡張フレームに分割する。拡張レイヤ符号化器１０８は、拡張フレームに分割された残差信号を符号化し、この符号化で得られた第２符号化コードを多重化器１０９に出力する。
【選択図】　　　図１

Description

【０００１】
【発明の属する技術分野】
本発明は、楽音信号または音声信号などの音響信号を高能率に圧縮符号化する音響符号化装置及び音響符号化方法に関し、特に符号化コードの一部からでも楽音や音声を復号することができるスケーラブル符号化を行う音響符号化装置及び音響符号化方法に関する。
【０００２】
【従来の技術】
楽音信号または音声信号を低ビットレートで圧縮する音響符号化技術は、移動体通信における電波等の伝送路容量及び記録媒体の有効利用のために重要である。音声信号を符号化する音声符号化に、ＩＴＵ（Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ　Ｕｎｉｏｎ）で規格化されているＧ７２６、Ｇ７２９などの方式がある。これらの方式は、狭帯域信号（３００Ｈｚ〜３．４ｋＨｚ）を対象とし、８ｋｂｉｔ／ｓ〜３２ｋｂｉｔ／ｓのビットレートで高品質に符号化できる。
【０００３】
また、広帯域信号（５０Ｈｚ〜７ｋＨｚ）を符号化する標準方式としてＩＴＵのＧ７２２、Ｇ７２２．１や、３ＧＰＰ（Ｔｈｅ　３ｒｄ　Ｇｅｎｅｒａｔｉｏｎ　Ｐａｒｔｎｅｒｓｈｉｐ　Ｐｒｏｊｅｃｔ）のＡＭＲ−ＷＢなどが存在する。これらの方式は、６．６ｋｂｉｔ／ｓ〜６４ｋｂｉｔ／ｓのビットレートで広帯域音声信号を高品質に符号化できる。
【０００４】
音声信号を低ビットレートで高能率に符号化を行う有効な方法に、ＣＥＬＰ（Ｃｏｄｅ　Ｅｘｃｉｔｅｄ　Ｌｉｎｅａｒ　Ｐｒｅｄｉｃｔｉｏｎ）がある。ＣＥＬＰは、人間の音声生成モデルを工学的に模擬したモデルに基づき、乱数やパルス列で表される励振信号を周期性の強さに対応するピッチフィルタと声道特性に対応する合成フィルタに通し、その出力信号と入力信号の二乗誤差が聴覚特性の重み付けの下で最小になるよう符号化パラメータを決定する方法である。（例えば、非特許文献１参照）
【０００５】
最近の標準音声符号化方式の多くがＣＥＬＰに基づいており、例えばＧ７２９は、８ｋｂｉｔ／ｓのビットレートで狭帯域信号の符号化でき、ＡＭＲ−ＷＢは６．６ｋｂｉｔ／ｓ〜２３．８５ｋｂｉｔ／ｓのビットレートで広帯域信号を符号化できる。
【０００６】
一方で、楽音信号を符号化する楽音符号化の場合、ＭＰＥＧ（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｅｘｐｅｒｔ　Ｇｒｏｕｐ）で規格化されているレイヤ３方式やＡＡＣ方式のように、楽音信号を周波数領域に変換し、聴覚心理モデルを利用して符号化を行う変換符号化が一般的である。これらの方式は、サンプリングレートが４４．１ｋＨｚの信号に対しチャネル当たり６４ｋｂｉｔ／ｓ〜９６ｋｂｉｔ／ｓのビットレートでほとんど劣化が生じないことが知られている。
【０００７】
しかしながら、音声信号が主体で、背景に音楽や環境音が重畳している信号を符号化する場合、音声符号化方式を適用すると背景部の音楽や環境音の影響で、背景部の信号のみならず音声信号も劣化してしまい全体的な品質が低下するという問題がある。これは、音声符号化方式が、ＣＥＬＰという音声モデルに特化した方式を基本にしているために生じる問題である。また、音声符号化方式が対応できる信号帯域は高々７ｋＨｚまでであり、それ以上の高域を持つ信号に対しては構成上十分に対応しきれないという問題がある。
【０００８】
一方で、楽音符号化は、音楽に対して高品質に符号化を行うことができるので、前述したような背景に音楽や環境音がある音声信号についても十分な品質を得ることができる。また、楽音符号化は、対象となる信号の帯域もＣＤ品質であるサンプリングレートが２２ｋＨｚ程度の信号まで対応可能である。
【０００９】
その反面、高品質な符号化を実現するためにはビットレートを高くして使用する必要があり、仮にビットレートを３２ｋｂｉｔ／ｓ程度まで低く抑えると復号信号の品質が大きく低下するという問題がある。そのため、伝送レートの低い通信網で使用できないという問題がある。
【００１０】
上述した問題を回避するためにこれらの技術を組み合わせて、最初に入力信号を基本レイヤにてＣＥＬＰで符号化し、次にその復号信号を入力信号から減算して得られる残差信号を求め、この信号を拡張レイヤにて変換符号化を行うスケーラブル符号化が考えられる。
【００１１】
この方法では、基本レイヤはＣＥＬＰを用いているため音声信号を高品質に符号化でき、かつ拡張レイヤは基本レイヤで表しきれない背景の音楽や環境音、基本レイヤでカバーする周波数帯よりも高い周波数成分の信号を効率よく符号化することができる。さらにこの構成によればビットレートを低く抑えることができる。加えて、この構成によれば、符号化コードの一部つまり基本レイヤの符号化コードのみから音響信号を復号することが可能であり、このようなスケーラブル機能は伝送容量の異なる複数のネットワークに対するマルチキャストの実現に有効である。
【００１２】
しかしながら、このようなスケーラブル符号化では、拡張レイヤにて遅延が増大するという問題が生じる。この問題について図２７及び図２８を用いて説明する。図２７は、従来の音声符号化における基本レイヤのフレーム（基本フレーム）と拡張レイヤのフレーム（拡張フレーム）の一例を示す図である。図２８は、従来の音声復号化における基本レイヤのフレーム（基本フレーム）と拡張レイヤのフレーム（拡張フレーム）の一例を示す図である。
【００１３】
従来の音声符号化では、基本フレームと拡張フレームが、特定の同じ時間長のフレームで構成されている。図２７において、時刻Ｔ（ｎ−１）〜Ｔ（ｎ）に入力される入力信号は、第ｎ基本フレームとなり基本レイヤにて符号化が行われる。これに対応して拡張レイヤでも時刻Ｔ（ｎ−１）〜Ｔ（ｎ）の残差信号に対して符号化が行われる。
【００１４】
ここで、拡張レイヤでＭＤＣＴ（変形離散コサイン変換）を用いる場合、ＭＤＣＴの分析フレームは前後に隣接する分析フレームと半分ずつ重ね合わせる必要がある。この重ね合わせは、合成時のフレーム間の不連続の発生を防ぐために行われる。
【００１５】
ＭＤＣＴの場合、直交基底は分析フレーム内のみならず隣接する分析フレームとの間でも直交性が成り立つよう設計されており、そのために合成時に隣接する分析フレームと重ね合わせ加算することでフレーム間の不連続による歪の発生を防いでいる。図２７では、第ｎ分析フレームはＴ（ｎ−２）〜Ｔ（ｎ）の長さに設定され、符号化処理が行われる。
【００１６】
復号化処理では、第ｎ基本フレームと第ｎ拡張フレームの復号信号が生成される。拡張レイヤではＩＭＤＣＴ（変形離散コサイン逆変換）が行われ、前述したように前フレーム（この場合は第ｎ−１拡張フレーム）の復号信号と合成フレーム長の半分だけ重ね合わせ加算を行う必要がある。そのために、復号化処理部では時刻Ｔ（ｎ−１）の信号までしか生成することができない。
【００１７】
つまり、図２８に示すような基本フレームと同じ長さの遅延（この場合はＴ（ｎ）−Ｔ（ｎ−１）の時間長）が生じてしまう。仮に、基本フレームの時間長を２０ｍｓとした場合、拡張レイヤで新たに生じる遅延は２０ｍｓとなる。このような遅延の増大は、音声通話サービスを実現する上で深刻な問題となる。
【００１８】
【非特許文献１】
”Ｃｏｄｅ−Ｅｘｃｉｔｅｄ　Ｌｉｎｅａｒ　Ｐｒｅｄｉｃｔｉｏｎ　（ＣＥＬＰ）：　ｈｉｇｈ　ｑｕａｌｉｔｙ　ｓｐｅｅｃｈ　ａｔ　ｖｅｒｙ　ｌｏｗ　ｂｉｔ　ｒａｔｅｓ”，　Ｐｒｏｃ．　ＩＣＡＳＳＰ　８５，　ｐｐ．９３７−９４０，　１９８５．
【００１９】
【発明が解決しようとする課題】
このように、従来の装置においては、音声が主体で背景に音楽や雑音が重畳しているような信号を、遅延が短く低ビットレートで高品質に符号化を行うことが難しいという問題がある。
【００２０】
本発明はかかる点に鑑みてなされたものであり、音声が主体で背景に音楽や雑音が重畳しているような信号であっても、遅延が短く低ビットレートで高品質に符号化を行うことのできる音響符号化装置及び音響符号化方法を提供することを目的とする。
【００２１】
【課題を解決するための手段】
本発明の音響符号化装置は、入力信号のサンプリングレートを下げるダウンサンプリング手段と、サンプリングレートが下げられた入力信号を所定の基本フレーム単位で符号化する基本レイヤ符号化手段と、符号化された入力信号を復号化して復号信号を得る復号化手段と、前記復号信号のサンプリングレートを入力時の入力信号のサンプリングレートと同一のレートに上げるアップサンプリング手段と、入力時の入力信号とサンプリングレートが上げられた復号信号との差分信号を得る減算手段と、前記基本フレームより時間長が短い拡張フレーム単位で前記差分信号を符号化する拡張レイヤ符号化手段と、を具備する構成を採る。
【００２２】
本発明の音響符号化装置は、基本フレーム単位の差分信号を拡張フレーム単位に分割するフレーム分割手段を具備し、前記拡張レイヤ符号化手段は分割された差分信号を符号化する構成を採る。
【００２３】
これらの構成によれば、音響符号化装置側で、基本フレームより短い時間長である拡張フレーム単位に残差信号を分割し、分割した残差信号を符号化し、音響復号化装置側で、この基本フレームより短い時間長の拡張フレーム単位で符号化された残差信号を復号化し、時刻が重なる部分を重ね合わせることにより、復号化時の遅延の原因となる拡張フレームの時間長を短くすることができ、音声復号化の遅延を短くすることができる。
【００２４】
本発明の音響符号化装置は、前記基本レイヤ符号化手段は、符号励振線形予測法を用いて入力信号を符号化する構成を採る。
【００２５】
この構成によれば、送信側において、基本レイヤにＣＥＬＰを適用して入力信号を符号化し、受信側において、この符号化した入力信号にＣＥＬＰを適用して復号することにより、低ビットレートで高品質な基本レイヤを実現することができる。
【００２６】
本発明の音響符号化装置は、前記拡張レイヤ符号化手段は、前記差分信号を時間領域から周波数領域に直交変換し、変換後の前記差分信号を符号化する構成を採る。
【００２７】
この構成によれば、差分信号を時間領域から周波数領域に変換し、変換後の信号について基本レイヤの符号化によりカバーできない周波数領域を拡張レイヤで符号化することにより、音楽のようにスペクトルの変化が大きい信号にも対応することができる。
【００２８】
本発明の音響符号化装置は、前記拡張レイヤ符号化手段は、変形離散コサイン変換を用いて前記差分信号を時間領域から周波数領域に変換する構成を採る。
【００２９】
この構成によれば、隣接するフレーム間の不連続の発生を抑えることができる。
【００３０】
本発明の音響符号化装置は、前記拡張レイヤ符号化手段は、周波数領域に変換した前記差分信号を所定の帯域のみ符号化する構成を採る。
【００３１】
この構成によれば、基本レイヤの符号化でカバーできない領域のみを符号化の対象とすることにより、符号化の対象となる信号を少なくすることができ、ビットレートの増加を抑えて効率よく変換係数を符号化することができる。
【００３２】
本発明の音響符号化装置は、聴覚に寄与しない振幅値を表す聴覚マスキングを算出する聴覚マスキング手段を具備し、前記拡張レイヤ符号化手段は、前記聴覚マスキング内の信号を符号化の対象としない構成を採る。
【００３３】
この構成によれば、マスキング効果の特性を利用して、入力信号のスペクトルから聴覚マスキングを算出し、拡張レイヤの符号化において、量子化歪をこのマスキング値以下になるように量子化を行うことにより、品質の劣化を伴わずに量子化の対象となるＭＤＣＴ係数の数を減らすことができ、低ビットレートで高品質に符号化を行うことができる。
【００３４】
本発明の音響符号化装置は、前記拡張レイヤ符号化手段は、聴覚マスキングと残差信号の差をとり、この差が相対的に大きい残差信号を符号化の対象とし、前記残差信号が存在する時間領域と周波数領域の位置を符号化する構成を採る。
【００３５】
この構成によれば、拡張レイヤにおける符号化において、残差信号を時間領域から周波数領域に変換した後、聴覚マスキングを算出して符号化の対象となる係数を決定し、周波数とフレーム数の２次元での係数の位置情報を符号化することにより、符号化の対象となる係数と符号化の対象とならない係数の配置が連続することを利用して情報量を圧縮することができ、低ビットレートで高品質に符号化を行うことができる。
【００３６】
本発明の音響符号化装置は、前記拡張レイヤ符号化手段は、時間領域と周波数領域の一方または両方において、それぞれ複数の領域を一つのグループとし、聴覚マスキングと残差信号の差を前記グループ単位で算出し、この差が相対的に大きいグループに含まれる残差信号のみを符号化する構成を採る。
【００３７】
この構成によれば、符号化する信号の時間領域と周波数領域の位置情報をグループ単位とすることにより、少ないビット数で符号化の対象となった領域の位置を表すことができるため、低ビットレート化を図ることができる。
【００３８】
本発明の音響復号化装置は、符号化側において入力信号を所定の基本フレーム単位で符号化した第１符号化コードを復号化して第１復号信号を得る基本レイヤ復号化手段と、入力信号と符号化側において第１符号化コードを復号した信号との残差信号を前記基本フレームより時間長が短い拡張フレーム単位で符号化した第２符号化コードを復号化して第２復号信号を得る拡張レイヤ復号化手段と、第１復号信号のサンプリングレートを前記第２復号信号のサンプリングレートと同一のサンプリングレートに上げるアップサンプリング手段と、前記第２復号信号とサンプリングレートを上げられた第１復号信号を加算する加算手段と、を具備する構成を採る。
【００３９】
この構成によれば、音響符号化装置側で、基本フレームより短い時間長である拡張フレーム単位に残差信号を分割し、分割した残差信号を符号化し、音響復号化装置側で、この基本フレームより短い時間長の拡張フレーム単位で符号化された残差信号を復号化し、時刻が重なる部分を重ね合わせることにより、復号化時の遅延の原因となる拡張フレームの時間長を短くすることができ、音声復号化の遅延を短くすることができる。
【００４０】
本発明の音響復号化装置は、基本レイヤ復号化手段は、符号励振線形予測法を用いて第１符号化コードを復号化する構成を採る。
【００４１】
この構成によれば、送信側において、基本レイヤにＣＥＬＰを適用して入力信号を符号化し、受信側において、この符号化した入力信号にＣＥＬＰを適用して復号することにより、低ビットレートで高品質な基本レイヤを実現することができる。
【００４２】
本発明の音響復号化装置は、拡張レイヤ復号化手段は、第２符号化コードを復号化した信号を周波数領域から時間領域に直交変換する構成を採る。
【００４３】
この構成によれば、差分信号を時間領域から周波数領域に変換し、変換後の信号について基本レイヤの符号化によりカバーできない周波数領域を拡張レイヤで符号化することにより、音楽のようにスペクトルの変化が大きい信号にも対応することができる。
【００４４】
本発明の音響復号化装置は、第２復号信号同士を同じタイミングで符号化したフレーム部分を重ね合わせる重ね合わせ加算手段を具備し、前記拡張レイヤ復号化手段は、前記第２符号化コードを復号した信号に変形離散コサイン逆変換を用いて周波数領域から時間領域に直交変換することにより前記第２復号信号を復号して前記加算手段に出力し、加算手段は、前記重ね合わせ手段において重ね合わされた第２復号信号と前記第１復号信号とを加算する構成を採る。
【００４５】
この構成によれば、隣接するフレーム間の不連続の発生を抑えることができる。
【００４６】
本発明の音響復号化装置は、前記拡張レイヤ復号化手段は、第２符号化コードから残差信号が存在する時間領域と周波数領域との情報を復号し、前記残差信号が存在する時間領域と周波数領域を復号化する構成を採る。
【００４７】
この構成によれば、マスキング効果の特性を利用して、入力信号のスペクトルから聴覚マスキングを算出し、拡張レイヤの符号化において、量子化歪をこのマスキング値以下になるように量子化を行うことにより、品質の劣化を伴わずに量子化の対象となるＭＤＣＴ係数の数を減らすことができ、低ビットレートで高品質に符号化を行うことができる。
【００４８】
本発明の音響復号化装置は、前記拡張レイヤ復号化手段は、時間領域と周波数領域の一方または両方において、それぞれ複数の領域を一つのグループとし、復号の対象となるグループに含まれる残差信号を復号化する。
【００４９】
この構成によれば、符号化する信号の時間領域と周波数領域の位置情報をグループ単位とすることにより、少ないビット数で符号化の対象となった領域の位置を表すことができるため、低ビットレート化を図ることができる。
【００５０】
本発明の音響信号送信装置は、音響信号を電気的信号に変換する音響入力手段と、この音響入力手段から出力された信号をディジタル信号に変換するＡ／Ｄ変換手段と、このＡ／Ｄ変換手段から出力されたディジタル信号を符号化する上記音響符号化装置と、この符号化装置から出力された符号化コードを無線周波数の信号に変調するＲＦ変調手段と、このＲＦ変調手段から出力された信号を電波に変換して送信する送信アンテナとを具備する構成を採る。
【００５１】
本発明の音響信号受信装置は、電波を受信する受信アンテナと、この受信アンテナに受信された信号を復調するＲＦ復調手段と、このＲＦ復調手段にて得られた情報を復号する上記音響復号化装置と、この復号化装置から出力された信号をアナログ信号に変換するＤ／Ａ変換手段と、このＤ／Ａ変換手段から出力された電気的信号を音響信号に変換する音響出力手段とを具備する構成を採る。
【００５２】
本発明の通信端末装置は、上記音響信号送信装置あるいは上記音響信号受信装置の少なくとも一方を具備する構成を採る。本発明の基地局装置は、上記音響信号送信装置あるいは上記音響信号受信装置の少なくとも一方を具備する構成を採る。
【００５３】
これらの構成によれば、通信において少ないビット数で効率よく音響信号を符号化する音響符号化装置を提供することができる。
【００５４】
本発明の音響符号化方法は、符号化側において、所定の基本フレーム単位で入力信号を符号化して第１符号化コードを作成し、符号化された前記入力信号を復号化して第１復号信号を得て、前記入力信号と前記復号信号との差分信号を得て、前記基本フレームより時間長が短い拡張フレーム単位で前記差分信号を符号化して第２符号化コードを作成し、復号化側において、前記第１符号化コードを復号化して第２復号信号を得て、前記第２符号化コードを復号化して第３復号信号を得て、前記第２復号信号と前記第３復号信号を加算するようにした。
【００５５】
この方法によれば、音響符号化装置側で、基本フレームより短い時間長である拡張フレーム単位に残差信号を分割し、分割した残差信号を符号化し、音響復号化装置側で、この基本フレームより短い時間長の拡張フレーム単位で符号化された残差信号を復号化し、時刻が重なる部分を重ね合わせることにより、復号化時の遅延の原因となる拡張フレームの時間長を短くすることができ、音声復号化の遅延を短くすることができる。
【００５６】
【発明の実施の形態】
本発明者は、入力信号を符号化した基本フレームの時間長と、入力信号と符号化した入力信号を復号した信号との差分を符号化した拡張フレームの時間長が同一であることにより、復調時に長い遅延が発生することに着目し、本発明をするに至った。
【００５７】
すなわち、本発明の骨子は、拡張レイヤのフレームの時間長を基本レイヤのフレームの時間長より短く設定して拡張レイヤの符号化を行い、音声が主体で背景に音楽や雑音が重畳しているような信号を遅延が短く低ビットレートで高品質に符号化を行うことである。
【００５８】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
（実施の形態１）
図１は、本発明の実施の形態１に係る音響符号化装置の構成を示すブロック図である。図１の音響符号化装置１００は、ダウンサンプリング器１０１と、基本レイヤ符号化器１０２と、局所復号化器１０３と、アップサンプリング器１０４と、遅延器１０５と、減算器１０６と、フレーム分割器１０７と、拡張レイヤ符号化器１０８と、多重化器１０９とから主に構成される。
【００５９】
図１において、ダウンサンプリング器１０１は、サンプリングレートＦＨの入力データ（音響データ）を受けつけ、この入力データをサンプリングレートＦＨより低いサンプリングレートＦＬに変換して基本レイヤ符号化器１０２に出力する。
【００６０】
基本レイヤ符号化器１０２は、サンプリングレートＦＬの入力データを所定の基本フレーム単位で符号化し、入力データを符号化した第１符号化コードを局所復号化器１０３と多重化器１０９に出力する。例えば、基本レイヤ符号化器１０２は、入力データをＣＥＬＰ方式で符号化する。
【００６１】
局所復号化器１０３は、第１符号化コードを復号化し、復号化により得られた復号信号をアップサンプリング器１０４に出力する。アップサンプリング器１０４は、復号信号のサンプリングレートをＦＨに上げて減算器１０６に出力する。
【００６２】
遅延器１０５は、入力信号を所定の時間遅延して減算器１０６に出力する。この遅延の大きさをダウンサンプリング器１０１と基本レイヤ符号化器１０２とアップサンプリング器１０４で生じる時間遅れと同値とすることにより、次の減算処理での位相のずれを防ぐ役割を持つ。例えば、この遅延時間は、ダウンサンプリング器１０１、基本レイヤ符号化器１０２、局所復号化器１０３、及びアップサンプリング器１０４における処理の時間の総和とする。減算器１０６は、入力信号を復号信号で減算し、減算結果を残差信号としてフレーム分割器１０７に出力する。
【００６３】
フレーム分割器１０７は、残差信号を基本フレームより時間長が短い拡張フレームに分割し、拡張フレームに分割した残差信号を拡張レイヤ符号化器１０８に出力する。拡張レイヤ符号化器１０８は、拡張フレームに分割された残差信号を符号化し、この符号化で得られた第２符号化コードを多重化器１０９に出力する。多重化器１０９は、第１符号化コードと第２符号化コードを多重化して出力する。
【００６４】
次に、本実施の形態に係る音響符号化装置の動作について説明する。ここでは、サンプリングレートＦＨの音響データである入力信号を符号化する例について説明する。
【００６５】
入力信号は、ダウンサンプリング器１０１において、サンプリングレートＦＨより低いサンプリングレートＦＬに変換される。そして、サンプリングレートＦＬの入力信号は、基本レイヤ符号化器１０２において符号化される。そして、符号化された入力信号が局所復号化器１０３において復号化され、復号信号が生成される。復号信号は、アップサンプリング器１０４において、サンプリングレートＦＬより高いサンプリングレートＦＨに変換される。
【００６６】
一方、入力信号は、遅延器１０５において所定の時間遅延した後、減算器１０６に出力される。減算器１０６において遅延器１０５を介してきた入力信号とサンプリングレートＦＨに変換された復号信号との差分をとることにより、残差信号が得られる。
【００６７】
残差信号は、フレーム分割器１０７において、基本レイヤ符号化器１０２における符号化のフレーム単位より時間長の短いフレームに分割される。そして、分割された残差信号は、拡張レイヤ符号化器１０８において符号化される。基本レイヤ符号化器１０２において符号化された入力信号と、拡張レイヤ符号化器１０８において符号化された残差信号は、多重化器１０９において多重化される。
【００６８】
以下、基本レイヤ符号化器１０２と拡張レイヤ符号化器１０８とがそれぞれ符号化する信号について説明する。図２は、音響信号の情報の分布の一例を示す図である。図２において、縦軸は情報量を示し、横軸は周波数を示す。図２では、入力信号に含まれる音声情報と背景音楽・背景雑音情報がどの周波数帯にどれだけ存在しているかを表している。
【００６９】
図２に示すように、音声情報は、周波数の低い領域に情報が多く存在し、高域に向かうほど情報量は減少する。一方、背景音楽・背景雑音情報は、音声情報と比べると相対的に低域の情報は少なく、高域に含まれる情報が大きい。
【００７０】
そこで、基本レイヤではＣＥＬＰを用いて音声信号を高品質に符号化し、拡張レイヤでは基本レイヤで表しきれない背景の音楽や環境音、基本レイヤでカバーする周波数帯よりも高い周波数成分の信号を効率よく符号化する。
【００７１】
図３は、基本レイヤと拡張レイヤで符号化の対象とする領域の一例を示す図である。図３において、縦軸は情報量を示し、横軸は周波数を示す。図３は、基本レイヤ符号化器１０２と拡張レイヤ符号化器１０８がそれぞれ符号化する情報の対象となる領域を表している。
【００７２】
基本レイヤ符号化器１０２は、０〜ＦＬ間の周波数帯の音声情報を効率よく表すように設計されており、この領域での音声情報は品質良く符号化することができる。しかし、基本レイヤ符号化器１０２では、０〜ＦＬ間の周波数帯の背景音楽・背景雑音情報の符号化品質が高くない。
【００７３】
拡張レイヤ符号化器１０８は、上記説明にある基本レイヤ符号化器１０２の能力不足の部分と、ＦＬ〜ＦＨ間の周波数帯の信号をカバーするように設計されている。よって、基本レイヤ符号化器１０２と拡張レイヤ符号化器１０８を組み合わせることで広い帯域で高品質な符号化が実現できる。
【００７４】
図３に示すように、基本レイヤ符号化器１０２における符号化により得られた第１符号化コードには、０〜ＦＬ間の周波数帯の音声情報が含まれているので、少なくとも第１符号化コードのみでも復号信号が得られるというスケーラブル機能が実現できる。
【００７５】
本実施の形態の音響符号化装置１００では、この拡張レイヤ符号化器１０８において符号化するフレームの時間長を基本レイヤ符号化器１０２において符号化するフレームの時間長よりも十分に短く設定することにより、拡張レイヤで生じる遅延を短くする。
【００７６】
図４は、基本レイヤと拡張レイヤの符号化の一例を示す図である。図４において、横軸は時刻を示す。図４では、時刻Ｔ（ｎ−１）からＴ（ｎ）までの入力信号を第ｎフレームとして処理する。基本レイヤ符号化器１０２は、第ｎフレームを一つの基本フレームである第ｎ基本フレームとして符号化を行う。一方、拡張レイヤ符号化器１０８は、第ｎフレームを複数の拡張フレームに分割して符号化する。
【００７７】
ここで、基本レイヤのフレーム（基本フレーム）に対して拡張レイヤのフレーム（拡張フレーム）の時間長は１／Ｊに設定されている。図４では便宜上Ｊ＝８に設定しているが、本実施例はこの数値に限定されることは無く、Ｊ≧２となる任意の整数を用いることができる。
【００７８】
図４の例では、Ｊ＝８としているので、拡張フレームが８個で基本フレーム１個に対応することになる。以後、第ｎ基本フレームに対応する拡張フレームのそれぞれを第ｎ拡張フレーム（＃ｊ）（ｊ＝１〜８）と表記することにする。各拡張レイヤの分析フレームは、隣接するフレーム間で不連続が生じないように、分析フレームの半分が重なり合うように設定され、符号化処理が行われる。例えば、図４では、フレーム４０１とフレーム４０２をあわせた領域が分析フレームとなる。そして、復号化側は、上記説明の入力信号を基本レイヤと拡張レイヤで符号化した信号を復号化する。
【００７９】
図５は、基本レイヤと拡張レイヤの復号化の一例を示す図である。図５において、横軸は時刻を示す。復号化処理では、第ｎ基本フレームと第ｎ拡張フレームの復号信号が生成される。拡張レイヤでは、前フレームとの重ね合わせ加算が成立する区間の信号を復号することができる。図５では、時刻５０１まで、すなわち第ｎ拡張フレーム（＃８）の中心の位置まで復号信号が生成される。
【００８０】
つまり、本実施の形態の音響符号化装置では、拡張レイヤで生じる遅延が時刻５０１から時刻５０２までであり、基本レイヤの時間長の１／８で済むことになる。例えば、基本フレームの時間長が２０ｍｓである場合、拡張レイヤで新たに生じる遅延は２．５ｍｓとなる。
【００８１】
この例では、拡張フレームの時間長を基本フレームの時間長の１／８とした場合であったが、一般に拡張フレームの時間長を基本フレームの時間長の１／Ｊとした場合に、拡張レイヤで生じる遅延は１／Ｊとなり、本発明を適用するシステムで許容される遅延の大きさによってＪを設定することが可能である。
【００８２】
次に、上記復号化を行う音響復号化装置につい説明する。図６は、本発明の実施の形態１に係る音響復号化装置の構成を示すブロック図である。図６の音響復号化装置６００は、分離器６０１と、基本レイヤ復号化器６０２と、アップサンプリング器６０３と、拡張レイヤ復号化器６０４と、重ね合わせ加算器６０５と、加算器６０６とから主に構成される。
【００８３】
分離器６０１は、音響符号化装置１００において符号化されたコードを基本レイヤ用の第１符号化コードと拡張レイヤ用の第２符号化コードに分離し、第１符号化コードを基本レイヤ復号化器６０２に出力し、第２符号化コードを拡張レイヤ復号化器６０４に出力する。
【００８４】
基本レイヤ復号化器６０２は、第１符号化コードを復号してサンプリングレートＦＬの復号信号を得る。そして、基本レイヤ復号化器６０２は、復号信号をアップサンプリング器６０３に出力する。アップサンプリング器６０３は、サンプリングレートＦＬの復号信号をサンプリングレートＦＨの復号信号に変換して加算器６０６に出力する。
【００８５】
拡張レイヤ復号化器６０４は、第２符号化コードを復号してサンプリングレートＦＨの復号信号を得る。この第２符号化コードは、音響符号化装置１００において、入力信号を基本フレームより時間長が短い拡張フレーム単位で符号化したコードである。そして、拡張レイヤ復号化器６０４は、この復号信号を重ね合わせ加算器６０５に出力する。
【００８６】
重ね合わせ加算器６０５は、拡張レイヤ復号化器６０４において復号された拡張フレーム単位の復号信号を重ね合わせ、重ね合わせた復号信号を加算器６０６に出力する。具体的には、重ね合わせ加算器６０５は、復号信号に合成用の窓関数を乗じ、前フレームで復号された時間領域の信号とフレームの半分だけオーバーラップさせて加算して出力信号を生成する。
【００８７】
加算器６０６は、アップサンプリング器６０３においてアップサンプリングされた基本レイヤの復号信号と、重ね合わせ加算器６０５において重ね合わされた拡張レイヤの復号信号とを加算して出力する。
【００８８】
このように、本実施の形態の音響符号化装置及び音響復号化装置によれば、音響符号化装置側で、基本フレームより短い時間長である拡張フレーム単位に残差信号を分割し、分割した残差信号を符号化し、音響復号化装置側で、この基本フレームより短い時間長の拡張フレーム単位で符号化された残差信号を復号化し、時刻が重なる部分を重ね合わせることにより、復号化時の遅延の原因となる拡張フレームの時間長を短くすることができ、音声復号化の遅延を短くすることができる。
【００８９】
（実施の形態２）
本実施の形態では、基本レイヤの符号化においてＣＥＬＰを用いる例について説明する。図７は、本発明の実施の形態２の基本レイヤ符号化器の内部構成の一例を示すブロック図である。図７は、図１の基本レイヤ符号化器１０２の内部構成を示す図である。図７の基本レイヤ符号化器１０２は、ＬＰＣ分析器７０１と、聴感重み部７０２と、適応符号帳探索器７０３と、適応ゲイン量子化器７０４と、目標ベクトル生成器７０５と、雑音符号帳探索器７０６と、雑音ゲイン量子化器７０７と、多重化器７０８とから主に構成される。
【００９０】
ＬＰＣ分析器７０１は、サンプリングレートＦＬの入力信号のＬＰＣ係数を算出し、このＬＰＣ係数をＬＳＰ係数などの量子化に適したパラメータに変換して量子化する。そして、ＬＰＣ分析器７０１は、この量子化で得られる符号化コードを多重化器７０８に出力する。
【００９１】
また、ＬＰＣ分析器７０１は、符号化コードから量子化後のＬＳＰ係数を算出してＬＰＣ係数に変換し、量子化後のＬＰＣ係数を、適応符号帳探索器７０３、適応ゲイン量子化器７０４、雑音符号帳探索器７０６、及び雑音ゲイン量子化器７０７に出力する。さらに、ＬＰＣ分析器７０１は、量子化前のＬＰＣ係数を聴感重み部７０２に出力する。
【００９２】
聴感重み部７０２は、ＬＰＣ分析器７０１で求められたＬＰＣ係数に基づいてダウンサンプリング器１０１から出力された入力信号に重み付けを行う。これは、量子化歪のスペクトルを入力信号のスペクトル包絡にマスクされるようスペクトル整形を行うことを目的としている。
【００９３】
適応符号帳探索器７０３では、聴覚重み付けされた入力信号を目標信号として適応符号帳の探索が行われる。過去の音源系列をピッチ周期で繰り返した信号を適応ベクトルと呼び、あらかじめ定められた範囲のピッチ周期で生成された適応ベクトルによって適応符号帳は構成される。
【００９４】
聴覚重み付けされた入力信号をｔ（ｎ）、ピッチ周期ｉの適応ベクトルにＬＰＣ係数で構成される合成フィルタのインパルス応答を畳み込んだ信号をｐ_ｉ（ｎ）としたとき、適応符号帳探索器７０３は、式（１）の評価関数Ｄを最小とする適応ベクトルのピッチ周期ｉをパラメータとして多重化器７０８に出力する。
【００９５】
【数１】

ここで、Ｎはベクトル長を表す。式（１）の第１項はピッチ周期ｉに独立なので、実際には、適応符号帳探索器７０３は第２項のみを計算する。
【００９６】
適応ゲイン量子化器７０４は、適応ベクトルに乗じられる適応ゲインの量子化を行う。適応ゲインβは、以下の式（２）で表され、適応ゲイン量子化器７０４は、この適応ゲインβをスカラー量子化し、量子化時に得られる符号を多重化器７０８に出力する。
【００９７】
【数２】

【００９８】
目標ベクトル生成器７０５は、入力信号から適応ベクトルの影響を減算して、雑音符号帳探索器７０６と雑音ゲイン量子化器７０７で用いる目標ベクトルを生成して出力する。目標ベクトル生成器７０５は、ｐ_ｉ（ｎ）を式１で表される評価関数Ｄを最小とするときの適応ベクトルに合成フィルタのインパルス応答を畳み込んだ信号、βｑを式２で表される適応ベクトルβをスカラー量子化したときの量子化値としたとき、目標ベクトルｔ２（ｎ）は、以下に示す式（３）のように表される。
【００９９】
【数３】

【０１００】
雑音符号帳探索器７０６は、前記目標ベクトルｔ２（ｎ）とＬＰＣ係数を用いて雑音符号帳の探索を行う。例えば、雑音符号帳探索器７０６には、ランダム雑音や大規模な音声信号を使って学習した信号を用いることができる。また、雑音符号帳探索器７０６が備える雑音符号帳は、代数（Ａｌｇｅｂｒａｉｃ）符号帳のように、振幅１のパルスをあらかじめ定められた非常に少ない数だけ有するベクトルで表されることができる。この代数符号長は、パルスの位置とパルスの符号（極性）の最適な組み合わせを少ない計算量で決定することができるという特徴がある。
【０１０１】
雑音符号帳探索器７０６は、目標ベクトルをｔ２（ｎ）、コードｊに対応する雑音ベクトルに合成フィルタのインパルス応答を畳み込んだ信号をｃ_ｊ（ｎ）としたとき、以下に示す式（４）の評価関数Ｄを最小とする雑音ベクトルのインデックスｊを多重化器７０８に出力する。
【０１０２】
【数４】

【０１０３】
雑音ゲイン量子化器７０７は、雑音ベクトルに乗じる雑音ゲインを量子化する。雑音ゲイン量子化器７０７は、以下に示す式（５）を用いて雑音ゲインγを算出し、この雑音ゲインγをスカラー量子化して多重化器７０８に出力する。
【０１０４】
【数５】

【０１０５】
多重化器７０８は、送られてきたＬＰＣ係数、適応ベクトル、適応ゲイン、雑音ベクトル、雑音ゲインの符号化コードを多重化して局所復号化器１０３及び多重化器１０９に出力する。
【０１０６】
次に、復号化側について説明する。図８は、本発明の実施の形態２の基本レイヤ復号化器の内部構成の一例を示すブロック図である。図８は、図６の基本レイヤ復号化器６０２の内部構成を示す図である。図８の基本レイヤ復号化器６０２は、分離器８０１と、音源生成器８０２と、合成フィルタ８０３とから主に構成される。
【０１０７】
分離器８０１は、分離器６０１から出力された第１符号化コードをＬＰＣ係数、適応ベクトル、適応ゲイン、雑音ベクトル、雑音ゲインの符号化コードに分離して、適応ベクトル、適応ゲイン、雑音ベクトル、雑音ゲインの符号化コードを音源生成器８０２に出力する。同様に、分離器８０１は、ＬＰＣ係数の符号化コードを合成フィルタ８０３に出力する。
【０１０８】
音源生成器８０２は、適応ベクトル、適応ベクトルゲイン、雑音ベクトル、雑音ベクトルゲインの符号化コードを復号し、以下に示す式（６）を用いて音源ベクトルｅｘ（ｎ）を生成する。
【０１０９】
【数６】

ここで、ｑ（ｎ）は適応ベクトル、β_ｑは適応ベクトルゲイン、ｃ（ｎ）は雑音ベクトル、γ_ｑは雑音ベクトルゲインを表す。
【０１１０】
合成フィルタ８０３では、ＬＰＣ係数の符号化コードからＬＰＣ係数を復号し、以下に示す式（７）を用いて復号されたＬＰＣ係数から合成信号ｓｙｎ（ｎ）を生成する。
【０１１１】
【数７】

ここで、α_ｑは復号されたＬＰＣ係数、ＮＰはＬＰＣ係数の次数を表す。そして、合成フィルタ８０３は、復号された復号信号ｓｙｎ（ｎ）をアップサンプリング器６０３に出力する。
【０１１２】
このように、本実施の形態の音響符号化装置及び音響復号化装置によれば、送信側において、基本レイヤにＣＥＬＰを適用して入力信号を符号化し、受信側において、この符号化した入力信号にＣＥＬＰを適用して復号することにより、低ビットレートで高品質な基本レイヤを実現することができる。
【０１１３】
なお、本実施の形態の音声符号化装置は、量子化歪の知覚を抑制するために、合成フィルタ８０３の後にポストフィルタを従属接続する構成を採ることもできる。図９は、本発明の実施の形態２の基本レイヤ復号化器の内部構成の一例を示すブロック図である。但し、図８と同一の構成となるものについては、図８と同一番号を付し、詳しい説明を省略する。
【０１１４】
ポストフィルタ９０１は、量子化歪の知覚の抑制の実現のために様々な構成を適用しうるが、代表的な方法として、分離器８０１で復号されて得られるＬＰＣ係数から構成されるホルマント強調フィルタを用いる方法がある。ホルマント強調フィルタＨ_ｆ（ｚ）は以下に示す式（８）で表される。
【０１１５】
【数８】

ここで、Ａ（ｚ）は復号ＬＰＣ係数から構成される合成フィルタ、γ_ｎ、γ_ｄ、μはフィルタの特性を決定する定数を表す。
【０１１６】
（実施の形態３）
本実施の形態の特徴は、拡張レイヤの入力信号を周波数領域の係数に変換した後に符号化する変換符号化を用いる点にある。本実施の形態における拡張レイヤ符号化器１０８の基本構成を図１０を用いて説明する。図１０は、本発明の実施の形態３の拡張レイヤ符号化器の内部構成の一例を示すブロック図である。図１０は、図１の拡張レイヤ符号化器１０８の内部構成の一例を示す図である。図１０の拡張レイヤ符号化器１０８は、ＭＤＣＴ部１００１と、量子化器１００２とから主に構成される。
【０１１７】
ＭＤＣＴ部１００１は、フレーム分割器１０７から出力された入力信号をＭＤＣＴ変換（変形離散コサイン変換）してＭＤＣＴ係数を求める。ＭＤＣＴ変換は、前後の隣接フレームと分析フレームを半分ずつ完全に重ね合わせ、分析フレームの前半部は奇関数、後半部は偶関数という直交基底を用いる。ＭＤＣＴ変換は、波形を合成する際、逆変換後の波形を重ね合わせて加算することにより、フレーム境界歪が発生しないという特徴がある。ＭＤＣＴを行う際には、ｓｉｎ窓などの窓関数を入力信号に乗ずる。ＭＤＣＴ係数をＸ（ｎ）とすると、ＭＤＣＴ係数は、以下に示す式（９）に従い算出される。
【０１１８】
【数９】

ここでＸ（ｎ）は入力信号に窓関数を乗算した信号を表す。
【０１１９】
量子化器１００２は、ＭＤＣＴ部１００１で求められたＭＤＣＴ係数を量子化する。具体的には、量子化器１００２は、ＭＤＣＴ係数それぞれをスカラー量子化する、または複数のＭＤＣＴ係数をまとめてベクトルとしベクトル量子化する。上記量子化方法は、特にスカラー量子化を適用する場合では、十分な品質を得るためにビットレートが高くなる傾向にある。そのため、この量子化方法は、拡張レイヤに十分なビットを配分することができる場合に有効である。そして、量子化器１００２は、ＭＤＣＴ係数を量子化した符号を多重化器１０９に出力する。
【０１２０】
次に、ビットレートの増加を抑えて効率よくＭＤＣＴ係数を量子化する方法について説明する。図１１は、ＭＤＣＴ係数の配置の一例を示す図である。図１１において、横軸は時間、縦軸は周波数を表す。
【０１２１】
拡張レイヤで符号化の対象となるＭＤＣＴ係数は、図１１で表されるように時間方向と、周波数方向の２次元のマトリクスで表すことができる。本実施の形態では１個の基本フレームに対し８個の拡張フレームを設定しているので横軸は８次元となり、縦軸は拡張フレームの長さに一致する次元数となる。図１１では、縦軸を１６次元で表しているが限定はなく、好ましくは時間を示す縦軸方向に６０次元とするのが望ましい。
【０１２２】
図１１で表されるＭＤＣＴ係数の全てについて十分高いＳＮＲが得られるように量子化するには多くのビットが必要になる。この問題を回避するために、本実施の形態の音響符号化装置では、あらかじめ決めておいた帯域に含まれるＭＤＣＴ係数のみを量子化し、それ以外のＭＤＣＴ係数の情報は全く送らないようにする。つまり、図１１の網掛け部分１１０１のＭＤＣＴ係数を量子化し、それ以外のＭＤＣＴ係数の量子化を行わないようにする。
【０１２３】
この量子化方法は、基本レイヤが符号化の対象とする帯域（０〜ＦＬ）は、既に基本レイヤで充分な品質で符号化されており充分な情報量を持つので、それ以外の帯域（例えばＦＬ〜ＦＨ）を拡張レイヤで符号化すれば良いという考えに基づく。
【０１２４】
このように、基本レイヤの符号化でカバーできない領域のみを符号化の対象とすることにより、符号化の対象となる信号を少なくすることができ、ビットレートの増加を抑えて効率よく変換係数を符号化することができる。
【０１２５】
次に、復号化側について説明する。以下、周波数領域から時間領域への変換法に変形離散コサイン逆変換（ＩＭＤＣＴ）を用いる場合について説明を行う。図１２は、本発明の実施の形態３の拡張レイヤ復号化器の内部構成の一例を示すブロック図である。図１２は、図６の拡張レイヤ復号化器６０４の内部構成の一例を示す図である。図１２の拡張レイヤ復号化器６０４は、ＭＤＣＴ係数復号化器１２０１と、ＩＭＤＣＴ部１２０２とから主に構成される。
【０１２６】
ＭＤＣＴ係数復号化器１２０１は、分離器６０１から出力される第２符号化コードから量子化されたＭＤＣＴ係数を復号する。ＩＭＤＣＴ部１２０２は、ＭＤＣＴ係数復号化器１２０１から出力されるＭＤＣＴ係数にＩＭＤＣＴを施し、時間領域の信号を生成して重ね合わせ加算器６０５に出力する。
【０１２７】
このように、本実施の形態の音響符号化装置及び音響復号化装置によれば、差分信号を時間領域から周波数領域に変換し、変換後の信号について基本レイヤの符号化によりカバーできない周波数領域を拡張レイヤで符号化することにより、音楽のようにスペクトルの変化が大きい信号にも対応することができる。
【０１２８】
なお、拡張レイヤが符号化の対象とする帯域をＦＬ〜ＦＨに固定しなくても良い。基本レイヤの符号化方式の特性や入力信号の高域に含まれる情報量により拡張レイヤが効果的に機能する帯域が変わる。従って、実施の形態２で説明したように、基本レイヤに広帯域信号用のＣＥＬＰを用い、さらに入力信号が音声である場合、拡張レイヤが符号化の対象とする帯域を６ｋＨｚ〜９ｋＨｚに設定すると良い。
【０１２９】
（実施の形態４）
人間の聴覚特性には、ある信号が与えられたとき、その信号の周波数の近傍に位置する信号が聞こえなくなるというマスキング効果がある。本実施の形態の特徴は、入力信号を基に聴覚マスキングを求め、聴覚マスキングを利用して拡張レイヤの符号化を行う点にある。
【０１３０】
図１３は、本発明の実施の形態４に係る音響符号化装置の構成を示すブロック図である。ただし、図１と同一の構成となるものについては、図１と同一番号を付し、詳しい説明を省略する。図１３の音響符号化装置１３００は、聴覚マスキング算出部１３０１と、拡張レイヤ符号化器１３０２とを具備し、マスキング効果の特性を利用して、入力信号のスペクトルから聴覚マスキングを算出し、量子化歪をこのマスキング値以下になるようにＭＤＣＴ係数の量子化を行う点が図１の音響符号化装置と異なる。
【０１３１】
遅延器１０５は、入力信号を所定の時間遅延して減算器１０６と聴覚マスキング算出部１３０１に出力する。聴覚マスキング算出部１３０１は、入力信号に基づいて、人間の聴覚では知覚できない範囲を示す聴覚マスキングを算出して拡張レイヤ符号化器１３０２に出力する。拡張レイヤ符号化器１３０２は、聴覚マスキングを超える領域について差分信号を符号化して多重化器１０９に出力する。
【０１３２】
次に、聴覚マスキング算出部１３０１の詳細について説明する。図１４は、本実施の形態の聴覚マスキング算出部の内部構成の一例を示すブロック図である。図１４の聴覚マスキング算出部１３０１は、ＦＦＴ部１４０１と、バークスペクトル算出器１４０２と、スプレッド関数畳み込み器１４０３と、トーナリティ算出器１４０４と、聴覚マスキング算出器１４０５とから主に構成される。
【０１３３】
図１４において、ＦＦＴ部１４０１は、遅延器１０５から出力された入力信号をフーリエ変換し、フーリエ係数｛Ｒｅ（ｍ），Ｉｍ（ｍ）｝を算出する。ここでｍは周波数を表す。
【０１３４】
バークスペクトル算出器１４０２は、以下の式（１０）を用いてバークスペクトルＢ（ｋ）を算出する。
【０１３５】
【数１０】

ここで、Ｐ（ｍ）はパワースペクトルを表し、以下の式（１１）より求められる。
【０１３６】
【数１１】

また、ｋはバークスペクトルの番号に対応し、ＦＬ（ｋ）、ＦＨ（ｋ）はそれぞれ第ｋバークスペクトルの最低周波数（Ｈｚ）、最高周波数（Ｈｚ）を表す。バークスペクトルＢ（ｋ）はバークスケール上で等間隔に帯域分割されたときのスペクトル強度を表す。ヘルツスケールをｆ、バークスケールをＢと表したとき、ヘルツスケールとバークスケールの関係は以下の式（１２）で表される。
【０１３７】
【数１２】

【０１３８】
スプレッド関数畳み込み器１４０３は、バークスペクトルＢ（ｋ）にスプレッド関数ＳＦ（ｋ）を畳み込み、Ｃ（ｋ）を算出する。
【０１３９】
【数１３】

【０１４０】
トーナリティ算出器１４０４は、以下の式（１４）を用い、パワースペクトルＰ（ｍ）から各バークスペクトルのスペクトル平坦度ＳＦＭ（ｋ）を求める。
【０１４１】
【数１４】

ここで、μｇ（ｋ）は第ｋバークスペクトルの幾何平均、μａ（ｋ）は第ｋバークスペクトルの算術平均を表す。そして、トーナリティ算出器１４０４は、以下の式（１５）を用いてスペクトル平坦度ＳＦＭ（ｋ）のデシベル値ＳＦＭｄＢ（ｋ）からトーナリティ係数α（ｋ）を算出する。
【０１４２】
【数１５】

【０１４３】
聴覚マスキング算出器１４０５は、以下の式（１６）を用いてトーナリティ算出器１４０４で算出したトーナリティ係数α（ｋ）から各バークスケールのオフセットＯ（ｋ）を求める。
【０１４４】
【数１６】

【０１４５】
そして、聴覚マスキング算出器１４０５は、以下の式（１７）を用いてスプレッド関数畳み込み器１４０３で求めたＣ（ｋ）からオフセットＯ（ｋ）を減算して聴覚マスキングＴ（ｋ）を算出する。
【０１４６】
【数１７】

ここで、Ｔ_ｑ（ｋ）は絶対閾値を表す。絶対閾値は、人間の聴覚特性として観測される聴覚マスキングの最小値を表す。そして、聴覚マスキング算出器１４０５は、バークスケールで表される聴覚マスキングＴ（ｋ）をヘルツスケールＭ（ｍ）に変換して拡張レイヤ符号化器１３０２に出力する。
【０１４７】
このようにして求められた聴覚マスキングＭ（ｍ）を使って、拡張レイヤ符号化器１３０２にてＭＤＣＴ係数の符号化を行う。図１５は、本実施の形態の拡張レイヤ符号化器の内部構成の一例を示すブロック図である。図１５の拡張レイヤ符号化器１３０２は、ＭＤＣＴ部１５０１と、ＭＤＣＴ係数量子化器１５０２とから主に構成される。
【０１４８】
ＭＤＣＴ部１５０１は、フレーム分割器１０７から出力された入力信号に分析窓を乗じた後、ＭＤＣＴ変換（変形離散コサイン変換）してＭＤＣＴ係数を求める。ＭＤＣＴ変換は、前後の隣接フレームと分析フレームを半分ずつ完全に重ね合わせ、分析フレームの前半部は奇関数、後半部は偶関数という直交基底を用いる。ＭＤＣＴ変換は、波形を合成する際、逆変換後の波形を重ね合わせて加算することにより、フレーム境界歪が発生しないという特徴がある。ＭＤＣＴを行う際には、ｓｉｎ窓などの窓関数を入力信号に乗ずる。ＭＤＣＴ係数をＸ（ｎ）とすると、ＭＤＣＴ係数は、式（９）に従い算出される。
【０１４９】
ＭＤＣＴ係数量子化器１５０２は、ＭＤＣＴ部１５０１から出力された入力信号に聴覚マスキング算出部１３０１から出力された聴覚マスキングを用いて入力信号を量子化する係数と量子化しない係数に分類し、量子化する係数のみを符号化する。具体的には、ＭＤＣＴ係数量子化器１５０２は、ＭＤＣＴ係数Ｘ（ｍ）と聴覚マスキングＭ（ｍ）を比較し、Ｍ（ｍ）よりも強度が小さいＭＤＣＴ係数Ｘ（ｍ）はマスキング効果により人間の聴覚では知覚されないので無視して符号化の対象から外し、Ｍ（ｍ）よりも強度の大きいＭＤＣＴ係数のみを量子化する。そして、ＭＤＣＴ係数量子化器１５０２は、量子化したＭＤＣＴ係数を多重化器１０９に出力する。
【０１５０】
このように、本実施の形態の音響符号化装置によれば、マスキング効果の特性を利用して、入力信号のスペクトルから聴覚マスキングを算出し、拡張レイヤの符号化において、量子化歪をこのマスキング値以下になるように量子化を行うことにより、品質の劣化を伴わずに量子化の対象となるＭＤＣＴ係数の数を減らすことができ、低ビットレートで高品質に符号化を行うことができる。
【０１５１】
なお、上記実施の形態では、ＦＦＴを使った聴覚マスキングの算出法について説明しているが、ＦＦＴの代わりＭＤＣＴを使って聴覚マスキングを算出することもできる。図１６は、本実施の形態の聴覚マスキング算出部の内部構成の一例を示すブロック図である。但し、図１４と同一の構成となるものについては、図１４と同一番号を付し、詳しい説明を省略する。
【０１５２】
ＭＤＣＴ部１６０１は、ＭＤＣＴ係数を使ってパワースペクトルＰ（ｍ）を近似する。具体的には、ＭＤＣＴ部１６０１は、以下の式（１８）を用いてＰ（ｍ）を近似する。
【０１５３】
【数１８】

ここで、Ｒ（ｍ）は、入力信号をＭＤＣＴ変換して求めたＭＤＣＴ係数を表す。
【０１５４】
バークスペクトル算出器１４０２は、ＭＤＣＴ部１６０１において近似されたＰ（ｍ）からバークスペクトルＢ（ｋ）を算出する。それ以後は上述した方法に従い聴覚マスキングを算出する。
【０１５５】
（実施の形態５）
本実施の形態は拡張レイヤ符号化器１３０２に関し、その特徴は聴覚マスキングを超えるＭＤＣＴ係数を量子化の対象としたときに、ＭＤＣＴ係数の位置情報を効率よく符号化する方法に関するものである。
【０１５６】
図１７は、本発明の実施の形態５の拡張レイヤ符号化器の内部構成の一例を示すブロック図である。図１７は、図１３の拡張レイヤ符号化器１３０２の内部構成の一例を示す図である。図１７の拡張レイヤ符号化器１３０２は、ＭＤＣＴ部１７０１と、量子化位置決定部１７０２と、ＭＤＣＴ係数量子化器１７０３と、量子化位置符号化器１７０４と、多重化器１７０５とから主に構成される。
【０１５７】
ＭＤＣＴ部１７０１は、フレーム分割器１０７から出力された入力信号に分析窓を乗じた後、ＭＤＣＴ変換（変形離散コサイン変換）してＭＤＣＴ係数を求める。ＭＤＣＴ変換は、前後の隣接フレームと分析フレームを半分ずつ完全に重ね合わせ、分析フレームの前半部は奇関数、後半部は偶関数という直交基底を用いる。ＭＤＣＴ変換は、波形を合成する際、逆変換後の波形を重ね合わせて加算することにより、フレーム境界歪が発生しないという特徴がある。ＭＤＣＴを行う際には、ｓｉｎ窓などの窓関数を入力信号に乗ずる。ＭＤＣＴ係数をＸ（ｎ）とすると、ＭＤＣＴ係数は、式（９）に従い算出される。
【０１５８】
ＭＤＣＴ部１７０１で求められたＭＤＣＴ係数をＸ（ｊ，ｍ）と表す。ここでｊは拡張フレームのフレーム番号を表し、ｍは周波数を表す。本実施の形態では、拡張フレームの時間長を基本フレームの時間長の１／８である場合について説明を行うものとする。図１８は、ＭＤＣＴ係数の配置の一例を示す図である。ＭＤＣＴ係数Ｘ（ｊ，ｍ）は、図１８に示すように横軸が時間、縦軸が周波数であるマトリクス上に表すことができる。ＭＤＣＴ部１７０１は、ＭＤＣＴ係数Ｘ（ｊ，ｍ）を量子化位置決定部１７０２とＭＤＣＴ係数量子化器１７０３に出力する。
【０１５９】
量子化位置決定部１７０２は、聴覚マスキング算出部１３０１から出力される聴覚マスキングＭ（ｊ，ｍ）とＭＤＣＴ部１７０１から出力されるＭＤＣＴ係数Ｘ（ｊ，ｍ）を比較し、どの位置のＭＤＣＴ係数を量子化の対象とすべきか決定する。
【０１６０】
具体的には、量子化位置決定部１７０２は、以下の式（１９）を満たす場合、Ｘ（ｊ，ｍ）を量子化する。
【０１６１】
【数１９】

【０１６２】
そして、量子化位置決定部１７０２は、以下の式（２０）を満たす場合、Ｘ（ｊ，ｍ）を量子化しない。
【０１６３】
【数２０】

【０１６４】
そして、量子化位置決定部１７０２は、量子化の対象となるＭＤＣＴ係数Ｘ（ｊ，ｍ）の位置情報をＭＤＣＴ係数量子化器１７０３と量子化位置符号化器１７０４に出力する。ここで、位置情報は、時間ｊと周波数ｍの組み合わせを指す。
【０１６５】
図１８では、量子化位置決定部１７０２で決定された量子化の対象となるＭＤＣＴ係数Ｘ（ｊ，ｍ）の位置を網掛けで表している。この例では、（ｊ，ｍ）　＝　（６，１），　（５，３），　・・・，　（７，１５），　（５，１６）の位置にあるＭＤＣＴ係数Ｘ（ｊ，ｍ）が量子化の対象となる。
【０１６６】
なお、ここで聴覚マスキングＭ（ｊ，ｍ）は拡張フレームに同期させて算出されているものとする。ただし計算量などの制限から、基本フレームに同期させて算出する構成でも良い。この場合、拡張フレームに同期させる場合に比べ聴覚マスキングの算出が１／８で済む。また、この場合、基本フレームで一度聴覚マスキングを求めた後に、同一の聴覚マスキングを全ての拡張フレームに対して使用することになる。
【０１６７】
ＭＤＣＴ係数量子化器１７０３は、量子化位置決定部１７０２で決定された位置のＭＤＣＴ係数Ｘ（ｊ，ｍ）を量子化する。量子化する際に、ＭＤＣＴ係数量子化器１７０３は、聴覚マスキングＭ（ｊ，ｍ）の情報を利用し、量子化誤差が聴覚マスキングＭ（ｊ，ｍ）以下になるように量子化を行う。ＭＤＣＴ係数量子化器１７０３は、量子化後のＭＤＣＴ係数をＸ’（ｊ，ｍ）としたとき、以下の式（２１）を満たすように量子化を行う。
【０１６８】
【数２１】

【０１６９】
そして、ＭＤＣＴ係数量子化器１７０３は、量子化した後の符号を多重化器１７０５に出力する。
【０１７０】
量子化位置符号化器１７０４は、位置情報を符号化する。例えば、量子化位置符号化器１７０４は、ランレングス法を適用して位置情報を符号化する。量子化位置符号化器１７０４は、周波数の低い方から時間軸方向に走査し、符号化の対象となる係数が連続して存在しない区間の数と符号の対象となる係数が連続して存在する区間の数を位置情報とする符号化を行う。
【０１７１】
具体的には、（ｊ，ｍ）＝（１，１）からｊが増加する方向に走査し、符号化の対象となる係数があらわれるまでの座標の数を位置情報とする符号化を行う。そして、次に、符号化の対象となる係数までの座標の数をさらに位置情報とする。
【０１７２】
図１８では、（ｊ，ｍ）＝（１，１）から最初に符号化の対象となる係数の位置（ｊ，ｍ）＝（１，６）までの距離５、次に、符号化の対象となる係数は一つしか連続していないので１、次に符号化しない係数が連続する区間の数１４となる。このように、図１８では、位置情報を表す符号は、５、１、１４、１、４、１、４・・・、５、１、３となる。量子化位置符号化器１７０４は、この位置情報を多重化器１７０５に出力する。多重化器１７０５は、ＭＤＣＴ係数Ｘ（ｊ，ｍ）の量子化の情報と位置情報を多重化して多重化器１０９に出力する。
【０１７３】
次に、復号化側について説明する。図１９は、本発明の実施の形態５の拡張レイヤ復号化器の内部構成の一例を示すブロック図である。図１９は、図６の拡張レイヤ復号化器６０４の内部構成の一例を示す図である。図１９の拡張レイヤ復号化器６０４は、分離器１９０１と、ＭＤＣＴ係数復号化器１９０２と、量子化位置復号化器１９０３と、時間−周波数マトリクス生成器１９０４と、ＩＭＤＣＴ部１９０５とから主に構成される。
【０１７４】
分離器１９０１は、分離器６０１から出力された第２符号化コードをＭＤＣＴ係数量子化情報と量子化位置情報に分離し、ＭＤＣＴ係数量子化情報をＭＤＣＴ係数復号化器１９０２に出力し、量子化位置情報を量子化位置復号化器１９０３に出力する。
【０１７５】
ＭＤＣＴ係数復号化器１９０２は、分離器１９０１から出力されるＭＤＣＴ係数量子化情報からＭＤＣＴ係数を復号して時間−周波数マトリクス生成器１９０４に出力する。
【０１７６】
量子化位置復号化器１９０３は、分離器１９０１から出力される量子化位置情報から量子化位置情報を復号して時間−周波数マトリクス生成器１９０４に出力する。この量子化位置情報は、復号ＭＤＣＴ係数のそれぞれが、時間周波数マトリクスのどこに位置するかを表す情報である。
【０１７７】
時間−周波数マトリクス生成器１９０４は、量子化位置復号化器１９０３から出力される量子化位置情報と、ＭＤＣＴ係数復号化器１９０２から出力される復号ＭＤＣＴ係数を用いて図１８に示すような時間−周波数マトリクスを生成する。図１８では、復号ＭＤＣＴ係数が存在する位置を網掛けで表し、復号ＭＤＣＴ係数が存在しない位置を白地で表している。白地の位置では復号ＭＤＣＴ係数が存在しないので、復号ＭＤＣＴ係数としてゼロが与えられる。
【０１７８】
そして、時間−周波数マトリクス生成器１９０４は、各拡張フレーム（ｊ＝１〜Ｊ）毎に復号ＭＤＣＴ係数をＩＭＤＣＴ部１９０５に出力する。ＩＭＤＣＴ部１９０５は、復号ＭＤＣＴ係数にＩＭＤＣＴを施し、時間領域の信号を生成して重ね合わせ加算器６０５に出力する。
【０１７９】
このように、本実施の形態の音響符号化装置及び音響復号化装置によれば、拡張レイヤにおける符号化において、残差信号を時間領域から周波数領域に変換した後、聴覚マスキングを行って符号化の対象となる係数を決定し、周波数とフレーム数の２次元での係数の位置情報を符号化することにより、符号化の対象となる係数と符号化の対象とならない係数の配置が連続することを利用して情報量を圧縮することができ、低ビットレートで高品質に符号化を行うことができる。
【０１８０】
（実施の形態６）
図２０は、本発明の実施の形態６の拡張レイヤ符号化器の内部構成の一例を示すブロック図である。図２０は、図１３の拡張レイヤ符号化器１３０２の内部構成の一例を示す図である。但し、図１７と同一の構成となるものについては、図１７と同一番号を付し、詳しい説明を省略する。図２０の拡張レイヤ符号化器１３０２は、領域分割器２００１と、量子化領域決定部２００２と、ＭＤＣＴ係数量子化器２００３と、量子化領域符号化器２００４とを具備し、聴覚マスキングを超えるＭＤＣＴ係数を量子化の対象としたときに、ＭＤＣＴ係数の位置情報を効率よく符号化する別の方法に関するものである。
【０１８１】
領域分割器２００１は、ＭＤＣＴ部１７０１で求められたＭＤＣＴ係数Ｘ（ｊ，ｍ）を複数の領域に分割される。ここでいう領域とは、複数のＭＤＣＴ係数の位置をまとめたものを指し、符号化器と復号化器の両方に共通の情報としてあらかじめ定められたものである。
【０１８２】
量子化領域決定部２００２は、量子化の対象となる領域を決定する。具体的には、量子化領域決定部２００２は、領域をＳ（ｋ）（ｋ＝１〜Ｋ）と表したとき、領域Ｓ（ｋ）に含まれるＭＤＣＴ係数Ｘ（ｊ，ｍ）の内、このＭＤＣＴ係数Ｘ（ｊ，ｍ）が聴覚マスキングＭ（ｍ）を超える量の総和を算出し、この総和の大きいものからＫ’個（Ｋ’＜Ｋ）の領域を選択する。
【０１８３】
図２１は、ＭＤＣＴ係数の配置の一例を示す図である。図２１では、領域Ｓ（ｋ）の一例を示している。図２１の網掛け部は、量子化領域決定部２００２で決定された量子化の対象となる領域を表す。この例では、領域Ｓ（ｋ）は時間軸方向に４次元、周波数軸方向に２次元の長方形になっており、量子化の対象はＳ（６）、Ｓ（８）、Ｓ（１１）、Ｓ（１４）の４領域である。
【０１８４】
量子化領域決定部２００２は、前述したようにＭＤＣＴ係数Ｘ（ｊ，ｍ）が聴覚マスキングＭ（ｊ，ｍ）を超える量の総和によってどの領域Ｓ（ｋ）を量子化の対象とするか決定する。その総和Ｖ（ｋ）は、以下の式（２２）より求められる。
【０１８５】
【数２２】

この方法では、入力信号によっては高域の領域Ｖ（ｋ）が選択されにくくなることもある。そこで、式（２２）の代わりに以下の式（２３）のようなＭＤＣＴ係数Ｘ（ｊ，ｍ）の強度で正規化する方法を使用しても良い。
【０１８６】
【数２３】

【０１８７】
そして、量子化領域決定部２００２は、量子化の対象となる領域の情報をＭＤＣＴ係数量子化器２００３と量子化領域符号化器２００４に出力する。
【０１８８】
量子化領域符号化器２００４は、量子化の対象となる領域に符号１、そうでないない領域に符号０を割り振り、多重化器１７０５に出力する。図２１の場合、符号は００００　０１０１　００１０　０１００となる。さらに、この符号をランレングスで表すことも可能である。その場合、得られる符号は５、１、１、１、２、１、２、１、２となる。
【０１８９】
ＭＤＣＴ係数量子化器２００３は、量子化領域決定部２００２で決定された領域に含まれるＭＤＣＴ係数の量子化を行う。量子化の方法としては、領域に含まれるＭＤＣＴ係数から１つ以上のベクトルを構成し、ベクトル量子化を行う。ベクトル量子化の際、聴覚マスキングＭ（ｊ，ｍ）で重み付けを行った尺度を用いても良い。
【０１９０】
次に、復号化側について説明する。図２２は、本発明の実施の形態６の拡張レイヤ復号化器の内部構成の一例を示すブロック図である。図２２は、図６の拡張レイヤ復号化器６０４の内部構成の一例を示す図である。図２２の拡張レイヤ復号化器６０４は、分離器２２０１と、ＭＤＣＴ係数復号化器２２０２と、量子化領域復号化器２２０３と、時間−周波数マトリクス生成器２２０４と、ＩＭＤＣＴ部２２０５とから主に構成される。
【０１９１】
本実施の形態の特徴は、前述した実施の形態６の拡張レイヤ符号化器１３０２により生成された符号化コードを復号することができる点にある。
【０１９２】
分離器２２０１は、分離器６０１から出力される第２符号化コードをＭＤＣＴ係数量子化情報と量子化領域情報に分離し、ＭＤＣＴ係数量子化情報をＭＤＣＴ係数復号化器２２０２に出力し、量子化領域情報を量子化領域復号化器２２０３に出力する。
【０１９３】
ＭＤＣＴ係数復号化器２２０２は、分離器２２０１から得られるＭＤＣＴ係数量子化情報からＭＤＣＴ係数を復号する。量子化領域復号化器２２０３は、分離器２２０１から得られる量子化領域情報から量子化領域情報を復号する。この量子化領域情報は、復号ＭＤＣＴ係数のそれぞれが、時間周波数マトリクスのどの領域に属するかを表す情報である。
【０１９４】
時間−周波数マトリクス生成器２２０４は、量子化領域復号化器２２０３から得られる量子化領域情報と、ＭＤＣＴ係数復号化器２２０２から得られる復号ＭＤＣＴ係数を使って図２１に示すような時間−周波数マトリクスを生成する。図２１では、復号ＭＤＣＴ係数が存在する領域を網掛けで表し、復号ＭＤＣＴ係数が存在しない領域を白地で表している。白地の領域では復号ＭＤＣＴ係数が存在しないので、復号ＭＤＣＴ係数としてゼロが与えられる。
【０１９５】
そして、時間−周波数マトリクス生成器２２０４は、各拡張フレーム（ｊ＝１〜Ｊ）毎に復号ＭＤＣＴ係数をＩＭＤＣＴ部２２０５に出力する。ＩＭＤＣＴ部２２０５は、復号ＭＤＣＴ係数にＩＭＤＣＴを施し、時間領域の信号を生成して重ね合わせ加算器６０５に出力する。
【０１９６】
このように、本実施の形態の音響符号化装置及び音響復号化装置によれば、聴覚マスキングを超える残差信号が存在する時間領域と周波数領域の位置情報をグループ単位とすることにより、少ないビット数で符号化の対象となった領域の位置を表すことができるため、低ビットレート化を図ることができる。
【０１９７】
（実施の形態７）
次に、本発明の実施の形態７について、図面を参照して説明する。図２３は、本発明の実施の形態７に係る通信装置の構成を示すブロック図である。図２３における信号処理装置２３０３は前述した実施の形態１から実施の形態６に示した音響符号化装置の中の１つによって構成されている点に本実施の形態の特徴がある。
【０１９８】
図２３に示すように、本発明の実施の形態７に係る通信装置２３００は、入力装置２３０１、Ａ／Ｄ変換装置２３０２及びネットワーク２３０４に接続されている信号処理装置２３０３を具備している。
【０１９９】
Ａ／Ｄ変換装置２３０２は、入力装置２３０１の出力端子に接続されている。信号処理装置２３０３の入力端子は、Ａ／Ｄ変換装置２３０２の出力端子に接続されている。信号処理装置２３０３の出力端子はネットワーク２３０４に接続されている。
【０２００】
入力装置２３０１は、人間の耳に聞こえる音波を電気的信号であるアナログ信号に変換してＡ／Ｄ変換装置２３０２に与える。Ａ／Ｄ変換装置２３０２はアナログ信号をディジタル信号に変換して信号処理装置２３０３に与える。信号処理装置２３０３は入力されてくるディジタル信号を符号化してコードを生成し、ネットワーク２３０４に出力する。
【０２０１】
このように、本発明の実施の形態の通信装置によれば、通信において前述した実施の形態１〜６に示したような効果を享受でき、少ないビット数で効率よく音響信号を符号化する音響符号化装置を提供することができる。
【０２０２】
（実施の形態８）
次に、本発明の実施の形態８について、図面を参照して説明する。図２４は、本発明の実施の形態８に係る通信装置の構成を示すブロック図である。図２４における信号処理装置２４０３は前述した実施の形態１から実施の形態６に示した音響復号化装置の中の１つによって構成されている点に本実施の形態の特徴がある。
【０２０３】
図２４に示すように、本発明の実施の形態８に係る通信装置２４００は、ネットワーク２４０１に接続されている受信装置２４０２、信号処理装置２４０３、及びＤ／Ａ変換装置２４０４及び出力装置２４０５を具備している。
【０２０４】
受信装置２４０２の入力端子は、ネットワーク２４０１に接続されている。信号処理装置２４０３の入力端子は、受信装置２４０２の出力端子に接続されている。Ｄ／Ａ変換装置２４０４の入力端子は、信号処理装置２４０３の出力端子に接続されている。出力装置２４０５の入力端子は、Ｄ／Ａ変換装置２４０４の出力端子に接続されている。
【０２０５】
受信装置２４０２は、ネットワーク２４０１からのディジタルの符号化音響信号を受けてディジタルの受信音響信号を生成して信号処理装置２４０３に与える。信号処理装置２４０３は、受信装置２４０２からの受信音響信号を受けてこの受信音響信号に復号化処理を行ってディジタルの復号化音響信号を生成してＤ／Ａ変換装置２４０４に与える。Ｄ／Ａ変換装置２４０４は、信号処理装置２４０３からのディジタルの復号化音声信号を変換してアナログの復号化音声信号を生成して出力装置２４０５に与える。出力装置２４０５は、電気的信号であるアナログの復号化音響信号を空気の振動に変換して音波として人間の耳に聴こえるように出力する。
【０２０６】
このように、本実施の形態の通信装置によれば、通信において前述した実施の形態１〜６に示したような効果を享受でき、少ないビット数で効率よく符号化された音響信号を復号することができるので、良好な音響信号を出力することができる。
【０２０７】
（実施の形態９）
次に、本発明の実施の形態９について、図面を参照して説明する。図２５は、本発明の実施の形態９に係る通信装置の構成を示すブロック図である。本発明の実施の形態９において、図２５における信号処理装置２５０３は、前述した実施の形態１から実施の形態６に示した音響符号化手段の中の１つによって構成されている点に本実施の形態の特徴がある。
【０２０８】
図２５に示すように、本発明の実施の形態９に係る通信装置２５００は、入力装置２５０１、Ａ／Ｄ変換装置２５０２、信号処理装置２５０３、ＲＦ変調装置２５０４及びアンテナ２５０５を具備している。
【０２０９】
入力装置２５０１は人間の耳に聞こえる音波を電気的信号であるアナログ信号に変換してＡ／Ｄ変換装置２５０２に与える。Ａ／Ｄ変換装置２５０２はアナログ信号をディジタル信号に変換して信号処理装置２５０３に与える。信号処理装置２５０３は入力されてくるディジタル信号を符号化して符号化音響信号を生成し、ＲＦ変調装置２５０４に与える。ＲＦ変調装置２５０４は、符号化音響信号を変調して変調符号化音響信号を生成し、アンテナ２５０５に与える。アンテナ２５０５は、変調符号化音響信号を電波として送信する。
【０２１０】
このように、本実施の形態の通信装置によれば、無線通信において前述した実施の形態１〜６に示したような効果を享受でき、少ないビット数で効率よく音響信号を符号化することができる。
【０２１１】
なお、本発明は、オーディオ信号を用いる送信装置、送信符号化装置又は音響信号符号化装置に適用することができる。また、本発明は、移動局装置又は基地局装置にも適用することができる。
【０２１２】
（実施の形態１０）
次に、本発明の実施の形態１０について、図面を参照して説明する。図２６は、本発明の実施の形態１０に係る通信装置の構成を示すブロック図である。本発明の実施の形態１０において、図２６における信号処理装置２６０３は、前述した実施の形態１から実施の形態６に示した音響復号化手段の中の１つによって構成されている点に本実施の形態の特徴がある。
【０２１３】
図２６に示すように、本発明の実施の形態１０に係る通信装置２６００は、アンテナ２６０１、ＲＦ復調装置２６０２、信号処理装置２６０３、Ｄ／Ａ変換装置２６０４及び出力装置２６０５を具備している。
【０２１４】
アンテナ２６０１は、電波としてのディジタルの符号化音響信号を受けて電気信号のディジタルの受信符号化音響信号を生成してＲＦ復調装置２６０２に与える。ＲＦ復調装置２６０２は、アンテナ２６０１からの受信符号化音響信号を復調して復調符号化音響信号を生成して信号処理装置２６０３に与える。
【０２１５】
信号処理装置２６０３は、ＲＦ復調装置２６０２からのディジタルの復調符号化音響信号を受けて復号化処理を行ってディジタルの復号化音響信号を生成してＤ／Ａ変換装置２６０４に与える。Ｄ／Ａ変換装置２６０４は、信号処理装置２６０３からのディジタルの復号化音声信号を変換してアナログの復号化音声信号を生成して出力装置２６０５に与える。出力装置２６０５は、電気的信号であるアナログの復号化音声信号を空気の振動に変換して音波として人間の耳に聴こえるように出力する。
【０２１６】
このように、本実施の形態の通信装置によれば、無線通信において前述した実施の形態１〜６に示したような効果を享受でき、少ないビット数で効率よく符号化された音響信号を復号することができるので、良好な音響信号を出力することができる。
【０２１７】
なお、本発明は、オーディオ信号を用いる受信装置、受信復号化装置又は音声信号復号化装置に適用することができる。また、本発明は、移動局装置又は基地局装置にも適用することができる。
【０２１８】
また、本発明は上記実施の形態に限定されず、種々変更して実施することが可能である。例えば、上記実施の形態では、信号処理装置として行う場合について説明しているが、これに限られるものではなく、この信号処理方法をソフトウェアとして行うことも可能である。
【０２１９】
例えば、上記信号処理方法を実行するプログラムを予めＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）に格納しておき、そのプログラムをＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｏｒ　Ｕｎｉｔ）によって動作させるようにしても良い。
【０２２０】
また、上記信号処理方法を実行するプログラムをコンピュータで読み取り可能な記憶媒体に格納し、記憶媒体に格納されたプログラムをコンピュータのＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　ｍｅｍｏｒｙ）に記録して、コンピュータをそのプログラムにしたがって動作させるようにしても良い。
【０２２１】
なお、上記説明では、時間領域から周波数領域への変換法にＭＤＣＴを用いる場合について説明を行っているがこれに限定されず直交変換であればいずれも適用できる。例えば、離散フーリエ変換または離散コサイン変換等を適用することもできる。
【０２２２】
なお、本発明は、オーディオ信号を用いる受信装置、受信復号化装置又は音声信号復号化装置に適用することができる。また、本発明は、移動局装置又は基地局装置にも適用することができる。
【０２２３】
【発明の効果】
以上説明したように、本発明の音響符号化装置及び音響符号化方法によれば、拡張レイヤのフレームの時間長を基本レイヤのフレームの時間長より短く設定して拡張レイヤの符号化を行うことにより、音声が主体で背景に音楽や雑音が重畳しているような信号であっても、遅延が短く低ビットレートで高品質に符号化を行うことができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１に係る音響符号化装置の構成を示すブロック図
【図２】音響信号の情報の分布の一例を示す図
【図３】基本レイヤと拡張レイヤで符号化の対象とする領域の一例を示す図
【図４】基本レイヤと拡張レイヤの符号化の一例を示す図
【図５】基本レイヤと拡張レイヤの復号化の一例を示す図
【図６】本発明の実施の形態１に係る音響復号化装置の構成を示すブロック図
【図７】本発明の実施の形態２の基本レイヤ符号化器の内部構成の一例を示すブロック図
【図８】本発明の実施の形態２の基本レイヤ復号化器の内部構成の一例を示すブロック図
【図９】本発明の実施の形態２の基本レイヤ復号化器の内部構成の一例を示すブロック図
【図１０】本発明の実施の形態３の拡張レイヤ符号化器の内部構成の一例を示すブロック図
【図１１】ＭＤＣＴ係数の配置の一例を示す図
【図１２】本発明の実施の形態３の拡張レイヤ復号化器の内部構成の一例を示すブロック図
【図１３】本発明の本発明の実施の形態４に係る音響符号化装置の構成を示すブロック図
【図１４】上記実施の形態の聴覚マスキング算出部の内部構成の一例を示すブロック図
【図１５】上記実施の形態の拡張レイヤ符号化器の内部構成の一例を示すブロック図
【図１６】上記実施の形態の聴覚マスキング算出部の内部構成の一例を示すブロック図
【図１７】本発明の実施の形態５の拡張レイヤ符号化器の内部構成の一例を示すブロック図
【図１８】ＭＤＣＴ係数の配置の一例を示す図
【図１９】本発明の実施の形態５の拡張レイヤ復号化器の内部構成の一例を示すブロック図
【図２０】本発明の実施の形態６の拡張レイヤ符号化器の内部構成の一例を示すブロック図
【図２１】ＭＤＣＴ係数の配置の一例を示す図
【図２２】本発明の実施の形態６の拡張レイヤ復号化器の内部構成の一例を示すブロック図
【図２３】本発明の実施の形態７に係る通信装置の構成を示すブロック図
【図２４】本発明の実施の形態８に係る通信装置の構成を示すブロック図
【図２５】本発明の実施の形態９に係る通信装置の構成を示すブロック図
【図２６】本発明の実施の形態１０に係る通信装置の構成を示すブロック図
【図２７】従来の音声符号化における基本レイヤのフレーム（基本フレーム）と拡張レイヤのフレーム（拡張フレーム）の一例を示す図
【図２８】従来の音声復号化における基本レイヤのフレーム（基本フレーム）と拡張レイヤのフレーム（拡張フレーム）の一例を示す図
【符号の説明】
１０１　ダウンサンプリング器
１０２　基本レイヤ符号化器
１０３　局所復号化器
１０４　アップサンプリング器
１０５　遅延器
１０６　減算器
１０７　フレーム分割器
１０８、１３０２　拡張レイヤ符号化器
１０９、１７０５　多重化器
６０１、１９０１、２２０１　分離器
６０２　基本レイヤ復号化器
６０３　アップサンプリング器
６０４　拡張レイヤ復号化器
６０５　重ね合わせ加算器
６０６　加算器
１００１、１５０１、１６０１、１７０１　ＭＤＣＴ部
１００２　量子化器
１２０１、１９０２、２２０２　ＭＤＣＴ係数復号化器
１２０２、１９０５、２２０５　ＩＭＤＣＴ部
１３０１　聴覚マスキング算出部
１４０１　ＦＦＴ部
１４０２　バークスペクトル算出器
１４０３　スプレッド関数畳み込み器
１４０４　トーナリティ算出器
１４０５　聴覚マスキング算出器
１５０２、１７０３、２００３　ＭＤＣＴ係数量子化器
１７０２　量子化位置決定部
１７０４　量子化位置符号化器
１９０３　量子化位置復号化器
１９０４、２２０４　時間周波数マトリクス生成器
２００１　領域分割器
２００２　量子化領域決定部
２００４　量子化領域符号化器
２２０３　量子化領域復号化器

Claims

入力信号のサンプリングレートを下げるダウンサンプリング手段と、サンプリングレートが下げられた入力信号を所定の基本フレーム単位で符号化する基本レイヤ符号化手段と、符号化された入力信号を復号化して復号信号を得る復号化手段と、前記復号信号のサンプリングレートを入力時の入力信号のサンプリングレートと同一のレートに上げるアップサンプリング手段と、入力時の入力信号とサンプリングレートが上げられた復号信号との差分信号を得る減算手段と、前記基本フレームより時間長が短い拡張フレーム単位で前記差分信号を符号化する拡張レイヤ符号化手段と、を具備することを特徴とする音響符号化装置。
基本フレーム単位の差分信号を拡張フレーム単位に分割するフレーム分割手段を具備し、前記拡張レイヤ符号化手段は分割された差分信号を符号化することを特徴とする請求項１に記載の音響符号化装置。
前記基本レイヤ符号化手段は、符号励振線形予測法を用いて入力信号を符号化することを特徴とする請求項１または請求項２に記載の音響符号化装置。
前記拡張レイヤ符号化手段は、前記差分信号を時間領域から周波数領域に直交変換し、変換後の前記差分信号を符号化することを特徴とする請求項１から請求項３のいずれかに記載の音響符号化装置。
前記拡張レイヤ符号化手段は、変形離散コサイン変換を用いて前記差分信号を時間領域から周波数領域に変換することを特徴とする請求項４に記載の音響符号化装置。
前記拡張レイヤ符号化手段は、周波数領域に変換した前記差分信号を所定の帯域のみ符号化することを特徴とする請求項４または請求項５記載の音響符号化装置。
聴覚に寄与しない振幅値を表す聴覚マスキングを算出する聴覚マスキング手段を具備し、前記拡張レイヤ符号化手段は、前記聴覚マスキング内の信号を符号化の対象としないことを特徴とする請求項４から請求項６のいずれかに記載の音響符号化装置。
前記拡張レイヤ符号化手段は、聴覚マスキングと残差信号の差をとり、この差が相対的に大きい残差信号を符号化の対象とし、前記残差信号が存在する時間領域と周波数領域の位置を符号化することを特徴とする請求項７に記載の音響符号化装置。
前記拡張レイヤ符号化手段は、時間領域と周波数領域の一方または両方において、それぞれ複数の領域を一つのグループとし、聴覚マスキングと残差信号の差を前記グループ単位で算出し、この差が相対的に大きいグループに含まれる残差信号のみを符号化することを特徴とする請求項８に記載の音響符号化装置。
符号化側において入力信号を所定の基本フレーム単位で符号化した第１符号化コードを復号化して第１復号信号を得る基本レイヤ復号化手段と、入力信号と符号化側において第１符号化コードを復号した信号との残差信号を前記基本フレームより時間長が短い拡張フレーム単位で符号化した第２符号化コードを復号化して第２復号信号を得る拡張レイヤ復号化手段と、第１復号信号のサンプリングレートを前記第２復号信号のサンプリングレートと同一のサンプリングレートに上げるアップサンプリング手段と、前記第２復号信号とサンプリングレートを上げられた第１復号信号を加算する加算手段と、を具備することを特徴とする音響復号化装置。
基本レイヤ復号化手段は、符号励振線形予測法を用いて第１符号化コードを復号化することを特徴とする請求項１０に記載の音響復号化装置。
拡張レイヤ復号化手段は、第２符号化コードを復号化した信号を周波数領域から時間領域に直交変換することを特徴とする請求項１０または請求項１１に記載の音響復号化装置。
第２復号信号同士を同じタイミングで符号化したフレーム部分を重ね合わせる重ね合わせ加算手段を具備し、前記拡張レイヤ復号化手段は、前記第２符号化コードを復号した信号に変形離散コサイン逆変換を用いて周波数領域から時間領域に直交変換することにより前記第２復号信号を復号して前記加算手段に出力し、加算手段は、前記重ね合わせ手段において重ね合わされた第２復号信号と前記第１復号信号とを加算することを特徴とする請求項１２に記載の音響復号化装置。
前記拡張レイヤ復号化手段は、第２符号化コードから残差信号が存在する時間領域と周波数領域との情報を復号し、前記残差信号が存在する時間領域と周波数領域を復号化することを特徴とする請求項１２または請求項１３に記載の音響復号化装置。
前記拡張レイヤ復号化手段は、時間領域と周波数領域の一方または両方において、それぞれ複数の領域を一つのグループとし、復号の対象となるグループに含まれる残差信号を復号化することを特徴とする請求項１４に記載の音響復号化装置。
音響信号を電気的信号に変換する音響入力手段と、この音響入力手段から出力された信号をディジタル信号に変換するＡ／Ｄ変換手段と、このＡ／Ｄ変換手段から出力されたディジタル信号を符号化する請求項１から請求項９のいずれかに記載の音響符号化装置と、この符号化装置から出力された符号化コードを無線周波数の信号に変調するＲＦ変調手段と、このＲＦ変調手段から出力された信号を電波に変換して送信する送信アンテナとを具備することを特徴とする音響信号送信装置。
電波を受信する受信アンテナと、この受信アンテナに受信された信号を復調するＲＦ復調手段と、このＲＦ復調手段にて得られた情報を復号する請求項１０から請求項１５のいずれかに記載の音響復号化装置と、この復号化装置から出力された信号をアナログ信号に変換するＤ／Ａ変換手段と、このＤ／Ａ変換手段から出力された電気的信号を音響信号に変換する音響出力手段とを具備することを特徴とする音響信号受信装置。
請求項１６記載の音響信号送信装置あるいは請求項１７記載の音響信号受信装置の少なくとも一方を具備することを特徴とする通信端末装置。
請求項１６記載の音響信号送信装置あるいは請求項１７記載の音響信号受信装置の少なくとも一方を具備することを特徴とする基地局装置。
符号化側において、所定の基本フレーム単位で入力信号を符号化して第１符号化コードを作成し、符号化された前記入力信号を復号化して第１復号信号を得て、前記入力信号と前記復号信号との差分信号を得て、前記基本フレームより時間長が短い拡張フレーム単位で前記差分信号を符号化して第２符号化コードを作成し、復号化側において、前記第１符号化コードを復号化して第２復号信号を得て、前記第２符号化コードを復号化して第３復号信号を得て、前記第２復号信号と前記第３復号信号を加算することを特徴とする音響符号化方法。