JP4373693B2 - 音響信号の階層符号化方法および階層復号化方法 - Google Patents

音響信号の階層符号化方法および階層復号化方法 Download PDF

Info

Publication number
JP4373693B2
JP4373693B2 JP2003092581A JP2003092581A JP4373693B2 JP 4373693 B2 JP4373693 B2 JP 4373693B2 JP 2003092581 A JP2003092581 A JP 2003092581A JP 2003092581 A JP2003092581 A JP 2003092581A JP 4373693 B2 JP4373693 B2 JP 4373693B2
Authority
JP
Japan
Prior art keywords
signal
decoding
encoding
layer
encoded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2003092581A
Other languages
English (en)
Other versions
JP2004301954A (ja
Inventor
正浩 押切
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2003092581A priority Critical patent/JP4373693B2/ja
Publication of JP2004301954A publication Critical patent/JP2004301954A/ja
Application granted granted Critical
Publication of JP4373693B2 publication Critical patent/JP4373693B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Description

【0001】
【発明の属する技術分野】
本発明は、音響信号の階層符号化方法および階層復号化方法に関し、特に楽音信号または音声信号などの音響信号を高能率に圧縮符号化に用いて好適な音響信号の階層符号化方法および階層復号化方法に関する。
【0002】
【従来の技術】
楽音信号または音声信号を低ビットレートで圧縮する音響符号化技術は、移動体通信における電波等の伝送路容量及び記録媒体の有効利用のために重要である。音声信号を符号化する音声符号化に、ITU(International Telecommunication Union)で規格化されているG726、G729などの方式が存在する。これらの方式は、狭帯域信号(300Hz〜3.4kHz)を対象とし、8kbit/s〜32kbit/sで高品質に符号化が行える。また、広帯域信号(50Hz〜7kHz)を対象とする標準方式としてITUのG722、G722.1や、3GPP(The 3rd Generation Partnership Project)のAMR-WBなどが存在する。これらの方式は、ビットレートが6.6kbit/s〜64kbit/sで広帯域音声信号を高品質に符号化できる。
【0003】
音声信号を低ビットレートで高能率に符号化を行う有効な方法に、CELP(Code Excited Linear Prediction)がある。CELPは、人間の音声生成モデルを工学的に模擬したモデルに基づき、乱数やパルス列で表される励振信号を周期性の強さに対応するピッチフィルタと声道特性に対応する合成フィルタに通し、その出力信号と入力信号の二乗誤差が聴覚特性の重み付けの下で最小になるよう符号化コードを決定する方法である(例えば、非特許文献1参照)。最近の標準音声符号化方式の多くがCELPに基づいており、例えばG729は8kbit/sで狭帯域信号の符号化が行え、AMR-WBは6.6kbit/s〜23.85kbit/sで広帯域信号を符号化できる。
【0004】
一方で、楽音信号を符号化する楽音符号化の場合は、MPEG(Moving Picture Expert Group)で規格化されているレイヤIII方式やAAC方式のように、楽音信号を周波数領域に変換し、聴覚心理モデルを利用して符号化を行う変換符号化が一般的である。これらの方式は、サンプリング周波数が44.1kHzの信号に対しチャネル当たり64kbit/s〜96kbit/sで聴感的な劣化がほとんど生じないことが知られている。
【0005】
しかしながら、音声信号が主体で、背景に音楽や環境音が重畳している信号を符号化する場合、音声符号化方式を適用すると背景部の音楽や環境音の影響で、背景部の信号のみならず音声信号も劣化してしまい全体的な品質が低下するという問題があった。これは、音声符号化方式が、CELPという音声モデルに特化した方式を基本にしているために生じる問題である。また、音声符号化方式が対応できる信号帯域は高々7kHzまでであり、それ以上の高域を持つ信号に対しては構成上十分に対応しきれないという問題があった。
【0006】
一方で、楽音符号化は音楽に対して高品質に符号化を行えるので、前述したような背景に音楽や環境音がある音声信号についても十分な品質を得ることができる。対象となる信号の帯域もCD品質である22kHz程度まで対応可能である。その反面、高品質な符号化を実現するためにはビットレートを高くして使用する必要があり、仮にビットレートを32kbit/s程度まで低く抑えると復号信号の品質が大きく低下するという問題がある。そのため、伝送レートの低い通信網で使用できないという問題があった。
【0007】
上述した問題を回避するためにこれら技術を組み合わせて、最初に入力信号を第1レイヤにてCELPで符号化し、次にその復号信号を入力信号から減算して得られる残差信号を求め、この信号を第2レイヤ以降にて変換符号化を行う方法が考えられる。この方法では、第1レイヤはCELPを用いているため音声信号を高品質に符号化でき、かつ第2レイヤ以降では第1レイヤで表しきれない背景の音楽や環境音、第1レイヤでカバーする周波数帯よりも高い周波数成分の信号を効率よく符号化することができる。
【0008】
しかしながら、音声ではなく音楽を入力したときに十分な品質を確保するためには、第2レイヤ以降へのビット配分を多くする必要があり、その結果ビットレートが高くなってしまうという問題がある。これは第1レイヤにCELPのような音声に特化した符号化方式を適用しているために生じる問題である。つまり、音楽信号が入力されたとき、第1レイヤで用いられるCELPでは音楽に対する符号化効率が高くないので、入力信号と第1レイヤの復号信号との誤差信号(つまり第2レイヤの入力信号)のパワーが大きくなる。この結果、第2レイヤ以降のレイヤに多くのビットを配分して、最終的な復号信号の品質を上げる必要があった。
【0009】
【非特許文献1】
"Code-Excited Linear Prediction (CELP): high quality speech at very low bit rates", Proc. ICASSP 85, pp.937-940, 1985.
【0010】
【発明が解決しようとする課題】
このように、従来の装置においては、低ビットレートで高品質な符号化を行うことが難しいという問題がある。
【0011】
本発明はかかる点に鑑みてなされたものであり、低ビットレートで高品質な符号化を行うことができる音響信号の階層符号化方法および階層復号化方法を提供することを目的とする。
【0012】
【課題を解決するための手段】
本発明の第1の態様に係る階層符号化方法は、入力音声信号を符号化し、前段で符号化した信号を復号し、この復号信号と入力信号との差分を符号化する階層符号化方法であって、所定の長さのフレーム単位で入力音響信号を符号化する第1符号化工程と、前段の符号化結果を復号化した信号と入力音響信号との差分を1段または複数段で符号化する第2符号化工程と、前記第2符号化工程の符号化結果を復号化した信号から予測残差信号を生成する予測フィルタ工程と、前記予測フィルタ工程の予測に基づいて符号化に用いる符号帳を更新する更新工程と具備するようにした。
【0013】
本発明の第2の態様に係る階層符号化方法は、前記第1符号化工程は、入力音響信号をCELP方式で符号化し、前記予測フィルタ工程は、量子化後のLPC係数を用いて予測フィルタを生成し、前記更新工程は、前記第2符号化手段の符号化結果を復号化した信号を前記予測フィルタに通した結果を用いて符号帳を更新するようにした。
【0014】
これらの方法によれば、上位レイヤで符号化しきれない部分を符号化する下位レイヤで符号化する階層符号化において、第2レイヤ以降の符号化信号を復号した信号と、上位レイヤの符号化で得られるLPC係数とから上位レイヤの符号化で発生する予測残差信号を生成し、この予測残差信号を用いて上位レイヤの適応符号帳の更新を行うことにより、音響信号の符号化に近い駆動音源を持つ適応符号帳で符号化することができ、低ビットレートで高品質な符号化を行うことができる。
【0015】
本発明の第3の態様に係る階層符号化方法は、入力音響信号をダウンサンプリングするダウンサンプリング工程と、前段の符号化結果を復号化した信号をアップサンプリングするアップサンプリング工程とを具備し、前記第2符号化工程は、アップサンプリング後の前段の符号化結果を復号化した信号と入力音響信号との差分を1段または複数段で符号化するようにした。
【0016】
この方法によれば、下位レイヤで符号化する信号のサンプリング周波数を上位レイヤで符号化する信号のサンプリング周波数より高くすることにより、様々なサンプリング周波数に対応させて入力信号を符号化することができる。
【0017】
本発明の第4の態様に係る階層符号化方法は、入力音響信号の周期性を測定する周期性算出工程を具備し、前記更新工程は、前記周期性が所定のしきい値以上である場合に前記予測フィルタ工程の予測で得られる予測残差信号を用いて符号帳を更新し、前記周期性が所定のしきい値未満である場合に生成した駆動音源信号とのいずれかを用いて符号帳を更新するようにした。
【0018】
この方法によれば、入力音響信号の周期性が強い場合には、高位レイヤの復号信号から求められる予測残差信号を使って適応符号帳の内部状態を更新することにより適応符号帳による予測精度が増し性能が向上する。また、本実施の形態の階層符号化装置によれば、入力音響信号の周期性が強くない場合には駆動音源信号を使って適応符号帳の内部状態を更新することにより、非周期的な信号に対する効果を上げることができる。
【0019】
本発明の第5の態様に係る階層符号化方法は、予測残差信号を用いて適応符号帳の内部状態を更新し入力音響信号を実際に符号化して求められる歪と、駆動音源信号を用いて符号帳の内部状態を更新し入力音響信号を実際に符号化して求められる歪のいずれが小さいかを判定する判定工程を具備し、前記更新工程は、前記歪みが小さい信号を用いて符号帳を更新するようにした。
【0020】
この方法によれば、予測残差信号もしくは駆動音源信号のいずれを用いて適応符号帳の内部状態を更新するかを判定する際に、予測残差信号を用いて適応符号帳の内部状態を更新し入力音響信号を実際に符号化して求められる歪と、駆動音源信号を用いて適応符号帳の内部状態を更新し入力音響信号を実際に符号化して求められる歪を算出して比較し、歪が小さくなる信号を用いて適応符号帳の内部状態を更新することにより、歪の小さくなる信号を常に使って適応符号帳の内部状態を更新することになるので、品質を向上することができる。
【0021】
本発明の第6の態様に係る階層復号化方法は、符号側で入力音声信号を符号化し、前段で符号化した信号を復号し、この復号信号と入力信号との差分を符号化した信号を復号する階層復号化方法であって、所定の長さのフレーム単位で入力音響信号を符号化した信号を復号する第1復号化工程と、前段の符号化結果を復号化した信号と入力音響信号との差分を1段または複数段で符号化した信号をそれぞれ復号して加算する第2復号化工程と、前記第1復号化工程と前記第2復号化工程の復号結果から予測残差信号を生成する予測フィルタ工程と、前記予測フィルタ工程の予測に基づいて復号化に用いる符号帳を更新する更新工程と、を具備するようにした。
【0022】
本発明の第7の態様に係る階層復号化方法は、前記第1復号化工程は、入力音響信号を符号化した信号をCELP方式で復号し、前記予測フィルタ工程は、符号化側で符号化されたLPC係数を復号して得られるLPC係数を用いて予測フィルタを生成し、前記更新工程は、前記第1復号化工程と前記第2復号化工程の復号結果を前記予測フィルタに通した結果を用いて符号帳を更新するようにした。
【0023】
これらの方法によれば、上位レイヤで符号化しきれない部分を符号化する下位レイヤで符号化する階層符号化方法の復号において、第2レイヤ以降の符号化信号を復号した信号と、上位レイヤの符号化で得られるLPC係数とから上位レイヤの符号化で発生する残差信号を予測し、この予測した残差信号を用いて上位レイヤの適応符号帳の更新を行うことにより、音響信号の符号化に近い駆動音源を持つ適応符号帳で復号することができ、低ビットレートで高品質な信号を復号できる。
【0024】
本発明の第8の態様に係る階層復号化方法は、前段の復号化結果をアップサンプリングするアップサンプリング工程と、アップサンプリングした復号結果と後段の復号結果を加算する加算工程と、前記加算結果をダウンサンプリングするダウンサンプリング工程と、を具備し、前記予測フィルタ工程は、ダウンサンプリング後の復号結果から予測残差信号を生成するようにした。
【0025】
この方法によれば、下位レイヤで復号する信号のサンプリング周波数を上位レイヤで復号する信号のサンプリング周波数より高くすることにより、様々なサンプリング周波数に対応させて信号を符号化した信号を復号することができる。
【0026】
本発明の第9の態様に係る階層復号化方法は、前記更新工程は、符号化側において前記予測フィルタ工程の予測で得られる予測残差信号と生成した駆動音源信号とのいずれかを用いて適応符号帳を更新するか判定した結果に基づいて符号帳を更新するようにした。
【0027】
本発明の第10の態様に係る階層符号化装置は、入力音声信号を符号化し、前段で符号化した信号を復号し、この復号信号と入力信号との差分を符号化する階層符号化装置であって、所定の長さのフレーム単位で入力音響信号を符号化する第1符号化手段と、前段の符号化結果を復号化した信号と入力音響信号との差分を1段または複数段で符号化する第2符号化手段と、前記第2符号化手段の符号化結果を復号化した信号から予測残差信号を生成する予測フィルタ手段と、を具備し、前記第1符号化手段は、前記予測フィルタ手段の予測に基づいて符号化に用いる符号帳を更新するようにした。
【0028】
この構成によれば、符号側において入力音響信号の周期性の強さ等に基づいて、予測残差信号もしくは駆動音源信号のいずれを用いて適応符号帳の内部状態を更新するかを判定した結果に基づいて、符号化された音響信号の周期性が強い場合には、高位レイヤの復号信号から求められる予測残差信号を使って適応符号帳の内部状態を更新することにより、階層符号化法の符号化コードを復号することができ、その結果高品質な音響信号を復号することができる。
【0029】
本発明の第11の態様に係る階層符号化装置は、前記第1符号化手段は、入力音響信号をCELP方式で符号化する手段であって、過去に生成した駆動音源信号を保持する符号帳と、入力音響信号からLPC係数を求めるLPC分析手段と、入力音声信号と差が最も小さい駆動音源信号を探索する探索手段と、を具備し、前記予測フィルタ手段は、量子化後のLPC係数を用いて予測フィルタを生成し、前記第1符号化手段は、前記第2符号化手段の符号化結果を復号化した信号を前記予測フィルタに通した結果を用いて符号帳を更新する構成を採る。
【0030】
この構成によれば、上位レイヤで符号化しきれない部分を符号化する下位レイヤで符号化する階層符号化において、第2レイヤ以降の符号化信号を復号した信号と、上位レイヤの符号化で得られるLPC係数とから予測残差信号を生成し、この予測した残差信号を用いて上位レイヤの適応符号帳の更新を行うことにより、音響信号の符号化に近い駆動音源を持つ適応符号帳で符号化することができ、低ビットレートで高品質な符号化を行うことができる。
【0031】
本発明の第12の態様に係る階層符号化装置は、入力音響信号をダウンサンプリングして前記第1符号化手段または前記第2符号化手段に出力するダウンサンプリング手段と、前段の符号化結果を復号化した信号をアップサンプリングするアップサンプリング手段とを具備し、前記第2符号化手段は、アップサンプリング後の前段の符号化結果を復号化した信号と入力音響信号との差分を1段または複数段で符号化する構成を採る。
【0032】
この構成によれば、下位レイヤで符号化する信号のサンプリング周波数を上位レイヤで符号化する信号のサンプリング周波数より高くすることにより、様々なサンプリング周波数に対応させて入力信号を符号化することができる。
【0033】
本発明の第13の態様に係る階層符号化装置は、前記第1符号化手段は、前記予測フィルタ手段の予測で得られる予測残差信号と生成した駆動音源信号とのいずれかを用いて適応符号帳を更新するか判定する判定手段を具備する構成を採る。
【0034】
本発明の第14の態様に係る階層符号化装置は、前記第1符号化手段は、入力音響信号の周期性を測定する周期性算出手段を具備し、前記判定手段は、前記周期性が所定のしきい値以上である場合に前記予測フィルタ手段の予測で得られる予測残差信号を用いて符号帳を更新し、前記周期性が所定のしきい値未満である場合に生成した駆動音源信号とを用いて符号帳を更新する判定をする構成を採る。
【0035】
これらの構成によれば、入力音響信号の周期性が強い場合には、高位レイヤの復号信号から求められる予測残差信号を使って適応符号帳の内部状態を更新することにより適応符号帳による予測精度が増し性能が向上する。また、本実施の形態の階層符号化装置によれば、入力音響信号の周期性が強くない場合には駆動音源信号を使って適応符号帳の内部状態を更新することにより、非周期的な信号に対する効果を上げることができる。
【0036】
本発明の第15の態様に係る階層符号化装置は、前記判定手段は、予測残差信号を用いて適応符号帳の内部状態を更新し入力音響信号を実際に符号化して求められる歪と、駆動音源信号を用いて適応符号帳の内部状態を更新し入力音響信号を実際に符号化して求められる歪のいずれが小さいかを判定し、前記第1符号化手段は、前記歪みが小さい信号を用いて符号帳を更新する判定をする構成を採る。
【0037】
この構成によれば、予測残差信号もしくは駆動音源信号のいずれを用いて適応符号帳の内部状態を更新するかを判定する際に、予測残差信号を用いて適応符号帳の内部状態を更新し入力音響信号を実際に符号化して求められる歪と、駆動音源信号を用いて適応符号帳の内部状態を更新し入力音響信号を実際に符号化して求められる歪を算出して比較し、歪が小さくなる信号を用いて適応符号帳の内部状態を更新することにより、歪の小さくなる信号を常に使って適応符号帳の内部状態を更新することになるので、品質を向上することができる。
【0038】
本発明の第16の態様に係る階層復号化装置は、符号側で入力音声信号を符号化し、前段で符号化した信号を復号し、この復号信号と入力信号との差分を符号化した信号を復号する階層復号化装置であって、所定の長さのフレーム単位で入力音響信号を符号化した信号を復号する第1復号化手段と、前段の符号化結果を復号化した信号と入力音響信号との差分を1段または複数段で符号化した信号をそれぞれ復号して加算する第2復号化手段と、前記第1復号化手段と前記第2復号化手段の復号結果から予測残差信号を生成する予測フィルタ手段と、を具備し、前記復号化手段は、前記予測フィルタ手段の予測に基づいて復号化に用いる符号帳を更新する構成を採る。
【0039】
本発明の第17の態様に係る階層復号化装置は、前記第1復号化手段は、入力音響信号を符号化した信号をCELP方式で復号する手段であって、前記予測フィルタ手段は、符号化側で符号化されたLPC係数を復号して得られるLPC係数を用いて予測フィルタを生成し、前記第1復号化手段は、前記第1復号化手段と前記第2復号化手段の復号結果を前記予測フィルタに通した結果を用いて符号帳を更新する構成を採る。
【0040】
これらの構成によれば、上位レイヤで符号化しきれない部分を符号化する下位レイヤで符号化する階層符号化方法の復号において、第2レイヤ以降の符号化信号を復号した信号と、上位レイヤの符号化で得られるLPC係数とから予測残差信号を生成し、この予測した残差信号を用いて上位レイヤの適応符号帳の更新を行うことにより、音響信号の符号化に近い駆動音源を持つ適応符号帳で復号することができ、低ビットレートで高品質な信号を復号できる。
【0041】
本発明の第18の態様に係る階層復号化装置は、前段の復号化結果をアップサンプリングするアップサンプリング手段と、アップサンプリングした復号結果と後段の復号結果を加算する加算手段と、前記加算手段の加算結果をダウンサンプリングするダウンサンプリング手段と、を具備し、前記フィルタ手段は、ダウンサンプリング後の復号結果から予測残差信号を生成する構成を採る。
【0042】
この構成によれば、下位レイヤで復号する信号のサンプリング周波数を上位レイヤで復号する信号のサンプリング周波数より高くすることにより、様々なサンプリング周波数に対応させて信号を符号化した信号を復号することができる。
【0043】
本発明の第19の態様に係る階層復号化装置は、前記第1復号化手段は、符号化側において前記予測フィルタ手段の予測で得られる予測残差信号と生成した駆動音源信号とのいずれかを用いて適応符号帳を更新するか判定した結果に基づいて符号帳を更新する構成を採る。
【0044】
この構成によれば、符号側において入力音響信号の周期性の強さ等に基づいて、予測残差信号もしくは駆動音源信号のいずれを用いて適応符号帳の内部状態を更新するかを判定した結果に基づいて、符号化された音響信号の周期性が強い場合には、高位レイヤの復号信号から求められる予測残差信号を使って適応符号帳の内部状態を更新することにより、階層符号化法の符号化コードを復号することができ、その結果高品質な音響信号を復号することができる。
【0045】
本発明の第20の態様に係る音響信号送信装置は、音響信号を電気的信号に変換する音響入力手段と、この音響入力手段から出力された信号をディジタル信号に変換するA/D変換手段と、このA/D変換手段から出力されたディジタル信号を符号化する上記階層符号化装置と、この符号化装置から出力された符号化コードを無線周波数の信号に変調するRF変調手段と、このRF変調手段から出力された信号を電波に変換して送信する送信アンテナと、を具備する構成を採る。
【0046】
この構成によれば、上位レイヤで符号化しきれない部分を符号化する下位レイヤで符号化する階層符号化において、第2レイヤ以降の符号化信号を復号した信号と、上位レイヤの符号化で得られるLPC係数とから予測残差信号を生成し、この予測した残差信号を用いて上位レイヤの適応符号帳の更新を行うことにより、音響信号の符号化に近い駆動音源を持つ適応符号帳で符号化することができ、低ビットレートで高品質な符号化を行うことができる。
【0047】
本発明の第21の態様に係る音響信号受信装置は、電波を受信する受信アンテナと、この受信アンテナに受信された信号を復調するRF復調手段と、このRF復調手段にて得られた情報を復号する上記階層復号化装置と、この復号化装置から出力された信号をアナログ信号に変換するD/A変換手段と、このD/A変換手段から出力された電気的信号を音響信号に変換する音響出力手段と、を具備する構成を採る。
【0048】
この構成によれば、上位レイヤで符号化しきれない部分を符号化する下位レイヤで符号化する階層符号化方法の復号において、第2レイヤ以降の符号化信号を復号した信号と、上位レイヤの符号化で得られるLPC係数とから予測残差信号を生成し、この予測した残差信号を用いて上位レイヤの適応符号帳の更新を行うことにより、音響信号の符号化に近い駆動音源を持つ適応符号帳で復号することができ、低ビットレートで高品質な信号を復号できる。
【0049】
本発明の第22の態様に係る通信端末装置は、上記音響信号送信装置あるいは上記音響信号受信装置の少なくとも一方を具備する構成を採る。本発明の第23の態様に係る基地局装置は、上記音響信号送信装置あるいは上記音響信号受信装置の少なくとも一方を具備する構成を採る。
【0050】
これらの構成によれば、上位レイヤで符号化しきれない部分を符号化する下位レイヤで符号化する階層符号化において、第2レイヤ以降の符号化信号を復号した信号と、上位レイヤの符号化で得られるLPC係数とから予測残差信号を生成し、この予測した残差信号を用いて上位レイヤの適応符号帳の更新を行うことにより、音響信号の符号化に近い駆動音源を持つ適応符号帳で符号化することができ、低ビットレートで高品質な符号化を行うことができる。
【0051】
【発明の実施の形態】
本発明の骨子は、上位レイヤで符号化しきれない部分を符号化する下位レイヤで符号化する階層符号化において、第2レイヤ以降の符号化信号を復号した信号と、上位レイヤの符号化で得られるLPC係数とから予測残差信号を生成し、この予測した残差信号を用いて上位レイヤの適応符号帳の更新を行うことにより、音響信号の符号化に近い駆動音源を持つ適応符号帳で符号化して低ビットレートで高品質な符号化を行うことである。
【0052】
以下、本発明の実施の形態について図面を参照して詳細に説明する。以降の実施の形態の説明ではレイヤ数Nを3にした場合について説明するが、本発明はこの数値に限定されるものではなく、N≧2の条件を満たす構成に適用することが可能である。
【0053】
(実施の形態1)
図1は、本発明の実施の形態1に係る階層符号化装置の構成を示すブロック図である。図1の階層符号化装置100は、入力端子101と、第1レイヤ符号化部102と、第1レイヤ復号化部103と、遅延器104と、減算器105と、第2レイヤ符号化部106と、第2レイヤ復号化部107と、加算器108と、遅延器109と、減算器110と、第3レイヤ符号化部111と、第3レイヤ復号化部112と、加算器113と、多重化部114と、出力端子115と、予測フィルタ116とから主に構成される。
【0054】
本実施の形態では、各レイヤに入力される信号のサンプリング周波数は全て同じであるとし、サンプリング周波数をFsと表すものとする。入力端子101から、サンプリング周波数Fsの音響信号が入力され、第1レイヤ符号化部102に与えられる。
【0055】
第1レイヤ符号化部102は、過去に生成した駆動音源信号を内部状態として保持している適応符号帳を有し、適応符号帳を用いることで周期性の強い信号を効率的に符号化することができる。第1レイヤ符号化部102は、入力音響信号と符号化後に生成される復号信号との間の聴感的な歪が最小となるように第1符号化コードを決定する。第1レイヤ符号化部102に適用される代表的な方法として符号励線形予測法(CELP)があるが、この詳細な説明は後述する。
【0056】
そして、第1レイヤ符号化部102は、得られた第1符号化コードを第1レイヤ復号化部103及び多重化部114に出力する。第1レイヤ復号化部103は、第1符号化コードを用いて第1レイヤ復号信号を生成し、この第1レイヤ復号信号を減算器105及び加算器108に出力する。
【0057】
遅延器104は、入力端子101から入力される音響信号を所定の時間長だけ遅延して減算器105に出力する。すなわち、遅延器104は、第1レイヤ符号化部102と第1レイヤ復号化部103で生じる遅延を補正する役割を持つ。
【0058】
減算器105は、遅延器104の出力信号と前述の第1レイヤ復号信号との差をとり第2レイヤ残差信号を生成する。そして、減算器105は、第2レイヤ残差信号を第2レイヤ符号化部106に出力する。
【0059】
第2レイヤ符号化部106は、第2レイヤ残差信号を聴感的に品質改善が成されるように符号化を行い、第2符号化コードを決定する。そして、第2レイヤ符号化部106は、第2レイヤ復号化部107と第2符号化コードを多重化部114に出力する。
【0060】
同様に第2レイヤ復号化部107に第2符号化コードを与え、第2レイヤ復号化部107は、第2符号化コードを用いて復号処理を行い、第2レイヤ復号残差信号を生成し、この第2レイヤ復号残差信号を加算器108に出力する。
【0061】
加算器108は、第1レイヤ復号信号と第2レイヤ復号残差信号の和をとり、第2レイヤ復号信号を生成する。そして、加算器108は、この第2レイヤ復号信号を減算器110と加算器113に出力する。
【0062】
次に、遅延器109は、入力端子101から入力される音響信号を所定の時間長だけ遅延した後、この音響信号を減算器110に出力する。すなわち、遅延器109は、前段までの符号化部と復号化部で生じる遅延、具体的には第1レイヤ符号化部102と第1レイヤ復号化部103および第2レイヤ符号化部106と第2レイヤ復号化部107で生じる遅延を補正する役割を持つ。
【0063】
減算器110は、遅延器109の出力信号と前述の第2レイヤ復号信号との差をとり第3レイヤ残差信号を生成する。そして、減算器110は、この第3レイヤ残差信号を第3レイヤ符号化部111に出力する。
【0064】
第3レイヤ符号化部111は、第3レイヤ残差信号を聴感的に品質改善が成されるように符号化して第3符号化コードを決定し、この第3符号化コードを第3レイヤ復号化部112と多重化部114に出力する。
【0065】
第3レイヤ復号化部112は、第3符号化コードを用いて復号処理を行い、第3レイヤ復号残差信号を生成し、この第3レイヤ復号残差信号を加算器113に出力する。
【0066】
加算器113は、第2レイヤ復号信号と第3レイヤ復号残差信号の和をとり、第3レイヤ復号信号を生成し、この第3レイヤ復号信号を予測フィルタ116に出力する。
【0067】
多重化部114は、第1符号化コード、第2符号化コードおよび第3符号化コードを所定の手段によって多重化を行い、符号化ビット列を生成する。そして、多重化部114は、この符号化ビット列を出力端子115より出力する。
【0068】
加算器113で生成された第3レイヤ復号信号は予測フィルタ116に与えられる。
【0069】
予測フィルタ116は、第3レイヤ復号信号に予測フィルタをかけ、予測残差信号を生成し、この予測残差信号を第1レイヤ符号化部102に出力する。予測フィルタは、第1レイヤ符号化部102で算出された量子化後のLPC係数により構成される。第3レイヤ復号信号をsyn3(k)、予測残差信号をe(k)、量子化後のLPC係数をαq(i)とすると、予測残差信号e(k)は次の式(1)で表される。
【0070】
【数1】
Figure 0004373693
ここで、NPはLPC係数の次数を表す。
【0071】
第1レイヤ符号化部102は、上記説明で求めた予測残差信号を用いて、第1レイヤ符号化部102に内在する適応符号帳の内部状態として利用する。
【0072】
以下、第1レイヤ符号化部102の詳細について説明する。ここでは、第1レイヤ符号化部102にCELPを用いる場合を例にして説明するが、本発明の要件として第1レイヤ符号化部に過去の駆動音源信号を内部状態として保持している適応符号帳が存在する符号化方法であればよく、本発明はCELPに限定されるものではない。
【0073】
図2は、本実施の形態の階層符号化装置の第1レイヤ符号化部の内部構成を示すブロック図である。図2の第1レイヤ符号化部は、CELPの代表的な構成を基にしたときの構成図である。図2において破線枠で囲まれた部分が図1の第1レイヤ符号化部102に相当する。図2において、第1レイヤ符号化部102は、入力端子201と、LPC分析器202と、LPC量子化器203と、LPC復号器204と、聴感重みフィルタ205と、聴感重み付き合成フィルタ206と、適応符号帳207と、雑音符号帳208と、乗算器209と、乗算器210と、ゲイン符号帳211と、加算器212と、減算器213と、探索器214と、多重化部215と、出力端子216と、出力端子217と、入力端子218とから主に構成される。
【0074】
入力端子201には、図1の入力端子101から入力される音響信号が入力される。LPC分析器202は、入力端子201から入力されたサンプリングレートFsの音響信号からLPC係数を求める。このLPC係数は、聴感的な品質向上のために利用される。LPC分析器202は、このLPC係数をLPC量子化器203、聴感重みフィルタ205、及び聴感重み付き合成フィルタ206に出力する。
【0075】
LPC量子化器203は、LPC係数をLSP係数などの量子化に適したパラメータに変換し、量子化を行う。そして、LPC量子化器203は、この量子化で得られる符号化コードをLPC復号器204と多重化部215に出力する。
【0076】
LPC復号器204は、符号化コードから量子化後のLSP係数を算出し、LPC係数に変換して量子化後のLPC係数を求める。そして、LPC復号器204は、この量子化後のLPC係数を聴感重み付き合成フィルタ206と出力端子217に出力する。この量子化後のLPC係数は、適応符号帳、適応ゲイン、雑音符号帳および雑音ゲインの符号化に利用される。また、量子化後のLPC係数が出力端子217より出力され、前述したように図1の予測フィルタ116に与えられ、予測残差信号e(k)を求める際に利用される。
【0077】
聴感重みフィルタ205は、LPC分析器202で求められたLPC係数を基に入力信号に重み付けを行う。これは、量子化歪のスペクトルを入力信号のスペクトル包絡にマスクされるようスペクトル整形を行うことを目的として行われる。そして、聴感重みフィルタ205は、重み付けされた入力信号を減算器213に出力する。
【0078】
次に、適応ベクトル、適応ベクトルゲイン、雑音ベクトル、雑音ベクトルゲインの探索する構成の部分について説明する。
【0079】
適応符号帳207は、過去に生成した駆動音源信号を内部状態として保持し、この内部状態を所望のピッチ周期で繰り返すことにより適応ベクトルを生成する。ピッチ周期の取る範囲は、実際の音声のピッチ周期を勘案し60Hz〜400Hzの間が適当である。そして、適応符号帳207は、内部に保持した駆動音源信号を適応ベクトルとして順に乗算器209に出力する。
【0080】
乗算器209は、この適応ベクトルにゲイン符号帳211から出力される適応ベクトルゲインを乗算して加算器212に出力する。
【0081】
また、雑音符号帳208は、あらかじめ記憶領域に格納されている雑音ベクトル、もしくは代数(algebraic)構造のように記憶領域を持たずにルールに従い生成されるベクトルを雑音ベクトルとして出力する。
【0082】
乗算器210は、この雑音ベクトルにゲイン符号帳211から出力される雑音ベクトルゲインを乗算して加算器212に出力する。
【0083】
加算器212は、適応ベクトルゲインが乗じられた適応ベクトルと雑音ベクトルゲインが乗じられた雑音ベクトルとを加算して駆動音源信号を生成し、この駆動音源信号を聴感重み付き合成フィルタ206に出力する。
【0084】
聴感重み付き合成フィルタ206は、駆動音源信号を聴覚重み付き合成フィルタに通して聴覚重み付き合成信号を生成し、この聴覚重み付き合成信号を減算器213に出力する。
【0085】
減算器213は、聴覚重み付き入力信号から聴覚重み付き合成信号を減算し、減算後の信号を探索器214に出力する。
【0086】
探索器214は、減算後の信号から定義される歪が最小となる適応ベクトル、適応ベクトルゲイン、雑音ベクトル、雑音ベクトルゲインの組み合わせを効率よく探索し、これら検索された符号化コードを多重化部215に出力する。
【0087】
探索器214は、以下の式(2)または式(3)で定義される歪を最小とする符号化コードi,j,mもしくは符号化コードi,j,m,nを決定してそれらを多重化部215に送る。
【0088】
【数2】
Figure 0004373693
【数3】
Figure 0004373693
ここで、t(k)は聴覚重み付き入力信号、pi(k)は第i番目の適応ベクトルを聴覚重み付き合成フィルタに通して得られる信号、ej(k)は第j番目の雑音ベクトルを聴覚重み付き合成フィルタに通して得られる信号、βとγはそれぞれ適応ベクトルゲインと雑音ベクトルゲインを表す。式(2)と式(3)とではゲイン符号帳の構成が異なり、式2の場合、ゲイン符号帳は適応ベクトルゲインβmと雑音ベクトルゲインγmを要素として持つベクトルとして表されており、ベクトルを特定するための符号化コードmが決定されることになる。式3の場合、ゲイン符号帳は適応ベクトルゲインβmと雑音ベクトルゲインγnをそれぞれ独立に有しており、それぞれの符号化コードm,nが独立に決定されることになる。
【0089】
適応ベクトル、適応ベクトルゲイン、雑音ベクトル、雑音ベクトルゲインの最適化を同時に図ると演算量が膨大になるため対策が必要である。一般的には、適応ベクトル、適応ベクトルゲイン、雑音ベクトル、雑音ベクトルゲインの順に最適なベクトルまたは値を決定していく方法が採られる。
【0090】
そして、探索器214において符号化コードが決定された後に、多重化部215はこれらの符号化コードを一つにまとめて出力端子216より出力する。
【0091】
上記符号化処理が終了した後に、次のフレーム(もしくはサブフレーム)での符号化処理に備えて、適応符号帳の内部状態を更新する。
【0092】
予測フィルタ116は、加算器113より得られる第3レイヤ復号信号syn(n)と第1レイヤ符号化部102より得られる量子化後のLPC係数αq(i)を用いて、予測残差信号r(n)を出力する。この予測残差信号r(n)を用いて適応符号帳内の内部状態を更新することになる。予測フィルタ116は、量子化後のLPC係数αq(i)を用いて予測フィルタを構成し、この予測フィルタに第3レイヤ復号信号syn(n)を入力することにより予測残差信号r(n)を算出することになる。予測残差信号r(n)は次の式(4)に従い算出される。
【0093】
【数4】
Figure 0004373693
ここでNPはLPC係数の次数を表す。
【0094】
本発明の特徴はこの上記説明の部分にあり、従来の方法では加算器212で求められた駆動音源信号を用いて適応符号帳207の内部状態を更新していたが、本発明では入力端子218から入力される予測フィルタ116の出力信号を用いて適応符号帳の内部状態を更新する。本発明の効果の説明を、図3を用いて行う。
【0095】
図3は、入力音響信号とそれに対応する第1レイヤ復号信号、第2レイヤ復号信号、第3レイヤ復号信号の関係を示す図である。従来の方法では、第1レイヤ復号信号に対応する駆動音源信号を用いて適応符号帳を更新している。
【0096】
各レイヤの復号信号を比較すると、最も入力音響信号に近い信号は第3レイヤ復号信号であり、次いで第2レイヤ復号信号、第1レイヤ復号信号の順となる。これは、本実施の形態ではレイヤが増すごとに入力音響信号と復号信号の誤差が小さくなるように符号化されていくことによる。一方で、適応符号帳の内部状態が入力音響信号と類似な状態になっているほど適応符号帳の性能は高くなる。そのため、第3レイヤ復号信号を用いて適応符号帳の内部状態を更新すると、より効率的な符号化が実現できる。適応符号帳の内部状態は駆動音源信号にする必要があるため、実際上は、第3レイヤ復号信号から、LPC係数を使って予測残差信号を求め、この予測残差信号を用いて適応符号帳の内部状態を更新することになる。
【0097】
このように、本実施の形態の階層符号化装置によれば、上位レイヤで符号化しきれない部分を符号化する下位レイヤで符号化する階層符号化において、第2レイヤ以降の符号化信号を復号した信号と、上位レイヤの符号化で得られるLPC係数とから上位レイヤの符号化で発生する残差信号を予測し、この予測した残差信号を用いて上位レイヤの適応符号帳の更新を行うことにより、音響信号の符号化に近い駆動音源を持つ適応符号帳で符号化することができ、低ビットレートで高品質な符号化を行うことができる。
【0098】
なお、上記説明では、予測フィルタ116が第3レイヤ復号信号と第1レイヤ符号化部102より得られる量子化後のLPC係数を用いて、予測残差信号を作成し、第1レイヤ符号化部102は、この予測残差信号を用いて適応符号帳の内部状態を更新しているが、予測フィルタ116が、第2レイヤ復号信号をもちいて予測残差信号を作成してもよい。すなわち、予測残差信号を作成するために必要な復号信号は、第1レイヤ符号化で符号化しきれない残差信号を符号化するレイヤであれば何段目であってもよい。
【0099】
図4は、本発明の実施の形態1に係る階層符号化装置の構成を示すブロック図である。図4において図1と同一の番号が付与されている構成要素については同一の機能を有するものとしてここでは説明を省略する。本実施の形態の特徴は、中間レイヤの復号信号(図4では第2レイヤ復号信号)を予測フィルタ116に与え、その出力信号を適応符号帳207の内部状態の更新に用いる点にある。この構成によれば、中間レイヤまでのスケーラビリティを確保できるという特徴がある。
【0100】
加算器108は、第1レイヤ復号信号と第2レイヤ復号残差信号の和をとり、第2レイヤ復号信号を生成する。そして、加算器108は、この第2レイヤ復号信号を減算器110と予測フィルタ116に出力する。
【0101】
予測フィルタ116は、第2レイヤ復号信号に予測フィルタをかけ、予測残差信号を生成し、この予測残差信号を第1レイヤ符号化部102に出力する。
【0102】
第1レイヤ符号化部102は、予測フィルタ116で求めた予測残差信号を用いて、第1レイヤ符号化部102に内在する適応符号帳の内部状態として利用する。第1レイヤ符号化部102は、入力音響信号と符号化後に生成される復号信号との間の聴感的な歪が最小となるように第1符号化コードを決定する。そして、第1レイヤ符号化部102は、得られた第1符号化コードを第1レイヤ復号化部103及び多重化部114に出力する。
【0103】
このように、本実施の形態の階層符号化装置によれば、中間レイヤの復号信号を予測フィルタに与え、その出力信号を第1レイヤ符号化の適応符号帳の内部状態の更新に用いることにより、中間レイヤまでのスケーラビリティを確保できる。
【0104】
(実施の形態2)
本実施の形態では、実施の形態1の階層符号化装置で符号化された信号を復号する例について説明する。本実施の形態の特徴は、実施の形態1で説明された階層符号化法の符号化コードを復号することができ、その結果高品質な音響信号を復号することが可能になる点にある。
【0105】
図5は、本発明の実施の形態2に係る階層復号化装置の構成を示すブロック図である。図5の階層復号化装置300は、入力端子301と、分離部302と、第1レイヤ復号化部303と、第2レイヤ復号化部304と、第3レイヤ復号化部305と、加算器306と、加算器307と、予測フィルタ308と、出力端子309とから主に構成される。
【0106】
入力端子301から図1の階層符号化装置にて符号化された符号化ビット列が入力される。
【0107】
分離部302は、符号化ビット列を分離し、第1レイヤ符号化で得られる第1符号化コード、第2レイヤ符号化で得られる第2符号化コードおよび第3レイヤ符号化で得られる第3符号化コードを生成する。そして、分離部302は、第1符号化コードを第1レイヤ復号化部303に出力し、第2符号化コードを第2レイヤ復号化部304に出力し、第3符号化コードを第3レイヤ復号化部305に出力する。
【0108】
第1レイヤ復号化部303は、分離部302で得られた第1符号化コードを用いて復号処理を行い、第1レイヤ復号信号を生成する。
【0109】
次に、第2レイヤ復号化部304は、分離部302で得られた第2符号化コードを用いて復号処理を行い、第2レイヤ復号残差信号を生成する。加算器306では、前述の第1レイヤ復号信号と第2レイヤ復号残差信号とを加算し、第2レイヤ復号信号を生成する。そして、加算器306は、第2レイヤ復号信号を加算器307に出力する。
【0110】
次に、第3レイヤ復号化部305は、分離部302で得られた第3符号化コードを用いて復号処理を行い、第3レイヤ復号残差信号を生成する。加算器307は、前述の第2レイヤ復号信号と第3レイヤ復号残差信号とを加算し、第3レイヤ復号信号を生成する。加算器307は、第3レイヤ復号信号を予測フィルタ308と出力端子309に出力する。
【0111】
予測フィルタ308は、前述した実施の形態1の予測フィルタ116と同様の処理を行い、予測残差信号を生成する。予測フィルタ308で使用する量子化後のLPC係数には、第1レイヤ復号化部で得られる復号LPC係数が用いられる。また、予測フィルタ308で生成される予測残差信号は第1レイヤ復号化部に与えられ、第1レイヤ復号化部に内在する適応符号帳の内部状態の更新に用いられる。
【0112】
この様子を詳細に説明するために、次に第1レイヤ復号化部303について説明する。ここでは、第1レイヤ復号化部303にCELPを用いる場合を例にして説明するが、本発明の要件として第1レイヤ復号化部に適応符号帳が存在する復号化方法であればよく、本発明はCELPに限定されるものではない。
【0113】
図6は、本実施の形態の階層復号化装置の第1レイヤ復号化部の内部構成を示すブロック図である。図6の第1レイヤ復号化部は、CELPの代表的な構成を基にしたときの構成図である。図6において破線枠で囲まれた部分が図5の第1レイヤ復号化部303に相当する。図6において、第1レイヤ復号化部303は、入力端子401と、分離部402と、適応符号帳403と、雑音符号帳404と、ゲイン符号帳405と、乗算器406と、乗算器407と、加算器408と、LPC復号器409と、合成フィルタ410と、出力端子412と、出力端子413と、入力端子414とから主に構成される。
【0114】
分離部402は、入力端子401より入力される第1符号化コードから符号化コードを分離し、適応符号帳403、雑音符号帳404、ゲイン符号帳405およびLPC復号器409に出力する。
【0115】
LPC復号器409は、与えられる符号化コードを用いてLPC係数を復号し、合成フィルタ410と出力端子412に出力する。出力端子412より出力されるLPC係数は、前述した予測フィルタ308にて利用されることになる。
【0116】
次に、適応符号帳403は符号化コードを利用して適応ベクトルq(k)を復号して乗算器406に出力する。雑音符号帳404は、符号化コードを利用して雑音ベクトルc(k)を復号して乗算器407に出力する。
【0117】
ゲイン符号帳405は、符号化コードを利用して適応ベクトルゲインβqおよび雑音ベクトルゲインγqを復号する。そして、乗算器406は適応ベクトルゲインβqを乗算器406に出力し、雑音ベクトルゲインγqを乗算器407に出力する。
【0118】
乗算器406は、適応ベクトルと適応ベクトルゲインを乗じ、加算器408に出力する。乗算器407では雑音ベクトルと雑音ベクトルゲインを乗じ、加算器408に出力する。加算器408は、乗算後の適応ベクトルと雑音ベクトルとの信号を加算して駆動音源信号を生成する。駆動音源信号をex(k)と表すと、駆動音源信号ex(k)は次の式(5)で求められる。
【0119】
【数5】
Figure 0004373693
次に、復号されたLPC係数と駆動音源信号ex(k)を用いて合成フィルタ410にて合成信号syn(k)を次の式(6)に従い生成する。
【0120】
【数6】
Figure 0004373693
ここで、αq(i)は復号されたLPC係数、NPはLPC係数の次数を表す。上記動作で復号された復号信号syn(n)は出力端子413より出力される。
【0121】
上記復号化処理が終了した後に、次のフレーム(もしくはサブフレーム)での復号化処理に備えて、適応符号帳の内部状態を最新の駆動音源信号を用いて更新する。
【0122】
本発明の特徴は上記説明部分にあり、従来の方法では加算器408で求められた駆動音源信号を用いて適応符号帳403の内部状態を更新していたが、本発明では入力端子414から入力される予測フィルタ308の出力信号(予測残差信号)を用いて適応符号帳の内部状態を更新する。
【0123】
このように、本実施の形態の階層復号化装置によれば、上位レイヤで符号化しきれない部分を符号化する下位レイヤで符号化する階層符号化方法の復号において、第2レイヤ以降の符号化信号を復号した信号と、上位レイヤの符号化で得られるLPC係数とから予測残差信号を生成し、この予測した残差信号を用いて上位レイヤの適応符号帳の更新を行うことにより、音響信号の符号化に近い駆動音源を持つ適応符号帳で復号することができ、低ビットレートで高品質な信号を復号できる。
【0124】
なお、上記説明では、予測フィルタ308が第3レイヤ復号信号と第1レイヤ符号化部102より得られる量子化後のLPC係数を用いて、予測残差信号を作成し、適応符号帳403は、この予測残差信号を用いて適応符号帳の内部状態を更新しているが、予測フィルタ308が、第2レイヤ復号信号をもちいて予測残差信号を作成してもよい。すなわち、予測残差信号を作成するために必要な復号信号は、第1レイヤ符号化で符号化しきれない残差信号を符号化するレイヤであれば何段目であってもよい。
【0125】
図7は、本発明の実施の形態2に係る階層復号化装置の構成を示すブロック図である。図7において図5と同一の番号が付与されている構成要素については同一の機能を有するものとしてここでは説明を省略する。本実施の形態の特徴は、中間レイヤの復号信号(図7では第2レイヤ復号信号)を予測フィルタ308に与え、予測フィルタ308の出力信号を図6の適応符号帳403の内部状態の更新に用いる点にある。この構成によれば、中間レイヤまでのスケーラビリティを確保できるという特徴がある。
【0126】
加算器306は、前述の第1レイヤ復号信号と第2レイヤ復号残差信号とを加算し、第2レイヤ復号信号を生成する。そして、加算器306は、第2レイヤ復号信号を加算器307と予測フィルタ308に出力する。
【0127】
次に、第3レイヤ復号化部305は、分離部302で得られた第3符号化コードを用いて復号処理を行い、第3レイヤ復号残差信号を生成する。加算器307は、前述の第2レイヤ復号信号と第3レイヤ復号残差信号とを加算し、第3レイヤ復号信号を生成する。加算器307は、第3レイヤ復号信号を出力端子309に出力する。
【0128】
予測フィルタ308は、第1レイヤ復号化部303で生成される量子化後のLPC係数と加算器306で生成される第2レイヤ復号信号とから予測残差信号を生成する。そして、予測フィルタ308で生成される予測残差信号は、第1レイヤ復号化部に与えられ、第1レイヤ復号化部に内在する適応符号帳の内部状態の更新に用いられる。
【0129】
このように、本実施の形態の階層復号化装置によれば、中間レイヤの復号信号を予測フィルタに与え、その出力信号を第1レイヤ復号化の適応符号帳の内部状態の更新に用いることにより、中間レイヤまでのスケーラビリティを確保できる。
【0130】
(実施の形態3)
図8は、本発明の実施の形態3に係る階層符号化装置の構成を示すブロック図である。図8の階層符号化装置500は、入力端子501と、DS1部502と、第1レイヤ符号化部503と、第1レイヤ復号化部504と、US1部505と、DS2部506と、遅延器507と、減算器508と、第2レイヤ符号化部509と、第2レイヤ復号化部510と、加算器511と、US2部512と、遅延器513と、減算器514と、第3レイヤ符号化部515と、第3レイヤ復号化部516と、加算器517と、多重化部518と、出力端子519と、DS3部520と、予測フィルタ521とから主に構成される。
【0131】
図8の階層符号化装置は、上位レイヤの符号化信号を復号し、この復号信号をアップサンプリングした信号と入力音響信号との差分を下位レイヤで符号化する方法に関し、下位レイヤで符号化する信号のサンプリング周波数が上位レイヤで符号化する信号のサンプリング周波数より高い点が図1の階層符号化装置と異なる。
【0132】
本実施の形態では、各レイヤに入力される信号のサンプリング周波数には次の式(7)に示す関係がある点に特徴がある。
【0133】
【数7】
Figure 0004373693
ここで、Fs(n)は第nレイヤの信号のサンプリング周波数を表す。本実施の形態によれば、複数のサンプリング周波数に対応した符号化を行うことが可能となる。
【0134】
入力端子501から、サンプリング周波数Fs(3)の音響信号が入力されDS1部502に与えられる。
【0135】
DS1部502は、入力音響信号をダウンサンプリングし、この入力音響信号のサンプリング周波数をFs(3)からFs(1)に下げる。そして、DS1部502は、サンプリング周波数Fs(1)の入力信号を第1レイヤ符号化部503に出力する。
【0136】
第1レイヤ符号化部503は、過去に生成した駆動音源信号を内部状態として保持している適応符号帳を有し、適応符号帳を用いることで周期性の強い信号を効率的に符号化することができる。第1レイヤ符号化部503は、入力音響信号と符号化後に生成される復号信号との間の聴感的な歪が最小となるように第1符号化コードを決定する。第1レイヤ符号化部503に適用される代表的な方法として符号励線形予測法(CELP)がある。
【0137】
そして、第1レイヤ符号化部503は、得られた第1符号化コードを第1レイヤ復号化部504及び多重化部518に出力する。第1レイヤ復号化部504は、第1符号化コードを用いて第1レイヤ復号信号を生成し、この第1レイヤ復号信号をUS1部505に出力する。
【0138】
US1部505は、第1レイヤ復号信号をアップサンプリングし、サンプリング周波数をFs(1)からFs(2)に上げる。そして、US1部505は、サンプリング周波数Fs(2)の第1レイヤ復号信号を減算器508と加算器511に出力する。
【0139】
次に、入力端子501から入力される音響信号がDS2部506に与えられる。DS2部506は、入力音響信号をダウンサンプリングし、この入力音響信号のサンプリング周波数をFs(3)からFs(2)に下げる。そして、DS2部506は、サンプリング周波数Fs(2)の入力信号を遅延器507に出力する。
【0140】
遅延器507は、入力端子501から入力される音響信号を所定の時間長だけ遅延して減算器508に出力する。すなわち、DS1部502、第1レイヤ符号化部503、第1レイヤ復号化部504、US1部505およびDS2部506にて生じる遅延を補正する役割を持つ。
【0141】
減算器508は、遅延器507の出力信号と前述の第1レイヤ復号信号との差をとり第2レイヤ残差信号を生成する。そして、減算器508は、第2レイヤ残差信号を第2レイヤ符号化部509に出力する。
【0142】
第2レイヤ符号化部509は、第2レイヤ残差信号を聴感的に品質改善が成されるように符号化を行い、第2符号化コードを決定する。そして、第2レイヤ符号化部509は、第2レイヤ復号化部510と第2符号化コードを多重化部518に出力する。
【0143】
第2レイヤ復号化部510は、第2符号化コードを用いて復号処理を行い、第2レイヤ復号残差信号を生成し、この第2レイヤ復号残差信号を加算器511に出力する。
【0144】
加算器511は、第1レイヤ復号信号と第2レイヤ復号残差信号の和をとり、第2レイヤ復号信号を生成する。そして、加算器511は、この第2レイヤ復号信号をUS2部512に出力する。
【0145】
US2部512は、第2レイヤ復号信号をアップサンプリングし、サンプリング周波数をFs(2)からFs(3)に上げる。そして、US2部512は、サンプリング周波数Fs(3)の第2レイヤ復号信号を減算器514と加算器517に出力する。
【0146】
次に、遅延器513は、入力端子501から入力される音響信号を所定の時間長だけ遅延した後、この音響信号を減算器514に出力する。すなわち、遅延器513は、前段までの符号化部と復号化部で生じる遅延、具体的にはDS1部502からUS2部512までの信号処理で生じる遅延を補正する役割を持つ。
【0147】
減算器514は、遅延器513の出力信号と前述の第2レイヤ復号信号との差をとり第3レイヤ残差信号を生成する。そして、減算器514は、この第3レイヤ残差信号を第3レイヤ符号化部515に出力する。
【0148】
第3レイヤ符号化部515は、第3レイヤ残差信号を聴感的に品質改善が成されるように符号化して第3符号化コードを決定し、この第3符号化コードを第3レイヤ復号化部516と多重化部518に出力する。
【0149】
第3レイヤ復号化部516は、第3符号化コードを用いて復号処理を行い、第3レイヤ復号残差信号を生成し、この第3レイヤ復号残差信号を加算器517に出力する。
【0150】
加算器517は、第2レイヤ復号信号と第3レイヤ復号残差信号の和をとり、第3レイヤ復号信号を生成し、この第3レイヤ復号信号をDS3部520に出力する。
【0151】
多重化部518は、第1符号化コード、第2符号化コードおよび第3符号化コードを所定の手段によって多重化を行い、符号化ビット列を生成する。そして、多重化部518は、この符号化ビット列を出力端子519より出力する。
【0152】
DS3部520は、第3レイヤ復号信号をダウンサンプリングし、この第3レイヤ復号信号のサンプリング周波数をFs(3)からFs(1)に下げる。そして、DS3部520は、サンプリング周波数Fs(1)の第3レイヤ復号信号を予測フィルタ521に出力する。
【0153】
予測フィルタ521は、第3レイヤ復号信号に予測フィルタをかけ、予測残差信号を生成し、この予測残差信号を第1レイヤ符号化部503に出力する。予測フィルタは、第1レイヤ符号化部503で算出された量子化後のLPC係数により構成される。DS3部520から出力される第3レイヤ復号信号をsyn3(k)、予測残差信号をe(k)、量子化後のLPC係数をαq(i)とすると、予測残差信号e(k)は次の式(8)で表される。
【0154】
【数8】
Figure 0004373693
ここで、NPはLPC係数の次数を表す。
【0155】
第1レイヤ符号化部503は、上記説明の動作で求めた予測残差信号を用いて、第1レイヤ符号化部503に内在する適応符号帳の内部状態として利用する。
【0156】
このように、本実施の形態の階層符号化装置によれば、下位レイヤで符号化する信号のサンプリング周波数を上位レイヤで符号化する信号のサンプリング周波数より高くすることにより、様々なサンプリング周波数に対応させて入力信号を符号化することができる。
【0157】
なお、上記説明では、予測フィルタ521が第3レイヤ復号信号と第1レイヤ符号化部503より得られる量子化後のLPC係数を用いて、予測残差信号を作成し、第1レイヤ符号化部503は、この予測残差信号を用いて適応符号帳の内部状態を更新しているが、予測フィルタ521が、第2レイヤ復号信号をもちいて予測残差信号を作成してもよい。すなわち、予測残差信号を作成するために必要な復号信号は、第1レイヤ符号化で符号化しきれない残差信号を符号化するレイヤであれば何段目であってもよい。
【0158】
図9は、本発明の実施の形態3に係る階層符号化装置の構成を示すブロック図である。図9において図8と同一の番号が付与されている構成要素については同一の機能を有するものとしてここでは説明を省略する。本実施の形態の特徴は、中間レイヤの復号信号(図9では第2レイヤ復号信号)を予測フィルタ521に与え、その出力信号を適応符号帳207の内部状態の更新に用いる点にある。この構成によれば、中間レイヤまでのスケーラビリティを確保できるという特徴がある。
【0159】
加算器511は、第1レイヤ復号信号と第2レイヤ復号残差信号の和をとり、第2レイヤ復号信号を生成する。そして、加算器511は、この第2レイヤ復号信号をUS2部512に出力する。
【0160】
US2部512は、第2レイヤ復号信号をアップサンプリングし、サンプリング周波数をFs(2)からFs(3)に上げる。そして、US2部512は、サンプリング周波数Fs(3)の第1レイヤ復号信号を減算器514とDS3部520に出力する。
【0161】
DS3部520は、第3レイヤ復号信号をダウンサンプリングし、この第3レイヤ復号信号のサンプリング周波数をFs(3)からFs(1)に下げる。そして、DS3部520は、サンプリング周波数Fs(1)の第3レイヤ復号信号を予測フィルタ521に出力する。
【0162】
予測フィルタ521は、第2レイヤ復号信号に予測フィルタをかけ、予測残差信号を生成し、この予測残差信号を第1レイヤ符号化部503に出力する。
【0163】
第1レイヤ符号化部503は、予測フィルタ521で求めた予測残差信号を用いて、第1レイヤ符号化部503に内在する適応符号帳の内部状態として利用する。第1レイヤ符号化部503は、入力音響信号と符号化後に生成される復号信号との間の聴感的な歪が最小となるように第1符号化コードを決定する。そして、第1レイヤ符号化部503は、得られた第1符号化コードを第1レイヤ復号化部504及び多重化部518に出力する。
【0164】
このように、本実施の形態の階層符号化装置によれば、中間レイヤの復号信号を予測フィルタに与え、その出力信号を第1レイヤ符号化の適応符号帳の内部状態の更新に用いることにより、中間レイヤまでのスケーラビリティを確保できる。
【0165】
(実施の形態4)
本実施の形態では、実施の形態3の階層符号化装置で符号化された信号を復号する例について説明する。本実施の形態の特徴は、実施の形態3で説明された階層符号化法の符号化コードを復号することができ、その結果高品質な音響信号を復号することが可能になる点にある。
【0166】
図10は、本発明の実施の形態4に係る階層復号化装置の構成を示すブロック図である。図10の階層復号化装置600は、入力端子601と、分離部602と、第1レイヤ復号化部603と、US1部604と、加算器605と、第2レイヤ復号化部606と、US2部607と、第3レイヤ復号化部608と、加算器609と、出力端子610と、DS3部611と、予測フィルタ612とから主に構成される。
【0167】
入力端子601から図8の階層符号化装置にて符号化された符号化ビット列が入力される。
【0168】
分離部602は、符号化ビット列を分離し、第1レイヤ符号化で得られる第1符号化コード、第2レイヤ符号化で得られる第2符号化コードおよび第3レイヤ符号化で得られる第3符号化コードを生成する。そして、分離部602は、第1符号化コードを第1レイヤ復号化部603に出力し、第2符号化コードを第2レイヤ復号化部606に出力し、第3符号化コードを第3レイヤ復号化部608に出力する。
【0169】
第1レイヤ復号化部603は、分離部602で得られた第1符号化コードを用いて復号処理を行い、第1レイヤ復号信号を生成する。
【0170】
US1部604は、第1レイヤ復号信号をアップサンプリングし、サンプリング周波数をFs(1)からFs(2)に上げる。そして、US1部604は、サンプリング周波数Fs(2)の第1レイヤ復号信号を加算器605に出力する。
【0171】
次に、第2レイヤ復号化部606は、分離部602で得られた第2符号化コードを用いて復号処理を行い、第2レイヤ復号残差信号を生成する。加算器605では、前述の第1レイヤ復号信号と第2レイヤ復号残差信号とを加算し、第2レイヤ復号信号を生成する。そして、加算器605は、第1レイヤ復号信号と第2レイヤ復号信号をUS2部607に出力する。
【0172】
US2部607は、第2レイヤ復号信号をアップサンプリングし、サンプリング周波数をFs(2)からFs(3)に上げる。そして、US2部607は、サンプリング周波数Fs(3)の第2レイヤ復号信号を加算器609に出力する。
【0173】
次に、第3レイヤ復号化部608は、分離部602で得られた第3符号化コードを用いて復号処理を行い、第3レイヤ復号残差信号を生成する。加算器609は、前述の第2レイヤ復号信号と第3レイヤ復号残差信号とを加算し、第3レイヤ復号信号を生成する。加算器609は、第3レイヤ復号信号をDS3部611と出力端子610に出力する。
【0174】
DS3部611は、第3レイヤ復号信号をダウンサンプリングし、この第3レイヤ復号信号のサンプリング周波数をFs(3)からFs(1)に下げる。そして、DS3部611は、サンプリング周波数Fs(1)の第3レイヤ復号信号を予測フィルタ612に出力する。
【0175】
予測フィルタ612は、前述した実施の形態1の予測フィルタ116と同様の処理を行い、予測残差信号を生成する。予測フィルタ612で使用する量子化後のLPC係数には、第1レイヤ復号化部で得られる復号LPC係数が用いられる。また、予測フィルタ612で生成される予測残差信号は第1レイヤ復号化部に与えられ、第1レイヤ復号化部に内在する適応符号帳の内部状態の更新に用いられる。
【0176】
なお、上記説明では、予測フィルタ612が第3レイヤ復号信号と第1レイヤ復号化部603より得られる量子化後のLPC係数を用いて、予測残差信号を作成し、第1レイヤ復号化部603内の適応符号帳は、この予測残差信号を用いて適応符号帳の内部状態を更新しているが、予測フィルタ612が、第2レイヤ復号信号をもちいて予測残差信号を作成してもよい。すなわち、予測残差信号を作成するために必要な復号信号は、第1レイヤ符号化で符号化しきれない残差信号を符号化するレイヤであれば何段目であってもよい。
【0177】
図11は、本発明の実施の形態4に係る階層復号化装置の構成を示すブロック図である。但し、図10と同一の構成となるものについては、図10と同一番号を付し、詳しい説明を省略する。本実施の形態の特徴は、中間レイヤの復号信号(図11では第2レイヤ復号信号)を予測フィルタ612に与え、予測フィルタ612の出力信号を第1レイヤ復号化部603内の適応符号帳の内部状態の更新に用いる点にある。この構成によれば、中間レイヤまでのスケーラビリティを確保できるという特徴がある。
【0178】
加算器605は、前述の第1レイヤ復号信号と第2レイヤ復号残差信号とを加算し、第2レイヤ復号信号を生成する。そして、加算器605は、第2レイヤ復号信号を加算器US2部607とDS3部611に出力する。
【0179】
US2部607は、第2レイヤ復号信号をアップサンプリングし、サンプリング周波数をFs(2)からFs(3)に上げる。そして、US2部607は、サンプリング周波数Fs(3)の第1レイヤ復号信号を加算器609に出力する。
【0180】
DS3部611は、第2レイヤ復号信号をダウンサンプリングし、この第2レイヤ復号信号のサンプリング周波数をFs(2)からFs(1)に下げる。そして、DS3部611は、サンプリング周波数Fs(1)の第2レイヤ復号信号を予測フィルタ612に出力する。
【0181】
このように、本実施の形態の階層復号化装置によれば、中間レイヤの復号信号を予測フィルタに与え、その出力信号を第1レイヤ復号化の適応符号帳の内部状態の更新に用いることにより、中間レイヤまでのスケーラビリティを確保できる。
【0182】
(実施の形態5)
図12は、本発明の実施の形態5に係る階層符号化装置の第1レイヤ符号化部の構成を示すブロック図である。但し、図2と同一の構成となるものについては、図2と同一番号を付し、詳しい説明を省略する。図12の第1レイヤ符号化部は、周期性算出部701と、判定部702と、スイッチ部703と、適応符号帳704と、多重化器705とを具備し、適応符号帳の内部状態を更新する際に、入力音響信号の周期性の強さに応じて入力端子218から入力される予測残差信号を用いるか、もしくは加算器212より出力される駆動音源信号を用いるかのいずれかを選択する点が図2の第1レイヤ符号化部と異なる。
【0183】
周期性算出部701は、入力端子201から入力された音響信号について相関分析などの処理を行い入力音響信号の周期性の強さの度合いを定量化し、この周期性の強さの度合いを判定部702に出力する。
【0184】
判定部702は、周期性の強さの度合いとあらかじめ定められた閾値と比較を行う。そして、判定部702は、周期性の強さの度合いが閾値を超える場合には入力音響信号の周期性は強いとみなし、フラグを「0」として多重化器705に出力する。また、判定部702は、周期性の強さの度合いが閾値以下のとき、入力音響信号の周期性は弱いとみなし、フラグを「1」として多重化器705に出力する。
【0185】
スイッチ部703では、判定部702より得られるフラグに応じ適応符号帳704の内部状態の更新に使用する信号を切り替える。フラグが0の場合には、スイッチ部703は適応符号帳704の内部状態の更新に使用する信号として入力端子218より入力される予測残差信号を用いるようにスイッチを接続する。同様にフラグが1の場合には、スイッチ部703は適応符号帳704の内部状態の更新に使用する信号として加算器212より出力される駆動音源信号を用いるようにスイッチを接続する。
【0186】
適応符号帳704は、過去に生成した駆動音源信号を内部状態として保持し、この内部状態を所望のピッチ周期で繰り返すことにより適応ベクトルを生成する。すなわち、判定部702において入力音響信号の周期性は強いと判定された場合、適応符号帳704は、入力端子218より入力される予測残差信号を用いて内部状態を更新する。また、判定部702において入力音響信号の周期性は弱いと判定された場合、適応符号帳704は、加算器212より出力される駆動音源信号を用いて内部状態を更新する。そして、適応符号帳704は、内部に保持した駆動音源信号を適応ベクトルとして順に乗算器209に出力する。
【0187】
多重化器705は、LPC量子化器203、探索器214、及び判定部702からの信号を多重化して出力端子216から出力する。
【0188】
このように、本実施の形態の階層符号化装置によれば、入力音響信号の周期性が強い場合には、高位レイヤの復号信号から求められる予測残差信号を使って適応符号帳の内部状態を更新することにより適応符号帳による予測精度が増し性能が向上する。また、本実施の形態の階層符号化装置によれば、入力音響信号の周期性が強くない場合には駆動音源信号を使って適応符号帳の内部状態を更新することにより、非周期的な信号に対する効果を上げることができる。
【0189】
なお、上記説明では、入力音響信号の周期性の強さに基づいて、予測残差信号もしくは駆動音源信号のいずれを用いて適応符号帳の内部状態を更新するかを判定しているが、判定基準は、特に限定されない。
【0190】
例えば、予測残差信号を用いて適応符号帳の内部状態を更新し入力音響信号を実際に符号化して求められる歪と、駆動音源信号を用いて適応符号帳の内部状態を更新し入力音響信号を実際に符号化して求められる歪を算出して比較してもよい。図13は、本実施の形態の階層符号化装置の動作の一例を示すフロー図である。以下、図13を用いて階層符号化装置の判定動作について説明する。
【0191】
ステップS810において、予測残差信号を用いて適応符号帳の内部状態を更新し、第1レイヤ符号化部の符号化処理を行う。その際の入力音響信号に対する第1レイヤ復号信号の聴感上の歪E1を算出する。
【0192】
ステップS820において、同様に、駆動音源信号を用いて適応符号帳の内部状態を更新し、第1レイヤ符号化部の符号化処理を行う。その際の入力音響信号に対する第1レイヤ復号信号の聴感上の歪E2を算出する。
【0193】
ステップS830では、ステップS810で求めた歪E1とステップS820で求めた歪E2とを比較する。
【0194】
ステップS840にて判定を行い、歪E1の方が歪E2より小さい場合、ステップS850の処理に進む。また、歪E2の方が歪E1より小さい場合にはステップS860の処理に進む。
【0195】
ステップS850では、予測残差信号を用いる方が、効果が大きいと判断し、予測残差信号を使って適応符号帳の内部状態を更新した後に符号化処理を行う。このとき、適応符号帳の更新に予測残差信号を用いたとしてフラグを0にセットする。
【0196】
ステップS860では、駆動音源信号を用いる方が、効果が大きいと判断し、駆動音源信号を使って適応符号帳の内部状態を更新した後に符号化処理を行う。このとき、適応符号帳の更新に駆動音源信号を用いたとしてフラグを1にセットする。
【0197】
ステップS870では、符号化処理により得られた符号化コードとフラグを多重化部にて多重化して出力端子より出力する。
【0198】
このように、本実施の形態の階層符号化装置によれば、予測残差信号もしくは駆動音源信号のいずれを用いて適応符号帳の内部状態を更新するかを判定する際に、予測残差信号を用いて適応符号帳の内部状態を更新し入力音響信号を実際に符号化して求められる歪と、駆動音源信号を用いて適応符号帳の内部状態を更新し入力音響信号を実際に符号化して求められる歪を算出して比較し、歪が小さくなる信号を用いて適応符号帳の内部状態を更新することにより、歪の小さくなる信号を常に使って適応符号帳の内部状態を更新することになるので、品質を向上することができる。
【0199】
(実施の形態6)
図14は、本発明の実施の形態6に係る階層復号化装置の第1レイヤ復号化部の構成を示すブロック図である。但し、図6と同一の構成となるものについては、図6と同一番号を付し、詳しい説明を省略する。図14の第1レイヤ復号化部は、入力端子801と、分離部802と、スイッチ部803とを具備し、適応符号帳の内部状態を更新する際に、分離部802より得られるフラグ情報に基づき入力端子801から入力される予測残差信号を用いるか、もしくは加算器408より出力される駆動音源信号を用いるかのいずれかを選択する点が図2の第1レイヤ符号化部と異なる。
【0200】
分離部802は、入力端子401より入力される符号化コードを基に適応符号帳804、雑音符号帳404、ゲイン符号帳405、LPC復号器409で用いられる符号化コードを分離すると共に、適応符号帳804の内部状態の更新に使用する信号の種類を表すフラグ情報を分離する。このフラグ情報は、図12の判定部702から多重化器705に出力される信号である。
【0201】
スイッチ部803は、フラグ情報に応じ適応符号帳804の内部状態の更新に使用する信号を切り替える。フラグが0の場合には、スイッチ部803は適応符号帳804の内部状態の更新に使用する信号として入力端子801より入力される予測残差信号を用いるようにスイッチを接続する。同様にフラグが1の場合には、スイッチ部803は適応符号帳804の内部状態の更新に使用する信号として加算器408より出力される駆動音源信号を用いるようにスイッチを接続する。
【0202】
このように、本実施の形態の階層復号化装置によれば、符号側において入力音響信号の周期性の強さ等に基づいて、予測残差信号もしくは駆動音源信号のいずれを用いて適応符号帳の内部状態を更新するかを判定した結果に基づいて、符号化された音響信号の周期性が強い場合には、高位レイヤの復号信号から求められる予測残差信号を使って適応符号帳の内部状態を更新することにより、階層符号化法の符号化コードを復号することができ、その結果高品質な音響信号を復号することができる。
【0203】
(実施の形態7)
次に、本発明の実施の形態7について、図面を参照して説明する。図15は、本発明の実施の形態7に係る通信装置の構成を示すブロック図である。図15における信号処理装置1503は前述した実施の形態1から実施の形態6に示した音響符号化装置の中の1つによって構成されている点に本実施の形態の特徴がある。
【0204】
図15に示すように、本発明の実施の形態7に係る通信装置1500は、入力装置1501、A/D変換装置1502及びネットワーク1504に接続されている信号処理装置1503を具備している。
【0205】
A/D変換装置1502は、入力装置1501の出力端子に接続されている。信号処理装置1503の入力端子は、A/D変換装置1502の出力端子に接続されている。信号処理装置1503の出力端子はネットワーク1504に接続されている。
【0206】
入力装置1501は、人間の耳に聞こえる音波を電気的信号であるアナログ信号に変換してA/D変換装置1502に与える。A/D変換装置1502はアナログ信号をディジタル信号に変換して信号処理装置1503に与える。信号処理装置1503は入力されてくるディジタル信号を符号化してコードを生成し、ネットワーク1504に出力する。
【0207】
このように、本発明の実施の形態の通信装置によれば、通信において前述した実施の形態1〜6に示したような効果を享受でき、少ないビット数で効率よく音響信号を符号化する音響符号化装置を提供することができる。
【0208】
(実施の形態8)
次に、本発明の実施の形態8について、図面を参照して説明する。図16は、本発明の実施の形態8に係る通信装置の構成を示すブロック図である。図16における信号処理装置1603は前述した実施の形態1から実施の形態6に示した音響復号化装置の中の1つによって構成されている点に本実施の形態の特徴がある。
【0209】
図16に示すように、本発明の実施の形態8に係る通信装置1600は、ネットワーク1601に接続されている受信装置1602、信号処理装置1603、及びD/A変換装置1604及び出力装置1605を具備している。
【0210】
受信装置1602の入力端子は、ネットワーク1601に接続されている。信号処理装置1603の入力端子は、受信装置1602の出力端子に接続されている。D/A変換装置1604の入力端子は、信号処理装置1603の出力端子に接続されている。出力装置1605の入力端子は、D/A変換装置1604の出力端子に接続されている。
【0211】
受信装置1602は、ネットワーク1601からのディジタルの符号化音響信号を受けてディジタルの受信音響信号を生成して信号処理装置1603に与える。信号処理装置1603は、受信装置1602からの受信音響信号を受けてこの受信音響信号に復号化処理を行ってディジタルの復号化音響信号を生成してD/A変換装置1604に与える。D/A変換装置1604は、信号処理装置1603からのディジタルの復号化音声信号を変換してアナログの復号化音声信号を生成して出力装置1605に与える。出力装置1605は、電気的信号であるアナログの復号化音響信号を空気の振動に変換して音波として人間の耳に聴こえるように出力する。
【0212】
このように、本実施の形態の通信装置によれば、通信において前述した実施の形態1〜6に示したような効果を享受でき、少ないビット数で効率よく符号化された音響信号を復号することができるので、良好な音響信号を出力することができる。
【0213】
(実施の形態9)
次に、本発明の実施の形態9について、図面を参照して説明する。図17は、本発明の実施の形態9に係る通信装置の構成を示すブロック図である。本発明の実施の形態9において、図17における信号処理装置1703は、前述した実施の形態1から実施の形態6に示した音響符号化手段の中の1つによって構成されている点に本実施の形態の特徴がある。
【0214】
図17に示すように、本発明の実施の形態9に係る通信装置1700は、入力装置1701、A/D変換装置1702、信号処理装置1703、RF変調装置1704及びアンテナ1705を具備している。
【0215】
入力装置1701は人間の耳に聞こえる音波を電気的信号であるアナログ信号に変換してA/D変換装置1702に与える。A/D変換装置1702はアナログ信号をディジタル信号に変換して信号処理装置1703に与える。信号処理装置1703は入力されてくるディジタル信号を符号化して符号化音響信号を生成し、RF変調装置1704に与える。RF変調装置1704は、符号化音響信号を変調して変調符号化音響信号を生成し、アンテナ1705に与える。アンテナ1705は、変調符号化音響信号を電波として送信する。
【0216】
このように、本実施の形態の通信装置によれば、無線通信において前述した実施の形態1〜6に示したような効果を享受でき、少ないビット数で効率よく音響信号を符号化することができる。
【0217】
なお、本発明は、オーディオ信号を用いる送信装置、送信符号化装置又は音響信号符号化装置に適用することができる。また、本発明は、移動局装置又は基地局装置にも適用することができる。
【0218】
(実施の形態10)
次に、本発明の実施の形態10について、図面を参照して説明する。図18は、本発明の実施の形態10に係る通信装置の構成を示すブロック図である。本発明の実施の形態10において、図18における信号処理装置1803は、前述した実施の形態1から実施の形態6に示した音響復号化手段の中の1つによって構成されている点に本実施の形態の特徴がある。
【0219】
図18に示すように、本発明の実施の形態10に係る通信装置1800は、アンテナ1801、RF復調装置1802、信号処理装置1803、D/A変換装置1804及び出力装置1805を具備している。
【0220】
アンテナ1801は、電波としてのディジタルの符号化音響信号を受けて電気信号のディジタルの受信符号化音響信号を生成してRF復調装置1802に与える。RF復調装置1802は、アンテナ1801からの受信符号化音響信号を復調して復調符号化音響信号を生成して信号処理装置1803に与える。
【0221】
信号処理装置1803は、RF復調装置1802からのディジタルの復調符号化音響信号を受けて復号化処理を行ってディジタルの復号化音響信号を生成してD/A変換装置1804に与える。D/A変換装置1804は、信号処理装置1803からのディジタルの復号化音声信号を変換してアナログの復号化音声信号を生成して出力装置1805に与える。出力装置1805は、電気的信号であるアナログの復号化音声信号を空気の振動に変換して音波として人間の耳に聴こえるように出力する。
【0222】
このように、本実施の形態の通信装置によれば、無線通信において前述した実施の形態1〜6に示したような効果を享受でき、少ないビット数で効率よく符号化された音響信号を復号することができるので、良好な音響信号を出力することができる。
【0223】
なお、本発明は、オーディオ信号を用いる受信装置、受信復号化装置又は音声信号復号化装置に適用することができる。また、本発明は、移動局装置又は基地局装置にも適用することができる。
【0224】
また、本発明は上記実施の形態に限定されず、種々変更して実施することが可能である。例えば、上記実施の形態では、信号処理装置として行う場合について説明しているが、これに限られるものではなく、この信号処理方法をソフトウェアとして行うことも可能である。
【0225】
例えば、上記信号処理方法を実行するプログラムを予めROM(Read Only Memory)に格納しておき、そのプログラムをCPU(Central Processor Unit)によって動作させるようにしても良い。
【0226】
また、上記信号処理方法を実行するプログラムをコンピュータで読み取り可能な記憶媒体に格納し、記憶媒体に格納されたプログラムをコンピュータのRAM(Random Access memory)に記録して、コンピュータをそのプログラムにしたがって動作させるようにしても良い。
【0227】
なお、本発明は、オーディオ信号を用いる受信装置、受信復号化装置又は音声信号復号化装置に適用することができる。また、本発明は、移動局装置又は基地局装置にも適用することができる。
【0228】
【発明の効果】
以上説明したように、本発明の音響信号の階層符号化方法および階層復号化方法によれば、上位レイヤで符号化しきれない部分を符号化する下位レイヤで符号化する階層符号化において、第2レイヤ以降の符号化信号を復号した信号と、上位レイヤの符号化で得られるLPC係数とから上位レイヤの符号化で発生する残差信号を予測し、この予測した残差信号を用いて上位レイヤの適応符号帳の更新を行うことにより、音響信号の符号化に近い駆動音源を持つ適応符号帳で符号化して低ビットレートで高品質な符号化を行うことができる。
【図面の簡単な説明】
【図1】本発明の実施の形態1に係る階層符号化装置の構成を示すブロック図
【図2】本実施の形態の階層符号化装置の第1レイヤ符号化部の内部構成を示すブロック図
【図3】入力音響信号とそれに対応する第1レイヤ復号信号、第2レイヤ復号信号、第3レイヤ復号信号の関係を示す図
【図4】本発明の実施の形態1に係る階層符号化装置の構成を示すブロック図
【図5】本発明の実施の形態2に係る階層復号化装置の構成を示すブロック図
【図6】本実施の形態の階層復号化装置の第1レイヤ復号化部の内部構成を示すブロック図
【図7】本発明の実施の形態2に係る階層復号化装置の構成を示すブロック図
【図8】本発明の実施の形態3に係る階層符号化装置の構成を示すブロック図
【図9】本発明の実施の形態3に係る階層符号化装置の構成を示すブロック図
【図10】本発明の実施の形態4に係る階層復号化装置の構成を示すブロック図
【図11】本発明の実施の形態4に係る階層復号化装置の構成を示すブロック図
【図12】本発明の実施の形態5に係る階層符号化装置の第1レイヤ符号化部の構成を示すブロック図
【図13】本実施の形態の階層符号化装置の動作の一例を示すフロー図
【図14】本発明の実施の形態6に係る階層復号化装置の第1レイヤ復号化部の構成を示すブロック図
【図15】本発明の実施の形態7に係る通信装置の構成を示すブロック図
【図16】本発明の実施の形態8に係る通信装置の構成を示すブロック図
【図17】本発明の実施の形態9に係る通信装置の構成を示すブロック図
【図18】本発明の実施の形態10に係る通信装置の構成を示すブロック図
【符号の説明】
102、503 第1レイヤ符号化部
103、303、504、603 第1レイヤ復号化部
106、509 第2レイヤ符号化部
107、304、510、606 第2レイヤ復号化部
111、305、515 第3レイヤ符号化部
112、516、608 第3レイヤ復号化部
116、308、521、612 予測フィルタ
202 LPC分析器
203 LPC量子化器
204 LPC復号器
205 聴感重みフィルタ
206 聴感重み付き合成フィルタ
207、403、704 適応符号帳
214 探索器
409 LPC復号器
410 合成フィルタ
502 DS1部
505、604 US1部
506 DS2部
512、607 US2部
520、611 DS3部
701 周期性算出部
702 判定部
703、803 スイッチ部

Claims (23)

  1. 入力音響信号を符号化し、前段で符号化した信号を復号し、この復号信号と前記入力音響信号との差分を符号化する階層符号化方法であって、
    所定の長さのフレーム単位で前記入力音響信号を符号化する第1符号化工程と、
    前段の符号化結果を復号化した信号と前記入力音響信号との差分を1段または複数段で符号化する第2符号化工程と、
    前記第1符号化工程の符号化結果を復号化した信号及び前記第2符号化工程の符号化結果を復号化した信号を用いて予測残差信号を生成する予測フィルタ工程と、
    前記予測フィルタ工程において生成された前記予測残差信号に基づいて前記第1符号化工程における符号化に用いる符号帳を更新する更新工程と
    具備することを特徴とする階層符号化方法。
  2. 前記第1符号化工程は、前記入力音響信号をCELP方式で符号化し、
    前記予測フィルタ工程は、符号化されたLPC係数を復号することにより得られる復号化LPC係数を用いて予測フィルタを生成し、
    前記更新工程は、前記第1符号化工程の符号化結果を復号化した信号及び前記第2符号化工程の符号化結果を復号化した信号を前記予測フィルタに通した結果を用いて前記符号帳を更新する
    ことを特徴とする請求項1に記載の階層符号化方法。
  3. 前記入力音響信号の周期性を測定する周期性算出工程をさらに具備し、
    前記更新工程は、前記周期性が所定のしきい値以上である場合に前記予測フィルタ工程において生成された前記予測残差信号を用いて前記符号帳を更新し、前記周期性が所定のしきい値未満である場合に生成した駆動音源信号を用いて前記符号帳を更新する
    ことを特徴とする請求項に記載の階層符号化方法。
  4. 前記予測残差信号を用いて前記符号帳の内部状態を更新し前記入力音響信号を実際に符号化して求められる歪と、生成した駆動音源信号を用いて前記符号帳の内部状態を更新し前記入力音響信号を実際に符号化して求められる歪と、のいずれが小さいかを判定する判定工程さらに具備し、
    前記更新工程は、前記歪が小さい方の信号を用いて前記符号帳を更新する
    ことを特徴とする請求項に記載の階層符号化方法。
  5. 前記入力音響信号をダウンサンプリングするダウンサンプリング工程と、
    前記前段の符号化結果を復号化した信号をアップサンプリングするアップサンプリング工程とさらに具備し、
    前記第2符号化工程は、アップサンプリング後の前記前段の符号化結果を復号化した信号と前記入力音響信号との差分を1段または複数段で符号化し、
    前記予測フィルタ工程は、アップサンプリング後の前記前段の符号化結果を復号した信号と前記第2符号化工程の符号化結果を復号した信号を加算してダウンサンプリングした後に前記予測残差信号を生成する、
    ことを特徴とする請求項1から請求項4のいずれかに記載の階層符号化方法。
  6. 符号において入力音響信号を符号化し、前段で符号化した信号を復号し、この復号信号と前記入力音響信号との差分を符号化した信号を、入力して復号する階層復号化方法であって、
    前記符号化側において所定の長さのフレーム単位で前記入力音響信号を符号化した信号を、入力して復号する第1復号化工程と、
    前記符号化側において前記前段の符号化結果を復号化した信号と前記入力音響信号との差分を1段または複数段で符号化した信号をそれぞれ入力して号する第2復号化工程と、
    前記第1復号化工程の復号結果と前記第2復号化工程の復号結果とを用いて予測残差信号を生成する予測フィルタ工程と、
    前記予測フィルタ工程において生成された前記予測残差信号に基づいて前記第1復号化工程における復号化に用いる符号帳を更新する更新工程と、
    を具備することを特徴とする階層復号化方法。
  7. 前記第1復号化工程は、前記入力音響信号を符号化した信号をCELP方式で復号し、
    前記予測フィルタ工程は、符号化側において符号化されたLPC係数を、入力して復号することにより得られる復号化LPC係数を用いて予測フィルタを生成し、
    前記更新工程は、前記第1復号化工程の復号結果と前記第2復号化工程の復号結果を前記予測フィルタに通した結果を用いて前記符号帳を更新する
    ことを特徴とする請求項6に記載の階層復号化方法。
  8. 前記更新工程は、符号化側において符号化側での予測残差信号と符号化側での駆動音源信号とのいずれを用いて符号化側での符号帳を更新したかを判定した判定結果を、入力して前記判定結果に基づいて前記符号帳を更新する
    ことを特徴とする請求項7に記載の階層復号化方法。
  9. 前段の復号化結果をアップサンプリングするアップサンプリング工程と、
    アップサンプリングした復号結果と後段の復号結果を加算する加算工程と、
    前記加算結果をダウンサンプリングするダウンサンプリング工程と、をさらに具備し、
    前記予測フィルタ工程は、ダウンサンプリング後の前記加算結果から前記予測残差信号を生成する
    ことを特徴とする請求項6から請求項8のいずれかに記載の階層復号化方法。
  10. 入力音響信号を符号化し、前段で符号化した信号を復号し、この復号信号と前記入力音響信号との差分を符号化する階層符号化装置であって、
    所定の長さのフレーム単位で前記入力音響信号を符号化する第1符号化手段と、
    前段の符号化結果を復号化した信号と前記入力音響信号との差分を1段または複数段で符号化する第2符号化手段と、
    前記第1符号化手段の符号化結果を復号化した信号及び前記第2符号化手段の符号化結果を復号化した信号を用いて予測残差信号を生成する予測フィルタ手段と、を具備し、
    前記第1符号化手段は、前記予測フィルタ手段において生成された前記予測残差信号に基づいて符号化に用いる符号帳を更新する
    ことを特徴とする階層符号化装置。
  11. 前記第1符号化手段は、
    前記入力音響信号をCELP方式で符号化する手段であって、
    過去に生成した駆動音源信号を保持する符号帳と、
    前記入力音響信号からLPC係数を求めるLPC分析手段と、
    前記入力音響信号と差が最も小さい駆動音源信号を探索する探索手段と、を具備し、
    前記予測フィルタ手段は、符号化されたLPC係数を復号することにより得られる復号化LPC係数を用いて予測フィルタを生成し、
    前記第1符号化手段は、前記CELP方式での符号化結果を復号化した信号及び前記第2符号化手段の符号化結果を復号化した信号を前記予測フィルタに通した結果を用いて前記符号帳を更新する
    ことを特徴とする請求項10に記載の階層符号化装置。
  12. 前記第1符号化手段は、前記予測フィルタ手段において生成された前記予測残差信号と生成した前記駆動音源信号とのいずれかを用いて前記符号帳を更新するか判定する判定手段をさらに具備する
    ことを特徴とする請求項11に記載の階層符号化装置。
  13. 前記第1符号化手段は、前記入力音響信号の周期性を測定する周期性算出手段をさらに具備し、
    前記判定手段は、前記周期性が所定のしきい値以上である場合に前記予測フィルタ手段において生成された前記予測残差信号を用いて前記符号帳を更新し、前記周期性が所定のしきい値未満である場合に生成した前記駆動音源信号を用いて前記符号帳を更新する判定をする
    ことを特徴とする請求項12に記載の階層符号化装置。
  14. 前記判定手段は、前記予測残差信号を用いて前記符号帳の内部状態を更新し前記入力音響信号を実際に符号化して求められる歪と、生成した前記駆動音源信号を用いて前記符号帳の内部状態を更新し前記入力音響信号を実際に符号化して求められる歪と、のいずれが小さいかを判定し、
    前記第1符号化手段は、前記歪が小さい方の信号を用いて前記符号帳を更新する
    ことを特徴とする請求項12に記載の階層符号化装置。
  15. 前記入力音響信号をダウンサンプリングして前記第1符号化手段に出力するダウンサンプリング手段と、
    前記前段の符号化結果を復号化した信号をアップサンプリングするアップサンプリング手段とさらに具備し、
    前記第2符号化手段は、アップサンプリング後の前記前段の符号化結果を復号化した信号と前記入力音響信号との差分を1段または複数段で符号化し、
    前記予測フィルタ手段は、前記アップサンプリング後の前記前段の符号化結果を復号化した信号と前記第2符号化手段の符号化結果を復号した信号を加算してダウンサンプリングした後に前記予測残差信号を生成する、
    ことを特徴とする請求項10から請求項14のいずれかに記載の階層符号化装置。
  16. 符号において入力音響信号を符号化し、前段で符号化した信号を復号し、この復号信号と前記入力音響信号との差分を、入力して符号化した信号を復号する階層復号化装置であって、
    前記符号化側において所定の長さのフレーム単位で前記入力音響信号を符号化した信号を、入力して復号する第1復号化手段と、
    前記符号化側において前記前段の符号化結果を復号化した信号と前記入力音響信号との差分を1段または複数段で符号化した信号をそれぞれ入力し復号して加算する第2復号化手段と、
    前記第1復号化手段の復号結果と前記第2復号化手段の復号結果とを用いて予測残差信号を生成する予測フィルタ手段と、を具備し、
    前記復号化手段は、前記予測フィルタ手段において生成された前記予測残差信号に基づいて前記第1復号化手段における復号化に用いる符号帳を更新する
    ことを特徴とする階層復号化装置。
  17. 前記第1復号化手段は、前記入力音響信号を符号化した信号をCELP方式で復号する手段であって、
    前記予測フィルタ手段は、前記符号化側において符号化されたLPC係数を、入力して復号することにより得られる復号化LPC係数を用いて予測フィルタを生成し、
    前記第1復号化手段は、前記CELP方式で信号を復号した復号結果と前記第2復号化手段の復号結果を前記予測フィルタに通した結果を用いて前記符号帳を更新する
    ことを特徴とする請求項16に記載の階層復号化装置。
  18. 前記第1復号化手段は、前記符号化側において符号化側での予測残差信号と符号化側での駆動音源信号とのいずれを用いて符号化側での符号帳を更新したかを判定した判定結果を、入力して前記判定結果に基づいて前記符号帳を更新する
    ことを特徴とする請求項17に記載の階層復号化装置。
  19. 前段の復号化結果をアップサンプリングするアップサンプリング手段と、
    アップサンプリングした復号結果と後段の復号結果を加算する加算手段と、
    前記加算手段の加算結果をダウンサンプリングするダウンサンプリング手段と、をさらに具備し、
    前記予測フィルタ手段は、ダウンサンプリング後の前記加算結果から前記予測残差信号を生成する
    ことを特徴とする請求項16から請求項18のいずれかに記載の階層復号化装置。
  20. 音響信号を電気的信号に変換する音響入力手段と、
    この音響入力手段から出力された信号をディジタル信号に変換するA/D変換手段と、
    このA/D変換手段から出力されたディジタル信号を符号化する請求項10から請求項15のいずれかに記載の階層符号化装置と、
    この階層符号化装置から出力された符号化コードを無線周波数の信号に変調するRF変調手段と、
    このRF変調手段から出力された信号を電波に変換して送信する送信アンテナと、
    を具備することを特徴とする音響信号送信装置。
  21. 電波を受信する受信アンテナと、
    この受信アンテナに受信された信号を復調するRF復調手段と、
    このRF復調手段にて得られた情報を復号する請求項16から請求項19のいずれかに記載の階層復号化装置と、
    この階層復号化装置から出力された信号をアナログ信号に変換するD/A変換手段と、
    このD/A変換手段から出力された電気的信号を音響信号に変換する音響出力手段と、
    を具備することを特徴とする音響信号受信装置。
  22. 請求項20記載の音響信号送信装置あるいは請求項21記載の音響信号受信装置の少なくとも一方を具備することを特徴とする通信端末装置。
  23. 請求項20記載の音響信号送信装置あるいは請求項21記載の音響信号受信装置の少なくとも一方を具備することを特徴とする基地局装置。
JP2003092581A 2003-03-28 2003-03-28 音響信号の階層符号化方法および階層復号化方法 Expired - Lifetime JP4373693B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003092581A JP4373693B2 (ja) 2003-03-28 2003-03-28 音響信号の階層符号化方法および階層復号化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003092581A JP4373693B2 (ja) 2003-03-28 2003-03-28 音響信号の階層符号化方法および階層復号化方法

Publications (2)

Publication Number Publication Date
JP2004301954A JP2004301954A (ja) 2004-10-28
JP4373693B2 true JP4373693B2 (ja) 2009-11-25

Family

ID=33405626

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003092581A Expired - Lifetime JP4373693B2 (ja) 2003-03-28 2003-03-28 音響信号の階層符号化方法および階層復号化方法

Country Status (1)

Country Link
JP (1) JP4373693B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9626973B2 (en) 2005-02-23 2017-04-18 Telefonaktiebolaget L M Ericsson (Publ) Adaptive bit allocation for multi-channel audio encoding
ATE521143T1 (de) * 2005-02-23 2011-09-15 Ericsson Telefon Ab L M Adaptive bitzuweisung für die mehrkanal- audiokodierung
RU2007139784A (ru) 2005-04-28 2009-05-10 Мацусита Электрик Индастриал Ко., Лтд. (Jp) Устройство кодирования звука и способ кодирования звука
US8306827B2 (en) 2006-03-10 2012-11-06 Panasonic Corporation Coding device and coding method with high layer coding based on lower layer coding results
JP5612214B2 (ja) * 2010-09-14 2014-10-22 サムスン エレクトロニクス カンパニー リミテッド 階層的映像符号化及び復号化のための方法及び装置

Also Published As

Publication number Publication date
JP2004301954A (ja) 2004-10-28

Similar Documents

Publication Publication Date Title
JP3881943B2 (ja) 音響符号化装置及び音響符号化方法
JP5343098B2 (ja) スーパーフレーム構造のlpcハーモニックボコーダ
US7636055B2 (en) Signal decoding apparatus and signal decoding method
KR100574031B1 (ko) 음성합성방법및장치그리고음성대역확장방법및장치
JP4958780B2 (ja) 符号化装置、復号化装置及びこれらの方法
JP3881946B2 (ja) 音響符号化装置及び音響符号化方法
WO2004097796A1 (ja) 音声符号化装置、音声復号化装置及びこれらの方法
WO2003091989A1 (en) Coding device, decoding device, coding method, and decoding method
JPWO2009057327A1 (ja) 符号化装置および復号装置
JP2003323199A (ja) 符号化装置、復号化装置及び符号化方法、復号化方法
KR20070029754A (ko) 음성 부호화 장치 및 그 방법과, 음성 복호화 장치 및 그방법
JP4445328B2 (ja) 音声・楽音復号化装置および音声・楽音復号化方法
JP4603485B2 (ja) 音声・楽音符号化装置及び音声・楽音符号化方法
JP4786183B2 (ja) 音声復号化装置、音声復号化方法、プログラム、記録媒体
JP4373693B2 (ja) 音響信号の階層符号化方法および階層復号化方法
JP2004302259A (ja) 音響信号の階層符号化方法および階層復号化方法
JP4578145B2 (ja) 音声符号化装置、音声復号化装置及びこれらの方法
JP4287840B2 (ja) 符号化装置
JP3576485B2 (ja) 固定音源ベクトル生成装置及び音声符号化/復号化装置
JP3338885B2 (ja) 音声符号化復号化装置
JP3350340B2 (ja) 音声符号化方法および音声復号化方法
JP2006072269A (ja) 音声符号化装置、通信端末装置、基地局装置および音声符号化方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060303

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090519

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090717

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090811

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090904

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120911

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4373693

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130911

Year of fee payment: 4

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

EXPY Cancellation because of completion of term