JP5774490B2 - 符号化装置、復号装置およびこれらの方法 - Google Patents

符号化装置、復号装置およびこれらの方法 Download PDF

Info

Publication number
JP5774490B2
JP5774490B2 JP2011540415A JP2011540415A JP5774490B2 JP 5774490 B2 JP5774490 B2 JP 5774490B2 JP 2011540415 A JP2011540415 A JP 2011540415A JP 2011540415 A JP2011540415 A JP 2011540415A JP 5774490 B2 JP5774490 B2 JP 5774490B2
Authority
JP
Japan
Prior art keywords
layer
spectrum
gain
encoding
encoded information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011540415A
Other languages
English (en)
Other versions
JPWO2011058752A1 (ja
Inventor
智史 山梨
智史 山梨
利幸 森井
利幸 森井
江原 宏幸
宏幸 江原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Priority to JP2011540415A priority Critical patent/JP5774490B2/ja
Publication of JPWO2011058752A1 publication Critical patent/JPWO2011058752A1/ja
Application granted granted Critical
Publication of JP5774490B2 publication Critical patent/JP5774490B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • G10L19/18Vocoders using multiple modes
    • G10L19/24Variable rate codecs, e.g. for generating different qualities using a scalable representation such as hierarchical encoding or layered encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

本発明は、信号を符号化して伝送する通信システムに用いられる符号化装置、復号装置およびこれらの方法に関する。
インターネット通信に代表されるパケット通信システムや、移動通信システムなどで音声・楽音信号を伝送する場合、音声・楽音信号の伝送効率を高めるため、圧縮・符号化技術がよく使われる。また、近年では、単に低ビットレートで音声・楽音信号を符号化するという一方で、より広帯域の音声・楽音信号を符号化する技術に対するニーズが高まっている。
このようなニーズに対して、符号化後の情報量を大幅に増加させることなく広帯域の音声・楽音信号を符号化する様々な帯域拡張技術が開発されてきている。例えば、一定時間分の入力音響信号を変換して得られるスペクトルデータのうち、低域部のスペクトルデータに対して、線形領域でのゲイン情報及び対数領域でのゲイン情報を適用し、高域部のスペクトルデータを生成する技術が開示されている(特許文献1および非特許文献1参照)。また、広帯域信号を階層的に符号化する階層符号化方式もこれまでに開発されてきている。例えば、非特許文献2では、5つの階層(レイヤ)からなる階層符号化方式を用いて、広帯域信号を符号化する技術が開示されている。
国際公開第2007/052088号
Mikko Tammi, Lasse Laaksonen, Anssi Ramo, and Henri Toukomaa, "Scalable Superwideband Extension for Wideband Coding", ICASSP 2009 ITU-T:G.718; Frame error robust narrowband and wideband embedded variable bit-rate coding of speech and audio from 8-32 kbit/s. ITU-T Recommendation G.718(2008)
しかしながら、上記特許文献1、および非特許文献1に開示された帯域拡張技術を、非特許文献2で開示されているような階層符号化/復号方式(スケーラブルコーデック)に適用する場合には、符号化効率が不十分であるという問題点がある。例えば、ここで、上記の帯域拡張技術により生成される高域スペクトルと入力スペクトルとの差分スペクトルを、上位レイヤにて符号化する場合を考える。この場合、上述の帯域拡張技術によって生成される高域スペクトルは、入力スペクトルに対して信号レベルが近くない。そのため(つまり生成される高域スペクトルのS/N(Signal/Noise)比が低い)、上位レイヤにおける符号化対象である差分スペクトルのエネルギが大きくなってしまう。したがって、特に上位レイヤのビットレートが低い場合には符号化性能が不十分となり、復号信号の品質が著しく劣化する可能性がある。
本発明の目的は、階層符号化/復号方式において、低域部のスペクトルデータに基づいて高域部のスペクトルデータを符号化する帯域拡張技術を下位レイヤに適用した場合に、上位レイヤにおいても効率的に符号化し、復号信号の品質を改善することができる符号化装置、復号装置およびこれらの方法を提供することである。
本発明の符号化装置は、入力信号を符号化して得られた低域符号化情報を用いて生成された周波数領域の低域復号信号と、前記周波数領域の前記入力信号と、を入力し、前記低域復号信号と前記入力信号とを用いた符号化により得られた高域符号化情報を用いて前記周波数領域の高域復号信号を生成し、前記低域復号信号と前記高域復号信号とを用いて帯域拡張信号を生成し、前記入力信号と前記帯域拡張信号との差分信号を生成する第1符号化手段と、前記差分信号を符号化して差分符号化情報を生成する第2符号化手段と、を具備し、第1符号化手段は、前記低域復号信号と前記入力信号とを用いた符号化において、前記低域復号信号から前記入力信号の高域部分との近似部分を探索することにより前記差分信号のエネルギを最小化する理想利得を求め、前記エネルギが最小となる前記差分信号を生成し、前記理想利得を含む前記高域符号化情報を生成する、構成を採る。
本発明の復号装置は、符号化装置において生成された、入力信号を符号化して得られた低域符号化情報と、前記低域符号化情報を用いて生成された低域信号と前記入力信号とを用いた符号化により得られた高域符号化情報と、前記高域符号化情報を用いて生成された高域信号と前記低域信号とを用いて生成された帯域拡張信号と前記入力信号との差分信号を用いた符号化により生成された差分符号化情報と、を含む符号化情報であって、前記差分信号のエネルギを最小化する理想利得を前記高域符号化情報が含む前記符号化情報を受信する受信手段と、前記低域符号化情報を復号して低域復号信号を生成する第1復号手段と、前記低域復号信号と前記高域符号化情報とを用いて復号することにより高域復号信号を生成する第2復号手段と、前記差分符号化情報を復号する第3復号手段と、を具備し、前記受信手段は、前記符号化情報に前記差分符号化情報を含むか否かを示す制御情報を生成し、前記第2復号手段は、前記制御情報に基づいて、前記高域符号化情報に含まれる全ての情報を用いた第1の復号方法と、前記高域符号化情報に含まれる情報のうち特定の情報を除いた情報を用いた第2の復号方法と、を切り替えて復号を行う、構成を採る。
本発明の符号化方法は、入力信号を符号化して得られた低域符号化情報を用いて生成された周波数領域の低域復号信号と、前記周波数領域の前記入力信号と、を入力し、前記低域復号信号と前記入力信号とを用いた符号化により得られた高域符号化情報を用いて前記周波数領域の高域復号信号を生成し、前記低域復号信号と前記高域復号信号とを用いて帯域拡張信号を生成し、前記入力信号と前記帯域拡張信号との差分信号を生成する第1符号化ステップと、前記差分信号を符号化して差分符号化情報を生成する第2符号化ステップと、を具備し、第1符号化ステップでは、前記低域復号信号と前記入力信号とを用いた符号化において、前記低域復号信号から前記入力信号の高域部分との近似部分を探索することにより前記差分信号のエネルギを最小化する理想利得を求め、前記エネルギが最小となる前記差分信号を生成し、前記理想利得を含む前記高域符号化情報を生成するようにした。
本発明の復号方法は、符号化装置において生成された、入力信号を符号化して得られた低域符号化情報と、前記低域符号化情報を用いて生成された低域信号と前記入力信号とを用いた符号化により得られた高域符号化情報と、前記高域符号化情報を用いて生成された高域信号と前記低域信号とを用いて生成された帯域拡張信号と前記入力信号との差分信号を用いた符号化により生成された差分符号化情報と、を含む符号化情報であって、前記差分信号のエネルギを最小化する理想利得を前記高域符号化情報が含む前記符号化情報を受信する受信ステップと、前記低域符号化情報を復号して低域復号信号を生成する第1復号ステップと、前記低域復号信号と前記高域符号化情報とを用いて復号することにより高域復号信号を生成する第2復号ステップと、前記差分符号化情報を復号する第3復号ステップと、を具備し、前記受信ステップでは、前記符号化情報に前記差分符号化情報を含むか否かを示す制御情報を生成し、前記第2復号ステップでは、前記制御情報に基づいて、前記高域符号化情報に含まれる全ての情報を用いた第1の復号方法と、前記高域符号化情報に含まれる情報のうち特定の情報を除いた情報を用いた第2の復号方法と、を切り替えて復号を行うようにした。
本発明によれば、階層符号化/復号方式において、低域部のスペクトルデータに基づいて高域部のスペクトルデータを符号化する帯域拡張技術を下位レイヤに適用した場合に、上位レイヤにおいても効率的に符号化し、復号信号の品質を改善することができる。
本発明の実施の形態に係る符号化装置および復号装置を有する通信システムの構成を示すブロック図 図1に示した符号化装置の内部の主要な構成を示すブロック図 図2に示した第3レイヤ符号化部の内部の主要な構成を示すブロック図 図1に示した復号装置の内部の主要な構成を示すブロック図 図4に示した第3レイヤ復号部の内部の主要な構成を示すブロック図
以下、本発明の実施の形態について、図面を参照して詳細に説明する。なお、本発明に係る符号化装置および復号装置として、音声符号化装置および音声復号装置を例にとって説明する。
(実施の形態)
図1は、本発明の実施の形態に係る符号化装置および復号装置を有する通信システムの構成を示すブロック図である。図1において、通信システムは、符号化装置101と復号装置103とを備え、それぞれ伝送路102を介して通信可能な状態となっている。なお、符号化装置および復号装置はいずれも、通常、基地局装置あるいは通信端末装置等に搭載されて用いられる。
符号化装置101は、入力信号をNサンプルずつ区切り(Nは自然数)、Nサンプルを1フレームとしてフレーム毎に符号化を行う。ここで、符号化の対象となる入力信号をx(n=0、…、N−1)と表すこととする。nは、Nサンプルずつ区切られた入力信号のうち、信号要素のn+1番目を示す。符号化装置101は、符号化された入力情報(以下「符号化情報」という)を、伝送路102を介して復号装置103に送信する。
復号装置103は、伝送路102を介して符号化装置101から送信された符号化情報を受信し、これを復号し出力信号を得る。
図2は、図1に示した符号化装置101の内部の主要な構成を示すブロック図である。符号化装置101は、ダウンサンプリング処理部201、第1レイヤ符号化部202、第1レイヤ復号部203、アップサンプリング処理部204、直交変換処理部205、第2レイヤ符号化部206、第2レイヤ復号部207、加算部208、加算部209、第3レイヤ符号化部210、および符号化情報統合部211から主に構成される。各部は以下の動作を行う。
入力信号xのサンプリング周波数をSRinputとすると、ダウンサンプリング処理部201は、入力信号xのサンプリング周波数をSRinputからSRbaseまでダウンサンプリングし(SRbase<SRinput)する。ダウンサンプリング処理部201は、ダウンサンプリングした入力信号をダウンサンプリング後入力信号として、第1レイヤ符号化部202に出力する。
第1レイヤ符号化部202は、ダウンサンプリング処理部201から入力されるダウンサンプリング後入力信号に対して、例えばCELP(Code Excited Linear Prediction)方式の音声符号化方法を用いて符号化を行って第1レイヤ符号化情報を生成する。第1レイヤ符号化部202は、生成した第1レイヤ符号化情報を第1レイヤ復号部203および符号化情報統合部211に出力する。
第1レイヤ復号部203は、第1レイヤ符号化部202から入力される第1レイヤ符号化情報に対して、例えばCELP方式の音声復号方法を用いて復号を行って第1レイヤ復号信号を生成する。そして、第1レイヤ復号部203は、生成した第1レイヤ復号信号をアップサンプリング処理部204に出力する。
アップサンプリング処理部204は、第1レイヤ復号部203から入力される第1レイヤ復号信号のサンプリング周波数をSRbaseからSRinputまでアップサンプリングする。アップサンプリング処理部204は、アップサンプリングした第1レイヤ復号信号をアップサンプリング後第1レイヤ復号信号x1として、直交変換処理部205に出力する。
直交変換処理部205は、バッファbuf1およびbuf2(n=0、…、N−1)を内部に有する。直交変換処理部205は、入力信号xおよびアップサンプリング処理部204から入力されるアップサンプリング後第1レイヤ復号信号x1を修正離散コサイン変換(MDCT:Modified Discrete Cosine Transform)する。
次に、直交変換処理部205における直交変換処理について、その計算手順と内部バッファへのデータ出力に関して説明する。
まず、直交変換処理部205は、下記の式(1)および式(2)によりバッファbuf1およびbuf2それぞれを、「0」を初期値として初期化する。
Figure 0005774490
Figure 0005774490
次いで、直交変換処理部205は、下記の式(3)および式(4)に従って、入力信号x、アップサンプリング後第1レイヤ復号信号x1に対し修正離散コサイン変換(MDCT)を行う。これにより、直交変換処理部205は、入力信号のMDCT係数(以下、入力スペクトルと呼ぶ)X(k)およびアップサンプリング後第1レイヤ復号信号x1のMDCT係数(以下、第1レイヤ復号スペクトルと呼ぶ)X1(k)を求める。
Figure 0005774490
Figure 0005774490
ここで、kは1フレームにおける各サンプルのインデックスを示す。直交変換処理部205は、入力信号xとバッファbuf1とを結合させたベクトルであるx’を下記の式(5)により求める。また、直交変換処理部205は、アップサンプリング後第1レイヤ復号信号x1とバッファbuf2とを結合させたベクトルであるx1’を下記の式(6)により求める。
Figure 0005774490
Figure 0005774490
次に、直交変換処理部205は、式(7)および式(8)によりバッファbuf1およびbuf2を更新する。
Figure 0005774490
Figure 0005774490
そして、直交変換処理部205は、入力スペクトルX(k)を第2レイヤ符号化部206および加算部209に出力する。また、直交変換処理部205は、第1レイヤ復号スペクトルX1(k)を第2レイヤ符号化部206、第2レイヤ復号部207、および加算部208に出力する。
第2レイヤ符号化部206は、直交変換処理部205から入力される入力スペクトルX(k)および第1レイヤ復号スペクトルX1(k)を用いて第2レイヤ符号化情報を生成する。第2レイヤ符号化部206は、生成した第2レイヤ符号化情報を第2レイヤ復号部207、第3レイヤ符号化部210、および符号化情報統合部211に出力する。なお、第2レイヤ符号化部206の詳細については後述する。
第2レイヤ復号部207は、第2レイヤ符号化部206から入力される第2レイヤ符号化情報を復号して第2レイヤ復号スペクトルを生成する。第2レイヤ復号部207は、生成した第2レイヤ復号スペクトルを加算部208に出力する。なお、第2レイヤ復号部207の詳細については後述する。
加算部208は、直交変換処理部205から入力される第1レイヤ復号スペクトルと、第2レイヤ復号部207から入力される第2レイヤ復号スペクトルとを、周波数領域上で加算し、加算スペクトルを算出する。ここで、第1レイヤ復号スペクトルはサンプリング周波数SRbaseに対応する低域部分(0(kHz)〜Fbase(kHz))に値をもつスペクトルである。また、第2レイヤ復号スペクトルはサンプリング周波数SRinputに対応する高域部分(Fbase(kHz)〜Finput(kHz))に値をもつスペクトルである。すなわち、これらのスペクトルを加算して得られる加算スペクトルの低域部分(0(kHz)〜Fbase(kHz))の値は、第1レイヤ復号スペクトルであり、高域部分(Fbase(kHz)〜Finput(kHz))の値は第2レイヤ復号スペクトルとなる。
加算部209は、直交変換処理部205から入力される入力スペクトルX(k)に対して、加算部208から入力される加算スペクトルの極性を反転して加算し、第2レイヤ差分スペクトルを算出する。加算部209は、算出した第2レイヤ差分スペクトルを第3レイヤ符号化部210に出力する。
第3レイヤ符号化部210は、加算部209から入力される第2レイヤ差分スペクトルおよび第2レイヤ符号化部206から入力される第2レイヤ符号化情報を符号化して第3レイヤ符号化情報を生成する。第3レイヤ符号化部210は、生成した第3レイヤ符号化情報を符号化情報統合部211に出力する。なお、第3レイヤ符号化部210の詳細については後述する。
符号化情報統合部211は、第1レイヤ符号化部202から入力される第1レイヤ符号化情報と、第2レイヤ符号化部206から入力される第2レイヤ符号化情報と、第3レイヤ符号化部210から入力される第3レイヤ符号化情報とを統合する。符号化情報統合部211は、統合した情報源符号に対し、必要であれば伝送誤り符号などを付加した上でこれを符号化情報として伝送路102に出力する。
次に、第2レイヤ符号化部206における処理を説明する。第2レイヤ符号化部206における処理は、特許文献1の図7に示す「High frequency Coding」における処理と同様である。つまり、第2レイヤ符号化部206は、第1レイヤ復号スペクトル(特許文献1の図7中のX^(k))と、入力スペクトル(特許文献1の図7中のX(k))とから、復号装置側で高域スペクトルを生成するためのパラメータ(特許文献1では、スペクトルインデックスi、第1ゲインパラメータα、第2ゲインパラメータα)を算出する。上述したように、第1レイヤ復号スペクトルは、低域部分(0(kHz)〜Fbase(kHz))のスペクトルであり、入力スペクトルは、高域部分(Fbase(kHz)〜Finput(kHz))のスペクトルである。なお、以下の説明で用いる、上記3つのパラメータは、特許文献1に開示されている方法で算出されたパラメータとする。
ここで、特許文献1および非特許文献1に開示されている上記3つのパラメータの算出方法について説明する。
まず、第1レイヤ復号スペクトルX1(k)に対して、入力スペクトルX(k)の高域部分(Fbase(kHz)〜Finput(kHz))のスペクトルに類似する部分を探索する。具体的には、以下の式(9)の値(S(d))が最大となるスペクトルインデックスを探索し、このスペクトルインデックスをiとする。ここで、式(9)において、jはサブバンドインデックスであり、dは探索時のスペクトルインデックスであり、nはサブバンドjに対する探索範囲(探索エントリ数)を示す。
Figure 0005774490
次に、式(9)を最大とスペクトルインデックスiを用いて、式(10)に従って、第1ゲインパラメータαを算出する。
Figure 0005774490
次に、式(9)および式(10)で算出されたスペクトルインデックスiとゲインパラメータαを用いて、式(11)に従って、第2ゲインパラメータαを算出する。
Figure 0005774490
ここで、式(11)において、Mjは以下の式(12)を満たす値とする。
Figure 0005774490
つまり、まず第2符号化レイヤでは、第1復号スペクトルに対して、入力スペクトルの高域部分に最も近似する部分を探索する。この探索により、近似するスペクトル部分を表すスペクトルインデックスiとともに、その時の理想ゲインを第1ゲインパラメータαとして算出する。その後、スペクトルインデックスiとその時の理想ゲインである第1ゲインパラメータαとから算出される高域スペクトルと、入力スペクトルの高域部分とに対して、対数領域上でエネルギを調整するゲインパラメータである第2ゲインパラメータαを算出する。
次に、第2レイヤ復号部207における処理を説明する。なお、第2レイヤ復号部207における処理は、特許文献1の図7に示す「High frequency generation」における処理と、一部に関して同一である。
まず、第2レイヤ復号部207は、式(13)のようにして、高域部分(Fbase(kHz)〜Finput(kHz))の高域スペクトルX1’ (k)を生成する。すなわち、第2レイヤ復号部207は、第2レイヤ符号化情報に含まれるパラメータ(スペクトルインデックスi、第1ゲインパラメータα、第2ゲインパラメータα)のうち、スペクトルインデックスiと、第1レイヤ復号スペクトルX1(k)とから、高域スペクトルX1’ (k)を生成する。ここで、式(13)において、jはサブバンドインデックスであり、スペクトルインデックスiは各サブバンドに対して設定されているものとする。また、ここで、スペクトルインデックスi、第1ゲインパラメータα、および第2ゲインパラメータαは、特許文献1に開示されている方法(上述)で算出されるパラメータである。
つまり、式(13)は、第1復号スペクトルのスペクトルインデックスiが示すインデックス以降のサブバンドインデックスjのサブバンド幅分のスペクトルを高域部分のスペクトルとして近似する処理を示している。
Figure 0005774490
次に、第2レイヤ復号部207は、式(13)により算出された高域スペクトルX1’ (k)に対して、以下の式(14)のようにして、第1ゲインパラメータαを乗じて、第2レイヤ復号スペクトルX2 (k)を算出する。
Figure 0005774490
次に、第2レイヤ復号部207は、式(14)により算出された第2レイヤ復号スペクトルX2 (k)を加算部208に出力する。
つまり、本実施の形態の第2レイヤ復号部207は、特許文献1の図7に示す「High frequency generation」とは異なり、第2ゲインパラメータαを利用せずに、高域スペクトル(第2レイヤ復号スペクトル)を生成する。これは、上位レイヤで量子化対象となる第2レイヤ差分スペクトルのエネルギを小さくするためであり、この処理によって、上位レイヤでは符号化効率を向上させることができる。
次に、第3レイヤ符号化部210における処理を説明する。図3は、第3レイヤ符号化部210の内部構成を示すブロック図である。図3に示すように、第3レイヤ符号化部210は、形状符号化部301、利得符号化部302、多重化部303から主に構成される。各部は以下の動作を行う。
形状符号化部301は、加算部209から入力される第2レイヤ差分スペクトルに対して、サブバンド毎に形状量子化を行う。具体的には、まず、形状符号化部301は、第2レイヤ差分スペクトルをL個のサブバンドに分割する。なお、ここで、サブバンド数Lは、第2レイヤ符号化部206におけるサブバンド数と同じとする。次に、形状符号化部301は、L個の各サブバンドに対して、SQ個の形状コードベクトルからなる内蔵の形状コードブックを探索して下記の式(15)の評価尺度Shape_q(i)が最大となる形状コードベクトルのインデックスを求める。
Figure 0005774490
この式において、SC は形状コードブックを構成する形状コードベクトルを示し、iは形状コードベクトルのインデックスを示し、kは形状コードベクトルの要素のインデックスを示す。また、W(j)はバンドインデックスがjであるバンドのバンド幅を表す。また、X2’ (k)はバンドインデックスがjである第2レイヤ差分スペクトルの値を表すものとする。
形状符号化部301は、上記の式(15)の評価尺度Shape_q(i)が最大となる形状コードベクトルのインデックスS_maxを形状符号化情報として多重化部303に出力する。また、形状符号化部301は、下記の式(16)に従い、理想利得Gain_i(j)を算出し、算出した理想利得Gain_i(j)を利得符号化部302に出力する。
Figure 0005774490
利得符号化部302には、形状符号化部301から理想利得Gain_i(j)が入力される。また、利得符号化部302には、第2レイヤ符号化部206から第2レイヤ符号化情報が入力される。
利得符号化部302は、下記の式(17)に従い、形状符号化部301から入力される理想利得Gain_i(j)を量子化する。ここでも、利得符号化部302は、理想利得をL次元ベクトルとして扱い、ベクトル量子化を行う。また、式(17)において、β(j)は予め設定された定数であり、以下では予測利得と呼ぶ。予測利得β(j)についての説明は後述する。
Figure 0005774490
この式において、GC は利得コードブックを構成する利得コードベクトルを示し、iは利得コードベクトルのインデックスを示し、jは利得コードベクトルの要素のインデックスを示す。
利得符号化部302は、GQ個の利得コードベクトルからなる内蔵の利得コードブックを探索して、上記の式(17)を最小にする利得コードブックのインデックスG_minを、利得符号化情報として多重化部303に出力する。
次に、式(17)における予測利得β(j)の設定方法について説明する。予測利得β(j)は、第2レイヤ符号化部206における第2ゲインパラメータαに対応して、サブバンド毎(jはサブバンドインデックス)に予め設定された定数であり、第2ゲインパラメータαの量子化時に利用するコードブックに併記して格納される。つまり、第2ゲインパラメータαの量子化時の各コードベクトルに対して、それぞれ予測利得β(j)が設定される。これにより、追加の情報量を使わずに、復号装置103(符号化装置101内のローカルデコード処理も含む)において、第2ゲインパラメータαに対応した予測利得β(j)を得ることが出来る。なお、予測利得β(j)の値は、第2ゲインパラメータαの値に対して、その時の形状符号化部301にて算出される理想利得Gain_i(j)がどのような値であったかを、統計的に分析し、決定された数値である。
具体的には、第2ゲインパラメータαの値が大きかった場合(1.0に近い場合)には、第2差分スペクトルのエネルギは比較的小さい傾向がある。したがって、その場合には、予測利得β(j)の値は、小さくなる。また、第2ゲインパラメータαの値が小さかった場合(0.0に近い場合)には、第2差分スペクトルのエネルギは比較的大きい傾向がある。したがって、その場合には、予測利得β(j)の値は、大きくなる。
利得符号化部302は、このような特性を用いて、非常に長いサンプルデータを入力として、第2ゲインパラメータαの値に対応する理想利得Gain_i(j)の値を統計的に分析する。そして、利得符号化部302は、第2ゲインパラメータαのコードブックに格納される第2ゲインパラメータαの各値に対応して、予測利得β(j)の値を決定する。以上が、式(17)における予測利得β(j)の設定方法である。
多重化部303は、形状符号化部301から入力される形状符号化情報S_max、および利得符号化部302から入力される利得符号化情報G_minを多重化し、第3レイヤ符号化情報として符号化情報統合部211に出力する。
以上が、第3レイヤ符号化部210の構成についての説明である。
以上が、符号化装置101の構成についての説明である。
次いで、図1に示した復号装置103について説明する。
図4は、復号装置103の内部の主要な構成を示すブロック図である。復号装置103は、符号化情報分離部401、第1レイヤ復号部402、アップサンプリング処理部403、直交変換処理部404、第2レイヤ復号部405、第3レイヤ復号部406、加算部407、および直交変換処理部408から主に構成される。各部は以下の動作を行う。
符号化情報分離部401には、伝送路102を介して符号化装置101から伝送される符号化情報が入力される。符号化情報分離部401は、符号化情報を、第1レイヤ符号化情報、第2レイヤ符号化情報、および第3レイヤ符号化情報に分離する。次に、符号化情報分離部401は、第1レイヤ符号化情報を第1レイヤ復号部402に出力し、第2レイヤ符号化情報を第2レイヤ復号部405に出力し、第3レイヤ符号化情報を第3レイヤ復号部406に出力する。
また、符号化情報分離部401は、符号化情報中に第3レイヤ符号化情報が含まれるか否かを検知し、検知結果に応じて、第2レイヤ復号部405の動作を制御する。具体的には、符号化情報分離部401は、符号化情報中に第3レイヤ符号化情報が含まれる場合には、第2レイヤ制御情報CIの値を0に設定し、そうでない場合には第2レイヤ制御情報CIの値を1に設定する。次に、符号化情報分離部401は、第2レイヤ制御情報CIを第2レイヤ復号部405に出力する。
第1レイヤ復号部402は、符号化情報分離部401から入力される第1レイヤ符号化情報に対して、例えばCELP方式の音声復号方法を用いて復号を行って第1レイヤ復号信号を生成する。第1レイヤ復号部402は、生成した第1レイヤ復号信号をアップサンプリング処理部403に出力する。
アップサンプリング処理部403は、第1レイヤ復号部402から入力される第1レイヤ復号信号のサンプリング周波数をSRbaseからSRinputまでアップサンプリングする。アップサンプリング処理部403は、アップサンプリングした第1レイヤ復号信号をアップサンプリング後第1レイヤ復号信号として、直交変換処理部404に出力する。
直交変換処理部404は、バッファbuf3(n=0、…、N−1)を内部に有し、アップサンプリング処理部403から入力されるアップサンプリング後第1レイヤ復号信号x1を修正離散コサイン変換(MDCT:Modified Discrete Cosine Transform)する。直交変換処理部404は、アップサンプリング後第1レイヤ復号信号x1を直交変換処理して、第1レイヤ復号スペクトルX1(k)を算出する。直交変換処理部404の処理は、直交変換処理部205の処理と同様であるため、ここでは説明を省略する。直交変換処理部404は、得られた第1レイヤ復号スペクトルX1(k)を第2レイヤ復号部405に出力する。
第2レイヤ復号部405には、符号化情報分離部401から第2レイヤ符号化情報および第2レイヤ制御情報が入力される。また、第2レイヤ復号部405には、直交変換処理部404から第1レイヤ復号スペクトルX1(k)が入力される。第2レイヤ復号部405は、第2レイヤ制御情報の値に応じて、復号方法を切り替えて、第1レイヤ復号スペクトルX1(k)と第2レイヤ符号化情報とから、第2レイヤ復号スペクトルを算出する。次に、第2レイヤ復号部405は、第2レイヤ復号スペクトルおよび第1レイヤ復号スペクトルから第1加算スペクトルを算出し、これを加算部407に出力する。なお、第2レイヤ復号部405の詳細については後述する。
第3レイヤ復号部406には、符号化情報分離部401から第3レイヤ符号化情報が入力される。第3レイヤ復号部406は、第3レイヤ符号化情報を復号し、第3レイヤ復号スペクトルを算出する。次に、第3レイヤ復号部406は算出した第3レイヤ復号スペクトルを加算部407に出力する。なお、第3レイヤ復号部406の詳細については後述する。
加算部407には、第2レイヤ復号部405から第1加算スペクトルが入力される。また、加算部407には、第3レイヤ復号部406から第3レイヤ復号スペクトルが入力される。加算部407は、第1加算スペクトルと第3レイヤ復号スペクトルとを周波数軸上で加算し、第2加算スペクトルを算出する。次に、加算部407は、算出した第2加算スペクトルを直交変換処理部408に出力する。
直交変換処理部408は、加算部407から入力される第2加算スペクトルに対して直交変換を施し、時間領域の信号に変換する。直交変換処理部408は、得られた信号を出力信号として出力する。直交変換処理部408の処理の詳細は後述する。
次に、第2レイヤ復号部405における処理を説明する。なお、第2レイヤ復号部405における処理は、符号化装置101内の第2レイヤ復号部207と、一部に関して同一である。
まず、第2レイヤ復号部405は、先に示した式(13)のようにして、高域部分(Fbase(kHz)〜Finput(kHz))の高域スペクトルX1’ (k)を生成する。すなわち、第2レイヤ復号部405は、第2レイヤ符号化情報に含まれるパラメータ(スペクトルインデックスi、第1ゲインパラメータα、第2ゲインパラメータα)のうち、スペクトルインデックスiと、第1レイヤ復号スペクトルX1(k)とから、高域スペクトルX1’ (k)を生成する。ここで、式(13)において、jはサブバンドインデックスであり、スペクトルインデックスiは各サブバンドに対して設定されているものとする。また、ここで、スペクトルインデックスi、第1ゲインパラメータα、および第2ゲインパラメータαは、特許文献1に開示されている方法(上述)で算出されるパラメータである。
つまり、式(13)は、第1復号スペクトルのスペクトルインデックスiが示すインデックス以降のサブバンドインデックスiのサブバンド幅分のスペクトルを高域部分のスペクトルとして近似する処理を示している。
次に、第2レイヤ復号部405は、式(13)により算出された高域スペクトルX1’
(k)に対して、式(18)のようにして、第1ゲインパラメータαを乗じて、高域スペクトルX1” (k)を算出する。
Figure 0005774490
次に、第2レイヤ復号部405は、入力される第2レイヤ制御情報CIの値に応じて、以下の式(19)に従って、第2レイヤ復号スペクトルX2 (k)を算出する。ここで、式(19)において、ζ(k)は、高域スペクトルX1” (k)の値が負の場合には−1となり、そうでない場合は+1となる変数である。また、Mは以下の式(20)を満たす値である。
Figure 0005774490
Figure 0005774490
第2レイヤ復号部405は、第2レイヤ制御情報CIの値が0の場合、すなわち、符号化情報中に第3レイヤ符号化情報が含まれる場合には、符号化装置101内の第2レイヤ復号部207で算出した方法と同様の方法で、第2レイヤ復号スペクトルを算出する。また、第2レイヤ復号部405は、第2レイヤ制御情報CIの値が1の場合、すなわち、符号化情報中に第3レイヤ符号化情報が含まれない場合には、上記第2レイヤ復号部207で算出した方法とは異なる方法で、第2レイヤ復号スペクトルを算出する。具体的には、第2レイヤ復号部405は、第2レイヤ制御情報CIの値が1の場合、特許文献1および非特許文献1に開示されているような、対数領域でのゲインパラメータ(第2ゲインパラメータα)を利用して、第2レイヤ復号スペクトルを算出する。
上記で説明したように、加算部407では、第2レイヤ復号部405において復号された第1加算スペクトルと、第2レイヤ復号部405の上位レイヤの第3レイヤ復号部406において復号された第3レイヤ復号スペクトルとが加算される。そのため、上位レイヤの第3復号スペクトルが存在する場合には、第2レイヤ復号部405は、符号化装置101内の第2レイヤ復号部207に対応するような復号方法を採るようにした。これにより、加算部407において加算された状態で最も精度の高いスペクトルが算出されるようにした。
一方、上位レイヤの第3復号スペクトルが存在しない場合には、第1加算スペクトルは、第3レイヤ復号スペクトルに加算されない。そのため、第2レイヤ復号部405は、信号レベル(SNR)では低くなるものの、聴感的には入力信号により近くするような復号方法を採るようにした。
次に、第2レイヤ復号部405は、式(19)により算出された第2レイヤ復号スペクトルX2 (k)と第1レイヤ復号スペクトルX1(k)とを、周波数領域上で加算し、第1加算スペクトルを算出する。ここで、第1レイヤ復号スペクトルX1(k)はサンプリング周波数SRbaseに対応する低域部分(0(kHz)〜Fbase(kHz))に値をもつスペクトルである。また、第2レイヤ復号スペクトルX2 (k)はサンプリング周波数SRinputに対応する高域部分(Fbase(kHz)〜Finput(kHz))に値をもつスペクトルである。すなわち、これらのスペクトルを加算して得られる第1加算スペクトルの低域部分(0(kHz)〜Fbase(kHz))の値は、第1レイヤ復号スペクトルとなる。また、高域部分(Fbase(kHz)〜Finput(kHz))の値は第2レイヤ復号スペクトルとなる。この加算処理については、符号化装置101内の加算部208の処理と同様である。
次に、第2レイヤ復号部405は、算出した第1加算スペクトルを加算部407に出力する。
図5は、第3レイヤ復号部406の主要な構成を示すブロック図である。
この図において、第3レイヤ復号部406は、分離部501、形状復号部502、および利得復号部503を備える。
分離部501は、符号化情報分離部401から出力される第3レイヤ符号化情報を形状符号化情報、および利得符号化情報に分離し、得られる形状符号化情報を形状復号部502に出力し、利得符号化情報を利得復号部503に出力する。
形状復号部502は、分離部501から入力される形状符号化情報を復号し、求められた形状の値を利得復号部503に出力する。形状復号部502は、第3レイヤ符号化部210の形状符号化部301が備える形状コードブックと同様な形状コードブックを内蔵する。形状復号部502は、分離部501から入力される形状符号化情報S_maxをインデックスとする形状コードベクトルを探索する。形状復号部502は、探索された形状コードベクトルを、利得復号部503に出力する。ここでは、形状の値として探索された形状コードベクトルをShape_q(k)(k=0,…,B(j)−1)と記す。
利得復号部503には、分離部501から利得符号化情報が入力される。利得復号部503は、第3レイヤ符号化部210の利得符号化部302が備える利得コードブックと同様な利得コードブックを内蔵し、この利得コードブックを用いて、下記の式(21)に従い、利得の値を逆量子化する。ここでも、利得復号部503は、利得値をL次元ベクトルとして扱い、ベクトル逆量子化を行う。ここで、予測利得β(j)は、利得符号化情報が示すインデックスを用いて、上記利得コードブックから参照される値である。
Figure 0005774490
なお、式(21)の処理は、符号化装置101内の第3レイヤ符号化部210にて利得コードベクトルの探索に用いた式(17)の逆処理に相当する。すなわち、利得符号化情報G_minに対応する利得コードベクトルGC G_minをそのまま利得値とするのではなく、利得コードベクトルGC G_minに対して、予測利得β(j)を加算した値を利得値とする。もちろん、ここで参照する予測利得β(j)の値は、利得情報の符号化時に参照した予測利得β(j)と同値である。
次いで、利得復号部503は、現フレームの逆量子化で得られる利得値、および形状復号部502から入力される形状の値を用いて、下記の式(22)に従い、第3レイヤ復号スペクトルX3(k)として復号MDCT係数を算出する。ここでは、算出された復号MDCT係数をX3(k)と記す。
Figure 0005774490
利得復号部503は、上記の式(22)に従い算出された第3レイヤ復号スペクトルX3(k)を加算部407に出力する。
以上が、第3レイヤ復号部406の処理説明である。
以下、直交変換処理部408における具体的な処理について説明する。
直交変換処理部408は、バッファbuf4(k)を内部に有しており、下記の式(23)に示すようにバッファbuf4(k)を初期化する。
Figure 0005774490
また、直交変換処理部408は、加算部407から入力される第2加算スペクトルX_add(k)を用いて下記の式(24)に従い、復号信号yを求めて出力する。
Figure 0005774490
式(24)において、Z2(k)は、下記の式(25)に示すように、第2加算スペクトルX_add(k)とバッファbuf4(k)とを結合させたベクトルである。
Figure 0005774490
次に、直交変換処理部408は、下記の式(26)に従いバッファbuf4(k)を更新する。
Figure 0005774490
次に、直交変換処理部408は、復号信号yを出力信号として出力する。
以上が、復号装置103の内部構成の説明である。
このように、本実施の形態によれば、符号化装置/復号装置が、階層符号化/復号方式を用い、かつ、下位レイヤに低域部のスペクトルデータに基づいて高域部のスペクトルデータを符号化する帯域拡張技術を適用する場合に、上位レイヤにおいても効率的に差分スペクトル(差分信号)を符号化し、復号信号の品質を改善することができる。具体的には、帯域拡張処理を行う第2レイヤ復号部207は、上位レイヤの第3レイヤ符号化部210において符号化対象となるスペクトル(差分スペクトル)を、低域部のスペクトルを用いて生成した高域部のスペクトルのエネルギを調整する利得情報(第2ゲインパラメータα)を用いずに、差分スペクトルのエネルギを最小にするような利得情報(第1ゲインパラメータα)を用いて算出する。これにより、上位レイヤの第3レイヤ符号化部210では、エネルギが小さい差分スペクトルが符号化されるようになるので、符号化効率を向上させることができる。
また、第3レイヤ符号化部210は、帯域拡張処理時に算出された利得情報(上述の第2ゲインパラメータαが該当)から統計的に算出される利得値(予測利得β(j)が該当)を利得情報から減算した誤差成分を、差分スペクトルの利得情報として量子化する。これにより、さらに符号化効率を向上させることができる。
なお、本実施の形態では、式(19)のように、下位レイヤにおける差分スペクトル(第2レイヤ差分スペクトル)の算出方法を、フレーム単位で切り替える構成について説明した。しかし、本発明はこれに限らず、フレーム内のサブバンド単位で、算出方法を切り替える構成についても同様に適用できる。例えば、非特許文献2に開示されているように、上位レイヤが、フレーム毎に量子化対象とする帯域を選択するような場合(非特許文献2におけるBS−SGC(Band Selective Shape Gain Coding)が該当)に対しても、本発明を適用できる。この場合、例えば、上位レイヤにおいて量子化対象として選択されたサブバンドに対しては、下位レイヤは、式(19)においてCI=0の場合の処理をして差分スペクトルを算出する。また、量子化対象として選択されないサブバンドに対しては、下位レイヤは、式(15)においてCI=1の場合の処理をして、差分スペクトルを算出する。このようにして、サブバンド毎に差分スペクトルの算出方法を切り替えることによって、上位レイヤの符号化効率を向上させることができる。
なお、本実施の形態では、帯域拡張処理を行うレイヤよりも上位レイヤにおいて、誤差成分を、差分スペクトルの利得情報として量子化する構成を例に挙げて説明した。ここで、誤差成分とは、利得情報から、帯域拡張処理時に算出した利得情報(上述の第2ゲインパラメータαが該当)から統計的に算出される利得値(予測利得β(j)が該当)を減算した成分である。しかし、本発明はこれに限られず、例えば、上位レイヤにおいて、予測利得β(j)を用いずに、利得情報を量子化する構成に対しても本発明を同様に適用できる。この場合、利得情報の量子化精度は若干劣化するものの、コードブック内に予測利得β(j)を格納しなくてもよくなるため、メモリの削減に繋がる。また、例えば、上位レイヤにおいて、利得情報から統計的に算出される利得値(予測利得β(j)が該当)で利得情報を除算し、誤差成分として除算結果を量子化する構成についても同様に本発明を適用できる。また、この場合、除算の処理演算量が大きくなるため、予めコードブック内には予測利得β(j)の逆数を記憶しておき、実際の除算結果の算出時には、除算ではなく、乗算するという構成でももちろん構わない。また、この場合には、復号装置における復号時には、符号化装置における処理と対応させるために、復号利得に対して予測利得β(j)を加算するのではなく、乗算(あるいは除算)することにより、最終的な復号利得値を算出する。
なお、本実施の形態では、第1レイヤ符号化部/復号部において、CELPタイプの符号化/復号方法を採る構成を例に挙げて説明したが、本発明はこれに限らない。例えば、CELPタイプ以外の符号化方法、または周波数軸上での符号化方法を採る場合についても同様に本発明を適用できる。なお、第1レイヤ符号化部において、周波数軸上での符号化方法を採る場合には、入力信号をまず直交変換処理してから低域部分を符号化し、得られる復号スペクトルをそのまま第2レイヤ符号化部に入力すればよい。そのため、この場合には、ダウンサンプリング処理部、アップサンプリング処理部などの処理が不要となる。
また、本実施の形態に係る復号装置は、上記符号化装置から伝送された符号化情報を用いて処理を行うとした。しかし、本発明はこれに限定されず、必要なパラメータやデータを含む符号化情報であれば、必ずしも上記符号化装置からの符号化情報でなくても、復号装置は処理を行うことが可能である。
また、信号処理プログラムを、メモリ、ディスク、テープ、CD、DVD等の機械読み取り可能な記録媒体に記録、書き込みをし、動作を行う場合についても、本発明は適用することができ、本実施の形態と同様の作用および効果を得ることができる。
また、本実施の形態では、本発明をハードウェアで構成する場合を例にとって説明したが、本発明はソフトウェアで実現することも可能である。
また、本実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるLSIとして実現される。これらは個別に1チップ化されてもよいし、一部または全てを含むように1チップ化されてもよい。ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。
また、集積回路化の手法はLSIに限るものではなく、専用回路または汎用プロセッサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル/プロセッサを利用してもよい。
さらには、半導体技術の進歩または派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
2009年11月12日出願の特願2009−258841に含まれる明細書、図面及び要約書の開示内容は、すべて本願に援用される。
本発明に係る符号化装置、復号装置およびこれらの方法は、低域部のスペクトルを用いて帯域拡張を行い高域部のスペクトルを推定する技術(帯域拡張技術)を、階層符号化/復号方式に適用した場合に、上位レイヤにおいても効率的に符号化し、復号信号の品質を改善することができ、例えば、パケット通信システム、移動通信システムなどに好適である。
101 符号化装置
102 伝送路
103 復号装置
201 ダウンサンプリング処理部
202 第1レイヤ符号化部
203、402 第1レイヤ復号部
204、403 アップサンプリング処理部
205、404、408 直交変換処理部
206 第2レイヤ符号化部
207、405 第2レイヤ復号部
208、209、407 加算部
210 第3レイヤ符号化部
211 符号化情報統合部
301 形状符号化部
302 利得符号化部
303 多重化部
401 符号化情報分離部
406 第3レイヤ復号部
501 分離部
502 形状復号部
503 利得復号部

Claims (10)

  1. 入力信号の低域部分を符号化して第1レイヤ符号化情報を生成する第1レイヤ符号化手段と、
    前記第1レイヤ符号化情報を復号して第1レイヤ復号信号を生成する第1レイヤ復号手段と、
    前記第1レイヤ復号信号および前記入力信号を周波数領域の信号に変換して第1レイヤ復号スペクトルおよび入力スペクトルを生成する直交変換処理手段と、
    前記第1レイヤ復号スペクトルと前記入力スペクトルを用いて前記入力信号の高域部分を符号化して第2レイヤ符号化情報を生成する第2レイヤ符号化手段と、
    前記第2レイヤ符号化情報を復号して第2レイヤ復号スペクトルを生成する第2レイヤ復号手段と、
    前記第1レイヤ復号スペクトルと前記第2レイヤ復号スペクトルを加算して加算スペクトルを生成する加算部と、
    前記入力スペクトルから前記加算スペクトルを減算して第2レイヤ差分スペクトルを生成する減算部と、
    前記第2レイヤ符号化情報を用いて前記第2レイヤ差分スペクトルを符号化して第3レイヤ符号化情報を生成する第3レイヤ符号化手段と、
    前記第1レイヤ符号化情報、前記第2レイヤ符号化情報、および前記第3レイヤ符号化情報を多重化して出力する符号化情報統合手段と、を有し、
    前記第2レイヤ符号化手段は、前記第1レイヤ復号スペクトルに対して前記入力スペクトルの高域部分に最も近似する位置およびゲインを表すスペクトルインデックスおよび理想ゲイン、および前記スペクトルインデックスおよび前記理想ゲインから算出されるスペクトルと前記入力スペクトルの高域部分とに対して対数領域上でエネルギを調整するゲインパラメータである調整ゲインを、前記第2レイヤ符号化情報として生成し、
    前記第2レイヤ復号手段は、前記調整ゲインを用いず、前記スペクトルインデックス及び前記理想ゲインから前記第2レイヤ復号スペクトルを生成する、
    符号化装置。
  2. 前記第3レイヤ符号化手段は、前記理想ゲインに加え、前記調整ゲインに対応して統計的に算出される予め定められた予測ゲインに基づき前記第2レイヤ差分スペクトルを符号化する、
    請求項1記載の符号化装置。
  3. 符号化装置から送信された符号化情報を、第1レイヤ符号化情報、第2レイヤ符号化情報、および第3レイヤ符号化情報に分離する符号化情報分離手段と、
    前記第1レイヤ符号化情報を復号して第1レイヤ復号信号を生成する第1レイヤ復号手段と、
    前記第1レイヤ復号信号を周波数領域の信号に変換して低域部分を表す第1レイヤ復号スペクトルを生成する直交変換処理手段と、
    前記第2レイヤ符号化情報および前記第1レイヤ復号スペクトルから高域部分を表す第2レイヤ復号スペクトルを生成するとともに、前記第1レイヤ復号スペクトルと前記第2レイヤ復号スペクトルを加算して加算スペクトルを生成する第2レイヤ復号手段と、
    前記第3レイヤ符号化情報を復号して第3レイヤ復号スペクトルを生成する第3レイヤ復号手段と、
    前記加算スペクトルと前記第3レイヤ復号スペクトルを加算して出力する加算部と、を有し、
    前記第2レイヤ符号化情報は、前記符号化装置の符号化において、前記第1レイヤ復号スペクトルに対して入力スペクトルの高域部分に最も近似する位置およびゲインを表すスペクトルインデックスおよび理想ゲイン、および前記スペクトルインデックスおよび前記理想ゲインから算出されるスペクトルと前記入力スペクトルの高域部分とに対して対数領域上でエネルギを調整するゲインパラメータである調整ゲインとから成るよう生成されたものであり、
    前記第2レイヤ復号手段は、
    前記符号化情報中に前記第3レイヤ符号化情報が含まれる場合には、前記調整ゲインを用いず、前記スペクトルインデックス及び前記理想ゲインから前記第2レイヤ復号スペクトルを生成し、
    前記符号化情報中に前記第3レイヤ符号化情報が含まれない場合には、前記調整ゲイン、前記スペクトルインデックス及び前記理想ゲインから前記第2レイヤ復号スペクトルを生成する、
    復号装置。
  4. 前記第3レイヤ復号手段は、前記理想ゲインに加え、前記調整ゲインに対応して統計的に算出される予め定められた予測ゲインに基づき前記第3レイヤ復号スペクトルを生成するする、
    請求項3記載の復号装置。
  5. 請求項1に記載の符号化装置を具備する通信端末装置。
  6. 請求項1に記載の符号化装置を具備する基地局装置。
  7. 請求項3に記載の復号装置を具備する通信端末装置。
  8. 請求項3に記載の復号装置を具備する基地局装置。
  9. 入力信号の低域部分を符号化して第1レイヤ符号化情報を生成する第1レイヤ符号化ステップと、
    前記第1レイヤ符号化情報を復号して第1レイヤ復号信号を生成する第1レイヤ復号ステップと、
    前記第1レイヤ復号信号および前記入力信号を周波数領域の信号に変換して第1レイヤ復号スペクトルおよび入力スペクトルを生成する直交変換処理ステップと、
    前記第1レイヤ復号スペクトルと前記入力スペクトルを用いて前記入力信号の高域部分を符号化して第2レイヤ符号化情報を生成する第2レイヤ符号化ステップと、
    前記第2レイヤ符号化情報を復号して第2レイヤ復号スペクトルを生成する第2レイヤ復号ステップと、
    前記第1レイヤ復号スペクトルと前記第2レイヤ復号スペクトルを加算して加算スペクトルを生成する加算ステップと、
    前記入力スペクトルから前記加算スペクトルを減算して第2レイヤ差分スペクトルを生成する減算ステップと、
    前記第2レイヤ符号化情報を用いて前記第2レイヤ差分スペクトルを符号化して第3レイヤ符号化情報を生成する第3レイヤ符号化ステップと、
    前記第1レイヤ符号化情報、前記第2レイヤ符号化情報、および前記第3レイヤ符号化情報を多重化して出力する符号化情報統合ステップと、を有し、
    前記第2レイヤ符号化ステップは、前記第1レイヤ復号スペクトルに対して前記入力スペクトルの高域部分に最も近似する位置およびゲインを表すスペクトルインデックスおよび理想ゲイン、および前記スペクトルインデックスおよび前記理想ゲインから算出されるスペクトルと前記入力スペクトルの高域部分とに対して対数領域上でエネルギを調整するゲインパラメータである調整ゲインを、前記第2レイヤ符号化情報として生成し、
    前記第2レイヤ復号ステップは、前記調整ゲインを用いず、前記スペクトルインデックス及び前記理想ゲインから前記第2レイヤ復号スペクトルを生成する、
    符号化方法。
  10. 符号化装置から送信された符号化情報を、第1レイヤ符号化情報、第2レイヤ符号化情報、および第3レイヤ符号化情報に分離する符号化情報分離ステップと、
    前記第1レイヤ符号化情報を復号して第1レイヤ復号信号を生成する第1レイヤ復号ステップと、
    前記第1レイヤ復号信号を周波数領域の信号に変換して低域部分を表す第1レイヤ復号スペクトルを生成する直交変換処理ステップと、
    前記第2レイヤ符号化情報および前記第1レイヤ復号スペクトルから高域部分を表す第2レイヤ復号スペクトルを生成するとともに、前記第1レイヤ復号スペクトルと前記第2レイヤ復号スペクトルを加算して加算スペクトルを生成する第2レイヤ復号ステップと、
    前記第3レイヤ符号化情報を復号して第3レイヤ復号スペクトルを生成する第3レイヤ復号ステップと、
    前記加算スペクトルと前記第3レイヤ復号スペクトルを加算して出力する加算ステップと、を有し、
    前記第2レイヤ符号化情報は、前記符号化装置の符号化において、前記第1レイヤ復号スペクトルに対して入力スペクトルの高域部分に最も近似する位置およびゲインを表すスペクトルインデックスおよび理想ゲイン、および前記スペクトルインデックスおよび前記理想ゲインから算出されるスペクトルと前記入力スペクトルの高域部分とに対して対数領域上でエネルギを調整するゲインパラメータである調整ゲインとから成るよう生成されたものであり、
    前記第2レイヤ復号ステップは、
    前記符号化情報中に前記第3レイヤ符号化情報が含まれる場合には、前記調整ゲインを用いず、前記スペクトルインデックス及び前記理想ゲインから前記第2レイヤ復号スペクトルを生成し、
    前記符号化情報中に前記第3レイヤ符号化情報が含まれない場合には、前記調整ゲイン、前記スペクトルインデックス及び前記理想ゲインから前記第2レイヤ復号スペクトルを生成する、
    復号方法。
JP2011540415A 2009-11-12 2010-11-11 符号化装置、復号装置およびこれらの方法 Expired - Fee Related JP5774490B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011540415A JP5774490B2 (ja) 2009-11-12 2010-11-11 符号化装置、復号装置およびこれらの方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2009258841 2009-11-12
JP2009258841 2009-11-12
JP2011540415A JP5774490B2 (ja) 2009-11-12 2010-11-11 符号化装置、復号装置およびこれらの方法
PCT/JP2010/006630 WO2011058752A1 (ja) 2009-11-12 2010-11-11 符号化装置、復号装置およびこれらの方法

Publications (2)

Publication Number Publication Date
JPWO2011058752A1 JPWO2011058752A1 (ja) 2013-03-28
JP5774490B2 true JP5774490B2 (ja) 2015-09-09

Family

ID=43991419

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011540415A Expired - Fee Related JP5774490B2 (ja) 2009-11-12 2010-11-11 符号化装置、復号装置およびこれらの方法

Country Status (4)

Country Link
US (1) US8838443B2 (ja)
EP (1) EP2500901B1 (ja)
JP (1) JP5774490B2 (ja)
WO (1) WO2011058752A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130088756A (ko) 2010-06-21 2013-08-08 파나소닉 주식회사 복호 장치, 부호화 장치 및 이러한 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008084688A1 (ja) * 2006-12-27 2008-07-17 Panasonic Corporation 符号化装置、復号装置及びこれらの方法
JP2008527439A (ja) * 2005-01-11 2008-07-24 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ オーディオ信号のスケーラブル符号化及び復号
JP2009042740A (ja) * 2007-03-02 2009-02-26 Panasonic Corp 符号化装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003065353A1 (en) 2002-01-30 2003-08-07 Matsushita Electric Industrial Co., Ltd. Audio encoding and decoding device and methods thereof
JP4272897B2 (ja) 2002-01-30 2009-06-03 パナソニック株式会社 符号化装置、復号化装置およびその方法
US7460990B2 (en) * 2004-01-23 2008-12-02 Microsoft Corporation Efficient coding of digital media spectral data using wide-sense perceptual similarity
JP4954080B2 (ja) * 2005-10-14 2012-06-13 パナソニック株式会社 変換符号化装置および変換符号化方法
WO2007052088A1 (en) 2005-11-04 2007-05-10 Nokia Corporation Audio compression
US7953604B2 (en) * 2006-01-20 2011-05-31 Microsoft Corporation Shape and scale parameters for extended-band frequency coding
WO2007090988A2 (fr) * 2006-02-06 2007-08-16 France Telecom Procede et dispositif de codage hierarchique d'un signal audio source, procede et dispositif de decodage, programmes et signal correspondants
WO2008062990A1 (en) * 2006-11-21 2008-05-29 Samsung Electronics Co., Ltd. Method, medium, and system scalably encoding/decoding audio/speech
WO2008066071A1 (en) * 2006-11-29 2008-06-05 Panasonic Corporation Decoding apparatus and audio decoding method
AU2007332508B2 (en) * 2006-12-13 2012-08-16 Iii Holdings 12, Llc Encoding device, decoding device, and method thereof
JP4871894B2 (ja) 2007-03-02 2012-02-08 パナソニック株式会社 符号化装置、復号装置、符号化方法および復号方法
US7885819B2 (en) * 2007-06-29 2011-02-08 Microsoft Corporation Bitstream syntax for multi-process audio decoding
EP2224432B1 (en) 2007-12-21 2017-03-15 Panasonic Intellectual Property Corporation of America Encoder, decoder, and encoding method
WO2009084221A1 (ja) 2007-12-27 2009-07-09 Panasonic Corporation 符号化装置、復号装置およびこれらの方法
US8452588B2 (en) 2008-03-14 2013-05-28 Panasonic Corporation Encoding device, decoding device, and method thereof
US9117458B2 (en) * 2009-11-12 2015-08-25 Lg Electronics Inc. Apparatus for processing an audio signal and method thereof

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008527439A (ja) * 2005-01-11 2008-07-24 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ オーディオ信号のスケーラブル符号化及び復号
WO2008084688A1 (ja) * 2006-12-27 2008-07-17 Panasonic Corporation 符号化装置、復号装置及びこれらの方法
JP2009042740A (ja) * 2007-03-02 2009-02-26 Panasonic Corp 符号化装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JPN7014001355; A. C. den Brinker, et al.: 'An Overview of the Coding Standard MPEG-4 Audio Amendments 1 and 2: HE-AAC, SSC, and HE-AAC v2' EURASIP Journal on Audio, Speech, and Music Processing Vol.2009, 20090603, pp.1-21, SpringerOpen *
JPN7014001356; Miikka Vilermo, et al.: 'Perceptual Optimization of the Frequency Selective Switch in Scalable Audio Coding' Proc. 114th Convention of AES 5851, 20030322, pp.1-12, AES *
JPN7014001357; Martin Dietz, et al.: 'Spectral Band Replication, a Novel Approach in Audio Coding' Proc. 112th Convention of AES 5553, 20020510, pp.1-8, AES *

Also Published As

Publication number Publication date
US20120215527A1 (en) 2012-08-23
US8838443B2 (en) 2014-09-16
JPWO2011058752A1 (ja) 2013-03-28
EP2500901B1 (en) 2018-09-19
WO2011058752A1 (ja) 2011-05-19
EP2500901A4 (en) 2016-10-12
EP2500901A1 (en) 2012-09-19

Similar Documents

Publication Publication Date Title
JP5339919B2 (ja) 符号化装置、復号装置およびこれらの方法
JP5404418B2 (ja) 符号化装置、復号装置および符号化方法
JP5448850B2 (ja) 符号化装置、復号装置およびこれらの方法
JP5449133B2 (ja) 符号化装置、復号装置およびこれらの方法
JP5328368B2 (ja) 符号化装置、復号装置、およびこれらの方法
JP5058152B2 (ja) 符号化装置および符号化方法
JP5511785B2 (ja) 符号化装置、復号装置およびこれらの方法
JP5419876B2 (ja) スペクトル平滑化装置、符号化装置、復号装置、通信端末装置、基地局装置及びスペクトル平滑化方法
US20100280833A1 (en) Encoding device, decoding device, and method thereof
JP5730303B2 (ja) 復号装置、符号化装置およびこれらの方法
JP2009042734A (ja) 符号化装置および符号化方法
WO2006041055A1 (ja) スケーラブル符号化装置、スケーラブル復号装置及びスケーラブル符号化方法
JP5565914B2 (ja) 符号化装置、復号装置およびこれらの方法
JPWO2008053970A1 (ja) 音声符号化装置、音声復号化装置、およびこれらの方法
JPWO2008132850A1 (ja) ステレオ音声符号化装置、ステレオ音声復号装置、およびこれらの方法
JP2009042740A (ja) 符号化装置
JP5544370B2 (ja) 符号化装置、復号装置およびこれらの方法
WO2013057895A1 (ja) 符号化装置及び符号化方法
JP5774490B2 (ja) 符号化装置、復号装置およびこれらの方法
JP5544371B2 (ja) 符号化装置、復号装置およびこれらの方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130521

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140507

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20140604

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140624

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150203

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150427

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150623

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150701

R150 Certificate of patent or registration of utility model

Ref document number: 5774490

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees