JP5058152B2 - 符号化装置および符号化方法 - Google Patents

符号化装置および符号化方法 Download PDF

Info

Publication number
JP5058152B2
JP5058152B2 JP2008505088A JP2008505088A JP5058152B2 JP 5058152 B2 JP5058152 B2 JP 5058152B2 JP 2008505088 A JP2008505088 A JP 2008505088A JP 2008505088 A JP2008505088 A JP 2008505088A JP 5058152 B2 JP5058152 B2 JP 5058152B2
Authority
JP
Japan
Prior art keywords
encoding
layer
unit
lpc
enhancement layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008505088A
Other languages
English (en)
Other versions
JPWO2007105586A1 (ja
Inventor
智史 山梨
薫 佐藤
利幸 森井
正浩 押切
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2008505088A priority Critical patent/JP5058152B2/ja
Publication of JPWO2007105586A1 publication Critical patent/JPWO2007105586A1/ja
Application granted granted Critical
Publication of JP5058152B2 publication Critical patent/JP5058152B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • G10L19/18Vocoders using multiple modes
    • G10L19/24Variable rate codecs, e.g. for generating different qualities using a scalable representation such as hierarchical encoding or layered encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

本発明は、信号を符号化して伝送する通信システムに用いられる符号化装置および符号化方法に関する。
近年、音声信号、楽音信号の符号化において、符号化情報の一部からでも音声・楽音信号を復号化でき、パケット損失が発生するような状況においても音質劣化を抑制することができるスケーラブル符号化技術が開発されている(例えば、特許文献1参照)。このスケーラブル符号化技術は、符号化情報の一部からでも音声、楽音信号を復号化できるように音声信号、楽音信号を符号化するものであり、パケット損失が発生するような状況においても音質劣化を抑制することができる。具体的には、第1階層で入力信号を符号化して符号化情報を生成し、上位の第(i−1)目の階層(iは2以上の整数)で、入力信号と第(i−1)階層の符号化情報に応じて得られる復号化信号との差である残差信号を生成し、さらに上位の第i階層で残差信号に応じて符号化することを繰り返す方法が知られている。
また、スケーラブル符号化技術を用いて、下位の階層における符号化結果と予め定められた閾値との比較結果に基づき上位の階層の符号化部の動作・非動作を切り替えるという方法も提案されている(例えば、特許文献2参照)。
特開平10−97295号公報 特開2005−80063号公報
上記特許文献1の方法は、上位の階層において残差信号を符号化する際、下位の階層における符号化結果を特に考慮せずに予め決められた符号化方式により残差信号を符号化する方法であり、下位と上位の階層間の関係は固定的なものであるから、限られた環境下で良質な音声信号を提供するにあたり最適な符号化を行っているとは言えない。
また、上記特許文献2の方法は、下位の階層の符号化結果を考慮しているものの、その主たる目的は、回線が輻輳した場合に送信バッファのオーバーフローを避けるために上位の階層のビットレートを調整することであり、回線が輻輳していない場合においては良質な音声信号を提供するにあたり最適な符号化を行っているとは言えない。
本発明の目的は、上位の階層において残差信号を符号化する際に、下位の階層の符号化結果を考慮し、それに基づいた最適な符号化を柔軟に行うことにより、限られた環境下で良質な音声信号をユーザに提供することである。
本発明の符号化装置は、入力信号を2階層の符号化情報で符号化する符号化装置であって、前記入力信号を符号化して第1階層の符号化情報を生成する第1階層の符号化手段と、前記第1階層の符号化情報を復号化して第1階層の復号化信号を生成する第1階層の復号化手段と、前記入力信号と前記第1階層の復号化信号との差分である第1階層の差分信号を求める加算手段と、前記第1階層の差分信号を符号化して第2階層の符号化情報を生成する第2階層の符号化手段と、前記第1階層の符号化手段の符号化パラメータの量子化結果に基づいて、前記第2階層の符号化手段における全符号化パラメータに割り当てるビットの総数を変化させずに、各符号化パラメータに割り当てるビットを調整する拡張レイヤ制御手段と、を具備する構成を採る。また、本発明の符号化装置は、入力信号をn階層(nは3以上の整数)の符号化情報で符号化する符号化装置であって、前記入力信号を符号化して第1階層の符号化情報を生成する第1階層の符号化手段と、前記第1階層の符号化情報を復号化して第1階層の復号化信号を生成する第1階層の復号化手段と、前記入力信号と前記第1階層の復号化信号との差分である第1階層の差分信号を求める第1階層の加算手段と、第i階層(iは1以上n−2以下の整数)の差分信号を符号化して第(i+1)階層の符号化情報を生成する第(i+1)階層の符号化手段と、前記第(i+1)階層の符号化情報を復号化して第(i+1)階層の復号化信号を生成する第(i+1)階層の復号化手段と、前記第i階層の差分信号と前記第(i+1)階層の復号化信号との差分である第(i+1)階層の差分信号を求める第(i+1)階層の加算手段と、第(n−1)階層の差分信号を符号化して第n階層の符号化情報を生成する第n階層の符号化手段と、前記第1階層の符号化手段の符号化パラメータの量子化結果に基づいて、前記第(i+1)階層の符号化手段及び前記第n階層の符号化手段における全符号化パラメータに割り当てるビットの総数を変化させずに、前記第(i+1)階層の符号化手段及び前記第n階層の符号化手段それぞれの各符号化パラメータに割り当てるビットを調整する拡張レイヤ制御手段と、を具備する構成を採る。
本発明の符号化方法は、入力信号を2階層の符号化情報で符号化する符号化方法であって、前記入力信号を符号化して第1階層の符号化情報を生成する第1符号化ステップと、前記第1階層の符号化情報を復号化して第1階層の復号化信号を生成する復号化ステップと、前記入力信号と前記第1階層の復号化信号との差分である第1階層の差分信号を求める加算ステップと、前記第1階層の差分信号を符号化して第2階層の符号化情報を生成する第2符号化ステップと、前記第1符号化ステップの符号化過程で生成される前記第1階層の符号化パラメータの量子化結果に基づいて、前記第2符号化ステップの符号化過程で生成される全符号化パラメータに割り当てるビットの総数を変化させずに、前記第2階層の各符号化パラメータに割り当てるビットを調整する拡張レイヤ制御ステップと、を具備する方法を採る。また、本発明のプログラムは、コンピュータに、入力信号を2階層の符号化情報で符号化する符号化方法を実行させるプログラムであって、前記入力信号を符号化して第1階層の符号化情報を生成する第1符号化手順と、前記第1階層の符号化情報を復号化して第1階層の復号化信号を生成する復号化手順と、前記入力信号と前記第1階層の復号化信号との差分である第1階層の差分信号を求める加算手順と、前記第1階層の差分信号を符号化して第2階層の符号化情報を生成する第2符号化手順と、前記第1符号化手順の符号化過程で生成される前記第1階層の符号化パラメータの量子化結果に基づいて、前記第2符号化手順の符号化過程で生成される全符号化パラメータに割り当てるビットの総数を変化させずに、前記第2階層の各符号化パラメータに割り当てるビットを調整する拡張レイヤ制御手順と、を具備する。
本発明によれば、スケーラブル符号化技術において、下位の階層の符号化結果を考慮し、下位の階層の符号化結果と上位の階層の符号化結果を組み合わせた上で最適な品質の音声信号となるように上位の階層の符号化方式を柔軟に切り替えることができるので、回線の輻輳状態に関係なく、ユーザに対し良質な音声信号を提供することが可能となる。
以下、本発明の実施の形態について、図面を用いて説明する。なお、以下の説明において、符号化および復号化は、CELP(Code-Excited Linear Prediction)方法を用いて、階層的に行われることとする。また、以下の説明では、基本レイヤと一つの拡張レイヤからなる二層のスケーラブル符号化技術を例に採る。ここで、各階層(以下、「レイヤ」という)は、下の方から、それぞれ、「基本レイヤ」、「第1の拡張レイヤ」、「第2の拡張レイヤ」、「第3の拡張レイヤ」、・・・といい、基本レイヤ以外のレイヤを「拡張レイヤ」という。
スケーラブル符号化技術は、階層化することによって、通信速度を表すビットレートが充分確保できるときには、全てのレイヤのデータを送信し、ビットレートが充分確保できなくなったときには、ビットレートに応じて下位のレイヤから所定のレイヤまでのデータを送信し、スケーラビリティを確保する技術である。
(実施の形態1)
図1は、本発明の実施の形態1に係る符号化装置および復号化装置を有する通信システムのブロック構成を示す図である。図1において、通信システムは、符号化装置101と復号化装置103とを備える。
符号化装置101は、入力信号と伝送モード情報を入力し、伝送モード情報に基づいて入力信号を符号化し、伝送路102を介して復号化装置103に符号化情報を送信する。復号化装置103は、伝送路102を介して符号化装置101から送信された符号化情報を受信して復号化し、復号化した伝送モード情報に基づいて出力信号を生成し、後工程の装置に出力する。ここで、伝送モード情報とは、符号化装置101が復号化装置103に伝送するビットレートを示し、BR1、BR2(BR1<BR2)のいずれかの値をとるものとする。
図2は、本実施の形態に係る符号化装置101の構成を示すブロック図である。符号化装置101は、図2に示すように、符号化動作制御部201と、基本レイヤ符号化部202と、基本レイヤ復号化部203と、加算部204と、拡張レイヤ制御部205と、拡張レイヤ符号化部206と、符号化情報統合部207と、制御スイッチ208、209と、から主に構成される。
符号化動作制御部201には、伝送モード情報が入力される。符号化動作制御部201は、入力した伝送モード情報に応じて、制御スイッチ208、209のオン/オフ制御を行う。具体的には、符号化動作制御部201は、伝送モード情報がBR2である場合、制御スイッチ208、209を全てオンにする。また、符号化動作制御部201は、伝送モード情報がBR1である場合、制御スイッチ208、209を全てオフにする。なお、伝送モード情報は、上記のように符号化動作制御部201に入力されるとともに、図2のように符号化動作制御部201経由か、あるいは符号化動作制御部201を経由せずに直接、符号化情報統合部207にも入力される。このように、符号化動作制御部201が伝送モード情報に応じて制御スイッチ群をオン/オフ制御することにより、入力信号の符号化に用いる符号化部の組み合わせが決定される。
基本レイヤ符号化部202は、音声信号等の入力信号に対してCELPタイプの音声符号化方法を用いて符号化を行って基本レイヤ情報源符号を生成し、生成した基本レイヤ情報源符号を符号化情報統合部207および制御スイッチ209に出力する。また、基本レイヤ符号化部202は、入力信号の音声符号化の際に算出されるパラメータであるLPC(線形予測係数)および量子化LPCを拡張レイヤ制御部205に出力する。なお、基本レイヤ符号化部202の内部構成の詳細については後述する。
基本レイヤ復号化部203は、制御スイッチ209がオンのとき、基本レイヤ符号化部202から出力された基本レイヤ情報源符号に対してCELPタイプの音声復号化方法を用いて復号化を行って基本レイヤ復号化信号を生成し、基本レイヤ復号化信号を加算器204に出力する。一方、基本レイヤ復号化部203は、制御スイッチ209がオフのときには何も動作しない。なお、基本レイヤ復号化部203の内部構成の詳細については後述する。
加算部204は、制御スイッチ208がオンのとき、基本レイヤ復号化信号の極性を反転させて入力信号と加算することにより差分信号を算出し、差分信号を拡張レイヤ符号化部206に出力する。一方、加算部204は、制御スイッチ208がオフのときには何も動作しない。
拡張レイヤ制御部205は、基本レイヤ符号化部202から出力されたLPCおよび量子化LPCに基づいて拡張レイヤモード情報を生成し、拡張レイヤモード情報を拡張レイヤ符号化部206および符号化情報統合部207に出力する。拡張レイヤモード情報とは、拡張レイヤにおける符号化モードを示す情報であり、復号化装置において拡張レイヤ情報源符号を復号化する際に利用される。なお、拡張レイヤ制御部205の内部構成の詳細については後述する。
拡張レイヤ符号化部206は、制御スイッチ208、209がオンのとき、拡張レイヤ制御部205の制御により、加算器204から得られる差分信号に対してCELPタイプの音声符号化方法を用いて符号化を行って拡張レイヤ情報源符号を生成し、拡張レイヤ情報源符号を符号化情報統合部207に出力する。一方、拡張レイヤ符号化部206は、制御スイッチ208、209がオフのときには何も動作しない。なお、拡張レイヤ制御部205による拡張レイヤ符号化部206の制御方法の詳細については後述する。
符号化情報統合部207は、基本レイヤ符号化部202および拡張レイヤ符号化部206から出力された情報源符号と、拡張レイヤ制御部205から出力された拡張レイヤモード情報と、符号化動作制御部201から出力された伝送モード情報と、を統合して符号化情報を生成し、生成した符号化情報を伝送路102に出力する。
次に、伝送前符号化情報のデータ構造(ビットストリーム)について図3を用いて説明する。伝送モード情報がBR1である場合、符号化情報は、図3Aに示すように、伝送モード情報、基本レイヤ情報源符号および冗長部によって構成される。伝送モード情報がBR2である場合、符号化情報は、図3Bに示すように、伝送モード情報、基本レイヤ情報源符号、拡張レイヤ情報源符号、拡張レイヤモード情報および冗長部によって構成される。ここで、図3中のデータ構造における冗長部とは、ビットストリーム中に用意される冗長的なデータ格納部であり、伝送誤り検出・訂正用のビットおよび、パケットの同期をとるためのカウンタ等に利用される。
次に、図2の基本レイヤ符号化部202の内部構成について図4を用いて説明する。前処理部401は、入力信号に対し、DC成分を取り除くハイパスフィルタ処理や後続する符号化処理の性能改善につながるような波形整形処理やプリエンファシス処理を行い、これらの処理後の信号(Xin)をLPC分析部402および加算部405に出力する。
LPC分析部402は、Xinを用いて線形予測分析を行い、分析結果であるLPCをLPC量子化部403および拡張レイヤ制御部205に出力する。LPC量子化部403は、LPC分析部402から出力されたLPCの量子化処理を行い、量子化LPCを合成フィルタ404および拡張レイヤ制御部205に出力するとともに量子化LPCを表す符号
(L)を多重化部414に出力する。合成フィルタ404は、量子化LPCに基づくフィルタ係数により、後述する加算部411から出力される駆動音源に対してフィルタ合成を行うことにより合成信号を生成し、合成信号を加算部405に出力する。加算部405は、合成信号の極性を反転させてXinに加算することにより誤差信号を算出し、誤差信号を聴覚重み付け部412に出力する。
適応音源符号帳406は、過去に加算部411によって出力された駆動音源をバッファに記憶しており、パラメータ決定部413から出力された信号により特定される過去の駆動音源から1フレーム分のサンプルを適応音源ベクトルとして切り出して乗算部409に出力する。量子化利得生成部407は、パラメータ決定部413から出力された信号によって特定される量子化適応音源利得と量子化固定音源利得とをそれぞれ乗算部409と乗算部410とに出力する。固定音源符号帳408は、パラメータ決定部413から出力された信号によって特定される形状を有するパルス音源ベクトルを選択し、そのパルス音源ベクトルを固定音源ベクトルとして乗算部410に出力する。なお、選択したパルス音源ベクトルに拡散ベクトルを乗算して固定音源ベクトルを生成し、その固定音源ベクトルを乗算部410に出力してもよい。
乗算部409は、量子化利得生成部407から出力された量子化適応音源利得を、適応音源符号帳406から出力された適応音源ベクトルに乗じて、加算部411に出力する。乗算部410は、量子化利得生成部407から出力された量子化固定音源利得を、固定音源符号帳408から出力された固定音源ベクトルに乗じて、加算部411に出力する。加算部411は、利得乗算後の適応音源ベクトルと固定音源ベクトルとをベクトル加算し、加算結果である駆動音源を合成フィルタ404および適応音源符号帳406に出力する。なお、適応音源符号帳406に入力された駆動音源は、バッファに記憶される。
聴覚重み付け部412は、加算部405から出力された誤差信号に対して聴覚的な重み付けをおこない符号化歪みとしてパラメータ決定部413に出力する。パラメータ決定部413は、聴覚重み付け部412から出力された符号化歪みを最小とする適応音源ベクトル、固定音源ベクトル及び量子化利得を、各々適応音源符号帳406、固定音源符号帳408及び量子化利得生成部407から選択し、選択結果を示す適応音源ベクトル符号(A)、固定音源ベクトル符号(F)及び音源利得符号(G)を多重化部414に出力する。
多重化部414は、LPC量子化部403から量子化LPCを表す符号(L)を入力し、パラメータ決定部413から適応音源ベクトルを表す符号(A)、固定音源ベクトルを表す符号(F)および量子化利得を表す符号(G)を入力し、これらの情報を多重化して基本レイヤ情報源符号として出力する。
次に、図2の基本レイヤ復号化部203の内部構成について図5を用いて説明する。多重化分離部501は、入力した基本レイヤ情報源符号を個々の符号(L、A、G、F)に分離する。LPC符号(L)はLPC復号化部502に出力され、適応音源ベクトル符号(A)は適応音源符号帳505に出力され、音源利得符号(G)は量子化利得生成部506に出力され、固定音源ベクトル符号(F)は固定音源符号帳507に出力される。
適応音源符号帳505は、多重化分離部501から出力された符号(A)で指定される過去の駆動音源から1フレーム分のサンプルを適応音源ベクトルとして取り出して乗算部508に出力する。量子化利得生成部506は、多重化分離部501から出力された音源利得符号(G)で指定される量子化適応音源利得と量子化固定音源利得を復号化し乗算部508及び乗算部509に出力する。固定音源符号帳507は、多重化分離部501から出力された符号(F)で指定される固定音源ベクトルを生成し、乗算部509に出力する。
乗算部508は、適応音源ベクトルに量子化適応音源利得を乗算して、加算部510に出力する。乗算部509は、固定音源ベクトルに量子化固定音源利得を乗算して、加算部510に出力する。加算部510は、乗算部508、509から出力された利得乗算後の適応音源ベクトルと固定音源ベクトルとの加算を行い駆動音源を生成し、これを合成フィルタ503及び適応音源符号帳505に出力する。
LPC復号化部502は、多重化分離部501から出力された符号(L)から量子化LPCを復号化し、合成フィルタ503に出力する。合成フィルタ503は、LPC復号化部502によって復号化されたフィルタ係数を用いて、加算部510から出力された駆動音源のフィルタ合成を行い、合成した信号を後処理部504に出力する。後処理部504は、合成フィルタ503から出力された信号に対して、ホルマント強調やピッチ強調といったような音声の主観的な品質を改善する処理や、定常雑音の主観的品質を改善する処理などを施し、基本レイヤ復号化信号として出力する。
次に、図2の拡張レイヤ制御部205の内部構成及び拡張レイヤ制御部205による拡張レイヤ符号化部206の制御方法について図6を用いて説明する。拡張レイヤ制御部205は、量子化歪み算出部601と、閾値比較部602と、拡張レイヤモード情報決定部603と、から主に構成される。
量子化歪み算出部601は、まず、以下の式(1)により、入力したLPCからLPCケプストラムを、量子化LPCから量子化LPCケプストラムをそれぞれ算出する。ここで、式(1)中のαは、基本レイヤ符号化部202から入力されるp次のLPC(あるいは量子化LPC)を表し、cは、LPCケプストラム(あるいは量子化LPCケプストラム)を表す。
Figure 0005058152
量子化歪み算出部601は、次に、以下の式(2)および式(3)により、上記式(1)で算出されたLPCケプストラムと量子化LPCケプストラムとの間の距離(LPCケプストラム距離(CD))を算出する。算出されたLPCケプストラム距離は、閾値比較部602に出力される。ここで、式(2)中のcはLPCケプストラムを表し、cは量子化LPCケプストラムを表す。
Figure 0005058152
Figure 0005058152
閾値比較部602は、量子化歪み算出部601から出力されたLPCケプストラム距離と、内部に保持する予め定められた閾値とを比較し、比較結果を拡張レイヤモード情報決定部603に出力する。なお、LPCが12次程度の場合には、閾値を1.0程度とするのが適当である。
拡張レイヤモード情報決定部603は、閾値比較部602から出力された比較結果に応じて拡張レイヤにおける符号化モードを決定し、符号化モードを示す拡張レイヤモード情報を拡張レイヤ符号化部206に出力する。具体的には、拡張レイヤモード情報決定部603は、LPCケプストラム距離が閾値よりも大きいという比較結果の場合、すなわち、LPCの量子化誤差が大きい場合には拡張レイヤの符号化モードをModeAにし、LPCケプストラム距離が閾値以下であるという比較結果の場合、すなわち、LPCの量子化誤差が小さい場合には拡張レイヤの符号化モードをModeBにする。
次に、図2の拡張レイヤ符号化部206の内部構成について図7を用いて説明する。前処理部701は、残差信号に対し、DC成分を取り除くハイパスフィルタ処理や後続する符号化処理の性能改善につながるような波形整形処理やプリエンファシス処理を行い、これらの処理後の信号(Xin)をLPC分析部702および加算部705に出力する。
LPC分析部702は、Xinを用いて線形予測分析を行い、分析結果であるLPCをLPC量子化部703に出力する。LPC量子化部703は、拡張レイヤ制御部205から出力される拡張レイヤモード情報を利用して、LPC分析部702から出力されたLPCの量子化処理を行い、量子化LPCを合成フィルタ704に出力するとともに量子化LPCを表す符号(L)を多重化部714に出力する。ここで、LPC量子化部703は、拡張レイヤモード情報に基づいて、LPCの量子化に用いる符号帳(LPC符号帳)を適宜切り替えるものとする。具体的には、LPC量子化部703は、拡張レイヤモード情報がModeAすなわちLPCの量子化誤差が大きい場合に予め備えられたLPC符号帳Aを利用した量子化を行い、拡張レイヤモード情報がModeBである場合すなわちLPCの量子化誤差が小さい場合に予め備えられたLPC符号帳Bを利用した量子化を行う。ここで、LPC符号帳Bは、LPC符号帳Aよりもサイズが小さい符号帳である。なお、本実施の形態では、LPC符号帳Bのサイズをゼロ、すなわち拡張レイヤにおいてはLPCを用いないとすることもできる。
合成フィルタ704は、量子化LPCに基づくフィルタ係数により、後述する加算部711から出力される駆動音源に対してフィルタ合成を行うことにより合成信号を生成し、合成信号を加算部705に出力する。加算部705は、合成信号の極性を反転させてXinに加算することにより誤差信号を算出し、誤差信号を聴覚重み付け部712に出力する。
適応音源符号帳706は、過去に加算部711によって出力された駆動音源をバッファに記憶しており、パラメータ決定部713から出力された信号により特定される過去の駆動音源から1フレーム分のサンプルを適応音源ベクトルとして切り出して乗算部709に出力する。量子化利得生成部707は、パラメータ決定部713から出力された信号によって特定される量子化適応音源利得と量子化固定音源利得とをそれぞれ乗算部709と乗算部710とに出力する。
固定音源符号帳群708は、複数の固定音源符号帳を備え、拡張レイヤ制御部205から出力される拡張レイヤモード情報に応じて一つの固定音源符号帳を選択する。具体的には、固定音源符号帳群708は、拡張レイヤモード情報がModeAすなわちLPCの量子化誤差が大きい場合に固定音源符号帳Aを選択し、拡張レイヤモード情報がModeBである場合すなわちLPCの量子化誤差が小さい場合に固定音源符号帳Aのサイズよりも
大きい固定音源符号帳Bを選択する。ここで、各フレームにおける固定音源符号帳Bと固定音源符号帳Aのサイズ差(ビット差)が、LPC符号帳AとLPC符号帳Bのサイズ差(ビット差)と同じである場合、符号化に利用されるビットレートは等しくなる。例えば、LPC符号は1フレーム単位に算出し、固定音源符号は1/4フレーム毎に算出する符号化方式において、LPC符号帳Aのサイズが256、LPC符号帳Bのサイズが16、固定音源符号帳Aのサイズが16、固定音源符号帳Bのサイズが32という場合がその例に該当する。
そして、固定音源符号帳群708は、選択した固定音源符号帳に保存された複数のパルス音源ベクトルの中から、パラメータ決定部713から出力された信号によって特定される形状を有するパルス音源ベクトルを選択し、そのパルス音源ベクトルを固定音源ベクトルとして乗算部710に出力する。なお、選択したパルス音源ベクトルに拡散ベクトルを乗算して固定音源ベクトルを生成し、その固定音源ベクトルを乗算部710に出力してもよい。
乗算部709は、量子化利得生成部707から出力された量子化適応音源利得を、適応音源符号帳706から出力された適応音源ベクトルに乗じて、加算部711に出力する。乗算部710は、量子化利得生成部707から出力された量子化固定音源利得を、固定音源符号帳群708から出力された固定音源ベクトルに乗じて、加算部711に出力する。加算部711は、利得乗算後の適応音源ベクトルと固定音源ベクトルとをベクトル加算し、加算結果である駆動音源を合成フィルタ704および適応音源符号帳706に出力する。なお、適応音源符号帳706に入力された駆動音源は、バッファに記憶される。
聴覚重み付け部712は、加算部705から出力された誤差信号に対して聴覚的な重み付けをおこない符号化歪みとしてパラメータ決定部713に出力する。パラメータ決定部713は、聴覚重み付け部712から出力された符号化歪みを最小とする適応音源ベクトル、固定音源ベクトル及び量子化利得を、各々適応音源符号帳706、固定音源符号帳群708及び量子化利得生成部707から選択し、選択結果を示す適応音源ベクトル符号(A)、固定音源ベクトル符号(F)及び音源利得符号(G)を多重化部714に出力する。
多重化部714は、LPC量子化部703から量子化LPCを表す符号(L)を入力し、パラメータ決定部713から適応音源ベクトルを表す符号(A)、固定音源ベクトルを表す符号(F)および量子化利得を表す符号(G)を入力し、これらの情報を多重化して拡張レイヤ情報源符号として出力する。
次に、図1の復号化装置103の構成について図8を用いて説明する。復号化装置103は、復号化動作制御部801と、基本レイヤ復号化部802と、拡張レイヤ復号化部803と、制御スイッチ805と、加算部804と、から主に構成される。
復号化動作制御部801は、符号化装置101から伝送路102を介して伝送される符号化情報を入力する。復号化動作制御部801は、符号化情報を、伝送モード情報、拡張レイヤモード情報および各レイヤの情報源符号に分離し、伝送モード情報に応じて制御スイッチ805のオン/オフ状態を制御する。また、復号化動作制御部801は、基本レイヤ復号化部802、拡張レイヤ復号化部803に、それぞれ各レイヤに対応する情報源符号および拡張レイヤモード情報を出力する。具体的には、復号化動作制御部801は、伝送モード情報がBR2である場合は、制御スイッチ805をオン状態にし、基本レイヤ情報源符号を基本レイヤ復号化部802に、拡張レイヤモード情報および拡張レイヤ情報源符号を拡張レイヤ復号化部803に、それぞれ出力する。また、復号化動作制御部801は、伝送モード情報がBR1である場合は、制御スイッチ805をオフ状態にし、基本レ
イヤ情報源符号を基本レイヤ復号化部802に出力する。またこの時、復号化動作制御部801は、拡張レイヤ復号化部803には何も出力しない。
基本レイヤ復号化部802は、復号化動作制御部801から基本レイヤ情報源符号を入力し、これをCELPタイプの音声復号化方法により復号化し、復号化信号を基本レイヤ復号化信号として加算部804に出力する。なお、図8の基本レイヤ復号化部802の内部構成は、図5に示した基本レイヤ復号化部203の内部構成と同一である。
拡張レイヤ復号化部803は、制御スイッチ805がオン状態である場合、復号化動作制御部801から拡張レイヤモード情報および拡張レイヤ情報源符号を入力し、拡張レイヤモード情報に応じて拡張レイヤ情報源符号をCELPタイプの音声復号化方法により復号化し、復号化信号を拡張レイヤ復号化信号として加算部804に出力する。一方、拡張レイヤ復号化部803は、制御スイッチ805がオフ状態である場合、何も動作しない。なお、拡張レイヤ復号化部803の構成については後述する。
加算部804は、制御スイッチ805がオン状態である場合は、基本レイヤ復号化部802から基本レイヤ復号化信号を入力し、また拡張レイヤ復号化部803から拡張レイヤ復号化信号を入力し、これらの信号を加算した後、これを出力信号として後工程の装置に出力する。一方、加算部804は、制御スイッチ805がオフ状態である場合は、基本レイヤ復号化部802から基本レイヤ復号化信号を入力し、これを出力信号として後工程の装置に出力する。
次に、図8の拡張レイヤ復号化部803の内部構成について図9を用いて説明する。図9において、多重化分離部901は、復号化動作制御部801から出力された拡張レイヤ情報源符号を個々の符号(L、A、G、F)に分離する。LPC符号(L)はLPC復号化部902に出力され、適応音源ベクトル符号(A)は適応音源符号帳905に出力され、音源利得符号(G)は量子化利得生成部906に出力され、固定音源ベクトル符号(F)は固定音源符号帳群907に出力される。
LPC復号化部902は、復号化動作制御部801から出力された拡張レイヤモード情報を用いて、多重化分離部901から出力された符号(L)から量子化LPCを復号化し、合成フィルタ903に出力する。ここで、LPC復号化部902は、拡張レイヤモード情報に基づいて、LPCの復号化に用いる符号帳(LPC符号帳)を適宜切り替える。具体的には、LPC復号化部902は、拡張レイヤモード情報がModeAである場合には、予め備えられたLPC符号帳Aを利用した復号化を行い、拡張レイヤモード情報がModeBである場合には、予め備えられたLPC符号帳Bを利用した復号化を行う。ここで、LPC符号帳Bは、LPC符号帳Aよりもサイズが小さい符号帳である。なお、本実施の形態では、LPC符号帳Bのサイズをゼロ、すなわち拡張レイヤにおいてはLPCを用いないとすることもできる。
適応音源符号帳905は、多重化分離部901から出力された符号(A)で指定される過去の駆動音源から1フレーム分のサンプルを適応音源ベクトルとして取り出して乗算部908に出力する。量子化利得生成部906は、多重化分離部901から出力された音源利得符号(G)で指定される量子化適応音源利得と量子化固定音源利得を復号化し乗算部908及び乗算部909に出力する。
固定音源符号帳群907は、複数の固定音源符号帳を備え、復号化動作制御部801から出力される拡張レイヤモード情報に応じて一つの固定音源符号帳を選択する。具体的には、固定音源符号帳群907は、拡張レイヤモード情報がModeAである場合に固定音源符号帳Aを選択し、拡張レイヤモード情報がModeBである場合に固定音源符号帳B
を選択する。そして、固定音源符号帳群907は、選択した固定音源符号帳に保存された複数のパルス音源ベクトルの中から、多重化分離部901から出力された符号(F)で指定されるパルス音源ベクトルを選択し、そのパルス音源ベクトルを固定音源ベクトルとして乗算部909に出力する。なお、選択したパルス音源ベクトルに拡散ベクトルを乗算して固定音源ベクトルを生成し、その固定音源ベクトルを乗算部909に出力してもよい。
乗算部908は、適応音源ベクトルに量子化適応音源利得を乗算して、加算部910に出力する。乗算部909は、固定音源ベクトルに量子化固定音源利得を乗算して、加算部910に出力する。加算部910は、乗算部908、909から出力された利得乗算後の適応音源ベクトルと固定音源ベクトルとをベクトル加算し、加算結果である駆動音源を合成フィルタ903及び適応音源符号帳905に出力する。
合成フィルタ903は、LPC復号化部902によって復号化されたフィルタ係数を用いて、加算部910から出力された駆動音源のフィルタ合成を行い、合成した信号を後処理部904に出力する。後処理部904は、合成フィルタから出力された信号に対して、ホルマント強調やピッチ強調といったような音声の主観的な品質を改善する処理や、定常雑音の主観的品質を改善する処理などを施し、拡張レイヤ復号化信号として出力する。
以上説明したように、本実施の形態によれば、スケーラブル符号化技術を用いて符号化を行う符号化装置において、下位の階層の符号化結果に基づいて、LPC、固定音源符号などのパラメータ間でのビットアロケーションを変更する等の上位の階層における符号化方法を柔軟に変更することができるので、下位の階層の符号化結果と組み合わせた場合により良質な音声信号をユーザに提供する通信システムを実現することができる。
なお、本実施の形態では、符号化装置において、下位の階層のLPCの歪み(LPCケプストラム距離)を利用して、上位の階層の符号化時に、サイズの小さいLPC符号帳を用いることによりLPCに割り当てるビット数を減らすとともに、サイズの大きい固定音源符号帳を用いることにより固定音源符号に割り当てるビットを増やすという場合を例に挙げて説明したが、本発明はこれに限らず、上位の階層の符号化時に、サイズの大きいLPC符号帳とサイズの小さい固定音源符号帳を用いる場合についても同様に適用される。
また、本実施の形態では、符号化装置において、下位の階層のLPCの量子化誤差に基づいて上位の階層における符号化モードを制御する場合を例に挙げて説明したが、本発明はこれに限らず、下位の階層の他のパラメータに基づいて上位の階層における符号化モードを制御することもできる。以下、例として、下位の階層の合成音のSNR(信号対雑音比)に基づいて上位の階層における符号化モードを制御する場合について説明する。この場合、基本レイヤ符号化部202内の合成フィルタ404において、LPC量子化部403から出力されるLPC量子化係数と、適応音源符号帳406から出力される適応音源符号に利得を乗じた値とから合成される合成音のSNRを算出し、これを拡張レイヤ制御部205内の閾値比較部602に出力する。閾値比較部602は、入力されたSNRと、内部に予め格納された閾値とを比較し、比較結果を拡張レイヤモード情報決定部603に出力する。拡張レイヤモード情報決定部603は、閾値比較部602から出力された比較結果に応じて拡張レイヤモード情報を決定し、これを拡張レイヤ符号化部206に出力する。具体的には、拡張レイヤモード情報決定部603は、基本レイヤ符号化部202から出力されるSNRが閾値よりも大きい場合には、拡張レイヤモードをModeAにし、基本レイヤ符号化部202から出力されるSNRが閾値以下である場合には拡張レイヤモードをModeBにする。
また、上述したLPCケプストラム距離を用いた拡張レイヤ制御方法、及び利得を乗じた適応音源符号とLPC係数から合成される合成音のSNRを用いた拡張レイヤ制御方法
を組合せることにより、上位の階層での符号化において、LPC、適応音源符号、固定音源符号という3つのパラメータ間でのビット調整も可能である。
(実施の形態2)
上記実施の形態1では、下位レイヤ、上位レイヤ共にCELPタイプの符号化方法を用いるスケーラブル符号化方式について説明したが、本発明はこれに限らず、上位レイヤにおいてCELPタイプ以外の符号化方法を用いるスケーラブル符号化方式においても同様に適用できる。実施の形態2では、下位レイヤにてCELPタイプの符号化を行い、上位レイヤでは変換符号化を行う場合のスケーラブル符号化方式に本発明を適用する場合について説明する。本実施の形態に係る符号化装置および復号化装置を有する通信システムは、図1と同一であるので説明を省略する。
図10は、本実施の形態に係る符号化装置101の構成を示すブロック図である。符号化装置101は、図10に示すように符号化動作制御部1001と、基本レイヤ符号化部1002と、拡張レイヤ制御部1003と、基本レイヤ復号化部1004と、第1周波数領域変換部1005と、遅延部1006と、第2周波数領域変換部1007と、拡張レイヤ符号化部1008と、多重化部1009と、から主に構成される。
符号化動作制御部1001には、伝送モード情報が入力される。符号化動作制御部1001は、入力した伝送モード情報に応じて、制御スイッチ1010〜1012のオン/オフ制御を行う。具体的には、符号化動作制御部1001は、伝送モード情報がBR2である場合、制御スイッチ1010〜1012を全てオンにする。また、符号化動作制御部1001は、伝送モード情報がBR1である場合、制御スイッチ1010〜1012を全てオフにする。なお、伝送モード情報は、上記のように符号化動作制御部1001に入力されるとともに、図10のように符号化動作制御部1001経由か、あるいは符号化動作制御部1001を経由せずに直接、多重化部1009にも入力される。このように、符号化動作制御部1001が伝送モード情報に応じて制御スイッチ群をオン/オフ制御することにより、入力信号の符号化に用いる符号化部の組み合わせが決定される。
基本レイヤ符号化部1002は、音声信号等の入力信号に対してCELPタイプの音声符号化方法を用いて符号化を行って基本レイヤ情報源符号を生成し、生成した基本レイヤ符号化情報を多重化部1009および制御スイッチ1012に出力する。また、基本レイヤ符号化部1002は、入力信号の音声符号化の際に算出されるパラメータであるLPC(線形予測係数)および量子化LPCを制御スイッチ1011に出力する。なお、基本レイヤ符号化部1002の内部構成は、図4に示した基本レイヤ符号化部202のものと同一であるので、その説明は省略する。
拡張レイヤ制御部1003は、制御スイッチ1011がオンのとき、基本レイヤ符号化部1002から出力されたLPCおよび量子化LPCに基づいて拡張レイヤモード情報を生成し、拡張レイヤモード情報を拡張レイヤ符号化部1008および多重化部1009に出力する。拡張レイヤモード情報とは、拡張レイヤにおける符号化モードを示す情報であり、復号化装置において拡張レイヤ符号化情報を復号化する際に利用される。なお、拡張レイヤ制御部1003の内部構成の詳細については後述する。また、拡張レイヤ制御部1003は、制御スイッチ1011がオフの時には何も動作しない。
基本レイヤ復号化部1004は、制御スイッチ1012がオンのとき、基本レイヤ符号化部1002から出力された基本レイヤ符号化情報に対してCELPタイプの音声復号化方法を用いて復号化を行って基本レイヤ復号化信号を生成し、基本レイヤ復号化信号を第1周波数領域変換部1005に出力する。一方、基本レイヤ復号化部1004は、制御スイッチ1012がオフのときには何も動作しない。なお、基本レイヤ復号化部1004の
内部構成は、図5の基本レイヤ復号化部203のものと同一であるので、その説明は省略する。
第1周波数領域変換部1005は、基本レイヤ復号化部1004から入力される基本レイヤ復号化信号に対して修正離散コサイン変換(MDCT)を行い、周波数領域のパラメータとして得られる基本レイヤ復号化MDCT係数を拡張レイヤ符号化部1008に出力する。
第1周波数領域変換部1005は、N個のバッファを内蔵し、まず、下記の式(4)に従い、「0」値を用いて各バッファを初期化する。なお、式(4)において、bufn(n=0、…、N−1)は第1周波数領域変換部1005が内蔵しているN個のバッファの中のn+1番目を示す。
Figure 0005058152
次いで、第1周波数領域変換部1005は、下記の式(5)に従い、基本レイヤ復号化信号x1n を修正離散コサイン変換して基本レイヤ復号化MDCT係数X1k を求める。式(5)において、kは1フレームにおける各サンプルのインデックスを示す。なお、x1’nは、下記の式(6)に従い、基本レイヤ復号化信号x1n とバッファbufn とを結合させたベクトルである。
Figure 0005058152
Figure 0005058152
次いで、第1周波数領域変換部1005は、下記の式(7)に示すようにバッファbufn(n=0、…、N−1)を更新する。
Figure 0005058152
次いで、第1周波数領域変換部1005は、求められた基本レイヤ復号化MDCT係数X1kを拡張レイヤ符号化部1008に出力する。
遅延部1006は、制御スイッチ1010がオンのとき、入力される音声・オーディオ信号を内蔵のバッファに記憶し、所定時間経過後に音声・オーディオ信号を第2周波数領域変換部1007に出力する。ここで、所定時間は、基本レイヤ符号化部1002、基本レイヤ復号化部1004、第1周波数領域変換部1005、および第2周波数領域変換部1007において生じるアルゴリズム遅延を考慮した時間である。また、遅延部1006は、制御スイッチ1010がオフの時には何も動作しない。
第2周波数領域変換部1007は、制御スイッチ1010がオンのとき、遅延部1006から入力される音声・オーディオ信号に対してMDCTを行い、周波数領域のパラメー
タとして得られる入力MDCT係数を拡張レイヤ符号化部1008に出力する。ここで、第2周波数領域変換部1007における周波数変換方法は、第1周波数領域変換部1005における処理と同様であるため説明を省略する。また、第2周波数領域変換部1007は、制御スイッチ1010がオフの時には何も動作しない。
拡張レイヤ符号化部1008は、制御スイッチ1010、1011、1012がオンのとき、拡張レイヤ制御部1003から入力される拡張レイヤモード情報と、第1周波数領域変換部1005から入力される基本レイヤ復号化MDCT係数および第2周波数領域変換部1007から入力される入力MDCT係数とを用いて拡張レイヤ符号化を行い、得られる拡張レイヤ符号化情報を多重化部1009に出力する。拡張レイヤ符号化部1008の内部の構成および具体的な動作については後述する。また、拡張レイヤ符号化部1008は、制御スイッチ1010、1011、1012がオフの時には何も動作しない。
多重化部1009は、基本レイヤ符号化部1002から入力される基本レイヤ符号化情報、拡張レイヤ制御部1003から入力される拡張レイヤモード情報、拡張レイヤ符号化部1008から入力される拡張レイヤ符号化情報、及び符号化動作制御部1001から入力される伝送モード情報を多重化し、得られるビットストリームを復号化装置に送信する。
なお、伝送前符号化情報のデータ構造(ビットストリーム)については、実施の形態1で説明したものと同様であるため、ここでは説明を省略する。
次に、図10の拡張レイヤ制御部1003の内部構成について図11を用いて説明する。拡張レイヤ制御部1003は、量子化歪み算出部1101と、拡張レイヤモード情報決定部1102と、から主に構成される。
量子化歪み算出部1101は、まず上記式(1)により、入力したLPCからLPCケプストラムを、量子化LPCから量子化LPCケプストラムをそれぞれ算出し、次に、上記式(2)及び式(3)により、式(1)で算出されたLPCケプストラムと量子化LPCケプストラムとの間の距離(LPCケプストラム距離(CD))を算出し、算出したLPCケプストラム距離を拡張レイヤモード情報決定部1102に出力する。
拡張レイヤモード情報決定部1102は、量子化歪み算出部1101から出力されたLPCケプストラム距離と、内部に保持する予め定められた閾値とを比較し、その比較結果に応じて拡張レイヤにおける符号化モードを決定し、符号化モードを示す拡張レイヤモード情報を拡張レイヤ符号化部1008に出力する。具体的には、拡張レイヤモード情報決定部1102は、LPCケプストラム距離が閾値よりも大きいという比較結果の場合、すなわち、LPCの量子化誤差が大きい場合には拡張レイヤの符号化モードをModeAにし、LPCケプストラム距離が閾値以下であるという比較結果の場合、すなわち、LPCの量子化誤差が小さい場合には拡張レイヤの符号化モードをModeBにする。なお、LPCが12次程度の場合には、閾値を1.0程度とするのが適当である。
次に、図10の拡張レイヤ符号化部1008の内部構成について図12を用いて説明する。拡張レイヤ符号化部1008は、残差MDCT係数算出部1201と、帯域選択部1202と、シェイプ量子化部1203と、ゲイン量子化部1204と、多重化部1205と、から主に構成される。
残差MDCT係数算出部1201は、第1周波数領域変換部1005から入力される基本レイヤ復号化MDCT係数X1kと第2周波数領域変換部1007から入力される入力MDCT係数Xkとの残差を求め、残差MDCT係数X2kとして帯域選択部1202に出
力する。
帯域選択部1202は、まず、残差MDCT係数を複数のサブバンドに分割する。ここでは、J(Jは自然数)個のサブバンドに均等に分割する場合を例に説明する。帯域選択部1202は、J個のサブバンドの中で連続するL(Lは自然数)個のサブバンドを選択し、M(Mは自然数)種類のサブバンドのグループを得る。以下、このM種類のサブバンドのグループをリージョンと呼ぶ。
次いで、帯域選択部1202は、下記の式(8)に従い、M種類の各リージョンの平均エネルギE(m)を算出する。
Figure 0005058152
この式において、jはJ個の各サブバンドのインデックスを示し、mは、M種類の各リージョンのインデックスを示す。なお、S(m)は、リージョンmを構成するL個のサブバンドのインデックスのうちの最小値を示し、B(j)は、サブバンドjを構成する複数のMDCT係数のインデックスのうちの最小値を示す。W(j)は、サブバンドjのバンド幅を示し、以下の説明では、J個の各サブバンドのバンド幅が全て等しい場合、すなわちW(j)が定数である場合を例にとって説明する。
次いで、帯域選択部1202は、平均エネルギE(m)が最大となるリージョン、例えばサブバンドj”〜j”+L−1からなる帯域を量子化対象となる帯域(量子化対象帯域)として選択し、このリージョンを示すインデックスm_maxを帯域情報としてシェイプ量子化部1203、ゲイン量子化部1204、および多重化部1205に出力する。また、帯域選択部1202は、残差MDCT係数をシェイプ量子化部1203に出力する。なお、残差MDCT係数は、上記のように帯域選択部1202に入力されるとともに、図12のように、帯域選択部1202経由か、あるいは帯域選択部1202を経由せずに直接、シェイプ量子化部1203にも入力される。
シェイプ量子化部1203は、帯域選択部1202から入力される帯域情報m_maxが示す帯域に対応する残差MCDT係数に対して、拡張レイヤ制御部1003から入力される拡張レイヤモード情報を利用して、サブバンド毎にシェイプ量子化を行う。具体的には、シェイプ量子化部1203は、拡張レイヤモード情報がModeAの場合には、L個の各サブバンド毎に、SQA個のシェイプコードベクトルからなる内蔵のシェイプコードブックを探索して下記の式(9)の結果が最大となるシェイプコードベクトルのインデックスを求める。
Figure 0005058152
この式(9)において、SCはシェイプコードブックを構成するシェイプコードベクトルkを示し、iはシェイプコードベクトルのインデックスを示し、kはシェイプコードベクトルの要素のインデックスを示す。
また、シェイプ量子化部1203は、拡張レイヤモード情報がModeBの場合には、L個の各サブバンド毎に、SQB(SQB<SQA)個のシェイプコードベクトルからなる内蔵のシェイプコードブックを探索して下記の式(10)の結果が最大となるシェイプコードベクトルのインデックスを求める。
Figure 0005058152
シェイプ量子化部1203は、上記の式(9)あるいは式(10)の結果が最大となるシェイプコードベクトルのインデックスS_maxをシェイプ符号化情報として多重化部1205に出力する。また、シェイプ量子化部1203は、下記の式(11)に従い、理想ゲイン値Gain_i(j)を算出してゲイン量子化部1204に出力する。
Figure 0005058152
ゲイン量子化部1204は、シェイプ量子化部1203から入力される理想ゲイン値Gain_i(j)に対して、拡張レイヤ制御部1003から入力される拡張レイヤモード情報を利用して、ゲイン値のベクトル量子化を行う。具体的には、ゲイン量子化部1204は、拡張レイヤモード情報がModeAの場合には、理想ゲイン値をL次元ベクトルとして扱い、GQA個のゲインコードベクトルからなる内蔵のゲインコードブックを探索して下記の式(12)を最小にするコードブックのインデックスを求める。なお、上記の式(12)を最小にするコードブックのインデックスをG_minと記す。
Figure 0005058152
また、ゲイン量子化部1204は、拡張レイヤモード情報がModeBの場合には、理想ゲイン値をL次元ベクトルとして扱い、GQB(CQB<CQA)個のゲインコードベクトルからなる内蔵のゲインコードブックを探索して下記の式(13)を最小にするコードブックのインデックスを求める。
Figure 0005058152
ゲイン量子化部1204は、式(12)あるいは式(13)の結果が最小となるゲインコードベクトルのインデックスG_minをゲイン符号化情報として多重化部1205に出力する。
多重化部1205は、帯域選択部1202から入力される帯域情報m_max、シェイプ量子化部1203から入力されるシェイプ符号化情報S_max、ゲイン量子化部1204から入力されるゲイン符号化情報G_minを多重化し、得られるビットストリームを拡張レイヤ符号化情報として多重化部1009に出力する。なお、これら情報を、多重化部1205で多重化せず、多重化部1009に直接入力して、多重化部1009で多重化してもよい。
図13は、本実施の形態に係る復号化装置103の主要な構成を示すブロック図である。図13において、復号化装置103は、分離部1301と、基本レイヤ復号化部1302と、周波数領域変換部1303と、復号化動作制御部1304と、拡張レイヤ復号化部1305と、時間領域変換部1306と、から主に構成される。
分離部1301は、符号化装置101から伝送されるビットストリームから基本レイヤ符号化情報、拡張レイヤ符号化情報、伝送モード情報、及び拡張レイヤモード情報を分離し、基本レイヤ符号化情報を基本レイヤ復号化部1302に出力し、拡張レイヤモード情報及び拡張レイヤ符号化情報を拡張レイヤ復号化部1305に出力し、伝送モード情報を復号化動作制御部1304に出力する。
基本レイヤ復号化部1302は、分離部1301から出力された基本レイヤ符号化情報に対してCELPタイプの音声復号化方法を用いて復号化を行って基本レイヤ復号化信号を生成し、基本レイヤ復号化信号を周波数領域変換部1303及び制御スイッチ1307に出力する。なお、基本レイヤ復号化部1302の内部構成は、図5の基本レイヤ復号化部203のものと同一であるので、その説明は省略する。
周波数領域変換部1303は、基本レイヤ復号化部1302から入力される基本レイヤ復号化信号に対して修正離散コサイン変換(MDCT)を行い、周波数領域のパラメータとして得られる基本レイヤ復号化MDCT係数を拡張レイヤ復号化部1305に出力する。
復号化動作制御部1304は、分離部1301から入力される伝送モード情報に応じて制御スイッチ1307のオン/オフの動作と、周波数領域変換部1303、拡張レイヤ復号化部1305、時間領域変換部1306の動作を制御する。具体的には、伝送モード情報がBR2であった場合、復号化動作制御部1304は、周波数領域変換部1303、拡張レイヤ復号化部1305、時間領域変換部1306の動作をオン状態にし、また制御スイッチ1307を時間領域変換部1306側に接続する。また、伝送モード情報がBR1であった場合、復号化動作制御部1304は、周波数領域変換部1303、拡張レイヤ復号化部1305、時間領域変換部1306の動作をオフ状態にし、また制御スイッチ1307を基本レイヤ復号化部1302側に接続する。このように、復号化動作制御部1304が伝送モード情報に応じて制御スイッチ、及び処理ブロックをオン/オフ制御することにより、符号化情報の復号化に用いる符号化部の組み合わせが決定される。
拡張レイヤ復号化部1305は、分離部1301から拡張レイヤ符号化情報及び拡張レイヤモード情報が入力され、また周波数領域変換部1303から基本レイヤ復号化MDCT係数X”1kが入力される。拡張レイヤ復号化部1305は、復号化動作制御部1304によりオン状態に制御されているとき、入力された情報から、加算MDCT係数X”kを算出し、これを時間領域変換部1306に出力する。拡張レイヤ復号化部1305は、復号化動作制御部1304によりオフ状態に制御されているときは何も動作しない。拡張レイヤ復号化部1305の処理の詳細については、後述する。
時間領域変換部1306は、復号化動作制御部1304によりオン状態に制御されているとき、拡張レイヤ復号部1305から入力される加算MDCT係数X”kに対してIMDCTを行い、時間領域成分として得られる復号化信号を制御スイッチ1307に出力する。時間領域変換部1306は、復号化動作制御部1304によりオフ状態に制御されているときは何も動作しない。
以下、時間領域変換部1306がオン状態に制御されているときの処理を説明する。時間領域変換部1306は、バッファbuf´kを内部に有し、式(14)により初期化される。
Figure 0005058152
時間領域変換部1306は、拡張レイヤ復号化部1305から入力される加算レイヤ復号MDCT係数X”kを用いて、下記の式(15)に従い拡張レイヤ復号化信号Yを求める。この式(15)において、X’kは、復号MDCT係数X” とバッファbuf´k とを結合させたベクトルであり、下記の式(16)を用いて求められる。
Figure 0005058152
Figure 0005058152
次いで、時間領域変換部1306は、下記の式(17)に従いバッファbuf´k を更新する。
Figure 0005058152
時間領域変換部1306は、求められる拡張レイヤ復号化信号Yを制御スイッチ1307に出力する。
制御スイッチ1307は、復号化動作制御部1304の制御に基づいて、基本レイヤ復号化部1302から出力された基本レイヤ復号化信号あるいは時間領域変換部1306から出力された拡張レイヤ復号化信号を出力信号として出力する。
図14は、拡張レイヤ復号化部1305の内部構成を示す図である。拡張レイヤ復号化部1305は、分離部1401と、シェイプ逆量子化部1402と、ゲイン逆量子化部1403と、加算MDCT係数算出部1404と、から主に構成される。
分離部1401は、分離部1301から入力される拡張レイヤ符号化情報から帯域情報、シェイプ符号化情報、及びゲイン符号化情報を分離し、帯域情報及びシェイプ符号化情報をシェイプ逆量子化部1402に、ゲイン符号化情報をゲイン逆量子化部1403に出
力する。なお、分離部1401を設けずに、分離部1301でこれら情報を分離して、これら情報を直接、シェイプ逆量子化部1402、ゲイン逆量子化部1403に入力してもよい。
シェイプ逆量子化部1402は、シェイプ量子化部1203が備えるシェイプコードブックと同様なシェイプコードブックを内蔵し、分離部1401から入力されるシェイプ符号化情報S_maxをインデックスとするシェイプコードベクトルを探索する。この時、シェイプ逆量子化部1402は、分離部1401から入力される拡張レイヤモード情報がModeAの時には、SQA個のシェイプコードベクトルからなる内蔵のシェイプコードブックを探索し、探索されたコードベクトルを分離部1401から入力される帯域情報m_maxが示す量子化対象帯域のMDCT係数のシェイプの値としてゲイン逆量子化部1403に出力する。また、シェイプ逆量子化部1402は、分離部1401から入力される拡張レイヤモード情報がModeBの時には、SQB個のシェイプコードベクトルからなる内蔵のシェイプコードブックを探索し、探索されたコードベクトルを、分離部1401から入力される帯域情報m_maxが示す量子化対象帯域のMDCT係数のシェイプの値としてゲイン逆量子化部1403に出力する。ここでは、シェイプの値として探索されたシェイプコードベクトルをShape_q(k)(k=B(j”),…,B(j”+L)−1)と記す。
ゲイン逆量子化部1403は、ゲイン量子化部1204と同様なゲインコードブックを内蔵しており、下記の式(18)に従いゲインの値を逆量子化する。ここでは、ゲイン値をL次元ベクトルとして扱い、ベクトル逆量子化を行う。このとき、ゲイン逆量子化部1403は、分離部1401から入力される拡張レイヤモード情報がModeAの時には、GQA個のゲインコードベクトルからなる内蔵のゲインコードブックを探索し、ゲインの逆量子化を行う。また、ゲイン逆量子化部1403は、分離部1401から入力される拡張レイヤモード情報がModeBの時には、GQB個のゲインコードベクトルからなる内蔵のゲインコードブックを探索し、ゲインの逆量子化を行う。
Figure 0005058152
次いで、ゲイン逆量子化部1403は、逆量子化で得られるゲイン値、およびシェイプ逆量子化部1402から入力されるシェイプの値を用いて、下記の式(19)に従い拡張レイヤMDCT係数を算出する。ここでは、算出された復号MDCT係数をX”kと記す。
Figure 0005058152
ゲイン逆量子化部1403は、上記の式(19)に従い算出された拡張レイヤMDCT係数X”2kを加算MDCT係数算出部1404に出力する。
加算MDCT係数算出部1404は、周波数領域変換部1303から入力される基本レイヤ復号MDCT係数X”1kと、ゲイン逆量子化部1403から入力される拡張レイヤ復号MDCT係数X”2kとを加算し、得られる加算結果を加算MDCT係数X” kとして時間領域変換部1306に出力する。
以上説明したように、本実施の形態によれば、下位レイヤでCELPタイプの符号化方
法を用い、上位レイヤでは変換符号化方法を用いる場合のスケーラブル符号化方式において、下位レイヤの符号化結果に応じて上位レイヤの符号化方法(ビットアロケーション)を切り替えることにより、良好な品質の出力信号を提供することができる。
また、本実施の形態では、符号化装置において、下位の階層のLPCの量子化誤差に基づいて上位の階層における符号化モードを制御する場合を例に挙げて説明したが、本発明はこれに限らず、下位の階層の他のパラメータに基づいて上位の階層における符号化モードを制御することもできる。以下、例として、下位の階層の合成音のSNR(信号対雑音比)に基づいて上位の階層における符号化モードを制御する場合について説明する。この場合、基本レイヤ符号化部1002内の合成フィルタ404において、LPC量子化部403から出力されるLPC量子化係数と、適応音源符号帳406から出力される適応音源符号に利得を乗じた値とから合成される合成音のSNRを算出し、これを拡張レイヤ制御部1003内の拡張レイヤモード情報決定部1102に出力する。拡張レイヤモード情報決定部1102は、入力されたSNRと、内部に予め格納された閾値とを比較し、比較結果に応じて拡張レイヤモード情報を決定し、これを拡張レイヤ符号化部1008に出力する。具体的には、拡張レイヤモード情報決定部1102は、基本レイヤ符号化部1002から出力されるSNRが閾値よりも大きい場合には、拡張レイヤモードをModeAにし、基本レイヤ符号化部1002から出力されるSNRが閾値以下である場合には拡張レイヤモードをModeBにする。
また、拡張レイヤモードの決定方法は、逆でも構わない。つまり、基本レイヤ符号化部1002から出力されるSNRが閾値よりも大きい場合には、拡張レイヤモードをModeBにし、基本レイヤ符号化部1002から出力されるSNRが閾値以下である場合には拡張レイヤモードをModeAにしてもよい。
なお、本実施の形態では、符号化装置において、下位レイヤでCELPタイプの符号化を行い、上位レイヤで変換符号化を行う場合について説明したが、本発明はこれに限らず、上位レイヤにおいてLPCパラメータを量子化し、さらに音源成分について変換符号化を行う場合に対しても同様に適用できる。具体的には、下位レイヤのCDの大きさに応じて、上位レイヤのLPCパラメータに割り当てるビットと、音源成分の変換符号化に割り当てるビットを変更する、という例が挙げられる。
(実施の形態3)
実施の形態2では、下位レイヤでCELPタイプ符号化を行い、上位レイヤで変換符号化を行うスケーラブル符号化方式において、下位レイヤの符号化結果を利用して上位レイヤの符号化方法(ビットアロケーション)を変更する場合について説明した。その中で、下位レイヤの符号化結果としてLPCパラメータの符号化歪みを利用する場合について説明したが、本発明はこれに限らず、下位レイヤの符号化結果としてピッチゲインの大きさなどのピッチに関する情報を利用して上位レイヤの符号化方法を変更する場合に対しても同様に適用できる。
実施の形態3では、下位レイヤにてCELPタイプの符号化を行い、上位レイヤでは変換符号化を行う場合のスケーラブル符号化方式に対して、下位レイヤにおいて算出されたピッチゲインの大きさを利用して上位レイヤの符号化方法を変更する場合について説明する。なお、本実施の形態に係る符号化装置および復号化装置を有する通信システムは、図1と同一であるので説明を省略する。
図15は、本実施の形態に係る符号化装置101aの構成を示すブロック図である。なお、図15において、図10と共通する部分には、図10と同一の符号を付して説明を省略する。
図15に示す符号化装置101aは、基本レイヤ符号化部1502が制御スイッチ1011経由にて拡張レイヤ制御部1503に量子化適応音源利得を出力する点で、図10のものと異なる。また、図15に示す符号化装置101aは、拡張レイヤ制御部1503の内部構成が、図10の拡張レイヤ制御部1003と異なる。また、図15に示す符号化装置101aは、拡張レイヤ制御部1503が、拡張レイヤモード情報を拡張レイヤ符号化部1008のみに出力する点で、図10と異なる。また、図15に示す符号化装置101aは、多重化部1509が、多重化する情報の数が異なる点で、図10と異なる。
図16は、図15の拡張レイヤ制御部1503の内部構成を示す図である。拡張レイヤ制御部1503は、ピッチ情報判定部1601と、拡張レイヤモード情報決定部1602と、から主に構成される。
ピッチ情報判定部1601は、入力した量子化適応音源利得の値の絶対値を算出し、これを絶対値量子化適応音源利得として、拡張レイヤモード情報決定部1602に出力する。
拡張レイヤモード情報決定部1602は、ピッチ情報判定部1601から入力される絶対値量子化適応音源利得と、内部に保持する予め定められた閾値とを比較し、その比較結果に応じて拡張レイヤにおける符号化モードを決定し、符号化モードを示す拡張レイヤモード情報を拡張レイヤ符号化部1008に出力する。具体的には、拡張レイヤモード情報決定部1602は、絶対値量子化適応音源利得が閾値よりも大きいという比較結果の場合、すなわち、音源成分の周期性が高い場合には拡張レイヤの符号化モードをModeAにし、絶対値量子化適応音源利得が閾値以下であるという比較結果の場合、すなわち、音源成分の周期性が低い場合には拡張レイヤの符号化モードをModeBにする。
図17は、本実施の形態に係る復号化装置103aの主要な構成を示すブロック図である。なお、図17において、図13と共通する部分には、図13と同一の符号を付して説明を省略する。
図17の復号化装置103aは、図13に対して、拡張レイヤ制御部1708を追加した構成をとる。また、図17の復号化装置103aでは、分離部1701から拡張レイヤ復号化部1305に拡張レイヤモード情報は入力されず、図13において分離部1301から拡張レイヤ復号化部1305に拡張レイヤモード情報が入力される処理が、まず基本レイヤ復号化部1302から拡張レイヤ制御部1708に量子化適応音源利得が入力され、次に拡張レイヤ制御部1708から拡張レイヤ復号化部1305に拡張レイヤモード情報が入力される処理に置き換わる。
また、拡張レイヤ制御部1708の内部構成は、拡張レイヤ制御部1503と同一であるため、説明を省略する。
以上説明したように、本実施の形態によれば、下位レイヤでCELPタイプの符号化方法を用い、上位レイヤでは変換符号化方法を用いる場合のスケーラブル符号化方式において、下位レイヤの符号化結果(量子化適応音源利得)に応じて上位レイヤの符号化方法(ビットアロケーション)を切り替えることにより、良好な品質の出力信号を提供することができる。具体的には、下位レイヤの符号化結果から、量子化対象の信号の周期性が高い場合には、上位レイヤにおいて、シェイプの量子化に割り当てるビットを多くし、量子化対象の信号の周期性が低い場合には、上位レイヤにおいて、シェイプの量子化に割り当てるビットを少なくすることによって、より効率的に符号化を行うことができる。なお、以上の構成を採る場合には、実施の形態2で説明した場合と異なり、ビットストリームに拡
張レイヤモード情報を含める必要がなく、より低ビットレートで符号化することが可能である。
また、本実施の形態では、下位レイヤの符号化結果として、量子化適応音源利得を利用して上位レイヤの符号化方法を切り替える場合について説明したが、本発明はこれに限らず、下位レイヤで算出した適応音源ベクトルと、量子化対象の駆動音源ベクトルとから算出できる理想的な適応音源利得を使って上位レイヤの符号化方法を切り替える場合についても同様に適用できる。なお、この手法を採る場合には、符号化装置側の拡張レイヤ符号化部1008から多重化部1509に拡張レイヤモード情報を伝送する必要がある。また、この場合は、復号化装置側では、拡張レイヤ復号化部1305は、分離部1701から拡張レイヤモード情報を得るため、拡張レイヤ制御部1708を備える必要はない。
また、本発明の実施の形態では、符号化装置において、下位の階層の符号化結果である量子化適応音源利得を予め定められた一定の閾値と比較する場合について説明したが、本発明はこれに限らず、適応音源符号、固定音源符号、あるいはゲインなどのパラメータの歪みを利用する場合にも適用することができる。例えば、適応音源符号を利用する場合、下位レイヤの符号化結果である適応音源符号が示すピッチ周期の大きさに応じて、上位レイヤの符号化方法を切り替える場合が挙げられる。具体的には、下位レイヤの符号化結果である適応音源符号が示すピッチ周期がある閾値以下の場合、つまり量子化対象の信号の周期性が高い場合には、拡張レイヤモード情報をModeAとし、上位レイヤにおけるシェイプの量子化に割り当てるビットを多くし、閾値よりも大きい場合、つまり量子化対象の信号の周期性が低い場合には、拡張レイヤモード情報をModeBとし、上位レイヤにおけるシェイプの量子化に割り当てるビットを少なくする、という方法が考えられる。
なお、当然、拡張レイヤモード情報を決定する条件が逆であっても構わない。つまり、下位レイヤの符号化結果である適応音源符号が示すピッチ周期がある閾値以下の場合には拡張レイヤモード情報をModeBとし、閾値よりも大きい場合には拡張レイヤモード情報をModeAとしてもよい。この構成は、上述した構成において、利用する符号化結果が、量子化適応音源利得から適応音源符号に置き換わっただけであるため、ここでは説明を省略する。
また、本実施の形態では、下位レイヤの符号化結果である量子化適応音源利得が閾値よりも大きい場合には拡張レイヤモード情報をModeAとし、閾値より小さい場合には拡張レイヤモード情報をModeBとする場合について説明したが、本発明はこれに限らず、下位レイヤの符号化結果である量子化適応音源利得が閾値よりも大きい場合には拡張レイヤモード情報をModeBとし、閾値より小さい場合には拡張レイヤモード情報をModeAとする場合についても同様に適用できる。
(実施の形態4)
実施の形態2では、下位レイヤでCELPタイプ符号化を行い、上位レイヤで変換符号化を行うスケーラブル符号化方式において、下位レイヤの符号化結果を利用して上位レイヤの符号化方法(ビットアロケーション)を変更する場合について説明した。上述した説明では、下位レイヤと上位レイヤで量子化する帯域が同一であることを前提として説明したが、本発明はこれに限らず、下位レイヤと上位レイヤで量子化する帯域が異なる場合に対しても同様に適用できる。
実施の形態4では、下位レイヤと上位レイヤで量子化する帯域が異なる場合において、下位レイヤの符号化結果に応じて上位レイヤの符号化方法を切り替える構成について説明する。なお、本実施の形態に係る符号化装置および復号化装置を有する通信システムは、図1と同一であるので説明を省略する。
図18は、本実施の形態に係る符号化装置101bの構成を示すブロック図である。なお、図18において、図10と共通する部分には、図10と同一の符号を付して説明を省略する。
図18の符号化装置101bは、図10に対して、ダウンサンプリング部1813及びアップサンプリング部1814を追加した構成を採る。
ダウンサンプリング部1813は、入力信号に対してダウンサンプリング処理を行い、入力信号のサンプリング周波数をRate1からRate2に変換し(Rate1>Rate2)、基本レイヤ符号化部1002に出力する。
アップサンプリング部1814は、基本レイヤ復号化部1004から入力される基本レイヤ復号化信号に対してアップサンプリング処理を行い、基本レイヤ復号化信号のサンプリング周波数をRate2からRate1に変換して第1周波数領域変換部1005に出力する。
図19は、本実施の形態に係る復号化装置103bの構成を示すブロック図である。なお、図19において、図13と共通する部分には、図13と同一の符号を付して説明を省略する。
図19の復号化装置103bは、図13に対して、アップサンプリング部1908を追加した構成を採る。
アップサンプリング部1908は、基本レイヤ復号化部1302から入力される基本レイヤ復号化信号に対してアップサンプリング処理を行い、基本レイヤ復号化信号のサンプリング周波数をRate2からRate1に変換し、周波数領域変換部1303に出力する。
以上説明したように、本実施の形態によれば、下位レイヤでCELPタイプの符号化方法を用い、上位レイヤでは変換符号化方法を用い、さらに下位レイヤと上位レイヤの帯域が異なる場合のスケーラブル符号化方式において、下位レイヤの符号化結果に応じて上位レイヤの符号化方法(ビットアロケーション)を切り替えることにより、良好な品質の出力信号を提供することができる。
また、本実施の形態では、符号化装置において、下位の階層のLPCの量子化誤差に基づいて上位の階層における符号化モードを制御する場合を例に挙げて説明したが、本発明はこれに限らず、下位の階層の他のパラメータに基づいて上位の階層における符号化モードを制御することもできる。以下、例として、下位の階層の合成音のSNR(信号対雑音比)に基づいて上位の階層における符号化モードを制御する場合について説明する。この場合、基本レイヤ符号化部1002内の合成フィルタ404において、LPC量子化部403から出力されるLPC量子化係数と、適応音源符号帳406から出力される適応音源符号に利得を乗じた値とから合成される合成音のSNRを算出し、これを拡張レイヤ制御部1003内の拡張レイヤモード情報決定部1102に出力する。拡張レイヤモード情報決定部1102は、入力されたSNRと、内部に予め格納された閾値とを比較し、比較結果に応じて拡張レイヤモード情報を決定し、これを拡張レイヤ符号化部1008に出力する。具体的には、拡張レイヤモード情報決定部1102は、基本レイヤ符号化部1002から出力されるSNRが閾値よりも大きい場合には、拡張レイヤモードをModeAにし、基本レイヤ符号化部1002から出力されるSNRが閾値以下である場合には拡張レイヤモードをModeBにする。
また、拡張レイヤモードの決定方法は、逆でも構わない。つまり、基本レイヤ符号化部1002から出力されるSNRが閾値よりも大きい場合には、拡張レイヤモードをModeBにし、基本レイヤ符号化部1002から出力されるSNRが閾値以下である場合には拡張レイヤモードをModeAにしてもよい。
なお、上記各実施の形態では、符号化装置において、下位の階層の符号化結果を利用して、上位の階層の符号化時に異なるサイズの符号帳を用いることにより符号化情報のビットアロケーションを変更する場合について説明したが、本発明は、符号帳のサイズ変更に留まらず、下位の階層の符号化結果と組み合わせた場合により良質な音声信号をユーザに提供するために、パラメータの取捨選択を含む、上位の階層における符号化方法を切り替える場合、あるいは上位の階層において同じサイズである別の符号帳と合わせた複数の符号帳から利用する符号帳を切り替えて選択する場合にも適用することができる。
また、上記各実施の形態では、符号化装置において、符号化に用いる情報量はほぼ一定という条件で符号化情報のビットアロケーションを変更する場合について説明したが、本発明はこれに限らず、符号化に用いることのできる情報量をある程度変更することが出来る場合にも同様に適用される。例えば、システム側、あるいはユーザ側からの指示等によりある閾値(SNR等)が定められる場合においては、上述した拡張レイヤ制御方法により、その閾値を満たし、かつ最低限の情報量で入力信号を符号化することも可能である。これにより、回線使用率を抑えつつ、システムあるいはユーザの要求を満たす柔軟な符号化装置・方法を実現することができる。
また、上記各実施の形態では、符号化装置において、下位の階層の符号化結果であるLPCケプストラム距離を予め定められた一定の閾値と比較する場合について説明したが、本発明はこれに限らず、LPCの次数などの符号化方法に基づく値、ユーザ指示および回線状況に等応じて閾値を動的に変化させる場合にも適用することができる。
また、本発明は階層を限定するものではなく、複数階層で構成された階層的な信号符号化または復号化方法において、下位レイヤでの入力信号と出力信号との差である残差信号を上位レイヤで符号化する全ての場合について適用することができる。
また、本発明を、コンピュータに信号処理動作を行わせる信号処理プログラムに適用することもできる。また、この信号処理プログラムを、メモリ、ディスク、テープ、CD、DVD等の機械読み取り可能な記録媒体に記録、書き込みをし、動作を行う場合についても、本発明は適用することができ、本実施の形態と同様の作用・効果を得ることができる。
また、上記各実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるLSIとして実現される。これらは個別に1チップ化されても良いし、一部または全てを含むように1チップ化されても良い。また、ここではLSIとしたが、集積度の違いによって、IC、システムLSI、スーパーLSI、ウルトラLSI等と呼称されることもある。また、集積回路化の手法はLSIに限るものではなく、専用回路または汎用プロセッサで実現しても良い。LSI製造後に、プログラム化することが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続もしくは設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。さらに、半導体技術の進歩または派生する別技術により、LSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行っても良い。バイオ技術の適用等が可能性としてあり得る。
2006年3月10日出願の特願2006−066771および2007年2月13日出願の特願2007−032746の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。
本発明は、スケーラブル符号化技術を用いた通信システムにおける符号化装置、復号化装置に用いるに好適である。
本発明の実施の形態1に係る符号化装置および復号化装置を有する通信システムの構成を示す図 本発明の実施の形態1に係る符号化装置の構成を示すブロック図 本発明の実施の形態1に係る符号化情報のビットストリーム構造を示す図 本発明の実施の形態1に係る符号化装置の基本レイヤ符号化部の内部構成を示すブロック図 本発明の実施の形態1に係る符号化装置の基本レイヤ復号化部の内部構成を示すブロック図 本発明の実施の形態1に係る符号化装置の拡張レイヤ制御部の内部構成を示すブロック図 本発明の実施の形態1に係る符号化装置の拡張レイヤ符号化部の内部構成を示すブロック図 本発明の実施の形態1に係る復号化装置の構成を示すブロック図 本発明の実施の形態1に係る復号化装置の拡張レイヤ復号化部の内部構成を示すブロック図 本発明の実施の形態2に係る符号化装置の構成を示すブロック図 本発明の実施の形態2に係る符号化装置の拡張レイヤ制御部の内部構成を示すブロック図 本発明の実施の形態2に係る符号化装置の拡張レイヤ符号化部の内部構成を示すブロック図 本発明の実施の形態2に係る復号化装置の構成を示すブロック図 本発明の実施の形態2に係る復号化装置の拡張レイヤ復号化部の内部構成を示すブロック図 本発明の実施の形態3に係る符号化装置の構成を示すブロック図 本発明の実施の形態3に係る符号化装置の拡張レイヤ制御部の内部構成を示すブロック図 本発明の実施の形態3に係る復号化装置の構成を示すブロック図 本発明の実施の形態4に係る符号化装置の構成を示すブロック図 本発明の実施の形態4に係る復号化装置の構成を示すブロック図

Claims (11)

  1. 入力信号を2階層の符号化情報で符号化する符号化装置であって、
    前記入力信号を符号化して第1階層の符号化情報を生成する第1階層の符号化手段と、
    前記第1階層の符号化情報を復号化して第1階層の復号化信号を生成する第1階層の復号化手段と、
    前記入力信号と前記第1階層の復号化信号との差分である第1階層の差分信号を求める加算手段と、
    前記第1階層の差分信号を符号化して第2階層の符号化情報を生成する第2階層の符号化手段と、
    前記第1階層の符号化手段の符号化過程で生成されるパラメータであるLPC(線形予測係数)および量子化LPCに基づいて、前記第2階層の符号化手段における各符号化パラメータに割り当てるビットを調整する拡張レイヤ制御手段と、
    を具備する符号化装置。
  2. 前記拡張レイヤ制御手段は、
    前記LPCと量子化LPCとの差分であるLPCの量子化誤差を用い、前記第2階層の符号化手段に対し、符号化に用いる符号帳として、前記第1階層の符号化手段の前記LPCの量子化誤差に応じて異なるサイズの前記符号帳を指定することにより、前記各符号化パラメータに割り当てる前記ビットを調整する、
    請求項1に記載の符号化装置。
  3. 前記拡張レイヤ制御手段は、
    前記第2階層の符号化手段に対し、
    前記第1階層の符号化手段の前記LPCの量子化誤差が、所定の閾値より大きい場合には第1のLPC符号帳を指定し、
    前記閾値以下の場合には前記第1のLPC符号帳よりもサイズが小さい第2のLPC符号帳を指定する、
    請求項2に記載の符号化装置。
  4. 前記拡張レイヤ制御手段は、
    前記第2階層の符号化手段に対し、
    前記第1階層の符号化手段の前記LPCの量子化誤差が、所定の閾値より大きい場合には第1の固定音源符号帳を指定し、
    前記閾値以下の場合には前記第1の固定音源符号帳よりもサイズが大きい第2の固定音源符号帳を指定する、
    請求項2に記載の符号化装置。
  5. 前記拡張レイヤ制御手段は、
    前記第2階層の符号化手段に対し、
    前記第1階層の符号化手段の前記LPCの量子化誤差が、所定の閾値より大きい場合には第1のシェイプ符号帳を指定し、
    前記閾値以下の場合には前記第1のシェイプ符号帳よりもサイズが小さい第2のシェイプ符号帳を指定する、
    請求項2に記載の符号化装置。
  6. 前記拡張レイヤ制御手段は、
    前記第2階層の符号化手段に対し、
    前記第1階層の符号化手段の前記LPCの量子化誤差が、所定の閾値より大きい場合には第1のゲイン符号帳を指定し、
    前記閾値以下の場合には前記第1のゲイン符号帳よりもサイズが小さい第2のゲイン符号帳を指定する、
    請求項2に記載の符号化装置。
  7. 前記拡張レイヤ制御手段は、
    前記符号化パラメータの量子化結果としてピッチゲインの大きさを用い、前記第2階層の符号化手段に対し、符号化に用いる符号帳として、前記第1階層の符号化手段の前記ピッチゲインの大きさに応じて異なるサイズの前記符号帳を指定することにより、前記各符号化パラメータに割り当てる前記ビットを調整する、
    請求項1に記載の符号化装置。
  8. 前記拡張レイヤ制御手段は、
    前記第2階層の符号化手段に対し、
    前記第1階層の符号化手段の前記ピッチゲインの大きさが、所定の閾値より大きい場合には第1のシェイプ符号帳を指定し、
    前記閾値以下の場合には前記第1のシェイプ符号帳よりもサイズが小さい第2のシェイプ符号帳を指定する、
    請求項7に記載の符号化装置。
  9. 前記拡張レイヤ制御手段は、
    前記第1階層の符号化手段の前記ピッチゲインの大きさが所定の閾値より大きい場合には、第1のゲイン符号帳を指定し、
    前記閾値以下の場合には、前記第1のゲイン符号帳よりもサイズが小さい第2のゲイン符号帳を指定する、
    請求項7に記載の符号化装置。
  10. 入力信号を2階層の符号化情報で符号化する符号化方法であって、
    前記入力信号を符号化して第1階層の符号化情報を生成する第1符号化ステップと、
    前記第1階層の符号化情報を復号化して第1階層の復号化信号を生成する復号化ステップと、
    前記入力信号と前記第1階層の復号化信号との差分である第1階層の差分信号を求める加算ステップと、
    前記第1階層の差分信号を符号化して第2階層の符号化情報を生成する第2符号化ステップと、
    前記第1符号化ステップの符号化過程で生成されるパラメータであるLPC(線形予測係数)および量子化LPCに基づいて、前記第2符号化ステップの符号化過程で生成される前記第2階層の各符号化パラメータに割り当てるビットを調整する拡張レイヤ制御ステップと、
    を具備する符号化方法。
  11. コンピュータに、入力信号を2階層の符号化情報で符号化する符号化方法を実行させるプログラムであって、
    前記入力信号を符号化して第1階層の符号化情報を生成する第1符号化手順と、
    前記第1階層の符号化情報を復号化して第1階層の復号化信号を生成する復号化手順と、
    前記入力信号と前記第1階層の復号化信号との差分である第1階層の差分信号を求める加算手順と、
    前記第1階層の差分信号を符号化して第2階層の符号化情報を生成する第2符号化手順と、
    前記第1符号化手順の符号化過程で生成されるパラメータであるLPC(線形予測係数)および量子化LPCに基づいて、前記第2符号化手順の符号化過程で生成される前記第2階層の各符号化パラメータに割り当てるビットを調整する拡張レイヤ制御手順と、
    を具備するプログラム。
JP2008505088A 2006-03-10 2007-03-08 符号化装置および符号化方法 Expired - Fee Related JP5058152B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008505088A JP5058152B2 (ja) 2006-03-10 2007-03-08 符号化装置および符号化方法

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2006066771 2006-03-10
JP2006066771 2006-03-10
JP2007032746 2007-02-13
JP2007032746 2007-02-13
PCT/JP2007/054528 WO2007105586A1 (ja) 2006-03-10 2007-03-08 符号化装置および符号化方法
JP2008505088A JP5058152B2 (ja) 2006-03-10 2007-03-08 符号化装置および符号化方法

Publications (2)

Publication Number Publication Date
JPWO2007105586A1 JPWO2007105586A1 (ja) 2009-07-30
JP5058152B2 true JP5058152B2 (ja) 2012-10-24

Family

ID=38509414

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008505088A Expired - Fee Related JP5058152B2 (ja) 2006-03-10 2007-03-08 符号化装置および符号化方法

Country Status (4)

Country Link
US (1) US8306827B2 (ja)
EP (1) EP1988544B1 (ja)
JP (1) JP5058152B2 (ja)
WO (1) WO2007105586A1 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4871894B2 (ja) * 2007-03-02 2012-02-08 パナソニック株式会社 符号化装置、復号装置、符号化方法および復号方法
US8527265B2 (en) * 2007-10-22 2013-09-03 Qualcomm Incorporated Low-complexity encoding/decoding of quantized MDCT spectrum in scalable speech and audio codecs
FR2922710B1 (fr) * 2007-10-22 2009-12-11 Alcatel Lucent Procede optimise de transmission, vers des terminaux mobiles et via une infrastructure radio a methode d'acces de type tdm/tdma/ofdma, de contenus en couches, et dipositif de traitement associe
US8515767B2 (en) * 2007-11-04 2013-08-20 Qualcomm Incorporated Technique for encoding/decoding of codebook indices for quantized MDCT spectrum in scalable speech and audio codecs
US8639519B2 (en) * 2008-04-09 2014-01-28 Motorola Mobility Llc Method and apparatus for selective signal coding based on core encoder performance
KR101414412B1 (ko) * 2008-05-09 2014-07-01 노키아 코포레이션 오디오 신호의 인코딩 장치, 오디오 신호의 디코딩 장치, 오디오 신호의 인코딩 방법, 스케일러블 인코딩 오디오 신호의 디코딩 방법, 인코더, 디코더, 전자기기 및 컴퓨터 판독가능한 기록 매체
KR20100006492A (ko) 2008-07-09 2010-01-19 삼성전자주식회사 부호화 방식 결정 방법 및 장치
EP2237269B1 (en) * 2009-04-01 2013-02-20 Motorola Mobility LLC Apparatus and method for processing an encoded audio data signal
US8660851B2 (en) 2009-05-26 2014-02-25 Panasonic Corporation Stereo signal decoding device and stereo signal decoding method
EP2490217A4 (en) * 2009-10-14 2016-08-24 Panasonic Ip Corp America ENCODING DEVICE, ENCODING METHOD AND CORRESPONDING METHODS
WO2011045926A1 (ja) * 2009-10-14 2011-04-21 パナソニック株式会社 符号化装置、復号装置およびこれらの方法
CN102081927B (zh) * 2009-11-27 2012-07-18 中兴通讯股份有限公司 一种可分层音频编码、解码方法及***
CN105374362B (zh) * 2010-01-08 2019-05-10 日本电信电话株式会社 编码方法、解码方法、编码装置、解码装置以及记录介质
AU2011241424B2 (en) * 2010-04-14 2016-05-05 Voiceage Evs Llc Flexible and scalable combined innovation codebook for use in CELP coder and decoder
EP2395505A1 (en) * 2010-06-11 2011-12-14 Thomson Licensing Method and apparatus for searching in a layered hierarchical bit stream followed by replay, said bit stream including a base layer and at least one enhancement layer
WO2013035257A1 (ja) 2011-09-09 2013-03-14 パナソニック株式会社 符号化装置、復号装置、符号化方法および復号方法
JP6517924B2 (ja) 2015-04-13 2019-05-22 日本電信電話株式会社 線形予測符号化装置、方法、プログラム及び記録媒体
JP7232183B2 (ja) * 2017-07-20 2023-03-02 ソニーグループ株式会社 送信装置、送信方法、受信装置および受信方法
JPWO2022009505A1 (ja) * 2020-07-07 2022-01-13

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09127998A (ja) * 1995-10-26 1997-05-16 Sony Corp 信号量子化方法及び信号符号化装置
JPH1130997A (ja) * 1997-07-11 1999-02-02 Nec Corp 音声符号化復号装置
JPH11330977A (ja) * 1998-03-11 1999-11-30 Matsushita Electric Ind Co Ltd オ―ディオ信号符号化装置、オ―ディオ信号復号化装置、及び、オ―ディオ信号符号化・復号化装置
JP2003233400A (ja) * 2002-02-08 2003-08-22 Ntt Docomo Inc 復号装置、符号化装置、復号方法、及び、符号化方法
JP2003323199A (ja) * 2002-04-26 2003-11-14 Matsushita Electric Ind Co Ltd 符号化装置、復号化装置及び符号化方法、復号化方法
JP2004199064A (ja) * 2002-12-16 2004-07-15 Samsung Electronics Co Ltd ビット率を調節できるオーディオ符号化方法、復号方法、符号化装置及び復号装置
JP2004301954A (ja) * 2003-03-28 2004-10-28 Matsushita Electric Ind Co Ltd 音響信号の階層符号化方法および階層復号化方法
JP2005025203A (ja) * 2003-07-03 2005-01-27 Samsung Electronics Co Ltd 階層的な帯域幅構造を有する音声圧縮および復元装置、ならびにその方法
JP2005080063A (ja) * 2003-09-02 2005-03-24 Nippon Telegr & Teleph Corp <Ntt> 多段音声画像符号化方法、その装置及びプログラム及びこのプログラムを記録した記録媒体
JP2005316499A (ja) * 2005-05-20 2005-11-10 Oki Electric Ind Co Ltd 音声符号化装置

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1097295A (ja) 1996-09-24 1998-04-14 Nippon Telegr & Teleph Corp <Ntt> 音響信号符号化方法及び復号化方法
KR100261253B1 (ko) * 1997-04-02 2000-07-01 윤종용 비트율 조절이 가능한 오디오 부호화/복호화 방법및 장치
KR100261254B1 (ko) * 1997-04-02 2000-07-01 윤종용 비트율 조절이 가능한 오디오 데이터 부호화/복호화방법 및 장치
KR100335609B1 (ko) * 1997-11-20 2002-10-04 삼성전자 주식회사 비트율조절이가능한오디오부호화/복호화방법및장치
KR100304092B1 (ko) 1998-03-11 2001-09-26 마츠시타 덴끼 산교 가부시키가이샤 오디오 신호 부호화 장치, 오디오 신호 복호화 장치 및 오디오 신호 부호화/복호화 장치
US6714907B2 (en) * 1998-08-24 2004-03-30 Mindspeed Technologies, Inc. Codebook structure and search for speech coding
US6182031B1 (en) * 1998-09-15 2001-01-30 Intel Corp. Scalable audio coding system
US6446037B1 (en) * 1999-08-09 2002-09-03 Dolby Laboratories Licensing Corporation Scalable coding method for high quality audio
JP3784583B2 (ja) 1999-08-13 2006-06-14 沖電気工業株式会社 音声蓄積装置
JP4005359B2 (ja) * 1999-09-14 2007-11-07 富士通株式会社 音声符号化及び音声復号化装置
ATE419713T1 (de) 2001-11-29 2009-01-15 Panasonic Corp Verfahren zur beseitigung von kodierungsverzerrung und verfahren zur videokodierung und -dekodierung
KR100929078B1 (ko) 2001-11-29 2009-11-30 파나소닉 주식회사 코딩 왜곡 제거 방법
US7283966B2 (en) * 2002-03-07 2007-10-16 Microsoft Corporation Scalable audio communications utilizing rate-distortion based end-to-end bit allocation
EP1483759B1 (en) * 2002-03-12 2006-09-06 Nokia Corporation Scalable audio coding
WO2003091989A1 (en) 2002-04-26 2003-11-06 Matsushita Electric Industrial Co., Ltd. Coding device, decoding device, coding method, and decoding method
JP3881943B2 (ja) * 2002-09-06 2007-02-14 松下電器産業株式会社 音響符号化装置及び音響符号化方法
WO2004097796A1 (ja) * 2003-04-30 2004-11-11 Matsushita Electric Industrial Co., Ltd. 音声符号化装置、音声復号化装置及びこれらの方法
DE602004004950T2 (de) * 2003-07-09 2007-10-31 Samsung Electronics Co., Ltd., Suwon Vorrichtung und Verfahren zum bitraten-skalierbaren Sprachkodieren und -dekodieren
US7272567B2 (en) * 2004-03-25 2007-09-18 Zoran Fejzo Scalable lossless audio codec and authoring tool
JP2006066771A (ja) 2004-08-30 2006-03-09 Toppan Printing Co Ltd ステンシルマスク用基板及びステンシルマスク並びにそれを用いた露光方法
ES2476992T3 (es) * 2004-11-05 2014-07-15 Panasonic Corporation Codificador, descodificador, método de codificación y método de descodificaci�n
JP5046652B2 (ja) 2004-12-27 2012-10-10 パナソニック株式会社 音声符号化装置および音声符号化方法
US7177804B2 (en) * 2005-05-31 2007-02-13 Microsoft Corporation Sub-band voice codec with multi-stage codebooks and redundant coding
JP5087826B2 (ja) 2005-07-28 2012-12-05 井関農機株式会社 トラクタ
US7835904B2 (en) * 2006-03-03 2010-11-16 Microsoft Corp. Perceptual, scalable audio compression

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09127998A (ja) * 1995-10-26 1997-05-16 Sony Corp 信号量子化方法及び信号符号化装置
JPH1130997A (ja) * 1997-07-11 1999-02-02 Nec Corp 音声符号化復号装置
JPH11330977A (ja) * 1998-03-11 1999-11-30 Matsushita Electric Ind Co Ltd オ―ディオ信号符号化装置、オ―ディオ信号復号化装置、及び、オ―ディオ信号符号化・復号化装置
JP2003233400A (ja) * 2002-02-08 2003-08-22 Ntt Docomo Inc 復号装置、符号化装置、復号方法、及び、符号化方法
JP2003323199A (ja) * 2002-04-26 2003-11-14 Matsushita Electric Ind Co Ltd 符号化装置、復号化装置及び符号化方法、復号化方法
JP2004199064A (ja) * 2002-12-16 2004-07-15 Samsung Electronics Co Ltd ビット率を調節できるオーディオ符号化方法、復号方法、符号化装置及び復号装置
JP2004301954A (ja) * 2003-03-28 2004-10-28 Matsushita Electric Ind Co Ltd 音響信号の階層符号化方法および階層復号化方法
JP2005025203A (ja) * 2003-07-03 2005-01-27 Samsung Electronics Co Ltd 階層的な帯域幅構造を有する音声圧縮および復元装置、ならびにその方法
JP2005080063A (ja) * 2003-09-02 2005-03-24 Nippon Telegr & Teleph Corp <Ntt> 多段音声画像符号化方法、その装置及びプログラム及びこのプログラムを記録した記録媒体
JP2005316499A (ja) * 2005-05-20 2005-11-10 Oki Electric Ind Co Ltd 音声符号化装置

Also Published As

Publication number Publication date
JPWO2007105586A1 (ja) 2009-07-30
US20090094024A1 (en) 2009-04-09
US8306827B2 (en) 2012-11-06
EP1988544A4 (en) 2012-09-19
EP1988544B1 (en) 2014-12-24
EP1988544A1 (en) 2008-11-05
WO2007105586A1 (ja) 2007-09-20

Similar Documents

Publication Publication Date Title
JP5058152B2 (ja) 符号化装置および符号化方法
JP5404418B2 (ja) 符号化装置、復号装置および符号化方法
JP5328368B2 (ja) 符号化装置、復号装置、およびこれらの方法
JP4708446B2 (ja) 符号化装置、復号装置およびそれらの方法
JP5339919B2 (ja) 符号化装置、復号装置およびこれらの方法
JP5449133B2 (ja) 符号化装置、復号装置およびこれらの方法
JP5448850B2 (ja) 符号化装置、復号装置およびこれらの方法
JP5511785B2 (ja) 符号化装置、復号装置およびこれらの方法
JPWO2009084221A1 (ja) 符号化装置、復号装置およびこれらの方法
JP5565914B2 (ja) 符号化装置、復号装置およびこれらの方法
WO2007129728A1 (ja) 符号化装置及び符号化方法
WO2008053970A1 (fr) Dispositif de codage de la voix, dispositif de décodage de la voix et leurs procédés
JPWO2011058758A1 (ja) 符号化装置、復号装置およびこれらの方法
JP5544370B2 (ja) 符号化装置、復号装置およびこれらの方法
WO2013057895A1 (ja) 符号化装置及び符号化方法
JP5236032B2 (ja) 音声符号化装置、音声復号装置およびそれらの方法
JP5774490B2 (ja) 符号化装置、復号装置およびこれらの方法
JP6001451B2 (ja) 符号化装置及び符号化方法

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100305

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100305

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120410

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120608

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120710

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120731

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150810

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees