JP5894070B2 - オーディオ信号符号化器、オーディオ信号復号化器及びオーディオ信号符号化方法 - Google Patents

Description

本発明は、オーディオ信号の符号化技術または／及び復号化技術に関する。

オーディオ信号の符号化は、人間音声発生モデル(model of human speech generation)に関連したパラメータを抽出することで、本来のオーディオを圧縮する技術である。オーディオ信号の符号化では、入力されるオーディオ信号を所定のサンプリングレートでサンプリングして、時間ブロックまたはフレームに分割する。

かかるオーディオ符号化を行うオーディオ符号化装置は、所定のパラメータを抽出して、入力されるオーディオ信号を分析し、前記パラメータを、例えば、ビットのセットまたは二進データパケットのように、二進数で表現されるように量子化する。このように量子化されたビットストリームは、有無線チャネルを通じて、受信器及び復号化装置へ伝送されるか、または多様な記録媒体に保存される。前記復号化装置は、前記ビットストリームに含まれたオーディオフレームを処理し、それらを逆量子化して、前記パラメータを生成し、前記パラメータを利用してオーディオ信号を復元する。

最近、複数のフレームで構成されたスーパーフレームに対して、最適のビット率で符号化する方法が研究されている。知覚的に敏感でないオーディオ信号に対して、低いビット率で符号化し、知覚的に敏感なオーディオ信号に対しては、高いビット率で符号化する場合、音質の劣化を最小化しつつ、オーディオ信号を効率的に符号化できる。

本発明の目的は、音質の劣化を最小化しつつ、オーディオ信号を効率的に符号化することである。

本発明の他の目的は、無声音区間の音質を向上させることである。

本発明の一実施形態によれば、オーディオフレームの符号化モードを選択するモード選択部、前記選択された符号化モードによって、前記オーディオフレームのターゲットビット率を決定するビット率決定部、及び前記決定されたターゲットビット率によって、前記オーディオフレームに対して、加重線形予測変換符号化(Weighted Linear Prediction Transform)を行う加重線形予測変換符号化部を備えるオーディオ符号化器が提供される。

本発明の一側面によれば、符号化されたオーディオフレームのビット率を分析するビット率分析部、及び前記判断されたビット率によって、前記フレームに対して、加重線形予測逆変換(Weighted Linear Prediction Inverse Transform)を行う加重線形予測変換復号化部を備えるオーディオ復号化器が提供される。

本発明の他の側面によれば、オーディオフレームの符号化モードを選択するステップ、前記選択された符号化モードによって、前記オーディオフレームのターゲットビット率を決定するステップ、及び前記決定されたターゲットビット率によって、前記オーディオフレームに対して、加重線形予測変換(Weighted Linear Prediction Transform)符号化を行うステップを含むオーディオ符号化方法が提供される。

本発明の一実施形態によれば、音質の劣化を最小化しつつ、符号化されたオーディオ信号の大きさを減らすことができる。

本発明の一実施形態によれば、符号化されたオーディオ信号の無声音区間の音質を向上させることができる。

本発明によるオーディオ信号符号化装置の全体構成を示すブロック図である。 本発明の一実施形態によって、複数の線形予測を利用してオーディオ信号を符号化する符号化器の構成を示すブロック図である。 本発明の一実施形態によるオーディオ信号復号化器の構成を示すブロック図である。 本発明の一実施形態によって、複数の線形予測を利用してオーディオ信号を復号化する加重線形予測変換復号化部の構成を示すブロック図である。 本発明の一実施形態によって、ＴＮＳを利用してオーディオ信号を符号化する符号化器の構成を示すブロック図である。 本発明の一実施形態によって、ＴＮＳが行われたオーディオ信号を復号化する復号化器の構成を示すブロック図である。 本発明の一実施形態によって、コードブックを利用してオーディオ信号を符号化する符号化器の構成を示すブロック図である。 本発明の一実施形態によって、コードブックを利用してオーディオ信号を復号化する復号化器の構成を示すブロック図である。 本発明の一実施形態によって、オーディオ信号の符号化モードを決定するモード選択部の構成を示すブロック図である。 本発明の一実施形態によって、加重線形予測変換を利用してオーディオ信号を符号化する方法を段階別に説明した順序図である。 本発明の一実施形態によって、複数の線形予測を利用してオーディオ信号を符号化する方法を段階別に説明した順序図である。 本発明の一実施形態によって、ＴＮＳを利用してオーディオ信号を符号化する方法を段階別に説明した順序図である。 本発明の一実施形態によって、コードブックを利用してオーディオ信号を符号化する方法を段階別に説明した順序図である。

以下では、添付された図面を参照して、本発明の実施形態を詳細に説明する。

図１は、本発明によるオーディオ信号符号化装置の構成を示すブロック図である。図１を参照すれば、本発明によるオーディオ信号符号化装置は、モード選択部１７０、ビット率決定部１７１、一般線形予測変換符号化部１８１、無声線形予測変換符号化部１８２及び黙音線形予測変換符号化部１８３を備える。

前処理部１０３は、入力されたオーディオ信号から所望しない周波数成分を除去し、事前にフィルタリングを行って、オーディオ信号の符号化のための周波数特性を調整することができる。一例として、前処理部１０３は、ＡＭＲ−ＷＢ(Adaptive Multi Rate Wide Band)の事前強調フィルタリング(Pre-emphasis filtering)を利用できる。ここで、入力されたオーディオ信号は、符号化に適した既定のサンプリング周波数にサンプリングされる。例えば、狭帯域のオーディオ符号化器では、８０００Ｈｚのサンプリング周波数を、広帯域のオーディオ符号化器では、１６０００Ｈｚのサンプリング周波数を有する。

一実施形態によれば、オーディオ信号符号化装置は、複数のフレームで構成されたスーパーフレーム単位でオーディオ信号を符号化する。一例として、スーパーフレームは、四つのフレームで構成される。すなわち、スーパーフレームそれぞれの符号化は、四つのフレームに対する符号化で構成される。例えば、スーパーフレームのサイズが１０２４個のサンプルで構成される場合、四つのフレームのサイズは、それぞれ２５６個となる。この時、スーパーフレームのサイズは、ＯＬＡ（ＯｖｅｒＬａｐ ａｎｄ Ａｄｄ）の過程を経て、さらに大きく互いに重なるように調整される。

フレームビット率決定部１２０は、オーディオフレームに対するビット率を決定できる。フレームビット率決定部１２０は、ターゲットビット率と、以前のフレームで使われたビット量とを比較して、現在のスーパーフレームで使われるビット率を決定できる。

線形予測分析／量子化部１３０は、フィルタリングされた入力オーディオフレームを通じて、線形予測係数を抽出する。ここで、線形予測分析／量子化部１３０は、線形予測係数を量子化に有利な形態（例えば、ＩＳＦ(Immittance spectral Frequencies)またはＬＳＦ(Line Spectral Frequencies)係数）に変換した後、多様な量子化方法（例えば、ベクトル量子化器）を通じて量子化する。抽出された線形予測係数と、量子化された線形予測係数とは、認知加重フィルタ部１４０へ伝送される。

認知加重フィルタ部１４０では、認知加重フィルタを通じて、前処理を経た信号をフィルタリングする。認知加重フィルタ部１４０は、人体聴覚構造のマスキング効果を利用するために、量子化ノイズをマスキング範囲内に減らす。認知加重フィルタ部１４０を通じてフィルタリングされた信号は、開ループピッチ探索部１６０へ伝送される。

開ループピッチ探索部１６０は、認知加重フィルタ部１４０でフィルタリングされて伝送する信号を利用して、開ループピッチを探索する。

音声活性度分析部１５０は、前処理部１１９を通じてフィルタリングされた信号を受信して、フィルタリングされたオーディオ信号の音声活性度を分析する。一例として、入力オーディオ信号についての特性として、周波数ドメインの勾配情報、各バーク（Ｂａｒｋ）バンドのエネルギーなどを含む。

一実施形態によれば、モード選択部１７０は、オーディオ信号の特性によって、開ループ方式または閉ループ方式を適用して、前記オーディオ信号についての符号化モードを決定する。

モード選択部１７０は、最適の符号化モードを選択する前に、現在のフレームについてのオーディオ信号を分類できる。すなわち、モード選択部１０９は、無声音認知結果を利用して、現在のオーディオフレームを低エネルギーノイズ、ノイズ、無声音及び残りの信号に分類できる。この時、モード選択部１７０は、分類された結果に基づいて、現在のオーディオフレームで使用する符号化モードを選択できる。符号化モードは、複数のオーディオフレームで構成されたスーパーフレームに含まれたオーディオ信号を符号化するための一般線形予測変換符号化モード、無声線形予測変換符号化モード、黙音線形予測変換符号化モード、可変ビット率有声（ＡＣＥＬＰ）モードを含む。

ビット率決定部１７１は、モード選択部１７０が選択した符号化モードによって、オーディオフレームのターゲットビット率を決定する。本発明の一実施形態によれば、モード選択部１７０は、オーディオフレームに含まれたオーディオ信号が黙音であると判断し、黙音線形予測変換符号化モードをフレームの符号化モードとして選択する。この場合、ビット率決定部１７１は、フレームのターゲットビット率を非常に低く決定する。一方、モード選択部１７０は、オーディオフレームに含まれたオーディオ信号が有声音であると判断する。この場合、ビット率決定部１７１は、オーディオフレームのターゲットビット率を高く決定する。

線形予測変換符号化部１８０は、モード選択部１７０が選択した符号化モードによって、一般線形予測変換符号化部１８１、無声線形予測変換符号化部１８２、黙音線形予測変換符号化部１８３のうち一つを活性化させて、オーディオフレームを符号化する。

モード選択部１７０が、ＣＥＬＰ(code-excited linear prediction)符号化モードをオーディオフレームについての符号化モードとして選択した場合に、ＣＥＬＰ符号化部１９０は、ＣＥＬＰ方式で符号化を行う。一実施形態によれば、ＣＥＬＰ符号化部１９０は、フレームについてのターゲットビット率を参照して、毎オーディオフレームに対して相異なるビット率で符号化する。

以上、モード選択部１７０が選択したモードによって、オーディオフレームのターゲットビット率を決定する実施形態について説明したが、ビット率決定部１７１が決定したターゲットビット率によって、オーディオフレームの符号化モードを選択してもよい。ビット率決定部１７１が、オーディオ信号の特性に基づいて、オーディオフレームのターゲットビット率を決定すれば、モード選択部１７０は、ビット率決定部１７１が決定したターゲットビット率内で、最高の音質を維持できる符号化モードを選択する。

一実施形態によれば、モード選択部１７０は、複数の符号化モードによって、オーディオフレームをそれぞれ符号化する。モード選択部１７０は、符号化された各オーディオフレームを互いに比較し、最高の音質を維持できる符号化モードを選択する。モード選択部１７０は、符号化されたオーディオフレームの特性を測定し、測定された特性を所定の基準値と比較して符号化モードを選択する。一実施形態によれば、オーディオフレームの特性は、信号対ノイズ比でありうる。モード選択部１７０は、測定された信号対ノイズ比を所定の基準値と比較し、信号対ノイズ比が基準値よりさらに大きいモードのうち符号化モードを選択する。他の実施形態によれば、モード選択部１７０は、信号対ノイズ比の最も大きいモードを符号化モードとして選択する。

図２は、本発明の一実施形態によって、複数の線形予測を利用してオーディオ信号を符号化する符号化器の構成を示すブロック図である。本発明によるオーディオ信号符号化器は、第１線形予測分析部２１０、第１残余信号生成部２２０、第２線形予測分析部２３０、第２残余信号生成部２４０、及び加重線形予測変換符号化部２５０を備える。

第１線形予測部２１０は、オーディオフレームに対して線形予測を行って、第１線形予測データ及び第１線形予測係数を生成する。第１線形予測係数量子化部２１１は、第１線形予測係数を量子化する。一実施形態によれば、オーディオ信号復号化器は、第１線形予測係数を利用して第１線形予測データを復元する。

第１残余信号生成部２２０は、オーディオフレームに対して第１線形予測データを除去して、第１残余信号を生成する。第１残余信号生成部２２０は、複数のオーディオフレームまたは単一のオーディオフレーム内でオーディオ信号を分析し、オーディオ信号の値の変化を予想して、第１線形予測データを生成する。第１線形予測データの値がオーディオ信号の実際の値と非常に類似しているならば、オーディオフレームから第１線形予測データを除去した第１残余信号が有する値の範囲は狭い。したがって、実際のオーディオ信号でなく、第１残余信号を符号化するならば、少ないビットのみでオーディオフレームを符号化できる。

第２線形予測部２３０は、第１残余信号に対して線形予測を行って、第２線形予測データ及び第２線形予測係数を生成する。第２線形予測係数量子化部２３１は、第２線形予測係数を量子化する。オーディオ信号復号化器は、第２線形予測係数を利用して第１線形予測データを生成する。

第２残余信号生成部２４０は、第１残余信号から第２線形予測データを除去して、第２残余信号を生成する。一般的に、第２残余信号が有する値の範囲は、第１残余信号が有する値の範囲よりさらに狭い。したがって、第２残余信号を符号化するならば、さらに少ないビットのみでオーディオフレームを符号化できる。

加重線形予測変換符号化部２５０は、第２残余信号に対して加重線形予測変換符号化を行って、コードブックインデックス、コードブックの利得、ノイズレベルなどのパラメータを生成する。パラメータ量子化部２６０は、加重線形予測変換部２５０が生成したパラメータ及び符号化された第２残余信号を量子化する。

オーディオ信号復号化器は、量子化された第２残余信号、量子化されたパラメータ、量子化された第１線形予測係数、及び量子化された第２線形予測係数に基づいて、符号化されたオーディオフレームを復号化する。

図３は、本発明の一実施形態によるオーディオ信号復号化器の構成を示すブロック図である。本発明の一実施形態によるオーディオ信号復号化器３００は、復号化モード決定部３１０、ビット率判断部３２０、及び加重線形予測変換復号化部３３０を備える。

復号化モード決定部３１０は、オーディオフレームの復号化モードを判断する。各オーディオフレームに含まれたオーディオ信号の特性は相異なるので、各オーディオフレームは、相異なる符号化モードで符号化される。復号化モード判断部３１０は、各オーディオフレームの符号化モードに相応する復号化モードを決定する。

ビット率判断部３２０は、符号化されたオーディオフレームのビット率を判断する。一実施形態によれば、各オーディオフレームに含まれるオーディオ信号の特性は相異なりうる。したがって、各オーディオフレームに含まれたオーディオ信号は、相異なるビット率で符号化される。ビット率判断部３２０は、オーディオフレームに対してビット率を判断する。

一実施形態によれば、ビット率判断部３２０は、決定された復号化モードを参照して、ビット率を判断する。

加重線形予測変換復号化部３３０は、判断された復号化率及び決定された復号化モードによって、オーディオフレームに対して加重予測変換復号化を行う。加重線形予測変換復号化部３３０の多様な実施形態については、以下、図４、図６及び図８で詳細に説明する。

図４は、本発明によって、複数の線形予測を利用して、オーディオ信号を復号化する加重線形予測変換復号化部の構成を示すブロック図である。加重線形予測変換復号化部は、パラメータ復号化部４１０、残余信号復元部４２０、第２線形予測係数逆量子化部４３０、第２線形予測合成部４４０、第１線形予測係数逆量子化部４５０及び第１線形予測合成部４６０を備える。

パラメータ復号化部４１０は、量子化されたコードブックインデックス、コードブックの利得、ノイズレベルなどのパラメータを復号化する。一実施形態によれば、パラメータは、符号化されたオーディオフレームにオーディオ信号の一部として含まれる。残余信号復元部４２０は、復号化されたコードブックインデックス、復号化されたコードブックの利得を参照して、第２残余信号を復元する。一実施形態によれば、コードブックは、ガウス分布による複数の構成要素を含んでもよい。残余信号復元部は、コードブックインデックスを利用して、コードブックの構成要素のうち一部の構成要素を選択し、選択された構成要素及びコードブックの利得に基づいて、第２残余信号を復元する。

第２線形予測係数逆量子化部４３０は、量子化された第２線形予測係数を復元する。第２線形予測合成部４４０は、第２線形予測係数を利用して、第２線形予測データを復元する。第２線形予測合成部４４０は、復元された第２線形予測データと第２残余信号とを合せて、第１残余信号を復元する。

第１線形予測係数逆量子化部４５０は、量子化された第１線形予測係数を復元する。第１線形予測合成部４６０は、第１線形予測係数を利用して、第１線形予測データを復元する。第１線形予測合成部４６０は、復元された第１線形予測データと第２残余信号とを合せて、オーディオ信号を復号化する。

図５は、本発明の一実施形態によって、ＴＮＳ(Temporal Noise Shaping)を利用して、オーディオ信号を符号化する符号化器の構成を示すブロック図である。一実施形態によるオーディオ信号符号化器は、線形予測部５１０、線形予測係数量子化部５１１、残余信号生成部５２０及び加重線形予測変換符号化部５３０を備える。

加重線形予測変換符号化部５３０は、周波数領域変換部５４０、ＴＮＳ部５５０、周波数領域処理部５６０及び量子化部５７０を備える。

線形予測部５１０は、オーディオフレームに対して線形予測を行って、線形予測データ及び線形予測係数を生成する。線形予測係数量子化部５１１は、線形予測係数を量子化する。一実施形態によれば、オーディオ信号復号化器は、線形予測係数を利用して、線形予測データを復元する。

残余信号生成部５２０は、オーディオフレームに対して線形予測データを除去して、残余信号を生成する。加重線形予測変換符号化部５３０は、残余信号を符号化して、低いビット率で高音質のオーディオ信号を符号化する。

周波数領域変換部５４０は、時間領域の残余信号を周波数領域に変換する。一実施形態によれば、周波数領域変換部５４０は、高速フーリエ変換(FFT: Fast Fourier Transform)または変形離散コサイン変換(MDCT: Modified Discrete Cosine Transform)を利用して、残余信号を周波数領域に変換する。

ＴＮＳ部は、周波数領域の残余信号に対してＴＮＳを行う。ＴＮＳは、アナログの連続的な音楽データを量子化して、デジタルデータに作る時に生じる誤差を知能的に減らして、雑音を減少させ、原音に近くする方法であって、時間軸ノイズ整形ともいう。時間領域で突然に発生した信号があるならば、符号化されたオーディオ信号には、プリエコーなどによるノイズが発生する。ＴＮＳは、プリエコーによるノイズを減少させる。

周波数領域処理部５６０は、オーディオ信号の音質を向上させ、符号化を容易にするための周波数領域での色々な処理を行える。

量子化部５７０は、ＴＮＳが行われた残余信号を量子化する。

図５に示す実施形態によれば、ＴＮＳを行って、符号化されたオーディオ信号のノイズを減少させる。したがって、低いビット率で高音質のオーディオ信号を符号化できる。

図６は、本発明の一実施形態によって、ＴＮＳが行われたオーディオ信号を復号化する復号化器の構成を示すブロック図である。一実施形態によるオーディオ信号復号化器は、逆量子化部６１０、周波数領域処理部６２０、逆ＴＮＳ部６３０、時間領域変換部６４０、線形予測係数逆量子化部６５０、及び線形予測変換復号化部６６０を備える。

逆量子化部６１０は、フレームに含まれた量子化された残余信号を逆量子化して、
残余信号を復元する。逆量子化部で復元された残余信号は、周波数領域の残余信号でありうる。

周波数領域処理部６２０は、オーディオ信号の音質を向上させ、符号化を容易にするための周波数領域での色々な処理を行える。

逆ＴＮＳ部６３０は、逆量子化された残余信号に逆ＴＮＳを行う。逆ＴＮＳは、量子化時に発生したノイズを除去するためのものである。時間領域で突然に発生した信号は、量子化時にプリエコーによるノイズを発生させるが、逆ＴＮＳ部６３０は、かかるノイズを除去できる。

時間領域変換部６４０は、逆ＴＮＳが行われた残余信号を時間領域に変換する。

線形予測係数逆量子化部６５０は、オーディオフレームに含まれた量子化された線形予測係数を逆量子化する。加重線形予測変換復号化部６６０は、逆量子化された線形予測係数に基づいて、線形予測データを生成し、線形予測データと時間領域の残余信号とを合せて、符号化されたオーディオ信号を線形予測復号化する。

図７は、本発明の一実施形態によって、コードブックを利用して、オーディオ信号を符号化する符号化器の構成を示すブロック図である。一実施形態によるオーディオ信号符号化器は、線形予測部７１０、線形予測係数量子化部７１１、残余信号生成部７２０、及び加重線形予測変換符号化部７３０を備える。図７に示す線形予測部７１０、線形予測係数量子化部７１１、残余信号生成部７２０の動作は、図５に示す線形予測部５１０、線形予測係数量子化部５１１、残余信号生成部５２０の動作と類似しているので、詳細な説明は省略する。

加重線形予測変換符号化部７３０は、周波数領域変換部７４０、探索部７５０及び符号化部７６０を備える。

周波数領域変換部７４０は、時間領域の残余信号を周波数領域に変換する。一実施形態によれば、周波数領域変換部７４０は、高速フーリエ変換または変形離散コサイン変換を利用して、残余信号を周波数領域に変換する。

探索部７５０は、コードブックに含まれた複数の構成要素のうち、周波数領域に変換された残余信号に相応する構成要素を探索する。一実施形態によれば、残余信号に相応する構成要素は、コードブックに含まれた複数の構成要素のうち、残余信号と類似した構成要素でありうる。一実施形態によれば、コードブックの構成要素は、ガウス分布による。

符号化部７６０は、残余信号に相応する構成要素のインデックスを符号化する。

一実施形態によれば、オーディオ信号符号化器は、残余信号を符号化せず、残余信号と類似したコードブックのインデックスを符号化する。コードブックの構成要素は、残余信号と類似しているが、コードブックのインデックスは、残余信号に比べてその容量がはるかに少ない。したがって、低いビット率で高い音質のオーディオ信号を符号化できる。

オーディオ信号復号化器は、コードブックのインデックスを復号化し、復号化されたコードブックのインデックスを参照して、残余信号と類似したコードブックの構成要素を抽出する。

図７では、一回の線形予測及びコードブックを利用して、オーディオ信号を符号化する実施形態が示されたが、本発明の他の実施形態によれば、複数の線形予測及びコードブックを利用して、オーディオ信号を符号化する。図２を参照すれば、線形予測部７１０は、残余信号に対する線形予測を行って、第２線形予測データを生成する。残余信号生成部７２０は、残余信号から第２線形予測データを除去して、第２残余信号を生成する。

探索部７５０は、コードブックの構成要素から第２残余信号に相応する構成要素を探索し、符号化部７６０は、第２残余信号に相応する構成要素のインデックスを符号化する。

図８は、本発明の一実施形態によって、コードブックを利用して、オーディオ信号を復号化する復号化器の構成を示すブロック図である。一実施形態によるオーディオ信号復号化器は、逆量子化部８１０、コードブック保存部８２０、抽出部８３０、時間領域変換部８４０、線形予測係数逆量子化部８５０、及び加重線形予測変換復号化部８６０を備える。

逆量子化部８１０は、オーディオフレームに含まれた量子化されたコードブックインデックスを逆量子化する。

コードブック保存部８２０は、複数の構成要素を含むコードブックを保存する。一実施形態によれば、コードブックの構成要素は、ガウス分布による。

抽出部８３０は、コードブックインデックスを参照して、コードブックから一部の構成要素を抽出する。コードブックインデックスは、コードブックの構成要素のうち、残余信号と類似した構成要素を指示する。抽出部８３０は、逆量子化されたコードブックインデックスを参照して、残余信号と類似したコードブックの構成要素を抽出する。

時間領域変換部８４０は、抽出されたコードブックの構成要素を時間領域に変換する。

線形予測係数逆量子化部８５０は、オーディオフレームに含まれた量子化された線形予測係数を逆量子化する。加重線形予測変換復号化部８６０は、逆量子化された線形予測係数に基づいて、線形予測データを生成し、線形予測データと時間領域のコードブックの構成要素とを合せて、符号化されたオーディオ信号を加重線形予測変換復号化する。

図９は、本発明の一実施形態によって、オーディオ信号の符号化モードを決定するモード選択部の構成を示すブロック図である。本発明によるモード選択部は、音声活性度分析部９１０、無声音認知部９２０、無声音符号化部９３０、及び有声音符号化部９４０を備える。

音声活性度分析部(VAD: Voice Activity Detection)９１０は、オーディオフレームに含まれたオーディオ信号の音声活性度を分析する。オーディオ信号の音声活性度が所定の臨界値より低ければ、音声活性度分析部９１０は、オーディオ信号が黙音であると判断する。

無声音認知部９２０は、オーディオ信号が無声音であるか有声音であるかを認知する。無声音は、人間の声のうち、声帯を振動させずに発生する声であり、有声音は、声帯を振動させて発生する声である。

無声音認知部９２０が、入力されたオーディオ信号が無声音であると認知した場合、無声音符号化部９３０は、入力されたオーディオ信号を符号化する。

無声音符号化部９３０は、可変ビット率線形予測変換符号化部９５１、無声線形予測変換符号化部９５２、及び無声ＣＥＬＰ符号化部９５３を備える。入力信号が無声音である場合に、線形予測変換符号化モード、無声線形予測変換符号化モード、及び無声ＣＥＬＰ符号化モードは、各モードの符号化部である線形予測変換符号化部９５１、無声線形予測変換符号化部９５２、及び無声ＣＥＬＰ符号化部９５３を利用して、オーディオ信号を符号化する。

第１符号化モード選択部９５４は、各モードによって符号化されたオーディオフレームの符号化された以後の特性に基づいて、符号化モードを選択する。一実施形態によれば、オーディオフレームの特性は、オーディオフレームの信号対ノイズ比(SNR: Signal to Noise Ratio)でありうる。すなわち、第１符号化モード選択部９５４は、各モードによって符号化されたオーディオフレームの符号化された以後の信号対ノイズ比に基づいて、符号化モードを選択する。第１符号化モード選択部９５４は、符号化されたオーディオフレームの信号対ノイズ比の高い符号化モードを、入力オーディオフレームについての符号化モードとして選択する。

図９では、第１符号化モード選択部９５４が、三つのモードのうち符号化モードを選択する実施形態が示されたが、他の実施形態によれば、第１符号化モード選択部９５４は、可変ビット率線形予測変換モードまたは無声線形予測変換符号化モードの二つのモードのうち符号化モードを選択してもよい。

さらに他の実施形態によれば、第１符号化モード選択部９５４は、各モードのオフセット（ｏｆｆ）を異ならせて符号化された以後の信号対ノイズ比に基づいて、符号化モードを選択する。すなわち、第１符号化モード選択部９５４は、可変ビット率線形予測変換符号化部９５１のオフセットと、無声線形予測変換符号化部９５２のオフセットとを異ならせて、オーディオフレームを符号化し、符号化されたオーディオフレームの信号対ノイズ比を互いに比較する。可変ビット率線形予測変換符号化部９５１のオフセットが、無声線形予測変換符号化部９５２のオフセットよりさらに大きい場合にも、可変ビット率線形予測変換符号化モードによって符号化されたオーディオフレームの信号対ノイズ比が、無声線形予測変換符号化モードによって符号化されたオーディオフレームの信号対ノイズ比よりさらに大きい場合には、可変ビット率線形予測変換符号化モードを符号化モードとして選択する。

各モードに対するオフセットを異ならせて、オーディオフレームをそれぞれ符号化し、そのうち大きい信号対ノイズ比を有する符号化モードを選択する方式で、最適の符号化モードを選択する。

無声音認知部９２０が、オーディオフレームに含まれたオーディオ信号が有声音であると認知した場合に、有声音符号化部９４０でオーディオフレームを符号化する。

有声音符号化部９４０は、可変ビット率線形予測変換符号化部９６１及び可変ビット率ＣＥＬＰ符号化部９６２を備える。

可変ビット率線形予測変換符号化部９６１は、可変ビット率線形予測変換符号化モードによって、可変ビット率ＣＥＬＰ符号化部９６２は、可変ビット率ＣＥＬＰ符号化モードによって、オーディオフレームを符号化する。

第２符号化モード選択部９６３は、各モードによって符号化されたオーディオフレームの符号化された以後の特性に基づいて、符号化モードを選択する。一実施形態によれば、オーディオフレームの特性は、オーディオフレームの信号対ノイズ比となりうる。すなわち、第２符号化モード選択部９６３は、符号化されたオーディオフレームの信号対ノイズ比の高い符号化モードを、オーディオフレームについての符号化モードとして選択する。

図９では、音声活性度分析部９１０がモード選択部に含まれた実施形態が示されたが、他の実施形態によれば、音声活性度分析部９１０は、モード選択部と別個に具現されてもよい。

図１０は、本発明の一実施形態によって、加重線形予測変換を利用して、オーディオ信号を符号化する方法を段階別に説明した順序図である。

ステップＳ１０１０では、オーディオフレームの符号化モードを選択する。一実施形態によれば、ステップＳ１０１０では、無声加重線形予測変換符号化モード及び無声ＣＥＬＰ符号化モードのうち、符号化モードを選択する。ステップＳ１０１０では、各符号化モードによって符号化されたオーディオフレームの信号対ノイズ比に基づいて、符号化モードを選択する。すなわち、無声加重線形予測変換符号化モードによって符号化されたオーディオフレームの信号対ノイズ比が、無声ＣＥＬＰ符号化モードによって符号化されたオーディオフレームの信号対ノイズ比よりさらに高ければ、ステップＳ１０１０では、無声加重線形予測変換符号化モードを符号化モードとして選択する。

ステップＳ１０２０では、ステップＳ１０１０で選択された符号化モードによって、オーディオフレームのターゲットビット率を決定する。一実施形態によれば、ステップＳ１０１０では、符号化モードを無声加重線形予測変換符号化モードとして決定する。これは、オーディオフレームに含まれたオーディオ信号が無声音であることを意味する。オーディオ信号が無声音である場合、非常に低いターゲットビット率を決定する。ステップＳ１０１０では、有声ＣＥＬＰモードを符号化モードとして決定する。これは、オーディオ信号が有声音であることを意味する。ステップＳ１０２０では、有声音に対して高いターゲットビット率を決定する。

ステップＳ１０３０では、決定されたターゲットビット率及び選択された符号化モードによって、オーディオフレームに対して加重線形予測変換符号化を行う。一実施形態によれば、ステップＳ１０３０では、複数の線形予測を利用して、オーディオフレームを符号化するか、またはＴＮＳを利用して、オーディオフレームを符号化するか、またはコードブックを利用して、オーディオフレームを符号化する。それぞれの実施形態については、以下、図１１ないし図１３で詳細に説明する。

図１１は、本発明の一実施形態によって、複数の線形予測を利用して、オーディオ信号を符号化する方法を段階別に説明した順序図である。

ステップＳ１１１０では、オーディオフレームに対して線形予測を行って、第１線形予測データ及び第１線形予測係数を生成する。オーディオ信号復号化器は、第１線形予測係数に基づいて、第１線形予測データを復元する。

ステップＳ１１２０では、オーディオフレームに対して第１線形予測データを除去して、第１残余信号を生成する。オーディオフレームに含まれたオーディオ信号についての予測が正確であれば、第１線形予測データは、実際のオーディオ信号と類似している。したがって、第１残余信号のサイズは、オーディオ信号のサイズに比べて小さい。

ステップＳ１１３０では、第１残余信号に対して線形予測を行って、第２線形予測データ及び第２線形予測係数を生成する。オーディオ信号復号化器は、第２線形予測係数に基づいて、第２線形予測データを復元する。

ステップＳ１１４０では、第１残余信号から第２線形予測データを除去して、第２残余信号を生成する。

ステップＳ１０３０では、第２残余信号を符号化する。第２残余信号のサイズは、第１残余信号のサイズ及びオーディオ信号のサイズよりさらに小さい。したがって、非常に低いビット率でオーディオ信号を符号化する場合にも、オーディオ信号の音質を維持できる。

図１２は、本発明の一実施形態によって、ＴＮＳを利用して、オーディオ信号を符号化する方法を段階別に説明した順序図である。

ステップＳ１２１０では、オーディオフレームに対して線形予測を行って、線形予測データ及び線形予測係数を生成する。オーディオ信号復号化器は、線形予測係数に基づいて、線形予測データを復元する。

ステップＳ１２２０では、オーディオフレームから線形予測データを除去して、残余信号を生成する。

ステップＳ１０３０では、残余信号を加重線形予測変換符号化する。以下、ステップＳ１０３０について詳細に説明する。

ステップＳ１２３０では、残余信号を周波数領域に変換する。一実施形態によれば、ステップＳ１２３０では、高速フーリエ変換または変形離散コサイン変換を利用して、残余信号を周波数領域に変換する。

ステップＳ１２４０では、周波数領域に変換された残余信号に対してＴＮＳを行う。オーディオ信号が時間領域で突然発生した信号を含むならば、符号化されたオーディオ信号には、プリエコーなどによるノイズが発生する。ＴＮＳは、プリエコーによるノイズを減少させる。

ステップＳ１２５０では、ＴＮＳが行われた残余信号を量子化する。残余信号が有する値の範囲は、オーディオ信号が有する値の範囲より狭い。したがって、オーディオ信号でなく、残余信号を量子化すれば、さらに少ないビットを利用して、オーディオ信号を量子化できる。

図１３は、本発明の一実施形態によって、コードブックを利用して、オーディオ信号を符号化する方法を段階別に説明した順序図である。

ステップＳ１３１０及びステップＳ１３２０は、ステップＳ１２１０及びステップＳ１２２０と類似しているので、詳細な説明は省略する。

ステップＳ１０３０では、残余信号を加重線形予測変換符号化する。以下、ステップＳ１０３０について詳細に説明する。

ステップＳ１２３０では、残余信号を周波数領域に変換する。一実施形態によれば、ステップＳ１３３０では、高速フーリエ変換または変形離散コサイン変換を利用して、残余信号を周波数領域に変換する。

ステップＳ１３４０では、コードブックの構成要素のうち、周波数領域に変換された残余信号に相応する構成要素を探索する。一実施形態によれば、相応する構成要素は、コードブックの構成要素のうち、残余信号と類似した構成要素でありうる。一実施形態によれば、コードブックの構成要素は、ガウス分布による。

ステップＳ１３５０では、残余信号に相応するコードブックの構成要素のインデックスを符号化する。したがって、低いビット率で高音質のオーディオ信号を符号化できる。

以上のように、本発明は、限定された実施形態と図面により説明されたが、本発明は、前記の実施形態に限定されるものではなく、当業者ならば、かかる記載から多様な修正及び変形が可能であろう。

前述したオーディオ信号の符号化方法またはオーディオ信号の復号化方法は、多様なコンピュータ手段を通じて行われるプログラム命令の形態に具現されて、コンピュータで読み取り可能な媒体に記録される。前記コンピュータで読み取り可能な媒体は、プログラム命令、信号ファイル、信号構造などを単独にまたは組み合わせて含む。前記媒体に記録されるプログラム命令は、特に設計されて構成されたものであるか、またはコンピュータソフトウェア当業者に公知されて使用可能なものであってもよい。コンピュータで読み取り可能な記録媒体の例には、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような磁気・光媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリのようなプログラム命令を保存して行うように特に構成されたハードウェア装置が含まれる。前記媒体は、プログラム命令、信号構造などを指定する信号を伝送する搬送波を含む光または金属線、導波管などの伝送媒体であってもよい。プログラム命令の例には、コンパイラーにより形成されるような機械語コードだけでなく、インタープリタなどを使用して、コンピュータにより実行される高級言語コードを含む。前記ハードウェア装置は、動作を行うために一つ以上のソフトウェアモジュールとして作動するように構成され、その逆も同様である。

本発明の範囲は、前述した実施形態に限定されて決まってはならず、後述する特許請求の範囲だけでなく、この特許請求の範囲と均等なものにより決まらねばならない。

Claims (20)

1. フレームの単位でオーディオフレームの符号化モードを選択するモード選択部と、
   前記選択された符号化モードによって、前記オーディオフレームのターゲットビット率を決定するビット率決定部と、
   前記決定されたターゲットビット率によって、前記オーディオフレームに対して、加重線形予測変換(Weighted Linear Prediction Transform)符号化を行う加重線形予測変換符号化部と、を備えることを特徴とするオーディオ信号符号化器。
2. 前記モード選択部は、無声の加重線形予測変換符号化モードまたは無声のＣＥＬＰ符号化モードのうち、前記オーディオフレームの符号化後の信号対ノイズ比(SNR: Signal to Noise Ratio)に基づいて、前記符号化モードを選択することを特徴とする請求項１に記載のオーディオ信号符号化器。
3. 前記モード選択部は、無声の加重線形予測変換符号化モードまたは無声のＣＥＬＰ符号化モードのうち、各モードのオフセットを異ならせて符号化された前記オーディオフレームの信号対ノイズ比に基づいて、前記符号化モードを選択することを特徴とする請求項１に記載のオーディオ信号符号化器。
4. 前記選択された符号化モードによって、前記オーディオフレームに対して、ＣＥＬＰ方式の符号化を行うＣＥＬＰ符号化部をさらに備えることを特徴とする請求項１に記載のオーディオ信号符号化器。
5. 前記ＣＥＬＰ符号化部は、前記決定されたビット率を参照して、前記オーディオフレームに対する符号化を行うことを特徴とする請求項４に記載のオーディオ信号符号化器。
6. 前記オーディオフレームに対して線形予測を行って、第１線形予測データを生成する第１線形予測部と、
   前記オーディオフレームから前記第１線形予測データを除去して、第１残余信号を生成する第１残余信号生成部と、
   前記第１残余信号に対して線形予測を行って、第２線形予測データを生成する第２線形予測部と、
   前記第１残余信号から前記第２線形予測データを除去して、第２残余信号を生成する第２残余信号生成部と、をさらに備え、
   前記加重線形予測変換符号化部は、前記第２残余信号に対する変換を行うことを特徴とする請求項１に記載のオーディオ信号符号化器。
7. 前記オーディオフレームに対して線形予測を行って、線形予測データを生成する線形予測部と、
   前記オーディオフレームから残余信号を生成する残余信号生成部と、をさらに備え、
   前記加重線形予測変換符号化部は、
   前記残余信号を周波数領域に変換する周波数領域変換部と、
   前記周波数領域の残余信号に対してＴＮＳを行うＴＮＳ部と、
   前記ＴＮＳが行われた残余信号を量子化する量子化部と、を備えることを特徴とする請求項１に記載のオーディオ信号符号化器。
8. 前記オーディオフレームに対して線形予測を行って、線形予測データを生成する線形予測部と、
   前記オーディオフレームから残余信号を生成する残余信号生成部と、をさらに備え、
   前記加重線形予測変換符号化部は、
   前記残余信号を周波数領域に変換する周波数領域変換部と、
   コードブックに含まれた複数の構成要素のうち、前記周波数領域に変換された残余信号に相応する構成要素を探索する探索部と、
   前記相応する構成要素のインデックスを符号化する符号化部と、を備えることを特徴とする請求項１に記載のオーディオ信号符号化器。
9. 符号化されたオーディオフレームのビット率をフレームの単位で決定するビット率判断部と、
   前記判断されたビット率によって、前記オーディオフレームに対して、加重線形予測変換(Weighted Linear Prediction Inverse Transform)復号化を行う加重線形予測変換復号化部と、を備えることを特徴とするオーディオ信号復号化器。
10. 前記オーディオフレームの復号化モードを判断する復号化モード決定部をさらに備え、
    前記ビット率判断部は、前記決定された復号化モードを参照して、前記ビット率を判断することを特徴とする請求項９に記載のオーディオ信号復号化器。
11. 前記加重線形予測変換復号化部は、
    前記オーディオフレームに含まれたコードブックインデックスを参照して、ガウス分布による複数の構成要素を備えるコードブックから第２残余信号を復元する残余信号復元部と、
    前記オーディオフレームに含まれた第２線形予測係数に基づいて、第２線形予測データを復元し、前記第２残余信号と前記第２線形予測データとを合せて、第１残余信号を復元する第２線形予測合成部と、
    前記オーディオフレームに含まれた第１線形予測係数に基づいて、第１線形予測データを復元し、前記第１残余信号と前記第１線形予測データとを合せて、符号化されたオーディオフレームを線形予測復号化する第１線形予測合成部と、を備えることを特徴とする請求項９に記載のオーディオ信号復号化器。
12. 前記加重線形予測変換復号化部は、
    前記オーディオフレームに含まれた量子化された残余信号を逆量子化する逆量子化部と、
    前記逆量子化された残余信号を逆ＴＮＳ行う逆ＴＮＳ部と、
    前記逆ＴＮＳが行われた残余信号を時間領域に変換する時間領域変換部と、
    前記フレームに含まれた線形予測係数に基づいて、線形予測データを生成し、前記線形予測データと前記時間領域の残余信号とを合せて、前記オーディオフレームを線形予測復号化する線形予測復号化部と、を備えることを特徴とする請求項９に記載のオーディオ信号復号化器。
13. 前記加重線形予測変換復号化部は、
    前記オーディオフレームに含まれたコードブックインデックスを参照して、ガウス分布による複数の構成要素を備えるコードブックから一部の構成要素を抽出する抽出部と、
    前記抽出された構成要素を時間領域に変換する時間領域変換部と、
    前記オーディオフレームに含まれた線形予測係数に基づいて、線形予測データを生成し、前記線形予測データと前記時間領域のコードブックの構成要素とを合せて、前記オーディオフレームを線形予測復号化する線形予測復号化部と、を備えることを特徴とする請求項９に記載のオーディオ信号復号化器。
14. オーディオフレームの符号化モードを選択するステップと、
    前記選択された符号化モードによって、フレームの単位で前記オーディオフレームのビット率を決定するステップと、
    前記決定されたビット率によって、前記オーディオフレームに対して、加重線形予測変換符号化を行うステップと、を含むことを特徴とするオーディオ信号符号化方法。
15. 前記符号化モードを選択するステップは、
    無声の加重線形予測変換符号化モード及び無声のＣＥＬＰ符号化モードのうち、前記オーディオフレームの符号化後の信号対ノイズ比に基づいて、前記符号化モードを選択することを特徴とする請求項１４に記載のオーディオ信号符号化方法。
16. 前記符号化モードを選択するステップは、
    無声の加重線形予測変換符号化モードまたは無声のＣＥＬＰ符号化モードのうち、各モードのオフセットを異ならせて符号化された前記オーディオフレームの信号対ノイズ比に基づいて、前記符号化モードを選択することを特徴とする請求項１４に記載のオーディオ信号符号化方法。
17. 前記オーディオフレームに対して線形予測を行って、第１線形予測データを生成するステップと、
    前記オーディオフレームから前記第１線形予測データを除去して、第１残余信号を生成するステップと、
    前記第１残余信号に対して線形予測を行って、第２線形予測データを生成するステップと、
    前記第１残余信号から前記第２線形予測データを除去して、第２残余信号を生成するステップと、をさらに含み、
    前記加重線形予測変換符号化するステップは、前記第２残余信号に対する変換を行うステップであることを特徴とする請求項１４に記載のオーディオ信号符号化方法。
18. 前記オーディオフレームに対して線形予測を行って、線形予測データを生成するステップと、
    前記オーディオフレームから残余信号を生成するステップと、をさらに含み、
    前記加重線形予測変換符号化するステップは、
    前記残余信号を周波数領域に変換するステップと、
    前記周波数領域の残余信号に対してＴＮＳを行うステップと、
    前記ＴＮＳが行われた残余信号を量子化するステップと、を含むことを特徴とする請求項１４に記載のオーディオ信号符号化方法。
19. 前記オーディオフレームに対して線形予測を行って、線形予測データを生成するステップと、
    前記オーディオフレームから残余信号を生成するステップと、をさらに含み、
    前記加重線形予測変換符号化するステップは、
    前記残余信号を周波数領域に変換するステップと、
    コードブックに含まれた複数の構成要素のうち、前記周波数領域に変換された残余信号に相応する構成要素を探索するステップと、
    前記相応する構成要素のインデックスを符号化するステップと、を含むことを特徴とする請求項１４に記載のオーディオ信号符号化方法。
20. 請求項１４ないし１９のうちいずれか一項に記載の方法を実行させるためのプログラムが記録されたコンピュータで読み取り可能な記録媒体。
    

Images