JP4794448B2 - オーディオエンコーダ - Google Patents

Description

本発明は、少なくとも２チャンネル以上のマルチチャンネル信号を符号化するオーディオエンコーダに関する。特に、マルチチャンネル信号をダウンミックスした混合信号（ダウンミックス信号）を元のマルチチャンネルの信号に分離するのに必要な補助情報を具体的に作成する技術に関する。

近年、Ｓｐａｔｉａｌ Ｃｏｄｅｃ（空間的符号化）といわれる技術の開発が行われている。これは、非常に少ない情報量でマルチチャンネルの臨場感を圧縮・符号化することを目的としている。

例えば、既にデジタルテレビの音声方式として広く用いられているマルチチャンネルコーデックであるＡＡＣ方式が、５．１ｃｈ当り５１２ｋｂｐｓや、３８４ｋｂｐｓというビットレートを要する。これに対し、Ｓｐａｔｉａｌ Ｃｏｄｅｃでは、１２８ｋｂｐｓや、６４ｋｂｐｓ、さらに４８ｋｂｐｓといった非常に少ないビットレートでマルチチャンネル信号を圧縮・符号化することを目指している。そのための技術として、例えば、特許文献１がある。

それによると、チャンネル間のレベル比（以下「レベル差」、「ゲイン比」とも記す。）等を符号化することによって、少ない情報量で臨場感を圧縮符号化することが述べられている。

より具体的には、聴覚空間（ＢＣＣ）符号化において、入力信号のスペクトル成分がダウン混合され、ＢＣＣパラメータ（例えば、チャンネル間レベルおよび／或いは時間差）が生成され、ステレオ実現においては、左右のチャンネルを周波数領域に変換した後に、対の左右のチャンネルのスペクトル成分がモノ成分にダウン混合される。その後、これらモノ成分と、ダウン混合されなかった左右のチャンネルのスペクトル成分とを時間領域に逆変換することでハイブリッドステレオ信号が生成され、次にこれらハイブリッドステレオ信号を従来の符号化技術を用いて符号化される。再生のためには、符号化されたビット流が従来の復号技術を用いて復号される。次に、ＢＣＣ合成技術を用いてＢＣＣパラメータを適用することで、これらモノ成分とダウン混合されなかったステレオ成分に基づいて聴覚シーンが合成される。

このため、家庭などのＡＶ機器で本格的に視聴するような場合には、符号化された混合信号を補助情報を用いて分離することで、聴感上、違和感がない程度に信号の分離を達成することが可能となる。しかも、携帯電話機などで、ヘッドフォンなどを用いて気軽に視聴するような場合には、ＢＣＣパラメータを用いずに、ダウンミクス信号だけを復号化すればよく、従来の圧縮方式では実現できない、簡単且つ低演算量での高音質な再生が可能となる。
ＵＳ２００３／０２３６５８３Ａ１号公報 （対応日本国出願、特開２００４−７８１８３号公報）

しかしながら、特許文献１では、該一つ或いは複数のダウン混合されたスペクトル成分に対して一つ或いは複数の聴覚空間パラメータを生成するといった記載や、該一つ或いは複数の聴覚空間パラメータが一つ或いは複数のチャンネル間レベル差とチャンネル間時間差を含むといった記載があるだけで、そのような情報（補助情報）を具体的にどのように量子化し、圧縮するかということは開示されていない。

従って、補助情報の具体的な作成技術の開発が要望されている。

本発明は、このような従来の問題点に鑑みてなされたものであって、混合信号だけを復号化することができ、しかも混合信号を分離するのに必要な補助情報を具体的に作成することができるオーディオエンコーダを提供することを目的とする。

上記目的を達成するために、本発明に係るオーディオエンコーダにおいては、Ｎチャンネル（Ｎ＞１）のオーディオ信号を圧縮符号化するオーディオエンコーダであって、前記オーディオ信号を混合することにより得られた混合信号を、符号化する混合信号符号化手段と、前記混合信号符号化手段により符号化された混合信号から前記Ｎチャンネルのオーディオ信号に復号化するために必要な補助情報を生成する補助情報生成手段とを含み、前記補助情報生成手段は、前記オーディオ信号を周波数領域の信号にそれぞれ変換する変換手段と、前記周波数領域の信号の周波数帯域を複数に分割する分割手段と、前記周波数領域の信号間の相違の度合いを表す位相差情報とゲイン比情報とを検出する検出手段と、前記検出手段により検出された位相差情報とゲイン比情報とを、対応する周波数帯域毎に量子化する量子化手段とを備えることを特徴とする。

なお、本発明は、このようなオーディオエンコーダとして実現することができるだけでなく、このようなオーディオエンコーダが備える特徴的な手段をステップとする符号化方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。また、このようなオーディオエンコーダが備える特徴的な手段を一体化したＬＳＩとして構成することもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのはいうまでもない。

以上の説明から明らかなように、本発明に係るオーディオエンコーダによれば、混合信号だけを復号化することができ、しかも混合信号を分離するのに必要な補助情報を具体的に作成することができるという効果が奏される。

よって、本発明により、簡易且つ高品位の再生が可能となり、携帯電話機等のモバイル機器での簡易な音楽再生や、ＡＶ機器での本格的な音楽再生が普及してきた今日における本願発明の実用的価値は極めて高い。

以下、本発明に係るオーディオエンコーダが適用される、オーディオ信号エンコード・デコードシステムについて説明する。

（実施の形態１）
図１は、本発明に係るオーディオエンコーダを用いて構成される、オーディオ信号エンコード・デコードシステムの全体構成を示すブロック図である。

図１に示されるように、オーディオ信号エンコード・デコードシステム１は、Ｎチャンネル（Ｎ＞１）のオーディオ信号を圧縮符号化するオーディオエンコーダ１０と、オーディオエンコーダ１０によって圧縮符号化されたオーディオ信号を復号化するオーディオデコーダ２０とから構成される。なお、ここでは、説明の便宜のため、２チャンネルのオーディオ信号をエンコードする場合が図示されている。

オーディオエンコーダ１０は、２チャンネルの入力オーディオ信号を混合することにより得られた混合信号を、符号化する混合信号符号化部１１と、混合信号符号化部１１により符号化された混合信号からＮチャンネルのオーディオ信号に復号化するために必要な補助情報（レベル比、位相差）を生成する補助情報生成部１２と、混合信号符号化部１１により符号化された混合信号と、補助情報生成部１２により生成された補助情報とを所定のフレーム毎に連結し、ビットストリームを生成し、生成したビットストリームをオーディオデコーダ２０に出力するフォーマッタ１３とを備える。

例えば、２チャンネルの入力オーディオ信号が図２に示される２つのベクトルである場合、混合信号符号化部１１は、混合信号として符号Ｘで示されるベクトルに合成する。なお、図２において、入力オーディオ信号の一方は、その絶対値が１に正規化されており、他方はレベル比Ｄに正規化されている。補助情報生成部１２は、２チャンネルの入力オーディオ信号のレベル比Ｄと、位相差θとを検出し、これを対応する帯域毎に量子化する。なお、補助情報生成部１２の構成の詳細については、後述する。フォーマッタ１３は、混合信号と、補助情報とを所定のフレーム毎に連結し、ビットストリームを生成する。

図３は、上記ビットストリームのフォーマット構成を示す図である。なお、図３では、１フレーム分のみ例示されている。

本ビットストリームには、所定の時間間隔で設けられるフレーム毎に、前述した符号化された混合信号を格納する領域αと、補助情報を格納する領域βとが、この順序で、設けられている。

図３において、領域α，βにそれぞれ第１フレームに関する対応データが格納され、第２フレームについても同様の構成が繰り返される。

領域αには、例えば２チャンネルの信号をダウンミックスした混合信号をＭＰＥＧ規格ＡＡＣ方式で圧縮符号化し、符号化された混合信号が格納されているものとする。ここでは、信号をベクトル合成する処理をダウンミックスという。

領域βには、２チャンネルのオーディオ信号間のゲイン比Ｄを表す値と、２チャンネルのオーディオ信号間の位相差θを表す値を含む補助情報が格納されている。ここで注意するべきことは、前記位相差θを表す値は、必ずしも位相差θを直接的に符号化したものである必要はなく、例えば、ｃｏｓθのような値を符号化したデータでもよい。その場合、ｃｏｓθの値によって前記位相差θを０゜から１８０゜の範囲で表すことができる。

図１に戻り、オーディオデコーダ２０は、オーディオエンコーダ１０から受信したビットストリームから、符号化された混合信号と補助情報とを、フレーム毎に分離するデフォーマッタ２１と、デフォーマッタ２１により分離された符号化された混合信号を復号化する混合信号復号化部２２と、混合されたオーディオ信号と、Ｎチャンネルのオーディオ信号との何れかを選択的に出力する出力選択部２３とを備える。出力選択部２３は、出力先選択スイッチ２３１と、チャンネル拡張復号化部２３２とを備える。

オーディオデコーダ２０が携帯電話機のようなモバイル機器であり、ヘッドフォンで手軽に再生するような場合には、出力先選択スイッチ２３１により、混合信号復号化部２２によって復号化された混合信号がそのまま出力される。

これに対して、ＡＶ機器などにより本格的に再生するような場合には、出力先選択スイッチ２３１により、混合信号復号化部２２によって復号化された混合信号がチャンネル拡張復号化部２３２に出力される。チャンネル拡張復号化部２３２は、補助情報生成部１２と逆の処理、つまり、逆量子化を行い、レベル比および位相差を復号化した後、周波数軸上において、出力先選択スイッチ２３１から入力の対して、図２と逆の処理、つまり対角線が混合信号に対応し、頂角が位相差θとなる菱形を求めることにより、２つのチャンネルのオーディオ信号に分離し、分離されたオーディオ信号を周波数軸から時間軸に変換することにより、臨場感の増した音楽を高品質で再生する。

以下本発明の実施の形態１における補助情報生成部について図面を参照しながら説明する。

図４は、図１に示される補助情報生成部の詳細な構成例を示すブロック図である。
図４に示されるように、補助情報生成部１２ａは、第１の変換部１２１と、第２の変換部１２２と、検出部１２３と、量子化部１２５と、量子化精度設定テーブル１２４とを備える。

第１の変換部１２１は、第１の入力オーディオ信号を周波数帯域信号に変換する。

第２の変換部１２２は、第２の入力オーディオ信号を周波数帯域信号に変換する。

検出部１２３は、第１の入力オーディオ信号と第２の入力オーディオ信号との対応する周波数帯域信号間の相違の度合いを検出する。

量子化精度設定テーブル１２４は、量子化部１２５での量子化の精度を、各周波数帯域毎に設定している。

量子化部１２５は、検出された周波数帯域毎の相違の度合いを量子化する。

以上のように構成された補助情報生成部１２ａの動作について以下説明する。

まず、第１の変換部１２１は、第１の入力オーディオ信号を複数の周波数帯域信号に変換する。これは、例えば、フーリエ変換やコサイン変換などを用いて、入力のオーディオ信号を周波数スペクトル信号に変換し、何本かのスペクトル信号をまとめて所定の周波数帯域信号を構成するような方法でよい。例えば、入力のオーディオ信号を１０２４本の周波数スペクトル信号に変換し、最も低い周波数から４本の周波数スペクトル信号をまとめて第１の周波数帯域信号とし、その次の４本の周波数スペクトル信号をまとめて第２の周波数帯域信号とするなどという方法でよい。ここで周波数が高域に行けば行くほど、多くの本数の周波数スペクトル信号をまとめて周波数帯域信号にするようにしてもよい。或いは、ＱＭＦフィルタバンクなどを用いて周波数帯域信号を求めてもよい。

次に、第２の変換部１２２は、第２の入力オーディオ信号を複数の周波数帯域信号に変換する。この方法は、上記第１の変換部１２１における方法と同じ方法である。

次に、検出部１２３は、第１の入力オーディオ信号と第２の入力オーディオ信号との対応する周波数帯域信号間の相違の度合いを検出する。例えば、対応する周波数帯域信号間のレベル差や、位相差を検出する。

レベル差を検出する方法は、対応する帯域毎の振幅の最大値どうしを比較する方法や、エネルギーレベルを比較する方法などがある。

位相差を検出する方法は、フーリエ級数の実数値と虚数値とから位相角と求める方法や、対応する帯域信号の相関値から求める方法がある。すなわち相関値をＣ（Ｃは±１．０の範囲内）としたとき、位相角はπ＊（１−Ｃ）／２として求めることができる。

最後に、量子化部１２５で、検出された周波数帯域毎の相違の度合いを量子化する。ここで、各帯域毎にどれくらいの精度で量子化するかは、予め、量子化精度設定テーブル１２４によって設定されている。

図５は、量子化精度設定テーブル１２４の一例を示す図である。
図５においては、一番低い帯域に対しては６ビットの量子化ビット数が与えられていることが示されている。次の帯域に対しては５ビット、その次の帯域に対しては４ビット、というように帯域毎に量子化の精度が与えられており、量子化を行う最も高い周波数帯域に対しては１ビットというように、低い帯域ほど、高精度な量子化を行うように設定されている。ここでは、勿論値は一例に過ぎず、他の値であってもよいことはいうまでもない。また、周波数帯域の順に量子化の精度を変えるのではなく、聴覚の感度特性に応じて量子化の精度を変えるようにしてもよいことはいうまでもない。このように量子化部１２５では、量子化精度設定テーブル１２４で設定された量子化精度で各周波数帯域毎の信号を量子化する。

上記においては、説明の簡単化のために、周波数帯域毎の量子化の精度はテーブルによって予め設定されるとしたが、必ずしもその必要がないことはいうまでもない。つまり、入力信号に応じて、当該周波数帯域の量子化の粗さ（Ｃｏａｒｓｅ）を適宜設定し、当該量子化の粗さを示す情報も符号化するという方法でもよい。その場合、粗さを示す情報の符号化信号のサイズを小さくするために、量子化の粗さは、２段階で表すことが適切である。

以上のように本実施の形態１によれば、補助情報生成部１２ａは、Ｎチャンネル（Ｎ＞１）のオーディオ信号をそれぞれ複数の周波数帯域信号に変換する第１の変換部１２１、第２の変換部１２２、Ｎチャンネルのオーディオ信号間の、対応する周波数帯域信号の相違の度合いを検出する検出部１２３と、検出された周波数帯域毎の相違の度合いを量子化する量子化部１２５とを備え、量子化部１２５での量子化の精度を、各周波数帯域毎に設定することによって、低いビットレートでしかも高音質にオーディオ信号を符号化できることとなる。

ところで、既に広く用いられている圧縮方式においても、チャンネル間の位相差や、レベル差を符号化する技術を部分的に取り入れているものもある。例えば前述のＡＡＣ方式（ＩＳＯ／ＩＥＣ１３８１８−７）では、Ｉｎｔｅｎｓｉｔｙ Ｓｔｅｒｅｏといわれる技術が搭載されている。このためこの技術を用いることも考えられる。

このＭＰＥＧ方式ＡＡＣ規格（ＩＳＯ／ＩＥＣ１３８１８−７）における、Ｉｎｔｅｎｓｉｔｙ Ｓｔｅｒｅｏでは、チャンネル間のレベル差が、複数の周波数帯域毎に、２５６値の量子化精度で量子化され、さらに、隣接する周波数帯域間の差分値をハフマン符号化することで圧縮されることが開示されている。

しかしながら、上記のような方法では、全ての周波数帯域毎に２５６値という高精度な量子化を行っているので、無駄な情報量が費やされている。なぜならば、人間の聴覚特性は、周波数帯域毎に感度が異なっているので、そのことを考慮に入れれば、精密な量子化精度で量子化を行うべき帯域と大雑把な精度で量子化を行っても影響の無い帯域を個々に制御するべきであるのに、一律に２５６値という高精度な量子化を行うことは無駄な情報量を費やすことになる。

また、ＭＰＥＧ方式ＡＡＣ規格（ＩＳＯ／ＩＥＣ１３８１８−７）における、Ｉｎｔｅｎｓｉｔｙ Ｓｔｅｒｅｏでは、チャンネル間の位相差が、複数の周波数帯域毎に、２値の量子化精度での量子化であり、結果として、位相差が無いか、位相差が１８０度か、のどちらかしか表現できず、これも、聴覚の感度に応じた制御ができないことになる。

すなわち、従来技術においては、図６（ａ）に示されるように、全周波数バンドに対し、同じ量子化精度（例えば位相角の量子化に例えば３２値）で量子化している。

これに対して、本発明では、図６（ｂ）に示されるように、例えば、低域では３２値、その上の帯域では１６値、さらにその上の帯域では１３値、高域では１１値といったように、帯域に応じて、レベル比および位相差の量子化精度を変更できるようにしている。

従って、チャンネル間位相差情報やレベル差情報を、周波数帯域毎に異なる精度で量子化することで、高音質でしかもビットレートを低くしつつ、オーディオ信号を符号化できることとなる。

なお、高域などにおいて、隣接帯域を１まとめにして（グルーピング）符号化、例えば１１値×１１値の１２０値を７ビットのストライドで符号化、つまり１帯域当り３．５ビットで量子化してもよい。これによっても低ビット化を図ることができる。

（実施の形態２）
以下本発明の実施の形態２における補助情報生成部について図面を参照しながら説明する。

図７は、本実施の形態２における補助情報生成部の他の詳細な構成例を示すブロック図である。なお、図４に示される補助情報生成部１２ａの構成部分と対応する部分に同じ番号を付し、その説明を省略する。

図７に示されるように、補助情報生成部１２ｂは、補助情報生成部１２の構成要素、すなわち第１の変換部１２１、第２の変換部１２２、検出部１２３、量子化精度設定テーブル１２４および量子化部１２５に加えて、さらに圧縮部１２６を備えて構成される。

つまり、実施の形態１と異なるのは、量子化部１２５で量子化された周波数帯域毎の相違の度合いを量子化した量子化値を受けて、当該複数の量子化値をさらに可逆圧縮する圧縮部１２６を備えていることである。ここで、圧縮部１２６による可逆圧縮とは、圧縮による劣化なく完全に元に復号されるロスレス圧縮方法である。

この可逆圧縮として、例えば、各量子化値をハフマン符号によって圧縮する方法などがある。

或いは、差分符号の方法をとってもよい。すなわち、最も低い周波数帯域に対応する量子化値はそのままにし、以降隣接する周波数帯域に対応する量子化値は差分信号を計算しそれを圧縮信号として用いるようにする。これは、隣接する周波数帯域間では、量子化値に大きな差が無いという性質を利用した可逆圧縮である。さらに、その差分信号をハフマン符号によってさらに圧縮してもよい。

或いは、隣接する周波数帯域間で量子化値が等しい場合は、連続して何回等しいかを表すランレングス符号化することによってビット数を削減してもよい。さらに、そのランレングス符号をハフマン符号によってさらに圧縮してもよい。

或いは、Ａ値で量子化された隣接するＢ個の量子化値をＢ桁のＡ進数で表現した値を符号化することによって、ビット数をさらに削減するようにしてもよい。

例えば、５値で量子化された隣接する３個の量子化値を３桁の５進数で表現した場合、取りうる値の最大値は１２４となる。これは、３個の量子化値が全て最大値の４であった場合４＊２５＋４＊５＋４＝１２４であるからである。一方、１２４は、７桁の２進数で表現できるので、５値で量子化された隣接する３個の量子化値は、７ビットで圧縮できることになる。そもそも５値を表現するためには３ビットの情報量が必要なので、３つで９ビット必要となる。つまりこの場合、３つで２ビット情報が削減できることになる。

具体的には、検出部１２３は、入力のオーディオ信号間の、対応する周波数信号の位相差を検出し、量子化部１２５は、検出された位相差を５値で量子化し、圧縮部１２６は、そのようにして量子化された少なくとも２個の量子化値をまとめて圧縮するようにするなどすれば情報量が圧縮できる。ここで、量子化部１２５は、必ずしも位相差を等間隔で５等分した量子化レベルで量子化する必要はない。聴覚の特性に応じて、位相差９０°近傍は粗く、０°近傍は細かく量子化する方がよい。

同様に、検出部１２３は、入力のオーディオ信号間の、対応する周波数信号の位相差を検出し、量子化部１２５は、検出された位相差を３値で量子化し、圧縮部１２６は、そのようにして量子化された少なくとも３個の量子化値をまとめて圧縮するようにするなどすれば情報量が圧縮できる。ここで、量子化部１２５は、必ずしも位相差を等間隔で３等分する必要はなく、聴覚の特性に応じて、位相差９０°近傍は粗く、０°近傍は細かく量子化する方がよい。

また同様に、検出部１２３は、入力のオーディオ信号間の、対応する周波数信号の位相差を検出し、量子化部１２５は、検出された位相差を１１値で量子化し、圧縮部１２６は、そのようにして量子化された少なくとも２個の量子化値をまとめて圧縮するようにするなどすれば情報量が圧縮できる。ここで、量子化部１２５は、必ずしも位相差を等間隔で１１等分する必要はなく、聴覚の特性に応じて、位相差９０°近傍は粗く、０°近傍は細かく量子化する方がよい。

以上のように本実施の形態２によれば、圧縮部１２６により、量子化された複数の量子化値を可逆圧縮することによって、より低いビットレートでしかも高音質にオーディオ信号を符号化できることとなる。

（実施の形態３）
以下本発明の実施の形態３における補助情報生成部について図面を参照しながら説明する。

図８は、本実施の形態３における補助情報生成部のさらに他の詳細な構成例を示すブロック図である。なお、図４に示される補助情報生成部１２ａの構成部分と対応する部分に同じ番号を付し、その説明を省略する。

図８に示されるように、補助情報生成部１２ｃは、第１の変換部１２１と、第２の変換部１２２と、第１の分割部１２７ａと、第２の分割部１２７ｂと、第３の分割部１２７ｃと、第４の分割部１２７ｄと、第１の量子化部１２８ａと、第２の量子化部１２８ｂとを備える。

第１の変換部１２１は、第１の入力オーディオ信号を周波数領域の信号に変換する。

第２の変換部１２２は、第２の入力オーディオ信号を周波数領域の信号に変換する。

第１の分割部１２７ａは、ゲイン比情報に関する周波数分割テーブル１２７１を有し、第１の変換部１２１で生成された周波数領域の信号を複数の周波数帯域毎に分割する。

第２の分割部１２７ｂは、位相差情報に関する周波数分割テーブル１２７２を有し、第１の変換部１２１で生成された周波数領域の信号を第１の分割部１２７ａとは異なる分割の仕方で分割する。

第３の分割部１２７ｃは、ゲイン比情報に関する周波数分割テーブル１２７１を有し、第２の変換部１２２で生成された周波数領域の信号を第１の分割部１２７ａと同じ分割の仕方で分割する。

第４の分割部１２７ｄは、位相差情報に関する周波数分割テーブル１２７２を有し、第２の変換部１２２で生成された周波数領域の信号を第２の分割部１２７ｂと同じ分割の仕方で分割する。

第１の量子化部１２８ａは、ゲイン比情報の量子化精度と、位相差情報の量子化精度とを別々に設定した量子化精度テーブル１２８１を有し、第１の分割部１２７ａで分割された周波数帯域信号と、第３の分割部１２７ｃで分割された周波数帯域信号との、それぞれ対応する周波数帯域毎のゲイン比を検出し、量子化する。

第２の量子化部１２８ｂは、量子化精度テーブル１２８１を有し、第２の分割部１２７ｂで分割された周波数帯域信号と第４の分割部１２７ｄで分割された周波数帯域信号との、それぞれ対応する周波数帯域毎の位相差を検出し、量子化する。

以上のように構成された補助情報生成部１２ｃの動作について以下説明する。

まず、第１の変換部１２１で第１の入力オーディオ信号を周波数領域の信号に変換する。これは、例えば、フーリエ変換などを用いて、入力のオーディオ信号を周波数スペクトル信号に変換する。本実施の形態３では１０２４本の複素フーリエ級数に変換するものとする。

一方、第２の変換部１２２では第２の入力オーディオ信号を周波数領域の信号に変換する。この方法は、第１の変換部１２１における方法と同じ方法である。

次に、第１の分割部１２７ａで、第１の変換部１２１で生成された周波数領域の信号を複数の周波数帯域毎に分割する。この時、分割の仕方は、図９のテーブルに従う。

図９は、周波数分割テーブル１２７１の詳細構成を示す図である。
図９において、左の列は帯域の番号を示しており、中央の列は当該帯域番号の周波数帯域の開始周波数を示しており、右の列は当該帯域番号の周波数帯域の終端周波数を示している。すなわち、第１の分割部１２７ａでは、第１の変換部１２１で生成された周波数領域の信号（１０２４本の複素フーリエ級数）を図９のテーブルに従って、それぞれ示されている周波数帯域毎に分割する。

同様に、第２の分割部１２７ｂで、第１の変換部１２１で生成された周波数領域の信号を複数の周波数帯域毎に分割する。この時、分割の仕方は、図１０のテーブルに従う。

図１０は、周波数分割テーブル１２７２の詳細構成を示す図である。
図１０の意味するところは図９と同様であるが、具体的な帯域の割り当て方が異なっている。本実施の形態３では、一例として、高域側の帯域の分割の幅を、図９に示したものより粗くしている。このような図１０に示されたテーブルに従って、第２の分割部１２７ｂでは、第１の変換部１２１で生成された周波数領域の信号（１０２４本の複素フーリエ級数）をそれぞれ示されている周波数帯域毎に分割する。本実施の形態３では、一例として、高域側の帯域の分割の幅を、図９に示したものより粗くしているが、必ずしもそうでなくてもよく、聴覚の感度の低い帯域幅を選択的に粗くしてもよい。

第３の分割部１２７ｃは、第２の変換部１２２で生成された周波数領域の信号を複数の周波数帯域毎に分割するが、その動作は、第１の分割部１２７ａと同様である。

第４の分割部１２７ｄは、第２の変換部１２２で生成された周波数領域の信号を複数の周波数帯域毎に分割するが、その動作は、第２の分割部１２７ｂと同様である。

次に、第１の量子化部１２８ａでは、第１の分割部１２７ａで分割された周波数帯域信号と第３の分割部１２７ｃで分割された周波数帯域信号との、それぞれ対応する周波数帯域毎のゲイン比を検出し、量子化する。

ここでゲイン比を検出する方法は、対応する帯域毎の振幅の最大値どうしを比較する方法や、エネルギーレベルを比較する方法など、どのような方法でもよく、そのようにして検出されたゲイン比を第１の量子化部１２８ａで量子化する。

次に、第２の量子化部１２８ｂでは、第２の分割部１２７ｂで分割された周波数帯域信号と第４の分割部１２７ｄで分割された周波数帯域信号との、それぞれ対応する周波数帯域毎の位相差を検出し、量子化する。

ここで、位相差を検出する方法は、当該周波数帯域内の、フーリエ級数の、実数値と虚数値の代表値から位相角と求める方法など、どのような方法でもよく、そのようにして検出された位相差を第２の量子化部１２８ｂで量子化する。

ここで注意すべきことは、第１の分割部１２７ａと、第３の分割部１２７ｃとは、共に図９のテーブルに示された分割の仕方で、それぞれ、第１の入力オーディオ信号の周波数信号と第２の入力オーディオ信号の周波数信号とを分割しているので、比較的高域まで細かい周波数毎の分割が行われている。

これに対して、第２の分割部１２７ｂと第４の分割部１２７ｄとは、共に図１０のテーブルに示された分割の仕方で、それぞれ、第１の入力オーディオ信号の周波数信号と第２の入力オーディオ信号の周波数信号とを分割しているので、高域では粗く周波数の分割が行われていることである。

この結果として、ゲイン比情報は、比較的高域まで細かい周波数毎検出され量子化されるが、位相差情報については、高域側では粗く検出され量子化されることになる。これは、高域信号については、位相情報を正確に検知できないという聴覚の特性を考慮したものであり、これによって、聴覚的な音質劣化を少なく留めながら、情報量の削減を行うことができることになる。

上記においては、説明の簡単化のために、周波数信号の分割の仕方はテーブルによって予め設定されるとしたが、必ずしもその必要がないことはいうまでもない。つまり、入力信号に応じて、周波数信号の分割の仕方を適宜設定し、当該分割の仕方を示す情報も符号化するという方法でもよい。

その場合、上記分割の仕方は、以下のように行ってもよい。すなわち、分割されることによって得られるそれぞれのグループ（Ｇｒｏｕｐ）が有する帯域信号の数を低域の周波数帯域から順次所望の幅（Ｓｔｒｉｄｅ）毎にまとめることによって行う、という方法である。

最後に、このようにして量子化されたゲイン比情報と位相差情報とは、所定のルールでフォーマットされビットストリームが形成されるが、それはどのような方法であってもよい。

以上のように本実施の形態３によれば、位相差情報をゲイン比情報より粗い周波数分割で量子化することで、聴覚的な音質劣化を少なくしながら、情報量の削減を行うことができることになる。

なお、本実施の形態３では、周波数分割を粗くすることによって、位相差情報の情報量を削減したが、位相差情報の情報量を削減する方法としては、他にも例えば、個々の周波数帯域毎の位相差情報の量子化精度をゲイン比情報の量子化精度よりも粗くするなどの方法もある。

例えば、図１１に示すように、位相差情報の量子化精度をゲイン比情報の量子化精度より粗く設定するのである。これも位相差情報の聴覚上の知覚感度が、ゲイン比情報の聴覚上の知覚感度より鈍いという特性に基づいている。図１１においても、値は勿論一例に過ぎず、サンプリング周波数やビットレートに応じて適切に設定すればよいが、量子化に際しては、位相差情報に用いるビット数をゲイン比情報に用いるビット数より少なくすることによって、聴感上の音質劣化をできるだけ少なく留めながら高圧縮を実現できる。

また、本実施の形態３では、ゲイン比情報に関する周波数の分割を図９に基づいて行い、位相差情報に関する周波数の分割を図１０に基づいて行ったが、例えば、ゲイン比情報に関する周波数の分割を図１２に基づいて行い、位相差情報に関する周波数の分割を図１３に基づいて行ってもよい。

図９と図１２とを比較すれば、図１２の方が図９より周波数の分割が粗くなっており、図１０と図１３とを比較すれば、図１３の方が図１０より周波数の分割が粗くなっている。従って、分割の仕方を決めるテーブルとして、図１２、図１３に示したものを選択すると、量子化した際の情報量の削減が可能となる。従って、複数のビットレートの動作モードを備えるエンコーダの場合、低いビットレートでの動作時は、周波数の分割の仕方を変えるようにすればよいこととなる。この場合には、帯域番号を合わせて量子化精度テーブル１２８１を用いてもよく、この量子化精度テーブル１２８１よりも低ビットレート用の量子化精度テーブルを用意して用いてもよい。

ここで、本発明の本願発明の特徴を説明する。

図１４（ａ）．図１４（ｂ）に示されるように、ビットレートビットレートに応じて、帯域の分け方を変更するようにしている。これにより、音質劣化を少なくしつつ、低ビットレート化を図ることができる。

また、図１４（ｃ）．図１４（ｄ）に示されるように、位相差情報は、ゲイン差情報より粗いバンドの切り方で符号化するようにしている。また、位相差情報は、ゲイン差情報より粗い量子化精度で量子化するようにしている。

従って、これにより、音質劣化を少なくしつつ、低ビットレート化を図ることができる。

勿論ここでも説明の簡単化のために、周波数信号の分割の仕方が疎なものと密なものとが存在する例として、テーブルによって予め分割の仕方が設定されるとしたが、必ずしもその必要がないことはいうまでもない。例えば、分割されることによって得られるそれぞれのグループ（Ｇｒｏｕｐ）が有する帯域信号の数を低域の周波数帯域から順次所望の幅（Ｓｔｒｉｄｅ）毎にまとめるという方法において、上記Ｓｔｒｉｄｅの値を大とすることによって、分割の仕方が疎となるように設定し、上記Ｓｔｒｉｄｅの値を小とすることによって、分割の仕方が密となるように設定してもよい。

また、上記実施の形態では２チャンネルの入力オーディオ信号について説明したが、それ以上の多チャンネルの入力オーディオ信号について適用してもよい。

例えば、５．１チャンネルのマルチチャンネル信号は、聴視者の前方正面Ｃｅｎｔｅｒ、前方右ＦＲ、前方左ＦＬ、後方右ＢＲ、及び後方左ＢＬに配置される音源からの５チャンネルのオーディオ信号と、オーディオ信号の超低域を表す０．１チャンネルの信号ＬＦＥとから構成される。この場合、混合信号符号化部１１は、前方左ＦＬと、後方左ＢＬと、前方正面Ｃｅｎｔｅｒと、ＬＦＥとのオーディオ信号を２つずつ混合していくことによりダウンミクス信号ＤＬを生成し、前方右ＦＲと、後方右ＢＲと、前方正面Ｃｅｎｔｅｒと、ＬＦＥとのオーディオ信号を２つずつ混合していくことによりダウンミクス信号ＤＲを生成すればよい。また、補助情報生成部１２は、ダウンミクス信号ＤＬについて、前方左ＦＬと、後方左ＢＬと、前方正面Ｃｅｎｔｅｒと、ＬＦＥとのオーディオ信号を２つずつ、レベル比および位相差を検出し、ダウンミクス信号ＤＲについて、前方右ＦＲと、後方右ＢＲと、前方正面Ｃｅｎｔｅｒと、ＬＦＥとのオーディオ信号を２つずつレベル比および位相差を検出すればよい。

本発明に係るオーディオエンコーダは、マルチチャンネル信号を符号化するオーディオエンコーダであるが、特にマルチマルチチャンネル間の位相差やレベル差を非常に少ないビット数で表現できるので、低ビットレートでの音楽放送サービスや、音楽配信サービスに用いられる機器および携帯電話機などのモバイル機器や、ＡＶ機器など、その受信機器に適用するのに適している。

図１は、本発明に係るオーディオエンコーダが適用される、オーディオ信号符号化・復号化システムの全体構成を示すブロック図である。 図２は、２チャンネルのオーディオ信号と、混合信号と、ゲイン比と、位相差との周波数軸上における関係を示す図である。 図３は、オーディオエンコーダ１０から出力されるビットストリームのフォーマット構成を示す図である。 図４は、図１に示される補助情報生成部の詳細な構成例を示すブロック図である。 図５は、量子化精度設定テーブル１２４の一例を示す図である。 図６は、従来技術と本願発明とを対比して説明するための図である。特に図６(ａ)は、従来技術における量子化精度を示す図であり、図６(ｂ)は、本願発明における量子化精度を示す図である。 図７は、本実施の形態２における補助情報生成部の他の詳細な構成例を示すブロック図である。 図８は、本実施の形態３における補助情報生成部のさらに他の詳細な構成例を示すブロック図である。 図９は、ゲイン比情報に関する周波数分割テーブル１２７１の一例を示す図である。 図１０は、位相差情報に関する周波数分割テーブル１２７２の一例を示す図である。 図１１は、ゲイン比情報の量子化精度と、位相差情報の量子化精度とを別々に設定した量子化精度テーブル１２８１の一例を示す図である。 図１２は、低ビットレートモードでの動作時のゲイン比情報に関する周波数分割テーブルの一例を示す図である。 図１３は、低ビットレートモードでの動作時の位相差情報に関する周波数分割テーブルの一例を示す図である。 図１４は、本願発明の特徴を説明するための図である。特に図１４（ａ），図１４（ｂ）は、高ビットレート時および低ビットレート時における量子化精度を比較して示す図であり、図１４（ｃ），図１４（ｄ）は、位相差情報およびゲイン比情報における量子化精度を比較して示す図である。

符号の説明

１０ オーディオエンコーダ
１１ 混合信号符号化部
１２ 補助情報生成部
１３ フォーマッタ
１２１ 第１の変換部
１２２ 第２の変換部
１２３ 検出部
１２４ 量子化精度設定テーブル
１２５ 量子化部
１２６ 圧縮部
１２７ａ 第１の分割部
１２７ｂ 第２の分割部
１２７ｃ 第３の分割部
１２７ｄ 第４の分割部
１２８ａ 第１の量子化部
１２８ｂ 第２の量子化部
１２７１ 周波数分割テーブル
１２７２ 周波数分割テーブル
１２８１ 量子化精度テーブル

Claims (20)

1. Ｎチャンネル（Ｎ＞１）のオーディオ信号を圧縮符号化するオーディオエンコーダであって、
   前記オーディオ信号を混合することにより得られた混合信号を、符号化する混合信号符号化手段と、
   前記混合信号符号化手段により符号化された混合信号から前記Ｎチャンネルのオーディオ信号に復号化するために必要な補助情報を生成する補助情報生成手段とを含み、
   前記補助情報生成手段は、
   前記オーディオ信号を周波数領域の信号にそれぞれ変換する変換手段と、
   前記周波数領域の信号の周波数帯域を複数に分割する分割手段と、
   前記周波数領域の信号間の相違の度合いを表す位相差情報とゲイン比情報とを検出する検出手段と、
   前記検出手段により検出された位相差情報とゲイン比情報とを、対応する周波数帯域毎に量子化する量子化手段とを備え、
   前記分割手段は、前記位相差情報を量子化するための周波数帯域と、前記ゲイン比情報を量子化するための周波数帯域とを、異なる仕方で分割する
   ことを特徴とするオーディオエンコーダ。
2. 前記分割の仕方は、分割されることによって得られるそれぞれのグループ（Ｇｒｏｕｐ）が有する帯域信号の数を、低域の周波数帯域から順次所望の幅（Ｓｔｒｉｄｅ）毎にまとめることによって行う
   ことを特徴とする請求項１記載のオーディオエンコーダ。
3. 前記位相差情報を量子化するための周波数帯域を分割する仕方は、前記ゲイン比情報を量子化するための周波数帯域の分割の仕方よりも粗く分割する
   ことを特徴とする請求項２記載のオーディオエンコーダ。
4. 前記補助情報生成手段は、さらに
   周波数帯域の分割の仕方を規定する第１のテーブルと、
   前記第１のテーブルよりも粗い周波数帯域の分割の仕方を規定する第２のテーブルとを備え、
   前記分割手段は、前記第１および第２のテーブルを切り換えることで、周波数帯域の分割の仕方を適宜変更する
   ことを特徴とする請求項１記載のオーディオエンコーダ。
5. 前記補助情報生成手段は、さらにビットレートを指定するビットレート指定手段を備え、
   前記分割手段は、前記ビットレート指定手段で指定されたビットレートに応じて、周波数帯域の分割の仕方を変更する
   ことを特徴とする請求項４記載オーディオエンコーダ。
6. 前記分割手段は、ビットレートが高い場合は、前記第１のテーブルの規定に従って周波数帯域を分割し、ビットレートが低い場合は、前記第２のテーブルの規定に従って周波数帯域を分割する
   ことを特徴とする請求項５記載のオーディオエンコーダ。
7. 前記量子化手段での量子化の精度は、各周波数帯域毎に設定される
   ことを特徴とする請求項１記載のオーディオエンコーダ。
8. 前記量子化手段での量子化の精度は、低い周波数帯域に対する精度ほど細かく設定される
   ことを特徴とする請求項７記載のオーディオエンコーダ。
9. 前記量子化手段での量子化の精度は、聴覚の感度特性応じて設定される
   ことを特徴とする請求項７記載のオーディオエンコーダ。
10. 前記補助情報生成手段は、さらに前記量子化手段で量子化された複数の量子化値を可逆圧縮する圧縮手段を備える
    ことを特徴とする請求項７記載のオーディオエンコーダ。
11. 前記圧縮手段は、隣接する周波数帯域の量子化値の差分を求めることでビット数を削減する
    ことを特徴とする請求項１０記載のオーディオエンコーダ。
12. 前記圧縮手段は、周波数帯域間の量子化値が等しい場合は、連続して何回等しいかを表すランレングス符号化することによってビット数を削減する
    ことを特徴とする請求項１０記載のオーディオエンコーダ。
13. 前記圧縮手段は、可変長符号化処理を用いてビット数を削減する
    ことを特徴とする請求項１０記載のオーディオエンコーダ。
14. 前記量子化手段は、前記検出手段により検出された相違の度合いをＡ個のレベルを有する量子化値で量子化し、
    前記圧縮手段は、前記量子化されたＢ個の量子化値をまとめて圧縮する
    ことを特徴とする請求項１０記載のオーディオエンコーダ。
15. 前記Ｂの値は、前記Ａの値に応じて予め設定される
    ことを特徴とする請求項１４記載のオーディオエンコーダ。
16. 前記Ｂの値は、Ａを２進数で表現した時の桁数をＰとし、
    Ｂ桁のＡ進数を２進数で表現した時の桁数をＱとした時、ＱがＰ＊Ｂより小さな値となるような値である
    ことを特徴とする請求項１５記載のオーディオエンコーダ。
17. 前記量子化手段は、前記位相差情報を前記ゲイン比情報より少ないビット数で量子化する
    ことを特徴とする請求項１記載のオーディオエンコーダ。
18. Ｎチャンネル（Ｎ＞１）のオーディオ信号を圧縮符号化する符号化方法であって、
    前記オーディオ信号を混合することにより得られた混合信号を、符号化する混合信号符号化ステップと、
    前記混合信号符号化ステップにより符号化された混合信号から前記Ｎチャンネルのオーディオ信号に復号化するために必要な補助情報を生成する補助情報生成ステップとを含み、
    前記補助情報生成ステップは、
    前記オーディオ信号を周波数領域の信号にそれぞれ変換する変換ステップと、
    前記周波数領域の信号の周波数帯域を複数に分割する分割ステップと、
    前記周波数領域の信号間の相違の度合いを表す位相差情報とゲイン比情報とを検出する検出ステップと、
    前記検出ステップにより検出された位相差情報とゲイン比情報とを、対応する周波数帯域毎に量子化する量子化ステップとを含み、
    前記分割ステップでは、前記位相差情報を量子化するための周波数帯域と、前記ゲイン比情報を量子化するための周波数帯域とを、異なる仕方で分割する
    ことを特徴とする符号化方法。
19. 請求項１８に記載の符号化方法に含まれるステップをコンピュータに実行させるためのプログラム。
20. Ｎチャンネル（Ｎ＞１）のオーディオ信号を圧縮符号化するＬＳＩであって、
    前記オーディオ信号を混合することにより得られた混合信号を、符号化する混合信号符号化手段と、
    前記混合信号符号化手段により符号化された混合信号から前記Ｎチャンネルのオーディオ信号に復号化するために必要な補助情報を生成する補助情報生成手段とを一体的に含み、
    前記補助情報生成手段は、
    前記オーディオ信号を周波数領域の信号にそれぞれ変換する変換手段と、
    前記周波数領域の信号の周波数帯域を複数に分割する分割手段と、
    前記周波数領域の信号間の相違の度合いを表す位相差情報とゲイン比情報とを検出する検出手段と、
    前記検出手段により検出された位相差情報とゲイン比情報とを、対応する周波数帯域毎に量子化する量子化手段とを備え、
    前記分割手段は、前記位相差情報を量子化するための周波数帯域と、前記ゲイン比情報を量子化するための周波数帯域とを、異なる仕方で分割する
    ことを特徴とするＬＳＩ。

Images