JP4809234B2 - オーディオ符号化装置、復号化装置、方法、及びプログラム - Google Patents

Description

本発明は、オーディオ信号の符号化装置、及び復号化装置等に関し、特に、符号レートと音質との最適なトレードオフを柔軟に調整可能にする技術に関する。

従来、オーディオ符号化方法、及び復号化方法として、ＩＳＯ／ＩＥＣの国際標準方式である通称ＭＰＥＧ方式などが広く知られている。現在、幅広い応用を持ち、かつ高品位なオーディオ信号を低いビットレートで表すことを指向した符号化方法として、ISO/IEC13818-7、通称ＭＰＥＧ−２ ＡＡＣ（Advanced Audio Coding）がある。

このＡＡＣでは、マルチチャンネルのオーディオ信号を符号化する際に、チャンネル間の相関をＭＳ（Mid Side Stereo）ステレオやインテンシティーステレオと呼ばれる方式を用いて表すことによってオーディオ情報を圧縮して、符号化効率の向上を図る。

ＭＳステレオでは、ステレオ信号を和信号と差信号とで表し、両者に異なる符号量を割り当てる。また、インテンシティーステレオでは、周波数帯域をサブバンドに区切り、そのサブバンドごとにチャンネルごとの信号間のレベル差と、位相差（位相差については同位相か逆位相かの２段階）とを符号化する。

このＡＡＣの複数の拡張規格の策定作業が現在進行中である。そこには、空間音響情報（Spatial Cue Information）、又は聴覚的音響情報（Binaural Cue）と呼ばれる情報を利用する符号化技術が導入される。そのような符号化技術の一例に、ＩＳＯ国際標準規格であるＭＰＥＧ−４ Ａｕｄｉｏ（非特許文献１）において定められるパラメトリックステレオ（Parametric Stereo）方式があり、また別の例に、特許文献１および２に開示される技術がある。
米国特許出願公開公報第2003/0035553号"Backwards-compatible Perceptual Coding of Spatial Cues" 米国特許出願公開公報第2003/0219130号"Coherence-based Audio Coding and Synthesis" ISO/IEC 14496-3:2001 AMD2 "Parametric Coding for High Quality Audio"

しかしながら、従来のオーディオ符号化方法、及び復号化方法では、チャンネルごとの信号間の相違を固定的に定められるサブバンドごとに符号化するため、符号レートと音質との最適なトレードオフを柔軟に調整できないという課題がある。

本発明は、このような従来の問題点に鑑みてなされたものであり、符号レートと音質との最適なトレードオフを柔軟に調整できるオーディオ符号化装置、復号化装置、方法、及びプログラムを提供することを目的とする。

上記課題を解決するため、本発明のオーディオ符号化装置は、一つの代表オーディオ信号から分離されるべき複数のオーディオ信号間の相違の度合いを符号化するオーディオ符号化装置であって、周波数バンドを一つ以上のサブバンドに区切る複数の区切り方のなかから一つを選択する選択手段と、前記複数のオーディオ信号間の相違の度合いを前記選択される区切り方で定められるサブバンドごとに符号化する相違度符号化手段と、前記選択される区切り方を識別する区分情報を符号化する区分情報符号化手段とを備える。

また、好ましくは、前記複数の区切り方で定められるサブバンドの数はそれぞれ異なるとしてもよく、また、前記複数の区切り方のうち、第１の区切り方は前記周波数バンドを一つ以上のサブバンドに区切り、第２の区切り方は前記周波数バンドを複数のサブバンドに区切り、前記第１の区切り方で区切られたサブバンドの一つは、前記第２の区切り方で区切られたサブバンドの一つと等しいか、又は前記第２の区切り方で区切られたサブバンドの隣接する複数をまとめたバンドと等しいとしてもよい。

また、前記相違度は、前記複数のオーディオ信号間のエネルギー差及びコヒーレンシーの少なくとも一方であり、また、前記代表オーディオ信号は、前記複数のオーディオ信号をダウンミックスして得られるダウンミックス信号であるとしてもよい。

この構成によれば、符号レートに応じた好適な区切り方を用いて符号化することができるので、符号レートと音質との最適なトレードオフを柔軟に調整可能となる。

また、前記オーディオ符号化装置は、さらに、前記第１及び第２の区切り方のそれぞれについて、前記複数のオーディオ信号間の相違の度合いをその区切り方で定められるサブバンドごとに算出する相違度算出手段を備え、前記選択手段は、前記第２の区切り方で区切られる複数のサブバンドのそれぞれに算出される相違の度合のばらつきに応じて、前記第１及び第２の区切り方の一方を選択し、前記相違度情報符号化手段は、前記選択される区切り方で定められるサブバンドごとに算出される相違の度合を符号化してもよい。

この構成によれば、相違の度合が似通った複数のサブバンドを一つにまとめて扱うことで、音質を大きく損なうことなく符号レートを低減して、符号化効率を高めることができる。

上記課題を解決するため、本発明のオーディオ復号化装置は、一つの代表オーディオ信号から分離されるべき複数のオーディオ信号間の相違の度合いを、周波数バンドをサブバンドに区切る複数の区切り方の一つで定められるサブバンドごとに符号化した相違度符号と、前記相違度符号の符号化に用いられた区切り方を識別する区分情報を符号化した区分情報符号とを含む符号化オーディオ信号情報を復号化するオーディオ復号化装置であって、前記区分情報符号を前記区分情報に復号化する区分情報復号化手段と、前記相違度符号を前記区分情報によって識別される区切り方で定められるサブバンドごとの前記複数のオーディオ信号間の相違の度合いに復号化する相違度情報復号化手段とを備える。

この構成によれば、前述したオーディオ符号化装置によって符号レートと音質とのトレードオフを好適に調整した結果として得られた符号化オーディオ信号情報を、区分情報符号に基づいて正しく復号して、オーディオ信号を得ることができる。

また、本発明は、オーディオ符号化装置、復号化装置して実現することができるだけでなく、前記オーディオ符号化装置によって得られる符号化オーディオ信号情報として実現することも、前記オーディオ符号化装置、復号化装置によって実行される処理をステップとするオーディオ符号化方法、復号化方法として実現することも、また、コンピュータプログラムやそのコンピュータプログラムを記録した記録媒体として実現することもできる。さらには、オーディオ符号化及び復号化用の集積回路装置として実現することも考えられる。

本発明のオーディオ符号化方法、及び復号化方法では、周波数バンドを一つ以上のサブバンドに区切る複数の区切り方のなかから一つを選択する選択手段と、前記複数のオーディオ信号間の相違の度合いを前記選択される区切り方で定められるサブバンドごとに符号化する相違度符号化手段とを備えることによって、符号レートに応じた好適な区切り方で得られたサブバンドを用いて符号化することができるので、符号レートと音質との最適なトレードオフを柔軟に調整可能となる。

特に、複数のサブバンドについて得られるオーディオ信号間の相違の度合いの差に応じてそれらのサブバンドをまとめて一つのサブバンドとして扱う構成によれば、相違の度合いが似通った複数のサブバンドをひとまとめにして扱うことで、音質を大きく損なうことなく符号レートを低減して、符号化効率を高めることができる。

以下、本発明の実施の形態を、図面を参照しながら説明する。

図１は、本実施の形態におけるオーディオ符号化装置１００、及びオーディオ復号化装置２００の機能的な構成の一例を示すブロック図である。

（オーディオ符号化装置１００）
オーディオ符号化装置１００は、一つの代表オーディオ信号、及びその代表オーディオ信号から分離されるべき複数のオーディオ信号間の相違の度合いを符号化する装置であり、可変周波数区分符号化部１１０、代表信号生成部１０６、代表信号符号化部１０７、及びマルチプレクス部１０８から構成される。可変周波数区分符号化部１１０は、相違度算出部１０１、１０２、１０３、選択部１０４、及び相違度及び区分情報符号化部１０５から構成される。

この実施の形態では、複数のオーディオ信号の一例として第１入力信号及び第２入力信号なる２つのオーディオ信号を与えられ、両者を代表する代表オーディオ信号と、両者の相違の度合いとを符号化する場合について説明する。

本発明は、第１入力信号、第２入力信号、及び代表オーディオ信号の具体内容を限定しないが、一つの典型例としては、第１入力信号、第２入力信号は、ステレオの左右それぞれのチャンネルを表すオーディオ信号であり、代表オーディオ信号は、両者を加算して得られるモノラル信号であってもよい。

その場合、代表信号生成部１０６は、第１入力信号及び第２入力信号をモノラル信号にダウンミックスし、代表信号符号化部１０７は、そのモノラル信号を、例えばＡＡＣ規格に規定される単独チャンネルの音声コーデックに従って、代表信号符号に符号化する。

相違度算出部１０１、１０２、１０３は、可聴周波数を含む周波数バンドをそれぞれ異なる区切り方で区切って定められるサブバンドごと、かつ予め定められる単位時間ごとに、第１入力信号及び第２入力信号の相違の度合いを符号化する。

本発明は、この相違の度合いが表す具体的な物理量を限定しないが、一例としては、チャンネル間のコヒーレンシーを表すＩＣＣ（Inter-channel Coherency）、チャンネル間のレベル差を表すＩＬＤ（Inter-channel Level Difference）、及びチャンネル間の位相差を表すＩＰＤ（Inter-channel Phase Difference）などであってもよい。また、この相違の度合いは、第１入力信号及び第２入力信号をそれぞれ時間周波数変換して得られる周波数領域の信号間の相違の度合いであるとしてもよい。

本発明の特徴は、このような相違の度合いが、周波数バンドの複数の区切り方の一つを選択的に用いて定められるサブバンドごとに表される点にある。

図２は、相違度算出部１０１、１０２、及び１０３においてそれぞれ用いられる区切り方である区分Ａ、区分Ｂ、及び区分Ｃを示す図である。図示されるように、周波数バンドは、区分Ａ、区分Ｂ、及び区分Ｃの順により荒く、それぞれ５個、３個、及び１個のサブバンドに区切られる。実用にはもっと多くのサブバンドを扱うが、ここでは簡明のためこのような個数を例示する。

区分Ｂは、区分Ａで定められる５つのサブバンドA＿degree(0)、…、A＿degree(4)を、低い周波数から順に２つ、２つ、１つをそれぞれ一まとめにしたサブバンドB＿degree(0)、B＿degree(1)、B＿degree(2)を定めている。

区分Ｃは、区分Ｂで定められる３つのサブバンドB＿degree(0)、B＿degree(1)、B＿degree(2)を一まとめにしたサブバンドC＿degree(0)を定めている。

ここで、A＿degree(4)とB＿degree(2)のように、二つの区分が同一のサブバンドを定めてもよい。また、一まとめにされるサブバンドの数は、ここに例示した数に限定されるものではなく、４つ以上のサブバンドを一まとめにしてももちろん構わない。

相違度算出部１０１は、単位時間ごとに、区分Ａで定められる５つのサブバンドそれぞれについて、第１入力信号及び第２入力信号間の周波数領域での相違の度合を算出する。

相違度算出部１０１は、そのためにまず、第１入力信号及び第２入力信号それぞれの単位時間分の時間波形を、周波数領域の信号に時間周波数変換する。この変換は、ＦＦＴ（Fast Fourier Transformation）等の周知の技術を用いて行われる。

求める相違の度合いがＩＣＣであるとして、相違度算出部１０１は、次に、５つのサブバンドそれぞれにおける周波数領域でのＩＣＣであるA＿degree(0)、…、A＿degree(4)を、第１入力信号及び第２入力信号それぞれの周波数領域の信号のサンプル値x(i)、y(i)（ｉは周波数軸上のサンプル点）を用いて、次の（１）式に従って算出する。

同様に、相違度算出部１０２は、単位時間ごとに、区分Ｂで定められる３つのサブバンドそれぞれにおける周波数領域でのＩＣＣであるB＿degree(0)、B＿degree(1)、B＿degree(2)を、次の（２）式に従って算出する。

同様に、相違度算出部１０３は、単位時間ごとに、周波数帯域全域におけるＩＣＣであるC＿degree(0)を、次の（３）式に従って算出する。

相違度算出部１０１、１０２、１０３は、このようにして算出した各相違の度合いを、選択部１０４へ出力する。

サブバンドごとの相違の度合を表すための符号量を同一とすれば、サブバンドの数の違いから明らかに、区分Ａ、区分Ｂ、及び区分Ｃの順により少ない符号レートで、相違の度合が符号化される。

なお、上記の例では、相違の度合いとしてＩＣＣを求める場合について説明したが、ＩＬＤを求める場合には、例えば、次の（４）式等に従って算出すればよい。

選択部１０４は、符号化に用いる区分を、区分Ａ、区分Ｂ、区分Ｃのなかから一つ選択する。

選択部１０４は、例えば、使用できる符号量が十分に取れない場合、つまり符号レートが低い場合には、比較的少ない符号レートで符号化がなされる区分Ｃを選択する。そして、相違度算出部１０３から得られる相違の度合いを、相違度及び区分情報符号化部１０５へ出力する。

他方、使用できる符号量が十分に取れる場合、つまり符号レートが高い場合には、比較的多い符号レートで符号化がなされ、それ故に相違の度合を精度よく表すことができる区分Ａを選択する。そして、相違度算出部１０１から得られる相違の度合いを、相違度及び区分情報符号化部１０５へ出力する。

また、他の選択方法として、選択部１０４は、まず区分Ａを選択し、相違度算出部１０１から得られる複数の相違の度合いが実質的に同一である場合には、区分Ｂを選択し直し、さらに、相違度算出部１０２から得られる複数の相違の度合いが実質的に同一である場合には、区分Ｃを選択し直してもよい。そして、最終的に選択されている区分に対応する相違度算出部から得られる相違の度合いを、相違度及び区分情報符号化部１０５へ出力する。

ここで、相違の度合いが実質的に同一であるとは、例えば、次に荒い区分でひとまとめにされるサブバンドごとに算出される相違の度合いのばらつき（最大値と最小値との差）が、同一とみなしても問題ない程度に小さいことであると定義され、その判断は、具体的に予め定められるしきい値との比較によって行うことができる。

この選択方法によって、例えば区分Ｃが選択された場合には、結果として、（５）式に示されるように、全ての相違の度合いが実質的に同一となるので、符号化の効率の点から好ましい選択がなされていることが分かる。

相違度及び区分情報符号化部１０５は、選択部１０４によって選択された区分を識別する区分情報を区分情報符号に符号化すると共に、選択された区分で定められるサブバンドごとの相違の度合を相違度符号に符号化する。

図３は、相違度及び区分情報符号化部１０５によって生成される区分情報符号及び相違度符号の一例を示す図である。

図示される例によれば、区分情報符号Xは、区分Ａ、区分Ｂ、区分Ｃそれぞれに対応する２ビット値"00"、"01"、"10"である。また、相違度符号は相違度算出部１０１、１０２、１０３から得られる区分に応じたサブバンドごとの相違の度合いX＿degree(i) (i=0,…,n-1、nは区分に応じたサブバンドの数、Xは区分に応じてA、B、Cの何れかである)を量子化し符号化した値である。

図４（Ａ）（Ｂ）及び（Ｃ）は、相違度符号を生成する考え方を説明する図である。

図４（Ａ）は、相違の度合をＩＣＣであるとして、ＩＣＣの出現頻度分布の一つの典型例を示す。この例では、ＩＣＣは＋１から−１の値に、概ね均等に分布することが示される。

図４（Ｂ）は、ＩＣＣの量子化に用いられる量子化グリッドの一例を示している。ＩＣＣが＋１であるということは、信号どうしが同相であることを示し、ＩＣＣが−１であるということは、信号どうしが逆相であることを示す。一般に、人間の聴覚のＩＣＣに関する弁別感度は、同相（ＩＣＣ＝＋１）と逆相（ＩＣＣ＝−１）の近辺で高く、すなわちＩＣＣ値の僅かな違いを聞き分けることができ、無相関（ＩＣＣ＝０）の近辺で低い、すなわちＩＣＣ値の違いを聞き分けにくい。図４（Ｂ）に例示される量子化グリッドは、このような人間の聴覚特性を考慮して定められる。

図４（Ｃ）は、図４（Ａ）に示されるＩＣＣの出現頻度分布と、図４（Ｂ）に示される量子化グリッドとに応じて構築されるハフマン符号の一例であり、量子化グリッドごとの代表値と、対応するハフマン符号長が示される。

ここで、出現頻度分布曲線によって切り取られる量子化グリッドの面積が、代表値の出現頻度に対応することに注意する。例えば、出現頻度の小さい代表値±１には９ビットが割り当てられ、出現頻度の大きい代表値±０．５には２ビットが割り当てられる。

このようなビット数の割り当てによって、周知のように、平均符号長が最小となるハフマン符号が得られる。

ただし、常時同相又は逆相となるオーディオ信号を入力した場合、典型的な一例としてはモノラル信号を単に左右チャンネルに入力した場合に、前述したハフマン符号を用いると、ＩＣＣが符号化の単位時間ごとに絶えず９ビットで表されることになり、平均符号長を最小化する期待に反して、長大な符号が生じる。特に、ｎ個のサブバンドそれぞれにＩＣＣを符号化する場合には、符号化の単位時間ごとに９ｎビットの符号が発生することとなり、ｎが大きいほど符号長への影響が大きい。

そこで、各サブバンドの代表値を、全ての代表値が同じか否かを示す１ビットの符号と、同じ場合にはその同じ代表値（例えば＋１）を表す９ビットの符号とで表現することが考えられる。この表現法によれば、絶えず同じ代表値が得られる信号について、単位時間ごとに、９ｎビットよりも少ない最大１０ビットの情報量でＩＣＣを伝送することが可能となる。

マルチプレクス部１０８は、相違度及び区分情報符号化部１０５から得られる区分情報符号及び相違度符号、並びに代表信号符号化部１０７から得られる代表信号符号を符号化オーディオ信号情報に多重化し、その符号化オーディオ信号情報を表すビットストリームを生成する。

次に、オーディオ符号化装置１００における可変周波数区分符号化部１１０の動作について説明する。

図５は、可変周波数区分符号化部１１０の動作の好適な一例を示すフローチャートである。

相違度算出部１０１、１０２、及び１０３のうち、予め定められたしきい値を超えない符号レートが得られる区分に対応する相違度算出部が動作し、相違の度合いを算出する（Ｓ０１）。選択部１０４は、前記しきい値を超えない符号レートが得られる区分を選択候補として、まず、そのうちのサブバンド数が最多の区分を選ぶ（Ｓ０２）。

未選択の区分があれば（Ｓ０３でＹＥＳ）、次に荒い区分でひとまとめにされるサブバンドの組を一つ選ぶ（Ｓ０４）。選ばれた組のサブバンドのそれぞれに算出された相違の度合いの差が所定のしきい値よりも小さければ（Ｓ０５でＹＥＳ）、さらに他の組を選んで同様の比較を行う。そして、全ての組について相違の度合いの差が所定のしきい値よりも小さければ（Ｓ０６でＹＥＳ）、次に荒い区分を選んで（Ｓ０７）、Ｓ０３から繰り返す。

未選択の区分がなくなって、最も荒い区分が選ばれた状態となるか（Ｓ０３でＮＯ）、相違の度合いの差が所定のしきい値以上であれば（Ｓ０５でＮＯ）、相違度及び区分情報符号化部１０５は、選ばれている区分を識別する区分情報と、選ばれている区分に対応する相違度算出部で算出された相違の度合いとを符号化する（Ｓ０８）。

（オーディオ復号化装置２００）
再び図１を参照して、オーディオ復号化装置２００は、オーディオ符号化装置１００によって生成されたビットストリームによって表される符号化オーディオ情報信号を複数のオーディオ信号に復号する装置であり、デマルチプレクス部２０１、可変周波数区分復号化部２１０、代表信号復号化部２０７、周波数変換部２０８、及び分離部２０９から構成される。可変周波数区分復号化部２１０は、区分情報復号化部２０２、切替部２０３、相違度復号化部２０４、２０５、及び２０６から構成される。

デマルチプレクス部２０１は、オーディオ符号化装置１００によって生成されたビットストリームから、区分情報符号、相違度符号、及び代表信号符号を多重分離し、区分情報符号、及び相違度符号を可変周波数区分復号化部２１０へ出力し、代表信号符号を代表信号復号化部２０７へ出力する。

代表信号復号化部２０７は、代表信号符号を代表オーディオ信号に復号化する。
周波数変換部２０８は、代表オーディオ信号の単位時間ごとの時間波形を周波数領域の信号に変換して分離部２０９へ出力する。

区分情報復号化部２０２は、区分情報符号を、符号化に用いられた区分を識別する区分情報に復号化する。

切替部２０３は、相違度符号を、相違度復号化部２０４、２０５、２０６のうちの、区分情報によって識別される区分に対応する一つに出力する。

相違度復号化部２０４は、相違度及び区分情報符号化部１０５によって行われた量子化及び符号化の逆処理を行うことによって、相違度符号を区分Ａによる５つのサブバンドそれぞれの相違の度合いA＿degree(n) n(n=0,…,4)に復号して、分離部２０９へ出力する。

相違度復号化部２０５は、同様にして、相違度符号を、区分Ｂによる３つのサブバンドそれぞれの相違の度合いB＿degree(n) n(n=0,1,2)に復号して、分離部２０９へ出力する。

相違度復号化部２０６は、同様にして、相違度符号を、区分Ｃによる周波数帯域全域における相違の度合いC＿degree(0)に復号して、分離部２０９へ出力する。

前述したように、この相違の度合いは、具体的にはＩＣＣ、ＩＬＤ等である。

分離部２０９は、周波数変換部２０８から得られる周波数領域の代表オーディオ信号を、相違度復号化部２０４、２０５、又は２０６から得られるサブバンドごとの相違の度合いに応じて補正することによって、サブバンドごとにその相違の度合いを与えられた２つの周波数信号に分離する。そして、得られた２つの周波数信号を、それぞれ時間領域の第１再生信号及び第２再生信号に変換する。

この補正には、例えば、ＩＬＤで表されるレベル差の半分ずつを逆方向に与えて得た２つの周波数信号それぞれに、ＩＣＣに応じた量の元の代表オーディオ信号を混合して相関を調整するといった、周知の方法を用いて行うことができる。

以上説明した構成によれば、複数の周波数区分の一つを選択的に用いることによって符号レートと音質との最適なトレードオフを柔軟に調整可能とする効果、及び複数のサブバンドをひとまとめにすることによって符号化効率を高める効果を得ることができる。

なお、上記の説明では、一例として、代表信号復号化部２０７がビットストリームから読み取った代表信号符号を時間領域の代表オーディオ信号として出力し、周波数変換部２０８がその代表オーディオ信号を周波数領域の信号に変換して分離部２０９へ出力するとした。この他にも、例えば代表信号符号が周波数領域の代表オーディオ信号を表す場合、代表信号復号化部２０７及び周波数変換部２０８の代わりに、ビットストリームから読み取った代表信号符号を、周波数領域の代表オーディオ信号に復号して分離部２０９へ出力する復号化部を備えた構成を考えることもできる。
（５．１チャンネルオーディオへの適用）
ここまでに説明した可変周波数区分符号化及び復号化技術を、５．１チャンネルオーディオへ適用することも考えられる。

図６は、その場合の、オーディオ符号化装置３００、及びオーディオ復号化装置４００の機能的な構成の一例を示すブロック図である。

オーディオ符号化装置３００は、左チャンネル信号Ｌ、右チャンネル信号Ｒ、左リアチャンネル信号Ｌ_S、右リアチャンネル信号Ｌ_S、センターチャンネル信号Ｃ、及び低周波数チャンネル信号ＬＦＥからなる５．１チャンネルオーディオ信号を、左統合チャンネル信号Ｌ_O、右統合チャンネル信号Ｒ_O、及び個々の信号間の相違の度合いを表す符号化オーディオ信号情報に符号化する装置であり、ダウンミックス部３０６、ＡＡＣ符号化部３０７、可変周波数区分符号化部３１０、及びマルチプレクス部３０８から構成される。

ダウンミックス部３０６は、左チャンネル信号Ｌ、左リアチャンネル信号Ｌ_S、センターチャンネル信号Ｃ、及び低周波数チャンネル信号ＬＦＥを、左統合チャンネル信号Ｌ_Oにダウンミックスすると共に、右チャンネル信号Ｒ、右リアチャンネル信号Ｌ_S、センターチャンネル信号Ｃ、及び低周波数チャンネル信号ＬＦＥを、右統合チャンネル信号Ｒ_Oにダウンミックスする。

ＡＡＣ符号化部３０７は、左統合チャンネル信号Ｌ_O、右統合チャンネル信号Ｒ_Oを、それぞれＡＡＣ規格に規定される単独チャンネルの音声コーデックに従って、代表信号符号に符号化する。

可変周波数区分符号化部３１０は、複数の周波数区分の一つを選択し、選択された区分によるサブバンドごとに、５．１チャンネルオーディオ信号の個々の信号間の相違の度合いを算出し、量子化及び符号化する。この区分の選択と、量子化及び符号化には、オーディオ符号化装置１００において説明した技術が同様に用いられる。

マルチプレクス部３０８は、ＡＡＣ符号化部３０７から得られる、左統合チャンネル信号Ｌ_O、右統合チャンネル信号Ｒ_Oのそれぞれを表す代表信号符合、及び可変周波数区分符号化部３１０から得られる、選択された区分及び信号間の相違の度合いを表す符号を、符号化オーディオ信号情報に多重化し、その符号化オーディオ信号情報を表すビットストリームを生成する。

オーディオ復号化装置４００は、オーディオ符号化装置３００によって生成されたビットストリームによって表される符号化オーディオ信号情報を複数のオーディオ信号に復号する装置であり、デマルチプレクス部４０１、可変周波数区分復号化部４１０、ＡＡＣ復号化部４０７、周波数変換部４０８、及び分離部４０９から構成される。

デマルチプレクス部４０１は、オーディオ符号化装置３００によって生成されたビットストリームから、区分情報符号、相違度符号、及び代表信号符号を多重分離し、区分情報符号、及び相違度符号を可変周波数区分復号化部２１０へ出力し、代表信号符号をＡＡＣ復号化部４０７へ出力する。

ＡＡＣ復号化部４０７は、代表信号符号を、左統合チャンネル信号Ｌ_O’、右統合チャンネル信号Ｒ_O’に復号化する。周波数変換部４０８は、左統合チャンネル信号Ｌ_O’、右統合チャンネル信号Ｒ_O’のそれぞれの単位時間ごとの時間波形を、周波数領域の信号に変換して分離部４０９へ出力する。

可変周波数区分復号化部４１０は、まず、区分情報符号を区分情報に復号化することによって、可変周波数区分符号化部３１０における符号化に用いられた周波数区分を知る。

次に、相違度符号を、可変周波数区分符号化部３１０によって行われた量子化及び符号化の逆処理を行うことによって、その周波数区分によるサブバンドごとの相違の度合いに復号する。

そして、左統合チャンネル信号Ｌ_O’、右統合チャンネル信号Ｒ_O’のそれぞれの周波数領域の信号を、相違の度合いに応じて補正することによって、５．１チャンネルのそれぞれのオーディオ信号Ｌ’、Ｒ’、Ｌ_S’、Ｒ_S’、Ｃ’、及びＬＦＥ’を分離し再生する。

このような構成によれば、５．１チャンネルオーディオへの適用においても、前述したように、複数の周波数区分の一つを選択的に用いることによって符号レートと音質との最適なトレードオフを柔軟に調整可能とする効果、及び複数のサブバンドをひとまとめにすることによって符号化効率を高める効果を得ることができる。

また、図示されるように、左統合チャンネル信号Ｌ_O’、右統合チャンネル信号Ｒ_O’を外部へ出力すれば、ステレオヘッドフォン、ステレオスピーカシステムなど比較的簡便な機器で聴取できることから、実用面で高い利便性が得られる。

（その他の適用例）
なお、上記の説明では、本発明の適用の具体例を明らかにする意図で、２チャンネルオーディオ、５．１チャンネルオーディオの例を挙げたが、本発明の適用範囲は、このようなマルチチャンネルの原音信号の符号化と復号化に限定されない。

例えば、モノラルの原音信号に人工的な音像の拡がりや定位を与えるサウンドエフェクトに用いることも考えられる。その場合の代表信号には、ダウンミックス信号ではなく、モノラルの原音信号そのものを用いることができ、相違の度合いは、複数の信号間の比較ではなく、意図された音像の拡がりや定位に基づく計算で求められる。

その場合にも、本発明の可変周波数区分符号化及び復号化を適用して、符号レートと音質との最適なトレードオフを柔軟に調整可能とする効果、及び符号化効率を高める効果を得ることができる。

本発明のオーディオ符号化装置、及びオーディオ復号化装置は、複数チャンネルのオーディオ信号を符号化及び復号化するあらゆる装置に利用できる。

本発明の符号化オーディオ信号情報は、音声コンテンツ、及び映像音声コンテンツの伝送と蓄積とに利用でき、具体的には、そのようなコンテンツのデジタル放送、パソコン、携帯情報端末装置へのインターネットを介した伝送、ＤＶＤ（Digital Versatile Disk）、ＳＤ（Secure Digital）カードといった媒体への記録、再生に利用できる。

図１は、本実施の形態に係るオーディオ符号化装置及びオーディオ復号化装置の機能的な構成の一例を示すブロック図である。 図２は、周波数帯域をサブバンドに区切る区切り方の一例を示す図である。 図３は、区分情報符号及び相違度符号の一例を示す図である。 図４（Ａ）（Ｂ）及び（Ｃ）は、相違度符号を生成する考え方を説明する図である。 図５は、本実施の形態に係るオーディオ符号化装置の動作の一例を示すフローチャートである。 図６は、オーディオ符号化装置及びオーディオ復号化装置の機能的な構成の他の一例を示すブロック図である。

符号の説明

１００ オーディオ符号化装置
１０１、１０２、１０３ 相違度算出部
１０４ 選択部
１０５ 相違度及び区分情報符号化部
１０６ 代表信号生成部
１０７ 代表信号符号化部
１０８ マルチプレクス部
１１０ 可変周波数区分符号化部
２００ オーディオ復号化装置
２０１ デマルチプレクス部
２０２ 区分情報復号化部
２０３ 切替部
２０４、２０５、２０６ 相違度復号化部
２０７ 代表信号復号化部
２０８ 周波数変換部
２０９ 分離部
２１０ 可変周波数区分復号化部
３００ オーディオ符号化装置
３０６ ダウンミックス部
３０７ ＡＡＣ符号化部
３０８ マルチプレクス部
３１０ 可変周波数区分符号化部
４００ オーディオ復号化装置
４０１ デマルチプレクス部
４０７ ＡＡＣ復号化部
４０８ 周波数変換部
４０９ 分離部
４１０ 可変周波数区分復号化部

Claims (13)

1. 一つの代表オーディオ信号から分離されるべき複数のオーディオ信号間の相違の度合いを符号化するオーディオ符号化装置であって、
   周波数バンドを一つ以上のサブバンドに区切る複数の区切り方のなかから一つを選択する選択手段と、
   前記複数のオーディオ信号間の相違の度合いを前記選択される区切り方で定められるサブバンドごとに符号化する相違度符号化手段と、
   前記選択される区切り方を識別する区分情報を符号化する区分情報符号化手段と
   を備えることを特徴とするオーディオ符号化装置。
2. 前記複数の区切り方で定められるサブバンドの数はそれぞれ異なる
   ことを特徴とする請求項１に記載のオーディオ符号化装置。
3. 前記複数の区切り方のうち、第１の区切り方は前記周波数バンドを一つ以上のサブバンドに区切り、第２の区切り方は前記周波数バンドを複数のサブバンドに区切り、前記第１の区切り方で区切られたサブバンドの一つは、前記第２の区切り方で区切られたサブバンドの一つと等しいか、又は前記第２の区切り方で区切られたサブバンドの隣接する複数をまとめたバンドと等しい
   ことを特徴とする請求項２に記載のオーディオ符号化装置。
4. 前記オーディオ符号化装置は、さらに、
   前記第１及び第２の区切り方について、前記複数のオーディオ信号間の相違の度合いをそれぞれの区切り方で定められるサブバンドごとに算出する相違度算出手段を備え、
   前記選択手段は、前記第２の区切り方で区切られる複数のサブバンドのそれぞれに算出される相違の度合のばらつきに応じて、前記第１及び第２の区切り方の一方を選択し、
   前記相違度情報符号化手段は、前記選択される区切り方で定められるサブバンドごとに算出される相違の度合を符号化する
   ことを特徴とする請求項３に記載のオーディオ符号化装置。
5. 前記相違度は、前記複数のオーディオ信号間のエネルギー差である
   ことを特徴とする請求項１に記載のオーディオ符号化装置。
6. 前記相違度は、前記複数のオーディオ信号間のコヒーレンシーである
   ことを特徴とする請求項１に記載のオーディオ符号化装置。
7. 前記代表オーディオ信号は、前記複数のオーディオ信号をダウンミックスして得られるダウンミックス信号である
   ことを特徴とする請求項１に記載のオーディオ符号化装置。
8. 一つの代表オーディオ信号から分離されるべき複数のオーディオ信号間の相違の度合いを、周波数バンドをサブバンドに区切る複数の区切り方の一つで定められるサブバンドごとに符号化した相違度符号と、前記相違度符号の符号化に用いられた区切り方を識別する区分情報を符号化した区分情報符号とを含む符号化オーディオ信号情報を復号化するオーディオ復号化装置であって、
   前記区分情報符号を前記区分情報に復号化する区分情報復号化手段と、
   前記相違度符号を前記区分情報によって識別される区切り方で定められるサブバンドごとの前記複数のオーディオ信号間の相違の度合いに復号化する相違度情報復号化手段と
   を備えることを特徴とするオーディオ復号化装置。
9. 一つの代表オーディオ信号から分離されるべき複数のオーディオ信号間の相違の度合いを符号化するオーディオ符号化方法であって、
   周波数バンドを一つ以上のサブバンドに区切る複数の区切り方のなかから一つを選択する選択ステップと、
   前記複数のオーディオ信号間の相違の度合いを前記選択される区切り方で定められるサブバンドごとに符号化する相違度符号化ステップと、
   前記選択される区切り方を識別する区分情報を符号化する区分情報符号化ステップと
   を含むことを特徴とするオーディオ符号化方法。
10. 一つの代表オーディオ信号から分離されるべき複数のオーディオ信号間の相違の度合いを、周波数バンドをサブバンドに区切る複数の区切り方の一つで定められるサブバンドごとに符号化した相違度符号と、前記相違度符号の符号化に用いられた区切り方を識別する区分情報を符号化した区分情報符号とを含む符号化オーディオ信号情報を復号化するオーディオ復号化方法であって、
    前記区分情報符号を前記区分情報に復号化する区分情報復号化ステップと、
    前記相違度符号を前記区分情報によって識別される区切り方で定められるサブバンドごとの前記複数のオーディオ信号間の相違の度合いに復号化する相違度情報復号化ステップと
    を含むことを特徴とするオーディオ信号復号化方法。
11. 一つの代表オーディオ信号から分離されるべき複数のオーディオ信号間の相違の度合いを符号化するためのコンピュータ実行可能なプログラムであって、
    周波数バンドを一つ以上のサブバンドに区切る複数の区切り方のなかから一つを選択する選択ステップと、
    前記複数のオーディオ信号間の相違の度合いを前記選択される区切り方で定められるサブバンドごとに符号化する相違度符号化ステップと、
    前記選択される区切り方を識別する区分情報を符号化する区分情報符号化ステップと
    をコンピュータに実行させることを特徴とするプログラム。
12. 一つの代表オーディオ信号から分離されるべき複数のオーディオ信号間の相違の度合いを、周波数バンドをサブバンドに区切る複数の区切り方の一つで定められるサブバンドごとに符号化した相違度符号と、前記相違度情報の符号化に用いられた区切り方を識別する区分情報を符号化した区分情報符号とを含む符号化オーディオ信号情報を復号化するためのコンピュータ実行可能なプログラムであって、
    前記区分情報符号を前記区分情報に復号化する区分情報復号化ステップと、
    前記相違度符号を前記区分情報によって識別される区切り方で定められるサブバンドごとの前記複数のオーディオ信号間の相違の度合いに復号化する相違度情報復号化ステップと
    をコンピュータに実行させることを特徴とするプログラム。
13. 請求項１１及び請求項１２の少なくとも一方に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images