JP5799824B2 - オーディオ符号化装置、オーディオ符号化方法及びオーディオ符号化用コンピュータプログラム - Google Patents

オーディオ符号化装置、オーディオ符号化方法及びオーディオ符号化用コンピュータプログラム Download PDF

Info

Publication number
JP5799824B2
JP5799824B2 JP2012008484A JP2012008484A JP5799824B2 JP 5799824 B2 JP5799824 B2 JP 5799824B2 JP 2012008484 A JP2012008484 A JP 2012008484A JP 2012008484 A JP2012008484 A JP 2012008484A JP 5799824 B2 JP5799824 B2 JP 5799824B2
Authority
JP
Japan
Prior art keywords
channel
codebook
minimum value
channel signal
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012008484A
Other languages
English (en)
Other versions
JP2013148682A (ja
Inventor
洋平 岸
洋平 岸
美由紀 白川
美由紀 白川
俊輔 武内
俊輔 武内
鈴木 政直
政直 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2012008484A priority Critical patent/JP5799824B2/ja
Priority to US13/713,487 priority patent/US9135921B2/en
Priority to EP12198522.0A priority patent/EP2618330B1/en
Publication of JP2013148682A publication Critical patent/JP2013148682A/ja
Application granted granted Critical
Publication of JP5799824B2 publication Critical patent/JP5799824B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0204Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0212Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using orthogonal transformation
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L2019/0001Codebooks
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/12Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being prediction coefficients

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Stereophonic System (AREA)

Description

本発明は、例えば,オーディオ符号化装置、オーディオ符号化方法及びオーディオ符号化用コンピュータプログラムに関する。
従来より、3チャネル以上のチャネルを持つマルチチャネルオーディオ信号のデータ量を圧縮するためのオーディオ信号の符号化方式が開発されている。そのような符号化方式の一つとして、Moving Picture Experts Group (MPEG)により標準化されたMPEG Surround方式が知られている。MPEG Surround方式では、例えば、符号化対象となる5.1チャネル(5.1ch)のオーディオ信号が時間周波数変換され、その時間周波数変換により得られた周波数信号がダウンミックスされることにより、一旦3チャネルの周波数信号が生成される。さらに、その3チャネルの周波数信号が再度ダウンミックスされることにより2チャネルのステレオ信号に対応する周波数信号が算出される。そしてステレオ信号に対応する周波数信号は、Advanced Audio Coding(AAC)符号化方式及びSpectral Band Replication(SBR)符号化方式により符号化される。その一方で、MPEG Surround方式では、5.1chの信号を3チャネルの信号へダウンミックスする際、及び3チャネルの信号を2チャネルの信号へダウンミックスする際、音の広がりまたは定位を表す空間情報が算出され、この空間情報が符号化される。このように、MPEG Surround方式では、マルチチャネルオーディオ信号をダウンミックスすることにより生成されたステレオ信号とデータ量の比較的少ない空間情報が符号化される。これにより、MPEG Surround方式では、マルチチャネルオーディオ信号に含まれる各チャネルの信号を独立に符号化するよりも高い圧縮効率が得られる。
MPEG Surround方式では,ステレオ周波数信号を生成する際に算出される空間情報を符号化するために、予測係数(channel prediction coefficient)を用いている。予測係数とは、3チャネル中の一つのチャネルの信号をその他の2つのチャネルの信号に基づいて予測符号化するための係数である。この予測係数は符号帳と称されるテーブルに複数格納されている。この符号帳は、使用ビット効率の向上の為に用いられるものである。符号化器と復号器で予め定められた共通の(あるいは共通の方法で作成する)符号帳を持つことで、少ないビット数でより重要な情報を送ることが出来る。復号時においては、上述の予測係数に基づいて3チャネル中の一つのチャネルの信号を再現する。この為、符号化時においては、符号帳から最適な予測係数を選択する必要がある。
符号帳から最適な予測係数を選択する方法は、予測符号化される前のチャネル信号と予測符号化された後のチャネル信号の差分で規定される誤差を、符号帳に格納されている全ての予測係数を用いて算出し、予測符号化における誤差が最小になる予測係数を選択することが開示されている。また、最小二乗法を用いた計算法により誤差が最小になる予測係数を算出する技術が開示されている。
特表2008−517338号公報
予測符号化における誤差を、符号帳に格納されている全ての予測係数を用いて算出する方法は、誤差計算に伴う処理量が膨大となることが課題である。最小二乗法を用いた計算法では、少ない処理量で誤差が最小になる予測係数を算出することは出来るものの、最小二乗法の解が存在しない場合があり、この場合には予測係数を算出することは出来ない。更には、最小二乗法を用いた計算法は、符号帳に格納されている予測係数を用いることを前提としていない為、算出した予測係数が符号帳に格納されていない場合がある。
本発明は、符号帳を用いる予測符号化において、誤差が最小となる予測係数を少ない処理量で選択することが可能となるオーディオ符号化装置を提供することを目的とする。
本発明が開示するオーディオ符号化装置は、オーディオ信号に含まれる複数のチャネルに含まれる第1チャネル信号と第2チャネル信号と、符号帳に含まれる複数の予測係数とに基づいて、複数のチャネルに含まれる第3チャネル信号を予測符号化するオーディオ符号化装置である。当該オーディオ符号化装置は、予測符号化前の第3チャネル信号と予測符号化後の前記第3チャネル信号の差分で規定される誤差の分布を、第1チャネル信号と第2チャネル信号と、予測符号化前の第3チャネル信号に基づいて所定の曲面として判定する判定部を有する。更に、当該オーディオ符号化装置は、所定の曲面から規定される誤差の最小値と、複数の予測係数の最小係数と最大係数から規定される符号帳範囲とに基づいて、符号帳から第1チャネルと第2チャネルにそれぞれ対応する符号帳に含まれる予測係数を算出する算出部を有する。
なお、本発明の目的及び利点は、請求項において特に指摘されたエレメント及び組み合わせにより実現され、かつ達成されるものである。また、上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を制限するものではないことを理解されたい。
本明細書に開示されるオーディオ符号化装置では、符号帳を用いる予測符号化において、誤差が最小となる予測係数を少ない処理量で選択することが可能となる。
一つの実施形態によるオーディオ符号化装置の機能ブロック図である。 類似度に対する量子化テーブルの一例を示す図である。 インデックスの差分値と類似度符号の関係を示すテーブルの一例を示す図である。 強度差に対する量子化テーブルの一例を示す図である。 符号化されたオーディオ信号が格納されたデータ形式の一例を示す図である。 予測係数c1、c2ならびに誤差dを座標とする放物線柱面の誤差分布形状の概念図である。 予測係数c1、c2ならびに誤差dを座標とする楕円放物面の誤差分布形状の概念図である。 (a)は、予測係数c1-c2平面における放物線柱面の最小値が符号帳範囲の内に存在する場合の最適解を示す概念図である。(b)は、予測係数c1-c2平面における放物線柱面の最小値が符号帳範囲の外に存在する場合の最適解を示す概念図である。 (a)は、予測係数c1-c2平面における楕円放物面の最小値が符号帳範囲の内に存在する場合の最適解を示す概念図である。(b)は、予測係数c1-c2平面における楕円放物面の最小値が符号帳範囲の外に存在する場合の最適解を示す概念図である。 時間−周波数帯域毎の予測係数の帯域を示す概念図である。 予測係数に対する量子化テーブルの一例を示す図である。 オーディオ符号化処理の動作フローチャートを示す 予測係数選択処理の動作フローチャートを示す。 (a)は、マルチチャネルのオーディオ信号の原音のスペクトル図である。(b)は、符号帳に含まれるすべての予測係数を探索して符号化して復号したオーディオ信号のスペクトル図(比較例)である。(c)は、本発明の予測係数の選択手法を適用して符号化してから復号したオーディオ信号のスペクトル図である。
以下に、一つの実施形態によるオーディオ符号化装置,オーディオ符号化方法及びオーディオ符号化用コンピュータプログラムの実施例を図面に基づいて詳細に説明する。なお、この実施例は開示の技術を限定するものではない。
図1は、一つの実施形態によるオーディオ符号化装置1の機能ブロックを示す図である。図1に示す様に、オーディオ符号化装置1は,時間周波数変換部11、第1ダウンミックス部12、第2ダウンミックス部13、予測係数符号化部14、チャネル信号符号化部17、空間情報符号化部21、多重化部22を有する。更に、予測係数符号化部14は、判定部15と算出部16を含んでいる。また、チャネル信号符号化部17は、SBR符号化部18と、周波数時間変換部19と、AAC符号化部20を含んでいる。
オーディオ符号化装置1が有するこれらの各部は、それぞれ別個の回路として形成される。あるいはオーディオ符号化装置1が有するこれらの各部は、その各部に対応する回路が集積された一つの集積回路としてオーディオ符号化装置1に実装されてもよい。さらに、オーディオ符号化装置1が有するこれらの各部は、オーディオ符号化装置1が有するプロセッサ上で実行されるコンピュータプログラムにより実現される、機能モジュールであってもよい。
時間周波数変換部11は、オーディオ符号化装置1に入力されたマルチチャネルオーディオ信号の時間領域の各チャネルの信号をそれぞれフレーム単位で時間周波数変換することにより、各チャネルの周波数信号に変換する。本実施形態では,時間周波数変換部11は、次式のQuadrature Mirror Filter(QMF)フィルタバンクを用いて、各チャネルの信号を周波数信号に変換する。
(数1)

ここでnは時間を表す変数であり、1フレームのオーディオ信号を時間方向に128等分したときのn番目の時間を表す。なお,フレーム長は、例えば、10〜80msecの何れかとすることができる。またkは周波数帯域を表す変数であり、周波数信号が有する周波数帯域を64等分したときのk番目の周波数帯域を表す。またQMF(k,n)は,時間n,周波数kの周波数信号を出力するためのQMFである。時間周波数変換部11は、QMF(k,n)を入力されたチャネルの1フレーム分のオーディオ信号に乗じることにより、そのチャネルの周波数信号を生成する。なお、時間周波数変換部11は、高速フーリエ変換、離散コサイン変換、修正離散コサイン変換など、他の時間周波数変換処理を用いて、各チャネルの信号をそれぞれ周波数信号に変換してもよい.
時間周波数変換部11は、フレーム単位で各チャネルの周波数信号を算出する度に、各チャネルの周波数信号を第1ダウンミックス部12へ出力する。
第1ダウンミックス部12は,各チャネルの周波数信号を受け取る度に、それら各チャネルの周波数信号をダウンミックスすることにより、左チャネル,中央チャネル及び右チャネルの周波数信号を生成する。例えば、第1ダウンミックス部12は、次式に従って、これら3個のチャネルの周波数信号を算出する。
(数2)
ここでLRe(k,n)は、左前方チャネルの周波数信号L(k,n)のうちの実部を表し、LIm(k,n)は、左前方チャネルの周波数信号L(k,n)のうちの虚部を表す。またSLRe(k,n)は、左後方チャネルの周波数信号SL(k,n)のうちの実部を表し、SLIm(k,n)は、左後方チャネルの周波数信号SL(k,n)のうちの虚部を表す。そしてLin(k,n)は、ダウンミックスにより生成される左チャネルの周波数信号である。なお、LinRe(k,n)は、左チャネルの周波数信号のうちの実部を表し、LinIm(k,n)は、左チャネルの周波数信号のうちの虚部を表す。
同様に、RRe(k,n)は、右前方チャネルの周波数信号R(k,n)のうちの実部を表し、RIm(k,n)は、右前方チャネルの周波数信号R(k,n)のうちの虚部を表す。またSRRe(k,n)は、右後方チャネルの周波数信号SR(k,n)のうちの実部を表し、SRIm(k,n)は、右後方チャネルの周波数信号SR(k,n)のうちの虚部を表す。そしてRin(k,n)は、ダウンミックスにより生成される右チャネルの周波数信号である。なお、RinRe(k,n)は、右チャネルの周波数信号のうちの実部を表し、RinIm(k,n)は、右チャネルの周波数信号のうちの虚部を表す。
さらに、CRe(k,n)は、中央チャネルの周波数信号C(k,n)のうちの実部を表し、CIm(k,n)は、中央チャネルの周波数信号C(k,n)のうちの虚部を表す。またLFERe(k,n)は、重低音チャネルの周波数信号LFE(k,n)のうちの実部を表し、LFEIm(k,n)は、重低音チャネルの周波数信号LFE(k,n)のうちの虚部を表す。そしてCin(k,n)は、ダウンミックスにより生成される中央チャネルの周波数信号である。なお、CinRe(k,n)は、中央チャネルの周波数信号Cin(k,n)のうちの実部を表し、CinIm(k,n)は、中央チャネルの周波数信号Cin(k,n)のうちの虚部を表す。
また、第1ダウンミックス部12は、ダウンミックスされる二つのチャネルの周波数信号間の空間情報として、音の定位を表す情報であるその周波数信号間の強度差と、音の広がりを表す情報であるその周波数信号間の類似度を周波数帯域ごとに算出する。第1ダウンミックス部12が算出するこれらの空間情報は、3チャネル空間情報の一例である。本実施形態では、第1ダウンミックス部12は、次式に従って左チャネルについての周波数帯域kの強度差CLDL(k)と類似度ICCL(k)を算出する。
(数3)

(数4)


ここで、Nは、1フレームに含まれる時間方向のサンプル点数であり、本実施形態では、Nは128である。また、eL(k)は、左前方チャネルの周波数信号L(k,n)の自己相関値であり、eSL(k)は、左後方チャネルの周波数信号SL(k,n)の自己相関値である。またeLSL(k)は、左前方チャネルの周波数信号L(k,n)と左後方チャネルの周波数信号SL(k,n)との相互相関値である。
同様に、第1ダウンミックス部12は、次式に従って右チャネルについての周波数帯域kの強度差CLDR(k)と類似度ICCR(k)を算出する。
(数5)

(数6)


ここで、eR(k)は、右前方チャネルの周波数信号R(k,n)の自己相関値であり、eSR(k)は、右後方チャネルの周波数信号SR(k,n)の自己相関値である。またeRSR(k)は、右前方チャネルの周波数信号R(k,n)と右後方チャネルの周波数信号SR(k,n)との相互相関値である。
さらに、第1ダウンミックス部12は、次式に従って中央チャネルについての周波数帯域kの強度差CLDc(k)を算出する。
(数7)


ここで、eC(k)は、中央チャネルの周波数信号C(k,n)の自己相関値であり、eLFE(k)は、重低音チャネルの周波数信号LFE(k,n)の自己相関値である。
第1ダウンミックス部12は、3チャネルの周波数信号を生成した後、更に、左チャネルの周波数信号と中央チャネルの周波数信号をダウンミックスすることにより、ステレオ周波数信号のうちの左側周波数信号を生成する。第1ダウンミックス部12は、右チャネルの周波数信号と中央チャネルの周波数信号をダウンミックスすることにより、ステレオ周波数信号のうちの右側周波数信号を生成する。第1ダウンミックス部12は、例えば、次式に従ってステレオ周波数信号の左側周波数信号L0(k,n)及び右側周波数信号R0(k,n)を生成する。さらに第1ダウンミックス部12は、符号帳に含まれる予測係数を選択する為に利用される中央チャネルの信号C0(k,n)を次式に従って算出する。
(数8)
ここで、Lin(k,n)、Rin(k,n)、Cin(k,n)は、それぞれ、第1ダウンミックス部12により生成された左チャネル、右チャネル及び中央チャネルの周波数信号である。左側周波数信号L0(k,n)は、元のマルチチャネルオーディオ信号の左前方チャネル、左後方チャネル、中央チャネル及び重低音チャネルの周波数信号が合成されたものとなる。同様に、右側周波数信号R0(k,n)は、元のマルチチャネルオーディオ信号の右前方チャネル、右後方チャネル、中央チャネル及び重低音チャネルの周波数信号が合成されたものとなる。
第1ダウンミックス部12は、左側周波数信号L0(k,n)、右側周波数信号R0(k,n)、中央チャネルの信号C0(k,n)を第2ダウンミックス部13と予測係数符号化部14へ出力する。また、第1ダウンミックス部12は、空間情報となる強度差CLDL(k)、CLDR(k)、CLDC(k)と、類似度ICCL(k)、ICCR(k)を空間情報符号化部21へ出力する。
第2ダウンミックス部13は、第1ダウンミックス部12から受け取った左側周波数信号L0(k,n)、右側周波数信号R0(k,n)、中央チャネルの信号C0(k,n)の3チャネルの周波数信号のうちの二つの周波数信号をダウンミックスすることにより、2チャネルのステレオ周波数信号を生成する。そして、第2ダウンミックス部13は生成したステレオ周波数信号をチャネル符号化部17へ出力する。
予測係数符号化部14は、ダウンミックスされる二つのチャネルの周波数信号についての予測係数を符号帳から選択する。具体的には、予測係数符号化部14は、周波数帯域ごとに、C0(k,n)と、L0(k,n)、R0(k,n)から次式で定義される予測符号化前と予測符号化後の周波数信号の誤差d(k)が最小となる予測係数cl(k)とc2(k)を符号帳から選択する。
(数9)



予測係数符号化部14は、符号帳に含まれる複数の予測係数を適用した場合の誤差dの分布を二次曲面として取り扱う。更に、予測係数符号化部14は、二次曲面から規定される最小値が、符号帳に含まれる予測係数の最小係数と最大係数から規定される符号帳範囲の内に存在するか符号帳範囲の外に存在するかを判定し、判定結果に基づき符号帳に含まれる予測係数cl(k)とc2(k)を算出する。なお、予測係数符号化部14による予測係数の算出の動作の詳細は後述する。
チャネル信号符号化部17は、第2ダウンミックス部13から受け取ったステレオ周波数信号を符号化する。なお、チャネル信号符号化部17には、SBR符号化部18と、周波数時間変換部19と、AAC符号化部20が含まれる。
SBR符号化部18は、ステレオ周波数信号を受け取る度に、チャネルごとに、ステレオ周波数信号のうち、高周波数帯域に含まれる成分である高域成分を、SBR符号化方式にしたがって符号化する。これにより、SBR符号化部18は、SBR符号を生成する。例えば、SBR符号化部18は、特開2008−224902号公報に開示されているように、SBR符号化の対象となる高域成分と強い相関のある各チャネルの周波数信号の低域成分を複製する。なお、低域成分は、SBR符号化部18が符号化対象とする高域成分が含まれる高周波数帯域よりも低い低周波数帯域に含まれる各チャネルの周波数信号の成分であり、後述するAAC符号化部20により符号化される。そしてSBR符号化部18は、複製された高域成分の電力を、元の高域成分の電力と一致するように調整する。またSBR符号化部18は、元の高域成分のうち、低域成分との差異が大きく、低域成分を複写しても、高域成分を近似できない成分を補助情報とする。そしてSBR符号化部18は、複製に利用された低域成分と対応する高域成分の位置関係を表す情報と、電力調整量と補助情報を量子化することにより符号化する。SBR符号化部18は、上記の符号化された情報であるSBR符号を多重化部22へ出力する。
周波数時間変換部19は、ステレオ周波数信号を受け取る度に、各チャネルのステレオ周波数信号を時間領域のステレオ信号に変換する。例えば、時間周波数変換部11がQMFフィルタバンクを用いる場合、周波数時間変換部19は、次式に示す複素型のQMFフィルタバンクを用いて各チャネルのステレオ周波数信号を周波数時間変換する。
(数10)

ここでIQMF(k,n)は、時間n、周波数kを変数とする複素型のQMFである。
なお、時間周波数変換部11が、高速フーリエ変換、離散コサイン変換、修正離散コサイン変換など、他の時間周波数変換処理を用いている場合、周波数時間変換部19は、その時間周波数変換処理の逆変換を使用する。周波数時間変換部19は、各チャネルの周波数信号を周波数時間変換することにより得られた各チャネルのステレオ信号をAAC符号化部20へ出力する。
AAC符号化部20は、各チャネルのステレオ信号を受け取る度に、各チャネルの信号の低域成分をAAC符号化方式にしたがって符号化することにより、AAC符号を生成する。そこで、AAC符号化部20は、例えば、特開2007−183528号公報に開示されている技術を利用できる。具体的には、AAC符号化部20は、受け取った各チャネルのステレオ信号を離散コサイン変換することにより、再度ステレオ周波数信号を生成する。そしてAAC符号化部20は、再生成したステレオ周波数信号から心理聴覚エントロピー(Perceptual Entropy、PE)を算出する。PEは、リスナーが雑音を知覚することがないようにそのブロックを量子化するために必要な情報量を表す。
このPEは、打楽器が発する音のようなアタック音など、信号レベルが短時間で変化する音に対して大きな値となる特性を持つ。そこで、AAC符号化部20は、PEの値が比較的大きくなるフレームに対しては、窓を短くし、PEの値が比較的小さくなるブロックに対しては、窓を長くする。例えば、短い窓は、256個のサンプルを含み、長い窓は、2048個のサンプルを含む。AAC符号化部20は、決定された長さを持つ窓を用いて各チャネルのステレオ信号に対して修正離散コサイン変換(Modified Discrete Cosine Transform、MDCT)を実行することにより、各チャネルのステレオ信号をMDCT係数の組に変換する。そしてAAC符号化部20は、MDCT係数の組を量子化し、その量子化されたMDCT係数の組を可変長符号化する。AAC符号化部20は、可変長符号化されたMDCT係数の組と、量子化係数など関連する情報を、AAC符号として多重化部22へ出力する。
空間情報符号化部21は、第1ダウンミックス部12から受け取った空間情報と、予測係数符号化部14から受け取った予測係数を符号化することによりMPEG Surround符号(以下、MPS符号と称する)を生成する。
空間情報符号化部21は、空間情報中の類似度の値とインデックス値の対応を示した量子化テーブルを参照する。そして空間情報符号化部21は、量子化テーブルを参照することにより、各周波数帯域についてそれぞれの類似度ICCi(k)(i=L,R,0)と最も値が近いインデックス値を決定する。なお、量子化テーブルは、予め、空間情報符号化部21が有するメモリに格納される。
図2は、類似度に対する量子化テーブルの一例を示す図である。図2に示す量子化テーブル200において、上段の行210の各欄はインデックス値を表し、下段の行220の各欄は、同じ列のインデックス値に対応する類似度の代表値を表す。また、類似度が取りうる値の範囲は−0.99〜+1である。例えば、周波数帯域kに対する類似度が0.6である場合、量子化テーブル200では、インデックス値3に対応する類似度の代表値が、周波数帯域kに対する類似度に最も近い。そこで、空間情報符号化部21は、周波数帯域kに対するインデックス値を3に設定する。
次に、空間情報符号化部21は、各周波数帯域について、周波数方向に沿ってインデックス間の差分値を求める。例えば、周波数帯域kに対するインデックス値が3であり、周波数帯域(k-1)に対するインデックス値が0であれば、空間情報符号化部21は、周波数帯域kに対するインデックスの差分値を3とする。
空間情報符号化部21は、インデックス値の差分値と類似度符号の対応を示した符号化テーブルを参照する。そして空間情報符号化部21は、符号化テーブルを参照することにより、類似度ICCi(k)(i=L,R,0)の各周波数についてインデックス間の差分値に対する類似度符号idxicci(k)(i=L,R,0)を決定する。なお、符号化テーブルは、予め、空間情報符号化部21が有するメモリ等に格納される。また、類似度符号は、例えば、ハフマン符号あるいは算術符号など、出現頻度が高い差分値ほど符号長が短くなる可変長符号とすることができる。
図3は、インデックスの差分値と類似度符号の関係を示すテーブルの一例を示す図である。図3の例では、類似度符号はハフマン符号である。図3に示す符号化テーブル300において、左側の列の各欄はインデックスの差分値を表し、右側の列の各欄は、同じ行のインデックスの差分値に対応する類似度符号を表す。例えば、周波数帯域kの類似度ICCL(k)に対するインデックスの差分値が3である場合、空間情報符号化部21は、符号化テーブル500を参照することにより、周波数帯域kの類似度ICCL(k)に対する類似度符号idxiccL(k)を"111110"に設定する。
空間情報符号化部21は、強度差の値とインデックス値との対応関係を示した量子化テーブルを参照する。そして空間情報符号化部21は、量子化テーブルを参照することにより、各周波数についての強度差CLDj(k)(j=L,R,C,1,2)と最も値が近いインデックス値を決定する。空間情報符号化部21は、各周波数帯域について、周波数方向に沿ってインデックス間の差分値を求める。例えば、周波数帯域kに対するインデックス値が2であり、周波数帯域(k-1)に対するインデックス値が4であれば、空間情報符号化部21は、周波数帯域kに対するインデックスの差分値を-2とする。
空間情報符号化部21は、インデックス間の差分値と強度差符号の対応を示した符号化テーブルを参照する。そして空間情報符号化部21は、符号化テーブルを参照することにより、強度差CLDj(k)の各周波数帯域kの差分値に対する強度差符号idxcldj(k)(j=L,R,C)を決定する。強度差符号は、類似度符号と同様に、例えば、ハフマン符号あるいは算術符号など、出現頻度が高い差分値ほど符号長が短くなる可変長符号とすることができる。なお、量子化テーブル及び符号化テーブルは、予め空間情報符号化部21が有するメモリに格納される。
図4は、強度差に対する量子化テーブルの一例を示す図である。図4に示す量子化テーブル400において、行410、430及び450の各欄はインデックス値を表し、行420、440及び460の各欄は、それぞれ、同じ列の行410、430及び450の各欄に示されたインデックス値に対応する強度差の代表値を表す。例えば、周波数帯域kに対する強度差CLDL(k)が10.8dBである場合、量子化テーブル400では、インデックス値5に対応する強度差の代表値がCLDL (k)に最も近い。そこで、空間情報符号化部21は、CLDL(k)に対するインデックス値を5に設定する。
空間情報符号化部21は、類似度符号idxicci(k)、強度差符号idxcldj(k)及び、後述する予測係数符号idxcm(k)を用いてMPS符号を生成する。例えば、空間情報符号化部21は、類似度符号idxicci(k)、強度差符号idxcldj(k)及び予測係数符号idxcm(k)を所定の順序に従って配列することにより、MPS符号を生成する。この所定の順序については、例えば、ISO/IEC 23003-1:2007に記述されている。空間情報符号化部21は、生成したMPS符号を多重化部22へ出力する。
多重化部22は、AAC符号、SBR符号及びMPS符号を所定の順序に従って配列することにより多重化する。そして多重化部22は、多重化により生成された符号化オーディオ信号を出力する。図5は、符号化されたオーディオ信号が格納されたデータ形式の一例を示す図である。図5の例では、符号化されたオーディオ信号は、MPEG-4 ADTS(Audio Data Transport Stream)形式に従って作成される。図5に示される符号化データ列500において、データブロック510にAAC符号が格納される。またADTS形式のFILLエレメントが格納されるブロック520の一部領域にSBR符号及びMPS符号が格納される。
上述の通り、予測係数符号化部14は、符号帳に含まれる複数の予測係数を適用した場合の誤差dの分布を二次曲面として取り扱う。具体的には、楕円放物面または放物線柱面のいずれかとして取り扱う。本実施例では、誤差dの分布を二次曲面として取り扱うことが出来る理由と、二次曲面のうち楕円放物面または放物線柱面のいずれかとして取り扱うことが出来る理由を以下の通り説明する。更に二次曲面の最小値、換言すると誤差dの算術的な最小値の算出方法について説明する。
先ず、誤差dの分布を二次曲面として取り扱うことが出来る理由について説明する。誤差dは上述の(数9)で規定することが出来る。(数9)を展開して整理すると次式で表現することが出来る。
(数11)



ここで、Re(x(k,n))ならびにRe(y(k,n))は、周波数信号x(k,n)、y(k,n)または、チャネル信号x(k,n) 、y(k,n)の実数成分である。Im(x(k,n)) ならびにIm (y(k,n))は、周波数信号x(k,n) 、y(k,n)または、チャネル信号x(k,n) 、y(k,n)の虚数成分である。上述の(数11)は、誤差dを固定値とした場合の分布形状の断面が二次曲線であり、予測係数c1、c2に対する二次曲線であると解釈することが出来る。すなわち、符号帳に含まれる複数の予測係数を適用した場合の誤差dの分布を二次曲面として取り扱うことが可能であることを意味する。
次に、二次曲面のうち楕円放物面または放物線柱面のいずれかとして取り扱うことが出来る理由を、誤差dを固定値とした場合の分布形状の断面である二次曲線を用いて、以下の通り説明する。先ず、二次曲線の一般式を次式で示す。
(数12)


なお、上述の(数11)と(数12)の一般式の各変数は以下の様に対応する。
ここで、一般的に二次曲線は、放物線、双曲線、平行2直線、楕円のいずれかの曲線になることが知られており、次式の条件を満たす場合は放物線となる。
(数13)
(β=0かつγ=0かつε≠0)
または(β=0かつα=0かつδ≠0)
また、次式の条件を満たす場合は双曲線となる。
(数14)


次式の条件を満たす場合は、平行2直線となる。
(数15)

かつ
{(β=0かつγ=0かつε≠0)または(β=0かつα=0かつδ≠0)}以外
次式の条件を満たす場合は、楕円となる。
(数16)

ここで、予測係数符号化部14の判定部15が受け取る信号となる左側周波数信号L0(k,n)、右側周波数信号R0(k,n)、中央チャネルの信号C0(k,n)の性質から、放物線と双曲線の条件を満たすことはない。以下にその理由を説明する。
始めに、放物線の条件を満たすことがない理由を説明する。先ず、上述の(数13)において、γ=0と仮定する場合を考える。γ=0の時、次式より全ての(k,n)において、R0(k,n)=0を満たすことになる。
(数17)


この時、εは次式よりε=0を満たすことになる。
(数18)


なお、同様の計算により、α=0と仮定した場合、δ=0を満たすことになる。この様に、放物線になる上述の(数13)の条件は常に満たされることはない。
次に、双曲線の条件を満たすことがない理由を説明する。上述の(数14)は、次式の通りに展開することが出来る.
(数19)


上述の(数19)は,コーシーシュワルツの不等式により、次式を満たすことになる。
(数20)


この様に,双曲線になる上述の(数14)の条件は常に満たされることはない。
以上の通り、誤差dを固定値とした場合の分布形状の断面の二次曲線は、放物線と双曲線の条件を満たすことはない。つまり、上述の(数11)は、誤差dを固定値とした場合の分布形状の断面の二次曲線は、平行2直線または楕円のいずれかとして取り扱うことが可能である。
ここで、平行2直線を予測係数c1、c2に対する二次曲面として規定すると放物線柱面となる。また、楕円を予測係数c1、c2に対する二次曲面として規定すると楕円放物面となる。換言すると、予測係数符号化部14の判定部15は、符号帳に含まれる複数の予測係数を適用した場合の誤差dの分布を、放物線柱面または楕円放物面のいずれかの二次曲面として取り扱うことが可能である。
なお、予測係数符号化部14の判定部15は、符号帳に含まれる複数の予測係数を適用した場合の誤差dの分布を、放物線柱面として取り扱うか楕円放物面として取り扱うかの判定は、左側周波数信号L0(k,n)、右側周波数信号R0(k,n)、中央チャネルの信号C0(k,n)に基づいて、上述の(数16)を満たすか否かで判定すれば良い。
放物線柱面または楕円放物面のいずれかの二次曲面の最小値が、算術的に誤差dが最も小さくなることになる。最小値が符号帳に含まれる予測係数の最小係数と最大係数から規定される符号帳範囲の内に存在するか否かで、予測係数符号化部14の算出部16の予測係数の算出手法が異なる為、次に最小値の算出方法について説明する。先ず、2次曲面を放物線柱面として取り扱う場合の最小値の算出方法を説明する。上述の(数15)の条件を満たす場合は、次式の何れかを満たす場合となる。
(数21)

ここで、上述の(数21)の(iii)を満たしている場合について説明する。上述の(数21)の(iii)は次式の通り表現することが可能である。
(数22)

ただし、sは任意の実数である。上述の(数22)を(数11)の各項に代入すると、誤差dは次式の通り表現することが可能となる。
(数23)

上述の(数23)において、(c1+s・c2)はc1とc2の一次式である。ここで、(数23)の(c1+s・c2)を変数zと置換し、入力信号となる右側周波数信号L0(k,n)、右側周波数信号R0(k,n)、中央チャネルの信号C0(k,n)から一意的に定まる定数をA、B、C、Dに置換すると、(数23)は次式の放物線の一般式で表現できる。
(数24)
上述の(数23)において、f(L0,L0)は常に正の値を有する為、予測係数c1、c2ならびに誤差dを座標とする放物線柱面の誤差の分布形状は、予測係数c1-c2平面に対して最小値を有することになる。図6は予測係数c1、c2ならびに誤差dを座標とする放物線柱面の誤差分布形状の概念図である。図6に示す通り、誤差dの最小値は、予測係数c1-c2平面において直線上に存在し、該直線から放物線上に誤差dが大きくなる特徴を有する。なお、以降、説明の便宜上、放物線柱面の誤差分布形状を放物線柱面型と称する。なお、放物線柱面型の最小値は次式で表現される直線状となる。
(数25)
ここで、上述の(数23)において、f(L0,L0)は常に正の値となる理由について補足説明する。上述の(数11)のf(x,y)において、x=L0、y=L0と規定した場合、f(x,y)は次式で表現される。
(数26)

上述の(数26)を整理すると、次式で表現される。
(数27)

上述の(数26)で示される様に、総和の各項が常に0以上であるため、f(L0,L0)は常に0以上の正の値となる。なお、全ての(k,n)においてL0(k,n)=0である場合には、f(L0,L0)は正の値でなく0となるが、この場合は、上述の(数21)の(i)の条件を満たすことになる為、 (iii)の条件を満たす場合おいては、f(L0,L0)は常に正の値となる。
上述の(数21)の(i)、(ii)の条件を満たしている場合についても同様な計算で放物線柱面型の最小値を算出することが出来る。説明する。(数21)の(i)の条件を満たしている場合は、放物線柱面型の最小値は次式で表現される直線状となる。
(数28)


c1は任意
(数21)の(ii)の条件を満たしている場合は、放物線柱面型の最小値は次式で表現される直線状となる。
(数29)


c2は任意
次に、2次曲面を楕円放物面として取り扱う場合の最小値の算出方法を説明する。上述の(数11)は、入力信号となる右側周波数信号L0(k,n)、右側周波数信号R0(k,n)、中央チャネルの信号C0(k,n)から一意的に定まる定数をA、B、C、D、Eに置換して直交変換を行う、次式の楕円の一般式で表現できる。
(数30)

上述の(数30)により、楕円は誤差dが最小となる中心が(B,D)であり、dが大きくなるほど楕円の半径が大きくなる楕円放物面となる。図7は予測係数c1、c2ならびに誤差dを座標とする楕円放物面の誤差分布形状の概念図である。図7に示す通り誤差dが最小となる中心から、dが大きくなるほど楕円の半径が大きくなる楕円放物面となる。なお、以降、説明の便宜上、楕円放物面の誤差分布形状を楕円放物面型と称する。また、上述の(数30)において、最小値となる(B,D)、換言すると(c1,c2)は次式により算出することが出来る。
(数31)
以上、説明した通り、予測係数符号化部14の算出部16は、放物線柱面または楕円放物面のいずれかの二次曲面において、算術的に誤差dが最も小さくなる最小値を算出することが可能となる。次に、予測係数符号化部14の算出部16が算出した最小値が符号帳に含まれる予測係数の最小係数と最大係数から規定される符号帳範囲の内に存在するか否かを判定する方法について説明する。
(放物線柱面として取り扱う場合の符号帳範囲判定)
誤差dの分布を放物線柱面として取り扱う場合において、最小値が符号帳範囲内外のいずれかに存在するかを判定する符号帳範囲判定について説明する。図8(a)は、予測係数c1-c2平面における放物線柱面の最小値が符号帳範囲の内に存在する場合の最適解を示す概念図である。図8(b)は、予測係数c1-c2平面における放物線柱面の最小値が符号帳範囲の外に存在する場合の最適解を示す概念図である。なお、図8(a)ならびに図8(b)の予測係数c1-c2平面上に示されるハッチングは、放物線柱面の曲率を任意の区間で区切って示したものである。図8(a)ならびに図8(b)に示される通り、誤差dの最小値は、予測係数c1-c2平面において直線上に存在する。この最小値を満たす直線の傾きは、上述の(数25)、(数28)、(数29)の性質上、予測係数c1-c2平面において単調増加または単調減少となるか、予測係数c1、c2の軸に対して平行になる。いずれの傾きになるのかは、次式の判定式で判定することが出来る。
(数32)

上述の(数32)において、(i)の条件を満たす場合は、予測係数c1の軸に対して平行となり、(ii)の条件を満たす場合は、予測係数c2の軸に対して平行となる。また、(iii)の条件を満たす場合は、予測係数c1-c2平面において単調減少となり、(iv)の条件を満たす場合は、予測係数c1-c2平面において単調増加となる。いずれの条件を満たすかで符号帳範囲判定に方法が異なる為、以下に説明する。
(放物線柱面における最小値が予測係数c1の軸に対して平行の場合)
先ず、放物線柱面における最小値が予測係数c1の軸に対して平行の場合について説明する。最小値は,上述の(数28)により、c2=m2,(c1は任意)と一意的に算出される。このとき、次式の条件を満たす場合は、最小値が符号帳範囲の内に存在すると判定し、次式の条件を満たさない場合は、最小値が符号帳範囲の外に存在すると判定する。
(数33)
cMin≦m2かつ cMax≧m2
上述の(数33)において、cMinは、符号帳に含まれる予測係数の最小係数を示し、cMaxは、符号帳に含まれる予測係数の最大係数を示す。以降の数式においても同義とする。また、符号帳に含まれている予測係数を用いる必要がある為、上述の(数33)ならびに以降の数式においても、cMin≦c1≦cMaxかつcMin≦c2≦cMaxを満たす必要がある。
(放物線柱面における最小値が予測係数c2の軸に対して平行の場合)
次に、放物線柱面における最小値が予測係数c1の軸に対して平行の場合について説明する。最小値は,上述の(数29)により、c1=m1(c2は任意)と一意的に算出される。このとき、次式の条件を満たす場合は、最小値が符号帳範囲の内に存在すると判定し、次式の条件を満たさない場合は、最小値が符号帳範囲の外に存在すると判定する。
(数34)
cMin≦m1かつ cMax≧m1
(放物線柱面における最小値が予測係数c1-c2平面において単調減少する場合)
次に、放物線柱面における最小値が予測係数c1-c2平面において単調減少する場合について説明する。最小値は,上述の(数25)により、(c1+s・c2)=m3を満たす直線上の点と一意的に算出される。ただし、上述の(数22)と(数32)の条件によりs>0である。このとき、c2=cMinおよびc2=cMaxの時のc1の値を判定することで、符号帳範囲内を、直線(c1+s・c2)=m3が通っているかを判定することが出来る。具体的には、次式の条件を満たす場合は、最小値が符号帳範囲の内に存在すると判定し、次式の条件を満たさない場合は、最小値が符号帳範囲の外に存在すると判定する。
(数35)
m3−s・cMin≧cMin かつ m3−s・cMax≦cMax
(放物線柱面における最小値が予測係数c1-c2平面において単調増加する場合)
次に、放物線柱面における最小値が予測係数c1-c2平面において単調増加する場合について説明する。最小値は,上述の(数25)により(c1+s・c2)=m3を満たす直線上の点となる。ただし、上述の(数22)と(数32)の条件により、s<0である。このとき、c2=cMinおよびc2=cMaxの時のc1の値を判定することで、符号帳範囲内を直線 (c1+s・c2)=m3が通っているかを判定することが出来る。次式の条件を満たす場合は、最小値が符号帳範囲の内に存在すると判定し、次式の条件を満たさない場合は、最小値が符号帳範囲の外に存在すると判定する。
(数36)
m3−s・cMin≦cMax かつ m3−s・cMax≧cMin
この様にして,誤差dの分布を放物線柱面として取り扱う場合は、最小値を満たす直線が予測係数c1-c2平面において単調増加または単調減少となるか、予測係数c1、c2の軸に対して平行になるのかは上述の(数32)で判定することが出来る。そして、最小値が符号帳範囲の内に存在するか否かは上述の(数33)〜(数36)を用いて判定することが出来る。
(楕円放物面として取り扱う場合の符号帳範囲判定)
次に、誤差dの分布を楕円放物面として取り扱う場合において、最小値が符号帳範囲内外のいずれかに存在するかを判定する符号帳範囲判定について説明する。図9(a)は、予測係数c1-c2平面における楕円放物面の最小値が符号帳範囲の内に存在する場合の最適解を示す概念図である。図9(b)は、予測係数c1-c2平面における楕円放物面の最小値が符号帳範囲の外に存在する場合の最適解を示す概念図である。なお、図9(a)ならびに図9(b)の予測係数c1-c2平面上に示されるハッチングは、楕円放物面の曲率を任意の区間で区切って示したものである。上述の(数29)により算出される楕円放物面における最小値を (c1,c2)=(m1,m2)とする。(m1,m2)が符号帳範囲の内に存在する場合、次式の条件を満たす場合は、最小値が符号帳範囲の内に存在すると判定し、次式の条件を満たさない場合は、最小値が符号帳範囲の外に存在すると判定する。
(数37)
cMin≦m1 かつcMax≧m1かつcMin≦m2 かつ cMax≧m2
(算出した最小値と符号帳範囲判定に基づく符号帳に含まれる予測係数の算出)
次に、算出した最小値と符号帳範囲判定に基づく符号帳に含まれる予測係数の算出方法について説明する。誤差dの分布を楕円放物面か放物線柱面として取り扱うか、更に、最小値が符号帳範囲の内に存在するか否かで算出方法が異なる。以降、種別毎に説明するが、いずれの場合においても、最小値が符号帳範囲外に存在する場合は、符号帳を用いる制約から、算出した最小値を予測係数として用いることが出来ない。この為、放物線柱面または楕円放物面のいずれかの2次曲線が符号帳範囲の縁辺に接する点を、誤差dが符号帳を用いる制約下における最適解として算出し、該最適にを符号帳に含まれる予測係数とする。また、最小値が符号帳範囲内に存在する場合は、算出した最小値をそのまま最適解、すなわち符号帳に含まれる予測係数とすれば良い。
(I:誤差dの分布を放物線柱面として取り扱い、放物線柱面の最小値を満たす直線が予測係数c1の軸に対して平行であり、最小値が符号帳範囲の内に存在する場合)
先ず、誤差dの分布を放物線柱面として取り扱い、放物線柱面の最小値を満たす直線が予測係数c1の軸に対して平行であり、最小値が符号帳範囲の内に存在する場合の最適解の算出方法について説明する。最小値が符号帳範囲の内に存在するため、算出した最小値を最適解とすれば良い。上述の通り、最小値はc2=m2(c1は任意)を満たす。符号帳範囲内であれば、c1は任意であるが、c1=cMinとの交点を算出する場合、最適解は、次式で決定することが出来る。
(数38)
(c1,c2) = (cMin,m1)
(II:誤差dの分布を放物線柱面として取り扱い、放物線柱面の最小値を満たす直線が予測係数c1の軸に対して平行であり、最小値が符号帳範囲の外に存在する場合)
次に、誤差dの分布を放物線柱面として取り扱い、放物線柱面の最小値を満たす直線が予測係数c1の軸に対して平行であり、最小値が符号帳範囲の外に存在する場合の最適解の算出方法について説明する。最小値が符号帳範囲の外に存在する為、符号帳範囲内で誤差dが小さくなる点を最適解として算出する必要がある。図6に示す通り、放物線柱面の場合、最小値を満たす直線からの距離が遠いほど誤差dが大きくなるため、符号帳範囲の縁辺と接する点を算出すればよい。最小値は、c2=m2(c1は任意)を満たす。c1は任意であるが、c1=cMinとの交点を算出する場合、最適解は次式で決定することが出来る。
(数39)
m2>cMaxの時 (c1,c2)=(cMin,cMax)
m2<cMinの時 (c1,c2)=(cMin,cMin)
(III:誤差dの分布を放物線柱面として取り扱い、放物線柱面の最小値を満たす直線が予測係数c2の軸に対して平行であり、最小値が符号帳範囲の内に存在する場合)
次に、誤差dの分布を放物線柱面として取り扱い、放物線柱面の最小値を満たす直線が予測係数c2の軸に対して平行であり、最小値が符号帳範囲の内に存在する場合の最適解の算出方法について説明する。最小値が符号帳範囲の内に存在するため、算出した最小値を最適解とすれば良い。最小値はc1=m1(c2は任意)を満たす。符号帳範囲内であれば、c2は任意であるが、c2=cMinとの交点を算出する場合、最適解は、次式で決定することが出来る。
(数40)
(c1,c2) = (m1,cMin)
(IV:誤差dの分布を放物線柱面として取り扱い、放物線柱面の最小値を満たす直線が予測係数c2の軸に対して平行であり、最小値が符号帳範囲の外に存在する場合)
次に、誤差dの分布を放物線柱面として取り扱い、放物線柱面の最小値を満たす直線が予測係数c2の軸に対して平行であり、最小値が符号帳範囲の外に存在する場合の最適解の算出方法について説明する。最小値が符号帳範囲の外に存在する為、符号帳範囲内で誤差dが小さくなる点を最適解として算出する必要がある。図6に示す通り、放物線柱面の場合、最小値を満たす直線からの距離が遠いほど誤差dが大きくなるため、符号帳範囲の縁辺と接する点を算出すればよい。最小値は、c1=m1(c2は任意)を満たす。c2は任意であるが、c2=cMinとの交点を算出する場合、最適解は次式で決定することが出来る。
(数41)
m1>cMaxの時 (c1,c2)=(cMax,cMin)
m1<cMinの時 (c1,c2)=(cMin,cMin)
(V:誤差dの分布を放物線柱面として取り扱い、放物線柱面の最小値を満たす直線が予測係数c1-c2平面において単調減少し、最小値が符号帳範囲の内に存在する場合)
次に、誤差dの分布を放物線柱面として取り扱い、放物線柱面の最小値を満たす直線が予測係数c1-c2平面において単調減少し、最小値が符号帳範囲の内に存在する場合の最適解の算出方法について説明する。最小値が符号帳範囲の内に存在するため、算出した最小値を最適解とすれば良い。最小値は(c1+s・c2)=m3を満たす。但し、上述の(数22)と(数32)の条件により、s>0である。最小値の条件を満たし、符号帳範囲内であればどの点を最適解としても良いが、c1=cMinあるいは、c2=cMaxのいずれかと最小値の条件との交点を最適解として算出する場合、最適解は、次式で決定することが出来る。
(数42)
m3−s・cMax≧cMinの時 (c1,c2)=(m3-s・cMax,cMax)
m3−s・cMax<cMinの時 (c1,c2)=(cMin,(cMin-m3)/s)
ここで、上述の(数42)の上段の式は、最小値の条件とc2=cMaxの交点を表し、下段の式は最小値の条件とc1=cMinの交点を表す。
(VI:誤差dの分布を放物線柱面として取り扱い、放物線柱面の最小値を満たす直線が予測係数c1-c2平面において単調減少し、最小値が符号帳範囲の外に存在する場合)
次に、誤差dの分布を放物線柱面として取り扱い、放物線柱面の最小値を満たす直線が予測係数c1-c2平面において単調減少し、最小値が符号帳範囲の外に存在する場合の最適解の算出方法について説明する。最小値が符号帳範囲の外に存在する為、符号帳範囲内で誤差dが小さくなる点を最適解として算出する必要がある。図6に示す通り、放物線柱面の場合、最小値を満たす直線からの距離が遠いほど誤差dが大きくなるため、符号帳範囲の縁辺と接する点を最適解とすればよい。最小値は(c1+s・c2)=m3を満たす。ただし、上述の(数22)と(数32)の条件により、s>0である。この時、次式にて符号帳範囲内の最適解を算出することができる。
(数43)
m3−s・cMin<cMin の時 (c1,c2)=(cMin,cMin)
m3−s・cMax>cMax の時 (c1,c2)=(cMax,cMax)
(VII:誤差dの分布を放物線柱面として取り扱い、放物線柱面の最小値を満たす直線が予測係数c1-c2平面において単調増加し、最小値が符号帳範囲の内に存在する場合)
次に、誤差dの分布を放物線柱面として取り扱い、放物線柱面の最小値を満たす直線が予測係数c1-c2平面において単調増加し、最小値が符号帳範囲の内に存在する場合の最適解の算出方法について説明する。最小値が符号帳範囲の内に存在するため、算出した最小値を最適解とすれば良い。最小値は、(c1+s・c2)=m3を満たす。但し、上述の(数22)と(数32)の条件により、s<0である。最小値の条件を満たし、符号帳範囲内であればどの点を最適解としても良いが、c1=cMinあるいは、c2=cMinのいずれかと最小値の条件との交点を最適解として算出する場合、最適解は次式で決定することが出来る。
(数44)
m3−s・cMin≧cMinの時 (c1,c2)=(m3-s・cMin,cMin)
m3−s・cMin<cMinの時 (c1,c2)=(cMin,(cMin-m3)/s)
ここで、上述の(数44)の上段の式は、最小値の条件とc2=cMinの交点を表し、下段の式は最小値の条件とc1=cMinの交点を表す。
(VIII:誤差dの分布を放物線柱面として取り扱い、放物線柱面の最小値を満たす直線が予測係数c1-c2平面において単調増加し、最小値が符号帳範囲の外に存在する場合)
次に、誤差dの分布を放物線柱面として取り扱い、放物線柱面の最小値を満たす直線が予測係数c1-c2平面において単調増加し、最小値が符号帳範囲の外に存在する場合の最適解の算出方法について説明する。最小値が符号帳範囲の外に存在する為、符号帳範囲内で誤差dが小さくなる点を最適解として算出する必要がある。図6に示す通り、放物線柱面の場合、最小値を満たす直線からの距離が遠いほど誤差dが大きくなるため、符号帳範囲の縁辺と接する点を最適解とすればよい。最小値は(c1+s・c2)=m3を満たす。ただし、上述の(数22)と(数32)の条件により、s<0である。この時、次式にて符号帳範囲内の最適解を算出することができる。
(数45)
m3−s・cMin>cMax の時 (c1,c2) = (cMax,cMin)
m3−s・cMax<cMin の時 (c1,c2)=(cMin,cMax)
(IX:誤差dの分布を楕円放物面として取り扱い、楕円放物面の最小値が符号帳範囲の内に存在する場合)
次に、誤差dの分布を楕円放物面として取り扱い、楕円放物面の最小値が符号帳範囲の内に存在する場合の最適解の算出方法について説明する。最小値が符号帳範囲の内に存在する場合は、上述の(数31)にて、最適解を算出することができる。
(X:誤差dの分布を楕円放物面として取り扱い、楕円放物面の最小値が符号帳範囲の外に存在する場合)
次に、誤差dの分布を楕円放物面として取り扱い、楕円放物面の最小値が符号帳範囲の外に存在する場合の最適解の算出方法について説明する。最小値が符号帳範囲の外に存在する場合は、符号帳範囲内で誤差が最小になる点となる最適解を求める必要がある。楕円放物面の場合、図7に示す通り、誤差最小点から楕円状に誤差が増えていくため、等高線状で符号帳範囲と最初に接する点において誤差dが最小となる。ここで、上述の(数31)により求めた誤差最小点が(c1,c2)=(m1,m2)とする。この時、図9(a)のようにm1≧cMaxである場合には、上述の(数11)において、c1=cMaxとすることで求めることが出来る。この時c1は固定値となるため、c2を変数とした2次関数である次式となり、この重解を解くことで符号帳範囲内における最適解を求めることが出来る。
(数46)

なお、上述の実施例において、予測係数符号化部14の算出部16は、放物線柱面の最小値を満たす直線または、楕円放物面の最小値が符号帳範囲の外に存在する場合においては、誤差が最小となる様に、符号帳範囲の縁辺と、放物線柱面または楕円放物面の交点、即ち最適解を算出しているが、音質よりも処理時間を優先させたい場合は、最適解を算出せずに、最小値付近の符号帳範囲の縁辺の任意の係数を選択しても良い。
また、誤差dの分布を放物線柱面として取り扱い、放物線柱面の最小値を満たす直線が符号帳範囲の内に存在する場合は、最適解が複数存在することになる。この時、いずれの解を選んでも予測符号化による誤差は変わらない。しかしながら、予測係数の符号化に使用されるビット量は、最適解に応じて変わる可能性がある。図10は、時間−周波数帯域毎の予測係数の帯域を示す概念図である。予測係数の符号化には、符号化値そのものを送る方法と差分を送る方法があり、差分を送る方法には、1つ前の時間の符号化値との差分を送る方法、または、1つ下の周波数帯域の符号化値との差分を送る方法の2つがある。例として、図10のc1(5)において、1つ前の時間の符号化値との差分を送る方法を選択した場合、c1(5)−c1(2)の値をc1(5)の代わりに符号化する。また、1つ下の周波数帯域の符号化値との差分を送る方法を選択した場合には、c1(5)−c1(4)の値をc1(5)の代わりに符号化する。
ここで、図10の予測係数c1(5)において解が複数存在する場合に、全ての解の内で1つ前の時間の符号化値との差分c1(5)−c1(2)および1つ下の周波数帯域の符号化値との差分c1(5)−c1(4)のいずれかが最も小さくなる解を選択したとき予測パラメータc1(5)の符号化で用いるビット数が少なくなる。予測係数で用いるビット数が少なくなると、図5におけるMPSデータに用いられるビット数が少なくなるため、AACデータやSBRデータでより多くのビット数を使用することが出来る為、音質を向上させることが可能となる。
最後に、予測係数符号化部14の算出部は、最適解すなわち符号帳に含まれる予測係数c1(k)、c2(k)を用いて、予測係数符号化部14が有する予測係数c1(k)、c2(k)の代表値とインデックス値との対応関係を示した量子化テーブルを参照する。そして、予測係数符号化部14は、量子化テーブルを参照することにより、各周波数帯域についての予測係数c1、c2に対して、最も値が近いインデックス値を決定する。予測係数符号化部14は、各周波数帯域について、周波数方向に沿ってインデックス間の差分値を求める。例えば、周波数帯域kに対するインデックス値が2であり、周波数帯域(k-1)に対するインデックス値が4であれば、予測係数符号化部14は、周波数帯域kに対するインデックスの差分値を-2とする。
予測係数符号化部14の算出部16は、インデックス間の差分値と予測係数符号の対応を示した符号化テーブルを参照する。そして予測係数符号化部14の算出部16は、符号化テーブルを参照することにより、予測係数cm(k)(m=1,2)の各周波数帯域kの差分値に対する予測係数符号idxcm(k)(m=1,2)を決定する。予測係数符号は、類似度符号と同様に、例えば、ハフマン符号あるいは算術符号など、出現頻度が高い差分値ほど符号長が短くなる可変長符号とすることができる。なお、量子化テーブル及び符号化テーブルは、予め、予測係数符号化部14が有するメモリに格納される。
図11は、予測係数に対する量子化テーブルの一例を示す図である。図11に示す量子化テーブル1100において、行1110、1120、1130、1140及び1150の各欄はインデックス値を表す。一方、行1115、1125、1135、1145及び1155の各欄は、それぞれ、同じ列の行1110、1120、1130、1140及び1150の各欄に示されたインデックス値に対応する予測係数の代表値を表す。例えば、周波数帯域kに対する予測係数c1 (k)が1.21である場合、量子化テーブル1100では、インデックス値12が予測係数c1 (k)に最も近い。そこで、予測係数符号化部14は、予測係数c1 (k)に対するインデックス値を12に設定する。
図12は、オーディオ符号化処理の動作フローチャートを示す。なお、図12に示されたフローチャートは、1フレーム分のマルチチャネルオーディオ信号に対する処理を表す。オーディオ符号化装置1は、マルチチャネルオーディオ信号を受信し続けている間、フレームごとに図9に示されたオーディオ符号化処理の手順を繰り返し実行する。
時間周波数変換部11は、各チャネルの信号を周波数信号に変換する(ステップS1201)。時間周波数変換部11は、各チャネルの周波数信号を第1ダウンミックス部12へ出力する。
次に、第1ダウンミックス部12は、各チャネルの周波数信号をダウンミックスすることにより右、左、中央の3チャネルの周波数信号を生成する。さらに第1ダウンミックス部12は、右、左、中央の各チャネルの空間情報を算出する(ステップS1202)。第1ダウンミックス部12は、3チャネルの周波数信号を第2ダウンミックス部13ならびに予測係数符号化部14へ出力する。
第2ダウンミックス部13は、3チャネルの周波数信号をダウンミックスすることによりステレオ周波数信号を生成する。そして、第2ダウンミックス部13は、ステレオ周波数信号をチャネル信号符号化部17へ出力する(ステップS1203)。
また、予測係数符号化部14は、周波数信号{ L0(k,n)、R0(k,n)、C0(k,n)}と、判定式(数16)に基づいて、誤差分布の形状として取扱う2次曲面を判定する(ステップS1204)。
そして、予測係数符号化部14は、後述する図13のフローに従って、判定された2次曲面から規定される誤差の最小値と,符号帳範囲とに基づいて,符号帳に含まれる予測係数を算出し、予測係数を符号化する(ステップS1205)。予測係数符号化部は、符号化した予測係数を空間情報符号化部21へ出力する。
また、空間情報符号化部21は、受け取った空間情報を符号化することによりMPS符号を生成する(ステップS1206)。そして空間情報符号化部21は、MPS符号を多重化22へ出力する。
チャネル信号符号化部17は、受け取った各チャネルのステレオ周波数信号のうち、高域成分をSBR符号化する。またチャネル信号符号化部17は、受け取った各チャネルのステレオ周波数信号のうち、SBR符号化されない低域成分をAAC符号化する(ステップS1207)。そしてチャネル信号符号化部17は、複製に利用された低域成分と対応する高域成分の位置関係を表す情報などのSBR符号と、AAC符号を多重化部22へ出力する。
最後に、多重化部22は、生成されたSBR符号、AAC符号及びMPS符号を多重化することにより、符号化されたオーディオ信号を生成する(ステップS1208)。多重化部22は、符号化されたオーディオ信号を出力する。そしてオーディオ符号化装置1は、符号化処理を終了する。
なお、オーディオ符号化装置1は、ステップS1206の処理とステップS1207の処理を並列に実行してもよい。あるいは、オーディオ符号化装置1は、ステップS1207の処理を行う前にステップS1208の処理を実行してもよい。
図13は、予測係数選択処理の動作フローチャートを示す。予測係数符号化部14は、図12のステップS1204において、判定された2次曲面形状は放物線柱面か否(楕円放物面)かを判別する(ステップS1301)。
予測係数符号化部14は、判別された2次曲面が放物線柱面の場合(ステップS1301−Yes)は、周波数信号の実数成分,Re{l0(k,n)} 、Re{(r0(k,n)}ならびに虚数成分Im{ l0(k,n )}、Im{ r0(k,n )}と、判定式(数32)に基づいて、予測係数c1-c2平面において誤差の最小値を満たす直線の傾きを算出する(ステップS1302)。
そして、予測係数符号化部14は、直線の傾きと放物線柱面に適用される判定式(数33)〜(数36)基づいて誤差の最小値が符号帳範囲の内に存在するか否かを判定する。また、判別された判別された2次曲面が楕円放物面の場合(ステップS1301−No)は、楕円放物面に適用される判定式(数37)に基づいて誤差の最小値が符号帳範囲の内に存在するか否かを判定する(ステップS1303)。
予測係数符号化部14は、誤差の最小値が符号帳範囲の内に存在するか否かを判別する(ステップS1304)。誤差の最小値が符号帳範囲の内に存在する場合(ステップS1304−Yes)、予測係数符号化部14は、誤差の最小値を満たす直線の傾きと、放物線柱面に適用される算術式(数38)、(数40)、(数42)、(数44)または、楕円放物面に適用される算術式(数31)に基づいて最適解、すなわち符号帳に含まれる予測係数を算出する(ステップS1305)。
また、誤差の最小値が符号帳範囲の外に存在する場合(ステップS1306−No)、予測係数符号化部14は、誤差の最小値を満たす直線の傾きと、放物線柱面に適用される算術式(数39)、(数41)、(数43)、(数45)または、楕円放物面に適用される算術式(数46)に基づいて最適解、すなわち符号帳に含まれる予測係数を算出する(ステップS1306)。
最後に、予測係数符号化部14は、最適解に基づいて予測係数を符号化する(ステップS1307)。
図14(a)は、マルチチャネルのオーディオ信号の原音のスペクトル図である。図14(b)は、符号帳に含まれるすべての予測係数を探索して符号化して復号したオーディオ信号のスペクトル図(比較例)である。図14(c)は、本発明の予測係数の選択手法を適用して符号化してから復号したオーディオ信号のスペクトル図である。なお、図14(a)〜図14(c)のスペクトル図の縦軸は周波数を示し、横軸はサンプリング時間を示す。
図14(b)は、符号帳に含まれるすべての予測係数を探索し、誤差が最も小さくなる予測係数を選択している為、図14(a)のスペクトルとほぼ同等である。なお、図14(b)の符号化に要した実測による処理時間比を1とする。図14(c)に示す、本発明の予測係数の選択手法を採用した場合においても図14(a)のスペクトルとほぼ同等であり、音質の劣化は確認されなかった。なお、図14(c)の符号化に要した実測による処理時間比は1/471であり、音質を劣化させることなく処理量を大幅に削減出来ていることが確認された。
さらに他の実施形態によれば、オーディオ符号化装置のチャネル信号符号化部は、ステレオ周波数信号を他の符号化方式に従って符号化してもよい。例えば、チャネル信号符号化部は、周波数信号全体をAAC符号化方式にしたがって符号化してもよい。この場合、図1に示されたオーディオ符号化装置において、SBR符号化部は省略される。
また、符号化の対象となるマルチチャネルオーディオ信号は、5.1chオーディオ信号に限られない。例えば、符号化の対象となるオーディオ信号は、3ch、3.1chまたは7.1chなど、複数のチャネルを持つオーディオ信号であってもよい。この場合も、オーディオ符号化装置は、各チャネルのオーディオ信号を時間周波数変換することにより、各チャネルの周波数信号を算出する。そしてオーディオ符号化装置は、各チャネルの周波数信号をダウンミックスすることにより、元のオーディオ信号よりもチャネル数が少ない周波数信号を生成する。
上記の各実施形態におけるオーディオ符号化装置が有する各部の機能をコンピュータに実現させるコンピュータプログラムは、半導体メモリ、磁気記録媒体または光記録媒体などの記録媒体に記憶された形で提供されてもよい。
また、上記の各実施形態におけるオーディオ符号化装置は、コンピュータ、ビデオ信号の録画機または映像伝送装置など、オーディオ信号を伝送または記録するために利用される各種の機器に実装させることが可能である。
また、上述の実施例において、図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。
以上説明した実施形態及びその変形例に関し、更に以下の付記を開示する。
(付記1)
オーディオ信号に含まれる複数のチャネルに含まれる第1チャネル信号と第2チャネル信号と、符号帳に含まれる複数の予測係数とに基づいて、前記複数のチャネルに含まれる第3チャネル信号を予測符号化するオーディオ符号化装置において、
予測符号化前の前記第3チャネル信号と予測符号化後の前記第3チャネル信号の差分で規定される誤差の分布を、前記第1チャネル信号と前記第2チャネル信号と、前記予測符号化前の前記第3チャネル信号に基づいて所定の曲面として判定する判定部と、
前記所定の曲面から規定される前記誤差の最小値と、前記複数の予測係数の最小係数と最大係数から規定される符号帳範囲とに基づいて、前記符号帳から前記第1チャネルと前記第2チャネルにそれぞれ対応する前記符号帳に含まれる前記予測係数を算出する算出部と、
を備えることを特徴とするオーディオ符号化装置。
(付記2)
前記所定の曲面は放物線柱面または楕円放物面であり、前記判定部は、第1チャネル信号と前記第2チャネル信号と、前記予測符号化前の前記第3チャネル信号に基づいて、前記誤差の分布を、放物線柱面または楕円放物面として判定することを特徴とする付記1に記載のオーディオ符号化装置。
(付記3)
前記算出部は、前記最小値が、前記複数の予測係数の最小係数と最大係数から規定される符号帳範囲の内に存在する否かを判定し、
前記最小値が前記符号帳範囲の内に存在する場合は、前記最小値との差が最小となる前記第1チャネルと前記第2チャネルにそれぞれ対応する前記符号帳に含まれる前記予測係数を算出することを特徴とする付記1または付記2に記載のオーディオ符号化装置。
(付記4)
前記算出部は、前記最小値が、前記複数の予測係数の最小係数と最大係数から規定される符号帳範囲の内に存在する否かを判定し、
前記最小値が前記符号帳範囲の外に存在する場合は、前記符号帳範囲の縁辺と、前記所定の曲面の交点を算出し、該交点との差が最小となる前記第1チャネルと前記第2チャネルにそれぞれ対応する前記符号帳に含まれる前記予測係数を算出することを特徴とする付記1または付記2に記載のオーディオ符号化装置。
(付記5)
前記算出部は、前記最小値との差が最小となる前記第1チャネルと前記第2チャネルにそれぞれ対応する前記予測係数が、前記符号帳の中に複数存在する場合、時間差分符号化量または周波数差分符号化量が最小となる前記予測係数を選択することを特徴とする付記1ないし付記4の何れか1つに記載のオーディオ符号化装置。
(付記6)
オーディオ信号に含まれる複数のチャネルに含まれる第1チャネル信号と第2チャネル信号と、符号帳に含まれる複数の予測係数とに基づいて、前記複数のチャネルに含まれる第3チャネル信号を予測符号化するオーディオ符号化方法において、
予測符号化前の前記第3チャネル信号と予測符号化後の前記第3チャネル信号の差分で規定される誤差の分布を、前記第1チャネル信号と前記第2チャネル信号と、前記予測符号化前の前記第3チャネル信号に基づいて所定の曲面として判定すること、
前記所定の曲面から規定される前記誤差の最小値と、前記複数の予測係数の最小係数と最大係数から規定される符号帳範囲とに基づいて、前記符号帳から前記第1チャネルと前記第2チャネルにそれぞれ対応する前記符号帳に含まれる前記予測係数を算出することを含むオーディオ符号化方法。
(付記7)
前記所定の曲面は放物線柱面または楕円放物面であり、前記判定することは、第1チャネル信号と前記第2チャネル信号と、前記予測符号化前の前記第3チャネル信号に基づいて、前記誤差の分布を、放物線柱面または楕円放物面として判定することを特徴とする付記6に記載のオーディオ符号化方法。
(付記8)
前記算出することは、前記最小値が、前記複数の予測係数の最小係数と最大係数から規定される符号帳範囲の内に存在する否かを判定し、
前記最小値が前記符号帳範囲の内に存在する場合は、前記最小値との差が最小となる前記第1チャネルと前記第2チャネルにそれぞれ対応する前記符号帳に含まれる前記予測係数を算出することを特徴とする付記6または付記7に記載のオーディオ符号化方法。
(付記9)
前記算出することは、前記最小値が、前記複数の予測係数の最小係数と最大係数から規定される符号帳範囲の内に存在する否かを判定し、
前記最小値が前記符号帳範囲の外に存在する場合は、前記符号帳範囲の縁辺と、前記所定の曲面の交点を算出し、該交点との差が最小となる前記第1チャネルと前記第2チャネルにそれぞれ対応する前記符号帳に含まれる前記予測係数を算出することを特徴とする付記6または付記7に記載のオーディオ符号化方法。
(付記10)
前記算出することは、前記最小値との差が最小となる前記第1チャネルと前記第2チャネルにそれぞれ対応する前記予測係数が、前記符号帳の中に複数存在する場合、時間差分符号化量または周波数差分符号化量が最小となる前記予測係数を選択することを特徴とする付記6ないし付記9の何れか1つに記載のオーディオ符号化方法。
(付記11)
オーディオ信号に含まれる複数のチャネルに含まれる第1チャネル信号と第2チャネル信号と、符号帳に含まれる複数の予測係数とに基づいて、前記複数のチャネルに含まれる第3チャネル信号を予測符号化することをコンピュータに実行させるオーディオ符号化用コンピュータプログラムであって、
予測符号化前の前記第3チャネル信号と予測符号化後の前記第3チャネル信号の差分で規定される誤差の分布を、前記第1チャネル信号と前記第2チャネル信号と、前記予測符号化前の前記第3チャネル信号に基づいて所定の曲面として判定すること、
前記所定の曲面から規定される前記誤差の最小値と、前記複数の予測係数の最小係数と最大係数から規定される符号帳範囲とに基づいて、前記符号帳から前記第1チャネルと前記第2チャネルにそれぞれ対応する前記予測係数を選択することを含むオーディオ符号化用コンピュータプログラム。
(付記12)
前記所定の曲面は放物線柱面または楕円放物面であり、前記判定することは、第1チャネル信号と前記第2チャネル信号と、前記予測符号化前の前記第3チャネル信号に基づいて、前記誤差の分布を、放物線柱面または楕円放物面として判定することを特徴とする付記11記載のオーディオ符号化用コンピュータプログラム。
(付記13)
前記算出することは、前記最小値が、前記複数の予測係数の最小係数と最大係数から規定される符号帳範囲の内に存在する否かを判定し、
前記最小値が前記符号帳範囲の内に存在する場合は、前記最小値との差が最小となる前記第1チャネルと前記第2チャネルにそれぞれ対応する前記符号帳に含まれる前記予測係数を算出することを特徴とする付記11または付記12に記載のオーディオ符号化用コンピュータプログラム。
(付記14)
前記算出することは、前記最小値が、前記複数の予測係数の最小係数と最大係数から規定される符号帳範囲の内に存在する否かを判定し、
前記最小値が前記符号帳範囲の外に存在する場合は、前記符号帳範囲の縁辺と、前記所定の曲面の交点を算出し、該交点との差が最小となる前記第1チャネルと前記第2チャネルにそれぞれ対応する前記符号帳に含まれる前記予測係数を算出することを特徴とする付記11または付記12に記載のオーディオ符号化用コンピュータプログラム。
(付記15)
前記選択することは、前記最小値との差が最小となる前記第1チャネルと前記第2チャネルにそれぞれ対応する前記予測係数が、前記符号帳の中に複数存在する場合、時間差分符号化量または周波数差分符号化量が最小となる前記予測係数を選択することを特徴とする付記11ないし付記12の何れか1つに記載のオーディオ符号化用コンピュータプログラム。
1 オーディオ符号化装置
11時間周波数変換部
12第1ダウンミックス部
13第2ダウンミックス部
14予測係数符号化部
15判定部
16算出部
17チャネル信号符号化部
18SBR符号化部
19周波数時間変換部
20AAC符号化部
21空間情報符号化部
22多重化部

Claims (6)

  1. オーディオ信号に含まれる複数のチャネルに含まれる第1チャネル信号と第2チャネル信号と、符号帳に含まれる複数の予測係数とに基づいて、前記複数のチャネルに含まれる第3チャネル信号を予測符号化するオーディオ符号化装置において、
    予測符号化前の前記第3チャネル信号と予測符号化後の前記第3チャネル信号の差分で規定される誤差の分布を、前記第1チャネル信号と前記第2チャネル信号と、前記予測符号化前の前記第3チャネル信号に基づいて所定の曲面として判定する判定部と、
    前記所定の曲面から規定される前記誤差の最小値と、前記複数の予測係数の最小係数と最大係数から規定される符号帳範囲とに基づいて、前記符号帳から前記第1チャネルと前記第2チャネルにそれぞれ対応する前記符号帳に含まれる前記予測係数を算出する算出部と、
    を備えることを特徴とするオーディオ符号化装置。
  2. 前記所定の曲面は放物線柱面または楕円放物面であり、前記判定部は、第1チャネル信号と前記第2チャネル信号と、前記予測符号化前の前記第3チャネル信号に基づいて、前記誤差の分布を、放物線柱面または楕円放物面として判定することを特徴とする請求項1記載のオーディオ符号化装置。
  3. 前記算出部は、前記最小値が、前記複数の予測係数の最小係数と最大係数から規定される符号帳範囲の内に存在する否かを判定し、
    前記最小値が前記符号帳範囲の内に存在する場合は、前記最小値との差が最小となる前記第1チャネルと前記第2チャネルにそれぞれ対応する前記符号帳に含まれる前記予測係数を算出することを特徴とする請求項1または請求項2記載のオーディオ符号化装置。
  4. 前記算出部は、前記最小値が、前記複数の予測係数の最小係数と最大係数から規定される符号帳範囲の内に存在する否かを判定し、
    前記最小値が前記符号帳範囲の外に存在する場合は、前記符号帳範囲の縁辺と、前記所定の曲面の交点を算出し、該交点との差が最小となる前記第1チャネルと前記第2チャネルにそれぞれ対応する前記符号帳に含まれる前記予測係数を算出することを特徴とする請求項1または請求項2記載のオーディオ符号化装置。
  5. オーディオ信号に含まれる複数のチャネルに含まれる第1チャネル信号と第2チャネル信号と、符号帳に含まれる複数の予測係数とに基づいて、前記複数のチャネルに含まれる第3チャネル信号を予測符号化するオーディオ符号化方法において、
    予測符号化前の前記第3チャネル信号と予測符号化後の前記第3チャネル信号の差分で規定される誤差の分布を、前記第1チャネル信号と前記第2チャネル信号と、前記予測符号化前の前記第3チャネル信号に基づいて所定の曲面として判定すること、
    前記所定の曲面から規定される前記誤差の最小値と、前記複数の予測係数の最小係数と最大係数から規定される符号帳範囲とに基づいて、前記符号帳から前記第1チャネルと前記第2チャネルにそれぞれ対応する前記符号帳に含まれる前記予測係数を算出することを含むオーディオ符号化方法。
  6. オーディオ信号に含まれる複数のチャネルに含まれる第1チャネル信号と第2チャネル信号と、符号帳に含まれる複数の予測係数とに基づいて、前記複数のチャネルに含まれる第3チャネル信号を予測符号化することをコンピュータに実行させるオーディオ符号化用コンピュータプログラムであって、
    予測符号化前の前記第3チャネル信号と予測符号化後の前記第3チャネル信号の差分で規定される誤差の分布を、前記第1チャネル信号と前記第2チャネル信号と、前記予測符号化前の前記第3チャネル信号に基づいて所定の曲面として判定すること、
    前記所定の曲面から規定される前記誤差の最小値と、前記複数の予測係数の最小係数と最大係数から規定される符号帳範囲とに基づいて、前記符号帳から前記第1チャネルと前記第2チャネルにそれぞれ対応する前記予測係数を選択することを含むオーディオ符号化用コンピュータプログラム。
JP2012008484A 2012-01-18 2012-01-18 オーディオ符号化装置、オーディオ符号化方法及びオーディオ符号化用コンピュータプログラム Expired - Fee Related JP5799824B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2012008484A JP5799824B2 (ja) 2012-01-18 2012-01-18 オーディオ符号化装置、オーディオ符号化方法及びオーディオ符号化用コンピュータプログラム
US13/713,487 US9135921B2 (en) 2012-01-18 2012-12-13 Audio coding device and method
EP12198522.0A EP2618330B1 (en) 2012-01-18 2012-12-20 Channel prediction parameter selection for multi-channel audio coding

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012008484A JP5799824B2 (ja) 2012-01-18 2012-01-18 オーディオ符号化装置、オーディオ符号化方法及びオーディオ符号化用コンピュータプログラム

Publications (2)

Publication Number Publication Date
JP2013148682A JP2013148682A (ja) 2013-08-01
JP5799824B2 true JP5799824B2 (ja) 2015-10-28

Family

ID=47458733

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012008484A Expired - Fee Related JP5799824B2 (ja) 2012-01-18 2012-01-18 オーディオ符号化装置、オーディオ符号化方法及びオーディオ符号化用コンピュータプログラム

Country Status (3)

Country Link
US (1) US9135921B2 (ja)
EP (1) EP2618330B1 (ja)
JP (1) JP5799824B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6094322B2 (ja) * 2013-03-28 2017-03-15 富士通株式会社 直交変換装置、直交変換方法及び直交変換用コンピュータプログラムならびにオーディオ復号装置
JP6303435B2 (ja) 2013-11-22 2018-04-04 富士通株式会社 オーディオ符号化装置、オーディオ符号化方法、オーディオ符号化用プログラム、オーディオ復号装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19526366A1 (de) * 1995-07-20 1997-01-23 Bosch Gmbh Robert Verfahren zur Redundanzreduktion bei der Codierung von mehrkanaligen Signalen und Vorrichtung zur Dekodierung von redundanzreduzierten, mehrkanaligen Signalen
JP3360046B2 (ja) 1999-09-28 2002-12-24 松下電器産業株式会社 音声符号化装置、音声復号化装置及び音声符復号化方法
SE0402652D0 (sv) * 2004-11-02 2004-11-02 Coding Tech Ab Methods for improved performance of prediction based multi- channel reconstruction
US8768691B2 (en) * 2005-03-25 2014-07-01 Panasonic Corporation Sound encoding device and sound encoding method
JP2007183528A (ja) 2005-12-06 2007-07-19 Fujitsu Ltd 符号化装置、符号化方法、および符号化プログラム
JP4984983B2 (ja) 2007-03-09 2012-07-25 富士通株式会社 符号化装置および符号化方法
JP5604933B2 (ja) * 2010-03-30 2014-10-15 富士通株式会社 ダウンミクス装置およびダウンミクス方法
JP5533502B2 (ja) * 2010-09-28 2014-06-25 富士通株式会社 オーディオ符号化装置、オーディオ符号化方法及びオーディオ符号化用コンピュータプログラム
JP6065452B2 (ja) * 2012-08-14 2017-01-25 富士通株式会社 データ埋め込み装置及び方法、データ抽出装置及び方法、並びにプログラム
JP6179122B2 (ja) * 2013-02-20 2017-08-16 富士通株式会社 オーディオ符号化装置、オーディオ符号化方法、オーディオ符号化プログラム

Also Published As

Publication number Publication date
US9135921B2 (en) 2015-09-15
EP2618330B1 (en) 2015-07-29
EP2618330A2 (en) 2013-07-24
US20130182854A1 (en) 2013-07-18
EP2618330A3 (en) 2014-03-26
JP2013148682A (ja) 2013-08-01

Similar Documents

Publication Publication Date Title
CA2895916C (en) Frequency segmentation to obtain bands for efficient coding of digital media
US7562021B2 (en) Modification of codewords in dictionary used for efficient coding of digital media spectral data
JP2009524108A (ja) 拡張帯域周波数コーディングによる複素変換チャネルコーディング
TWI657434B (zh) 解碼壓縮高階保真立體音響表示之方法及裝置,及編碼壓縮高階保真立體音響表示之方法及裝置
JP5949270B2 (ja) オーディオ復号装置、オーディオ復号方法、オーディオ復号用コンピュータプログラム
JP5799824B2 (ja) オーディオ符号化装置、オーディオ符号化方法及びオーディオ符号化用コンピュータプログラム
JP6179122B2 (ja) オーディオ符号化装置、オーディオ符号化方法、オーディオ符号化プログラム
JP5990954B2 (ja) オーディオ符号化装置、オーディオ符号化方法、オーディオ符号化用コンピュータプログラム、オーディオ復号装置、オーディオ復号方法ならびにオーディオ復号用コンピュータプログラム
JP6051621B2 (ja) オーディオ符号化装置、オーディオ符号化方法、オーディオ符号化用コンピュータプログラム、及びオーディオ復号装置
JP6299202B2 (ja) オーディオ符号化装置、オーディオ符号化方法、オーディオ符号化プログラム及びオーディオ復号装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140904

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150625

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150728

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150810

R150 Certificate of patent or registration of utility model

Ref document number: 5799824

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees