JP5934922B2 - 復号装置 - Google Patents

復号装置 Download PDF

Info

Publication number
JP5934922B2
JP5934922B2 JP2014108469A JP2014108469A JP5934922B2 JP 5934922 B2 JP5934922 B2 JP 5934922B2 JP 2014108469 A JP2014108469 A JP 2014108469A JP 2014108469 A JP2014108469 A JP 2014108469A JP 5934922 B2 JP5934922 B2 JP 5934922B2
Authority
JP
Japan
Prior art keywords
acoustic
signal
unit
signals
downmix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014108469A
Other languages
English (en)
Other versions
JP2014149552A (ja
Inventor
石川　智一
智一 石川
則松　武志
武志 則松
セン チョン コック
セン チョン コック
ゾウ フアン
ゾウ フアン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2014108469A priority Critical patent/JP5934922B2/ja
Publication of JP2014149552A publication Critical patent/JP2014149552A/ja
Application granted granted Critical
Publication of JP5934922B2 publication Critical patent/JP5934922B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/03—Application of parametric coding in stereophonic audio systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

本発明は、符号化装置および復号装置に関し、特に音響オブジェクト信号を符号化および復号する符号化装置および復号装置に関する。
音響信号を符号化する方法としては、例えば音響信号を時間的に所定のサンプルで時分割を行ってフレーム処理をすることにより音響信号を符号化する典型的な方法が知られている。また、このように符号化されて伝送された音響信号は、その後、復号され、復号された音響信号は、例えば、イヤホンやスピーカなどの音響再生システムや再生装置で再生される。
近年では、例えば復号後の音響信号を外部の音響信号とミキシングしたり、復号した音響信号を上下左右の任意の位置から再生するようにレンダリングしたりすることにより再生装置を使うユーザーの利便性を向上させる技術が開発されている。この技術では、例えば、ネットワーク網を介して行う遠隔会議の場合に、ある拠点での会議参加者は、他の拠点の参加者が発する音の空間的な配置を個別に調整したり、またはその音量を個別に調整したりできる。また例えば、音楽愛好家が自分の好きな楽曲のボーカルや様々なインスツルメンツ成分を様々に制御することで、音楽トラックのリミックス信号をインタラクティブに生成して音楽を楽しむことができる。
このような応用例を実現する技術として、パラメトリック音響オブジェクト符号化技術がある（例えば、特許文献１、非特許文献１参照）。例えば、近年規格化が進行中のＭＰＥＧ−ＳＡＯＣ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ Ｓｐａｔｉａｌ Ａｕｄｉｏ Ｏｂｊｅｃｔ Ｃｏｄｉｎｇ）規格は、非特許文献１に記載されているように開発されている。
ここで、例えば非特許文献２に開示されているＭＰＥＧサラウンドに代表されるパラメトリックマルチチャンネル符号化技術（ＳＡＣ：Ｓｐｅｃｔｒａｌ Ａｕｄｉｏ Ｃｏｄｉｎｇ）を元に、音響オブジェクト信号を効率的に符号化し、また低演算量で処理することを目標に開発されているＳＡＣに類似する符号化技術がある。このＳＡＣに類似する符号化技術では、例えば信号間の位相差またはレベル比など複数の音響信号間の統計的な関連性を算出して、量子化及び符号化する。それにより、複数の音響信号を独立に符号化する方式に比べて高効率に符号化することが可能である。そして、このＳＡＣに類似する符号化技術を音響オブジェクト信号に対して適用できるように拡張したものが、上記非特許文献１記載のＭＰＥＧ−ＳＡＯＣ技術である。
例えばＭＰＥＧ−ＳＡＯＣ技術などのパラメトリック音響オブジェクト符号化技術が用いられている再生装置（パラメトリック音響オブジェクト復号装置）の音響空間が、５．１ｃｈのマルチチャンネルサラウンド再生を可能とする音響空間であるとする。このとき、パラメトリック音響オブジェクト復号装置では、音響オブジェクト信号間の統計量に基づいた符号化パラメータを、音響空間パラメータ（ＨＲＴＦ係数）を用いて、トランスコーダーと呼ばれる装置によって変換する。それにより、音響信号を、受聴者の意図に即した音響空間配置で再生することが可能になる。
図１は、一般的なパラメトリックの音響オブジェクト符号化装置１００の構成を示すブロック図である。図１に示す音響オブジェクト符号化装置１００は、オブジェクトダウンミックス回路１０１と、Ｔ−Ｆ変換回路１０２と、オブジェクトパラメータ抽出回路１０３と、ダウンミックス信号符号化回路１０４とを備える。
オブジェクトダウンミックス回路１０１は、複数の音響オブジェクト信号が入力され、入力された複数の音響オブジェクト信号をモノラルまたはステレオのダウンミックス信号にダウンミックスする。
ダウンミックス信号符号化回路１０４は、オブジェクトダウンミックス回路１０１によりダウンミックスされたダウンミックス信号が入力される。ダウンミックス信号符号化回路１０４は、入力されたダウンミックス信号を符号化してダウンミックスビットストリームを生成する。ここで、ＭＰＥＧ−ＳＡＯＣ技術では、ダウンミックス符号化方式としては、ＭＰＥＧ−ＡＡＣ方式が用いられる。
Ｔ−Ｆ変換回路１０２は、複数の音響オブジェクト信号が入力され、入力された複数の音響オブジェクト信号を、時間・周波数の両方によって規定されるスペクトラム信号へと分離する。
オブジェクトパラメータ抽出回路１０３は、Ｔ−Ｆ変換回路１０２によりスペクトラム信号に分離された複数の音響オブジェクト信号が入力され、入力されたスペクトラム信号に分離された複数の音響オブジェクト信号から、オブジェクトパラメータを算出する。ここで、ＭＰＥＧ−ＳＡＯＣ技術では、オブジェクトパラメータ（拡張情報）として、例えばオブジェクトレベル差（ＯＬＤ）、オブジェクト相互相関係数（ＩＯＣ）、ダウンミックスチャンネルレベル差（ＤＣＬＤ）、オブジェクトエネルギー（ＮＲＧ）などがある。
多重化回路１０５は、オブジェクトパラメータ抽出回路１０３により算出したオブジェクトパラメータと、ダウンミックス信号符号化回路１０４により生成されたダウンミックスビットストリームとが入力される。多重化回路１０５は、入力されたダウンミックスビットストリームとオブジェクトパラメータとを一つのオーディオビットストリームに重畳して出力する。
以上のように音響オブジェクト符号化装置１００は構成される。
図２は、典型的な音響オブジェクト復号装置２００の構成を示すブロック図である。図２に示す音響オブジェクト復号装置２００は、オブジェクトパラメータ変換回路２０３およびパラメトリックマルチチャンネル復号回路２０６を備える。
図２では、音響オブジェクト復号装置２００が５．１ｃｈのスピーカを備える場合を示している。そのため、音響オブジェクト復号装置２００は、２つの復号回路を直列に接続した構成となっている。具体的には、オブジェクトパラメータ変換回路２０３と、パラメトリックマルチチャンネル復号回路２０６とを直列に接続した構成となっている。また、図２に示すように、音響オブジェクト復号装置２００の前段には、分離回路２０１と、ダウンミックス信号復号回路２１０とが設けられている。
分離回路２０１は、オブジェクトストリームすなわち音響オブジェクト符号化信号が入力され、入力された音響オブジェクト符号化信号を、ダウンミックス符号化信号と、オブジェクトパラメータ（拡張情報）とに分離する。分離回路２０１は、ダウンミックス符号化信号を、ダウンミックス信号復号回路２１０に出力し、オブジェクトパラメータ（拡張情報）をオブジェクトパラメータ変換回路２０３に出力する。
ダウンミックス信号復号回路２１０は、入力されたダウンミックス符号化信号を、ダウンミックス復号信号に復号し、オブジェクトパラメータ変換回路２０３に出力する。
オブジェクトパラメータ変換回路２０３は、ダウンミックス信号プリプロセス回路２０４とオブジェクトパラメータ演算回路２０５とを備える。
ダウンミックス信号プリプロセス回路２０４は、ＭＰＥＧサラウンド符号化情報に含まれる空間予測パラメータの特性に基づいて、新しいダウンミックス信号を生成する役割を担っている。具体的には、ダウンミックス信号復号回路２１０によりオブジェクトパラメータ変換回路２０３に出力されたダウンミックス復号信号が入力される。ダウンミックス信号プリプロセス回路２０４は、入力されたウンミックス復号信号から、プリプロセスダウンミックス信号を生成する。その際、ダウンミックス信号プリプロセス回路２０４は、最終的に分離した音響オブジェクト信号の配置情報（レンダリング情報）とオブジェクトパラメータに含まれる情報とに従って、プリプロセスダウンミックス信号を生成する。そして、ダウンミックス信号プリプロセス回路２０４は、生成したプリプロセスダウンミックス信号をパラメトリックマルチチャンネル復号回路２０６に出力する。
オブジェクトパラメータ演算回路２０５は、オブジェクトパラメータを空間パラメータ（ＭＰＥＧサラウンド方式のＳｐａｔｉａｌＣｕｅに相当）に変換する。具体的には、オブジェクトパラメータ演算回路２０５は、分離回路２０１によりオブジェクトパラメータ変換回路２０３に出力されたオブジェクトパラメータ（拡張情報）が入力される。オブジェクトパラメータ演算回路２０５は、入力されたオブジェクトパラメータを、音響空間パラメータに変換し、パラメトリックマルチチャンネル復号回路２０６に出力する。ここで、音響空間パラメータは、上記のＳＡＣ符号化方式の音響空間パラメータに相当する。
パラメトリックマルチチャンネル復号回路２０６は、プリプロセスダウンミックス信号と音響空間パラメータとが入力されて、プリプロセスダウンミックス信号と音響空間パラメータとから複数の音響信号を生成する。
パラメトリックマルチチャンネル復号回路２０６は、ドメイン変換回路２０７と、マルチチャンネル信号合成回路２０８と、Ｆ−Ｔ変換回路２０９とを備える。
ドメイン変換回路２０７は、パラメトリックマルチチャンネル復号回路２０６に入力されたプリプロセスダウンミックス信号を合成空間信号に変換する。
マルチチャンネル信号合成回路２０８は、ドメイン変換回路２０７により変換された合成空間信号を、オブジェクトパラメータ演算回路２０５により入力された音響空間パラメータに基づいて、複数チャンネルのスペクトル信号に変換する。
Ｆ−Ｔ変換回路２０９は、マルチチャンネル信号合成回路２０８により変換された複数チャンネルのスペクトル信号を、複数チャンネルの時間領域の音響信号に変換して、出力する。
以上のように音響オブジェクト復号装置２００は構成される。
なお、上述した音響オブジェクト符号化方法は次の２つの機能を示している。一つは、伝送するオブジェクト数をすべて独立に符号化せず、ダウンミックス信号と小さなオブジェクトパラメータを伝送することで高い圧縮効率を実現する機能である。もう一つは、オブジェクトパラメータをレンダリング情報に基づいてリアルタイムに処理することで再生側の音響空間をリアルタイムに変更できる再合成性の機能である。
また、上記の音響オブジェクト符号化方法では、オブジェクトパラメータ（拡張情報）は、時間−周波数で区切られた升目毎（この升目の幅を時間粒度、周波数粒度という）に算出される。オブジェクトパラメータを算出する時間区分は、オブジェクトパラメータの伝送粒度に応じて適応的に決定される。そして、低ビットレートでは高ビットレート時に比べ、前記オブジェクトパラメータが、周波数分解能と時間分解能とのバランスを考慮しながらより効率的に符号化される必要がある。
また、音響オブジェクト符号化技術で用いる周波数分解能は、人間の聴覚特性の知見に基づいた区分けがなされている。一方、音響オブジェクト符号化技術で用いる時間分解能は、各フレームにおいてオブジェクトパラメータの姿態が大きく変化したことを検出して決定される。例えば各時間区切りの標準的なものとしては、フレームの区切り毎に一つの時間区切りを設けるものがある。そして、この標準的なものを用いると、当該フレームでは当該フレーム時間長で同一のオブジェクトパラメータを伝送することになる。
このように、音響オブジェクト符号化の符号化装置側で高い符号化効率を実現するために、各オブジェクトパラメータの時間分解能及び周波数分解能は適応的に制御されることが多い。これらの適応制御は、ダウンミックス信号の音響信号的複雑さや、各オブジェクト信号の特性、要求ビットレートに応じて随時変えることが一般的である。その一例を図３に示す。
図３は、時間区切りとサブバンド・パラメータセット・パラメータバンドの関係を示す図である。この図３に示すように、一つのフレームに含まれるスペクトル信号は、Ｎ個の時間区分、Ｋ個の周波数区分に区切られる。
ところで、上記非特許文献１に記載されているＭＰＥＧ−ＳＡＯＣ技術においては、規格上各フレームが最大８個の時間区切りで構成される。また、時間区切りや周波数区切りを細かくすると当然符号化音質や各オブジェクト信号の分離感が向上するが、その分伝送する情報量が増大し、ビットレートが上昇してしまう。このように、ビットレートと音質とはトレードオフの関係にある。
そこで、実験的に示されている時間区切りの方法がある。すなわち、オブジェクトパラメータに適切なビットレートを割り当てるために、一つのフレームが１または２つの領域に分割されるように、少なくとも一つの追加時間区切りを設定する。このような限定は、オブジェクトパラメータに割り当てるビットレートと音質のちょうど良いバランスを実現することができる。例えば、０または１つの追加区切りに関しては、オブジェクトパラメータへの要求ビットレートはオブジェクトあたり約３ｋｂｐｓであり、１シーン毎に３ｋｂｐｓの追加オーバーヘッドが生じる。したがって、オブジェクト数の増加に比例して、従来の一般的なオブジェクト符号化よりもパラメトリックオブジェクト符号化方式の方がより効率的な符号化方式であることは明らかである。
このように、上記のような時間区切りを用いると、ビット効率の良いオブジェクト符号化によって良い音質を達成することができる。しかし、すべての必須アプリケーションに対して、常に十分な符号化音質を提供できるわけではない。そこで、パラメトリックオブジェクト符号化の音質と、トランスペアレントな音質との間に存在するギャップを埋めるために、パラメトリック符号化技術に、残差符号化手法が導入されている。
一般的な残差符号化手法において、残差信号は、ほとんどの場合、ダウンミックス信号の主要な部分でないところに関連している。ここで、簡潔にするために、残差信号は、２つのダウンミックス信号間の差分で構成しているとする。また、ビットレートを低くするために、残差信号の低い周波数成分が伝送されるとする。このような場合、残差信号の周波数帯域は、符号化装置側で設定され、消費ビットレートと再生品質とのトレードオフが調整される。
それに対して、ＭＰＥＧ−ＳＡＯＣ技術では、有益な残差信号としては２ｋＨｚの周波数帯域を保持していればよく、一残差信号あたり８ｋｂｐｓ程度で符号化することによって、明確に音質向上が出現する。そこで、高音質が必要なオブジェクト信号に対しては、オブジェクトパラメータに割り当てるビットレートを、１オブジェクトあたり３＋８＝１１ｋｂｐｓ割り当てる。それにより、高品質なマルチオブジェクトが必要なアプリケーションであれば、要求ビットレートは、余裕を持って非常に高いものになると考えられる。
国際公開第２００８／００３３６２号
Ａｕｄｉｏ Ｅｎｇｉｎｅｅｒｉｎｇ Ｓｏｃｉｅｔｙ Ｃｏｎｖｅｎｔｉｏｎ Ｐａｐｅｒ ７３７７ "Ｓｐａｔｉａｌ Ａｕｄｉｏ Ｏｂｊｅｃｔ Ｃｏｄｉｎｇ （ＳＡＯＣ） − Ｔｈｅ Ｕｐｃｏｍｉｎｇ ＭＰＥＧ Ｓｔａｎｄａｒｄ ｏｎ Ｐａｒａｍｅｔｒｉｃ Ｏｂｊｅｃｔ Ｂａｓｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ" Ａｕｄｉｏ Ｅｎｇｉｎｅｅｒｉｎｇ Ｓｏｃｉｅｔｙ Ｃｏｎｖｅｎｔｉｏｎ Ｐａｐｅｒ ７０８４ "ＭＰＥＧ Ｓｕｒｒｏｕｎｄ − Ｔｈｅ ＩＳＯ／ＭＰＥＧ Ｓｔａｎｄａｒｄ ｆｏｒ Ｅｆｆｉｃｉｅｎｔ ａｎｄ Ｃｏｍｐａｔｉｂｌｅ Ｍｕｌｔｉ − Ｃｈａｎｎｅｌ Ａｕｄｉｏ Ｃｏｄｉｎｇ"
このように、高い符号化効率とオブジェクト信号の分離感などを向上させて音場再現性をより向上させるために、音響オブジェクト符号化手法が多くのアプリケーションシナリオで用いられている。
しかしながら、オブジェクトの音質に高いレベルが求められる際に、上記従来の構成の残差符号化方式では、ビットレートが極端に増加してしまう場合がある。
そこで、本発明は、上記課題を解決するためになされたもので、ビットレートの極端な増加を抑制する符号化装置および復号装置を提供することを目的とする。
前記従来の課題を解決するために、本発明の一態様に係る符号化装置は、入力された複数の音響信号を、前記入力された複数の音響信号の信号数よりも少ない数のチャンネルにダウンミックスして符号化するダウンミックス符号化部と、前記入力された複数の音響信号から、当該複数の音響信号間の関連性を示すパラメータを抽出するパラメータ抽出部と、前記パラメータ抽出部により抽出された前記パラメータと、前記ダウンミックス符号化部により生成されたダウンミックス符号化信号とを多重化する多重化回路とを備え、前記パラメータ抽出部は、前記入力された複数の音響信号のそれぞれを、当該複数の音響信号が有する音響特性に基づいて、予め定められた複数の種類に分類する分類部と、前記分類部により分類された音響信号のそれぞれから、前記複数の種類のそれぞれに対応して定められた時間粒度及び周波数粒度を用いて、前記パラメータを抽出する抽出部を有する。
この構成により、ビットレートの極端な増加を抑制する符号化装置を実現することができる。
また、前記分類部は、前記入力された複数の音響信号が有する過渡特性を表す過渡情報と、前記入力された複数の音響信号が有するトーン成分の強さを示すトナリティ情報とにより、当該複数の音響信号が有する音響特性を決定するとしてもよい。
また、前記分類部は、前記入力された複数の音響信号の少なくとも１つを、予め定められた時間粒度及び周波数粒度として第１の時間区切り及び第１の周波数区切りを有する第１の種類に分類するとしてもよい。
また、前記分類部は、前記入力された複数の音響信号が有する過渡特性を表す過渡情報を、前記第１の種類に属する音響信号が有する過渡情報と比較することにより、前記入力された複数の音響信号を、前記第１の種類と前記第１の種類と異なる複数の種類に分類するとしてもよい。
また、前記分類部は、前記入力された複数の音響信号のそれぞれを、当該複数の音響信号の音響特性に応じて、前記第１の種類と、前記第１の種類よりも１つ以上多い時間区切りまたは周波数区切りを有する第２の種類と、前記第１の種類と同じ時間区切り数を有するが異なる時間区切り位置を有する第３の種類と、前記第１の種類は１つの時間区切りを有するものの、前記入力された複数の音響信号は時間区切りを有さないまたは前記第１の種類は１つの時間区切りも有さないが前記入力された複数の音響信号は２つの時間区切りを有する第4の種類とのいずれかに分類するとしてもよい。
また、前記パラメータ抽出部は、前記抽出部により抽出された前記パラメータを符号化し、前記多重化回路は、前記パラメータ抽出部により符号化された当該パラメータをダウンミックス符号化信号と多重化し、前記パラメータ抽出部は、さらに、前記分類部により同一の種類で分類された複数の音響信号から抽出されたパラメータが共通の区切りの数を有する場合、当該複数の音響信号から抽出されたパラメータの１つのみを前記同一の種類で分類された複数の音響信号の共通の区切りの数として符号化するとしてもよい。
また、前記分類部は、前記音響特性として前記入力された複数の音響信号が有するトーン成分の強さを示すトナリティ情報に基づいて、前記入力された複数の音響信号のそれぞれの区切り位置を決定し、決定した当該区切り位置に応じて、前記入力された複数の音響信号のそれぞれを、予め定められた複数の種類に分類するとしてもよい。
また、前記従来の課題を解決するために、本発明の一態様に係る復号装置は、パラメトリックマルチチャンネル復号を行う復号装置であって、複数の音響信号がダウンミックスされて符号化されたダウンミックス符号化情報と、当該複数の音響信号間の関連性を示すパラメータとから構成される音響符号化信号を受信し、当該音響符号化信号を、前記ダウンミックス符号化情報と前記パラメータとに分離する分離部と、前記分離部によって分離された前記ダウンミックス符号化情報から、複数の音響ダウンミックス信号を復号するダウンミックス復号部と、前記分離部によって分離された前記パラメータを、複数の音響ダウンミックス信号を複数の音響信号に分離するための空間パラメータに変換するオブジェクト復号部と、前記オブジェクト復号部で変換された空間パラメータを用いて、前記複数の音響ダウンミックス信号を前記複数の音響信号にパラメトリックマルチチャンネル復号する復号部とを備え、オブジェクト復号部は、前記分離部によって分離された前記パラメータを、予め定められた複数の種類に分類する分類部と、前記分類部により分類された前記パラメータのそれぞれを、前記複数の種類に分類された前記空間パラメータに変換する演算部とを有する。
この構成により、ビットレートの極端な増加を抑制する復号装置を実現することができる。
また、前記復号装置は、さらに、前記復号部の前段に、前記ダウンミックス符号化情報をプリプロセスするプリプロセス部を備え、前記演算部は、前記分類部により分類された前記パラメータのそれぞれを、前記予め定められた複数の種類に基づき分類された空間配置情報に基づいて、前記複数の種類に分類された空間パラメータに変換し、前記プリプロセス部は、前記分類された前記パラメータのそれぞれと、前記分類された空間配置情報とに基づいて、前記ダウンミックス符号化情報をプリプロセスするとしてもよい。
また、前記空間配置情報は、前記複数の音響信号の空間配置に関する情報を示し、前記複数の音響信号に関連付けられており、前記予め定められた複数の種類に基づき分類された空間配置情報は、前記予め定められた複数の種類に分類された記複数の音響信号に関連付けられているとしてもよい。
また、前記復号部は、前記複数の音響ダウンミックス信号を、前記複数の種類に分類された空間パラメータに従って、前記複数の種類に分類された複数のスペクトル信号列に合成する合成部と、前記分類された複数のスペクトル信号を一つのスペクトル信号列に合算する合算部と、前記合算したスペクトル信号列を複数の音響信号に変換する変換部とを備えるとしてもよい。
また、前記復号装置は、さらに、入力された前記複数の音響ダウンミックス信号からマルチチャンネルの出力スペクトルを合成する音響信号合成部を備え、前記音響信号合成部は、前記入力された複数の音響ダウンミックス信号のゲインファクターを修正するプリプロセス行列演算部と、前記複数の種類に分類された空間パラメータを線形補間して、前記プリプロセス行列演算部に出力するプリプロセス乗算部と、前記プリプロセス行列演算部によりゲインファクターが修正された前記複数の音響ダウンミックス信号のうちの一部に対して残響信号付加処理を行う残響発生部と、前記残響発生部より残響信号付加処理が行われた前記修正された複数の音響ダウンミックス信号のうちの一部と、前記プリプロセス行列演算部より出力された前記修正された複数の音響ダウンミックス信号のうちの残部とから、所定の行列を用いてマルチチャンネルの出力スペクトルを生成するポストプロセス行列演算部とを有するとしてもよい。
なお、本発明は、装置として実現するだけでなく、このような装置が備える処理手段を備える集積回路として実現したり、その装置を構成する処理手段をステップとする方法として実現したり、それらステップをコンピュータに実行させるプログラムとして実現したり、そのプログラムを示す情報、データまたは信号として実現したりすることもできる。そして、それらプログラム、情報、データおよび信号は、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の通信媒体を介して配信してもよい。
本発明によれば、ビットレートの極端な増加を抑制する符号化装置および復号装置を実現することができる。例えば、符号化装置によって生成される符号化情報のビット効率を向上させつつ、復号装置によって復号される復号信号の音質を向上することができる。
図１は、従来の一般的な音響オブジェクト符号化装置の構成を示すブロック図である。 図２は、従来の典型的な音響オブジェクト復号装置の構成を示すブロック図である。 図３は、時間区切りとサブバンド・パラメータセット・パラメータバンドの関係を示す図である。 図４は、本発明の音響オブジェクト符号化装置の構成の１例を示すブロック図である。 図５は、オブジェクトパラメータ抽出回路３０８の詳細構成の一例を示す図である。 図６は、音響オブジェクト信号を分類する処理を説明するためのフローチャートである。 図７Ａは、分類Ａ（クラスＡ）を示す時間区切りの位置および周波数区切りの位置を示している。 図７Ｂは、分類Ｂ（クラスＢ）を示す時間区切りの位置および周波数区切りの位置を示している。 図７Ｃは、分類Ｃ（クラスＣ）を示す時間区切りの位置および周波数区切りの位置を示している。 図７Ｄは、分類Ｄ（クラスＤ）を示す時間区切りの位置および周波数区切りの位置を示している。 図８は、本発明の音響オブジェクト復号装置の１例の構成を示すブロック図である。 図９Ａは、レンダリング情報をクラス分類する方法を示す図である。 図９Ｂは、レンダリング情報をクラス分類する方法を示す図である。 図１０は、本発明の音響オブジェクト復号装置の別の１例の構成を示すブロック図である。 図１１は、一般的な音響オブジェクト復号装置を示す図である。 図１２は、本実施の形態における音響オブジェクト復号装置の１例の構成を示すブロック図である。 図１３は、ステレオダウンミックス信号に対する本発明のコアオブジェクト復号装置の例を示す図である。
以下の実施の形態は、本発明の実施の形態の一例であって、これに限定するものではない。更に、本実施の形態は、最新の音響オブジェクト符号化（ＭＰＥＧ−ＳＡＯＣ）技術をベースにしているが、これに限ったものではなく、一般のパラメトリック音響オブジェクト符号化技術の音質向上に奏功する発明である。
一般的に、音響オブジェクト信号を符号化する時間区切りは、例えばオブジェクト数が増加しつつあったり、またはオブジェクト信号が急激に立ち上がったり、または音響特性の急激な変化が発生したりする過渡的な変動をきっかけに適応的に変化させる。また、符号化するオブジェクト信号が例えばボーカルと背景音楽との信号である場合のように、音響特性が異なる複数の音響オブジェクト信号は、異なった時間区切りにて符号化される場合が多い。そのため、ＭＰＥＧ−ＳＡＯＣなどのパラメトリックオブジェクト符号化技術において、複数の音響オブジェクト信号を符号化する際に、従来のように通常の時間区切り数を０またはそれに１加えた程度では、すべての音響オブジェクト信号特性を反映する高音質なオブジェクト符号化を行うことは困難である。一方、もし複数の（多数の）時間区切りを設定して、すべての音響オブジェクト信号を取り込む場合、オブジェクトパラメータ情報に割り当てるビットレートがかなり増えてしまう。
これらの事実を考慮して、ビットレートと音質のちょうど良いバランスを取ることが非常に重要になる。
そこで、本発明では、符号化対象の音響オブジェクト信号を信号特性（音響特性）に応じて予め定めたいくつかのクラス（種類）に分類することで符号化効率を向上させる。具体的には、音響オブジェクト符号化する際の時間区切りを、入力された複数の音響信号の音響特性に応じて適応的に変化させる。つまり、音響オブジェクト符号化のオブジェクトパラメータ（拡張情報）を算出する時間区切り（時間解像度）が、入力された複数の音響オブジェクト信号の特性（音響特性）に応じて選択される。
以上の詳細について、以下の本発明の実施の形態において説明する。
（実施の形態１）
まず初めに、符号化装置側の説明を行う。
図４は、本発明の音響オブジェクト符号化装置の構成の１例を示すブロック図である。
図４に示す音響オブジェクト符号化装置３００は、ダウンミックス符号化部３０１と、Ｔ−Ｆ変換回路３０３と、オブジェクトパラメータ抽出部３０４とを備える。また、音響オブジェクト符号化装置３００は、後段に多重化回路３０９を備える。
ダウンミックス符号化部３０１は、オブジェクトダウンミックス回路３０２と、ダウンミックス信号符号化回路３１０とを備え、入力された複数の音響オブジェクト信号を、入力された複数の音響オブジェクト信号の信号数よりも少ない数のチャンネルにダウンミックスして符号化する。
具体的には、オブジェクトダウンミックス回路３０２は、複数の音響オブジェクト信号が入力され、入力された複数の音響オブジェクト信号を、例えばモノラルまたはステレオのように入力された音響オブジェクト信号の数よりも少ない数のチャネルのダウンミックス信号にダウンミックスする。ダウンミックス信号符号化回路３１０は、オブジェクトダウンミックス回路３０２によりダウンミックスされたダウンミックス信号が入力される。ダウンミックス信号符号化回路３１０は、入力されたダウンミックス信号を符号化してダウンミックスビットストリームを生成する。ここで、ダウンミックス符号化方式としては、例えばＭＰＥＧ−ＡＡＣ方式が用いられる。
Ｔ−Ｆ変換回路３０３は、複数の音響オブジェクト信号が入力され、入力された複数の音響オブジェクト信号を、時間・周波数の両方によって規定されるスペクトラム信号へと変換する。例えば、Ｔ−Ｆ変換回路３０３は、入力された複数の音響オブジェクト信号を、ＱＭＦフィルタバンクなどを用いて時間・周波数ドメインに変換する。そして、Ｔ−Ｆ変換回路３０３は、スペクトラム信号に分離された複数の音響オブジェクト信号をオブジェクトパラメータ抽出部３０４に出力する。
オブジェクトパラメータ抽出部３０４は、オブジェクト分類部３０５と、オブジェクトパラメータ抽出回路３０８とを備え、入力された複数の音響オブジェクト信号から、当該複数の音響オブジェクト信号間の音響的関連性を示すパラメータを抽出する。具体的には、オブジェクトパラメータ抽出部３０４は、Ｔ−Ｆ変換回路３０３により入力されたスペクトラム信号に変換した複数の音響オブジェクト信号から、複数の音響オブジェクト信号間の関連性を示すオブジェクトパラメータ（拡張情報）を算出（抽出）する。
より具体的には、オブジェクト分類部３０５は、オブジェクト区切り算出回路３０６と、オブジェクト分類回路３０７とを備え、入力された複数の音響オブジェクト信号のそれぞれを、当該複数の音響オブジェクト信号が有する音響特性に基づいて、予め定められた複数の種類に分類する。
さらに具体的には、オブジェクト区切り算出回路３０６は、当該複数の音響オブジェクト信号が有する音響特性に基づいて、複数の音響信号のそれぞれの区切り位置を示すオブジェクト区切り情報を算出する。なお、オブジェクト区切り算出回路３０６は、入力された複数の音響オブジェクト信号が有する過渡特性を表す過渡情報と、入力された複数の音響オブジェクト信号が有するトーン成分の強さを示すトナリティ情報とにより、当該複数の音響オブジェクト信号が有する音響特性を判定してオブジェクト区切り情報を決定してもよい。また、オブジェクト区切り算出回路３０６は、前記音響特性として、入力された複数の音響オブジェクト信号が有するトーン成分の強さを示すトナリティ情報に基づいて、入力された複数の音響オブジェクト信号のそれぞれの区切り位置を決定するとしてもよい。
オブジェクト分類回路３０７は、オブジェクト区切り算出回路３０６により決定（算出）された区切り位置に応じて、入力された複数の音響オブジェクト信号のそれぞれを、予め定められた複数の種類に分類する。例えば、オブジェクト分類回路３０７は、入力された複数の音響オブジェクト信号の少なくとも１つを、予め定められた時間粒度及び周波数粒度として第１の時間区切り及び第１の周波数区切りを有する第１の種類に分類する。また例えば、オブジェクト分類回路３０７は、入力された複数の音響オブジェクト信号が有する過渡特性を表す過渡情報を、前記第１の種類に属する音響オブジェクト信号が有する過渡情報と比較することにより、前記入力された複数の音響オブジェクト信号を、前記第１の種類と前記第１の種類と異なる複数の種類に分類する。また例えば、オブジェクト分類回路３０７は、入力された複数の音響オブジェクト信号のそれぞれを、当該複数の音響オブジェクト信号の音響特性に応じて、前記第１の種類と、前記第１の種類よりも１つ以上多い時間区切りまたは周波数区切りを有する第２の種類と、前記第１の種類と同じ区切り数を有するが異なる区切り位置である第３の種類と、前記第１の種類と異なり、入力された複数の音響オブジェクト信号が区切りを有さないまたは２つの区切りを有する第4の種類とのいずれかに分類する。
オブジェクトパラメータ抽出回路３０８は、オブジェクト分類部３０５により分類された音響オブジェクト信号のそれぞれから、複数の種類のそれぞれに対応して定められた時間粒度及び周波数粒度を用いて、オブジェクトパラメータ（拡張情報）を抽出する。
また、オブジェクトパラメータ抽出回路３０８は、前記抽出部により抽出された前記パラメータを符号化する。例えば、オブジェクトパラメータ抽出回路３０８は、オブジェクト分類部３０５により同一の種類で分類された複数の音響オブジェクト信号から抽出されたパラメータが共通の区切りの数を有する場合（例えば、複数の音響オブジェクト信号が似たような過渡応答を有する場合）、当該複数の音響オブジェクト信号から抽出されたパラメータの１つのみを同一の種類で分類された複数の音響オブジェクト信号の共通の区切りの数として符号化する。このように、時間区切り（時間解像度）を複数の時間区切り単位で共有して、オブジェクトパラメータの符号量を低減することもできる。
なお、オブジェクトパラメータ抽出回路３０８は、図５に示すように、複数のクラスのそれぞれに対応して設けられる抽出回路３０８１〜３０８４を備えているとしてもよい。ここで、図５は、オブジェクトパラメータ抽出回路３０８の詳細構成の一例を示す図である。図５では、複数のクラスが例えばクラスＡ〜クラスＤからなる場合の例を示している。具体的には、オブジェクトパラメータ抽出回路３０８は、クラスＡに対応する抽出回路３０８１と、クラスＢに対応する抽出回路３０８２、クラスＣに対応する抽出回路３０８３およびクラスＤに対応する抽出回路３０８４を備える場合の例が示されている。
抽出回路３０８１〜３０８４にはそれぞれ、分類情報に基づいて、それぞれクラスＡ、クラスＢ、クラスＣおよびクラスＤに属するスペクトラム信号が入力される。抽出回路３０８１〜３０８４はそれぞれ、入力されたオスペクトラム信号から、オブジェクトパラメータを抽出し、抽出したオブジェクトパラメータを符号化して出力する。
多重化回路３０９は、前記パラメータ抽出部により抽出された前記パラメータと、前記ダウンミックス符号化部により符号化されたダウンミックス符号化信号とを多重化する。具体的には、多重化回路３０９は、オブジェクトパラメータ抽出部３０４によりオブジェクトパラメータが入力され、ダウンミックス符号化部３０１によりダウンミックスビットストリームが入力される。多重化回路１０５は、入力されたダウンミックスビットストリームとオブジェクトパラメータとを一つのオーディオビットストリームに重畳して出力する。
以上のように音響オブジェクト符号化装置３００は構成される。
このように、図４に示す音響オブジェクト符号化装置３００では、符号化対象の音響オブジェクト信号を信号特性（音響特性）に応じて予め定めたいくつかのクラス（種類）に分類するクラス分類機能を実現するオブジェクト分類部３０５を備えている。
次に、オブジェクト区切り算出回路３０６によるオブジェクト区切り情報の算出（決定）方法の詳細について説明する。
本実施の形態では、上述したように、音響特性に基づいて複数の音響信号のそれぞれの区切り位置を示すオブジェクト区切り情報を算出する。
具体的には、オブジェクト区切り算出回路３０６は、複数の音響オブジェクト信号がＴ−Ｆ変換回路３０３により時間・周波数ドメインに変換されたオブジェクト信号を元に複数の音響オブジェクト信号が有する個別のオブジェクトパラメータ（拡張情報）を抽出し、オブジェクト区切り情報を算出（決定）する。
例えば、オブジェクト区切り算出回路３０６は、音響オブジェクト信号が過渡状態になることに連動して、そのオブジェクト区切り情報を決める（算出する）。ここで、音響オブジェクト信号が過渡状態になることは、一般的な過渡状態検出方法を用いて算出することができる。すなわち、オブジェクト区切り算出回路３０６は、一般的な過渡状態検出方法として例えば、次に示す４ステップを実行することにより、オブジェクト区切り情報を決定（算出）することができる。
以下、それについて説明する。
ここで、時間・周波数ドメインに変換されたｉ番目の音響オブジェクト信号のスペクトルをＭi（ｎ、ｋ）とする。また、時間区切りのインデックスｎとしては（式１）を満たし、周波数サブバンドのインデックスｋとしては（式２）、音響オブジェクト信号のインデックスｉとしては（式３）を満たすものとする。
Figure 0005934922
Figure 0005934922
Figure 0005934922
１）まず、各時間区切りにおいて、（式４）を用いて音響オブジェクト信号のエネルギーを計算する。ここで、演算子＊は複素共役を示す。
Figure 0005934922
２）次に、（式４）を用いて算出された過去の時間区切りにおけるエネルギーを元にして、（式５）を用いて当該時間区切りにおけるエネルギーを平滑化する。
Figure 0005934922
ここで、αはスムージングパラメータであり、０〜１の間の実数である。また、（式６）は、直前のオーディオフレーム内の最も当該フレームに近い時間区切りにおけるｉ番目の音響オブジェクト信号のエネルギーを示している。
Figure 0005934922
３）次に、当該時間区切りにおけるエネルギー値と、スムージングしたエネルギー値の比を（式７）を用いて計算する。
Figure 0005934922
４）次に、上記エネルギー比が予め設定していた閾値Ｔよりも大きい場合に、当該時間区切り区間は過渡状態と判断し、過渡状態であるか否かを示す変数Ｔｒ（ｎ）を（式８）のように決定する。
Figure 0005934922
なお、閾値Ｔとしては、２．０が最良の値であるが、もちろんこれに限ったものではない。最終的に、バイノーラルキューの急激な変化は人間の聴覚システムでは検知できないと言う聴覚心理の知見を考慮して、人間が聴覚的に知覚しにくいようにする。すなわち、一つのフレームにおける過渡状態の時間区切りの数を２に制限する。そして、前記エネルギー比Ｒi（ｎ）を降順にならべて、最も目立つ過渡状態の時間区切りのうちの２つ（ｎi1、ｎi2）を次の（式９）および（式１０）の条件を満たすように抽出する。
Figure 0005934922
Figure 0005934922
その結果、前記Ｔri（ｎ）の有効なサイズＮｔｒは下記の（式１１）のように制限される。
Figure 0005934922
このように、オブジェクト区切り算出回路３０６は、音響オブジェクト信号が過渡状態であるかを検出する。
そして、この音響オブジェクト信号が過渡状態であるかを示す過渡情報（音響信号が有する音響特性）に基づいて、音響オブジェクト信号を予め定められた複数の種類（クラス）に分類する。例えば、この予め定められた複数の種類（クラス）が、標準クラスと複数のクラスであるとすると、上述した過渡情報に基づいて、音響オブジェクト信号は、標準クラスと複数のクラスとに分類される。
ここで、標準クラスは、標準の時間区切りと時間区切りの位置情報とを保持している。この標準クラスの標準の時間区切りと区切り位置情報とはオブジェクト区切り算出回路３０６により次のように決定される。
まず、標準の時間区切りを決定する。その際、上記のＮi trに基づいて算出する。そして、必要であれば、標準の時間区切りの位置情報を音響オブジェクト信号のトナリティ情報に従って決定する。
次に、各々のオブジェクト信号を、各々の過渡応答セットのサイズに従って、例えば２つにグループ化する。そして、その２つのグループ内のオブジェクト数をそれぞれカウントする。すなわち、下記ＵおよびＶの値を（式１２）を用いて計算する。
Figure 0005934922
次に、標準区切り数Ｎを（式１３）から計算する。
Figure 0005934922
なお、（式１４）の場合、明らかなように、標準の時間区切りの位置情報を算出する必要がない。一方で、同一の時間区切りを持つすべての音響オブジェクト信号に対しては、標準の区切りの位置情報は各々のトナリティによって決定することができる。
Figure 0005934922
ここで、トナリティは、入力される信号に含まれるトーン成分の強さを示す。そのため、トナリティは、入力される信号の信号成分がトーン信号か非トーン信号かを計測することで判定する。
なお、トナリティの計算方法は、各種文献に様々なバリエーションが開示されている。その一例として、トナリティ予測手法として、以下のアルゴリズムを説明する。
周波数ドメインに変換したｉ番目の音響オブジェクト信号をＭi（ｎ、ｋ）とする。ここで、（式１５）として、音響オブジェクト信号のトナリティは以下のようにして算出する。
Figure 0005934922
１）まず、当該フレームの両端のフレーム間の相互相関を（式１６）を用いて計算する。
Figure 0005934922
２）次に、各サブバンドの調和エネルギーを（式１７）を用いて計算する。
Figure 0005934922
３）次に、各パラメータバンドのトナリティを（式１８）を用いて計算する。
Figure 0005934922
４）次に、音響オブジェクト信号のトナリティを（式１９）を用いて算出する。
Figure 0005934922
このようにして、音響オブジェクト信号のトナリティを予測する。
さらに、本発明では、高いトナリティを保持する音響オブジェクト信号が重要である。従って、トナリティが最も高いオブジェクト信号が、時間区切りの決定に最も大きな影響を与える。
そのため、標準の時間区切りは、最も高いトナリティを持つ音響オブジェクト信号の時間区切りと同じとする。また、同一のトナリティを持つ複数のオブジェクト信号の場合には、標準の区切りは、最も小さい時間区切りインデックスが選択される。従って、（式２０）のようになる。
Figure 0005934922
以上のようにして、オブジェクト区切り算出回路３０６により標準クラスの標準の時間区切りと区切り位置情報とが決定される。なお、標準的な周波数区切りを決定する場合も同様であるのでその説明は省略する。
次に、オブジェクト区切り算出回路３０６とオブジェクト分類回路３０７とによる音響オブジェクト信号を分類する処理について説明する。
図６は、音響オブジェクト信号を分類する処理を説明するためのフローチャートである。
まず、複数の音響オブジェクト信号がＴ−Ｆ変換回路３０３に入力され、Ｔ−Ｆ変換回路３０３により周波数ドメインに変換された複数のオブジェクト信号（例えばｏｂｊ０〜ｏｂｊＱ−１）がオブジェクト区切り算出回路３０６に入力される（Ｓ１００）。
次に、オブジェクト区切り算出回路３０６は、入力された複数の音響信号が有する音響特性として各音響オブジェクト信号のトナリティ（例えば、Ｔｏｎ０〜ＴｏｎＱ−１）を、上述で説明したように計算する（Ｓ１０１）。次いで、オブジェクト区切り算出回路３０６は、各音響オブジェクト信号のトナリティ（例えば、Ｔｏｎ０〜ＴｏｎＱ−１）に基づいて、上述した標準の時間区切りを決定する手法と同様の手法にて、例えば標準クラスとその他の複数のクラスの時間区切りを決定する（Ｓ１０２）。
一方、オブジェクト区切り算出回路３０６は、入力された複数の音響信号が有する音響特性として各音響オブジェクト信号が過渡状態（Ｎｔｒ ０〜Ｎｔｒ Ｑ−１、Ｔｔｒ ０〜Ｔｔｒ Ｑ−１）であるかを示す過渡情報を上述で説明したように検出する（Ｓ１０３）。次いで、オブジェクト区切り算出回路３０６は、その過渡情報に基づいて、上述した標準の時間区切りを決定する手法と同様の手法にて、例えば標準クラスとその他の複数のクラスの時間区切りを決定し（Ｓ１０２）、かつ、それらクラスの区切り数を決定する（Ｓ１０４）。
次に、オブジェクト区切り算出回路３０６は、入力された複数の音響信号が有する音響特性に基づいて、複数の音響信号のそれぞれの区切り位置を示すオブジェクト区切り情報を算出する。次いで、オブジェクト分類回路３０７は、オブジェクト区切り算出回路３０６により決定（算出）されたオブジェクト区切り情報から、入力された複数の音響信号のそれぞれを、例えば標準クラスとその他のクラスなどの予め定められた複数の種類に分類する（Ｓ１０５）。
以上のように、オブジェクト区切り算出回路３０６と、オブジェクト分類回路３０７とは、入力された複数の音響信号のそれぞれを、当該複数の音響信号が有する音響特性に基づいて、予め定められた複数の種類に分類する。
なお、オブジェクト区切り算出回路３０６は、入力された複数の音響信号が有する音響特性として過渡情報とトナリティとを用いて、上記クラスの時間区切りを決定したが、それに限らない。オブジェクト区切り算出回路３０６は、その音響特性として各音響オブジェクト信号が有する過渡情報のみを用いてもよく、トナリティのみを用いてもよい。なお、オブジェクト区切り算出回路３０６は、入力された複数の音響信号が有する音響特性として過渡情報とトナリティとを用いて、上記クラスの時間区切りを決定する場合、過渡情報を用いて決定する方が支配的である。
以上、実施の形態１によれば、ビットレートの極端な増加を抑制する符号化装置を実現することができる。具体的には、実施の形態１の符号化装置によれば、最小限のビットレート上昇のみで、オブジェクト符号化の音質を向上させることができる。そのため、各オブジェクト信号の分離度を向上させることができる。
このように、音響オブジェクト符号化装置３００では、ＭＰＥＧ−ＳＡＯＣに代表される音響オブジェクト符号化と同様に、入力される音響オブジェクト信号を、ダウンミックス符号化部３０１とオブジェクトパラメータ抽出部３０４との二つの経路で演算する。すなわち、一つは、ダウンミックス符号化部３０１によって、複数の音響オブジェクト信号から例えばモノラルまたはステレオのダウンミックス信号が生成され、符号化される経路である。なお、ＭＰＥＧ−ＳＡＯＣ技術では、生成したダウンミックス信号をＭＰＥＧ−ＡＡＣ方式で符号化する。もう一つは、ＱＭＦフィルタバンクなどを用いて時間・周波数ドメインに変換された音響オブジェクト信号から、オブジェクトパラメータ抽出部３０４によって、オブジェクトパラメータが抽出されて符号化される経路である。なお、抽出する方法の詳細に関しては、非特許文献１に記載されている。
また、図１と図４とを比較すると、音響オブジェクト符号化装置３００におけるオブジェクトパラメータ抽出部３０４の構成が異なり、特に、オブジェクト分類部３０５すなわちオブジェクト区切り算出回路３０６およびオブジェクト分類回路３０７を備える点で異なっている。そして、オブジェクトパラメータ抽出回路３０８では、オブジェクト分類部３０５により分類されたクラス（予め定められた複数の種類）に基づき、音響オブジェクト符号化する際の時間区切りを変更している。つまり、従来の過渡的な変動をきっかけに時間区切りが適応的に変化させる場合に比べると、オブジェクト分類部３０５により分類されたクラスの数に基づく時間区切りの数は、抑制できるので符号化効率がよい。それだけでなく、従来の時間区切り数を０またはそれに１加えた程度に比べて、オブジェクト分類部３０５により分類されたクラスの数に基づく時間区切りの数は多い。そのため、音響オブジェクト信号特性をより反映でき、高音質なオブジェクト符号化を実現できる。
（実施の形態２）
本実施の形態では、実施の形態１と同様に、音響オブジェクト信号を複数の種類のクラスに分類することは同じである。それ以外の差異に関して記載する。
本実施の形態では、標準クラスパターンに基づいて、周波数ドメインの音響オブジェクト信号を元に音響オブジェクト信号が有するオブジェクトパラメータ（拡張情報）を抽出する。そして、入力されるすべての音響オブジェクト信号はいくつかのクラスに分類される。ここでは、２種類の時間区切りを許容することで、すべての音響オブジェクト信号を、４種類のクラス（標準クラスも含む）に分類する。ここで、（表１）は、音響オブジェクト信号ｉを分類するときの基準を表している。
Figure 0005934922
ここで、表１における各分類Ａ〜Ｄに対する時間区切りの位置は、上記クラス分類内容にひも付けされた音響オブジェクト信号のトナリティ情報によって決定する。なお、同じ手順は、標準時間区切り位置を選択する際に用いている。
例えば、各分類Ａ〜Ｄに対する時間区切りの位置および周波数区切りの位置は、図７Ａ〜図７Ｄのように表すことができる。図７Ａは、分類Ａ（クラスＡ）を示す時間区切りの位置および周波数区切りの位置を示しており、図７Ｂは、分類Ｂ（クラスＢ）を示す時間区切りの位置および周波数区切りの位置を示している。図７Ｃは、分類Ｃ（クラスＣ）を示す時間区切りの位置および周波数区切りの位置を示しており、図７Ｄは、分類Ｄ（クラスＤ）を示す時間区切りの位置および周波数区切りの位置を示している。
そして、一旦クラスすなわち分類Ａ〜Ｄが決定すれば、音響オブジェクト信号は同じ区切り数（区切り番号）と区切り位置との情報を共有する。これは、オブジェクトパラメータ（拡張情報）の抽出モジュールの後で実行される。そして、共通の時間区切り及び周波数区切りは、同じクラスに分類された音響オブジェクト信号間で共有する。
もし、すべてのオブジェクトが同一クラスに分類された場合、本発明のオブジェクト符号化技術は、既存のオブジェクト符号化と後方互換性を保持することは言うまでもない。一般的なオブジェクトパラメータ抽出手法と異なって、本発明での抽出方法は、分類されたクラスに基づいて実施する。
また、ＭＰＥＧ−ＳＡＯＣで定義されているオブジェクトパラメータ（拡張情報）は様々な種類が存在する。以下、本願で考案した拡張型オブジェクト符号化手法で改良したオブジェクトパラメータについて述べる。なお、以下では、特に、ＯＬＤ、ＩＯＣ、ＮＲＧパラメータに関して説明する。
ＭＰＥＧ−ＳＡＯＣのＯＬＤパラメータは、入力される音響オブジェクト信号の時間区切りおよび周波数区切り毎のオブジェクトパワー比として次の（式２１）のように定義されている。
Figure 0005934922
分類されたクラスに基づいたオブジェクトパラメータ抽出方法では、音響オブジェクト信号ｉがクラスＡに属するのであれば、ＯＬＤは、クラスＡの入力オブジェクト信号の時間区切り・周波数区切りに対して、以下の（式２２）のように計算する。
Figure 0005934922
他のクラスに対しても同様に定義する。
次に、ＭＰＥＧ−ＳＡＯＣのＮＲＧパラメータについて説明する。最も大きなオブジェクトエネルギーを持つオブジェクトに対してＮＲＧを計算するとき、ＭＰＥＧ−ＳＡＯＣでは（式２３）を用いて算出する。
Figure 0005934922
分類されたクラスに基づいたオブジェクトパラメータ抽出方法では、（式２４）を用いて複数のＮＲＧパラメータの組を算出する。
Figure 0005934922
ここで、Ｓは、表１のクラスＡ、クラスＢ、クラスＣおよび、クラスＤを示す。
次に、ＭＰＥＧ−ＳＡＯＣのＩＯＣパラメータについて説明する。元のＩＯＣパラメータは、入力される音響オブジェクト信号の時間区切り・周波数区切りに対して（式２５）を用いて算出する。
Figure 0005934922
ここで、（式２６）とする。
Figure 0005934922
分類されたクラスに基づいたオブジェクトパラメータ抽出方法では、複数のＩＯＣパラメータは、同一クラスからの入力オブジェクト信号の時間区切り・周波数区切りに対して同様に算出する。すなわち、（式２７）を用いて算出する。
Figure 0005934922
ここで、（式２８）であり、Ｓは表１のクラスＡ、クラスＢ、クラスＣ、クラスＤを示す。
Figure 0005934922
以上のＩＯＣの算出過程から、一つの音響オブジェクト信号のみが分類されているいずれかのクラスに対して、ＩＯＣパラメータを計算する必要はないのがわかる。一方で、同一クラスに分類されたステレオあるいはマルチチャンネルの音響オブジェクト信号に対しては、それらの信号のＩＯＣパラメータを計算する必要がある。なお、異なる種類のクラスに分類されたいずれかの音響オブジェクト信号の組に対しては、クラス間のＩＯＣパラメータは標準状態ではゼロとする。こうすることで、既存のオブジェクト符号化手法と互換性を保つことができる。
次に、上記のように音響オブジェクト信号を複数の種類のクラスに分類（以下クラス分類とも記載）するクラス分類手法を用いたオブジェクト復号方法について述べる。
以下、ダウンミックス信号の状態に応じて二つの場合すなわちダウンミックス信号がモノラル信号である場合とダウンミックス信号がステレオ信号である場合について説明する。
まず、ダウンミックス信号がモノラル信号である場合を説明する。
図８は、本発明の音響オブジェクト復号装置の１例の構成を示すブロック図である。なお、図８は、モノラルダウンミックス信号に対する音響オブジェクト復号装置の構成例を示している。図８に示す音響オブジェクト復号装置は、分離回路４０１と、オブジェクト復号回路４０２と、ダウンミックス信号復号回路４０５とを備える。
分離回路４０１は、オブジェクトストリームすなわち音響オブジェクト符号化信号が入力され、入力された音響オブジェクト符号化信号を、ダウンミックス符号化信号と、オブジェクトパラメータ（拡張情報）とに分離する。分離回路４０１は、ダウンミックス符号化信号を、ダウンミックス信号復号回路４０５に出力し、オブジェクトパラメータ（拡張情報）をオブジェクト復号回路４０２に出力する。
ダウンミックス信号復号回路４０５は、入力されたダウンミックス符号化信号を、ダウンミックス復号信号に復号する。
オブジェクト復号回路４０２は、オブジェクトパラメータ分類回路４０３と、複数のオブジェクトパラメータ演算回路４０４とを備える。
オブジェクトパラメータ分類回路４０３は、分離回路４０１により分離されたオブジェクトパラメータ（拡張情報）が入力され、入力されたオブジェクトパラメータを例えばクラスＡ〜クラスＤのように複数のクラスに分類する。オブジェクトパラメータ分類回路４０３は、オブジェクトパラメータそれぞれに関連づけられたクラス特性に基づいてオブジェクトパラメータを分離し、対応するオブジェクトパラメータ演算回路４０４に出力する。
ここで、図８に示すように、オブジェクトパラメータ演算回路４０４は、本実施の形態では４つのプロセッサから構成されている。すなわち、複数のクラスがクラスＡ〜クラスＤである場合、オブジェクトパラメータ演算回路４０４は、それぞれクラスＡ、クラスＢ、クラスＣおよびクラスＤに対応して設けられ、それぞれクラスＡ、クラスＢ、クラスＣおよびクラスＤに属するオブジェクトパラメータが入力される。そして、オブジェクトパラメータ演算回路４０４は、クラス分類され入力されたオブジェクトパラメータを、クラス分類されたレンダリング情報に応じて修正した空間パラメータへと変換する。
なお、これを実現するために、元々のレンダリング情報がクラス毎に分離される必要がある。そうすることで、あるクラスに割り当てられたクラス情報が一意性を保持しているため、クラスに分類された情報を元にして、前記空間パラメータへの変換が容易になる。ここで、図９Ａおよび図９Ｂは、レンダリング情報をクラス分類する方法を示す図である。図９Ａは、元々のレンダリング情報を、８つにクラス分類（クラスはＡ〜Ｄの４種類）されたレンダリング情報を示しており、図９Ｂは、元々のレンダリング情報をＡ〜Ｄのクラス毎に分離して出力するときのレンダリングマトリックス（レンダリング情報）を示している。ここでは、マトリックス要素ｒi、jは、オブジェクトｉ番目、出力ｊ番目のレンダリング係数を示している。
オブジェクト復号回路４０２は、オブジェクトパラメータを空間パラメータ（ＭＰＥＧサラウンド方式のＳｐａｔｉａｌＣｕｅに相当）に変換する図２のオブジェクトパラメータ演算回路２０５を拡張する構成からなる。
次に、ダウンミックス信号がステレオ信号である場合を説明する。
図１０は、本発明の音響オブジェクト復号装置の別の１例の構成を示すブロック図である。なお、図１０は、ステレオダウンミックス信号に対する音響オブジェクト復号装置の構成例を示している。図１０に示す音響オブジェクト復号装置は、分離回路６０１と、クラス分類に基づいたオブジェクト復号回路６０２と、ダウンミックス信号復号回路６０６とを備える。また、オブジェクト復号回路６０２は、オブジェクトパラメータ分類回路６０３と、複数のオブジェクトパラメータ演算回路６０４と、複数のダウンミックス信号プリプロセス回路６０５とを備える。
分離回路６０１は、オブジェクトストリームすなわち音響オブジェクト符号化信号が入力され、入力された音響オブジェクト符号化信号を、ダウンミックス符号化信号と、オブジェクトパラメータ（拡張情報）とに分離する。分離回路６０１は、ダウンミックス符号化信号を、ダウンミックス信号復号回路６０６に出力し、オブジェクトパラメータ（拡張情報）をオブジェクト復号回路６０２に出力する。
ダウンミックス信号復号回路６０６は、入力されたダウンミックス符号化信号を、ダウンミックス復号信号に復号する。
オブジェクトパラメータ分類回路６０３は、分離回路６０１により分離されたオブジェクトパラメータ（拡張情報）が入力され、入力されたオブジェクトパラメータを例えばクラスＡ〜クラスＤのように複数のクラスに分類する。そして、オブジェクトパラメータ分類回路６０３は、オブジェクトパラメータそれぞれに関連づけられたクラス特性に基づいて分類（分離した）オブジェクトパラメータを、対応するオブジェクトパラメータ演算回路４０４に出力する。
ここで、ダウンミックス信号がステレオ信号である場合、図１０に示すように、オブジェクトパラメータ演算回路６０４とダウンミックス信号プリプロセス回路６０５との両方はそれぞれ、各クラスに対応して設けられている。そして、オブジェクトパラメータ演算回路６０４とダウンミックス信号プリプロセス回路６０５との両方はそれぞれ、対応するクラスに分類され入力されたオブジェクトパラメータと、対応するクラスに分類され入力されたレンダリング情報に基づいて処理を行う。結果として、オブジェクト復号回路６０２は、プリプロセスしたダウンミックス信号と空間パラメータの組とを４つ生成して出力する。
以上、実施の形態２によれば、ビットレートの極端な増加を抑制する符号化装置および復号装置を実現することができる。
（実施の形態３）
次に、実施の形態３では、クラス分類されたパラメトリックオブジェクト符号化方法によって生成されたビットストリームを復号する復号装置の別の態様について説明する。
まず、比較のために、一般的なマルチチャンネルデコーダ（スペーシャルデコーダ）について説明する。図１１は、一般的な音響オブジェクト復号装置を示す図である。
図１１に示す音響オブジェクト復号装置は、パラメトリックマルチチャンネル復号回路７００を備えている。ここで、パラメトリックマルチチャンネル復号回路７００は、図２に示すマルチチャンネル信号合成回路２０８の中核モジュールが一般化されたモジュールである。
パラメトリックマルチチャンネル復号回路７００は、プリプロセスマトリックス演算回路７０２と、ポストマトリックス演算回路７０３と、プリプロセスマトリックス生成回路７０４と、ポストプロセスマトリックス生成回路７０５と、線形補間回路７０６および７０７と、残響成分生成回路７０８とを備える。
プリプロセスマトリックス演算回路７０２は、ダウンミックス信号（プリプロセスダウンミックス信号、合成空間信号でも同様）が入力される。ここで、プリプロセスマトリックス演算回路７０２は、各チャンネルのエネルギー値の変化を補償するように、ゲインファクターを修正する役割を果たす。そして、プリプロセスマトリックス演算回路７０２は、プリマトリックス（Ｍpre）のいくつかの出力を、デコラレーターである残響成分生成回路７０８（図中のＤ）に入力する。
デコラレーターである残響成分生成回路７０８は、一つまたは複数個からなり、それぞれ独立したデコラレーション（残響信号付加処理）を行う。なお、デコラレーターである残響成分生成回路７０８は、入力信号とは相関のない出力信号を生成する。
ポストマトリックス演算回路７０３は、プリプロセスマトリックス演算回路７０２によりゲインファクターが修正された複数の音響ダウンミックス信号の一部が残響発生回路７０８により残響信号付加処理が行われて入力され、かつ、プリプロセスマトリックス演算回路７０２によりゲインファクターが修正された残りの複数の音響ダウンミックス信号が入力される。ポストマトリックス演算回路７０３は、残響発生回路７０８より残響信号付加処理が行われた一部の複数の音響ダウンミックス信号と、プリプロセスマトリックス演算回路７０２より入力された残りの複数の音響ダウンミックス信号とから、所定の行列を用いてマルチチャンネルの出力スペクトルを生成する。具体的には、ポストマトリックス演算回路７０３は、ポストプロセスマトリックス（Ｍpost）を用いてマルチチャンネルの出力スペクトルを生成する。この際、チャンネル間相関値（ＭＰＥＧサラウンドで言うＩＣＣパラメータ）によって残響処理した信号によって、エネルギー補償した信号を合成することで、前記出力スペクトルを生成する。
なお、プリプロセスマトリックス演算回路７０２と、ポストマトリックス演算回路７０３と、残響成分生成回路７０８とは、合成部７０１を構成している。
また、プリプロセスマトリックス（Ｍpre）とポストプロセスマトリックス（Ｍpost）とは、伝送されてきた空間パラメータから算出される。具体的には、プリプロセスマトリックス（Ｍpre）は、プリプロセスマトリックス生成回路７０４と線形補間回路７０６とにより複数の種類（クラス）に分類された空間パラメータを線形補間して算出され、ポストプロセスマトリックス（Ｍpost）は、ポストプロセスマトリックス生成回路７０５と線形補間回路７０７とにより複数の種類（クラス）に分類された空間パラメータ空間パラメータを線形補間して算出される。
次に、プリプロセスマトリックス（Ｍpre）とポストプロセスマトリックス（Ｍpost）とが算出される方法を説明する。
まず、信号のスペクトル上で、マトリックスＭpreとＭpostを合成するために、すべての時間区切りｎおよびすべての周波数サブバンドｋに対して（式２９）および（式３０）に示すようにマトリックスＭn,k preおよびＭn,k postを定義する。
Figure 0005934922
Figure 0005934922
また、伝送されてきた空間パラメータは、すべての時間区切りｌおよびすべてのパラメータバンドｍに対して定義される。
次に、スペーシャルデコーダである図１１に示す音響オブジェクト復号装置では、再定義した合成マトリックスを算出するために、伝送された空間パラメータに基づいて、プリプロセスマトリックス生成回路７０４およびポストプロセスマトリックス生成回路７０５から、合成マトリックスＲl,mpreおよびＲl,mpostを計算する。
次に、パラメータセット（ｌ，ｍ）からサブバンド区切り（ｎ，ｋ）へと線形補間回路７０６、線形補間回路７０７にて線形補間を行う。
なお、この合成マトリックスの線形補間は、サブバンド値の各々の時間区切りスロットを、メモリ内ですべてのフレームのサブバンド値を保持することなく、一つ一つ復号することができる利点がある。また、フレームを基準にした合成方法に比べて顕著なメモリ削減効果が生じる。
例えば、ＭＰＥＧサラウンドなどのＳＡＣ技術では、Ｍn,kpreは次の（式３１）のように線形補間する。
Figure 0005934922
ここで、（式３２）、（式３３）は、ｌ番目の時間区切りスロットインデックスであり、（式３４）で示される。
Figure 0005934922
Figure 0005934922
Figure 0005934922
なお、ＳＡＣデコーダでは、前述したサブバンドｋは、不等分の周波数分解能（低周波数では高周波数に比べ細かい解像度を持っている）を保持しており、ハイブリッドバンドと呼ばれる。そして、本発明のクラス分離を用いたオブジェクト復号装置では、この不等分の周波数分解能を用いる。
以下、本発明の音響オブジェクト復号装置について説明する。図１２は、本実施の形態における音響オブジェクト復号装置の１例の構成を示すブロック図である。
図１２に示す音響オブジェクト復号装置８００は、ＭＰＥＧ−ＳＡＯＣ技術を利用した場合の例を示している。この音響オブジェクト復号装置８００は、トランスコーダ８０３と、ＭＰＳ復号回路８０１とを備える。
トランスコーダ８０３は、入力されたダウンミックス符号化信号を、プリプロセスダウンミックス信号に復号し、ＭＰＳ復号回路８０１に出力するダウンミックスプリプロプロセッサ８０４と、入力されたＳＡＯＣ方式のオブジェクトパラメータをＭＰＥＧサラウンド方式のオブジェクトパラメータに変換してＭＰＳ復号回路８０１に出力するＳＡＯＣパラメータプロセス回路８０５とを備える。
ＭＰＳ復号回路８０１は、ハイブリッド変換回路８０６と、ＭＰＳ合成回路８０７と、逆ハイブリッド変換回路８０８と、クラス分類に基づきプリマトリックスを生成するクラス分類プリマトリクス生成回路８０９と、クラス分類に基づき線形補間する線形補間回路８１０と、クラス分類に基づきポストマトリックスを生成するクラス分類ポストマトリクス生成回路８１１と、クラス分類に基づき線形補間する線形補間回路８１２とを備える。
ハイブリッド変換回路８０６は、不等分の周波数分解能を用いて、プリプロセスダウンミックス信号をダウンミックス信号に変換し、ＭＰＳ合成回路８０７に出力する。
逆ハイブリッド変換回路８０８は、不等分の周波数分解能を用いて、ＭＰＳ合成回路８０７より出力されたマルチチャンネルの出力スペクトルを、複数チャンネルの時間領域の音響信号に変換して出力する。
ＭＰＳ復号回路８０１は、入力されたダウンミックス信号をマルチチャンネルの出力スペクトルに合成して逆ハイブリッド変換回路８０８に出力する。なお、ＭＰＳ復号回路８０１は、図１１に示す合成部７０１に相当するため、詳細な説明は省略する。
以上のように、本発明の音響オブジェクト復号装置８００は構成される。
このように、本発明のオブジェクト復号装置では、モノラルまたはステレオダウンミックス信号とともにクラス分類オブジェクト符号化したオブジェクトパラメータを復号できるようにするために、次の処理を行う。すなわち、クラス分類に基づいたプリマトリックスおよびポストマトリックスの生成、クラス分類に基づいたマトリックス（プリマトリックスおよびポストマトリックス）の線形補間、ダウンミックス信号に対してクラス分類に基づいたプリプロセス処理（ステレオ信号に対してのみ行う）、クラス分類に基づいた空間信号合成、最終的に複数のスペクトル信号を組み合わせる処理をそれぞれ実行する。
例えば、クラス分類に基づいたマトリックスの線形補間は次の（式３５）のように計算する。
Figure 0005934922
ここで、（式３６）、（式３７）はクラスＳのｌ番目の時間区切りを示す。そして、（式３８）のように表される。
Figure 0005934922
Figure 0005934922
Figure 0005934922
そして、クラス分類に基づいたプレマトリックスＭS preおよびポストマトリックスＭS postは、図１３に示すようにそれぞれクラス分類に基づいた空間合成手法が適用される。なお、図１３は、ステレオダウンミックス信号に対する本発明のコアオブジェクト復号装置の例を示す図である。ここでは、ｘA（ｎ、ｋ）〜ｘD（ｎ、ｋ）は、モノラル信号の場合には同一のダウンミックス信号を示し、ステレオ信号の場合にはクラス分類されたプリプロセス処理後のダウンミックス信号を示している。また、空間合成器であるパラメトリックマルチチャンネル信号合成回路９０１はそれぞれ、図１１に示すパラメトリックマルチチャンネル復号回路７００に対応する。
そして、このパラメトリックマルチチャンネル信号合成回路９０１によりそれぞれ出力されたクラス分類に基づいたダウンミックス信号は、マルチチャンネルのスペクトル信号へと次の（式３９）および（式４０）のようにしてアップミックスされる。
Figure 0005934922
Figure 0005934922
合成スペクトル信号は、これらのクラス分類に基づいたスペクトル信号を次の（式４１）のように合成することで取得される。
Figure 0005934922
以上のようにして、クラス分類に基づくオブジェクト符号化およびオブジェクト復号を行うことができる。
なお、本実施の形態では、クラス分類に基づいたオブジェクト符号化信号を復号するために、本発明の音響オブジェクト復号装置では、Ａ〜Ｄのクラス分類に対応して空間合成器を４つ用いている。これは、本発明のオブジェクト復号装置がＭＰＥＧ−ＳＡＯＣ復号装置に比べて若干ながら演算量が増加することを示唆する。しかしながら、従来のオブジェクト復号装置において、演算量が必要な主要な構成要素は、Ｔ−Ｆ変換およびＦ−Ｔ変換部分である。その点を考慮すると、本発明のオブジェクト復号装置は、ＭＰＥＧ−ＳＡＯＣ復号装置と比べても、Ｔ−Ｆ変換部およびＦ−Ｔ変換部の数は理想的には変わらない。従って、本発明のオブジェクト復号装置の全体の演算量は、従来のＭＰＥＧ−ＳＡＯＣ復号装置とほぼ同等となりうるのである。
以上、本発明によれば、ビットレートの極端な増加を抑制する符号化装置および復号装置を実現することができる。具体的には、最小限のビットレート上昇のみで、オブジェクト符号化の音質を向上させることができる。そのため、各オブジェクト信号の分離度を向上させることができるので、本発明のオブジェクト符号化方法を用いた場合、会議システムなどの臨場感を向上させることができる。また、本発明のオブジェクト符号化方法を用いた場合、インタラクティブリミックスシステムの音質を向上させることができる。
なお、本発明のオブジェクト符号化装置およびオブジェクト復号装置は、従来のＭＰＥＧ−ＳＡＯＣ技術を用いるオブジェクト符号化装置およびオブジェクト復号装置と比べて、顕著に音質向上することが可能である。特に、非常に多くの過渡状態をもつ音響オブジェクト信号に対しては、適切なビットレートと演算量の元で符号化及び復号が可能となる。これは、ビットレートと音質の高度な両立が必須の多くのアプリケーションに対して非常に有益である。
（その他変形例）
なお、本発明のオブジェクト符号化装置およびオブジェクト復号装置について、上記実施の形態に基づいて説明してきたが、上記の実施の形態に限定されないのはもちろんである。以下のような場合も本発明に含まれる。
（１）上記の各装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボードおよびマウスなどから構成されるコンピュータシステムである。ＲＡＭまたはハードディスクユニットには、コンピュータプログラムが記憶されている。マイクロプロセッサが、上記コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
（２）上記の各装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。上記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、上記コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。
（３）上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしてもよい。上記ＩＣカードまたは前記モジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。上記ＩＣカードまたは上記モジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、上記ＩＣカードまたは上記モジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。
（４）また、本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。
また、本発明は、前記コンピュータプログラムまたは前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ）、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。
また、本発明は、前記コンピュータプログラムまたは前記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。
また、前記プログラムまたは前記デジタル信号を前記記録媒体に記録して移送することにより、または前記プログラムまたは前記デジタル信号を、前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
（５）上記実施の形態および上記変形例をそれぞれ組み合わせるとしてもよい。
本発明は、音響オブジェクト信号を符号化・復号する符号化装置および復号装置に利用でき、特に、インタラクティブ音源リミックスシステムやゲーム装置、あるいは多人数・他拠点を接続する会議システムなどの分野に適用される符号化装置および復号装置に利用することができる。
１００、３００ 音響オブジェクト符号化装置
１０１、３０２ オブジェクトダウンミックス回路
１０２、３０３ Ｔ−Ｆ変換回路
１０３、３０８ オブジェクトパラメータ抽出回路
１０４ ダウンミックス信号符号化回路
１０５、３０９ 多重化回路
２００、８００ 音響オブジェクト復号装置
２０１、４０１、６０１ 分離回路
２０３ オブジェクトパラメータ変換回路
２０４、６０５ ダウンミックス信号プリプロセス回路
２０５ オブジェクトパラメータ演算回路
２０６ パラメトリックマルチチャンネル復号回路
２０７ ドメイン変換回路
２０８ マルチチャンネル信号合成回路
２０９ Ｆ−Ｔ変換回路
２１０ ダウンミックス信号復号回路
３０１ ダウンミックス符号化部
３０４ オブジェクトパラメータ抽出部
３０５ オブジェクト分類部
３０６ オブジェクト区切り算出回路
３０７ オブジェクト分類回路
３１０ ダウンミックス信号符号化回路
４０２ オブジェクト復号回路
４０３、６０３ オブジェクトパラメータ分類回路
４０４、６０４ オブジェクトパラメータ演算回路
４０５、６０６ ダウンミックス信号復号回路
６０２ オブジェクト復号回路
７００ パラメトリックマルチチャンネル復号回路
７０１ 合成部
７０２ プリプロセスマトリックス演算回路
７０３ ポストマトリックス演算回路
７０４ プリプロセスマトリックス生成回路
７０５ ポストプロセスマトリックス生成回路
７０６、７０７、８１０、８１２ 線形補間回路
７０８ 残響成分生成回路
８０１ ＭＰＳ復号回路
８０３ トランスコーダ
８０４ ダウンミックスプリプロプロセッサ
８０５ ＳＡＯＣパラメータプロセス回路
８０６ ハイブリッド変換回路
８０７ ＭＰＳ合成回路
８０８ 逆ハイブリッド変換回路
８０９ クラス分類プリマトリクス生成回路
８１１ クラス分類ポストマトリクス生成回路
９０１ パラメトリックマルチチャンネル信号合成回路
３０８１、３０８２、３０８３、３０８４ 抽出回路

Claims (5)

  1. パラメトリックマルチチャンネル復号を行う復号装置であって、
    複数の音響信号がダウンミックスされて符号化されたダウンミックス符号化情報と、当該複数の音響信号間の関連性を示すパラメータとから構成される音響符号化信号を受信し、当該音響符号化信号を、前記ダウンミックス符号化情報と前記パラメータとに分離する分離部と、
    前記分離部によって分離された前記ダウンミックス符号化情報から、複数の音響ダウンミックス信号を復号するダウンミックス復号部と、
    前記分離部によって分離された前記パラメータを、複数の音響ダウンミックス信号を複数の音響信号に分離するための空間パラメータに変換するオブジェクト復号部と、
    前記オブジェクト復号部で変換された空間パラメータを用いて、前記複数の音響ダウンミックス信号を前記複数の音響信号にパラメトリックマルチチャンネル復号する復号部とを備え、
    オブジェクト復号部は、前記分離部によって分離された前記パラメータを、予め定められた数の複数のクラスであってそれぞれ予め定められた時間区切りと周波数区切りを示す複数のクラスに分類する分類部と、前記分類部により分類された前記パラメータのそれぞれを、前記複数のクラスに分類された前記空間パラメータに変換する演算部とを有する
    復号装置。
  2. 前記復号装置は、さらに、前記復号部の前段に、前記ダウンミックス符号化情報をプリプロセスするプリプロセス部を備え、
    前記演算部は、前記分類部により分類された前記パラメータのそれぞれを、前記複数のクラスに基づき分類された空間配置情報に基づいて、前記複数のクラスに分類された空間パラメータに変換し、
    前記プリプロセス部は、前記分類された前記パラメータのそれぞれと、前記分類された空間配置情報とに基づいて、前記ダウンミックス符号化情報をプリプロセスする
    請求項１に記載の復号装置。
  3. 前記空間配置情報は、前記複数の音響信号の空間配置に関する情報を示し、前記複数の音響信号に関連付けられており、
    前記複数のクラスに基づき分類された空間配置情報は、前記複数のクラスに分類された記複数の音響信号に関連付けられている
    請求項２に記載の復号装置。
  4. 前記復号部は、
    前記複数の音響ダウンミックス信号を、前記複数のクラスに分類された空間パラメータに従って、前記複数のクラスに分類された複数のスペクトル信号列に合成する合成部と、
    前記分類された複数のスペクトル信号を一つのスペクトル信号列に合算する合算部と、
    前記合算したスペクトル信号列を複数の音響信号に変換する変換部とを備える
    請求項１または２に記載の復号装置。
  5. 前記復号装置は、さらに、入力された前記複数の音響ダウンミックス信号からマルチチャンネルの出力スペクトルを合成する音響信号合成部を備え、
    前記音響信号合成部は、
    前記入力された複数の音響ダウンミックス信号のゲインファクターを修正するプリプロセス行列演算部と、
    前記複数のクラスに分類された空間パラメータを線形補間して、前記プリプロセス行列演算部に出力するプリプロセス乗算部と、
    前記プリプロセス行列演算部によりゲインファクターが修正された前記複数の音響ダウンミックス信号のうちの一部に対して残響信号付加処理を行う残響発生部と、
    前記残響発生部より残響信号付加処理が行われた前記修正された複数の音響ダウンミックス信号のうちの一部と、前記プリプロセス行列演算部より出力された前記修正された複数の音響ダウンミックス信号のうちの残部とから、所定の行列を用いてマルチチャンネルの出力スペクトルを生成するポストプロセス行列演算部とを有する
    請求項４に記載の復号装置。
JP2014108469A 2009-07-31 2014-05-26 復号装置 Active JP5934922B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014108469A JP5934922B2 (ja) 2009-07-31 2014-05-26 復号装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009180030 2009-07-31
JP2009180030 2009-07-31
JP2014108469A JP5934922B2 (ja) 2009-07-31 2014-05-26 復号装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2011524665A Division JP5793675B2 (ja) 2009-07-31 2010-07-30 符号化装置および復号装置

Publications (2)

Publication Number Publication Date
JP2014149552A JP2014149552A (ja) 2014-08-21
JP5934922B2 true JP5934922B2 (ja) 2016-06-15

Family

ID=43529051

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2011524665A Active JP5793675B2 (ja) 2009-07-31 2010-07-30 符号化装置および復号装置
JP2014108469A Active JP5934922B2 (ja) 2009-07-31 2014-05-26 復号装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2011524665A Active JP5793675B2 (ja) 2009-07-31 2010-07-30 符号化装置および復号装置

Country Status (5)

Country Link
US (1) US9105264B2 (ja)
EP (1) EP2461321B1 (ja)
JP (2) JP5793675B2 (ja)
CN (1) CN102171754B (ja)
WO (1) WO2011013381A1 (ja)

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100324915A1 (en) * 2009-06-23 2010-12-23 Electronic And Telecommunications Research Institute Encoding and decoding apparatuses for high quality multi-channel audio codec
KR20120071072A (ko) * 2010-12-22 2012-07-02 한국전자통신연구원 객체 기반 오디오를 제공하는 방송 송신 장치 및 방법, 그리고 방송 재생 장치 및 방법
EP2666160A4 (en) * 2011-01-17 2014-07-30 Nokia Corp AUDIO SCENE PROCESSING APPARATUS
FR2980619A1 (fr) * 2011-09-27 2013-03-29 France Telecom Codage/decodage parametrique d'un signal audio multi-canal, en presence de sons transitoires
EP2766904A4 (en) * 2011-10-14 2015-07-29 Nokia Corp DEVICE FOR ASSIGNING AUDIO SCENES
EP2850612B1 (en) 2012-05-18 2019-04-10 Dolby Laboratories Licensing Corporation System for maintaining reversible dynamic range control information associated with parametric audio coders
US10844689B1 (en) 2019-12-19 2020-11-24 Saudi Arabian Oil Company Downhole ultrasonic actuator system for mitigating lost circulation
US9190065B2 (en) 2012-07-15 2015-11-17 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for three-dimensional audio coding using basis function coefficients
US9479886B2 (en) 2012-07-20 2016-10-25 Qualcomm Incorporated Scalable downmix design with feedback for object-based surround codec
US9761229B2 (en) 2012-07-20 2017-09-12 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for audio object clustering
US9489954B2 (en) * 2012-08-07 2016-11-08 Dolby Laboratories Licensing Corporation Encoding and rendering of object based audio indicative of game audio content
KR20140047509A (ko) * 2012-10-12 2014-04-22 한국전자통신연구원 객체 오디오 신호의 잔향 신호를 이용한 오디오 부/복호화 장치
WO2014058138A1 (ko) * 2012-10-12 2014-04-17 한국전자통신연구원 객체 오디오 신호의 잔향 신호를 이용한 오디오 부/복호화 장치
EP2804176A1 (en) * 2013-05-13 2014-11-19 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio object separation from mixture signal using object-specific time/frequency resolutions
US20160155455A1 (en) * 2013-05-22 2016-06-02 Nokia Technologies Oy A shared audio scene apparatus
BR112015029129B1 (pt) 2013-05-24 2022-05-31 Dolby International Ab Método para codificar objetos de áudio em um fluxo de dados, meio legível por computador, método em um decodificador para decodificar um fluxo de dados e decodificador para decodificar um fluxo de dados incluindo objetos de áudio codificados
EP3270375B1 (en) 2013-05-24 2020-01-15 Dolby International AB Reconstruction of audio scenes from a downmix
CN109712630B (zh) 2013-05-24 2023-05-30 杜比国际公司 包括音频对象的音频场景的高效编码
CN109887516B (zh) 2013-05-24 2023-10-20 杜比国际公司 对音频场景进行解码的方法、音频解码器以及介质
CN104240711B (zh) * 2013-06-18 2019-10-11 杜比实验室特许公司 用于生成自适应音频内容的方法、***和装置
EP2830053A1 (en) * 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multi-channel audio decoder, multi-channel audio encoder, methods and computer program using a residual-signal-based adjustment of a contribution of a decorrelated signal
JP6449877B2 (ja) 2013-07-22 2019-01-09 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ マルチチャネル・オーディオ・デコーダ、マルチチャネル・オーディオ・エンコーダ、レンダリングされたオーディオ信号を使用する方法、コンピュータ・プログラムおよび符号化オーディオ表現
EP2830333A1 (en) * 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multi-channel decorrelator, multi-channel audio decoder, multi-channel audio encoder, methods and computer program using a premix of decorrelator input signals
EP2830045A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Concept for audio encoding and decoding for audio channels and audio objects
EP2830048A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for realizing a SAOC downmix of 3D audio content
EP2830049A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for efficient object metadata coding
TWI557724B (zh) 2013-09-27 2016-11-11 杜比實驗室特許公司 用於將 n 聲道音頻節目編碼之方法、用於恢復 n 聲道音頻節目的 m 個聲道之方法、被配置成將 n 聲道音頻節目編碼之音頻編碼器及被配置成執行 n 聲道音頻節目的恢復之解碼器
WO2015059154A1 (en) * 2013-10-21 2015-04-30 Dolby International Ab Audio encoder and decoder
SG11201602628TA (en) 2013-10-21 2016-05-30 Dolby Int Ab Decorrelator structure for parametric reconstruction of audio signals
KR101567665B1 (ko) * 2014-01-23 2015-11-10 재단법인 다차원 스마트 아이티 융합시스템 연구단 퍼스널 오디오 스튜디오 시스템
EP3127109B1 (en) 2014-04-01 2018-03-14 Dolby International AB Efficient coding of audio scenes comprising audio objects
EP3067885A1 (en) 2015-03-09 2016-09-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for encoding or decoding a multi-channel signal
WO2017035281A2 (en) * 2015-08-25 2017-03-02 Dolby International Ab Audio encoding and decoding using presentation transform parameters
US10863297B2 (en) 2016-06-01 2020-12-08 Dolby International Ab Method converting multichannel audio content into object-based audio content and a method for processing audio content having a spatial position
CN108665902B (zh) * 2017-03-31 2020-12-01 华为技术有限公司 多声道信号的编解码方法和编解码器
JP6811312B2 (ja) * 2017-05-01 2021-01-13 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 符号化装置及び符号化方法
CN107749299B (zh) * 2017-09-28 2021-07-09 瑞芯微电子股份有限公司 一种多音频输出方法和装置
GB2582748A (en) * 2019-03-27 2020-10-07 Nokia Technologies Oy Sound field related rendering
WO2021097666A1 (en) * 2019-11-19 2021-05-27 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for processing audio signals
WO2023065254A1 (zh) * 2021-10-21 2023-04-27 北京小米移动软件有限公司 一种信号编解码方法、装置、编码设备、解码设备及存储介质
CN115552518B (zh) * 2021-11-02 2024-06-25 北京小米移动软件有限公司 一种信号编解码方法、装置、用户设备、网络侧设备及存储介质

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07225597A (ja) * 1994-02-15 1995-08-22 Hitachi Ltd 音響信号符号化、復号化方法及び装置
JP2007506986A (ja) 2003-09-17 2007-03-22 北京阜国数字技術有限公司 マルチ解像度ベクトル量子化のオーディオｃｏｄｅｃ方法及びその装置
US7809579B2 (en) 2003-12-19 2010-10-05 Telefonaktiebolaget Lm Ericsson (Publ) Fidelity-optimized variable frame length encoding
SE527670C2 (sv) * 2003-12-19 2006-05-09 Ericsson Telefon Ab L M Naturtrogenhetsoptimerad kodning med variabel ramlängd
ATE390683T1 (de) * 2004-03-01 2008-04-15 Dolby Lab Licensing Corp Mehrkanalige audiocodierung
BE1016101A3 (fr) * 2004-06-28 2006-03-07 L Air Liquide Belge Dispositif et procede de detection de changement de temperature, en particulier pour la detection d'une fuite de liquide cryogenique.
JP4822697B2 (ja) * 2004-12-01 2011-11-24 シャープ株式会社 ディジタル信号符号化装置およびディジタル信号記録装置
US7573912B2 (en) * 2005-02-22 2009-08-11 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschunng E.V. Near-transparent or transparent multi-channel encoder/decoder scheme
WO2006091139A1 (en) * 2005-02-23 2006-08-31 Telefonaktiebolaget Lm Ericsson (Publ) Adaptive bit allocation for multi-channel audio encoding
JP2006259291A (ja) * 2005-03-17 2006-09-28 Matsushita Electric Ind Co Ltd オーディオエンコーダ
JP4625709B2 (ja) * 2005-03-25 2011-02-02 株式会社東芝 ステレオオーディオ信号符号化装置
US7751572B2 (en) * 2005-04-15 2010-07-06 Dolby International Ab Adaptive residual audio coding
BRPI0616945A2 (pt) * 2005-10-05 2011-07-05 Lg Eletronics Inc método e aparelho para processamento de sinal
US8073703B2 (en) * 2005-10-07 2011-12-06 Panasonic Corporation Acoustic signal processing apparatus and acoustic signal processing method
WO2008003362A1 (en) 2006-07-07 2008-01-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for combining multiple parametrically coded audio sources
JP4721355B2 (ja) 2006-07-18 2011-07-13 Ｋｄｄｉ株式会社 符号化データの符号化則変換方法および装置
EP2575129A1 (en) * 2006-09-29 2013-04-03 Electronics and Telecommunications Research Institute Apparatus and method for coding and decoding multi-object audio signal with various channel
JP4918841B2 (ja) * 2006-10-23 2012-04-18 富士通株式会社 符号化システム
JP4984983B2 (ja) * 2007-03-09 2012-07-25 富士通株式会社 符号化装置および符号化方法

Also Published As

Publication number Publication date
CN102171754B (zh) 2013-06-26
US9105264B2 (en) 2015-08-11
EP2461321B1 (en) 2018-05-16
US20110182432A1 (en) 2011-07-28
WO2011013381A1 (ja) 2011-02-03
JP5793675B2 (ja) 2015-10-14
EP2461321A1 (en) 2012-06-06
CN102171754A (zh) 2011-08-31
EP2461321A4 (en) 2014-05-07
JP2014149552A (ja) 2014-08-21
JPWO2011013381A1 (ja) 2013-01-07

Similar Documents

Publication Publication Date Title
JP5934922B2 (ja) 復号装置
US8958566B2 (en) Audio signal decoder, method for decoding an audio signal and computer program using cascaded audio object processing stages
JP4934427B2 (ja) 音声信号復号化装置及び音声信号符号化装置
JP4918490B2 (ja) エネルギー整形装置及びエネルギー整形方法
KR100946688B1 (ko) 멀티 채널 오디오 디코더, 멀티 채널 인코더, 오디오 신호 처리 방법 및 상기 처리 방법을 수행하는 프로그램을 기록한 기록매체
JP4685925B2 (ja) 適応残差オーディオ符号化
TWI396187B (zh) 用於將以物件為主之音訊信號編碼與解碼之方法與裝置
JP5134623B2 (ja) 複数のパラメータ的に符号化された音源を合成するための概念
JP4603037B2 (ja) マルチチャネルオーディオ信号を表示するための装置と方法
US8817992B2 (en) Multichannel audio coder and decoder
JP4794448B2 (ja) オーディオエンコーダ
MX2008012315A (es) Metodos y aparatos para codificar y descodificar señales de audio basados en objeto.
JP2011501823A (ja) アップミックスを使用した音声符号器
KR20090053958A (ko) 멀티 채널 파라미터 변환 장치 및 방법
JP2009530651A (ja) 主成分分析によりマルチチャネルオーディオ信号を符号化するための装置および方法
CN110223701A (zh) 用于从缩混信号产生音频输出信号的解码器和方法
CN104756186A (zh) 用于使用多声道下混合/上混合情况的参数化概念的多实例空间音频对象编码的解码器及方法
JP2006323314A (ja) マルチチャネル音声信号をバイノーラルキュー符号化する装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140526

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20141009

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150626

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150804

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151001

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160308

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160314

R151 Written notification of patent or utility model registration

Ref document number: 5934922

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151