JP2013174891A - 高品質マルチチャネルオーディオ符号化および復号化装置 - Google Patents

Abstract

【課題】オーディオ信号の特性に応じて符号化を異なるようにして下位チャネルとの互換性を提供する高品質マルチチャネルオーディオ符号化および復号化装置を提供する。
【解決手段】高品質マルチチャネルオーディオ符号化および復号化装置が開示される。高品質マルチチャネルオーディオ符号化および復号化装置は、入力されるオーディオ信号の特性に応じてチャネル基盤オーディオ符号化またはチャネル基盤オーディオ復号化を行って下位チャネルとの互換性を提供する。
【選択図】図２

Description

本発明は、高品質マルチチャネルオーディオ符号化および復号化装置に関し、入力されるオーディオ信号の特性に応じてオーディオ信号符号化を異なるように行うオーディオ符号化および復号化装置に関する。

本発明は、放送通信委員会、放送通信委員会のＩＴリソース技術開発事業の一環として行う研究から導き出されたものである［課題管理番号：２００８−Ｆ−０１１−０１、課題名：次世代ＤＴＶコア技術開発（標準化関係）−無眼鏡個人型３Ｄ放送技術開発（継続）］。

５．１チャネルのようなマルチチャネルオーディオ信号は、効率的に放送網を介して送信されるか、ＤＶＤまたはブルーレイ（ｂｌｕｅ−ｒａｙ）のような光学メディアに格納されるため圧縮、符号化、および復号化の過程を行う。

かかる圧縮、符号化、および復号化の技術は音響心理（ｐｓｙｃｈｏａｃｏｕｓｔｉｃ）モデルと時間／周波数変換を用いる知覚音響符号化（ｐｅｒｃｅｐｔｕａｌ ａｕｄｉｏ ｃｏｄｉｎｇ）の技術に基づく。このとき、マルチチャネルオーディオ信号と隣接する信号の間の相関度を用いるチャネル符号化技術が付加的に用いられてもよい。一例として、チャネル符号化技術には、ＡＣ−３（またはドルビーデジタル（ｄｏｌｂｙ ｄｉｇｉｔａｌ））、ＤＴＳ（Ｄｉｇｉｔａｌ Ｔｈｅａｔｅｒ Ｓｙｓｔｅｍ）、ＭＰＥＧで標準化されるＡＡＣ（Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ）等がある。このようなチャネル符号化技術は、国内外のデジタル放送標準とＤＶＤ、ＤＶＤ−Ａｕｄｉｏ、ＤＶＤ−ＨＤ、ブルーレイなどのような光学メディアの格納フォーマット標準に採択されて用いられる。

近年では、マルチチャネルオーディオサービスを移動放送またはＩＰＴＶなどのように帯域幅が制限される環境で提供するために、マルチチャネルオーディオ信号が有する空間情報（ｓｐａｔｉａｌ ｃｕｅ）をパラメータに表現して圧縮する空間オーディオ符号化技術の研究が進められている。空間オーディオ符号化技術は、マルチチャネルオーディオ信号をモノまたはステレオ信号にダウンミックスし、マルチチャネルオーディオ信号を復元するために必要な空間パラメータを付加情報に符号化する技術である。空間符号化技術の代表的な例として、ＭＰＥＧサラウンドが挙げられる。

３ＤＴＶおよびＵＨＤＴＶのような実感放送の環境において再現しようとする高臨場感の生々しい実感オーディオを正しく表現するためには１０チャネル以上のラウドスピーカが必要となる。これまでは、ＨＤＴＶとＤＶＤに適用された５．１チャネルが広く用いられたが、ＤＶＤ−ＨＤ、ブルーレイでは最大７．１チャネルまで支援が可能である。さらに、劇場のような大規模のオーディオ空間において窮極の音場感を提供するために１００チャネル以上のラウドスピーカが用いられることもある。

しかし、ほとんどの一般家庭で用いるＴＶおよびラジオは２チャネルのラウドスピーカを用いており、ＨＤＴＶおよびＤＶＤが普遍化して５．１チャネルを再生できるようになっている。

一例として、図１に示すようなチャネルエンコーダによって１０チャネル以上のマルチチャネルオーディオ信号を圧縮する場合、５．１チャネル再生端末との互換性を維持することが難しい。

これによって、１０チャネル以上などのマルチチャネルオーディオ信号を圧縮しながら下位チャネルとの互換性を提供するマルチチャネルオーディオ符号化および復号化技術が求められる。

本発明は、オーディオ信号の特性に応じて符号化を異なるようにして下位チャネルとの互換性を提供する高品質マルチチャネルオーディオ符号化および復号化装置を提供する。

本発明の一実施形態に係るマルチチャネルオーディオ符号化装置は、入力されるオーディオ信号の特性に基づいてオーディオ信号に対してチャネル基盤オーディオ符号化を行うチャネル基盤オーディオ符号化部と、オーディオ信号の特性に基づいてオーディオ信号に対してオブジェクト基盤オーディオ符号化を行うオブジェクト基盤オーディオ符号化部とを含んでもよい。

このとき、チャネル基盤オーディオ符号化部は、入力されるオーディオ信号がマルチチャネルオーディオ信号である場合、マルチチャネルオーディオ信号に対してチャネル基盤オーディオ符号化を行ってビットストリームを生成してもよい。

また、オブジェクト基盤オーディオ符号化部は、入力されるオーディオ信号がマルチオブジェクトオーディオ信号である場合、マルチオブジェクトオーディオ信号に対してオブジェクト基盤オーディオ符号化を行ってビットストリームを生成してもよい。

また、チャネル基盤オーディオ符号化部は、マルチチャネルオーディオ信号をダウンミックスして第１ダウンミックス信号を生成し、マルチチャネルオーディオ信号から抽出される空間パラメータを符号化して第２向上階層ビットストリームを生成してもよい。

また、チャネル基盤オーディオ符号化部は、第１ダウンミックス信号をダウンミックスして第２ダウンミックス信号を生成し、第１ダウンミックス信号と追加チャネル信号を合成するチャネル合成部をさらに含んでもよい。

また、チャネル基盤オーディオ符号化部は、合成された第１ダウンミックス信号を符号化して第１向上階層ビットストリームを生成する第２チャネルエンコーダをさらに含んでもよい。

また、チャネル基盤オーディオ符号化部は、第２ダウンミックス信号を符号化して基本階層ビットストリームを生成する第１チャネルエンコーダをさらに含んでもよい。

また、オブジェクト基盤オーディオ符号化部は、入力されるオーディオ信号がマルチオブジェクトオーディオ信号である場合、マルチオブジェクトオーディオ信号をミックスするミックス部と、ミックスされた信号を符号化して基本階層ビットストリームを生成するビットストリーム生成部と、入力されたマルチオブジェクトオーディオ信号をモノオブジェクト、ステレオオブジェクト、およびマルチオブジェクトオーディオ信号に分離し、予め設定されたレンダリング情報を用いて分離したオーディオ信号を多重化してオブジェクト階層ビットストリームを生成するオブジェクトエンコーダと、を含んでもよい。

このとき、チャネル基盤オーディオ符号化部によって生成される第１および第２向上階層ビットストリームは、基本階層ビットストリーム構造で付加データ領域に含まれてもよい。

また、オブジェクト基盤オーディオ符号化部によって生成されるオブジェクト階層ビットストリームは、基本階層ビットストリーム構造で付加データ領域に含まれてもよい。

本発明の一実施形態に係る高品質マルチチャネルオーディオ復号化装置は、高品質マルチチャネルオーディオ符号化装置から受信されるエンコーディングモードに基づいてチャネル基盤オーディオ復号化のために初期化を行うチャネル基盤オーディオ復号化部と、エンコーディングモードに基づいてオブジェクト基盤オーディオの復号化のために初期化を行うオブジェクト基盤オーディオ復号化部とを含んでもよい。

このとき、前記チャネル基盤オーディオ復号化部は、高品質マルチチャネルオーディオ符号化装置から受信されたフレームに含まれるビットストリーム階層に基づいてチャネル基盤オーディオの復号化を行ってもよい。

また、オブジェクト基盤オーディオ復号化部は、ビットストリーム階層に基づいてオブジェクト基盤オーディオの復号化を行ってもよい。

本発明は、高品質マルチチャネルオーディオ符号化および復号化装置によってＡＣ−３のような再生システムと互換性を維持しながら高品質マルチチャネルオーディオ信号を圧縮および復元することができる。

また、マルチチャネル信号の復元において、ビットストリーム階層に基づいて段階別にチャネルの拡張技法を適用するため、再生端末の環境に適するチャネル信号を復号化の中間ステップで抽出して用いることができる。

また、オブジェクト別に符号化および復号化を行うことによって、マルチチャネル環境において帯域幅を節約することができる。

また、再生端末の環境に最適であり、レンダリングされた音響信号を提供するだけでなく、オーディオオブジェクト信号を自由に制御できるようユーザへ自由度を提供することができる。

７．１チャネルエンコーダの構成を示すブロック図である。 高品質オーディオ符号化装置の構成を示す図である。 チャネル基盤オーディオ符号化部の構成を示すブロック図である。 オブジェクト基盤オーディオ符号化部の構成を示すブロック図である。 ＨＱＭＡＣビットストリームの構造を示す図である。 ＨＱＭＡＣビットストリームの構造を示す図である。 ＨＱＭＡＣビットストリームの構造を示す図である。 チャネル基盤オーディオ復号化部の構成を示すブロック図である。 オブジェクト基盤オーディオ復号化部の構成を示すブロック図である。

以下、添付の図面に記載される内容を参照して本発明に係る実施形態を詳細に説明する。ただし、本発明が実施形態によって制限されたり限定されることはない。各図面に提示される同じ参照符号は同じ部材を示す。

図２は、高品質オーディオ符号化装置の構成を示す図である。図２に示すように、高品質オーディオ符号化装置（Ｈｉｇｈ Ｑｕａｌｉｔｙ Ｍｕｌｔｉｃｈａｎｎｅｌ Ａｕｄｉｏ Ｃｏｄｉｎｇ、以下、ＨＱＭＡＣ）は、入力されるオーディオ信号の特性に基づいて、オーディオ信号に対してチャネル基盤オーディオ符号化（Ｈｉｇｈ Ｑｕａｌｉｔｙ Ｍｕｌｔｉｃｈａｎｎｅｌ Ａｕｄｉｏ Ｃｏｄｉｎｇ−Ｃｈａｎｎｅｌ Ｂａｓｅｄ、以下、ＨＱＭＡＣ−ＣＢ）またはオブジェクト基盤オーディオ符号化（Ｈｉｇｈ Ｑｕａｌｉｔｙ Ｍｕｌｔｉｃｈａｎｎｅｌ Ａｕｄｉｏ Ｃｏｄｉｎｇ−Ｏｂｊｅｃｔｅｄ Ｂａｓｅｄ、以下、ＨＱＭＡＣ−ＯＢ）を行うことができる。

一例として、入力されるオーディオ信号がマルチチャネル（Ｍチャネル）オーディオ信号である場合、マルチチャネルオーディオ符号化装置は、マルチチャネルオーディオ信号に対してチャネル基盤オーディオ符号化を行ってもよい。また、入力されるオーディオ信号がマルチオブジェクト（Ｐオブジェクト）オーディオ信号である場合、マルチオブジェクトオーディオ符号化装置はマルチオブジェクトオーディオ信号に対してオブジェクト基盤オーディオ符号化を行ってもよい。高品質オーディオ符号化装置は、入力されるオーディオ信号の特性に応じて、ＨＱＭＡＣ−ＣＢおよびＨＱＭＡＣ−ＯＢの過程を行って高品質オーディオビットストリーム（ＨＱＭＡＣ ｂｉｔｓｔｒｅａｍ）を生成してもよい。

また、入力されるオーディオ信号がマルチチャネルオーディオ信号とマルチオブジェクトオーディオ信号が混在されている場合、ＨＱＭＡＣ−ＣＢおよびＨＱＭＡＣ−ＯＢの過程をすべて行って高品質オーディオビットストリームを生成してもよい。

以下は、図３を参照してチャネル基盤オーディオ信号符号化の技術に対して説明することとする。

図３は、チャネル基盤オーディオ符号化部の構成を示すブロック図である。図３を参照すれば、チャネル基盤オーディオ符号化部２００は、高効率チャネルエンコーダ２１０、チャネル合成部２３０、第２チャネルエンコーダ２５０、および第１チャネルエンコーダ２７０を含んでもよい。

高効率チャネルエンコーダ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｃｈａｎｎｅｌ Ｅｎｃｏｄｅｒ、以下、ＨＥＣＥ）２１０は、入力されるマルチチャネル（Ｍチャネル）オーディオ信号をＮチャネルにダウンミックス（Ｍ２Ｎ ｄｏｗｎ ｍｉｘｉｎｇ）２１１して第１ダウンミックス信号を生成してもよい。一例として、２２．２チャネル（Ｍ＝２４）を１０．２チャネル（Ｎ＝１２）にダウンミックスして第２ダウンミックス信号を構成してもよい。

また、高効率チャネルエンコーダ２１０は、マルチチャネルオーディオ信号から空間情報を分析して空間パラメータを抽出２１３してもよい。このとき、空間パラメータは、Ｎチャネルでダウンミックスされた第１ダウンミックス信号がＭ個のマルチチャネルオーディオ信号に復元するため必要なパラメータを含んでもよい。

また、高効率チャネルエンコーダ２１０は、マルチチャネルオーディオ信号を符号化して第２向上階層ビットストリーム（ｅｎｈａｎｃｅｍｅｎｔ ｌａｙｅｒ ＩＩ ｂｉｔｓｔｒｅａｍ）を生成してもよい。チャネル合成部２３０は、Ｎチャネルにダウンミックスされた第１ダウンミックス信号を、Ｌチャネルにダウンミックス２３１して第２ダウンミックス信号を生成してもよい。一例として、１０．２チャネル（Ｎ＝１２）を５．１チャネル（Ｌ＝６）にダウンミックスして第２ダウンミックス信号を構成してもよい。

このとき、チャネル合成部２３０は、Ｌチャネルにダウンミックスされた第２ダウンミックス信号をＮチャネルの第１ダウンミックス信号に復元するため必要な空間情報分析２３３を第１ダウンミックス信号に対して行ってもよい。これによって、Ｎチャネルの第１ダウンミックス信号は、Ｋチャネル信号に合成されてもよい。ここで、追加チャネル信号のチャネル数（Ｋ）は、第２ダウンミックス信号のチャネル数（Ｎ）と第１ダウンミックス信号のチャネル数（Ｌ）との間の差（Ｎ−Ｌ）よりも小さいか同じであってもよい。

第２チャネルエンコーダ２５０は、合成されたＫチャネル信号を符号化して第１向上階層ビットストリーム（ｅｎｈａｎｃｅｍｅｎｔ ｌａｙｅｒ Ｉ ｂｉｔｓｔｒｅａｍ）を生成してもよい。ここで、合成されたＫチャネル信号は、Ｎ２Ｌダウンミックス２３１の過程において生成されるＬチャネルダウンミックスとともに第１ダウンミックス信号を構成してもよい。このとき、第２チャネルエンコーダ２５０は、ＡＣ−３またはＡＡＣなどの高品質チャネルエンコーディング（Ｈｉｇｈ Ｑｕａｌｉｔｙ Ｃｈａｎｎｅｌ Ｅｎｃｏｄｉｎｇ、以下、ＨＱＣＥ）の技術を用いて第１向上階層ビットストリームを生成してもよい。一例として、基本階層ビットストリームによって構成されるチャネルが５．１チャネル（Ｌ＝６）であり、第１向上階層ビットストリームによって構成されるチャネルが５．１チャネル（Ｋ＝６）であれば、この２ビットストリームによって１０．２チャネル（Ｎ＝１２）を構成してもよい。

第１チャネルエンコーダ２７０は、第２ダウンミックス信号を符号化して基本階層ビットストリームを生成してもよい。ここで、基本階層ビットストリームによって構成されるチャネルは、５．１チャネル（Ｌ＝６）で構成してもよい。

このとき、第１チャネルエンコーダ２７０としては、５．１チャネルエンコーダのようなマルチチャネルエンコーダが用いられてもよい。ここで、生成される第１および第２向上階層ビットストリームは基本階層ビットストリームに多重化されてもよい。これによって、基本階層のみを復号化することのできるマルチチャネルデコーダでも１０チャネル以上のオーディオ信号に対して圧縮および符号化によって生成されるビットストリームを処理することができる。

すると、高品質マルチチャネルオーディオ符号化装置は、生成される第１および第２向上階層ビットストリーム、および基本ビットストリームからなるＨＱＭＡＣビットストリームを高品質マルチチャネルオーディオ復号化装置に送信してもよい。ここで、ＨＱＭＡＣビットストリームは、ＨＱＭＡＣヘッダおよびＨＱＭＡＣフレームから構成してもよい。

また、第１および第２向上階層ビットストリームのうちのいずれか１つ、またはすべてが存在しないこともある。また、高品質マルチチャネルオーディオ符号化装置は、第１および第２向上階層ビットストリームそれぞれのチャネル数を決めてもよい。すると、決められたチャネル数はＨＱＭＡＣビットストリームのヘッダに含まれてもよい。

図４は、オブジェクト基盤オーディオ符号化部の構成を示すブロック図である。図４を参照すれば、オブジェクト基盤オーディオ符号化部３００は、ミックス部３１０、ビットストリーム生成部３３０、オブジェクトエンコーダ３５０を含んでもよい。

ミックス部３１０は、外部から入力されるミックス情報を用いてＰ個のマルチオブジェクトオーディオ信号をＬチャネルにミックスしてもよい。

ビットストリーム生成部３３０は、ミックスされたＬチャネルオーディオ信号を符号化して基本階層ビットストリームを生成してもよい。このとき、ビットストリーム生成部３３０は、５．１チャネルエンコーダのようなマルチャネルエンコーダを用いて基本階層ビットストリームを生成してもよい。

オブジェクトエンコーダ３５０は、Ｐ個のマルチオブジェクトオーディオ信号をモノ、ステレオ、およびマルチチャネルオブジェクトオーディオ信号にそれぞれ分離し、分離されたオブジェクトそれぞれに対して符号化を行ってもよい。

一例として、モノオブジェクトオーディオ信号はモノチャネルエンコーダ３５１によって符号化され、ステレオオブジェクトオーディオ信号はステレオチャネルエンコーダ３５２によって符号化され、マルチチャネルオブジェクトオーディオ信号はマルチチャネルエンコーダ３５３によって符号化される。このとき、モノチャネルエンコーダ３５１、ステレオチャネルエンコーダ３５２、およびマルチチャネルエンコーダ３５３では、ＡＣ−３、ＡＡＣ、およびＭＰ３等の符号化技術を用いて分離したオブジェクトオーディオ信号を符号化してもよい。

すると、マルチプレクサ３５４は、符号化されたオブジェクト符号化ビットストリームをレンダリング情報とともに多重化してオブジェクト階層ビットストリームを生成してもよい。ここで、オブジェクト符号化ビットストリームは、符号化されたモノオブジェクトオーディオ信号、ステレオオブジェクトオーディオ信号、およびマルチチャネルオブジェクトオーディオ信号を含んでもよい。

このとき、レンダリング情報は、ヘッドホン、ラウドスピーカ、ラウドスピーカの個数、ラウドスピーカの位置のような再生環境に応じて予め設定されてもよい。また、レンダリング情報は、３次元の空間上に仮想的に配置される位置を直接的に表現できる情報を含んでもよい。

すると、高品質マルチチャネルオーディオ符号化装置は、生成されるオブジェクト階層ビットストリーム、および基本ビットストリームからなるＨＱＭＡＣビットストリームを高品質マルチチャネルオーディオ復号化装置に送信してもよい。ここで、ＨＱＭＡＣビットストリームは、ＨＱＭＡＣヘッダおよびＨＱＭＡＣフレームに構成してもよい。このとき、ＨＱＭＡＣヘッダは、エンコーディングモード、チャネル数、量子化ビット、量子化周波数、付加階層構成情報、オブジェクト数などのようにデコーダを初期化するために必要な復号化情報を含んでもよい。

ここで、エンコーディングモードは、ＨＱＭＡＣで生成されたビットストリームがＨＱＭＡＣ−ＣＢまたはＨＱＭＡＣ−ＯＢに符号化されたかを表す情報を含んでもよい。また、付加階層構成情報は、ＨＱＭＡＣから送信されるビットストリームがオブジェクト階層または第１および第２向上階層ビットストリームを含むか否かを表わしてもよい。

一方、オブジェクトエンコーダ３５０としては、ＭＰＥＧ ＳＡＯＣ（Ｓｐａｔｉａｌ Ａｕｄｉｏ Ｏｂｊｅｃｔ Ｃｏｄｉｎｇ）技術のようなパラメータ基盤のマルチオブジェクトオーディオエンコーダが用いられてもよい。このとき、ダウンミックス信号は、オブジェクトエンコーダ３５０で直接に生成するか、ミックス部３１０から出力されるＬチャネルオブジェクトオーディオ信号になり得る。すると、オブジェクトエンコーダ３５０で生成されるオブジェクト符号化ビットストリームは、ダウンミックス信号と空間パラメータに構成されるオブジェクト付加データを含んでもよい。

今までＨＱＭＡＣ−ＣＢ符号化部２００は、基本階層、第１向上階層、および第２向上階層ビットストリームを生成し、ＨＱＭＡＣ−ＯＢ符号化部３００は、基本階層およびオブジェクト階層ビットストリームを生成する過程について説明した。このとき、ＨＱＭＡＣ−ＣＢ符号化部２００およびＨＱＭＡＣ−ＯＢ符号化部３００で生成される基本階層ビットストリームが一般的なＬチャネル（一例として、５．１チャネル）ビットストリームと同じである場合、基本階層に追加されるビットストリームは基本階層ビットストリーム構造にて付加データ領域に位置してもよい。

すなわち、図５に示すように、ＨＱＭＡＣビットストリームを構成するＨＱＭＡＣヘッダとＨＱＭＡＣフレームは、基本階層ヘッダと基本階層フレームの付加データ領域にそれぞれ位置してもよい。これによって、基本階層ビットストリームを復号化することのできる５．１チャネルデコーダは、付加データ領域を無視することになるため、ＨＱＭＡＣビットストリーム内で基本階層ビットストリームを解析して５．１チャネルオーディオ信号を再生してもよい。このとき、基本階層ヘッダはレガシーチャネルＬヘッダ（ｌｅｇａｃｙ Ｌ−ｃｈａｎｎｅｌ ｈｅａｄｅｒ）を含んでもよく、基本階層フレームはレガシーＬチャネルフレーム（ｌｅｇａｃｙ Ｌ−ｃｈａｎｎｅｌ ｆｒａｍｅ）を含んでもよい。

より詳しくは、図６を参照すれば、ＨＱＭＡＣ−ＣＢ符号化部２００によって生成されるＨＱＭＡＣ−ＣＢビットストリーム６００は、チャネル基盤のヘッダおよびフレーム（以下、ＨＱＭＡＣ−ＣＢヘッダおよびＨＱＭＡＣ−ＣＢフレーム）を含んでもよい。このとき、ＨＱＭＡＣ−ＣＢヘッダ６１０は、基本階層ヘッダ６１１およびＨＱＭＡＣ−ＣＢヘッダ６１２を含んでもよい。

また、ＨＱＭＡＣ−ＣＢフレーム６２０は、基本階層フレーム６２１およびＨＱＭＡＣ−ＣＢフレーム６２２を含んでもよい。このとき、基本階層ヘッダ６１１とフレーム６２１は、Ｌチャネル（一例として、５．１チャネル）ビットストリームの構造を有してもよい。すると、Ｌチャネルビットストリーム構造の付加データ領域にＨＱＭＡＣ−ＣＢヘッダ６１２とＨＱＭＡＣ−ＣＢフレーム６２２が位置してもよい。ここで、ＨＱＭＡＣ−ＣＢフレーム６２２は、第１向上階層ビットストリーム６２１−１および第２向上階層ビットストリーム６２１−２を含んでもよい。

このとき、ＨＱＭＡＣ−ＣＢフレーム６２２には、第１および第２向上階層ビットストリームのうちの少なくとも１つが含まれるか、あるいは第１および第２向上階層ビットストリームのすべてが含まないことがある。すなわち、第１および第２向上階層ビットストリームは、入力されるオーディオ信号の特性およびユーザの選択に応じて選択的に用いてもよい。

同様に、図７を参照すれば、ＨＱＭＡＣ−ＯＢ符号化部３００によって生成されるＨＱＭＡＣ−ＯＢビットストリーム７００は、オブジェクト基盤のヘッダおよびフレーム（以下、ＨＱＭＡＣ−ＯＢヘッダおよびＨＱＭＡＣ−ＯＢフレーム）を含んでもよい。このとき、図５にて説明したように、ＨＱＭＡＣ−ＯＢヘッダ７１０およびＨＱＭＡＣ−ＯＢフレーム７２０は、基本階層ビットストリームの付加データ領域に位置してもよい。

また、ＨＱＭＡＣ−ＯＢヘッダ７１０は、ＨＡＭＡＣ−ＯＢの復号化のための復号化情報、およびレンダリング情報（ＲＩ）を含んでもよい。ここで、レンダリング情報は、復号化されたオブジェクトオーディオ信号をマルチチャネルラウドスピーカでレンダリングするために用いてもよい。

また、レンダリング情報は、時間に応じて変更（ｕｐｄａｔｅ）してもよい。これによって、変更されたレンダリング情報７２２−２は、オブジェクト階層ビットストリーム７２２−１の次に位置してもよい。このとき、すべてのフレームごとにレンダリング情報が変更される必要がないことから、変更が生じる場合のみフラグを用いて変更の有無を知らせてもよい。

また、ＨＱＭＡＣ−ＣＢ符号化部とＨＱＭＡＣ−ＯＢ符号化部とが同時に用いられる場合、ＨＱＭＡＣ−ＣＢとＨＱＭＡＣ−ＯＢヘッダとフレームがすべて存在してもよい。

以下は、高品質マルチチャネルオーディオ復号化装置に対して説明することとする。高品質マルチチャネルオーディオ復号化装置は、チャネル基盤オーディオ復号化部８００およびオブジェクト基盤オーディオ復号化部９００を含んでもよい。

このとき、高品質マルチチャネルオーディオ復号化装置は、ＨＱＭＡＣヘッダおよびＨＱＭＡＣフレームに構成されるＨＱＭＡＣビットストリームを高品質マルチチャネルオーディオ符号化装置から受信してもよい。すると、高品質マルチチャネルオーディオ復号化装置は、ＨＱＭＡＣヘッダに含まれるエンコーディングモードに基づいて受信されるＨＱＭＡＣビットストリームに対してチャネル基盤オーディオ復号化またはオブジェクト基盤オーディオの復号化を行ってもよい。

図８は、チャネル基盤オーディオ復号化部の構成を示すブロック図である。図８を参照すれば、チャネル基盤オーディオ復号化部８００は、第２チャネルデコーダ８１０、第１チャネルデコーダ８２０、アップミックス部８３０、および高効率チャネルデコーダ８４０を含んでもよい。このとき、チャネル基盤オーディオ復号化部８００は、受信されるＨＱＭＡＣフレームに含まれたビットストリーム階層に基づいてＨＱＭＡＣビットストリームを復号化してもよい。ＨＱＭＡＣ−ＣＢである場合、ビットストリーム階層は、基本階層、第１および第２向上階層ビットストリームを含んでもよい。

エンコーディングモードがＨＱＭＡＣ−ＣＢである場合、第２チャネルデコーダ８１０は、ＨＱＭＡＣフレームに含まれる第１向上階層ビットストリームを復号化して合成されたＫチャネル信号を復元してもよい。ここで、第２チャネルデコーダ８１０としては、ＡＡＣ、またはＡＣ−３のような一般的な高品質チャネルデコーダを用いてもよい。

一例として、高品質マルチチャネルオーディオ復号化装置から送信されたＨＱＭＡＣビットストリームがチャネル基盤オーディオ符号化部２００によって符号化される場合、第２チャネルデコーダ８１０は第１向上階層ビットストリームを復号化して合成されたＫチャネル信号を復元してもよい。すなわち、第２チャネルデコーダ８１０を用いて合成されたＫチャネルと、第１チャネルデコーダを用いて合成されたＬチャネルとを用いてＮチャネルを有する第１ダウンミックス信号を復元してもよい。

第１チャネルデコーダ８２０は、ＨＱＭＡＣフレームに含まれる基本階層ビットストリームを復号化してＬチャネルの第２ダウンミックス信号を復元してもよい。すなわち、基本階層ビットストリームは、第１チャネルデコーダ８２０によってＬ個のチャネルに構成された第２ダウンミックス信号を復元してもよい。ここで、第２チャネルデコーダとしては、一般的な５．１チャネルデコーダを用いてもよい。

アップミックス部８３０は、第２ダウンミックス信号（Ｌチャネル）と第２チャネルデコーダを用いて合成されたＫチャネル信号を用いてアップミックスしてＮチャネルの第１ダウンミックス信号を復元してもよい。

高効率チャネルデコーダ８４０は、第１ダウンミックス信号とＨＱＭＡＣフレームに含まれる第２向上階層ビットストリームとを用いてマルチチャネル（Ｍチャネル）オーディオ信号を復元してもよい。このとき、アップミックス部８３０で復元されたＮチャネルの第１ダウンミックス信号と、第１チャネルデコーダ８２０で復元されたＬチャネルの第２ダウンミックス信号とが直ちに出力されてもよい。すなわち、第１ダウンミックス信号および第２ダウンミックス信号は、チャネル基盤オーディオ復号化部８００の出力信号になり得る。

図９は、オブジェクト基盤オーディオ復号化部の構成を示すブロック図である。図９を参照すれば、オブジェクト基盤オーディオ復号化部９００は、ビットストリーム処理部９１０、オブジェクトデコーダ９３０、およびレンダリング部９５０を含んでもよい。このとき、オブジェクト基盤オーディオ復号化部９００は、受信されたＱＭＡＣフレームに含まれるビットストリーム階層に基づいてＨＱＭＡＣビットストリームを復号化してもよい。ＨＱＭＡＣ−ＯＢである場合、ビットストリーム階層は、基本階層、オブジェクト階層ビットストリームを含んでもよい。

ビットストリーム処理部９１０は、基本階層ビットストリームを用いてオブジェクト基盤オーディオ符号化部３００でＬチャネルにミックスされたオーディオ信号を復元してもよい。一例として、ビットストリーム処理部９１０は、５．１チャネルデコーダを用いてＬチャネルにミックスされたオーディオ信号を復元してもよい。

オブジェクトデコーダ９３０は、オブジェクト階層ビットストリームに含まれるオブジェクト別符号化ビットストリームをそれぞれ復号化してマルチオブジェクトオーディオ信号を復元してもよい。すなわち、オブジェクトデコーダ９３０は、基本階層ビットストリームを用いることなく、マルチオブジェクトオーディオ信号を復元してもよい。ここで、オブジェクト別の符号化ビットストリームは、符号化されたモノオブジェクト、ステレオオブジェクト、およびマルチチャネルオブジェクトビットストリームを含んでもよい。

一例として、モノチャネルデコーダ９３１は符号化されたモノオブジェクトビットストリームを復号化し、ステレオチャネルデコーダ９３３は符号化されたステレオオブジェクトビットストリームを復号化し、マルチチャネルデコーダ９３５は符号化されたマルチチャネルオブジェクトビットストリームを復号化してもよい。

レンダリング部９５０は、レンダリング情報を用いてモノオブジェクト、ステレオオブジェクト、およびマルチチャネルオブジェクトそれぞれのビットストリームをレンダリングして再生できる形態の出力信号を生成してもよい。一例として、レンダリング部９５０は、Ｑチャネルラウドスピーカ信号を出力信号に生成してもよい。このとき、レンダリング情報は、高品質オーディオ符号化装置から送信されるＨＱＭＡＣビットストリームに含まれてもよい。

また、レンダリング部９５０は、ＨＱＭＡＣフレームに含まれる基本階層から復元されるオーディオ信号を選択的に用いてもよい。すなわち、レンダリング部９５０は、ビットストリーム処理部９１０で復元されたＬチャネルにミックスされたオーディオ信号を用いてもよい。

また、入力される高品質マルチチャネルオーディオビットストリームにＨＱＭＡＣ−ＣＢビットストリームとＨＱＭＡＣ−ＯＢビットストリームがすべて含まれている場合には、それぞれの復号化過程を介する出力信号を多重化して出力してもよい。

以上は、説明の便宜のためにＨＱＭＡＣ−ＣＢビットストリーム、およびＨＱＭＡＣ−ＯＢビットストリームに区分して説明したが、ＨＱＭＡＣ−ＣＢビットストリーム、およびＨＱＭＡＣ−ＯＢビットストリームはすべてＨＱＭＡＣビットストリームを表わしてもよい。すなわち、ＨＱＭＡＣ−ＣＢビットストリームはＨＱＭＡＣ−ＣＢ符号化によって生成されるＨＱＭＡＣビットストリームであってもよく、ＨＱＭＡＣ−ＯＢビットストリームはＨＱＭＡＣ−ＯＢ符号化によって生成されるＨＱＭＡＣビットストリームであってもよい。

また、以上では図３を参照してチャネル基盤オーディオ符号化部において第１チャネルエンコーダとともに高効率チャネルエンコーダおよび第２チャネルエンコーダを用いてチャネル基盤オーディオ符号化を行うものとして説明したが、これは実施形態に該当し、高効率チャネルエンコーダおよび第２チャネルエンコーダは選択的に用いてもよい。

すなわち、チャネル基盤オーディオ符号化は、高効率チャネルエンコーダおよび第２チャネルエンコーダのうちの少なくとも１つを用いるか、または２つとも用いることなく第１チャネルエンコーダだけでもチャネル基盤オーディオ符号化を行ってもよい。

このように、高効率チャネルエンコーダおよび第２チャネルエンコーダは選択的に用いられる場合、チャネル合成部ではダウンミックスを選択的に用いてもよい。すなわち、高効率チャネルエンコーダを使用しない場合、チャネル合成部は、入力されるマルチチャネル（Ｍチャネル）オーディオ信号をＬチャネルにダウンミックスしてもよい。

同様に、チャネル基盤オーディオ復号化は、高効率チャネルデコーダおよび第２チャネルデコーダのうちの少なくとも１つを用いるか、または２つとも用いることなく第１チャネルデコーダのみを用いてチャネル基盤オーディオ復号化を行ってもよい。このとき、高効率チャネルデコーダを使用しない場合、アップミックス部は第２ダウンミックス信号と合成された第１ダウンミックス信号をＭチャネルにアップミックスしてもよい。

上述したように、本発明は、たとえ限定された実施形態と図面によって説明したが、本発明は、上記の実施形態に限定されることなく、本発明が属する分野における通常の知識を有する者であれば、このような基材から多様な修正および変形が可能である。

したがって、本発明の範囲は説明された実施形態に限定されて決められてはならず、後述する特許請求の範囲だけでなく、この特許請求の範囲と均等なものなどによって定められなければならない。

２００：チャネル基盤オーディオ符号化部
３００：オブジェクト基盤オーディオ符号化部
２１０：高効率チャネルエンコーダ
２３０：チャネル合成部
２５０：第２チャネルエンコーダ
２７０：第１チャネルエンコーダ

Claims (12)

1. 入力されるオーディオ信号の特性に基づいて前記オーディオ信号に対してチャネル基盤オーディオ符号化を行うチャネル基盤オーディオ符号化部と、
   前記オーディオ信号の特性に基づいて前記オーディオ信号に対してオブジェクト基盤オーディオ符号化を行うオブジェクト基盤オーディオ符号化部と
   を備えたことを特徴とする高品質マルチチャネルオーディオ符号化装置。
2. 前記チャネル基盤オーディオ符号化部は、前記入力されるオーディオ信号がマルチチャネルオーディオ信号である場合、前記マルチチャネルオーディオ信号に対してチャネル基盤オーディオ符号化を行ってビットストリームを生成し、
   前記オブジェクト基盤オーディオ符号化部は、前記入力されるオーディオ信号がマルチオブジェクトオーディオ信号である場合、前記マルチオブジェクトオーディオ信号に対してオブジェクト基盤オーディオ符号化を行ってビットストリームを生成することを特徴とする請求項１に記載の高品質マルチチャネルオーディオ符号化装置。
3. 前記チャネル基盤オーディオ符号化部は、前記マルチチャネルオーディオ信号をダウンミックスして第１ダウンミックス信号を生成し、前記マルチチャネルオーディオ信号から抽出される空間パラメータを符号化して第２向上階層ビットストリームを生成する高効率チャネルエンコーダを含むことを特徴とする請求項２に記載の高品質マルチチャネルオーディオ符号化装置。
4. 前記チャネル基盤オーディオ符号化部は、前記第１ダウンミックス信号をダウンミックスして第２ダウンミックス信号を生成し、前記第１ダウンミックス信号と追加チャネル信号を合成するチャネル合成部をさらに含むことを特徴とする請求項３に記載の高品質マルチチャネルオーディオ符号化装置。
5. 前記チャネル基盤オーディオ符号化部は、前記第２ダウンミックス信号を符号化して基本階層ビットストリームを生成する第１チャネルエンコーダをさらに含むことを特徴とする請求項４に記載の高品質マルチチャネルオーディオ符号化装置。
6. 前記基本階層ビットストリームを介して構成されるチャネル、前記第１向上階層を介して構成されるチャネル、および前記第２向上階層を介して構成されるチャネルは互いに異なるマルチチャネルにそれぞれ構成されることを特徴とする請求項５に記載の高品質マルチチャネルオーディオ符号化装置。
7. 前記チャネル基盤オーディオ符号化部は、前記合成される第１ダウンミックス信号を符号化して第１向上階層ビットストリームを生成する第２チャネルエンコーダをさらに含むことを特徴とする請求項４に記載の高品質マルチチャネルオーディオ符号化装置。
8. 前記オブジェクト基盤オーディオ符号化部は、
   前記入力されるオーディオ信号がマルチオブジェクトオーディオ信号である場合、前記マルチオブジェクトオーディオ信号をミックスするミックス部と、
   前記ミックスされた信号を符号化して基本階層ビットストリームを生成するビットストリーム生成部と、
   前記入力されたマルチオブジェクトオーディオ信号をモノオブジェクト、ステレオオブジェクト、およびマルチオブジェクトオーディオ信号に分離し、予め設定されたレンダリング情報を用いて前記分離したオーディオ信号を多重化してオブジェクト階層ビットストリームを生成するオブジェクトエンコーダと
   を含むことを特徴とする請求項１に記載の高品質マルチチャネルオーディオ符号化装置。
9. 前記ミックス部は、前記マルチオブジェクトオーディオ信号を外部から受信されるミックス情報を用いて５．１チャネルにミックスすることを特徴とする請求項８に記載の高品質マルチチャネルオーディオ符号化装置。
10. 前記チャネル基盤オーディオ符号化部によって生成される第１および第２向上階層ビットストリームは、基本階層ビットストリーム構造で付加データ領域に含まれ、
    前記オブジェクト基盤オーディオ符号化部によって生成されるオブジェクト階層ビットストリームは、前記基本階層ビットストリーム構造で付加データ領域に含まれることを特徴とする請求項１に記載の高品質マルチチャネルオーディオ符号化装置。
11. 前記チャネル基盤オーディオ符号化部は、前記基本階層ビットストリーム、前記第１および第２向上階層ビットストリームを用いてチャネル基盤のヘッダおよびフレームを構成して送信し、
    前記オブジェクト基盤オーディオ符号化部は、前記基本階層ビットストリーム、前記オブジェクト階層ビットストリームを用いてオブジェクト基盤のヘッダおよびフレームを構成して送信することを特徴とする請求項１０に記載の高品質マルチチャネルオーディオ符号化装置。
12. 前記チャネル基盤オーディオ符号化部と前記オブジェクト基盤オーディオ符号化部のすべてを用いて前記オーディオ信号に対してオーディオ符号化が行われる場合、前記オーディオ符号化によって生成されるビットストリームには、前記チャネル基盤オーディオ符号化および前記オブジェクト基盤オーディオ符号化それぞれのヘッダおよびフレームが含まれ、
    前記チャネル基盤のヘッダまたは前記オブジェクト基盤のヘッダは、前記チャネル基盤オーディオ符号化部またはオブジェクト基盤オーディオ符号化部によって生成されるビットストリームを復号化するために用いられる復号化情報を含むことを特徴とする請求項１１に記載の高品質マルチチャネルオーディオ符号化装置。

Images