JP2010515099A5 - - Google Patents
Download PDFInfo
- Publication number
- JP2010515099A5 JP2010515099A5 JP2009543949A JP2009543949A JP2010515099A5 JP 2010515099 A5 JP2010515099 A5 JP 2010515099A5 JP 2009543949 A JP2009543949 A JP 2009543949A JP 2009543949 A JP2009543949 A JP 2009543949A JP 2010515099 A5 JP2010515099 A5 JP 2010515099A5
- Authority
- JP
- Japan
- Prior art keywords
- information
- audio
- signal
- sac
- bitstream
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000011159 matrix material Substances 0.000 claims description 71
- 230000005236 sound signal Effects 0.000 claims description 69
- 238000009877 rendering Methods 0.000 claims description 66
- 238000010586 diagram Methods 0.000 description 17
- 238000000034 method Methods 0.000 description 17
- 238000006243 chemical reaction Methods 0.000 description 6
- 239000000284 extract Substances 0.000 description 6
- 230000001276 controlling effect Effects 0.000 description 5
- 230000000875 corresponding Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 239000000203 mixture Substances 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 210000002370 ICC Anatomy 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 235000009808 lpulo Nutrition 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006011 modification reaction Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002194 synthesizing Effects 0.000 description 1
Description
本発明は、多様なチャネルで構成されたマルチオブジェクトオーディオ信号の符号化および復号化装置、並びに方法に関し、より詳細には、付加情報ビットストリームを変換し、変換された付加情報ビットストリームを利用して所望の出力信号、すなわち多様なチャネルを有するマルチオブジェクトオーディオ信号を復元する付加情報ビットストリーム変換を含む多様なチャネルで構成されたマルチオブジェクトオーディオ信号の符号化および復号化装置、並びに方法に関する。
ここで、多様なチャネルを有するマルチオブジェクトオーディオ信号とは、マルチオブジェクトオーディオ信号であって、各々のオーディオオブジェクトが互いに異るチャネル(例えば、モノ、ステレオ、5.1チャネル)で構成されたオーディオ信号を意味する。
本発明は、情報通信部および情報通信研究振興院のIT次世代核心技術開発事業の一環として行われた研究から導出されたものである。[課題管理番号:2005−S−403−02、課題名:知能型統合情報放送(SmaRTV)技術(Development of Super−intelligent Multimedia Anytime−anywhere Realistic TV(SmarTV) Technology)]
従来のオーディオ符号化/復号化技術によれば、ユーザは、オーディオコンテンツを受動的に聴取するしかできなかった。従って、ユーザの必要に応じて互いに異るチャネルで構成された各オーディオオブジェクトを制御し、1つのオーディオコンテンツを多様な方法で組み合わせることによって、多様なオーディオオブジェクトを消費することができる多様なチャネルで構成された複数のオーディオオブジェクト別の符号化および復号化装置、並びに方法が要求される。
これと関連して、従来のSAC(Spatial Audio Coding)は、マルチチャネルオーディオ信号をダウンミックスされたモノまたはステレオ信号で表現、伝送および復元する技術であって、低いビット率でも高品質のマルチチャネルオーディオ信号を伝送することができる。
これと関連して、従来のSAC(Spatial Audio Coding)は、マルチチャネルオーディオ信号をダウンミックスされたモノまたはステレオ信号で表現、伝送および復元する技術であって、低いビット率でも高品質のマルチチャネルオーディオ信号を伝送することができる。
しかし、従来のSACはマルチチャネルの信号を、1つのオーディオオブジェクトに対してのみ符号化および復号化が可能な技術であるため、マルチチャネル及びマルチオブジェクトオーディオ信号、例えば、モノ、ステレオ、および5.1チャネルで構成された多様なオブジェクトのオーディオ信号を符号化/復号化することができないという問題がある。
また、従来のバイノーラルキューコーディング(Binaural Cue Coding、BCC)は、マルチオブジェクトオーディオ信号を符号化/復号化することができる。しかし、オーディオオブジェクトのチャネルは、モノチャネルに限定されることから、モノチャネルを含む多様なチャネルで構成されたマルチオブジェクトオーディオ信号を符号化/復号化することができない。
整理すれば、従来技術は、単一チャネルで構成されたマルチオブジェクトオーディオ信号またはマルチチャネルの単一オブジェクトオーディオ信号に対してのみ符号化/復号化を行なうことができるため、多様なチャネルで構成されたマルチオブジェクトオーディオ信号に対しては符号化/復号化を行なうことができない。したがって、従来のオーディオ符号化/復号化技術によれば、ユーザはオーディオコンテンツを受動的に聴取するほかなかった。
したがって、ユーザの必要に応じて、互いに異るチャネルで構成された複数のオーディオオブジェクト各々を制御し、1つのオーディオコンテンツを多様な方法で組み合わせることによって、多様なオーディオオブジェクトを消費できる多様なチャネルで構成された複数のオーディオオブジェクト別の符号化および復号化装置、並びに方法が要求される。
また、マルチオブジェクトオーディオ符号化器から生成された付加情報ビットストリームが、従来のSAC符号化/復号化器の付加情報ビットストリームに対する下位互換性を提供するために、マルチオブジェクトオーディオビットストリームと従来のSACビットストリームとの間で変換が可能な変換装置および方法が要求される。
前述したように、互いに異るチャネルで構成された複数のオーディオオブジェクト各々を制御し、1つのオーディオコンテンツを多様な方法で組み合わせることのできる多様なチャネルのマルチオブジェクトオーディオ信号の符号化および復号化装置、並びに方法であって、前記マルチオブジェクトオーディオ符号化および復号化装置、並びに方法は、従来のSACビットストリームとの下位互換性を提供するためのビットストリーム変換が可能な多様なチャネルのマルチオブジェクトオーディオ信号の符号化および復号化装置、並びに方法が要求される。
本発明は前述した要求に応じるために提案されたものであって、その目的は、多様なチャネルを有するマルチオブジェクトオーディオ信号を符号化および復号化し、従来のSACビットストリームに対する下位互換性を提供する多様なチャネルで構成されたマルチオブジェクトオーディオ信号符号化および復号化装置、並びに方法を提供することにある。
前述した目的を達成するための本発明は、マルチオブジェクトオーディオ信号の符号化装置であって、前記符号化装置に入力されるオーディオオブジェクト信号を空間キュー基盤で符号化し、前記符号化されたオーディオオブジェクト信号に対するレンダリング情報を生成するオーディオオブジェクト符号化手段を含み、前記レンダリング情報は、前記オーディオオブジェクト信号に対する空間キュー情報、前記オーディオオブジェクト信号のチャネル情報、および前記オーディオオブジェクト信号の識別情報を含む符号化装置を提供する。
また、前述した目的を達成するための本発明は、マルチオブジェクトオーディオ信号を復号化するためのレンダリング情報を生成するトランスコーディング装置であって、符号化されたオーディオオブジェクト信号に対するオブジェクト制御情報および再生情報に基づいて、前記符号化されたオーディオオブジェクト信号に対するパワー利得情報および出力位置情報を含むレンダリング情報を生成する第1行列手段と、前記第1行列手段によって生成されたレンダリング情報および符号化装置から入力される前記符号化されたオーディオオブジェクト信号に対するレンダリング情報に基づいて、復号化装置から出力されるオーディオ信号に対する空間キュー情報を生成するレンダリング手段と、を備えるトランスコーディング装置を提供する。
また、前述した目的を達成するための本発明は、マルチチャネルオーディオ信号およびマルチオブジェクトオーディオ信号を復号化するためのレンダリング情報を生成するトランスコーディング装置であって、符号化装置から入力される符号化されたオーディオ信号に対するレンダリング情報から符号化されたオーディオオブジェクト信号に対するレンダリング情報、およびマルチチャネルオーディオ信号に対するレンダリング情報を分離するパーシング手段と、符号化されたオーディオオブジェクト信号に対するオブジェクト制御情報および再生情報に基づいて、前記符号化されたオーディオオブジェクト信号に対するパワー利得情報および出力位置情報を含むレンダリング情報を生成する第1行列手段と、前記パーシング手段によって分離された符号化されたマルチチャネルオーディオ信号に対するレンダリング情報に基づいて、前記マルチチャネルオーディオ信号に対するチャネル別のパワー利得情報を含むレンダリング情報を生成する第2行列手段と、前記第1行列手段によって生成されたレンダリング情報、前記第2行列手段によって生成されたレンダリング情報、および前記パーシング手段によって分離された符号化されたオーディオオブジェクト信号に対するレンダリング情報に基づいて、復号化装置から出力されるオーディオ信号に対する空間キュー情報を生成するレンダリング手段と、を備えるトランスコーディング装置を提供する。
また、前述した目的を達成するための本発明は、マルチオブジェクトオーディオ信号の符号化方法であって、入力されるオーディオオブジェクト信号を空間キュー基盤で符号化し、前記符号化されたオーディオオブジェクト信号に対するレンダリング情報を生成するオーディオオブジェクト符号化ステップを含み、前記レンダリング情報は、前記オーディオオブジェクト信号に対する空間キュー情報、前記オーディオオブジェクト信号のチャネル情報、および前記オーディオオブジェクト信号の識別情報を含む符号化方法を提供する。
また、前述した目的を達成するための本発明は、マルチオブジェクトオーディオ信号を復号化するためのレンダリング情報を生成するトランスコーディング方法であって、符号化されたオーディオオブジェクト信号に対するオブジェクト制御情報および再生情報に基づいて、前記符号化されたオーディオオブジェクト信号に対するパワー利得情報および出力位置情報を含むレンダリング情報を生成する第1行列ステップと、前記第1行列ステップによって生成されたレンダリング情報および符号化ステップから入力される前記符号化されたオーディオオブジェクト信号に対するレンダリング情報に基づいて、復号化ステップから出力されるオーディオ信号に対する空間キュー情報を生成するレンダリングステップと、を含むトランスコーディング方法を提供する。
また、前述した目的を達成するための本発明は、マルチチャネルオーディオ信号およびマルチオブジェクトオーディオ信号を復号化するためのレンダリング情報を生成するトランスコーディング方法であって、符号化ステップから入力される符号化されたオーディオ信号に対するレンダリング情報から符号化されたオーディオオブジェクト信号に対するレンダリング情報、およびマルチチャネルオーディオ信号に対するレンダリング情報を分離するパーシングステップと、符号化されたオーディオオブジェクト信号に対するオブジェクト制御情報および再生情報に基づいて、前記符号化されたオーディオオブジェクト信号に対するパワー利得情報および出力位置情報を含むレンダリング情報を生成する第1行列ステップと、前記パーシングステップによって分離された符号化されたマルチチャネルオーディオ信号に対するレンダリング情報に基づいて、前記マルチチャネルオーディオ信号に対するチャネル別のパワー利得情報を含むレンダリング情報を生成する第2行列ステップと、前記第1行列ステップによって生成されたレンダリング情報、前記第2行列ステップによって生成されたレンダリング情報、および前記パーシングステップによって分離された符号化されたオーディオオブジェクト信号に対するレンダリング情報に基づいて、復号化ステップから出力されるオーディオ信号に対する空間キュー情報を生成するレンダリングステップと、を含むトランスコーディング方法を提供する。
本発明は、付加情報ビットストリームの変換を含み、多様なチャネルを有するマルチオブジェクトオーディオ信号の符号化および復号化装置、並びに方法を提供することによって、多様なチャネルを有するマルチオブジェクトオーディオコンテンツを効率よく符号化および復号化し、ユーザの必要に応じて能動的にオーディオコンテンツを消費することができ、従来に利用されるビットストリームに対する下位互換性を提供することによって、従来における符号化および復号化装置との互換性を提供することができる。
前述した目的、特徴および長所は、添付の図面と関連した次の詳細な説明を介して更に明確になるのであろう。以下、添付の図面に基づいて本発明に係る好ましい一実施形態を詳細に説明する。
図1は、本発明に係るマルチオブジェクトオーディオ符号化器およびマルチオブジェクト復号化器を示すブロック図である。
図1に示すように、本発明は、SAOC(Spatial Audio Object Coding)コーダ101、トランスコーダ103、およびSAC(Spatial Audio Coding)デコーダ105を備える。
空間オーディオオブジェクトコーディング(SAOC:Spatial Audio Object Coding)方式によれば、コーダに入力される信号はオーディオオブジェクトとして符号化される。ここで、各オーディオオブジェクトは、デコーダによって復元され、独立的に再生されない。しかし、所望のオーディオ場面を構成するためにオーディオオブジェクトに対する情報がレンダリングされ、多様なチャネルを有するマルチオブジェクトオーディオ信号が出力される。したがって、SACデコーダは、所望のオーディオ場面を獲得するために入力されるオーディオオブジェクトに対する情報をレンダリングできる装置を要求する。
前記SAOCコーダ101は、空間キュー基盤のコーダであって、入力オーディオ信号をオーディオオブジェクトとして符号化する。ここで、前記SAOCコーダ101に入力されるオーディオオブジェクトはモノまたはステレオ信号である。
前記SAOCコーダ101は、入力される1つ以上のオーディオオブジェクトからダウンミックス信号を出力し、空間キューおよび付加情報(side information)を抽出することによりSAOCビットストリームを生成する。ここで、出力されるダウンミックス信号はモノまたはステレオ信号である。前記SAOCコーダ101は「異質なレイアウトSAOC」または「Faller」技法に基づいて入力されるオーディオオブジェクト信号を分析する。
前記抽出されたSAOCビットストリームは空間キューおよび付加情報を含み、前記付加情報は入力オーディオオブジェクトの空間情報を含む。前記空間キューは、一般的に周波数領域のサブバンド単位で分析されて抽出される。
ここで、空間キュー(spatial cue)とは、オーディオ信号を符号化および復号化する過程で利用される情報である。空間キューは、周波数領域から抽出され、入力される2つの信号の大きさの差、遅延差、相関性などの情報を含む。例えば、空間キューは、オーディオ信号のパワー利得情報を表すオーディオ信号間のレベル差(Channel Level Difference、CLD)、オーディオ信号間のエネルギー比(Inter−Channel Level Difference、ICLD)、オーディオ信号間の時間差(Inter Channel Time Difference、ICTD)、オーディオ信号間の相関性情報を表すオーディオ信号間の相関性(Inter Channel Correlation、ICC)、および仮想音源位置情報(Virtual Source Location Information)を含むが、これらの例に限定されない。
また、前記付加情報は、オーディオ信号の復元、制御のための情報が含まれる。前記付加情報はヘッダー情報を含む。前記ヘッダー情報は、多様なチャネルで構成されたマルチオブジェクトオーディオ信号の復元および再生のための情報を含み、オーディオオブジェクトに対するチャネル情報および該当オーディオオブジェクトのIDを定義することによって、モノ、ステレオ、マルチチャネルのオーディオオブジェクトに対する復号化情報を提供することができる。例えば、符号化された特定オーディオオブジェクトがモノオーディオ信号であるかステレオオーディオ信号であるかを区分することができるよう各オブジェクトのIDおよび情報が定義され得る。前記ヘッダー情報は、一実施形態としてSAC(Spatial Audio Coding)ヘッダー情報、オーディオオブジェクト情報、およびプリセット(preset)情報を含むことができる。
前記トランスコーダ103は、SAOCコーダ101に入力されるオーディオオブジェクトに対するレンダリングを行い、外部から入力される制御信号、すなわちオブジェクト別の音響情報および再生環境情報を利用して前記SAOCコーダ101から抽出されたSAOCビットストリームをSACビットストリームに変換する。
すなわち、前記トランスコーダ103は、SAOCコーダ101に入力されるオーディオオブジェクトを多様なチャネルのマルチオブジェクトオーディオ信号に復元するために抽出されたSAOCビットストリームを利用してレンダリングする。付加情報を利用したレンダリングは、パラメータ領域で行なうことができる。
また、前記トランスコーダ103は、SAOCビットストリームをSACビットストリームに変換する。まず、前記トランスコーダ103は、SAOCビットストリームから入力オーディオオブジェクトの情報を獲得し、入力オーディオオブジェクトの情報を所望のオーディオ場面に対応されるようレンダリングする。
前記レンダリング過程において、前記トランスコーダ103は、所望のオーディオ場面に対応する空間情報を予測し、前記予測された空間情報を変換してSACビットストリームとして出力する。
前記トランスコーダ103に対しては、以下の図3で詳細に説明する。
前記SACデコーダ105は、空間キュー基盤のマルチチャネルオーディオデコーダであって、前記トランスコーダ103から出力されるSACビットストリームを利用し、前記SAOCコーダ101から出力されるダウンミックス信号をオブジェクト別のオーディオ信号に復元し、多様なチャネルのマルチオブジェクトオーディオ信号に復元する。前記SACデコーダ105は、MPEG(Moving Pcture Experts Group)サラウンド復号化器、BCC(binaural cue coding)復号化器などで代替され得る。
図2は、本発明に係るマルチオブジェクトオーディオ符号化器および復号化器を示す更なる一実施形態の構成図であって、入力信号が多様なチャネルを有する信号である場合を示す。
同図に示したように、本発明はSAOCコーダ101、トランスコーダ103、SACデコーダ105、SACコーダ201、プリセットASI(audio scene information)部203、およびビットストリームフォーマッタ205を備える。
前記SAOCコーダ101がモノまたはステレオのオーディオオブジェクトのみをサポートする場合、前記SACコーダ201は、入力されるマルチチャネルオーディオ信号から1つのオーディオオブジェクトを出力する。前記出力された1つのオーディオオブジェクトは、ダウンミックスされたモノまたはステレオ信号である。また前記SACコーダ201は、空間キューおよび付加情報を抽出してSACビットストリームを生成する。
前記SAOCコーダ101は、前記SACコーダ201から出力される1つのオーディオオブジェクトを備える1つ以上のオーディオオブジェクトから代表ダウンミックス信号を出力し、空間キューおよび付加情報を抽出してSAOCビットストリームを生成する。
前記プリセットASI部203は、外部から入力される制御信号、すなわちオブジェクト別の音響情報および再生環境情報をプリセット−ASI(Preset−Audio Scene Information)情報で構成し、前記プリセット−ASI情報を含むプリセットASIビットストリームを生成する。前記プリセット−ASI情報に対しては、以下図4で詳細に説明する。
前記ビットストリームフォーマッタ205は、前記SAOCコーダ101によって生成されたSAOCビットストリーム、前記SACコーダ201によって生成されたSACビットストリーム、および前記プリセットASI部203によって生成されたプリセットASIビットストリームを利用し、代表SAOCビットストリームを生成する。
前記トランスコーダ103は、SAOCコーダ101に入力されるオーディオオブジェクトに対するレンダリングを行い、外部から入力されるオブジェクト別の音響情報および再生環境情報を利用して前記ビットストリームフォーマッタ205によって生成された代表SAOCビットストリームを代表SACビットストリームに変換する。前記トランスコーダ103は、前記SACデコーダ105に含まれて前記のような役割を行なうことができる。
前記SACデコーダ105は、前記トランスコーダ103から出力されるSACビットストリームを利用し、前記SAOCコーダ101から出力されるダウンミックス信号を多様なチャネルのマルチオブジェクトオーディオ信号に復元する。前記SACデコーダ105は、MPEGサラウンド復号化器、BCC復号化器などで代替され得る。
図3は、図2におけるトランスコーダ103を示す一実施形態の詳細な構造図である。
同図に示すように、トランスコーダ103は、パーシング部301、レンダリング部303、第2行列部311、および第1行列部313を備え、代表SAOCビットストリームを代表SACビットストリームに変換する。
図1では、前記トランスコーダ103は、SAOCビットストリームをSACビットストリームに変換する。
前記パーシング部301は、前記ビットストリームフォーマッタ205から生成された代表SAOCビットストリーム、または図1のSAOCコーダ101から生成されたSAOCビットストリームをパーシングし、前記代表SAOCビットストリームに含まれたSAOCビットストリームおよびSACビットストリームを分離する。また、前記パーシング部301は、前記分離したSAOCビットストリームからSAOCコーダ101に入力されるオーディオオブジェクトの個数に対する情報を抽出する。ここで、図1のSAOCコーダ101から生成されたSAOCビットストリームをパーシングする場合、SACビットストリームが存在しないことから、分離する必要がない。
前記第2行列部311は、前記パーシング部301によって分離したSACビットストリームを利用して第2行列を生成する。前記第2行列は、SACコーダ201に入力されるマルチチャネルオーディオ信号に対する行列式である。もし、前記代表SAOCビットストリームにSACビットストリームが含まれていない場合、すなわち、図1のSAOCコーダ101から生成されたSAOCビットストリームをパーシングする場合、前記第2行列部311は不要である。
一般的に、1つのフレームをサブバンドに分割して解釈することがSACの基本分析過程である。
ここで、ub SAC(k)はSACコーダ201から出力されるダウンミックス信号であって、kは周波数係数インデックスであり、bはサブバンドインデックスである。w b ch_i は前記SACビットストリームから獲得できるマルチチャネル信号の空間キュー情報であって、i番目チャネル信号(1=i=M)の周波数情報を復元するために利用される。したがって、w b ch_i は周波数係数の大きさ情報や位相情報として表現され得る。したがって、数式1の右側の項目を参照すれば、Yb SAC(k)は数式1の結果であって、SACデコーダ105から出力されるマルチチャネルオーディオ信号を表す。
前記ub SAC(k)およびw b ch_i はベクトルであり、ub SAC(k)の前置行列次元(Transpose Matrix Dimension)がw b ch_i の次元となる。例えば、下記の数式2のように定義され得る。ここで、SACコーダ201から出力されるダウンミックス信号は、モノまたはステレオであるため、mは1または2である。
前記のように、w b ch_i はSACビットストリームに含まれた空間キュー情報である。
w b ch_i が各チャネルのサブバンドでのパワー利得を表す場合、w b ch_i はチャネルレベル差空間キュー(Channel Level Difference、CLD)から予測されることができる。w b ch_i が周波数係数の位相差を補償するための係数として利用される場合、w b ch_i はチャネル時間差空間キュー(Channel Time Difference)または相関性空間キュー(Inter−Channel Coherence)から予測されることができる。
以下、例示的にw b ch_i が周波数係数の位相差を補償するための係数として利用される場合を基準にして説明する。
SACコーダ201から出力されるダウンミックス信号との行列演算によって出力信号Yb SAC(k)が生成されるよう、数式1の第2行列は、各チャネル別のパワー利得値を表現し、前記ダウンミックス信号のベクトルの次元に逆にならなければならない。
前記第2行列部311が数式1および数式2を満足する第2行列を生成すれば、前記レンダリング部303は、前記生成された第2行列を前記第1行列部313の出力と結合する。
前記第1行列部313は、制御信号(例えば、オブジェクト制御情報、再生システム情報)を利用し、前記SAOCコーダ101に入力される1つ以上のオーディオオブジェクトを所望の出力、すなわち多様なチャネルのマルチオブジェクトオーディオ信号でマッピングさせるための第1行列を生成する。
前記SAOCコーダ101に入力されたオーディオオブジェクトの個数がNの場合、SACコーダ201から出力されるダウンミックス信号も1つのオーディオオブジェクトとして見なされ、入力されるN個のオーディオオブジェクトに含まれる。このような場合、SACコーダ201から出力されるダウンミックス信号を除去した各オーディオオブジェクトは、第1行列を利用してSACデコーダ105から出力されるチャネルでマッピングされ得る。
SACデコーダ105から出力されるチャネルの個数をMとするとき、第1行列は下記の条件を満足することができる。
ここで、w b oj_i は、b番目サブバンドのi番目オーディオオブジェクト信号(1=i=N−1)を表すベクトルであって、前記SAOCビットストリームから獲得できる空間キュー情報である。もし、オーディオオブジェクトiがステレオであればwb oj_iは2×1行列のベクトルである。Pb ijは、j番目オーディオオブジェクトがi番目出力チャネルにマッピングされるためのパワー利得情報または位相情報を表す第1行列の要素ベクトルであって、外部から入力されたり、初期値で設定された制御情報(例えば、オブジェクト制御情報、再生システム情報)から獲得できる。
前記数式3の条件に適合する第1行列は、前記レンダリング部303に伝送され、前記数式3は前記レンダリング部303で演算される。
例えば、入力されるオーディオオブジェクトの個数がYであり、m=2であり、出力されるチャネルの個数がMの場合、第1行列の次元は、M×Yとなり、Y個のPb i,jは2×1行列で構成される。ここで、SACコーダ201から出力されるオーディオオブジェクトが含まれる場合、Y=Y−1と見なされる。前記数式3の演算結果、出力されるチャネルのパワー利得ベクトルw b ch_j で構成された行列が表現されるべきである。前記表現されたベクトルの次元がM×2の場合、出力されるチャネル個数Mおよび入力されるオーディオオブジェクトのレイアウトである2を反映する。
再度、図3の説明に戻って、前記レンダリング部303は、前記第1行列部313および第2行列部311から第1行列および第2行列が伝送される。前記レンダリング部303は、前記パーシング部301によって分離されたSAOCビットストリームから獲得される各オーディオオブジェクトの空間キュー情報w b oj_i を獲得し、第1行列および第2行列を利用して算出された出力ベクトルを結合して所望の空間キュー情報を獲得し、前記所望の空間キュー情報を含む代表SACビットストリームを生成する。ここで、所望の空間キューとは、ユーザが前記SACデコーダ105からの出力を所望する出力マルチチャネルオーディオ信号と関連した空間キューを意味する。
前記第1行列および第2行列に基づいて、所望の空間キュー情報を獲得するための演算は下記の数式6のとおりである。
ここで、PNは第1行列を生成するとき考慮しない事項であって、SACコーダ201から出力されるオーディオオブジェクトのパワーと、SAOCコーダ101に直接入力されるオーディオオブジェクトのパワーとの和の比を表す。
したがって、w b ch_j が出力されるチャネルのパワーであれば、オーディオオブジェクトがレンダリングされた後、各チャネルのパワー比はWb modifiedとして表す。Wb modifiedから所望の空間キューパラメータを新たに抽出することができる。例えば、ch_2とch_1との間のCLDパラメータを抽出すれば、下記の数式8のとおりである。
出力されるチャネルのパワー比は、空間キューパラメータであるCLDで表現することができ、隣接したチャネル間の空間キューパラメータは与えられたWb modified情報から多様な組合せの形態で示すことができる。前記レンダリング部303は、Wb modifiedから抽出された空間キュー(例えば、CLDパラメータ)をHuffmanコーディング方式などを利用してSACビットストリームを生成する。
前記レンダリング部303により生成されたSACビットストリームに含まれる空間キューは、デコーダの特性に応じて分析および抽出される方法が異なる。
例えば、BCCデコーダの場合、1つのチャネルを基準として前記数式8を利用してN−1個のCLDパラメータを抽出することができる。また、MPEGサラウンドデコーダの場合、MPEGサラウンドのチャネル別の比較順に応じてCLDパラメータを抽出することができる。
例えば、BCCデコーダの場合、1つのチャネルを基準として前記数式8を利用してN−1個のCLDパラメータを抽出することができる。また、MPEGサラウンドデコーダの場合、MPEGサラウンドのチャネル別の比較順に応じてCLDパラメータを抽出することができる。
整理すれば、前記パーシング部301は、SACビットストリームおよびSAOCビットストリームを分離し、前記第2行列部311は、前記パーシング部301によって分離されたSACビットストリームを利用して下記の数式1に基づいて第2行列を生成し、前記第1行列部313は、制御信号に対応される第1行列を生成する。前記パーシング部301によって分離されたSAOCビットストリームは前記レンダリング部303に伝送され、前記レンダリング部303は、伝送されたSAOCビットストリームからオブジェクトの情報を獲得して第1行列と演算し、前記演算結果を第2行列と結合して前記Wb modifiedを生成し、生成されたWb modifiedから空間キューを抽出して代表SACビットストリームを生成する。すなわち、 生成されたWb modifiedから空間キューが所望の空間キューとなる。前記代表SACビットストリームは、MPEGサラウンドデコーダまたはBCCデコーダの特性に応じて適切に変換されたビットストリームであって、多様なチャネルを有するマルチオブジェクト信号に復元されることができる。
図4は、図2のビットストリームフォーマッタ205から生成される代表SAOCビットストリームを示す一実施形態の構造図である。
同図に示すように、ビットストリームフォーマッタ205によって生成された代表SAOCビットストリームは、前記SAOCコーダ101によって生成されたSAOCビットストリームと、前記SACコーダ201によって生成されたSACビットストリームとを結合して生成され、前記代表SAOCビットストリームは、前記プリセットASI部203によって生成されたプリセット−ASIビットストリームを含む。前記プリセット−ASIビットストリームは下記の図5で詳細に説明する。
前記SAOCビットストリームとSACビットストリームとを結合する方法は、第1に、各々のビットストリームを直接的にMUXさせて1つのビットストリームを生成する方法であって、代表SAOCビットストリームでSAOCビットストリームおよびSACビットストリームが直列的に接続する401。
第2に、SAOC補助データ(ancillary data)領域が存在する場合、前記補助領域にSACビットストリーム情報を含ませて1つのビットストリームを生成する方法であって、代表SAOCビットストリームでSAOCビットストリームおよび補助データ領域が直列的に接続され、前記補助データ領域はSACビットストリームを含む403。
第3に、前記SAOCビットストリームおよびSACビットストリームのうち、類似の空間キューを符号化した領域を同じビットストリームで表現する方法であって、例えば、代表SAOCビットストリームのヘッダー情報領域には、SAOCビットストリームヘッダー情報およびSACビットストリームヘッダー情報が含まれ、代表SAOCビットストリームの任意の領域各々には、特定のCLDと関連したSAOCビットストリームおよびSACビットストリームが含まれる405。
図5は、図2の代表SAOCビットストリームを示す更なる一実施形態の構成図であって、前記代表SAOCビットストリームが複数のプリセット−ASI情報を含む場合を示す。
同図に示すように、代表SAOCビットストリームは、プリセット−ASI領域を含む。前記プリセット−ASI領域は複数のプリセット−ASIを含み、前記プリセット−ASI情報は、オーディオオブジェクトの制御情報およびレイアウト情報などを含む。
前記トランスコーダ103を利用してオーディオオブジェクトをレンダリングする場合、各オーディオオブジェクトの位置情報および制御情報、出力される再生スピーカーレイアウト情報が入力されなければならない。前記制御情報および再生スピーカーレイアウト情報が入力されない場合、トランスコーダ103において各オーディオオブジェクトの制御情報およびレイアウト情報は基本値として設定される。
基本値として設定された制御情報およびレイアウト情報を利用したり、入力されたオーディオオブジェクト制御情報およびレイアウト情報は、代表SAOCビットストリームまたは代表SACビットストリームの付加情報またはヘッダー情報に含まれる。前記制御情報は2種類に表現され得る。第1に、各オーディオオブジェクトに対する制御情報(位置およびレベル)およびスピーカーのレイアウト情報を直接的に表現したり、第2に、制御情報およびスピーカーのレイアウト情報を第1行列の形態で表現し、前記第1行列部313の第1行列の代わりに利用され得る。
プリセット−ASI情報とは、オーディオオブジェクト制御情報およびスピーカーのレイアウト情報を表す。すなわち、スピーカーのレイアウト情報およびスピーカーのレイアウト情報に適合するオーディオ場面を構成するための各オーディオオブジェクトの位置およびレベル情報などを含む。
前記パーシング部301によって抽出されたプリセット−ASI情報を代表SACビットストリームに伝送するために、前記したように、前記プリセット−ASI情報は直接的に表現されたり、第1行列の形態で表現される。
プリセット−ASI情報が直接的に表現される場合、プリセット−ASI情報は、再生システムのレイアウト(モノ/ステレオ/マルチャネル)、オーディオオブジェクトID、オーディオオブジェクトレイアウト(モノまたはステレオ)、オーディオオブジェクト位置、方位(Azimuth、0 degree〜360 degree)、ステレオ再生時高低(Elevation、−50 degree〜90 degree)、オーディオオブジェクトレベル情報(−50dB〜50dB)を含むことができる。
プリセット−ASI情報が第1行列の形態で表現される場合、前記プリセット−ASI情報を反映した数式3のP行列を構成し、前記P行列をレンダリング部303に伝送する。前記P行列は、各オーディオオブジェクトが出力されるチャネルにマッピングされるためのパワー利得情報または位相情報を要素ベクトルとして含む。
前記プリセット−ASI情報は、入力される同一のオーディオオブジェクトに対して、所望の再生シナリオに対応される様々なオーディオ場面を定義することができる。例えば、ステレオまたはマルチチャネル(5.1、7.1)再生システムに要求されるプリセット−ASI情報がコンテンツ製作者および再生サービスの目的に適合するよう追加的に伝送され得る。
図6は、図2のトランスコーダ103を示す更なる一実施形態の構成図であって、外部から入力される制御信号がない場合にプリセット−ASI情報を活用する一実施形態の構成図を示す。
同図に示すように、トランスコーダ103は、パーシング部301およびレンダリング部303を備える。前記トランスコーダ103は、第2行列部311、第1行列部313、プリセット−ASI抽出部601、および行列判断部603からの助けを受け得る。
前記パーシング部301は、前記代表SAOCビットストリームに含まれたSAOCビットストリームとSACビットストリームとを分離し、前記代表SAOCビットストリームに含まれたプリセット−ASIビットストリームをパーシングしてプリセット−ASI抽出部601に伝送する。
前記プリセット−ASI抽出部601は、パーシングされたプリセット−ASIビットストリームからデフォルト(default)プリセット−ASIを出力するが、もし、プリセット−ASIに対する分離(selection)要請がある場合、分離要請されたプリセット−ASIを出力する。
前記行列判断部603は、前記プリセット−ASI抽出部601により出力されたプリセット−ASIが分離されたプリセット−ASIの場合、分離されたプリセット−ASIが第1行列の形態であるか判断する。分離したプリセット−ASIが情報を直接的に表現した場合、前記第1行列部313に伝送され、前記第1行列部313は、前記プリセット−ASI情報を利用して第1行列を生成する。分離したプリセット−ASIが第1行列である場合、レンダリング部303に直接入力される信号として利用される。
図7は、図2のマルチオブジェクトオーディオ符号化器および復号化器にオーディオオブジェクト除去部701が追加的に備えられた場合を示す一実施形態の構造図である。
同図に示すように、オーディオオブジェクト除去部701は、前記SAOCコーダ101によって生成された代表ダウンミックス信号から任意のオーディオオブジェクトを除去するために利用される。前記オーディオオブジェクト除去部701は、前記SAOCコーダ101によって生成された代表ダウンミックス信号および前記トランスコーダ103から代表SAOCビットストリーム情報を受信し、任意のオーディオオブジェクトを除去する。前記オーディオオブジェクト除去部701に伝送される代表SAOCビットストリーム情報は、例えばレンダリング部303により提供され得る。
例えば、前記SACコーダ201のダウンミックス信号であるオーディオオブジェクト(OBJECT#N)のみを前記SACデコーダ105の入力信号として利用しようとする場合を説明する。
前記SAOCコーダ101は、入力される各々のオーディオオブジェクトのパワー大きさをサブバンド別に抽出してCLD値で抽出し、前記CLD値を含むSAOCビットストリームを生成する。任意のサブバンドmに対するパワー情報は、次のように獲得することができる。
Pm object#1,Pm object#2,・・・Pm object#N
ここで、Pm object#Nは、SAOCコーダ101によって出力される代表ダウンミックス信号のm番目バンドのパワー大きさである。したがって、オーディオオブジェクト除去部701に入力される代表ダウンミックス信号をu(n)とし、前記代表ダウンミックス信号を周波数領域に変換したものをU(f)とし、オーディオオブジェクト除去部701の出力信号、すなわち前記SACデコーダ105の入力信号をUmodified(f)とすれば、Umodified(f)は、前記SACコーダ201のダウンミックス信号のオーディオオブジェクト(OBJECT#N)と対応し、下記の数式10のように表すことができる。
ここで、A(m)は、m番目のサブバンドの周波数領域で境界を示し、δは、レベルの大きさを調整するための任意の定数値であり、U(f)は、モノまたはステレオである。
ここで、Pm object#Nは、SAOCコーダ101によって出力される代表ダウンミックス信号のm番目バンドのパワー大きさである。したがって、オーディオオブジェクト除去部701に入力される代表ダウンミックス信号をu(n)とし、前記代表ダウンミックス信号を周波数領域に変換したものをU(f)とし、オーディオオブジェクト除去部701の出力信号、すなわち前記SACデコーダ105の入力信号をUmodified(f)とすれば、Umodified(f)は、前記SACコーダ201のダウンミックス信号のオーディオオブジェクト(OBJECT#N)と対応し、下記の数式10のように表すことができる。
以下、U(f)がモノである場合を説明する。ただ、U(f)がステレオである場合、U(f)が左/右チャネルに分離して処理されること以外はモノの場合と同一である。
前記Umodified(f)は、前記SACコーダ201のダウンミックス信号のオーディオオブジェクト(OBJECT#N)と同一に見られる。したがって、前記SACデコーダ105に入力される代表SACビットストリームは、前記代表SAOCビットストリームから前記SAOCビットストリームが除外されたビットストリームであって、SACコーダ201から出力されるSACビットストリームと同一に利用することができる。すなわち、前記SACデコーダ105は、OBJECT#Nを受信し、M個のマルチチャネル信号に復元できる。しかし、全体信号のレベルは、トランスコーダ103のレンダリング部303により調整されたり、または数式10に任意の定数値を乗算してOBJECT#Nの信号レベルを調整することによって調整できる。
一方、一実施形態において、前記SACコーダ201のダウンミックス信号のオーディオオブジェクト(OBJECT#N)のみを前記SACデコーダ105の入力信号から除去する場合について説明する。前記数式10は、下記の数式11のように示される。
したがって、前記SACデコーダ105に入力される代表SACビットストリームは、前記代表SAOCビットストリームからSACコーダ201の前記SACビットストリームが除外されたビットストリームであって、レンダリング部303の第2行列に対する出力がないこととみられる。すなわち、前記トランスコーダ103は、代表SAOCビットストリーム部をパーシングし、OBJECT#Nに関する情報を除去した残りのオーディオオブジェクト情報のみをレンダリングして代表SACビットストリームを生成する。
したがって、OBJECT#Nに該当するパワー利得情報、相関性情報などを代表SACビットストリームに含まない。前記数式11は数式10と同様に、δはレベルの大きさを調整するための任意の定数値であって、全体の出力信号レベルを調整することができる。
前記オーディオオブジェクト除去部701は代表ダウンミックス信号からオーディオオブジェクトを除去し、除去命令はトランスコーダ103に入力される制御信号によって決定される。前記オーディオオブジェクト除去部701は、時間領域信号および周波数領域信号のすべてが適用可能である。また、前記代表ダウンミックス信号をサブバンドで分割するためにDFT(Discrete Fourier Transform)またはQMF(Quadrature Mirror Filterbank)を利用することができる。
トランスコーダ103のレンダリング部303は、SAOCビットストリームまたはSACビットストリームを除去してSACデコーダ105に伝送し、前記オーディオオブジェクト除去部701は、前記SACデコーダ105に伝送されるビットストリームに対応されるようオーディオオブジェクトを適切に除去する。
前記トランスコーダ103がSACデコーダ105に含まれる場合、前記トランスコーダ103から出力される代表SACビットストリームは、付加の変換過程なしでSACデコーダ105に伝送され得る。ここで、付加の変換過程とは、量子化やHuffmanコーディング方法のような一般的なコーディング過程を意味する。
また、SAOCコーダ101がSACコーダ201と接続しないものと見なし、SACコーダ201の出力オーディオオブジェクトを除去したSAOCコーダ101に入力されるオーディオオブジェクト、すなわちOBJECT#1〜OBJECT#N−1のみを制御して復元することができる。
図8は、図2のSACコーダ201およびSACデコーダ105をMPEGサラウンドコーダおよびデコーダに代替した場合を示す一実施形態の構造図である。
同図に示すように、SACコーダ201はMPEGサラウンドコーダ(MPSコーダ)801に、SACデコーダ105はMPEGサラウンドデコーダ(MPSデコーダ)805に代替される。また、前記SAOCコーダ101から出力される代表ダウンミックス信号がステレオである場合、追加的に信号処理部803が要求される。
前記MPSコーダ801は、図2のSACコーダ201と同一の役割を行なう。すなわち、前記MPSコーダ801は、入力されるマルチチャネルオーディオ信号から1つのオーディオオブジェクトを出力し、空間キューおよび付加情報を抽出してMPSビットストリームを生成する。前記出力された1つのオーディオオブジェクトは、ダウンミックスされたモノまたはステレオ信号である。
また、前記MPSデコーダ805は、図2のSACデコーダ805と同一の役割を行なう。すなわち、前記MPSデコーダ805は、前記トランスコーダ103から出力されるSACビットストリームを利用し、前記SAOCコーダ101から出力されるダウンミックス信号または信号処理部803から出力される代表再ダウンミックス信号を多様なチャネルのマルチオブジェクトオーディオ信号に復元する。
一方、前記信号処理部805は、前記SAOCコーダ101から出力されるダウンミックス信号がステレオである場合、すなわち前記MPSデコーダ805がステレオ信号を処理する場合、MPSデコーダ805がステレオ信号の左/右処理に制約されるために要求される。
前記数式2は、一般的なSACデコーダでダウンミックス信号がM個に一般化された場合を示す。ダウンミックス信号がステレオである場合、復元される出力チャネル1に対する数式2は下記の数式12のとおりである。
ここで、出力チャネルのベクトルは、すべてのダウンミックス信号に対して適用可能すべきであるが、現在MPSデコーダ805では不可能である。前記MPSデコーダ805は、下記の数式13のように、行列値が0に制限されるためである。
すなわち、出力チャネル1の復元において、U b R (k)要素が反映されないので、前記数式3、数式4、数式5によって生成されたWb ch_2が適用されない。したがって、ステレオ以上のレイアウトを有する信号に対して流動的な位置選定(flexible positioning)が不可能である。すなわち、ステレオ信号の左側信号および右側信号の相互間に自由なレンダリングが不可能である。
しかし、前記信号処理部803を利用して前記SAOCコーダ101から出力される代表ダウンミックス信号を再度ダウンミックスし、代表再ダウンミックス信号として出力する。前記信号処理部803の処理過程は、下記の数式14のとおりである。
前記SAOCコーダ101から出力される代表ダウンミックス信号がステレオである場合、前記信号処理部803の出力信号は、下記の数式15のとおりである。
ここで、y b ch_L (k)、y b ch_R (k)は、前記信号処理部803により出力される信号であって、前記MPSデコーダ805に入力される。yb ch_L(k)およびyb ch_R(k)は、数式15のように左側信号および右側信号のレンダリングがすべて反映された信号であるため、前記MPSデコーダ805が前記数式13のように制限されても、前記MPSデコーダ805は、左側信号および右側信号が自由にレンダリングされた信号を出力することができる。
前記したように、MPEGサラウンドの制約によってMPSデコーダ805がステレオ信号の処理が困難な場合、前記信号処理部803は、前記トランスコーダ103から伝送されたオブジェクト位置情報を利用し、再度ダウンミックスして代表再ダウンミックス信号を出力する。前記信号処理部803に伝送されるオブジェクト位置情報は、例えばレンダリング部303により提供され得る。ここで、レンダリング部303は、前述で説明したものと類似した方式で前記代表SAOCビットストリームに基づいて前記SAOCコーダ101およびMPSコーダ801に入力されるオーディオ信号に対し、MPSデコーダ805により出力されるオーディオ信号の左側信号および右側信号の各々に対する空間キュー情報が含まれた代表MPSビットストリームを生成することができる。
前記MPSデコーダ805は、前記信号処理部805とともに動作することによって、図2のSACデコーダ205と同一の役割を行なうことができる。
前記MPSデコーダ805は、前記信号処理部803から出力された代表再ダウンミックス信号を所望の出力、すなわち多様なチャネルを有するマルチオブジェクト信号に復元する。
前記図2のSACデコーダ205または前記信号処理部805とともに動作する前記MPSデコーダ805の復号化方法は、マルチチャネルマルチオブジェクトダウンミックス信号およびマルチチャネルマルチオブジェクト付加情報(side information)信号を受信するステップと、前記マルチチャネルマルチオブジェクトダウンミックス信号をマルチチャネルダウンミックス信号に変換するステップと、前記マルチチャネルマルチオブジェクト付加情報信号をマルチチャネル付加情報信号に変換するステップと、前記変換されたマルチチャネルダウンミックス信号およびマルチチャネル付加情報信号を利用してオーディオ信号を合成するステップとを含む。
前記マルチチャネルダウンミックス信号の変換ステップは、前記マルチチャネルマルチオブジェクト付加情報信号から獲得されるオブジェクト関連情報を利用し、前記マルチチャネルマルチオブジェクトダウンミックス信号からオブジェクト情報を除去するステップを含む。前記マルチチャネルダウンミックス信号の変換ステップは、前記マルチチャネルマルチオブジェクト付加情報信号から獲得されるオブジェクト関連情報を利用し、前記マルチチャネルマルチオブジェクトダウンミックス信号からオブジェクト情報を制御するステップを含む。
ここで、前記マルチチャネルダウンミックス信号の変換ステップで、前記オブジェクト関連情報はオブジェクト制御情報によって制御され得る。ここで、前記オブジェクト関連情報は、復号化システム情報によって制御され得る。
以上で説明された本発明に係る符号化および復号化過程は装置の観点で説明したが、前記装置に備えられた各装置的な構成要素は、プロセス的構成要素に代替され得、この場合、本発明に係る符号化および復号化過程は、方法の観点で理解されることができることは自明である。
前述のような本発明の方法は、プログラムで具現され、コンピュータで読出し可能な形態で記録媒体(CD−ROM、 RAM 、 ROM、フロッピーディスク、ハードディスク、光磁気ディスクなど)に保存され得る。このような過程は、本発明が属する技術分野における通常の知識を有する者が容易に実施できるため、これ以上詳細に説明しない。
以上で説明した本発明は、前述した実施形態および添付の図面によって限定されるのでなく、本発明の技術的な思想から脱離しない範囲内で様々な置換、変形、および変更が可能であることが、本発明が属する技術分野における通常の知識を有する者にとって明白であろう。
Claims (2)
- マルチオブジェクトオーディオ信号を復号化するためのレンダリング情報を生成するトランスコーディング装置であって、
符号化されたオーディオオブジェクト信号に対するパワー利得情報および出力位置情報を含むレンダリングマトリックス情報を受信する受信手段と、
前記受信手段によって受信されたレンダリングマトリックス情報および符号化装置から入力される前記符号化されたオーディオオブジェクト信号に対するレンダリング情報に基づいて、復号化装置から出力されるオーディオ信号に対する空間キュー情報を生成するレンダリング手段と、
を備えることを特徴とするトランスコーディング装置。 - 前記レンダリング手段は、前記符号化されたオーディオオブジェクト信号のうちの所定オーディオオブジェクト信号に対する空間キュー情報を除いた、前記復号化装置から出力されるオーディオオブジェクト信号に対する空間キュー情報を生成し、
前記トランスコーディング装置は、前記符号化されたオーディオ信号のうちから前記所定オーディオオブジェクト信号を除去するオーディオオブジェクト除去手段をさらに含むことを特徴とする請求項1に記載のトランスコーディング装置。
Applications Claiming Priority (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2006-0135400 | 2006-12-27 | ||
KR20060135400 | 2006-12-27 | ||
KR20070003897 | 2007-01-12 | ||
KR10-2007-0003897 | 2007-01-12 | ||
KR20070007724 | 2007-01-25 | ||
KR10-2007-0007724 | 2007-01-25 | ||
PCT/KR2007/006910 WO2008078973A1 (en) | 2006-12-27 | 2007-12-27 | Apparatus and method for coding and decoding multi-object audio signal with various channel including information bitstream conversion |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012256586A Division JP5694279B2 (ja) | 2006-12-27 | 2012-11-22 | 符号化装置 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2010515099A JP2010515099A (ja) | 2010-05-06 |
JP2010515099A5 true JP2010515099A5 (ja) | 2011-02-17 |
JP5941610B2 JP5941610B2 (ja) | 2016-06-29 |
Family
ID=39562714
Family Applications (8)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009543949A Active JP5941610B2 (ja) | 2006-12-27 | 2007-12-27 | トランスコーディング装置 |
JP2012256586A Active JP5694279B2 (ja) | 2006-12-27 | 2012-11-22 | 符号化装置 |
JP2013011340A Active JP6027901B2 (ja) | 2006-12-27 | 2013-01-24 | トランスコーディング装置 |
JP2013011336A Active JP5674833B2 (ja) | 2006-12-27 | 2013-01-24 | 符号化装置 |
JP2013011344A Pending JP2013101384A (ja) | 2006-12-27 | 2013-01-24 | トランスコーディング装置 |
JP2013011324A Active JP5752722B2 (ja) | 2006-12-27 | 2013-01-24 | トランスコーディング装置 |
JP2016127783A Active JP6446407B2 (ja) | 2006-12-27 | 2016-06-28 | トランスコーディング方法 |
JP2018226651A Pending JP2019074743A (ja) | 2006-12-27 | 2018-12-03 | トランスコーディング装置 |
Family Applications After (7)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012256586A Active JP5694279B2 (ja) | 2006-12-27 | 2012-11-22 | 符号化装置 |
JP2013011340A Active JP6027901B2 (ja) | 2006-12-27 | 2013-01-24 | トランスコーディング装置 |
JP2013011336A Active JP5674833B2 (ja) | 2006-12-27 | 2013-01-24 | 符号化装置 |
JP2013011344A Pending JP2013101384A (ja) | 2006-12-27 | 2013-01-24 | トランスコーディング装置 |
JP2013011324A Active JP5752722B2 (ja) | 2006-12-27 | 2013-01-24 | トランスコーディング装置 |
JP2016127783A Active JP6446407B2 (ja) | 2006-12-27 | 2016-06-28 | トランスコーディング方法 |
JP2018226651A Pending JP2019074743A (ja) | 2006-12-27 | 2018-12-03 | トランスコーディング装置 |
Country Status (6)
Country | Link |
---|---|
US (2) | US8370164B2 (ja) |
EP (6) | EP2595151A3 (ja) |
JP (8) | JP5941610B2 (ja) |
KR (6) | KR101086347B1 (ja) |
CN (6) | CN103137131A (ja) |
WO (1) | WO2008078973A1 (ja) |
Families Citing this family (51)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8370164B2 (en) * | 2006-12-27 | 2013-02-05 | Electronics And Telecommunications Research Institute | Apparatus and method for coding and decoding multi-object audio signal with various channel including information bitstream conversion |
WO2008120933A1 (en) | 2007-03-30 | 2008-10-09 | Electronics And Telecommunications Research Institute | Apparatus and method for coding and decoding multi object audio signal with multi channel |
KR101461685B1 (ko) * | 2008-03-31 | 2014-11-19 | 한국전자통신연구원 | 다객체 오디오 신호의 부가정보 비트스트림 생성 방법 및 장치 |
KR101596504B1 (ko) * | 2008-04-23 | 2016-02-23 | 한국전자통신연구원 | 객체기반 오디오 컨텐츠의 생성/재생 방법 및 객체기반 오디오 서비스를 위한 파일 포맷 구조를 가진 데이터를 기록한 컴퓨터 판독 가능 기록 매체 |
JP5258967B2 (ja) * | 2008-07-15 | 2013-08-07 | エルジー エレクトロニクス インコーポレイティド | オーディオ信号の処理方法及び装置 |
KR101171314B1 (ko) * | 2008-07-15 | 2012-08-10 | 엘지전자 주식회사 | 오디오 신호의 처리 방법 및 이의 장치 |
KR101614160B1 (ko) | 2008-07-16 | 2016-04-20 | 한국전자통신연구원 | 포스트 다운믹스 신호를 지원하는 다객체 오디오 부호화 장치 및 복호화 장치 |
US8311810B2 (en) * | 2008-07-29 | 2012-11-13 | Panasonic Corporation | Reduced delay spatial coding and decoding apparatus and teleconferencing system |
EP2154910A1 (en) * | 2008-08-13 | 2010-02-17 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus for merging spatial audio streams |
KR101600352B1 (ko) * | 2008-10-30 | 2016-03-07 | 삼성전자주식회사 | 멀티 채널 신호의 부호화/복호화 장치 및 방법 |
KR101129974B1 (ko) | 2008-12-22 | 2012-03-28 | (주)오디즌 | 객체 기반 오디오 컨텐츠 생성/재생 방법 및 그 장치 |
WO2010087631A2 (en) * | 2009-01-28 | 2010-08-05 | Lg Electronics Inc. | A method and an apparatus for decoding an audio signal |
US20100324915A1 (en) * | 2009-06-23 | 2010-12-23 | Electronic And Telecommunications Research Institute | Encoding and decoding apparatuses for high quality multi-channel audio codec |
US20110054917A1 (en) * | 2009-08-28 | 2011-03-03 | Electronics And Telecommunications Research Institute | Apparatus and method for structuring bitstream for object-based audio service, and apparatus for encoding the bitstream |
AU2010321013B2 (en) * | 2009-11-20 | 2014-05-29 | Dolby International Ab | Apparatus for providing an upmix signal representation on the basis of the downmix signal representation, apparatus for providing a bitstream representing a multi-channel audio signal, methods, computer programs and bitstream representing a multi-channel audio signal using a linear combination parameter |
GB2485979A (en) * | 2010-11-26 | 2012-06-06 | Univ Surrey | Spatial audio coding |
CN103460285B (zh) * | 2010-12-03 | 2018-01-12 | 弗劳恩霍夫应用研究促进协会 | 用于以几何为基础的空间音频编码的装置及方法 |
KR20120071072A (ko) | 2010-12-22 | 2012-07-02 | 한국전자통신연구원 | 객체 기반 오디오를 제공하는 방송 송신 장치 및 방법, 그리고 방송 재생 장치 및 방법 |
JP6096789B2 (ja) | 2011-11-01 | 2017-03-15 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | オーディオオブジェクトのエンコーディング及びデコーディング |
US9622014B2 (en) | 2012-06-19 | 2017-04-11 | Dolby Laboratories Licensing Corporation | Rendering and playback of spatial audio using channel-based audio systems |
US9489954B2 (en) | 2012-08-07 | 2016-11-08 | Dolby Laboratories Licensing Corporation | Encoding and rendering of object based audio indicative of game audio content |
KR20140046980A (ko) * | 2012-10-11 | 2014-04-21 | 한국전자통신연구원 | 오디오 데이터 생성 장치 및 방법, 오디오 데이터 재생 장치 및 방법 |
JP6169718B2 (ja) | 2012-12-04 | 2017-07-26 | サムスン エレクトロニクス カンパニー リミテッド | オーディオ提供装置及びオーディオ提供方法 |
TWI530941B (zh) | 2013-04-03 | 2016-04-21 | 杜比實驗室特許公司 | 用於基於物件音頻之互動成像的方法與系統 |
EP3270375B1 (en) | 2013-05-24 | 2020-01-15 | Dolby International AB | Reconstruction of audio scenes from a downmix |
CN105247611B (zh) | 2013-05-24 | 2019-02-15 | 杜比国际公司 | 对音频场景的编码 |
TWI615834B (zh) * | 2013-05-31 | 2018-02-21 | Sony Corp | 編碼裝置及方法、解碼裝置及方法、以及程式 |
US9858932B2 (en) | 2013-07-08 | 2018-01-02 | Dolby Laboratories Licensing Corporation | Processing of time-varying metadata for lossless resampling |
EP2830047A1 (en) | 2013-07-22 | 2015-01-28 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for low delay object metadata coding |
EP2830045A1 (en) | 2013-07-22 | 2015-01-28 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Concept for audio encoding and decoding for audio channels and audio objects |
EP2830048A1 (en) | 2013-07-22 | 2015-01-28 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for realizing a SAOC downmix of 3D audio content |
US9373320B1 (en) | 2013-08-21 | 2016-06-21 | Google Inc. | Systems and methods facilitating selective removal of content from a mixed audio recording |
KR102243395B1 (ko) * | 2013-09-05 | 2021-04-22 | 한국전자통신연구원 | 오디오 부호화 장치 및 방법, 오디오 복호화 장치 및 방법, 오디오 재생 장치 |
KR101805630B1 (ko) * | 2013-09-27 | 2017-12-07 | 삼성전자주식회사 | 멀티 디코딩 처리 방법 및 이를 수행하기 위한 멀티 디코더 |
KR102107272B1 (ko) * | 2013-12-19 | 2020-05-06 | 아처 다니엘 미드랜드 캄파니 | 글리콜 아실화에 있어서 향상된 위치선택성 |
EP3122073B1 (en) * | 2014-03-19 | 2023-12-20 | Wilus Institute of Standards and Technology Inc. | Audio signal processing method and apparatus |
JP6374980B2 (ja) * | 2014-03-26 | 2018-08-15 | パナソニック株式会社 | サラウンドオーディオ信号処理のための装置及び方法 |
US10674299B2 (en) * | 2014-04-11 | 2020-06-02 | Samsung Electronics Co., Ltd. | Method and apparatus for rendering sound signal, and computer-readable recording medium |
US9794712B2 (en) | 2014-04-25 | 2017-10-17 | Dolby Laboratories Licensing Corporation | Matrix decomposition for rendering adaptive audio using high definition audio codecs |
US9774974B2 (en) * | 2014-09-24 | 2017-09-26 | Electronics And Telecommunications Research Institute | Audio metadata providing apparatus and method, and multichannel audio data playback apparatus and method to support dynamic format conversion |
KR102537541B1 (ko) | 2015-06-17 | 2023-05-26 | 삼성전자주식회사 | 저연산 포맷 변환을 위한 인터널 채널 처리 방법 및 장치 |
KR101754528B1 (ko) * | 2016-03-23 | 2017-07-06 | 한국광기술원 | 건식 접착구조를 갖는 led 구조체 어레이의 전사체와 이를 이용한 led 구조체 어레이의 이송방법 및 led 구조체 |
US10535355B2 (en) | 2016-11-18 | 2020-01-14 | Microsoft Technology Licensing, Llc | Frame coding for spatial audio data |
CN108206021B (zh) * | 2016-12-16 | 2020-12-18 | 南京青衿信息科技有限公司 | 一种后向兼容式三维声编码器、解码器及其编解码方法 |
EP3622509B1 (en) * | 2017-05-09 | 2021-03-24 | Dolby Laboratories Licensing Corporation | Processing of a multi-channel spatial audio format input signal |
US11595774B2 (en) * | 2017-05-12 | 2023-02-28 | Microsoft Technology Licensing, Llc | Spatializing audio data based on analysis of incoming audio data |
JP6772215B2 (ja) | 2018-05-28 | 2020-10-21 | 三井金属アクト株式会社 | ドアロック装置対 |
JP6652990B2 (ja) * | 2018-07-20 | 2020-02-26 | パナソニック株式会社 | サラウンドオーディオ信号処理のための装置及び方法 |
GB201909133D0 (en) * | 2019-06-25 | 2019-08-07 | Nokia Technologies Oy | Spatial audio representation and rendering |
JP7182751B6 (ja) * | 2019-12-02 | 2022-12-20 | ドルビー ラボラトリーズ ライセンシング コーポレイション | チャネルベースオーディオからオブジェクトベースオーディオへの変換のためのシステム、方法、及び機器 |
KR102243889B1 (ko) | 2019-12-13 | 2021-04-23 | 국방과학연구소 | 데이터 복호화 장치 및 방법 |
Family Cites Families (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE69210689T2 (de) * | 1991-01-08 | 1996-11-21 | Dolby Lab Licensing Corp | Kodierer/dekodierer für mehrdimensionale schallfelder |
US5815689A (en) * | 1997-04-04 | 1998-09-29 | Microsoft Corporation | Method and computer program product for synchronizing the processing of multiple data streams and matching disparate processing rates using a standardized clock mechanism |
US7644003B2 (en) * | 2001-05-04 | 2010-01-05 | Agere Systems Inc. | Cue-based audio coding/decoding |
AU2002343151A1 (en) * | 2001-11-23 | 2003-06-10 | Koninklijke Philips Electronics N.V. | Perceptual noise substitution |
US7797631B2 (en) * | 2002-09-18 | 2010-09-14 | Canon Kabushiki Kaisha | Document printing control apparatus and method |
CA3026276C (en) * | 2004-03-01 | 2019-04-16 | Dolby Laboratories Licensing Corporation | Reconstructing audio signals with multiple decorrelation techniques |
US8204261B2 (en) * | 2004-10-20 | 2012-06-19 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Diffuse sound shaping for BCC schemes and the like |
SE0402652D0 (sv) | 2004-11-02 | 2004-11-02 | Coding Tech Ab | Methods for improved performance of prediction based multi- channel reconstruction |
JP5106115B2 (ja) * | 2004-11-30 | 2012-12-26 | アギア システムズ インコーポレーテッド | オブジェクト・ベースのサイド情報を用いる空間オーディオのパラメトリック・コーディング |
KR100682904B1 (ko) | 2004-12-01 | 2007-02-15 | 삼성전자주식회사 | 공간 정보를 이용한 다채널 오디오 신호 처리 장치 및 방법 |
EP1859439B1 (en) * | 2005-03-14 | 2013-10-30 | Electronics and Telecommunications Research Institute | Multichannel audio compression and decompression method using virtual source location information |
ATE470930T1 (de) | 2005-03-30 | 2010-06-15 | Koninkl Philips Electronics Nv | Skalierbare mehrkanal-audiokodierung |
US7751572B2 (en) * | 2005-04-15 | 2010-07-06 | Dolby International Ab | Adaptive residual audio coding |
US7961890B2 (en) * | 2005-04-15 | 2011-06-14 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung, E.V. | Multi-channel hierarchical audio coding with compact side information |
EP1905004A2 (en) * | 2005-05-26 | 2008-04-02 | LG Electronics Inc. | Method of encoding and decoding an audio signal |
JP2009526467A (ja) | 2006-02-09 | 2009-07-16 | エルジー エレクトロニクス インコーポレイティド | オブジェクトベースオーディオ信号の符号化及び復号化方法とその装置 |
EP1853092B1 (en) * | 2006-05-04 | 2011-10-05 | LG Electronics, Inc. | Enhancing stereo audio with remix capability |
US8379868B2 (en) * | 2006-05-17 | 2013-02-19 | Creative Technology Ltd | Spatial audio coding based on universal spatial cues |
US20080004729A1 (en) * | 2006-06-30 | 2008-01-03 | Nokia Corporation | Direct encoding into a directional audio coding format |
KR20090013178A (ko) * | 2006-09-29 | 2009-02-04 | 엘지전자 주식회사 | 오브젝트 기반 오디오 신호를 인코딩 및 디코딩하는 방법 및 장치 |
US8364497B2 (en) * | 2006-09-29 | 2013-01-29 | Electronics And Telecommunications Research Institute | Apparatus and method for coding and decoding multi-object audio signal with various channel |
RU2431940C2 (ru) | 2006-10-16 | 2011-10-20 | Фраунхофер-Гезелльшафт цур Фёрдерунг дер ангевандтен Форшунг Е.Ф. | Аппаратура и метод многоканального параметрического преобразования |
EP2068307B1 (en) | 2006-10-16 | 2011-12-07 | Dolby International AB | Enhanced coding and parameter representation of multichannel downmixed object coding |
DE102006050068B4 (de) * | 2006-10-24 | 2010-11-11 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zum Erzeugen eines Umgebungssignals aus einem Audiosignal, Vorrichtung und Verfahren zum Ableiten eines Mehrkanal-Audiosignals aus einem Audiosignal und Computerprogramm |
KR101055739B1 (ko) | 2006-11-24 | 2011-08-11 | 엘지전자 주식회사 | 오브젝트 기반 오디오 신호의 부호화 및 복호화 방법과 그 장치 |
US8370164B2 (en) * | 2006-12-27 | 2013-02-05 | Electronics And Telecommunications Research Institute | Apparatus and method for coding and decoding multi-object audio signal with various channel including information bitstream conversion |
US8296158B2 (en) * | 2007-02-14 | 2012-10-23 | Lg Electronics Inc. | Methods and apparatuses for encoding and decoding object-based audio signals |
US8073125B2 (en) * | 2007-09-25 | 2011-12-06 | Microsoft Corporation | Spatial audio conferencing |
KR101461685B1 (ko) * | 2008-03-31 | 2014-11-19 | 한국전자통신연구원 | 다객체 오디오 신호의 부가정보 비트스트림 생성 방법 및 장치 |
US8311810B2 (en) * | 2008-07-29 | 2012-11-13 | Panasonic Corporation | Reduced delay spatial coding and decoding apparatus and teleconferencing system |
-
2007
- 2007-12-27 US US12/521,433 patent/US8370164B2/en active Active
- 2007-12-27 CN CN2013100537093A patent/CN103137131A/zh active Pending
- 2007-12-27 EP EP20130152923 patent/EP2595151A3/en not_active Withdrawn
- 2007-12-27 EP EP20070860705 patent/EP2097895A4/en not_active Withdrawn
- 2007-12-27 CN CN201210381376.2A patent/CN102883257B/zh active Active
- 2007-12-27 CN CN2007800517586A patent/CN101632118B/zh active Active
- 2007-12-27 JP JP2009543949A patent/JP5941610B2/ja active Active
- 2007-12-27 WO PCT/KR2007/006910 patent/WO2008078973A1/en active Application Filing
- 2007-12-27 EP EP20130152922 patent/EP2595150A3/en not_active Withdrawn
- 2007-12-27 KR KR1020070138847A patent/KR101086347B1/ko active IP Right Grant
- 2007-12-27 EP EP20130152829 patent/EP2595149A3/en not_active Ceased
- 2007-12-27 CN CN201210033862.5A patent/CN102595303B/zh active Active
- 2007-12-27 EP EP20130152926 patent/EP2595152A3/en not_active Withdrawn
- 2007-12-27 CN CN201310053705.5A patent/CN103137130B/zh active Active
- 2007-12-27 CN CN201310056244.7A patent/CN103137132B/zh active Active
- 2007-12-27 EP EP20130152827 patent/EP2595148A3/en not_active Withdrawn
-
2010
- 2010-03-24 KR KR1020100026330A patent/KR101531239B1/ko active IP Right Grant
-
2011
- 2011-02-18 KR KR1020110014763A patent/KR101546744B1/ko active IP Right Grant
-
2012
- 2012-11-22 JP JP2012256586A patent/JP5694279B2/ja active Active
- 2012-12-26 KR KR1020120153690A patent/KR101309672B1/ko active IP Right Grant
- 2012-12-26 KR KR1020120153474A patent/KR101395254B1/ko active IP Right Grant
- 2012-12-26 KR KR1020120153640A patent/KR101309673B1/ko active IP Right Grant
-
2013
- 2013-01-02 US US13/732,682 patent/US9257127B2/en active Active
- 2013-01-24 JP JP2013011340A patent/JP6027901B2/ja active Active
- 2013-01-24 JP JP2013011336A patent/JP5674833B2/ja active Active
- 2013-01-24 JP JP2013011344A patent/JP2013101384A/ja active Pending
- 2013-01-24 JP JP2013011324A patent/JP5752722B2/ja active Active
-
2016
- 2016-06-28 JP JP2016127783A patent/JP6446407B2/ja active Active
-
2018
- 2018-12-03 JP JP2018226651A patent/JP2019074743A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6446407B2 (ja) | トランスコーディング方法 | |
JP2010515099A5 (ja) | ||
JP4685925B2 (ja) | 適応残差オーディオ符号化 | |
KR101422745B1 (ko) | 다채널로 구성된 다객체 오디오 신호의 인코딩 및 디코딩장치 및 방법 | |
JP6117997B2 (ja) | 符号化表現に基づいて少なくとも4つのオーディオチャネル信号を提供するためのオーディオデコーダ、オーディオエンコーダ、方法、帯域幅拡張を用いた少なくとも4つのオーディオチャネル信号に基づいて符号化表現を提供するための方法およびコンピュータプログラム | |
JP4601669B2 (ja) | マルチチャネル信号またはパラメータデータセットを生成する装置および方法 | |
JP6133422B2 (ja) | マルチチャネルをダウンミックス/アップミックスする場合のため一般化された空間オーディオオブジェクト符号化パラメトリック概念のデコーダおよび方法 | |
JP2013506164A (ja) | オーディオ信号デコーダ、オーディオ信号エンコーダ、アップミックス信号表現の生成方法、ダウンミックス信号表現の生成方法、コンピュータプログラム、及び共通するオブジェクト間相関パラメータ値を用いるビットストリーム |