JP2016528541A - 効率的なオブジェクト・メタデータ符号化の装置と方法 - Google Patents

効率的なオブジェクト・メタデータ符号化の装置と方法 Download PDF

Info

Publication number
JP2016528541A
JP2016528541A JP2016528437A JP2016528437A JP2016528541A JP 2016528541 A JP2016528541 A JP 2016528541A JP 2016528437 A JP2016528437 A JP 2016528437A JP 2016528437 A JP2016528437 A JP 2016528437A JP 2016528541 A JP2016528541 A JP 2016528541A
Authority
JP
Japan
Prior art keywords
metadata
signals
audio
signal
compressed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016528437A
Other languages
English (en)
Other versions
JP6239110B2 (ja
Inventor
ボルス,クリスチャン
エルテル,クリスチャン
Original Assignee
フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from EP20130177378 external-priority patent/EP2830045A1/en
Application filed by フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン filed Critical フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン
Publication of JP2016528541A publication Critical patent/JP2016528541A/ja
Application granted granted Critical
Publication of JP6239110B2 publication Critical patent/JP6239110B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S5/00Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H04S5/005Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation  of the pseudo five- or more-channel type, e.g. virtual surround
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/005Correction of errors induced by the transmission channel, if related to the coding algorithm
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S3/00Systems employing more than two channels, e.g. quadraphonic
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S3/00Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S3/00Systems employing more than two channels, e.g. quadraphonic
    • H04S3/02Systems employing more than two channels, e.g. quadraphonic of the matrix type, i.e. in which input signals are combined algebraically, e.g. after having been phase shifted with respect to each other
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/03Aspects of down-mixing multi-channel audio to configurations with lower numbers of playback channels, e.g. 7.1 -> 5.1
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/03Application of parametric coding in stereophonic audio systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Algebra (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Stereophonic System (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

1つ以上のオーディオチャネルを生成する装置(100)が提供される。この装置は、1つ以上の圧縮済みメタデータ信号を受信するメタデータ復号器(110)を備える。1つ以上の圧縮済みメタデータ信号の各々は複数の第1メタデータサンプルを含み、これら第1メタデータサンプルは1つ以上のオーディオオブジェクト信号のうちの1つのオーディオオブジェクト信号に関連する情報を示す。メタデータ復号器(110)は1つ以上の再生メタデータ信号を生成し、その再生メタデータ信号の各々が1つ以上の圧縮済みメタデータ信号の1つにおける第1メタデータサンプルを含み、さらに複数の第2メタデータサンプルを含む。メタデータ復号器(110)は、再生メタデータ信号の第1メタデータサンプルの少なくとも2つに依存して、1つ以上の再生メタデータ信号の各再生メタデータ信号の第2メタデータサンプルの各々を生成する。さらにこの装置(100)は、1つ以上のオーディオオブジェクト信号に依存しかつ1つ以上の再生メタデータ信号に依存して、1つ以上のオーディオチャネルを生成するオーディオチャネル生成部(120)を備える。【選択図】 図1

Description

本発明はオーディオ符号化/復号化に関し、特に空間オーディオ符号化及び空間オーディオオブジェクト符号化に関し、更に詳しくは効率的なオブジェクト・メタデータ符号化の装置と方法に関する。
空間オーディオ符号化ツールは当該技術において公知であり、例えばMPEGサラウンド標準で標準化されている。空間オーディオ符号化は、5個又は7個のチャネルなどのオリジナル入力チャネルから開始し、それらチャネルは再生設定におけるそれらの配置によって識別される。即ち、左チャネル、中央チャネル、右チャネル、左サラウンドチャネル、右サラウンドチャネル、及び低周波数強化チャネルである。空間オーディオ符号器は、典型的にはオリジナルチャネルから1つ以上のダウンミクスチャネルを導出し、加えて空間的キューに関連するパラメトリックデータを導出しており、その空間的キューにはチャネルコヒーレンス値におけるチャネル間レベル差(interchannel level differences)、チャネル間位相差(interchannel phase differences)、チャネル間時間差(interchannel time differences)などがある。1つ以上のダウンミクスチャネルは、空間的キューを示すパラメトリックサイド情報と一緒に空間オーディオ復号器へと伝送され、その復号器は、ダウンミクスチャネルとその関連するパラメトリックデータとを復号化して、オリジナル入力チャネルの近似されたバージョンである出力チャネルを最終的に取得する。出力設定におけるチャネルの配置は典型的には固定されており、例えば5.1フォーマット、7.1フォーマットなどである。
そのようなチャネルベースのオーディオフォーマットは、多チャネルオーディオコンテンツを記憶又は伝送するために広く使用されており、その場合、各チャネルは所与の位置にある特異なラウドスピーカに関連している。このような種類のフォーマットを忠実に再生するためには、オーディオ信号の生成時に使用されたスピーカ一位置と同じ位置にスピーカが配置されているような、ラウドスピーカ設定が要求される。ラウドスピーカの個数を増加させると、真に音に浸りこむような改善された3Dオーディオシーンの再生が可能になる一方で、特にリビングルームのような家庭的な環境では、そのような要求を満たすことはますます困難になる。
特異なラウドスピーカ設定を有することの必要性は、ラウドスピーカ信号が再生設定のために特異的にレンダリングされるオブジェクト・ベースの手法によって克服され得る。
例えば空間オーディオオブジェクト符号化ツールは、当該技術において公知であり、MPEG SAOC標準(SAOC=空間オーディオオブジェクト符号化)において標準化されている。オリジナルチャネルから開始する空間オーディオ符号化とは対照的に、空間オーディオオブジェクト符号化はオーディオオブジェクトから開始し、それらオブジェクトはあるレンダリング再生設定に対して自動的に専用となる訳ではない。代わりに、再生シーン内におけるオーディオオブジェクトの配置には柔軟性があり、あるレンダリング情報を空間オーディオオブジェクト符号化・復号器へと入力することによりユーザーが決定することもできる。代替的又は追加的に、レンダリング情報、即ち再生設定におけるどの位置に、あるオーディオオブジェクトが典型的には時間にわたって配置されるべきかという情報は、追加的サイド情報又はメタデータとして伝送され得る。あるデータ圧縮を得るために幾つかのオーディオオブジェクトがSAOC符号器によって符号化され、その符号器は、あるダウンミクス情報に従ってオブジェクトをダウンミクスすることで入力オブジェクトから1つ以上の転送チャネルを計算する。更に、SAOC符号器は、オブジェクトレベル差(OLD)、オブジェクトコヒーレンス値などのオブジェクト間キューを表現しているパラメトリックサイド情報を計算する。SAC(SAC=空間オーディオ符号化)においては、オブジェクト間のパラメトリックデータが個別の時間/周波数タイルについて計算される。即ち、例えば1024個又は2048個のサンプルを有するオーディオ信号のあるフレームについて、最終的に各フレーム及び各周波数帯域に対してパラメトリックデータが存在するように、24個,32個又は64個などの周波数帯域が考慮される。一例として、あるオーディオピースが20フレームを有し、各フレームが32個の周波数帯域へと分割される場合、時間/周波数タイルの数は640個となる。
オブジェクト・ベースの手法において、音場は離散的なオーディオオブジェクトによって記述される。そのため、とりわけ3D空間における各音源の時間変化する位置を記述するオブジェクト・メタデータが必要になる。
先行技術における第1のメタデータ符号化概念は、空間サウンド記述インターチェンジフォーマット(SpatDIF)であり、これは未だ開発中のオーディオシーン記述フォーマットである(非特許文献1)。そのフォーマットは、オブジェクト・ベースのサウンドシーンのためのインターチェンジフォーマットとして設計され、オブジェクト軌跡についての圧縮方法を何も提供してはいない。SpatDIFは、オブジェクト・メタデータを構築するために、テキスト・ベースのオープンサウンド制御(OSC)フォーマットを使用する(非特許文献2)。しかしながら、単純なテキスト・ベースの表現はオブジェクト軌跡の圧縮された伝送のための選択肢にはならない。
先行技術における他のメタデータ概念はオーディオシーン記述フォーマット(ASDF)(非特許文献3)であり、同様の欠点を持つテキスト・ベースの解決策である。そのデータは、拡張可能なマーク付け言語(Extensible Markup Language:XML)(非特許文献4、非特許文献5)の部分集合である、同期されたマルチメディア統合言語(Synchronized Multimedia Integration Language:SMIL)の拡張によって構築される。
先行技術における更なるメタデータ概念は、シーンのためのオーディオバイナリフォーマット(AudioBIFS)であり、MPEG−4仕様(非特許文献6、非特許文献7)の一部であるバイナリフォーマットである。そのフォーマットは、視聴覚の3Dシーンや双方向仮想現実アプリケーション(非特許文献8)のために開発されたXMLベースの仮想現実モデリング言語(Virtual Reality Modeling Language:VRML)に深く関連している。複雑なAudioBIFS仕様は、オブジェクトの動きの経路を特定するためにシーングラフを使用する。AudioBIFSの主たる欠点は、制限されたシステム遅延及びデータストリームへのランダムアクセスが要件となるようなリアルタイム操作のために設計されていないという点である。更に、オブジェクト位置の符号化は人間のリスナーの制限された定位性能を活用していない。視聴覚シーン内の固定的なリスナー位置に対しては、オブジェクトデータは遥かに少数のビットで量子化され得る(非特許文献9)。よって、AudioBIFSの中で適用されるオブジェクト・メタデータの符号化は、データ圧縮に関して効率的でない。
そこで、改善された効率的なオブジェクト・メタデータ符号化の概念が提供されれば、高く評価されるであろう。
[1] Peters, N., Lossius, T. and Schacher J. C., "SpatDIF: Principles, Specification, and Examples", 9th Sound and Music Computing Conference, Copenhagen, Denmark, Jul. 2012. [2] Wright, M., Freed, A., "Open Sound Control: A New Protocol for Communicating with Sound Synthesizers", International Computer Music Conference, Thessaloniki, Greece, 1997. [3] Matthias Geier, Jens Ahrens, and Sascha Spors. (2010), "Object-based audio reproduction and the audio scene description format", Org. Sound, Vol. 15, No. 3, pp. 219-227, December 2010. [4] W3C, "Synchronized Multimedia Integration Language (SMIL 3.0)", Dec. 2008. [5] W3C, "Extensible Markup Language (XML) 1.0 (Fifth Edition)", Nov. 2008. [6] MPEG, "ISO/IEC International Standard 14496-3 - Coding of audio-visual objects, Part 3 Audio", 2009. [7] Schmidt, J.; Schroeder, E. F. (2004), "New and Advanced Features for Audio Presentation in the MPEG-4 Standard", 116th AES Convention, Berlin, Germany, May 2004 [8] Web3D, "International Standard ISO/IEC 14772-1:1997 - The Virtual Reality Modeling Language (VRML), Part 1: Functional specification and UTF-8 encoding", 1997. [9] Sporer, T. (2012), "Codierung raeumlicher Audiosignale mit leichtgewichtigen Audio-Objekten", Proc. Annual Meeting of the German Audiological Society (DGA), Erlangen, Germany, Mar. 2012. [10] Ramer, U. (1972), "An iterative procedure for the polygonal approximation of plane curves", Computer Graphics and Image Processing, 1(3), 244?256. [11] Douglas, D.; Peucker, T. (1973), "Algorithms for the reduction of the number of points required to represent a digitized line or its caricature", The Canadian Cartographer 10(2), 112?122. [12] Ville Pulkki, "Virtual Sound Source Positioning Using Vector Base Amplitude Panning"; J. Audio Eng. Soc., Volume 45, Issue 6, pp. 456-466, June 1997.
本発明の目的は、効率的なオブジェクト・メタデータ符号化のための改善された概念を提供することである。本発明の目的は、請求項1に記載の装置と、請求項8に記載の装置と、請求項14に記載のシステムと、請求項15に記載の方法と、請求項16に記載の方法と、請求項17に記載のコンピュータプログラムとによって達成される。
1つ以上のオーディオチャネルを生成する装置が提供される。この装置は、1つ以上の圧縮済みメタデータ信号を受信するメタデータ復号器を含む。1つ以上の圧縮済みメタデータ信号の各々は複数の第1メタデータサンプルを含む。1つ以上の圧縮済みメタデータ信号の各々の第1メタデータサンプルは、1つ以上のオーディオオブジェクト信号のうちの1つのオーディオオブジェクト信号に関連する情報を示す。メタデータ復号器は1つ以上の再生メタデータ信号を、それら1つ以上の再生メタデータ信号の各々が1つ以上の圧縮済みメタデータ信号の1つの第1メタデータサンプルを含み、さらに複数の第2メタデータサンプルを含むように、生成するよう構成されている。更に、メタデータ復号器は、1つ以上の再生メタデータ信号の各再生メタデータ信号の第2メタデータサンプルの各々を、前記再生メタデータ信号の第1メタデータサンプルの少なくとも2つに依存して、生成するよう構成されている。更に、この装置は、1つ以上のオーディオオブジェクト信号に依存しかつ1つ以上の再生メタデータ信号に依存して、1つ以上のオーディオチャネルを生成するオーディオチャネル生成部を含む。
更に、1つ以上の符号化済みオーディオ信号と1つ以上の圧縮済みメタデータ信号とを含む符号化済みオーディオ情報を生成する装置が提供される。この装置は、1つ以上のオリジナル・メタデータ信号を受信するメタデータ符号器を含む。1つ以上のオリジナル・メタデータ信号の各々は複数のメタデータサンプルを含む。1つ以上のオリジナル・メタデータ信号の各々のメタデータサンプルは、1つ以上のオーディオオブジェクト信号の1つのオーディオオブジェクト信号に関連する情報を示す。メタデータ符号器は、1つ以上の圧縮済みメタデータ信号を以下のように生成するよう構成されている。即ち、1つ以上の圧縮済みメタデータ信号の各圧縮済みメタデータ信号が、オリジナル・メタデータ信号の1つにおける2つ以上のメタデータサンプルの第1グループを含み、且つ、前記圧縮済みメタデータ信号が、オリジナル・メタデータ信号の前記1つにおける他の2つ以上のメタデータサンプルの第2グループのメタデータサンプルを何も含まないように、生成する。更に、この装置は、1つ以上のオーディオオブジェクト信号を符号化して、1つ以上の符号化済みオーディオ信号を取得する、オーディオ符号器を含む。
更に、あるシステムが提供される。そのシステムは、上述のような1つ以上の符号化済みオーディオ信号と1つ以上の圧縮済みメタデータ信号とを含む、符号化済みオーディオ情報を生成する装置を含む。更に、そのシステムは、1つ以上の符号化済みオーディオ信号と1つ以上の圧縮済みメタデータ信号とを受信し、且つ、上述のような1つ以上の符号化済みオーディオ信号と1つ以上の圧縮済みメタデータ信号とに依存して1つ以上のオーディオチャネルを生成する装置を含む。
実施形態によれば、オブジェクト・メタデータのためのデータ圧縮概念が提供され、それら概念は、限定されたデータレートでの伝送チャネルのための効率的な圧縮メカニズムを達成する。更に、純粋な方位角変化、例えばカメラ回転に対する良好な圧縮レートが達成される。更に、提案の概念は、例えば位置的ジャンプのような、不連続的な軌跡をサポートする。更に、複雑性の低い復号化を実現できる。更に、限定的な再初期化時間を有するランダムアクセスを達成できる。
1つ以上のオーディオチャネルを生成する方法が提供される。その方法は、
−1つ以上の圧縮済みメタデータ信号を受信するステップであって、1つ以上の圧縮済みメタデータ信号の各々が複数の第1メタデータサンプルを含み、1つ以上の圧縮済みメタデータ信号の各々の第1メタデータサンプルが、1つ以上のオーディオオブジェクト信号の1つのオーディオオブジェクト信号に関連する情報を示す、ステップと、
−1つ以上の再生メタデータ信号を生成するステップであって、1つ以上の再生メタデータ信号の各々は、1つ以上の圧縮済みメタデータ信号のうちの1つの第1メタデータサンプルを含みかつ複数の第2メタデータサンプルを含み、1つ以上の再生メタデータ信号を生成するステップが、1つ以上の再生メタデータ信号の各再生メタデータ信号の第2メタデータサンプルの各々を、前記再生メタデータ信号の第1メタデータサンプルの少なくとも2つに依存して生成するステップを含む、ステップと、
−1つ以上のオーディオオブジェクト信号に依存し、かつ1つ以上の再生メタデータ信号に依存して、1つ以上のオーディオチャネルを生成するステップと、
を含む。
更に、1つ以上の符号化済みオーディオ信号と1つ以上の圧縮済みメタデータ信号とを含む、符号化済みオーディオ情報を生成する方法が提供される。その方法は、
−1つ以上のオリジナル・メタデータ信号を受信するステップであって、1つ以上のオリジナル・メタデータ信号の各々は、複数のメタデータサンプルを含み、1つ以上のオリジナル・メタデータ信号の各々のメタデータサンプルは、1つ以上のオーディオオブジェクト信号の1つのオーディオオブジェクト信号に関連する情報を示す、ステップと、
−1つ以上の圧縮済みメタデータ信号を生成するステップであって、1つ以上の圧縮済みメタデータ信号の各圧縮済みメタデータ信号が、オリジナル・メタデータ信号のうちの1つの、メタデータサンプルの2つ以上からなる第1グループを含み、且つ、前記圧縮済みメタデータ信号が、オリジナル・メタデータ信号のうちの前記1つの、メタデータサンプルの他の2つ以上からなる第2グループのメタデータサンプルを何も含まないように、生成するステップと、
−1つ以上のオーディオオブジェクト信号を符号化して、1つ以上の符号化済みオーディオ信号を取得するステップと、
を含む。
更に、コンピュータ又は信号プロセッサ上で作動するとき、上述の方法を実行するコンピュータプログラムが提供される。
以下に、本発明の実施形態を、図面を参照しながらより詳細に説明する。
1つ以上のオーディオチャネルを生成する、一実施形態に係る装置を示す。 1つ以上の符号化済みオーディオ信号及び1つ以上の圧縮済みメタデータ信号を含む符号化済みオーディオ情報を生成する、一実施形態に係る装置を示す。 一実施形態に係るシステムを示す。 方位角、仰角及び半径により表現された、原点からの3次元空間におけるオーディオオブジェクトの位置を示す。 オーディオチャネル生成部により想定されたオーディオオブジェクト及びラウドスピーカ設定の位置を示す。 一実施形態に係るメタデータ符号化を示す。 一実施形態に係るメタデータ復号化を示す。 他の実施形態に係るメタデータ符号化を示す。 他の実施形態に係るメタデータ復号化を示す 別の実施形態に係るメタデータ符号化を示す。 別の実施形態に係るメタデータ復号化を示す 3Dオーディオ符号器の第1実施形態を示す。 3Dオーディオ復号器の第1実施形態を示す。 3Dオーディオ符号器の第2実施形態を示す。 3Dオーディオ復号器の第2実施形態を示す。 3Dオーディオ符号器の第3実施形態を示す。 3Dオーディオ復号器の第3実施形態を示す。
図2は、1つ以上の符号化済みオーディオ信号と1つ以上の圧縮済みメタデータ信号とを含む、符号化済みオーディオ情報を生成するための一実施形態に係る装置250を示す。
装置250は、1つ以上のオリジナル・メタデータ信号を受信するメタデータ符号器210を含む。1つ以上のオリジナル・メタデータ信号の各々は、複数のメタデータサンプルを含む。1つ以上のオリジナル・メタデータ信号の各々のオリジナル・メタデータサンプルは、1つ以上のオーディオオブジェクト信号の1つのオーディオオブジェクト信号に関連する情報を示す。メタデータ符号器210は、1つ以上の圧縮済みメタデータ信号の各圧縮済みメタデータ信号がオリジナル・メタデータ信号の1つの2つ以上のメタデータサンプルの第1グループを含み、かつ前記圧縮済みメタデータ信号がオリジナル・メタデータ信号の前記1つのメタデータサンプルの他の2つ以上の第2グループのメタデータサンプルを何も含まないように、1つ以上の圧縮済みメタデータ信号を生成するよう構成されている。
更に装置250は、1つ以上のオーディオオブジェクト信号を符号化して、1つ以上の符号化済みオーディオ信号を取得するオーディオ符号器220を含む。例えば、オーディオチャネル生成部は、1つ以上のオーディオオブジェクト信号を符号化し、1つ以上の符号化済みオーディオ信号として1つ以上のSAOC転送チャネルを取得する、現状技術に係るSAOC符号器を備えていてもよい。1つ以上のオーディオオブジェクトチャネルを符号化するための種々の他の符号化技術が代替的又は追加的に使用されて、1つ以上のオーディオオブジェクトチャネルを符号化してもよい。
図1は、1つ以上のオーディオチャネルを生成する一実施形態に係る装置100を示す。
装置100は、1つ以上の圧縮済みメタデータ信号を受信するメタデータ復号器110を含む。1つ以上の圧縮済みメタデータ信号の各々は、複数の第1メタデータサンプルを含む。1つ以上の圧縮済みメタデータ信号の各々の第1メタデータサンプルは、1つ以上のオーディオオブジェクト信号のうちの1つのオーディオオブジェクト信号に関連する情報を示す。メタデータ復号器110は1つ以上の再生メタデータ信号を生成するよう構成されており、それら1つ以上の再生メタデータ信号の各々は、1つ以上の圧縮済みメタデータ信号の1つの第1メタデータサンプルを含み、更に複数の第2メタデータサンプルを含む。更にメタデータ復号器110は、1つ以上の再生メタデータ信号の各再生メタデータ信号の第2メタデータサンプルの各々を、前記再生メタデータ信号の第1メタデータサンプルの少なくとも2つに依存して生成するよう構成されている。
更に装置100は、1つ以上のオーディオオブジェクト信号に依存しかつ1つ以上の再生メタデータ信号に依存して、1つ以上のオーディオチャネルを生成するオーディオチャネル生成部120を含む。
メタデータサンプルについて言及する場合には、1つのメタデータサンプルは、そのメタデータサンプル値によって特徴付けられるだけでなく、そのメタデータサンプルが関連する時点によっても特徴付けられるという点にも留意すべきである。例えば、そのような時点とは、オーディオシーケンスの開始点又はそれと同様な点に対して相対的であってもよい。例えば、インデックスn又はkはメタデータ信号内のメタデータサンプルの位置を識別していてもよく、これにより、(開始時刻に関連する)(相対的)時点が示されてもよい。注意すべきは、2つのメタデータサンプルが異なる時点に関連する場合、(時々起こり得ることであるが)たとえそれらのメタデータサンプル値が同一であったとしても、それら2つのメタデータサンプルは異なるメタデータサンプルであるということである。
上述の実施形態は、オーディオオブジェクト信号と関連する(メタデータ信号に含まれる)メタデータ情報がゆっくりと変化する場合が多い、という知見に基づいている。
例えば、メタデータ信号は、オーディオオブジェクトについての位置情報(例えばオーディオオブジェクトの位置を定義する方位角、仰角又は半径)を示してもよい。殆どの時点でオーディオオブジェクトの位置は変化しないか又はゆっくりとだけ変化する、と想定されてもよい。
あるいは、メタデータ信号は、例えばオーディオオブジェクトの音量(例えばゲイン)を示してもよく、殆どの時点でオーディオオブジェクトの音量はゆっくりと変化すると想定されてもよい。
このような理由により、全ての時点における(完全な)メタデータ情報を伝送する必要はない。その代わり、幾つかの実施形態によれば、(完全な)メタデータ情報が例えばある時点においてだけ伝送されてもよく、例えばN番目の時点毎に周期的に、例えば時点0,N,2N,3N等において伝送されてもよい。その場合、復号器側では、(例えば時点1,2,…,N−1などの)中間時点に関し、2つ以上の時点についてのメタデータサンプルに基づいてメタデータが近似され得る。例えば、時点1,2,…,N−1についてのメタデータサンプルは、復号器側において、時点0及びNについてのメタデータサンプルに依存して、例えば線形補間を使用して近似され得る。上述したように、そのような手法は、オーディオオブジェクトについてのメタデータ情報が一般的に低速で変化するという知見に基づいている。
例えば、実施形態においては、3個のメタデータ信号が3D空間におけるオーディオオブジェクトの位置を特定する。メタデータ信号の1番目は、例えばオーディオオブジェクトの位置の方位角を特定してもよい。メタデータ信号の2番目は、例えばオーディオオブジェクトの位置の仰角を特定してもよい。メタデータ信号の3番目は、例えばオーディオオブジェクトの距離に関係する半径を特定してもよい。
方位角と仰角と半径とは、3D空間におけるオーディオオブジェクトの原点からの位置を明確に定義する。これについては図4を参照しながら説明する。
図4は、三次元(3D)空間におけるオーディオオブジェクトの原点400からの位置410を、方位角と仰角と半径とで示す。
仰角は、例えば、原点からオブジェクト位置までの直線と、この直線のxy平面(x軸とy軸とによって定義される平面)への垂直投影線との角度を特定する。方位角は、例えばx軸と前記垂直投影線との角度を定義する。方位角と仰角とを特定することで、原点400とオーディオオブジェクトの位置410とを通過する直線415が定義され得る。更に半径を特定することで、オーディオオブジェクトの正確な位置410が定義され得る。
一実施形態において、方位角は−180°<方位角≦180°の範囲で定義され、仰角は−90°≦仰角≦90°の範囲で定義され、半径は例えばメートル[m](0m以上である)で定義され得る。
例えばxyz座標系におけるオーディオオブジェクト位置の全てのx値がゼロ以上であると想定され得るような他の実施形態においては、方位角は−90°≦方位角≦90°の範囲で定義され、仰角は−90°≦仰角≦90°の範囲で定義され、半径は例えばメートル[m]で定義され得る。
更なる実施形態において、方位角が−128°<方位角≦128°の範囲で定義され、仰角が−32°≦仰角≦32°の範囲で定義され、半径が例えば対数スケールで定義され得るように、メタデータ信号はスケールされてもよい。幾つかの実施形態において、オリジナル・メタデータ信号、処理済みメタデータ信号、及び再生メタデータ信号は、それぞれ、1つ以上のオーディオオブジェクト信号の1つの位置情報のスケールされた表現及び/又は音量のスケールされた表現を含んでもよい。
オーディオチャネル生成部120は、例えば、1つ以上のオーディオオブジェクト信号に依存しかつ再生メタデータ信号に依存して、1つ以上のオーディオチャネルを生成するよう構成されてもよく、その再生メタデータ信号は、例えばオーディオオブジェクトの位置を示してもよい。
図5は、オーディオオブジェクトの位置と、オーディオチャネル生成部により想定されるラウドスピーカ設定とを示す。xyz座標系の原点500が示されている。更に、第1オーディオオブジェクトの位置510と、第2オーディオオブジェクトの位置520とが示されている。更に、図5は、オーディオチャネル生成部120が4個のラウドスピーカのための4個のオーディオチャネルを生成するシナリオを示す。オーディオチャネル生成部120は、4個のラウドスピーカ511,512,513,514が図5に示す位置に配置されていると想定している。
図5において、第1オーディオオブジェクトは、ラウドスピーカ511と512の想定位置に近い位置510に配置されており、ラウドスピーカ513と514からは遠い位置に配置されている。従って、オーディオチャネル生成部120は、第1オーディオオブジェクト510がラウドスピーカ511及び512により再生され、ラウドスピーカ513及び514では再生されないように、4個のオーディオチャネルを生成してもよい。
他の実施形態において、オーディオチャネル生成部120は、第1オーディオオブジェクト510がラウドスピーカ511及び512により高い音量で再生され、ラウドスピーカ513及び514により低い音量で再生されるように、4個のオーディオチャネルを生成してもよい。
更に、第2オーディオオブジェクトは、ラウドスピーカ513と514の想定位置に近い位置520に配置されており、ラウドスピーカ511と512からは遠い位置に配置されている。従って、オーディオチャネル生成部120は、第2オーディオオブジェクト520がラウドスピーカ513及び514により再生され、ラウドスピーカ511及び512では再生されないように、4個のオーディオチャネルを生成してもよい。
他の実施形態において、オーディオチャネル生成部120は、第2オーディオオブジェクト520がラウドスピーカ513及び514により高い音量で再生され、ラウドスピーカ511及び512により低い音量で再生されるように、4個のオーディオチャネルを生成してもよい。
代替的な実施形態において、オーディオオブジェクトの位置を特定するために、2個のメタデータ信号だけが使用されてもよい。例えば、全てのオーディオオブジェクトが単一平面に配置されていると想定される場合には、例えば方位角と半径だけが特定されてもよい。
更に他の実施形態においては、各オーディオオブジェクトのために、単一のメタデータ信号だけが位置情報として符号化されかつ伝送される。例えば、あるオーディオオブジェクトについて、方位角だけが位置情報として特定されてもよい(例えば全てのオーディオオブジェクトが同一平面上に配置され、中心点から同一距離を持ち、従って同一半径を有すると想定される場合など)。方位角情報は、例えば、オーディオオブジェクトが左のラウドスピーカに近く、右のラウドスピーカからは遠いと判定することで十分であってもよい。そのような状況において、オーディオチャネル生成部120は、例えばオーディオオブジェクトが左のラウドスピーカによって再生されるが、右のラウドスピーカでは再生されないように、1つ以上のオーディオチャネルを生成してもよい。
例えば、ラウドスピーカのオーディオチャネルの各々の中におけるオーディオオブジェクト信号の重みを決定するために、ベクトル方式振幅パニング(Vector Base Amplitude Panning (VBAP))が使用されてもよい(例えば非特許文献12を参照)。例えば、VBAPに関しては、オーディオオブジェクトが仮想音源に関連すると想定されている。
実施形態において、各オーディオオブジェクトについて、更なるメタデータ信号が音量、例えばゲイン(例えばデシベル[dB]で表現された)を特定してもよい。
例えば図5において、第1ゲイン値は、位置510に配置された第1オーディオオブジェクトのための更なるメタデータ信号により特定されてもよく、その値は、位置520に配置された第2オーディオオブジェクトのための別の更なるメタデータ信号によって特定される第2ゲイン値よりも高い。そのような状況において、ラウドスピーカ511及び512は第1オーディオオブジェクトを、ラウドスピーカ513及び514が第2オーディオオブジェクトを再生する音量よりも高い音量で再生してもよい。
実施形態はまた、オーディオオブジェクトのそのようなゲイン値がゆっくりと変化する場合が多いと想定している。従って、そのようなメタデータ情報を全ての時点において伝送する必要はない。代わりに、メタデータ情報は、ある時点において伝送されるだけである。中間の時点においては、メタデータ情報は、例えば伝送された先行するメタデータサンプルと後続のメタデータサンプルとを使用して近似されてもよい。例えば、中間値の近似のために線形補間が使用されてもよい。例えば、オーディオオブジェクトの各々のゲイン、方位角、仰角及び/又は半径が、そのようなメタデータが伝送されなかった時点のために近似されてもよい。
そのような手法により、メタデータの伝送レートにおける相当な節約を達成し得る。
図3は、一実施形態に従うシステムを示す。
このシステムは、1つ以上の符号化済みオーディオ信号と1つ以上の処理済みメタデータ信号とを含む符号化済みオーディオ情報を生成する、上述のような装置250を備える。
更に、そのシステムは、1つ以上の符号化済みオーディオ信号と1つ以上の圧縮済みメタデータ信号とを受信し、且つ、その1つ以上の符号化済みオーディオ信号と1つ以上の圧縮済みメタデータ信号とに依存して、1つ以上のオーディオチャネルを上述のように生成する装置100を備える。
例えば、1つ以上のオーディオオブジェクトを符号化するための符号化装置250がSAOC符号器を使用した場合には、1つ以上の符号化済みオーディオ信号が、現状技術に係るSAOC復号器を使用して1つ以上のオーディオチャネルを生成する装置100によって復号化されて、1つ以上のオーディオオブジェクト信号が取得されてもよい。
オブジェクト位置をメタデータに関する一例としてだけ考慮する場合、限定的な再初期化時間でランダムアクセスを可能にするために、実施形態は、全てのオブジェクト位置の完全な再伝送を規則的なベースで提供する。
一実施形態によれば、装置100はランダムアクセス情報を受信するよう構成されており、1つ以上の圧縮済みメタデータ信号の各圧縮済みメタデータ信号について、ランダムアクセス情報は前記圧縮済みメタデータ信号のアクセスされた信号部分を指示しており、前記メタデータ信号の少なくとも1つの他の信号部分は、前記ランダムアクセス情報によって指示されていない。更に、メタデータ復号器110は、前記圧縮済みメタデータ信号の前記アクセスされた信号部分の第1メタデータサンプルに依存する一方で、前記圧縮済みメタデータ信号の他の如何なる信号部分の他の如何なる第1メタデータサンプルにも依存せずに、1つ以上の再生メタデータ信号のうちの1つを生成するよう構成されている。換言すれば、ランダムアクセス情報を特定することで、圧縮済みメタデータ信号の各々の一部が特定されることができ、前記メタデータ信号の他の部分は特定されない。この場合、前記圧縮済みメタデータ信号の特定された部分だけが、再生メタデータ信号の1つとして再生されるが、他の部分は再生されない。圧縮済みメタデータ信号の伝送された第1メタデータサンプルが、ある時点についての圧縮済みメタデータ信号の完全なメタデータ情報を表現しているので(ただし、他の時点についてはメタデータ情報は伝送されない)、再生は可能である。
図6は、一実施形態に係るメタデータ符号化を示す。実施形態に係るメタデータ符号器210が、図6で示すメタデータ符号化を実行するよう構成されてもよい。
図6において、s(n)はオリジナル・メタデータ信号の1つを表現し得る。例えば、s(n)は、オーディオオブジェクトの1つの方位角の関数などを表現してもよく、nは、(例えばオリジナル・メタデータ信号におけるサンプル位置を指示することで)時間を示してもよい。
オーディオサンプリングレートよりも有意に低い(例えば1:1024又はそれよりも低い)サンプリングレートでサンプリングされる、経時変化する軌跡要素s(n)は、量子化され(611を参照)、かつファクタNでダウンサンプリングされる(612を参照)。その結果、上述した規則的に伝送されるデジタル信号がもたらされ、ここではz(k)で示す。
z(k)は、1つ以上の圧縮済みメタデータ信号のうちの1つである。例えば、
Figure 2016528541
のN番目毎のメタデータサンプルは圧縮済みメタデータ信号z(k)のメタデータサンプルでもあるが、
Figure 2016528541
のN番目毎のメタデータサンプル間の他のN−1個のメタデータサンプルは、圧縮済みメタデータ信号z(k)のメタデータサンプルとはならない。
例えば、s(n)において、nは(例えばオリジナル・メタデータ信号内のサンプル位置を指示することで)時間を示し、ここで、nは正の整数又は0である(例えば開始時点:n=0)と仮定する。Nはダウンサンプリングファクタである。例えば、N=32又は他の任意の適切なダウンサンプリングファクタである。
例えば、オリジナル・メタデータ信号sから圧縮済みメタデータ信号zを得るためのダウンサンプリング612は、例えば以下のように実現されてもよい。
[数1]
Figure 2016528541
従って、
[数2]
Figure 2016528541
図7は、一実施形態に係るメタデータ復号化を示す。実施形態に係るメタデータ復号器110が図7で示すメタデータ復号化を実行するよう構成されてもよい。
図7に示す実施形態によれば、メタデータ復号器110は、1つ以上の再生メタデータ信号の各再生メタデータ信号を、1つ以上の圧縮済みメタデータ信号の1つをアップサンプリングすることにより生成するよう構成される。ここで、メタデータ復号器110は、前記再生メタデータ信号の第1メタデータサンプルの少なくとも2つに依存して、線形補間を実行することにより、1つ以上の再生メタデータ信号の各再生メタデータ信号の第2メタデータサンプルの各々を生成するよう構成されている。
従って、各再生メタデータ信号は、その圧縮済みメタデータ信号の全てのメタデータサンプルを含む(これらのサンプルは、1つ以上の圧縮済みメタデータ信号の「第1メタデータサンプル」と称される)。
アップサンプリングを実行することで、追加的な(「第2の」)メタデータサンプルが再生メタデータ信号へと追加される。アップサンプリングのステップは、再生メタデータ信号内のどの位置に(例えばどの「相対的な」時点に)、追加的な(「第2の」)メタデータサンプルがそのメタデータ信号に加えられたかを決定する。
線形補間を実行することで、第2メタデータサンプルのメタデータサンプル値が決定される。その線形補間は、圧縮済みメタデータ信号の2個のメタデータサンプル(再生メタデータ信号の第1メタデータサンプルになったサンプル)に基づいて実行される。
実施形態によれば、アップサンプリングと、線形補間を実行することによる第2メタデータサンプルの生成とは、例えば単一ステップで実行されてもよい。
図7において、線形補間(722を参照)と組み合わせた逆アップサンプリング処理(721を参照)は、オリジナル信号の粗い近似をもたらす。その逆アップサンプリング処理(721を参照)及び線形補間(722を参照)は、例えば単一ステップにおいて実行されてもよい。
例えば、復号器側におけるアップサンプリング処理(721)及び線形補間(722)は、例えば以下のように実行されてもよい。
[数3]
Figure 2016528541
[数4]
Figure 2016528541
ここで、z(k)は圧縮済みメタデータ信号zの実際に受信されたメタデータサンプルであり、z(k-1)は実際に受信されたメタデータサンプルz(k)の直前に受信された圧縮済みメタデータ信号zのメタデータサンプルである。
図8は、他の実施形態に係るメタデータ符号化を示す。実施形態に係るメタデータ符号器210が図8で示すメタデータ符号化を実行するよう構成されてもよい。
実施形態において、例えば図8に示すように、このメタデータ符号化の中では、遅延補償された入力信号と線形補間された粗い近似との間の符号化された差分によって、細密構造が特定されてもよい。
そのような実施形態によれば、逆アップサンプリング処理と線形補間との組合せも、符号器側でのメタデータ符号化の一部として実行される(図6の621及び622を参照)。ここでも、逆アップサンプリング処理(621参照)と線形補間(622参照)とは、例えば単一ステップにおいて実行されてもよい。
上述したように、メタデータ符号器210は1つ以上の圧縮済みメタデータ信号を生成するよう構成されており、その場合、1つ以上の圧縮済みメタデータ信号の各圧縮済みメタデータ信号が、1つ以上のオリジナル・メタデータ信号のうちの1つのオリジナル・メタデータ信号の2つ以上のメタデータサンプルのからなる第1グループを含むように生成する。前記圧縮済みメタデータ信号は、前記オリジナル・メタデータ信号と関連すると考えることができる。
1つ以上のオリジナル・メタデータ信号の1つのオリジナル・メタデータ信号に含まれ、かつ当該オリジナル・メタデータ信号に関連する圧縮済みメタデータ信号に含まれる、メタデータサンプルの各々は、複数の第1メタデータサンプルの1つとして考えることができる。
更に、1つ以上のオリジナル・メタデータ信号のうちの1つのオリジナル・メタデータ信号に含まれ、かつ当該オリジナル・メタデータ信号に関連する圧縮済みメタデータ信号に含まれない、メタデータサンプルの各々は、複数の第2メタデータサンプルの1つである。
図8の実施形態によれば、メタデータ符号器210は、1つ以上のオリジナル・メタデータ信号の前記1つの第1メタデータサンプルの少なくとも2つに依存して、線形補間を実行することで、オリジナル・メタデータ信号の1つにおける複数の第2メタデータサンプルの各々について、近似済みメタデータサンプルを生成するよう構成されている。
更に図8の実施形態において、メタデータ符号器210は、1つ以上のオリジナル・メタデータ信号の前記1つの複数の第2メタデータサンプルの各第2メタデータサンプルについて、ある差分値を生成するよう構成されており、その場合、前記差分値が、前記第2メタデータサンプルと、当該第2メタデータサンプルの近似済みメタデータサンプルと、の差を指示するように生成される。
後段において図10を参照しながら説明する好ましい一実施形態において、メタデータ符号器210は、例えば、1つ以上のオリジナル・メタデータ信号の前記1つの前記複数の第2メタデータサンプルの差分値の少なくとも1つについて、前記差分値の少なくとも1つの各々がある閾値よりも大きいか否か、を決定するよう構成されてもよい。
図8に係る実施形態において、近似済みメタデータサンプルは、例えば圧縮済みメタデータ信号z(k)に対してアップサンプリングを実行すること、及び線形補間を実行することにより、(例えば信号s''のサンプルs''(n)として)決定されてもよい。アップサンプリング及び線形補間は、例えば符号器側のメタデータ符号化の一部として(図6の621と622を参照)実行されてもよく、例えば符号721と722を参照しながらメタデータ復号化について説明したものと同様である。
[数5]
Figure 2016528541
[数6]
Figure 2016528541
例えば図8で示された実施形態では、メタデータ符号化を実行する場合、差分値は、630において以下の差分について決定されてもよい。
[数7]
Figure 2016528541
実施形態においては、1つ以上のこれら差分値がメタデータ復号器へと伝送される。
図9は、他の実施形態に係るメタデータ復号化を示す。実施形態に係るメタデータ復号器110が図9で示すメタデータ復号化を実行するよう構成されてもよい。
上述したように、1つ以上の再生メタデータ信号の各再生メタデータ信号は、1つ以上の圧縮済みメタデータ信号の1つの圧縮済みメタデータ信号の第1メタデータサンプルを含む。前記再生メタデータ信号は、前記圧縮済み信号と関連していると考えられる。
図9により示す実施形態において、メタデータ復号器110は、1つ以上の再生メタデータ信号の各々の第2メタデータサンプルを、当該再生メタデータ信号について複数の近似済みメタデータサンプルを生成することで、生成するよう構成されており、メタデータ復号器110は、複数の近似済みメタデータサンプルの各々を、当該再生メタデータ信号の第1メタデータサンプルの少なくとも2つに依存して生成するよう構成されている。例えば、これら近似済みメタデータサンプルは、図7を参照しながら説明したように、線形補間によって生成されてもよい。
図9に示す実施形態によれば、メタデータ復号器110は、1つ以上の圧縮済みメタデータ信号の1つの圧縮済みメタデータ信号について複数の差分値を受信するよう構成されている。メタデータ復号器110は更に、当該圧縮済みメタデータに関連する再生メタデータ信号の近似済みメタデータサンプルの1つに対し、複数の差分値の各々を加算して、当該再生メタデータ信号の第2メタデータサンプルを取得するよう構成されている。
近似済みメタデータサンプルであって、それに関する差分値が受信されている近似済みメタデータサンプルの全てに対し、その差分値がその近似済みメタデータサンプルに加算されて、第2メタデータサンプルが取得される。
一実施形態によれば、近似済みメタデータサンプルであって、それに関する差分値が受信されていない近似済みメタデータサンプルは、再生メタデータ信号の第2メタデータサンプルとして使用される。
しかし、他の実施形態によれば、ある近似済みメタデータサンプルについて差分値が受信されていない場合、当該近似済みメタデータサンプルのために、ある近似済み差分値が1つ以上の受信された差分値に依存して生成され、当該近似済みメタデータサンプルが後段で示すように当該近似済みメタデータサンプルに加算される。
図9に示す実施形態によれば、受信された差分値は、アップサンプリングされたメタデータ信号の対応するメタデータサンプルに加算される(730を参照)。これにより、差分値が伝送されてきた対応する補間済みメタデータサンプルは、必要に応じて修正され、正確なメタデータサンプルが取得され得る。
図8のメタデータ符号化に戻ると、好ましい実施形態において、メタデータサンプルを符号化するために使用されるビット数よりも少数のビットが、差分値を符号化するために使用される。これらの実施形態は、(例えばN個の)連続するメタデータサンプルが大部分の時点において僅かしか変化しない、という知見に基づいている。例えば、ある種のメタデータサンプルが例えば8ビットで符号化されると、これらのメタデータサンプルは256個の異なる値の中の1つをとることができる。(例えばN個の)連続するメタデータ値の一般的に僅かな変化により、例えば5ビットだけで差分値を符号化することが十分と考えられる。従って、差分値が伝送される場合でも、伝送されるビット数は低減され得る。
好ましい実施形態においては、1つ以上の差分値が伝送され、1つ以上の差分値の各々はメタデータサンプルの各々よりも少ないビットを用いて符号化され、差分値の各々は整数値である。
一実施形態によれば、メタデータ符号器110は、1つ以上の圧縮済みメタデータ信号の内の1つの1つ以上のメタデータサンプルを第1のビット数を用いて符号化するよう構成されており、ここで、前記1つ以上の圧縮済みメタデータ信号の内の1つの前記1つ以上のメタデータサンプルの各々は整数を示す。更に、メタデータ符号器(110)は、1つ以上の差分値を第2のビット数を用いて符号化するよう構成されており、ここで、前記1つ以上の差分値の各々は整数を示し、前記第2のビット数は前記第1のビット数よりも少ない。
例えば一実施形態において、メタデータサンプルが8ビットで符号化された方位角を表現できると考慮されたい。例えば、その方位角は−90≦方位角≦90の整数であってもよい。従って、その方位角は181個の異なる値をとり得る。しかし、(例えばN個の)後続の方位角サンプルは、例えば±15以下しか変化しないと想定することができ、その場合、差分値を符号化するために5ビット(25=32)で十分となり得る。差分値が整数として表現される場合、その差分値を決定することは、伝送されるべき追加的な値を適切な値領域へと自動的に変換することになる。
例えば、第1オーディオオブジェクトの第1方位角値が60°であり、その後続の値が45°から75°まで変化する場合を考慮されたい。さらに、第2オーディオオブジェクトの第2方位角値が−30°であり、その後続の値が−45°から−15°まで変化する場合を考慮されたい。第1オーディオオブジェクトの両方の後続の値についての差分値、及び第2オーディオオブジェクトの両方の後続の値についての差分値を決定すると、第1方位角値及び第2方位角値の差分値は両方とも−15°から+15°までの値領域内にある。よって、差分値の各々を符号化するために5ビットで十分となり、差分値を符号化するビットシーケンスは、第1方位角の差分値と第2方位角の差分値とに対して同じ意味を持つ。
一実施形態において、各差分値であって、圧縮済みメタデータ信号の中にそれに関するメタデータサンプルが存在しない各差分値が、復号化側へと伝送される。更に、一実施形態によれば、各差分値であって、圧縮済みメタデータ信号の中にそれに関するメタデータサンプルが存在しない各差分値は、メタデータ復号器により受信されかつ処理される。しかし、図10及び図11に示す好ましい実施形態の幾つかは、異なる概念を実現する。
図10は更なる実施形態に係るメタデータ符号化を示す。実施形態に係るメタデータ符号器210は、図10に示すメタデータ符号化を実行するよう構成されてもよい。
上述した実施形態の幾つかと同様に、図10において、差分値は、例えば圧縮済みメタデータ信号に含まれないオリジナル・メタデータ信号の各メタデータサンプルについて決定される。例えば、時刻n=0及びn=Nにおけるメタデータサンプルが圧縮済みメタデータ信号に含まれ、時刻n=1からn=N−1までのメタデータサンプルが、差分値は時刻n=1からn=N−1までに関して決定される。
しかしながら、図10の実施形態によれば、次に640においてポリゴン近似(polygon approximation)が実行される。メタデータ符号器210は、差分値の内のどれが伝送されるべきかを決定し、そもそも差分値が伝送されるべきか否かをも決定する。
例えば、メタデータ210は、ある閾値を超える差分値を有する差分値だけを伝送するよう構成されてもよい。
他の実施形態においては、メタデータ符号器210は、差分値であって、対応するメタデータサンプルに対するその比がある閾値を超える差分値だけを伝送するよう構成されてもよい。
一実施形態において、メタデータ符号器210は、最大の絶対値差分値について、この絶対値差分値がある閾値を超えるかどうかを検査する。絶対値差分値が閾値を超える場合、その差分値が伝送され、その他の場合には、差分値は全く伝送されず、検査は終了する。その検査は2番目に大きな差分値について続行され、3番目に大きな差分値等々と続行されて、全ての差分値がその閾値を下回るまで続行される。
必ずしも全ての差分値が伝送される必要はないので、実施形態によれば、メタデータ符号器210は、(図10における値y1[k],…,yN-1[k]の1つである)差分値自体(のサイズ)を符号化するだけでなく、オリジナル・メタデータ信号のどのメタデータサンプルに対してその差分値が関係しているのかを示す情報(図10における値x1[k],…,xN-1[k]の1つ)をも伝送する。例えば、メタデータ符号器210は、差分値が関連する時刻を符号化してもよい。例えば、メタデータ符号器210は、圧縮済みメタデータ信号内で既に伝送されているメタデータサンプル0とNとの間のどのメタデータサンプルに差分値が関係しているのかを示すために、1からN−1までの間のある値を符号化してもよい。ポリゴン近似の出力において値 x1[k],…,xN-1[k],y1[k],…,yN-1[k]を列記していることは、必ずしもこれら全ての値が伝送されるという意味ではなく、差分値に依存して、これらの値ペアの内の何も伝送されないか、1つ、複数、又は全てが伝送されることを意味している。
一実施形態において、メタデータ符号器210は、例えばN個の連続的な差分値のセグメントを処理してもよく、各セグメントを、可変数の量子化されたポリゴン点[xi, yi]によって形成されるポリゴンコース(polygon course)によって近似してもよい。
差分信号を十分な精度で近似するために必要なポリゴン点の個数は、平均的に、N個よりも有意に小さいことが予想され得る。また、[xi, yi]は小さな整数であるため、低いビット数で符号化され得る。
図11は更なる実施形態に係るメタデータ復号化を示す。実施形態に係るメタデータ復号器110は、図11に示すメタデータ復号化を実行するよう構成されてもよい。
実施形態において、メタデータ復号器110は、幾つかの差分値を受信し、これら差分値を730において対応する線形補間済みメタデータサンプルに対して加算する。
幾つかの実施形態において、メタデータ復号器110は、730において、受信された差分値を対応する線形補間済みメタデータサンプルに対してだけ加算し、差分値が受信されていない他の線形補間済みメタデータサンプルは、そのままにする。
他の概念を実現させる実施形態について、以下に説明する。
他の実施形態によれば、メタデータ復号器110は、1つ以上の圧縮済みメタデータ信号のある圧縮済みメタデータ信号について、複数の差分値を受信するよう構成されている。差分値の各々は、「受信された差分値」と称することができる。1つの受信された差分値は、再生メタデータ信号の近似済みメタデータサンプルの1つに割り当てられ、その再生メタデータ信号は、受信された差分値が関係する前記圧縮済みメタデータ信号に関連する(前記圧縮済みメタデータ信号から構築された)ものである。
図9に関して前述したように、メタデータ復号器110は、複数の受信された差分値の各受信された差分値を、当該受信された差分値に関連する近似済みメタデータサンプルに対して加算するよう構成されている。受信された差分値をその近似済みメタデータサンプルへと加算することで、再生メタデータ信号の第2メタデータサンプルの1つが取得される。
しかしながら、近似済みメタデータサンプルの幾つか(又は、ときには大部分)については、差分値は全く受信されない。
幾つかの実施形態において、複数の受信された差分値のどれもが近似済みメタデータサンプルと関連していない場合には、メタデータ復号器110は、例えば近似済み差分値を、前記圧縮済みメタデータ信号と関連する再生メタデータ信号の複数の近似済みメタデータサンプルの各近似済みメタデータサンプルについて複数の受信された差分値の1つ以上に依存して、決定するよう構成されてもよい。
換言すれば、近似済みメタデータサンプルであって、それらに対して差分値が受信されない近似済みメタデータサンプルの全てに対し、ある近似済み差分値が、受信された差分値の1つ以上に依存して生成される。
メタデータ復号器110は、複数の近似済み差分値の各近似済み差分値を、当該近似済み差分値の近似済みメタデータサンプルに加算して、再生メタデータ信号の第2メタデータサンプルの他の1つを取得するよう構成されている。
しかし、他の実施形態において、メタデータ復号器110は、ステップ740において受信された差分値に依存して線形補間を実行することで、差分値が受信されていないメタデータサンプルについての差分値を近似する。
例えば、第1差分値と第2差分値が受信された場合、これらの受信された差分値の間に位置する差分値は、例えば線形補間を用いて近似され得る。
例えば、時点n=15における第1差分値が差分値d[15]=5を有し、かつ時点n=18における第2差分値が差分値d[18]=2を有する場合、n=16及びd=17に対する差分値は、線形的にd[16]=4及びd[17]=3として近似され得る。
更なる実施形態において、メタデータサンプルが圧縮済みメタデータ信号に含まれている場合、当該メタデータサンプルの差分値は0と想定され、また、受信されていない差分値の線形補間は、差分値がゼロと想定されている当該メタデータサンプルに基づいて、メタデータ復号器によって実行されてもよい。
例えば、n=16について単一の差分値d=8が伝送され、n=0及びn=32について1つのメタデータサンプルが圧縮済みメタデータ信号内で伝送された場合、n=0及びn=32における伝送されない差分値は0と想定される。
nが時刻を示し、d[n]が時点nにおける差分値を示すと仮定する。その場合、
d[16] = 8 (受信された差分値)
d[0] = 0 (想定された差分値、メタデータサンプルがz(k)内に存在するため)
d[32] = 0 (想定された差分値、メタデータサンプルがz(k)内に存在するため)
近似済み差分値:
d[1] = 0.5; d[2] = 1; d[3] = 1.5; d[4] = 2; d[5] = 2.5; d[6] = 3; d[7] = 3.5; d[8] = 4; d[9] = 4.5; d[10] = 5; d[11] = 5.5; d[12] = 6; d[13] = 6.5; d[14] = 7; d[15] = 7.5; d[17] = 7.5; d[18] = 7; d[19] = 6.5; d[20] = 6; d[21] = 5.5; d[22] = 5; d[23] = 4.5; d[24] = 4; d[25] = 3.5; d[26] = 3; d[27] = 2.5; d[28] = 2; d[29] = 1.5; d[30] = 1; d[31] = 0.5
実施形態において、受信された差分値及び近似済み差分値が、対応する線形補間済みサンプルに対して(730において)加算される。
以下に、好ましい実施形態を説明する。
(オブジェクト)メタデータ符号器は、例えば、所与のサイズNを有するルックアヘッド・バッファを使用して、規則的に(サブ)サンプリングされた軌跡値のシーケンスを合同的に符号化してもよい。このバッファが満たされるとすぐに、全体のデータブロックが符号化されかつ伝送される。符号化されたオブジェクトデータは、2つの部分、即ち、イントラ符号化されたオブジェクトデータと、任意ではあるが各セグメントの細密構造を含む差分データ部分と、から構成されてもよい。
イントラ符号化されたオブジェクトデータは、規則的な格子上で(例えば長さ1024の32フレーム毎に)サンプリングされた量子化済み値z(k)を含む。各オブジェクトに対して値が個別に特定されているか、又はそれに続く値が全てのオブジェクトに対して共通であるかを示すために、ブーリアン変数(Boolean variables)が使用されてもよい。
復号器は、線形補間により、イントラ符号化されたオブジェクトデータから粗い軌跡を導出するよう構成されてもよい。軌跡の精密な構造は、入力された軌跡と線形補間との間の符号化された差分を含む差分データ部分によって与えられる。方位角、仰角、半径及びゲイン値についての様々な量子化ステップと組み合わされたポリゴン表現により、所望の不適切低減(irrelevance reduction)を達成できる。
ポリゴン表現は、Ramer-Douglas-Peuckerアルゴリズム(非特許文献10、11を参照)の変異形から取得し得る。その手法は、帰納法を使用せず、かつ追加的な中断基準(abort criterium)、即ち全てのオブジェクト及び全てのオブジェクト構成要素についての最大数のポリゴン点を有することで、オリジナルの手法とは異なる。
結果として得られるポリゴン点は、ビットストリーム内で特定される可変語長を使用して差分データ部分の中に符号化されてもよい。追加的なブーリアン変数は、同一値の共通の符号化を示す。
以下に、実施形態に係るオブジェクト・メタデータ・フレーム及び実施形態に係るシンボル表現について説明する。
効率性から見た理由により、規則的に(サブ)サンプリングされた軌跡値のシーケンスは、合同的に符号化される。符号器は所与のサイズのルックアヘッド・バッファを使用し、このバッファが満たされるとすぐに全体のデータブロックが符号化され、伝送される。この符号化されたオブジェクトデータ(例えば、オブジェクト・メタデータについてのペイロード)は、例えば2つの部分、即ちイントラ符号化されたオブジェクトデータ(第1部分)と、任意ではあるが差分データ部分(第2部分)と、を含み得る。
例えば、以下のシンタックスの一部又は全部が使用されてもよい。
Figure 2016528541
以下に、一実施形態に係るイントラ符号化されたオブジェクトデータを示す。
符号化済みオブジェクト・メタデータのランダムアクセスをサポートするために、全てのオブジェクト・メタデータの完全かつ自己充足的な仕様(specification)が規則的に伝送される必要がある。これは、規則的な格子上で(例えば長さ1024の32フレーム毎に)サンプリングされた量子化済み値を含む、イントラ符号化されたオブジェクトデータ(「Iフレーム」)を介して実現される。これらIフレームは、例えば以下のようなシンタックスを有し、その中で、position_azimuth,position_elevation,position_radius及びgain_factorは、現在のIフレームの後のiframe_periodフレーム内の量子化された値を特定する。
Figure 2016528541
以下に、一実施形態に係る差分オブジェクトデータについて説明する。
少数のサンプリング点に基づくポリゴンコースを伝送することにより、さらに高精度な近似が達成される。従って、非常に粗い3次元行列が伝送されてもよく、そこでは、第1の次元がオブジェクトインデックスでもよく、第2の次元がメタデータ構成要素(方位角、仰角、半径及びゲイン)により形成されてもよく、第3の次元がポリゴンサンプリング点のフレームインデックスであってもよい。更なる尺度なしに、行列のどの成分が値を含むかの指示は、既にnum_objects*num_components*(iframe_period-1)ビットを要求する。このビットの量を低減させる第1ステップは、4個の構成要素の内の1つに属する少なくとも1つの値があるか否かを示す、4つのフラグを加えることであってもよい。例えば、差分的な半径又はゲイン値が存在するような場合はごく稀であることが予想できる。低減された3次元行列の第3の次元は、iframe_period-1個の要素を有するベクトルを含む。ポリゴン点がごく少数であると予想される場合、このベクトルを1セットのフレームインデックスとこのセットのカーディナリティとによりパラメータ化することが更に効率的となり得る。例えば、Nperiod=32フレームのiframe_periodで最大16個のポリゴン点については、この方法はNpoints<(32−log2(16))/log2(32)=5.6のポリゴン点に関して好都合であり得る。実施形態に従えば、そのような符号化スキームのために以下のシンタックスが使用される。
Figure 2016528541
Figure 2016528541
マクロoffset_data()は、単純なビットフィールドとして、又は上述の概念を使用して、ポリゴン点の位置(フレームオフセット)を符号化している。num_bits値は大きな位置的ジャンプの符号化を可能にし、他方、差分データの残りはより小さなワードサイズで符号化される。
特に、一実施形態において、上述のマクロは例えば以下の意味を有してもよい。
一実施形態に係るobject_metadata() payloads の定義:
has_differential_metadata 差分オブジェクト・メタデータが存在するか否かを示す
一実施形態に係るintracoded_object_metadata() payloadsの定義:
ifperiod 独立フレーム同士の間のフレームの個数を定義する
common_azimuth 全てのオブジェクトについて共通の方位角が使用されるか否かを示す
default_azimuth 共通の方位角の値を定義する
position_azimuth 共通の方位角値がない場合、各オブジェクトのための値が伝送される
common_elevation 全てのオブジェクトについて共通の仰角が使用されるか否かを示す
default_elevation 共通の仰角の値を定義する
position_elevation 共通の仰角値がない場合、各オブジェクトのための値が伝送される
common_radius 全てのオブジェクトについて共通の半径値が使用されるか否かを示す
default_radius 共通の半径の値を定義する
position_radius 共通の半径値がない場合、各オブジェクトのための値が伝送される
common_gain 全てのオブジェクトについて共通のゲイン値が使用されるか否かを示す
default_gain 共通のゲインファクタの値を定義する
gain_factor 共通のゲイン値がない場合、各オブジェクトのための値が伝送される
position_azimuth 単一のオブジェクトだけがある場合、その方位角
position_elevation 単一のオブジェクトだけがある場合、その仰角
position_radius 単一のオブジェクトだけがある場合、その半径
gain_factor 単一のオブジェクトだけがある場合、そのゲインファクタ
一実施形態に係るdifferential_object_metadata() payloadsの定義:
bits_per_point ポリゴン点の個数を表現するために必要なビット数
fixed_azimuth 全てのオブジェクトについて方位角値が固定か否かを示すフラグ
flag_azimuth 方位角値が変化するか否かを示すオブジェクト毎のフラグ
nbits_azimuth 差分値を表現するために必要なビット数
differential_azimuth 線形補間された値と実際値との間の差分値
fixed_elevation 全てのオブジェクトについて仰角値が固定か否かを示すフラグ
flag_elevation 仰角値が変化するか否かを示すオブジェクト毎のフラグ
nbits_elevation 差分値を表現するために必要なビット数
differential_elevation 線形補間された値と実際値との間の差分値
fixed_radius 全てのオブジェクトについて半径が固定か否かを示すフラグ
flag_radius 半径が変化するか否かを示すオブジェクト毎のフラグ
nbits_radius 差分値を表現するために必要なビット数
differential_radius 線形補間された値と実際値との間の差分値
fixed_gain 全てのオブジェクトについてゲインが固定か否かを示すフラグ
flag_gain ゲインが変化するか否かを示すオブジェクト毎のフラグ
nbits_gain 差分値を表現するために必要なビット数
differential_gain 線形補間された値と実際値との間の差分値
一実施形態に係る、offset_data() payloadsの定義:
bitfield_syntax ポリゴンインデックスを有するベクトルがビットストリーム内に存在するか否かを示すフラグ
offset_bitfield iframe_period の各点について、その点がポリゴン点であるか否かのフラグを含むブール配列
npoints ポリゴン点の数−1 (num_points = npoints + 1)
foffset iframe_period 内のポリゴン点の時間スライスインデックス
(frame_offset = foffset+1)
一実施形態によれば、メタデータは、例えば、全てのオーディオオブジェクトについての所与の位置(例えば方位角、仰角及び半径によって示された)として所定の時間スタンプで搬送されてもよい。
先行技術においては、低ビットレートで許容可能なオーディオ品質が得られるように、チャネル符号化と一方としオブジェクト符号化を他方として結合するような、柔軟性のある技術は存在しない。
この制約は3Dオーディオコーデックシステムにより克服できる。以下に、3Dオーディオコーデックシステムについて説明する。
図12は、本発明の一実施形態に係る3Dオーディオ符号器を示す。この3Dオーディオ符号器は、オーディオ入力データ101を符号化してオーディオ出力データ501を取得するよう構成されている。3Dオーディオ符号器は、CHで示された複数のオーディオチャネルとOBJで示された複数のオーディオオブジェクトとを受信する入力インターフェイスを備える。更に、図12に示すように、入力インターフェイス1100は、複数のオーディオオブジェクトOBJの1つ以上に関連するメタデータを追加的に受信する。更に、3Dオーディオ符号器は、複数のオブジェクトと複数のチャネルとをミキシングして複数のプレミクス済みチャネルを取得するミキサー200を備え、各プレミクス済みチャネルは1つのチャネルのオーディオデータと少なくとも1つのオブジェクトのオーディオデータとを含む。
更に、3Dオーディオ符号器は、コア符号器入力データをコア符号化するコア符号器300と、複数のオーディオオブジェクトの1つ以上に関連するメタデータを圧縮するメタデータ圧縮部400とを備える。
更に、3Dオーディオ符号器は、ミキサーとコア符号器及び/又は出力インターフェイス500を複数の動作モードの1つで制御する、モード制御部600を備え、第1モードでは、コア符号器は、入力インターフェイス1100により受信された複数のオーディオチャネル及び複数のオーディオオブジェクトを、ミキサーによる相互作用なしに、即ちミキサー200によるミキシングなしに、符号化するよう構成されている。しかし、ミキサー200が活性化していた第2モードでは、コア符号器は、複数のミクス済みチャネル、即ちブロック200により生成された出力を符号化する。後者の場合、それ以上のオブジェクトデータを符号化しないことが好ましい。代わりに、オーディオオブジェクトの位置を示すメタデータは、メタデータによって示された通りにオブジェクトをチャネル上へとレンダリングするために、ミキサー200によって既に使用されている。換言すれば、ミキサー200は複数のオーディオオブジェクトに関連するメタデータを、オーディオオブジェクトをプレレンダリングするために使用し、次に、プレレンダリングされたオーディオオブジェクトはチャネルとミキシングされて、ミキサーの出力においてミクス済みチャネルが得られる。この実施形態では、如何なるオブジェクトも必ずしも伝送される必要がなく、このことは、ブロック400により出力される圧縮済みメタデータにも当てはまる。しかし、インターフェイス1100に入力された全てのオブジェクトがミキシングされる訳でなく、所定量のオブジェクトだけがミキシングされる場合には、ミキシングされていない残りのオブジェクト及び関連するメタデータだけが、コア符号化300又はメタデータ圧縮部400へとそれぞれ伝送される。
図12において、メタデータデータ圧縮部400は、上述した実施形態の1つに従う、符号化済みオーディオ情報を生成する装置250のメタデータ符号器210である。更に、図12において、ミキサー200及びコア符号器300は一緒に、上述した実施形態の1つに従う符号化済みオーディオ情報を生成する装置250のオーディオ符号器220を形成する。
図14は、SAOC符号器800を追加的に含む、3Dオーディオ符号器の更なる実施形態を示す。SAOC符号器800は、空間オーディオオブジェクト符号器入力データから、1つ以上の転送チャネル及びパラメトリックデータを生成するよう構成されている。図14に示すように、空間オーディオオブジェクト符号器入力データは、プレレンダラー/ミキサーによって処理されなかったオブジェクトである。代替的に、個別のチャネル/オブジェクト符号化が活性化しているモード1におけるように、プレレンダラー/ミキサーが迂回されていたと仮定すると、入力インターフェイス1100に入力された全てのオブジェクトはSAOC符号器800により符号化される。
更に、図14に示すように、コア符号器300は好ましくは、USAC符号器、即ち、MPEG−USAC標準(USAC=統合されたスピーチ及びオーディオ符号化)の中で定義されかつ標準化されているような符号器として構成される。図14に示す全体的な3Dオーディオ符号器の出力は、MPEG4データストリームであり、個別のデータタイプのためのコンテナ状構造を有している。更に、メタデータは「OAM」データとして示され、図12におけるメタデータ圧縮部400は、圧縮済みOAMデータを取得するOAM符号器400に対応し、その圧縮済みOAMデータはUSAC符号器300へ入力され、USAC符号器300は、図14に示すように、MP4出力データストリームを取得するための出力インターフェイスを追加的に含み、そのMP4出力データストリームは符号化済みチャネル/オブジェクトデータだけでなく圧縮済みOAMデータをも有する。
図14において、OAM符号器400は、上述した実施形態の1つに従う、符号化済みオーディオ情報を生成する装置250のメタデータ符号器210である。更に、図14では、SAOC符号器800とUSAC符号器300とは一緒に、上述した実施形態の1つに従う、符号化済みオーディオ情報を生成する装置250のオーディオ符号器220を形成する。
図16は、3Dオーディオ符号器の更なる実施形態を示し、ここでは、図14とは対照的に、SAOC符号器はSAOC符号化アルゴリズムを用いて、このモードにおいて活性化していないプレレンダラー/ミキサー200により提供されたチャネルを符号化するか、又は代替的に、プレレンダリング済みチャネル+オブジェクトをSAOC符号化するか、の何れかを実行するよう構成されている。従って、図16においては、SAOC符号器800は3種類の異なる入力データ、即ち、プレレンダリング済みオブジェクトを持たないチャネル、チャネル及びプレレンダリング済みオブジェクト、又はオブジェクトのみ、に対して作動できる。更に、追加的なOAM復号器420を図16に設け、SAOC符号器800がその処理のために復号器側と同じデータを使用できるように、即ち、オリジナルOAMデータよりも寧ろ損失の多い圧縮により得られたデータを使用できるようにすることが好ましい。
図16の3Dオーディオ符号器は、複数の個別のモードにおいて作動できる。
図12の文脈の中で説明した第1モード及び第2モードに加え、図16の3Dオーディオ符号器は追加的に第3モードでも作動でき、そのモードでは、プレレンダラー/ミキサー200が活性化していなかった場合、コア符号器が個別のオブジェクトから1つ以上の転送チャネルを生成する。代替的又は追加的に、この第3モードにおいて、図12のミキサー200に対応するプレレンダラー/ミキサー200が活性化していなかった場合、SAOC符号器800は、オリジナルチャネルから1つ以上の代替的又は追加的な転送チャネルを生成することができる。
最後に、3Dオーディオ符号器が第4モードで構成されている場合、SAOC符号器800は、プレレンダラー/ミキサーによって生成されたチャネル+プレレンダリング済みオブジェクトを符号化することができる。そのため、第4モードにおいては、最低ビットレートのアプリケーションが次のような事実により良好な品質を提供できる。なぜなら、チャネルとオブジェクトとが、個別のSAOC転送チャネル及び図3と図5の中で「SAOC−SI」として示すような関連するサイド情報へと完全に変換されており、加えて、この第4モードでは如何なる圧縮済みメタデータも伝送される必要がないからである。
図16において、OAM符号器400は、上述した実施形態の1つに従う符号化済みオーディオ情報を生成する装置250のメタデータ符号器210である。更に、図16において、SAOC符号器800とUSAC符号器300とは一緒に、上述した実施形態の1つに従う符号化済みオーディオ情報を生成する装置250のオーディオ符号器220を形成する。
一実施形態によれば、オーディオ入力データ101を符号化してオーディオ出力データ501を取得する装置が提供される。そのオーディオ入力データ101を符号化する装置は、
−複数のオーディオチャネルと、複数のオーディオオブジェクトと、複数のオーディオオブジェクトの1つ以上に関連するメタデータと、を受信する入力インターフェイス1100と、
−複数のオブジェクトと複数のチャネルとをミキシングして、複数のプレミクス済みチャネルを取得するミキサー200であって、各プレミクス済みチャネルが1つのチャネルのオーディオデータと少なくとも1つのオブジェクトのオーディオデータとを含む、ミキサー200と、
−上述したようなメタデータ符号器とオーディオ符号器とを含む、符号化済みオーディオ情報を生成する装置250と、
を備える。
符号化済みオーディオ情報を生成する装置250のオーディオ符号器220は、コア符号器入力データを符号化するコア符号器(300)である。
符号化済みオーディオ情報を生成する装置250のメタデータ符号器210は、複数のオーディオオブジェクトの1つ以上に関連するメタデータを圧縮するメタデータ圧縮部400である。
図13は本発明の一実施形態に係る3Dオーディオ復号器を示す。その3Dオーディオ復号器は、入力として符号化済みオーディオデータ、即ち図12のデータ501を受信する。
3Dオーディオ復号器は、メタデータ解凍部1400と、コア復号器1300と、オブジェクト処理部1200と、モード制御部1600と、後処理部1700とを備える。
具体的には、その3Dオーディオ復号器は符号化済みオーディオデータを復号化するよう構成されており、入力インターフェイスは符号化済みオーディオデータを受信するよう構成されており、符号化済みオーディオデータは、あるモードにおいて、複数の符号化済みチャネルと、複数の符号化済みオブジェクトと、複数のオブジェクトに関連する圧縮済みメタデータとを含む。
更に、コア復号器1300は複数の符号化済みチャネルと複数の符号化済みオブジェクトとを復号化するよう構成されており、追加的に、メタデータ解凍部は圧縮済みメタデータを解凍するよう構成されている。
更に、オブジェクト処理部1200は、コア復号器1300により生成された複数の復号化済みオブジェクトを解凍済みメタデータを使用して処理し、オブジェクトデータと復号化済みチャネルとを含む所定数の出力チャネルを得るよう構成されている。符号1205で示されたこれら出力チャネルは、次に後処理部1700へと入力される。後処理部1700は、出力チャネル1205の数を、バイノーラル出力フォーマット又は5.1や7.1などの出力フォーマットのようなラウドスピーカ出力フォーマットであり得る、ある出力フォーマットへと変換するよう構成されている。
好ましくは、3Dオーディオ復号器は、符号化済みデータを分析してモード指示を検出するよう構成された、モード制御部1600を備える。従って、そのモード制御部1600が図13の入力インターフェイス1100に接続されている。しかし、代替的に、モード制御部が必ずしも存在する必要はない。代わりに、柔軟性のあるオーディオ復号器は、ユーザー入力や任意の他の制御のような、他の如何なる種類の制御データによってもプリセットされ得る。好ましくはモード制御部1600により制御される図13の3Dオーディオ復号器は、その一方では、オブジェクト処理部を迂回して複数の復号化済みチャネルを後処理部1700へと供給するよう構成される。これは、図12の3Dオーディオ符号器においてモード2が適用されていた場合のモード2における作動であり、即ちプレレンダリング済みチャネルだけが受信される場合である。代替的に、3Dオーディオ符号器においてモード1が適用されていた場合、即ち、3Dオーディオ符号器が個別のチャネル/オブジェクト符号化を実行していた場合、オブジェクト処理部1200は迂回されず、複数の復号化済みチャネルと複数の復号化済みオブジェクトとが、メタデータ解凍部1400によって生成された解凍済みメタデータと一緒にオブジェクト処理部1200へと供給される。
好ましくは、モード1又はモード2が適用されるべきかどうかの指示は符号化済みオーディオデータの中に含まれており、よって、モード制御部1600がモード指示を検出するために符号化済みデータを分析する。符号化済みオーディオデータは符号化済みチャネルと符号化済みオブジェクトとを含むとモード指示が示す場合には、モード1が使用され、他方、符号化済みオーディオデータはオーディオオブジェクトを何も含まない、即ち、図12の3Dオーディオ符号器のモード2によって得られたプレレンダリング済みチャネルだけを含むとモード指示が示す場合には、モード2が適用される。
図13において、メタデータ解凍部1400は、上述の実施形態の1つに従い1つ以上のオーディオチャネルを生成する装置100のメタデータ復号器110である。更に図13において、コア復号器1300とオブジェクト処理部1200と後処理部1700とは一緒に、上述の実施形態の1つに従い1つ以上のオーディオチャネルを生成する装置100のオーディオ復号器120を形成する。
図15は、図13の3Dオーディオ復号器と比較した好適な実施形態を示し、図15の実施形態は図14のオーディオ符号器に対応する。図13の3Dオーディオ復号器の構成に加えて、図15の3Dオーディオ復号器はSAOC復号器1800を含む。更に、図13のオブジェクト処理部1200は、別個のオブジェクトレンダラー1210とミキサー1220として構成されているが、モードに依存して、オブジェクトレンダラー1210の機能はSAOC復号器1800によっても実行され得る。
更に、後処理部1700は、バイノーラルレンダラー1710又はフォーマット変換部1720として構成され得る。代替的に、図13のデータ1205の直接的な出力もまた、1730で示されるように構成され得る。従って、より小さなフォーマットが要求される場合には、柔軟性を持ち、かつ次に後処理するために、復号器内の処理は22.2や32などの最大数のチャネルに対して実行することが好ましい。しかしながら、5.1フォーマットのような小さなフォーマットだけが要求されることが正に最初から明白になる場合には、図13又は図6におけるショートカット1727で示すように、不要なアップミクス操作及び後続のダウンミクス操作を防止するための、SAOC復号器及び/又はUSAC復号器に対するある制御を適用し得ることが望ましい。
本発明の好適な実施形態において、オブジェクト処理部1200はSAOC復号器1800を含み、そのSAOC復号器は、コア復号器により出力される1つ以上の転送チャネル及び関連するパラメトリックデータを復号化し、かつ解凍済みメタデータを使用して、複数のレンダリング済みオーディオオブジェクトを取得するよう構成されている。この目的で、OAM出力がボックス1800に接続されている。
更に、オブジェクト処理部1200は、コア復号器により出力された復号化済みオブジェクトをレンダリングするよう構成されており、そのオブジェクトはSAOC転送チャネルの中で符号化されたものではなく、オブジェクトレンダラー1210により示されるように、典型的には単一チャネル化された構成要素の中で個別に符号化されたものである。更に、復号器は、ミキサーの出力をラウドスピーカへと出力するための、出力1730に対応する出力インターフェイスを備える。
更なる実施形態において、オブジェクト処理部1200は、符号化済みオーディオ信号又は符号化済みオーディオチャネルを表現している1つ以上の転送チャネル及び関連するパラメトリックサイド情報を復号化するための、空間オーディオオブジェクト・符号化復号器1800を含む。その空間オーディオオブジェクト・符号化復号器は、関連するパラメトリック情報及び解凍済みメタデータを、出力フォーマットを直接的にレンダリングするために使用可能な、例えばSAOCの初期バージョンで定義されているような、符号変換済みパラメトリックサイド情報へと符号変換するよう構成されている。後処理部1700は、復号化済み転送チャネルと符号変換済みパラメトリックサイド情報とを使用して、出力フォーマットのオーディオチャネルを計算するよう構成されている。後処理部により実行される処理は、MPEGサラウンド処理と類似していてもよく、又はBCC処理などのような他の如何なる処理であってもよい。
更なる一実施形態において、オブジェクト処理部1200は、(コア復号器による)復号化済み転送チャネルとパラメトリックサイド情報とを使用して、出力フォーマットのためのチャネル信号を直接的にアップミクス及びレンダリングするよう構成された、空間オーディオオブジェクト符号化・復号器1800を含む。
更に、及び重要なことに、図13のオブジェクト処理部1200は、チャネルとミキシングされたプレレンダリング済みオブジェクトが存在する場合、即ち図12のミキサー200が活性化していた場合、入力としてUSAC復号器1300により出力されたデータを直接的に受信する、ミキサー1220をさらに備える。加えて、ミキサー1220は、SAOC復号化を用いずにオブジェクトレンダリングを実行しているオブジェクトレンダラーからのデータを受信する。更にミキサーは、SAOC復号器出力データ、即ちSAOCレンダリング済みオブジェクトを受信する。
ミキサー1220は、出力インターフェイス1730とバイノーラルレンダラー1710とフォーマット変換部1720とに接続されている。バイノーラルレンダラー1710は、頭部関連伝達関数又はバイノーラル室内インパルス応答(BRIR)を使用して、出力チャネルを2つのバイノーラルチャネルへとレンダリングするよう構成されている。フォーマット変換部1720は、出力チャネルを、ミキサーの出力チャネル1205よりも少数のチャネルを有する出力フォーマットへと変換するよう構成されており、そのフォーマット変換部1720は、5.1スピーカなどのような再生レイアウトについての情報を要求する。
図15において、OAM復号器1400は、上述した実施形態の1つに従って1つ以上のオーディオチャネルを生成する装置100のメタデータ復号器110である。更に、図15において、オブジェクトレンダラー1210とUSAC復号器1300とミキサー1220とは一緒に、上述した実施形態の1つに従って1つ以上のオーディオチャネルを生成する装置100のオーディオ復号器120を形成する。
図17の3Dオーディオ復号器は、図15の3Dオーディオ復号器とは以下の点で異なる。即ち、SAOC復号器は、レンダリング済みオブジェクトだけでなくレンダリング済みチャネルをも生成しており、このことは、図16の3Dオーディオ符号器が使用され、チャネル/プレレンダリング済みオブジェクトとSAOC符号器800の入力インターフェイスとの間の接続900が活性化している場合であるという点である。
更に、ベクトル方式振幅パニング(VBAP)ステージ1810は、SAOC復号器から再生レイアウトについての情報を受信し、かつSAOC復号器に対してレンダリング行列を出力するよう構成され、その結果、SAOC復号器が、ミキサーの更なる動作を必要とせずに、レンダリング済みチャネルを高いチャネルフォーマット1205で、即ち32個のラウドスピーカに提供できるようになる。
VBAPブロックは、好適には復号化済みOAMデータを受信してレンダリング行列を導出する。より一般的には、VBAPブロックは、再生レイアウトの幾何学的情報だけでなく、その再生レイアウト上で入力信号がレンダリングされるべき位置の幾何学的情報をも要求することが好ましい。この幾何学的入力データは、オブジェクトについてのOAMデータであってもよく、又は、SAOCを用いて伝送されたチャネルについてのチャネル位置情報であってもよい。
しかしながら、ある特異な出力インターフェイスだけが要求される場合、VBAPステージ1810は、例えば5.1出力について要求されたレンダリング行列を既に供給することができる。その場合、SAOC復号器1800は、SAOC転送チャネルと関連するパラメトリックデータと解凍済みメタデータとから、直接的レンダリング、即ちミキサー1220の相互作用を何も受けずに、要求された出力フォーマットへの直接的なレンダリングを実行する。しかしながら、モード間のあるミキシングが適用される場合、即ち、複数のチャネルがSAOC符号化されているが、全てのチャネルがSAOC符号化されてはいない場合、複数のオブジェクトがSAOC符号化されているが、全てのオブジェクトがSAOC符号化されてはいない場合、又は、プレレンダリング済みオブジェクトとチャネルとのある量だけがSAOC復号化され、残りのチャネルがSAOC処理されない場合には、ミキサーは、個別の入力部分からのデータ、即ちコア復号器1300とオブジェクトレンダラー1210とSAOC復号器1800とからの直接的なデータを、結合するであろう。
図17において、OAM復号器1400は、上述した実施形態の1つに従って1つ以上のオーディオチャネルを生成する装置100のメタデータ復号器110である。更に、図17において、オブジェクトレンダラー1210とUSAC復号器1300とミキサー1220とは一緒に、上述した実施形態の1つに従って1つ以上のオーディオチャネルを生成する装置100のオーディオ復号器120を形成する。
符号化済みオーディオデータを復号化する装置が提供される。その符号化済みオーディオデータを復号化する装置は、
−符号化済みオーディオデータを受信する入力インターフェイス1100であって、符号化済みオーディオデータは、複数の符号化済みチャネル、複数の符号化済みオブジェクト、又は複数のオブジェクトに関連する圧縮済みメタデータを含む、インターフェイス1100と、
−メタデータ復号器110と、上述したように1つ以上のオーディオチャネルを生成するオーディオチャネル生成部120とを含む、装置100と、
を備える。
1つ以上のオーディオチャネルを生成する装置100のメタデータ復号器110は、圧縮済みメタデータを解凍するメタデータ解凍部400である。
1つ以上のオーディオチャネルを生成する装置100のオーディオチャネル生成部120は、複数の符号化済みチャネルと複数の符号化済みオブジェクトとを復号化する、コア復号器1300を備える。
更に、オーディオチャネル生成部120は、複数の復号化済みオブジェクトを解凍済みメタデータを使用して処理し、オブジェクト及び復号化済みチャネルからオーディオデータを含む幾つかの出力チャネル1205を取得する、オブジェクト処理部1200を更に備える。
更に、オーディオチャネル生成部120は、幾つかの出力チャネル1205を出力フォーマットへと変換する後処理部1700を更に備える。
これまで装置の文脈で幾つかの態様を示してきたが、これらの態様は対応する方法の説明をも表しており、1つのブロック又は装置が1つの方法ステップ又は方法ステップの特徴に対応することは明らかである。同様に、方法ステップを説明する文脈で示した態様もまた、対応する装置の対応するブロックもしくは項目又は特徴を表している。
本発明の分解された信号は、デジタル記憶媒体に記憶されることができ、又は、インターネットのような無線伝送媒体もしくは有線伝送媒体などの伝送媒体を介して伝送されることもできる。
所定の構成要件にもよるが、本発明の実施形態は、ハードウエア又はソフトウエアにおいて構成可能である。この構成は、その中に格納される電子的に読み取り可能な制御信号を有し、本発明の各方法が実行されるようにプログラム可能なコンピュータシステムと協働する(又は協働可能な)、デジタル記憶媒体、例えばフレキシブルディスク,DVD,CD,ROM,PROM,EPROM,EEPROM,フラッシュメモリなどのデジタル記憶媒体を使用して実行することができる。
本発明に従う幾つかの実施形態は、上述した方法の1つを実行するようプログラム可能なコンピュータシステムと協働可能で、電子的に読み取り可能な制御信号を有する非一時的なデータキャリアを含む。
一般的に、本発明の実施例は、プログラムコードを有するコンピュータプログラム製品として構成することができ、そのプログラムコードは当該コンピュータプログラム製品がコンピュータ上で作動するときに、本発明の方法の一つを実行するよう作動可能である。そのプログラムコードは例えば機械読み取り可能なキャリアに記憶されていても良い。
本発明の他の実施形態は、上述した方法の1つを実行するための、機械読み取り可能なキャリアに格納されたコンピュータプログラムを含む。
換言すれば、本発明の方法のある実施形態は、そのコンピュータプログラムがコンピュータ上で作動するときに、上述した方法の1つを実行するためのプログラムコードを有するコンピュータプログラムである。
本発明の他の実施形態は、上述した方法の1つを実行するために記録されたコンピュータプログラムを含む、データキャリア(又はデジタル記憶媒体、又はコンピュータ読み取り可能な媒体)である。
本発明の他の実施形態は、上述した方法の1つを実行するためのコンピュータプログラムを表現するデータストリーム又は信号列である。そのデータストリーム又は信号列は、例えばインターネットのようなデータ通信接続を介して伝送されるよう構成されても良い。
他の実施形態は、上述した方法の1つを実行するように構成又は適応された、例えばコンピュータ又はプログラム可能な論理デバイスのような処理手段を含む。
他の実施形態は、上述した方法の1つを実行するためのコンピュータプログラムがインストールされたコンピュータを含む。
幾つかの実施形態においては、(例えば書換え可能ゲートアレイのような)プログラム可能な論理デバイスが、上述した方法の幾つか又は全ての機能を実行するために使用されても良い。幾つかの実施形態では、書換え可能ゲートアレイは、上述した方法の1つを実行するためにマイクロプロセッサと協働しても良い。一般的に、そのような方法は、好適には任意のハードウエア装置によって実行される。
上述した実施形態は、本発明の原理を単に例示的に示したに過ぎない。本明細書に記載した構成及び詳細について修正及び変更が可能であることは、当業者にとって明らかである。従って、本発明は、本明細書に実施形態の説明及び解説の目的で提示した具体的詳細によって限定されるものではなく、添付した特許請求の範囲によってのみ限定されるべきである。
図7において、線形補間(722を参照)と組み合わせたアップサンプリング処理(721を参照)は、オリジナル信号の粗い近似をもたらす。そのアップサンプリング処理(721を参照)及び線形補間(722を参照)は、例えば単一ステップにおいて実行されてもよい。
そのような実施形態によれば、アップサンプリング処理と線形補間との組合せも、符号器側でのメタデータ符号化の一部として実行される(図8の621及び622を参照)。ここでも、アップサンプリング処理(621参照)と線形補間(622参照)とは、例えば単一ステップにおいて実行されてもよい。
図8に係る実施形態において、近似済みメタデータサンプルは、例えば圧縮済みメタデータ信号z(k)に対してアップサンプリングを実行すること、及び線形補間を実行することにより、(例えば信号s''のサンプルs''(n)として)決定されてもよい。アップサンプリング及び線形補間は、例えば符号器側のメタデータ符号化の一部として(図8の621と622を参照)実行されてもよく、例えば符号721と722を参照しながらメタデータ復号化について説明したものと同様である。
[数5]
Figure 2016528541
[数6]
Figure 2016528541
しかし、他の実施形態によれば、ある近似済みメタデータサンプルについて差分値が受信されていない場合、当該近似済みメタデータサンプルのために、ある近似済み差分値が1つ以上の受信された差分値に依存して生成され、当該近似済み差分値が後段で示すように当該近似済みメタデータサンプルに加算される。
上述した実施形態の幾つかと同様に、図10において、差分値は、例えば圧縮済みメタデータ信号に含まれないオリジナル・メタデータ信号の各メタデータサンプルについて決定される。例えば、時刻n=0及びn=Nにおけるメタデータサンプルが圧縮済みメタデータ信号に含まれ、時刻n=1からn=N−1までのメタデータサンプルが圧縮済みメタデータ信号に含まれていない場合、差分値は時刻n=1からn=N−1までに関して決定される。
最後に、3Dオーディオ符号器が第4モードで構成されている場合、SAOC符号器800は、プレレンダラー/ミキサーによって生成されたチャネル+プレレンダリング済みオブジェクトを符号化することができる。そのため、第4モードにおいては、最低ビットレートのアプリケーションが次のような事実により良好な品質を提供できる。なぜなら、チャネルとオブジェクトとが、個別のSAOC転送チャネル及び図14と図16の中で「SAOC−SI」として示すような関連するサイド情報へと完全に変換されており、加えて、この第4モードでは如何なる圧縮済みメタデータも伝送される必要がないからである。
更に、後処理部1700は、バイノーラルレンダラー1710又はフォーマット変換部1720として構成され得る。代替的に、図13のデータ1205の直接的な出力もまた、1730で示されるように構成され得る。従って、より小さなフォーマットが要求される場合には、柔軟性を持ち、かつ次に後処理するために、復号器内の処理は22.2や32などの最大数のチャネルに対して実行することが好ましい。しかしながら、5.1フォーマットのような小さなフォーマットだけが要求されることが正に最初から明白になる場合には、図17におけるショートカット1727で示すように、不要なアップミクス操作及び後続のダウンミクス操作を防止するための、SAOC復号器及び/又はUSAC復号器に対するある制御を適用し得ることが望ましい。

Claims (19)

  1. 1つ以上のオーディオチャネルを生成する装置(100)であって、
    1つ以上の圧縮済みメタデータ信号を受信するメタデータ復号器(110)であって、前記1つ以上の圧縮済みメタデータ信号の各々は複数の第1メタデータサンプルを含み、前記1つ以上の圧縮済みメタデータ信号の各々の前記第1メタデータサンプルは、1つ以上のオーディオオブジェクト信号の1つのオーディオオブジェクト信号に関連する情報を示しており、前記メタデータ復号器(110)は1つ以上の再生メタデータ信号を生成するよう構成されており、前記1つ以上の再生メタデータ信号の各々が前記1つ以上の圧縮済みメタデータ信号の1つにおける前記第1メタデータサンプルを含み、さらに複数の第2メタデータサンプルを含み、前記再生メタデータ信号の第1メタデータサンプルの少なくとも2つに依存して、前記1つ以上の再生メタデータ信号の各再生メタデータ信号の第2メタデータサンプルの各々を生成するよう構成されている、メタデータ復号器(110)と、
    前記1つ以上のオーディオオブジェクト信号に依存しかつ前記1つ以上の再生メタデータ信号に依存して、前記1つ以上のオーディオチャネルを生成するオーディオチャネル生成部(120)と、を備える装置。
  2. 請求項1に記載の装置(100)であって、
    前記メタデータ復号器(110)は、前記1つ以上の再生メタデータ信号の各再生メタデータ信号を、前記1つ以上の圧縮済みメタデータ信号の1つをアップサンプリングすることにより生成するよう構成され、前記メタデータ復号器(110)は、前記1つ以上の再生メタデータ信号の各再生メタデータ信号の第2メタデータサンプルの各々を、前記再生メタデータ信号の第1メタデータサンプルの少なくとも2つに依存して、線形補間することにより生成するよう構成されている、装置。
  3. 請求項1又は2に記載の装置(100)であって、
    前記1つ以上の再生メタデータ信号の各再生メタデータ信号は前記1つ以上の圧縮済みメタデータ信号の1つの圧縮済みメタデータ信号の第1メタデータサンプルを含み、前記再生メタデータ信号は前記圧縮済みメタデータ信号と関連しており、
    前記メタデータ復号器(110)は、前記再生メタデータ信号について複数の近似済みメタデータサンプルを生成することにより、前記1つ以上の再生メタデータ信号の各々の第2メタデータサンプルを生成するよう構成され、前記メタデータ復号器(110)は、前記複数の近似済みメタデータサンプルの各々を前記再生メタデータ信号の第1メタデータサンプルの少なくとも2つに依存して生成するよう構成され、
    前記メタデータ復号器(110)は、前記1つ以上の圧縮済みメタデータ信号の1つの圧縮済みメタデータ信号について複数の差分値を受信するよう構成され、かつ前記複数の差分値の各々を前記圧縮済みメタデータ信号と関連する前記再生メタデータ信号の近似済みメタデータサンプルの1つに加算して、前記再生メタデータ信号の第2メタデータサンプルを取得するよう構成されている、装置。
  4. 請求項3に記載の装置(100)であって、
    前記メタデータ復号器(110)は、前記1つ以上の圧縮済みメタデータ信号の1つの圧縮済みメタデータ信号について複数の差分値を受信するよう構成され、前記差分値の各々は、前記圧縮済みメタデータ信号と関連する前記再生メタデータ信号の前記近似済みメタデータサンプルの1つに割り当てられた受信済み差分値であり、
    前記メタデータ復号器(110)は、前記複数の受信済み差分値の各受信済み差分値を、前記受信済み差分値と関連する前記近似済みメタデータサンプルに加算して、前記再生メタデータ信号の前記第2メタデータサンプルの1つを取得するよう構成され、
    前記複数の受信済み差分値のいずれもが前記近似済みメタデータサンプルと関連していないとき、前記メタデータ復号器(110)は、複数の受信済み差分値の1つ以上に依存して、前記圧縮済みメタデータ信号と関連する前記再生メタデータ信号の複数の近似済みメタデータサンプルの各近似済みメタデータサンプルについて近似済み差分値を決定するよう構成され、
    前記メタデータ復号器(110)は、前記複数の近似済み差分値の各近似済み差分値を、前記近似済み差分値の近似済みメタデータサンプルに加算して、前記再生メタデータ信号の第2メタデータサンプルの他の1つを取得するよう構成されている、装置。
  5. 請求項1乃至4のいずれか1項に記載の装置(100)であって、
    前記1つ以上の再生メタデータ信号の少なくとも1つは、前記1つ以上のオーディオオブジェクト信号の1つについての位置情報を含むか、又は前記1つ以上のオーディオオブジェクト信号の前記1つについての位置情報のスケールされた表現を含み、
    前記オーディオチャネル生成部(120)は、前記1つ以上のオーディオオブジェクト信号の前記1つに依存しかつ前記位置情報に依存して、前記1つ以上のオーディオチャネルの少なくとも1つを生成するよう構成されている、装置。
  6. 請求項1乃至5のいずれか1項に記載の装置(100)であって、
    前記1つ以上の再生メタデータ信号の少なくとも1つは、前記1つ以上のオーディオオブジェクト信号の1つについての音量を含むか、又は前記1つ以上のオーディオオブジェクト信号の前記1つについての音量のスケールされた表現を含み、
    前記オーディオチャネル生成部(120)は、前記1つ以上のオーディオオブジェクト信号の前記1つに依存しかつ前記音量に依存して、前記1つ以上のオーディオチャネルの少なくとも1つを生成するよう構成されている、装置。
  7. 請求項1乃至6のいずれか1項に記載の装置(100)であって、
    前記装置(100)はランダムアクセス情報を受信するよう構成されており、前記1つ以上の圧縮済みメタデータ信号の各圧縮済みメタデータ信号について、前記ランダムアクセス情報は前記圧縮済みメタデータ信号のアクセスされた信号部分を指示し、前記メタデータ信号の少なくとも1つの他の信号部分は前記ランダムアクセス情報によって指示されておらず、更に前記メタデータ復号器(110)は、前記圧縮済みメタデータ信号の前記アクセスされた信号部分の第1メタデータサンプルに依存する一方で、前記圧縮済みメタデータ信号の他の信号部分の他の如何なる第1メタデータサンプルにも依存せずに、前記1つ以上の再生メタデータ信号の1つを生成するよう構成されている、装置。
  8. 1つ以上の符号化済みオーディオ信号と1つ以上の圧縮済みメタデータ信号とを含む符号化済みオーディオ情報を生成する装置(250)であって、
    1つ以上のオリジナル・メタデータ信号を受信するメタデータ符号器(210)であって、前記1つ以上のオリジナル・メタデータ信号の各々は複数のメタデータサンプルを含み、前記1つ以上のオリジナル・メタデータ信号の各々の前記メタデータサンプルは1つ以上のオーディオオブジェクト信号の1つのオーディオオブジェクト信号に関連する情報を示し、前記メタデータ符号器(210)は、前記1つ以上の圧縮済みメタデータ信号の各圧縮済みメタデータ信号が前記オリジナル・メタデータ信号の1つにおける2つ以上のメタデータサンプルの第1グループを含み、かつ前記圧縮済みメタデータ信号が前記オリジナル・メタデータ信号の前記1つにおける他の2つ以上のメタデータサンプルの第2グループの如何なるサンプルも含まないように、前記1つ以上の圧縮済みメタデータ信号を生成するよう構成された、メタデータ符号器(210)と、
    前記1つ以上のオーディオオブジェクト信号を符号化して前記1つ以上の符号化済みオーディオ信号を取得するオーディオ符号器(220)と、
    を備える装置。
  9. 請求項8に記載の装置(250)であって、
    前記メタデータ符号器(210)は、前記1つ以上の圧縮済みメタデータ信号の各圧縮済みメタデータ信号が前記1つ以上のオリジナル・メタデータ信号の1つのオリジナル・メタデータ信号の2つ以上のメタデータサンプルの第1グループを含むように、前記1つ以上の圧縮済みメタデータ信号を生成するよう構成され、前記圧縮済みメタデータ信号は前記オリジナル・メタデータ信号と関連しており、
    前記1つ以上のオリジナル・メタデータ信号の1つのオリジナル・メタデータ信号に含まれ、かつ前記オリジナル・メタデータ信号と関連している前記圧縮済みメタデータ信号にも含まれる、前記メタデータサンプルの各々は、複数の第1メタデータサンプルの1つであり、
    前記1つ以上のオリジナル・メタデータ信号の1つのオリジナル・メタデータ信号に含まれ、かつ前記オリジナル・メタデータ信号と関連している前記圧縮済みメタデータ信号には含まれない、前記メタデータサンプルの各々は、複数の第2メタデータサンプルの1つであり、
    前記メタデータ符号器(210)は、前記1つ以上のオリジナル・メタデータ信号の前記1つにおける少なくとも2つの前記第1メタデータサンプルに依存して、線形補間を実行することにより、前記オリジナル・メタデータ信号の1つにおける複数の第2メタデータサンプルの各々について近似済みメタデータサンプルを生成するよう構成され、
    前記メタデータ符号器(210)は、前記1つ以上のオリジナル・メタデータ信号の前記1つにおける前記複数の第2メタデータサンプルの各第2メタデータサンプルについて差分値を生成するよう構成され、前記差分値は前記第2メタデータサンプルと前記第2メタデータサンプルの前記近似済みメタデータサンプルとの差を示す、装置。
  10. 請求項9に記載の装置(250)であって、
    前記メタデータ符号器(210)は、前記1つ以上のオリジナル・メタデータ信号の前記1つにおける前記複数の第2メタデータサンプルの前記差分値の少なくとも1つについて、前記差分値の少なくとも1つの各々がある閾値より大きいか否かを決定するよう構成されている、装置。
  11. 請求項9又は10に記載の装置(250)であって、
    前記メタデータ符号器(210)は、前記1つ以上の圧縮済みメタデータ信号の1つにおける1つ以上のメタデータサンプルを第1のビット数で符号化するよう構成され、前記1つ以上の圧縮済みメタデータ信号の前記1つにおける1つ以上のメタデータサンプルの各々は整数を示し、
    前記メタデータ符号器(210)は、前記複数の第2メタデータサンプルの1つ以上の前記差分値を第2のビット数で符号化するよう構成され、前記複数の第2メタデータサンプルの1つ以上の前記差分値の各々は整数を示し、
    前記第2のビット数は前記第1のビット数よりも小さい、装置。
  12. 請求項8乃至11のいずれか1項に記載の装置(250)であって、
    前記1つ以上のオリジナル・メタデータ信号の少なくとも1つは、前記1つ以上のオーディオオブジェクト信号の1つについての位置情報を含むか、又は前記1つ以上のオーディオオブジェクト信号の前記1つについての位置情報のスケールされた表現を含み、
    前記メタデータ符号器(210)は、前記1つ以上のオリジナル・メタデータ信号の前記少なくとも1つに依存して、前記1つ以上の圧縮済みメタデータ信号の少なくとも1つを生成するよう構成されている、装置。
  13. 請求項8乃至12のいずれか1項に記載の装置(250)であって、
    前記1つ以上のオリジナル・メタデータ信号の少なくとも1つは、前記1つ以上のオーディオオブジェクト信号の1つについての音量を含むか、又は前記1つ以上のオーディオオブジェクト信号の前記1つについての音量のスケールされた表現を含み、
    前記メタデータ符号器(210)は、前記1つ以上のオリジナル・メタデータ信号の前記少なくとも1つに依存して、前記1つ以上の圧縮済みメタデータ信号の少なくとも1つを生成するよう構成されている、装置。
  14. 1つ以上の符号化済みオーディオ信号と1つ以上の圧縮済みメタデータ信号とを含む符号化済みオーディオ情報を生成する、請求項8乃至13のいずれか1項に記載の装置(250)と、
    前記1つ以上の符号化済みオーディオ信号と前記1つ以上の圧縮済みメタデータ信号とを受信し、前記1つ以上の符号化済みオーディオ信号と前記1つ以上の圧縮済みメタデータ信号とに依存して1つ以上のオーディオチャネルを生成する、請求項1乃至7のいずれか1項に記載の装置(100)と、
    を備えるシステム。
  15. 1つ以上のオーディオチャネルを生成する方法であって、
    1つ以上の圧縮済みメタデータ信号を受信するステップであって、前記1つ以上の圧縮済みメタデータ信号の各々は複数の第1メタデータサンプルを含み、前記1つ以上の圧縮済みメタデータ信号の各々の第1メタデータサンプルは1つ以上のオーディオオブジェクト信号の1つのオーディオオブジェクト信号に関連する情報を示す、ステップと、
    1つ以上の再生メタデータ信号を生成するステップであって、そのステップは、前記1つ以上の再生メタデータ信号の各々が前記1つ以上の圧縮済みメタデータ信号の1つの第1メタデータサンプルを含み、さらに複数の第2メタデータサンプルを含むように実行され、1つ以上の再生メタデータ信号を生成するステップは、前記1つ以上の再生メタデータ信号の各再生メタデータ信号の第2メタデータサンプルの各々を、前記再生メタデータ信号の第1メタデータサンプルの少なくとも2つに依存して生成することを含む、ステップと、
    前記1つ以上のオーディオオブジェクト信号と前記1つ以上の再生メタデータ信号とに依存して、前記1つ以上のオーディオチャネルを生成するステップと、
    を備える方法。
  16. 1つ以上の符号化済みオーディオ信号と1つ以上の圧縮済みメタデータ信号とを含む符号化済みオーディオ情報を生成する方法であって、
    1つ以上のオリジナル・メタデータ信号を受信するステップであって、前記1つ以上のオリジナル・メタデータ信号の各々は複数のメタデータサンプルを含み、前記1つ以上のオリジナル・メタデータ信号の各々の前記メタデータサンプルは1つ以上のオーディオオブジェクト信号の1つのオーディオオブジェクト信号に関連する情報を示す、ステップと、
    前記1つ以上の圧縮済みメタデータ信号を生成するステップであって、前記1つ以上の圧縮済みメタデータ信号の各圧縮済みメタデータ信号が前記オリジナル・メタデータ信号の1つにおける2つ以上のメタデータサンプルの第1グループを含み、かつ前記圧縮済みメタデータ信号が前記オリジナル・メタデータ信号の前記1つにおける他の2つ以上のメタデータサンプルの第2グループの如何なるメタデータサンプルも含まないように実行する、ステップと、
    前記1つ以上のオーディオオブジェクト信号を符号化して前記1つ以上の符号化済みオーディオ信号を取得するステップと、
    を備える方法。
  17. コンピュータ又は信号プロセッサ上で作動されたとき、請求項15又は16に記載の方法を実行するためのコンピュータプログラム。
  18. オーディオ入力データ(101)を符号化してオーディオ出力データ(501)を取得する装置であって、
    複数のオーディオチャネルと複数のオーディオオブジェクトと前記複数のオーディオオブジェクトの1つ又は複数に関連するメタデータとを受信する、入力インターフェイス(1100)と、
    前記複数のオブジェクトと前記複数のチャネルとをミキシングして、複数のプレミクス済みチャネルを取得するミキサー(200)であって、各プレミクス済みチャネルは1つのチャネルのオーディオデータと少なくとも1つのオブジェクトのオーディオデータとを含む、ミキサー(200)と、
    請求項8乃至13のいずれか1項に記載の装置(250)と、を備え、
    請求項8乃至13のいずれか1項に記載の装置(250)の前記オーディオ符号器(220)は、コア符号器入力データをコア符号化するコア符号器(300)であり、
    請求項8乃至13のいずれか1項に記載の装置(250)の前記メタデータ符号器(210)は、前記複数のオーディオオブジェクトの1つ以上に関連する前記メタデータを圧縮するメタデータ圧縮部(400)である、装置。
  19. 符号化済みオーディオデータを復号化する装置であって、
    符号化済みオーディオデータを受信する入力インターフェイス(1100)であって、前記符号化済みオーディオデータが、複数の符号化済みチャネル、複数の符号化済みオブジェクト、又は前記複数のオブジェクトに関連する圧縮済みメタデータを含む、入力インターフェイス(1100)と、
    請求項1乃至7のいずれか1項に記載の装置(100)と、を備え、
    請求項1乃至7のいずれか1項に記載の前記装置(100)の前記メタデータ復号器(110)は、前記圧縮済みメタデータを解凍するメタデータ解凍部(400)であり、
    請求項1乃至7のいずれか1項に記載の前記装置(100)の前記オーディオチャネル生成部(120)は、前記複数の符号化済みチャネルと前記複数の符号化済みオブジェクトとを復号化するコア復号器(1300)を備え、
    前記オーディオチャネル生成部(120)は、複数の復号化済みオブジェクトを解凍済みメタデータを使用して処理し、前記オブジェクト及び復号化済みチャネルからオーディオデータを含む幾つかの出力チャネル(1205)を取得する、オブジェクト処理部(1200)を備え、
    前記オーディオチャネル生成部(120)は、前記幾つかの出力チャネル(1205)を出力フォーマットへ変換する後処理部(1700)を更に備える、装置。
JP2016528437A 2013-07-22 2014-07-16 効率的なオブジェクト・メタデータ符号化の装置と方法 Active JP6239110B2 (ja)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
EP13177367 2013-07-22
EP13177378.0 2013-07-22
EP13177365 2013-07-22
EP13177365.7 2013-07-22
EP13177367.3 2013-07-22
EP20130177378 EP2830045A1 (en) 2013-07-22 2013-07-22 Concept for audio encoding and decoding for audio channels and audio objects
EP13189284.6A EP2830049A1 (en) 2013-07-22 2013-10-18 Apparatus and method for efficient object metadata coding
EP13189284.6 2013-10-18
PCT/EP2014/065299 WO2015011000A1 (en) 2013-07-22 2014-07-16 Apparatus and method for efficient object metadata coding

Publications (2)

Publication Number Publication Date
JP2016528541A true JP2016528541A (ja) 2016-09-15
JP6239110B2 JP6239110B2 (ja) 2017-11-29

Family

ID=49385151

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2016528437A Active JP6239110B2 (ja) 2013-07-22 2014-07-16 効率的なオブジェクト・メタデータ符号化の装置と方法
JP2016528434A Active JP6239109B2 (ja) 2013-07-22 2014-07-16 低遅延オブジェクト・メタデータ符号化の装置と方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2016528434A Active JP6239109B2 (ja) 2013-07-22 2014-07-16 低遅延オブジェクト・メタデータ符号化の装置と方法

Country Status (16)

Country Link
US (8) US9743210B2 (ja)
EP (4) EP2830047A1 (ja)
JP (2) JP6239110B2 (ja)
KR (5) KR20230054741A (ja)
CN (2) CN105474309B (ja)
AU (2) AU2014295271B2 (ja)
BR (2) BR112016001140B1 (ja)
CA (2) CA2918860C (ja)
ES (1) ES2881076T3 (ja)
MX (2) MX357577B (ja)
MY (1) MY176994A (ja)
RU (2) RU2666282C2 (ja)
SG (2) SG11201600471YA (ja)
TW (1) TWI560703B (ja)
WO (2) WO2015011000A1 (ja)
ZA (2) ZA201601044B (ja)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2830052A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio decoder, audio encoder, method for providing at least four audio channel signals on the basis of an encoded representation, method for providing an encoded representation on the basis of at least four audio channel signals and computer program using a bandwidth extension
EP2830047A1 (en) * 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for low delay object metadata coding
EP2830050A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for enhanced spatial audio object coding
EP2830045A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Concept for audio encoding and decoding for audio channels and audio objects
RU2678481C2 (ru) 2013-11-05 2019-01-29 Сони Корпорейшн Устройство обработки информации, способ обработки информации и программа
CN106796804B (zh) 2014-10-02 2020-09-18 杜比国际公司 用于对话增强的解码方法和解码器
TWI631835B (zh) * 2014-11-12 2018-08-01 弗勞恩霍夫爾協會 用以解碼媒體信號之解碼器、及用以編碼包含用於主要媒體資料之元資料或控制資料的次要媒體資料之編碼器
TWI771266B (zh) * 2015-03-13 2022-07-11 瑞典商杜比國際公司 解碼具有增強頻譜帶複製元資料在至少一填充元素中的音訊位元流
BR112017002758B1 (pt) * 2015-06-17 2022-12-20 Sony Corporation Dispositivo e método de transmissão, e, dispositivo e método de recepção
JP6461029B2 (ja) * 2016-03-10 2019-01-30 株式会社東芝 時系列データ圧縮装置
EP3453190A4 (en) * 2016-05-06 2020-01-15 DTS, Inc. SYSTEMS FOR IMMERSIVE AUDIO PLAYBACK
EP3293987B1 (en) * 2016-09-13 2020-10-21 Nokia Technologies Oy Audio processing
EP3566473B8 (en) * 2017-03-06 2022-06-15 Dolby International AB Integrated reconstruction and rendering of audio signals
US10979844B2 (en) 2017-03-08 2021-04-13 Dts, Inc. Distributed audio virtualization systems
US9820073B1 (en) 2017-05-10 2017-11-14 Tls Corp. Extracting a common signal from multiple audio signals
CN111164679B (zh) * 2017-10-05 2024-04-09 索尼公司 编码装置和方法、解码装置和方法以及程序
TWI703557B (zh) * 2017-10-18 2020-09-01 宏達國際電子股份有限公司 聲音播放裝置、方法及非暫態儲存媒體
JP7396267B2 (ja) * 2018-03-29 2023-12-12 ソニーグループ株式会社 情報処理装置、情報処理方法、及びプログラム
US11540075B2 (en) * 2018-04-10 2022-12-27 Gaudio Lab, Inc. Method and device for processing audio signal, using metadata
CN115346539A (zh) * 2018-04-11 2022-11-15 杜比国际公司 用于音频渲染的预渲染信号的方法、设备和***
US10999693B2 (en) * 2018-06-25 2021-05-04 Qualcomm Incorporated Rendering different portions of audio data using different renderers
BR112021008089A2 (pt) 2018-11-02 2021-08-03 Dolby International Ab codificador de áudio e decodificador de áudio
US11379420B2 (en) * 2019-03-08 2022-07-05 Nvidia Corporation Decompression techniques for processing compressed data suitable for artificial neural networks
GB2582749A (en) * 2019-03-28 2020-10-07 Nokia Technologies Oy Determination of the significance of spatial audio parameters and associated encoding
BR112021025420A2 (pt) * 2019-07-08 2022-02-01 Voiceage Corp Método e sistema para codificar metadados em fluxos de áudio e para adaptação de taxa de bits intraobjeto e interobjeto flexível
GB2586214A (en) * 2019-07-31 2021-02-17 Nokia Technologies Oy Quantization of spatial audio direction parameters
GB2586586A (en) * 2019-08-16 2021-03-03 Nokia Technologies Oy Quantization of spatial audio direction parameters
EP4032086A4 (en) * 2019-09-17 2023-05-10 Nokia Technologies Oy SPATIAL AUDIO PARAMETERS CODING AND ASSOCIATED DECODING
CN115668364A (zh) 2020-05-26 2023-01-31 杜比国际公司 利用高效的闪避增益应用改善主-相关联音频体验
US20230377587A1 (en) * 2020-10-05 2023-11-23 Nokia Technologies Oy Quantisation of audio parameters

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5129888B2 (ja) * 2008-09-30 2013-01-30 ドルビー・インターナショナル・アーベー トランスコード方法、トランスコーディングシステム及びセットトップボックス
JP2014520491A (ja) * 2011-07-01 2014-08-21 ドルビー ラボラトリーズ ライセンシング コーポレイション 向上した3dオーディオ作成および表現のためのシステムおよびツール
JP2014522155A (ja) * 2011-07-01 2014-08-28 ドルビー ラボラトリーズ ライセンシング コーポレイション 適応的オーディオ信号生成、コーディング、及びレンダリングのためのシステムと方法

Family Cites Families (88)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2605361A (en) 1950-06-29 1952-07-29 Bell Telephone Labor Inc Differential quantization of communication signals
JP3576936B2 (ja) 2000-07-21 2004-10-13 株式会社ケンウッド 周波数補間装置、周波数補間方法及び記録媒体
GB2417866B (en) 2004-09-03 2007-09-19 Sony Uk Ltd Data transmission
US7720230B2 (en) 2004-10-20 2010-05-18 Agere Systems, Inc. Individual channel shaping for BCC schemes and the like
SE0402652D0 (sv) 2004-11-02 2004-11-02 Coding Tech Ab Methods for improved performance of prediction based multi- channel reconstruction
SE0402651D0 (sv) * 2004-11-02 2004-11-02 Coding Tech Ab Advanced methods for interpolation and parameter signalling
SE0402649D0 (sv) 2004-11-02 2004-11-02 Coding Tech Ab Advanced methods of creating orthogonal signals
EP1691348A1 (en) 2005-02-14 2006-08-16 Ecole Polytechnique Federale De Lausanne Parametric joint-coding of audio sources
ATE406651T1 (de) 2005-03-30 2008-09-15 Koninkl Philips Electronics Nv Audiokodierung und audiodekodierung
ATE473502T1 (de) 2005-03-30 2010-07-15 Koninkl Philips Electronics Nv Mehrkanal-audiocodierung
US7548853B2 (en) 2005-06-17 2009-06-16 Shmunk Dmitry V Scalable compressed audio bit stream and codec using a hierarchical filterbank and multichannel joint coding
CN101288115A (zh) 2005-10-13 2008-10-15 Lg电子株式会社 用于处理信号的方法和装置
KR100888474B1 (ko) 2005-11-21 2009-03-12 삼성전자주식회사 멀티채널 오디오 신호의 부호화/복호화 장치 및 방법
CN101410891A (zh) 2006-02-03 2009-04-15 韩国电子通信研究院 使用空间线索控制多目标或多声道音频信号的渲染的方法和装置
DE602007004451D1 (de) 2006-02-21 2010-03-11 Koninkl Philips Electronics Nv Audiokodierung und audiodekodierung
EP2005787B1 (en) 2006-04-03 2012-01-25 Srs Labs, Inc. Audio signal processing
US8027479B2 (en) 2006-06-02 2011-09-27 Coding Technologies Ab Binaural multi-channel decoder in the context of non-energy conserving upmix rules
US8326609B2 (en) 2006-06-29 2012-12-04 Lg Electronics Inc. Method and apparatus for an audio signal processing
MY151651A (en) * 2006-07-04 2014-06-30 Dolby Int Ab Filter compressor and method for manufacturing compressed subband filter impulse responses
EP2575129A1 (en) 2006-09-29 2013-04-03 Electronics and Telecommunications Research Institute Apparatus and method for coding and decoding multi-object audio signal with various channel
MX2008012250A (es) 2006-09-29 2008-10-07 Lg Electronics Inc Metodos y aparatos para codificar y descodificar señales de audio basadas en objeto.
MY145497A (en) 2006-10-16 2012-02-29 Dolby Sweden Ab Enhanced coding and parameter representation of multichannel downmixed object coding
WO2008063034A1 (en) 2006-11-24 2008-05-29 Lg Electronics Inc. Method for encoding and decoding object-based audio signal and apparatus thereof
KR101111520B1 (ko) 2006-12-07 2012-05-24 엘지전자 주식회사 오디오 처리 방법 및 장치
EP2595148A3 (en) 2006-12-27 2013-11-13 Electronics and Telecommunications Research Institute Apparatus for coding multi-object audio signals
CN101542596B (zh) 2007-02-14 2016-05-18 Lg电子株式会社 用于编码和解码基于对象的音频信号的方法和装置
WO2008100100A1 (en) 2007-02-14 2008-08-21 Lg Electronics Inc. Methods and apparatuses for encoding and decoding object-based audio signals
RU2394283C1 (ru) * 2007-02-14 2010-07-10 ЭлДжи ЭЛЕКТРОНИКС ИНК. Способы и устройства для кодирования и декодирования объектно-базированных аудиосигналов
KR20080082917A (ko) 2007-03-09 2008-09-12 엘지전자 주식회사 오디오 신호 처리 방법 및 이의 장치
JP5541928B2 (ja) 2007-03-09 2014-07-09 エルジー エレクトロニクス インコーポレイティド オーディオ信号の処理方法及び装置
JP5161893B2 (ja) 2007-03-16 2013-03-13 エルジー エレクトロニクス インコーポレイティド オーディオ信号の処理方法及び装置
US7991622B2 (en) 2007-03-20 2011-08-02 Microsoft Corporation Audio compression and decompression using integer-reversible modulated lapped transforms
KR101422745B1 (ko) 2007-03-30 2014-07-24 한국전자통신연구원 다채널로 구성된 다객체 오디오 신호의 인코딩 및 디코딩장치 및 방법
ES2452348T3 (es) 2007-04-26 2014-04-01 Dolby International Ab Aparato y procedimiento para sintetizar una señal de salida
MY146431A (en) * 2007-06-11 2012-08-15 Fraunhofer Ges Forschung Audio encoder for encoding an audio signal having an impulse-like portion and stationary portion, encoding methods, decoder, decoding method, and encoded audio signal
US7885819B2 (en) 2007-06-29 2011-02-08 Microsoft Corporation Bitstream syntax for multi-process audio decoding
WO2009045178A1 (en) * 2007-10-05 2009-04-09 Agency For Science, Technology And Research A method of transcoding a data stream and a data transcoder
WO2009049895A1 (en) 2007-10-17 2009-04-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio coding using downmix
MX2010002629A (es) 2007-11-21 2010-06-02 Lg Electronics Inc Metodo y aparato para procesar una señal.
KR101024924B1 (ko) 2008-01-23 2011-03-31 엘지전자 주식회사 오디오 신호의 처리 방법 및 이의 장치
KR20090110244A (ko) * 2008-04-17 2009-10-21 삼성전자주식회사 오디오 시맨틱 정보를 이용한 오디오 신호의 부호화/복호화 방법 및 그 장치
KR101596504B1 (ko) * 2008-04-23 2016-02-23 한국전자통신연구원 객체기반 오디오 컨텐츠의 생성/재생 방법 및 객체기반 오디오 서비스를 위한 파일 포맷 구조를 가진 데이터를 기록한 컴퓨터 판독 가능 기록 매체
KR101061129B1 (ko) 2008-04-24 2011-08-31 엘지전자 주식회사 오디오 신호의 처리 방법 및 이의 장치
EP2144231A1 (en) 2008-07-11 2010-01-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Low bitrate audio encoding/decoding scheme with common preprocessing
AU2009267525B2 (en) 2008-07-11 2012-12-20 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio signal synthesizer and audio signal encoder
EP2144230A1 (en) 2008-07-11 2010-01-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Low bitrate audio encoding/decoding scheme having cascaded switches
EP2146341B1 (en) * 2008-07-15 2013-09-11 LG Electronics Inc. A method and an apparatus for processing an audio signal
PL2146344T3 (pl) 2008-07-17 2017-01-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Sposób kodowania/dekodowania sygnału audio obejmujący przełączalne obejście
EP2146522A1 (en) 2008-07-17 2010-01-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for generating audio output signals using object based metadata
KR20100035121A (ko) 2008-09-25 2010-04-02 엘지전자 주식회사 신호 처리 방법 및 이의 장치
MX2011011399A (es) 2008-10-17 2012-06-27 Univ Friedrich Alexander Er Aparato para suministrar uno o más parámetros ajustados para un suministro de una representación de señal de mezcla ascendente sobre la base de una representación de señal de mezcla descendete, decodificador de señal de audio, transcodificador de señal de audio, codificador de señal de audio, flujo de bits de audio, método y programa de computación que utiliza información paramétrica relacionada con el objeto.
US8351612B2 (en) 2008-12-02 2013-01-08 Electronics And Telecommunications Research Institute Apparatus for generating and playing object based audio contents
KR20100065121A (ko) 2008-12-05 2010-06-15 엘지전자 주식회사 오디오 신호 처리 방법 및 장치
EP2205007B1 (en) 2008-12-30 2019-01-09 Dolby International AB Method and apparatus for three-dimensional acoustic field encoding and optimal reconstruction
US8620008B2 (en) 2009-01-20 2013-12-31 Lg Electronics Inc. Method and an apparatus for processing an audio signal
US8139773B2 (en) 2009-01-28 2012-03-20 Lg Electronics Inc. Method and an apparatus for decoding an audio signal
WO2010090019A1 (ja) 2009-02-04 2010-08-12 パナソニック株式会社 結合装置、遠隔通信システム及び結合方法
RU2520329C2 (ru) 2009-03-17 2014-06-20 Долби Интернешнл Аб Усовершенствованное стереофоническое кодирование на основе комбинации адаптивно выбираемого левого/правого или среднего/побочного стереофонического кодирования и параметрического стереофонического кодирования
WO2010105695A1 (en) 2009-03-20 2010-09-23 Nokia Corporation Multi channel audio coding
US8909521B2 (en) 2009-06-03 2014-12-09 Nippon Telegraph And Telephone Corporation Coding method, coding apparatus, coding program, and recording medium therefor
TWI404050B (zh) 2009-06-08 2013-08-01 Mstar Semiconductor Inc 多聲道音頻信號解碼方法與裝置
US20100324915A1 (en) 2009-06-23 2010-12-23 Electronic And Telecommunications Research Institute Encoding and decoding apparatuses for high quality multi-channel audio codec
KR101283783B1 (ko) 2009-06-23 2013-07-08 한국전자통신연구원 고품질 다채널 오디오 부호화 및 복호화 장치
CN102460573B (zh) 2009-06-24 2014-08-20 弗兰霍菲尔运输应用研究公司 音频信号译码器、对音频信号译码的方法
CN102171754B (zh) 2009-07-31 2013-06-26 松下电器产业株式会社 编码装置以及解码装置
KR101805212B1 (ko) 2009-08-14 2017-12-05 디티에스 엘엘씨 객체-지향 오디오 스트리밍 시스템
TWI463485B (zh) 2009-09-29 2014-12-01 Fraunhofer Ges Forschung 音訊信號解碼器或編碼器、用以提供上混信號表示型態或位元串流表示型態之方法、電腦程式及機器可存取媒體
WO2011048067A1 (en) 2009-10-20 2011-04-28 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E. V. Apparatus for providing an upmix signal representation on the basis of a downmix signal representation, apparatus for providing a bitstream representing a multichannel audio signal, methods, computer program and bitstream using a distortion control signaling
US9117458B2 (en) 2009-11-12 2015-08-25 Lg Electronics Inc. Apparatus for processing an audio signal and method thereof
US20110153857A1 (en) * 2009-12-23 2011-06-23 Research In Motion Limited Method for partial loading and viewing a document attachment on a portable electronic device
TWI557723B (zh) 2010-02-18 2016-11-11 杜比實驗室特許公司 解碼方法及系統
CN102823273B (zh) * 2010-03-23 2015-12-16 杜比实验室特许公司 用于局域化感知音频的技术
US8675748B2 (en) * 2010-05-25 2014-03-18 CSR Technology, Inc. Systems and methods for intra communication system information transfer
US8755432B2 (en) * 2010-06-30 2014-06-17 Warner Bros. Entertainment Inc. Method and apparatus for generating 3D audio positioning using dynamically optimized audio 3D space perception cues
US8908874B2 (en) * 2010-09-08 2014-12-09 Dts, Inc. Spatial audio encoding and reproduction
TWI489450B (zh) 2010-12-03 2015-06-21 Fraunhofer Ges Forschung 用以產生音訊輸出信號或資料串流之裝置及方法、和相關聯之系統、電腦可讀媒體與電腦程式
TWI716169B (zh) 2010-12-03 2021-01-11 美商杜比實驗室特許公司 音頻解碼裝置、音頻解碼方法及音頻編碼方法
WO2012122397A1 (en) 2011-03-09 2012-09-13 Srs Labs, Inc. System for dynamically creating and rendering audio objects
CN103649706B (zh) 2011-03-16 2015-11-25 Dts(英属维尔京群岛)有限公司 三维音频音轨的编码及再现
US9754595B2 (en) 2011-06-09 2017-09-05 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding 3-dimensional audio signal
JP5740531B2 (ja) * 2011-07-01 2015-06-24 ドルビー ラボラトリーズ ライセンシング コーポレイション オブジェクトベースオーディオのアップミキシング
CN102931969B (zh) * 2011-08-12 2015-03-04 智原科技股份有限公司 数据提取的方法与装置
EP2560161A1 (en) 2011-08-17 2013-02-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Optimal mixing matrices and usage of decorrelators in spatial audio processing
CN103890841B (zh) 2011-11-01 2017-10-17 皇家飞利浦有限公司 音频对象编码和解码
WO2013075753A1 (en) 2011-11-25 2013-05-30 Huawei Technologies Co., Ltd. An apparatus and a method for encoding an input signal
CN105229731B (zh) 2013-05-24 2017-03-15 杜比国际公司 根据下混的音频场景的重构
EP2830045A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Concept for audio encoding and decoding for audio channels and audio objects
EP2830047A1 (en) * 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for low delay object metadata coding

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5129888B2 (ja) * 2008-09-30 2013-01-30 ドルビー・インターナショナル・アーベー トランスコード方法、トランスコーディングシステム及びセットトップボックス
JP2014520491A (ja) * 2011-07-01 2014-08-21 ドルビー ラボラトリーズ ライセンシング コーポレイション 向上した3dオーディオ作成および表現のためのシステムおよびツール
JP2014522155A (ja) * 2011-07-01 2014-08-28 ドルビー ラボラトリーズ ライセンシング コーポレイション 適応的オーディオ信号生成、コーディング、及びレンダリングのためのシステムと方法

Also Published As

Publication number Publication date
WO2015011000A1 (en) 2015-01-29
BR112016001140A2 (ja) 2017-07-25
CA2918166A1 (en) 2015-01-29
AU2014295271B2 (en) 2017-10-12
US20200275229A1 (en) 2020-08-27
US20160142850A1 (en) 2016-05-19
BR112016001140B1 (pt) 2022-10-25
EP3025330A1 (en) 2016-06-01
CN105474309A (zh) 2016-04-06
WO2015010996A1 (en) 2015-01-29
ZA201601044B (en) 2017-08-30
CA2918860A1 (en) 2015-01-29
EP3025332A1 (en) 2016-06-01
US20170366911A1 (en) 2017-12-21
US9743210B2 (en) 2017-08-22
EP3025330B1 (en) 2021-05-05
CN105474310A (zh) 2016-04-06
US11463831B2 (en) 2022-10-04
MX2016000907A (es) 2016-05-05
TWI560703B (en) 2016-12-01
BR112016001139A2 (ja) 2017-07-25
KR20230054741A (ko) 2023-04-25
KR101865213B1 (ko) 2018-06-07
MX2016000908A (es) 2016-05-05
AU2014295267A1 (en) 2016-02-11
US20200275228A1 (en) 2020-08-27
JP2016525714A (ja) 2016-08-25
US9788136B2 (en) 2017-10-10
KR20210048599A (ko) 2021-05-03
US10715943B2 (en) 2020-07-14
RU2672175C2 (ru) 2018-11-12
US11337019B2 (en) 2022-05-17
BR112016001139B1 (pt) 2022-03-03
RU2016105691A (ru) 2017-08-28
CA2918860C (en) 2018-04-10
JP6239109B2 (ja) 2017-11-29
RU2666282C2 (ru) 2018-09-06
US10659900B2 (en) 2020-05-19
EP2830047A1 (en) 2015-01-28
US20190222949A1 (en) 2019-07-18
KR20160033775A (ko) 2016-03-28
MX357576B (es) 2018-07-16
EP2830049A1 (en) 2015-01-28
AU2014295267B2 (en) 2017-10-05
TW201523591A (zh) 2015-06-16
KR20180069095A (ko) 2018-06-22
AU2014295271A1 (en) 2016-03-10
CA2918166C (en) 2019-01-08
CN105474310B (zh) 2020-05-12
JP6239110B2 (ja) 2017-11-29
CN105474309B (zh) 2019-08-23
US10277998B2 (en) 2019-04-30
US20160133263A1 (en) 2016-05-12
ES2881076T3 (es) 2021-11-26
KR20160036585A (ko) 2016-04-04
MX357577B (es) 2018-07-16
US11910176B2 (en) 2024-02-20
US20220329958A1 (en) 2022-10-13
CN111883148A (zh) 2020-11-03
US20170311106A1 (en) 2017-10-26
ZA201601045B (en) 2017-11-29
MY176994A (en) 2020-08-31
SG11201600469TA (en) 2016-02-26
RU2016105682A (ru) 2017-08-28
SG11201600471YA (en) 2016-02-26

Similar Documents

Publication Publication Date Title
JP6239110B2 (ja) 効率的なオブジェクト・メタデータ符号化の装置と方法
JP6395827B2 (ja) 3dオーディオコンテンツのsaocダウンミックスを実現する装置及び方法
CN111883148B (zh) 用于低延迟对象元数据编码的装置及方法
TW201528251A (zh) 有效率物件元數據編碼的裝置及其方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170328

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20170622

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170922

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171003

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171031

R150 Certificate of patent or registration of utility model

Ref document number: 6239110

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250