JP2016508617A - 隠しオブジェクトを信号混合操作に使用する空間オーディオオブジェクト符号化の装置及び方法 - Google Patents
隠しオブジェクトを信号混合操作に使用する空間オーディオオブジェクト符号化の装置及び方法 Download PDFInfo
- Publication number
- JP2016508617A JP2016508617A JP2015554118A JP2015554118A JP2016508617A JP 2016508617 A JP2016508617 A JP 2016508617A JP 2015554118 A JP2015554118 A JP 2015554118A JP 2015554118 A JP2015554118 A JP 2015554118A JP 2016508617 A JP2016508617 A JP 2016508617A
- Authority
- JP
- Japan
- Prior art keywords
- audio
- signals
- additional
- signal
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000012545 processing Methods 0.000 claims abstract description 57
- 230000008569 process Effects 0.000 claims abstract description 17
- 238000009877 rendering Methods 0.000 claims description 73
- 230000000694 effects Effects 0.000 claims description 47
- 239000011159 matrix material Substances 0.000 claims description 39
- 230000005236 sound signal Effects 0.000 claims description 25
- 238000004590 computer program Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000002238 attenuated effect Effects 0.000 claims description 3
- 230000001419 dependent effect Effects 0.000 claims 1
- 238000000926 separation method Methods 0.000 description 23
- 230000008859 change Effects 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 108010076504 Protein Sorting Signals Proteins 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 101100180304 Arabidopsis thaliana ISS1 gene Proteins 0.000 description 1
- 101100519257 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) PDR17 gene Proteins 0.000 description 1
- 101100042407 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) SFB2 gene Proteins 0.000 description 1
- 101100356268 Schizosaccharomyces pombe (strain 972 / ATCC 24843) red1 gene Proteins 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/03—Application of parametric coding in stereophonic audio systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Acoustics & Sound (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Stereophonic System (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
Description
をSAOC復号器950のレンダラー954へと提供してもよく、そのレンダラー954は次に、近似されたオブジェクト信号
を、例えばレンダリング行列を使用して、M個のオーディオ出力チャネル
により表現される目標シーンへとミックスする。図11内の係数r1,1...rN,Mは、例えばレンダリング行列の係数の幾つかを示してもよい。所望の目標シーンは、特別な場合には、混合(音源分離シナリオ)からの単一音源信号のレンダリングであり得るが、しかしまた、他の任意の音響シーンでもあり得る。
はオーディオシーンを示す第1行列であり、複数の空間オーディオ信号を示す複数の行を含み、R’はレンダリング情報を示す第2行列であり、
は第3行列であり、X’は一つ又は複数の処理済みダウンミックス信号を示す第4行列であり、G’は第5行列であり、D’はダウンミックス行列である第6行列であり、E’は複数の第7行列係数を含む第7行列であり、第7行列係数は次式により定義される。
−一つ又は複数のオーディオオブジェクトをダウンミックスして一つ又は複数の未処理のダウンミックス信号を得るステップと、
−一つ又は複数の未処理のダウンミックス信号を処理して一つ又は複数の処理済みダウンミックス信号を得るステップと、
−一つ又は複数の処理済みダウンミックス信号の一つと一つ又は複数の未処理のダウンミックス信号の一つとの差に基づいて一つ又は複数の追加的信号の各々を計算することにより、一つ又は複数の追加的信号を計算するステップと、
−一つ又は複数のオーディオオブジェクトについてのパラメトリック・オーディオオブジェクト情報と、一つ又は複数の追加的信号についての追加的パラメトリック情報とを生成するステップと、
−符号化済み信号を出力するステップであって、符号化済み信号は、一つ又は複数のオーディオオブジェクトについてのパラメトリック・オーディオオブジェクト情報と、一つ又は複数の追加的信号についての追加的パラメトリック情報とを含むステップと、
を含む。
−一つ又は複数の処理済みダウンミックス信号を受信し、かつ符号化済み信号を受信するステップであって、追加的パラメトリック情報は、一つ又は複数の処理済みダウンミックス信号を得るために一つ又は複数の未処理のダウンミックス信号に対して実行された処理を反映している、ステップと、
−一つ又は複数の処理済みダウンミックス信号と、パラメトリック・オーディオオブジェクト情報と、追加的パラメトリック情報と、オーディオシーン内の一つ又は複数のオーディオオブジェクトの配置を示すレンダリング情報とに基づいて、複数の空間オーディオ信号を含むオーディオシーンを生成するステップと、
−オーディオシーン内で追加的パラメトリック情報によって表現される出力信号を減衰させ又は除去するステップと、
を含む。
−ダウンミックス信号は、オーディオコーデックによって符号化/復号化されて(又は他のアルゴリズムによって処理されて)、少なくとも一つの復号化済み信号が得られる(符号化は例えば処理モジュール120により実行されてもよい;復号化は例えば復号化ユニット240により実行されてもよい)。
−次に、復号化済みの(時間整合された)ダウンミックス信号が(オリジナル)ダウンミックス信号x1...xpから差し引かれ、その結果として一つ又は複数の(結合信号である)差分信号が得られ、この差分信号は一つ又は複数の符号化(処理)エラー(ノイズ)信号q1...qpを表している。
−エラー信号q1...qp(差分信号)とエラー信号混合パラメータdq,1...dq,p(デフォルトにより1に設定されている)とは、SAOC符号器のサイド情報推定部140(オブジェクト分析部)へと提供され、その結果、追加的な(隠し)ノイズオブジェクトのパラメータ情報が得られる。MPEG SAOCについては、オブジェクトパワー(隠しオブジェクトとオーディオ音源オブジェクト)同士の相互関係は、そのようなサイド情報の最も基本的な形式として計算される。追加的な隠しノイズオブジェクトは、隠しオブジェクト・サイド情報を表す。
−追加的ノイズオブジェクトのパラメータ情報は、現実のオブジェクトからSAOC符号器によって生成されていたSAOCサイド情報に追加される。(SAOCサイド情報は、オーディオオブジェクト・サイド情報として考慮され得る。そのようなオーディオオブジェクト・サイド情報は、例えば、2つ以上の空間オーディオオブジェクトに基づいた2つ以上の空間オーディオオブジェクトの特性を表している。)
(1)追加的な隠しオブジェクト情報は、追加的オブジェクトとして(仮想)オブジェクト分離処理の中に組み込まれる。符号化エラーは、「通常の」オーディオ音源オブジェクトと同様に取り扱われる。追加的オブジェクトは、追加的パラメトリック情報の一部として表現されてもよい。
(2)N個のオーディオオブジェクトの各々は、N−1個の干渉する音源信号と符号化エラー信号q1...qpとを抑制することで、混合信号から分離される。その結果、通常の(隠されない)オーディオ(音源)オブジェクトだけがこのステップで考慮された場合と比較して、オーディオオブジェクト信号の改善された推定が得られる。ここで、符号化エラーの推定も、同様に計算できることに注意されたい。
(3)推定されたオーディオオブジェクト信号をしかるべきレンダリング係数で乗算することで、改善されたオーディオ音源推定
をレンダリングすることにより、所望のオーディオシーン(「音響目標シーン」とも称される)が生成される。追加的に演算されたいかなる推定の符号化エラー信号も、レンダリング処理の中では省略される。
をレンダリングすることにより、所望の音響目標シーンが生成される。隠しオブジェクト(残響信号)は、(残響信号をゼロのレベルでレンダリングすることにより)ほぼ完全に抑制することができ、又は、もし所望であれば、隠し(効果)オブジェクトのレンダリングレベルをしかるべく設定することにより、あるレベルで適用できる。
を再構築するために、隠しオブジェクト・サイド情報を使用する。そのようなオリジナル空間オーディオオブジェクト
は、符号器側において例えばオーディオ効果モジュールによって実行されたダウンミックス信号x1,...,xpの変更の影響を受けていない。
としてレンダラー530に送り、オーディオオブジェクト・レンダラーがそれを隠しオブジェクト・サイド情報として受信してもよい。
が音響シーンの中でレンダリングされるかどうかを制御してもよい。レンダラー530は更に、オーディオ効果のレンダリングレベルに依存して、一つ又は複数のオーディオチャネル内におけるオーディオ効果の量を制御するよう構成されてもよい。例えば、レンダラー530は、オーディオ効果のレンダリングレベルを提供する制御情報を受信してもよい。
S N個のオリジナルオーディオオブジェクト信号(N行)の行列(上述したオーディオオブジェクトを表わす)
N個の推定されたオリジナルオーディオオブジェクト信号(N行)の行列
X P個の未処理のダウンミックスチャネル(P行)の行列(上述したダウンミックス信号を表わす)
X’ P個の未処理のダウンミックスチャネル(P行)の行列(上述した処理済み信号を表わす)
Y オリジナル音源信号を使用する、M個のレンダリングされた出力チャネル(M行)の行列
推定された音源信号を使用する、M個のレンダリングされた出力チャネル(M行)の行列
D サイズP×Nのダウンミックス行列
G サイズN×Pの音源推定行列
OLDi SAOCの定義に従って演算される、音源オブジェクト(空間オーディオオブジェクトの一つ)siのエネルギー、i=1,...N
IOCij SAOCの定義に従って演算される、音源オブジェクト(空間オーディオオブジェクトの一つ)siとsjとの相互相関、i,j=1,...N
R サイズM×Nのレンダリング行列
G’ オリジナル音源及び隠しオブジェクトを考慮に入れた、サイズ(N+P)×Pの音源推定行列
OLD'i SAOCの定義に従って演算される、オリジナル音源と隠しオブジェクトSiのエネルギー,i=1,...(N+P)
IOC'ij SAOCの定義に従って演算される、全てのオブジェクト(オリジナル音源と隠しオブジェクト)siとsjとの間の相互相関、i,j=1,...(N+P)
注意:オリジナル音源と隠しオブジェクトとの間の相互相関は、殆どの場合ゼロと想定されることができ、よって演算する必要がない
D’ オリジナル音源及び隠しオブジェクトのミキシング係数を記述するサイズM×(N+P)のダウンミックス行列であって、ミキシング係数は、(例えばダウンミックスに関連する情報など)隠しオブジェクトについてデフォルトでは1である
推定されたオリジナル・オーディオオブジェクト及び隠しオブジェクト信号のサイズ(N+P)の行列
R’ サイズM×(N+P)のレンダリング行列
−隠しオブジェクトは、R’内の対応するレンダリング係数をゼロに設定することにより、レンダリングから省略することができ(これは、ダウンミックス信号の符号化から符号化ノイズを抑制するためのデフォルトシナリオになるであろう)、又は、
−ゼロでないレベルでレンダリングされる。
−隠しオブジェクトは、R'内の対応するレンダリング係数をゼロに設定することにより、レンダリングから省略することができ(これは、ダウンミックス信号の符号化から符号化ノイズを抑制するためのデフォルトシナリオになるであろう)、又は、
−隠しオブジェクトはゼロでないレベルでレンダリングされる。
Claims (19)
- 符号化済み信号を復号化する装置であって、前記符号化済み信号は、一つ又は複数のオーディオオブジェクトについてのパラメトリック・オーディオオブジェクト情報と、追加的パラメトリック情報とを含み、前記装置は、
一つ又は複数の処理済みダウンミックス信号を受信し、かつ前記符号化済み信号を受信するインターフェイス(210)であって、前記追加的パラメトリック情報が前記一つ又は複数の処理済みダウンミックス信号を得るために一つ又は複数の未処理のダウンミックス信号に対して実行された処理を反映している、インターフェイス(210)と、
前記一つ又は複数の処理済みダウンミックス信号と、前記パラメトリック・オーディオオブジェクト情報と、前記追加的パラメトリック情報と、前記オーディオシーン内の前記一つ又は複数のオーディオオブジェクトの配置を示すレンダリング情報とに基づいて、複数の空間オーディオ信号を含むオーディオシーンを生成するオーディオシーン生成部(220)であって、前記オーディオシーン内で前記追加的パラメトリック情報によって表現される出力信号を減衰させ又は除去するよう構成されている、オーディオシーン生成部(220)と、
を含む、装置。 - 請求項1に記載の装置であって、前記追加的パラメトリック情報は一つ又は複数の追加的信号に依存しており、前記追加的情報は、前記一つ又は複数の処理済みダウンミックス信号の一つと前記一つ又は複数の未処理のダウンミックス信号の一つとの間の差を示し、前記一つ又は複数の未処理のダウンミックス信号は前記一つ又は複数のオーディオオブジェクトのダウンミックスを示し、前記一つ又は複数の処理済みダウンミックス信号は前記一つ又は複数の未処理のダウンミックス信号の処理の結果から得られたものである、装置。
- 請求項1又は2に記載の装置であって、
前記オーディオシーン生成部(220)は、オーディオオブジェクト生成部(520;610)とレンダラー(530;620)とを含み,
前記オーディオオブジェクト生成部(520;610)は、前記一つ又は複数の処理済みダウンミックス信号と、前記パラメトリック・オーディオオブジェクト情報と、前記追加的パラメトリック情報とに基づいて、前記一つ又は複数のオーディオオブジェクトを生成するよう構成され、
前記レンダラー(530;620)は、前記一つ又は複数のオーディオオブジェクトと、前記パラメトリック・オーディオオブジェクト情報と、レンダリング情報とに基づいて、前記オーディオシーンの前記複数の空間オーディオ信号を生成するよう構成されている、装置。 - 請求項3に記載の装置であって、
前記レンダラー(530;620)は、前記一つ又は複数のオーディオオブジェクトと、前記追加的パラメトリック情報と、前記レンダリング情報とに基づいて、前記オーディオシーンの前記複数の空間オーディオ信号を生成するよう構成されており、前記レンダラー(530;620)は、前記オーディオシーン内の前記追加的パラメトリック情報によって表現される出力信号を、前記レンダリング情報に含まれる一つ又は複数のレンダリング係数に依存して減衰させ又は除去するよう構成されている、装置。 - 請求項4に記載の装置であって、前記追加的パラメトリック情報によって表現される出力信号が前記オーディオシーン内で減衰され又は除去されるかどうかを操作する前記一つ又は複数のレンダリング係数を設定するためのユーザーインターフェイスを更に含む、装置。
- 請求項1又は2に記載の装置であって、前記オーディオシーン生成部(220)は、前記一つ又は複数の処理済みダウンミックス信号と、前記パラメトリック・オーディオオブジェクト情報と、前記追加的パラメトリック情報と、前記オーディオシーン内の一つ又は複数のオーディオオブジェクトの配置を示すレンダリング情報とに基づいて、複数の空間オーディオ信号を含む前記オーディオシーンを生成するよう構成されており、前記オーディオシーン生成部(220)は、前記オーディオシーンを生成するために、前記一つ又は複数のオーディオオブジェクトを生成しないように構成されている、装置。
- 請求項1乃至6のいずれか一項に記載の装置であって、
前記装置は、前記一つ又は複数の処理済みダウンミックス信号を復号化して一つ又は複数の復号化済み信号を得るオーディオ復号器(510)を更に含み、
前記オーディオシーン生成部(220)は、前記一つ又は複数の復号化済み信号と、前記パラメトリック・オーディオオブジェクト情報と、前記追加的パラメトリック情報と、前記レンダリング情報とに基づいて、前記複数の空間オーディオ信号を含むオーディオシーンを生成するよう構成されている、装置。 - 請求項1乃至7のいずれか一項に記載の装置であって、
前記オーディオシーン生成部(220)は、前記オーディオシーンを以下の式を使用して生成するよう構成されており、
ここで、
は前記オーディオシーンを示す第1行列であって、前記複数の空間オーディオ信号を示す複数の行を含み、
R’は前記レンダリング情報を示す第2行列であり、
は第3行列であり、
X'は前記一つ又は複数の処理済みダウンミックス信号を示す第4行列であり、
G’は第5行列であり、
D’はダウンミックス行列である第6行列であり、
E’は複数の第7行列係数を含む第7行列であり、前記第7行列係数は次式により定義され、
E'i,jは行i及び列jにおける第7行列係数の一つであり、iは行インデックスであり、jは列インデックスであり、
IOC'i,jは相互相関値を示し、
OLD'iは第1の関連するエネルギー値を示し、OLD'jは第2の関連するエネルギー値を示す、装置。 - 一つ又は複数のオーディオオブジェクトを符号化して符号化済み信号を得る装置であって、
前記一つ又は複数のオーディオオブジェクトをダウンミックスして、一つ又は複数の未処理のダウンミックス信号を得るダウンミキサ(110)と、
前記一つ又は複数の未処理のダウンミックス信号を処理して、一つ又は複数の処理済みダウンミックス信号を得る処理モジュール(120)と、
一つ又は複数の追加的信号を計算する信号計算部(130)であって、前記一つ又は複数の処理済みダウンミックス信号の一つと、前記一つ又は複数の未処理のダウンミックス信号の一つとの間の差に基づいて、前記一つ又は複数の追加的信号の各々を計算するよう構成されている信号計算部(130)と、
前記一つ又は複数のオーディオオブジェクトについてのパラメトリック・オーディオオブジェクト情報と、前記一つ又は複数の追加的信号についての追加的パラメトリック情報とを生成する、オブジェクト情報生成部(140)と、
前記符号化済み信号を出力する出力インターフェイス(150)であって、前記符号化済み信号は、前記一つ又は複数のオーディオオブジェクトについての前記パラメトリック・オーディオオブジェクト情報と、前記一つ又は複数の追加的信号についての前記追加的パラメトリック情報とを含む、出力インターフェイス(150)と、
を含む装置。 - 請求項9に記載の装置であって、
前記処理モジュール(120)は、前記一つ又は複数の処理済みダウンミックス信号を得るために、前記一つ又は複数の未処理のダウンミックス信号を符号化することによって前記一つ又は複数の未処理のダウンミックス信号を処理するよう構成されている、装置。 - 請求項10に記載の装置であって、
前記信号計算部(130)は、復号化ユニット(240)と結合部(250)とを含み、
前記復号化ユニット(240)は、前記一つ又は複数の処理済みダウンミックス信号を復号化して、一つ又は複数の復号化済み信号を得るよう構成され、
前記結合部(250)は、前記一つ又は複数の復号化済み信号の一つと前記一つ又は複数の未処理のダウンミックス信号の一つとの間の差分信号を生成することにより、前記一つ又は複数の追加的信号の各々を生成するよう構成されている、装置。 - 請求項11に記載の装置であって、
前記一つ又は複数の未処理のダウンミックス信号の各々は複数の第1信号サンプルを含み、前記第1信号サンプルの各々は複数の時点のうちの一つに割り当てられており、
前記一つ又は複数の復号化済み信号の各々は複数の第2信号サンプルを含み、前記第2信号サンプルの各々は前記複数の時点のうちの一つに割り当てられており、
前記信号計算部(130)は時間整合ユニット(345)を更に含み、その時間整合ユニットは、前記未処理のダウンミックス信号の前記第1信号サンプルの一つが前記復号化済み信号の第2信号サンプルの一つに割り当てられ、前記未処理のダウンミックス信号の前記第1信号サンプルと前記復号化済み信号の前記第2信号サンプルとが複数の時点のうちの同じ時点に割り当てられるように、前記一つ又は複数の復号化済み信号の一つと前記一つ又は複数の未処理のダウンミックス信号の一つとを時間整合させるよう構成されている、装置。 - 請求項9に記載の装置であって、前記処理モジュール(120)は、前記一つ又は複数の未処理のダウンミックス信号の少なくとも一つに対してあるオーディオ効果を適用することにより、前記一つ又は複数の未処理のダウンミックス信号を処理して、前記一つ又は複数の処理済みダウンミックス信号を得るよう構成されている、装置。
- 請求項9乃至13のいずれか一項に記載の装置であって、
前記一つ又は複数のオーディオオブジェクトの各々にオーディオオブジェクト・エネルギー値が割り当てられ、
前記一つ又は複数の追加的信号の各々に追加的エネルギー値が割り当てられ、
前記オブジェクト情報生成部(140)は、参照エネルギー値が前記一つ又は複数のオーディオオブジェクトの各々の前記オーディオオブジェクト・エネルギー値以上となり、かつ、前記参照エネルギー値が前記一つ又は複数の追加的信号の各々の前記追加的エネルギー値以上となるように、前記参照エネルギー値を決定するよう構成され、
前記オブジェクト情報生成部(140)は、オーディオオブジェクト・レベル差が前記オーディオオブジェクトの前記オーディオオブジェクト・エネルギー値と前記参照エネルギー値との比を示すか、又は、前記オーディオオブジェクト・レベル差が前記参照エネルギー値と前記オーディオオブジェクトの前記オーディオオブジェクト・エネルギー値との差を示すように、前記一つ又は複数のオーディオオブジェクトの各オーディオオブジェクトについてのオーディオオブジェクト・レベル差を決定することにより、前記パラメトリック・オーディオオブジェクト情報を決定するよう構成され、
前記オブジェクト情報生成部(140)は、追加的オブジェクトレベル差が前記追加的信号の前記追加的エネルギー値と前記参照エネルギー値との比を示すか、又は、前記追加的オブジェクトレベル差が前記参照エネルギー値と前記追加的信号の前記追加的エネルギー値との差を示すように、前記一つ又は複数の追加的信号の各追加的信号について前記追加的オブジェクトレベル差を決定することにより、追加的オブジェクト情報を決定するよう構成されている、装置。 - 請求項9乃至14のいずれか一項に記載の装置であって、
前記処理モジュール(120)は音響効果モジュール(122)と符号化モジュール(121)とを含み、
前記音響効果モジュール(122)は、前記一つ又は複数の未処理のダウンミックス信号の少なくとも一つに対してある音響効果を適用して、一つ又は複数の音響的に調整されたダウンミックス信号を得るよう構成され、
前記符号化モジュール(121)は、前記一つ又は複数の音響的に調整されたダウンミックス信号を符号化して、前記一つ又は複数の処理済み信号を得るよう構成されている、装置。 - 請求項9乃至15のいずれか一項に記載の装置(810)と、
請求項1乃至8のいずれか一項に記載の装置(820)と、を含むシステムであって、
前記請求項9乃至15のいずれか一項に記載の装置(810)は、一つ又は複数の処理済みダウンミックス信号と一つの符号化済み信号とを、前記請求項1乃至8のいずれか一項に記載の装置(820)へと供給するよう構成されており、前記符号化済み信号は、一つ又は複数のオーディオオブジェクトについてのパラメトリック・オーディオオブジェクト情報と、一つ又は複数の追加的信号についての追加的パラメトリック情報とを含み、
前記請求項1乃至8のいずれか一項に記載の装置(820)は、前記パラメトリック・オーディオオブジェクト情報と、前記追加的パラメトリック情報と、前記オーディオシーン内の前記一つ又は複数のオーディオオブジェクトの配置を示すレンダリング情報とに基づいて、複数の空間オーディオ信号を含むオーディオシーンを生成するよう構成されている、システム。 - 符号化済み信号を復号化する方法であって、前記符号化済み信号は、一つ又は複数のオーディオオブジェクトについてのパラメトリック・オーディオオブジェクト情報と、追加的パラメトリック情報とを含み、前記方法は、
一つ又は複数の処理済みダウンミックス信号を受信し、かつ前記符号化済み信号を受信するステップであって、前記追加的パラメトリック情報が前記一つ又は複数の処理済みダウンミックス信号を得るために一つ又は複数の未処理のダウンミックス信号に対して実行された処理を反映している、ステップと、
前記一つ又は複数の処理済みダウンミックス信号と、前記パラメトリック・オーディオオブジェクト情報と、前記追加的パラメトリック情報と、前記オーディオシーン内の前記一つ又は複数のオーディオオブジェクトの配置を示すレンダリング情報とに基づいて、複数の空間オーディオ信号を含むオーディオシーンを生成するステップと、
前記オーディオシーン内で前記追加的パラメトリック情報によって表現される出力信号を減衰させ又は除去するステップと、
を含む方法。 - 一つ又は複数のオーディオオブジェクトを符号化して符号化済み信号を得る方法であって、
前記一つ又は複数のオーディオオブジェクトをダウンミックスして、一つ又は複数の未処理のダウンミックス信号を得るステップと、
前記一つ又は複数の未処理のダウンミックス信号を処理して、一つ又は複数の処理済みダウンミックス信号を得るステップと、
前記一つ又は複数の処理済みダウンミックス信号の一つと、前記一つ又は複数の未処理のダウンミックス信号の一つとの間の差に基づいて、一つ又は複数の追加的信号の各々を計算することにより、前記一つ又は複数の追加的信号を計算するステップと、
前記一つ又は複数のオーディオオブジェクトについてのパラメトリック・オーディオオブジェクト情報と、前記一つ又は複数の追加的信号についての追加的パラメトリック情報とを生成するステップと、
前記符号化済み信号を出力するステップであって、前記符号化済み信号は、前記一つ又は複数のオーディオオブジェクトについての前記パラメトリック・オーディオオブジェクト情報と、前記一つ又は複数の追加的信号についての前記追加的パラメトリック情報とを含む、ステップと、
を含む方法。 - コンピュータ又は信号プロセッサ上で作動したときに、請求項17又は18に記載の方法を実行するコンピュータプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP20130152197 EP2757559A1 (en) | 2013-01-22 | 2013-01-22 | Apparatus and method for spatial audio object coding employing hidden objects for signal mixture manipulation |
EP13152197.3 | 2013-01-22 | ||
PCT/EP2014/051046 WO2014114599A1 (en) | 2013-01-22 | 2014-01-20 | Apparatus and method for spatial audio object coding employing hidden objects for signal mixture manipulation |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016508617A true JP2016508617A (ja) | 2016-03-22 |
JP6277202B2 JP6277202B2 (ja) | 2018-02-07 |
Family
ID=47563307
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015554118A Active JP6277202B2 (ja) | 2013-01-22 | 2014-01-20 | 隠しオブジェクトを信号混合操作に使用する空間オーディオオブジェクト符号化の装置及び方法 |
Country Status (12)
Country | Link |
---|---|
US (1) | US10482888B2 (ja) |
EP (2) | EP2757559A1 (ja) |
JP (1) | JP6277202B2 (ja) |
KR (1) | KR101756190B1 (ja) |
CN (1) | CN105122355B (ja) |
BR (1) | BR112015017094B8 (ja) |
CA (1) | CA2898801C (ja) |
ES (1) | ES2691546T3 (ja) |
MX (1) | MX348811B (ja) |
RU (1) | RU2635244C2 (ja) |
TR (1) | TR201815374T4 (ja) |
WO (1) | WO2014114599A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6431225B1 (ja) * | 2018-03-05 | 2018-11-28 | 株式会社ユニモト | 音響処理装置、映像音響処理装置、映像音響配信サーバおよびそれらのプログラム |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2804176A1 (en) * | 2013-05-13 | 2014-11-19 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio object separation from mixture signal using object-specific time/frequency resolutions |
BR112015031606B1 (pt) | 2013-06-21 | 2021-12-14 | Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. | Aparelho e método para desvanecimento de sinal aperfeiçoado em diferentes domínios durante ocultação de erros |
EP3550561A1 (en) * | 2018-04-06 | 2019-10-09 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Downmixer, audio encoder, method and computer program applying a phase value to a magnitude value |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003332914A (ja) * | 2001-08-23 | 2003-11-21 | Nippon Telegr & Teleph Corp <Ntt> | ディジタル信号符号化方法、復号化方法、これらの装置及びプログラム |
JP2012505575A (ja) * | 2008-10-07 | 2012-03-01 | フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン | 多チャネルオーディオ信号のバイノーラル・レンダリング |
WO2012137617A1 (ja) * | 2011-04-05 | 2012-10-11 | 日本電信電話株式会社 | 符号化方法、復号方法、符号化装置、復号装置、プログラム、記録媒体 |
Family Cites Families (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7200561B2 (en) * | 2001-08-23 | 2007-04-03 | Nippon Telegraph And Telephone Corporation | Digital signal coding and decoding methods and apparatuses and programs therefor |
US7573912B2 (en) * | 2005-02-22 | 2009-08-11 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschunng E.V. | Near-transparent or transparent multi-channel encoder/decoder scheme |
DE102005010057A1 (de) * | 2005-03-04 | 2006-09-07 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zum Erzeugen eines codierten Stereo-Signals eines Audiostücks oder Audiodatenstroms |
US7840401B2 (en) * | 2005-10-24 | 2010-11-23 | Lg Electronics Inc. | Removing time delays in signal paths |
CN101385075B (zh) * | 2006-02-07 | 2015-04-22 | Lg电子株式会社 | 用于编码/解码信号的装置和方法 |
KR20080093024A (ko) * | 2006-02-07 | 2008-10-17 | 엘지전자 주식회사 | 부호화/복호화 장치 및 방법 |
JP2009532712A (ja) * | 2006-03-30 | 2009-09-10 | エルジー エレクトロニクス インコーポレイティド | メディア信号処理方法及び装置 |
EP2112652B1 (en) * | 2006-07-07 | 2012-11-07 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for combining multiple parametrically coded audio sources |
MX2008012250A (es) * | 2006-09-29 | 2008-10-07 | Lg Electronics Inc | Metodos y aparatos para codificar y descodificar señales de audio basadas en objeto. |
BRPI0715312B1 (pt) * | 2006-10-16 | 2021-05-04 | Koninklijke Philips Electrnics N. V. | Aparelhagem e método para transformação de parâmetros multicanais |
KR101111520B1 (ko) * | 2006-12-07 | 2012-05-24 | 엘지전자 주식회사 | 오디오 처리 방법 및 장치 |
KR20080082917A (ko) * | 2007-03-09 | 2008-09-12 | 엘지전자 주식회사 | 오디오 신호 처리 방법 및 이의 장치 |
WO2009049895A1 (en) * | 2007-10-17 | 2009-04-23 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio coding using downmix |
KR101614160B1 (ko) * | 2008-07-16 | 2016-04-20 | 한국전자통신연구원 | 포스트 다운믹스 신호를 지원하는 다객체 오디오 부호화 장치 및 복호화 장치 |
JP5276165B2 (ja) * | 2008-07-24 | 2013-08-28 | ニューレンズ・リミテッド | 調節式眼内レンズ(aiol)カプセル |
JP5608660B2 (ja) * | 2008-10-10 | 2014-10-15 | テレフオンアクチーボラゲット エル エム エリクソン(パブル) | エネルギ保存型マルチチャネルオーディオ符号化 |
WO2010105695A1 (en) | 2009-03-20 | 2010-09-23 | Nokia Corporation | Multi channel audio coding |
WO2010125228A1 (en) * | 2009-04-30 | 2010-11-04 | Nokia Corporation | Encoding of multiview audio signals |
CN102460573B (zh) * | 2009-06-24 | 2014-08-20 | 弗兰霍菲尔运输应用研究公司 | 音频信号译码器、对音频信号译码的方法 |
KR101805212B1 (ko) * | 2009-08-14 | 2017-12-05 | 디티에스 엘엘씨 | 객체-지향 오디오 스트리밍 시스템 |
KR101569702B1 (ko) * | 2009-08-17 | 2015-11-17 | 삼성전자주식회사 | 레지듀얼 신호 인코딩 및 디코딩 방법 및 장치 |
BR122021008665B1 (pt) * | 2009-10-16 | 2022-01-18 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Mecanismo e método para fornecer um ou mais parâmetros ajustados para a provisão de uma representação de sinal upmix com base em uma representação de sinal downmix e uma informação lateral paramétrica associada com a representação de sinal downmix, usando um valor médio |
KR101710113B1 (ko) * | 2009-10-23 | 2017-02-27 | 삼성전자주식회사 | 위상 정보와 잔여 신호를 이용한 부호화/복호화 장치 및 방법 |
EP2346028A1 (en) * | 2009-12-17 | 2011-07-20 | Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. | An apparatus and a method for converting a first parametric spatial audio signal into a second parametric spatial audio signal |
JP5582027B2 (ja) * | 2010-12-28 | 2014-09-03 | 富士通株式会社 | 符号器、符号化方法および符号化プログラム |
CN103649706B (zh) * | 2011-03-16 | 2015-11-25 | Dts(英属维尔京群岛)有限公司 | 三维音频音轨的编码及再现 |
JP5949270B2 (ja) * | 2012-07-24 | 2016-07-06 | 富士通株式会社 | オーディオ復号装置、オーディオ復号方法、オーディオ復号用コンピュータプログラム |
MX351193B (es) * | 2012-08-10 | 2017-10-04 | Fraunhofer Ges Forschung | Codificador, decodificador, sistema y metodo que emplean un concepto residual para codificar objetos de audio parametricos. |
-
2013
- 2013-01-22 EP EP20130152197 patent/EP2757559A1/en not_active Withdrawn
-
2014
- 2014-01-20 BR BR112015017094A patent/BR112015017094B8/pt active IP Right Grant
- 2014-01-20 WO PCT/EP2014/051046 patent/WO2014114599A1/en active Application Filing
- 2014-01-20 TR TR2018/15374T patent/TR201815374T4/tr unknown
- 2014-01-20 RU RU2015135593A patent/RU2635244C2/ru active
- 2014-01-20 ES ES14700929.4T patent/ES2691546T3/es active Active
- 2014-01-20 MX MX2015009170A patent/MX348811B/es active IP Right Grant
- 2014-01-20 KR KR1020157022002A patent/KR101756190B1/ko active IP Right Grant
- 2014-01-20 CN CN201480005738.5A patent/CN105122355B/zh active Active
- 2014-01-20 JP JP2015554118A patent/JP6277202B2/ja active Active
- 2014-01-20 CA CA2898801A patent/CA2898801C/en active Active
- 2014-01-20 EP EP14700929.4A patent/EP2948946B1/en active Active
-
2015
- 2015-07-14 US US14/760,857 patent/US10482888B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003332914A (ja) * | 2001-08-23 | 2003-11-21 | Nippon Telegr & Teleph Corp <Ntt> | ディジタル信号符号化方法、復号化方法、これらの装置及びプログラム |
JP2012505575A (ja) * | 2008-10-07 | 2012-03-01 | フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン | 多チャネルオーディオ信号のバイノーラル・レンダリング |
WO2012137617A1 (ja) * | 2011-04-05 | 2012-10-11 | 日本電信電話株式会社 | 符号化方法、復号方法、符号化装置、復号装置、プログラム、記録媒体 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6431225B1 (ja) * | 2018-03-05 | 2018-11-28 | 株式会社ユニモト | 音響処理装置、映像音響処理装置、映像音響配信サーバおよびそれらのプログラム |
JP2019153943A (ja) * | 2018-03-05 | 2019-09-12 | 株式会社ユニモト | 音響処理装置、映像音響処理装置、映像音響配信サーバおよびそれらのプログラム |
Also Published As
Publication number | Publication date |
---|---|
KR20150113016A (ko) | 2015-10-07 |
JP6277202B2 (ja) | 2018-02-07 |
MX348811B (es) | 2017-06-28 |
US20150348559A1 (en) | 2015-12-03 |
RU2015135593A (ru) | 2017-03-02 |
CA2898801C (en) | 2018-11-06 |
BR112015017094B1 (pt) | 2022-02-22 |
ES2691546T3 (es) | 2018-11-27 |
TR201815374T4 (tr) | 2018-11-21 |
KR101756190B1 (ko) | 2017-07-26 |
US10482888B2 (en) | 2019-11-19 |
BR112015017094A2 (ja) | 2017-08-15 |
WO2014114599A1 (en) | 2014-07-31 |
CN105122355B (zh) | 2018-11-13 |
BR112015017094B8 (pt) | 2022-09-13 |
EP2757559A1 (en) | 2014-07-23 |
CN105122355A (zh) | 2015-12-02 |
MX2015009170A (es) | 2015-11-09 |
EP2948946A1 (en) | 2015-12-02 |
EP2948946B1 (en) | 2018-07-18 |
RU2635244C2 (ru) | 2017-11-09 |
CA2898801A1 (en) | 2014-07-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7270096B2 (ja) | フレーム制御同期化を使用して多チャネル信号を符号化又は復号化する装置及び方法 | |
US11875804B2 (en) | Decoder, encoder and method for informed loudness estimation employing by-pass audio object signals in object-based audio coding systems | |
JP5122681B2 (ja) | パラメトリックステレオアップミクス装置、パラメトリックステレオデコーダ、パラメトリックステレオダウンミクス装置、及びパラメトリックステレオエンコーダ | |
US10818301B2 (en) | Encoder, decoder, system and method employing a residual concept for parametric audio object coding | |
KR101657916B1 (ko) | 멀티채널 다운믹스/업믹스의 경우에 대한 일반화된 공간적 오디오 객체 코딩 파라미터 개념을 위한 디코더 및 방법 | |
RU2696952C2 (ru) | Аудиокодировщик и декодер | |
JP6277202B2 (ja) | 隠しオブジェクトを信号混合操作に使用する空間オーディオオブジェクト符号化の装置及び方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161026 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161101 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20170124 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170426 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170427 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20170613 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171011 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20171024 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20171113 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171219 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180115 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6277202 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |