JP2010529780A - アンビエンス信号成分とマトリックスデコードされた信号成分とを制御可能に結合することによるサラウンドサウンドオーディオチャンネルのハイブリッド導出 - Google Patents
アンビエンス信号成分とマトリックスデコードされた信号成分とを制御可能に結合することによるサラウンドサウンドオーディオチャンネルのハイブリッド導出 Download PDFInfo
- Publication number
- JP2010529780A JP2010529780A JP2010511203A JP2010511203A JP2010529780A JP 2010529780 A JP2010529780 A JP 2010529780A JP 2010511203 A JP2010511203 A JP 2010511203A JP 2010511203 A JP2010511203 A JP 2010511203A JP 2010529780 A JP2010529780 A JP 2010529780A
- Authority
- JP
- Japan
- Prior art keywords
- scale factor
- signal component
- matrix
- ambience
- gain scale
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000011159 matrix material Substances 0.000 title claims description 79
- 238000009795 derivation Methods 0.000 title 1
- 230000005236 sound signal Effects 0.000 claims abstract description 56
- 238000000034 method Methods 0.000 claims description 77
- 230000007423 decrease Effects 0.000 claims description 14
- 230000004044 response Effects 0.000 claims description 11
- 238000009499 grossing Methods 0.000 claims description 10
- 230000003595 spectral effect Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 4
- 230000002123 temporal effect Effects 0.000 claims description 4
- 230000001419 dependent effect Effects 0.000 claims description 3
- 239000000463 material Substances 0.000 description 26
- 230000006870 function Effects 0.000 description 20
- 230000008569 process Effects 0.000 description 18
- 238000004458 analytical method Methods 0.000 description 13
- 238000000605 extraction Methods 0.000 description 11
- 238000004091 panning Methods 0.000 description 11
- 230000015572 biosynthetic process Effects 0.000 description 7
- 238000003786 synthesis reaction Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 230000002596 correlated effect Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000002156 mixing Methods 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 4
- 238000012512 characterization method Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 230000002441 reversible effect Effects 0.000 description 3
- 230000001052 transient effect Effects 0.000 description 3
- 240000007124 Brassica oleracea Species 0.000 description 2
- 235000003899 Brassica oleracea var acephala Nutrition 0.000 description 2
- 235000012905 Brassica oleracea var viridis Nutrition 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 125000004122 cyclic group Chemical group 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 241000610375 Sparisoma viride Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 229940094070 ambien Drugs 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000010363 phase shift Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- ZAFYATHCZYHLPB-UHFFFAOYSA-N zolpidem Chemical compound N1=C2C=CC(C)=CN2C(CC(=O)N(C)C)=C1C1=CC=C(C)C=C1 ZAFYATHCZYHLPB-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S1/00—Two-channel systems
- H04S1/007—Two-channel systems in which the audio signals are in digital form
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/11—Application of ambisonics in stereophonic audio systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/02—Systems employing more than two channels, e.g. quadraphonic of the matrix type, i.e. in which input signals are combined algebraically, e.g. after having been phase shifted with respect to each other
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Stereophonic System (AREA)
Abstract
Description
以下の刊行物は参照としてそのすべてを本明細書に編入する。
(文献2)E. Zwicker及びH. Fastiによる「Psycho-acoustics」第2版、Springer,1990,Germany
(文献3)B. Crockettによる「Improved Transient Pie-Noise Performance of Low Bit Rate Audio Coders Using Time Scaling Synthesis」論文番号6184, 117回AES Conference, San Francisco、2004年10月
(文献4)米国特許出願10/478,538、2002年2月26日PCT出願、2004年8月26日US2004/0165730A1として国際公開、Brett G. Crockettによる「Segmenting Audio Signals into Auditory Events」
(文献5)A. Seefeldt, M. Vinton,及びC. Robinsonによる「New Techniques in Spatial Audio Coding」論文番号6587、119回AES Conference,New York,2005年10月
(文献6)米国特許出願10/474,387、2002年2月12日PCT出願、2004年6月24日US2004/0122662A1として国際公開、Brett Graham Crockettによる「High Quality Time-Scaling and Pitch-Scaling of Audio Signals」
(文献7)米国特許出願10/476,347、2002年4月25日PCT出願、2004年7月8日US2004/0133423A1として国際公開、Brett Graham Crockettによる「Transient Performance of Low Bit Rate Audio Coding Systems By Reducing Pre-Noise」
(文献8)米国特許出願10/478,397、2002年2月22日PCT出願、2004年7月8日US2004/0172240A1として国際公開、Brett G. Crockett等による「Comparing Audio Using Characterizations Based on Auditory Events」
(文献9)米国特許出願10/478,398、2002年2月25日PCT出願、2004年7月29日US2004/0148159A1として国際公開、Brett G. Crockett等による「Method for Time Aligning Audio Signals Using Characterizations Based on Auditory Events」
(文献10)米国特許出願10/478,398、2002年2月25日PCT出願、2004年7月29日US2004/0148159A1として国際公開、Brett G. Crockett等による「Method for Time Aligning Audio Signals Using Characterizations Based on Auditory Events」
(文献11)米国特許出願10/911,404、2004年8月3日PCT出願、2006年2月9日US2006/0029239A1として国際公開、Michael John Smithersによる「Method for Combining Audio Signals Using Auditory Scene Analysis」
(文献12)特許協力条約に基づく国際出願PCT/US2006/020882、国際出願日2006年5月26日、米国を指定国として指定、2006年12月14日WO2006/132857A2及びA3として国際公開、Alan Jeffrey Seefeldt等による「Channel Reconfiguration With Side Information」
(文献13)特許協力条約に基づく国際出願PCT/US2006/028874、国際出願日2006年7月24日、米国を指定国として指定、2007年2月8日WO2007/016107A2として国際公開、Alan Jeffrey Seefeldt等による「Controlling Spatial Audio Coding Parameters as a Function of Auditory Events」
(文献14)特許協力条約に基づく国際出願PCT/US2007/004904、国際出願日2007年2月22日、米国を指定国として指定、2007年9月20日WO2007/106234A1として国際公開、Mark Stuart Vintonによる「Rendering Center Channel Audio」
(文献15)特許協力条約に基づく国際出願PCT/US2007/008313、国際出願日2007年3月30日、米国を指定国として指定、2007年11年8日WO2007/127023として国際公開、Brett G. Crockett等による「Audio Gain Control Using Specific Loudness-Based Auditory Event Detection」
図1は、本発明の特徴による2入力オーディオ信号から2つのサラウンドサウンドオーディオチャンネルを導き出すための装置又は処理の概略機能ブロックダイアグラムを示す。入力オーディオ信号は、マトリックスエンコーディングにより生成された成分を含むことができる。入力オーディオ信号は、一般に左サウンドと右サウンドの方向で表される立体音響の2つのオーディオチャンネルとすることができる。上述のとおり、標準的なマトリックスエンコードされた2チャンネルステレオ素材に対して、チャンネルはしばしば「Lt」及び「Rt」で表され、ノンマトリックスエンコードされた2チャンネルステレオ素材に対して、チャンネルはしばしば「Lo」及び「Ro」で表される。従って、入力オーディオ信号は、あるときはマトリックスエンコードされ、それ以外のときはマトリックスエンコードされていないものであり、その入力は図1において「Lo/Lt」「Ro/Rt」で表される。
入力された2チャンネル信号から2つのサラウンドチャンネルを生成するために用いられる時間−周波数変換20は良く知られた短時間離散フーリエ変換(STDFT)に基づく。巡回畳み込みの影響を最小限にするために、75%の重複を分析と合成において用いることができる。分析窓と合成窓を適切に選択することにより、スペクトルに振幅変調と位相変調を適用することができる一方、重複させたSTDFTを巡回畳み込みの可聴な影響を最小限にするために用いることができる。特定の窓の対が必須ということではないが、図3は、2つの連続するSTDFT時間ブロックの適切な分析窓/合成窓の対を示す。
分析窓メインローブ長さ(AWML): 1024
ホップサイズ(HS): 512
先行ゼロパッド(ZPlead): 256
遅れゼロパッド(ZPlag): 768
分析窓傾斜(SWT): 128
(帯域化(Banding))
本発明の特徴に基づくアップミキシングの典型的な実施形態ではゲインスケールファクターを計算し、臨界帯域幅の約半分のスペクトル帯域におけるそれぞれの係数に適用する(例えば、刊行物2参照)。図4にサンプルレート44100Hzのヘルツ(Hz)で示した各帯域の中央周波数のプロットを示し、表1に、サンプルレート44100Hzにおける各帯域の中央周波数を示す。
本発明の特徴に基づく典型的なアップミキシングにおいて、各統計値及び変量を全スペクトル帯域にわたって最初に計算し、時間で平滑化する。各変量の時間平滑化は式1に示すような簡単な一次IIRである。しかし、アルファパラメータは時間に順応する。聴覚イベントが検出されると(例えば、刊行物3又は刊行物4参照)、アルファパラメータは減少して低い値になり、その後時間とともに大きな値に積み上がる。このようにして、システムはオーディオにおける変化に、より速く対応する。
図6は、本発明の特徴による図2のオーディオアップミキサー又はオーディオアップミキシング処理のサラウンドサウンド取得部分の概略機能ブロックダイアグラムを示す。分かりやすく示すために、図6は、多数の周波数帯域の内の1つの概略フローを示しており、多数の周波数帯域のすべてを結合する動作によりサラウンドサウンドオーディオチャンネルLs及びRsを生成することが分かる。
(各信号を帯域にグループ化する)
図6に示すように、制御経路ではゲインスケールファクターGF,GB,GD,及びGAを生成する。これらのゲインスケールファクターは算出されて各周波数帯域で適用される。ゲインスケールファクターを計算する最初のステップは、式(2)及び(3)に示すように各入力信号を帯域にグループ化することである。
(各帯域における2つの入力信号間の相互相関の測度を計算する)
次のステップでは、各帯域における2つの入力信号のチャンネル同士の相関(すなわち、相互相関)の測度を計算する。
(減少させた時間分散[時間平滑化]の相互相関の測度を計算する)
最初に、式(4)に示すように、減少させた時間分散のチャンネル同士の相関の測度を計算する。式(4)及び本明細書に記載した他の式において、Eは推定演算子(estimator operator)である。この例では、推定器は(式(1)のような)減衰積分式に依存する信号を表す。測定したパラメータの時間分散を減少させるための推定器として用いることのできる技法(例えば、単純な移動平均)は多く存在し、どんな特定の推定器を用いることも本発明にとって必須ということではない。
(相互相関の偏りのある測度を構築する)
サラウンドチャンネルにパンするアンビエント信号と直接信号の量を制御するために相関係数を用いることができる。しかし、左右の信号か全く異なっている場合、例えば2つの異なる楽器がそれぞれ左右のチャンネルにパンされた場合、相互相関がゼロになり、サブステップ2aのような方法が適用されるならば、実際にパンされた楽器がサラウンドチャンネルにパンされてしまう。そのような結果となることを避けるために、式(5)に示すような、左右の入力信号の偏りのある相互相関の測度を構築することができる。
(相互相関の偏りのない測度と偏りのある測度の結合)
式(4)で得られる偏りのない相互相関の推定値と式(5)で得られる偏りのある推定値とを結合してチャンネル間の相関の最終測度とし、サラウンドチャンネルにパンするアンビエンス信号と直接信号とを制御するために用いることができる。この結合は式6で表すことができ、相関係数(式(5))の偏りのある推定値が閾値以上である場合は、チャンネル間でのコヒーレンスが相関係数と同じであり、そうでない場合は、チャンネル間でのコヒーレンスは直線的に1に近づく。式(6)が目指すものは、入力信号で実際に左右にパンする楽器がサラウンドチャンネルにパンしないようにすることである。式(6)は多くのそのような目的を達成するためのものの中で可能性のある1つの方法である。
(前方及び後方ゲインスケールファクターGF及びGBを計算する)
次に、前方及び後方ゲインスケールファクターGF及びGBの計算を行う。この例では、3つのサブステップにより達成できる。サブステップ3aと3bはどちらを先にしてもよく同時に行ってもよい。
(アンビエンス信号のみに起因する前方及び後方ゲインスケールファクターG'F及びG'Bを計算する)
次いで、前方/後方パンニングゲインスケールファクター(G'F及びG'B)のセットの最初の中間的値を、それぞれ式(7)及び(8)で示すようにして計算する。これらは、アンビエンス信のみを検出することによる、前方/後方パンニングの好ましい値を示す。最終の前方/後方パンニングゲインスケールファクターは、以下に示すように、アンビエンスパンニングとサラウンド音像パンニングの両方を考慮する。
(マトリックスデコードした直接信号のみに起因する前方及び後方ゲインスケールファクターG"F及びG"Bを計算する)
ここまでで、アンビエントオーディオ素材の検出に起因してサラウンドチャンネルにどれだけのエネルギーが投入されるかが計算された。次のステップは、マトリックスデコードされた個々の音像のみに起因する好ましいサラウンドチャンネルレベルを計算することである。このような個々の音像に起因するサラウンドチャンネルのエネルギー量を計算するためには、式(9)に示すように、最初に、式(4)の相関係数の実部を推定する。
(サブステップ3a及び3bの結果を用いて、最終的な前方及び後方ゲインスケールファクターGF及びGBを計算する)
ここで、式(12)及び(13)により、最終の前方及び後方ゲインスケールファクターを計算する。
(アンビエントデコードされた直接ゲインスケールファクターGDとマトリックスデコードされた直接ゲインスケールファクターGAを計算する)
この時点で、アンビエンス信号の検出とマトリックスデコードされた直接信号の検出とに起因する、サラウンドチャンネルに送られたエネルギーの量が算定された。しかし、ここでサラウンドチャンネルに存在する各信号タイプの量を制御することが新たに必要となる。直接信号とアンビエンス信号(GDとGA)との間で相互に行う混合を制御するゲインスケールファクターを計算するために、式(4)の相関係数ρLR(m,b)を用いることができる。左右の入力信号がそれぞれ相関関係がない場合は、直接信号成分より多くのアンビエンス信号成分がサラウンドチャンネルに存在する。入力信号に十分相関関係がある場合は、アンビエンス信号成分より多くの直接信号成分がサラウンドチャンネルに存在する。従って、式(14)に示すように、直接/アンビエント比のゲインスケールファクターを導き出すことができる。
(マトリックスデコードされた信号成分とアンビエンス信号成分を構築する)
次に、マトリックスデコードされた信号成分とアンビエンス信号成分を構築する。これは、2つのサブステップにより達成でき、どちらを先にしてもよく同時に行ってもよい。
(帯域bについてアンビエント信号成分を構築する)
時間平滑変換ブロックレートでダイナミックに変化する、ゲインスケールファクターGAを適用することにより、アンビエンス信号成分を導き出すことができる。(例えば、刊行物1参照。)ダイナミックに変化するゲインスケールファクターGAは、アンビエント信号経路の前後で適用することができる。導き出されたアンビエンス信号成分は、デコリレータのスペクトル領域の表現を元の左右の信号の全スペクトルに乗算することによりさらに改善することができる。帯域b時刻mにおいて、左右のサラウンド信号が、例えば式(16)と(17)により得られる。
(ゲインスケールファクターGB,GD,GAを適用してサラウンドチャンネル信号を取得する)
制御信号ゲインGB,GD,GA(ステップ3及び4)及びマトリックスデコードされた信号成分及びアンビエント信号成分(ステップ5)を導き出したので、図6に示すようにこれらを適用して、各帯域で最終のサラウンドチャンネル信号を取得することができる。最終の左右のサラウンド信号は式(18)により得られる。
本発明の特徴の1つの適切な実施の形態は、上述のそれぞれの処理ステップを実行し、上述と帰納的に関連する処理ステップ又は装置を採用する。上述のステップは、上記のステップの順序で動作するコンピュータソフトウェア命令のシーケンスにより実行することができるが、特定の個数はそれより前の方法で導き出されることを考慮すると、他のステップの順序で同等の又は類似の結果を得ることができることは了解されよう。例えば、特定のシーケンスステップを並行して実行するように、マルチスレッドのコンピュータソフトウェア命令のシーケンスを採用することができる。他の例として、上記の例において、あるステップの順序は任意であり結果に影響を与えずに変更することができる。例えば、サブステップ3aと3bとを逆にすることができ、サブステップ5aと5bとを逆にすることができる。また、式(18)を検討すれば明らかであるが、ゲインスケールファクターはゲインスケールファクターGA及びGDの計算とは別に計算する必要はない。単一のゲインスケールファクターGBGAと、単一のゲインスケールファクターGBGDとを計算し、カッコ内にゲインスケールファクターGBを組み込んだ、式(18)を変形したものに適用することができる。あるいは、記載したスッテプを記載した機能を実行する装置として実施することができ、多くの装置が上述の相互関係機能を有する。
前方チャンネルとサラウンドチャンネルとの分離を改善するために(又は、元のオーディオ素材のエンベロープを強調するために)、サラウンドチャンネルにデコリレーションを適用することができる。次に説明するようにデコリレーションは、刊行物5に提案されているものと似ているかもしれない。次に説明するデコリレータが特にぴったりするからといって、本発明に必須というものではなく、他のデコリレーション技法を採用することもできる。
本発明は、ハードウェア又はソフトウェア又は両方を組み合わせたもの(例えば、プログラマブルロジックアレー)で実施することができる。特に記載がない限り、本発明の一部として含まれているアルゴリズムも、特定のコンピュータや他の装置と関連付けられるものではない。特に、種々の汎用機をこの記載に従って書かれたプログラムと共に用いてもよい、あるいは、要求の方法を実行するために、より特化した装置(例えば、集積回路)を構成することが便利かもしれない。このように、本発明は、それぞれ少なくとも1つのプロセッサ、少なくとも1つの記憶システム(揮発性及び非揮発性メモリー及び/又は記憶素子を含む)、少なくとも1つの入力装置又は入力ポート、及び少なくとも1つの出力装置又は出力ポートを具備する、1つ以上のプログラマブルコンピュータシステム上で実行される1つ以上のコンピュータプログラムにより実現することができる。ここに記載した機能を遂行し、出力情報を出力させるために入力データにプログラムコードを適用する。この出力情報は、公知の方法で、1以上の出力装置に適用される。
Claims (26)
- 2つの入力オーディオ信号から2つのサラウンドサウンドオーディオチャンネルを取得する方法であって、該オーディオ信号はマトリックスエンコーディングにより生成された成分を含むことができ、
前記オーディオ信号からアンビエンス信号成分を取得するステップと、
前記オーディオ信号からマトリックスデコードされた信号成分を取得するステップと、 前記サラウンドサウンドオーディオチャンネルに出力するためにアンビエンス信号成分とマトリックスデコードされた信号成分を制御可能に結合するステップとを具備することを特徴とする方法。 - アンビエンス信号成分を取得するステップには、入力オーディオ信号にダイナミックに変化するアンビエンス信号成分ゲインスケールファクターを適用するステップを含むことを特徴とする請求項1に記載の方法。
- 前記アンビエンス信号成分ゲインスケールファクターは、前記入力オーディオ信号の相互相関の測度の関数であることを特徴とする請求項2に記載の方法。
- 前記アンビエンス信号成分ゲインスケールファクターは前記相互相関の程度が増大するにつれて減少し、またその逆となることを特徴とする請求項3に記載の方法。
- 前記相互相関の測度は時間的に平滑化されることを特徴とする請求項3または請求項4に記載の方法。
- 前記相互相関の測度は、信号に依存する減衰積分器を採用して時間的に平滑化されることを特徴とする請求項5に記載の方法。
- 前記相互相関の測度は、移動平均を採用して時間的に平滑化されることを特徴とする請求項5に記載の方法。
- 前記時間的平滑化は、信号適応性を持つことを特徴とする請求項4乃至請求項7のいずれか1項に記載の方法。
- 前記時間的平滑化は、スペクトル分布の変化に応答して変化することを特徴とする請求項8に記載の方法。
- 前記アンビエンス信号成分を取得するステップには、少なくとも1つのデコリレーションフィルターシーケンスを適用するステップを含むことを特徴とする請求項1乃至請求項9のいずれか1項に記載の方法。
- 同じデコリレーションフィルターシーケンスを前記入力オーディオ信号のそれぞれに適用することを特徴とする請求項10に記載の方法。
- 異なったデコリレーションフィルターシーケンスを前記入力オーディオ信号のそれぞれに適用することを特徴とする請求項10に記載の方法。
- マトリックスデコードされた信号成分を取得するステップには、マトリックスデコーディングを入力オーディオ信号に適用するステップが含まれ、マトリックスデコーディングはそれぞれリアサラウンドサウンド方向と関連づけられた第1と第2のオーディオ信号が出力できるようにしてあることを特徴とする請求項1乃至請求項12のいずれか1項に記載の方法。
- 前記制御可能に結合するステップにはゲインスケールファクターを適用するステップが含まれることを特徴とする請求項1乃至請求項13のいずれか1項に記載の方法。
- 前記ゲインスケールファクターには、アンビエンス信号成分を取得するステップに適用されたダイナミックに変化するアンビエンス信号成分が含まれることを特徴とする請求項2乃至請求項14のいずれか1項に従属する項としての請求項14に記載の方法。
- 前記ゲインスケールファクターには、さらに、それぞれリアサラウンドサウンド方向と関連づけられた第1と第2のオーディオ信号に適用されるダイナミックに変化するマトリックスデコードされた信号成分が含まれることを特徴とする請求項2乃至請求項15のいずれか1項に従属する項としての請求項15に記載の方法。
- 前記マトリックスデコードされた信号成分ゲインスケールファクターは、前記入力オーディオ信号の相互相関の測度の関数であることを特徴とする請求項16に記載の方法。
- 前記ダイナミックに変化するマトリックスデコードされた信号成分ゲインスケールファクターは、前記相互相関の程度が増大するにつれて増大し、信号成分ゲインスケールファクターは、前記相互相関の程度が減少するにつれて減少することを特徴とする請求項17に記載の方法。
- 前記ダイナミックに変化するマトリックスデコードされた信号成分ゲインスケールファクターと前記ダイナミックに変化するアンビエンス信号成分ゲインスケールファクターとは、マトリックスデコードされた信号成分とアンビエンス信号成分とを結合したエネルギーを保存するような方法で、相互に増大及び減少することを特徴とする請求項18に記載の方法。
- 前記ダイナミックに変化するマトリックスデコードされた信号成分ゲインスケールファクターと前記ダイナミックに変化するアンビエンス信号成分ゲインスケールファクターとは、さらに、サラウンドサウンドオーディオチャンネルのゲインを制御するためのダイナミックに変化するサラウンドサウンドオーディオチャンネルゲインスケールファクターを具備することを特徴とする請求項16乃至請求項19のいずれか1項に記載の方法。
- 前記サラウンドサウンドオーディオチャンネルゲインスケールファクターは入力オーディオ信号の相互相関の測度の関数であることを特徴とする請求項20に記載の方法。
- 前記関数は、相互相関の測度がその値以下になるとサラウンドサウンドオーディオチャンネルのゲインスケールファクターが減少するような値になるまで、相互相関の測度が減少するにつれて、このサラウンドサウンドオーディオチャンネルゲインスケールファクターを増大させるような関数であることを特徴とする請求項21に記載の方法。
- 前記方法は時間−周波数領域で実行されることを特徴とする請求項1乃至請求項22のいずれか1項に記載の方法。
- 前記方法は時間−周波数領域の1以上の周波数帯域で実行されることを特徴とする請求項23に記載の方法。
- 請求項1乃至請求項24のいずれか1項に記載の方法を実行するように作られた装置。
- コンピュータに請求項1乃至請求項24のいずれか1項に記載の方法を実行させるための、コンピュータ読み取り可能な媒体に保存された、コンピュータプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US93378907P | 2007-06-08 | 2007-06-08 | |
US60/933,789 | 2007-06-08 | ||
PCT/US2008/007128 WO2008153944A1 (en) | 2007-06-08 | 2008-06-06 | Hybrid derivation of surround sound audio channels by controllably combining ambience and matrix-decoded signal components |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010529780A true JP2010529780A (ja) | 2010-08-26 |
JP5021809B2 JP5021809B2 (ja) | 2012-09-12 |
Family
ID=39743799
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010511203A Expired - Fee Related JP5021809B2 (ja) | 2007-06-08 | 2008-06-06 | アンビエンス信号成分とマトリックスデコードされた信号成分とを制御可能に結合することによるサラウンドサウンドオーディオチャンネルのハイブリッド導出 |
Country Status (11)
Country | Link |
---|---|
US (1) | US9185507B2 (ja) |
EP (1) | EP2162882B1 (ja) |
JP (1) | JP5021809B2 (ja) |
CN (1) | CN101681625B (ja) |
AT (1) | ATE493731T1 (ja) |
BR (1) | BRPI0813334A2 (ja) |
DE (1) | DE602008004252D1 (ja) |
ES (1) | ES2358786T3 (ja) |
RU (1) | RU2422922C1 (ja) |
TW (1) | TWI527473B (ja) |
WO (1) | WO2008153944A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101532505B1 (ko) * | 2011-05-11 | 2015-06-29 | 프라운호퍼-게젤샤프트 츄어 푀르더룽 데어 안게반텐 포르슝에.파우. | 분해기를 이용하여 출력 신호를 생성하는 장치 및 방법 |
Families Citing this family (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101401456B (zh) * | 2006-03-13 | 2013-01-02 | 杜比实验室特许公司 | 呈现中央声道音频的方法和装置 |
PL1994526T3 (pl) * | 2006-03-13 | 2010-03-31 | France Telecom | Połączona synteza i uprzestrzennienie dźwięków |
US8580622B2 (en) | 2007-11-14 | 2013-11-12 | Invensas Corporation | Method of making integrated circuit embedded with non-volatile programmable memory having variable coupling |
US7876615B2 (en) | 2007-11-14 | 2011-01-25 | Jonker Llc | Method of operating integrated circuit embedded with non-volatile programmable memory having variable coupling related application data |
PL2232700T3 (pl) | 2007-12-21 | 2015-01-30 | Dts Llc | System regulacji odczuwanej głośności sygnałów audio |
TWI413109B (zh) * | 2008-10-01 | 2013-10-21 | Dolby Lab Licensing Corp | 用於上混系統之解相關器 |
US8203861B2 (en) | 2008-12-30 | 2012-06-19 | Invensas Corporation | Non-volatile one-time—programmable and multiple-time programmable memory configuration circuit |
US20120121091A1 (en) * | 2009-02-13 | 2012-05-17 | Nokia Corporation | Ambience coding and decoding for audio applications |
CN101848412B (zh) * | 2009-03-25 | 2012-03-21 | 华为技术有限公司 | 通道间延迟估计的方法及其装置和编码器 |
KR20120028915A (ko) * | 2009-05-11 | 2012-03-23 | 아키타 블루, 인크. | 임의의 신호의 쌍으로부터 공통 및 고유 구성요소의 추출 |
US8538042B2 (en) | 2009-08-11 | 2013-09-17 | Dts Llc | System for increasing perceived loudness of speakers |
US8831934B2 (en) * | 2009-10-27 | 2014-09-09 | Phonak Ag | Speech enhancement method and system |
US8786852B2 (en) | 2009-12-02 | 2014-07-22 | Lawrence Livermore National Security, Llc | Nanoscale array structures suitable for surface enhanced raman scattering and methods related thereto |
TWI444989B (zh) * | 2010-01-22 | 2014-07-11 | Dolby Lab Licensing Corp | 針對改良多通道上混使用多通道解相關之技術 |
WO2013107602A1 (en) | 2012-01-20 | 2013-07-25 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for audio encoding and decoding employing sinusoidal substitution |
US9986356B2 (en) * | 2012-02-15 | 2018-05-29 | Harman International Industries, Incorporated | Audio surround processing system |
US9395304B2 (en) | 2012-03-01 | 2016-07-19 | Lawrence Livermore National Security, Llc | Nanoscale structures on optical fiber for surface enhanced Raman scattering and methods related thereto |
US9312829B2 (en) | 2012-04-12 | 2016-04-12 | Dts Llc | System for adjusting loudness of audio signals in real time |
JP6186436B2 (ja) * | 2012-08-31 | 2017-08-23 | ドルビー ラボラトリーズ ライセンシング コーポレイション | 個々に指定可能なドライバへの上方混合されたコンテンツの反射されたおよび直接的なレンダリング |
US9754596B2 (en) | 2013-02-14 | 2017-09-05 | Dolby Laboratories Licensing Corporation | Methods for controlling the inter-channel coherence of upmixed audio signals |
US9830917B2 (en) | 2013-02-14 | 2017-11-28 | Dolby Laboratories Licensing Corporation | Methods for audio signal transient detection and decorrelation control |
TWI618050B (zh) * | 2013-02-14 | 2018-03-11 | 杜比實驗室特許公司 | 用於音訊處理系統中之訊號去相關的方法及設備 |
EP2974253B1 (en) | 2013-03-15 | 2019-05-08 | Dolby Laboratories Licensing Corporation | Normalization of soundfield orientations based on auditory scene analysis |
MX342965B (es) * | 2013-04-05 | 2016-10-19 | Dolby Laboratories Licensing Corp | Sistema y método de compansión para reducir el ruido de cuantificación usando extensión espectral avanzada. |
EP4329338A3 (en) * | 2013-04-26 | 2024-05-22 | Sony Group Corporation | Audio processing device, method, and program |
EP2830065A1 (en) | 2013-07-22 | 2015-01-28 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for decoding an encoded audio signal using a cross-over filter around a transition frequency |
JP6186503B2 (ja) | 2013-10-03 | 2017-08-23 | ドルビー ラボラトリーズ ライセンシング コーポレイション | アップミキサーにおける適応的な拡散性信号生成 |
JP5981408B2 (ja) * | 2013-10-29 | 2016-08-31 | 株式会社Nttドコモ | 音声信号処理装置、音声信号処理方法、及び音声信号処理プログラム |
DE102014100049A1 (de) * | 2014-01-05 | 2015-07-09 | Kronoton Gmbh | Verfahren zur Audiowiedergabe in einem Mehrkanaltonsystem |
EP2980789A1 (en) * | 2014-07-30 | 2016-02-03 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for enhancing an audio signal, sound enhancing system |
TWI615040B (zh) * | 2016-06-08 | 2018-02-11 | 視訊聮合科技股份有限公司 | 多功能模組式音箱 |
CN109640242B (zh) * | 2018-12-11 | 2020-05-12 | 电子科技大学 | 音频源分量及环境分量提取方法 |
US11656848B2 (en) * | 2019-09-18 | 2023-05-23 | Stmicroelectronics International N.V. | High throughput parallel architecture for recursive sinusoid synthesizer |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6193100U (ja) * | 1984-11-22 | 1986-06-16 | ||
JPH01144900A (ja) * | 1987-12-01 | 1989-06-07 | Matsushita Electric Ind Co Ltd | 音場再生装置 |
JPH05219600A (ja) * | 1991-08-07 | 1993-08-27 | Hughes Aircraft Co | ステレオ強調および指向性サーボを備えたオージオサラウンドシステム |
JP2005512434A (ja) * | 2001-12-05 | 2005-04-28 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | ステレオ信号をエンハンスする回路および方法 |
JP2007028065A (ja) * | 2005-07-14 | 2007-02-01 | Victor Co Of Japan Ltd | サラウンド再生装置 |
Family Cites Families (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6193100A (ja) | 1984-10-02 | 1986-05-12 | 極東開発工業株式会社 | 貯蔵タンクの収容液種判別装置 |
CN1046801A (zh) * | 1989-04-27 | 1990-11-07 | 深圳大学视听技术研究所 | 电影立体声解码及处理方法 |
JP2660614B2 (ja) | 1991-08-21 | 1997-10-08 | 日野自動車工業株式会社 | クレーンを搭載したトラックの支持装置 |
DE4409368A1 (de) | 1994-03-18 | 1995-09-21 | Fraunhofer Ges Forschung | Verfahren zum Codieren mehrerer Audiosignale |
US6697491B1 (en) * | 1996-07-19 | 2004-02-24 | Harman International Industries, Incorporated | 5-2-5 matrix encoder and decoder system |
FI116990B (fi) | 1997-10-20 | 2006-04-28 | Nokia Oyj | Menetelmä ja järjestelmä akustisen virtuaaliympäristön käsittelemiseksi |
RU2193827C2 (ru) | 1997-11-14 | 2002-11-27 | В. Вейвс (Сша) Инк. | Постусилительная схема декодирования стереофонического звука в окружающий звук |
US7076071B2 (en) * | 2000-06-12 | 2006-07-11 | Robert A. Katz | Process for enhancing the existing ambience, imaging, depth, clarity and spaciousness of sound recordings |
US7003467B1 (en) * | 2000-10-06 | 2006-02-21 | Digital Theater Systems, Inc. | Method of decoding two-channel matrix encoded audio to reconstruct multichannel audio |
US7039198B2 (en) * | 2000-11-10 | 2006-05-02 | Quindi | Acoustic source localization system and method |
US7610205B2 (en) * | 2002-02-12 | 2009-10-27 | Dolby Laboratories Licensing Corporation | High quality time-scaling and pitch-scaling of audio signals |
US7711123B2 (en) * | 2001-04-13 | 2010-05-04 | Dolby Laboratories Licensing Corporation | Segmenting audio signals into auditory events |
US7461002B2 (en) * | 2001-04-13 | 2008-12-02 | Dolby Laboratories Licensing Corporation | Method for time aligning audio signals using characterizations based on auditory events |
US7283954B2 (en) * | 2001-04-13 | 2007-10-16 | Dolby Laboratories Licensing Corporation | Comparing audio using characterizations based on auditory events |
EP1386312B1 (en) * | 2001-05-10 | 2008-02-20 | Dolby Laboratories Licensing Corporation | Improving transient performance of low bit rate audio coding systems by reducing pre-noise |
US20040086130A1 (en) | 2002-05-03 | 2004-05-06 | Eid Bradley F. | Multi-channel sound processing systems |
US7394903B2 (en) * | 2004-01-20 | 2008-07-01 | Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. | Apparatus and method for constructing a multi-channel output signal or for generating a downmix signal |
US7508947B2 (en) * | 2004-08-03 | 2009-03-24 | Dolby Laboratories Licensing Corporation | Method for combining audio signals using auditory scene analysis |
US20060262936A1 (en) * | 2005-05-13 | 2006-11-23 | Pioneer Corporation | Virtual surround decoder apparatus |
MX2007015118A (es) | 2005-06-03 | 2008-02-14 | Dolby Lab Licensing Corp | Aparato y metodo para codificacion de senales de audio con instrucciones de decodificacion. |
TWI396188B (zh) | 2005-08-02 | 2013-05-11 | Dolby Lab Licensing Corp | 依聆聽事件之函數控制空間音訊編碼參數的技術 |
CN101401456B (zh) | 2006-03-13 | 2013-01-02 | 杜比实验室特许公司 | 呈现中央声道音频的方法和装置 |
US8144881B2 (en) | 2006-04-27 | 2012-03-27 | Dolby Laboratories Licensing Corporation | Audio gain control using specific-loudness-based auditory event detection |
US7844453B2 (en) * | 2006-05-12 | 2010-11-30 | Qnx Software Systems Co. | Robust noise estimation |
US8345899B2 (en) * | 2006-05-17 | 2013-01-01 | Creative Technology Ltd | Phase-amplitude matrixed surround decoder |
US8379868B2 (en) * | 2006-05-17 | 2013-02-19 | Creative Technology Ltd | Spatial audio coding based on universal spatial cues |
US8213623B2 (en) * | 2007-01-12 | 2012-07-03 | Illusonic Gmbh | Method to generate an output audio signal from two or more input audio signals |
-
2008
- 2008-06-06 ES ES08768203T patent/ES2358786T3/es active Active
- 2008-06-06 DE DE602008004252T patent/DE602008004252D1/de active Active
- 2008-06-06 JP JP2010511203A patent/JP5021809B2/ja not_active Expired - Fee Related
- 2008-06-06 WO PCT/US2008/007128 patent/WO2008153944A1/en active Application Filing
- 2008-06-06 US US12/663,276 patent/US9185507B2/en not_active Expired - Fee Related
- 2008-06-06 CN CN2008800188969A patent/CN101681625B/zh not_active Expired - Fee Related
- 2008-06-06 RU RU2009149399/09A patent/RU2422922C1/ru not_active IP Right Cessation
- 2008-06-06 AT AT08768203T patent/ATE493731T1/de not_active IP Right Cessation
- 2008-06-06 EP EP08768203A patent/EP2162882B1/en not_active Not-in-force
- 2008-06-06 TW TW097121163A patent/TWI527473B/zh not_active IP Right Cessation
- 2008-06-06 BR BRPI0813334-4A2A patent/BRPI0813334A2/pt not_active IP Right Cessation
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6193100U (ja) * | 1984-11-22 | 1986-06-16 | ||
JPH01144900A (ja) * | 1987-12-01 | 1989-06-07 | Matsushita Electric Ind Co Ltd | 音場再生装置 |
JPH05219600A (ja) * | 1991-08-07 | 1993-08-27 | Hughes Aircraft Co | ステレオ強調および指向性サーボを備えたオージオサラウンドシステム |
JP2005512434A (ja) * | 2001-12-05 | 2005-04-28 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | ステレオ信号をエンハンスする回路および方法 |
JP2007028065A (ja) * | 2005-07-14 | 2007-02-01 | Victor Co Of Japan Ltd | サラウンド再生装置 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101532505B1 (ko) * | 2011-05-11 | 2015-06-29 | 프라운호퍼-게젤샤프트 츄어 푀르더룽 데어 안게반텐 포르슝에.파우. | 분해기를 이용하여 출력 신호를 생성하는 장치 및 방법 |
US9729991B2 (en) | 2011-05-11 | 2017-08-08 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Apparatus and method for generating an output signal employing a decomposer |
Also Published As
Publication number | Publication date |
---|---|
EP2162882A1 (en) | 2010-03-17 |
ES2358786T3 (es) | 2011-05-13 |
TW200911006A (en) | 2009-03-01 |
WO2008153944A1 (en) | 2008-12-18 |
EP2162882B1 (en) | 2010-12-29 |
US20100177903A1 (en) | 2010-07-15 |
US9185507B2 (en) | 2015-11-10 |
BRPI0813334A2 (pt) | 2014-12-23 |
JP5021809B2 (ja) | 2012-09-12 |
CN101681625A (zh) | 2010-03-24 |
CN101681625B (zh) | 2012-11-07 |
TWI527473B (zh) | 2016-03-21 |
ATE493731T1 (de) | 2011-01-15 |
RU2422922C1 (ru) | 2011-06-27 |
DE602008004252D1 (de) | 2011-02-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5021809B2 (ja) | アンビエンス信号成分とマトリックスデコードされた信号成分とを制御可能に結合することによるサラウンドサウンドオーディオチャンネルのハイブリッド導出 | |
EP2002692B1 (en) | Rendering center channel audio | |
KR101256555B1 (ko) | 청각 이벤트의 함수에 따라서 공간 오디오 코딩파라미터들을 제어 | |
KR100803344B1 (ko) | 멀티채널 출력 신호를 구성하고 다운믹스 신호를 생성하기위한 장치 및 방법 | |
JP5724044B2 (ja) | 多重チャネル・オーディオ信号の符号化のためのパラメトリック型符号化装置 | |
EP2614659B1 (en) | Upmixing method and system for multichannel audio reproduction | |
EP3340660A1 (en) | Binaural filters for monophonic compatibility and loudspeaker compatibility | |
WO2006108543A9 (en) | Temporal envelope shaping of decorrelated signal | |
WO2007110103A1 (en) | Generation of spatial downmixes from parametric representations of multi channel signals | |
EP1738356A1 (en) | Apparatus and method for generating multi-channel synthesizer control signal and apparatus and method for multi-channel synthesizing | |
JP2009533910A (ja) | アンビエンス信号を生成するための装置および方法 | |
EP3745744A2 (en) | Audio processing | |
RU2642386C2 (ru) | Адаптивное генерирование рассеянного сигнала в повышающем микшере | |
CN114270878A (zh) | 声场相关渲染 | |
KR20230119193A (ko) | 오디오 업믹싱을 위한 시스템 및 방법 | |
EP3761673A1 (en) | Stereo audio |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110707 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110712 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20111012 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20111019 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20111025 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111227 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20120117 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120612 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120614 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150622 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |