JP2009526263A - 符号化/復号化装置及び方法 - Google Patents
符号化/復号化装置及び方法Info
- Publication number
- JP2009526263A JP2009526263A JP2008554140A JP2008554140A JP2009526263A JP 2009526263 A JP2009526263 A JP 2009526263A JP 2008554140 A JP2008554140 A JP 2008554140A JP 2008554140 A JP2008554140 A JP 2008554140A JP 2009526263 A JP2009526263 A JP 2009526263A
- Authority
- JP
- Japan
- Prior art keywords
- downmix signal
- domain
- signal
- information
- rendering
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 93
- 238000009877 rendering Methods 0.000 claims abstract description 170
- 238000006243 chemical reaction Methods 0.000 claims description 60
- 230000008569 process Effects 0.000 claims description 27
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 claims description 9
- 230000015572 biosynthetic process Effects 0.000 claims description 6
- 238000003786 synthesis reaction Methods 0.000 claims description 6
- 230000001131 transforming effect Effects 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims 2
- 230000000694 effects Effects 0.000 abstract description 33
- 230000005236 sound signal Effects 0.000 abstract description 8
- 238000012545 processing Methods 0.000 description 47
- 238000010586 diagram Methods 0.000 description 27
- 239000011159 matrix material Substances 0.000 description 16
- 239000000284 extract Substances 0.000 description 7
- 238000013139 quantization Methods 0.000 description 7
- 238000001914 filtration Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000009499 grossing Methods 0.000 description 4
- 238000012856 packing Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 210000003454 tympanic membrane Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
- G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
- G10L19/18—Vocoders using multiple modes
- G10L19/24—Variable rate codecs, e.g. for generating different qualities using a scalable representation such as hierarchical encoding or layered encoding
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/03—Application of parametric coding in stereophonic audio systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Stereophonic System (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
【課題】マルチチャンネル信号を3D効果を有する信号に效率的に符号化でき、再生環境によって適応的に最上の音質を有するオーディオ信号を復元して再生できる符号化/復号化方法及び装置を提供する。
【解決手段】入力されるビットストリームから、任意ダウンミックス信号と任意ダウンミックス信号の補償情報を抽出する段階と、補償情報を用いて任意ダウンミックス信号を補償する段階と、補償された任意ダウンミックス信号に3Dレンダリングを行い、3Dダウンミックス信号を生成する段階と、を含むことを特徴とする復号化方法を提供する。
【選択図】図1
【解決手段】入力されるビットストリームから、任意ダウンミックス信号と任意ダウンミックス信号の補償情報を抽出する段階と、補償情報を用いて任意ダウンミックス信号を補償する段階と、補償された任意ダウンミックス信号に3Dレンダリングを行い、3Dダウンミックス信号を生成する段階と、を含むことを特徴とする復号化方法を提供する。
【選択図】図1
Description
本発明は、符号化/復号化方法及び装置に係り、より詳細には、3D効果を有する信号の処理のためのオーディオ信号の符号化/復号化装置及びこれを用いた符号化/復号化方法に関する。
マルチチャンネル信号は、符号化装置を通じて自分よりも少ない数のチャンネルを有する信号にダウンミックスされて復号化装置に転送され、復号化装置は、前記転送されてきたダウンミックス信号をマルチチャンネル信号に復元した後、3以上のスピーカ、例えば、5.1チャンネルのスピーカを用いて再生する。
また、マルチチャンネル信号はヘッドホンのような2チャンネルのスピーカを通じて再生されることもできる。この場合、使用者に、2チャンネルスピーカの音を3以上の音源から出力されるかのように感じさせるには、マルチチャンネル信号を3D効果を有する信号に符号化または復号化する3D処理技術が必要である。
本発明の目的は、様々な再生環境でマルチチャンネル信号を再生できるように、3D効果を有する信号を效率的に処理することができる符号化/復号化装置及び方法を提供することにある。
上記の目的を達成するための本発明による復号化方法は、ビットストリームから、任意ダウンミックス信号と前記任意ダウンミックス信号を補償するための補償情報を抽出する段階と、前記補償情報を用いて前記任意ダウンミックス信号を補償する段階と、前記補償された任意ダウンミックス信号に3Dレンダリングを行い、3Dダウンミックス信号を生成する段階と、を有することを特徴とする。
上記の目的を達成するための本発明による他の復号化方法は、ビットストリームから、任意ダウンミックス信号と前記任意ダウンミックス信号を補償するための補償情報を抽出する段階と、3Dレンダリングに用いられるフィルタ情報に、前記抽出された補償情報を合成する段階と、前記合成されたフィルタ情報を用いて前記任意ダウンミックス信号に対する補償及び3Dレンダリングを同時に行い、3Dダウンミックス信号を生成する段階と、を有することを特徴とする。
上記の目的を達成するための本発明による復号化装置は、入力されるビットストリームから、任意ダウンミックス信号と前記任意ダウンミックス信号を補償するための補償情報を抽出するビットアンパッキング部と、前記補償情報を用いて前記任意ダウンミックス信号を補償するダウンミックス補償部と、前記補償されたダウンミックス信号に3Dレンダリングを行い、3Dダウンミックス信号を生成する3Dレンダリング部と、を有することを特徴とする。
前記復号化方法は、好ましくは、コンピュータで実行させるためのプログラムを記録した、コンピュータで読み取り可能な記録媒体で具現化できる。
本発明の符号化/復号化装置及び方法によれば、マルチチャンネル信号を3D効果を有する信号に效率的に符号化でき、再生環境によって適応的に最上の音質を有するオーディオ信号を復元して再生することが可能になる。
以下、添付の図面を参照しつつ、本発明に係る符号化/復号化方法及び装置の好適な実施例について詳細に説明する。
図1は、本発明の一実施例による符号化/復号化装置を示すブロック図である。図1を参照すると、符号化器100は、マルチチャンネルエンコーダ110、3Dレンダリング部120、ダウンミックスエンコーダ130及びビットパッキング部140を含んでなる。
マルチチャンネルエンコーダ110は、複数のチャンネルを有するマルチチャンネル信号をステレオまたはモノラルのダウンミックス信号にダウンミックスし、また、前記ダウンミックス信号からマルチチャンネル信号を復元するのに必要な複数の前記チャンネルに関する空間情報(spatial information)を生成する。
空間情報は、マルチチャンネルのうち、2チャンネル間のエネルギー差を示すCLD(Channel Level Difference)、2チャンネル信号から3チャンネル信号を生成するために用いられる予測係数であるCPC(Channel Prediction Coefficient)、2チャンネル間相関関係(correlation)を示すICC(Inter Channel Correlation)、及び2チャンネル間時間差を示すCTD(Channel Time Difference)などを含むことができる。
3Dレンダリング部120は、ダウンミックス信号を用いて3Dダウンミックス信号を生成する。3Dダウンミックス信号は、2チャンネルの信号が3以上の方向性を有するようにし、ヘッドホンのような2チャンネルスピーカを通じて3次元立体音響を再生できるようにするための信号である。すなわち、3Dダウンミックス信号を2チャンネルのスピーカを通じて再生すると、再生される音は3チャンネル以上の音源から出力されるかのように使用者に聞こえさせることができる。音原の方向感は、両耳から入ってくる音の強度差、時間差、位相差のうち少なくとも一つにより形成されるので、3Dレンダリング部120は、上記のように人間が聴覚で音原の3次元上の位置を把握するメカニズムを用いてダウンミックス信号を3Dダウンミックス信号に変換することができる。
3Dレンダリング部120は、フィルタを用いてダウンミックス信号をフィルタリングすることによって3Dダウンミックス信号を生成することが好ましく、フィルタに関する情報、例えば、フィルタの係数は外部から入力されることができる。また、3Dレンダリング部120は、ダウンミックス信号を用いて3Dダウンミックス信号を生成すべく、マルチチャンネルエンコーダ110で生成された空間情報を用いても良い。例えば、3Dレンダリング部120は、空間情報を用いてダウンミックス信号を仮想のマルチチャンネル信号に変換した後、この仮想のマルチチャンネル信号をフィルタリングし、3Dダウンミックス信号に変換することができる。
3Dレンダリング部120は、HRTF(Head Related Transfer Function)フィルタを用いてダウンミックス信号をフィルタリングすることによって、3Dダウンミックス信号を生成できる。
HRTFは、任意の位置を有する音源から出る音波と耳の鼓膜に到達する音波間の伝達関数(transfer function)を意味し、音原の方位と高度によってその値は異なる。方向性のない信号をHRTFでフィルタリングすると、人には、あたかも特定方向から音が出るかのように聞こえる。
3Dレンダリング部120は、周波数ドメイン、例えば、DFT(Discrete Fourier Transform)ドメインまたはFFT(Fast Fourier Transform)ドメイン上で3Dダウンミックス信号生成作業を行うことができる。この場合、3Dプロセシングの前にDFTまたはFFTを行ったり、3Dプロセシングの後にIDFT(inverse DFT)またはIFFT(inverse FFT)を行うことができる。
3Dレンダリング部120は、QMF(quadrature mirror Filter)/ハイブリッドドメイン上でも3Dレンダリングを行うことができ、その場合、3Dレンダリングの前後にQMF/ハイブリッド分析(analysis)及び合成が行われることができる。
また、3Dレンダリングは、時間(time)ドメイン上でも行われることができる。3Dレンダリングの行われるドメインは、要求される音質、装置の演算能力などを考慮して最も好適なドメインを決定すれば良い。
ダウンミックスエンコーダ130は、マルチチャンネルエンコーダ110から出力されるダウンミックス信号または3Dレンダリング部120から出力される3Dダウンミックス信号を符号化する。ダウンミックスエンコーダ130は、入力されるダウンミックス信号をAAC(Advanced Audio Coding)、MP3(MPEG layer 3)またはBSAC(Bit Sliced Arithmetic Coding)などのオーディオ信号コーディング方法を用いて符号化することができる。
ダウンミックスエンコーダ130は、3D処理されなかったダウンミックス信号と3D処理された3Dダウンミックス信号とも符号化することができ、この場合、転送されるビットストリームにこれらの両信号を全て含めることができる。
ビットパッキング部140は、符号化されたダウンミックス信号または3Dダウンミックス信号と空間情報を用いてビットストリームを生成する。
ビットストリームは、空間情報、含まれた信号がダウンミックス信号か3Dダウンミックス信号かを示すダウンミックス識別情報、3Dレンダリング部120で用いられたフィルタに関する情報、例えば、HRTF係数に関する情報などを含むことができる。
すなわち、復号化装置に転送されるビットストリームには、3D処理されなかったダウンミックス信号とエンコーダで3D処理されたエンコーダ3Dダウンミックス信号のうち少なくとも一つが含まれることができ、転送されたビットストリームに含まれたダウンミックス信号を復号化装置で識別できるようにするダウンミックス識別情報が含まれることが好ましい。
転送されるビットストリームにダウンミックス信号とエンコーダ3Dダウンミックス信号のうちのいずれかが含まれるかは、使用者の選択、符号化/復号化装置の性能、再生環境などによって決定されることができる。
HRTF係数に対する情報は、3Dレンダリング部120で使用されたHRTFの逆変換関数の係数を含むことができ、3Dレンダリング部120で使用されたHRTFの係数に関する簡略化した情報、例えば、前記係数の包絡線(envelope)情報のみを含んでも良い。ビットストリームにHRTF逆変換関数の係数を含めて転送する場合、復号化装置のHRTF係数変換作業が省略されることができるので、復号化装置の演算量を減少させることができる。
ビットストリームは、HRTFを用いたフィルタリングによる信号のエネルギー変化に関する情報、すなわち、フィルタリング前の信号のエネルギーとフィルタリング後の信号のエネルギー間の差または比に関する情報を含むことができる。
ビットストリームは、HRTF係数を含むか否かを示す情報を有することができ、HRTF係数がビットストリームに含まれた場合、3Dレンダリング部120で使用されたHRTFの係数とHRTFの逆変換関数の係数のうちいずれかを含んでいるかに関する情報を有することができる。
図1を参照すると、本発明による復号化装置は、ビットアンパッキング部210、ダウンミックスデコーダ220、3Dレンダリング部230及びマルチチャンネルデコーダ240を含んでなる。
ビットアンパッキング部210は、入力されるビットストリームから、符号化されたダウンミックス信号と空間情報を抽出し、ダウンミックスデコーダ220は、符号化されたダウンミックス信号を復号化する。ダウンミックスデコーダ220は、AAC、MP3またはBSACなどのオーディオ信号復号化方法を用いて、符号化されたダウンミックス信号を復号化することができる。
上記のように、ビットストリームから抽出される信号は、符号化されたダウンミックス信号または符号化されたエンコーダ3Dダウンミックス信号でありうる。ビットストリームに含まれたダウンミックス信号が3D処理された信号か否かに関する情報は、ビットストリームに含まれることができる。
ダウンミックスデコーダ220により復号化されたエンコーダ3Dダウンミックス信号は、直ちに再生可能である。
ダウンミックスデコーダ220により復号化されたダウンミックス信号は、3Dレンダリング部230に含まれた第3のレンダリング部233で3D効果処理され、3Dダウンミックス信号に変換されることができる。このように復号化装置で3D効果処理されたデコーダ3Dダウンミックス信号は、直ちに再生可能である。
3Dレンダリング部230に含まれた第1のレンダリング部231は、ダウンミックスデコーダ220により復号化されたエンコーダ3Dダウンミックス信号に3Dレンダリングを行い、ダウンミックス信号を生成する。例えば、第1のレンダリング部231は、エンコーダ3Dダウンミックス信号の3D効果を除去することによって、3D処理されなかったダウンミックス信号を生成できる。
エンコーダ3Dダウンミックス信号の3D効果は、第1のレンダリング部231により完全に除去されないこともあり、したがって、第1のレンダリング部231から出力されるダウンミックス信号は、若干の3D効果を有する信号にもなりうる。
第1のレンダリング部231は、符号化器100の3Dレンダリング部120で使用されたフィルタの逆変換フィルタを用いて、エンコーダダウンミックス信号を3D効果の除去されたダウンミックス信号に変換できる。3Dレンダリング部120で使用されたフィルタまたは逆変換フィルタに関する情報は、符号化器100から転送されるビットストリームに含まれることができる。
ここで、フィルタはHRTFフィルタとすることが好ましく、この場合、符号化器100で使用されたHRTFの係数またはHRTFの逆変換係数は、符号化器100から転送されるビットストリームに含まれることができる。符号化器100で使用されたHRTFの係数は逆変換された後、第1のレンダリング部231の3Dレンダリングに用いられる。ビットストリームに符号化器100で使用されたHRTFの逆変換係数が含まれた場合、逆変換過程無しで、該ビットストリームに含まれた係数を用いて3Dレンダリングを行うことができるので、復号化装置の演算量を減少させることができる。
入力されるビットストリームには、フィルタ情報、例えば、HRTF係数を含むか否かを示す情報またはビットストリームに含まれたフィルタ情報が逆変換されたか否かに関する情報が含まれることができる。
マルチチャンネルデコーダ240は、3D効果の除去されたダウンミックス信号とビットストリームから抽出された空間情報とを用いて、3以上のチャンネルを有する3Dマルチチャンネル信号を生成する。
また、第2のレンダリング部232は、3D効果の除去されたダウンミックス信号に3Dレンダリングを行い、3D効果を有する3Dダウンミックス信号を生成できる。すなわち、第1のレンダリング部231は、エンコーダ3Dダウンミックス信号から符号化器100の3D効果を除去し、第2のレンダリング部231は、復号化装置が持つフィルタを用いて、当該3D効果の除去されたダウンミックス信号に3Dレンダリングを行い、復号化装置で所望の3D効果を有するコンバインド(combined)3Dダウンミックス信号を生成できる。
本発明による復号化装置は、第1、2、3レンダリング部231,232,233のうち、同じ動作を行う2以上のユニットを一つのレンダリング部に併合して含むことができる。
図1に示すように、符号化器100で生成されたビットストリームは、上記のような復号化装置の構造を有する第1の復号化器200とは異なる第2の復号化器300に転送されることができ、第2の復号化器300は、ビットストリームに含まれたダウンミックス信号を用いて3Dダウンミックス信号を生成することができる。
第2の復号化器300のビットアンパッキング部310は、入力されるビットストリームから、符号化されたダウンミックス信号と空間情報を抽出し、ダウンミックスデコーダ320は、当該符号化されたダウンミックス信号を復号化する。ダウンミックスデコーダ320により復号化されたダウンミックス信号は、3Dレンダリング部330により3D効果処理され、3Dダウンミックスに変換されることができる。
図2は、本発明の一実施例による符号化装置の構成を示すブロック図で、同図の符号化装置は、3Dレンダリング部400、420及びマルチチャンネルエンコーダ410を含んでなる。図2に示す符号化装置の動作説明において、図1を参照して説明した符号化装置の動作と重複する説明は省略する。
図2を参照すると、3Dレンダリング部400,420は、マルチチャンネルエンコーダ410の前段または後段に位置することができる。すなわち、マルチチャンネル信号は、3Dレンダリング部400で3Dレンダリングされた後、マルチチャンネルエンコーダ410に入力され、前処理エンコーダ3Dダウンミックス信号に符号化されることができ、あるいは、マルチチャンネル信号はマルチチャンネルエンコーダ410でダウンミックスされた後、3Dレンダリング部420で3Dレンダリングされ、後処理エンコーダダウンミックス信号に符号化されても良い。
この3Dレンダリングがマルチチャンネルエンコーダ410によるダウンミックスの以前に行われたか以降に行われたかに関する情報は、符号化装置から転送されるビットストリームに含まれることが好ましい。
図2では、3Dレンダリング部400,420がマルチチャンネルエンコーダ410の前段及び後段ともに位置しているが、マルチチャンネルエンコーダ410の前段及び後段のいずれか一方に3Dレンダリング部が位置することが好ましい。
図3は、本発明の一実施例による復号化装置の構成を示すブロック図で、同図の復号化装置は、3Dレンダリング部430,450及びマルチチャンネルデコーダ440を含んでなる。図3に示す復号化装置の動作説明において、図1を参照して説明した復号化装置の動作と重複する説明は省略するものとする。
図3を参照すると、3Dレンダリング部430,450は、マルチチャンネルデコーダ440の前段または後段に位置することができる。すなわち、エンコーダ3Dダウンミックス信号は、3Dレンダリング部430で3D効果が除去された後、マルチチャンネルデコーダ440に入力され、前処理3Dマルチチャンネル信号に復号化されることができ、あるいは、エンコーダ3Dダウンミックス信号は、マルチチャンネルデコーダ440でマルチチャンネル信号に復元された後、3Dレンダリング部450で3D効果が除去され、後処理3Dマルチチャンネル信号に復号化されることができる。
このエンコーダ3Dダウンミックス信号を生成した符号化装置で、3Dレンダリングがダウンミックス以前に行われた場合、復号化装置では3Dレンダリングがマルチチャンネルデコーディング以後に行われるようにすることが好ましい。また、符号化装置で3Dレンダリングがダウンミックス以後に行われた場合には、復号化装置では3Dレンダリングがマルチチャンネルデコーディング以前に行われるようにすることが好ましい。
上記のように、符号化装置で3Dレンダリングがダウンミックス以前に行われたか、または、以後に行われたかに関する情報は、符号化装置から転送されるビットストリームから抽出されることが好ましい。
図3では、3Dレンダリング部430,450がマルチチャンネルデコーダ430の前段及び後段ともに位置しているが、マルチチャンネルデコーダ430の前段及び後段のいずれか一方に3Dレンダリング部が位置することが好ましい。
図4は、本発明の他の実施例による符号化装置の構成を示すブロック図である。同図の符号化装置は、マルチチャンネルエンコーダ500、3Dレンダリング部510、ダウンミックスエンコーダ520及びビットパッキング部530を含んでなる。図4に示す符号化装置の動作説明において、図1を参照して説明した符号化装置の動作と重複する説明は省略する。
図4を参照すると、マルチチャンネルエンコーダ500は、入力されるマルチチャンネル信号を用いてダウンミックス信号と空間情報を生成し、3Dレンダリング部510は、生成されたダウンミックス信号に3Dレンダリングを行い、3Dダウンミックス信号を生成する。
符号化装置で、ダウンミックス信号への3Dレンダリングを行うか否かは、使用者の選択、符号化/復号化装置の性能、再生環境または要求される音質などによって決定されることができる。
ダウンミックスエンコーダ520は、マルチチャンネルエンコーダ500で生成されたダウンミックス信号または3Dレンダリング部510で生成された3Dダウンミックス信号を符号化する。
ビットパッキング部530は、符号化されたダウンミックス信号または符号化されたエンコーダ3Dダウンミックス信号と空間情報を用いて、ビットストリームを生成する。このビットストリームは、含まれた信号が3D効果を有しないダウンミックス信号か3D効果を有するエンコーダ3Dダウンミックス信号かを示すダウンミックス識別情報を含むことが好ましい。すなわち、ダウンミックス識別情報は、ビットストリームにダウンミックス信号が含まれているか、エンコーダ3Dダウンミックス信号が含まれているか、または、これら両信号を含んでいるかに関する情報を有することができる。
図5は、本発明の他の実施例による復号化装置の構成を示すブロック図であり、同図の復号化装置は、ビットアンパッキング部540、ダウンミックスデコーダ550及び3Dレンダリング部560を含んでなる。図5に示す復号化装置の動作説明において、図1を参照して説明した復号化装置の動作と重複する説明は省略する。
図5を参照すると、ビットアンパッキング部540は、入力されるビットストリームから、符号化されたダウンミックス信号、空間情報及びダウンミックス識別情報を抽出する。この抽出されたダウンミックス識別情報から、当該ビットストリームに含まれたダウンミックス信号が3D効果を有しないダウンミックス信号か、3D効果を有する3Dダウンミックス信号かがわかる。
このビットストリームにダウンミックス信号と3Dダウンミックス信号がいずれも含まれた場合、使用者の選択、符号化/復号化装置の性能、再生環境または要求される音質などによって、これら両信号のうちいずれか一方のみが当該ビットストリームから抽出され、復号化に用いられることができる。
ダウンミックスデコーダ550は、当該符号化されたダウンミックス信号を復号化する。この復号化された信号が、符号化装置で3Dレンダリングされたエンコーダ3Dダウンミックス信号である場合、復号化されたエンコーダ3Dダウンミックス信号は直ちに再生可能である。
また、復号化された信号が3D効果を有しないダウンミックス信号である場合、3Dレンダリング部560は、当該ダウンミックス信号に3Dレンダリングを行い、デコーダ3Dダウンミックス信号を生成することができる。
図6は、本発明のさらに他の実施例による復号化装置の構成を示すブロック図であり、同図の復号化装置は、ビットアンパッキング部600、ダウンミックスデコーダ610、第1の3Dレンダリング部620、第2の3Dレンダリング部630及びフィルタ情報保存部640を含んでなる。図6に示す復号化装置の動作説明において、図1を参照して説明した復号化装置の動作と重複する説明は省略する。
ビットアンパッキング部600は、入力されるビットストリームから、符号化されたエンコーダ3Dダウンミックス信号及び空間情報を抽出し、ダウンミックスデコーダ610は、当該符号化されたエンコーダ3Dダウンミックス信号を復号化する。
第1の3Dレンダリング部620は、符号化装置で3Dレンダリングに使用されたフィルタの逆変換フィルタを用いて、前記復号化されたエンコーダ3Dダウンミックス信号から3D効果を除去する。第2の3Dレンダリング部630は、復号化装置が持つフィルタを用いて、該3D効果の除去された信号に3Dレンダリングを行い、3D効果を有するコンバインド3Dダウンミックス信号を生成する。
第2の3Dレンダリング部630は、符号化装置で3Dレンダリングに使用されたフィルタと異なる特性を有するフィルタ、例えば、符号化装置で使用されたHRTFと異なる係数を有するHRTFを用いて、3Dレンダリングを行うことが好ましい。
フィルタ情報保存部640は、3Dレンダリングに用いられるフィルタに関する情報、例えば、HRTF係数情報を保存しており、第2の3Dレンダリング部630は、フィルタ情報保存部640に保存されたフィルタ情報を用いてコンバインド3Dダウンミックス信号を生成できる。
フィルタ情報保存部640は、複数のフィルタに関する情報を保存することができ、この場合、使用者の選択、装置の能力または要求される音質などによって、保存された複数のフィルタに関する情報の中からいずれか一つのフィルタ情報が選択されることができる。
人種などによって耳の構造が異なることができるので、個々人に最適化したHRTF係数は異なってくる。したがって、図6に示すような構造を有する復号化装置は、使用者が最適化した3Dダウンミックス信号を再生できるようにし、3Dダウンミックス信号の供給者が使用するHRTFによらず、使用者の希望するHRTFフィルタによる3D効果を有する3Dダウンミックス信号を再生可能である。
図7は、3Dレンダリングを行う3Dレンダリング部の一実施例を示す構成ブロック図であり、同図に示すように、特定ドメインで3Dレンダリングを行うためにドメイン変換部700,720が3Dレンダリング部710の前段または後段に含まれることが好ましい。
図7を参照すると、ダウンミックス信号は、第1のドメイン変換部700により周波数ドメイン上の信号に変換される。第1のドメイン変換部700は、ダウンミックス信号に離散フーリエ変換(Discrete Fourier Transform:DFT)を行ってDFTドメインに変換したり、ファーストフーリエ変換(Fast Fourier Transform:FFT)を行ってFFTドメインに変換することができる。
3Dレンダリング部710は、周波数ドメイン上で前記ダウンミックス信号に空間情報を適用してマルチチャンネル信号を生成し、この生成されたマルチチャンネル信号をフィルタリングして3Dダウンミックス信号を生成する。
この生成された3Dダウンミックス信号は、第2のドメイン変換部720により時間ドメイン信号に変換される。第2のドメイン変換部720は、前記3Dダウンミックス信号に逆離散フーリエ変換(Inverse Discrete Fourier Transform:IDFT)または逆ファーストフーリエ変換(Inverse Fast Fourier Transform:IFFT)を行うことができる。
上記のように周波数ドメイン上で生成された3Dダウンミックス信号を時間ドメイン上の信号に変換するときに、エイリアシング(aliasing)のようなデータの損失または歪曲が生じることがある。
マルチチャンネル信号及び3Dダウンミックス信号の生成作業が周波数ドメイン上で行われるべく、パラメータバンド別に表現される空間情報は周波数ドメイン上にマッピングされ、フィルタ係数は周波数ドメイン上に変換される。
3Dレンダリング部710は、周波数ドメイン上でダウンミックス信号、空間情報及びフィルタ係数をかけ、3Dダウンミックス信号を生成できる。
M−ポイント(M−point)を有する周波数ドメイン上で表現されるダウンミックス信号、空間情報及びフィルタ係数をかけた後に時間ドメイン上の信号に変換すると、この変換された信号は、M個の有効信号を有するようになる。このようにダウンミックス信号、空間情報及びフィルタ係数をM−ポイントを有する周波数ドメイン上で表現すべく、M−ポイントDFTまたはM−ポイントFFTを使用することができる。
有効信号は、複数の信号のうち、常に‘0’の値を有する信号以外の信号の個数を意味するもので、例えば、オーディオ信号をx個の信号にサンプリングをし、x個の有効信号を生成することができる。また、これらx個の有効信号のうち、y個の有効信号をゼロパッディング(zero−padding)すると、有効信号の個数が(x−y)個に減少し、a個の有効信号を有する信号とb個の有効信号を有する信号を畳み込み(convolution)すれば、(a+b−1)個の有効信号を有する信号が生成される。
このダウンミックス信号、空間情報及びフィルタ係数を周波数ドメイン上でかける過程は、時間ドメイン上で畳み込み(convolution)をする効果を奏する。前記M−ポイントを有する周波数ドメイン上で表現されるダウンミックス信号、空間情報及びフィルタ係数を、時間ドメイン上に変換したのち畳み込みをして信号を生成すると、この信号は(3*M−2)個の有効信号を有することになる。
したがって、ダウンミックス信号、空間情報及びフィルタ係数を周波数ドメイン上でかけたのち時間ドメイン上に変換して得られる信号の有効信号個数と、時間ドメイン上でダウンミックス信号、空間情報及びフィルタ係数を畳み込みして得られる信号の有効信号個数とが異なることができ、これにより、周波数ドメイン上で生成された3Dダウンミックス信号を時間ドメイン上の信号に変換するときに、エイリアシングが起きるわけである。
エイリアシングを防止するためには、時間ドメイン上でダウンミックス信号の有効信号個数、周波数ドメイン上にマッピングされた空間情報の有効信号個数及びフィルタの係数の個数の和が、上記Mより大きくならなければならない。周波数ドメイン上にマッピングされた空間情報の有効信号個数は、周波数ドメインのポイントにより決定される。すなわち、パラメータバンド別に表現される空間情報がN−ポイントを有する周波数ドメイン上にマッピングされる場合、このマッピングされた空間情報の有効信号個数はNとなる。
図7に示すように、第1のドメイン変換部700は、第1のゼロパッディング部701及び第1の周波数ドメイン変換部702を含み、3Dレンダリング部710は、マッピング部711、時間ドメイン変換部712、第2のゼロパッディング部713、第2の周波数ドメイン変換部714、マルチチャンネル信号生成部715、第3のゼロパッディング部716、第3の周波数ドメイン変換部717及び3Dダウンミックス信号生成部718を含むことができる。
第1のゼロパッディング部701は、時間ドメイン上でX個サンプルを有するダウンミックス信号にゼロパッディングを行い、サンプルの個数をM個まで増加させ、第1の周波数ドメイン変換部702は、当該ゼロパッディングされたダウンミックス信号を、M−ポイントを有する周波数ドメイン上の信号に変換する。前記ゼロパッディングされたダウンミックス信号のサンプル個数はMであるが、そのうち、有効信号の個数はXである。
マッピング部711は、パラメータバンド別に表現された空間情報をN−ポイントを有する周波数ドメイン上にマッピングさせ、時間ドメイン変換部712は、前記周波数ドメイン上にマッピングされた空間情報を、時間ドメイン上に変換する。この時間ドメイン上に変換された空間情報のサンプル個数はNである。
第2のゼロパッディング部713は、時間ドメイン上でN個サンプルを有する前記空間情報にゼロパッディングを行い、サンプルの個数をM個まで増加させ、第2の周波数ドメイン変換部714は、前記ゼロパッディングされた空間情報をM−ポインドを有する周波数ドメイン上の信号に変換する。前記ゼロパッディングされた空間情報のサンプル個数はMであるが、そのうち、有効信号の個数はNである。
マルチチャンネル信号生成部715は、M−ポイントを有する周波数ドメイン上で表現された前記ダウンミックス信号と空間情報とをかけてマルチチャンネル信号を生成する。このような周波数ドメイン上の積により生成されたマルチチャンネル信号の有効信号の個数はMであり、このような有効信号を有するダウンミックス信号と空間情報との時間ドメイン上での畳み込みにより生成されるマルチチャンネル信号の有効信号個数は(X+N−1)となる。
第3のゼロパッディング部716は、時間ドメイン上で表現されるY個のフィルタ係数にゼロパッディングを行い、サンプルの個数をM個まで増加させ、第3の周波数ドメイン変換部717は、前記ゼロパッディングされたフィルタ係数を、M−ポイントを有する周波数ドメイン上の信号に変換する。前記ゼロパッディングされたフィルタ係数のサンプル個数はMであるが、そのうち、有効信号の個数はYである。
3Dダウンミックス信号生成部718は、前記生成されたマルチチャンネル信号と前記M−ポインドを有する周波数ドメイン上に変換されたフィルタ係数とをかけ、3Dダウンミックス信号を生成する。このような周波数ドメイン上の積により生成された3Dダウンミックス信号の有効信号の個数はMであり、このような有効信号を有するマルチチャンネル信号とフィルタ係数の時間ドメイン上における畳み込みにより生成される3Dダウンミックス信号の有効信号個数は、(X+N+Y−2)となる。
第1、2、3の周波数ドメイン変換部712で変換される周波数ドメインのポイントMが、上記(X+N+Y−2)以上になるようにすることによって、エイリアシングを防止できる。すなわち、第1、2、3の周波数ドメイン変換部712が(X+N+Y−2)以上であるM−ポイントDFTまたはM−ポイントFFTを用いてドメイン変換を行うようにすることによって、エイリアシングを防止できる。
周波数ドメインへの変換にはDFT、FFTだけでなく、QMF(Quadrature Mirror Filter)以外のフィルタバンクも用いられることができ、上記3Dダウンミックス信号生成にHRTFフィルタが用いられることができる。
上記空間情報の有効信号個数を調整する方法には、上記した方法の他の調整方法も使用可能であり、これら調整方法のうち、効率的で且つ演算量の少ない方法を選択して使用すると良い。
エイリアシングは、周波数ドメインと時間ドメイン間の変換過程の他、QMF/ハイブリッドドメインへの変換過程でも発生でき、上記のようなエイリアシング防止方法は、QMF/ハイブリッドドメインへの変換過程で発生するエイリアシングにも適用可能である。
また、マルチチャンネル信号の生成または3Dダウンミックス信号の生成に用いられる空間情報が変化することによって、この空間情報の変化区間で信号の不連続(discontinuity)が発生し、このような不連続は、出力信号(output signal)にノイズの形態で現れる。
このようなノイズは、変化区間で空間情報が急に変化しないようにするスムージング(smoothing)方法を適用することによって減少させることができる。
例えば、隣り合う第1のフレーム(frame)と第2のフレームにそれぞれ適用される第1の空間情報と第2の空間情報が異なることから、フレーム間の不連続が発生することがある。
この場合、第1の空間情報を第2の空間情報を用いて補正したり、第2の空間情報を第1の空間情報を用いて補正し、前記第1及び第2の空間情報間の差を減らすことによって、不連続により発生するノイズを減少させることができる。具体的には、第1及び第2の空間情報のうち少なくとも一つを、第1及び第2の空間情報の平均に取り換えてノイズを減少させることができる。
また、空間情報が対応するパラメータバンド(parameter band)のうち、隣接する2つのバンド間の不連続によってもノイズが発生する。すなわち、隣り合う第1のパラメータバンドと第2のパラメータバンドにそれぞれ対応する第3の空間情報と第4の空間情報が異なることから、パラメータバンド間の不連続が発生する。
この場合、第3の空間情報を第4の空間情報を用いて補正したり、第4の空間情報を第3の空間情報を用いて補正し、第3及び第4の空間情報間の差を縮めることによって不連続により発生するノイズを減少させることができる。具体的には、第3及び第4の空間情報のうち少なくとも一つを、第3及び第4の空間情報の平均に取り換えてノイズを減少させることができる。
隣接するフレーム間またはパラメータバンド間の不連続により発生するノイズは、上記した方法の他、下記のような方法によっても減少させることができる。
ハニングウィンド(Hanning window)のようなウィンドを各フレームにかけ、オーバーラップ・アンド・アッド(overlap and add)の形態で進行し、フレーム間の急な変化を減らす方法を用いても良く、または、相互に異なる空間情報が適用された出力信号にスムージングを行い、該出力信号のフレーム間に急な変化が起きないように調整する方法を用いても良い。
DFTドメイン上で空間情報、例えば、ICCを用いてチャンネル間の無相関(decorrelation)を調整する一方法について説明すると下記の通りである。
OTTまたはTTTボックスの特定バンドに適用されるICC値がAである場合、このボックスに入力される信号の係数に(A+(1−A*A)^0.5*i)をかけ、無相関を調整することができる。この時、虚数部分は正と負の値から選択されることができる。
上記係数にかけられる値は、信号の特性、例えば、信号のエネルギーレベル、信号の周波数別エネルギー特性またはICC値の適用されるボックスによって適切な加重値(weighting factor)を有することができ、これにより無相関効果を調整することができ、フレーム間のスムージングや補間(interpolation)などを適用できる。
図7を参照して説明したように、周波数ドメイン上で3Dダウンミックス信号を生成するために、HRTFまたは周波数ドメインに変換されたHRIR(Head Related Impulse Response)が用いられることができる。
これと違い、時間ドメイン上でHRIR及びダウンミックス信号を畳み込みすることによって3Dダウンミックス信号を生成でき、周波数ドメイン上で生成された3Dダウンミックス信号に逆ドメイン変換を行わずに周波数ドメイン上に残しておいても良い。
このような時間ドメイン上での畳み込みのために、FIR(Finite Impulse Response)フィルタまたはIIR(Infinite Impulse Response)フィルタが用いられることができる。
上記のように、本発明による符号化装置または復号化装置は、3Dダウンミックス信号を生成すべく、i)周波数ドメイン上でHRTFまたは周波数ドメインに変換されたHRIR(Head Related Impulse Response)を用いる方法、またはii)時間ドメイン上でHRIRを畳み込みする方法を用いることができ、これら両方法を組み合わせて使用することができる。
図8〜図11は、ビットストリーム構造の実施例を示す図である。
図8を参照すると、ビットストリームは、マルチチャンネル信号を生成するための情報を含むマルチチャンネルデコーディング情報フィールド、3Dダウンミックス信号を生成するための情報を含む3Dレンダリング情報フィールド、及びこれらの両情報を使用するためのヘッダ情報を有するヘッダフィールドで構成されることができる。また、状況によって、これら3つのフィールドのうち一部フィールドのみを用いてビットストリームを構成しても良い。
図9を参照すると、復号化に必要な付加情報を示すためのビットストリームは、符号化した信号全体に関するヘッダ情報を有する特定構造(specific configuration)ヘッダフィールドと、それぞれフレーム単位の付加情報を有する複数のフレームデータフィールドで構成されることができる。このフレームデータフィールドは、フレーム単位のヘッダ情報を有するフレームヘッダフィールドと、フレーム単位の空間情報を有するフレームパラメータデータフィールドとを含むことができる。あるいは、フレームデータフィールドは、空間情報を含むフレームパラメータデータフィールドのみで構成されても良い。
フレームパラメータデータフィールドは、フラグとパラメータデータとで構成されるモジュールを複数個含むことができる。このモジュールは、空間情報などのパラメータデータ及びそれから生成された信号の音質向上のためのデータ、例えば、ダウンミックスゲイン、スムージングデータの集合を意味する。
前記フレームヘッダフィールドで指定した情報に関連したモジュールデータを別のフラグ無しで受信する場合、フレームヘッダフィールドで指定した情報をより詳細に分類する場合、またはフレームヘッダフィールドで指定しない情報に対して別のフラグと情報を受信する場合には、前記フラグが省略されても良い。
一方、上記の3Dダウンミックス信号と関連した付加情報、例えば、HRTF係数情報などは、特定構造ヘッダフィールド、フレームヘッダ及びフレームパラメータデータフィールドのうち少なくとも一つに含まれることができる。
図10を参照すると、ビットストリームは、マルチチャンネル信号を生成するための情報を含むマルチチャンネルデコーディング情報フィールド、及び3Dダウンミックス信号を生成するための情報を含む3Dレンダリング情報フィールドで構成されることができる。
このような構成を有するビットストリームを受信した復号化装置は、再生しようとする信号によって、上記2つのフィールドのいずれか一つのフィールドのみを読み込んで復号化に用い、残り一つのフィールドはスキップ(skip)することができる。
すなわち、マルチチャンネル信号を生成しようとする場合、復号化装置は、3Dレンダリング情報フィールドをスキップし、マルチチャンネルデコーディング情報フィールドに含まれた情報のみを読み込むことができる。また、3Dダウンミックス信号を生成しようとする場合には、復号化装置は、マルチチャンネルデコーディング情報フィールドをスキップし、3Dレンダリング情報フィールドに含まれた情報のみを読み込むことができる。
複数のフィールドのうち一部をスキップする方法の実施例について説明すると、下記の通りである。
第一、フィールドの全体ビット数に関するフィールド長情報をビットストリームに含め、このビット数に該当するデータをスキップすることによって、所望のフィールドをスキップすることができる。このフィールド長情報は、該当のフィールドの開始部分に位置することが好ましい。
第二、フィールドの終了部分または開始部分にシンクワード(syncword)を配置し、このシンクワードを用いてフィールドの位置を把握することによって、所望のフィールドをスキップすることができる。
第三、フィールド長があらかじめ定められ固定されている場合には、この固定された長さに該当するデータ分だけスキップすることによって所望のフィールドをスキップすることができる。このフィールドの固定長さ情報は、ビットストリームに含まれたり、復号化装置に保存されていることができる。
第四、上記のような3つのフィールドスキップ方法のうち、2つ以上を組み合わせて用いることによって、複数のフィールドのうち所望のフィールドをスキップすることができる。
上記スキップ情報、例えば、フィールド長情報、シンクワードまたは固定長さ情報は、図9に示す特定構造ヘッダフィールド、フレームヘッダフィールド及びフレームパラメータデータフィールドのうち、少なくともいずれか一つに含まれたり、これら3つのフィールド以外の新しく定義されるフィールドに含まれることができる。
例えば、マルチチャンネル信号を生成しようとする場合、復号化装置は、3Dレンダリング情報フィールドの開始部分に含まれたフィールド長情報、マルチチャンネルデコーディング情報フィールドの開始部分に含まれたシンクワードまたは3Dレンダリング情報フィールドの固定長さ情報を用いて、3Dレンダリング情報フィールドをスキップし、マルチチャンネルデコーディング情報フィールドに含まれた情報のみを読み込むことができる。
例えば、マルチチャンネル信号を生成しようとする場合、復号化装置は、3Dレンダリング情報フィールドの開始部分に含まれたフィールド長情報、マルチチャンネルデコーディング情報フィールドの開始部分に含まれたシンクワードまたは3Dレンダリング情報フィールドの固定長さ情報を用いて、3Dレンダリング情報フィールドをスキップし、マルチチャンネルデコーディング情報フィールドに含まれた情報のみを読み込むことができる。
また、3Dダウンミックス信号を生成しようとする場合、復号化装置は、マルチチャンネルデコーディング情報フィールドの開始部分に含まれたフィールド長情報、3Dレンダリング情報フィールドの開始部分に含まれたシンクワード、またはマルチチャンネルデコーディング情報フィールドの固定長さ情報を用いて、マルチチャンネルデコーディング情報フィールドをスキップし、3Dレンダリング情報フィールドに含まれたデータのみを読み込むことができる。
ビットストリームは、含んでいるデータがマルチチャンネル信号を生成するためのものか、3Dダウンミックス信号生成のためのものかに関する情報を有することができる。
一方、ビットストリームに、CLDのような空間情報は含まれず、3Dダウンミックス信号生成のためのデータ(例えば、HRTFフィルタ係数)のみ含まれる場合、空間情報無しで3Dダウンミックス信号生成のためのデータのみを用いて復号化することによって、マルチチャンネル信号を再生することができる。
例えば、ダウンミックス信号から2チャンネルに関する空間情報であるステレオパラメータを求めた後、このステレオパラメータを再生しようとする複数のチャンネルに関する空間情報に変換し、この変換された空間情報を前記ダウンミックス信号に適用することによってマルチチャンネル信号を生成することができる。
一方、ビットストリームにマルチチャンネル信号生成のためのデータのみ含まれた場合は、別の復号化作業無しでダウンミックス信号を再生したり、復号化装置に含まれた別のHRTFフィルタを用いて前記ダウンミックス信号に3Dプロセシングを行い、3Dダウンミックス信号を再生しても良い。
また、ビットストリームにマルチチャンネル信号生成のためのデータと3Dダウンミックス信号生成のためのデータが両方とも含まれた場合、使用者がこれらの信号から、再生する信号を選択するようにすることができる。
以下では、復号化過程を示すシンタックス(syntax)に挙げて、一部のデータをスキップする方法の実施例について説明する。
まず、フレーム単位にオーディオ信号を復号化する過程を示すシンタックスは、次の通りである。
このシンタックスで、Ottdata()とTttData()は、CLD、ICC、CPCなどの空間情報のように、ダウンミックス信号をマルチチャンネル信号に復元するのに必須なパラメータを示すモジュールである。SmgData()、TempShapeData()、ArbitraryDownmixData()、ResidualData()は、符号化過程における歪曲を補正し、音質を向上させるために必要な情報を示すモジュールである。
例えば、復号化過程で、CLD、ICCまたはCPCのようなパラメータとArbitraryDownmixData()に含まれた情報のみを使用する場合、TttData()とArbitraryDownmixData()間に存在するSmgData()とTempShapeData()は不要になる。したがって、SmgData()モジュールとTempShapeData()モジュールはスキップすることが効率的である。
下記のシンタックス2は、一部モジュールをスキップする方法の第1の実施例を示す。
このシンタックスに示すように、SkipData()モジュールは、スキップしようとするモジュールの前に定義され、このSkipData()モジュールの内部に、スキップしようとするモジュールの全体ビット数(bsSkipBits)を指定する。
すなわち、スキップするSmgData()とTempShapeData()モジュールに用いられる全体ビット数を150ビットとすれば、SmgData()とTempShapeData()モジュールの前にSkipData()モジュールを定義し、bsSkipBitsを150ビットと指定することによって、150ビットに該当するSmgData()とTempShapeData()モジュールをスキップすることができる。
下記のシンタックス3は、一部モジュールをスキップする方法の第2の実施例を示す。
このシンタックスに示すように、シンクワードの使用有無に関する情報を有するbsSkipSyncflagとスキップされるモジュールの終了部分に位置するbsSkipSyncwordを用いて、余分なモジュールをスキップすることができる。
すなわち、bsSkipSyncflagをシンクワードを使用するものと指定すれば、このフラグ以下のモジュールは、シンクワードが現れるまでスキップされる。したがって、このシンタックス3では、bsSkipSyncflagとbsSkipSyncword間のSmgData()及びTempShapeData()モジュールがスキップされることができる。
図11を参照すると、ビットストリームは、マルチチャンネル信号の再生のためのヘッダ情報を有するマルチチャンネルヘッダフィールド、3Dダウンミックス信号の再生のためのヘッダ情報を有する3Dレンダリングヘッダフィールド、及びそれぞれマルチチャンネル信号の再生のためのデータを有する複数のマルチチャンネルデコーディング情報フィールドを含む。
マルチチャンネル信号を再生しようとする場合、復号化装置は、3Dレンダリングヘッダフィールドをスキップし、マルチチャンネルヘッダフィールドに含まれたヘッダ情報とマルチチャンネルデコーディング情報フィールドに含まれたデータを読み込み、マルチチャンネル信号を生成する。
この3Dレンダリングヘッダフィールドをスキップする方法の実施例は、図10を参照して説明したフィールドスキップ方法と同一なので、その説明は省略する。
3Dダウンミックス信号を再生しようとする場合、復号化装置は、マルチチャンネルデコーディング情報フィールドに含まれたデータと3Dレンダリングヘッダフィールドに含まれたヘッダ情報を用いて3Dダウンミックス信号を生成できる。例えば、復号化装置は、マルチチャンネルデコーディング情報フィールドに含まれたダウンミックス信号と3Dレンダリングヘッダフィールドに含まれたHRTF係数情報を用いて3Dダウンミックス信号を生成することができる。
図12は、本発明の一実施例による任意ダウンミックス信号を処理する符号化/復号化装置の構成を示すブロック図であり、任意ダウンミックス信号は、符号化器800に含まれたマルチチャンネルエンコーダ801により生成されたダウンミックス信号でないダウンミックス信号を意味する。図12に示す符号化/復号化装置の動作説明において、図1を参照して説明した符号化/復号化装置の動作と重複する説明は省略する。
図12を参照すると、符号化器800は、マルチチャンネルエンコーダ801、空間情報合成部802及び比較部803を含んでなる。
マルチチャンネルエンコーダ801は、マルチチャンネル信号をステレオまたはモノラルのダウンミックス信号にダウンミックスし、このダウンミックス信号からマルチチャンネル信号を復元するのに必要な空間情報を生成する。
比較部803は、前記生成されたダウンミックス信号と任意ダウンミックス信号とを比較し、任意ダウンミックス信号を補償し、前記ダウンミックス信号に近似する信号に変換するための補償情報を生成する。復号化装置は、前記補償情報を用いて任意ダウンミックス信号を補償した後、この補償された任意ダウンミックス信号を用いてマルチチャンネル信号を生成することによって、原本信号により近似するマルチチャンネル信号を復元することができる。
ここで、補償情報は、マルチチャンネルエンコーダ801で生成されたダウンミックス信号と任意ダウンミックス信号との差分に関する情報を意味することができる。復号化装置は、任意ダウンミックス信号に、前記差分情報(difference information)に相応する信号を加え、任意ダウンミックス信号を補償することができる。
また、差分情報は、ダウンミックス信号と任意ダウンミックス信号間のエネルギーレベル差に関する情報であるダウンミックスゲインでありうる。
このダウンミックスゲインは、周波数バンド別に求められても良く、時間あるいは時間スロット(time slot)別に求められても良く、チャンネル別に求められても良い。これら3つの方法を組み合わせて求めても良い。例えば、一部のダウンミックスゲインは、周波数バンド別に求められ、他の一部のダウンミックスゲインは、時間スロット別に求められても良い。
また、前記ダウンミックスゲインは、パラメータバンド別に求められるか、任意ダウンミックス信号に最適化された周波数帯域別に求められても良い。このパラメータバンドは、パラメータ形態の空間情報が適用される周波数間隔のことをいう。
求められたダウンミックス信号と任意ダウンミックス信号とのエネルギーレベル差は量子化されても良い。求められたエネルギーレベル差を量子化するための量子化レベルの分解能は、CLD(Channel Level Difference)の量子化レベル分解能と等しい、または、異なることができる。また、上記2つのダウンミックス信号間のエネルギーレベル差の量子化レベルは、CLDの量子化レベルの一部または全部を使用したり、CLDの量子化レベルの一部または全部と新しく定義された量子化レベルを組み合わせて使用することができる。
2つのダウンミックス信号間エネルギーレベル差の分解能は、CLDの分解能より平均的に小さいので、求められたエネルギーレベル差を量子化するための量子化レベルの分解能は、CLDの量子化レベル分解能より細密な値を有するようにすることができる。
任意ダウンミックス信号を補償するための補償情報は、マルチチャンネル信号のうち、任意ダウンミックス信号またはダウンミックスゲインを用いて復元されない成分に関するレジデュアル情報を含む拡張情報でありうる。復号化装置は、任意ダウンミックス信号またはダウンミックスゲインを用いて復元されない成分まで拡張情報を用いて復元することによって、原本信号に近いマルチチャンネル信号を復元することができる。
このような拡張情報を生成する方法の実施例について説明すると、下記の通りである。
マルチチャンネルエンコーダ801は、入力されるマルチチャンネル信号のうち、生成されたダウンミックス信号に含まれない成分に関する情報を、第1の拡張情報として生成することができる。復号化装置は、ダウンミックス信号と空間情報を用いてマルチチャンネル信号を生成する段階で第1の拡張情報を適用することによって、原本信号に近いマルチチャンネル信号を復元できる。
マルチチャンネルエンコーダ801は、ダウンミックス信号と空間情報を用いてマルチチャンネル信号を復元し、この復元されたマルチチャンネル信号と原本マルチチャンネル信号間の差を求めることによって、第1の拡張情報を求めることができる。
比較部803は、マルチチャンネルエンコーダ801で生成されたダウンミックス信号のうち、任意ダウンミックス信号にない成分、すなわち、ダウンミックスゲインを用いて補償されない成分に関する情報を、第2の拡張情報として生成できる。復号化装置は、第2の拡張情報を用いて任意ダウンミックス信号をより前記ダウンミックス信号に近く補償することができる。
この拡張情報は、上記した方法の他、様々なレジデュアルコーディング方法を用いて生成されることができる。
ダウンミックスゲインと拡張情報が共に補償情報として用いられることができる。例えば、全体周波数帯域に対してダウンミックスゲインと拡張情報を求めたり、一部周波数帯域に対してはダウンミックスゲインを求め、残りの周波数帯域に対しては拡張情報を求め、補償情報として使用することができる。一実施例として、低周波帯域に対しては拡張情報を補償情報として用い、高周波帯域に対してはダウンミックスゲインを補償情報として用いることができる。
また、低周波帯域の他に、ピーク(peak)またはノッチ(notch)などのように音質に重要な影響を及ぼす部分も、拡張情報を補償情報として用いることが好ましい。
空間情報合成部802は、マルチチャンネルエンコーダ801で生成されたマルチチャンネル信号復元のための基本空間情報、例えば、CLD、CPC、ICC、CTDなどと前記補償情報を空間情報として合成する。すなわち、復号化装置で転送される空間情報は、マルチチャンネル信号復元のための基本空間情報、ダウンミックスゲイン、第1及び第2の拡張情報などを含むことができる。
前記合成された空間情報は、任意ダウンミックス信号と一緒にビットストリームに含まれ、復号化装置に転送される。
前記拡張情報と任意ダウンミックス信号は、AAC、MP3またはBSACなどのエンコーダを用いて符号化されることができる。前記拡張情報及び前記任意ダウンミックス信号は、同じオーディオエンコーダを用いてエンコードされても良いし、異なるオーディオエンコーダを用いてエンコードされても良い。
これら2つのオーディオエンコーダが同一である場合、復号化装置においても1種類のオーディオデコーダのみで復号化作業が可能である。この場合、任意ダウンミックス信号の復号化は常に可能な状態で始まるので、前記拡張情報を復号化できない場合は発生しない。ただし、任意ダウンミックス信号は、復号化されたPCM信号の形態で復号化装置に入力されるので、前記任意ダウンミックス信号に使用されたオーディオコーデックの種類がわからず、よって、拡張情報に使用されたオーディオコーデックの種類もわからない。
したがって、任意ダウンミックス信号と拡張情報の符号化に使用されたオーディオコーデックの種類に関する情報をビットストリームに挿入することが好ましい。
前記オーディオコーデック種類に関する情報は、ビットストリームのうち、特定構造ヘッダフィールドに挿入され、復号化装置は、前記ビットストリームの特定構造ヘッダフィールドから前記情報を抽出し、拡張情報の復号化に用いる。
上記2つのオーディオエンコーダが異なる場合、拡張情報の復号化が不可能な状況が発生することがあり、その場合、拡張情報の終点がわからないため、それ以上の復号化作業進行は不可能になる。
したがって、任意ダウンミックス信号と拡張情報に使用されたオーディオコーデックの種類に関する情報を、ビットストリームのうちの特定構造ヘッダフィールドに挿入し、復号化装置は、前記ビットストリームの特定構造ヘッダフィールドから前記情報を抽出し、拡張情報の復号化に用いる。拡張情報を復号化するためのデコーダが復号化装置に存在しない場合、拡張情報の復号化作業を進行せず、その次の情報を読む過程を行う。
拡張情報に対して用いられるコーデックの種類に関する情報は、ビットストリームのうち、特定構造ヘッダフィールドに含まれた特定シンタックスエレメント(syntax element)を通じて表現されることができる。例えば、前記コーデック情報は、次のテーブル1に示すようなbsResidualCodecTypeという4ビットのシンタックスエレメントにより表現されることができる。
前記拡張情報は、前記レジデュアル情報と一緒にチャンネル拡張情報を含むことができる。前記チャンネル拡張情報は、空間情報により復号化されるマルチチャンネル信号よりも多い数のチャンネルを有する信号に拡張するための情報を意味し、例えば、5.1チャンネルまたは7.1チャンネル信号を、9.1チャンネル信号に拡張するための情報でありうる。
前記拡張情報は、ビットストリームに含まれて復号化装置に転送されることができ、復号化装置は、前記拡張情報を用いてダウンミックス信号を補償したり、マルチチャンネル信号のチャンネルを拡張させることができる。
また、復号化装置は、ビットストリームに含まれた前記拡張情報を抽出せずに、スキップすることができる。例えば、ビットストリームに含まれた3Dダウンミックス信号を用いてマルチチャンネル信号を生成したり、ビットストリームに含まれたダウンミックス信号を用いて3Dダウンミックス信号を生成しようとする場合、復号化装置は、ビットストリームのうち、前記拡張情報をスキップすることが好ましい。
ビットストリームのうち、前記拡張情報をスキップする方法は、図10を参照して説明したスキップ方法と同一にすれば良い。
ビットストリームのうち、前記拡張情報をスキップする方法は、図10を参照して説明したスキップ方法と同一にすれば良い。
例えば、拡張情報の開始部分に位置する前記拡張情報の全体ビット数に関する情報、前記拡張情報の開始部分または終了部分に位置するシンクワード、前記拡張情報の固定されたビット数に関する情報のうち少なくとも一つを用いて、ビットストリームのうち前記拡張情報部分をスキップすることができる。前記スキップのための情報は、ビットストリームに含まれていることが好ましく、前記固定ビット数情報は、復号化装置に保存されていても良い。
図12を参照すると、復号化器810は、ダウンミックス補償部811、3Dレンダリング部815及びマルチチャンネルデコーダ816を含んでなる。
ダウンミックス補償部811は、空間情報に含まれた補償情報、例えば、ダウンミックスゲインまたは拡張情報を用いて任意ダウンミックス信号を補償する。
3Dレンダリング部815は、前記補償されたダウンミックス信号に3Dレンダリングを行い、デコーダ3Dダウンミックス信号を生成する。また、マルチチャンネルデコーダ816は、前記補償されたダウンミックス信号と前記空間情報に含まれた基本空間情報を用いて3Dマルチチャンネル信号を生成する。
ダウンミックス補償部811が任意ダウンミックス信号を補償する方法の実施例について説明すると、下記の通りである。
前記補償情報がダウンミックスゲインである場合、ダウンミックス補償部811は、任意ダウンミックス信号のエネルギーレベルを前記ダウンミックスゲインを用いて補償し、前記任意ダウンミックス信号をダウンミックス信号に近い信号に変換することができる。
前記補償情報が第2の拡張情報である場合、ダウンミックス補償部811は、前記第2の拡張情報を用いて前記任意ダウンミックス信号にない成分を補償できる。
マルチチャンネルデコーダ816は、ダウンミックス信号にpre−matrix M1、mix−matrix M2及びpost−matrix M3を順次に適用し、マルチチャンネル信号を生成できるが、前記第1の拡張情報は、mix−matrix M2の適用段階で用いられてダウンミックス信号を補償することができる。すなわち、前記第2の拡張情報を用いてpre−matrix M1が適用された任意ダウンミックス信号を補償できる。
上記のようにマルチチャンネル信号生成過程中に拡張情報を適用することによって、複数のチャンネルのうち特定チャンネルに対する補償が可能となる。例えば、拡張情報がmix−matrix M2のセンターチャンネルに適用される場合、ダウンミックス信号の左側及び右側チャンネル信号が前記拡張情報を用いて補償され、拡張情報がmix−matrix M2の左側チャンネルに適用される場合には、ダウンミックス信号の左側チャンネル信号が、前記拡張情報を用いて補償されるようにすることができる。
また、前記補償情報として前記ダウンミックスゲインと拡張情報が共に用いられることができる。例えば、任意ダウンミックス信号の低周波帯域は、前記拡張情報を用いて補償され、高周波帯域は、前記ダウンミックスゲインを用いて補償されるようにすることができる。また、低周波帯域の他に、ピーク、ノッチなどのように音質に重要な影響を及ぼす部分も、前記拡張情報により補償されるようにすることができる。前記拡張情報が適用される領域に関する情報は、符号化装置から転送されるビットストリームに含まれていることが好ましい。また、前記ビットストリームは、含まれたダウンミックス信号が任意ダウンミックス信号か否かに関する情報、及び補償情報を含むか否かに関する情報を含むことができる。
符号化器800のマルチチャンネルエンコーダ801で生成されたダウンミックス信号のクリッピング(clipping)を防止すべく、前記生成されたダウンミックス信号を、特定ゲインゲイン値で除することができる。前記ゲインは、固定(static)値を有するか、可変(dynamic)値を有することができる。
ダウンミックス補償部811は、クリッピング防止のために、弱化した前記ダウンミックス信号を前記ゲイン値を用いて補償し、元来の大きさのダウンミックス信号に復元できる。
また、ダウンミックス補償部811により補償された任意ダウンミックス信号は、直接再生可能であり、補償されなかった任意ダウンミックス信号が3Dレンダリング部815に入力され、デコーダ3Dダウンミックス信号に変換されても良い。
図12を参照すると、ダウンミックス補償部811は、第1のドメイン変換部812、補償処理部813及び第2のドメイン変換部814を含むことができる。
第1のドメイン変換部812は、任意ダウンミックス信号に対してドメイン変換を行い、補償処理部813は、前記変換されたドメイン上で補償情報、例えば、ダウンミックスゲインまたは拡張情報を用いて前記任意ダウンミックス信号を補償する。
前記補償作業は、QMF/ハイブリッドドメイン上で行われることが好ましく、そのため、第1のドメイン変換部812は前記任意ダウンミックス信号に対してQMF/ハイブリッド分析を行うことができる。また、第1のドメイン変換部812は、前記任意ダウンミックス信号を、QMF/ハイブリッドドメイン以外のドメイン、例えば、DFTまたはFFTドメインのような周波数ドメインに変換することができ、前記補償作業は、QMF/ハイブリッドドメイン以外のドメイン、例えば、周波数ドメインまたは時間ドメイン上で行われても良い。
第2のドメイン変換部814は、前記補償された任意ダウンミックス信号にドメイン変換を行う。第2のドメイン変換部814は、第1のドメイン変換部814で行われたドメイン変換の逆変換を行い、前記補償された任意ダウンミックス信号を、ダウンミックス補償部811に入力される前のドメインに逆変換することが好ましい。
例えば、第2のドメイン変換部814は、前記補償された任意ダウンミックス信号にQMF/ハイブリッド合成を行い、前記補償された任意ダウンミックス信号を時間ドメイン上の信号に変換できる。また、第2のドメイン変換部814は、前記補償された任意ダウンミックス信号にIDFTまたはIFFTなどを行うことができる。
図7を参照して説明したように、3Dレンダリング部815は、周波数ドメイン、QMF/ハイブリッドドメインまたは時間ドメイン上において前記補償された任意ダウンミックス信号に3Dレンダリングを行うことができる。そのため、3Dレンダリング部815は、前記補償された任意ダウンミックス信号を、前記3Dレンダリングが行われるドメイン上に変換するためのドメイン変換部、または前記レンダリングの行われた信号にドメイン変換を行うドメイン変換部を含むことができる。
補償処理部811で補償作業が行われるドメインと3Dレンダリング部815で3Dレンダリングが行われるドメインは、互いに同一であっても良いし、異なっていても良い。
図13は、任意ダウンミックス信号の補償と3Dレンダリングを行う装置の構成の一実施例を示すブロック図であり、同図のダウンミックス補償/3Dレンダリング部820は、第1のドメイン変換部821、第2のドメイン変換部822、補償/3Dレンダリング処理部823及び第3のドメイン変換部824を含んでなる。
ダウンミックス補償/3Dレンダリング部820は、前記補償作業と3Dレンダリングを一つのドメイン上で処理し、復号化装置の演算量を減少させることができる。
図13を参照すると、第1のドメイン変換部821は、任意ダウンミックス信号を、前記補償作業と3Dレンダリングが行われる第1のドメイン上に変換する。第2のドメイン変換部822は、空間情報、例えば、マルチチャンネル信号生成に必要な基本空間情報と任意ダウンミックス信号の補償に必要な補償情報を、前記第1のドメイン上で適用可能なように変換する。前記補償情報は、ダウンミックスゲインと拡張情報のうち少なくとも一つを含む。
例えば、第2のドメイン変換部822は、QMF/ハイブリッドドメイン上の複数のパラメータバンドのそれぞれに対応する補償情報を周波数帯域にマッピングさせ、前記補償情報を周波数ドメインで適用可能な形態に変換することができる。
前記第1のドメインは、DFTまたはFFTドメインなどのような周波数ドメイン、QMF/ハイブリッドドメインまたは時間ドメインにすれば良く、その他様々なドメインにしても良い。
前記補償情報を前記第1のドメイン上で適用可能なように変換する過程で、時間遅延(time delay)が発生する。この時間遅延を防止すべく、第2のドメイン変換部822は、前記補償情報のドメインと第1のドメイン間の時間遅延を補正する作業をさらに行うことができる。
補償/3Dレンダリング処理部823は、前記第1のドメイン上で前記変換された空間情報を用いて任意ダウンミックス信号に補償作業を行い、前記補償された任意ダウンミックス信号に3Dレンダリング作業を行う。前記補償作業と3Dレンダリングの遂行順序は変更可能である。
補償/3Dレンダリング処理部823は、前記補償作業と3Dレンダリングを同時に行うことができる。例えば、補償/3Dレンダリング処理部823は、3Dレンダリングに用いられるフィルタ係数と補償情報とが組み合わせられた新しいフィルタ係数を用いて、前記第1のドメイン上で前記任意ダウンミックス信号に3Dレンダリング作業を行うことによって、補償された3Dダウンミックス信号を生成できる。
第3のドメイン変換部824は、前記第1のドメイン上で生成された3Dダウンミックスに周波数ドメイン変換を行う。
図14は、本発明の一実施例による互換型ダウンミックス信号を処理する復号化装置の構成を示すブロック図であり、同図の復号化器900は、第1のマルチチャンネルデコーダ910、ダウンミックス互換処理部920、第2のマルチチャンネルデコーダ930及び3Dレンダリング部940を含んでなる。図14に示す復号化装置の動作説明において、図1を参照して説明した復号化装置の動作と重複する説明は省略する。
互換型ダウンミックス信号は、2つ以上のマルチチャンネルデコーダで復号化可能な形態のダウンミックス信号を意味する。すなわち、互換型ダウンミックス信号は、いずれか一つのマルチチャンネルデコーダに最適化して生成されたダウンミックス信号であるが、交換処理作業を通じて前記マルチチャンネルデコーダ以外の他のマルチチャンネルデコーダに最適化されたダウンミックス信号に変換可能なものを意味することができる。
図14を参照すると、入力される互換型ダウンミックス信号は、第1のマルチチャンネルデコーダ910に最適化して生成されたもので、第2のマルチチャンネルデコーダ930で復号化されるためには、まず、ダウンミックス互換処理部920を通じて第2のマルチチャンネルデコーダ930に最適化した信号に互換処理されることが好ましい。第1のマルチチャンネルデコーダ910は、前記互換型ダウンミックス信号を復号化し、第1のマルチチャンネル信号を生成する。第1のマルチチャンネルデコーダ910は、空間情報無しで前記互換型ダウンミックス信号のみを用いてマルチチャンネル信号を復号化できる。
第2のマルチチャンネルデコーダ930は、前記互換処理されたダウンミックス信号と空間情報を用いて第2のマルチチャンネル信号を生成する。3Dレンダリング部940は、前記互換処理されたダウンミックス信号に3Dレンダリングを行い、デコーダ3Dダウンミックス信号を生成することができる。
互換型ダウンミックス信号は、インバージョンマトリクス(inversion matrix)のような互換情報を用いて、他のマルチチャンネルデコーダに最適化したダウンミックス信号に互換処理されることができる。例えば、第1のマルチチャンネルエンコーダ/デコーダ及びこれと異なる方式の第2のマルチチャンネルエンコーダ/デコーダが存在する時、符号化装置は、前記第1のマルチチャンネルエンコーダにより生成されたダウンミックス信号にマトリクスを適用し、前記第2のマルチチャンネルデコーダに最適化した互換型ダウンミックス信号を生成することができる。また、復号化装置は、前記互換型ダウンミックス信号にインバージョンマトリクスを適用し、前記第1のマルチチャンネルデコーダに最適化したダウンミックス信号を生成することができる。
図14を参照すると、ダウンミックス互換処理部920は、インバージョンマトリクスを用いて、互換型ダウンミックス信号に互換処理を行うことによって、第2のマルチチャンネルデコーダ930に最適化したダウンミックス信号を生成できる。
前記インバージョンマトリクスに関する情報は、復号化装置があらかじめ保存していても良く、入力されるビットストリームに含まれて符号化装置から転送されても良い。また、入力されるビットストリームに含まれるダウンミックス信号が任意ダウンミックス信号か互換型ダウンミックス信号かに関する情報が、入力されるビットストリームに含まれることが好ましい。
図14を参照すると、ダウンミックス互換処理部920は、第1のドメイン変換部921、互換処理部922及び第2のドメイン変換部923を含むことができる。
第1のドメイン変換部921は、互換型ダウンミックス信号にドメイン変換を行い、互換処理部813は、前記変換されたドメイン上で互換情報、例えば、インバージョンマトリクスを用いて、前記互換型ダウンミックス信号を、第2のマルチチャンネルデコーダ930に最適化した信号に変換する。
前記互換処理は、QMF/ハイブリッドドメイン上で行われることが好ましく、そのため、第1のドメイン変換部921は、前記互換型ダウンミックス信号にQMF/ハイブリッド分析を行うことができる。また、第1のドメイン変換部921は、前記互換型ダウンミックス信号をQMF/ハイブリッドドメイン以外のドメイン、例えば、DFTまたはFFTドメインのような周波数ドメインに変換することができ、前記互換処理は、QMF/ハイブリッドドメイン以外のドメイン、例えば、周波数ドメインまたは時間ドメイン上で行われることができる。
第2のドメイン変換部923は、前記互換処理された互換型ダウンミックス信号にドメイン変換を行う。第2のドメイン変換部923は、第1のドメイン変換部921で行われたドメイン変換の逆変換を行い、前記互換処理された互換型ダウンミックス信号を、ダウンミックス互換処理部920に入力される前のドメインに逆変換することが好ましい。
例えば、第2のドメイン変換部923は、前記互換処理された互換型ダウンミックス信号にQMF/ハイブリッド合成を行い、前記互換処理された互換型ダウンミックス信号を時間ドメイン上の信号に変換できる。また、第2のドメイン変換部923は、前記互換処理された互換型ダウンミックス信号にIDFTまたはIFFTなどを行っても良い。
3Dレンダリング部940は、周波数ドメイン、QMF/ハイブリッドドメインまたは時間ドメイン上で、前記互換処理された互換型ダウンミックス信号に3Dレンダリングを行うことができる、そのため、3Dレンダリング部940は、前記ダウンミックス信号を前記3Dレンダリングの行われるドメイン上に変換するためのドメイン変換部、または前記レンダリングが行われた信号に対してドメイン変換を行うドメイン変換部を含むことができる。
互換処理部922で互換処理が行われるドメインと3Dレンダリング部940で3Dレンダリングが行われるドメインは、互いに同一である、または、異なる。
図15は、互換型ダウンミックス信号の互換処理と3Dレンダリングを行う装置の一実施例を示す構成ブロック図であり、同図のダウンミックス互換/3Dレンダリング部950は、第1のドメイン変換部951、第2のドメイン変換部952、互換/3Dレンダリング処理部953及び第3のドメイン変換部954を含んでなる。
ダウンミックス互換/3Dレンダリング部950は、前記互換処理と3Dレンダリングを一つのドメイン上で処理し、復号化装置の演算量を減少させることができる。
図15を参照すると、第1のドメイン変換部951は、互換型ダウンミックス信号を、前記互換処理と3Dレンダリングが行われる第1のドメイン上に変換する。第2のドメイン変換部952は、空間情報と互換情報、例えばインバージョンマトリクスを、前記第1のドメイン上で適用可能なように変換する。
例えば、第2のドメイン変換部952は、QMF/ハイブリッドドメイン上の複数のパラメータバンドのそれぞれに対応するインバージョンマトリクスを周波数帯域にマッピングさせ、前記インバージョンマトリクスを周波数ドメインで適用可能な形態に変換できる。
前記第1のドメインは、DFTまたはFFTドメインなどのような周波数ドメイン、QMF/ハイブリッドドメインまたは時間ドメインにすれば良く、その他様々なドメインにしても良い。
前記空間情報及び互換情報を前記第1のドメイン上で適用可能なように変換する過程で、時間遅延が発生することができる。この時間遅延を防止すべく、第2のドメイン変換部952は、前記空間情報及び互換情報のドメインと第1のドメイン間の時間遅延を補正する作業をさらに行うことができる。
互換/3Dレンダリング処理部953は、前記第1のドメイン上で前記変換された互換情報を用いて互換型ダウンミックス信号に互換処理を行い、前記互換処理された互換型ダウンミックス信号に3Dレンダリング作業を行う。前記互換処理と3Dレンダリングの遂行順序は変更可能である。
互換/3Dレンダリング処理部953は、前記互換処理と3Dレンダリングを同時に行うことができる。例えば、互換/3Dレンダリング処理部953は、3Dレンダリングに用いられるフィルタ係数と互換情報とが組み合わせられた新しいフィルタ係数を用いて、前記第1のドメイン上で前記互換型ダウンミックス信号に3Dレンダリング作業を行うことによって、3Dダウンミックス信号を生成できる。
第3のドメイン変換部954は、前記第1のドメイン上で生成された3Dダウンミックスに周波数ドメイン変換を行う。
図16は、クロストーク(crosstalk)を除去するための復号化装置の一実施例を示す構成ブロック図であり、同図の復号化装置は、ビットアンパッキング部960、ダウンミックスデコーダ970、3Dレンダリング部980及びクロストーク除去部990を含んでなる。図16に示す復号化装置の動作説明において、図1を参照して説明した復号化装置の動作と重複する説明は省略する。
3Dレンダリング部980から出力される3Dダウンミックス信号は、ヘッドホンなどを用いて再生されることができる。しかし、前記3Dダウンミックス信号が、使用者から遠く離れたスピーカーを通じて再生される場合には、チャンネル間クロストークが発生することができる。
したがって、図16に示すように、本発明による復号化装置は、前記3Dダウンミックス信号にクロストーク除去を行うクロストーク除去部990を含むことが好ましい。
また、本発明による復号化装置では、音場処理(sound field processing)が行われることができる。
前記音場処理に用いられる音場情報、すなわち、信号が再生される空間がどんな空間なのかに関する情報は、符号化装置から転送されるビットストリームに含まれたり、復号化装置で指定されることができる。
入力されるビットストリームは、残響時間(reverberation time)に関する情報を含むことができ、音場処理に用いられるフィルタは、前記残響時間情報によって調整されることができる。
前記音場処理は、初期部(Early Part)と後期残響(Late Reverberation)に分けてそれぞれ処理されることができる。例えば、初期部は、FIRフィルタを用いて処理され、後期残響は、IIRフィルタを用いて処理されることができる。
前記初期部に対して音場処理を行う方法の実施例には、時間ドメイン上でFIRフィルタを用いて畳み込み(convolution)を行う方法、または、周波数ドメイン上での積を行った後、時間ドメインに変換する方法などがある。前記後期残響は、時間ドメイン上で音場処理されることが好ましい。
本発明はまた、コンピュータにより読み取り可能な記録媒体に、コンピュータにより読み取り可能なコードとして具現することが可能である。コンピュータにより読み取り可能な記録媒体は、コンピュータシステムにより読み取り可能なデータが保存される全種類の記録装置を含む。コンピュータにより読み取り可能な記録媒体の例には、ROM、RAM、CD−ROM、磁気テープ、フロッピー(登録商標)ディスク、光データ保存装置などを含め、キャリアウェーブ(例えば、インターネットを介した転送)の形態に具現されるものも含む。
本発明に係る符号化/復号化装置及び方法によれば、マルチチャンネル信号を、3D効果を有する信号に效率的に符号化でき、再生環境に応じて適応的に最上の音質を有するオーディオ信号を復元し再生することが可能になる。
以上説明してきた本発明の具体的な実施例は、いずれも例示のために開示されたもので、当業者なら、添付した特許請求の範囲上に開示された本発明の技術的思想とその技術的範囲内で、様々な実施例に改良、変更、代替または付加などが可能である。例えば、本発明によるグルーピング、データコーディング及びエントロピーコーディングを適用した様々な応用分野及び製品に適用することが可能である。また、本発明による少なくとも一特徴を適用したデータを保存する媒体(medium)を提供することが可能である。
Claims (22)
- 入力されるビットストリームから信号を復号化する方法において、
前記ビットストリームから、任意ダウンミックス信号と前記任意ダウンミックス信号を補償するための補償情報を抽出する段階と、
前記補償情報を用いて前記任意ダウンミックス信号を補償する段階と、
前記補償された任意ダウンミックス信号に3Dレンダリングを行い、3Dダウンミックス信号を生成する段階と、
を有することを特徴とする復号化方法。 - 前記補償情報は、符号化装置で生成されるダウンミックス信号と前記抽出された任意ダウンミックス信号との差に関する情報である、請求項1に記載の復号化方法。
- 前記補償段階は、前記任意ダウンミックス信号に、前記補償情報に相応する信号を加える、請求項2に記載の復号化方法。
- 前記補償情報は、符号化装置で生成されるダウンミックス信号と前記抽出された任意ダウンミックス信号とのエネルギーレベルの比に対するダウンミックスゲイン情報を含む、請求項1に記載の復号化方法。
- 前記補償情報は、マルチチャンネル信号のうち前記抽出された任意ダウンミックス信号に含まれない成分に関する拡張情報を含む、請求項1に記載の復号化方法。
- 前記補償段階は、前記任意ダウンミックス信号の低周波帯域は前記拡張情報を用いて補償し、高周波帯域は前記ダウンミックスゲインを用いて補償する、請求項4又は5に記載の復号化方法。
- 前記拡張情報は、前記マルチチャンネル信号の低周波帯域、ピーク成分及びノッチ成分のうち少なくとも一つに関する情報を含む、請求項5に記載の復号化方法。
- 前記補償情報は、複数のチャンネルに関する空間情報と異なる解像度で量子化される、請求項1に記載の復号化方法。
- 前記3Dレンダリングは、HRTFを用いる、請求項1に記載の復号化方法。
- 前記補償段階は、
前記任意ダウンミックス信号を第1のドメインから第2のドメインへ変換する段階と、
前記第2のドメイン上で、前記補償情報を用いて前記任意ダウンミックス信号を補償する段階と、
前記補償された信号を、前記第2のドメインから前記第1のドメインへ変換する段階と、を有する、請求項1に記載の復号化方法。 - 前記3Dダウンミックス信号生成段階は、
前記補償された任意ダウンミックス信号を、第3のドメインから第4のドメインへ変換する段階と、
前記第4のドメイン上で、前記補償された任意ダウンミックス信号に3Dレンダリングを行う段階と、
前記3Dレンダリングの行われた信号を、前記第4のドメインから前記第3のドメインへ変換する段階と、を有する請求項1に記載の復号化方法。 - 前記補償情報を前記第4のドメインで利用可能なように変換する段階をさらに有し
前記補償段階は、前記第4のドメインで、前記変換された補償情報を用いて前記任意ダウンミックス信号を補償する、請求項11に記載の復号化方法。 - 前記補償情報の変換過程中に発生する時間遅延を補正する段階をさらに有する、請求項12に記載の復号化方法。
- 前記第4のドメインは、DFTドメイン、FFTドメイン、QMF/ハイブリッドドメイン及び時間ドメインのうちいずれか一つである、請求項11乃至13のいずれか1項に記載の復号化方法。
- 前記ビットストリームは、含むダウンミックス信号が任意ダウンミックス信号か否かに関する情報を含む、請求項1に記載の復号化方法。
- 入力されるビットストリームから信号を復号化する方法において、
前記ビットストリームから、任意ダウンミックス信号と前記任意ダウンミックス信号を補償するための補償情報を抽出する段階と、
3Dレンダリングに用いられるフィルタ情報に、前記抽出された補償情報を合成する段階と、
前記合成されたフィルタ情報を用いて前記任意ダウンミックス信号に3Dレンダリングを行い、3Dダウンミックス信号を生成する段階と、
を有することを特徴とする復号化方法。 - 前記合成段階は、
前記抽出された補償情報を第2のドメインで利用可能なように変換する段階と、
前記第2のドメイン上で、前記フィルタ情報に前記変換された補償情報を合成する段階と、を有する請求項16に記載の復号化方法。 - 前記3Dダウンミックス信号生成段階は、
前記任意ダウンミックス信号を第1のドメインから前記第2のドメインへ変換する段階と、
前記第2のドメイン上で、前記合成されたフィルタ情報を用いて前記任意ダウンミックス信号に3Dレンダリングを行う段階と、
前記3Dレンダリングの行われた任意ダウンミックスを、前記第2のドメインから前記第1のドメインへ変換する段階と、を有する請求項17に記載の復号化方法。 - 入力されるビットストリームから信号を復号化する装置において、
前記ビットストリームから、任意ダウンミックス信号と前記任意ダウンミックス信号を補償するための補償情報を抽出するビットアンパッキング部と、
前記補償情報を用いて前記任意ダウンミックス信号を補償するダウンミックス補償部と、
前記補償されたダウンミックス信号に3Dレンダリングを行い、3Dダウンミックス信号を生成する3Dレンダリング部と、
を有することを特徴とする復号化装置。 - 前記補償情報は、符号化装置で生成されるダウンミックス信号と前記抽出された任意ダウンミックス信号とのエネルギーレベルの比に関するダウンミックスゲイン情報、及びマルチチャンネル信号のうち、前記抽出された任意ダウンミックス信号に含まれていない成分に関する拡張情報のうち少なくとも一つを含む、請求項19に記載の復号化装置。
- 前記任意ダウンミックス信号を、第1のドメインから第2のドメインへ変換する第1のドメイン変換部と、
前記補償情報を前記第2のドメインで利用可能なように変換する第2のドメイン変換部と、を有し、
前記ダウンミックス補償部は、前記第2のドメイン上で前記変換された補償情報を用いて前記任意ダウンミックス信号を補償し、前記3Dレンダリング部は、前記第2のドメイン上で3Dレンダリングを行う、請求項19に記載の復号化装置。 - 請求項1〜18の何れか一項に記載された方法をコンピュータで実行させるためのプログラムを記録した、コンピュータで読み取り可能な記録媒体。
Applications Claiming Priority (9)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US76574706P | 2006-02-07 | 2006-02-07 | |
US77147106P | 2006-02-09 | 2006-02-09 | |
US77333706P | 2006-02-15 | 2006-02-15 | |
US77577506P | 2006-02-23 | 2006-02-23 | |
US78175006P | 2006-03-14 | 2006-03-14 | |
US78251906P | 2006-03-16 | 2006-03-16 | |
US79232906P | 2006-04-17 | 2006-04-17 | |
US79365306P | 2006-04-21 | 2006-04-21 | |
PCT/KR2007/000676 WO2007091849A1 (en) | 2006-02-07 | 2007-02-07 | Apparatus and method for encoding/decoding signal |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009526263A true JP2009526263A (ja) | 2009-07-16 |
JP2009526263A5 JP2009526263A5 (ja) | 2010-04-15 |
Family
ID=38345393
Family Applications (7)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008554141A Pending JP2009526264A (ja) | 2006-02-07 | 2007-02-07 | 符号化/復号化装置及び方法 |
JP2008554137A Active JP5054035B2 (ja) | 2006-02-07 | 2007-02-07 | 符号化/復号化装置及び方法 |
JP2008554138A Active JP5199129B2 (ja) | 2006-02-07 | 2007-02-07 | 符号化/復号化装置及び方法 |
JP2008554139A Active JP5173840B2 (ja) | 2006-02-07 | 2007-02-07 | 符号化/復号化装置及び方法 |
JP2008554134A Active JP5173839B2 (ja) | 2006-02-07 | 2007-02-07 | 符号化/復号化装置及び方法 |
JP2008554140A Pending JP2009526263A (ja) | 2006-02-07 | 2007-02-07 | 符号化/復号化装置及び方法 |
JP2008554136A Active JP5054034B2 (ja) | 2006-02-07 | 2007-02-07 | 符号化/復号化装置及び方法 |
Family Applications Before (5)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008554141A Pending JP2009526264A (ja) | 2006-02-07 | 2007-02-07 | 符号化/復号化装置及び方法 |
JP2008554137A Active JP5054035B2 (ja) | 2006-02-07 | 2007-02-07 | 符号化/復号化装置及び方法 |
JP2008554138A Active JP5199129B2 (ja) | 2006-02-07 | 2007-02-07 | 符号化/復号化装置及び方法 |
JP2008554139A Active JP5173840B2 (ja) | 2006-02-07 | 2007-02-07 | 符号化/復号化装置及び方法 |
JP2008554134A Active JP5173839B2 (ja) | 2006-02-07 | 2007-02-07 | 符号化/復号化装置及び方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008554136A Active JP5054034B2 (ja) | 2006-02-07 | 2007-02-07 | 符号化/復号化装置及び方法 |
Country Status (11)
Country | Link |
---|---|
US (8) | US8285556B2 (ja) |
EP (7) | EP1982327A4 (ja) |
JP (7) | JP2009526264A (ja) |
KR (19) | KR20080093024A (ja) |
CN (1) | CN104681030B (ja) |
AU (1) | AU2007212845B2 (ja) |
BR (1) | BRPI0707498A2 (ja) |
CA (1) | CA2637722C (ja) |
HK (1) | HK1128810A1 (ja) |
TW (4) | TWI329464B (ja) |
WO (7) | WO2007091847A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012507059A (ja) * | 2008-10-29 | 2012-03-22 | ドルビー インターナショナル アーベー | 既存のオーディオゲインメタデータを使用した信号のクリッピングの保護 |
Families Citing this family (71)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1905002B1 (en) | 2005-05-26 | 2013-05-22 | LG Electronics Inc. | Method and apparatus for decoding audio signal |
JP4988716B2 (ja) | 2005-05-26 | 2012-08-01 | エルジー エレクトロニクス インコーポレイティド | オーディオ信号のデコーディング方法及び装置 |
EP1974348B1 (en) | 2006-01-19 | 2013-07-24 | LG Electronics, Inc. | Method and apparatus for processing a media signal |
KR20080093024A (ko) | 2006-02-07 | 2008-10-17 | 엘지전자 주식회사 | 부호화/복호화 장치 및 방법 |
JP5023662B2 (ja) | 2006-11-06 | 2012-09-12 | ソニー株式会社 | 信号処理システム、信号送信装置、信号受信装置およびプログラム |
EP2133872B1 (en) * | 2007-03-30 | 2012-02-29 | Panasonic Corporation | Encoding device and encoding method |
CN101414463B (zh) * | 2007-10-19 | 2011-08-10 | 华为技术有限公司 | 一种混音编码方法、装置和*** |
JP5404412B2 (ja) * | 2007-11-01 | 2014-01-29 | パナソニック株式会社 | 符号化装置、復号装置およびこれらの方法 |
KR101452722B1 (ko) * | 2008-02-19 | 2014-10-23 | 삼성전자주식회사 | 신호 부호화 및 복호화 방법 및 장치 |
JP2009206691A (ja) | 2008-02-27 | 2009-09-10 | Sony Corp | 頭部伝達関数畳み込み方法および頭部伝達関数畳み込み装置 |
WO2009113516A1 (ja) * | 2008-03-14 | 2009-09-17 | 日本電気株式会社 | 信号分析制御システム及びその方法と、信号制御装置及びその方法と、プログラム |
KR101461685B1 (ko) * | 2008-03-31 | 2014-11-19 | 한국전자통신연구원 | 다객체 오디오 신호의 부가정보 비트스트림 생성 방법 및 장치 |
CN102007533B (zh) * | 2008-04-16 | 2012-12-12 | Lg电子株式会社 | 用于处理音频信号的方法和装置 |
EP2144230A1 (en) * | 2008-07-11 | 2010-01-13 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Low bitrate audio encoding/decoding scheme having cascaded switches |
EP2144231A1 (en) * | 2008-07-11 | 2010-01-13 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Low bitrate audio encoding/decoding scheme with common preprocessing |
KR101614160B1 (ko) * | 2008-07-16 | 2016-04-20 | 한국전자통신연구원 | 포스트 다운믹스 신호를 지원하는 다객체 오디오 부호화 장치 및 복호화 장치 |
CN101809656B (zh) * | 2008-07-29 | 2013-03-13 | 松下电器产业株式会社 | 音响编码装置、音响解码装置、音响编码解码装置及会议*** |
KR101600352B1 (ko) * | 2008-10-30 | 2016-03-07 | 삼성전자주식회사 | 멀티 채널 신호의 부호화/복호화 장치 및 방법 |
JP5309944B2 (ja) * | 2008-12-11 | 2013-10-09 | 富士通株式会社 | オーディオ復号装置、方法、及びプログラム |
KR101496760B1 (ko) | 2008-12-29 | 2015-02-27 | 삼성전자주식회사 | 서라운드 사운드 가상화 방법 및 장치 |
WO2010091555A1 (zh) * | 2009-02-13 | 2010-08-19 | 华为技术有限公司 | 一种立体声编码方法和装置 |
MX2011006248A (es) | 2009-04-08 | 2011-07-20 | Fraunhofer Ges Forschung | Aparato, metodo y programa de computacion para mezclar en forma ascendente una señal de audio con mezcla descendente utilizando una suavizacion de valor de fase. |
JP5540581B2 (ja) * | 2009-06-23 | 2014-07-02 | ソニー株式会社 | 音声信号処理装置および音声信号処理方法 |
TWI384459B (zh) * | 2009-07-22 | 2013-02-01 | Mstar Semiconductor Inc | 音框檔頭之自動偵測方法 |
KR101613975B1 (ko) * | 2009-08-18 | 2016-05-02 | 삼성전자주식회사 | 멀티 채널 오디오 신호의 부호화 방법 및 장치, 그 복호화 방법 및 장치 |
WO2011045506A1 (fr) * | 2009-10-12 | 2011-04-21 | France Telecom | Traitement de donnees sonores encodees dans un domaine de sous-bandes |
WO2011083979A2 (en) * | 2010-01-06 | 2011-07-14 | Lg Electronics Inc. | An apparatus for processing an audio signal and method thereof |
JP5533248B2 (ja) | 2010-05-20 | 2014-06-25 | ソニー株式会社 | 音声信号処理装置および音声信号処理方法 |
JP2012004668A (ja) | 2010-06-14 | 2012-01-05 | Sony Corp | 頭部伝達関数生成装置、頭部伝達関数生成方法及び音声信号処理装置 |
JP5680391B2 (ja) * | 2010-12-07 | 2015-03-04 | 日本放送協会 | 音響符号化装置及びプログラム |
KR101227932B1 (ko) * | 2011-01-14 | 2013-01-30 | 전자부품연구원 | 다채널 멀티트랙 오디오 시스템 및 오디오 처리 방법 |
US9942593B2 (en) * | 2011-02-10 | 2018-04-10 | Intel Corporation | Producing decoded audio at graphics engine of host processing platform |
US9826238B2 (en) | 2011-06-30 | 2017-11-21 | Qualcomm Incorporated | Signaling syntax elements for transform coefficients for sub-sets of a leaf-level coding unit |
KR102185941B1 (ko) | 2011-07-01 | 2020-12-03 | 돌비 레버러토리즈 라이쎈싱 코오포레이션 | 적응형 오디오 신호 생성, 코딩 및 렌더링을 위한 시스템 및 방법 |
JP6007474B2 (ja) * | 2011-10-07 | 2016-10-12 | ソニー株式会社 | 音声信号処理装置、音声信号処理方法、プログラムおよび記録媒体 |
CN103220058A (zh) * | 2012-01-20 | 2013-07-24 | 旭扬半导体股份有限公司 | 音频数据与视觉数据同步装置及其方法 |
CN104246873B (zh) | 2012-02-17 | 2017-02-01 | 华为技术有限公司 | 用于编码多声道音频信号的参数编码器 |
JP6174129B2 (ja) | 2012-05-18 | 2017-08-02 | ドルビー ラボラトリーズ ライセンシング コーポレイション | パラメトリックオーディオコーダに関連するリバーシブルダイナミックレンジ制御情報を維持するシステム |
US10844689B1 (en) | 2019-12-19 | 2020-11-24 | Saudi Arabian Oil Company | Downhole ultrasonic actuator system for mitigating lost circulation |
WO2014034555A1 (ja) * | 2012-08-29 | 2014-03-06 | シャープ株式会社 | 音声信号再生装置、方法、プログラム、及び記録媒体 |
WO2014046916A1 (en) * | 2012-09-21 | 2014-03-27 | Dolby Laboratories Licensing Corporation | Layered approach to spatial audio coding |
US9568985B2 (en) * | 2012-11-23 | 2017-02-14 | Mediatek Inc. | Data processing apparatus with adaptive compression algorithm selection based on visibility of compression artifacts for data communication over camera interface and related data processing method |
SG11201504368VA (en) | 2012-12-04 | 2015-07-30 | Samsung Electronics Co Ltd | Audio providing apparatus and audio providing method |
US9860663B2 (en) * | 2013-01-15 | 2018-01-02 | Koninklijke Philips N.V. | Binaural audio processing |
EP2946572B1 (en) | 2013-01-17 | 2018-09-05 | Koninklijke Philips N.V. | Binaural audio processing |
EP2757559A1 (en) | 2013-01-22 | 2014-07-23 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for spatial audio object coding employing hidden objects for signal mixture manipulation |
US9093064B2 (en) | 2013-03-11 | 2015-07-28 | The Nielsen Company (Us), Llc | Down-mixing compensation for audio watermarking |
CN108810793B (zh) | 2013-04-19 | 2020-12-15 | 韩国电子通信研究院 | 多信道音频信号处理装置及方法 |
WO2014171791A1 (ko) | 2013-04-19 | 2014-10-23 | 한국전자통신연구원 | 다채널 오디오 신호 처리 장치 및 방법 |
EP2830336A3 (en) | 2013-07-22 | 2015-03-04 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Renderer controlled spatial upmix |
US9319819B2 (en) | 2013-07-25 | 2016-04-19 | Etri | Binaural rendering method and apparatus for decoding multi channel audio |
US20150127354A1 (en) * | 2013-10-03 | 2015-05-07 | Qualcomm Incorporated | Near field compensation for decomposed representations of a sound field |
WO2015152666A1 (ko) * | 2014-04-02 | 2015-10-08 | 삼성전자 주식회사 | Hoa 신호를 포함하는 오디오 신호를 디코딩하는 방법 및 장치 |
US9560464B2 (en) * | 2014-11-25 | 2017-01-31 | The Trustees Of Princeton University | System and method for producing head-externalized 3D audio through headphones |
CN114554387A (zh) | 2015-02-06 | 2022-05-27 | 杜比实验室特许公司 | 用于自适应音频的混合型基于优先度的渲染***和方法 |
US10380991B2 (en) * | 2015-04-13 | 2019-08-13 | Sony Corporation | Signal processing device, signal processing method, and program for selectable spatial correction of multichannel audio signal |
ES2818562T3 (es) * | 2015-08-25 | 2021-04-13 | Dolby Laboratories Licensing Corp | Descodificador de audio y procedimiento de descodificación |
KR20230105002A (ko) * | 2015-08-25 | 2023-07-11 | 돌비 레버러토리즈 라이쎈싱 코오포레이션 | 프레젠테이션 변환 파라미터들을 사용하는 오디오 인코딩및 디코딩 |
KR20230048461A (ko) | 2015-08-25 | 2023-04-11 | 돌비 레버러토리즈 라이쎈싱 코오포레이션 | 오디오 디코더 및 디코딩 방법 |
EP3346728A4 (en) | 2015-09-03 | 2019-04-24 | Sony Corporation | SOUND PROCESSING DEVICE, METHOD AND PROGRAM |
KR20180075610A (ko) * | 2015-10-27 | 2018-07-04 | 앰비디오 인코포레이티드 | 사운드 스테이지 향상을 위한 장치 및 방법 |
JP6841229B2 (ja) | 2015-12-10 | 2021-03-10 | ソニー株式会社 | 音声処理装置および方法、並びにプログラム |
US10142755B2 (en) * | 2016-02-18 | 2018-11-27 | Google Llc | Signal processing methods and systems for rendering audio on virtual loudspeaker arrays |
CN108206984B (zh) * | 2016-12-16 | 2019-12-17 | 南京青衿信息科技有限公司 | 利用多信道传输三维声信号的编解码器及其编解码方法 |
CN108206983B (zh) * | 2016-12-16 | 2020-02-14 | 南京青衿信息科技有限公司 | 兼容现有音视频***的三维声信号的编码器及其方法 |
GB2563635A (en) | 2017-06-21 | 2018-12-26 | Nokia Technologies Oy | Recording and rendering audio signals |
GB201808897D0 (en) * | 2018-05-31 | 2018-07-18 | Nokia Technologies Oy | Spatial audio parameters |
CN112309419B (zh) * | 2020-10-30 | 2023-05-02 | 浙江蓝鸽科技有限公司 | 多路音频的降噪、输出方法及其*** |
AT523644B1 (de) * | 2020-12-01 | 2021-10-15 | Atmoky Gmbh | Verfahren für die Erzeugung eines Konvertierungsfilters für ein Konvertieren eines multidimensionalen Ausgangs-Audiosignal in ein zweidimensionales Hör-Audiosignal |
CN113844974B (zh) * | 2021-10-13 | 2023-04-14 | 广州广日电梯工业有限公司 | 电梯遥监的安装方法以及电梯遥监的安装装置 |
WO2024059505A1 (en) * | 2022-09-12 | 2024-03-21 | Dolby Laboratories Licensing Corporation | Head-tracked split rendering and head-related transfer function personalization |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10304498A (ja) * | 1997-04-30 | 1998-11-13 | Kawai Musical Instr Mfg Co Ltd | ステレオ拡大装置及び音場拡大装置 |
Family Cites Families (204)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US563005A (en) * | 1896-06-30 | Fireplace-heater | ||
US798796A (en) * | 1905-04-24 | 1905-09-05 | Bartholomew Jacob | Buckle. |
US5166685A (en) | 1990-09-04 | 1992-11-24 | Motorola, Inc. | Automatic selection of external multiplexer channels by an A/D converter integrated circuit |
US5632005A (en) * | 1991-01-08 | 1997-05-20 | Ray Milton Dolby | Encoder/decoder for multidimensional sound fields |
DE4217276C1 (ja) | 1992-05-25 | 1993-04-08 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung Ev, 8000 Muenchen, De | |
DE4236989C2 (de) | 1992-11-02 | 1994-11-17 | Fraunhofer Ges Forschung | Verfahren zur Übertragung und/oder Speicherung digitaler Signale mehrerer Kanäle |
US5561736A (en) * | 1993-06-04 | 1996-10-01 | International Business Machines Corporation | Three dimensional speech synthesis |
DE69428939T2 (de) * | 1993-06-22 | 2002-04-04 | Deutsche Thomson-Brandt Gmbh | Verfahren zur Erhaltung einer Mehrkanaldekodiermatrix |
EP0637191B1 (en) | 1993-07-30 | 2003-10-22 | Victor Company Of Japan, Ltd. | Surround signal processing apparatus |
TW263646B (en) | 1993-08-26 | 1995-11-21 | Nat Science Committee | Synchronizing method for multimedia signal |
US6118875A (en) * | 1994-02-25 | 2000-09-12 | Moeller; Henrik | Binaural synthesis, head-related transfer functions, and uses thereof |
JPH07248255A (ja) | 1994-03-09 | 1995-09-26 | Sharp Corp | 立体音像生成装置及び立体音像生成方法 |
EP0760197B1 (en) | 1994-05-11 | 2009-01-28 | Aureal Semiconductor Inc. | Three-dimensional virtual audio display employing reduced complexity imaging filters |
JP3397001B2 (ja) | 1994-06-13 | 2003-04-14 | ソニー株式会社 | 符号化方法及び装置、復号化装置、並びに記録媒体 |
US5703584A (en) * | 1994-08-22 | 1997-12-30 | Adaptec, Inc. | Analog data acquisition system |
GB9417185D0 (en) | 1994-08-25 | 1994-10-12 | Adaptive Audio Ltd | Sounds recording and reproduction systems |
JP3395807B2 (ja) | 1994-09-07 | 2003-04-14 | 日本電信電話株式会社 | ステレオ音響再生装置 |
US6072877A (en) | 1994-09-09 | 2000-06-06 | Aureal Semiconductor, Inc. | Three-dimensional virtual audio display employing reduced complexity imaging filters |
JPH0884400A (ja) | 1994-09-12 | 1996-03-26 | Sanyo Electric Co Ltd | 音像制御装置 |
JPH08123494A (ja) | 1994-10-28 | 1996-05-17 | Mitsubishi Electric Corp | 音声符号化装置、音声復号化装置、音声符号化復号化方法およびこれらに使用可能な位相振幅特性導出装置 |
JPH08202397A (ja) | 1995-01-30 | 1996-08-09 | Olympus Optical Co Ltd | 音声復号化装置 |
US5668924A (en) * | 1995-01-18 | 1997-09-16 | Olympus Optical Co. Ltd. | Digital sound recording and reproduction device using a coding technique to compress data for reduction of memory requirements |
JPH0974446A (ja) | 1995-03-01 | 1997-03-18 | Nippon Telegr & Teleph Corp <Ntt> | 音声通信制御装置 |
US5632205A (en) * | 1995-06-07 | 1997-05-27 | Acushnet Company | Apparatus for the spatial orientation and manipulation of a game ball |
IT1281001B1 (it) | 1995-10-27 | 1998-02-11 | Cselt Centro Studi Lab Telecom | Procedimento e apparecchiatura per codificare, manipolare e decodificare segnali audio. |
US5956674A (en) | 1995-12-01 | 1999-09-21 | Digital Theater Systems, Inc. | Multi-channel predictive subband audio coder using psychoacoustic adaptive bit allocation in frequency, time and over the multiple channels |
JP3088319B2 (ja) | 1996-02-07 | 2000-09-18 | 松下電器産業株式会社 | デコード装置およびデコード方法 |
JPH09224300A (ja) | 1996-02-16 | 1997-08-26 | Sanyo Electric Co Ltd | 音像位置の補正方法及び装置 |
JP3483086B2 (ja) | 1996-03-22 | 2004-01-06 | 日本電信電話株式会社 | 音声電話会議装置 |
US6252965B1 (en) * | 1996-09-19 | 2001-06-26 | Terry D. Beard | Multichannel spectral mapping audio apparatus and method |
US5886988A (en) * | 1996-10-23 | 1999-03-23 | Arraycomm, Inc. | Channel assignment and call admission control for spatial division multiple access communication systems |
SG54383A1 (en) * | 1996-10-31 | 1998-11-16 | Sgs Thomson Microelectronics A | Method and apparatus for decoding multi-channel audio data |
US6721425B1 (en) | 1997-02-07 | 2004-04-13 | Bose Corporation | Sound signal mixing |
US6711266B1 (en) | 1997-02-07 | 2004-03-23 | Bose Corporation | Surround sound channel encoding and decoding |
TW429700B (en) | 1997-02-26 | 2001-04-11 | Sony Corp | Information encoding method and apparatus, information decoding method and apparatus and information recording medium |
US6449368B1 (en) | 1997-03-14 | 2002-09-10 | Dolby Laboratories Licensing Corporation | Multidirectional audio decoding |
JPH1132400A (ja) | 1997-07-14 | 1999-02-02 | Matsushita Electric Ind Co Ltd | デジタル信号再生装置 |
US6307941B1 (en) * | 1997-07-15 | 2001-10-23 | Desper Products, Inc. | System and method for localization of virtual sound |
US5890125A (en) | 1997-07-16 | 1999-03-30 | Dolby Laboratories Licensing Corporation | Method and apparatus for encoding and decoding multiple audio channels at low bit rates using adaptive selection of encoding method |
JP4627880B2 (ja) * | 1997-09-16 | 2011-02-09 | ドルビー ラボラトリーズ ライセンシング コーポレイション | リスナーの周囲にある音源の空間的ひろがり感を増強するためのステレオヘッドホンデバイス内でのフィルタ効果の利用 |
US7085393B1 (en) * | 1998-11-13 | 2006-08-01 | Agere Systems Inc. | Method and apparatus for regularizing measured HRTF for smooth 3D digital audio |
US6081783A (en) | 1997-11-14 | 2000-06-27 | Cirrus Logic, Inc. | Dual processor digital audio decoder with shared memory data transfer and task partitioning for decompressing compressed audio data, and systems and methods using the same |
US6414290B1 (en) * | 1998-03-19 | 2002-07-02 | Graphic Packaging Corporation | Patterned microwave susceptor |
US6741706B1 (en) * | 1998-03-25 | 2004-05-25 | Lake Technology Limited | Audio signal processing method and apparatus |
US6122619A (en) * | 1998-06-17 | 2000-09-19 | Lsi Logic Corporation | Audio decoder with programmable downmixing of MPEG/AC-3 and method therefor |
JP3781902B2 (ja) * | 1998-07-01 | 2006-06-07 | 株式会社リコー | 音像定位制御装置および音像定位制御方式 |
TW408304B (en) * | 1998-10-08 | 2000-10-11 | Samsung Electronics Co Ltd | DVD audio disk, and DVD audio disk reproducing device and method for reproducing the same |
DE19846576C2 (de) | 1998-10-09 | 2001-03-08 | Aeg Niederspannungstech Gmbh | Plombierbare Verschließeinrichtung |
DE19847689B4 (de) | 1998-10-15 | 2013-07-11 | Samsung Electronics Co., Ltd. | Vorrichtung und Verfahren zur dreidimensionalen Tonwiedergabe |
US6574339B1 (en) * | 1998-10-20 | 2003-06-03 | Samsung Electronics Co., Ltd. | Three-dimensional sound reproducing apparatus for multiple listeners and method thereof |
JP3346556B2 (ja) | 1998-11-16 | 2002-11-18 | 日本ビクター株式会社 | 音声符号化方法及び音声復号方法 |
MY123651A (en) * | 1999-04-07 | 2006-05-31 | Dolby Laboratories Licensing Corp | Matrix improvements to lossless encoding and decoding |
GB2351213B (en) | 1999-05-29 | 2003-08-27 | Central Research Lab Ltd | A method of modifying one or more original head related transfer functions |
KR100416757B1 (ko) | 1999-06-10 | 2004-01-31 | 삼성전자주식회사 | 위치 조절이 가능한 가상 음상을 이용한 스피커 재생용 다채널오디오 재생 장치 및 방법 |
JP2000353968A (ja) | 1999-06-11 | 2000-12-19 | Matsushita Electric Ind Co Ltd | オーディオ復号装置 |
US6442278B1 (en) * | 1999-06-15 | 2002-08-27 | Hearing Enhancement Company, Llc | Voice-to-remaining audio (VRA) interactive center channel downmix |
US6226616B1 (en) | 1999-06-21 | 2001-05-01 | Digital Theater Systems, Inc. | Sound quality of established low bit-rate audio coding systems without loss of decoder compatibility |
KR20010009258A (ko) * | 1999-07-08 | 2001-02-05 | 허진호 | 가상 멀티 채널 레코딩 시스템 |
US6175631B1 (en) * | 1999-07-09 | 2001-01-16 | Stephen A. Davis | Method and apparatus for decorrelating audio signals |
US7031474B1 (en) * | 1999-10-04 | 2006-04-18 | Srs Labs, Inc. | Acoustic correction apparatus |
US6931370B1 (en) | 1999-11-02 | 2005-08-16 | Digital Theater Systems, Inc. | System and method for providing interactive audio in a multi-channel audio environment |
US6633648B1 (en) * | 1999-11-12 | 2003-10-14 | Jerald L. Bauck | Loudspeaker array for enlarged sweet spot |
US6611293B2 (en) | 1999-12-23 | 2003-08-26 | Dfr2000, Inc. | Method and apparatus for synchronization of ancillary information in film conversion |
AUPQ514000A0 (en) * | 2000-01-17 | 2000-02-10 | University Of Sydney, The | The generation of customised three dimensional sound effects for individuals |
JP4281937B2 (ja) | 2000-02-02 | 2009-06-17 | パナソニック株式会社 | ヘッドホンシステム |
US7266501B2 (en) * | 2000-03-02 | 2007-09-04 | Akiba Electronics Institute Llc | Method and apparatus for accommodating primary content audio and secondary content remaining audio capability in the digital audio production process |
US6973130B1 (en) | 2000-04-25 | 2005-12-06 | Wee Susie J | Compressed video signal including information for independently coded regions |
TW468182B (en) | 2000-05-03 | 2001-12-11 | Ind Tech Res Inst | Method and device for adjusting, recording and playing multimedia signals |
JP2001359197A (ja) | 2000-06-13 | 2001-12-26 | Victor Co Of Japan Ltd | 音像定位信号の生成方法、及び音像定位信号生成装置 |
JP3576936B2 (ja) | 2000-07-21 | 2004-10-13 | 株式会社ケンウッド | 周波数補間装置、周波数補間方法及び記録媒体 |
JP4645869B2 (ja) | 2000-08-02 | 2011-03-09 | ソニー株式会社 | ディジタル信号処理方法、学習方法及びそれらの装置並びにプログラム格納媒体 |
EP1211857A1 (fr) | 2000-12-04 | 2002-06-05 | STMicroelectronics N.V. | Procédé et dispositif d'estimation des valeurs successives de symboles numériques, en particulier pour l'égalisation d'un canal de transmission d'informations en téléphonie mobile |
US7085939B2 (en) * | 2000-12-14 | 2006-08-01 | International Business Machines Corporation | Method and apparatus for supplying power to a bus-controlled component of a computer |
WO2004019656A2 (en) | 2001-02-07 | 2004-03-04 | Dolby Laboratories Licensing Corporation | Audio channel spatial translation |
JP3566220B2 (ja) | 2001-03-09 | 2004-09-15 | 三菱電機株式会社 | 音声符号化装置、音声符号化方法、音声復号化装置及び音声復号化方法 |
US6504496B1 (en) | 2001-04-10 | 2003-01-07 | Cirrus Logic, Inc. | Systems and methods for decoding compressed data |
US20030007648A1 (en) * | 2001-04-27 | 2003-01-09 | Christopher Currell | Virtual audio system and techniques |
US7583805B2 (en) | 2004-02-12 | 2009-09-01 | Agere Systems Inc. | Late reverberation-based synthesis of auditory scenes |
US20030035553A1 (en) * | 2001-08-10 | 2003-02-20 | Frank Baumgarte | Backwards-compatible perceptual coding of spatial cues |
US7292901B2 (en) | 2002-06-24 | 2007-11-06 | Agere Systems Inc. | Hybrid multi-channel/cue coding/decoding of audio signals |
US6807528B1 (en) * | 2001-05-08 | 2004-10-19 | Dolby Laboratories Licensing Corporation | Adding data to a compressed data frame |
EP1397937A2 (en) | 2001-06-21 | 2004-03-17 | 1... Limited | Loudspeaker |
JP2003009296A (ja) | 2001-06-22 | 2003-01-10 | Matsushita Electric Ind Co Ltd | 音響処理装置および音響処理方法 |
SE0202159D0 (sv) | 2001-07-10 | 2002-07-09 | Coding Technologies Sweden Ab | Efficientand scalable parametric stereo coding for low bitrate applications |
JP2003111198A (ja) | 2001-10-01 | 2003-04-11 | Sony Corp | 音声信号処理方法および音声再生システム |
MXPA03005133A (es) * | 2001-11-14 | 2004-04-02 | Matsushita Electric Ind Co Ltd | Dispositivo de codificacion, dispositivo de decodificacion y sistema de los mismos. |
EP1315148A1 (en) * | 2001-11-17 | 2003-05-28 | Deutsche Thomson-Brandt Gmbh | Determination of the presence of ancillary data in an audio bitstream |
TWI230024B (en) | 2001-12-18 | 2005-03-21 | Dolby Lab Licensing Corp | Method and audio apparatus for improving spatial perception of multiple sound channels when reproduced by two loudspeakers |
WO2003065353A1 (en) | 2002-01-30 | 2003-08-07 | Matsushita Electric Industrial Co., Ltd. | Audio encoding and decoding device and methods thereof |
EP1341160A1 (en) | 2002-03-01 | 2003-09-03 | Deutsche Thomson-Brandt Gmbh | Method and apparatus for encoding and for decoding a digital information signal |
US7707287B2 (en) * | 2002-03-22 | 2010-04-27 | F5 Networks, Inc. | Virtual host acceleration system |
AU2003209585A1 (en) | 2002-04-05 | 2003-10-20 | Koninklijke Philips Electronics N.V. | Signal processing |
EP1500085B1 (en) | 2002-04-10 | 2013-02-20 | Koninklijke Philips Electronics N.V. | Coding of stereo signals |
BRPI0304540B1 (pt) | 2002-04-22 | 2017-12-12 | Koninklijke Philips N. V | Methods for coding an audio signal, and to decode an coded audio sign, encoder to codify an audio signal, codified audio sign, storage media, and, decoder to decode a coded audio sign |
ATE354161T1 (de) | 2002-04-22 | 2007-03-15 | Koninkl Philips Electronics Nv | Signalsynthese |
JP4187719B2 (ja) * | 2002-05-03 | 2008-11-26 | ハーマン インターナショナル インダストリーズ インコーポレイテッド | マルチチャネル・ダウンミキシング装置 |
JP4296752B2 (ja) * | 2002-05-07 | 2009-07-15 | ソニー株式会社 | 符号化方法及び装置、復号方法及び装置、並びにプログラム |
DE10228999B4 (de) | 2002-06-28 | 2006-12-14 | Advanced Micro Devices, Inc., Sunnyvale | Konstellationsmanipulation zur Frequenz/Phasenfehlerkorrektur |
JP4322207B2 (ja) | 2002-07-12 | 2009-08-26 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | オーディオ符号化方法 |
AU2003281128A1 (en) | 2002-07-16 | 2004-02-02 | Koninklijke Philips Electronics N.V. | Audio coding |
BR0311601A (pt) | 2002-07-19 | 2005-02-22 | Nec Corp | Aparelho e método decodificador de áudio e programa para habilitar computador |
US7502743B2 (en) | 2002-09-04 | 2009-03-10 | Microsoft Corporation | Multi-channel audio encoding and decoding with multi-channel transform selection |
WO2004028204A2 (en) | 2002-09-23 | 2004-04-01 | Koninklijke Philips Electronics N.V. | Generation of a sound signal |
AU2003219428A1 (en) | 2002-10-14 | 2004-05-04 | Koninklijke Philips Electronics N.V. | Signal filtering |
CN1973318B (zh) | 2002-10-14 | 2012-01-25 | 汤姆森许可贸易公司 | 用于对音频信号的表示描述进行编码或解码的方法和设备 |
US7698006B2 (en) | 2002-10-15 | 2010-04-13 | Electronics And Telecommunications Research Institute | Apparatus and method for adapting audio signal according to user's preference |
AU2003269551A1 (en) | 2002-10-15 | 2004-05-04 | Electronics And Telecommunications Research Institute | Method for generating and consuming 3d audio scene with extended spatiality of sound source |
KR100542129B1 (ko) * | 2002-10-28 | 2006-01-11 | 한국전자통신연구원 | 객체기반 3차원 오디오 시스템 및 그 제어 방법 |
WO2004047489A1 (en) | 2002-11-20 | 2004-06-03 | Koninklijke Philips Electronics N.V. | Audio based data representation apparatus and method |
US8139797B2 (en) | 2002-12-03 | 2012-03-20 | Bose Corporation | Directional electroacoustical transducing |
US6829925B2 (en) * | 2002-12-20 | 2004-12-14 | The Goodyear Tire & Rubber Company | Apparatus and method for monitoring a condition of a tire |
US7519530B2 (en) * | 2003-01-09 | 2009-04-14 | Nokia Corporation | Audio signal processing |
KR100917464B1 (ko) | 2003-03-07 | 2009-09-14 | 삼성전자주식회사 | 대역 확장 기법을 이용한 디지털 데이터의 부호화 방법,그 장치, 복호화 방법 및 그 장치 |
US7391877B1 (en) * | 2003-03-31 | 2008-06-24 | United States Of America As Represented By The Secretary Of The Air Force | Spatial processor for enhanced performance in multi-talker speech displays |
JP4196274B2 (ja) | 2003-08-11 | 2008-12-17 | ソニー株式会社 | 画像信号処理装置および方法、プログラム、並びに記録媒体 |
CN1253464C (zh) | 2003-08-13 | 2006-04-26 | 中国科学院昆明植物研究所 | 安丝菌素苷类化合物及其药物组合物,其制备方法及其应用 |
US20050063613A1 (en) | 2003-09-24 | 2005-03-24 | Kevin Casey | Network based system and method to process images |
KR100590340B1 (ko) * | 2003-09-29 | 2006-06-15 | 엘지전자 주식회사 | 디지털 오디오 부호화 방법 및 장치 |
US7447317B2 (en) | 2003-10-02 | 2008-11-04 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V | Compatible multi-channel coding/decoding by weighting the downmix channel |
US6937737B2 (en) | 2003-10-27 | 2005-08-30 | Britannia Investment Corporation | Multi-channel audio surround sound from front located loudspeakers |
KR101217649B1 (ko) | 2003-10-30 | 2013-01-02 | 돌비 인터네셔널 에이비 | 오디오 신호 인코딩 또는 디코딩 |
US7680289B2 (en) * | 2003-11-04 | 2010-03-16 | Texas Instruments Incorporated | Binaural sound localization using a formant-type cascade of resonators and anti-resonators |
US7949141B2 (en) | 2003-11-12 | 2011-05-24 | Dolby Laboratories Licensing Corporation | Processing audio signals with head related transfer function filters and a reverberator |
WO2005053356A1 (en) * | 2003-11-17 | 2005-06-09 | 1... Limited | Loudspeaker |
KR20050060789A (ko) * | 2003-12-17 | 2005-06-22 | 삼성전자주식회사 | 가상 음향 재생 방법 및 그 장치 |
KR100598602B1 (ko) * | 2003-12-18 | 2006-07-07 | 한국전자통신연구원 | 가상 입체 음향 생성 장치 및 그 방법 |
KR100532605B1 (ko) * | 2003-12-22 | 2005-12-01 | 한국전자통신연구원 | 이동통신 단말기의 가상 입체 음향 제공 장치 및 그 방법 |
WO2005069638A1 (en) | 2004-01-05 | 2005-07-28 | Koninklijke Philips Electronics, N.V. | Flicker-free adaptive thresholding for ambient light derived from video content mapped through unrendered color space |
EP1704726B8 (en) | 2004-01-05 | 2018-09-12 | TP Vision Holding B.V. | Ambient light derived from video content by mapping transformations through unrendered color space |
US7394903B2 (en) * | 2004-01-20 | 2008-07-01 | Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. | Apparatus and method for constructing a multi-channel output signal or for generating a downmix signal |
US7492915B2 (en) | 2004-02-13 | 2009-02-17 | Texas Instruments Incorporated | Dynamic sound source and listener position based audio rendering |
WO2005081229A1 (ja) | 2004-02-25 | 2005-09-01 | Matsushita Electric Industrial Co., Ltd. | オーディオエンコーダ及びオーディオデコーダ |
DE602005005640T2 (de) | 2004-03-01 | 2009-05-14 | Dolby Laboratories Licensing Corp., San Francisco | Mehrkanalige audiocodierung |
US7805313B2 (en) | 2004-03-04 | 2010-09-28 | Agere Systems Inc. | Frequency-based coding of channels in parametric multi-channel coding systems |
US7668712B2 (en) * | 2004-03-31 | 2010-02-23 | Microsoft Corporation | Audio encoding and decoding with intra frames and adaptive forward error correction |
RU2396608C2 (ru) | 2004-04-05 | 2010-08-10 | Конинклейке Филипс Электроникс Н.В. | Способ, устройство, кодирующее устройство, декодирующее устройство и аудиосистема |
TWI253625B (en) | 2004-04-06 | 2006-04-21 | I-Shun Huang | Signal-processing system and method thereof |
SE0400998D0 (sv) | 2004-04-16 | 2004-04-16 | Cooding Technologies Sweden Ab | Method for representing multi-channel audio signals |
US20050276430A1 (en) | 2004-05-28 | 2005-12-15 | Microsoft Corporation | Fast headphone virtualization |
KR100636144B1 (ko) | 2004-06-04 | 2006-10-18 | 삼성전자주식회사 | 오디오 신호 부호화/복호화 장치 및 방법 |
KR100636145B1 (ko) | 2004-06-04 | 2006-10-18 | 삼성전자주식회사 | 확장된 고해상도 오디오 신호 부호화 및 복호화 장치 |
US20050273324A1 (en) | 2004-06-08 | 2005-12-08 | Expamedia, Inc. | System for providing audio data and providing method thereof |
JP2005352396A (ja) | 2004-06-14 | 2005-12-22 | Matsushita Electric Ind Co Ltd | 音響信号符号化装置および音響信号復号装置 |
KR100644617B1 (ko) * | 2004-06-16 | 2006-11-10 | 삼성전자주식회사 | 7.1 채널 오디오 재생 방법 및 장치 |
JP4594662B2 (ja) | 2004-06-29 | 2010-12-08 | ソニー株式会社 | 音像定位装置 |
US8843378B2 (en) * | 2004-06-30 | 2014-09-23 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Multi-channel synthesizer and method for generating a multi-channel output signal |
US7617109B2 (en) | 2004-07-01 | 2009-11-10 | Dolby Laboratories Licensing Corporation | Method for correcting metadata affecting the playback loudness and dynamic range of audio information |
WO2006003813A1 (ja) | 2004-07-02 | 2006-01-12 | Matsushita Electric Industrial Co., Ltd. | オーディオ符号化及び復号化装置 |
TW200603652A (en) * | 2004-07-06 | 2006-01-16 | Syncomm Technology Corp | Wireless multi-channel sound re-producing system |
KR20060003444A (ko) | 2004-07-06 | 2006-01-11 | 삼성전자주식회사 | 모바일 기기에서 크로스토크 제거 장치 및 방법 |
US7391870B2 (en) | 2004-07-09 | 2008-06-24 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E V | Apparatus and method for generating a multi-channel output signal |
CN1985544B (zh) | 2004-07-14 | 2010-10-13 | 皇家飞利浦电子股份有限公司 | 处理立体声下混合信号的方法、装置、编译码器和*** |
KR100773539B1 (ko) | 2004-07-14 | 2007-11-05 | 삼성전자주식회사 | 멀티채널 오디오 데이터 부호화/복호화 방법 및 장치 |
TWI498882B (zh) | 2004-08-25 | 2015-09-01 | Dolby Lab Licensing Corp | 音訊解碼器 |
TWI393121B (zh) | 2004-08-25 | 2013-04-11 | Dolby Lab Licensing Corp | 處理一組n個聲音信號之方法與裝置及與其相關聯之電腦程式 |
DE102004042819A1 (de) * | 2004-09-03 | 2006-03-23 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zum Erzeugen eines codierten Multikanalsignals und Vorrichtung und Verfahren zum Decodieren eines codierten Multikanalsignals |
KR20060022968A (ko) | 2004-09-08 | 2006-03-13 | 삼성전자주식회사 | 음향재생장치 및 음향재생방법 |
US7634092B2 (en) | 2004-10-14 | 2009-12-15 | Dolby Laboratories Licensing Corporation | Head related transfer functions for panned stereo audio content |
US7720230B2 (en) | 2004-10-20 | 2010-05-18 | Agere Systems, Inc. | Individual channel shaping for BCC schemes and the like |
SE0402650D0 (sv) * | 2004-11-02 | 2004-11-02 | Coding Tech Ab | Improved parametric stereo compatible coding of spatial audio |
WO2006054360A1 (ja) | 2004-11-22 | 2006-05-26 | Mitsubishi Denki Kabushiki Kaisha | 音像生成装置及び音像生成プログラム |
US7787631B2 (en) * | 2004-11-30 | 2010-08-31 | Agere Systems Inc. | Parametric coding of spatial audio with cues based on transmitted channels |
WO2006060278A1 (en) | 2004-11-30 | 2006-06-08 | Agere Systems Inc. | Synchronizing parametric coding of spatial audio with externally provided downmix |
EP1817767B1 (en) | 2004-11-30 | 2015-11-11 | Agere Systems Inc. | Parametric coding of spatial audio with object-based side information |
KR100682904B1 (ko) * | 2004-12-01 | 2007-02-15 | 삼성전자주식회사 | 공간 정보를 이용한 다채널 오디오 신호 처리 장치 및 방법 |
US7903824B2 (en) | 2005-01-10 | 2011-03-08 | Agere Systems Inc. | Compact side information for parametric coding of spatial audio |
US7573912B2 (en) | 2005-02-22 | 2009-08-11 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschunng E.V. | Near-transparent or transparent multi-channel encoder/decoder scheme |
US20060198528A1 (en) | 2005-03-03 | 2006-09-07 | Thx, Ltd. | Interactive content sound system |
KR100608025B1 (ko) * | 2005-03-03 | 2006-08-02 | 삼성전자주식회사 | 2채널 헤드폰용 입체 음향 생성 방법 및 장치 |
EP1866911B1 (en) * | 2005-03-30 | 2010-06-09 | Koninklijke Philips Electronics N.V. | Scalable multi-channel audio coding |
KR20060109296A (ko) * | 2005-04-14 | 2006-10-19 | 엘지전자 주식회사 | 멀티채널 오디오 신호에 대한 서브밴드별 공간 정보의 변동기준채널 적용방법 |
US7961890B2 (en) * | 2005-04-15 | 2011-06-14 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung, E.V. | Multi-channel hierarchical audio coding with compact side information |
US7751572B2 (en) * | 2005-04-15 | 2010-07-06 | Dolby International Ab | Adaptive residual audio coding |
US7983922B2 (en) | 2005-04-15 | 2011-07-19 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Apparatus and method for generating multi-channel synthesizer control signal and apparatus and method for multi-channel synthesizing |
EP1829424B1 (en) | 2005-04-15 | 2009-01-21 | Dolby Sweden AB | Temporal envelope shaping of decorrelated signals |
KR20060122694A (ko) * | 2005-05-26 | 2006-11-30 | 엘지전자 주식회사 | 두 채널 이상의 다운믹스 오디오 신호에 공간 정보비트스트림을 삽입하는 방법 |
KR101251426B1 (ko) | 2005-06-03 | 2013-04-05 | 돌비 레버러토리즈 라이쎈싱 코오포레이션 | 디코딩 명령으로 오디오 신호를 인코딩하기 위한 장치 및방법 |
MX2008000122A (es) * | 2005-06-30 | 2008-03-18 | Lg Electronics Inc | Metodo y aparato para codificar y descodificar una senal de audio. |
EP1906706B1 (en) * | 2005-07-15 | 2009-11-25 | Panasonic Corporation | Audio decoder |
US7880748B1 (en) * | 2005-08-17 | 2011-02-01 | Apple Inc. | Audio view using 3-dimensional plot |
JP5108768B2 (ja) | 2005-08-30 | 2012-12-26 | エルジー エレクトロニクス インコーポレイティド | オーディオ信号をエンコーディング及びデコーディングするための装置とその方法 |
WO2007031906A2 (en) * | 2005-09-13 | 2007-03-22 | Koninklijke Philips Electronics N.V. | A method of and a device for generating 3d sound |
KR100739776B1 (ko) | 2005-09-22 | 2007-07-13 | 삼성전자주식회사 | 입체 음향 생성 방법 및 장치 |
US20080262853A1 (en) * | 2005-10-20 | 2008-10-23 | Lg Electronics, Inc. | Method for Encoding and Decoding Multi-Channel Audio Signal and Apparatus Thereof |
CN101310563A (zh) | 2005-12-16 | 2008-11-19 | 唯听助听器公司 | 用于监视助听器装配***中的无线连接的方法和*** |
JP4944902B2 (ja) | 2006-01-09 | 2012-06-06 | ノキア コーポレイション | バイノーラルオーディオ信号の復号制御 |
WO2007080211A1 (en) * | 2006-01-09 | 2007-07-19 | Nokia Corporation | Decoding of binaural audio signals |
KR100803212B1 (ko) | 2006-01-11 | 2008-02-14 | 삼성전자주식회사 | 스케일러블 채널 복호화 방법 및 장치 |
US8190425B2 (en) * | 2006-01-20 | 2012-05-29 | Microsoft Corporation | Complex cross-correlation parameters for multi-channel audio |
KR20080093024A (ko) | 2006-02-07 | 2008-10-17 | 엘지전자 주식회사 | 부호화/복호화 장치 및 방법 |
KR100773562B1 (ko) | 2006-03-06 | 2007-11-07 | 삼성전자주식회사 | 스테레오 신호 생성 방법 및 장치 |
RU2407226C2 (ru) * | 2006-03-24 | 2010-12-20 | Долби Свидн Аб | Генерация пространственных сигналов понижающего микширования из параметрических представлений мультиканальных сигналов |
MX2008012324A (es) | 2006-03-28 | 2008-10-10 | Fraunhofer Ges Zur Foeerderung | Metodo mejorado para la modulacion de señales en la reconstruccion de audio multicanal. |
JP4875142B2 (ja) * | 2006-03-28 | 2012-02-15 | テレフオンアクチーボラゲット エル エム エリクソン(パブル) | マルチチャネル・サラウンドサウンドのためのデコーダのための方法及び装置 |
JP4778828B2 (ja) | 2006-04-14 | 2011-09-21 | 矢崎総業株式会社 | 電気接続箱 |
US8027479B2 (en) | 2006-06-02 | 2011-09-27 | Coding Technologies Ab | Binaural multi-channel decoder in the context of non-energy conserving upmix rules |
US7876904B2 (en) | 2006-07-08 | 2011-01-25 | Nokia Corporation | Dynamic decoding of binaural audio signals |
US20080235006A1 (en) * | 2006-08-18 | 2008-09-25 | Lg Electronics, Inc. | Method and Apparatus for Decoding an Audio Signal |
MX2008012250A (es) * | 2006-09-29 | 2008-10-07 | Lg Electronics Inc | Metodos y aparatos para codificar y descodificar señales de audio basadas en objeto. |
KR101111520B1 (ko) | 2006-12-07 | 2012-05-24 | 엘지전자 주식회사 | 오디오 처리 방법 및 장치 |
JP2009044268A (ja) * | 2007-08-06 | 2009-02-26 | Sharp Corp | 音声信号処理装置、音声信号処理方法、音声信号処理プログラム、及び、記録媒体 |
WO2009049895A1 (en) * | 2007-10-17 | 2009-04-23 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio coding using downmix |
US8077772B2 (en) * | 2007-11-09 | 2011-12-13 | Cisco Technology, Inc. | Coding background blocks in video coding that includes coding as skipped |
JP5056530B2 (ja) | 2008-03-27 | 2012-10-24 | 沖電気工業株式会社 | 復号システム、方法及びプログラム |
-
2007
- 2007-02-07 KR KR1020087016478A patent/KR20080093024A/ko active Search and Examination
- 2007-02-07 US US12/278,571 patent/US8285556B2/en active Active
- 2007-02-07 KR KR1020087028251A patent/KR20080110920A/ko not_active Application Discontinuation
- 2007-02-07 US US12/278,569 patent/US8612238B2/en active Active
- 2007-02-07 KR KR1020070012928A patent/KR100878814B1/ko not_active IP Right Cessation
- 2007-02-07 KR KR1020087016481A patent/KR101203839B1/ko active IP Right Grant
- 2007-02-07 TW TW096104543A patent/TWI329464B/zh active
- 2007-02-07 US US12/278,572 patent/US8160258B2/en active Active
- 2007-02-07 EP EP07708820A patent/EP1982327A4/en not_active Ceased
- 2007-02-07 KR KR1020070012932A patent/KR100902899B1/ko not_active IP Right Cessation
- 2007-02-07 WO PCT/KR2007/000674 patent/WO2007091847A1/en active Application Filing
- 2007-02-07 JP JP2008554141A patent/JP2009526264A/ja active Pending
- 2007-02-07 KR KR1020087016480A patent/KR100991795B1/ko active IP Right Grant
- 2007-02-07 US US12/278,774 patent/US8712058B2/en active Active
- 2007-02-07 EP EP07708826.8A patent/EP1984915B1/en active Active
- 2007-02-07 KR KR1020070012933A patent/KR100878815B1/ko not_active IP Right Cessation
- 2007-02-07 KR KR1020087016483A patent/KR20080093419A/ko active Search and Examination
- 2007-02-07 US US12/278,568 patent/US8625810B2/en active Active
- 2007-02-07 KR KR1020070012938A patent/KR100863479B1/ko not_active IP Right Cessation
- 2007-02-07 KR KR1020070012941A patent/KR100897809B1/ko not_active IP Right Cessation
- 2007-02-07 WO PCT/KR2007/000677 patent/WO2007091850A1/en active Application Filing
- 2007-02-07 EP EP07708824A patent/EP1984913A4/en not_active Ceased
- 2007-02-07 JP JP2008554137A patent/JP5054035B2/ja active Active
- 2007-02-07 CA CA2637722A patent/CA2637722C/en not_active Expired - Fee Related
- 2007-02-07 KR KR1020070012937A patent/KR100878816B1/ko not_active IP Right Cessation
- 2007-02-07 TW TW096104544A patent/TWI331322B/zh active
- 2007-02-07 BR BRPI0707498-0A patent/BRPI0707498A2/pt not_active IP Right Cessation
- 2007-02-07 KR KR1020087016482A patent/KR20080094775A/ko active Search and Examination
- 2007-02-07 WO PCT/KR2007/000668 patent/WO2007091842A1/en active Application Filing
- 2007-02-07 JP JP2008554138A patent/JP5199129B2/ja active Active
- 2007-02-07 TW TW097150309A patent/TWI483244B/zh active
- 2007-02-07 KR KR1020070012929A patent/KR100921453B1/ko not_active IP Right Cessation
- 2007-02-07 JP JP2008554139A patent/JP5173840B2/ja active Active
- 2007-02-07 CN CN201510128054.0A patent/CN104681030B/zh active Active
- 2007-02-07 KR KR1020087016477A patent/KR101014729B1/ko not_active IP Right Cessation
- 2007-02-07 WO PCT/KR2007/000672 patent/WO2007091845A1/en active Application Filing
- 2007-02-07 KR KR1020087016479A patent/KR100983286B1/ko active IP Right Grant
- 2007-02-07 JP JP2008554134A patent/JP5173839B2/ja active Active
- 2007-02-07 KR KR1020070012931A patent/KR100902898B1/ko not_active IP Right Cessation
- 2007-02-07 AU AU2007212845A patent/AU2007212845B2/en not_active Ceased
- 2007-02-07 JP JP2008554140A patent/JP2009526263A/ja active Pending
- 2007-02-07 KR KR1020070012940A patent/KR100908055B1/ko not_active IP Right Cessation
- 2007-02-07 TW TW096104545A patent/TWI329465B/zh active
- 2007-02-07 EP EP07708818A patent/EP1982326A4/en not_active Ceased
- 2007-02-07 JP JP2008554136A patent/JP5054034B2/ja active Active
- 2007-02-07 WO PCT/KR2007/000670 patent/WO2007091843A1/en active Application Filing
- 2007-02-07 WO PCT/KR2007/000675 patent/WO2007091848A1/en active Application Filing
- 2007-02-07 US US12/278,775 patent/US8638945B2/en active Active
- 2007-02-07 WO PCT/KR2007/000676 patent/WO2007091849A1/en active Application Filing
- 2007-02-07 EP EP07708822A patent/EP1984912A4/en not_active Ceased
- 2007-02-07 EP EP07708827A patent/EP1987512A4/en not_active Withdrawn
- 2007-02-07 KR KR1020070012930A patent/KR100913091B1/ko active IP Right Grant
- 2007-02-07 US US12/278,776 patent/US8296156B2/en active Active
- 2007-02-07 EP EP07708825A patent/EP1984914A4/en not_active Ceased
- 2007-02-07 KR KR1020070012939A patent/KR100863480B1/ko not_active IP Right Cessation
-
2009
- 2009-07-23 HK HK09106748.3A patent/HK1128810A1/xx not_active IP Right Cessation
-
2014
- 2014-01-27 US US14/165,540 patent/US9626976B2/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10304498A (ja) * | 1997-04-30 | 1998-11-13 | Kawai Musical Instr Mfg Co Ltd | ステレオ拡大装置及び音場拡大装置 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012507059A (ja) * | 2008-10-29 | 2012-03-22 | ドルビー インターナショナル アーベー | 既存のオーディオゲインメタデータを使用した信号のクリッピングの保護 |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5173839B2 (ja) | 符号化/復号化装置及び方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100301 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111129 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120216 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20120703 |