CN103355001B - 用以利用下变频混频器来分解输入信号的装置和方法 - Google Patents
用以利用下变频混频器来分解输入信号的装置和方法 Download PDFInfo
- Publication number
- CN103355001B CN103355001B CN201180067280.2A CN201180067280A CN103355001B CN 103355001 B CN103355001 B CN 103355001B CN 201180067280 A CN201180067280 A CN 201180067280A CN 103355001 B CN103355001 B CN 103355001B
- Authority
- CN
- China
- Prior art keywords
- signal
- frequency
- sound channel
- down coversion
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 30
- 238000004458 analytical method Methods 0.000 claims abstract description 53
- 230000008569 process Effects 0.000 claims abstract description 29
- 238000002156 mixing Methods 0.000 claims description 56
- 238000009795 derivation Methods 0.000 claims description 32
- 238000001914 filtration Methods 0.000 claims description 13
- 210000005069 ears Anatomy 0.000 claims description 5
- 230000004044 response Effects 0.000 claims description 5
- 230000002093 peripheral effect Effects 0.000 claims description 2
- 239000000203 mixture Substances 0.000 description 31
- 238000009792 diffusion process Methods 0.000 description 25
- 238000001228 spectrum Methods 0.000 description 18
- 230000008447 perception Effects 0.000 description 13
- 230000006870 function Effects 0.000 description 12
- 238000012545 processing Methods 0.000 description 10
- 238000004590 computer program Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 9
- 210000003128 head Anatomy 0.000 description 9
- 238000000354 decomposition reaction Methods 0.000 description 8
- 239000000284 extract Substances 0.000 description 6
- 230000009466 transformation Effects 0.000 description 6
- 238000000605 extraction Methods 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 230000005236 sound signal Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 238000009530 blood pressure measurement Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 239000000470 constituent Substances 0.000 description 3
- 238000005314 correlation function Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000010363 phase shift Effects 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 240000006409 Acacia auriculiformis Species 0.000 description 2
- 206010027336 Menstruation delayed Diseases 0.000 description 2
- 108010076504 Protein Sorting Signals Proteins 0.000 description 2
- 230000002238 attenuated effect Effects 0.000 description 2
- 238000006880 cross-coupling reaction Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 210000000883 ear external Anatomy 0.000 description 2
- 210000003027 ear inner Anatomy 0.000 description 2
- 210000000959 ear middle Anatomy 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000002787 reinforcement Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 241000428199 Mustelinae Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000005311 autocorrelation function Methods 0.000 description 1
- 229910002056 binary alloy Inorganic materials 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000004899 motility Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000011295 pitch Substances 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
- H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/03—Aspects of down-mixing multi-channel audio to configurations with lower numbers of playback channels, e.g. 7.1 -> 5.1
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Stereophonic System (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- Amplifiers (AREA)
- Radar Systems Or Details Thereof (AREA)
- Time-Division Multiplex Systems (AREA)
Abstract
一种用以分解具有至少三个输入声道的输入信号的装置包含:下变频混频器(12),用以对所述输入信号进行下变频混合以获得具有更少数目声道的下变频混合信号。此外,提供用以分析该下变频混合信号来得到分析结果的分析器(16),及该分析结果18被前传至用以处理该输入信号或从该输入信号所得到的信号来获得分解信号的信号处理器(20)。
Description
技术领域
本发明涉及音频处理,更具体地,涉及音频信号分解成不同成分(诸如感知上不同的成分)。
背景技术
人类听觉***感知来自全部方向的声音。被感知的听觉(形容词听觉表示所感知者,而声音一词将用来描述物理现象)环境产生周围空间及发生的声音事件的声学性质的印象。考虑在汽车入口存在以下三种不同类型的信号:直接声音、早期反射及漫反射,则在特定声场所感知的听觉印象可(至少部分地)被模型化。这些信号促成所感知的听觉空间图像的形成。
直接声音表示从音源无干扰地首次直接到达收听者的各个声音事件波。直接声音为音源特性且提供有关声音事件的入射方向的最小受损信息。用来在水平面估计音源方向的主要线索为左耳输入信号与右耳输入信号间的差异,换言之,耳间时间差(ITD)及耳间水平差(ILD)。接着,多个直接声音的反射从不同方向且以不同的相对时间延迟及水平而到达双耳。对于该直接声音,随着时间延迟的增加,反射密度增加直至反射组成统计杂波。
反射的声音促成距离感,且促成听觉空间印象,其由至少两个成分组成:表观声源宽度(ASW)(ASW的另一个常用术语为听觉空间)及收听者周围感(LEV)。ASW被定义为声源的表观宽度加宽且主要由早期横向反射决定。LEV指的是收听者被声音所包绕的感觉且主要由晚期到达的反射决定。电气声学立体声音再现的目的在于创造愉悦的听觉空间图像的感知。这可具有自然界或建筑物参考(例如音乐厅的音乐会记录),或可以是实际上不存在的声场(例如电子原音音乐)。
从音乐厅的声场,众所周知的是,为了获得主观上愉悦的声场,强烈的听觉空间印象感相当重要,以LEV作为整合的一部分。扬声器设置以利用再现漫射声场来再现包绕声场的能力令人关注。于合成声场中,使用专用变频器无法再现全部自然出现的反射。对于漫射晚期反射,这特别为真。漫反射的时间及水平性质可通过使用“混响”信号作为扬声器馈送而予模拟。若这些信号足够地不相关,则用于回放的扬声器的数目及位置决定声场是否被感知为漫射。目标在于只使用离散数目的变频器而激发连续漫射声场感知。换言之,形成声场,其中无法估计到达的声音方向,及特别未能定位单一变频器。合成声场的主观漫射性可在主观测试中评估。
立体声再现目标在于只使用离散数目的变频器而激发连续声场感知。最期望的特征为定位音源的方向稳定性及环绕听觉环境的真实呈现。当今用来存储或传送立体声记录的大部分格式是基于声道的。各个声道传输意图在特定位置的相关联的扬声器上回放的信号。于记录或混频处理期间设计特定听觉图像。若用于再现的扬声器设置类似于记录被设计所用于的目标设置,则此图像被准确地重新产生。
可行的传输及回放声道数目恒定地成长,及随着每次音频再现格式的呈现,期望在实际回放***呈现旧式格式内容。上变频混频算法是此种期望的解决方案,以从旧式信号计算具有更多声道的信号。在参考文献中提出的多种立体声上变频混频算法,例如CarlosAvendano及Jean-MarcJot,“Afrequency-domainapproachtomultichannelupmix”,JournaloftheAudioEngineeringSociety,vol.52,no.7/8,pp.740-749,2004;ChristofFaller,“Multiple-loudspeakerplaybackofstereosignals,”JournaloftheAudioEngineeringSociety,vol.54,no.11,pp.1051-1064,2006年11月;JohnUsherandJacobBenesty,Enhancementofspatialsoundquality:Anewreverberation-extractionaudioupmixer,”IEEETransactionsonAudio,Speech,andLanguageProcessing,vol.15,no.7,pp.2141-2150,2007年9月。大部分这些算法是基于直接/周围信号分解,接着为调整适应目标扬声器设置的呈现。
所述直接/周围信号分解不易应用于多声道环绕信号。不易将描述信号模型公式化,并且不易滤波来从N音频声道获得相应N个直接声音声道及N个周围声音声道。用在立体声情况的简单信号模型例如参考ChristofFaller,“Multiple-loudspeakerplaybackofstereosignals,”JournaloftheAudioEngineeringSociety,vol.54,no.11,pp.1051-1064,2006年11月,假设在全部声道间欲相关联的直接声音并未捕捉可能存在于环绕信号声道间的声道关系分集。
立体声再现的一般目的在于只使用有限数目的发射声道及变频器而激发连续声场感知。两个扬声器是空间声音再现的最低要求。现在消费者***通常提供较大数目的再现声道。基本上,立体声信号(与声道数目独立无关)被记录或混频使得针对各个音源,直接声音同调地(=依赖性地)进入具有特定方向线索的声道数目,而反射的独立声音进入多个声道,以确定表观音源宽度及收听者包绕的线索。预期听觉图像的正确感知通常唯有在该记录所意图的回放设置中理想的观察点才属可能。添加更多扬声器至一给定扬声器设置通常允许更真实的重建/模拟自然声场。若输入信号以另一格式给定,为了使用延伸扬声器设置的完整优点,或为了操纵该输入信号的感知不同部分,这些扬声器设置须分开存取。本说明书描述一种方法来分离包含如下任意数目输入声道的立体声记录的依赖性成分及独立成分。
音频信号分解成感知不同的成分对于高质量信号修改、增强、适应性回放及感知编码是所需的。近来,提出多个方法,该方法允许操纵及/或提取来自二声道输入信号的感知上不同的信号成分。因具有多于二声道的输入信号变得愈来愈常见,所述操纵对于多声道输入信号也是所需的。然而,针对二声道输入信号所述的大部分构思不易被扩延至使用具有任意声道数目的输入信号工作。
若欲执行信号分析成例如5.1声道环绕信号的直接部分及周围部分,5.1声道环绕信号具有左声道、中声道、右声道、左环绕声道、右环绕声道及低频加强(重低音),则如何施加直接/周围信号分析并不直捷。人们可能想比较六声道的每对,结果导致阶层处理,最终具有高达15不同的比较操作。然后,当全部这些15比较操作完成时,其中将每个声道与每个其他声道相比较,须决定如何评估15个结果。如此耗时,且结果难以解译,又因耗用大量处理资源,故无法用于例如直接/周围分离的实时应用,或通常地可用在例如上变频混频或任何其它音频处理操作的背景下的信号分解。
在M.M.Goodwin及J.M.Jot,“Primary-ambientsignaldecompositionandvector-basedlocalizationforspatialaudiocodingandenhancement,”inProc.OfICASSP2007,2007,一次成分分析施加至输入声道信号来执行一次(=直接)及周围信号分解。
在ChristofFaller,“Multiple-loudspeakerplaybackofstereosignals,”JournaloftheAudioEngineeringSociety,vol.54,no.11,pp.1051-1064,2006年11月,及C.Faller,“Ahighlydirective2-capsulebasedmicrophonesystem,”inPreprint123rdConv.Aud.Eng.Soc.2007年10月中使用的模型,分别在立体声信号及麦克风信号假设非相关性或部分相关性漫射声音。给定此假设,他们推导出用以提取漫射/周围信号的滤波器。这些办法受限于单个及二声道音频信号。
更进一步参考CarlosAvendano及Jean-MarcJot,"Afrequency-domainapproachtomultichannelupmix",JournaloftheAudioEngineeringSociety,vol.52,no.7/8,pp.740-749,2004.文献M.M.Goodwin以及J.M.Jot,“Primary-ambientsignaldecompositionandvector-basedlocalizationforspatialaudiocodingandenhancement,”inProc.OfICASSP2007,2007,评论Avendano,Jot参考文献如下。该参考文献提供一种办法,其涉及产生时-频掩码来从立体声输入信号提取周围信号。但该掩码基于左-及右-声道信号的相互相关性,,然而,该方法不能即刻应用于从任意多声道输入信号提取周围信号的问题。为了使用任何此种基于相关性的方法于此较高阶情况,将调用阶层式逐对相关性分析,这将造成显著计算成本,或一些其它多声道相关性测量值。
空间脉冲响应呈现(SIRR)(JuhaMerimaa及VillePulkki,“Spatialimpulseresponserendering”,inProc.ofthe7thInt.Conf.onDigitalAudioEffects(DAFx’04),2004)估计于B格式脉冲响应中具有方向性的直接声音及漫射声音。极为类似于SIRR,方向性音频编码(DirAC)(VillePulkki,“Spatialsoundreproductionwithdirectionalaudiocoding,”JournaloftheAudioEngineeringSociety,vol.55,no.6,pp.503-516,2007年6月)对B格式连续音频信号实施了相似的直接及漫射声音分析。
于JuliaJakka,BinauraltoMultichannelAudioUpmix,Ph.D.thesis,Master’sThesis,HelsinkiUniversityofTechnology,2005中所提出的办法描述使用双耳信号作为输入的上变频混频。
参考文献BoazRafaely,“SpatiallyOptimalWienerFilteringinaReverberantSoundField,IEEEWorkshoponApplicationsofSignalProcessingtoAudioandAcoustics2001,2001年10月21-24日,纽约州纽帕兹描述了针对混响声场进行空间优化的维纳滤波器的推导。给出了于混响空间中二麦克风噪声抵消的应用。从漫射声场的空间相关性推导的最佳滤波器捕捉声场的本地表现,因此为较低阶且可能比混响空间的传统自适应性噪声抵消滤波器更为空间上稳健。提出了针对未受限制的及受因果限制的最佳滤波器公式,及应用于二麦克风语音加强的实例是使用计算机仿真来论证的。
发明内容
本发明的目的在于提出一种分解输入信号的改进构思。
该目标通过根据权利要求1的用以分解输入信号的装置、根据权利要求14的用以分解输入信号的方法或根据权利要求15的计算机程序来实现。
本发明是基于以下发现的:即,为了分解多声道信号,有利的方式是不直接就输入信号(即,具有至少三个输入声道的信号)的不同信号成分执行分析。代替地是,具有至少三个输入声道的多声道输入信号通过用以下变频混频该输入信号来获得下变频混频信号的下变频混频器处理。下变频混频信号具有小于输入声道数目的下变频混频声道数目,且优选为2。然后,输入信号的分析是对下变频混频信号而非直接对输入信号执行,及分析获得分析结果。但此分析结果并非施加至下变频混频信号,反而施加至该输入信号,或另外,施加至从该输入信号推导得到的信号,其中从该输入信号推导得的此信号可以是上变频混频信号,或取决于输入信号的声道数目此信号也可以是下变频混频信号,但从该输入信号推导得的此信号将与对其执行分析的该下变频混频信号不同。例如,当考虑输入信号为5.1声道信号的情况,则对其执行分析的该下变频混频信号可以是具有二声道的立体下变频混频。然后分析结果直接地施加至5.1输入信号,施加至更高上变频混频(诸如7.1)输出信号,或当只有三声道音频呈现装置可用时,施加至例如只有三个声道的输入信号的多声道下变频混频,三个声道为左声道、中声道及右声道。然而,在任何情况下,信号处理器施加分析结果于其上的该信号与被进行分析的该下变频混频信号不同,且典型地比被进行信号成分分析的该下变频混频信号具有更多个声道。
所谓“间接”分析/处理为可能的原因在于下述事实,由于下变频混频典型地由以不同方式添加的输入声道组成,故可假设各个输入声道的任何信号成分也出现于下变频混频声道中。一种直接下变频混频例如为各个输入声道根据下变频混频法则或下变频混频矩阵所需来进行加权及然后在被加权后被添加一起。另一种下变频混频由以某些滤波器(诸如HRTF滤波器)滤波这些输入声道组成,如本领域的普通技术人员已知的,该下变频混频通过使用滤波的信号(亦即藉HRTF滤波器滤波的信号)执行。针对5声道输入信号,需要10个HRTF滤波器,及针对左部/左耳的HRTF滤波器输出被加总一起,及针对右耳的右声道滤波器的HRTF滤波器输出被加总一起。可应用其它下变频混频来减少在信号分析器内须处理的声道数目。
如此,本发明的实施例描述一种新颖构思为,在分析结果施加至输入信号的同时,通过考虑分析信号而从任意输入信号提取感知上不同的成分。例如通过考虑声道或扬声器信号传播至耳朵的传播模型,可获得此种分析信号。此点是利用人类听觉***也只使用两个传感器(左耳及右耳)来评估声场的事实来部分激发的。如此,感知上不同的成分的提取基本上减至分析信号的考虑,后文中将标记为下变频混频。在本文的全文中,术语下变频混频用于多声道信号的任何预处理,从而产生分析信号(此例如可包括传播模型、HRTF、BRIR、单纯交叉因子下变频混频)。
已知的是,给定输入信号的格式及要提取的信号的期望特性,可针对下变频混频格式定义理想声道间关系,及如此,此分析信号的分析足够产生用于多声道信号分解的加权表征(或多个加权表征)。
在一实施例中,通过使用环绕信号的立体下变频混频及施加直接/周围分析至下变频混频,可简化多声道问题。基于该结果,亦即直接及周围声音的短时间功率频谱估计,推导出滤波器,以将N-声道信号分解成N个直接声音声道及N个周围声音声道。
本发明的优点在于下述事实:信号分析施加于较少数声道,显著缩短所需处理时间,使得发明构思甚至可应用于上变频混频或下变频混频的实时应用,或任何其它信号处理操作,其中需要信号的不同成分(诸如感知上不同成分)。
本发明的又一优点为虽然执行下变频混频,但发现如此不会劣化输入信号中感知上区别成分的检测能力。换言之,即便当输入声道被下变频混频时,个别信号成分仍然可被分离至相当大程度。此外,下变频混频呈一种全部输入声道的全部信号成分“集合”成两个声道的操作,施加至这些「集合的」下变频混频信号的信号分析提供独特结果,该结果不再需要解译而可直接地用于信号处理。
在优选实施例中,当信号分析是基于预先计算的频率依赖性相似性曲线作为参考曲线执行时,获得用于信号分解目的的特定效率。术语相似性包括相关性及一致性,其中就严格数学意义而言,相关性是在二信号间计算而无额外时移,及一致性是通过时间/相位上移位二信号计算,使得二信号具有最大相关性,然后施加时间/相位移位而计算频率上的实际相关性。针对本文,相似性、相关性及一致性被认为表示相同,亦即二信号间的量化相似程度,例如较高相似性绝对值表示二信号较为相似,而较低相似性绝对值表示二信号较为不相似。
已经示出使用此种相关性曲线作为参考曲线,允许极为有效的可实施分析,原因在于该曲线可用于直接比较操作及/或加权因子计算。使用预先计算的频率依赖性相关性曲线允许只执行简单计算,而非较为复杂的维纳滤波操作。此外,频率依赖性相关性曲线的应用特别有用,原因在于下述事实:问题并非从统计观点解决反而是以更加分析的方式解决,原因在于从目前设置导入尽可能多的信息以获得问题的解决。此外,该工序的灵活性极高,原因在于可通过多个不同方式获得参考曲线。一种方式使在某个设置下测量两个或多个信号,及然后从测得的信号计算频率上相关性曲线。因此,可从不同扬声器发出独立信号或先前已知有某种依赖性程度的信号。
另一种优选替换方式是在假设独立信号的情况下,单纯计算相关性曲线。于此种情况下,实际上不需任何信号,原因在于结果为独立于信号的。
使用参考曲线用于信号分析的信号分解可应用于立体声处理,亦即用于分解立体声信号。可替换地,该工序也可连同用于分解多声道信号的下变频混频器一起来实现。可替换地,当以阶层方式逐对地评估信号时,此工序也可在不使用下变频混频器的情况下用于多声道信号。
附图说明
随后将关于附图讨论本发明的优选实施方式,附图中:
图1为用于示出用以使用下变频混频器来分解输入信号的装置的方块图;
图2为示出根据本发明的又一方面的使用分析器以预先计算的频率依赖性相关性曲线,用以分解具有数目至少为3的输入声道的信号的装置的实施方式的方块图;
图3示出以频域处理用于下变频混频、分析及信号处理的本发明的又一优选实施方式;
图4示出针对用于图1或图2所示的分析的参考曲线,预先计算的频率依赖性相关性曲线实例;
图5示出用于示出又一处理以提取独立成分的方块图;
图6示出进一步处理的方块图的又一实施方式,其中提取独立漫射、独立直接及直接成分;
图7示出用于将下变频混频器实施为分析信号产生器的方块图;
图8示出用以指示图1或图2的信号分析器中的优选处理方式的流程图;
图9A-9E示出了不同的预先计算的频率依赖性相关性曲线,其可用作针对具有不同数目及位置的音源(诸如扬声器)的一些不同设置的参考曲线;
图10示出了用以示出漫射性估计的另一实施例的块图,其中漫射成分为要分解的成分;及
图11A及11B示出了施加信号分析的式子实例,该信号分析不需要频率依赖性相关性曲线反而依靠维纳滤波方法。
具体实施方式
图1示出一种用以分解具有数目至少为3个输入声道或通常为N个输入声道的输入信号10的装置。这些输入声道被输入至下变频混频器12,用以将该输入信号下变频混频而获得下变频混频信号14,其中该下变频混频器12被配置用以下变频混频,以使得以“m”指示的下变频混频信号14的下变频混频声道数目至少为2且小于输入信号10的输入声道数目。m个下变频混频声道被输入至分析器16,以分析该下变频混频信号从而推导出分析结果18。分析结果18被输入至信号处理器20,其中该信号处理器被配置用以使用该分析结果处理该输入信号10或通过信号推导器22而从该输入信号所推导的一信号,其中该信号处理器20被配置为用以施加该分析结果至输入声道或从该输入信号所推导的该信号24的声道,从而获得分解信号26。
在图1示出的实施例中,输入声道数目为n,下变频混频声道数目为m,推导声道数目为l,及当推导信号而非输入信号由信号处理器处理时,输出声道数目等于l。可替换地,当信号推导器22不存在时,则输入信号由信号处理器直接处理,及然后图1中以“l”指示的分解信号26的声道数目将等于n。如此,图1示出两个不同实例。一个实例不具有信号推导器22及输入信号直接施加至信号处理器20。另一个实例是实施信号推导器22,及然后推导信号24而非输入信号10由信号处理器20处理。信号推导器例如可以是音频声道混频器,诸如用以产生更多输出声道的上变频混频器。于此种情况下,l将大于n。于另一实施例中,信号推导器可以是另一音频处理器,其对输入声道执行加权、延迟、或任何其它处理,及于此种情况下,信号推导器22的输出声道数目l将等于输入声道数目n。在又一实施方式中,信号推导器可以是下变频混频器,其减少从输入信号至推导信号的声道数目。于此一实施方式中,优选的,数目l仍大于下变频混频声道数目m,以获得本发明的优点中之一,即信号分析施加至较少数目的声道信号。
分析器可操作以相对于感知上不同成分分析下变频混频信号。这些感知上不同成分一方面可以是各个声道的独立成分,另一方面可以是依赖性成分。通过本发明分析的可替换信号成分一方面为直接成分及另一方面为周围成分。存在可通过本发明分离的许多其它成分,诸如音乐成分中的语音成分、语音成分中的噪声成分、音乐成分中的噪声成分、相对于低频噪声成分的高频噪声成分、于多音高信号中由不同乐器所提供的成分等。此是由于下述事实:即,强有力的分析工具(诸如图11A、11B的背景下所讨论的维纳滤波,或其它分析工序,诸如例如于根据本发明图8的背景下所讨论的使用频率依赖性相关性曲线。
图2示出另一方面,其中分析器被实施用于使用预先计算的频率依赖性相关性曲线16。如此,用以分解具有多个声道的信号28的装置包含分析器16,例如如图1的上下文所给出的,该分析器通过进行下变频混频操作来分析与输入信号相同的或与输入信号相关的分析信号的二声道间的相关性。由分析器16所分析的分析信号具有至少二分析声道,及分析器16被配置为用以使用预先计算的频率依赖性相关性曲线作为参考曲线来确定分析结果18。信号处理器20可以与图1的背景下所讨论的相同方式操作,且被配置为用以处理分析信号或通过信号推导器22从该分析信号推导得到的信号,其中信号推导器22可类似于图1的信号推导器22的背景下所讨论的方式来实施。可替换地,信号处理器可处理信号,由此推导得到分析信号,及信号处理使用分析结果来获得分解信号。如此,于图2的实施例中,输入信号可以与分析信号相同,于此种情况下,分析信号也可以是只有二声道的立体信号,如图2示出。可替换地,分析信号可通过任一种处理而从输入信号推导得到,诸如如于图1的背景下所述的下变频混频,或通过任何其它处理,诸如上变频混频等。此外,信号处理器20可用来施加信号处理至已经输入分析器的相同信号;或信号处理器可施加信号处理至由此推导出分析信号的信号,诸如如于图1的背景下所述;或信号处理器可施加信号处理至已经从分析信号(例如通过上变频混频等)推导得到的信号。
如此,针对信号处理器存在不同的可能性,并且所有这些可能性皆是有益的,原因在于分析器使用预先计算的频率依赖性相关性曲线作为参考曲线来确定分析结果的独特操作。
接着讨论其他的实施例。须注意,如图2的上下文所讨论的,甚至考虑使用二声道分析信号(不含下变频混频)。如此,如于图1及图2的上下文的不同方面所讨论的本发明,这些方面可一起使用或作为作为分离方面使用,下变频混频可由分析器处理,可能尚未通过下变频混频产生的二声道信号可通过信号分析器使用预计算参考曲线来处理。在该上下文中,须注意,实施方面的随后描述可应用于图1及图2示意地示出的二方面,即便某些特征只对一个方面而非对二方面描述亦复如此。例如,若考虑图3,显然图3的频域特征是于图1示出的方面的上下文中描述的,但显然如随后就图3描述的时/频变换及逆变换也可应用于图2中的实施方式,该实施方式不具下变频混频器,但具有特定分析器来使用预先计算的频率依赖性相关性曲线。
具体地,时/频转换器可被配置为在分析信号输入分析器之前,转换分析信号,并且时/频转换器将设置于信号处理器的输出端,以将已处理信号转换回时域。当存在信号推导器时,时/频转换器可配置于信号推导器的输入端,使得信号推导器、分析器及信号处理器全部操作在频率/子带域中。在该背景下,频率及子带基本上表示频率表示型态的频率的一部分。
此外,显然图1的分析器可以多种不同方式实施,但于一个实施例中,此种分析器也可实施为图2讨论的分析器,即,作为使用预先计算的频率依赖性相关性曲线来作为维纳滤波或任何其它分析方法的替代的分析器。
图3的实施例应用下变频混频工序至任意输入信号,来获得二声道表示型态。执行时-频域的分析,计算加权表征,乘以输入信号的时频表示型态,如图3中所示。
该图中,T/F表示时频变换;通常为短时间傅里叶变换(STFT)。iT/F表示相应的逆变换。[x1(n),…,xN(n)]为时域输入信号,其中n为时间指标。[X1(m,i),…,XN(m,i)]]表示频率分解系数,其中m为分解时间指标,及i为分解频率指标。[D1(m,i),D2(m,i)]为下变频混频信号的两个声道。
W(m,i)为算得的权值。[Y1(m,i),...,YN(m,i)]为各声道的加权频率分解。Hij(i)为下变频混频系数,可以是实数值或复数值,且系数可以是时间常数或时间变量。如此,下变频混频系数可以只是常数或滤波器,诸如HRTF滤波器、混响滤波器、或类似的滤波器。
Yj(m,i)=Wj(m,i)·Xj(m,i),其中j=(1,2,...,N)(2)
在图3中,示出了施加相同权值至所有声道的情况。
Yj(m,i)=W(m,i)·Xj(m,i)(3)
[y1(n),...,yN(n)]为包含所提取信号成分的时域输出信号。(输入信号可具有针对任意目标回放扬声器设置所产生的任意声道数目(N)。下变频混频可包括HRTF来获得耳输入信号、听觉滤波器的仿真等。下变频混频也可于时域进行)。
在一实施例中,计算下变频混频输入信号的参考相关性与实际相关性(csig(ω))间的差,(贯穿通篇,术语“相关性”用作声道间相似性的同义词,如此还可包括时移的评估,对于此,通常使用术语一致性。即便评估时移,结果所得值可具有符号(通常,一致性被定义为只有正值),作为频率的函数(cref(ω))。根据实际曲线与参考曲线的偏移,计算针对各个时间-频率块的加权因子,指示其是包含依赖性成分还是独立成分。所得时-频加权指示独立成分,且可已经施加至输入信号的各个声道来获得多声道信号(声道数目等于输入声道数目),包括独立部分可感知为区别的或混频的。
参考曲线可以不同方式定义。实例有:
·针对由独立成分组成的理想化二维或三维漫射声场的理想理论参考曲线。
·针对该给定输入信号以参考目标扬声器设置所能实现的理想曲线(例如具有方位角(±30度)的标准立体声设置,或具有方位角(0度、±30度、±110度)的根据ITU-RBS.775的标准五声道设置)。
·实际上存在的扬声器设置的理想曲线(实际位置可测量或经由用户输入为已知。假设于给定扬声器上对独立信号进行播放,可计算参考曲线)。
·各个输入声道的实际频率依赖性短时间功率可结合于参考曲线的计算。
给定频率依赖性参考曲线(cref(ω)),可定义上限临界值(chi(ω))及下限临界值(clo(ω))(参考图4)。临界值曲线可与参考曲线重合(cref(ω)=chi(ω)=clo(ω)),或假设可检测性临界值来定义,或可被启发式地推导。
若实际曲线与参考曲线的偏差在由临界值所给定的界限以内,则实际仓(bin)获得指示独立成分的权重。高于该上限临界值或低于该下限临界值,仓被指示为依赖性。此项指示可以是二进制,或渐进的(亦即遵守软决策函数)。更具体地,若上限-及下限-临界值与该参考曲线重合,则该施加的权重和相对于该参考曲线的偏差正相关。
参考图3,参考符号32示出时/频转换器,其可被实施为短时间傅里叶变换或产生子带信号的任一种滤波器组,诸如QMF滤波器组等。与时/频转换器32的细节实施无关,时/频转换器的输出对于各个输入声道xi为输入信号的各个时间周期的频谱。如此,时/频处理器32可被实施为总是性取样单独声道信号的输入样本的区块,及计算具有频谱线从较低频延伸至较高频的频率表示型态,诸如FFT频谱。然后,针对下个时间区块,执行相同工序,使得最后针对各个输入声道信号计算一短时间频谱序列。与输入声道的输入样本的某个区块有关的某个频谱的某个频率范围被称作为“时间/频率块”,及优先地,分析器16的分析是基于这些时间/频率块来执行的。因此,分析器接收针对第一下变频混频声道D1的输入样本的某个区块的具有第一频率的频谱值及接收第二下变频混频声道D2的相同频率及相同区块(于时间上)的值,作为时间/频率块的输入。
然后,例如如图8中所示,分析器16被配置为用于确定(80)每个子带及时间块的二输入声道间的相关性值,即,时间/频率块的相关性值。然后,在图2或图4所示的实施例中,分析器16从参考相关性曲线找出(检索)相应子带的相关性值(82)。例如,当该子带为图4的40指示的子带时,步骤82导致数值41,其指示-1与+1间的相关性,然后值41被检索作为相关性值。然后于步骤83,使用得自步骤80所确定的相关性值及步骤82所得的检索的相关性值41,针对该子带的结果被以如下方式执行:通过执行比较及随后进行确定,或通过计算实际差值。如前文讨论,结果可以是二进制值,换言之,于下变频混频/分析信号中考虑的实际时间/频率块具有独立成分。当实际上确定的相关性值(于步骤80)等于参考相关性值或相当接近参考相关性值时,将做此决定。
然而,当判定所确定的相关性值指示比参考相关性值更高的绝对相关性值时,则判定所考虑的时间/频率块包含依赖性成分。如此,当下变频混频或分析信号的时间/频率块的相关性指示比较参考曲线更高的绝对相关性值时,则可谓于此时间/频率块中的成分彼此为依赖性。然而,当相关性被指示为极为接近参考曲线时,则可谓各成分为独立无关。依赖性成分可接收第一权值诸如1,而独立成分可接收第二权值诸如0。优选地,如图4中所示,与参考线隔开的高及低临界值用来提供更好结果,比单独使用参考曲线更适合。
此外,关于图4,须注意,相关性可在-1与+1间改变。具有负号的相关性额外地指示信号间180度的相移。因此,也可施加只在0与1间延伸的其它相关性,其中相关性的负部分被仅改成正。在此工序中,则忽略用于相关性确定目的的时移或相移。
计算该结果的可替换方式实际上计算方块80中所确定的相关性值与于方块82中所获得的重新得到的相关性值间的距离,及然后确定0与1间的度量以作为基于该距离的加权因子。虽然图8的第一可替换(1)只导致数值0或1,可能性(2)导致0与1之间的值,并在一些实施方式中为优选的。
图3的信号处理器20被示出为乘法器,并且分析结果只是所确定的加权因子,其从分析器前传至图8中84所标示的信号处理器,然后施加至输入信号10的相应时间/频率块。例如,当实际上考虑的频谱为频谱序列中的第20个频谱及当实际考虑频率仓为该第20频谱的第5频率仓时,则时间/频率块可被指示为(20,5),其中第一数字指示该区块于时间上的编号,及第二数字指示于此频谱中的频率仓。然后,针对时间/频率块(20,5)的分析结果被施加至图3中输入信号的各个声道的相应时间/频率块(20,5);或当图1所示的信号推导器被实施时,施加至推导得到的信号的各个声道的相应时间/频率块。
随后,参考曲线的计算将被进一步更详细地讨论。然而,对于本发明,如何推导参考曲线实质上是不重要的。可以是任意曲线,或例如查找表中的值指示下变频混频信号D中或/和于图2的背景下的分析信号中,输入信号xj的理想或期望的关系。下述推导为举例说明。
声场的物理漫射可通过Cook等人介绍的方法评估(RichardK.Cook,R.V.Waterhouse,R.D.Berendt,SeymourEdelman及Jr.M.C.Thompson,“JournalOfTheAcousticalSocietyOfAmerica”,vol.27,no.6,pp.1072-1077,1955,11),利用处于两个空间上分离点处的平面波的稳态声压的相关性系数(r),如下式子(4)所示出的:
其中p1(n)及p2(n)为两点的声压测量值,n为时间指标,及<·>表示时间平均值。在稳态声场中,可推导出下列关系式:
r(k,d)=J0(kd),(针对二维声场),(6)
其中d为两测量点的间距及为波数,λ为波长。(物理参考曲线r(k,d)可已用作cref以进行进一步处理)。
声场的感知漫射性的测量值为于声场中测量的耳间交叉相关性系数(ρ)。测量ρ暗示压力传感器(个别耳朵)间的半径为固定。包含此项限制,r变成频率的函数,角频率ω=kc,其中c为声音于空气中的速度。此外,压力信号与先前考虑的因收听者的耳廓、头部及躯干所造成的反射、衍射及弯曲效应所致的自由场信号不同。空间听闻实质出现的该等效应由头部相关传递函数(HRTF)描述。考虑那些影响,于耳朵入口处产生的压力信号为pL(n,ω)及pR(n,ω)。测得的HRTF数据可用于计算,或通过使用分析模型可获得近似值(例如RichardO.Duda及WilliamL.Martens,“Rangedependenceoftheresponseofasphericalheadmodel,”JournalOfTheAcousticalSocietyOfAmerica,vol.104,no.5,pp.3048-3058,1998.11)。
由于人类听觉***用作具有有限频率选择性的频率分析器,此外可结合此种频率选择性。假设听觉滤波器的作用类似重叠带通滤波器。在如下实例说明中,使用临界频带方式来近似矩形滤波器的这些重叠带通。等效矩形带宽(ERB)可作为中心频率的函数来计算(BrianR.Glasberg及BrianC.J.Moore,“Derivationofauditoryfiltershapesfromnotched-noisedata,”HearingResearch,vol.47,pp.103-138,1990)。考虑双耳处理遵守听觉滤波,须针对分离的频率声道计算ρ,获得下列频率依赖性压力信号。
其中积分极限由根据实际中心频率ω的临界频带界限来给定。在式子(7)及(8)可使用或可不使用因子1/b(w)。
如果声压测量中之一被提前或延迟一频率独立时差,则可评估信号的一致性。人类听觉***可利用此种时间对齐性质。通常,耳间一致性被计算在±1毫秒以内。根据可用的处理能力,可只使用零延迟值(针对低复杂度)或具有时间提前及延迟的一致性(若高度复杂度为可能)来实施计算。后文中两种情况未加区别。
考虑理想漫射声场可实现理想表现,理想漫射声场可被理想化为由在所有方向传播的等强度非相关性平面波所组成的波场(即,无限数目的传播平面波重叠,具有随机相位关系及传播的均匀分布方向)。由扬声器所发射的信号对于位置足够远离的收听者而言可认为是平面波。此种平面波假设在通过扬声器的立体声回放中是常见的。如此,扬声器所再现的合成声场由来自有限数目方向的贡献平面波组成。
给定有N个声道的输入信号,通过具有扬声器位置[l1,l2,l3,...,lN].的设备回放所产生。(在只有水平回放设备的情况下,li指示方位角。在一般情况下,li=(方位角,仰角)指示扬声器相对于收听者头部的位置。若存在于收听室的设备与参***不同,则li可以可替换地表示实际回放设备的扬声器位置)。采用该信息,在假设独立信号被馈送至各个扬声器的情况下,可针对此设备计算漫射场模拟的耳间一致性参考曲线ρref。由各个时间-频率块的各个输入声道所贡献的信号功率可包含于参考曲线的计算中。在示例实施方式中,ρref用作cref.。
不同参考曲线作为频率依赖性参考曲线或相关性曲线的实例为针对在不同音源位置的不同数目音源及不同头部方位(如各图指示)而示出在图9A至图9E中。
随后,基于参考曲线在图8的背景下所讨论的分析结果的计算将被更详细地讨论。
若在假设从所有扬声器回放独立信号的情况下,下变频混频声道的相关性等于所算得的参考相关性,则目标在于导出等于1的权重。若下变频混频的相关性等于+1或-1,则导出的权重应为0,指示不存在独立成分。介于这些极端情况之间,权重应表示指示为独立(W=1)或完全依赖性(W=0)间合理的过渡。
给定参考相关性曲线cref(ω)及通过实际再现设备回放的实际输入信号的相关性/一致性的估计(csig(ω))(csig为下变频混频的相关性/一致性),可计算出csig(ω)与cref(ω)的偏差。该偏差(可能含上及下临界值)被映射至范围[0;1],以获得权重(W(m,i)),该权重被施加至所有输入声道以分离独立成分。
以下实例示出了临界值与参考曲线相对应时可能的映射:
实际曲线csig与参考曲线cref的偏差幅值(以Δ表示)由下式给定:
△(ω)=|csig(ω)-cref(ω)|(9)
给定相关性/一致性界限在[-1;+1]间,各个频率朝向+1或-1的最大可能偏差由下式给定:
各频率的权重值由此得自
考虑频率分解的时间依赖性及有限频率分辨率,权重值被推导为如下(本文中,给定可随时间改变的参考曲线的一般情况。时间独立参考曲线(亦即cref(i))也是可行的):
这种处理可以在频率分解中进行,该频率分解以被分组成知觉上启发的子频带的频率系数进行,这是因为计算复杂度及获得有较短脉冲响应的滤波器的原因。此外,可施加平滑滤波及可施加压缩函数(即,以期望方式对权重进行失真,额外引入最小和/或最大权重值)。
图5示出了本发明的又一实施方式,在该实施方式中,使用所示出的HRTF及听觉滤波器来实施下变频混频器。此外,图5另外地示出了由分析器16输出的分析结果为针对各个时间/频率仓的加权因子,及信号处理器20被示出为用以提取独立成分的提取器。然后,信号处理器20的输出再度为N个声道,但各声道现在只含独立成分而不含任何依赖性成分。在该实施方式中,分析器将计算权重,使得在图8的第一实施方式中,独立成分将接收1的权重值,而依赖性成分将接收0的权重值。然后,信号处理器20处理的原始N个声道中具有依赖性成分的时间/频率块将被设定为0。
在存在0至1的权重值的其他的可替换实施方式(图8)中,分析器将计算权重,使得与参考曲线具有小距离的时间/频率块将接收高值(较为接近1),及与参考曲线具有较大距离的时间/频率块将接收小加权因子(更接近0)。例如,在随后例示的权重中,图3中为20,则独立成分将被放大而依赖性成分将被衰减。
然而,当信号处理器20将被实施为不提取独立成分,而是提取依赖性成分时,则将相反地分配权重,使得当在图3所示的乘法器20进行加权时,独立成分被衰减而依赖性成分被放大。如此,各个信号处理器可应用于提取信号成分,原因在于实际上提取的信号成分的确定是由权重值的真正分配所决定的。
图6示出了本发明构思的另一实施方式,但现在使用处理器20的不同实现方式。在图6的实施例中,处理器20被实施用以提取独立漫射部分、独立直接部分及直接部分/成分本身。
为了从分离的独立成分(Y1,…,YN)获得贡献给对包绕/周围声场的感知的部分,须考虑进一步限制。一个这种限制可以为假设包绕周围声音以相等的强度来自各个方向。如此,例如,在独立声音信号的每个声道中各个时间-频率块的最低能量可被提取,以获得包绕周围信号(可经进一步处理来获得更高数目的周围声道)。实例:
其中P表示短时间功率估计。(本实例示出了最简单情况。一个明显的例外情况是当声道中之一包括信号暂停,在该期间该声道的功率将为非常低或为零,从而其是不适用的)。
在某些情况下,有利地是提取全部输入声道的相等能量部分,并且仅使用此提取频谱来计算权重。 其中
所提取的依赖性(这些例如可推导为Ydependent=Yj(m,i)—Xj(m,i)部分)可用来检测声道依赖性,并且如此估计输入信号特有的方向性线索,以允许进一步处理作为例如重新汰选。
图7描述了总体构思的变形例。N-声道输入信号被馈送至分析信号产生器(ASG)。M-声道分析信号的产生例如可包括从声道/扬声器至耳朵的传播模型或贯穿本文被标示为下变频混频的其它方法。不同成分的指示是基于分析信号的。指示不同成分的表征施加至输入信号(A提取/D提取(20a、20b))。已加权的输入信号可被进一步处理(A后期/D后期(70a、70b))来获得具有特定特性的输出信号,其中在该实例中,标志符“A”及“D”被选择用来指示要提取的成分可以是“周围”及“直接声音”。
随后,描述图10。若声能的方向性分布并非取决于方向,则静态声场称作漫射。方向上的能量分布可通过使用高度方向性的麦克风测量全部方向来评估。在空间声学中,处于包围体中的混响声场通常被模型化为漫射场。漫射声场可被理想化成波场,该波场由在全部方向上传播的均等强度非相关性平面波组成。此种声场为各向同性且是均匀的。
如果特别关注能量分布的均一性,则两个空间上分离的点处的稳态声压p1(t)和p2(t)的点对点相关性系数
并且该系数可用来评估声场的物理漫射。针对将正弦波源感应的声场假设为理想的三维及二维稳态漫射,可推导出下列关系式:
及
r2D=J0(kd),
其中(λ=波长)为波数,及d为测量点间距。给定这些关系式,通过比较测量数据与参考曲线可估计声场的漫射。因理想关系式仅是必要条件而非充分条件,所以可考虑以连接麦克风的轴线的不同方向进行的多个测量。
考虑在声场中的收听者,声压测量结果由耳输入信号pl(t)及pr(t)给定。如此,假定测量点间的距离d为固定的,及r变成仅为频率的函数其中c为声音在空气中的速度。耳输入信号与先前考虑的因收听者的耳廓、头部及躯干所产生的效应导致的自由场信号不同。空间听觉实质出现的这些效应由头部相关传递函数(HRTF)描述。测得的HRTF数据可用来具体体现这些效应。使用分析模型来仿真HRTF的近似。头部被模型化为半径8.75厘米的硬质球体,耳朵位置为方位角±100度及仰角0度。给定理想漫射声场中r的理论表现及HRTF的影响,可以确定用于漫射声场的频率依赖性耳间交叉相关性参考曲线。
漫射性估计是基于模拟线索与假设漫射场参考线索的比较。此项比较受人类听觉所限。在听觉***中,双耳声的处理遵循由外耳、中耳及内耳组成的听觉周边。外耳效应并非由球体模型(例如耳廓形、耳道)近似的,且不考虑中耳效应。内耳的频谱选择性被模型化为重叠带通滤波器(图10中标示为听觉滤波器)的组。临界频带办法用来通过矩形滤波器估计这些重叠带通。等效矩形带宽(ERB)被计算为中心频率的函数,符合:
b(fc)=24.7·(0.00437·fc+1)
假设人类听觉***能够执行时间调整以检测相关信号成分,并且假设交叉相关性分析用于在存在复合声音的情况下估计调整时间τ(对应于ITD)。高达约1-1.5kHz,使用波形交叉相关性来评估载波信号的时移,而在更高频率,包络交叉相关性变成重要线索。后文中不加区别。耳间一致性(IC)估算被模型化为标准化耳间交叉相关性函数的最大绝对值。
双耳感知的一些模型考虑连续的耳间交叉相关性分析。由于考虑静态信号,故不考虑对时间的依赖性。为了模型化临界频带处理的影响,计算频率依赖性标准化交叉相关函数为
其中,A是每个临界频带的交叉相关函数,及B和C是每个临界频带的自相关函数。通过带通交叉频谱及带通自我频谱,其与频域的关系可公式化如下:
其中L(f)及R(f)为耳朵输入信号的傅里叶变换,为根据真实中心频率的临界频带的积分上限及积分下限,及*表示复合共轭。
如果以不同角度来自两个或多个声源的信号重叠,则激励起伏波动的ILD及ITD线索。这种ILD及ITD随着时间及/或频率的变化可产生空间性。然而,在进行长时间平均时,在漫射声场不存在ILD及ITD。平均ITD为零表示信号间的相关性不能通过时间调整增加。原则上,可于整个可听频率范围评估ILD。因为在低频头部不构成障碍,故ILD在中高频最有效。
随后讨论图11A及图11B以说明在无需使用在图10或图4的背景下所讨论的参考曲线的情况下,分析器的可替换实施方式。
短时间傅里叶变换(STFT)被应用至所输入的环绕音频声道x1(n)至xN(n),分别获得短时间频谱X1(m,i)至XN(m,i),其中m为频谱(时间)指标及i为频率指标。计算环绕输入信号的立体下变频混频频谱(标示为及针对5.1环绕,ITU下变频混频适合为式子(1)。X1(m,i)至X5(m,i)顺次对应于左(L)、右(R)、中心(C)、左环绕(LS)、及右环绕(RS)声道。后文中,为求标示简明,大部分时间省略时间及频率指标。
基于下变频混频立体声信号,滤波器WD及WA经计算以于式子(2)及(3)获得直接及周围声音环绕信号估计。
假设周围声音信号在所有输入声道间是不相关的,选择下变频混频系数使得对于下变频混频声道也保持该假设。如此,可于式子4公式化下变频混频信号。
D1及D2表示相关的直接声音STFT频谱,及A1及A2表示不相关的周围声音。进一步假设各个声道中的直接声音及周围声音是彼此不相关的。
在最小均方意义方面,直接声音的估计通过对原始环绕信号应用维纳滤波从而抑制周围声音来实现。为了推导出可应用至全部输入声道的单一滤波器,使用式子(5)中对于左声道及右声道相同的滤波器来估计下变频混频中的直接成分。
针对该估计的联合均方误差函数由式子(6)给定。
E{·}为预期运算符,PD及PA为直接及周围成分的短期功率估计的和(式子7)。
误差函数(6)通过将其导数设备为零而被最小化。结果所得的用于直接声音估计的滤波器在式子8中。
类似地,周围声音的估计滤波器可推导如式子9。
后文中,推导对PD及PA的估计,并需要PD及PA的估计以计算WD及WA。下变频混频的交叉相关性由式子10给出。
这里,假设下变频混频信号模型(4),参考(11)。
进一步假设下变频混频中周围成分在左和右下变频混频声道中具有相等功率,则可写成式子12。
将式子12代入式子10的末行并考滤式子13,可获得式子(14)及(15)。
如在图4的背景下所讨论的,通过将两个或多个不同音源置于重新播放设备一级通过将收听者头部置于该重新播放设备的某个位置,可设想针对最小相关性的参考曲线的产生。然后,完全独立的信号由不同扬声器发出。对于2-扬声器设备,二声道将须完全不相关,相关度等于0,在此情况下将没有任何交叉混频产物。然而,由于从人类听觉***的左侧至右侧的交叉耦合而导致出现这些交叉混频产物,并且由于空间混响等还出现其它交叉耦合。因此,尽管该场景下所想象的参考信号是完全独立的,但如图4或图9A至图9D示出的所得到的参考曲线并非总是处于0,而是具有与0特别相异的值。然而,重要的是了解其实际上无需这些信号。当计算参考曲线时,假设两个或多个信号间的完全独立性也是足够的。在该背景下,然而,应当注意的是,可针对其它场景计算其它参考曲线,例如使用或假设非完全独立的信号反而信号之间彼此具有某个但预知的依赖性或依赖性程度。当计算这种不同的参考曲线时,加权因子的解释或提供将与假设完全独立信号时的参考曲线是不同的。
虽然已经在装置的背景下描述了一些方面,但显然这些方面还表示对应方法的描述,其中块或装置对应于方法步骤或方法步骤的特征。同理,于方法步骤的背景下描述的方面也表示相应装置的对应块或项或对应特征的描述。
本发明的分解信号可存储在数字存储介质上或可以以传输介质(诸如无线传输介质或有线传输介质,例如因特网)进行传输。
取决于一些实施要求,本发明的实施例可用硬件或软件来加以实现。可使用其上存储有电子可读控制信号的数字存储介质(例如,软盘、DVD、CD、ROM、PROM、EPROM、EEPROM、或闪存)来执行实施方式,其中电子可读控制信号协作于(或能够协作于)可编程计算机***从而执行相应的方法。
根据本发明的一些实施例包含具有电子可读控制信号的非暂时数据载体,其中电子可读控制信号能够与可编程计算机***协作来使得执行本文中所述方法中之一。
总体上,本发明的实施例可被实施为具有程序代码的计算机程序产品,当该计算机程序产品在计算机上运行时,该程序代码可操作以执行方法中之一。程序代码例如可存储在机器可读载体上。
其它实施例包含存储在机器可读载体上的用以执行本文中所述方法中之一的计算机程序。
因此,换言之,本发明方法的实施例为具有程序代码的计算机程序,当该计算机程序在计算机上运行时,该程序代码用以执行本文中所述方法中之一。
因此,本发明方法的又一实施例为数据载体(或数字存储介质、或计算机可读介质),其包含记录于其上的用以执行本文中所述方法中之一的计算机程序。
因此,本发明方法的又一实施例为表示用以执行本文中所述方法中之一的计算机程序的数据流或信号序列。数据流或信号序列例如可被配置为通过数据通信连接(例如通过因特网)来传输。
又一实施例包含处理装置(例如计算机或可编程逻辑器件),其被配置为或适用以执行本文中所述方法中之一。
又一实施例包含安装有用以执行本文中所述方法中之一的计算机程序的计算机。
在一些实施例中,可编程逻辑器件(例如,现场可编程门阵列)可用以执行本文中所描述的方法的部分或全部功能。在一些实施例中,现场可编程门阵列可与微处理器协作来执行本文中所述方法中之一。总体上,这些方法优选由任何硬件装置来执行。
前述实施例仅为示意性地说明本发明的原理。应当理解,本文中所描述的配置及细节的修改及变化对于本领域的普通技术人员是显而易见的。因此,意旨本发明仅由所附专利的权利要求的范围进行限定,而并不受限于通过对本文中的实施例进行的描述及说明所提供的特定细节。
Claims (14)
1.一种用以分解具有至少三个输入声道的输入信号(10)的装置,包含:
下变频混频器(12),用以对所述输入信号(10)进行下变频混频以获得下变频混频信号,其中所述下变频混频器(12)被配置为下变频混频使得所述下变频混频信号(14)的下变频混频声道的数目至少为2且小于输入声道的数目;
分析器(16),用以分析所述下变频混频信号以得到分析结果(18);及
信号处理器(20),用以使用所述分析结果(18)来处理所述输入信号(10)或从所述输入信号(10)得到的推导信号(24),其中所述信号处理器(20)被配置为施加所述分析结果至所述输入信号(10)的输入声道或所述推导信号(24)的声道,以获得经分解的信号(26),其中所述推导信号(24)不同于所述下变频混频信号。
2.根据权利要求1所述的装置,进一步包含时间/频率转换器,用以将输入声道转换成声道频率表示型态的时间序列,每个输入声道频率表示型态具有多个子带,或其中所述下变频混频器(12)包含用以转换所述下变频混频信号的时间/频率转换器,
其中所述分析器(16)被配置为针对各个子带产生分析结果(18),及
其中,所述信号处理器(20)被配置为施加各个分析结果至所述输入信号(10)或所述推导信号(24)的相应子带。
3.根据权利要求1所述的装置,其中,所述分析器(16)被配置为产生加权因子(W(m,i))作为所述分析结果,以及
其中,所述信号处理器(20)被配置为通过以所述加权因子进行加权而将所述加权因子施加至所述输入信号(10)或所述推导信号(24)。
4.根据权利要求1所述的装置,其中,所述下变频混频器被配置为来根据使得至少两个下变频混频声道彼此相异的下变频混频法则,添加已加权或未加权的输入声道。
5.根据权利要求1所述的装置,其中,所述下变频混频器(12)被配置为使用基于空间脉冲响应的滤波器、基于双耳空间脉冲响应(BRIR)的滤波器或基于HRTF的滤波器来滤波所述输入信号(10)。
6.根据权利要求1所述的装置,其中,所述处理器(20)被配置为对所述输入信号(10)或所述推导信号(24)施加维纳滤波,以及
其中,所述分析器(16)被配置为使用从所述下变频混频声道得到的期望值来计算所述维纳滤波。
7.根据前述权利要求中任一项所述的装置,进一步包含信号推导器(22),用以从所述输入信号(10)得到所述推导信号(24),使得与所述下变频混频信号或所述输入信号(10)相比,所述推导信号(24)具有不同的声道数目。
8.根据权利要求1所述的装置,其中,所述分析器(16)被配置为使用一预先存储的频率依赖性相似曲线来指示由先前已知的参考信号所能产生的两个信号间的频率依赖性相似性。
9.根据权利要求1所述的装置,其中,所述分析器(16)被配置为使用一预先存储的频率依赖性相似曲线,来指示在假设两个以上信号具有已知的相似性特征且所述两个以上信号由位于已知扬声器位置的扬声器所发出的情况下,在收听者位置处所述两个以上信号间的一频率依赖性相似性。
10.根据权利要求1所述的装置,其中,所述分析器(16)被配置为使用所述输入声道的一频率依赖性短时间功率,来计算一信号依赖性频率依赖性相似性曲线。
11.根据权利要求8所述的装置,其中,所述分析器(16)被配置为计算于一频率子带(80)中所述下变频混频声道的相似性,以将相似性结果与预存储的频率依赖性相似性曲线(82,83)进行比较,并且基于比较结果产生加权因子,来作为所述分析结果,或
计算所述分析结果与由相同频率子带的所述预存储的频率依赖性相似性曲线所指示的一相似性间的距离,并且进一步基于所述距离计算一加权因子作为所述分析结果。
12.根据权利要求1所述的装置,其中,所述分析器(16)被配置为分析于由人耳的一频率分辨率所决定的子带中的所述下变频混频声道。
13.根据权利要求1所述的装置,其中,所述分析器(16)被配置为分析所述下变频混频信号以产生允许直接周围分解的分析结果,以及
其中,所述信号处理器(20)被配置为使用所述分析结果来提取直接部分或周围部分。
14.一种用以分解具有至少三个输入声道的输入信号(10)的方法,包含:
对所述输入信号(10)进行下变频混频(12)以获得下变频混频信号,使得所述下变频混频信号(14)的下变频混频声道的数目至少为2且小于输入声道的数目;
分析(16)所述下变频混频信号以得到分析结果(18);及
使用所述分析结果(18)来处理(20)所述输入信号(10)或从所述输入信号(10)得到的推导信号(24),其中所述分析结果被施加至所述输入信号(10)的输入声道或所述推导信号(24)的声道,以获得经分解的信号(26),其中所述推导信号(24)不同于所述下变频混频信号。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US42192710P | 2010-12-10 | 2010-12-10 | |
US61/421,927 | 2010-12-10 | ||
EP11165742A EP2464145A1 (en) | 2010-12-10 | 2011-05-11 | Apparatus and method for decomposing an input signal using a downmixer |
EP11165742.5 | 2011-05-11 | ||
PCT/EP2011/070702 WO2012076332A1 (en) | 2010-12-10 | 2011-11-22 | Apparatus and method for decomposing an input signal using a downmixer |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103355001A CN103355001A (zh) | 2013-10-16 |
CN103355001B true CN103355001B (zh) | 2016-06-29 |
Family
ID=44582056
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201180067280.2A Active CN103355001B (zh) | 2010-12-10 | 2011-11-22 | 用以利用下变频混频器来分解输入信号的装置和方法 |
CN201180067248.4A Active CN103348703B (zh) | 2010-12-10 | 2011-11-22 | 用以利用预先算出的参考曲线来分解输入信号的装置和方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201180067248.4A Active CN103348703B (zh) | 2010-12-10 | 2011-11-22 | 用以利用预先算出的参考曲线来分解输入信号的装置和方法 |
Country Status (16)
Country | Link |
---|---|
US (3) | US10187725B2 (zh) |
EP (4) | EP2464146A1 (zh) |
JP (2) | JP5654692B2 (zh) |
KR (2) | KR101471798B1 (zh) |
CN (2) | CN103355001B (zh) |
AR (2) | AR084176A1 (zh) |
AU (2) | AU2011340891B2 (zh) |
BR (2) | BR112013014173B1 (zh) |
CA (2) | CA2820351C (zh) |
ES (2) | ES2534180T3 (zh) |
HK (2) | HK1190552A1 (zh) |
MX (2) | MX2013006358A (zh) |
PL (2) | PL2649815T3 (zh) |
RU (2) | RU2554552C2 (zh) |
TW (2) | TWI519178B (zh) |
WO (2) | WO2012076332A1 (zh) |
Families Citing this family (43)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI429165B (zh) | 2011-02-01 | 2014-03-01 | Fu Da Tong Technology Co Ltd | Method of data transmission in high power induction power supply |
US10056944B2 (en) | 2011-02-01 | 2018-08-21 | Fu Da Tong Technology Co., Ltd. | Data determination method for supplying-end module of induction type power supply system and related supplying-end module |
US9075587B2 (en) | 2012-07-03 | 2015-07-07 | Fu Da Tong Technology Co., Ltd. | Induction type power supply system with synchronous rectification control for data transmission |
TWI472897B (zh) * | 2013-05-03 | 2015-02-11 | Fu Da Tong Technology Co Ltd | 自動調節電壓準位之方法、裝置及其感應式電源供應器 |
US9831687B2 (en) | 2011-02-01 | 2017-11-28 | Fu Da Tong Technology Co., Ltd. | Supplying-end module for induction-type power supply system and signal analysis circuit therein |
US9048881B2 (en) | 2011-06-07 | 2015-06-02 | Fu Da Tong Technology Co., Ltd. | Method of time-synchronized data transmission in induction type power supply system |
US8941267B2 (en) | 2011-06-07 | 2015-01-27 | Fu Da Tong Technology Co., Ltd. | High-power induction-type power supply system and its bi-phase decoding method |
US9628147B2 (en) | 2011-02-01 | 2017-04-18 | Fu Da Tong Technology Co., Ltd. | Method of automatically adjusting determination voltage and voltage adjusting device thereof |
US10038338B2 (en) | 2011-02-01 | 2018-07-31 | Fu Da Tong Technology Co., Ltd. | Signal modulation method and signal rectification and modulation device |
US9600021B2 (en) | 2011-02-01 | 2017-03-21 | Fu Da Tong Technology Co., Ltd. | Operating clock synchronization adjusting method for induction type power supply system |
US9671444B2 (en) | 2011-02-01 | 2017-06-06 | Fu Da Tong Technology Co., Ltd. | Current signal sensing method for supplying-end module of induction type power supply system |
KR20120132342A (ko) * | 2011-05-25 | 2012-12-05 | 삼성전자주식회사 | 보컬 신호 제거 장치 및 방법 |
US9253574B2 (en) * | 2011-09-13 | 2016-02-02 | Dts, Inc. | Direct-diffuse decomposition |
MY181365A (en) * | 2012-09-12 | 2020-12-21 | Fraunhofer Ges Forschung | Apparatus and method for providing enhanced guided downmix capabilities for 3d audio |
EP2976898B1 (en) | 2013-03-19 | 2017-03-08 | Koninklijke Philips N.V. | Method and apparatus for determining a position of a microphone |
EP2790419A1 (en) * | 2013-04-12 | 2014-10-15 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for center signal scaling and stereophonic enhancement based on a signal-to-downmix ratio |
WO2014171791A1 (ko) | 2013-04-19 | 2014-10-23 | 한국전자통신연구원 | 다채널 오디오 신호 처리 장치 및 방법 |
CN108810793B (zh) | 2013-04-19 | 2020-12-15 | 韩国电子通信研究院 | 多信道音频信号处理装置及方法 |
US9769586B2 (en) * | 2013-05-29 | 2017-09-19 | Qualcomm Incorporated | Performing order reduction with respect to higher order ambisonic coefficients |
US9319819B2 (en) * | 2013-07-25 | 2016-04-19 | Etri | Binaural rendering method and apparatus for decoding multi channel audio |
CN105706468B (zh) | 2013-09-17 | 2017-08-11 | 韦勒斯标准与技术协会公司 | 用于音频信号处理的方法和设备 |
US10580417B2 (en) | 2013-10-22 | 2020-03-03 | Industry-Academic Cooperation Foundation, Yonsei University | Method and apparatus for binaural rendering audio signal using variable order filtering in frequency domain |
EP4246513A3 (en) | 2013-12-23 | 2023-12-13 | Wilus Institute of Standards and Technology Inc. | Audio signal processing method and parameterization device for same |
CN104768121A (zh) | 2014-01-03 | 2015-07-08 | 杜比实验室特许公司 | 响应于多通道音频通过使用至少一个反馈延迟网络产生双耳音频 |
ES2709248T3 (es) | 2014-01-03 | 2019-04-15 | Dolby Laboratories Licensing Corp | Generación de audio binaural en respuesta a un audio multicanal que usa al menos una red de retardo de retroalimentación |
WO2015142073A1 (ko) | 2014-03-19 | 2015-09-24 | 주식회사 윌러스표준기술연구소 | 오디오 신호 처리 방법 및 장치 |
US9860668B2 (en) | 2014-04-02 | 2018-01-02 | Wilus Institute Of Standards And Technology Inc. | Audio signal processing method and device |
EP2942982A1 (en) * | 2014-05-05 | 2015-11-11 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | System, apparatus and method for consistent acoustic scene reproduction based on informed spatial filtering |
EP3165007B1 (en) | 2014-07-03 | 2018-04-25 | Dolby Laboratories Licensing Corporation | Auxiliary augmentation of soundfields |
CN105336332A (zh) * | 2014-07-17 | 2016-02-17 | 杜比实验室特许公司 | 分解音频信号 |
CN106797525B (zh) | 2014-08-13 | 2019-05-28 | 三星电子株式会社 | 用于生成和回放音频信号的方法和设备 |
US9666192B2 (en) | 2015-05-26 | 2017-05-30 | Nuance Communications, Inc. | Methods and apparatus for reducing latency in speech recognition applications |
US10559303B2 (en) * | 2015-05-26 | 2020-02-11 | Nuance Communications, Inc. | Methods and apparatus for reducing latency in speech recognition applications |
TWI596953B (zh) * | 2016-02-02 | 2017-08-21 | 美律實業股份有限公司 | 錄音模組 |
EP3335218B1 (en) * | 2016-03-16 | 2019-06-05 | Huawei Technologies Co., Ltd. | An audio signal processing apparatus and method for processing an input audio signal |
EP3232688A1 (en) * | 2016-04-12 | 2017-10-18 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for providing individual sound zones |
US10659904B2 (en) * | 2016-09-23 | 2020-05-19 | Gaudio Lab, Inc. | Method and device for processing binaural audio signal |
US10187740B2 (en) * | 2016-09-23 | 2019-01-22 | Apple Inc. | Producing headphone driver signals in a digital audio signal processing binaural rendering environment |
JP6788272B2 (ja) * | 2017-02-21 | 2020-11-25 | オンフューチャー株式会社 | 音源の検出方法及びその検出装置 |
CN110383700A (zh) * | 2017-03-10 | 2019-10-25 | 英特尔Ip公司 | 杂散降低电路和装置、无线电收发器、移动终端、用于杂散降低的方法和计算机程序 |
IT201700040732A1 (it) * | 2017-04-12 | 2018-10-12 | Inst Rundfunktechnik Gmbh | Verfahren und vorrichtung zum mischen von n informationssignalen |
CA3219540A1 (en) * | 2017-10-04 | 2019-04-11 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Apparatus, method and computer program for encoding, decoding, scene processing and other procedures related to dirac based spatial audio coding |
CN111107481B (zh) * | 2018-10-26 | 2021-06-22 | 华为技术有限公司 | 一种音频渲染方法及装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1189081A (zh) * | 1996-11-07 | 1998-07-29 | Srs实验室公司 | 在记录和重放中使用的多讯道音频增强***和对此提供的方法 |
WO2010125228A1 (en) * | 2009-04-30 | 2010-11-04 | Nokia Corporation | Encoding of multiview audio signals |
Family Cites Families (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7026A (en) * | 1850-01-15 | Door-lock | ||
US9025A (en) * | 1852-06-15 | And chas | ||
US5065759A (en) * | 1990-08-30 | 1991-11-19 | Vitatron Medical B.V. | Pacemaker with optimized rate responsiveness and method of rate control |
TW358925B (en) * | 1997-12-31 | 1999-05-21 | Ind Tech Res Inst | Improvement of oscillation encoding of a low bit rate sine conversion language encoder |
SE514862C2 (sv) | 1999-02-24 | 2001-05-07 | Akzo Nobel Nv | Användning av en kvartär ammoniumglykosidtensid som en effektförhöjande hjälpkemikalie för gödningsmedel eller pesticider samt kompositioner innehållande pesticider eller gödningsmedel |
US6694027B1 (en) * | 1999-03-09 | 2004-02-17 | Smart Devices, Inc. | Discrete multi-channel/5-2-5 matrix system |
JP4322207B2 (ja) * | 2002-07-12 | 2009-08-26 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | オーディオ符号化方法 |
EP1576602A4 (en) * | 2002-12-28 | 2008-05-28 | Samsung Electronics Co Ltd | METHOD AND DEVICE FOR MIXING AUDIO SEQUENCE AND INFORMATION RECORDING MEDIUM |
US7254500B2 (en) * | 2003-03-31 | 2007-08-07 | The Salk Institute For Biological Studies | Monitoring and representing complex signals |
JP2004354589A (ja) * | 2003-05-28 | 2004-12-16 | Nippon Telegr & Teleph Corp <Ntt> | 音響信号判別方法、音響信号判別装置、音響信号判別プログラム |
DE602005005640T2 (de) | 2004-03-01 | 2009-05-14 | Dolby Laboratories Licensing Corp., San Francisco | Mehrkanalige audiocodierung |
EP1722359B1 (en) * | 2004-03-05 | 2011-09-07 | Panasonic Corporation | Error conceal device and error conceal method |
US7392195B2 (en) | 2004-03-25 | 2008-06-24 | Dts, Inc. | Lossless multi-channel audio codec |
US8843378B2 (en) | 2004-06-30 | 2014-09-23 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Multi-channel synthesizer and method for generating a multi-channel output signal |
KR101283741B1 (ko) * | 2004-10-28 | 2013-07-08 | 디티에스 워싱턴, 엘엘씨 | N채널 오디오 시스템으로부터 m채널 오디오 시스템으로 변환하는 오디오 공간 환경 엔진 및 그 방법 |
US7961890B2 (en) | 2005-04-15 | 2011-06-14 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung, E.V. | Multi-channel hierarchical audio coding with compact side information |
US7468763B2 (en) * | 2005-08-09 | 2008-12-23 | Texas Instruments Incorporated | Method and apparatus for digital MTS receiver |
US7563975B2 (en) * | 2005-09-14 | 2009-07-21 | Mattel, Inc. | Music production system |
KR100739798B1 (ko) | 2005-12-22 | 2007-07-13 | 삼성전자주식회사 | 청취 위치를 고려한 2채널 입체음향 재생 방법 및 장치 |
SG136836A1 (en) * | 2006-04-28 | 2007-11-29 | St Microelectronics Asia | Adaptive rate control algorithm for low complexity aac encoding |
US8379868B2 (en) * | 2006-05-17 | 2013-02-19 | Creative Technology Ltd | Spatial audio coding based on universal spatial cues |
US7877317B2 (en) * | 2006-11-21 | 2011-01-25 | Yahoo! Inc. | Method and system for finding similar charts for financial analysis |
US8023707B2 (en) * | 2007-03-26 | 2011-09-20 | Siemens Aktiengesellschaft | Evaluation method for mapping the myocardium of a patient |
DE102008009024A1 (de) | 2008-02-14 | 2009-08-27 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zum synchronisieren von Mehrkanalerweiterungsdaten mit einem Audiosignal und zum Verarbeiten des Audiosignals |
EP2272169B1 (en) * | 2008-03-31 | 2017-09-06 | Creative Technology Ltd. | Adaptive primary-ambient decomposition of audio signals |
US8023660B2 (en) | 2008-09-11 | 2011-09-20 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Apparatus, method and computer program for providing a set of spatial cues on the basis of a microphone signal and apparatus for providing a two-channel audio signal and a set of spatial cues |
WO2010092568A1 (en) * | 2009-02-09 | 2010-08-19 | Waves Audio Ltd. | Multiple microphone based directional sound filter |
KR101566967B1 (ko) * | 2009-09-10 | 2015-11-06 | 삼성전자주식회사 | 디지털 방송 시스템에서 패킷 디코딩 방법 및 장치 |
EP2323130A1 (en) | 2009-11-12 | 2011-05-18 | Koninklijke Philips Electronics N.V. | Parametric encoding and decoding |
EP2578000A1 (en) * | 2010-06-02 | 2013-04-10 | Koninklijke Philips Electronics N.V. | System and method for sound processing |
US9183849B2 (en) | 2012-12-21 | 2015-11-10 | The Nielsen Company (Us), Llc | Audio matching with semantic audio recognition and report generation |
-
2011
- 2011-05-11 EP EP11165746A patent/EP2464146A1/en not_active Withdrawn
- 2011-05-11 EP EP11165742A patent/EP2464145A1/en not_active Withdrawn
- 2011-11-22 BR BR112013014173-5A patent/BR112013014173B1/pt active IP Right Grant
- 2011-11-22 AU AU2011340891A patent/AU2011340891B2/en active Active
- 2011-11-22 AU AU2011340890A patent/AU2011340890B2/en active Active
- 2011-11-22 RU RU2013131775/08A patent/RU2554552C2/ru active
- 2011-11-22 CN CN201180067280.2A patent/CN103355001B/zh active Active
- 2011-11-22 ES ES11793700.3T patent/ES2534180T3/es active Active
- 2011-11-22 MX MX2013006358A patent/MX2013006358A/es active IP Right Grant
- 2011-11-22 EP EP11787858.7A patent/EP2649814B1/en active Active
- 2011-11-22 PL PL11793700T patent/PL2649815T3/pl unknown
- 2011-11-22 JP JP2013542452A patent/JP5654692B2/ja active Active
- 2011-11-22 WO PCT/EP2011/070702 patent/WO2012076332A1/en active Application Filing
- 2011-11-22 CA CA2820351A patent/CA2820351C/en active Active
- 2011-11-22 CN CN201180067248.4A patent/CN103348703B/zh active Active
- 2011-11-22 PL PL11787858T patent/PL2649814T3/pl unknown
- 2011-11-22 WO PCT/EP2011/070700 patent/WO2012076331A1/en active Application Filing
- 2011-11-22 KR KR1020137017810A patent/KR101471798B1/ko active IP Right Grant
- 2011-11-22 KR KR1020137017699A patent/KR101480258B1/ko active IP Right Grant
- 2011-11-22 EP EP11793700.3A patent/EP2649815B1/en active Active
- 2011-11-22 CA CA2820376A patent/CA2820376C/en active Active
- 2011-11-22 MX MX2013006364A patent/MX2013006364A/es active IP Right Grant
- 2011-11-22 JP JP2013542451A patent/JP5595602B2/ja active Active
- 2011-11-22 RU RU2013131774/08A patent/RU2555237C2/ru active
- 2011-11-22 ES ES11787858T patent/ES2530960T3/es active Active
- 2011-11-22 BR BR112013014172-7A patent/BR112013014172B1/pt active IP Right Grant
- 2011-11-28 TW TW100143542A patent/TWI519178B/zh active
- 2011-11-28 TW TW100143541A patent/TWI524786B/zh active
- 2011-12-06 AR ARP110104562A patent/AR084176A1/es active IP Right Grant
- 2011-12-06 AR ARP110104561A patent/AR084175A1/es active IP Right Grant
-
2013
- 2013-06-06 US US13/911,791 patent/US10187725B2/en active Active
- 2013-06-06 US US13/911,824 patent/US9241218B2/en active Active
-
2014
- 2014-04-11 HK HK14103528.9A patent/HK1190552A1/zh unknown
- 2014-04-16 HK HK14103633.1A patent/HK1190553A1/zh unknown
-
2018
- 2018-12-04 US US16/209,638 patent/US10531198B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1189081A (zh) * | 1996-11-07 | 1998-07-29 | Srs实验室公司 | 在记录和重放中使用的多讯道音频增强***和对此提供的方法 |
WO2010125228A1 (en) * | 2009-04-30 | 2010-11-04 | Nokia Corporation | Encoding of multiview audio signals |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103355001B (zh) | 用以利用下变频混频器来分解输入信号的装置和方法 | |
KR101532505B1 (ko) | 분해기를 이용하여 출력 신호를 생성하는 장치 및 방법 | |
CN103403800A (zh) | 确定多声道音频信号的声道间时间差 | |
AU2015255287B2 (en) | Apparatus and method for generating an output signal employing a decomposer |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Address after: Munich, Germany Applicant after: Fraunhofer Application and Research Promotion Association Address before: Munich, Germany Applicant before: Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. |
|
COR | Change of bibliographic data | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |