TWI823073B - 高階保真立體音響訊號表象之壓縮方法和裝置以及解壓縮方法和裝置以及非暫時性電腦可讀取媒體 - Google Patents
高階保真立體音響訊號表象之壓縮方法和裝置以及解壓縮方法和裝置以及非暫時性電腦可讀取媒體 Download PDFInfo
- Publication number
- TWI823073B TWI823073B TW110112090A TW110112090A TWI823073B TW I823073 B TWI823073 B TW I823073B TW 110112090 A TW110112090 A TW 110112090A TW 110112090 A TW110112090 A TW 110112090A TW I823073 B TWI823073 B TW I823073B
- Authority
- TW
- Taiwan
- Prior art keywords
- hoa
- signal
- decoded
- directional
- representation
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 32
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 238000003786 synthesis reaction Methods 0.000 claims description 3
- 238000007906 compression Methods 0.000 abstract description 29
- 230000006835 compression Effects 0.000 abstract description 25
- 235000009508 confectionery Nutrition 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 61
- 239000011159 matrix material Substances 0.000 description 30
- 239000013598 vector Substances 0.000 description 27
- 238000005070 sampling Methods 0.000 description 25
- 238000000354 decomposition reaction Methods 0.000 description 13
- 239000006185 dispersion Substances 0.000 description 13
- 238000009499 grossing Methods 0.000 description 12
- 238000004458 analytical method Methods 0.000 description 10
- 230000009466 transformation Effects 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 7
- 238000009826 distribution Methods 0.000 description 7
- 230000007246 mechanism Effects 0.000 description 7
- 230000008901 benefit Effects 0.000 description 6
- 230000006837 decompression Effects 0.000 description 6
- 230000002093 peripheral effect Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012732 spatial analysis Methods 0.000 description 3
- 230000007480 spreading Effects 0.000 description 3
- 238000003892 spreading Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000010845 search algorithm Methods 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 241000406668 Loxodonta cyclotis Species 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000021615 conjugation Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000003116 impacting effect Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000003362 replicative effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000001308 synthesis method Methods 0.000 description 1
- 230000005945 translocation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
- G10L19/18—Vocoders using multiple modes
- G10L19/20—Vocoders using multiple modes using sound class specific coding, hybrid encoders or object based coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04H—BROADCAST COMMUNICATION
- H04H20/00—Arrangements for broadcast or for distribution combined with broadcast
- H04H20/86—Arrangements characterised by the broadcast information itself
- H04H20/88—Stereophonic broadcast systems
- H04H20/89—Stereophonic broadcast systems using three or more audio channels, e.g. triphonic or quadraphonic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/11—Application of ambisonics in stereophonic audio systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/02—Systems employing more than two channels, e.g. quadraphonic of the matrix type, i.e. in which input signals are combined algebraically, e.g. after having been phase shifted with respect to each other
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Acoustics & Sound (AREA)
- Human Computer Interaction (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Mathematical Analysis (AREA)
- Theoretical Computer Science (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Optimization (AREA)
- General Physics & Mathematics (AREA)
- Algebra (AREA)
- Stereophonic System (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Transmission Systems Not Characterized By The Medium Used For Transmission (AREA)
- User Interface Of Digital Computer (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Separation Using Semi-Permeable Membranes (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
高階保真立體音響(HOA)表象在聲音焦點附近的完整聲場,與擴音器設置無關。高空間解析度需要高HOA係數。在本發明中,估計優勢聲音方向,把HOA訊號表象分解成時間域內之優勢方向性訊號,和相關方向資訊,以及HOA域內之周圍成分,接著藉降低其位階,以壓縮周圍成分。降階周圍成分轉換成空間域,並連同方向性訊號以感知方式編碼。在接收器側,編碼之方向性訊號和降階之編碼周圍成分,以感知方式解壓縮,經感知方式解壓縮之周圍訊號,轉換成降階之HOA域表象,接著是位階延伸。全部HOA表象是由方向性訊號,相對應方向資訊,和原階周圍HOA成分重組。
Description
本發明係關於高階立體保真音響訊號表象之壓縮和解壓縮方法和裝置,其中方向性成分和周圍成分按不同方式處理。
高階保真立體音響(HOA)的優點是,捕集三維度空間內特殊位置附近之完整聲場,該位置稱為「聲音焦點」(sweet spot)。此等HOA表象無關特殊擴音器設置,與立體聲等以頻道為基礎的技術或環境顯然不同。但此項適用性是以解碼過程為代價,需在特別的擴音器設置上回放HOA表象。
HOA係根據對所需聆聽者位置附近的諸多位置x,個別角波數k的空氣壓力複振幅來描述,使用截頭
球諧(Spherical Harmonics,SH)函數展開,可假設無損通則為球形座標原點。此項表象之空間解析,因成長的展開最大位階N而改進。惜展開係數值O隨位階N以二次方成長,即O=(N+1)2。例如使用位階N=4之典型HOA表象,需O=25係數。賦予所需抽樣率fs和每樣本之位元數Nb,即可由O.fs.Nb決定HOA訊號表象傳輸之全部位元率,而位階N=4的HOA訊號表象,以抽樣率fs=48kHz,採用每樣本Nb=16位元傳輸,得位元率19.2Mbits/s。因此,HOA訊號表象亟需壓縮。
綜觀現有空間聲訊壓縮措施,可參見歐洲專利申請案EP 10306472.1,或I.Elfitri,B.Günel,A.M.Kondoz合撰〈基於利用合成法分析之多頻道聲訊寫碼〉,IEEE學報第99卷第4期657-670頁,2011年4月。
下列技術與本發明較有關聯。
B-格式訊號,等於第一階之保真立體音響表象,可用方向性聲訊寫碼(DirAC)壓縮,載於V.Pulkki撰〈以方向性聲訊寫碼之空間聲音複製〉,音響工程學會會刊第55卷第6期503-516頁,2007年。在為電傳會議應用所擬一版本中,B-格式訊號係寫碼於單一全向性訊號和旁側資訊,單一方向和每頻帶之擴散性參數之形式。然而,造成資料率劇降,代價是複製所得微小訊號品質。再者,DirAC限於第一階保真立體音響表象之壓縮,遭受很低的空間解析。
已知方法相當罕見以N>1壓縮HOA表象。其中之一採用感知進步聲訊寫碼法(AAC)寫解碼器,進行直接編碼個別HOA係數序列,參見E.Hellerud,I.Burnett,A.Solvang,U.Peter Svensson合撰〈以AAC編碼高階保真立體音響〉,第124次AES會議,阿姆斯特丹,2008年。然而,具有如此措施之固有問題是,從未聽到訊號的感知寫碼。重建之回放訊號,通常是由HOA係數序列加權合計而得。這是解壓縮HOA表象描繪在特別擴音器設置時,有揭露感知寫碼雜訊高度或然之原因所在。以更技術性而言,感知寫碼雜訊表露之主要問題是,個別HOA係數序列間之高度交叉相關性。因為個別HOA係數序列內所寫碼雜訊訊號,通常彼此不相關,會發生感知寫碼雜訊之構成性重疊,同時,無雜訊HOA係數序列在重疊時取消。又一問題是,上述交叉相關性導致感知寫碼器效率降低。
為把此等效應程度減到最小,EP 10306472.1擬議把HOA表象在感知寫碼之前,轉換成空間域內之相等表象。空間域訊號相當於習知方向性訊號,也會相當於擴音器訊號,如果擴音器位在空間域轉換所假設之正確同樣方向。
轉換成空間域,會減少個別空間域訊號間的交叉相關性。然而,交叉相關性並未完全消除。較高交叉相關性之例為方向性訊號,其方向落在空間域訊號涵蓋的相鄰方向之中間。
EP 10306472.1和上述Hellerud等人論文之又一缺點是,感知寫碼訊號數為(N+1)2,其中N為HOA表象位階。所以,被壓縮HOA表象之資料率,以保真立體音響位階呈二次方成長。
本發明壓縮處理進行把HOA聲場表象,分解成方向性成分和周圍成分。尤其是為計算方向性聲場成分,下述為新的處理方式,以估計若干優勢聲音方向。
關於現行根據保真立體音響之方向估計方法,上述Pulkki論文提到與DirAC寫碼有關之方法,可根據B-格式聲場表象,以估計方向。方向是由針對聲場能量流動方向之平均強度向量而得。基於B-格式之變通方法,見D.Levin,S.Gannot,E.A.P.Habets撰〈在雜訊存在下使用音響向量估計到達方向〉,IEEE之ICASSP議事錄第105-108頁,2011年。方向估計是藉搜尋朝該方向的光束先前輸出訊號提供最大功率之方向,反覆進行。
然而,二種措施均拘束於B-格式供方向估計,遭遇較低空間解析。另一缺點是估計只限單一優勢方向。
HOA表象提供改進空間解析,因而得以改進估計若干優勢方向。目前根據HOA聲場表象進行估計若干方向之方法很少。根據壓縮性感測之措施參見N.Epain,C.Jin,A.van Schaik撰〈壓縮性抽樣在空間聲場分析和合成之應用〉,音響工程學會第127次會議,紐約,2009年,以及A.Wabnitz,N.Epain,A.van Schaik,C Jin
撰〈使用被壓縮感測的空間聲場之時間域重建〉,IEEE之ICASSP議事錄第465-468頁,2011年。主要構想在於假設聲場係空間稀疏,即只包含少量方向性訊號。在球體上部署多數測試方向後,採用最適化演算法,以便找出盡量少測試方向,連同相對應方向性訊號,如像所賦予HOA表象所載。此方法提供一種比所賦予HOA表象實際具備更進步之空間解析,因其可迴避所賦予HOA表象有限位階造成的空間分散。惟演算法性能,甚視是否滿足稀疏性假設而定。尤其是若聲場含有任何少量額外周圍成分,或若HOA表象受到由多頻道記錄計算會發生之雜訊影響時,措施即告失敗。
又一相當直覺的方法是,把所賦予HOA表象轉換成空間域,正如B.Rafaely在〈聲場利用球形褶合在球體上之平面波分解〉所述,美國音響學會會刊第4卷第116期,2149-2157頁,2004年10月,再搜尋「方向性功率」最大值。此措施之缺點是,周圍成分存在導致方向性功率分佈模糊,且方向性功率最大值與無任何周圍成分存在相較,會移位。
本發明要解決的問題是,提供HOA訊號的壓縮,仍然保持HOA訊號表象之高度空間解析。此問題是利用申請專利範圍第1項揭示之方法解決。利用此等方法之裝置載於申請專利範圍第4項。
本發明標的為聲場高階保真立體音響HOA表象之壓縮。在本案中,HOA指高階保真立體音響表象,以及相對應編碼或表示之聲訊訊號。估計優勢之聲音方向,把HOA訊號表象分解成時間域內之許多優勢方向性訊號,和相關方向資訊,以及HOA域內之周圍成分,接著降低其位階,以壓縮周圍成分。分解後,降階之周圍HOA成分轉換成空間域,連同方向性訊號,以感知方式寫碼。在接收器或解碼器側,編碼之方向性訊號和降階編碼之周圍成分,以感知方式解碼。經感知方式解碼之周圍訊號,轉換至降階之HOA域表象,接著是位階延伸。由方向性訊號和相應方向資訊,以及原階周圍HOA成分,重組全部HOA表象。
有利的是,周圍聲場成分可利用比原階為低的HOA表象,以充分準確性表示,而獲取周圍方向性訊號,確在壓縮和壓縮之後,仍然達成高度空間解析。
原則上,本發明方法適於壓縮高階保真立體音響HOA訊號表象,該方法包含步驟為:估計優勢方向,其中該優勢方向估計視能量優勢的HOA成分之方向性功率分佈而定;把HOA訊號表象分解或解碼成時間域內之許多優勢方向性訊號,和相關方向資訊,以及HOA域內之剩餘周圍成分,其中該剩餘周圍成分代表該HOA訊號表象和該優勢方向性訊號表象間之差異;相較於原階,降低位階,以壓縮該剩餘周圍成分;
把降階之該剩餘周圍HOA成分,轉換到空間域;以感知方式編碼該優勢方向性訊號和該轉換過之剩餘周圍HOA成分。
原則上,本發明方法適於解壓縮利用下列步驟壓縮之高階保真立體音響HOA訊號表象:估計優勢方向,其中該優勢方向估計視能量優勢的HOA成分之方向性功率分佈而定;把HOA訊號表象分解或解碼成時間域內之許多優勢方向性訊號,和相關方向資訊,以及HOA域內之剩餘周圍成分,其中該剩餘周圍成分代表該HOA訊號表象和該優勢方向性訊號表象間之差異;相較於原階,降低位階,以壓縮該剩餘周圍成分;把降階之該剩餘周圍HOA成分,轉換到空間域;以感知方式編碼該優勢方向性訊號和該轉換過之剩餘周圍HOA成分;該方法包含步驟為:以感知方式解碼該以感知方式編碼之優勢方向性訊號,和該以感知方式編碼之轉換過剩餘周圍HOA成分;逆轉換該以感知方式解碼之轉換過剩餘周圍HOA成分,以獲得HOA域表象;進行該逆轉換過剩餘周圍HOA成分位階延伸,以建立原階周圍HOA成分;組成該以感知方式解碼之優勢方向性訊號,該方向資訊和該原階延伸的周圍HOA成分,以獲得HOA訊號表
象。
原則上,本發明裝置適於壓縮高階保真立體音響HOA訊號表象,該裝置包含:適於估計優勢方向之機構,其中該優勢方向估計視能量優勢的HOA成分之方向性功率分佈而定;適於分解或解碼之機構,把HOA訊號表象分解或解碼成時間域內之許多優勢方向性訊號,和相關方向資訊,以及HOA域內之剩餘周圍成分,其中該剩餘周圍成分代表該HOA訊號表象和該優勢方向性訊號表象間之差異;適於壓縮該剩餘周圍成分之機構,相較於其原階,降低其位階;適於把降階之該剩餘周圍HOA成分轉換至空間域之機構;適於以感知方式編碼該優勢方向性訊號和該轉換過剩餘周圍HOA成分之機構。
原則上,本發明裝置適於解壓縮利用下列步驟壓縮之高階保真立體音響HOA訊號表象:估計優勢方向,其中該優勢方向估計視能量優勢的HOA成分之方向性功率分佈而定;把HOA訊號表象分解或解碼成時間域內之許多優勢方向性訊號,和相關方向資訊,以及HOA域內之剩餘周圍成分,其中該剩餘周圍成分代表該HOA訊號表象和該優勢方向性訊號表象間之差異;相較於原階,降低位階,以壓縮該剩餘周圍成分;
把降階之該剩餘周圍HOA成分,轉換到空間域;以感知方式編碼該優勢方向性訊號和該轉換過之剩餘周圍HOA成分;該裝置包含:適於以感知方式解碼該以感知方式編碼之優勢方向性訊號,和該以感知方式編碼之轉換過剩餘周圍HOA成分之機構;適於逆轉換該以感知方式解碼之轉換過剩餘周圍HOA成分之機構,以獲得HOA域表象;適於進行該逆轉換過剩餘周圍HOA成分位階延伸之機構,以建立原階周圍HOA成分;適於組成該以感知方式解碼之優勢方向性訊號,該方向資訊和該原階延伸的周圍HOA成分之機構,以獲得HOA訊號表象。
本發明優良之另外具體例,列在各申請專利範圍附屬項。
21:成幅
22:估計優勢方向
23:計算方向性訊號
24:計算周圍HOA成分
25:位階降低
26:球諧函數轉換
27:感知編碼
31:感知解碼
32:逆球諧函數轉換
33:位階延伸
34:HOA訊號組成
保真立體音響訊號使用球諧函數(Spherical Harmonics,簡稱SH)展開,描述無源面積內之聲場。此項描述之適用性歸因於物理性能,即聲壓之時間和空間行為,基本上由波方程決定。
波方程和球諧函數展開
為詳述保真立體音響,以下假設球座標系統,其空中點x=(γ,θ,Φ)T係以半徑γ>0(即與座標點之距離)、從極軸z測量之傾角θ[0,π],以及在x=y平面內從x軸測量之方位角Φ[0,2π]表示。在此球座標系統中,所連接無源面積內聲壓p(t,x)之波方程(其中t指時間),係由Earl G.Williams著教科書《傅里葉聲學》賦予,列於應用算術科學第93卷,學術出版社,1999年:
其中cs指聲速。因此,聲速關於時間之傅里葉(Fourier)變換式為:P(ω, x):=F t {p(t, x)} (2)
在先前技術中,例如M.Poletti撰〈保真立體音響使用實和複球諧函數總一說明〉(奧地利葛拉茲2009年保真立體音響研討會議事錄,2009年6月25~27日)內,也有關於SH函數之定義,對於負度指數m言,與式(6)偏差因數(-1) m 。
內部問題和保真立體音響係數
保真立體音響之目的,在於座標原點附近之聲場表象。一般而言,此有趣區域於此假設為半徑R之球,中心在座標原點,以集合{x|0 r R)載明。表象之嚴格假設是,此球視為不含任何聲源。在此球內尋找聲場表象,稱為「內部問題」,參見上述Williams教科書。
平面波分解
中心在座標原點的無聲源球內之聲場,可藉從所有可能方向撞擊到球的不同角波數量k之無數平面波重疊來表達,參見上述Rafaely論文〈平面波分解…〉。假設來自方向Ω 0的角波數k之平面波複振幅為D(k, Ω 0),可用式(11)和式(19)以相似方式表示,即關於實SH函數的相對應保真立體音響係數為:
因此,由式(20)對全部可能方向Ω 0 S 2積分,即可得角波數k的無數平面波重疊所得聲場之保真立體音響係數:
以下亦假設由此等係數賦予聲場表象,詳見下節就壓縮之討論。
有限位階之空間解析
實務上,在座標原點附近的聲場,只用位階
n N的有限數之保真立體音響係數描述。從截短系列之SH函數計算振幅密度函數,按照
引進一種空間分散,可比真振幅密度函數D(k, Ω),參見上述〈平面波分解…〉論文。可使用式(31),為來自方向Ω 0
的單一平面波,計算振幅密度函數:
在式(34)內採用式(20)內賦予平面波之保真立體音響係數,而在式(35)和(36)內開拓一些數字理論,參見上述〈平面波分解…〉論文。式(33)內性質可用式(14)表示。
就式(37)與真振幅密度函數比較:
(其中δ(.)指DirAC三角函數),空間分散因標度DirAC
三角函數被分散函數v N (θ)取代,而明顯,經利用其最大值加以常態化後,於第1圖內繪示不同的保真立體音響位階N和角度θ[0,π]。因為對N 4而言,v N (θ)第一個零大約位在(見上述〈平面波分解…〉論文),分散效應即隨保真立體音響位階N提高而降低(因而改進空間解析)。對於N→∞,分散函數v N (θ)即會聚到標度DirAC三角函數。此可見於若使用勒讓德多項式之完全關係式:
連同式(35),以表達對N→∞時v N (θ)之限度,如
當位階n N的實SH函數之向量,以下式界定:
其中O=(N-1)2,而(.) T 指易位,則由式(37)與式(33)比較,顯示分散函數可透過二個實SH向量之標積表達為:v N (θ)=S T (Ω)S(Ω 0 ) (47)
=d(t, Ω 0)v N (θ) (49)
抽樣
對於某些用途,需從時間域振幅密度函數d(t, Ω),於有限數J的分立方向Ω j ,決定標度時間域保真立體音響係數。式(28)內之積分再按照B.Rafaely撰〈球形麥克風陣列之分析和設計〉(IEEE Transactions on Speech and Audio Processing,第13卷第1期135-143頁,2005年1月)利用有限合計概算:
其中g j 指某些適當選用之抽樣權值。與〈分析和設計〉論文相反的是,概算(50)指涉使用實SH函數之時間域表象,而非使用複SH函數之頻率域表象。概算(50)要變成準確的必要條件是,振幅密度屬於有限諧波位階N,意即:
若不符合此條件,概算(50)會遭到空間混疊誤差(spatial aliasing errors),參見B.Rafaely撰〈球形麥克風陣列內的空間混疊〉(IEEE Transactions on Signal Processing,第55卷第3期1003-1010頁,2007年3月)。
抽樣條件(52)包含線性方程式集合,可用單一矩陣方程式精簡表述為:
ΨGΨ H =I (53)其中Ψ表示下式界定之模態矩陣:
而G指在其對角有權值之矩陣,即:G:=diag(g 1 ,,g J ) (55)
由式(53)可見保持式(52)之必要條件是,抽樣點數J要符合J O。把在J抽樣點的時間域振幅密度集入向量w(t):=(D(t, Ω 1),...,D(t, Ω j )) T (56)並以下式界定標度時間域保真立體音響係數之向量
二向量關係是透過SH函數展開(29)。此關係提供如下線性方程式系:w(t)=Ψ H c(t) (58)
賦予固定保真立體音響位階N,往往不可能計算抽樣點Ω j 之數J O,和相對應權值,得以保持式(52)抽樣條件。然而,若選用抽樣點,得之充分概算抽樣條件,則模態矩陣Ψ之秩數(rank)為0,其條件數量低。在此情況下,模態矩陣Ψ存在假反數:Ψ + :=(ΨΨ H ) -1 ΨΨ + (60)而從時間域振幅密度函數樣本之向量,由下式可合理概算
標度時間域保真立體音響係數向量c(t):
若J=O,且模態矩陣的秩數為0,則其假反數與其反數一致,因Ψ + =(ΨΨ H ) -1 Ψ=Ψ -H Ψ -1 Ψ=Ψ -H (62)
另外,若能滿足式(52)之抽樣條件,則保持Ψ -H =ΨG (63)二個概算(59)和(61)均同等而正確。
向量 w (t)可解釋為空間時間域訊號之向量。從HOA域轉換到空間域,可例如使用式(58)進行。此種轉換在本案稱為「球諧函數轉換」(SHT),用於降階周圍HOA成分之轉換成空間領域。隱含假設SHT之空間抽樣點Ω j 大概滿足式(52)之抽樣條件,對於j=1,...,J而言(J=0),。在此假設下,SHT矩陣滿足。若SHT絕對標度不重要,內容可略。
壓縮
本發明係關於所賦予HOA訊號表象之壓縮。如上所述,HOA表象在分解成預定數之時間域內優勢方向性訊號,和HOA域內之周圍成分,接著藉降低周圍成分之HOA表象位階,加以壓縮。此項作業開發出假設(經傾聽測試支持),周圍聲場成分可利用低解HOA表象,以充分準確性表示。優勢方向性訊號之摘取,確保在壓縮和相對應解壓縮後,保有高度空間解析。
分解後,降階周圍HOA成分轉換至空間域,連同方向性訊號,以感知方式寫碼,如歐洲專利申請案EP 10306472.1內實施例所述。
壓縮處理包含二接續步驟,如第2圖所示。個別訊號的正確定義,見下節「壓縮細說」所述。
在第2a圖所示之第一步驟或階段中,於優勢方向估計器22內估計優勢方向,把保真立體音響訊號 C (l)分解成方向性和剩餘或周圍成分,其中l指幅指數。在方向性訊號計算步驟或階段23計算方向性成分,因而把保真立體音響表象變換成時間域訊號,以具有相對應方向的D習知方向性訊號X(l)集合表示。在周圍HOA成分計算步驟或階段24計算剩餘周圍成分,以HOA域係數 C A(l)表示。
在第2b圖所示第二步驟中,進行方向性訊號 X (l)和周圍HOA成分C A(l)之感知寫碼如下:
‧習知時間域方向性訊號 X (l),可在感知寫碼器27內,使用任何已知之感知壓縮技術,按個別壓縮。
‧周圍HOA域成分 C A(l)之壓縮,分二副步驟或階段進行:
第一副步驟或階段25,進行原有保真立體音響位階N降到N RED,即N RED=2,結果為周圍HOA成分C A,RED(l)。此時,假設周圍聲場成分可利用低階HOA,以充分準確性表示。第二副步驟或階段26是根據EP 10306472.1專利申請案所述壓縮。在副步驟/階段25計算的周圍聲場成分
之O RED:=(N RED+1)2 HOA訊號 C A,RED(l),應用球諧函數轉換,轉換成空間域內O RED相等訊號 W A,RED(l),得習知時間域訊號,可輸入於並式感知寫碼器27之庫內。可應用任何已知之感知寫碼或壓縮技術。編碼後之方向性訊號和降階編碼後空間域訊號即輸出,可傳送或儲存。
全部時間域訊號 X (l)和 W A,RED(l)宜在感知寫碼器27內,聯合進行感知壓縮,藉開發潛在剩餘頻道間相關性,改進整體寫碼效率。
解壓縮
對所接收或重播訊號之解壓縮處理,如第3圖所示。如同壓縮處理,包含二接續步驟。
在第3a圖所示第一步驟或階段中,於感知解碼31進行編碼之方向性訊號和降階編碼之空間域訊號的感知解碼或解壓縮,其中代表方向性成分,而代表周圍HOA成分。以感知方式解碼或解壓縮之空間域訊號在逆球諧函數轉換器32內,經逆球諧函數轉換,轉換成N RED階之HOA域表象。然後,在位階延伸步驟或階段33內,利用位階延伸,從估計N階之適當HOA表象。
可達成之資料率縮小
本發明解決的問題是,把資料率較現有HOA表象壓縮方法大為縮小。茲討論可達成壓縮率與未壓縮HOA表象相較如下。比較率是由位階N的未壓縮HOA訊號 C (l)傳輸所需資料率,與具有相對應方向的D感知方式寫碼之方向性訊號 X (l)所組成壓縮訊號表象傳輸所需資料率比較所得,而N RED感知方式寫碼之空間域訊號 W A,RED(l)代表周圍HOA成分。
為傳輸未壓縮HOA訊號 C (l),需O.f S.N b之資料率。反之,D感知方式寫碼之方向性訊號 X (l)傳輸,需D.f b,COD之資料率,其中f b,COD指感知方式寫碼訊號之位元率。同理,N RED感知方式寫碼之空間域訊號 W A,RED(l)之傳輸號,需O RED.f b,COD之位元率。假設方向要根據遠較抽樣率f S為低率計算,亦即假設於B樣本組成的訊號幅期限固定不變,例如f S=48kHz抽樣率時B=1200,則在壓縮HOA訊號的全部資料率計算時,相對應資料率分用可略而不計。
所以,壓縮表象之傳輸需大約(D-O RED).f b,COD之資料率。因此,壓縮率γ COMPR為:
例如,採用抽樣率f S=48kHz和N b=16位元/樣本之位階N=4的HOA表象,壓縮到使用降HOA階N RED=2和位元率為64之D=3優勢方向表象,會造成壓縮率γ COMPR 25。壓縮表象之傳輸,需資料率大約768。
降低發生寫碼雜訊表露之或然率
如「先前技術」中所述,專利申請案EP 10306482.1號所載空間域訊號之感知壓縮,遭遇到訊號間之剩餘交叉相關性,會導致感知寫碼雜訊表露。按照本發明,優勢方向性訊號是在以感知方式寫碼之前,首先從HOA聲場表象摘取。意即在組成HOA表象時,於感知解碼後,寫碼雜訊之空間方向性,正好與方向性訊號相同。尤其是寫碼雜訊以及方向性訊號對任何隨意方向之助益,是利用「有限位階之空間解析」解說的空間分散函數決定性說明。換言之,在任何時刻,代表寫碼雜訊的HOA係數向量,正是代表方向性訊號的HOA係數向量之倍數。因此,雜訊HOA係數的隨意加權合計,不會導致感知寫碼雜訊之任何表露。
又,降階周圍成分正確按照EP 10306472.1所擬處理,但因根據定義,周圍成分之空間優勢訊號彼此間的相關性相當低,故感知雜訊表露之或然率低。
改進方向估計
本發明方向估計視能量優勢HOA成分之方向性功率分佈而定。方向性功率是由HOA表象之秩數降低相關性矩陣計算,利用HOA表象的相關性矩陣之本徵值(eigenvalue)分解而得。
與前述〈平面波分解…〉論文所用方向估計
相較,具有更準確之優點,因為聚焦在能量優勢HOA成分取代用於方向估計之完全HOA表象,可減少方向性功率分佈之空間模糊。
與前述〈壓縮性抽樣在空間聲場分析和合成之應用〉和〈使用被壓縮感測的空間聲場之時間域重建〉論文所擬方向估計相較,具有更牢靠的優點,理由是HOA表象之分解成方向性成分和周圍成分,迄今難有完美成果,故在方向性成分內留有少量周圍成分。則像在此二篇論文之壓縮性抽樣方法,即因其對周圍訊號存在之高度敏感性,無法提供合理之方向估計。
本發明方向估計的好處是,不會遭遇此問題。
變通應用HOA表象分解
上述HOA表象分解成許多具有相關方向資訊之方向性訊號,和HOA域內之周圍成分,可按照上述Pulkki論文〈以方向性寫碼之空間聲音複製〉所擬,用於訊號適應性DirAC般描繪HOA表象。各HOA成分可以不同方式描繪,因為二成分之物理特徵不同。例如,方向性訊號可描繪於擴音器,使用訊號泛移技術,像「向量基本之振幅泛移」(VBAP),參見V.Pulkki撰〈使用向量基本之振幅泛移的虛擬聲源定位〉,音響工程學會會報第45卷第6期456-466頁,1997年。周圍HOA成分可用已知標準HOA描繪技術加以描繪。
此等描繪不限於位階1的保真立體音響表象,因此可見當做延伸DirAC般描繪至位階N>1之HOA表象。
從HOA訊號表象估計若干方向,可用於任何相關種類之聲場分析。
以下諸節更詳細說明訊號處理步驟。
壓縮
輸入格式之定義
成幅
假設抽樣率f S=48kHz,適當之幅長為B=1200樣本,相當於幅期間25ms。
估計優勢方向
現時幅l和L-1先前幅之全部合計,表示方向性分析是基於具有L.B樣本的長疊合幅群,即對於各現時幅,考慮到相鄰幅之內容。此有助於方向性分析之穩定,理由有二:較長幅造成較大量觀察,以及因疊合幅,而使方向估計被平滑化。
假設f S=48kHz和B=1200,L之合理值為4,相當於全體幅期間為100ms。
其次,按照下式決定相關性矩陣 B (l)之本徵值分解:B(l)=V(l)A(l)V T (l) (68)其中矩陣V(l)是由本徵值v i (l),1 i O組成,
而矩陣為對角矩陣,在其對角有相對應本徵值,
此矩陣需含有益於B(l)之優勢方向性成分。
假設最大功率係優勢方向性訊號所創造,並顧及事實上使用有限位階N之HOA表象,造成方向性訊號之空間分散(參見上述〈平面波分解…〉論文),可結論為,在Ω CURRDOM,1(l)的方向性鄰區,應會發生屬於同樣方向性訊號之功率成分。由於空間訊號分散可利函數v N ()表達(見式(38)),其中,指Ω q 和Ω CURRDOM,1(l)間之角度,屬於方向性訊號之功率,按照v N 2()下降。所以,在具有θ q,1 θMIN的之方向性鄰區內,合理排除全部方向Ω q ,供搜尋其他優勢方向。可選用距離θMIN做為v N (x)之第一個零,對於N 4,是以概略賦予。第二優勢方向則設定於剩餘方向Ω q M 2內之最大功率,其中。剩餘優勢方向以類似方式決定。
此項運算可區分成二接續部份:
如此指派問題可使用公知的匈牙利演算法解答,參見H.W.Kuhn撰〈對指派問題之匈牙利方法〉,Naval研究邏輯學季刊2,第1-2期83-97頁,1955年。現時方向與來自先前幅的消極方向(見下述「消極方向」術語之說明)間之角度,設定於2θMIN。此項運算的效果是,試圖
指派的現時方向,與先前消極方向比2θMIN更接近。若距離超過2θMIN,即指派相對應現時方向屬於新訊號,意即有利於被指派給先前消極方向。
附註:當容許整體壓縮演算法有更大潛候期時,可更加牢靠進行接續方向估計之指派。例如,可更佳識別突然方向改變,不與估計錯誤導致的界外混淆。
(b)使用步驟(a)的指派,計算平滑化的方向,1 d D。平滑是基於球體幾何學,而非歐幾里德幾何學。對於各現時優勢方向,沿大圓圈之小弧度在球體上兩點交叉進行平滑化,是由方向和所特定。明確地說,方位角和傾角之平滑,係單獨以平滑因數α Ω 計算指數加權運動平均值。對於傾角,可得如下平滑運算:
方向訊號之計算
方向訊號之計算是根據模態匹配法。具體而言,搜尋其HOA表象造成所賦予HOA訊號最佳概算之方向性訊號。因為接續幅間之方向改變,會導致方向性訊號中斷,可計算疊合幅用之方向性訊號估計,接著使用適當
窗函數,使接續疊合幅之結果平滑化。然而,平滑會引進單幅之潛候期。
窗函數之例,係利用下式界定之周期性Hamming窗賦予:
於此K w指標度因數,其決定是使移動之窗合計等於1。對於第(l-1)幅,平滑後的方向性訊號係按照下式,利用加窗非平滑的估計之適當重疊加以計算: x d ((l-1)B+j)=x INST,WIN,d (l-1,B+j)+x INST,WIN,d (l,j) (101)
周圍HOA成分之計算
周圍HOA成分CA(l-1)係按照下式,從總HOA表象C(l-1)減總方向性HOA組件CDIR(l-1)而得:
其中CDIR(l-1)是由下式決定:
其中ΞDOM(l)指根據全部平滑後的方向之模態矩陣,由下式界定:
因為總方向性HOA成分之計算,亦根據疊合接續瞬間總方向性HOA成分之空間平滑,故周圍HOA成分亦以單幅之潛候期而得。
周圍HOA成分之降階
周圍HOA成分之球諧函數轉換
解壓縮
逆球諧函數轉換
位階延伸
HOA係數組成
最後分解之HOA係數,按照下式,另外由方向性和周圍HOA成分組成:
在此階段,再度引進單幅之潛候期,得以根據空間平滑,計算方向性HOA成分。如此即可避免接續幅之間的方向改變,造成聲場方向性成分之潛在不良中斷。
為計算平滑後的方向性HOA成分,把含有全部個別方向性訊號之二接續幅,銜接於單一長幅內,如:
此長幅內所含個別訊號摘錄,各乘以窗函數,一如式(100)。利用下式表達貫穿其成分之長幅時:
開窗運算可在計算已開窗訊號摘錄,1 d D,利用下式表述:
方向搜尋演算法之說明
以下說明「估計優勢方向」一節所述方向搜尋處理背後之動機,根據之某些假設,先加以界定。
假設
此模式陳明HOA係數向量c(j)一方面由I優勢方向性原始訊號x i (j),1 i l所產生,係於第l幅來自方向。特別是在單幅期間,假設方向固定。優勢原始訊號數I假設明顯小於HOA係數總數O。再者,幅長B假設明顯大於O。另方面,向量c(j)由剩餘成分c A(j)組成,視為代表理想之等方性周圍聲場。
個別HOA係數向量成分,假設具有如下性質:
方向搜尋之說明
然而應強調的是,Σ A (l)有些部份不免會漏入,因為Σ A (l)一般有滿秩數,因此由矩陣和Σ A (l)的直列所跨越之副空間,彼此並非正交。藉式(132),用於搜尋優勢方向的式(77)內向量,可以下式表達:
在式(135)內使用式(47)內所示球諧函數之如下性質:S T (Ω q )S(Ω q, )=v N (∠(Ω q, Ω q, )) (137)
21:成幅
22:估計優勢方向
23:計算方向性訊號
24:計算周圍HOA成分
Claims (7)
- 一種解壓縮包括經編碼之方向性訊號及經編碼之周圍訊號的被壓縮高階保真立體音響(HOA)訊號的方法,該方法包含:接收該被壓縮HOA訊號;獲得與該經編碼之方向性訊號相對應的方向資訊,其中該相對應的方向資訊包括從空間中均勻分布的方向組合中選出的該方向性訊號的方向;基於該方向資訊以感知方式解碼該被壓縮HOA訊號,以產生經解碼之方向性HOA訊號以及經解碼之周圍HOA訊號;對該經解碼之周圍HOA訊號執行位階延伸,以獲得該經解碼之周圍HOA訊號的表象;以及從該經解碼之周圍HOA訊號的該表象和該經解碼之方向性HOA訊號重組經解碼之HOA表象。
- 如請求項1之方法,其中該經解碼之HOA表象具有大於1的位階。
- 如請求項2之方法,其中該經解碼之周圍HOA訊號的該位階小於該經解碼之HOA表象的該位階。
- 一種用於解壓縮包括經編碼之方向性訊號及經編碼之周圍訊號的被壓縮高階保真立體音響(HOA)訊號的裝置,該裝置包含:輸入介面,其接收該被壓縮HOA訊號;第一處理器,用於獲得與該經編碼之方向性訊號相對 應的方向資訊,其中該相對應的方向資訊包括從空間中均勻分布的方向組合中選出的該方向性訊號的方向;聲訊解碼器,其基於該方向資訊以感知方式解碼該被壓縮HOA訊號,以產生經解碼之方向性HOA訊號以及經解碼之周圍HOA訊號;第二處理器,用於對該經解碼之周圍HOA訊號執行位階延伸,以獲得該經解碼之周圍HOA訊號的表象;以及合成器,用於從該經解碼之周圍HOA訊號的該表象和該經解碼之方向性HOA訊號重組經解碼之HOA表象。
- 如請求項4之裝置,其中該經解碼之HOA表象具有大於1的位階。
- 如請求項5之裝置,其中該經解碼之周圍HOA訊號的該位階小於該經解碼之HOA表象的該位階。
- 一種非暫時性電腦可讀取媒體,其包含當處理器實行請求項1之方法時執行的指令。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP12305537.8A EP2665208A1 (en) | 2012-05-14 | 2012-05-14 | Method and apparatus for compressing and decompressing a Higher Order Ambisonics signal representation |
EP12305537.8 | 2012-05-14 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW202205259A TW202205259A (zh) | 2022-02-01 |
TWI823073B true TWI823073B (zh) | 2023-11-21 |
Family
ID=48430722
Family Applications (6)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW102115828A TWI600005B (zh) | 2012-05-14 | 2013-05-03 | 高階保真立體音響訊號表象之壓縮方法和裝置以及解壓縮方法和裝置 |
TW110112090A TWI823073B (zh) | 2012-05-14 | 2013-05-03 | 高階保真立體音響訊號表象之壓縮方法和裝置以及解壓縮方法和裝置以及非暫時性電腦可讀取媒體 |
TW108114778A TWI725419B (zh) | 2012-05-14 | 2013-05-03 | 高階保真立體音響訊號表象之壓縮方法和裝置以及解壓縮方法和裝置 |
TW106122256A TWI618049B (zh) | 2012-05-14 | 2013-05-03 | 高階保真立體音響訊號表象之壓縮方法和裝置以及解壓縮方法和裝置 |
TW107119510A TWI666627B (zh) | 2012-05-14 | 2013-05-03 | 高階保真立體音響訊號表象之壓縮方法和裝置以及解壓縮方法和裝置 |
TW106146055A TWI634546B (zh) | 2012-05-14 | 2013-05-03 | 高階保真立體音響訊號表象之壓縮方法和裝置以及解壓縮方法和裝置 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW102115828A TWI600005B (zh) | 2012-05-14 | 2013-05-03 | 高階保真立體音響訊號表象之壓縮方法和裝置以及解壓縮方法和裝置 |
Family Applications After (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW108114778A TWI725419B (zh) | 2012-05-14 | 2013-05-03 | 高階保真立體音響訊號表象之壓縮方法和裝置以及解壓縮方法和裝置 |
TW106122256A TWI618049B (zh) | 2012-05-14 | 2013-05-03 | 高階保真立體音響訊號表象之壓縮方法和裝置以及解壓縮方法和裝置 |
TW107119510A TWI666627B (zh) | 2012-05-14 | 2013-05-03 | 高階保真立體音響訊號表象之壓縮方法和裝置以及解壓縮方法和裝置 |
TW106146055A TWI634546B (zh) | 2012-05-14 | 2013-05-03 | 高階保真立體音響訊號表象之壓縮方法和裝置以及解壓縮方法和裝置 |
Country Status (10)
Country | Link |
---|---|
US (6) | US9454971B2 (zh) |
EP (5) | EP2665208A1 (zh) |
JP (6) | JP6211069B2 (zh) |
KR (6) | KR102651455B1 (zh) |
CN (10) | CN112712810B (zh) |
AU (5) | AU2013261933B2 (zh) |
BR (1) | BR112014028439B1 (zh) |
HK (1) | HK1208569A1 (zh) |
TW (6) | TWI600005B (zh) |
WO (1) | WO2013171083A1 (zh) |
Families Citing this family (49)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2665208A1 (en) * | 2012-05-14 | 2013-11-20 | Thomson Licensing | Method and apparatus for compressing and decompressing a Higher Order Ambisonics signal representation |
EP2738962A1 (en) | 2012-11-29 | 2014-06-04 | Thomson Licensing | Method and apparatus for determining dominant sound source directions in a higher order ambisonics representation of a sound field |
EP2743922A1 (en) | 2012-12-12 | 2014-06-18 | Thomson Licensing | Method and apparatus for compressing and decompressing a higher order ambisonics representation for a sound field |
EP2765791A1 (en) | 2013-02-08 | 2014-08-13 | Thomson Licensing | Method and apparatus for determining directions of uncorrelated sound sources in a higher order ambisonics representation of a sound field |
EP2800401A1 (en) | 2013-04-29 | 2014-11-05 | Thomson Licensing | Method and Apparatus for compressing and decompressing a Higher Order Ambisonics representation |
US9769586B2 (en) * | 2013-05-29 | 2017-09-19 | Qualcomm Incorporated | Performing order reduction with respect to higher order ambisonic coefficients |
US9466305B2 (en) | 2013-05-29 | 2016-10-11 | Qualcomm Incorporated | Performing positional analysis to code spherical harmonic coefficients |
US20150127354A1 (en) * | 2013-10-03 | 2015-05-07 | Qualcomm Incorporated | Near field compensation for decomposed representations of a sound field |
EP2879408A1 (en) * | 2013-11-28 | 2015-06-03 | Thomson Licensing | Method and apparatus for higher order ambisonics encoding and decoding using singular value decomposition |
CN105981100B (zh) | 2014-01-08 | 2020-02-28 | 杜比国际公司 | 用于改善对声场的高阶高保真度立体声响复制表示进行编码所需的边信息的编码的方法和装置 |
US9922656B2 (en) | 2014-01-30 | 2018-03-20 | Qualcomm Incorporated | Transitioning of ambient higher-order ambisonic coefficients |
US9489955B2 (en) * | 2014-01-30 | 2016-11-08 | Qualcomm Incorporated | Indicating frame parameter reusability for coding vectors |
EP2922057A1 (en) * | 2014-03-21 | 2015-09-23 | Thomson Licensing | Method for compressing a Higher Order Ambisonics (HOA) signal, method for decompressing a compressed HOA signal, apparatus for compressing a HOA signal, and apparatus for decompressing a compressed HOA signal |
CN109410961B (zh) | 2014-03-21 | 2023-08-25 | 杜比国际公司 | 用于对压缩的hoa信号进行解码的方法、装置和存储介质 |
US10412522B2 (en) * | 2014-03-21 | 2019-09-10 | Qualcomm Incorporated | Inserting audio channels into descriptions of soundfields |
EP4089674A1 (en) | 2014-03-21 | 2022-11-16 | Dolby International AB | Method for decompressing a compressed hoa signal and apparatus for decompressing a compressed hoa signal |
TWI833562B (zh) | 2014-03-24 | 2024-02-21 | 瑞典商杜比國際公司 | 應用動態範圍壓縮至高階保真立體音響信號之方法和裝置 |
WO2015145782A1 (en) | 2014-03-26 | 2015-10-01 | Panasonic Corporation | Apparatus and method for surround audio signal processing |
US9620137B2 (en) | 2014-05-16 | 2017-04-11 | Qualcomm Incorporated | Determining between scalar and vector quantization in higher order ambisonic coefficients |
US9852737B2 (en) | 2014-05-16 | 2017-12-26 | Qualcomm Incorporated | Coding vectors decomposed from higher-order ambisonics audio signals |
US10134403B2 (en) * | 2014-05-16 | 2018-11-20 | Qualcomm Incorporated | Crossfading between higher order ambisonic signals |
US10770087B2 (en) | 2014-05-16 | 2020-09-08 | Qualcomm Incorporated | Selecting codebooks for coding vectors decomposed from higher-order ambisonic audio signals |
US9922657B2 (en) | 2014-06-27 | 2018-03-20 | Dolby Laboratories Licensing Corporation | Method for determining for the compression of an HOA data frame representation a lowest integer number of bits required for representing non-differential gain values |
WO2015197517A1 (en) * | 2014-06-27 | 2015-12-30 | Thomson Licensing | Coded hoa data frame representation that includes non-differential gain values associated with channel signals of specific ones of the data frames of an hoa data frame representation |
EP2960903A1 (en) | 2014-06-27 | 2015-12-30 | Thomson Licensing | Method and apparatus for determining for the compression of an HOA data frame representation a lowest integer number of bits required for representing non-differential gain values |
US9792924B2 (en) * | 2014-06-27 | 2017-10-17 | Dolby Laboratories Licensing Corporation | Apparatus for determining for the compression of an HOA data frame representation a lowest integer number of bits required for representing non-differential gain values |
EP2963949A1 (en) * | 2014-07-02 | 2016-01-06 | Thomson Licensing | Method and apparatus for decoding a compressed HOA representation, and method and apparatus for encoding a compressed HOA representation |
EP3164868A1 (en) * | 2014-07-02 | 2017-05-10 | Dolby International AB | Method and apparatus for decoding a compressed hoa representation, and method and apparatus for encoding a compressed hoa representation |
EP2963948A1 (en) * | 2014-07-02 | 2016-01-06 | Thomson Licensing | Method and apparatus for encoding/decoding of directions of dominant directional signals within subbands of a HOA signal representation |
US9838819B2 (en) * | 2014-07-02 | 2017-12-05 | Qualcomm Incorporated | Reducing correlation between higher order ambisonic (HOA) background channels |
KR102363275B1 (ko) | 2014-07-02 | 2022-02-16 | 돌비 인터네셔널 에이비 | Hoa 신호 표현의 부대역들 내의 우세 방향 신호들의 방향들의 인코딩/디코딩을 위한 방법 및 장치 |
WO2016001355A1 (en) * | 2014-07-02 | 2016-01-07 | Thomson Licensing | Method and apparatus for encoding/decoding of directions of dominant directional signals within subbands of a hoa signal representation |
EP3165007B1 (en) | 2014-07-03 | 2018-04-25 | Dolby Laboratories Licensing Corporation | Auxiliary augmentation of soundfields |
US9747910B2 (en) | 2014-09-26 | 2017-08-29 | Qualcomm Incorporated | Switching between predictive and non-predictive quantization techniques in a higher order ambisonics (HOA) framework |
EP3007167A1 (en) * | 2014-10-10 | 2016-04-13 | Thomson Licensing | Method and apparatus for low bit rate compression of a Higher Order Ambisonics HOA signal representation of a sound field |
EP3073488A1 (en) * | 2015-03-24 | 2016-09-28 | Thomson Licensing | Method and apparatus for embedding and regaining watermarks in an ambisonics representation of a sound field |
US10468037B2 (en) | 2015-07-30 | 2019-11-05 | Dolby Laboratories Licensing Corporation | Method and apparatus for generating from an HOA signal representation a mezzanine HOA signal representation |
US10257632B2 (en) | 2015-08-31 | 2019-04-09 | Dolby Laboratories Licensing Corporation | Method for frame-wise combined decoding and rendering of a compressed HOA signal and apparatus for frame-wise combined decoding and rendering of a compressed HOA signal |
JP6797197B2 (ja) * | 2015-10-08 | 2020-12-09 | ドルビー・インターナショナル・アーベー | 圧縮された音または音場表現のための層構成の符号化 |
US9959880B2 (en) * | 2015-10-14 | 2018-05-01 | Qualcomm Incorporated | Coding higher-order ambisonic coefficients during multiple transitions |
SG11201803909TA (en) * | 2015-11-17 | 2018-06-28 | Dolby Laboratories Licensing Corp | Headtracking for parametric binaural output system and method |
US20180338212A1 (en) * | 2017-05-18 | 2018-11-22 | Qualcomm Incorporated | Layered intermediate compression for higher order ambisonic audio data |
US10595146B2 (en) | 2017-12-21 | 2020-03-17 | Verizon Patent And Licensing Inc. | Methods and systems for extracting location-diffused ambient sound from a real-world scene |
US10657974B2 (en) * | 2017-12-21 | 2020-05-19 | Qualcomm Incorporated | Priority information for higher order ambisonic audio data |
JP6652990B2 (ja) * | 2018-07-20 | 2020-02-26 | パナソニック株式会社 | サラウンドオーディオ信号処理のための装置及び方法 |
CN110211038A (zh) * | 2019-04-29 | 2019-09-06 | 南京航空航天大学 | 基于dirac残差深度神经网络的超分辨率重建方法 |
CN113449255B (zh) * | 2021-06-15 | 2022-11-11 | 电子科技大学 | 一种改进的稀疏约束下环境分量相位角估计方法、设备及存储介质 |
CN115881140A (zh) * | 2021-09-29 | 2023-03-31 | 华为技术有限公司 | 编解码方法、装置、设备、存储介质及计算机程序产品 |
CN115096428B (zh) * | 2022-06-21 | 2023-01-24 | 天津大学 | 一种声场重建方法、装置、计算机设备和存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090262969A1 (en) * | 2008-04-22 | 2009-10-22 | Short William R | Hearing assistance apparatus |
US20120029912A1 (en) * | 2010-07-27 | 2012-02-02 | Voice Muffler Corporation | Hands-free Active Noise Canceling Device |
EP2451196A1 (en) * | 2010-11-05 | 2012-05-09 | Thomson Licensing | Method and apparatus for generating and for decoding sound field data including ambisonics sound field data of an order higher than three |
Family Cites Families (58)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100206333B1 (ko) * | 1996-10-08 | 1999-07-01 | 윤종용 | 두개의 스피커를 이용한 멀티채널 오디오 재생장치및 방법 |
EP1002388B1 (en) * | 1997-05-19 | 2006-08-09 | Verance Corporation | Apparatus and method for embedding and extracting information in analog signals using distributed signal features |
FR2779951B1 (fr) | 1998-06-19 | 2004-05-21 | Oreal | Composition tinctoriale contenant une pyrazolo-[1,5-a]- pyrimidine a titre de base d'oxydation et un coupleur naphtalenique, et procedes de teinture |
US7231054B1 (en) * | 1999-09-24 | 2007-06-12 | Creative Technology Ltd | Method and apparatus for three-dimensional audio display |
US6763623B2 (en) * | 2002-08-07 | 2004-07-20 | Grafoplast S.P.A. | Printed rigid multiple tags, printable with a thermal transfer printer for marking of electrotechnical and electronic elements |
KR20050075510A (ko) * | 2004-01-15 | 2005-07-21 | 삼성전자주식회사 | 통신 단말기를 위한 3차원 입체음향의 재생/저장 장치 및방법 |
ATE409399T1 (de) * | 2004-03-11 | 2008-10-15 | Pss Belgium Nv | Verfahren und system zum verarbeiten von tonsignalen |
CN1677490A (zh) * | 2004-04-01 | 2005-10-05 | 北京宫羽数字技术有限责任公司 | 一种增强音频编解码装置及方法 |
US7548853B2 (en) * | 2005-06-17 | 2009-06-16 | Shmunk Dmitry V | Scalable compressed audio bit stream and codec using a hierarchical filterbank and multichannel joint coding |
ATE527833T1 (de) * | 2006-05-04 | 2011-10-15 | Lg Electronics Inc | Verbesserung von stereo-audiosignalen mittels neuabmischung |
US8712061B2 (en) * | 2006-05-17 | 2014-04-29 | Creative Technology Ltd | Phase-amplitude 3-D stereo encoder and decoder |
US8374365B2 (en) * | 2006-05-17 | 2013-02-12 | Creative Technology Ltd | Spatial audio analysis and synthesis for binaural reproduction and format conversion |
DE102006047197B3 (de) * | 2006-07-31 | 2008-01-31 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zum Verarbeiten eines reellen Subband-Signals zur Reduktion von Aliasing-Effekten |
US7558685B2 (en) * | 2006-11-29 | 2009-07-07 | Samplify Systems, Inc. | Frequency resolution using compression |
KR100885699B1 (ko) * | 2006-12-01 | 2009-02-26 | 엘지전자 주식회사 | 키 입력 장치 및 입력 방법 |
CN101206860A (zh) * | 2006-12-20 | 2008-06-25 | 华为技术有限公司 | 一种可分层音频编解码方法及装置 |
KR101379263B1 (ko) * | 2007-01-12 | 2014-03-28 | 삼성전자주식회사 | 대역폭 확장 복호화 방법 및 장치 |
US20090043577A1 (en) * | 2007-08-10 | 2009-02-12 | Ditech Networks, Inc. | Signal presence detection using bi-directional communication data |
BRPI0815972B1 (pt) * | 2007-08-27 | 2020-02-04 | Ericsson Telefon Ab L M | método para recuperação de espectro em decodificação espectral de um sinal de áudio, método para uso em codificação espectral de um sinal de áudio, decodificador, e, codificador |
GB2467668B (en) * | 2007-10-03 | 2011-12-07 | Creative Tech Ltd | Spatial audio analysis and synthesis for binaural reproduction and format conversion |
WO2009046460A2 (en) * | 2007-10-04 | 2009-04-09 | Creative Technology Ltd | Phase-amplitude 3-d stereo encoder and decoder |
WO2009067741A1 (en) * | 2007-11-27 | 2009-06-04 | Acouity Pty Ltd | Bandwidth compression of parametric soundfield representations for transmission and storage |
WO2009081003A1 (fr) * | 2007-12-21 | 2009-07-02 | France Telecom | Codage/decodage par transformee, a fenetres adaptatives |
CN101202043B (zh) * | 2007-12-28 | 2011-06-15 | 清华大学 | 音频信号的编码方法和装置与解码方法和装置 |
EP2077550B8 (en) * | 2008-01-04 | 2012-03-14 | Dolby International AB | Audio encoder and decoder |
EP2248352B1 (en) * | 2008-02-14 | 2013-01-23 | Dolby Laboratories Licensing Corporation | Stereophonic widening |
US8812309B2 (en) * | 2008-03-18 | 2014-08-19 | Qualcomm Incorporated | Methods and apparatus for suppressing ambient noise using multiple audio signals |
KR101250309B1 (ko) * | 2008-07-11 | 2013-04-04 | 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. | 에일리어싱 스위치 기법을 이용하여 오디오 신호를 인코딩/디코딩하는 장치 및 방법 |
EP2144231A1 (en) * | 2008-07-11 | 2010-01-13 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Low bitrate audio encoding/decoding scheme with common preprocessing |
EP2154677B1 (en) * | 2008-08-13 | 2013-07-03 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | An apparatus for determining a converted spatial audio signal |
WO2010076460A1 (fr) * | 2008-12-15 | 2010-07-08 | France Telecom | Codage perfectionne de signaux audionumériques multicanaux |
ES2733878T3 (es) * | 2008-12-15 | 2019-12-03 | Orange | Codificación mejorada de señales de audio digitales multicanales |
EP2205007B1 (en) * | 2008-12-30 | 2019-01-09 | Dolby International AB | Method and apparatus for three-dimensional acoustic field encoding and optimal reconstruction |
CN101770777B (zh) * | 2008-12-31 | 2012-04-25 | 华为技术有限公司 | 一种线性预测编码频带扩展方法、装置和编解码*** |
GB2476747B (en) * | 2009-02-04 | 2011-12-21 | Richard Furse | Sound system |
CA2790956C (en) * | 2010-02-24 | 2017-01-17 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Apparatus for generating an enhanced downmix signal, method for generating an enhanced downmix signal and computer program |
WO2011104463A1 (fr) * | 2010-02-26 | 2011-09-01 | France Telecom | Compression de flux audio multicanal |
CN102823277B (zh) * | 2010-03-26 | 2015-07-15 | 汤姆森特许公司 | 解码用于音频回放的音频声场表示的方法和装置 |
NZ587483A (en) * | 2010-08-20 | 2012-12-21 | Ind Res Ltd | Holophonic speaker system with filters that are pre-configured based on acoustic transfer functions |
KR101826331B1 (ko) * | 2010-09-15 | 2018-03-22 | 삼성전자주식회사 | 고주파수 대역폭 확장을 위한 부호화/복호화 장치 및 방법 |
EP2450880A1 (en) * | 2010-11-05 | 2012-05-09 | Thomson Licensing | Data structure for Higher Order Ambisonics audio data |
EP2469741A1 (en) * | 2010-12-21 | 2012-06-27 | Thomson Licensing | Method and apparatus for encoding and decoding successive frames of an ambisonics representation of a 2- or 3-dimensional sound field |
FR2969804A1 (fr) * | 2010-12-23 | 2012-06-29 | France Telecom | Filtrage perfectionne dans le domaine transforme. |
EP2541547A1 (en) * | 2011-06-30 | 2013-01-02 | Thomson Licensing | Method and apparatus for changing the relative positions of sound objects contained within a higher-order ambisonics representation |
EP2665208A1 (en) | 2012-05-14 | 2013-11-20 | Thomson Licensing | Method and apparatus for compressing and decompressing a Higher Order Ambisonics signal representation |
US9288603B2 (en) | 2012-07-15 | 2016-03-15 | Qualcomm Incorporated | Systems, methods, apparatus, and computer-readable media for backward-compatible audio coding |
EP2733963A1 (en) * | 2012-11-14 | 2014-05-21 | Thomson Licensing | Method and apparatus for facilitating listening to a sound signal for matrixed sound signals |
EP2743922A1 (en) * | 2012-12-12 | 2014-06-18 | Thomson Licensing | Method and apparatus for compressing and decompressing a higher order ambisonics representation for a sound field |
CN108174341B (zh) * | 2013-01-16 | 2021-01-08 | 杜比国际公司 | 测量高阶高保真度立体声响复制响度级的方法及设备 |
EP2765791A1 (en) * | 2013-02-08 | 2014-08-13 | Thomson Licensing | Method and apparatus for determining directions of uncorrelated sound sources in a higher order ambisonics representation of a sound field |
US9685163B2 (en) * | 2013-03-01 | 2017-06-20 | Qualcomm Incorporated | Transforming spherical harmonic coefficients |
EP2782094A1 (en) * | 2013-03-22 | 2014-09-24 | Thomson Licensing | Method and apparatus for enhancing directivity of a 1st order Ambisonics signal |
US9769586B2 (en) * | 2013-05-29 | 2017-09-19 | Qualcomm Incorporated | Performing order reduction with respect to higher order ambisonic coefficients |
EP2824661A1 (en) * | 2013-07-11 | 2015-01-14 | Thomson Licensing | Method and Apparatus for generating from a coefficient domain representation of HOA signals a mixed spatial/coefficient domain representation of said HOA signals |
KR101480474B1 (ko) * | 2013-10-08 | 2015-01-09 | 엘지전자 주식회사 | 오디오 재생장치와 이를 포함하는 시스템 |
EP3073488A1 (en) * | 2015-03-24 | 2016-09-28 | Thomson Licensing | Method and apparatus for embedding and regaining watermarks in an ambisonics representation of a sound field |
US10796704B2 (en) * | 2018-08-17 | 2020-10-06 | Dts, Inc. | Spatial audio signal decoder |
US11429340B2 (en) * | 2019-07-03 | 2022-08-30 | Qualcomm Incorporated | Audio capture and rendering for extended reality experiences |
-
2012
- 2012-05-14 EP EP12305537.8A patent/EP2665208A1/en not_active Withdrawn
-
2013
- 2013-05-03 TW TW102115828A patent/TWI600005B/zh active
- 2013-05-03 TW TW110112090A patent/TWI823073B/zh active
- 2013-05-03 TW TW108114778A patent/TWI725419B/zh active
- 2013-05-03 TW TW106122256A patent/TWI618049B/zh active
- 2013-05-03 TW TW107119510A patent/TWI666627B/zh active
- 2013-05-03 TW TW106146055A patent/TWI634546B/zh active
- 2013-05-06 CN CN202110183761.5A patent/CN112712810B/zh active Active
- 2013-05-06 KR KR1020237013799A patent/KR102651455B1/ko active IP Right Grant
- 2013-05-06 WO PCT/EP2013/059363 patent/WO2013171083A1/en active Application Filing
- 2013-05-06 CN CN201710350454.5A patent/CN107180637B/zh active Active
- 2013-05-06 KR KR1020247009545A patent/KR20240045340A/ko active Search and Examination
- 2013-05-06 KR KR1020227026008A patent/KR102526449B1/ko active IP Right Grant
- 2013-05-06 KR KR1020147031645A patent/KR102121939B1/ko active IP Right Grant
- 2013-05-06 EP EP13722362.4A patent/EP2850753B1/en active Active
- 2013-05-06 CN CN201710350511.XA patent/CN107017002B/zh active Active
- 2013-05-06 CN CN201380025029.9A patent/CN104285390B/zh active Active
- 2013-05-06 EP EP19175884.6A patent/EP3564952B1/en active Active
- 2013-05-06 CN CN202110183877.9A patent/CN112735447B/zh active Active
- 2013-05-06 CN CN202310181331.9A patent/CN116312573A/zh active Pending
- 2013-05-06 KR KR1020207016239A patent/KR102231498B1/ko active IP Right Grant
- 2013-05-06 US US14/400,039 patent/US9454971B2/en active Active
- 2013-05-06 AU AU2013261933A patent/AU2013261933B2/en active Active
- 2013-05-06 CN CN202310171516.1A patent/CN116229995A/zh active Pending
- 2013-05-06 EP EP21214985.0A patent/EP4012703B1/en active Active
- 2013-05-06 CN CN201710350513.9A patent/CN107180638B/zh active Active
- 2013-05-06 JP JP2015511988A patent/JP6211069B2/ja active Active
- 2013-05-06 BR BR112014028439-3A patent/BR112014028439B1/pt active IP Right Grant
- 2013-05-06 EP EP23168515.7A patent/EP4246511A3/en active Pending
- 2013-05-06 CN CN201710350455.XA patent/CN107170458B/zh active Active
- 2013-05-06 KR KR1020217008100A patent/KR102427245B1/ko active IP Right Grant
- 2013-05-06 CN CN201710354502.8A patent/CN106971738B/zh active Active
-
2015
- 2015-09-17 HK HK15109104.7A patent/HK1208569A1/zh unknown
-
2016
- 2016-07-27 US US15/221,354 patent/US9980073B2/en active Active
- 2016-11-25 AU AU2016262783A patent/AU2016262783B2/en active Active
-
2017
- 2017-09-12 JP JP2017174629A patent/JP6500065B2/ja active Active
-
2018
- 2018-03-21 US US15/927,985 patent/US10390164B2/en active Active
-
2019
- 2019-03-05 AU AU2019201490A patent/AU2019201490B2/en active Active
- 2019-03-18 JP JP2019049327A patent/JP6698903B2/ja active Active
- 2019-07-01 US US16/458,526 patent/US11234091B2/en active Active
-
2020
- 2020-04-28 JP JP2020078865A patent/JP7090119B2/ja active Active
-
2021
- 2021-06-09 AU AU2021203791A patent/AU2021203791B2/en active Active
- 2021-12-10 US US17/548,485 patent/US11792591B2/en active Active
-
2022
- 2022-06-13 JP JP2022095120A patent/JP7471344B2/ja active Active
- 2022-08-08 AU AU2022215160A patent/AU2022215160B2/en active Active
-
2023
- 2023-10-16 US US18/487,280 patent/US20240147173A1/en active Pending
-
2024
- 2024-04-09 JP JP2024062459A patent/JP2024084842A/ja active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090262969A1 (en) * | 2008-04-22 | 2009-10-22 | Short William R | Hearing assistance apparatus |
US20120029912A1 (en) * | 2010-07-27 | 2012-02-02 | Voice Muffler Corporation | Hands-free Active Noise Canceling Device |
EP2451196A1 (en) * | 2010-11-05 | 2012-05-09 | Thomson Licensing | Method and apparatus for generating and for decoding sound field data including ambisonics sound field data of an order higher than three |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI823073B (zh) | 高階保真立體音響訊號表象之壓縮方法和裝置以及解壓縮方法和裝置以及非暫時性電腦可讀取媒體 | |
JP2015520411A5 (zh) |