TWI775838B - 用於在多源環境中之非諧波語音偵測及頻寬擴展之裝置、方法、電腦可讀媒體及設備 - Google Patents
用於在多源環境中之非諧波語音偵測及頻寬擴展之裝置、方法、電腦可讀媒體及設備 Download PDFInfo
- Publication number
- TWI775838B TWI775838B TW107113473A TW107113473A TWI775838B TW I775838 B TWI775838 B TW I775838B TW 107113473 A TW107113473 A TW 107113473A TW 107113473 A TW107113473 A TW 107113473A TW I775838 B TWI775838 B TW I775838B
- Authority
- TW
- Taiwan
- Prior art keywords
- band
- signal
- gain
- channel
- low
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 125
- 238000001514 detection method Methods 0.000 title claims 4
- 230000005284 excitation Effects 0.000 claims abstract description 281
- 230000005236 sound signal Effects 0.000 claims abstract description 178
- 238000002156 mixing Methods 0.000 claims description 27
- 230000004044 response Effects 0.000 claims description 22
- 230000003595 spectral effect Effects 0.000 description 143
- 238000013507 mapping Methods 0.000 description 80
- 230000000875 corresponding effect Effects 0.000 description 58
- 230000015572 biosynthetic process Effects 0.000 description 23
- 238000003786 synthesis reaction Methods 0.000 description 23
- 238000010586 diagram Methods 0.000 description 19
- 238000012545 processing Methods 0.000 description 19
- 230000002123 temporal effect Effects 0.000 description 16
- 239000003607 modifier Substances 0.000 description 14
- 238000001228 spectrum Methods 0.000 description 11
- 238000012986 modification Methods 0.000 description 8
- 230000004048 modification Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 230000003111 delayed effect Effects 0.000 description 7
- 230000001755 vocal effect Effects 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 230000009977 dual effect Effects 0.000 description 6
- 239000000284 extract Substances 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 239000013598 vector Substances 0.000 description 6
- 230000007774 longterm Effects 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 239000000203 mixture Substances 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 230000010363 phase shift Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 238000007476 Maximum Likelihood Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000007667 floating Methods 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002592 echocardiography Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 230000008929 regeneration Effects 0.000 description 1
- 238000011069 regeneration method Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 238000010183 spectrum analysis Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
- G10L21/0388—Details of processing therefor
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Mathematical Physics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Transmitters (AREA)
- Stereophonic System (AREA)
- Mobile Radio Communication Systems (AREA)
- Telephonic Communication Services (AREA)
Abstract
本發明提供一種裝置,其包括經組態以執行以下操作之一多聲道編碼器:接收一第一音訊信號及一第二音訊信號;對該第一音訊信號及該第二音訊信號執行一降混操作以產生一中間信號;基於該中間信號產生一低頻帶中間信號及一高頻帶中間信號;及至少部分地基於對應於低頻帶信號之一低頻帶話音值及對應於該高頻帶中間信號之一增益值來判定標記與該高頻帶中間信號相關聯的一多源旗標之一值。該多聲道編碼器經組態以基於該多源旗標產生一高頻帶中間激勵信號且基於該高頻帶中間激勵信號產生一位元串流。該裝置亦包括經組態以將該位元串流及該多源旗標傳輸至一第二裝置之一傳輸器。
Description
本發明大體上係關於音訊信號之編碼或音訊信號之解碼。
技術的進步已導致更小且更強大的計算裝置。舉例而言,當前存在多種攜帶型個人計算裝置,包括無線電話(諸如,行動及智慧型電話)、平板電腦及膝上型電腦,該等攜帶型個人計算裝置為小的輕質的且容易由使用者攜載。此等裝置可經由無線網路傳達話音及資料封包。另外,許多此類裝置併入額外功能性,諸如數位靜態攝影機、數位視訊攝影機、數位記錄器及音訊檔案播放器。又,此等裝置可處理可執行指令,包括軟體應用程式,諸如可用以存取網際網路之網路瀏覽器應用程式。因而,此等裝置可包括顯著計算能力。
第一裝置可包括或耦接至一或多個麥克風以接收音訊信號。第一裝置編碼接收之音訊信號並發送編碼音訊信號至第二裝置。第二裝置可包括一或多個輸出裝置(例如,一或多個揚聲器)以產生輸出。舉例而言,第二裝置解碼編碼音訊信號以產生經提供至該一或多個輸出裝置之輸出信號。
在單聲道編碼或立體聲編碼中,編碼器可基於接收之音訊信號產生低頻帶信號及高頻帶信號。在單聲道編碼或立體聲編碼中,接收之音訊信號可為多個聲源(諸如,同時講話的兩個人)之組合。舉例而言,第一聲源可提供有聲區段(諸如,字母「r」之聲音)且第二聲源可提供無聲區段(諸如,聲音「ssss」)。在此情境中,有聲區段之能量可集中於低頻帶中而無聲區段之能量集中於高頻帶中。相應地,低頻帶為高度有聲的,此係因為低頻帶之能量的大部分(或全部)來自第一聲源之有聲區段且高頻帶有高度雜訊,此係因為高頻帶之能量的大部分(或全部)來自第二聲源之無聲區段。
可基於低頻帶信號產生低頻帶話音參數。低頻帶話音參數接著可用以產生用以產生高頻帶激勵的混頻因數(例如,指示低頻帶中之多少為雜訊、低頻帶中之多少為諧波等的增益值)。低頻帶之諧波性質藉由擴展低頻帶激勵至高頻帶中而外推至高頻帶中。若低頻帶話音參數指示低頻帶為諧波,則高頻帶擴展亦將為諧波。替代地,若低頻帶話音參數指示低頻帶為雜訊,則高頻帶擴展亦將為雜訊。在低頻帶及高頻帶具有不同調和性特性的情形中,低頻帶話音因數可不反映(或指示)高頻帶之調和性。相應地,在此情形下,使用低頻帶話音參數以控制高頻帶激勵之產生並不反映高頻帶。
在單聲道解碼或立體聲解碼中,解碼器接收經編碼低頻帶信號及經編碼高頻帶信號。為產生輸出信號(反映由編碼器接收之音訊信號),解碼器以類似於編碼器之方式產生高頻帶激勵。類似於上文結合編碼器所描述的問題,若在解碼器處使用的低頻帶話音參數不反映高頻帶(諸如,當低頻帶話音因數指示低頻帶為高度有聲的且高頻帶為有高度雜訊時),則在
解碼器處產生的高頻帶激勵可不匹配編碼器處之高頻帶且解碼器之輸出的播出品質可降級。
在特定實施中,裝置包括經組態以執行以下操作之編碼器:接收音訊信號;基於接收之音訊信號產生高頻帶信號;及判定指示高頻帶信號之諧波量度的旗標之值。裝置進一步包括經組態以傳輸高頻帶信號之經編碼版本及旗標至第二裝置的傳輸器。
在另一特定實施中,一種方法包括在編碼器處接收音訊信號及基於接收之音訊信號產生高頻帶信號。該方法亦包括判定指示高頻帶信號之諧波量度的旗標之值及將高頻帶信號之經編碼版本及旗標自編碼器傳輸至裝置。
在另一特定實施中,非暫時性電腦可讀媒體包括指令,該等指令在由第一裝置之編碼器執行時使得編碼器執行包括以下所述之操作:在編碼器處接收音訊信號及基於接收之音訊信號產生高頻帶信號。該等操作亦包括判定指示高頻帶信號之諧波量度的旗標之值及將高頻帶信號之經編碼版本及旗標自編碼器傳輸至裝置。
在另一特定實施中,一種設備包括用於接收音訊信號之構件及用於基於接收之音訊信號產生高頻帶信號之構件。該設備亦包括用於判定指示高頻帶信號之諧波量度的旗標之值的構件及用於傳輸高頻帶信號之經編碼版本及旗標至裝置的構件。
在另一特定實施中,一種裝置包括經組態以執行以下操作之編碼器:判定對應於高頻帶信號之訊框的增益訊框參數;比較該增益訊框參數與臨限值;及回應於增益訊框參數大於臨限值,修改對應於該訊框並指示
高頻帶信號之諧波量度的旗標。該裝置進一步包括經組態以傳輸經修改旗標之傳輸器。
在另一特定實施中,一種方法包括判定對應於高頻帶信號之訊框的增益訊框參數及比較增益訊框參數與臨限值。該方法亦包括回應於增益訊框參數大於臨限值,修改對應於訊框且指示高頻帶信號之諧波量度的旗標。該方法進一步包括傳輸經修改旗標。
在另一特定實施中,非暫時性電腦可讀媒體包括指令,該等指令在由第一裝置之編碼器執行時使得編碼器執行包括以下所述之操作:判定對應於高頻帶信號之訊框的增益訊框參數及比較增益訊框參數與臨限值。該等操作亦包括回應於增益訊框參數大於臨限值,修改對應於訊框且指示高頻帶信號之諧波量度的旗標。該等操作進一步包括傳輸經修改旗標。
在另一特定實施中,一種設備包括用於判定對應於高頻帶信號之訊框的增益訊框參數的構件及用於比較增益訊框參數與臨限值的構件。該設備進一步包括用於回應於增益訊框參數大於臨限值而修改旗標的構件。旗標對應於訊框並指示高頻帶信號之諧波量度。該設備亦包括用於傳輸經修改旗標的構件。
在另一特定實施中,一種裝置包括經組態以接收至少一第一音訊信號及一第二音訊信號的多聲道編碼器。該多聲道編碼器經組態以對該第一音訊信號及該第二音訊信號執行降混操作以產生中間信號。該多聲道編碼器經組態以基於中間信號產生低頻帶中間信號及高頻帶中間信號。低頻帶中間信號對應於中間信號之低頻部分,且高頻帶中間信號對應於中間信號之高頻部分。多聲道編碼器經組態以至少部分地基於對應於低頻帶中間信號之話音值及對應於高頻帶中間信號之增益值判定與高頻帶中間信號相關
聯的多源旗標之值。多聲道編碼器經組態以至少部分地基於多源旗標產生高頻帶中間激勵信號。編碼器經進一步組態以至少部分地基於高頻帶中間激勵信號產生位元串流。該裝置進一步包括經組態以將位元串流及多源旗標傳輸至第二裝置之傳輸器。
在另一特定實施中,一種方法包括在多聲道編碼器處接收至少一第一音訊信號及一第二音訊信號。該方法包括對該第一音訊信號及該第二音訊信號執行降混操作以產生中間信號。該方法包括基於中間信號產生低頻帶中間信號及高頻帶中間信號。低頻帶中間信號對應於中間信號之低頻部分,且高頻帶中間信號對應於中間信號之高頻部分。該方法包括至少部分地基於對應於低頻帶中間信號之話音值及對應於高頻帶中間信號之增益值來判定與高頻帶中間信號相關聯的多源旗標之值。該方法包括至少部分地基於該多源旗標產生高頻帶中間激勵信號。該方法包括至少部分地基於高頻帶中間激勵信號產生位元串流。該方法進一步包括將該位元串流及該多源旗標自該多聲道編碼器傳輸至一裝置。
在另一特定實施中,一種非暫時性電腦可讀媒體包括指令,該等指令在由第一裝置之一多聲道編碼器執行時使得該多聲道編碼器執行包括以下所述之操作:在該多聲道編碼器處接收至少一第一音訊信號及一第二音訊信號。該等操作包括對該第一音訊信號及該第二音訊信號執行降混操作以產生中間信號。該等操作包括基於中間信號產生低頻帶中間信號及高頻帶中間信號。低頻帶中間信號對應於中間信號之低頻部分,且高頻帶中間信號對應於中間信號之高頻部分。該等操作包括至少部分地基於對應於低頻帶中間信號之話音值及對應於高頻帶中間信號之增益值來判定與高頻帶中間信號相關聯的多源旗標之值。該等操作包括至少部分地基於該多源旗
標產生高頻帶中間激勵信號。該等操作包括至少部分地基於高頻帶中間激勵信號產生位元串流。該等操作進一步包括將該位元串流及該多源旗標自該多聲道編碼器傳輸至一裝置。
在另一特定實施中,一種設備包括用於接收至少一第一音訊信號及一第二音訊信號的構件、用於對該第一音訊信號及該第二音訊信號執行降混操作以產生中間信號的構件,及用於基於中間信號產生低頻帶中間信號及高頻帶中間信號的構件。低頻帶中間信號對應於中間信號之低頻部分,且高頻帶中間信號對應於中間信號之高頻部分。該設備包括用於至少部分地基於對應於低頻帶信號之話音值及對應於高頻帶中間信號之增益值來判定與高頻帶中間信號相關聯的多源旗標之值的構件。該設備包括用於至少部分地基於該多源旗標產生高頻帶中間激勵信號的構件。該設備包括用於至少部分地基於高頻帶中間激勵信號產生位元串流的構件。該設備亦包括用於將該位元串流及該多源旗標傳輸至一裝置的構件。
在另一特定實施中,一種裝置包括經組態以接收對應於音訊信號之經編碼版本的位元串流的接收器。該裝置進一步包括經組態以執行以下操作之解碼器:基於低頻帶激勵信號及進一步基於指示高頻帶信號之諧波量度的旗標值而產生高頻帶激勵信號。高頻帶信號對應於音訊信號之高頻帶部分。
在另一特定實施中,一種方法包括接收對應於音訊信號之經編碼版本的位元串流。該方法進一步包括基於低頻帶激勵信號及進一步基於指示高頻帶信號之諧波量度的第一旗標值產生高頻帶激勵信號。高頻帶信號對應於音訊信號之高頻帶部分。
在另一特定實施中,一種非暫時性電腦可讀媒體包括指令,該等指
令在由裝置之一解碼器執行時使得該解碼器執行包括以下所述之操作:接收對應於音訊信號之經編碼版本的位元串流。該等操作亦包括基於低頻帶激勵信號及進一步基於指示高頻帶信號之諧波量度的第一旗標值產生高頻帶激勵信號。高頻帶信號對應於音訊信號之高頻帶部分。
在另一特定實施中,一種設備包括用於接收對應於音訊信號之經編碼版本的位元串流的構件。該設備進一步包括用於基於低頻帶激勵信號及進一步基於指示高頻帶信號之諧波量度的第一旗標值產生高頻帶激勵信號的構件。高頻帶信號對應於音訊信號之高頻帶部分。
在檢閱整個申請案之後,本發明之其他實施、優勢及特徵將變得顯而易見,該整個申請案包括以下章節:圖式簡單說明、實施方式及申請專利範圍。
100:系統
104:第一裝置
106:第二裝置
110:傳輸器
112:輸入介面
120:網路
126:第一輸出聲道/輸出信號
128:第二輸出聲道/輸出信號
130:第一音訊聲道
132:第二音訊聲道
142:第一擴音器
144:第二擴音器
146:第一麥克風
148:第二麥克風
152:聲源
153:記憶體
191:指令
200:編碼器
202:降混器
204:聲道間頻寬擴展(ICBWE)編碼器
204a:聲道間頻寬擴展編碼器之第一部分
204b:聲道間頻寬擴展編碼器之第二部分
206:中間聲道頻寬擴展編碼器
208:低頻帶編碼器
212:左聲道
214:右聲道
216:降混位元串流
222:中間聲道
224:低頻帶側聲道
232:低頻帶激勵
234:參數
237:諧波高頻帶激勵
242:聲道間頻寬擴展位元串流
244:高頻帶中間聲道位元串流
246:低頻帶位元串流
251:線性預測係數(LPC)估計器
252:線性預測係數量化器
253:非線性頻寬擴展(BWE)產生器
254:隨機雜訊產生器
255:倍增器
256:雜訊包絡調變器
257:求和器
258:倍增器
259:線性預測係數合成濾波器
260:高頻帶增益形狀估計器
261:高頻帶增益形狀量化器
262:高頻帶增益形狀按比例調整器
263:高頻帶增益訊框估計器
264:高頻帶增益訊框量化器
265:多工器
271:高頻帶線性預測係數
272:高頻帶線性預測係數位元串流
273:經增益調整之諧波高頻帶激勵
274:雜訊
275:經增益調整之經調變雜訊
276:高頻帶激勵
277:經合成高頻帶中間聲道
278:高頻帶增益形狀參數
279:經量化高頻帶增益形狀參數
280:高頻帶增益形狀位元串流
281:經按比例調整之經合成高頻帶中間聲道
282:高頻帶增益訊框參數
283:高頻帶增益訊框位元串流
290:濾波器組
292:高頻帶中間聲道
294:低頻帶中間聲道
299:高頻帶激勵產生器
300:解碼器
302:中間聲道頻寬擴展解碼器
304:低頻帶解碼器
306:聲道間頻寬擴展解碼器
308:低頻帶升混器
310:信號組合器
312:信號組合器
314:聲道間移位器
322:參數
324:高頻帶中間聲道
325:低頻帶激勵信號
326:低頻帶中間聲道
328:低頻帶側聲道
330:高頻帶左聲道
332:高頻帶右聲道
334:低頻帶左聲道
336:低頻帶右聲道
340:未經移位左聲道
342:未經移位右聲道
350:左聲道
352:右聲道
360:線性預測係數反量化器
362:高頻帶激勵產生器
364:線性預測係數合成濾波器
366:高頻帶增益形狀反量化器
368:高頻帶增益形狀按比例調整器
370:高頻帶增益訊框反量化器
372:高頻帶增益訊框按比例調整器
380:高頻帶激勵
382:經合成高頻帶中間聲道
384:經按比例調整之經合成高頻帶中間聲道
404:高頻帶參考聲道判定單元
406:高頻帶參考聲道指示符編碼器
408:非參考高頻帶激勵產生器
410:線性預測係數(LPC)合成濾波器
412:高頻帶目標聲道產生器
414:頻譜映射估計器
416:頻譜映射量化器
418:信號倍增器
420:信號倍增器
422:信號組合器
424:開關
440:高頻帶參考聲道指示符
442:高頻帶參考聲道指示符位元串流
452:經增益調整之諧波高頻帶激勵
454:經增益調整之經調變雜訊
456:非參考高頻帶激勵
457:經量化高頻帶線性預測係數
458:經合成非參考高頻帶
459:非參考聲道
460:非參考高頻帶聲道
462:頻譜映射參數
464:高頻帶頻譜映射位元串流
466:經量化頻譜映射參數
482:經調變雜訊
502:頻譜映射施加器
504:增益映射估計器與量化器
514:頻譜狀經合成非參考高頻帶
516:非參考高頻帶聲道
520:經合成高頻帶中間聲道
522:高頻帶增益映射位元串流
524:經量化高頻帶增益映射位元串流
590:多工器
602:非參考高頻帶激勵產生器
604:線性預測係數合成濾波器
606:頻譜映射施加器
608:頻譜映射反量化器
610:高頻帶增益形狀按比例調整器
612:非參考高頻帶增益按比例調整器
616:增益映射反量化器
618:參考高頻帶增益按比例調整器
620:高頻帶聲道映射器
622:信號倍增器
624:信號倍增器
626:信號組合器
630:諧波高頻帶激勵
632:經調變雜訊
634:經增益調整之諧波高頻帶激勵
636:經增益調整之經調變雜訊
638:非參考高頻帶激勵
640:經反量化高頻帶線性預測係數
642:經合成非參考高頻帶
644:經反量化頻譜映射位元串流
646:頻譜狀經合成非參考高頻帶
648:經反量化高頻帶增益形狀
650:經按比例調整信號
651:倍增器
652:經反量化高頻帶增益訊框
656:所得信號
658:經解碼高頻帶非參考聲道
660:經量化高頻帶增益映射參數
662:經解碼高頻帶中間聲道
664:經解碼高頻帶參考聲道
700:估計頻譜映射參數之方法
702:步驟
704:步驟
706:步驟
708:步驟
710:步驟
712:步驟
800:提取頻譜映射參數之方法
802:步驟
804:步驟
806:步驟
808:步驟
810:步驟
812:步驟
900:編碼器
902:低頻帶話音(w)
904:前一訊框之增益訊框
906:非諧波高頻帶偵測器
908:低頻帶話音因數(z)
910:非諧波高頻帶旗標(x)
912:高頻帶混合增益估計器
914:低頻帶話音因數(z)
916:雜訊包絡控制參數估計器
918:雜訊包絡控制參數
920:經修改非諧波高頻帶旗標(y)
922:非諧波高頻帶旗標修改器
1000:解碼器
1012:高頻帶混合增益估計器
1014:低頻帶話音因數(z)
1016:雜訊包絡控制參數估計器
1018:雜訊包絡控制參數
1020:經修改非諧波高頻帶旗標(y)
1100:聲道間頻寬擴展編碼器的第三部分
1102:高頻帶混合增益估計器
1200:聲道間頻寬擴展解碼器的部分
1202:高頻帶混合增益估計器
1300:音訊信號編碼之方法
1302:步驟
1304:步驟
1306:步驟
1308:步驟
1400:音訊信號編碼之方法
1402:步驟
1404:步驟
1406:步驟
1408:步驟
1500:音訊信號編碼之方法
1502:步驟
1504:步驟
1506:步驟
1508:步驟
1510:步驟
1512:步驟
1514:步驟
1600:音訊信號編碼之方法
1602:步驟
1604:步驟
1700:裝置
1702:數位至類比轉換器(DAC)
1704:類比至數位轉換器(ADC)
1706:處理器
1708:媒體寫碼器-解碼器
1710:處理器
1712:回音消除器
1722:系統級封裝或系統單晶片裝置
1726:顯示控制器
1728:顯示器
1730:輸入裝置
1734:編碼解碼器
1742:天線
1744:電源供應器
1746:麥克風
1748:揚聲器
1800:基地台
1806:處理器
1808:音訊編碼解碼器
1810:轉碼器
1814:資料串流
1816:經轉碼資料串流
1832:記憶體
1836:編碼器
1838:解碼器
1842:第一天線
1844:第二天線
1852:第一收發器
1854:第二收發器
1860:網路連接
1862:解調變器
1864:接收器資料處理器
1870:媒體閘道器
1882:傳輸資料處理器
1884:傳輸多輸入多輸出(MIMO)處理器
圖1為系統之特定說明性實例的方塊圖,該系統包括可操作以判定指示高頻帶信號之諧波量度的第一旗標值的編碼器及可操作以使用指示高頻帶信號之諧波量度的第二旗標值的解碼器;圖2A為說明圖1之編碼器的圖;圖2B為說明中間聲道頻寬擴展(BWE)編碼器的圖;圖3A為說明圖1之解碼器的圖;圖3B為說明中間聲道BWE解碼器的圖;圖4為說明圖1之編碼器之聲道間頻寬擴展編碼器之第一部分的圖;圖5為說明圖1之編碼器之聲道間頻寬擴展編碼器之第二部分的圖;圖6為說明圖1之聲道間頻寬擴展解碼器的圖;圖7為估計一或多個頻譜映射參數之方法的特定實例;
圖8為提取一或多個頻譜映射參數之方法的特定實例;圖9為說明經組態以使用指示高頻帶信號之諧波量度的旗標的中間聲道頻寬擴展(BWE)編碼器之圖;圖10為說明經組態以使用指示高頻帶信號之諧波量度的旗標的中間聲道BWE解碼器之圖;圖11為說明經組態以使用指示高頻帶信號之諧波量度的旗標的圖1之編碼器的聲道間頻寬擴展編碼器之第三部分的圖;圖12為說明經組態以使用指示高頻帶信號之諧波量度的旗標的圖1之聲道間頻寬擴展解碼器的一部分之圖;圖13為判定指示高頻帶信號之諧波量度的旗標值的方法之特定實例;圖14為修改指示高頻帶信號之諧波量度的旗標之方法的特定實例;圖15為至少部分地基於指示高頻帶信號之諧波量度的旗標產生高頻帶信號的方法之特定實例;圖16為使用指示音訊信號之高頻帶部分之諧波量度的旗標的方法之特定實例;圖17為可操作以判定指示高頻帶信號之諧波量度之旗標值的行動裝置的特定說明性實例之方塊圖;且圖18為可操作以判定指示高頻帶信號之諧波量度的旗標值的基地台之方塊圖。
本申請案主張2017年4月21日申請之題為「INTER-CHANNEL
BANDWIDTH EXTENSION IN A MULTI-SOURCE ENVIRONMENT」的美國臨時專利申請案第62/488,654號的優先權,該案以全文引用的方式併入本文中。
下文參看圖式描述本發明之特定態樣。在本說明書中,共同部件由共同參考編號指示。如本文所使用,各種術語僅僅用於描述特定實施之目的,且並不意欲限制實施。舉例而言,單數形式「一」及「該」意欲包括複數形式,除非上下文另外清楚地指示。可進一步理解,術語「包含(comprise/comprises/comprising)」可與「包括(include/includes/including)」互換使用。另外,應理解,術語「其中(wherein)」可與「在…的情況下(where)」互換使用。如本文中所使用,「例示性」可指示實例、實施及/或態樣,且不應被視作限制或視為指示偏好或較佳實施。如本文所使用,用以修改諸如結構、組件、操作等之元件之序數術語(例如,「第一」、「第二」、「第三」等)本身不指示元件關於另一元件之任何優先權或次序,而是僅將元件與具有相同名稱之另一元件區別開(除非使用序數術語)。如本文所用,術語「集合」係指特定元件中之一或多者,且術語「複數個」係指特定元件中之多個(例如,兩個或大於兩個)。
在本發明中,諸如「判定」、「計算」、「估計」、「移位」、「調整」等之術語可用於描述如何執行一或多個操作。應注意,此等術語不應解釋為限制性的且其他技術可用以執行類似操作。另外,如本文中所提及,「產生」、「計算」、「估計」、「使用」、「選擇」、「存取」及「判定」可互換地使用。舉例而言,「產生」、「計算」、「估計」或「判定」參數(或信號)可指積極地產生、估計、計算或判定參數(或信號),或可指使用、選擇或存取
已(諸如)由另一組件或裝置產生之參數(或信號)。
揭示可操作以編碼多音訊信號之系統及裝置。如本文中進一步描述,本發明係關於當低頻帶可為諧波或非諧波時寫碼(例如,編碼或解碼)在高頻帶中之信號。舉例而言,系統、裝置及方法可經組態以偵測高頻帶信號之調和性並設定指示高頻帶信號之諧波量度(例如,調和性,諸如調和性之相對程度)的旗標之值。系統、裝置及方法可經進一步組態以使用旗標以產生高頻帶信號並修改旗標(例如,修改旗標之值)。舉例而言,旗標(或經修改旗標)可用於判定一或多個混頻參數、雜訊包絡參數、增益形狀參數、增益訊框參數或其組合。本文中所描述的系統、裝置及方法適用於單聲道寫碼(例如,單聲道編碼或單聲道解碼)及立體聲/多聲道寫碼(例如,立體聲/多聲道編碼、立體聲/多聲道解碼或兩者)。
裝置可包括經組態以編碼多個音訊信號之編碼器。可使用多個記錄裝置(例如,多個麥克風)同時及時地俘獲多個音訊信號。在一些實例中,可藉由多工若干同時或非同時記錄之音訊聲道合成地(例如,人工)產生多個音訊信號(或多聲道音訊)。如說明性實例,音訊聲道之並行記錄或多工可產生2聲道組態(亦即,立體聲:左及右)、5.1聲道組態(左、右、中央、左環繞、右環繞及低頻重音(LFE)聲道)、7.1聲道組態、7.1+4聲道組態、22.2聲道組態或N聲道組態。
電話會議室(或遠程呈現室)內之音訊捕獲裝置可包括獲取空間音訊之多個麥克風。空間音訊可包括語音以及經編碼且經傳輸之背景音訊。視如何配置麥克風以及給定源(例如,講話者)位於相對於麥克風及房間大小的位置,來自該源(例如,講話者)之話語/音訊可於不同時間到達多個麥克風處。舉例而言,相比於與裝置相關聯之第二麥克風,聲源(例如,講話者)
可更接近與裝置相關聯之第一麥克風。因此,與第二麥克風相比,自聲源發出之聲音可更早到達第一麥克風。裝置可經由第一麥克風接收第一音訊信號,且可經由第二麥克風接收第二音訊信號。
中側(MS)寫碼及參數立體(PS)寫碼為可提供優於雙單聲道寫碼技術之經改良效能的立體寫碼技術。在雙單聲道寫碼中,左(L)聲道(或信號)及右(R)聲道(或信號)經獨立地寫碼,而不利用聲道間相關。在寫碼之前,藉由將左聲道及右聲道變換為總聲道及差聲道(例如,旁聲道),MS寫碼減少相關L/R聲道對之間的冗餘。總信號及差信號經波形寫碼或基於MS寫碼中之模型而寫碼。總和信號比側信號耗費相對更多的位元。PS寫碼藉由將L/R信號轉換為總和信號及一組側參數來減少每一子頻帶中之冗餘。側參數可指示聲道間強度差(IID)、聲道間相位差(IPD)、聲道間時差(ITD)、側或殘餘預測增益,等。總和信號為經寫碼之波形且與側參數一起傳輸。在混合式系統中,側聲道可在較低頻帶(例如,小於2千赫茲(kHz))中經波形寫碼且在較高頻帶(例如,大於或等於2kHz)中經PS寫碼,其中聲道間相位保持在感知上不太關鍵。在一些實施中,PS寫碼亦可在波形寫碼之前用於較低頻帶中以減少聲道間冗餘。
可在頻域或子頻帶域中完成MS寫碼及PS寫碼。在一些實例中,左聲道及右聲道可不相關。舉例而言,左聲道及右聲道可包括不相關之合成信號。當左聲道及右聲道不相關時,MS寫碼、PS寫碼或兩者之寫碼效率可接近於雙單聲道寫碼之寫碼效率。
取決於記錄組態,可在左聲道與右聲道之間存在時間移位以及其他空間效應(諸如,回聲及室內回響)。若並不補償聲道之間的時間移位及相位失配,則總和聲道及差聲道可含有減少與MS或PS技術相關聯之寫碼增
益的可比能量。寫碼增益之減少可基於時間(或相位)移位之量。總和信號及差信號之可比能量可限制聲道經時間移位但高度相關之某些訊框中的MS寫碼之使用。在立體聲寫碼中,中間聲道(例如,總和聲道)及側聲道(例如,差聲道)可基於以下公式產生:M=(L+R)/2,S=(L-R)/2, 公式1
其中M對應於中聲道,S對應於側聲道,L對應於左聲道,且R對應於右聲道。
在一些情況下,中間聲道及側聲道可基於以下公式產生:M=c(L+R),S=c(L-R), 公式2
其中c對應於頻率相依之複合值。基於公式1或公式2而產生中間聲道及側聲道可被稱作「降混」。基於公式1或公式2而自中間聲道及側聲道產生左聲道及右聲道之相反程序可被稱作「升混」。
在一些情況下,中聲道可係基於其他公式,諸如:M=(L+gDR)/2,或 公式3
M=g1L+g2R 公式4
其中g1+g2=1.0,且其中gD為增益參數。在其他實例中,降混可在頻帶中執行,其中中間(b)=c1L(b)+c2R(b),其中c1及c2為複數,其中側(b)=c3L(b)-c4R(b),且其中c3及c4為複數。
用以在MS寫碼或雙單聲道寫碼之間選擇特定訊框之特別途徑可包括:產生中信號及側信號,計算中信號及側信號之能量,並基於能量判定是否執行MS寫碼。舉例而言,可執行MS寫碼以回應側信號與中信號之能量比小於臨限值之判定。舉例而言,若右聲道經移位至少一第一時間(例如,在48kHz下約0.001秒或48個樣本),則中間信號(對應於左信號及右
信號之總和)之第一能量可與用於有聲語音訊框的側信號(對應於左信號與右信號之間的差)之第二能量相當。當第一能量與第二能量相當時,較高數目之位元可用於編碼側聲道,藉此減少相對於雙單聲道寫碼之MS寫碼的寫碼效能。雙單聲道寫碼因此可在第一能量與第二能量相當時(例如,在第一能量與第二能量之比率大於或等於臨限值時)使用。在替代途徑中,可針對特定訊框基於臨限值與左通道及右通道之歸一化交叉相關值之比較來在MS寫碼與雙單聲道寫碼之間作出決定。
在一些實例中,編碼器可判定指示第一音訊信號與第二音訊信號之間的時間未對準之量的失配值。如本文所使用,「時間移位值」、「移位值」及「失配值」可被互換地使用。舉例而言,編碼器可判定指示第一音訊信號相對於第二音訊信號之移位(例如,時間失配)的時間移位值。時間失配值可對應於在第一麥克風處第一音訊信號之接收與在第二麥克風處第二音訊信號之接收之間的時間延遲之量。此外,編碼器可在逐訊框基礎上例如,基於每一20毫秒(ms)話音/音訊訊框判定時間失配值。舉例而言,時間失配值可對應於第二音訊信號之第二訊框相對於第一音訊信號之第一訊框延遲的時間量。替代地,時間失配值可對應於第一音訊信號之第一訊框相對於第二音訊信號之第二訊框延遲的時間量。
當聲源距第一麥克風之距離比距第二麥克風之距離更近時,第二音訊信號之訊框可相對於第一音訊信號之訊框經延遲。在此情況下,第一音訊信號可被稱為「參考音訊信號」或「參考聲道」且經延遲第二音訊信號可被稱為「目標音訊信號」或「目標聲道」。替代地,當聲源距離第二麥克風之距離比距第一麥克風之距離更近時,第一音訊信號之訊框可相對於第二音訊信號之訊框經延遲。在此情況下,第二音訊信號可被稱為參考音
訊信號或參考聲道,且經延遲第一音訊信號可被稱為目標音訊信號或目標聲道。
視聲源(例如,講話者)位於會議室或遠程呈現室內之位置及聲源(例如,講話者)位置如何相對於麥克風改變,參考聲道及目標聲道可自一個訊框改變至另一訊框;類似地,時間延遲值亦可自一個訊框改變至另一訊框。然而,在一些實施中,時間失配值可始終係正的,以指示「目標」聲道相對於「參考」聲道之延遲量。此外,時間失配值可對應於「無關聯移位」值,經延遲目標聲道藉由該「無關聯移位」值在時間上「經拉回」,以使得目標聲道與「參考」聲道對準(例如,最大限度地對準)。可對參考聲道及經無關聯移位之目標聲道執行判定中間聲道及側聲道之降混演算法。
編碼器可基於參考音訊聲道及應用於目標音訊聲道之複數個時間失配值而判定時間失配值。舉例而言,參考音訊聲道之第一訊框X可在第一時間(m1)接收。目標音訊聲道之第一特定訊框Y可在對應於第一時間失配值(例如,shift1=n1-m1)之第二時間(n1)處接收。另外,可在第三時間(m2)處接收參考音訊聲道之第二訊框。目標音訊聲道之第二特定訊框可在對應於第二時間失配值(例如,shift2=n2-m2)之第四時間(n2)處接收。
裝置可以第一取樣速率(例如,32kHz取樣速率(亦即,640個樣本每訊框))執行成框或緩衝演算法,以產生訊框(例如,20ms樣本)。回應於第一音訊信號之第一訊框及第二音訊信號之第二訊框同時到達裝置之判定,編碼器可估計如等於零樣本之時間失配值(例如,shift1)。可在時間上對準左聲道(例如,對應於第一音訊信號)及右聲道(例如,對應於第二音訊信號)。在一些情況下,即使當對準時,左聲道及右聲道可歸因於各種原
因(例如,麥克風校準)在能量方面存在不同。
在一些實例中,左聲道及右聲道可歸因於各種原因(例如,與麥克風中的另一者相比,聲源(諸如,講話者)可更接近麥克風中的一者,且兩個麥克風相隔距離可大於臨限值(例如,1至20公分)距離)在時間上未對準。聲源相對於麥克風之位置可在左聲道及右聲道中引入不同的延遲。另外,在左聲道與右聲道之間可存在增益差、能量差或位準差。
在一些實例中,在存在超過兩個聲道之情況下,參考聲道最初基於聲道之位準或能量而被選擇,且隨後基於不同聲道對之間的時間失配值(例如,t1(ref,ch2),t2(ref,ch3),t3(ref,ch4),…)而被改進,其中ch1為最初參考聲道且t1(.)、t2(.)等為估計失配值之函數。若所有時間失配值係正的,則ch1被視為參考聲道。若失配值中之任一者為負值,則參考聲道經重組態成與產生負值的失配值相關聯的聲道且上述過程繼續直至實現參考聲道之最佳選擇(亦即,基於最大限度地去相關最大數目之側聲道)為止。滯後可用於克服參考聲道選擇中之任何急劇變化。
在一些實例中,當多個講話者交替地講話時(例如,在不重疊情況下),音訊信號自多個聲源(例如,講話者)到達麥克風之時間可變化。在此情況下,編碼器可基於講話者動態地調節時間失配值以識別參考聲道。在一些其他實例中,多個講話者可同時講話,取決於哪個講話者最大聲、距麥克風最近等,此可導致變化時間失配值。在此情況下,參考及目標聲道之識別可基於當前訊框中之變化的時間移位值及先前訊框中之經估計時間失配值,及第一及第二音訊信號的能量或時間演進。
在一些實例中,當兩種信號可能展示較少(例如,無)相關度時,可合成或人工地產生第一音訊信號及第二音訊信號。應理解,本文所描述之實
例為說明性且可在類似或不同情境中判定第一音訊信號與第二音訊信號之間的關係中具指導性。
編碼器可基於第一音訊信號之第一訊框與第二音訊信號之複數個訊框的比較而產生比較值(例如,差值或交叉相關值)。該複數個訊框中之每一訊框可對應於特定時間失配值。編碼器可基於比較值產生第一經估計時間失配值。舉例而言,第一經估計時間失配值可對應於指示第一音訊信號之第一訊框與第二音訊信號之對應第一訊框之間較高時間類似性(或較低差)之比較值。
編碼器可藉由在多個階段中改進一序列經估計時間失配值來判定最終時間失配值。舉例而言,編碼器可首先基於自第一音訊信號及第二音訊信號之立體聲經預處理及經重新取樣版本產生之比較值而估計「暫訂」時間失配值。編碼器可產生與接近於經估計「暫訂」時間失配值之時間失配值相關聯的經內***較值。編碼器可基於經內插之比較值判定第二經估計「內插」時間失配值。舉例而言,第二經估計「內插」時間失配值可對應於指示比剩餘經內插之比較值及第一經估計「暫訂」時間失配值更高之時間類似性(或較低差)的特定內***較值。若當前訊框(例如,第一音訊信號之第一訊框)之第二經估計「內插」時間失配值與前一訊框(例如,先於第一訊框之第一音訊信號之訊框)之最終時間失配值不同,則當前訊框之「內插」時間失配值經進一步「修正」以改良第一音訊信號與經移位第二音訊信號之間的時間類似性。具體而言,第三經估計「修正」時間失配值可藉由查究當前訊框之第二經估計「內插」時間失配值及前一訊框之最終經估計時間失配值來對應於時間類似性之更準確量度。第三經估計「修正」時間失配值經進一步調節以藉由限制訊框之間的時間失配值中之任何
偽改變來估計最終時間失配值,且受進一步控制以不在如本文中所描述之兩個連續(或相連)訊框中自負時間失配值切換到正時間失配值(或反之亦然)。
在一些實例中,編碼器可制止在相連訊框中或在鄰近訊框中在正時間失配值與負時間失配值之間切換或反之亦然。舉例而言,編碼器可將最終時間失配值設定成特定值(例如,0),該特定值基於第一訊框之經估計「內插」或「修正」時間失配值及先於第一訊框之特定訊框中之對應經估計「內插」或「修正」或最終時間失配值而指示無時間移位。舉例而言,回應於當前訊框的經估計之「暫訂」或「內插」或「修正」時間失配值中之一者為正數且前一訊框(例如,前於第一訊框的訊框)的經估計之「暫訂」或「內插」或「修正」或「最終」經估計時間失配值中之另一者為負數之判定,編碼器可設定當前訊框(例如,第一訊框)之最終時間失配值以指示無時間移位,亦即shift1=0。替代地,回應於當前訊框的經估計之「暫訂」或「內插」或「修正」時間失配值中之一者為負數且前一訊框(例如,前於第一訊框的訊框)的經估計之「暫訂」或「內插」或「修正」或「最終」經估計時間失配值中之另一者為正數之判定,編碼器亦可設定當前訊框(例如,第一訊框)之最終時間失配值以指示無時間移位,亦即shift1=0。
編碼器可基於時間失配值而將第一音訊信號或第二音訊信號之訊框選作「參考」或「目標」。舉例而言,回應於最終時間失配值為正數之判定,編碼器可產生具有指示第一音訊信號為「參考」信號且第二音訊信號為「目標」信號之第一值(例如,0)的參考聲道或信號指示符。替代地,回應於最終時間失配值為負數之判定,編碼器可產生具有指示第二音訊信
號為「參考」信號且第一音訊信號為「目標」信號之第二值(例如,1)的參考聲道或信號指示符。
編碼器可估計與參考信號及無關聯經移位目標信號相關聯之相對增益(例如,相對增益參數)。舉例而言,回應於最終時間失配值為正數的判定,編碼器可估計增益值以正規化或等化第一音訊信號相對於第二音訊信號之按無關聯時間失配值(例如,最終時間失配值之絕對值)偏移的振幅或功率位準。替代地,回應於最終時間失配值為負數的判定,編碼器可估計增益值以正規化或等化無關聯經移位第一音訊信號相對於第二音訊信號之功率或振幅位準。在一些實例中,編碼器可估計增益值以正規化或等化「參考」信號相對於無關聯經移位「目標」信號之振幅或功率位準。在其他實例中,編碼器可相對於目標信號(例如,未移位之目標信號)基於參考信號來估計增益值(例如,相對增益值)。
編碼器可基於參考信號、目標信號、無關聯時間失配值及相對增益參數產生至少一個經編碼信號(例如,中間信號、側信號或兩者)。在其他實施中,編碼器可基於參考聲道及時間失配經調整目標聲道產生至少一個經編碼信號(例如,中間聲道、側聲道或兩者)。側信號可對應於第一音訊信號之第一訊框的第一樣本與第二音訊信號之所選擇訊框的所選擇樣本之間的差。編碼器可基於最終時間失配值選擇所選訊框。由於第一樣本與所選擇樣本之間的減小之差,相比於對應於第二音訊信號之訊框(與第一訊框同時由裝置接收)的第二音訊信號之其他樣本,更少的位元可用於編碼側聲道信號。裝置之傳輸器可傳輸至少一個經編碼信號、無關聯時間失配值、相對增益參數、參考聲道或信號指示符或其組合。
編碼器可基於參考信號、目標信號、無關聯時間失配值、相對增益
參數、第一音訊信號之特定訊框的低頻帶參數、特定訊框之高頻帶參數或其組合產生至少一個經編碼信號(例如,中間信號、側信號或兩者)。特定訊框可先於第一訊框。來自一或多個前面訊框之某些低頻帶參數、高頻帶參數或其組合可用於編碼第一訊框之中間信號、側信號或兩者。基於低頻帶參數、高頻帶參數或其組合對中間信號、側信號或兩者進行編碼可改良無關聯時間失配值及聲道間相對增益參數之估計值。低頻帶參數、高頻帶參數或其組合可包括:音調參數、話音參數、寫碼器類型參數、低頻帶能量參數、高頻帶能量參數、包絡參數(例如,傾角參數)、音調增益參數、FCB增益參數、寫碼模式參數、話音活動參數、雜訊估計參數、訊號雜訊比參數、共振峰參數、語音/音樂決策參數、無關聯移位、聲道間增益參數或其組合。裝置之傳輸器可傳輸至少一個經編碼信號、無關聯時間失配值、相對增益參數、參考聲道(或信號)指示符或其組合。在本發明中,諸如「判定」、「計算」、「估計」、「移位」、「調整」等之術語可用於描述如何執行一或多個操作。應注意,此等術語不應解釋為限制性的且其他技術可用以執行類似操作。
在一些實施中,編碼器包括經組態以將立體聲聲道對轉換成中間/側聲道對的降混器。低頻帶中間聲道(中間聲道之低頻帶部分)及低頻帶側聲道經提供至低頻帶編碼器。低頻帶編碼器經組態以產生低頻帶位元串流。另外,低頻帶編碼器經組態以產生低頻帶參數,諸如低頻帶激勵、低頻帶話音參數等。低頻帶激勵及高頻帶中間聲道(中間聲道之高頻帶部分)經提供至BWE編碼器。BWE編碼器產生高頻帶中間聲道位元串流及高頻帶參數(例如,LPC、增益訊框、增益移位等)。
諸如BWE編碼器之編碼器經組態以判定指示高頻帶信號(諸如,高頻
帶中間信號)之調和性的旗標值。舉例而言,旗標值可指示高頻帶信號之調和性量度。舉例而言,旗標值可指示高頻帶信號係諧波抑或非諧波(例如,雜訊)。作為另一說明性實例,旗標值可指示高頻帶信號係強諧波、強非諧波,抑或弱諧波(例如,在強諧波與強非諧波之間)。
旗標值可基於一或多個低頻帶參數、一或多個高頻帶參數或其組合而判定。一或多個低頻帶參數及一或多個高頻帶參數可對應於當前訊框或前一訊框。舉例而言,編碼器可基於低頻帶(LB)及高頻帶(HB)參數判定指示HB是否為非諧波的非諧波HB旗標。可用於判定旗標值的參數之實例包括高頻帶長期能量、高頻帶短期能量、基於高頻帶短期能量與高頻帶長期能量之比率、前一訊框之高頻帶增益訊框、當前訊框之高頻帶增益訊框、低頻帶話音參數或其組合。另外或替代地,可用於編碼器(或解碼器)之其他參數可用於判定旗標值(高頻帶信號之調和性)。在特定實施中,旗標之值(用於當前訊框)係基於(當前訊框之)低頻帶話音、前一訊框之增益訊框及(當前訊框之)高頻帶中間聲道而判定。
基於一或多個低頻帶參數、一或多個高頻帶參數、一或多個其他參數或其組合,進行高頻帶是否為諧波(或為非諧波)的估計或預測。一或多種技術可用於判定旗標之值(例如,以判定諧波量度)。一些技術可包括:若-否則邏輯(決策樹)(運用或不運用用於平滑器決策之某一平滑/滯後)、高斯混合模型(GMM)(例如,基於藉由GMM提供之量測值,諸如HB諧波之程度及HB非諧波之程度)、其他分類工具(例如,支援向量機器、神經網路等)或其組合。
作為說明性實例,為判定旗標之值,預定GMM可用於判定高頻帶信號是否為諧波及非諧波的概率。舉例而言,可判定高頻帶為諧波之第一似
然性。替代地,可判定高頻帶為非諧波之第二似然性。在一些實施中,判定第一似然性及第二似然性兩者。在其中旗標可具有兩個值(例如,指示諧波之第一值及指示非諧波之第二值)中之一者的實施中,第一似然性(高頻帶為諧波)可與第一臨限值相比較。若第一似然性大於或等於第一臨限值,則旗標指示高頻帶信號為諧波;否則旗標之值指示高頻帶信號為非諧波。替代地,第二似然性(高頻帶為非諧波)可與第二臨限值相比較。若第二似然性大於或等於第二臨限值,則旗標指示高頻帶信號為非諧波;否則,旗標之值指示高頻帶信號為諧波。在另一實施中,旗標之值可設定成對應於第一似然性及第二似然性中之較大者。
在其中旗標可具有大於兩個值之實施(例如,指示諧波之第一值、指示非諧波之第二值及指示既不諧波占主導亦不非諧波占主導的第三值)中,若第一似然性小於第一臨限值且第二似然性小於第二臨限值,則旗標設定成第三值。額外臨限值可應用於第一似然性或第二似然性以判定對應於額外諧波量度的旗標之額外值。本文中進一步描述旗標之額外實例、旗標之值,及旗標之值可如何影響編碼或解碼操作。
在TD-BWE編碼過程中,低頻帶激勵經非線性地擴展(例如,應用非線性函數)以產生諧波高頻帶激勵。諧波高頻帶激勵可用以判定高頻帶激勵,如下文進一步描述。一或多個高頻帶參數可基於高頻帶激勵而判定。
為產生高頻帶激勵,包絡經調變雜訊用以產生高頻帶激勵之雜訊分量。包絡係自(例如,基於)諧波高頻帶激勵提取。包絡調變係藉由對諧波高頻帶激勵之絕對值應用低通濾波器而執行。舉例而言,雜訊包絡調變器可自諧波高頻帶激勵提取包絡且對隨機雜訊(來自隨機雜訊產生器)應用彼包絡,以使得由雜訊包絡調變器輸出的調變雜訊具有類似於高頻帶激勵之
時間包絡。
旗標(指示諧波量度)用以控制估計待藉由雜訊包絡調變器應用於隨機雜訊(以產生調變雜訊)之雜訊包絡的雜訊包絡估計過程。舉例而言,雜訊包絡控制參數可包括待對諧波高頻帶激勵執行之低通濾波的濾波器係數。舉例而言,若旗標指示高頻帶為諧波,則雜訊包絡控制參數指示待應用於隨機雜訊之包絡將為緩慢變化之包絡(例如,雜訊包絡調變器可使用大樣本長度,使得雜訊包絡具有大解析度)。作為另一實例,若旗標指示高頻帶為非諧波,則雜訊包絡控制參數指示待應用於隨機雜訊之包絡將為快速變化之包絡(例如,雜訊包絡調變器可使用小樣本長度,使得雜訊包絡具有精細解析度)。
另外,待應用於諧波高頻帶激勵及經調變雜訊的混頻參數(例如,增益值,諸如增益1(編碼器)及增益2(編碼器))可分別基於旗標及低頻帶話音因數而判定。換言之,混頻參數指示將被組合以產生高頻帶激勵的諧波高頻帶激勵與經調變雜訊之比例。在一些實施中,增益1+增益2=1。增益1可應用於諧波高頻帶激勵且增益2可應用於經調變雜訊。經增益調整之諧波高頻帶激勵及經增益調整之調變雜訊可經組合(例如,加總)以產生高頻帶激勵。
舉例而言,若旗標指示高頻帶為非諧波(例如,強非諧波),則增益2大於增益1。在一些實施中,若旗標指示高頻帶為非諧波(例如,強非諧波),則增益2設定成一且增益1設定成零。因此,若旗標指示高頻帶為非諧波(例如,強非諧波),則高頻帶激勵應反映雜訊高頻帶。
若旗標指示高頻帶為諧波(例如,強諧波),則增益1可大於增益2。在一些實施中,若旗標指示高頻帶為諧波(例如,強諧波),則增益1設定成
一且增益2設定成零。因此,若旗標指示高頻帶為諧波(例如,強諧波),則高頻帶激勵應反映諧波高頻帶。
若旗標指示高頻帶並非為強諧波且並非為強非諧波,則增益1可設定成第一值且增益2可設定成第二值。在一些實例中,增益1可大於或等於增益2。在其他實例中,增益1可小於或等於增益2。增益1之值及增益2之值可基於低頻帶話音因數而判定。
在產生高頻帶激勵之後,判定一或多個參數。舉例而言,高頻帶增益形狀及高頻帶增益訊框可至少部分地基於高頻帶激勵來判定。
由於旗標之值的估計係基於增益訊框(例如,前一訊框之增益訊框),但當前訊框之增益訊框係在高頻帶激勵產生之後估計(且激勵係基於旗標),所以可存在旗標與高頻帶增益訊框之間的循環依賴性。在判定高頻帶增益訊框後,旗標之值(用於當前訊框)可經修改以產生經修改旗標。舉例而言,若(當前訊框之)高頻帶增益訊框大於臨限值,因此指示高頻帶中存在非諧波內容,則旗標可經修改以指示高頻帶為非諧波(例如,強非諧波)。
上述修改係可選的且可能並不被執行。另外或替代地,旗標之修改可基於經預先量化之高頻帶增益訊框、經量化高頻帶增益訊框、經量化或經去量化高頻帶增益形狀或其組合。經修改旗標可經傳輸至解碼器。在其中旗標之修改係可選的實施中,未經修改旗標經傳輸至解碼器且解碼器可產生旗標之經修改版本。
在一些實施中,旗標(或經修改旗標)可以用於寫碼待傳輸至解碼器的聲道間關係。舉例而言,旗標(或經修改旗標)可用於判定與ICBWE非參考聲道激勵之產生相關聯的混頻值(例如,增益)。
解碼器可接收旗標(或經修改旗標)。在其中解碼器接收旗標(且不接收經修改旗標)的實施中,解碼器可基於旗標產生經修改旗標。在一些實施中,解碼器不接收旗標或經修改旗標且經組態以基於一或多個參數產生經修改旗標,作為非限制性說明性實例,諸如上文關於編碼器所描述的參數(且其可用於解碼器)、前端立體聲場景分析結果、降混參數、其他參數或其組合。
為產生輸出信號(反映由編碼器接收之音訊信號),解碼器以類似於編碼器之方式產生高頻帶激勵。舉例而言,基於接收之經修改旗標,解碼器產生經組合以產生高頻帶激勵的經增益調整之調變雜訊及經增益調整之諧波高頻帶激勵。基於所產生激勵,產生增益訊框及增益形狀及其他參數之解碼器值。應注意由於在編碼器及解碼器處使用的旗標針對特定訊框可能值不相同,所以在編碼器處估計高頻帶增益訊框及高頻帶增益形狀所基於的高頻帶激勵可不同於在解碼器處應用此等值所針對的激勵。
在一些實施中,旗標(或經修改旗標)可用於在解碼器處寫碼聲道間關係。舉例而言,旗標(或經修改旗標)可用於判定與ICBWE非參考聲道激勵之產生相關聯的混頻值(例如,增益)。
藉由在編碼器或解碼器處使用旗標(或經修改旗標)以產生高頻帶激勵,與不反映高頻帶之調和性(諸如,當低頻帶話音因數指示低頻帶為高度有聲的且高頻帶為有高度雜訊時)的低頻帶話音參數相關聯的問題可得以減少或消除。舉例而言,在解碼器處使用旗標產生的高頻帶激勵可較好匹配在編碼器處之高頻帶且解碼器之輸出的播出品質可並不降級。
舉例而言,在單聲道編碼或立體聲編碼中,編碼器可基於接收之音訊信號產生低頻帶信號及高頻帶信號。在單聲道編碼或立體聲編碼中,接
收之音訊信號可為多個聲源(諸如,同時講話的兩個人)之組合。舉例而言,第一聲源可提供有聲區段(諸如,字母「r」之聲音)且第二聲源可提供無聲區段(諸如,聲音「ssss」)。在此情境中,有聲區段之能量可集中於低頻帶中而無聲區段之能量集中於高頻帶中。相應地,低頻帶為高度有聲的,此係因為低頻帶之能量的大部分(或全部)來自第一聲源之有聲區段且高頻帶有高度雜訊,此係因為高頻帶之能量的大部分(或全部)來自第二聲源之無聲區段。若低頻帶話音參數指示低頻帶為雜訊且高頻帶為諧波,則旗標(或經修改旗標)可在編碼、解碼或兩者期間使用,以使得低頻帶信號之性質不負面影響高頻帶激勵,使得高頻帶激勵並不反映高頻帶。
參看圖1,揭示系統之特定說明性實例且一般將其指定為100。系統100包括經由網路120以通信方式耦接至第二裝置106之第一裝置104。網路120可包括一或多個無線網路、一或多個有線網路或其組合。
第一裝置104可包括記憶體153、編碼器200、傳輸器110及一或多個輸入介面112。記憶體153可為包括指令191之非暫時性電腦可讀媒體。指令191可為可由編碼器200執行以執行本文中所描述之操作中之一或多者。輸入介面112中之第一輸入介面可耦接至第一麥克風146。輸入介面112中之第二輸入介面可耦接至第二麥克風148。編碼器200可包括聲道間頻寬擴展(ICBWE)編碼器204。ICBWE編碼器204可經組態以基於合成之非參考高頻帶及非參考目標聲道估計一或多個頻譜映射參數。關於圖2及圖4至圖5描述與ICBWE編碼器204之操作相關聯的額外細節。第一裝置104亦可包括旗標(例如,非諧波高頻帶(HB)旗標(x)910)或經修改旗標(例如,經修改非諧波高頻帶(HB)旗標(y)920),如參看圖9進一步描述。在一些實施中,第一裝置104可能不包括經修改旗標(例如,經修改非諧波
HB旗標(y)920)。
第二裝置106可包括解碼器300。解碼器300可包括ICBWE解碼器306。ICBWE解碼器306可經組態以自接收之頻譜映射位元串流提取一或多個頻譜映射參數。關於圖3及圖6描述與ICBWE解碼器306之操作相關聯的額外細節。第二裝置106可耦接至第一擴音器142、第二擴音器144或其兩者。儘管未圖示,但第二裝置106可包括其他組件,諸如處理器(例如,中央處理單元)、麥克風、接收器、傳輸器、天線、記憶體等。第二裝置106亦可包括經修改旗標(例如,經修改非諧波HB旗標(y)920),如參看圖10進一步描述。在一些實施中,第二裝置106可另外或替代地包括旗標(例如,非諧波HB旗標(x)910)。
在操作期間,第一裝置104可經由第一輸入介面自第一麥克風146接收第一音訊聲道130(例如,第一音訊信號)並可經由第二輸入介面自第二麥克風148接收第二音訊聲道132(例如,第二音訊信號)。第一音訊聲道130可對應於右聲道或左聲道中的一者。第二音訊聲道132可對應於右聲道或左聲道中之另一者。與第二麥克風148相比,聲源152(例如,使用者、揚聲器、環境雜訊、樂器等)可更接近第一麥克風146。因此,來自聲源152之音訊信號可在與經由第二麥克風148相比較早時間處經由第一麥克風146在輸入介面112處接收。經由多個麥克風獲取之多聲道信號的此固有延遲可在第一音訊聲道130與第二音訊聲道132之間引入時間未對準。
根據一個實施,第一音訊聲道130可為「參考聲道」,且第二音訊聲道132可為「目標聲道」。目標聲道可經調整(例如,經時間移位)以實質上與參考聲道對準。根據另一實施,第二音訊聲道132可為參考聲道,且第
一音訊聲道130可為目標聲道。根據一個實施,參考聲道及目標聲道可在逐訊框基礎上變化。舉例而言,對於第一訊框,第一音訊聲道130可為參考聲道,且第二音訊聲道132可為目標聲道。然而,對於第二訊框(例如,後續訊框),第一音訊聲道130可為目標聲道,且第二音訊聲道132可為參考聲道。為便於描述,除非下文另外指出,否則第一音訊聲道130為參考聲道,且第二音訊聲道132為目標聲道。應注意,關於音訊聲道130、132描述之參考聲道可獨立於下文描述之高頻帶參考聲道指示符。舉例而言,高頻帶參考聲道指示符可指示音訊聲道130、132中之任一者之高頻帶為高頻帶參考聲道,且高頻帶參考聲道指示符可指示可為與參考聲道相同或不同之聲道的一高頻帶參考聲道。
如關於圖2A、圖4及圖5更詳細描述,編碼器200可產生降混位元串流216、ICBWE位元串流242、高頻帶中間聲道位元串流244及低頻帶位元串流246。傳輸器110可經由網路120將降混位元串流216、ICBWE位元串流242、高頻帶中間聲道位元串流244或其組合傳輸至第二裝置106。替代地或另外,傳輸器110可將降混位元串流216、ICBWE位元串流242、高頻帶中間聲道位元串流244或其組合儲存在網路120之裝置或本端裝置處,以供稍後進一步處理或解碼。
解碼器300可基於降混位元串流216、ICBWE位元串流242、高頻帶中間聲道位元串流244及低頻帶位元串流246執行解碼操作。舉例而言,解碼器300可基於降混位元串流216、低頻帶位元串流246、ICBWE位元串流242及高頻帶中間聲道位元串流244產生第一聲道(例如,第一輸出聲道126)及第二通道(例如,第二輸出聲道128)。第二裝置106可經由第一擴音器142輸出第一輸出聲道126。第二裝置106可經由第二擴音器144輸出
第二輸出聲道128。在替代性實例中,第一輸出聲道126及第二輸出聲道128可作為立體聲信號對傳輸至單個輸出揚聲器。
如下文所述,圖1之ICBWE編碼器204可基於最大似然性量測值或開放迴路或閉合迴路頻譜失真減少量測值而估計頻譜映射參數,使得頻譜狀合成之非參考高頻帶聲道的頻譜形狀(例如,頻譜包絡或頻譜傾角)實質上類似於非參考目標聲道之光譜形狀(例如,頻譜包絡)。可在ICBWE位元串流242中將頻譜映射參數傳輸至解碼器300,並在解碼器300處使用以產生在左聲道與右聲道之間具有經減少偽影及改良式空間平衡的輸出信號126、128。
在一些實施中,如下文進一步描述,編碼器200接收音訊信號,諸如第一音訊聲道130。編碼器200基於接收之音訊信號(例如,第一音訊聲道130)產生高頻帶信號(未展示)。編碼器200判定(未諧波HB旗標(x)910之)第一旗標值指示高頻帶信號之諧波量度。編碼器200經進一步組態以至少部分地基於第一旗標值(例如,非諧波HB旗標(x)910)產生高頻帶激勵信號(未展示)。高頻帶激勵信號可用於產生一或多個參數,諸如增益形狀參數、增益訊框參數等。編碼器200輸出高頻帶信號之經編碼版本,諸如高頻帶中間聲道位元串流244。
在一些實施中,編碼器200可判定對應於高頻帶信號之訊框的增益訊框參數且可比較增益訊框參數與臨限值。回應於增益訊框參數大於臨限值,編碼器200可選擇性地修改旗標(例如,對應於訊框且指示高頻帶信號之諧波量度的非諧波HB旗標(x)910)以產生經修改旗標(例如,經修改非諧波HB旗標(y)920)。編碼器200可輸出經修改旗標(例如,經修改非諧波HB旗標(y)920)。
在一些實施中,解碼器300可接收對應於音訊信號之經編碼版本的位元串流。舉例而言,位元串流可包括或對應於高頻帶中間聲道位元串流244、低頻帶位元串流246、ICBWE位元串流242、降混位元串流216或其組合。解碼器300可基於低頻帶激勵信號(未展示)及進一步基於指示高頻帶信號之諧波量度的旗標值(例如,經修改非諧波HB旗標(y)920)產生高頻帶激勵信號(未展示)。高頻帶信號對應於音訊信號之高頻帶部分,諸如第一音訊聲道130之高頻帶部分。
參看圖2A,展示可操作以估計頻譜映射參數之編碼器200的特定實施。編碼器200包括降混器202、ICBWE編碼器204、中間聲道BWE編碼器206、低頻帶編碼器208及濾波器組290。
可將左聲道212及右聲道214提供至降混器202。根據一個實施,左聲道212及右聲道214可為頻域聲道(例如,變換域聲道)。根據另一實施,左聲道212及右聲道214可為時域聲道。降混器202可經組態以降混左聲道212及右聲道214以產生降混位元串流216、中間聲道222及低頻帶側聲道224。儘管低頻帶側聲道224展示為經估計,但在其他替代性實施中,可以替代方式產生並編碼全頻寬側聲道,且可將對應位元串流傳輸至解碼器。降混位元串流216可包括基於左聲道212及右聲道214之降混參數(例如,移位參數、目標增益參數、參考聲道指示符、聲道間位準差、聲道間相位差等)。降混位元串流216可自編碼器200傳輸至諸如圖3A之解碼器300的解碼器。
中間聲道222可表示聲道212、214之整個頻帶,且低頻帶側聲道224可表示聲道212、214之低頻帶部分。作為非限制性實例,中間聲道222可在聲道212、214為超寬頻聲道的情況下表示聲道212、214之整個頻帶(20
Hz至16kHz),且低頻帶側聲道224可表示聲道212、214之低頻帶部分(例如,20Hz至8kHz或20Hz至6.4kHz)。中間聲道222可提供至濾波器組290,且低頻帶側聲道224可提供至低頻帶編碼器208。
濾波器組290可經組態以將中間聲道222之高頻分量及低頻分量分開。為了說明,濾波器組290可將中間聲道222之高頻分量分開以產生高頻帶中間聲道292,且濾波器組290可將中間聲道222之低頻分量分開以產生低頻帶中間聲道294。在寫碼模式為超寬頻之情境中,高頻帶中間聲道292可自8kHz跨越至16kHz,且低頻帶中間聲道294可自20Hz跨越至8kHz。應瞭解,本文中所描述之寫碼模式及頻率範圍僅為達成說明之目的,且不應被理解為限制性的。在其他實施中,寫碼模式可係不同的(例如,寬頻寫碼模式、全頻帶寫碼模式等)及/或頻率範圍可係不同的。在其他實施中,降混器202可經組態以直接提供低頻帶中間聲道294及高頻帶中間聲道292。在此等實施中,濾波器組290處的濾波操作可繞過。高頻帶中間聲道292可提供至中間聲道BWE編碼器206,且低頻帶中間聲道294可提供至低頻帶編碼器208。
低頻帶編碼器208可經組態以編碼低頻帶中間聲道294及低頻帶側聲道224以產生低頻帶位元串流246。在一些實施中,可繞過以下步驟中之一或多者,包括低頻帶側聲道224之產生、低頻帶側聲道224之編碼,及包括作為低頻帶位元串流246之一部分的對應於低頻帶側聲道之資訊。根據一個實施,低頻帶編碼器208可包括中間聲道低頻帶編碼器(例如,圖中未示且基於ACELP或TCX寫碼),其經組態以藉由編碼低頻帶中間聲道294來產生低頻帶中間聲道位元串流。低頻帶編碼器208亦可包括側聲道低頻帶編碼器(例如,圖中未示且基於ACELP或TCX寫碼),其經組態以藉
由編碼低頻帶側聲道224來產生低頻帶側聲道位元串流。低頻帶位元串流246可自編碼器200傳輸至解碼器(例如,圖3A之解碼器300)。
低頻帶編碼器208亦可產生被提供至中間聲道BWE編碼器206之低頻帶激勵232。中間聲道BWE編碼器206可經組態以編碼高頻帶中間聲道292以產生高頻帶中間聲道位元串流244。舉例而言,中間聲道BWE編碼器206可基於低頻帶激勵232及高頻帶中間聲道292而估計線性預測係數(LPC)、增益形狀參數、增益訊框參數等,以產生高頻帶中間聲道位元串流244。根據一個實施,中間聲道BWE編碼器206可使用時域頻寬擴展編碼高頻帶中間聲道292。高頻帶中間聲道位元串流244可自編碼器200傳輸至解碼器(例如,圖3A之解碼器300)。
中間聲道BWE編碼器206可提供一或多個參數234至ICBWE編碼器204。一或多個參數234可包括諧波高頻帶激勵(例如,圖2B之諧波高頻帶激勵237)、經調變雜訊(例如,圖4之經調變雜訊482)、經量化增益形狀、經量化線性預測係數(LPC)、經量化增益訊框等。亦可將左聲道212及右聲道214提供至ICBWE編碼器204。ICBWE編碼器204可經組態以提取與聲道212、214相關聯之增益映射參數、與聲道212、214相關聯之頻譜形狀映射參數等,以促進將一或多個參數234映射至聲道212、214。所提取參數可包括於ICBWE位元串流242中。ICBWE位元串流242可自編碼器200傳輸至解碼器。與ICBWE編碼器204相關聯之操作關於圖4至圖5更詳細描述。因此,圖2A之ICBWE編碼器204可估計頻譜形狀映射參數,將頻譜形狀映射參數量化至ICBWE位元串流242中,並將ICBWE位元串流242傳輸至解碼器。
圖2A之編碼器200可接收兩個聲道212、214,並執行聲道212、214
之降混以產生中間聲道222、降混位元串流216,及(在一些實施中)低頻帶側聲道224。編碼器200可使用低頻帶編碼器208編碼中間聲道222及低頻帶側聲道224以產生低頻帶位元串流246。編碼器200亦可使用ICBWE編碼器204產生映射資訊,其指示如何自高頻帶中間聲道(解碼器處)映射經解碼高頻帶左聲道及右聲道(解碼器處)。
圖2A之ICBWE編碼器204可基於最大似然性量度或開環或閉環頻譜失真減少量度而估計頻譜映射參數,使得頻譜狀經合成非參考高頻帶聲道之頻譜包絡實質上類似於非參考目標聲道之頻譜包絡。頻譜映射參數可在ICBWE位元串流242中傳輸至解碼器300,且在解碼器300處使用以產生具有經減少之偽影的輸出信號。
在本文中所描述的本發明之態樣的單聲道實施中,圖2A可不包括降混器202、ICBWE編碼器204,及低頻帶編碼器208之側LB編碼部分。在單聲道實施中,存在單一輸入聲道且執行低頻帶及高頻帶***編碼。低頻帶可經歷ACELP編碼,且來自低頻帶ACELP之激勵可用於高頻帶寫碼。
參看圖2B,展示中間聲道BWE編碼器206之特定實施。中間聲道BWE編碼器206包括線性預測係數(LPC)估計器251、LPC量化器252及LPC合成濾波器259。高頻帶中間聲道292被提供至LPC估計器251,且LPC估計器251可經組態以基於高頻帶中間聲道292預測高頻帶LPC 271。高頻帶LPC 271被提供至LPC量化器252。LPC量化器252可經組態以量化高頻帶LPC以產生經量化高頻帶LPC 457及高頻帶LPC位元串流272。經量化LPC 457被提供至LPC合成濾波器259,且高頻帶LPC位元串流被提供至多工器265。
中間聲道BWE編碼器206亦包括高頻帶激勵產生器299,其包括非線
性頻寬擴展(BWE)產生器253、隨機雜訊產生器254、倍增器255、雜訊包絡調變器256、求和器257及倍增器258。來自低頻帶編碼器208之低頻帶激勵232被提供至非線性BWE產生器253。非線性BWE產生器253可對低頻帶激勵232執行非線性擴展以產生諧波高頻帶激勵237。諧波高頻帶激勵237可包括於一或多個參數234中。諧波高頻帶激勵237被提供至倍增器255及雜訊包絡調變器256。信號倍增器可經組態以基於增益因數(Gain(1)(編碼器))調整諧波高頻帶激勵237,以產生經增益調整之諧波高頻帶激勵273。經增益調整之諧波高頻帶激勵273被提供至求和器257。
隨機雜訊產生器254可經組態以產生被提供至雜訊包絡調變器256的雜訊274。雜訊包絡調變器256可經組態以基於諧波高頻帶激勵237調變雜訊274以產生經調變雜訊482。經調變雜訊482被提供至倍增器258。倍增器258可經組態以基於增益因數(Gain(2)(編碼器))調整經調變雜訊482以產生經增益調整之經調變雜訊275。經增益調整之經調變雜訊275被提供至求和器257,且求和器257可經組態以添加經增益調整之諧波高頻帶激勵273及經增益調整之經調變雜訊275以產生高頻帶激勵276。高頻帶激勵276被提供至LPC合成濾波器259。
應注意在一些實施中Gain(1)(編碼器)及Gain(2)(編碼器)可為向量,其中向量之每一值對應於子訊框中之對應信號之按比例調整因數。
LPC合成濾波器259可經組態以將經量化高頻帶LPC 457應用於高頻帶激勵276以產生經合成高頻帶中間聲道277。經合成高頻帶中間聲道277被提供至高頻帶增益形狀估計器260,且被提供至高頻帶增益形狀按比例調整器262。高頻帶中間聲道292亦被提供至高頻帶增益形狀估計器260。高頻帶增益形狀估計器260可經組態以基於高頻帶中間聲道292及經合成
高頻帶中間聲道277產生高頻帶增益形狀參數278。高頻帶增益形狀參數278被提供至高頻帶增益形狀量化器261。
高頻帶增益形狀量化器261可經組態以量化高頻帶增益形狀參數278並產生經量化高頻帶增益形狀參數279。經量化高頻帶增益形狀參數279被提供至高頻帶增益形狀按比例調整器262。高頻帶增益形狀量化器261亦可經組態以產生被提供至多工器265之高頻帶增益形狀位元串流280。
高頻帶增益形狀按比例調整器262可經組態以基於經量化高頻帶增益形狀參數279按比例調整經合成高頻帶中間聲道277,以產生經按比例調整之經合成高頻帶中間聲道281。經按比例調整之經合成高頻帶中間聲道281被提供至高頻帶增益訊框估計器263。高頻帶增益訊框估計器263可經組態以基於經按比例調整之經合成高頻帶中間聲道281估計高頻帶增益訊框參數282。高頻帶增益訊框參數282被提供至高頻帶增益訊框量化器264。
高頻帶增益訊框量化器264可經組態以量化高頻帶增益訊框參數282以產生高頻帶增益訊框位元串流283。高頻帶增益訊框位元串流283被提供至多工器265。多工器265可經組態以組合高頻帶LPC位元串流272、高頻帶增益形狀位元串流280、高頻帶增益訊框位元串流283及其他資訊以產生高頻帶中間聲道位元串流244。根據一個實施,其他資訊可包括與經調變雜訊482、諧波高頻帶激勵237、經量化高頻帶LPC 457等相關聯的資訊。如關於圖4更詳細所描述,ICBWE編碼器204可將提供至多工器265之資訊用於信號處理操作。
參看圖3A,展示可操作以執行頻譜形狀映射之解碼器300的特定實施。解碼器300包括中間聲道BWE解碼器302、低頻帶解碼器304、
ICBWE解碼器306、低頻帶升混器308、信號組合器310、信號組合器312及聲道間移位器314。
圖3A說明立體聲實施中之解碼器300。在單聲道操作之情況下,中間側LB解碼器之升混、移位器、ICBWE及側LB解碼部分可省略。至解碼器之輸入為中間LB位元串流及中間HB位元串流,且LB解碼中間信號與中間BWE解碼HB信號混合以產生經解碼中間信號,其係自解碼器輸出。
如圖3A中所說明,自編碼器200傳輸的低頻帶位元串流246可提供至低頻帶解碼器304。如上文所描述,低頻帶位元串流246可包括低頻帶中間聲道位元串流及低頻帶側聲道位元串流。低頻帶解碼器304可經組態以解碼低頻帶中間聲道位元串流以產生提供至低頻帶升混器308之低頻帶中間聲道326。低頻帶解碼器304亦可經組態以解碼低頻帶側聲道位元串流以產生提供至低頻帶升混器308之低頻帶側聲道328。低頻帶解碼器304亦可經組態以產生被提供至中間聲道BWE解碼器302之低頻帶激勵信號325。
中間聲道BWE解碼器302可經組態以基於低頻帶激勵信號325解碼高頻帶中間聲道位元串流244以產生一或多個參數322(例如,諧波高頻帶激勵、經調變雜訊、經量化增益形狀、經量化線性預測係數(LPC)、經量化增益訊框等)及高頻帶中間聲道324。一或多個參數322可對應於圖2A之一或多個參數234。根據一個實施,中間聲道BWE解碼器302可使用時域頻寬擴展解碼來解碼高頻帶中間聲道位元串流244。一或多個參數322及高頻帶中間聲道324被提供至ICBWE解碼器306。
ICBWE位元串流242亦可提供至ICBWE解碼器306。ICBWE解碼器306可經組態以基於ICBWE位元串流242、一或多個參數322及高頻帶中
間聲道324產生高頻帶左聲道330及高頻帶右聲道332。因此,基於ICBWE位元串流242及來自中間聲道BWE解碼之信號及參數,ICBWE解碼器306可產生經解碼高頻帶左聲道330及經解碼高頻帶右聲道332。與ICBWE解碼器306相關聯之操作關於圖6更詳細描述。高頻帶左聲道330被提供至信號組合器310,且高頻帶右聲道332被提供至信號組合器312。低頻帶升混器308可經組態以基於降混位元串流216升混低頻帶中間聲道326及低頻帶側聲道328,以產生低頻帶左聲道334及低頻帶右聲道336。低頻帶左聲道334被提供至信號組合器310,且低頻帶右聲道336被提供至信號組合器312。
信號組合器310可經組態以組合高頻帶左聲道330及低頻帶左聲道334以產生未經移位左聲道340。未經移位左聲道340被提供至聲道間移位器314。信號組合器312可經組態以組合高頻帶右聲道332及低頻帶右聲道336以產生未經移位右聲道342。未經移位右聲道342被提供至聲道間移位器314。應注意,在一些實施中,與聲道間移位器314相關聯的操作可繞過。舉例而言,若對應編碼器處的降混器未經組態以在中間聲道及側聲道產生之前移位聲道中之任一者,則可繞過與聲道間移位器314相關聯的操作。聲道間移位器314可經組態以基於與降混位元串流216相關聯之移位資訊移位未經移位左聲道340以產生左聲道350。聲道間移位器314亦可經組態以基於與降混位元串流216相關聯之移位資訊移位未經移位右聲道342,以產生右聲道352。舉例而言,聲道間移位器314可使用來自降混位元串流216之移位資訊來移位未經移位左聲道340、未經移位右聲道342或其組合,以產生左聲道350及右聲道352。根據一個實施,左聲道350為左聲道212之經解碼版本,且右聲道352為右聲道214之經解碼版本。
參看圖3B,展示中間聲道BWE解碼器302之特定實施。中間聲道BWE解碼器302包括LPC反量化器360、高頻帶激勵產生器362、LPC合成濾波器364、高頻帶增益形狀反量化器366、高頻帶增益形狀按比例調整器368、高頻帶增益訊框反量化器370及高頻帶增益訊框按比例調整器372。
高頻帶LPC位元串流272被提供至LPC反量化器360。LPC反量化器可自高頻帶LPC位元串流272提取經反量化高頻帶LPC 640。如關於圖6所描述,經反量化高頻帶LPC 640可由ICBWE解碼器306用於信號處理操作。
低頻帶激勵信號325被提供至高頻帶激勵產生器362。高頻帶激勵產生器362可基於低頻帶激勵信號325產生諧波高頻帶激勵630,且可產生經調變雜訊632。如關於圖6所描述,諧波高頻帶激勵630及經調變雜訊632可由ICBWE解碼器306用於信號處理操作。高頻帶激勵產生器362亦可產生高頻帶激勵380。高頻帶激勵產生器362可經組態以實質上類似於圖2B之高頻帶激勵產生器299的方式操作。舉例而言,高頻帶激勵產生器362可對低頻帶激勵信號325執行類似操作以產生高頻帶激勵380(如高頻帶激勵產生器299對低頻帶激勵232執行的操作)。根據一個實施,高頻帶激勵380實質上類似於圖2B之高頻帶激勵276。高頻帶激勵380被提供至LPC合成濾波器364。LPC合成濾波器364可將經反量化高頻帶LPC 640應用於高頻帶激勵380以產生經合成高頻帶中間聲道382。經合成高頻帶中間聲道382被提供至高頻帶增益形狀按比例調整器368。
高頻帶增益形狀位元串流280被提供至高頻帶增益形狀反量化器366。高頻帶增益形狀反量化器366可經組態以自高頻帶增益形狀位元串
流280提取經反量化高頻帶增益形狀648。經反量化高頻帶增益形狀648被提供至高頻帶增益形狀按比例調整器368及ICBWE解碼器306,用於信號處理操作,如關於圖6所描述。高頻帶增益形狀按比例調整器368可經組態以基於經反量化高頻帶增益形狀參數648按比例調整經合成高頻帶中間聲道382,以產生經按比例調整之經合成高頻帶中間聲道384。經按比例調整之經合成高頻帶中間聲道384被提供至高頻帶增益訊框按比例調整器372。
高頻帶增益訊框位元串流283被提供至高頻帶增益訊框反量化器370。高頻帶增益訊框反量化器370可經組態以自高頻帶增益訊框位元串流283提取經反量化高頻帶增益訊框652。經反量化高頻帶增益訊框652被提供至高頻帶增益訊框按比例調整器372及ICBWE解碼器306,用於信號處理操作,如關於圖6所描述。高頻帶增益訊框按比例調整器372可將經反量化高頻帶增益訊框652應用於經按比例調整之經合成高頻帶中間聲道384以產生經解碼高頻帶中間聲道662。經解碼高頻帶中間聲道662被提供至ICBWE解碼器306用於信號處理操作,如關於圖6所描述。
參看圖4至圖5,展示ICBWE編碼器204之特定實施。圖4中展示ICBWE編碼器204之第一部分204a,且圖5中展示ICBWE編碼器204之第二部分204b。
ICBWE編碼器204之第一部分204a包括高頻帶參考聲道判定單元404及高頻帶參考聲道指示符編碼器406。左聲道212及右聲道214被提供至高頻帶參考聲道判定單元404。高頻帶參考聲道判定單元404可經組態以判定是左聲道212抑或右聲道214為高頻帶參考聲道。舉例而言,高頻帶參考聲道判定單元404可產生高頻帶參考聲道指示符440,其指示是左聲道
212抑或右聲道214用以估計非參考聲道459。高頻帶參考聲道指示符440可基於左聲道212及右聲道214之能量、左聲道212與右聲道214之間的聲道間移位、在降混器處產生的參考聲道指示符、基於無關聯移位估計之參考聲道指示符,及高頻帶左聲道能量及高頻帶右聲道能量進行估計。
根據一個實施,高頻帶參考聲道指示符440可使用多階段技術進行判定,其中每一階段改良前一階段之輸出以判定高頻帶參考聲道指示符440。舉例而言,在第一階段,高頻帶參考聲道判定單元404可基於一參考信號產生高頻帶參考聲道指示符440。舉例而言,回應於參考信號指示第二音訊聲道132(例如,右音訊信號)被指定為參考信號的判定,高頻帶參考聲道判定單元404可產生高頻帶參考聲道指示符440,以指示右聲道214被指定為高頻帶參考聲道。替代地,回應於參考信號指示第一音訊聲道130(例如,左音訊信號)指定為參考信號的判定,高頻帶參考聲道判定單元404可產生高頻帶參考聲道指示符440,以指示左聲道212指定為高頻帶參考聲道。
在第二階段處,高頻帶參考聲道判定單元404可基於增益參數、與左聲道212相關聯之第一能量、與右聲道214相關聯之第二能量或其組合改進(例如,更新)高頻帶參考聲道指示符440。舉例而言,回應於增益參數滿足第一臨限值、第一能量(例如,左全頻帶能量)與右側能量(例如,右全頻帶能量)之比率滿足第二臨限值或兩者的判定,高頻帶參考聲道判定單元404可設定(例如,更新)高頻帶參考聲道指示符440以指示左聲道212經指定為參考聲道且右聲道214經指定為非參考聲道。作為另一實例,回應於增益參數未能滿足第一臨限值、第一能量(例如,左全頻帶能量)與右側能量(例如,右全頻帶能量)之比率未能滿足第二臨限值或兩者的判定,
高頻帶參考聲道判定單元404可設定(例如,更新)高頻帶參考聲道指示符440以指示右聲道214經指定為參考聲道且左聲道212經指定為非參考聲道。
在第三階段處,高頻帶參考聲道判定單元404可基於左側能量及右側能量而改進(例如,進一步更新)高頻帶參考聲道指示符440。舉例而言,回應於左側能量(例如,左側HB能量)與右側能量(例如,右側HB能量)之比率滿足臨限值的判定,高頻帶參考聲道判定單元404可設定(例如,更新)高頻帶參考聲道指示符440以指示左聲道212被指定為參考聲道且右聲道214被指定為非參考聲道。作為另一實例,回應於左側能量(例如,左側HB能量)與右側能量(例如,右側HB能量)之比率未能滿足臨限值的判定,高頻帶參考聲道判定單元404可設定(例如,更新)高頻帶參考聲道指示符440以指示右聲道214被指定為參考聲道且左聲道212被指定為非參考聲道。高頻帶參考聲道指示符編碼器406可編碼高頻帶參考聲道指示符440以產生高頻帶參考聲道指示符位元串流442。
ICBWE編碼器204之第一部分204a亦包括非參考高頻帶激勵產生器408、線性預測係數(LPC)合成濾波器410、高頻帶目標聲道產生器412、頻譜映射估計器414及頻譜映射量化器416。非參考高頻帶激勵產生器408包括信號倍增器418、信號倍增器420及信號組合器422。
諧波高頻帶激勵237被提供至信號倍增器418,且經調變雜訊482被提供至信號倍增器420。在特定實施中,諧波高頻帶激勵237可係基於不同於用於低頻帶激勵232產生之諧波模型化的諧波模型化(例如,(.)^2或|.|)。在替代性實施中,諧波高頻帶激勵237可係基於非參考低頻帶激勵信號。經調變雜訊482可係基於諧波高頻帶激勵237或低頻帶激勵232之包絡
經調變雜訊。在另一替代性實施中,經調變雜訊482可為基於非線性諧波高頻帶激勵信號237(例如,白化非線性諧波高頻帶激勵信號)在時間上成形的隨機雜訊。時間成形可係基於話音因數控制之一階自適應性濾波器。
信號倍增器418將增益(增益(a)(編碼器))應用於諧波高頻帶激勵237,以產生經增益調整之諧波高頻帶激勵452,且信號倍增器420將增益(增益(b)(編碼器))應用於經調變雜訊482以產生經增益調整之經調變雜訊454。經增益調整之諧波高頻帶激勵452及經增益調整之經調變雜訊454被提供至信號組合器422。信號組合器422可經組態以將經增益調整之諧波高頻帶激勵452與經增益調整之經調變雜訊454組合以產生非參考高頻帶激勵456。非參考高頻帶激勵456可以類似於高頻帶中間聲道激勵之方式產生。然而,增益(增益(a)(編碼器)及增益(b)(編碼器))可為用以基於高頻帶參考聲道與高頻帶非參考聲道之相對能量、高頻帶非參考聲道之雜訊底限等產生高頻帶中間聲道激勵的增益之修改版本。
應注意在一些實施中,增益(a)(編碼器)及增益(b)(編碼器)可為向量,其中向量之每一值對應於子訊框中之對應信號的按比例調整因數。
混合增益(增益(a)(編碼器)及增益(b)(編碼器))亦可基於對應於高頻帶中間聲道、高頻帶非參考聲道的或自低頻帶話音因數或話音資訊導出的話音因數。混合增益(增益(a)(編碼器)及增益(b)(編碼器))亦可基於對應於高頻帶中間聲道及高頻帶非參考聲道之頻譜包絡。在另一替代性實施中,混合增益(增益(a)(編碼器)及增益(b)(編碼器))可基於信號中講話者或背景源之數目,及左(或參考、目標)聲道及右(或目標、參考)聲道的有聲-無聲特性。
非參考高頻帶激勵456被提供至LPC合成濾波器410。LPC合成濾波
器410可經組態以基於非參考高頻帶激勵456及經量化高頻帶LPC 457(例如,高頻帶中間聲道之LPC)產生經合成非參考高頻帶458。舉例而言,LPC合成濾波器410可將經量化高頻帶LPC 457應用於非參考高頻帶激勵456以產生經合成非參考高頻帶458。經合成非參考高頻帶458被提供至頻譜映射估計器414。
高頻帶參考聲道指示符440可被提供(作為控制信號)至開關424,其接收左聲道212及右聲道214作為輸入。基於高頻帶參考聲道指示符440,開關424可將左聲道212或右聲道214提供至高頻帶目標聲道產生器412作為非參考聲道459。舉例而言,若高頻帶參考聲道指示符440指示左聲道212為參考聲道,則開關424可將右聲道214提供至高頻帶目標聲道產生器412作為非參考聲道459。若高頻帶參考聲道指示符440指示右聲道214為參考聲道,則開關424可將左聲道212提供至高頻帶目標聲道產生器412作為非參考聲道459。
高頻帶目標聲道產生器412可對非參考聲道459之低頻帶信號分量濾波,以產生非參考高頻帶聲道460(例如,非參考聲道459之高頻帶部分)。在一些實施中,非參考高頻帶聲道460可基於進一步信號處理操作進行頻譜翻轉(例如,頻譜翻轉操作)。非參考高頻帶聲道460被提供至頻譜映射估計器414。頻譜映射估計器414可經組態以產生頻譜映射參數462,其將非參考高頻帶聲道460之頻譜(或能量)映射至經合成非參考高頻帶458之頻譜。舉例而言,頻譜映射估計器414可產生濾波器係數,其將非參考高頻帶聲道460之頻譜映射至經合成非參考高頻帶458之頻譜。舉例而言,頻譜映射估計器414判定頻譜映射參數462,其將經合成非參考高頻帶458之頻譜包絡映射為實質上接近於非參考高頻帶聲道460之頻譜包絡
(例如,非參考高頻帶信號)。頻譜映射參數462被提供至頻譜映射量化器416。頻譜映射量化器416可經組態以量化頻譜映射參數462以產生高頻帶頻譜映射位元串流464及經量化頻譜映射參數466。可根據下式之濾波器h(z)應用經量化頻譜映射參數466:
其中u i 為經量化頻譜映射參數466。
ICBWE編碼器204之第二部分204b包括頻譜映射施加器502、增益映射估計器與量化器504,及多工器590。經合成非參考高頻帶458及經量化頻譜映射參數466被提供至頻譜映射施加器502。頻譜映射施加器502可經組態以基於經合成非參考高頻帶458及經量化頻譜映射參數466產生頻譜狀經合成非參考高頻帶514。舉例而言,頻譜映射施加器502可將經量化頻譜映射參數應用於經合成非參考高頻帶458以產生頻譜狀經合成非參考高頻帶514。在其他替代性實施中,頻譜映射施加器502可將頻譜映射參數462(例如,經去量化參數)應用於經合成非參考高頻帶458,以產生頻譜狀經合成非參考高頻帶514。頻譜狀經合成非參考高頻帶514可用以估計高頻帶增益映射參數。舉例而言,頻譜狀經合成非參考高頻帶514被提供至增益映射估計器與量化器504。
因此,頻譜映射估計器414可使用頻譜形狀應用,其使用上文所描述之濾波器來濾波。頻譜映射估計器414可估計並量化用於參數(u i )之值。在一實例實施中,濾波器h(z)可為一階濾波器,且信號之頻譜包絡可近似於滯後索引一(lag(1))與滯後索引零(lag(0))之自相關係數之比率。若t(n)表示非參考高頻帶聲道460之第n個樣本,x(n)表示經合成非參考高頻帶458之第n樣本,且y(n)表示頻譜狀經合成非參考高頻帶514之第n個樣本,則
y(n)=h(n)⊙x(n),其中⊙為用於信號卷積操作之符號。
其中為在lag(n)處的信號之自相關。因為
y(n)=h(n)⊙x(n),所以r yy (n)=r hh (n)⊙r xx (n)。為求解(u i ,i=0,1),使得y(n)之包絡近似於t(n)之包絡,t(n)之包絡(T)可等於:
應注意,當ryy值經擴展時,可能存在許多近似值以獲得值u之多個可能近似值。可針對上述等式獲得反覆及分析型解決方案兩者。本文中描述分析型解決方案之非限制性實例。藉由將上述等式擴展至u之冪數達至二的術語,結果為:
a * u 2+b * u+c=0,其中,
因為非參考聲道大體而言在較高頻率下具有較陡的頻譜能量滾降,所以較小(u)值可為較佳的(包括負值)。較小(u)值包絡該信號,使得在較高頻率下存在較陡的頻譜能量滾降。根據一個實施,可使用絕對值<1((亦即,|ufina1|<1)的(u)之值。
若不存在真實解決方案,則前一訊框之(u)可被用作當前訊框之(u)。若存在一或多個真實解決方案,且不存在絕對值小於一的真實解決方案,則前一訊框之ufina1值可用於當前訊框。若存在一或多個真實解決方案,且存在絕對值小於一的一個真實解決方案,則當前訊框可使用真實解決方案作為ufina1值。若存在一或多個真實解決方案且存在絕對值小於一的多於一個真實解決方案,則當前訊框可使用最小(u)值作為ufina1值,或當前訊框可使用最接近於前一訊框之(u)值的(u)值。
在替代性實施中,頻譜映射參數可基於非參考高頻帶聲道及非參考高頻帶激勵456之頻譜分析進行估計,以最大化頻譜狀非參考HB信號與非參考HB目標聲道之間的頻譜匹配。在另一實施中,頻譜映射參數可係基於非參考高頻帶聲道及經合成高頻帶中間聲道520或高頻帶中間聲道292之LP分析。
非參考高頻帶聲道516、經合成高頻帶中間聲道520及高頻帶中間聲道292亦被提供至增益映射估計器與量化器504。增益映射估計器與量化器504可基於頻譜狀經合成非參考高頻帶514、非參考高頻帶聲道516、經合成高頻帶中間聲道520及高頻帶中間聲道292產生高頻帶增益映射位元
串流522及經量化高頻帶增益映射位元串流524。舉例而言,增益映射估計器與量化器504可基於經合成高頻帶中間聲道520及頻譜狀經合成非參考高頻帶514產生調整增益參數集合。舉例而言,增益映射估計器與量化器504可判定對應於經合成高頻帶中間聲道510之能量(或功率)與頻譜狀經合成非參考高頻帶514之能量(或功率)之間的差(或比率)的經合成高頻帶增益。該調整增益參數集合可指示經合成高頻帶增益。
增益映射估計器與量化器504可基於調整增益參數集合及經預測調整增益參數集合產生第一調整增益參數集合。舉例而言,第一調整增益參數集合可指示該調整增益參數集合與經預測調整增益參數集合之間的差。作為另一實例,第一調整增益參數集合可對應於經預測調整增益參數集合與經合成高頻帶中間聲道520之第一能量與頻譜狀經合成非參考高頻帶514之第二能量的比率之積(例如,第一調整增益參數集合=經預測調整增益參數集合*(經合成高頻帶中間聲道520之第一能量/頻譜狀經合成非參考高頻帶514之第二能量)。
高頻帶參考聲道指示符位元串流442、高頻帶頻譜映射位元串流464及高頻帶增益映射位元串流522被提供至多工器590。多工器590可經組態以藉由多工高頻帶參考聲道指示符位元串流442、高頻帶頻譜映射位元串流464及高頻帶增益映射位元串流522,來產生ICBWE位元串流242。ICBWE位元串流242可被傳輸至解碼器,諸如圖3A之解碼器300。
參看圖6,展示ICBWE解碼器306之特定實施。ICBWE解碼器306包括非參考高頻帶激勵產生器602、LPC合成濾波器604、頻譜映射施加器606、頻譜映射反量化器608、高頻帶增益形狀按比例調整器610、非參考高頻帶增益按比例調整器612、增益映射反量化器616、參考高頻帶增益
按比例調整器618及高頻帶聲道映射器620。非參考高頻帶激勵產生器602包括信號倍增器622、信號倍增器624及信號組合器626。
諧波高頻帶激勵630(自低頻帶位元串流246產生)被提供至信號倍增器622,且經調變雜訊632被提供至信號倍增器624。信號倍增器622將增益(增益(a)(解碼器))應用於諧波高頻帶激勵630,以產生經增益調整之諧波高頻帶激勵634,且信號倍增器624將增益(增益(b)(解碼器))應用於經調變雜訊632以產生經增益調整之經調變雜訊636。應注意在一些實施中,增益(a)(解碼器)及增益(b)(解碼器)可為向量,其中向量之每一值對應於子訊框中之對應信號的按比例調整因數。混合增益(增益(a)(解碼器)及增益(b)(解碼器))亦可基於對應於經合成高頻帶中間聲道、經合成高頻帶非參考聲道的或自低頻帶話音因數或話音資訊導出的話音因數。混合增益(增益(a)(解碼器)及增益(b)(解碼器))亦可基於對應於經合成高頻帶中間聲道、經合成高頻帶非參考聲道的或自低頻帶話音因數或話音資訊導出的頻譜包絡。在另一替代性實施中,混合增益(增益(a)(解碼器)及增益(b)(解碼器))可基於信號中講話者或背景源之數目,及左(或參考、目標)聲道及右(或目標、參考)聲道的有聲-無聲特性。經增益調整之諧波高頻帶激勵634及經增益調整之經調變雜訊636被提供至信號組合器626。信號組合器626可經組態以組合經增益調整之諧波高頻帶激勵634及經增益調整之經調變雜訊636以產生非參考高頻帶激勵638。因此,非參考高頻帶激勵638可以實質上類似於ICBWE編碼器204之非參考高頻帶激勵456的方式產生。
非參考高頻帶激勵638被提供至LPC合成濾波器604。LPC合成濾波器604可經組態以基於高頻帶中間聲道之非參考高頻帶激勵638及經反量化高頻帶LPC 640(來自傳輸自編碼器200之位元串流)產生經合成非參考高
頻帶642。舉例而言,LPC合成濾波器604可將經反量化高頻帶LPC 640應用於非參考高頻帶激勵638以產生經合成非參考高頻帶642。經合成非參考高頻帶642被提供至頻譜映射施加器606。
來自編碼器200之高頻帶頻譜映射位元串流464被提供至頻譜映射反量化器608。頻譜映射反量化器608可經組態以解碼高頻帶頻譜映射位元串流464以產生經反量化頻譜映射位元串流644。經反量化頻譜映射位元串流644被提供至頻譜映射施加器606。頻譜映射施加器606可經組態以將經反量化頻譜映射位元串流644應用於經合成非參考高頻帶642(以實質上類似於ICBWE編碼器204處的方式)以產生頻譜狀經合成非參考高頻帶646。舉例而言,可根據如下濾波器應用經反量化頻譜映射位元串流644:
其中u為經量化頻譜映射參數。頻譜狀經合成非參考高頻帶646被提供至高頻帶增益形狀按比例調整器610。
高頻帶增益形狀按比例調整器610可經組態以基於經量化高頻帶增益形狀(來自傳輸自編碼器200之位元串流)按比例調整頻譜狀經合成非參考高頻帶646,以產生經按比例調整信號650。經按比例調整信號650被提供至非參考高頻帶增益按比例調整器612。倍增器651可經組態以將經反量化高頻帶增益訊框652(例如,中間聲道增益訊框)與經量化高頻帶增益映射參數660(來自高頻帶增益映射位元串流522)相乘以產生所得信號656。所得信號656可藉由應用經反量化高頻帶增益訊框652與經量化高頻帶增益映射參數660之乘積或使用兩個順序增益階段而產生。所得信號656被提供至非參考高頻帶增益按比例調整器612。非參考高頻帶增益按比例調
整器612可經組態以藉由所得信號656按比例調整經按比例調整信號650,以產生經解碼高頻帶非參考聲道658。經解碼高頻帶非參考聲道658被提供至高頻帶聲道映射器620。根據另一實施,經預測參考聲道增益映射參數可應用於中間聲道以產生經解碼高頻帶非參考聲道658。
來自編碼器200之高頻帶增益映射位元串流522被提供至增益映射反量化器616。增益映射反量化器616可經組態以解碼高頻帶增益映射位元串流522以產生經量化高頻帶增益映射參數660。經量化高頻帶增益映射參數660被提供至參考高頻帶增益按比例調整器618,且經解碼高頻帶中間聲道662(自高頻帶中間聲道位元串流244產生)被提供至參考高頻帶增益按比例調整器618。參考高頻帶按比例調整器618可經組態以基於經量化高頻帶增益映射參數660按比例調整經解碼高頻帶中間聲道662,以產生經解碼高頻帶參考聲道664。經解碼高頻帶參考聲道664被提供至高頻帶聲道映射器620。
高頻帶聲道映射器620可經組態以指定經解碼高頻帶參考聲道664或經解碼高頻帶非參考聲道658作為高頻帶左聲道330。舉例而言,高頻帶聲道映射器620可基於來自編碼器200之高頻帶參考聲道指示符位元串流442判定高頻帶左聲道330是否為參考聲道(或非參考聲道)。在使用類似技術的情況下,高頻帶聲道映射器620可經組態以將經解碼高頻帶參考聲道664及經解碼高頻帶非參考聲道658之另一者指定為高頻帶右聲道332。
關於圖1至圖6描述之技術可實現改良之高頻帶估計,以供用於音訊編碼及音訊解碼。舉例而言,經量化頻譜映射參數466可用以產生具有近似於高頻帶聲道(例如,非參考高頻帶聲道460)之頻譜包絡的一頻譜包絡的經合成高頻帶聲道(例如,頻譜狀經合成非參考高頻帶514)。因此,經
量化頻譜映射參數466可在解碼器300處用以產生近似於編碼器200處之高頻帶聲道之頻譜包絡的經合成高頻帶聲道(例如,頻譜狀經合成非參考高頻帶646)。因此,當在解碼器300處重構高頻帶時,可出現減少之偽影,此係因為高頻帶可具有類似於編碼器側上的低頻帶的頻譜包絡。
參看圖7,展示估計頻譜映射參數之方法700。方法700可由圖1之第一裝置104執行。詳言之,方法700可由編碼器200執行。
方法700包括:在702,在第一裝置之編碼器處基於高頻帶參考聲道指示符選擇左聲道或右聲道作為非參考目標聲道。舉例而言,參看圖4,開關424可基於高頻帶參考聲道指示符440選擇左聲道212或右聲道214作為非參考高頻帶聲道460。
方法700包括:在704,基於對應於非參考目標聲道之非參考高頻帶激勵產生經合成非參考高頻帶聲道。舉例而言,參看圖4,LPC合成濾波器410可藉由將經量化高頻帶LPC 457應用於非參考高頻帶激勵456來產生經合成非參考高頻帶458。在一些實施中,方法700亦包括產生非參考目標聲道之高頻帶部分。
方法700亦包括:在706,基於經合成非參考高頻帶聲道及非參考目標聲道之高頻帶部分,估計一或多個頻譜映射參數。舉例而言,參看圖4,頻譜映射估計器414可基於經合成非參考高頻帶458及非參考高頻帶聲道460估計頻譜映射參數462。
根據一個實施,一或多個頻譜映射參數係基於滯後索引一處的非參考目標聲道之第一自相關值及滯後索引零處的非參考目標聲道之第二自相關值進行估計。一或多個頻譜映射參數可包括至少兩個頻譜映射參數候選者之一特定頻譜映射參數。在一個實施中,若至少兩個頻譜映射參數候選
者為非真實候選者,則特定頻譜映射參數可對應於前一訊框之頻譜映射參數。在另一實施中,若至少兩個頻譜映射參數候選者之每一頻譜映射參數候選者具有大於一之絕對值,則特定頻譜映射參數可對應於前一訊框之頻譜映射參數。在另一實施中,若至少兩個頻譜映射參數候選者之僅僅一個頻譜映射參數候選者具有小於一之絕對值,則特定頻譜映射參數可對應於具有小於一之絕對值的頻譜映射參數候選者。在另一實施中,若至少兩個頻譜映射參數候選者之多於一者具有小於一之絕對值,則特定頻譜映射參數可對應於具有最小值之頻譜映射參數候選者。在另一實施中,若至少兩個頻譜映射參數候選者之多於一者具有小於一之絕對值,則特定頻譜映射參數可對應於前一訊框之頻譜映射參數。
方法700亦包括:在708,將一或多個頻譜映射參數應用於經合成非參考高頻帶聲道,以產生頻譜狀經合成非參考高頻帶聲道。應用一或多個頻譜參數可對應於基於頻譜映射濾波器對經合成非參考高頻帶聲道濾波。頻譜狀經合成非參考高頻帶聲道可具有類似於非參考目標聲道之頻譜包絡的一頻譜包絡。舉例而言,參看圖5,頻譜映射施加器502可將經量化頻譜映射參數466應用於經合成非參考高頻帶458,以產生頻譜狀經合成非參考高頻帶514。頻譜狀經合成非參考高頻帶514可具有類似於非參考高頻帶聲道460之頻譜包絡的一頻譜包絡。頻譜狀經合成非參考高頻帶聲道可用以估計增益映射參數。
方法700亦包括:在710,基於一或多個頻譜映射參數產生經編碼位元串流。舉例而言,參看圖4,頻譜映射量化器416可基於頻譜映射參數462產生高頻帶頻譜映射位元串流464。
方法700進一步包括:在712,將經編碼位元串流傳輸至第二裝置。
舉例而言,參看圖1,傳輸器110可將ICBWE位元串流242(包括高頻帶頻譜映射位元串流464)傳輸至第二裝置106。
方法700可實現改良之高頻帶估計,以供用於音訊編碼及音訊解碼。舉例而言,經量化頻譜映射參數466可用以產生具有近似於高頻帶聲道(例如,非參考高頻帶聲道460)之頻譜包絡的一頻譜包絡的經合成高頻帶聲道(例如,頻譜狀經合成非參考高頻帶514)。因此,經量化頻譜映射參數466可在解碼器300處用以產生近似於編碼器200處之高頻帶聲道之頻譜包絡的經合成高頻帶聲道(例如,頻譜狀經合成非參考高頻帶646)。因此,當在解碼器300處重構高頻帶時,可出現減少之偽影,此係因為高頻帶可具有類似於編碼器側上的低頻帶的頻譜包絡。
參看圖8,展示提取頻譜映射參數之方法800。方法800可由圖1之第二裝置106執行。詳言之,方法800可由解碼器300執行。
方法800包括:在802,在裝置之解碼器處自所接收之位元串流產生參考聲道及非參考目標聲道。位元串流可自第二裝置之編碼器接收。舉例而言,參看圖1,解碼器300可自低頻帶位元串流246產生非參考聲道。參考聲道及非參考目標聲道可為解碼器300處產生之升混聲道。作為非限制性實例,若低頻帶參考聲道為左聲道之低頻帶部分,則左聲道之高頻帶部分可對應於高頻帶參考聲道。根據一個實施,解碼器300可在無參考聲道及非參考目標聲道的情況下產生左聲道及右聲道。
方法800亦包括:在804,基於對應於非參考目標聲道之非參考高頻帶激勵產生經合成非參考高頻帶聲道。舉例而言,參看圖6,LPC合成濾波器604可藉由將經反量化高頻帶LPC 640應用於非參考高頻帶激勵638來產生經合成非參考高頻帶642。
方法800進一步包括:在806,自所接收之頻譜映射位元串流提取一或多個頻譜映射參數。頻譜映射位元串流可自第二裝置之編碼器接收。舉例而言,參看圖6,頻譜映射反量化器608可自高頻帶頻譜映射位元串流464提取經反量化頻譜映射位元串流644。
方法800亦包括:在808,藉由將一或多個頻譜映射參數應用於經合成非參考高頻帶聲道,來產生頻譜狀非參考高頻帶聲道。頻譜狀經合成非參考高頻帶聲道可具有類似於非參考目標聲道之頻譜包絡的一頻譜包絡。舉例而言,參看圖6,頻譜映射施加器606可將經反量化頻譜映射位元串流644應用於經合成非參考高頻帶,以產生頻譜狀經合成非參考高頻帶646。頻譜狀經合成非參考高頻帶聲道646可具有類似於非參考目標聲道之頻譜包絡的一頻譜包絡。
方法800亦包括:在810,至少基於頻譜狀非參考高頻帶聲道、參考聲道及非參考目標聲道產生輸出信號。舉例而言,參看圖1,解碼器300可基於頻譜狀經合成非參考高頻帶646產生輸出信號126、128中之至少一者。
方法800進一步包括:在812,在播放裝置處顯現輸出信號。舉例而言,參看圖1,擴音器142、144可分別顯現並輸出輸出信號126、128。
方法800可實現改良之高頻帶估計,以供用於音訊編碼及音訊解碼。舉例而言,經量化頻譜映射參數466可用以產生具有近似於高頻帶聲道(例如,非參考高頻帶聲道460)之頻譜包絡的一頻譜包絡的經合成高頻帶聲道(例如,頻譜狀經合成非參考高頻帶514)。因此,經量化頻譜映射參數466可在解碼器300處用以產生近似於編碼器200處之高頻帶聲道之頻譜包絡的經合成高頻帶聲道(例如,頻譜狀經合成非參考高頻帶646)。因此,當
在解碼器300處重構高頻帶時,可出現減少之偽影,此係因為高頻帶可具有類似於編碼器側上的低頻帶的頻譜包絡。
參看圖9,展示編碼器900之特定實施。編碼器900可包括或對應於圖1之編碼器200或圖2B之中間聲道BWE編碼器206。
編碼器900包括LPC估計器251、LPC量化器252、高頻帶激勵產生器299(包括非線性BWE產生器253、倍增器255、求和器257、隨機雜訊產生器254、雜訊包絡調變器256,及倍增器258)、LPC合成濾波器259、高頻帶增益形狀估計器260、高頻帶增益形狀量化器261、高頻帶增益形狀按比例調整器262、高頻帶增益訊框估計器263、高頻帶增益訊框量化器264、多工器265、非諧波高頻帶偵測器906、高頻帶混合增益估計器912及雜訊包絡控制參數估計器916。另外,在一些實施中,編碼器900亦包括非諧波高頻帶旗標修改器922。
非諧波高頻帶偵測器906經組態以產生非諧波HB旗標(x),(例如,多源旗標)910。非諧波HB旗標(例如,多源旗標x)910可具有指示高頻帶信號(諸如,高頻帶中間聲道292)之諧波量度的值。舉例而言,非諧波高頻帶偵測器906可接收低頻帶話音(w)902、前一訊框之增益訊框904及高頻帶中間聲道292,且非諧波高頻帶偵測器906可基於低頻帶話音(w)902、前一訊框之增益訊框904及高頻帶中間聲道292判定非諧波HB旗標(例如,多源旗標x)910,如本文進一步描述。
高頻帶混合增益估計器912經組態以接收低頻帶話音因數(z)908及非諧波HB旗標(x)910。高頻帶混合增益估計器912經組態以基於低頻帶話音因數(z)908及非諧波HB旗標(x)910產生混合增益(例如,第一增益「增益(1)」(編碼器)及第二增益「增益(2)」(編碼器)),如本文進一步描述。
應注意,在解碼器之高頻帶激勵產生器處混合係基於增益(1)(解碼器)及增益(2)(解碼器)而執行,如參看圖10而描述。
如上文參看圖2B所描述,在TD-BWE編碼過程中,低頻帶激勵232係藉由非線性BWE產生器253而非線性地擴展以產生諧波高頻帶激勵237。
雜訊包絡控制參數估計器916經組態以接收低頻帶話音因數(z)914及非諧波HB旗標(x)910。低頻帶話音因數(z)914可與低頻帶話音因數(z)908相同或不同。雜訊包絡控制參數估計器916經組態以基於低頻帶話音因數(z)914及非諧波HB旗標(x)910而產生雜訊包絡控制參數918(編碼器)。雜訊包絡控制參數估計器916經組態以提供雜訊包絡控制參數918(編碼器)至雜訊包絡調變器256。如本文所使用,「參數(編碼器)」係指由編碼器使用之參數,且「參數(解碼器)」係指由解碼器使用之參數。
包絡調變雜訊(例如,經調變雜訊482(編碼器))用於產生高頻帶激勵276之雜訊分量。舉例而言,由雜訊包絡調變器256使用(以產生經調變雜訊482(編碼器))之包絡可基於諧波高頻帶激勵237而提取。包絡調變係藉由雜訊包絡調變器256藉由對諧波高頻帶激勵237之絕對值應用低通濾波器而執行。低通濾波器參數係基於藉由雜訊包絡控制參數估計器916判定的雜訊包絡控制參數918(編碼器)而判定。
應注意類似(或相同)包絡調變係在諸如圖1之解碼器300的解碼器處執行,如本文中參看圖10進一步描述。解碼器可基於低頻帶話音因數及非諧波HB旗標(諸如,非諧波HB旗標(x)910、經修改非諧波HB旗標(y)920或另一非諧波HB旗標)判定雜訊包絡控制參數(解碼器)。在其中非諧波HB旗標(x)910指示諧波量度並非為諧波(例如,強非諧波)的情形中,經增益調整之諧波高頻帶激勵273可不會產生或增益(1)(編碼器)可設定成零值。
舉例而言,若旗標(例如,非諧波HB旗標(x)910)指示高頻帶為諧波,則雜訊包絡控制參數918(編碼器)指示待應用於雜訊274之包絡將為快速變化之包絡(例如,雜訊包絡調變器256可使用小樣本長度-用於每一樣本之雜訊包絡估計過程很大程度上不太依賴於諧波HB激勵之對應樣本的絕對值)。作為另一實例,若旗標(例如,非諧波HB旗標(x)910)指示高頻帶為非諧波,則雜訊包絡控制參數918(編碼器)指示待應用於雜訊274之包絡將為緩慢變化之包絡(例如,雜訊包絡調變器256可使用大樣本長度-用於每一樣本之雜訊包絡估計過程很大程度上更多依賴於諧波HB激勵之對應樣本的絕對值)。在另一實例中,旗標(例如,非諧波旗標或多源旗標x)指示多個音訊源是否與高頻帶中間信號相關聯。在實例實施例中,非諧波旗標或多源旗標(x)用以控制雜訊包絡參數916、1016以及增益(1)及增益(2)以用於高頻帶激勵產生299、362。雜訊包絡調變器256可將包絡(例如,基於雜訊包絡控制參數918)應用於雜訊274以產生經調變雜訊482(編碼器)。
高頻帶激勵276(例如,基於諧波高頻帶激勵237、增益1(編碼器)、經調變雜訊482(經編碼)及增益2(編碼器)判定的混合HB激勵)用於進一步處理。舉例而言,基於高頻帶中間聲道292,編碼器900可估計並量化一或多個LPC以待應用於高頻帶激勵276以產生經合成高頻帶中間聲道277。基於高頻帶中間聲道292及經合成高頻帶中間聲道277,高頻帶增益形狀及高頻帶增益訊框經進一步提取及量化以供傳輸至諸如圖1之解碼器300的解碼器。
非諧波高頻帶旗標修改器922經組態以接收高頻帶增益訊框參數282及非諧波HB旗標(x)910。非諧波高頻帶旗標修改器922經組態以基於高
頻帶增益訊框參數282及非諧波HB旗標(x)910產生經修改非諧波HB旗標(y)920。對於一些訊框,非諧波HB旗標(x)910及經修改非諧波HB旗標(y)920可指示用於高頻帶之相同諧波量度(例如,非諧波HB旗標(x)910及經修改非諧波HB旗標(y)920可具有相同值)。對於其他訊框,非諧波HB旗標(x)910及經修改非諧波HB旗標(y)920可指示用於高頻帶之不同諧波量度(例如,非諧波HB旗標(x)910及經修改非諧波HB旗標(y)920可具有不同值)。儘管非諧波HB旗標(x)910之修改經描述為係基於高頻帶增益訊框參數282(例如,經預先量化之HB增益訊框參數),但在其他實施中,非諧波HB旗標(x)910可基於高頻帶增益訊框位元串流283(例如,經量化HB增益訊框參數)或高頻帶增益訊框位元串流283(例如,經量化HB增益訊框參數)及高頻帶增益訊框參數282(例如,經預先量化之HB增益訊框參數)兩者而修改。另外,應注意非諧波HB旗標(x)910之修改係可選的。在一些實施(諸如,立體聲操作實施)中,編碼器900(例如,TD-BWE編碼器)輸出一或多個其他參數以供用於如參看圖2B及圖11描述之ICBWE中。
參看圖10,展示解碼器1000之特定實施。解碼器可包括或對應於圖1之解碼器300或圖3之ICBWE解碼器306。解碼器1000包括LPC反量化器360、高頻帶激勵產生器362、LPC合成濾波器364、高頻帶增益形狀反量化器366、高頻帶增益形狀按比例調整器368、高頻帶增益訊框反量化器370、高頻帶增益訊框按比例調整器372、高頻帶混合增益估計器1012及雜訊包絡控制參數估計器1016。在一些實施中,解碼器1000為用於中間信號高頻帶寫碼(例如,中間聲道BWE解碼)的TD-BWE解碼器。
解碼器1000經組態以接收一或多個位元串流。一或多個位元串流可包括高頻帶LPC位元串流272、高頻帶增益形狀位元串流280及高頻帶增益
訊框位元串流283。解碼器1000經進一步組態以接收經修改非諧波HB旗標(y)1020。經修改非諧波HB旗標(例如,多源旗標y)1020可包括或對應於非諧波HB旗標(x)910或經修改非諧波HB旗標(y)920。舉例而言,解碼器1000可將經修改非諧波HB旗標(y)920(來自編碼器900)接收為經修改非諧波HB旗標(y)1020。
在其他實施中,解碼器1000可接收非諧波HB旗標(x)910(來自編碼器900)且可產生經修改非諧波HB旗標(y)1020。舉例而言,解碼器1000可包括非諧波高頻帶旗標修改器,諸如圖9之非諧波高頻帶旗標修改器922,且可接收非諧波HB旗標(x)910。在此實例中,解碼器1000亦可接收高頻帶增益訊框參數,諸如來自編碼器900之高頻帶增益訊框參數282,且解碼器1000可基於高頻帶增益訊框參數及非諧波HB旗標(x)910判定非諧波HB旗標(y)1020。在一些實施中,解碼器1000經組態以獨立於非諧波HB旗標(x)910及經修改非諧波HB旗標(y)920而產生經修改非諧波HB旗標(y)1020。
解碼器1000亦可接收低頻帶話音因數(z)1014。低頻帶話音因數(z)1014可包括或對應於圖9之低頻帶話音因數(z)914。在一些實施中,解碼器1000可將低頻帶話音因數(z)914接收為低頻帶話音因數(z)1014。在其他實施中,解碼器1000可計算低頻帶話音因數(z)1014或可自另一組件(諸如,圖3A之低頻帶解碼器304、中間聲道BWE解碼器302或ICBWE解碼器306)接收低頻帶話音因數(z)1014。
解碼器1000可執行類似於關於圖3A及圖3B之ICBWE解碼器306描述之操作及類似於關於圖9之編碼器900描述之操作的操作。舉例而言,高頻帶混合增益估計器1012可執行類似於關於圖9之高頻帶混合增益估計器
912描述之操作的操作。舉例而言,高頻帶混合增益估計器1012可接收低頻帶話音因數(z)1014及經修改非諧波HB旗標(y)1020。基於低頻帶話音因數(z)1014及經修改非諧波HB旗標(y)1020,高頻帶混合增益估計器1012產生混合增益(例如,增益(1)(解碼器)及增益(2)(解碼器)),如本文進一步描述。混合增益(例如,增益(1)(解碼器)及增益(2)(解碼器))被提供至高頻帶激勵產生器362。高頻帶激勵產生器362可對應於圖9之高頻帶激勵產生器299並執行類似於關於圖9之高頻帶激勵產生器299所描述之操作的操作。
雜訊包絡控制參數估計器1016可執行類似於圖9之雜訊包絡控制參數估計器916的操作。舉例而言,雜訊包絡控制參數估計器1016接收低頻帶話音因數(z)1014及經修改非諧波HB旗標(y)1020。類似於關於圖9描述之雜訊包絡控制參數918的產生,雜訊包絡控制參數估計器1016基於低頻帶話音因數(z)1014及經修改非諧波HB旗標(y)1020產生雜訊包絡控制參數1018(解碼器)。
基於經修改非諧波HB旗標(y)1020,解碼器1000產生高頻帶激勵380。高頻帶激勵380之產生可包括高頻帶激勵產生器362產生經調變雜訊及執行混合操作以產生高頻帶激勵380。經調變雜訊可基於雜訊包絡控制參數1018(解碼器)而產生。混合操作可基於增益(1)(解碼器)及增益(2)(解碼器)而執行,如關於圖9所描述。
基於所產生高頻帶激勵380,判定增益訊框及增益形狀之解碼器值,及來自BWE位元串流之其他參數。另外,解碼器1000產生經解碼高頻帶中間聲道662。舉例而言,經反量化高頻帶LPC 640、經反量化高頻帶增益形狀648及經反量化高頻帶增益訊框652用以產生經解碼高頻帶中間聲
道。應注意,由於由解碼器1000使用的經修改非諧波HB旗標(y)1020可與由編碼器900使用的非諧波HB旗標(x)910及經修改非諧波HB旗標(y)920不同(在特定訊框之值方面),所以在編碼器900處估計增益訊框及增益形狀所針對的高頻帶激勵276可不同於在解碼器1000處應用增益訊框及增益形狀所針對的高頻帶激勵380。
在一些實施中,解碼器1000(例如,TD-BWE解碼器)亦輸出在立體聲操作之情況下在ICBWE解碼中使用的某其他參數,如關於圖3A、圖3B及圖6所描述。
在立體聲編碼及解碼中,用於ICBWE、目標高頻帶聲道及中間聲道之包絡形狀經調變雜訊可類似或針對不同聲道可不同。另外,混合增益可針對中間聲道、ICBWE及目標高頻帶聲道而不同,且可如圖11至圖12中所描述而判定。
如參看圖9及圖10所描述,BWE可運用不同非線性混合、不同非線性組態等基於旗標(諸如,非諧波HB旗標(x)910)之值而執行。舉例而言,旗標之值可指示多個源或多個物件等(其可對應於不同寫碼模式(例如,有聲、無聲、背景等))之存在。因此,非諧波HB旗標(x)910可被稱為多源旗標。因此,增強型寫碼及再生可藉由圖9至圖12之編碼器/解碼器來達成。
參看圖11,展示圖1之編碼器之聲道間頻寬擴展編碼器的第三部分1100之特定實施。在一些實施中,第三部分1100包括於ICBWE編碼器204中。
第三部分1100包括高頻帶混合增益估計器1102。高頻帶混合增益估計器1102經組態以接收混合增益(例如,增益(1)(編碼器)及增益(2)(編碼
器)),關於圖2B及圖9所描述,且接收經修改非諧波HB旗標(y)920,關於圖9所描述。高頻帶混合增益估計器1102經組態以產生增益(a)(編碼器)及增益(b)(編碼器),其可被提供至圖4之非參考高頻帶激勵產生器408。
在一些實施中,增益(a)(編碼器)及增益(b)(編碼器)係基於HB參考聲道與非參考聲道之相對能量、HB非參考聲道之雜訊底限等而判定。另外或替代地,增益(a)(編碼器)及增益(b)(編碼器)可與關於圖2B及圖9所描述之增益(1)(編碼器)及增益(2)(編碼器)相同。在其他實施中,增益(a)(編碼器)及增益(b)(編碼器)為根據每一處理訊框在多個子訊框中分別估計的增益(1)(編碼器)及增益(2)(編碼器)之平均值,且此等值係基於經修改非諧波HB旗標(y)920而經進一步修改。應注意在一些替代性實施中,高頻帶混合增益估計器1102可基於非諧波HB旗標(x)910判定增益(a)(編碼器)及增益(b)(編碼器)之值。
參看圖12,展示圖1之解碼器之聲道間頻寬擴展解碼器的部分1200之特定實施。在一些實施中,部分1200包括於ICBWE解碼器306中。
部分1200包括高頻帶混合增益估計器1202。高頻帶混合增益估計器1202經組態以接收混合增益(例如,增益(1)(解碼器)及增益(2)(解碼器)),關於圖3B及圖10所描述,且接收經修改非諧波HB旗標(y)920,關於圖9及圖10所描述。高頻帶混合增益估計器1202經組態以產生增益(a)(解碼器)及增益(b)(解碼器)。增益(a)(解碼器)及增益(b)(解碼器)可被提供至圖6之非參考高頻帶激勵產生器602。在其他實施中,增益(a)(解碼器)及增益(b)(解碼器)為根據每一處理訊框在多個子訊框中分別估計的增益(1)(解碼器)及增益(2)(解碼器)之平均值,且此等值係基於經修改非諧波HB旗標(y)1020而經進一步修改。應注意在一些替代性實施中,高頻帶混合增益
估計器1202可基於自編碼器傳輸或在ICBWE解碼器306自身處估計的非諧波HB旗標(x)等值判定增益(a)(解碼器)及增益(b)(解碼器)之值。
在上文所描述態樣之說明性實施中,連同與旗標(例如,非諧波HB旗標(x)910)、經修改旗標(例如,經修改非諧波HB旗標(y)920)或兩者之產生、使用及修改相關的偽碼一起提供以下實例。下文描述如何識別非諧波HB旗標(例如,非諧波HB旗標(x)910)及如何修改非諧波HB旗標(例如,非諧波HB旗標(x)910)的實例。
在特定實施中,判定訊框之高頻帶(HB)能量(表示為HB_Energy)的估計。應注意能量及功率(例如,其可為能量之平方根)可被互換地使用。另外,擷取長期HB能量(表示為HB_Energy_LongTerm)。長期HB能量可已針對多個訊框而平滑。比率可計算為:比率=(HB_Energy)/(HB_Energy_LongTerm)。
LB話音之平均值係基於音調滯後處LB信號之相關性的強度而判定。話音不同於話音因數:話音因數為中間LB之代數碼激勵線性預測(ACELP)寫碼方法的參數,其表示適應性碼簿增益與固定碼簿增益之混合之比率。另外,前一(例如,最新)訊框之增益訊框可被擷取。
HB能量比、LB話音之平均值及前一訊框之增益訊框可用於運用非諧波HB信號之預計算平均值及共變數分量基於高斯混合模型(GMM)計算HB為非諧波之似然性(下文表示為pu)。另外,比率、LB話音之平均值及前一訊框之增益訊框可用於運用諧波HB信號之預計算平均值及共變數分量基於高斯混合模型計算HB為諧波之似然性(下文表示為pv)。基於此等似然性(pu及pv),此等似然性之間的不同可能關係可分類為HB之調和性的不同位準。
為進一步說明,以下實例描繪說明性偽碼(例如,浮點中之簡化C碼),其可經編譯並儲存於記憶體中,諸如圖1的第一裝置104之記憶體153或第二裝置106之記憶體,或圖18之記憶體1832。偽碼說明本文中所描述之態樣的可能實施。偽碼包括並非為可執行碼之部分的註解。在偽碼中,註解之開端由前向斜線及星號(例如,「/*」)指示,且註解之末端由星號及前向斜線(例如,「*/」)指示。為進行說明,註解「COMMENT」可作為/*COMMENT*/出現在偽碼中。
在所提供之實例中,「==」運算符指示等同性比較,從而「A==B」在A之值等於B之值時具有真值,且否則具有假值。「&&」運算符指示邏輯AND運算。「∥」運算符指示邏輯OR運算。「>」運算符表示「大於」,「>=」運算符表示「大於或等於」,且「<」運算符指示「小於」。在數字之後的術語「f」指示浮點(例如,十進位)數字格式。
在所提供實例中,「*」可表示乘法運算,「+」或「求和」可表示加法運算,「abs」可表示絕對值運算,「avg」可表示平均運算,「++」可指示遞增,「-」可指示減法運算,且「/」可表示除法運算。「=」運算符表示賦值(例如,「a=1」將值1賦予至變數「a」)。
下文呈現實例1A,其將似然性之間的不同可能關係分類為高頻帶之調和性的不同位準。在特定實施中,實例1A之操作係藉由圖9之非諧波高頻帶偵測器906執行。
下文呈現實例1B,其將似然性之間的不同可能關係分類為高頻帶之調和性的兩個不同位準中之一者。舉例而言,非諧波HB旗標可指示諧波或非諧波。在特定實施中,實例1B之操作係藉由圖9之非諧波高頻帶偵測器906執行。
下文呈現實例2,其基於雜訊包絡控制參數提取雜訊包絡並針對白雜訊信號應用該雜訊包絡。實例2亦包括用以判定雜訊包絡控制參數(諸如,雜訊包絡控制參數918(編碼器)或雜訊包絡控制參數1018(解碼器))的操作。在特定實施中,實例2之操作係藉由圖9之雜訊包絡控制參數估計器916及雜訊包絡調變器256或圖10之雜訊包絡控制參數估計器1016及高頻帶激勵產生器362執行。儘管實例2包括具有至少三個可能值之非諧波旗標,但在其他實施中,可基於具有兩個可能值之非諧波旗標執行類似操作。另外或替代地,可基於實例1B之多源旗標MSFlag執行類似操作。
如何基於Non_Harmonic_HB_Flag估計雜訊包絡的控制允許控制雜訊之包絡,其實際上控制經解碼高頻帶信號之「嗡嗡響(buzziness)」。信
號諧波愈多,信號趨向於「嗡嗡響」。替代地,信號諧波愈少,信號趨向於愈少「嗡嗡響」(且更清晰)。關於實例2之偽碼,當在解碼器(諸如,解碼器300或解碼器1000)處實施時,非諧波HB旗標由接收之非諧波HB旗標(其可能相同或其可為經修改非諧波HB旗標)替換。在其他實施中,當在解碼器處實施時,在解碼器處判定非諧波HB旗標。
下文呈現實例3,其中激勵混合(例如,增益)係基於非諧波HB旗標。在特定實施中,實例3之操作係藉由圖9之高頻帶激勵產生器299或圖10之高頻帶激勵產生器362執行。儘管實例3包括具有至少三個可能值之非諧波旗標,但在其他實施中,可基於具有兩個可能值之非諧波旗標執行類似操作。另外或替代地,可基於實例1B之多源旗標MSFlag執行類似操作。
參看圖13,展示音訊信號編碼之方法1300。方法1300可由圖1之第一裝置104執行。特定言之,方法1300可藉由編碼器200(諸如,在圖9之
編碼器900(例如,中間聲道BWE編碼器)處)執行。
方法1300包括:在1302,在編碼器處接收音訊信號。舉例而言,在立體聲實施中,音訊信號可對應於在編碼器900處接收的圖2之中間聲道222。在非立體聲實施中,音訊信號可對應於經由圖1之第一音訊聲道130或第二音訊聲道132接收之音訊信號。
方法1300包括:在1304,基於接收之音訊信號產生高頻帶信號。舉例而言,在立體聲實施中,高頻帶信號可對應於圖2之高頻帶中間聲道292。
方法1300亦包括:在1306,判定指示高頻帶信號之諧波量度的第一旗標值。舉例而言,第一旗標值可對應於圖9之非諧波HB旗標(x)910的值。諧波量度可經判定具有強諧波、弱諧波或強非諧波之值。替代地,諧波量度可經判定具有諧波或非諧波之值。
在一些實施中,在1308,可傳輸高頻帶信號之經編碼版本。舉例而言,高頻帶信號之經編碼版本可對應於圖2之高頻帶中間聲道位元串流244、ICBWE位元串流242、降混位元串流216或其任何組合。
方法1300亦可包括基於接收之音訊信號(例如,圖2A之低頻帶中間聲道294)產生低頻帶信號及至少部分地基於低頻帶信號之低頻帶話音值(例如,圖9之低頻帶話音(w)902)判定旗標值。對應於音訊信號之第一訊框的增益訊框值(例如,圖9之高頻帶增益訊框參數282)可經判定,且對應於在音訊信號之第一訊框之後的第二訊框之第一旗標值可至少部分地基於第一訊框之增益訊框值(例如,圖9之前一訊框之增益訊框904)而判定。
第一旗標值可至少部分地基於高頻帶信號(例如,圖9之高頻帶中間聲道292)之訊框的能量量度與高頻帶信號之多訊框能量量度之比率而判
定,諸如參看圖9之非諧波高頻帶偵測器906所描述。
高頻帶激勵信號可基於調和擴展低頻帶激勵信號及進一步基於第一旗標值而產生以產生高頻帶信號之經合成版本,諸如使用係基於諧波高頻帶激勵237之高頻帶激勵276及使用係基於非諧波HB旗標(x)910之混合增益及雜訊包絡控制參數918產生的圖9之經按比例調整之經合成高頻帶中間聲道281。編碼器可諸如在非諧波高頻帶旗標修改器922處基於超過臨限值的對應於經合成版本之增益訊框參數修改第一旗標值。
方法1300可在接收音訊信號(例如,第一音訊聲道130)及第二音訊信號(例如,第二音訊聲道132)並基於音訊信號及第二音訊信號產生中間信號(例如,中間聲道222)的立體聲編碼器處執行。高頻帶信號可對應於中間信號之高頻帶部分(例如,圖2及圖9之高頻帶中間聲道292)。作為實例,第一旗標值可用於在圖9之BWE編碼器中產生高頻帶激勵276。作為另一實例,第一旗標值可用於在聲道間頻寬擴展(ICBWE)編碼操作期間至少部分地基於第一旗標值產生非參考高頻帶激勵信號(例如,使用來自圖11之高頻帶混合增益估計器1102的混合增益產生的圖6之非參考高頻帶激勵638)。
方法1300可基於指示高頻帶信號之諧波量度的第一旗標值實現改良之編碼準確度。舉例而言,第一旗標值可用於控制高頻帶激勵276之產生,諸如參看圖9之高頻帶激勵產生器299所描繪。增強之編碼準確度可實現在解碼裝置(諸如,圖1之第二裝置106)處音訊播放的改良之準確度。
參看圖14,展示音訊信號編碼之方法1400。方法1400可由圖1之第一裝置104執行。特定言之,方法1400可藉由編碼器200(諸如,在圖9之編碼器900(例如,中間聲道BWE編碼器)處)執行。
方法1400包括:在1402,判定對應於高頻帶信號之訊框的增益訊框參數。舉例而言,增益訊框參數可對應於圖9之高頻帶增益訊框參數282中之一或多者。增益訊框參數可藉由以下操作而產生:基於低頻帶激勵信號及基於旗標(例如,圖9之非諧波HB旗標(x)910)產生高頻帶激勵信號(例如,圖9之高頻帶激勵276);基於高頻帶激勵信號產生高頻帶信號之經合成版本(例如,圖9之經按比例調整之經合成高頻帶中間聲道281);及比較高頻帶信號之訊框與高頻帶信號之經合成版本的訊框(例如,以產生高頻帶增益訊框參數282)。
方法1400包括:在1404,比較增益訊框參數與臨限值。舉例而言,參看圖9,非諧波高頻帶旗標修改器922可比較高頻帶增益訊框參數中之一或多者與臨限量。舉例而言,高頻帶增益訊框參數之相對大值可指示經預測為強諧波的高頻帶信號之訊框可能實際上為非諧波。
方法1400包括回應於增益訊框參數大於臨限值,修改對應於訊框且指示高頻帶信號之諧波量度的旗標。在一些實施中,旗標(例如,圖9之非諧波HB旗標(x)910)可自具有指示高頻帶信號為諧波之第一值修改至具有指示高頻帶信號為非諧波之第二值。
方法1400進一步包括:在1408,傳輸經修改旗標。舉例而言,經修改旗標(例如,圖9之經修改非諧波HB旗標(y)920)可經由圖2之高頻帶中間聲道位元串流244、ICBWE位元串流242、降混位元串流216或其任何組合傳輸至第二裝置106。
方法1400可藉由校正經判定不正確地指示高頻帶之諧波量度的旗標值實現改良之編碼準確度。經修改旗標值可用於額外編碼,以便判定用於聲道間BWE編碼之混合增益值,如關於圖2、圖6及圖11所描述。發送經
修改旗標值至解碼器可使得解碼器能夠在解碼器處產生音訊信號之更準確合成版本。增強之解碼準確度可實現在解碼裝置處音訊播放之改良的準確度。
參看圖15,展示音訊信號編碼之方法1500。方法1500可由圖1之第一裝置104執行。特定言之,方法1500可藉由編碼器200(諸如,在圖9之編碼器900(例如,中間聲道BWE編碼器)處)執行。
方法1500包括:在1502,在編碼器處接收至少一第一音訊信號及一第二音訊信號。舉例而言,在立體聲實施中,第一音訊信號可對應於圖2之左聲道且第二音訊信號可對應於圖2之右聲道。
方法1500包括:在1504,對該第一音訊信號及該第二音訊信號執行降混操作以產生中間信號。舉例而言,中間信號可對應於圖2之中間聲道222。降混操作可藉由圖2之降混器202執行。
方法1500包括:在1506,基於中間信號產生低頻帶中間信號及高頻帶中間信號。舉例而言,低頻帶中間信號可對應於圖2之低頻帶中間聲道294,且高頻帶中間信號可對應於圖2之高頻帶中間聲道292。低頻帶中間信號對應於中間信號之低頻部分,且高頻帶中間信號對應於中間信號之高頻部分。
方法1500包括:在1508,至少部分地基於低頻帶信號之話音值及對應於高頻帶中間信號之增益值來判定與高頻帶中間信號相關聯的多源旗標之值。舉例而言,旗標可對應於圖9之非諧波HB旗標(x)910(其可被稱為多源旗標)的值。在特定實施中,多源旗標指示多個音訊源是否與高頻帶中間信號相關聯。旗標之值可基於圖9之低頻帶話音(w)902及前一訊框之增益訊框904。
方法1500包括:在1510,至少部分地基於多源旗標產生高頻帶中間激勵信號。舉例而言,高頻帶中間激勵信號可包括或對應於圖9之高頻帶激勵276。在特定實施中,編碼器可經組態以藉由組合非線性諧波激勵信號(例如,諧波高頻帶激勵237)與經調變雜訊(例如,經調變雜訊482)而產生高頻帶激勵信號,且編碼器可基於多源旗標控制非線性諧波激勵信號與經調變雜訊的混合。舉例而言,編碼器可經組態以基於多源旗標設定與非線性諧波激勵信號相關聯的第一增益(例如,圖9之增益(1))及與經調變雜訊相關聯的第二增益(例如,圖9之增益(2))中之至少一者的值。作為另一實例,編碼器可經組態以基於非線性諧波激勵信號(例如,諧波高頻帶激勵237)及進一步基於雜訊包絡控制參數(例如,圖9之雜訊包絡控制參數918)產生經調變雜訊。雜訊包絡控制參數可至少部分地基於多源旗標(例如,雜訊包絡控制參數估計器916回應於非諧波HB旗標(x)910),且編碼器可經組態以至少部分地基於經調變雜訊產生高頻帶中間激勵信號(例如,經由在倍增器258處將增益(2)應用於經調變雜訊482及與圖9之倍增器255的輸出組合以產生高頻帶激勵276)。雜訊包絡控制參數可進一步基於低頻帶話音因數,諸如圖9之低頻帶話音因數(z)914中之一或多者。
方法1500包括:在1512,至少部分地基於高頻帶中間激勵信號產生位元串流。舉例而言,位元串流可對應於圖2A之高頻帶中間聲道位元串流244、ICBWE位元串流242、降混位元串流216或其任何組合。
方法1500進一步包括:在1514,將位元串流及多源旗標自編碼器傳輸至一裝置。舉例而言,位元串流可對應於圖2A之高頻帶中間聲道位元串流244、ICBWE位元串流242、降混位元串流216或其任何組合,且位元串流及多源旗標可被傳輸至圖1之第二裝置106(例如,解碼器)。
方法1500可基於指示高頻帶信號之諧波量度的用以控制高頻帶激勵276產生(諸如,參看圖9之高頻帶激勵產生器299所描繪)的旗標實現改良之編碼準確度。增強之編碼準確度可實現在解碼裝置(諸如,圖1之第二裝置106)處音訊播放的改良之準確度。
參看圖16,展示音訊信號解碼之方法1600。方法1600可由圖1之第二裝置106執行。特定言之,方法1600可藉由解碼器300(諸如,在圖10之解碼器1000(例如,中間聲道BWE解碼器)處)執行。
方法1600包括:在1602,接收對應於音訊信號之經編碼版本的位元串流。舉例而言,參看圖1,解碼器300可接收包括低頻帶位元串流246、高頻帶中間聲道位元串流244、ICBWE位元串流242、降混位元串流216或其任何組合的位元串流。
方法1600亦包括:在1604,基於低頻帶激勵信號及進一步基於指示高頻帶信號之諧波量度的第一旗標值產生高頻帶激勵信號,其中高頻帶信號對應於音訊信號之高頻帶部分。舉例而言,諧波量度可具有強諧波、弱諧波或強非諧波的值,諸如參考非諧波HB旗標(x)910及圖9及圖10之經修改非諧波HB旗標(y)920、1020所描述。替代地,諧波量度可具有諧波或非諧波之值,如本文所描述。
在一些實施中,位元串流包括旗標值。舉例而言,圖9中所說明的中間聲道BWE編碼器可判定經修改非諧波HB旗標(y)920且可傳輸經修改非諧波HB旗標(y)920(例如,經由位元串流中之指示經修改非諧波HB旗標(y)920之值的資料)至解碼器300。在其他實施中,解碼器至少部分地基於低頻帶信號之低頻帶話音值判定旗標值,其中低頻帶信號對應於音訊信號之低頻帶部分。舉例而言,圖10中描繪之中間聲道BWE解碼器可包括圖9
之非諧波高頻帶偵測器906及非諧波高頻帶旗標修改器922且可在解碼期間判定非諧波HB旗標(x)910(基於低頻帶話音、前一訊框之增益訊框,及高頻帶中間聲道之能量量度)及經修改非諧波HB旗標(y)1020(基於高頻帶增益訊框參數)。在其他實施中,位元串流包括第一旗標值(例如,非諧波HB旗標(x)910)且解碼器判定對應於高頻帶信號之訊框的增益訊框參數且回應於該增益訊框參數大於臨限值而修改第一旗標值以產生旗標值(例如,圖10之解碼器自編碼器接收非諧波HB旗標(x)910且包括非諧波高頻帶旗標修改器922產生經修改諧波HB旗標(y)1020)。
高頻帶激勵信號可諸如在以如參看圖9之高頻帶激勵產生器299所描述的類似方式起作用的圖10之高頻帶激勵產生器362處藉由非線性擴展低頻帶激勵信號及將非線性擴展低頻帶激勵信號與經調變雜訊組合而產生。方法1600可包括基於第一旗標值設定與非線性擴展之低頻帶激勵信號相關聯的第一增益及與經調變雜訊相關聯的第二增益(諸如,藉由高頻帶混合增益估計器1012輸出並輸入至圖10之高頻帶激勵產生器362的增益(1)及增益(2))中之至少一者的值。經調變雜訊可藉由非線性擴展低頻帶激勵信號及藉由基於非線性擴展低頻帶激勵信號調變雜訊信號及進一步基於雜訊包絡控制參數而產生。雜訊包絡控制參數可至少部分地基於第一旗標值,諸如基於經修改非諧波HB旗標(y)920由雜訊包絡控制參數估計器1016產生的圖10之雜訊包絡控制參數1018。雜訊包絡控制參數可進一步基於在雜訊包絡控制參數估計器1016處接收之低頻帶話音因數(z)1014。
高頻帶信號之經合成版本可基於高頻帶激勵信號而產生。舉例而言,高頻帶激勵信號可用於產生圖3B、圖6及圖10之經解碼高頻帶中間聲道662。經解碼高頻帶中間聲道662可用於產生高頻帶左聲道330及高頻帶
右聲道332。高頻帶信號之經合成版本可與低頻帶信號(例如,低頻帶左聲道334或低頻帶右聲道336)之經合成版本組合以產生音訊信號(例如,左聲道350或右聲道352)之經合成版本。作為另一實例,解碼器可為立體聲解碼器且可在聲道間頻寬擴展(ICBWE)操作期間產生高頻帶激勵信號,諸如圖6之ICBWE解碼器306的非參考高頻帶激勵638。
方法1600可實現經合成音訊信號的改良之準確度,其中原始音訊信號具有非諧波高頻帶。增強之準確度可實現在解碼裝置(諸如,圖1之第二裝置106)處在音訊播放期間改良之使用者體驗。
參看圖17,描繪了裝置(例如,無線通信裝置)之特定說明性實例的方塊圖,且通常將該裝置指定為1700。在各種實施中,裝置1700可具有比圖17中所說明更少或更多的組件。在說明性實施中,裝置1700可對應於圖1之第一裝置104或圖1之第二裝置106。在說明性實施中,裝置1700可執行參看圖1至圖16之系統及方法所描述之一或多個操作。
在特定實施中,裝置1700包括處理器1706(例如,中央處理單元(CPU))。裝置1700可包括一或多個額外處理器1710(例如,一或多個數位信號處理器(DSP))。處理器1710可包括媒體(例如,語音及音樂)寫碼器-解碼器(編碼解碼器)1708及回音消除器1712。編碼解碼器1708可包括解碼器300、編碼器200或其組合。編碼器200可包括ICBWE編碼器204,且解碼器300可包括ICBWE解碼器306。編碼器200可經組態以產生非諧波HB旗標(x)910。另外,在一些實施中,編碼器200經組態以修改非諧波HB旗標(x)910以產生經修改非諧波HB旗標(y)920。編碼器200可經組態以使用非諧波HB旗標(x)910、經修改非諧波HB旗標(y)920或兩者,如本文參考至少圖1及圖9至圖16所描述。解碼器300可經組態以接收或產生非
諧波HB旗標、經修改非諧波HB旗標或兩者。解碼器300可經組態以使用非諧波HB旗標、經修改非諧波HB旗標或兩者,如本文參考至少圖1及圖9至圖16所描述。
裝置1700可包括記憶體153及編碼解碼器1734。儘管編碼解碼器1708經說明為處理器1710之組件(例如,專用電路系統及/或可執行程式碼),但在其他實施中,編碼解碼器1708之一或多個組件(諸如,解碼器300、編碼器200或其組合)可包括於處理器1706、編碼解碼器1734、另一處理組件或其組合中。
裝置1700可包括耦接至天線1742之傳輸器110。裝置1700可包括耦接至顯示控制器1726之顯示器1728。一或多個揚聲器1748可耦接至編碼解碼器1734。一或多個麥克風1746可經由輸入介面112耦接至編編碼解碼器1734。在特定實施中,揚聲器1748可包括圖1之第一擴音器142、第二擴音器144,或其組合。在特定實施中,麥克風1746可包括圖1之第一麥克風146、第二麥克風148,或其組合。編碼解碼器1734可包括數位至類比轉換器(DAC)1702及類比至數位轉換器(ADC)1704。
記憶體153可包括可由處理器1706、處理器1710、編碼解碼器1734、裝置1700之另一處理單元或其組合執行,以執行參看圖1至圖16描述之一或多個操作的指令191。
裝置1700之一或多個組件可經由專用硬體(例如,電路系統)、藉由執行一或多個任務之處理器執行指令,或藉由其一組合而實施。作為實例,記憶體153或處理器1706、處理器1710及/或編碼解碼器1734之一或多個組件可為記憶體裝置,諸如隨機存取記憶體(RAM)、磁阻隨機存取記憶體(MRAM)、自旋扭矩轉移MRAM(STT-MRAM)、快閃記憶體、唯讀
記憶體(ROM)、可程式化唯讀記憶體(PROM)、可抹除可程式化唯讀記憶體(EPROM)、電可抹除可程式化唯讀記憶體(EEPROM)、暫存器、硬碟、可卸除式磁碟或光碟唯讀記憶體(CD-ROM)。記憶體裝置可包括指令(例如,指令191),該等指令在由一電腦(例如,編碼解碼器1734中之處理器、處理器1706及/或處理器1710)執行時可使得該電腦執行參看圖1至圖16所描述之一或多個操作。作為實例,記憶體153或處理器1706、處理器1710及/或編碼解碼器1734中之一或多個組件可為包括指令(例如,指令191)之非暫時性電腦可讀媒體,該等指令當由一電腦(例如,編碼解碼器1734中之處理器、處理器1706及/或處理器1710)執行時,使得該電腦執行參看圖1至圖16所描述之一或多個操作。
在特定實施中,裝置1700可包括於系統級封裝或系統單晶片裝置1722(例如,行動台數據機(MSM))中。在特定實施中,處理器1706、處理器1710、顯示控制器1726、記憶體153、編碼解碼器1734及傳輸器110包括於系統級封裝或系統單晶片裝置1722中。在特定實施中,諸如觸控螢幕及/或小鍵盤之輸入裝置1730及電源供應器1744耦接至系統單晶片裝置1722。此外,在特定實施中,如圖17中所說明,顯示器1728、輸入裝置1730、揚聲器1748、麥克風1746、天線1742及電源供應器1744位於系統單晶片裝置1722外部。然而,顯示器1728、輸入裝置1730、揚聲器1748、麥克風1746、天線1742及電源供應器1744中之每一者可耦接至系統單晶片裝置1722之組件(諸如,介面或控制器)。
裝置1700可包括:無線電話、行動通信裝置、行動電話、智慧型電話、蜂巢式電話、膝上型電腦、桌上型電腦、電腦、平板電腦、機上盒、個人數位助理(PDA)、顯示裝置、電視、遊戲控制台、音樂播放器、收音
機、視訊播放器、娛樂單元、通信裝置、固定位置資料單元、個人媒體播放器、數位視訊播放器、數位視訊光碟(DVD)播放器、調諧器、攝影機、導航裝置、解碼器系統、編碼器系統或其任何組合。
參看圖18,描繪基地台1800之特定說明性實例之方塊圖。在各種實施中,基地台1800可具有比圖18中所說明更多或更少的組件。在說明性實例中,基地台1800可包括圖1之第一裝置104或第二裝置106。在說明性實例中,基地台1800可根據參看圖1至圖16所描述之方法或系統中之一或多者操作。
基地台1800可為無線通信系統之部分。無線通信系統可包括多個基地台及多個無線裝置。無線通信系統可為長期演進(LTE)系統、分碼多重存取(CDMA)系統、全球行動通信系統(GSM)系統、無線區域網路(WLAN)系統,或某其他無線系統。CDMA系統可實施寬頻CDMA(WCDMA)、CDMA 1X、演進資料最佳化(EVDO)、分時同步CDMA(TD-SCDMA),或某其他版本之CDMA。
無線裝置亦可被稱作使用者裝備(UE)、行動台、終端機、存取終端機、用戶單元、站等。無線裝置可包括:蜂巢式電話、智慧型手機、平板電腦、無線數據機、個人數位助理(PDA)、手持型裝置、膝上型電腦、智慧筆記型電腦、迷你筆記型電腦、平板電腦、無線電話、無線區域迴路(WLL)台、藍芽裝置等。該等無線裝置可包括或對應於圖17之裝置1700。
可藉由基地台1800之一或多個組件(及/或在未圖示之其他組件中)執行各種功能,諸如發送及接收訊息及資料(例如,音訊資料)。在特定實例中,基地台1800包括處理器1806(例如,CPU)。基地台1800可包括轉碼
器1810。轉碼器1810可包括音訊編碼解碼器1808。舉例而言,轉碼器1810可包括經組態以執行音訊編碼解碼器1808之操作的一或多個組件(例如,電路系統)。作為另一實例,轉碼器1810可經組態以執行一或多個電腦可讀指令以執行音訊編碼解碼器1808之操作。儘管音訊編碼解碼器1808經說明為轉碼器1810之組件,但在其他實例中,音訊編碼解碼器1808之一或多個組件可包括於處理器1806、另一處理組件或其組合中。舉例而言,解碼器1838(例如,聲碼器解碼器)可包括於接收器資料處理器1864中。作為另一實例,編碼器1836(例如,聲碼器編碼器)可包括於傳輸資料處理器1882中。
轉碼器1810可起到在兩個或多於兩個網路之間轉碼訊息及資料的作用。轉碼器1810可經組態以將訊息及音訊資料自第一格式(例如,數位格式)轉換成第二格式。舉例而言,解碼器1838可解碼具有第一格式之經編碼信號,且編碼器1836可將經解碼信號編碼成具有第二格式之經編碼信號。另外或替代地,轉碼器1810可經組態以執行資料速率調適。舉例而言,轉碼器1810可在不改變音訊資料之格式的情況下下轉換資料速率或上轉換資料速率。舉例而言,轉碼器1810可將64千位元/s信號下轉換成16千位元/s信號。
音訊編碼解碼器1808可包括編碼器1836及解碼器1838。編碼器1836可包括圖1之編碼器200。解碼器1838可包括圖1之解碼器300。編碼器1836可經組態以產生非諧波HB旗標(x)910。另外,在一些實施中,編碼器1836經組態以修改非諧波HB旗標(x)910以產生經修改非諧波HB旗標(y)920。編碼器1836可經組態以使用非諧波HB旗標(x)910、經修改非諧波HB旗標(y)920或兩者,如本文參考至少圖1及圖9至圖16所描述。解碼
器1838可經組態以接收或產生非諧波HB旗標(x)910、經修改非諧波HB旗標(y)920,或兩者。解碼器1838可經組態以使用非諧波HB旗標(x)910、經修改非諧波HB旗標(y)920或兩者,如本文參考至少圖1及圖9至圖16所描述。
基地台1800可包括記憶體1832。諸如電腦可讀儲存裝置之記憶體1832可包括指令。指令可包括可由處理器1806、轉碼器1810或其組合執行,以執行參看圖1至圖16之方法及系統所描述之一或多個操作的一或多個指令。基地台1800可包括耦接至天線陣列之多個傳輸器及接收器(例如,收發器),諸如第一收發器1852及第二收發器1854。天線陣列可包括第一天線1842及第二天線1844。天線陣列可經組態以無線方式與一或多個無線裝置通信,諸如圖17之裝置1700。舉例而言,第二天線1844可自無線裝置接收資料串流1814(例如,位元串流)。資料串流1814可包括訊息、資料(例如,經編碼語音資料),或其一組合。
基地台1800可包括網路連接1860,諸如空載傳輸連接。網路連接1860可經組態以與無線通信網路之核心網路或一或多個基地台通信。舉例而言,基地台1800可經由網路連接1860接收來自核心網路之第二資料串流(例如,訊息或音訊資料)。基地台1800可處理第二資料串流以產生訊息或音訊資料,且經由天線陣列之一或多個天線將訊息或音訊資料提供至一或多個無線裝置,或經由網路連接1860將其提供至另一基地台。在特定實施中,網路連接1860可為廣域網路(WAN)連接,作為說明性非限制性實例。在一些實施中,核心網路可包括或對應於公眾交換電話網路(PSTN)、封包基幹網路或兩者。
基地台1800可包括耦接至網路連接1860及處理器1806之媒體閘道器
1870。媒體閘道器1870可經組態以在不同電信技術之媒體串流之間進行轉換。舉例而言,媒體閘道器1870可在不同傳輸協定、不同寫碼方案或兩者之間轉換。舉例而言,媒體閘道器1870可自PCM信號轉換成即時輸送協定(RTP)信號,作為說明性非限制性實例。媒體閘道器1870可在封包交換式網路(例如,網際網路通訊協定語音(VoIP)網路、IP多媒體子系統(IMS)、***(4G)無線網路(諸如,LTE、WiMax及UMB等))、電路切換式網路(例如,PSTN)及混合式網路(例如,第二代(2G)無線網路(諸如,GSM、GPRS及EDGE)、第三代(3G)無線網路(諸如,WCDMA、EV-DO及HSPA等))之間轉換資料。
另外,媒體閘道器1870可包括轉碼且可經組態以當編碼解碼器不相容時轉碼資料。舉例而言,媒體閘道器1870可在適應性多重速率(AMR)編碼解碼器與G.711編碼解碼器之間進行轉碼,作為說明性非限制性實例。媒體閘道器1870可包括路由器及複數個實體介面。在一些實施中,媒體閘道器1870亦可包括控制器(未圖示)。在特定實施中,媒體閘道器控制器可在媒體閘道器1870外部、在基地台1800外部或在兩者外部。媒體閘道器控制器可控制並協調操作多個媒體閘道器。媒體閘道器1870可自媒體閘道器控制器接收控制信號,且可起到在不同傳輸技術之間橋接器的作用,且可添加對最終使用者能力及連接之服務。
基地台1800可包括耦接至收發器1852、收發器1854、接收器資料處理器1864及處理器1806之解調變器1862,且接收器資料處理器1864可耦接至處理器1806。解調變器1862可經組態以解調自收發器1852、收發器1854所接收之經調變信號,且可經組態以將經解調資料提供至接收器資料處理器1864。接收器資料處理器1864可經組態以自經解調資料提取訊
息或音訊資料,並將該訊息或音訊資料發送至處理器1806。
基地台1800可包括傳輸資料處理器1882及傳輸多輸入多輸出(MIMO)處理器1884。可將傳輸資料處理器1882耦接至處理器1806及傳輸MIMO處理器1884。傳輸MIMO處理器1884可耦接至收發器1852、1854及處理器1806。在一些實施中,可將傳輸MIMO處理器1884耦接至媒體閘道器1870。作為說明性非限制性實例,傳輸資料處理器1882可經組態以自處理器1806接收訊息或音訊資料,且基於諸如CDMA或正交分頻多工(OFDM)之寫碼方案寫碼該等訊息或該音訊資料。傳輸資料處理器1882可將經寫碼資料提供至傳輸MIMO處理器1884。
可使用CDMA或OFDM技術將經寫碼資料與諸如導頻資料之其他資料多工在一起以產生經多工資料。經多工資料接著可藉由傳輸資料處理器1882基於特定調變方案(例如,二進位相移鍵控(「BPSK」)、正交相移鍵控(「QSPK」)、M-元相移鍵控(「M-PSK」)、M-元正交振幅調變(「M-QAM」)等)調變(亦即,符號映射)以產生調變符號。在特定實施中,經寫碼資料及其他資料可使用不同調變方案調變。針對每一資料串流之資料速率、寫碼及調變可由處理器1806執行之指令判定。
傳輸MIMO處理器1884可經組態以自傳輸資料處理器1882接收調變符號,且可進一步處理調變符號,且可對該資料執行波束成形。舉例而言,傳輸MIMO處理器1884可將波束成形權重應用於調變符號。波束成形權重可對應於天線陣列之一或多個天線(自該等天線傳輸調變符號)。
在操作期間,基地台1800之第二天線1844可接收資料串流1814。第二收發器1854可自第二天線1844接收資料串流1814,且可向解調變器1862提供資料串流1814。解調變器1862可解調資料串流1814之經調變信
號,且將經解調資料提供至接收器資料處理器1864。接收器資料處理器1864可自經解調資料提取音訊資料且將所提取音訊資料提供至處理器1806。
處理器1806可將音訊資料提供至轉碼器1810以用於轉碼。轉碼器1810之解碼器1838可將音訊資料自第一格式解碼成經解碼音訊資料,且編碼器1836可將經解碼音訊資料編碼成第二格式。在一些實施中,編碼器1836可使用相比自無線裝置接收更高之資料速率(例如,上轉換)或更低之資料速率(例如,下轉換)編碼音訊資料。在其他實施中,音訊資料可未經轉碼。儘管轉碼(例如,解碼及編碼)經說明為藉由轉碼器1810執行,但轉碼操作(例如,解碼及編碼)可藉由基地台1800之多個組件執行。舉例而言,解碼可由接收器資料處理器1864執行,且編碼可由傳輸資料處理器1882執行。在其他實施中,處理器1806可將音訊資料提供至媒體閘道器1870用於轉換成另一傳輸協定、寫碼方案或兩者。媒體閘道器1870可經由網路連接1860將經轉換資料提供至另一基地台或核心網路。
可經由處理器1806將在編碼器1836處產生之經編碼音訊資料(諸如,經轉碼資料)提供至傳輸資料處理器1882或網路連接1860。可將來自轉碼器1810之經轉碼音訊資料提供至傳輸資料處理器1882,用於根據諸如OFDM之調變方案寫碼,以產生調變符號。傳輸資料處理器1882可將調變符號提供至傳輸MIMO處理器1884以供進一步處理及波束成形。傳輸MIMO處理器1884可應用波束成形權重,且可經由第一收發器1852將調變符號提供至天線陣列之一或多個天線,諸如第一天線1842。因此,基地台1800可將對應於自無線裝置所接收之資料串流1814的經轉碼資料串流1816提供至另一無線裝置。經轉碼資料串流1816可具有與資料串流
1814相比不同之編碼格式、資料速率或兩者。在其他實施中,可將經轉碼資料串流1816提供至網路連接1860,以供傳輸至另一基地台或核心網路。
在特定實施中,本文所揭示的系統及裝置之一或多個組件可整合至解碼系統或設備(例如,電子裝置、編碼解碼器或其中之處理器)中、整合至編碼系統或設備中,或整合至兩者中。在其他實施中,本文所揭示之系統及裝置之一或多個組件可整合至以下各者中:無線電話、平板電腦、桌上型電腦、膝上型電腦、機上盒、音樂播放器、視訊播放器、娛樂單元、電視、遊戲控制台、導航裝置、通信裝置、個人數位助理(PDA)、固定位置資料單元、個人媒體播放器或另一類型之裝置。
結合所描述技術,第一設備包括用於接收音訊信號的構件。舉例而言,用於接收之構件可包括圖1、圖2A或圖17之編碼器200、圖2A之濾波器組290、圖2A或圖2B之中間聲道BWE編碼器206、圖1或圖2A之ICBWE編碼器204、圖9之編碼器900、圖17之編碼解碼器1708、圖17之處理器1706、可由處理器執行的指令191、圖18之編碼解碼器1808或編碼器1836、一或多個其他裝置、電路,或其任何組合。
第一設備亦可包括用於基於接收之音訊信號產生高頻帶信號的構件。舉例而言,用於基於接收之音訊信號產生高頻帶信號的構件可包括圖1、圖2A或圖17之編碼器200、圖2A或圖2B之中間聲道BWE編碼器206、圖1或圖2A之ICBWE編碼器204、圖9之編碼器900、圖17之編碼解碼器1708、圖17之處理器1706、可由處理器執行的指令191、圖18之編碼解碼器1808或編碼器1836、一或多個其他裝置、電路,或其任何組合。
第一設備亦可包括用於判定指示高頻帶信號之諧波量度的第一旗標
值的構件。舉例而言,用於判定第一旗標值的構件可包括圖1、圖2A及圖17之編碼器200、圖2A或圖2B之中間聲道BWE編碼器206、圖1或圖2A之ICBWE編碼器204、圖9之編碼器900、圖9之非諧波高頻帶偵測器906、圖9之非諧波高頻帶旗標修改器922、圖17之編碼解碼器1708、圖17之處理器1706、可由處理器執行的指令191、圖18之編碼解碼器1808或編碼器1836、一或多個其他裝置、電路,或其任何組合。
第一設備亦可包括用於傳輸高頻帶信號之經編碼版本的構件。舉例而言,用於傳輸之構件可包括圖1及圖17之傳輸器110、圖18之第一收發器1852、一或多個其他裝置、電路,或其任何組合。
結合所描述技術,第二設備包括用於判定對應於高頻帶信號之訊框的增益訊框參數的構件。舉例而言,用於接收之構件可包括圖1、圖2A或圖17之編碼器200、圖2A之濾波器組290、圖2A或圖2B之中間聲道BWE編碼器206、圖1或圖2A之ICBWE編碼器204、圖2B或圖9之高頻帶增益訊框估計器263、圖9之編碼器900、圖17之編碼解碼器1708、圖17之處理器1706、可由處理器執行的指令191、圖18之編碼解碼器1808或編碼器1836、一或多個其他裝置、電路,或其任何組合。
第二設備亦可包括用於比較增益訊框參數與臨限值之構件。舉例而言,用於比較增益訊框參數與臨限值的構件可包括圖1、圖2A或圖17之編碼器200、圖2A或圖2B之中間聲道BWE編碼器206、圖1或圖2A之ICBWE編碼器204、圖9之編碼器900、圖9之非諧波高頻帶旗標修改器922、圖17之編碼解碼器1708、圖17之處理器1706、可由處理器執行的指令191、圖18之編碼解碼器1808或編碼器1836、一或多個其他裝置、電路,或其任何組合。
第二設備亦可包括用於回應於增益訊框參數大於臨限值而修改旗標的構件,該旗標對應於訊框且指示高頻帶信號之諧波量度。舉例而言,用於修改旗標的構件可包括圖1、圖2A或圖17之編碼器200、圖2A或圖2B之中間聲道BWE編碼器206、圖1或圖2A之ICBWE編碼器204、圖9之編碼器900、圖9之非諧波高頻帶旗標修改器922、圖17之編碼解碼器1708、圖17之處理器1706、可由處理器執行的指令191、圖18之編碼解碼器1808或編碼器1836、一或多個其他裝置、電路,或其任何組合。
第二設備亦可包括用於傳輸高頻帶信號之經編碼版本的構件。舉例而言,用於傳輸之構件可包括圖1及圖17之傳輸器110、圖18之第一收發器1852、一或多個其他裝置、電路,或其任何組合。
結合所描述技術,第三設備包括用於接收至少一第一音訊信號及一第二音訊信號的構件。舉例而言,用於接收之構件可包括圖1、圖2A或圖17之編碼器200、降混器202、圖2A之濾波器組290、圖2A或圖2B之中間聲道BWE編碼器206、圖1或圖2A之ICBWE編碼器204、圖9之編碼器900、圖17之編碼解碼器1708、圖17之處理器1706、可由處理器執行的指令191、圖18之編碼解碼器1808或編碼器1836、一或多個其他裝置、電路,或其任何組合。
第三設備亦可包括用於對第一音訊信號及第二音訊信號執行降混操作以產生中間信號的構件。舉例而言,用於執行降混操作之構件可包括圖1、圖2A或圖17之編碼器200、圖2A之降混器202、圖2A或圖2B之中間聲道BWE編碼器206、圖1或圖2A之ICBWE編碼器204、圖9之編碼器900、圖17之編碼解碼器1708、圖17之處理器1706、可由處理器執行的指令191、圖18之編碼解碼器1808或編碼器1836、一或多個其他裝置、電路,
或其任何組合。
第三設備亦可包括用於基於中間信號產生低頻帶中間及高頻帶中間信號的構件。舉例而言,用於產生低頻帶中間信號及高頻帶中間信號之構件可包括圖1、圖2A或圖17之編碼器200、圖2A之濾波器組290、圖2A或圖2B之中間聲道BWE編碼器206、圖1或圖2A之ICBWE編碼器204、圖9之編碼器900、圖17之編碼解碼器1708、圖17之處理器1706、可由處理器執行的指令191、圖18之編碼解碼器1808或編碼器1836、一或多個其他裝置、電路,或其任何組合。
第三設備亦可包括用於至少部分地基於低頻帶信號之話音值及對應於高頻帶中間信號之增益值來判定與高頻帶中間信號相關聯的多源旗標之值的構件。舉例而言,用於判定多源旗標之值的構件可包括圖1、圖2A及圖17之編碼器200、圖2A或圖2B之中間聲道BWE編碼器206、圖1或圖2A之ICBWE編碼器204、圖9之編碼器900、圖9之非諧波高頻帶偵測器906、圖9之非諧波高頻帶旗標修改器922、圖17之編碼解碼器1708、圖17之處理器1706、可由處理器執行的指令191、圖18之編碼解碼器1808或編碼器1836、一或多個其他裝置、電路,或其任何組合。
第三設備亦可包括用於至少部分地基於多源旗標產生高頻帶中間激勵信號的構件。舉例而言,用於產生高頻帶中間激勵信號的構件可包括圖1、圖2A及圖17之編碼器200、圖2A或圖2B之中間聲道BWE編碼器206、圖1或圖2A之ICBWE編碼器204、圖9之編碼器900、圖2B或圖9之高頻帶激勵產生器299、倍增器255、倍增器258、求和器257、圖17之編碼解碼器1708、圖17之處理器1706、可由處理器執行的指令191、圖18之編碼解碼器1808或編碼器1836、一或多個其他裝置、電路,或其任何組合。
第三設備亦可包括用於至少部分地基於高頻帶中間激勵信號產生位元串流的構件。舉例而言,用於產生位元串流的構件可包括圖1、圖2A及圖17之編碼器200、圖2A或圖2B之中間聲道BWE編碼器206、圖1或圖2A之ICBWE編碼器204、圖9之編碼器900、圖17之編碼解碼器1708、圖17之處理器1706、可由處理器執行的指令191、圖18之編碼解碼器1808或編碼器1836、一或多個其他裝置、電路,或其任何組合。
第三設備亦可包括用於將位元串流及多源旗標傳輸至裝置的構件。舉例而言,用於傳輸之構件可包括圖1及圖17之傳輸器110、圖18之第一收發器1852、一或多個其他裝置、電路,或其任何組合。
結合所描述技術,第四設備包括用於接收對應於音訊信號之經編碼版本的位元串流的構件。舉例而言,用於接收的構件可包括圖1、圖3A及圖17之解碼器300、圖3A或圖3B之中間聲道BWE解碼器302、圖3A或圖6之ICBWE解碼器306、圖10之解碼器1000、圖17之編碼解碼器1708、圖17之處理器1706、可由處理器執行的指令191、圖18之編碼解碼器1808或解碼器1838、一或多個其他裝置、電路,或其任何組合。
第四設備亦可包括用於基於低頻帶激勵信號及進一步基於指示高頻帶信號之諧波量度的第一旗標值產生高頻帶激勵信號的構件,其中高頻帶信號對應於音訊信號之高頻帶部分。舉例而言,用於產生高頻帶激勵信號的構件可包括圖1、圖3A及圖17之解碼器300、圖3A或圖3B之中間聲道BWE解碼器302、圖3A或圖6之ICBWE解碼器306、圖10之解碼器1000、圖3B或圖10之高頻帶激勵產生器362、圖17之編碼解碼器1708、圖17之處理器1706、可由處理器執行的指令191、圖18之編碼解碼器1808或解碼器1838、一或多個其他裝置、電路,或其任何組合。
應注意,藉由本文所揭示之系統及裝置之一或多個組件執行的各種功能經描述為藉由某些組件執行。組件之此劃分僅出於說明目的。在替代實施中,由特定組件執行之功能可劃分於多個組件間。此外,在替代實施中,兩個或多於兩個組件可整合至單一組件中。每一組件可使用硬體(例如,場可程式化閘陣列(FPGA)裝置、特殊應用積體電路(ASIC)、DSP、控制器等)、軟體(例如,可由處理器執行的指令)或其任何組合來實施。
熟習此項技術者將進一步瞭解,結合本文中所揭示之實施而描述的各種說明性邏輯區塊、組態、電路及演算法步驟可實施為電子硬體、由諸如硬體處理器之處理裝置執行的電腦軟體或兩者之組合。上文大體在功能性方面描述各種說明性組件、區塊、組態、電路及步驟。此功能性經實施為硬體或是軟體取決於特定應用及強加於整個系統之設計約束而定。熟習此項技術者可針對每一特定應用而以變化之方式實施所描述之功能性,但不應將此等實施決策解譯為致使脫離本發明之範疇。
結合本文中所揭示之實施所描述之方法或演算法之步驟可直接體現於硬體中、由處理器執行之軟體中或兩者之組合中。軟體可駐存於記憶體裝置中,諸如隨機存取記憶體(RAM)、磁電阻隨機存取記憶體(MRAM)、自旋力矩轉移(STT-MRAM)、快閃記憶體、唯讀記憶體(ROM)、可程式化唯讀記憶體(PROM)、可抹除可程式化唯讀記憶體(EPROM)、電可抹除可程式化唯讀記憶體(EEPROM)、暫存器、硬碟、可卸除式磁碟或光碟唯讀記憶體(CD-ROM)。例示性記憶體裝置耦接至處理器,以使得處理器可自記憶體裝置讀取資訊及將資訊寫入至記憶體裝置。在替代方案中,記憶體裝置可與處理器成一體式。處理器及儲存媒體可駐存於特殊應用積體電路(ASIC)中。ASIC可駐存於計算裝置或使用者終端機中。在替代方案
中,處理器及儲存媒體可作為離散組件駐存於計算裝置或使用者終端機中。
提供對所揭示實施之先前描述,以使得熟習此項技術者能夠製作或使用所揭示之實施。熟習此項技術者將容易地顯而易見對此等實施之各種修改,且在不背離本發明之範疇的情況下,本文中所定義之原理可應用於其他實施。因此,本發明並非意欲限於本文中所展示之實施,而應符合可能與如以下申請專利範圍所定義之原理及新穎特徵相一致的最廣泛範疇。
100:系統
104:第一裝置
106:第二裝置
110:傳輸器
112:輸入介面
120:網路
126:第一輸出聲道/輸出信號
128:第二輸出聲道/輸出信號
130:第一音訊聲道
132:第二音訊聲道
142:第一擴音器
144:第二擴音器
146:第一麥克風
148:第二麥克風
152:聲源
153:記憶體
191:指令
200:編碼器
204:聲道間頻寬擴展(ICBWE)編碼器
216:降混位元串流
242:聲道間頻寬擴展位元串流
244:高頻帶中間聲道位元串流
246:低頻帶位元串流
300:解碼器
306:聲道間頻寬擴展解碼器
910:非諧波高頻帶旗標(x)
920:經修改非諧波高頻帶旗標(y)
Claims (30)
- 一種用於語音偵測之裝置,其包含:一多聲道編碼器,其經組態以執行以下操作:接收至少一第一音訊信號及一第二音訊信號;對該第一音訊信號及該第二音訊信號執行一降混操作以產生一中間信號;基於該中間信號產生一低頻帶中間信號及一高頻帶中間信號,該低頻帶中間信號對應於該中間信號之一低頻部分且該高頻帶中間信號對應於該中間信號之一高頻部分;至少部分地基於對應於該低頻帶中間信號之一話音值及對應於該高頻帶中間信號之一增益值來判定與該高頻帶中間信號相關聯的一多源旗標之一值;至少部分地基於該多源旗標產生一高頻帶中間激勵信號;及至少部分地基於該高頻帶中間激勵信號產生一位元串流;及一傳輸器,其經組態以傳輸該位元串流及該多源旗標至一第二裝置。
- 如請求項1之裝置,其中該多源旗標對應於多個音訊源是否與該高頻帶中間信號相關聯。
- 如請求項1之裝置,其中該多聲道編碼器經進一步組態以執行以下操作: 基於一低頻帶激勵信號產生一非線性諧波激勵,該低頻帶激勵信號係基於該低頻帶中間信號;基於該非線性諧波激勵產生經調變雜訊;及基於該多源旗標控制該非線性諧波激勵與該經調變雜訊的混合以產生該高頻帶中間激勵信號。
- 如請求項3之裝置,其中該多聲道編碼器經進一步組態以藉由基於該非線性諧波激勵及一或多個濾波器參數判定一包絡及將該包絡應用於一雜訊信號以產生該經調變雜訊而產生該經調變雜訊。
- 如請求項4之裝置,其中該一或多個濾波器參數係基於該多源旗標及一或多個低頻帶話音因數。
- 如請求項4之裝置,其中該多聲道編碼器經組態以藉由對該雜訊信號應用一低通濾波器而將該包絡應用於該雜訊信號,且其中該低通濾波器之係數係至少部分地基於該一或多個濾波器參數。
- 如請求項4之裝置,其中該多聲道編碼器經組態以藉由組合該非線性諧波激勵與該經調變雜訊而產生該高頻帶中間激勵信號。
- 如請求項7之裝置,其中該多聲道編碼器經進一步組態以在產生該高頻帶中間激勵信號之前將一第一增益應用於該非線性諧波激勵,且其中該第一增益係基於該多源旗標及一或多個低頻帶話音因數。
- 如請求項8之裝置,其中該多聲道編碼器經進一步組態以在產生該高頻帶中間激勵信號之前將一第二增益應用於該經調變雜訊,且其中該第二增益係基於該多源旗標及該一或多個低頻帶話音因數。
- 如請求項1之裝置,其中該多聲道編碼器經進一步組態以執行以下操作:判定對應於該高頻帶中間信號之一訊框的一增益訊框參數;比較該增益訊框參數與一臨限值;及回應於該增益訊框參數大於該臨限值,修改該多源旗標之該值。
- 如請求項10之裝置,其中該多聲道編碼器經進一步組態以執行以下操作:基於該高頻帶中間激勵信號產生該高頻帶中間信號之一經合成版本;及比較該高頻帶中間信號之該訊框與該高頻帶中間信號之該經合成版本的一訊框以產生該增益訊框參數。
- 如請求項1之裝置,其中該多聲道編碼器包括在一聲道間頻寬擴展(ICBWE)編碼操作期間至少部分地基於該多源旗標產生一非參考高頻帶激勵信號的一立體聲編碼器。
- 如請求項1之裝置,其中該多聲道編碼器及該傳輸器經整合至一行動 裝置中。
- 如請求項1之裝置,其中該多聲道編碼器及該傳輸器經整合至一基地台中。
- 一種用於語音偵測之方法,其包含:在一多聲道編碼器處接收至少一第一音訊信號及一第二音訊信號;對該第一音訊信號及該第二音訊信號執行一降混操作以產生一中間信號;基於該中間信號產生一低頻帶中間信號及一高頻帶中間信號,該低頻帶中間信號對應於該中間信號之一低頻部分且該高頻帶中間信號對應於該中間信號之一高頻部分;至少部分地基於對應於該低頻帶中間信號之一話音值及對應於該高頻帶中間信號之一增益值來判定與該高頻帶中間信號相關聯的一多源旗標之一值;至少部分地基於該多源旗標產生一高頻帶中間激勵信號;至少部分地基於該高頻帶中間激勵信號產生一位元串流;及將該位元串流及該多源旗標自該多聲道編碼器傳輸至一裝置。
- 如請求項15之方法,其進一步包含:基於一低頻帶激勵信號產生一非線性諧波激勵,該低頻帶激勵信號係基於該低頻帶中間信號;基於該非線性諧波激勵產生經調變雜訊;及 基於該多源旗標控制該非線性諧波激勵與該經調變雜訊的混合以產生該高頻帶中間激勵信號。
- 如請求項16之方法,其中產生該經調變雜訊包含:基於該非線性諧波激勵及一或多個濾波器參數判定一包絡;及將該包封應用於一雜訊信號以產生該經調變雜訊。
- 如請求項17之方法,其中該一或多個濾波器參數係基於該多源旗標及一或多個低頻帶話音因數。
- 如請求項17之方法,其中應用該包絡包含對該雜訊信號應用一低通濾波器,且其中該低通濾波器之係數至少部分地基於一或多個濾波器參數。
- 如請求項17之方法,其中產生該高頻帶中間激勵信號包含組合該非線性諧波激勵與該經調變雜訊。
- 如請求項16之方法,其進一步包含在傳輸該多源旗標之前:判定對應於該高頻帶中間信號之一訊框的一增益訊框參數;比較該增益訊框參數與一臨限值;及回應於該增益訊框參數大於該臨限值,修改該多源旗標之該值。
- 如請求項21之方法,其中判定該增益訊框參數包含: 基於該高頻帶中間激勵信號產生該高頻帶中間信號之一經合成版本;及比較該高頻帶中間信號之該訊框與該高頻帶中間信號之該經合成版本的一訊框。
- 如請求項15之方法,其中在一行動裝置處執行判定該多源旗標之該值、產生該高頻帶中間激勵信號,及產生該位元串流。
- 如請求項15之方法,其中在一基地台處執行判定該多源旗標之該值、產生該高頻帶中間激勵信號,及產生該位元串流。
- 一種非暫時性電腦可讀媒體,其包含用於編碼一信號之指令,該等指令在由一多聲道編碼器之一處理器執行時使得該處理器執行包含以下操作的操作:在該多聲道編碼器處接收至少一第一音訊信號及一第二音訊信號;對該第一音訊信號及該第二音訊信號執行一降混操作以產生一中間信號;基於該中間信號產生一低頻帶中間信號及一高頻帶中間信號,該低頻帶中間信號對應於該中間信號之一低頻部分且該高頻帶中間信號對應於該中間信號之一高頻部分;至少部分地基於對應於該低頻帶中間信號之一話音值及對應於該高頻帶中間信號之一增益值來判定與該高頻帶中間信號相關聯的一多源旗標之一值; 至少部分地基於該多源旗標產生一高頻帶中間激勵信號;至少部分地基於該高頻帶中間激勵信號產生一位元串流;及將該位元串流及該多源旗標自該多聲道編碼器傳輸至一裝置。
- 如請求項25之非暫時性電腦可讀媒體,其中該等操作進一步包含:基於一低頻帶激勵信號產生一非線性諧波激勵,該低頻帶激勵信號係基於該低頻帶中間信號;基於該非線性諧波激勵產生經調變雜訊;及基於該多源旗標控制該非線性諧波激勵與該經調變雜訊的混合以產生該高頻帶中間激勵信號。
- 如請求項26之非暫時性電腦可讀媒體,其中產生該經調變雜訊包含:基於該非線性諧波激勵及一或多個濾波器參數判定一包絡;及將該包絡應用於一雜訊信號以產生該經調變雜訊。
- 如請求項27之非暫時性電腦可讀媒體,其中該等操作進一步包含在產生該高頻帶中間激勵信號之前:將一第一增益應用於該非線性諧波激勵,其中該第一增益係基於該多源旗標及一或多個低頻帶話音因數;及將一第二增益應用於該經調變雜訊,其中該第二增益係基於該多源旗標及該一或多個低頻帶話音因數。
- 一種用於語音偵測之設備,其包含:用於接收至少一第一音訊信號及一第二音訊信號的構件;用於對該第一音訊信號及該第二音訊信號執行一降混操作以產生一中間信號的構件;用於基於該中間信號產生一低頻帶中間信號及一高頻帶中間信號的構件,該低頻帶中間信號對應於該中間信號之一低頻部分且該高頻帶中間信號對應於該中間信號之一高頻部分;用於至少部分地基於對應於該低頻帶中間信號之一話音值及對應於該高頻帶中間信號之一增益值來判定與該高頻帶中間信號相關聯的一多源旗標之一值的構件;用於至少部分地基於該多源旗標產生一高頻帶中間激勵信號的構件;用於至少部分地基於該高頻帶中間激勵信號產生一位元串流的構件;及用於傳輸該位元串流及該多源旗標至一裝置的構件。
- 如請求項29之設備,該多源旗標之該值係進一步基於該高頻帶中間信號之一訊框的一能量量度及該高頻帶中間信號之一多訊框能量量度。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762488654P | 2017-04-21 | 2017-04-21 | |
US62/488,654 | 2017-04-21 | ||
US15/956,645 US10825467B2 (en) | 2017-04-21 | 2018-04-18 | Non-harmonic speech detection and bandwidth extension in a multi-source environment |
US15/956,645 | 2018-04-18 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW201842494A TW201842494A (zh) | 2018-12-01 |
TWI775838B true TWI775838B (zh) | 2022-09-01 |
Family
ID=63852843
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW107113473A TWI775838B (zh) | 2017-04-21 | 2018-04-20 | 用於在多源環境中之非諧波語音偵測及頻寬擴展之裝置、方法、電腦可讀媒體及設備 |
Country Status (9)
Country | Link |
---|---|
US (1) | US10825467B2 (zh) |
EP (1) | EP3613042B1 (zh) |
KR (1) | KR102308966B1 (zh) |
CN (1) | CN110537222B (zh) |
AU (1) | AU2018256414B2 (zh) |
BR (1) | BR112019021903A2 (zh) |
SG (1) | SG11201908390UA (zh) |
TW (1) | TWI775838B (zh) |
WO (1) | WO2018195299A1 (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10957331B2 (en) | 2018-12-17 | 2021-03-23 | Microsoft Technology Licensing, Llc | Phase reconstruction in a speech decoder |
US10847172B2 (en) * | 2018-12-17 | 2020-11-24 | Microsoft Technology Licensing, Llc | Phase quantization in a speech encoder |
KR102570480B1 (ko) * | 2019-01-04 | 2023-08-25 | 삼성전자주식회사 | 오디오 신호 처리 방법 및 이를 지원하는 전자 장치 |
CN114402544A (zh) * | 2019-08-05 | 2022-04-26 | 舒尔获得控股公司 | 发射天线分集无线音频*** |
US10978083B1 (en) | 2019-11-13 | 2021-04-13 | Shure Acquisition Holdings, Inc. | Time domain spectral bandwidth replication |
KR20210073975A (ko) * | 2019-12-11 | 2021-06-21 | 삼성전자주식회사 | 화자를 인식하는 방법 및 장치 |
CN112562686B (zh) * | 2020-12-10 | 2022-07-15 | 青海民族大学 | 一种使用神经网络的零样本语音转换语料预处理方法 |
CN113763980B (zh) * | 2021-10-30 | 2023-05-12 | 成都启英泰伦科技有限公司 | 一种回声消除方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW201606758A (zh) * | 2014-06-26 | 2016-02-16 | 高通公司 | 基於高頻帶信號特徵之時間增益調整 |
EP2998959A1 (en) * | 2007-04-30 | 2016-03-23 | Samsung Electronics Co., Ltd | Method and apparatus for encoding and decoding high frequency band |
TW201642246A (zh) * | 2015-04-05 | 2016-12-01 | 高通公司 | 編碼器選擇 |
US20170094409A1 (en) * | 2015-09-30 | 2017-03-30 | Apple Inc. | Encoded Audio Metadata-Based Loudness Equalization and Dynamic Equalization During DRC |
Family Cites Families (47)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7330814B2 (en) * | 2000-05-22 | 2008-02-12 | Texas Instruments Incorporated | Wideband speech coding with modulated noise highband excitation system and method |
SE519976C2 (sv) * | 2000-09-15 | 2003-05-06 | Ericsson Telefon Ab L M | Kodning och avkodning av signaler från flera kanaler |
SE0004163D0 (sv) * | 2000-11-14 | 2000-11-14 | Coding Technologies Sweden Ab | Enhancing perceptual performance of high frequency reconstruction coding methods by adaptive filtering |
ATE331280T1 (de) * | 2001-11-23 | 2006-07-15 | Koninkl Philips Electronics Nv | Bandbreitenvergrösserung für audiosignale |
RU2404506C2 (ru) * | 2004-11-05 | 2010-11-20 | Панасоник Корпорэйшн | Устройство масштабируемого декодирования и устройство масштабируемого кодирования |
KR100707174B1 (ko) * | 2004-12-31 | 2007-04-13 | 삼성전자주식회사 | 광대역 음성 부호화 및 복호화 시스템에서 고대역 음성부호화 및 복호화 장치와 그 방법 |
CA2603246C (en) * | 2005-04-01 | 2012-07-17 | Qualcomm Incorporated | Systems, methods, and apparatus for anti-sparseness filtering |
UA95776C2 (ru) * | 2005-04-01 | 2011-09-12 | Квелкомм Инкорпорейтед | Система, способ и устройство генерирования возбуждения в диапазоне высоких частот |
SI1875463T1 (sl) * | 2005-04-22 | 2019-02-28 | Qualcomm Incorporated | Sistemi, postopki in naprava za glajenje faktorja ojačenja |
CN101213590B (zh) * | 2005-06-29 | 2011-09-21 | 松下电器产业株式会社 | 可扩展解码装置及丢失数据插值方法 |
KR20080049085A (ko) * | 2005-09-30 | 2008-06-03 | 마츠시타 덴끼 산교 가부시키가이샤 | 음성 부호화 장치 및 음성 부호화 방법 |
US8135047B2 (en) * | 2006-07-31 | 2012-03-13 | Qualcomm Incorporated | Systems and methods for including an identifier with a packet associated with a speech signal |
WO2008022207A2 (en) * | 2006-08-15 | 2008-02-21 | Broadcom Corporation | Time-warping of decoded audio signal after packet loss |
EP2101322B1 (en) * | 2006-12-15 | 2018-02-21 | III Holdings 12, LLC | Encoding device, decoding device, and method thereof |
KR100970446B1 (ko) * | 2007-11-21 | 2010-07-16 | 한국전자통신연구원 | 주파수 확장을 위한 가변 잡음레벨 결정 장치 및 그 방법 |
AU2009267532B2 (en) * | 2008-07-11 | 2013-04-04 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | An apparatus and a method for calculating a number of spectral envelopes |
RU2443028C2 (ru) * | 2008-07-11 | 2012-02-20 | Фраунхофер-Гезелльшафт цур Фёрдерунг дер ангевандтен | Устройство и способ расчета параметров расширения полосы пропускания посредством управления фреймами наклона спектра |
EP2144230A1 (en) * | 2008-07-11 | 2010-01-13 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Low bitrate audio encoding/decoding scheme having cascaded switches |
EP2144231A1 (en) * | 2008-07-11 | 2010-01-13 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Low bitrate audio encoding/decoding scheme with common preprocessing |
WO2010028297A1 (en) * | 2008-09-06 | 2010-03-11 | GH Innovation, Inc. | Selective bandwidth extension |
US9037474B2 (en) * | 2008-09-06 | 2015-05-19 | Huawei Technologies Co., Ltd. | Method for classifying audio signal into fast signal or slow signal |
CN101763856B (zh) * | 2008-12-23 | 2011-11-02 | 华为技术有限公司 | 信号分类处理方法、分类处理装置及编码*** |
CO6440537A2 (es) * | 2009-04-09 | 2012-05-15 | Fraunhofer Ges Forschung | Aparato y metodo para generar una señal de audio de sintesis y para codificar una señal de audio |
TWI643187B (zh) * | 2009-05-27 | 2018-12-01 | 瑞典商杜比國際公司 | 從訊號的低頻成份產生該訊號之高頻成份的系統與方法,及其機上盒、電腦程式產品、軟體程式及儲存媒體 |
PL3570278T3 (pl) * | 2010-03-09 | 2023-03-20 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Rekonstrukcja wysokiej częstotliwości wejściowego sygnału audio przy użyciu kaskadowych banków filtrów |
US8924222B2 (en) * | 2010-07-30 | 2014-12-30 | Qualcomm Incorporated | Systems, methods, apparatus, and computer-readable media for coding of harmonic signals |
KR20120016709A (ko) * | 2010-08-17 | 2012-02-27 | 삼성전자주식회사 | 휴대용 단말기에서 통화 품질을 향상시키기 위한 장치 및 방법 |
KR101429564B1 (ko) * | 2010-09-28 | 2014-08-13 | 후아웨이 테크놀러지 컴퍼니 리미티드 | 디코딩된 다중채널 오디오 신호 또는 디코딩된 스테레오 신호를 포스트프로세싱하기 위한 장치 및 방법 |
CN102737636B (zh) * | 2011-04-13 | 2014-06-04 | 华为技术有限公司 | 一种音频编码方法及装置 |
CN106847295B (zh) * | 2011-09-09 | 2021-03-23 | 松下电器(美国)知识产权公司 | 编码装置和编码方法 |
JP5817499B2 (ja) * | 2011-12-15 | 2015-11-18 | 富士通株式会社 | 復号装置、符号化装置、符号化復号システム、復号方法、符号化方法、復号プログラム、及び符号化プログラム |
US9129600B2 (en) * | 2012-09-26 | 2015-09-08 | Google Technology Holdings LLC | Method and apparatus for encoding an audio signal |
RU2678657C1 (ru) * | 2012-11-05 | 2019-01-30 | Панасоник Интеллекчуал Проперти Корпорэйшн оф Америка | Устройство кодирования речи-аудио, устройство декодирования речи-аудио, способ кодирования речи-аудио и способ декодирования речи-аудио |
CN105976830B (zh) * | 2013-01-11 | 2019-09-20 | 华为技术有限公司 | 音频信号编码和解码方法、音频信号编码和解码装置 |
JP6262668B2 (ja) * | 2013-01-22 | 2018-01-17 | パナソニック株式会社 | 帯域幅拡張パラメータ生成装置、符号化装置、復号装置、帯域幅拡張パラメータ生成方法、符号化方法、および、復号方法 |
MX346944B (es) * | 2013-01-29 | 2017-04-06 | Fraunhofer Ges Forschung | Aparato y metodo para generar una señal de frecuencia reforzada mediante la suavizacion temporal de las subbandas. |
WO2014185569A1 (ko) * | 2013-05-15 | 2014-11-20 | 삼성전자 주식회사 | 오디오 신호의 부호화, 복호화 방법 및 장치 |
FR3007563A1 (fr) * | 2013-06-25 | 2014-12-26 | France Telecom | Extension amelioree de bande de frequence dans un decodeur de signaux audiofrequences |
FR3008533A1 (fr) * | 2013-07-12 | 2015-01-16 | Orange | Facteur d'echelle optimise pour l'extension de bande de frequence dans un decodeur de signaux audiofrequences |
US9620134B2 (en) * | 2013-10-10 | 2017-04-11 | Qualcomm Incorporated | Gain shape estimation for improved tracking of high-band temporal characteristics |
US10083708B2 (en) * | 2013-10-11 | 2018-09-25 | Qualcomm Incorporated | Estimation of mixing factors to generate high-band excitation signal |
WO2015077641A1 (en) * | 2013-11-22 | 2015-05-28 | Qualcomm Incorporated | Selective phase compensation in high band coding |
US10163447B2 (en) * | 2013-12-16 | 2018-12-25 | Qualcomm Incorporated | High-band signal modeling |
US9564141B2 (en) * | 2014-02-13 | 2017-02-07 | Qualcomm Incorporated | Harmonic bandwidth extension of audio signals |
US9542955B2 (en) * | 2014-03-31 | 2017-01-10 | Qualcomm Incorporated | High-band signal coding using multiple sub-bands |
US9984699B2 (en) * | 2014-06-26 | 2018-05-29 | Qualcomm Incorporated | High-band signal coding using mismatched frequency ranges |
US10109284B2 (en) | 2016-02-12 | 2018-10-23 | Qualcomm Incorporated | Inter-channel encoding and decoding of multiple high-band audio signals |
-
2018
- 2018-04-18 US US15/956,645 patent/US10825467B2/en active Active
- 2018-04-19 KR KR1020197030409A patent/KR102308966B1/ko active IP Right Grant
- 2018-04-19 EP EP18724649.1A patent/EP3613042B1/en active Active
- 2018-04-19 CN CN201880026185.XA patent/CN110537222B/zh active Active
- 2018-04-19 SG SG11201908390U patent/SG11201908390UA/en unknown
- 2018-04-19 BR BR112019021903-0A patent/BR112019021903A2/pt unknown
- 2018-04-19 WO PCT/US2018/028338 patent/WO2018195299A1/en active Application Filing
- 2018-04-19 AU AU2018256414A patent/AU2018256414B2/en active Active
- 2018-04-20 TW TW107113473A patent/TWI775838B/zh active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2998959A1 (en) * | 2007-04-30 | 2016-03-23 | Samsung Electronics Co., Ltd | Method and apparatus for encoding and decoding high frequency band |
TW201606758A (zh) * | 2014-06-26 | 2016-02-16 | 高通公司 | 基於高頻帶信號特徵之時間增益調整 |
TW201642246A (zh) * | 2015-04-05 | 2016-12-01 | 高通公司 | 編碼器選擇 |
US20170094409A1 (en) * | 2015-09-30 | 2017-03-30 | Apple Inc. | Encoded Audio Metadata-Based Loudness Equalization and Dynamic Equalization During DRC |
Also Published As
Publication number | Publication date |
---|---|
WO2018195299A1 (en) | 2018-10-25 |
US10825467B2 (en) | 2020-11-03 |
EP3613042A1 (en) | 2020-02-26 |
TW201842494A (zh) | 2018-12-01 |
BR112019021903A2 (pt) | 2020-05-26 |
EP3613042B1 (en) | 2022-09-21 |
CN110537222B (zh) | 2023-07-28 |
KR102308966B1 (ko) | 2021-10-05 |
KR20190139872A (ko) | 2019-12-18 |
CN110537222A (zh) | 2019-12-03 |
AU2018256414A1 (en) | 2019-10-03 |
US20180308505A1 (en) | 2018-10-25 |
AU2018256414B2 (en) | 2022-05-19 |
SG11201908390UA (en) | 2019-11-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI775838B (zh) | 用於在多源環境中之非諧波語音偵測及頻寬擴展之裝置、方法、電腦可讀媒體及設備 | |
US9978381B2 (en) | Encoding of multiple audio signals | |
US10872613B2 (en) | Inter-channel bandwidth extension spectral mapping and adjustment | |
US10891961B2 (en) | Encoding of multiple audio signals | |
CA2925573C (en) | Estimation of mixing factors to generate high-band excitation signal | |
US10593341B2 (en) | Coding of multiple audio signals | |
CN110800051B (zh) | 具有时域信道间带宽延展的高频带残值预测 | |
TW201923741A (zh) | 音頻信號之編碼或解碼 | |
US10573326B2 (en) | Inter-channel bandwidth extension |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
GD4A | Issue of patent certificate for granted invention patent |