TWI501220B - 嵌入與擷取輔助資料 - Google Patents

Description

嵌入與擷取輔助資料

本發明係關於嵌入輔助資料，本發明亦係關於擷取輔助資料。

如ISO/IEC 23003-1:2007,MPEG Surround中指定之環繞動態視訊壓縮標準(MPEG)，其係採用空間影像之一參數表示之一多聲道音訊編碼方案。由於其高編碼效率，環繞MPEG可以一回溯相容的方式延伸一單聲道/立體聲編碼器至多聲道，其僅需要一低額外位元率。可將環繞MPEG資料儲存或傳送為一單獨的串流，或嵌入至降混資料的輔助資料部分。為了傳輸作為核心編碼器位元流之部分的環繞MPEG資料，該核心編碼器必須支援輔助資料的嵌入。然而，存在許多降混編碼器，舉例而言，例如副頻帶編碼(SBC)(其對於基於藍芽A2DP之高品質音訊流是強制性的)，其不具有將輔助資料儲存於位元流中的能力。段7.3中之環繞MPEG規範指示如何可使用所謂的「埋葬資料」的技術來傳輸位元流中的環繞MPEG資料。然而，此技術僅可應用於編碼係脈衝編碼調製(PCM)的降混。此技術係基於以下假設，即該位元流中的位元在PCM資料與環繞MPEG資料之間共用。因為較少位元可用於編碼音訊信號，所以分配至環繞MPEG之一較高位元導致較低音訊品質。該「埋葬資料」的技術具有不能用於壓縮音訊信號的缺點。

本發明之一目的係提供嵌入輔助資料至一壓縮音訊信號中，及自一壓縮音訊信號擷取輔助資料。諸獨立請求項定義本發明。諸附屬請求項定義若干有利實施例。

本發明之一態樣提議一種用於將輔助資料嵌入至壓縮音訊信號的方法。此係藉由以輔助資料取代壓縮音訊信號之至少一頻率副頻帶內之最低有效位元(LSB)來實現。

當使用輔助資料來取代壓縮副頻帶信號之LSB位元時，可有效修改該副頻帶信號，其導致一不同的解碼輸出。對應於輔助資料之所取代LSB位元係作為位元流的部分而傳遞，且在解碼器處可被容易地擷取。以此種方式，解碼器獲得可用於該解碼器處之更高階音訊複製的輔助資料。儘管頻率副頻帶的LSB位元被取代，因為LSB位元未促成潛在可聽見的假音，所以壓縮音訊本身保持一良好的音訊品質。

在一實施例中，待由輔助資料取代的LSB位元係基於一心理聲學準則來決定。由輸出差異(其係LSB修改之一結果)導致的主觀影響係藉由應用一控制可修改LSB位元位置以及數量兩者的心理聲學準則來最小化。儘管頻率副頻帶的LSB位元被取代，因為此等經選擇之LSB位元不貢獻可聽見的假音，所以壓縮音訊本身則保持一良好的音訊品質。藉由採用編碼器中使用之相同準則，在解碼器中暗中決定LSB位元的分配。可在編碼器處預先估定解碼器側之LSB位元分配的相似性。因此，LSB位元的分配不需要額外的指示資訊，或在編碼器處使用之分配與解碼器處期望之分配存在差異的情況下，僅需要有限的額外指示資訊用於指示此等差異。

在一另一實施例中，待由輔助資料取代之LSB位元的分配係由嵌入至LSB位元的指示資訊指示。在解碼器側，需要指示資訊以識別組成輔助資料之LSB位元數量及位置。一固定數量的LSB位元(其被默認分配至若干特定副頻帶)被用於傳遞此指示資訊。此等位元被分配給每一訊框。

在一另一實施例中，壓縮音訊信號係使用SBC編碼來獲得。SBC編碼對輔助資料不具有內在支援。SBC編碼可經修改以接受在一或多個副頻帶信號之LSB位元內待傳遞的輔助資料。換言之，輔助資料取代LSB位元成為音訊壓縮的一部分。以此種方式，SBC編碼器可產生保存輔助資料之一位元流。該LSB位元分配可及時改變以有效地使用頻率副頻帶使得經分配之LSB位元未促成潛在可聽見的假音。或者，在編碼之後，使用輔助資料來取代LSB位元可作為一後處理步驟而執行。應了解，所形成之SBC位元流與現有的SBC解碼器係相容的。

在一另一較佳實施例中，輔助資料包括待採用以處理經解碼之壓縮音訊信號的資料。此允許該經解碼之壓縮音訊信號之一額外處理(諸如一後處理)改變音訊信號的特性，例如控制虛擬化處理的參數。

在一另一實施例中，輔助資料包括環繞MPEG資料。

使用(例如)SBC編碼器編碼環繞MPEG降混。環繞MPEG資料亦係輸入至SBC編碼器且傳遞於SBC編碼之降混信號之一或多個副頻帶信號的LSB位元中。在傳送及/或儲存所形成之位元流之後，SBC解碼器解碼立體聲降混並擷取環繞MPEG資料。一環繞MPEG資料解碼器將立體聲降混與環繞MPEG資料組合成一多聲道音訊信號。

本發明之另一態樣提供一種用於自輸入之壓縮音訊信號擷取輔助資料的方法。應了解，以上所述之該等特徵、優點、註釋等係同樣適用於本發明之此態樣。

本發明進一步提供一嵌入裝置，及一擷取裝置，以及一包括根據本發明之擷取裝置的解碼器。

將參考下文描述之該(該等)實施例來闡明本發明之此等及其他態樣、特徵及優點，從而其等將變得顯而易見。

圖1展示根據本發明之一種用於將輔助資料嵌入至壓縮音訊信號之方法之一實施例之一流程圖。該方法包括步驟101：以輔助資料取代壓縮音訊之至少一頻率副頻帶中之LSB位元。可藉由SBC、高階音訊編碼(AAC)、MP3，或HE-AAC解碼器來獲得壓縮音訊信號。壓縮音訊信號包括至少一頻率副頻帶。頻率副頻帶在此係指由(例如)SBC提供之一濾波器組副頻帶表示以及由(例如)AAC提供之一變換表示兩者。來自一副頻帶濾波器之諸副頻帶通常被稱為副信號，而來自一變換之諸副頻帶被稱為頻率係數。應注意在兩情況下之LSB位元皆係指經量子化之頻譜係數。輔助資料可為任何類型。然而，最好是其應包括關於空間音訊資訊的資料，這可用於改良壓縮音訊的空間音訊品質。此種輔助資料之一實例係(例如)格式化成類似於ISO/IEC 23003-1:2007,MPEG Surround之段7.3.2中指定之一資料結構的環繞MPEG資料。或者，輔助資料可包括(例如)頻譜帶複製資料、參數立體聲資料、中繼資料(諸如時序資訊，或響度級，或允許在解碼側交互混合的空間音訊對象編碼資料)。

圖2展示以輔助資料取代壓縮音訊之至少一頻率副頻帶中之LSB位元之一實例。在圖2中，描繪了該壓縮音訊信號之一實例。此種壓縮音訊信號可藉由具有以下組態參數的SBC編碼器而獲得：48 KHz的取樣頻率、立體聲道模式、8個副頻帶，及大小為4的區塊長度。圖表110對應於一左聲道音訊，而圖表120對應於一右聲道音訊。每一聲道描繪六個副頻帶，分別係左聲道之111-116及右聲道之121-126。因為在本實例中，位元尚未分配至剩餘副頻帶，所以為了表示清楚，僅描繪了六個副頻帶(代替八個指定副頻帶)。左聲道音訊110之一第一副頻帶111的壓縮音訊信號需要4個位元之指定區塊長度及5個位元之一區塊寬度，這導致20個位元。應注意該區塊長度對應於副頻帶中之副頻帶樣本數。副頻帶112需要4個位元之區塊長度及4個位元之區塊寬度，這導致16個位元。而副頻帶113、114及115分別需要12個位元、8個位元，及8個位元。同樣地，右音訊聲道之副頻帶121、122、123、124、125分別需要16個位元、16個位元、8個位元、8個位元、8個位元。如本發明所指定之一些副頻帶之LSB位元可用於嵌入輔助資料。在圖2中，此等位元被標記為灰色。因此，副頻帶111中之八個LSB位元、副頻帶112之四個LSB位元、副頻帶113之四個LSB位元，及副頻帶114之四個LSB位元可用於嵌入輔助資料。輔助資料之嵌入在這裡意謂使用輔助資料取代若干所指示的LSB位元。儘管待由輔助資料取代之LSB位元的分配在諸副頻帶中改變，使用一固定LSB位元分配亦係可能的。改變LSB位元分配的優點是位元分配可經調適用於壓縮音訊中的真實音訊內容而不危及該音訊品質。藉由改變頻率副頻帶上之LSB位元分配，可控制由諸副頻帶中經取代之LSB位元所產生的失真。LSB位元分配的控制允許一頻譜域內之失真的成形，使得失真仍然被遮蔽。

在一實施例中，待由輔助資料取代之LSB位元係基於一心理聲學準則而決定。此心理聲學準則以選擇若干副頻帶及由輔助資料取代之LSB位元以期望對感知產生最小影響為目標。該心理聲學準則可(例如)藉由決定副頻帶表示之網格上之原始音訊信號之一遮蔽曲線來實現。此遮蔽曲線指示每一頻率頻帶中可添加多少雜訊。選擇可添加大多數雜訊的頻帶，(例如)用於輔助資料的嵌入。或者，藉由比較使用(例如)SBC編碼來編碼之壓縮音訊信號的失真與所決定之遮蔽曲線可進一步改良該準則。因此，待由輔助資料取代之LSB位元可經選擇，使得相較於遮蔽曲線，關於所有副頻帶的全部失真(包括藉由SBC編碼量化及將輔助資料嵌入至諸頻帶之LSB位元)大約相等。組合SBC編碼與輔助資料嵌入係有利的，因為其允許最小化嵌入輔助資料對感知音訊品質的影響。若壓縮音訊信號係一預編碼信號(例如，一SBC位元流)，則已經粗糙地量化之較高頻率不留下用於嵌入輔助資料的間隔。然而，若組合輔助資料之嵌入與使用(例如)SBC編碼之一音訊信號之壓縮，則存在用於輔助資料之嵌入之一間隔，其宜由編碼及嵌入參數控制。

圖3展示一種用於嵌入輔助資料至一壓縮音訊信號之方法之一實施例之一流程圖，該壓縮音訊信號經修改以藉由嵌入至LSB位元中之指示資訊來指示由該輔助資料取代之LSB位元之一分配。該方法包括步驟101，即以輔助資料取代壓縮音訊之至少一頻率副頻帶之LSB位元；步驟102包括嵌入指示資訊至該壓縮音訊信號以指示待由輔助資料取代之LSB位元的分配。此指示資訊類似於嵌入至該壓縮音訊信號之LSB位元中之輔助資料。儘管步驟102依循步驟101，此等兩個步驟的順序可相互交換。

指示資訊可(例如)以預定數量(例如，16個位元)包括於一訊框中之第一頻帶之LSB位元之一預定固定位置。或者，可採用ISO/IEC 23003-1:2007,MPEG Surround之段7.3.2中描述的方法來指示包括具有嵌入之輔助資料之壓縮音訊信號之位元流中的指示資訊。

在一另一實施例中，壓縮音訊係使用SBC編碼來獲得。SBC編碼提供一相對較高位元率的可能性，因此允許更多用於輔助資料之嵌入的間隔。此外，對於SBC編碼，不需要較多關注來確保不發生可聽見的假音(例如，可使用一簡單化的心理聲學模型)。SBC作為各種通訊裝置(例如，電話，或汽車無線電收音機)之間之一通訊編解碼器亦變得越來越受歡迎。

然而，在SBC編碼之後，可使用任何其他轉變或副頻帶編碼。根據本發明，屬於不支援輔助資料之此類的技術可受益於輔助資料的嵌入。

在一另一實施例中，輔助資料包括待採用以處理一經解碼之壓縮音訊信號的資料。如上指出，輔助資料最好應包括關於空間音訊資訊的資料，這可用於改良壓縮音訊的空間音訊品質。此種輔助資料之一實例係(例如)格式化成類似於ISO/IEC 23003-1:2007,MPEG Surround之段7.3.2中指定之一資料結構的環繞MPEG資料。相同規範之段6描述了如何使用環繞MPEG資料自一單聲道或立體聲降混信號及環繞MPEG資料產生一多聲道或雙耳音訊信號。

若將包括環繞MPEG資料之輔助資料嵌入至包括若干SBC編碼音訊PCM樣本的壓縮音訊信號中，則嵌入包括於一環繞MPEG訊框內的環繞MPEG資料需要許多SBC訊框。假定如圖2描述般使用SBC組態，除了區塊長度現為16。這導致SBC訊框長度為8×16(=128)的副頻帶樣本，其中8係副頻帶數量，且16係區塊長度。該環繞MPEG資料的訊框長度係1024 PCM樣本，對應於SBC訊框之1024副頻帶樣本。假定根據環繞MPEG標準編碼的1024 PCM訊框導致888個位元。此外，假定編碼指示資訊需要72個位元。因此，容納888個位元的輔助資料與72個位元的指示資訊需要8SBC訊框。為了有效使用諸可用位元，可將8 SBC訊框分成4群組的2 SBC訊框。對於2個訊框之每一群組使用一指示資訊。因此，對於兩個聲道且每一聲道有4個群組，總共使用8單元指示資訊。對於具有比指示資訊中所指出的數量更少之可用於副頻帶樣本之位元的副頻帶，此等兩個值中的最小值被用於副頻帶中之輔助資料的嵌入。假定如圖2中描繪之若干副頻帶樣本被用於諸聲道之各者的8 SBC訊框。此外，假定對左聲道使用2、1、0，及1位元分配，且對右聲道使用1、0、1，及0位元分配。左聲道之2位元分配意謂對於兩SBC訊框的第一群組，2位元每副頻帶被分配至輔助資料。此導致2(代表2 SBC訊框)×5(代表5個副頻帶)×16(代表區塊長度)×2(代表分配至副頻帶之各者的位元)=320個位元可用於輔助資料。隨後，1位元每聲道的分配導致160個位元可用於輔助資料。

相應地，左聲道之2、1、0、1位元分配及右聲道之1、0、1、0位元分配導致總共960個位元，這足夠容納實際上需要的888個位元的輔助資料。

圖4示意性地展示根據本發明之一種用於將輔助資料202嵌入至一壓縮音訊信號201中之嵌入裝置200之一實例。嵌入裝置200包括一分配電路210，該分配電路210用於基於提供至其之一心理聲學準則203來決定由輔助資料取代之LSB位元的分配。此準則203之一實例係相對於所有副頻帶之一遮蔽臨限值之嵌入資料能量的最小化。嵌入裝置200進一步包括一取代電路220，其使用輔助資料202來取代壓縮音訊信號201中由分配電路210分配的LSB位元，這導致一輸出壓縮音訊信號204。

應了解，當LSB位元的分配被固定時，分配電路210係多餘的，且不需要包括於嵌入裝置200內。然而，在此情況下，為了在解碼器側能夠適當擷取來自壓縮音訊信號204的輔助資料202，此固定LSB位元分配應連接至該解碼器側。

本發明之一另一態樣係一種用於從一輸入壓縮音訊信號擷取輔助資料的方法。其特徵在於輔助資料係自輸入壓縮音訊之至少一頻率副頻帶之LSB位元擷取。基本上，該擷取方法係嵌入方法之一相反方法。基於對輔助資料之LSB位元的分配(固定的或適配的)，輔助資料係自輸入壓縮音訊偵測及擷取，其中已根據本發明嵌入該輔助資料。

用於嵌入輔助資料至一壓縮音訊信號之方法的較佳實施例亦適用於自輸入壓縮音訊信號擷取輔助資料的方法。

圖5示意性地展示一種用於自一輸入壓縮音訊信號304擷取輔助資料302之擷取裝置300之一實例。輸入壓縮音訊信號304對應於壓縮音訊信號204(其經修改以具有嵌入至壓縮音訊信號201之至少一頻率副頻帶中之LSB位元的輔助資料202)。擷取裝置300包括一分配擷取電路310，分配擷取電路310用於擷取至輔助資料之LSB位元之分配。藉由分配擷取電路310來決定的分配被饋送至一擷取電路320，其基於此分配而自輸入壓縮音訊信號擷取輔助資料302。

應了解，當LSB位元的分配被固定時，分配電路310係多餘的，且不需要包括於擷取裝置300內。然而，在此情況下，為了能夠自壓縮音訊信號304適當擷取輔助資料302，此固定的LSB位元分配應連接至擷取裝置側。

圖6展示根據本發明之一種包括一擷取裝置之用於解碼一輸入壓縮音訊信號304之解碼器700之一實例。解碼器700包括用於擷取輔助資料的擷取裝置300。此外，解碼器700包括用於解碼輸入壓縮音訊信號之一第一解碼器400，及用於組合第一解碼器400之一輸出信號301與輔助資料302之一處理電路500。特定言之，處理電路500可能包括一第二解碼器，其將第一解碼器400之輸出信號301及輔助資料302解碼成一多聲道音訊信號、一雙耳音訊信號，或任何其他適合的音訊信號。第一解碼器400之一實例係SBC解碼器。第二解碼器500之一實例係環繞MPEG解碼器。第二解碼器接收單聲道或立體聲信號301及環繞MPEG資料302。接著，其將單聲道或立體聲信號301轉譯為由環繞MPEG資料所指定之一多聲道信號620或雙耳音訊信號610。環繞MPEG資料宜在作為輔助資料嵌入至壓縮音訊信號之前被隨機化。在ISO/IEC 23003-1:2007,MPEG Surround 之段7.3.2中指定了環繞MPEG資料的隨機化。

本發明亦可應用於轉碼，例如將HE-AAC/環繞MPEG(其中使用一所謂的輔助資料聲道將環繞MPEG資料嵌入至位元流)轉碼為SBC/環繞MPEG(其中使用本發明來嵌入環繞MPEG資料)。

儘管已結合一些實施例描述本發明，然傾向於將本發明限制於本文所規定的特定形式。相反地，本發明之範圍僅受限於附屬請求項。此外，儘管可能出現結合若干特定實施例而描述之一特徵，然熟習此項技術者應了解可根據本發明來組合所描述實施例的各種特徵。在請求項中，術語「包括」不排除存在其他元件或步驟。

此外，儘管個別地列出複數個電路、若干元件或方法步驟，然其等可藉由(例如)一單一單元或處理器來實施。此外，儘管不同的請求項中可包含個別特徵，然此等可能被有利地組合，且不同請求項中之包含並非意謂若干特徵的組合係不可行的及/或無利的。此外，一類請求項中之一特徵的包含並不意謂受限於此類，而是表明該特徵同樣可適用於其他請求項種類。此外，單數參考不排除複數個。因此「一」、「第一」、「第二」等的參考不排除複數個。請求項中提供之諸參考符號僅作為一澄清實例，且絕不應解釋成限制請求項範圍。可藉由包括若干相異元件的硬體電路，及藉由一經合適程式化電腦或其他可程式化裝置來實施本發明。

110．．．左聲道音訊

111．．．副頻帶

112．．．副頻帶

113．．．副頻帶

114．．．副頻帶

115．．．副頻帶

116．．．副頻帶

120．．．右音訊聲道

121．．．副頻帶

122．．．副頻帶

123．．．副頻帶

124．．．副頻帶

125．．．副頻帶

126．．．副頻帶

200．．．嵌入裝置

201．．．壓縮音訊信號

202．．．輔助資料

203．．．心理聲學準則

204．．．輸出壓縮音訊信號

210．．．分配電路

220．．．取代電路

300．．．擷取裝置

301．．．輸出信號

302．．．輔助資料

304．．．輸入壓縮音訊信號

310．．．分配擷取電路

320．．．擷取電路

400．．．第一解碼器

500．．．處理電路

700．．．解碼器

圖1展示根據本發明之一種用於將輔助資料嵌入至壓縮音訊信號之方法之一實施例之一流程圖；

圖2展示以輔助資料取代壓縮音訊之至少一頻率副頻帶中之LSB位元之一實例；

圖3展示一種用於將輔助資料嵌入至一壓縮音訊信號之方法之一實施例之一流程圖，該壓縮音訊信號經修改以藉由嵌入至LSB位元中之指示資訊而指示由該輔助資料取代之LSB位元之一分配；

圖4示意性地展示根據本發明之一種用於將輔助資料嵌入至一壓縮音訊信號中之嵌入裝置之一實例；

圖5示意性地展示一種用於自一輸入壓縮音訊信號擷取輔助資料之擷取裝置之一實例；及

圖6展示用於解碼一輸入壓縮音訊信號之一解碼器之一實例，該解碼器包括根據本發明之一擷取裝置。

300．．．擷取裝置

301．．．輸出信號

302．．．輔助資料

304．．．輸入壓縮音訊信號

400．．．第一解碼器

500．．．處理電路

700．．．解碼器

Claims (12)

1. 一種用於將一輔助(ancillary)資料嵌入(embedding)至一壓縮音訊信號之方法，其包含：用該輔助資料取代該壓縮音訊信號之至少一頻率副頻帶中之LSB位元；及將指示資訊嵌入該等LSB位元之一預定位置，其中該指示資訊指示由該輔助資料取代之該等LSB位元之一分配(allocation)，該指示資訊辨識一位置及組成該輔助資料之LSB位元之數量。
2. 如請求項1之方法，其中待由該輔助資料取代之該等LSB位元係基於一心理聲學準則而決定。
3. 如請求項1之方法，其中使用一副頻帶編碼來編碼而獲得該壓縮音訊信號。
4. 如請求項1之方法，其中該輔助資料包括待採用以處理一經解碼之壓縮音訊信號的資料。
5. 如請求項1之方法，其中該輔助資料包括環繞MPEG資料。
6. 一種用於將輔助資料嵌入至一壓縮音訊信號之嵌入裝置，其包括：一取代電路，其用於產生一輸出壓縮音訊信號，其中該壓縮音訊信號之至少一頻率副頻帶中之LSB位元被該輔助資料取代且指示資訊係被嵌入該等LSB位元之一預定位置，其中該指示資訊指示由該輔助資料取代之該等LSB位元之一分配，該指示資訊辨識一位置及組成該輔 助資料之LSB位元之數量。
7. 一種用於自一輸入壓縮音訊信號擷取輔助資料之方法，其包含：自該輸入壓縮音訊信號之至少一頻率副頻帶之LSB位元擷取該輔助資料，其中擷取之步驟包含第一擷取被嵌入該等LSB位元之一預定位置之指示資訊，其中該指示資訊指示由該輔助資料取代之該等LSB位元之一分配，該指示資訊辨識一位置及組成該輔助資料之LSB位元之數量。
8. 如請求項7之方法，其中該輔助資料包括待採用以處理一經解碼之壓縮音訊信號的資料。
9. 如請求項8之方法，其中該輔助資料包括環繞MPEG資料。
10. 一種用於自一輸入壓縮音訊信號擷取輔助資料之擷取裝置，其包括：一擷取電路，其用於自該輸入壓縮音訊信號之至少一頻率副頻帶之LSB位元擷取該輔助資料，其中該擷取電路進一步用於第一擷取被嵌入該等LSB位元之一預定位置之指示資訊，其中該指示資訊指示由該輔助資料取代之該等LSB位元之一分配，該指示資訊辨識一位置及組成該輔助資料之LSB位元之數量。
11. 一種用於解碼一輸入壓縮音訊信號之解碼器，該解碼器包括：如請求項10之一擷取裝置，其用於擷取輔助資料； 一第一解碼器，用於解碼該輸入壓縮音訊信號；及一處理電路，用於組合該第一解碼器之一輸出信號與該輔助資料。
12. 如請求項11之解碼器，其中該處理電路包括一第二解碼器，用於將該第一解碼器之該輸出信號及該輔助資料解碼為一多聲道音訊信號及一雙耳音訊信號中之一者。