TWI431613B - 資源受限的客戶端裝置之上游品質增強信號處理 - Google Patents

Description

資源受限的客戶端裝置之上游品質增強信號處理 前後參照之相關申請案

此申請案主張對2008年9月19日提出的美國臨時專利申請案第61/098,481號之優先權，其全部以引用的方式併入本文中。

本揭示內容大致上有關媒體資料之信號處理、諸如用於品質增強的串流音頻資料之信號處理。

手提式裝置在受歡迎性及功能性中持續成長。此等日漸受歡迎之裝置包括諸如蘋果之iPod的媒體播放器；行動電話；以無線IP為基礎之電話，諸如由Helio、Linksys等所製成之裝置；無線網路相容之多媒體裝置，諸如微軟Zune、蘋果iPhone等；手提式遊樂器，諸如Sony PSP、Nokia N-Gate等；及許多其他能被使用於送出、接收、及/或呈現通訊及/或多媒體資料之裝置。此等裝置典型包括一處理系統，諸如數位信號處理器(DSP)或微控制器、及儲存程式邏輯(軟體)之記憶體。與諸如電腦、網路轉接器及路由器、及/或固定核心網路裝置之非手提式處理系統作比較，雖然手提式裝置在處理能力及功能性、及/或延長之電池壽命中持續改良，這些裝置仍然具有有限之信號處理能力及/或其他資源。手提式裝置典型較佳地是小的、較佳地是便宜的，具有有限之處理能力、有限之記憶體資源及/或具有有限之電池電力。

全然成對比，與該手提式裝置通訊之固定式處理系統，諸如伺服器電腦系統、網路轉接器與路由器、無線基地台與存取點、及固定核心網路裝置，具有顯著地較大之信號處理能力。此等固定式系統可為大的，且不會無電池地操作。如此，固定式系統典型具有相當高速之處理能力、比手提式裝置遠較大之記憶體能力、及實際上對電力之無限的使用之特色。

大致上，與固定式處理系統作比較，一裝置、諸如具有有限之資源的手提式裝置在此中被稱為一“有限資源裝置”。

已知有需要昂貴之信號處理的媒體資料品質增強方法，如果在一有限資源裝置上施行，該方法可需要太多電力，如此耗盡任何所使用之電池，及/或可能會使可用之有限信號處理能力負擔過度。

概觀

本發明之具體實施例包括在一或更多電腦可讀取實質媒體中編碼之方法、設備、及程式邏輯，以實行一方法。該方法係使用集合在一資源受限的裝置之一或多個參數，在媒體資料上實行品質增強信號處理，以產生供該資源受限的裝置使用之經處理的輸出，以呈現該媒體資料。

本發明之特別具體實施例包括一使用處理硬體以處理品質增強用的媒體資料之方法。該方法包括：由一資源受限的裝置接收有關媒體資料之品質增強處理的資訊，該媒體資料係用於藉由該資源受限的裝置的呈現；及使用至少部份所接收之資訊以產生經處理之輸出而資料處理該媒體資料，來達成品質增強。該媒體資料之資料處理係當足夠用於該處理的資源、例如電力及/或處理能力係可用時、或在足夠用於該處理的資源係可用之處。該經處理之輸出可被該資源受限的裝置使用，以呈現該媒體資料、或實行該媒體資料的一些處理及呈現媒體資料兩者。有關品質增強處理之資訊包括在該資源受限的裝置所獲得之資訊，且包括一組有關該媒體資料之想要處理的一或多個參數--此等參數在此中被稱為元資料--及/或有關該資源受限的裝置之環境的一或多個參數--此等參數在此中被稱為環境參數。

於該方法的一些具體實施例中，該經處理之輸出包括用於藉由該資源受限的裝置的呈現之經處理的媒體。

於該方法的一些具體實施例中，其中一些媒體資料處理發生在該資源受限的裝置處，該經處理之輸出包括該資源受限的裝置用之輔助資料，該輔助資料用於在該資源受限的裝置上之媒體資料處理。

於該方法的一些具體實施例中，該處理使用該元資料及/或環境參量之至少一個，以產生包括經處理媒體之經處理輸出，用於供該資源受限的裝置呈現。於一些措失中，該媒體資料之處理係於該資源受限的裝置上呈現該經處理的媒體資料之前。

於一些具體實施例中，在此中被稱為雙向串流具體實施例，該媒體資料包括交互型串流越過一網路至該資源受限的裝置之音頻資料，當作與該資源受限的裝置之雙向通訊的一部份。雙向串流具體實施例之範例包括這些，其中該媒體資料之品質增強處理包括等化處理及/或對話清晰增強之一或兩者。

現在摘要該方法的一些具體實施例之概觀，該等具體實施例使用元資料及/或在該資源受限的裝置所產生之環境參量。

於一些特別具體實施例中，其中該經處理之輸出包括用於呈現之經處理的媒體，該方法包括將該經處理之輸出送至該資源受限的裝置，或儲存該經處理之輸出以供該資源受限的裝置使用。該媒體資料之資料處理係在足夠用於該處理之資源為可用之處，且係在該資源受限的裝置上之經處理媒體資料的呈現之前。範例包括該媒體資料，該媒體資料包括以下之一或多個：‧被串流或廣播至該資源受限的裝置之媒體資料。

‧交互型串流越過一網路至該資源受限的裝置之媒體資料，當作與該資源受限的裝置之雙向通訊的一部份。

‧源自在資源受限的裝置或藉由資源受限的裝置所產生之媒體資料，用於藉由該資源受限的裝置之呈現。

一些具體實施例係用於即時串流，其中該經處理之輸出包括用於呈現之經處理的媒體。亦即，該方法包括將該經處理之輸出送至該資源受限的裝置，或儲存該經處理之輸出以供藉由該資源受限的裝置使用，且該媒體資料包括被串流或廣播至該資源受限的裝置之媒體資料。此等具體實施例在此中被稱為串流具體實施例。

用於此等串流具體實施例，本發明不被限制於資料之型式，例如其是否為音頻、視頻、及音頻與視頻兩者，且再者，本發明不被限制於使用該元資料及/或環境參量的品質增強處理之型式。很多增強方法係已知。

於一些串流具體實施例中，其中該媒體資料包括音頻資料，且該音頻資料之品質增強處理包括響度調平--亦被稱為響度補償調平--根據元資料之一或更多項目，此元資料包括一或多個響度位準參數。於一些版本中，此響度調平包括1)使用該響度位準參數產生修改參數，修改參數之此產生包括於一感知響度領域中實行資訊上之操作，及2)基於該等修改參數修改該音頻資料，以產生經處理音頻資料。範例響度位準參數包括一參考重現位準、一想要之重現位準及/或一調平數量。

以此調平，一些具體實施例包括動態等化，以致該經處理之輸出具有一想要之頻率分佈圖，及/或包括自動增益控制(AGC)或動態範圍壓縮。

於一些串流具體實施例中，其中該媒體資料包括音頻資料，該品質增強處理包括根據該元資料之一或多個的音頻空間化。此空間化包括譬如空間化用於經由耳機播放之音頻資料，以致一收聽者具有收聽音頻係在一組個別位置由一組揚聲器所播放之感知。此空間化可代替或另外包括加大混音(upmixing)：加入空間空間化頻道，諸如由立體聲音頻信號建立環繞立體聲信號。

於其他串流具體實施例中，該媒體資料包括視頻，且該媒體資料之品質增強處理包括噪聲濾波、對比增強、及/或色彩補償的一或多個。

特別之串流具體實施例包括那些，其中該一或多個參數包括一或多個環境參量、一或多個與該資源受限的裝置之環境有關的參數。

於使用一或多個環境參量的一些串流具體實施例中，該媒體資料包括音頻資料，且至少一環境參量係該環境中之聲波噪聲剖面的指示。使用一或更多該等參數之品質增強處理包括噪聲補償。於一些此等具體實施例中，噪聲補償包括使用一或多個響度位準參數及指示該聲波噪聲剖面的一或多個環境參量由該音頻資料產生修改參數。該修改參數係於一感知響度領域中藉由在資訊上實行操作所產生。該噪聲補償包括基於該等修改參數修改該音頻資料，以產生經處理之音頻資料。當作範例，該等響度位準參數包括：是否開啟音頻噪聲補償、用於該資源受限的裝置之參考位準、一想要之重現位準、及/或一噪聲補償數量的一或多個。於一些變型中，該音頻資料之處理另包括施加至該音頻資料之AGC、動態範圍壓縮、及/或動態等化的一或多個。

於使用一或多個環境參量的一些串流具體實施例中，該媒體資料包括串流至該資源受限的裝置之視頻媒體資料。該一或多個環境參量包括指示該環境中之照明的至少一參數，且該品質增強處理包括根據所接收參數的一或多個修改該視頻資料之對比及/或亮度。

於一些此等串流視頻影像具體實施例中，該資源受限的裝置包括一平板顯示器裝置，該平板顯示器裝置具有與背光元件相依之位置，該等背光元件之每一個根據隨同該視頻資料被送至該資源受限的裝置之影像相依調變資料所調變。該資料處理包括根據該一或多個參數產生該影像相依調變資料。

於一些上面之串流音頻及串流視頻具體實施例與範例中，包括那些不只包括由該資源受限的裝置送出之元資料，而且包括一或多個環境參量者，該方法另包括由該資源受限的裝置接收該媒體資料，用於該媒體資料之處理。亦即，該媒體資料係由該資源受限的裝置送出、處理、及送至該資源受限的裝置，或被儲存供該資源受限的裝置使用。該經處理之輸出包括供藉由該資源受限的裝置所呈現之經處理的媒體。

於一些包括由該資源受限的裝置接收媒體資料之此等具體實施例中，該媒體資料之處理係於該資源受限的裝置上呈現該經處理的媒體資料之前。該媒體資料包括以下之一或多個：1)被串流或廣播至該資源受限的裝置之媒體資料，或2)交互型串流越過一網路至該資源受限的裝置之媒體資料，當作與該資源受限的裝置之雙向通訊的一部份，或3)源自在資源受限的裝置或藉由資源受限的裝置所產生之媒體資料，用於藉由該資源受限的裝置之呈現。

用於該媒體資料包括串流或廣播至該資源受限的裝置之音頻資料的案例之品質增強處理的範例，且其中該一或更多參數係在該資源受限的裝置產生，該上述調平，有或沒有AGC、動態範圍壓縮、及/或動態等化的一或多個。其他範例包括音頻空間化。用於交互型式音頻媒體，其他處理範例包括等化處理及/或對話清晰增強之一或兩者。

用於包括串流或廣播至該資源受限的裝置之音頻資料的案例之品質增強處理的範例，且其中該品質增強處理包括視頻雜訊濾波、對比增強、及/或色彩補償的一或多個。

用於包括串流或廣播至該資源受限的裝置之音頻資料的媒體資料之案例的品質增強處理之範例，且其中在該資源受限的裝置所產生之一或多個參數包括至少一環境參量，其指示該裝置的環境中之噪聲剖面，且包括噪聲補償，有或沒有其他處理，諸如AGC、動態範圍壓縮、及/或動態等化。

用於包括串流或廣播至該資源受限的裝置之視頻資料的媒體資料之案例的資料處理之範例，且其中在該資源受限的裝置所產生之一或多個參數包括至少一環境參量，其指示該裝置的環境中之照明，且包括產生用於一平板顯示器裝置之影像相依調變資料，該平板顯示器裝置具有位置相依之背光元件，每一背光元件根據該影像相依調變資料調變。

上面之範例係用於即時應用，其中該資料被串流至該資源受限的裝置。

本發明之方法的一些具體實施例包括所謂之“離線方法具體實施例”。一些此等具體實施例係所謂“時間遷移具體實施例”。於此等時間遷移具體實施例中，該元資料及/或一或多個環境參量係於第一時段期間在該資源受限的裝置獲得，該媒體資料之資料處理使用元資料及/或一或多個環境參量，且係於第二時段期間，例如其在該第一時段開始之後開始，且該媒體資料之呈現係在第三時段，例如在該第二時段開始之後開始。

於一些此等時間遷移具體實施例中，該經處理之輸出包括供藉由該資源受限的裝置呈現之經處理的媒體，且該方法另包括接收在該資源受限的裝置所獲得之資訊；及將該經處理之輸出送至該資源受限的裝置供該資源受限的裝置使用。

一此時間遷移具體實施例範例包括該案例，即該媒體資料包括音頻，且在該資源受限的裝置所獲得之資訊包括元資料及/或一或多個環境參量。於一些此等具體實施例中，該品質增強處理包括調平及/或AGC及/或動態範圍壓縮及/或動態等化的一或多個。其他此等具體實施例包括接收指示該裝置的環境中之聲波噪聲剖面的至少一環境參量，且該品質增強處理包括可能以AGC、動態範圍壓縮及/或動態等化的一或多個之噪聲補償。

於其他此等時間遷移具體實施例中，使用一或多個該等參數之處理產生供該資源受限的裝置使用之輔助資料，用於處理該媒體資料。於這些具體實施例中，該方法另包括接收在該資源受限的裝置所獲得之資訊；及將該經處理之輸出送至該資源受限的裝置，供該資源受限的裝置使用。該方法可另包括將媒體資料送至該資源受限的裝置，供藉由該資源受限的裝置呈現。該輔助資料被該資源受限的裝置使用，用於進一步處理該媒體資料及/或用於呈現該媒體資料。

當作一音頻範例，亦即，假設該媒體資料包括音頻資料。一此範例包括該案例，即在該資源受限的裝置所獲得之資訊包括元資料。於一些此等具體實施例中，該品質增強處理包括調平、AGC、動態範圍壓縮、及/或動態等化的一或多個。其他此等具體實施例包括接收指示該裝置的環境中之聲波噪聲剖面的至少一環境參量，且該品質增強處理包括可能以AGC、動態範圍壓縮及/或動態等化的一或多個之噪聲補償。

於又其他此等時間遷移具體實施例中，當足夠用於該處理的一或多個資源係可用於該資源受限的裝置時，該媒體資料之處理係於該資源受限的裝置中。一範例係其中當用於該處理之足夠電力係可用在該資源受限的裝置時，該媒體資料之資料處理為在該資源受限的裝置中。另一、不由該電力案例互相排除者，係其中當處理能力係可用在該資源受限的裝置時，該媒體資料之資料處理為在該資源受限的裝置中。使用一或多個該等參數之資料處理產生供該資源受限的裝置使用之輔助資料，用於處理該媒體資料。

特別之具體實施例包括程式邏輯，當藉由處理系統之至少一處理器所執行時，該程式邏輯造成實行此概觀段落中所敘述之方法具體實施例的任一具體實施例。此程式邏輯例如在一電腦可讀取儲存媒體中被具體化。

特別之具體實施例包括一在其中具有程式邏輯之電腦可讀取媒體，當藉由處理系統之至少一處理器所執行時，該程式邏輯造成實行此概觀段落中所敘述之方法具體實施例的任一具體實施例。

特別之具體實施例包括一用於實行媒體資料之品質增強處理的至少一部份之設備。該設備包括一介面，其被組構成連接至一資源受限的裝置，及由該資源受限的裝置接收有關媒體資料之品質增強處理的資訊，該資訊係用於藉由該資源受限的裝置所呈現；及處理硬體，其被組構成實行該媒體資料之資料處理，以使用至少部份所接收之資訊來產生經處理的輸出而達成品質增強。該介面被進一步組構成將該經處理之輸出送至該資源受限的裝置。有關品質增強處理之資訊包括在該資源受限的裝置所獲得之資訊，且包括一組有關該媒體資料之想要處理或有關該資源受限的裝置之環境的一或多個參數。當足夠用於該處理的一或多個資源係可用時、或在足夠用於該處理的一或多個資源係可用之處，該處理硬體實行該資料處理，使得該經處理之輸出係可藉由該資源受限的裝置使用，以呈現或處理及呈現該媒體資料。該設備的一些具體實施例被組構成實行此概觀段落中所敘述之方法具體實施例的任一具體實施例。

特別之具體電施例包括一用於實行媒體資料之品質增強處理的至少一部份之設備。該設備包括一處理系統，其包括至少一處理器，及一儲存裝置。該儲存裝置被組構成具有程式邏輯，當執行該程式邏輯時，造成該設備實行此概觀段落中所敘述之方法具體實施例的任一具體實施例。

特別之具體實施例可提供這些態樣、特色、或優點之所有、一些、或無任一個。特別之具體實施例可提供一或多個其他態樣、特色、或優點，由在此中之圖面、敘述、及申請專利範圍，其他態樣、特色、或優點的一或多個對於熟諳此技藝者可變得輕易明顯的。

現在更詳細地敘述示範具體實施例。

一些音頻品質增強信號處理方法之範例

本發明的一有利特色係由一資源受限的客戶端裝置、例如手提式裝置上游、及由一資源受限的客戶端裝置、例如手提式裝置卸載，來實行資源密集型品質增強信號處理。

本發明係不限於在該上游中進行的媒體品質增強處理之型式。最有利的是用於計算密集型媒體品質增強信號處理技術，其可能會使典型手提式裝置中之處理器負載過重及/或結果是電池電力快速耗盡。以下係媒體品質增強信號處理方法之不意欲被限制的一些範例，其可有利地使用本發明之一或更多特色。

感知響度領域中之處理

通常，音頻媒體資料被期待在一指定之參考位準重現。然而，多次，該媒體資料係在減少之位準播放。其係已知視該重現位準而定於音頻之感知中有變化。此變化係與心理音響學及該等響度曲線圖與安靜傾聽之臨界值有關。當與在參考位準播放之相同媒體資料作比較時，被改變之播放位準能導致該音頻之音色及空間感知中之重大差異。用於本發明的一些具體實施例之品質增強信號處理包括以改善之方式決定及調整一音頻信號之感受響度。一心理音響模型被使用於以感知單元計算一音頻信號之響度的測量。此感知領域響度測量被稱為特定響度，且係感知響度的一測量，當作頻率及時間的一函數。當作一範例，一使用在感知領域中所決定之參數的音量控制方法包括使用一信號處理方法，以計算一寬頻帶倍增增益，當應用至該音頻時，該寬頻帶倍增增益導致該增益修改音頻之響度大體上係與一參考響度相同。該增益調整方法包括信號處理方法，其視播放位準而定分析及修改該音頻，將其恢復至在該參考播放位準被感受之方式。這已被發現導致該音頻媒體資料之改良的成像、清晰度及可聽度。更多細節被呈現在下面。

音量調平(動態範圍控制及自動增益控制)

音量調平、亦被稱為“響度調平”及“響度補償調平”尤其包括藉由修改該音頻信號導出可用於控制一音頻信號之特定響度的資訊，以使減少其特定響度及一目標特定響度間之差異。於實用之措失中，該修改音頻信號之特定響度可被造成為近似該目標特定響度。該近似值可不只被普通之信號處理考量所影響，同時也被可使用於該修改中之時間及/或頻率平滑化所影響。該等方法包括以該音頻信號之特定響度的形式決定音頻信號的感知響度，且決定多頻帶增益，以應用至該音頻信號之多頻帶，以修改該音頻信號。於一些具體實施例中，該信號之修改動態地施加多頻帶增益修改至該音頻，以致該音頻媒體資料之感受響度保持恆定的。這允許來自諸如不同電視頻道、無線電臺或歌曲之多數來源的音頻具有相同之感受響度位準。當此係會同一音頻系統之音量控制被使用時，該量控制器被轉變，且不再模擬一控制被送至放大區段之音頻信號位準的電阻器。反之，該音量控制器現在提供輸入至該調平方法，指示該等使用者想要之感受響度重現位準。此資訊接著被使用於修改重現音頻之感受響度，以匹配該使用者想要響度位準之感受響度。為達成自動增益控制及動態範圍壓縮的調平之細節係在下面更詳細地敘述。

動態等化(DEQ)

不像簡單之調平，反之變更該音頻以匹配一使用者之想要的感受響度位準，動態等化變更該音頻，以匹配一預設或使用者界定之等化或頻譜平衡圖形。因為特定響度係音頻信號之感知響度的一測量，當作頻率及時間之函數，為了減少該音頻信號之特定響度及該目標特定響度間之差異，該修改可如頻率之函數般修改該音頻信號。雖然於一些案例中，該目標特定響度可為非時變的，且該音頻信號本身可為一穩態非時變的信號，該修改典型亦可如時間之函數般修改該音頻信號。於時變及變頻比例因數之案例中，該特定響度可藉由一想要頻譜形狀之測量對該音頻信號之頻譜形狀的測量之比率按比例增減。此一按比例增減可被用來將該音頻信號之該感受頻譜由一時變感受頻譜轉變至一大體上非時變的感受頻譜。當該特定響度係藉由一想要頻譜形狀之測量對該音頻信號之頻譜形狀的測量之比率按比例增減時，此一按比例增減可被使用當作一動態等化器。

噪聲補償-噪聲干擾存在時之調平

在很多音頻播放環境中，存在有干擾收聽者希望收聽之音頻的背景噪聲。譬如，於一正移動汽車中之收聽者可為正在所安裝之立體聲系統上方播放音樂，且來自該引擎及路面之噪聲可顯著地變更該音樂之感知。特別地是，用於該頻譜之各部份，其中該噪聲之能量相對該音樂之能量係顯著的，該音樂之感受響度係減少。如果該噪聲之位準係足夠大，該音樂被完全遮蔽。在本發明的一些具體實施例中之品質增強信號處理包括一方法，以補償一音頻播放環境中之背景噪聲干擾。於存在有第二干擾聲音信號、諸如該噪聲時，該音頻之局部特定響度被界定為該音頻之感知響度。在一些具體實施例中，該信號處理包括藉由修改該音頻信號決定可用於控制一音頻信號之局部特定響度的資訊，以便減少其局部特定響度及一目標特定響度間之差異。如此做以一感知上精確之方式減輕該噪聲的影響。

空間化及立體聲化

空間化係一音頻品質增強信號處理技術，其提供一收聽者收聽出自收聽室中之一些預定位置的一組揚聲器之音頻的經驗，縱使該收聽者事實上正以耳機、或以一組簡單之立體聲揚聲器收聽該音頻媒體資料。當作一範例，立體聲化處理模擬喇叭之聲音的技術，當經過耳機傾聽時，該等喇叭係清楚及明確地位在該收聽者之頭部外側。以傳統之耳機傾聽，音頻影像如在該頭部內側被感受。這是因為沒有該音響裝置賦予一房間中之揚聲器的聲音之任何暗示。立體聲化模擬一收聽房間之複雜的音響裝置，在此聲音反射離開各種表面，有效地使收聽者確信該聲音係源自環繞著它們之多數喇叭。再者，此處理能夠模擬有不同音響裝置之各種房間。商業範例包括杜比耳機(TM)及杜比喇叭(TM)。

另一包括吾人所謂空間化之範例係加大混音：將額外之頻道加至音頻資料，諸如建立環繞立體聲，例如來自立體聲(2頻道)音頻資料之4、5或7頻道音頻資料。

為了簡潔故，立體聲化之細節不被在此中提供。該重點係此信號處理可為計算上複雜的，故不能在一資源受限的裝置上實行。在上游實行此處理能有利地利用本發明之一或更多特色。

用於立體聲化及空間化上之更多細節，譬如看已發表為世界專利第WO 9914983號之國際專利申請案第PCT/AU98/00769號，且其標題為“立體聲耳機裝置中之濾波效應的利用率”；及已發表為世界專利第WO W09949574號之國際專利申請案第PCT/AU99/00002號，且其標題為“音頻信號處理方法與設備”。這些申請案之每一個指定美國。公告WO 9914983及WO 9949574之每一個的內容係以引用的方式併入本文中。

用於此處理被收集在該資源受限的裝置之參數的型式包括是否使用空間化及立體化、該資源受限的裝置相對該房間中之一或多個揚聲器的假設位置之位置、指示例如房間型式之收聽環境的型式之參數、及該使用者所想要的房間中之喇叭的數目及位置。

其他品質增強音頻信號處理之範例亦可被使用。用於交互型雙向對話、諸如電話對話，用於清晰度增強之品質增強信號處理方法係已知的，如用於發生在雙向通訊中之回音及其他干擾之等化的方法。當使用於本發明之具體實施例中時，此等品質增強信號處理方法包括使用由一與該處理有關之資源受限的裝置所接收之資訊在上游實行此等信號處理方法。

用於高動態範圍(HDR)顯示器之視頻品質增強處理

傳統之CRT及LCD視頻監視器具有600:1之動態範圍，而良好之LCD視頻監視器具有1000:1之動態範圍。人類眼睛具有一比任何此顯示器能產生者遠較高之動態範圍。星光之發光性係約0.001cd/m2，且該陽光場景之發光性係約100,000cd/m2-數億倍較高的。太陽之發光性係大約1,000,000,000cd/m2。一以在該窗戶外面之陽光視域顯示房間之內部的場景具有約100,000:1之動態範圍。故當顯示在一傳統顯示器CRT或LCD顯示器時，此一場景將不會逼真的顯現。高動態範圍(HDR)顯示器近來已被開發，其可重大地增加顯示器之對比。此HDR顯示器能夠顯示大幅增加之亮度，具有真實之黑色及亮白色，且亦顯示黑暗及光亮區域中之細節。

HDR顯示器及在它們背後之技術係藉由杜比實驗室公司之DOLBY CONTRAST、DOLBY HDR、及DOLBY VISION所銷售，其與本發明所分派者有關。現在被製成之HDR顯示器使用於一背光調變光源、諸如調變發光二極體(LEDs)。此等背光有時候被稱為IMLED(LED之個別調變陣列)背光。於一版本中，每一LED之亮度係藉由8位元信號所控制，故每一LED具有256種亮度梯度。在LCD螢幕之後方非具有單一光源，複數小區域係以根據於所顯示場景中之局部亮度及對比調變的方式背光。

該等調變信號係藉由在該視頻信號上實行處理以產生更多調變該背光用LED之信號所獲得。用於更多詳細，譬如看Helge Seetzen、Wolfgang Heidrich、Wolfgang Stuerzlinger、Greg Ward、Lorne Whitehead、Matthew Trentacoste、Abhijeet Ghosh、Andrejs Vorozcovs：“高動態範圍顯示器系統，”美國計算機學會圖形學會刊(TOG)、第23冊、第3期、特刊：2004 SIGGRAPH會議之會議記錄(2004年8月)。亦看美國專利申請案第6,891,672號。

由一視頻信號決定該調變信號之信號處理係不重要的。因此，一資源受限的觀看裝置不能夠進行此處理。然而，此信號處理可在上游根據一或多個參數被有利地進行，該等參數在該資源受限的觀看裝置或於此一裝置之環境中被提供、被決定或被測量。

如此，根據該局部觀看條件、例如該觀看環境之亮度修改對比及亮度係熟悉的。於一具體實施例中，一環境感測器決定該觀看環境之亮度的一測量。該環境亮度被送至該上游製程。於一具體實施例中，一或多個其他參數被送出，例如一指示對比增強之數量的參數、一指示藉由該觀看者所想要之亮度設定的參數等。該上游處理器由該資源有限之觀看裝置接收此等參數，及實行信號處理，以決定該等LED裝置之背光用的位準。典型地，該背光係單色的，且係一比該主要視頻遠較多進程之解析度。該較低解析度背光資料係隨同該視頻信號送至該資源有限之裝置，根據所接收之參數作調整，且被該資源有限之觀看裝置所結合地呈現。

一方法及其他具體實施例

圖1A顯示本發明的一方法具體實施例之簡化流程圖，且圖1B顯示本發明的設備具體實施例150之功能性方塊圖。該設備150包括一處理系統151及一資源受限的裝置161、諸如無線手提式裝置。該處理系統151包括至少一處理器153及一儲存系統155。一具體實施例係呈該儲存媒體155中之程式邏輯157的形式，其當被執行時造成實行該流程圖中所示之方法步驟。

該方法100操作該處理系統151，且包括以下之方法步驟：於103中，由該資源受限的裝置161接收有相處理媒體資料之資訊，該媒體資料係供藉由該資源受限的裝置所呈現呈現，且於105中，使用至少部份所接收之資訊處理該媒體資料，以產生經處理之輸出。該媒體資料之處理105係當足夠用於該處理的例如電力及/或處理能力之資源係可用時、或在足夠用於該處理的資源係可用之處。該經處理之輸出係可被該資源受限的裝置161使用，以呈現該媒體資料、或實行該媒體資料之某一處理及呈現媒體資料兩者。有關處理之資訊包括在該資源受限的裝置161所獲得之資訊及包括元資料，亦即一組有關該媒體資料之想要處理的一或多個參數、及/或一或多個環境參量、亦即與該資源受限的裝置之環境有關的一或多個參數。

該資源受限的裝置、例如該手提式裝置161包括至少一輸出傳感器、例如耳機及/或揚聲器及/或顯示器螢幕及任何其他需要呈現送至其上之媒體資料的資源。於那些具體實施例中，其中環境參量係在該資源受限的裝置161所獲得，該裝置161包括一或多個感測器165。該手提式裝置典型另包括至少一處理器。為該使用者提供一使用者介面167，以輸入資訊，例如於收聽之案例中有一音量控制輸入機件。對於那些熟諳該技藝者，對於此等額外元件之需要將為較清楚的，故在此中總是可在該敘述中明確地被陳述，以便不會分散形成本發明之態樣。在此中亦在該等圖面中未顯示者係諸如無線介面、電池、客戶端裝置處理器、一或多個擴音機等元件，其可能存在於一手提式裝置161中，如對於那些熟諳該技藝者將為清楚的。

於圖1A之流程圖中，該方法另包括在107中將該經處理之輸出送至該行動裝置供該行動裝置161使用、或儲存該經處理之資料供該行動裝置161使用。

該方法另包括在109中於該行動裝置161呈現該資料。

於該方法的一些具體實施例中，其中一些媒體資料處理發生在該資源受限的裝置161，該經處理之輸出包括供該資源受限的裝置使用之輔助資料，且用於在該資源受限的裝置之媒體資料處理。於該案例中，輔助資料被產生及送至該行動裝置161、在109中包括使用該輔助資料處理媒體資料以及呈現該經處理之媒體資料。

於該方法的一些具體實施例中，該信號處理系統151被併入該手提式裝置161中，但並非所有資源/元件係隨時可用的。亦即，部份該處理當足夠資源係可用時發生。

於該方法的一些具體實施例中，該處理使用該元資料及/或環境參量之至少一個，以產生包括經處理媒體之經處理輸出，用於供該資源受限的裝置之呈現。於一些措失中，該媒體資料之處理係在該資源受限的裝置上呈現該經處理的媒體資料之前。

1.使用藉由手提式無線裝置所產生之元資料及環境信號的上游即時品質增強信號處理之範例

在此中所敘述者係用於在上游客戶端裝置及由客戶端裝置卸載地實行資源密集型品質增強信號處理方法、設備、及電腦程式(與具體化此等程式之媒體)，該客戶端裝置例如資源受限的手提式裝置。在此段落1中所敘述之示範具體實施例包括產生元資料及/或環境參量，以允許媒體資料之強大上游品質增強信號處理，例如被呈現在一手提式無線裝置上之語音、音頻及/或視頻。此段落1敘述數個使用案例場景：a)當媒體被串流至一無線手提式裝置上時，例如於一網際網路廣播型情況中，b)當媒體係交互型串流越過一網路時，例如當雙向通訊正發生時，譬如電話對話，及c)當媒體源自一無線手提式裝置或被儲存在一無線手提式裝置上及被呈現在相同裝置上時，例如即時記錄及向進或播放該裝置上所儲存之媒體資料。在所有案例中，該媒體係在一遠端的資源有限裝置上播放之前被處理，而以該播放環境中之環境參量、使用者輸入及/或手提式裝置設定的結果控制該處理。

1.1使用元資料上游處理串流至該裝置之媒體資料

圖2根據本發明之一或更多特色顯示一設備之簡化方塊圖，該設備包括使用元資料及/或環境參量之多媒體資料的上游處理，該元資料及/或環境參量藉由客戶端裝置161、例如手提式無線裝置161所產生。客戶端裝置、例如手提式裝置之使用者所想要的品質增強信號處理被上游信號處理裝置所施行，該信號處理裝置係藉由該手提式裝置所產生之元資料請求所控制。如上面所述、及在此中在下面更詳細地，用於語音及音頻媒體資料之典型想要的品質增強信號處理包括增強的音量控制、響度調平、等化處理、對話清晰度增強、立體聲空間化等。當一或多個環境參量係自該裝置161、例如經由一或多個感測器165送出時，用於語音及音頻媒體資料之典型想要的品質增強信號處理包括具有調平之噪聲補償。用於視頻之典型想要的品質增強信號處理包括噪聲濾波、對比增強、色彩補償等。

圖3顯示一設備具體實施例之簡化方塊圖，其中在一信號處理方塊303中之信號處理包括使用藉由客戶端裝置、例如手提式無線裝置307所產生之元資料的音頻媒體資料之響度補償調平。此響度補償調平係在上面簡短地敘述，且在下面被進一步更詳細地敘述。

於一些具體實施例中，該信號處理方塊303包括一處理器及一儲存裝置，該儲存裝置包括以指令所組構之程式邏輯，以實行根據本發明的一些具體實施例之方法步驟。

注意一不同之參考數字被用於此裝置，因為與其他具體實施例中之裝置作比較的差異，但本質上，於更通用之圖面中，裝置307具有與於裝置161中之那些元件在功能上類似的元件。

用於調平，該元資料參數、用於調平之案例中被稱為“調平參數”，提供足夠之資訊至一上游信號處理系統，以處理被串流至該客戶端裝置、例如該手提式裝置307之音頻。於一具體實施例中，這些參數包括在是否音頻調平被使用、諸如用於該裝置之參考重現位準的一些裝置資訊、及諸如該想要之重現位準及調平數量的一些演算法參數之指示中。此元資料被傳輸至具有該容量及能力以施行音頻調平之上游信號處理系統303，例如一包括音頻調平方塊305之系統303。於該上游信號處理裝置303中，該手提式裝置元資料被接收，如為該被串流之音頻資料，且這些被輸入至該音頻調平處理方塊305，其處理該進來之音頻，且在調平處理之後持繼將該音頻串流至該手提式裝置307供呈現，亦即用於播放。該音頻調平方塊305可為很多此等函數之一，該等函數係該上游信號處理裝置中之一般用途音頻信號處理方塊的一部份。在此中之音頻調平的更多細節被提供在下面。

於一示範具體實施例中，以下之調平元資料參數被使用。括弧中之數量係該具體實施例中所使用之範例值及單位：

參數1：調平開啟/關閉(例如0為開啟或1為關閉)

參數2：手提式裝置參考重現位準(75分貝)

參數3：目標重現位準(-20分貝)

參數4：調平數量(1-10)

這些參數的一些被預先界定用於該特別之裝置307，而其他係經由一設在該裝置307之使用者介面307輸入。於一具體實施例中，一信號協定被界定用於將該元資料送至該信號處理系統。

其將為清楚的是一類似於圖2之組構能被使用於其他型式之品質增強媒體資料信號處理。

1.2使用元資料及一或多個環境參量之串流至該裝置的媒體資料之上游處理

另一組具體實施例包括使用該品質增強信號處理中之一或多個環境參量。多媒體資料被串流或廣播至該客戶端裝置、例如手提式裝置。然而，於此案例中，其想要的是該上游信號處理考慮關於該手提式裝置正操作的環境之資訊。視媒體資料之型式而定，有用之環境資訊可包括此等東西，如音頻資料之案例中的重現環境聲波噪聲剖面之估計、或該裝置在視頻資料之案例中操作的周遭光線。

圖4顯示一設備具體實施例之簡化方塊圖，其中在信號處理方塊403中所實行之品質增強信號處理，包括使用由一客戶端裝置、例如手提式無線裝置407所送出之一或多個環境參量的處理，該等環境參量指示該裝置407在其中操作之環境。於一些具體實施例中，藉由一客戶端裝置407所產生之元資料亦被該處理方塊403所接收。該一或多個環境參量係在該手提式裝置407由自一或多個感測器409所獲得之測量所決定，於測量背景噪聲或其他音頻之案例中該等感測器例如為一或多個麥克風、及/或於測量周遭照明之案例中為一或多個光感測器。於此元資料被包括之案例中，在方塊403中所實行之上游品質增強信號處理使用該環境參量及其他元資料，且產生用於在該手提式裝置407呈現之經處理的媒體資料。

於一些具體實施例中，該信號處理方塊403包括一處理器及一儲存裝置，該儲存裝置包括以指令所組構之程式邏輯，以實行根據本發明的一些具體實施例之方法步驟。

用於音頻資料之品質增強信號處理技術包括噪聲補償、AGC、動態範圍壓縮、等化等，其可利用該行動裝置的環境中之噪聲音響圖形的估計。用於視頻資料之品質增強信號處理技術可利用環境照明的估計，該等技術包括飽和度調整、亮度調整、對比調整等，包括譬如產生用於調變平板顯示器裝置用的一組背光元件之影像相依信號，該平板顯示器裝置使用多數個別地調變之光元件，諸如用於背光之LED。

於一具體實施例中，20噪聲頻譜強度值被使用。於另一具體實施例中，40噪聲頻譜強度值被使用。那些具有調平及噪聲補償中之經驗者發現於實行調平及噪聲補償之間，基於今天之處理能力在20及40頻帶中提供良好之結果。當然，因技術發展，更多頻譜頻帶可被使用，且於一些狀態中，在此甚至上游處理多少被限制，更少之頻帶、及因此頻譜噪聲值可被使用。典型地，該等環境參量在一比該音頻資料之頻率範圍遠較低的比率被送出，例如在每秒大約一組之參量。

圖5顯示一設備具體實施例之簡化方塊圖，其中在一信號處理方塊503中之信號處理包括使用藉由客戶端裝置、例如手提式無線裝置507所產生之元資料及環境噪聲參量的音頻媒體資料之噪聲補償。此噪聲補償調平係在上面簡短地敘述，且在下面被進一步更詳細地敘述。圖5顯示可能被送出之元資料及環境參量的一些典型值。於一具體實施例中，這些參數包括在是否噪聲調平被使用、諸如用於該裝置之參考重現位準的一些裝置資訊、及諸如該想要之重現位準及調平數量的一些演算法參數之指示中。該環境參量包括該噪聲功率的一估計，例如一組頻帶的一些數目中之噪聲振幅提供該等環境參量。這些被一包括於該裝置507中之處理器所決定，該裝置由一包括在內之麥克風509接收輸入。於一具體實施例中，20噪聲頻譜強度值被決定及使用。於另一具體實施例中，40噪聲頻譜強度值被使用。那些具有調平及噪聲補償中之經驗者發現於實行調平及噪聲補償之間，基於今天之處理能力在20及40頻帶中提供良好之結果。當然，因技術發展，更多頻譜頻帶可被使用，且於一些狀態中，在此甚至上游處理多少被限制，更少之頻帶、及因此頻譜噪聲值可被使用。此元資料及環境參量被傳輸送至該上游信號處理系統503，該上游信號處理系統具有該容量及能力，以施行音頻噪聲補償，例如一包括噪聲補償處理方塊505之系統503。

典型地，該等環境參量在一比該音頻資料之頻率範圍遠較低的比率被送出，例如在每秒大約一組之參量。

於一些具體實施例中，該信號處理方塊503包括一處理器及一儲存裝置，該儲存裝置包括以指令所組構之程式邏輯，以實行根據本發明的一些具體實施例之方法步驟。

於該上游信號處理裝置503中，該手提式裝置元資料及環境參量被接收，如為該被串流之音頻資料，且這些被輸入至該噪聲補償處理方塊505，其處理該進來之音頻，且在此處理之後持繼將該經處理的音頻資料串流至該手提式裝置507供呈現，亦即用於播放。該噪聲補償處理方塊505可為很多此等函數之一，該等函數係該上游信號處理裝置中之一般用途音頻信號處理方塊的一部份。在此中之噪聲補償處理的更多細節被提供在下面。

於一示範具體實施例中，用於以響度為基礎之噪聲補償，以下之元資料參數及環境資訊提供足夠用於上游信號處理之資訊，該上游信號處理包括噪聲補償處理，以處理被串流至一客戶端裝置、例如手提式裝置之音頻資料。使用於一具體實施例中之單位、及一些典型值被顯示：

參數1：噪聲補償開啟/關閉(0或1)

參數2：手提式裝置參考重現位準(75分貝)

參數3：目標重現位準(-20分貝)

參數4：噪聲頻譜估計，例如大約每秒一次地送出之20至40噪聲頻譜強度值。

參數5：噪聲補償數量(1-10)

圖6顯示本發明之另一具體實施例的簡化方塊圖，其中媒體資料係經由一信號處理裝置603串流至一手提式裝置，於此案例中，一無線裝置609包括由LCD面板615及若干個別地調變的發光二極體(LED)裝置617所組成之高動態範圍(HDR)視頻顯示器613，該等發光二極體裝置提供空間地相依調變之背光。當然，圖6顯示該顯示器613係一最簡化之二維形式。該手提式裝置609包括一光感測器611，其被組構成測量周遭光線的一指示。在一些比率，例如每秒一次，隨同有關該音頻及/或視頻之品質增強處理的元資料之一或更多其他項目，該周圍之光線環境參量被送至該上游信號處理設備603。該上游信號處理設備包括一HDR信號處理器，其被組構成接收該周圍之光線環境參量及該視頻資料，且進一步被組構成處理該視頻資料，以產生可被該手提式裝置使用之調變信號，以產生用於該HDR顯示器613中之個別地調變的LED裝置617之信號。該處理係不只根據該視頻信號中之發光強度、同時額外地根據該周圍之照明增強該視頻中之對比，其中該視頻係在該手提式裝置609觀看。該處理設備603可根據元資料之其他項目及可能之其他環境參量、例如背景噪聲，額外地包括另一音頻及/或視頻品質增強處理。

於一些具體實施例中，該信號處理方塊603包括一處理器及一儲存裝置，並包括以實行根據本發明的一些具體實施例之方法步驟的指令組構之程式邏輯。

那些熟諳該技藝者將為清楚的是這些僅只係可能之音頻資料品質增強信號處理及/或視頻資料品質增強信號處理的範例，其可藉由具有圖4之通用結構的不同具體實施例所實行。

1.3使用元資料的媒體資料之上游處理：該媒體資料由一裝置所串流

圖7顯示用於媒體資料之上游品質增強信號處理的另一配置之簡化方塊圖，其使用藉由一客戶端裝置、例如手提式無線裝置707所產生之元資料及可能的環境資訊。於此配置中，該媒體資料、例如音頻及/或視頻媒體資料係由該手提式裝置串流至一上游信號上游處理裝置703。向上游串流之媒體資料係來自該客戶端裝置703中之儲存裝置，例如包括視頻、或該裝置中之音樂、或即時源自在該裝置之音樂。於該案例中，該裝置707送出一或多個環境參量，該裝置707包括用於測量環境資訊之一或多個感測器709。

應注意的是用於一些無線狀態，用於將媒體資料串流至上游信號處理裝置之資源需求係少於那些所需者，以在該手提式裝置上做密集的信號處理。這些包括當該手提式裝置被連接至一網路時之狀態，該網路併入微單元(micro cell)或微微單元(pico cell)，該等單元允許客戶端裝置、例如手提式裝置及一上游信號處理系統間之低電力無線通訊。

上面之段落1.1及1.2敘述品質增強音頻信號處理的一些範例，用於串流至該資源受限的裝置之音頻資料的圖2及4之配置。由那些敘述及圖面，那些熟諳此技藝者將了解如果並非全部，很多此等案例係適用於圖7之配置。譬如，圖8顯示音頻調平的一示範具體實施例，其使用由手提式裝置807送至包括音頻調平處理器805的上游信號處理裝置803之元資料。音頻資料係亦在該上游由該手提式裝置807送至該信號處理裝置803。該元資料係與圖3所示者相同。該手提式裝置元資料及該串流音頻資料被該音頻調平處理方塊305所接收，該音頻調平處理方塊處理該進來之音頻資料，且在處理之後將該經處理之音頻串流回至該手提式裝置807供播放。

於一些具體實施例中，該信號處理方塊803包括一處理器及一儲存裝置，該儲存裝置包括以指令所組構之程式邏輯，以實行根據本發明的一些具體實施例之方法步驟。

圖9顯示另一範例，其結構係類似於圖5之結構，但使音頻資料由包括噪聲感測器909之手提式(與資源有限的)裝置907串流至包括噪聲補償處理方塊905之上游信號處理裝置903。元資料及噪聲頻譜估計環境參量被由該裝置907送至該處理設備903。該噪聲補償處理方塊905根據所接收之元資料及環境參量處理該向上游串流之音頻資料，且該經處理之音頻資料被送回至該手提式裝置供播放。

於一些具體電施例中，該信號處理方塊903包括一處理器及一儲存裝置，該儲存裝置包括以指令所組構之程式邏輯，以實行根據本發明的一些具體實施例之方法步驟。

那些熟諳該技藝者將了解具有串流至該上游品質增強信號處理設備之媒體資料的圖7之配置係可適用於很多型式之品質增強信號處理。於由該裝置所串流的音頻資料之案例中，範例包括音量控制處理、響度調平處理、動態範圍壓縮、自動增益控制、動態等化處理、空間化等，且當有在該上游信號處理裝置被感測及送至該上游信號處理裝置之環境參量時，實行亦可能包括動態範圍壓縮、自動增益控制、動態等化處理、空間化等之噪聲補償。用於源自該手提式裝置的視頻之典型信號處理請求將又包括用於HDR顯示器之色彩補償、對比增強處理等。

2.使用來自客戶端裝置之元資料及/或環境參量的媒體資料之離線信號處理

手提式媒體播放器、諸如iPod(蘋果電腦公司)被使用於各種用法及環境情況中。關於媒體被串流之無線裝置，有各種可被施加至媒體資料之專用品質增強信號處理函數，以改良用於特別情況之播放。一範例係具有AGC之動態頻率等化或施加至音頻的動態範圍壓縮用於在一吵鬧環境、諸如汽車中播放。另一範例可為將用於單音之立體聲程式降低混音(down-mixing)，用於當使用僅只單一耳機時使用。此處理被廣泛地使用，且已被即時應用--例如家裡音頻接收器上之“單音”按鈕，或預先應用，例如用於飛機上之飛行中娛樂活動的音頻之AGC或動態範圍壓縮。

如先前所述，一客戶端裝置、例如手提式裝置可能於播放期間不具有該等資源，例如足夠之處理能力或電池容量以施行複雜之品質增強信號處理。當作另一限制，該手提式裝置可能於播放期間不具有至一遠端裝置之連接性，例如其係一簡單之播放裝置，不是一電話或在其他方面之無線連接裝置，或係一能夠無線連接、但目前尚未如此連接之裝置。於此段落2中，品質增強信號處理被敘述，其係適用於此等用法情況。於這些範例中，(稍後)被該信號處理設備所接收之元資料及/或環境參量首先被擷取及儲存在該手提式媒體播放器。典型地，雖然不須回應於一使用者對“擷取此情況”之請求，此一裝置可具有能力，以測量及儲存該目前環境或使用者選擇之使用情況。於以下之敘述中，這將被稱為“經擷取之元資料及/或環境參量”。在一稍後時間，例如“離線”，媒體資料係基於所擷取之元資料及/或環境參量被分析及/或處理。又稍後，當該使用者在一類似於先前所擷取者之環境中播放該手提式裝置中之媒體時，該媒體資料能使用離線時完成之分析或信號處理以增強的品質被呈現。

有數個機構，所擷取之元資料及/或環境參量能藉由該等機構被使用於增強該媒體之最後呈現。

示範案例1：使用者將手提式裝置連接至信號處理裝置、諸如個人電腦或其他媒體來源，所擷取之元資料及/或環境參量被傳送至該信號處理裝置。該信號處理裝置分析所擷取之元資料及/或環境參量，處理用於品質增強的播放之媒體，及將該預處理之媒體傳送至該播放器。

示範案例2：使用者將手提式裝置連接至信號處理裝置、諸如個人電腦或其他媒體來源，所擷取之元資料及/或環境參量被傳送至該信號處理裝置。該信號處理裝置分析所擷取之元資料及/或環境參量，且產生輔助資料、例如一組參數，當媒體資料被串流至該手提式裝置時，其能夠例如即時地有效處理該手提式裝置上之媒體資料。

示範案例3：該情況係類似於示範案例2，但當有足夠之資源時、例如當該裝置被“對接(docked)”以致外部電力係可用時、或當有更多時間、或較低處理器負荷時，輔助資料之分析、媒體處理及/或產生發生在該手提式裝置上。

這些情況之每一個係在以下段落中更詳細地敘述。

2.1信號處理設備上之媒體資料的離線品質增強信號處理

圖10顯示根據本發明的一些具體實施例之配置，其包括在一信號處理設備1003上之媒體資料的離線品質增強信號處理，用於手提式裝置1011上之經處理的媒體資料之播放。該信號處理設備包括至少一處理器1005及一儲存裝置1007，該儲存裝置包括以指令所組構之程式邏輯，以實行根據本發明的一些具體實施例之方法步驟。該手提式裝置1011包括一儲存裝置1013、例如記憶體及/或磁碟儲存器，及一呈現裝置1017、例如於音頻之案例中包括一或多個揚聲器及於視頻之案例中包括一顯示器螢幕。於一些具體實施例中，該手提式裝置1011亦可包括一或多個感測器1015，其被組構成測量該手提式裝置的環境上之環境資訊，並為如何播放媒體資料之指示。於第一時段中，與想要之品質增強信號處理有關的元資料之一或更多項目被擷取及儲存在該手提式裝置1011之儲存裝置1013中。於一些具體實施例中，用於處理之媒體資料被儲存於該手提式裝置1011之儲存裝置1013中，而於其他具體實施例中，用於處理之媒體資料替代或另外地被儲存於該信號處理設備1003之儲存裝置1007中。因此，於圖10中以虛線形式顯示該媒體資料。該信號處理設備1003係個人電腦或另一媒體處理器。

於該第一時段之後的第二時段中，該手提式裝置係藉由對接裝置(dock)或例如經由一網路無線地連接至該信號處理設備1003。該手提式裝置將所擷取之元資料及/或環境參量呈現裝置至該信號處理裝置。於該待處理媒體資料係僅只在該手提式裝置中之案例中，該媒體資料亦被送至該信號處理裝置1003，如藉由該虛線所示。該信號處理設備1003被組構成接收所擷取之元資料及/或環境參量、及用於那些具體實施例之媒體資料，該等具體實施例包括最初未在該處理設備1003中之媒體資料。使用該至少一處理器1005之信號處理設備1003分析所擷取之元資料及/或環境參量，處理用於品質增強的播放之媒體，及傳送該經處理的媒體至該手提式裝置1011。

該經處理的媒體資料接著藉由該手提式裝置1011被呈現/播放。於圖10之示範具體實施例中。在該手提式裝置1011之呈現係在比該第二時段稍後之第三時段。當然，於該第二次時段期間亦可或替代地發生該播放，該手提式裝置係在該第二時段期間被一對接裝置所連接或無線地連接至該信號處理裝置。

當作一範例，考慮一使用者當通勤時在火車上例行地使用其手提式裝置之案例。吾人可能希望修改該音頻，以改善當於該吵鬧環境中收聽時之主觀印象。吾人能接著有利地施加噪聲補償。此噪聲補償被敘述在上面及在下面更詳細地敘述。該火車噪聲被測量，且該需要之參數被導出。用於有效之以響度為基礎的噪聲補償，如亦在上面所述，以下之元資料參數及環境資訊對於該音頻之客戶規格設定係有用的：不論噪聲補償是否將被實行、例如當作元資料之二進位項目(0或1)；該參考重現位準，例如以分貝，用於該手提式裝置1011大約75分貝；該目標重現位準，例如以分貝，大約-20分貝；及噪聲頻譜估計數量，例如一數目，大約每秒一次地送出大約20或40噪聲頻譜強度值。稍後，當該使用者回家時，該手提式裝置被連接或變得無線地連接至個人電腦或另一裝置。所擷取之元資料及環境參量被傳送至該個人電腦，該原始音頻係基於這些參數處理，且該經處理之音頻被傳送至該手提式裝置。下一次，該使用者係在該火車上，該使用者能以用於噪聲所訂製之噪聲補償播放該經處理之音頻，該噪聲補償典型用於該火車。

那些熟諳該技藝者將為清楚的是其他型式之品質增強處理可被施加至諸如圖10所示配置。

2.2離線信號處理以產生輔助資料，用於該手提式裝置上之品質增強信號處理

圖11顯示一簡化之功能性方塊圖，其說明本發明之一些具體實施例，其中一些用於該整個品質增強之處理發生在一資源有限之裝置，例如一手提式裝置1111，但其中該整個品質增強信號處理之更多計算密集型函數離線地發生在一分開之信號處理設備1103上。該信號處理設備1103包括至少一處理器1105及一儲存裝置1107，例如包括一記憶體及其他儲存機件，該等儲存機件包括以指令所組構之程式邏輯，以根據本發明之一些具體實施例實行方法步驟。該手提式裝置1111包括至少一處理器1119及一儲存裝置1113，該儲存裝置包括記憶體及可包括其他儲存元件。用於那些具體實施例，其中環境參量被送至該信號處理設備1103，該手提式裝置1111包括至少一環境感測器1115。如於上面段落2.1中所述之案例中，在第一時段，元資料及/或一或多個環境參量係在該資源有限之裝置1111擷取，且例如被儲存於該裝置1111之儲存裝置1113中。

在第二時段，當該裝置1111係例如經由一對接裝置、或無線地連接至該信號處理設備1103時，所擷取之元資料及/或環境參量被傳送至該信號處理裝置1103。於一些具體實施例中，該待處理之媒體資料係儲存在該手提式裝置1111上，其他被儲存在該信號處理裝置1103，且又於其他中，被儲存於該手提式裝置1111及該信號處理設備1103兩者。為此緣故，該媒體資料方塊係在每一裝置1111及1103中以虛線顯示，以便指示其可為於一裝置中及不在另一裝置中。該信號處理裝置使用所擷取之元資料及/或環境參量，以使用呈參數形式之輔助資料處理該媒體資料，該等參數可被用於完成品質增強信號處理，例如於該客戶端裝置上之媒體資料的播放期間提供將被該手提式裝置所使用之處理參數。該輔助資料被傳送至該媒體播放器。該輔助資料提供處理參數，以於該客戶端裝置上之媒體資料的播放期間被該手提式裝置所使用。該處理參數係基於所擷取之元資料及/或環境參量所導出，且在先前所擷取之播放情況中提供定做的信號處理供播放。

在一稍後時間、或甚至於該手提式裝置1111被連接至該信號處理設備1103之時間期間，該媒體資料係使用該輔助資料處理，且該經處理的媒體資料被播放。

該未處理之媒體可被儲存在該信號處理設備裝置1103上，且傳送至該客戶端裝置1111，或其可被儲存在該客戶端裝置1111上。

於一些具體實施例中，處理裝置1103之儲存裝置包括以指令所組構之程式邏輯，以實行根據本發明的一些具體實施例之方法步驟。

當作一音頻品質增強信號處理之範例，又考慮一使用者當通勤時在火車上例行地使用其手提式裝置之案例。吾人可能希望修改該音頻，以改善當於此吵鬧環境中收聽時之主觀印象。以響度為基礎之噪聲補償能達成此目的。如在下面更詳細地敘述者，響度補償包括基於該環境噪聲參量決定該原始音頻之特定響度及該噪聲的一響度領域參量--該激發。由這些，一組用於不同頻帶之倍增增益能被決定。此處理可為計算太複雜，以致其不能在該資源有限之裝置實行，而施加該等增益可在該裝置實行，例如於串流期間即時的。用於此一範例狀態，根據本發明的一具體實施例，以下之元資料參數及環境資訊提供足夠之資訊至一上游信號處理系統1103，以處理該音頻，以產生可用於處理在一客戶端裝置、例如手提式裝置1111上之播放的輔助資料。亦顯示者係典型值及單位：

‧噪聲補償開啟/關閉(0或1)

‧手提式裝置參考重現位準(75分貝)

‧目標重現位準(-20分貝)

‧噪聲補償數量(1-10)

‧噪聲頻譜估計，例如大約每秒一次地送出之20至40噪聲頻譜強度值。

於一些具體實施例中，該信號處理使用該元資料及環境參量，以產生用於以響度為基礎之噪聲補償之以下輔助資料。亦顯示者係一些典型之單位及值：

參數1：目標重現位準(-20分貝)

‧時變、多頻帶增益，例如20至40值。

而典型地，該原始元資料將被儲存於該裝置1111中，用於在播放期間使用，於此資料未被如此儲存之案例中，該輔助資料將包括元資料之那些項目，該等項目將被使用於供播放之處理。特別地是：

‧目標重現位準，例如-20分貝。

‧噪聲補償數量，例如1-10。

如此，當該使用者係在該火車上時，於該第一時段中，該火車噪聲被測量及隨著該目前使用者設定被儲存。稍後，在該第二時段，當該使用者回家時，該手提式播放器1111係例如經由一有線對接裝置或藉由無線網路連接而連接至例如個人電腦之信號處理裝置1103。所該擷取之元資料及環境參量被傳送至該個人電腦，於該媒體資料未在該信號處理裝置1103上之案例中可能具有該媒體資料。該信號處理器裝置1103產生輔助資料，諸如一組倍增增益，以應用至一組頻帶，且將該輔助資料傳送至該客戶端裝置1111。下一次該使用者在該火車上時，該使用者能以該輔助資料之輔助處理用於播放及在播放期間之媒體資料，以提供習慣之噪聲補償。

其他型式之音頻品質增強信號處理、及視頻品質增強信號處理可使用此情況被同樣地實行。當作視頻信號處理的一型式之範例，假設該手提式播放裝置包括一HDR顯示器。於該第一時段期間，該使用者可獲得用於播放之典型周遭光線條件，例如當該使用者在晨間於該火車情況中通勤時，且當該使用者在夜裡通勤時有不同組之參量。在該第二時段，與該周遭光線有關之環境參量被送至一信號處理裝置，且該視頻媒體資料係使用該環境參量處理，以決定用於該視頻媒體資料中之不同場景的一相當小組之調變信號。這些調變信號被送至該手提式裝置供稍後使用。當在一些後來之時間時，該使用者播放該視頻媒體資料，該等調變信號正使用，以調變該HDR顯示器中之背光空間分散式LED供播放，其已被定做用於該使用者所用之典型周遭光線條件。於一典型之HDR顯示器中，有一比該視頻中之圖像元件遠較小數目之LED位置，以致於此案例中為調變信號的輔助資料之數量係比該視頻資料遠較少。再者，該等調變信號能被編碼用於不同場景，以致更少之資料需要被送至該HDR顯示器。

當然，視頻處理可使用如圖11所示之配置被與音頻處理結合。

那些熟諳該技藝者將看出其他品質增強媒體信號處理方法如何能夠有益地使用本發明之此等具體實施例，該等方法可被分割成產生輔助資料的計算相當複雜之部份、及一使用該輔助資料之較不複雜的計算部份。

2.3在一客戶端裝置上之離線信號分析及/或處理

段落1及段落2.1與2.2敘述配置，其中該客戶端裝置在信號處理能力中被限制，且其中部份該信號處理係卸載至該上游。又參考圖1A，回憶該媒體資料之處理105係當足夠用於該處理之資源、例如電力及/或處理能力係可用時或在足夠用於該處理之資源、例如電力及/或處理能力係可用之處。如在此所敘述之本發明的具體實施例可被應用，以當足夠之處理資源係可用時實行該處理。參考圖1，配置現在被敘述，其中該等元件151及161係相1同之設備，但並非所有元件係在所有時段充分可用的。亦即，該信號處理發生在該客戶端裝置本身，但當該信號處理裝置係能夠使用其整個處理能力時。然而，因為一客戶端裝置通常具有有限之資源、例如有限之電池電力，或其將不可能即時實行該處理，其可為需要或想要的是離線地做成該處理，譬如當對電力有更多時間、存取時，或當該裝置係以別的方式閒置或輕度使用時、例如當未呈現媒體資料時。

圖12顯示一簡化之功能性方塊圖，其說明本發明之一些具體實施例，其中使用該元資料及/或環境參量之品質增強處理係當足夠資源為可用時。

一手提式裝置1203包括至少一處理器1205及一儲存裝置1207，例如包括一記憶體及其他儲存機件，該儲存機件包括以指令所組構之程式邏輯，以實行根據本發明之一些具體實施例的方法步驟，包括媒體資料之品質增強信號處理。用於那些具體實施例，其中環境參量被送至該信號處理設備1203，該手提式裝置1203包括至少一環境感測器1209。

如於上面段落2.1中所敘述之案例中，在第一時段，元資料及/或一或多個環境參量係在該裝置1203被擷取，且例如儲存於該裝置1203之儲存裝置1207中。典型地，該手提式裝置係電池操作式。於一些版本中，該電池電力係不充分能夠實行該品質增強信號處理，而沒有太迅速地耗盡該電池，或該裝置1203典型係僅只一次有一有限之工作數目，故在第一時段期間，不會具有足夠可用的計算能力，以實行該品質增強信號處理。

在第二時段，例如當該裝置係閒置，以致有足夠可用的計算能力以實行該品質增強信號處理時，或例如當連接至第二裝置1213而提供足夠電力供實行該品質增強處理時，該想要之品質增強信號處理被執行。該經處理之資料被儲存於該手提式裝置1203之儲存裝置1207中。

於一些具體實施例中，該未處理之媒體資料係儲存於該手提式裝置中，且於其他具體實施例中被儲存於亦包括處理器1215的第二裝置1213中之儲存裝置1217中，並當連接至該第二裝置1213時送至該手提式裝置1203。

該手提式裝置1203可接著呈現已被預處理之媒體資料，或以該輔助資料之輔助即時處理及呈現該媒體資料。該結果之媒體可接著基於定做的信號處理被呈現，用於在該先前擷取之播放情況中播放。

當作一範例，又考慮一使用者當通勤時在火車上例行地使用其手提式裝置之案例。吾人可能希望修改該音頻，以改善當於該吵鬧環境中收聽時之主觀印象。以響度為基礎之噪聲補償能達成此目的。該火車噪聲被測量及隨著該目前使用者設定被儲存當作元資料。稍後，當該使用者回家時，該手提式裝置變得連接至一媒體伺服器、例如個人電腦或另一提供電力及亦存取至媒體資料之程式館兩者的裝置。於一版本中，所選擇之媒體係使用所擷取之元資料及環境參量處理，以基於該噪聲估計及裝置設定產生及儲存處理媒體資料。下一次該使用者在該火車上時，該使用者能播放已根據該環境被處理之音頻，以提供習慣之噪聲補償。

於另一版本中，該音頻資料係呈未處理形式地位於該手提式裝置中。於該第二時段期間，輔助資料被產生，例如一組時變媒體相依增益，以應用。下一次該使用者在該火車上時，該使用者能根據具有該元資料的一或更多成分之輔助資料處理該媒體，且播放已根據該環境被處理之音頻，以提供習慣之噪聲補償。

對於那些熟諳該技藝者將為清楚的是不同型式之品質增強處理能以類似方式被額外或替代地施加至不同音頻媒體資料，且其他型式之品質增強處理能夠以類似方式被施加至不同視頻媒體資料。如何使在此中所敘述之具體實施例適合於此等其他型式之資料及/或品質增強信號處理，由在此中之敘述，隨同該品質增強信號處理的知識，對於那些熟諳該技藝者將為清楚及相當簡單明瞭的。

感知響度領域品質增強音頻處理方法的一些細節

概觀：以感知領域為基礎之品質增強處理

本發明不限於媒體資料之品質增強處理的任何特別型式。然而，為示範本發明之具體實施例的有利使用，發生在所謂該感知響度領域中的一些音頻品質增強信號處理方法之範例被更詳細地敘述於上面此段落中。其係已知在品質增強信號處理中決定及使用一感知領域中之感受響度的一測量。譬如看國際專利申請案第PCT/US2004/016964號，發表為世界專利第WO 2004111994號，標題為“用於計算及調整音頻信號之感受響度的方法、設備、及電腦程式”；及國際專利申請案第PCT/US2005/038579號，發表為世界專利第WO 2006047600號，標題為“計算及調整音頻信號之感受響度及/或感受頻譜平衡”。亦看國際專利申請案第PCT/US2005/007946號，發表為世界專利第WO 2007120453號，標題為“計算及調整音頻信號之感受響度及/或感受頻譜平衡”。這些申請案之每一個指定美國。此等公告WO 2004111994、WO 2006047600及WO 2007120453之每一個的內容係以引用的方式併入本文中。亦看Alan Seefeldt：“響度領域信號處理,”文章7180、美國紐約州紐約市2007年5-8月的第123屆音頻工程協會之會議的會報。在此中所敘述的一些音頻品質增強信號處理方法之細節係在此等已發表之專利申請案及該已發表之文章中。

該等品質增強信號處理方法包括由在一感知響度領域中所實行之計算決定修改參數，及根據該等修改參數修改音頻媒體資料。藉由決定該感知響度領域中之修改參數，比如果此等修改參數係於該電信號領域中導出，在感知響度及感受頻譜平衡上方之較大控制可被達成。此外，在施行響度領域計算中，一基底薄膜模擬心理音響濾波器阻或其同等項之使用，可比於導出該電信號領域中之修改參數的配置中提供該感受頻譜的一更詳細之控制。

遍及在下面之敘述，諸如“濾波器”或“濾波器阻”等詞被用於本質上包括任何形式之遞迴及非遞迴濾波，諸如無限脈衝響應(IIR)濾波器或轉變，及有限脈衝響應(FIR)濾波器。“經濾波”之資訊係意指施加此濾波器或此等濾波器之結果。在下面所敘述之具體實施例採用藉由轉變所提供之濾波器阻。

如上面所述，可被有益地包括在本發明的具體實施例中，於一感知響度領域中之音頻品質增強信號處理操作包括音量控制；音量調平，其包括動態範圍控制及自動增益控制、動態等化(DEQ)；及噪聲補償，其包括存在有噪聲干擾時之調平。

此等具體實施例包括決定一音頻信號之特定響度，且於包括該環境噪聲參量之案例中，決定噪聲之特定響度。該品質增強信號處理可包括藉由修改包括一音頻信號之音頻資料控制一音頻信號之特定響度，以便減少其局部特定響度及一目標特定響度間之差異。用於一吵鬧背景之案例中，處理方法具體實施例包括由位在該資源有限裝置的一或多個感測器接收該噪聲的一測量，以於該資源有限裝置的環境中測量噪聲參量，及藉由修改該音頻信號控制一音頻信號之局部特定響度，以便減少其局部特定響度及一目標特定響度間之差異。該品質增強信號處理可包括藉由按照一或多個製程及一或多個製程控制參數處理該音頻信號或其一測量而處理一音頻信號，以產生一具有目標特定響度之信號。

該目標特定響度可為該音頻信號之函數，或不是該音頻信號之函數。於該後一案例中，該目標特定響度可為一儲存之目標特定響度或被接收當作一參數之目標特定響度、或由一接收參數所決定者。於此等案例中，該修改或該導出可明確或隱含地計算特定響度或局部特定響度。隱含計算之範例包括一查找表或藉由計算一數學公式，其中特定響度及/或局部特定響度被固有地決定。

一前饋配置

圖13A-D顯示功能方塊圖，敘述該品質增強信號處理的一些具體實施例，其中一音頻信號被修改，以產生經修改之音頻，使得該特定響度使用一前饋配置被造成接近一目標特定響度。特別地是，圖13A顯示一前饋拓撲結構，其中一音頻信號1311係施加至二路徑：一信號修改路徑1301，其具有一或更多製程或裝置，且被組構成回應於一或多個修改參數1319修改該音頻信號1311；及一參數產生控制路徑，其具有被組構成產生此等修改參數1319之參數產生控制路徑1302。於該圖13A前饋拓撲結構範例中之信號修改路徑1301可為一裝置或製程，其以一變頻及/或時變方式按照由該參數產生控制路徑1302所接收之修改參數1319修改該音頻信號、譬如其振幅。於一具體實施例中，該參數產生控制路徑1302至少局部地在該感知響度領域中操作，而該信號修改路徑1301在該電信號領域中操作，並產生一修改之音頻信號1315。

該信號修改路徑1301及該參數產生控制路徑1302一起被組構成修改該音頻信號，以減少其特定響度及一目標特定響度1323間之差異。

於一具體實施例中，信號修改路徑1301及該參數產生控制路徑1302之每一個處理一信號，該信號已首先被一預處理操作或裝置所處理。如此，圖13A包括一產生預處理音頻1313之預處理功能方塊1303。

於該圖13A前饋範例中，該參數產生控制路徑1302可包括數個製程及/或裝置：於圖13A中，該參數產生控制路徑1302包括一計算特定響度方塊1305，其包括一或多個被組構成大致上回應於該音頻信號1311、或該等音頻信號的一測量，且於所示之示範具體實施例中，回應於該預處理音頻信號1313，計算該音頻信號之特定響度1317的製程及/或裝置。該參數產生控制路徑1302包括一計算修改參數方塊1307，其回應於該特定響度1317與該目標特定響度1323計算該等修改參數。

於一些具體實施例中，如圖13B所示，用於控制路徑1302的計算修改參數方塊1307之目標特定響度係藉由一目標特定響度方塊1331所決定，該目標特定響度方塊1331包括一或多個製程或裝置，其被組構成大致上回應於該音頻信號或其一測量、且於所示具體實施例中為該預處理音頻信號1313計算該目標特定響度1323。此計算目標特定響度方塊1331可施行一或多個函數“F”，該等函數之每一個可具有函數參數。譬如，其可計算該音頻信號之特定響度，且接著施加一或多個函數F至其上，以提供一目標特定響度1323。這在圖13A中被概要地指示為至該計算目標特定響度方塊1331之“函數及/或函數參數”輸入1333。

於一些具體實施例中，如圖13C所示，該目標特定響度1323可藉由一儲存製程或裝置所提供，其概要地顯示為一包括於該參數產生控制路徑1302中或與該參數產生控制路徑1302有關聯之儲存元件1335。

再者，如圖13D所示，於一些具體實施例中，該目標特定響度1323係藉由該整個製程或裝置外部的一來源所提供。

如此，該等修改參數1319係至少局部基於該感知(心理音響)響度領域中之計算。

藉由該圖13A範例中之製程或裝置1305及1307及圖13B中之1331所施行的計算可被隱含及/或明確被施行。隱含施行之範例包括(1)一查找表，其輸入係整個或局部地基於特定響度及/或目標特定響度1323及/或修改參數計算，及(2)一閉合式數學公式，其係固有地整個或局部基於特定響度及/或目標特定響度1323及/或修改參數。

雖然圖13A及圖13B範例之計算方塊1305、1307及1331被概要地顯示及分開地敘述，這僅只是為說明之目的。應了解這些製程或裝置之一或多個或所有可被組合在單一製程或裝置中、或不同地組合於多數製程或裝置中。

該目標特定響度可為該音頻信號、諸如該音頻信號的特定響度之測量的按比例增減。譬如，如於世界專利第WO 2006047600及WO 2007120453號中所詳細地敘述，該按比例增減可為該特定響度的以下按比例增減之一或組合，其中b標示頻率的一測量，例如於該預處理1303將該輸入信號分成複數頻帶之案例中的頻帶數目，t標示時間的一測量，標示該目標特定響度1323，且N[b,t]標示該音頻信號1311之特定響度1317：

(a)該特定響度之時變及變頻比例因數按比例增減，如於該關係中。

(b)該特定響度之時變及頻率不變比例因數Φ[b,t]按比例增減，如於該關係中。

(c)該特定響度之非時變及變頻比例因數Θ[b,t]按比例增減，如於該關係中。

(d)該特定響度之非時變及頻率不變比例因數α按比例增減，如於該關係中。

如此，標示為之目標特定響度1323可被表達為一或多個函數，藉由該音頻信號之F或該音頻信號的一測量所組合地標示，使該特定響度N[b,t]係該音頻信號的一可能之測量，以致。倘若該函數或函數F係可逆的，該未變的音頻信號1311之特定響度N[b,t]可被計算為該目標特定響度1323之反函數或函數F^-1 (N[b,t])。

雖然一前饋配置被顯示在圖13A中，其亦已知使用反饋及併合前饋/反饋配置，在其中計算該反函數或函數F^-1 ()。譬如看世界專利第WO 2006047600及WO 2007120453號。然而，為了闡述之簡潔，在此中僅只敘述該前饋組構。

是否使用一查找表、一閉合式數學公式、或另一技術，該參數產生控制路徑1302之操作係使得該等計算係基於在該感知(心理音響)響度領域中，即使特定響度及目標特定響度1323不能被明確地計算。有一明確之特定響度或有一觀念上、隱含之特定響度。相同地，有一明確之目標特定響度1323或有一觀念上、隱含之目標特定響度1323。無論如何，修改參數之計算企圖產生修改該音頻信號之修改參數，以減少特定響度及一目標特定響度1323間之差異。

於一具有第二干擾音頻信號1321、諸如噪聲之播放環境中，該計算修改參數方塊1307亦在一些具體實施例中接收此一第二干擾音頻信號的一測量當作輸入、或接收該第二干擾信號本身當作其輸入之一。此輸入被顯示為一虛線，以指示其不在所有具體電施例中。第二干擾信號之測量可為其激發，如在此中於下面且於世界專利第WO 2006047600及WO 2007120453號中更詳細地敘述者。該干擾信號或該信號本身至圖13A中之計算修改參數方塊1307的測量之應用允許適當地組構此製程或裝置，以計算修改參數1319，並考慮到該干擾信號，以達成噪聲補償。於該圖13A前饋範例中，局部特定響度係不明確地計算--圖13A之計算修改參數方塊1307計算該適當之修改參數，以造成該修改音頻之局部特定響度近似於該目標特定響度1323。於反饋及併合組構中，一局部特定響度亦可被計算。

當藉由該信號修改路徑1301施加至該音頻信號(或預處理之音頻信號)時，該修改參數1319減少該結果之修改音頻的特定響度或該局部特定響度及該目標特定響度1323間之差異。理想上，該修改音頻信號1315之局部特定響度接近地近似該目標特定響度1323或係與該目標特定響度1323相同。

於一些具體實施例中，該預處理將該音頻信號分成複數頻帶，例如使用一濾波器阻。於此等具體實施例中，如於下面被更詳細地敘述之範例中，該等修改參數1319可採取施加至由1303中之濾波器阻導出的頻帶之時變增益因數的形式。於另一具體實施例中，該等修改參數1319係施加至一時變濾波器的係數。據此，在圖13A之所有範例中，信號修改路徑1301可被提供作為譬如複數振幅定標器，每一個振幅定標器在一頻帶中操作、或例如多插頭的FIR濾波器或多極的IIR濾波器之時變濾波器。

雖然如何決定該特定響度係不重要或不必要的，一些具體實施例在計算特定響度方塊1305中使用前述國際專利申請案第WO 2004/016964號中所提出之技術，其中該計算自二或更多特定響度模型函數的一群組選擇該等特定響度模型函數的二或更多個之一或一組合，此選擇係藉由該輸入音頻信號之特性的測量所控制。

按照本發明之進一步態樣，該未變的音頻信號1311及(1)該等修改參數1319或(2)該目標特定響度1323或該目標特定響度1323的一代表、例如可使用於明確或隱含地計算目標特定響度1323之比例因數，可被儲存或被傳輸譬如於一暫時地及/或空間地分開之裝置或製程中供使用。該等修改參數、目標特定響度1323、或該目標特定響度1323之代表能以任何合適之方式被決定。實際上，諸如圖13A的範例中之前饋配置係最不複雜及最快速的因為其基於該修改之音頻信號1315而避免計算。

圖14描述在前饋配置中所具體化之本發明的一態樣之示範具體實施例的較大細節，其中該預處理將該輸入音頻分成諸頻帶。於實用之具體實施例中，該音頻之處理係在該數位領域中進行，以致類比信號之取樣及數位化被進行。此等細節將由此敘述刪掉，且對於那些熟諳該技藝者將為清楚的。

該音頻1311首先通過一分析濾波器阻函數或裝置1403，其將該音頻信號分成複數頻帶。用於此示範具體實施例，這是該預處理1303。圖14中之粗線指示多數信號，以致有多數輸出，每一輸出有一來自分析濾波器阻1403之頻帶。這些頻帶之每一個遭受所示之各種處理步驟，直至將該等頻帶加總至一組合寬頻帶信號之合成濾波器阻1423，以產生該修改之音頻信號1315。

與該分析濾波器阻1403中之每一頻帶有關的濾波器之回應被設計成可模擬在人類內耳中之耳底膜的一特別位置之回應。於一些具體實施例中，分析濾波器阻1403包括一組線性濾波器，其在該同等長方形帶幅(ERB)頻率標度上之帶幅及間距係恆定的。

經過使用該短時間離散傅立葉轉換(短時間DFT、STDFT)或該修改之離散餘弦轉換(修改DCT、MDCT)，分析濾波器阻1403可被有效率地提供。該STDFT或MDCT可同樣地被使用以提供合成濾波器阻723。

該分析濾波器阻1403中之每一濾波器的輸出其次通入一傳輸濾波函數或裝置1405，其被設計成可模擬經過人類之外耳及中耳的音頻之傳輸的濾波效果。

為了計算該輸入音頻信號之響度，在應用該傳輸濾波器1405之後，於該分析濾波器阻1403之每一濾波器中獲得該音頻信號之短時間能量的一測量。此時變及變頻測量被稱為該激發，標示為E[b,t]，在此b標示該頻帶，且t標示時間。為獲得該激發，傳輸濾波器1405之輸出其次通入一激發函數或裝置1407，其輸出被設計成可沿著入耳之耳底膜模擬能量之分佈。視該想要之效果而定，該等激發能量值越過時間可藉由一平滑函數或裝置1409被平滑化，該等能量值被設計成具有按照該處理之想要效果的需求所設定之時間常數。激發函數1407之輸出係標示為t之每時間在標示為b之個別ERB頻帶中的標示為E之能量的一頻域代表。

一特定響度函數或裝置1411將該被平滑之激發信號轉換成特定響度(SL)中之特定響度。特定響度可被表示，例如以每單位頻率之宋(sone)單位，例如每ERB之宋。注意由該特定響度，該整個或全部響度係越過所有頻帶b的特定響度之總和。設計該特定響度函數1411包括決定用於窄頻帶及寬頻帶估計值之增益。該等估計值被選擇以匹配用於音調及噪聲之響度的增長上之實驗資料。再者，設計該特定響度函數1411，使得當該激發係在聽覺之臨界值時，該特定響度係一些代替零之小值，且當該激發減少至零時使得該特定響度單調地減少至零。激發E[b,t]之轉換至標示為N[b,t]的特定響度係藉由一在此中Ψ{‧}之函數，以致該特定響度標示為N[b,t]=Ψ{E[b,t]}。

視該處理之特別想要效果或諸效果而定，與該頻帶有關之特定響度分量係通入一特定響度修改函數或裝置1413，其產生一目標特定響度。如上面參考圖13B所敘述，於一些具體實施例中，根據該處理之想要效果，該目標特定響度係該輸入音頻之特定響度的一函數。譬如，一目標特定響度可使用音量控制案例之比例因數被計算。用於自動增益控制(AGC)之案例、或用於動態範圍控制(DRC)之案例，一目標特定響度可使用一想要之輸出響度對輸入響度之比率計算。一具體實施例包括而非在每一頻帶上施行DRC相依，越過頻帶平滑化標示為N[b,t]之特定響度，以致由一頻帶施加至下一頻帶的DRC之數量不會激烈地變化。

於動態等化(DEQ)之案例中，可使用一關係計算一目標特定響度，該關係考慮該音頻之電流頻譜，特別地是，該信號之頻譜被測量，且該信號接著被動態地修改，以便將所測量之頻譜轉換成一本質上靜態之想要形狀，指定越過頻帶b及被稱為EQ[b]。該音頻信號之頻譜形狀被標示為L[b,t]，且於一具體實施例中，被決定為該特定響度的一平滑化，越過時間標示為N[b,t]。關於該多頻帶DRC，吾人可不要該DEQ修改，以由一頻帶激烈地變化至下一頻帶，且因此一頻帶平滑函數可被施加，以產生一被頻帶平滑化之頻譜。為了保存該音頻之原始動態範圍，該想要之頻譜EQ[b]應該被常態化，以具有與藉由L[b,t]所給與之測量頻譜形狀相同的整個響度。於一具體實施例中，一參數被指定，例如一由0變化至1之參數，其表達將被施加的DEQ之數量，具有一指示無DEQ之0值。如此，SL修改1413可在每一頻帶上獨立地操作，或在此可在頻帶之間或於頻帶之中存在一相互依賴性。

取為其輸入，來自平滑濾波器1409之經平滑的激發頻帶分量、及來自該SL修改1413之目標特定響度1323，一增益解算器函數或裝置1415被組構成決定需要被施加至每一頻帶之增益，以便將所決定之特定響度N[b,t]轉變成該目標特定響度1323。所決定之增益大致上係變頻及時變增益，其當施加至該原始激發時，導致一理想上係等於該想要之目標特定響度的特定響度，且實際上導致修改該音頻信號，以便減少其特定響度及該目標特定響度間之差異。該增益解算器1415能以各種方式被提供。如果一閉合式計算係可能的，其被應用。如果一查找表係可能的，此一方法亦可被使用。於一具體實施例中，該增益解算器可包括一疊代過程，其中用於每一疊代，一特定響度係使用該等增益的一目前估計評估。該結果之特定響度係與該想要之目標比較，且該等增益係基於該錯誤反覆地更新。此一疊代方法被揭示於前述已發表為世界專利第WO 2004111964號之國際專利申請案中。用於經過該特定響度及目標特定響度的明確或隱含之計算來計算該修改參數之其他方法可被想出，且此發明係意欲涵蓋所有此等方法。

藉由該增益解算器1415所產生之每頻帶的增益可隨著時間之消逝藉由選擇性之平滑化函數或裝置1419進一步被平滑化，以便使感知人工因素減至最小。另外可為有利的是該轉瞬間的平滑化被施加在該整個製程或裝置中之別處。

最後，藉由增益解算器1415所決定之增益係經過一個別之倍增組合函數或組合器1421施加至個別頻帶，該組合器施加該等增益至來自該分析濾波器阻之輸出，其藉由一合適之延遲函數或裝置1425所延遲，該延遲函數被組構成補償與該增益計算有關之任何潛伏。

該修改之音頻1315係由合成濾波器阻函數或裝置1423中之增益修改頻帶所合成。如上面所述，分析濾波器阻1403可經過使用該短時間DFT或該修改DCT被有效率地提供，且該STDFT或MDCT可同樣地被使用於提供合成濾波器阻1423。用於該等頻帶之合成濾波器係由分析濾波器阻1403中所使用之濾波器及延遲1425之延遲所決定。

注意該計算供使用於施加頻帶中之增益修改的增益之另一選擇、代替者，該等增益解算器1415可計算濾波器係數，該等係數控制一時變濾波器、諸如一多插頭的FIR濾波器或一多極的IIR濾波器。用於闡述之單純，本發明之態樣主要地被敘述為採用施加至頻帶之增益因數，其被了解為該等濾波器係數及時變濾波器亦可被使用於實用之具體實施例中。

用於噪聲補償，來自該增益解算器被標示為G[b,t]之增益係於存在有該干擾噪聲時，使得該經處理音頻之特定響度係等於或接近該目標特定響度。為達成此效果，吾人可使用局部響度之概念。藉由E_N [b,t]所標示者代表來自該噪聲之激發，且藉由E_A [b,t]所標示者代表來自該音頻之激發，而沒有噪聲預設。該音頻及該噪聲之組合特定響度被給與為

N_Tot [b,t]=Ψ{E_A [b,t]+E_N [b,t]}

又在此，Ψ{‧}標示由激發至特定響度之轉換。吾人可假設一收聽者之聽覺以一保有該組合特定響度的方式分割該音頻之局部特定響度及該噪聲的局部特定響度間之組合特定響度，在此標示為N_A [b,t]的音頻之局部特定響度係吾人希望控制之值，且因此吾人必需解出此值。世界專利第WO 2006047600及WO 2007120453號敘述該噪聲之局部特定響度如何可由E_N [b,t]近似，N_Tot [b,t]，即一於存在有該噪聲時之遮蔽臨界值，與在頻帶b下的安靜收聽之臨界值，吾人接著可抵達一用於該音頻N_A [b,t]之局部特定響度的表達，具有當該音頻之激發等於該噪聲之遮蔽臨界值時，該音頻之局部特定響度係等於一信號在安靜臨界值之響度，且當該音頻之激發係遠大於該噪聲之激發時，該音頻之特定響度係大約等於如果該噪聲不存在之響度的特性。換句話說，當該音頻變得遠比該噪聲較大聲時，該噪聲被該音頻所遮蔽。該表達包括一可被憑經驗地選擇之指數值，以對噪聲中之音調的響度上之資料給與一良好配合，如該信噪比之一函數。該噪聲之遮蔽臨界值可被近似如該噪聲激發本身的一函數。

用於噪聲補償，一修改增益解算器被使用於計算該等增益G[b,t]，使得於存在有該噪聲時，該經處理音頻之局部特定響度係等於該目標特定響度。

圖15描述在前饋配置中之噪聲補償的一示範具體實施例之功能性方塊圖。於圖15中，圖14之原始增益解算器1415被一噪聲補償增益解算器1515所替換。此外，該圖15包括藉由以一方式之分析濾波器阻1503、傳輸濾波器1505、激發1507、及平滑化1509的噪聲激發之測量該方式對應於隨同來自平滑化1409的音頻之激發與來自SL修改1413的目標特定響度餵入該增益解算器1515的方塊1403、1405、1407及1409之操作。

於其最基本之操作模式中，圖15中之SL修改1413可僅只將該目標特定響度設定成等於該音頻N[b,t]之原始特定響度。換句話說，該SL修改提供該音頻信號之特定響度的一頻率不變、比例因數按比例增減。以諸如於圖15中之配置，該等增益被計算，以致於存在有該噪聲時，該經處理音頻之感受響度頻譜係等於無該噪聲時的音頻之響度頻譜。額外地，用於計算該目標特定響度之先前所述技術的任何一個或數個之組合可會同該噪聲補償響度修改系統被使用，當作該原始之函數，包括音量控制、AGC、DRC、及DEQ。

於一實用之具體實施例中，該噪音之測量可由一被放置於該環境中或靠近該環境之麥克風所獲得，該音頻將被播放進入該麥克風。本發明的一態樣係在該資源有限之裝置實行該噪聲之測量，但處理能力及/或電池電力密集的處理係在該資源有限之裝置上游的一元件中實行。

另一選擇係，一預定組之模板噪聲激發可被利用，其在各種條件之下近似該預期之噪聲頻譜。譬如，汽車座艙中之噪聲可在各種駕駛速率被預先分析，且接著被儲存當作噪聲激發對速度的一查詢表。當該汽車之速率變化時，餵入圖15中之增益解算器1515的噪聲激發可接著被由此查詢表所近似。

比較圖13A-B與圖14及圖15，該預處理方塊1303係藉由分析濾波器阻1403所進行，該修改音頻係藉由該延遲1425及該增益倍增1421及該合成濾波器阻之組合所進行。該計算特定響度方塊1305係藉由該傳輸濾波器1405、激發1407、平滑化1409、及特定響度函數1411之組合所進行。該計算修改參數計算該等增益G(b,t)，與藉由在沒有噪音補償之案例中選擇性地與該平滑化1419結合之增益解算器1415所進行，且藉由與分析濾波器阻1503、傳輸濾波器1505、激發1507、平滑化1509、及特定響度函數1511結合之增益解算器1415所進行，並選擇性地與該平滑化1419結合。用於該等各種應用，圖13B中之計算目標特定響度1331係藉由特定響度修改方塊1413所進行。

雖然音量控制、AGC、動態範圍控制、動態等化、及噪聲補償的一或多個之係在此中相當詳細地敘述，這不意指以任何方式限制信號處理之型式，而使本發明被限制於此。本發明係適用於媒體資料上之信號處理操作，其可於該上游中被有利地進行，亦即，當足夠用於該處理之一或多個資源係可用的時或在足夠用於該處理之一或多個資源係可用之處，基於由一與該媒體資料之處理有關的資源受限裝置所接收之供藉由該資源受限的裝置呈現的資訊，使得該經處理之輸出係可被該資源受限的裝置使用，以呈現或處理及呈現該媒體資料。

雖然可能具有音量控制、AGC、動態範圍控制、及/或動態等化的一或多個之噪音補償係在此中相當詳細地敘述，這不意指以任何方式限制信號處理之型式，而使本發明被限制於此。本發明係適用於媒體資料上之信號處理操作，其可於該上游中在一網路元件被有利地進行，在此足夠用於該處理的一或多個資源係可用的，其使用與資源有限裝置的環境有關之資訊，但遠離該資源有限之裝置獲得，以產生經處理之輸出，該輸出係可被該資源受限的裝置使用，以呈現或處理及呈現該媒體資料。

注意雖然上面之敘述及專利申請案公告第WO 2004111994及WO 2006047600號敘述決定該特定響度的一些方法，其他方法係已知，用於決定該特定響度。譬如看世界專利第WO 2007120453號。

於一具體實施例中，以例如一組指令之程式邏輯組構電腦可讀取媒體，當藉由至少一處理器所執行時，該組指令造成實行在此中所敘述之方法的一組方法步驟。

與一般之工業術語一致，該“基地台”、“存取點”、及“AP”等詞可在此中被交換地使用，以敘述一可與多數其他電子裝置大體上無線地及同時地通訊之電子裝置，而該“客戶端”、“行動裝置”、“手提式裝置”及“資源受限的裝置”等詞可被交換地使用，以敘述那些多數其他電子裝置之任一個，即呈現媒體資料之能力者。然而，本發明之範圍係不限於以那些術語所標明之裝置。

於此文件之上下文中，該“無線”及其衍生詞等術語可被用來敘述電路、裝置、系統、方法、技術、通訊通道等，其可經過該調變電磁輻射之使用經過一非固態媒體通訊資料。該術語不會暗指該等相關裝置不包含任何金屬線，雖然於一些具體實施例中它們可能不包含。

除非另外特別地陳述，如由以下之討論變得明顯，應了解遍及利用諸如“處理”、“估算”、“計算”、“決定”等術語之說明書討論，意指一電腦或計算系統、或類似電子計算裝置之作用及/或處理，其將代表為物理、諸如電子、參量之資料處理及/或轉換成同樣地代表為物理參量之另一資料。

以一類似方式，該“處理器”一詞可意指任何裝置或一裝置的一部份，其處理例如來自暫存器及/或記憶體之電子資料，以將該電子資料轉換成另一例如可被儲存於暫存器及/或記憶體中之電子資料。一“電腦”或一“計算機”或一“計算平臺”可包括至少一處理器。

注意當一方法被敘述時，該方法包括數個元件，例如數個步驟，除非特別陳述，不隱含此等元件之任何排序、例如步驟之排序。

於一具體實施例中，在此中所敘述之方法論係可藉由一或更多處理器施行的，該等處理器接收具體化在一或更多電腦可讀取媒體上之電腦可執行(亦稱為機械可執行)的程式邏輯。該程式邏輯包括一組指令，其當藉由一或更多該等處理器所執行時，實行在此中所敘述之方法的至少一方法。任何能夠執行一組指定將採取之作用的指令(連續或別樣的)之處理器被包括在內。如此，一範例係一典型之處理系統，其包括一處理器或超過之處理器。每一處理器可包括中央處理系統、圖形處理單元、及可程式化DSP單元的一或多個。該處理系統另可包括一儲存子系統，其包括一記憶體子系統，該記憶體子系統包括主要RAM及/或靜態RAM、及/或ROM。該儲存子系統可另包括一或多個其他儲存裝置。一匯流排子系統可被包括，用於與於該等零組件之間通訊。該處理系統另可為一分散式處理系統，具有藉由一網路所耦接之處理器。如果該處理系統需要一顯示器，此一顯示器可被包括，例如一液晶顯示器(LCD)或一陰極射線管(CRT)顯示器。如果手動資料輸入係需要的，該處理系統亦諸如包括一輸入設備，諸如鍵盤之文數字輸入單元、諸如滑鼠之指向控制裝置等的一或多個。如在此中所使用之單元，如果由該上下文清楚及除非別樣明確地陳述，儲存裝置、儲存子系統等術語亦涵蓋諸如碟片驅動器單元之儲存裝置。於一些架構中，該處理系統可包括一聲音輸入設備、及一網路介面裝置。該儲存子系統如此包括一承載程式邏輯(例如軟體)之電腦可讀取媒體，該程式邏輯包括一組指令，以當藉由一或多個處理器所執行時，造成實行在此中所敘述之方法的一或多個方法。該程式邏輯可於其執行期間藉由該處理系統常駐在一硬碟機中，或亦可完全地或至少局部地常駐在該RAM內及/或該處理器內。如此，該記憶體及該處理器亦構成電腦可讀取媒體，在其上者係被編碼之程式邏輯，例如呈指令之形式。

再者，一電腦可讀取媒體可形成、或被包括在一電腦程式產品中。

於另一選擇具體實施例中，該一或多個處理器操作為一獨立的裝置，或於一網路式部署中，可被例如網路連接至其他處理器，該一或多個處理器可在伺服者一客戶端網路環境中之伺服器或客戶端機器的能力中操作，或操作為一點對點或分散式網路環境中之個別系統。該一或多個處理器可形成一個人電腦(PC)、平板PC、機上盒(STB)、個人數位助理(PDA)、行動電話、網絡計算機、網路路由器、開關或橋接器、或任何能夠執行一組指令(連續或別樣的)之機器，該組指令指定將藉由那機器所採取之作用。

注意雖然一些圖解僅只顯示承載包括指令之邏輯的單一處理器及單一記憶體，那些熟諳該技藝者將了解上述許多零組件被包括，但不明確地顯示或敘述，以便不會使本發明之態樣難理解。譬如，雖然僅只單一機器被說明，該“機器”一詞亦將被視為包括機器之任何集合，該等機器個別地或共同地執行一組(或多組)指令，以實行在此中所討論之方法論的任何一個或多個。

如此，在此中所敘述之每一方法的一具體實施例係呈一電腦可讀取媒體之形式，並以一組指令組構，例如被用於在一或多個處理器上執行之電腦程式，例如為信號處理設備的部件之一或多個處理器。如此，如將被那些熟諳此技藝者所了解，本發明之具體實施例可被具體化為一方法、一諸如特別用途設備之設備、一諸如資料處理系統之設備、或一例如電腦程式產品之電腦可讀取媒體。該電腦可讀取媒體承載包括一組指令之邏輯，當在一或多個處理器上執行時，該組指令造成實行方法步驟。據此，本發明之態樣可採取一方法、一完全硬體具體實施例、一完全軟體具體實施例、或一結合軟體及硬體態樣的具體實施例之形式。再者，本發明可採取程式邏輯之形式，例如於一電腦可讀取媒體中，例如一電腦可讀取儲存媒體上之電腦程式、或以電腦可讀取程式碼組構之電腦可讀取媒體，例如一電腦程式產品。

雖然在一示範具體實施例中，該電腦可讀取媒體被顯示為單一媒體，該“媒體”一詞應被視為包括單一媒體或多數媒體(例如一集中或分散式資料庫、及/或相關快取記憶體與伺服器)，其儲存該一或多組指令。該“電腦可讀取媒體”一詞亦將被視為包括任何電腦可讀取媒體，其係能夠以藉由一或多個處理器所執行之一組指令儲存、編碼、或以別的方式組構，且造成本發明之方法論的任何一個或多個之實行。一電腦可讀取媒體可採取很多形式，包括、但不限於不變性媒體及易變性媒體。不變性媒體包括譬如光碟、磁碟、及磁光碟。易變性媒體包括動態記憶體、諸如主記憶體。

在一具體實施例中，將了解所討論的方法之步驟係藉由執行儲存器中所儲存之指令的處理系統(例如電腦系統)之適當處理器(或各處理器)所施行。亦將了解本發明之具體實施例係不限於任何特別之工具或程式規劃技術，且本發明可使用任何用於實施在此中所敘述之功能性的適當技術被實施。再者，具體實施例係不限於任何特別之程式規劃語言或作業系統。

遍及此說明書，參考“一具體實施例”或“具體實施例”意指關於該具體實施例所敘述之特別的特色、結構或特徵被包括於本發明之至少一具體實施例中。如此，在遍及此說明書之各種位置中，“一具體實施例”或“具體實施例”詞組之狀態係不須全部參考相同之具體實施例，但可能全部參考相同之具體實施例。再者，該特別之特色、結構或特徵可被以任何合適之方式組合，如對於普通熟諳該技藝者將由此揭示內容於一或多個具體實施例中變得明顯。

同樣地應了解於本發明之範例具體實施例的上面敘述中，本發明之各種特色有時候被一起組織在單一具體實施例、圖面、或其敘述中，用於簡化該揭示內容及輔助各種發明態樣之一或多個的理解之目的。然而，此揭示內容之方法不被解釋為反映一用意，即所申請之發明比在每一申請專利範圍中所明確引述者需要更多特色。反之，如以下之申請專利範圍所反映，本發明之態樣在於少於單一先前揭示具體實施例之所有特色。如此，在示範具體實施例的敘述之後，該等申請專利範圍據此明確地併入此示範具體實施例之敘述，使每一申請專利範圍獨自當作本發明的一分開之具體實施例。

再者，雖然在此中所敘述之一些具體實施例包括一些特色，但無其他特色被包括於其他具體實施例中，不同具體實施例之特色的結合係意指在本發明之範圍內，且形成不同具體實施例，如將被那些熟諳該技藝者所了解。譬如，於以下之申請專利範圍中，所申請之具體實施例的任一個能夠被以任何組合使用。

再者，部份該等具體實施例在此中被敘述為一方法或一方法之各元件的組合，其能被一電腦系統之處理器或藉由實行該功能之其他機構所實行。如此，一具有用於實行此一方法或一方法之要素的所需指令之處理器形成一用於實行該方法或一方法之要素的機構。再者，一設備具體實施例的在此中所敘述之元件係一機構之範例，用於實行藉由該元件所施行之功能，該元件用於實行本發明之目的。

於在此中所提供之敘述中，極多特定之細節被提出。然而，應了解本發明之具體實施例可沒有這些特定之細節地被實踐。於其他情況中，熟知之方法、結構及技術未被詳細地顯示，以便不會使此敘述之理解模糊。

如在此中所使用，除非以別的方式指定該序數詞“第一”、“第二”、“第三”等之使用敘述一共同物件，僅只指示所參考之相像物件的不同情況，且不被意欲暗指如此敘述之物件必需為暫時地、空間地、排列地、或以任何其他方式在一給定順序中。

此說明書中之先前技藝的任何討論將絕不被考慮為一項表達，即此先前技藝係普遍認知、公開已知、或形成該領域中之常識的一部份。

於下面之申請專利範圍及在此中之敘述中，包括、由...所組成、或其包括等詞的任一個係一開放術語，其意指包括隨後之至少該等元件/特色，但不排除其他者。如此，當使用於該等申請專利範圍時，包括一詞將不被解釋為限定於此後列出之機構或元件或步驟。譬如，包括A及B之裝置的表達之範圍將不被限制於僅只由元件A及B所組成之裝置。如在此中所使用，包括或其包括或該包括等詞的任一個係亦一開放術語，其亦意指包括該術語之後的至少該等元件/特色，但不排除其他者。如此，包括係與涵括同義及意指涵括。

同樣地，當使用於該等申請專利範圍中時，其將被察見耦接一詞不應被解釋為僅只受限於直接之連接。該“耦接”及“連接”等詞隨著其衍生詞可被使用。應了解這些術語係不意欲彼此為同義詞。如此，一裝置A耦接至一裝置B的表達之範圍不應被限制於裝置或系統，其中裝置A之輸出係直接連接至一裝置B之輸入。其意指於A之輸出及B的輸入之間存在有一路徑，該路徑可為一包括其他裝置或機構之路徑。“耦接”可意指該二或更多元件係呈直接物理或電接觸，或該二或更多元件未彼此直接接觸，但又仍然彼此合作或相互作用。

如此，雖然已在此敘述吾人相信為本發明之較佳具體實施例者，那些熟諳此技藝者將認知可對其作成其他及進一步之修改，而未由本發明之精神脫離，且其係意欲主張所有此等變化及修改如落在本發明之範圍內。譬如，在上面所給與之任何公式係僅只可被使用之程序的代表性者。功能性可被加入該等方塊圖或由該等方塊圖刪除，且操作可在功能方塊之中被交換。步驟可被加入在本發明的範圍內所敘述之方法或由其刪除。

100．．．方法

150．．．設備

151．．．處理系統

153．．．處理器

155．．．儲存系統

157．．．程式邏輯

161．．．資源受限的裝置

163．．．輸出傳感器

165．．．感測器

167．．．使用者介面

303．．．信號處理方塊

305．．．音頻調平方塊

307．．．手提式無線裝置

403．．．信號處理方塊

407．．．手提式無線裝置

409．．．感測器

503．．．信號處理方塊

505．．．噪聲補償處理方塊

507．．．手提式無線裝置

509．．．麥克風

603．．．信號處理方塊

609．．．無線裝置

611．．．光感測器

613．．．視頻顯示器

615．．．LCD面板

617．．．發光二極體裝置

703．．．信號處理設備

707．．．手提式無線裝置

709．．．感測器

803．．．信號處理設備

805．．．音頻調平處理器

807．．．手提式裝置

903．．．信號處理設備

905．．．噪聲補償處理方塊

907．．．手提式裝置

909．．．噪聲感測器

1003．．．信號處理設備

1005．．．處理器

1007．．．儲存裝置

1011．．．手提式裝置

1013．．．儲存裝置

1015．．．感測器

1017．．．呈現裝置

1103．．．信號處理裝置

1111．．．手提式裝置

1113．．．儲存裝置

1115．．．感測器

1119．．．處理器

1203．．．手提式裝置

1205．．．處理器

1207．．．儲存裝置

1209．．．感測器

1213．．．第二裝置

1215．．．處理器

1217．．．儲存裝置

1301．．．信號修改路徑

1302．．．參數產生控制路徑

1303．．．預處理功能方塊

1305．．．計算特定響度方塊

1307．．．計算修改參數方塊

1311．．．音頻信號

1313．．．預處理音頻

1315．．．音頻信號

1317．．．特定響度

1319．．．修改參數

1321．．．音頻信號

1323．．．目標特定響度

1331．．．目標特定響度方塊

1333．．．輸入

1335．．．儲存元件

1403．．．分析濾波器阻函數

1405．．．傳輸濾波器函數

1407．．．激發函數

1409．．．平滑函數

1411．．．特定響度函數

1413．．．特定響度修改函數

1415．．．增益解算器函數

1419．．．平滑函數

1421．．．組合函數

1423．．．分析濾波器阻

1425．．．延遲函數

1503．．．分析濾波器阻

1505．．．傳輸濾波器

1507．．．激發

1509．．．平滑化

1511．．．特定響度函數

1515．．．增益解算器

圖1A顯示敘述本發明之一些方法具體實施例的簡化流程圖。

圖1B顯示一功能性方塊圖，其敘述本發明之一些設備具體實施例，且亦敘述本發明之一程式邏輯具體實施例。

圖2顯示根據本發明之一或更多特色的設備之簡化方塊圖，該設備包括使用由一客戶端裝置、例如手提式無線裝置所產生之元資料的多媒體資料之上游處理。

圖3顯示一設備之簡化方塊圖，該設備包括使用由一客戶端裝置、例如手提式無線裝置所產生之元資料的音頻媒體資料之音頻調平上游處理的範例。

圖4顯示一設備之簡化方塊圖，該設備包括使用由一客戶端裝置、例如手提式無線裝置所產生之元資料及環境資訊的多媒體資料之上游處理。

圖5顯示一設備之簡化方塊圖，該設備包括使用由一客戶端裝置、例如手提式無線裝置所產生之元資料及環境噪聲資訊的音頻媒體資料之噪聲補償上游處理的範例。

圖6顯示本發明的一具體實施例之簡化方塊圖，其中視頻資料係經由一信號處理設備串流至一包括高動態範圍(HDR)視頻顯示器之手提式裝置。

圖7顯示一配置之簡化方塊圖，其包括使用藉由該裝置及/或來自該裝置的一或多個環境參量所產生之元資料，來自一客戶端裝置、例如手提式無線裝置的媒體資料之上游品質增強處理。

圖8顯示一設備之簡化方塊圖，該設備包括使用藉由該裝置所產生之元資料，來自一客戶端裝置、例如手提式無線裝置的音頻媒體資料之音頻調平上游處理的範例。

圖9顯示一設備之簡化方塊圖，該設備包括使用藉由該裝置所產生之元資料及環境噪聲資訊，而源自一客戶端裝置、例如手提式無線裝置的音頻媒體資料之噪聲補償上游處理的範例。

圖10顯示一設備之簡化方塊圖，該設備包括第二裝置上之媒體資料的離線信號處理。

圖11顯示一簡化之功能性方塊圖，其說明本發明之數個具體實施例，其中用於該整個品質增強之部份處理發生在一資源有限之裝置，但其中該整個品質增強信號處理之更多計算式強烈函數在一分開之信號處理設備上離線地發生。

圖12顯示一簡化之功能性方塊圖，其說明本發明之數個具體實施例，其中使用該元資料及/或環境參量之品質增強處理係當足夠之資源為可用之時。

圖13A-13D顯示功能性方塊圖，其敘述該品質增強信號處理的一些具體實施例，其中一音頻信號被修改，以產生經修改之音頻，使得該特定響度使用一前饋配置被造成接近一目標特定響度。

圖14描述本發明的一態樣在一前饋配置中具體化之示範具體實施例，其中該預處理將該輸入音頻分成諸頻帶。

圖15描述於一前饋配置中之噪聲補償的示範具體實施例之功能性方塊圖。

503．．．信號處理方塊

505．．．噪聲補償處理方塊

507．．．手提式無線裝置

509．．．麥克風

Claims (24)

1. 一種使用處理硬體以處理用於空間化和響度領域音頻處理之至少一者的音頻資料之方法，該方法包括：於該處理硬體(703)中接收從電池操作的及/或處理能力有限的音頻播放裝置(707)所串流的音頻資料，該音頻資料係用於藉由該音頻播放裝置(707)的呈現；於該處理硬體(703)中從該音頻播放裝置(707)接收有關該音頻資料之空間化和響度領域音頻處理之一者或兩者的元資料；及使用至少部份所接收之元資料以產生經處理之輸出而資料處理用於空間化和響度領域音頻處理之至少一者的至少該處理硬體(703)中之該音頻資料；及將來自該處理硬體(703)的經處理之輸出串流至該音頻播放裝置(707)以用於藉由該音頻播放裝置(707)的播放，其中該處理硬體(703)位於該音頻播放裝置(707)之外部，及其中該元資料包括在該音頻播放裝置(707)所獲得之資訊，且包括一組有關媒體資料之空間化和響度領域音頻處理之至少一者或有關該音頻播放裝置(707)之環境的一或多個參數，使得來自該音頻播放裝置(707)之該音頻資料以空間化形式和響度領域音頻處理形式之至少一者被播放於該 音頻播放裝置(707)上。
2. 如申請專利範圍第1項之方法，其中該資料處理使用該等參數之至少一個，以產生經處理之輸出，該經處理之輸出包括用於藉由該音頻播放裝置(707)的呈現之經處理的音頻。
3. 如申請專利範圍第2項之方法，其中該音頻資料之資料處理係在該音頻播放裝置(707)上之經處理媒體資料的呈現之前。
4. 如申請專利範圍第1項之方法，其中一些媒體資料處理發生在該音頻播放裝置(707)，且其中該經處理之輸出包括該音頻播放裝置(707)用之輔助資料，該輔助資料用於發生在該音頻播放裝置(707)上之音頻資料處理。
5. 如申請專利範圍第2項之方法，其中該資料之資料處理係在足夠用於該處理之資源為可用之處，且係在該音頻播放裝置(707)上之經處理音頻資料的呈現之前，及其中該音頻資料包括以下之一或多個：被串流或廣播至該音頻播放裝置(707)之音頻資料，交互型串流越過一網路至該音頻播放裝置(707)之音頻資料，當作與該音頻播放裝置(707)之雙向通訊的一部份，及源自在該音頻播放裝置(707)或藉由該音頻播放 裝置(707)所產生之音頻資料，用於藉由該音頻播放裝置(707)之呈現。
6. 如申請專利範圍第5項之方法，其中該音頻資料包括被串流或廣播至該音頻播放裝置(707)之音頻資料。
7. 如申請專利範圍第5項之方法，其中該資料處理使用該等參數之一或多個，以產生包括經處理的音頻之經處理的輸出供藉由該音頻播放裝置(707)所呈現。
8. 如申請專利範圍第7項之方法，其中該音頻資料之處理係在該音頻播放裝置(707)上之經處理媒體資料的呈現之前。
9. 如申請專利範圍第1至8項的任一項之方法，其中該資料處理包括用於響度領域音頻處理之處理，其包括根據所接收參數之一或多個的響度調平。
10. 如申請專利範圍第1至8項的任一項之方法，其中該等接收之參數包括一或多個響度位準參數，其中該資料處理包括用於響度領域音頻處理之處理，其包括根據該一或多個響度位準參數之響度調平，其中該響度調平包括：使用該等響度位準參數產生修改參數，其中該等修改參數係藉由執行一感知響度領域中的資訊上之操作所產生，及基於該等修改參數修改該音頻資料，以產生經處理之音頻資料，及 其中該一或多個響度位準參數包括參考重現位準、想要之重現位準及/或調平量的一或多個。
11. 如申請專利範圍第10項之方法，其中該音頻資料之修改包括自動增益控制、動態範圍壓縮、及/或動態等化的一或多個。
12. 如申請專利範圍第1至8項的任一項之方法，該音頻資料之資料處理包括根據所接收參數的一或多個之音頻空間化的處理。
13. 如申請專利範圍第1至8項的任一項之方法，其中該資料處理包括用於響度領域音頻處理之處理，及其中該一或多個參數包括有關該音頻播放裝置(707)之環境的一或多個參數。
14. 如申請專利範圍第13項之方法，其中該一或多個參數包括有關該音頻播放裝置(707)之環境的一或多個參數，包括指示該環境中之噪聲的音響圖形之至少一參數，及其中該資料處理包括噪聲補償之處理。
15. 如申請專利範圍第14項之方法，其中該一或多個參數包括一或多個響度位準參數，其中該噪聲補償包括：使用一或多個響度位準參數及該噪聲音響圖形之一或多個參數由該音頻資料產生修改參數，其中該等修改參數係藉由在一感知響度領域中之資訊上執行操作所產生， 及基於該等修改參數修改該音頻資料，以產生經處理之音頻資料，及其中該一或多個響度位準參數包括：是否開啟音頻噪聲補償、用於該音頻播放裝置(707)之參考位準、一想要之重現位準、及/或一噪聲補償量的一或多個。
16. 如申請專利範圍第15項之方法，其中該音頻資料之資料處理包括施加至該音頻資料之自動增益控制、動態範圍壓縮、及/或等化的一或多個。
17. 一種使用處理硬體(703)以處理視頻資料之方法，該方法包括：將視頻資料串流至一電池操作的及/或具有有限處理能力的媒體播放裝置(707)，該視頻資料係用於藉由該媒體播放裝置(707)的呈現，其中該媒體播放裝置(707)包括一平板顯示器裝置，該平板顯示器裝置具有位置相依的背光元件，該等背光元件之每一個根據影像相依調變資料所調變，從該媒體播放裝置(707)接收有關修改該視頻資料之對比及/或亮度的資訊，其包括有關該媒體播放裝置(707)之環境的在該媒體播放裝置(707)上獲得之一或多個參數，包括指示該環境中之照明的至少一參數；資料處理該處理硬體(703)上之該視頻資料以產生經處理之輸出，該資料處理包括根據該一或多個參數之至 少一個產生該影像相依調變資料；及將該影像相依調變資料傳送至該媒體播放裝置(707)以用於呈現該視頻資料，其中該處理硬體位於該視頻播放裝置(707)之外部。
18. 一種程式邏輯，其當藉由一處理系統之至少一處理器所執行時，造成實行一如申請專利範圍第1至17項的任一項之方法。
19. 一種電腦可讀取媒體，在其中具有程式邏輯，當藉由一處理系統之至少一處理器執行該程式邏輯時，造成實行一如申請專利範圍第1至18項的任一項之方法。
20. 一種用於實行音頻資料之空間化和響度領域音頻處理的至少一部份之系統(703)，該系統包括：一介面，其可操作以連接至一電池操作的及/或處理能力有限的音頻播放裝置(707)，及從該音頻播放裝置(707)接收有關音頻資料之空間化和響度領域音頻處理的一者或兩者之元資料，該元資料係用於藉由該音頻播放裝置(707)所呈現；處理硬體，其可操作以接收從該音頻播放裝置(707)所串流的音頻資料並實行用於空間化和響度領域音頻處理的至少一者之所接收音頻資料的資料處理，其係使用至少部份所接收之元資料來產生經處理的輸出；及串流機構，用以將經處理之輸出串流至該音頻播放裝置(707)以用於藉由該音頻播放裝置(707)的播 放，其中該元資料包括在該音頻播放裝置(707)所獲得之資訊，且包括一組有關該音頻資料之空間化和響度領域音頻處理的至少一者或有關該音頻播放裝置(707)之環境的一或多個參數，使得來自該音頻播放裝置(707)之該經處理的輸出音頻資料以空間化形式和響度領域音頻處理形式之至少一者被播放於該音頻播放裝置(707)上。
21. 如申請專利範圍第20項之系統(703)，其可操作以實行如申請專利範圍第1至16項的任一項之方法。
22. 如申請專利範圍第20或21項之系統(703)，其中該系統(703)包括：至少一處理系統，各包括：至少一顆處理器，及一儲存裝置，及其中該至少一處理系統之該儲存裝置被組構成具有程式邏輯，當執行該程式邏輯時，造成該系統(703)實行如申請專利範圍第1至16項的任一項之方法。
23. 一種用於視頻資料之處理的系統(703)，該系統(703)包括：一介面，其可操作以連接至一電池操作的及/或處理能力有限的媒體播放裝置(707)，及從該媒體播放裝置(707)接收有關修改該視頻資料之對比及/或亮度的資訊，其包括在該媒體播放裝置(707)上獲得之一或多個參數，該視頻資料係用於藉由該媒體播放裝置(707)所 呈現，其中該媒體播放裝置(707)包括一平板顯示器裝置，該平板顯示器裝置具有位置相依的背光元件，該等背光元件之每一個根據傳送至該媒體播放裝置(707)之影像相依調變資料而調變與該視頻資料；處理硬體，其可操作以接收供該視頻播放裝置(707)上之播放所串流的視頻資料，並可操作以實行包括依據該些一或更多參數之至少一者以產生該影像相依調變資料之該視頻資料的資料處理；及傳送機構，用以將該影像相依調變資料傳送至該媒體播放裝置(707)以用於呈現該視頻資料。
24. 如申請專利範圍第23項之系統(703)，其中該系統(703)包括：至少一處理系統，各包括：至少一顆處理器，及一儲存裝置，及其中該至少一處理系統之該儲存裝置被組構成具有程式邏輯，當執行該程式邏輯時，造成該系統(703)實行如申請專利範圍第17項之方法。