TWI453451B - 擷取與播放源於多音源的聲音之方法 - Google Patents

Description

擷取與播放源於多音源的聲音之方法 相關申請的交互引用

本案以案號61/497,182且於2011年6月15日遞交的美國臨時專利申請案為優先權案，其全部內容現納入參考。

本發明關於一截取源於多音源的聲音之方法。再者，其關於此聲音的播放方法，以及包含適於接收此聲音的音效檔案的電腦程式產品。

所謂的環繞聲可大幅增加觀眾的聆聽體驗。特別是在電影院或電視遊戲的環境，觀眾經常期望鋪天蓋地的視覺及音效品質。在播放過程中，藉由加入增加的空間解析度至音效音軌，環繞聲顯著地有助於滿足如此的期望。

環繞聲包含技術範圍如以透過額外的、分離的揚聲器之音效聲道來豐富音效源的聲音重現品質。環繞聲的特點為以聆聽者位置或音效效果運作最佳之處的甜點(sweet spot)，並在此位置呈現音場固定或向前的角度至聆聽者。多聲道環繞聲應用以固定數量的環繞聲道環繞著觀眾(例如左環繞聲道、右環繞聲道、後環繞聲道)，而不是如“幕前聲道”的唯一設置(中央聲道、前左聲道、前右聲道)。

相較於傳統5.1的配置，先前技術7.1環繞揚聲器配 置採用兩個額外的後置揚聲器，共有四個環繞聲道與三個前置聲道。

環繞聲以幾種方式被創造。最早且最簡單的方法是使用環繞聲的錄製麥克風技術，及/或混合環繞聲以播放於使用環繞聆聽者的揚聲器自不同的方向播放音效的音效系統上。第二種方法是以心理聲學音效定位方法的處理音效，以使用耳機或一對揚聲器去模擬一個二維(2D)音場。

在大部分情況下，環繞聲系統依賴映射每一來源聲道的至本身的揚聲器。矩陣系統恢復來源聲道的數量與內容，並採用它們至各自的揚聲器。關於分離的環繞聲，傳送媒介允許(至少)相同的數量的來源與目標聲道。

傳送的信號可將資訊編碼(定義原始音場)至更大或更小的範圍；透過解碼器，其產生用於重播的一數量揚聲器的揚聲器饋入的數量及配置，環繞聲資訊係被呈現以用於重播。

如先前所述，環繞聲通常針對於在專屬的聆聽者位置(“甜點”)的傳遞，其中該專屬聆聽者位置(“甜點”)為音效效果運作最佳之處。距離此甜點越遠的聆聽者，得到的音效感受越遜色。

現也有解決方法補償對於聆聽者的如此的移動且因而調整音場以被重現。如此的解決方法通常包含一位置追蹤感測器。在音效增強應用上已知的商業產品包含用於Microsoft XBOX的Kinect或Trinnov Audio的Optimizer MC。Trinnov Audio發展一數學模型代表使用傅立葉-貝索分解(Fourier-Bessel decomposition)的音場。Trinnov Audio也發展軟體/硬體工具以測量藉由饋入多聲道信號至播放系統所產生的音場以及儲存該音場為放射矩陣。他們實現一解決方法，其重新映射多聲道信號以使來自每一聲道的聲音似乎來自該聲道本應來自的揚聲器。此解決方法也包含用於每一揚聲器的時間與頻率的校正。

下列專利文件也揭露了追蹤聆聽者的位置與根據其追蹤調整聲音重現的方法：US 20070116306A1、US7492915B2、CN101453598A、US20080130923A1及US20090304205A1。

本發明的目的係為藉由提供擷取與播放源於一數量的音源的聲音之方法，更進一步的改善環繞聲感知，包含依賴聆聽位置的播放，例如透過固定揚聲器配置或透過耳機。

具體來說，所提的本發明旨在在不同的播放系統配置提供改善的實用性。

本發明之另一目的，係提出一種新音效檔案格式。

關於擷取聲音的目的，藉由擷取源於多音源的聲音之方法而被實現，該方法包括：．提供個別的錄音音軌給每一音源以供每一音源被錄製； ．在與音源關聯的個別的錄音音軌上錄製源於每一音源的聲音；．重複地決定用於每一音源的目前位置，該位置至少相對於一聆聽位置；．儲存每一決定的目前位置；以及．關聯每一儲存的目前位置與個別錄製的聲音。

以非在一固定數量的聲道去編碼聲音，該建議的方法基於目前個別的來源去擷取聲音，例如在一房間內。該方法伴隨在個別的音軌上的某些中介資料，錄製每一來源的聲音。例如中介資料可包含音源的球面座標，該球面座標相對於一或更多聆聽者位置，也相對於目前聲音的環境的資訊(迴響時間、初次側向的反射等)。

根據本發明所提出的方法，依據位置資訊提供自動化地調整聲音到至少一個聆聽者的區域，因此允許對於揚聲器的選擇與放置增加彈性。此外，對於電影院、Imax電影院、廣播、5.1 DVDs、7.1藍光光碟等，因不再需要發出分別的混音，錄音室的開銷可能大幅降低。播音室將只需創造一混音共用於各種播放的情況。在目標播放系統，此混音將被編碼然後又解碼，以呈現如在錄音室中工程師或製作人所聽到的實質上相同的音場。所建議的聲音呈現技術也將有助於混音自一播放系統至另一播放系統之更佳的轉換，提供更一致的輸出至終端使用者：聆聽者對於(電影)聲音的感知將會相同，無論在例如商業電影院中或家裡。另外，無論聆聽者正坐在房間的哪裡，聲音體驗可 相同。

在傳統的電影院環境下，聲音系統通常基於全場觀眾的空間平均值，而被校準(例如關於等化、時間與級校準)。在同一時間，當你不能針對每個位置，例如聆聽者位置去做最佳化地校準系統，將導致次優的體驗。然而，所提出的方法能夠自動化地適配劇院的佔用。例如，若藉由感測器追蹤僅有十個座位被佔用，目標播放系統的解碼器可切換至僅針對佔用的座位最佳化的(預設)設定，以導致更好的表現。

隨著日益增加的更便宜與更大的媒體儲存裝置可獲得，對於每一音源使用分別的聲道勝過增加更多揚聲器聲道是有道理的。

在更進一步的實施例中，至少一進一步的錄音音軌被提供於源於至少一進一步之音源的錄音聲音，其中進一步的音源不指定關於其位置。此額外的聲道可被用於例如擷取看似來自各處的背景聲音(例如，若電影場景發生在法國南部的蟋蟀的聲音)，以加強聲音的體驗。

正如之前所示，在個別的錄音音軌的錄製聲音最好包含編碼錄製的聲音，以及每一決定的目前位置由關聯於上述的編碼的中介資料來表示。在如此的實施例中，基於可用的容量藉由選擇與/或開發合適的編碼器，可用的儲存裝置或傳輸聲道容量被徹底地顧及，使音質最大化。在此實施例中的中介資料為一部分或關聯於被選擇的編碼過程且關於每一音源相對於至少一聆聽者位置包含重複決定的 目前位置。

關於聲音播放的目的，藉由一種播放關聯於多音源錄製的聲音之方法而達到，該方法包括：．提供一音效檔案，其中該音效檔案包括：一數量之錄音音軌，其中每一錄音音軌具有源於一音源的錄製的聲音，且重複地儲存關聯於該音源的位置，該儲存的位置代表相對於至少一個聆聽位置的該音源的移動配置文件。

．提供一音效播放系統包含一數量之播放聲道，其中該播放系統包含一運算單元，基於該錄製的聲音而產生空間音場，及重複地儲存被包含在該音效檔案中的位置；以及．播放該空間音場於該音效播放系統上。

在播放系統，在聆聽室中音效信號解碼呈現音場-擷取在包含重覆地儲存的目前位置的錄音過程。藉由呈現音場以移動音源而非固定聲道的，其不同於現行的傅立葉-貝索(Fourier-Bessel)基礎模型。參考的輻射矩陣由動態產生的矩陣所取代，參考矩陣例如Trinnov Audio所使用的代表多聲道信號與對應於相同聲音環境的音場之間的轉移函數，動態產生的矩陣代表來源信號與對應於擬聲環境的音場之間的轉移函數，包含聆聽者的目前位置。同樣地，解碼矩陣由適配基於該數量的聆聽者與其位置的動態產生的矩陣所取代，解碼矩陣例如Trinnov Audio所使用的代表音場與饋入揚聲器的多聲道信號之間的轉移函數。

僅被播放系統與環境的聲學特性所限制，所提出的方法能夠選擇性地加入聲音的強化，例如迴響尾端或合成的側向反射。之後將改善側向聲能(Lateral Energy Fraction,LF)及雙耳互關聯(Interaural Cross-correlation,IACC)，其已被證實與包封的主觀意識及聲源寬度(Apparent Source Width,ASW)密切相關。

較佳地，空間音場的產生適配成播放聲道的數量。在如此的實施例中，播放且尚未在混音階段時，播放系統的性能的播放被優化。因此不再需要準備針對於特定的播放系統與其聲道設定的各種不同的混音。

在播放期間，透過適配以追蹤至少一聆聽者的目前位置的感測器，一或更多聆聽者的位置變化能夠被追蹤。為了擷取在任何環境光下的三維空間(3D)中的視訊資料，如此的感測器可包含紅外線雷射投影機與單色互補式金氧半感測器(monochrome CMOS sensor)。該感測器也可包含三原色攝影機(RGB camera)與紅外線深度感測雷射。

因此空間音場的產生較佳地包含適配重複的儲存位置至追蹤至少一聆聽者的目前位置，以補償相對於至少一聆聽位置的個別聆聽者的移動。

透過自預先儲存的校正資訊矩陣中選擇校正資訊，選擇的校正資訊關聯於目前地至少一聆聽者的追蹤的位置，此能夠有助於完成。

在此方面，預先儲存的校正資訊矩陣可包含關於在播 放環境中的聆聽者的可能的數量或預計位置之預先儲存的校正資訊。在播放期間，目前地至少一聆聽者的追蹤的位置接著可用於選擇合適的(預設)的校正資訊。在如此的實施例中，不需要計算在該被呈現的整體的音場：基於目前追蹤的位置資訊，適配至少一聆聽者的變化的位置主要包含選擇預設校準資訊。

Trinnov Audio已發表一些十分基本的數學工具去描述、處理與操縱音場。關於實施本發明，如此的原理也非常有用。

本發明更進一步包含在電腦程式產品中實施的一建議的新音效檔案格式，該音效檔案包括：．一數量的錄音音軌，每一錄音音軌具有源於多音源中的一個的錄製的聲音；以及．重複地儲存關聯於該音源的位置，儲存的位置代表相對於至少一個聆聽位置的該音源的移動配置文件。

如此的音效檔案可進一步包括至少一進一步的錄音音軌具有源於進一步音源的聲音，其中進一步的音源並未指定關於其位置。錄製的聲音較佳地為編碼的，且重複地儲存的位置為關聯於該編碼聲音的中介資料。

圖1展示基礎的數學公式與工具，其根據先前技術以描述、產生與操縱音場。Trinnov Audio在其網站位於 www.trinnov.com上，已發表那些公式與許多更多相關的描述。尤其是如上述網站的研究(Research )部分提供廣泛的背景資訊，其有助於本發明之應用。

圖2描繪關於擷取源於多音源的聲音之方法的原理概要。

步驟I包含提供錄音音軌1,3,5,...,n，其中每一錄音音軌應擷取源於一個音源的聲音。

在步驟II，源於每一音源的聲音透過分配至音源的個別的麥克風101,103,...,10n來擷取，使得源於一音源的聲音被錄製在相對應的個別的錄音音軌1,3,...n。在圖2中，對於任何音源包含如電腦遊戲中的虛擬的音源，麥克風的使用只是範例且應代表接收及/或建立聲音的任何方法。

在步驟III，較佳地與II步驟並行執行，在錄音過程期間，相對於一(預設)聆聽者位置的每一音源的目前位置201,203,...20n重複地被決定以獲得代表音源的移動之移動配置文件。移動配置文件能夠被偵測，例如透過感測器資訊，及/或透過訂出移動配置文件，其移動配置文件能夠被產生，例如在電腦遊戲情境中。預設的聆聽者位置可包含例如相對於多揚聲器環繞聲播放系統(“甜點”)或基於耳機播放系統的理想與靜態聆聽位置。

在步驟IV與V，移動配置文件包含每一音源的重複地儲存位置201,203,...20n，其儲存於位置音軌且關聯於相對應的錄音音軌1,3,...n，使得每一錄音音軌具有相對 應於有關相同音源的儲存的移動配置文件。

進一步的錄音音軌400,402被提供以擷取未有相對應的特定的移動配置文件的聲音，例如描繪像是電影或遊戲情境發生的環境的背景聲音。

根據本發明，一種電腦程式產品，係包含音效檔案以示意地呈現在圖3。電腦程式產品500包含音效檔案502。後者展示每一適配於儲存源於一個多音源的聲音的錄音音軌504,506,508,...5xx。為了保持較佳地移動音源的空間分佈，音效檔案502將更包含一記憶體區域，該記憶體區域適配於儲存重複獲取的關聯於音源的位置602,604,606,...，因此代表音源的移動配置文件600。如前面所述，如此的移動配置文件較佳地關於至少一聆聽位置。再者音軌700，702可被提供以儲存來自具有未有特定移動配置文件及/或位置的進一步的音源之聲音。

根據本發明，圖4示意地描繪一種播放源於多音源的錄製的聲音之方法。

在第一步驟I中，音效檔案502-如在圖3之描繪-被提供。音效檔案502具有擷取自一個多音源的聲音的每一其錄音音軌。相對於至少一聆聽位置的音源的移動，被擷取在移動配置文件中且也儲存在音效檔案上。

在步驟II中，提供音效播放系統800，其包含一數量播放聲道850。基於錄音音軌與移動配置文件，藉由具有計算單元870以產生空間音場，播放系統800特別適配以接收與播放音效檔案502。音場的產生在此適配於該類型 與數量的播放聲道850。

此外，在播放期間，位置追蹤感測器900被提供以重複地-例如準連續地-追蹤至少一聆聽者的目前位置。計算單元870接著使用如此的聆聽者的位置資料，以適配空間音場至聆聽者的目前位置，以使當在步驟III呈現音場時，在播放期間，不只有音源的移動還有聆聽者的移動被皆被考慮在內。在並行中，位置追蹤感測器900也可有能力追蹤一數量的聆聽者的位置。接著，針對個別聆聽者的個別的音場能夠被產生且送至個別的聆聽者，較佳地透過音效耳機或如果一個別的音場專門針對一群組的聆聽者，較佳地透過固定聲道的揚聲器配置。

預先設定的聆聽者位置校正矩陣950具有各種空間音場的預設，在聆聽環境中，每一預設適配於一特定的聆聽者位置。使用當前決定的至少一聆聽者的位置，相對應的預設音場係選自位置校正矩陣950與呈現給聆聽者。

簡要總結，如所述的本發明能夠提供觀眾動態環繞聲，該動態環繞聲其基於一或更多聆聽者的位置與動態，以針對於一或更多聆聽者。其可利用現有技術，創造更逼真與互動式環繞聲體驗：例如，如果兩個玩家在同一房間內打網球視訊遊戲，當玩家1擊球，球拍擊球的聲音將顯示給玩家2來自玩家1目前位於的位置(例如，在他身後，向右側)。另一範例是如果一個人正在聆聽兩聲道音樂，不管他或她決定坐在房間何處，他或她將聽到完整的聲場與適當的立體聲聲像。

運用現有的開放原始碼程式介面(open source APIs)，及時三維位置矩陣可識別聆聽者/玩家/使用者在房間內的位置。如此的位置矩陣可描繪三維空間做為頂部/底部、左/右及深度的每一連續。位置資訊的快照重覆地被擷取，短暫停頓，然後擷取後續的快照。比較快照之後，具有位置值最大的差的矩陣區域指出在(聆聽/遊戲)房間內，使用者的最大移動與位置。根據在房間內使用者的矩陣的地點，揚聲器的輸出接著自動被調整。這能夠被完成透過例如相對應於在房間內每一可能的使用者地點去創造空間場的預設以及當聆聽者移動時重呼合適的預設。

本領域具有通常知識者將能夠輕易地運用上述的各種概念，以達到本發明進一步的實施例。

1‧‧‧錄音音軌

3‧‧‧錄音音軌

5‧‧‧錄音音軌

n‧‧‧錄音音軌

101‧‧‧麥克風

103‧‧‧麥克風

10n‧‧‧麥克風

201‧‧‧目前位置/重複地儲存位置

203‧‧‧目前位置/重複地儲存位置

20n‧‧‧目前位置/重複地儲存位置

301‧‧‧錄音音軌

303‧‧‧錄音音軌

30n‧‧‧錄音音軌

400‧‧‧進一步的錄音音軌

402‧‧‧進一步的錄音音軌

500‧‧‧電腦程式產品

502‧‧‧音效檔案

504‧‧‧錄音音軌

506‧‧‧錄音音軌

508‧‧‧錄音音軌

5xx‧‧‧錄音音軌

600‧‧‧移動配置文件

602‧‧‧位置

604‧‧‧位置

606‧‧‧位置

700‧‧‧音軌

702‧‧‧音軌

800‧‧‧音效播放系統

850‧‧‧播放聲道

870‧‧‧計算單元

900‧‧‧位置追蹤感測器

950‧‧‧位置校正矩陣

I‧‧‧步驟

II‧‧‧步驟

III‧‧‧步驟

IV‧‧‧步驟

V‧‧‧步驟

本發明在更多細節的描述與解釋根據如下呈現在圖示中的範例實施例。

該圖示顯示：圖1為Trinnov audio發表的先前技術，其以基礎數學工具來描述與操作音場，圖2為根據本發明用於擷取源於多音源的聲音之方法，圖3為根據本發明的一電腦程式產品其包含一音效檔案，以及圖4為根據本發明用於關聯於多音源的錄音聲音的播 放之方法。

1‧‧‧錄音音軌

3‧‧‧錄音音軌

5‧‧‧錄音音軌

n‧‧‧錄音音軌

101‧‧‧麥克風

103‧‧‧麥克風

10n‧‧‧麥克風

201‧‧‧目前位置/重複地儲存位置

203‧‧‧目前位置/重複地儲存位置

20n‧‧‧目前位置/重複地儲存位置

301‧‧‧錄音音軌

303‧‧‧錄音音軌

30n‧‧‧錄音音軌

400‧‧‧進一步的錄音音軌

402‧‧‧進一步的錄音音軌

I‧‧‧步驟

II‧‧‧步驟

III‧‧‧步驟

IV‧‧‧步驟

V‧‧‧步驟

Claims (13)

1. 一種擷取源於多音源的聲音之方法，包括：提供個別的錄音音軌給每一音源以供每一音源被錄製；在與該音源關聯的個別的錄音音軌上錄製源於每一音源的聲音；重複地決定用於每一音源的目前位置，該位置相對於至少一聆聽位置；儲存每一決定的目前位置；以及關聯每一儲存的目前位置與該個別錄製的聲音。
2. 如申請專利範圍第1項之方法，其中每一音源之該目前位置係由相對於一數量之不同聆聽位置而被決定。
3. 如申請專利範圍第1項之方法，更包括提供至少一進一步的錄音音軌以供錄製源於進一步的音源的聲音，其中該進一步的音源並未指定關於其位置。
4. 如申請專利範圍第1項之方法，其中錄製該聲音在該個別的錄音音軌包含編碼該錄製的聲音，以及每一決定的目前位置由關聯於該編碼的中介資料所代表。
5. 一種播放關聯於多音源錄製的聲音之方法，該方法包括：提供一音效檔案，其中該音效檔案包括：一數量之錄音音軌，其中每一錄音音軌具有源於該音源之一的錄製的聲音，且重複地儲存關聯於該音源的位置 ，每一儲存的位置代表相對於至少一聆聽位置的該音源之一的目前位置；提供一音效播放系統包含一數量之播放聲道，其中該播放系統包含一運算單元編程以基於該錄製的聲音而產生空間音場，及重複地儲存被包含在該音效檔案中的位置；以及播放該空間音場於該音效播放系統上，其中產生該空間音場適於該數量之播放聲道。
6. 如申請專利範圍第5項之方法，更包括提供一適於追蹤至少一聆聽者之目前位置的感測器。
7. 如申請專利範圍第6項之方法，其中產生該空間音場包含調整該重複地儲存的位置至該至少一聆聽者的該追蹤的目前位置以補償相對於該至少一聆聽位置的個別聆聽者之移動。
8. 如申請專利範圍第7項之方法，其中基於自一先前儲存的校正資訊矩陣中選擇校正資訊，而調整該重複地儲存的位置至該至少一聆聽者的該追蹤的位置，該選擇的校正資訊與該至少一聆聽者的該追蹤的位置相關聯。
9. 如申請專利範圍第8項之方法，其中該先前儲存的校正資訊矩陣包含先前儲存的關於一數量的聆聽者可能的位置的校正資訊。
10. 一種電腦程式產品，包括用於在音效播放系統上播放的音效檔案，該音效檔案包括：一數量的錄音音軌，每一錄音音軌具有源於多音源中 的一個的錄製的聲音；以及重複地儲存關聯於該音源的位置，該儲存的位置代表相對於至少一個聆聽位置的該音源的移動配置文件。
11. 如申請專利範圍第10項之電腦程式產品，更包括至少一進一步的錄音音軌具有源於進一步音源的聲音，其中該進一步的音源並未指定關於其位置。
12. 如申請專利範圍第10項之電腦程式產品，其中該錄製的聲音為編碼的。
13. 如申請專利範圍第12項之電腦程式產品，其中該重複地儲存的位置為關聯於該編碼的聲音的中介資料。