TW202147300A

TW202147300A - 頭戴式裝置及其立體音效控制方法

Info

Publication number: TW202147300A
Application number: TW109119461A
Authority: TW
Inventors: 杜博仁; 張嘉仁; 曾凱盟
Original assignee: 宏碁股份有限公司
Priority date: 2020-06-10
Filing date: 2020-06-10
Publication date: 2021-12-16
Also published as: TWI746001B

Abstract

本發明實施例提供一種頭戴式裝置及其立體音效控制方法。在此方法中，決定對第一揚聲器收音所得的期望接收訊號，決定期望接收訊號與實際接收訊號之間的訊號差異，依據訊號差異估測第二揚聲器的輸出訊號對實際接收訊號的干擾，並依據第二揚聲器的輸出訊號的干擾產生該第一揚聲器的輸出訊號。期望接收訊號相關於僅對第一揚聲器在第一側收音所得的接收訊號。實際接收訊號是實際對第一揚聲器及第二揚聲器在第一側收音所得。對訊號差異最小化。藉此，可考慮頭部對輸出訊號的影響，進而提升聲音品質。

Description

頭戴式裝置及其立體音效控制方法

本發明是有關於一種音訊處理技術，且特別是有關於一種頭戴式裝置及其立體音效控制方法。

市場上已經出現許多類型的頭戴式裝置(例如，數位眼鏡、頭戴式顯示器或虛擬實境(Virtual Reality，VR)頭戴套件等)。這些頭戴式裝置可能會配備左、右雙聲道的揚聲器。設於機體兩側的兩揚聲器各自播放一側聲道的聲音訊號。此雙聲道的聲音訊號原本會依據自由空間進行調整。例如，筆記型電腦或手機的揚聲器的訊號處理，或是兩個隔開耳機的訊號處理。一般而言，這些雙聲道的聲音訊號並沒有考慮人體及其頭部對聲音訊號造成的影響。然而，不同人的頭型和髮型不同。此外，頭部會造成部分的遮蔽效應，其中高頻訊號部分會被頭部阻隔，但低頻訊號部分可以穿越頭部，從而造成不同時間延遲，進而影響聲音品質。

有鑑於此，本發明提供一種頭戴式裝置及其立體音效控制方法，預先去除另一側揚聲器的輸出對一側收音的干擾，進而提升訊號品質。

本發明實施例的立體音效控制方法適用於包括第一揚聲器及第二揚聲器的頭戴式裝置，第一揚聲器設於頭戴式裝置的第一側，第二揚聲器設於頭戴式裝置的第二側。立體音效控制方法包括(但不僅限於)下列步驟：決定對第一揚聲器收音所得的期望接收訊號，決定期望接收訊號與實際接收訊號之間的訊號差異，依據訊號差異估測第二揚聲器的輸出訊號對實際接收訊號的干擾，並依據第二揚聲器的輸出訊號的干擾產生該第一揚聲器的輸出訊號。期望接收訊號相關於僅對第一揚聲器在第一側收音所得的接收訊號。實際接收訊號是實際對第一揚聲器及第二揚聲器在第一側收音所得。對訊號差異最小化。

本發明實施例的頭戴式裝置包括(但不僅限於)第一揚聲器、第二揚聲器、第一收音器、第二收音器及處理器。第一揚聲器設於頭戴式裝置的第一側，且第二揚聲器設於頭戴式裝置的第二側。第一收音器設於第一側，且第二收音器設於第二側。處理器耦接第一揚聲器、第二揚聲器、第一收音器及第二收音器。處理器載入並執行數個模組。這些模組包括差異決定模組、干擾估測模組及訊號合成模組。差異決定模組決定對第一揚聲器收音所得的期望接收訊號，並決定期望接收訊號與實際接收訊號之間的訊號差異。期望接收訊號相關於透過第一收音器僅對第一揚聲器在第一側收音所得的接收訊號，且實際接收訊號是實際透過第一收音器對第一揚聲器及第二揚聲器在第一側收音所得。干擾估測模組依據訊號差異估測第二揚聲器的輸出訊號對實際接收訊號的干擾，且對訊號差異最小化。訊號合成模組依據第二揚聲器的輸出訊號的干擾產生第一揚聲器的輸出訊號。

基於上述，本發明實施例的頭戴式裝置及其立體音效控制方法，其對某一側的期望接收訊號及實際接收訊號之間的訊號差異最小化，以估測位於另一側的揚聲器的輸出對此側收音的干擾。接著，可依據此干擾調整此側揚聲器的輸出。藉此，可了解頭部對揚聲器的發聲所造成的影響，並能自適應地調整揚聲器的輸出，讓使用者體驗較為理想的聲音品質。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

圖1是依據本發明一實施例的頭戴式裝置100的方塊圖。請參照圖1，頭戴式裝置100可以是數位眼鏡(或稱智慧眼鏡)、頭戴式顯示器(Head-Mounted Display，HMD)或其他供人類頭部配戴的電子裝置。頭戴式裝置100包括但不僅限於揚聲器110, 120、儲存器130、收音器140, 145及處理器150。

揚聲器110, 120可以是喇叭或擴音器。在一實施例中，揚聲器110, 120分別設於頭戴式裝置100的第一側及第二側(例如，左、右兩側)，並分別對應到左、右兩聲道，以形成雙聲道揚聲器。

儲存器130可以是任何型態的固定或可移動隨機存取記憶體(Radom Access Memory，RAM)、唯讀記憶體(Read Only Memory，ROM)、快閃記憶體(flash memory)、傳統硬碟(Hard Disk Drive，HDD)、固態硬碟(Solid-State Drive，SSD)或類似元件。在一實施例中，儲存器130用以記錄程式碼、軟體模組(例如，差異決定模組131、干擾估測模組133及訊號合成模組135等)、聲音訊號、訊號差異、權重、對聲音訊號的影響、誤差最小化函數及其他資料或檔案，其詳細內容待後續實施例詳述。

收音器140, 145可以是動圈式(dynamic)、電容式(Condenser)、或駐極體電容(Electret Condenser)等類型的麥克風，收音器140, 145也可以是其他可接收聲波(例如，人聲、環境聲、機器運作聲等)而轉換為聲音訊號的電子元件、類比至數位轉換器、濾波器、及音訊處理器之組合。在一實施例中，收音器140, 145分別設於頭戴式裝置100的第一側及第二側(例如，左、右兩側)，使得揚聲器110與收音器140設於同側，且揚聲器120與收音器145設於同側。

處理器150耦接揚聲器110, 120、儲存器130及收音器140, 145，處理器150並可以是中央處理單元(Central Processing Unit，CPU)，或是其他可程式化之一般用途或特殊用途的微處理器(Microprocessor)、數位信號處理器(Digital Signal Processor，DSP)、可程式化控制器、特殊應用積體電路(Application-Specific Integrated Circuit，ASIC)或其他類似元件或上述元件的組合。在一實施例中，處理器150用以執行頭戴式裝置100的所有或部份作業，且可載入並執行儲存器130所記錄的各軟體模組、檔案及資料。在一些實施例中，儲存器130所記錄的那些軟體模組也可能是實體電路所實現。

圖2是依據本發明一實施例的數位眼鏡200的示意圖。請參照圖2，數位眼鏡200的一側(例如，右側)設有揚聲器110與收音器140，且其另一側(例如，左側)設有揚聲器120與收音器145。使用者配戴頭戴式裝置100後，揚聲器110, 120及收音器140, 145鄰近於使用者的左、右耳。

須說明的是，圖2的處理器150設於數位眼鏡200的主體。然而，在一些實施例中，處理器150可能不與揚聲器110, 120及收音器140, 145設於相同的裝置，且元件之間的訊號傳輸可經由有線或無線通訊(例如，Wi-Fi、藍芽、或USB等)達成。

下文中，將搭配頭戴式裝置100中的各項裝置、元件及模組說明本發明實施例所述之方法。本方法的各個流程可依照實施情形而隨之調整，且並不僅限於此。另須說明的是，為了方便說明，下文將以揚聲器110與收音器140設於頭戴式裝置100的一側(下文稱第一側)且揚聲器120與收音器145設於頭戴式裝置100的另一側(下文稱第二側)為例。

圖3是依據本發明一實施例的立體音效控制方法的流程圖。請參照圖3，差異決定模組131決定對揚聲器110收音所得的期望接收訊號(步驟S310)。具體而言，期望接收訊號相關於透過收音器140僅對揚聲器110在第一側(即，同側)收音所得的接收訊號。本發明實施例的收音器140, 145是用於估測使用者聽到揚聲器110, 120所發出的聲音。期望接收訊號代表期望使用者的某一耳朵僅聽到同側揚聲器的聲音。

無可避免地，揚聲器110的輸出訊號可能會經頻率響應增益及/或時間延遲等變化/影響因素而到達收音器140(對應到使用者的一耳)。於此，將對揚聲器110的輸出訊號透過收音器140在第一側收音所遭受的變化統稱為第一傳播介質(medium)(包括空氣、及/或人體等介質)的影響結果，且收音器140的期望接收訊號是揚聲器110的輸出訊號經過第一傳播介質所形成。相似地，揚聲器120的輸出訊號也可能會經頻率響應增益及/或時間延遲等變化/影響因素而到達收音器145(對應到使用者的另一耳)。於此，將對揚聲器120的輸出訊號透過收音器145在第二側(即，同側)收音所遭受的變化統稱為第二傳播介質的影響結果，且收音器145的期望接收訊號是揚聲器120的輸出訊號經過第二傳播介質所形成。

以圖2為例，

為揚聲器110對應於收音器140的第一傳播介質的頻率響應，

為揚聲器120對應於收音器145的第二傳播介質的頻率響應。在本實施例中，

、

是以頻域上的響應來分別代表第一及第二傳播介質，且其值可事先設計，並可依據設計者的需求而變化。而收音器145的期望接收訊號

的數學表示式如下：

…(1)

為揚聲器120的原始輸出訊號。收音器140的期望接收訊號可依此類推，於此不再贅述。

差異決定模組131可透過收音器140對揚聲器110, 120在第一側收音所得的實際接收訊號，並透過收音器145對揚聲器110, 120在第二側收音所得的實際接收訊號。接著，差異決定模組131分別決定兩側的期望接收訊號與對應側的實際接收訊號之間的訊號差異(步驟S330)。具體而言，無可避免地，收音器140可能會接收到來自揚聲器120所發出的聲音，且收音器145也可能會接收到來自揚聲器110所發出的聲音。然而，另一側所發出的聲音都不是希望被聽到的聲音。由於期望接收訊號是僅有同側的輸出訊號被接收，因此期望接收訊號與對應側的實際接收訊號之間的訊號差異越小越符合期望。

相似地，揚聲器120的輸出訊號可能會經頻率響應增益及/或時間延遲等變化/影響因素而到達收音器140。於此，將對揚聲器120的輸出訊號透過收音器140在第一側收音所遭受的變化統稱為第三傳播介質的影響結果，且揚聲器120的輸出訊號經過此第三傳播介質將形成收音器140的干擾(即，不是希望被聽到的聲音)。此外，揚聲器110的輸出訊號也可能會經頻率響應增益及/或時間延遲等變化/影響因素而到達收音器145(對應到使用者的另一耳)。於此，將對揚聲器110的輸出訊號透過收音器145在第二側收音所遭受的變化統稱為第四傳播介質的影響結果，且揚聲器110的輸出訊號經過此第四傳播介質將形成收音器145的干擾。

以圖2為例，

為揚聲器120對應於收音器140的第三傳播介質的頻率響應，

為揚聲器110對應於收音器145的第四傳播介質的頻率響應。在本實施例中，

、

是以頻域上的響應來分別代表第三及第四傳播介質。與第一及第二傳播介質不同之處在於，不同使用者的頭部可能形成不同的第三及第四傳播介質的頻率響應，因此第三及第四傳播介質的頻率響應初始視為未知。而第二側的訊號差異

的數學表示式如下：

…(2)

為收音器145的實際接收訊號。第一側的訊號差異可依此類推，於此不再贅述。

干擾估測模組133可依據訊號差異估測揚聲器110的輸出訊號對第二側的實際接收訊號的干擾，並可依據另一訊號差異估測揚聲器120的輸出訊號對第一側的實際接收訊號的干擾(步驟S350)。具體而言，為了將訊號差異最小化，干擾估測模組133可先估測第三及第四傳播介質(如圖2的

、

)。在一實施例中，干擾估測模組133可採用權重更新演算法來近似第三及第四傳播介質，以對左側消除右聲道輸出的相關訊號或對右側消除左聲道輸出的相關訊號。

干擾估測模組133可依據揚聲器110, 120的輸出訊號及對應側的訊號誤差分別決定權重更新演算法中的權重，此權重分別相關於前述第三及第四傳播介質的頻率響應，且最終的權重對應到最小化的訊號誤差(即，權重更新演算法是用於最小化訊號誤差)。

權重更新演算法有很多種。以最小均方(Least Mean Square，LMS)為例，其時域的表示為：

…(3) ，其中

代表了更新的間格大小(其值為常數，並代表更新步階大小，或稱步長)，

影響了收斂(例如，訊號差異趨近於特定數值)的準確度和速度。此外，

及

分別代表不同取樣時間點對應的權重(例如，n +1是n 的下一個取樣時間點，並對應到頻域的權重

)，且

是揚聲器110的輸出訊號。方程式(3)代表第二側對應的權重更新演算法，而第一側對應的權重更新演算法可依此類推，於此不再贅述。

圖4是依據本發明一實施例的訊號關係的示意圖。請參照圖4，第二側的訊號差異

及揚聲器110的輸出訊號

輸入到權重更新演算法LE_L 即可得出權重

。相似地，第一側的訊號差異

及揚聲器120的輸出訊號

輸入到權重更新演算法LE_R 即可得出權重

。

透過不停更新對於欲消除訊的權重

，且使用訊號差異

輔助更新演算法，當訊號差異收斂時，會使得揚聲器110的輸出訊號經過此權重

後會接近揚聲器110對應於收音器145的第四傳播介質的頻率響應：

…(4) 相似地，第一側對應的權重更新演算法所估測的權重

也可用於逼近揚聲器120對應於收音器140的第三傳播介質的頻率響應。揚聲器110的輸出訊號

對第二側的實際接收訊號

的干擾即是

，且揚聲器120的輸出訊號

對第一側的實際接收訊號

的干擾即是

。而第一及第二傳播介質的頻率響應(對應到

、

)及權重

、

此時皆已知，對應干擾也可據以得出。

須說明的是，在其他實施例中，權重更新演算法也可能是基於訊號差異(作為誤差)的誤差最佳化(最小化)演算法。例如，最小均方(Least Square，LS)、或最小均方誤差估測演算法(Minimum Mean Square Error，MMSE)等演算法。

請回到圖3，訊號合成模組135可依據揚聲器120的輸出訊號的干擾產生揚聲器110的輸出訊號，或依據揚聲器110的輸出訊號的干擾產生揚聲器120的輸出訊號(步驟S370)。具體而言，本發明實施例是預先對輸出訊號去除估測的干擾(基於訊號合成處理)，使最後實際接收訊號即便受到另一側輸出訊號的干擾也能接近或等同於期望接收訊號。

在一實施例中，訊號合成模組135可依據兩權重及揚聲器110, 120的輸出訊號分別決定對應的預先消除訊號。請參照圖4，揚聲器110對應的預先消除訊號即是揚聲器120的輸出訊號與對應權重在頻域上的乘積(即，

)，且揚聲器120對應的預先消除訊號即是揚聲器110的輸出訊號與對應權重在頻域上的乘積(即，

)。

訊號合成模組135可對揚聲器110, 120的輸出訊號分別移除對應的預先消除訊號，以產生揚聲器110, 120的最終輸出訊號。請參照圖4，揚聲器110, 120的最終輸出訊號

、

的數學表示式如下：

…(5)

…(6) 。即，訊號合成模組135依據揚聲器120在先前時間點的輸出訊號

決定當前時間點的原始輸出訊號

對應的預先消除訊號

，從而得出當前時間的最終輸出訊號

，其中先前時間早於當前時間點(例如是相差一個取樣點數)。另一方面，訊號合成模組135依據揚聲器110在先前時間點的輸出訊號

決定當前時間點的原始輸出訊號

對應的預先消除訊號

，從而得出當前時間的最終輸出訊號

。

此時，收音器140的實際接收訊號即是：

…(7) 而收音器145的實際接收訊號即是：

…(8) 。藉此，實際接收訊號將趨近或等同於預設的期望接收訊號，從而消除另一側輸出的干擾。

在實際應用上，此立體音效控制方法可在使用者的頭部戴上頭戴式裝置100後執行(例如，反應於使用者的觸發行為或額外感測器的偵測結果)，從而得出當前使用者頭部對揚聲器110, 120的輸出訊號所造成的影響，進而得出客製化的訊號調整。

綜上所述，在本發明實施例的頭戴式裝置及其立體音效控制方法中，基於將期望接收訊號及實際接收訊號之間的訊號差異視為誤差，並基於最小化誤差的目的來估測來自另一側輸出對應的權重。權重與另一側的輸出訊號即可用於估測來自另一側的干擾。此外，對所欲輸出的訊號提前去除干擾，使實際接收訊號能趨近或等於期望接收訊號。藉此，可排除頭部對頭戴式裝置的聲音輸出所造成的影響，並使頭戴式裝置自動調整而讓使用者獲得較為理想的聲音品質。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

100:頭戴式裝置 110、120:揚聲器 130:儲存器 131:差異決定模組 133:干擾估測模組 135:訊號合成模組 140、145:收音器 150:處理器 200:數位眼鏡

:第一傳播介質的頻率響應

:第二傳播介質的頻率響應

:第三傳播介質的頻率響應

:第四傳播介質的頻率響應 S310~S370:步驟

、

:實際接收訊號

、

:原始輸出訊號

:期望接收訊號

、

:權重 LE_R 、LE_L :權重更新演算法

、

:輸出訊號

圖1是依據本發明一實施例的頭戴式裝置的方塊圖。圖2是依據本發明一實施例的頭戴式裝置的示意圖。圖3是依據本發明一實施例的立體音效控制方法的流程圖。圖4是依據本發明一實施例的訊號關係的示意圖。

S310~S370:步驟

Claims

一種立體音效控制方法，適用於包括一第一揚聲器及一第二揚聲器的一頭戴式裝置，該第一揚聲器設於該頭戴式裝置的一第一側，該第二揚聲器設於該頭戴式裝置的一第二側，且該立體音效控制方法包括：決定對該第一揚聲器收音所得的一期望接收訊號，其中該期望接收訊號相關於僅對該第一揚聲器在該第一側收音所得的接收訊號；決定該期望接收訊號與一實際接收訊號之間的一訊號差異，其中該實際接收訊號是實際對該第一揚聲器及該第二揚聲器在該第一側收音所得；依據該訊號差異估測該第二揚聲器的輸出訊號對該實際接收訊號的干擾，其中對該訊號差異最小化；以及依據該第二揚聲器的輸出訊號的干擾產生該第一揚聲器的輸出訊號。
如請求項1所述的立體音效控制方法，其中依據該訊號差異估測該第二揚聲器的輸出訊號對該實際接收訊號的干擾的步驟包括：依據該第二揚聲器的輸出訊號及該訊號誤差決定一權重，其中該權重相關於對該第二揚聲器的輸出訊號在該第一側收音所經過的一第一傳播介質，該第二揚聲器的輸出訊號經過該第一傳播介質形成該干擾，且該權重對應到最小化的該訊號誤差。
如請求項2所述的立體音效控制方法，其中該期望接收訊號是該第一揚聲器的輸出訊號經過一第二傳播介質所形成，該第二傳播介質相關於該第一揚聲器的輸出訊號在該第一側收音所遭受的變化，且依據該第二揚聲器的輸出訊號的干擾產生該第一揚聲器的輸出訊號的步驟包括：依據該權重及該第二揚聲器的輸出訊號決定一預先消除訊號，其中依據該權重及該第二傳播介質的頻率響應決定該第一傳播介質的頻率響應；以及對該第一揚聲器的輸出訊號移除該預先消除訊號，以產生該第一揚聲器的最終輸出訊號，其中透過該第一揚聲器播放該最終輸出訊號。
如請求項3所述的立體音效控制方法，其中決定該預先消除訊號的步驟包括：依據該第二揚聲器在一先前時間點的輸出訊號決定一當前時間點的該預先消除訊號，其中該先前時間早於該當前時間點。
如請求項1所述的立體音效控制方法，更包括：依據該第一揚聲器的輸出訊號的第二干擾產生該第二揚聲器的輸出訊號，其中該第二干擾相關於對該第二揚聲器在該第二側收音所期望的接收訊號與實際在該第二側收音所得的接收訊號之間的差異。
一種頭戴式裝置，包括：一第一揚聲器，設於該頭戴式裝置的一第一側；一第二揚聲器，設於該頭戴式裝置的一第二側；一第一收音器，設於該第一側；一第二收音器，設於該第二側；以及一處理器，耦接該第一揚聲器、該第二揚聲器、該第一收音器及該第二收音器，載入並執行多個模組，該些模組包括：一差異決定模組，決定對該第一揚聲器收音所得的一期望接收訊號，並決定該期望接收訊號與一實際接收訊號之間的一訊號差異，其中該期望接收訊號相關於透過該第一收音器僅對該第一揚聲器在該第一側收音所得的接收訊號，且該實際接收訊號是實際透過該第一收音器對該第一揚聲器及該第二揚聲器在該第一側收音所得；一干擾估測模組，依據該訊號差異估測該第二揚聲器的輸出訊號對該實際接收訊號的干擾，其中對該訊號差異最小化；以及一訊號合成模組，依據該第二揚聲器的輸出訊號的干擾產生該第一揚聲器的輸出訊號。
如請求項6所述的頭戴式裝置，其中該干擾估測模組依據該第二揚聲器的輸出訊號及該訊號誤差決定一權重，其中該權重相關於透過該第一收音器對該第二揚聲器的輸出訊號在該第一側收音所經過的一第一傳播介質，該第二揚聲器的輸出訊號經過該第一傳播介質形成該干擾，且該權重對應到最小化的該訊號誤差。
如請求項7所述的頭戴式裝置，其中該期望接收訊號是該第一揚聲器的輸出訊號經過一第二傳播介質所形成，該第二傳播介質相關於該第一揚聲器的輸出訊號透過該第一收音器在該第一側收音所遭受的變化，且該訊號合成模組依據該權重及該第二揚聲器的輸出訊號決定一預先消除訊號，並對該第一揚聲器的輸出訊號移除該預先消除訊號，以產生該第一揚聲器的最終輸出訊號，其中該干擾估測模組依據該權重及該第二傳播介質的頻率響應決定該第一傳播介質的頻率響應，且該訊號合成模組透過該第一揚聲器播放該最終輸出訊號。
如請求項7所述的頭戴式裝置，其中該訊號合成模組依據該第二揚聲器在一先前時間點的輸出訊號決定一當前時間點的該預先消除訊號，其中該先前時間早於該當前時間點。
如請求項6所述的頭戴式裝置，其中該訊號合成模組依據該第一揚聲器的輸出訊號的第二干擾產生該第二揚聲器的輸出訊號，其中該第二干擾相關於透過該第二收音器對該第二揚聲器在該第二側收音所期望的接收訊號與實際透過該第二收音器在該第二側收音所得的接收訊號之間的差異。