TWI842055B - 可動態調整目標聆聽點並消除環境物件干擾的音響系統 - Google Patents

可動態調整目標聆聽點並消除環境物件干擾的音響系統 Download PDF

Info

Publication number
TWI842055B
TWI842055B TW111130512A TW111130512A TWI842055B TW I842055 B TWI842055 B TW I842055B TW 111130512 A TW111130512 A TW 111130512A TW 111130512 A TW111130512 A TW 111130512A TW I842055 B TWI842055 B TW I842055B
Authority
TW
Taiwan
Prior art keywords
speaker
user
sound field
circuit
sound
Prior art date
Application number
TW111130512A
Other languages
English (en)
Other versions
TW202324372A (zh
Inventor
周開祥
Original Assignee
瑞昱半導體股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 瑞昱半導體股份有限公司 filed Critical 瑞昱半導體股份有限公司
Priority to US17/993,512 priority Critical patent/US20230188923A1/en
Publication of TW202324372A publication Critical patent/TW202324372A/zh
Application granted granted Critical
Publication of TWI842055B publication Critical patent/TWI842055B/zh

Links

Abstract

一種音響系統,可動態地依據使用者位置優化播放效果。其中的一感測器電路可動態地感測一目標空間而產生一音場環境資訊。第一喇叭和一第二喇叭可播放音訊。主機裝置可從該音場環境資訊中辨識出一使用者並判斷該使用者在該目標空間中的一使用者位置,並將該使用者位置動態地指派為一目標聆聽點。該感測器電路包含一攝影機,可捕捉該目標空間的一音場環境影像。辨識電路分析該音場環境影像而獲取該目標空間中一環境物件的空間配置資訊和聲學屬性資訊,使控制電路以通道基底補償運作對該目標聆聽點產生優化的一第一聲道音訊和一第二聲道音訊。

Description

可動態調整目標聆聽點並消除環境物件干擾的音響系統
本申請涉及音訊處理技術,其實是一種可依據音場空間中的狀況變化而動態調整播放效果的音響系統。
現有的音響系統,包含多個喇叭布局在一目標空間周圍而形成一環繞音場環境。每一喇叭可分別輸出對應的聲道音訊。在配置環繞音場環境時,音響系統的安裝人員通常會指派該目標空間的一中心區域為最佳聆聽點,做為安裝多個喇叭的依據。當多個喇叭同時播放多個聲道音訊時,位於該最佳聆聽點的使用者可獲得身歷其境的聆聽效果。
然而,在現實環境中,使用者的聆聽效果很容易受到各種變數的影響。舉例來說,在傳統的音響系統中,最佳聆聽點的範圍是區域限定的。當使用者移動至該最佳聆聽點以外的區域時,雖然還是聽得到音響系統輸出的多個聲道音訊,但多個聲道音訊在使用者位置上產生的聆聽效果可能已經大打折扣或完全失效。此外,目標空間中的房間格局、傢俱位置和材質,都是可能干擾聆聽效果的環境物件。舉例來說,沙發、窗戶、和窗簾會吸收或反射一部份的聲音能量,而扭曲了最佳聆聽點上收到的各聲道音訊。
換句話說,傳統的音響系統無法動態調整最佳聆聽點的位置,使用者被迫限制移動以遷就最佳聆聽點的位置,實屬不便。另一方面,各聲道音訊可能受到環境物件的干擾而扭曲失真,使最佳聆聽點的 範圍更加侷限甚至是消失。這麼一來,以高昂成本布建的音場環境就失去意義。
有鑑於此,如何使音響系統隨著使用者移動而動態調整最佳聆聽點,並消除目標空間中的環境物件的干擾,是有待解決的問題。
本說明書提供一種音響系統的實施例,可動態地依據使用者位置優化播放效果,其中音響系統包含一感測器電路,一第一喇叭和一第二喇叭,以及一主機裝置。該感測器電路設置為可動態地感測一目標空間而產生一音場環境資訊。第一喇叭和一第二喇叭,設置為可播放音訊。主機裝置耦接該感測器電路、該第一喇叭和該第二喇叭,包含一辨識電路,一控制電路以及一音訊傳輸電路。辨識電路設置為可從該音場環境資訊中辨識出一使用者並判斷該使用者在該目標空間中的一使用者位置。控制電路耦接該辨識電路,設置為可將該使用者位置動態地指派為一目標聆聽點。音訊傳輸電路耦接該控制電路、該第一喇叭和該第二喇叭,設置為可傳輸音訊。其中,該感測器電路包含一攝影機,設置為可捕捉該目標空間的一音場環境影像。該辨識電路分析該音場環境影像而獲取該目標空間中一環境物件的空間配置資訊和聲學屬性資訊。該控制電路依據該目標聆聽點,及該環境物件的空間配置資訊及聲學屬性資訊,進行通道基底補償運作以產生對該目標聆聽點優化的一第一聲道音訊和一第二聲道音訊。最後,該控制電路透過該音訊傳輸電路分別地輸出該第一聲道音訊和該第二聲道音訊至對應的該第一喇叭和該第二喇叭。
本說明書提供一種音響系統的實施例,可動態地依據使用者位置優化播放效果,其中音響系統包含一感測器電路,一第一喇叭和一第二喇叭,以及一主機裝置。該感測器電路設置為可動態地感測一目標空間而產生一音場環境資訊。一第一喇叭和一第二喇叭,設置為可播放音訊。主機裝置耦接該感測器電路、該第一喇叭和該第二喇 叭,包含一辨識電路、一控制電路和一音訊傳輸電路。辨識電路設置為可從該音場環境資訊中辨識出一使用者並判斷該使用者在該目標空間中的一使用者位置。控制電路耦接該辨識電路,設置為可將該使用者位置動態地指派為一目標聆聽點。音訊傳輸電路耦接該控制電路、該第一喇叭和該第二喇叭,設置為可傳輸音訊。其中,該感測器電路包含一攝影機,設置為可捕捉該目標空間的一音場環境影像。該辨識電路分析該音場環境影像而獲取該目標空間中一環境物件的空間配置資訊和聲學屬性資訊。該控制電路將該目標空間對應至一物件基底空間,並依據該環境物件對應地在該物件基底空間中建立一補償音源物件。該補償音源物件的一中繼資料包含:該環境物件的座標位置、大小,以及對聲音的反射率和吸收率。該控制電路依據該目標聆聽點和該中繼資料進行一物件基底補償運作,抵消該環境物件對該目標聆聽點的干擾而產生對該目標聆聽點優化的一第一聲道音訊和一第二聲道音訊。該控制電路透過該音訊傳輸電路分別地輸出該第一聲道音訊和該第二聲道音訊至對應的該第一喇叭和該第二喇叭。
本說明書提供一種音響系統的實施例,可動態地依據使用者位置優化播放效果,其中音響系統包含一感測器電路,一第一喇叭和一第二喇叭,以及一主機裝置。該感測器電路設置為可動態地感測一目標空間而產生一音場環境資訊。該第一喇叭和該第二喇叭設置為可播放音訊。該主機裝置耦接該感測器電路、該第一喇叭和該第二喇叭,包含一辨識電路、一控制電路、一音訊傳輸電路和一人機介面電路。該辨識電路設置為可從該音場環境資訊中辨識出一使用者並判斷該使用者在該目標空間中的一使用者位置。該控制電路耦接該辨識電路,設置為可將該使用者位置動態地指派為一目標聆聽點。該音訊傳輸電路耦接該控制電路、該第一喇叭和該第二喇叭,設置為可傳輸音訊。該人機介面電路耦接該控制電路,設置為可運行一 配置程序,而獲取該目標空間中一環境物件的空間配置資訊和聲學屬性資訊。其中,該控制電路依據該目標聆聽點,及該環境物件的空間配置資訊及聲學屬性資訊,進行一通道基底補償運作以產生對該目標聆聽點優化的一第一聲道音訊和一第二聲道音訊。該控制電路透過該音訊傳輸電路分別地輸出該第一聲道音訊和該第二聲道音訊至對應的該第一喇叭和該第二喇叭。
本說明書提供一種音響系統的實施例,可動態地依據使用者位置優化播放效果,其中音響系統包含一感測器電路,一第一喇叭和一第二喇叭,以及一主機裝置。該感測器電路設置為可動態地感測一目標空間而產生一音場環境資訊。該第一喇叭和該第二喇叭設置為可播放音訊。該主機裝置耦接該感測器電路、該第一喇叭和該第二喇叭,包含一辨識電路、一控制電路、一音訊傳輸電路和一人機介面電路。該辨識電路設置為可從該音場環境資訊中辨識出一使用者並判斷該使用者在該目標空間中的一使用者位置。該控制電路耦接該辨識電路,設置為可將該使用者位置動態地指派為一目標聆聽點。該音訊傳輸電路耦接該控制電路、該第一喇叭和該第二喇叭,設置為可傳輸音訊。該人機介面電路耦接該控制電路,設置為可運行一配置程序,而獲取該目標空間中一環境物件的空間配置資訊和聲學屬性資訊。其中,該控制電路將該目標空間對應至一物件基底空間,並依據該環境物件對應地在該物件基底空間中建立一補償音源物件。該補償音源物件的一中繼資料包含:該環境物件的座標位置、大小,以及對聲音的反射率和吸收率。該控制電路依據該目標聆聽點和該中繼資料進行一物件基底補償運作,抵消該環境物件對該目標聆聽點的干擾而產生對該目標聆聽點優化的一第一聲道音訊和一第二聲道音訊。該控制電路透過該音訊傳輸電路分別地輸出該第一聲道音訊和該第二聲道音訊至對應的該第一喇叭和該第二喇叭。
上述實施例的優點之一,是音響系統可透過感測器動態地追蹤使用 者位置,並持續地針對使用者位置優化播放效果。使用者不需要為了獲得最佳體驗而去遷就固定的聆聽位置。
上述實施例的另一優點,是音響系統可辨識目標空間中的環境物件,並據以調整聲道音訊以抵消環境物件的干擾。
本發明的其他優點將搭配以下的說明和圖式進行更詳細的解說。
100:音響系統(audio system)
110:第一喇叭(first speaker)
112:第一聲道音訊(first channel signal)
120:第二喇叭(second speaker)
122:第二聲道音訊(second channel signal)
130:主機裝置(host device)
131:儲存電路(storage circuit)
132:控制電路(control circuit)
133:人機介面電路(user interface circuit)
134:辨識電路(recognizer circuit)
135:音訊傳輸電路(audio transmission circuit)
136:通信電路(communication circuit)
140:感測器電路(sensor circuit)
150:用戶設備(user equipment)
160:遠端資料庫(remote database)
170:目標空間(target space)
171:第一位置(first position)
172:第二位置(second position)
173:移動軌跡(movement trail)
175:環境物件(ambient object)
180:使用者(user)
202~218:流程(operation)
312~316:流程(operation)
410:流程(operation)
600:目標空間(target space)
601:第一位置(first location)
602:第二位置(first location)
610:攝影機(camera)
620:紅外線感測器(infrared sensor)
630:無線偵測器(radio detector)
700:目標空間(target space)
800:目標空間(target space)
902~910:流程(operation)
1002~1012:流程(operation)
1100:目標空間(target space)
1103:物件移動軌跡(movement trail)
1105:虛擬音源物件(virtual audio object)
1110:第一喇叭(first speaker)
1120:第二喇叭(second speaker)
1130:第三喇叭(third speaker)
1140:第四喇叭(fourth speaker)
P0:原點(original point)
P1:第一位置(first position)
P1’:新第一位置(new first position)
P2:第二位置(second position)
1200:目標空間(target space)
1201:目標聆聽點(target listening spot)
1203:移動軌跡(movement trail)
1210:第一喇叭(first speaker)
1212:第一聲道輸出(first channel output)
1220:第二喇叭(second speaker)
1222:第二聲道輸出(second channel output)
1230:第三喇叭(third speaker)
1240:第四喇叭(fourth speaker)
1250:第五喇叭(fifth speaker)
1252:第五聲道輸出(fifth channel output)
1260:第六喇叭(sixth speaker)
1262:第六聲道輸出(sixth channel output)
1304~1312:流程(operation)
圖1為本發明一實施例的音響系統的功能方塊圖。
圖2為本發明一實施例的動態音效優化方法流程圖。
圖3為本發明一實施例的動態音效優化方法流程圖。
圖4為本發明一實施例的動態音效優化方法流程圖。
圖5為本發明一實施例的動態音效優化方法流程圖。
圖6為本發明一目標空間示意圖,用於說明依據最佳聆聽點的位置計算音訊調整量的實施例。
圖7為本發明一目標空間示意圖,用於說明依據環境物件的吸收率計算音訊調整量的實施例。
圖8為本發明一目標空間示意圖,用於說明依據環境物件的反射率計算音訊調整量的實施例。
圖9為本發明一實施例的主機裝置辨識物件的流程圖。
圖10為本發明一實施例的音訊處理方法流程圖,說明依據環境物件的位置關係計算輸出補償值的實施例。
圖11為本發明一目標空間示意圖,用於說明以物件基底補償運作優化音場的實施例。
圖12為本發明一目標空間示意圖,用於說明以物件基底補償運作優化音場的實施例。
圖13為本發明一實施例的物件基底補償運作流程圖。
以下將配合相關圖式來說明本發明的實施例。在圖式中,相同的標號表示相同或類似的元件或方法流程。
圖1為本發明一實施例的音響系統100的功能方塊圖。
音響系統100主要由一主機裝置130和多個喇叭構成。主機裝置130可控制多個喇叭而播放音訊。主機裝置130可以是電腦主機、準系統、嵌入式系統,或客製化的數位音訊處理設備。主機裝置130中包含一通信電路136,使主機裝置130可與一用戶設備150進行有線或無線連接,而做為音源訊號或資料的輸入管道。
用戶設備150可以是手機、電腦、電視棒,遊戲機,或其他的音訊源提供裝置,透過通信電路136提供音樂或聲音串流給主機裝置130。更進一步地說,音響系統100可利用通信電路136與用戶設備150或其他多媒體設備協同運作,而形成一套同時具有視頻功能和音頻功能的家庭劇院系統。舉例來說,目標空間170中還可包含一投影幕、螢幕或顯示器(未繪示),受到用戶設備150的控制而顯示畫面。又例如,用戶設備150可以是一頭戴式虛擬實境設備。使用者180可站在目標空間170中並透過用戶設備150看到畫面,而主機裝置130可受到用戶設備150的控制,而隨著畫面同步地播放音頻。本實施例中的通信電路136,可以是,但不限定於是高畫質多媒體介面(High Definition Multimedia Interface;HDMI)、數位傳輸介面(Sony/Philips Digital Interface Format;SPDIF)、無線區域網路模組,乙太網路模組,短波射頻收發器、或藍牙低功耗(Bluetooth Low Energy;BLE)第4版或第5版的演進應用、或通用序列埠(Universal Serial Bus)。
主機裝置130中還包含一音訊傳輸電路135,用於連接多個喇叭,並分別輸出多個聲道音訊使喇叭播放。主機裝置130透過音訊傳輸電路135控制多個喇叭的方式,可以是單向的數位或類比輸出,也可以是雙向的同步通信協議。音訊傳輸電路135和每一喇叭之間的連 結方式,可以是有線介面、無線介面或兩者的混合應用。有線介面可以是,但不限定是複合影音端子、數位傳輸介面,或高畫質多媒體介面。無線介面可以是,但不限定是無線區域網路、短波射頻收發器、或藍牙低功耗第4版或第5版的演進應用。在進一步衍生的實施例中,由於音訊傳輸電路135和通信電路136在功能定位上皆為與外部元件連接的介面,在衍生的實作中可以是整合在一起的多功能雙向傳輸介面模組。音訊傳輸電路135和通信電路136採用各種公開的標準傳輸技術來實現元件之間的連接和傳輸,可增加音響系統100的未來功能擴充性,並減少元件損壞時的替換成本。
圖1中的目標空間170可以理解為一個可供使用者180使用音響系統100的三維立體空間。每個喇叭可配置在目標空間170中的不同位置,對應地播放一個聲道音訊。多個喇叭的圍繞配置,可以在一目標空間170中創造一個環繞音場環境。喇叭的數量和配置方式存在多種標準規格。舉例來說,在一個5.1聲道的環繞音響系統中,包含了兩個前置喇叭、一個中置喇叭、兩個環繞聲道喇叭,以及一個重低音喇叭,以包圍一目標聆聽點的方式創造出一環繞音場空間,共同向該目標聆聽點播放聲音。在一個7.1聲道的環境音響系統中,進一步地在該目標聆聽點的後面多配置一對後環繞聲道喇叭,可提供更加立體的音場效果。近年來還出現5.1.2聲道和7.2.2聲道等新規格,包含了更多的喇叭數量和特定方向的聲道配置,可達到更逼真的「全景聲」、「天空音效」或「地板音效」等效果。為了方便說明本實施例的音響系統100的技術特徵,圖1中僅繪示第一喇叭110和第二喇叭120為代表。其中,第一喇叭110接收並播放由主機裝置130提供的第一聲道音訊112,而第二喇叭120接收並播放由主機裝置130提供的第二聲道音訊122。必須理解的是,在實作中,本實施例的音響系統100並不限定於只能應用兩個喇叭,而是可應用於2.1聲道、4.1聲道、5.1聲道、7.2聲道或更多聲道的規格配置。目標空間170中 的每個喇叭,可分別具有不同的音頻輸出規格。舉例來說,有的喇叭擅長輸出重低音,有的喇叭擅長輸出中高音。主機裝置130可依照不同喇叭規格而在目標空間170中規畫出各種不同特性的音場環境。
在說明書及申請專利範圍中所指稱的「聲道」一詞,泛指各種實體聲道和邏輯聲道。邏輯聲道指的是在系統內部傳輸的音訊資料流,而實體聲道指的是每一喇叭藉以播放的訊號來源。在本實施例中,每個喇叭對應播放出來的第一聲道音訊112和第二聲道音訊122,屬於實體聲道,可以是一或多個邏輯聲道向下混音(down-mix)而產生的結果。舉例來說,一副耳機只有兩個喇叭,但可以同時聽見多個應用程式產生的音效。換句話說,多個應用程式的音效資料,可由系統向下混音為兩個實體聲道,並透過兩個喇叭播放為可聽聲音。因此,本實施例中的第一聲道音訊112和第二聲道音訊122,不限定為只包含單一邏輯聲道的音訊信號,也可以是多個邏輯聲道依據預定的比例混合產生的音訊信號。
在圖1中,第一喇叭110和第二喇叭120配置在一目標空間170的兩側,對該目標空間170中的一目標聆聽點播放聲音。目標聆聽點可以理解為該音響系統100的播放效果最優化的位置。在一些音響系統中,又將目標聆聽點稱為聆聽甜蜜點(Listening Sweet Spot)。在大部份的情況下,目標聆聽點通常位於目標空間170的特定區域,例如中心點、軸線上、切平面上,或是多個喇叭的等效音量中心。在圖1中,以使用者180所在的第一位置171,來表示該目標空間170的目標聆聽點。當使用者180從第一位置171沿著移動軌跡173移動到第二位置172時,由於使用者180遠離了第一喇叭110而接近了第二喇叭120,使用者180所接收到的聆聽效果產生了偏差。傳統的音響系統無法追蹤使用者180的移動而對應地調整第二位置172收到的聆聽效果,而本實施例提議的解決方案將於後詳述。
另一方面,目標空間170中通常會包含一些環境物件175,例如沙發、桌子、窗廉、牆壁、天花板、地板。這些環境物件175隨著材質、大小和位置的不同,會對第一喇叭110和第二喇叭120播放的聲音產生不同程度的干擾反應。舉例來說,布質沙發或窗廉會吸收聲音,大理石地板或牆壁會反射聲音。換句話說,環境物件175的存在,會影響目標聆聽點收到的第一聲道音訊112和第二聲道音訊122。傳統的音響系統不具備辨識目標空間170中的環境物件175的能力,也不具備依據環境物件175的大小、材質、位置而補償第一聲道音訊112和第二聲道音訊122的功能。本實施例的音響系統100可計算並消除目標空間170中所有的環境物件175對第一聲道音訊112和第二聲道音訊122的干擾。為了方便說明,本實施例的圖1中僅繪示一個環境物件175來解釋音響系統100的運作方式。然而,必須理解的是,圖1的目標空間170中並非用以限定只能有一個環境物件175。解決環境物件175干擾的方案將於後詳述。
本實施例的主機裝置130中還包含一儲存電路131。儲存電路131可包含非揮發性記憶體,用於儲存主機裝置130運作所需的相關作業系統、應用軟體或韌體。儲存電路131中也可包含揮發性記憶體,用於做為控制電路132的運算記憶體。本實施例的主機裝置130中還包含一控制電路132。控制電路132可以是中央處理器、數位訊號處理器、或微控制器。控制電路132可從儲存電路131中讀取預存的作業系統、軟體或韌體而控制主機裝置130、第一喇叭110和第二喇叭120,以執行音訊播放運作。更進一步地說,本實施例的主機裝置130利用控制電路132進行一系列的音場補償運算,以動態地優化播放效果,解決傳統音響系統無法克服的缺點。
為了動態地優化目標聆聽點上的播放效果,本實施例的音響系統100包含了一感測器電路140,設置為可動態地感測一目標空間170而產生一音場環境資訊。感測器電路140可以是位於主機裝置130外 部的元件,耦接至主機裝置130。感測器電路140可以是由攝影機610、紅外線感測器620、無線偵測器630其中之一或多者的搭配組合。感測器電路140所捕捉的音場環境資訊的型式,可隨著感測器電路140的實作方式而有不同組合。舉例來說,音場環境資訊可以是包含使用者和環境物件的影像、圖片、熱成像、無線電波造影其中之一或多者的搭配組合。在一實施例中,感測器電路140設置在目標空間170的周圍。可以理解的是,雖然圖1中只繪示了一個感測器電路140,但在實作時,音響系統100可包含多組感測器電路140,分別配置在目標空間170周圍的不同位置,以獲得更精準的音場環境資訊。
在本實施例的主機裝置130中,包含一辨識電路134,耦接該感測器電路140。辨識電路134可從該音場環境資訊中辨識出影響音場的關鍵資訊,使控制電路132據以動態地調整從第一喇叭110和第二喇叭120播放的第一聲道音訊112和第二聲道音訊122。舉例來說,辨識電路134可從該音場環境資訊中辨識出一使用者並判斷該使用者在該目標空間中的一使用者位置。由於感測器電路140提供的音場環境資訊可以有多種不同型式的組合,辨識電路134也可以對應地實作不同的辨識技術方案。舉例來說,當音場環境資訊是影像時,辨識電路134可採用人工智慧的辨識技術,來分辨影像中的使用者。透過人工智慧的應用,辨識電路134分析出影像中的使用者後,還可進一步地定位使用者頭部、臉部、甚至耳朵位置。若是感測器電路140可提供具有空間深度的三維影像、紅外線熱成像、或無線訊號等多元化資訊,將有助於辨識電路134獲得更精準的辨識結果。
主機裝置130為了計算環境物件175對音場環境造成的干擾程度,需要環境物件175的空間配置資訊和聲學屬性資訊。空間配置資訊可以包含環境物件175的大小、位置、形狀、以及各種外型特徵。聲學屬性資訊可包含對聲音的吸收率、反射率、及共振頻率等材質相 關特徵。在一實施例中,辨識電路134可在辨識音場環境資訊時,進一步從音場環境資訊中辨識出目標空間170中的環境物件175的空間配置資訊,並查找聲學屬性資訊。為了辨識環境物件,需要物件資料庫。在一實施例中,主機裝置130中的儲存電路131還可用來儲存一物件資料庫。物件資料庫可包含用於辨識環境物件的各種外型特徵資訊,以及每個環境物件對應的各種聲學屬性資訊。例如,當主機裝置130需要計算一環境物件175對音場環境造成的干擾程度時,可先透過辨識電路134分析出環境物件175的物件名稱,再由主機裝置130讀取儲存電路131而查找該環境物件175對應的吸收率及反射率。
在實作中,辨識電路134可以是客製作的處理器晶片,搭配儲存電路131中既存的作業系統、軟體或韌體而執行人工智慧的辨識功能。辨識電路134也可以是控制電路132的其中一個核心或執行緒電路,執行儲存電路131中既存人工智慧軟體產品而實現辨識功能。辨識電路134也可以是特定人工智慧軟體產品的記憶體模塊,受到控制電路132的執行而完成辨識的功能。
主機裝置130中的人機介面電路133,可供使用者控制主機裝置130的運作。人機介面電路133可包含顯示屏幕、按鍵、轉盤、或觸控屏,可供使用者進行基本的音響系統100控制功能,例如調整音量、播放、及快進倒退等。在一實施例中,控制電路132也可透過人機介面電路133執行一配置程序,以供使用者設定各種音場情境,或將目標空間170中的環境物件175空間配置資訊告訴主機裝置130。舉例來說,在該配置程序中,控制電路132利用人機介面電路133接收使用者輸入的物件配置資料,例如一或多個環境物件175的物件名稱、類型、大小和位置。在控制電路132獲得這些空間配置資訊後,再從儲存於儲存電路131中的物件資料庫中查找對應的吸收率和反射率,以便後續的音場補償運作。在進一步衍生的實施例中, 人機介面電路133也可以是由用戶設備150提供。使用者可利用用戶設備150操作該配置程序,最後用戶設備150透過通信電路136將設置結果傳送給控制電路132。
主機裝置130還可透過通信電路136連接至一遠端資料庫160。在進一步的實施例中,原本利用儲存電路131儲存的物件資料庫,也可以透過遠端資料庫160來儲存。當主機裝置130需要計算一環境物件175對音場環境造成的干擾程度時,可先透過辨識電路134分析音場環境資訊而獲得一物件特徵值,再利用通信電路136接入遠端資料庫160,查找出符合該物件特徵值的一環境物件175,並獲得該環境物件175的音場屬性資訊。遠端資料庫160可以是位於雲端或其他系統中的服務器,與主機裝置130之間通過有線或無線的雙向網路通信技術而連線。遠端資料庫160除了可提供查找功能,也可以接受更新資料的上傳,以持續擴充資料庫內容。舉例來說,主機裝置130可利用結構式查詢語法(Structured Query Language;SQL)與遠端資料庫160溝通。
基於圖1的系統架構,本申請所提出的音響系統100可實現至少下列技術效果。首先,音響系統100可動態追蹤使用者位置,做為目標聆聽點。音響系統100還可動態地獲取環境物件的空間配置資訊,做為優化音場效果的依據。最後,音響系統100動態地根據使用者位置和環境物件的空間配置資訊,補償喇叭輸出,以消除物件干擾,優化目標聆聽點上的聆聽效果。動態追蹤使用者位置的實施方式可採用攝影機、紅外線感測器、或無線定位等多元技術方案。獲取環境物件的空間配置資訊的實施方式可以是自動進行或手動進行。舉例來說,音響系統100可利用攝影機捕捉影像並進行人工智慧辨識、或透過一配置程序讓使用者手動輸入現場的環境狀況。補償喇叭輸出的實施方式可以基於幾種不同演算法。舉例來說,本說明書介紹了通道基底(Channel Base)算法和物件基底(Object Base)算法。
以下以圖2說明音響系統100動態追蹤使用者位置,利用攝影機獲取音場環境配置,並以通道基底補償運作補償喇叭輸出的實施例。
圖2為本發明一實施例的動態音效優化方法流程圖。
在圖2的流程圖中,位於一特定裝置所屬欄位中的流程,即代表由該特定裝置所進行的流程。例如,標記在「感測器電路」欄位中的部分,是由感測器電路140所進行的流程;標記在「主機裝置」欄位中的部分,是由主機裝置130所進行的流程;標記在「喇叭」欄位中的部分,則是由第一喇叭110和/或第二喇叭120所進行的流程;其餘依此類推。前述的邏輯也適用於後續的其他流程圖中。
在流程202中,由感測器電路140動態地感測目標空間而產生音場環境資訊。在本實施例中,音場環境資訊可以是目標空間170中的光學、熱學、或電磁波資訊。舉例來說,感測器電路140可以包含一攝影機,以錄影的方式持續拍攝目標空間170的視頻,或是以拍照的方式週期性捕捉目標空間170的靜態照片。在另一實施例中,該感測器電路140還可包含一紅外線感測器,設置為可捕捉該目標空間中的一熱成像資料。紅外線感測器所產生的熱成像資料,除了包含空間深度的資訊,對溫度變化也極為敏感,因此特別適合用來追蹤使用者位置。在另一實施例中,該感測器電路140還可包含一無線偵測器,設置在該目標空間中,並偵測一電子裝置的無線訊號。當一使用者手持著一個電子裝置時,無線偵測器可偵測該電子裝置的信標時間差或無線訊號強弱,做為追蹤使用者位置的輔助手段。該電子裝置可以是使用者自己的手機,特製的信標產生器,頭戴式虛擬實境設備、遊戲手把、或音響系統100的遙控器。可以理解的是,本實施例並不限定感測器電路140的數量,也不限定一次只能使用一種感測方案。舉例來說,本實施例的音響系統100可採用多個感測器電路140從不同的位置協同運作,或是同時採用一或多個 攝影機、紅外線感測器和無線偵測器。藉此,主機裝置130可以獲得更完整的音場環境資訊,並在後續程序中獲得更精準的辨識結果。
在流程204中,感測器電路140將感測到的音場環境資訊傳送給主機裝置130。感測器電路140可以是持續性的傳送資料,例如視頻,或是週期性的回傳靜態資料。感測器電路140傳送資料的頻率可依據音場環境資訊的信息量、追蹤精確度要求、和主機裝置130的計算能力而自適應地決定。感測器電路140和主機裝置130之間,可以是透過專屬線路連接,或是透過通信電路136連線。在進一步衍生的實施例中,感測器電路140可與喇叭共用音訊傳輸電路135,藉以透過音訊傳輸電路135傳送音場環境資訊給主機裝置130。
在流程206中,主機裝置130依據從感測器電路140收到的音場環境資訊判斷使用者位置。主機裝置130中的辨識電路134可對音場環境資訊執行辨識程序,例如應用人工智慧。隨著感測器電路140的感測方案不同,辨識電路134的辨識演算法也對應地的不同。可以理解的是,目標空間170和使用者位置可以二維空間或三維空間來表示。若是音響系統100中只實作了單一感測器電路140,至少可以感知二維空間的位置信息。若是音響系統100在實作中增加感測器電路140的數量或混合多元感測方案,可獲得三維空間的深度資訊而更精確的判斷使用者位置或使用者頭部位置。在一實施例中,辨識電路134可依據攝影機捕捉的音場環境影像,動態地辨識該使用者的頭部位置、臉部方向、或耳朵位置。在另一實施例中,辨識電路134可分析紅外線感測器產生的熱成像資料的移動軌跡,以動態地判斷使用者180的位置。又例如,辨識電路134可依據無線偵測器偵測到的無線訊號的特徵,動態地定位電子裝置在目標空間170中的一座標值。藉著該座標值,控制電路132可進一步地推測使用者耳朵位置。
在流程208中,主機裝置130中的辨識電路134分析出使用者位置後,主機裝置130中的控制電路132動態地將使用者位置指派為目標聆聽點。為了便於描述後續的實施例,在此將目標空間170描述為一個二維座標空間或三維座標空間,而目標聆聽點可以表示為目標空間170中的一座標值。隨著多個喇叭的布局方式不同,目標聆聽點的範圍可以不止是單一點,也可以是一個面、或具有長寬高的立體區域範圍。舉例來說,在辨識電路134分析出使用者頭部位置或耳朵位置後,控制電路132可將使用頭部位置或耳朵位置指派為目標聆聽點。控制電路132會透過後續的補償運作,使目標聆聽點獲得的播放效果不受使用者移動的影響。在實作中,控制電路132是透過調整第一聲道音訊112和第二聲道音訊122來補償目標聆聽獲得的聆聽效果。可以理解的是,流程208可能是隨著使用者位置的改變而動態的執行。因此,流程208並不限定是照著圖2所繪示的順序執行。換句話說,目標聆聽點可隨著使用者位置改變而即時更新。具體的調整運算將於後述。
在流程210中,主機裝置130中的辨識電路134還對感測器電路140提供的音場環境資訊進行進一步的辨識,而獲取目標空間170中的環境物件的空間配置資訊。換句話說,感測器電路140提供的音場環境資訊,不止是可用來判斷使用者位置,也可用來判斷目標空間170中存在的各種環境物件175。在一實施例中,該感測器電路140中的攝影機捕捉該目標空間170的一音場環境影像後,該辨識電路134分析該音場環境影像,從該目標空間170中辨識出一或多個環境物件175,以及這些環境物件175的空間配置資訊。空間配置資訊包含環境物件175的大小、位置、形狀、外觀特徵。辨識電路134還可透過人工智慧的演算或資料庫的檢索而判斷每一環境物件175的聲學屬性資訊,例如對聲音的吸收率和反射率。在進一步衍生的實施例中,辨識電路134還可根據音場環境影像判斷目標空間170的應用 場景類別。應用場景類別可以包含劇院、客廳、浴室、戶外等。如果主機裝置130知道目標空間170的應用場景類別,可以更快速地辨識目標空間170中的環境物件175而減少誤判。相關實施例將在圖9中說明。
在流程212中,主機裝置130中的控制電路132可計算喇叭對目標聆聽點的播放效果受環境物件影響的程度。一喇叭對目標聆聽點的播放效果,可以定義為該目標聆聽點上從該喇叭所接收到的等效音量(Equal loudness)或聲壓值(Sound Pressure Level;SPL)。在ISO226標準中定義了一個等響曲線(Fletcher-Munson Curve),說明使用者在不同的子頻帶下感知到的等效音量,其實對應的是不同的聲壓值。在一實施例中,控制電路132可採用等響曲線做為播放效果的標準參考基準,計算各種情況對目標聆聽點所接收到的聲壓值。控制電路132可利用環境物件175的空間配置資訊和聲學屬性資訊來評估環境物件175對目標聆聽點造成的干擾,以便進一步計算消除干擾的方法。環境物件175的空間配置資訊和屬性資訊的影響包含許多種情境。舉例來說,環境物件175體積越大,對目標聆聽點的干擾係數可能越大。環境物件175的位置是否阻擋使用者180和喇叭,也決定了喇叭受影響的程度。環境物件175隨著材質不同,可能會吸收聲音或反彈聲音。因此控制電路132需要針對不同的聲學屬性選用對應的參數或公式來計算喇叭受影響的程度。
在流程214中,主機裝置130中的控制電路132採用通道基底補償運作,分別計算每一喇叭的聲道音訊需要的輸出補償值。通道基底補償運作在判斷對目標聆聽點的播放效果時,是以每一聲道音訊為單位分開計算的。以多個喇叭中的一第一喇叭110所播放的一第一聲道音訊112為例,在第一聲道音訊112透過空氣傳送到目標聆聽點之前,可能受到一環境物件175干擾而損失能量。目標聆聽點的位置改變,也會影響到第一聲道音訊112在目標聆聽點上產生的聲壓值。 通過通道基底補償運作,控制電路132可算出第一聲道音訊112在目標聆聽點上的聲壓值改變量。本實施例的控制電路132為第一聲道音訊112加入輸出補償值,以抵消所述的聲壓值改變量,使目標聆聽點收到的第一聲道音訊112還原至受到影響之前的狀態。換句話說,輸出補償值具有與聲壓值改變量相同的數值,但是相反的正負極性。
在流程216中,控制電路132依據輸出補償值調整並輸出聲道音訊給喇叭。由於調整後的聲道音訊已抵消使用者180在目標空間170中的位移影響和環境物件175造成的干擾,使用者180感受到的聆聽效果保持一致。以目標空間170中的第一喇叭110和第二喇叭120為例,控制電路132計算並調整第一聲道音訊112和第二聲道音訊122中的不同子頻帶的聲壓值,藉此抵消使用者180因移動感受到的等效音量偏差。另一方面,該控制電路(132)依據環境物件175的位置、大小、及聲學屬性資訊對該目標聆聽點造成的聲壓值改變量,對應地補償第一聲道音訊112和第二聲道音訊122。
在流程218中,由每一喇叭透過音訊傳輸電路135對應地從主機裝置130接收聲道音訊。以目標空間170中的第一喇叭110和第二喇叭120為例,控制電路132透過音訊傳輸電路135分別地輸出第一聲道音訊112和第二聲道音訊122至對應的第一喇叭110和第二喇叭120。於是,第一喇叭110和第二喇叭120對應地播放調整後的第一聲道音訊112和第二聲道音訊122,使使用者180所在的目標聆聽點獲得優化的聆聽效果。為便於說明,圖1的目標空間170的實施例中僅繪示了兩個喇叭和一個環境物件175。然而,可以理解的是,在實作中,主機裝置130中可包含不止兩個喇叭,而環境物件175的數量也不限於一個。在進一步衍生的實施例中,每一喇叭擅長輸出的音頻範圍可能是不同的。例如有的喇叭是中高音喇叭,有的喇叭是重低音喇叭。 控制電路132在調整聲道音訊的時候,還可進一步的根據不同喇叭的特性而調整對應輸出的第一聲道音訊112和第二聲道音訊122。
以下以圖3說明音響系統100動態追蹤使用者位置,利用攝影機獲取音場環境配置,並以物件基底補償運作補償喇叭輸出的實施例。
圖3為本發明一實施例的動態音效優化方法流程圖。
在圖3的流程圖中,位於一特定裝置所屬欄位中的流程,即代表由該特定裝置所進行的流程。例如,標記在「感測器電路」欄位中的部分,是由感測器電路140所進行的流程;標記在「主機裝置」欄位中的部分,是由主機裝置130所進行的流程;標記在「喇叭」欄位中的部分,則是由第一喇叭110和/或第二喇叭120所進行的流程;其餘依此類推。前述的邏輯也適用於後續的其他流程圖中。
圖3中的流程202、204、206、208及210與前實施例相同,為節省篇幅,不再重複說明。
在本實施例的音響系統100完成流程210時,控制電路132已追蹤使用者180的位置並指派為目標聆聽點,並且也獲得了目標空間170中的一或多個環境物件175的空間配置資訊。接著以後續流程說明物件基底補償運作,來調整每一喇叭的聲道音訊。
物件基底(Object Based)聲學系統起源於虛擬實境的混音技術,能利用有限數量的實體喇叭模擬出音源物件移動的效果。現存的一些軟體產品,例如杜比音場產品(Dolby Atmos)、空間音訊工作站(Spatial Audio Workstation)、或數位空間實境(DSpatial Reality)等都屬於物件基底的聲學系統。使用者可透過一人機介面在一虛擬空間中定義音源物件的移動軌跡。而物件基底系統可利用實體喇叭模擬出該虛擬空間中的音源物件的聲音效果。位於目標聆聽點的使用者,藉此可真實地感受到音源物件在空間中移動。
物件基底聲學系統是建立在大量聲學參數的陣列運算上。每一音源物件具有一中繼資料,用於描述該音源物件的類型、位置、大小 (長寬高)、發散度(divergence)等。經過物件基底的陣列運算後,一音源物件所代表的聲音將會被指派至一或多個喇叭而共同播放,每一喇叭相對播放該音源件的一部份的聲音。換句話說,物件基底的陣列運算可利用多個喇叭來模擬一個音源物件的空間效果。圖3的實施例提出基於物件基底聲學系統的一物件基底補償運作,來解決傳統的播放效果問題。
在流程312中,主機裝置130中的控制電路132依據環境物件175建立物件基底的補償音源物件。在實作中,該控制電路132會先將目標空間170對應至虛擬實境的一物件基底空間中,再依據環境物件175對應地在該物件基底空間中建立一補償音源物件,用於產生抵消該環境物件175的音源效果。對位於目標聆聽點上的使用者180而言,環境物件175的存在也可以類比為一個音源物件。在實際應用場合中,環境物件175可能將一喇叭發出的聲音反射至該目標聆聽點。環境物件175也可能阻擋或吸收一部份聲音,使一喇叭對該目標聆聽點發出的聲音受到衰減。換句話說,本實施例的控制電路132將環境物件175類比為音源物件後,就能對應地在該物件基底空間中建立具有相反音源效果的負音源物件,做為抵消干擾的手段。在本實施例所述的音源效果,可以是針對目標聆聽點產生的聲壓值、等效音量,或增益值。
在流程314中,主機裝置130將補償音源物件代入物件基底補償運作而產生聲道音訊。物件基底補償運作可利用現有的物件基底聲學產品中的物件基底陣列運算模組,依據音源物件的中繼資料,進行大量與聲學交互作用相關的陣列運算。舉例來說,該補償音源物件的一中繼資料包含:該環境物件175的座標位置、大小,以及對聲音的反射率和吸收率。控制電路132依據該目標聆聽點和該中繼資料進行一物件基底補償運作,抵消環境物件175對該目標聆聽點的干 擾而產生對該目標聆聽點優化的第一聲道音訊112和第二聲道音訊122。
在一實施例中,物件基底補償運作是分別在多個子頻帶上進行的。由於聲音傳遞的特性,每一子頻帶上的聲壓值對等效音量的影響是不同的。以第一喇叭110產生的第一聲道音訊112對環境物件175的影響為例,本實施例的控制電路132可依據環境物件175的座標位置、大小,以及對聲音的反射率和吸收率,分別在多個子頻帶上計算環境物件175受第一聲道音訊112影響而被動產生的一音源效果。接著控制電路132依據該音源效果建立該補償音源物件。在本實施例中,補償音源物件是依據環境物件175而對應建立,其中繼資料具有與該環境物件175相同的座標位置、大小,以及對聲音的反射率和吸收率,但是產生的音源效果的正負號與環境物件175的相反。
已知人耳可聽範圍在20赫茲(Hz)到20000Hz之間。本實施例可將人耳可聽範圍切成多個子頻帶區間而分別補償。每個子頻帶的區間大小,可以是指數區間。例如,以10為底的指數區間,可將聲音訊號區分為10Hz到100Hz、100Hz到1000Hz、1000Hz到10000Hz等多個子頻帶範圍。在其他的實施例中,也可以依據播放品質的精細度的需求,以2為底或4為底來切分指數區間。在音訊處理領域的等化器(Equalizer)中已存在切割多個子頻帶的處理技術,在此不再深入解釋。
在控制電路132獲得該補償音源物件的該負音源效果後,運行一物件基底補償運作,將該負音源效果按照該混音運作結果決定的比例,對應地混入第一聲道音訊112和第二聲道音訊122中,而藉此抵消環境物件175對該目標聆聽點的干擾。關於物件基底補償運作,將於圖11至圖13的實施例中詳述。
在流程316中,主機裝置130依照流程314的運算結果,將第一聲道音訊112和第二聲道音訊122對應地輸出給第一喇叭110和第二喇叭 120。圖3的流程316與圖2實施例的流程216不同。圖2是針對既有的聲道音訊計算補償值,而去調整既有的聲道音訊。圖控制電路132在進行物件基底補償運作時,直接依照所有的中繼資料而一次計算出每一喇叭對應的聲道音訊。物件基底補償運作,將需要被抵消或補償的干擾成份,以補償音源的型式混入聲道音訊中。換句話說,因為聲道音訊中包含了補償音源物件發出的補償音源,使用者180在目標聆聽點上感受不到環境物件175的存在所造成的影響。
由流程316可知,物件基底補償運作將目標聆聽點和環境物件轉譯為物件基底聲學系統的中繼資料,並建立補償音源物件,簡化了消除干擾及優化播放效果的運算過程。需要理解的是,本實施例的音響系統100可利用感測器電路140即時或週期性地追蹤使用者180的位置而動態地更新目標聆聽點。控制電路132所進行的物件基底補償運作,也可隨著目標聆聽點的改變而同步更新目標空間170中所有和該目標聆聽點的相對位置有關的中繼資料。
圖3中的流程218,與前實施例相同,為節省篇幅,不再重複說明。
以下以圖4說明音響系統100動態追蹤使用者位置,運行配置程序獲取音場環境配置,並以通道基底補償運作補償喇叭輸出的實施例。
圖4為本發明一實施例的動態音效優化方法流程圖。
在圖4的流程圖中,位於一特定裝置所屬欄位中的流程,即代表由該特定裝置所進行的流程。例如,標記在「感測器電路」欄位中的部分,是由感測器電路140所進行的流程;標記在「主機裝置」欄位中的部分,是由主機裝置130所進行的流程;標記在「喇叭」欄位中的部分,則是由第一喇叭110和/或第二喇叭120所進行的流程;其餘依此類推。前述的邏輯也適用於後續的其他流程圖中。
圖4中的流程202、204、206、及208與前實施例相同,為節省篇幅,不再重複說明。
在本實施例的音響系統100完成流程210時,控制電路132已追蹤使用者180的位置並指派為目標聆聽點,並且也獲得了目標空間170中的一或多個環境物件175的空間配置資訊。接著要進行流程的是,使用物件基底演算法來調整每一喇叭的聲道音訊。
為了消除音場環境中的干擾,音響系統100需要取得目標空間170中各種環境物件175的空間配置資訊。
在流程410中,主機裝置130中的控制電路132可運行一配置程序而獲取目標空間170中的一或多個環境物件175的空間配置資訊。前實施例中,主機裝置130採用感測器電路140捕捉的音場環境資訊而自動辨識出環境物件175的空間配置資訊。在運行配置程序時,主機裝置130可利用一人機介面電路133與使用者互動,允許使用者手動輸入環境物件175的空間配置資訊。人機介面電路133可以提供一個畫面和一種輸入方式,讓使用者將目標空間170中各種物件的空間配置資訊定義在一個二維平面圖或三維立體圖中。環境物件175的空間配置資訊,可以包含環境物件175在目標空間170中的相對位置、大小、名稱、和材質種類。在進一步衍生的實施例中,使用者180可透過人機介面電路133告訴主機裝置130當下的目標空間170所屬的應用場景類別。在不同的應用場景中,例如開闊的室外空間、劇院空間、或浴室等,常見的環境物件175類型也不盡相同,使用者感受到的音場氛圍也不同。針對應用場景的不同而優化音場,也是音響系統100的重要功能之一。
不同的材質種類,具有不同的聲學屬性。主機裝置130運行該配置程序時,還進一步地依據使用者輸入的物件名稱或材質種類,查詢一物件資料庫而獲得環境物件175的聲學屬性資訊,例如對聲音的吸收率或反射率。藉此,主機裝置130可在後續的流程212中,依據前述空間配置資訊和聲學屬性資訊,計算每一喇叭對目標聆聽點的播放效果受環境物件175影響的程度。在進一步衍生的實施例中, 主機裝置130可依據目標空間170的應用場景類別,優先使用對應的物件資料庫而更快速地辨識目標空間170中的環境物件175。相關實施例將在圖9中說明。
圖4中的流程212,214,216及218與前實施例相同,為節省篇幅,不再重複說明。
圖4的實施例說明了音響系統100除了可動態追蹤使用者位置,還允許使用者180透過一配置程序而設定目標空間170中的環境物件175的空間配置資訊。該配置程序提供了手動輸入的管道,以彌補辨識功能不足之處。使用者除了透過主動輸入來協助主機裝置130進行更準確的判斷,還有機會可依據自己的偏好,刻意指定不同的應用場景類別,或是刻意設置想像中的虛擬音源物件來改變播放效果。主機裝置130會以通道基底補償運作,依據目標空間170中的環境物件175的空間配置資訊,計算每一喇叭對應的輸出補償值。
以下以圖5說明音響系統100動態追蹤使用者位置,運行配置程序獲取音場環境配置,並以物件基底補償運作補償喇叭輸出的實施例。
圖5為本發明一實施例的動態音效優化方法流程圖。
在圖5的流程圖中,位於一特定裝置所屬欄位中的流程,即代表由該特定裝置所進行的流程。例如,標記在「感測器電路」欄位中的部分,是由感測器電路140所進行的流程;標記在「主機裝置」欄位中的部分,是由主機裝置130所進行的流程;標記在「喇叭」欄位中的部分,則是由第一喇叭110和/或第二喇叭120所進行的流程;其餘依此類推。前述的邏輯也適用於後續的其他流程圖中。
圖5中的流程202、204、206、208及210與前實施例相同,為節省篇幅,不再重複說明。
與圖4的實施例類似,圖5的實施例為了消除音場環境中的干擾,運行了與圖4相同的流程410。
在流程410中,主機裝置130運行配置程序而獲取目標空間170中的一或多個環境物件175的空間配置資訊。在圖4的實施例中,說明了主機裝置130可透過一人機介面電路133,接收使用者手動輸入環境物件175的空間配置資訊。在進一步的衍生實施例中,主機裝置130也可利用通信電路136接收用戶設備150或其他裝置傳送而來的空間配置資訊。舉例來說,用戶設備150可以是一手機,運行有一應用程式,用以提供類似人機介面電路133的功能。該應用程式允許使用者定義目標空間170的範圍和大小、各喇叭相對該目標空間170的位置、各種環境物件175的位置、大小、名稱和類型,至是使用者180本身所在的位置。該應用程式還可透過通信電路136與控制電路132溝通,而進行各種播放運作,例如播放、暫停、快轉、調整音量等。此外,使用者可透過人機介面電路133設定目標空間170的應用場景類別,使主機裝置130對目標空間170產生多元化的播放效果。
在進一步衍生的實施例中,主機裝置130所連接的用戶設備150可能是一個虛擬實境裝置或遊戲機。用戶設備150產生音源訊號而使主機裝置130播放。而該音源訊號中可能包含在一虛擬實境空間中游走移動的虛擬物件,例如飛機或噴火龍。用戶設備150可將這些虛擬物件的中繼資料傳送至主機裝置130中,成為目標空間170的環境物件空間配置資訊的一部份。換句話說,主機裝置130可採用物件基底的聲學系統一視同仁地處理虛擬物件和實體物件。透過物件基底補償運作,主機裝置130可讓使用者感受到目標空間170中存在一虛擬物件,也可讓使用者感受不到目標空間170存在一實體物件的干擾。關於物件基底補償運作的實作,在圖11至13的實施例中有進一步的說明。
在本實施例的音響系統100完成流程410時,控制電路132已追蹤使用者180的位置並指派為目標聆聽點,並且也獲得了目標空間170中的一或多個環境物件175的空間配置資訊。接著在流程312至316中, 主機裝置130使用物件基底演算法來調整每一喇叭的聲道音訊。由於流程312至316,以及流程218,與前實施例相同,為節省篇幅,不再重複說明。
圖5的實施例說明了音響系統100除了可動態追蹤使用者位置,還允許使用者180透過一配置程序而設定目標空間170中的環境物件175的空間配置資訊。該配置程序可與既有的虛擬實境技術整合,接收虛擬物件的空間配置資訊。音響系統100將實體的環境物件和虛擬物件轉換為格式一致的中繼資料,再將所有中繼資料套用至既有的物件基底聲學系統的物件基底陣列運算模組中,以進行物件基底補償運作。藉此,控制電路132不需要為不同物件額外開發運算模組,可降低成本,提高執行效率。
以下以圖6說明感測器電路的幾種實施態樣,並說明通道基底的補償算法。
圖6為本發明一目標空間600示意圖,用於說明依據最佳聆聽點的位置計算音訊調整量的實施例。
本申請的音響系統100採用感測器電路140動態地感測目標空間600而產生音場環境資訊。音場環境資訊主要包含使用者180的位置,也可包含環境物件的空間配置資訊。動態感測的技術方案可以有多種選項。舉例來說,感測器電路140可以是由攝影機610、紅外線感測器620、無線偵測器630其中之一或多者的搭配組合,分別配置在目標空間600周圍的不同位置,提供具有空間深度的音場環境資訊以助於主機裝置130中的辨識電路134和控制電路132更有效率地追蹤使用者180位置。藉此,辨識電路134利用感測器電路140提供的音場環境資訊,不止是可以辨識出使用者180位置,還可辨識出臉部面對方向、耳朵位置,甚至手勢或身體姿態。可應用於調整音場的控制因素,因此而變得更加豐富。例如,專注偵測、睡眠偵測、手勢控制等。
在圖6的目標空間600中,配置有一第一喇叭110和一第二喇叭120。通道基底補償運作可分別針對每一喇叭而計算輸出補償值。在預設的情況下,目標聆聽點位於目標空間600的中心,即圖6中的第一位置601。第一位置601與第一喇叭110和第二喇叭120的距離同樣為R1。這時的第一喇叭110和第一聲道音訊112所播放的第一聲道音訊112和第二聲道音訊122也是處於預設狀態,不需要針對位置進行任何補償處理。
當使用者180從第一位置601沿著移動軌跡173移動到第二位置602時,感測器電路140偵測到使用者180的新位置,而將音響系統100的目標聆聽點指派為第二位置602。這時使用者180與第一喇叭110的距離改變為R2,而使用者180與第二喇叭120的距離改變為R2’。對使用者180而言,第一喇叭110變遠了,所以接收到的第一聲道音訊112因距離而衰減。相對的,第二喇叭120變近了,接收到的第二聲道音訊122增強了。換句話說,第二位置602上接收到的第一聲道音訊112和第二聲道音訊122的強度已經失去平衡。本實施例利用通道基底的算法,使第二位置602接收到的聆聽效果還原至與第一位置601相同的預設狀態。換句話說,控制電路132透過補償第一喇叭110和第二喇叭120所輸出的第一聲道音訊112和第二聲道音訊122,以抵消使用者180因移動而產生的聆聽效果偏差。圖6顯示的目標空間600並不限定於只適用於水平配置的多喇叭環境。在配置有上喇叭和下喇叭的三維音場環境中,也同樣會出現距離偏差的問題。舉例來說,如果使用者從站姿變成坐姿,就會遠離上喇叭,而接近下喇叭。
為了獲得較佳的補償效果,本實施例採用等效音量(Equal Loudness)做為計算標準。例如,本實施例可依據ISO226;2003協議所定義的等響曲線,計算目標聆聽點上需要補償的聲壓值。每一聲道音訊是切分成多個子頻帶分別處理。此外,隨著使用者180和喇叭的距離 不同,採用的音場公式也不同。由於等響曲線中定義的是等效音量與聲壓值的線性關係,而等效音量的和以「分貝」為單位的「增益值」又有線性對應關係。因此本實施例中不限定是以等效音量、聲壓值、或增益值其中任一者為單位而進行調整。
在音響系統100中,因空氣振動而傳遞聲音的空間稱為音場。由於反射作用存在,聲音在密閉的房間內,音場可區分為多種類型。(1)近音場(Near Field):當使用者180位於相對接近音源的位置,該音源的物理影響(如壓力、位移、振動)會使聲音增強作用。(2)反射音場(Reverberant Field):聲音經過物體反射後而造成波疊加效果。(3)自由音場(Free Field):不受到前述近音場和反射音場干擾的音場。以上反射音場及自由音場又可統稱為遠音場(Far Field)。
在現今的許多音響系統中,近音場和遠音場的定義方式各有不同。舉例來說,假設R是喇叭和使用者180的距離(米),L是喇叭的面寬(米),λ是一子頻帶訊號的代表波長(米),則遠音場的滿足條件包含下列幾種類型:R>>λ/2π (1)
R>>L (2)
R>>πL2/2λ (3)
以圖1的第一喇叭110為例。當該目標聆聽點與該第一喇叭110的距離大於該子頻帶訊號的波長或該第一喇叭110的大小的一特定比例以上時,音響系統100判斷該音場類型為一遠音場。當該目標聆聽點與該第一喇叭110的距離小於該子頻帶訊號的波長或該第一喇叭110的大小的該特定比例時,判斷該音場類型為一近音場。在一較簡易的實作中,音響系統100可將一子頻帶訊號的中央頻率所對應的波長的兩倍值(2λ),定義為該子頻帶訊號的遠音場和近音場的分界點。
在遠音場中,使用者180從喇叭接收到的一子頻帶訊號的聲壓值變化與距離變化的關係如下:SPL2=SPL1-20 log10(R2/R1) (4)
其中,SPL2是新位置所收到的該子頻帶訊號的聲壓值,SPL1是原位置所收到的該子頻帶訊號的聲壓值,R2是新位置與喇叭的距離,R1是原位置與喇叭的距離。
從公式(4)可知,SPL1和SPL2的差值就是該喇叭需要被補償回來的部份。
SPL2’=SPL2+20 log10(R2/R1)=SPL1 (5)
其中,SPL2’是補償後的新位置所收到的該子頻帶訊號的聲壓值。由公式(5)可知本實施例是將改變的部份補償回來。
在近音場中,使用者180從喇叭接收到的該子頻帶訊號的聲壓值變與距離變化的關係如下:SPL2=SPL1-10 log10(R2/R1) (6)
SPL2’=SPL2+20 log10(R2/R1)=SPL1 (7)
由公式(6)和(7)可知,近音場的聲音衰減變化率較遠音場緩和,而其他計算邏輯相同。
可以理解的是,上述公式遇到一些特殊情況時可能會有例外。舉例來說,當使用者180從第一位置601移動至第二位置602而貼近第二喇叭120,使用者180與第二喇叭120的距離從R1變小為R2’,可能會使公式(7)的計算結果變成負值。但是第二喇叭120輸出的子頻帶訊號不可能是負值,最小只能降為人耳最低可聽值。例如,使第二喇叭120輸出的該子頻帶訊號的聲壓值為零。另一方面,當使用者180從第一位置601移動到第二位置602而遠離第一喇叭110時,使用者180與第一喇叭110的距離從R1拉大為R2。第一喇叭110的最大輸出極限有可能沒辦法滿足公式(5)。這時,可由音響系統100對使用者180發出超限提示。
圖6的實施例突顯了下列的優點。透過通道基底的補償算法,使用者的最佳聆聽點不受到移動的影響。通道基底的計算方式簡易且效率高,在大部份的目標空間600中皆可適用。
圖6已說明了依據使用者180移動的聲音補償方式。以下以圖7說明依據環境物件175的聲音補償方式。環境物件175的聲學屬性資訊包含對聲音的反射率和吸收率。本實施例依據環境物件175的空間配置資訊而對應地使用適當的計算方式來計算環境物件的聲學影響。
圖7為本發明一目標空間700示意圖,用於說明依據環境物件的吸收率計算音訊調整量的實施例。
圖7顯示了在一目標空間700中,一環境物件175位於一第一喇叭110和一使用者180的中間。舉例來說,環境物件175可以是沙發或柱子。這種情況下,環境物件175可能因遮擋而造成使用者180的聆聽效果衰減。換句話說,使用者180從第一喇叭110收到的聲壓值會被遮擋或吸收。當控制電路132透過空間配置資訊而解讀出這種布局狀況時,就採用該環境物件175的吸收率來計算該第一喇叭110在目標聆聽點(使用者180的位置)上的播放效果受到環境物件175影響的程度,以決定該第一聲道音訊112需要輸出的等效音量、聲壓值或增益值。
在一實施例中,可依據環境物件175從第一喇叭110所接收到的聲壓值來計算環境物件175吸收掉的聲音耗損:At[n]=R[n]*SPLt (8)
其中,n代表子頻帶的編號。即,第一喇叭110輸出的第一聲道音訊112可切割成多個子頻帶分別計算。At[n]代表在時間點t上偵測到的第n個子頻帶的增益值。R[n]代表第n個子頻帶的吸收率。SPLt代表環境物件175在第t個時間點所受到的來自第一喇叭110的聲壓值。時間點t可代表聲音從第一喇叭110傳送到環境物件175的時間差。
由公式(8)可知,At[n]代表一第一聲道音訊112在第n個子頻帶上被環境物件175吸收掉的增益值,也代表該第一聲道音訊112的第n個子頻帶所需要的輸出補償值。因此,控制電路132在透過第一喇叭110產生第一聲道音訊112時,使第一聲道音訊112的第n個子頻帶增益值增加該增益值At[n]。
環境物件175位於第一喇叭110和使用者180的中間情況可能存在多種情境。本實施例以第一喇叭110和使用者180的可視線是否被遮擋為主要依據,或是進一步以第一喇叭110和使用者180的耳朵的可視線為判斷標準。可以理解的是,SPLt本身是一個和環境物件175與第一喇叭110的距離和時間相關的函數,而計算出來的At[n]對使用者180造成的影響程度是一個和環境物件175與使用者180的距離和時間相關的函數。在加上不同角度的排列狀況和遠近關係的考量後,牽涉多樣化的非線性關聯性。本申請不限定公式(8)的衍生變化,例如視實作情況而加入其他的權重係數、參數、及偏移修正值。舉例來說,使用者180和第一喇叭110之間可能放置有沙發。雖然沙發沒有遮擋可視線,但還是有可能影響使用者180從第一喇叭110接收到的聲壓值。控制電路132可依據公式(8)搭配內插法或其他修正公式使補償結果更符合需求。
圖8為本發明一目標空間800示意圖,用於說明依據環境物件的反射率計算音訊調整量的實施例。
圖8顯示了在一目標空間800中,一使用者180位於一第一喇叭110和一環境物件175的中間。環境物件175可能是一面牆壁、天花板或地板。這種情況下,環境物件175會反彈第一喇叭110輸出的第一聲道音訊112給使用者180。換句話說,使用者180從第一喇叭110收到的聲壓值會被疊加或干擾。當控制電路132透過空間配置資訊而解讀出這種布局狀況時,就採用該環境物件175的反射率來計算該第一喇叭110在目標聆聽點(使用者180的位置)上的播放效果受到環境 物件175影響的程度,以決定該第一聲道音訊112需要輸出的等效音量、聲壓值或增益值。
在本實施例中,同樣可依據公式(8)計算環境物件175造成的影響,但將R[n]改為代表該環境物件175在第n個子頻帶上的反射率。
公式(8)的運算結果At[n]可代表一第一聲道音訊112在第n個子頻帶上被環境物件175反射給使用者180的成份。因此,控制電路132在透過第一喇叭110產生第一聲道音訊112時,可適當地減少第一聲道音訊112的增益值,使使用者180從第一喇叭110和環境物件175接收的總聲壓值維持在預設的位準值。
與圖7的實施例類似,圖8中的使用者180位於第一喇叭110和環境物件175的中間情況可能存在多種變化情境。本實施例以第一喇叭110和環境物件175的可視線是否被使用者180遮擋為主要依據。然而,在實作中,牆壁、天花板、地板不論是位於任何角度都具有反射作用。因此本實施例的運算公式不限定於公式(8),還可能依據的排列狀況和遠近關係進一步衍生其他非線性的補償計算方式。舉例來說,目標空間800因為牆壁、天花板、地板材質和房間大小形狀格局等特徵,可被分類為不同的應用場景,例如客廳、書房、浴室、劇院、或戶外等。主機裝置130可先將目標空間800所屬的應用場景進行分類,再分別採用對應的參數或公式。
圖7和圖8的實施例突顯了下列的優點。透過通道基底補償運作,抵消環境物件175對使用者180的聆聽效果造成的影響。通道基底補償運作可依據環境物件的配置狀況而靈活套用不同的物件聲學屬性,可有效應付多種複雜環境的優化問題。
綜上所述,辨識電路134可接收感測器電路140的資料而辨識出目標空間170中的使用者180位置,為由控制電路132動態地將使用者180的位置指派為目標聆聽點。控制電路132針對目標聆聽點移動所做出的補償,已在圖6的實施例和公式(4)至(7)中說明。控制電 路132針對環境物件175的干擾所做出的補償,已在圖7至8和公式(8)中說明。這兩種補償運算可以是分別進行並施加於聲道音訊上。換句話說,最終輸出的優化聲道音訊包含針對目標聆聽點移動所做出的補償值,也包含針對環境物件175的干擾所做出的補償。
辨識電路134依據感測器電路140捕捉的音場環境資訊,進行使用者180的位置辨識。辨識的過程還可包含對應用場景的辨識,以助於加速控制電路132的後續運算。以下以圖9說明主機裝置130依據應用場景類別而辨識物件的過程。
圖9為本發明一實施例的主機裝置130辨識物件的流程圖。在不同的應用場景中出現的環境物件,其聲學屬性通常有顯著的族群關聯性,周圍環境材質或房間大小造成的音場反射係數也不同。因此,事先區別應用場景類別,有助於音響系統100提升音場優化的效率。可以理解的是,圖9中的每一流程是主機裝置130執行,但不限定是其中的單一電路或模塊所執行,也可以是多個電路的協同運作。
在流程902中,主機裝置130獲取目標空間170的應用場景類別。主機裝置130可透過幾種不同的方式獲取應用場景類別。在一實施例中,主機裝置130中的辨識電路134可在辨識感測器電路140提供的音場環境資訊時,依據該音場環境資訊而判斷適用的一應用場景類別。在另一實施例中,主機裝置130中的控制電路132在透過人機介面電路133運行一配置程序而獲得環境物件的空間配置資訊時,還同時透過該配置程序獲得由使用者180定義的應用場景類別。在進一步衍生的實施例中,主機裝置130中的控制電路132,可透過通信電路136而從一用戶裝置150獲得該應用場景類別的相關信息。
在流程904中,為了加速環境物件的查詢並提升正確性,主機裝置130依據應用場景類別優先選用相關的物件資料庫。物件資料庫通常是事先建立好的資料集合,可由多種不同的管道提供。舉例來說,主機裝置130中的儲存電路131可預先儲存一或多個對應不同應用場 景的物件資料庫。在另一實施例中,主機裝置130可利用通信電路136連接至一遠端資料庫160。遠端資料庫160中可包含對應不同應用場景的多個物件資料庫。每個物件資料庫中,包含多個環境物件的外型特徵資訊,以及聲學屬性資訊。
當主機裝置130在流程902中獲得應用場景類別後,可優先從儲存電路131中或遠端資料庫160中選擇使用與該應用場景類別相關的一物件資料庫,用於後續環境物件的辨識。在一實施例中,辨識電路134分析感測器電路140提供的音場環境資訊而獲得一或多個物件外型特徵資訊,並依據該物件外型特徵資訊檢索該物件資料庫,便可辨識出符合該物件外型特徵資訊的環境物件,包含名稱,吸收率和反射率。在另一實施例中,控制電路132執行配置程序,利用人機介面電路133而獲得一環境物件的名稱。控制電路132依據該環境物件175的名稱查找該物件資料庫,以獲得該環境物件對應的吸收率和反射率。
在進一步衍生的實施例中,查找的過程所使用的參數可以多元組合。例如,辨識電路134在分析音場環境資訊的過程中,可獲得環境物件175的材質、大小、形狀等外在特徵。辨識電路134將這些外在特徵資訊傳送至物件資料庫進行多條件交叉比對,而獲得依照媒合分數排序的一候選物件列表。若是在查找物件資料庫的過程中,搭配應用場景類別的資訊做為查找條件,將有助於縮小可能範圍,加速辨識,並提高正確性。
在流程906中,控制電路132從流程904中選用的物件資料庫查找環境物件的吸收率和反射率。在實作中,物件資料庫中儲存的環境物件的聲學屬性資訊,不限定是分割成多個獨立的物件資料庫而儲存。物件資料庫可以是關聯式資料庫,包含多種欄位以相關係數的方式連接在一起。舉例來說,物件資料庫的欄位可包含物件名稱、應用場景類別、材質、吸收率、反射率、甚至是形狀、顏色、光澤等外 在特徵。而每一個環境物件對應的欄位值並不限定是一對一的關係,而可以是一對多、或多對一。每一欄位中儲存的數值也未必是絕對的數值,而是範圍值或機率值。在進一步衍生的實施中,物件資料庫可以是一個可機器學習而不斷迭代修正的自適應資料庫。使用者180可透過人機介面電路133回饋偏好的設定值而訓練物件資料庫。
在流程908中,控制電路132依據環境物件的查找結果和配置狀況,在多個子頻帶中分別調整聲道音訊。環境物件175的聲學屬性,在不同的頻帶上可能有顯著的差異。舉例來說,沙發可能吸收大量高頻訊號,但是不影響低頻訊號的穿透。因此,從物件資料庫中查找出來的吸收率或反射率,可以是對應多個子頻帶的陣列值,或是一頻率響應曲線。關於子頻帶的區間大小或區隔方式,可隨設計需求而定,在本實施例中並未限定。控制電路132在多個子頻帶中分別調整聲道音訊的增益值,在實作上可類比為等化器或濾波器的概念。換句話說,控制電路132可為音響系統100中的每一喇叭實作一等化器,並依據前述實施例計算的輸出補償值客製化該等化器,使對應的聲道音訊受到調整。關於計算輸出補償值的進一步實施例,將在圖10中說明。
在流程910中,控制電路132將調整後的聲道音訊透過音訊傳輸電路135輸出至對應喇叭。關於音訊傳輸電路135的實施方式已於圖1中介紹,在此不再贅述。
圖9的實施例突顯了下列的優點。物件辨識的運作可參照應用場景類別(自動辨識或手動輸入)以增加辨識效率。物件資料庫採用具有擴充性的架構,在雲端大數據服務和機器學習的回饋下而持續長期地增強辨識能力。音響系統100可應用等化器的概念將聲道音訊分為多個子頻帶分別處理,使最終合成的音質有效提升。
下列以圖10進一步說明控制電路132如何根據環境物件175的空間配置資訊而計算每個聲道的輸出補償值。
圖10為本發明一實施例的音訊處理方法流程圖,說明依據環境物件的位置關係計算輸出補償值的實施例。圖10的流程主要由主機裝置130中的控制電路132所執行。
在流程1002中,控制電路132判斷環境物件、目標聆聽點與喇叭的相對位置關係。目標空間170中的多個喇叭和多個環境物件175,可與目標聆聽點排列組合出多組位置關係。每一組位置關係包含一喇叭、一環境物件175,與目標聆聽點。控制電路132為目標空間170中的每一位置關係組合進行檢查判斷並計算對應的輸出補償值。以下以音響系統100中的其中一組位置關係為例,說明控制電路132針對一環境物件175對一喇叭在目標聆聽點造成的干擾所做出的補償方式。
在流程1004中,控制電路132判斷環境物件175是否在目標聆聽點與喇叭中間。目標空間170中的環境物件175的位置也可由辨識電路134獲得,或是由人機介面電路133經過一配置程序而取得。控制電路132綜合上述資訊後可判斷每一環境物件175、目標聆聽點、與每一喇叭的相對位置關係,並針對每一喇叭分別進行對應的補償運算。流程1004所要判斷的情況就是如圖7所示的狀況。如果情況符合,則進行流程1008。如果情況不符合,則進行流程1006。
在流程1006中,控制電路132判斷目標聆聽點是否位於環境物件175與喇叭中間。流程1006所要判斷的情況就是如圖8所示的狀況。如果情況符合,則進行流程1010。如果情況不符合,則進行流程1012。
在流程1008中,控制電路132使用環境物件175的吸收率計算聲道音訊的輸出補償值。在一較佳的實施例中,該喇叭的聲道音訊的輸出補償值是分為多個子頻帶分別計算的。詳細的計算可參考圖7的目標空間700和公式(8)。控制電路132可從物件資料庫中查找環境物件175的吸收率,並代入公式(8)中而求得輸出補償值。
在流程1010中,控制電路132使用環境物件175的反射率計算聲道音訊的輸出補償值。參考圖8的目標空間800和公式(8),控制電路132可從物件資料庫中查找環境物件175的反射率,並代入公式(8)中而求得輸出補償值。
可以理解的是,依據環境物件175的吸收率計算出來的輸出補償值,可能使調整後的聲道音訊的增益值、聲壓值、或等效音量放大,來彌補被吸收掉的能量。相對地,依據環境物件175的反射率計算出來的輸出補償值,可能使調整後的聲道音訊的增益值、聲壓值、或等效音量降低,來平衡被反射回來的能量。換句話說,依據吸收率和反射率所計算的輸出補償值,其正負號通常是彼此相反的。
在流程1012中,如果環境物件175不符合流程1004的條件,也不符合流程1006的條件,則控制電路132可判斷環境物件175位在一個不會影響到該喇叭對目標聆聽點播放的位置。在這種情況下,控制電路132可不為該組位置關係計算該環境物件175對該喇叭和目標聆聽點造成的影響。然而,需要理解的是,一目標空間170中通常包含多個喇叭。環境物件175不會影響到其中一個喇叭對目標聆聽點的播放,但還是可能會影響到其他喇叭對目標聆聽點的播放。換句話說,控制電路132需要為目標空間170中每一組位置關係分別進行圖10的流程。
在一些特定的情況下,環境物件175的存在可被直接忽略。舉例來說,如果環境物件175對聲音的反射率或吸收率小於一特定閾值,表示其在目標空間170中的存在可以忽略。另一方面,如果控制電路132判斷環境物件175的體積小於一特定大小,也可忽略環境物件175的存在。
在進一步衍生的實施例中,如果目標空間170中偵測到一個以上的使用者,則目標聆聽點的判斷,可依據多個使用者的位置中心點,也可以選擇性地依據其中一個使用者的位置。至於未被選擇為目標 聆聽點的使用者,主機裝置130可將其類比為環境物件,依照圖7至圖8的實施例式處理。
圖10的實施例突顯了下列的優點。圖10的實施例延續圖7和圖8的處理方式,將複雜環境問題簡化為多個線性關係的問題而分別解決。針對特定情況的環境物件175,還可忽略不計以簡化計算的複雜度。
圖11為本發明一目標空間1100示意圖,用於說明以物件基底補償運作優化音場的實施例。
在目標空間1100中,包含多個喇叭,例如第一喇叭1110、第二喇叭1120、第三喇叭1130和第四喇叭1140。在音響系統100是基於物件基底補償運作而運作的情況下,控制電路132在邏輯上將目標空間1100視為一個空間標座系統。該空間標座可以是二維平面座標或三維平面座標。為了便於說明,圖11以包含一X軸和一Y軸的二維平面座標的方式繪示說明。
在目標空間1100中,使用者180位於原點P0。控制電路132將使用者180指派為目標聆聽點。如圖3的實施例所述,物件基底聲學系統是建立在大量聲學參數的陣列運算上。每一音源物件具有一中繼資料,用於描述該音源物件的類型、位置、大小(長寬高)、發散度(divergence)等。經過物件基底運算後,一音源物件所代表的聲音將會被指派至一或多個喇叭而共同播放,每一喇叭相對播放該音源件的一部份的聲音。換句話說,物件基底聲學系統可利用多個喇叭來模擬一個音源物件的實體存在感。舉例來說,透過物件基底補償運作,在目標聆聽點上的使用者180,可聽到一虛擬音源物件1105沿著移動軌跡1103從第一位置P1移動到新第一位置P1’。
本實施例的物件基底補償運作可使所有喇叭輸出的聲道音訊針對目標聆聽點優化。物件基底補償運作利用既有物件基底聲學系統中的陣列運算模組,將各種距離因素和音場類別參數化,並可進行類似公式(4)到(7)的運算。對音響系統100而言,主機裝置130只需 要將使用者180的位置資訊套用至物件基底補償運作中,就能使所有喇叭輸出的聲道音訊針對目標聆聽點優化。
在一實施例中,控制電路132可將目標聆聽點定義為整個空間座標系統的原點。當使用者180移動時,整個空間座標系統隨著原點而移動。換句話說,虛擬音源物件1105相對原點的位置保持不變。控制電路132透過物件基底補償運作而播放虛擬音源物件1105的效果時,使用者180感受到的虛擬音源物件1105的相對位置不會隨著使用者180的移動而改變。
在本實施例的目標空間1100中,可能會存在有環境物件175,會對使用者180的聆聽效果造成實質影響。控制電路132可透過圖9的流程902而獲得目標空間1100中的環境物件的空間配置資訊,而得知環境物件175位在第二位置P2上。當使用者180移動時,整個空間座標系統的原點隨著使用者180而改變。環境物件175雖然沒有移動,但是與原點的相對位置改變了。因此可以理解的是,在移動後的空間座標系統中,是環境物件175的座標值往反方向移動了。
為了抵消該環境物件175對使用者180產生的干擾,本實施例的控制電路132依據環境物件175建立物件基底的補償音源物件。該補償音源物件的中繼資料包含:該環境物件175的座標位置、大小,以及對聲音的反射率和吸收率。環境物件175對聲音的反射率和吸收率,可以是由圖9的流程906所獲得。補償音源物件會被視為環境物件175的負音源物件而被套用至物件基底補償運作中,成為可抵消環境物件175的虛擬音源。
可以理解的是,補償音源物件的本質是環境物件175對應的負音源物件,其所在的位置與環境物件175重疊,因此在圖11中不另標示。另外,目標空間1100的四喇叭配置只是示例。在音響系統100的實際應用中,喇叭配置數量可以更多,甚至包含上喇叭和下喇叭的立體配置。本說明不限定其他可能的配置方式。
圖11的實施例說明了物件基底補償運作的優點。控制電路132將目標空間1100的資訊轉換為空間座標系統的形式,可將複雜的多物件互動運算簡化為中繼資料的陣列運算。將移動中的使用者180的位置設定為空間座標系統的原點,使虛擬物件的處理完全不受使用者180的移動的影響,而簡化了運算流程。本實施例還提出了補償音源物件的概念,直接套用物件基底補償運作來抵消環境物件干擾,免去了複雜的多通道交互運算。
以下以圖12說明物件基底補償運作的簡便之處和可能的衍生應用。
圖12為本發明一目標空間1200示意圖,用於說明以物件基底補償運作優化音場的實施例。
目標空間1200中可能包含多個喇叭,例如第一喇叭1210、第二喇叭1220、第三喇叭1230、第四喇叭1240、第五喇叭1250和第六喇叭1260,排列為一個長條形音場。每個喇叭對應一個ID。當使用者180位於第一位置P1時,一個虛擬音源物件(未繪示)的中繼資料映射至第一喇叭1210和第二喇叭1220的ID。控制電路132進行物件基底補償運作後,就會使第一喇叭1210和第二喇叭1220播放第一聲道輸出1212和第二聲道輸出1222,讓使用者180感受到該虛擬音源物件的存在。當使用者180沿著移動軌跡1203移動到第二位置P2時,控制電路132經過目標聆聽點的重新計算,將該虛擬音源物件的中繼資料映射至第五喇叭1250和第六喇叭1260。控制電路132進行物件基底補償運作後,就會使第五喇叭1250和第五喇叭1250播放第五聲道輸出1252和第六聲道輸出1262,讓使用者180感受到該虛擬音源物件依然存在於使用者180的左右,不隨著使用者180的移動而離開。
本實施例主要說明,物件基底補償運作的彈性應用以及簡便之處。在許多特殊的情況下,只需要進行少量的運算,就能完成音場的優化。例如,如果使用者180位於一個球體狀的音場中,則控制電路 132只需要進行旋轉座標的運算,就能讓使用者180面對各種方向時,感受一致的音場效果。
以下以圖13總結控制電路132在執行物件基底補償運作時的基本邏輯。
圖13為本發明一實施例的物件基底補償運作流程圖,說明建立補償音源物件的概念。
在流程1304中,控制電路132依據環境物件175建立對應的補償音源物件。對位於目標聆聽點上的使用者180而言,環境物件175的存在是一個實體音源。環境物件175可能將一喇叭發出的聲音反射至該目標聆聽點。環境物件175也可能阻擋或吸收一部份聲音,使一喇叭對該目標聆聽點發出的聲音受到衰減。補償音源物件即為針對環境物件175建立的負音源物件.在主機裝置130將補償音源物件代入物件基底補償運作而產生聲道音訊時,可將環境物件175的存在感消除。物件基底運算本身的具體細節,可延用現有的物件基底聲學產品的計算方式,利用音源物件的中繼資料進行大量相關的陣列運算。舉例來說,該補償音源物件的一中繼資料包含:該環境物件175的座標位置、大小,以及對聲音的反射率和吸收率。
在流程1306中,控制電路132計算補償音源物件的音源效果。在本實施例中,補償音源物件是依據環境物件175而對應建立,其中繼資料具有與該環境物件175相同的座標位置、大小,以及對聲音的反射率和吸收率,但是產生的音源效果是環境物件175的反增益值。
圖13的實施例,也可參照類似圖7和圖8的計算。公式(8)可衍生為公式(9),依據環境物件175從第一喇叭110所接收到的聲壓值來計算環境物件175被動產生的增益值:At[m][n]=R[n]*SPLt[m] (9)
其中,m代表喇叭編號,n代表子頻帶的編號。At[m][n]代表第n個子頻帶受到第m個喇叭影響而產生的增益值。R[n]代表第n個子頻帶的 吸收率。SPLt[m]代表環境物件175在第t個時間點所受到的來自第m個喇叭的聲壓值。時間點t可代表聲音從喇叭傳送到環境物件175的時間差。如果時間差大於一不可忽略的範圍,則表示目標空間170中存在有回音的狀況。
由公式(9)可知,每一環境物件對應的計算結果,包含多個喇叭及多個子頻帶在一時間點上的一增益值陣列。而補償音源物件的音源效果,就是該增益值陣列的負數值。換句話說,基於公式(9)而進行的物件基底補償運作,包含多個維度的參數交互排列組合的陣列運算。以下為便於說明起見,以其中一喇叭及其中一子頻帶於一時間點上對應的增益值來說明。
圖13的實施例與圖7和圖8的實施例類似的是,本實施例可依據環境物件175的空間配置資訊而對應地使用適當的計算方式來計算環境物件的聲學影響。例如,如果該目標聆聽點位於一喇叭和環境物件175的可視線之間時,控制電路132依據環境物件175的反射率計算補償音源物件的音源效果。相對的,如果環境物件175位於該目標聆聽點和該喇叭的可視線之間時,控制電路132依據環境物件175的吸收率計算補償音源物件的音源效果。
舉例來說,當一環境物件175吸收了一喇叭發出的聲音,使得目標聆聽點收到的音量效果減少。這時控制電路132在環境物件175的座標位置上建立一個會產生對應音量效果的虛擬音源物件做為補償。相對地,如果一環境物件175反射了一喇叭的聲音,使目標聆聽點收到過多音量。這時控制電路132在環境物件175的座標位置上建立一個具有負增益值的虛擬音源物件。
可以理解的是,可視線定義為兩個物件在空間中的直線連線。由於物件具有一定的體積和面積,體積可能很大,而可視線被遮擋的情況可能包含部份遮擋和完全遮擋。本實施例可依據公式(9)為基礎,再視各種情境而乘上不同的權重係數或加上不同的偏移修正量。
在流程1308中,控制電路132將補償音源物件的音源效果混入聲道音訊,使對應的喇叭播放。控制電路132執行物件基底補償運作時可處理複雜的物件對應陣列運算,將每一喇叭被分配播放的多個音源訊號混合成對應的一聲道音訊。在套用物件基底補償運作之後,目標聆聽點上收到的音量效果會包含補償音源物件產生的音源效果。藉此,環境物件175造成的干擾可有效地被補償音源物件抵消。
在流程1310中,控制電路132判斷目標聆聽點是否移動至新位置。如流程208所述,音響系統100可持續追蹤使用者180的移動而更新目標聆聽點。如果目標聆聽點移動了,則進行流程1312。反之則持續流程1308的播放運作。
在流程1312中,控制電路132更新補償音源物件的中繼資料。在本實施例中,控制電路132會以目標聆聽點為一座標原點而建立物件基底空間。如果目標聆聽點移動至一新位置,控制電路132將該新位置指派為物件基底空間的新座標原點。該新座標原點和原座標原點位置差,可表示為一移動向量。環境物件175相對於目標聆聽點的空間座標值也會隨著該移動向量而反向改變。控制電路132於是依據該移動向量更新環境物件175對應的補償音源物件的中繼資料。在進一步的實施例中,物件基底空間中所有喇叭也可視為一種物件,具有對應的ID、中繼資料和座標值。
在另一實施例中,音響系統100不限定要以目標聆聽點為座標原點。音響系統100也可以採用一固定參考點為物件基底空間的原點。當物件基底空間中的音源物件出現相對位置的變化時,控制電路132對應地更新音源物件的中繼資料中的座標值。
當流程1312完成後,控制電路132重複流程1308。
圖13的實施例說明了物件基底補償運作的優點。控制電路132將目標空間1100的資訊轉換為空間座標系統的形式,可將複雜的多物件互動運算簡化為中繼資料的陣列運算。將移動中的使用者180的位 置設定為空間座標系統的原點,使虛擬物件的處理完全不受使用者180的移動的影響,而簡化了運算流程。本實施例還提出了補償音源物件的概念,直接套用物件基底補償運作來抵消環境物件干擾,免去了複雜的多通道交互運算。
在進一步衍生的實施例中,如果主機裝置130本身不具備物件基底的混音運算能力,控制電路132可透過執行軟件的方式提供通道映射(Channel mapping)的功能,使物件基底的運算結果能夠正確地對應至每個喇叭。
綜上所述,本申請提出了一種音響系統100,可動態追蹤使用者位置而優化音場,也可智能地消除環境物件造成的干擾。追蹤使用者位置的手段,可以是攝影機、紅外線、或無線偵測器等多種方式的各別運用或組合運用。目標空間170中的環境物件175的空間配置資訊可以是由攝影機捕捉的影像經過辨識後獲得,也可以是透過使用者手動輸入。優化音場的方式可以是通道基底補償運作或物件基底補償運作。計算環境物件175對目標聆聽點的影響時,還可考慮環境物件175和喇叭、和目標聆聽點的相對位置關係,而採用不同的計算方式。使用物件基底補償運作時,控制電路132為每個環境物件175建立對應的補償音源物件,使得最後混音產生的聲道音訊,消除了環境物件175對目標聆聽點造成的干擾。
在說明書及申請專利範圍中使用了某些詞彙來指稱特定的元件,而本領域內的技術人員可能會用不同的名詞來稱呼同樣的元件。本說明書及申請專利範圍並不以名稱的差異來做為區分元件的方式,而是以元件在功能上的差異來做為區分的基準。在說明書及申請專利範圍中所提及的「包含」為開放式的用語,應解釋成「包含但不限定於」。另外,「耦接」一詞在此包含任何直接及間接的連接手段。因此,若文中描述第一元件耦接於第二元件,則代表第一元件可通過電性連接或無線傳輸、光學傳輸等信號連接方式而直接地連接於 第二元件,或通過其它元件或連接手段間接地電性或信號連接至第二元件。
在說明書中所使用的「和/或」的描述方式,包含所列舉的其中一個項目或多個項目的任意組合。另外,除非說明書中特別指明,否則任何單數格的用語都同時包含複數格的含義。
以上僅為本發明的較佳實施例,凡依本發明請求項所做的等效變化與修改,皆應屬本發明的涵蓋範圍。
100:音響系統
110:第一喇叭
112:第一聲道音訊
120:第二喇叭
122:第二聲道音訊
130:主機裝置
131:儲存電路
132:控制電路
133:人機介面電路
134:辨識電路
135:音訊傳輸電路
136:通信電路
140:感測器電路
150:用戶設備
160:遠端資料庫
170:目標空間
171:第一位置
172:第二位置
173:移動軌跡
175:環境物件
180:使用者

Claims (8)

  1. 一種音響系統(100),可動態地依據使用者位置優化播放效果,包含:一感測器電路(140),包含一攝影機(610),且設置為可利用該攝影機(610)動態地感測一目標空間(170)而產生包含一音場環境影像的一音場環境資訊,其中,該音場環境資訊包含一使用者在該目標空間(170)中的一使用者位置、以及該目標空間(170)中一環境物件(175)的空間配置資訊;一第一喇叭(110)和一第二喇叭(120),設置為可播放音訊;一主機裝置(130),耦接該感測器電路(140)、該第一喇叭(110)和該第二喇叭(120),包含:一辨識電路(134),設置為可從該音場環境資訊中辨識出該使用者在該目標空間(170)中的該使用者位置,並可分析該音場環境資訊而獲取該環境物件(175)的空間配置資訊和聲學屬性資訊,其中,該環境物件(175)的聲學屬性資訊包含對聲音的吸收率、對聲音的反射率、及共振頻率的至少其中之一;一控制電路(132),耦接該辨識電路(134),設置為可將該使用者位置動態地指派為一目標聆聽點;以及一音訊傳輸電路(135),耦接該控制電路(132)、該第一喇叭(110)和該第二喇叭(120),設置為可傳輸音訊;其中,該控制電路(132)依據該目標聆聽點,及該環境物件(175)的空間配置資訊及聲學屬性資訊,運行一通道基底補償運作以產生對該目標聆聽點優化的一第一聲道音訊(112)和一第二聲道音訊(122); 其中,該控制電路(132)透過該音訊傳輸電路(135)分別地輸出該第一聲道音訊(112)和該第二聲道音訊(122)至對應的該第一喇叭(110)和該第二喇叭(120);其中,該通道基底補償運作包含:將該第一喇叭(110)發出的該第一聲道音訊(112)拆成多個子頻帶訊號;依據該多個子頻帶訊號中的一子頻帶訊號的波長和該目標聆聽點與該第一喇叭(110)的距離,判斷該子頻帶訊號在該目標聆聽點上產生的一音場類型屬於一近音場或一遠音場;當該目標聆聽點與該第一喇叭(110)的距離大於該子頻帶訊號的波長或該第一喇叭(110)的大小的一特定比例以上時,判斷該音場類型為一遠音場;當該目標聆聽點與該第一喇叭(110)的距離小於該子頻帶訊號的波長或該第一喇叭(110)的大小的該特定比例時,判斷該音場類型為一近音場;當該控制電路(132)判斷該目標聆聽點的位置與該第一喇叭(110)的距離從一第一距離(R1)改變為一第二距離(R2),且該音場類型屬於該遠音場時,使用一遠音場公式計算該子頻帶訊號的聲壓值;其中,該遠音場公式包含:SPL’=SPL+20 log10(R2/R1)其中,SPL是調整前的該子頻帶訊號的聲壓值,SPL’是調整後的該子頻帶訊號的聲壓值,R1是該第一距離,R2是該第二距離;以及其中,如果調整後的該子頻帶訊號的聲壓值小於零,該控制電路(132)使調整後的該子頻帶訊號的聲壓值為零。
  2. 如請求項1所述的音響系統(100),其中,該通道基底補償運作 還包含,當該控制電路(132)判斷該目標聆聽點的位置與該第一喇叭(110)的距離從該第一距離(R1)改變為該第二距離(R2),且該音場類型屬於該近音場時,使用一近音場公式計算該子頻帶訊號的聲壓值;其中,該近音場公式包含:SPL’=SPL+10 log10(R2/R1)其中,SPL是調整前的該子頻帶訊號的聲壓值,SPL’是調整後的該子頻帶訊號的聲壓值,R1是該第一距離,R2是該第二距離;以及其中,如果調整後的該子頻帶訊號的聲壓值小於零,該控制電路(132)使調整後的該子頻帶訊號的聲壓值為零。
  3. 如請求項1所述的音響系統(100),其中,該環境物件的空間配置資訊包含該環境物件的位置、大小及外觀特徵,該環境物件的聲學屬性資訊包含對聲音的反射率和吸收率;其中,當該控制電路(132)產生該第一聲道音訊時,如果該目標聆聽點位於該第一喇叭(110)和該環境物件(175)的可視線之間時,該控制電路(132)依據該環境物件的反射率計算該第一喇叭(110)在該目標聆聽點上的播放效果受到該環境物件(175)影響的程度,以決定該第一聲道音訊(112)的聲壓值;以及其中,當該控制電路(132)產生該第一聲道音訊時,如果該環境物件(175)位於該目標聆聽點和該第一喇叭(110)的可視線之間時,該控制電路(132)依據該環境物件的吸收率計算該第一喇叭(110)在該目標聆聽點上的播放效果受到該環境物件(175)影響的程度,以決定該第一聲道音訊(112)的聲壓值。
  4. 如請求項1所述的音響系統(100),其中,該辨識電路(134) 依據該攝影機(610)捕捉的該音場環境影像,動態地辨識該使用者的頭部位置、臉部方向、或耳朵位置,以判斷該使用者位置。
  5. 如請求項1所述的音響系統(100),其中,該感測器電路(140)還包含一紅外線感測器(620),設置為可捕捉該目標空間中的一熱成像資料;其中,該辨識電路(134)分析該熱成像資料的移動軌跡以動態地判斷該使用者位置。
  6. 如請求項1所述的音響系統(100),其中,該感測器電路(140)還包含一無線偵測器(630),設置在該目標空間中,並偵測一電子裝置的無線訊號;其中,該辨識電路(134)依據該無線偵測器(630)偵測到的無線訊號的特徵,動態地定位該電子裝置的位置;以及其中,該辨識電路(134)依據該電子裝置的位置動態地判斷該使用者位置。
  7. 如請求項1所述的音響系統(100),其中,該主機裝置(130)還包含一儲存電路(131),耦接該控制電路(132),配置為儲存一或多個物件資料庫,其中每一物件資料庫對應一種應用場景類別,包含多個環境物件的外型特徵資訊和聲學屬性資訊;其中,該辨識電路(134)分析該音場環境資訊時,辨識該音場環境資訊而判斷適用的一應用場景類別;以及其中,該控制電路(132)依據該應用場景類別,優先從該儲存電路(131)中選擇使用與該應用場景類別相關的一物件資料庫,來辨識該環境物件並查找該環境物件的聲學屬性資訊。
  8. 如請求項1所述的音響系統(100),其中,該主機裝置(130)還包含一通信電路(136),耦接該控制電路(132),配置為可受該控制電路(132)的控制而連接至對應於該應用場景類別的一遠端資料庫(160);該遠端資料庫(160)配置為儲存一或多個物件 資料庫,其中每一物件資料庫對應一種應用場景類別,包含多個環境物件的外型特徵資訊和聲學屬性資訊;其中,該辨識電路(134)分析該音場環境資訊時,辨識該音場環境資訊而判斷適用的一應用場景類別;以及其中,該控制電路(132)依據該應用場景類別,優先從該遠端資料庫(160)中選擇使用與該應用場景類別相關的一物件資料庫,來辨識該環境物件並查找該環境物件的聲學屬性資訊。
TW111130512A 2021-12-10 2022-08-13 可動態調整目標聆聽點並消除環境物件干擾的音響系統 TWI842055B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/993,512 US20230188923A1 (en) 2021-12-10 2022-11-23 Audio system with dynamic target listening spot and ambient object interference cancelation

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202163287986P 2021-12-10 2021-12-10
US63/287,986 2021-12-10
US202263321770P 2022-03-20 2022-03-20
US63/321,770 2022-03-20

Publications (2)

Publication Number Publication Date
TW202324372A TW202324372A (zh) 2023-06-16
TWI842055B true TWI842055B (zh) 2024-05-11

Family

ID=

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160262608A1 (en) 2014-07-08 2016-09-15 Krueger Wesley W O Systems and methods using virtual reality or augmented reality environments for the measurement and/or improvement of human vestibulo-ocular performance

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160262608A1 (en) 2014-07-08 2016-09-15 Krueger Wesley W O Systems and methods using virtual reality or augmented reality environments for the measurement and/or improvement of human vestibulo-ocular performance

Similar Documents

Publication Publication Date Title
US11061643B2 (en) Devices with enhanced audio
JP7275227B2 (ja) 複合現実デバイスにおける仮想および実オブジェクトの記録
US10123140B2 (en) Dynamic calibration of an audio system
WO2018149275A1 (zh) 调整音箱输出的音频的方法和装置
KR102670118B1 (ko) 다중 스피커를 통한 다중 오디오 스트림 재생 관리
US20230188921A1 (en) Audio system with dynamic target listening spot and ambient object interference cancelation
CN114208209B (zh) 音频处理***、方法和介质
US12003673B2 (en) Acoustic echo cancellation control for distributed audio devices
CN116261093A (zh) 可动态调整目标聆听点并消除环境物件干扰的音响***
TWI842055B (zh) 可動態調整目標聆聽點並消除環境物件干擾的音響系統
TWI847219B (zh) 可動態調整目標聆聽點並消除環境物件干擾的音響系統
TWI847220B (zh) 可動態調整目標聆聽點並消除環境物件干擾的音響系統
TWI842056B (zh) 可動態調整目標聆聽點並消除環境物件干擾的音響系統
US20230188923A1 (en) Audio system with dynamic target listening spot and ambient object interference cancelation
US20230199422A1 (en) Audio system with dynamic target listening spot and ambient object interference cancelation
US20230188922A1 (en) Audio system with dynamic target listening spot and ambient object interference cancelation
WO2023025695A1 (en) Method of calculating an audio calibration profile
CN118216163A (zh) 基于扩音器取向的渲染