TWI816389B - 具聲音調整能力系統、方法和非暫態電腦可讀取儲存媒體 - Google Patents

具聲音調整能力系統、方法和非暫態電腦可讀取儲存媒體 Download PDF

Info

Publication number
TWI816389B
TWI816389B TW111117318A TW111117318A TWI816389B TW I816389 B TWI816389 B TW I816389B TW 111117318 A TW111117318 A TW 111117318A TW 111117318 A TW111117318 A TW 111117318A TW I816389 B TWI816389 B TW I816389B
Authority
TW
Taiwan
Prior art keywords
speaker
audio signal
filter
head
mounted device
Prior art date
Application number
TW111117318A
Other languages
English (en)
Other versions
TW202322105A (zh
Inventor
廖俊旻
蔡宗佑
何吉堂
Original Assignee
宏達國際電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 宏達國際電子股份有限公司 filed Critical 宏達國際電子股份有限公司
Publication of TW202322105A publication Critical patent/TW202322105A/zh
Application granted granted Critical
Publication of TWI816389B publication Critical patent/TWI816389B/zh

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/04Circuits for transducers, loudspeakers or microphones for correcting frequency response
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303Tracking of listener position or orientation
    • H04S7/304For headphones
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1783Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase handling or detecting of non-standard events or conditions, e.g. changing operating modes under specific operating conditions
    • G10K11/17837Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase handling or detecting of non-standard events or conditions, e.g. changing operating modes under specific operating conditions by retaining part of the ambient acoustic environment, e.g. speech or alarm signals that the user needs to hear
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1785Methods, e.g. algorithms; Devices
    • G10K11/17853Methods, e.g. algorithms; Devices of the filter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/10Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1091Details not provided for in groups H04R1/1008 - H04R1/1083
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/301Automatic calibration of stereophonic sound system, e.g. with test microphone
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Telephone Function (AREA)
  • Headphones And Earphones (AREA)

Abstract

具有聲音調整功能的系統。該系統包括頭戴式裝置、第一揚聲器和處理器。第一揚聲器可從頭戴式裝置上拆卸下來。處理器用於檢測頭戴式裝置和第一揚聲器的多個位置和多個方位,以確定第一揚聲器是否與頭戴式裝置分離。處理器還被配置為通過至少一個第一濾波器或至少一個第二濾波器來調變第一音頻信號以生成濾波後第一音頻信號。當第一揚聲器耦合到頭戴式裝置時使用至少一個第一濾波器,並且當第一揚聲器從頭戴式裝置分離時使用至少一個第二濾波器。濾波後第一音頻信號被配置為用以驅動第一揚聲器。

Description

具聲音調整能力系統、方法和非暫態電腦可讀取儲存媒體
本揭露係有關於音頻信號的處理。更特別地是,本揭露係有關於具有聲音調整能力的系統、調整聲音的方法和非暫態電腦可讀儲存媒體。
虛擬實境(VR)是一種利用電腦模擬三維虛擬世界的技術,為使用者提供視覺、聽覺、觸覺等感官模擬。耳機通常整合在 虛擬實境(VR)設備中,以提供身臨其境的雙耳音頻效果。然而,不僅現實世界的聲音被耳機阻擋,其他人也聽不到耳機提供給使用者的聲音,這使得使用者與使用者的同事或隊友之間的溝通變得困難。
本揭露提供一種具有聲音調整能力的系統。該系統包括頭戴式裝置、第一揚聲器和至少一個處理器。第一個揚聲器可以從頭戴式裝置上拆卸下來。至少一個處理器被配置為用以檢測頭戴式裝置和第一揚聲器的多個位置和多個方位以確定第一揚聲器是否從頭戴式裝置分離。至少一個處理器還被配置為通過至少一個第一濾波器或至少一個第二濾波器來調變第一音頻信號以生成濾波後第一音頻信號。至少一個處理器使用至少一個第一濾波器以響應於第一揚聲器耦合到頭戴式裝置,並使用至少一個第二濾波器來響應第一揚聲器從頭戴式裝置分離。經濾波的第一音頻信號被傳輸到第一揚聲器以驅動第一揚聲器。
本揭露提供一種調整聲音的方法。該方法適用於包括頭戴式裝置和可從頭戴式裝置拆卸的第一揚聲器系統,包括以下操作:檢測頭戴式裝置和第一揚聲器的多個位置和多個方位,且判斷第一揚聲器是否與頭戴式裝置分離;通過至少一個第一濾波器或至少一個第二濾波器來調變第一音頻信號以生成濾波後第一音頻信號,其中響應於第一揚聲器耦合到頭戴式耳機而使用至少一個第一濾波器,並且響應於第一揚聲器與頭戴式裝置分離,使用至少一個第二濾波器;以及將濾波後的第一音頻信號傳送至第一揚聲器以驅動第一揚聲器。
本揭露提供了一個非暫態性電腦可讀取儲存媒體,儲存用於控制系統的多個電腦可讀取指令,該系統包括至少一個處理器、頭戴式裝置和可從頭戴式裝置拆卸的第一揚聲器。當多個電腦可讀取指令在由至少一個處理器執行時,至少一個處理器可執行:檢測頭戴式裝置和第一揚聲器的多個位置和多個方位以確定第一揚聲器是否與頭戴式裝置分離;通過至少一個第一濾波器或至少一個第二濾波器來調變第一音頻信號以生成濾波後第一音頻信號,其中響應於第一揚聲器耦合到頭戴式耳機而使用至少一個第一濾波器,並且響應於第一揚聲器與頭戴式裝置分離,使用至少一個第二濾波器;以及將濾波後第一音頻信號傳送至第一揚聲器以驅動第一揚聲器。
應當理解,前述一般描述和以下詳細描述均僅是示例,並且旨在提供對所要求保護的本公開的進一步解釋。
以下將以圖式及詳細敘述清楚說明本案之精神,任何所屬技術領域中具有通常知識者在瞭解本案之實施例後,當可由本案所教示之技術,加以改變及修飾,其並不脫離本案之精神與範圍。
本文之用語只為描述特定實施例,而無意為本案之限制。單數形式如“一”、“這” 、“此” 、“本”以及“該”,如本文所用,同樣也包含複數形式。
關於本文中所使用之『耦接』或『連接』,均可指二或多個元件或裝置相互直接作實體接觸,或是相互間接作實體接觸,亦可指二或多個元件或裝置相互操作或動作。
關於本文中所使用之『包含』、『包括』、『具有』、『含有』等等,均為開放性的用語,即意指包含但不限於。
關於本文中所使用之『及/或』,係包括所述事物的任一或全部組合。
關於本文中所使用之用詞(terms),除有特別註明外,通常具有每個用詞使用在此領域中、在本案之內容中與特殊內容中的平常意義。某些用以描述本案之用詞將於下或在此說明書的別處討論,以提供本領域技術人員在有關本案之描述上額外的引導。
第1圖是根據本揭露一實施例的具有聲音調整能力的系統100的示意性側視圖。系統100包括頭戴式裝置110、第一揚聲器120A、第二揚聲器120B和包括至少一個處理器的控制元件130。在本實施例中,頭戴式裝置110為擴增實境(AR)裝置及/或虛擬實境(VR)裝置,其包括一顯示模組112以投影虛擬物件在擴增實境(AR)應用程序中進入使用者的視野和/或在虛擬實境(VR)應用程序中為使用者提供身臨其境的虛擬環境。在一些實施例中,頭戴式裝置110也可以通過耳機的頭帶部分來實現。
第一揚聲器120A和第二揚聲器120B分別和設置在頭戴式裝置110上相對面的第一端子114和第二端子116耦合,並且可從頭戴式裝置110拆卸。在第一揚聲器120A和第二揚聲器120B被耦合到頭戴式裝置110的情況下,第一揚聲器120A和第二揚聲器120B被配置在位於對應使用者的左右耳道入口的位置上。另一方面,當從頭戴式裝置110拆卸下第一揚聲器120A和第二揚聲器120B時,第一揚聲器120A和第二揚聲器120B可***作為能夠向佩戴頭戴式裝置110的使用者提供立體聲的揚聲器。
控制元件130被配置為向頭戴式裝置110提供視頻信號以驅動顯示模組112 ,以及調變第一音頻信號asA和第二音頻信號 asB(如第2圖所示)。所述調變可以是對第一音頻信號asA和第二音頻信號asB應用濾波器,來生成濾波後的第一音頻信號F_asA 以及濾波後的第二音頻信號和F_asB 分別用於驅動第一揚聲器120A和第二揚聲器120B 。其中上述的濾過波程可由控制元件130執行,將在後述的段落中詳細描述。控制元件130可以是中央處理單元( central processing circuits, CPU ) 、數位信號處理器(digital signal processors, DSP ) 、特殊應用積體電路(Application Specific Integrated Circuit, ASIC)、現場可程式化邏輯閘陣列(Field Programmable Gate Array, FPGA)或其他可編程邏輯元件。在一些實施例中,控制元件130可以包括一個或多個部件,其部分或全部結合到頭戴式裝置110中,也就是說,頭戴式裝置110可以是一體式具有足夠計算能力的頭戴式裝置。
第2圖是根據本揭露一實施例第1圖系統的簡化功能區塊圖根據本公開實施例的系統100的簡化功能框圖。頭戴式裝置110包含通訊介面210、位置追踪電路220及顯示模組112。頭戴式裝置110通過通訊介面210與控制元件130通訊耦合以接收視頻信號。位置追踪電路220用以產生位置信息及方位信息以供控制元件130處理,以使控制元件130可確定頭戴式裝置110在物理環境中的精確位置及方位。
第一揚聲器120A和第二揚聲器120B彼此相似,故以下僅詳細說明第一揚聲器120A的元件及連接關係。第一揚聲器120A包括通信介面230、位置追踪電路2 40 和音頻輸出電路250。通信介面230被配置為與控制元件130通信以從中接收濾波後的第一音頻信號F_asA 。在一些實施例中, 通信介面230用於與頭戴式裝置110的通信介面210進行通信,以通過頭戴式裝置110間接接收濾波後的第一音頻信號F_asA 。位置追踪電路240用於產生位置信息以及方位信息,以由控制元件130處理此位置信息以及方位信息,以便控制元件130可以確定第一揚聲器120A相對於頭戴式裝置110的位置和方位。 音頻輸出電路250被配置為根據濾波後的第一音頻信號F_asA產生聲音。
在一些實施例中,通信介面210和230可以是有線或無線介面,例如藍牙、 ZigBee或以太網路。
在一些實施例中,位置追踪電路220和240可以包括多個光學傳感器,被配置為感測由佈置在物理環境中的多個基站(例如,燈塔)所發射的不可見光(例如,紅外光)。
在一些實施例中,位置追踪電路220和240可以是適用於超寬帶定位的射頻(RF)收發器。例如,位置追踪電路220和240可以通過超寬帶信號相互通信,從而可以通過飛時測距方法獲得第一揚聲器120A相對於頭戴式裝置110的位置和方位。
控制元件130用於接收第一音頻信號asA和第二音頻信號asB,其中第一音頻信號asA和第二音頻信號asB分別承載第一揚聲器120A和第二揚聲器120B的音頻數據。控制元件130還被配置為根據第一揚聲器120A和第二揚聲器120B的連接狀態(即,和頭戴式裝置110耦合或從頭戴式裝置110分離)對第一音頻信號asA和第二音頻信號asB應用一個或多個濾波器,以便以一個或多個頻率改變第一音頻信號asA和第二音頻信號asB 。這樣的濾波器,包括但不限於,耳機效果濾波器(headphone effect filter)23、揚聲器效果濾波器(loudspeaker effect filter)24、位置補償濾波器(position compensation filter)25、串擾消除濾波器(crosstalk cancellation filter)26和頭部相關傳遞函數(head-related transfer function filter, HRTF)濾波器27,它們可以被存儲在可由控制元件130存取的存儲器中。
第3圖是根據本揭露一實施例的調整聲音方法300之流程圖。方法300特徵的任意組合或本文描述的任何其他方法可以以指令來實現並儲存在非暫時性電腦可讀取媒體中。 當例如由第1圖的控制元件130的至少一個處理器執行時,指令可能會導致部分或全部這樣的方法被執行。應理解的是,這裡討論的任何方法可以包括比流程圖中所示的更多或更少的操作,並且這些操作可以適當地以任何順序來執行。
在操作S301中,例如通過位置追踪電路220和240來獲得頭戴式裝置110、第一揚聲器120A和第二揚聲器120B的位置信息和方位信息。在一些實施例中,一個或多個傳感器,例如加速度計和陀螺儀,可以被併入系統100的這些設備中,以幫助提供方位信息。
在操作S302中,確定第一揚聲器120A和第二揚聲器120B是否物理地耦合到頭戴式裝置110。例如,控制元件130可以接收並處理位置信息和方位信息以確定第一揚聲器120A和第二揚聲器120B相對於頭戴式裝置110的位置。控制元件130可以根據第一揚聲器120A與第二揚聲器120B的連接狀態,選擇應用於第一音頻信號asA與第二音頻信號asB的濾波器。
如果第一揚聲器120A和第二揚聲器120B耦合到頭戴式裝置110以作為耳機操作時,則可以進行操作S303-S306,應用耳機效果濾波器23和位置補償濾波器25中的至少一個對第一音頻信號asA和第二音頻信號asB進行處理。另一方面,如果第一揚聲器120A和第二揚聲器120B從頭戴式裝置110分離以作為揚聲器操作時,則可以進行操作S307-S310,應用揚聲器效果濾波器24、串擾消除濾波器26 和HRTF濾波器27中的至少一個進行處理。
在操作S303中,耳機效果濾波器23 被施加到第一音頻信號asA和第二音頻信號asB。耳機效果濾波器23 被配置來減輕因為第一揚聲器120A和第二揚聲器120B與頭戴式裝置110耦接所產生的聲音失真(以下稱為“耳機配置”),其中失真至少部分地由耳機配置的電路所引起(即,用以將頭戴式裝置110、第一揚聲器120A和第二揚聲器120B彼此耦合的電路)。
第4圖是根據本揭露一實施例的耳機配置戴在假人頭410上時的頻率響應示例。第5圖是根據本揭露一實施例的自適應濾波器510示例圖。參考第4圖和第5圖來說明產生耳機效果濾波器23的示例性方法。首先,將耳機配置戴在假人頭410上,並通過假人頭410左耳道中的傳感器430得到第一揚聲器120A的實際頻率響應420。接下來,將此實際頻率響應420作為輸入x(n)輸入到自適應濾波器510,以調整自適應濾波器510的係數。當自適應濾波器510的輸出
Figure 111117318-A0305-02-0012-2
實質上匹配理想的頻率響應440(由第5圖中的理想輸出y(n)表示)時,自適應濾波器510的係數被儲存在耳機效果濾波器23中用於第一揚聲器120A的係數。第5圖中的干擾v(n)可能是任何不需要的噪聲,例如來自電源的噪聲。耳機效果濾波器23中用於第二揚聲器120B的係數可以用和第一揚聲器120A描述的類似方式獲得,因此在此省略這些描述。在一些實施例中,也可用神經網絡模型來生成耳機效果濾波器23,可以藉由將實際頻率響應420作為神經網絡的輸入來生成耳機效果濾波器23。
在一些實施例中,由耳機效果濾波器23濾波後的第一和第二音頻信號asA和asB可以分別提供給第一和第二揚聲器120A和120B,作為濾波後的第一和第二音頻信號F_asA和F_asB,或者通過一或多個操作S304-S306對第一和第二音頻信號asA和asB進一步處理。通過將實際頻率響應420與理想頻率響應440進行比較,可以確認,和根據未濾波的音頻信號所生成的聲音相比,根據耳機效果濾波器23濾波後的第一和第二音頻信號asA和asB 所產生的聲音已經減輕了使用者的耳道入口處的失真。更特別的是,和根據未濾波的音頻信號所生成的聲音相比,根據耳機效果濾波器23濾波後的第一和第二音頻信號s asA和asB所產生的聲音具有增強的(即平坦的)頻率響應。
在操作S304中,根據位置信息和方位信息來確定第一揚聲器120A和第二揚聲器120B是否耦合到頭戴式裝置110的正確端子。控制元件130可檢查第一揚聲器120A和第二揚聲器120B的位置是否對應於濾波後的第一音頻信號F_asA和濾波後的第二音頻信號F_asA的聲道。
例如,濾波後的第一音頻信號 F_asA可以對應於右聲道,控制元件130可以檢查第一揚聲器120A是否耦接至第二端子116 (例如,對應於右聲道的右端子)。經濾波後的第二音頻信號F_asB 可對應於左聲道,控制元件130可以檢查第二揚聲器120B是否耦合到第一端子114(例如,對應於左聲道的左端子)。如果操作S304的確定結果為“是”,則省略操作305並且可以進行操作S306。如果操作S304的確定結果為“否”(例如,第4圖的耳機配置導致“否”結果),則可以進行操作S305。
在操作S305中,第一揚聲器120A和第二揚聲器120B所分別接收的濾波後的第一音頻信號F_asA和濾波後的第二音頻信號F_asB可以相互交換。控制元件130例如可將先前傳送至第一揚聲器120A的濾波後第一音頻信號F_asA傳送至第二揚聲器120B,並將先前傳送至第二揚聲器120B的濾波後第二音頻信號F_asB傳送至第一揚聲器120A。相應地,系統100允許使用者以任意方式將第一和第二揚聲器120A和120B耦接到頭戴式裝置110而不會扭曲聲音效果,實現耳機配置的快速組裝以保持沉浸式體驗。
操作S306中,可以對經過耳機效果濾波器23濾波的第一音頻信號asA和第二音頻信號asB進行位置補償。 第6圖是根據本揭露一實施例的耳機配置戴在使用者610頭上的頻率響應示例圖。參照圖6來說明位置補償的示例性方法。首先,控制元件130獲得第一揚聲器120A根據參考音頻信號產生的聲音回聲的實際頻率響應620a 。這樣的回聲可以由第一揚聲器120A的音頻傳感器(例如,麥克風)接收。接下來,如果實際頻率響應620a與控制元件130可存取儲存在存儲器中的理想頻率響應630顯著不同,控制元件130可根據實際頻率響應620a和理想頻率響應630產生位置補償濾波器25,其中位置補償濾波器25被配置為在一個或多個頻率上修改參考信號以使這種回聲具有與理想頻率響應630實質相同的修改後頻率響應。位置補償濾波器25中用於第一揚聲器120A的係數可以通過使用類似於第5圖中討論的自適應濾波器來生成,但本公開不限於此。在一些實施例中, 位置補償濾波器25可以由神經網絡聲成,通過將實際頻率響應620a作為神經網絡的輸入來生成位置補償濾波器25。
理想頻率響應630可以看作是在對應於使用者耳道入口的理想位置640處獲得的頻率響應,並且實際頻率響應620a和理想頻率響應630之間的差異是因為第一揚聲器120A的位置650a偏離了理想位置640。如第6圖所示,第一揚聲器120A的不同位置650a、650b以及650c可能導致上述回聲具有不同的實際頻率響應 620a、620b以及620c。因此,控制元件130可根據第一揚聲器120A的當前位置適應性地調整位置補償濾波器25中用於第一揚聲器120A的係數。位置補償濾波器25中用於第二揚聲器120B的係數亦可以通過與第一揚聲器120A相同的方式獲得,因此省略相關說明。
由操作S303-S306處理後的第一和第二音頻信號asA和asB,會分別由控制元件130輸出來作為濾波後的第一和第二音頻信號F_asA和F_asB。因此,使用者不需要在每次將第一和第二揚聲器120A和120B連接回頭戴式裝置110時,將第一和第二揚聲器120A和120B調整到絕對正確的位置,因為系統100可以根據使用者佩戴情況自動補償音頻。
再次參考第3圖。以下將詳細描述從頭戴式裝置110分離後的第一揚聲器120A和第二揚聲器120B (以下稱為“揚聲器配置” )的濾波過程。
操作S307中,揚聲器效果濾波器24被應用於第一音頻信號asA和第二音頻信號asB。揚聲器效果濾波器24被配置為消除至少部分由揚聲器配置的電路引起的失真(例如,包括分離頭戴式裝置110、第一揚聲器120A和第二揚聲器120B的電路)以獲得平坦的頻率響應。揚聲器效果濾波器 24 中用於第一揚聲器120A的係數可以通過示例性方法生成,該方法包括以下步驟: (1) 將第一揚聲器120A 放置在非回聲室中, (2)獲得第一揚聲器120A生成的聲音的實際頻率響應,以及(3) 通過類似於參考第5圖所討論的自適應濾波器,根據實際頻率響應和儲存在控制元件130可訪問的存儲器中的理想頻率響應,由自適應濾波器獲得用於第一揚聲器120A的濾波器係數。
使用者與第一揚聲器120A之間的不同距離可能導致不同的頻率響應,並且可能需要不同級別的濾波。在一些實施例中,可以通過上述方法生成多組揚聲器效果濾波器24的係數,並且控制元件130可以根據第一揚聲器120A與頭戴式裝置110之間的距離選擇其中一組係數作為揚聲器效果濾波器中24用於第一揚聲器120A的係數。揚聲器效果濾波器24中用於第二揚聲器120B的係數可以以類似的方式生成,因此相關描述被省略。
在一些實施例中,由揚聲器效果濾波器24濾波的第一和第二音頻信號asA和asB可以分別提供給第一和第二揚聲器120A和120B,作為濾波後的第一和第二音頻信號F_asA和F_asB,或者第一和第二音頻信號F_asA和F_asB可以由操作S308 -S310中的一個或多個進一步處理。
在操作S308中,確定第一揚聲器120A和第二揚聲器120B是否在與它們接收的濾波後第一音頻信號F_asA和濾波後第二音頻信號F_asB的聲道相對應的位置上。第7圖示出了由第1圖的頭戴式裝置110所提供的虛擬環境700示例圖示,用於說明操作S308。當第一虛擬聲源710處於物理環境中的第一位置PA時,濾波後第二音頻信號F_asB可以具有對應於第一虛擬聲源710的聲道,該第一虛擬聲源710被配置為被使用者聽到。當第二虛擬聲源720處於物理環境中的第二位置PB時,濾波後第一音頻信號F_asA可以具有對應於第二虛擬聲源720的聲道,該第二虛擬聲源720被配置為被使用者聽到。頭戴式裝置110可大致位於第一位置PA與第二位置PB之間。在此情況下,控制元件130可檢查第一揚聲器120A是否對應(例如,接近)由濾波後的第一音頻信號F_asA指定的第二位置PB ,以及第二揚聲器120B是否對應(例如,接近)濾波後的第二音頻信號F_as B指定的第一位置PA 。如果操作S308的確定結果為“是”,則省略操作S309並且可以進行操作S310。如果操作S308的確定結果為“否”(例如,第7圖的揚聲器配置導致“否”結果),則可以進行操作S309。
在操作S309中,第一揚聲器120A和第二揚聲器120B所分別接收的濾波後第一音頻信號F_asA和濾波後第二音頻信號F_asB可以相互交換。第8圖示出了由第1圖的頭戴式裝置所提供的另一個虛擬環境示例圖。如第8圖所示,具有對應於第二位置PB的聲道的濾波後第一音頻信號F_asA被傳送至位於第二位置PB的第二揚聲器120B而不是第一揚聲器120A 。具有對應於第一位置PA的聲道的濾波後第二音頻信號F_asB被傳送到位於第一位置PA的第一揚聲器120A而不是第二揚聲器120B。
在操作S310中,串擾消除濾波器26和HRTF濾波器27被應用於由揚聲器效果濾波器24濾波後的第一音頻信號asA和第二音頻信號asB。串擾消除濾波器26可以渲染第一揚聲器120A和第二揚聲器120B聲音,就像它們處於耳機配置中以提供逼真的雙耳聲音。例如,在第8圖的情況下,第一揚聲器120A在使用者的左側,串擾消除濾波器26可以減少第一揚聲器120A的聲音中傳遞到使用者右耳的部分。 HRTF濾波器27被配置為渲染第一揚聲器120A和第二揚聲器120B聲音,就像它們是由對稱地放置在頭戴式裝置110的兩側的第一揚聲器120A和第二揚聲器120B所產生的一樣。
揚聲器相對於使用者的位置和方位可能會影響聲源到達聽者兩耳的時間差(interaural time difference, ITD)、耳間音強差 (interaural level difference, ILD) 和頻率響應。因此,在一些實施例中,控制元件130可以藉由自適應濾波器根據頭戴式裝置110、第一揚聲器120A和第二揚聲器120B的位置和方位,獲得串擾消除濾波器26和HRTF濾波器27的係數,類似於參考第5圖中之討論。
由操作S307-S310處理的第一和第二音頻信號asA和asB可以由控制元件130輸出,分別作為濾波後第一和第二音頻信號F_asA和F_asB。依此,系統100允許使用者將第一揚聲器120A和第二揚聲器120B放置在任意位置和方位,而不會使聲音效果失真,實現揚聲器配置的快速佈置以保持身臨其境的體驗。此外,揚聲器配置讓使用者可以聽到物理環境的聲音,並可以將聲音廣播給其他人,有助於在各種情況下(例如,會議或遊戲)提高溝通效率。
雖然本案以實施例揭露如上,然其並非用以限定本案,任何熟習此技藝者,在不脫離本案之精神和範圍內,當可作各種之更動與潤飾,因此本案之保護範圍當視後附之申請專利範圍所界定者為準。
23:耳機效果濾波器 24:揚聲器效果濾波器 25:位置補償濾波器 26:串擾消除濾波器 27:頭部相關傳遞函數濾波器 100:系統 110:頭戴式裝置 112:顯示模組 114:第一端子 116:第二端子 120A:第一揚聲器 120B:第二揚聲器 130:控制元件 210:通訊介面 220:位置追踪電路 230:括通信介面 240:位置追踪電路 250:音頻輸出電路 300:方法 S301-S310 操作 410:假人頭 420:實際頻率響應 430:傳感器 440:理想頻率響應 510:自適應濾波器 610:使用者 620a、620b以及620c:實際頻率響應 630:理想頻率響應 640:理想位置 650a、650b以及650c:位置 700:虛擬環境 710:第一虛擬聲源 720:第二虛擬聲源 PA:第一位置 PB:第二位置 asA:第一音頻信號 asB:第二音頻信號 F_asA:濾波後第一音頻信號 F_asB:濾波後第二音頻信號
此處的附圖被併入說明書中並構成本說明書的一部分,這些附圖示出了符合本發明的實施例,並與說明書一起用於說明本發明實施例的技術方案。 第1圖是根據本揭露一實施例的具有聲音調整能力的系統的示意性側視圖。 第2圖是根據本揭露一實施例第1圖系統的簡化功能區塊圖。 第3圖是根據本揭露一實施例的調整聲音的方法流程圖。 第4圖是根據本揭露一實施例的耳機配置戴在假人頭上的頻率響應示例圖。 第5圖是根據本揭露一實施例的自適應濾波器示例圖。 第6圖是根據本揭露一實施例的耳機配置戴在使用者頭上的頻率響應示例圖。 第7圖示出了由第1圖的頭戴式裝置所提供的虛擬環境示例圖。 第8圖示出了由第1圖的頭戴式裝置所提供的另一個虛擬環境示例圖。
100:系統 110:頭戴式裝置 112:顯示模組 114:第一端子 116:第二端子 120A:第一揚聲器 120B:第二揚聲器 130:控制元件

Claims (20)

  1. 一種具有聲音調整能力的系統,包括:一頭戴式裝置,包括一第一位置追踪電路,其中該第一位置追踪電路用於產生一第一位置信息與一第一方位信息;一第一揚聲器,包括一第二位置追踪電路,其中該第二追踪電路用於產生一第二位置信息與一第二方位信息,該第一揚聲器可從該頭戴式裝置可拆卸分離;以及至少一處理器,用於處理該第一位置信息、該第二位置信息、該第一方位信息以及該第二方位信息,以判斷該第一揚聲器相對於該頭戴式裝置的一位置與一方位,以確定該第一揚聲器是否與該頭戴式裝置分離,並用於藉由至少一第一濾波器或至少一第二濾波器調變一第一音頻信號來產生一濾波後第一音頻信號,其中響應於該第一揚聲器耦合到該頭戴式裝置,該至少一第一濾波器被使用,以及響應於該第一揚聲器從該頭戴式裝置分離,該至少一第二濾波器被使用,其中,該濾波後第一音頻信號被傳輸到該第一揚聲器以驅動該第一揚聲器。
  2. 如請求項1所述之具有聲音調整能力的系統,其中該至少一處理器用於在一或多個頻率上調整該第一音頻信號來生成一聲音,其中,與該第一揚聲器根據未經濾波的音頻信號生成的聲音相比,由該第一揚聲器根據 該濾波後第一音頻信號生成的該聲音,在一使用者耳朵的入口處具有增強的頻率響應。
  3. 如請求項1所述之具有聲音調整能力的系統,其中該至少一第一濾波器包括一耳機效果濾波器,用於消除至少部分地由該頭戴式裝置和該第一揚聲器的耦合一起時的一電路所引起的失真。
  4. 如請求項1所述之具有聲音調整能力的系統,其中該至少一第二濾波器包括一揚聲器效果濾波器,用於消除至少部分由該頭戴式裝置和該第一揚聲器從該頭戴式裝置分離時的一電路所引起的失真。
  5. 如請求項4所述之具有聲音調整能力的系統,其中該至少一個處理器被配置為根據該第一揚聲器和該頭戴式裝置之間的一距離在該揚聲器效果濾波器中選擇用於該第一揚聲器的係數。
  6. 如請求項1所述之具有聲音調整能力的系統,更包括一儲存器,其中響應於該第一揚聲器耦合到該頭戴式裝置,該至少一個處理器被配置為用以獲得由該第一揚聲器基於一參考音頻信號產生的聲音的一回聲的一實際頻率響應,響應於該實際頻率響應與儲存在該儲存器中的一理想 頻率響應的不同,該至少一處理器被配置為將該至少一第一濾波器的一位置補償濾波器應用於該第一音頻信號,其中該位置補償濾波器被配置為用以渲染該回聲使該回聲具有與該理想頻率響應實質相同的一調變後頻率響應。
  7. 如請求項1所述之具有聲音調整能力的系統,更包括可從該頭戴式裝置拆卸的一第二揚聲器,其中響應於該第一揚聲器和該第二揚聲器分別和該頭戴式裝置的相對的一第一和一第二端子耦合,以及響應於該至少一處理器確定該濾波後第一音頻信號為具有對應於該第二端的聲道,該至少一處理器被配置為傳輸之前傳輸至該第二揚聲器的一濾波後第二音頻信號給該第一揚聲器,並將該濾波後第一音頻信號傳輸至該第二揚聲器。
  8. 如請求項1所述之具有聲音調整能力的系統,更包括可從該頭戴式裝置拆卸的一第二揚聲器,其中響應於該第一揚聲器和該第二揚聲器從該頭戴式裝置拆卸並且分別位在一第一位置和一第二位置上,該頭戴式裝置實質上位於該第一位置和該第二位置之間,並且響應於該至少一個處理器確定該濾波後第一音頻信號具有對應於該第二位置的聲道,該至少一處理器用於將之前傳輸到該第二揚聲器的一濾波後第二音頻信號傳輸到該第一揚聲器,並將該濾波後的第一音頻信號傳輸到該第二揚聲器。
  9. 如請求項1所述之具有聲音調整能力的系統,其中該至少一個第二濾波器包括一串擾消除濾波器和一頭部相關傳遞函數(HRTF)濾波器。
  10. 如請求項9所述之具有聲音調整能力的系統,其中該至少一處理器被配置為根據該複數個位置和該複數個方位獲得該串擾消除濾波器和該HRTF濾波器中的係數。
  11. 一種調整聲音的方法,適用於包括一頭戴式裝置和可從頭戴式裝置拆卸的一第一揚聲器的系統中,其中該頭戴式裝置包括一第一位置追踪電路,該第一位置追踪電路用於產生一第一位置信息與一第一方位信息,該第一揚聲器包括一第二位置追踪電路,該第二追踪電路用於產生一第二位置信息與一第二方位信息,該方法包括:處理該第一位置信息、該第二位置信息、該第一方位信息以及該第二方位信息以判斷該第一揚聲器相對於該頭戴式裝置的一位置與一方位,以判斷該第一揚聲器是否從該頭戴式裝置拆卸下來;通過至少一個第一濾波器或至少一個第二濾波器調變一第一音頻信號以生成一濾波後第一音頻信號,其中響應於該第一揚聲器耦合到該頭戴式裝置,該至少一個第一濾波器被使用,並且響應於該第一揚聲器與該頭戴式裝置分離,該至少一個第二濾波器被使用;以及 傳送該濾波後第一音頻信號至該第一揚聲器以驅動該第一揚聲器。
  12. 如請求項11所述之調整聲音的方法,其中調變該第一音頻信號包括在一個或多個頻率上調變該第一音頻信號來生成一聲音,其中,與該第一揚聲器根據未經濾波的音頻信號生成的聲音相比,由該第一揚聲器根據該濾波後第一音頻信號生成的該聲音,在一使用者耳朵的入口處具有增強的頻率響應。
  13. 如請求項11所述之調整聲音的方法,其中該至少一個第一濾波器包括一耳機效果濾波器,用於消除至少部分地因為該頭戴式裝置和該第一揚聲器彼此耦合的一電路所引起的失真。
  14. 如請求項11所述之調整聲音的方法,其中該至少一個第二濾波器包括一揚聲器效果濾波器,用於消除至少部分因為該頭戴式裝置和從該頭戴式裝置分離的該第一揚聲器的一電路所引起的失真。
  15. 如請求項14所述之調整聲音的方法,其中根據該第一揚聲器與該頭戴式裝置之間的一距離選擇該揚聲器效果濾波器中用於該第一揚聲器的係數。
  16. 如請求項11所述之調整聲音的方法,其中該系統還包括一儲存器,其中調變該第一音頻信號更包括:響應於該第一揚聲器耦接至該頭戴式裝置,獲得該第一揚聲器根據一參考音頻信號產生的聲音的一回聲的一實際頻率響應;以及響應於該實際頻率響應與儲存在該儲存器中的一理想頻率響應間的不同,將該至少一第一濾波器的一位置補償濾波器應用於該第一音頻信號,其中該位置補償濾波器被配置為用以渲染該回聲,使得該回聲具有與該理想頻率響應實質相同的一調變後頻率響應。
  17. 如請求項11所述之調整聲音的方法,其中該系統還包括可從該頭戴式裝置拆卸的一第二揚聲器,該方法還包括:響應於該第一揚聲器和該第二揚聲器分別和該頭戴式裝置上相對的一第一和一第二端子耦合,以及響應於該濾波後第一音頻信號具有對應該第二端子的一聲道,將之前傳輸至該第二揚聲器的一濾波後第二音頻信號傳輸至該第一揚聲器,並將該濾波後第一音頻信號傳輸至該第二揚聲器。
  18. 如請求項11所述之調整聲音的方法,其中該系統還包括可從該頭戴式裝置拆卸的一第二揚聲器, 該方法還包括:響應於該第一揚聲器和該第二揚聲器從該頭戴式裝置拆卸並且分別位在一第一位置和一第二位置上,該頭戴式裝置實質上位於該第一位置和該第二位置之間,並且響應於該濾波後第一音頻信號具有對應於該第二位置的聲道,將之前傳輸到該第二揚聲器的一濾波後第二音頻信號傳輸到該第一揚聲器,並將該濾波後第一音頻信號傳輸到該第二揚聲器。
  19. 如請求項11所述之調整聲音的方法,其中該至少一個第二濾波器包括一串擾消除濾波器和一頭部相關傳遞函數(HRTF)濾波器。
  20. 一種非暫態性電腦可讀取儲存媒體,儲存用於控制一系統的複數個電腦可讀取指令,該系統包括至少一個處理器、一頭戴式裝置和可從該頭戴式裝置拆卸的一第一揚聲器,其中該頭戴式裝置包括一第一位置追踪電路,該第一位置追踪電路用於產生一第一位置信息與一第一方位信息,該第一揚聲器包括一第二位置追踪電路,該第二位置追踪電路用於產生一第二位置信息與一第二方位信息,其中該複數個電腦可讀取指令被該至少一個處理器執行時,該至少一個處理器用以執行:處理該第一位置信息、該第二位置信息、該第一方位信息以及該第二方位信息,以判斷該第一揚聲器相對於該頭 戴式裝置的一位置與一方位,以判斷該第一揚聲器是否從該頭戴式裝置拆卸下來;通過至少一個第一濾波器或至少一個第二濾波器調變一第一音頻信號以生成一濾波後第一音頻信號,其中響應於該第一揚聲器耦合到該頭戴式裝置,該至少一個第一濾波器被使用,並且響應於該第一揚聲器與該頭戴式裝置分離,該至少一個第二濾波器被使用;以及傳送該濾波後第一音頻信號至該第一揚聲器以驅動該第一揚聲器。
TW111117318A 2021-11-26 2022-05-09 具聲音調整能力系統、方法和非暫態電腦可讀取儲存媒體 TWI816389B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/456,595 2021-11-26
US17/456,595 US11856378B2 (en) 2021-11-26 2021-11-26 System with sound adjustment capability, method of adjusting sound and non-transitory computer readable storage medium

Publications (2)

Publication Number Publication Date
TW202322105A TW202322105A (zh) 2023-06-01
TWI816389B true TWI816389B (zh) 2023-09-21

Family

ID=86446714

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111117318A TWI816389B (zh) 2021-11-26 2022-05-09 具聲音調整能力系統、方法和非暫態電腦可讀取儲存媒體

Country Status (3)

Country Link
US (1) US11856378B2 (zh)
CN (1) CN116189645A (zh)
TW (1) TWI816389B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106507253A (zh) * 2016-11-24 2017-03-15 歌尔科技有限公司 一种vr头戴设备
TWI687106B (zh) * 2016-05-11 2020-03-01 宏達國際電子股份有限公司 穿戴式電子裝置、虛擬實境系統以及控制方法
CN111474710A (zh) * 2019-01-24 2020-07-31 宏达国际电子股份有限公司 头戴式显示装置
US20200372766A1 (en) * 2015-09-16 2020-11-26 Taction Technology, Inc. Tactile transducer with digital signal processing for improved fidelity
TW202127916A (zh) * 2019-11-22 2021-07-16 美商高通公司 用於虛擬實境音訊的聲場調適
TW202147300A (zh) * 2020-06-10 2021-12-16 宏碁股份有限公司 頭戴式裝置及其立體音效控制方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9610394D0 (en) * 1996-05-17 1996-07-24 Central Research Lab Ltd Audio reproduction systems
US9277343B1 (en) * 2012-06-20 2016-03-01 Amazon Technologies, Inc. Enhanced stereo playback with listener position tracking
US20140334657A1 (en) * 2013-05-13 2014-11-13 Dr. G Licensing, Llc Portable loudspeakers and convertible personal audio headphone/loudspeakers
CN106664499B (zh) * 2014-08-13 2019-04-23 华为技术有限公司 音频信号处理装置
US9832561B2 (en) * 2015-06-11 2017-11-28 Oculus Vr, Llc Detachable audio system for head-mounted displays
US9906885B2 (en) * 2016-07-15 2018-02-27 Qualcomm Incorporated Methods and systems for inserting virtual sounds into an environment
WO2018064528A1 (en) * 2016-09-29 2018-04-05 The Trustees Of Princeton University Ambisonic navigation of sound fields from an array of microphones
CN209201256U (zh) * 2018-06-14 2019-08-02 苹果公司 显示***
US10859689B2 (en) * 2018-09-28 2020-12-08 Silicon Laboratories Inc. Systems and methods for selecting operating mode based on relative position of wireless devices
US11451922B1 (en) * 2020-06-15 2022-09-20 Amazon Technologies, Inc. Head-mounted speaker array

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200372766A1 (en) * 2015-09-16 2020-11-26 Taction Technology, Inc. Tactile transducer with digital signal processing for improved fidelity
TWI687106B (zh) * 2016-05-11 2020-03-01 宏達國際電子股份有限公司 穿戴式電子裝置、虛擬實境系統以及控制方法
CN106507253A (zh) * 2016-11-24 2017-03-15 歌尔科技有限公司 一种vr头戴设备
CN111474710A (zh) * 2019-01-24 2020-07-31 宏达国际电子股份有限公司 头戴式显示装置
TW202127916A (zh) * 2019-11-22 2021-07-16 美商高通公司 用於虛擬實境音訊的聲場調適
TW202147300A (zh) * 2020-06-10 2021-12-16 宏碁股份有限公司 頭戴式裝置及其立體音效控制方法

Also Published As

Publication number Publication date
TW202322105A (zh) 2023-06-01
CN116189645A (zh) 2023-05-30
US11856378B2 (en) 2023-12-26
US20230171542A1 (en) 2023-06-01

Similar Documents

Publication Publication Date Title
JP6204618B2 (ja) 会話支援システム
US11190867B2 (en) Non-blocking dual driver earphones
US5272757A (en) Multi-dimensional reproduction system
EP3468228B1 (en) Binaural hearing system with localization of sound sources
US11523244B1 (en) Own voice reinforcement using extra-aural speakers
EP3225039B1 (en) System and method for producing head-externalized 3d audio through headphones
US11363385B1 (en) High-efficiency motor for audio actuation
CN105246001B (zh) 双耳录音耳机重放***及方法
US6990210B2 (en) System for headphone-like rear channel speaker and the method of the same
US10440495B2 (en) Virtual localization of sound
TWI816389B (zh) 具聲音調整能力系統、方法和非暫態電腦可讀取儲存媒體
US7050596B2 (en) System and headphone-like rear channel speaker and the method of the same
US6983054B2 (en) Means for compensating rear sound effect
US10764707B1 (en) Systems, methods, and devices for producing evancescent audio waves
TW519849B (en) System and method for providing rear channel speaker of quasi-head wearing type earphone
TWI824522B (zh) 音訊播放系統
KR102613035B1 (ko) 위치보정 기능의 이어폰 및 이를 이용하는 녹음방법
EP4207813B1 (en) Hearing device
TW510142B (en) Rear-channel sound effect compensation device
WO2023061130A1 (zh) 耳机、用户设备及处理信号的方法
US11638111B2 (en) Systems and methods for classifying beamformed signals for binaural audio playback
TW201914315A (zh) 穿戴式音訊處理裝置及其音訊處理方法
US20230353930A1 (en) Transmission Line Speakers for Artificial-Reality Headsets
KR20230123532A (ko) 공간 오디오 이어폰, 디바이스 및 이를 이용한 통화 방법
CN117837172A (zh) 信号处理装置、信号处理方法和程序