TWI687106B - 穿戴式電子裝置、虛擬實境系統以及控制方法 - Google Patents

穿戴式電子裝置、虛擬實境系統以及控制方法 Download PDF

Info

Publication number
TWI687106B
TWI687106B TW106115488A TW106115488A TWI687106B TW I687106 B TWI687106 B TW I687106B TW 106115488 A TW106115488 A TW 106115488A TW 106115488 A TW106115488 A TW 106115488A TW I687106 B TWI687106 B TW I687106B
Authority
TW
Taiwan
Prior art keywords
sound
electronic device
wearable electronic
microphone
distance
Prior art date
Application number
TW106115488A
Other languages
English (en)
Other versions
TW201740744A (zh
Inventor
林子謙
蔡育根
廖俊旻
Original Assignee
宏達國際電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 宏達國際電子股份有限公司 filed Critical 宏達國際電子股份有限公司
Publication of TW201740744A publication Critical patent/TW201740744A/zh
Application granted granted Critical
Publication of TWI687106B publication Critical patent/TWI687106B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H04S7/304—For headphones
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/22—Interactive procedures; Man-machine interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/02—Spatial or constructional arrangements of loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/033—Headphones for stereophonic communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一種穿戴式電子裝置包含麥克風陣列、複數立體揚聲器以及控制電路。麥克風陣列用以感測環境聲音。控制電路耦接麥克風陣列以及立體揚聲器。控制電路用以根據麥克風陣列所感測的環境聲音進而計算由環境聲音之聲源至穿戴式電子裝置的距離以及方向角。控制電路更用以對應環境聲音產生效果聲音。控制電路更用以處理效果聲音以模擬效果聲音是源自於虛擬位置，虛擬位置與穿戴式電子裝置之間相隔前述距離且虛擬位置位於前述方向角上。控制電路更用以透過立體揚聲器播放經處理的效果聲音。

Description

穿戴式電子裝置、虛擬實境系統以及控制 方法
本揭示文件有關於一種穿戴式電子裝置以及虛擬實境系統，更進一步來說，本揭示文件有關於應用穿戴式電子裝置以及虛擬實境系統上有關於聲音的偵測機制。
在穿戴式電子裝置在許多應用中都十分受到歡迎。舉例來說，有些使用者會配戴頭戴式顯示(head-mounted display,HMD)裝置來體驗虛擬實境(Virtual Reality,VR)或是擴增實境(Augmented Reality,AR)的各種場景。
當使用者配戴頭戴式顯示裝置，使用者的視覺將會被頭戴式顯示裝置的顯示螢幕覆蓋，且他們的耳朵也可能戴上與頭戴式顯示裝置搭配的耳機，如此一來，使用者將難以察覺到周圍環境的聲響。這些使用者可能無法聽到旁邊行人的腳步聲、電話的鈴聲或是其他人的呼喚或聲音警告。
本揭示內容之一實施例提供一種穿戴式電子裝置，其包含麥克風陣列、複數個立體揚聲器以及控制電路。麥克風陣列用以感測環境聲音。控制電路耦接麥克風陣列以及立體揚聲器。控制電路用以根據麥克風陣列所感測的環境聲音進而計算由環境聲音之聲源至穿戴式電子裝置的距離以及方向角。控制電路更用以對應環境聲音產生效果聲音。控制電路更用以處理效果聲音以模擬效果聲音是源自於虛擬位置，虛擬位置與穿戴式電子裝置之間相隔距離且虛擬位置位於方向角上。控制電路更用以透過立體揚聲器播放經處理的效果聲音。
本揭示內容之另一實施例提供一種虛擬實境系統，其包含第一穿戴式電子裝置以及第二穿戴式電子裝置。第一穿戴式電子裝置包含第一麥克風陣列、第一網路介面電路以及第一控制電路。第一麥克風陣列用以感測環境場景的第一環境聲音。第一控制電路耦接第一麥克風陣列以及第一網路介面電路，第一控制電路用以根據第一環境聲音計算由第一環境聲音之聲源至第一穿戴式電子裝置的第一距離以及第一方向角。第二穿戴式電子裝置包含第二麥克風陣列、第二網路介面電路以及第二控制電路。第二麥克風陣列用以感測環境場景的第二環境聲音。第二網路介面電路通訊連接至第一網路介面電路，第二網路介面電路用以由第一穿戴式電子裝置接收第一環境聲音、第一距離以及第一方向角。第二控制電路耦接第二麥克風陣列以及第二網路介面電路，控制電路用以根據第二環境聲音計算由第二環境聲音之聲源至第二穿戴式電子裝置的第二距離以及第二方向角，第二控制電路用以根據第一距離、第 一方向角、第二距離以及第二方向角而計算第一穿戴式電子裝置與第二穿戴式電子裝置之間的相對位置關係。
本揭示內容之另一實施例提供一種控制方法，其適用於穿戴式電子裝置，穿戴式電子裝置包含麥克風陣列以及複數個立體揚聲器，控制方法包含利用麥克風陣列感測環境聲音。根據環境聲音計算由環境聲音之聲源至穿戴式電子裝置的距離以及方向角。對應環境聲音產生效果聲音。處理效果聲音以模擬效果聲音是源自於虛擬位置，虛擬位置與穿戴式電子裝置之間相隔距離且虛擬位置位於方向角上。透過立體揚聲器播放經處理的效果聲音。
本揭示內容之另一實施例提供一種控制方法，其適用於虛擬實境系統，虛擬實境系統包含第一穿戴式電子裝置以及第二穿戴式電子裝置，控制方法包含利用第一穿戴式電子裝置感測環境場景的第一環境聲音，以及利用第二穿戴式電子裝置感測環境場景的第二環境聲音。根據第一環境聲音計算由第一環境聲音之聲源至第一穿戴式電子裝置的第一距離以及第一方向角。根據第二環境聲音計算由第二環境聲音之聲源至第二穿戴式電子裝置的第二距離以及第二方向角。根據第一距離、第一方向角、第二距離以及第二方向角而計算第一穿戴式電子裝置與第二穿戴式電子裝置之間的相對位置關係。
應當理解，前述一般性描述和以下詳細描述都是通過實例，並且旨在提供對本揭示文件的進一步解釋。
100、200‧‧‧穿戴式電子裝置
121、221‧‧‧第一麥克風
120、220‧‧‧麥克風陣列
122、222‧‧‧第二麥克風
140、240‧‧‧立體揚聲器
141、241‧‧‧右耳耳機
160、260‧‧‧控制電路
142、242‧‧‧左耳耳機
180、280‧‧‧顯示器
190、290‧‧‧網路介面電路
400‧‧‧虛擬實境系統
S302-S313‧‧‧操作
300、500‧‧‧控制方法
S502-S511‧‧‧操作
通過閱讀以下實施例的詳細描述，並參考以下附圖，可以更全面地理解本揭示文件：第1圖繪示根據本揭示文件之一些實施例中穿戴式電子裝置在真實場景中的示意圖；第2圖繪示第1圖中的穿戴式電子裝置的功能方塊圖；第3圖繪示根據本揭示文件之一實施例中控制方法的方法流程圖；第4A圖至第4C圖分別繪示第一麥克風在三個不同時間點所分別感測到的三個聲音取樣在不同頻率上的聲音強度分佈的示意圖；第5A圖至第5C圖分別繪示第二麥克風在三個不同時間點所分別感測到的三個聲音取樣在不同頻率上的聲音強度分佈的示意圖；第6圖繪示第1圖當中的聲源、第一麥克風以及第二麥克風之間的空間關係示意圖；第7圖繪示第3圖其中一操作所計算之方向角與距離的示意圖；第8圖繪示第3圖的控制方法的進一步操作的方法流程圖；第9圖繪示根據本揭示文件之一實施例中一種虛擬實境系統的示意圖；第10圖繪示第9圖當中虛擬實境系統的兩個穿戴式電子裝置及的功能方塊圖；第11圖繪示第10圖當中的虛擬實境系統所執行之控制方法的方法流程圖；以及第12圖繪示第9圖中的虛擬實境系統的另一示意圖。
本揭示文件揭示內容之當前實施例會在以下詳細說明。揭示內容之實例會繪示於相關圖式。若有可能，在圖式及說明書中會使用相同的元件符號代表相同或相似之部件。
請參考第1圖以及第2圖，第1圖繪示根據本揭示文件之一些實施例中穿戴式電子裝置100在真實場景中的示意圖。第2圖繪示第1圖中的穿戴式電子裝置100的功能方塊圖。如第1圖及第2圖所示，穿戴式電子裝置100包含麥克風陣列120、複數個立體揚聲器140以及控制電路160。控制電路160耦接至麥克風陣列120以及立體揚聲器140。
於第1圖所示的實施例中，穿戴式電子裝置100是頭戴式顯示(head-mounted display,HMD)裝置，例如第1圖之實施例中所繪示的虛擬實境頭盔或擴增實境頭盔。虛擬實境頭盔或擴增實境頭盔可以由獨立設置的頭戴式顯示裝置實現，或是由智慧型手機以及用以固定智慧型手機的頭盔配件兩者之組合所實現。使用者U1可以將穿戴式電子裝置100配戴在自己的頭上。如第2圖所示，穿戴式電子裝置100更包含顯示器180。顯示器180用以向使用者U1顯示虛擬實境場景。於部分實施例中，顯示器180可以包含兩個顯示面板用以對應使用者U1的雙眼，且兩個顯示面板可以向使用者U1的雙眼顯示視差影像以創造虛擬實境的體驗。
於一實施例中，如第2圖所示，穿戴式電子裝置100更包含網路介面電路190。網路介面電路190可以是WiFi 收發器、Zigbee收發器、電信網路收發器(例如2G,3G,4G及/或5G電信網路收發器)、區域網路收發器及/或其他具相等性的網路收發器。穿戴式電子裝置100的網路介面電路190可用以通訊連接至另一穿戴式電子裝置(圖中未示)。
麥克風陣列120用以感測真實場景中的一個環境聲音ES1。環境聲音ES1是由聲源ESS1所產生，環境聲音ES1可以是週遭通過之路人的腳步聲、電話的鈴聲、另一人的說話聲、電視所播放的音樂或是其他在使用者U1周圍的真實場景中所出現的聲音。麥克風陣列120包含至少兩個麥克風，分別設置在穿戴式電子裝置100上的相異位置。如第1圖所示的實施例中，麥克風陣列120包含第一麥克風121以及第二麥克風122用以感測聲源ESS1所產生的環境聲音ES1並產生複數個聲音取樣。如第1圖所示的實施例中，第一麥克風121位於穿戴式電子裝置100的右側，而第二麥克風122位於穿戴式電子裝置100的左側。於其他實施例中，麥克風陣列120可以包含兩個以上的麥克風(圖中未示)分別設置於穿戴式電子裝置100上的相異位置。
多個立體揚聲器140是用來向使用者U1播放輸出音訊。於第1圖及第2圖所示的多個立體揚聲器140包含至少兩個揚聲器，其為右耳耳機141以及左耳耳機142配戴於使用者U1的兩耳上。於另一實施例中，多個立體揚聲器140可以包含右聲道擴音喇叭以及左聲道擴音喇叭。於再一實施例中，多個立體揚聲器140可以包含多於兩個揚聲器(圖中未示)分別設置於相對使用者U1的不同位置。
如第2圖所示，控制電路160耦接至麥克風陣列120、立體揚聲器140以及顯示器180。於一些實施例中，控制電路160為處理器、中央控制單元、邏輯控制單元、音訊處理單元或是其他具相等性的電路元件。控制電路160用以根據麥克風陣列120所感測的環境聲音ES1進而計算由聲源ESS1至穿戴式電子裝置100的距離以及方向角。上述計算的細節將在下列段落中有完整說明。
請一併參閱第3圖，其繪示根據本揭示文件之一實施例中控制方法300的方法流程圖。控制方法300適用於第1圖及第2圖所示的穿戴式電子裝置100上。
如第1圖及第3圖所示，控制方法300執行操作S302以利用麥克風陣列120感測環境聲音ES1。於一實施例中，設置於相異位置的第一麥克風121以及第二麥克風122用以感測環境聲音ES1並產生複數個聲音取樣。
第一麥克風121以及第二麥克風122會分別產生環境聲音ES1的複數個聲音取樣(例如時域上的震動波形)。根據轉換演算法(例如快速傅立葉轉換)可以將聲音取樣轉換為不同頻率上的聲音強度分佈。
請一併參閱第4A圖至第4C圖以及第5A圖至第5C圖。第4A圖繪示第一麥克風121在時間點T1所感測到的聲音取樣SAM1在不同頻率上的聲音強度分佈的示意圖。相似地，第4B圖繪示第一麥克風121在時間點T2所感測到的聲音取樣SAM2在不同頻率上的聲音強度分佈的示意圖，時間點T2位於時間點T1之後。相似地，第4C圖繪示第一麥克風121在 時間點T3所感測到的聲音取樣SAM3在不同頻率上的聲音強度分佈的示意圖，時間點T3位於時間點T2之後。相似地，第5A圖至第5C圖分別繪示第二麥克風122在時間點T1、T2以及T3所分別感測到的三個聲音取樣SAM4、SAM5及SAM6在不同頻率上的聲音強度分佈的示意圖。
如第1圖及第3圖所示，控制方法300執行操作S304，由控制電路160根據麥克風陣列120所感測的環境聲音ES1進而計算由聲源ESS1至穿戴式電子裝置100的距離以及方向角。
請一併參閱第6圖，其繪示第1圖當中的聲源ESS1、第一麥克風121以及第二麥克風122之間的空間關係示意圖。
控制電路160是基於同一個環境聲音ES1分別由第一麥克風121以及第二麥克風122各自感測到的兩個聲音取樣之間的時間差，進而計算由環境聲音ES1的聲源ESS1至穿戴式電子裝置100的方向角θs。
如第6圖所示，假設聲源ESS1是位於相對穿戴式電子裝置100的右側。由於第一麥克風121以及第二麥克風122分別設置於穿戴式電子裝置100上的相異位置，環境聲音ES1到達第一麥克風121以及第二麥克風122的時間點會有所差異。
於第6圖所示的例子中，環境聲音ES1的聲波前緣WFT1會首先抵達第一麥克風121(假設抵達時為時間點T1)。環境聲音ES1的聲波前緣WFT3稍後才會抵達第二麥克風 122(假設抵達時為時間點T3)。如第4A圖所示，第一麥克風121在時間點T1所感測到的聲音取樣SAM1中反映其感測到的環境聲音ES1的內容。如第5C圖所示，第二麥克風122在時間點T3所感測到的聲音取樣SAM6中反映其感測到的環境聲音ES1的內容。
於一例子中，透過將第一麥克風121所感測到的聲音取樣SAM1與第二麥克風122所感測到的每一個聲音取樣SAM4-SAM6分別計算相關係數(correlation coefficient)，可以藉此找到聲音取樣SAM1與聲音取樣SAM6之間的對應關係。於此例子中，聲音取樣SAM6的強度分佈是高度相關於聲音取樣SAM1的強度分佈，因此將第二麥克風122在時間點T3所感測到的聲音取樣SAM6視為是與第一麥克風121在時間點T1所感測到的聲音取樣SAM1比對吻合。換句話說，可以在第一麥克風121所感測的每一個聲音取樣與第二麥克風122所感測的每一個聲音取樣之間逐一計算彼此間的相關係數，如此一來，就可以辨識出兩個麥克風對同一個環境聲音ES1各自感測到的聲音取樣。既然環境聲音ES1是在時間點T1抵達第一麥克風121並且在時間點T3抵達第二麥克風122，時間點T1與時間點T3之間的時間間隔也就是第一麥克風121所感測到的聲音取樣SAM1與第二麥克風122所感測到的聲音取樣SAM6之間的時間差。
如第6圖所示之實施例中，方向角θs的計算可以透過下列公式進行：
Figure 106115488-A0101-12-0009-21
Figure 106115488-A0101-12-0010-2
於方程式(2)當中，距離D1是第一麥克風121與第二麥克風122之間的已知距離，常數C是已知的聲波傳輸速度，時間差Td是由前述時間點T1與時間點T3之間的時間間隔得知。也就是說，方向角θs的大小可以由聲音取樣SAM1與聲音取樣SAM6之間的時間差Td而計算出來，其中聲音取樣SAM1與聲音取樣SAM6分別是第一麥克風121與第二麥克風122感測到相同之環境聲音ES1各自的聲音取樣結果。
於一實施例中，控制電路160用以根據第一麥克風121或第二麥克風122所感測的聲音取樣SAM1-SAM6的強度水平計算由環境聲音ES1的聲源ESS1至穿戴式電子裝置100的距離。
於一實施例中，第一麥克風121與第二麥克風122之間的距離為已知的定值。當環境聲音ES1分別由第一麥克風121或第二麥克風122接收時，在第一麥克風121所感測的聲音取樣SAM1-SAM3與第二麥克風122所感測的聲音取樣SAM4-SAM6之間會存在一定的強度水平差異。
當環境聲音ES1的聲源ESS1距離第一麥克風121或第二麥克風122較遠時，聲音取樣SAM1-SAM6的強度水平會較低。當環境聲音ES1的聲源ESS1距離第一麥克風121或第二麥克風122較近時，聲音取樣SAM1-SAM6的強度水平會較高。
假設第一麥克風與第二麥克風之間的距離為DMIC(圖中未示)，且對同一環境聲音第一麥克風121所感測的 聲音取樣與第二麥克風122所感測的聲音取樣之間的強度水平差異為LDIFF(圖中未示)，第一麥克風121所偵測的絕對音量大小為VMIC1(圖中未示)，則第6圖當中聲源ESS1與第一麥克風121之間的距離Ds1在一實施例中可透過下列方式計算：
Figure 106115488-A0101-12-0011-3
於另一實施例中，控制電路160用以根據第一麥克風121所感測的聲音取樣SAM1之強度水平，而估算第一麥克風121相對於聲源ESS1的距離Ds1。
於另一實施例中，控制電路160用以根據第二麥克風122所感測的聲音取樣SAM6之強度水平，而估算第二麥克風122相對於聲源ESS1的距離Ds2。
於另一實施例中，控制電路160用以透過發送參考音頻並接著計算參考音頻其頻率響應中的下傾深度(dip depth)，進而估算第一麥克風121相對於聲源ESS1的距離Ds1。
請一併參閱第7圖，其繪示第3圖中操作S304所計算之方向角θs與距離Ds的示意圖。第7圖當中聲源ESS1與穿戴式電子裝置100之間的距離Ds可以定義為第6圖當中的距離Ds1、距離Ds2或者兩者之間的平均數值。沿著方向角θs以及上述距離Ds，控制電路160可以得到一個虛擬位置VL，此虛擬位置VL是等同於聲源ESS1所在的預估位置。
麥克風陣列120並不僅限於兩個麥克風。麥克風陣列120可以更包含兩個以上的麥克風，藉此提高計算方向角θs以及距離Ds的準確性。
如第1圖及第3圖所示，控制方法300執行操作S306，由控制電路160對應環境聲音ES1產生效果聲音。
環境聲音ES1可以是周圍路人的腳步聲、電話鈴聲、另一人的談話聲或是電視播放的音樂聲響等。
於一實施例中，由控制電路160產生的效果聲音可以是等同於環境聲音ES1原本的聲音內容(即腳步聲、電話鈴聲、談話聲或是音樂聲響等)。
於另一實施例中，如第1圖及第2圖所示之穿戴式電子裝置100為虛擬實境頭戴式顯示裝置，而顯示器180用以對使用者U1顯示虛擬實境場景(例如鬼屋、城堡、外太空、有恐龍存在的古代世界或是未來世界)。於此例子中，控制電路160是根據虛擬實境場景所對應的音訊聲調而調整環境聲音ES1，藉此產生效果聲音。舉例來說，當虛擬實境場景為恐龍存在的古代世界時，包含行人的腳步聲的環境聲音ES1可以被調整為包含恐龍的腳步聲。或者當虛擬實境場景為鬼屋時，包含人的談話聲的環境聲音ES1可以被調整為類似鬼的談話聲。
如第3圖及第7圖所示，控制方法300執行操作S308，控制電路160處理效果聲音使效果聲音經模擬而源自於虛擬位置VL，虛擬位置VL與穿戴式電子裝置100相隔距離Ds，並且虛擬位置VL相對穿戴式電子裝置100位於方向角θs上。
若效果聲音是同步且聲量相同地在立體揚聲器140中的右耳耳機141以及左耳耳機142上播放，效果聲音對使用者U1而言並不逼真，因為真實的聲音在抵達右耳與左耳會 有些微不同的時間差且具有些微不同的強度。因此，步驟S306中產生的效果聲音在操作S308經被處理為右聲道效果聲音以及左聲道效果聲音。舉例來說，控制電路160可以利用頭部相關傳輸函數(Head-Related Transfer Function,HRTF)演算法並基於虛擬位置VL(被指定為效果聲音的來源座標)將效果聲音處理為右聲道效果聲音以及左聲道效果聲音。基於相對於立體揚聲器140的虛擬位置VL，頭部相關傳輸函數演算法會套用不同的濾波增益以產生右聲道效果聲音以及左聲道效果聲音。於第7圖的例子當中，左聲道效果聲音相較於右聲道效果聲音會在時間上稍微延遲，且左聲道效果聲音相較於右聲道效果聲音會在聲音強度上稍微降低。
如第1圖、第3圖及第7圖所示，控制方法300執行操作S310，透過立體揚聲器140播放經處理的效果聲音(包含右聲道效果聲音以及左聲道效果聲音)，如此一來使用者U1所聽到的聲音將類似於環境聲音ES1位於一定距離之外且來自一定的方向角。
請一併參閱第8圖，其繪示第3圖的控制方法300的進一步操作S309、S311、S312以及S313的方法流程圖。於一實施例中，穿戴式電子裝置100為虛擬實境頭戴式顯示裝置。顯示器180用以對使用者U1顯示虛擬實境場景。虛擬實境場景本身具有虛擬世界聲音。如第8圖所示，在操作S308之後，控制方法300執行操作S309，由控制電路160將經處理的效果聲音結合至虛擬實境場景的虛擬世界聲音中。接著，控制方法300執行操作S310，將經處理的效果聲音與虛擬世界聲音 一併透過立體揚聲器140播放，如此一來，使用者U1可以同時聽到虛擬場景中的音效以及真實環境中的聲音。
此外，如第8圖所示，在操作S308之後，控制方法300執行操作S311，由控制電路160產生對應環境聲音的虛擬物件。控制方法300執行操作S312，由控制電路160將虛擬物件結合至虛擬實境場景中。控制方法300執行操作S313，由控制電路160在虛擬實境場景中虛擬位置VL(參照第7圖)上顯示虛擬物件。
舉例來說，當環境聲音ES1包含行人的腳步聲，根據環境聲音ES1產生的虛擬物件可以是行人、行走的怪物或移動中的敵人等。另一方面，當環境聲音ES1包含音樂聲時，根據環境聲音ES1產生的虛擬物件可以是行進樂隊或是音樂家等。於此例子中，虛擬物件會被顯示在虛擬實境場景中適當的位置以對應到環境聲音ES1的空間位置。
請一併參閱第9圖以及第10圖，第9圖繪示根據本揭示文件之一實施例中一種虛擬實境系統400的示意圖。如第9圖所示虛擬實境系統400包含兩個穿戴式電子裝置100及200。第10圖繪示第9圖當中虛擬實境系統400的兩個穿戴式電子裝置100及200的功能方塊圖。
如第10圖所示，兩個穿戴式電子裝置100及200各自包含麥克風陣列120或220、立體揚聲器140或240、控制電路160或260、顯示器180或280以及網路介面電路190或290。第10圖之虛擬實境系統400當中的穿戴式電子裝置100及200均相似於第1圖及第2圖之實施例當中所示的穿戴式電 子裝置100。關於第10圖之虛擬實境系統400當中的穿戴式電子裝置100及200其內部構件的詳細解釋可以參照第1圖及第2圖之實施例當中所示的穿戴式電子裝置100中的完整說明，相似的部分在此實施例中不吝贅述。虛擬實境系統400當中的穿戴式電子裝置100及200可以各自獨立的執行第3圖中的控制方法300。穿戴式電子裝置100的麥克風陣列120包含第一麥克風121以及第二麥克風122。而另一穿戴式電子裝置200的麥克風陣列220亦包含另一第一麥克風221以及另一第二麥克風222。
請一併參閱第11圖，其繪示第10圖當中的虛擬實境系統400所執行之控制方法500的方法流程圖。
如第10圖以及第11圖所示，對於穿戴式電子裝置100而言，執行操作S502以利用穿戴式電子裝置100的麥克風陣列120感測第一環境聲音(於此例子中為聲源ESS2所產生的環境聲音ES2)。執行操作S504以根據第一環境聲音(於此例子中為聲源ESS2所產生的環境聲音ES2)計算由第一環境聲音之聲源ES2至第一穿戴式電子裝置100的第一距離以及第一方向角。有關於如何執行操作S504之計算的細部做法，可以參照先前實施例中關於操作S304的段落配合第6圖的完整說明。執行操作S506將第一環境聲音、第一距離以及第一方向角由穿戴式電子裝置100傳送至穿戴式電子裝置200。
對於穿戴式電子裝置200而言，執行操作S503以利用穿戴式電子裝置200的麥克風陣列220感測第二環境聲音(於此例子中也是同樣是聲源ESS2所產生的環境聲音ES2)。執 行操作S505以根據第二環境聲音(於此例子中為環境聲音ES2)計算由第二環境聲音之聲源ES2至第二穿戴式電子裝置200的第二距離以及第二方向角。有關於如何執行操作S505之計算的細部做法，可以參照先前實施例中關於操作S304的段落配合第6圖的完整說明。執行操作S507在穿戴式電子裝置200上接受穿戴式電子裝置100所感測到的第一環境聲音，並且在穿戴式電子裝置200上接收穿戴式電子裝置100所計算出的第一距離以及第一方向角。
執行操作S509以判斷穿戴式電子裝置100所感測到的第一環境聲音是否與穿戴式電子裝置200所感測到的第二環境聲音比對吻合。當第一環境聲音與第二環境聲音比對吻合時(於此實施例中第一環境聲音與第二環境聲音均對應到聲源ESS2所產生的環境聲音ES2，因此第一環境聲音與第二環境聲音兩者會具有相類似的音訊特徵)，執行操作S511以根據第一距離、第一方向角、第二距離以及第二方向角計算穿戴式電子裝置100以及穿戴式電子裝置200之間的相對位置關係。
由於第一距離及第一方向角代表了穿戴式電子裝置100相對於聲源ESS2的位置，而第二距離以及第二方向角代表了穿戴式電子裝置200相對於同一聲源ESS2的位置，因此穿戴式電子裝置100以及穿戴式電子裝置200之間的相對位置關係可以從第一距離、第一方向角、第二距離以及第二方向角推算得知。
於另一實施例中，當同一聲源ESS2產生了環境 聲音ES2，環境聲音ES2會分別被穿戴式電子裝置100的第一麥克風121與第二麥克風122以及穿戴式電子裝置200的第一麥克風221與第二麥克風222在相異的時間點所感測。穿戴式電子裝置100以及穿戴式電子裝置200之間的相對位置關係可以根據第一麥克風121、第二麥克風122、第一麥克風221以及第二麥克風222感測到相同的環境聲音ES2的相異時間點任兩者彼此之間的時間差距而推算得到。
基於控制方法500，穿戴式電子裝置200可以得知在真實場景當中穿戴式電子裝置100的所在位置。因此，穿戴式電子裝置200的控制電路260可以對應穿戴式電子裝置100產生一虛擬物件，並將虛擬物件加入使用者U2所感受到的虛擬實境場景當中，如此一來，使用者U2在虛擬實境場景當中也能察覺到附近的使用者U1。相似地，穿戴式電子裝置100也可以根據前述相對位置關係得知穿戴式電子裝置200的所在位置。
於一實施例中，可以透過計算穿戴式電子裝置100所感測到的第一環境聲音與穿戴式電子裝置200所感測到的第二環境聲音之間的相關係數，來進行第一環境聲音與第二環境聲音的比對。若兩者之間的相關係數高於一門檻值，便可判定第一環境聲音與第二環境聲音比對吻合。
於上述實施例中，配戴穿戴式電子裝置100的使用者U1與配戴穿戴式電子裝置200的使用者U2可以藉由收到相同的環境聲音ES2而得知彼此的位置。
請一併參閱第12圖，其繪示第9圖中的虛擬實境 系統400的另一示意圖。於第12圖的實施例中，環境聲音ES3為配戴穿戴式電子裝置200的使用者U2所發出的使用者語音。於此例中，參照第10圖及第12圖，計算得到的第二距離將非常短，且麥克風陣列220當中的第一麥克風241與第二麥克風242之間接收到環境聲音ES3的時間差將非常短(甚至幾乎不存在)，此時穿戴式電子裝置200可以得知環境聲音ES3是配戴穿戴式電子裝置200的使用者U2所發出的使用者語音。
如第10圖所示，穿戴式電子裝置100更包含網路介面電路190。網路介面電路190可以是WiFi收發器、Zigbee收發器、電信網路收發器(例如2G,3G,4G及/或5G電信網路收發器)、區域網路收發器及/或其他具相等性的網路收發器。穿戴式電子裝置100的網路介面電路190可用以通訊連接至如第10圖所示的穿戴式電子裝置200。網路介面電路190與控制電路160耦接。網路介面電路190用以接收一網路封包，網路封包包含穿戴式電子裝置200所感測到的另一環境聲音ES3。當環境聲音ES3包含使用者U2的使用者語音，穿戴式電子裝置100中控制電路160更用以根據使用者語音，進而驗證對應穿戴式電子裝置200之使用者身分。
基於上述實施例，穿戴式電子裝置可以偵測環境聲音的來源方向以及環境聲音與穿戴式電子裝置之間的距離，如此一來，穿戴式電子裝置可以將環境聲音傳遞給使用者並同時保持環境聲音原本的空間特徵。環境聲音可以根據虛擬場景進行調整。此外，環境聲音可以用來產生虛擬物件至虛擬實境場景當中。再者，環境聲音可以用來定位虛擬實境系統當 中的兩個穿戴式電子裝置。
雖然本揭示文件已參考特定實施例詳細敘述記載，其他實施例亦為可能。因此，附隨申請專利範圍之精神與原理並非僅限於上文實施例的描述。本揭示文件所屬技術領域中具有通常知識者，在不悖離本揭示文件之原理或精神的情形下，當可對其進行各種更動與修飾。鑒於上述，本文旨在涵蓋落入所附申請專利範圍的範圍內之對於本揭示文件的修改和變化。
300‧‧‧控制方法
S302‧‧‧操作
S304‧‧‧操作
S306‧‧‧操作
S308‧‧‧操作
S310‧‧‧操作

Claims (12)

  1. 一種穿戴式電子裝置，包含：一麥克風陣列，用以感測一環境聲音；複數個立體揚聲器；以及一控制電路，耦接該麥克風陣列以及該些立體揚聲器，該控制電路用以：根據該麥克風陣列所感測的該環境聲音，計算由該環境聲音之一聲源至該穿戴式電子裝置的一距離以及一方向角；調整該環境聲音產生一效果聲音；處理該效果聲音以模擬該效果聲音是源自於一虛擬位置，該虛擬位置與該穿戴式電子裝置之間相隔該距離且該虛擬位置位於該方向角上；以及透過該些立體揚聲器播放經處理的該效果聲音；其中，根據一虛擬實境場景所對應的音訊聲調而調整該環境聲音以產生該效果聲音。
  2. 如請求項1所述之穿戴式電子裝置，其中該麥克風陣列包含一第一麥克風以及一第二麥克風，該第一麥克風以及該第二麥克風設置於該穿戴式電子裝置上的相異位置並用以感測相對應於該環境聲音的複數個聲音取樣。
  3. 如請求項1所述之穿戴式電子裝置，其中該穿戴式電子裝置為包含一顯示器的一頭戴式顯示裝置，該顯 示器用以顯示該虛擬實境場景，經處理的該效果聲音與相對應於該虛擬實境場景的一虛擬世界聲音兩者結合並透過該些立體揚聲器播放。
  4. 如請求項1所述之穿戴式電子裝置，更包含一網路介面電路其無線通訊連接至一另一穿戴式電子裝置，其中該網路介面電路用以接收一網路封包其包含該另一穿戴式電子裝置所感測到的另一環境聲音，該另一環境聲音包含一使用者語音，該控制電路更用以根據該使用者語音進而驗證對應該另一穿戴式電子裝置之一使用者身分。
  5. 一種虛擬實境系統，包含：一第一穿戴式電子裝置，包含：一第一麥克風陣列，用以感測一環境場景的一第一環境聲音；一第一網路介面電路；以及一第一控制電路，耦接該第一麥克風陣列以及該第一網路介面電路，該第一控制電路用以根據該第一環境聲音計算由該第一環境聲音之一聲源至該第一穿戴式電子裝置的一第一距離以及一第一方向角；以及一第二穿戴式電子裝置，包含：一第二麥克風陣列，用以感測該環境場景的一第二環境聲音；一第二網路介面電路，通訊連接至該第一網路介面 電路，該第二網路介面電路用以由該第一穿戴式電子裝置接收該第一環境聲音、該第一距離以及該第一方向角；其中，根據一虛擬實境場景所對應的音訊聲調而調整該第一環境聲音以產生一效果聲音；以及一第二控制電路，耦接該第二麥克風陣列以及該第二網路介面電路，該第二控制電路用以根據該第二環境聲音計算由該第二環境聲音之一聲源至該第二穿戴式電子裝置的一第二距離以及一第二方向角，該第二控制電路用以根據該第一距離、該第一方向角、該第二距離以及該第二方向角而計算該第一穿戴式電子裝置與該第二穿戴式電子裝置之間的一相對位置關係。
  6. 如請求項5所述之虛擬實境系統，其中該第一麥克風陣列包含一第一麥克風以及一第二麥克風，該第一麥克風以及該第二麥克風設置於該第一穿戴式電子裝置上的相異位置並用以感測相對應於該環境聲音的複數個聲音取樣。
  7. 如請求項6所述之虛擬實境系統，其中該第一控制電路用以根據該第一麥克風或該第二麥克風所感測的該些聲音取樣之一強度水平，進而計算由該第一環境聲音之該聲源至該第一穿戴式電子裝置的該第一距離。
  8. 一種穿戴式電子裝置的控制方法，適用於一 穿戴式電子裝置，該穿戴式電子裝置包含一麥克風陣列以及複數個立體揚聲器，該控制方法包含：利用該麥克風陣列感測一環境聲音；根據該環境聲音，計算由該環境聲音之一聲源至該穿戴式電子裝置的一距離以及一方向角；調整該環境聲音產生一效果聲音；處理該效果聲音以模擬該效果聲音是源自於一虛擬位置，該虛擬位置與該穿戴式電子裝置之間相隔該距離且該虛擬位置位於該方向角上；以及透過該些立體揚聲器播放經處理的該效果聲音；其中，根據一虛擬實境場景所對應的音訊聲調而調整該環境聲音以產生該效果聲音。
  9. 如請求項8所述之穿戴式電子裝置的控制方法，其中計算該距離以及該方向角之步驟包含：根據一第一麥克風或一第二麥克風所感測的該些聲音取樣之一強度水平，計算由該環境聲音之該聲源至該穿戴式電子裝置的該距離；以及根據該第一麥克風及該第二麥克風所感測的該些聲音取樣之間的一時間差，計算由該環境聲音之該聲源至該穿戴式電子裝置的該方向角。
  10. 如請求項9所述之穿戴式電子裝置的控制方法，其中該效果聲音是藉由調整該環境聲音而產生，該環 境聲音的調整是根據對應於該虛擬實境場景的一音訊聲調。
  11. 如請求項9所述之穿戴式電子裝置的控制方法，該控制方法包含：相對應該環境聲音於該虛擬位置上產生一虛擬物件，該虛擬位置與該穿戴式電子裝置之間相隔該距離且該虛擬位置位於該方向角上；以及將該虛擬物件結合至該虛擬實境場景中。
  12. 一種穿戴式電子裝置的控制方法，適用於一虛擬實境系統，該虛擬實境系統包含一第一穿戴式電子裝置以及一第二穿戴式電子裝置，該控制方法包含：利用該第一穿戴式電子裝置感測一環境場景的一第一環境聲音，以及利用該第二穿戴式電子裝置感測該環境場景的一第二環境聲音；根據該第一環境聲音計算由該第一環境聲音之一聲源至該第一穿戴式電子裝置的一第一距離以及一第一方向角；其中，根據一虛擬實境場景所對應的音訊聲調而調整該環境聲音以產生一效果聲音；根據該第二環境聲音計算由該第二環境聲音之一聲源至該第二穿戴式電子裝置的一第二距離以及一第二方向角；以及根據該第一距離、該第一方向角、該第二距離以及該第二方向角而計算該第一穿戴式電子裝置與該第二穿戴式電子 裝置之間的一相對位置關係。
TW106115488A 2016-05-11 2017-05-10 穿戴式電子裝置、虛擬實境系統以及控制方法 TWI687106B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201662334469P 2016-05-11 2016-05-11
US62/334,469 2016-05-11
US15/480,352 2017-04-05
US15/480,352 US10469976B2 (en) 2016-05-11 2017-04-05 Wearable electronic device and virtual reality system

Publications (2)

Publication Number Publication Date
TW201740744A TW201740744A (zh) 2017-11-16
TWI687106B true TWI687106B (zh) 2020-03-01

Family

ID=58644861

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106115488A TWI687106B (zh) 2016-05-11 2017-05-10 穿戴式電子裝置、虛擬實境系統以及控制方法

Country Status (4)

Country Link
US (1) US10469976B2 (zh)
EP (1) EP3253078B1 (zh)
CN (1) CN107367839B (zh)
TW (1) TWI687106B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI816389B (zh) * 2021-11-26 2023-09-21 宏達國際電子股份有限公司 具聲音調整能力系統、方法和非暫態電腦可讀取儲存媒體

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10375504B2 (en) * 2017-12-13 2019-08-06 Qualcomm Incorporated Mechanism to output audio to trigger the natural instincts of a user
CN108399924A (zh) * 2018-02-08 2018-08-14 上海爱优威软件开发有限公司 一种声音处理方法及终端设备
CN108594988A (zh) * 2018-03-22 2018-09-28 美律电子(深圳)有限公司 用于音频成像的可穿戴式电子装置及其操作方法
WO2019212794A1 (en) 2018-05-03 2019-11-07 Dakiana Research Llc Method and device for sound processing for a synthesized reality setting
CN108449691B (zh) * 2018-05-04 2021-05-04 科大讯飞股份有限公司 一种拾音装置及声源距离确定方法
TWI698132B (zh) * 2018-07-16 2020-07-01 宏碁股份有限公司 音效輸出裝置、運算裝置及其音效控制方法
CN109086029B (zh) * 2018-08-01 2021-10-26 北京奇艺世纪科技有限公司 一种音频播放方法及vr设备
TWI710389B (zh) * 2019-02-01 2020-11-21 拉菲爾股份有限公司 定位控制方法及定位控制系統
GB2582952B (en) * 2019-04-10 2022-06-15 Sony Interactive Entertainment Inc Audio contribution identification system and method
JP2021175043A (ja) * 2020-04-22 2021-11-01 セイコーエプソン株式会社 頭部装着型表示装置、音声画像出力システム、及び、音声画像出力方法
CN112188341B (zh) * 2020-09-24 2024-03-12 江苏紫米电子技术有限公司 一种耳机唤醒方法、装置、耳机及介质
CN112492097B (zh) * 2020-11-26 2022-01-11 广州酷狗计算机科技有限公司 音频播放方法、装置、终端及计算机可读存储介质
CN118077219A (zh) * 2021-10-05 2024-05-24 奇跃公司 具有头部姿势补偿的声场捕获
WO2023064870A1 (en) * 2021-10-15 2023-04-20 Magic Leap, Inc. Voice processing for mixed reality

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100008516A1 (en) * 2008-07-11 2010-01-14 International Business Machines Corporation Method and system for position detection of a sound source
US20130141576A1 (en) * 2011-12-01 2013-06-06 Richard T. Lord Determining threats based on information from road-based devices in a transportation-related context
US20150172814A1 (en) * 2013-12-17 2015-06-18 Personics Holdings, Inc. Method and system for directional enhancement of sound using small microphone arrays
US20150211858A1 (en) * 2014-01-24 2015-07-30 Robert Jerauld Audio navigation assistance
US20150341734A1 (en) * 2014-05-26 2015-11-26 Vladimir Sherman Methods circuits devices systems and associated computer executable code for acquiring acoustic signals

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3406965B2 (ja) * 2000-11-24 2003-05-19 キヤノン株式会社 複合現実感提示装置及びその制御方法
JP2008102780A (ja) 2006-10-19 2008-05-01 Sony Corp パターン識別方法、登録装置、照合装置及びプログラム
US8875026B2 (en) * 2008-05-01 2014-10-28 International Business Machines Corporation Directed communication in a virtual environment
CN103018905A (zh) * 2011-09-23 2013-04-03 奇想创造事业股份有限公司 头戴式体感操控显示***及其方法
US9286711B2 (en) * 2011-09-30 2016-03-15 Microsoft Technology Licensing, Llc Representing a location at a previous time period using an augmented reality display
US9497501B2 (en) * 2011-12-06 2016-11-15 Microsoft Technology Licensing, Llc Augmented reality virtual monitor
CN103187080A (zh) * 2011-12-27 2013-07-03 启碁科技股份有限公司 电子装置及播放方法
US8831255B2 (en) * 2012-03-08 2014-09-09 Disney Enterprises, Inc. Augmented reality (AR) audio with position and action triggered virtual sound effects
US8820936B2 (en) * 2012-10-03 2014-09-02 Htc Corporation Electronic device having 3-D image projection mechanism and 3-D image projection method of the same
US20160088417A1 (en) 2013-04-30 2016-03-24 Intellectual Discovery Co., Ltd. Head mounted display and method for providing audio content by using same
US9245388B2 (en) * 2013-05-13 2016-01-26 Microsoft Technology Licensing, Llc Interactions of virtual objects with surfaces
US20150302651A1 (en) * 2014-04-18 2015-10-22 Sam Shpigelman System and method for augmented or virtual reality entertainment experience
JP2016208348A (ja) * 2015-04-24 2016-12-08 セイコーエプソン株式会社 表示装置、表示装置の制御方法、及び、プログラム
US9530426B1 (en) * 2015-06-24 2016-12-27 Microsoft Technology Licensing, Llc Filtering sounds for conferencing applications
CN204883058U (zh) * 2015-08-24 2015-12-16 南京重明鸟文化科技有限公司 一种虚拟头盔显示器

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100008516A1 (en) * 2008-07-11 2010-01-14 International Business Machines Corporation Method and system for position detection of a sound source
US20130141576A1 (en) * 2011-12-01 2013-06-06 Richard T. Lord Determining threats based on information from road-based devices in a transportation-related context
US20150172814A1 (en) * 2013-12-17 2015-06-18 Personics Holdings, Inc. Method and system for directional enhancement of sound using small microphone arrays
US20150211858A1 (en) * 2014-01-24 2015-07-30 Robert Jerauld Audio navigation assistance
US20150341734A1 (en) * 2014-05-26 2015-11-26 Vladimir Sherman Methods circuits devices systems and associated computer executable code for acquiring acoustic signals

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI816389B (zh) * 2021-11-26 2023-09-21 宏達國際電子股份有限公司 具聲音調整能力系統、方法和非暫態電腦可讀取儲存媒體
US11856378B2 (en) 2021-11-26 2023-12-26 Htc Corporation System with sound adjustment capability, method of adjusting sound and non-transitory computer readable storage medium

Also Published As

Publication number Publication date
EP3253078A3 (en) 2018-02-21
CN107367839A (zh) 2017-11-21
EP3253078B1 (en) 2021-03-17
EP3253078A2 (en) 2017-12-06
TW201740744A (zh) 2017-11-16
US20170332187A1 (en) 2017-11-16
US10469976B2 (en) 2019-11-05
CN107367839B (zh) 2020-10-13

Similar Documents

Publication Publication Date Title
TWI687106B (zh) 穿戴式電子裝置、虛擬實境系統以及控制方法
KR102433613B1 (ko) 개인 특징을 반영한 바이노럴 오디오 신호 처리 방법 및 장치
US10129684B2 (en) Systems and methods for audio creation and delivery
US10251012B2 (en) System and method for realistic rotation of stereo or binaural audio
US20200184947A1 (en) Sound output device, sound output method, and sound output system
US10972856B2 (en) Audio processing method and audio processing apparatus
US10257637B2 (en) Shoulder-mounted robotic speakers
Ranjan et al. Natural listening over headphones in augmented reality using adaptive filtering techniques
GB2543276A (en) Distributed audio capture and mixing
US20230421987A1 (en) Dynamic speech directivity reproduction
EP3280154B1 (en) System and method for operating a wearable loudspeaker device
US11295754B2 (en) Audio bandwidth reduction
WO2016167007A1 (ja) 頭部伝達関数選択装置、頭部伝達関数選択方法、頭部伝達関数選択プログラム、音声再生装置
US20220141588A1 (en) Method and apparatus for time-domain crosstalk cancellation in spatial audio
US20240171929A1 (en) System and Method for improved processing of stereo or binaural audio
US11032660B2 (en) System and method for realistic rotation of stereo or binaural audio
KR20160136716A (ko) 오디오 신호 처리 방법 및 장치
JP2018152834A (ja) 仮想聴覚環境において音声信号出力を制御する方法及び装置
WO2019174442A1 (zh) 拾音设备、声音输出方法、装置、存储介质及电子装置
CN112470218A (zh) 低频信道间相干性控制
TW202325048A (zh) 用於調節揚聲器音訊的方法、主機以及電腦可讀媒體