TWI650034B - 用於語音命令的智能藍牙頭戴式器件 - Google Patents
用於語音命令的智能藍牙頭戴式器件 Download PDFInfo
- Publication number
- TWI650034B TWI650034B TW104103662A TW104103662A TWI650034B TW I650034 B TWI650034 B TW I650034B TW 104103662 A TW104103662 A TW 104103662A TW 104103662 A TW104103662 A TW 104103662A TW I650034 B TWI650034 B TW I650034B
- Authority
- TW
- Taiwan
- Prior art keywords
- lossless
- wearable device
- link
- bluetooth
- service
- Prior art date
Links
- 238000000034 method Methods 0.000 claims abstract description 33
- 230000006835 compression Effects 0.000 claims description 23
- 238000007906 compression Methods 0.000 claims description 23
- 230000006837 decompression Effects 0.000 claims description 12
- 230000005236 sound signal Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 5
- 238000010295 mobile communication Methods 0.000 claims description 3
- 230000007613 environmental effect Effects 0.000 claims description 2
- 230000005540 biological transmission Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000003058 natural language processing Methods 0.000 description 5
- 230000008030 elimination Effects 0.000 description 3
- 238000003379 elimination reaction Methods 0.000 description 3
- 210000000707 wrist Anatomy 0.000 description 3
- 230000002457 bidirectional effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 210000004247 hand Anatomy 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W76/00—Connection management
- H04W76/10—Connection setup
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/0017—Lossless audio signal coding; Perfect reconstruction of coded audio signal by transmission of coding error
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/005—Correction of errors induced by the transmission channel, if related to the coding algorithm
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/75—Media network packet handling
- H04L65/762—Media network packet handling at the source
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/60—Substation equipment, e.g. for use by subscribers including speech amplifiers
- H04M1/6033—Substation equipment, e.g. for use by subscribers including speech amplifiers for providing handsfree use or a loudspeaker mode in telephone sets
- H04M1/6041—Portable telephones adapted for handsfree use
- H04M1/6058—Portable telephones adapted for handsfree use involving the use of a headset accessory device connected to the portable telephone
- H04M1/6066—Portable telephones adapted for handsfree use involving the use of a headset accessory device connected to the portable telephone including a wireless connection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2250/00—Details of telephonic subscriber devices
- H04M2250/02—Details of telephonic subscriber devices including a Bluetooth interface
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2250/00—Details of telephonic subscriber devices
- H04M2250/74—Details of telephonic subscriber devices with voice recognition means
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Telephone Function (AREA)
- Transceivers (AREA)
Abstract
一種從一使用者所穿戴的一可穿戴的裝置來和一服務裝置介接之方法,該方法係包含在該服務裝置以及該可穿戴的裝置之間建立一無損失的且無線的資料鏈路。該方法進一步包含藉由該可穿戴的裝置以從該可穿戴的裝置的一或多個麥克風收集音訊資料。該方法亦包含藉由該可穿戴的裝置,透過該無損失的且無線的資料鏈路來傳送所收集到的音訊資料至該服務裝置。該方法可以進一步包含藉由該服務裝置以提供和該音訊資料相關的語音辨識服務。
Description
本發明大致上關於可穿戴的裝置,尤其係關於用於語音命令的可穿戴的裝置。
此申請案係主張2014年2月3日申請的美國臨時申請案號61/935,141的益處。上述申請案的整個教示係被納入在此作為參考。
被設計以和行動電話或其它服務裝置配對的藍牙頭戴式器件(headset)通常是利用藍牙免持規範(HFP)或是藍牙頭戴式器件規範(HSP),以控制音訊是如何從該行動電話傳遞至該頭戴式器件。該HFP或HSP規範(profile)係容許在該行動電話上進入的音訊資料能夠直接被中繼到該頭戴式器件,以用於經由一靠近耳朵的揚聲器的立即播放。同時,從一或多個靠近嘴部的麥克風而在該頭戴式器件收集的音訊係立即被傳遞至該行動電話,其係包含在目前的音訊電話通話中收集到的音訊。
藍牙頭戴式器件可以提供某種形式的語音辨識給使用者。此種語音辨識可被利用以控制行動電話的特點,並且提供使用者只藉由說出一命令就能撥打電話的能力。然而,至今所有的藍牙頭戴式器件不是直接
在該藍牙頭戴式器件本身上執行該語音辨識服務、就是利用雲端(cloud)為基礎的辨識系統。前者語音辨識服務的一缺點是在該頭戴式器件中需要複雜且昂貴的電子電路。後者語音辨識服務的一缺點是需要一總是連通的連線至該雲端。
在藍牙裝置中,語音辨識服務已經利用該HFP或HSP以用於音訊資料傳送。用於該HFP或HSP的頻帶是8kHz,此對於適當的語音辨識而言一般是過窄的。為了解決此問題,一種具有16kHz的取樣率的新的藍牙HFP標準(v1.6)、寬頻語音(WBS)近來已經和例如修改的次頻帶編碼(mSBC)的壓縮方法一起被使用。
被設計用於語音傳送的HFP及HSP都是有損失的。(例如,它們有時會失去語音封包或資料)。HFP及HSP通常完全不會再次傳送失去的語音封包、或是最多一次或兩次再次傳送它們,以限制該無線電話通話的延遲,並且持續該無線談話。失去語音資料的一或兩個封包在解碼的語音輸出中可能幾乎是不顯著的。封包遺失隱藏(concealment)演算法係進一步降低由遺失的語音封包所引起的語音劣化。較重要的是降低在行動電話談話上的延遲或落後,因而對於語音通道而言,一有損失的鏈路(link)是比一高度延遲的鏈路較為可接受的。
儘管失去的封包對於一行動電話通話並沒有主要的影響,但是失去的封包會顯著地劣化語音辨識。當用於語音辨識目的時,藍牙到目前為止並沒有標準的規範以解決封包遺失的問題。在語音通道中的有損失的協定尚未在藍牙中被解決。此外,HFP及HSP並未充分抵消非穩態的(non-stationary)雜訊並且可能會扭曲語音傳送,此可能會劣化語音辨識的正
確性。
在本發明的一實施例中,一標準的藍牙頭戴式器件係被改良,以提供更佳的語音辨識並且傳達資訊給使用者。此外,本發明係藉由解決在藍牙中的資料封包損失的問題來實質改善語音辨識。
在某些實施例中,該藍牙裝置可以是另一種類型的可穿戴的裝置,而不是一頭戴式器件。此種可穿戴的裝置可包含一種手腕可穿戴的裝置、一種穿戴在上臂或是身體的其它部分之裝置。
在一特點中,本發明可以是一種從一使用者所穿戴的一可穿戴的裝置來和一服務裝置介接之方法。該方法可包含在該服務裝置以及該可穿戴的裝置之間建立一無損失的且無線的資料鏈路;藉由該可穿戴的裝置以從該可穿戴的裝置的一或多個麥克風收集音訊資料。該方法可以進一步包含藉由該可穿戴的裝置,透過該無損失的且無線的資料鏈路來傳送所收集到的音訊資料至該服務裝置。
在一實施例中,該可穿戴的裝置是一頭戴式器件裝置。在另一實施例中,該可穿戴的裝置是一手錶裝置。
一實施例進一步包含藉由該服務裝置以提供和該音訊資料相關的語音辨識服務。
在一實施例中,該語音辨識服務係包含寬頻的語音處理以及(iii)低失真的語音壓縮。
另一實施例進一步包含藉由該可穿戴的裝置以提供所收集到的音訊資料的語音壓縮。
在一實施例中,該服務裝置是一行動電話、一智慧型手機、
一平板電腦裝置、一膝上型電腦、一筆記型電腦、一桌上型電腦、一網路伺服器、一可穿戴的行動通訊裝置、一可穿戴的行動電腦以及一雲端為基礎的計算實體中的一或多個。
另一實施例進一步包含藉由該可穿戴的裝置以提供和所收集到的音訊資料相關的雜訊消除服務。另一實施例進一步包含從該可穿戴的裝置傳送資訊至該服務裝置,以在該服務裝置建立支援該無損失的且無線的資料鏈路所必要的一或多個構件。
在一實施例中,支援該無損失的且無線的資料鏈路所必要的該一或多個構件係包含(i)一客製WIFI連線以及一客製藍牙規範中的一或多個、(ii)一驅動程式以及(iii)壓縮/解壓縮碼。
在另一實施例中,該無損失的且無線的資料鏈路是以一客製藍牙規範操作的一藍牙鏈路。
在另一特點中,本發明可以是一種在一服務裝置以及一可穿戴的裝置之間建立一無損失的且無線的資料鏈路之方法。該方法可包含藉由該可穿戴的裝置以在該可穿戴的裝置以及該服務裝置之間建立具有一第一協定的一無線鏈路。該方法可以進一步包含藉由該可穿戴的裝置並且利用具有該第一協定的該無線鏈路,以建立具有一第二協定的一無損失的且無線的鏈路。該方法可以進一步包含藉由該可穿戴的裝置以傳送資訊至該服務裝置,以在該服務裝置建立支援該無損失的且無線的資料鏈路所必要的一或多個構件。
在一實施例中,支援該無損失的且無線的資料鏈路所必要的一或多個構件係包含一客製藍牙規範、一驅動程式以及壓縮/解壓縮碼。在
另一實施例中,具有一第一協定的該無線鏈路是一有損失的藍牙鏈路,並且具有一第二協定的該無線鏈路是一無損失的藍牙鏈路。在另一實施例中,該無損失的藍牙鏈路是根據一藍牙SPP規範而定。在另一實施例中,具有一第一協定的該無損失的且無線的鏈路是以一客製藍牙規範操作的一藍牙鏈路。
在另一特點中,本發明可以是一種可穿戴的裝置,其係包含至少一麥克風、至少一揚聲器、一語音壓縮引擎、以及一驅動程式,其被配置以在一無損失的且無線的資料通道上傳送語音封包。
在一實施例中,該無損失的且無線的資料通道是根據一藍牙SPP規範而定。在另一實施例中,該語音壓縮引擎係包含(i)子頻帶編碼器、(ii)Speex、以及(iii)ETSI分散式語音辨識中的一或多個。SPP係利用ACL連線來加以完成,該ACL連線係確保無損失的資料,並且若資料受損的話,則提供再次傳送。
一實施例可以進一步包含一雜訊消除引擎。在另一實施例中,該雜訊消除引擎係從兩個或多個來源接收一音訊信號,並且使用線性雜訊消除演算法以降低環境雜訊。
一實施例可以進一步包含一碼部署(deployment)模組,其被配置以傳遞一客製藍牙規範以及驅動程式至一服務裝置,以使得該無損失的鏈路在該服務裝置的實施變得容易。在另一實施例中,該碼部署模組係傳遞一小程式(applet)至該服務裝置,以在該服務裝置上安裝該客製藍牙規範以及驅動程式。
102‧‧‧頭戴式器件
104‧‧‧服務裝置
106‧‧‧無損失的資料鏈路
108‧‧‧有損失的資料鏈路
110‧‧‧麥克風
112‧‧‧雜訊消除模組
114‧‧‧麥克風音訊
202‧‧‧頭戴式器件
204‧‧‧服務裝置
206‧‧‧麥克風
208‧‧‧雜訊消除模組
210‧‧‧語音壓縮模組
212‧‧‧無損失的雙向無線資料鏈路
214‧‧‧語音解壓縮模組
216‧‧‧自動語音辨識(ASR)引擎/自然語言處理引擎
222‧‧‧語音解壓縮模組
224‧‧‧TTS/WAVE播放模組
226‧‧‧揚聲器
302‧‧‧頭戴式器件
304‧‧‧服務裝置
306‧‧‧麥克風
308‧‧‧雜訊消除模組
312‧‧‧無損失的資料鏈路
318‧‧‧TTS/WAVE檔
320‧‧‧語音壓縮模組
322‧‧‧語音解壓縮模組
326‧‧‧揚聲器
330‧‧‧ASR後端模組
前述內容從以下本發明的如同在所附的圖式中所繪之範例實施例的更特定的說明來看將會是明顯的,其中相同的元件符號是指不同的圖之間的相同部件。該圖式並不一定是按照比例,重點則是放在描繪本發明的實施例上。
圖1是描繪利用兩個音訊鏈路來連接一頭戴式器件與一行動電話的一範例實施例的方塊圖。
圖2是描繪根據本發明的處理及傳送用於語音辨識的音訊信號的一範例實施例的方塊圖。
圖3是描繪根據本發明的處理及傳送用於語音辨識的音訊信號的另一範例實施例的方塊圖。
本發明的範例實施例的說明是在下文中。
圖1(在以下更詳細地加以敘述)是本發明的一範例實施例。此實施例係關於兩個主要的構件:一頭戴式器件102以及一服務裝置104,其係藉由一或多個無線鏈路來加以連接。該服務裝置104可以是任何能夠實施一無線鏈路至一免持的頭戴式器件之裝置,其包含但不限於一行動電話、一智慧型手機、一平板電腦裝置、一膝上型電腦、一筆記型電腦、一桌上型電腦、一網路伺服器、一可穿戴的行動通訊裝置、一可穿戴的行動電腦或是一雲端為基礎的實體。該可穿戴的裝置可包含一穿戴在使用者的手腕、上臂、腿部、腰部或頸部、或是任何其它適合用於支撐一通訊及/或計算裝置的身體的部分上之裝置。類似地,該頭戴式器件102的構件可以是一穿戴在使用者的手腕、上臂、腿部、腰部或頸部、或是任何其它適合
用於支撐無線裝置(例如,藍牙或WIFI裝置)的身體的部分上之裝置,而不是一頭戴式器件。
在本發明的實施例中,該服務裝置係直接代管(host)一語音辨識服務。為了使得此代管變得容易,該些實施例係從該服務裝置建立一個新的次要的資料鏈路至該頭戴式器件。該次要的資料鏈路應該是無損失的。該次要的資料鏈路可以是一藍牙資料鏈路。該次要的藍牙資料鏈路可被用來傳送靠近嘴部的麥克風輸入(或是若HFP鏈路是作用中的,則為傳送該麥克風輸入的一第二副本)至該服務裝置,該服務裝置則正在執行一語音辨識服務/語音辨識處理軟體。該次要的藍牙資料鏈路係保留原始的免持規範鏈路,因而確保和行動電話的現有的韌體之持續的相容性。在採取此方法中,壓縮方案可以用未被標準的免持規範所支援的方式(例如,藉由利用需要一無損失的資料路徑的壓縮/解壓縮的方案)來壓縮在服務裝置以及頭戴式器件之間的音訊資料。
在此種系統設置下,使用者可以向該頭戴式器件說出一命令。該命令(例如,口語音訊)係立即經由該次要的藍牙資料鏈路而被傳輸至該服務裝置,之後該音訊係被傳遞到一語音辨識系統中。根據所說的命令,該語音辨識器接著能夠採取適當的動作,例如對於一給定的電話號碼起始一新的通話。
再者,在此系統到位之下,功能便不再被侷限於只建立電話通話。該頭戴式器件的穿戴者可以說出自然的句子以作動其它重要的功能,例如"傳送今晚我將會晚到的SMS訊息給John"。此句子當透過該無線鏈路,而藉由在該服務裝置上或是在一網路伺服器上的語音辨識以及自然
的語言/自然的語言理解引擎來加以處理時,其例如可被利用以產生並且傳送適當的SMS訊息。用相同的方式,使用者可以藉由向該頭戴式器件說話以詢問該電話的狀態或是執行網路為基礎的查詢,並且讓該服務裝置執行語音辨識而且執行一適合所辨識的語音之動作。
和利用該次要的藍牙資料鏈路以收集麥克風資料並且傳送至該服務裝置同時,該鏈路亦可以從該服務裝置傳送音訊回到該頭戴式器件,以用於經由該靠近耳朵的揚聲器的播放。尤其,此係被用來經由電腦產生的說出的短句,亦稱為文字至語音(TTS)來傳遞資訊回到該頭戴式器件的穿戴者。
例如,在該服務裝置上執行的軟體可以偵測一進入的SMS文字訊息。通常一服務裝置是以一鈴聲(chime)來警示使用者,並且可以在螢幕上顯示該進入的訊息。在本發明的一實施例中,該SMS訊息可以在伺服器側被轉換成為語音(例如,文字至語音),並且該讀出的語音音訊可以在該藍牙鏈路上被傳送以用於播放給使用者。在此的結果是一種大聲讀出進入的訊息給使用者的系統,而使用者不須操作或檢視該服務裝置。
此技術可以和該語音辨識服務結合,以提供一種雙向的問答系統。例如,使用者現在可以對該頭戴式器件說話來問一個問題,例如是"現在幾點?"此音訊可藉由該語音辨識服務來加以處理,一答案係被計算出,並且接著大聲說給使用者。
圖1是描繪利用兩個雙向的通道:一無損失的資料鏈路106以及一有損失的資料鏈路108來連接一頭戴式器件102與一服務裝置104的一範例實施例的方塊圖。在此範例實施例中,該無損失的資料鏈路106是
一利用串列埠規範(SPP)的藍牙鏈路,並且該有損失的資料鏈路108是一利用該頭戴式器件規範(HSP)或是該免持規範(HFP)的藍牙鏈路。在其它實施例中,該無損失的資料鏈路106可以是另一數位資料鏈路,例如WIFI或是其它此項技術中已知的無線技術。
即如將會在以下更詳細描述者,儘管SPP可以提供用於一無損失的資料鏈路之基礎,但是該規範本身並不提供無損失的傳送。此時,藍牙並不提供一標準的規範以解決封包損失的問題,尤其是當用於語音辨識目的時。一客製的規範是所需的、或是至少該SPP之一修改的版本是所需的。
在此例子中,只要該服務裝置104以及該頭戴式器件102都是作用中的(亦即,開機的),則該無損失的資料鏈路106係被建立且容許保持在作用中的。在另一方面,該有損失的資料鏈路108只有在該頭戴式器件102的使用者正在進行一語音通話時才是在作用中的。
在此範例實施例中,在該頭戴式器件102上的一或多個麥克風110係收集音訊資料。選配的是,音訊接著可被傳遞通過一在該頭戴式器件102上的雜訊消除模組112,以降低背景雜訊並且改善語音辨識。多個麥克風110的使用可以藉由更有效地抵消穩態及非穩態的雜訊兩者,來進一步改善整體的雜訊消除效能。
如圖所示,該麥克風音訊114接著可被分成兩個串流。該些音訊串流中之一係被傳送至該無損失的資料鏈路106,而一個係被傳送至該有損失的資料鏈路108。
如同稍早所敘述的,該有損失的資料鏈路108是只有在和一
作用中的電話通話相關時,才被建立在頭戴式器件102以及服務裝置104之間。因此,此通訊鏈路是斷續的。當該有損失的資料鏈路108被建立時,該些音訊串流中之一係被傳送至該服務裝置104以作為正常的免持系統的部分。音訊係在該無損失的資料鏈路106上,從服務裝置104被傳送至頭戴式器件102。在該服務裝置操作需要一通話發生在該HFP或HSP資料鏈路108上的事件中,音訊亦可以在該有損失的(HFP或HSP)資料鏈路108上,從該服務裝置104被傳送至該頭戴式器件102。在某些實施例中,該音訊可以具有電腦產生的說出的短句之形式(例如,文字至語音服務),其係在頭戴式器件上加以播放。
若一藍牙免持的通話是作用中的,則該音訊亦在該頭戴式器件102上加以播放,並且和任何來自該無損失的資料鏈路106(在此亦被稱為命令/控制鏈路)之說出的短句合併。透過該無損失的資料鏈路106接收到的音訊可以被給予優先權,其係藉由暫時靜音來自該有損失的資料鏈路108的電話通話語音、或是該兩個音訊信號可加以混音,使得使用者同時聽見兩者、或是來自該有損失的資料鏈路108的音訊可以暫時被衰減(亦即,部分地靜音),以使得聽見來自該無損失的資料鏈路106的音訊較為容易。
圖2及圖3是描繪處理及傳送用於語音辨識的音訊語音信號的範例實施例的方塊圖。在此範例實施例中,音訊資訊係橫跨一雙向無損失的且無線的資料鏈路而被傳遞在一頭戴式器件202以及一服務裝置204之間。
在圖2中所示的範例實施例中,該音訊語音信號係從兩個或多個麥克風206來加以收集,並且藉由一雜訊消除模組208來加以處理。在
一實施例中,雜訊消除可以利用線性演算法來加以處理,以避免引入任何非線性的失真至該語音信號。圖2係描繪利用一語音壓縮模組210來壓縮該語音信號。經壓縮的語音信號係橫跨一例如是串列埠規範(SPP)藍牙資料鏈路之無損失的雙向無線資料鏈路212而被傳送至該服務裝置204。
該服務裝置204係從該無損失的資料鏈路212接收該經壓縮的語音信號,並且利用一語音解壓縮模組214來解壓縮該經壓縮的語音資料。透過一無損失的資料路徑所獲得之產生的語音資料可藉由一自動語音辨識(ASR)引擎及/或一自然語言處理引擎216來加以利用。
該服務裝置204可以具有數位語音檔(例如,文字至語音(TTS)或是WAVE(.wav格式))以傳送至該頭戴式器件202。該語音資料首先是藉由一語音壓縮模組而被壓縮,並且透過該無損失的資料鏈路212以傳送至該頭戴式器件。一語音解壓縮模組222係解壓縮該語音資料,並且提供該資料至一TTS或WAVE播放模組224,其係轉換該音訊檔成為一驅動一揚聲器226的音訊信號。
圖3係描繪一實施例,其係在頭戴式器件302中提供前端特點抽取以及雜訊消除,其中一ASR後端以及一自然語言處理(NLP)引擎是在該服務裝置中。如同圖2的實施例,音訊是利用兩個或多個麥克風306來加以收集,一雜訊消除模組308係降低環境雜訊。資料係在該頭戴式器件302以及該服務裝置304之間的一無損失的資料鏈路312上,通過至一在該服務裝置304的ASR後端模組330。該ASR後端模組330係提供經處理的語音資料至一NLP引擎。如同在圖2中所示的實施例,TTS/WAVE檔318可以從該服務裝置304,透過一語音壓縮模組320、該無損失的資料鏈路312、
一語音解壓縮模組322以及一驅動一揚聲器326的TTS或WAVE播放器而被傳輸至該頭戴式器件302。在其它實施例中,WAVE檔可被儲存在該頭戴式器件上,並且藉由該服務裝置所傳遞的一簡單的命令而被起始,以用於在該頭戴式器件上播放。
圖2及圖3所強調的特點是所述的實施例如何可以提供有用的功能之例子。這些實施例可以和彼此結合、或是和提供其它特點的其它實施例結合。
以下是可以在所述實施例中被採用於語音辨識之語音壓縮技術的例子:
●子頻帶編碼器(SBC)
●藍牙WBS mSBC
●Speex(或是其它的碼激勵線性預測(CELP)為主的壓縮演算法)
●Opus
●歐洲電信標準協會(ETSI)分散式語音辨識(DSR)
如上所述,該藍牙串列埠規範(SPP)並不藉由本身來提供無損失的傳送。然而,所述的實施例當結合藍牙SPP來加以利用時,其確實產生一無損失的資料鏈路。所述的實施例係實施至少一客製藍牙規範以及驅動程式,以實施用於一無損失的鏈路所必要的操作。此種操作可包含再傳輸協定,例如是自動重傳請求ARQ、混合ARQ(HARQ)、以及此項技術中已知的其它遺失封包恢復技術。某些實施例係在該藍牙鏈路的兩端包含客製軟體。該軟體可包含客製藍牙規範、驅動程式以及壓縮/解壓縮碼。
某些實施例係修改該藍牙SPP以提供一無損失的資料鏈
路,而其它實施例則提供一完全客製的藍牙規範以提供一適合用於ASR的無損失的資料鏈路。同樣應注意到的是,儘管該些範例實施例是利用藍牙以提供一無線鏈路,但是所述的實施例可以利用其它無線協定及介面以提供所述的益處。
所述的實施例亦可以提供用於在該服務裝置側安裝前述的客製軟體及碼之技術。在某些實施例中,該服務裝置側可包含一預先安裝的客製驅動程式。在其它實施例中,一旦該藍牙鏈路被建立,該藍牙免持的裝置可以透過上述的藍牙SPP鏈路來下載一小程式(或是其它用於傳送必要的驅動程式及軟體的運載工具)至該服務裝置。
所述的實施例可以輕易地延伸以在該藍牙頭戴式器件上容納一顯示器。在此種延伸中,用於在該頭戴式器件上的顯示器所需的資訊可以利用該總是連通的命令及控制鏈路,以從該行動電話被傳送至該頭戴式器件。資訊可被傳送,並且藉由該頭戴式器件來加以算圖(rendered)。或者是,資訊可以藉由該行動電話來加以算圖,並且被傳送為一影像或是部分的影像至該頭戴式器件以供顯示。此後者的方法係容許該頭戴式器件的韌體為簡單而且具有彈性的,因為所有困難的工作都是藉由行動電話來加以完成的。
將會明顯的是,在此所述的一或多個實施例可以用許多不同形式的軟體及硬體來加以實施。被用來實施在此所述的實施例之軟體碼及/或專門的硬體並非是限制本發明的。因此,實施例的操作及特性是在未參考到特定的軟體碼及/或專門的硬體下敘述的,因為可瞭解到吾人將能夠根據在此的說明來設計軟體及/或硬體以實施該些實施例。
再者,本發明的某些實施例可被實施為執行一或多個功能的邏輯。此邏輯可以是硬體為基礎的、軟體為基礎的、或是硬體為基礎以及軟體為基礎的一組合。該邏輯中的一些或是全部可被儲存在一或多個實體的電腦可讀取的儲存媒體上,並且可包含可藉由一控制器或處理器執行之電腦可執行的指令。該些電腦可執行的指令可包含實施本發明的一或多個實施例之指令。該實體的電腦可讀取的儲存媒體可以是揮發性或非揮發性的,並且例如可包含快閃記憶體、動態記憶體、抽取式碟片、以及非抽取式碟片。
儘管本發明已經特別參照到其範例實施例來加以展示及敘述,但是熟習此項技術者將會理解到各種在形式及細節上的改變都可於其中加以完成,而不脫離由所附的申請專利範圍所涵蓋的本發明的範疇。
Claims (19)
- 一種從一使用者所穿戴的一可穿戴的裝置來和一服務裝置介接之方法,該方法係包括:在該服務裝置以及該可穿戴的裝置之間建立一無損失的且無線的資料鏈路;藉由該可穿戴的裝置以從該可穿戴的裝置的一或多個麥克風收集音訊資料;藉由該可穿戴的裝置,透過該無損失的且無線的資料鏈路來傳送所收集到的音訊資料至該服務裝置;以及從該可穿戴的裝置傳送資訊至該服務裝置,以在該服務裝置建立支援該無損失的且無線的資料鏈路所必要的一或多個構件,其中該支援該無損失的且無線的資料鏈路所必要的一或多個構件係包含(i)一客製WIFI連線以及一客製藍牙規範中的一或多個、(ii)一驅動程式以及(iii)壓縮/解壓縮碼。
- 如申請專利範圍第1項之方法,其中該可穿戴的裝置是一頭戴式器件裝置。
- 如申請專利範圍第1項之方法,其中該可穿戴的裝置是一手錶裝置。
- 如申請專利範圍第1項之方法,其進一步包含藉由該服務裝置以提供和該音訊資料相關的語音辨識服務。
- 如申請專利範圍第4項之方法,其中該語音辨識服務係包含寬頻的語音處理以及低失真的語音壓縮。
- 如申請專利範圍第1項之方法,其進一步包含藉由該可穿戴的裝置以提供所收集到的音訊資料的語音壓縮。
- 如申請專利範圍第1項之方法,其中該服務裝置是一行動電話、一智慧型手機、一平板電腦裝置、一膝上型電腦、一筆記型電腦、一桌上型電腦、一網路伺服器、一可穿戴的行動通訊裝置、一可穿戴的行動電腦以及一雲端為基礎的計算實體中的一或多個。
- 如申請專利範圍第1項之方法,其進一步包含藉由該可穿戴的裝置以提供和所收集到的音訊資料相關的雜訊消除服務。
- 如申請專利範圍第1項之方法,其中該無損失的且無線的資料鏈路是以一客製藍牙規範操作的一藍牙鏈路。
- 一種在一服務裝置以及一可穿戴的裝置之間建立一無損失的且無線的資料鏈路之方法,其係包括:藉由該可穿戴的裝置以在該可穿戴的裝置以及該服務裝置之間建立具有一第一協定的一無線鏈路;藉由該可穿戴的裝置並且利用具有該第一協定的該無線鏈路,以建立具有一第二協定的一無損失的且無線的鏈路;藉由該可穿戴的裝置以傳送資訊至該服務裝置,以在該服務裝置建立支援該無損失的且無線的資料鏈路所必要的一或多個構件,其中該支援該無損失的且無線的資料鏈路所必要的一或多個構件係包含一客製藍牙規範、一驅動程式以及壓縮/解壓縮碼。
- 如申請專利範圍第10項之方法,其中具有一第一協定的該無線鏈路是一有損失的藍牙鏈路,並且具有一第二協定的該無線鏈路是一無損失的藍牙鏈路。
- 如申請專利範圍第11項之方法,其中該無損失的藍牙鏈路是根據一 藍牙SPP規範而定。
- 如申請專利範圍第10項之方法,其中具有一第一協定的該無損失的且無線的鏈路是以一客製藍牙規範操作的一藍牙鏈路。
- 一種可穿戴的裝置,其係包括:至少一麥克風;至少一揚聲器;一語音壓縮引擎;一驅動程式,其被配置以在一無損失的且無線的資料通道上傳送語音封包;以及一碼部署模組,其被配置以傳遞一客製藍牙規範以及驅動程式至一服務裝置,以使得該無損失的鏈路在該服務裝置的實施變得容易。
- 如申請專利範圍第14項之可穿戴的裝置,其中該無損失的且無線的資料通道是根據一藍牙SPP規範而定。
- 如申請專利範圍第14項之可穿戴的裝置,其中該語音壓縮引擎係包含(i)子頻帶編碼器、(ii)Speex、以及(iii)ETSI分散式語音辨識中的一或多個。
- 如申請專利範圍第14項之可穿戴的裝置,其進一步包含一雜訊消除引擎。
- 如申請專利範圍第17項之可穿戴的裝置,其中該雜訊消除引擎係從兩個或多個來源接收一音訊信號,並且使用線性雜訊消除演算法以降低環境雜訊。
- 如申請專利範圍第14項之可穿戴的裝置,其中該碼部署模組係傳遞一小程式至該服務裝置,以在該服務裝置上安裝該客製藍牙規範以及驅動 程式。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201461935141P | 2014-02-03 | 2014-02-03 | |
US61/935,141 | 2014-02-03 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW201543942A TW201543942A (zh) | 2015-11-16 |
TWI650034B true TWI650034B (zh) | 2019-02-01 |
Family
ID=52463243
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW104103662A TWI650034B (zh) | 2014-02-03 | 2015-02-03 | 用於語音命令的智能藍牙頭戴式器件 |
Country Status (7)
Country | Link |
---|---|
US (2) | US9913302B2 (zh) |
EP (1) | EP3090531B1 (zh) |
JP (1) | JP6518696B2 (zh) |
KR (1) | KR102287182B1 (zh) |
CN (1) | CN105960794B (zh) |
TW (1) | TWI650034B (zh) |
WO (1) | WO2015117138A1 (zh) |
Families Citing this family (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102287182B1 (ko) | 2014-02-03 | 2021-08-05 | 코핀 코포레이션 | 음성 커맨드에 대한 스마트 블루투스 헤드셋 |
US10397388B2 (en) * | 2015-11-02 | 2019-08-27 | Hand Held Products, Inc. | Extended features for network communication |
KR102459370B1 (ko) * | 2016-02-18 | 2022-10-27 | 삼성전자주식회사 | 전자 장치 및 그 동작 방법 |
EP3242491B1 (en) * | 2016-05-04 | 2018-09-12 | D & L High-Tech Company Limited | Bluetooth microphone |
US10165612B2 (en) * | 2016-06-16 | 2018-12-25 | I/O Interconnected, Ltd. | Wireless connecting method, computer, and non-transitory computer-readable storage medium |
US9906893B2 (en) * | 2016-06-16 | 2018-02-27 | I/O Interconnect, Ltd. | Method for making a host personal computer act as an accessory in bluetooth piconet |
TW201806371A (zh) * | 2016-08-03 | 2018-02-16 | 絡達科技股份有限公司 | 行動電子裝置與其操作方法 |
US10620910B2 (en) | 2016-12-23 | 2020-04-14 | Realwear, Inc. | Hands-free navigation of touch-based operating systems |
US10437070B2 (en) | 2016-12-23 | 2019-10-08 | Realwear, Inc. | Interchangeable optics for a head-mounted display |
US10393312B2 (en) | 2016-12-23 | 2019-08-27 | Realwear, Inc. | Articulating components for a head-mounted display |
US11099716B2 (en) | 2016-12-23 | 2021-08-24 | Realwear, Inc. | Context based content navigation for wearable display |
US10936872B2 (en) | 2016-12-23 | 2021-03-02 | Realwear, Inc. | Hands-free contextually aware object interaction for wearable display |
US11507216B2 (en) | 2016-12-23 | 2022-11-22 | Realwear, Inc. | Customizing user interfaces of binary applications |
KR20180082043A (ko) * | 2017-01-09 | 2018-07-18 | 삼성전자주식회사 | 전자 장치 및 그의 음성을 이용한 통신 연결 방법 |
CN106847280B (zh) * | 2017-02-23 | 2020-09-15 | 海信集团有限公司 | 音频信息处理方法、智能终端及语音控制终端 |
JP2018156646A (ja) * | 2017-03-15 | 2018-10-04 | キャンプ モバイル コーポレーション | 外部デバイスを利用したモバイルデバイスにおけるチャット方法およびシステム |
CN108538289B (zh) * | 2018-03-06 | 2020-12-22 | 深圳市沃特沃德股份有限公司 | 基于蓝牙实现语音遥控的方法、装置和终端设备 |
CN108648756A (zh) * | 2018-05-21 | 2018-10-12 | 百度在线网络技术(北京)有限公司 | 语音交互方法、装置和*** |
US10802791B2 (en) * | 2019-03-01 | 2020-10-13 | Bose Corporation | Methods and systems for streaming audio and voice data |
CN110265043B (zh) * | 2019-06-03 | 2021-06-01 | 同响科技股份有限公司 | 自适应有损或无损的音频压缩和解压缩演算方法 |
CN110248032B (zh) * | 2019-06-19 | 2021-08-27 | 北京智合大方科技有限公司 | 一种高效率电话呼叫*** |
KR20220044530A (ko) | 2019-08-09 | 2022-04-08 | 가부시키가이샤 한도오따이 에네루기 켄큐쇼 | 음향 장치 및 그 동작 방법 |
US11418875B2 (en) | 2019-10-14 | 2022-08-16 | VULAI Inc | End-fire array microphone arrangements inside a vehicle |
US11627417B2 (en) * | 2020-03-26 | 2023-04-11 | Expensify, Inc. | Voice interactive system |
US11687317B2 (en) * | 2020-09-25 | 2023-06-27 | International Business Machines Corporation | Wearable computing device audio interface |
WO2023058795A1 (ko) * | 2021-10-08 | 2023-04-13 | 엘지전자 주식회사 | 오디오 처리 방법 및 장치 |
KR20230069707A (ko) * | 2021-11-12 | 2023-05-19 | 삼성전자주식회사 | 동작 제어 방법 및 그 전자 장치 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080144645A1 (en) * | 2006-10-31 | 2008-06-19 | Motorola, Inc. | Methods and devices of a queue controller for dual mode bidirectional audio communication |
US20080300025A1 (en) * | 2007-05-31 | 2008-12-04 | Motorola, Inc. | Method and system to configure audio processing paths for voice recognition |
US20090088208A1 (en) * | 2007-09-29 | 2009-04-02 | Lenovo (Beijing) Limited | Apparatus having mobile terminal as input/output device of computer and related system and method |
US20090186668A1 (en) * | 2008-01-18 | 2009-07-23 | Hosain Rahman | Wireless Handsfree Headset Method and System with Handsfree Applications |
US20130130749A1 (en) * | 2011-09-02 | 2013-05-23 | Gn Netcom A/S | Battery Powered Electronic Device Comprising A Movable Part and Adapted to Be Set Into Shipping Mode |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US2008300A (en) | 1931-11-27 | 1935-07-16 | Worthington Pump & Mach Corp | Sheave |
AU1519499A (en) * | 1997-11-07 | 1999-05-31 | Via, Inc. | Interactive devices and methods |
US6714233B2 (en) * | 2000-06-21 | 2004-03-30 | Seiko Epson Corporation | Mobile video telephone system |
JP3927133B2 (ja) * | 2003-03-05 | 2007-06-06 | 株式会社東芝 | 電子機器および同機器で用いられる通信制御方法 |
US7613478B2 (en) * | 2004-03-15 | 2009-11-03 | General Electric Company | Method and system for portability of clinical images using a high-quality display and portable device |
US7856240B2 (en) * | 2004-06-07 | 2010-12-21 | Clarity Technologies, Inc. | Distributed sound enhancement |
JP2005354302A (ja) * | 2004-06-09 | 2005-12-22 | Interenergy Co Ltd | ブルートゥース通信装置とその機能追加・変更システム |
CN100367187C (zh) * | 2005-04-30 | 2008-02-06 | 艾威梯软件技术(北京)有限公司 | 一种同时支持多路蓝牙音频应用的方法 |
JP4745837B2 (ja) * | 2006-01-25 | 2011-08-10 | Kddi株式会社 | 音響分析装置及びコンピュータプログラム、音声認識システム |
KR100735413B1 (ko) * | 2006-08-08 | 2007-07-04 | 삼성전자주식회사 | 블루투스를 이용하여 음악 데이터 재생 중 음성을입출력하는 이동통신 단말기 및 음성 입출력 방법 |
KR100879539B1 (ko) * | 2007-02-27 | 2009-01-22 | 삼성전자주식회사 | 헤드셋의 스테레오 지원 시스템 및 방법 |
US8254837B2 (en) * | 2009-04-23 | 2012-08-28 | Motorola Mobility Llc | Establishing full-duplex audio over an asynchronous bluetooth link |
US20110254829A1 (en) * | 2010-04-16 | 2011-10-20 | Sony Ericsson Mobile Communications Ab | Wearable electronic device, viewing system and display device as well as method for operating a wearable electronic device and method for operating a viewing system |
FR2982110B3 (fr) * | 2012-01-10 | 2014-03-14 | Samsung Electronics Co Ltd | Dispositif de lunettes pour visionner une image d'affichage |
US9498128B2 (en) * | 2012-11-14 | 2016-11-22 | MAD Apparel, Inc. | Wearable architecture and methods for performance monitoring, analysis, and feedback |
KR101999180B1 (ko) * | 2012-11-23 | 2019-10-01 | 삼성전자주식회사 | 디스플레이 장치, 그의 제어 방법, 안경 장치 및 그의 제어 방법 |
KR102099178B1 (ko) * | 2013-11-29 | 2020-04-09 | 엘지전자 주식회사 | 웨어러블 디바이스 및 웨어러블 디바이스 디스플레이 제어 방법 |
US9972324B2 (en) * | 2014-01-10 | 2018-05-15 | Verizon Patent And Licensing Inc. | Personal assistant application |
KR102287182B1 (ko) | 2014-02-03 | 2021-08-05 | 코핀 코포레이션 | 음성 커맨드에 대한 스마트 블루투스 헤드셋 |
-
2015
- 2015-02-03 KR KR1020167023363A patent/KR102287182B1/ko active IP Right Grant
- 2015-02-03 WO PCT/US2015/014280 patent/WO2015117138A1/en active Application Filing
- 2015-02-03 CN CN201580006953.1A patent/CN105960794B/zh active Active
- 2015-02-03 EP EP15703444.8A patent/EP3090531B1/en active Active
- 2015-02-03 JP JP2016567475A patent/JP6518696B2/ja active Active
- 2015-02-03 TW TW104103662A patent/TWI650034B/zh active
- 2015-02-03 US US14/612,832 patent/US9913302B2/en active Active
-
2018
- 2018-03-05 US US15/912,519 patent/US20180295656A1/en not_active Abandoned
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080144645A1 (en) * | 2006-10-31 | 2008-06-19 | Motorola, Inc. | Methods and devices of a queue controller for dual mode bidirectional audio communication |
US20080300025A1 (en) * | 2007-05-31 | 2008-12-04 | Motorola, Inc. | Method and system to configure audio processing paths for voice recognition |
US20090088208A1 (en) * | 2007-09-29 | 2009-04-02 | Lenovo (Beijing) Limited | Apparatus having mobile terminal as input/output device of computer and related system and method |
US20090186668A1 (en) * | 2008-01-18 | 2009-07-23 | Hosain Rahman | Wireless Handsfree Headset Method and System with Handsfree Applications |
US20130130749A1 (en) * | 2011-09-02 | 2013-05-23 | Gn Netcom A/S | Battery Powered Electronic Device Comprising A Movable Part and Adapted to Be Set Into Shipping Mode |
Also Published As
Publication number | Publication date |
---|---|
KR102287182B1 (ko) | 2021-08-05 |
JP2017513411A (ja) | 2017-05-25 |
JP6518696B2 (ja) | 2019-05-22 |
TW201543942A (zh) | 2015-11-16 |
WO2015117138A1 (en) | 2015-08-06 |
US20150223272A1 (en) | 2015-08-06 |
EP3090531B1 (en) | 2019-04-10 |
EP3090531A1 (en) | 2016-11-09 |
US20180295656A1 (en) | 2018-10-11 |
CN105960794B (zh) | 2019-11-08 |
KR20160115951A (ko) | 2016-10-06 |
US9913302B2 (en) | 2018-03-06 |
CN105960794A (zh) | 2016-09-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI650034B (zh) | 用於語音命令的智能藍牙頭戴式器件 | |
US20150281853A1 (en) | Systems and methods for enhancing targeted audibility | |
US9280539B2 (en) | System and method for translating speech, and non-transitory computer readable medium thereof | |
JP2017513411A5 (zh) | ||
US9648419B2 (en) | Apparatus and method for coordinating use of different microphones in a communication device | |
KR102158739B1 (ko) | 자동통역 시스템, 디바이스 및 방법 | |
JP2015130554A (ja) | 音声処理装置、音声処理システム、音声処理方法、音声処理プログラム | |
WO2018209102A2 (en) | Smart sound devices and language translation system | |
CA2618623A1 (en) | Control center for a voice controlled wireless communication device system | |
WO2019090283A1 (en) | Coordinating translation request metadata between devices | |
AU2014357638B2 (en) | Multi-path audio processing | |
KR101619133B1 (ko) | 통역용 이어셋 | |
JP2017138536A (ja) | 音声処理装置 | |
WO2018167960A1 (ja) | 音声処理装置、音声処理システム、音声処理方法、および音声処理プログラム | |
CN111684411A (zh) | 用于翻译的对多个用户语音输入的并发接收 | |
JPWO2019186639A1 (ja) | 翻訳システム、翻訳方法、及び翻訳装置 | |
CN105551491A (zh) | 语音识别方法和设备 | |
JP4983417B2 (ja) | 会話速度変換機能を備えた電話装置及び会話速度変換方法 | |
JP2019110447A (ja) | 電子機器、電子機器の制御方法、及び、電子機器の制御プログラム | |
US20130155924A1 (en) | Coded-domain echo control | |
CN111385780A (zh) | 一种蓝牙音频信号传输方法和装置 | |
KR20190080305A (ko) | 인-이어 마이크로폰을 갖는 이어셋을 이용한 실시간 통역서비스 시스템 및 방법 | |
CN109360574B (zh) | 一种无线蓝牙***改进的高级音频编码/解码方法及*** | |
JP6805663B2 (ja) | 通信装置、通信システム、通信方法及びプログラム | |
JP2021536207A (ja) | 聴覚装置の環境音声信号を強化するための方法、システム、および聴覚装置 |