TWI640899B - 用於穿戴裝置之非接觸式手勢判斷系統及其判斷方法 - Google Patents

Abstract

本發明為一種用於穿戴裝置之非接觸式手勢判斷系統，包括儲存模組、感測模組、處理模組以及顯示模組，其中，儲存模組預存對應多個不同手勢之手勢資訊，感測模組用以感測穿戴者之手腕部分的肌肉變化，以產生感測訊號，處理模組連接該儲存模組和該感測模組，該處理模組接收該感測訊號並與該儲存模組內之手勢資訊進行比對，以取得該穿戴者所執行之手勢，顯示模組用以顯示該穿戴者之手勢所對應之資訊。

Description

用於穿戴裝置之非接觸式手勢判斷系統及其判斷方法

本發明係有關穿戴裝置之感測技術，詳而言之，係關於一種用於穿戴裝置之非接觸式手勢判斷系統及其判斷方法。

隨著科技演進，電子裝置功能越來越廣泛，近幾年廣泛流行的穿載式裝置，像是Google Glass或Apple Watch等，除了可連線隨身裝置外，透過人機介面輸入以提供簡便操作，以及利用感測技術提供更多功能性與應用，此將成為眾多廠商致力研發之方向。

目前穿載式裝置的發展正處於穿載式裝置的初階狀態，簡言之，主要將傳統生理量測設備之功能微型化至可供使用者穿載之器件上，以提供健康監測與控制手機動作等功能，然此類穿載式裝置仍有些使用上限制及改善空間，如前所述，因結合傳統生理量測設備，基於生理訊號有許多雜訊，故恐造成高干擾度的量測結果，再者，因採用體表接觸方式進行量測，若生理量測設備位置偏移，可能導致 量測誤差，況且接觸量測需求下，將導致穿載式裝置必須緊貼穿載者皮膚，長期穿戴則有舒適度問題，另外，穿載式裝置也只能被動與手機進行溝通，無法主動與手機溝通。上述待改善處使得穿載式裝置應用受限或是使用不便，且現有生理量測設備限制，亦會導致穿載式裝置使用上的不適。

由上可知，在穿載式裝置舒適性和精確度考量下，需找出一種適用於穿戴裝置之感測技術，特別是，可在非接觸狀態下進行狀態感測，同時減少生理感測可能造成之雜訊干擾，以提供一種舒適且實用之穿載式裝置，此實為目前本技術領域人員急迫解決之技術問題。

本發明之目的係提出一種穿戴裝置之非接觸式感測技術，非接觸式是考量穿戴舒適性，但同時仍需具備一定感測精確度，因而透過非接觸式之手勢判斷機制來決定穿戴者欲執行之行為，藉此提供一種非接觸方式且可同時達到人機互動之穿戴裝置。

本發明係提出一種用於穿戴裝置之非接觸式手勢判斷系統，包括儲存模組、感測模組、處理模組以及顯示模組，其中，儲存模組預存對應多個不同手勢之手勢資訊，感測模組用以感測穿戴者之手腕部分的肌肉變化，以產生感測訊號，處理模組連接該儲存模組和該感測模組，該處理模組接收該感測訊號，以將該感測訊號與該儲存模組內之手勢資訊進行比對，俾取得該穿戴者所執行之手勢，顯 示模組用以顯示該穿戴者之手勢所對應之資訊。

於一實施例中，該感測模組包括單一或多個感測器，該感測器透過電場、磁場或電磁波方式感測該穿戴者之手腕部分的肌肉變化。

於另一實施例中，該感測模組包括一組或多組相對應之傳送器和接收器，該傳送器和該接收器透過電磁波穿透特性感測該穿戴者之手腕部分的肌肉變化。

於再一實施例中，該處理模組更包括訊號處理單元以及手勢處理單元，其中，該訊號處理單元係執行該感測訊號之去除雜訊和干擾之處理，且將已去除雜訊和干擾之該感測訊號轉換為訊號數值，該手勢處理單元係依據該訊號數值自該儲存模組內取得相對應之該手勢資訊。

另外，該手勢處理單元更包括由該訊號數值找出訊號特徵，以與該儲存模組內之手勢資訊進行比對。

於又一實施例中，用於穿戴裝置之非接觸式手勢判斷系統更包括通訊模組，該通訊模組用以與外部設備建立網路連線，以執行資料傳輸和指令接收。

於再又一實施例中，用於穿戴裝置之非接觸式手勢判斷系統更包括電源模組，該電源模組提供該感測模組、該處理模組、該顯示模組之運作電力，以及將該電源模組之電量資訊傳遞至該顯示模組。

本發明復提出一種用於穿戴裝置之非接觸式手勢判斷方法，包括：感測穿戴者之手腕部分的肌肉變化以產生感測訊號；將該感測訊號轉換為訊號數值；執行該訊號數 值與預儲存之手勢資訊之比對，藉以取得對應該肌肉變化之該穿戴者所執行之手勢；以及顯示該穿戴者之手勢所對應之資訊。

於上述用於穿戴裝置之非接觸式手勢判斷方法中，感測穿戴者之手腕部分的肌肉變化係指透過電場、磁場或電磁波方式感測該穿戴者之手腕部分的肌肉變化。

於上述用於穿戴裝置之非接觸式手勢判斷方法中，將該感測訊號轉換為該訊號數值之步驟係包括執行該感測訊號之去除雜訊和干擾之處理，以及將已去除雜訊和干擾之該感測訊號轉換為該訊號數值。

相較於現有技術，本發明所提出之用於穿戴裝置之非接觸式手勢判斷系統及其判斷方法，可透過手勢判斷機制得到穿戴者欲執行之行為，由於透過例如電場、磁場或電磁波方式來判斷穿戴者手勢變化，故穿戴裝置無須緊貼穿戴者皮膚，而感測效果上，也可減少傳統擷取生理訊號時可能有的雜訊問題，另外，穿戴裝置可基於手勢判斷進而傳遞指令或訊息至對應電子裝置，故可成為主動式的人機介面。因此，結合本發明之非接觸式手勢判斷機制，穿戴裝置將可成為具有低感測干擾、高舒適性、高精確度以及良好人機介面等特性的穿戴裝置。

1‧‧‧非接觸式手勢判斷系統

11‧‧‧儲存模組

12‧‧‧感測模組

121‧‧‧第一感測器

122‧‧‧第二感測器

13‧‧‧處理模組

131‧‧‧訊號處理單元

132‧‧‧手勢處理單元

14‧‧‧顯示模組

15‧‧‧通訊模組

16‧‧‧電源模組

200‧‧‧手腕部分

201‧‧‧皮膚表面

300‧‧‧穿戴裝置

400‧‧‧外部設備

S51~S54‧‧‧步驟

第1圖為本發明之用於穿戴裝置之非接觸式手勢判斷系統的系統架構圖；第2圖為本發明之用於穿戴裝置之非接觸式手勢判斷 系統另一實施例的系統架構圖；第3A和3B圖為本發明有關手勢感測技術的示意圖；第4A和4B圖為應用本發明之穿戴裝置的示意圖；第5圖為本發明之用於穿戴裝置之非接觸式手勢判斷方法的步驟圖；第6圖為本發明具非接觸式感測機制之穿戴裝置於學習階段與運作階段的流程圖；以及第7A-7C圖為本發明不同訊號來源下針對不同手勢之感測結果的波形圖。

以下藉由特定的具體實施形態說明本發明之技術內容，熟悉此技藝之人士可由本說明書所揭示之內容輕易地瞭解本發明之優點與功效。然本發明亦可藉由其他不同的具體實施形態加以施行或應用。

有關手勢判斷技術，為近幾年新興的人機介面工具，比較常見的為影像辨識技術，但其缺點是要有攝影鏡頭，對於強調微型化之穿戴裝置並不合適，再者，影像辨識需考量環境光源，但穿戴裝置常用於不同戶外環境，對於影像辨識的精確度恐有極大影響。

其他的手勢判斷技術，例如肌電技術，即骨骼肌受神經刺激的支配而產生收縮，原理是離子通道的開啟閉合，當神經衝動傳到肌纖維時，會造成細胞膜去極化，使得離子在細胞內外濃度改變進而造成電位的變化，稱為動作電位(Action potential)，當動作電位往兩側傳遞時，所造成的 電位變化。由此可知，此肌電技術為接觸式感測，需以乾性電極或濕式電極接觸皮膚，且穿戴部位靠近手臂，使用上不僅不舒適，甚至可能造成穿戴者動作上的受限。

上述手勢判斷機制皆有其缺陷，並不一定適用於穿戴裝置上，因而本案提出一種具備非接觸式之感測機制，可應用於穿戴裝置上，透過手勢感測結果以決定穿戴者欲執行的行為為何，此穿戴裝置除了可單獨運作外，亦可與外部電子裝置，例如手機，進行連線。

請參照第1圖，其為本發明之用於穿戴裝置之非接觸式手勢判斷系統的系統架構圖。本發明之用於穿戴裝置之非接觸式手勢判斷系統1主要設置在穿戴裝置內，例如手環，但不以此為限，且特別的是，本發明強調穿戴裝置提供了非接觸式的感測機制，有助於提供高舒適度的穿戴和良好的感測機制。如圖所示，用於穿戴裝置之非接觸式手勢判斷系統1包括儲存模組11、感測模組12、處理模組13以及顯示模組14。

儲存模組11用於預存對應多個不同手勢之手勢資訊。簡言之，為了讓用於穿戴裝置之非接觸式手勢判斷系統1可即時決定穿戴者所執行之手勢，儲存模組11內將預存多個不同手勢所對應的手勢資訊，例如肌肉變化情況，藉以推得穿戴者之手勢為何。

感測模組12用以感測穿戴者之手腕部分200的肌肉變化，以得到該肌肉變化對應之感測訊號。感測模組12可由穿戴裝置往穿戴者皮膚發出感測波，感測波會在穿戴者感 測處產生反射或透射，最後再由感測模組12接收所感測到之訊號，即前述之感測訊號，此感測訊號是對應穿戴者之肌肉變化。感測模組12於穿戴裝置中的設計，可以是一個或多個感測器，即發出感測波和接收感測訊號為同一者，或是為一組或多組相對應之傳送器和接收器，傳送器發出感測波，接收器接收感測訊號。

處理模組13連接至儲存模組11和感測模組12，處理模組13接收來自感測模組12所得到之感測訊號並將該感測訊號與儲存模組11內預存之手勢資訊進行比對，藉此取得該穿戴者所執行之手勢。如前所述，儲存模組11預存多個不同手勢所對應的手勢資訊，正式運作時，感測模組12感測穿戴者之手腕部分200的肌肉變化而得到之感測訊號，若與手勢資訊比對後找到相對應者，即表示該相對應者為此時肌肉變化所對應之手勢資訊。

顯示模組14用以顯示該穿戴者之手勢所對應之資訊。處理模組13由肌肉變化得到對應之手勢資訊後，此時，顯示模組14可顯示該肌肉變化所要表示的意思，舉例來說，預先定義當我五隻手指伸直呈現猜拳時“剪刀石頭布”中“布”的形狀時，表示是要顯示時間，故當處理模組13確認肌肉變化對應到“布”時，則可由顯示模組14顯示當下時間。至於手勢所對應之資訊為何，可視使用者需求預先設定。

本發明之用於穿戴裝置之非接觸式手勢判斷系統1可由手勢判斷機制得到穿戴者欲執行之行為，有關於肌肉變 化之感測，可透過例如電場、磁場或電磁波方式來進行感測，此機制也使得穿戴裝置無須緊貼穿戴者皮膚，也可減少傳統擷取生理訊號時可能有的雜訊問題。因此，透過本發明之非接觸式手勢判斷機制，穿戴裝置將可具備低感測干擾、高舒適性、高精確度等特性。

請參照第2圖，其為本發明之用於穿戴裝置之非接觸式手勢判斷系統另一實施例的系統架構圖。如圖所示，本實施例之用於穿戴裝置之非接觸式手勢判斷系統1之儲存模組11、感測模組12、處理模組13以及顯示模組14與第1圖所述相同，於本實施例中，處理模組13更包括訊號處理單元131和手勢處理單元132，另外，用於穿戴裝置之非接觸式手勢判斷系統1復包括通訊模組15和電源模組16。

訊號處理單元131用於執行感測模組12所感測之感測訊號的去除雜訊和干擾之處理，並且進一步將已去除雜訊和干擾的感測訊號轉換為訊號數值。感測模組12所感測之感測訊號可能有其他雜訊或干擾，訊號處理單元131可對感測訊號執行雜訊和干擾之去除，並將物理現象轉換成可量測的電子訊號，即轉換為訊號數值。

接著，手勢處理單元132用於依據該訊號數值自儲存模組11內取得相對應之手勢資訊，更具體來說，手勢處理單元132可由該訊號數值找出訊號特徵，以與儲存模組11內之手勢資訊進行比對。這裡所述的訊號特徵可為訊號波形變化，例如波形的振幅大小，也就是說，訊號數值可產 生當次肌肉變化所對應之訊號波形變化，儲存模組11內之手勢資訊則是各種預存的訊號波形變化，當比對相符時，即可推得穿戴者所執行之手勢。

為了達到穿戴裝置與外部設備之資訊交換，用於穿戴裝置之非接觸式手勢判斷系統1更包括通訊模組15，通訊模組15可用於與外部設備建立連線通訊，這裡的外部設備可例如電腦或手機，連線後可執行資料傳輸和指令接收，例如將穿戴裝置之非接觸式手勢判斷系統1的資訊回傳至外部設備，甚至依據當下手勢找出對應控制指令，以回傳至外部設備，舉例來說，當握拳時會啟動手機相機，故當感測模組12感測手勢，處理模組13判斷出手勢為何，且手勢已預先定義為啟動手機相機，則通訊模組15會將此訊息傳遞至手機。

用於穿戴裝置之非接觸式手勢判斷系統1更包括電源模組16，其可提供感測模組12、處理模組13、顯示模組14或是通訊模組15等模組之運作電力，另外，有關電源模組之電量資訊，也可被傳遞至顯示模組14進行顯示。

請參照第3A和3B圖，其為本發明有關手勢感測技術的示意圖。第3A和3B圖表示感測模組的不同實施態樣，先說明有關量測肌肉變化的原理。前臂肌肉之縮放(或屈伸)會形成手腕部位的皮膚發生起伏的變化，不同位置的肌肉在進行屈伸動作時會呈現出不同的肌肉變化，此變化會分別影響到與之相近的皮膚表層，呈現不同的起伏狀態，例如因肌肉收縮而使其拉長變細，此將導致相對應的皮膚表 層有陷落現象。綜上所知，不同的手勢將造成不同皮膚起伏變化。

如第3A圖所示，感測模組可為單一個或多個感測器，如圖中第一感測器121和第二感測器122，第一感測器121和第二感測器122屬於可發送感測波以及接收感測訊號的感測器，此類感測器可透過電場、磁場或電磁波方式來感測穿戴者之手腕部分的肌肉變化。

具體來說，第一感測器121和第二感測器122都可各自發出感測波，當到達穿戴者之皮膚表面201時，會因為皮膚表面起伏變化而有不同干擾，當感測波反射後，可由原先發射感測波之第一感測器121或第二感測器122接收，如此即可得到感測訊號。

如第3B圖所示，感測模組可為一組或多組相對應之傳送器和接收器，圖中的第一感測器121為傳送器，第二感測器122為接收器，傳送器和接收器可透過電磁波穿透特性以感測穿戴者之手腕部分的肌肉變化。第一感測器121和第二感測器122分布在手腕兩側，可利用超寬頻(Ultra-Wide Band，UWB)一類的技術，藉由電磁波的穿透能力，得知皮膚與肌肉組織的變化情形。

具體來說，第一感測器121發送感測波，穿透穿戴者之皮膚表面201，但因為不同手勢導致不同肌肉有不同改變(如肌肉1~3)，當感測波因不同肌肉變化的影響而有不同干擾，最後接收器在另一端(相對傳送器)接收通過各肌肉的感測波而成為感測訊號。

請參照第4A和4B圖，其為應用本發明之穿戴裝置的示意圖。如第4A圖所示，表示穿戴裝置300可穿戴於穿戴者手腕部分200。如第4B圖所示，表示穿戴裝置300可與外部設備400溝通，穿戴裝置300內包括至少一個感測器，各感測器可能為單獨運作或分組運作，感測到之感測訊號會進行處理以得到該穿戴者所執行之手勢，相關訊息可顯示於顯示模組14上，例如顯示器。

請參照第5圖，其為本發明之用於穿戴裝置之非接觸式手勢判斷方法的步驟圖。於步驟S51中，係感測穿戴者之手腕部分的肌肉變化以產生感測訊號。其中，感測穿戴者之手腕部分的肌肉變化係指透過電場、磁場或電磁波方式感測穿戴者之手腕部分的肌肉變化。

於步驟S52中，係將該感測訊號轉換為訊號數值。於本步驟中，更包括執行感測訊號之去除雜訊和干擾之處理，以及將已去除雜訊和干擾之感測訊號轉換為該訊號數值，也就是說，將物理現象轉換成可量測的電子訊號，即轉換為訊號數值。

於步驟S53中，係執行該訊號數值與預儲存之手勢資訊之比對，藉以取得對應該肌肉變化之該穿戴者所執行之手勢。此步驟係說明可由預儲存之手勢資訊中，找出一個與訊號數值相對應者，如前所述，不同手勢將有其對應之訊號波形變化，因而可由訊號數值所形成之波形找出與其相對應的波形，即可得到手勢為何。

於步驟S54中，係顯示該穿戴者之手勢所對應之資訊。 可預先定義某一個手勢其所要執行的操作，例如握拳表示啟動手機相機，故當得到握拳手勢時，則可通知手機準備啟動相機，如此可使此類穿戴裝置成為良好的人機介面。

請參照第6圖，其為本發明具非接觸式感測機制之穿戴裝置於學習階段與運作階段的流程圖。簡言之，穿戴裝置在使用前會對手勢提出定義，此為手勢學習階段，之後穿戴者穿戴時，則為一般運作狀態。

手勢學習階段屬於初始階段，在進入一般運作階段之前，必須要經過此階段，或是有新的手勢要加入，也需先經過此階段。在此階段中，使用者作出一預期的手勢，此手勢的感測結果將會被記錄起來，以作為該手勢判斷的基準。惟，此階段並非絕對必需，但可以用做個別化差異的調整，有助於手勢處理單元做出較為精準的判斷結果。

具體來說，手勢學習階段主要感測手勢，進行訊號處理，若手勢學習不成功，會回到前端重來一次，若手勢學習成功，則記錄此手勢之手勢資訊。

一般運作階段為一般使用者(穿戴者)的正常使用流程。在此階段中，本發明所述系統將持續的感測使用者的手勢動作，經適當訊號處理過後，計算出手勢判斷結果。

具體來說，一般運作階段先判斷是否為一般運作階段狀態，若不是，則回到手勢學習階段，另外也判斷目前是否要提供新的手勢，若是，則同樣回到手勢學習階段。接著，在一般運作階段中，同樣感測手勢並進行訊號處理，最後得到該手勢對應之手勢資訊，傳遞給處理模組以執行 相關資訊顯示或對應的操作控制。

請參照第7A-7C圖，其為本發明不同訊號來源下針對不同手勢之感測結果的波形圖。如第7A圖所示，其為磁力作為感測訊號源的感測結果，其感測方式是偵測皮膚表面，其中，訊號數值低的波形為“石頭”的手勢，訊號數值高的波形為“布”的手勢，由圖可知，可清楚判斷出連續的布與石頭的手勢。

如第7B圖所示，其為磁力作為感測訊號源的感測結果，其感測方式同樣是偵測皮膚表面，其中，訊號數值低的波形為“石頭”的手勢，訊號數值高的波形為“剪刀”的手勢，由圖可知，可清楚判斷出連續的剪刀與石頭的手勢。

如第7C圖所示，其為磁力作為感測訊號源的感測結果，其感測方式同樣是偵測皮膚表面，其中，依序做出布石頭、剪刀三種手勢，由圖所示，同樣可清楚判斷出三種手勢為何。

綜上所述，本發明之用於穿戴裝置之非接觸式手勢判斷系統及其判斷方法，可透過手勢判斷機制得到穿戴者欲執行之行為，此機制可利用電場、磁場或電磁波方式進行感測，因而穿戴裝置無須緊貼穿戴者皮膚，另外，穿戴裝置可基於手勢判斷進而傳遞指令或訊息至對應電子裝置，使得穿戴裝置成為主動式的人機介面。在結合本發明之非接觸式手勢判斷機制下，穿戴裝置將可具備低感測干擾、高舒適性、高精確度以及良好人機介面等優點，使穿戴裝 置可廣泛應用在狀態、環境或需求下。

上述實施形態僅例示性說明本發明之原理及其功效，而非用於限制本發明。任何熟習此項技藝之人士均可在不違背本發明之精神及範疇下，對上述實施形態進行修飾與改變。因此，本發明之權利保護範圍，應如後述之申請專利範圍所列。

Claims (10)

1. 一種用於穿戴裝置之非接觸式手勢判斷系統，包括：儲存模組，係預存對應多個不同手勢之手勢資訊；感測模組，係用以非接觸式感測穿戴者之手腕部分的肌肉變化，以得到該肌肉變化對應之感測訊號；處理模組，係連接至該儲存模組和該感測模組，並用以接收該感測訊號，以將該感測訊號與該儲存模組內之手勢資訊進行比對，俾取得該穿戴者所執行之手勢；以及顯示模組，係用以顯示該穿戴者之手勢所對應之資訊。
2. 如申請專利範圍第1項所述之用於穿戴裝置之非接觸式手勢判斷系統，其中，該感測模組包括單一或多個感測器，該感測器透過電場、磁場或電磁波方式感測該穿戴者之手腕部分的肌肉變化。
3. 如申請專利範圍第1項所述之用於穿戴裝置之非接觸式手勢判斷系統，其中，該感測模組包括一組或多組相對應之傳送器和接收器，該傳送器和該接收器透過電磁波穿透特性感測該穿戴者之手腕部分的肌肉變化。
4. 如申請專利範圍第1項所述之用於穿戴裝置之非接觸式手勢判斷系統，其中，該處理模組更包括：訊號處理單元，係執行該感測訊號之去除雜訊和干擾之處理，且將已去除雜訊和干擾之該感測訊號轉換為訊號數值；以及手勢處理單元，係依據該訊號數值自該儲存模組內取得相對應之該手勢資訊。
5. 如申請專利範圍第1項所述之用於穿戴裝置之非接觸式手勢判斷系統，其中，該手勢處理單元更包括由該訊號數值找出訊號特徵，以與該儲存模組內之手勢資訊進行比對。
6. 如申請專利範圍第1項所述之用於穿戴裝置之非接觸式手勢判斷系統，更包括通訊模組，係用以與外部設備建立網路連線，以執行資料傳輸和指令接收。
7. 如申請專利範圍第1項所述之用於穿戴裝置之非接觸式手勢判斷系統，更包括電源模組，係提供該感測模組、該處理模組、該顯示模組之運作電力，以及將該電源模組之電量資訊傳遞至該顯示模組。
8. 一種用於穿戴裝置之非接觸式手勢判斷方法，包括：非接觸式感測穿戴者之手腕部分的肌肉變化以產生感測訊號；將該感測訊號轉換為訊號數值；執行該訊號數值與預儲存之手勢資訊之比對，藉以取得對應該肌肉變化之該穿戴者所執行之手勢；以及顯示該穿戴者之手勢所對應之資訊。
9. 如申請專利範圍第8項所述之用於穿戴裝置之非接觸式手勢判斷方法，其中，感測穿戴者之手腕部分的肌肉變化係指透過電場、磁場或電磁波方式感測該穿戴者之手腕部分的肌肉變化。
10. 如申請專利範圍第8項所述之用於穿戴裝置之非接觸式手勢判斷方法，其中，將該感測訊號轉換為該訊號數值之步驟係包括執行該感測訊號之去除雜訊和干擾之處理，以及將已去除雜訊和干擾之該感測訊號轉換為該訊號數值。