TWI471815B - 手勢辨識裝置及方法 - Google Patents

Description

手勢辨識裝置及方法

本發明係有關於一種手勢辨識裝置及方法，特別是有關於一種利用影像處理進行手勢辨識的裝置，和使用此裝置的手勢辨識方法。

使用者對人機介面系統(man-machine interface system)的操作要求越來越高，希望能更簡化操作流程，讓介面操作更直覺化。人機介面系統的操作機制大多為鍵盤操作、滑鼠操作、觸控操作以及遙控器操作等四種機制。鍵盤操作適合於輸入文字，但是現今的顯示介面大多為圖形顯示介面，因此在使用上並不方便。滑鼠操作或遙控器操作雖然可提供不錯的便利性，但是使用者必須依賴一外部裝置來進行操作，控制距離也受到限制。觸控操作則限制使用者必須在手指或觸控筆在可觸碰的螢幕範圍內來操作人機介面。

目前，人機介面系統的另一種操作機制是將手模擬成滑鼠使用。舉例，Kinect人機介面系統先將手部追蹤，藉以得到手部座標，然後將系統座標與手部座標連結，就可以將手模擬成滑鼠使用。若使用者將手往向前方向推出(朝向影像感測器的方向)，則可下達滑鼠點擊動作(Click)等對應的指令動作。然而，Kinect的硬體架構包含矩陣式紅外線發射器、紅外線攝影機、可見光攝影機、矩陣式麥克風 及馬達等，造成硬體成本居高不下。雖然Kinect的硬體架構可以準確的取得手部在Z軸的座標值，但是在真實的應用中只需知道手部相對的前後關係就可以得知對應的指令動作。

因此，便有需要提供一種可兼顧操作空間自由性以及徒手操作的手勢辨識裝置及方法，以解決前述的問題。

本發明之一目的為，克服現有的操作機制的空間自由性不足，而提供一種兼顧操作空間自由性以及徒手操作的手勢辨識方法及裝置。

為達成上述目的，本發明提供一種手勢辨識方法，包括：提供一影像；將該影像的三原色圖轉換為灰階圖；判斷出該影像之一手部影像；以及判斷出該手部影像的質心座標、指尖個數及指尖座標之其中至少一者。

為達成上述目的，本發明另提供一種手勢辨識裝置，包括一影像處理模組。該影像處理模組用以處理一影像，並包括：一膚色偵測單元，用以判斷該影像中的膚色面積是否大於一門檻值；一特徵偵測單元，電性連接該膚色偵測單元，用以辨識該影像中的一手部影像；以及一邊緣偵測單元，電性連接該特徵偵測單元，用以判斷該手部影像的質心座標、指尖個數及指尖座標之其中至少一者。

本發明的手勢辨識方法及裝置利用膚色偵測單元找出膚色面積，再利用特徵偵測單元從影像中找出手部影像，並利用邊緣偵測單元判斷出手部影像的質心座標、指尖個 數及指尖座標。後續的手部的空間位置變化、手指指尖的個數及手指的彎曲變化，再不需要整張畫面之影像進行掃瞄辨識。因此，畫面之影像檔案小，可加快手部影像辨識的速度，控制單元再依據變化的結果執行相對應之動作。在使用上，使用者不用在局限於空間上的限制，可以較自由的操作及控制。

為了讓本發明之上述和其他目的、特徵和優點能更明顯，下文將配合所附圖示，作詳細說明如下。

請參閱圖1為本發明之一實施例之具有手勢辨識裝置之人機介面系統的架構圖。人機介面系統1包括一手勢辨識裝置10及一顯示單元20。手勢辨識裝置10包括一影像擷取單元100、一影像處理模組200及一使用者界面300。影像處理模組200包括一膚色偵測單元210、一特徵偵測單元220、一邊緣偵測單元230、一資料庫240及一控制單元250。影像處理模組200電性連接於該影像擷取單元100。使用者界面300電性連接於影像處理模組200。

圖2為本發明之一實施例之手勢辨識方法流程圖，請同時參閱圖1。該手勢辨識方法包括下列步驟：

在步驟S100，提供第一影像。於本步驟中，由影像擷取單元100擷取第一影像，並電性連接該膚色偵測單元210，將該第一影像傳遞至該膚色偵測單元210。該影像擷取單元100可為攝影機或影像感測器。

在步驟S102，膚色偵測單元210進行一膚色偵測步 驟，將該第一影像的三原色(RGB)圖轉換為灰階(Gray-level)圖。請參閱圖3，膚色偵測步驟，包括下列步驟：

在步驟S1021，將該第一影像的三原色模型(RGB color model)轉換為色度/飽和度/明度彩色模型(HSV彩色模型，HSV color model)。於本步驟中，該膚色偵測單元210從影像擷取單元100接收的圖框(frame)為該第一影像410，該第一影像410原本是以三原色模型所表現(如圖4a所示)，但為了進行膚色的判斷，所以將三原色模型轉換為HSV彩色模型，以方便後續的處理。

在步驟S1022，移除該第一影像的明度參數，再以色度參數和飽和度參數做膚色的追蹤而判斷出該第一影像之膚色面積。於本步驟中，該膚色偵測單元210先進行移除該第一影像420的明度參數(如圖4b所示)，以減少外在環境光的影響。利用手掌的皮膚不會有黑色素生成，對色度參數和飽和度參數訂出一個範圍，並濾除未落在該範圍的影像，並將該第一影像以灰階表現而形成灰階圖430(如圖4c所示)。然後，計算落在該範圍影像的面積即為膚色面積。

在步驟S1023，判斷出第一影像之膚色面積是否大於門檻值。於本步驟中，膚色偵測單元210判斷該第一影像之膚色面積是否大於門檻值。該門檻值為該第一影像中膚色面積至少要佔整個影像面積一預定比例。當膚色面積小於門檻值時，就回到步驟S100；亦即膚色偵測單元210就結束偵測流程，回到初始狀態，並等待下一張影像再重複進行。當膚色面積大於門檻值時，膚色偵測單元210就就 將該第一影像之灰階圖傳遞到該特徵偵測單元220。假設，該影像面積為640×480，則第一影像中膚色面積至少要300×200，上述中的300×200即為上述的門檻值。

在步驟S104，特徵偵測單元220進行一特徵偵測步驟，用以判斷出該第一影像中的第一手部影像。於本步驟中，當特徵偵測單元220電性連接該膚色偵測單元210，並從膚色偵測單元210收到該第一影像之灰階圖時，該特徵偵測單元220利用哈爾(Haar)演算法進行辨識該第一影像的中的第一手部影像。根據哈爾(Haar)演算法可組出多個向量以建立一手部特徵參數模型，進而能取得個別對應的樣本特徵參數值。在進行手部辨識時，該特徵偵測單元220會擷取各手部區域的特徵，以計算各手部區域所分別對應的區域參數特徵值。接下來，將每個手部區域所對應的區域參數特徵值，與樣本特徵參數值進行比較，以取得手部區域與樣本之間的相似度，只要相似度大於一門檻值(例如相似度門檻值為95%)，就判斷出手部影像，並選取該手部影像(如圖4d所示)。當特徵偵測單元220辨識出該影像中有手部影像時，就將該手部影像傳至該邊緣偵測單元230。如果辨識出有多個手部影像，就只傳送有最大面積的手部影像，亦即第一手部影像440。

在步驟S106，邊緣偵測單元230進行一邊緣偵測步驟，用以判斷第一手部影像的質心座標、指尖個數及指尖座標。

於本步驟中，請同時參閱圖4e，該邊緣偵測單元230 電性連接該特徵偵測單元220，並從該特徵偵測單元220收到該第一手部影像。該邊緣偵測單元230利用該第一手部影像的最大凸多邊形之圓點圖案為凸點450，方點圖案為凹點460，計算兩凹點460與其中間凸點450的差距，即可判斷出指尖是否為伸出或收起，進而得知指尖個數及指尖座標。或者，計算手指指尖凸點450與兩手指之間凹點460的距離，例如食指指尖到食指與中指之間凹陷處的距離。該邊緣偵測單元230將該第一手部影像440的指尖個數及指尖座標傳至資料庫240。

於本步驟中，該邊緣偵測單元230判斷該第一手部影像的最大凸多邊形來計算第一手部影像的面積，以得知三角點圖案為質心座標470。該邊緣偵測單元230將該第一手部影像的質心座標470傳至資料庫240。

步驟S108，提供第n影像，並判斷出第n手部影像及第n手部影像的質心座標、指尖個數及指尖座標。於本步驟中，n為2或2以上的整數，影像擷取單元100擷取第n影像，將該第n影像傳遞至該膚色偵測單元210，如步驟S100。第n影像再經過步驟S102的膚色偵測步驟，判斷該第n影像的膚色面積大於門檻值，並將該第n影像灰階圖傳遞到特徵偵測單元220。步驟S104，特徵偵測單元利用哈爾(Haar)演算法進行辨識該第n影像的中的第n手部影像，並將該第n手部影像傳遞到邊緣偵測單元230。如步驟S106，邊緣偵測單元230判斷第n手部影像的質心座標、指尖個數及指尖座標，並傳至資料庫240。

步驟S110，判斷第一手部影像與第n手部影像的質心座標、指尖個數及指尖座標之間的差異，而執行相對應之動作。於本步驟中，控制單元250電性連接該資料庫240。該控制單元250依據該資料庫240的訊號而執行相對應之動作。

例如：第一操作方式為，控制單元250依據第一手部影像與第n手部影像的質心座標不同，就可判斷出手部影像在空間中的移動變化，而執行觸控點功能251的動作。

第二操作方式為，控制單元250依據第一手部影像或第二手部影像的指尖個數，判斷出手指的變化，而執行手勢判斷功能252的動作。

第三操作方式為，控制單元250依據第一手部影像與第二手部影像的指尖座標不同，就可判斷出手部影像的手指頭彎曲程度，而執行手勢判斷功能252的動作。

上述第一、第二及第三操作方式中，控制單元250可選則其中一個操作方式，也能同時三個操作方式交互使用。

步驟S112，顯示單元20透過使用者介面300，顯示控制單元250執行動作後的結果。於本步驟中，使用者介面300包括人性化介面320及圖形使用者介面310，且電性連接控制單元250及顯示單元20。人性化介面320是用於觸控點功能251的輸出介面，圖形使用者介面310是用於手勢判斷功能252的輸出介面。經由人性化介面320及圖形使用者介面310，可由顯示單元20顯示控制單元250執行動作後的結果。

舉例來說：如圖5所示，本發明之手勢辨識裝置可代替目前的滑鼠的動作，其中該影像擷取單元可為一般網路攝影機510(Web camera)；本發明之影像處理模組520可為晶片組(Chip Set)、處理器(Processor如CPU、MPU)、控制電路(Control Circuit)、其它輔助電路、運算程式(Operation Software)、韌體(Firmware)或相關模組、元件、軟體等所組合而成；該顯示單元可為一般電腦螢幕(screen)530。

當使用者540在網路攝影機510前時，使用者540的手部向左移動時，從電腦螢幕530就可看到螢幕上的箭頭向左移動。當使用者540的手指向下彎曲時，經過影像處理模組520的訊號處理，電腦螢幕530上的箭頭所選取的元件就會被點選。

本發明的手勢辨識方法及裝置利用膚色偵測單元找出膚色面積，再利用特徵偵測單元從影像中找出手部影像，並利用邊緣偵測單元判斷出手部影像的質心座標、指尖個數及指尖座標。後續的手部的空間位置變化、手指指尖的個數及手指的彎曲變化，再不需要整張畫面之影像進行掃瞄辨識。因此，畫面之影像檔案小，可加快手部影像辨識的速度，控制單元再依據變化的結果執行相對應之動作。在使用上，使用者不用在局限於空間上的限制，可以較自由的操作及控制。

綜上所述，乃僅記載本發明為呈現解決問題所採用的技術手段之實施方式或實施例而已，並非用來限定本發明專利實施之範圍。即凡與本發明申請專利範圍文義相符， 或依本發明專利範圍所做的均等變化與修飾，皆為本發明專利範圍所涵蓋。

1‧‧‧人機介面系統

10‧‧‧手勢辨識裝置

100‧‧‧影像擷取單元

20‧‧‧顯示單元

200‧‧‧影像處理模組

210‧‧‧膚色偵測單元

220‧‧‧特徵偵測單元

230‧‧‧邊緣偵測單元

240‧‧‧資料庫

250‧‧‧控制單元

251‧‧‧觸控點功能

252‧‧‧手勢判斷功能

300‧‧‧使用者介面

310‧‧‧圖形使用者介面

320‧‧‧人性化介面

410‧‧‧第一影像

420‧‧‧第一影像

430‧‧‧灰階圖

440‧‧‧第一手部影像

450‧‧‧凸點

460‧‧‧凹點

470‧‧‧質心座標

510‧‧‧網路攝影機

520‧‧‧影像處理模組

530‧‧‧電腦螢幕

540‧‧‧使用者

S100~S112‧‧‧步驟

S1021~S1023‧‧‧步驟

圖1為本發明之具有手勢辨識裝置之人機介面系統的架構圖。

圖2為本發明手勢辨識方法流程圖。

圖3為本發明膚色偵測方法流程圖。

圖4a為本發明手部影像辨識照片，其為三原色圖。

圖4b為本發明手部影像辨識照片，其為移除明度參數的圖。

圖4c為本發明手部影像辨識示意圖，其為灰階示意圖。

圖4d為本發明手部影像辨識示意圖，其為選取手部影像之灰階示意圖。

圖4e為本發明手部影像辨識示意圖，其為標示凸點、凹點及質心座標之灰階示意圖。

圖5為使用者使用本發明人機介面系統之示意圖。

1‧‧‧人機介面系統

10‧‧‧手勢辨識裝置

100‧‧‧影像擷取單元

20‧‧‧顯示單元

200‧‧‧影像處理模組

210‧‧‧膚色偵測單元

220‧‧‧特徵偵測單元

230‧‧‧邊緣偵測單元

240‧‧‧資料庫

250‧‧‧控制單元

251‧‧‧觸控點功能

252‧‧‧手勢判斷功能

300‧‧‧使用者介面

310‧‧‧圖形使用者介面

320‧‧‧人性化介面

Claims (12)

1. 一種手勢辨識方法，包括下列步驟：提供一第一影像；將該第一影像的三原色圖轉換為一第一灰階圖，其包括下列步驟：將該第一影像的三原色模型轉換為色度/飽和度/明度彩色模型；移除該第一影像的明度參數，再以色度參數和飽和度參數做膚色的追蹤而判斷出該第一影像之膚色面積，並將該第一影像以灰階表現而形成該第一灰階圖；以及判斷出該第一影像之膚色面積是否大於一門檻值；判斷出該第一影像之一第一手部影像；以及判斷出該第一手部影像的質心座標、指尖個數及指尖座標之其中至少一者。
2. 如申請專利範圍第1項所述之手勢辨識方法，其中該門檻值為該第一影像中之膚色面積佔整個影像面積一預定比例。
3. 如申請專利範圍第1項所述之手勢辨識方法，更包括下列步驟：提供一第二影像；將該第二影像的三原色圖轉換為一第二灰階圖；判斷出該第二影像之一第二手部影像；以及 判斷出該第二手部影像的質心座標、指尖個數及指尖座標之其中至少一者。
4. 如申請專利範圍第3項所述之手勢辨識方法，其中將該第二影像的三原色圖轉換為一第二灰階圖的步驟中，更包括下列步驟：將該第二影像的三原色模型轉換為色度/飽和度/明度彩色模型；移除該第二影像的明度參數，再以色度參數和飽和度參數做膚色的追蹤而判斷出該第二影像之膚色面積，並將該第二影像以灰階表現而形成該第二灰階圖；以及判斷出該第二影像之膚色面積是否大於一門檻值。
5. 如申請專利範圍第3項所述之手勢辨識方法，更包括下列步驟：判斷該第一手部影像與該第二手部影像的質心座標，而執行相對應之動作。
6. 如申請專利範圍第3項所述之手勢辨識方法，更包括下列步驟：判斷該第一手部影像或該第二手部影像的指尖個數，而執行相對應之動作。
7. 如申請專利範圍第3項所述之手勢辨識方法，更包括下列步驟：判斷該第一手部影像與該第二手部影像的指尖座標，而執行相對應之動作。
8. 一種手勢辨識裝置，包括：一影像處理模組，用以處理一影像，並包括：一膚色偵測單元，用以判斷該影像中的膚色面 積是否大於一門檻值；一特徵偵測單元，電性連接該膚色偵測單元，用以辨識該影像中的一手部影像；以及一邊緣偵測單元，電性連接該特徵偵測單元，用以判斷該手部影像的質心座標、指尖個數及指尖座標之其中至少一者，其中該邊緣偵測單元是利用該手部影像的最大凸多邊形之面積、凸點及凹點進而得知該手部影像的質心座標、指尖個數及指尖座標。
9. 如申請專利範圍第8項所述之手勢辨識裝置，更包括一資料庫，其電性連接該邊緣偵測單元，用以儲存該手部影像的質心座標、指尖個數及指尖座標之其中至少一者。
10. 如申請專利範圍第9項所述之手勢辨識裝置，更包括一控制單元，其電性連接該資料庫，用以依據質心座標的不同，判斷出手部影像在空間中的移動變化。
11. 如申請專利範圍第9項所述之手勢辨識裝置，更包括一控制單元，其電性連接該資料庫，用以依據指尖個數，判斷出手指的變化。
12. 如申請專利範圍第9項所述之手勢辨識裝置，更包括一控制單元，其電性連接該資料庫，用以依據指尖座標的不同判斷出該手部影像的手指頭彎曲程度。