TWI775128B - 手勢控制裝置及其控制方法 - Google Patents

Abstract

一種手勢控制裝置及其控制方法，係包括一影像處理模組，該影像處理模組係電性連接一攝影單元，該影像處理模組係用以接收來自於該攝影單元所擷取之二維影像進行後續處理，包括抓取手部二維影像及對該手部二維影像進行灰階化處理及計算該二維影像之特徵點，該影像處理模組另電性連接一影像分析模組，該影像分析模組係用以接收計算完成之二維影像資訊進行後續分析，包括對於計算後之二維影像進行標示，並對所標示之特徵位置進行節點繪製或是計算其他節點，最後再由該手勢判斷單元進行手勢判讀，最後再輸出該手勢判斷之結果。

Description

手勢控制裝置及其控制方法

本發明係有關一種控制裝置，尤指一種具有人機互動功能之手勢控制裝置及其控制方法。

傳統的人機互動介面為滑鼠、鍵盤和搖桿，隨著科技發展日新月異，為了使人機互動可以更加便利，體感控制提供了一種全新的輸入方式，最常見的體感控制變是透過手勢辨識來進行全新的人機互動。

由於手勢是人與人在日常生活中常用的溝通方式，是一種相當直覺且方便的方法，因此，透過技術的引領下，手勢辨逐漸應用於眾多領域之一，包括人機介面設計、醫療復健、虛擬實境與遊戲設計等。

而辨識手勢的資訊主要有兩種方式，一種是動態手勢，另一種則是靜態手勢；動態手勢資訊包括手部移動軌跡、位置資訊與時序關係，而靜態手勢資訊則主要為手形變化，藉由分析手勢資訊並根據不同的手勢，來達到人機互動的功能

目前常見手勢辨識的技術，係為利用深度攝影機來取得具有三維影像，每張三維影像影像必須做前置處理，如影像二值化和清除影像背景、消除雜訊等等，再從一連串影像中擷取並分析出使用者手部位置及手勢等相關訊息。再利用手部位置的影像座標數值來控制顯示器之游標的移動；然後，透過三維影像需要在前置處理花費較長時間，致使造成移動游標的速度與精確度難以與滑鼠相較，且深度攝影機此類裝置費用太高，造成目前手勢辨識裝置及技術難以降低成本門檻。

針對上述之缺失，本發明之主要目的在於提供一種手勢控制裝置及其控制方法，藉由具有抓取二維影像之攝影機與演算法之搭配，以判斷手勢之變化，達成人機互動之目的，並藉此降低該手勢控制裝置之成本。

為達成上述之目的，本發明係主要提供一種手勢控制裝置及其控制方法，係包括一影像處理模組，該影像處理模組係電性連接一攝影單元，該影像處理模組係用以接收來自於該攝影單元所擷取之二維影像進行後續處理，於該影像處理模組內更包括一影像處理單元及一特徵計算單元，其中該影像處理單元係於接收所擷取之二維影像後，進行後製處理，包括抓取手部二維影像及對該手部二維影像進行灰階化處理，待處理過之二維影像輸入進到該特徵計算單元，即開始計算該二維影像之特徵點；該影像處理模組另電性連接一影像分析模組，該影像分析模組係用以接收計算完成之二維影像資訊進行後續分析，其中該影像分析模組內更包括一影像分析單元及一手勢判斷單元，其中該影像分析單元係用以接收二維影像資訊進行，對於計算後之二維影像進行標示，並對所標示之特徵位置進行節點繪製或是計算其他節點，最後再由該手勢判斷單元進行手勢判讀，最後再輸出該手勢判斷之結果。

為讓本發明之上述和其他目的、特徵和優點能更明顯易懂，下文特舉較佳實施例，並配合所附圖式，作詳細說明如下。

先敘明本實施例中所述之「特徵點」，係指透過影像偵測及分析後取得的數個點，其中可以是以關節位置、關節處的皮膚紋路、指甲、掌紋或是手腕周圍之外型等。將所取得的特徵點對比之前訓練時所設定之關節點，進而完成標示關節處的影像關鍵點。利用關鍵點間的連線所形成的圖樣，對比之前所預設之手勢的形狀，,即可用以啟動對應之功能。

請參閱第一圖，係為本發明之系統方塊圖。本發明之手勢控制裝置係主要包括一影像處理模組1，該影像處理模組1係電性連接一攝影單元2，該影像處理模組1係用以接收來自於該攝影單元2所擷取之二維影像進行後續處理，而該攝影單元2係為一種具有擷取二維影像功能之攝影機；於該影像處理模組1內更包括一影像處理單元11及一特徵計算單元12，該影像處理單元11與特徵計算單元12電性連接，其中該影像處理單元11係於接收所擷取之二維影像後，進行後製處理，包括抓取手部二維影像及對該手部二維影像進行灰階化處理，待處理過之二維影像輸入進到該特徵計算單元12，即開始計算該二維影像之特徵點(scale-invariant feature transform descriptor) ，而該特徵點之計算方式係針對每個關鍵點(keypoint)擷取16×16之像素大小，再平均切為4×4之格狀大小(cells)，每個格狀取梯度及角度值統計為8個箱狀(bins)之直方圖(Histogram)，總共16個格狀會得到16個直方圖（8 bins），可合併成16×8=128維度資料，最後針對這些資料進行歸一化處理(L2-Normalizing)，即可得到代表該關鍵點之特徵。；亦即特徵點的位置可為二維座標(X,Y)，關鍵點經過計算轉換後，其位置座標為三維座標(X,Y,Z)。其計算轉換方式可為經由比較影像中的參考點(例如：臉或背後物件)，根據參考點與每一關鍵點的大小比例，進而推算出每一關鍵點的Z值。在取得參考點時，亦可經由手的動作來進行每一關鍵點的Z值的取得或是校正。

續參閱第一圖。該影像處理模組1另電性連接一影像分析模組3，該影像分析模組3係用以接收計算完成之二維影像資訊進行後續分析，其中該影像分析模組3內更包括一影像分析單元31及一手勢判斷單元32，該影像分析單元31係訊息電性連接該手勢判斷單元32，其中該影像分析單元31係用以接收二維影像資訊進行，對於計算後之二維影像進行標示，並對所標示之特徵位置進行節點繪製或是計算其他節點，最後再由該手勢判斷單元32進行手勢判讀，最後再輸出該手勢判斷之結果。

續參閱第一圖。此外，該影像分析模組3係電性連接一手勢訓練模組4，該手勢訓練模組4更包括一手勢紀錄單元41及一手勢訓練單元42，該手勢紀錄單元41係電性連接該手勢訓練單元42，其中該手勢紀錄單元41係用以紀錄手勢影像，並將該些手勢影像載入該手勢訓練單元42進行手勢訓練並產生手勢訓練檔案，該些檔案再傳至該手勢判斷單元32，以作為手勢判斷之依據。

請參閱第二圖，係為本發明之手勢控制方法之流程圖。該控制方法之步驟係包括擷取二維手部影像(S1)，該二維手部影像係透過一種具有擷取二維影像功能之攝影機進行操作；之後進行計算該二維手部影像之特徵點(S2)，包括進行對該手部二維影像進行灰階化處理及特徵點計算，其中該計算之步驟更包括針對每個關鍵點(keypoint)擷取16×16之像素大小(S21)，如第三圖之特徵計算流程圖所示，再將每個像素平均切為4×4之格狀大小(cells) (S22)，每個格狀取梯度及角度值統計為8個箱狀(bins)之直方圖(Histogram) (S23)，總共16個格狀會得到16個直方圖（8 bins），最後合併成16×8=128維度資料(S24)，最後針對維度資料進行歸一化處理(L2-Normalizing) (S25)，即可得到代表該關鍵點之特徵。

續參閱第三圖。該控制方法之步驟更包括標示該二維手部影像之特徵點(S3)，該步驟中係用以計算後之二維影像進行標示，並對所標示之特徵位置進行節點繪製或是計算其他節點；最後，針對該些標示影像進行判斷該二維手部影像之手勢(S4)，透過系統內部已存之手勢檔案進行判讀，以輸出最後之判讀結果，即如第四圖至第七圖所示之實施例圖，根據不同的手勢，於系統解讀時，各關鍵點會產生對應移動或是對應手勢之建立。

惟以上所述之實施方式，是為較佳之實施實例，當不能以此限定本發明實施範圍，若依本發明申請專利範圍及說明書內容所作之等效變化或修飾，皆應屬本發明下述之專利涵蓋範圍。

1:影像處理模組

11:影像處理單元

12:特徵計算單元

2:攝影單元

3:影像分析模組

31:影像分析單元

32:手勢判斷單元

4:手勢訓練模組

41:手勢紀錄單元

42:手勢訓練單元

第一圖、係為本發明之系統方塊圖。

第二圖、係為本發明之流程圖。

第三圖、係為本發明之特徵計算流程圖。

第四圖、係為本發明之實施例圖(一)。

第五圖、係為本發明之實施例圖(二)。

第六圖、係為本發明之實施例圖(三)。

第七圖、係為本發明之實施例圖(四)。

1:影像處理模組

2:攝影單元

3:影像分析模組

4:手勢訓練模組

11:影像處理單元

12:特徵計算單元

31:影像分析單元

32:手勢判斷單元

41:手勢紀錄單元

42:手勢訓練單元

Claims (6)

1. 一種手勢控制裝置，係包括：一影像處理模組，該影像處理模組係用以接收所擷取之影像進行後續處理，於該影像處理模組內更包括：一影像處理單元，該係於接收所擷取之二維影像後，進行後製處理，包括僅抓取手部二維影像及對該手部二維影像進行灰階化處理；一特徵計算單元，該特徵計算單元與該影像處理單元電性連接，待處理過之二維影像輸入進到該特徵計算單元，即開始計算該二維影像之特徵點；一攝影單元，係與該影像處理模組電性連接，該攝影單元係具有擷取二維影像功能；一影像分析模組，係電性連接該影像處理模組，用以接收計算完成之二維影像資訊進行後續分析，該影像分析模組更包括：一影像分析單元，係用以接收二維影像資訊進行，對於計算後之二維影像進行標示，並對所標示之特徵位置進行節點繪製或是計算其他節點；一手勢判斷單元，係電性連接該影像分析單元，該手勢判斷單元用以判讀手勢影像，再輸出該手勢判斷之結果。
2. 如申請專利範圍第1項所述之手勢控制裝置，其中該裝置更包括一手勢訓練模組，係電性連接該影像分析模組，該手勢訓練模組更包括一手勢紀錄單元及一手勢訓練單元，該手勢紀錄單元係電性連接該手勢訓練單元，該手勢紀錄單元係用以紀錄手勢影像，並將該些手勢影像載入該手勢訓練單元進行 手勢訓練並產生手勢訓練檔案，該些檔案再傳至該手勢判斷單元，以作為手勢判斷之依據。
3. 一種如請求項1的手勢控制裝置之手勢控制方法，其步驟係包括：a.該影像處理單元僅擷取二維手部影像；b.該特徵計算單元計算該二維手部影像之特徵點；c.該影像分析單元標示該二維手部影像之特徵點；d.該手勢判斷單元判斷該二維手部影像之手勢。
4. 如申請專利範圍第3項所述之手勢控制方法，其中b步驟更包括進行對該手部二維影像進行灰階化處理及特徵點計算。
5. 如申請專利範圍第3項所述之手勢控制方法，其中該特徵點計算之步驟更包括：b1：針對每個關鍵點擷取16×16之像素大小；b2：將每個像素平均切為4×4之格狀大小；b3：每個格狀取梯度及角度值統計為8個箱狀之直方圖；b4：合併成16×8=128維度資料(S24)；b5：針對維度資料進行歸一化處理。
6. 如申請專利範圍第3項所述之手勢控制方法，其中該c步驟中係用以計算後之二維影像進行標示，並對所標示之特徵位置進行節點繪製或是計算其他節點。

Images