TWI483141B - 手勢辨識系統及手勢辨識方法 - Google Patents

Description

手勢辨識系統及手勢辨識方法

本發明是有關於一種辨識系統及辨識方法，且特別是有關於一種手勢辨識系統及手勢辨識方法。

傳統的人機互動介面為滑鼠、鍵盤和搖桿，隨著科技發展日新月異，近來觸控式螢幕也廣為應用於各項電子產品中，作為人機互動介面。為了使人機互動可以更人性化，體感控制提供了一種全新的輸入方式，其中之一為手勢辨識，由於手勢是一種原始且自然的表示方式，因此在日常生活裡，手勢成為人與人之間常用的溝通方式之一。手勢辨識應用於人機介面設計、醫療保健、虛擬實境、數位藝術創作與遊戲設計等領域近來漸漸受到消費者的矚目。

辨識手勢的資訊主要為手部移動軌跡，而系統藉由分析手勢資訊來判斷使用者的手勢，並且根據不同的手勢來達到人機互動的功能。然而，當使用者持續進行手勢操控時，使用者會不斷移動手臂以使手部不斷移動。但不斷移動手臂會造成使用者的疲勞，進而影響使用者的使用時間。並且，手部的位置無法準確的維持於定點，以致於無法精確地對系統進行操控。因此，一種不會大幅增加使用者的疲勞且可精確操作的操控方式為手勢操控系統的研發方向之一。

本發明提供一種手勢辨識系統及手勢辨識方法，可依據影像中的手指數輸出手勢資訊，以提高操作的精確性及降低使用者的疲勞。

本發明提出一種手勢辨識系統，包括一影像感測器及一影像處理器。影像感測器用以提供第一影像。影像處理器耦接影像感測器，以依據第一影像中的手部的手指數輸出手勢資訊。

本發明亦提出一種手勢辨識方法，包括：接收一影像感測器所提供的一第一影像；透過一影像處理器判斷第一影像中的一手部的手指數以輸出一手勢資訊。

在本發明之一實施例中，影像處理器擷取第一影像中的一膚色部分，以判斷第一影像中是否出現手部。當第一影像中出現手部時，影像處理器對第一影像中的膚色部分進行邊緣偵測，並且計算膚色部分的質心點作為手部的質心點，以依據膚色部分的多個邊緣點及手部的質心點判斷手部的手指數。

在本發明之一實施例中，影像處理器將這些邊緣點的位置於垂直位置上大於手部的質心點且與手部的質心點間的距離大於一預設距離的部份的數量作為手部的手指數。

在本發明之一實施例中，影像處理器判斷這些邊緣點是否為對應真實手指，並且將這些邊緣點中對應真實手指且與手部的質心點間的距離大於一預設距離的部份的數量作為手部的手指數。

在本發明之一實施例中，影像處理器依據這些邊緣點的形狀判斷這些邊緣點是否為對應真實手指。

在本發明之一實施例中，影像處理器依據這些邊緣點的線條的斜率變化判斷這些邊緣點是否為對應真實手指。

在本發明之一實施例中，影像處理器輸出手部的質心點的位置資訊。

在本發明之一實施例中，影像感測器用以提供第二影像，且影像處理器依據第一影像中的手部的手指數與第二影像中的手部的手指數的差距輸出手勢資訊，其中第一影像的時間點不同於第二影像的時間點。

在本發明之一實施例中，當第一影像中的手部的手指數相同於第二影像中的手部的手指數時，影像處理器依據第一影像中手部的質心點的位置及第二影像中手部的質心點的位置判斷手部的質心點的移動方向，並且依據第一影像中的手部的手指數及手部的質心點的移動方向輸出手勢資訊。

基於上述，本發明實施例的手勢辨識系統及手勢辨識方法，影像處理器可依據第一影像中的手指數輸出手勢資訊，藉此可提高操作的精確性及降低使用者的疲勞。

為讓本發明之上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

圖1為依據本發明一實施例的手勢辨識系統的系統示 意圖。請參照圖1，在本實施例中，手勢辨識系統100包括影像感測器110及影像處理器120。影像感測器110用以將所接收的光線轉換為數位資訊後提供數位化的影像資訊(如第一影像IMG1或第二影像IMG2)。其中，第一影像IMG1的時間點先於第二影像IMG2的時間點，亦即第一影像IMG1的時間點不同於第二影像IMG2的時間點，並且第一影像IMG1的時間點與第二影像IMG2的時間點可間隔一單位時間(例如0.5秒)。

影像處理器120耦接影像感測器110，用以偵測第一影像IMG1及/或第二影像IMG2中是否出現手部的影像，並且在第一影像IMG1及/或第二影像IMG2中出現手部的影像。當第一影像IMG1及/或第二影像IMG2中出現手部的影像，則影像處理器120可依據第一影像IMG1及/或第二影像IMG2中手部的手指數輸出手勢資訊IGES。或者，影像處理器120可計算第一影像IMG1及第二影像IMG2中手部的質心點的位置，並影像處理器120可依據第一影像IMG1及/或第二影像IMG2中手部的手指數及第一影像IMG1及第二影像IMG2中手部的質心點的位置輸出手勢資訊IGES。再者，影像處理器120可對應地輸出第一影像IMG1及/或第二影像IMG2中手部的質心點的位置資訊IPOS。

進一步來說，若影像處理器120依據單一影像(如第一影像IMG1或第二影像IMG2)輸出手勢資訊IGES時，則影像處理器120可依據第一影像IMG1中手部的手指數 輸出手勢資訊IGES，並且可輸出對應第一影像IMG1中手部的質心點的位置資訊IPOS。或者，影像處理器120可依據第二影像IMG2中手部的手指數輸出手勢資訊IGES，並且可輸出對應第二影像IMG2中手部的質心點的位置資訊IPOS。

若影像處理器120依據兩相鄰影像(如第一影像IMG1及第二影像IMG2)輸出手勢資訊IGES時，則影像處理器120可依據第一影像IMG1中的手部的手指數與第二影像IMG2中的手部的手指數的差距輸出手勢資訊IGES。其次，當第一影像IMG1中的手部的手指數相同於第二影像IMG2中的手部的手指數時，影像處理器120可依據第一影像IMG1中手部的質心點的位置及第二影像IMG2中手部的質心點的位置判斷手部的質心點的移動方向，並且影像處理器120可依據第一影像IMG1或第二影像IMG2中的手部的手指數及手部的質心點的移動方向輸出手勢資訊IGES。

在本發明的一實施例中，當手部的質心點的移動量大於一預定量時，則影像處理器120判定手部的質心點為移動，否則影像處理器120判定手部的質心點視為未移動。上述預定量可依據影像(如第一影像IMG1及第二影像IMG2)的大小而定，以水平移動而言，上述預定量可以是影像的水平寬度與特定比例值(例如25%)的乘積，以垂直移動而言，上述預定量可以是影像的垂直寬度與特定比例值(例如25%)的乘積。上述質心點的移動方向及特定 比例值可依據本領域通常知識者自行設定，本發明實施例不以此為限。

圖2為依據本發明一實施例的多個手勢示意圖。請參照圖1及圖2，在本實施例中，影像210、220、230、240、250及260為對應不同手勢，並且第一影像IMG1及第二影像IMG2可以分別為影像210、220、230、240、250及260的其中之一。

在本實施例中，影像處理器120會對色彩進行過濾，以擷取影像中的膚色部分。若影像中不包含膚色部分或膚色部分過大或過小時，則判斷影像中未出現手部；反之，則判斷影像中出現手部。接著，當影像中出現手部時，影像處理器120對影像中的膚色部分進行邊緣偵測，並且計算膚色部分的質心點作為手部的質心點，以依據膚色部分的多個邊緣點及手部的質心點判斷手部的手指數。其中，膚色部分過大或過小可依據膚色部分在影像中所佔的比例來判定，例如膚色部分在影像中比例為75%以上則視為過大，膚色部分在影像中比例為15%以下則視為過小。上述為用以說明，本發明實施例不以此為限。

以影像210而言，影像處理器120會擷取到影像210中的膚色部分H1，並且由於膚色部分H1不會過大及過小，因此影像處理器120會判斷影像210中出現手部(即膚色部分H1)。接著，影像處理器120至少會偵測到邊緣點A1~A7，並且計算出膚色部分H1的質心點MA。然後，影像處理器120會依據邊緣點A1~A7與質心點MA的相 對位置及邊緣點A1~A7與質心點MA間的距離判斷邊緣點A1~A7是否為手部的手指，以決定手部的手指數。

進一步來說，由於手指一般為向上展開，因此真正的手指於垂直位置上一般會高於質心點MA，並且當手指展開後，手指的指尖會遠離質心點MA，亦即手指的指尖與質心點MA間的距離會大於一預設距離(例如影像的垂直寬度的三分之一)。據此，影像處理器120將邊緣點A1~A7的位置於垂直位置上大於手部的質心點MA且與手部的質心點MA間的距離大於預設距離的部份的數量作為手部的手指數，亦即影像處理器120會將邊緣點A1~A5當作手部的手指而決定手部的手指數為5。

以影像220而言，影像處理器120會擷取到影像220中的膚色部分H2，並且至少會偵測到邊緣點B1~B6，以及計算出膚色部分H2的質心點MB。然後，依據影像210的判斷方式，影像處理器120會將邊緣點B1~B4當作手部的手指而決定手部的手指數為4。以影像230而言，影像處理器120會擷取到影像230中的膚色部分H3，並且至少會偵測到邊緣點C1~C6，以及計算出膚色部分H3的質心點MC。然後，依據影像210的判斷方式，影像處理器120會將邊緣點C2~C4當作手部的手指而決定手部的手指數為3。

以影像240而言，影像處理器120會擷取到影像240中的膚色部分H4，並且至少會偵測到邊緣點D1~D6，以及計算出膚色部分H4的質心點MD。然後，依據影像210 的判斷方式，影像處理器120會將邊緣點D3及D4當作手部的手指而決定手部的手指數為2。以影像250而言，影像處理器120會擷取到影像250中的膚色部分H5，並且至少會偵測到邊緣點E1~E6，以及計算出膚色部分H5的質心點ME。然後，依據影像210的判斷方式，影像處理器120會將邊緣點E4當作手部的手指而決定手部的手指數為1。

以影像260而言，影像處理器120會擷取到影像260中的膚色部分H6，並且至少會偵測到邊緣點F1~F6，以及計算出膚色部分H6的質心點MF。然後，依據影像210的判斷方式，影像處理器120會將判定影像260中未出現手部的手指而決定手部的手指數為0。

依據上述，影像處理器120可依據單一影像(如210、220、230、240、250及260)的手部的手指數輸出手勢資訊IGES，亦即影像210為對應至一種手勢，影像220為對應至另一種手勢，其餘則以此類推。或者，影像處理器120可依據兩相鄰影像中(如210、220、230、240、250及260)手部的手指數的變化輸出手勢資訊IGES，亦即影像210變化至影像220為對應至一種手勢，影像210變化至影像230為對應至另一種手勢，其餘則以此類推。再者，當兩相鄰影像中(如210、220、230、240、250及260)手部的手指數為相同時，影像處理器120可依據影像中手部的手指數及手部的質心點的移動方向輸出手勢資訊IGES，亦即兩相鄰影像皆為影像210且手部的質心點MA未移動為 對應至一種手勢，兩相鄰影像皆為影像210且手部的質心點MA分別往上、下、左、右移動為對應至四種手勢。

在上述實施例中，影像處理器120是以邊緣點的位置於垂直位置上與手部的質心點比較來判斷是否為手部的手指。但在本發明的一實施例中，影像處理器120可先判斷膚色部分的邊緣點是否為對應真實手指，並且將這些邊緣點中對應真實手指且與手部的質心點間的距離大於一預設距離的部份的數量作為手部的手指數。

以影像210為例，影像處理器120會偵測到邊緣點A1~A7，並且計算出膚色部分H1的質心點MA。依據圖形來看，手指的指頭形狀類似字母“U”，而邊緣點A1~A5的形狀類似字母“U”，因此邊緣點A1~A5應該為對應真實手指，邊緣點A6及A7的形狀與字母“U”的相似度較低，因此邊緣點A6及A7應該為非對應真實手指。或者，依據線條斜率來看，邊緣點A1~A5的線條的斜率變化較大，因此邊緣點A1~A5應該為對應真實手指，而邊緣點A6及A7的線條的斜率變化較小，因此邊緣點A6及A7應該為非對應真實手指。並且，由於邊緣點A1~A5與質心點MA的距離較遠，因此影像210的手部的手指數判定為5。

圖3為依據本發明一實施例的手勢辨識方法的流程圖。請參照圖3，在本實例中，會接收影像感測器所提供的第一影像(步驟S310)，並且透過影像處理器判斷第一影像中的手部的手指數以輸出手勢資訊(步驟S320)。

圖4為圖3依據本發明一實施例的步驟S320的細部 流程圖。請參照圖3及圖4，在本實施例中，會透過影像處理器擷取第一影像中的膚色部分(步驟S410)，並且依據所擷取的膚色部分判斷第一影像中是否出現手部(步驟S420)。當第一影像中出現手部時，亦即步驟S420的判斷結果為“是”，則透過影像處理器對第一影像中的膚色部分進行邊緣偵測，並且計算膚色部分的質心點的位置作為手部的質心點(步驟S430)。接著，會透過影像處理器依據膚色部分的多個邊緣點及手部的質心點判斷手部的手指數(步驟S440)，並且透過影像處理器依據第一影像中的手部的手指數輸出手勢資訊(步驟S450)。當第一影像中未出現手部時，亦即步驟S420的判斷結果為“否”，則回到步驟S310。並且，在步驟S450之後，同樣會回到步驟S310。

圖5為依據本發明另一實施例的手勢辨識方法的流程圖。請參照圖5，在本實例中，會接收影像感測器所提供的第一影像及第二影像，其中第一影像的時間點不同於第二影像的時間點(步驟S510)。接著，會透過影像處理器依據第一影像中的手部的手指數與第二影像中的手部的手指數的差距輸出手勢資訊(步驟S520)。

圖6為圖5依據本發明另一實施例的步驟S520的細部流程圖。請參照圖5及圖6，在本實施例中，會透過影像處理器擷取第一影像及第二影像中的膚色部分(步驟S610)，並且依據所擷取的膚色部分判斷第一影像及第二影像中是否皆出現手部(步驟S620)。當第一影像及第二影像中皆出現手部時，亦即步驟S620的判斷結果為“是”， 則透過影像處理器對第一影像及第二影像中的膚色部分進行邊緣偵測，並且計算膚色部分的質心點的位置作為手部的質心點(步驟S630)。接著，會透過影像處理器依據膚色部分的多個邊緣點及手部的質心點判斷第一影像中手部的手指數及第二影像中手部的手指數(步驟S640)。然後，判斷第一影像中的手部的手指數是否相同於第二影像中的手部的手指數(步驟S650)。

當第一影像中的手部的手指數相同於第二影像中的手部的手指數時，亦即步驟S650的判斷結果為“是”，會透過影像處理器依據第一影像中手部的質心點的位置及第二影像中的手部的質心點的位置判斷手部的質心點的移動方向，並且依據第一影像中的手部的手指數及手部的質心點的移動方向輸出手勢資訊。當第一影像中的手部的手指數不同於第二影像中的手部的手指數時，亦即步驟S650的判斷結果為“否”，會透過影像處理器依據第一影像中的手部的手指數與第二影像中的手部的手指數的差距輸出手勢資訊。當第一影像及第二影像的其中之一未出現手部或第一影像及第二影像中皆未出現手部時，亦即步驟S620的判斷結果為“否”，則回到步驟S510。並且，在步驟S660及S670之後，同樣會回到步驟S510。

其中，上述步驟的順序為用以說明，本發明實施例不以此為限。並且，上述步驟的細節可參照圖1及圖2實施例，在此則不再贅述。

綜上所述，本發明實施例的手勢辨識系統及手勢辨識 方法，影像處理器可依據單一影像中的手指數輸出手勢資訊，或者影像處理器可依據兩相鄰影像中的手部的手指數的差距輸出手勢資訊。並且，當兩相鄰影像中的手部的手指數相同時，影像處理器可依據影像中的手部的手指數與手部的質心點的移動方向輸出手勢資訊。藉此，可提高操作的精確性及降低使用者的疲勞。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作些許之更動與潤飾，故本發明之保護範圍當視後附之申請專利範圍所界定者為準。

100‧‧‧手勢辨識系統

110‧‧‧影像感測器

120‧‧‧影像處理器

210、220、230、240、250、260‧‧‧影像

A1~A7、B1~B6、C1~C6、D1~D6、E1~E6、F1~F6‧‧‧邊緣點

H1~H6‧‧‧膚色部分

IGES‧‧‧手勢資訊

IMG1‧‧‧第一影像

IMG2‧‧‧第二影像

IPOS‧‧‧位置資訊

MA~MF‧‧‧質心點

S310、S320、S410、S420、S430、S440、S450、S510、S520、S610、S620、S630、S640、S650、S660、S670‧‧‧步驟

圖1為依據本發明一實施例的手勢辨識系統的系統示意圖。

圖2為依據本發明一實施例的多個手勢示意圖。

圖3為依據本發明一實施例的手勢辨識方法的流程圖。

圖4為圖3依據本發明一實施例的步驟S320的細部流程圖。

圖5為依據本發明另一實施例的手勢辨識方法的流程圖。

圖6為圖5依據本發明另一實施例的步驟S520的細部流程圖。

210、220、230、240、250、260‧‧‧影像

A1~A7、B1~B6、C1~C6、D1~D6、E1~E6、F1~F6‧‧‧邊緣點

H1~H6‧‧‧膚色部分

MA~MF‧‧‧質心點

Claims (16)

1. 一種手勢辨識系統，包括：一影像感測器，用以提供一第一影像；以及一影像處理器，耦接該影像感測器，以依據該第一影像中的一手部的手指數輸出一手勢資訊，其中該影像處理器擷取該第一影像中的一膚色部分，以判斷該第一影像中是否出現該手部，當該第一影像中出現該手部時，該影像處理器對該第一影像中的該膚色部分進行邊緣偵測，並且計算該膚色部分的質心點作為該手部的質心點，以依據該膚色部分的多個邊緣點及該手部的質心點判斷該手部的手指數。
2. 如申請專利範圍第1項所述之手勢辨識系統，其中該影像處理器將該些邊緣點的位置於垂直位置上大於該手部的質心點且與該手部的質心點間的距離大於一預設距離的部份的數量作為該手部的手指數。
3. 如申請專利範圍第1項所述之手勢辨識系統，其中該影像處理器判斷該些邊緣點是否為對應真實手指，並且將該些邊緣點中對應真實手指且與該手部的質心點間的距離大於一預設距離的部份的數量作為該手部的手指數。
4. 如申請專利範圍第3項所述之手勢辨識系統，其中該影像處理器依據該些邊緣點的形狀判斷該些邊緣點是否為對應真實手指。
5. 如申請專利範圍第3項所述之手勢辨識系統，其中該影像處理器依據該些邊緣點的線條的斜率變化判斷該些 邊緣點是否為對應真實手指。
6. 如申請專利範圍第1項所述之手勢辨識系統，其中該影像處理器輸出該手部的質心點的位置資訊。
7. 如申請專利範圍第1項所述之手勢辨識系統，其中該影像感測器用以提供一第二影像，該影像處理器依據該第一影像中的該手部的手指數與該第二影像中的該手部的手指數的差距輸出該手勢資訊，其中該第一影像的時間點不同於該第二影像的時間點。
8. 如申請專利範圍第7項所述之手勢辨識系統，其中當該第一影像中的該手部的手指數相同於該第二影像中的該手部的手指數時，該影像處理器依據該第一影像中該手部的質心點的位置及該第二影像中該手部的質心點的位置判斷該手部的質心點的移動方向，並且依據該第一影像中的該手部的手指數及該手部的質心點的移動方向輸出該手勢資訊。
9. 一種手勢辨識方法，包括：接收一影像感測器所提供的一第一影像；以及透過一影像處理器判斷該第一影像中的一手部的手指數以輸出一手勢資訊；其中，判斷該第一影像中的該手部的手指數的步驟包括：透過該影像處理器擷取該第一影像中的一膚色部分，以判斷該第一影像中是否出現該手部；當該第一影像中出現該手部時，透過該影像處理器對 該第一影像中的該膚色部分進行邊緣偵測，並且計算該膚色部分的質心點的位置作為該手部的質心點；以及透過該影像處理器依據該膚色部分的多個邊緣點及該手部的質心點判斷該手部的手指數。
10. 如申請專利範圍第9項所述之手勢辨識方法，其中依據該些邊緣點及該手部的質心點判斷該手部的手指數的步驟包括：透過該影像處理器將該些邊緣點的位置於垂直位置上大於該手部的質心點且與該手部的質心點間的距離大於一預設距離的部份的數量作為該手部的手指數。
11. 如申請專利範圍第9項所述之手勢辨識方法，其中依據該些邊緣點及該手部的質心點判斷該手部的手指數的步驟包括：透過該影像處理器判斷該些邊緣點是否為對應真實手指，並且將該些邊緣點中對應真實手指且與該手部的質心點間的距離大於一預設距離的部份的數量作為該手部的手指數。
12. 如申請專利範圍第11項所述之手勢辨識方法，其中判斷該些邊緣點是否為對應真實手指的步驟包括：透過該影像處理器依據該些邊緣點的形狀判斷該些邊緣點是否為對應真實手指。
13. 如申請專利範圍第11項所述之手勢辨識方法，其中判斷該些邊緣點是否為對應真實手指的步驟包括：透過該影像處理器依據該些邊緣點的線條的斜率變 化判斷該些邊緣點是否為對應真實手指。
14. 如申請專利範圍第9項所述之手勢辨識方法，更包括：透過該影像處理器輸出該手部的質心點的位置資訊。
15. 如申請專利範圍第9項所述之手勢辨識方法，更包括：接收該影像感測器所提供的一第二影像，其中該第一影像的時間點不同於該第二影像的時間點；以及透過該影像處理器依據該第一影像中的該手部的手指數與該第二影像中的該手部的手指數的差距輸出該手勢資訊。
16. 如申請專利範圍第15項所述之手勢辨識方法，其中透過該影像處理器依據該第一影像中的該手部的手指數與該第二影像中的該手部的手指數的差距輸出該手勢資訊的步驟包括：當該第一影像中的該手部的手指數相同於該第二影像中的該手部的手指數時，透過該影像處理器依據該第一影像中該手部的質心點的位置及該第二影像中的該手部的質心點的位置判斷該手部的質心點的移動方向，並且依據該第一影像中的該手部的手指數及該手部的質心點的移動方向輸出該手勢資訊。