TWI395145B - 手勢辨識系統及其方法 - Google Patents

手勢辨識系統及其方法 Download PDF

Info

Publication number
TWI395145B
TWI395145B TW098103294A TW98103294A TWI395145B TW I395145 B TWI395145 B TW I395145B TW 098103294 A TW098103294 A TW 098103294A TW 98103294 A TW98103294 A TW 98103294A TW I395145 B TWI395145 B TW I395145B
Authority
TW
Taiwan
Prior art keywords
gesture
contour
template
image
skin color
Prior art date
Application number
TW098103294A
Other languages
English (en)
Other versions
TW201030630A (en
Inventor
Jun Mein Wu
Wen Shiou Luo
Wei Yih Ho
Chia Chen Chen
Cheng Yuan Tang
Original Assignee
Ind Tech Res Inst
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ind Tech Res Inst filed Critical Ind Tech Res Inst
Priority to TW098103294A priority Critical patent/TWI395145B/zh
Priority to US12/545,340 priority patent/US8269722B2/en
Publication of TW201030630A publication Critical patent/TW201030630A/zh
Application granted granted Critical
Publication of TWI395145B publication Critical patent/TWI395145B/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107Static hand or arm

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Description

手勢辨識系統及其方法
本發明是有關一種手勢辨識系統及其辨識方法,特別是一種利用平行化手勢模板的比對方式辨識自然手勢,並且實現無標記(marker less)以及即時辨識手勢的手勢辨識系統及其辨識方法。
手勢偵測的應用範圍極廣,但是對於無標記(marker less)的手勢偵測,尤其是採用模板比對(Template Matching)技術,必須解析出手的位置與姿態,通常是需要大量的運算效能,因此很難達到即時(real time)辨識的應用要求。
在已公開的美國專利第6,128,003號所提出的技術,是先於影像中找出移動影像物體,並假設手勢為影像中唯一的移動物體。首先他們先建立好所有角度的手勢模板,並解析出所有模板的主軸(rotational vector)。再從取得的即時影像中解析出移動物體的形態及移動物體之主軸,並與已建立好的模板中的主軸一一做比對,用此方法找出最像的模板。此外,為了加速影像物體的分辨速度,他們分析每個不同模板的主軸,並依照其特性分類成階層式架構(hierarchical structure)的資料結構,以避免每次都要將模板資料庫的資料全部比對,並藉此方式達到即時辨識的功效。
已公開的美國專利第6,256,033號強調其中的姿勢辨識(gesture recognition)方法可達到即時辨識的功效,其方法為測量動態(motion)物體,並將此動態物體取出並與先前已建立的的模板資料庫的模板資料加以比對,藉以達到姿勢辨別的效果。
上述兩件已知技術均假設影像中的移動物體即為手部位置,原因是:對模板比對的技術而言,背景的複雜度往往會影響模板比對的結果。因此他們的專利為了快速分離出背景與前景,在去除背景的干擾下可以更正確的得到手部的模板比對。在這個條件下,他們必須假設,手必須是運動物體。
除了利用模板進行比對的方法之外,還有利用顏色輔助手勢追蹤的方法,例如已公開的美國專利第6,788,809號利用顏色區塊(color segmentation)和姿勢辨識(gesture recognition)來定義影像中的物體,利用影像中物體本身對應的顏色先挑選出於影像中所對應顏色。並利用立體攝影機(stereo camera)建立影像中所有影像網格的深度並將不需要的深度值所對應的影像網格消除,藉此達到背景相減(background subtraction)的功效。再利用已建立好的手勢模板資料庫,將此資料庫與影像做比對藉以了解姿勢的訊息。在這個已知技術中使用兩個攝影機算出影像中所有網格的距離深度,並利用手部已知的距離深度挑選出手部的範圍,藉以將背景去除然後進行模板比對。這種方式必須控制欲解析的深度臨界點,當超出此臨界點,手部將被視為背景而無法解析。
在已公開的美國專利第7,050,606號中使用顏色去偵測物體例如手或者身體並配合動態追蹤(motion tracking)輔助偵測,以達到更準確且更快速的效果。此一專利技術用利用動態追蹤來輔助偵測,藉此加速對影像的運算速度。
本發明所揭示的手勢辨識系統的較佳實施例包括:一攝影裝置,用於取得可能含有手勢的影像;一處理器,可以從攝影裝置取得的影像中找出膚色部份的膚色輪廓(edge),再依據角度將膚色輪廓分類為多個不同角度的輪廓碎片(edge part);一運算引擎,運算引擎具有多個平行運算單元和一手勢資料庫,手勢資料庫中儲存有多個用以代表不同手勢的手勢模板(template),這些手勢模板依據角度被分類並且分別儲存於多個不同角度類別的手勢模板庫,分別供不同的平行運算單元運用於模板比對,前述多個不同角度的輪廓碎片分別被發送至不同的平行運算單元用以在不同角度類別的手勢模板庫中分別找出和輪廓碎片最近似的手勢模板;一最佳模板選取手段,從前述被多個平行運算單元找出的多個近似的手勢模板中再選出一個最佳的手勢模板;以及一顯示終端,用以顯示最佳的手勢模板所代表的手勢影像。本發明還提供一種手勢辨識方法。
本發明所揭示的手勢辨識方法的較佳實施例步驟包括:建立手勢資料庫,產生多個代表不同手勢的手勢模板,並且定義每一個手勢模板所代表的手勢資訊,再依據角度將這些手勢模板進行分類然後儲存於多個不同角度類別的手勢模板庫;取得影像的步驟,用以取得可能包含手勢的影像;取得膚色輪廓的步驟,從影像中找出膚色部份,並對膚色部份進行邊緣偵測,取得膚色部份的膚色輪廓;膚色輪廓的分類步驟,依據角度將膚色輪廓分類為多個不同角度的輪廓碎片;模板比對的步驟,分別在多個不同角度的手勢模板庫中找出和輪廓碎片最近似的手勢模板;在前述步驟中找出的多個近似的手勢模板中找出一最佳的手勢模板;以及顯示前述步驟找出之最佳的手勢模板所代表的手勢影像。
有關本發明的技術內容及其較實施例,茲配合圖示詳細說明如下。
「第1圖」揭示了手勢辨識系統的一種較佳實施例,包括:一攝影裝置10,可以是一般的攝影機(camera),用以取得包含手部影像的影像資料,而且可以是連續的彩色數位影像;一手勢資料庫20(template database),其中記錄了多個代表不同手勢的手勢模板(template),這些手勢模板依角度進行分類,並且分別儲存在不同角度類別的手勢模板庫201;一處理器30,與攝影裝置10通訊並取得彩色數位影像,處理器30內具有一影像處理程序,用以從彩色數位影像之中尋找膚色部份,再利用邊緣偵測技術產生膚色輪廓(edge),再依據膚色輪廓的角度把膚色輪廓分類為多個不同角度類別的輪廓碎片;一運算引擎40,具有多個平行運算單元401,這些平行運算單元401可分別調用不同角度類別的手勢模板庫201分別執行不同角度的模板比對工作,前述多個不同角度類別的輪廓碎片分別被發送至不同的平行運算單元401進行模板比對,用以在不同角度類別的手勢模板庫201中找出一個最近似的手勢模板;一最佳模板選取手段50,從前述被多個平行運算單元401找出的多個近似手勢模板中再選出一個最佳的手勢模板;以及一顯示終端60,用以顯示最佳的手勢模板所代表的手勢影像。
「第2圖」揭示了手勢辨識方法的較佳實施例步驟,包括:
A.建立手勢資料庫,對不同手勢的手部影像進行邊緣處理以取得代表不同手勢的手勢輪廓,將手勢輪廓儲存為一手勢模板並且定義每一個手勢模板所代表的手勢資訊(例如:手勢所代表的指令或意義),再依據角度對這些手勢模板進行分類然後儲存至多個不同角度類別的手勢模板庫201,具體的作法是依據手勢輪廓之中每一個輪廓像素(pixel)的角度將構成手勢輪廓的輪廓像素進行分類,將相同之角度範圍內的輪廓像素集合成為單一個手勢模板,每一個手勢模板都可以代表某一種手勢,再將不同角度的手勢模板分別儲存於不同角度類別的手勢資料庫中;
B.取得影像的步驟,用以取得可能包含手部影像的影像資料;
C.取得膚色輪廓的步驟,影像中找出膚色部份,並對膚色部份進行邊緣偵測以取得膚色部份的膚色輪廓(edge);
D.膚色輪廓的分類步驟,利用影像處理技術將前述找到的膚色輪廓依角度分類為多個不同角度類別的輪廓碎片;
E.模板比對的步驟,將多個不同角度類別的輪廓碎片與多個不同角度類別的手勢模板庫201中的手勢模板進行比對,在不同角度類別的手勢模板庫201中分別找出和輪廓碎片最近似的手勢模板;
F.在前述步驟中找出的多個不同角度的近似的手勢模板中找出一最佳的手勢模板;以及
G.顯示前述步驟找出之最佳的手勢模板所代表的手勢影像。
其中包含手勢影像的影像資料可以是彩色影像。
其中手勢模板庫201的建立方法,基本上是先取得不同手勢的手部影像(可以藉由攝影術或是建立電腦3D模型的方式產生),再對不同手勢的手部影像進行邊緣偵測(edge detiction),取得代表不同手勢的手勢輪廓,依據手勢輪廓之中每一個輪廓像素(edge pixel)的角度將構成手勢輪廓的輪廓像素進行分類,將相同之角度範圍內的輪廓像素集合成為一手勢模板21(見「第3圖」),每一個手勢模板21都代表某一種手勢,再將不同角度的手勢模板21分別儲存於不同角度類別的手勢模板庫201中,以便在進行模板比對時,可以和不同角度類別的輪廓碎片(edge part)進行比對;因此,單一種手勢的手勢輪廓可能會產生多個不同角度的手勢模板21而被儲存於不同角度類別的手勢模板庫201之中。
如「第3圖」揭示了本發明之手勢辨識系統的一種具體實施例,其中的處理器30可以是一部個人電腦(personal computer,PC),而運算引擎40主要是用來執行繁重的模板比對工作,其中的平行運算單元401的較佳實施例是選用多核心處理器(multi-core processor),換言之,這種運算引擎40可以是由一個或多個多核心處理器所組成的平行運算架構,這裡所稱的多核心處理器可以使用伺服器以提供優異的運算處理效能;如「第3圖」所示本發明的一種較佳實施例中,運算引擎40採用了8個多核心處理器分別負責不同角度的模板比對工作,基本上這8個多核心處理器被分配了不同角度類別的手勢模板庫201,用以和不同角度類別的輪廓碎片進行模板比對。最佳模板選取手段50,可以是另一部電腦或是多核心處理器,用以在前述被多個平行運算單元401找出的多個近似手勢模板中再選出一個最佳的手勢模板,為了達到即時辨識的功效,這個最佳模板選取手段50仍然是採用多核心處理器為佳,在「第3圖」的較佳實施例中,本發明使用了9部伺服器,其中8部伺服器構成平行運算單元401分別負責不同角度的模板比對工作,另一部伺服器則是作為最佳模板選取手段50,負責整合收集8部伺服器傳回的模板比對結果,再從這些比對結果中找出一個最佳的手勢模板,然後再將這個最佳的手勢模板傳送至顯示終端60,顯示終端60可以是一部具有繪圖能力或是影像處理能力的電腦,主要的功能就是顯示最佳的手勢模板所代表的手勢影像。前述的處理器30和攝影裝置10間可以利用i1394介面和傳輸線來傳送資料,至於多部電腦或是伺服器之間的資料傳遞較佳的通訊方式是透過區域網路(local area network)來實現,其中的處理器30是透過使用者資料元協定廣播(User Datagram Protocol broadcast,UDP broadcast)的方式將輪廓碎片同時向多部多核心處理器發送,多核心處理器只對其中符合預先分配之角度範圍的輪廓碎片進行模板比對工作,利用UDP broadcast的方式傳送輪廓碎片至多部多核心處理器可以在有限的頻寬中達到高效率的資料傳輸效果;而運算引擎40中的多部多核心處理器和最佳模板選取手段50(另一部多核心處理器)之間的通訊方式,以及最佳模板選取手段50和顯示終端60之間的通訊方式,則是透過傳輸控制/網際網路(TCP/IP)通訊協定進行資料的傳遞。
「第3圖」所揭示的手勢辨識系統的實施例,是由多部電腦或伺服器以及通訊網路實現的一種實施例,除此之外當然也可以藉由專用的裝置例如高運算能力的遊戲主機結合小型的攝影裝置加以實現,這些變化就熟悉此項技術領域具有通常知識者在瞭解本發明的技術手段之後,將可以理解並加以實現。
前述處理器30內建有膚色處理程序及邊緣偵測(edge detection)程序,利用膚色處理程序去除彩色數位影像所包含的背景雜訊,便於找出可能被包含在彩色數位影像中的手部影像,首先從彩色數位影像中濾出膚色部分(見「第4圖(a)」),再將膚色部份轉成灰階影像(例如8灰階度),(見「第4圖(b)」),再找出膚色部份的膚色輪廓(見「第4圖(c)」)(edge),並且依據角度將膚色輪廓分類為多個不同角度的輪廓碎片70a(見「第4圖(d)」);一般而言對於一個二值化處理後的影像,要尋找這種影像的輪廓最常見的方法就是使用邊緣偵測器(edge detector,例如:Sobel Filter);攝影裝置10所取得的彩色數位影像基本上可以是一種RGB影像,首先經由膚色處理程序過濾出RGB影像中的膚色資訊用以找出膚色區域,再利用邊緣偵測程序找出膚色區域的膚色輪廓(見「第4圖(c)」);為了加快模板的比對速度,本發明還利用處理器30進一步將膚色輪廓分類為多個不同方同的輪廓碎片70a,具體而言就是從構成膚色輪廓的輪廓像素(edge pixel)中找出位在相同之角度範圍內的輪廓像素集合然後儲存成為一輪廓碎片70a(edge part),再依據輪廓碎片70a中所包含的輪廓像素(edge pixel)的角度分類為多個不同角度類別的輪廓碎片70a,這些被分類之後的輪廓碎片如70a(見「第4圖(d)」)所示,每一個角度範圍內的輪廓碎片70a基本上是就是完整的膚色輪廓的一部份,本發明的較佳實施例是將膚色輪廓分類為8個角度範圍的輪廓碎片,這8個不同角度範圍就是等分360度圓角的8個角度範圍,分別為[1°~45°]、[46°~90°]、[91°~135°]、[136°~180°]、[181°~225°]、[226°~270°]、[271°~315°]、[316°~360°],利用邊緣偵測器(edge detector,例如:Sobel Filter)計算膚色輪廓的輪廓像素(edge pixel)在水平和垂直方向的梯度(Gradient)進而取得角度,再依據角度將輪廓像素分類為8個不同角度的輪廓碎片,至此完成的輪廓碎片基本上已為一種由多個輪廓像素所組成的點陣影像,僅以”1”及”0”表示,”1”表示亮點”0”則表示這個位置的點沒有出現膚色輪廓(edge)。
前述膚色處理和邊緣偵測的完整步驟如「第5圖」所示,包括:
1.進行膚色處理,找出彩色數位影像中的膚色部份;
2.將找出的膚色部份轉成灰階影像;
3.進行邊緣偵測找出膚色部份的膚色輪廓;
4.將膚色輪廓依角度分類為多個不同角度的輪廓碎片70a。
在進行模板比對時,本發明的較佳實施例是採用距離轉換(distance transform,DT)技術來比對手勢模板21和輪廓碎片70a的近似程度,用以在不同角度的手勢模板21中找出和輪廓碎片70a最近似的手勢模板21;前述的平行運算單元401在收到來自處理器30的輪廓碎片70a之後,會依據其中輪廓像素的位置座標進行DT運算產生一DT影像,DT影像為一灰階影像(見「第6圖」),DT影像中每一個像素的強度並非表示亮度值,而是表示DT影像中的每一個像素與輪廓像素之間的距離,依據本發明的方法,在DT影像中以”0”表示輪廓碎片70a中的輪廓像素的所在位置,DT影像中其餘各點的數值則是表示與輪廓像素的距離,距離輪廓像素最近的點以”1”表示,次近者以”2”表示,以此類推,如「第7圖」左側所示為原本輪廓碎片70a中各點的值,其中”1”表示輪廓像素所在的位置,沒有輪廓像素的位置以”0”表示,「第7圖」右側則是DT運算之後的結果,其中的值”0”表示原本輪廓碎片70a中的輪廓像素的所在位置,其餘的數值表示DT影像中的每一個點與輪廓像素的距離。
在進行模板比對時,每一個平行運算單元401負責一個角度範圍之輪廓碎片70a和手勢模板21的比對,例如第一個平行運算單元401負責[1°~45°]範圍內的輪廓碎片70a和手勢模板21的比對,第二個平行運算單元401負責[46°~90°]範圍內的輪廓碎片70a和手勢模板21的比對,以此類推;比對的方法是先對輪廓碎片70a進行DT運算產生一DT影像,再利用手勢模板21從DT影像中的左上角開始搜尋至DT影像的右下角為止,搜尋的方法是在每一個搜尋位置將手勢模板21和DT影像作摺積(Convolution)運算,就可以得到一個代表手勢模板21與DT影像近似程度的近似值,再以此方法將每一個手勢模板21和DT影像比對,找出近似值最小的手勢模板21,再將最小的近似值及相應的手勢模板21發送給前述的最佳模板選取手段50。由於這個比對工作非常耗時與繁重,本發明可利用多個多核心處理器所組成的平行運算架構來進行模板的比對,將不同角度範圍的手勢模板庫201分配給不同的多核心處理器,因此可以提高模板比對的速度,而且具有即時辨識手勢的功效。
本發明所提出的較佳實施例中還包括一個提高模板比對速度的方法,手勢模板21在DT影像中的移動過程並不是每次都移動一個網格點,本發明先將手勢模板21在DT影像中的數個預設的等分位置進行搜尋,先找出一個最可能有手部會出現的範圍,再對此範圍作精細的模板比對,進而提昇模板比對的速度;如「第8圖」所示的一個較佳實施例中,手勢模板21的尺寸為96*96(pixels),輪廓碎片70a的尺寸為800*600(pixels),本發明將每次搜尋的網格G的尺寸設為16*16(pixels),並在輪廓碎片70a的等分位置總共設置16個網格G(見「第9圖」),為了提高模板比對的速度,本發明的先在輪廓碎片70a中的16個網格的位置找出最可能有手部出現的範圍,而較佳的實施例之一則是以每個網格G中膚色像素的出現數目作為判斷是否最可能有手部出現的條件,若是膚色像素出現的數目大於一門檻值(例如50個像素),再對這個網格G的所在位置附近進行精細的模板比對。
而另一個提高模板比對速度的方法是將手勢模板21以一個預設的偏移量在DT影像中移動以進行模板比對,例如將手勢模板21每次偏移的像素數目設為5個像素,如「第10圖」所示,手勢模板21的原點在DT影像中進行比對的位置(假設為P0)和下一個進行比對的位置(假設為P1)之間相差了5個像素,所以可以減少手勢模板21在DT影像中的比對次數,以提高比對的速度,當然這個偏移量不能大於手勢模板21的尺寸,以免產生遺漏比對的問題,進而影像比對的準確率。
如「第3圖」所示,以cell blade這種內含特殊的多核心處理器cell processor的伺服器為例,其中包含了一個處理核心(Power Processor Element,PPE)、16個協同處理器(Synergistic Processor Elements,SPE),進行模板比對時處理核心PPE會先啟動,並且將已分配到的某一角度範圍的手勢模板庫201再重新分配給所需的協同處理器SPE,然後處理核心PPE會將收到的輪廓碎片70a分配給協同處理器SPE進行DT運算產生DT影像,並且由協同處理器SPE進行模板比對,在每一個協同處理器SPE都完成比對之後,會將比對結果傳回處理核心PPE,再由處理核心PPE整合每個協同處理器SPE傳回的比對結果再從中找出最佳結果(即摺積運算的最小值)的手勢模板21及其相關的資訊,而這個手勢模板21就是在這個角度範圍中和輪廓碎片70a最近似的手勢模板21。
當每一個多核心處理器都將比對結果所找出的最近似的手勢模板21及其相關資訊發送至最佳模板選取手段50,這個最佳模板選取手段50就會再從多個最近似的手勢模板21中找出一個最佳的手勢模板21,同理這個最佳的手勢模板21就是多個最近似的手勢模板21中摺積運算值最小者。
本發明的較佳實施例提供一種無標記(marker less)以及能夠即時辨識手勢的手勢辨識系統。
本發明所揭露的手勢辨識方法中,還包括了提高模板比對速度的手段,先在輪廓碎片中數個預設的等分位置尋找最可能存在手部的範圍,再對此範圍作精細的模板比對,就可以達到提高模板比對速度的功效。
依據本發明所揭露的技術方案可以獲致的功效包括:攝影裝置取得的彩色數位影像,先由影像處理器的影像處理程序進行膚色處理,可以去除非手部的影像並降低背景的干擾,也不需要利用動態偵測來尋找可能的手部影像。
本發明實施例的手勢辨識方法中,會先將手勢資料庫中的手勢模板依角度進行分類,也對彩色數位影像中的膚色輪廓依角度分類為多個不同角度的輪廓碎片,再將輪廓碎片交由多個平行運算單元分別負責不同角度範圍的模板比對,可以提高模板比對的速度,而具有即時辨識手勢的功效。
本發明實施例不需要假設運動物為手,並且不論手部在影像中是運動或靜止的狀態,均可以在即時的情況下正確的解析出手勢。
雖然本發明的技術特徵及較佳實施例已揭露如上,然其並非用以限定本發明,任何熟習相像技藝者,在不脫離本發明之精神和範圍內,當可作些許之更動與潤飾,因此本發明之專利保護範圍須視本說明書所附之申請專利範圍所界定者為準。
10...攝影裝置
20...手勢資料庫(template database)
201...不同角度類別的手勢模板庫
21...手勢模板
30...處理器
40...運算引擎
401...平行運算單元
50...最佳模板選取手段
60...顯示終端
70a...輪廓碎片
G...網格
PPE...處理核心(Power Processor Element)
SPE...協同處理器(Synergistic Processor Elements)
第1圖顯示本發明之手勢辨識系統的一種較佳實施例。
第2圖顯示本發明之手勢辨識方法的一種較佳實施例步驟。
第3圖顯示本發明之手勢辨識系統的另一種較佳實施例。
第4圖顯示本發明之影像處理程序中產生輪廓碎片的圖形範例。
第5圖顯示本發明之影像處理程序中產生輪廓碎片的一種較佳實施例步驟。
第6圖顯示了輪廓碎片經過DT運算之後生成DT影像的圖形範例。
第7圖顯示了輪廓碎片和經過DT運算之後生成DT影像的數值。
第8圖顯示了利用手勢模板在DT影像中進行模板比對的較佳實施例之一。
第9圖顯示了在DT影像中進行快速模板比對的一種較佳實施例。
第10圖顯示了在DT影像中進行快速模板比對的另一種較佳實施例。
10...攝影裝置
20...手勢資料庫(template database)
201...手勢模板庫(不同角度類別的手勢模板庫)
30...處理器
40...運算引擎
401...平行運算單元
50...最佳模板選取手段
60...顯示終端

Claims (26)

  1. 一種手勢辨識系統,包括:一攝影裝置,用以取得包含手部影像的一影像資料;一手勢資料庫,其中記錄了多個代表不同手勢的手勢模板,該些手勢模板依角度進行分類,並且分別儲存在不同角度類別的一手勢模板庫;一處理器,與該攝影裝置通訊並取得該影像資料,再從該影像資料之中尋找膚色部份,再利用一邊緣偵測手段產生一膚色輪廓,再依據該膚色輪廓的角度把該膚色輪廓分類為多個不同角度類別的輪廓碎片;一運算引擎,具有多個平行運算單元,該些平行運算單元分別執行不同角度的模板比對工作,多個不同角度類別的該輪廓碎片分別被發送至不同的該平行運算單元進行模板比對,用以在不同角度類別的該手勢模板庫中找出一個最近似該輪廓碎片的該手勢模板;一最佳模板選取手段,從被多個該平行運算單元找出的多個該近似手勢模板中再選出一個最佳的手勢模板;以及一顯示終端,用以顯示最佳的該手勢模板所代表的一手勢影像。
  2. 如請求項1所述的手勢辨識系統,其中該影像資料為一彩色影像。
  3. 如請求項1所述的手勢辨識系統,其中該手勢模板記錄了某一手勢的該手勢輪廓。
  4. 如請求項3所述的手勢辨識系統,其中係依據該手勢輪廓之中每一個輪廓像素的角度進行分類,將相同之角度範圍內的該輪廓像素集合成為該手勢模板,再將不同角度的該手勢模板分別儲存於不同角度類別的該手勢資料庫。
  5. 如請求項1所述的手勢辨識系統,其中係利用膚色處理方法從該影像中濾出膚色部分,再將膚色部份轉成一灰階影像,然後利用邊緣偵測器(Edge Detector)找出該膚色部份的該膚色輪廓。
  6. 如請求項5所述的手勢辨識系統,其中邊緣偵測器為Sobel Filter。
  7. 如請求項1所述的手勢辨識系統,其中係從構成該膚色輪廓的該輪廓像素中找出位在相同之角度範圍內的該輪廓像素集合,然後儲存成為該輪廓碎片,再依據該輪廓碎片中所包含的該輪廓像素的角度分類為多個不同角度類別的該輪廓碎片。
  8. 如請求項7所述的手勢辨識系統,其中係利用邊緣偵測器(Edge Detector)計算該膚色輪廓的該輪廓像素在水平和垂直方向的梯度(Gradient)進而取得該角度,再依據該角度將該輪廓像素分類為多個不同角度的該輪廓碎片。
  9. 如請求項1所述的手勢辨識系統,其中該膚色輪廓被分類為等分360度圓角的8個角度範圍。
  10. 如請求項1所述的手勢辨識系統,其中該處理器可以是一部個人電腦(personal computer,PC);該運算引擎的該些平行運算單元是一種多核心處理器(multi-core processor);該最佳模板選取手段,可以是一部電腦;該顯示終端可以是一部具有繪圖能力的電腦,用以顯示手勢模板所代表的手勢影像;其中該處理器是透過使用者資料元協定廣播(User Datagram Protocol broadcast,UDP broadcast)的方式將該輪廓碎片同時向該多個多核心處理器發送,該多核心處理器只對其中符合預先分配之角度範圍的該輪廓碎片進行模板比對;該運算引擎中的多個該多核心處理器和該最佳模板選取手段之間的通訊方式,以及該最佳模板選取手段和該顯示終端之間的通訊方式,係透過傳輸控制/網際網路(TCP/IP)通訊協定進行資料的傳遞。
  11. 如請求項1所述的手勢辨識系統,其中該模板比對係利用一距離轉換(distance transform,DT)技術來比對該手勢模板和該輪廓碎片的近似程度。
  12. 如請求項11所述的手勢辨識系統,其中該距離轉換技術係對該輪廓碎片進行DT運算產生一DT影像,再利用該手勢模板對該DT影像中的每一個位置進行搜尋,在每一個該搜尋位置將該手勢模板和該DT影像作摺積(Convolution)運算以產生一代表該手勢模板與該DT影像近似程度的近似值,找出該近似值最小的該手勢模板,再將近似值最小的該手勢模板發送給前述的最佳模板選取手段。
  13. 如請求項1所述的手勢辨識系統,其中該模板比對係利用該手勢模板在該輪廓碎片中的數個預設的等分位置進行搜尋,先找出一個最可能有手部會出現的範圍,再對該範圍作精細的模板比對。
  14. 如請求項13所述的手勢辨識系統,其中該最可能有手部出現的範圍係指該膚色像素出現的數目大於一門檻值者。
  15. 一種手勢辨識方法,包括:A.建立一手勢資料庫,將代表不同手勢的手勢輪廓儲存為一手勢模板,再依據角度對多個手勢模板進行分類然後儲存至多個不同角度類別的手勢模板庫;B.取得一可能包含手部影像的影像資料;C.從該影像中找出一膚色部份,並對該膚色部份進行邊緣偵測以取得該膚色部份的一膚色輪廓;D.依角度將該膚色輪廓分類為多個不同角度類別的輪廓碎片;E.將多個不同角度類別的該輪廓碎片與多個不同角度類別的該手勢模板庫中的該手勢模板進行比對,在不同角度類別的該手勢模板庫中分別找出和該輪廓碎片最近似的該手勢模板;F.在前述步驟中找出的多個不同角度的近似的該手勢模板中找出一最佳的手勢模板;以及G.顯示前述步驟找出之最佳的該手勢模板所代表的一手勢影像。
  16. 如請求項15所述的手勢辨識方法,其中該影像資料為一彩色影像。
  17. 如請求項15所述的手勢辨識方法,其中建立該手勢資料庫的步驟,係依據該手勢輪廓之中每一個輪廓像素的角度將構成該手勢輪廓的該輪廓像素進行分類,將相同之角度範圍內的該輪廓像素集合成該手勢模板,再將不同角度的該手勢模板分別儲存於不同角度類別的該手勢資料庫。
  18. 如請求項15所述的手勢辨識方法,其中係利用膚色處理方法從該彩色數位影像中濾出一膚色部分,再將該膚色部份轉成一灰階影像,然後利用邊緣偵測濾波器(Sobel Filter)找出該膚色部份的該膚色輪廓。
  19. 如請求項18所述的手勢辨識方法,其中係從構成該膚色輪廓的該輪廓像素中找出位在相同之角度範圍內的該輪廓像素集合,然後儲存成為該輪廓碎片,再依據該輪廓碎片中所包含的該輪廓像素的角度分類為多個不同角度類別的該輪廓碎片。
  20. 如請求項19所述的手勢辨識方法,其中係利用一邊緣偵測器(Edge Detector)計算該膚色輪廓的該輪廓像素在水平和垂直方向的梯度(Gradient)進而取得該角度,再依據該角度將該輪廓像素分類為多個不同角度的該輪廓碎片。
  21. 如請求項20所述的手勢辨識方法,其中該邊緣偵測器為Sobel Filter。
  22. 如請求項15所述的手勢辨識方法,其中該膚色輪廓被分類為等分360度圓角的8個角度範圍。
  23. 如請求項15所述的手勢辨識方法,其中係利用一距離轉換(distance transform,DT)技術來比對該手勢模板和該輪廓碎片的近似程度。
  24. 如請求項23所述的手勢辨識方法,其中該距離轉換技術係對該輪廓碎片進行DT運算產生一DT影像,再利用該手勢模板對該DT影像中的每一個位置進行搜尋,在每一個該搜尋位置將該手勢模板和該DT影像作摺積(Convolution)運算以產生一代表該手勢模板與該DT影像近似程度的近似值,找出該近似值最小的該手勢模板,再將近似值最小的該手勢模板發送給前述的最佳模板選取手段。
  25. 如請求項15所述的手勢辨識方法,其中係利用該手勢模板在該輪廓碎片中的數個預設的等分位置進行搜尋,先找出一個最可能有手部會出現的範圍,再對該範圍作精細的模板比對。
  26. 如請求項25所述的手勢辨識方法,其中該最可能有手部出現的範圍係指該膚色像素出現的數目大於一門檻值者。
TW098103294A 2009-02-02 2009-02-02 手勢辨識系統及其方法 TWI395145B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW098103294A TWI395145B (zh) 2009-02-02 2009-02-02 手勢辨識系統及其方法
US12/545,340 US8269722B2 (en) 2009-02-02 2009-08-21 Gesture recognition system and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW098103294A TWI395145B (zh) 2009-02-02 2009-02-02 手勢辨識系統及其方法

Publications (2)

Publication Number Publication Date
TW201030630A TW201030630A (en) 2010-08-16
TWI395145B true TWI395145B (zh) 2013-05-01

Family

ID=42397268

Family Applications (1)

Application Number Title Priority Date Filing Date
TW098103294A TWI395145B (zh) 2009-02-02 2009-02-02 手勢辨識系統及其方法

Country Status (2)

Country Link
US (1) US8269722B2 (zh)
TW (1) TWI395145B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9400924B2 (en) 2014-05-23 2016-07-26 Industrial Technology Research Institute Object recognition method and object recognition apparatus using the same

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI395145B (zh) * 2009-02-02 2013-05-01 Ind Tech Res Inst 手勢辨識系統及其方法
US8861797B2 (en) * 2010-11-12 2014-10-14 At&T Intellectual Property I, L.P. Calibrating vision systems
TWI412729B (zh) * 2010-12-16 2013-10-21 Chunghwa Telecom Co Ltd Method and system of real navigation display
EP2697743A4 (en) * 2011-04-11 2014-09-24 Intel Corp GESTURE DETECTION USING DEPTH PICTURES
KR101227569B1 (ko) 2011-05-26 2013-01-29 한국과학기술연구원 골프 스윙 분석을 위한 신체 부위별 위치 추적 장치 및 방법
US8769409B2 (en) * 2011-05-27 2014-07-01 Cyberlink Corp. Systems and methods for improving object detection
TWI464642B (zh) * 2012-04-27 2014-12-11 Orise Technology Co Ltd 內嵌式多點觸控液晶顯示面板系統
US9128528B2 (en) * 2012-06-22 2015-09-08 Cisco Technology, Inc. Image-based real-time gesture recognition
TWI471782B (zh) * 2012-11-14 2015-02-01 Orise Technology Co Ltd 內嵌式多點觸控液晶顯示面板系統
TWI499879B (zh) 2012-12-21 2015-09-11 Ind Tech Res Inst 工序分析監控系統及其方法
TWI454968B (zh) 2012-12-24 2014-10-01 Ind Tech Res Inst 三維互動裝置及其操控方法
CN103902026A (zh) * 2012-12-25 2014-07-02 鸿富锦精密工业(武汉)有限公司 显示屏幕自动调节***及方法
CN103150558B (zh) * 2013-02-26 2016-04-20 北京航空航天大学 一种基于机器视觉的显示终端操作响应匹配检测方法
CN103150557B (zh) * 2013-02-26 2015-10-28 北京航空航天大学 一种基于机器视觉的显示终端操作响应匹配检测装置
US9129398B2 (en) 2013-03-15 2015-09-08 Qualcomm Incorporated Edgel sampling for edge-based tracking
US9349189B2 (en) * 2013-07-01 2016-05-24 Here Global B.V. Occlusion resistant image template matching using distance transform
US9405375B2 (en) 2013-09-13 2016-08-02 Qualcomm Incorporated Translation and scale invariant features for gesture recognition
US9582737B2 (en) * 2013-09-13 2017-02-28 Qualcomm Incorporated Context-sensitive gesture classification
US9622322B2 (en) 2013-12-23 2017-04-11 Sharp Laboratories Of America, Inc. Task light based system and gesture control
KR102285915B1 (ko) * 2014-01-05 2021-08-03 마노모션 에이비 모바일 디바이스를 위한 실시간 3d 제스처 인식 및 트랙킹 시스템
CN105095849B (zh) * 2014-05-23 2019-05-10 财团法人工业技术研究院 对象识别方法与装置
CN105538307B (zh) * 2014-11-04 2018-08-07 宁波弘讯科技股份有限公司 控制装置、***及方法
JP2017162391A (ja) * 2016-03-11 2017-09-14 東芝メモリ株式会社 画像処理方法及び画像処理プログラム
CN106020227B (zh) * 2016-08-12 2019-02-26 北京奇虎科技有限公司 无人机的控制方法、装置
CN108205646A (zh) * 2016-12-19 2018-06-26 北京数码视讯科技股份有限公司 一种手部姿态检测方法及装置
CN106980371B (zh) * 2017-03-24 2019-11-05 电子科技大学 一种基于临近异构分布式结构的移动增强现实交互方法
US10255525B1 (en) * 2017-04-25 2019-04-09 Uber Technologies, Inc. FPGA device for image classification
CN107220634B (zh) * 2017-06-20 2019-02-15 西安科技大学 基于改进d-p算法与多模板匹配的手势识别方法
CN107316022B (zh) * 2017-06-27 2020-12-01 歌尔光学科技有限公司 动态手势识别方法和装置
CN107339923B (zh) * 2017-08-18 2024-01-19 余阳 测量尺及测量方法
CN107678551B (zh) * 2017-10-19 2021-12-28 京东方科技集团股份有限公司 手势识别方法和装置、电子设备
WO2019157344A1 (en) 2018-02-12 2019-08-15 Avodah Labs, Inc. Real-time gesture recognition method and apparatus
US10346198B1 (en) * 2018-02-12 2019-07-09 Avodah Labs, Inc. Data processing architecture for improved data flow
US10489639B2 (en) 2018-02-12 2019-11-26 Avodah Labs, Inc. Automated sign language translation and communication using multiple input and output modalities
US10304208B1 (en) 2018-02-12 2019-05-28 Avodah Labs, Inc. Automated gesture identification using neural networks
US10289903B1 (en) 2018-02-12 2019-05-14 Avodah Labs, Inc. Visual sign language translation training device and method
CN108961287B (zh) * 2018-07-03 2021-09-28 百度在线网络技术(北京)有限公司 智能货架触发方法、智能货架***、存储介质及电子设备
USD912139S1 (en) 2019-01-28 2021-03-02 Avodah, Inc. Integrated dual display sensor
CN113553886A (zh) * 2020-04-26 2021-10-26 富士通株式会社 用于监视洗手过程的装置、方法以及存储介质
CN111626168B (zh) * 2020-05-20 2022-12-02 中移雄安信息通信科技有限公司 手势识别方法、装置、设备和介质
TWI800249B (zh) * 2022-02-08 2023-04-21 開酷科技股份有限公司 自定義手勢的方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5454043A (en) * 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
US20030185445A1 (en) * 2002-03-29 2003-10-02 Industrial Technology Research Institute Method for extracting and matching gesture features of image
TW200740214A (en) * 2005-09-30 2007-10-16 Koninkl Philips Electronics Nv Face annotation in streaming video
US20080037875A1 (en) * 2006-08-14 2008-02-14 Hye Jin Kim Method and apparatus for shoulder-line detection and gesture spotting detection

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6115053A (en) * 1994-08-02 2000-09-05 New York University Computer animation method and system for synthesizing human-like gestures and actions
US5594469A (en) * 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
EP0849697B1 (en) 1996-12-20 2003-02-12 Hitachi Europe Limited A hand gesture recognition system and method
US6072494A (en) 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
US7050606B2 (en) 1999-08-10 2006-05-23 Cybernet Systems Corporation Tracking and gesture recognition system particularly suited to vehicular control applications
US6788809B1 (en) 2000-06-30 2004-09-07 Intel Corporation System and method for gesture recognition in three dimensions using stereo imaging and color vision
US7126991B1 (en) 2003-02-03 2006-10-24 Tibet MIMAR Method for programmable motion estimation in a SIMD processor
TWI395145B (zh) * 2009-02-02 2013-05-01 Ind Tech Res Inst 手勢辨識系統及其方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5454043A (en) * 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
US20030185445A1 (en) * 2002-03-29 2003-10-02 Industrial Technology Research Institute Method for extracting and matching gesture features of image
US7068843B2 (en) * 2002-03-29 2006-06-27 Industrial Technology Research Institute Method for extracting and matching gesture features of image
TW200740214A (en) * 2005-09-30 2007-10-16 Koninkl Philips Electronics Nv Face annotation in streaming video
US20080037875A1 (en) * 2006-08-14 2008-02-14 Hye Jin Kim Method and apparatus for shoulder-line detection and gesture spotting detection

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9400924B2 (en) 2014-05-23 2016-07-26 Industrial Technology Research Institute Object recognition method and object recognition apparatus using the same

Also Published As

Publication number Publication date
US20100194679A1 (en) 2010-08-05
TW201030630A (en) 2010-08-16
US8269722B2 (en) 2012-09-18

Similar Documents

Publication Publication Date Title
TWI395145B (zh) 手勢辨識系統及其方法
US11120254B2 (en) Methods and apparatuses for determining hand three-dimensional data
EP1969559B1 (en) Contour finding in segmentation of video sequences
US10373380B2 (en) 3-dimensional scene analysis for augmented reality operations
CN110675487B (zh) 基于多角度二维人脸的三维人脸建模、识别方法及装置
EP1969562B1 (en) Edge-guided morphological closing in segmentation of video sequences
EP1969560B1 (en) Edge-controlled morphological closing in segmentation of video sequences
US20170308736A1 (en) Three dimensional object recognition
CN106981077B (zh) 基于dce和lss的红外图像和可见光图像配准方法
US9639943B1 (en) Scanning of a handheld object for 3-dimensional reconstruction
JP4597391B2 (ja) 顔領域検出装置およびその方法並びにコンピュータ読み取り可能な記録媒体
EP1969561A1 (en) Segmentation of video sequences
Ückermann et al. Realtime 3D segmentation for human-robot interaction
JP2002342756A (ja) デジタル画像において目と口の位置を検出する方法
CN111652085A (zh) 基于2d与3d特征结合的物体识别方法
CN110751097B (zh) 一种半监督的三维点云手势关键点检测方法
JP6932402B2 (ja) スマートホームシーン向けのマルチジェスチャー精分割方法
EP3035242B1 (en) Method and electronic device for object tracking in a light-field capture
Anbarjafari et al. 3D face reconstruction with region based best fit blending using mobile phone for virtual reality based social media
CN109919128B (zh) 控制指令的获取方法、装置及电子设备
CN113436251B (zh) 一种基于改进的yolo6d算法的位姿估计***及方法
JP5051671B2 (ja) 情報処理装置、情報処理方法およびプログラム
CN110580451A (zh) 一种基于三维优化子曲面的人脸识别方法及***
CN106125941B (zh) 多设备切换控制装置及多设备控制***
Jonietz et al. Touchless fingerprint capturing from rgb-d images in mobile devices