TWI515605B - 手勢辨識與控制方法及其裝置 - Google Patents
手勢辨識與控制方法及其裝置 Download PDFInfo
- Publication number
- TWI515605B TWI515605B TW102103364A TW102103364A TWI515605B TW I515605 B TWI515605 B TW I515605B TW 102103364 A TW102103364 A TW 102103364A TW 102103364 A TW102103364 A TW 102103364A TW I515605 B TWI515605 B TW I515605B
- Authority
- TW
- Taiwan
- Prior art keywords
- skeleton
- control signal
- image
- gesture recognition
- intersection
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
- G06V40/113—Recognition of static hand signs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Description
本發明是有關於一種辨識與控制方法及其裝置,且特別是有關於一種手勢辨識與控制方法及其裝置。
傳統的人機互動介面為滑鼠、鍵盤和搖桿,隨著科技發展日新月異,為了使人機互動可以更加便利,於是有了觸控、聲控等技術的出現。為了使人機互動可以更加人性化,體感控制提供了一種全新的輸入方式,其中之一為手勢辨識,由於手勢是人與人在日常生活中常用的溝通方式之一,是一種相當直覺且方便的示意方式。手勢辨識應用於人機介面設計、醫療復健、虛擬實境、數位藝術創作與遊戲設計等領域近來漸漸受到消費者的矚目。
辨識手勢的資訊主要有兩種:一是動態手勢,另一則是靜態手勢。動態手勢資訊包括手部移動軌跡、位置資訊與時序關係,靜態手勢資訊則主要為手形變化,藉由分析手勢資訊並根據不同的手勢,來達到人機互動的功能。手勢辨識的方法之一為利用深度攝影機來取得具有深度資訊的影像,每張影像必須做前置處理,如影像二值化和清除影像背景、消除雜訊等等,再從一連串影像中擷取並分析出使用者手部位置及手勢等相關訊息。再利用手部位置的影像座標數值來控制顯示器之游標的移動。由於前置處理需花費較長時間,使得移動游標的速度與精確度難以與滑
鼠相較。因此,對於強調即時人機互動的手勢控制介面來說實為待加強的一環。
有鑑於此,本發明提供一種手勢辨識與控制方法及手勢辨識與控制裝置,藉由分析手部骨架資訊而可直接輸出控制訊號至多媒體影音裝置,減少使用者利用手勢控制游標的步驟。
本發明提出一種手勢辨識與控制方法,包括下列步驟。先擷取具有深度資訊的待處理影像,此待處理影像包括人形影像。分析人形影像,以獲得具有第一骨架與第二骨架的手部骨架資訊。判斷第一骨架與第二骨架是否具有交點。若是,則繼續判斷第一骨架與第二骨架所形成的夾角是否在第一預設角度範圍內。當夾角在第一預設角度範圍內,則據以輸出控制訊號。
在本發明之一實施例中,上述之手勢辨識與控制方法更包括依據交點在第一骨架中的位置來計算第一比例值,並依據交點在第二骨架中的位置來計算第二比例值。當第一比例值與第二比例值的至少其中之一小於第一臨界值,則輸出用以表示暫停功能的暫停控制訊號。當第一比例值與第二比例值皆屬於預設比例區間之內,則輸出用以表示停止功能的停止控制訊號。
在本發明之一實施例中,其中當第一骨架與第二骨架不具有交點,則上述之手勢辨識與控制方法更包括判斷第
一骨架與第二骨架之延伸線上是否具有延伸交點。若是,則判斷延伸交點的夾角是否在第二預設角度範圍內。當延伸交點的夾角在第二預設角度範圍內,則據以輸出另一控制訊號。
在本發明之一實施例中,上述之手勢辨識與控制方法更包括計算第一骨架與第二骨架之中點連線長度。並依據此中點連線長度的變化,據以產生對應的另一控制訊號。
在本發明之一實施例中,上述之依據中點連線長度的變化,據以輸出對應的另一控制訊號的步驟包括當中點連線長度增加時,輸出用以表示提高音量功能的第一音量控制訊號;當中點連線長度縮小時,輸出用以表示降低音量功能的第二音量控制訊號。
本發明另提出一種手勢辨識與控制方法,包括下列步驟。先擷取具有深度資訊的待處理影像。接著採用斑點偵測(Blob detection)法分析此待處理影像,據以判斷待處理影像的連通域個數。當連通域個數為二個,則分析待處理影像之第一連通域之第一重心位置與第二連通域之第二重心位置。並且依據第一與第二重心位置之間的重心連線長度的變化,據以輸出對應的控制訊號。
本發明又提出一種手勢辨識與控制裝置,其包括影像擷取單元、儲存單元以及處理單元。其中,影像擷取單元用以擷取具有深度資訊的待處理影像,此待處理影像包括人形影像。儲存單元用以儲存待處理影像以及電腦可讀寫軟體。處理單元用以執行電腦可讀寫軟體的複數個指令,
其中此些指令包括:分析人形影像,以獲得具有第一骨架與第二骨架的手部骨架資訊。判斷第一骨架與第二骨架是否具有交點。若是,判斷第一骨架與第二骨架所形成的夾角是否在第一預設角度範圍內。當夾角在第一預設角度範圍內,則據以輸出控制訊號。
基於上述,本發明所提供之手勢辨識與控制方法及其裝置直接藉由分析手部骨架資訊來直接輸出控制訊號至多媒體影音裝置,以使多媒體影音裝置直接根據此控制訊號執行預設程式。如此一來,利用手勢操控達到類似快捷鍵的功能,減少使用者利用手勢控制多媒體影音裝置之顯示螢幕的游標的步驟。
為讓本發明之上述特徵和優點能更明顯易懂,下文特舉實施例,並配合所附圖式作詳細說明如下。
圖1是依照本發明一實施例所繪示之手勢辨識與控制裝置的方塊圖。請參照圖1,在一實施例中,手勢辨識與控制裝置100例如可透過有線或無線的方式連結至具有顯示螢幕的多媒體影音裝置(未繪示),多媒體影音裝置例如是智慧型電視。在另一實施例中,手勢辨識與控制裝置100例如是內嵌整合於多媒體影音裝置之內部。舉例來說,手勢辨識與控制裝置100例如是機上盒(Set-top box,STB)而可外接於智慧型電視。手勢辨識與控制裝置100負責接收並辨別使用者的手勢變化,據以產生相對應的控
制訊號,並且將控制訊號傳送至智慧型電視,以控制智慧型電視執行對應於手勢的預設程式。如此一來,便能減少使用者利用手勢控制多媒體影音裝置之顯示螢幕的游標的繁雜步驟。
以下針對手勢辨識與控制裝置100進行說明。手勢辨識與控制裝置100包括影像擷取單元110、儲存單元120以及處理單元130。其功能分述如下:影像擷取單元110包括深度攝影機,而可用以擷取二維(two-dimensional,2D)影像以及三維(three-dimensional,3D)影像。深度攝影機可用以判斷物體與攝影機之間的距離,進而得出拍攝畫面中物體遠近的深度影像(depth image),或稱為深度圖(depth map)。深度影像為一種採用灰階值0~255來表示距離資料的影像,而可將對應的2D影像立體化,因此,3D影像係為二維影像加上深度影像資訊,稱為「2D+D」(2D+Depth)。深度攝影機例如是時差測距(Time-of-flight)攝影機、立體視覺(Stereo vision)深度攝影機、雷射斑點(Laser speckle)攝影機或雷測追蹤(Laser tracking)攝影機等,不限於上述。
儲存單元120可為任意型式的固定式或可移動式隨機存取記憶體(Random Access Memory,RAM)、唯讀記憶體(Read-Only Memory,ROM)、快閃記憶體(Flash memory)、硬碟或其他類似裝置,而可用以儲存電腦可讀寫軟體、影像及其他資訊。
處理單元130例如是中央處理單元(Central Processing Unit,CPU),或是其他可程式化之一般用途或特殊用途的微處理器(Microprocessor)、數位訊號處理器(Digital Signal Processor,DSP)等裝置,而可用以載入電腦可讀寫軟體以執行複數個指令。
圖2是依照本發明一實施例所繪示之手勢辨識與控制方法的流程圖。本實施例的方法適用於圖1的手勢辨識與控制裝置100。在本實施例中,手勢辨識與控制裝置100例如耦接至智慧型電視。以下即搭配手勢辨識與控制裝置100中的各構件說明本實施例的詳細步驟:在步驟S210中,影像擷取單元110擷取具有深度資訊的待處理影像,待處理影像包括人形影像。其中,影像擷取單元110例如可同時或先後拍攝二維影像以及三維影像。
於步驟S220,處理單元130分析人形影像,以獲得具有第一骨架與第二骨架的手部骨架資訊。在此步驟中,處理單元130至少可採用兩種不同的分析方法來取得手部骨架資訊,手部骨架資訊例如包括手部骨架的長度、形狀、對應於待處理影像中的座標位置、深度資訊等,不限於上述。其中,處理單元130如何利用人形影像來取得手部骨架資訊的分析方法容後詳述。
取得手部骨架資訊之後,便可接續步驟S230,處理單元130依據手部骨架資訊來判斷第一骨架與第二骨架是否具有交點。舉例來說,圖3(a)至圖3(c)繪示為第一種
至第三種手部骨架的簡單示意圖。請參照圖3(a),手部骨架310包括第一骨架312以及第二骨架314,其分別對應至人形影像的左手與右手,其中,第一骨架312與第二骨架314具有一個交點N1。同理,請參照圖3(b),手部骨架320包括第一骨架322以及第二骨架324,且具有一個交點N2。再請參照圖3(c),手部骨架330包括第一骨架332以及第二骨架334,手部骨架330並未具有交點。
若第一骨架與第二骨架具有交點,則接續步驟S240;若第一骨架與第二骨架不具有交點,則接續步驟S260。
在步驟S240中,處理單元130繼續判斷第一骨架與第二骨架所形成的夾角是否在第一預設角度範圍內。詳細地說,第一骨架與第二骨架所形成的夾角例如可預設為開口向下的夾角,且第一預設角度範圍例如設定為80度~100度,但不限於此,其可由本領域具通常知識者依據實際應用情況設定之。以圖3(a)為例,處理單元130例如可判斷第一骨架312與第二骨架314所形成的夾角θ1是否在80度~100度範圍內。以圖3(b)為例,處理單元130例如可判斷第一骨架322與第二骨架324所形成的夾角θ2是否在80度~100度範圍內。
當夾角在第一預設角度範圍內,則接續步驟S250,處理單元130依據交點所在位置的比例值,據以輸出控制訊號。詳細地說,處理單元130先依據交點在第一骨架中的位置來計算第一比例值,並依據交點在第二骨架中的位置
來計算第二比例值。當第一比例值與第二比例值的至少其中之一小於第一臨界值,則輸出用以表示暫停功能的暫停控制訊號。當第一比例值與第二比例值皆屬於預設比例區間之內,則輸出用以表示停止功能的停止控制訊號。其中,第一臨界值例如可設定為0.2;預設比例區間R1例如設定為0.3≦R1≦0.7。
圖4(a)是圖3(a)的手部骨架放大示意圖。請參照圖4(a),處理單元130會先以端點A為起點計算端點A與交點N1之間的長度,並除以端點A、B之間的長度,以計算第一比例值。在本實施例中,第一比例值例如為0.3。此外,處理單元130再以端點C為起點計算端點C與交點N1之間的長度,並除以端點C、D之間的長度,以計算第二比例值。在本實施例中,第二比例值例如為0.05。假設在本實施例中,第一臨界值設定為0.2,處理單元130判斷第二比例值小於第一臨界值,因此輸出用以表示暫停功能的暫停控制訊號至智慧型電視。智慧型電視在接收到此暫停控制訊號之後,便可直接執行暫停播放的指令。
圖4(b)是圖3(b)的手部骨架放大示意圖。請參照圖4(b),處理單元130會先以端點E為起點計算端點E與交點N2之間的長度,並除以端點E、F之間的長度,以計算第一比例值。在本實施例中,第一比例值例如為0.45。此外,處理單元130再以端點G為起點計算端點G與交點N2之間的長度,並除以端點G、H之間的長度,
以計算第二比例值。在本實施例中,第二比例值例如為0.5。假設在本實施例中,預設比例區間R1設定為0.3≦R1≦0.7,處理單元130判斷第一比例值與第二比例值皆屬於預設比例區間R1之內,因此輸出用以表示停止功能的停止控制訊號至智慧型電視。智慧型電視在接收到此停止控制訊號之後,便可直接執行停止播放的指令。
再回到圖2之步驟S230,若處理單元130判斷第一骨架與第二骨架不具有交點,則接續步驟S260,處理單元130判斷第一骨架與第二骨架之延伸線上是否具有延伸交點。由於使用者所執行的平行操作手勢可能會有些微差距,並非剛好完全平行。因此若第一骨架與第二骨架之延伸線上具有延伸交點,則處理單元130進一步判斷延伸交點所形成的夾角是否在第二預設角度範圍內,第二預設角度範圍例如是10度~-10度範圍內(步驟S270)。倘若延伸交點所形成的夾角在第二預設角度範圍之內,則處理單元130仍判定為平行操作手勢而接續步驟S280。若延伸交點所形成的夾角不在第二預設角度範圍之內,則回到步驟S210,重新擷取待處理影像。
在步驟S280中,處理單元130計算第一骨架與第二骨架之中點連線長度,並依據此中點連線長度的變化,據以產生對應的控制訊號。舉例來說,當中點連線長度增加時,處理單元130輸出用以表示提高音量功能的第一音量控制訊號至智慧型電視;當中點連線長度縮小時,輸出用以表示降低音量功能的第二音量控制訊號至智慧型電視。
智慧型電視接收到音量控制訊號則對應執行提高音量或降低音量的指令。
至於提高音量或降低音量的多寡亦可由中點連線長度來進行控制,以下將以圖5(a)至圖5(c)來說明如何利用中點連線長度來對應控制音量調節幅度。圖5(a)至圖5(c)繪示為第一骨架與第二骨架之中點連線長度的變化示意圖。
倘若處理單元130判斷第一骨架與第二骨架之中點連線長度由圖5(a)轉換至圖5(b),也就是圖5(a)之中點連線長度d1縮小為圖5(b)之中點連線長度d2。在一實施例中,若使用者的雙手距離保持不變,也就是中點連線長度持續維持在圖5(b)的中點連線長度d2,則處理單元130可輸出代表持續降低音量的音量控制訊號,直至使用者的雙手結束平行調控姿勢。在另一實施例中,處理單元130可經由事先預設的中點連線長度與音量控制的對應關係來輸出音量控制訊號。舉例來說,若中點連線長度為100公分時對應至音量100%,中點連線長度為50公分時對應至音量50%,依此類推。依據中點連線長度的比例關係來對應調整音量。在又一實施例中,當中點連線長度由圖5(a)轉換至圖5(b)時,處理單元130可輸出縮小一格音量的音量控制訊號;當中點連線長度由圖5(a)轉換至圖5(c)時,處理單元130可輸出提高一格音量的音量控制訊號。由中點連線長度來調節音量的方式不限於上述,可以對於實際的需求而酌予變更上述實施例的內容。
接下來則舉例說明在圖2的步驟S220中,處理單元130如何利用人形影像來取得手部骨架資訊的兩種分析方法。
第一種分析方法主要是利用人臉辨識技術來進行分析。詳細地說,處理單元130先利用影像擷取單元110所取得的二維影像進行人臉偵測,以判斷人臉在二維影像中的位置資訊,並將此位置資訊儲存於儲存單元120。接著,處理單元130根據二維影像中的人臉位置資訊來對應至三維影像,藉以從三維影像中取得人臉位置的深度資訊。然後,處理單元130便可利用人臉位置的深度資訊為基準,輔以找出預設深度區間的雙手影像,預設深度區間可由本領域具通常知識者依實際應用情況設定之。舉例來說,由於使用者的雙手通常會位於使用者臉部的前方,因此,預設深度區間例如可設定為人臉位置的深度往深度較淺的方向的一段深度區間。處理單元130找出預設深度區間的雙手影像之後,便可根據雙手影像獲得雙手的手部骨架資訊。
第二種分析方法主要是利用全身骨架技術來進行分析。詳細地說,處理單元130例如可直接利用影像擷取單元110所擷取的三維影像找出人形的全身骨架,接著,處理單元130再根據全身骨架來找出雙手的手部骨架資訊。舉例來說,處理單元130可先尋找全身骨架的預設特徵,據以判斷為雙手骨架,預設特徵例如設定為由一端點起算第某節的骨架,預設特徵可由本領域具通常知識者依實際應用情況設定之。
圖6是依照本發明另一實施例所繪示之手勢辨識與控制方法的流程圖。本實施例的方法亦適用於圖1的手勢辨識與控制裝置100,以下請配合參照圖6與圖1:在步驟S610中,影像擷取裝置110擷取具有深度資訊的待處理影像。於步驟S620,處理單元130採用斑點偵測(Blob detection)法分析待處理影像,據以判斷待處理影像的連通域個數。舉例來說,圖7(a)至圖7(c)是依照本發明另一實施例所繪示之連通域個數的示意圖。圖7(a)之待處理影像710具有第一連通域b1以及第二連通域b2;圖7(b)與圖7(c)之待處理影像720以及730則僅具有一個連通域。
於步驟S630,當連通域個數為二個,則處理單元130分析待處理影像之第一連通域b1之第一重心位置與第二連通域b2之第二重心位置。接著,在步驟S640中,依據第一重心位置以及第二重心位置之間的重心連線長度的變化,據以輸出對應的控制訊號。舉例來說,當重心連線長度增加時,處理單元130輸出用以表示提高音量功能的第一音量控制訊號;當重心連線長度縮小時,輸出用以表示降低音量功能的第二音量控制訊號。步驟S640類似於前一實施例之步驟S280,因此利用重心連線長度來控制提高音量或降低音量的多寡的詳細步驟相同或類似於前一實施例之中點連線長度之說明,在此不贅述。
回到圖6之步驟S620,當連通域個數為一個,則接續步驟S650,處理單元130分析待處理影像,以獲得具有第
一骨架與第二骨架的手部骨架資訊。由於已知連通域個數為一個,對應圖7(b)與圖7(c)所示,第一骨架與第二骨架一定會產生交點。故在本實施例中,可省略判斷第一骨架與第二骨架是否具有交點的步驟。接續步驟S660,處理單元130直接判斷第一骨架與第二骨架所形成的夾角是否在第一預設角度範圍內。此步驟例如可用來濾除連通域個數為一個但僅為單一手掌之手勢操作。若步驟S660判斷為否,則回到步驟S610。當夾角在第一預設角度範圍內,則接續步驟S670,處理單元130依據交點所在位置的比例值,據以輸出控制訊號。其中,控制訊號例如包括用以表示暫停功能的暫停控制訊號或是用以表示停止功能的停止控制訊號。本實施例之步驟S650、S660、S670相同或類似於前一實施例之步驟S220、S240、S250,故在此不重複贅述。
本實施例與前述實施例不同的地方在於先利用斑點偵測法來快速判斷待處理影像中的連通域個數,若連通域個數為二個,則可直接判定使用者的雙手進行平行手勢操控,而可直接分析連通域的重心之距離變化進而輸出控制訊號。藉此可省略部份分析手部骨架資訊的運算,減少辨別手勢操控的所需時間。
綜上所述,本發明利用深度資訊以及相應的人體骨架偵測功能,便能省去許多現有手勢辨識所需的步驟,例如節省消除背景以及減少需要過濾的雜訊,從而減少辨識手勢所需花費的時間。並且,直接藉由分析手部骨架資訊來
直接輸出控制訊號至多媒體影音裝置,以使多媒體影音裝置直接根據此控制訊號執行預設程式。如此一來,利用手勢操控達到類似快捷鍵的功能,減少使用者利用手勢控制多媒體影音裝置之顯示螢幕的游標的步驟,以達到更為方便且迅速的即時人機互動。
雖然本發明已以實施例揭露如上,然其並非用以限定本發明,任何所屬技術領域中具有通常知識者,在不脫離本發明之精神和範圍內,當可作些許之更動與潤飾,故本發明之保護範圍當視後附之申請專利範圍所界定者為準。
100‧‧‧手勢辨識與控制裝置
110‧‧‧影像擷取單元
120‧‧‧儲存單元
130‧‧‧處理單元
310、320、330‧‧‧手部骨架
312、322、332‧‧‧第一骨架
314、324、334‧‧‧第二骨架
710、720、730‧‧‧待處理影像
A~H‧‧‧骨架端點
d1、d2、d3‧‧‧中點連線長度
b1‧‧‧第一連通域
b2‧‧‧第二連通域
S210~S280‧‧‧一實施例之手勢辨識與控制方法的各步驟
S610~S670‧‧‧另一實施例之手勢辨識與控制方法的各步驟
圖1是依照本發明一實施例所繪示之手勢辨識與控制裝置的方塊圖。
圖2是依照本發明一實施例所繪示之手勢辨識與控制方法的流程圖。
圖3(a)至圖3(c)繪示為第一種至第三種手部骨架的簡單示意圖。
圖4(a)是圖3(a)的手部骨架放大示意圖。
圖4(b)是圖3(b)的手部骨架放大示意圖。
圖5(a)至圖5(c)繪示為第一骨架與第二骨架之中點連線長度的變化示意圖。
圖6是依照本發明另一實施例所繪示之手勢辨識與控制方法的流程圖。
圖7(a)至圖7(c)是依照本發明另一實施例所繪
示之連通域個數的示意圖。
S210~S280‧‧‧手勢辨識與控制方法的各步驟
Claims (11)
- 一種手勢辨識與控制方法,包括:擷取具有深度資訊的一待處理影像,該待處理影像包括一人形影像;分析該人形影像,以獲得具有一第一骨架與一第二骨架的一手部骨架資訊;判斷該第一骨架與該第二骨架是否具有一交點;若是,判斷該第一骨架與該第二骨架所形成的一夾角是否在一第一預設角度範圍內;以及當該夾角在該第一預設角度範圍內,據以輸出一控制訊號。
- 如申請專利範圍第1項所述之手勢辨識與控制方法,更包括:依據該交點在該第一骨架中的位置來計算一第一比例值,並依據該交點在該第二骨架中的位置來計算一第二比例值;當該第一比例值與該第二比例值的至少其中之一小於一第一臨界值,輸出用以表示暫停功能的一暫停控制訊號;以及當該第一比例值與該第二比例值皆屬於一預設比例區間之內,輸出用以表示停止功能的一停止控制訊號。
- 如申請專利範圍第1項所述之手勢辨識與控制方法,其中當該第一骨架與該第二骨架不具有該交點,該手勢辨識與控制方法更包括: 判斷該第一骨架與該第二骨架之一延伸線上是否具有一延伸交點;若是,判斷該延伸交點的一夾角是否在一第二預設角度範圍內;以及當該延伸交點的該夾角在該第二預設角度範圍內,據以輸出另一控制訊號。
- 如申請專利範圍第1或3項所述之手勢辨識與控制方法,其中當該第一骨架與該第二骨架不具有該交點,該手勢辨識與控制方法更包括:計算該第一骨架與該第二骨架之一中點連線長度;以及依據該中點連線長度的變化,據以產生對應的該另一控制訊號。
- 如申請專利範圍第4項所述之手勢辨識與控制方法,其中依據該中點連線長度的變化,據以輸出對應的該另一控制訊號的步驟包括:當該中點連線長度增加時,輸出用以表示提高音量功能的一第一音量控制訊號,當該中點連線長度縮小時,輸出用以表示降低音量功能的一第二音量控制訊號。
- 一種手勢辨識與控制裝置,包括:一影像擷取單元,擷取具有深度資訊的一待處理影像,該待處理影像包括一人形影像;一儲存單元,儲存該待處理影像以及一電腦可讀寫軟體;以及 一處理單元,執行該電腦可讀寫軟體的複數個指令,其中該些指令包括:分析該人形影像,以獲得具有一第一骨架與一第二骨架的一手部骨架資訊;判斷該第一骨架與該第二骨架是否具有一交點;若是,判斷該第一骨架與該第二骨架所形成的一夾角是否在一第一預設角度範圍內;以及當該夾角在該第一預設角度範圍內,據以輸出一控制訊號。
- 如申請專利範圍第6項所述之手勢辨識與控制裝置,其中該儲存單元記錄該手部骨架資訊與該交點,該處理單元執行的該些指令更包括:依據該交點在該第一骨架中的位置來計算一第一比例值,並依據該交點在該第二骨架中的位置來計算一第二比例值;當該第一比例值與該第二比例值的至少其中之一小於一第一臨界值,輸出用以表示暫停功能的一暫停控制訊號;以及當該第一比例值與該第二比例值皆屬於一預設比例區間之內,輸出用以表示停止功能的一停止控制訊號。
- 如申請專利範圍第6項所述之手勢辨識與控制裝置,其中當該第一骨架與該第二骨架不具有該交點,該處理單元執行的該些指令更包括:判斷該第一骨架與該第二骨架之一延伸線上是否具 有一延伸交點;若是,判斷該延伸交點的一夾角是否在一第二預設角度範圍內;以及當該延伸交點的該夾角在該第二預設角度範圍內,據以輸出另一控制訊號。
- 如申請專利範圍第8項所述之手勢辨識與控制裝置,其中該處理單元執行的該些指令更包括:計算該第一骨架與該第二骨架之一中點連線長度;以及依據該中點連線長度的變化,據以產生對應的該另一控制訊號。
- 如申請專利範圍第9項所述之手勢辨識與控制裝置,其中該儲存單元記錄該中點連線長度,該處理單元產生對應的該另一控制訊號的指令包括:當該中點連線長度增加時,輸出用以表示提高音量功能的一第一音量控制訊號,當該中點連線長度縮小時,輸出用以表示降低音量功能的一第二音量控制訊號。
- 如申請專利範圍第6項所述之手勢辨識與控制裝置,其中該處理單元分析該手部影像以獲得該手部骨架資訊的指令之前,更包括:先採用一斑點偵測法分析該待處理影像,據以判斷該待處理影像的一連通域個數;當該連通域個數為二個,分析該待處理影像之一第一連通域之一第一重心位置與一第二連通域之一第二重心位 置;以及判斷該第一與該第二重心位置之間的一重心連線長度的變化,據以輸出對應的另一控制訊號。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW102103364A TWI515605B (zh) | 2013-01-29 | 2013-01-29 | 手勢辨識與控制方法及其裝置 |
CN201310053431.XA CN103970264B (zh) | 2013-01-29 | 2013-02-19 | 手势辨识与控制方法及其装置 |
CN201610494000.0A CN106155312B (zh) | 2013-01-29 | 2013-02-19 | 手势辨识与控制方法及其装置 |
US14/051,456 US9348418B2 (en) | 2013-01-29 | 2013-10-11 | Gesture recognizing and controlling method and device thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW102103364A TWI515605B (zh) | 2013-01-29 | 2013-01-29 | 手勢辨識與控制方法及其裝置 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW201430614A TW201430614A (zh) | 2014-08-01 |
TWI515605B true TWI515605B (zh) | 2016-01-01 |
Family
ID=51222343
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW102103364A TWI515605B (zh) | 2013-01-29 | 2013-01-29 | 手勢辨識與控制方法及其裝置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US9348418B2 (zh) |
CN (2) | CN106155312B (zh) |
TW (1) | TWI515605B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI824859B (zh) * | 2022-11-30 | 2023-12-01 | 國立勤益科技大學 | 虛擬購物手勢操控系統 |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015129077A1 (ja) * | 2014-02-26 | 2015-09-03 | 株式会社ソニー・コンピュータエンタテインメント | プレイ時間記録装置、プレイ時間記録方法、プログラム及び情報記憶媒体 |
CN104407694B (zh) * | 2014-10-29 | 2018-02-23 | 山东大学 | 一种结合人脸和手势控制的人机交互方法及装置 |
US11953618B2 (en) * | 2015-07-17 | 2024-04-09 | Origin Research Wireless, Inc. | Method, apparatus, and system for wireless motion recognition |
CN105867636A (zh) * | 2016-04-29 | 2016-08-17 | 四川数字工匠科技有限公司 | 多媒体播放器体感控制*** |
CN106095083A (zh) * | 2016-06-02 | 2016-11-09 | 深圳奥比中光科技有限公司 | 体感指令的确定方法以及体感交互装置 |
CN106095082A (zh) * | 2016-06-02 | 2016-11-09 | 深圳奥比中光科技有限公司 | 体感交互方法、***以及装置 |
CN106095087A (zh) * | 2016-06-02 | 2016-11-09 | 深圳奥比中光科技有限公司 | 体感交互***以及方法 |
CN108388882B (zh) * | 2018-03-16 | 2021-09-21 | 中山大学 | 基于全局-局部rgb-d多模态的手势识别方法 |
TWI660292B (zh) * | 2018-05-16 | 2019-05-21 | 群光電子股份有限公司 | 游標移動輔助系統及方法 |
CA3011477A1 (en) * | 2018-07-13 | 2020-01-13 | Rim JARADEH | Method, system, and device for selecting a winner of a raffle based on content from raffle tickets |
TWI701575B (zh) * | 2019-03-07 | 2020-08-11 | 緯創資通股份有限公司 | 手勢辨識方法以及手勢辨識裝置 |
CN111507192A (zh) * | 2020-03-19 | 2020-08-07 | 北京捷通华声科技股份有限公司 | 一种仪容仪表监测方法和装置 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6222465B1 (en) * | 1998-12-09 | 2001-04-24 | Lucent Technologies Inc. | Gesture-based computer interface |
US6147678A (en) * | 1998-12-09 | 2000-11-14 | Lucent Technologies Inc. | Video hand image-three-dimensional computer interface with multiple degrees of freedom |
EP1408443B1 (en) * | 2002-10-07 | 2006-10-18 | Sony France S.A. | Method and apparatus for analysing gestures produced by a human, e.g. for commanding apparatus by gesture recognition |
JP5202037B2 (ja) * | 2008-02-29 | 2013-06-05 | キヤノン株式会社 | 特徴点位置決定方法及び装置 |
US8522308B2 (en) * | 2010-02-11 | 2013-08-27 | Verizon Patent And Licensing Inc. | Systems and methods for providing a spatial-input-based multi-user shared display experience |
US8351651B2 (en) * | 2010-04-26 | 2013-01-08 | Microsoft Corporation | Hand-location post-process refinement in a tracking system |
US9349040B2 (en) * | 2010-11-19 | 2016-05-24 | Microsoft Technology Licensing, Llc | Bi-modal depth-image analysis |
US9821224B2 (en) * | 2010-12-21 | 2017-11-21 | Microsoft Technology Licensing, Llc | Driving simulator control with virtual skeleton |
WO2012126103A1 (en) * | 2011-03-23 | 2012-09-27 | Mgestyk Technologies Inc. | Apparatus and system for interfacing with computers and other electronic devices through gestures by using depth sensing and methods of use |
US9298264B2 (en) * | 2011-05-16 | 2016-03-29 | Massachusetts Institute Of Technology | Methods and apparatus for actuated 3D surface with gestural interactivity |
CN202150897U (zh) * | 2011-06-10 | 2012-02-22 | 苏州美娱网络科技有限公司 | 一种体感控制游戏电视机 |
JP5408205B2 (ja) * | 2011-08-25 | 2014-02-05 | カシオ計算機株式会社 | 制御点設定方法、制御点設定装置及びプログラム |
JP2013080413A (ja) * | 2011-10-05 | 2013-05-02 | Sony Corp | 入力装置、入力認識方法 |
-
2013
- 2013-01-29 TW TW102103364A patent/TWI515605B/zh active
- 2013-02-19 CN CN201610494000.0A patent/CN106155312B/zh active Active
- 2013-02-19 CN CN201310053431.XA patent/CN103970264B/zh active Active
- 2013-10-11 US US14/051,456 patent/US9348418B2/en active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI824859B (zh) * | 2022-11-30 | 2023-12-01 | 國立勤益科技大學 | 虛擬購物手勢操控系統 |
Also Published As
Publication number | Publication date |
---|---|
CN103970264B (zh) | 2016-08-31 |
US9348418B2 (en) | 2016-05-24 |
US20140210704A1 (en) | 2014-07-31 |
TW201430614A (zh) | 2014-08-01 |
CN106155312B (zh) | 2019-01-08 |
CN106155312A (zh) | 2016-11-23 |
CN103970264A (zh) | 2014-08-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI515605B (zh) | 手勢辨識與控制方法及其裝置 | |
CN103353935B (zh) | 一种用于智能家居***的3d动态手势识别方法 | |
JP6259545B2 (ja) | 3dシーンでジェスチャーを入力するシステム及び方法 | |
US8442269B2 (en) | Method and apparatus for tracking target object | |
KR101890459B1 (ko) | 3차원으로 디스플레이된 오브젝트의 사용자 선택 제스쳐에 응답하기 위한 방법 및 시스템 | |
TWI544367B (zh) | 手勢辨識與控制方法及其裝置 | |
KR20120068253A (ko) | 사용자 인터페이스의 반응 제공 방법 및 장치 | |
TWI571772B (zh) | 虛擬滑鼠驅動裝置及虛擬滑鼠模擬方法 | |
US10168769B2 (en) | Input apparatus, input method, and program | |
TWI528271B (zh) | 多邊形手勢偵測及互動方法、裝置及電腦程式產品 | |
TWI431538B (zh) | 基於影像之動作手勢辨識方法及系統 | |
US20150277570A1 (en) | Providing Onscreen Visualizations of Gesture Movements | |
TW201407420A (zh) | 改善之視訊追蹤 | |
US20210149478A1 (en) | Silhouette-based limb finder determination | |
WO2014194148A2 (en) | Systems and methods involving gesture based user interaction, user interface and/or other features | |
US11755119B2 (en) | Scene controlling method, device and electronic equipment | |
JP2016099643A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
TW201413497A (zh) | 互動系統及移動偵測方法 | |
WO2020001016A1 (zh) | 运动图像生成方法、装置、电子设备及计算机可读存储介质 | |
TWI510082B (zh) | 用於影像辨識之影像擷取方法及其系統 | |
CN111986229A (zh) | 视频目标检测方法、装置及计算机*** | |
US20140301603A1 (en) | System and method for computer vision control based on a combined shape | |
KR101414362B1 (ko) | 영상인지 기반 공간 베젤 인터페이스 방법 및 장치 | |
KR101909326B1 (ko) | 얼굴 모션 변화에 따른 삼각 매쉬 모델을 활용하는 사용자 인터페이스 제어 방법 및 시스템 | |
US9551922B1 (en) | Foreground analysis on parametric background surfaces |