TW201514830A - 互動式操作方法 - Google Patents

互動式操作方法 Download PDF

Info

Publication number
TW201514830A
TW201514830A TW102136408A TW102136408A TW201514830A TW 201514830 A TW201514830 A TW 201514830A TW 102136408 A TW102136408 A TW 102136408A TW 102136408 A TW102136408 A TW 102136408A TW 201514830 A TW201514830 A TW 201514830A
Authority
TW
Taiwan
Prior art keywords
point
image
depth
fingertip
region
Prior art date
Application number
TW102136408A
Other languages
English (en)
Other versions
TWI499966B (zh
Inventor
Bai-Ruei Huang
Chang-Hong Lin
Chia-Han Lee
Original Assignee
Univ Nat Taiwan Science Tech
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Univ Nat Taiwan Science Tech filed Critical Univ Nat Taiwan Science Tech
Priority to TW102136408A priority Critical patent/TWI499966B/zh
Priority to US14/133,650 priority patent/US9256324B2/en
Publication of TW201514830A publication Critical patent/TW201514830A/zh
Application granted granted Critical
Publication of TWI499966B publication Critical patent/TWI499966B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108—Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一種互動式操作方法。透過取像單元擷取影像序列。對影像序列中的影像執行影像前處理。自影像獲得指尖候選區域。判斷指尖候選區域是否與手部區域相連。若指尖候選區域與手部區域相連，以指尖候選區域作為目標指尖區域。藉由持續追蹤目標指尖區域，判斷是否發生點選事件。在發生點選事件時，執行對應的功能。

Description

互動式操作方法
本發明是有關於一種互動式控制機制，且特別是有關於一種基於手勢辨識的互動式操作方法。
隨著近年來電子裝置的發展，智慧型手機、平板電腦等電子裝置變得越來越普及。人們開始關注電子裝置可以提供給使用者的品質與能力等議題。例如，電子裝置可以提供一種人機介面(Human Machine Interface，HMI)來幫助使用者與電子裝置進行互動。而人機介面的設計取決於使用者的需求與習慣。例如，滑鼠、鍵盤和遙控器等實體控制器是目前最常見的人機介面。
使用者透過這些實體控制器來操作電腦或電視等電子裝置。隨著人機介面的發展，目前更從實體控制器慢慢朝向虛擬控制器來發展。而虛擬控制器不僅為使用者提供了全新的體驗，並且亦具備了多項好處。首先，虛擬控制器提供了多樣化的輸入方式，即，使用者能夠根據使用需求在實體控制器與虛擬控制器之間進行切換，以選擇適當的輸入方式。另外，虛擬控制器還可以根據使用者 的需求來改變其大小和外觀，並且，虛擬控制器不佔用實體空間。
擴增實境(Augmented Reality，簡稱AR)是一種實時地計算攝影機影像的位置及角度並加上相應圖像的技術，這種技術的目標是在螢幕上把虛擬世界套在現實世界並進行互動。大多數現有的擴增實境系統通常是基於網路攝影機。然而，這些類型的攝影機只能擷取二維(two dimensional，2D)資料。利用有限的二維數據來完成三維(three dimensional，3D)空間的定位不僅需要非常先進的算法，所獲得的結果也尚不精準，導致虛擬控制器無法解釋使用者的意圖和命令。
本發明提供一種互動式操作方法，利用偵測使用者的手指，藉此透過手指傳遞指令讓使用者與電子裝置產生互動。
本發明的電子裝置的互動式操作方法，包括：透過取像單元擷取影像序列；對影像序列中的影像執行影像前處理；自影像獲得指尖候選區域；判斷指尖候選區域是否與手部區域相連；若指尖候選區域與手部區域相連，以指尖候選區域作為目標指尖區域；藉由持續追蹤目標指尖區域，判斷是否發生點選事件；以及在點選事件發生時，執行在電子裝置中所對應的功能。
在本發明的一實施例中，上述判斷指尖候選區域是否與手部區域相連的步驟包括：獲得指尖候選區域的中心點作為參考點；自參考點的四個方向分別獲得第一側點、第二側點、第三側點與第 四側點，其中第一側點、第二側點、第三側點與第四側點分別位於指尖候選區域的外側；自影像的深度資訊中獲得第一側點、第二側點、第三側點與第四側點的第一深度值、第二深度值、第三深度值及第四深度值；以及判斷第一深度值、第二深度值、第三深度值及第四深度值是否大於0；在第一深度值、第二深度值、第三深度值及第四深度值僅其中之一大於0的情況下，判定指尖候選區域與手部區域相連；以及在其他情況下，判定指尖候選區域未與手部區域相連。
在本發明的一實施例中，上述方法更包括：自目前所接收 的影像的目標指尖區域獲得第一追蹤點；判斷第一追蹤點對應於顯示單元中的顯示位置是否位於功能項目的位置；以及若第一追蹤點所對應的顯示位置位於功能項目的位置，自前次所接收的影像的目標指尖區域取出第二追蹤點，並且比對第一追蹤點與第二追蹤點，以判斷是否發生點選事件。
在本發明的一實施例中，上述比對第一追蹤點與第二追蹤 點，以判斷是否發生點選事件的步驟包括：比對第一追蹤點與第二追蹤點之間的垂直軸位移量與水平軸位移量；依據深度資訊，比對第一追蹤點與第二追蹤點之間的深度變化量；倘若垂直軸位移量小於第一預設值、水平軸位移量小於第二預設值、且深度變化量小於第三預設值，則判定發生點選事件；以及倘若垂直軸位移量大於或等於第一預設值、水平軸位移量大於或等於第二預設值、及深度變化量大於或等於第三預設值其中至少一條件成立，則判定未發生點 選事件。
在本發明的一實施例中，上述判斷是否發生點選事件的步 驟更包括：基於第一追蹤點，於目前所接收的影像的目標指尖區域中取出第一計算點與第二計算點，其中第一追蹤點位於第一計算點與第二計算點之間；依據深度資訊，計算第一計算點與第二計算點的深度差值；在垂直軸位移量小於第一預設值、水平軸位移量小於第二預設值、且深度變化量小於第三預設值的情況下，若深度差值大於或等於第四預設值，則判定發生點選事件；若深度差值小於第四預設值，則判定未發生點選事件。
在本發明的一實施例中，上述方法更包括：於顯示單元中 顯示擴增實境互動介面；在擴增實境互動介面中顯示所接收的影像；於影像中獲得目標人臉區域時，在擴增實境互動介面顯示第一虛擬層，其中第一虛擬層包括功能項目；當功能項目被觸發時，在擴增實境互動介面顯示第二虛擬層，其中第二虛擬層包括虛擬控制介面。
在本發明的一實施例中，上述執行影像前處理的步驟包 括：執行背景去除程序。上述背景去除程序包括：偵測影像中的多個待處理物件；以及依據影像的深度資訊，自上述待處理物件濾除一個或多個不重要物件，其中上述不重要物件的深度值大於預設深度值。即，將深度值小於預設深度值的待處理物件保留。
在本發明的一實施例中，上述在執行背景去除程序的步驟之後，更包括執行人臉姿態估測(face pose estimation)程序。上述 人臉姿態估測程序包括：在剩餘的待處理物件中執行臉部偵測程序，而獲得多個人臉區域；依據影像的深度資訊，自所獲得的人臉區域中取出目標人臉區域，其中目標人臉區域的深度值為這些人臉區域的深度值中的最小值(即，離取像單元最近者)；以及保留深度值為最小值的目標人臉區域所在的其中一待處理物件，而濾除其他的待處理物件。
在本發明的一實施例中，上述在執行人臉姿態估測程序的 步驟之後更包括執行手部偵測程序。上述手部偵側程序包括：利用膚色偵測演算法，獲得手部區域。
在本發明的一實施例中，上述執行手部偵測程序的步驟之後，更包括執行指尖偵測程序，以獲得指尖候選區域。
基於上述，藉由偵測使用者在三維空間中進行操作的手指，並在偵測到手指觸發了點選事件時，執行在電子裝置中所對應的功能。據此，使用者能夠透過手指來傳遞指令而與電子裝置產生互動。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
100‧‧‧電子裝置
110‧‧‧取像單元
120‧‧‧處理單元
130‧‧‧顯示單元
140‧‧‧儲存單元
300‧‧‧影像處理模組
310‧‧‧背景去除模組
320‧‧‧人臉姿態估測模組
330‧‧‧手部偵測模組
340‧‧‧指尖偵測模組
350‧‧‧指尖追蹤模組
360‧‧‧點選事件辨識模組
400‧‧‧影像
401‧‧‧手部區域
501、60、61‧‧‧候選指尖區域
601、611、621、631、P1‧‧‧第一側點
602、612、622、632、P2‧‧‧第二側點
603、613、623、633、P3‧‧‧第三側點
604、614、624、634、P4‧‧‧第四側點
701‧‧‧第一計算點
702‧‧‧第一追蹤點
703‧‧‧第二計算點
710‧‧‧目標指尖區域
800‧‧‧擴增實境互動介面
810‧‧‧目標人臉區域
820、830、860‧‧‧功能項目
840、850‧‧‧虛擬控制介面
R、R1、R2‧‧‧參考點
θ 1、θ 2‧‧‧角度
S205~S235‧‧‧互動操作方法的各步驟
圖1是依照本發明一實施例的互動式操作系統的方塊圖。
圖2是依照本發明一實施例的互動式操作方法的流程圖。
圖3是依照本發明一實施例的影像處理模組的示意圖。
圖4是依照本發明一實施例的具有手部區域之影像的示意圖。
圖5是依照本發明一實施例的手部區域的示意圖。
圖6A及圖6B是依照本發明一實施例的判斷目標指尖區域方式的示意圖。
圖7是依照本發明一實施例的用以判斷點擊事件的示意圖。
圖8A及圖8B是依照本發明的結合擴增實境互動介面的操作方法的示意圖。
隨著科技的發展，人們開始注重電子裝置提供給使用者的功能與設備本身之品質等議題。本發明提出一種電子裝置的互動操作方法，可讓使用者利用其手指在三維空間中傳遞指令來控制電子裝置。為了使本發明之內容更為明瞭，以下特舉實施例作為本發明確實能夠據以實施的範例。
圖1是依照本發明一實施例的互動式操作系統的方塊圖。請參照圖1，互動式操作系統100包括取像單元110、處理單元120、顯示單元130以及儲存單元140。處理單元120耦接至取像單元110、顯示單元130以及儲存單元140。利用取像單元110擷取使用者的影像，而由處理單元120來辨識影像中使用者的動作，藉此來執行在電子裝置100中對應的功能。各構件詳細說明請參照下述。
取像單元110用以擷取影像。例如，取像單元110可以是 深度攝影機(depth camera)或立體攝影機，或任何具有電荷耦合元件(Charge coupled device，CCD)鏡頭、互補式金氧半電晶體(Complementary metal oxide semiconductor transistors，CMOS)鏡頭、或紅外線鏡頭的攝影機、照相機。而取像單元110所面向的方向可以是便於拍攝到使用者的方向。
處理單元120用以分析取像單元110所擷取的影像。處理單元120例如是中央處理單元(Central Processing Unit，CPU)，或是其他可程式化之一般用途或特殊用途的微處理器(Microprocessor)、數位訊號處理器(Digital Signal Processor，DSP)、可程式化控制器、特殊應用積體電路(Application Specific Integrated Circuits，ASIC)、可程式化邏輯裝置(Programmable Logic Device，PLD)、場可程式閘陣列(Field-programmable Gate Array，FPGA)或其他類似裝置或這些裝置的組合。
顯示單元130可為任一類型的顯示器，例如液晶顯示器(Liquid Crystal Display，LCD)或發光二極管(Light Emitting Diode，LED)等平面顯示器、或者為投影顯示器、亦或是軟性顯示器(soft display)等。
儲存單元140例如是任意型式的固定式或可移動式隨機存取記憶體(Random Access Memory，RAM)、唯讀記憶體(Read-Only Memory，ROM)、快閃記憶體(Flash memory)、硬碟或其他類似裝置或這些裝置的組合，而用以記錄可由處理單元120執行的多個模組，進而來實現互動式操作方法。
本實施例是以程式碼來實現。例如，儲存單元140中儲存 有多個程式碼片段，上述程式碼片段在被安裝後，會由處理單元120來執行。據此，互動式操作系統100可以在複雜的自然環境下準確地偵測使用者之手指，並藉由手指傳遞指令讓使用者與機器產生互動。底下即進一步說明藉由偵測手指來控制互動式操作系統100的步驟。
圖2是依照本發明一實施例的互動式操作方法的流程圖。 請同時參照圖1及圖2，在步驟S205中，透過取像單元110擷取影像序列。例如，取像單元110每隔一取樣頻率即擷取一張影像。接著，在步驟S210中，處理單元120對影像序列中的影像執行影像前處理。上述影像前處理包括背景去除程序、人臉姿態估測程序、手部偵測程序等。在獲得手部區域之後，在步驟S215中，處理單元120自影像中獲得指尖候選區域。也就是說在手部區域中找出可能為指尖的區域。
而後，在步驟S220中，處理單元120判斷指尖候選區域是 否與手部區域相連。就一般人體結構而言可以知道，指尖的其中一側會與其他手部相連。因此，在此藉由判斷指尖候選區域是否與手部區域相連來找出正確的指尖區域。若指尖候選區域與手部區域相連，在步驟S220中，處理單元120便以此指尖候選區域作為目標指尖區域。若指尖候選區域並未與手部區域相連，表示目前所接收的影像中並未有指尖的出現，返回執行步驟S205，繼而繼續自取像單元110接收下一張影像。
在獲得目標指尖區域之後，在步驟S230中，處理單元120會藉由持續追蹤影像序列中的目標指尖區域，判斷是否發生點選事件。也就是偵測使用者是否在三維空間中執行一特定手勢來準備驅動電子裝置100中的功能。當偵測到特定手勢，即，辨識到點選事件發生時，在步驟S235中，處理單元120執行對應的功能。另一方面，若未偵測到點選事件的發生，則繼續執行步驟S230。舉例來說，在顯示單元130中顯示一畫面，使用者對著畫面中的一功能項目而在三維空間對應的位置處執行點選的手勢時，處理單元120透過分析取像單元110所取得的影像而得知在此處發生點選事件，進而處理單元120便可去執行此功能項目。
底下再舉一例來詳細說明上述方法的實現過程。然，底下實施例僅為其中一種舉例說明，並不以此為限。
圖3是依照本發明一實施例的影像處理模組的示意圖。在本實施例中，影像處理模組300是由程式碼片段所組成的電腦軟體，其儲存於儲存單元140中，以供處理單元120執行之。然，在其他實施例中，影像處理模組300亦可以為由各種晶片所組成的硬體，且耦接至處理單元120，而由處理單元120驅動執行之，在此並不限制影像處理模組300的實現方式。影像處理模組300包括背景去除模組310、人臉姿態估測(face pose estimation)模組320、手部偵測模組330、指尖偵測模組340、指尖追蹤模組350以及點選事件辨識模組360。
背景去除模組310執行背景去除程序，藉以將背景去除， 而保留最有可能存在使用者的區域。在此，可利用背景相減(background subtraction)法來獲得人體存在的區域。例如，事先建立一張不存在使用者的背景影像於電子裝置100中，之後，將取像單元110所擷取到的影像與背景影像執行相減的動作，如此便可獲得兩張影像之間具有差異性的區域。
人臉姿態估測模組320執行人臉姿態估測程序，其是用以 對背景去除模組310所輸出的影像進行臉部偵測程序以及臉部追蹤等處理。在獲得去除背景的影像之後，利用人臉姿態估測模組320來判斷影像中是否有存在人臉。例如，利用基於Haar-like特徵的自適應增強(Adaptive Boosting，AdaBoost)學習演算法(learning algorithm)來辨識影像中的人臉而獲得臉部區域。
在偵測到臉部區域之後，人臉姿態估測模組320還會進一步使用連續自適性均值平移(Continuously Adaptive Mean-Shift，Camshift)演算法來持續地追蹤人臉位置。Camshift演算法會依據移動物件(例如臉部區域)的顏色來進行追蹤。因此，不管使用者如何移動、轉動其頭部，透過Camshift演算法仍然可以得到使用者的人臉位置。
手部偵測模組330執行手部偵測程序，其是利用膚色偵測(skin color detection)演算法，在影像中偵測手部區域。而偵測手部區域的動作例如可以進一步劃分為三部分，即，身體遮罩、膚色偵測以及影像增強。為了找出人臉和人體，在偵測到臉部區域之後，手部偵測模組330利用一個身體遮罩來覆蓋住影像中的臉部區域和 人體區域。由於身體的深度值與人臉的深度值大致相同，因此上述身體遮罩的尺寸及覆蓋區域可根據所偵測到之臉部區域的深度值來自動變更。
在獲得人體區域之後，手部偵測模組330進一步執行膚色偵測演算法。舉例來說，首先，利用下述方程式(1)，將影像由RGB色彩空間轉換為YCbCr色彩空間。在YCbCr色彩空間，Y代表影像亮度(luminance)，Cb與Cr分別代表影像的色度(chrominance)。
在轉換色彩空間之後，利用底下方程式(2)將像素分為膚色或非膚色。即，像素的Cr值位於133~173之間，且Cb值位於77~127之間，即判定此像素為膚色像素。而不符合上述條件的像素一律視為非膚色像素。
在執行膚色偵測演算法之後，還可進一步執行影像增強演算法以移除雜訊。例如，利用形態學(morphology)中的閉合運算(closing operation)或斷開運算(opening operation)來移除雜訊。之後，再使用高斯模糊濾波器(Gaussian Blur filter)來移除剩餘雜訊並使形狀平滑化。
舉例來說，圖4是依照本發明一實施例的具有手部區域之 影像的示意圖。請參照圖4，影像400在經由上述背景去除模組310、人臉姿態估測模組320及手部偵測模組330的運算之後，便可獲得手部區域401。
指尖偵測模組340執行指尖偵測程序，以在手部區域中找 出正確的指尖區域。具體而言，在獲得手部區域之後，利用所定義的指尖屬性(property)來偵測手部區域中的指尖，並且濾除非指尖區域。在此，可針對真正的手指來定義其所具備之特性，而事先定義出指尖屬性。指尖屬性包括：手部與指尖之間的關係像是樹狀一般具有分枝(branch)；以及指尖的其中一側會與手部相連。
指尖偵測模組340可利用形態學的斷開運算(opening operation)先進行侵蝕(erosion)再進行膨脹(dilation)。也就是說，先對影像執行侵蝕來縮小區域，再對影像做膨脹來擴張區域；或者，重複侵蝕直到消除掉所有不想要的點或線等雜訊，再用膨脹來恢復原圖形。經過這樣的程序之後就可以把雜訊點移除。在此，為了略過手掌部分，以6×6的十字(cross-shaped)結構元素(structuring element)來進行斷開運算。在執行斷開運算之後會獲得一第一影像，將原始影像減去此第一影像之後便可獲得候選指尖區域。
之後，指尖偵測模組340還可進一步以3×3的方形(square) 結構元素來執行斷開運算，以使得候選指尖區域的形狀更為平滑化，且可移除雜訊。而為了後續的運算，利用一邊界框(bounding box)來表示候選指尖區域。舉例來說，圖5是依照本發明一實施例的手部區域的示意圖。請參照圖5，以圖4的手部區域401而言，在偵測 到可能為手指的輪廓之後，以邊界框來框住所偵測到之可能為手指的輪廓，而獲得候選指尖區域501。
而即便上述運算即可獲得正確的指尖區域，然，為了避免仍存在有非指尖區域，還可進一步利用影像的深度資訊來濾除掉非指尖區域。針對影像來產生一深度圖(depth map)，而深度圖的目的是要確定的像素是否屬於前景。例如，在深度圖中，屬於背景的像素的深度值為0，被手部偵測模組330所建立的身體遮罩所覆蓋的像素的深度值為0，且未被手部偵側模組330所建立之身體遮罩所覆蓋的像素的深度值為大於0的數值。也就是說，在深度圖中，屬於背景物體的像素的深度值會歸零，而屬於前景物體的像素則具有大於0的深度值。
在獲得深度資訊之後，指尖偵測模組340便可利用深度值來排除非指尖區域。底下搭配圖5來進行說明。首先，獲得指尖候選區域501的中心點作為參考點R，然後自參考點R的四個方向(上、下、左、右)分別獲得第一側點P1、第二側點P2、第三側點P3與第四側點P4。在此，第一側點P1、第二側點P2、第三側點P3與第四側點P4分別位於指尖候選區域501的外側。
假設H和W分別代表指尖候選區域501的高度和寬度。而第一側點P1與第二側點P2是由參考點R開始分別往上及往下取0.75×H所獲得的點。另外，第三側點P3與第四側點P4則是由參考點R開始分別往左及往右取0.9×W所獲得的點。上述0.75×H與0.9×W僅為舉例說明，在其他實施例中只要第一側點P1、第二側點 P2、第三側點P3與第四側點P4分別位於指尖候選區域501的外側即可。
在獲得四個側點之後，便自深度資訊(上述深度圖)中分別獲得第一側點P1、第二側點P2、第三側點P3與第四側點P4的第一深度值、第二深度值、第三深度值及第四深度值。接著，判斷第一深度值、第二深度值、第三深度值及第四深度值是否大於0。若第一深度值、第二深度值、第三深度值及第四深度值僅其中之一大於0，即判定指尖候選區域501與手部區域相連。進一步地說，經過處理過後的深度圖中，作為背景物體的像素，其深度值會歸零，而僅剩作為前景物體的像素具有大於0的深度數值。由於第一側點P1、第二側點P2、第三側點P3與第四側點P4已經過處理，倘若於第一、二、三、四側點中僅有一點屬於前景物體，即，第一至第四深度值中僅其中一個深度值大於0，則判定指尖候選區域501與手部區域相連。而在其他情況下，則判定指尖候選區域501未與手部區域相連。
另外，由於使用者的手指不可能皆為直立，在其他情況下亦可為歪斜。故，在以中心點獲得四個側點之後，還可進一步順時針旋轉或逆時針旋轉此四個側點，之後再依據旋轉後的這四個側點的深度值來判斷指尖候選區域是否與手部區域相連。舉例來說，圖6A及圖6B是依照本發明一實施例的判斷目標指尖區域方式的示意圖。圖6A為順時針旋轉，圖6B為逆時針旋轉。
在圖6A中，找出指尖候選區域60的中心點作為參考點R1，自參考點R1開始往上、下、左、右四個方向，在指尖候選區域 60的外側分別獲得第一側點601、第二側點602、第三側點603與第四側點604。接著，將第一側點601、第二側點602、第三側點603與第四側點604順時針選轉一角度θ 1後，重新獲得第一側點611、第二側點612、第三側點613與第四側點614。之後，倘若在第一側點611、第二側點612、第三側點613與第四側點614中只有一個側點的深度值大於0，即判定指尖候選區域60與手部區域相連。
同樣地，在圖6B中，找出指尖候選區域61的中心點作為參考點R2，自參考點R2開始往上、下、左、右四個方向，在指尖候選區域61的外側分別獲得第一側點621、第二側點622、第三側點623與第四側點624。接著，將第一側點621、第二側點622、第三側點623與第四側點624逆時針選轉一角度θ 2後，重新獲得第一側點631、第二側點632、第三側點633與第四側點634。之後，倘若在第一側點631、第二側點632、第三側點633與第四側點634中只有一個側點的深度值大於0，即判定指尖候選區域61與手部區域相連。
指尖追蹤模組350執行指尖追蹤程序，以追蹤使用者的手指。例如，首先指尖追蹤模組350利用角偵測(corner detection)在目標指尖區域中有效地找到多個良好的特徵點。而為了準確地分析使用者指尖的移動，取上述多個特徵點的質心來作為追蹤點。上述角偵測是一種在電腦視覺(computer vision)系統中用來擷取特徵並推斷影像內容的方法。角偵測一搬是用在移動偵測(motion detection)、影像追蹤(image registration)、視訊追蹤(video tracking)、物件識別(object recognition)等。
接著，首先指尖追蹤模組350執行一種連續影像的動態追蹤演算法，例如光流法(optical flow)。在此，採用Lucas-Kanade追蹤法來估計光流的變化，並使用影像金字塔(image pyramid)概念來擴展Lucas-Kanade追蹤法。影像金字塔(image pyramid)概念可以分析更快速的移動並獲得更準確的偏移(offset)。
點選事件辨識模組360執行點選事件辨識程序，藉此判斷使用者是否觸發了特定功能。一般而言，使用者若要在三維空間中以手指按下顯示單元130中的功能項目，大致可分為底下兩種行為。第一種行為，使用者的手指在上、下、左、右等方向並不會有大幅度的移動，而是往前方移動。第二種行為，指尖的頂端像素的深度值與其底端像素的深度值之間的差值會大於一個門檻值。
具體而言，點選事件辨識模組360自目前所接收的影像的目標指尖區域獲得第一追蹤點。接著，判斷第一追蹤點對應於顯示單元130中的顯示位置是否位於功能項目的位置。若第一追蹤點所對應的顯示位置位於功能項目的位置，則點選事件辨識模組360自前次所接收的影像的目標指尖區域取出第二追蹤點，接著，比對第一追蹤點與的第二追蹤點，以判斷是否發生點選事件。例如，比對第一追蹤點與該第二追蹤點之間的垂直軸位移量或水平軸位移量，並且依據深度資訊，比對第一追蹤點與第二追蹤點之間的深度變化量。
倘若前後兩張影像各自的追蹤點間的垂直軸位移量小於第 一預設值與水平軸位移量皆小於第二預設值、並且前後兩張影像各自的追蹤點間的深度變化量小於第三預設值，則點選事件辨識模組360判定發生點選事件。另一方面，倘若垂直軸位移量大於或等於第一預設值、水平軸位移量大於或等於第二預設值、及深度變化量大於或等於第三預設值其中至少一條件成立，則點選事件辨識模組360判定未發生點選事件。例如，藉由底下方程式(3)來判斷是否發生點選事件。
其中，(X_old,Y_old)為前次接收影像的第二追蹤點的座標，(X_new,Y_new)為目前接收影像的第一追蹤點的座標，|X_old-X_new|為水平軸位移量，而|Y_old-Y_new|為垂直軸位移量。另外，d_old為前次接收影像的第二追蹤點的深度值，d_new為目前接收影像的第一追蹤點的深度值，而|d_old-d_new|為深度變化量。而上述第一預設值、第二預設值及第三預設值在此分別舉例為10個像素、10個像素與0.5公分。
另外，判斷是否發生點選事件的步驟中還可進一步依據目前影像的兩個計算點來判斷是否發生點選事件。舉例來說，圖7是依照本發明一實施例的用以判斷點擊事件的示意圖。圖7所示為目前接收的影像中的手部區域，在獲得目標指尖區域710後，由指尖追蹤模組350來獲得第一追蹤點702。之後，在第一追蹤點702的上 方及下方分別取出兩個計算點，即，第一計算點701與第二計算點703。在此，第一追蹤點702位於第一計算點701與第二計算點703之間。接著，點選事件辨識模組360依據深度資訊，計算第一計算點701與第二計算點703的深度差值。若深度差值大於或等於第四預設值，則判定發生點選事件。若深度差值小於第四預設值，則判定未發生點選事件。例如，藉由底下方程式(4)來判斷是否發生點選事件。
其中，d_down表示位於第一追蹤點702的下方的第二計算點703的深度值，而d_up表示位於第一追蹤點702的上方的第一計算點701的深度值。而上述第四預設值在此舉例為1.2公分。
另外，值得一提的是，亦可結合上述方程式(3)、(4)來判斷是否發生點選事件。例如，在前後兩張影像各自的追蹤點之間的垂直軸位移量小於第一預設值、水平軸位移量小於第二預設值、且深度變化量小於第三預設值的情況下，若目前影像中的第一計算點701與第二計算點703之間的深度差值大於或等於第四預設值，才判定發生點選事件。也就是說，在垂直軸位移量(|Y_old-Y_new|)小於10個像素、水平軸位移量(|X_old-X_new|)小於10個像素、且深度變化量(|d_old-d_new|)小於0.5公分的情況下，若深度差值(d_down-d_up)大於或等於1.2公分，方可判定發生點選事件。
點選事件辨識模組360在判定發生點選事件後，處理單元 120便會去執行對應的功能。
上述實施方式不僅可用於一個使用者，當取像單元110的取像範圍內存在有多數人的情況下，在執行適當的處理之後，便可針對單一使用者來進行處理。具體而言，在影像中存在有多數人的情況下，為了區別出不重要(uninterested)的物件而獲得場景中可能的人體物件，背景去除模組310可進一步偵測影像中的多個待處理物件(例如多個人像區域)，並且依據影像的深度資訊，自這些待處理物件中濾除掉不重要物件。在此，可設定一深度門檻值來濾除不重要物件(例如距離過遠的使用者)。舉例來說，假設深度門檻值設為150公分，且假設影像中包括三個待測物件A、B、C，其對應的深度值分別為160公分、110公分以及140公分。據此，背景去除模組310便會將深度值大於預設深度值的待測物件A濾除，而保留深度值小於預設深度值的待測物件B、C。
之後，在人臉姿態估測模組320執行人臉姿態估測程序時，人臉姿態估測模組320在剩餘的待處理物件B、C中執行臉部偵測程序，而獲得多個人臉區域，並且依據影像的深度資訊，自這些人臉區域中取出目標人臉區域。在此，目標人臉區域的深度值為這些人臉區域的深度值中的最小值。即，越靠近取像單元110的使用者，其所獲得之人臉區域的深度值會越小。接著，人臉姿態估測模組320保留深度值為最小值的目標人臉區域所在的待處理物件B，而濾除其他的待處理物件C。也就是說，保留距離取像單元110最近的使用者對應於影像中的待處理物件。在此，取像單元110設置於顯示 單元130的附近。
此外，值得一提的是，上述實施例更可與擴增實境互動介面相結合，藉由手指的偵測使得手指可在三維空間中透過擴增實境互動介面與電腦互動。
舉例來說，圖8A及圖8B是依照本發明的結合擴增實境互動介面的操作方法的示意圖。底下搭配圖1來進行說明。在圖8A中，於顯示單元130中顯示擴增實境互動介面800。在擴增實境互動介面800中會顯示取像單元110目前所接收的影像。例如，取像單元110面向使用者來進行拍攝且設置於顯示單元130所在位置的附近(例如設置於顯示單元130的上方)，當在取像單元110的取像範圍內存在有使用者時，則在圖8A的擴增實境互動介面800所呈現的即時影像中亦會同步顯示此一使用者。據此，使用者可以透過觀看擴增實境互動介面800中對應的人像，來對應地操作擴增實境互動介面800。在此，關於使用者的手指辨識與點選事件的判斷可參照上述圖3所示的影像處理模組300的相關說明，在此省略不提。
當在影像中獲得目標人臉區域810時，如圖8A所示，擴增實境互動介面800中會顯示第一虛擬層，其中第一虛擬層包括至少一個功能項目。在本實施例中，第一虛擬層包括兩個功能項目820、830。其中，功能項目830是用以開啟第二虛擬層，功能項目820則是用來退出第一虛擬層。
當功能項目830被觸發時，如圖8B所示，在擴增實境互動介面800顯示第二虛擬層，其中第二虛擬層包括至少一個虛擬控制 介面。在圖8B中，第二虛擬層包括兩個虛擬控制介面840、850以及功能項目860。上述虛擬控制介面840例如為一選單，虛擬控制介面850為一虛擬鍵盤，功能項目860用來退出第二虛擬層，或直接關閉擴增實境互動介面800。而上述虛擬控制介面840、850所顯示的位置僅為舉例說明，並不以此為限。
據此，當使用者透過觀看對應於擴增實境互動介面800的人像，而在三維空間中來操作電子裝置100時，透過影像處理模組300根據使用者手指的運動軌跡，判斷其行為是否滿足所定義的點擊事件的條件(如上述方程式(3)、(4))，藉此可判斷使用者是否有意圖操作虛擬控制介面840或虛擬控制介面850、或者點擊功能項目860。
例如，使用者將其手指在三維空間進行移動，並透過擴增實境互動介面800而得知在影像中之人像的手指位置已對應至功能選項860的位置，此時使用者停止移動其手指，並在三維空間中執行點選手勢。進而，透過影像處理模組300便能夠判定發生點選事件，據此，圖8B的擴增實境互動介面800會返回至如圖8A所示的第一虛擬層或直接關閉擴增實境互動介面800(視功能項目860所設定的執行功能為準)。使用者亦可以上述相似的方式來操作虛擬控制介面840或虛擬控制介面850。
綜上所述，上述實施例提出一種互動式方法，藉由分析取像單元所獲得的影像來得知使用者的手指在三維空間中所傳遞的指令，而讓使用者與電子裝置產生互動。據此，使用者無需配戴或穿 著任何輔助裝備，例如手上不標記任何顏色記號(color marker)亦不穿戴任何感應手套(data glove)，即可利用手指來與電子裝置進行互動。此外，透過上述實施方式，亦無需事先設定體感設備的位置和限制使用者所處的環境，而可在自然環境下即時運作。並且，還可進一步結合擴增實境互動介面，藉此更方便讓使用者與電子裝置進行互動操作。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
S205~S235‧‧‧互動操作方法的各步驟

Claims (10)

  1. 一種電子裝置的互動式操作方法，包括：透過一取像單元擷取一影像序列；對該影像序列中的一影像執行一影像前處理；自該影像獲得一指尖候選區域；判斷該指尖候選區域是否與一手部區域相連；若該指尖候選區域與該手部區域相連，以該指尖候選區域作為一目標指尖區域；藉由持續追蹤該目標指尖區域，判斷是否發生一點選事件；以及在該點選事件發生時，執行在該電子裝置中所對應的一功能。
  2. 如申請專利範圍第1項所述的方法，其中該判斷該指尖候選區域是否與該手部區域相連的步驟包括：獲得該指尖候選區域的一中心點作為一參考點；自該參考點的四個方向分別獲得一第一側點、一第二側點、一第三側點與一第四側點，其中該第一側點、該第二側點、該第三側點與該第四側點分別位於該指尖候選區域的外側；自該影像的一深度資訊中獲得該第一側點、該第二側點、該第三側點與該第四側點的一第一深度值、一第二深度值、一第三深度值及一第四深度值；以及判斷該第一深度值、該第二深度值、該第三深度值及該第四深度值是否大於0； 在該第一深度值、一第二深度值、一第三深度值及一第四深度值僅其中之一大於0的情況下，判定該指尖候選區域與該手部區域相連；以及在其他情況下，判定該指尖候選區域未與該手部區域相連。
  3. 如申請專利範圍第1項所述的方法，更包括：自目前所接收的該影像的該目標指尖區域獲得一第一追蹤點；判斷該第一追蹤點對應於一顯示單元中的顯示位置是否位於一功能項目的位置；以及若該第一追蹤點所對應的該顯示位置位於該功能項目的位置，包括：自前次所接收的該影像的該目標指尖區域取出一第二追蹤點；以及比對該第一追蹤點與該第二追蹤點，以判斷是否發生該點選事件。
  4. 如申請專利範圍第3項所述的方法，其中比對該第一追蹤點與該第二追蹤點，以判斷是否發生該點選事件的步驟包括：比對該第一追蹤點與該第二追蹤點之間的一垂直軸位移量；比對該第一追蹤點與該第二追蹤點之間的一水平軸位移量；依據一深度資訊，比對該第一追蹤點與該第二追蹤點之間的一深度變化量； 倘若該垂直軸位移量小於一第一預設值、該水平軸位移量小於一第二預設值、且該深度變化量小於一第三預設值，則判定發生該點選事件；以及倘若該垂直軸位移量大於或等於該第一預設值、該水平軸位移量大於或等於該第二預設值、及該深度變化量大於或等於該第三預設值其中至少一條件成立，則判定未發生該點選事件。
  5. 如申請專利範圍第4項所述的方法，其中判斷是否發生該點選事件的步驟，更包括：基於該第一追蹤點，於目前所接收的該影像的該目標指尖區域中取出一第一計算點與一第二計算點，其中該第一追蹤點位於該第一計算點與該第二計算點之間；依據該深度資訊，計算該第一計算點與該第二計算點的一深度差值；在該垂直軸位移量小於該第一預設值、該水平軸位移量小於該第二預設值、且該深度變化量小於該第三預設值的情況下，若該深度差值大於或等於一第四預設值，則判定發生該點選事件；若該深度差值小於該第四預設值，則判定未發生該點選事件。
  6. 如申請專利範圍第1項所述的方法，更包括於一顯示單元中顯示一擴增實境互動介面；在該擴增實境互動介面中顯示所接收的該影像；於該影像中獲得一目標人臉區域時，在該擴增實境互動介面顯示一第一虛擬層，其中該第一虛擬層包括一功能項目； 當該功能項目被觸發時，在該擴增實境互動介面顯示一第二虛擬層，其中該第二虛擬層包括一虛擬控制介面。
  7. 如申請專利範圍第1項所述的方法，其中執行該影像前處理的步驟包括：執行一背景去除程序，包括：偵測該影像中的多個待處理物件；以及依據該影像的一深度資訊，自該些待處理物件濾除一個或多個不重要物件，其中該或該些不重要物件的一深度值大於一預設深度值。
  8. 如申請專利範圍第7項所述的方法，其中在執行該背景去除程序的步驟之後，更包括：執行一人臉姿態估測程序，包括：在剩餘的該些待處理物件中執行一臉部偵測程序，而獲得多個人臉區域；依據該影像的該深度資訊，自該些人臉區域中取出一目標人臉區域，其中該目標人臉區域的該深度值為該些人臉區域的深度值中的最小值；以及保留該深度值為小值的該目標人臉區域所在的該些待處理物件其中之一，而濾除其他的待處理物件。
  9. 如申請專利範圍第8項所述的方法，其中在執行該人臉姿態估測程序的步驟之後，更包括：執行一手部偵測程序，包括： 利用一膚色偵測演算法，獲得該手部區域。
  10. 如申請專利範圍第9項所述的方法，其中在執行該手部偵測程序的步驟之後，更包括：執行一指尖偵測程序，以獲得該指尖候選區域。
TW102136408A 2013-10-08 2013-10-08 互動式操作方法 TWI499966B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW102136408A TWI499966B (zh) 2013-10-08 2013-10-08 互動式操作方法
US14/133,650 US9256324B2 (en) 2013-10-08 2013-12-19 Interactive operation method of electronic apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW102136408A TWI499966B (zh) 2013-10-08 2013-10-08 互動式操作方法

Publications (2)

Publication Number Publication Date
TW201514830A true TW201514830A (zh) 2015-04-16
TWI499966B TWI499966B (zh) 2015-09-11

Family

ID=52776565

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102136408A TWI499966B (zh) 2013-10-08 2013-10-08 互動式操作方法

Country Status (2)

Country Link
US (1) US9256324B2 (zh)
TW (1) TWI499966B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI637363B (zh) * 2017-07-26 2018-10-01 銘傳大學 擴增實境之人機互動系統
CN111199169A (zh) * 2018-11-16 2020-05-26 北京微播视界科技有限公司 图像处理方法和装置
US11054912B2 (en) 2016-10-09 2021-07-06 Advanced New Technologies Co., Ltd. Three-dimensional graphical user interface for informational input in virtual reality environment
TWI734237B (zh) * 2019-10-29 2021-07-21 財團法人金屬工業研究發展中心 自動控制方法以及自動控制裝置

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6334715B2 (ja) * 2014-01-31 2018-05-30 エンパイア テクノロジー ディベロップメント エルエルシー 拡張現実スキンの評価
US10192359B2 (en) 2014-01-31 2019-01-29 Empire Technology Development, Llc Subject selected augmented reality skin
WO2015116179A1 (en) 2014-01-31 2015-08-06 Empire Technology Development, Llc Augmented reality skin manager
EP3100240B1 (en) 2014-01-31 2018-10-31 Empire Technology Development LLC Evaluation of augmented reality skins
US20160357319A1 (en) * 2015-06-02 2016-12-08 Samsung Electronics Co., Ltd. Electronic device and method for controlling the electronic device
TWI588672B (zh) * 2015-08-04 2017-06-21 逢甲大學 虛擬園區之體感探索互動系統及方法
US10531162B2 (en) * 2015-11-04 2020-01-07 Cj Enm Co., Ltd. Real-time integrated data mapping device and method for product coordinates tracking data in image content of multi-users
CN106920251A (zh) 2016-06-23 2017-07-04 阿里巴巴集团控股有限公司 人手检测跟踪方法及装置
CN110120062B (zh) * 2018-02-06 2023-07-07 广东虚拟现实科技有限公司 图像处理方法及装置
CN110874179B (zh) * 2018-09-03 2021-09-14 京东方科技集团股份有限公司 指尖检测方法、指尖检测装置、指尖检测设备及介质
US10867441B2 (en) * 2019-02-15 2020-12-15 Microsoft Technology Licensing, Llc Method and apparatus for prefetching data items to a cache
US20220043622A1 (en) * 2020-08-07 2022-02-10 Mursion, Inc. Systems and methods for collaborating physical-virtual interfaces
CN112068699A (zh) * 2020-08-31 2020-12-11 北京市商汤科技开发有限公司 一种交互方法、装置、电子设备和存储介质

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7874917B2 (en) 2003-09-15 2011-01-25 Sony Computer Entertainment Inc. Methods and systems for enabling depth and direction detection when interfacing with a computer program
US8230367B2 (en) * 2007-09-14 2012-07-24 Intellectual Ventures Holding 67 Llc Gesture-based user interactions with status indicators for acceptable inputs in volumetric zones
TWI366780B (en) * 2008-05-16 2012-06-21 Tatung Co A video based apparatus and method for controlling the cursor
TW201019241A (en) 2008-11-14 2010-05-16 Topseed Technology Corp Method for identifying and tracing gesture
JP4771183B2 (ja) * 2009-01-30 2011-09-14 株式会社デンソー 操作装置
TWI489317B (zh) 2009-12-10 2015-06-21 Tatung Co 電子裝置的操作方法及系統
TW201228332A (en) * 2010-12-20 2012-07-01 Hui-Chuan Chien Mobile electronic device
US9030425B2 (en) * 2011-04-19 2015-05-12 Sony Computer Entertainment Inc. Detection of interaction with virtual object from finger color change
US8897491B2 (en) 2011-06-06 2014-11-25 Microsoft Corporation System for finger recognition and tracking
WO2013035554A1 (ja) * 2011-09-07 2013-03-14 日東電工株式会社 入力体の動き検出方法およびそれを用いた入力デバイス
CN108095761B (zh) * 2012-03-07 2021-10-15 齐特奥股份有限公司 空间对准设备、空间对准***及用于指导医疗过程的方法
EP2680228B1 (en) * 2012-06-25 2014-11-26 Softkinetic Software Improvements in or relating to three dimensional close interactions.

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11054912B2 (en) 2016-10-09 2021-07-06 Advanced New Technologies Co., Ltd. Three-dimensional graphical user interface for informational input in virtual reality environment
TWI637363B (zh) * 2017-07-26 2018-10-01 銘傳大學 擴增實境之人機互動系統
CN111199169A (zh) * 2018-11-16 2020-05-26 北京微播视界科技有限公司 图像处理方法和装置
TWI734237B (zh) * 2019-10-29 2021-07-21 財團法人金屬工業研究發展中心 自動控制方法以及自動控制裝置

Also Published As

Publication number Publication date
TWI499966B (zh) 2015-09-11
US9256324B2 (en) 2016-02-09
US20150097812A1 (en) 2015-04-09

Similar Documents

Publication Publication Date Title
TWI499966B (zh) 互動式操作方法
US8787663B2 (en) Tracking body parts by combined color image and depth processing
JP6417702B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
US8897490B2 (en) Vision-based user interface and related method
Huang et al. Deepfinger: A cascade convolutional neuron network approach to finger key point detection in egocentric vision with mobile camera
WO2012036790A1 (en) Gesture recognition system for tv control
WO2014008939A1 (en) Gesture-based user interface
CN110297545B (zh) 手势控制方法、手势控制装置和***、以及存储介质
Guo Research of hand positioning and gesture recognition based on binocular vision
JP2007052609A (ja) 手領域検出装置及び手領域検出方法、並びにプログラム
Raheja et al. Hand gesture pointing location detection
EP3035242B1 (en) Method and electronic device for object tracking in a light-field capture
Mohatta et al. Robust hand gestural interaction for smartphone based AR/VR applications
JP2014029656A (ja) 画像処理装置および画像処理方法
KR101465894B1 (ko) 손가락에 부착한 마커를 이용하여 제어 명령을 생성하는 이동 단말 및 손가락에 부착한 마커를 이용하여 단말에서 제어 명령을 생성하는 방법
Gu et al. Hand gesture interface based on improved adaptive hand area detection and contour signature
Hartanto et al. Real time hand gesture movements tracking and recognizing system
CN108521594A (zh) 一种基于体感相机手势识别的自由视点视频播放方法
Akman et al. Multi-cue hand detection and tracking for a head-mounted augmented reality system
Brancati et al. Robust fingertip detection in egocentric vision under varying illumination conditions
CN111831123A (zh) 一种适用于桌面混合现实环境的手势交互方法及***
JP2012003724A (ja) 三次元指先位置検出方法、三次元指先位置検出装置、及びプログラム
Reza et al. Real time mouse cursor control based on bare finger movement using webcam to improve HCI
Shaker et al. Real-time finger tracking for interaction
Yeh et al. Vision-based virtual control mechanism via hand gesture recognition

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees