TWI717141B - 手勢辨識方法及行動裝置 - Google Patents
手勢辨識方法及行動裝置 Download PDFInfo
- Publication number
- TWI717141B TWI717141B TW108144983A TW108144983A TWI717141B TW I717141 B TWI717141 B TW I717141B TW 108144983 A TW108144983 A TW 108144983A TW 108144983 A TW108144983 A TW 108144983A TW I717141 B TWI717141 B TW I717141B
- Authority
- TW
- Taiwan
- Prior art keywords
- gesture
- light intensity
- gesture recognition
- image
- mobile device
- Prior art date
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
本發明提供一種手勢辨識方法及行動裝置。所述方法包括:取得第一影像,並基於第一影像判定第一環境光強度;找出第一環境光強度中所屬的第一亮度級別;選擇對應於第一亮度級別的第一手勢辨識模型;以第一手勢辨識模型辨識出現於第一影像中的第一手勢。
Description
本發明是有關於一種影像辨識技術,且特別是有關於一種手勢辨識方法及行動裝置。
隨著科技的發展,現今已有許多可讓使用者以輸入手勢的方式來控制電子裝置的機制。然而,由於現有的手勢辨識機制多半未因應於環境光強度的變化而選用不同的手勢辨識機制,從而令手勢辨識的效果不彰。
有鑑於此,本發明提供一種手勢辨識方法及行動裝置,其可用於解決上述技術問題。
本發明提供一種手勢辨識方法,適於一行動裝置,包括:取得一第一影像,並基於第一影像判定一第一環境光強度;從多個預設亮度級別中找出第一環境光強度中所屬的一第一亮度級別,其中前述預設亮度級別個別對應於多個手勢辨識模型;從前述手勢辨識模型中選擇對應於第一亮度級別的一第一手勢辨識模型;以第一手勢辨識模型辨識出現於第一影像中的一第一手勢。
本發明提供一種行動裝置,其包括取像電路及處理器。處理器耦接取像電路,並經配置以:控制取像電路取得第一影像,並基於第一影像判定一第一環境光強度;從多個預設亮度級別中找出第一環境光強度中所屬的一第一亮度級別,其中前述預設亮度級別個別對應於多個手勢辨識模型;從前述手勢辨識模型中選擇對應於第一亮度級別的一第一手勢辨識模型;以第一手勢辨識模型辨識出現於第一影像中的一第一手勢。
為讓本發明的上述特徵和優點能更明顯易懂,下文特舉實施例,並配合所附圖式作詳細說明如下。
概略而言,本發明的行動裝置可儲存有對應於不同預設亮度級別的多個手勢辨識模型,藉以在判定影像中的環境光強度之後,選用對應的手勢辨識模型來進行手勢辨識,藉以提升辨識的準確度,其細節詳述如下。
請參照圖1,其是依據本發明之一實施例繪示的行動裝置示意圖。在本發明的實施例中,行動裝置100例如是智慧眼鏡、智慧型手機、平板電腦或其他類似的智慧型裝置,但可不限於此。如圖1所示,行動裝置100可包括取像電路102及處理器104。取像電路102例如是電荷耦合元件(Charge coupled device,CCD)鏡頭、互補式金氧半電晶體(Complementary metal oxide semiconductor transistors,CMOS)鏡頭或其他任何可用於拍攝/擷取影像的電路,但可不限於此。
處理器104耦接於取像電路102,並可為一般用途處理器、特殊用途處理器、傳統的處理器、數位訊號處理器、多個微處理器(microprocessor)、一個或多個結合數位訊號處理器核心的微處理器、控制器、微控制器、特殊應用積體電路(Application Specific Integrated Circuit,ASIC)、現場可程式閘陣列電路(Field Programmable Gate Array,FPGA)、任何其他種類的積體電路、狀態機、基於進階精簡指令集機器(Advanced RISC Machine,ARM)的處理器以及類似品。
在本發明的實施例中,處理器104可藉由存取/執行特定的模組、程式碼來實現本發明提出的手勢辨識方法,其細節詳述如下。
請參照圖2,其是依據本發明之一實施例繪示的手勢辨識方法流程圖。本實施例的方法可由圖1的行動裝置100執行,以下即搭配圖1所示的元件說明圖2各步驟的細節。
首先,在步驟S210中,處理器104可控制取像電路102取得第一影像,並基於第一影像判定第一環境光強度。在一實施例中,處理器104例如可調用適當的光強度辨識應用程式介面(application programming interface,API)(例如Android系統中的ARCore LightEstimate getPixelIntensity()的API)來判定第一影像所對應的第一環境光強度,但可不限於此。
之後,在步驟S220中,處理器104可從多個預設亮度級別中找出第一環境光強度中所屬的第一亮度級別,其中前述預設亮度級別個別對應於多個手勢辨識模型。
在一實施例中,上述手勢辨識模型可由其他裝置(例如電腦裝置)經過一定的訓練過程之後所產生,並提供予行動裝置100使用。為便於理解,以下將假設本發明所考慮的預設亮度級別包括明亮級別、一般級別及昏暗級別,且其個別對應於一亮度範圍。但其並非用以限定本發明可能的實施方式。
具體而言,在上述訓練過程中,電腦裝置可先取得一批訓練影像資料,其可包括對應於不同環境光強度的各式手勢影像。之後,對於每個訓練影像資料,電腦裝置可調用適當的光強度辨識API(例如上述LightEstimate getPixelIntensity()的API),以取得各訓練影像資料對應的環境光強度(以
表示),並據以將各訓練影像資料分為對應於上述預設亮度級別的多個訓練資料群組。例如,電腦裝置可將
高於0.7的訓練影像資料歸類至對應於明亮級別的第一訓練資料群組,以及將
介於0.4及0.7之間的訓練影像資料歸類至對應於一般級別的第二訓練資料群組。針對
介於0.15及0.4之間的訓練影像資料,電腦裝置可將其歸類至對應於昏暗級別的第三訓練資料群組,但可不限於此。
在取得對應於明亮級別、一般級別及昏暗級別等預設亮度級別的第一、第二及第三訓練資料群組之後,電腦裝置可基於各訓練資料群組訓練對應的手勢辨識模型。例如,電腦裝置可利用第一訓練資料群組訓練一第一卷積網路模型,以產生對應於明亮級別的手勢辨識模型。另外,電腦裝置可利用第二訓練資料群組訓練一第二卷積網路模型,以產生對應於明亮級別的手勢辨識模型。再者,電腦裝置可利用第三訓練資料群組訓練一第三卷積網路模型,以產生對應於明亮級別的手勢辨識模型。
在一實施例中,對於各訓練資料群組,電腦裝置可使用TensorFlow Lite建立輕量化靜態手勢的多層卷積網路模型,其例如包括N個卷積層作為特徵提取層,而每一個卷積層代表了進行一次的卷積(Convolution2D)、一次的批次正規化(Batch Normalization)與一次的線性整流函數(ReLU)以增加非線性特性。在一實施例中,接續卷積層的輸出層可回歸出176個值,其分別代表著八個預設錨箱,其長與寬的像素值分別為(2.26, 3.78)、(2.89,5.77)、(3.25, 4.01)、(3.63, 5.38)、(3.85, 6.79)、(4.56, 4.38)、(4.81, 7.65)、(5.29, 5.36)與其對應之座標值、物件信心值與各類別之分別的信心值,以賦予其辨別多種手勢(例如圖3所例示的17種手勢(即,手勢0~16))之能力。
在一實施例中,電腦裝置還可使用imgaug套件並編寫相關自動化程式處理每一張蒐集的訓練影像資料,而相關的處理項目例如包括:左右翻轉(Fliplr)、上下左右平移(translate)、縮放(scale)、模糊(GaussianBlur, averageBlur, MedianBlur)、雜訊(AdditiveGaussianNoise)、挖空(Dropout)、明暗度(Add, Multiply)、增加對比度(ContrastNormalization),但可不限於此。
換言之,上述對應於各預設亮度級別的手勢辨識模型皆可用於辨識各式手勢(例如圖3所例示的17種手勢),惟所對應的環境光強度有所不同。並且,在完成上述手勢辨識模型的訓練之後,電腦裝置可將各手勢辨識模型以TensorFlow Lite轉換器進行壓縮,並將壓縮後的手勢辨識模型提供予行動裝置100,以讓行動裝置100據以進行手勢辨識操作,但可不限於此。
在一實施例中,上述手勢辨識模型個別可包括N個卷積層及1個輸出層,且N例如是小於等於15的正整數。在一較佳實施例中,N例如可小於等於12。在一實施例中,N可等於10,而其相應的配置可如下表1所示。
表1
在本發明的實施例中,由於所採用的卷積層數量較少,故可令行動裝置100能夠以較佳的效率進行後續的手勢辨識操作。
類型 | 神經元數量 | 步幅 | 輸出維度 |
卷積層1 | 32 | 2 | 112x112 |
卷積層2 | 32 | 1 | 112x112 |
卷積層3 | 64 | 2 | 56x56 |
卷積層4 | 32 | 1 | 56x56 |
卷積層5 | 128 | 2 | 28x28 |
卷積層6 | 61 | 1 | 28x28 |
卷積層7 | 256 | 2 | 14x14 |
卷積層8 | 128 | 1 | 14x14 |
卷積層9 | 256 | 2 | 7x7 |
卷積層10 | 256 | 1 | 7x7 |
輸出層 | 8(4+1+17)=176 | 1 | 7x7 |
因此,在取得第一影像對應的第一環境光強度之後,處理器104例如可判定其位於上述預設亮度級別中何者的亮度範圍內,以決定第一環境光強度對應的第一亮度級別。例如,若第一環境光強度高於0.7,則第一環境光強度對應的第一亮度級別例如是明亮級別。若第一環境光強度介於0.4及0.7,則第一環境光強度對應的第一亮度級別例如是一般級別。第一環境光強度0.15及0.4,則第一環境光強度對應的第一亮度級別例如是昏暗級別,但可不限於此。
接著,在步驟S230中,處理器104可從前述手勢辨識模型中選擇對應於第一亮度級別的第一手勢辨識模型。亦即,處理器104可從對應於明亮級別、一般級別及昏暗級別的手勢辨識模型中,取出對應於第一亮度級別的手勢辨識模型作為第一手勢辨識模型。
之後,在步驟S240中,處理器104可以第一手勢辨識模型辨識出現於第一影像中的第一手勢。
由上可知,本發明的行動裝置100可依據影像所對應的環境光強度選用對應的手勢辨識模型,藉以達到較佳的手勢辨識效果。
此外,在一些實施例中,由於行動裝置100周圍的環境光強度可能隨時間而改變,故本發明更提出了替換所採用的手勢辨識模型的機制,以適應性地依據當下的環境光強度選用適合的手勢辨識模型,相關細節將輔以圖4作說明。
請參照圖4,其是依據本發明之一實施例繪示的適應性替換手勢辨識模型的流程圖。在本實施例中,在選用第一手勢辨識模型進行手勢辨識操作之後,處理器104可接著在步驟S401中控制取像電路102取得多個第二影像,並判定前述第二影像對應的多個第二環境光強度。之後,在步驟S402中,處理器104可以第一手勢辨識模型辨識出現於前述第二影像中的多個第二手勢,其中前述第二手勢個別對應於多個辨識信心值(即第一手勢辨識模型對於各第二手勢的辨識信心程度)。
接著,在步驟S403中,處理器104可對前述辨識信心值執行第一K-means演算法,以將前述辨識信心值區分為多個信心值群組。在一實施例中,處理器104可將上述辨識信心值依對應的時間繪製為一圖式,此圖式的橫軸例如是時間,縱軸例如是辨識信心值。之後,處理器104可基於此圖式的內容執行第一K-means演算法,以將對應於不同時間的辨識信心值區分為多個(例如K1個)信心值群組。
接著,處理器104可在步驟S404中取得各信心值群組中的信心參考值(例如是各信心值群組的質心,但可不限於此),並據以估計前述信心值群組對應的信心平均值。亦即,處理器104可計算各信心值群組中的信心參考值(共K1個)的平均值作為上述信心平均值。
之後,處理器104可在步驟S405判斷此信心平均值是否高於一信心門限值(例如0.65)。在一實施例中,反應於處理器104判定信心平均值高於一信心門限值,此代表第一手勢辨識模型的辨識效果仍具一定水準,故處理器104可執行步驟S406以判定不需更換第一手勢辨識模型。然而,在另一實施例中,若處理器104判定信心平均值未高於信心門限值,此代表第一手勢辨識模型的辨識效果已逐漸下降,故處理器104可進一步執行以下手段以決定是否替換第一手勢辨識模型。
具體而言,處理器104可在步驟S407中對前述第二影像對應的前述第二環境光強度執行第二K-means演算法,以將前述第二環境光強度區分為多個光強度群組。在一實施例中,處理器104可將上述第二環境光強度依對應的時間繪製為一圖式,此圖式的橫軸例如是時間,縱軸例如是環境光強度。之後,處理器104可基於此圖式的內容執行第二K-means演算法,以將對應於不同時間的第二環境光強度區分為多個(例如K2個)光強度群組。
之後,處理器104可在步驟S408取得各光強度群組中的光強度參考值(例如是各光強度群組的質心,但可不限於此),並據以估計前述光強度群組對應的光強度平均值。亦即,處理器104可計算各光強度群組中的光強度參考值(共K2個)的平均值作為上述光強度平均值。
接著,處理器104可在步驟S409判斷此光強度平均值是否低於一光強度門限值(例如0.15)。若是,此即代表當下的環境光強度可能已過於低落,不適於進行後續的手勢辨識操作,故處理器104可在步驟S410中判定停止執行手勢辨識操作。
另外,若處理器104判定光強度平均值未低於光強度門限值,則處理器104可在步驟S411中判斷光強度平均值是否屬於第一亮度級別。若是,即代表第一手勢辨識模型仍適用於當下的環境,故處理器104可執行步驟S406以判定不需更換第一手勢辨識模型。在一實施例中,處理器104可進一步將所考慮的第二影像擷取並發送至後端影像庫伺服器,以進一步分析辨識信心值不高的原因,但可不限於此。
另一方面,若處理器104判定光強度平均值不屬於第一亮度級別,此即代表第一手勢辨識模型已不適用於當下的環境。因此,處理器104可執行步驟S412以從前述預設亮度級別中找出光強度平均值所屬的第二亮度級別,並從前述手勢辨識模型中選擇對應於第二亮度級別的第二手勢辨識模型,而此步驟的作法類似於步驟S220,故此處不再另行贅述。之後,處理器104可在步驟S413中以第二手勢辨識模型取代第一手勢辨識模型,並接續執行手勢辨識操作。
由上可知,本發明還可適應性地依據當下的環境光變化改變所選用的手勢辨識模型,藉以在各式環境中皆具有較佳的辨識效果。
請參照圖5,其是依據本發明之一實施例繪示的應用情境圖。在本實施例中,假設參觀民眾佩戴有本發明提出的行動裝置100(例如AR眼鏡)於展覽館內移動。當參觀民眾移動至昏暗環境中,本發明的行動裝置100可自動地選用對應的手勢辨識模型(例如是對應於昏暗級別的模型)來進行手勢辨識操作。之後,當參觀民眾從昏暗環境移動至明亮環境之後,本發明的行動裝置100可自動地選用其他的手勢辨識模型(例如是對應於明亮級別的模型)來進行手勢辨識操作。藉此,本發明可以在各式不同亮度的環境中皆具有較佳的辨識效果。
在其他實施例中,本發明還可因應於所偵測到的手勢調整控制行動裝置100的方式,以下將作進一步說明。
概略而言,本發明的行動裝置100所進行的手勢辨識操作大致可具有以下三種模式:靜態手勢模式、動態手勢模式及滑鼠手勢模式。在靜態手勢中,行動裝置100可依據所偵測到的手勢執行對應的單一特定操作。在一實施例中,假設行動裝置100於靜態手勢模式中偵測到使用者輸入第一預設手勢(例如圖3的手勢1),並以特定方式(例如大幅橫移)移動第一預設手勢,則行動裝置100可從靜態手勢模式切換為滑鼠手勢模式。
在滑鼠手勢模式中,行動裝置100可擷取使用者手勢中手指頭的移動軌跡,並相應地將此移動軌跡顯示於顯示器上,以供使用者參考。在一實施例中,假設行動裝置100於滑鼠手勢模式中偵測到使用者輸入第二預設手勢(例如圖3的手勢7),則行動裝置100可從滑鼠手勢模式切換為靜態手勢模式。
另外,假設行動裝置100於靜態手勢模式中偵測到使用者輸入無大幅移動的第三預設手勢(例如圖3的手勢5),則行動裝置100可從靜態手勢模式切換為動態手勢模式。在動態手勢模式中,行動裝置100可依據使用者手勢的揮動方向切換行動裝置100所顯示的頁面,但可不限於此。
以上各手勢模式的相關細節進一步說明如下。為便於說明,以下假設行動裝置100預設為處於靜態手勢模式,但本發明可不限於此。在靜態手勢模式中,處理器104可控制取像電路102取得多個第三影像,並辨識出現於前述第三影像中的多個第三手勢及各第三手勢在對應的第三影像中的手部位置。
在一實施例中,反應於判定前述第三手勢皆對應於第一預設手勢(例如圖3的手勢1),且各第三影像中的手部位置(例如指尖位置)呈現的移動情形符合第一預設條件,處理器104可將行動裝置100從靜態手勢模式切換為滑鼠手勢模式。在一實施例中,處理器104可取得第一預設手勢的指尖在連續的10張第三影像中的位置,並依時間取得這些位置兩兩之間的位移值(共9個)。若這些位移值中有5個超過一閾值,則處理器104可判定各第三影像中的手部位置呈現的移動情形符合第一預設條件,進而將行動裝置100從靜態手勢模式切換為滑鼠手勢模式。
在滑鼠手勢模式中,處理器104可控制取像電路102取得多個第四影像,並辨識出現於前述第四影像中的多個第四手勢及各第四手勢在對應的第四影像中的手部位置。之後,處理器104可依據各第四手勢在對應的第四影像中的手部位置(例如指尖位置)在行動裝置上呈現移動軌跡。
此外,在滑鼠手勢模式中,若處理器104判定偵測到對應於第二預設手勢(例如圖3中的手勢7)的第四手勢,則處理器104可將行動裝置100從滑鼠手勢模式切換為靜態手勢模式。
在一實施例中,在靜態手勢模式中,反應於處理器104判定前述第三手勢中連續的多個手勢皆對應於一第三預設手勢(例如圖3的手勢5),且前述手勢對應的手部位置呈現的移動情形符合一第二預設條件,將行動裝置100從靜態手勢模式切換為一動態手勢模式。在一實施例中,若處理器104偵測到連續10張對應於手勢5的影像,且手勢5的位置在此10張影像中皆無大幅變化,則處理器104可判定上述手勢對應的手部位置呈現的移動情形符合第二預設條件,進而將行動裝置100從靜態手勢模式切換為動態手勢模式。
在動態手勢模式中,處理器104可控制取像電路102取得多個第五影像,並辨識出現於前述第五影像中的多個第五手勢及各第五手勢在對應的第五影像中的手部位置。之後,處理器104可依據各第五手勢在對應的第五影像中的手部位置的移動方向切換行動裝置的顯示頁面。
在一實施例中,在動態手勢模式中,處理器104可在判定使用者手勢的揮動方向之後,相應地回傳下、上、左、右等四種方向資料。並且,當手勢在連續多個第五影像中出現大幅度移動,處理器104可相應地切換行動裝置100所顯示的頁面。在一實施例中,當手勢的移動幅度達到螢幕的長、寬的三分之一時,可判定為手勢已出現大幅度移動,但可不限於此。在此情況下,假設螢幕長300、寬600,則當手勢在螢幕中揮動往左或往右超過200時即可觸發左揮或右揮,而上下揮動超過100時即可觸發上或下揮。
此外,為了達成可以連續右揮而不是一直產生左右揮動,我們在每次揮動被觸發時都會有M幀停止偵測,讓我們可以完成如同翻書一樣的連續同方向揮動。
請參照圖6,其是依據本發明之一實施例繪示的動態手勢模式的應用情境示意圖。在本實施例中,假設在時間點T1~T5分別偵測到影像611~616。如圖6所示,在時間點T4時,由影像614中手勢位置(即,座標(100, 150))及影像611中的手勢位置(即,座標(100, 50)),影像614中手勢對應的變化量為(0, 100)。假設螢幕的寬度為300,則可知時間點T4的手勢已被大幅度(向右)移動,故處理器104可判定使用者已輸入右揮的手勢,並可相應地進行換頁等操作,但可不限於此。並且,在時間點T5及T6中,處理器104可停止辨識手勢,以實現連續揮動的效果。
此外,在一實施例中,若處理器104判定上述第五手勢之一對應於第二預設手勢,則處理器104可將行動裝置104從動態手勢模式切換為靜態手勢模式,但可不限於此。
請參照圖7,其是依據本發明之一實施例繪示的靜態/動態手勢模式的示意圖。在本實施例中,使用者例如可藉由輸入圖7左下角的三種手勢之一來進行所需的操作。例如,使用者可輸入圖3的手勢9來執行「選擇設備」的功能,或是藉由輸入圖3的手勢12來執行「呼叫專家」的功能。此外,使用者亦可藉由輸入手勢5(即,第三預設手勢)來讓處理器104相應地將行動裝置100切換為動態手勢模式。在此情況下,使用者即可藉由左、右揮動手勢來切換行動裝置100所顯示的設備頁面。
請參照圖8,其是依據本發明之一實施例繪示的滑鼠手勢模式示意圖。如圖8所示,在滑鼠手勢模式中,行動裝置100可依據使用者手勢的移動而相應地在所顯示的畫面800上顯示對應的移動軌跡810。
綜上所述,本發明透過多層感知器神經網路與光源強度偵測技術發展一套適應各種光源環境來達成靜動態手勢控制的方法並可提高辨識手勢控制正確率與成功率。利用手和手指的姿勢及追蹤手指位置與虛擬裝置互動來取代電腦滑鼠的控制,讓人機互動應用更為直覺與方便,來取代實體滑鼠、鍵盤等傳統控制設備。
並且,本發明至少具有以下特點:(1)可讓使用者不需要實體裝置以手勢方式來達成不同裝置間的切換與互動;(2)利用多層感知器神經網路,透過深度卷積神經模型自動學習手部的影像特徵,偵測出影像中手部、手部姿勢及辨識追蹤其位置跟位移方向,並且利用追蹤手指及辨識手勢的技術與虛擬裝置互動;(3)透過對環境光源強度偵測載入適合的手勢偵測模型,有效提升手勢辨識正確率與手勢控制成功率。
雖然本發明已以實施例揭露如上,然其並非用以限定本發明,任何所屬技術領域中具有通常知識者,在不脫離本發明的精神和範圍內,當可作些許的更動與潤飾,故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
100:行動裝置
102:取像電路
104:處理器
611~616:影像
800:畫面
810:移動軌跡
S210~S240、S411~S413:步驟
T1~T6:時間點
圖1是依據本發明之一實施例繪示的行動裝置示意圖。
圖2是依據本發明之一實施例繪示的手勢辨識方法流程圖。
圖3是依據本發明之一實施例繪示的各式手勢示意圖。
圖4是依據本發明之一實施例繪示的適應性替換手勢辨識模型的流程圖。
圖5是依據本發明之一實施例繪示的應用情境圖。
圖6是依據本發明之一實施例繪示的動態手勢模式的應用情境示意圖。
圖7是依據本發明之一實施例繪示的靜態/動態手勢模式的示意圖。
圖8是依據本發明之一實施例繪示的滑鼠手勢模式示意圖。
S210~S240:步驟
Claims (15)
- 一種手勢辨識方法,適於一行動裝置,包括: 取得一第一影像,並基於該第一影像判定一第一環境光強度; 從多個預設亮度級別中找出該第一環境光強度中所屬的一第一亮度級別,其中該些預設亮度級別個別對應於多個手勢辨識模型; 從該些手勢辨識模型中選擇對應於該第一亮度級別的一第一手勢辨識模型; 以該第一手勢辨識模型辨識出現於該第一影像中的一第一手勢。
- 如申請專利範圍第1項所述的方法,其中各該手勢辨識模型為一卷積網路模型,其包括N個卷積層及1個輸出層,其中N為小於等於15的正整數。
- 如申請專利範圍第2項所述的方法,其中N小於等於12。
- 如申請專利範圍第1項所述的方法,其中各該預設亮度級別對應於一亮度範圍,各該預設亮度級別對應的該亮度範圍彼此不重疊,且反應於判定該第一環境光強度落於該第一亮度級別對應的該亮度範圍中,判定該第一環境光強度屬於該第一亮度級別。
- 如申請專利範圍第1項所述的方法,更包括: 取得多個第二影像,並判定該些第二影像對應的多個第二環境光強度; 以該第一手勢辨識模型辨識出現於該些第二影像中的多個第二手勢,其中該些第二手勢個別對應於多個辨識信心值; 對該些辨識信心值執行一第一K-means演算法,以將該些辨識信心值區分為多個信心值群組; 取得各該信心值群組中的一信心參考值,並據以估計該些信心值群組對應的一信心平均值; 反應於判定該信心平均值高於一信心門限值,判定不需更換該第一手勢辨識模型。
- 如申請專利範圍第5項所述的方法,其中該些第二影像個別對應於該些第二環境光強度,且反應於判定該信心平均值未高於該信心門限值,所述方法更包括: 對該些第二影像對應的該些第二環境光強度執行一第二K-means演算法,以將該些第二環境光強度區分為多個光強度群組; 取得各該光強度群組中的一光強度參考值,並據以估計該些光強度群組對應的一光強度平均值; 反應於判定該光強度平均值低於一光強度門限值,判定停止執行一手勢辨識操作。
- 如申請專利範圍第6項所述的方法,其中反應於判定該光強度平均值未低於該光強度門限值,所述方法更包括: 判斷該光強度平均值是否屬於該第一亮度級別; 反應於判定該光強度平均值屬於該第一亮度級別,判定不需更換該第一手勢辨識模型。
- 如申請專利範圍第7項所述的方法,其中反應於判定該光強度平均值不屬於該第一亮度級別,所述方法更包括: 從該些預設亮度級別中找出該光強度平均值所屬的一第二亮度級別,並從該些手勢辨識模型中選擇對應於該第二亮度級別的一第二手勢辨識模型; 以該第二手勢辨識模型取代該第一手勢辨識模型,並接續執行該手勢辨識操作。
- 如申請專利範圍第1項所述的方法,其中該行動裝置運作於一靜態手勢模式中,且所述方法更包括: 取得多個第三影像,並辨識出現於該些第三影像中的多個第三手勢及各該第三手勢在對應的該第三影像中的手部位置; 反應於判定該些第三手勢皆對應於一第一預設手勢,且各該第三影像中的該手部位置呈現的移動情形符合一第一預設條件,將該行動裝置從該靜態手勢模式切換為一滑鼠手勢模式。
- 如申請專利範圍第9項所述的方法,更包括: 取得多個第四影像,並辨識出現於該些第四影像中的多個第四手勢及各該第四手勢在對應的該第四影像中的手部位置; 依據各該第四手勢在對應的該第四影像中的手部位置在該行動裝置上呈現一移動軌跡。
- 如申請專利範圍第10項所述的方法,更包括: 反應於判定該些第四手勢之一對應於一第二預設手勢,將該行動裝置從該滑鼠手勢模式切換為該靜態手勢模式。
- 如申請專利範圍第9項所述的方法,更包括: 反應於判定該些第三手勢中連續的多個手勢皆對應於一第三預設手勢,且該些手勢對應的該手部位置呈現的移動情形符合一第二預設條件,將該行動裝置從該靜態手勢模式切換為一動態手勢模式。
- 如申請專利範圍第12項所述的方法,更包括: 取得多個第五影像,並辨識出現於該些第五影像中的多個第五手勢及各該第五手勢在對應的該第五影像中的手部位置; 依據各該第五手勢在對應的該第五影像中的手部位置的移動方向切換該行動裝置的一顯示頁面。
- 如申請專利範圍第13項所述的方法,更包括: 反應於判定該些第五手勢之一對應於一第二預設手勢,將該行動裝置從該動態手勢模式切換為該靜態手勢模式。
- 一種行動裝置,包括: 一取像電路;以及 一處理器,其耦接該取像電路,並經配置以: 控制該取像電路取得一第一影像,並基於該第一影像判定一第一環境光強度; 從多個預設亮度級別中找出該第一環境光強度中所屬的一第一亮度級別,其中該些預設亮度級別個別對應於多個手勢辨識模型; 從該些手勢辨識模型中選擇對應於該第一亮度級別的一第一手勢辨識模型; 以該第一手勢辨識模型辨識出現於該第一影像中的一第一手勢。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW108144983A TWI717141B (zh) | 2019-12-09 | 2019-12-09 | 手勢辨識方法及行動裝置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW108144983A TWI717141B (zh) | 2019-12-09 | 2019-12-09 | 手勢辨識方法及行動裝置 |
Publications (2)
Publication Number | Publication Date |
---|---|
TWI717141B true TWI717141B (zh) | 2021-01-21 |
TW202123070A TW202123070A (zh) | 2021-06-16 |
Family
ID=75237593
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW108144983A TWI717141B (zh) | 2019-12-09 | 2019-12-09 | 手勢辨識方法及行動裝置 |
Country Status (1)
Country | Link |
---|---|
TW (1) | TWI717141B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW201510772A (zh) * | 2013-09-09 | 2015-03-16 | Novatek Microelectronics Corp | 手勢判斷方法及電子裝置 |
US20160133024A1 (en) * | 2012-10-08 | 2016-05-12 | Pixart Imaging Inc. | Method and system for gesture identification based on object tracing |
CN107239727A (zh) * | 2016-12-07 | 2017-10-10 | 北京深鉴智能科技有限公司 | 手势识别方法和*** |
CN108197580A (zh) * | 2018-01-09 | 2018-06-22 | 吉林大学 | 一种基于3d卷积神经网络的手势识别方法 |
-
2019
- 2019-12-09 TW TW108144983A patent/TWI717141B/zh active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160133024A1 (en) * | 2012-10-08 | 2016-05-12 | Pixart Imaging Inc. | Method and system for gesture identification based on object tracing |
TW201510772A (zh) * | 2013-09-09 | 2015-03-16 | Novatek Microelectronics Corp | 手勢判斷方法及電子裝置 |
CN107239727A (zh) * | 2016-12-07 | 2017-10-10 | 北京深鉴智能科技有限公司 | 手势识别方法和*** |
CN108197580A (zh) * | 2018-01-09 | 2018-06-22 | 吉林大学 | 一种基于3d卷积神经网络的手势识别方法 |
Also Published As
Publication number | Publication date |
---|---|
TW202123070A (zh) | 2021-06-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
RU2711029C2 (ru) | Классификация касаний | |
JP5982000B2 (ja) | イベント基盤ビジョンセンサを用いた動作認識装置及び方法 | |
CN108595008B (zh) | 基于眼动控制的人机交互方法 | |
US9256324B2 (en) | Interactive operation method of electronic apparatus | |
WO2011151997A1 (en) | Information processing apparatus and method and program | |
US20100169840A1 (en) | Method For Recognizing And Tracing Gesture | |
US20130342636A1 (en) | Image-Based Real-Time Gesture Recognition | |
WO2009150522A1 (en) | Camera gestures for user interface control | |
CN105589553A (zh) | 一种智能设备的手势控制方法和*** | |
US20140369559A1 (en) | Image recognition method and image recognition system | |
US9525906B2 (en) | Display device and method of controlling the display device | |
Liang et al. | Turn any display into a touch screen using infrared optical technique | |
TWI717141B (zh) | 手勢辨識方法及行動裝置 | |
US20100271297A1 (en) | Non-contact touchpad apparatus and method for operating the same | |
US20220050528A1 (en) | Electronic device for simulating a mouse | |
CN114581535B (zh) | 图像中用户骨关键点标注方法、装置、存储介质及设备 | |
Khan et al. | Computer vision based mouse control using object detection and marker motion tracking | |
US11782548B1 (en) | Speed adapted touch detection | |
KR20190132885A (ko) | 영상으로부터 손을 검출하는 장치, 방법 및 컴퓨터 프로그램 | |
Nikhil et al. | Design and development of a DSP processor based reconfigurable hand Gesture Recognition System for real time applications | |
KR102107182B1 (ko) | 손 제스처 인식 시스템 및 방법 | |
US10620760B2 (en) | Touch motion tracking and reporting technique for slow touch movements | |
Yeh et al. | Virtual piano design via single-view video based on multifinger actions recognition | |
CN114967927B (zh) | 一种基于图像处理的智能手势交互方法 | |
Hsieh et al. | A High Efficient Hand Gesture-based Mouse Emulator for Embedded Devices |