TW201730813A - 具有深度資訊之影像處理方法及其電腦程式產品 - Google Patents

具有深度資訊之影像處理方法及其電腦程式產品 Download PDF

Info

Publication number
TW201730813A
TW201730813A TW105105845A TW105105845A TW201730813A TW 201730813 A TW201730813 A TW 201730813A TW 105105845 A TW105105845 A TW 105105845A TW 105105845 A TW105105845 A TW 105105845A TW 201730813 A TW201730813 A TW 201730813A
Authority
TW
Taiwan
Prior art keywords
image
template
processing method
gesture
image processing
Prior art date
Application number
TW105105845A
Other languages
English (en)
Inventor
郭峻因
簡柏宇
Original Assignee
國立交通大學
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 國立交通大學 filed Critical 國立交通大學
Priority to TW105105845A priority Critical patent/TW201730813A/zh
Priority to US15/187,487 priority patent/US9824263B2/en
Publication of TW201730813A publication Critical patent/TW201730813A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本發明提供一種具有深度資訊之影像處理方法，其是利用一過濾模板，擷取出一手勢區域並過濾影像；同時依據目前手勢區域內多個像素的色調值來調整過濾模板的自適應性門檻值，以及依據前一個時間點以及目前時間點間之景深值來調整下一個時間點過濾模板的模板大小。同時揭露一種具有深度資訊之影像處理電腦程式產品。

Description

具有深度資訊之影像處理方法及其電腦程式產品
本發明是有關一種手勢追蹤的影像處理方法，特別是一種在複雜背景中具深度資訊之影像處理方法及其電腦程式產品。
目前一般具深度資訊之手勢追蹤方法通常使用較高單價之影像擷取裝置或高度雜度之演算法，而無法用一般的相機鏡頭與較低複雜度的演算法以達到所要求之任務。此外，目前大部分的手勢追蹤演算法採用固定門檻值的膚色過濾模板做為前處理步驟，但僅僅使用傳統的膚色過濾模板無法在含有相近膚色的背景下維持系統的準確性及功能性。例如，在複雜背景中原木地板的顏色，可能被誤判為使用者的手部區域，而影響正確的手勢追蹤與辨識結果。
綜上所述，如何在複雜的背景或含有近似膚色區塊的背景下進行手勢追蹤與影像處理便是目前極需努力的目標。
本發明提供一種具有深度資訊之影像處理方法及其電腦程式產品，其是利用一過濾模板，擷取出一手勢區域並過濾影像；同時依據目前手勢區域內多個像素的色調值來調整過濾模板的自適應性門檻值，以及依據前一個時間點以及目前時間點間之景深值來調整下一個時間點過濾模板的模板大小，此影像處理方法有效截取手勢區域，提高後續應用的可能性。
本發明一實施例之一種具有深度資訊之影像處理方法，用以辨識來自一手勢之一第一影像以及一第二影像，影像處理方法包含：取得第一影像及第二影像中多個特徵點，並校正該第一影像及該第二影像，以產生一第一校正影像以及一第二校正影像；判斷第一校正影像以及第二校正影像中的一膚色存在區塊及一膚色可能存在區塊，並利用一過濾模版進行一過濾區塊分配，對第一校正影像與第二校正影像進行一二值化步驟以產生一第一二值化影像以及一第二二值化影像；偵測並追蹤第一二值化影像中的一第一移動區域以及偵測並追蹤第二二值化影像的一第二移動區域，以分別計算出第一移動區域與第二移動區域的一第一位置座標集合及一第二位置座標集合；比對第一位置座標集合及第二位置座標集合，以計算手勢之一深度值；以及比對當前的深度值與前一個時間點的深度值，以調整過濾模版於下一時間點之一模版大小。
本發明另一實施例之內儲具有深度資訊之影像處理程式之電腦程式產品，當電腦載入電腦程式可執行一影像處理方法。影像處理方法包含：取得第一影像及第二影像中多個特徵點，並校正該第一影像及該第二影像，以產生一第一校正影像以及一第二校正影像；判斷第一校正影像以及第二校正影像中的一膚色存在區塊及一膚色可能存在區塊，並利用一過濾模版進行一過濾區塊分配，對第一校正影像與第二校正影像進行一二值化步驟以產生一第一二值化影像以及一第二二值化影像；偵測並追蹤第一二值化影像中的一第一移動區域以及偵測並追蹤第二二值化影像的一第二移動區域，以分別計算出第一移動區域與第二移動區域的一第一位置座標集合及一第二位置座標集合；比對第一位置座標集合及第二位置座標集合，以計算手勢之一深度值；以及依據當前的深度值與前一個時間點的深度值間之一深度差值，調整過濾模版於下一時間點之一模版大小。
以下藉由具體實施例配合所附的圖式詳加說明，當更容易瞭解本發明之目的、技術內容、特點及其所達成之功效。
以下將詳述本發明之各實施例，並配合圖式作為例示。除了這些詳細說明之外，本發明亦可廣泛地施行於其它的實施例中，任何所述實施例的輕易替代、修改、等效變化都包含在本發明之範圍內，並以申請專利範圍為準。在說明書的描述中，為了使讀者對本發明有較完整的瞭解，提供了許多特定細節；然而，本發明可能在省略部分或全部特定細節的前提下，仍可實施。此外，眾所周知的步驟或元件並未描述於細節中，以避免對本發明形成不必要之限制。圖式中相同或類似之元件將以相同或類似符號來表示。特別注意的是，圖式僅為示意之用，並非代表元件實際之尺寸或數量，有些細節可能未完全繪出，以求圖式之簡潔。
請參照圖1，顯示本發明之一實施例之一種具有深度資訊之影像處理方法，用以辨識來自一手勢之一第一影像以及一第二影像。影響處理方法包含：首先，取得第一影像及第二影像中多個特徵點，並校正該第一影像及該第二影像，以產生一第一校正影像以及一第二校正影像(S11)；其次，判斷第一校正影像以及第二校正影像中的一膚色存在區塊及一膚色可能存在區塊，並利用一過濾模版進行一過濾區塊分配，對第一校正影像與第二校正影像進行一二值化步驟以產生一第一二值化影像以及一第二二值化影像(S12)；再來，偵測並追蹤第一二值化影像中的一第一移動區域以及偵測並追蹤第二二值化影像的一第二移動區域，以分別計算出第一移動區域與第二移動區域的一第一位置座標集合及一第二位置座標集合(S13)；接著，比對第一位置座標集合及第二位置座標集合，以計算手勢之一深度值(S14)；最後，比對當前的深度值與前一個時間點的深度值，以調整過濾模版於下一時間點之一模版大小(S15)。上述步驟之技術內容及其他實施例說明如下。
請參照圖2，用以說明圖1中影像校正步驟(S11)之詳細內容。於一實施例中，影像校正步驟包含先擷取第一影像以及第二影像(S111)。舉例而言，第一影像擷取裝置以及第二影像擷取裝置為左右並排設置的左視攝影機以及右視攝影機，藉由第一影像擷取裝置以及第二影像擷取裝置同時擷取一操作背景以產生第一影像以及第二影像。接著，依據第一影像及第二影像中多個像素之多個亮度值，求得二個影像中相似的多個特徵點(S112)。舉例而言，在第一影像中，依據多個像素之多個亮度值，藉由尺度不變特徵轉換法(Scale-invariant feature transform)，計算出多個特徵點；同理，在第二影中，可計算出多個特徵點。再來，將第一影像的多個特徵點與第二影像的多個特徵點進行配對(S113)。接著，藉由透視轉換法(Perspective Transform) 計算出轉換矩陣，將配對後多個特徵點投影到一二維參考平面(two-dimensional reference plane)上，並判斷多個投影特徵點位置座標之偏差程度來進行校正，以產生互相平行之第一校正影像及第二校正影像(S114)。
為了得到較好的影像處理效果，並同時降低環境亮度（luminance）的干擾，可經由一色調轉換步驟，將畫面中多個像素的RGB色彩空間座標值轉換為HSV色彩空間座標值，其中H代表色調(Hue)、S代表飽和度（Saturation）、V代表明度(Value)，並以色調資訊作為後續影像處理所需之參數。
請參照圖3所示不同之影像(a)至(d)，用以說明圖1中二值化影像步驟(S12)之詳細內容。於一實施例中，圖3左上方影像顯示一第一校正影像(a)，其中使用者臉部、操作背景中接近膚色的物件或背景中原木地板顏色，均屬膚色可能存在區塊，然而只有使用者手勢才是須要被追蹤及辨識的處理區域，因此使用者手勢區域屬於膚色存在區域。
請一併參照圖3以及圖6，其中圖6為本發明一實施例之影像處理方法所產生一色調累積直方圖，於此實施例中，圖中灰色部分顯示第一校正影像或該第二校正影像的全影像色調累積直方圖；而圖中黑色部分顯示第一校正影像中或該第二校正影像中移動區域的色調累積直方圖。如圖所示，第一校正影像(如圖3中的影像(a))經上述色調轉換步驟處理後，再透過一全景色調(Hue)過濾器對全景畫面進行膚色過濾後可得一全景二值化影像(如圖3中的影像(b))，其中全景色調過濾器的具有一組固定門檻值包含一色調上限值G1以及一色調下限值G2，可過濾出全景畫面中的膚色可能存在區域，其不僅包含了使用者手勢區域(即膚色存在區域)，也包含了地板顏色或部分背景物件。因此，若僅使用全景色調過濾器將增加演算的複雜度與處理時間，例如地板影像是不需要被追蹤及辨識的處理區域。
為了克服上述問題，如圖3中的影像(c)所示之一實施例中，可藉由一像素差值過濾步驟，從影像畫面中過濾出一移動區域，作為後續膚色過濾的處理區域，以下說明像素差值過濾步驟的技術內容及其效果。相對於使用者臉部或地板影像等靜止影像，使用者手勢是一變動影像。因此，可透過比較前後時間點間之影像畫面差異，以判斷一移動區域，即對應為手勢位置。舉例而言，請參照圖3中所示的第一校正影像(如圖3中的影像(a))，假設一像素在不同時間點 t 的色度座標值以 P (x, y, t)表示，亦即紅綠藍像素值，將前一個時間點與當前時間點之色度座標值相減，其差異若大於一預設閥值T，表示該像素屬於一變動畫面，其差異若小於預設閥值T，則表示該像素屬於一靜止畫面。亦即，透過畫面相減，可以判斷一移動區域B (x, y)，其判斷公式如下：；。 其中移動區域B (x, y)值等於1的畫面區域，即是需要進行膚色過濾的處理區域。相較於對全景影像進行膚色過濾，經由像素值過濾找出變動畫面後，再進行後續影像處理步驟，將可大幅降低演算的複雜度與處理時間。
接著，請參照圖4，於一實施例中，提供過濾模板進行一過濾區塊分配，並使第一過濾模板及第二過濾模板分別對應於膚色存在區塊及膚色可能存在區塊(S121)。過濾模板可包含但不限於一第一過濾模板及一第二過濾模板，其中第一過濾模板域定義為膚色存在區塊，第二過濾模板定義為膚色可能存在區塊，且第一過濾模板與第二過濾模板至少一部分重疊。完成過濾區塊分配後，即可進行後續的二值化影像步驟。可以理解的是，過濾模板之模板位置會隨著時間移動，因此需要針對第二模板內的多個像素進行像素值過濾以找出變動畫面，而第一模板內的多個像素僅需進行膚色過濾，以產生對應手勢的二值化影像。亦即，根據過濾模板所分配的區塊，針對位於第一過濾模板之第一校正影像以及第二校正影像進行膚色過濾步驟；及針對位於第二過濾模板之第一校正影像以及第二校正影像進行像素差值過濾步驟及膚色過濾步驟，以產生第一二值化影像及第二二值化影像(S122)。較佳者，請參照圖5，於一實施例中，過濾模板20的第一過濾模板21為橢圓形，且第二過濾模板22之面積大於第一過濾模板的面積，其中橢圓形區塊是透過共變異數矩陣計算而得，其具有一長軸、一短軸以及一旋轉角度，並以橢圓形區域近似一二值化影像之外廓。
然而，傳統的色調過濾器，僅能透過內建的固定門檻值進行膚色過濾，而使用者的膚色可能因人而異。為了減少誤判，通常會放寬固定門檻值的色調範圍，則需要辨識處理的膚色可能存在區域將被過度放大，導致處理時間冗長；反之，若縮小固定門檻值的色調範圍，可能無法判斷完整的膚色存在區域，而無法擷取出完整的手勢影像。於一極端實施例中，若使用者穿戴一異於膚色的手套進行手勢控制，則傳統的膚色過濾器可能無法藉由內建的固定門檻值正確地過濾出所謂的膚色存在區域。
為了克服上述問題，於一實施例中，過濾模板包含一自適應性門檻，可正確過濾出所謂的膚色存在區域，其中自適應性門檻值可依據手勢追蹤的情況與背景光線的亮度而作自適應性調整。請一併參照圖3、圖4及圖6，於一實施例中，過濾模板依據移動區域中多個像素的多個色調值，調整二個自適應性門檻值A1、A2 (S123)。較佳者，過濾模板是依據多個色調值中之一色調最大值MH，決定自適應性門檻值A1、A2，但不以此為限。可以理解的是，針對第一校正影像進行像素值過濾步驟，可以得到一第一移動區域以及一第一二值化影像；同理，針對第二校正影像進行像素值過濾步驟，可以得到一第二移動區域以及一第二二值化影像，同時計算出第一移動區域一第一位置座標集合以及第二移動區域的一第二位置座標集合，如圖3中的影像(c)所示。因此，可依據第一移動區域內及第二移動區域內多個像素的色調值，調整一組自適應性門檻值A1、A2 (S123)，以提高第一二值化影像及第二二值化影像的手勢影像完整度及辨識度，如圖3中的影像(d)所示。需要說明的是，圖6僅為例示性說明，自適應性門檻值A1、A2雖然位於固定門檻值G1、G2之色調範圍內，但不以此為限。於另一實施例中，本發明之影像處理方法僅需自適應性門檻值即可有效過濾膚色，而無需傳統膚色過濾器的固定門檻值，因此可以克服上述使用者膚色變異的問題。亦即，透過自適應性門檻值進行膚色過濾，可完整過濾出一手勢區域 F (x, y)，其判斷公式如下：；。 其中，A1為可自適應性調整的一膚色上限值，A2為一膚色下限值，h(x,y)表示校正影像中位於某一座標位置之像素所具有的色調值(Hue)。集合手勢區域 F (x, y)值等於1的像素，即可完整且清晰地顯示手勢之二值化影像，如圖3中影像(d)所示。相較於對全景影像進行膚色過濾，經由像素值過濾找出變動畫面後，再進行後續影像處理步驟，將可大幅降低演算的複雜度與處理時間。
一般而言，當使用者的手勢動作經過一具有與手勢相同膚色的背景物件時，例如使用者的臉部，將可能使過濾模板困在(Stuck)背景物件上，而造成影像追蹤及辨識的誤判。因此，本發明可藉由預測過濾模板之移動軌跡以及調整過濾模板之模板大小，以提高手勢追蹤及辨識的正確度，詳細說明如下。
請繼續參照圖1，於一實施例中，偵測並追蹤移動區域的步驟(S13)包含：比對當前第一二值化影像與前一個時間點所計算出的第一二值化影像，以預測下一個時間點過濾模版的位置；以及比對當前第二二值化影像與前一個時間點所計算出的第二二值化影像，以預測下一個時間點過濾模版的位置。藉由預測下一個時間點過濾模版的位置，即可預測一物件(例如手勢)在下一個時間點畫面的可能出現範圍。接著，依據不同時間的過濾模板的位置變化量，亦即移動區域的位置坐標集合的變化量，可以計算出物件的移動速度，據以調整及控制過濾模板的大小。舉例而言，當過濾模板的移動速度越大，則過濾模板的模版大小越小。因此，當一手勢區域移動經過臉部區域，雖然兩者區域具有相同的膚色，但是過濾模板的大小並不會因此被放大至整體臉部的範圍而困在臉部區域；事實上，過濾模板是依據物件的移動速度，以調整下一個時間點的過濾模板之模板大小並預測可能位置，達成有效區別手勢區域以及臉部區域的效果。
於又一實施例中，過濾模板也可依據物件深度調整模板大小。其中，物件深度的計算，是藉由視差原理，將第一二值化影像以及第二二值化影像間之位移轉換為深度值，因此可以得到手勢的一空間座標值，包含水平座標值，垂直座標值以及深度值。因此，過濾模板可比對當前的深度值與前一個時間點的深度值，以調整該過濾模版於下一時間點之一模版大小。舉例而言，當過濾模板的景深值越來越深，則過濾模板的模版大小越來越小。因此，當一手勢區域移動經過臉部區域，雖然兩者區域具有相同的膚色，但是過濾模板的大小並不會被放大至整體臉部的範圍而困在臉部區域。
於再一實施例中，影像處理方法更包含一手勢辨識步驟：依據手勢之深度值、一移動資訊以及一轉動角度值至少其中之一，輸出對應手勢之一辨識值。舉例而言，由圖1所示追蹤並計算步驟(S13)以及計算手勢深度值步驟(S14)，即可得知手勢之歷史追蹤紀錄當作後續辨識資訊；以圖5所示橢圓形近似手勢之外廓，藉由計算該橢圓形的旋轉角度，即可近似手勢之旋轉角度，但不以此為限。因此，使用者可藉由上述手勢辨識步驟，產生一辨識值，以控制一電子裝置或使用者介面。舉例而言，單純左右揮動手勢可將想操控之數值上下調整，向左揮動數值向上增加，向右揮動則數值向下減少；而利用深度值也可為辨識方式，深度值的大小可決定所想操控何種數值，如電視之音量與頻道的切換；此外將手勢快速搖晃為一啟動機制，此啟動機制可快速調整切換欲想操控之信號，啟動後，信號將判斷手勢之角度，依照手勢角度與垂直線之夾角大小決定變動速度，越大的夾角變動越快，反之則越慢。
特別說明的是，影像處理方法可客製化設定一控制深度範圍，用以避免使用者以外的手勢干擾。於另一實施例中，依據一控制深度範圍，當一手勢之深度值超出控制深度範圍，影像處理方法將停止輸出此手勢的該辨識值。舉例而言，為了在行車環境中有效辨識駕駛的手勢控制，只有駕駛位置的使用者所動作的手勢將被視為有意義的辨識資訊，而後座乘客的手勢動作，將因超出允許的控制深度範圍，而不能產生一辨識值。
可以理解的是，在網路發達的時代，本發明之具有深度資訊之影像處理方法不以儲存於一電腦多媒體（例如：光碟片）為限，亦可為一電腦程式產品以供使用者自網路下載並內儲於一載具中以執行如圖1所示之具有深度資訊之影像處理方法，載具可為一平板電腦、一智慧型手機、一筆記型電腦、一桌上型電腦或一車用系統，但不以此為限。其中圖1所示之具有深度資訊之影像處理方法之步驟及相關實施例已如前所述，在此不再贅述。
綜合上述，本發明之具有深度資訊之影像處理方法及其電腦程式產品，其是利用一過濾模板，擷取出一手勢區域並過濾影像，以大幅降低演算的複雜度與處理時間；同時依據目前手勢區域內多個像素的色調值來調整過濾模板的自適應性門檻值，以避免過濾模板困在背景物件上導致影像追蹤及辨識的誤判；以及依據前一個時間點以及目前時間點間之景深值來調整下一個時間點過濾模板的模板大小，達成有效區別手勢區域以及臉部區域的效果。此外，更可客製化設定一控制深度範圍，用以過濾使用者背景的干擾。
以上所述之實施例僅是為說明本發明之技術思想及特點，其目的在使熟習此項技藝之人士能夠瞭解本發明之內容並據以實施，當不能以之限定本發明之專利範圍，即大凡依本發明所揭示之精神所作之均等變化或修飾，仍應涵蓋在本發明之專利範圍內。
20‧‧‧過濾模板
21‧‧‧第一過濾模板
22‧‧‧第二過濾模板
S11~S15,S111~S114,S121~S123‧‧‧步驟
A1,A2‧‧‧自適應性門檻值
G1,G2‧‧‧固定門檻值
MH‧‧‧色調最大值
圖1為一流程圖，顯示本發明一實施例之影像處理方法之步驟。 圖2為一流程圖，顯示本發明另一實施例之影像處理方法之步驟。 圖3為一示意圖，顯示本發明一實施例之影像處理方法在不同步驟之影像。 圖4為一流程圖，顯示本發明另一實施例之影像處理方法之步驟。 圖5為一示意圖，顯示本發明一實施例之影像處理方法之過濾模板。 圖6為一色調累積直方圖，顯示本發明一實施例之影像處理方法所產生之色調圖。
S11~S15‧‧‧步驟

Claims (13)

  1. 一種具有深度資訊之影像處理方法，用以辨識來自一手勢之一第一影像以及一第二影像，該影像處理方法包含： 取得該第一影像及該第二影像中多個特徵點，並校正該第一影像及該第二影像，以產生一第一校正影像以及一第二校正影像； 判斷該第一校正影像以及該第二校正影像中的一膚色存在區塊及一膚色可能存在區塊，並利用一過濾模版進行一過濾區塊分配，對該第一校正影像與該第二校正影像進行一二值化步驟以產生一第一二值化影像以及一第二二值化影像； 偵測並追蹤該第一二值化影像中的一第一移動區域以及偵測並追蹤該第二二值化影像的一第二移動區域，以分別計算出該第一移動區域與該第二移動區域的一第一位置座標集合及一第二位置座標集合； 比對該第一位置座標集合及該第二位置座標集合，以計算該手勢之一深度值；以及 比對當前的該深度值與前一個時間點的該深度值，以調整該過濾模版於下一時間點之一模版大小。
  2. 如請求項1所述之影像處理方法，更包含： 以一第一影像擷取裝置以及一第二影像擷取裝置，擷取該第一影像以及該第二影像。
  3. 如請求項1所述之影像處理方法，其中取得該多個特徵點並校正該第一影像及該第二影像的步驟，包含： 依據該第一影像及該第二影像中多個像素之多個亮度值，求得該多個特徵點。
  4. 如請求項3所述之影像處理方法，其中取得該多個特徵點並校正該第一影像及該第二影像的步驟，包含： 將該第一影像的該多個特徵點與該第二影像的該多個特徵點進行配對。
  5. 如請求項4所述之影像處理方法，其中取得該多個特徵點並校正該第一影像及該第二影像的步驟，包含： 以一透視轉換方法，投影該多個特徵點到一二維參考平面上，使該第一校正影像及該第二校正影像互相平行。
  6. 如請求項1所述之影像處理方法，其中該過濾模板包含一第一過濾模板及一第二過濾模板，該第一過濾模板域定義為該膚色存在區塊，該第二過濾模板定義為該膚色可能存在區塊，且該第一過濾模板與該第二過濾模板至少一部分重疊。
  7. 如請求項6所述之影像處理方法，其中該第一過濾模板為橢圓形，且該第二過濾模板之面積大於該第一過濾模板的面積。
  8. 如請求項6所述之影像處理方法，其中對位於該第一過濾模板之該第一校正影像以及該第二校正影像進行膚色過濾步驟；及對位於該第二過濾模板之該第一校正影像以及該第二校正影像進行像素差值過濾步驟及膚色過濾步驟。
  9. 如請求項1所述之影像處理方法，其中該二值化步驟中二值化時使用一自適應性門檻值，該過濾模板依據該第一移動區域及該第二移動區域中至少其中之一者，以及該第一校正影像與該第二校正影像中至少其中之一者的多個色調值調整該自適應性門檻值。
  10. 如請求項1所述之影像處理方法，其中偵測並追蹤該第一二值化影像中的該第一移動區域的步驟包含比對當前該第一二值化影像與前一個時間點所計算出的第一二值化影像進行比較以預測下一個時間點該過濾模版的位置；及偵測並追蹤該第二二值化影像中的該第二移動區域的步驟包含比對當前該第二二值化影像與前一個時間點所計算出的第二二值化影像進行比較以預測下一個時間點該過濾模版的位置。
  11. 如請求項1所述之影像處理方法，更包含： 依據該手勢之該深度值、一移動資訊以及一轉動角度值至少其中之一，輸出對應該手勢之一辨識值。
  12. 如請求項11所述之影像處理方法，其中輸出對應該手勢之該辨識值之步驟更包含： 依據一控制深度範圍，當該手勢之該深度值超出該控制深度範圍，停止輸出該辨識值。
  13. 一種內儲具有深度資訊之影像處理程式之電腦程式產品，當電腦載入該電腦程式並執行後，可完成請求項1至12其中之一所述之影像處理方法。
TW105105845A 2016-02-26 2016-02-26 具有深度資訊之影像處理方法及其電腦程式產品 TW201730813A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW105105845A TW201730813A (zh) 2016-02-26 2016-02-26 具有深度資訊之影像處理方法及其電腦程式產品
US15/187,487 US9824263B2 (en) 2016-02-26 2016-06-20 Method for processing image with depth information and computer program product thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW105105845A TW201730813A (zh) 2016-02-26 2016-02-26 具有深度資訊之影像處理方法及其電腦程式產品

Publications (1)

Publication Number Publication Date
TW201730813A true TW201730813A (zh) 2017-09-01

Family

ID=59679671

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105105845A TW201730813A (zh) 2016-02-26 2016-02-26 具有深度資訊之影像處理方法及其電腦程式產品

Country Status (2)

Country Link
US (1) US9824263B2 (zh)
TW (1) TW201730813A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI629646B (zh) * 2017-11-29 2018-07-11 伍碩科技股份有限公司 Gesture recognition device
CN109829933A (zh) * 2017-11-23 2019-05-31 财团法人资讯工业策进会 影像目标追踪方法及装置
TWI734472B (zh) * 2020-05-11 2021-07-21 國立陽明交通大學 基於深度學習的行車輔助系統及其方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3357238A4 (en) 2015-10-06 2018-10-10 Blinxel Pty Ltd. Volumetric depth video recording and playback
CN106610716B (zh) * 2015-10-21 2019-08-27 华为技术有限公司 一种手势识别方法和装置
CN107680128B (zh) * 2017-10-31 2020-03-27 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN111784769B (zh) * 2019-04-04 2023-07-04 舜宇光学（浙江）研究院有限公司 基于模板的空间定位方法、空间定位装置，电子设备及计算机可读存储介质
CN110991304A (zh) * 2019-11-27 2020-04-10 云南电网有限责任公司电力科学研究院 基于摄像头与热感探头的交互手势采集和识别方法及装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4449723B2 (ja) * 2004-12-08 2010-04-14 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
CN103890695B (zh) * 2011-08-11 2017-10-13 视力移动技术有限公司 基于手势的接口***和方法
US8971572B1 (en) * 2011-08-12 2015-03-03 The Research Foundation For The State University Of New York Hand pointing estimation for human computer interaction
TWI489418B (zh) * 2011-12-30 2015-06-21 Nat Univ Chung Cheng Parallax Estimation Depth Generation

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109829933A (zh) * 2017-11-23 2019-05-31 财团法人资讯工业策进会 影像目标追踪方法及装置
TWI629646B (zh) * 2017-11-29 2018-07-11 伍碩科技股份有限公司 Gesture recognition device
TWI734472B (zh) * 2020-05-11 2021-07-21 國立陽明交通大學 基於深度學習的行車輔助系統及其方法

Also Published As

Publication number Publication date
US20170249503A1 (en) 2017-08-31
US9824263B2 (en) 2017-11-21

Similar Documents

Publication Publication Date Title
TW201730813A (zh) 具有深度資訊之影像處理方法及其電腦程式產品
US11410277B2 (en) Method and device for blurring image background, storage medium and electronic apparatus
US20190236404A1 (en) Image processing apparatus image processing method and storage medium for lighting processing on image using model data
US10674069B2 (en) Method and apparatus for blurring preview picture and storage medium
US10509948B2 (en) Method and device for gesture recognition
EP2806373A2 (en) Image processing system and method of improving human face recognition
WO2019174276A1 (zh) 用于定位目标物体区域中心的图像处理方法、装置、设备和介质
CN108965839B (zh) 一种自动调整投影画面的方法及装置
US20160165120A1 (en) Display apparatus and method using high dynamic range function for vehicle
EP3213504B1 (en) Image data segmentation
KR20150146045A (ko) 영상 내 안개 제거 장치 및 그 방법
US8693783B2 (en) Processing method for image interpolation
CN103501411A (zh) 一种图像拍摄方法及***
CN104392210A (zh) 一种手势识别方法
JP2015075920A (ja) 画像処理装置、画像処理方法及びプログラム
TWI749370B (zh) 臉部辨識方法及其相關電腦系統
EP3175609B1 (en) Processing data representing an image
JP7030425B2 (ja) 画像処理装置、画像処理方法、プログラム
US20220262031A1 (en) Information processing apparatus, information processing method, and storage medium
US20170109569A1 (en) Hybrid face recognition based on 3d data
JP5051671B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP2019121810A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
WO2018058593A1 (zh) 目标颜色识别方法、装置以及计算机***
JP6034713B2 (ja) 車外環境認識装置および車外環境認識方法
CN115428009A (zh) 基于内容的图像处理