TWI451344B - 手勢辨識系統及手勢辨識方法 - Google Patents

手勢辨識系統及手勢辨識方法 Download PDF

Info

Publication number
TWI451344B
TWI451344B TW101130948A TW101130948A TWI451344B TW I451344 B TWI451344 B TW I451344B TW 101130948 A TW101130948 A TW 101130948A TW 101130948 A TW101130948 A TW 101130948A TW I451344 B TWI451344 B TW I451344B
Authority
TW
Taiwan
Prior art keywords
image
depth
gesture recognition
range
processing unit
Prior art date
Application number
TW101130948A
Other languages
English (en)
Other versions
TW201409365A (zh
Inventor
En Feng Hsu
Original Assignee
Pixart Imaging Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pixart Imaging Inc filed Critical Pixart Imaging Inc
Priority to TW101130948A priority Critical patent/TWI451344B/zh
Priority to US13/969,924 priority patent/US9459695B2/en
Publication of TW201409365A publication Critical patent/TW201409365A/zh
Application granted granted Critical
Publication of TWI451344B publication Critical patent/TWI451344B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Vascular Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Studio Devices (AREA)

Description

手勢辨識系統及手勢辨識方法
本發明係關於一種人機介面裝置，特別是關於一種應用擴展景深(Extend Depth of Field)透鏡之手勢辨識系統及手勢辨識方法。
近年來，在多媒體系統導入互動機制以增加操作便利性的方式已成為熱門的技術，其中手勢辨識更成為取代傳統滑鼠、搖桿或遙控器的重要技術。
一手勢辨識系統通常包含一影像感測器及一處理單元，其中該影像感測器用以擷取包含一操控物件，例如一手指的影像；該處理單元則後處理該影像並據以控制一應用程式。
例如第1圖所示，一影像感測器91用以擷取包含其焦距範圍FR內之一物件O的複數影像，一處理單元92則根據該等影像辨識該物件O之一位置變化。然而，該處理單元92並無法根據該等影像判斷該物件O之一深度(depth)，而且當該焦距範圍FR內包含其他物件時，例如一背景物件O' ，該處理單元92並無法區別該等物件O及O' ，因而可能導致誤控制的情形。
請參照第2圖所示，為了能夠辨識物件O的深度，習知可利用一紅外光源93投射出一圖案，例如 一棋盤圖案，至該物件O，如此該處理單元92則可根據該影像感測器91所擷取的影像中該圖案的尺寸來辨識該物件O的深度。然而，當該圖案受到環境光源干擾時，仍可能出現誤控制的情形。
有鑑於此，本發明另提出一種手勢辨識系統及手勢辨識方法，其可辨識物件之三維座標並可根據該三維座標之一座標變化與一影像裝置進行互動。
本發明之一目的在提供一種手勢辨識系統及手勢辨識方法，其可根據事先建立的一擴展景深透鏡之不同色光相關的深度與清晰度之一對照資訊或一關係圖決定至少一物件深度。
本發明另一目的在提供一種手勢辨識系統及手勢辨識方法，其可排除預設的一操作範圍以外的物件，藉以消除環境物件的干擾。
本發明另一目的在提供一種手勢辨識系統及手勢辨識方法，其可搭配部分取樣(subsampling)技術以節省處理單元之運算耗能。
本發明提供一種手勢辨識系統，包含一擴展景深透鏡(EDOF透鏡)、一影像感測器及一處理單元。該影像感測器透過該擴展景深透鏡擷取一影像圖框。該處理單元用以計算該影像圖框中至少一物件影像之一目前清晰度，並根據該目前清晰度與一對 照資訊求得該物件影像之一目前深度。
一實施例中，該對照資訊包含該擴展景深透鏡之各色光相關的深度與清晰度之對照資訊，並儲存於一記憶單元中。該對照資訊例如可以對照表或其他形式儲存於該記憶單元中，並無特定限制。
本發明另提供一種手勢辨識方法，包含下列步驟：建立並儲存一擴展景深透鏡之各色光相關的深度與清晰度之一對照資訊；利用一影像感測器透過該擴展景深透鏡擷取一影像圖框；利用一處理單元計算該影像圖框中至少一物件影像之一目前清晰度；以及根據該目前清晰度及該對照資訊求得該至少一物件影像之一目前深度。
一實施例中，該物件影像之一目前清晰度為所求得該影像圖框中所包含物件影像之一清晰度數值最高者。
本發明另提供一種手勢辨識系統，包含一擴展景深透鏡、一影像感測器、一記憶單元及一處理單元。該影像感測器透過該擴展景深透鏡連續擷取影像圖框。該記憶單元預先儲存有該擴展景深透鏡之各色光相關的一清晰度範圍。該處理單元根據該等影像圖框中該清晰度範圍內之至少一物件影像進行手勢判斷。
一實施例中，可預先設定並儲存一操作範圍以使該處理單元能夠據以將該操作範圍外之物件影像排除，藉以消除環境物件的影響；其中，該操作範圍可為出廠前預先設定或於實際操作前透過一設定階段所設定之一深度範圍或一清晰度範圍。該清晰度範圍包含各顏色子影像之清晰度範圍，該深度範圍包含各顏色子影像之深度範圍。例如，該各顏色子影像包含一紅色子影像、一綠色子影像及一藍色子影像。
另一實施例中，該操作範圍可為一深度閾值或一清晰度閾值，本發明僅使用一深度小於該深度閾值或一清晰度大於該清晰度閾值之至少一物件影像進行手勢辨識，並排除其他環境物件。
一實施例中，該處理單元求得該目前清晰度前可另針對該影像圖框執行一部分取樣處理，以節省該處理單元之運作耗能；其中，該部分取樣處理之一部份取樣畫素區域至少為6×6畫素區域或者每一軸向至少包含3個各顏色畫素。
本發明之手勢辨識方法另包含下列步驟：將該影像圖框分割為三個顏色子影像；利用該處理單元計算該影像圖框之至少一顏色子影像中至少一物件影像之一目前顏色清晰度；以及根據該目前顏色清晰度及該對照資訊求得該物件影像之該目前深度。
本發明之手勢辨識系統及手勢辨識方法中，該處理單元可根據該影像感測器擷取之影像圖框或該影像圖框之至少一顏色子影像計算該物件影像之一三維座標，例如利用該物件影像於該影像圖框或該影像圖框之至少一顏色子影像中一重心或一中心座標作為該三維座標，其可包含兩橫向座標及一深度座標。該處理單元另可根據複數影像圖框或複數各顏色子影像間該三維座標之一座標變化與一顯示裝置進行互動，例如控制一游標動作或一應用程式等。
為了讓本發明之上述和其他目的、特徵、和優點能更明顯，下文將配合所附圖示，作詳細說明如下。於本發明之說明中，相同的構件係以相同的符號表示，於此合先敘明。
請參照第3A圖所示，其顯示本發明實施例之手勢辨識系統之示意圖。手勢辨識系統包含一擴展景深(Extend Depth of Field,EDOF)透鏡11、一影像感測器12、一處理單元13及一記憶單元14，並可耦接一顯示裝置2以與其互動。該影像感測器12例如可為一CCD影像感測器、一CMOS影像感測器或其他用以感測光能量的感測器，用以透過該擴展景深透鏡11連續擷取物件O之影像並輸出影像圖框IF ；其中，此處係以一感測陣列示意該影像感測器12。
該記憶單元14預先儲存有該擴展景深透鏡11之各色光相關的深度與清晰度之一對照資訊以及各色光相關的一操作範圍；其中，該操作範圍例如為一清晰度範圍或一深度範圍。例如參照第4A及5A圖所示，第4A圖顯示當該擴展景深透鏡11之綠色光最佳物距為30公分時各色光相關的深度(即物距)與清晰度之一關係圖，第5A圖顯示當該擴展景深透鏡11之綠色光最佳物距為30公分時各色光相關的深度與清晰度之一對照資訊。例如參照第4B及5B圖所示，第4B圖顯示當該擴展景深透鏡11之綠色光最佳物距為200公分(或無限遠)時各色光相關的深度與清晰度之一關係圖，第5B圖顯示當該擴展景深透鏡11之綠色光最佳物距為200公分時各色光相關的深度與清晰度之一對照資訊。由於該對照資訊包含各色光(例如紅色光、綠色光及藍色光)的資訊，因此該清晰度範圍可包含各顏色子影像之清晰度範圍，例如包含一紅色光清晰度範圍、一綠色光清晰度範圍及一藍色光清晰度範圍；該深度範圍亦可包含各顏色子影像之深度範圍，例如包含一紅色光深度範圍、一綠色光深度範圍及一藍色光深度範圍。可以了解的是，第4A、4B、5A及5B圖中的各數值僅為例示性，並非用以限定本發明。本發明實施例之手勢辨識系統及手勢辨識方法僅使用該清晰度範圍內之至少一物件影像進行手勢辨識。
一實施例中，該操作範圍可為手勢辨識系統出廠前預先設定並儲存於該記憶單元14中者。另一實施例中，該操作範圍可為手勢辨識系統實際操作前透過一設定階段所設定並儲存於該記憶單元14中，例如可於開機過程進入一設定階段或一使用者透過一選擇開關或按件選擇進入一設定階段進行設定者。必須說明的是，本發明所指範圍並不限定為介於兩個數值間，亦可為預先設定之一閾值，例如該操作範圍可為一深度閾值或一清晰度閾值，本發明例如使用一深度小於該深度閾值或一清晰度大於該清晰度閾值之至少一物件影像進行手勢辨識。
本發明之手勢辨識系統於實際運作時，該處理單元13根據該等影像圖框IF 中該清晰度範圍內之至少一物件影像進行手勢判斷，並根據所判斷出之一手勢與該顯示裝置2進行互動，例如控制游標動作、畫面更新或應用程式等(但並不以此為限)。
一實施例中，該處理單元13計算該等影像圖框IF 中至少一物件影像之一目前清晰度，並根據該目前清晰度與一對照資訊求得該物件影像之一目前深度D；其中，該目前清晰度例如可為該影像圖框中所包含物件影像之一清晰度數值最高者。請參照第3B圖所示，其顯示以拜耳排列(Bayer)之一影像圖框IF ，該處理單元13先將該影像圖框IF 分解成不同顏 色子影像，例如包含一紅色子影像IFR 、一綠色子影像IFG 及一藍色子影像IFB ；該處理單元13則可根據該影像圖框IF 之至少一顏色子影像中該物件影像之一目前顏色清晰度與該對照資訊求得該物件影像之該目前深度D，例如將該綠色子影像IFG 之一目前綠色清晰度對照該對照資訊以求出該目前深度D；將該綠色子影像IFG 之一目前綠色清晰度及該藍色子影像IFB 之一目前藍色清晰度對照該對照資訊以求出該目前深度D；將該綠色子影像IFG 之一目前綠色清晰度及該紅色子影像IFR 之一目前紅色清晰度對照該對照資訊以求出該目前深度D。選擇兩個顏色子影像的好處在於，可克服無法辨識正確深度的問題；例如，如果使用第5A圖的對照資訊，當目前綠色清晰度數值為0.7時會對應到兩個物件深度，因此較佳另比對其他顏色目前清晰度的數值以確認正確的物件深度，例如當目前藍色清晰度數值同時為0.8時則表示物件深度為25公分而當目前藍色清晰度數值同時為0.6時則表示物件深度為35公分。當然，也可同時將所有顏色子影像進行比對以增加精確度。換句話說，本實施例中可將一個顏色子影像之目前顏色清晰度、兩個顏色子影像之目前顏色清晰度或三個顏色子影像之目前顏色清晰度與該對照資訊進行比對以求得該目前深度D。
此外，為了排除背景物件的影像，本實施例中 該處理單元13另可將一操作範圍外之物件影像排除。請再參照第3A圖所示，例如可於出廠前預先設定一操作範圍為10~40公分(或相對應的清晰度範圍)並儲存於該記憶單元14中；或者於操作本發明之手勢辨識系統前透過一設定階段來設定該操作範圍，例如可提供一切換模式(例如於開機過程中或者致能一選擇開關)選擇所述設定階段來進行設定並儲存於該記憶單元14中。如果該操作範圍為一清晰度範圍，當該處理單元13計算出一物件影像之目前清晰度(例如包含至少一目前顏色清晰度)時並不比對該對照資訊，直接根據該清晰度範圍則可決定是否保留該物件影像以進行後處理；如果該操作範圍為一深度範圍，該處理單元13可將該物件影像之目前清晰度先根據該對照資訊轉換為一目前深度D後，再根據該深度範圍來決定是否保留該物件影像以進行後處理。
此外，為了節省該處理單元13之運算耗能，該處理單元13可在求得該目前清晰度前(或進行手勢判斷前)，先針對該影像圖框IF 執行一部分取樣處理(subsampling)。本實施例中，由於必須根據不同的目前清晰度辨識物件深度，因此為了避免於部分取樣處理時遺失模糊區域的影像資訊，所述部分取樣處理之一部分取樣畫素區域的每一個軸向至少包含3個各顏色畫素。例如參照第6圖所示，該影像感 測器12例如擷取並輸出18×18的影像圖框IF ，該處理單元13於後處理時僅擷取部分畫素區域，如第5圖中由虛線框起的部分取樣畫素區域IF_subsampled ，而未被虛線框起的畫素則予以捨棄，此即本發明所指部分取樣處理。可以了解的是，根據該影像圖框IF 的尺寸，該部分取樣畫素區域IF_subsampled 的尺寸只要大於6×6畫素區域即可，並無特定限制。此外，該部分取樣處理之一部分取樣畫素區域另可根據所擷取影像的影像品質來動態的改變，只要改變影像感測器的時序控制即可達成。本實施例中，該部分取樣處理可由該處理單元13執行，或另外設置一部分取樣單元於該處理單元13前來執行。
當物件影像之目前深度D計算出或擷取出該操作範圍內的物件影像後，該處理單元13即可根據該影像圖框IF 或該影像圖框IF 之至少一顏色子影像(IFR 、IFG 、IFB )計算該物件影像之一三維座標；例如，根據該物件影像相對該取樣裝置10之一橫向位置計算一平面座標(x,y)，例如一重心座標，並配合該物件影像相對該擴展景深透鏡11之該目前深度D求得該物件影像之一三維座標(x,y,D)。該處理單元13可根據該三維座標之一座標變化(△x,△y,△D)與該顯示裝置2進行互動，例如控制該顯示裝置2上所顯示游標之游標動作、畫面更新及/或應用程式(例如圖示點選)等，但並不以此為限；其中，一手勢可以是 單純的二維橫向軌跡(平面移動)，或是一維縱向軌跡(相對影像感測器12或擴展景深透鏡11之深淺距離的移動)，又或者是結合三維移動之軌跡，此部分可依據使用者之定義而有豐富之變化。特別的是，本實施例係可偵測物件之三維移動資訊，因此係可用三維資訊來定義手勢之動作，而具有更複雜且豐富之手勢命令。
請參照第7圖所示，其顯示本發明實施例之手勢辨識方法之流程圖，包含下列步驟：建立並儲存一擴展景深透鏡之各色光相關的深度與清晰度之一對照資訊(步驟S31 )；設定一操作範圍(步驟S32 )；利用一影像感測器透過該擴展景深透鏡擷取一影像圖框(步驟S33 )；針對該影像圖框執行一部分取樣處理(步驟S34 )；計算該影像圖框中至少一物件影像之一目前清晰度(步驟S35 )；根據該目前清晰度及該對照資訊求得該至少一物件影像之一目前深度(步驟S36 )；排除該操作範圍外之該物件影像(步驟S37 )；計算該物件影像之一三維座標(步驟S38 )；以及根據該三維座標之一座標變化控制一顯示裝置(步驟S39 )。
請再參照第3至7圖所示，以下說明本實施例之手勢辨識方法。
步驟S31 ：較佳地，在手勢辨識系統出廠前，先 建立該擴展景深透鏡11之各色光相關的深度與清晰度之一關係圖或一對照資訊，如第4A及4B圖顯示之物距(即深度)與藍色光清晰度、綠色光清晰度及紅色光清晰度之關係圖或者如第5A及5B圖顯示之物件深度與藍色光清晰度、綠色光清晰度及紅色光清晰度之對照資訊；並將該關係圖或該對照資訊儲存於該記憶單元14以供實際操作時作為查表的依據。
步驟S32 ：接著設定一操作範圍，其可根據手勢辨識系統的不同應用而決定。一種實施例中，該操作範圍可在手勢辨識系統出廠前預先設定。另一實施例中，該操作範圍可於實際操作前由使用者透過一設定階段來設定；亦即，該操作範圍可根據使用者的需求而自行設定。如前所述，該操作範圍可為一清晰度範圍(包括各顏色子影像之清晰度範圍)或一深度範圍(包括各顏色子影像之深度範圍)。其他實施例中，若手勢辨識系統的操作環境無須考慮環境物件的干擾，步驟S32 亦可不予實施。
步驟S33 ：於實際操作時，該影像感測器12透過該擴展景深透鏡11擷取一影像圖框IF 並輸出至該處理單元13。該影像圖框IF 之一尺寸則根據不同的感測陣列尺寸而決定。
步驟S34 ：該處理單元13接收該影像圖框IF 後 並且在計算物件影像之目前清晰度前，可選擇針對該影像圖框IF 執行一部分取樣處理，以節省消耗電能；如前所述，該部分取樣處理之一部份取樣畫素區域IF_subsampled 至少為6×6畫素區域，以使每一個軸向至少包含3個各顏色畫素，例如第6圖之一橫向方向包含三個紅色畫素及三個綠色畫素而於一縱向方向包含三個紅色畫素及三個綠色畫素或三個綠色畫素及三個藍色畫素；其中，每個軸向所包含顏色畫素根據各顏色畫素的配置而有所不同，並不限於第6圖所揭示者。此外，該部份取樣畫素區域之尺寸例如可根據該影像圖框IF 之尺寸及/或影像品質來決定。其他實施例中，步驟S34 亦可不予實施。
步驟S35 ：該處理單元13根據該影像圖框IF 或經部分取樣處理後之影像圖框計算該影像圖框IF 中至少一物件影像之一目前清晰度。本實施例中，該影像感測器12透過該擴展景深透鏡11擷取一影像圖框IF 後，該處理單元13先將該影像圖框IF 或經部分取樣處理後之影像圖框分為三個顏色子影像，例如第3B圖之紅色子影像IFR 、綠色子影像IFG 及藍色子影像IFB ；該處理單元13接著計算該影像圖框IF 之至少一顏色子影像中至少一物件影像之一目前顏色清晰度，例如一目前紅色光清晰度、一目前綠色光清晰度或一目前藍色光清晰度。本實施例中，計算影像中物件影像清晰度的方式已為習知， 例如計算影像圖框之調變轉換函數(modulation transfer function,MTF)值，故於此不再贅述。例如，該物件影像之一各目前顏色清晰度為所求得該影像圖框中所包含物件影像之一目前顏色清晰度的數值最高者。
步驟S36 ：該處理單元13則將該目前清晰度與該對照資訊相比對，以求得該目前清晰度所對應的該至少一物件影像之一目前深度D，例如物件O之深度。更詳而言之，該處理單元13根據該目前顏色清晰度與該對照資訊求得該物件影像之該目前深度D，例如根據步驟S35 所求得之目前紅色光清晰度、目前綠色光清晰度及目前藍色光清晰度至少其中之一與該對照資訊求得該目前深度D。此外，當該目前清晰度的數值並未包含於該對照資訊中時，則可透過內差(interpolation)的方式來得到相對應的目前深度D。
步驟S37 ：為了排除環境物件對手勢辨識系統的影響，該處理單元13在求得每一物件影像之該目前深度D後，則判定該目前深度D是否介於該操作範圍內，並排除該操作範圍以外之該物件影像。可以了解的是，當不實施步驟S32 時，步驟S37 亦不予實施。此外，步驟S37 另可與計算該目前清晰度(即步驟S35 )同時進行，當該處理單元13依序接收(例如 從左上方第一個畫素依序至右下方最後一個畫素)該影像圖框IF 的每一個畫素值時，即立即判斷該畫素之清晰度是否介於該操作範圍(即清晰度範圍)內，若不介於該操作範圍內則直接移除而不予處理，同時保留介於該操作範圍內的畫素資訊。換句話說，清晰度數值的判定可根據已儲存的一整張影像圖框來進行，或者依序根據各畫素來進行並僅儲存該操作範圍內的畫素資訊。本實施例中，該處理單元13將介於該操作範圍內的畫素區域視為該影像圖框中所欲辨識的物件影像而將該操作範圍外的畫素區域視為背景物件。
步驟S38 ：接著，該處理單元13可根據該影像圖框IF 或該影像圖框之至少一顏色子影像(IFR 、IFG 、IFB )計算該操作範圍內所有物件影像之一三維座標，例如包含兩橫向座標及一深度座標(即步驟S36 所求得之目前深度D)；其中，該處理單元13計算該橫向座標的方式已為習知，故於此不再贅述。本實施例主要在於如何正確計算該物件O之深度。
步驟S39 ：最後，該處理單元13可根據複數影像圖框IF 間或複數顏色子影像(IFR 、IFG 、IFB )間該三維座標之一座標變化控制一顯示裝置2，例如控制一游標動作及/或一應用程式；其中，該顯示裝置2例如可為一電視、一投影幕、一電腦螢幕、一遊戲 機螢幕或其他可用以顯示/投射影像之顯示裝置，並無特定限制。
當物件影像之三維座標計算出後，本實施例之手勢辨識方法則重新回到步驟S31 以重新擷取一影像圖框IF ，並判定該物件O之後續位置及位置變化。若僅判斷該物件O之深度，當物件影像之目前深度D算出後，本實施例之手勢辨識方法則重新回到步驟S31 以重新擷取一影像圖框IF ，並判定該物件O之後續深度及深度變化。
綜上所述，習知手勢辨識方法存在有無法辨識物件深度的問題或具有另外投射一光學圖案的需求。本發明另提出一種手勢辨識系統(第3A圖)及手勢辨識方法(第7圖)，其應用一擴展景深透鏡配合事先建立的該擴展景深透鏡之各色光相關的深度與清晰度之一關係圖(第4A及4B圖)或一對照資訊(第5A及5B圖)，以達成辨識物件深度的目的。此外，本發明之手勢辨識系統另可於一記憶單元預先儲存有該擴展景深透鏡之各色光相關的一清晰度範圍，以根據該等影像圖框中該清晰度範圍內之至少一物件影像進行手勢判斷，並排除該清晰度範圍外的環境物件以增加手勢辨識的精確度。
雖然本發明已以前述實施例揭示，然其並非用以限定本發明，任何本發明所屬技術領域中具有通 常知識者，在不脫離本發明之精神和範圍內，當可作各種之更動與修改。因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。
11‧‧‧擴展景深透鏡
12‧‧‧影像感測器
13‧‧‧處理單元
14‧‧‧記憶單元
2‧‧‧顯示裝置
91‧‧‧影像感測器
92‧‧‧處理單元
93‧‧‧光源
O、O' ‧‧‧物件
S31 ~S39 ‧‧‧步驟
IF ‧‧‧影像圖框
IFR ‧‧‧紅色子影像
IFG ‧‧‧綠色子影像
IFB ‧‧‧藍色子影像
D‧‧‧目前深度
IF_subsampled ‧‧‧部分取樣畫素區域
第1圖顯示習知手勢辨識系統之示意圖。
第2圖顯示另一種習知手勢辨識系統之示意圖。
第3A圖顯示本發明實施例之手勢辨識系統之示意圖。
第3B圖顯示本發明實施例之手勢辨識系統中，分離各顏色子影像之示意圖。
第4A及4B圖顯示本發明實施例之手勢辨識系統中，各色光清晰度與物距之關係圖。
第5A及5B圖顯示本發明實施例之手勢辨識系統中，各色光清晰度與物件深度之對照資訊。
第6圖顯示本發明實施例之手勢辨識系統之部分取樣處理之示意圖。
第7圖顯示本發明實施例之手勢辨識方法之流程圖。
11‧‧‧擴展景深透鏡
12‧‧‧影像感測器
13‧‧‧處理單元
14‧‧‧記憶單元
2‧‧‧顯示裝置
D‧‧‧目前深度
O‧‧‧物件
IF ‧‧‧影像圖框
x,y‧‧‧座標軸

Claims (21)

  1. 一種手勢辨識系統，包含：一擴展景深透鏡；一影像感測器，透過該擴展景深透鏡擷取一影像圖框；以及一處理單元，用以計算該影像圖框中至少一物件影像之一目前清晰度，並根據該目前清晰度與一對照資訊求得該物件影像之一目前深度。
  2. 依申請專利範圍第1項之手勢辨識系統，其中該對照資訊包含該擴展景深透鏡之各色光相關的深度與清晰度之對照資訊。
  3. 依申請專利範圍第2項之手勢辨識系統，其中該處理單元根據該影像圖框之至少一顏色子影像中該物件影像之一目前顏色清晰度與該對照資訊求得該物件影像之該目前深度。
  4. 依申請專利範圍第1項之手勢辨識系統，其中該處理單元另將一操作範圍外之該物件影像排除。
  5. 依申請專利範圍第4項之手勢辨識系統，其中該操作範圍為一清晰度範圍或一深度範圍。
  6. 依申請專利範圍第5項之手勢辨識系統，其中該清晰度範圍包含各顏色子影像之清晰度範圍，該深度範圍包含各顏色子影像之深度範圍。
  7. 依申請專利範圍第1項之手勢辨識系統，其中該處理單元求得該目前清晰度前另針對該影像圖框執行 一部分取樣處理，且該部分取樣處理之一部份取樣畫素區域至少為6×6畫素區域。
  8. 依申請專利範圍第1項之手勢辨識系統，其中該處理單元另根據該影像圖框或該影像圖框之至少一顏色子影像計算該物件影像之一三維座標。
  9. 依申請專利範圍第8項之手勢辨識系統，其中該處理單元另根據該三維座標之一座標變化與一顯示裝置互動。
  10. 一種手勢辨識方法，包含：建立並儲存一擴展景深透鏡之各色光相關的深度與清晰度之一對照資訊；利用一影像感測器透過該擴展景深透鏡擷取一影像圖框；利用一處理單元計算該影像圖框中至少一物件影像之一目前清晰度；以及根據該目前清晰度及該對照資訊求得該至少一物件影像之一目前深度。
  11. 依申請專利範圍第10項之手勢辨識方法，其中利用一影像感測器透過該擴展景深透鏡擷取一影像圖框的步驟後包含：將該影像圖框分為三個顏色子影像；利用該處理單元計算該影像圖框之至少一顏色子影像中至少一物件影像之一目前顏色清晰度；以及 根據該目前顏色清晰度及該對照資訊求得該物件影像之該目前深度。
  12. 依申請專利範圍第10項之手勢辨識方法，另包含：設定一操作範圍。
  13. 依申請專利範圍第12項之手勢辨識方法，另包含：排除該操作範圍外之該物件影像。
  14. 依申請專利範圍第12或13項之手勢辨識方法，其中該操作範圍為一清晰度範圍或一深度範圍。
  15. 依申請專利範圍第14項之手勢辨識方法，其中該清晰度範圍包含各顏色子影像之清晰度範圍，該深度範圍包含各顏色子影像之深度範圍。
  16. 依申請專利範圍第10項之手勢辨識方法，其中於計算該目前清晰度前另包含：利用該處理單元針對該影像圖框執行一部分取樣處理，且該部分取樣處理之一部份取樣畫素區域至少為6×6畫素區域。
  17. 依申請專利範圍第10項之手勢辨識方法，另包含：利用該處理單元根據該影像圖框或該影像圖框之至少一顏色子影像計算該物件影像之一三維座標。
  18. 依申請專利範圍第17項之手勢辨識方法，另包含：利用該處理單元根據該三維座標之一座標變化控制一顯示裝置。
  19. 一種手勢辨識系統，包含：一擴展景深透鏡； 一影像感測器，透過該擴展景深透鏡連續擷取影像圖框；一記憶單元，預先儲存有該擴展景深透鏡之各色光相關的一清晰度範圍；以及一處理單元，根據該等影像圖框中該清晰度範圍內之至少一物件影像進行手勢判斷。
  20. 依申請專利範圍第19項之手勢辨識系統，其中該清晰度範圍包含一紅色光清晰度範圍、一綠色光清晰度範圍及一藍色光清晰度範圍。
  21. 依申請專利範圍第19項之手勢辨識系統，其中該處理單元於進行手勢判斷前先針對該影像圖框執行一部分取樣處理，且該部分取樣處理之一部份取樣畫素區域至少為6×6畫素區域。
TW101130948A 2012-08-27 2012-08-27 手勢辨識系統及手勢辨識方法 TWI451344B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW101130948A TWI451344B (zh) 2012-08-27 2012-08-27 手勢辨識系統及手勢辨識方法
US13/969,924 US9459695B2 (en) 2012-08-27 2013-08-19 Gesture recognition system and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW101130948A TWI451344B (zh) 2012-08-27 2012-08-27 手勢辨識系統及手勢辨識方法

Publications (2)

Publication Number Publication Date
TW201409365A TW201409365A (zh) 2014-03-01
TWI451344B true TWI451344B (zh) 2014-09-01

Family

ID=50147634

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101130948A TWI451344B (zh) 2012-08-27 2012-08-27 手勢辨識系統及手勢辨識方法

Country Status (2)

Country Link
US (1) US9459695B2 (zh)
TW (1) TWI451344B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI562045B (en) * 2015-01-30 2016-12-11 Coretronic Corp Optical object positioning apparatus and positioning method thereof
TWI754903B (zh) * 2020-03-20 2022-02-11 大陸商光寶電子（廣州）有限公司 識別手勢的方法以及手勢感測裝置

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI494792B (zh) * 2012-09-07 2015-08-01 Pixart Imaging Inc 手勢辨識系統及方法
CN104407692B (zh) * 2014-09-30 2018-09-07 深圳市亿思达科技集团有限公司 基于超声波的全息图像交互式显示方法、控制方法及***
US10505685B2 (en) * 2016-08-26 2019-12-10 Qualcomm Incorporated Adapting to delay spread variation in wireless communication systems
CN111078018A (zh) * 2019-12-31 2020-04-28 深圳Tcl新技术有限公司 显示器的触摸控制方法、终端设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009124181A2 (en) * 2008-04-02 2009-10-08 Oblong Industries, Inc. Gesture based control using three-dimensional information extracted over an extended depth of field
US7920172B2 (en) * 2005-03-07 2011-04-05 Dxo Labs Method of controlling an action, such as a sharpness modification, using a colour digital image

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4503878B2 (ja) * 2001-04-27 2010-07-14 オリンパス株式会社 撮像装置及び撮像方法
WO2009152769A1 (zh) * 2008-06-17 2009-12-23 深圳华为通信技术有限公司 视频通讯方法、装置及***
US8289438B2 (en) * 2008-09-24 2012-10-16 Apple Inc. Using distance/proximity information when applying a point spread function in a portable media device
JP5328810B2 (ja) * 2008-12-25 2013-10-30 パナソニック株式会社 情報表示装置および情報表示方法
JP5404376B2 (ja) * 2009-12-24 2014-01-29 株式会社東芝 カメラモジュール及び画像処理装置
JP5670481B2 (ja) 2010-02-19 2015-02-18 デュアル・アパーチャー・インコーポレーテッド 多開口画像データの処理

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7920172B2 (en) * 2005-03-07 2011-04-05 Dxo Labs Method of controlling an action, such as a sharpness modification, using a colour digital image
WO2009124181A2 (en) * 2008-04-02 2009-10-08 Oblong Industries, Inc. Gesture based control using three-dimensional information extracted over an extended depth of field

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"Extended depth-of-field using sharpness transport across color channels" by Hoang Phi Nguyen etc.2009/01/18 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI562045B (en) * 2015-01-30 2016-12-11 Coretronic Corp Optical object positioning apparatus and positioning method thereof
US9846491B2 (en) 2015-01-30 2017-12-19 Coretronic Corporation Optical object positioning apparatus and positioning method thereof
TWI754903B (zh) * 2020-03-20 2022-02-11 大陸商光寶電子（廣州）有限公司 識別手勢的方法以及手勢感測裝置

Also Published As

Publication number Publication date
TW201409365A (zh) 2014-03-01
US20140055566A1 (en) 2014-02-27
US9459695B2 (en) 2016-10-04

Similar Documents

Publication Publication Date Title
TWI451344B (zh) 手勢辨識系統及手勢辨識方法
US10659681B2 (en) Information processing apparatus, information processing method, and program
US8884985B2 (en) Interface apparatus, method, and recording medium
TWI499966B (zh) 互動式操作方法
CN103339655A (zh) 图像捕捉装置、图像捕捉方法及计算机程序产品
WO2013078989A1 (zh) 人机交互操作指令的触发控制方法和***
CN104104891A (zh) 投影装置及其投影自动校正方法
JP6287382B2 (ja) ジェスチャ認識装置およびジェスチャ認識装置の制御方法
CN103096094A (zh) 视觉识别装置和方法
US8994650B2 (en) Processing image input to communicate a command to a remote display device
TWI494792B (zh) 手勢辨識系統及方法
KR101087998B1 (ko) 포인팅 제어 장치 및 제어 방법
JP2013080266A (ja) 入力装置
JP2000081950A (ja) 画像処理装置、画像処理方法、及び提供媒体、並びにプレゼンテーションシステム
US20150022559A1 (en) Method and apparatus for displaying images in portable terminal
KR102372711B1 (ko) 영상 촬영 장치 및 이의 제어 방법
TWI610198B (zh) 遙控裝置與根據至少一靜態手勢產生控制指令的方法
US9639161B2 (en) Gesture recognition module and gesture recognition method
TW201827911A (zh) 影像擷取裝置及其對焦方法
CN103679182B (zh) 手势识别***及手势识别方法
JP2014106922A (ja) ポインティング装置及びポインティング装置用プログラム
JP6119380B2 (ja) 画像取込装置、画像取込方法、画像取込プログラムおよび移動通信端末
JP2017054406A (ja) 画像処理装置、画像処理方法及びプログラム
JP2013178658A (ja) 画像処理装置及びプログラム、並びに電子カメラ