TWI536206B - 操作體的定位方法及裝置以及深度判定方法及裝置 - Google Patents

操作體的定位方法及裝置以及深度判定方法及裝置 Download PDF

Info

Publication number
TWI536206B
TWI536206B TW102140174A TW102140174A TWI536206B TW I536206 B TWI536206 B TW I536206B TW 102140174 A TW102140174 A TW 102140174A TW 102140174 A TW102140174 A TW 102140174A TW I536206 B TWI536206 B TW I536206B
Authority
TW
Taiwan
Prior art keywords
image
operating body
width
relative change
depth
Prior art date
Application number
TW102140174A
Other languages
English (en)
Other versions
TW201519002A (zh
Inventor
謝昇憲
張智雄
魏守德
Original Assignee
緯創資通股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 緯創資通股份有限公司 filed Critical 緯創資通股份有限公司
Priority to TW102140174A priority Critical patent/TWI536206B/zh
Priority to CN201310586188.8A priority patent/CN104613939B/zh
Priority to US14/187,335 priority patent/US9766708B2/en
Publication of TW201519002A publication Critical patent/TW201519002A/zh
Priority to US14/990,802 priority patent/US10386930B2/en
Application granted granted Critical
Publication of TWI536206B publication Critical patent/TWI536206B/zh

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Analysis (AREA)

Description

操作體的定位方法及裝置以及深度判定方法及裝置
本發明是有關於一種電子裝置，且特別是有關於一種用以定位操作體的定位方法、定位裝置、深度判定方法以及深度判定裝置。
近年來，由於科技的日益進步，電子裝置的廣泛應用，強調與使用者互動的體感(motion sensing)裝置亦受到廣大的注目。上述的體感裝置透過攝像裝置捕捉使用者的運動(motion)，並分析捕捉到使用者的運動來執行對應的程序。而為了要分析使用者的運動，建立起影像的深度資訊則是必要的程序之一。
一般而言，若是要建立影像的深度資訊，可運用預先設置的雙攝像裝置拍攝視角不同的影像，以根據兩個影像間的視差來建立深度資訊。而習知技術中，上述的深度資訊的辨識能力會受到攝像裝置的解像度(resolution)、光學可視角(field of view)以及兩個攝像單元之間的基線間距(baseline)等要素的影響。並 且，若是當使用者的手指或手臂等操作體距離上述的雙攝像裝置較遠時，操作體於雙攝像裝置上的兩個成像之間則可能沒有足夠的視差，造成體感裝置無法藉著足夠的視差來正確的建立深度資訊，以判斷出操作體的確切且完整的動作軌跡。
本發明提出一種操作體的定位方法、定位裝置以及深度判定方法，可正確的定位操作體的位置，並藉由偵測手指等操作體的成像變化來提升操作體的深度資訊精確度。
本發明的操作體的定位方法，包括以下步驟。首先，自一影像擷取單元獲得包括一操作體的一影像。然後，對影像以至少一掃描線循序地予以一方向掃描以獲得對應於操作體處各掃描線之多個亮點資訊，並依據亮點資訊來對應地獲得操作體於各個掃瞄線中的各個寬度值。接著，依序比較相鄰掃瞄線中各個寬度值的一相對變化程度。以及，在相對變化程度小於一門檻值時，以小於門檻值之相對變化程度所對應的其中一掃瞄線以及對應於其中一掃描線上的寬度值而判定操作體的一定位點。
本發明的操作體的定位裝置，包括一影像擷取單元以及處理單元。影像擷取單元擷取包括一操作體的影像。處理單元接收影像，對影像以至少一掃描線循序地予以一方向掃描以獲得對應於操作體處各掃描線之多個亮點資訊，並依據亮點資訊來對應地獲得操作體於各個掃瞄線中的各個寬度值，依序比較相鄰掃瞄 線中各個寬度值的一相對變化程度，在相對變化程度小於一門檻值時，以小於門檻值之相對變化程度所對應的其中一掃瞄線以及對應於其中一掃描線上的寬度值而判定操作體的一定位點。
本發明的一種操作體的深度判定方法，包括以下步驟。首先，於第一時間中，分別從至少兩個影像擷取單元獲得包括操作體的第一影像以及一第二影像，以計算操作體的第一寬度以及操作體在第一影像與第二影像之間的第一位移距離。然後，於第二時間中，分別從至少兩個影像擷取單元獲得包括操作體的第一影像以及第二影像，以計算操作體的第二寬度。接著，依據第一位移距離、第一寬度與第二寬度之間的差值並利用一轉換函式，以計算操作體在第一時間與第二時間之間的深度位移量。
本發明的一種操作體的深度判定裝置，包括：一第一影像擷取單元、一第二影像擷取單元以及一處理單元。影像擷取單元擷取包括操作體的第一影像。第二影像擷取單元擷取包括操作體的第二影像。處理單元耦接第一影像擷取單元以及第二影像擷取單元。其中，處理單元於第一時間中，分別從至少兩個影像擷取單元獲得包括操作體的第一影像以及第二影像，以計算操作體的第一寬度以及操作體在第一影像與第二影像之間的第一位移距離。處理單元於第二時間中分別從至少兩個影像擷取單元獲得包括操作體的第一影像以及第二影像，以計算操作體的第二寬度。處理單元依據第一位移距離、第一寬度與第二寬度之間的差值並利用轉換函式，以計算操作體在第一時間與第二時間之間的深度 位移量。
基於上述，本發明的實施例中的操作體的定位方法以及定位裝置，可橫向地掃描擷取的影像並分析掃描的結果，以獲得操作體的定位點。以及本發明的實施例中的操作體的深度判定方法及裝置可根據於兩個時間點所擷取的影像來計算操作體的深度位移量。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
10‧‧‧定位裝置
110‧‧‧影像擷取單元
120‧‧‧處理單元
130‧‧‧儲存單元
1101、1102‧‧‧影像擷取器
VA1、VA2‧‧‧視角
OBJ‧‧‧操作體
BSL‧‧‧基線間距
LCP、RCP‧‧‧校正點
IMG、LIMG41、LIMG42、RIMG41、RIMG42、CIMG‧‧‧影像
D1、D2‧‧‧距離
DIS‧‧‧視差
L1~Ln(L330~L340)‧‧‧掃瞄線
Tx‧‧‧X軸位置
TIP‧‧‧定位點
W331~W340‧‧‧寬度值
Z'‧‧‧深度位移量
S201~S203、S301~S304、S701~S703‧‧‧步驟
圖1為根據本發明一實施例所繪示影像擷取單元與操作體的關係示意圖。
圖2為根據本發明一實施例所繪示操作體的定位方法步驟流程圖。
圖3為根據本發明一實施例所繪示操作體的定位方法的步驟流程圖。
圖4A所繪示為操作體與影像擷取單元所擷取的影像的關係示意圖。
圖4B為根據本發明一實施例所繪示校正後的影像的示意圖。
圖5A為影像的掃瞄線與影像中的操作體的關係示意圖。
圖5B則為掃瞄線各掃瞄線的亮點資訊的部分示意圖。
圖6為根據本發明一實施例所繪示影像中的操作體以及操作體的定位點的示意圖。
圖7為根據本發明一實施例所繪示深度判定方法的方法流程圖。
圖8為根據本發明一實施例所繪示操作體於第一時間和第二時間的位置示意圖。
圖9為根據本發明一實施例所繪示操作體的定位裝置的裝置方塊圖。
首先必須說明的是，在本發明中，操作體為使用者用以與體感裝置(例如包括定位裝置10的體感裝置)互動的物體，可為使用者的手指、手掌，手臂，或是使用者所手持的筆具的筆尖或上述的近似物等，本發明並不限定與上述內容。而在本發明中，則透過擷取影像的方式來獲得操作體的位置以及位移，以進一步地根據操作體的位置以及位移來進行對應執行動作，例如體感互動等。而在影像中的其他物件(例如使用者的身體等)對於上述的體感互動可能較無意義，因此本發明的重點將著重於操作體的定位上。
圖1為根據本發明一實施例所繪示影像擷取單元與操作體的關係示意圖。請參照圖1，在本實施例中，影像擷取單元110包括了兩個影像擷取器1101、1102，其中影像擷取器1101、1102 之間有基線間距BSL，並且分別具有視角VA1、VA2。當操作體OBJ落入影像擷取器1101、1102的視角VA1、VA2之重疊區域內時，與影像擷取單元110連接的處理單元(未繪示)則可對操作體OBJ所處的位置進行定位。而上述深度的產生則至少包括了三個影響因素：影像擷取器1101、1102的解析度、影像擷取器1101、1102的可視角VA1、VA2，以及影像擷取器1101、1102之間的基線間距BSL。例如，在本發明一實施例中，影像擷取器1101、1102可拍攝解析度為1280*720像素的影像，影像擷取器1101、1102的可視角VA1、VA2為107度，以及影像擷取器1101、1102之間的基線間距BSL為5cm。在這樣的情況下，位於距離影像擷取器1101、1102前方60公分的操作體OBJ則需要在深度方向(例如，與影像擷取器1101、1102之間的連線之中垂線平行的方向)移動9.1mm，由影像擷取器1101、1102所擷取的影像之間才具有足夠的成像視差而可以被辨別。並且，當操作體OBJ距離影像擷取單元110的距離越遠時，移動所產生的視差亦變得更小而更不容易有足夠的成像視差可以被辨別。
在本發明之中，針對操作體的的定位動作主要可以分成以下幾個步驟。圖2為根據本發明一實施例所繪示操作體的定位方法步驟流程圖。請參照圖2，首先在步驟S201時，透過例如上述的影像擷取單元110擷取影像，並且根據影像來判定操作體的定位點。然後，步驟S202時，則可根據上述的影像以及判定的得到的定位點來計算得到影像擷取單元110中兩個影像擷取器 1101、1102之間的視差。接著，在步驟S203時，則可根據上述的定位點以及視差來得到深度資訊，更可在操作體於深度方向(例如，與影像擷取器1101、1102之間的連線之中垂線平行的方向)的移動時得到其深度的改變及其位移。以下則將配合圖式及實施例詳細說明上述的各步驟。
圖3為根據本發明一實施例所繪示操作體的定位方法的步驟流程圖。其中，圖3所示步驟S301至S304的動作可視為上述圖2所示實施例步驟S201中的詳細實施方式。請參照圖3，首先在步驟S301時，獲得包括操作體的影像，例如從自定位裝置的一影像擷取單元取得。然後在步驟S302時，對影像以至少一掃描線循序地予以一方向掃描以獲得對應於操作體處各掃描線中亮度出現變化的亮點資訊，並依據亮點資訊來對應地獲得操作體於各個掃瞄線中的各個寬度值。。接著在步驟S303時，依序計算相鄰掃瞄線中各個寬度值的相對變化程度。以及，步驟S304時在相對變化程度小於一門檻值時，以小於門檻值之相對變化程度所對應的其中一掃瞄線以及對應於其中一掃描線上的寬度值而判定操作體的一定位點。
在本實施例中，步驟S301中獲得操作體的影像包括補光以及影像校正的動作。圖4A所繪示為操作體與影像擷取單元所擷取的影像的關係示意圖。影像LIMG41、RIMG41分別為影像擷取單元中影像擷取器1101、1102對著操作體OBJ(於圖4A中以箭頭表示)所擷取的影像(即，直接擷取並且尚未經過影像處理的 影像)。在本實施例中，影像擷取器1101、1102對著操作體OBJ打強光，縮短擷取影像的曝光時間，來使得取得的影像LIMG41、RIMG41中僅留下補光後的操作體OBJ，而其他物件及背景則因為補光不及而黑暗模糊。這麼一來，下述各個分析影像時的所需的判斷便可因此簡化。但上述補光於影像中取得補光後的操作體OBJ的作法可選擇性的實施，或是以其他手段達到影像LIMG41、RIMG41中只包括了操作體OBJ單一個物件，本發明並不限定上述之實施方式。在本實施例中，亮點資訊包括了各掃描線中亮度較高的掃描點之位置及其亮度大小(即，灰階值的大小)。由於在本實施例中，物體OBJ受到補光的影響而較影像中LIMG41、RIMG41其他的物件明亮許多，亮度資訊即可反應了物體OBJ所在的位置，以及物體OBJ於單一掃描線上的寬度。
為了節省在定位步驟中記憶體的消耗，在上述圖4A所示對操作體OBJ補光取得包括操作體OBJ的影像後，本方法更將對影像LIMG41、RIMG41進行影像的校正。圖4B為根據本發明一實施例所繪示校正後的影像的示意圖。請參照圖4A及圖4B，在執行上述的影像校正時，首先必須找到操作體上的一校正點。在本實施例中，先於影像LIMG41中的操作體OBJ上找到一校正點LCP。接著，在於影像RIMG41中的操作體OBJ上找到對應於校正點LCP的校正點RCP。接著，再以將校正點LCP平行於校正點RCP的方式來校正影像LIMG41、RIMG41，而藉此得到圖4B所示影像LIMG42、RIMG42。
請繼續參照圖3，在步驟S302至S304時，橫向地循序掃瞄影像LIMG42或RIMG42中操作體OBJ，來判斷操作體OBJ的定位點。圖5A為影像的掃瞄線與影像中的操作體的關係示意圖，而圖5B則為掃瞄線各掃瞄線的亮點資訊的部分示意圖。其中，影像IMG可為是上述於圖4B所示影像LIMG42或影像RIMG42之一。首先在步驟S302中，依據影像IMG的各個掃瞄線L1~Ln以橫向循序掃瞄影像IMG，並依據影像IMG中各個掃瞄線L1~Ln中產生亮度變化的亮點資訊來獲得操作體OBJ於各個掃瞄線L1~Ln中的各個寬度值。由於在上述擷取影像時已使得影像LIMG42或影像RIMG42中僅包含操作體OBJ，因此上述經循序掃瞄而出現的亮度變化的亮點處就是對應於操作體OBJ。值得注意的是，在本實施例中，將影像IMG的橫軸方向定義為X軸，而將影像的縱軸方向定義為Y軸。上述的定位點則可被表示為X軸及Y軸的座標。而掃瞄線的數量則可對應於影像IMG的縱軸像素，例如一掃瞄線對應於一像素，依序地掃描之順序即可對應於沿著Y軸依序的向上或向下進行掃描，例如，以一像素為單位進行一掃描線的由左至右(沿著X軸)的掃描，在此掃描線掃描結束後，再接著掃描此掃描線下方一像素的掃描線。而在針對不同型態的操作體OBJ的其它實施例中亦不排除其掃描方式可為對所取得的影像進行直向地循序掃描。
掃瞄線L1~Ln的亮點資訊則如圖5B所示，在本實施例中，從掃瞄線L331開始，於橫軸位置Tx附近逐漸出現有亮點， 並同時可從該亮點的亮點資訊(例如峰值、延時等)變化取得寬度值W331。其中，此寬度值及對應於操作體OBJ於掃瞄線L331上的的輪廓橫斷面，也就是操作體於掃瞄線L331上的寬度。
接著在步驟S304時，依序計算相鄰掃瞄線中各個寬度值的相對變化程度，例如比較寬度值W332與寬度值W333之間的相對變化程度，之後再比較寬度值W333與寬度值W334的相對變化程度，以此類推。在步驟S304中，在上述的相對變化程度小於門檻值時，依據相對變化程度所對應的掃瞄線以及寬度值而判定操作體的定位點。例如，在本實施例中，寬度值W339(對應於掃瞄線L339)以及寬度值W340(對應於掃瞄線L340)之間的相對變化程度小於門檻值，則判定定位點的X軸座標對應於X軸位置Tx(即掃瞄線L340上亮點資訊所對應的中心位置)，定位點的Y軸座標對應於掃瞄線L340。上述當寬度值(例如W330~W340)的變化小於門檻值時，則表示已接近操作體寬度相當的地方，例如手指的指甲之中心位置，或是手指的第一個指節等，在本發明中，則將這樣的位置設為操作體的定位點。取得定位點後，便完成了步驟S201。
值得一提的是，在掃描線自掃描線L339掃描至掃描線L340時，該亮點的峰值已趨於一致，因此除上述判斷寬度值之相對變化程度是否小於門檻值之外，有必要時亦可再加入判斷峰值之相對變化是否亦小於另一預設之門檻值，來進一步保證與確認可以選擇出正確的掃描線而定出該操作體之定位點。
接著，在步驟S202中，則可根據上述的影像以及判定的得到的定位點來計算得到影像擷取單元110中兩個影像擷取器1101、1102之間的視差。圖6為根據本發明一實施例所繪示影像中的操作體以及操作體的定位點的示意圖。在本實施例中，圖3所示步驟S302~S304被用以分別針對影像LIMG42、RIMG42(如圖)進行處理，進而找到於影像LIMG42、RIMG42中操作體OBJ的定位點TIP。而在步驟S202中，得到影像LIMG42、RIMG42中操作體OBJ的定位點TIP後，影像LIMG42、RIMG42則被合併為影像CIMG，而兩個定位點TIP之間的距離則即為視差DIS。在一些實施情況中，原始於影像LIMG42、RIMG42中的操作體OBJ於合併後影像CIMG可能有部分重疊，但並不影響上述對於視差DIS的計算。而當上述兩個定位點TIP重合時，則是表示視差DIS為零。另一方面，若是在步驟S201擷取影像時未對影像進行校正，則兩個定位點TIP之間的連線則可能會有歪斜的情形發生。
而在得到兩個影像LIMG42、RIMG42之間的視差DIS後，便可據此視差來判斷操作體OBJ與影像擷取單元110的距離(或稱，位移距離)，進而根據此距離產生深度資訊(圖2所示步驟S203)。
圖7為根據本發明一實施例所繪示深度判定方法的方法流程圖。其中，圖7所示步驟S701~S703可被視為圖2所示步驟S203的一種較為詳細的實施方式。而在此實施例中，操作體於深度方向上移動。請參照圖7，首先，在步驟S701時，於第一時間 中，分別從至少兩個影像擷取單元獲得包括操作體的第一影像以及第二影像，以計算操作體的第一寬度以及操作體在第一影像與第二影像之間的第一位移距離。然後在步驟S702時，於第二時間中，分別從至少兩個影像擷取單元獲得包括操作體的第一影像以及第二影像，以計算操作體的第二寬度。接著在步驟S703時，依據第一位移距離、第一寬度與第二寬度之間的差值並利用一轉換函式，以計算操作體在第一時間與第二時間之間的深度位移量。
其中，上述的至少兩個影像擷取單元亦可為如圖1所示於單一影像擷取單元中的兩個影像擷取器1101、1102。而第一影像以及第二影像則分別可為圖4B(或圖6)所示之影像LIMG42、RIMG42。第一寬度以及第二寬度則分別為第一時間點時以及第二時間點時，第一影像以及第二影像中操作體OBJ的寬度(例如圖5B所示寬度W340)。
圖8為根據本發明一實施例所繪示操作體於第一時間和第二時間的位置示意圖。請參照圖8，在第一時間點t時，操作體OBJ位於遠離影像擷取單元110距離D1的位置，而距離D1則可由上述圖1~圖7所述實施例的方式，利用影像擷取器1101、1102於時間點第一時間點t時所擷取影像的視差DIS來得到。而同理，在第二時間點t+1時，操作體OBJ位於遠離影像擷取單元110距離D2之處，而距離D2亦可由上述圖1~圖7所述實施例的方式，利用影像擷取器1101、1102於第二時間點t+1時所擷取影像的視差DIS來得到。
但是，由於距離D2較距離D1遠離影像擷取單元110，以這樣的方式運算可能會獲得一個較為不精準的結果(即，操作體OBJ越遠離影像擷取單元110，於影像擷取器1101、1102所產生的視差越小)。因此在本實施例中，則可改用下式(1)求得距離D2：D2=D1+Z' (1)其中，Z'即為操作體在第一時間與第二時間之間的深度位移量。而此深度位移量則可以下式(2)所求得：Z'=f(DIS,d')，其中，d'=|(wt+1-wt)| (2)其中，wt+1以及wt分別為第二時間點t+1時以及第一時間點t時影像LIMG42(或RIMG42)中操作體OBJ的寬度，而d'則表示第二時間點t+1時與第一時間點t時操作體OBJ的寬度差。另一方面，f可為一轉換視差及寬度差為深度位移量的轉換函式。而針對轉換函式f中較為簡單的實現方法則為根據視差及寬度差建立其所對應的深度位移量之查找表。這麼一來，雖然較耗費記憶體空間，但卻可以降低計算之複雜度。
舉例來說，以圖8所示的影像擷取單元110作為實際實施使用時，操作體OBJ的大小為1公分、視差DIS為5公分、影像擷取器1101、1102的視角VA1、VA2為30度，而影像擷取器1101、1102的解析度為1280*720像素。若在第一時間點t時，操作體OBJ與影像擷取單元110距離D1為5公分，而操作體OBJ的寬度wt為489個像素。進而，在第二時間點t+1時，計算得到 第二時間點t+1時與第一時間點t時操作體OBJ的寬度差d'為10個像素時，則可以透過下列的表1(即為上述查找表的部份內容)來得到第一時間點t與第二時間點t+1之間的深度位移量Z'等於0.1公分。
若是操作物OBJ於第二時間點的寬度wt+1大於第一時間點t的寬度wt時，深度位移量Z'為正值，距離D2即等於5+0.1=5.1(公分)。反之，若是操作物OBJ於第二時間點的寬度wt+1小於第一時間點t的寬度wt時，深度位移量Z'則為負值，距離D2即等於5-0.1=4.9(公分)。
在視差DIS為10公分時，若量測在第一時間t時，操作體OBJ與影像擷取單元110距離D1為5公分，而操作體OBJ的寬度wt為245個像素。進而，在第二時間t+1時，計算得到第二時間點t+1時與第一時間點t時操作體OBJ的寬度差d'為5個像素時，則可以透過下列的表2(即為查找表的部份內容)來得到第一時間t與第二時間t+1之間的深度位移量Z'等於0.2公分。
若是操作物OBJ於第二時間點的寬度wt+1大於第一時間點t的寬度wt時，深度位移量Z'為正值，距離D2即等於5+0.2=5.2(公分)。反之，若是操作物OBJ於第二時間點的寬度wt+1小於第一時間點t的寬度wt時，深度位移量Z'則為負值，距離D2即等於5-0.2=4.8(公分)。
本發明更提供一種定位裝置，可被用以執行上述圖1~圖8所示之操作體的定位方法以及深度判定方法。圖9為根據本發明一實施例所繪示操作體的定位裝置的裝置方塊圖。請參照圖9，操作體的定位裝置10，包括影像擷取單元110以及處理單元120。影像擷取單元110擷取包括操作體的影像IMG。處理單120接收並依據影像IMG的各個掃瞄線以橫向掃瞄影像IMG，並依據影像IMG中各個掃瞄線的亮點資訊來獲得操作體於各個掃瞄線中的各個寬度值，依序計算相鄰掃瞄線中各個寬度值的相對變化程度，在相對變化程度小於門檻值時，依據相對變化程度所對應的掃瞄線以及寬度值而判定操作體的定位點。
在本發明一實施例中，定位裝置10更包括耦接至處理單 元120的儲存單元130。其中，處理單元120在相對變化程度小於一門檻值時，依據相對變化程度所對應的寬度值而將操作體的定位點以及其寬度記錄於儲存單元130。
另外，定位裝置10亦可為一深度判定裝置。其中，處理單元120於一第一時間中，分別從至少兩個影像擷取單元(例如影像擷取單元110中的影像擷取器1101、1102)獲得包括操作體的第一影像以及第二影像，以計算操作體的第一寬度以及操作體在第一影像與第二影像之間的第一位移距離。處理單元120於第二時間中，分別從上述的至少兩個影像擷取單元獲得包括操作體的第一影像以及第二影像，以計算操作體的第二寬度。處理單元120依據第一位移距離、第一寬度與第二寬度之間的差值並利用轉換函式，以計算操作體在第一時間與第二時間之間的深度位移量。
關於此定位裝置10細部的實施方式，以及此定位裝置10作為深度判定裝置時的詳細實施方式則可參照上述圖1~圖8所示之實施例，在此則不贅述。
值得一提的是，處理單元120可為實體電路，亦可以一處理器執行特定程式碼而實現。另外，當定位裝置10被設置在一電子裝置中時，處理單元120則亦可與電子裝置的中央處理器或其他處理單元共同設置，本發明並不限定於上述實施內容。
綜上所述，本發明提供了一種操作體的定位方法、定位裝置、深度判定方法以及深度判定裝置，可利用橫向地掃瞄快速的得到操作體所對應的定位點，判斷操作體與定位裝置之間的距 離。並進一步地，當操作體移動時，特別是於深度方向移動時，則可更精確地取得對應的深度以及位移。即使當操作體距離較遠，使得在深度方向移動時所造成的視差較小，在運用本發明的深度判斷方法的情況下，則仍可正確的判斷得到操作體的深度以及位移，以得以正確的判斷操作體的運動狀況。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
S301~S304‧‧‧步驟

Claims (24)

  1. 一種操作體的定位方法，包括：自一影像擷取單元獲得包括一操作體的一影像；對該影像以至少一掃描線循序地予以一方向掃描以獲得對應於該操作體處各掃描線之多個亮點資訊，並依據該些亮點資訊來對應地獲得該操作體於各個掃瞄線中的各個寬度值；依序比較相鄰掃瞄線中各個寬度值的一相對變化程度；以及在該相對變化程度小於一門檻值時，以小於該門檻值之該相對變化程度所對應的其中一掃瞄線以及對應於該其中一掃描線上的該寬度值而判定該操作體的一定位點，且依據該相對變化程度所對應的該寬度值而記錄該操作體的寬度。
  2. 如申請專利範圍第1項所述的操作體的定位方法，其中該定位點的X軸座標由小於該門檻值的該相對變化程度所對應的該寬度值的中心位置所決定，該定位點的Y軸座標由小於該門檻值的該相對變化程度所對應的該掃瞄線所決定。
  3. 如申請專利範圍第1項所述的操作體的定位方法，更包括：自該影像擷取單元獲得一未處理影像，並且校正處理該未處理影像以獲得具備該操作體的該影像，其中，該影像擷取單元對該操作物照射一強光以擷取該未處理影像。
  4. 如申請專利範圍第1項所述的操作體的定位方法，其中該影像為灰階影像，且該操作體為使用者的手指。
  5. 如申請專利範圍第4項所述的操作體的定位方法，其中該 掃描線係對該影像循序地以橫向掃描，且該獲得的寬度值係指該手指的寬度。
  6. 一種操作體的定位裝置，包括：一影像擷取單元，擷取包括一操作體的一影像；一處理單元，接收該影像，對該影像以至少一掃描線循序地予以一方向掃描以獲得對應於該操作體處各掃描線之多個亮點資訊，並依據該些亮點資訊來對應地獲得該操作體於各個掃瞄線中的各個寬度值，依序比較相鄰掃瞄線中各個寬度值的一相對變化程度，在該相對變化程度小於一門檻值時，以小於該門檻值之該相對變化程度所對應的其中一掃瞄線以及對應於該其中一掃描線上的該寬度值而判定該操作體的一定位點；以及一儲存單元，其中該處理單元在該相對變化程度小於一門檻值時，依據該相對變化程度所對應的該寬度值而將該操作體的定位點以及其寬度記錄於該儲存單元。
  7. 如申請專利範圍第6項所述的操作體的定位裝置，其中該定位點的X軸座標由小於該門檻值的該相對變化程度所對應的該些寬度值的中心位置所決定，該定位點的Y軸座標由小於該門檻值的該相對變化程度所對應的該掃瞄線所決定。
  8. 如申請專利範圍第6項所述的操作體的定位裝置，其中該影像擷取單元擷取一未處理影像，並且該處理單元接收並校正處理該未處理影像以從該未處理影像中獲得具備該操作體的該影像，其中，該影像擷取單元對該操作物照射一強光以擷取該未處 理影像。
  9. 如申請專利範圍第6項所述的操作體的定位裝置，其中該影像為灰階影像，且該操作體為使用者的手指。
  10. 如申請專利範圍第9項所述的操作體的定位裝置，其中該掃描線係對該影像循序地以橫向掃描，且該獲得的寬度值係指該手指的寬度。
  11. 一種操作體的深度判定方法，包括：於一第一時間中，分別從至少兩個影像擷取單元獲得包括一操作體的一第一影像以及一第二影像，以計算該操作體的一第一寬度以及該操作體在該第一影像與該第二影像之間的第一位移距離；於一第二時間中，分別從該至少兩個影像擷取單元獲得包括該操作體的該第一影像以及該第二影像，以計算該操作體的一第二寬度；以及依據該第一位移距離、該第一寬度與該第二寬度之間的差值並利用一轉換函式，以計算該操作體在該第一時間與該第二時間之間的深度位移量。
  12. 如申請專利範圍第11項所述的深度判定方法，計算該操作體的第一寬度包括下列步驟：分別對於該第一時間所獲得的該第一影像以及該第二影像以至少一掃描線循序地予以橫向掃描，以分別獲得該第一影像以及該第二影像中對應於該操作體處各掃描線之多個亮點資訊，並藉 由該多個亮點資訊來對應地獲得該操作體於各個掃瞄線中的該第一寬度。
  13. 如申請專利範圍第11項所述的深度判定方法，計算該操作體的第二寬度包括下列步驟：分別對於該第二時間所獲得的該第一影像以及該第二影像以至少一掃描線循序地予以橫向掃描，以分別獲得該第一影像以及該第二影像中對應於該操作體處於各掃描線之多個亮點資訊，並藉由該多個亮點資訊來對應地獲得該操作體於各個掃瞄線中的該第二寬度。
  14. 如申請專利範圍第11項所述的深度判定方法，計算該操作體在該第一影像與該第二影像之間的第一位移距離包括下列步驟：判定該操作體於該第一影像的第一定位點以及於該第二影像的第二定位點；以及依據該第一定位點以及該第二定位點計算該第一位移距離。
  15. 如申請專利範圍第14項所述的深度判定方法，其中判定該第一定位點之步驟包括以下步驟：於該第一影像中依序比較相鄰掃瞄線中該第一寬度的一相對變化程度；以及在該相對變化程度小於一門檻值時，以小於該門檻值之該相對變化程度所對應的其中一掃瞄線以及對應於該其中一掃描線上的該第一寬度而判定該操作體的該第一定位點。
  16. 如申請專利範圍第14項所述的深度判定方法，其中判定該第二定位點之步驟包括以下步驟：於該第二影像中依序比較相鄰掃瞄線中該第一寬度的一相對變化程度；以及在該相對變化程度小於一門檻值時，以小於該門檻值之該相對變化程度所對應的其中一掃瞄線以及對應於該其中一掃描線上的該第一寬度而判定該操作體的該第二定位點。
  17. 如申請專利範圍第11項所述的深度判定方法，其中該轉換函式為根據視差及寬度差建立其所對應的深度位移量之一查找表。
  18. 一種操作體的深度判定裝置，包括：一第一影像擷取單元，擷取包括一操作體的一第一影像；一第二影像擷取單元，擷取包括該操作體的一第二影像；一處理單元，耦接該第一影像擷取單元以及該第二影像擷取單元，其中，該處理單元於一第一時間中，分別從至少兩個影像擷取單元獲得包括一操作體的一第一影像以及一第二影像，以計算該操作體的一第一寬度以及該操作體在該第一影像與該第二影像之間的第一位移距離；該處理單元於一第二時間中，分別從該至少兩個影像擷取單元獲得包括該操作體的該第一影像以及該第二影像，以計算該操作體的一第二寬度；以及 該處理單元依據該第一位移距離、該第一寬度與該第二寬度之間的差值並利用一轉換函式，以計算該操作體在該第一時間與該第二時間之間的深度位移量。
  19. 如申請專利範圍第18項所述的深度判定裝置，其中：該處理單元分別對於該第一時間所獲得的該第一影像以及該第二影像以至少一掃描線循序地予以橫向掃描，以分別獲得該第一影像以及該第二影像中對應於該操作體處於各掃描線之多個亮點資訊，並藉由該多個亮點資訊來對應地獲得該操作體於各個掃瞄線中的該第一寬度。
  20. 如申請專利範圍第18項所述的深度判定裝置，其中：分別對於該第二時間所獲得的該第一影像以及該第二影像以至少一掃描線循序地予以橫向掃描，以分別獲得該第一影像以及該第二影像中對應於該操作體處各掃描線之多個亮點資訊，並藉由該些亮點資訊來對應地獲得該操作體於各個掃瞄線中的該第二寬度。
  21. 如申請專利範圍第18項所述的深度判定裝置，其中：該處理單元判定該操作體於該第一影像的第一定位點以及於該第二影像的第二定位點；以及該處理單元依據該第一定位點以及該第二定位點計算該第一位移距離。
  22. 如申請專利範圍第21項所述的深度判定裝置，其中判定該第一定位點之步驟包括以下步驟： 於該第一影像中依序比較相鄰掃瞄線中該第一寬度的一相對變化程度；以及在該相對變化程度小於一門檻值時，以小於該門檻值之該相對變化程度所對應的其中一掃瞄線以及對應於該其中一掃描線上的該第一寬度而判定該操作體的該第一定位點。
  23. 如申請專利範圍第21項所述的深度判定裝置，其中判定該第二定位點之步驟包括以下步驟：於該第二影像中依序比較相鄰掃瞄線中該第一寬度的一相對變化程度；以及在該相對變化程度小於一門檻值時，以小於該門檻值之該相對變化程度所對應的其中一掃瞄線以及對應於該其中一掃描線上的該第一寬度而判定該操作體的該第二定位點。
  24. 如申請專利範圍第18項所述的深度判定裝置，其中：該轉換函式為根據視差及寬度差建立其所對應的深度位移量之查找表。
TW102140174A 2013-11-05 2013-11-05 操作體的定位方法及裝置以及深度判定方法及裝置 TWI536206B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
TW102140174A TWI536206B (zh) 2013-11-05 2013-11-05 操作體的定位方法及裝置以及深度判定方法及裝置
CN201310586188.8A CN104613939B (zh) 2013-11-05 2013-11-20 操作体的定位方法及装置以及深度判定方法及装置
US14/187,335 US9766708B2 (en) 2013-11-05 2014-02-24 Locating method, locating device, depth determining method and depth determining device of operating body
US14/990,802 US10386930B2 (en) 2013-11-05 2016-01-08 Depth determining method and depth determining device of operating body

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW102140174A TWI536206B (zh) 2013-11-05 2013-11-05 操作體的定位方法及裝置以及深度判定方法及裝置

Publications (2)

Publication Number Publication Date
TW201519002A TW201519002A (zh) 2015-05-16
TWI536206B true TWI536206B (zh) 2016-06-01

Family

ID=53006673

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102140174A TWI536206B (zh) 2013-11-05 2013-11-05 操作體的定位方法及裝置以及深度判定方法及裝置

Country Status (3)

Country Link
US (2) US9766708B2 (zh)
CN (1) CN104613939B (zh)
TW (1) TWI536206B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6248533B2 (ja) * 2013-10-22 2017-12-20 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
TWI553591B (zh) * 2015-12-28 2016-10-11 緯創資通股份有限公司 深度影像處理方法及深度影像處理系統
US10235348B2 (en) * 2016-04-12 2019-03-19 Microsoft Technology Licensing, Llc Assistive graphical user interface for preserving document layout while improving the document readability
TWI585436B (zh) * 2016-05-19 2017-06-01 緯創資通股份有限公司 深度資訊量測方法及裝置
EP4152745A1 (en) * 2020-05-15 2023-03-22 Aulton New Energy Automotive Technology Group Visual positioning system, battery replacing device, and battery replacement control method

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7359541B2 (en) * 2000-04-28 2008-04-15 Konica Corporation Radiation image processing apparatus
WO2007105189A1 (en) * 2006-03-10 2007-09-20 Commergy Technologies Limited A power converter
US7701439B2 (en) * 2006-07-13 2010-04-20 Northrop Grumman Corporation Gesture recognition simulation system and method
US8589824B2 (en) * 2006-07-13 2013-11-19 Northrop Grumman Systems Corporation Gesture recognition interface system
CN101689244B (zh) * 2007-05-04 2015-07-22 高通股份有限公司 用于紧凑设备的基于相机的用户输入
US8902193B2 (en) * 2008-05-09 2014-12-02 Smart Technologies Ulc Interactive input system and bezel therefor
JP5246490B2 (ja) * 2008-08-29 2013-07-24 ソニー株式会社 入出力装置
TWI403940B (zh) * 2008-12-03 2013-08-01 Au Optronics Corp 光感式觸控板之觸碰偵測方法及運用此方法之觸控式電子裝置
JP4771183B2 (ja) * 2009-01-30 2011-09-14 株式会社デンソー 操作装置
TWI398818B (zh) 2009-06-30 2013-06-11 Univ Nat Taiwan Science Tech 手勢辨識方法與系統
BR112012014042B1 (pt) * 2009-12-11 2020-12-15 Avery Dennison Corporation Sistema de detecção de posição e película prismática
US20110254939A1 (en) * 2010-04-16 2011-10-20 Tatiana Pavlovna Kadantseva Detecting User Input Provided To A Projected User Interface
TWI569174B (zh) * 2010-06-01 2017-02-01 林卓毅 可攜式光學觸控系統
US9274744B2 (en) * 2010-09-10 2016-03-01 Amazon Technologies, Inc. Relative position-inclusive device interfaces
TWI540461B (zh) 2011-12-05 2016-07-01 緯創資通股份有限公司 手勢輸入的方法及系統
JP6115561B2 (ja) * 2012-03-07 2017-04-19 富士通株式会社 立体画像表示装置及びプログラム
US9111135B2 (en) * 2012-06-25 2015-08-18 Aquifi, Inc. Systems and methods for tracking human hands using parts based template matching using corresponding pixels in bounded regions of a sequence of frames that are a specified distance interval from a reference camera
CN103345301B (zh) 2013-06-18 2016-08-10 华为技术有限公司 一种深度信息获取方法和装置

Also Published As

Publication number Publication date
TW201519002A (zh) 2015-05-16
US10386930B2 (en) 2019-08-20
US20160116990A1 (en) 2016-04-28
US20150123892A1 (en) 2015-05-07
US9766708B2 (en) 2017-09-19
CN104613939B (zh) 2017-05-31
CN104613939A (zh) 2015-05-13

Similar Documents

Publication Publication Date Title
CN107424186B (zh) 深度信息测量方法及装置
CN104380338B (zh) 信息处理器以及信息处理方法
JP6417702B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP3951984B2 (ja) 画像投影方法、及び画像投影装置
TWI536206B (zh) 操作體的定位方法及裝置以及深度判定方法及裝置
WO2013146269A1 (ja) 画像撮像装置、画像処理方法およびプログラム
US20120120198A1 (en) Three-dimensional size measuring system and three-dimensional size measuring method
CN112184811B (zh) 单目空间结构光***结构校准方法及装置
US20160245641A1 (en) Projection transformations for depth estimation
WO2020119467A1 (zh) 高精度稠密深度图像的生成方法和装置
JP2014202540A (ja) 位置算出システム、位置算出プログラム、および、位置算出方法
TWI526879B (zh) 互動系統、遙控器及其運作方法
CN111256628A (zh) 墙面平整度检测方法、装置、计算机设备和存储介质
JPWO2014084181A1 (ja) 画像計測装置
JP2016177491A (ja) 入力装置、指先位置検出方法及び指先位置検出用コンピュータプログラム
TWI571099B (zh) 深度估測裝置及方法
JP2007298376A (ja) 境界の位置決定装置、境界の位置を決定する方法、当該装置としてコンピュータを機能させるためのプログラム、および記録媒体
TWI506479B (zh) 光學觸控系統
JP2018009927A (ja) 画像処理装置、画像処理方法及びプログラム
JP6229554B2 (ja) 検出装置および検出方法
JP2018109899A (ja) 情報処理装置、操作検出方法、及びコンピュータプログラム
JP2011095131A (ja) 画像処理方法
JP6390163B2 (ja) 情報処理装置、情報処理方法およびプログラム
US10346680B2 (en) Imaging apparatus and control method for determining a posture of an object
TW201425871A (zh) 測距方法及電腦程式產品