TWI394087B - 追蹤目標物的方法及裝置 - Google Patents

追蹤目標物的方法及裝置 Download PDF

Info

Publication number
TWI394087B
TWI394087B TW099147243A TW99147243A TWI394087B TW I394087 B TWI394087 B TW I394087B TW 099147243 A TW099147243 A TW 099147243A TW 99147243 A TW99147243 A TW 99147243A TW I394087 B TWI394087 B TW I394087B
Authority
TW
Taiwan
Prior art keywords
image
target
color
current image
tracking
Prior art date
Application number
TW099147243A
Other languages
English (en)
Other versions
TW201227538A (en
Inventor
Shang Yi Lin
Chia Chen Chen
Wen Shiou Luo
Original Assignee
Ind Tech Res Inst
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ind Tech Res Inst filed Critical Ind Tech Res Inst
Priority to TW099147243A priority Critical patent/TWI394087B/zh
Priority to US13/066,515 priority patent/US8442269B2/en
Publication of TW201227538A publication Critical patent/TW201227538A/zh
Application granted granted Critical
Publication of TWI394087B publication Critical patent/TWI394087B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Description

追蹤目標物的方法及裝置
本發明是有關於一種辨識目標物的方法，且特別是有關於一種可動態追蹤目標物的方法及裝置。
由於人機互動介面不斷地朝向人性化操作的設計發展，使得電腦控制介面從傳統的鍵盤、滑鼠、搖桿到觸控裝置等，逐漸邁入以影像擷取自然手勢或肢體動作的操作介面。預料在未來，手勢與人體互動介面相關技術與應用將掀起一波熱潮。
傳統上，要取得無標記(markerless)自然手勢或動作的指令，多半要以影像處理技術擷取或比對影像中的目標物特徵。然而，在複雜背景的環境下，一般物件或人體自然手勢影像非常容易受到亮度變化、週遭背景、甚至自身其他類似特徵的干擾，因此經常導致偵測結果的不穩定。而且，人的肢體不像其他手持遙控器或特定裝置，具有固定的形態，操作過程中，手勢或人體動作通常會有一定的變化。因此，倘若僅只是以顏色、模板或移動軌跡作為主要辨識的特徵，都難以穩定地追蹤目標物(例如：手勢)的位置。因此過去的研究，經常將操作環境限制在非常嚴謹的條件(例如：單純的背景、固定亮度的光源、無其他動態物件等)，進而大幅限制了其可應用的範疇。同時，由於影像處理通常面臨龐大的資料運算，使得反應時間延遲，而於即時互動的需求上無法獲得充分發揮。
本發明提出一種追蹤目標物的方法。本方法至少包括下列步驟A~步驟E。步驟A，接收多個影像，並選自這些影像之一者作為目前影像。步驟B，抽取目前影像中之特定色彩。步驟C，比對目前影像與模板影像，以尋找在目前影像中的目標物件。步驟D，判斷目前影像中是否有目標物，若有，則更新目標物的目標物特徵及目標物位置至儲存單元；若否，則進行下一步驟。步驟E，使用微處理器執行以下步驟：a.於目前影像之前所接收的影像中，尋找具有目標物的先前影像；b.依據先前影像的目標物特徵，搜尋目前影像是否具有目標物；c.依據先前影像的目標物特徵而尋找到目前影像的目標物，將目前影像的目標物特徵及目標物位置更新至儲存單元。
本發明另提出一種追蹤目標物的裝置，包括儲存單元以及微處理器。而微處理器耦接至儲存單元，其被程式化用以執行以下步驟A~步驟E。步驟A，接收多個影像，並選自這些影像之一者作為目前影像。步驟B，抽取目前影像中之特定色彩。步驟C，比對目前影像與模板影像，以尋找在目前影像中的目標物件。步驟D，判斷目前影像中是否有目標物，若有，則更新目標物的目標物特徵及目標物位置至儲存單元；若否，則進行下一步驟。步驟E，使用微處理器執行以下步驟：a.於目前影像之前所接收的影像中，尋找具有目標物的先前影像；b.依據先前影像的目標物特徵，搜尋目前影像是否具有目標物；c.依據先前影像的目標物特徵而尋找到目前影像的目標物，將目前影像的目標物特徵及目標物位置更新至儲存單元。
為讓本發明之上述特徵能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
一般而言，在複雜背景的環境下，一般物件或人體自然手勢影像非常容易受到亮度變化、週遭背景、甚至自身其他類似特徵的干擾，因此經常導致偵測結果的不穩定。同時，由於影像處理通常面臨龐大的資料運算，使得反應時間延遲，進而無法有效發揮其作用。為此，本發明提出一種目標物的追蹤方法及裝置，以提升追蹤目標物的穩定度與精確度。為了使本發明之內容更為明瞭，以下特舉實施例作為本發明確實能夠據以實施的範例。
第一實施例
圖1是依照本發明第一實施例之一種追蹤目標物的裝置的方塊圖。請參照圖1，追蹤目標物的裝置100包括儲存單元103以及微處理器105。而微處理器105耦接至儲存單元103。
微處理器105被程式化用以執行追蹤目標物的方法。例如，利用電腦可讀取儲存媒體儲存一電腦程式，以利追蹤微處理器105執行之，以電子自動化的方式完成追蹤目標物的方法。在此，微處理器105可以透過通用序列匯流排(Universal Serial Bus，USB)或IEEE 1394傳輸介面來接收由影像擷取單元所拍攝的影像。而微處理器105可先將所擷取的影像存放在儲存單元103(例如，記憶體)後，再進行追蹤目標物的方法。以下即舉一實施例來詳細說明追蹤目標物的方法各步驟。
圖2是依照本發明第一實施例之一種追蹤目標物的方法流程圖。請參照圖2，在步驟S205中，接收多個影像，並且選自這些影像之一者作為目前影像。接著，在步驟S210中，抽取目前影像的特定色彩。例如，透過指定的色彩比例，把彩色影像轉為灰階影像。
舉例來說，圖3是依照本發明第一實施例之一種特定色彩抽取的方法流程圖。請參照圖3，在步驟S305中，指定一組顏色作為特定色彩，對此特定色彩進行正規化後獲得第一顏色向量。在此，指定色彩的方法可由預先設定目標物的顏色，或是讓使用者在使用時指定目前影像中的某種顏色來作為指定的特定色彩。
例如，當明確地知道目標物的顏色時，可以事先指定目標物的顏色來作為特定色彩(如：目標物為手部時，即可以膚色來作為特定色彩)。另外，亦可以依據使用者在顯示畫面上的選取來指定特定色彩，也就是說讓使用者在顯示畫面中指定目標物的顏色。例如，在顯示畫面中提供一個方框，讓使用者利用此方框在顯示畫面中來選取特定色彩。此外，也可以採用自動學習的機制讓使用者指定目標物的顏色。例如讓使用者將目標物在影像擷取單元(例如：相機)前面快速揮動，藉以取得影像中移動區塊裡顏色的分布。分析此顏色分布，找出影像中移動區塊裡分布最多的顏色，利用此顏色作為特定色彩。上述指定特定色彩的方法可以只選用其中一種來指定特定色彩，亦可三種同時並用。
接著，在步驟S310，正規化目前影像中的彩色像素，以獲得第二顏色向量。例如，以RGB色彩空間而言，取得目前影像中每個像素的RGB值，將每個像素的RGB值正規化後獲得第二顏色向量。
之後，在步驟S315中，計算第一顏色向量與第二顏色向量的顏色相似度。例如，將特定色彩的第一顏色向量與目前影像的各彩色像素的第二顏色向量分別進行內差(interpolation)，而分別獲得各彩色像素與特定色彩的顏色相似度。
然後，於步驟S320中，再依據顏色相似度，將彩色像素轉換為灰階強度值，也就是將目前影像轉換為灰階影像。最後，如步驟S325所示，輸出灰階影像。
在本實施例中，將各彩色像素轉換為灰階強度值是依據下列公式：
I=wn ×Vmax ，n≧1；
其中，w為顏色相似度，也就是第一顏色向量與第二顏色向量進行內差之後獲得顏色相似度w，Vmax 為這些彩色像素中RGB的最大值，I為灰階強度值，n是用來調整顏色相似度的係數。當係數n越大，轉換後的灰階影像受到顏色相似度w的影響便越高。而為了方便辨認，可將灰階強度值轉換成色調(Hue)(詳細請參照附件1)，利用顏色更能夠清楚地知道強度高低，例如，強度較高的部分是紅色，較低的是藍色。圖4是依照本發明第一實施例之一種抽取特定色彩之影像的示意圖。據此，藉由調整顏色相似度w的係數n可過濾掉與特定色彩不相關的物件。
返回圖2，在執行特定色彩抽取之後，在步驟S215中，比對目前影像與模板影像。並且，如步驟S220所示，尋找目前影像中是否具有目標物。例如，計算灰階影像中的物件邊緣，並將物件邊緣分為八個方向，以與預先建立的模板影像分別由八個方向進行比對，藉以找出最佳的比對結果。而由比對出的結果，可判斷目前影像中是否有符合模板的物件。在此，可事先建立一模板影像資料庫，如圖5所示。圖5是依照本發明第一實施例之一種模板影像資料庫示意圖。據此，可自模板影像資料庫中選取至少其中之一作為模板影像。
圖6是依照本發明第一實施例之一種模板比對的方法流程圖。請參照圖6，在步驟S605中，對灰階影像執行邊緣偵測(edge detection)以找出物件邊緣。之後，再利用X、Y方向的梯度(Gradient)值計算物件邊緣的角度。接著，在步驟S610中，依據物件邊緣的多個角度分別計算距離轉換(Distance Transform，DT)而獲得距離轉換影像。為了平行運算，將偵測到的物件邊緣分成八個方向，分別為[0°至45°]、[45°至90°]、[90°至135°]、[135°至180°]、[180°至225°]、[225°至270°]、[270°至315°]以及[315°至360。]。於物件邊緣的八個方向來分別計算距離轉換。
之後，在步驟S615中，對模板影像與距離轉換影像進行摺積(Convolution)運算，以獲得模板影像與距離轉換影像的影像相似度。在本實施例中，計算模板影像與距離轉換影像的影像相似度是依據下列公式：
其中，M是模板影像的寬度，N是模板影像的高度，DT代表距離轉換影像，g代表模板影像，Nedge 為模板影像中物件邊緣的像素數目，e為影像相似度。在此，可在距離轉換影像中移動模板影像以進行不同區塊的比對，藉以找出模板影像在距離轉換影像中影像相似度最高的位置。也就是說，將模板影像與距離轉換影像進行摺積之後，依照模板影像中的物件邊緣做調整，即可得到模板影像與距離轉換影像的影像相似度e。
得到與模板影像的影像相似度後，判斷此影像相似度是否低於一門檻值(Thtemplate )。例如，將此門檻值Thtemplate 設定成10。影像相似度為模板影像與距離轉換影像比對時，模板影像的物件邊緣在對應的距離轉換影像中也同樣都是物件邊緣或是物件邊緣附近的像素。倘若影像相似度高於門檻值Thtemplate ，則判斷比對到的物件邊緣所對應的物件就是目標物。相反地，倘若影像相似度低於此門檻值，則判斷比對到的物件邊緣所對應的物件非目標物。
另外，倘若執行完邊緣偵測之後產生多組物件邊緣，則逐一將這些物件邊緣與模板影像來進行比對，藉以找出與模板影像最相近的物件邊緣。
返回圖2，於步驟S220中，倘若在目前影像中找到目標物，執行步驟S225，將目標物的目標物特徵及目標物位置更新至儲存單元103。目標物特徵包括形狀資訊、顏色資訊、深度資訊或移動軌跡資訊。
倘若於目前影像中未找到目標物，執行步驟S230，於目前影像之前所接收的影像中，尋找具有目標物的先前影像。並且，在步驟S235中，依據先前影像的目標物特徵來搜尋目前影像是否具有目標物。若依據先前影像的目標物特徵而尋找到目前影像的目標物，執行步驟S225，將目前影像的目標物特徵及目標物位置更新至儲存單元103。
反之，若依據先前影像的目標物特徵而未在目前影像尋找到目標物，如步驟S240所示，判定目前影像不具有目標物。
也就是說，微處理器105在目前影像中找到目標物之後便將目標物特徵與目標物位置更新至儲存單元103，當下一張影像無法藉由模板影像來找到目標物時，便能夠依據儲存單元103中的目標物特徵與目標物位置來追蹤目標物。另外，倘若目標物追蹤錯誤，下一張影像亦能夠藉由模板影像而校正回來。
第二實施例
圖7A及圖7B是依照本發明第二實施例之一種追蹤目標物的方法流程圖。
請同時參照圖1及圖7A，在步驟S705中，接收目前影像。接著，由微處理器105執行步驟S705~步驟S720。在步驟S710中，執行特定色彩抽取。例如，將彩色影像轉換為灰階影像。之後，在步驟S715中，執行模板比對，藉以在目前影像中找出與模板影像相似的區塊(也就是目標物)。本實施例之步驟S710、步驟S715分別與第一實施例之步驟S210及步驟S215相似，故在此不再詳述。
然後，在步驟S720中，追蹤目標物。例如，進一步與先前影像中的目標物特徵進行比對，以找出目前影像中的目標物位置。而步驟S720的子步驟如圖7B所示，在步驟S731中，判斷目前影像中是否有找到目標物。例如，在獲得與模板影像的影像相似度後，判斷此影像相似度是否低於門檻值Thtemplate 。若影像相似度高於門檻值Thtemplate ，則判定比對的物件為目標物。相反地，倘若影像相似度低於門檻值Thtemplate ，則判定比對的物件非目標物。
倘若於目前影像找到目標物，如步驟S733所示，更新目標物特徵及目標物位置至儲存單元。之後，在步驟S735中，輸出目標物位置。例如，於顯示畫面中呈現出目標物位置。
另一方面，倘若於目前影像中未找到目標物，如步驟S737所示，於前p張先前影像中尋找是否有找到目標物，p為大於等於1之正整數。
一般而言，連續影像中目標物的移動幅度應當不會太大，因此可利用先前影像所找到的目標物特徵來搜尋目前影像是否具有目標物。例如，假設於前10張的先前影像尋找是否有找到目標物。若前10張先前影像中皆未尋獲目標物，執行步驟S745，判定目前影像中沒有目標物。
若於前10張先前影像其中之一尋獲目標物，則執行步驟S739，以先前影像的目標物特徵建立特徵區塊。之後，在步驟S741中，利用特徵區塊來與目前影像進行比對。並且，於步驟S743中，判斷是否有找到目標物。例如，使用目標物的形狀資訊、顏色資訊、深度資訊或是移動軌跡資訊來當作目標物特徵。
具體而言，可以先前影像的目標物特徵來建立特徵區塊(例如，Nx ×Ny 的特徵區塊，Nx Ny )。之後，依據先前影像的目標物位置，於目前影像中尋找對應的搜尋範圍。在搜尋範圍中利用特徵區塊於目前影像中尋找是否具有目標物。例如，在目前影像中的搜尋範圍內選取一比對區塊。然後，計算比對區塊與特徵區塊相符的像素數量。若像素數量大於門檻值(Thblock )，便判定比對區塊為目標物。
另外，以目標物的形狀資訊而言，首先對色彩抽取後的灰階影像做顏色分割(color segmentation)之後，以目標物的位置為中心，取Nx ×Ny 的特徵區塊當作是目標物特徵。Nx 為水平方向的像素個數，Ny 為垂直方向的像素個數，且各為大於等於1之正整數。以先前影像的目標物位置為中心，在目前影像相對應的位置附近尋找是否有類似先前影像的目標物的形狀。例如，將特徵區塊與搜尋範圍執行XNOR邏輯運算可進行快速的比對，並計算比對區塊與特徵區塊對應到的像素數目當作相似度，尋找相似度最高的位置，並取門檻值Thblock 判斷是否有找到目標物。假設Thblock =Nx ×Ny ×0.8，代表比對區塊中要有80%的像素要與先前影像的特徵區塊相同。若是有找到目標物，則更新目標物特徵，傳回目標物位置。若是沒找到，則當作是目標物已從影像中消失。
另外，也可以用目標物的顏色資訊或深度資訊當作是目標物特徵。同樣地，目標物位置為中心取大小為Nx ×Ny 的特徵區塊，以特徵區塊中顏色的分布或是深度的位置與分布當作是目標物特徵。依據先前影像的目標物位置而在目前影像相對應的位置附近尋找目標物位置。
上述深度資訊例如可利用一般的關聯(correlation)方法來獲得。由於只要比對可能是目標物的物件之深度資訊，所以可以先用顏色分割方法來切割出與目標物顏色相似的區塊，再用邊緣偵測計算出區塊的邊緣資訊，以利用邊緣資訊來計算關聯性，據此便可以得到區塊的深度資訊。使用這個方法可以較快地得到目標物的深度資訊，以加快比對的速度。
此外，還可以利用目標物的移動軌跡資訊來當作目標物特徵。當目標物連續出現在影像中的時候，可利用目標物在前後兩張影像中的位置來計算目標物的移動速度。當使用Nx ×Ny 的特徵區塊進行搜尋時，可以先預測目標物在目前影像中的位置，再以預測的位置為中心進行搜尋。這個方法可預防目標物在快速移動時，也能追蹤到目標物的位置，避免目標物在移動時超出了搜尋範圍。
值得一提的是，當找到目前影像中的目標物之後，可以更新特定色彩抽取中的特定色彩。在進行下一張影像的色彩抽取時，就能夠使用目前影像中目標物的顏色來作為特定色彩。這個機制可在環境光源改變，或是目標物本身會漸漸變色的時候，能即時對應到目前目標物的顏色，可避免需要重新指定目標物顏色的步驟。
第三實施例
圖8是依照本發明第三實施例之一種追蹤目標物的裝置的方塊圖。請參照圖8，追蹤目標物的裝置800包括影像擷取單元801、影像擷取單元803、儲存單元805以及微處理器807。在本實施例中，影像擷取單元801與影像擷取單元803的內部參數與外部參數為事先經過校正，以便於後續運算。
影像擷取單元803與影像擷取單元801以不同視角來連續擷取影像。微處理器807可依據第一實施例的步驟S205~步驟S240或是依據第二實施例的步驟S705~步驟S720來先偵測影像擷取單元801所擷取影像的目標物位置，並儲存至儲存單元805。接著，微處理器807讀取影像擷取單元801所擷取的目前影像的目標物位置與目標物特徵，藉以依據計算出影像擷取單元803的同軸線(epipolar line)。同軸線為任一同軸面與影像擷取單元801及影像擷取單元803(例如為設置於左、右兩邊的攝影機)的影像平面所產生的交線。並且，利用影像擷取單元801的目標物特徵，而於影像擷取單元803所擷取的影像的同軸線上來尋找目標物位置，藉以依據影像擷取單元801與影像擷取單元803各自所得到的目標物位置來計算目標物的三維座標。
圖9是依照本發明第三實施例之一種計算三維座標方法的流程圖。請參照圖9，在步驟S905中，依據第一台影像擷取單元(假設為影像擷取單元801)所擷取的目前影像的目標物位置，計算第二台影像擷取單元(假設為影像擷取單元803)的同軸線。另外，在其他實施例中，倘若追蹤目標物的裝置800具有其他影像擷取單元，亦可利用影像擷取單元801所獲得的目標物特徵而計算出其他影像擷取單元的同軸線。
接著，在步驟S910中，利用影像擷取單元801所獲得之目前影像的目標物特徵，而於影像擷取單元803所擷取的影像的同軸線上尋找目標物位置。之後，在步驟S915中，依據影像擷取單元801與影像擷取單元803各自所得到的目標物位置來計算目標物的三維座標。
據此，在同軸線上進行目標物的比對，除了能夠更快速的算出目標物在其他影像擷取單元中的位置之外，也能有效減少計算目標物三維座標時的誤差。
另外，在其他實施例中，亦可使用二台影像擷取單元來計算目標物的三維座標。例如，可利用上述第一實施例與第二實施例的方法來追蹤不同影像擷取單元所擷取的影像各自的目標物位置，再利用這些目標物位置計算目標物的三維座標。
綜上所述，在上述實施例中，以電腦視覺之比對技術為基礎，進行無標記的目標物追蹤。目標物的追蹤方法以既有的顏色與形狀等特徵為基礎，並且在追蹤的過程中，不斷參考先前影像之變化，動態地更新目標物特徵，並加入判斷的機制，因此能有效提升追蹤之可靠度與精確度。據此，在找到目標物之後便將目標物特徵與目標物位置更新至儲存單元，當下一張影像無法藉由模板比對來找到目標物時，便能夠依據儲存單元中的目標物特徵與目標物位置來追蹤目標物。另外，倘若目標物追蹤錯誤，下一張影像亦能夠藉由模板比對而校正回來。上述實施例之追蹤目標物的方法不僅能用於二維目標物的追蹤，亦能用於三維目標物的追蹤。
同時為了達到即時追蹤的效能，可先依據目標物的顏色資訊、移動軌跡資訊或深度資訊等來預測影像比對計算的可能範圍，以減少運算資料量，並且可採用多核心平行處理架構加速其運算過程。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作些許之更動與潤飾，故本發明之保護範圍當視後附之申請專利範圍所界定者為準。
100、800．．．追蹤目標物的裝置
801、803．．．影像擷取單元
103、805．．．儲存單元
105、807．．．微處理器
S205~S240．．．本發明第一實施例之追蹤目標物的方法各步驟
S305~S325．．．本發明第一實施例之特定色彩抽取的方法各步驟
S605~S615．．．本發明第一實施例之模板比對的方法各步驟
S705~S745．．．本發明第二實施例之追蹤目標物的方法各步驟
S905~S915．．．本發明第三實施例之計算三維座標方法各步驟
圖1是依照本發明第一實施例之一種追蹤目標物的裝置的方塊圖。
圖2是依照本發明第一實施例之一種追蹤目標物的方法流程圖。
圖3是依照本發明第一實施例之一種特定色彩抽取的方法流程圖。
圖4是依照本發明第一實施例之一種抽取特定色彩之影像的示意圖。
圖5是依照本發明第一實施例之一種模板影像資料庫示意圖。
圖6是依照本發明第一實施例之一種模板比對的方法流程圖。
圖7A及圖7B是依照本發明第二實施例之一種追蹤目標物的方法流程圖。
圖8是依照本發明第三實施例之一種追蹤目標物的裝置的方塊圖。
圖9是依照本發明第三實施例之一種計算三維座標方法的流程圖。
附件1是圖4所對應之彩圖。
S205~S240．．．本發明第一實施例之追蹤目標物的方法各步驟

Claims (16)

  1. 一種追蹤目標物的方法，包括：A.接收多個影像，並選自該些影像之一者作為一目前影像；B.抽取該目前影像中之一特定色彩；C.比對該目前影像與一模板影像，以尋找在該目前影像中一目標物件；D.判斷該目前影像中是否有該目標物，若有，則更新該目標物的一目標物特徵及一目標物位置至一儲存單元，若否，則進行下一步驟；E.使用一微處理器執行以下步驟：a.於該目前影像之前所接收的影像中，尋找具有該目標物的一先前影像；b.依據該先前影像的該目標物特徵，搜尋該目前影像是否具有該目標物；以及c.依據該先前影像的該目標物特徵而尋找到該目前影像的該目標物，將該目前影像的該目標物特徵及該目標物位置更新至該儲存單元。
  2. 如申請專利範圍第1項所述之追蹤目標物的方法，其中該步驟B包括：將該特定色彩所轉換的向量與該目前影像的多個彩色像素所轉換的向量分別進行內差，而分別獲得每一該些彩色像素與該特定色彩的一顏色相似度；以及依據該顏色相似度，將該目前影像轉換為一灰階影像，其中該步驟是依據下列公式分別將該些彩色像素轉換為一灰階強度值：I=wn ×Vmax ，n≧1；其中，w為該顏色相似度，Vmax 為該些彩色像素中的RGB最大值，I為該灰階強度值，n是用來調整該顏色相似度的係數。
  3. 如申請專利範圍第1項所述之追蹤目標物的方法，其中該步驟C包括：對該灰階影像執行一邊緣偵測，以找出一物件邊緣；依據該物件邊緣的多個角度分別計算一距離轉換而獲得一距離轉換影像；以及對該模板影像與該距離轉換影像進行一摺積運算，以獲得該模板影像與該距離轉換影像的一影像相似度；而該步驟D包括：比較該影像相似度與一第一門檻值，藉以判定該物件邊緣所對應的物件是否為該目標物；若該影像相似度大於該第一門檻值，判定該物件邊緣所對應的物件為該目標物；以及若該影像相似度未大於該第一門檻值，判定該物件邊緣所對應的物件不為該目標物。
  4. 如申請專利範圍第1項所述之追蹤目標物的方法，更包括：指定該特定色彩，而指定該特定色彩的方法包括下列至少一項：預先設定該特定色彩；依據由一使用者在一顯示畫面上的選取，指定該特定色彩；以及經由自動學習的機制，在該顯示畫面中自動搜尋該目標物，並抽取該目標物的顏色來作為該特定色彩。
  5. 如申請專利範圍第1項所述之追蹤目標物的方法，其中該步驟b包括：b-1.以該先前影像的該目標物特徵來建立一特徵區塊；b-2.依據該先前影像的目標物位置，於該目前影像中尋找對應的一搜尋範圍；以及b-3.在該搜尋範圍利用該特徵區塊於該目前影像中尋找是否具有該目標物。
  6. 如申請專利範圍第5項所述之追蹤目標物的方法，其中該目標物特徵包括該目標物的形狀資訊、顏色資訊、深度資訊以及移動軌跡資訊至少其中之一。
  7. 如申請專利範圍第5項所述之追蹤目標物的方法，其中該步驟b-3包括：在該搜尋範圍內選取一比對區塊；計算該比對區塊與該特徵區塊相符的像素數量；以及若該像素數量大於一第二門檻值，判定該比對區塊為該目標物。
  8. 如申請專利範圍第1項所述之追蹤目標物的方法，其中在該步驟b之後，更包括：若依據該先前影像的該目標物特徵而未在該目前影像尋找到該目標物，判定該目前影像不具有該目標物。
  9. 如申請專利範圍第1項所述之追蹤目標物的方法，更包括：利用一第一影像擷取單元擷取該些影像；依據該目前影像的目標物位置，計算一第二影像擷取單元的一同軸線(epipolar line)；利用該目前影像的目標物特徵，而於該第二影像擷取單元所擷取的影像的該同軸線上尋找該目標物位置；以及依據該第一影像擷取單元與該第二影像擷取單元各自所得到的該目標物位置來計算該目標物的三維座標。
  10. 一種追蹤目標物的裝置，包括：一儲存單元，以及一微處理器，耦接該儲存單元，其中該微處理器被程式化用以執行以下步驟：A.接收多個影像，並選自該些影像之一者作為一目前影像；B.抽取該目前影像中之一特定色彩；C.比對該目前影像與一模板影像，以尋找在該目前影像中一目標物件；D.判斷該目前影像中是否有該目標物，若有，則更新該目標物的一目標物特徵及一目標物位置至該儲存單元，若否，則進行下一步驟；E.使用該微處理器執行以下步驟：a.於該目前影像之前所接收的影像中，尋找具有該目標物的一先前影像；b.依據該先前影像的該目標物特徵，搜尋該目前影像是否具有該目標物；以及c.依據該先前影像的該目標物特徵而尋找到該目前影像的該目標物，將該目前影像的該目標物特徵及該目標物位置更新至該儲存單元。
  11. 如申請專利範圍第10項所述之追蹤目標物的裝置，更包括：一第一影像擷取單元，耦接至該微處理器，擷取該些影像；以及一第二影像擷取單元，耦接至該微處理器，用以於不同視角擷取另一影像；其中，該微處理器會依據該目前影像的目標物位置，計算該第二影像擷取單元的一同軸線，利用該目前影像的目標物特徵，而於該第二影像擷取單元所擷取的該影像的該同軸線上尋找該目標物位置，並且依據該第一影像擷取單元與該第二影像擷取單元各自所得到的該目標物位置來計算該目標物的三維座標。
  12. 如申請專利範圍第10項所述之追蹤目標物的裝置，其中該微處理器執行的步驟B包括：將一特定色彩所轉換的向量與該目前影像的多個彩色像素所轉換的向量分別進行內差，而分別獲得每一該些彩色像素與該特定色彩的一顏色相似度；以及依據該顏色相似度，將該目前影像轉換為一灰階影像，其中該步驟是依據下列公式分別將該些彩色像素轉換為一灰階強度值：I=wn ×Vmax ，n≧1；其中，w為該顏色相似度，Vmax 為該些彩色像素中RGB的最大值，I為該灰階強度值，n是用來調整該顏色相似度的係數。
  13. 如申請專利範圍第10項所述之追蹤目標物的裝置，其中該微處理器所執行的步驟C包括：對該灰階影像執行一邊緣偵測，以找出一物件邊緣，再依據該物件邊緣的多個角度分別計算一距離轉換而獲得一距離轉換影像，並且對一目標模板與該距離轉換影像進行一摺積運算，以獲得該模板影像與該距離轉換影像的一影像相似度；而該微處理器所執行的該步驟D包括：比較該影像相似度與一第一門檻值，藉以判定該物件邊緣所對應的物件是否為該目標物；若該影像相似度大於該第一門檻值，判定該物件邊緣所對應的物件為該目標物；以及若該影像相似度未大於該第一門檻值，判定該物件邊緣所對應的物件不為該目標物。
  14. 如申請專利範圍第10項所述之追蹤目標物的裝置，其中該微處理器依據下列至少其中之一方法來指定該特定色彩：預先設定該特定色彩；依據由一使用者在一顯示畫面上的選取，指定該特定色彩；以及經由自動學習的機制，在該顯示畫面中自動搜尋該目標物，並抽取該目標物的顏色來作為該特定色彩。
  15. 如申請專利範圍第10項所述之追蹤目標物的裝置，其中該微處理器所執行的步驟b包括：以該先前影像的該目標物特徵來建立一特徵區塊，而依據該先前影像的目標物位置，於該目前影像中尋找對應的一搜尋範圍；並且在該搜尋範圍內選取一比對區塊，計算該比對區塊與該特徵區塊相符的像素數量，若該像素數量大於一第二門檻值，判定該比對區塊為該目標物。
  16. 如申請專利範圍第10項所述之追蹤目標物的裝置，其中該目標物特徵包括該目標物的形狀資訊、顏色資訊、深度資訊以及移動軌跡資訊至少其中之一。
TW099147243A 2010-12-31 2010-12-31 追蹤目標物的方法及裝置 TWI394087B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW099147243A TWI394087B (zh) 2010-12-31 2010-12-31 追蹤目標物的方法及裝置
US13/066,515 US8442269B2 (en) 2010-12-31 2011-04-15 Method and apparatus for tracking target object

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW099147243A TWI394087B (zh) 2010-12-31 2010-12-31 追蹤目標物的方法及裝置

Publications (2)

Publication Number Publication Date
TW201227538A TW201227538A (en) 2012-07-01
TWI394087B true TWI394087B (zh) 2013-04-21

Family

ID=46380819

Family Applications (1)

Application Number Title Priority Date Filing Date
TW099147243A TWI394087B (zh) 2010-12-31 2010-12-31 追蹤目標物的方法及裝置

Country Status (2)

Country Link
US (1) US8442269B2 (zh)
TW (1) TWI394087B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9400924B2 (en) 2014-05-23 2016-07-26 Industrial Technology Research Institute Object recognition method and object recognition apparatus using the same

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8983940B2 (en) * 2011-09-02 2015-03-17 Adobe Systems Incorporated K-nearest neighbor re-ranking
US8805116B2 (en) 2011-09-17 2014-08-12 Adobe Systems Incorporated Methods and apparatus for visual search
US9105073B2 (en) * 2012-04-24 2015-08-11 Amadeus S.A.S. Method and system of producing an interactive version of a plan or the like
US9081195B2 (en) * 2012-08-13 2015-07-14 Innolux Corporation Three-dimensional image display apparatus and three-dimensional image processing method
US8880563B2 (en) 2012-09-21 2014-11-04 Adobe Systems Incorporated Image search by query object segmentation
US10757369B1 (en) * 2012-10-08 2020-08-25 Supratik Mukhopadhyay Computer implemented system and method for high performance visual tracking
JP2014146989A (ja) * 2013-01-29 2014-08-14 Sony Corp 撮像装置、撮像方法および撮像プログラム
US9349189B2 (en) * 2013-07-01 2016-05-24 Here Global B.V. Occlusion resistant image template matching using distance transform
US11615460B1 (en) 2013-11-26 2023-03-28 Amazon Technologies, Inc. User path development
US9740935B2 (en) * 2013-11-26 2017-08-22 Honeywell International Inc. Maintenance assistant system
CN105095849B (zh) * 2014-05-23 2019-05-10 财团法人工业技术研究院 对象识别方法与装置
US10586203B1 (en) 2015-03-25 2020-03-10 Amazon Technologies, Inc. Segmenting a user pattern into descriptor regions for tracking and re-establishing tracking of a user within a materials handling facility
US10810539B1 (en) 2015-03-25 2020-10-20 Amazon Technologies, Inc. Re-establishing tracking of a user within a materials handling facility
US10679177B1 (en) * 2015-03-25 2020-06-09 Amazon Technologies, Inc. Using depth sensing cameras positioned overhead to detect and track a movement of a user within a materials handling facility
US11205270B1 (en) 2015-03-25 2021-12-21 Amazon Technologies, Inc. Collecting user pattern descriptors for use in tracking a movement of a user within a materials handling facility
TWI582710B (zh) * 2015-11-18 2017-05-11 Bravo Ideas Digital Co Ltd The method of recognizing the object of moving image and the interactive film establishment method of automatically intercepting target image
CN109477715A (zh) 2016-06-06 2019-03-15 深圳市大疆灵眸科技有限公司 载体辅助跟踪
TWI629046B (zh) * 2017-02-10 2018-07-11 國立勤益科技大學 漸進式醫學灰階影像主體分割方法
TWI657378B (zh) * 2017-09-22 2019-04-21 財團法人資訊工業策進會 複數非線性扭曲鏡頭下之目標追蹤方法及系統
US11328513B1 (en) 2017-11-07 2022-05-10 Amazon Technologies, Inc. Agent re-verification and resolution using imaging
TWI660310B (zh) * 2018-08-06 2019-05-21 財團法人資訊工業策進會 比對追蹤物件的方法及電子裝置
US11386306B1 (en) 2018-12-13 2022-07-12 Amazon Technologies, Inc. Re-identification of agents using image analysis and machine learning
CN110070063B (zh) * 2019-04-29 2020-06-30 北京字节跳动网络技术有限公司 目标对象的动作识别方法、装置和电子设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030185445A1 (en) * 2002-03-29 2003-10-02 Industrial Technology Research Institute Method for extracting and matching gesture features of image

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030185445A1 (en) * 2002-03-29 2003-10-02 Industrial Technology Research Institute Method for extracting and matching gesture features of image

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9400924B2 (en) 2014-05-23 2016-07-26 Industrial Technology Research Institute Object recognition method and object recognition apparatus using the same

Also Published As

Publication number Publication date
US8442269B2 (en) 2013-05-14
US20120170804A1 (en) 2012-07-05
TW201227538A (en) 2012-07-01

Similar Documents

Publication Publication Date Title
TWI394087B (zh) 追蹤目標物的方法及裝置
CN112070818B (zh) 基于机器视觉的机器人无序抓取方法和***及存储介质
CN111179324B (zh) 基于颜色和深度信息融合的物体六自由度位姿估计方法
US8269722B2 (en) Gesture recognition system and method thereof
US9053571B2 (en) Generating computer models of 3D objects
CN112150551B (zh) 物***姿的获取方法、装置和电子设备
CN108734194B (zh) 一种面向虚拟现实的基于单深度图的人体关节点识别方法
CN104317391A (zh) 一种基于立体视觉的三维手掌姿态识别交互方法和***
TWI497450B (zh) 視訊物件追蹤方法
CN109033989B (zh) 基于三维点云的目标识别方法、装置及存储介质
WO2022021156A1 (zh) 用于机器人抓取三维物体的方法和装置
CN111598172B (zh) 基于异构深度网络融合的动态目标抓取姿态快速检测方法
TWI526879B (zh) 互動系統、遙控器及其運作方法
US20220277595A1 (en) Hand gesture detection method and apparatus, and computer storage medium
CN109872343B (zh) 弱纹理物体姿态跟踪方法、***及装置
CN111435429B (zh) 一种基于双目立体数据动态认知的手势识别方法及***
Wang et al. Hand posture recognition from disparity cost map
CN107274477B (zh) 一种基于三维空间表层的背景建模方法
CN117351078A (zh) 基于形状先验的目标尺寸与6d姿态估计方法
JP2017033556A (ja) 画像処理方法及び電子機器
CN116277030A (zh) 一种基于深度视觉的无模型抓取规划方法和***
AUGMENTED Grayscale image enhancement for enhancing features detection in marker-less augmented reality technology
JP2014029648A (ja) 画像処理装置及びプログラム
CN115187556A (zh) 一种基于机器视觉的流水线上零件定位与点云获取方法
CN111915632B (zh) 一种基于机器学习的贫纹理目标物体真值数据库构建方法