TWI566204B - 三維物件識別技術 - Google Patents

Description

三維物件識別技術

本發明係有關於三維物件識別技術。

發明背景

視覺感測器擷取與視野中之物件的影像相關聯的視覺資料。此種資料可包括有關該物件之顏色的資料，有關該物件之深度的資料，及有關該影像的其它資料。一叢集之視覺感測器可施用至某些應用。藉該等感測器擷取的視覺資料可經組合及處理用以執行一應用之任務。

依據本發明之一實施例，係特地提出一種用於識別在一底座上的一三維物件之由處理器執行的方法，其包含：接收該物件之一三維影像為具有該物件的空間資訊的一三維點雲；自該三維點雲去除該底座用以產生表示該物件的一二維影像；分段該二維影像用以決定物件邊界；及施用得自該物件的彩色資料以精製分段及將該經檢測之物件匹配至一參考物件資料。

100、300‧‧‧方法

102‧‧‧3D掃描器

104‧‧‧物件

106‧‧‧分段

108‧‧‧識別

200、400‧‧‧系統

202‧‧‧感測器叢集模組

204‧‧‧電腦

206‧‧‧顯示器

208‧‧‧視野

210‧‧‧平台

302-308‧‧‧方塊

402‧‧‧校準模組

404‧‧‧探針監視模組

406‧‧‧轉換模組

408‧‧‧轉換工具

410‧‧‧分段模組

412‧‧‧分段工具

414‧‧‧識別模組

416‧‧‧識別工具

500‧‧‧計算裝置

502‧‧‧處理器

504‧‧‧記憶體

508‧‧‧儲存裝置

510‧‧‧輸入裝置

512‧‧‧輸出裝置

514‧‧‧通訊連結

516‧‧‧電腦/應用程式

518‧‧‧電腦網路

圖1為方塊圖例示本文揭示之一系統實例。

圖2為圖1之系統實例之示意圖。

圖3為方塊圖例示使用圖1之系統可執行的方法實例。

圖4為方塊圖例示依據圖1之系統組成的一系統實例。

圖5為方塊圖例示可用以執行圖1之系統及執行圖3及4之方法的一電腦系統實例。

較佳實施例之詳細說明

於後文詳細說明部分中，參考附圖，附圖構成其中一部分，其中藉由例示顯示其中可實施本文揭示的特定實施例。須瞭解可利用其它實例，不背離本文揭示之範圍可於其中做出結構或邏輯變化。因此，後文詳細說明部分並非表示為限制性，本文揭示之範圍係由隨附之申請專利範圍界定。須瞭解除非另行特別註明否則此處描述之各種實施例之特徵可部分或全部彼此組合。

後文揭示係有關於分段與識別於三維影像中之物件的改良方法及系統。圖1例示方法100之一實例，其可應用到穩健地與準確地識別3D影像中之物件的一使用者應用程式或系統。3D掃描器102係用以產生置於視野中之一或多個真實物件104的一或多個影像。於一個實施例中，3D掃描器可包括彩色感測器及深度感測器，其各自產生物件的影像。以多個感測器為例，來自各個感測器的影像經校準，及然後合併在一起而形成經校正的3D影像欲儲存為一 點雲。一點雲乃某個座標系中之一資料點的集合儲存為一資料檔案。於3D座標系中，x、y、及z座標通常界定此等點，且經常預期表示真實物件104的外表面。3D掃描器102度量物件表面的大量點，及輸出點雲為具有該物件的空間資訊之一資料檔案。點雲表示該裝置已經測量的各點之集合。分段106施用演算法至點雲用以檢測於該影像中之該物件或該等物件的邊界。識別108包括匹配已分段物件的特徵到一集合之已知特徵，諸如藉由比較有關已分段物件的資料至具體有形儲存媒體諸如電腦記憶體中之經預先界定的資料。

圖2例示應用方法100之一系統200之特定實例，於該處圖1中之類似部件於圖2中具有相似的元件符號。系統200包括，用以掃描物件104及將資料輸入跑物件檢測應用程式的電腦204中的感測器叢集模組202。於該實施例中，電腦204包括一顯示器206用以渲染物件檢測應用程式之影像及/或介面。感測器叢集模組202包括一視野208。物件104係置於距該感測器叢集模組202的視野208內的大致平坦表面，諸如桌面。選擇性地，系統200可包括在視野208內的大致平坦平台210接納物件104。於一個實施例中，平台210為固定，但預期平台210可包括一轉盤，其可相對於感測器叢集模組202環繞一軸而旋轉物件104。系統200顯示一實例其中物件104係置於架空感測器叢集模組202的視野208內的的大致平坦表面上。

置於視野208內的物件104可被掃描及輸入一或 多次。當物件104的多個視圖被輸入時，平台210上的轉盤相對於感測器叢集模組202環繞z-軸可旋轉物件104。於若干實施例中，可使用多個感測器叢集模組202，或感測器叢集模組202可提供物件的掃描及影像的投影而無需移動物件104，且同時物件相對於感測器叢集模組202係於任何或大部分方向。

感測器叢集模組202可包括一集合之非同質視覺感測器用以拍攝在視野208內的一物件的視覺資料。於一個實施例中，模組202包括一或多個深度感測器及一或多個彩色感測器。深度感測器乃用以拍攝物件的深度資料之視覺感測器。深度大致上係指物件距深度感測器的距離。針對各個深度感測器的各個像素可發展出深度資料，及深度資料用以形成物件的3D表示型態。概略言之，深度感測器對由於光線、陰影、顏色、或動態背景的改變所致之影響效應相對穩健。彩色感測器乃用以收集目測可見的彩色空間，諸如紅綠藍(RGB)彩色空間或其它彩色空間，內之顏色資料的視覺感測器，該顏色資料可用以檢測物件104的顏色。於一個實施例中，深度感測器及彩色感測器分別包括深度相機及彩色相機。於另一個實施例中，深度感測器及彩色感測器可組合於彩色/深度相機。通常，深度相機及彩色相機具有重疊的視野，於實施例中指示為視野208。於一個實施例中，感測器叢集模組108可包括多個集合之分開的非同質視覺感測器，其可自物件104的不同角度拍攝深度及彩色資料。

於一個實施例中，感測器叢集模組202能夠拍攝深度及彩色資料作為快照掃描用以形成一3D影像圖框。一影像圖框係指在特定時間點的視覺資料集合。於另一個實施例中，感測器叢集模組能夠拍攝深度及彩色資料作為連續掃描呈歷經時間之推移一串列之影像圖框。於一個實施例中，連續掃描可包括以週期性或非週期性時間區間歷經時間之推移交錯的影像圖框。舉例言之，感測器叢集模組202能用以檢測物件，及然後稍後用以檢測物件的所在位置及方向性。

3D影像在距感測器叢集模組202或電腦204本地或遠端的電腦記憶體中儲存為點雲資料檔案。使用者應用程式，諸如具有工具諸如點雲存庫的物件識別應用程式，可存取該資料檔案。具有物件識別應用程式的點雲存庫典型地包括施用至3D點雲的3D物件識別演算法。隨著點雲中資料點的大小或數量的增加，施用此等演算法的複雜度按指數方式增高。據此，施用至大資料檔案的3D物件識別演算法變緩慢而無效率。又，3D物件識別演算法並非極為適合具有不同解析度的視覺感測器之3D掃描器。於此種情況下，程式開發人員須調整演算法，使用複雜方法來識別以具有不同解析度的感測器所形成的物件。又復，此等演算法係環繞點雲中的資料之隨機取樣及資料擬合建立，並非特別準確。舉例言之，3D物件識別演算法之多次應用經常無法產生相同的結果。

圖3例示穩健及有效方法300之一實例，用以快速 地分段與識別置於感測器叢集模組202之視野208中之大致平坦底座上的物件104。儲存為二維資料的物件104之紋理係經分析用以識別物件。可即時執行分段及識別而無臃腫的3D點雲處理之無效率。於2D空間處理允許使用更複雜的準確的特徵識別演算法。將此資訊與3D線索合併改良了分段及識別的準確度及穩健度。於一個實施例中，方法300可實現為在電腦可讀取媒體上的機器可讀取指令之一集合。

於302，接收物件104的3D影像。當以彩色感測器拍攝之一影像及以深度感測器拍攝之一影像用以形成3D影像時，針對各個感測器的影像資訊經常經校準用以形成包括座標諸如(x,y,z)的物件104之準確3D點雲。此種點雲包括物件以及物件置於其上的大致平坦底座的3D影像。於若干實施例中，所接收的3D影像可包括非期望的離群值資料，其可使用工具諸如直通濾波器去除。非落入於距離相機的容許深度範圍內的許多點，即使並非全部點，被移除。

於304，物件104置於其上的底座或大致平坦表面從點雲被移除。於一個實施例中，平面擬合技術用以自點雲去除底座。一項此種平面擬合技術可出現於應用隨機抽樣一致性(RANSAC)的工具，RANSAC乃自含有離群值的一集合之觀察資料估計一數學模型之參數的迭代重複方法。於此種情況下，離群值可以是物件104的影像，內圍值可以是平坦底座的影像。據此，取決定平面擬合工具的複雜度，物件置於其上的底座可偏離真正平面。於典型情況下，若底座對裸視肉眼而言大致為平坦，則平面擬合工具能夠檢 測該底座。可使用其它平面擬合技術。

於此一實施例中，來自點雲的3D資料用以自該影像去除平坦表面。底座已被移除的該點雲可用作為一遮罩用以檢測影像中之物件104。該遮罩包括表示物件104的資料點。一旦已經從影像減除底座，3D點雲投影到2D平面上，具有深度資訊但使用比3D點雲遠更少的儲存空間。

於306，於304發展的2D資料適合用於分段，使用比較典型用在3D點雲上的技術更複雜的技術。於一個實施例中，物件的2D平面影像接受輪廓分析用於分段。輪廓分析之一實例包括數位化二進制影像使用邊界隨形技術的拓樸結構分析，其於OpenCV中以無需核可軟體執照形式為可用。OpenCV或稱開放來源電腦視覺為大致有關於即時電腦視覺的規劃函式之一交叉平台存庫。另一項技術可以是摩爾鄰里追蹤演算法，用以自經處理的2D影像資料找出物件的邊界。分段306也可區別於該2D影像資料中之多個物件彼此。分段物件影像被給予一標記，該標記可與2D影像資料中的其它物件不同，該標記為3D空間中的物件之表示型態。產生一標記遮罩，含有被指定一標記的全部物件。若有任何出乎意外的或鬼影輪廓出現在2D影像資料，則可施加進一步處理以去除出乎意外的或鬼影輪廓。

於308，可施加標記遮罩用以識別物件104。於一個實施例中，經校正的深度資料用以找出物件的高度、方向性、或3D物件之其它特性。藉此方式無需處理或叢集化3D點雲，自2D影像資料可決定額外特性用以精製及改良自 彩色感測器的分段。

相對應於各個標記的彩色資料經擷取及用於物件識別用的特徵匹配。於一個實施例中，彩色資料可與有關已知物件的資料作比較，其可自一儲存裝置取回用以決定匹配。彩色資料可相對應於強度資料，數個複雜演算法可用以基於衍生自強度資料的特徵而匹配物件。據此，識別係比隨機演算法更穩健。

圖4例示用於施用方法300的系統400之一實例。於一個實施例中，系統400包括感測器叢集模組202用以產生在一底座諸如大致平坦表面上的該物件104或多物件之彩色及深度影像。得自感測器的影像提供給一校準模組402用以產生一3D點雲而儲存於具體有形電腦記憶體裝置404為一資料檔案。一轉換模組406接收3D資料檔案，及施用轉換工具408，諸如RANSAC，用以自3D資料檔案去除底座，及形成該物件的2D影像資料，具有近似分段提供各個已分段物件的標記連同其它3D特性，諸如高度，其可儲存於記憶體404為一資料檔案。

一分段模組410可接收該物件的2D表示型態之資料檔案，及應用分段工具412用以決定物件影像的邊界。如前文描述，分段工具412能包括2D影像資料上的輪廓分析，其乃比3D表示型態中用以決定影像的技術更快速且更準確。已分段物件影像可被給予一標記，其表示於一3D空間的物件。

一識別模組414也可接收2D影像資料的資料檔 案。識別模組414可施加識別工具416到2D影像資料的資料檔案用以決定物件104的高度、方向性及其它特性。相對應於各個標記的2D影像中之彩色資料係經擷取及用於特徵匹配用以識別物件。於一個實施例中，彩色資料可與自一儲存裝置取回的有關已知物件的資料作比較用以決定匹配。

並無目前一般可用的合併深度資料及彩色資料的解決方案，其比較前文描述者可執行更快速更準確的3D物件分段與識別。方法300及系統400之實例提供即時具體實施例，其比較使用3D點雲提供更快速更準確的結果，消耗更少記憶體用於分段與識別3D資料。

圖5例示電腦系統之一實例，其可採用於作業環境且用以主持或跑一電腦應用程式執行一方法300實例，如含括於儲存電腦可執行指令的一或多個電腦可讀取儲存媒體上用於控制電腦系統諸如計算裝置以執行一處理。於一個實施例中，圖5之電腦系統可用以實現系統400中陳述的模組及其相關聯的工具。

圖5之電腦系統實例包括計算裝置，諸如計算裝置500。計算裝置500典型地包括一或多個處理器502及記憶體504。處理器502可包括在一晶片或二或多個處理器晶片上的二或多個處理核心。於若干實施例中，計算裝置500也能具有一或多個額外處理或特化處理器(圖中未顯示)，諸如在圖形處理單元上用於通用運算的圖形處理器，用以自處理器502執行卸載處理功能。記憶體504可配置成階層關係，及包括一或多個快取等級。記憶體504可以是依電性(諸如 隨機存取記憶體(RAM))、非依電性(諸如唯讀記憶體(ROM)、快閃記憶體等)、或兩者之若干組合。計算裝置500可呈數種形式中之一或多者。有些形式包括平板、個人電腦、工作站、伺服器、手持式裝置、消費性電子裝置(諸如視訊遊戲機台或數位視訊紀錄器)、或其它，且可以是獨立裝置或經組配為電腦網路、電腦叢集、雲端服務基礎架構、或其它的一部分。

計算裝置500也可包括額外儲存裝置508。儲存裝置508可以是活動式及/或非活動式且可包括磁碟或光碟或固態記憶體、或快閃儲存裝置。電腦儲存媒體包括依電性及非依電性，活動式及非活動式媒體以任何合宜方法或技術實施用於資訊的儲存，諸如電腦可讀取指令、資料結構、程式模組、或其它資料。傳播信號本身不合格而無法勝任儲存媒體。

計算裝置500經常包括一或多個輸入連結及/或輸出連結，諸如USB連結、顯示埠、專有連結、及其它用以連結至各種裝置用以接收及/或提供輸入及輸出。輸入裝置510可包括裝置諸如鍵盤、指標裝置(例如，滑鼠)、筆、語音輸入裝置、觸控輸入裝置、及其它。輸出裝置512可包括裝置，諸如顯示器、揚聲器、列印器等。計算裝置500經常包括一或多個通訊連結514，其允許計算裝置500與其它電腦/應用程式516通訊。通訊連結之實例可包括，但非限制性，乙太網路介面、無線介面、匯流排介面、儲存區網路介面、專有介面。通訊連結可用以耦合計算裝置500到電 腦網路518，電腦網路518其為計算裝置及藉通訊通道其輔助通訊互連的可能其它裝置之一集合，且允許在互連裝置間之資源與資訊的分享。電腦網路之實例包括區域網路、廣域網路、網際網路、或其它網路。

計算裝置500可經組配以跑作業系統軟體程式及一或多個電腦應用程式，其組成系統平台。經組配以在計算裝置500上的電腦應用程式典型地提供作為以程式語言寫成的指令集合。經組配以在計算裝置500上的電腦應用程式包括至少一個運算處理(或運算任務)，其為執行程式。各種運算處理提供用以執行程式的運算資源。

雖然已經於此處例示及描述特定實施例，但不背離本文揭示之範圍，多種替代及/或相當實施例可取代所顯示的及所描述的特定實例。本案意圖涵蓋此處討論之特定實例之任何調整或變化。因此，意圖本文揭示僅由申請專利範圍及其相當範圍所限。

300‧‧‧方法

302-308‧‧‧方塊

Claims (15)

1. 一種用於識別在底座上的三維物件之由處理器執行的方法，其包含：接收該物件之一三維影像為具有該物件的空間資訊的一三維點雲；自該三維點雲去除該底座以產生表示該物件的一二維影像；分段該二維影像以決定物件邊界；及施用得自該物件的彩色資料以精製分段及將所檢測之物件匹配至一參考物件資料。
2. 如請求項1之方法，其包含校準該彩色資料及深度資料以產生該物件的三維影像。
3. 如請求項1之方法，其中去除該底座包括施用一迭代重複之程序以自含有表示該物件的離群值的一集合之觀察資料估計一模型之參數。
4. 如請求項1之方法，其中該底座大致為平坦。
5. 如請求項1之方法，其中該二維影像包括含有表示該物件的資料之一遮罩。
6. 如請求項1之方法，其中該分段包括將該三維點雲中之多個物件彼此區別。
7. 如請求項1之方法，其中該分段包括附接一標記至該所檢測之物件。
8. 如請求項1之方法，其進一步包含施用得自該物件的深 度資料以決定該所檢測之物件的定向。
9. 一種用於儲存電腦可執行指令的電腦可讀媒體，該等指令用以控制具有一處理器及記憶體的一運算裝置以執行用於識別在一底座上的一三維物件之方法，而該方法包含：將該物件之一三維影像作為一三維點雲接收成為該記憶體中的資料檔案，該三維點雲具有深度資料；以該處理器自該三維點雲去除該底座以產生表示該物件的在該記憶體中之一二維影像；以該處理器分段該二維影像以決定物件邊界；以該處理器施用該深度資料以決定該物件之高度；及以該處理器施用得自該二維影像的彩色資料以匹配該物件至一參考物件資料。
10. 如請求項9之電腦可讀媒體，其中去除該底座係以一平面擬合技術執行。
11. 如請求項9之電腦可讀媒體，其中去除該分段係以一輪廓分析演算法執行。
12. 一種用於識別在底座上的三維物件之系統，其包含：用於接收一第一資料檔案表示該物件之一三維影像作為具有深度資料之一三維點雲的一模組；一轉換模組，其在一處理器上操作且經組配來從該三維點雲去除該底座成為表示該物件之一二維影像的一第二資料檔案以供儲存於一記憶體裝置； 一分段模組，其用以決定在該二維影像中之物件邊界；及一檢測模組，其在該處理器上操作且組配來施用該深度資料以決定該物件之高度，及組配來施用來自該二維影像的彩色資料以匹配該物件至一參考物件資料。
13. 如請求項12之系統，其包含組配來產生具有彩色資料之一彩色影像的一彩色感測器、及組配來產生具有深度資料之一深度影像的一深度感測器。
14. 如請求項13之系統，其中該彩色感測器及該深度感測器係經組配為一彩色/深度相機。
15. 如請求項14之系統，其中該彩色/深度相機包括一視野及包含組配為該底座且設置於該視野內的一轉盤。