TWI599987B - 點雲拼接系統及方法 - Google Patents

點雲拼接系統及方法 Download PDF

Info

Publication number
TWI599987B
TWI599987B TW102138354A TW102138354A TWI599987B TW I599987 B TWI599987 B TW I599987B TW 102138354 A TW102138354 A TW 102138354A TW 102138354 A TW102138354 A TW 102138354A TW I599987 B TWI599987 B TW I599987B
Authority
TW
Taiwan
Prior art keywords
point
corner
picture
matrix
curvature
Prior art date
Application number
TW102138354A
Other languages
English (en)
Other versions
TW201523510A (zh
Inventor
吳新元
張旨光
謝鵬
Original Assignee
鴻海精密工業股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 鴻海精密工業股份有限公司 filed Critical 鴻海精密工業股份有限公司
Publication of TW201523510A publication Critical patent/TW201523510A/zh
Application granted granted Critical
Publication of TWI599987B publication Critical patent/TWI599987B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/457—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by analysing connectivity, e.g. edge linking, connected component analysis or slices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/752—Contour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Description

點雲拼接系統及方法
本發明涉及一種點雲處理技術，尤其涉及一種點雲拼接系統及方法。
結構光三維掃描器單次掃描只能得到單面的點雲，多次從不同角度掃描一個物體後會得到不同視角的點雲。將它們拼接在一起，就可以得到一個該物體完整的點雲。現有的點雲拼接方法主要是透過粘貼標誌點進行匹配，然後用求取不同視角的轉換矩陣進行拼接，然而粘貼標誌點有很多不方便的地方，如操作麻煩、在物體表面會造成孔洞等，如此一來，降低了點雲拼接的效率，且破壞了物體的完整性。
鑒於以上內容，有必要提供一種點雲拼接系統及方法，其可以不需要粘貼標誌點，同樣可以進行點雲拼接，如此一來，提高了點雲拼接的效率，且避免了因為點雲拼接而在物體表面造成的空洞，保護了物體表面的完整性。
一種點雲拼接系統，該系統運行於主機中，該系統包括：獲取模組，用於從主機中獲取需要拼接的點雲，每個點雲所對應的圖片及標定參數；計算模組，用於對每張圖片進行濾波處理，並透過Canny運算元計算出每張圖片的邊緣，選擇曲率局部極大值點作為候選值點，初步計算出每張圖片的曲率尺度空間角點；所述計算模組，還用於根據初步計算的曲率尺度空間角點，透過邊緣梯度和插值的方法，得到每張圖片的亞圖元角點；轉換模組，用於將每張圖片的亞圖元角點根據標定參數轉換為三維空間座標，透過歐式空間的不變性原理進行匹配亞圖元角點，得到共同的角點；拼接模組，用於透過共同的角點計算出不同視角的轉換矩陣，將所有點雲轉化到同一視角下，得到一個完整的點雲，完成拼接。
一種點雲拼接方法，該方法運用於主機中，該方法包括如下步驟：從主機中獲取需要拼接的點雲，每個點雲所對應的圖片及標定參數；對每張圖片進行濾波處理，並透過Canny運算元計算出每張圖片的邊緣，選擇曲率局部極大值點作為候選值點，初步計算出每張圖片的曲率尺度空間角點；根據初步 計算的曲率尺度空間角點，透過邊緣梯度和插值的方法，得到每張圖片的亞圖元角點；將每張圖片的亞圖元角點根據標定參數轉換為三維空間座標，透過歐式空間的不變性原理進行匹配亞圖元角點，得到共同的角點；透過共同的角點計算出不同視角的轉換矩陣，將所有點雲轉化到同一視角下，得到一個完整的點雲，完成拼接。
相較於習知技術，所述的點雲拼接系統及方法，其可以不需要粘貼標誌點，同樣可以進行點雲拼接，如此一來，提高了點雲拼接的效率，且避免了因為點雲拼接而在物體表面造成的空洞，保護了物體表面的完整性。
1‧‧‧主機
2‧‧‧顯示設備
3‧‧‧輸入設備
10‧‧‧點雲拼接系統
12‧‧‧儲存設備
14‧‧‧處理器
100‧‧‧獲取模組
102‧‧‧計算模組
104‧‧‧轉換模組
106‧‧‧拼接模組
圖1係本發明點雲拼接系統較佳實施例的運行環境示意圖。
圖2係本發明點雲拼接系統較佳實施例的功能模組圖。
圖3係本發明點雲拼接方法較佳實施例的作業流程圖。
圖4係本發明亞圖元角點計算過程的示意圖。
如圖1所示，係本發明點雲拼接系統較佳實施例的運行環境示意圖。該點雲拼接系統10運行於一台主機1中，該主機1連接一台顯示設備2及輸入設備3。該主機1包括儲存設備12，至少一個處理器14。所述輸入設備3可以為鍵盤或滑鼠。所述主機1為點雲掃描機台(例如，結構光三維掃描器)，該點雲掃描機台用於透過CCD及光柵尺(圖中未示出)在不同角度對物體表面進行拍攝，並透過拍攝的圖片計算得到組成物體表面的點雲。
在本實施例中，所述點雲拼接系統10以軟體程式或指令的形式安裝在儲存設備12中，並由處理器14執行。在其他實施例中，所述儲存設備12可以為主機1外接的記憶體。所示儲存設備12儲存有主機1在不同角度對物體進行拍攝的圖片及每張圖片對應的點雲。
如圖2所示，係本發明點雲拼接系統10較佳實施例的功能模組圖。該點雲拼接系統10包括獲取模組100、計算模組102、轉換模組104及拼接模組106。本發明所稱的模組是完成一特定功能的電腦程式段，比程式更適合於描述軟體在電腦中的執行過程，因此本發明以下對軟體描述都以模組描述。
所述獲取模組100用於從儲存設備12中獲取需要拼接的兩個或兩個以上點雲，每個點雲所對應的圖片及標定參數。所述標定參數包括CCD的焦距、CCD的中心點、CCD旋轉矩陣、CCD平移矩陣等。需要說明的是，所獲取的需要拼接的點雲可能不在同一個座標系中，因此無法直接拼接成一個整體。
所述計算模組102用於對每張圖片進行濾波處理，並透過Canny 運算元計算出每張圖片的邊緣(如邊緣點)，從每張圖片的邊緣中選擇曲率局部極大值點作為候選值點，初步計算出每張圖片的曲率尺度空間(Curvature scale space，CSS)角點。角點檢測廣泛用於圖片識別匹配技術，角點是一種含有足夠資訊可以從不同角度提取出來的點。
具體而言，透過Canny運算元計算出每張圖片的邊緣，然後對邊緣表示成：Γ(u)=[X(u,δ),Y(u,δ)]，其中，(X(u,δ)表示高斯濾波後的橫座標，Y(u,δ)表示高斯濾波後的縱座標。對曲線上的點計算曲率：選擇曲率局部極大值點作為候選值點，當候選值點同時滿足下面兩個條件時，該點為角點：條件一：大於閾值T，條件二：至少大於兩側相鄰的點曲率極小值的兩倍。
對於Canny運算元提取出的曲線進行填補(曲線可能有斷裂)，形成T型角點，若得出的角點與T型角點相鄰，去掉T型角點，如此一來，初步計算出CSS角點。
所述計算模組102還用於根據初步計算的CSS角點，透過邊緣梯度和插值的方法，得到每張圖片的亞圖元角點。
初步提取出來的CSS角點不夠精確，要達到亞圖元級才能滿足測量的要求。初步計算出了CSS角點後，透過三次樣條插值函數對灰度邊緣圖進行內插，用解方程的方法計算使目標邊緣定位(即CSS角點)達到亞圖元級。如圖4所示：假設起始角點q在實際亞圖元角點附近，檢測所有的q-p向量。若角點p位於一個均勻的區域(p點在區域內部)，則角點p處的梯度為0。若q-p向量的方向與邊緣的方向一致(p點在區域邊緣)，則此邊緣上角點p處的梯度與q-p向量正交，在這兩種情況下，角點p處的梯度與q-p向量的點積為0。在角點p周圍找到很多組梯度以及相關的向量q-p，令其點積為0，然後透過求解方程組，方程組的解即為角點q的亞圖元角點的位置，也就是精確的亞圖元角點位置。
所述轉換模組104用於將每張圖片的亞圖元角點根據標定參數轉換為三維空間座標，透過歐式空間的不變性原理進行匹配亞圖元角點，得到共同的角點。所述共同的角點是指該角點屬於兩張或兩張以上的圖片。
具體而言，利用歐式空間變換的不變性可以找到共同的角點。歐式變換具有距離，角度，面積的不變性，它們都可以作為匹配約束條件。
以距離為約束條件為例：首先，對於雙目測量(即透過兩個CCD進行測量)進行拍照的左右兩幅圖片可以根據極線矯正和相位匹配角點，然後，透過標定參數將亞圖元角點轉換為三維座標。
計算出待拼接的兩個點雲所對應圖片的亞圖元角點座標後，得到兩組座標集，記為P，Q，其中P中有n1個點，Q中有n2個點。當P、Q間的公共點數目等於或者大於3時，可以確定公共點的對應關係，並且可以計算出P，Q間的座標轉換參數，進而完成P，Q間的拼接。
使用距離進行匹配的具體步驟為：
1)計算距離範本庫：P，Q都可以用來計算範本庫，這裏選擇點集Q。計算Q中所有點的距離，並記錄構成每段距離的兩個端點，A到B的距離和B到A的距離認為相同，在範本庫中只保留一個。編程實現時，可以設計一個結構Distant，包含三個物件，即distant{S，P1，P2}，其中P1，P2是兩個端點，s是距離值。計算Q中所有點的距離，形成距離範本庫。
2)尋找P中每點可能的對應點：設P中任意一點P1，計算P中另外一點P2到P1的距離s12，在距離範本庫中尋找距離等於s12的Distant對象。僅一個距離資訊無法確定公共點的對應關係，這時，可以在P中再選一點P3，計算距離s13，如果也能在範本庫中找到相同的邊，則在Q中的兩段距離的公共端點即為與p1對應的公共點。
3)檢核：為了避免錯誤匹配的出現，需要進行檢核。計算P中所有的到p1的距離，並在範本庫中尋找各段距離的對應物件，多段距離的公共端點為p1的對應點。
此外，還可以加入邊邊夾角和三角形面積約束條件，讓匹配更準確。
所述拼接模組106用於透過共同的角點計算出不同視角的轉換矩陣，將所有點雲轉化到同一視角下，得到一個完整的點雲，完成拼接。
匹配完成以後獲得了共同的角點的三維座標，可以根據這些共同的角點計算出空間對應關係，求出座標系之間的轉換矩陣。目前有三角法，最小二乘法，奇異值分解(SVD)法和四元數法計算轉換矩陣。
四元數法求解過程如下：計算共同的角點集P( m i )和Q()的質心：
將共同的角點集做相對質心的平移
p i= m i - u i ,
根據移動後共同的角點計算相關矩陣K
由矩陣K中元素構造出四維對稱矩陣
計算最大特徵值對應的特徵向量
q =[ q 0, q 1, q 2, q 3] T
計算旋轉矩陣
計算平移矩陣
T = u '- Ru , 求出轉換矩陣(即旋轉矩陣和平移矩陣)後就可以把一組點雲轉換到另一組點雲同一座標系下，這樣就可以得到一個完整的拼接後的點雲。
如圖3所示，係本發明點雲拼接方法較佳實施例的作業流程圖。
步驟S10，獲取模組100從儲存設備12中獲取需要拼接的點雲，每個點雲所對應的圖片及標定參數。所述標定參數包括CCD的焦距、CCD的中心點、CCD旋轉矩陣、CCD平移矩陣等。需要說明的是，所獲取的需要拼接的點雲可能不在同一個座標系中，因此無法直接拼接成一個整體。
步驟S20，計算模組102對每張圖片進行濾波處理，並透過Canny運算元計算出每張圖片的邊緣(如邊緣點)，從每張圖片的邊緣中選擇曲率局部極大值點作為候選值點，初步計算出每張圖片的曲率尺度空間(Curvature scale space，CSS)角點。角點檢測廣泛用於圖片識別匹配技術，角點是一種含有足夠資訊可以從不同角度提取出來的點。
具體而言，透過Canny運算元計算出每張圖片的邊緣，然後對邊緣表示成：Γ(u)=[X(u,δ),Y(u,δ)]，其中，(X(u,δ)表示高斯濾波後的橫座標，Y(u,δ)表示高斯濾波後的縱座標。對曲線上的點計算曲率：選擇曲率局部極大值點作為候選值點，當候選值點同時滿足下面兩個條件時，該點為角點：條件一：大於閾值T，條件二：至少大於兩側相鄰的點曲率極小值的兩倍。
對於Canny運算元提取出的曲線進行填補(曲線可能有斷裂)，形成T型角點，若得出的角點與T型角點相鄰，去掉T型角點，如此一來，初步計算出CSS角點。
步驟S30，計算模組102根據初步計算的CSS角點，透過邊緣梯度和插值的方法，得到每張圖片的亞圖元角點。
初步提取出來的CSS角點不夠精確，要達到亞圖元級才能滿足測量的要求。初步計算出了CSS角點後，透過三次樣條插值函數對灰度邊緣圖進行內插，用解方程的方法計算使目標邊緣定位(即CSS角點)達到亞圖元級。如圖4所示：假設起始角點q在實際亞圖元角點附近，檢測所有的q-p向量。若角點p位於一個均勻的區域(p點在區域內部)，則角點p處的梯度為0。若q-p向量的方向與邊緣的方向一致(p點在區域邊緣)，則此邊緣上角點p處的梯度與q-p向量正交，在這兩種情況下，角點p處的梯度與q-p向量的點積為0。在角點p周圍找到很多組梯度以及相關的向量q-p，令其點積為0，然後透過求解方程組，方程組的解即為角點q的亞圖元角點的位置，也就是精確的亞圖元角點位置。
步驟S40，轉換模組104將每張圖片的亞圖元角點根據標定參數轉換為三維空間座標，透過歐式空間的不變性原理進行匹配亞圖元角點，得到共同的角點。所述共同的角點是指該角點屬於兩張或兩張以上的圖片。
具體而言，利用歐式空間變換的不變性可以找到共同的角點。歐式變換具有距離，角度，面積的不變性，它們都可以作為匹配約束條件。
以雙目測量和距離約束為例：首先，對於左右兩幅圖片可以根據極線矯正和相位匹配角點，然後透過標定參數將亞圖元角點轉換為三維座標。
計算出待拼接的兩個點雲所對應圖片的亞圖元角點座標後，得到兩組座標集，記為P，Q，其中P中有n1個點，Q中有n2個點。當P、Q間的公共點數目等於或者大於3時，可以確定公共點的對應關係，並且可以計算出P，Q間的座標轉換參數，進而完成P，Q間的拼接。
使用距離進行拼接的具體步驟為：
1)計算距離範本庫：P，Q都可以用來計算範本庫，這裏選擇點集Q。計算Q中所有點的距離，並記錄構成每段距離的兩個端點，A到B的距離和B到A的距離認為相同，在範本庫中只保留一個。編程實現時，可以設計一個結構Distant，包含三個物件，即distant{S，P1，P2}，其中P1，P2是兩個端點，s是距離值。計算Q中所有點的距離，形成距離範本庫。
2)尋找P中每點可能的對應點：設P中任意一點P1，計算P中另外一點P2到P1的距離s12，在距離範本庫中尋找距離等於s12的Distant對象。僅一個距離資訊無法確定公共點的對應關係，這時，可以在P中再選一點P3，計算距離s13，如果也能在範本庫中找到相同的邊，則在Q中的兩段距離的公共端點即為與p1對應的公共點。
3)檢核：為了避免錯誤匹配的出現，需要進行檢核。計算P中所有的到p1的距離，並在範本庫中尋找各段距離的對應物件，多段距離的公共端點為p1的對應點。
此外，還可以加入邊邊夾角和三角形面積約束條件，讓匹配更準確。
步驟S50，拼接模組106用於透過共同的角點計算出不同視角的轉換矩陣，將所有點雲轉化到同一視角(即同一座標系)下，得到一個完整的點雲，完成拼接。
具體而言，匹配完成以後獲得了共同的角點的三維座標，可以根據這些共同的角點計算出空間對應關係，求出座標系之間的轉換矩陣。目前有三角法，最小二乘法，奇異值分解(SVD)法和四元數法計算轉換矩陣。
其中，四元數法求解過程如下：計算共同的角點集P( m i )和Q()的質心：
將共同的角點集做相對質心的平移
p i= m i - u i ,
根據移動後共同的角點計算相關矩陣K
由矩陣K中元素構造出四維對稱矩陣
計算最大特徵值對應的特徵向量
q =[ q 0, q 1, q 2, q 3] T
計算旋轉矩陣
計算平移矩陣
T = u '- Ru ,求出轉換矩陣(即旋轉矩陣和平移矩陣)後就可以把一組點雲轉換到另一組點雲同一座標系下，這樣就可以得到一個完整的拼接後的點雲。
1‧‧‧主機
2‧‧‧顯示設備
3‧‧‧輸入設備
10‧‧‧點雲拼接系統
12‧‧‧儲存設備
14‧‧‧處理器

Claims (10)

  1. 一種點雲拼接系統，該系統運行於主機中，該系統包括：獲取模組，用於從主機中獲取需要拼接的兩個或兩個以上的點雲，每個點雲所對應的圖片及標定參數；計算模組，用於對每張圖片進行濾波處理，並計算出每張圖片的邊緣，從每張圖片的邊緣中選擇曲率局部極大值點作為候選值點，初步計算出每張圖片的曲率尺度空間角點；所述計算模組，還用於根據初步計算出的曲率尺度空間角點，透過邊緣梯度和插值的方法，得到每張圖片的亞圖元角點；轉換模組，用於將每張圖片的亞圖元角點根據標定參數轉換為三維空間座標，透過歐式空間的不變性原理進行匹配亞圖元角點，得到共同的角點；及拼接模組，用於透過共同的角點計算出不同視角的轉換矩陣，將所有點雲轉化到同一視角下，得到一個完整的點雲，完成所述兩個或兩個以上點雲的拼接；其中，所述初步計算出每張圖片的曲率尺度空間角點的方式如下：透過Canny運算元計算出每張圖片的邊緣，然後對邊緣表示成曲線Γ(u)=[X(u,δ),Y(u,δ)]，其中，X(u,δ)表示高斯濾波後的橫座標，Y(u,δ)表示高斯濾波後的縱座標；對曲線上的點計算曲率，選擇曲率局部極大值點作為候選值點，當候選值點同時滿足下面兩個條件時，確定該點為角點：條件一，大於閾值T，條件二，至少大於兩側相鄰的點曲率極小值的兩倍；及對於Canny運算元提取出的曲線進行填補，形成T型角點，若確定得出的角點與T型角點相鄰，去掉T型角點，從而初步計算出曲率尺度空間角點。
  2. 如申請專利範圍第1項所述之點雲拼接系統，所述歐式空間的不變性包括歐式空間的距離、角度或面積的不變性。
  3. 如申請專利範圍第1項所述之點雲拼接系統，所述標定參數包括CCD的焦距、CCD的中心點、CCD旋轉矩陣及CCD平移矩陣。
  4. 如申請專利範圍第1項所述之點雲拼接系統，所述不同視角的轉換矩陣透過三角法，最小二乘法，奇異值分解法或四元數法進行計算。
  5. 如申請專利範圍第5項所述之點雲拼接系統，所述四元數法進行計算的過程如下：計算共同的角點集P( m i )和Q()的質心：，將共同的角點集做相對質心的平移 p i= m i- u i ，，根據移動後共同的角點計算相關矩陣K，，由矩陣K中元素構造出四維對稱矩陣，計算最大特徵值對應的特徵向量， q =[ q 0, q 1, q 2, q 3] T ，計算旋轉矩陣，，計算平移矩陣， T = u '- Ru ，透過旋轉矩陣和平移矩陣把一組點雲轉換到另一組點雲的同一座標系下。
  6. 一種點雲拼接方法，該方法運用於主機中，該方法包括如下步驟：從主機中獲取需要拼接的兩個或兩個以上的點雲，每個點雲所對應的圖片及標定參數；對每張圖片進行濾波處理，並計算出每張圖片的邊緣，從每張圖片的邊緣中選擇曲率局部極大值點作為候選值點，初步計算出每張圖片的曲率尺度空間角點；根據初步計算出的曲率尺度空間角點，透過邊緣梯度和插值的方法，得到每張圖片的亞圖元角點；將每張圖片的亞圖元角點根據標定參數轉換為三維空間座標，透過歐式空間的不變性原理進行匹配亞圖元角點，得到共同的角點；及 透過共同的角點計算出不同視角的轉換矩陣，將所有點雲轉化到同一視角下，得到一個完整的點雲，完成所述兩個或兩個以上點雲的拼接；其中，所述初步計算出每張圖片的曲率尺度空間角點的方式如下：透過Canny運算元計算出每張圖片的邊緣，然後對邊緣表示成曲線Γ(u)=[X(u,δ),Y(u,δ)]，其中，X(u,δ)表示高斯濾波後的橫座標，Y(u,δ)表示高斯濾波後的縱座標；對曲線上的點計算曲率，選擇曲率局部極大值點作為候選值點，當候選值點同時滿足下面兩個條件時，確定該點為角點：條件一，大於閾值T，條件二，至少大於兩側相鄰的點曲率極小值的兩倍；及對於Canny運算元提取出的曲線進行填補，形成T型角點，若確定得出的角點與T型角點相鄰，去掉T型角點，從而初步計算出曲率尺度空間角點。
  7. 如申請專利範圍第6項所述之點雲拼接方法，所述歐式空間的不變性包括歐式空間的距離、角度或面積的不變性。
  8. 如申請專利範圍第6項所述之點雲拼接方法，所述標定參數包括CCD的焦距、CCD的中心點、CCD旋轉矩陣及CCD平移矩陣。
  9. 如申請專利範圍第6項所述之點雲拼接方法，所述不同視角的轉換矩陣透過三角法，最小二乘法，奇異值分解法或四元數法進行計算。
  10. 如申請專利範圍第9項所述之點雲拼接方法，所述四元數法進行計算的過程如下：計算共同的角點集P( m i )和Q()的質心：，將共同的角點集做相對質心的平移 p i= m i - u i ，，根據移動後共同的角點計算相關矩陣K，，由矩陣K中元素構造出四維對稱矩陣，計算最大特徵值對應的特徵向量， q =[ q 0, q 1, q 2, q 3] T ，計算旋轉矩陣， ，計算平移矩陣， T = u '- Ru ，透過旋轉矩陣和平移矩陣把一組點雲轉換到另一組點雲的同一座標系下。
TW102138354A 2013-10-14 2013-10-24 點雲拼接系統及方法 TWI599987B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310476517.3A CN104574273A (zh) 2013-10-14 2013-10-14 点云拼接***及方法

Publications (2)

Publication Number Publication Date
TW201523510A TW201523510A (zh) 2015-06-16
TWI599987B true TWI599987B (zh) 2017-09-21

Family

ID=52809729

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102138354A TWI599987B (zh) 2013-10-14 2013-10-24 點雲拼接系統及方法

Country Status (3)

Country Link
US (1) US20150104105A1 (zh)
CN (1) CN104574273A (zh)
TW (1) TWI599987B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105976312B (zh) * 2016-05-30 2019-03-01 北京建筑大学 基于点特征直方图的点云自动配准方法
CN105928472B (zh) * 2016-07-11 2019-04-16 西安交通大学 一种基于主动斑投射器的三维形貌动态测量方法
CN108510439B (zh) * 2017-02-28 2019-08-16 贝壳找房(北京)科技有限公司 点云数据的拼接方法、装置和终端
CN109901202A (zh) * 2019-03-18 2019-06-18 成都希德瑞光科技有限公司 一种基于点云数据的机载***位置修正方法
CN110335297B (zh) * 2019-06-21 2021-10-08 华中科技大学 一种基于特征提取的点云配准方法
CN111189416B (zh) * 2020-01-13 2022-02-22 四川大学 基于特征相位约束的结构光360°三维面形测量方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6173066B1 (en) * 1996-05-21 2001-01-09 Cybernet Systems Corporation Pose determination and tracking by matching 3D objects to a 2D sensor
WO2003088085A1 (en) * 2002-04-04 2003-10-23 Arizona Board Of Regents Three-dimensional digital library system
US7333644B2 (en) * 2003-03-11 2008-02-19 Siemens Medical Solutions Usa, Inc. Systems and methods for providing automatic 3D lesion segmentation and measurements
US7027557B2 (en) * 2004-05-13 2006-04-11 Jorge Llacer Method for assisted beam selection in radiation therapy planning
KR100810326B1 (ko) * 2006-10-10 2008-03-04 삼성전자주식회사 다해상도 3차원 모델 생성 방법
CN102968400B (zh) * 2012-10-18 2016-03-30 北京航空航天大学 一种基于空间直线识别与匹配的多视角三维数据拼接方法

Also Published As

Publication number Publication date
CN104574273A (zh) 2015-04-29
TW201523510A (zh) 2015-06-16
US20150104105A1 (en) 2015-04-16

Similar Documents

Publication Publication Date Title
JP7173772B2 (ja) 深度値推定を用いた映像処理方法及び装置
US9686527B2 (en) Non-feature extraction-based dense SFM three-dimensional reconstruction method
TWI599987B (zh) 點雲拼接系統及方法
JP5963353B2 (ja) 光学データ処理装置、光学データ処理システム、光学データ処理方法、および光学データ処理用プログラム
CN103345736B (zh) 一种虚拟视点绘制方法
JP5580164B2 (ja) 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム
US8452081B2 (en) Forming 3D models using multiple images
US10681269B2 (en) Computer-readable recording medium, information processing method, and information processing apparatus
EP1596330B1 (en) Estimating position and orientation of markers in digital images
US8447099B2 (en) Forming 3D models using two images
US20140002597A1 (en) Tracking Poses of 3D Camera Using Points and Planes
US10977857B2 (en) Apparatus and method of three-dimensional reverse modeling of building structure by using photographic images
KR100855657B1 (ko) 단안 줌 카메라를 이용한 이동로봇의 자기위치 추정 시스템및 방법
EP3308323B1 (en) Method for reconstructing 3d scene as 3d model
US11488354B2 (en) Information processing apparatus and information processing method
WO2015179216A1 (en) Orthogonal and collaborative disparity decomposition
CN108362205B (zh) 基于条纹投影的空间测距方法
CN110838164A (zh) 基于物体点深度的单目图像三维重建方法、***及装置
JP2016217941A (ja) ３次元データ評価装置、３次元データ測定システム、および３次元計測方法
Khoshelham et al. Generation and weighting of 3D point correspondences for improved registration of RGB-D data
WO2016208404A1 (ja) 情報処理装置および方法、並びにプログラム
CN114529681A (zh) 一种手持双相机建筑物温度场三维模型构建方法和***
CN104504691A (zh) 基于低秩纹理的摄像机位置和姿态测量方法
JP6228239B2 (ja) プリミティブの組を用いてデータをレジストレーションする方法
JP7298687B2 (ja) 物体認識装置及び物体認識方法

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees