CN109360267A - 一种薄物体快速三维重建方法 - Google Patents

一种薄物体快速三维重建方法 Download PDF

Info

Publication number
CN109360267A
CN109360267A CN201811147802.XA CN201811147802A CN109360267A CN 109360267 A CN109360267 A CN 109360267A CN 201811147802 A CN201811147802 A CN 201811147802A CN 109360267 A CN109360267 A CN 109360267A
Authority
CN
China
Prior art keywords
pedestal
point
transformation matrix
sample
mark point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811147802.XA
Other languages
English (en)
Other versions
CN109360267B (zh
Inventor
徐羊元
时岭
徐松柏
杨静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Blue Core Technology Co Ltd
Original Assignee
Hangzhou Blue Core Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Blue Core Technology Co Ltd filed Critical Hangzhou Blue Core Technology Co Ltd
Priority to CN201811147802.XA priority Critical patent/CN109360267B/zh
Publication of CN109360267A publication Critical patent/CN109360267A/zh
Application granted granted Critical
Publication of CN109360267B publication Critical patent/CN109360267B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G06T3/604—Rotation of whole images or parts thereof using coordinate rotation digital computer [CORDIC] devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P10/00—Technologies related to metal processing
    • Y02P10/25—Process efficiency

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种薄物体快速三维重建方法，该方法为：将待重建的薄物体固定在带有标记点的底座上，通过深度相机采集深度图像和彩色图像，识别标记点，便可得到变换矩阵，根据变换矩阵对待重建物体的点云进行坐标转换，最后对变换后物体两个视角的点云进行拼接，从而完成对试样的三维重建。本发明基于标记点对两个视角的点云进行拼接从而实现薄物体的三维重建，所以对于厚度在2mm—30mm左右的薄物体，重建速度快、重建精度高且操作简单。同时，本发明只需一台深度相机和一个带有简单标记点的底座，成本较低。

Description

一种薄物体快速三维重建方法
技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种薄物体快速三维重建方法。
背景技术
随着计算机视觉的发展，三维重建技术在计算机辅助医疗、逆向工程、工业自动化检测等领域的应用越来越广泛。真实物体三维重建技术包括基于专业软件的重建，计算机视觉方法重建等技术。其中，通过专用软件进行建模技术已经非常成熟，应用广泛，建模效果良好，但是想要熟练的应用专用的建模软件，必须通过专业的培训。所以需要消耗大量的人力和物力。在计算机视觉领域，迭代最近点(ICP)算法是点云配准中较为常见的一种方法，通过不断的迭代优化矩阵，可实现两点集的精确配准，但该算法对给定的初始位置和迭代过程中的对应关系有很强的依赖性，并且存在着计算量大，建模时间长，迭代有陷入局部最优等问题。
发明内容
针对上述不足，本发明利用标记点和深度相机提出了一种速度快、精度高、成本低、操作简单的薄物体快速三维重建方法。
为了达到上述目的，本发明所采用的技术方案如下：一种薄物体快速三维重建方法，该方法为：
将待重建的薄物体固定在带有标记点的底座上，通过深度相机采集深度图像和彩色图像，识别标记点，便可得到变换矩阵，根据变换矩阵对带重建物体的点云进行坐标转换，最后对变换后物体两个视角的点云进行拼接，从而完成对试样的三维重建。
进一步的，该方法包括如下步骤：
(1)将待三维重建的试样固定在带有标记点的底座上，所述底座正面与背面的形状完全相同；
(2)利用深度相机采集包含底座和试样的第一个视角(正面)的彩色图像和深度图像，并结合相机的内外参数，转换成点云；
(3)根据彩色图像，检测底座中的标记点；
(4)旋转底座重复步骤(2)‐步骤(3)，获取第二个视角(背面)的点云与标记点；
(5)利用步骤(3)和步骤(4)中检测到的标记点分别计算两个视角的变换矩阵T1,T2；通过变换矩阵将底座正面和背面都旋转至与xoy平面平行，且将底座的中心平移至相机坐标系的原点；
(6)利用变换矩阵T1,T2分别对试样两个视角的点云进行坐标变换，并将试样第二视角的点云通过变换矩阵T3，使其绕Y轴旋转180°后再沿Z轴平移与底座厚度相同单位的数值，最后将变换后的点云进行拼接即可完成试样的三维重建。
进一步的，所述步骤(3)中底座上的标记点记为(p0,p1,p2,p3)。
进一步的，所述步骤(5)中两个视角的变换矩阵求取过程如下：
通过计算底座第一个视角的中心点坐标(xc,yc,zc)，从而得到底座正面S1的中心点与原点相对距离，即可得到平移向量t；
底座正面S1的中心点的坐标为：
(xc,yc,zc)＝(p5+p6)/2 (2)
其中：p5为标记点p0,p1两点的中心，有p5＝(p0+p1)/2；
p6为标记点p2,p3两点的中心，有p6＝(p2+p3)/2；
将底座的正面S1旋转至与xoy平面平行，所以旋转矩阵R如式(3)所示：
其中，r3＝[a,b,c]；向量[a,b,c]为S1所在平面的法向量；
r1＝(p5-p6).normalized()；
r2＝r3.cross(r1)；
所以底座第一个视角的变换矩阵如下公式所示：
同理，可获得底座第二个视角的的变换矩阵T2。
进一步的，所述步骤(6)具体如下：
试样的三维重建模型具体为：
C＝T1*C1+T3*T2*C2 (5)
T3如公式(6)所示：
其中l为底座厚度；C为重建后点云，C1,C2分别为重建前试样正面与背面的点云。
本发明的有益效果：将待重建的薄物体固定在带有标记点的底座上，通过深度相机采集深度图像和彩色图像，识别标记点，便可得到变换矩阵，根据变换矩阵对带重建物体的点云进行坐标转换，最后对变换后物体两个视角的点云进行拼接，从而完成对试样的三维重建。由于只需采集待重建物体的两个视角即可实现物体的三维重建，所以重建速度快。同时，只需要一台深度相机与带有标记点的底座，成本低。与传统的ICP算法相比，本发明能更快速的完成重建，并具有重建精度高，成本简单，可扩展行强和可视化等优点。本发明基于标记点对两个视角的点云进行拼接从而实现薄物体的三维重建，所以对于厚度在2mm—30mm左右的薄物体，重建速度快、重建精度高且操作简单。同时，本发明只需一台深度相机和一个带有简单标记点的底座，成本较低。
附图说明
图1为本发明的流程图；
图2为标有标记点的底座示意图；
图3为坐标变换前后的底座示意图；
图4为薄物体三维重建结果示意图。
具体实施方式
下面结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅对于更加清楚的说明本发明的技术方案，因此只作为示例，而不能以此来限制本发明的保护范围。
如图1所示，本发明提供一种薄物体快速三维重建方法，将待重建的薄物体固定在带有标记点的底座上，通过深度相机采集深度图像和彩色图像，识别标记点，便可得到变换矩阵，根据变换矩阵对带重建物体的点云进行坐标转换，最后对变换后物体两个视角的点云进行拼接，从而完成对试样的三维重建。
具体包括如下步骤：
步骤1：将待三维重建的试样固定在带有标记点的底座上，所述底座正面与背面的形状完全相同，且具体结构尺寸已知；
步骤2：利用深度相机采集包含底座和试样的第一个视角(正面)的彩色图像和深度图像，并结合相机的内外参数，转换成点云；
步骤3：根据彩色图像，检测底座中的标记点，本实施例中提供检测到的标记点依次记为(p0,p1,p2,p3)，当然可以3个或者更多；
步骤4：旋转底座重复步骤2‐3，获取第二个视角(背面)的点云与标记点；
步骤5：由于底座的宽度已知，并且正面与背面的形状相同，所以只要先通过坐标的转换使得正面与背面的两幅点云重合，然后再将背面沿z轴方向移动与底座厚度相同的单位即可实现底座的重建。由于试样是被固定在底座上的，所以只要做与底座相同的旋转和平移便可实现试样的三维重建模型。为此，利用步骤3和步骤4中检测到的标记点分别计算两个视角的变换矩阵T1,T2；通过变换矩阵将底座正面和背面都旋转至与xoy平面平行，如图3所示，且将底座的中心平移至相机坐标系的原点；具体以正面为例：
通过计算底座正面的中心点坐标(xc,yc,zc)，从而得到底座正面S1的中心点与原点相对距离，即可得到平移向量t。
为准确的求取S1的中心，先要识别预先标记在底座上的四个标记点(p0,p1,p2,p3,)，如图2所示。推导出S1的中心点的坐标为：
(xc,yc,zc)＝(p5+p6)/2 (2)
其中：p5为标记点p0,p1两点的中心，有p5＝(p0+p1)/2；
p6为标记点p2,p3两点的中心，有p6＝(p2+p3)/2；
由于要将底座的正面S1旋转至与xoy平面平行，所以旋转矩阵R如公式3所示：
其中，r3＝[a,b,c]；向量[a,b,c]为S1所在平面的法向量。
r1＝(p5-p6).normalized()；
r2＝r3.cross(r1)；
所以底座正面的变换矩阵如下公式所示：
其中，R表示旋转矩阵，t代表平移向量；
同理，可获得底座背面的变换矩阵T2；
步骤6：利用变换矩阵T1,T2分别对试样两个视角的点云进行坐标变换，并将试样第二视角的点云通过变换矩阵T3，使其绕Y轴旋转180°后再沿Z轴平移与底座厚度相同单位的数值，最后将变换后的点云进行拼接即可完成试样的三维重建。(如图4所示)，具体为：
C＝T1*C1+T3*T2*C2 (5)
T3如公式6所示：
其中l为底座厚度；T1,T2分别表示底座正面和背面的变换矩阵。C为重建后点云，C1,C2分别为重建前试样正面与背面的点云。
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (5)

1.一种薄物体快速三维重建方法，其特征在于，该方法为：
将待重建的薄物体固定在带有标记点的底座上，通过深度相机采集深度图像和彩色图像，识别标记点，便可得到变换矩阵，根据变换矩阵对带重建物体的点云进行坐标转换，最后对变换后物体两个视角的点云进行拼接，从而完成对试样的三维重建。
2.根据权利要求1所述的一种薄物体快速三维重建方法，其特征在于，该方法包括如下步骤：
(1)将待三维重建的试样固定在带有标记点的底座上，所述底座正面与背面的形状完全相同；
(2)利用深度相机采集包含底座和试样的第一个视角(正面)的彩色图像和深度图像，并结合相机的内外参数，转换成点云；
(3)根据彩色图像，检测底座中的标记点；
(4)旋转底座重复步骤(2)-步骤(3)，获取第二个视角(背面)的点云与标记点；
(5)利用步骤(3)和步骤(4)中检测到的标记点分别计算两个视角的变换矩阵T1,T2；通过变换矩阵将底座正面和背面都旋转至与xoy平面平行，且将底座的中心平移至相机坐标系的原点；
(6)利用变换矩阵T1,T2分别对试样两个视角的点云进行坐标变换，并将试样第二视角的点云通过变换矩阵T3，使其绕Y轴旋转180°后再沿Z轴平移与底座厚度相同单位的数值，最后将变换后的点云进行拼接即可完成试样的三维重建。
3.根据权利要求2所述的一种薄物体快速三维重建方法，其特征在于，所述步骤(3)中底座上的标记点记为(p0,p1,p2,p3)。
4.根据权利要求3所述的一种薄物体快速三维重建方法，其特征在于，所述步骤(5)中两个视角的变换矩阵求取过程如下：
通过计算底座第一个视角的中心点坐标(xc,yc,zc)，从而得到底座正面S1的中心点与原点相对距离，即可得到平移向量t；
底座正面S1的中心点的坐标为：
(xc,yc,zc)＝(p5+p6)/2 (2)
其中：p5为标记点p0,p1两点的中心，有p5＝(p0+p1)/2；
p6为标记点p2,p3两点的中心，有p6＝(p2+p3)/2；
将底座的正面S1旋转至与xoy平面平行，所以旋转矩阵R如式(3)所示：
其中，r3＝[a,b,c]；向量[a,b,c]为S1所在平面的法向量；
r1＝(p5-p6).normalized()；
r2＝r3.cross(r1)；
所以底座第一个视角的变换矩阵如下公式所示：
同理，可获得底座第二个视角的变换矩阵T2。
5.根据权利要求4所述的一种薄物体快速三维重建方法，其特征在于，所述步骤(6)具体如下：
试样的三维重建模型具体为：
C＝T1*C1+T3*T2*C2 (5)
T3如公式(6)所示：
其中l为底座厚度；C为重建后点云，C1,C2分别为重建前试样正面与背面的点云。
CN201811147802.XA 2018-09-29 2018-09-29 一种薄物体快速三维重建方法 Active CN109360267B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811147802.XA CN109360267B (zh) 2018-09-29 2018-09-29 一种薄物体快速三维重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811147802.XA CN109360267B (zh) 2018-09-29 2018-09-29 一种薄物体快速三维重建方法

Publications (2)

Publication Number Publication Date
CN109360267A true CN109360267A (zh) 2019-02-19
CN109360267B CN109360267B (zh) 2023-06-06

Family

ID=65348194

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811147802.XA Active CN109360267B (zh) 2018-09-29 2018-09-29 一种薄物体快速三维重建方法

Country Status (1)

Country Link
CN (1) CN109360267B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111768490A (zh) * 2020-05-14 2020-10-13 华南农业大学 基于迭代最近点与人工干预的植物三维建模方法及***
CN112069923A (zh) * 2020-08-18 2020-12-11 东莞正扬电子机械有限公司 3d人脸点云重建方法及***
CN112132971A (zh) * 2020-09-08 2020-12-25 合肥的卢深视科技有限公司 三维人体建模方法、装置、电子设备和存储介质
CN112069923B (zh) * 2020-08-18 2024-07-12 广东正扬传感科技股份有限公司 3d人脸点云重建方法及***

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140320491A1 (en) * 2013-04-26 2014-10-30 Tsinghua University Method And System For Three-Dimensionally Reconstructing Non-Rigid Body Based On Multi-Depth-Map
CN104330074A (zh) * 2014-11-03 2015-02-04 熊友谊 一种智能测绘平台及其实现方法
CN105627948A (zh) * 2016-01-31 2016-06-01 山东科技大学 一种大型复杂曲面测量***及其应用
CN105989604A (zh) * 2016-02-18 2016-10-05 合肥工业大学 一种基于kinect的目标物体三维彩色点云生成方法
CN106556356A (zh) * 2016-12-07 2017-04-05 西安知象光电科技有限公司 一种多角度三维轮廓测量***及测量方法
CN107240129A (zh) * 2017-05-10 2017-10-10 同济大学 基于rgb‑d相机数据的物体及室内小场景恢复与建模方法
CN107631700A (zh) * 2017-09-07 2018-01-26 西安电子科技大学 三维扫描仪与全站仪相结合的三维数据测量方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140320491A1 (en) * 2013-04-26 2014-10-30 Tsinghua University Method And System For Three-Dimensionally Reconstructing Non-Rigid Body Based On Multi-Depth-Map
CN104330074A (zh) * 2014-11-03 2015-02-04 熊友谊 一种智能测绘平台及其实现方法
CN105627948A (zh) * 2016-01-31 2016-06-01 山东科技大学 一种大型复杂曲面测量***及其应用
CN105989604A (zh) * 2016-02-18 2016-10-05 合肥工业大学 一种基于kinect的目标物体三维彩色点云生成方法
CN106556356A (zh) * 2016-12-07 2017-04-05 西安知象光电科技有限公司 一种多角度三维轮廓测量***及测量方法
CN107240129A (zh) * 2017-05-10 2017-10-10 同济大学 基于rgb‑d相机数据的物体及室内小场景恢复与建模方法
CN107631700A (zh) * 2017-09-07 2018-01-26 西安电子科技大学 三维扫描仪与全站仪相结合的三维数据测量方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘志伟 等: "叶片型面在线自动测量方法", 《工具技术》 *
徐斌 等: "基于三维重建的大腿假肢接受腔定制研究", 《电子测量与仪器学报》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111768490A (zh) * 2020-05-14 2020-10-13 华南农业大学 基于迭代最近点与人工干预的植物三维建模方法及***
CN112069923A (zh) * 2020-08-18 2020-12-11 东莞正扬电子机械有限公司 3d人脸点云重建方法及***
CN112069923B (zh) * 2020-08-18 2024-07-12 广东正扬传感科技股份有限公司 3d人脸点云重建方法及***
CN112132971A (zh) * 2020-09-08 2020-12-25 合肥的卢深视科技有限公司 三维人体建模方法、装置、电子设备和存储介质
CN112132971B (zh) * 2020-09-08 2024-04-23 合肥的卢深视科技有限公司 三维人体建模方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN109360267B (zh) 2023-06-06

Similar Documents

Publication Publication Date Title
Huang et al. Research on multi-camera calibration and point cloud correction method based on three-dimensional calibration object
CN105913489B (zh) 一种利用平面特征的室内三维场景重构方法
CN106989669B (zh) 基于虚拟立体靶标的大视场高精度视觉***标定方法
CN108759665B (zh) 一种基于坐标转换的空间目标三维重建精度分析方法
EP3933846A1 (en) Three-dimensional image measurement method, electronic device, storage medium, and program product
CN108038902A (zh) 一种面向深度相机的高精度三维重建方法和***
CN108765548A (zh) 基于深度相机的三维场景实时重建方法
CN104376594A (zh) 三维人脸建模方法和装置
CN103489214A (zh) 增强现实***中基于虚拟模型预处理的虚实遮挡处理方法
CN105976431B (zh) 一种基于旋转光场的三维表面重构方法
CN104123751A (zh) Kinect与关节臂结合的复合式测量和三维重建方法
CN108748146A (zh) 一种机器人手眼标定方法及***
US20170287162A1 (en) Method and system for scanning an object using an rgb-d sensor
Li et al. Research on the calibration technology of an underwater camera based on equivalent focal length
CN110163797A (zh) 一种标定转台位姿关系实现任意角点云拼接的方法及装置
CN108592787A (zh) 3d旋转扫描***的转轴标定方法与***
CN109087355A (zh) 基于迭代更新的单目相机位姿测量装置与方法
CN103697811B (zh) 一种相机与结构光源结合获取物体轮廓三维坐标的方法
CN109360267A (zh) 一种薄物体快速三维重建方法
CN109345581A (zh) 基于多目相机的增强现实方法、装置及***
Chen et al. Stereo vision sensor calibration based on random spatial points given by CMM
Lu et al. Sphere-based calibration method for trinocular vision sensor
CN109406525A (zh) 桥梁表观病害的检测***及其检测方法
CN106767405B (zh) 相位映射辅助三维成像***快速对应点匹配的方法及装置
Li et al. An accurate and practical means for the automatic registration of multiple 3D scanning data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant