CN110672039B - 一种基于平面反射镜的物体全方位三维测量方法 - Google Patents

一种基于平面反射镜的物体全方位三维测量方法 Download PDF

Info

Publication number
CN110672039B
CN110672039B CN201910880050.6A CN201910880050A CN110672039B CN 110672039 B CN110672039 B CN 110672039B CN 201910880050 A CN201910880050 A CN 201910880050A CN 110672039 B CN110672039 B CN 110672039B
Authority
CN
China
Prior art keywords
plane
point
calibration
point cloud
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910880050.6A
Other languages
English (en)
Other versions
CN110672039A (zh
Inventor
左超
徐豪
尹维
陈钱
冯世杰
孙佳嵩
陶天阳
胡岩
钱佳铭
张良
杨辰
李佳超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN201910880050.6A priority Critical patent/CN110672039B/zh
Publication of CN110672039A publication Critical patent/CN110672039A/zh
Application granted granted Critical
Publication of CN110672039B publication Critical patent/CN110672039B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/254Projection of a pattern, viewing through a pattern, e.g. moiré
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/002Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/245Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2504Calibration devices

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种基于平面反射镜的物体全方位三维测量方法,首先是搭建摄像机和投影仪组成的条纹投影轮廓术***,将贴附有标定纸条的左平面反射镜和右平面反射镜设置在被测物体后面,使用投影仪向被测物体投出相移条纹,并触发摄像机同步采图,将缠绕相位图解算为绝对相位图,由绝对相位得到被测物体的三维点云数据,并用标定纸条对平面反射镜进行标定,实现通过单次测量即可得到物体全方位的三维点云数据,最后利用ICP迭代算法对点云进行配准,使点云之间相同的部分尽可能地重合。本发明具有低成本,简单高效,高精度的优势。

Description

一种基于平面反射镜的物体全方位三维测量方法
技术领域
本发明属于光学测量技术与计算机立体视觉领域,特别是一种基于平面反射镜的物体全方位三维测量方法。
背景技术
随着现代信息技术的发展,三维成像技术被广泛应用于监控安防、数字文化保护、逆向工程、产品质量检测和虚拟现实等领域。作为三维成像技术中的一种,基于结构光投影和三角测量原理的条纹投影轮廓术具有非接触、精度高、速度快等优点,近些年来一直作为热门方向被研究。但是单纯的获取被测物体的一部分三维信息并不能很好地满足实际生产的需要,在实际生产中,通常要获取被测物体的全方位三维信息(文献“Automated 360°profilometry of3-D diffuse objects”,作者Maurice Halioua等)。由于光沿直线转播的性质,所以在由单个摄像机和投影仪组成的传统的条纹投影轮廓术***中,只有同时被投影仪投出条纹图案照射到以及摄像机拍摄到的部分才能被重构为三维点云数据。其他部分由于被遮挡,无法被重构,从而实现不了物体全方位三维信息的测量。
为了实现全方位三维信息的测量,通常利用到转台或者机械臂等工具(文献“A 3Dmeasurement method based on multi-view fringe projection by using aturntable”,作者Li-mei Song等),通过对多个视角的测量,获得多个视角的三维点云数据,最后对这些点云数据进行拼接,从而得到全方位的三维点云数据。由于这种方法需要多次测量,且后续的点云拼接操作复杂,所以存在着费时费力,精度易受转台平整度等机械因素影响,无法测量动态场景等缺陷。除此之外,也有人提出用平面反射镜进行全方位的三维测量(文献“Surround structured lighting:3-D scanning with orthographicillumination”,作者Douglas Lanman等),但是这些***普遍存在着成本不菲,光路复杂,***标定操作繁琐,测量精度低等问题。
发明内容
本发明的目的在于提供一种成本低、简单高效和高精度的基于平面反射镜的物体全方位三维测量方法。
实现本发明目的的技术解决方案为:一种基于平面反射镜的物体全方位三维测量方法,步骤如下:
步骤一:搭建基于平面反射镜的条纹投影轮廓术***,首先搭建摄像机和投影仪组成的条纹投影轮廓术***,然后将贴附有标定纸条的左平面反射镜和右平面反射镜设置在被测物体后面,调节贴有标定纸条的平面反射镜的位置,通过平面反射镜的反射作用,摄像机同时观察到被测物体的三个视角的信息;
步骤二:投影相移条纹并采图,使用投影仪向被测物体投出相移条纹,并触发摄像机同步采图;
步骤三:求解相位并重构点云,对于步骤二中采集到的条纹图案,采用基于条纹投影的相移轮廓术解算出不同频率条纹下的缠绕相位图,随后利用时域相位解缠算法,将缠绕相位图解算为绝对相位图,利用投影仪和摄像机的标定参数,由绝对相位得到被测物体的三维点云数据;
步骤四:用标定纸条对平面反射镜进行标定,即利用步骤二和步骤三中的方法对平面反射镜上面的标定纸条的三维信息进行重构,得到标定纸条的三维空间姿态信息,并进行平面拟合,用以近似代替平面反射镜的空间姿态信息,计算拟合平面的单位法向量以及世界坐标系原点到拟合平面的距离,完成两块平面反射镜的标定工作;
步骤五:三维点云的转换,根据步骤四得到的平面反射镜的标定参数,计算得到左右平面镜反射镜中三维点云数据到真实世界坐标系的转换矩阵,从而将左右平面镜中的三维点云数据转化到物体实际所在的统一的世界坐标系下,以此方式实现通过单次测量即可得到物体全方位的三维点云数据;
步骤六:三维点云的配准,利用ICP迭代算法对点云进行配准,使点云之间相同的部分尽可能地重合。
本发明与现有技术相比,其显著优点为:本发明基于平面反射镜实现摄像机在一个位置就能从三个不同的视角拍摄到被测物体,对三个视角同时进行重构,通过平面反射镜的标定得到其空间姿态信息,并进一步获得平面反射镜的转换矩阵,利用转换矩阵将虚拟视角中的点云转换至物体所在真实坐标系中,最后通过ICP迭代算法微调点云位置,实现单次测量得到更高精度的全方位三维信息。与传统的全方位三维测量***相比具有低成本,简单高效,高精度的优势。
下面结合附图对本发明作进一步详细描述。
附图说明
图1是本发明基于平面反射镜的物体全方位三维测量方法的流程图。
图2是本发明测量方法的***示意图。
图3是对三个分视角分别进行重构后的三维形貌信息图。
图4是左平面镜的标定结果:(a)为平面拟合结果,(b)为平面拟合的RMS,(c)为标定纸条点云与拟合平面的误差图。
图5是右平面镜的标定结果:(a)为平面拟合结果,(b)为平面拟合的RMS,(c)为标定纸条点云与拟合平面的误差图。
图6是平面反射镜的几何模型。
图7是全方位测量结果图:(a)-(c)为利用ICP迭代算法进行点云配准前的三维点云图,(d)为利用ICP迭代算法进行点云配准后的点云图。
具体实施方式
本发明基于平面反射镜的物体全方位三维测量方法,包括以下几个步骤:
步骤一:搭建基于平面反射镜的条纹投影轮廓术***。首先搭建一个由摄像机和DLP投影仪组成的传统的条纹投影轮廓术***,然后将两块分别贴有标定纸条2的平面反射镜1放置在被测物体5后面,***结构图如图2所示。一块标定纸条(左标定纸条)贴附在左平面反射镜的下部偏左部位,另一块标定纸条(右标定纸条)贴附在右平面反射镜的下部偏右部位,标定纸条不能弯曲,要尽可能与平面反射镜表面贴合,如图2所示。调节两块贴有标定纸条的平面反射镜的位置,两块平面反射镜的交线正对被测物体和投影仪4,DLP投影仪向被测物体投出相移条纹,并在每帧条纹投出去时通过触发线向摄像机发送触发信号。摄像机在接收到触发信号后,对被测物体进行同步拍摄,并传送至计算机。计算机根据摄像机拍摄的照片完成平面反射镜的标定,三维重建以及点云的转换和点云配准。调节两块平面反射镜的夹角在115°-125°之间,以摄像机3观察到的三个像均匀分布在视场中,互不重合,且三个像不被标定纸条遮挡为标准,其空间位置信息如图2中平面反射镜1所示。通过平面反射镜的反射作用,摄像机可以同时观察到被测物体的三个视角的信息,从而可以经过后续步骤完成物体全方位三维信息的测量。
步骤二:投影相移条纹并采图。使用DLP投影仪向被测物体投出相移条纹,并利用投影仪触发摄像机同步采图。经过物体漫反射后,摄像机采集到的在其CCD平面上某个点(xc,yc)处的光强可以表示为:
Figure BDA0002205601320000041
其中N是相移步数,n是相移指数,且n=0,1,...,N-1,In(xc,yc)是对应点的光强,A(xc,yc)为在(xc,yc)点处的背景光强,B(xc,yc)为在(xc,yc)点处的正弦条纹的调制度,
Figure BDA0002205601320000042
为在(xc,yc)点处的待求被测物体的相位。
步骤三:求解相位并重构点云。由摄像机同步采集到的经过被测物体表面调制后的条纹图案,可以通过下式解出被测物体的相位:
Figure BDA0002205601320000043
由于反正切函数的主值长度只有2π,因此
Figure BDA0002205601320000044
会被截断在[0,2π),即通过上式解出来的相位是缠绕相位,后续还需要进行相位解缠才能得到无歧义的绝对相位。
利用时域相位解缠算法对获得的缠绕相位进行解缠,得到无歧义的绝对相位。缠绕相位与绝对相位之间的关系如下式所示:
Figure BDA0002205601320000045
其中Φh(xc,yc)是高频条纹在(xc,yc)点处的无歧义绝对相位,
Figure BDA0002205601320000046
是高频条纹在(xc,yc)点处的缠绕相位,kh(xc,yc)是高频条纹在点(xc,yc)处的条纹级次,条纹级次可以通过时域相位解缠算法如降级法解得。利用一个连续无歧义的相位Φl(xc,yc)作为辅助相位,然后根据辅助相位和缠绕相位之间的频率关系
Figure BDA0002205601320000047
来找到各个像素点所对应的级次关系,具体算法如下式:
Figure BDA0002205601320000048
其中fh是高频条纹的频率,fl是无歧义低频条纹的频率,Φh(xc,yc)是高频条纹在(xc,yc)点处的绝对相位,
Figure BDA0002205601320000051
是高频条纹在(xc,yc)点处的缠绕相位,Φl(xc,yc)是低频条纹在(xc,yc)点处的无歧义绝对相位,kh(xc,yc)是高频条纹在(xc,yc)点处的条纹级次,round[]是就近取整运算。
得到绝对相位后,利用投影仪和摄像机的标定参数,可以由绝对相位得到被测物体的三维点云数据,具体关系式如下:
Figure BDA0002205601320000052
其中(xw,yw,zw)是待测点在世界坐标系中的坐标,R和T分别是由世界坐标系到相机坐标系的旋转矩阵和平移矩阵,u0和v0分别是物理坐标系与像素坐标系之间的偏移量,u和v是点(xw,yw,zw)成像在CCD上的像素坐标,α和β是在像素坐标系上的尺度因子,s是一个常数尺度因子。
经过以上步骤后可以建立三维空间中一点(xw,yw,zw)与摄像机CCD上一点(u,v)之间的对应关系,从而将摄像机CCD上的二维图片重构为三维点云数据。
步骤四:用标定纸条对平面反射镜进行标定。选取每块平面反射镜上标定纸条的中心部分,并利用步骤二及步骤三所述的重构方法对这一部分进行重构,得到对应块的三维点云数据。左平面反射镜标定纸条的重构结果如图4的(a)-(c)所示,右平面反射镜标定纸条的重构结果如图5的(a)-(c)所示。得到三维点云后,通过后续的平面拟合可得到平面反射镜的空间姿态信息,最后利用空间姿态信息算得平面反射镜标定参数nk和dk,从而完成平面反射镜的标定工作,具体方法如下所述。
获得的点云由很多独立的点组成,由于标定纸条的表面粗糙度以及测量的误差,所以每个点并不是都处于同一个平面内,但是这些点都非常接近纸面所在平面。利用RANSAC算法对获得的标定纸条点云进行平面拟合,在点云中随机选取3个点并建立一个平面Ax+By+Cz+D=0,计算点云中其他所有点到这个平面的距离之和,计算点云中各点与这个平面的距离误差及所有误差的RMS,设定阈值,使平面拟合的RMS尽可能的小(在本方法中小于0.07mm即可),不断选取新的平面直至距离之和满足阈值要求。由拟合平面的方程可以得到这个平面的单位法向量
Figure BDA0002205601320000061
如图4的(a)和图5的(a)中的直线即为左拟合平面、右拟合平面的单位法向量所在直线。由于世界坐标系原点O的坐标(xo,yo,zo)在***标定之后可以得到,因此利用点和平面之间距离的计算公式
Figure BDA0002205601320000062
算得世界坐标系原点到平面反射镜之间的距离dk,供步骤五使用,其中A、B、C、D均为拟合平面Ax+By+Cz+D=0的参数。拟合出来平面的空间姿态分别如图4的(a)(左标定纸条)和图5的(a)(右标定纸条)所示。左右标定纸条点云与拟合平面的距离误差如图4的(c)和图5的(c)所示,图4的(b)和图5的(b)分别为对应距离误差的RMS。至此计算得到标定参数nk和dk,完成平面反射镜的标定。
步骤五:三维点云的转换。利用步骤四得到的平面反射镜的标定参数nk和dk,再利用平面反射镜如图6所示的成像几何模型,可以建立平面反射镜中的虚拟点与物体实际点之间的对应关系如下式所示:
Figure BDA0002205601320000063
其中
Figure BDA0002205601320000064
是平面反射镜中的虚拟点,
Figure BDA0002205601320000065
是物体的实际点,I是单位矩阵,nk是标定得到的平面反射镜的单位法向量,dk是世界坐标系原点到平面反射镜之间的距离,用Tm来表示平面反射镜的反射矩阵。
Figure BDA0002205601320000066
经过步骤一至步骤三之后即可得到,
Figure BDA0002205601320000067
即为步骤三中的(xw,yw,zw),只不过步骤三中是普遍的方法,这里用普遍的方法求解
Figure BDA0002205601320000068
dk和nk在经过步骤四之后可得到,由这个关系得到一个转换矩阵Tm -1,将平面反射镜视角中的三维点云数据转换至物体实际所在坐标系中,转换关系为
Figure BDA0002205601320000071
从而实现单次测量得到物体全方位三维信息,如图7的(a)-(c)所示,图7的(a)为被测物体三维点云的左侧视角,图7的(b)为被测物体三维点云的左侧视角,图7的(c)为被测物体三维点云的底部视角。
步骤六:三维点云的配准。由于平面反射镜可能存在标定误差,因此平面反射镜中的虚拟点云经过转换矩阵转换之后,边缘部分并不能与其他点云完全重合,存在一定的偏差。为了得到更精确的结果,还需要利用ICP迭代算法对点云进行配准,使点云之间相同的部分尽可能地重合,获得精度更高的物体全方位三维点云数据。
设两块点云之间相同的部分可以分别表示为:
P={pi|pi∈R3,i=1,2,…,a}
Q={qj|qj∈R3,j=1,2,…,b}
其中Q是参考点云,P是待配准的点云,a为点云P中点的数量,b为点云Q中点的数量,R3表示这些点都是三维点,均有x、y、z坐标。首先取一对在实际中最相近的点:点云P中的一点pi以及点云Q中的一点qj,取n对这样的点对,利用奇异值分解法(SVD)找到两点之间的旋转及平移关系(RC,TC)再定义配准的评价函数:
Figure BDA0002205601320000072
用配准之后如图7的(d)所示的三片点云重复部分的重合度来评价配准的效果,并定义阈值的高低,重合度越高理论上需要的阈值越低,当评价函数的值小于定义的阈值之后则完成配准,否则取新的点集,继续迭代直至满足要求。从而完成点云的配准,实现更高精度的全方位三维信息测量。
实施例
为验证本发明所述方法的有效性,使用一台相机(型号acA2440-75um,Basler),一台DLP投影仪(型号LightCrafter 4500PRO TI),两块表面贴有标定用标定纸条的平面反射镜(尺寸为40cm×40cm),一台计算机构建了一套基于平面反射镜的物体全方位三维测量***如图2所示。在实施例中,标定用的标定纸条尺寸为2.5cm×15cm,材质为普通A4打印纸,被测物体为海盗赛内卡石膏雕像。
首先固定投影仪和摄像机,按照步骤一的要求将标定纸条贴附在两块平面反射镜上,并将两块平面反射镜放置在被测物体后面,微调摄像机视角,摄像机视角中标定标定纸条分布在视场两侧,被测物体的三个视角均匀分布在视场中,标定纸条与被测物体互不遮挡。按照步骤三要求向被测物体投出频率为1,8和64的9步相移横条纹,并触发摄像机同步采图。利用步骤三的方法解得每个像素点的相位,并对缠绕相位进行解缠得到绝对相位。利用摄像机和投影仪的标定参数,可以同时得到被测物体三个视角的三维点云如图3所示,图3左边的点云是物体经左平面反射镜反射的虚拟视角,图3中间点云为直接拍摄到的实际视角,图3中右边的点云是物体经右平面反射镜反射的虚拟视角。按照步骤四的要求对两个标定纸条的三维点云数据分别进行平面拟合,分别得到一个三维空间平面,近似替代平面反射镜表面的空间信息,两平面镜标定的结果分别如图4(左平面镜)和图5(右平面镜)所示,图4的(a)是左标定纸条平面拟合的结果,图4的(b)是左标定纸条平面拟合的RMS,左平面反射镜拟合结果的RMS为0.063867mm,图4的(c)是左标定纸条点云与拟合平面的误差图,图5的(a)是右标定纸条平面拟合的结果,图5的(b)是右标定纸条平面拟合的RMS,右平面反射镜的RMS为0.067934mm,图5的(c)是右标定纸条点云与拟合平面的误差图。利用步骤五中如图6所示的平面反射镜几何模型和步骤四求解的平面反射镜的三维空间信息,计算得到平面反射镜中被测物体三维点云到实际所在统一坐标系中的转换矩阵,两平面反射镜的转换矩阵如下:
左边平面镜的转换矩阵:
Figure BDA0002205601320000081
右边平面镜的转换矩阵:
Figure BDA0002205601320000091
利用这两个转换矩阵将图3所示的左右平面镜中的点云旋转至物体实际所在坐标系,可以得到最后的全方位三维测量结果如图7的(a)-(c)所示,图7的(a)为被测物体三维点云的左侧视角,图7的(b)为被测物体三维点云的左侧视角,图7的(c)为被测物体三维点云的底部视角。由此可以看出,经过本发明提出的一种基于平面反射镜的物体全方位三维测量方法后,仅通过单次测量就可以获得被测物体全方位的三维点云数据,具有低成本,简单高效的优点。
最后按照步骤六中的ICP迭代算法对三片点云进行配准,得到最终的全方位三维点云数据如图7的(d)所示,相对而言,配准后的点云比配准前重合度更好,从图7的(c)和图7的(d)之间雕塑底部视角的比较可以看出。

Claims (7)

1.一种基于平面反射镜的物体全方位三维测量方法,其特征在于步骤如下:
步骤一:搭建基于平面反射镜的条纹投影轮廓术***,首先搭建摄像机和投影仪组成的条纹投影轮廓术***,然后将贴附有标定纸条的左平面反射镜和右平面反射镜设置在被测物体后面,调节贴有标定纸条的平面反射镜的位置,通过平面反射镜的反射作用,摄像机同时观察到被测物体的三个视角的信息;
步骤二:投影相移条纹并采图,使用投影仪向被测物体投出相移条纹,并触发摄像机同步采图;
步骤三:求解相位并重构点云,对于步骤二中采集到的条纹图案,采用基于条纹投影的相移轮廓术解算出不同频率条纹下的缠绕相位图,随后利用时域相位解缠算法,将缠绕相位图解算为绝对相位图,利用投影仪和摄像机的标定参数,由绝对相位得到被测物体的三维点云数据;
步骤四:用标定纸条对平面反射镜进行标定,即利用步骤二和步骤三中的方法对平面反射镜上面的标定纸条的三维信息进行重构,得到标定纸条的三维空间姿态信息,并进行平面拟合,用以近似代替平面反射镜的空间姿态信息,计算拟合平面的单位法向量以及世界坐标系原点到拟合平面的距离,完成两块平面反射镜的标定工作;
步骤五:三维点云的转换,根据步骤四得到的平面反射镜的标定参数,计算得到左右平面镜反射镜中三维点云数据到真实世界坐标系的转换矩阵,从而将左右平面镜中的三维点云数据转化到物体实际所在的统一的世界坐标系下,以此方式实现通过单次测量即可得到物体全方位的三维点云数据;
步骤六:三维点云的配准,利用ICP迭代算法对点云进行配准,使点云之间相同的部分尽可能地重合。
2.根据权利要求1所述的方法,其特征在于步骤一中,一块标定纸条贴附在左平面反射镜的下部偏左部位,另一块标定纸条贴附在右平面反射镜的下部偏右部位,调节平面反射镜的位置,使两块平面反射镜的交线正对被测物体和投影仪,左平面反射镜、右平面反射镜的夹角在115°-125°之间,以摄像机观察到的三个像均匀分布在视场中,互不重合,且三个像不被标定纸条遮挡。
3.根据权利要求1所述的方法,其特征在于步骤二中,利用基于条纹投影的相移轮廓术,使用投影仪向被测物体投出一系列正弦条纹图案,经过物体漫反射后被摄像机同步采集,采集到的光强表示为:
Figure FDA0002836817070000021
其中N是相移步数,n是相移指数,且n=0,1,...,N-1,In(xc,yc)是对应点的光强,A(xc,yc)为在(xc,yc)点处的背景光强,B(xc,yc)为在(xc,yc)点处的正弦条纹的调制度,
Figure FDA0002836817070000022
为在(xc,yc)点处的待求被测物体的相位。
4.根据权利要求1所述的方法,其特征在于步骤三中,由摄像机同步采集到的经过被测物体表面调制后的条纹图案通过下式解出被测物体的缠绕相位:
Figure FDA0002836817070000023
缠绕相位与绝对相位之间的关系如下式所示:
Figure FDA0002836817070000024
其中Φh(xc,yc)是高频条纹在(xc,yc)点处的无歧义绝对相位,In(xc,yc)是对应点的光强,
Figure FDA0002836817070000025
是高频条纹在(xc,yc)点处的缠绕相位,kh(xc,yc)是高频条纹在点(xc,yc)处的条纹级次;利用一个连续无歧义的相位Φl(xc,yc)作为辅助相位,然后根据辅助相位和缠绕相位之间的频率关系
Figure FDA0002836817070000026
来找到各个像素点所对应的级次关系,具体如下式:
Figure FDA0002836817070000027
其中fh是高频条纹的频率,fl是无歧义低频条纹的频率,Φh(xc,yc)是高频条纹在(xc,yc)点处的绝对相位,
Figure FDA0002836817070000028
是高频条纹在(xc,yc)点处的缠绕相位,Φl(xc,yc)是低频条纹在(xc,yc)点处的无歧义绝对相位,kh(xc,yc)是高频条纹在(xc,yc)点处的条纹级次,round[ ]是就近取整运算;
得到绝对相位之后,利用标定板对投影仪和摄像机组成的***进行标定,通过标定得到的参数建立摄像机CCD上二维图像与被测物体点云空间位置的对应关系,从而将摄像机拍摄到的二维图像重建为对应的空间三维点云数据,具体关系式如下:
Figure FDA0002836817070000031
其中(xw,yw,zw)是待测点在世界坐标系中的坐标,R和T分别是由世界坐标系到相机坐标系的旋转矩阵和平移矩阵,u0和v0分别是物理坐标系与像素坐标系之间的偏移量,(u,v)是点(xw,yw,zw)成像在CCD上的像素坐标,α和β是在像素坐标系上的尺度因子,s是一个常数尺度因子。
5.根据权利要求1所述的方法,其特征在于步骤四中,用标定纸条对平面反射镜进行标定,即选取每块平面反射镜上标定纸条的中心部分,并利用步骤二及步骤三所述的重构方法对这一部分进行重构,得到对应块的三维点云数据,得到三维点云后,通过后续的平面拟合可得到平面反射镜的空间姿态信息,最后利用空间姿态信息算得平面反射镜标定参数nk和dk,从而完成平面反射镜的标定,具体方法如下:
获得的点云由很多独立的点组成,由于标定纸条的表面粗糙度以及测量的误差,所以每个点并不是都处于同一个平面内,但是这些点都非常接近纸面所在平面,利用RANSAC算法对获得的标定纸条点云进行平面拟合,在点云中随机选取3个点并建立一个平面Ax+By+Cz+D=0,计算点云中其他所有点到这个平面的距离之和,计算点云中各点与这个平面的距离误差及所有误差的RMS,设定阈值,使平面拟合的RMS尽可能的小,不断选取新的平面直至距离之和满足阈值要求;由拟合平面的方程得到这个平面的单位法向量
Figure FDA0002836817070000032
由于世界坐标系原点O的坐标(xo,yo,zo)在***标定之后得到,因此利用点和平面之间距离的计算公式
Figure FDA0002836817070000041
算得世界坐标系原点到平面反射镜之间的距离dk,其中A、B、C、D均为拟合平面Ax+By+Cz+D=0的参数,至此计算得到标定参数nk和dk,完成平面反射镜的标定。
6.根据权利要求1所述的方法,其特征在于步骤五中,利用平面反射镜的标定参数nk和dk和平面反射镜的成像几何模型,建立平面反射镜中的虚拟点与物体实际点之间的对应关系如下式所示:
Figure FDA0002836817070000042
其中
Figure FDA0002836817070000043
是平面反射镜中的虚拟点,
Figure FDA0002836817070000044
是物体的实际点,I是单位矩阵,nk是标定得到的平面反射镜的单位法向量,dk是世界坐标系原点到平面反射镜之间的距离,用Tm来表示平面反射镜的反射矩阵;
Figure FDA0002836817070000045
即为(xw,yw,zw),由此得到一个转换矩阵Tm -1,将平面反射镜视角中的三维点云数据转换至物体实际所在坐标系中,转换关系为
Figure FDA0002836817070000046
7.根据权利要求1所述的方法,其特征在于步骤六中,利用ICP迭代算法对点云进行配准,设两块点云之间相同的部分分别表示为:
P={pi|pi∈R3,i=1,2,…,a}
Q={qj|qj∈R3,j=1,2,…,b}
其中Q是参考点云,P是待配准的点云,a为点云P中点的数量,b为点云Q中点的数量,R3表示这些点都是三维点,均有x、y、z坐标;首先取一对在实际中最相近的点:点云P中的一点pi以及点云Q中的一点qj,取n对这样的点对,利用奇异值分解法(SVD)找到两点之间的旋转及平移关系(RC,TC),再定义配准的评价函数:
Figure FDA0002836817070000047
用配准之后三片点云重复部分的重合度来评价配准的效果,并定义阈值的高低,重合度越高理论上需要的阈值越低,当评价函数的值小于定义的阈值之后则完成配准,否则取新的点集,继续迭代直至满足要求,从而完成点云的配准,实现更高精度的全方位三维信息测量。
CN201910880050.6A 2019-09-18 2019-09-18 一种基于平面反射镜的物体全方位三维测量方法 Active CN110672039B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910880050.6A CN110672039B (zh) 2019-09-18 2019-09-18 一种基于平面反射镜的物体全方位三维测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910880050.6A CN110672039B (zh) 2019-09-18 2019-09-18 一种基于平面反射镜的物体全方位三维测量方法

Publications (2)

Publication Number Publication Date
CN110672039A CN110672039A (zh) 2020-01-10
CN110672039B true CN110672039B (zh) 2021-03-26

Family

ID=69076803

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910880050.6A Active CN110672039B (zh) 2019-09-18 2019-09-18 一种基于平面反射镜的物体全方位三维测量方法

Country Status (1)

Country Link
CN (1) CN110672039B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110514143B (zh) 2019-08-09 2021-05-07 南京理工大学 一种基于反射镜的条纹投影***标定方法
CN111947598B (zh) * 2020-07-24 2022-04-01 南京理工大学 基于平面反射镜的360°三维人头测量方法
CN113008164A (zh) * 2021-03-23 2021-06-22 南京理工大学 快速高精度三维面形重构方法
CN113223135B (zh) * 2021-04-15 2023-04-11 中山大学 一种基于特殊复合平面镜虚像成像的三维重建装置和方法
CN113513993B (zh) * 2021-05-14 2023-03-14 国网宁夏电力有限公司电力科学研究院 一种变压器绕组运动位移的测量方法、介质及***
CN113205593B (zh) * 2021-05-17 2022-06-07 湖北工业大学 一种基于点云自适应修复的高反光表面结构光场三维重建方法
CN113310433A (zh) * 2021-05-27 2021-08-27 伏燕军 基于线结构光的虚拟双目立体视觉测量方法
CN113485058B (zh) * 2021-06-18 2022-07-08 苏州小优智能科技有限公司 一种紧凑型高精度三维人脸成像方法
CN113406604A (zh) * 2021-06-30 2021-09-17 山东新一代信息产业技术研究院有限公司 一种激光雷达和摄像机位置标定的装置和方法
CN113532327B (zh) * 2021-07-15 2023-09-12 合肥图迅电子科技有限公司 基于条纹投影3d成像的料盘内芯片形态的检测方法
CN114577140A (zh) * 2022-01-20 2022-06-03 桂林电子科技大学 一种鲁棒的条纹投影***标定方法
CN114459384A (zh) * 2022-02-28 2022-05-10 嘉兴市像景智能装备有限公司 一种基于多角度正弦条纹光场融合的相移轮廓术
CN115077420B (zh) * 2022-07-18 2023-04-25 北京航空航天大学 基于荧光散斑的平面镜反射变换标定方法
CN115816471B (zh) * 2023-02-23 2023-05-26 无锡维度机器视觉产业技术研究院有限公司 多视角3d视觉引导机器人的无序抓取方法、设备及介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1901031A2 (de) * 2006-09-13 2008-03-19 Micro-Epsilon Optronic GmbH Messanordnung und Verfahren zum Vermessen einer dreidimensional ausgedehnten Struktur
WO2010021972A1 (en) * 2008-08-18 2010-02-25 Brown University Surround structured lighting for recovering 3d object shape and appearance
CN102564348A (zh) * 2012-01-03 2012-07-11 四川大学 条纹反射三维测量的***几何标定方法
CN106556356A (zh) * 2016-12-07 2017-04-05 西安知象光电科技有限公司 一种多角度三维轮廓测量***及测量方法
CN107121109A (zh) * 2017-06-12 2017-09-01 北京航空航天大学 一种基于前镀膜平面镜的结构光参数标定装置及方法
CN107230231A (zh) * 2017-04-14 2017-10-03 浙江工业大学 聚光镜面质量检测中相机与目标靶的位置标定方法
CN107401976A (zh) * 2017-06-14 2017-11-28 昆明理工大学 一种基于单目相机的大尺寸视觉测量***及其标定方法
CN108830906A (zh) * 2018-05-31 2018-11-16 福州大学 一种基于虚拟双目视觉原理的摄像机参数自动标定方法
CN109978960A (zh) * 2019-04-01 2019-07-05 易思维(杭州)科技有限公司 基于摄影测量的高精度屏幕-相机位姿标定方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1901031A2 (de) * 2006-09-13 2008-03-19 Micro-Epsilon Optronic GmbH Messanordnung und Verfahren zum Vermessen einer dreidimensional ausgedehnten Struktur
WO2010021972A1 (en) * 2008-08-18 2010-02-25 Brown University Surround structured lighting for recovering 3d object shape and appearance
CN102564348A (zh) * 2012-01-03 2012-07-11 四川大学 条纹反射三维测量的***几何标定方法
CN106556356A (zh) * 2016-12-07 2017-04-05 西安知象光电科技有限公司 一种多角度三维轮廓测量***及测量方法
CN107230231A (zh) * 2017-04-14 2017-10-03 浙江工业大学 聚光镜面质量检测中相机与目标靶的位置标定方法
CN107121109A (zh) * 2017-06-12 2017-09-01 北京航空航天大学 一种基于前镀膜平面镜的结构光参数标定装置及方法
CN107401976A (zh) * 2017-06-14 2017-11-28 昆明理工大学 一种基于单目相机的大尺寸视觉测量***及其标定方法
CN108830906A (zh) * 2018-05-31 2018-11-16 福州大学 一种基于虚拟双目视觉原理的摄像机参数自动标定方法
CN109978960A (zh) * 2019-04-01 2019-07-05 易思维(杭州)科技有限公司 基于摄影测量的高精度屏幕-相机位姿标定方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
Exploiting Mirrors in Interactive Reconstruction with Structured Light;Emric Epstein等;《VMV2004》;20041118;全文 *
Mirror-assisted panoramic-digital image correlation for full-surface 360-deg deformation measurement;Bin Chen等;《measurement》;20180917;全文 *
Planar mirrors for image-based robot localization and 3-D reconstruction;Gian Luca Mariottini等;《Mechatronics》;20110630;全文 *
一种新的360°三维测量***及标定技术;吴庆阳等;《中国激光》;20170430;全文 *
基于镜面成像技术的三维立体视觉测量与重构综述;郭伟青等;《计算机科学》;20160930;全文 *
用于三维重构的相机标定算法;李玮等;《东华大学学报(自然科学版)》;20120831;全文 *

Also Published As

Publication number Publication date
CN110672039A (zh) 2020-01-10

Similar Documents

Publication Publication Date Title
CN110672039B (zh) 一种基于平面反射镜的物体全方位三维测量方法
CN110514143B (zh) 一种基于反射镜的条纹投影***标定方法
CN110288642B (zh) 基于相机阵列的三维物体快速重建方法
CN111242990B (zh) 基于连续相位稠密匹配的360°三维重建优化方法
US8773508B2 (en) 3D imaging system
CN111754573B (zh) 一种扫描方法及***
CN110595387B (zh) 一种基于多频率结构光的三维重建***标定方法
CN102364299A (zh) 一种多个结构光投影三维型面测量头的标定技术
Nguyen et al. Accuracy assessment of fringe projection profilometry and digital image correlation techniques for three-dimensional shape measurements
Guehring Reliable 3D surface acquisition, registration and validation using statistical error models
CN111536905B (zh) 一种基于参考图像的单目光栅结构光视觉测量方法及***
CN110940295A (zh) 基于激光散斑极限约束投影的高反射物体测量方法及***
Cai et al. Calibration method for the rotating axis in panoramic 3D shape measurement based on a turntable
CN116295113A (zh) 一种融合条纹投影的偏振三维成像方法
Shaheen et al. Characterisation of a multi-view fringe projection system based on the stereo matching of rectified phase maps
Ha et al. A multi-view structured-light system for highly accurate 3D modeling
CN116242277A (zh) 基于全场三维视觉的电源机箱结构件尺寸自动测量方法
d'Angelo et al. Image-based 3D surface reconstruction by combination of photometric, geometric, and real-aperture methods
Berssenbrügge et al. Characterization of the 3D resolution of topometric sensors based on fringe and speckle pattern projection by a 3D transfer function
Song et al. Nonstructured light-based sensing for 3D reconstruction
Jin et al. Shadow-Based Lightsource Localization with Direct Camera-Lightsource Geometry
Lu et al. Parallax correction of texture image in fringe projection profilometry
Luhmann et al. Comparison and verification of optical 3-d surface measurement systems
CN112212805B (zh) 一种基于复合编码的高效立体相位展开方法
CN111102938B (zh) 一种物体三维形貌测量方法、***和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Zuo Chao

Inventor after: Zhang Liang

Inventor after: Yang Chen

Inventor after: Li Jiachao

Inventor after: Xu Hao

Inventor after: Yin Wei

Inventor after: Chen Qian

Inventor after: Feng Shijie

Inventor after: Sun Jiasong

Inventor after: Tao Tianyang

Inventor after: Hu Yan

Inventor after: Qian Jiaming

Inventor before: Xu Hao

Inventor before: Zhang Liang

Inventor before: Yang Chen

Inventor before: Li Jiachao

Inventor before: Zuo Chao

Inventor before: Yin Wei

Inventor before: Chen Qian

Inventor before: Feng Shijie

Inventor before: Sun Jiasong

Inventor before: Tao Tianyang

Inventor before: Hu Yan

Inventor before: Qian Jiaming

CB03 Change of inventor or designer information
GR01 Patent grant
GR01 Patent grant