CN111750805B - 一种基于双目相机成像和结构光技术的三维测量装置及测量方法 - Google Patents

一种基于双目相机成像和结构光技术的三维测量装置及测量方法 Download PDF

Info

Publication number
CN111750805B
CN111750805B CN202010641003.9A CN202010641003A CN111750805B CN 111750805 B CN111750805 B CN 111750805B CN 202010641003 A CN202010641003 A CN 202010641003A CN 111750805 B CN111750805 B CN 111750805B
Authority
CN
China
Prior art keywords
point cloud
camera
dimensional
phase
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010641003.9A
Other languages
English (en)
Other versions
CN111750805A (zh
Inventor
胡天亮
刘忠强
李学兵
何剑汇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN202010641003.9A priority Critical patent/CN111750805B/zh
Publication of CN111750805A publication Critical patent/CN111750805A/zh
Application granted granted Critical
Publication of CN111750805B publication Critical patent/CN111750805B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/254Projection of a pattern, viewing through a pattern, e.g. moiré
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及一种基于双目相机成像和结构光技术的三维测量装置及测量方法,属于非接触测量领域,包括升降装置、自动转台、三维扫描仪和控制***;三维扫描仪设置在升降装置上且能够沿升降装置上下运动,三维扫描仪上设置有一个投影仪和两个相机,投影仪和相机均面向自动转台设置,相机采用变焦相机;控制***与升降装置、自动转台、三维扫描仪的动力装置分别连接。本发明的三维测量装置和方法能够完成多位置多位姿测量的点云实时拼接,实现自动化三维测量,配合变焦相机使用,改变焦距后,无需重新标定,提高工作效率和测量精度;同时提出了一种新的基于本发明装置的转台拼接方法,只需标定一次,便可实现多个视角拼接,提高了拼接的精度和效率。

Description

一种基于双目相机成像和结构光技术的三维测量装置及测量 方法
技术领域
本发明涉及一种基于双目相机成像和结构光技术的三维测量装置及测量方法,具体的说是一种对机械零部件和一般工业产品进行扫描,从而重建出扫描对象的三维模型,进而对其加工质量进行检测或者用于指导其后的加工工序的光学三维测量装置及方法,属于非接触测量技术领域。
背景技术
三维测量技术可以获得目标物的三维信息,然后以所获得的信息为条件,完成对待测物的具体测量要求。传统接触式测量工具存在许多不足,难以适应日益发展的需要,如三坐标测量仪,测量时会划伤工件;同时点接触测量的方式,效率也比较低下,亟需一种高效、非接触的测量方法。
二十一世纪以来,随着计算机与现代生产工艺的飞速发展,依靠光学知识和计算机技术的非接触视觉测量方式获得了迅速发展。非接触视觉测量方式可以分为二维视觉测量技术和三维视觉测量技术。二维视觉测量技术只能获得被测量对象的二维轮廓,无法获得被测量对象的三维信息,在表面粗糙度测量、物体体积测量、形位公差测量等方面的需求依然难以得到满足。在此需求作为驱动力的前提下,三维视觉测量技术诞生了,三维视觉测量技术可以重建出被测量对象的完整形貌,进而满足所有测量要求。所以非接触式三维视觉测量技术在缺陷检测,尺寸测量,位姿判断,逆向工程等多领域得到广泛应用。
然而由于三维视觉测量相比二维视觉测量过程较为复杂,三维视觉测量需要在不同位置以不同位姿进行多次测量并对每次的测量结果进行拼接拟合以得到最终的三维模型,目前,多位置多位姿的重建测量主要依靠在被测量对象表面粘贴标志点,严重影响重建效率和精度,因此亟需一种能够完成多位置多位姿测量实时拟合任务的自动化测量设备,以解决三维测量效率和精度低下的问题。另外,目前使用的相机是定焦的,存在两个缺点:(1)在对大尺寸工件测量时,在定值焦距下难以拍摄得到物体全貌;(2)在对物体进行三维重建时,需要对被测量对象边缘或被测量对象精度要求较高的区域进行近距离的重新扫描重建,以提高精度,但是定焦相机在改变成像距离后图片变得模糊,严重影响重建精度。因此需要一种使用变焦相机的三维视觉测量设备和方法。
发明内容
针对现有技术的不足,本发明提供一种基于双目相机成像和结构光技术的三维测量装置及测量方法,该三维测量装置能够完成多位置多位姿测量的点云实时拼接,实现自动化三维测量,配合变焦相机使用,改变焦距后,无需重新标定,提高工作效率和测量精度。
术语解释:
点云误差:实际工件设计模型和由重建出的工件的点云之间的尺寸和形状的差值。
本发明采用以下技术方案:
一种基于双目相机成像和结构光技术的三维测量装置,包括升降装置、自动转台、三维扫描仪和控制***,所述升降装置竖直方向设置,自动转台设置在升降装置一侧的水平面上且能够在水平面内旋转;
所述三维扫描仪设置在升降装置上且能够沿升降装置上下运动,三维扫描仪上设置有一个投影仪和两个相机,投影仪和相机均面向自动转台设置,相机采用变焦相机;
所述控制***与升降装置、自动转台、三维扫描仪的动力装置分别连接。
本发明的三维测量装置分别在升降装置、三维扫描仪和自动转台各部分具有一个自由度,共有三个自由度,三者相互配合共同完成测量工作。
优选的,所述自动转台包括转台本体、箱体、YRT转台轴承、蜗杆、涡轮、角接触轴承、联轴器A和伺服电机A,所述伺服电机A通过联轴器A与蜗杆连接,带动蜗杆转动,蜗杆与涡轮啮合安装从而带动涡轮的转动,所述涡轮放置在YRT转台轴承上,并与转台本体相连,最终带动转台本体的转动,所述伺服电机A与控制***连接。
本发明的自动转台使用伺服电机配合涡轮蜗杆减速可以提供大扭矩,支持大质量、大尺寸工件的测量,同时,本发明使用转台拼接来拼接多个视角的点云数据,避免粘贴标志点,提高效率和精度。
优选的,所述三维扫描仪包括伺服电机B、连接平台、轴承座A、传动轴、连接体、云台、轴承座B和支撑平台A,所述伺服电机B通过电机座A固定在连接平台上,并通过联轴器B与传动轴连接,传动轴通过轴承座A和轴承座B固定于连接平台上,传动轴通过键和连接体与云台相连,云台与支撑平台A连接,变焦相机和投影仪固定在支撑平台A上,伺服电机B与控制***连接;
本发明的三维扫描仪使用伺服电机B连接联轴器B带动传动轴来调整相机、投影仪的俯仰角度,使用云台来调整相机投影仪***的左右摆动,使用相机底部螺丝来调整两相机的夹角及成像视角,调整后可拧紧螺丝固定,三维扫描仪可按照图1中虚线旋转,不仅整体结构简单,操作方便,成本低,而且在保证了双目***的精度的前提下,也满足***多视角,多尺寸,多方位的测量需求。
所述三维扫描仪中的相机的位置和角度可以手动调整,云台也可以手动调整,以达到最佳测量效果,一经调整完毕,在整个测量过程中便不可以再动。
优选的,变焦相机的型号为DFK Z12G445或MV-VEM200SM。
优选的,所述升降装置包括伺服电机C、电机座B、联轴器C、轴承座C、丝杠、导轨、支撑平台B、滑块、丝杠螺母副和轴承座D,所述伺服电机C通过电机座B固定在支撑平台B上,并通过联轴器C连接丝杠,所述丝杠通过轴承座C和轴承座D固定于支撑平台B上,所述丝杠螺母副与丝杠配合,伺服电机C的转动带动丝杠螺母副在丝杠上移动;
所述导轨包括互相平行的两条,每条导轨上均设置有与导轨相配合的滑块,滑块与丝杠螺母副固定连接,所述三维扫描仪的连接平台固定设置在滑块上;
所述伺服电机C与控制***连接。
采用升降装置不仅可以用于对小尺寸工件的测量,而且对于大尺寸工件,可以由升降导轨带动扫描***移动,分段扫描,对扫描结果进行拼接,得到完整工件尺寸,扩大了该装置的应用范围。
本发明的升降装置是配合变焦相机使用的,为了获得不同焦距下的视场,比如在大焦距下扫描获得人体面部轮廓点云,为了得到提高精度,为了得到鼻子的局部点云,需要调整焦距,减小焦距,但是如果只改变焦距可能使得焦距处于极限焦距之外,还需要升升降装置配合以到达合适景深,从而获得最佳焦距。
三维测量装置在控制***的控制下动作,对于一种指定的工件,先人工进行三维测量,自动记下测量过程中所用到的位置和位姿,若最终确定所得结果符合测量要求,则后续的该种工件皆用这组位置位姿测量。测量过程中,通过改变三个自由度来获得不同的位置位姿,通过机器人进行上下料操作,通过传送带来运送工件。一经确定待测量工件,测量过程无人工干预,为全自动化测量。
本发明的控制***基于TwinCat实现,主要控制升降装置和自动转台伺服电机的运动,以及三维扫描仪的IO控制,根据具体的控制算法,控制三者协调工作完成扫描任务。
本发明装置的转台拼接方法,只需标定一次,便可实现多个视角拼接,提高了拼接的精度和效率。
一种上述基于双目相机成像和结构光技术的三维测量装置的测量方法,包括以下步骤:
S1:***初始标定,包括三维扫描仪标定和机械***标定,并将初始标定后的数据存储在参数模型中,参数模型包括相机参数模型和***参数模型;
S2:首先根据待测目标的形貌特征,人为设定三维测量时待测目标的位置位姿并记录,并通过人工操作重建点云模型进行检验,若重建出的点云模型完整,则满足测量要求,则纪录该位置位姿,若重建出的点云模型不完整,则重新人为设定待测目标的位置位姿继续测量,直到确定合适的位置位姿并记录,后续自动三维测量按照该确定好的合适的位置位姿来测量;
S3:机器人从传送带上夹取待测目标,并放置在自动转台的工作面上;
S4:根据S2确定的合适的位置位姿,控制***发送指令,使自动转台和升降装置依照S2选定的位姿依次动作,每一位姿下,均进行三维点云重建,获得单视角下的点云,每获得一次单视角下的点云,均与上一视角下的点云进行点云拼接,即实时拟合,直至获得S2中全部位姿的点云拼接模型,即为完整的待测目标三维模型;
S5:机器人从自动转台的工作面上夹取待测目标,再放置在传送带上,完成单个待测目标的三维测量,单个三维测量后,可根据需求对三维模型进行相应的操作处理,如可以通过最小二乘法拟合平面求取该平面的平面复杂度;通过法向量估计求出两个平面的法向量,并求取二者的垂直度;从三维模型中挖掘出一些尺寸信息、缺陷等,此部分不是本发明的重点,不再赘述;
S6:不断重复步骤S3~S5,对一批待测目标进行自动化测量。
每次得到的点云存在较多的噪声和孤立点,首先需要对点云进行预处理去除掉这些冗余点;后续进行点云配准,也就是我们说的拟合,即不同位置获得的点云有着不同的姿态,通过平移矩阵和旋转矩阵使二者姿态一致并重合,每获得一片点云就使其与已经拟合好的点云进行拟合,最终便得到了完整点云。
优选的,S3中,该批待测目标放置在自动转台的工作面时保持同一位置和位姿,三维测量装置每次均按照提前设定好的方式动作,实现一批待测目标的三维自动测量,当测量另外形貌的待测目标时,重复S2,重新进行人为设定,确定合适的位置位姿。
优选的,机械***标定有两个方面:A、三维重建时所使用的投影矩阵Q0;B、自动转台拼接时所使用的旋转基本角度θ和对应的旋转矩阵R和平移矩阵T;三维扫描仪标定是标定相机参数和焦距之间的映射关系。
优选的,所述S1进一步为:
(1)首先进行三维扫描仪标定:
S1.1、从升降装置的滑块位于导轨最上端开始,调整好相机视角,保证两相机的视野中重合区域尽量大(由于相机位置固定,在调整相机视角时两个相机视交的重合区域优选为最大),调整焦距使自动转台的工作面在左右相机中成像清晰,记录焦距值f0和f0’,在自动转台的工作面放置高精度圆点标定板,左右相机分别采集同一位置的图片,改变标定板的位置,左右相机再次分别采集该位置下的图片,重复采集15~20个位置的图片;
采集时保证两相机视野中的标定板成像完整清晰,对采集到的图片使用张氏标定法得到左右相机的内参K0,K0’、畸变参数d0,d0’和投影矩阵Q0(两个相机会有一个投影矩阵Q0),记录K0,K0’,d0,d0’,Q0,并重建出标定板的单视角的点云,测量得到点云中标定板上任意两个圆心之间的距离D,从而得到重建误差:△A=D0-D,记录△A,其中D0代表标定板上两个圆心的实际距离;
S1.2、使用升降装置每次移动一个(微小)距离△Z,重复步骤S1.1直至升降装置的滑块达到导轨的最下端,并将获得的K0,K0’,d0,d0’,Q0、△A数据存储在参数模型中;
优选的,在精度要求较高时,△Z取小于1cm,在精度要求不高时,△Z为1~5cm,本发明中只有在标定三维扫描仪时,才会按△Z移动工作台,在实际重建测量工件的过程中,是移动工作台到任意合适的位置,只要保证在此位置能够成像清晰,能够完整重建出工件就可以了,重建时不按△Z移动,所以△Z的大小不会影响重建效果和处理效率。
S1.3、利用得到的内参K0,K0’、畸变参数d0,d0’和对应的焦距(每一个焦距都会有相对应的内参、畸变参数和投影矩阵),采用多项式拟合来拟合参数和焦距的映射模型:H=g(f),H代表相应的相机参数(内参K0,K0’、畸变参数d0,d0’)和***参数(投影矩阵Q0和重建误差△A),g(f)表示焦距f和H的映射:
以畸变参数d为例,假设
d=a0+a1f+a2f2+…+anfn
该模型的关键是确定系数a0,a1,a2,…,an,根据S1.1得到焦距f和对应的畸变参数d,可得
Figure BDA0002571468050000061
用最小二乘法解出参数a0,a1,a2,…,an,从而得到畸变参数d和焦距f之间的映射模型:
d=a0+a1f+a2f2+…+anfn
只要输入对应的焦距值f,即可得到对应的畸变参数d,其他参数模型和重建误差模型的建立同理;
(2)进行自动转台标定:
S1.4、把三维扫描仪调整到位于升降导轨中间的位置,调整相机视野和焦距,使得自动转台的工作面成像清晰,而且两相机的公共视野尽量大,在自动转台的工作面放置高精度圆点标定板,左右相机分别采集同一位置的图片,改变标定板位置,左右相机再次分别采集该位置下的图,重复采集15-20个位置的图片(采集的时候保证两相机视野中标定板成像完整清晰),对采集到的图片使用张氏标定法得到左右相机的内参K0,K0’、畸变参数d0,d0’和投影矩阵Q0,记录K0,K0’,d0,d0’,Q0,并进行点云重建,重建出标定板的点云P1,使自动转台转过一个基本角度θ,重复上述步骤,得到点云P2
S1.5、提取得到的两片点云的圆心坐标分别为
Figure BDA0002571468050000062
Figure BDA0002571468050000063
S1.6、设两片点云上某一点分别为M1和M2,由刚体变换,两点的转换关系为:M2=M1R+T,式中R和T分别表示旋转矩阵和平移矩阵,设B=[R,T],则
Figure BDA0002571468050000064
带入由S1.5得到的圆心坐标,并使用最小二乘法解得B矩阵,从而得到R和T,自动转台标定结束。
优选的,S4具体为:
a、在***标定后,获得两个参数模型,分别为相机参数模型和***参数模型;
b、根据参数模型获取相机参数和***参数在初始位姿下,获得单视角下的点云:
c、获取某一视角下的掩膜图片和光栅图片,进行掩膜、极线矫正等图像预处理操作,解相位获取左右相机的绝对相位图;
d、对左右相机的绝对相位图使用AD-CENSUS算法进行匹配,使用三角原理重建得到单视角的点云;
e、对重建出的点云进行滤波等点云处理;
f、滤波后的点云与上一片点云使用转台拼接原理进行拼接,保存点云数据,并判断是否可以重建出完整物体点云,若否,则根据S2已确定的位姿,自动转台转动到下一位姿,继续步骤c、d、e、f;
若是,即可以重建出完整物体点云,则进行步骤g;
g、判断是否改变焦距,若是,则升降装置运动,带动三维扫描仪移动,相机自动变焦使得成像清晰,输入变焦后的焦距值到相机参数模型中,重复步骤b、c、d、e、f,获得局部点云;
若否,则转到步骤h;
h、将重建的局部点云与完整物体点云进行点云融合,获得最终的三维点云模型;
i、对最终的三维点云模型进行三维测量,可将得到的三维点云模型和CAD模型进行比较,得到一批工件的缺陷,完成测量。
本发明使用了变焦相机,可以提高测量精度。对一个零件进行扫描时,可以使用大视场先获得工件的整体轮廓点云;然后对于精度要求高的区域或工件的边缘区域,可以调整焦距,使用小视场进行重建,得到质量更高的局部点云,最后把两片点云融合到一起,提高重建精度。
本发明中,点云拼接是拼接多个视角的点云,从而得到一个完整的三维模型,点云融合是在重建出完整的三维模型后,改变焦距对局部特征进行重建,将整体和局部的点云进行拼接融合。
步骤g中,如果局部有缺陷或在局部的精度要求更高,则需要改变焦距,否则如果没有缺陷或局部要求不是很高则不需要改变焦距,如一个工件,发现其边缘有缺陷,这时候需要在重建出这个工件之完整模型S后,对该边缘改变焦距后重建出边缘的点云S1,需要把S1融合S中。
优选的,S4中获得单视角下的点云的具体步骤为:
S4.1、光栅投射:投影仪投射一定频率的正弦光栅图像,两个相机捕获图像,获得掩膜图片和光栅图片,并进行掩膜、极线矫正等预处理;
每次投射光栅图片前,采集自然光照射的图片N和投射白光的图片W,并用图像相减W-N制作掩膜图片mask来进行掩膜处理;极线矫正为现有技术,使用相机畸变参数和基本矩阵进行图片重映射,从而达到极线矫正使左右图像的匹配点在极线上。
投影仪投射如下正弦光栅图片:
I1(x,y)=I′(x,y)+I″(x,y)sin((2π*x)/T)
I2(x,y)=I′(x,y)+I″(x,y)sin((2π*x)/T+π/2)
I3(x,y)=I′(x,y)+I″(x,y)sin((2π*x)/T+π)
I4(x,y)=I′(x,y)+I″(x,y)sin((2π*x)/T+3π/2)
I1(x,y)表示周期为T且初始相位为0的投影仪投射的图片在(x,y)坐标的像素值;
I2(x,y)表示周期为T且初始相位为π/2的投影仪投射的图片在(x,y)坐标的像素值;
I3(x,y)表示周期为T且初始相位为π的投影仪投射的图片在(x,y)坐标的像素值;
I4(x,y)表示周期为T且初始相位为3π/2的投影仪投射的图片在(x,y)坐标的像素值;
I′(x,y)表示环境光强,I″(x,y)表示投射光强振幅,I″(x,y)表示投射光强振幅,T表示正弦周期;
采用多频外差法相位展开投射3个周期的共12张光栅图。
本发明可通过编程获得离散的条纹光,通过编程产生的离散的条纹光来代替连续的条纹光,与传统通过纯光学原理得到光栅相比,其优点为:如果需要改变条纹光的频率相位等特性,无需调整硬件设备,只需改变程序即可。
投射的是结构光条纹图片,具体的说是单通道的灰度图,每一幅图片是由一个一个的像素点组成的,投射的图片的像素点数根据使用的投影仪分辨率的不同而改变。如:投影仪的分辨率是1280×1024,则相应的产生的结构光条纹图片的尺寸也为1280×1024,即在图片x方向有1280个像素点,在图片y方向有1024个像素点,则在像素点(x,y)的像素值为:
Figure BDA0002571468050000081
其中i取1,2,3,4,Ii(x,y)分别对应S4.1中的I1(x,y)、I2(x,y)、I3(x,y)、I4(x,y);
给出该式中θ分别为0,π别2,π,3别22,I′(x,y),I″(x,y)等的数值是常数,可根据情况自己设定,本发明可分别取为127,127;T为周期,取70,73,77。
S4.2、解主值相位:
正弦投影图是S4.1投射的光栅图片到被测物体上,然后使用相机采集图片获得,并对采集得到的图片使用公式(1)来解相位;
根据四步相移法采用公式(1)由正弦投影图求得非连续的相位图:
Figure BDA0002571468050000091
其中,φ表示解出的相位值,I1 c,I2 c,I3 c,I4 c表示投影仪投到物体表面反射后相机采集到的图片,与S4.1的I1,I2,I3,I4相区别。
S4.3、相位展开:
由公式(1)tan-1解出的相位φ在-π到π之间,导致在整张相位图内相位值是以-π到π为一个周期重复,为使得相位值在全场范围内唯一,需要进行相位展开;
采用多频外差法由非连续的相位图求得连续的相位图,多频外差为现有技术,可参考文献:刘飞,李佳鑫,赖俊霖,何春桥.(2019).基于多频外差的全频解相方法.激光与光电子学进展,56(1),165-172。
S4.4、视差匹配:
经过相位展开,得到两张分别为左右相机的连续的相位图L和R,使用AD-CENSUS视差匹配算法获得相位图L和R的匹配视差。
本发明中,AD-CENSUS算法为现有算法,具体来讲可分为:先进行代价计算、代价聚合、多扫描线优化、多步视差优化等,多步视差优化包括:异常值检测、迭代区域选择、插值、不连续区域调整、亚像素增强。
视差匹配可参考:Mei,X.,et al.On building an accurate stereo matchingsystem on graphics hardware.2011:IEEE.
S4.5、点云重建:
根据S4.4得到的视差图和步骤S1得到的投影矩阵Q0使用三角测量原理得到三维点云,具体过程如下:
三角原理参见图6,一点P在左右相机成像面上成像点为P’和P”,由三角形相似的知识得,
Figure BDA0002571468050000092
可得P点的三维坐标为:
Figure BDA0002571468050000101
从而得到物体的点云,其中视差d=xl-xr,可由视差图得到,b为两基线之间的距离,可由投影矩阵Q0得到;
其中,xl表示P点在左相机照片上的水平像素坐标,xr表示P点在右相机照片上的水平像素坐标,f表示当前焦距,yl表示在左相机上的竖直像素坐标。
然后,对点云进行滤波等处理。
进一步优选的,S4中点云拼接过程为:
使用预先标定自动转台的基础角度θ和拼接时相应的旋转矩阵R和平移矩阵T之间的关系,该关系是:P1点转过θ角后为P2点,二者关系为:P2=P1R+T;P1点转过2θ后为P3点,二者关系为:P3=(P1R+T)R+T;…,P1转过Nθ后为PN,二者的关系为:PN=P1RN+TRN-1+TRN-2+…+TR+T,在使用自动转台改变测量物***姿时,自动转台转过的角度都是基础角度的整数倍,从而使得两片点云之间的坐标可以通过上述公式得到,从而实现点云的拼接。
本发明采用面结构光技术,在一次投射一系列的图片(如12张),对采集的图片序列进行相位计算从而重建出点云文件,不需要辅助装置,不像线结构光投射线激光,需要直线运动装置带着线激光器移动才能完成整个工件的扫描重建。
本发明未详尽之处,均可采用现有技术进行。
本发明的方法可用于改变相机焦距后的相机参数的自动拟合和误差的自动补偿。该补偿方法可以补偿相机焦距改变造成的误差和相机位置改变由机械结构造成的误差,提高测量精度;同时,在进行该方法的过程后,每一次改变相机位置和改变相机焦距之后,不需要重新标定,相应的参数和补偿值可以通过拟合方法得到,提高了***的效率。
该方法在***初始化的使用,使用一次便不必重新使用。初始化时得到的参数由神经网络进行拟合得到相机参数、***参数、焦距的映射模型,以后每次使用该设备并不需要重新标定,只需输入焦距就可以根据映射关系得到相机参数和***参数。
本发明主要应用在对批次工件的抽检中,本发明三维测量装置可实现自动化测量,在工作效率和精度上得到大大提升。
本发明的有益效果为:
1)本发明搭配外购的机器人和传送带使用,利用传送带运送工件,机器人辅助上下料,测量设备自动测量,适用于批量多种类的流水线测量。相对于传统的人工测量,本发明将测量过程自动化,大大提高了生产效率。相对于将扫描仪放在机器人上的解决方案,本发明利用伺服驱动的解决方案则大大减少了设备成本,控制相对简单易上手,有利于三维测量技术的普及。
2)本发明测量***及其测量方法,利用伺服***的空间数据来辅助数据拟合。传统方法在工件上贴标志点,以确定多次测量之间的空间关系,从而对多次测量数据进行拟合,或者手工在获得的多次测量数据上标点,大致确定多次测量之间的空间关系,对其进行拟合。但这两种方式都需要人工参与,生产效率较低。本发明可以利用伺服***的空间数据获得多次测量之间的空间关系,从而在测量过程中进行实时拟合。
3)本发明测量***及其测量方法,在***初始化时,先在空间中的不同位置进行多次标定,通过神经网络来拟合相机参数、***参数、焦距的映射关系。在测量过程中,在不同位置测量时仅用事先在该位置标定所得的映射模型来拟合相机参数和***参数,可以提高测量精度和测量效率。传统三维测量在改变相机焦距和相机位置之后,需要重新标定,操作繁琐,效率低。
4)本发明可用于基于结构光的三维立体建模,对于某些复杂曲面物体,可以通过本发明重建,得到曲面特征,然后用于形貌公差测量、力学分析、结构分析或实体加工等。
附图说明
图1为本发明的基于双目相机成像和结构光技术的三维测量装置的整体结构示意图;
图2为自动转台的结构示意图;
图3为三维扫描仪的结构示意图;
图4为升降导轨的结构示意图;
图5为本发明某一实施例的S4的测量方法流程图;
图6为本发明使用三角测量原理得到三维点云的示意图;
其中:1-升降装置,2-自动转台,3-三维扫描仪,4-转台本体,5-箱体,6-YRT转台轴承,7-蜗杆,8-涡轮,9-角接触轴承,10-联轴器A,11-伺服电机A,12-伺服电机B,13-电机座A,14-联轴器B,15-轴承座A,16-传动轴,17-连接体,18-云台,19-轴承座B,20-投影仪,21-支撑平台A,22-相机,23-伺服电机C,24-电机座B,25-联轴器C,26-轴承座C,27-丝杠,28-导轨,29-支撑平台B,30-滑块,31-丝杠螺母副,32-轴承座D,33-连接平台。
具体实施方式:
为使本发明要解决的技术问题、技术方案和优点更加清楚,下面将结合附图及具体实施例进行详细描述,但不仅限于此,本发明未详尽说明的,均按本领域常规技术。
实施例1:
一种基于双目相机成像和结构光技术的三维测量装置,如图1~6所示,包括升降装置1、自动转台2、三维扫描仪3和控制***,升降装置1竖直方向设置,自动转台2设置在升降装置1一侧的水平面上且能够在水平面内旋转;
三维扫描仪3设置在升降装置1上且能够沿升降装置1上下运动,三维扫描仪3上设置有一个投影仪20和两个相机22,投影仪20和相机22均面向自动转台设置,两个相机22均采用变焦相机;
控制***与升降装置1、自动转台2、三维扫描仪3的动力装置分别连接。
本发明的三维测量装置分别在升降装置、三维扫描仪和自动转台各部分具有一个自由度,共有三个自由度,三者相互配合共同完成测量工作。
实施例2:
一种基于双目相机成像和结构光技术的三维测量装置,如实施例1所示,所不同的是,如图2所示,自动转台3包括转台本体4、箱体5、YRT转台轴承6、蜗杆7、涡轮8、角接触轴承9、联轴器A10和伺服电机A 11,伺服电机A11通过联轴器A 10与蜗杆7连接,带动蜗杆7转动,蜗杆7与涡轮8啮合安装从而带动涡轮8的转动,涡轮8放置在YRT转台轴承6上,并与转台本体4相连,最终带动转台本体4的转动,伺服电机A 11与控制***连接。
本发明的自动转台使用伺服电机配合涡轮蜗杆减速可以提供大扭矩,支持大质量、大尺寸工件的测量,同时,本发明使用转台拼接来拼接多个视角的点云数据,避免粘贴标志点,提高效率和精度。
实施例3:
一种基于双目相机成像和结构光技术的三维测量装置,如实施例2所示,所不同的是,如图3所示,三维扫描仪2包括伺服电机B 12、连接平台33、轴承座A 15、传动轴16、连接体17、云台18、轴承座B 19和支撑平台A 21,伺服电机B 12通过电机座A 13固定在连接平台33上,并通过联轴器B 14与传动轴16连接,传动轴16通过轴承座A 15和轴承座B 19固定于连接平台33上,传动轴16通过键和连接体17与云台18相连,云台18与支撑平台A 21连接,变焦相机和投影仪20固定在支撑平台A 21上,伺服电机B 12与控制***连接;
本发明的三维扫描仪使用伺服电机B 12连接联轴器B 12带动传动轴来调整相机、投影仪的俯仰角度,使用云台来调整相机投影仪***的左右摆动,使用相机底部螺丝(图中未画出)来调整两相机的夹角及成像视角,调整后可拧紧螺丝固定,三维扫描仪可按照图1中虚线旋转,不仅整体结构简单,操作方便,成本低,而且在保证了双目***的精度的前提下,也满足***多视角,多尺寸,多方位的测量需求。
三维扫描仪中的相机的位置和角度可以手动调整,云台也可以手动调整,以达到最佳测量效果,一经调整完毕,在整个测量过程中便不可以再动。
变焦相机的型号为DFK Z12G445。
实施例4:
一种基于双目相机成像和结构光技术的三维测量装置,如实施例3所示,所不同的是,如图4所示,升降装置包括伺服电机C 23、电机座B 24、联轴器C 25、轴承座C 26、丝杠27、导轨28、支撑平台B 29、滑块30、丝杠螺母副31和轴承座D 32,伺服电机C 23通过电机座B 24固定在支撑平台B 29上,并通过联轴器C 25连接丝杠27,丝杠27通过轴承座C 26和轴承座D 32固定于支撑平台B 29上,丝杠螺母副31与丝杠27配合,伺服电机C 23的转动带动丝杠螺母副31在丝杠27上移动;
导轨28包括互相平行的两条,每条导轨上均设置有与导轨相配合的滑块30,滑块30与丝杠螺母副31固定连接,三维扫描仪的连接平台33固定设置在滑块30上;
伺服电机C 23与控制***连接。
采用升降装置不仅可以用于对小尺寸工件的测量,而且对于大尺寸工件,可以由升降导轨带动扫描***移动,分段扫描,对扫描结果进行拼接,得到完整工件尺寸,扩大了该装置的应用范围。
本发明的升降装置是配合变焦相机使用的,为了获得不同焦距下的视场,比如在大焦距下扫描获得人体面部轮廓点云,为了得到提高精度,为了得到鼻子的局部点云,需要调整焦距,减小焦距,但是如果只改变焦距可能使得焦距处于极限焦距之外,还需要升升降装置配合以到达合适景深,从而获得最佳焦距。
三维测量装置在控制***的控制下动作,对于一种指定的工件,先人工进行三维测量,自动记下测量过程中所用到的位置和位姿,若最终确定所得结果符合测量要求,则后续的该种工件皆用这组位置位姿测量。测量过程中,通过改变三个自由度来获得不同的位置位姿,通过机器人进行上下料操作,通过传送带来运送工件。一经确定待测量工件,测量过程无人工干预,为全自动化测量。
本发明的控制***基于TwinCat实现,主要控制升降装置和自动转台伺服电机的运动,以及三维扫描仪的IO控制,根据具体的控制算法,控制三者协调工作完成扫描任务。
实施例5:
一种基于双目相机成像和结构光技术的三维测量装置的测量方法,包括以下步骤:
S1:***初始标定,包括三维扫描仪标定和机械***标定,并将初始标定后的数据存储在参数模型中,参数模型包括相机参数模型和***参数模型;
S2:首先根据待测目标的形貌特征,人为设定三维测量时待测目标的位置位姿并记录,并通过人工操作重建点云模型进行检验,若重建出的点云模型完整,则满足测量要求,则纪录该位置位姿,若重建出的点云模型不完整,则重新人为设定待测目标的位置位姿继续测量,直到确定合适的位置位姿并记录,后续自动三维测量按照该确定好的合适的位置位姿来测量;
S3:机器人从传送带上夹取待测目标,并放置在自动转台的工作面上;
S4:根据S2确定的合适的位置位姿,控制***发送指令,使自动转台和升降装置依照S2选定的位姿依次动作,每一位姿下,均进行三维点云重建,获得单视角下的点云,每获得一次单视角下的点云,均与上一视角下的点云进行点云拼接,即实时拟合,直至获得S2中全部位姿的点云拼接模型,即为完整的待测目标三维模型;
S5:机器人从自动转台的工作面上夹取待测目标,再放置在传送带上,完成单个待测目标的三维测量,单个三维测量后,可根据需求对三维模型进行相应的操作处理,如可以通过最小二乘法拟合平面求取该平面的平面复杂度;通过法向量估计求出两个平面的法向量,并求取二者的垂直度;从三维模型中挖掘出一些尺寸信息、缺陷等,此部分不是本发明的重点,不再赘述;
S6:不断重复步骤S3~S5,对一批待测目标进行自动化测量。
每次得到的点云存在较多的噪声和孤立点,首先需要对点云进行预处理去除掉这些冗余点;后续进行点云配准,也就是我们说的拟合,即不同位置获得的点云有着不同的姿态,通过平移矩阵和旋转矩阵使二者姿态一致并重合,每获得一片点云就使其与已经拟合好的点云进行拟合,最终便得到了完整点云。
实施例6:
一种基于双目相机成像和结构光技术的三维测量装置的测量方法,如实施例5所示,所不同的是,S3中,该批待测目标放置在自动转台的工作面时保持同一位置和位姿,三维测量装置每次均按照提前设定好的方式动作,实现一批待测目标的三维自动测量,当测量另外形貌的待测目标时,重复S2,重新进行人为设定,确定合适的位置位姿。
实施例7:
一种基于双目相机成像和结构光技术的三维测量装置的测量方法,如实施例6所示,所不同的是,S1进一步为:
(1)首先进行三维扫描仪标定:
S1.1、从升降装置的滑块位于导轨最上端开始,调整好相机视角,保证两相机的视野中重合区域尽量大(由于相机位置固定,在调整相机视角时两个相机视交的重合区域优选为最大),调整焦距使自动转台的工作面在左右相机中成像清晰,记录焦距值f0和f0’,在自动转台的工作面放置高精度圆点标定板,左右相机分别采集同一位置的图片,改变标定板的位置,左右相机再次分别采集该位置下的图片,重复采集15~20个位置的图片;
采集时保证两相机视野中的标定板成像完整清晰,对采集到的图片使用张氏标定法得到左右相机的内参K0,K0’、畸变参数d0,d0’和投影矩阵Q0(两个相机会有一个投影矩阵Q0),记录K0,K0’,d0,d0’,Q0,并重建出标定板的单视角的点云,测量得到点云中标定板上任意两个圆心之间的距离D,从而得到重建误差:△A=D0-D,记录△A,其中D0代表标定板上两个圆心的实际距离;
S1.2、使用升降装置每次移动一个(微小)距离△Z,重复步骤S1.1直至升降装置的滑块达到导轨的最下端,并将获得的K0,K0’,d0,d0’,Q0、△A数据存储在参数模型中;
优选的,在精度要求较高时,△Z取小于1cm,在精度要求不高时,△Z为1~5cm,本发明中只有在标定三维扫描仪时,才会按△Z移动工作台,在实际重建测量工件的过程中,是移动工作台到任意合适的位置,只要保证在此位置能够成像清晰,能够完整重建出工件就可以了,重建时不按△Z移动,所以△Z的大小不会影响重建效果和处理效率。
S1.3、利用得到的内参K0,K0’、畸变参数d0,d0’和对应的焦距(每一个焦距都会有相对应的内参、畸变参数和投影矩阵),采用多项式拟合来拟合参数和焦距的映射模型:H=g(f),H代表相应的相机参数(内参K0,K0’、畸变参数d0,d0’)和***参数(投影矩阵Q0和重建误差△A),g(f)表示焦距f和H的映射:
以畸变参数d为例,假设
d=a0+a1f+a2f2+…+anfn
该模型的关键是确定系数a0,a1,a2,…,an,根据S1.1得到焦距f和对应的畸变参数d,可得
Figure BDA0002571468050000161
用最小二乘法解出参数a0,a1,a2,…,an,从而得到畸变参数d和焦距f之间的映射模型:
d=a0+a1f+a2f2+…+anfn
只要输入对应的焦距值f,即可得到对应的畸变参数d,其他参数模型和重建误差模型的建立同理;
(2)进行自动转台标定:
S1.4、把三维扫描仪调整到位于升降导轨中间的位置,调整相机视野和焦距,使得自动转台的工作面成像清晰,而且两相机的公共视野尽量大,在自动转台的工作面放置高精度圆点标定板,左右相机分别采集同一位置的图片,改变标定板位置,左右相机再次分别采集该位置下的图,重复采集15-20个位置的图片(采集的时候保证两相机视野中标定板成像完整清晰),对采集到的图片使用张氏标定法得到左右相机的内参K0,K0’、畸变参数d0,d0’和投影矩阵Q0,记录K0,K0’,d0,d0’,Q0,并进行点云重建,重建出标定板的点云P1,使自动转台转过一个基本角度θ,重复上述步骤,得到点云P2
S1.5、提取得到的两片点云的圆心坐标分别为
Figure BDA0002571468050000162
Figure BDA0002571468050000163
S1.6、设两片点云上某一点分别为M1和M2,由刚体变换,两点的转换关系为:M2=M1R+T,式中R和T分别表示旋转矩阵和平移矩阵,设B=[R,T],则
Figure BDA0002571468050000164
带入由S1.5得到的圆心坐标,并使用最小二乘法解得B矩阵,从而得到R和T,自动转台标定结束。
实施例8:
一种基于双目相机成像和结构光技术的三维测量装置的测量方法,如实施例7所示,所不同的是,S4具体为:
a、在***标定后,获得两个参数模型,分别为相机参数模型和***参数模型;
b、根据参数模型获取相机参数和***参数在初始位姿下,获得单视角下的点云:
c、获取某一视角下的掩膜图片和光栅图片,进行掩膜、极线矫正等图像预处理操作,解相位获取左右相机的绝对相位图;
d、对左右相机的绝对相位图使用现有的AD-CENSUS算法进行匹配,使用三角原理重建得到单视角的点云;
e、对重建出的点云进行滤波等点云处理;
f、滤波后的点云与上一片点云使用转台拼接原理进行拼接,保存点云数据,并判断是否可以重建出完整物体点云,若否,则根据S2已确定的位姿,自动转台转动到下一位姿,继续步骤c、d、e、f;
若是,即可以重建出完整物体点云,则进行步骤g;
g、判断是否改变焦距,若是,则升降装置运动,带动三维扫描仪移动,相机自动变焦使得成像清晰,输入变焦后的焦距值到相机参数模型中,重复步骤b、c、d、e、f,获得局部点云;
若否,则转到步骤h;
h、将重建的局部点云与完整物体点云进行点云融合,获得最终的三维点云模型;
i、对最终的三维点云模型进行三维测量,可将得到的三维点云模型和CAD模型进行比较,得到一批工件的缺陷,完成测量。
本发明使用了变焦相机,可以提高测量精度。对一个零件进行扫描时,可以使用大视场先获得工件的整体轮廓点云;然后对于精度要求高的区域或工件的边缘区域,可以调整焦距,使用小视场进行重建,得到质量更高的局部点云,最后把两片点云融合到一起,提高重建精度。
本发明中,点云拼接是拼接多个视角的点云,从而得到一个完整的三维模型,点云融合是在重建出完整的三维模型后,改变焦距对局部特征进行重建,将整体和局部的点云进行拼接融合。
步骤g中,如果局部有缺陷或在局部的精度要求更高,则需要改变焦距,否则如果没有缺陷或局部要求不是很高则不需要改变焦距,如一个工件,发现其边缘有缺陷,这时候需要在重建出这个工件之完整模型S后,对该边缘改变焦距后重建出边缘的点云S1,需要把S1融合S中。
实施例9:
一种基于双目相机成像和结构光技术的三维测量装置的测量方法,如实施例8所示,所不同的是,S4中获得单视角下的点云的具体步骤为:
S4.1、光栅投射:投影仪投射一定频率的正弦光栅图像,两个相机捕获图像,获得掩膜图片和光栅图片,并进行掩膜、极线矫正等预处理;
每次投射光栅图片前,采集自然光照射的图片N和投射白光的图片W,并用图像相减W-N制作掩膜图片mask来进行掩膜处理;极线矫正为现有技术,使用相机畸变参数和基本矩阵进行图片重映射,从而达到极线矫正使左右图像的匹配点在极线上。
投影仪投射如下正弦光栅图片:
I1(x,y)=I′(x,y)+I″(x,y)sin((2π*x)/T)
I2(x,y)=I′(x,y)+I″(x,y)sin((2π*x)/T+π/2)
I3(x,y)=I′(x,y)+I″(x,y)sin((2π*x)/T+π)
I4(x,y)=I′(x,y)+I″(x,y)sin((2π*x)/T+3π/2)
I1(x,y)表示周期为T且初始相位为0的投影仪投射的图片在(x,y)坐标的像素值;
I2(x,y)表示周期为T且初始相位为π/2的投影仪投射的图片在(x,y)坐标的像素值;
I3(x,y)表示周期为T且初始相位为π的投影仪投射的图片在(x,y)坐标的像素值;
I4(x,y)表示周期为T且初始相位为3π/2的投影仪投射的图片在(x,y)坐标的像素值;
I′(x,y)表示环境光强,I″(x,y)表示投射光强振幅,I″(x,y)表示投射光强振幅,T表示正弦周期;
采用多频外差法相位展开投射3个周期的共12张光栅图。
本发明可通过编程获得离散的条纹光,通过编程产生的离散的条纹光来代替连续的条纹光,与传统通过纯光学原理得到光栅相比,其优点为:如果需要改变条纹光的频率相位等特性,无需调整硬件设备,只需改变程序即可。
S4.2、解主值相位:
正弦投影图是S4.1投射的光栅图片到被测物体上,然后使用相机采集图片获得,并对采集得到的图片使用公式(1)来解相位;
根据四步相移法采用公式(1)由正弦投影图求得非连续的相位图:
Figure BDA0002571468050000191
其中,φ表示解出的相位值,I1 c,I2 c,I3 c,I4 c表示投影仪投到物体表面反射后相机采集到的图片,与S4.1的I1,I2,I3,I4相区别。
S4.3、相位展开:
由公式(1)tan-1解出的相位φ在-π到π之间,导致在整张相位图内相位值是以-π到π为一个周期重复,为使得相位值在全场范围内唯一,需要进行相位展开;
采用多频外差法由非连续的相位图求得连续的相位图,多频外差为现有技术,可参考文献:刘飞,李佳鑫,赖俊霖,何春桥.(2019).基于多频外差的全频解相方法.激光与光电子学进展,56(1),165-172。
S4.4、视差匹配:
经过相位展开,得到两张分别为左右相机的连续的相位图L和R,使用AD-CENSUS视差匹配算法获得相位图L和R的匹配视差。
本发明中,AD-CENSUS算法为现有算法,具体来讲可分为:先进行代价计算、代价聚合、多扫描线优化、多步视差优化等,多步视差优化包括:异常值检测、迭代区域选择、插值、不连续区域调整、亚像素增强。
视差匹配可参考:Mei,X.,et al.On building an accurate stereo matchingsystem on graphics hardware.2011:IEEE.
S4.5、点云重建:
根据S4.4得到的视差图和步骤S1得到的投影矩阵Q0使用三角测量原理得到三维点云,具体过程如下:
三角原理参见图6,一点P在左右相机成像面上成像点为P’和P”,由三角形相似的知识得,
Figure BDA0002571468050000201
可得P点的三维坐标为:
Figure BDA0002571468050000202
从而得到物体的点云,其中视差d=xl-xr,可由视差图得到,b为两基线之间的距离,可由投影矩阵Q0得到;
其中,xl表示P点在左相机照片上的水平像素坐标,xr表示P点在右相机照片上的水平像素坐标,f表示当前焦距,yl表示在左相机上的竖直像素坐标。
实施例10:
一种基于双目相机成像和结构光技术的三维测量装置的测量方法,如实施例9所示,所不同的是,S4中点云拼接过程为:
使用预先标定自动转台的基础角度θ和拼接时相应的旋转矩阵R和平移矩阵T之间的关系,该关系是:P1点转过θ角后为P2点,二者关系为:P2=P1R+T;P1点转过2θ后为P3点,二者关系为:P3=(P1R+T)R+T;…,P1转过Nθ后为PN,二者的关系为:PN=P1RN+TRN-1+TRN-2+…+TR+T,在使用自动转台改变测量物***姿时,自动转台转过的角度都是基础角度的整数倍,从而使得两片点云之间的坐标可以通过上述公式得到,从而实现点云的拼接。
本发明采用面结构光技术,在一次投射一系列的图片(如12张),对采集的图片序列进行相位计算从而重建出点云文件,不需要辅助装置,不像线结构光投射线激光,需要直线运动装置带着线激光器移动才能完成整个工件的扫描重建。
以上所述是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明所述原理的前提下,还可以作出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (7)

1.一种基于双目相机成像和结构光技术的三维测量装置,其特征在于,包括升降装置、自动转台、三维扫描仪和控制***,所述升降装置竖直方向设置,自动转台设置在升降装置一侧的水平面上且能够在水平面内旋转;
所述三维扫描仪设置在升降装置上且能够沿升降装置上下运动,三维扫描仪上设置有一个投影仪和两个相机,投影仪和相机均面向自动转台设置,相机采用变焦相机;
所述控制***与升降装置、自动转台、三维扫描仪的动力装置分别连接;
基于双目相机成像和结构光技术的三维测量装置的测量方法,包括以下步骤:
S1:***初始标定,包括三维扫描仪标定和机械***标定,并将初始标定后的数据存储在参数模型中,参数模型包括相机参数模型和***参数模型;
S2:首先根据待测目标的形貌特征,人为设定三维测量时待测目标的位置位姿并记录,并通过人工操作重建点云模型进行检验,若重建出的点云模型完整,则满足测量要求,则纪录该位置位姿,若重建出的点云模型不完整,则重新人为设定待测目标的位置位姿继续测量,直到确定合适的位置位姿并记录,后续自动三维测量按照该确定好的合适的位置位姿来测量;
S3:机器人从传送带上夹取待测目标,并放置在自动转台的工作面上;
S4:根据S2确定的合适的位置位姿,控制***发送指令,使自动转台和升降装置依照S2选定的位姿依次动作,每一位姿下,均进行三维点云重建,获得单视角下的点云,每获得一次单视角下的点云,均与上一视角下的点云进行点云拼接,即实时拟合,直至获得S2中全部位姿的点云拼接模型,即为完整的待测目标三维模型;
S5:机器人从自动转台的工作面上夹取待测目标,再放置在传送带上,完成单个待测目标的三维测量;
S6:不断重复步骤S3~S5,对一批待测目标进行自动化测量;
所述S1进一步为:
(1)首先进行三维扫描仪标定:
S1.1、从升降装置的滑块位于导轨最上端开始,调整好相机视角,保证两相机的视野中重合区域尽量大,调整焦距使自动转台的工作面在左右相机中成像清晰,记录焦距值f0和f0’,在自动转台的工作面放置圆点标定板,左右相机分别采集同一位置的图片,改变标定板的位置,左右相机再次分别采集该位置下的图片,重复采集15~20个位置的图片;
对采集到的图片使用张氏标定法得到左右相机的内参K0,K0’、畸变参数d0,d0’和投影矩阵Q0,记录K0,K0’,d0,d0’,Q0,并重建出标定板的单视角的点云,测量得到点云中标定板上任意两个圆心之间的距离D,从而得到重建误差:△A=D0-D,记录△A,其中D0代表标定板上两个圆心的实际距离;
S1.2、使用升降装置每次移动一个距离△Z,重复步骤S1.1直至升降装置的滑块达到导轨的最下端,并将获得的K0,K0’,d0,d0’,Q0、△A数据存储在参数模型中;
S1.3、利用得到的内参K0,K0’、畸变参数d0,d0’和对应的焦距,采用多项式拟合来拟合参数和焦距的映射模型:H=g(f),H代表相应的相机参数和***参数,相机参数包括内参K0,K0’、畸变参数d0,d0’,***参数包括投影矩阵Q0和重建误差△A,g(f)表示焦距f和H的映射:
以畸变参数d为例,假设
d=a0+a1f+a2f2+…+anfn
该模型的关键是确定系数a0,a1,a2,…,an,根据S1.1得到焦距f和对应的畸变参数d,可得
Figure FDA0003286310660000021
用最小二乘法解出参数a0,a1,a2,…,an,从而得到畸变参数d和焦距f之间的映射模型:
d=a0+a1f+a2f2+…+anfn
只要输入对应的焦距值f,即可得到对应的畸变参数d,其他参数模型和重建误差模型的建立同理;
(2)进行自动转台标定:
S1.4、把三维扫描仪调整到位于升降导轨中间的位置,调整相机视野和焦距,使得自动转台的工作面成像清晰,而且两相机的公共视野尽量大,在自动转台的工作面放置圆点标定板,左右相机分别采集同一位置的图片,改变标定板位置,左右相机再次分别采集该位置下的图,重复采集15-20个位置的图片,对采集到的图片使用张氏标定法得到左右相机的内参K0,K0’、畸变参数d0,d0’和投影矩阵Q0,记录K0,K0’,d0,d0’,Q0,并进行点云重建,重建出标定板的点云P1,使自动转台转过一个基本角度θ,重复上述步骤,得到点云P2
S1.5、提取得到的两片点云的圆心坐标分别为
Figure FDA0003286310660000031
Figure FDA0003286310660000032
S1.6、设两片点云上某一点分别为M1和M2,由刚体变换,两点的转换关系为:M2=M1R+T,式中R和T分别表示旋转矩阵和平移矩阵,设B=[R,T],则
Figure FDA0003286310660000033
带入由S1.5得到的圆心坐标,并使用最小二乘法解得B矩阵,从而得到R和T,自动转台标定结束;
S4中点云拼接过程为:
使用预先标定自动转台的基础角度θ和拼接时相应的旋转矩阵R和平移矩阵T之间的关系,该关系是:P1点转过θ角后为P2点,二者关系为:P2=P1R+T;P1点转过2θ后为P3点,二者关系为:P3=(P1R+T)R+T;由此递推得到,P1转过Nθ后为PN,二者的关系为:PN=P1RN+TRN-1+TRN-2+…+TR+T,在使用自动转台改变测量物***姿时,自动转台转过的角度都是基础角度的整数倍,实现点云的拼接。
2.根据权利要求1所述的基于双目相机成像和结构光技术的三维测量装置,其特征在于,所述自动转台包括转台本体、箱体、YRT转台轴承、蜗杆、涡轮、角接触轴承、联轴器A和伺服电机A,所述伺服电机A通过联轴器A与蜗杆连接,带动蜗杆转动,蜗杆与涡轮啮合安装从而带动涡轮的转动,所述涡轮放置在YRT转台轴承上,并与转台本体相连,最终带动转台本体的转动,所述伺服电机A与控制***连接。
3.根据权利要求2所述的基于双目相机成像和结构光技术的三维测量装置,其特征在于,所述三维扫描仪包括伺服电机B、连接平台、轴承座A、传动轴、连接体、云台、轴承座B和支撑平台A,所述伺服电机B通过电机座A固定在连接平台上,并通过联轴器B与传动轴连接,传动轴通过轴承座A和轴承座B固定于连接平台上,传动轴通过键和连接体与云台相连,云台与支撑平台A连接,变焦相机和投影仪固定在支撑平台A上,伺服电机B与控制***连接;
变焦相机的型号为DFK Z12G445或MV-VEM200SM。
4.根据权利要求3所述的基于双目相机成像和结构光技术的三维测量装置,其特征在于,所述升降装置包括伺服电机C、电机座B、联轴器C、轴承座C、丝杠、导轨、支撑平台B、滑块、丝杠螺母副和轴承座D,所述伺服电机C通过电机座B固定在支撑平台B上,并通过联轴器C连接丝杠,所述丝杠通过轴承座C和轴承座D固定于支撑平台B上,所述丝杠螺母副与丝杠配合,伺服电机C的转动带动丝杠螺母副在丝杠上移动;
所述导轨包括互相平行的两条,每条导轨上均设置有与导轨相配合的滑块,滑块与丝杠螺母副固定连接,所述三维扫描仪的连接平台固定设置在滑块上;
所述伺服电机C与控制***连接。
5.根据权利要求1所述的基于双目相机成像和结构光技术的三维测量装置,其特征在于,步骤S3中,该批待测目标放置在自动转台的工作面时保持同一位置和位姿,三维测量装置每次均按照提前设定好的方式动作,实现一批待测目标的三维自动测量,当测量另外形貌的待测目标时,重复S2,重新进行人为设定,确定合适的位置位姿。
6.根据权利要求1所述的基于双目相机成像和结构光技术的三维测量装置,其特征在于,S4具体为:
a、在***标定后,获得两个参数模型,分别为相机参数模型和***参数模型;
b、根据参数模型获取相机参数和***参数在初始位姿下,获得单视角下的点云:
c、获取某一视角下的掩膜图片和光栅图片,进行掩膜、极线矫正等图像预处理操作,解相位获取左右相机的绝对相位图;
d、对左右相机的绝对相位图使用现有的AD-CENSUS算法进行匹配,使用三角原理重建得到单视角的点云;
e、对重建出的点云进行滤波等点云处理;
f、滤波后的点云与上一片点云使用转台拼接原理进行拼接,保存点云数据,并判断是否可以重建出完整物体点云,若否,则根据S2已确定的位姿,自动转台转动到下一位姿,继续步骤c、d、e、f;
若是,即可以重建出完整物体点云,则进行步骤g;
g、判断是否改变焦距,若是,则升降装置运动,带动三维扫描仪移动,相机自动变焦使得成像清晰,输入变焦后的焦距值到相机参数模型中,重复步骤b、c、d、e、f,获得局部点云;
若否,则转到步骤h;
h、将重建的局部点云与完整物体点云进行点云融合,获得最终的三维点云模型;
i、对最终的三维点云模型进行三维测量,可将得到的三维点云模型和CAD模型进行比较,得到一批工件的缺陷,完成测量。
7.根据权利要求6所述的基于双目相机成像和结构光技术的三维测量装置,其特征在于,S4中获得单视角下的点云的具体步骤为:
S4.1、光栅投射:投影仪投射一定频率的正弦光栅图像,两个相机捕获图像,获得掩膜图片和光栅图片,并进行预处理;
投影仪投射如下正弦光栅图片:
I1(x,y)=I′(x,y)+I″(x,y)sin((2π*x)/T)
I2(x,y)=I′(x,y)+I″(x,y)sin((2π*x)/T+π/2)
I3(x,y)=I′(x,y)+I″(x,y)sin((2π*x)/T+π)
I4(x,y)=I′(x,y)+I″(x,y)sin((2π*x)/T+3π/2)
I1(x,y)表示周期为T且初始相位为0的投影仪投射的图片在(x,y)坐标的像素值;
I2(x,y)表示周期为T且初始相位为π/2的投影仪投射的图片在(x,y)坐标的像素值;
I3(x,y)表示周期为T且初始相位为π的投影仪投射的图片在(x,y)坐标的像素值;
I4(x,y)表示周期为T且初始相位为3π/2的投影仪投射的图片在(x,y)坐标的像素值;
I′(x,y)表示环境光强,I″(x,y)表示投射光强振幅,I″(x,y)表示投射光强振幅,T表示正弦周期;
S4.2、解主值相位:
根据四步相移法采用公式(1)由正弦投影图求得非连续的相位图:
Figure FDA0003286310660000051
其中,φ表示解出的相位值,I1 c,I2 c,I3 c,I4 c表示投影仪投到物体表面反射后相机采集到的图片;
S4.3、相位展开:
由公式(1)tan-1解出的相位φ在-π到π之间,导致在整张相位图内相位值是以-π到π为一个周期重复,为使得相位值在全场范围内唯一,需要进行相位展开;
采用现有的多频外差法由非连续的相位图求得连续的相位图;
S4.4、视差匹配:
经过相位展开,得到两张分别为左右相机的连续的相位图L和R,使用现有的AD-CENSUS视差匹配算法获得相位图L和R的匹配视差;
S4.5、点云重建:
根据S4.4得到的视差图和步骤S1得到的投影矩阵Q0使用三角测量原理得到三维点云,具体过程如下:
一点P在左右相机成像面上成像点为P’和P”,由三角形相似得,
Figure FDA0003286310660000061
可得P点的三维坐标为:
Figure FDA0003286310660000062
从而得到物体的点云,其中视差d=xl-xr,可由视差图得到,b为两基线之间的距离,可由投影矩阵Q0得到;
其中,xl表示P点在左相机照片上的水平像素坐标,xr表示P点在右相机照片上的水平像素坐标,f表示当前焦距,yl表示在左相机上的竖直像素坐标。
CN202010641003.9A 2020-07-06 2020-07-06 一种基于双目相机成像和结构光技术的三维测量装置及测量方法 Active CN111750805B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010641003.9A CN111750805B (zh) 2020-07-06 2020-07-06 一种基于双目相机成像和结构光技术的三维测量装置及测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010641003.9A CN111750805B (zh) 2020-07-06 2020-07-06 一种基于双目相机成像和结构光技术的三维测量装置及测量方法

Publications (2)

Publication Number Publication Date
CN111750805A CN111750805A (zh) 2020-10-09
CN111750805B true CN111750805B (zh) 2021-12-10

Family

ID=72679537

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010641003.9A Active CN111750805B (zh) 2020-07-06 2020-07-06 一种基于双目相机成像和结构光技术的三维测量装置及测量方法

Country Status (1)

Country Link
CN (1) CN111750805B (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112611337B (zh) * 2020-11-23 2022-07-08 江苏科技大学 一种基于双目立体视觉的三维测量装置及方法
CN113340230A (zh) * 2021-04-26 2021-09-03 西安交通大学 一种升降式的多视角三维轮廓测量***及工作方法
CN113436350A (zh) * 2021-07-07 2021-09-24 武汉湾流科技股份有限公司 一种三维模型生成方法及***
CN113532328B (zh) * 2021-07-16 2023-07-25 燕山大学 一种中厚板矫直过程的表面轮廓实时测量***及方法
CN113313710B (zh) * 2021-07-28 2021-11-23 浙江华睿科技股份有限公司 质量检测方法及***、电子设备、存储介质
CN113834450A (zh) * 2021-08-12 2021-12-24 北京航天计量测试技术研究所 涡轮导向器排气面积自动测量***及测量方法
CN113643282A (zh) * 2021-08-31 2021-11-12 歌尔光学科技有限公司 一种工件涂胶轨迹生成方法、装置、电子设备及存储介质
CN113899319B (zh) * 2021-09-29 2022-08-02 上海交通大学 燃料组件水下弯扭变形测量验证装置、方法、设备及介质
CN114332349B (zh) * 2021-11-17 2023-11-03 浙江视觉智能创新中心有限公司 一种双目结构光边缘重建方法、***及存储介质
CN114427833B (zh) * 2021-12-17 2024-02-06 哈尔滨理工大学 基于结构光测量航空叶片在机检测装置及点云获取方法
CN114279326B (zh) * 2021-12-22 2024-05-28 易思维(天津)科技有限公司 一种三维扫描设备的全局定位方法
CN114485466B (zh) * 2022-01-26 2023-11-21 哈尔滨理工大学 行星轮齿形加工误差测量装置及自适应在机测量方法
CN114299167B (zh) * 2022-03-11 2022-07-26 杭州灵西机器人智能科技有限公司 一种变焦镜头的单目标定方法、***、装置和介质
CN115147540A (zh) * 2022-05-07 2022-10-04 南方科技大学 一种改进的三维重构方法
CN115164776B (zh) * 2022-07-04 2023-04-21 清华大学 一种结构光解码与深度学习融合的三维测量方法及装置
CN115314599A (zh) * 2022-08-08 2022-11-08 轻工业西安机械设计研究院有限公司 一种旋转式立体扫描设备及方法
CN115330885B (zh) * 2022-08-30 2023-04-25 中国传媒大学 一种基于相机反馈的异形面动态投影方法
CN116320357A (zh) * 2023-05-17 2023-06-23 浙江视觉智能创新中心有限公司 一种3d结构光相机***、方法、电子设备和可读存储介质
CN117697828B (zh) * 2024-02-05 2024-04-26 苏州铸正机器人有限公司 一种手术机器人精度测量工装及精度测量方法
CN118009925A (zh) * 2024-04-09 2024-05-10 国网山东省电力公司淄博供电公司 绝缘子三维模型扫描装置及生成方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104251669A (zh) * 2014-08-28 2014-12-31 合肥斯科尔智能科技有限公司 一种具有旋转工作台的三维扫描***
CN106643563A (zh) * 2016-12-07 2017-05-10 西安知象光电科技有限公司 一种桌面式大视场三维扫描装置及方法
CN107514983A (zh) * 2016-08-16 2017-12-26 上海汇像信息技术有限公司 一种基于三维测量技术测量物体表面积的***及方法
CN109407613A (zh) * 2018-08-30 2019-03-01 先临三维科技股份有限公司 三维扫描转台的调节方法、装置、计算机设备和存储介质
CN111207693A (zh) * 2020-01-10 2020-05-29 西安交通大学 一种基于双目结构光的涡轮叶片陶瓷型芯的三维测量方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2369710C (en) * 2002-01-30 2006-09-19 Anup Basu Method and apparatus for high resolution 3d scanning of objects having voids
CN101750012A (zh) * 2008-12-19 2010-06-23 中国科学院沈阳自动化研究所 一种测量物体六维位姿的装置
CN102032878B (zh) * 2009-09-24 2014-06-18 黑龙江省科学院自动化研究所 基于双目立体视觉测量***的精确在线测量方法
CN101907453B (zh) * 2010-07-23 2012-01-11 北京农业信息技术研究中心 基于机器视觉的块状农产品尺寸在线测量方法与装置
CN102364299B (zh) * 2011-08-30 2015-01-14 西南科技大学 一种多个结构光投影三维型面测量头的标定技术
CN102937424B (zh) * 2012-10-18 2015-07-29 北京航空航天大学 一种用于投影栅相位双目立体视觉三维形貌测量的框架
CA2942258A1 (en) * 2015-09-22 2017-03-22 The Governors Of The University Of Alberta Underwater 3d image reconstruction utilizing triple wavelength dispersion and camera system thereof
CN108151671B (zh) * 2016-12-05 2019-10-25 先临三维科技股份有限公司 一种三维数字成像传感器、三维扫描***及其扫描方法
CN106959080B (zh) * 2017-04-10 2019-04-05 上海交通大学 一种大型复杂曲面构件三维形貌光学测量***和方法
US10803292B2 (en) * 2017-04-26 2020-10-13 Mashgin Inc. Separation of objects in images from three-dimensional cameras
CN107063129B (zh) * 2017-05-25 2019-06-07 西安知象光电科技有限公司 一种阵列式并行激光投影三维扫描方法
WO2019127445A1 (zh) * 2017-12-29 2019-07-04 深圳前海达闼云端智能科技有限公司 三维建图方法、装置、***、云端平台、电子设备和计算机程序产品
CN109540041B (zh) * 2019-01-14 2020-05-08 吉林大学 双目主动视觉矢量正交归一化汽车形貌测量***与方法
CN109781003B (zh) * 2019-02-11 2020-10-09 华侨大学 一种结构光视觉***的下一最佳测量位姿确定方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104251669A (zh) * 2014-08-28 2014-12-31 合肥斯科尔智能科技有限公司 一种具有旋转工作台的三维扫描***
CN107514983A (zh) * 2016-08-16 2017-12-26 上海汇像信息技术有限公司 一种基于三维测量技术测量物体表面积的***及方法
CN106643563A (zh) * 2016-12-07 2017-05-10 西安知象光电科技有限公司 一种桌面式大视场三维扫描装置及方法
CN109407613A (zh) * 2018-08-30 2019-03-01 先临三维科技股份有限公司 三维扫描转台的调节方法、装置、计算机设备和存储介质
CN111207693A (zh) * 2020-01-10 2020-05-29 西安交通大学 一种基于双目结构光的涡轮叶片陶瓷型芯的三维测量方法

Also Published As

Publication number Publication date
CN111750805A (zh) 2020-10-09

Similar Documents

Publication Publication Date Title
CN111750805B (zh) 一种基于双目相机成像和结构光技术的三维测量装置及测量方法
CN107830813B (zh) 激光线标记的长轴类零件图像拼接及弯曲变形检测方法
WO2020147397A1 (zh) 用于弧面外观检测的机器视觉***及检测方法
CN113205593B (zh) 一种基于点云自适应修复的高反光表面结构光场三维重建方法
WO2012155688A1 (zh) 光学自由曲面三维形貌高精度非接触测量方法及装置
CN113063368A (zh) 一种线激光旋转扫描三维轮廓测量方法及装置
US20090196527A1 (en) Calibration method of image planar coordinate system for high-precision image measurement system
TWI699525B (zh) 三維相位移瑕疵檢測方法及系統
CN112381827B (zh) 基于视觉图像的快速高精度缺陷检测方法
Strelow et al. Precise omnidirectional camera calibration
Zhu et al. Noncontact 3-D coordinate measurement of cross-cutting feature points on the surface of a large-scale workpiece based on the machine vision method
CN110645911A (zh) 一种旋转扫描获得完整外表面3d轮廓的装置和方法
CN113724337B (zh) 一种无需依赖云台角度的相机动态外参标定方法及装置
CN112365502B (zh) 一种基于视觉图像缺陷检测的标对方法
CN115761011A (zh) 一种线激光3d相机***全自动标定方法及装置
CN102538707B (zh) 一种对工件进行三维定位的装置及方法
CN116147534A (zh) 一种基于镜面辅助的多视角三维激光扫描***及复杂表面全景测量方法
CN113554559B (zh) 带有多重复杂曲面旋转对称模型的三维重建方法及装置
Radhakrishna et al. Development of a robot-mounted 3D scanner and multi-view registration techniques for industrial applications
Zheng et al. Calibration of linear structured light system by planar checkerboard
CN112082511A (zh) 一种基于转台的大物体快速标定测量方法
CN115060198B (zh) 光亮表面工件的全方位立体视觉检测方法及应用
CN116433841A (zh) 一种基于全局优化的实时模型重建方法
CN113532315A (zh) 基于多目视觉的三维建模设备及其控制方法
CN112361982B (zh) 一种大幅面工件三维数据提取方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant