CN109540033B - 闭环一致双目主动视觉汽车形貌全局自由重建***与方法 - Google Patents

闭环一致双目主动视觉汽车形貌全局自由重建***与方法 Download PDF

Info

Publication number
CN109540033B
CN109540033B CN201910032152.2A CN201910032152A CN109540033B CN 109540033 B CN109540033 B CN 109540033B CN 201910032152 A CN201910032152 A CN 201910032152A CN 109540033 B CN109540033 B CN 109540033B
Authority
CN
China
Prior art keywords
camera
target
laser
closed
loop
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201910032152.2A
Other languages
English (en)
Other versions
CN109540033A (zh
Inventor
徐观
陈俊伊
陈熔
苏建
单红梅
张立斌
刘玉梅
潘洪达
林慧英
戴建国
李晓韬
陈芳
沈慧
朱尧平
胡常青
袁静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin University
Original Assignee
Jilin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin University filed Critical Jilin University
Priority to CN201910032152.2A priority Critical patent/CN109540033B/zh
Publication of CN109540033A publication Critical patent/CN109540033A/zh
Application granted granted Critical
Publication of CN109540033B publication Critical patent/CN109540033B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种闭环一致双目主动视觉汽车形貌全局自由重建***与方法,旨在解决闭环一致双目主动视觉汽车形貌全局自由重建问题。闭环一致双目主动视觉汽车形貌全局自由重建***主要由三维靶标(1)、外部摄像机(2)、摄像机支架(3)、右摄像机(4)、柱面靶标(5)、左摄像机(6)、螺纹杆(7)、激光器(8)、连接杆(9)与固定座(10)组成。闭环一致双目主动视觉汽车形貌全局自由重建方法由图像采集、摄像机标定、对极匹配、激光面求解、汽车形貌重建五个步骤组成,提供了一种结构简单、性能可靠的闭环一致双目主动视觉汽车形貌全局自由重建***与方法。

Description

闭环一致双目主动视觉汽车形貌全局自由重建***与方法
技术领域
本发明涉及一种汽车检测领域的测量设备与方法,更具体的说,它是一种闭环一致双目主动视觉汽车形貌全局自由重建***与方法。
背景技术
近年来,形貌测量技术是光学检测和视觉领域中最重要的技术之一。目前,汽车形貌的信息获取对汽车生产制造、汽车维修、汽车检测等领域具有重要的研究意义和应用价值。然而,使用摄像机成像只能生成没有深度信息的2D图像,如何利用摄像机方便快捷的获取车辆3D空间的真实形貌就非常重要。为了实现高精度的汽车形貌的三维重建,克服传统结构光技术无法对摄像机观察不到的汽车内部表面进行精确重建的问题,设计了一种基于柱面靶标的双目主动视觉汽车形貌全局自由重建***,构建了双目主动视觉汽车形貌全局自由重建的闭环一致标定原则,实现了汽车形貌全局自由精确重建。
发明内容
本发明针对传统结构光技术无法对摄像机观察不到的汽车内部表面进行精确重建的问题,提出了一种闭环一致双目主动视觉汽车形貌全局自由重建***与方法。该***主要由三部工业摄像机、柱面靶标、一个与左右摄像机相对位置不变的面结构光等构成,以双目视觉和结构光为基础,采用闭环一致的标定重建方法实现汽车形貌的重建解算。
结合说明书附图,本发明采用如下技术方案予以实现:
闭环一致双目主动视觉汽车形貌全局自由重建***包括有三维靶标、外部摄像机、摄像机支架、右摄像机、柱面靶标、左摄像机、螺纹杆、激光器、连接杆与固定座;
三维靶标放置在地面上,摄像机支架放置在地面上,外部摄像机通过夹具装夹在摄像机支架的顶部,柱面靶标放置在地面上,螺纹杆穿过柱面靶标上部的两个螺纹孔与柱面靶标螺纹连接,左摄像机和右摄像机分别通过螺纹固定连接在螺纹杆的左右两端,固定座通过两个U形螺栓与螺纹杆固定连接,连接杆的球头与固定座的圆柱内侧的内球面过渡配合连接,激光器与连接杆的短圆柱螺纹连接。
技术方案中所述的三维靶标是由三块矩形钢板焊接而成的零件,内表面粘贴有纹理图片。
技术方案中所述的外部摄像机为具有窄带滤光片的广角摄像机。
技术方案中所述的右摄像机为具有窄带滤光片的广角摄像机。
技术方案中所述的柱面靶标是一个空心圆柱,外表面粘贴有纹理图片,上部加工两个螺纹孔。
技术方案中所述的左摄像机为具有窄带滤光片的广角摄像机。
技术方案中所述的螺纹杆为加工有外螺纹的圆杆。
技术方案中所述的激光器为可发射一个面激光的圆柱形零件,激光器发出的激光波长与右摄像机、左摄像机、外部摄像机的窄带滤光片的带通波长一致。
技术方案中所述的连接杆由一个钢制的球头和钢制的短圆柱焊接而成,短圆柱外表面加工有螺纹。
技术方案中所述的固定座由一个圆形底座和一个圆柱焊接而成,圆柱内侧加工有内球面,圆形底座加工有四个通孔。
闭环一致双目主动视觉汽车形貌全局自由重建方法的具体步骤如下:
第一步:闭环一致双目主动视觉汽车形貌全局自由重建方法的图像采集:
将柱面靶标、摄像机支架和三维靶标放置在地面上,外部摄像机固定在摄像机支架的顶部,螺纹杆穿过柱面靶标上部的两个通孔,左摄像机和右摄像机分别与螺纹杆螺纹连接。固定座通过U形螺栓与螺纹杆连接,激光器通过连接杆与固定座连接。打开激光器,激光器发出的激光平面与三维靶标相交。外部摄像机采集一幅图像,图像包含三维靶标和柱面坐标,右摄像机采集一副图像,包含有三维靶标和激光平面,左摄像机采集一副图像,包含有三维靶标和激光平面。
第二步:闭环一致双目主动视觉汽车形貌全局自由重建方法的摄像机标定:
首先,选择外部摄像机坐标系作为固定的全局坐标系。通过DLT方法和三维靶标标定外部摄像机,得到外部摄像机与三维靶标之间的转换矩阵PⅠ,Ⅴ,转换矩阵PⅠ,Ⅴ通过RQ分解得到外部摄像机内参数K、旋转矩阵RⅠ,Ⅴ、平移向量tⅠ,Ⅴ。通过DLT方法和柱面靶标标定外部摄像机,得到外部摄像机与柱面靶标之间的转换矩阵PⅣ,Ⅴ,转换矩阵PⅣ,Ⅴ通过RQ分解得到外部摄像机内参数K、旋转矩阵RⅣ,Ⅴ、平移向量tⅣ,Ⅴ
三维靶标、外部摄像机和柱面靶标构成闭环,根据三维靶标和柱面靶标对外部摄像机的标定结果,得到三维靶标和柱面靶标之间的转换关系为
RⅠ,Ⅳ=RⅠ,ⅤRⅣ,Ⅴ
tⅠ,Ⅳ=tⅠ,Ⅴ-tⅣ,Ⅴ
则三维靶标和柱面靶标之间的转换矩阵为
Figure BDA0001944621460000021
通过三维靶标对左摄像机标定,可以得到左摄像机的转换矩阵PⅠ,Ⅱ,通过RQ分解得到左摄像机的内参数K、旋转矩阵RⅠ,Ⅱ、平移向量tⅠ,Ⅱ。同理,
三维靶标对右摄像机标定,可以得到右摄像机4的转换矩阵PⅠ,Ⅲ,通过RQ分解得到右摄像机的内参数K、旋转矩阵RⅠ,Ⅲ、平移向量tⅠ,Ⅲ
三维靶标、右摄像机和左摄像机构成闭环,根据三维靶标对右摄像机和左摄像机的标定结果,可以得到右摄像机和左摄像机之间的转换关系,
RⅡ,Ⅲ=RⅠ,ⅡRⅠ,Ⅲ
tⅡ,Ⅲ=tⅠ,Ⅲ-tⅠ,Ⅱ
第三步:闭环一致双目主动视觉汽车形貌全局自由重建方法的对极匹配:
左摄像机像平面上的激光投影点为
Figure BDA0001944621460000031
在右摄像机的像平面上的对极线
Figure BDA0001944621460000032
Figure BDA0001944621460000033
其中,F是一个基本矩阵,F=(K)-T[tⅡ,Ⅲ]xRⅡ,Ⅲ(K)-1。从备选点集中找到到对极线
Figure BDA0001944621460000034
距离最短的点作为右摄像机像平面上的激光投影点
Figure BDA0001944621460000035
的匹配点
Figure BDA0001944621460000036
第四步:闭环一致双目主动视觉汽车形貌全局自由重建方法的激光面求解:
由已知的左摄像机像平面上的激光投影点
Figure BDA0001944621460000037
右摄像机像平面上激光投影点
Figure BDA0001944621460000038
已知的左摄像机的转换矩阵PⅠ,Ⅱ及右摄像机的转换矩阵PⅠ,Ⅲ,可以由下两式重建得到激光点在三维靶标1坐标系下的坐标
Figure BDA0001944621460000039
Figure BDA00019446214600000310
Figure BDA00019446214600000311
其中,sⅠ,Ⅱ和sⅠ,Ⅲ是尺度因子。
由激光点
Figure BDA00019446214600000317
在激光面Π上,则
Figure BDA00019446214600000312
由上式及SVD分解法求出激光面在三维靶标坐标系下的坐标Π
由第二步求得的三维靶标与柱面坐标之间的转换关系
Figure BDA00019446214600000313
在柱面坐标坐标系下激光面的坐标为
Figure BDA00019446214600000314
由第二步求得的柱面靶标与外部摄像机的旋转矩阵RⅣ,Ⅴ、平移向量tⅣ,Ⅴ,得到柱面靶标与外部摄像机的转换关系
Figure BDA00019446214600000315
在外部摄像机坐标系下激光面的坐标为
Figure BDA00019446214600000316
第五步:闭环一致双目主动视觉汽车形貌全局自由重建方法的汽车形貌重建:
汽车驶入左摄像机和右摄像机的视场内,激光器发出的激光平面与汽车相交于一条曲线,相交曲线上的三维点在外部摄像机坐标系下的三维重建点为
Figure BDA0001944621460000041
第二步求得三维靶标和柱面靶标之间的变换矩阵
Figure BDA0001944621460000042
三维靶标和左摄像机的旋转矩阵RⅠ,Ⅱ、平移向量tⅠ,Ⅱ,三维靶标和右摄像机的旋转矩阵RⅠ,Ⅲ、平移向量tⅠ,Ⅲ。三维靶标、柱面靶标和左摄像机构成闭环***,由闭环一致性可以求得左摄像机与柱面靶标之间的转换关系为
RⅡ,Ⅳ=RⅠ,ⅡRⅠ,Ⅳ
tⅡ,Ⅳ=tⅠ,Ⅳ-tⅠ,Ⅱ
同理,由于三维靶标、柱面靶标和右摄像机构成闭环***,由闭环一致性可求得右摄像机和柱面靶标之间的转换关系为
RⅢ,Ⅳ=RⅠ ⅢRⅠ,Ⅳ
tⅢ,Ⅳ=tⅠ,Ⅳ-tⅠ Ⅲ
统一到柱面靶标坐标系下激光点的三维重建坐标
Figure BDA00019446214600000411
由SVD分解法和以下三式求出:
Figure BDA0001944621460000043
Figure BDA0001944621460000044
Figure BDA0001944621460000045
由第四步求得的柱面靶标与外部摄像机之间的转换关系
Figure BDA0001944621460000046
在外部摄像机坐标系下车身激光点的三维重建坐标
Figure BDA0001944621460000047
Figure BDA0001944621460000048
本发明的有益效果是:
(1)本发明的方法主要采用闭环一致性进行解算,通过闭环转换把在三维靶标1坐标系下的激光点
Figure BDA0001944621460000049
转换到外部摄像机2坐标系下进行三维坐标
Figure BDA00019446214600000410
重建。求解中共用到四个闭环,闭环一包括三维靶标1、外部摄像机2和柱面靶标5,闭环二包括三维靶标1、右摄像机4和左摄像机6,闭环三包括三维靶标1、右摄像机4和柱面靶标5,闭环四包括三维靶标1、左摄像机6和柱面靶标5。闭环之间相互约束,提高了解算的精度。
(2)本发明在双目视觉的基础上增添了第三个摄像机即外部摄像机2。优点在于外部摄像机2只需要知道与柱面靶标5之间的转换关系即可把激光交点的坐标在外部摄像机2的坐标系下进行重建。而右摄像机4、柱面靶标5、左摄像机6和激光器8所组成的组合体可以移动扫描,重建的视野更宽,可扫描的位置更广,并且可以扫描重建外部摄像机2视场范围之外的区域,对于汽车车身内部外部摄像机2不易直接观测到的区域重建具有显著的重建效果。
(3)本发明采用双目立体匹配与激光主动视觉相结合的方法,采用了具有像平面投影各向均匀一致的柱面靶标5作为外部摄像机2的参考物体,实现了柱面靶标5特征点的高精度提取,并将柱面靶标5与左摄像机6、右摄像机4和激光器8组合装配的方法,使设备的通用性得到提高,并减少了设备的占地面积和操作程序。
附图说明
图1是闭环一致双目主动视觉汽车形貌全局自由重建***的标定轴测图;
图2是闭环一致双目主动视觉汽车形貌全局自由重建***的重建轴测图;
图3是闭环一致双目主动视觉汽车形貌全局自由重建***中摄像机支架3的轴测图;
图4是闭环一致双目主动视觉汽车形貌全局自由重建***中柱面靶标5的轴测图;
图5是闭环一致双目主动视觉汽车形貌全局自由重建***中螺纹杆7的轴测图;
图6是闭环一致双目主动视觉汽车形貌全局自由重建***中激光器8的轴测图;
图7是闭环一致双目主动视觉汽车形貌全局自由重建***中连接杆9的轴测图;
图8是闭环一致双目主动视觉汽车形貌全局自由重建***中固定座10的轴测图;
图9是闭环一致双目主动视觉汽车形貌全局自由重建***中外部摄像机2标定的流程图;
图10是闭环一致双目主动视觉汽车形貌全局自由重建方法中右摄像机4和左摄像机6标定的流程图;
图11是闭环一致双目主动视觉汽车形貌全局自由重建方法中右摄像机4和左摄像机6对极匹配的流程图;
图12是闭环一致双目主动视觉汽车形貌全局自由重建方法中求解激光面在外部摄像机2下坐标Π的流程图;
图13是闭环一致双目主动视觉汽车形貌全局自由重建方法中重建激光点在外部摄像机2下坐标
Figure BDA0001944621460000051
的流程图;
图中:1.三维靶标,2.外部摄像机,3.摄像机支架,4.右摄像机,5.柱面靶标,6.左摄像机,7.螺纹杆,8.激光器,9.连接杆,10.固定座。
具体实施方式
下面结合附图对本发明作进一步的详细描述:
参阅图1至图8,闭环一致双目主动视觉汽车形貌全局自由重建***包括有三维靶标1、外部摄像机2、摄像机支架3、右摄像机4、柱面靶标5、左摄像机6、螺纹杆7、激光器8、连接杆9与固定座10。
三维靶标1是由三块矩形钢板焊接而成的零件,内表面粘贴有纹理图片,三维靶标1放置在地面上。外部摄像机2、右摄像机4、左摄像机6为具有窄带滤光片的广角摄像机。摄像机支架3放置在地面上,外部摄像机2通过夹具装夹在摄像机支架3的顶部。柱面靶标5是一个空心圆柱,外表面粘贴有纹理图片,上部加工两个螺纹孔,柱面靶标5放置在地面上。螺纹杆7为加工有外螺纹的圆杆,螺纹杆7穿过柱面靶标5上部的两个螺纹孔与柱面靶标5螺纹连接,左摄像机6和右摄像机4分别通过螺纹固定连接在螺纹杆7的左右两端。固定座10由一个圆形底座和一个圆柱焊接而成,圆柱内侧加工有内球面,圆形底座加工有四个通孔,固定座10通过两个U形螺栓与螺纹杆7固定连接,连接杆9由一个钢制的球头和钢制的短圆柱焊接而成,短圆柱外表面加工有螺纹,连接杆9的球头与固定座10的圆柱内侧的内球面过渡配合连接,激光器8为可发射一个面激光的圆柱形零件,激光器8发出的激光波长与右摄像机4、左摄像机6、外部摄像机2的窄带滤光片的带通波长一致,激光器8与连接杆9的短圆柱螺纹连接。
参阅图9至图13,本发明所提供的闭环一致双目主动视觉汽车形貌全局自由重建方法可分为以下五步:
第一步:闭环一致双目主动视觉汽车形貌全局自由重建方法的图像采集:
将柱面靶标5、摄像机支架3和三维靶标1放置在地面上,外部摄像机2固定在摄像机支架3的顶部,螺纹杆7穿过柱面靶标5上部的两个通孔,左摄像机6和右摄像机4分别与螺纹杆7螺纹连接。固定座10通过U形螺栓与螺纹杆7连接,激光器8通过连接杆9与固定座10连接。打开激光器8,激光器8发出的激光平面与三维靶标1相交。外部摄像机2采集一幅图像,图像包含三维靶标1和柱面坐标5,右摄像机4采集一副图像,包含有三维靶标1和激光平面,左摄像机6采集一副图像,包含有三维靶标1和激光平面。
第二步:闭环一致双目主动视觉汽车形貌全局自由重建方法的摄像机标定:
首先,选择外部摄像机2坐标系作为固定的全局坐标系。通过DLT方法和三维靶标1标定外部摄像机2,得到外部摄像机2与三维靶标1之间的转换矩阵PⅠ,Ⅴ,转换矩阵PⅠ,Ⅴ通过RQ分解得到外部摄像机2内参数K、旋转矩阵RⅠ,Ⅴ、平移向量tⅠ,Ⅴ。通过DLT方法和柱面靶标5标定外部摄像机2,得到外部摄像机2与柱面靶标5之间的转换矩阵PⅣ,Ⅴ,转换矩阵PⅣ,Ⅴ通过RQ分解得到外部摄像机2内参数K、旋转矩阵RⅣ,Ⅴ、平移向量tⅣ,Ⅴ
三维靶标1、外部摄像机2和柱面靶标5构成闭环,根据三维靶标1和柱面靶标5对外部摄像机2的标定结果,得到三维靶标1和柱面靶标5之间的转换关系为
RⅠ,Ⅳ=RⅠ,ⅤRⅣ,Ⅴ
tⅠ,Ⅳ=tⅠ,Ⅴ-tⅣ,Ⅴ
则三维靶标1和柱面靶标5之间的转换矩阵为
Figure BDA0001944621460000071
通过三维靶标1对左摄像机6标定,可以得到左摄像机6的转换矩阵PⅠ,Ⅱ,通过RQ分解得到左摄像机6的内参数K、旋转矩阵RⅠ,Ⅱ、平移向量tⅠ,Ⅱ。同理,三维靶标1对右摄像机4标定,可以得到右摄像机4的转换矩阵PⅠ,Ⅲ,通过RQ分解得到右摄像机4的内参数K、旋转矩阵RⅠ,Ⅲ、平移向量tⅠ,Ⅲ
三维靶标1、右摄像机4和左摄像机6构成闭环,根据三维靶标1对右摄像机4和左摄像机6的标定结果,可以得到右摄像机4和左摄像机6之间的转换关系,
RⅡ,Ⅲ=RⅠ,ⅡRⅠ,Ⅲ
tⅡ,Ⅲ=tⅠ,Ⅲ-tⅠ,Ⅱ
第三步:闭环一致双目主动视觉汽车形貌全局自由重建方法的对极匹配:
左摄像机6像平面上的激光投影点为
Figure BDA0001944621460000072
基于对极几何约束的对应匹配关系,在右摄像机4的像平面上存在一条对极线
Figure BDA0001944621460000073
与之对应匹配,因此,存在这样的由点到直线的奇异映射,通过构造出对极线来确定右摄像机4上与点
Figure BDA0001944621460000074
对应的匹配点
Figure BDA0001944621460000075
对应关系如下所示,
Figure BDA0001944621460000076
其中,F是一个基本矩阵,F=(K)-T[tⅡ,Ⅲ]xRⅡ,Ⅲ(K)-1
在解算左摄像机6像平面上的激光投影点
Figure BDA0001944621460000077
的对极线
Figure BDA0001944621460000078
后,从备选点集中找到到对极线
Figure BDA0001944621460000079
距离最短的点作为右摄像机4像平面上的激光投影点的匹配点
Figure BDA00019446214600000710
第四步:闭环一致双目主动视觉汽车形貌全局自由重建方法的激光面求解:
左摄像机6和右摄像机4构成双目视觉,通过上一步对极关系进行匹配后,由已知的左摄像机6像平面上的激光投影点
Figure BDA00019446214600000711
右摄像机4像平面上激光投影点
Figure BDA00019446214600000712
已知的左摄像机6的转换矩阵PⅠ,Ⅱ及右摄像机4的转换矩阵PⅠ,Ⅲ,可以由下两式重建得到激光点在三维靶标1坐标系下的坐标
Figure BDA00019446214600000713
Figure BDA00019446214600000714
Figure BDA00019446214600000715
其中,sⅠ,Ⅱ和sⅠ,Ⅲ是尺度因子。
由激光点
Figure BDA00019446214600000716
在激光面上,则
Figure BDA00019446214600000717
由SVD分解法求出激光面在三维靶标1坐标系下的坐标Π
由第二步求得的三维靶标1与柱面坐标5之间的转换关系
Figure BDA0001944621460000081
在柱面坐标5坐标系下激光面的坐标为
Figure BDA0001944621460000082
由第二步求得的柱面靶标5与外部摄像机2的旋转矩阵RⅣ,Ⅴ、平移向量tⅣ,Ⅴ,得到柱面靶标5与外部摄像机2的转换关系
Figure BDA0001944621460000083
在外部摄像机2坐标系下激光面的坐标为
Figure BDA0001944621460000084
第五步:闭环一致双目主动视觉汽车形貌全局自由重建方法的汽车形貌重建:
汽车驶入左摄像机6和右摄像机4的视场内,激光器8发出的激光平面与汽车相交于一条曲线,相交曲线上的三维点在外部摄像机2坐标系下的三维重建点为
Figure BDA0001944621460000085
第二步求得三维靶标1和柱面靶标5之间的变换矩阵为
Figure BDA0001944621460000086
三维靶标1和左摄像机6的旋转矩阵RⅠ,Ⅱ、平移向量tⅠ,Ⅱ,三维靶标1和右摄像机4的旋转矩阵RⅠ,Ⅲ、平移向量tⅠ,Ⅲ。由于三维靶标1、柱面靶标5和左摄像机6构成闭环***,由闭环一致性可以求得左摄像机6与柱面靶标5之间的转换关系为
RⅡ,Ⅳ=RⅠ,ⅡRⅠ,Ⅳ
tⅡ,Ⅳ=tⅠ,Ⅳ-tⅠ,Ⅱ
同理,由于三维靶标1、柱面靶标5和右摄像机4构成闭环***,由闭环一致性可求得右摄像机4和柱面靶标5之间的转换关系为
RⅢ,Ⅳ=RⅠⅢRⅠ,Ⅳ
tⅢ,Ⅳ=tⅠ,Ⅳ-tⅠ Ⅲ
统一到柱面靶标5坐标系下激光点的三维重建坐标
Figure BDA0001944621460000087
由SVD分解法和以下三式求出:
Figure BDA0001944621460000091
Figure BDA0001944621460000092
Figure BDA0001944621460000093
由第四步求得的柱面靶标5与外部摄像机2之间的转换关系
Figure BDA0001944621460000094
在外部摄像机2坐标系下车身激光点的三维重建坐标
Figure BDA0001944621460000095
Figure BDA0001944621460000096

Claims (9)

1.一种闭环一致双目主动视觉汽车形貌全局自由重建方法,其特征在于,所述的闭环一致双目主动视觉汽车形貌全局自由重建方法包括有三维靶标(1)、外部摄像机(2)、摄像机支架(3)、右摄像机(4)、柱面靶标(5)、左摄像机(6)、螺纹杆(7)、激光器(8)、连接杆(9)与固定座(10);
三维靶标(1)放置在地面上,摄像机支架(3)放置在地面上,外部摄像机(2)通过夹具装夹在摄像机支架(3)的顶部,柱面靶标(5)放置在地面上,螺纹杆(7)穿过柱面靶标(5)上部的两个螺纹孔与柱面靶标(5)螺纹连接,左摄像机(6)和右摄像机(4)分别通过螺纹固定连接在螺纹杆(7)的左右两端,固定座(10)通过两个U形螺栓与螺纹杆(7)固定连接,连接杆(9)的球头与固定座(10)的圆柱内侧的内球面过渡配合连接,激光器(8)与连接杆(9)的短圆柱螺纹连接;
具体步骤如下:
第一步:闭环一致双目主动视觉汽车形貌全局自由重建方法的图像采集:
将柱面靶标(5)、摄像机支架(3)和三维靶标(1)放置在地面上,外部摄像机(2)固定在摄像机支架(3)的顶部,螺纹杆(7)穿过柱面靶标(5)上部的两个通孔,左摄像机(6)和右摄像机(4)分别与螺纹杆(7)螺纹连接,固定座(10)通过U形螺栓与螺纹杆(7)连接,激光器(8)通过连接杆(9)与固定座(10)连接,打开激光器(8),激光器(8)发出的激光平面与三维靶标(1)相交,外部摄像机(2)采集一幅图像,图像包含三维靶标(1)和柱面坐标(5),右摄像机(4)采集一副图像,包含有三维靶标(1)和激光平面,左摄像机(6)采集一副图像,包含有三维靶标(1)和激光平面;
第二步:闭环一致双目主动视觉汽车形貌全局自由重建方法的摄像机标定:
首先,选择外部摄像机(2)坐标系作为固定的全局坐标系,通过DLT方法和三维靶标(1)标定外部摄像机(2),得到外部摄像机(2)与三维靶标(1)之间的转换矩阵PⅠ,Ⅴ,转换矩阵PⅠ,Ⅴ通过RQ分解得到外部摄像机(2)内参数K、旋转矩阵RⅠ,Ⅴ、平移向量tⅠ,Ⅴ,通过DLT方法和柱面靶标(5)标定外部摄像机(2),得到外部摄像机(2)与柱面靶标(5)之间的转换矩阵PⅣ,Ⅴ,转换矩阵PⅣ,Ⅴ通过RQ分解得到外部摄像机(2)内参数K、旋转矩阵RⅣ,Ⅴ、平移向量tⅣ,Ⅴ
三维靶标(1)、外部摄像机(2)和柱面靶标(5)构成闭环,根据三维靶标(1)和柱面靶标(5)对外部摄像机(2)的标定结果,得到三维靶标(1)和柱面靶标(5)之间的转换关系为
RⅠ,Ⅳ=RⅠ,ⅤRⅣ,Ⅴ
tⅠ,Ⅳ=tⅠ,Ⅴ-tⅣ,Ⅴ
则三维靶标(1)和柱面靶标(5)之间的转换矩阵为
Figure FDA0002356545530000011
通过三维靶标(1)对左摄像机(6)标定,可以得到左摄像机(6)的转换矩阵PⅠ,Ⅱ,通过RQ分解得到左摄像机(6)的内参数K、旋转矩阵RⅠ,Ⅱ、平移向量tⅠ,Ⅱ,同理,三维靶标(1)对右摄像机(4)标定,可以得到右摄像机(4)的转换矩阵PⅠ,Ⅲ,通过RQ分解得到右摄像机(4)的内参数K、旋转矩阵RⅠ,Ⅲ、平移向量tⅠ,Ⅲ
三维靶标(1)、右摄像机(4)和左摄像机(6)构成闭环,根据三维靶标(1)对右摄像机(4)和左摄像机(6)的标定结果,可以得到右摄像机(4)和左摄像机(6)之间的转换关系,
RⅡ,Ⅲ=RⅠ,ⅡRⅠ,Ⅲ
tⅡ,Ⅲ=tⅠ,Ⅲ-tⅠ,Ⅱ
第三步:闭环一致双目主动视觉汽车形貌全局自由重建方法的对极匹配:
左摄像机(6)像平面上的激光投影点为
Figure FDA0002356545530000021
在右摄像机(4)的像平面上的对极线
Figure FDA0002356545530000022
Figure FDA0002356545530000023
其中,F是一个基本矩阵,F=(K)-T[tⅡ,Ⅲ]xRⅡ,Ⅲ(K)-1,从备选点集中找到到对极线
Figure FDA0002356545530000024
距离最短的点作为右摄像机(4)像平面上的激光投影点
Figure FDA0002356545530000025
的匹配点
Figure FDA0002356545530000026
第四步:闭环一致双目主动视觉汽车形貌全局自由重建方法的激光面求解:
由已知的左摄像机(6)像平面上的激光投影点
Figure FDA0002356545530000027
右摄像机(4)像平面上激光投影点
Figure FDA0002356545530000028
已知的左摄像机(6)的转换矩阵PⅠ,Ⅱ及右摄像机(4)的转换矩阵PⅠ,Ⅲ,可以由下两式重建得到激光点在三维靶标(1)坐标系下的坐标
Figure FDA0002356545530000029
Figure FDA00023565455300000210
Figure FDA00023565455300000211
其中,sⅠ,Ⅱ和sⅠ,Ⅲ是尺度因子;
由激光点
Figure FDA00023565455300000212
在激光面Π上,则
Figure FDA00023565455300000213
由上式及SVD分解法求出激光面在三维靶标(1)坐标系下的坐标Π
由第二步求得的三维靶标(1)与柱面坐标(5)之间的转换关系
Figure FDA00023565455300000214
在柱面坐标(5)坐标系下激光面的坐标为
Figure FDA00023565455300000215
由第二步求得的柱面靶标(5)与外部摄像机(2)的旋转矩阵RⅣ,Ⅴ、平移向量tⅣ,Ⅴ,得到柱面靶标(5)与外部摄像机(2)的转换关系
Figure FDA00023565455300000216
在外部摄像机(2)坐标系下激光面的坐标为
Figure FDA0002356545530000031
第五步:闭环一致双目主动视觉汽车形貌全局自由重建方法的汽车形貌重建:
汽车驶入左摄像机(6)和右摄像机(4)的视场内,激光器(8)发出的激光平面与汽车相交于一条曲线,相交曲线上的三维点在外部摄像机(2)坐标系下的三维重建点为
Figure FDA0002356545530000032
第二步求得三维靶标(1)和柱面靶标(5)之间的变换矩阵
Figure FDA0002356545530000033
三维靶标(1)和左摄像机(6)的旋转矩阵RⅠ,Ⅱ、平移向量tⅠ,Ⅱ,三维靶标(1)和右摄像机(4)的旋转矩阵RⅠ,Ⅲ、平移向量tⅠ,Ⅲ,三维靶标(1)、柱面靶标(5)和左摄像机(6)构成闭环***,由闭环一致性可以求得左摄像机(6)与柱面靶标(5)之间的转换关系为
RⅡ,Ⅳ=RⅠ,ⅡRⅠ,Ⅳ
tⅡ,Ⅳ=tⅠ,Ⅳ-tⅠ,Ⅱ
同理,由于三维靶标(1)、柱面靶标(5)和右摄像机(4)构成闭环***,由闭环一致性可求得右摄像机(4)和柱面靶标(5)之间的转换关系为
RⅢ,Ⅳ=RⅠⅢRⅠ,Ⅳ
tⅢ,Ⅳ=tⅠ,Ⅳ-tⅠⅢ
统一到柱面靶标(5)坐标系下激光点的三维重建坐标
Figure FDA0002356545530000034
由SVD分解法和以下三式求出:
Figure FDA0002356545530000035
Figure FDA0002356545530000036
Figure FDA0002356545530000037
由第四步求得的柱面靶标(5)与外部摄像机(2)之间的转换关系
Figure FDA0002356545530000038
在外部摄像机(2)坐标系下车身激光点的三维重建坐标
Figure FDA0002356545530000039
Figure FDA0002356545530000041
2.按照权利要求1所述的闭环一致双目主动视觉汽车形貌全局自由重建方法,其特征在于所述的外部摄像机(2)为具有窄带滤光片的广角摄像机。
3.按照权利要求1所述的闭环一致双目主动视觉汽车形貌全局自由重建方法,其特征在于所述的右摄像机(4)为具有窄带滤光片的广角摄像机。
4.按照权利要求1所述的闭环一致双目主动视觉汽车形貌全局自由重建方法,其特征在于所述的柱面靶标(5)是一个空心圆柱,外表面粘贴有纹理图片,上部加工两个螺纹孔。
5.按照权利要求1所述的闭环一致双目主动视觉汽车形貌全局自由重建方法,其特征在于所述的左摄像机(6)为具有窄带滤光片的广角摄像机。
6.按照权利要求1所述的闭环一致双目主动视觉汽车形貌全局自由重建方法,其特征在于所述的螺纹杆(7)为加工有外螺纹的圆杆。
7.按照权利要求1所述的闭环一致双目主动视觉汽车形貌全局自由重建方法,其特征在于所述的激光器(8)为可发射一个面激光的圆柱形零件,激光器(8)发出的激光波长与外部摄像机(2)、右摄像机(4)、左摄像机(6)的窄带滤光片的带通波长一致。
8.按照权利要求1所述的闭环一致双目主动视觉汽车形貌全局自由重建方法,其特征在于所述的连接杆(9)由一个钢制的球头和钢制的短圆柱焊接而成,短圆柱外表面加工有螺纹。
9.按照权利要求1所述的闭环一致双目主动视觉汽车形貌全局自由重建方法,其特征在于所述的固定座(10)由一个圆形底座和一个圆柱焊接而成,圆柱内侧加工有内球面,圆形底座加工有四个通孔。
CN201910032152.2A 2019-01-14 2019-01-14 闭环一致双目主动视觉汽车形貌全局自由重建***与方法 Expired - Fee Related CN109540033B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910032152.2A CN109540033B (zh) 2019-01-14 2019-01-14 闭环一致双目主动视觉汽车形貌全局自由重建***与方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910032152.2A CN109540033B (zh) 2019-01-14 2019-01-14 闭环一致双目主动视觉汽车形貌全局自由重建***与方法

Publications (2)

Publication Number Publication Date
CN109540033A CN109540033A (zh) 2019-03-29
CN109540033B true CN109540033B (zh) 2020-05-08

Family

ID=65835457

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910032152.2A Expired - Fee Related CN109540033B (zh) 2019-01-14 2019-01-14 闭环一致双目主动视觉汽车形貌全局自由重建***与方法

Country Status (1)

Country Link
CN (1) CN109540033B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110148183B (zh) * 2019-05-08 2022-09-06 云南大学 利用球及极点极线标定摄像机的方法、存储介质和***
CN111174724B (zh) * 2019-12-31 2024-06-07 吉林大学 基于一维参考物的汽车特征点视觉重建***与方法
CN111242901A (zh) * 2019-12-31 2020-06-05 吉林大学 基于空间点的汽车检测无共视场相机全局标定***与方法
CN111811421B (zh) * 2020-07-17 2021-09-03 中国人民解放军国防科技大学 一种高速实时形变监测方法及***
CN112082528A (zh) * 2020-09-21 2020-12-15 四川大学 一种模型试验地形测量装置及方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101358631B1 (ko) * 2012-06-01 2014-02-04 주식회사 디오에프연구소 카메라와 프로젝터가 스테이지 수평 회전축 회전유동부와 결합된 2축 모션부를 갖춘 치과용 데스크탑 3차원 스캐너
CN203893829U (zh) * 2014-06-25 2014-10-22 吉林大学 汽车形貌主动视觉测量的激光扫描平面三维标定靶标
CN106840041A (zh) * 2017-04-07 2017-06-13 吉林大学 基于双目主动视觉的汽车形貌扫描仪
CN107883870B (zh) * 2017-10-24 2019-12-03 四川雷得兴业信息科技有限公司 基于双目视觉***和激光跟踪仪测量***的全局标定方法
CN209230551U (zh) * 2019-01-14 2019-08-09 吉林大学 闭环一致双目主动视觉汽车形貌全局自由重建***

Also Published As

Publication number Publication date
CN109540033A (zh) 2019-03-29

Similar Documents

Publication Publication Date Title
CN109540033B (zh) 闭环一致双目主动视觉汽车形貌全局自由重建***与方法
CN105252341B (zh) 五轴数控机床动态误差视觉测量方法
CN107971831B (zh) 数控机床高动态大范围任意轮廓误差单目六维测量方法
CN105004324B (zh) 一种具有三角测距功能的单目视觉传感器
WO2020199439A1 (zh) 基于单双目混合测量的三维点云计算方法
CN108871190B (zh) 一种用于双目立体视觉测量中的手持球型靶标及测量方法
CN111879354A (zh) 一种无人机精细化测量***
CN108489398A (zh) 一种广角场景下激光加单目视觉测量三维坐标的方法
CN113724337B (zh) 一种无需依赖云台角度的相机动态外参标定方法及装置
CN109540040A (zh) 基于无约束共心光束族汽车形貌主动视觉检测***与方法
CN114705122A (zh) 一种大视场立体视觉标定方法
CN115096213B (zh) 一种基于多棱锥反射镜的内螺纹双目检测方法
CN111174698A (zh) 基于面光场的汽车检测无共视场相机全局标定***与方法
CN209230551U (zh) 闭环一致双目主动视觉汽车形貌全局自由重建***
Wang et al. Light-field-assisted phase unwrapping of fringe projection profilometry
CN209399945U (zh) 基于无约束共心光束族汽车形貌主动视觉检测***
CN117346694A (zh) 复合面型样品的检测方法、检测***
CN109540042B (zh) 基于无约束光平面的汽车形貌主动视觉检测***与方法
Zou et al. Flexible extrinsic parameter calibration for multicameras with nonoverlapping field of view
CN111242901A (zh) 基于空间点的汽车检测无共视场相机全局标定***与方法
Zhu et al. Rotation axis calibration of laser line rotating-scan system for 3D reconstruction
CN211060859U (zh) 基于三角形阵列仿射不变量的汽车形貌重建***
CN211060857U (zh) 基于一维参考物的汽车特征点视觉重建***
CN110857850A (zh) 一种结构光三维扫描装置及其标定方法和使用方法
CN209399941U (zh) 闭环一致单目主动视觉汽车形貌全局自由重建***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200508

Termination date: 20220114

CF01 Termination of patent right due to non-payment of annual fee