CN112669389A - 一种基于视觉引导的自动化标定*** - Google Patents
一种基于视觉引导的自动化标定*** Download PDFInfo
- Publication number
- CN112669389A CN112669389A CN202011422320.8A CN202011422320A CN112669389A CN 112669389 A CN112669389 A CN 112669389A CN 202011422320 A CN202011422320 A CN 202011422320A CN 112669389 A CN112669389 A CN 112669389A
- Authority
- CN
- China
- Prior art keywords
- calibration
- camera
- cameras
- calibration plate
- initial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 12
- 238000000034 method Methods 0.000 claims abstract description 55
- 239000011159 matrix material Substances 0.000 claims description 33
- 238000005457 optimization Methods 0.000 claims description 24
- 230000036544 posture Effects 0.000 claims description 16
- 238000013519 translation Methods 0.000 claims description 16
- 238000003860 storage Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 7
- 238000012897 Levenberg–Marquardt algorithm Methods 0.000 claims description 5
- 239000007787 solid Substances 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 17
- 238000010586 diagram Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 10
- 238000012545 processing Methods 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 239000000835 fiber Substances 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013079 data visualisation Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- XNKARWLGLZGMGX-UHFFFAOYSA-N ethyl 4-(4-chloro-2-methylphenoxy)butanoate Chemical compound CCOC(=O)CCCOC1=CC=C(Cl)C=C1C XNKARWLGLZGMGX-UHFFFAOYSA-N 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013558 reference substance Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Landscapes
- Studio Devices (AREA)
Abstract
本发明公开了一种基于视觉引导的自动化标定***。该***包括:标定车、旋转控制云台、多面标定板、多个相机、数据采集控制模块,其中,多面标定板连接旋转控制云台,数据采集控制模块用于控制标定车负载着多面标定板进行移动,并在移动到相邻两相机的重叠视场时控制对应相机对多面标定板进行拍摄,获取多面标定板的图像数据;数据采集控制模块将拍摄获得的图像数据按照相机编号和多面标定板位置编号进行存储,并对多面标定板的角点进行检测,获得相机间相对姿态。本发明可实现整个标定过程的自动化,可解决相机之间无重叠视场的情况,操作简便的同时获得了较高的标定精度。
Description
技术领域
本发明涉及图形和图像处理技术领域,更具体地,涉及一种基于视觉引导的自动化标定***。
背景技术
面对工业制造生产线更具柔性,加工任务更加复杂多变的趋势,多机器人协作***正在快速发展。在多机器人协作问题中,多相机联合标定技术被用于求解多机器人之间的相对位姿关系(R,T)。
目前相机标定技术大致可分为两类:
第一类:利用专门制作的标定板来确定相机参数。常用的传统相机标定法包括:Faugeras标定法,Tsai两步法,张正友平面标定法。Faugeras标定法的线性模型相机标定是基于线性方程组的最小二乘问题。Tsai标定法需要预先得到一部分参数值,先通过线性方法求解出部分参数,再通过非线性优化求解出剩余相机参数。张正友标定法利用平面标定板在不同视角下的多幅图像,依据设计的单应矩阵,标定得到相机参数。
第二类:自标定法,即根据相机运动过程中所产生的两图像间的对应关系进行标定。如基于无穷远平面、绝对二次曲面的自标定方法、基于Kruppa方程的自标定方法等。自标定法不依赖于标定参考物,灵活性较高,但是约束条件强,且标定精度低,鲁棒性不足。
经分析,尽管传统相机标定法精度较高,操作较为简便,但对标定物的精度要求较高。此外,对于多相机标定,目前的方案一般需要相机之间存在重叠视场,或者是在一个已知结构的场景中。这并不能满足复杂工况下,标定场景复杂且相机之间无重叠视场的情况。
例如,专利申请CN110689585A公开了一种多相机外参的联合标定方法、装置、设备和介质。具体实现方案为:确定各个相机的共视区域,并在共视区域的图像中获得2D验证点集;对每个相机分别进行外参标定;分别利用所述各相机的当前外参计算每隔验证点的3D坐标,并根据3D坐标计算损失函数;依据所述损失函数进行联合标定,得到各相机最终的外参。
又如,专利申请CN110766759A公开了一种无重叠视场的多相机标定方法及装置。具体实现方案为:将标定板放置于每个相机的视野中;计算每个相机坐标系到标定板的位姿关系;利用双经纬仪三维坐标测量***分别测量每个标定板在上任意n个点在经纬仪坐标下的三维坐标;然后利用3D-3D位姿估计迭代最近点法求解两个标定板之间的位姿关系;利用相机测量的相机与标定板之间的位姿关系,以及经纬仪标定的两个标定板之间的位姿关系计算两个相机之间的关系。
综上,多相机联合标定是一种利用计算机视觉技术获取相机内参,以及多相机间相对姿的技术。该技术被大量运用于多机器人协作***中,但现有方案常常受限于具体场景、标定流程复杂、耗时耗力;且不能很好的满足相机间无重叠视场的情况。
发明内容
本发明的目的是克服上述现有技术的缺陷,提供一种基于视觉引导的自动化标定***,针对多相机联合标定,无需所有相机之间存在重叠视场,并实现了标定过程的自动化。
根据本发明的第一方面,提供一种基于视觉引导的自动化标定***。该***包括:标定车、旋转控制云台、多面标定板、多个相机、数据采集控制模块,其中,多面标定板连接旋转控制云台,数据采集控制模块用于控制标定车负载着多面标定板进行移动,并在移动到相邻两相机的重叠视场时控制对应相机对多面标定板进行拍摄,获取多面标定板的图像数据;数据采集控制模块将拍摄获得的图像数据按照相机编号和多面标定板位置编号进行存储,并对多面标定板的角点进行检测,获得相机间相对姿态。
根据本发明的第二方面,提供一种基于视觉引导的自动化标定方法。该方法包括以下步骤:
控制标定车负载着多面标定板进行移动,并在移动到相邻两相机的重叠视场时控制对应相机对多面标定板进行拍摄,获取多面标定板的图像数据;
将拍摄获得的图像数据按照相机编号和多面标定板位置编号进行存储,并对多面标定板的角点进行检测,获得相机间相对姿态。
与现有技术相比,本发明的优点在于,能够解决相机之间无重叠视场的情况,并实现整个标定过程的自动化,在标定流程方便快捷的同时,可获得较高的标定精度。
通过以下参照附图对本发明的示例性实施例的详细描述,本发明的其它特征及其优点将会变得清楚。
附图说明
被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例,并且连同其说明一起用于解释本发明的原理。
图1是根据本发明一个实施例的基于视觉引导的自动化标定***的示意图;
图2是根据本发明一个实施例的标定小车的示意图;
图3是根据本发明一个实施例的五面立体棋盘格标定板示意图;
图4是根据本发明一个实施例的数据采集与获取的流程图;
图5是根据本发明一个实施例的有重叠视场的相机间相对姿态求解的示意图;
图6是根据本发明一个实施例的无重叠视场的相机间相对姿态求解的示意图;
图7是根据本发明一个实施例的图像分区示意图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中,任何具体值应被解释为仅仅是示例性的,而不是作为限制。因此,示例性实施例的其它例子可以具有不同的值。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
在本发明中,提出了一种基于视觉引导的自动化标定***,实现了多相机联合标定的自动化,参见图1所示,该***整体上包括:标定车10(以四轮小车为例)、旋转控制云台20、多面标定板30、多个相机(示意为3个相机,可采用高分辨率工业相机)和数据采集控制模块(未示出),其中,多面标定板30连接旋转控制云台20,数据采集控制模块用于控制标定车10负载着多面标定板30进行移动,并在移动到相邻两相机的重叠视场时控制对应相机对多面标定板进行拍摄,获取多面标定板的图像数据;数据采集控制模块将拍摄获得的图像数据按照相机编号和多面标定板位置编号进行存储,并对多面标定板的角点进行检测,获得相机间相对姿态。
简言之,所提供的自动化标定***的标定流程主要包括:步骤S1,采集和获取标定图像;步骤S2,求解相机间初始相对姿态;步骤S3,对图像进行重采集控制并利用相机间初始相对姿态计算重投影误差;步骤S4,对全局数据建立姿态误差并进行优化,获得最终的相机间相对姿态。以下将对标定流程的各环节进行具体介绍。
步骤S1,采集和获取标定图像
结合图1,首先利用智能小车和自动化数据采集软件(或称数据采集控制模块)采集图像数据,然后利用张正友标定法计算得到初始化相对姿态。
在一个实施例中,如图2所示,标定车是四轮智能小车,该四轮智能小车承载多面标定板和云控制平台,其中多面标定板连接旋转控制云台,还设置信号收发装置的无线WiFi,可通过无线设备对自动小车进行指令发送和云台控制等操作,使其可以对标定板进行多角度多面度旋转。
例如,参见图3所示,标定板为一五面立体棋盘格标定板。每一面均为7×10的棋盘格标定板,②、③、④、⑤号四块标定板与①号标定板之间的角度为45°,使得不同方位的相机能够检测得到更多角点信息。标定板后接可变换角度的智能云台,固定于智能小车上进行移动。
当标定板移动到相邻两相机之间的重叠视场时,相机一次拍摄得到五个面的角点数据,然后利用两相机的公共角点数据计算得到相对姿态。从而在更短时间内获得更多数据,以便后期优化。
数据采集软件可集成智能小车控制、相机拍摄控制和数据存储与可视化等多个程序。
采集和获取标定图像的过程如图4所示,具体包括:数据采集软件控制智能小车负载着标定板进行移动,当标定板移动到相邻两相机(如相机1与相机2)的重叠视场时,控制智能小车停止移动,并给相机发出拍摄指令;相机对标定板进行拍摄,获取标定板的图像数据;数据采集软件将拍摄获得的图片按照相机编号和标定板位置编号进行存储,并利用可视化程序对标定板的角点进行检测与可视化;控制小车负载着标定板继续移动(如标定板移动到相机2与相机3的重叠视场),重复上述步骤直至数据采集完成。
步骤S2,求解相机间初始相对姿态
对于多个相机中的某两个相机之间,分存在重叠视场和无重叠视场两种情况进行讨论
(a)存在重叠视场的相机间相对姿态求解
根据步骤S1中相机拍摄得到的标定板数据,例如,利用张正友标定法得到各个相机的内参矩阵K以及各个相机与不同位置标定板之间的单相机旋转平移矩阵(R,t)。
对于相邻两个存在重叠视场的相机,如图5所示,利用单相机的旋转平移矩阵,分别计算存在重叠视场相机间的相对姿态,表示为:
R12=R1 -1·R2 (1)
公式(1)中,R12表示存在重叠视场的两个相机,即相机1与相机2之间的旋转平移矩阵,R1,R2分别表示相机1与相机2与其重叠视场中的标定板之间的旋转平移矩阵。
(b)无重叠视场的相机间相对姿态求解
如图6所示,对于相互之间无重叠视场的相机,利用上述求得的两组存在重叠视场的相机间的相对姿态进行转化,进而求解旋转平移矩阵,获得无重叠视场的相机间相对姿态,表示为:
R13=R12 -1·R23 (2)
公式(2)中,R13表示无重叠视场的两个相机,即相机3与相机1之间的旋转平移矩阵;R12与R23是利用公式(1)求出的存在重叠视场相机之间的旋转平移矩阵。
步骤S3,对图像进行重采集控制并利用相机间初始相对姿态计算重投影误差。
为了有效遍历所有相机内部拍摄区域,对相机图片进行拍摄区域划分。如图7所示,将图像划分为9个区域。由于透视成像定理的存在,视觉相机总在其标定采集区域的标定精度高,而在未采集区域的标定精度低。该实施例的核心思想是让小车的标定位置能遍历这九个区域。并且在每个区域都保证小车可以到指定区域。然后相机获取拍摄照片。
如图7可以设置C个相机,其中每个相机都含有p个位置,则至少需要采集C×p位置的图片数据,在图7中,以p的数量设为9为例。
重采集算法过程包括:
步骤S11,依次按区域和标号,构建全集位置队列T。
T={t|t∈C×p}
步骤S12,检查现存图像,构建已采位置队列K。
K={k|k∈C×p}
步骤S13,求集合T和集合K的差集L。
L={l|l∈C×p}
步骤S14,遍历集合L,搜索相机图片,获取当前小车位置,将小车在当前位置下进行前进后退改变。
在上述步骤中,T中表示的所有图像块的标号,例如一张图像中有九块,十张图片就是九十块。每采集一张图片,队列K中就增加一个元素,在求出未采集集合L。此时,发送命令到标定小车,指示到下一区域采集图片。重复上述过程,直到将所有数据全部采集完毕。通过上述操作,得到新的标定板图像数据Dadd。
获取标定图像数据Dadd中角点的三维坐标,通过计算得到的初始相机间RT矩阵及计算得到的单相机内参矩阵K将三维坐标转化为二维坐标:
利用公式(3)得到的生成点二维坐标与目标点二维坐标进行比较,计算初始的重投影误差:
error=||P2D-P3D_2D||2 (4)
在上述公式中,P3D是从标定图片中获取的目标点3维坐标P2D是从单相机标定得到的目标点2维坐标P3D_2D是利用初始相机间RT矩阵及相机内参矩阵K生成的估计点二维坐标,R表示的是旋转矩阵,t是偏移矩阵,P3D_2D是利用初始相机间RT矩阵及相机内参矩阵K生成的估计点二维坐标,u,v表示图像上的像素坐标,xw,yw和zw表示的是三维坐标。
步骤S4,对全局数据建立姿态误差并进行优化
在利用步骤S3求得的初始的相机间相对姿态进行重投影时,计算得到的投影误差较大。为了减小重投影误差、提高标定精度,优选地,对求得的多相机间相对姿态进行全局建模,然后利用列文伯格-马夸尔特算法对重投影误差进行迭代优化,以提高标定精度,得到最终的相机间相对姿态。
全局建模:
minR,tF(x)=‖f(x)-y‖2 (5)
s.t.0≤f(x)≤800
公式(5)中,f(x)是生成的估计点P3D_2D的二维坐标:P3D_2D=K[R,t]P3D,y是单相机标定得到的目标点P2D的二维坐标。由于本发明在采集图像时,图片分辨率为600×800,因此有0≤f(x)≤800,具体情况根据实际标定时的图像数据格式而定。
进一步地,采用列文伯格-马夸尔特算法对投影误差优化,算法的执行过程如下:
步骤S21,给定初始值x0,以及初始优化半径μ。
步骤S22,对于第k次迭代过程,求解:
其中,μ是信赖区域的半径,D为系数矩阵。
步骤S26,如果ρ大于某阈值,则认为近似可行,令xk+1=xk+Δxk。
步骤S27,判断算法是否收敛。如果不收敛则返回第S22步,否则结束。
为清楚起见,对上述过程说明如下:
xk表示经过k次优化后的初始相对姿态数据,xk+1表示经过k+1次优化后的初始相对姿态数据,Δxk表示第k+1次优化过程中,求得的对xk的修正量,f(xk)表示第k次优化后的估计点的二维坐标;J[xk]表示f(xk)关于x一阶导数,D为系数矩阵。
给定的初始值x0是第一相机与第二相机之间的初始相对姿态数据R12。设定的初始优化半径μ可根据实际情况进行具体设定。
在对重投影误差f(x)进行k次迭代优化后,计算的值,其中,ρ是在列文伯格马夸尔特算法中,为了刻画高斯牛顿法中采用的近似二阶泰勒展开式的好坏程度而设置的一个指标,分母J(x)TΔxk是实际函数下降的值,分子f(x+Δxk)-f(x)是近似模型下降的值。
对于检测ρ大小的过程,如果计算获得的ρ值较小,则应缩小优化半径μ(在本实施例中,设定时,缩小优化半径μ,令μ=0.5μ);如果计算获得的ρ值较大,则应放大优化半径μ(在本实施例中,设定时,放大优化半径μ,令μ=2μ)。
在检测到ρ大于预设阈值时,判定表示此次迭代过程采用的近似可行,可令xk+1=xk+Δxk;此时可通过比较迭代优化后的重投影误差与预设重投影误差阈值的大小,来判断算法是否收敛;若迭代优化后的重投影误差小于或等于预设重投影误差阈值,则判定迭代优化完成,将迭代优化后的重投影误差作为第二重投影误差,xk+1即为第一相机与第二相机之间的相对姿态数据。若迭代优化后的重投影误差大于预设重投影误差阈值,则继续执行第k+2次迭代优化。
在优化算法执行完毕后,最终得到的xk+1即为要求的多相机间(R,t)矩阵。本发明利用优化后的相机间相对姿态再次进行重投影误差计算,经验证,与步骤S2求得的初始相机间相对姿态相比,优化后误差减小为初始误差的1/10左右,标定精度大大提升。
综上所述,本发明利用五面立体标定板和智能小车,使得标定过程大大简化,省时省力;利用小车负载标定板移动以及多相机间关系,解决了相机间无重叠视场的情况;利用全局建模及优化,显著提升了标定精度。可解决相机之间无重叠视场的情况;实现整个标定过程的自动化,操作简便的同时获得了较高的标定精度。
通过实际场景的模拟实验,本发明拥有很好的结果,所提出的多相机联合标定***通过利用安装于机器人身上的图像传感器,对多个图像传感器进行标定,进而得到机器人之间的相对位姿关系。
本发明可以是***、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质,其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身,诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如,通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备,或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令,并转发该计算机可读程序指令,以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码,所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等,以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中,通过利用计算机可读程序指令的状态信息来个性化定制电子电路,例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA),该电子电路可以执行计算机可读程序指令,从而实现本发明的各个方面。
这里参照根据本发明实施例的方法、装置(***)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解,流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合,都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器,从而生产出一种机器,使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时,产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中,这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作,从而,存储有指令的计算机可读介质则包括一个制造品,其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上,使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤,以产生计算机实现的过程,从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本发明的多个实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分,所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的***来实现,或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是,通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。
以上已经描述了本发明的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。
Claims (10)
1.一种基于视觉引导的自动化标定***,包括:标定车、旋转控制云台、多面标定板、多个相机、数据采集控制模块,其中,多面标定板连接旋转控制云台,数据采集控制模块用于控制标定车负载着多面标定板进行移动,并在移动到相邻两相机的重叠视场时控制对应相机对多面标定板进行拍摄,获取多面标定板的图像数据;数据采集控制模块将拍摄获得的图像数据按照相机编号和多面标定板位置编号进行存储,并对多面标定板的角点进行检测,获得相机间相对姿态。
2.根据权利要求1所述的***,其特征在于,所述多面标定板是五面立体棋盘格标定板,每一面均为7×10的棋盘格标定板,其中四面标定板设置在另一面标定板的四周,并与该另一面标定板之间的角度设置为45°。
3.根据权利要求1所述的***,其中,所述数据采集控制模块根据以下步骤获得相机间相对姿态:
根据拍摄得到的标定板数据,利用张正友标定法得到各个相机的内参矩阵以及各个相机与不同位置标定板之间的单相机旋转平移矩阵;
对于相邻两个存在重叠视场的相机,利用单相机的旋转平移矩阵,分别计算存在重叠视场相机间的相对姿态;
对于相互之间无重叠视场的相机,利用求得的两组存在重叠视场的相机间的相对姿态来求解旋转平移矩阵;
对相机图片进行拍摄区域划分,控制所述标定车的标定位置遍历所划分的区域,通过重采集拍摄数据,计算初始重投影误差;
对重投影误差进行迭代优化,得到最终的相机间相对姿态。
4.根据权利要求3所述的***,其中,所述计算初始投影误差包括:
设置C个相机,其中每个相机都含有p个位置,至少采集C×p位置的图片数据;
依次按区域和标号,构建全集位置队列T,表示为:
T=(t|t∈C×p}
检查现存图像,构建已采集位置队列K,表示为:
K={k|k∈C×p}
计算集合T和集合K的差集L,表示为:
L={l|l∈C×p}
遍历集合L,搜索相机图片,获取当前标定车位置,将标定车在当前位置下进行前进后退改变;
获取标定图片中角点的三维坐标,通过计算得到的初始相机间的旋转平移矩阵及计算得到的单相机内参矩阵将三维坐标转化为二维坐标:
利用生成点二维坐标与目标点二维坐标进行比较,计算初始的重投影误差:
error=||P2D-P3D_2D||2
7.根据权利要求3所述的***,其中,对于相互之间无重叠视场的相机,利用求得的两组存在重叠视场的相机间的相对姿态来求解旋转平移矩阵表示为:
R13=R12 -1·R23
其中,R13表示无重叠视场的第三相机与第一相机之间的旋转平移矩阵,R12表示存在重叠视场的第一相机与第二相机之间的旋转平移矩阵,R23表示存在重叠视场的第二相机与第三相机之间的旋转平移矩阵。
8.一种基于视觉引导的自动化标定方法,包括以下步骤:
控制标定车负载着多面标定板进行移动,并在移动到相邻两相机的重叠视场时控制对应相机对多面标定板进行拍摄,获取多面标定板的图像数据;
将拍摄获得的图像数据按照相机编号和多面标定板位置编号进行存储,并对多面标定板的角点进行检测,获得相机间相对姿态。
9.一种计算机可读存储介质,其上存储有计算机程序,其中,该程序被处理器执行时实现根据权利要求8所述方法的步骤。
10.一种计算机设备,包括存储器和处理器,在所述存储器上存储有能够在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现权利要求8所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011422320.8A CN112669389A (zh) | 2020-12-08 | 2020-12-08 | 一种基于视觉引导的自动化标定*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011422320.8A CN112669389A (zh) | 2020-12-08 | 2020-12-08 | 一种基于视觉引导的自动化标定*** |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112669389A true CN112669389A (zh) | 2021-04-16 |
Family
ID=75401453
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011422320.8A Pending CN112669389A (zh) | 2020-12-08 | 2020-12-08 | 一种基于视觉引导的自动化标定*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112669389A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114092564A (zh) * | 2021-10-29 | 2022-02-25 | 上海科技大学 | 无重叠视域多相机***的外参数标定方法、***、终端及介质 |
CN117252930A (zh) * | 2023-09-21 | 2023-12-19 | 之江实验室 | 一种大型展厅多相机监控***内外参标定方法和*** |
CN118122655A (zh) * | 2024-05-06 | 2024-06-04 | 苏州芯越智能科技有限公司 | 一种执行机构与相机的标定***、方法及计算机存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103177442A (zh) * | 2013-03-04 | 2013-06-26 | 北京邮电大学 | 一种无重叠视场的相机与二维激光的标定方法 |
CN106097300A (zh) * | 2016-05-27 | 2016-11-09 | 西安交通大学 | 一种基于高精度运动平台的多相机标定方法 |
CN111758120A (zh) * | 2019-10-18 | 2020-10-09 | 深圳市大疆创新科技有限公司 | 摄像装置的标定方法、***、立体标定装置及存储介质 |
-
2020
- 2020-12-08 CN CN202011422320.8A patent/CN112669389A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103177442A (zh) * | 2013-03-04 | 2013-06-26 | 北京邮电大学 | 一种无重叠视场的相机与二维激光的标定方法 |
CN106097300A (zh) * | 2016-05-27 | 2016-11-09 | 西安交通大学 | 一种基于高精度运动平台的多相机标定方法 |
CN111758120A (zh) * | 2019-10-18 | 2020-10-09 | 深圳市大疆创新科技有限公司 | 摄像装置的标定方法、***、立体标定装置及存储介质 |
Non-Patent Citations (3)
Title |
---|
张强: "反向摄像机辅助的结构光三维测量***研究", 中国优秀硕士学位论文全文数据库 信息科技辑, 15 March 2020 (2020-03-15), pages 38 - 54 * |
江国来: "共融移动服务机器人导航与交互关键技术研究", 中国博士学位论文全文数据库 信息科技辑, 15 June 2019 (2019-06-15), pages 22 - 23 * |
王刚 等: "无重叠视场多相机组安装关系的灵活标定", 中国激光, 30 June 2017 (2017-06-30), pages 1 - 6 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114092564A (zh) * | 2021-10-29 | 2022-02-25 | 上海科技大学 | 无重叠视域多相机***的外参数标定方法、***、终端及介质 |
CN114092564B (zh) * | 2021-10-29 | 2024-04-09 | 上海科技大学 | 无重叠视域多相机***的外参数标定方法、***、终端及介质 |
CN117252930A (zh) * | 2023-09-21 | 2023-12-19 | 之江实验室 | 一种大型展厅多相机监控***内外参标定方法和*** |
CN117252930B (zh) * | 2023-09-21 | 2024-05-28 | 之江实验室 | 一种大型展厅多相机监控***内外参标定方法和*** |
CN118122655A (zh) * | 2024-05-06 | 2024-06-04 | 苏州芯越智能科技有限公司 | 一种执行机构与相机的标定***、方法及计算机存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2022120567A1 (zh) | 一种基于视觉引导的自动化标定*** | |
CN110136208B (zh) | 一种机器人视觉伺服***的联合自动标定方法及装置 | |
CN106408612B (zh) | 机器视觉***校准 | |
CN112669389A (zh) | 一种基于视觉引导的自动化标定*** | |
US20200096317A1 (en) | Three-dimensional measurement apparatus, processing method, and non-transitory computer-readable storage medium | |
CN111127422B (zh) | 图像标注方法、装置、***及主机 | |
JP6785860B2 (ja) | 多方向カメラを使用した空間のマッピング | |
US10397550B2 (en) | Apparatus and method for three dimensional surface measurement | |
CN102914293B (zh) | 信息处理设备和信息处理方法 | |
CN111442722A (zh) | 定位方法、装置、存储介质及电子设备 | |
JP5992184B2 (ja) | 画像データ処理装置、画像データ処理方法および画像データ処理用のプログラム | |
CN110111388B (zh) | 三维物***姿参数估计方法及视觉设备 | |
CN111801198A (zh) | 一种手眼标定方法、***及计算机存储介质 | |
CN112330752A (zh) | 多相机联合标定方法、装置、终端设备及可读存储介质 | |
EP2984627A1 (en) | Multi-sensor camera recalibration | |
Fang et al. | Single-shot is enough: Panoramic infrastructure based calibration of multiple cameras and 3D LiDARs | |
Abidi et al. | Pose estimation for camera calibration and landmark tracking | |
WO2022147655A1 (zh) | 定位方法、空间信息获取方法、装置、拍摄设备 | |
Bingwei et al. | Accurate geometric camera calibration technique using multi-views of a non-metric planar grid | |
Mavrinac et al. | Calibration of dual laser-based range cameras for reduced occlusion in 3D imaging | |
CN113709441A (zh) | 一种扫描设备、相机的位姿确定方法、装置及电子设备 | |
CN112788292A (zh) | 巡检观测点的确定方法、装置、巡检机器人和存储介质 | |
Marko et al. | Automatic Stereo Camera Calibration in Real-World Environments Without Defined Calibration Objects | |
Meuel et al. | In-loop radial distortion compensation for long-term mosaicing of aerial videos | |
Ma et al. | A method of camera calibration by iterative optimization algorithm |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |