CN115880373B - 基于新型编码特征的立体视觉***的标定板及标定方法 - Google Patents
基于新型编码特征的立体视觉***的标定板及标定方法 Download PDFInfo
- Publication number
- CN115880373B CN115880373B CN202211688078.8A CN202211688078A CN115880373B CN 115880373 B CN115880373 B CN 115880373B CN 202211688078 A CN202211688078 A CN 202211688078A CN 115880373 B CN115880373 B CN 115880373B
- Authority
- CN
- China
- Prior art keywords
- coding
- point
- circle
- calibration
- points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 239000007787 solid Substances 0.000 claims abstract description 30
- 238000012937 correction Methods 0.000 claims abstract description 18
- 239000011159 matrix material Substances 0.000 claims description 66
- 238000005070 sampling Methods 0.000 claims description 21
- 238000003384 imaging method Methods 0.000 claims description 19
- 238000013519 translation Methods 0.000 claims description 14
- 230000000877 morphologic effect Effects 0.000 claims description 10
- 230000009466 transformation Effects 0.000 claims description 9
- 239000003550 marker Substances 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 claims description 3
- 229910002056 binary alloy Inorganic materials 0.000 claims description 3
- 238000005119 centrifugation Methods 0.000 claims description 3
- 230000005484 gravity Effects 0.000 claims description 3
- 238000005259 measurement Methods 0.000 abstract description 15
- 238000005516 engineering process Methods 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 11
- 238000000605 extraction Methods 0.000 description 4
- 239000000243 solution Substances 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000000386 microscopy Methods 0.000 description 3
- 125000003275 alpha amino acid group Chemical group 0.000 description 2
- 150000001875 compounds Chemical class 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 108091026890 Coding region Proteins 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000002905 metal composite material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种基于新型编码特征的立体视觉***的标定板及标定方法，包括板体，所述板体为平面结构，所述板体上分布有特征图元，所述特征图元包括实心小圆、实心大圆、同心圆和编码圆，所述同心圆由外环带和中心目标点组成，所述编码圆采用多分度编码，由编码带和中心目标点组成，所述编码带由扇形编码块组成，所述编码带包含圆形目标的唯一身份信息。充分利用目标特征点的不同属性，提高特征识别、定位与编码的稳定性。此外，本发明提出了立体显微视觉标定偏差校正技术，提高了立体显微视觉***标定结果的精度和鲁棒性，增强了立体显微视觉***的量测能力。
Description
技术领域
本发明属于立体视觉标定技术领域，本发明涉及一种基于新型编码特征的立体视觉***的标定板及标定方法，尤其适用于立体显微视觉***。
背景技术
近年来，微型结构、微型制造、微型检测等技术得到了极大的发展和应用，特别是在微观图像采集、微装配、微操作等技术领域，由于面向的对象尺寸往往在微米级甚至纳米级，对几何量测精度的要求极高，因此需要使用显微视觉进行制造过程的监控和器件尺寸的测量等。从技术层面来看，显微视觉***具有视场小、景深小、畸变大等特点，致使传统的机器视觉***理论与方法难以直接应用于显微视觉***。
显微视觉***分为单目、双目、多目等类型，无论是用于观测目标的特征还是进行获取操作器与目标之间的相对位姿，都需要预先实现对显微***的标定。相机内外参数标定是机器视觉***获取目标对象空间三维信息的必备基础和前提，显微视觉***因其工作场景的特殊性，对标定的要求更高，但鉴于其成像模式、等效焦距不同于宏观工业相机，传统的视觉***标定方法不能得到理想的标定结果。为了提升显微视觉***的检测范围和量测精度，采用的立体显微视觉***由多个（两个以上）的相机及镜头组成，扩大显微视觉观测视场的同时能够有效减小大范围覆盖成像时的畸变。通过利用光学显微***及高质量的视觉传感器实现对微小物体的感知、识别和测量，使得机器视觉技术在微观世界得到应用和延伸。目前鲜有针对立体显微视觉***专门进行开发的标定设备、方法，导致标定流程复杂、繁琐，标定成本较高；同时缺少针对显微视觉标定的偏差修正理论方法研究，造成了立体显微视觉***精度不高、测量不足的问题。因此，亟需研究适用于立体显微视觉***的校正方法，克服显微视觉***存在的局限性。
公开号CN106485757A公开了一种基于实心圆标定板的立体视觉***标定平台及标定方法，标定板是基于实心圆，首先利用Canny Zernike组合算法对靶标圆心进行识别并提出基于三角形标记的圆心排序方法。接着基于线性针孔模型获得立体视觉***的内外参数，然后分别对左右摄像机内外参数进行优化，优化变量数目减半，获得外参数近似解。最后以实心圆靶标对角线上两实心圆的距离作为约束条件，对摄像机外参数进行优化，获得外参数最优解。该标定板的特征识别、定位与编码的稳定性较差，并不适用于立体显微视觉***。
发明内容
本发明的目的在于提供一种基于新型编码特征的立体视觉***的标定板及标定方法，该标定板充分利用目标特征点的不同属性，提高了特征识别、定位与编码的稳定性。此外，本发明提出了立体显微视觉标定偏差校正技术，提高了立体显微视觉***标定结果的精度和鲁棒性，增强了立体显微视觉***的量测能力。
实现本发明目的的技术解决方案为：
一种基于新型编码特征的立体视觉***的标定板，包括板体，所述板体为平面结构，所述板体上分布有特征图元，所述特征图元包括实心小圆、实心大圆、同心圆和编码圆，所述同心圆由外环带和中心目标点组成，所述编码圆采用多分度编码，由编码带和中心目标点组成，所述编码带由扇形编码块组成，所述编码带包含圆形目标的唯一身份信息。
优选的技术方案中，所述编码带按照一定角度等分为份，每一份对应的角度为，每一份按照黑色或者白色分布，对应二进制“1”或“0”，将编码带二进制数中最小的
数所对应的十进制数作为该编码圆的编号。
优选的技术方案中，对标定板中同心圆从开始编码，码值范围为，其它实心圆的编码范围为，其中，为标
定板上特征图元的数量，编码方法为从上到下、从右至左依次编码。
本发明还公开了一种基于新型编码特征的立体视觉***标定方法，包括以下步骤：
S01：获取标定图像，提取标定板特征图元中心，所述标定板为上述的标定板；
S02：对特征图元进行编码；
S03：根据标定板得到成像模型，得到相机的内外参数矩阵；
S04：对得到的相机的内外参数矩阵的偏差进行校正。
优选的技术方案中，所述步骤S01提取标定板特征图元中心的方法包括：
S11：对图像进行二值化处理；
S12：使用形态学算子对图像进行去噪处理，并从标定板图像中分离出特征图元；
S13：椭圆边缘拟合和中心点定位；
S14：确定特征图元中心点。
优选的技术方案中，所述步骤S13椭圆边缘拟合和中心点定位的方法包括：
S131：通过一组约束准则对提取所得的区域信息进行筛选，得到符合要求的特征图元轮廓，所述约束准则如下：
准则Ⅰ：投射倾斜准则：若投影角度最大值为，则图像中目标椭圆轮廓的周长
和面积应满足：
其中，、为椭圆周长的最小值和最大值；、为椭圆面积的最小值
和最大值；
准则Ⅱ：偏心度准则：在准则Ⅰ的基础上，定义椭圆的偏心度为，当投
影角度小于时，满足：
其中，为椭圆圆度最小值；
准则Ⅲ：边界准则：候选图元区域边缘点需满足条件：
其中，为区域边缘距离图像边界的最小阈值；、分别为图像的宽度和高度；
准则Ⅳ：灰度准则：根据图像二值化的结果去除目标背景，为前景区域内的灰度
中值，为背景区域内的灰度中值，和需满足以下条件：
其中，为区分前景与背景的灰度阈值，为前景与背景灰度差的最小值；
准则Ⅴ：离心准则：对于同心圆和编码圆，外环带、编码带与目标点处于相近位置，
计算各个轮廓之间的距离，若满足式(22)，则判定两个区域中有一个伪目标点区域；
其中，为编码带内侧圆的半径，为编码带外径上像素点和目标点中心距离
的最大值；
S132：完成特征图元椭圆区域的提取后，对特征图元的边缘点集合采用最小二乘
法进行拟合：
设边缘点集合，其中，计算的散布矩阵，其
中如下式所示：
通过计算矩阵的最大特征值对应的特征向量，得到特征图元的拟合椭圆，获
取椭圆的五个参数，其中为椭圆的中心坐标，为长轴，为短轴，为
椭圆的旋转角。
优选的技术方案中，所述步骤S14确定特征图元中心点的方法包括：
特征图元圆心点在的真实投影坐标为，求取拟合椭圆和特征图元边缘上
距离最远的两个点的坐标，分别记为、和、，则点坐标根据
以下准则求取：如果两组坐标的中点距离小于一个设定值，取这两个点的中点作为点坐
标；如果大于设定值，则过这两个中点作一条直线与圆成像平面相交于、两
点，利用射影变换中存在的直线不变和简比不变性质，得到：
其中，为圆的半径；
中心点的最终坐标如式(25)所示：
其中，为拟合椭圆和特征图元边缘上距离最远的两个点中点的距离，为距离
阈值。
优选的技术方案中，所述步骤S02中对特征图元进行编码包括：
对于编码圆，经过拟合后得到3个椭圆轮廓，为识别出的目标圆拟合边缘，
为目标圆编码带外边界，为外边界；取，的中间椭圆为编码识别区域，按照公
式(26)把椭圆逆仿射为单位圆：
其中为采样点坐标，为以为旋转角的旋转变换矩阵，和为椭圆拟合所得的长短轴，为椭圆旋转角，将0~360°等分多份，每一份对应一个采样点，为目标点椭圆拟合所得的中心坐标；
以单位圆上灰度跳变的位置作为起始点，每隔角度对编码带进行二进制编
码，采用编码带内外边界，的中间像素点的灰度值作为编码点的灰度值，其次，根据编
码标志点的几何信息，在编码带中径上等间隔设置多个采样点，对于每一个采样点使用
式(26)计算坐标，从跳变点开始，每隔多个采样点计算一次对应编码，若多个点中有半数及
以上的采样点为白色，则采样点所在的二进制为0，否则该位置为1；对所得的二进制编码循
环，找出其中最小的编码，其对应的十进制数为该编码标志点的编号；
当码值为0时，编码圆蜕化为实心圆，当码值为二进制各位都为1时，编码圆蜕化为
同心圆，对标定板中同心圆从开始编码，码值范围为，其它实心圆的编码
范围为，其中，为标定板上特征图元的数量，编码方法为
从上到下、从右至左依次编码。
优选的技术方案中，所述步骤S03得到相机的内外参数矩阵包括：
世界坐标系与号相机坐标系重合，则***中相对于世界坐标系的相机所有参数
矩阵表示为：
其中，，在立体视觉***中表示相机的数目；，与分别表示两相邻摄像机之间的旋转矩阵与平移向量，表示单位矩阵，表示***
中每一摄像机的内部参数矩阵；
根据标定板得到立体显微视觉***成像模型为：
其中，表示标志点的图像坐标，下标，表示位姿变化的次数，表示不同位姿下的标志点，为相机的缩放比例因子。
立体显微视觉***的标定任务即根据标志点成像坐标及其之间的
距离约束关系，为相机的标号，为标定板的像幅标号。求解相机相对位姿矩阵，其中
包括相机的内部参数矩阵与外部参数矩阵。
通过LM迭代法求解式(28)，得到相机的内外参数矩阵。
优选的技术方案中，所述步骤S04中校正的方法包括：
S41：选择多目相机中的两个作为一组进行偏差校正，其中用于建立重投影误差分
析方程的特征点为编码圆和同心圆目标点，设为目标点的齐次世界坐标集合，
则有：
其中，下标表示相机组，、分别表示一组中的左右相机，是所有参与标定
运算的标志点集；和分别为内参、外参矩阵，为参数修正过程矩阵；由上式可得左右
相机成像点之间的关系为：
其中，，设特征点重投影的坐标集为
，则其与存在如下关系：
其中，、分别为经补偿后的旋转和平移矩阵，根据式(31)得到特征点的重投
影误差为：
S42：针对标定板中的编码圆和同心圆特征点坐标集和重投影坐标集，采用岭回归算法建立如下目标函数：
其中，为罚项系数，为特征点数量；
接着通过单位四元数表示，如式(34)所示：
其中，，且；
S43：建立特征点的原始坐标和经过显微视觉***的重投影坐标的协方差矩阵：
其中，，分别表示坐标点集和重投影点集的重心，
即目标进行几何变换的中心点；
根据式(36)，构造对称矩阵：
其中，矩阵元素，；；为3×3单位阵；为矩
阵的迹；
求解矩阵的最大特征值对应的特征向量，所得结果即为单位四元数，
然后根据式(34)得到校正后的旋转矩阵；
与经校正后的平移矩阵存在如式(37)所示关系：
得到经补偿后的平移矩阵，最终获得修正后的标定结果。
本发明与现有技术相比，其显著优点为：
该基于新型编码特征的立体视觉标定板，充分利用目标特征点的不同属性，通过融合实心小圆、实心大圆、同心圆、编码圆标志点等不同形态的特征图元，并对同心圆、编码圆等特殊图元的多层轮廓进行提取，提高标定点中心坐标检测的准确性，同时也方便编码，保证编码顺序的准确性，为实现较佳的显微视觉***标定效果提供数据支撑。
此外，开发了针对显微视觉***的标定偏差校正方法，进一步提升立体显微视觉***的标定参数精度，增强了显微视觉***的量测能力，为实现立体显微视觉***在微光机电、生物细胞注射、微型机器人操作等领域的应用及拓展提供了技术参考与借鉴。
附图说明
图1为实施例的基于新型编码特征的立体视觉***标定板的示意图；
图2为实施例的基于十分度编码圆示意图；
图3为实施例的基于形态学算子的图像预处理；
图4为实施例的灰度准则适用情况；
图5为实施例的椭圆拟合示例；
图6为实施例的特征图元中心点坐标计算示意图；
图7为实施例的编码带编码流程图；
图8为实施例的标定板编码示意图；
图9为实施例的显微视觉透视投影过程；
图10为实施例的标定板成像；
图11为实施例的偏差校正示意图；
图12为实施例的重投影误差比较；
图13为实施例的标定板三维重构分布图；
图14为实施例的编码圆距离测量验证；
图15为实施例的重投影测距结果比较。
具体实施方式
本发明的原理是：针对目前立体显微视觉***缺乏完善的标定设备、校正方法的现状，本发明设计了一种基于新型编码特征的立体视觉标定板，如图1所示，充分利用目标特征点的不同属性，提高特征识别、定位与编码的稳定性。此外，本发明提出了立体显微视觉标定偏差校正技术，提高了立体显微视觉***标定结果的精度和鲁棒性，增强了立体显微视觉***的量测能力。
实施例1：
如图1所示，一种基于新型编码特征的立体视觉***的标定板，包括板体，板体为平面结构，板体上分布有特征图元，特征图元包括实心小圆、实心大圆、同心圆和编码圆，同心圆由外环带和中心目标点组成，编码圆采用多分度编码，由编码带和中心目标点组成，编码带由扇形编码块组成，编码带包含圆形目标的唯一身份信息。
一实施例中，编码带按照一定角度等分为份，每一份对应的角度为，每一
份按照黑色或者白色分布，对应二进制“1”或“0”，每个编码圆的编码可以表示为：
在编码带中，任何一位都可以视为起始位，因此，对于位编码带，一共对应个
二进制数，定义这个二进制数中最小的数所对应的十进制数为该编码圆的编号。
具体的，图2所示为一个10位编码带的示例图，按照顺时针顺序读取，该编码带共对应10个二进制数：0001001101，0010011010，0100110100，1001101000，0011010001，0110100010，1101000100，1010001001，0100010011，1000100110。在这10个数中，0001001101最小，所对应的十进制数为77，因此，定义该编码标志点的编号为77。
一实施例中，对标定板中同心圆从开始编码，码值范围为，其它
实心圆的编码范围为，其中，为标定板上特征图元的数
量，编码方法为从上到下、从右至左依次编码。
另一实施例中，一种基于新型编码特征的立体视觉***标定方法，包括以下步骤：
S01：获取标定图像，提取标定板特征图元中心，标定板为上述的标定板；
S02：对特征图元进行编码；
S03：根据标定板得到成像模型，得到相机的内外参数矩阵；
S04：对得到的相机的内外参数矩阵的偏差进行校正。
一实施例中，步骤S01提取标定板特征图元中心的方法包括：
S11：对图像进行二值化处理；
S12：使用形态学算子对图像进行去噪处理，并从标定板图像中分离出特征图元；
S13：椭圆边缘拟合和中心点定位；
S14：确定特征图元中心点。
具体的，提取标定板特征图形中心点坐标是视觉***标定的基础工作，这一过程主要通过数字图像处理来实现，为此采用针对圆形的高精度图像处理算法，提高特征点提取的精度和鲁棒性。
步骤11：基于形态学算子的去噪和特征图元提取。由于环境光、相机自身缺陷等因素，拍摄的标定板图像存在背景噪声，会造成特征提取困难，因此需对标定板图像进行去噪。通过引入形态学算子，根据特征图元的结构信息建立形态结构元素集合，通过结构元素集合信息进行相关运算，得到特征的真实形态。
如图3所示，首先采用最大类间方差法，对图像进行二值化处理，其通过式(14)得
到一副图像的最佳分割灰度阈值，其中为像素灰度值。根据阈值将图像像素分为
小于等于和大于阈值两类，、分别为两类像素的概率，、则分别为两类像素的平
均值。将两类像素灰度值分别赋值0和255，即完成了图像的二值化处理。
完成二值化后，使用形态学算子对图像进行去噪处理，并从标定板图像中分离出
特征图元。使用到的形态学算子主要有膨胀、开运算和闭运算。腐蚀和膨胀的数学描述分别
如式(15)和(16)所示，其中为源图像，为结构元素，为中与相同大小的图像块，为的中心点像素，和分别为与、或运算。
然后采用开运算消除图像中和特征图元边缘的细小噪声点，然后使用膨胀运算，填补特征图元中的空洞，最后使用闭运算，平滑特征图元的边界，经过以上形态学运算后，即可提取到完整的特征图元。
步骤12：椭圆边缘拟合和中心点定位。圆形特征图元经过透视投影成像后投射为椭圆，根据几何原理，通过一组约束准则对提取所得的区域信息进行筛选，得到符合要求的特征图元轮廓。筛选准则如下：
准则Ⅰ：投射倾斜准则。若投影角度最大值为（一般可以取），则图像中
目标椭圆轮廓的周长和面积应满足
其中，、为范围内，椭圆周长的最小值和最大值；、为范围内，椭圆面积的最小值和最大值。
准则Ⅱ：偏心度准则。在准则Ⅰ的基础上，定义椭圆的偏心度为，当投
影角度小于时，满足：
其中，为椭圆圆度最小值，一般可取。
准则Ⅲ：边界准则。如果候选图元区域过于靠近图像边界，其有可能无法完整在图
像中显示，导致无法获取正确的中心点，因此区域边缘点需满足条件：
式(20)中，为区域边缘距离图像边界的最小阈值；、分别为图像的宽度和高
度。
准则Ⅳ：灰度准则。根据图像二值化的结果去除目标背景。图4为灰度准则筛选区
域的示意图。图中，椭圆是目标点轮廓在图像平面的像，是与同心。可以看出，内部
为前景，其像素灰度接近白色，和间的环形区域为背景，其像素灰度接近黑色，二者对
比度较大。设为前景区域内的灰度中值，为背景区域内的灰度中值，和需满足以
下条件：
其中，为区分前景与背景的灰度阈值，为前景与背景灰度差的最小值。
准则Ⅴ：离心准则。对于同心圆和编码圆，外环带、编码带与目标点处于相近位置，
因此可以计算各个轮廓之间的距离，若满足式(22)，则可以判定两个区域中有一个伪
目标点区域。
式(22)中，为编码带内侧圆的半径，为编码带外径上像素点和目标点中心
距离的最大值。
完成特征图元椭圆区域的提取后，对特征图元的边缘点集合采用最小二乘法进
行拟合。设边缘点集合，其中，计算的散布矩阵，其
中如下式所示：
通过计算矩阵的最大特征值对应的特征向量，即可得到特征图元的拟合椭
圆，获取椭圆的五个参数，其中为椭圆的中心坐标，为长轴，为短
轴，为椭圆的旋转角，如图5所示为椭圆拟合的示意图和拟合结果。
步骤13：确定特征图元中心点。假定特征图元圆心点在的真实投影坐标为，求取拟合椭圆和特征图元边缘上距离最远的两个点的坐标，分别记为、和、，则点坐标根据以下准则求取：如果两组坐标的中点距离小于
一个设定值，取这两个点的中点作为点坐标。如果大于设定值，则过这两个中点作一条直
线与圆成像平面相交于、两点，利用射影变换中存在的直线不变和简比不变
性质，可以得到：
其中，为圆的半径，因此中心点的最终坐标如式(25)所示，其中为
拟合椭圆和特征图元边缘上距离最远的两个点中点的距离，为距离阈值。特征图元中心
点坐标的求取如图6所示。
步骤二：显微视觉***的标定与误差校正。显微视觉***为针孔相机成像模型，为获取目标的精确坐标信息，需要对视觉***进行高精度标定，确定像机的内参、外参、畸变参数等，标定结果的好坏直接影响显微视觉***的测量精度和稳定性。
步骤21：对特征图元进行编码。设计的新型标定板上融合了实心圆、同心圆、编码
圆等多种图案，为了在标定过程中唯一确定一个点，需要对所有的特征图元进行编码。首先
对于编码圆，经过步骤13后会拟合出3个椭圆轮廓，如图5所示，为识别出的目标圆拟合
边缘，为目标圆编码带外边界，为外边界。取，的中间椭圆为编码识别区
域，按照公式(26)把椭圆逆仿射为单位圆，其中为采样点坐标，
为以为旋转角的旋转变换矩阵，和为椭圆拟合所得的长短轴，为椭圆旋转角，将0~
360°等分60份，每一份对应一个采样点，为目标点椭圆拟合所得的中心坐标。
然后，以单位圆上灰度跳变的位置作为起始点，每隔角度对编码带进行二
进制编码，采用编码带内外边界，的中间像素点的灰度值作为编码点的灰度值，其次，
根据编码标志点的几何信息，在编码带中径上等间隔设置60个采样
点，对于每一个采样点使用式(26)计算坐标，从跳变点开始，每隔6个采样点计算一次对应
编码，若6个点中有3个及以上的采样点为白色，则这6个采样点所在的二进制为0，否则该位
置为1。对所得的十位二进制编码循环十次，找出其中最小的编码，其对应的十进制数为该
编码标志点的编号，图7所示为编码圆编码的流程图。以十分度编码圆为例，其码值范围为0
~1023，当码值为0时（二进制0000000000），编码圆蜕化为实心圆，当码值为1023时（二进制
1111111111），编码圆蜕化为同心圆。为了确保特征图元编码的唯一性，对标定板中同心圆
从1024开始编码，码值范围为，其它实心圆的编码范围则为，其中为标定板上特征图元的数量，编码方法为从上到
下、从右至左依次编码，如图8所示为标定板的编码示意图。
步骤22：标定与偏差校正。视觉***的成像过程可以用透视投影模型来表示，如图
9所示。为了保证测试目标能够始终在显微***的有效视场内，全方位实现目标图像采集，
避免因视场受限而导致目标成像时产生较大的非线性畸变，采用由多个视觉通道构成的立
体显微视觉***，对标定板的成像如图10所示。假设世界坐标系与号相机坐标系重合，则
***中相对于世界坐标系的相机所有参数矩阵可以表示为：
其中，，在立体视觉***中表示相机的数目；，与分别表示两相邻摄像机之间的旋转矩阵与平移向量，表示单位矩阵，表示***
中每一摄像机的内部参数矩阵。
结合设计的新型编码特征标定板，立体显微视觉***成像模型可以表示为：
其中，表示标志点的图像坐标，下标，表示位姿变化的次数，表示不同位姿下的标志点，为相机的缩放比例因子。
立体显微视觉***的标定任务即根据标志点成像坐标及其之间的
距离约束关系，为相机的标号，为标定板的像幅标号。求解相机相对位姿矩阵，其中
包括相机的内部参数矩阵与外部参数矩阵。
通过LM (Levenberg-Marquarelt)迭代法求解式(28)，得到相机内外参数，作为步骤23中偏差校正的初值。
步骤23：图11所示为立体显微视觉***偏差校正示意图，选择多目相机中的两个
作为一组进行偏差校正，其中用于建立重投影误差分析方程的特征点为编码圆和同心圆目
标点，设为目标点的齐次世界坐标集合，则有：
其中，下标表示相机组，、分别表示一组中的左右相机，是所有参与标定
运算的标志点集；和分别为内参、外参矩阵，为参数修正过程矩阵。由上式可得左右
相机成像点之间的关系为：
其中，。设特征点重投影的坐标集为
，则其与存在如下关系：
其中，、分别为经补偿后的旋转和平移矩阵，根据式(31)可以得到特征点的
重投影误差为：
针对标定板中的编码圆和同心圆特征点坐标集和重投影坐标集，采用岭回归算法建立如下目标函数：
其中，为罚项系数，为特征点数量。
接着通过单位四元数表示，如式(34)所示，其中，且：
由于刚体在三维空间中的运动可以通过有限次数的旋转和平移变换来实现，同时刚体也是有一定体积的，因此需要寻找其旋转的中心点和平移的参考点。通过寻求构成目标的点集主成分来实现姿态表达，因此本发明建立特征点的原始坐标和经过显微视觉***的重投影坐标的协方差矩阵：
其中，，分别表示坐标点集和重投影点集的重心，
即目标进行几何变换的中心点。
接着根据式(36)，构造对称矩阵：
其中，矩阵元素，；；为3×3单位阵；为矩
阵的迹。
求解矩阵的最大特征值对应的特征向量，所得结果即为单位四元数，
然后根据式(34)即可得到校正后的旋转矩阵。
对于立体显微视觉***，还需要对平移矩阵进行校正。与经校正后的平移矩阵
存在如式(37)所示关系，据此可求解出经补偿后的平移矩阵，最终获得修正后的标定结
果。
为验证本实施例的标定误差校正技术，制作大小为3×4cm的标定板，相邻目标点中心的间距为3mm，使用分辨率为2048×2048的相机在3cm的距离上对标定板进行成像，分别测试比较重投影误差、三维坐标误差和目标点距离误差。
测试1：重投影误差。图12所示分别为传统方法和本申请标定的重投影误差图，其中相比传统标定方法，本申请标定结果的平均重投影偏差显著降低，标定的稳定性和一致性均明显提高。图13为使用本申请方法对标定板目标点进行三维重构的平面靶标布局图，可以看出，重构出的标志点空间分布与实际平面标定板是一致的。
测试2：三维坐标测量误差。对标定板上的5个编码圆作为目标点进行三维重构，如图14所示，得到相应的X、Y、Z坐标，分别使用传统标定方法和本申请方法，测量结果如表1所示：
表1 编码圆三维坐标测量结果比较
可以看出本申请对目标的三维重构精度更高、稳定性更强。
测试3：目标点距离计算误差。如图14所示，3个编码圆组成了1个直角三角形，三条边的长度分别为24mm、30mm和38.41875mm，使用测量的三维坐标计算各边长的距离，测量结果如表2和图15所示：
表2 编码圆距离测量结果比较
可以看出本发明所提出的标定误差校正方法所得到的结果稳定性更强、准确性更高。
上述实施例为本发明优选地实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
Claims (9)
1.一种基于新型编码特征的立体视觉***的标定板，包括板体，其特征在于，所述板体为平面结构，所述板体上分布有特征图元，所述特征图元包括实心小圆、实心大圆、同心圆和编码圆，所述同心圆由外环带和中心目标点组成，所述编码圆采用多分度编码，由编码带和中心目标点组成，所述编码带由扇形编码块组成，所述编码带包含圆形目标的唯一身份信息；对标定板中同心圆从开始编码，码值范围为/>，其它实心圆的编码范围为/>，其中，/>为标定板上特征图元的数量，编码方法为从上到下、从右至左依次编码；所述编码圆分布于标定板的角和中心点，所述同心圆位于标定板两条短径的中心，所述实心大圆中4个分别位于标定板中心的四周的横轴和纵轴上，在横轴方向上与中心点间隔1个实心小圆，在纵轴方向与中心点间隔2个实心小圆，余下1个实心大圆则位于横轴上的一个实心大圆的下方，5个实心大圆整体呈非对称结构，所述标定板的其余位置设置实心小圆。
2.根据权利要求1所述的基于新型编码特征的立体视觉***的标定板，其特征在于，所述编码带按照一定角度等分为 份，每一份对应的角度为/>，每一份按照黑色或者白色分布，对应二进制“1”或“0”，将编码带二进制数中最小的数所对应的十进制数作为该编码圆的编号。
3.一种基于新型编码特征的立体视觉***标定方法，其特征在于，包括以下步骤：
S01：获取标定图像，提取标定板特征图元中心，所述标定板为权利要求1-2任一项所述的标定板；
S02：对特征图元进行编码；
S03：根据标定板得到成像模型，得到相机的内外参数矩阵；
S04：对得到的相机的内外参数矩阵的偏差进行校正。
4.根据权利要求3所述的基于新型编码特征的立体视觉***标定方法，其特征在于，所述步骤S01提取标定板特征图元中心的方法包括：
S11：对图像进行二值化处理；
S12：使用形态学算子对图像进行去噪处理，并从标定板图像中分离出特征图元；
S13：椭圆边缘拟合和中心点定位；
S14：确定特征图元中心点。
5.根据权利要求4所述的基于新型编码特征的立体视觉***标定方法，其特征在于，所述步骤S13椭圆边缘拟合和中心点定位的方法包括：
S131：通过一组约束准则对提取所得的区域信息进行筛选，得到符合要求的特征图元轮廓，所述约束准则如下：
准则Ⅰ：投射倾斜准则：若投影角度最大值为，则图像中目标椭圆轮廓的周长/>和面积/>应满足：
，
其中，、/>为椭圆周长的最小值和最大值；/>、/>为椭圆面积的最小值和最大值；
准则Ⅱ：偏心度准则：在准则Ⅰ的基础上，定义椭圆的偏心度为，当投影角度小于/>时，/>满足：
，
其中，为椭圆圆度最小值；准则Ⅲ：边界准则：候选图元区域边缘点/>需满足条件：
，
其中，为区域边缘距离图像边界的最小阈值；/>、/>分别为图像的宽度和高度；
准则Ⅳ：灰度准则：根据图像二值化的结果去除目标背景，为前景区域内的灰度中值，/>为背景区域内的灰度中值，/>和/>需满足以下条件：
，
其中，为区分前景与背景的灰度阈值，/>为前景与背景灰度差的最小值；
准则Ⅴ：离心准则：对于同心圆和编码圆，外环带、编码带与目标点处于相近位置，计算各个轮廓之间的距离，若/>满足式(22)，则判定两个区域中有一个伪目标点区域；
，
其中，为编码带内侧圆的半径，/>为编码带外径上像素点和目标点中心距离的最大值；
S132：完成特征图元椭圆区域的提取后，对特征图元的边缘点集合采用最小二乘法进行拟合：
设边缘点集合，其中/>，计算/>的散布矩阵/>，其中/>如下式所示：
，
通过计算矩阵的最大特征值对应的特征向量，得到特征图元的拟合椭圆，获取椭圆的五个参数/>，其中/>为椭圆的中心坐标，/>为长轴，/>为短轴，/>为椭圆的旋转角。
6.根据权利要求4所述的基于新型编码特征的立体视觉***标定方法，其特征在于，所述步骤S14确定特征图元中心点的方法包括：
特征图元圆心点在的真实投影坐标为，求取拟合椭圆和特征图元边缘上距离最远的两个点的坐标，分别记为/>、/>和/>、/>，则/>点坐标根据以下准则求取：如果两组坐标的中点距离小于一个设定值，取这两个点的中点作为/>点坐标；如果大于设定值，则过这两个中点作一条直线与圆成像平面相交于/>、/>两点，利用射影变换中存在的直线不变和简比不变性质，得到：
，
其中，为圆的半径；
中心点的最终坐标如式(25)所示：
，
其中，为拟合椭圆和特征图元边缘上距离最远的两个点中点的距离，/>为距离阈值。
7.根据权利要求3所述的基于新型编码特征的立体视觉***标定方法，其特征在于，所述步骤S02中对特征图元进行编码包括：
对于编码圆，经过拟合后得到3个椭圆轮廓，为识别出的目标圆拟合边缘，/>为目标圆编码带外边界，/>为外边界；取/>，/>的中间椭圆/>为编码识别区域，按照公式(26)把椭圆/>逆仿射为单位圆：
，
其中为采样点坐标，/>为以/>为旋转角的旋转变换矩阵，/>和/>为椭圆拟合所得的长短轴，/>为椭圆旋转角，将0~360°等分多份，每一份对应一个采样点，为目标点椭圆拟合所得的中心坐标；
以单位圆上灰度跳变的位置作为起始点，每隔角度对编码带进行二进制编码，采用编码带内外边界/>，/>的中间像素点的灰度值作为编码点的灰度值，其次，根据编码标志点的几何信息，在编码带中径/>上等间隔设置多个采样点，对于每一个采样点使用式(26)计算坐标，从跳变点开始，每隔多个采样点计算一次对应编码，若多个点中有半数及以上的采样点为白色，则采样点所在的二进制为0，否则该位置为1；对所得的二进制编码循环，找出其中最小的编码，其对应的十进制数为该编码标志点的编号；
当码值为0时，编码圆蜕化为实心圆，当码值为二进制各位都为1时，编码圆蜕化为同心圆，对标定板中同心圆从开始编码，码值范围为/>，其它实心圆的编码范围为/>，其中，/>为标定板上特征图元的数量，编码方法为从上到下、从右至左依次编码。
8.根据权利要求3所述的基于新型编码特征的立体视觉***标定方法，其特征在于，所述步骤S03得到相机的内外参数矩阵包括：
世界坐标系与号相机坐标系重合，则***中相对于世界坐标系的相机所有参数矩阵表示为：
，
其中，，在立体视觉***中/>表示相机的数目；/>，/>与/>分别表示两相邻摄像机之间的旋转矩阵与平移向量，/>表示单位矩阵，/>表示***中每一摄像机的内部参数矩阵；
根据标定板得到立体显微视觉***成像模型为：
，
其中，表示标志点的图像坐标，下标/>，/>表示位姿变化的次数，表示不同位姿下的标志点，/>为相机的缩放比例因子；
立体显微视觉***的标定任务即根据标志点成像坐标及其之间的距离约束关系，/>为相机的标号，/>为标定板的像幅标号，求解相机相对位姿矩阵/>，其中包括相机的内部参数矩阵/>与外部参数矩阵/>；
通过LM迭代法求解式(28)，得到相机的内外参数矩阵。
9.根据权利要求3所述的基于新型编码特征的立体视觉***标定方法，其特征在于，所述步骤S04中校正的方法包括：
S41：选择多目相机中的两个作为一组进行偏差校正，其中用于建立重投影误差分析方程的特征点为编码圆和同心圆目标点，设为目标点的齐次世界坐标集合，则有：
，
其中，下标表示相机组，/>、/>分别表示一组中的左右相机，/>是所有参与标定运算的标志点集；/>和/>分别为内参、外参矩阵，/>为参数修正过程矩阵；由上式可得左右相机成像点之间的关系为：
，
其中，，设特征点重投影的坐标集为/>，则其与/>存在如下关系：
，
其中，、/>分别为经补偿后的旋转和平移矩阵，根据式(31)得到特征点的重投影误差/>为：
，
S42：针对标定板中的编码圆和同心圆特征点坐标集和重投影坐标集，采用岭回归算法建立如下目标函数：
，
其中，为罚项系数，/>为特征点数量；
接着通过单位四元数表示/>，如式(34)所示：
，
其中，，且/>；
S43：建立特征点的原始坐标和经过显微视觉***的重投影坐标的协方差矩阵：
，
其中，，/>分别表示坐标点集和重投影点集的重心，即目标进行几何变换的中心点；
根据式(36)，构造对称矩阵：
，
其中，矩阵元素，/>；/>；/>为3×3单位阵；/>为矩阵的迹；
求解矩阵的最大特征值对应的特征向量，所得结果即为单位四元数/>，然后根据式(34)得到校正后的旋转矩阵/>；
与经校正后的平移矩阵存在如式(37)所示关系：
，
得到经补偿后的平移矩阵，最终获得修正后的标定结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211688078.8A CN115880373B (zh) | 2022-12-28 | 2022-12-28 | 基于新型编码特征的立体视觉***的标定板及标定方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211688078.8A CN115880373B (zh) | 2022-12-28 | 2022-12-28 | 基于新型编码特征的立体视觉***的标定板及标定方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115880373A CN115880373A (zh) | 2023-03-31 |
| CN115880373B true CN115880373B (zh) | 2023-11-03 |
Family
ID=85755673
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211688078.8A Active CN115880373B (zh) | 2022-12-28 | 2022-12-28 | 基于新型编码特征的立体视觉***的标定板及标定方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115880373B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116619392B (zh) * | 2023-07-24 | 2023-11-07 | 常熟理工学院 | 机器人跨介质视觉的标定板、标定方法及*** |
| CN116687569B (zh) * | 2023-07-28 | 2023-10-03 | 深圳卡尔文科技有限公司 | 一种编码标识手术导航方法、***和存储介质 |
| CN117451000B (zh) * | 2023-12-25 | 2024-03-12 | 山东省路桥集团有限公司 | 一种智轨列车道路路基沉降机器视觉检测方法及*** |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101509763A (zh) * | 2009-03-20 | 2009-08-19 | 天津工业大学 | 单目高精度大型物体三维数字化测量***及其测量方法 |
| CN101950409A (zh) * | 2010-08-30 | 2011-01-19 | 天津工业大学 | 一种基于象限的编码标记点设计方法 |
| CN110246185A (zh) * | 2018-03-07 | 2019-09-17 | 阿里巴巴集团控股有限公司 | 图像处理方法、装置、***、存储介质和标定*** |
| CN111709999A (zh) * | 2020-05-13 | 2020-09-25 | 深圳奥比中光科技有限公司 | 标定板、相机标定方法、装置、电子设备及相机*** |
| CN112614188A (zh) * | 2020-12-07 | 2021-04-06 | 上海交通大学 | 一种基于交比不变性的点阵式标定板及其识别方法 |
| CN113129384A (zh) * | 2021-03-31 | 2021-07-16 | 南京航空航天大学 | 基于一维编码靶标的双目视觉***灵活标定方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8676937B2 (en) * | 2011-05-12 | 2014-03-18 | Jeffrey Alan Rapaport | Social-topical adaptive networking (STAN) system allowing for group based contextual transaction offers and acceptances and hot topic watchdogging |
-
2022
- 2022-12-28 CN CN202211688078.8A patent/CN115880373B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101509763A (zh) * | 2009-03-20 | 2009-08-19 | 天津工业大学 | 单目高精度大型物体三维数字化测量***及其测量方法 |
| CN101950409A (zh) * | 2010-08-30 | 2011-01-19 | 天津工业大学 | 一种基于象限的编码标记点设计方法 |
| CN110246185A (zh) * | 2018-03-07 | 2019-09-17 | 阿里巴巴集团控股有限公司 | 图像处理方法、装置、***、存储介质和标定*** |
| CN111709999A (zh) * | 2020-05-13 | 2020-09-25 | 深圳奥比中光科技有限公司 | 标定板、相机标定方法、装置、电子设备及相机*** |
| CN112614188A (zh) * | 2020-12-07 | 2021-04-06 | 上海交通大学 | 一种基于交比不变性的点阵式标定板及其识别方法 |
| CN113129384A (zh) * | 2021-03-31 | 2021-07-16 | 南京航空航天大学 | 基于一维编码靶标的双目视觉***灵活标定方法 |
Non-Patent Citations (2)
| Title |
|---|
| Zhu WJ et al.《Real-Time 3D Model-Based Tracking of Work-piece with Monocular Camera》.《IEEE》.2016,全文. * |
| 熊雪菲等.《基于双目视觉测量***的编码标志点的检测与重建》.《实验力学》.2020,全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115880373A (zh) | 2023-03-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115880373B (zh) | 基于新型编码特征的立体视觉***的标定板及标定方法 | |
| Kurka et al. | Applications of image processing in robotics and instrumentation | |
| CN113205593B (zh) | 一种基于点云自适应修复的高反光表面结构光场三维重建方法 | |
| CN111223133A (zh) | 一种异源图像的配准方法 | |
| CN101896937A (zh) | 处理轮胎表面的三维图像以便其能够用来检查所述表面的方法 | |
| JP2000227309A (ja) | ３次元位置姿勢センシング装置 | |
| CN113129430B (zh) | 基于双目结构光的水下三维重建方法 | |
| CN107358628B (zh) | 基于靶标的线阵图像处理方法 | |
| CN110763204B (zh) | 一种平面编码靶标及其位姿测量方法 | |
| CN111640158A (zh) | 基于对应掩模的端到端的摄像头与激光雷达外参标定方法 | |
| CN109242774B (zh) | 一种基于多维空间不变特征的平板类零件点云拼接方法 | |
| CN112489193B (zh) | 一种基于结构光的三维重建方法 | |
| CN116309829B (zh) | 一种基于多目视觉的长方体扫描体群解码和位姿测量方法 | |
| CN113963067B (zh) | 一种采用小靶标对大视场视觉传感器进行标定的标定方法 | |
| CN111524193B (zh) | 一种物体二维尺寸的测量方法及测量装置 | |
| CN116402792A (zh) | 一种基于三维点云的空间孔位对接方法 | |
| CN116625258A (zh) | 链条间距测量***及链条间距测量方法 | |
| CN103258327B (zh) | 一种基于二自由度摄像机的单点标定方法 | |
| CN114998448A (zh) | 一种多约束双目鱼眼相机标定与空间点定位的方法 | |
| CN116619392B (zh) | 机器人跨介质视觉的标定板、标定方法及*** | |
| CN113808103A (zh) | 基于图像处理的路面坑洼自动检测方法、设备和存储介质 | |
| Zhao et al. | Binocular vision measurement for large-scale weakly textured ship hull plates using feature points encoding method | |
| CN117314986A (zh) | 基于语义分割的无人机跨模态配电设备巡检图像配准方法 | |
| CN116597016A (zh) | 一种光纤内窥镜图像标定方法 | |
| CN111784643A (zh) | 一种基于交叉线结构光的轮胎切平面获取方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |