CN115272459A - 一种四角二维码定向平面靶标装置及其标定方法 - Google Patents

一种四角二维码定向平面靶标装置及其标定方法 Download PDF

Info

Publication number
CN115272459A
CN115272459A CN202210799249.8A CN202210799249A CN115272459A CN 115272459 A CN115272459 A CN 115272459A CN 202210799249 A CN202210799249 A CN 202210799249A CN 115272459 A CN115272459 A CN 115272459A
Authority
CN
China
Prior art keywords
target
pixel
points
point
axis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210799249.8A
Other languages
English (en)
Inventor
童小华
陈鹏
谢欢
叶真
刘世杰
高仪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongji University
Original Assignee
Tongji University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongji University filed Critical Tongji University
Priority to CN202210799249.8A priority Critical patent/CN115272459A/zh
Publication of CN115272459A publication Critical patent/CN115272459A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G06K19/06037—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking multi-dimensional coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/1417—2D bar codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Data Mining & Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Electromagnetism (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Algebra (AREA)
  • Toxicology (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种四角二维码定向平面靶标装置及其标定方法，该装置包括四个ArUco二进制编码以及64个圆点构成的圆点型平面靶标，其中四个ArUco二进制编码位于圆点型平面靶标的四个角上；通过四个ArUco二进制编码对拍摄场景中的圆点型平面靶标进行定位，再通过圆点型平面靶标中面积最大、次大和最小3个圆点建立坐标系，获得圆心三维坐标与二维坐标间的对应关系。与现有技术相比，本发明具有解决了复杂环境靶标定向困难、靶标错检漏检较多导致相机难以标定的问题等优点。

Description

一种四角二维码定向平面靶标装置及其标定方法
技术领域
本发明涉及一种，尤其是涉及一种四角二维码定向平面靶标装置及其标定方法。
背景技术
相机阵列靶标精密检校是月球着陆、卫星交会对接、远程导弹打击以及大型构筑物震动、倒塌等土木结构三维视频测量的重要关键技术，但是往往观测的场景含有大量的脚手架、线缆等复杂背景，导致不同视角组成的相机阵列在同步检校时面临噪声多、畸变大等难题。另外标定目标表面存在的不均匀的光照，也易导致标定靶标检测失败。二维码具有编码密度高、信息容量大、编码范围广、容错能力强、译码可靠性高等优点，且存储的信息、数据类型多，具有强大的纠错功能。因此二维码可代替传统的特征目标用于视觉定位，可实现在条纹状噪声、光照不均、散焦模糊和几何失真等复杂条件下的自动识别，具有识别率较高的特点，其较快的识别速度可以满足实时解码的要求。
常用的传统的平面靶标模式为棋盘格模式，其基于边缘检测的原理，通过检测边缘交点来获得影像中棋盘格角点的亚像素坐标，但对棋盘格角点在畸变的非正面平行影像中进行定位，会导致其在图像中的定位不精确。
经典平面靶标相机检校法在大视场、背景复杂、光照不均实验场景中存在靶标定向困难、靶标错检漏检较多等问题，进而导致相机标定失败率较高。利用二维码本身的四个角点来同步实现靶标定向和标定可以一定程度缓解靶标难以定向的问题，但是在大畸变场景时二维码的四个角点定位精度有限，难以满足阵列相机精密检校的精度需求。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种四角二维码定向平面靶标装置及其标定方法。
本发明的目的可以通过以下技术方案来实现：
根据本发明的一个方面，提供了一种四角二维码定向平面靶标装置，该装置包括四个ArUco二进制编码以及64个圆点构成的圆点型平面靶标，其中四个ArUco二进制编码位于圆点型平面靶标的四个角上；
通过四个ArUco二进制编码对拍摄场景中的圆点型平面靶标进行定位，再通过圆点型平面靶标中面积最大、次大和最小3个圆点建立坐标系，获得圆心三维坐标与二维坐标间的对应关系。
作为优选的技术方案，所述的ArUco二进制编码的边长为60mm。
作为优选的技术方案，所述的圆点型平面靶标中最大圆直径45mm，次大圆直径35m，最小圆直径15mm，其他圆直径25mm，圆心间距为55mm。
作为优选的技术方案，使用时根据实际使用需求调整二进制编码大小以及圆的直径大小和间距。
根据本发明的另一个方面，提供了一种采用所述四角二维码定向平面靶标装置的标定方法，包括以下步骤：
步骤1)通过四角二维码平面靶标检测过程从影像中检测出靶标；
步骤2)将平面靶标区域进行仿射变换，再对变换靶标区域采用最小二乘椭圆圆心拟合算法进行圆心定位；
步骤3)基于最大、次大、最小面积圆建立坐标系；
步骤4)基于小孔成像模型的相机参数求解以及采用LM算法优化相机参数。
作为优选的技术方案，所述步骤1)中的四角二维码平面靶标检测过程具体包括：
101)采用局部自适应阈值方法进行图像分割：根据像素的邻域块的像素值分布来确定该像素位置上的二值化阈值，不同亮度、对比度、纹理的局部图像区域将会拥有相对应的局部二值化阈值；
102)提取轮廓和过滤：将图像二值化之后，像素灰度值分别为1和0，形成1连通域和0连通域，若1像素的4或8连通场景有0像素存在，则认为这个1像素为一个边界点，从边界点开始以边界跟踪算法得到一条边界，从而可以得到完整的轮廓，其中4连通指对应像素位置的上、下、左、右的位置；8连通指对应像素位置的上、下、左、右、左上、右上、左下、右下的位置；
103)标记码提取：通过分析轮廓的内部区域，以提取其内部代码；
104)标识和纠错：需要确定获得的候选标记中哪些实际上属于建立的二进制编码库，哪些只是环境的一部分；如果在二进制编码库中匹配到其中任何一个，则认为该候选标记是有效的；如果没有找到匹配的标记，采取校正；
105)角点细化：对于角点的检测，选择对标记边界像素做最小二乘线性回归来计算它们的交叉点，获得亚像素坐标。
作为优选的技术方案，所述步骤2)具体为：
201)基于二维码亚像素角点坐标的仿射变换；
202)目标区域二值化；
203)闭合图形检测；
204)提取亚像素轮廓；
205)任意椭圆均可通过圆锥曲线方程的代数形式表示Ax2+Bxy+Cy2+Dx+Ey+F＝0，进行最小二乘椭圆拟合计算亚像素级椭圆中心位置；
其中(x,y)表示椭圆上任意一点，A、B、C、D、E、F为方程系数，进而可求解椭圆中心坐标(x0,y0)、长短半轴(a0,b0)以及长轴的转角θ(长轴与x轴夹角)。
Figure BDA0003733383040000031
Figure BDA0003733383040000032
Figure BDA0003733383040000033
作为优选的技术方案，所述步骤3)具体为：
301)确定坐标轴定位点：根据面积大小，以最大、次大和最小面积圆的圆心分别为X轴、原点和Y轴的定位点；
302)查找位于X轴和Y轴的边界点：①取边界点外的任意一圆点，计算其与X轴定位点的夹角并排序；②选择与X轴定位点夹角最小的6个点和与Y轴定位点夹角最大的6个点，根据距离大小排序，分别归于X轴边界点和Y轴边界点序列；
303)对非边界点排序：根据302)中排序好的边界点，计算非边界点与Y轴夹角并排序，选择7个夹角最大的圆点，同时根据距离排序，将其顺序编入靶标平面坐标序列中，直到完成所有点的排序。
作为优选的技术方案，所述步骤4)基于小孔成像模型的相机参数求解具体为：
1)基于小孔成像模型：
Figure BDA0003733383040000041
求解出单应性矩阵M，其中s为一个任意的比例向量，(u,v)为世界坐标系三维物方点(xw,yw,zw)在图像上对应的二维坐标，dX和dY分别每个像素在图像平面x和y方向上的物理尺寸，(u0,v0)为像主点坐标，f为焦距(像平面与相机坐标系原点的距离)，R为3×3正交旋转矩阵，t为三维平移向量，XW为目标点在世界坐标系的三维坐标(xw,yw,zw)；
2)利用旋转向量点积为0和旋转向量长度相等两个约束条件从单应性矩阵M中分解出内参和外参。
作为优选的技术方案，引入畸变矫正模型对图像进行畸变矫正：
Figure BDA0003733383040000042
其中(xdistorted,ydistorted)为实际的具有畸变偏移的坐标，(x,y)为实际的物方三维坐标在经透视变换后的坐标，r2＝x2+y2，k1、k2为镜头的径向畸变系数，p1、p2为镜头的切向畸变系数。
与现有技术相比，本发明具有以下优点：
1)本发明四角二维码平面靶标装置提升了靶板定向的精度和鲁棒性，与基于摄影测量编码的平面靶标相比，靶标识别准确率提升80％以上。
2)本发明所提出的四角二维码定向分割的格网实心圆高精度定位方法，突破了集成数学形态学和几何属性特征的非椭圆边沿消除方法，实现了椭圆最优化拟合的格网实心圆靶标圆心亚像素定位，标定精度达0.1像元。
附图说明
图1为张正友标定的相机模型；
图2为四角二维码格网实心圆平面靶标示意图；
图3为本发明靶标自动检测流程图；
图4为本发明平面靶标标定流程图；
图5为本发明基于二维码亚像素角点坐标的仿射变换及椭圆圆心拟合示意图，其中(a)为相机拍摄影像，(b)为根据四角二维码角点坐标进行仿射变换后的圆点格网区域，(c)为(b)图中椭圆圆心检测结果；
图6为定位平面靶标示意图；
图7为靶标坐标系的建立和圆心拟合示意图；
图8为基于摄影测量编码的靶标定位效果示意图；
图9为基于二维码的靶标定位效果示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。
通过圆心点靶标替代棋盘格靶标，检测圆心点边缘的亚像素坐标，用圆心拟合代替角点检测，在视角差和畸变较大时，可获得较为鲁棒的检测结果。本发明提出了组合二维码和实心圆平面靶标的高速相机精密检校方法，突破了稳健、快速平面靶标定向技术，实现了靶标和圆心的精确提取，解决了大视角差、大畸变条件下定向困难、靶标检测率低的难题，显著提升了平面靶标标定的成功率和效率。
一、相机检校原理
相机检校(标定)的主要目的是为了获取相机内方位参数和镜头畸变参数以及外方位参数。张正友于1998年提出了基于模型平面的标定算法，已成为目前最流行的标定方法之一。张正友的平面标定方法使用图像中提取的二维测量信息，是介于传统标定方法和自标定方法之间的一种方法。张正友的算法相比传统技术，更灵活，避免复杂的步骤和昂贵的设备；相比自标定，鲁棒性和精度更高。所以，这种方法能符合普遍的立体视觉***灵活性，低成本等的要求，使用广泛。opencv库中的标定算法和加州理工大学开发的matlab工具箱都是以张正友的标定算法为基础的。
基于模型平面的张正有标定算法只需要相机观察拍摄不同角度的平面模板，相机和平面模板都可以移动，移动的情况也无需预先知道，然后提取图像中棋盘格平面模板的角点，最后通过图像中角点的坐标以及世界坐标系下的角点坐标的映射关系，从而计算出相机的内参和畸变参数。该算法也是基于Tsai的两步法的思想，即先有一个线性解法求出部分参数的初始值，然后考虑径向畸变一阶和二阶对线性结果进行非线性优化，最后利用计算好的内部参数和平面模板映射矩阵求出外部参数。
如图1，一个二维点记为m＝[u,v]T，一个三维点记为M＝[X,Y,Z]T，用
Figure BDA0003733383040000061
来表示齐次坐标向量，则
Figure BDA0003733383040000062
和
Figure BDA0003733383040000063
不失一般性情况下，取目标模板所在平面的世界坐标系为Z＝0平面，根据普通针孔成像模型，三维点M与其在像平面的投影m的关系为：
Figure BDA0003733383040000064
Figure BDA0003733383040000065
而s为一个任意的比例向量；(R，t)为外方位元素；A称为相机的内方位矩阵，(u0，v0)为像主点坐标，fu和fv为在像片u，v轴的比例系数，γ为表示像片两轴倾斜度的参数。
假设模型平面的Z＝0，对总体并不会有影响。旋转矩阵第i列表示为ri，从(1)式得
Figure BDA0003733383040000066
仍使用M表示一个模型平面的点，但M＝[X,Y]T，因Z一直等于0，同时
Figure BDA0003733383040000067
因此，一个模型点M和它的像点m由一个单应性矩阵H关联：
Figure BDA0003733383040000068
给定一张模型平面的像片，可以估计出单应性矩阵H，表示为H＝[h1 h2 h3]。由(4)式得：
[h1 h2 h3]＝λA[r1 r2 t] (5)
而λ为任意比例因子，由于r1和r2正交则可得：
Figure BDA0003733383040000069
Figure BDA00037333830400000610
Figure BDA0003733383040000071
在给定一个单应性矩阵的情况下，可得到两个基本的约束条件。B为对称矩阵，对每一幅图像，都可以得出2个约束方程，若相机从n个不同方位拍摄靶标，会获取n幅图像，可以得到2n个方程求解B，进而可求解内外参数。
Figure BDA0003733383040000072
令(u,v)表示理想像素坐标，
Figure BDA0003733383040000073
表示实际像素坐标，则其在图像坐标系中的坐标分别为(x,y)和
Figure BDA0003733383040000074
张正友在标定过程中只考虑了径向畸变k1，k2，实际过程中也要考虑切向畸变p1，p2：
Figure BDA0003733383040000075
以上述计算出的A，R，t和畸变参数的值作为初值，通过优化算法使下式值最小化来计算出相机参数的准确值：
Figure BDA0003733383040000076
m～由为考虑式(10)的畸变计算出来的特征点Mj的投影点在像素坐标系中的坐标。
因此整个标定过程为：第一步打印一个模板并贴在一个平面表面；第二步靠移动平面或相机在不同角度拍摄一些平面模板的像片；第三步在影像上提取特征点；第四步估计5个内方位元素和所有外方位元素；第五步通过解线性最小二乘方程估计畸变参数；第六步可通过Levenberg-Marquardt(LM)法非线性优化所有参数。
二、四角二维码定向平面靶标阵列相机检校装置和方法
针对平面靶标在复杂场景中定向困难和错检漏检的问题，本发明提出了组合二维码和实心圆平面靶标的相机精密检校方法，突破了稳健、快速平面靶标定向技术，实现了靶标和圆心的精确提取，解决了大视角差、大畸变条件下定向困难、靶标检测率低的难题，显著提升了平面靶标标定的成功率和效率。
2.1、四角二维码平面靶标装置
基于平面靶标的标定方法具有灵活性、可靠性和低成本的优点，适用于不同场景下的相机检校。如图2所示，设计的平面靶标装置包含4个ArUco二进制编码以及64个圆点，ArUco二进制编码的边长为60mm，格网实心圆区域中最大圆直径45mm，次大圆直径35m，最小圆直径15mm，其他圆直径25mm，圆心间距为55mm，使用时可根据实际使用需求调整二进制编码大小以及圆的直径大小和间距。通过4个ArUco二进制编码对拍摄场景中的圆点型平面靶标进行定位，再通过圆点型平面靶标中面积最大、次大和最小3个圆点建立坐标系，获得圆心三维坐标与二维坐标间的对应关系，从而保证靶标坐标系的旋转不变性。
2.2、四角二维码平面靶标定向方法
利用ArUco编码规则生成4个二进制码，通过检测二进制码确定平面靶区域，同时提取二进制码的角点，以4个角点构成的四边形，在平面靶区域进一步确定圆点格网检测区域，从而完成靶标平面坐标系的自动建立和圆心拟合。平面靶标自动检测流程图如图3所示。
1)图像分割：为了提取灰度图像中最突出的轮廓，并考虑到检测的实时性以及不同光照、纹理等条件下的差异，选择了一种局部自适应阈值方法，其根据像素的邻域块的像素值分布来确定该像素位置上的二值化阈值，亮度较高的图像区域的二值化阈值通常会较高，而亮度较低的图像区域的二值化阈值则会相适应地变小，不同亮度、对比度、纹理的局部图像区域将会拥有相对应的局部二值化阈值，达到去噪和保留信号之间的平衡。
2)提取轮廓和过滤：将图像二值化之后，像素灰度值分别为0和1，可以形成1连通域(由1像素组成的连通域)和0连通域(由0像素组成的连通域)，若1像素的4(8)连通场景有0像素存在，则认为这个1像素为一个边界点，从边界点开始以边界跟踪算法可以得到一条边界，从而可以得到完整的轮廓。由于许多轮廓与所要提取的二维码无关，而标记是用矩形轮廓围起来的，可使用多边形逼近算法丢弃不是近似4顶点的多边形，通过过滤简化轮廓，只留下可能包含二维码的外部轮廓。
3)标记码提取：通过分析这些轮廓的内部区域，以提取其内部代码。首先，通过计算单应矩阵去除透视投影，使用Otsu’s法对得到的图像进行阈值设置，该方法在图像分布为双峰的情况下提供了最优的图像阈值，然后将二值化后的图像划分为规则网格元素，根据网格中所占区域面积为准则，将占区域大多数像素的值将每个元素赋值为0或1。第一次抑制测试包括检测黑色边界的存在，如果边界的所有位都为零，则使用下面所述的方法分析内部网格。
4)标识和纠错：需要确定获得的候选标记中哪些实际上属于建立的二进制编码库，哪些只是环境的一部分。一旦提取了标记候选的代码，就会得到四个不同的标识符(每个可能的旋转对应一个)。如果在二进制编码库中匹配到其中任何一个，则认为该候选标记是有效的。为了加快这个过程，二进制编码库的元素按平衡二叉树排序。如果没有找到匹配的标记，可以采取校正方法。考虑到任意两个标记之间的最小汉明距离，假设为i，如果距离等于或小于(i-1)/2，可以认为其编码为距离最小的标记。
5)角点细化：对于角点的检测，选择对标记边界像素做最小二乘线性回归来计算它们的交叉点，获得亚像素坐标。
2.3、四角二维码平面靶标标定方法
基于四角二维码定向平面靶标标定的技术路线如下图所示。基于2.2节中的靶标定向方法从影像中检测出靶标后，将平面靶标区域进行仿射变换，再对变换靶标区域采用最小二乘椭圆圆心拟合算法进行圆心定位，并基于最大、次大、最小面积圆建立坐标系，然后基于第一节中的相机检校原理和LM算法求解和优化相机参数。
最小二乘椭圆圆心拟合算法的一般步骤描述如下：(1)基于二维码亚像素角点坐标的仿射变换；(2)目标区域二值化；(3)闭合图形检测；(4)提取亚像素轮廓；(5)基于椭圆方程Ax2+Bxy+Cy2+Dx+Ey+F＝0，进行最小二乘椭圆拟合计算亚像素级椭圆中心位置。
靶标平面坐标系的自动建立方法：
1)确定坐标轴定位点：根据面积大小，以最大、次大和最小面积圆的圆心分别为X轴、原点和Y轴的定位点；
2)查找位于X轴和Y轴的边界点：①取边界点外的任意一圆点，计算其与X轴定位点的夹角并排序；②选择与X轴定位点夹角最小的6个点和与Y轴定位点夹角最大的6个点，根据距离大小排序，分别归于X轴边界点和Y轴边界点序列；
3)对非边界点排序：根据2)中排序好的边界点，计算非边界点与Y轴夹角并排序，选择7个夹角最大的圆点，同时根据距离排序，将其顺序编入靶标平面坐标序列中，直到完成所有点的排序。
基于小孔成像模型的相机参数求解
1)基于小孔成像模型：
Figure BDA0003733383040000101
求解出单应性矩阵M；
2)利用旋转向量点积为0(两垂直平面上的旋转向量相互垂直)和旋转向量长度相等两个约束条件从单应性矩阵M中分解出内参和外参。
另外在实际中，相机的透镜往往使得真实环境中的一条直线在图片中变成了曲线，成像模型并不能完全符合针孔成像模型(理想条件下)，因此引入畸变矫正模型对图像进行畸变矫正：
Figure BDA0003733383040000102
其中(xdistorted,ydistorted)为实际的具有畸变偏移的坐标，(x,y)为实际的物方三维坐标在经透视变换后的坐标，r2＝x2+y2，k1、k2为镜头的径向畸变系数，p1、p2为镜头的切向畸变系数。基于LM算法的内参优化：LM算法是使用最广泛的非线性最小二乘算法(用模型函数对待估参数向量在其领域内做线性近似，利用泰勒展开，忽略掉二阶以上的导数项，令优化目标方程转化为线性最小二乘问题)。它是利用梯度求最大(小)值的算法，同时具有梯度法和牛顿法的优点。在LM算法中，每次迭代是寻找一个合适的阻尼因子λ，当λ很小时，算法就变成了Gauss-Newton法的最优步长计算式，λ很大时，退化为梯度下降法的最优步长计算式。
三、实验结果
通过实验验证本专利所提出的四角二维码平面靶标的可用性，所采用的高速相机配备了焦距为20mm的定焦镜头，实验场景中包含不均匀的光照背景，在该场景中通过使用摄影测量编码点和二维码对平面靶标进行定向，对标定的成功率和效率以及精度进行了分析。
1)四角二维码定向平面靶标识别率
准确识别定位场景中的平面靶标，是后续进行相机标定的前提。摄影测量编码点由内部的圆和外部的环带所组成，通过对编码点的内部圆心的检测和外部环带的解码，同样可以对靶标进行定位，但这种传统摄影测量编码点具有定位依赖多种关系准则、判定复杂且识别不稳定的问题。在实验中，通过在不同倾角条件下，对比了使用摄影测量编码点和二维码对靶标定位的识别率，靶标识别率由15％提升到95％，实现了靶标稳健定向。
2)标定效率对比
为达到现场实验的实时解算需求，必须对相机进行现场标定。当出现平面靶标无法识别的情况时，需要在标定影像上框选平面靶标区域，通过手工纠正才可完成标定，大大降低了标定效率。利用二维码在噪声、光照不均、散焦等复杂条件下识别率较高的特点，可提升平面靶标自动定向成功率，从而减少标定过程中手工纠正次数，显著提高标定成功率和效率。实验场景中由于视场光照条件不一，导致加入二维码前的靶标定向成功率较低，标定过程中进行了手工纠正，时间成本较高，而加入二维码后提升了标定影像中的平面靶标识别率，标定效率大大提高。表1为标定效率对比表。
表1
加入二维码前(20张) 加入二维码后(20张)
时间 3.5min 22.766s
3)相机参数精度评估
所提出的四角二维码定向平面靶标标定方法中，四角二维码除了具备对靶标精确稳健定向的作用，还利用了四角二维码的四角角点亚像素坐标，对圆心阵列进行仿射变换，将倾斜下的椭圆变换为正平行的正圆，缓解了圆心拟合坐标随不同倾角变化而造成的偏移问题，实现了椭圆最优化拟合的实心圆靶标圆心亚像素精准定位。通过在实验中对加入二维码前后的相机参数进行标定，标定精度从0.13像元提升到0.10像元。表2为相机参数精度评估表。
表2
Figure BDA0003733383040000111
四、结论
本发明设计一种四角二维码平面靶标装置来解决复杂环境靶标定向困难、靶标错检漏检较多导致相机难以标定的问题。设计的平面靶标装置为四角二维码与格网实心圆组合式平面靶标，通过融合四角二维码靶标稳健定向和格网实心圆靶标精确定位的联合检校，实现了相机参数的精密解算。本专利提出的四角二维码靶标稳健定向方法，突破了四角正交约束和等距约束的靶标联合定位方法，实现了最小汉明距离旋转纠正的字典容错解码，提升了靶板定向的精度和鲁棒性，与基于摄影测量编码的平面靶标相比，靶标识别准确率提升80％以上。所提出的四角二维码定向分割的格网实心圆高精度定位方法，突破了集成数学形态学和几何属性特征的非椭圆边沿消除方法，实现了椭圆最优化拟合的格网实心圆靶标圆心亚像素定位，标定精度达0.1像元，解决了土木工程、月球着陆、卫星交会对接、远程导弹打击等复杂环境、大视场高精度现场标定难题。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种四角二维码定向平面靶标装置，其特征在于，该装置包括四个ArUco二进制编码以及64个圆点构成的圆点型平面靶标，其中四个ArUco二进制编码位于圆点型平面靶标的四个角上；
通过四个ArUco二进制编码对拍摄场景中的圆点型平面靶标进行定位，再通过圆点型平面靶标中面积最大、次大和最小3个圆点建立坐标系，获得圆心三维坐标与二维坐标间的对应关系。
2.根据权利要求1所述的一种四角二维码定向平面靶标装置，其特征在于，所述的ArUco二进制编码的边长为60mm。
3.根据权利要求1所述的一种四角二维码定向平面靶标装置，其特征在于，所述的圆点型平面靶标中最大圆直径45mm，次大圆直径35m，最小圆直径15mm，其他圆直径25mm，圆心间距为55mm。
4.根据权利要求1所述的一种四角二维码定向平面靶标装置，其特征在于，使用时根据实际使用需求调整二进制编码大小以及圆的直径大小和间距。
5.一种采用权利要求1所述四角二维码定向平面靶标装置的标定方法，其特征在于，包括以下步骤：
步骤1)通过四角二维码平面靶标检测过程从影像中检测出靶标；
步骤2)将平面靶标区域进行仿射变换，再对变换靶标区域采用最小二乘椭圆圆心拟合算法进行圆心定位；
步骤3)基于最大、次大、最小面积圆建立坐标系；
步骤4)基于小孔成像模型的相机参数求解以及采用LM算法优化相机参数。
6.根据权利要求5所述的标定方法，其特征在于，所述步骤1)中的四角二维码平面靶标检测过程具体包括：
101)采用局部自适应阈值方法进行图像分割：根据像素的邻域块的像素值分布来确定该像素位置上的二值化阈值，不同亮度、对比度、纹理的局部图像区域将会拥有相对应的局部二值化阈值；
102)提取轮廓和过滤：将图像二值化之后，像素灰度值分别为1和0，形成1连通域和0连通域，若1像素的4或8连通场景有0像素存在，则认为这个1像素为一个边界点，从边界点开始以边界跟踪算法得到一条边界，从而可以得到完整的轮廓，其中4连通指对应像素位置的上、下、左、右的位置；8连通指对应像素位置的上、下、左、右、左上、右上、左下、右下的位置；
103)标记码提取：通过分析轮廓的内部区域，以提取其内部代码；
104)标识和纠错：需要确定获得的候选标记中哪些实际上属于建立的二进制编码库，哪些只是环境的一部分；如果在二进制编码库中匹配到其中任何一个，则认为该候选标记是有效的；如果没有找到匹配的标记，采取校正；
105)角点细化：对于角点的检测，选择对标记边界像素做最小二乘线性回归来计算它们的交叉点，获得亚像素坐标。
7.根据权利要求5所述的标定方法，其特征在于，所述步骤2)具体为：
201)基于二维码亚像素角点坐标的仿射变换；
202)目标区域二值化；
203)闭合图形检测；
204)提取亚像素轮廓；
205)任意椭圆均可通过圆锥曲线方程的代数形式表示Ax2+Bxy+Cy2+Dx+Ey+F＝0，进行最小二乘椭圆拟合计算亚像素级椭圆中心位置；
其中(x,y)表示椭圆上任意一点，A、B、C、D、E、F为方程系数，进而可求解椭圆中心坐标(x0,y0)、长短半轴(a0,b0)以及长轴的转角θ。
8.根据权利要求5所述的标定方法，其特征在于，所述步骤3)具体为：
301)确定坐标轴定位点：根据面积大小，以最大、次大和最小面积圆的圆心分别为X轴、原点和Y轴的定位点；
302)查找位于X轴和Y轴的边界点：①取边界点外的任意一圆点，计算其与X轴定位点的夹角并排序；②选择与X轴定位点夹角最小的6个点和与Y轴定位点夹角最大的6个点，根据距离大小排序，分别归于X轴边界点和Y轴边界点序列；
303)对非边界点排序：根据302)中排序好的边界点，计算非边界点与Y轴夹角并排序，选择7个夹角最大的圆点，同时根据距离排序，将其顺序编入靶标平面坐标序列中，直到完成所有点的排序。
9.根据权利要求5所述的标定方法，其特征在于，所述步骤4)基于小孔成像模型的相机参数求解具体为：
1)基于小孔成像模型：
Figure FDA0003733383030000031
求解出单应性矩阵M，其中s为一个任意的比例向量，(u,v)为世界坐标系三维物方点(xw,yw,zw)在图像上对应的二维坐标，dX和dY分别每个像素在图像平面x和y方向上的物理尺寸，(u0,v0)为像主点坐标，f为焦距，R为3×3正交旋转矩阵，t为三维平移向量，XW为目标点在世界坐标系的三维坐标(xw,yw,zw)；
2)利用旋转向量点积为0和旋转向量长度相等两个约束条件从单应性矩阵M中分解出内参和外参。
10.根据权利要求9所述的标定方法，其特征在于，引入畸变矫正模型对图像进行畸变矫正：
Figure FDA0003733383030000032
其中(xdistorted,ydistorted)为实际的具有畸变偏移的坐标，(x,y)为实际的物方三维坐标在经透视变换后的坐标，r2＝x2+y2，k1、k2为镜头的径向畸变系数，p1、p2为镜头的切向畸变系数。
CN202210799249.8A 2022-07-06 2022-07-06 一种四角二维码定向平面靶标装置及其标定方法 Pending CN115272459A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210799249.8A CN115272459A (zh) 2022-07-06 2022-07-06 一种四角二维码定向平面靶标装置及其标定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210799249.8A CN115272459A (zh) 2022-07-06 2022-07-06 一种四角二维码定向平面靶标装置及其标定方法

Publications (1)

Publication Number Publication Date
CN115272459A true CN115272459A (zh) 2022-11-01

Family

ID=83765958

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210799249.8A Pending CN115272459A (zh) 2022-07-06 2022-07-06 一种四角二维码定向平面靶标装置及其标定方法

Country Status (1)

Country Link
CN (1) CN115272459A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118111403A (zh) * 2024-04-30 2024-05-31 上海大学 一种抗干扰测量定位用模式靶标及其定位方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118111403A (zh) * 2024-04-30 2024-05-31 上海大学 一种抗干扰测量定位用模式靶标及其定位方法

Similar Documents

Publication Publication Date Title
CN106372702B (zh) 一种定位标识及其定位方法
CN100430690C (zh) 利用单数码相机自由拍摄进行物体三维测量的方法
JP5832341B2 (ja) 動画処理装置、動画処理方法および動画処理用のプログラム
CN109215016B (zh) 一种编码标志的识别定位方法
US20100045701A1 (en) Automatic mapping of augmented reality fiducials
CN109325381B (zh) 一种qr码定位和校正方法
CN112132907B (zh) 一种相机标定方法、装置、电子设备及存储介质
CN105654421B (zh) 基于变换不变低秩纹理的投影变换图像匹配方法
CN113712665B (zh) 基于定位标志物的定位方法、装置及计算机存储介质
CN110738273B (zh) 图像特征点的匹配方法、装置、设备及存储介质
CN104766309A (zh) 一种平面特征点导航定位方法与装置
CN113610917A (zh) 一种基于消隐点的圆阵靶标中心像点定位方法
CN109493384B (zh) 相机位姿估计方法、***、设备及存储介质
CN110415304B (zh) 一种视觉标定方法及***
CN111981982A (zh) 一种基于加权sfm算法的多向合作靶标光学测量方法
CN111179347B (zh) 基于区域性特征的定位方法、定位设备及存储介质
CN113963067B (zh) 一种采用小靶标对大视场视觉传感器进行标定的标定方法
JP2006350553A (ja) 対応点探索方法、相互標定方法、３次元画像計測方法、対応点探索装置、相互標定装置、３次元画像計測装置、対応点探索プログラム及び対応点探索プログラムを記録したコンピュータ読み取り可能な記録媒体
CN115272459A (zh) 一种四角二维码定向平面靶标装置及其标定方法
Kruger et al. In-factory calibration of multiocular camera systems
CN116843748B (zh) 一种远距二维码及其物体空间位姿获取方法及***
CN111667429B (zh) 一种巡检机器人目标定位校正方法
WO2023193763A1 (zh) 数据处理方法及装置、追踪标记、电子设备及存储介质
CN104484647B (zh) 一种高分辨率遥感图像云高度检测方法
US11501511B2 (en) Method for optical recognition of markers

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination