CN117830439A - 一种多相机***位姿标定方法及装置 - Google Patents
一种多相机***位姿标定方法及装置 Download PDFInfo
- Publication number
- CN117830439A CN117830439A CN202410250685.9A CN202410250685A CN117830439A CN 117830439 A CN117830439 A CN 117830439A CN 202410250685 A CN202410250685 A CN 202410250685A CN 117830439 A CN117830439 A CN 117830439A
- Authority
- CN
- China
- Prior art keywords
- camera
- corner
- representing
- calibration
- cameras
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 230000009466 transformation Effects 0.000 claims description 47
- 239000011159 matrix material Substances 0.000 claims description 40
- 230000002068 genetic effect Effects 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 11
- 230000035772 mutation Effects 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000005457 optimization Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 12
- 230000009286 beneficial effect Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 5
- 239000003550 marker Substances 0.000 description 4
- 238000012937 correction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010038743 Restlessness Diseases 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000008303 genetic mechanism Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Abstract
本申请提供了一种多相机***位姿标定方法及装置，属于相机标定技术领域，方法包括：通过多个相机拍摄带有特定标记角点的棋盘格图像；且每个相机只需各保存一张棋盘格图像；提取棋盘格图像中的特定标记角点的位置信息；通过特定标记角点的位置信息，对各个相机进行初步标定；通过多个相机拍摄目标物体的点云数据；从多个相机中选取一个相机作为主相机，其余相机作为副相机，根据初步标定结果，将各个副相机坐标系下的点云数据的坐标转化至主相机坐标系下；通过迭代最近点算法，对所有主相机坐标系下的点云数据的坐标进行最终标定。本发明仅使用棋盘格图像即可以通过实现多个相机的位姿标定，标定过程简单高效。
Description
技术领域
本申请属于相机标定技术领域，具体涉及一种多相机***位姿标定方法及装置。
背景技术
随着计算机视觉领域技术的进步，对于物体完整的三维信息的需求场景不断增多。在多相机视觉***中，为了获取物体的360°全景三维形貌，需要对***中每个相机间的姿态关系进行标定。准确的相机位姿估计是许多视觉任务的关键，例如机器人导航和增强现实应用中的姿态跟踪等。
然而，传统的标定方法往往需要在多个位置移动标定板，标定过程较为繁琐，或是利用特殊标定物来实现，存在造价成本高，算法复杂度高等问题。
发明内容
为了解决现有技术存在的传统的标定方法往往需要在多个位置移动标定板，标定过程较为繁琐，或是利用特殊标定物来实现，存在造价成本高，算法复杂度高的技术问题，本发明提供了一种多相机***位姿标定方法及装置。
第一方面，本发明提供了一种多相机***位姿标定方法，包括：
通过多个相机拍摄带有特定标记角点的棋盘格图像，且每个相机只需各保存一张棋盘格图像；
提取所述棋盘格图像中的所述特定标记角点的位置信息；
通过所述特定标记角点的位置信息，对各个相机进行初步标定；
通过多个相机拍摄目标物体的点云数据；
从多个相机中选取一个相机作为主相机，其余相机作为副相机，根据初步标定结果，将各个副相机坐标系下的点云数据的坐标转化至所述主相机坐标系下；
通过迭代最近点算法，对所有主相机坐标系下的点云数据的坐标进行最终标定。
第二方面，本发明提供了一种多相机***位姿标定装置，包括：
第一获取模块，用于通过多个相机拍摄带有特定标记角点的棋盘格图像，且每个相机只需各保存一张棋盘格图像；
提取模块，用于提取所述棋盘格图像中的所述特定标记角点的位置信息；
初步标定模块，用于通过所述特定标记角点的位置信息，对各个相机进行初步标定；
第二获取模块，用于通过多个相机拍摄目标物体的点云数据；
转化模块，用于从多个相机中选取一个相机作为主相机，其余相机作为副相机，根据初步标定结果，将各个副相机坐标系下的点云数据的坐标转化至所述主相机坐标系下；
最终标定模块，用于通过迭代最近点算法，对所有主相机坐标系下的点云数据的坐标进行最终标定。
与现有技术相比，本发明至少具有以下有益效果：
在本发明中，仅使用棋盘格图像即可以实现多个相机的位姿标定，无需在多个位置移动标定板，标定过程简单高效，棋盘格图像的成本低廉，无需过高的造价成本，并且多相机同时校准，降低了算法复杂度，并通过使用特定标记角点进行初步标定，进而通过迭代最近点算法进行最终标定，通过两次标定实现对多相机***的高精度标定。
附图说明
图1是本发明提供的一种多相机***位姿标定方法的流程示意图。
图2是本发明提供的一种位置信息提取方法的流程示意图。
图3是本发明提供的一种最终标定方法的流程示意图。
图4是本发明提供的一种多相机***位姿标定装置的结构示意图。
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。后文将参考说明书附附图以示例性而非限制性的方式详细描述本申请的一些具体实施例。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获取的所有其他实施例，都应当属于本申请保护的范围。
第一方面，参考说明书附图1，示出了本发明实施例提供的一种多相机***位姿标定方法的流程示意图。
本发明提供了一种多相机***位姿标定方法，包括：
S1：通过多个相机拍摄带有特定标记角点的棋盘格图像，且每个相机只需各保存一张棋盘格图像。
其中，棋盘格图像是一种常用于相机标定和计算机视觉应用中的图像。它是由一个规则排列的方块组成，每个方块是交替的黑色和白色，形成了类似棋盘的格子状结构。这种图像的主要特点是其规则的结构和容易检测的特定标记点，通常在计算机视觉中用于相机标定和校正。
具体而言，可以将多个散斑结构光相机围绕成一个圈，相机分别记为Camera1、Camera2、...、CameraN，每个相机的角度固定，并且使得每个相机的视角朝向下倾斜，以确保在地面上N个视角下有共同的视野。之后将棋盘格放置于多相机***的视野中央，只需各保存一张棋盘格图像1.bmp即可，由此收集到N张不同视角下的棋盘格图像数据Img1_1.bmp、Img2_1.bmp、...、ImgN_1.bmp。
S2：提取棋盘格图像中的特定标记角点的位置信息。
可选地，棋盘格图像中的特定标记角点为圆标记点。当然，特定标记角点还可以是三角形、矩形等其他形状的特定标记，本发明对于特定标记的具体形状不作限定。
参考说明书附图2，示出了本发明提供的一种位置信息提取方法的流程示意图。
在一种可能的实施方式中，S2具体包括子步骤S201至S208：
S201：对棋盘格图像进行二值化处理，使用数值0表示黑色，数值1表示白色。
其中，二值化处理一种图像处理的方法，其目的是将一幅灰度图像转换为只包含两个数值的图像，通常为0和1。在这种情况下，通常使用0表示黑色（或暗色），使用1表示白色（或亮色）。
进一步地，二值化处理可以突出图像中的目标物体的形状、边缘或特定的区域，有助于后续的图像分析和计算。
在本发明中，通过将棋盘格图像进行二值化处理，可以简化图像信息，突出特定目标，减小数据量，增强对比度，并提高稳定性，从而为后续的图像处理和计算提供更为清晰、高效的基础。
S202：获取二值化处理后的棋盘格图像的四个角点区域。
其中，角点区域是指棋盘格四个角落的格子所在的区域。
S203：对角点区域进行透视变换，以便将所述角点区域调整到预设尺寸的目标区域中。
其中，透视变换是一种图像处理中常用的变换操作，它可以将图像中的对象投影到新的视图中，常用于矫正图像中的透视失真或调整图像中的区域形状。
可选地，预设尺寸为50×50像素大小。
其中，目标区域坐标是固定的，即左上角为(0,0)，右上角为(50,0)，左下角为(0,50)，右下角为(50,50)。
具体而言，可以通过二值化处理后的棋盘格图像中的4个角点坐标和目标区域的4个固定的坐标，来计算透视变换矩阵，进而通过透视变换矩阵对角点区域进行透视变换。
在本发明中，对角点区域进行透视变换，调整到预设尺寸的目标区域中，可以防止角点畸变变形，使得角点在图像中的位置更加准确。
S204：创建预设尺寸大小的掩码区域。
其中，掩码区域（Mask）是一个与图像具有相同尺寸的矩阵，其中的元素用于指示对应位置上的像素是否参与某种特定的操作。掩码通常是二值的，其中每个元素可以是0（表示不参与操作）或1（表示参与操作）。
进一步地，将掩码应用到透视变换后的角点区域上，可以帮助去除角点区域之外的不相关信息，确保只有感兴趣的目标区域被保留，从而减少在后续处理中对不相关信息的干扰。
S205：获取掩码区域沿预设方向上的长度以及角点区域沿预设方向上的非0像素的长度，计算角点区域的特定标记判定值。
其中，掩码区域沿预设方向上的长度可以理解为掩码区域沿预设方向上经过的像素个数，角点区域沿预设方向上的非0像素的长度可以理解为角点区域沿预设方向上经过的白色像素的个数。
其中，本领域技术人员可以根据实际情况设置预设方向的具体方向，本发明不做限定。
其中，特定标记判定值用于区分带有特定标记的角点区域和未带有特定标记的角点区域。
需要说明的是，带有特定标记的角点区域与未带有特定标记的角点区域，计算出来的特定标记判定值是不同的。
在一种可能的实施方式中，通过以下方式，计算角点区域的特定标记判定值：；
其中，R表示特定标记判定值，L*表示预期长度，L 1表示掩码区域沿预设方向上的长度，L 2表示角点区域沿预设方向上的非0像素的长度。
其中，预期长度是指正常情况下带有特定标记的角点区域沿预设方向上的非0像素的长度。
在本发明中，通过计算特定标记判定值，可以实现对带有特定标记的角点区域和未带有特定标记的角点区域进行区分。
S206：当角点区域的特定标记判定值小于预设值时，确定角点区域为特定标记角点区域。
其中，本领域技术人员可以根据实际情况设置预设值的大小，本发明不做限定。
在本发明中，通过特定标记判定值与预设值的比较，可以实现对带有特定标记的角点区域的精确定位。当判定值小于预设值时，说明该区域符合预期的特定标记，从而确保了对带有特定标记的角点的准确检测。
S207：提取所述特定标记角点区域的坐标信息，作为所述特定标记角点的位置信息。
在一种可能的实施方式中，预设方向为从左上角至右下角的方向，预期长度L*具体为0.5，预设值具体为0.1。
在本发明中，通过设定统一的预设方向和预期长度，使得标定***在不同场景和情境下都能够保持一致性，有助于提高算法在各种条件下的稳定性和可靠性。
S3：通过特定标记角点的位置信息，对各个相机进行初步标定。
其中，初步标定是指初步标定，用于确保图像Img1_1、Img2_1、...、ImgN_1的角点检测顺序是一致的。
在一种可能的实施方式中，S3具体为：根据特定标记角点的位置信息，对各个相机拍摄的棋盘格图像的角点坐标进行重新排列，以对各个相机进行初步标定。
其中，初步标定可以使得各个棋盘格图像的角点检测顺序一致。
在本发明中，保持各个棋盘格图像的角点检测顺序一致，确保了标定结果的一致性。一致的角点检测顺序有助于在后续的标定过程中，确保相机之间的对应关系正确，提高标定的精度。
进一步地，可以获取单台相机的矫正映射并将角点坐标转换到矫正后的相机坐标下，以进行校正相机畸变，包括径向畸变和切向畸变。将角点坐标转换到矫正后的相机坐标下可以减少畸变的影响，使得角点在图像中的位置更接近实际场景中的位置。
S4：通过多个相机拍摄目标物体的点云数据。
其中，点云数据可以是特定立体物的单幅面点云数据。
进一步地，点云是由三维空间中的点构成的集合，每个点都有其在三维坐标***中的位置信息。在计算机图形学和计算机视觉领域，点云通常用于表示物体表面的三维形状。
S5：从多个相机中选取一个相机作为主相机，其余相机作为副相机，根据初步标定结果，将各个副相机坐标系下的点云数据的坐标转化至主相机坐标系下。
在本发明中，将所有相机的点云数据转换到主相机坐标系下，确保了所有数据都处于一个一致的坐标体系中，使得各个相机的数据可以更容易地进行比较和分析。这对于检测不同相机之间的差异或相似性，以及在整个多相机***中进行一致性检查都是非常有帮助的。
S6：通过迭代最近点算法，对所有主相机坐标系下的点云数据的坐标进行最终标定。
其中，迭代最近点算法（Iterative Closest Point，ICP）是一种用于点云配准的迭代优化算法。它的目标是找到两个或多个点云之间的最佳变换，使得它们在空间中尽可能地对齐。ICP算法通常用于将不同时间或不同传感器采集到的点云数据进行配准，以用于建立更完整的三维模型或进行运动估计。
在本发明中，通过最近点法进行最终标定，可以减小点云数据之间的误差，降低由于不同相机之间标定不准确导致的***误差。这对于精确的三维重建和位姿估计至关重要。
参考说明书附图3，示出了本发明提供的一种最终标定方法的流程示意图。
在一种可能的实施方式中，S6具体包括子步骤S601至S604：
S601：构建迭代最近点算法的损失函数：；
其中，E表示损失函数，T表示初级变换矩阵，表示主相机的点云数据中的第i个数据点的坐标向量，/>表示副相机的点云数据中的第i个数据点的坐标向量，/> 2表示二范数计算，n表示数据点总数。
在本发明中，通过构建损失函数，这个函数的设计使得在最优的变换矩阵下，主相机的点云数据与各个副相机的点云数据之间的差异（损失）最小化，有助于找到一个最优的变换，使得点云数据在不同相机之间更好地对齐。
S602：根据迭代最近点算法的损失函数对初级变换矩阵进行迭代优化，确定最终变换矩阵。
在本发明中，以损失函数的函数值最小为目标，迭代最近点算法会通过不断调整变换矩阵，使得点云数据的配准精度逐渐提高。这对于保证多相机***中各个相机之间的空间一致性非常重要。
在一种可能的实施方式中，根据迭代最近点算法的损失函数对变换矩阵进行迭代优化，确定最终变换矩阵具体包括：
初始化种群，种群包括多个个体，每个个体代表一种变换矩阵。
计算每个个体的适应度函数的函数值，遗传算法的所述适应度函数具体为欧式距离收敛精度。
其中，遗传算法（Genetic Algorithm，GA）是一种基于生物进化过程的启发式搜索和优化算法。它模拟了自然选择、遗传机制和进化论的基本原理，通过迭代的方式在搜索空间中寻找最优解或近似最优解。遗传算法常被用于解决复杂的优化问题，其优点在于能够在大规模、高维度的搜索空间中有效地寻找全局最优解。
在本发明中，适应度函数以欧式距离收敛精度为目标，使得遗传算法更加倾向于产生能够达到指定精度的变换矩阵。这提高了算法的适应性，确保了优化结果在收敛时满足预设的标准。
采取精英选择策略，去除适应度函数的函数值最低的预设比例的个体。
其中，本领域技术人员可以根据实际情况设置预设比例的大小，本发明不做限定。可选地，预设比例为20%。
在本发明中，精英选择保留适应度值高的个体，同时引入新的个体，确保了种群的多样性。这有助于在搜索空间中更广泛地探索可能的解空间，提高优化的效果。
随机选择两个个体作为第一父体和第二父体，生成一个第一随机数，并将第一随机数与交叉概率比较大小，若第一随机数小于交叉概率，则对所述第一父体和所述第二父体进行交叉操作产生新个体。
在一种可能的实施方式中，对所述第一父体和所述第二父体进行交叉操作产生新个体的产生方式为：；
其中，Y 1、Y 2表示交叉操作产生的新个体，X 1表示第一父体，X 2表示第二父体，rand表示0至1之间的随机数。
随机选择一个个体作为第三父体，生成一个第二随机数，并将第二随机数与变异概率比较大小，若第二随机数小于变异概率，则对第三父体进行变异操作产生新个体。
在一种可能的实施方式中，所述对第三父体进行变异操作产生新个体的产生方式为：；
其中，Y 3表示变异操作产生的新个体，X 3表示第三父体，X max表示适应度值最大的个体，X min表示适应度值最小的个体，rand表示0至1之间的随机数。
在本发明中，通过交叉和变异等操作，遗传算法可以加速搜索过程，使得在迭代中逐渐趋向于更优秀的解。这样做有助于在有限的迭代次数内找到接近最优解的结果。
判断产生新个体的遗传算法是否满足终止条件所述遗传算法的适应度函数为欧式距离收敛精度；
若是，确定当前适应度函数的函数值最高的新个体代表的初级变换矩阵为最终变换矩阵；否则，返回计算每个个体的适应度函数的函数值的步骤，继续迭代。
在一种可能的实施方式中，终止条件具体为：当确定最终变换矩阵迭代次数达到最大迭代次数或者欧式距离收敛精度达到预设精度，则确定当前适应度函数的函数值最高的个体代表的初级变换矩阵为最终变换矩阵。
在本发明中，设定最大迭代次数和欧式距离收敛精度，有助于避免算法在搜索空间中无限制地迭代下去。这样的限制可以防止算法在达到最优解附近徘徊，从而提高算法的实际应用效果。
在一种可能的实施方式中，欧式距离收敛精度的计算方式为：；
其中，ε表示欧式距离收敛精度， 表示主相机的点云数据中的第i个数据点的坐标向量， />表示副相机的点云数据中的第i个数据点的坐标向量，/> 2表示二范数计算，n表示数据点总数。
S603：通过最终变换矩阵，对各个副相机的点云数据进行变换，以对所有主相机坐标系下的点云数据的坐标进行最终标定。
在本发明中，通过最终变换矩阵进行最终标定能够提高多相机***的点云数据的精度和一致性，为后续的三维视觉任务提供更可靠的基础。
在实际应用过程中，例如体测场景应用中，需要使用多相机***对平躺在测量区的人体进行三维重建，而全局标定的结果决定了最终重建的效果。在此场景中，所提方法只需要一个棋盘格和一个立方体放置在多相机***视野中即可完成一键标定。
与现有技术相比，本发明至少具有以下有益效果：
在本发明中，仅使用棋盘格图像即可以实现多个相机的位姿标定，无需在多个位置移动标定板，标定过程简单高效，棋盘格图像的成本低廉，无需过高的造价成本，并且多相机同时校准，降低了算法复杂度，并通过使用特定标记角点进行初步标定，进而通过迭代最近点算法进行最终标定，通过两次标定实现对多相机***的高精度标定。
第二方面，参考说明书附图4，示出了本发明实施例提供的一种多相机***位姿标定装置的结构示意图。
本发明提供了一种多相机***位姿标定装置30，包括：
第一获取模块301，用于通过多个相机拍摄带有特定标记角点的棋盘格图像，且每个相机只需各保存一张棋盘格图像；
提取模块302，用于提取所述棋盘格图像中的特定标记角点的位置信息；
初步标定模块303，用于通过所述特定标记角点的位置信息，对各个相机进行初步标定；
第二获取模块304，用于通过多个相机拍摄目标物体的点云数据；
转化模块305，用于从多个相机中选取一个相机作为主相机，其余相机作为副相机，根据初步标定结果，将各个副相机坐标系下的点云数据的坐标转化至所述主相机坐标系下；
最终标定模块306，用于通过迭代最近点算法，对所有主相机坐标系下的点云数据的坐标进行最终标定。
在一种可能的实施方式中，所述棋盘格图像中特定标记角点为圆标记点，提取模块302具体用于：
对所述棋盘格图像进行二值化处理，使用数值0表示黑色，数值1表示白色；
获取二值化处理后的棋盘格图像的四个角点区域；
对所述角点区域进行透视变换，以便将所述角点区域调整到预设尺寸的目标区域中；
创建所述预设尺寸大小的掩码区域；
获取所述掩码区域沿预设方向上的长度以及所述角点区域沿所述预设方向上的非0像素的长度，计算所述角点区域的特定标记判定值；
当所述角点区域的特定标记判定值小于预设值时，确定所述角点区域为特定标记角点区域；
提取所述特定标记角点区域的坐标信息，作为所述特定标记角点的位置信息。
在一种可能的实施方式中，通过以下方式计算所述角点区域的特定标记判定值：；
其中，R表示特定标记判定值，L*表示预期长度，L 1表示所述掩码区域沿预设方向上的长度，L 2表示所述角点区域沿所述预设方向上的非0像素的长度。
在一种可能的实施方式中，所述预设方向为从左上角至右下角的方向，所述预期长度L*具体为0.5，所述预设值具体为0.1。
在一种可能的实施方式中，所述初步标定模块303具体用于：
根据所述特定标记角点的位置信息，对各个相机拍摄的所述棋盘格图像的角点坐标进行重新排列，以对各个相机进行初步标定。
在一种可能的实施方式中，所述最终标定模块306具体用于：
构建所述迭代最近点算法的损失函数：；
其中，E表示损失函数，T表示初级变换矩阵， 表示主相机的点云数据中的第i个数据点的坐标向量， />表示副相机的点云数据中的第i个数据点的坐标向量，/> 2表示二范数计算，n表示数据点总数；
根据所述迭代最近点算法的损失函数对所述变换矩阵进行迭代优化，确定最终变换矩阵；
通过所述最终变换矩阵，对各个副相机的点云数据的坐标进行变换，以对所有主相机坐标系下的点云数据的坐标进行最终标定。
在一种可能的实施方式中，所述最终标定模块306具体用于：
初始化种群，所述种群包括多个个体，每个所述个体代表一种初级变换矩阵；
计算每个个体的适应度函数的函数值，遗传算法的所述适应度函数具体为欧式距离收敛精度；
去除所述适应度函数的函数值最低的预设比例的个体；
随机选择两个个体作为第一父体和第二父体，生成一个第一随机数，并将所述第一随机数与交叉概率比较大小，若第一随机数小于所述交叉概率，则对第一父体和第二父体进行交叉操作产生新个体；
随机选择一个个体作为第三父体，生成一个第二随机数，并将所述第二随机数与变异概率比较大小，若第二随机数小于所述变异概率，则对第三父体进行变异操作产生新个体；
判断产生新个体的遗传算法是否满足终止条件，所述遗传算法的适应度函数为以欧式距离收敛精度；
若是，确定当前适应度函数的函数值最高的新个体代表的初级变换矩阵为最终变换矩阵；否则，返回计算每个个体的适应度函数的函数值的步骤，继续迭代。
在一种可能的实施方式中，对第一父体和第二父体进行交叉操作产生新个体的产生方式为：；
其中，Y 1、Y 2表示交叉操作产生的新个体，X 1表示第一父体，X 2表示第二父体，rand表示0至1之间的随机数；
对第三父体进行变异操作产生新个体的产生方式为：；
其中，Y 3表示变异操作产生的新个体，X 3表示第三父体，X max表示适应度值最大的个体，X min表示适应度值最小的个体，rand表示0至1之间的随机数。
在一种可能的实施方式中，所述终止条件具体为：当确定最终变换矩阵迭代次数达到最大迭代次数或者欧式距离收敛精度达到预设精度，则确定当前适应度函数的函数值最高的新个体代表的初级变换矩阵为最终变换矩阵。
在一种可能的实施方式中，所述欧式距离收敛精度的计算方式为：；
其中，ε表示欧式距离收敛精度， 表示主相机的点云数据中的第i个数据点的坐标向量， />表示副相机的点云数据中的第i个数据点的坐标向量，/> 2表示二范数计算，n表示数据点总数。
本发明提供的多相机***位姿标定装置30能够实现上述方法实施例中实现的各个过程，为避免重复，这里不再赘述。
与现有技术相比，本发明至少具有以下有益效果：
在本发明中，仅使用棋盘格图像即可以实现多个相机的位姿标定，无需在多个位置移动标定板，标定过程简单高效，棋盘格图像的成本低廉，无需过高的造价成本，并且多相机同时校准，降低了算法复杂度，并通过使用特定标记角点进行初步标定，进而通过迭代最近点算法进行最终标定，通过两次标定实现对多相机***的高精度标定。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参考说明书附前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
Claims (8)
1.一种多相机***位姿标定方法，其特征在于，包括：
通过多个相机拍摄带有特定标记角点的棋盘格图像，且每个相机只需各保存一张棋盘格图像；
提取所述棋盘格图像中的所述特定标记角点的位置信息；
通过所述特定标记角点的位置信息，对各个相机进行初步标定；
通过多个相机拍摄目标物体的点云数据；
从多个相机中选取一个相机作为主相机，其余相机作为副相机，根据初步标定结果，将各个副相机坐标系下的点云数据的坐标转化至所述主相机坐标系下；
通过迭代最近点算法，对所有主相机坐标系下的点云数据的坐标进行最终标定；
所述棋盘格图像中的特定标记角点为圆标记点，所述提取所述棋盘格图像中的所述特定标记角点的位置信息，具体包括：
对所述棋盘格图像进行二值化处理，使用数值0表示黑色，数值1表示白色；
获取二值化处理后的棋盘格图像的四个角点区域；
对所述角点区域进行透视变换，以便将所述角点区域调整到预设尺寸的目标区域中；
创建所述预设尺寸大小的掩码区域；
获取所述掩码区域沿预设方向上的长度以及所述角点区域沿所述预设方向上的非0像素的长度，计算所述角点区域的特定标记判定值；
当所述角点区域的特定标记判定值小于预设值时，确定所述角点区域为特定标记角点区域；
提取所述特定标记角点区域的坐标信息，作为所述特定标记角点的位置信息；
通过以下方式计算所述角点区域的特定标记判定值：；
其中，R表示特定标记判定值，L*表示预期长度，L 1表示所述掩码区域沿预设方向上的长度，L 2表示所述角点区域沿所述预设方向上的非0像素的长度。
2.根据权利要求1所述的多相机***位姿标定方法，其特征在于，所述通过所述特定标记角点的位置信息，对各个相机进行初步标定，具体为：
根据所述特定标记角点的位置信息，对各个相机拍摄的所述棋盘格图像的角点坐标进行重新排列，以对各个相机进行初步标定。
3.根据权利要求1所述的多相机***位姿标定方法，其特征在于，所述通过迭代最近点算法，对所有主相机坐标系下的点云数据的坐标进行最终标定，具体包括：
构建所述迭代最近点算法的损失函数：；
其中，E表示损失函数，T表示初级变换矩阵， 表示主相机的点云数据中的第i个数据点的坐标向量，/> 表示副相机的点云数据中的第i个数据点的坐标向量，/> 2表示二范数计算，n表示数据点总数；
根据所述迭代最近点算法的损失函数对所述初级变换矩阵进行迭代优化，确定最终变换矩阵；
通过所述最终变换矩阵，对各个副相机的点云数据的坐标进行变换，以对所有主相机坐标系下的点云数据的坐标进行最终标定。
4.根据权利要求3所述的多相机***位姿标定方法，其特征在于，所述根据所述迭代最近点算法的损失函数对所述初级变换矩阵进行迭代优化，确定最终变换矩阵具体包括：
初始化种群，所述种群包括多个个体，每个所述个体代表一种初级变换矩阵；
计算每个个体的适应度函数的函数值，去除所述适应度函数的函数值最低的个体；
随机选择两个个体作为第一父体和第二父体，生成一个第一随机数，并将所述第一随机数与交叉概率比较大小，若第一随机数小于所述交叉概率，则对所述第一父体和所述第二父体进行交叉操作产生新个体；
随机选择一个个体作为第三父体，生成一个第二随机数，并将所述第二随机数与变异概率比较大小，若第二随机数小于所述变异概率，则对所述第三父体进行变异操作产生新个体；
判断产生新个体的遗传算法是否满足终止条件，所述遗传算法的适应度函数为欧式距离收敛精度；
若是，确定当前适应度函数的函数值最高的新个体代表的初级变换矩阵为最终变换矩阵；否则，返回计算每个个体的适应度函数的函数值的步骤，继续迭代。
5.根据权利要求4所述的多相机***位姿标定方法，其特征在于，所述对所述第一父体和所述第二父体进行交叉操作产生新个体的产生方式为：；
其中，Y 1、Y 2表示交叉操作产生的新个体，X 1表示第一父体，X 2表示第二父体，rand表示0至1之间的随机数；
所述对所述第三父体进行变异操作产生新个体的产生方式为：；
其中，Y 3表示变异操作产生的新个体，X 3表示第三父体，X max表示适应度值最大的个体，X min表示适应度值最小的个体，rand表示0至1之间的随机数。
6.根据权利要求4所述的多相机***位姿标定方法，其特征在于，所述终止条件具体为：当确定最终变换矩阵迭代次数达到最大迭代次数或者欧式距离收敛精度达到预设精度，则确定当前适应度函数的函数值最高的新个体代表的初级变换矩阵为最终变换矩阵。
7.根据权利要求6所述的多相机***位姿标定方法，其特征在于，所述欧式距离收敛精度的计算方式为：；
其中，ε表示欧式距离收敛精度， 表示主相机的点云数据中的第i个数据点的坐标向量，/>表示副相机的点云数据中的第i个数据点的坐标向量，/> 2表示二范数计算，n表示数据点总数。
8.一种多相机***位姿标定装置，其特征在于，包括：
第一获取模块，用于通过多个相机拍摄带有特定标记角点的棋盘格图像，且每个相机只需各保存一张棋盘格图像；
提取模块，用于提取所述棋盘格图像中的所述特定标记角点的位置信息；
初步标定模块，用于通过所述特定标记角点的位置信息，对各个相机进行初步标定；
第二获取模块，用于通过多个相机拍摄目标物体的点云数据；
转化模块，用于从多个相机中选取一个相机作为主相机，其余相机作为副相机，根据初步标定结果，将各个副相机坐标系下的点云数据的坐标转化至所述主相机坐标系下；
最终标定模块，用于通过迭代最近点算法，对所有主相机坐标系下的点云数据的坐标进行最终标定；
所述棋盘格图像中的特定标记角点为圆标记点，所述提取所述棋盘格图像中的所述特定标记角点的位置信息，具体包括：
对所述棋盘格图像进行二值化处理，使用数值0表示黑色，数值1表示白色；
获取二值化处理后的棋盘格图像的四个角点区域；
对所述角点区域进行透视变换，以便将所述角点区域调整到预设尺寸的目标区域中；
创建所述预设尺寸大小的掩码区域；
获取所述掩码区域沿预设方向上的长度以及所述角点区域沿所述预设方向上的非0像素的长度，计算所述角点区域的特定标记判定值；
当所述角点区域的特定标记判定值小于预设值时，确定所述角点区域为特定标记角点区域；
提取所述特定标记角点区域的坐标信息，作为所述特定标记角点的位置信息；
通过以下方式计算所述角点区域的特定标记判定值：；
其中，R表示特定标记判定值，L*表示预期长度，L 1表示所述掩码区域沿预设方向上的长度，L 2表示所述角点区域沿所述预设方向上的非0像素的长度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410250685.9A CN117830439B (zh) | 2024-03-05 | 2024-03-05 | 一种多相机***位姿标定方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410250685.9A CN117830439B (zh) | 2024-03-05 | 2024-03-05 | 一种多相机***位姿标定方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117830439A true CN117830439A (zh) | 2024-04-05 |
| CN117830439B CN117830439B (zh) | 2024-06-14 |
Family
ID=90506302
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410250685.9A Active CN117830439B (zh) | 2024-03-05 | 2024-03-05 | 一种多相机***位姿标定方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117830439B (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103942796A (zh) * | 2014-04-23 | 2014-07-23 | 清华大学 | 一种高精度的投影仪-摄像机标定***及标定方法 |
| CN111640158A (zh) * | 2020-06-11 | 2020-09-08 | 武汉斌果科技有限公司 | 基于对应掩模的端到端的摄像头与激光雷达外参标定方法 |
| CN112381886A (zh) * | 2020-11-16 | 2021-02-19 | 深圳市洲明科技股份有限公司 | 基于多相机的三维场景重建方法、存储介质及电子设备 |
| WO2021138995A1 (zh) * | 2020-01-10 | 2021-07-15 | 大连理工大学 | 一种棋盘格角点全自动检测方法 |
| CN113436258A (zh) * | 2021-06-17 | 2021-09-24 | 中国船舶重工集团公司第七0七研究所九江分部 | 基于视觉与激光雷达融合的海上浮码头检测方法及*** |
| CN114494456A (zh) * | 2022-01-11 | 2022-05-13 | 上海交通大学 | 基于移动标定板多相机外参标定方法、***、介质及终端 |
| WO2022120567A1 (zh) * | 2020-12-08 | 2022-06-16 | 深圳先进技术研究院 | 一种基于视觉引导的自动化标定*** |
| WO2022160761A1 (zh) * | 2021-01-29 | 2022-08-04 | 北京罗克维尔斯科技有限公司 | 双立体相机的标定方法及装置 |
| CN115457147A (zh) * | 2022-09-16 | 2022-12-09 | 北京的卢深视科技有限公司 | 相机标定方法、电子设备及存储介质 |
| CN116038720A (zh) * | 2023-04-03 | 2023-05-02 | 广东工业大学 | 一种基于点云配准的手眼标定方法、装置及设备 |
| CN117315046A (zh) * | 2023-09-28 | 2023-12-29 | 浙江吉利控股集团有限公司 | 一种环视相机标定方法、装置、电子设备及存储介质 |
| CN117522963A (zh) * | 2023-11-08 | 2024-02-06 | 北京东土科技股份有限公司 | 棋盘格的角点定位方法、装置、存储介质及电子设备 |
-
2024
- 2024-03-05 CN CN202410250685.9A patent/CN117830439B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103942796A (zh) * | 2014-04-23 | 2014-07-23 | 清华大学 | 一种高精度的投影仪-摄像机标定***及标定方法 |
| WO2021138995A1 (zh) * | 2020-01-10 | 2021-07-15 | 大连理工大学 | 一种棋盘格角点全自动检测方法 |
| CN111640158A (zh) * | 2020-06-11 | 2020-09-08 | 武汉斌果科技有限公司 | 基于对应掩模的端到端的摄像头与激光雷达外参标定方法 |
| CN112381886A (zh) * | 2020-11-16 | 2021-02-19 | 深圳市洲明科技股份有限公司 | 基于多相机的三维场景重建方法、存储介质及电子设备 |
| WO2022120567A1 (zh) * | 2020-12-08 | 2022-06-16 | 深圳先进技术研究院 | 一种基于视觉引导的自动化标定*** |
| WO2022160761A1 (zh) * | 2021-01-29 | 2022-08-04 | 北京罗克维尔斯科技有限公司 | 双立体相机的标定方法及装置 |
| CN113436258A (zh) * | 2021-06-17 | 2021-09-24 | 中国船舶重工集团公司第七0七研究所九江分部 | 基于视觉与激光雷达融合的海上浮码头检测方法及*** |
| CN114494456A (zh) * | 2022-01-11 | 2022-05-13 | 上海交通大学 | 基于移动标定板多相机外参标定方法、***、介质及终端 |
| CN115457147A (zh) * | 2022-09-16 | 2022-12-09 | 北京的卢深视科技有限公司 | 相机标定方法、电子设备及存储介质 |
| CN116038720A (zh) * | 2023-04-03 | 2023-05-02 | 广东工业大学 | 一种基于点云配准的手眼标定方法、装置及设备 |
| CN117315046A (zh) * | 2023-09-28 | 2023-12-29 | 浙江吉利控股集团有限公司 | 一种环视相机标定方法、装置、电子设备及存储介质 |
| CN117522963A (zh) * | 2023-11-08 | 2024-02-06 | 北京东土科技股份有限公司 | 棋盘格的角点定位方法、装置、存储介质及电子设备 |
Non-Patent Citations (3)
| Title |
|---|
| KE ZHAO; LI-ZHE LIU; GUI-SHU HUANG; LI-RONG MEI; YANG LI: "Research on Automatic Calibration Algorithm for Cylindrical Conformal Phased Array Antenna", 2021 13TH INTERNATIONAL SYMPOSIUM ON ANTENNAS, PROPAGATION AND EM THEORY (ISAPE), 1 November 2022 (2022-11-01) * |
| ZHANG GAO, MINGZHU ZHU, JUNZHI YU: "A Self-identifying Checkerboard-like Pattern for Camera Calibration", PROCEEDINGS OF THE 39TH CHINESE CONTROL CONFERENCE, 29 July 2020 (2020-07-29) * |
| 袁苏哲，高嘉瑜，景鑫，李阳: "基于多标签联合定位的自主视觉着陆技术研究", 现代导航, no. 2, 15 April 2020 (2020-04-15) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117830439B (zh) | 2024-06-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021233029A1 (en) | Simultaneous localization and mapping method, device, system and storage medium | |
| CN111738261B (zh) | 基于位姿估计和校正的单图像机器人无序目标抓取方法 | |
| CN112017225B (zh) | 一种基于点云配准的深度图像匹配方法 | |
| CN109584156B (zh) | 显微序列图像拼接方法及装置 | |
| CN104574347B (zh) | 基于多源遥感数据的在轨卫星图像几何定位精度评价方法 | |
| EP3182371B1 (en) | Threshold determination in for example a type ransac algorithm | |
| CN106683139B (zh) | 基于遗传算法的鱼眼相机标定***及其图像畸变矫正方法 | |
| CN114399554B (zh) | 一种多相机***的标定方法及*** | |
| CN105046251B (zh) | 一种基于环境一号卫星遥感影像的自动正射校正方法 | |
| CN112001926B (zh) | 基于多维语义映射rgbd多相机标定方法、***及应用 | |
| JP2004516533A (ja) | 合成開口レーダーおよび前向き赤外線イメージ重ね合わせ方法 | |
| CN111179433A (zh) | 目标物体的三维建模方法及装置、电子设备、存储介质 | |
| CN113012208B (zh) | 多视角遥感图像配准方法及*** | |
| KR100951309B1 (ko) | 광학식 모션 캡처 장비를 위한 다중 카메라 보정 방법 | |
| CN111369495A (zh) | 一种基于视频的全景图像的变化检测方法 | |
| CN116129037B (zh) | 视触觉传感器及其三维重建方法、***、设备及存储介质 | |
| CN111709876B (zh) | 一种图像拼接的方法及装置、设备、存储介质 | |
| Streiff et al. | 3D3L: Deep learned 3D keypoint detection and description for LiDARs | |
| US8340399B2 (en) | Method for determining a depth map from images, device for determining a depth map | |
| CN113963067B (zh) | 一种采用小靶标对大视场视觉传感器进行标定的标定方法 | |
| Remondino et al. | Evaluating hand-crafted and learning-based features for photogrammetric applications | |
| CN112288813B (zh) | 基于多目视觉测量与激光点云地图匹配的位姿估计方法 | |
| CN117372244A (zh) | 基于二维阵列表示的大场景特征立体匹配方法 | |
| CN110969650B (zh) | 一种基于中心投影的强度图像与纹理序列间的配准方法 | |
| CN117830439B (zh) | 一种多相机***位姿标定方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |