CN108230397B - 多目摄像机标定与校正方法和装置、设备、程序和介质 - Google Patents

多目摄像机标定与校正方法和装置、设备、程序和介质 Download PDF

Info

Publication number
CN108230397B
CN108230397B CN201711298424.0A CN201711298424A CN108230397B CN 108230397 B CN108230397 B CN 108230397B CN 201711298424 A CN201711298424 A CN 201711298424A CN 108230397 B CN108230397 B CN 108230397B
Authority
CN
China
Prior art keywords
camera
calibration
parameters
cameras
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711298424.0A
Other languages
English (en)
Other versions
CN108230397A (zh
Inventor
周恩宇
孙文秀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Sensetime Technology Co Ltd
Original Assignee
Shenzhen Sensetime Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Sensetime Technology Co Ltd filed Critical Shenzhen Sensetime Technology Co Ltd
Priority to CN201711298424.0A priority Critical patent/CN108230397B/zh
Publication of CN108230397A publication Critical patent/CN108230397A/zh
Application granted granted Critical
Publication of CN108230397B publication Critical patent/CN108230397B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

本发明实施例公开了一种多目摄像机的标定与校正方法和装置、电子设备、计算机程序和存储介质。其中，方法包括：分别对多目摄像机进行摄像机参数的标定，其中，所述多目摄像机中至少二目摄像机的标定分别基于各自拍摄的具有自身分辨率的图像进行；根据标定的数据进行所述多目摄像机的校正，在所述校正过程中将所述至少二目摄像机中的各摄像机拍摄的图像调整为分辨率相同的图像。本发明实施例可提高多目摄像机标定和校正的精度。

Description

多目摄像机标定与校正方法和装置、设备、程序和介质
技术领域
本发明属于计算机视觉技术领域，特别是涉及一种多目摄像机的标定与校正方法和装置、电子设备、计算机程序和存储介质。
背景技术
摄像机标定主要是为了获得摄像机参数。多目摄像机，例如双目摄像机，校正主要是要使拍摄的同一物体在两幅图像中大小相同、且水平在一条直线上。
多目摄像机的标定和校正是很多计算机视觉领域算法的基础，它对许多领域相关算法的精度和效果有着重要影响。
发明内容
本发明实施例提供一种多目摄像机的标定与校正技术方案。
根据本发明实施例的一个方面，提供一种多目摄像机的标定与校正方法，包括：
分别对多目摄像机进行摄像机参数的标定，其中，所述多目摄像机中至少二目摄像机的标定分别基于各自拍摄的具有自身分辨率的图像进行；
根据标定的数据进行所述多目摄像机的校正，在所述校正过程中将所述至少二目摄像机中的各摄像机拍摄的图像调整为分辨率相同的图像。
根据本发明实施例的另一个方面，提供一种多目摄像机的标定与校正装置，包括：
标定单元，用于分别对多目摄像机进行摄像机参数的标定，其中，所述多目摄像机中至少二目摄像机的标定分别基于各自拍摄的具有自身分辨率的图像进行；
校正单元，用于根据标定的数据进行所述多目摄像机的校正，在所述校正过程中将所述至少二目摄像机中的各摄像机拍摄的图像调整为分辨率相同的图像。
根据本发明实施例的又一个方面，提供的一种电子设备，包括上述任一实施例所述的装置。
根据本发明实施例的再一个方面，提供的一种电子设备，包括：
存储器，用于存储可执行指令；以及
处理器，用于与所述存储器通信以执行所述可执行指令从而完成上述任一实施例所述方法的操作。
根据本发明实施例的再一个方面，提供的一种计算机程序，包括计算机可读代码，当所述计算机可读代码在设备上运行时，所述设备中的处理器执行用于实现上述任一实施例所述方法中各步骤的指令。
根据本发明实施例的再一个方面，提供的一种计算机存储介质，用于存储计算机可读取的指令，所述指令被执行时执行上述任一实施例所述方法的操作。
基于本发明上述实施例提供的多目摄像机的标定与校正方法和装置、电子设备、计算机程序和存储介质，通过在多目摄像机标定过程中，使摄像机基于各自拍摄的具有自身分辨率的图像进行摄像机参数的标定，在根据标定的数据进行多目摄像机校正的过程中，将摄像机拍摄的图像调整为分辨率相同的图像，当多目摄像机中存在分辨率不同的摄像机时，由于不需要在标定之前对分辨率不同的图像进行调整，并基于调整后的图像进行参数计算，可降低甚至避免由于对图像进行调整而引起的摄像机参数标定的误差，进而在根据标定的数据进行校正时，可降低甚至避免由于误差传递而引起的摄像机校正结果的误差，由此提高摄像机标定和校正的精度。基于经过高精度标定和校正后的多目摄像机所拍摄的图像，可作为计算机视觉领域相关算法处理的基础，例如，可作为双目立体匹配算法、多摄像机三维重建算法、多摄像机去噪算法等处理的基础，由此提高算法处理精度。
附图说明
构成说明书的一部分的附图描述了本发明的实施例，并且连同描述一起用于解释本发明的原理。
参照附图，根据下面的详细描述，可以更加清楚地理解本发明，其中：
图1是本发明实施例多目摄像机的标定与校正方法一个实施例的流程图。
图2是本发明实施例多目摄像机的标定与校正方法在校正过程中调整图像的分辨率的一个实施例的流程图。
图3是本发明实施例多目摄像机的标定与校正方法进行摄像机参数标定的一个实施例的流程图。
图4是本发明实施例多目摄像机的标定与校正方法采用的标定板的一个实施例的示意图。
图5是本发明实施例多目摄像机的标定与校正方法采用的标定板组的一个实施例的示意图。
图6是本发明实施例多目摄像机的标定与校正方法进行摄像机参数标定的另一个实施例的流程图。
图7是本发明实施例多目摄像机的标定与校正装置一个实施例的结构示意图。
图8是本发明实施例多目摄像机的标定与校正装置的校正单元的一个实施例的结构示意图。
图9是本发明实施例多目摄像机的标定与校正装置的标定单元的一个实施例的结构示意图。
图10是本发明实施例多目摄像机的标定与校正装置的标定单元的另一个实施例的结构示意图。
图11是本发明实施例电子设备一个实施例的结构示意图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件的相对布置、数字表达式和数值不限制本发明的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
本发明实施例可以应用于计算机***/服务器，其可与众多其它通用或专用计算***环境或配置一起操作。适于与计算机***/服务器一起使用的众所周知的计算***、环境和/或配置的例子包括但不限于：个人计算机***、服务器计算机***、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的***、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机***﹑大型计算机***和包括上述任何***的分布式云计算技术环境，等等。
计算机***/服务器可以在由计算机***执行的计算机***可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机***/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算***存储介质上。
图1是本发明实施例多目摄像机的标定与校正方法一个实施例的流程图。如图1所示，该实施例的方法包括：
102，分别对多目摄像机进行摄像机参数的标定，其中，多目摄像机中至少二目摄像机的标定分别基于各自拍摄的具有自身分辨率的图像进行。
104，根据标定的数据进行多目摄像机的校正，在校正过程中将至少二目摄像机中的各摄像机拍摄的图像调整为分辨率相同的图像。
其中，摄像机为具有摄像功能的装置，也可以称为相机、相机模组、摄像头、相机镜头、镜头。
可选地，摄像机参数包括摄像机的以下一种或多种参数：内部参数、外部参数、畸变参数。摄像机的内部参数例如焦距、镜心等；摄像机外部参数例如多目摄像机中一摄像机相对其他摄像机的旋转参数、位移角度等相对位置信息；摄像机的畸变参数例如切向畸变、径向畸变等。
其中，多目摄像机可以是双目摄像机，也可以是三目摄像机、四目摄像机，甚至更多目摄像机。
可选地，多目摄像机包括至少二目分辨率不同的摄像机；对于双目摄像机，二目分辨率不同；对于三目摄像机、四目摄像机，甚至更多目摄像机，其中至少有二目分辨率不同，在此基础上，其他目分辨率可以相同也可以不同。
可选地，操作102在进行摄像机参数的标定时，使多目摄像机中具有不同分辨率的摄像机直接以各自拍摄的具有自身分辨率的图像来进行标定，获得摄像机参数，操作104在根据标定的数据进行校正的过程中，通过对多目摄像机中具有不同分辨率的摄像机各自拍摄的具有自身分辨率的图像进行调整，获得分辨率相同的图像。
可选地，操作104可以在校正过程中通过缩放操作将各摄像机拍摄的图像调整为分辨率相同的图像，这种缩放操作的方式可以非常灵活，例如：可以是将各摄像机拍摄的图像调整为某一个预设尺寸大小的图像，也可以是将各摄像机拍摄的图像调整为其中某一个摄像机分辨率大小的图像，等等。缩放操作可包括但不限于上采样和/或降采样等。
在实际应用中，为了降低成本或者其他原因，多目摄像机可包括具有不同的分辨率的多个摄像机。例如：双目摄像机中一个摄像机的分辨率高，而另一个摄像机的分辨率低。在标定过程中，多目摄像机中分辨率不同摄像机同时拍摄所获得的图像大小不同，需要通过缩放、插值等处理，将大小不同的图像调整为大小一致的图像，才能够基于大小一致的图像分别进行摄像机的标定。由于进行了图像调整的摄像机参数计算是基于调整后的图像，不是基于原始拍摄的图像，而调整后的图像由于插值等原因会增大摄像机参数标定的误差。
基于本发明上述实施例提供的多目摄像机的标定与校正方法，通过在多目摄像机标定过程中，使摄像机基于各自拍摄的具有自身分辨率的图像进行摄像机参数的标定，在根据标定的数据进行多目摄像机校正的过程中，将摄像机拍摄的图像调整为分辨率相同的图像，当多目摄像机中存在分辨率不同的摄像机时，由于不需要在标定之前对分辨率不同的图像进行调整，并基于调整后的图像进行参数计算，可降低甚至避免由于对图像进行调整而引起的摄像机参数标定的误差，进而在根据标定的数据进行校正时，可降低甚至避免由于误差传递而引起的摄像机校正结果的误差，由此提高摄像机标定和校正的精度。基于经过高精度标定和校正后的多目摄像机所拍摄的图像，可作为计算机视觉领域相关算法处理的基础，例如，可作为双目立体匹配算法、多摄像机三维重建算法、多摄像机去噪算法等处理的基础，由此提高算法处理精度。
图2是本发明实施例多目摄像机的标定与校正方法在校正过程中调整图像的分辨率的一个实施例的流程图。如图2所示，该实施例的方法包括：
202，对各摄像机拍摄的图像进行列提取，获得对应的二维点阵图。
可选地，操作202可以采用对各摄像机拍摄的图像的各行和各列进行均匀提取，获得对应的二维点阵图。
204，根据各摄像机的畸变参数，确定对应的二维点阵图中的像素点去畸变变换后的坐标。
可选地，操作204可以根据各摄像机的畸变参数，计算对应的二维点阵图中的像素点去畸变变换后的坐标。
206，获取各二维点阵图去畸变变换后点阵的外接框。
可选地，操作206可以通过获取各二维点阵图去畸变变换后点阵的最小外接矩形作为外接框。
208，确定各外接框的尺寸与预设尺寸的比例。
可选地，操作208可以通过计算各最小外接矩形的尺寸与预设尺寸的比例，获得各外接框的尺寸与预设尺寸的比例。
210，根据比例对各摄像机拍摄的图像去畸变后的图像进行缩放，获得分辨率相同的图像。
可选地，预设尺寸可以为最终获得的校正图的尺寸，可以根据需要人为设定，根据校正图的尺寸不同，可以输出任意分辨率的校正图，由于最终获得的校正图具有相同的分辨率，因此这些校正图可以用于后续计算图像的深度。
可选地，在操作210之后，还可以包括：根据分辨率相同的图像，对多目摄像机中任意二目摄像机之间的外部参数进行校正的操作。
图3是本发明实施例多目摄像机的标定与校正方法进行摄像机参数标定的一个实施例的流程图。如图3所示，该实施例是对多目摄像机中的一摄像机进行摄像机参数的标定，该方法包括：
302，拍摄标定板组，获得一张包含标定板组的图像。
其中，标定板组包括至少二个不共面设置的标定板。
可选地，操作302中的标定板可以采用具有任意图案的标定板，例如：棋盘格标定板、圆阵列标定板等，本实施例不对标定板的图案作具体限定，如图4所示，是一种可用于本发明实施例的具有棋盘格图案的标定板。
由于标定板组中包含的标定板的数量越多，以及将标定板组中的标定板不共面设置，可以提供更多的特征点信息，从而在标定过程中可以减少拍摄标定板的次数，减少标定流程的复杂度。本实施例不对标定版组中标定板的数量，及各标定板在标定板组中不共面设置的方式作具体限定。
可选地，如图5所示，是一种可用于本发明实施例的标定板组，该标定板组包括4个标定板，4个标定板分别设置于左上、右上、左下、右下4个位置，其中设置于左上位置的标定板位于四个标定板共面形成的一基准面中，设置右上、左下、右下位置的标定板分别从该基准面朝y方向旋转30度，从该基准面朝x方向旋转30度，以及从该基准面朝x方向和y方向各旋转30度，从而形成与左上位置设置的标定板不共面设置标定板组。
可选地，在操作302所拍摄的图像中，除了需要包含标定板组中全部的标定板外，可使所拍摄出来的图像中尽量少包含空白区域，如此使得标定板在图像中所占的比例增加，有利于提高后续特征点检测的精度。
304，检测图像中标定板的特征点，获得特征点的位置。
可选地，对于棋盘格标定板，其特征点为棋盘格的内角点；对于圆阵列标定板，其特征点为圆阵列的圆心。
可选地，在操作304之前，还可以包括：将图像分割为多个图像块，使每个图像块至少包括一个完整的标定板的操作，则此时操作304为：分别检测每个图像块中的标定板的特征点，从而获得特征点的位置。
在一个具体示例中，操作304可以包括：对图像进行二值化处理；根据二值化处理后的图像，获取方格及其相邻方格的信息；根据相邻方格的信息，获得相邻方格的公共点；根据相邻方格的公共点，获得对应的棋盘格中角点的位置。
其中，对待检测图像进行二值化处理，可以使图像对于不同光照、不同摄像机视角间的细微差异，具有很好的鲁棒性，二值化处理的方法，例如：将图像中亮度高于预设阈值k1的像素全设为255即纯白，亮度低于预设阈值k1的像素全设为0即纯黑，从而增强画面的对比度。
根据二值化处理后的图像，获取方格及其相邻方格的信息，可以通过对二值化处理后的图像进行膨胀处理，使图像中每个黑色的方格被分离出来，从而通过提取轮廓获得每个方格的轮廓，并通过对各方格轮廓进行多边形拟合，排除干扰轮廓，再通过分别搜索各方格的相邻方格，并记录相邻方格的信息来实现。
根据相邻方格的信息，获得相邻方格的公共点，是由于在图像进行膨胀处理后原本相邻的方格被分开，在原来相连部分的一个公共点被分开变成两个点，因此根据相邻方格的信息可以计算出原来相邻方格的公共点。
根据相邻方格的公共点，获得对应的棋盘格中角点的位置，首先需要根据已知的棋盘格的角点数量，判断每个方格是否为对应的棋盘格中的方格；若该方格为对应的棋盘格中的方格，则需要对该方格进行排序，即标明该方格位于棋盘格的哪一行哪一列，在这一过程中，可以添加棋盘格中缺少的方格，删除棋盘格中多余的方格，然后在获得正确的棋盘格中方格的基础上，根据棋盘格中相邻方格的公共点，获得对应的棋盘格中角点的位置，并对各角点进行编号。
其中，棋盘格中已知的角点数量是根据标定板的信息获得，标定板的信息包括：标定板的长度、宽度以及单个方格的大小等。
可选地，操作304还可以包括：对棋盘格中角点的位置进行亚像素提取，通过对棋盘格中角点的位置进行亚像素提取，可以使所获得的棋盘格中角点的位置的误差在小于一个像素的范围内，由此精确定位角点的位置。
306，根据特征点的位置，确定摄像机参数。
可选地，操作306可以包括：根据特征点的位置，确定摄像机的内部参数；根据摄像机的内部参数和特征点的对应关系信息，确定摄像机的外部参数；根据摄像机的内部参数、特征点的对应关系信息和摄像机的外部参数，确定摄像机的畸变参数。
可选地，操作306可以包括：根据特征点分别在图像平面对应的摄像机坐标系和标定板平面对应的世界坐标系中的坐标，确定单应性矩阵；根据单应性矩阵确定摄像机的内部参数；或者，根据单应性矩阵确定摄像机的内部参数，根据单应性矩阵和内部参数确定摄像机的外部参数；或者，根据单应性矩阵确定摄像机的内部参数，根据单应性矩阵和内部参数确定摄像机的外部参数，根据特征点分别在图像平面对应的摄像机坐标系和标定板平面对应的世界坐标系中的坐标、内部参数和外部参数，确定摄像机的畸变参数。
具体地，建立针孔成像模型：
Figure GDA0001629269370000101
其中，(x，y)为特征点在摄像机坐标系中的坐标，(X,Y,0)为对应的特征点在世界坐标系中的坐标，R＝[r1 r2 r3]为世界坐标系到摄像机坐标系的旋转变换矩阵，t为世界坐标系到摄像机坐标系的平移变换向量，M为摄像机内部参数矩阵，s为一个比例系数。
根据针孔成像模型，获得图像平面与标定板平面之间的单应性矩阵：
H＝[h1 h2 h3]＝sM[r1 r2 t]
根据特征点在图像平面对应的摄像机坐标系和标定板平面对应的世界坐标系中的坐标，多个方程联立求解出单应性矩阵H。
其中，特征点在摄像机坐标系中的坐标是根据检测特征点的操作，即操作304获得；特征点在世界坐标系中的坐标，是根据标定板的信息与特征点的编号获得，例如：根据棋盘格标定板中方格的长为5cm，角点的编号为第2行、第3列，得到该角点在世界坐标系中的坐标就为(5cm*3,5cm*2)。
根据单应性矩阵H，利用两个旋转向量r1、r2相互正交，且向量的模相等的约束条件，得到两个约束方程：
Figure GDA0001629269370000102
其中，令
Figure GDA0001629269370000111
将矩阵B和已知的单应性矩阵H带入上述两个约束方程，求解出矩阵B。
根据：
Figure GDA0001629269370000112
将矩阵M带入，得到矩阵B的通用形式封闭解：
Figure GDA0001629269370000113
从而得到摄像机内部参数的表达式：
Figure GDA0001629269370000114
其中：
λ＝B33-[B13 2+cy(B12B13-B11B23)]/B11
其中，fx为摄像机的水平焦距，fy为摄像机的垂直的焦距，Cx为镜心的横坐标，Cy为镜心所的纵坐标，将已知的矩阵B带入上述关系式，求解出摄像机的内部参数。
根据单应性矩阵H得到三个方程：
Figure GDA0001629269370000115
从而得到摄像机外部参数的表达式：
Figure GDA0001629269370000116
Figure GDA0001629269370000122
根据已知的单应性矩阵H，将摄像机的内部参数带入上述关系式，求解出摄像机的外部参数。
基于针孔成像模型，考虑镜头畸变，得到方程：
Figure GDA0001629269370000121
其中，(xp，yp)为发生畸变的特征点在摄像机坐标系中的坐标，(xd，yd)为对应的特征点在世界坐标系中的坐标，k1、k2、k3分别为一、二、三阶径向畸变，p1、p2为不同方向的切向畸变。
将特征点在摄像机坐标系和世界坐标系中的坐标、摄像机的内部参数和外部参数带入，求解出摄像机的畸变参数。
可选地，在操作306之前，还可以包括：估计摄像机的畸变程度；根据摄像机的畸变程度调整待确定的摄像机参数的数量的操作。
可选地，估计摄像机的畸变程度的方法可以包括：根据摄像机的相高表，估计摄像机的畸变程度，或者根据摄像机拍摄的图像质量，估计摄像机的畸变程度。
其中，根据摄像机的相高表，估计摄像机的畸变程度，是根据摄像机厂商提供的第一畸变参数估计摄像机的畸变情况，例如：是否有哪类畸变、畸变程度如何等，厂商提供的第一畸变参数通常采用光学方法测量而得，表现形式为相高表，相高表是以横坐标为像素点从图像中心到具体像素位置的归一化值，纵坐标为像素点从图像中心到具体像素位置的实际测量值。
根据摄像机拍摄的图像质量，估计摄像机的畸变程度，是根据图像质量，例如：观察图像边缘是否有明显畸变等，来估计摄像机的畸变程度。
由于选择用几阶径向畸变和是否选择切向畸变去估计摄像机，取决于摄像机的畸变程度，一般来说畸变越大，需要用越高阶数的径向畸变去估计摄像机，同时需要用切向畸变去估计摄像机，反之，则用较低阶数的径向畸变去估计摄像机，同时不用切向畸变去估计摄像机即可。
例如：如果估计摄像机的径向畸变程度较低，则将上述求解摄像机畸变的方程中的参数k3置0或者将k2和k3置0，同时将p1、p2分别置0，这样可以减少需要求解的畸变参数的数量，从而降低需要求解的参数的误差。如果估计摄像机的径向畸变程度较高，则不进行径向畸变参数k2、k3的置0，也不进行p1、p2的置0。
具体实现中，估计摄像机的畸变程度，根据摄像机的畸变程度调整待确定的摄像机参数的数量的操作，往往对同一批摄像机只进行一次即可。
图6是本发明实施例多目摄像机的标定与校正方法进行摄像机参数标定的另一个实施例的流程图。如图6所示，该实施例是对多目摄像机中的一摄像机进行摄像机参数的标定，该方法包括：
602，拍摄标定板组，获得一张包含标定板组的图像。
其中，标定板组包括至少二个不共面设置的标定板。
604，检测图像中标定板的特征点，获得特征点的位置。
606，根据特征点的位置，确定摄像机参数。
608，根据标定板的特征点到极线的距离确定标定误差。
其中，操作608通过计算特征点到极线的距离，可以获得偏移误差，将偏移误差作为标定误差，可以用来衡量标定结果的好坏，通常偏移越大标定结果越差，根据特征点到极线的距离还可以获得平均偏移误差和最大偏移误差。
可选地，在操作608之前还可以包括：根据确定的摄像机参数确定二目摄像机之间的极线的操作，根据确定的摄像机参数确定二目摄像机之间的极线的操作，包括：
根据摄像机的内部参数、外部参数和畸变参数，获得二目摄像机之间的基本矩阵F：
Figure GDA0001629269370000141
其中，M为摄像机内部参数矩阵，r为右，l为左，Tx、Ty、Tz为平移变换矩阵的三个分量；
根据二目摄像机之间的基本矩阵F，确定二目摄像机之间的极线；
其中，二目摄像机之间的极线可用Pr＝F*Pl’来表示，Pr代表右摄像机的图像中某特征点的坐标，Pl’代表右摄像机图像中的该特征点在左摄像机图像中的各种可能坐标。通过F矩阵可以得到左右两张图像的坐标关系。但因为F是一个秩亏矩阵，左右两张图像中每张图像中的每一个特征点都对应另一幅图像中的一条线，这条线我们就称之为极线。
基于本发明上述实施例提供的多目摄像机的标定与校正方法，通过计算各标定板的特征点到极线的距离来衡量标定的误差，可以在像素精度上量化的衡量标定结果的好坏。在具体应用中，根据标定板的特征点到极线的距离确定标定误差可以用来进行产品质量检验，具体地，可以通过判断误差大于预设阈值，确定摄像机质量不合格，重新返厂加工。
可选地，在根据标定板的特征点到极线的距离确定标定误差之后还可以包括：检验标定误差的操作。
通过在标定过程之后，引入检验标定误差的操作，可以核对标定误差是否准确，其中，检验标定误差的操作是利用新检测到的特征点去计算偏移误差，通过比较计算出来的结果与标定过程中计算出来的结果是否有较大偏差，来核对标定误差是否准确。它可以包括：拍摄标定板组，获得一张包含标定板组的图像；其中标定板组包括至少二个标定板；检测图像中标定板的特征点，获得特征点的位置；根据特征点的位置，确定对应的标定板的特征点到极线的距离。
其中，对于多目摄像机而言，检验的过程要求保持多目摄像机中不同摄像机之间的相对位置不变。标定板组中的标定板可以采用共面设置，即可以采用另一套标定板进行检验过程的拍照。在根据检测到的特征点的位置确定对应的标定板的特征点到极线的距离时，应保持在标定过程中的基本矩阵F不变。
图7是本发明实施例多目摄像机的标定与校正装置一个实施例的结构示意图。如图7所示，该实施例的装置包括：标定单元和校正单元。其中
标定单元，用于分别对多目摄像机进行摄像机参数的标定，其中，多目摄像机中至少二目摄像机的标定分别基于各自拍摄的具有自身分辨率的图像进行。
校正单元，用于根据标定的数据进行多目摄像机的校正，在校正过程中将至少二目摄像机中的各摄像机拍摄的图像调整为分辨率相同的图像。
其中，摄像机为具有摄像功能的装置，也可以称为相机、相机模组、摄像头、相机镜头、镜头。
可选地，摄像机参数包括摄像机的以下一种或多种参数：内部参数、外部参数、畸变参数。摄像机的内部参数例如焦距、镜心等；摄像机外部参数例如多目摄像机中一摄像机相对其他摄像机的旋转参数、位移角度等相对位置信息；摄像机的畸变参数例如切向畸变、径向畸变等。
其中，多目摄像机可以是双目摄像机，也可以是三目摄像机、四目摄像机，甚至更多目摄像机。
可选地，多目摄像机包括至少二目分辨率不同的摄像机；对于双目摄像机，二目分辨率不同；对于三目摄像机、四目摄像机，甚至更多目摄像机，其中至少有二目分辨率不同，在此基础上，其他目分辨率可以相同也可以不同。
可选地，标定单元用于在进行摄像机参数的标定时，使多目摄像机中具有不同分辨率的摄像机直接以各自拍摄的具有自身分辨率的图像来进行标定，获得摄像机参数，校正单元用于在根据标定的数据进行校正的过程中，通过对多目摄像机中具有不同分辨率的摄像机各自拍摄的具有自身分辨率的图像进行调整，获得分辨率相同的图像。
可选地，校正单元具体用于在校正过程中通过缩放操作将各摄像机拍摄的图像调整为分辨率相同的图像，这种缩放操作的方式可以非常灵活，例如：可以是将各摄像机拍摄的图像调整为某一个预设尺寸大小的图像，也可以是将各摄像机拍摄的图像调整为其中某一个摄像机分辨率大小的图像，等等。缩放操作可包括但不限于上采样和/或降采样等。
基于本发明上述实施例提供的多目摄像机的标定与校正装置，通过在多目摄像机标定过程中，使摄像机基于各自拍摄的具有自身分辨率的图像进行摄像机参数的标定，在根据标定的数据进行多目摄像机校正的过程中，将摄像机拍摄的图像调整为分辨率相同的图像，当多目摄像机中存在分辨率不同的摄像机时，由于不需要在标定之前对分辨率不同的图像进行调整，并基于调整后的图像进行参数计算，可降低甚至避免由于对图像进行调整而引起的摄像机参数标定的误差，进而在根据标定的数据进行校正时，可降低甚至避免由于误差传递而引起的摄像机校正结果的误差，由此提高摄像机标定和校正的精度。基于经过高精度标定和校正后的多目摄像机所拍摄的图像，可作为计算机视觉领域相关算法处理的基础，例如，可作为双目立体匹配算法、多摄像机三维重建算法、多摄像机去噪算法等处理的基础，由此提高算法处理精度。
图8是本发明实施例多目摄像机的标定与校正装置的校正单元的一个实施例的结构示意图。如图8所示，该实施例的校正单元包括：点阵提取模块、去畸变模块、外接框获取模块、比例确定模块和比例缩放模块。其中
点阵提取模块，用于对各摄像机拍摄的图像进行列提取，获得对应的二维点阵图。
可选地，点阵提取模块可以采用对各摄像机拍摄的图像的各行和各列进行均匀提取，获得对应的二维点阵图。
去畸变模块，用于根据各摄像机的畸变参数，确定对应的二维点阵图中的像素点去畸变变换后的坐标。
可选地，去畸变模块可以根据各摄像机的畸变参数，计算对应的二维点阵图中的像素点去畸变变换后的坐标。
外接框获取模块，用于获取各二维点阵图去畸变变换后点阵的外接框。
可选地，外接框获取模块可以通过获取各二维点阵图去畸变变换后点阵的最小外接矩形作为外接框。
比例确定模块，用于确定各外接框的尺寸与预设尺寸的比例。
可选地，比例确定模块可以通过计算各最小外接矩形的尺寸与预设尺寸的比例，获得各外接框的尺寸与预设尺寸的比例。
比例缩放模块，用于根据比例对各摄像机拍摄的图像去畸变后的图像进行缩放，获得分辨率相同的图像。
可选地，预设尺寸可以为最终获得的校正图的尺寸，可以根据需要人为设定，根据校正图的尺寸不同，可以输出任意分辨率的校正图，由于最终获得的校正图具有相同的分辨率，因此这些校正图可以用于后续计算图像的深度。
可选地，校正单元还可以用于根据分辨率相同的图像，对多目摄像机中任意二目摄像机之间的外部参数进行校正的操作。
图9是本发明实施例多目摄像机的标定与校正装置的标定单元的一个实施例的结构示意图。如图9所示，该实施例的标定单元包括：拍摄模块、检测模块和标定模块。其中
拍摄模块，用于拍摄标定板组，获得一张包含标定板组的图像。
其中，标定板组包括至少二个不共面设置的标定板。
可选地，标定板可以采用具有任意图案的标定板，例如：棋盘格标定板、圆阵列标定板等，本实施例不对标定板的图案作具体限定。
由于标定板组中包含的标定板的数量越多，以及将标定板组中的标定板不共面设置，可以提供更多的特征点信息，从而在标定过程中可以减少拍摄标定板的次数，减少标定流程的复杂度。本实施例不对标定版组中标定板的数量，及各标定板在标定板组中不共面设置的方式作具体限定。
可选地，在拍摄模块所拍摄的图像中，除了需要包含标定板组中全部的标定板外，可使所拍摄出来的图像中尽量少包含空白区域，如此使得标定板在图像中所占的比例增加，有利于提高后续特征点检测的精度。
检测模块，用于检测图像中标定板的特征点，获得特征点的位置。
可选地，对于棋盘格标定板，其特征点为棋盘格的内角点；对于圆阵列标定板，其特征点为圆阵列的圆心。
可选地，在检测模块之前，还可以包括：分割模块，用于将图像分割为多个图像块，使每个图像块至少包括一个完整的标定板的操作，则此时检测模块具体用于分别检测每个图像块中的标定板的特征点，从而获得特征点的位置。
在一个具体示例中，检测模块具体用于：对图像进行二值化处理；根据二值化处理后的图像，获取方格及其相邻方格的信息；根据相邻方格的信息，获得相邻方格的公共点；根据相邻方格的公共点，获得对应的棋盘格中角点的位置。
可选地，检测模块还用于对棋盘格中角点的位置进行亚像素提取，通过对棋盘格中角点的位置进行亚像素提取，可以使所获得的棋盘格中角点的位置的误差在小于一个像素的范围内，由此精确定位角点的位置。
标定模块，用于根据特征点的位置，确定摄像机参数。
可选地，标定模块具体用于：根据特征点的位置，确定摄像机的内部参数；根据摄像机的内部参数和特征点的对应关系信息，确定摄像机的外部参数；根据摄像机的内部参数、特征点的对应关系信息和摄像机的外部参数，确定摄像机的畸变参数。
可选地，标定模块具体用于：根据特征点分别在图像平面对应的摄像机坐标系和标定板平面对应的世界坐标系中的坐标，确定单应性矩阵；根据单应性矩阵确定摄像机的内部参数；或者，根据单应性矩阵确定摄像机的内部参数，根据单应性矩阵和内部参数确定摄像机的外部参数；或者，根据单应性矩阵确定摄像机的内部参数，根据单应性矩阵和内部参数确定摄像机的外部参数，根据特征点分别在图像平面对应的摄像机坐标系和标定板平面对应的世界坐标系中的坐标、内部参数和外部参数，确定摄像机的畸变参数。
可选地，在标定模块之前，还可以包括：调整模块，用于估计摄像机的畸变程度；根据摄像机的畸变程度调整待确定的摄像机参数的数量的操作。
可选地，调整模块具体用于：根据摄像机的相高表，估计摄像机的畸变程度，或者根据摄像机拍摄的图像质量，估计摄像机的畸变程度。
图10是本发明实施例多目摄像机的标定与校正装置的标定单元的另一个实施例的结构示意图。如图10所示，该实施例的标定单元包括：拍摄模块、检测模块、标定模块和误差确定模块。其中
拍摄模块，用于拍摄标定板组，获得一张包含标定板组的图像。
其中，标定板组包括至少二个不共面设置的标定板。
检测模块，用于检测图像中标定板的特征点，获得特征点的位置。
标定模块，用于根据特征点的位置，确定摄像机参数。
误差确定模块，用于根据标定板的特征点到极线的距离确定标定误差。
其中，误差确定模块通过计算特征点到极线的距离，可以获得偏移误差，将偏移误差作为标定误差，可以用来衡量标定结果的好坏，通常偏移越大标定结果越差，根据特征点到极线的距离还可以获得平均偏移误差和最大偏移误差。
可选地，误差确定模块还用于：根据确定的摄像机参数确定二目摄像机之间的极线。
基于本发明上述实施例提供的多目摄像机的标定与校正装置，通过计算各标定板的特征点到极线的距离来衡量标定的误差，可以在像素精度上量化的衡量标定结果的好坏。在具体应用中，根据标定板的特征点到极线的距离确定标定误差可以用来进行产品质量检验，具体地，可以通过判断误差大于预设阈值，确定摄像机质量不合格，重新返厂加工。
可选地，本发明实施例的多目摄像机的标定与校正装置还可以包括：检验单元，用于检验标定误差的操作。
通过在标定过程之后，引入检验标定误差的操作，可以核对标定误差是否准确，其中，检验标定误差的操作是利用新检测到的特征点去计算偏移误差，通过比较计算出来的结果与标定过程中计算出来的结果是否有较大偏差，来核对标定误差是否准确。检验单元具体用于：拍摄标定板组，获得一张包含标定板组的图像；其中标定板组包括至少二个标定板；检测图像中标定板的特征点，获得特征点的位置；根据特征点的位置，确定对应的标定板的特征点到极线的距离。
其中，对于多目摄像机而言，检验的过程要求保持多目摄像机中不同摄像机之间的相对位置不变。标定板组中的标定板可以采用共面设置，即可以采用另一套标定板进行检验过程的拍照。在根据检测到的特征点的位置确定对应的标定板的特征点到极线的距离时，应保持在标定过程中的基本矩阵F不变。
另外，本发明实施例还提供了一种电子设备，例如可以是移动终端、个人计算机(PC)、平板电脑、服务器等，该电子设备设置有本发明上述任一实施例的多目摄像机的标定与校正装置。
图11是本发明实施例电子设备一个实施例的结构示意图，如图11所示，用于实现本发明实施例的电子设备包括中央处理单元(CPU)，其可以根据存储在只读存储器(ROM)中的可执行指令或者从存储部分加载到随机访问存储器(RAM)中的可执行指令而执行各种适当的动作和处理。中央处理单元可与只读存储器和/或随机访问存储器中通信以执行可执行指令从而完成本发明实施例提供的多目摄像机的标定与校正方法对应的操作，例如：分别对多目摄像机进行摄像机参数的标定，其中，多目摄像机中至少二目摄像机的标定分别基于各自拍摄的具有自身分辨率的图像进行；根据标定的数据进行多目摄像机的校正，在校正过程中将至少二目摄像机中的各摄像机拍摄的图像调整为分辨率相同的图像。
此外，在RAM中，还可存储有***操作所需的各种程序和数据。CPU、ROM以及RAM通过总线彼此相连。输入/输出(I/O)接口也连接至总线。
以下部件连接至I/O接口：包括键盘、鼠标等的输入部分；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分；包括硬盘等的存储部分；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分。通信部分经由诸如因特网的网络执行通信处理。驱动器也根据需要连接至I/O接口。可拆卸介质，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器上，以便于从其上读出的计算机程序根据需要被安装入存储部分。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行流程图所示的方法的程序代码，所述程序代码可包括对应执行本发明实施例提供的任一项多目摄像机的标定与校正方法步骤对应的指令，例如，分别对多目摄像机进行摄像机参数的标定的指令，其中，多目摄像机中至少二目摄像机的标定分别基于各自拍摄的具有自身分辨率的图像进行；根据标定的数据进行多目摄像机的校正的指令，在校正过程中将至少二目摄像机中的各摄像机拍摄的图像调整为分辨率相同的图像。该计算机程序可以通过通信部分从网络上被下载和安装，和/或从可拆卸介质被安装。在该计算机程序被中央处理单元(CPU)执行时，执行本发明的方法中限定的上述功能。
本发明实施例还提供了一种计算机存储介质，用于存储计算机可读取的指令，所述指令被执行时执行本发明上述任一实施例的多目摄像机的标定与校正方法对应的操作。所述指令例如可以包括：分别对多目摄像机进行摄像机参数的标定，其中，多目摄像机中至少二目摄像机的标定分别基于各自拍摄的具有自身分辨率的图像进行；根据标定的数据进行多目摄像机的校正，在校正过程中将至少二目摄像机中的各摄像机拍摄的图像调整为分辨率相同的图像。
另外，本发明实施例还提供了一种电子设备，包括：
存储器，存储可执行指令；
处理器，与存储器通信以执行可执行指令从而完成本发明上述任一实施例的多目摄像机的标定与校正方法对应的操作。
本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于***实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
可能以许多方式来实现本发明的方法和装置、设备。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本发明的方法和装置、设备。用于所述方法的步骤的上述顺序仅是为了进行说明，本发明的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本发明实施为记录在记录介质中的程序，这些程序包括用于实现根据本发明的方法的机器可读指令。因而，本发明还覆盖存储用于执行根据本发明的方法的程序的记录介质。
本发明的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。

Claims (41)

1.一种多目摄像机的标定与校正方法，其特征在于，包括：
获取图像中标定板组内标定板的特征点位置；其中，标定板组包括至少二个不共面设置的标定板；
基于所述特征点位置，分别对多目摄像机进行摄像机参数的标定，其中，所述多目摄像机中至少二目摄像机的标定分别基于各自拍摄的具有自身分辨率的图像进行；
根据标定的数据进行所述多目摄像机的校正，在所述校正过程中将所述至少二目摄像机中的各摄像机拍摄的图像调整为分辨率相同的图像；
其中，所述基于所述特征点位置，分别对多目摄像机进行摄像机参数的标定，包括：
基于单张图像中标定板组内标定板的特征点位置，分别对多目摄像机进行摄像机参数的标定。
2.根据权利要求1所述的方法，其特征在于，所述至少二目摄像机包括至少二目分辨率不同的摄像机。
3.根据权利要求1所述的方法，其特征在于，所述摄像机参数包括摄像机的以下一种或多种参数：内部参数、外部参数、畸变参数。
4.根据权利要求1所述的方法，其特征在于，在所述校正过程中将所述至少二目摄像机中的各摄像机拍摄的图像调整为分辨率相同的图像，包括：
在所述校正过程中通过缩放操作将所述各摄像机拍摄的图像调整为分辨率相同的图像。
5.根据权利要求1所述的方法，其特征在于，在所述校正过程中将所述至少二目摄像机中的各摄像机拍摄的图像调整为分辨率相同的图像，包括：
对所述各摄像机拍摄的图像进行行列提取，获得对应的二维点阵图；
根据所述各摄像机的畸变参数，确定对应的所述二维点阵图中的像素点去畸变变换后的坐标；
获取各所述二维点阵图去畸变变换后点阵的外接框；
确定各所述外接框的尺寸与预设尺寸的比例；
根据所述比例对所述各摄像机拍摄的图像去畸变后的图像进行缩放，获得分辨率相同的图像。
6.根据权利要求1所述的方法，其特征在于，所述根据标定的数据进行所述多目摄像机的校正，包括：
根据分辨率相同的图像，对所述多目摄像机中任意二目摄像机之间的外部参数进行校正。
7.根据权利要求1至6中任意一项所述的方法，其特征在于，所述获取图像中标定板组内标定板的特征点位置，包括：
拍摄标定板组，获得一张包含所述标定板组的图像；所述标定板组包括至少二个不共面设置的标定板；
检测所述图像中标定板的特征点，获得特征点的位置；
所述基于所述特征点位置，分别对多目摄像机中的一摄像机进行摄像机参数的标定，包括：根据所述特征点的位置，确定所述摄像机参数。
8.根据权利要求7所述的方法，其特征在于，所述检测所述图像中标定板的特征点之前，还包括：
将所述图像分割为多个图像块，使每个图像块至少包括一个完整的标定板；
所述检测所述图像中标定板的特征点，包括：
分别检测每个所述图像块中的标定板的特征点，获得特征点的位置。
9.根据权利要求7所述的方法，其特征在于，
所述标定板包括棋盘格，所述特征点包括所述棋盘格的内角点；或者，
所述标定板包括圆阵列，所述特征点包括所述圆阵列的圆心。
10.根据权利要求9所述的方法，其特征在于，所述检测所述图像中标定板的特征点，包括：
对所述图像进行二值化处理；
根据二值化处理后的图像，获取方格及其相邻方格的信息；
根据相邻方格的信息，获得相邻方格的公共点；
根据相邻方格的公共点，获得对应的棋盘格中角点的位置。
11.根据权利要求10所述的方法，其特征在于，所述检测所述图像中标定板的特征点，还包括：
对棋盘格中角点的位置进行亚像素提取。
12.根据权利要求7所述的方法，其特征在于，所述根据所述特征点的位置，确定所述摄像机参数，包括：
根据特征点的位置，确定摄像机的内部参数；
根据摄像机的内部参数和特征点的对应关系信息，确定摄像机的外部参数；
根据摄像机的内部参数、特征点的对应关系信息和摄像机的外部参数，确定摄像机的畸变参数。
13.根据权利要求12所述的方法，其特征在于，所述根据所述特征点的位置，确定所述摄像机参数，包括：
根据特征点分别在图像平面对应的摄像机坐标系和标定板平面对应的世界坐标系中的坐标，确定单应性矩阵；
根据单应性矩阵确定摄像机的内部参数；或者，
根据单应性矩阵确定摄像机的内部参数，根据单应性矩阵和所述内部参数确定摄像机的外部参数；或者，
根据单应性矩阵确定摄像机的内部参数，根据单应性矩阵和所述内部参数确定摄像机的外部参数，根据特征点分别在图像平面对应的摄像机坐标系和标定板平面对应的世界坐标系中的坐标、所述内部参数和所述外部参数，确定摄像机的畸变参数。
14.根据权利要求7所述的方法，其特征在于，所述根据所述特征点的位置，确定所述摄像机参数之前，还包括：
估计摄像机的畸变程度；
根据所述摄像机的畸变程度调整待确定的摄像机参数的数量。
15.根据权利要求14所述的方法，其特征在于，所述估计摄像机的畸变程度，包括：
根据摄像机的相高表，估计所述摄像机的畸变程度；或者
根据摄像机拍摄的图像质量，估计所述摄像机的畸变程度。
16.根据权利要求7所述的方法，其特征在于，所述根据所述特征点的位置，确定所述摄像机参数之后，还包括：
根据标定板的特征点到极线的距离确定标定误差。
17.根据权利要求16所述的方法，其特征在于，所述根据标定板的特征点到极线的距离确定标定误差之前，还包括：
根据确定的所述摄像机参数确定二目摄像机之间的极线。
18.根据权利要求16所述的方法，其特征在于，还包括：
检验所述标定误差。
19.根据权利要求18所述的方法，其特征在于，所述检验所述标定误差，包括：
拍摄标定板组，获得一张包含所述标定板组的图像；所述标定板组包括至少二个标定板；
检测所述图像中标定板的特征点，获得特征点的位置；
根据所述特征点的位置，确定对应的标定板的特征点到极线的距离。
20.一种多目摄像机的标定与校正装置，其特征在于，包括：
获取单元，用于获取图像中标定板组内标定板的特征点位置；其中，标定板组包括至少二个不共面设置的标定板；标定单元，用于基于所述特征点位置，分别对多目摄像机进行摄像机参数的标定，其中，所述多目摄像机中至少二目摄像机的标定分别基于各自拍摄的具有自身分辨率的图像进行；
校正单元，用于根据标定的数据进行所述多目摄像机的校正，在所述校正过程中将所述至少二目摄像机中的各摄像机拍摄的图像调整为分辨率相同的图像；
其中，所述标定单元，进一步用于基于单张图像中标定板组内标定板的特征点位置，分别对多目摄像机进行摄像机参数的标定。
21.根据权利要求20所述的装置，其特征在于，所述至少二目摄像机包括至少二目分辨率不同的摄像机。
22.根据权利要求20所述的装置，其特征在于，所述摄像机参数包括摄像机的以下一种或多种参数：内部参数、外部参数、畸变参数。
23.根据权利要求20所述的装置，其特征在于，所述校正单元，具体用于在所述校正过程中通过缩放操作将所述各摄像机拍摄的图像调整为分辨率相同的图像。
24.根据权利要求20所述的装置，其特征在于，所述校正单元，包括：
点阵提取模块，用于对所述各摄像机拍摄的图像进行行列提取，获得对应的二维点阵图；
去畸变模块，用于根据所述各摄像机的畸变参数，确定对应的所述二维点阵图中的像素点去畸变变换后的坐标；
外接框获取模块，用于获取各所述二维点阵图去畸变变换后点阵的外接框；
比例确定模块，用于确定各所述外接框的尺寸与预设尺寸的比例；
比例缩放模块，用于根据所述比例对所述各摄像机拍摄的图像去畸变后的图像进行缩放，获得分辨率相同的图像。
25.根据权利要求20所述的装置，其特征在于，所述校正单元，还用于根据分辨率相同的图像，对所述多目摄像机中任意二目摄像机之间的外部参数进行校正。
26.根据权利要求20至25中任意一项所述的装置，其特征在于，所述获取单元，包括：
拍摄模块，用于拍摄标定板组，获得一张包含所述标定板组的图像；所述标定板组包括至少二个不共面设置的标定板；
检测模块，用于检测所述图像中标定板的特征点，获得特征点的位置；
所述标定单元，包括：
标定模块，用于根据所述特征点的位置，确定所述摄像机参数。
27.根据权利要求26所述的装置，其特征在于，还包括：
分割模块，用于将所述图像分割为多个图像块，使每个图像块至少包括一个完整的标定板；
检测模块，具体用于分别检测每个所述图像块中的标定板的特征点，获得特征点的位置。
28.根据权利要求26所述的装置，其特征在于，
所述标定板包括棋盘格，所述特征点包括所述棋盘格的内角点；或者，
所述标定板包括圆阵列，所述特征点包括所述圆阵列的圆心。
29.根据权利要求28所述的装置，其特征在于，所述检测模块，具体用于：
对所述图像进行二值化处理；
根据二值化处理后的图像，获取方格及其相邻方格的信息；
根据相邻方格的信息，获得相邻方格的公共点；
根据相邻方格的公共点，获得对应的棋盘格中角点的位置。
30.根据权利要求29所述的装置，其特征在于，所述检测模块，还用于对棋盘格中角点的位置进行亚像素提取。
31.根据权利要求26所述的装置，其特征在于，所述标定模块，具体用于：
根据特征点的位置，确定摄像机的内部参数；
根据摄像机的内部参数和特征点的对应关系信息，确定摄像机的外部参数；
根据摄像机的内部参数、特征点的对应关系信息和摄像机的外部参数，确定摄像机的畸变参数。
32.根据权利要求31所述的装置，其特征在于，所述标定模块，具体用于：
根据特征点分别在图像平面对应的摄像机坐标系和标定板平面对应的世界坐标系中的坐标，确定单应性矩阵；
根据单应性矩阵确定摄像机的内部参数；或者，
根据单应性矩阵确定摄像机的内部参数，根据单应性矩阵和所述内部参数确定摄像机的外部参数；或者，
根据单应性矩阵确定摄像机的内部参数，根据单应性矩阵和所述内部参数确定摄像机的外部参数，根据特征点分别在图像平面对应的摄像机坐标系和标定板平面对应的世界坐标系中的坐标、所述内部参数和所述外部参数，确定摄像机的外部参数。
33.根据权利要求26所述的装置，其特征在于，还包括：
调整模块，用于估计摄像机的畸变程度；根据所述摄像机的畸变程度调整待确定的摄像机参数的数量。
34.根据权利要求33所述的装置，其特征在于，所述调整模块，具体用于：
根据摄像机的相高表，估计所述摄像机的畸变程度；或者
根据摄像机拍摄的图像质量，估计所述摄像机的畸变程度。
35.根据权利要求26所述的装置，其特征在于，还包括：
误差确定模块，用于根据标定板的特征点到极线的距离确定标定误差。
36.根据权利要求35所述的装置，其特征在于，所述误差确定模块，还用于根据确定的所述摄像机参数确定二目摄像机之间的极线。
37.根据权利要求35所述的装置，其特征在于，还包括：
检验单元，用于检验所述标定误差。
38.根据权利要求37所述的装置，其特征在于，所述检验单元，具体用于：
拍摄标定板组，获得一张包含所述标定板组的图像；所述标定板组包括至少二个标定板；
检测所述图像中标定板的特征点，获得特征点的位置；
根据所述特征点的位置，确定对应的标定板的特征点到极线的距离。
39.一种电子设备，其特征在于，包括权利要求20至38任意一项所述的装置。
40.一种电子设备，其特征在于，包括：
存储器，用于存储可执行指令；以及
处理器，用于与所述存储器通信以执行所述可执行指令从而完成权利要求1至19任意一项所述方法对应的操作。
41.一种计算机存储介质，用于存储计算机可读取的指令，其特征在于，所述指令被执行时执行权利要求1至19任意一项所述的方法对应的操作。
CN201711298424.0A 2017-12-08 2017-12-08 多目摄像机标定与校正方法和装置、设备、程序和介质 Active CN108230397B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711298424.0A CN108230397B (zh) 2017-12-08 2017-12-08 多目摄像机标定与校正方法和装置、设备、程序和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711298424.0A CN108230397B (zh) 2017-12-08 2017-12-08 多目摄像机标定与校正方法和装置、设备、程序和介质

Publications (2)

Publication Number Publication Date
CN108230397A CN108230397A (zh) 2018-06-29
CN108230397B true CN108230397B (zh) 2021-04-02

Family

ID=62653396

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711298424.0A Active CN108230397B (zh) 2017-12-08 2017-12-08 多目摄像机标定与校正方法和装置、设备、程序和介质

Country Status (1)

Country Link
CN (1) CN108230397B (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020038111A1 (zh) 2018-08-20 2020-02-27 北京市商汤科技开发有限公司 位姿检测方法及装置、电子设备和存储介质
CN109241875B (zh) * 2018-08-20 2020-08-25 北京市商汤科技开发有限公司 姿态检测方法及装置、电子设备和存储介质
CN109215087B (zh) * 2018-08-28 2021-04-27 维沃移动通信有限公司 一种双摄像头模组的标定方法、装置及终端
CN109472760B (zh) * 2019-02-01 2019-05-21 深兰人工智能芯片研究院（江苏）有限公司 一种校正畸变图像的方法、装置
CN110264524B (zh) * 2019-05-24 2023-07-21 联想（上海）信息技术有限公司 一种标定方法、装置、***及存储介质
CN110443855A (zh) * 2019-08-08 2019-11-12 Oppo广东移动通信有限公司 多摄像头标定方法、装置、存储介质及电子设备
CN110458951B (zh) * 2019-08-15 2023-06-30 广东电网有限责任公司 一种电网杆塔的建模数据获取方法及相关装置
CN110580724B (zh) * 2019-08-28 2022-02-25 贝壳技术有限公司 一种对双目相机组进行标定的方法、装置和存储介质
WO2021072767A1 (zh) * 2019-10-18 2021-04-22 深圳市大疆创新科技有限公司 摄像装置的标定方法、***、立体标定装置及存储介质
CN112785650B (zh) * 2019-11-11 2024-01-12 北京京邦达贸易有限公司 一种相机参数标定方法及装置
CN111127560B (zh) * 2019-11-11 2022-05-03 江苏濠汉信息技术有限公司 一种用于三维重建的三目视觉***的标定方法及***
CN111311693B (zh) * 2020-03-16 2023-11-14 威海经济技术开发区天智创新技术研究院 一种多目摄像头的在线标定方法及***
CN112465913A (zh) * 2020-11-18 2021-03-09 广东博智林机器人有限公司 一种基于双目相机的校正方法及装置
CN113327290B (zh) * 2021-06-07 2022-11-11 深圳市商汤科技有限公司 双目模组标定方法、装置、存储介质及电子设备
CN113706632B (zh) * 2021-08-31 2024-01-16 上海景吾智能科技有限公司 基于三维视觉标定板的标定方法和***
TWI807449B (zh) * 2021-10-15 2023-07-01 國立臺灣科技大學 多視角立體影像產生方法及系統
CN115942119B (zh) * 2022-08-12 2023-11-21 北京小米移动软件有限公司 联动监控方法及装置、电子设备、可读存储介质
CN117029695A (zh) * 2023-10-08 2023-11-10 钛玛科（北京）工业科技有限公司 材料宽度测量方法及装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102364299B (zh) * 2011-08-30 2015-01-14 西南科技大学 一种多个结构光投影三维型面测量头的标定技术
US20130091026A1 (en) * 2011-10-10 2013-04-11 Arcsoft, Inc. Photo Sharing with Digital Album
CN103674063B (zh) * 2013-12-05 2016-08-31 中国资源卫星应用中心 一种光学遥感相机在轨几何定标方法
CN103679729A (zh) * 2013-12-17 2014-03-26 中国人民解放军第二炮兵工程大学 基于彩色标定板的全自动摄像机参数标定方法
CN104021548A (zh) * 2014-05-16 2014-09-03 中国科学院西安光学精密机械研究所 一种获取场景4d信息的方法
CN106471803A (zh) * 2014-12-04 2017-03-01 深圳市大疆创新科技有限公司 成像***及方法
US9418396B2 (en) * 2015-01-15 2016-08-16 Gopro, Inc. Watermarking digital images to increase bit depth
CN106767682A (zh) * 2016-12-01 2017-05-31 腾讯科技（深圳）有限公司 一种获取飞行高度信息的方法及飞行器

Also Published As

Publication number Publication date
CN108230397A (zh) 2018-06-29

Similar Documents

Publication Publication Date Title
CN108230397B (zh) 多目摄像机标定与校正方法和装置、设备、程序和介质
US11570423B2 (en) System and methods for calibration of an array camera
CN109737874B (zh) 基于三维视觉技术的物体尺寸测量方法及装置
CN110717942B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN110809786B (zh) 校准装置、校准图表、图表图案生成装置和校准方法
CN111210468B (zh) 一种图像深度信息获取方法及装置
CN112070845B (zh) 双目相机的标定方法、装置及终端设备
WO2018209968A1 (zh) 摄像机标定方法及***
CN108038886B (zh) 双目摄像***标定方法、装置及其汽车
US8538198B2 (en) Method and apparatus for determining misalignment
EP2707838A1 (en) Camera calibration using an easily produced 3d calibration pattern
KR20230137937A (ko) 이미지에서의 대응 분석을 위한 디바이스 및 방법
CN116433737A (zh) 一种激光雷达点云与图像配准的方法、装置及智能终端
CN114299156A (zh) 无重叠区域下多相机的标定与坐标统一方法
CN111383254A (zh) 一种深度信息获取方法、***及终端设备
CN116380918A (zh) 缺陷检测方法、装置及设备
CN116051652A (zh) 一种参数标定方法及电子设备、存储介质
CN115631245A (zh) 一种校正方法、终端设备及存储介质
CN112822481A (zh) 立体摄像机的校正品质的检测方法及检测***
Zongqian Camera calibration based on liquid crystal display (lcd)
CN116309440B (zh) 一种aoi检测用模板图像的制作方法和装置
CN110728714B (zh) 图像处理方法和装置、存储介质、电子设备
CN117557657A (zh) 基于ChArUco标定板的双目鱼眼相机标定方法及***
CN117911634A (zh) 一种基于数字图像重建的视觉呈像优化方法、***及设备
CN114066998A (zh) 一种基于双目视觉的水火弯板三维测量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant