CN118154698A - 一种双目相机标定匹配方法、***、设备及存储介质 - Google Patents

Abstract

本申请实施例提供一种双目相机标定匹配方法、***、设备及存储介质，涉及计算机视觉技术领域。该方法通过双目相机采集第一图像和第二图像，第一图像为近距离广角成像，第二图像为远距离长焦和远距离广角同时成像；分别对双目相机标定广角内参和畸变、长焦内参和畸变，根据第二图像中标定长焦内参和畸变后获得的各角点纠正畸变后的角点坐标获得双目相机的两相机之间的外参，并根据广角内参和畸变、长焦内参和畸变对双目相机标定基线物理长度；获得双目相机的两相机之间的框的对应关系，以完成双目相机的标定匹配。本申请标定方式相对简单，无需重复拍过多照片，且计算出双目相机的内参和畸变参数等标定参数精确度高。

Description

一种双目相机标定匹配方法、***、设备及存储介质

技术领域

本申请涉及计算机视觉技术领域，具体地，涉及一种双目相机标定匹配方法、***、设备及存储介质。

背景技术

双目相机是机器视觉的一种重要形式，基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法。

在图像测量及计算机视觉应用过程中，为了精确地建立空间三维点坐标与图像坐标之间的对应关系，以及确保双目相机在进行立体成像时的准确性和左右相机图像点的匹配，需要进行相机标定。

但现有的双目相机标定方法中，需要拍摄大量的标定图片，以及更为复杂的标定过程，本方案相对更简单，只需要拍摄少量标定图片，且自动化程度较高，可以有效提升批量相机的标定工作的效率。

发明内容

为了解决上述技术缺陷之一，本申请实施例中提供了一种双目相机标定匹配方法、***、设备及存储介质。

根据本申请实施例的第一个方面，提供了一种双目相机标定匹配方法，该方法包括：

通过双目相机采集第一图像和第二图像，第一图像为近距离广角成像，第二图像为远距离长焦和远距离广角同时成像；

通过第一图像对双目相机标定广角内参和畸变，通过第二图像中的远距离长焦成像对双目相机标定长焦内参和畸变，根据第二图像中标定长焦内参和畸变后获得的各角点纠正畸变后的角点坐标获得双目相机的两相机之间的外参，并根据广角内参和畸变、长焦内参和畸变对双目相机标定基线物理长度；

获得双目相机的两相机之间的框的对应关系，以完成双目相机的标定匹配。

在本申请一个可选的实施例中，通过第一图像对双目相机标定广角内参和畸变，通过第二图像中的远距离长焦成像对双目相机标定长焦内参和畸变，根据第二图像中标定长焦内参和畸变后获得的各角点纠正畸变后的角点坐标获得双目相机的两相机之间的外参，并根据广角内参和畸变、长焦内参和畸变对双目相机标定基线物理长度的步骤还包括：

锁定长焦内参和畸变的参数后，将角点坐标通过OpenCV获得双目相机的两相机之间的外参。

在本申请一个可选的实施例中，通过第一图像对双目相机标定广角内参和畸变，通过第二图像中的远距离长焦成像对双目相机标定长焦内参和畸变，根据第二图像中标定长焦内参和畸变后获得的各角点纠正畸变后的角点坐标获得双目相机的两相机之间的外参，并根据广角内参和畸变、长焦内参和畸变对双目相机标定基线物理长度的步骤还包括：

通过双目相机采集长度参考物的第一参考图像和第二参考图像，使用广角内参和畸变对第一参考图像的两端点的像素坐标(p₁,p₂)进行纠正，使用长焦内参和畸变对第二参考图像的两端点的像素坐标(p'₁,p'₂)进行纠正；

通过OpenCV分别对(p₁,p'₁)和(p₂,p'₂)进行前方交会，得到P₁和P₂，计算P₁和P₂的欧氏距离D，以进一步获取基线物理长度。

在本申请一个可选的实施例中，获得双目相机的两相机之间的框的对应关系，以完成双目相机的标定匹配的步骤还包括：

以双目相机中任一相机为主相机，另一相机为次相机，以使双目相机的空间坐标系是为以主相机的光心为原点；

获取主相机角点的三维坐标，将主相机角点的三维坐标投影至次相机，以获取主相机在预设距离的视野框，并对应至次相机，以完成双目相机的标定匹配。

根据本申请实施例的第二个方面，提供了一种双目相机标定匹配***，该***包括原始图像采集模块、双目相机标定模块、双目相机匹配模块；其中，

原始图像采集模块，用于通过双目相机采集第一图像和第二图像，第一图像为近距离广角成像，第二图像为远距离长焦和远距离广角同时成像；

双目相机标定模块，用于通过第一图像对双目相机标定广角内参和畸变，通过第二图像中的远距离长焦成像对双目相机标定长焦内参和畸变，根据第二图像中标定长焦内参和畸变后获得的各角点纠正畸变后的角点坐标获得双目相机的两相机之间的外参，并根据广角内参和畸变、长焦内参和畸变对双目相机标定基线物理长度；

双目相机匹配模块，用于获得双目相机的两相机之间的框的对应关系，以完成双目相机的标定匹配。

在本申请一个可选的实施例中，双目相机标定模块还包括：

锁定长焦内参和畸变的参数后，将角点坐标通过OpenCV获得双目相机的两相机之间的外参。

在本申请一个可选的实施例中，双目相机标定模块还包括：

通过双目相机采集长度参考物的第一参考图像和第二参考图像，使用广角内参和畸变对第一参考图像的两端点的像素坐标(p₁,p₂)进行纠正，使用长焦内参和畸变对第二参考图像的两端点的像素坐标(p'₁,p'₂)进行纠正；

通过OpenCV分别对(p₁,p'₁)和(p₂,p'₂)进行前方交会，得到P₁和P₂，计算P₁和P₂的欧氏距离D，以进一步获取基线物理长度。

在本申请一个可选的实施例中，双目相机匹配模块还包括：

以双目相机中任一相机为主相机，另一相机为次相机，以使双目相机的空间坐标系是为以主相机的光心为原点；

获取主相机角点的三维坐标，将主相机角点的三维坐标投影至次相机，以获取主相机在预设距离的视野框，并对应至次相机，以完成双目相机的标定匹配。

根据本申请实施例的第三个方面，提供了一种计算机设备，包括：存储器；处理器；以及计算机程序；其中，计算机程序存储在存储器中，并被配置为由处理器执行以实现如本申请实施例的第一个方面任一项方法的步骤。

根据本申请实施例的第四个方面，提供了一种计算机可读存储介质，其上存储有计算机程序；计算机程序被处理器执行以实现如本申请实施例的第一个方面任一项方法的步骤。

采用本申请实施例中提供的双目相机标定匹配方法，具有以下有益效果：

本申请的双目相机标定匹配方法标定方式相对简单，无需重复拍过多照片，且计算出双目相机的内参和畸变参数等标定参数精确度高。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请实施例提供的双目相机标定匹配方法的流程图；

图2为本申请实施例提供的棋盘板示意图；

图3为本申请实施例提供的图像采集过程示意图；

图4为本申请实施例提供的双目相机标定匹配***的结构图；

图5为本申请一个实施例提供的计算机设备结构示意图。

具体实施方式

为了使本申请实施例中的技术方案及优点更加清楚明白，以下结合附图对本申请的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本申请的一部分实施例，而不是所有实施例的穷举。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

请参见如图1所示的步骤：

S1：通过双目相机采集第一图像和第二图像，第一图像为近距离广角成像，第二图像为远距离长焦和远距离广角同时成像。

在具体实施中，本申请实施例的基础为棋盘板标定法，具体的，在本实施例中，作为一种优选的方式，如图2所示，棋盘板需留白边，列数与行数之和需为奇数，且行数和列数都不能小于8。进一步的，作为优选，棋盘板需尽量大，但不超过拍照范围。

在本实施例中，作为优选，对相机关闭图像锐化、关闭压缩，以PNG格式保存图像。可选的，缩小光圈直径，延长曝光时间，保证棋盘板亮度。

在具体实施中，如图3所示，拍摄两组照片，第一组，即第一图像为近距离且只有广角，作为优选，拍摄8张；第二组，即第二图像为远距离且长焦广角同时拍，每个机位同时成像，作为优选，每个机位拍摄8张，共16张。

请继续参见图1：

S2：通过第一图像对双目相机标定广角内参和畸变，通过第二图像中的远距离长焦成像对双目相机标定长焦内参和畸变，根据第二图像中标定长焦内参和畸变后获得的各角点纠正畸变后的角点坐标获得双目相机的两相机之间的外参，并根据广角内参和畸变、长焦内参和畸变对双目相机标定基线物理长度。

在本申请的其中一些实施例中，锁定长焦内参和畸变的参数后，将角点坐标通过OpenCV获得双目相机的两相机之间的外参。

在具体实施中，第一组照片只用来标定广角内参和畸变，第二组照片中的长焦照片只用来标定长焦的内参和畸变。

在具体实施中，广角和长焦分别标定后，可以得到两相机的内参和畸变，以及每张图像中各角点纠正畸变后的角点坐标，可选的，使用OpenCV中的cv::undistortPoints纠正畸变后的角点坐标。进一步的，作为优选，可以使用Op enCV中的cv::undistort纠正图片后，再用drawCorners将纠正后的角点画入查看效果。

在具体实施中，把第二组照片中纠正后的角点坐标全部送入OpenCV中的cv::stereoCalibrate，得到两相机之间的外参。具体的，需要锁定内参和畸变参数。

进一步的，在本申请的其中一些实施例中，通过双目相机采集长度参考物的第一参考图像和第二参考图像，使用广角内参和畸变对第一参考图像的两端点的像素坐标(p₁,p₂)进行纠正，使用长焦内参和畸变对第二参考图像的两端点的像素坐标(p'₁,p'₂)进行纠正；

通过OpenCV分别对(p₁,p'₁)和(p₂,p'₂)进行前方交会，得到P₁和P₂，计算P₁和P₂的欧氏距离D，以进一步获取基线物理长度。

在具体实施中，以一个已知长度的物体为长度参考物，可选的，在本实施例中以一根米尺为例进行说明，让两相机以cm为单位同时对米尺成像：

分别在两张图像上找到米尺的两个端点的像素坐标：(p₁,p₂)和(p'₁,p'₂)；

分别用两相机的内参和畸变参数通过OpenCV中的cv::undistortPpoints对(p₁,p₂)和(p'₁,p'₂)进行纠正；

用OpenCV中的cv::triangulate分别对(p₁,p'₁)和(p₂,p'₂)进行前方交会，得到P₁和P_2；

计算P₁和P₂的欧氏距离，这个距离就是相机空间中100cm所对应的距离，记为D；以BD＝100/D，BD即为相机基线距离。

请继续参见图1：

S3：获得双目相机的两相机之间的框的对应关系，以完成双目相机的标定匹配。

在本申请的其中一些实施例中，以双目相机中任一相机为主相机，另一相机为次相机，以使双目相机的空间坐标系是为以主相机的光心为原点；

获取主相机角点的三维坐标，将主相机角点的三维坐标投影至次相机，以获取主相机在预设距离的视野框，并对应至次相机，以完成双目相机的标定匹配。

在本实施例中，作为优选，以以长焦为主相机、广角为次相机为例进行说明，即双目的空间坐标系是以长焦的光心为原点，长焦的相平面为XY平面建立的。

设已知物体的距离为d，长焦内参矩阵(K)的构成为：

其中，fx和fy是焦距参数，cx和cy是图像平面原点的坐标；

长焦相机的四个角点为p₁(0,0)、p₂(W,0)、p₃(W,H)、p₄(0,H)；

这个四点分别乘以逆矩阵，得到p'₁、p'₂、p'₃、p'₄；可选的，也可以手动减cx和cy再除以fx和fy获得；

这四个点分别乘以d/f，得到P₁、P₂、P₃、P₄这4个二维坐标，并在二维坐标的末尾添加d，得到这四个点的三维坐标；

使用OpenCV中的cv::projectPoints将这四个点投影到广角相机，就得到长焦相机在距离d的视野框，并对应到广角相机中的范围。

应该理解的是，虽然流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

请参见图4，本申请一个实施例提供了双目相机标定匹配***，包括原始图像采集模块10、双目相机标定模块20、双目相机匹配模块30；其中，

原始图像采集模块10，用于通过双目相机采集第一图像和第二图像，第一图像为近距离广角成像，第二图像为远距离长焦和远距离广角同时成像；

双目相机标定模块20，用于通过第一图像对双目相机标定广角内参和畸变，通过第二图像中的远距离长焦成像对双目相机标定长焦内参和畸变，根据第二图像中标定长焦内参和畸变后获得的各角点纠正畸变后的角点坐标获得双目相机的两相机之间的外参，并根据广角内参和畸变、长焦内参和畸变对双目相机标定基线物理长度；

双目相机匹配模块30，用于获得双目相机的两相机之间的框的对应关系，以完成双目相机的标定匹配。

关于上述双目相机标定匹配***的具体限定未尽说明之处可以参见上文中对于双目相机标定匹配方法的限定，在此不再赘述。上述双目相机标定匹配***中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备的内部结构图可以如图5所示。该计算机设备包括通过***总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的数据库用于存储数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现如上的一种双目相机标定匹配方法。包括：存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现如上双目相机标定匹配方法中的任一步骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时可以实现如上双目相机标定匹配方法中的任一步骤。

本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。本申请实施例中的方案可以采用各种计算机语言实现，例如，C语言、VHDL语言、Verilog语言、面向对象的程序设计语言Java和直译式脚本语言JavaScript等。

本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种双目相机标定匹配方法，其特征在于，包括：

通过双目相机采集第一图像和第二图像，所述第一图像为近距离广角成像，所述第二图像为远距离长焦和远距离广角同时成像；

通过所述第一图像对所述双目相机标定广角内参和畸变，通过所述第二图像中的远距离长焦成像对所述双目相机标定长焦内参和畸变，根据所述第二图像中标定所述长焦内参和畸变后获得的各角点纠正畸变后的角点坐标获得所述双目相机的两相机之间的外参，并根据所述广角内参和畸变、所述长焦内参和畸变对所述双目相机标定基线物理长度；

获得所述双目相机的两相机之间的框的对应关系，以完成所述双目相机的标定匹配。

2.根据权利要求1所述的双目相机标定匹配方法，其特征在于，所述通过所述第一图像对所述双目相机标定广角内参和畸变，通过所述第二图像中的远距离长焦成像对所述双目相机标定长焦内参和畸变，根据所述第二图像中标定所述长焦内参和畸变后获得的各角点纠正畸变后的角点坐标获得所述双目相机的两相机之间的外参，并根据所述广角内参和畸变、所述长焦内参和畸变对所述双目相机标定基线物理长度的步骤还包括：

锁定所述长焦内参和畸变的参数后，将所述角点坐标通过OpenCV获得所述双目相机的两相机之间的外参。

3.根据权利要求2所述的双目相机标定匹配方法，其特征在于，所述通过所述第一图像对所述双目相机标定广角内参和畸变，通过所述第二图像中的远距离长焦成像对所述双目相机标定长焦内参和畸变，根据所述第二图像中标定所述长焦内参和畸变后获得的各角点纠正畸变后的角点坐标获得所述双目相机的两相机之间的外参，并根据所述广角内参和畸变、所述长焦内参和畸变对所述双目相机标定基线物理长度的步骤还包括：

通过所述双目相机采集长度参考物的第一参考图像和第二参考图像，使用所述广角内参和畸变对所述第一参考图像的两端点的像素坐标(p₁,p₂)进行纠正，使用所述长焦内参和畸变对所述第二参考图像的两端点的像素坐标(p'₁,p'₂)进行纠正；

通过OpenCV分别对(p₁,p'₁)和(p₂,p'₂)进行前方交会，得到P₁和P₂，计算P₁和P₂的欧氏距离D，以进一步获取所述基线物理长度。

4.根据权利要求3所述的双目相机标定匹配方法，其特征在于，所述获得所述双目相机的两相机之间的框的对应关系，以完成所述双目相机的标定匹配的步骤还包括：

以所述双目相机中任一相机为主相机，另一相机为次相机，以使所述双目相机的空间坐标系是为以所述主相机的光心为原点；

获取所述主相机角点的三维坐标，将所述主相机角点的三维坐标投影至所述次相机，以获取所述主相机在预设距离的视野框，并对应至所述次相机，以完成所述双目相机的标定匹配。

5.一种双目相机标定匹配***，其特征在于，包括原始图像采集模块、双目相机标定模块、双目相机匹配模块；其中，

原始图像采集模块，用于通过双目相机采集第一图像和第二图像，所述第一图像为近距离广角成像，所述第二图像为远距离长焦和远距离广角同时成像；

双目相机标定模块，用于通过所述第一图像对所述双目相机标定广角内参和畸变，通过所述第二图像中的远距离长焦成像对所述双目相机标定长焦内参和畸变，根据所述第二图像中标定所述长焦内参和畸变后获得的各角点纠正畸变后的角点坐标获得所述双目相机的两相机之间的外参，并根据所述广角内参和畸变、所述长焦内参和畸变对所述双目相机标定基线物理长度；

双目相机匹配模块，用于获得所述双目相机的两相机之间的框的对应关系，以完成所述双目相机的标定匹配。

6.根据权利要求5所述的双目相机标定匹配***，其特征在于，所述双目相机标定模块还包括：

锁定所述长焦内参和畸变的参数后，将所述角点坐标通过OpenCV获得所述双目相机的两相机之间的外参。

7.根据权利要求6所述的双目相机标定匹配***，其特征在于，所述双目相机标定模块还包括：

通过所述双目相机采集长度参考物的第一参考图像和第二参考图像，使用所述广角内参和畸变对所述第一参考图像的两端点的像素坐标(p₁,p₂)进行纠正，使用所述长焦内参和畸变对所述第二参考图像的两端点的像素坐标(p'₁,p'₂)进行纠正；

通过OpenCV分别对(p₁,p'₁)和(p₂,p'₂)进行前方交会，得到P₁和P₂，计算P₁和P₂的欧氏距离D，以进一步获取所述基线物理长度。

8.根据权利要求7所述的双目相机标定匹配***，其特征在于，所述双目相机匹配模块还包括：

以所述双目相机中任一相机为主相机，另一相机为次相机，以使所述双目相机的空间坐标系是为以所述主相机的光心为原点；

获取所述主相机角点的三维坐标，将所述主相机角点的三维坐标投影至所述次相机，以获取所述主相机在预设距离的视野框，并对应至所述次相机，以完成所述双目相机的标定匹配。

9.一种计算机设备，其特征在于，包括：

存储器；

处理器；以及

计算机程序；

其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如权利要求1-4任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序；所述计算机程序被处理器执行以实现如权利要求1-4任一项所述的方法。