CN109990756B - 一种双目测距方法及*** - Google Patents

Abstract

本发明涉及计算机视觉领域，公开了一种双目测距方法及***，其方法包括：通过双目相机拍摄待测实物，得到第一实物图像和第二实物图像；根据预先计算得到的缩放因子对第一实物图像或第二实物图像进行焦距矫正，以减小第一实物图像与第二实物图像的焦距差；根据焦距矫正后的第一实物图像和第二实物图像计算待测实物距离双目相机的距离。本发明在双目测距之前，利用焦距矫正的算法对双目测距使用的图像进行处理，矫正原本焦距不同的左右图像，使两者的焦距近似一致，使得在进行双目测距时，不需要去关注相机焦距不一致的问题，不仅省时省力，而且扩大了双目测距的适用环境，降低了双目测距的使用条件和设备门槛。

Description

一种双目测距方法及***

技术领域

本发明属于计算机视觉技术领域，特别涉及一种双目测距方法及***。

背景技术

双目测距技术作为双目视觉***的基石，对于促进以计算机视觉***为基础的增强现实技术(AR技术)、虚拟现实技术(VR技术)、人工智能技术(AI技术)等当下最火热的计算机领域的前沿发展技术有着极大的作用。因此，研究、改进和完善双目测距技术，拓展双目测距的应用场景和适用环境，提高双目测距技术的测距精度，降低双目测距技术的使用门槛，对于计算机视觉研究方向的发展，以及整个计算机学科技术领域的发展都具有十分巨大的作用，且前景广阔。

目前，双目测距技术的使用门槛仍然较高，对于设备的要求也较高，其中一个很重要的要求就是双目相机使用的两部相机焦距必须一致或近似一致，而变焦相机的焦距是不能确保一致的，从而导致双目测距的应用受到限制，不利于双目测距的进一步发展。

发明内容

本发明的目的是提供一种双目测距方法及***，通过对焦距不同的双目相机采集的两幅图像进行预处理，矫正原本焦距不相同的两幅图像，使得两幅图像的焦距趋于一致，以满足双目测距对于双目相机焦距一致的要求。

本发明提供的技术方案如下：

一方面，本发明提供一种双目测距方法，包括：

通过双目相机拍摄待测实物，得到第一实物图像和第二实物图像；

根据预先计算得到的缩放因子对所述第一实物图像或所述第二实物图像进行焦距矫正，以减小所述第一实物图像与所述第二实物图像的焦距差；

根据焦距矫正后的所述第一实物图像和所述第二实物图像计算所述待测实物距离所述双目相机的距离。

进一步地，所述缩放因子的计算方法为：

通过所述双目相机拍摄棋盘标定板，得到第一棋盘标定图像和第二棋盘标定图像；

获取所述第一棋盘标定图像和所述第二棋盘标定图像的角点信息；

在所述第一棋盘标定图像中选取三个以上的角点，形成第一多边形；

在所述第二棋盘标定图像中选取与所述三个以上的角点一一对应的点，形成第二多边形；

根据所述第一多边形和所述第二多边形的角点信息，计算所述第一棋盘标定图像与所述第二棋盘标定图像之间的缩放因子。

进一步地，所述根据所述第一多边形和所述第二多边形的角点信息，计算所述第一棋盘标定图像与所述第二棋盘标定图像之间的缩放因子具体包括：

获取所述第一多边形和所述第二多边形的各个角点的坐标；

定义所述第一多边形和所述第二多边形的起点坐标一致；

将所述第一多边形和所述第二多边形的角点的坐标代入公式(1)，求解得到b₁₁、b₁₂、b₁₃、b₂₁、b₂₂、b₂₃、b₃₁、b₃₂、b₃₃；

将所述b₁₁、b₁₂、b₁₃、b₂₁、b₂₂、b₂₃、b₃₁、b₃₂、b₃₃代入公式(2)，求解得到缩放因子；

其中，B表示空间变换矩阵；s表示缩放因子；(x，y，z，1)表示第一多边形中的角点坐标；(x′，y′，z′，1)表示第二多边形中的角点坐标。

进一步地，所述根据焦距矫正后的所述第一实物图像和所述第二实物图像计算所述待测实物距离所述双目相机的距离具体包括：

根据预先标定的相机参数对焦距矫正后的所述第一实物图像和所述第二实物图像进行畸变校正；

对畸变校正后的所述第一实物图像和所述第二实物图像进行立体匹配，得到视差图；

根据所述视差图和所述标定得到的相机参数，计算所述待测实物距离所述双目相机的距离；

其中，所述相机参数的标定方法为：根据缩放因子对所述第一棋盘标定图像或所述第二棋盘标定图像进行焦距矫正；根据焦距矫正后的所述第一棋盘标定图像和所述第二棋盘标定图像对所述双目相机进行标定，得到所述双目相机的相机参数。

进一步地，所述根据预先计算得到的缩放因子对所述第一实物图像或所述第二实物图像进行焦距矫正，以减小所述第一实物图像与所述第二实物图像的焦距差具体包括：

根据预先计算得到的缩放因子对所述第一实物图像或所述第二实物图像进行放大；

当所述第一实物图像被放大时，将放大的所述第一实物图像的图像中心点作为中心，采用与所述第二实物图像同等大小的框对放大的所述第一实物图像进行剪裁，得到焦距矫正后的第一实物图像，以减小所述第一实物图像与所述第二实物图像的焦距差；

当所述第二实物图像被放大时，将放大的所述第二实物图像的图像中心点作为中心，采用与所述第一实物图像同等大小的框对放大的所述第二实物图像进行剪裁，得到焦距矫正后的第二实物图像，以减小所述第一实物图像与所述第二实物图像的焦距差。

另一方面，本发明还提供一种双目测距***，包括：

图像采集模块，用于拍摄待测实物，得到第一实物图像和第二实物图像；

焦距矫正模块，用于根据预先计算得到的缩放因子对所述第一实物图像或所述第二实物图像进行焦距矫正，以减小所述第一实物图像与所述第二实物图像的焦距差；

测距模块，用于根据焦距矫正后的所述第一实物图像和所述第二实物图像计算所述待测实物距离所述双目相机的距离。

进一步地，所述图像采集模块，还用于拍摄棋盘标定板，得到第一棋盘标定图像和第二棋盘标定图像；

所述***还包括缩放因子计算模块，所述缩放因子计算模块包括：

角点信息获取单元，用于获取所述第一棋盘标定图像和所述第二棋盘标定图像的角点信息；

角点选取单元，用于在所述第一棋盘标定图像中选取三个以上的角点，形成第一多边形；

所述角点选取单元，还用于在所述第二棋盘标定图像中选取与所述三个以上的角点一一对应的点，形成第二多边形；

缩放因子计算单元，用于根据所述第一多边形和所述第二多边形的角点信息，计算所述第一棋盘标定图像与所述第二棋盘标定图像之间的缩放因子。

进一步地，所述缩放因子计算单元包括：

坐标获取子单元，用于获取所述第一多边形和所述第二多边形的各个角点的坐标；

定义子单元，用于定义所述第一多边形和所述第二多边形的起点坐标一致；

求解子单元，用于将所述第一多边形和所述第二多边形的角点的坐标代入公式(1)，求解得到b₁₁、b₁₂、b₁₃、b₂₁、b₂₂、b₂₃、b₃₁、b₃₂、b₃₃；

所述求解子单元，还用于将所述b₁₁、b₁₂、b₁₃、b₂₁、b₂₂、b₂₃、b₃₁、b₃₂、b₃₃代入公式(2)，求解得到缩放因子；

其中，B表示空间变换矩阵；s表示缩放因子；(x，y，z，1)表示第一多边形中的角点坐标；(x′，y′，z′，1)表示第二多边形中的角点坐标。

进一步地，所述测距模块包括：

畸变校正单元，用于根据预先标定的相机参数对焦距矫正后的所述第一实物图像和所述第二实物图像进行畸变校正；

立体匹配单元，用于对畸变校正后的所述第一实物图像和所述第二实物图像进行立体匹配，得到视差图；

距离计算单元，用于根据所述视差图和所述标定得到的相机参数，计算所述待测实物距离所述双目相机的距离；

所述***还包括相机标定模块，所述相机标定模块，用于根据缩放因子对所述第一棋盘标定图像或所述第二棋盘标定图像进行焦距矫正；并根据焦距矫正后的所述第一棋盘标定图像和所述第二棋盘标定图像对所述双目相机进行标定，得到所述双目相机的相机参数。

进一步地，所述焦距矫正模块包括：

放大单元，用于根据预先计算得到的缩放因子对所述第一实物图像或所述第二实物图像进行放大；

剪裁单元，用于当所述第一实物图像被放大时，将放大的所述第一实物图像的图像中心点作为中心，采用与所述第二实物图像同等大小的框对放大的所述第一实物图像进行剪裁，得到焦距矫正后的第一实物图像，以减小所述第一实物图像与所述第二实物图像的焦距差；

所述剪裁单元，还用于当所述第二实物图像被放大时，将放大的所述第二实物图像的图像中心点作为中心，采用与所述第一实物图像同等大小的框对放大的所述第二实物图像进行剪裁，得到焦距矫正后的第二实物图像，以减小所述第一实物图像与所述第二实物图像的焦距差。

通过本发明提供的一种双目测距方法及***，能够带来的有益效果为：本发明通过双目相机拍摄得到第一实物图像和第二实物图像后，可通过预先计算得到的缩放因子对第一实物图像或第二实物图像进行焦距矫正，以使第一实物图像和第二实物图像的焦距近似一致，进而使得在进行双目测距时，不需要去关注相机焦距不一致的问题了，即使用任意两部相机，无论是变焦相机还是定焦相机，都可以轻松地完成双目测距的任务，不仅省时省力，而且扩大了双目测距的适用环境，降低了双目测距的使用条件和设备门槛，对于实现双目视差测距技术的推广和应用有着极大的作用。

附图说明

下面将以明确易懂的方式，结合附图说明优选实施方式，对一种双目测距方法及***的上述特性、技术特征、优点及其实现方式予以进一步说明。

图1是本发明一种双目测距方法的第一实施例的流程示意图；

图2是本发明一种双目测距方法的第二实施例的流程示意图；

图3是相机成像大小与焦距的关系示意图；

图4是本发明一种双目测距方法的第四实施例的流程示意图；

图5是双目相机的成像模型原理示意图；

图6是本发明一种双目测距***的结构示意框图。

附图标号说明

100、图像采集模块；200、焦距矫正模块；210、放大单元；220、剪裁单元；300、测距模块；310、畸变校正单元；320、立体匹配单元；330、距离计算单元；400、缩放因子计算模块；410、角点信息获取单元；420、角点选取单元；430、缩放因子计算单元；431、坐标获取子单元；432、定义子单元；433、求解子单元；500、相机标定模块。

具体实施方式

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。

为使图面简洁，各图中只示意性地表示出了与本发明相关的部分，它们并不代表其作为产品的实际结构。另外，以使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘示了其中的一个，或仅标出了其中的一个。在本文中，“一个”不仅表示“仅此一个”，也可以表示“多于一个”的情形。

根据本发明提供的第一实施例，如图1所示，一种双目测距方法，包括：

S110通过双目相机拍摄待测实物，得到第一实物图像和第二实物图像；

具体地，先通过双目相机拍摄待测实物的图像，可得到左相机拍摄的图像和右相机拍摄的图像，也即第一实物图像和第二实物图像。双目相机在测距的时候尽量使两个相机平行放置，以保证两部相机的成像平面近似保持在同一水平面上，进而降低测量误差。

S120根据预先计算得到的缩放因子对所述第一实物图像或所述第二实物图像进行焦距矫正，以减小所述第一实物图像与所述第二实物图像的焦距差；

具体地，缩放因子可在测距前通过双目相机拍摄的两幅棋盘标定图像计算得到。双目相机通过棋盘标定图像计算得到缩放因子后，要保持双目相机的两部相机之间的相对位置不变，即拍摄实物图像时的两部相机之间的相对位置与拍摄棋盘标定图像时的两部相机之间的相对位置完全一致，且焦距也要与棋盘标定图像采集时的焦距一致，这样只需要在最开始测距前通过棋盘标定图像计算一次缩放因子，在后面的测距过程中可直接使用该缩放因子，并不需要每次测距时都计算一次缩放因子。当然，如果改变了两部相机之间的相对位置，则需要重新拍摄棋盘标定图像以重新计算缩放因子。

由于缩放因子是通过相同拍摄条件下拍摄得到的两幅棋盘标定图像计算得到的焦距矫正的相关参数，因此，可直接根据缩放因子对第一实物图像或第二实物图像进行焦距矫正，以使第一实物图像与第二实物图像的焦距近似一致，以便通过焦距矫正后的第一实物图像和第二实物图像计算待测实物距离相机的距离。

S130根据焦距矫正后的所述第一实物图像和所述第二实物图像计算所述待测实物距离所述双目相机的距离。

具体地，矫正第一实物图像或第二实物图像的焦距，使第一实物图像和第二实物图像的焦距近似一致后，就可以通过第一实物图像和第二实物图像来计算待测实物距离双目相机的距离。

本实施例中，通过双目相机拍摄得到第一实物图像和第二实物图像后，可通过预先计算得到的缩放因子对第一实物图像或第二实物图像进行焦距矫正，以使第一实物图像和第二实物图像的焦距近似一致，进而使得在进行双目测距时，不需要去关注相机焦距不一致的问题了，即使用任意两部相机，无论是变焦相机还是定焦相机，都可以轻松地完成双目测距的任务，不仅省时省力，而且扩大了双目测距的适用环境，降低了双目测距的使用条件和设备门槛，对于实现双目视差测距技术的推广和应用有着极大的作用。

根据本发明提供的第二实施例，一种双目测距方法，如图2所示，上述第一实施例中的缩放因子的计算方法为：

S210通过所述双目相机拍摄棋盘标定板，得到第一棋盘标定图像和第二棋盘标定图像；

具体地，在棋盘标定图像采集过程中，棋盘标定板应该尽量保持与相机成像平面平行，如果棋盘标定板与成像平面不能保证近似平行，易对焦距的矫正带来极大的误差。在拍摄过程中，需要不停地移动位置或者绕着z轴旋转以保证具有足够多不同的视场，以获取多组图像，每组图像都包含由左相机拍摄得到的左图像(第一棋盘标定图像)和由右相机拍摄得到的右图像(第二棋盘标定图像)。在计算缩放因子时，可分别通过每组图像计算缩放因子，然后取平均值，以便缩小缩放因子的计算误差。

第一棋盘标定图像和第二棋盘标定图像是同一时间左右相机拍摄同一棋盘标定板得到的两个图像。

S220获取所述第一棋盘标定图像和所述第二棋盘标定图像的角点信息；

具体地，棋盘标定板就是板上画有一个个黑白相间的格子，角点是指棋盘的每个黑白格子的四个顶点，角点信息主要是指角点的像素坐标信息。

S230在所述第一棋盘标定图像中选取三个以上的角点，形成第一多边形；

S240在所述第二棋盘标定图像中选取与所述三个以上的角点一一对应的点，形成第二多边形；

具体地，在第一棋盘标定图像中选取三个以上的角点形成第一多边形后，在第二棋盘标定图像中选取与第一多边形的各个角点对应的角点形成第二多边形。棋盘标定图像中是一个个黑白相间的格子，可通过数格子来选取对应的角点，如在第一棋盘标定图像中选取的是第一排第一个角点、第四排第三个角点和第四排第五个角点，则在第二棋盘标定图像中同样选取第一排第一个角点、第四排第三个角点和第四排第五个角点。在第一棋盘标定图像中选取的角点数量与在第二棋盘标定图像中选取的角点数量相同。

在第一棋盘标定图像和第二棋盘标定图像上选取的角点必须一一对应，这样两幅图像上分别围成的第一多边形和第二多边形才可以视作是同一个图形经过三维空间变换之后得到的在成像平面的投影，才能用来计算左右图像的空间变换矩阵和缩放因子。

S250根据所述第一多边形和所述第二多边形的角点信息，计算所述第一棋盘标定图像与所述第二棋盘标定图像之间的缩放因子。

具体地，得到第一多边形和第二多边形后，将第一多边形和第二多边形看作是由第一多边形经过空间变换转换为第二多边形，或者是由第二多边形经过空间变换转换为第一多边形。通过建立三维空间变换矩阵，并根据第一多边形的角点信息以及第二多边形的角点信息，求解出三维空间变换矩阵，然后从求解出的三维空间变换矩阵中提取出空间缩放因子，该空间缩放因子即为第一棋盘标定图像与第二棋盘标定图像之间的缩放因子。

本实施例通过双目相机拍摄棋盘标定板，可方便地获取第一多边形和第二多边形，并且可方便的获取第一多边形的角点信息和第二多边形的角点信息，从而可简化缩放因子的计算过程。

根据本发明提供的第三实施例，一种双目测距方法，在上述第二实施例的基础上，步骤S250根据所述第一多边形和所述第二多边形的角点信息，计算所述第一棋盘标定图像与所述第二棋盘标定图像之间的缩放因子具体包括：

获取所述第一多边形和所述第二多边形的各个角点的坐标；

定义所述第一多边形和所述第二多边形的起点坐标一致；

将所述第一多边形和所述第二多边形的角点的坐标代入公式(1)，求解得到b₁₁、b₁₂、b₁₃、b₂₁、b₂₂、b₂₃、b₃₁、b₃₂、b₃₃；

将所述b₁₁、b₁₂、b₁₃、b₂₁、b₂₂、b₂₃、b₃₁、b₃₂、b₃₃代入公式(2)，求解得到缩放因子；

其中，B表示空间变换矩阵；s表示缩放因子；(x，y，z，1)表示第一多边形中的角点坐标；(x′，_y′，z′，1)表示第二多边形中的角点坐标。

具体地，相机成像过程中，焦距越大，视角越小，拍摄的图像中实物所占据的比例越大。当两部相机的像素相同时，拍摄的照片大小相同，若焦距不同，则焦距越小，照片中实物越小。

如图3所示，同一个实物在两种不同焦距情况下，占相机视角的比例分别为h/H₁和h/H₂，由于变焦相机虽然焦距可变，但是分辨率是不变的，所以图像的总大小是不变的，且图像中的实物比例是和拍摄时视角中的实物比例是一致的，那么我们假设图像高度为H，那么两个不同焦距成像平面上实物的高度h₁和h₂如下：

定义两个焦距分别为f₁和f₂，根据相似三角形定理可知：

联立公式(6)和公式(7)可得到两个图像中成像与焦距的关系为：

根据公式(8)可知，在图像中实物大小与焦距成正比，即不同焦距获得的图像中，实物之间的比例与焦距之间的比例相等，修正焦距的问题实质上就是修正成像大小，因此，修正焦距的关键就变成了求取左右图像成像的比例因子，即缩放因子。

由第一多边形经过空间变换转换为第二多边形时，一般是经过平移、旋转和缩放等变换进行转换得到。

其中，平移矩阵为：

旋转矩阵为：

缩放矩阵为：

根据公式(9)-公式(11)，我们可以得到三维空间变换矩阵为：

在计算过程中，我们可以定义第一多边形和第二多边形的起点坐标一致，那么就可以消除平移矩阵的影响，只需要求解旋转矩阵和缩放矩阵，如公式(13)所示。将第一多边形和第二多边形的起点坐标定义为一致，可简化三维空间变换矩阵的计算过程。

令b₁₁＝u_x·s_x，b₁₂＝u_y·s_y，b₁₃＝u_z·s_z，b₂₁＝v_x·s_x，b₂₂＝v_y·s_y，b23＝v_z·s_z，b₃₁＝n_x·s_x，B₃₂＝n_y·s_y，b₃₃＝n_z·s_z，则可得到如公式(1)所示的变化公式。

其中，B表示空间变换矩阵；(x，y，z，1)表示第一多边形中的角点坐标；(x′，y′，z′，1)表示第二多边形中的角点坐标。

将公式(1)变换成方程组形式，即可得到：

因此，只需要三组相对应的坐标点，就能求解出b₁₁、b₁₂、b₁₃、b₂₁、b₂₂、b₂₃、b₃₁、b₃₂、b₃₃，即利用第一多边形的角点坐标与第二多边形的角点坐标即可进行求解。在选取第一多边形和第二多边形时，可直接在第一棋盘标定图像中选取一个三角形，并在第二棋盘标定图像中选取一个与之对应的三角形，即可求解b₁₁、b₁₂、b₁₃、b₂₁、b₂₂、b₂₃、b₃₁、b₃₂、b₃₃。当然第一多边形和第二多边形也可以为四边形、五边形等。

在求解时，由于在平面图像中z值是不可知的，所以，在实际测量过程中需要对两个相机的位置进行约束，以保证两个相机的成像平面在同一个水平面上，这样就能保证左右相机拍摄棋盘标定板上的照片时，左右相机拍摄得到的棋盘各个对应点在三维空间坐标系中的z值相等。这样，计算时可将b_ijz看作一个整体。

同时，根据旋转矩阵的性质，旋转矩阵是单位正交矩阵，旋转矩阵的转置矩阵就是它的逆矩阵，即单位正交矩阵，则有

故

同理可得

最后得到公式上述(2)，并根据上述公式(2)求得缩放因子s。

根据本发明提供的第四实施例，如图4所示，一种双目测距方法，在第二实施例的基础上，步骤S130根据焦距矫正后的所述第一实物图像和所述第二实物图像计算所述待测实物距离所述双目相机的距离具体包括：

S131根据预先标定的相机参数对焦距矫正后的所述第一实物图像和所述第二实物图像进行畸变校正；

其中，所述相机参数的标定方法为：根据缩放因子对所述第一棋盘标定图像或所述第二棋盘标定图像进行焦距矫正；根据焦距矫正后的所述第一棋盘标定图像和所述第二棋盘标定图像对所述双目相机进行标定，得到所述双目相机的相机参数；

具体地，对第一实物图像或第二实物图像进行焦距矫正后，再通过预先对双目相机进行标定得到的相机参数对焦距矫正后的第一实物图像和第二实物图像进行畸变校正。

在相机标定过程中，是采用焦距矫正后的第一棋盘标定图像和第二棋盘标定图像对相机进行标定，而不是采用最开始采集的原始第一棋盘标定图像和原始第二棋盘标定图像。用于相机标定的两个棋盘标定图像经过焦距矫正后，焦距近似一致，满足传统定焦双目视差测距的要求，可用于双目相机标定了。此处标定得到的相机内外参数和畸变参数并不是左右相机真实的内外参数和畸变参数，而是根据矫正后的图像模拟的两部焦距一致的定焦相机的内外参数和畸变参数。相机标定的过程与传统的定焦双目视差测距的标定过程相同，在此不再进行赘述。

S132对畸变校正后的所述第一实物图像和所述第二实物图像进行立体匹配，得到视差图；

具体地，本步骤中的立体匹配与传统定焦双目视差测距算法的立体匹配相同，只是用于立体匹配的图像也是经过焦距矫正处理之后得到的焦距近似一致的新的实物图像，而不是原始采集的实物图像。通过立体匹配，可获取左右相机拍摄实物的视差图。

S133根据所述视差图和所述标定得到的相机参数，计算所述待测实物距离所述双目相机的距离。

具体地，双目检测原理：通过对左右相机拍摄得到的两幅图像进行视差的计算，直接对前方实物(图像所拍摄到的范围)进行距离测量，而无需判断前方出现的是什么类型的障碍物，所以对于任何类型的障碍物，都能根据距离信息的变化，进行必要的预警或制动。双目摄像头的原理与人眼相似，人眼能够感知物体的远近，是由于两只眼睛对同一个物体呈现的图像存在差异，也称“视差”。物体距离越远，视差越小；反之，视差越大。视差的大小对应着物体与眼睛之间距离的远近。

如图5所示，图5中两幅图像是在同一个平面上，假设待测实物为点P，O_L表示左相机中心点，O_R表示右相机中心点，点P在左右图像上成像的点分别为P_left和P_right，点P_left的横坐标为x_l，点P_right的横坐标为x_r。x_l和x_r分别表示点在左右成像仪上的水平位置。其中视差定义为d＝x_l-x_r，即同一个空间点在两个相机成像中对应的x坐标的差值，视差可由视差图得到。利用相似三角形定理可推导出深度Z值。

根据步骤S131中标定得到的相机参数f和B以及视差图即可求得待测实物距离双目相机的距离Z。其中，f为相机进行焦距矫正后的焦距，B为左右相机基线长度。例如，第一实物图像对应的原始焦距为f₁，第二实物图像对应的原始焦距为f₂，当对第一实物图像进行焦距矫正后，使得第一实物图像的焦距与第二实物图像的焦距近似一致，即焦距矫正后，第一实物图像与第二实物图像的焦距都为f₂，此时，在根据深度公式计算Z值时，公式中的焦距的f的数值即为第二实物图像的焦距f₂。

根据本发明提供的第五实施例，一种双目测距方法，在上述第一实施例至第四实施例的任一实施例中，步骤S120所述根据预先计算得到的缩放因子对所述第一实物图像或所述第二实物图像进行焦距矫正，以减小所述第一实物图像与所述第二实物图像的焦距差具体包括：

S121根据预先计算得到的缩放因子对所述第一实物图像或所述第二实物图像进行放大；

具体地，在根据棋盘标定图像计算得到缩放因子后，对第一实物图像或第二实物图像进行大小矫正，即对实物图像成像较小的图像作放大处理。如果在计算缩放因子时，是假定从左图像变换为右图像，则在此处也应该假定三维空间变换是从左图像(第一实物图像)向右图像(第二实物图像)变换的，那么，如果缩放因子大于1，则说明左图像向右图像转换时进行了放大操作，则对左图像进行放大，放大比例就是缩放因子。如果缩放因子小于1，则说明左图像向右图像转换时进行了缩小操作，则对右图像进行放大，放大比例就是缩放因子的导数。

S122当所述第一实物图像被放大时，将放大的所述第一实物图像的图像中心点作为中心，采用与所述第二实物图像同等大小的框对放大的所述第一实物图像进行剪裁，得到焦距矫正后的第一实物图像，以减小所述第一实物图像与所述第二实物图像的焦距差；

S123当所述第二实物图像被放大时，将放大的所述第二实物图像的图像中心点作为中心，采用与所述第一实物图像同等大小的框对放大的所述第二实物图像进行剪裁，得到焦距矫正后的第二实物图像，以减小所述第一实物图像与所述第二实物图像的焦距差。

具体地，对图像进行放大后，以放大后的图像的图像中心为中心，采用与另一个未放大的图像大小相同的框对放大后的图像进行裁剪，以使第一实物图像和第二实物图像的图像大小再次相等。经过放大和裁剪处理后，即可使第一实物图像与第二实物图像的焦距近似相等。

根据本发明提供的第六实施例，一种双目测距方法，包括：

S301通过所述双目相机拍摄棋盘标定板，得到第一棋盘标定图像和第二棋盘标定图像；

具体地，该步骤对应左右两部相机的位置是有要求的，必须保证两部相机的成像平面近似保持在同一水平面上。

在棋盘标定图像采集过程中，棋盘标定板应该尽量保持与相机成像平面平行，但是需要不停地移动位置或者绕着z轴旋转以保证具有足够多的不同的视场，该点是该研究的改进算法中至关重要的一步，如果棋盘标定板与成像平面的不能保证近似平行，易对焦距的矫正带来极大的误差。通过左右两部相机即可拍摄得到左图像(第一棋盘标定图像)和右图像(第二棋盘标定图像)。

S302获取所述第一棋盘标定图像和所述第二棋盘标定图像的角点信息；

具体地，该步骤是从步骤S301中拍摄得到的各组左右图像中提取棋盘的黑白格子角点信息，主要是角点的像素坐标信息。

S303在所述第一棋盘标定图像中选取三个以上的角点，形成第一多边形；

S304在所述第二棋盘标定图像中选取与所述三个以上的角点一一对应的点，形成第二多边形；

具体地，第一棋盘标定图像和第二棋盘标定图像上选取的角点不是随便选取的，而是从同一时间拍摄的同一视场(同一实物)的左右两幅图像上选取的一一对应的点。这样左右图像上形成的多边形才可以视作是同一个图形经过三维空间变换之后得到的在成像平面的投影，才能用来计算左右图像的空间变换矩阵和缩放因子。

S305根据所述第一多边形和所述第二多边形的角点信息，计算所述第一棋盘标定图像与所述第二棋盘标定图像之间的缩放因子；

具体地，在步骤S303和S304中得到了用于计算空间变换矩阵的第一多边形和第二多边形，那么就可以计算出左右图像之间的三维空间变换矩阵，并从三维空间变换矩阵中提取出缩放因子。空间变换可以是从左图像向右图像转换，当然也可以是从右图像向左图像转换，但是一旦选择了变化方向，那么后续左右的操作都必须严格按照这个方向进行，不能再更换方向。这里假定空间变换是从左图像变换到右图像。

S306根据缩放因子对所述第一棋盘标定图像或所述第二棋盘标定图像进行焦距矫正，以减小所述第一实物图像与所述第二实物图像的焦距差；

具体地，焦距矫正主要分成两步：放大和裁剪。

放大：利用步骤S305中求得的缩放因子，对左右图像的大小进行矫正，对实物成像较小的图像作放大处理。由于前面已经假定三维空间变换是从左图像向右图像变换的，那么，如果缩放因子大于1，则说明左图像向右图像转换时进行的放大操作，则对放大左图像，放大比例就是缩放因子。

裁剪：将放大的图像以图像中心点为中心，用另一个相机图像同等大小的框对其进行裁剪，使左右相机图像大小再次相等。

S307根据焦距矫正后的第一棋盘标定图像和第二棋盘标定图像对双目相机进行标定，得到所述双目相机的相机参数；

具体地，这一步与传统定焦双目视差测距的步骤相同，只是用于标定的棋盘图像已经不是最开始采集的的棋盘原图像，而是经过步骤S306焦距矫正后获得的新棋盘标定图像。新标定图像其左右两个图像的焦距经过处理近似一致，满足传统定焦双目视差测距的要求，可以用于双目相机标定了。该步骤获取焦距矫正后的相机内外参数和畸变参数，这里获取的内参数和畸变参数并不是左右相机真实的内外参数和畸变参数，而是根据焦距矫正后的图像模拟的两部焦距一致的定焦相机的内外参数和畸变参数。

S308通过双目相机拍摄待测实物，得到第一实物图像和第二实物图像；

具体地，实物图像采集要求与步骤S301中棋盘标定图像采集时的两部相机之间的相对位置要完全一致，且焦距也要与棋盘标定图像采集时的焦距一致，即棋盘标定图像采集完成之后不要对相机做任何改变。如果在棋盘标定图像采集完成之后改变了相机的相对位置或焦距，则需要重新采集棋盘标定图像计算缩放因子和重新标定相机参数；如果在棋盘标定图像采集完成之后未改变相机的相对位置和焦距，则每次使用该双目相机测距时，都不需要再重新计算缩放因子和进行相机标定，之前使用之前得到的缩放因子和相机参数即可。

S309根据预先计算得到的缩放因子对所述第一实物图像或所述第二实物图像进行焦距矫正，以减小所述第一实物图像与所述第二实物图像的焦距差；

具体地，该步骤与步骤S306中对棋盘标定图像的焦距矫正操作完全相同，利用的缩放因子也相同，即步骤S305中获取的左右图像三维空间缩放因子。

S310根据预先标定的相机参数对焦距矫正后的所述第一实物图像和所述第二实物图像进行畸变校正；

具体地，该步骤中焦距矫正后的左右实物图像所采用的畸变矩阵，是步骤S307中对焦距矫正之后的新的棋盘标定图像执行相机标定所得到的畸变矩阵，该畸变矩阵获取时的条件与新的左右实物图像获取时的焦距的条件完全相同，将它用于新实物图像的畸变校正是完全正确的。

S311对畸变校正后的所述第一实物图像和所述第二实物图像进行立体匹配，得到视差图；

具体地，该步骤也与传统定焦双目视差测距算法焦距完全一致，只是用于立体匹配的图像也是经过焦距矫正预处理之后获取的焦距近似一致的新的实物图像，而不是实物图像采集的原图像。立体匹配获取的是左右相机拍摄实物的视差图。

S312根据所述视差图和所述标定得到的相机参数，计算所述待测实物距离所述双目相机的距离。

具体地，该步骤利用步骤S311中的视差图以及步骤S307中获得的相机的内外参数即可计算出实物各点距离。

根据本发明提供的第七实施例，如图6所示，一种双目测距***，包括：

图像采集模块100，用于拍摄待测实物，得到第一实物图像和第二实物图像；

焦距矫正模块200，用于根据预先计算得到的缩放因子对所述第一实物图像或所述第二实物图像进行焦距矫正，以减小所述第一实物图像与所述第二实物图像的焦距差；

测距模块300，用于根据焦距矫正后的所述第一实物图像和所述第二实物图像计算所述待测实物距离所述双目相机的距离。

优选地，图像采集模块100，还用于拍摄棋盘标定板，得到第一棋盘标定图像和第二棋盘标定图像；

双目测距***还包括缩放因子计算模块400，缩放因子计算模块400包括：

角点信息获取单元410，用于获取所述第一棋盘标定图像和所述第二棋盘标定图像的角点信息；

角点选取单元420，用于在所述第一棋盘标定图像中选取三个以上的角点，形成第一多边形；

角点选取单元420，还用于在所述第二棋盘标定图像中选取与所述三个以上的角点一一对应的点，形成第二多边形；

缩放因子计算单元430，用于根据所述第一多边形和所述第二多边形的角点信息，计算所述第一棋盘标定图像与所述第二棋盘标定图像之间的缩放因子。

优选地，缩放因子计算单元430包括：

坐标获取子单元431，用于获取所述第一多边形和所述第二多边形的各个角点的坐标；

定义子单元432，用于定义所述第一多边形和所述第二多边形的起点坐标一致；

求解子单元433，用于将所述第一多边形和所述第二多边形的角点的坐标代入公式(1)，求解得到b₁₁、b₁₂、b₁₃、b₂₁、b₂₂、b₂₃、b₃₁、b₃₂、b₃₃；

求解子单元433，还用于将所述b₁₁、b₁₂、b₁₃、b₂₁、b₂₂、b₂₃、b₃₁、b₃₂、b₃₃代入公式(2)，求解得到缩放因子；

其中，B表示空间变换矩阵；s表示缩放因子；(x，y，z，1)表示第一多边形中的角点坐标；(x′，y′，z′，1)表示第二多边形中的角点坐标。

优选地，测距模块300包括：

畸变校正单元310，用于根据预先标定的相机参数对焦距矫正后的所述第一实物图像和所述第二实物图像进行畸变校正；

立体匹配单元320，用于对畸变校正后的所述第一实物图像和所述第二实物图像进行立体匹配，得到视差图；

距离计算单元330，用于根据所述视差图和所述标定得到的相机参数，计算所述待测实物距离所述双目相机的距离；

双目测距***还包括相机标定模块500，相机标定模块500，用于根据缩放因子对所述第一棋盘标定图像或所述第二棋盘标定图像进行焦距矫正；并根据焦距矫正后的所述第一棋盘标定图像和所述第二棋盘标定图像对所述双目相机进行标定，得到所述双目相机的相机参数。

优选地，焦距矫正模块200包括：

放大单元210，用于根据预先计算得到的缩放因子对所述第一实物图像或所述第二实物图像进行放大；

剪裁单元220，用于当所述第一实物图像被放大时，将放大的所述第一实物图像的图像中心点作为中心，采用与所述第二实物图像同等大小的框对放大的所述第一实物图像进行剪裁，得到焦距矫正后的第一实物图像，以减小所述第一实物图像与所述第二实物图像的焦距差；

剪裁单元220，还用于当所述第二实物图像被放大时，将放大的所述第二实物图像的图像中心点作为中心，采用与所述第一实物图像同等大小的框对放大的所述第二实物图像进行剪裁，得到焦距矫正后的第二实物图像，以减小所述第一实物图像与所述第二实物图像的焦距差。

本实施例中的各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

应当说明的是，上述实施例均可根据需要自由组合。以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (6)

1.一种双目测距方法，其特征在于，包括：

通过双目相机拍摄待测实物，得到第一实物图像和第二实物图像；

根据预先计算得到的缩放因子对所述第一实物图像或所述第二实物图像进行焦距矫正，以减小所述第一实物图像与所述第二实物图像的焦距差；

根据焦距矫正后的所述第一实物图像和所述第二实物图像计算所述待测实物距离所述双目相机的距离；

所述缩放因子的计算方法为：

通过所述双目相机拍摄棋盘标定板，得到第一棋盘标定图像和第二棋盘标定图像；

获取所述第一棋盘标定图像和所述第二棋盘标定图像的角点信息；

在所述第一棋盘标定图像中选取三个以上的角点，形成第一多边形；

在所述第二棋盘标定图像中选取与所述三个以上的角点一一对应的点，形成第二多边形；

根据所述第一多边形和所述第二多边形的角点信息，计算所述第一棋盘标定图像与所述第二棋盘标定图像之间的缩放因子；

其中，所述根据所述第一多边形和所述第二多边形的角点信息，计算所述第一棋盘标定图像与所述第二棋盘标定图像之间的缩放因子具体包括：

获取所述第一多边形和所述第二多边形的各个角点的坐标；

定义所述第一多边形和所述第二多边形的起点坐标一致；

将所述第一多边形和所述第二多边形的角点的坐标代入公式（1），求解得到b₁₁、b₁₂、b₁₃、b₂₁、b₂₂、b₂₃、b₃₁、b₃₂、b₃₃；

将所述b₁₁、b₁₂、b₁₃、b₂₁、b₂₂、b₂₃、b₃₁、b₃₂、b₃₃代入公式（2），求解得到缩放因子；

（1）

（2）

其中，B表示空间变换矩阵；s表示缩放因子；（x，y，z，1）表示第一多边形中的角点坐标；（

，

，

，1）表示第二多边形中的角点坐标。

2.根据权利要求1所述的一种双目测距方法，其特征在于，所述根据焦距矫正后的所述第一实物图像和所述第二实物图像计算所述待测实物距离所述双目相机的距离具体包括：

根据预先标定的相机参数对焦距矫正后的所述第一实物图像和所述第二实物图像进行畸变校正；

对畸变校正后的所述第一实物图像和所述第二实物图像进行立体匹配，得到视差图；

根据所述视差图和所述标定得到的相机参数，计算所述待测实物距离所述双目相机的距离；

其中，所述相机参数的标定方法为：根据缩放因子对所述第一棋盘标定图像或所述第二棋盘标定图像进行焦距矫正；根据焦距矫正后的所述第一棋盘标定图像和所述第二棋盘标定图像对所述双目相机进行标定，得到所述双目相机的相机参数。

3.根据权利要求1或2所述的一种双目测距方法，其特征在于，所述根据预先计算得到的缩放因子对所述第一实物图像或所述第二实物图像进行焦距矫正，以减小所述第一实物图像与所述第二实物图像的焦距差具体包括：

根据预先计算得到的缩放因子对所述第一实物图像或所述第二实物图像进行放大；

当所述第一实物图像被放大时，将放大的所述第一实物图像的图像中心点作为中心，采用与所述第二实物图像同等大小的框对放大的所述第一实物图像进行剪裁，得到焦距矫正后的第一实物图像，以减小所述第一实物图像与所述第二实物图像的焦距差；

当所述第二实物图像被放大时，将放大的所述第二实物图像的图像中心点作为中心，采用与所述第一实物图像同等大小的框对放大的所述第二实物图像进行剪裁，得到焦距矫正后的第二实物图像，以减小所述第一实物图像与所述第二实物图像的焦距差。

4.一种双目测距***，其特征在于，包括：

图像采集模块，用于拍摄待测实物，得到第一实物图像和第二实物图像；

焦距矫正模块，用于根据预先计算得到的缩放因子对所述第一实物图像或所述第二实物图像进行焦距矫正，以减小所述第一实物图像与所述第二实物图像的焦距差；

测距模块，用于根据焦距矫正后的所述第一实物图像和所述第二实物图像计算所述待测实物距离所述双目相机的距离；

所述图像采集模块，还用于拍摄棋盘标定板，得到第一棋盘标定图像和第二棋盘标定图像；

所述***还包括缩放因子计算模块，所述缩放因子计算模块包括：

角点信息获取单元，用于获取所述第一棋盘标定图像和所述第二棋盘标定图像的角点信息；

角点选取单元，用于在所述第一棋盘标定图像中选取三个以上的角点，形成第一多边形；

所述角点选取单元，还用于在所述第二棋盘标定图像中选取与所述三个以上的角点一一对应的点，形成第二多边形；

缩放因子计算单元，用于根据所述第一多边形和所述第二多边形的角点信息，计算所述第一棋盘标定图像与所述第二棋盘标定图像之间的缩放因子；

其中，所述缩放因子计算单元包括：

坐标获取子单元，用于获取所述第一多边形和所述第二多边形的各个角点的坐标；

定义子单元，用于定义所述第一多边形和所述第二多边形的起点坐标一致；

求解子单元，用于将所述第一多边形和所述第二多边形的角点的坐标代入公式（1），求解得到b₁₁、b₁₂、b₁₃、b₂₁、b₂₂、b₂₃、b₃₁、b₃₂、b₃₃；

所述求解子单元，还用于将所述b₁₁、b₁₂、b₁₃、b₂₁、b₂₂、b₂₃、b₃₁、b₃₂、b₃₃代入公式（2），求解得到缩放因子；

（1）

（2）

其中，B表示空间变换矩阵；s表示缩放因子；（x，y，z，1）表示第一多边形中的角点坐标；（

，

，

，1）表示第二多边形中的角点坐标。

5.根据权利要求4所述的一种双目测距***，其特征在于，所述测距模块包括：

畸变校正单元，用于根据预先标定的相机参数对焦距矫正后的所述第一实物图像和所述第二实物图像进行畸变校正；

立体匹配单元，用于对畸变校正后的所述第一实物图像和所述第二实物图像进行立体匹配，得到视差图；

距离计算单元，用于根据所述视差图和所述标定得到的相机参数，计算所述待测实物距离所述双目相机的距离；

所述***还包括相机标定模块，所述相机标定模块，用于根据缩放因子对所述第一棋盘标定图像或所述第二棋盘标定图像进行焦距矫正；并根据焦距矫正后的所述第一棋盘标定图像和所述第二棋盘标定图像对所述双目相机进行标定，得到所述双目相机的相机参数。

6.根据权利要求4或5所述的一种双目测距***，其特征在于，所述焦距矫正模块包括：

放大单元，用于根据预先计算得到的缩放因子对所述第一实物图像或所述第二实物图像进行放大；

剪裁单元，用于当所述第一实物图像被放大时，将放大的所述第一实物图像的图像中心点作为中心，采用与所述第二实物图像同等大小的框对放大的所述第一实物图像进行剪裁，得到焦距矫正后的第一实物图像，以减小所述第一实物图像与所述第二实物图像的焦距差；

所述剪裁单元，还用于当所述第二实物图像被放大时，将放大的所述第二实物图像的图像中心点作为中心，采用与所述第一实物图像同等大小的框对放大的所述第二实物图像进行剪裁，得到焦距矫正后的第二实物图像，以减小所述第一实物图像与所述第二实物图像的焦距差。

Images