CN116952191A - 一种基于同轴摄影的视觉测距方法 - Google Patents

Abstract

本发明涉及一种基于同轴摄影的视觉测距方法，包括：搭建同轴测距装置，消除所述同轴测距装置中相机内参属性的内参畸变，通过消除内参畸变后的所述同轴测距装置对同一目标进行曝光，获取不同深度的照片，即不同像平面，确定同一目标在不同像平面中平面点的像素坐标；对所述像素坐标进行内参修正，获取所述平面点相对于光心的像素坐标，基于所述所述平面点相对于光心的像素坐标，构建像平面点的相机坐标系，根据所述像平面点的相机坐标，建立距离与坐标转换模型，获取目标到相机光心平面的距离。本发明涉及本发明旨在利用了同轴布局相机之间深度视觉差，实现了单目和基线双目之外的第三种视觉算法，提高了实际工程应用中的测距精度和应用广度。

Description

一种基于同轴摄影的视觉测距方法

技术领域

本发明涉及目标测距技术领域，特别是涉及一种基于同轴摄影的视觉测距方法。

背景技术

随着人工智能领域的不断发展，机器视觉测距也成为了该领域中精准定位目标物体的一种重要手段，可以得到物体到相机的三维坐标信息及尺度信息。目前世面上现有的视觉测距方法有：单目测距和双目测距。除此之外，其他一些基于图像识别的视觉测距方法其基本原理还是来自单目与双目技术。但当前的视觉测距技术，都存在对目标物体的待测环境要求较高或者计算过程复杂，测量精度低等弊端。

因此，亟需找到新的视觉测距方法，能够更加有效地提供测距的数据，推动视觉测距技术的发展。

发明内容

本发明的目的是提出了一种基于同轴摄影的视觉测距方法，旨在利用了同轴布局相机之间深度视觉差，实现了单目和基线双目之外的第三种视觉算法，提高了实际工程应用中的测距精度和应用广度。

为实现上述目的，本发明提供了如下方案：

一种基于同轴摄影的视觉测距方法，包括：

搭建同轴测距装置，消除所述同轴测距装置中相机内参属性的内参畸变，通过消除内参畸变后的所述同轴测距装置对同一目标进行曝光，获取不同深度的照片，即不同像平面，确定同一目标在不同像平面中平面点的像素坐标；

对所述像素坐标进行内参修正，获取所述平面点相对于光心的像素坐标，基于所述所述平面点相对于光心的像素坐标，构建像平面点的相机坐标系，根据所述像平面点的相机坐标，建立距离与坐标转换模型，获取目标到相机光心平面的距离。

可选地，消除所述同轴测距装置中相机内参属性的内参畸变的方法为：

其中，x，y，z均为被测物体在相机坐标系的坐标，X′，y′为被测物体在像素坐标系的坐标，为内参矩阵，c_x，c_y为被光心在图像坐标系的坐标，f_x，f_y为像素焦距。

可选地，所述像平面包括：第一相机拍摄照片平面和第二相机拍摄照片平面，所述平面点包括：第一像素平面点和第二像素平面点。

可选地，确定同一目标在不同像平面中平面点的像素坐标的方法为：

其中，a′和b′分别为第一像平面点和第二像平面点所对应的像素坐标，x_a、y_a、和x_b、y_b分别为第一像平面和第二相平面上待测点的相机坐标，H为两像平面垂直间距，此时等同于同一目标在真实世界中形成两张照片的实际距离L，D-H为光点与第一像平面的距离，D为光心到第二像平面的距离，为内参矩阵，f_x，f_y为像素焦距，c_x，c_y为p点在图像坐标系中光心的坐标，x′_a、y′_a为第一像平面点的像素坐标，x′_b、y′_b为第二像平面点的像素坐标。

可选地，对所述像素坐标进行内参修正的方法为：

其中，X′_a、y′_a为第一像平面点的像素坐标，x′_b、y′_b为第二像平面点的像素坐标，x_a″、y_a″为第一像平面点的相对于光心像素坐标，x_b″、yb″为第二像平面点的相对于光心的像素坐标，c_x，c_y为p点在图像坐标系中光心的坐标。

可选地，构建像平面点的相机坐标系包括：构建像平面点a、b所在两个三维相机坐标系中Xa、Ya，Xb、Yb坐标；

构建像平面点a、b所在两个三维相机坐标系中Xa、Ya，Xb、Yb坐标的方法为：

其中，x_a、x_b分别为第一像平面点和第二像平面点的在相机坐标系的x轴坐标，y_a、y_b为第一像平面点和第二像平面点的在相机坐标系的y轴坐标，x_a″、y_a″为第一像平面点的相对于光心像素坐标，x_b″、y_b”为第二像平面点的相对于光心的像素坐标，D为光心与第二像平面之间的距离，D-H为光心与第一像平面的距离，f_x，f_y为像素焦距。

可选地，根据所述像平面点的相机坐标，建立距离与坐标转换模型的方法为：

AD²-BD+C＝0

其中，A、B、C为数学指代，无实际物理意义，L为两点实际距离，D为光心平面到第二像平面深度距离，x_a″、y_a″为第一像平面点相对于光心像素坐标，H为第一像平面与第二像平面之间的距离，x_b″、y_b为第二像平面点相对于光心的像素坐标，f_x，f_y为像素焦距。

可选地，获取所述目标到相机光心平面的距离的方法为：

其中，A、B、C为数学指代，无实际物理意义，D为光心平面到第二像平面深度距离，即待测物到第二像平面的距离，其值也为第二相机构成的三维相机坐标中的Za。

可选地，该方法还包括：

基于所述深度距离和所述像平面点，获取所述像平面点在相机空间坐标中的位置，生成多点定位点云，并进行空间三维成像。

本发明的有益效果为：

与单目测距相比，无须其他参照物。相机前后固定距离布局，使得照片中所有点自带参照尺寸(相当于第一张照片中所有景物全部向前移动了固定距离)，不同于单目需要横向距离做参照，本发明通过纵向距离作为参照，继而通过算法求解测距。

与当前双目测距相比，而本方案纵向调教更为容易，可凭借光轴一致等方法实现。而横向双目调教难度较大计算复杂，在实用场景上，当前双目要求保持一定距离才能精准，但有时现场条件不具备，例如左右遇障碍物施展不开，或汽车那样左右最多只能是车宽否则无法配置在单一设备上。

同轴摄影同样可以实现两相机分离布局，甚至可以形成伪同轴摄影。例如在自动驾驶场景，利用车辆移动形成自然视差，可满足相对移动较小目标的测距。在道路中，由于是基于深度进行测距计算，还可以基于道路标线进行测距。

由于是同轴布局，两张同步照片取景可以实现最大共同区域，而且不会像双目那样有的点在另一张图看不到而无法测量，三维重建能力大大加强，而且仅需要场景正面背面各拍照一次，即可构成360°场景，方便快速。

由于两相机只是前后移动光心一致，拍摄采光、角度都相似，因此一照片中p点在另一照片中的p’点特征非常相似，由此特征提取、匹配、代价计算、代价聚合、代价最小化分析等开销都小，精度也相应提高。

本发明中两照片在接近图像中心位置视差较小，同轴测距难度越大，这一点可以考虑两套装置横放，取视差大的作为结果。此外，较远距离目标的视差距离比较大，测距误差会放大，这点和双目测距相似。但在同样视差尺度下，如前所述，同轴测距精度高于双目测距。

本发明可以将该方法结合传统单目与双目方法结合，利用各自的优势提升测距精度，前方有参照物时用单目与同轴方法结合。面对成像中心点附近的点，利用双目方法检测。可以将两台相机斜侧布局，同时利用双目与同轴的优势进行测量，虽然本算法不同于传统双目算法，但支持这种布局检测。

本发明通过纵向距离建模给出的公式，是单目、双目、同轴的一般性公式。具体说明为：图3中，同轴测距时，由于垂直关系，H即为已知距离L；当深度H为0，而已知距离L在一张照片中(一个成像屏幕中)水平于平面时，则为单目测距公式；同样,L水平于成像平面，且拍摄两张照片时，则为双目测距公式。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例的同轴摄影基础下的相机摆放位置和矫正的示意图，其中，图1(a)为同轴摄影基础下的相机摆放位置，图1(b)为解决前后相机遮挡问题的相机摆放位置示意图；

图2为本发明实施例的两个相机拍出的两个像平面示意图；

图3为本发明实施例的单个相机坐标系和像素坐标系关系示意图；

图4为本发明实施例的被测目标深度距离求解的几何建模的示意图；

图5为本发明实施例的一种基于同轴摄影的视觉测距方法流程图；

图6为本发明实施例的理论中点与实际中点示意图；

图7为本发明实施例的相机坐标系相应平面坐标系示意图；

图8为本发明实施例的获取片点到光心平面距离示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

如图5所示，本发明公开了一种基于同轴摄影的视觉测距方法，包括：搭建同轴测距装置，使得两台相机前后相距已知深度(距离)并保持成像光轴一致；建立待测量场景目标在同轴测距装置前后相机成像位置视觉差的测距公式，标定测距公式中的参数；拍摄时，前后相机同步曝光，获得两张不同深度的照片，相当于场景中所有点前后移动了已知距离；将两张照片中同一待测场景目标的成像位置数据代入标定后的测距公式即可计算出待测场景目标与同轴测距装置中参考相机光心的距离；在同轴布局下，两张同步照片取景可以实现最大共同区域，最大化可测距部分的比例，且各成像位置的深度已知，从而可以实现实时三维重建(搭建同轴测距装置，消除同轴测距装置中相机内参属性的内参畸变，通过消除内参畸变后的同轴测距装置对同一目标进行曝光，获取不同深度的照片，即不同像平面，确定同一目标在不同像平面中平面点的像素坐标；

对像素坐标进行内参修正，获取平面点相对于光心的像素坐标，基于平面点相对于光心的像素坐标，构建像平面点的相机坐标系，根据像平面点的相机坐标，建立距离与坐标转换模型，获取目标到相机光心平面的距离)。

首先搭建同轴测距装置如图1所示的同轴摄影测距设备为：搭建同轴测距装置，使用两台相机前后相距已知深度(距离),焦距、感光器件尺寸等参数相同，并保持成像光轴一致，将相机安装在同一个平台上，使其处于同一高度，通过图像采集卡将前后采集的不同深度的图片信息输入计算机中。使得两台相机前后相距已知深度(距离)并保持成像光轴一致，为保证前置相机不遮挡后置相机。其中，图1(a)为同轴摄影基础下的相机摆放位置，采用下图1(b)模式设计，该布局设计是为了两台相机同步曝光拍摄两张照片，则两张照片上所有景物保持已知深度(距离)，则被摄物在两张照片上的像素位置不同，称为视觉差，即同样一个物体，其在两张照片上的不同像素位置和造成这种位置差异的深度差已知，这是利用视差计算物体到两相机距离的基础条件。

实际应用时，前后相机同步曝光，可以获得两张不同深度的照片，相当于场景中所有点前后移动了已知距离；将两张照片中同一待测场景目标的成像位置数据代入标定后的测距公式即可计算出待测场景目标与同轴测距装置中参考相机的距离。此方法主要牵涉到两个坐标***，一是以相机光心为原点的三维相机坐标***，以感光器件的长宽为xy轴，光心到目标的深度为z轴；二是相机照片形成的二维像素坐标***，以照片左上角为原点，v为纵轴，u为横轴，在本发明中标为x’和y’。

图2为两台相机相距固定视差距离拍出的两张照片形成的像平面。XcYcZc和Xc’Yc’Zc’分别是两台相机的相机三维坐标系，0为相机原点，即镜头光心位置,且大小框是两张照片像平面构，成两个二维像素坐标系。

在进行测距时，需要考虑相机内参属性，消除内参畸变造成的误差：设被测物体用P点表示，已知相机坐标系到像素坐标系满足如下关系为

其中，设x，y，z为p点在相机坐标系的坐标，x′，y′为p点在像素坐标系的坐标，为内参矩阵，c_x，c_y为相机修正后的光心主点像素坐标，f_x，f_y为像素焦距；两台相机的内参，包括主点的c_x，c_y和畸变参数，可通过张正友标定法获得。

确定同轴摄影下同一被测物体在两张照片(不同像平面坐标)位置点的像素位置，以及两照片拍摄位置真实距离，数据代入标定后的测距公式即可计算出待测场景目标与同轴测距装置中两台相机平面的距离，包括：

主要参数包括：两台相机光心间距H、被测物在两张照片像素平面坐标系下的像素位置x′和y′、x和y方向的像素焦距fx和fy、纠正畸变后获得的主点(真实光心)的cx和cy，即光心主点在像素坐标系下的位置。

如图3所示，相机坐标系定义如下：

任何镜头都有一个光心e，和一个感光器件d，光心e到感光器件d的距离为焦距F，

1)过光心e作一条垂直于平面即，感光器件d的线，在这条线上以光心e为原点，沿着远离感光器件d的方向定义z轴。

2)感光元件d为方形，其有两条垂直的边，这两条边分别对应像素坐标x’和y’的变化。

过光心e点，分别作这两条边的平行线，在这两条线上x’增加方向和y′增加方向，即可定义x轴和y轴。

如图4、6所示，几何建模的方法为：

设有一条直线过光心e与其距离像的平面g和平面f，光心e和平面g之间的距离为Dd，存在a、b两点，其中a点在平面f的上，b点在平面g上，a点到b点的长度为L，并且平面f到平面g的平面距离为H，则a、b两点的坐标分别为：(x_a，y_a，D-H)，(x_b，yb，D)。在图像场景下，由(1-1)关系式，可得a、b点对应的像素坐标，即建立测距公式之前，需要获取待测物在两张照片上的真实像素值，一张照片是由横向扫描线和纵向扫描线构成，如1920*1080，就是大约200万像素的照片，形成二维像素坐标系，用u(1920)、v(1080)表示，原点在左上角，图片上某点示例如下：点p(352，288)，在本发明中标为x’和y’而不是u、v。

理论上，拍出的照片中心点在u/2，v/2处，但是，由于镜头生产质量等问题，会有偏差，因此需要通过测定给出其真实的中点、cx、cy。以及其真实焦距fx、fy，此外照片边缘会有变形所以集体照边缘人物头像是偏的，这是畸变，也要测出畸变系数。由此，例如从照片上数扫描线点p值(352，288)就不是真实的，这样用于计算就会有误差，通过内参计算转换，真实的位置可能是(356，279)，这个值带入计算，才会准。此时真实的像素值计算如下：

同理有：

其中，a′和b′分别为第一像平面点和第二像平面点所对应的像素坐标，X_a、y_a，x_b、y_a为两像平面上的相机坐标、D为第二像平面点到光心的距离，、D-H为第一像平面点到光心的距离，为内参矩阵，f_x，f_y为像素焦距，c_x，c_y为光心主点像素坐标，X_a、y_a为第一像平面点对应的像素坐标，x_b、y_b为第二像平面点对应的像素坐标。

需要说明的是，在a、b两点垂直于两平面情况下，H等于L，即两个像平面的深度。

如图7-8所示，本实施例的测距公式任务是：通过两照片上同一待测物各自的像素坐标，以及两照片的深度差，计算待测物到相机的深度，在此就要构建一个相机镜头中心为原点的三维坐标系，即相机坐标***，以感光器件的长宽为x、y轴，光心到目标的深度为z轴；通过两平面像素位置、两照片平面像素差，求xcycxc的值，实际上求出zc是关键，就是所谓点到相机(光心)平面的深度距离，也可求p到光心的距离，因为光心和p点的三维坐标已知，本实施例只求到D，即zc。由于是两台相机，求到任意一台相机的zc都可，无非是D-H和D，H为两相机的视差(间距)。

求解深度距离D的方法为：

确定像平面点的u、v(这里是一般表述，具体表述在下面说明里)三维相机坐标xc、yc(这里是一般表述，具体表述在下面说明里)的方法为：

如上所述，x_a′y_a′x_b′y_b′为同一待测物在两照片上的像素坐标，本文标为a和b，通过内参修正为x_a″y_a″x_b″y_b″，即：

由(2-1)由(2-2)式可以获得a，b两点的相机三维x、y坐标，如下所示：

为求解方便，令：

则有：

其中，x_a、x_b分别为第一像平面点和第二像平面点的在相机坐标系的x轴坐标，y_a、y_b为第一像平面点和第二像平面点的在相机坐标系的y轴坐标，x_a″、y_a″为第一像平面点相对于光心的像素坐标，x_b″、y_b″为第二像平面点相对于光心的像素坐标，D为光心与第二像平面之间的距离，D-H为光心与第一像平面点的距离，f_x，f_y为像素焦距。a、b两点在各自像平面中的像素坐标uv(各自标为X′_a、y′_a和x_b’和y_b’)可通过图像计算获取。

由于a、b两点的距离L已知，可得到方程：

(X_a-x_b)²+(y_a-y_b)²+H²＝L²

即有：

AD²-BD+C＝0

其中：

其中，其中，A、B、C为数学指代，无实际物理意义，L为两点实际距离，D为光心平面到第一像平面深度距离，x_a″、y_a″为第一像平面点的相对于光心的像素坐标，H为第一像平面与第二像平面之间的距离，x_b″、y_b″为第二像平面点相对于光心的像素坐标，f_x，f_y为像素焦距。

则相机光心到被测物的距离为：

其中，其中，A、B、C为数学指代，无实际物理意义，D为光心平面到第二像平面(被测物)深度距离，，即待测物到第二像平面的距离，其值也为第二相机构成的三维相机坐标中的Za。

基于深度距离和像平面点，获取像平面点在相机空间坐标中的位置，可生成多点定位点云，并进行空间三维成像。

解释：为什么H和L要分别设置：本实施例通过纵向距离建模给出的公式，是单目、双目、同轴的一般性公式。具体说明为：图4中，同轴测距时，由于垂直关系，H即为已知距离L；当深度H为0，而已知距离L在一张照片中(一个成像屏幕中)水平于平面时，则为单目测距公式；同样,L水平于成像平面，且拍摄两张照片时，则为双目测距公式。

以上所述的实施例仅是对本发明优选方式进行的描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。

Claims (9)

1.一种基于同轴摄影的视觉测距方法，其特征在于，包括：

搭建同轴测距装置，消除所述同轴测距装置中相机内参属性的内参畸变，通过消除内参畸变后的所述同轴测距装置对同一目标进行曝光，获取不同深度的照片，即不同像平面，确定同一目标在不同像平面中平面点的像素坐标；

对所述像素坐标进行内参修正，获取所述平面点相对于光心的像素坐标，基于所述所述平面点相对于光心的像素坐标，构建像平面点的相机坐标系，根据所述像平面点的相机坐标，建立距离与坐标转换模型，获取目标到相机光心平面的距离。

2.根据权利要求1所述的基于同轴摄影的视觉测距方法，其特征在于，消除所述同轴测距装置中相机内参属性的内参畸变的方法为：

其中，x,y,z均为被测物体在相机坐标系的坐标，x′，y′为被测物体在像素坐标系的坐标，为内参矩阵，c_x，c_y为被光心在图像坐标系的坐标，f_x，f_y为像素焦距。

3.根据权利要求1所述的基于同轴摄影的视觉测距方法，其特征在于，所述像平面包括：第一相机拍摄照片平面和第二相机拍摄照片平面，所述平面点包括：第一像素平面点和第二像素平面点。

4.根据权利要求1所述的基于同轴摄影的视觉测距方法，其特征在于，确定同一目标在不同像平面中平面点的像素坐标的方法为：

其中，a′和b′分别为第一像平面点和第二像平面点所对应的像素坐标，x_a、y_a、和x_b、y_b分别为第一像平面和第二相平面上待测点的相机坐标，H为两像平面垂直间距，此时等同于同一目标在真实世界中形成两张照片的实际距离L，D-H为光点与第一像平面的距离，D为光心到第二像平面的距离，为内参矩阵，f_x，f_y为像素焦距，c_x，c_y为p点在图像坐标系中光心的坐标，x′_a、y′_a为第一像平面点的像素坐标，x′_b、y′_b为第二像平面点的像素坐标。

5.根据权利要求4所述的基于同轴摄影的视觉测距方法，其特征在于，对所述像素坐标进行内参修正的方法为：

其中，x′_a、y′_a为第一像平面点的像素坐标，x′_b、y′_b为第二像平面点的像素坐标,x_a″、y_a″为第一像平面点的相对于光心像素坐标，x_a″、y_b″为第二像平面点的相对于光心的像素坐标，c_x，c_y为p点在图像坐标系中光心的坐标。

6.根据权利要求1所述的基于同轴摄影的视觉测距方法，其特征在于，构建像平面点的相机坐标系包括：构建像平面点a、b所在两个三维相机坐标系中Xa、Ya,Xb、Yb坐标；

构建像平面点a、b所在两个三维相机坐标系中Xa、Ya,Xb、Yb坐标的方法为：

其中，x_a、x_b分别为第一像平面点和第二像平面点的在相机坐标系的x轴坐标，y_a、y_b为第一像平面点和第二像平面点的在相机坐标系的y轴坐标，x_a″、y_a″为第一像平面点的相对于光心像素坐标，x_b″、y_b”为第二像平面点的相对于光心的像素坐标，D为光心与第二像平面之间的距离，D-H为光心与第一像平面的距离，f_x，f_y为像素焦距。

7.根据权利要求1所述的基于同轴摄影的视觉测距方法，其特征在于，根据所述像平面点的像素坐标，建立距离与坐标转换模型的方法为：

AD²-BD+C＝0

其中，A、B、C为数学指代，无实际物理意义，L为两点实际距离，D为光心平面到第二像平面深度距离，x_a″、y_a″为第一像平面点相对于光心像素坐标，H为第一像平面与第二像平面之间的距离，x_b″、y″_b为第二像平面点相对于光心的像素坐标，f_x，f_y为像素焦距。

8.根据权利要求1所述的基于同轴摄影的视觉测距方法，其特征在于，获取所述目标到相机光心平面的距离的方法为：

其中，A、B、C为数学指代，无实际物理意义，D为光心平面到第二像平面深度距离，即待测物到第二像平面的距离，其值也为第二相机构成的三维相机坐标中的Za。

9.根据权利要求1所述的基于同轴摄影的视觉测距方法，其特征在于，该方法还包括：

基于所述深度距离和所述像平面点，获取所述像平面点在相机空间坐标中的位置，生成多点定位点云，并进行空间三维成像。