CN212363177U - 一种多摄像头测距的机器人 - Google Patents

Abstract

本实用新型公开一种多摄像头测距的机器人，本实用新型在机器人的承载底座上安装不在同一预设直线上的三个或三个以上的摄像头，其中必然存在一个摄像头不在这个直线上执行双目视觉测距，克服现有技术的双目摄像头不能检测平行线场景（门槛、阶梯边缘、边缘轮廓线）的深度信息的问题，与现有技术的平行双目立体视觉模型相比，本实用新型避免出现第一摄像头和第二摄像头的双目测距产生的深度值距离的误判，提升距离检测的精度。

Description

一种多摄像头测距的机器人

技术领域

本实用新型属于双目视觉测距的技术领域，尤其涉及一种多摄像头测距的机器人。

背景技术

距离测量对于很多机器人都是必须的功能，特别是三维信息，帮助机器人感知外部世界。双目立体视觉测距具有非接触、自动测量、对人眼无害等优点。最常用的是平行光轴模型，机器人的两摄像机相距一个基线距离水平放置，先通过畸变校正和极线校正，使得同一特征点在两摄像机的图像只有水平视差，利用图像配准的方法得到对应点的视差，利用视差和深度的关系最终得到场景中物点的深度信息。但是在实际测距的过程中，机器人的两摄像机会采集到的与两摄像机的基线平行的阶梯边缘轮廓线、门槛线，但是不能根据这些与基线平行的图像线条获取与两摄像机的基线平行的物体的深度信息。

实用新型内容

本实用新型采用不设置在同一直线上的三个或三个以上的摄像头，来解决双目摄像头存在的平行线不能检测深度的问题，其中必然存在一个摄像头不在这个直线上执行双目视觉测距，提升距离检测的精度，具体的技术方案如下：

一种多摄像头测距的机器人，该机器人包括承载底座，该承载底座安装至少三个不分布在同一预设直线上的摄像头。与现有技术的平行双目立体视觉模型相比，本技术方案存在至少两个摄像头分布在同一直线上，必定存在一个摄像头不分布在这一直线上，克服现有技术的双目摄像头不能检测平行线场景（门槛、阶梯边缘、物体水平边缘轮廓线）的深度信息的问题，提升距离检测的精度。

进一步地，在所述承载底座中，同一预设直线上安装至少两个摄像头，另外存在至少一个摄像头设置所述预设直线的上方和/或下方。确保机器人的同一预设直线上的两个摄像头能正常执行双目视觉测距作用，又能在同一预设直线上的两个摄像头不能检测平行线时，调用与其存在几何位置关联但不在同一预设直线的摄像头完成平行线的双目视觉测距工作。

进一步地，在所述承载底座中，所述预设直线上安装的其中两个摄像头的连线中心点的垂直上方及其垂直下方各设置一个摄像头。与现有技术的平行双目立体视觉模型相比，提升各个摄像头的极线上的特征点的匹配效率。

进一步地，所述预设直线是水平线，方便实施双目视觉测距，简化深度信息的计算量。

进一步地，所述预设直线在同一水平采集方向上设置两个或两个以上的摄像头，以使：所述预设直线上，存在其中两个摄像头的间距与另外两个摄像头的间距不同，或者存在其中两个摄像头的基线长度与另外两个摄像头的基线长度不同。从而兼容远距离和近距离的视觉测距场景。

进一步地，在所述预设直线上，存在相距一个基线距离水平放置的左摄像头和右摄像头，所述预设直线的上方和/或所述预设直线的下方安装的摄像头位于左摄像头和右摄像头之间的基线的垂直线上。方便构建平行双目立体视觉模型进行深度值计算，提高运算效率。

附图说明

图1是本实用新型的一实施例中的多摄像头测距的机器人的结构示意图。

图2是本实用新型的一实施例公开的一种基于图1所述的机器人的视觉测距方法的流程图。

具体实施方式

下面将结合本实用新型实施例中的附图，对本实用新型实施例中的技术方案进行详细描述。在本实用新型的描述中，需要理解的是，术语“中心”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本实用新型和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本实用新型的限制。

需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本实用新型实施例公开一种多摄像头测距的机器人，如图1所示，该机器人包括承载底座101和驱动轮102，该承载底座101安装至少三个不在同一预设直线上的摄像头，实施方式包括：在机器人的承载底座上，存在至少两个摄像头分布在同一直线上，必定存在一个摄像头不分布在这一直线上。与现有技术的平行双目立体视觉模型相比，本实施例在机器人的承载底座101上安装不在同一预设直线的三个或三个以上的摄像头，克服现有技术的双目摄像头不能检测平行线场景（门槛、阶梯边缘区域）的深度信息的问题，提升距离检测的精度。

在本实用新型实施例中，在所述承载底座101上，同一预设直线内安装至少两个摄像头，另外存在至少一个摄像头设置在所述预设直线的上方和/或下方。确保机器人的同一预设直线上的两个摄像头能正常执行双目视觉测距作用，又能在同一预设直线上的两个摄像头不能检测平行线时，调用与其存在几何位置关联的摄像头完成平行线的双目视觉测距工作，这里的几何位置关联可以包括不设置在同一预设直线内的摄像头，但这个摄像头可以与同一预设直线内安装的摄像头执行双目视觉测距，用于构建出新的双目立体视觉模型。

优选地，在所述承载底座中，所述预设直线内安装的其中两个摄像头的连线中心点的垂直上方及其垂直下方各设置一个摄像头，则在所述承载底座内形成呈十字架结构设置的4个摄像头，与现有技术的平行双目立体视觉模型相比，提升各个摄像头的极线上的特征点的匹配效率。

优选地，所述预设直线是所述承载底座101所处的水平面上的一条水平线，方便实施双目视觉测距，简化深度信息的计算量。

作为一种实施例，如图1所示，所述预设直线在同一水平采集方向上设置两个或两个以上的摄像头，以使：所述预设直线上（理解为水平线内），存在其中两个摄像头的间距与另外两个摄像头的间距不同，或者存在其中两个摄像头的基线长度与另外两个摄像头的基线长度不同，其中两个摄像头的间距与另外两个摄像头的间距不同时，则：其中同一预设直线上分布的两个摄像头的基线长度与另外两个摄像头的基线长度不同，从而兼容远距离和近距离的视觉测距场景，即同一预设直线上分布的两个摄像头的基线长度越大则所述机器人可以用于测量更远场景中的物体深度信息，同一预设直线上分布的两个摄像头的基线长度越小则所述机器人可以用于测量更近场景中的物体深度信息。

作为一种实施例，在所述预设直线上，如图1所示，存在相距一个基线距离水平放置的左摄像头A和右摄像头B，所述预设直线的上方安装的摄像头C位于左摄像头A和右摄像头B之间的基线的垂线上，或者摄像头C位于左摄像头A和右摄像头B连线的中垂线上。左摄像头A的内参数、右摄像头B的内参数和摄像头C的内参数相同，左摄像头A的光轴、右摄像头B的光轴和摄像头C的光轴平行且垂直于左摄像头A和右摄像头B之间的基线，使得左摄像头A拍摄的左图像和右摄像头B拍摄的右图像共面且只有水平视差，但摄像头C拍摄的图像和摄像头A拍摄的图像不一定共面，摄像头C拍摄的图像和摄像头B拍摄的图像不一定共面，其中，左摄像头A的投影中心和右摄像头B的投影中心连线距离为基线距离。本实施例方便构建平行双目立体视觉模型进行深度值计算，提高运算效率。

需要说明的是，前述实施例中，机器人的承载底座及其安装的前述摄像头属于一种视觉测距模组。

本实用新型另一实施例公开一种基于前述实施例的多摄像头测距的机器人的视觉测距方法。在前述实施例的多摄像头测距的机器人中，根据所述的多摄像头测距的机器人的实际测距场景范围大小而在同一预设直线内选择的相距一个基线距离放置第一摄像头和第二摄像头，其中，相机基线限制了测量范围。测量范围和基线（两个摄像头间距）关系很大；基线越大，测量范围越远；基线越小，测量范围越近。所以基线在一定程度上限制了该深度相机的测量范围。

当然还可以安装相同图像采集方向的多个摄像头，使得这些摄像头中的任意两个摄像头之间的基线长度都不相同，以兼容远近不同的视觉测距场景；所述预设直线上方的摄像头或所述预设直线下方的一个摄像头设置为第三摄像头，或者，所述预设直线上方的摄像头和/或所述预设直线下方的一个摄像头各自设置一个或多个摄像头，以提高特征点的匹配效率，搜索出更加丰富匹配特征点以参与深度值的运算，增加克服现有技术的双目摄像头不能检测平行线场景（门槛、长廊、阶梯边缘区域）的深度信息的几率，提高测距检测精度。

作为一种实施例，如图2所示，所述视觉测距方法包括以下步骤：

步骤S101、从第一摄像头拍摄的图像和第二摄像头拍摄的图像中搜索出基于同一待测物体空间点的横向匹配特征点对，并求出横向匹配特征点对的第一视差，然后结合第一摄像头和第二摄像头之间的基线距离和相机焦距构建三角几何关系以计算出第一深度值；然后进入步骤S102。

优选地，第一摄像头和第二摄像头的最佳设置方式为水平放置，光轴平行且垂直于基线，第一摄像头的相机焦距和第二摄像头的相机焦距相等，当第一摄像头和第二摄像头在同一时刻拍摄同一待测物体空间点时，第一摄像头和第二摄像头分别获取到该待测物体空间点的图像，然后沿着同一极线去搜索出基于待测物体空间点的相互匹配的两个特征点，然后这两个特征点的坐标同方向相减后得到水平视差，根据三角几何关系可知，第一摄像头和第二摄像头之间的基线长度与这个水平视差的比值等于这个待测物体空间点的深度与相机焦距的比值，形成按照标准配置放置的双摄像头***的经典双目视觉视差测距原理。因此步骤S101可结合第一摄像头和第二摄像头之间的基线距离、第一视差和相机焦距的比例关系计算出第一深度值，是这个待测物体空间点相对于第一摄像头和第二摄像头之间的基线的距离，通过把图像中对应像素点的像素值用深度值Z表示，就能得到深度图。如果这个待测物体空间点是在平行于第一摄像头和第二摄像头之间的基线的平行线上（如阶梯边缘）则基于同一待测物体空间点的横向匹配特征点对在同一极线上可能重合在一起，很难获得准确的视差，这种情况下获得的视差一般是零。

步骤S102、从第一摄像头和第二摄像头中任选一个摄像头作为基准摄像头，从基准摄像头拍摄的图像和第三摄像头拍摄的图像中搜索出基于同一待测物体空间点的纵向匹配特征点对，并求出纵向匹配特征点对的第二视差，然后结合基准摄像头和第三摄像头之间的基线距离和相机焦距构建三角几何关系以计算出第二深度值；然后进入步骤S103。

优选地，基准摄像头的光轴和第三摄像头的光轴平行且垂直于基准摄像头和第三摄像头之间的基线，基准摄像头的相机焦距和第三摄像头的相机焦距相等，当基准摄像头和第三摄像头在同一时刻拍摄步骤S101中同一待测物体空间点时，按照标准配置放置的双摄像头***的经典双目视觉视差测距原理，基准摄像头和第三摄像头分别获取到这一待测物体空间点的图像，这一待测物体空间点分别在基准摄像头拍摄的图像存在投影点和第三摄像头拍摄的图像存在投影点，然后沿着极线方向分别对这两个投影点寻找匹配的特征点以确定出基于同一待测物体空间点的纵向匹配特征点对，再将纵向匹配特征点对的两个相匹配的特征点的坐标同方向相减以得到第二视差，即这个待测物体空间点相对于基准摄像头和第三摄像头之间的基线的距离，此时的第二视差不是水平视差，不会受到步骤S101中的平行于第一摄像头和第二摄像头之间的基线的平行线的影响。在本实施例中，因为这一待测物体空间点、基准摄像头和第三摄像头形成的极平面垂直于第一摄像头和第二摄像头之间的基线，所以，在第三摄像头的成像平面和基准摄像头的成像平面中，待测物体中平行于第一摄像头和第二摄像头之间的基线的平行边缘线不会平行于基准摄像头和第三摄像头之间的基线。

在前述步骤中，两摄像头光轴平行、左右成像平面共面、对极线行对齐。这样一幅图像上任意一点与其在另一幅图像上的对应点就必然具有相同的行号，只需在该行进行一维搜索即可匹配到对应点。双目匹配（步骤S101中搜索的横向匹配特征点对和步骤S102中搜索的纵向匹配特征点对）的作用是把同一场景在两个摄像头的成像视图上对应的投影点匹配起来，这样做的目的是为了得到视差图。

步骤S103、判断第一视差是否为0，是则进入步骤S104，否则进入步骤S105。本实施例中，所述第一视差是0时，第一深度值也是0，所述机器人识别出所述待测物体空间点位于第一摄像头和第二摄像头之间的基线的平行线上，其中，这个平行线是属于门槛、阶梯的水平边缘线。

步骤S104、将第二深度值确定为用于表示待测物体空间点和机器人之间距离的最佳深度值。此时步骤S101从第一摄像头拍摄的图像和第二摄像头拍摄的图像中搜索出的基于同一待测物体空间点的横向匹配特征点对的第一视差是0，这个视差显然是无法求取这一待测物体空间点与所述机器人的深度信息，因为第一摄像头和第二摄像头之间的基线与这个待测物体空间点所处的边缘线平行，不能被第一摄像头和第二摄像头采集到相互匹配的投影点，只能采集到线条，此时，第一摄像头和第二摄像头之间的基线与这个待测物体空间点所处的边缘线平行，机器人可能检测识别出与两摄像机的基线平行的阶梯边缘轮廓线、门槛线。此时只能采用步骤S102中求取的第二深度值作为用于表示待测物体空间点和机器人之间距离的最佳深度值。

步骤S105、按照第一视差与第二视差的大小关系对第一深度值和第二深度值进行处理以获得最佳深度值。该步骤的目的是通过处理不在同一水平直线或预设直线上的三个摄像头相配合获取的第一深度值和第二深度值，以获取更为准确稳定的最佳深度值。

与现有技术的平行双目立体视觉模型相比，前述步骤根据同一预设直线的第一摄像头和第二摄像头的双目测距结果，来运用基准摄像头和不在该预设直线上的第三摄像头的双目测距结果去计算出最佳深度值，克服现有技术的双目摄像头不能检测处于平行线场景（门槛、阶梯平行线边缘）的待测物体空间点深度信息的问题，避免出现第一摄像头和第二摄像头的双目测距带来的第一深度值为0时产生的深度值距离的误判，提升距离检测的精度。

作为一种实施例，所述按照第一视差与第二视差的大小关系对第一深度值和第二深度值进行处理以获得最佳深度值的方法为：当第一视差大于第二视差时，所述最佳深度值确定为所述第一深度值；当第二视差大于第一视差时，所述最佳深度值确定为所述第二深度值。使得步骤S105获得的最佳深度值较为接近待测物体空间点与机器人的实际距离（像素值）。若所述预设直线上方和/或下方存在多个所述第三摄像头分别与所述基准摄像头按照经典双目视觉视差测距原理参与基于同一待测物体空间点的纵向匹配特征点对的搜索，以求取出多个视差和对应的深度值，形成待矫正深度信息映射表，则从这一待矫正深度信息映射表内所有的视差与第一视差中选择最大的视差对应的深度值作为所述最佳深度值。

作为一种实施例，所述按照第一视差与第二视差的大小关系对第一深度值和第二深度值进行处理以获得最佳深度值的方法为：计算第一视差在第一视差与第二视差的和值中所占的第一比例，作为第一深度值分配的均值处理权重；计算第二视差在第一视差与第二视差的和值中所占的第二比例，作为第二深度值分配的均值处理权重；然后利用第一比例和第二比例分别对第一深度值和第二深度值进行加权平均处理，以获得最佳深度值。若所述预设直线上方和/或下方存在多个所述第三摄像头分别与所述基准摄像头按照经典双目视觉视差测距原理参与基于同一待测物体空间点的纵向匹配特征点对的搜索，以求取出多个视差和对应的深度值，形成待矫正深度信息映射表，然后计算待矫正深度信息映射表内部所有的视差和第一视差各自所占的比例，并将这些视差对应的深度值参与加权平均计算，最后求的加权平均值是所述最佳深度值。本实施例利用加权平均的方法去处理不在同一预设直线上的三个摄像头获得的深度值（其中必然存在至少两个摄像头分布在同一直线上），使得最佳深度值具有更好的稳定性，减弱环境因素的影响。

在前述实施例中，所述搜索出基于同一待测物体空间点的横向匹配特征点对的方法包括：将第一摄像头拍摄的图像设置为左图像，将第二摄像头拍摄的图像设置为右图像；首先以左图像为基准图像，右图像为待匹配图像，在左图像中选择第一预设特征点，再基于极线约束从右图像中搜索出与这个第一预设特征点相匹配的第二预设特征点；然后以右图像为基准图像，左图像为待匹配图像，在右图像中选择第二预设特征点，再基于极线约束，在从左图像中搜索出与这个第二预设特征点相匹配的第一预设特征点时，则将第一预设特征点和第二预设特征点组成一个横向匹配特征点对。或者，将第一摄像头拍摄的图像设置为基准图像，将第二摄像头拍摄的图像设置为待匹配图像，在基准图像中选择第一预设特征点，再基于极线约束从待匹配图像中搜索出与这个第一预设特征点相匹配的第二预设特征点，然后将第一预设特征点和第二预设特征点组成一个横向匹配特征点对；其中，第一预设特征点是同一待测物体空间点在基准图像的投影点，第二预设特征点是同一待测物体空间点在待匹配图像的投影点。从而缩小第一摄像头拍摄的左图像的特征点和第二摄像头拍摄的右图像的特征点的匹配范围，提高横向或是水平上的特征点匹配效率。

需要说明的是，第一预设特征点是同一待测物体空间点在左图像的投影点，第二预设特征点是同一待测物体空间点在右图像的投影点；当所述左图像和所述右图像平行时，所述第一预设特征点与所述第二预设特征点在同一极线上，使得所述左图像的极线方向上，所述右图像中存在与所述左图像的所述第一预设特征点相互匹配的所述第二预设特征点，对应的所述第一视差为所述第一预设特征点的坐标与所述第二预设特征点的坐标按相同方向相减，以便求取第一深度值；当所述左图像和所述右图像不平行时，所述第一预设特征点与所述第二预设特征点不在同一极线上，则通过单应性矩阵将所述左图像和所述右图像投影变换到同一平面上，以使得投影变换后的所述左图像的水平极线方向上，投影变换后的所述右图像中存在与所述第一预设特征点相互匹配的所述第二预设特征点，对应的所述第一视差为所述第一预设特征点的坐标与所述第二预设特征点的坐标按水平极线方向相减，以便求取第一深度值。

在前述实施例中，所述搜索出基于同一待测物体空间点的纵向匹配特征点对的方法包括：将基准摄像头拍摄的图像设置为下图像，将第三摄像头拍摄的图像设置为上图像；首先以下图像为基准图像，上图像为待匹配图像，在下图像中选择第三预设特征点，再基于极线约束从上图像中搜索出与这个第三预设特征点相匹配的第四预设特征点；然后以上图像为基准图像，下图像为待匹配图像，在上图像中选择第四预设特征点，再基于极线约束，在从下图像中搜索出与这个第四预设特征点相匹配的第三预设特征点时，则将第三预设特征点和第四预设特征点组成一个纵向匹配特征点对；其中，第三预设特征点是同一待测物体空间点在下图像的投影点，第四预设特征点是同一待测物体空间点在上图像的投影点；或者，将基准摄像头拍摄的图像设置为基准图像，将第三摄像头拍摄的图像设置为待匹配图像，在基准图像中选择第三预设特征点，再基于极线约束从待匹配图像中搜索出与这个第三预设特征点相匹配的第四预设特征点，然后将第三预设特征点和第四预设特征点组成一个纵向匹配特征点对；其中，第三预设特征点是同一待测物体空间点在基准图像的投影点，第四预设特征点是同一待测物体空间点在待匹配图像的投影点。从而缩小第三摄像头拍摄的待匹配图像的特征点和基准摄像头（第一摄像头或第二摄像头）拍摄的基准图像的特征点的匹配范围，提高纵向上的特征点匹配效率。

需要说明的是，当所述下图像和所述上图像平行时，所述第三预设特征点与所述第四预设特征点在同一极线上，使得所述下图像的极线方向上，所述上图像中存在与所述下图像的所述第三预设特征点相互匹配的所述第四预设特征点，对应的所述第二视差为所述第三预设特征点的坐标与所述第四预设特征点的坐标按相同方向相减，以便求取第二深度值；当所述下图像和所述上图像不平行时，所述第三预设特征点与所述第四预设特征点不在同一极线上，则通过单应性矩阵将所述下图像和所述上图像投影变换到同一平面上，以使得投影变换后的所述下图像的极线方向上，投影变换后的所述上图像中存在与所述第三预设特征点相互匹配的所述第四预设特征点，对应的所述第二视差为所述第三预设特征点的坐标与所述第四预设特征点的坐标按投影变换后的极线方向相减，以便求取第二深度值。

最后应当说明的是：以上实施例仅用以说明本实用新型的技术方案而非对其限制；尽管参照较佳实施例对本实用新型进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本实用新型的具体实施方式进行修改或者对部分技术特征进行等同替换；而不脱离本实用新型技术方案的精神，其均应涵盖在本实用新型请求保护的技术方案范围当中。

Claims (6)

1.一种多摄像头测距的机器人，该机器人包括承载底座，其特征在于，该承载底座安装至少三个不分布在同一预设直线上的摄像头。

2.根据权利要求1所述多摄像头测距的机器人，其特征在于，在所述承载底座中，同一预设直线上安装至少两个摄像头，另外存在至少一个摄像头设置所述预设直线的上方和/或下方。

3.根据权利要求2所述多摄像头测距的机器人，其特征在于，在所述承载底座中，所述预设直线上安装的其中两个摄像头的连线中心点的垂直上方及其垂直下方各设置一个摄像头。

4.根据权利要求1至3任一项所述多摄像头测距的机器人，其特征在于，所述预设直线是水平线。

5.根据权利要求4所述多摄像头测距的机器人，其特征在于，所述预设直线在同一水平采集方向上设置两个或两个以上的摄像头，以使：所述预设直线上，存在其中两个摄像头的间距与另外两个摄像头的间距不同，或者存在其中两个摄像头的基线长度与另外两个摄像头的基线长度不同。

6.根据权利要求5所述多摄像头测距的机器人，其特征在于，在所述预设直线上，存在相距一个基线距离水平放置的左摄像头和右摄像头，所述预设直线的上方和/或所述预设直线的下方安装的摄像头位于左摄像头和右摄像头的连线的垂直线上。

Images