CN112188183B - 双目立体匹配方法 - Google Patents

Abstract

本发明涉及一种双目立体匹配方法，包括：获取当前场景整体的第一深度图；于第一深度图内选取目标区域；获取目标区域的高分辨率图像；基于高分辨率的目标区域进行双目匹配，并输出第二深度图。能够通过定位目标区域，因此能够在高分辨图像的基础上实现感兴趣目标的高分辨率和高精度深度图获取，但是高分辨率是限于目标区域的，因此整体的数据量并没有对算力的要求达到很高，实现在不需要较高算力的条件下输出高精度和高分辨率的深度信息。

Description

双目立体匹配方法

技术领域

本发明涉及立体视觉领域，特别是涉及一种双目立体匹配方法。

背景技术

传统的双目立体视觉技术主要通过双目相机采集同一分辨率的双目图像然后基于双目立体匹配算法获得视差图求取目标深度信息。这种传统方法在有限算力和成像条件下为了实现实时性深度信息输出，因此一般都在较低分辨率图像上进行双目立体匹配，然而较低分辨率的双目图像使得生成的视差图像分辨率和深度精度满足不了应用需求。

发明内容

基于此，有必要针对上述问题，提供一种双目立体匹配方法，其具有能在 不需要较高算力的条件下输出高精度和高分辨率的深度信息的优点。

一种双目立体匹配方法，包括：

获取当前场景整体的第一深度图；

于所述第一深度图内选取目标区域；

获取所述目标区域的高分辨率图像；

基于高分辨率的所述目标区域进行双目匹配，并输出第二深度图。

通过上述技术方案，能够通过定位目标区域，因此能够在高分辨图像的基 础上实现感兴趣目标的高分辨率和高精度深度图获取，但是高分辨率是限于目 标区域的，因此整体的数据量并没有对算力的要求达到很高，实现在不需要较 高算力的条件下输出高精度和高分辨率的深度信息。

在其中一个实施例中，于所述第一深度图内选取所述目标区域包括：

于所述第一深度图的第一视角图像内选定第一目标位置；

基于所述第一目标位置于所述第一深度图的第二视角图像内选定第二目标 位置，并限定所述第一目标位置和所述第二目标位置的边界。

在其中一个实施例中，令所述第一目标位置的左边界为所述第二目标位置 的左边界，令所述第一目标位置的右边界向右位移预设距离后为所述第二目标 位置的右边界；

或，令所述第一目标位置的右边界为所述第二目标位置的右边界，令所述 第一目标位置的左边界向左位移预设距离后为所述第二目标位置的左边界。

在其中一个实施例中，于所述第一深度图内选取所述目标区域包括：

于所述第一深度图的第一视角图像内选定第一目标位置，并同时于所述第 二视角图像内选定第一目标位置；

基于所述第一目标位置的边界确定所述第二目标位置的边界。

在其中一个实施例中，当所述第一视角图像为左图像，所述第二视角图像 为右图像时，令所述第一目标位置的左边界为所述第二目标位置的左边界，且 所述第二目标位置的右边界为所述第一目标位置的右边界加上最大视差搜索范 围；

当所述第一视角图像为右图像，所述第二视角图像为左图像时，令所述第 二目标位置的左边界为所述第一目标位置的左边界，且所述第一目标位置的右 边界为所述第二目标位置的右边界加上最大视差搜索范围。

在其中一个实施例中，获取所述目标区域的高分辨率图像具体包括：

截取所述第一视角图像中所述第一目标位置的图像块；

截取所述第二视角图像中所述第二目标位置的图像块；

对所述第一目标位置的图像块和所述第二目标位置的图像块进行上采样操 作。

在其中一个实施例中，所述对所述第一目标位置的图像块和所述第二目标 位置的图像块进行上采样操作包括：

对所述第一目标位置的图像块的行像素和列像素均进行上采样操作；

对所述第二目标位置的图像块的行像素和列像素均进行上采样操作。

在其中一个实施例中，对所述第一目标位置的图像块的行像素进行上采样 操作；

对所述第二目标位置的像素块的行像素进行上采样操作。

在其中一个实施例中，于输出所述第二深度图之后，还包括行压缩或列扩 展处理所述第二深度图以生成并输出第三深度图的步骤。

在其中一个实施例中，还包括将所述第三深度图与所述第一深度图和/或第 二深度图融合的步骤。

在其中一个实施例中，于所述第一深度图内选取目标区域之后，且于获取 所述目标区域的高分辨率图像之前，还包括：

判断所述目标区域是否位于预设深度范围内，若是，则进行获取所述目标 区域的高分辨率图像的步骤；若否，则不对所述目标区域进行高分辨率图像获 取。

在其中一个实施例中，判断所述目标区域是否位于预设深度范围内包括：

采样所述目标区域内像素点的深度信息，所述像素间深度信息变化不超过 预设阈值；

获取所述目标区域内的像素点的平均距离；

判断所述平均距离是否位于所述预设深度范围内；

若在，则扩大所述目标区域的采样范围，直至变成一个深度变换连续、投 影面积大于所述预设阈值且连同的深度区域，作为感兴趣目标区域。

附图说明

图1为本发明一个实施例展示双目立体匹配方法的流程图；

图2为本发明另一个实施例展示双目立体匹配方法的流程图；

图3为本发明又一个实施例展示双目立体匹配方法的流程图；

图4为本发明一个实施例中展示目标区域获取标准的结构示意图；

图5为本发明一个实施例中展示第一目标位置和第二目标位置边界确定的 示意图；

图6为本发明另一个实施例中展示第一目标位置和第二目标职位边界确定 的示意图。

具体实施方式

为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。 附图中给出了本发明的首选实施例。但是，本发明可以以许多不同的形式来实 现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本 发明的公开内容更加透彻全面。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术 领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术 语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的 术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。

在本发明的描述中，需要理解的是，术语“上”、“下”、“竖直”、“水平”、“内”、 “外”等指示的方位或位置关系为基于附图所示的方法或位置关系，仅是为了便于 描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的 方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

传统的双目立体视觉技术主要通过双目相机采集同一分辨率的双目图像然 后基于双目立体匹配算法获得视差图求取目标深度信息。这种传统方法为了实 现实时性深度信息输出，因此一般都在较低分辨率图像上进行双目立体匹配， 然而交底分辨率的双目图像使得生成的视差图像分辨率和深度精度满足不了应 用需求。

为了在不需要较高算力的条件下输出高精度和高分辨率的深度信息,如图1 所示，本申请提供一种双目立体匹配方法，包括：

步骤S10：获取当前场景整体的第一深度图；

步骤S20：于第一深度图内选取目标区域；

步骤S30：获取目标区域的高分辨率图像；

步骤S40：基于高分辨率的目标区域进行双目匹配，并输出第二深度图。

通过上述技术方案，能够通过定位目标区域，重新获取感兴趣目标区域高 分辨率图像，并在高分辨图像的基础上实现感兴趣目标的高精度和高分辨率深 度图获取，但是高分辨率是限于目标区域的，在重新计算该区域深度信息时不 需消耗过多的硬件算力资源，从而可获得感兴趣目标区域高精度和高分辨率的 深度信息。

对于步骤S10，具体的，第一深度图像为低分辨率的图像，能够满足实时性 深度信息输出。分辨率是度量位图图像内数据量多少的一个参数。通常表示成 每英寸像素和每英寸点。包含的数据越多，图形文件的长度就越大，也能表现 更丰富的细节。但更大的文件需要耗用更多的计算机资源，更多的内存，更大 的硬盘空间等。高分辨率的图像指的是垂直分辨率大于等于720的图像，在本 身中，认为垂直分辨率低于720的图像为低分辨率的图像。

对于步骤S20，具体的，在一个可选的实施例中，包括以下步骤：

步骤S201：于第一深度图的第一视角图像内选定第一目标位置；

步骤S202：基于第一目标位置于第一深度图的第二视角图像内选定第二目 标位置，并限定第一目标位置和第二目标位置的边界。

对于上述步骤，具体的，目标区域存在于第一视角图像内，也存在于第二 视角图像内，目标区域在第一视角图像内的位置为第一目标位置，目标区域在 第二视角图像内的位置为第二目标位置。在第一视角图像为左图像，而第二视 角图像为右图像的实施例中，可以先确定左图像中目标区域的位置，令其为第 一目标位置，根据左图像中第一目标位置和视差关系确定右图像中目标区域的 位置，也即第二目标位置，令点p(x,y)为左图中的目标的一个像素点，根据深度 视差信息d可知在右图中其匹配点为p’(x-dp,y),其中dp为点p(x,y)的深度视 差。

在一个可选的实施例中，第一视角图像为右图像，第二视角图像为左图像， 令第一目标位置的左边界为第二目标位置的左边界，令第一目标位置的右边界 向右位移预设视差距离后为第二目标位置的右边界。在其中一个可选的实施例 中，如图5，其中参考图为右图像，目标图为左图像，预设距离为最大搜索视差 值dmax,或预设视差距离为dR，其中d2≤dR≤dmax；同理第二目标位置的左 边界可由第一目标位置的左边界右移动一定距离dL来确定,其中0≤dL≤d1,通 过基于原有右图像目标边界的视差值d2和d1,来确定边界移动阈值可进一步降 低在高分辨率图像上进行第二次搜索匹配是搜索范围，降低二次匹配数据量。 为了在原图像的基础上，基于原图像中图像块进行像素匹配，那么必须约束匹 配边界，其中这里是将左图像作为参考图像，在左右一致性检查时又需要以右 图像作为参考图像。在一个其他可选的实施例中，第一视角图像为左图像，第 二视角图像为右图像，则令第一目标位置的右边界为第二目标位置的右边界， 令第一目标位置的左边界向左位移预设距离后为第二目标位置的左边界，。在其 中一个实施例中，如图6所示，其中左图像为参考图，右图像为目标图，预设 距离为最大搜索视差值，或预设视差距离为dL，其中d1≤dL≤dmax；同理第 二目标位置的右边界可由第一目标位置的右边界右移动一定距离dR来确定,其 中0≤dR≤d2,通过基于原有右图像目标边界的视差值d2和d1,来确定边界移动 阈值可进一步降低在高分辨率图像上进行第二次搜索匹配是搜索范围，降低二 次匹配数据量。

以右图像中目标作为第一目标位置为例(默认矩形框)：感兴趣目标的获取 可通过神经网络获取，此时一般获取的目标的矩形框，同时亦可通过深度信息 阈值获取一定深度范围内的目标作为感兴趣目标此时的目标轮廓为一般非矩 形，或通过图像语义识别模型获得当前目标的的轮廓；因此目标区域不一定是 矩形；因此感兴趣目标区域还可以是目标形状，同时可将当前第一目标扩大一 定像素后作为第一目标位置(扩张一定的边界，防止损失目标的边界信息)，通 过上述方法我们已经可确定第一目标位置的位置，然后基于第一目标位置的边 界根据dL和dR确定第二目标位置的边界位置。然后对截取的区域进行上采样 k倍生成感兴趣目标高分辨率图像，然后重新匹配，但是由于我们是通过dL和 dR阈值来截取的第二目标位置，因此匹配计算如下：

第一目标对极线上的初始点p(x₀,y)在左图中对极线上的起始匹配点为p’ (x₀+k*dL+0,y),视差d₀＝k*dL,下一个匹配点为p’(x₀+k*dL+1,y)，视差d1＝k*dL+1…,p’(x₀+k*dL+k*d1+n,y),视差d_final＝k*dL+k*d1+n；

同时根据第一深度视差信息d(x,y)可确定每个点的视差搜索范围d’ max＝k*d(x,y)+n,且d’max一般远远小于k*dmax,从而减少了不必要的误差。

在一个其他可选的实施例中，步骤S20具体包括以下步骤：

步骤S201：于第一深度图的第一视角图像内选定第一目标位置，并同时于 第二视角图像内选定第一目标位置；

步骤S202：基于第一目标位置的边界确定第二目标位置的边界。

具体的，当第一视角图像为左图像，第二视角图像为右图像时，令第一目 标位置的左边界为第二目标位置的左边界，且第二目标位置的右边界为第一目 标位置的右边界；当第一视角图像为右图像，第二视角图像为左图像时，令第 二目标位置的左边界为第一目标位置的左边界，且第一目标位置的右边界为第 二目标位置的右边界。

在一个可选的实施例中，感兴趣的目标区域的获取不需要经过识别获取， 而是通过获取当前某一深度范围内的目标区域作为感兴趣的目标区域，具体包 括：如图4所示，在获取第一深度图后，获取当前场景深度在距离为d的竖直 平面A范围内的区域作为目标区域(比如2米以内的区域)。在其中一个实施例 中，对d范围内深度图中连通区在竖直平面A上投影面积小于等于预设面积的 目标抛弃，如目标C；只对大于预设面积的区域在高分辨率下进行重新匹配，如 目标B，目的是为了过滤一些不完整的小目标。完成过滤后，根据过滤后目标区 域在深度图中的位置确定其在第一视角图像和第二视角图像内的位置，

如图2所示，在一个可选的实施例中，与步骤S20之后且于步骤S30之前， 还包括：

步骤S21：判断目标区域是否位于预设深度范围内，若是，则进行获取目标 区域的高分辨率图像的步骤；若否，则不对目标区域进行高分辨率图像获取。

具体的，判断目标区域是否位于预设深度范围内包括以下步骤：

步骤S211：采样目标区域内像素点的深度信息，像素间深度信息变化不超 过预设阈值；

步骤S212：获取目标区域内的像素点的平均距离；

步骤S213：判断平均距离是否位于预设深度范围内；

若在，则扩大该点的采样范围，直至变成一个深度变换连续、投影面积大 于预设阈值且连同的深度区域，作为感兴趣目标区域；

通过上述步骤可以判断当前感兴趣的目标区域是否位于预设深度范围内， 在目标区域位于预设深度范围内时才进行获取目标区域的高分辨率图像的步 骤，这样可以减少无效运算。

在一个可选的实施例中，步骤S30包括以下步骤：

步骤S301：截取第一视角图像中第一目标位置的图像块；

步骤S302：截取第二视角图像中第二目标位置的图像块；

步骤S303：对第一目标位置的图像块和第二目标位置的图像块进行上采样 操作。

具体的，从第一视角图像中截取的第一目标位置的图像块和第二视角图像 中截取的第二目标位置的图像块，并对第一目标位置的图像块和第二目标位置 的图像块上采样k倍，在一个可选的实施例中，通过插值算法或基于深度卷积 神经网络的图像超分辨率重建算法提高目标图像分辨率大小为原来的k倍。

在一个可选的实施例中，步骤S303包括：

步骤S3031：对第一目标位置的图像块的行像素和列像素均进行上采样操 作；

步骤S3032：对第二目标位置的图像块的行像素和列像素均进行上采样操 作。

通过上述步骤所述的上采样方式是对图像整体进行扩大，因此处理过后获 得图像不会发生形变。

在一个其他可选的实施例中，步骤S303包括：

步骤S3031：对第一目标位置的图像块的行像素进行上采样操作；

步骤S3032：对第二目标位置的像素块的行像素进行上采样操作。

具体的，由于双目立体匹配是在左右图像对极线上进行像素级匹配，因此 可以对行像素上采样k_rows倍。

对于步骤S40，具体的，基于上述步骤后所获得的高分辨率的目标区域进行 双目匹配，获取在高分辨率情况下的目标精细视差图，从而获得第二深度图， 第二深度图为具有高分辨率和高精度感兴趣目标的深度图。

在对第一目标位置的图像块和第二目标位置的图像块的行像素进行上采样 操作的实施例中，如图3所示，在获取第二深度图之后，还包括以下步骤：

步骤S50：行压缩或列扩展处理第二深度图以生成并输出第三深度图。

由于在此实施例中的步骤S303中，只对第一目标位置的图像块的行像素和 第二目标位置的图像块的行像素进行了上采样操作，因此获得第二深度图会形 变，需要对第二深度图进行行压缩或列扩展处理，从而获得不形变的第三深度 图。具体的是通过下采样k_rows倍实现对第二深度图的行压缩，或对第二深度 图列上采样k_rows倍。

如图3所示，在一个可选的实施例中，步骤S50之后还包括：

步骤S60：将第三深度图与第一深度图和/或第二深度图融合。

具体的，在其中一个实施例中，将第三深度图与第一深度图融合，或将第 三深度图先与第二深度图融合后再于第一深度图融合，或将第三深度图直接与 第二深度图融合。

通过上述技术方案，能够通过定位目标区域，因此能够在高分辨图像的基 础上实现感兴趣目标的高分辨率和高精度深度图获取，但是高分辨率是限于目 标区域的，因此整体的数据量并没有对算力的要求达到很高，实现在不需要较 高算力的条件下输出高精度和高分辨率的深度信息。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对 上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技 术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细， 但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的 普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改 进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权 利要求为准。

Claims (9)

1.一种双目立体匹配方法，其特征在于，包括：

获取当前场景整体的第一深度图，所述第一深度图像为低分辨率的图像；

于所述第一深度图内选取目标区域；

对所述目标区域的行像素进行上采样，以获取所述目标区域的高分辨率图像；

基于高分辨率的所述目标区域进行双目匹配，并输出第二深度图；

行压缩或列扩展处理所述第二深度图以生成并输出第三深度图；

将所述第三深度图与所述第一深度图融合，或者将所述第三深度图与所述第一深度图和所述第二深度图融合。

2.根据权利要求1所述的双目立体匹配方法，其特征在于，于所述第一深度图内选取所述目标区域包括：

于所述第一深度图的第一视角图像内选定第一目标位置；

基于所述第一目标位置于所述第一深度图的第二视角图像内选定第二目标位置，并限定所述第一目标位置和所述第二目标位置的边界。

3.根据权利要求2所述的双目立体匹配方法，其特征在于，令所述第一目标位置的左边界为所述第二目标位置的左边界，令所述第一目标位置的右边界向右位移预设距离后为所述第二目标位置的右边界；

或，令所述第一目标位置的右边界为所述第二目标位置的右边界，令所述第一目标位置的左边界向左位移预设距离后为所述第二目标位置的左边界。

4.根据权利要求1所述的双目立体匹配方法，其特征在于，于所述第一深度图内选取所述目标区域包括：

于所述第一深度图的第一视角图像内选定第一目标位置，并同时于所述第一深度图的第二视角图像内选定第二目标位置；

基于所述第一目标位置的边界确定所述第二目标位置的边界。

5.根据权利要求4所述的双目立体匹配方法，其特征在于，当所述第一视角图像为左图像，所述第二视角图像为右图像时，令所述第一目标位置的左边界为所述第二目标位置的左边界，且所述第二目标位置的右边界为所述第一目标位置的右边界加上最大视差搜索范围；

当所述第一视角图像为右图像，所述第二视角图像为左图像时，令所述第二目标位置的左边界为所述第一目标位置的左边界，且所述第一目标位置的右边界为所述第二目标位置的右边界加上最大视察搜索范围。

6.根据权利要求2所述的双目立体匹配方法，其特征在于，获取所述目标区域的高分辨率图像具体包括：

截取所述第一视角图像中所述第一目标位置的图像块；

截取所述第二视角图像中所述第二目标位置的图像块；

对所述第一目标位置的图像块和所述第二目标位置的图像块进行上采样操作。

7.根据权利要求6所述的双目立体匹配方法，其特征在于，所述对所述第一目标位置的图像块和所述第二目标位置的图像块进行上采样操作包括：

对所述第一目标位置的图像块的行像素和列像素均进行上采样操作；

对所述第二目标位置的图像块的行像素和列像素均进行上采样操作。

8.根据权利要求6所述的双目立体匹配方法，其特征在于，对所述第一目标位置的图像块的行像素进行上采样操作；

对所述第二目标位置的像素块的行像素进行上采样操作。

9.根据权利要求1所述的双目立体匹配方法，其特征在于，于所述第一深度图内选取目标区域之后，且于获取所述目标区域的高分辨率图像之前，还包括：

判断所述目标区域是否位于预设深度范围内，若是，则进行获取所述目标区域的高分辨率图像的步骤；若否，则不对所述目标区域进行高分辨率图像获取。

Images