CN107977649A - 一种障碍物识别方法、装置及终端 - Google Patents

Abstract

本发明实施例提供一种障碍物识别方法、装置及终端，涉及辅助驾驶技术领域，该方法包括：在待识别图像的V视差图中提取斜线；在斜线上确定第一起始像素，第一起始像素对应的像素集合中像素的数值之和大于第一阈值，第一起始像素对应的像素集合包括第一起始像素所在列中位于斜线之上的像素；根据第一起始像素的视差和预设障碍物类型对应的窗口参数，在V视差图中确定第一起始像素对应的检测窗口；根据检测窗口中图像的识别度，确定在待识别图像中识别得到的障碍物类型。该方法用于提高障碍物识别的准确度。

Description

一种障碍物识别方法、装置及终端

技术领域

本发明实施例涉及辅助驾驶技术领域，尤其涉及一种障碍物识别方法、装置及终端。

背景技术

在图像识别技术中，通过双目立体视觉技术可以获取高分辨率的图像信息和图像的深度信息，因此，双目立体视觉技术被广泛应用于图像识别中。

在基于双目立体视觉的障碍物识别过程中，通常先采用双目立体视觉技术获取待识别图像的视差图，并根据视差图中的线条进行障碍物识别。在视差图中，障碍物的边缘线条通常可以正常保留，而同质弱纹理的部分通常会消失，也就出现视差图中障碍物的连续包络可能被分为不连续的几段的情况。例如，对于图像中的公交车，视差图中公交车的整体线条被分为不连续的两部分(头部线条和尾部线条)，在识别过程中，公交车的车头和车尾往往被判定为两个物体，进而导致对图像中的公交车识别失败。

由上可知，在现有技术中，由于视差图中的同一障碍物的包络线条可能不连续，因此，根据视差图中的线条进行障碍物识别时可能将同一障碍物识别成多个障碍物，导致障碍物识别的准确率较低。

发明内容

为了解决由于同一障碍物在视差图中的包络线条的不连续，导致在障碍物识别时将同一障碍物识别成多个障碍物的问题，本发明实施例提供一种障碍物识别方法、装置及终端，提高了障碍物识别的准确度。

第一方面，本发明实施例提供一种障碍物识别方法，包括：

在待识别图像的V视差图中提取斜线；

在所述斜线上确定第一起始像素，所述第一起始像素对应的像素集合中像素的数值之和大于第一阈值，所述第一起始像素对应的像素集合包括所述第一起始像素所在列中位于所述斜线之上的像素；

根据所述第一起始像素的视差和预设障碍物类型对应的窗口参数，在所述V视差图中确定所述第一起始像素对应的检测窗口；

根据所述检测窗口中图像的识别度，确定在所述待识别图像中识别得到的障碍物类型。

在一种可能的实施方式中，在所述斜线上确定第一起始像素，包括：

从所述斜线的一端起，沿着所述斜线的延伸方向，依次将所述斜线上的像素确定为第一像素，并获取所述第一像素对应的像素集合中像素的数值之和，直至在所述斜线上确定得到的第一像素对应的像素集合中像素的数值之和大于所述第一阈值时，将所述第一像素确定为所述第一起始像素；

其中，所述第一像素对应的像素集合包括所述第一像素所在列中位于所述斜线之上的像素。

在另一种可能的实施方式中，所述预设障碍物类型包括第一障碍物类型，所述第一障碍物类型对应第一窗口参数；根据所述第一起始像素的视差和所述第一窗口参数，在所述V视差图中确定所述第一起始像素对应的第一检测窗口，包括：

获取所述第一障碍物类型对应的第一窗口参数；

根据障碍物识别方向、所述第一起始像素的视差、所述第一窗口参数和拍摄所述待识别图像的相机参数，确定所述第一检测窗口的大小；

根据所述第一检测窗口的大小在所述V视差图中确定所述第一检测窗口，所述第一起始像素为所述第一检测窗口的一个角所在的像素。

在另一种可能的实施方式中，根据所述第一检测窗口的大小在所述V视差图中确定所述第一检测窗口，包括：

根据所述障碍物识别方向，确定所述第一起始像素在所述第一检测窗口中的位置；

根据所述第一起始像素在所述第一检测窗口中的位置和所述第一检测窗口的大小，在所述V视差图中确定所述第一检测窗口。

在另一种可能的实施方式中，根据检测窗口中图像的识别度，确定在所述待识别图像中识别得到的障碍物类型，包括：

根据检测窗口对应的预设障碍物类型，对所述检测窗口中的图像进行检测，以获取检测窗口中图像的识别度；

根据检测窗口中图像的识别度，确定目标检测窗口，所述目标检测窗口中图像的识别度最高；

将所述目标窗口对应的障碍物类型确定为在所述待识别图像中识别的障碍物类型。

在另一种可能的实施方式中，所述检测窗口包括第二检测窗口，所述第二检测窗口对应第二障碍物类型；根据所述第二障碍物类型，对所述第二检测窗口中的图像进行检测，以获取所述第二检测窗口中图像的识别度，包括：

获取所述第二障碍物类型对应的标准图像；

确定所述第二检测窗口中的图像与所述标准图像的相似度；

将所述相似度确定为所述第二检测窗口中图像的识别度。

在另一种可能的实施方式中，所述斜线包括所述V视差图中障碍物的下边缘所在的直线；或者，

所述斜线包括所述V视差图中障碍物的下边缘所在的直线、和所述V视差图的上边缘线和/或下边缘线中的部分。

第二方面，本发明实施例提供一种障碍物识别装置，包括提取模块、第一确定模块、第二确定模块和第三确定模块，其中，

所述提取模块用于，在待识别图像的V视差图中提取斜线；

所述第一确定模块用于，在所述斜线上确定第一起始像素，所述第一起始像素对应的像素集合中像素的数值之和大于第一阈值，所述第一起始像素对应的像素集合包括所述第一起始像素所在列中位于所述斜线之上的像素；

所述第二确定模块用于，根据所述第一起始像素的视差和预设障碍物类型对应的窗口参数，在所述V视差图中确定所述第一起始像素对应的检测窗口；

所述第三确定模块用于，根据所述检测窗口中图像的识别度，确定在所述待识别图像中识别得到的障碍物类型。

在一种可能的实施方式中，所述第一确定模块具体用于：

从所述斜线的一端起，沿着所述斜线的延伸方向，依次将所述斜线上的像素确定为第一像素，并获取所述第一像素对应的像素集合中像素的数值之和，直至在所述斜线上确定得到的第一像素对应的像素集合中像素的数值之和大于所述第一阈值时，将所述第一像素确定为所述第一起始像素；

其中，所述第一像素对应的像素集合包括所述第一像素所在列中位于所述斜线之上的像素。

在另一种可能的实施方式中，所述预设障碍物类型包括第一障碍物类型，所述第一障碍物类型对应第一窗口参数；所述第二确定模块具体用于：

获取所述第一障碍物类型对应的第一窗口参数；

根据障碍物识别方向、所述第一起始像素的视差、所述第一窗口参数和拍摄所述待识别图像的相机参数，确定所述第一检测窗口的大小；

根据所述第一检测窗口的大小在所述V视差图中确定所述第一检测窗口，所述第一起始像素为所述第一检测窗口的一个角所在的像素。

在另一种可能的实施方式中，所述第二确定模块具体用于：

根据所述障碍物识别方向，确定所述第一起始像素在所述第一检测窗口中的位置；

根据所述第一起始像素在所述第一检测窗口中的位置和所述第一检测窗口的大小，在所述V视差图中确定所述第一检测窗口。

在另一种可能的实施方式中，所述第三确定模块具体用于：

根据检测窗口对应的预设障碍物类型，对所述检测窗口中的图像进行检测，以获取检测窗口中图像的识别度；

根据检测窗口中图像的识别度，确定目标检测窗口，所述目标检测窗口中图像的识别度最高；

将所述目标窗口对应的障碍物类型确定为在所述待识别图像中识别的障碍物类型。

在另一种可能的实施方式中，所述检测窗口包括第二检测窗口，所述第二检测窗口对应第二障碍物类型；所述第三确定模块具体用于：

获取所述第二障碍物类型对应的标准图像；

确定所述第二检测窗口中的图像与所述标准图像的相似度；

将所述相似度确定为所述第二检测窗口中图像的识别度。

在另一种可能的实施方式中，所述斜线包括所述V视差图中障碍物的下边缘所在的直线；或者，

所述斜线包括所述V视差图中障碍物的下边缘所在的直线、和所述V视差图的上边缘线和/或下边缘线中的部分。

第三方面，本发明实施例提供一种障碍物识别终端，包括处理器、存储器、摄像头组件及通信总线，所述通信总线用于实现各元器件之间的连接，所述存储器用于存储程序指令，所述处理器用于读取所述存储器中的程序指令，并根据所述存储器中的程序指令执行第一方面任一项所述的方法。

第四方面，本发明实施例提供一种计算机存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使所述计算机执行上述任一项所述的方法。

本发明实施例提供的障碍物识别方法、装置及终端，当需要对待识别图像进行障碍物识别时，先在待识别图像的V视差图中提取斜线，在斜线上确定第一起始像素，根据第一起始像素的视差和预设障碍物类型对应的窗口参数，在V视差图中确定第一起始像素对应的检测窗口，并根据检测窗口中图像的识别度，确定在待识别图像中识别得到的障碍物类型。

在上述过程中，预设障碍物类型中只有一个预设障碍物类型为障碍物对应的障碍物类型，因此，确定得到的检测窗口中只有一个检测窗口为障碍物所在的窗口(下文简称正确的检测窗口)，其它检测窗口均不是障碍物所在的窗口(下文简称错误的检测窗口)。由于错误的检测窗口对应的预设障碍物类型与该检测窗口中的障碍物的类型不同，因此，错误的检测窗口中的图像识别度通常会低于预设阈值。而正确的检测窗口对应的预设障碍物类型与该检测窗口中的障碍物的类型相同，即使V视差图中的障碍物包络线条出现部分缺失，依然会使得正确的检测窗口中的图像识别度大于预设阈值。

由上可知，即使V视差图中的障碍物包络线条出现部分缺失，正确的检测窗口中图像的识别度也会远远高于错误的检测窗口中图像的识别度，因此，即使在待识别图像的V视差图中障碍物的包络图出现部分缺失时，依然可以准确的在待识别图像中识别出障碍物的类型，进而提高了障碍物识别的准确度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的障碍物识别方法的应用场景示意图；

图2为本发明实施例提供的障碍物识别方法的流程示意图一；

图3A为本发明实施例提供的斜线的示意图一；

图3B为本发明实施例提供的斜线的示意图二；

图3C为本发明实施例提供的斜线的示意图三；

图3D为本发明实施例提供的斜线的示意图四；

图4为本发明实施例提供的确定第一起始像素的过程示意图；

图5为本发明实施例提供的确定第一检测窗口方法的流程示意图；

图6为本发明实施例提供的障碍物识别过程示意图；

图7为本发明实施例提供的障碍物识别装置的结构示意图；

图8为本发明实施例提供的障碍物识别终端的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明实施例提供的障碍物识别方法的应用场景示意图。请参见图1，包括待识别图像的V视差图101和识别模型102。其中，本申请待识别图像中可能包括多个障碍物，相应的，在V视差图101中包括各个障碍物对应的包络图(障碍物的线条图)，V视差图101中的障碍物的包络图中的线条可能部分缺失，例如，图1所示的待识别图像的V视差图101中包括障碍物101-1和障碍物101-2，在障碍物101-1的包络图中，障碍物101-1的部分线条缺失。识别模型102为通过对大量的样本学习得到的，可选的，识别模块102中可以包括多种障碍物类型和每一种障碍物类型对应的窗口参数，例如，窗口参数可以用于指示窗口的长度、宽度等信息。

在本申请中，在识别待识别图像中的一个障碍物时，可以先在待识别图像的V视差图中确定障碍物的一个起始像素，并按照识别模型中障碍物类型对应的窗口参数确定检测窗口，按照检测窗口对应的障碍物类型，对确定的检测窗口中的图像进行识别，以确定检测窗口中的图像的识别度，其中，检测窗口中图像的识别度为：检测窗口中的图像与该检测窗口对应的预设图像之间的相似度，并将识别度最高的检测窗口对应的障碍物类型确定为该障碍物的障碍物类型。

例如，请参见图1，在识别障碍物101-1时，可以根据识别模型确定识别障碍物101-1对应的检测窗口A、检测窗口B和检测窗口C。假设检测窗口A、检测窗口B和检测窗口C对应的障碍物类型分别为行人、小型车和公交车，确定检测窗口A中图像的识别度(检测窗口A中图像与预设行人之间的相似度)为第一识别度，确定检测窗口B中图像的识别度(检测窗口B中图像与预设小型车之间的相似度)为第二识别度，确定检测窗口C中图像的识别度(检测窗口C中图像与预设公交车之间的相似度)为第三识别度。假设第二识别度最高，因此，可以确定障碍物101-1为小型车。

下面，通过具体实施例对本申请所示的技术方案进行详细说明。需要说明的是，下面几个具体实施例可以相互结合，对于相同或相似的内容，在不同的实施例中不再进行重复说明。

图2为本发明实施例提供的障碍物识别方法的流程示意图一。请参见图2，该方法可以包括：

S201、在待识别图像的V视差图中提取斜线。

本发明实施例的执行主体可以为障碍物识别装置。可选的，该障碍物识别装置可以通过软件实现，或者，该障碍物识别装置还可以通过软件和硬件的结合实现。

可选的，待识别图像可以为通过摄像设备拍摄的图像。

可选的，可以先获取待识别图像的视差图，获取视差图对应的V视差图，并在V视差图中提取斜线。需要说明的是，获取待识别图像的视差图的过程、以及获取视差图的V视差图的过程可以参见现有技术，本发明实施例对此不作具体限定。

可选的，视差图中每一个像素的值为该像素的视差。

可选的，V视差图的行数与视差图的行数相同。V视差图的列数与视差图中视差的范围相同。例如，假设视差图中的视差范围为0-5(共6个视差)，则V视差图的列数为6列。

可选的，V视差图中像素(i，j)的像素的值为：视差图中第i行中、视差为j的像素的个数。例如，假设视差图中第2行中视差为3的像素的个数为3个，则V视差图中第2行第3列的像素的值为3。

现有理论证明：局部平坦的地面在V视差图中呈一条倾斜的直线。在本发明实施例中的斜线包括地面所在的直线，例如，可以将该倾斜的直线作为斜线、或者斜线中的一部分。

可选的，当用户对V视差图的截取不同时，障碍物的形状、障碍物在V视差图中的角度、位置等均不相同，本发明实施例中所示的斜线与V视差图中的障碍物的形状、障碍物所处的角度(侧向、正向等)、障碍物在V视差图中的位置等因素相关。例如，斜线可以包括V视差图中障碍物的下边缘所在的直线；或者，斜线可以包括V视差图中障碍物的下边缘所在的直线和V视差图的部分上边缘线；或者，斜线可以包括V视差图中障碍物的下边缘所在的直线和V视差图的部分下边缘线；或者，斜线可以包括V视差图中障碍物的下边缘所在的直线、V视差图的部分上边缘线和V视差图的部分下边缘线。

可选的，可以在V视差图中进行直线拟合，得到一条初始斜线，该初始斜线可以为本发明实施例中的斜线，或者为本发明实施例中的斜线的一部分。判断初始斜线的两端是否可以延伸至V视差图的左右边缘，若是，则可以确定初始斜线即为本发明实施例中的斜线，若否，则可以沿着V视差图的上边缘和/或下边缘，对初始斜线进行延伸，以使初始斜线可以延伸至V视差图的左右边缘。具体的，可以包括如下四种情况。下面，结合图3A-图3D，对斜线进行详细说明。

图3A为本发明实施例提供的斜线的示意图一。图3B为本发明实施例提供的斜线的示意图二。图3C为本发明实施例提供的斜线的示意图三。图3D为本发明实施例提供的斜线的示意图四。其中，在图3A-图3D中，包括V视差图和在V视差图中提取的斜线。

请参见图3A，在V视差图中拟合得到的初始斜线可以延伸至V视差图的左右边缘，因此，可以直接将初始斜线确定为斜线S1。该种情况下，斜线S1包括V视差图中障碍物的下边缘所在的直线。

请参见图3B，在V视差图中拟合得到的初始斜线的左端可以延伸至V视差图的右边缘，但是初始斜线的右端只能延伸至V视差图的M点，无法延伸至V视差图的左边缘。因此，可以沿着V视差图的上边缘对初始斜线向左进行延伸，得到斜线S2。在该种情况下，斜线S2包括V视差图中障碍物的下边缘所在的直线和V视差图的部分上边缘线。

请参见图3C，在V视差图中拟合得到的初始斜线的右端可以延伸至V视差图的左边缘，但是初始斜线的左端只能延伸至V视差图的N点，无法延伸至V视差图的右边缘。因此，可以沿着V视差图的下边缘对初始斜线向右进行延伸，得到斜线S3。在该种情况下，斜线S3包括V视差图中障碍物的下边缘所在的直线和V视差图的部分下边缘线。

请参见图3D，在V视差图中拟合得到的初始斜线的左端只能延伸至V视差图的P点，无法延伸至V视差图的左边缘，初始斜线的右端只能延伸至V视差图的Q点，无法延伸至V视差图的右边缘。因此，可以沿着V视差图的上边缘对初始斜线向左进行延伸、沿着V视差图的下边缘对初始斜线向右延伸，得到斜线S4。在该种情况下，斜线S4包括V视差图中障碍物的下边缘所在的直线、V视差图的部分上边缘线和V视差图的部分下边缘线。

可选的，可以通过霍夫变换、RANSAC、最小二乘法等算法在V视差图中提取斜线，本发明实施例此处不再进行赘述。

S202、在斜线上确定第一起始像素。

其中，第一起始像素对应的像素集合中像素的数值之和大于第一阈值，第一起始像素对应的像素集合包括第一起始像素所在列中位于斜线之上的像素。

可选的，在V视差图中进行障碍物识别的过程中，可以从左向右进行障碍物识别，也可以从右向左进行障碍物识别。

可选的，可以根据障碍物识别的方向(从左向右或者从右向左)，从斜线的一端起，沿着斜线的延伸方向，依次将斜线上的像素确定为第一像素，并获取第一像素对应的像素集合中像素的数值之和，直至在斜线上确定得到的第一像素对应的像素集合中像素的数值之和大于第一阈值时，将第一像素确定为第一起始像素。

可选的，第一像素对应的像素集合中像素的数值之和用于指示，V视差图中第一像素所在列中包含的障碍物中的像素个数。该数值之和越大，说明第一像素所在列中包括的障碍物的像素的个数越多。

可选的，斜线的一端可以为斜线的一个端点，也可以为斜线中一个检测窗口的终点。例如，在开始对V视差图进行障碍物识别时，斜线的一端为斜线的一个端点。当V视差图中包括多个障碍物，且已识别一个障碍物之后，再继续进行障碍物识别时，则斜线的一端为斜线中、最近一次确定的检测窗口的终点。

下面，结合图4，对确定第一起始像素的过程进行详细说明。

图4为本发明实施例提供的确定第一起始像素的过程示意图。请参见图4，在V视差图中包括障碍物401、障碍物402和斜线S。

假设障碍物识别的方向为从右向左。在初始时，从斜线S的最右侧起，先将像素A确定为第一像素，并获取像素A所在列中、位于斜线S之上的像素的数值之和，并判断该数值之和是否大于第一阈值。由图4可知，像素A所在列中不包括障碍物401中的像素，因此，像素A所在列中、位于斜线S之上的像素的数值之和小于第一阈值。

进一步的，将像素B确定为第一像素，且判断像素B不满足作为第一起始像素的条件。进一步的，将像素C确定为第一像素，且判断像素C不满足作为第一起始像素的条件。进一步的，将像素D确定为第一像素，且判断像素D满足作为第一起始像素的条件，则将像素D确定为第一起始像素。

假设在V视差图中识别完障碍物401之后，则需要继续确定新的第一起始像素。具体的：

按照斜线的延伸方向，先将像素E确定为第一像素，并判断像素E不满足作为第一起始像素的条件。进一步的，将像素F确定为第一像素，且判断像素F不满足作为第一起始像素的条件。进一步的，将像素G确定为第一像素，且判断像素G满足作为第一起始像素的条件，则将像素G确定为第一起始像素。

S203、根据第一起始像素的视差和预设障碍物类型对应的窗口参数，在V视差图中确定第一起始像素对应的检测窗口。

可选的，预设障碍物类型的个数可以为1个，也可以为多个，在实际应用过程中，可以根据实际需要设置预设障碍物类型的个数，本发明实施例对此不作具体限定。

在本发明实施例中，一个预设障碍物类型对应一种窗口参数，该预设障碍物类型和对应的窗口参数为预先对大量样本学习得到的。

例如，预设障碍物类型和窗口参数的对应关系可以如表1所示：

表1

预设障碍物类型	窗口参数
		公交车	长：Z1，高：Y1
货车	长：Z2，高：Y2
		小型车	长：Z3，高：Y3
非机动车	长：Z4，高：Y4
		……	……

可选的，当障碍物识别方向为从右向左检测时，则以第一起始像素为检测窗口的右下角，按照每一种预设障碍物类型对应的窗口参数，确定每一种预设障碍物类型对应的检测窗口。

可选的，当障碍物识别方向为从左向右检测时，则以第一起始像素为检测窗口的左下角，按照每一种预设障碍物类型对应的窗口参数，确定每一种预设障碍物类型对应的检测窗口。

其中，确定得到检测窗口的数量通常与预设障碍物类型的个数相同。例如，假设预设有5个预设障碍物类型，则可以确定得到第一起始像素对应的5个检测窗口。

需要说明的是，在图5所示的实施例中对确定检测窗口的方法进行详细说明，此处不再进行说明。

S204、根据检测窗口中图像的识别度，确定在待识别图像中识别得到的障碍物类型。

可选的，在确定得到检测窗口之后，可以对检测窗口进行预处理，以提取检测窗口中的图像。

例如，预处理可以包括：在检测窗口中剔除斜线、在检测窗口中随机增加或删除斜线上的点、对检测窗口进行适当的放大或缩小处理等。当然，在实际应用过程中，预设处理还可以包括其它处理，本发明实施例对此不作具体限定。

可选的，可以根据检测窗口对应的预设障碍物类型，对检测窗口中的图像进行检测，以获取检测窗口中图像的识别度，根据检测窗口中图像的识别度，确定目标检测窗口，目标检测窗口中图像的识别度最高，将目标窗口对应的障碍物类型确定为在待识别图像中识别的障碍物类型。

假设检测窗口包括第二检测窗口，第二检测窗口对应第二障碍物类型，相应的，可以根据如下可行的实现方式获取第二检测窗口中图像的识别度，包括：获取第二障碍物类型对应的标准图像，确定第二检测窗口中的图像与标准图像的相似度，将相似度确定为第二检测窗口中图像的识别度。

可选的，可以提取第二检测窗口中的图像的多个特征，提取标准图像的多个特征，将第二检测窗口中的图像的多个特征与标准图像的多个特征进行匹配，以确定第二检测窗口中的图像与标准图像的相似度。其中，第二检测窗口中的图像的特征与标准图像的特征相匹配的数量越多，则相似度越高。

可选的，特征提取方法可以包括HOG、LBP、DPM等。

例如，假设预设障碍物类型为公交车，根据预设障碍物类型“公交车”对应的窗口参数确定得到的检测窗口为检测窗口1，则在对检测窗口1中的图像进行检测时，可以将检测窗口1中的图像与预设的公交车图像进行比对，以获取检测窗口1中的图像与公交车的相似度，并将检测窗口1中的图像与公交车的相似度确定为检测窗口1中图像的识别度。

可选的，在对检测窗口中的图像进行图像识别时，可以先提取检测窗口中图像的特征，并根据检测窗口中图像的特征进行障碍物识别，例如，特征提取方法可以包括HOG、LBP、DPM等。还可以通过卷积神经网络的方式进行障碍物识别。

需要说明的是，在实际应用过程中，当待识别图像中包括多个障碍物时，通过重复执行图2所示的实施例，可以分别在待识别图像中识别得到每一个障碍物，相应的，识别结果可以包括待检测图像中包括的障碍物类型、以及障碍物类型在待检测图像中的位置。

本发明实施例提供的障碍物识别方法，当需要对待识别图像进行障碍物识别时，先在待识别图像的V视差图中提取斜线，在斜线上确定第一起始像素，根据第一起始像素的视差和预设障碍物类型对应的窗口参数，在V视差图中确定第一起始像素对应的检测窗口，并根据检测窗口中图像的识别度，确定在待识别图像中识别得到的障碍物类型。

在上述过程中，预设障碍物类型中只有一个预设障碍物类型为障碍物对应的障碍物类型，因此，确定得到的检测窗口中只有一个检测窗口为障碍物所在的窗口(下文简称正确的检测窗口)，其它检测窗口均不是障碍物所在的窗口(下文简称错误的检测窗口)。由于错误的检测窗口对应的预设障碍物类型与该检测窗口中的障碍物的类型不同，因此，错误的检测窗口中的图像识别度通常会低于预设阈值。而正确的检测窗口对应的预设障碍物类型与该检测窗口中的障碍物的类型相同，即使V视差图中的障碍物包络线条出现部分缺失，依然会使得正确的检测窗口中的图像识别度大于预设阈值。

由上可知，即使V视差图中的障碍物包络线条出现部分缺失，正确的检测窗口中图像的识别度也会远远高于错误的检测窗口中图像的识别度，因此，即使在待识别图像的V视差图中障碍物的包络图出现部分缺失时，依然可以准确的在待识别图像中识别出障碍物的类型，进而提高了障碍物识别的准确度。

在上述任意一个实施例的基础上，可选的，可以通过如下可行的实现方式根据第一起始像素的视差和预设障碍物类型对应的窗口参数，在V视差图中确定第一起始像素对应的检测窗口(图2所示实施例中的S203)，具体的，请参见图5所示的实施例。

需要说明的是，确定检测窗口中的每一个检测窗口的过程相同，下面，以预设障碍物类型为第一障碍物类型、窗口参数为第一窗口参数、确定得到的检测窗口为第一检测窗口为例进行说明。

图5为本发明实施例提供的确定第一检测窗口方法的流程示意图。请参见图5，该方法可以包括：

S501、获取第一障碍物类型对应的第一窗口参数。

可选的，第一窗口参数可以包括第一障碍物类型对应的障碍物的长度、宽度、高度等。当然，在实际应用过程中，可以根据实际需要设置第一窗口参数中包括的内容，本发明实施例对此不作具体限定。

S502、根据障碍物识别方向、第一起始像素的视差、第一窗口参数和拍摄待识别图像的相机参数，确定第一检测窗口的大小。

可选的，障碍物识别方向包括从左向右和从右向左。

可选的，本发明实施例所示的相机通常为双目相机，相应的，相机参数通常包括双目相机的基线长、焦距等。

可选的，第一检测窗口的大小通常包括第一检测窗口的长度和宽度。

可选的，当障碍物识别方向为从右向左时，则可以通过如下公式一确定第一检测窗口的宽度，其中，第一检测窗口的宽度是指横向长度。

其中，x为第一检测窗口的宽度，d为第一起始像素的视差，Δz为第一窗口参数中的预设宽度，B为双目相机的基线长，f为双目相机的焦距。

可选的，当障碍物识别方向为从左向右时，则可以通过如下公式二确定第一检测窗口的宽度，其中，第一检测窗口的宽度是指横向长度。

其中，x为第一检测窗口的宽度，d为第一起始像素的视差，Δz为第一窗口参数中的预设宽度，B为双目相机的基线长，f为双目相机的焦距。

可选的，可以通过如下公式三确定第一检测窗口的高度，其中，第一检测窗口的高度是指纵向长度。

其中，y为第一检测窗口的高度，d为第一起始像素的视差，Δy为第一窗口参数中的预设高度，B为双目相机的基线长。

需要说明的是，上述只是以示例的形式示意确定第一检测窗口的大小的方式，当然，在实际应用过程中，还可以根据实际需要确定第一检测窗口的大小，本发明实施例对此不作具体限定。

S503、根据第一检测窗口的大小在V视差图中确定第一检测窗口。

可选的，还可以根据预设窗口形状确定第一检测窗口，例如，预设窗口形状可以为矩形、梯形等多边形。当然，在实际应用过程中，可以根据实际需要设置预设窗口形状，本发明实施例对此不作具体限定。

可选的，可以根据障碍物识别方向，确定第一起始像素在第一检测窗口中的位置，根据第一起始像素在第一检测窗口中的位置和第一检测窗口的大小，在V视差图中确定第一检测窗口。

可选的，当障碍物识别方向为从右向左时，则以第一起始像素为第一检测窗口的右下角、按照第一检测窗口的大小，在V视差图中确定第一检测窗口。

可选的，当障碍物识别方向为从左向右时，则以第一起始像素为第一检测窗口的左下角、按照第一检测窗口的大小，在V视差图中确定第一检测窗口。

在图5所示的实施例中，确定得到的第一检测窗口的尺寸与第一障碍物类型对应的障碍物的尺寸相匹配。

下面，结合图6，通过具体示例，对上述方法实施例进行进一步详细说明。

图6为本发明实施例提供的障碍物识别过程示意图。请参见图6，包括场景601至场景603。

请参见场景601，在获取得到待识别图像的V视差图之后，在V视差图中提取斜线S。请参见场景601，斜线S中包括V视差图中障碍物的下边缘所在的直线和视差图的部分下边缘线。

请参见场景602，假设障碍物识别方向为从右向左，则从斜线的最右端起，现将像素A确定为第一像素，并判断像素A不满足作为第一起始像素的条件。进一步将像素B确定为第一像素，并判断像素B不满足作为第一起始像素的条件。进一步将像素C确定为第一像素，并判断像素C不满足作为第一起始像素的条件。进一步将像素D确定为第一像素，并判断像素D满足作为第一起始像素的条件，则将像素D确定为第一起始像素。

请参见场景603，假设预设有4个障碍物类型，分别为行人、非机动车、小型车和公交车。则以像素D所在位置为右下角，根据行人对应的窗口参数确定检测窗口K1。以像素D所在位置为右下角，根据非机动车对应的窗口参数确定检测窗口K2。以像素D所在位置为右下角，根据小型车对应的窗口参数确定检测窗口K3。以像素D所在位置为右下角，根据公交车对应的窗口参数确定检测窗口K4。

将检测窗口K1中的图像与标准行人图像进行比对，获取检测窗口K2与标准行人图像之间的相似度，并将该相似度确定为检测窗口K1中图像的识别度，记为识别度1。将检测窗口K2中的图像与标准非机动车图像进行比对，获取检测窗口K2与标准非机动车图像之间的相似度，并将该相似度确定为检测窗口K2中图像的识别度，记为识别度2。将检测窗口K3中的图像与标准小型车图像进行比对，获取检测窗口K3与标准小型车图像之间的相似度，并将该相似度确定为检测窗口K3中图像的识别度，记为识别度3。将检测窗口K4中的图像与标准公交车图像进行比对，获取检测窗口K4与标准公交车图像之间的相似度，并将该相似度确定为检测窗口K4中图像的识别度，记为识别度4。具体的，进行比对的图像、以及识别度可以如表2所示：

表2

比较识别度1-识别度4，假设确定得到识别度3最大，则确定检测窗口3为目标检测窗口，并将检测窗口3对应的障碍物类型(小型车)确定为待识别图像中识别得到的障碍物类型。

图7为本发明实施例提供的障碍物识别装置的结构示意图。请参见图7，包括提取模块11、第一确定模块12、第二确定模块13和第三确定模块14，其中，

所述提取模块11用于，在待识别图像的V视差图中提取斜线；

所述第一确定模块12用于，在所述斜线上确定第一起始像素，所述第一起始像素对应的像素集合中像素的数值之和大于第一阈值，所述第一起始像素对应的像素集合包括所述第一起始像素所在列中位于所述斜线之上的像素；

所述第二确定模块13用于，根据所述第一起始像素的视差和预设障碍物类型对应的窗口参数，在所述V视差图中确定所述第一起始像素对应的检测窗口；

所述第三确定模块14用于，根据所述检测窗口中图像的识别度，确定在所述待识别图像中识别得到的障碍物类型。

本发明实施例提供的障碍物识别装置可以执行上述方法实施例所示的技术方案，其实现原理以及有益效果类似，此处不再进行赘述。

在一种可能的实施方式中，所述第一确定模块12具体用于：

从所述斜线的一端起，沿着所述斜线的延伸方向，依次将所述斜线上的像素确定为第一像素，并获取所述第一像素对应的像素集合中像素的数值之和，直至在所述斜线上确定得到的第一像素对应的像素集合中像素的数值之和大于所述第一阈值时，将所述第一像素确定为所述第一起始像素；

其中，所述第一像素对应的像素集合包括所述第一像素所在列中位于所述斜线之上的像素。

在另一种可能的实施方式中，所述预设障碍物类型包括第一障碍物类型，所述第一障碍物类型对应第一窗口参数；所述第二确定模块13具体用于：

获取所述第一障碍物类型对应的第一窗口参数；

根据障碍物识别方向、所述第一起始像素的视差、所述第一窗口参数和拍摄所述待识别图像的相机参数，确定所述第一检测窗口的大小；

根据所述第一检测窗口的大小在所述V视差图中确定所述第一检测窗口，所述第一起始像素为所述第一检测窗口的一个角所在的像素。

在另一种可能的实施方式中，所述第二确定模块13具体用于：

根据所述障碍物识别方向，确定所述第一起始像素在所述第一检测窗口中的位置；

根据所述第一起始像素在所述第一检测窗口中的位置和所述第一检测窗口的大小，在所述V视差图中确定所述第一检测窗口。

在另一种可能的实施方式中，所述第三确定模块14具体用于：

根据检测窗口对应的预设障碍物类型，对所述检测窗口中的图像进行检测，以获取检测窗口中图像的识别度；

根据检测窗口中图像的识别度，确定目标检测窗口，所述目标检测窗口中图像的识别度最高；

将所述目标窗口对应的障碍物类型确定为在所述待识别图像中识别的障碍物类型。

在另一种可能的实施方式中，所述检测窗口包括第二检测窗口，所述第二检测窗口对应第二障碍物类型；所述第三确定模块14具体用于：

获取所述第二障碍物类型对应的标准图像；

确定所述第二检测窗口中的图像与所述标准图像的相似度；

将所述相似度确定为所述第二检测窗口中图像的识别度。

在另一种可能的实施方式中，所述斜线包括所述V视差图中障碍物的下边缘所在的直线；或者，

所述斜线包括所述V视差图中障碍物的下边缘所在的直线、和所述V视差图的上边缘线和/或下边缘线中的部分。

本发明实施例提供的障碍物识别装置可以执行上述方法实施例所示的技术方案，其实现原理以及有益效果类似，此处不再进行赘述。

图8为本发明实施例提供的障碍物识别终端的结构示意图。请参见图8，包括处理器21、存储器22、摄像头组件23及通信总线24，所述通信总线24用于实现各元器件之间的连接，其中，

处理器21是该障碍物识别终端的控制中心，利用各种接口和线路连接整个该终端的各个部分，通过运行或执行存储在存储器22内的软件程序和/或模块，以及调用存储在存储器22内的数据，执行障碍物识别终端的各种功能和处理数据，从而对该终端进行整体监控。

存储器22可用于存储软件程序以及模块，处理器21通过运行存储在存储器22的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器22可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序等；存储数据区可存储根据障碍物识别终端的使用所创建的数据(比如采集到的图像、计算得到的视差图像或者处理得到的灰度图像等)等。

所述摄像头组件23用于采集图像，并将所述图像传输至所述存储器21和/或所述处理器22；所述存储器21用于存储程序指令；所述处理器22用于读取所述存储器21中的程序指令，并根据所述存储器21中的程序指令执行上述任一实施例所述的方法。

可选的，摄像头组件的个数可以为1个，也可以为多个。在实际应用过程中，可以根据实际需要设置摄像头组件的个数，本发明实施例对此不作具体限定。

本发明实施例提供一种计算机存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使所述计算机执行上述任意实施例所述的方法。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使所述计算机执行上述任一所述方法。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明实施例的技术方案，而非对其限制；尽管参照前述各实施例对本发明实施例进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例方案的范围。

Claims (10)

1.一种障碍物识别方法，其特征在于，包括：

在待识别图像的V视差图中提取斜线；

在所述斜线上确定第一起始像素，所述第一起始像素对应的像素集合中像素的数值之和大于第一阈值，所述第一起始像素对应的像素集合包括所述第一起始像素所在列中位于所述斜线之上的像素；

根据所述第一起始像素的视差和预设障碍物类型对应的窗口参数，在所述V视差图中确定所述第一起始像素对应的检测窗口；

根据所述检测窗口中图像的识别度，确定在所述待识别图像中识别得到的障碍物类型。

2.根据权利要求1所述的方法，其特征在于，在所述斜线上确定第一起始像素，包括：

从所述斜线的一端起，沿着所述斜线的延伸方向，依次将所述斜线上的像素确定为第一像素，并获取所述第一像素对应的像素集合中像素的数值之和，直至在所述斜线上确定得到的第一像素对应的像素集合中像素的数值之和大于所述第一阈值时，将所述第一像素确定为所述第一起始像素；

其中，所述第一像素对应的像素集合包括所述第一像素所在列中位于所述斜线之上的像素。

3.根据权利要求1或2所述的方法，其特征在于，所述预设障碍物类型包括第一障碍物类型，所述第一障碍物类型对应第一窗口参数；根据所述第一起始像素的视差和所述第一窗口参数，在所述V视差图中确定所述第一起始像素对应的第一检测窗口，包括：

获取所述第一障碍物类型对应的第一窗口参数；

根据障碍物识别方向、所述第一起始像素的视差、所述第一窗口参数和拍摄所述待识别图像的相机参数，确定所述第一检测窗口的大小；

根据所述第一检测窗口的大小在所述V视差图中确定所述第一检测窗口，所述第一起始像素为所述第一检测窗口的一个角所在的像素。

4.根据权利要求3所述的方法，其特征在于，根据所述第一检测窗口的大小在所述V视差图中确定所述第一检测窗口，包括：

根据所述障碍物识别方向，确定所述第一起始像素在所述第一检测窗口中的位置；

根据所述第一起始像素在所述第一检测窗口中的位置和所述第一检测窗口的大小，在所述V视差图中确定所述第一检测窗口。

5.根据权利要求1或2所述的方法，其特征在于，根据检测窗口中图像的识别度，确定在所述待识别图像中识别得到的障碍物类型，包括：

根据检测窗口对应的预设障碍物类型，对所述检测窗口中的图像进行检测，以获取检测窗口中图像的识别度；

根据检测窗口中图像的识别度，确定目标检测窗口，所述目标检测窗口中图像的识别度最高；

将所述目标窗口对应的障碍物类型确定为在所述待识别图像中识别的障碍物类型。

6.根据权利要求5所述的方法，其特征在于，所述检测窗口包括第二检测窗口，所述第二检测窗口对应第二障碍物类型；根据所述第二障碍物类型，对所述第二检测窗口中的图像进行检测，以获取所述第二检测窗口中图像的识别度，包括：

获取所述第二障碍物类型对应的标准图像；

确定所述第二检测窗口中的图像与所述标准图像的相似度；

将所述相似度确定为所述第二检测窗口中图像的识别度。

7.根据权利要求1或2所述的方法，其特征在于，

所述斜线包括所述V视差图中障碍物的下边缘所在的直线；或者，

所述斜线包括所述V视差图中障碍物的下边缘所在的直线、和所述V视差图的上边缘线和/或下边缘线中的部分。

8.一种障碍物识别装置，其特征在于，包括提取模块、第一确定模块、第二确定模块和第三确定模块，其中，

所述提取模块用于，在待识别图像的V视差图中提取斜线；

所述第一确定模块用于，在所述斜线上确定第一起始像素，所述第一起始像素对应的像素集合中像素的数值之和大于第一阈值，所述第一起始像素对应的像素集合包括所述第一起始像素所在列中位于所述斜线之上的像素；

所述第二确定模块用于，根据所述第一起始像素的视差和预设障碍物类型对应的窗口参数，在所述V视差图中确定所述第一起始像素对应的检测窗口；

所述第三确定模块用于，根据所述检测窗口中图像的识别度，确定在所述待识别图像中识别得到的障碍物类型。

9.根据权利要求8所述的装置，其特征在于，所述第一确定模块具体用于：

从所述斜线的一端起，沿着所述斜线的延伸方向，依次将所述斜线上的像素确定为第一像素，并获取所述第一像素对应的像素集合中像素的数值之和，直至在所述斜线上确定得到的第一像素对应的像素集合中像素的数值之和大于所述第一阈值时，将所述第一像素确定为所述第一起始像素；

其中，所述第一像素对应的像素集合包括所述第一像素所在列中位于所述斜线之上的像素。

10.一种障碍物识别终端，其特征在于，包括处理器、存储器、摄像头组件及通信总线，所述通信总线用于实现各元器件之间的连接，所述存储器用于存储程序指令，所述处理器用于读取所述存储器中的程序指令，并根据所述存储器中的程序指令执行权利要求1-7任一项所述的方法。