CN113920163A - 基于传统和深度学习结合的运动目标检测方法 - Google Patents

Abstract

本发明公开了一种基于传统和深度学习结合的运动目标检测方法，包括：步骤一，采用实例分割算法对双目相机采集的道路图像相邻帧进行检测，以将各图像划分为潜在运动目标区域和静止区域；步骤二，分别对各图像中的潜在运动目标区域、静止区域进行特征点提取与匹配；步骤三，基于相机自运动参数确定运动补偿，通过计算重投影误差以对运动状态判断，以基于判断结果完成对图像中运动目标进行标记。本发明公开一种基于传统和深度学习结合的运动目标检测方法，能有效提高算法实时性，同时通过提高自运动参数估计的精度提升检测精度。

Description

基于传统和深度学习结合的运动目标检测方法

技术领域

本发明涉及图像处理技术领域。更具体地说，本发明涉及一种用在智能车行驶道路上的潜在运动目标进行检测情况下使用的基于传统和深度学习结合的运动目标检测方法。

背景技术

当今，智能车已成为世界车辆工程领域研究的热点和汽车工业增长的新动力，很多发达国家都将其纳入到本国重点发展的智能交通领域中。智能车行驶环境复杂，具有高动态性、高随机性等特点。对环境内动态目标的精确检测以及轨迹预测是无人车行为决策、导航规划的基础，是确保智能安全行驶的关键，尤其是多车道行驶变道、从高速辅道汇入高速公路等情形时，场景内目标的运动信息对无人车决策显得尤为重要。

当前，智能车对运动目标的感知主要有基于激光雷达的方法和基于视觉的方法。激光雷达能够获得场景目标距离本车的精确距离信息，但是受角分辨率限制，对远距离小目标的探测能力较弱；除此以外，其高昂的价格也成为限制无人车普及的因素之一。相反，被认为最类人感知的视觉传感器由于成本低廉、体积小，重量轻、信息大、算法复用性好等优势而备受关注，甚至不少无人驾驶巨头公司都将纯视觉感知作为智能车环境感知的主力方向。当前，视觉在智能车上的应用主要集中在车道线、路标、行人、车辆的识别上。对于移动相机的运动目标检测，例如相机固定在移动平台上，由于相机自身的运动，基于静止相机的运动目标检测方法不再适用。因此，基于移动相机的运动目标检测的研究逐渐成为了近年来研究的热点。

目前，基于静止相机的运动目标检测主要采用背景相减、帧差法、光流法等方法实现运动目标检测，也得到了广泛的应用，例如对公共场所的人群监控。然而当相机固定在移动平台上进行运动目标检测，例如：智能车，上述方法不在适用，因为相机自身的运动，使目标自身的运动和背景的运动混合在一起，给运动目标的检测带来了很大的困难。

发明内容

本发明的一个目的是解决至少上述问题和/或缺陷，并提供至少后面将说明的优点。

为了实现根据本发明的这些目的和其它优点，提供了一种基于传统和深度学习结合的运动目标检测方法，包括：

步骤一，采用实例分割算法对双目相机采集的道路图像相邻帧进行检测，以将各图像划分为潜在运动目标区域和静止区域；

步骤二，分别对各图像中的潜在运动目标区域、静止区域进行特征点提取与匹配；

步骤三，基于相机自运动参数确定运动补偿，通过计算重投影误差以对运动状态判断，以基于判断结果完成对图像中运动目标进行标记。

优选的是，在步骤一中，所述双目相机被配置为采用安装在车辆上的双目相机；

在步骤二中，采用实例分割算法SOLOv2，将道路环境数据图像中的背景像素值标记为0，其余每个潜在运动目标的像素值从1，2开始按顺序标记，以将双目相机获取的每幅图像中对应不同潜在运动目标设置为带有不同标签信息的mask图像，以将道路环境数据图像划分为潜在运动目标区域和静止区域。

优选的是，在步骤三中，对于潜在运动目标区域和静止区域的特征点提取方式被配置为包括：

对于静止区域的特征点被配置为采用ORB特征点提取方法以得到，并通过特征点均匀化提取策略获取相机自运动参数；

对于潜在运动目标区域的特征点被配置为采用Shi Tomasi特征点提取方法以获得。

优选的是，在步骤四中，所述运动补偿被配置为包括：

基于静止区域提取和匹配的特征点，在前后帧图像使用PnP方法计算每两帧间的相机自运动参数；

通过相机自运动参数对每两帧中的前一帧图像进行运动补偿，进而使图像等效于相机静止的情况。

优选的是，在步骤四中，所述重投影误差是对当前帧上的特征点投影到前一帧上以获取相邻帧的重投影残差图像。

优选的是，在步骤四中，所述运动状态决断的方法被配置为：

通过潜在运动目标区域上的重投影残差所表示的特征点对应的长度F_L，与特征点运动状态判断阈值T_h进行比较，在F_L＞T_h时将该特征点进行颜色标记，表明其为运动的点；

利用标签遍历每个潜在运动目标，统计落在每个潜在运动目标区域的运动的点的数量，设置一个运动点的数量的阈值Ф，如果某个潜在运动目标区域的运动的点的数量大于这个阈值，则将这个潜在运动目标区域标记为绿色，表示运动目标；

其中，所述T_h的公式被配置为：

T_h＝ρF_avg；

F_avg表示静止区域的重投影残差长度的均值，ρ表示大于1的数值。

本发明至少包括以下有益效果：其一，本发明通过实例分割产生的掩模作为潜在运动目标区域，通过该方法把整幅图像比较准确的分为两部分：静止区域和潜在运动目标区域。进一步通过对两部分分别使用不同的策略对特征点进行提取，既提高了算法的实时性，又提高了自运动参数估计的精度。

其二，本发明在运动目标进行判断时，通过考虑自运动估计误差的阈值方法判断目标的运动状态，考虑了自运动参数估计的误差，提高了准确性，进而使得该方法实用并有效。

本发明的其它优点、目标和特征将部分通过下面的说明体现，部分还将通过对本发明的研究和实践而为本领域的技术人员所理解。

附图说明

图1为本发明基于传统和深度学习结合的运动目标检测方法的流程示意图；

图2为步骤四中运动目标判断的流程示意图；

图3为本发明实施例应用中获取的未处理道路环境图；

图4为本发明步骤四中对潜在运动目标区域中运动的点进行标记的示意图；

图5为本发明步骤四中对运动目标进行标记后的其中一个示意图；

图6为本发明步骤四中对对运动目标进行标记后的另一示意图；

图7为现有技术对运动目标进行标记后的其中一个示意图；

图8为现有技术对对运动目标进行标记后的另一示意图。

具体实施方式

下面结合附图对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。

本发明提供的基于传统和深度学习结合的运动目标检测方法，通过尝试从引入基于深度学习的行人车辆检测算法与传统方法结合的角度去解决传统的目标检测当发生遮挡就检测不到，检测效果不理想的问题。另外引入一种考虑自运动估计误差的阈值方法判断目标的运动状态以解决现有方法对目标运动状态的判断只是利用重投影误差，而忽视了自运动参数估计误差的存在，导致准确率不高的问题。

本发明利用实例分割算法检测道路图像中左图像的车辆、行人实例，将检测出的车辆、行人作为潜在的运动目标。

由于交通环境的潜在运动目标主要是行人和车辆，传统的目标检测当发生遮挡就检测不到，检测效果不理想，而当前基于深度学习的行人、车辆检测已十分成熟，故而本发明引入基于深度学习的行人车辆检测算法，先定位出运动目标在图像中的候选区域，缩小运动目标在整幅图像上的搜索范围，提高运动目标检测速度。考虑目标边界检测的准确性，发明拟采用实例分割算法来获得车辆、行人的边界区域。

接着，检测前后两帧图像四幅图像(这里的前后两帧图像四幅是因为双目相机在使用时，会对同一对像采集左右两种视角下的图像，但因两幅图像只是视角上有轻微的差别，故在分析时可直接选取左图或右图进行分析处理)上的特征点，先解算相机自运动参数，再通过得到的相机自运动参数对每两帧中的前一帧图像进行运动补偿，进而获得重投影残差图像。

具体流程如下：

由于相机的自运动参数估计主要是通过视觉里程计来获得相机的位姿，但是目前视觉里程计都是基于静止场景的假设条件，当动态目标作为主体时，算法会失效。特征点在静止区域存在分布不均匀问题，这会对计算相机自运动参数造成误差，故本发明将前面的潜在运动目标提取和视觉里程计相结合，其步骤包括：首先，将潜在运动目标区域视为运动的，在剩余的静止区域提取特征点，将其用作自运动参数估计；其次，在静止区域使用均匀化特征提取策略提升自运动参数估计的精度。

最后，通过重投影残差图像判断目标的运动状态。根据目标运动估计的不确定性，采用一种考虑自运动参数估计误差的阈值方法判断目标的运动状态。这里的阈值指的是特征点对的平均长度。分别计算出重投影残差图像中静止区域特征点对平均长度和潜在运动目标区域特征点对长度。静止区域的值考虑了自运动参数估计的误差。潜在运动目标区域的特征点对长度的值大于静止区域的平均值的一定倍数，则判定这一特征点为运动，否则判定静止。接着设置一个常数阈值，统计每个潜在运动目标区域运动点的数量，大于阈值，则将这一潜在运动目标区域标记为运动目标，否则标记为静止目标，分别用不同颜色标记。

实施例：

本发明在Clion实验平台上进行实现，主要包括七个步骤，主要涉及利用实例分割进行潜在运动目标提取、对静止区域和潜在运动目标区域分别进行特征点提取与匹配、自运动参数估计、运动补偿、计算重投影残差、使用自适应阈值进行运动状态判断并标记，具体如下：

步骤一、对输入图像进行潜在运动目标提取，其中潜在运动目标包含车辆，行人。具体采用一个成熟的实例分割算法SOLOv2，将背景像素值标记为0，其余每个潜在运动目标的像素值从1，2开始按顺序标记，获取双目相机左图每幅图像对应的针对不同潜在运动目标带有不同标签信息的mask图像，此方法对比传统方法，可以将潜在运动目标较完整的提取出来。

步骤二、利用步骤一中每幅图像获取的潜在运动目标区域和静止区域，两种区域分别使用两种不同方法进行特征点的提取和匹配，以满足对应区域所需要达到的不同目标。静止区域使用ORB特征点提取方法，并使用特征点均匀化策略以获取相对准确的相机自运动参数。而潜在运动目标区域由于需要大量的特征点，避免判断运动状态时特征点过少导致目标丢失，使用Shi Tomasi特征点提取方法以获得较丰富的特征点。右图的静止和潜在运动目标区域不需要再次通过深度学习来输出，而是直接通过左图对应区域特征点的匹配来直接获取右图对应特征点，这点也可以降低时间成本。

步骤三、通过静止区域提取和匹配的特征点利用前后帧图像使用PnP方法计算每两帧间的相机自运动参数。

步骤四、利用步骤三中的相机自运动参数对每两帧中的前一帧图像进行运动补偿。使图像等效于相机静止的情况。

步骤五、利用步骤二中的特征点进行重投影。即使用当前帧的特征点投影到前一帧上。获取重投影残差图像。

步骤六、由于相机自运动参数估计的误差不可能完全消除(若没有这部分误差静止区域重投影的残差应该为零)。先对静止区域的重投影残差的均值进行计算，利用潜在运动目标区域上的重投影残差与静止区域的重投影残差的均值的一定倍数的值作为阈值进行比较，如果潜在运动目标区域上的某个重投影残差大于阈值，则将这个特征点标记为绿色，表示运动的点。利用标签遍历每个潜在运动目标，统计落在每个潜在运动目标区域的运动的点的数量，设置一个运动点的数量的阈值Ф，如果某个潜在运动目标区域的运动的点的数量大于这个阈值，则将这个潜在运动目标区域标记为红色，表示运动目标。否则区域标记为绿色，表示静止的目标。

T_h＝ρF_avg；

当F_L＞T_h，则将此特征点标记为运动的点，其中，F_L表示潜在运动目标区域上的重投影残差所表示的特征点对的长度,F_avg表示静止区域的重投影残差长度的均值，ρ表示大于1的数值，T_h表示判断特征点运动状态的阈值。

为了更好地说明本发明对运动目标检测的准确性，对于同样的道路环境数据，本发明的检测流程及效果如图4-6所示，可知其能最大范围的将复杂道路环境中运动目标进行标记，同时也能对图像中静止的潜在运动目标进行标记，标记的准确度满足使用要求；

而现有的一般的传统方法检测运动目标，因其对图像信息处理过程中不进行实例分割，不采用特定的阈值判断特征点运动状态，故其检测结果如图7、图8，其中框中区域代表检测出来的运动目标，由图可知现有技术存在的缺点：1，因道路环境图像中的干扰因素过多，故现有技术会将路边电线杆或者墙，树叶等误检测为运动目标，出现大量误检测；2，现有技术无法将一些静止的潜在运动目标标记出来。同时现有技术在实际处理中，未对图像进行分区划分，故检测处理效率低下。

以上方案只是一种较佳实例的说明，但并不局限于此。在实施本发明时，可以根据使用者需求进行适当的替换和/或修改。

这里说明的设备数量和处理规模是用来简化本发明的说明的。对本发明的应用、修改和变化对本领域的技术人员来说是显而易见的。

尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用。它完全可以被适用于各种适合本发明的领域。对于熟悉本领域的人员而言，可容易地实现另外的修改。因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的图例。

Claims (6)

1.一种基于传统和深度学习结合的运动目标检测方法，其特征在于，包括：步骤一，采用实例分割算法对双目相机采集的道路图像相邻帧进行检测，以将各图像划分为潜在运动目标区域和静止区域；

步骤二，分别对各图像中的潜在运动目标区域、静止区域进行特征点提取与匹配；

步骤三，基于相机自运动参数确定运动补偿，通过计算重投影误差以对运动状态判断，以基于判断结果完成对图像中运动目标进行标记。

2.如权利要求1所述的基于传统和深度学习结合的运动目标检测方法，其特征在于，在步骤一中，所述双目相机被配置为采用安装在车辆上的双目相机；

在步骤二中，采用实例分割算法SOLOv2，将道路环境数据图像中的背景像素值标记为0，其余每个潜在运动目标的像素值从1，2开始按顺序标记，以将双目相机获取的每幅图像中对应不同潜在运动目标设置为带有不同标签信息的mask图像，以将道路环境数据图像划分为潜在运动目标区域和静止区域。

3.如权利要求1所述的基于传统和深度学习结合的运动目标检测方法，其特征在于，在步骤三中，对于潜在运动目标区域和静止区域的特征点提取方式被配置为包括：

对于静止区域的特征点被配置为采用ORB特征点提取方法以得到，并通过特征点均匀化提取策略获取相机自运动参数；

对于潜在运动目标区域的特征点被配置为采用Shi Tomasi特征点提取方法以获得。

4.如权利要求1所述的基于传统和深度学习结合的运动目标检测方法，其特征在于，在步骤四中，所述运动补偿被配置为包括：

基于静止区域提取和匹配的特征点，在前后帧图像使用PnP方法计算每两帧间的相机自运动参数；

通过相机自运动参数对每两帧中的前一帧图像进行运动补偿，进而使图像等效于相机静止的情况。

5.如权利要求1所述的基于传统和深度学习结合的运动目标检测方法，其特征在于，在步骤四中，所述重投影误差是对当前帧上的特征点投影上的特征点投影到前一帧上以获取相邻帧的重投影残差图像。

6.如权利要求1所述的基于传统和深度学习结合的运动目标检测方法，其特征在于，在步骤四中，所述运动状态决断的方法被配置为：

通过潜在运动目标区域上的重投影残差所表示的特征点对应的长度F_L，与特征点运动状态判断阈值T_h进行比较，在F_L＞T_h时将该特征点进行颜色标记，表明其为运动的点；

利用标签遍历每个潜在运动目标，统计落在每个潜在运动目标区域的运动的点的数量，设置一个运动点的数量的阈值Ф，如果某个潜在运动目标区域的运动的点的数量大于这个阈值，则将这个潜在运动目标区域标记为红色，表示运动目标；否则则将这个潜在运动目标区域标记为绿色，表示静止目标；

其中，所述T_h的公式被配置为：

T_h＝ρF_avg；

F_avg表示静止区域的重投影残差长度的均值，ρ表示大于1的数值。

Images