CN106203381B - 一种行车中障碍物检测方法与装置 - Google Patents

Abstract

本发明公开了一种行车中障碍物检测方法及装置，具体包括：获取当前视频帧；基于所述当前视频帧对障碍物进行关键点检测；根据所述关键点所属的区域对其进行划分，并从每个划分后的子区域的关键点中选取观测点；跟踪所述观测点并选取每个子区域响应最好的观测点；根据每个子区域响应最好的观测点获取每个子区域的质心；根据当前帧与上一帧中每个子区域质心相互之间的距离计算障碍物碰撞时间TTC。本发明实现了在单目摄像头情况下，不需要获得车速信息即可准确、实时计算障碍物碰撞时间。

Description

一种行车中障碍物检测方法与装置

技术领域

本发明涉及智能行车技术领域，尤其涉及一种行车中障碍物检测方法与装置。

背景技术

随着科学技术的不断发展，在机动车的驾驶方面已经开始发展智能导航和驾驶技术。如何检测前向障碍物是智能导航和驾驶的一个很重要的技术分支。现有技术中，有两种方案，一种方案是采用激光雷达、毫米波雷达等测距传感器，这种方案的优点是能够直接获得障碍物与驾驶车辆之间的精确的直接距离，算法实现简单，测量精度高，但是设备造价昂贵，且安装复杂，而且会改变车辆外观。另一种方案是基于视觉的测距方案，其中的视觉分为单目方案和双目方案。基于视觉的单目FCWS(forward collision warning system)的优点是其只需一个普通的摄像头，因而其价格低廉，安装简单，且不改变车辆外观等，但其缺点是，为了得到较精确的相对距离或者TTC(time to contact)需要对算法的要求比较高，比如现有的算法有Mobileye的FCW，该算法需要对障碍物或者行人进行较精确的空间定位，同时需要车速信息。基于双目的视觉方案的优点是算法比较直观，即通过计算读入的两个摄像头的两路视频输入之间的视差来计算障碍物和车辆的距离，同时通过前后两帧的距离变化计算TTC，但其缺点是计算视察算法复杂，不能达到实时计算，而且需要专门的计算设备。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种行车中障碍物检测方法和装置。

一方面，本发明提出一种行车中障碍物检测方法，该方法包括：

获取当前视频帧；

基于所述当前视频帧对障碍物进行关键点检测；

根据所述关键点所属的区域对其进行划分，并从每个划分后的子区域的关键点中选取观测点；

跟踪所述观测点并选取每个子区域响应最好的观测点；

根据每个子区域响应最好的观测点获取每个子区域的质心；

根据当前帧与上一帧中每个子区域质心相互之间的距离计算障碍物碰撞时间TTC。

可选的，所述关键点包括FAST，ORB和/或Harris特征点。

可选的，根据所述关键点所属的区域对其进行划分，并从每个子区域的关键点中选取观测点，具体包括：

把所述关键点按照其所属的区域分为9个子区域；

判断每个子区域内的关键点数量是否大于9，如果大于9，则选取其中的9 个关键点作为观测点，否则将子区域内的所有关键点均作为观测点。

可选的，跟踪所述观测点并选取每个子区域响应最好的观测点，具体包括：

判断是否是第一视频帧；

如果是，则返回获取视频帧；

否则去掉每个子区域中跟踪响应值小于预定阈值的观测点，并选择响应最好的最多三个点，以用来获取每个子区域的质心。

可选的，选取所去掉的每个子区域中跟踪响应值小于预定阈值的观测点邻域的跟踪响应大于预定阈值的点，以用来获取每个子区域的质心。

可选的，在不是第一视频帧的情况下，根据所去掉的每个子区域中跟踪响应值小于预定阈值的观测点、，对下一帧每个子区域中新的观测点进行去重处理。

可选的，根据当前帧与上一帧中每个子区域质心相互之间的距离计算障碍物碰撞时间TTC，具体包括：

计算每个子区域质心相互之间的距离d(t+1)；

计算当前帧与前一帧的距离之比，s＝d(t+1)/d(t)；

利用TTC＝delta(t)/s-1，得到障碍物的碰撞时间。

可选的，根据当前帧图像和预定数量或者预定时间的在前图像帧计算的 TTC计算最终TTC。

可选的，判断TTC或者最终TTC是否小于预定时间，如果是，则报警。

另一方面，本发明提供一种行车中障碍物检测装置，该装置包括：

摄像头，用于获取视频帧；

检测模块，用于基于所述视频帧对障碍物进行关键点检测，根据所述关键点所属的区域对其进行划分，并从每个划分后的子区域的关键点中选取观测点；

跟踪模块，用于跟踪所述观测点并选取每个子区域响应最好的观测点；

TTC计算单元，用于根据每个子区域响应最好的观测点获取每个子区域的质心，根据当前帧与上一帧中每个子区域质心相互之间的距离计算障碍物碰撞时间TTC。

可选的，所述检测模块具体包括：

关键点检测单元，用于基于所述视频帧对障碍物进行关键点检测，

子区域划分单元，用于把所述关键点按照其所属的区域分为9个子区域；

观测点选取单元，用于判断每个子区域内的关键点数量是否大于9，如果大于9，则选取其中的9个关键点作为观测点，否则将子区域内的所有关键点均作为观测点。

可选的，所述跟踪模块具体包括判断单元和观测点处理单元，其中

判断单元，用于判断是否是第一视频帧；如果是，则直接指示所述摄像头获取视频帧，否则指示观测点处理单元，去掉每个子区域中跟踪响应值小于预定阈值的观测点，并选择响应最好的最多三个点。

可选的，所述观测点处理单元还用于选取所去掉的每个子区域中跟踪响应值小于预定阈值的观测点邻域的跟踪响应大于预定阈值的点，以用来获取每个子区域的质心。

可选的，所述观测点选取单元在不是第一视频帧的情况下，根据所去掉的每个子区域中跟踪响应值小于预定阈值的观测点，对下一帧每个子区域中新的观测点进行去重处理。

可选的，TTC计算单元，具体用于：

计算每个子区域质心相互之间的距离d(t+1)；

计算当前帧与前一帧的距离之比，s＝d(t+1)/d(t)；

利用TTC＝delta(t)/s-1，得到障碍物的碰撞时间。

可选的，该装置还包括最终TTC计算单元，用于根据当前帧图像和预定数量或者预定时间的在前图像帧计算的TTC计算最终TTC。

可选的，障碍物碰撞报警单元，用于判断TTC或者最终TTC是否小于预定时间，如果是，则报警。

另一方面，本发明一种自动巡航***、驾驶辅助***、行车记录仪，包括所述的行车中障碍物检测装置。

本申请实施例中提供的技术方案，至少具有如下技术效果或优点：

本方案提出基于纯视觉的FCW算法，本方案与现有的方案相比有两大优点：

1、本发明在单目摄像头的配置下，不需要获得车速信息，这也就说明不连接车网络获取车速信息，降低安装成本；

2、本发明在计算TTC时，相比较现有方案更加准确，更加鲁棒，同时降低了对车身轮廓边缘线的检测精度要求。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了根据本发明提出的行车中检测障碍物的方法的流程图；

图2示出了视频帧中的障碍物的位置框形图；

图3示出了视频帧中的处于行进车道的障碍物的位置框形图；

图4示出了前后两帧视频帧中处于行进车道的障碍物的框形变化图；

图5示出了前后两帧视频帧中处于行进车道的障碍物的关键点图；图6示出了根据本发明提出的一种具体实施形式的形成中检测障碍物的方法的流程图；

图7示出了根据本发明提出的行车中检测障碍物的装置的结构框图；

图8示出了行车中检测障碍物的装置中的检测模块的结构框图；

图9示出了行车中检测障碍物的装置中的跟踪模块的结构框图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

本发明提出一种行车中障碍物检测方法，如图1所示，该方法包括：

S1.获取视频帧；

S2.基于当前视频帧对障碍物进行关键点检测；

S3.根据所述关键点所属的区域对其进行划分，并从每个划分后的子区域的关键点中选取观测点；

S4.跟踪所述观测点并选取每个子区域响应最好的观测点；

S5.根据每个子区域响应最好的观测点获取每个子区域的质心；

S6.根据当前帧与上一帧中每个子区域质心相互之间的距离计算障碍物碰撞时间TTC。

在上述步骤S1中，利用单目摄像头获取视频图像，相比于双目摄像头，不需要后续的专门的视差图像处理模块，且单目摄像头造价低，有力于节约成本

在步骤S2中，在所获取的视频图像中，检测图像中的障碍物，如果存在障碍物，输出图像中障碍物的位置框图，如图2所示，并进一步判断障碍物是否处于车辆的行进车道，在障碍物处于车辆的行进车道时，才需要对图像中的障碍物进行关键点检测。摄像头不管设置在车体外侧，还是设置在车体内(优选是后视镜)，在没有障碍物的情况下，摄像头摄取到的图像是固定的，因此将没有障碍物的情况下拍摄的图像作为初始图像。将车辆在行进过程中，摄像头拍摄到的图像帧与初始图像进行比对，能够检测出前方的障碍物，并能够输出障碍物的位置框图。在没有检测到障碍物的情况下，可继续返回获取视频帧。车辆在前进过程中，在初始图像中车道线的位置是规定的，因此可根据车道线的位置判断出所检测到的障碍物是否位于车辆的行进车道，如图3所示，判断出处于车辆的行进车道的障碍物。如果不位于行进车道，那么障碍物不会对车辆的行进造成障碍，可不予理会，从而返回继续获取图像帧。

实际上，直接根据所检测到的障碍物(比如汽车)在图像中的框形，计算前后帧图像中障碍物的框形尺度的变化，如图4所示，根据尺度的变化即可估算TTC(time tocontact)，但由于框形不准确反映障碍物的外形，有可能导致估算的TTC有误差，在此基础上，我们引入图像上的分散分布的特征点，根据特征点求取TTC.

在进行关键点检测时，可利用FAST算法、ORB(oriented FAST and RotatedBRIEF)、Harris算法选取特征点。FAST特征点、ORB(oriented FAST and Rotated BRIEF)特征点、HARRIS特征点都是一种局部不变特征。ORB是建立在改进的FAST检测算子和改进的rBRIEF描述子之上，而FAST算法和BRIEF算法的运算速度都非常快，因此ORB在运算速度上拥有绝对优势。Harris算法提取的特征点对灰度变化与几何变换的可重复性强，所以特征点检测的效率高，具有缩放不变性。在检测特征点时，在图像上，比较某一点S与它邻域像素点灰度值，如果圆上存在N个连续的像素点，这些像素点的灰度值减去S点的灰度值的绝对值大于预定阈值，那么S为所需要的特征点。对图4所示的前后两帧图像中的处于行进车道的障碍物的特征点选取如5所示。

在步骤S3中，根据所述关键点所属的区域对其进行划分，并从每个划分后的子区域的关键点中选取观测点。为了避免关键点都集中的图像的局部区域，导致TTC时间估算有误差，本申请提出分散分布观测点的技术手段。作为一种具体实施方式，可以将检测到的关键点按照其输出的区域分为9个子区域，为了控制计算量，且又能使得结果尽量精确，优选地，在每一个子区域最多选取9个关键点作为观测点。如果一个子区域内的关键点不足9个，那么可将实际数量的关键点均作为观测点。当然，在具体实施时，不局限于将检测到的关键点按照其输出的区域分为9个子区域，也可分为8个子区域，10、12个子区域等，在每个子区域内选取的观测点数量也不局限于9个，比如8、10、12均可以，选取的数量一方面考虑后面计算TTC 的精度，一方面考虑计算的速度。

在步骤S4中，跟踪所述观测点并选取每个子区域跟踪响应最好的观测点。作为一种具体实施方式，利用KLT跟踪算法跟踪所述观测点，KLT跟踪算法是现有技术中一种广泛用于跟踪的算法。在利用跟踪算法跟踪所述观测点时，首先判断图像帧是否为第一帧，如果是第一帧，则返回获取下一帧视频图像，因为第一帧图像没有前一帧图像可用来确定跟踪的响应。如果不是第一帧，则选取每个子区域跟踪响应最好的点，这其中包括：去掉跟踪响应小于预定阈值的点。作为一种实施方式，为了使的最终保留的观测点尽量分散分布，以准确获取障碍物的外轮廓，选取所去掉的每个子区域中跟踪响应值小于预定阈值的观测点邻域的跟踪响应大于预定阈值的点，以用来获取每个子区域的质心。

在输入下一帧图像并选取下一帧的观测点时，可充分利用上一帧的处理结果，即在不是第一视频帧的情况下，根据所去掉的每个子区域中跟踪响应值小于预定阈值的观测点，对下一帧每个子区域中新的观测点进行去重处理。

提取或者选取的特征点既不具备尺寸不变性，又不具备旋转不变性，一些算法比如ORB算法使用灰度质心法，通过计算特征点的矩赋予特征点方向，赋予特征点旋转不变性，导致计算量大，处理不适时。而本申请通过利用选取鲁棒性强的或者说前后帧跟踪响应大的特征点来获取各子区域的质心，计算量小，处理速度很快，适时性强

在步骤S5中，根据每个子区域跟踪响应最好的观测点获取每个子区域的质心，作为一种优选实施方式，在划分的跟踪障碍物的9个区域中每个区域选择响应response最好的最多3个点，再根据所选取的响应最好的每个观测点的响应加权平均计算每个子区域的质心，这些质心基本上即可较为准确的反映障碍物的外形轮廓。

在步骤S6中，根据当前帧与上一帧中每个子区域质心相互之间的距离计算障碍物碰撞时间TTC。作为一种优选的实施方式，将每个质心相互连接，计算连接后的各个质心相互之间的距离，记为d(t)，对于下一帧图像，记为d(t+1)，计算d(t+1)与d(t)的比值，作为S，根据该比值S即可计算出TTC＝delta(t)/(s-1)。

在步骤S6后会指示摄像头输入下一帧图像，并重复执行所述步骤S1-S6，由此对于行进车道上检测到障碍物的图像帧，都会计算一个TTC，而后不停迭代。当然，由于输入每一帧图像，几乎都会计算一个TTC，TTC是非线性的，难免会存在某一帧图像的TTC有误差，为了使得计算的TTC更为精确，可利用预定时间内或者预定数量图像帧的历史TTC加权平均来计算当前帧的TTC，离当前帧图像越远的图像对其影响越小，因而越是靠前计算出的TTC加权系数越低，当前帧计算出的TTC加权系数最大，可为1.

作为另一种具体实施方式，在步骤S4中，在去掉跟踪响应小于预定阈值的点，可用下一帧的鲁棒性强的点来替换已去掉的点，即利用当前帧与下一帧图像之间所跟踪的高的跟踪响应性的观测点来替换所述跟踪响应小于预定阈值的点，每帧视频图像如此重复进行，从而保证所观测的点一直具有较高的鲁棒性。

由于提取的FAST特征点、ORB特征点、HARRIS特征点既不具备尺寸不变性，且不具备旋转不变形，现有技术中一些算法使用灰度质心法，通过计算特征点的矩设定特征点方向，赋予特征点旋转不变性；假设特征点位置坐标和质心存在偏移，以特征点位置为起点，质心为终点确定一个向量与它的方向，这个方向设定为特征点方向，再进一步根据所述向量进行配准。而本发明通过利用特征点的鲁棒性直接加权平均求取子区域的质心，从而或者障碍物外轮廓，继而计算求得到外轮廓长度，充分利用障碍物距离车辆越远，外轮廓越小，障碍物距离车辆越近，外轮廓越大的自然现象，根据前后外轮廓长度的比值来计算障碍物碰撞时间，计算的精度高，而且运算极快，实时性强。

作为一种优选的实施方式，如图6所示，行车中障碍物检测方法执行下列过程：

S11.通过单目摄像头读入视频帧Ft；

S12.基于所述视频帧Ft，检测图像中的障碍物，并输出障碍物的位置框图；

S13.基于所述障碍物的位置框图判断是否真的存在障碍物；如果不存在障碍物，则返回执行步骤S11，如果存在障碍物则执行步骤S14；

S14.判断是否有障碍物处于车辆的行进车道，如果没有，则返回步骤S11，如果有则执行步骤S15；

S15.对图像中处于车辆行进车道的障碍物进行关键点检测，并把检测的关键点按照其输出的区域分为9个子区域，其中每一个子区域最多取9个关键点作为观测点；

所述关键点包括FAST，ORB,和/或Harris特征点，如果子区域不足9个关键点就取实际数量的点，可以对每个区域的点进行平均求出其质心。

S16.对抽取的观测点采用KLT跟踪算法进行跟踪；

S17.判断所输入的视频帧Ft是否是第一帧，如果是，则反馈步骤S11，否则执行步骤S18；

S18.去掉跟踪response小于阈值的观测点，并去重更新Ft+1帧新检测到的点；

S19.在划分的跟踪目标的9个区域中每个区域选择跟踪response最好的最多三个点，对这三个点按照其response进行加权求出其三个点的质心；而后计算9个质心的相互距离d(t)；并计算前后两帧之间的距离之比即： d(t+1)/d(t)＝S，而后根据公式：Tm＝delta(t)/(s-1)，其中Tm即为所求的TTC；

S20.判断TTC是否小于预定阈值，如果是执行步骤S21.报警，否则返回步骤S11。

本发明利用一种单目摄像头解决了FCW的TTC计算问题，降低了FCW ***运行资源，并提高了FCW的TTC的准确度和鲁棒性，降低了FCW的误报率。

另一方面，本发明提供一种行车中障碍物检测装置，如图7所示，该装置包括：

摄像头100，用于获取视频帧，该摄像头为单目摄像头；

检测模块200，用于基于所述视频帧对障碍物进行关键点检测，根据所述关键点所属的区域对其进行划分，并从每个划分后的子区域的关键点中选取观测点；

跟踪模块300，用于跟踪所述观测点并选取每个子区域响应最好的观测点；

TTC计算单元400，用于根据每个子区域响应最好的观测点获取每个子区域的质心，根据当前帧与上一帧中每个子区域质心相互之间的距离计算障碍物碰撞时间TTC。

如图8所示，所述检测模块200具体包括：

关键点检测单元201，用于基于所述视频帧对障碍物进行关键点检测，

子区域划分单元202，用于把所述关键点按照其所属的区域分为9个子区域；

观测点选取单元203，用于判断每个子区域内的关键点数量是否大于9，如果大于9，则选取其中的9个关键点作为观测点，否则将子区域内的所有关键点均作为观测点。

如图9所示，所述跟踪模块300具体包括判断单元301和观测点处理单元 302，其中

判断单元301，用于判断是否是第一视频帧；如果是，则直接指示所述摄像头获取视频帧，否则指示观测点处理单元302，去掉每个子区域中跟踪响应值小于预定阈值的观测点，并选择响应最好的最多三个点。

为了使得用来计算质心的观测点尽可能的分散分布，进而最终使得障碍物外形轮廓尽可能准确，所述观测点处理单元302还用于选取所去掉的每个子区域中跟踪响应值小于预定阈值的观测点邻域的跟踪响应大于预定阈值的点，以用来获取每个子区域的质心。

为了充分利用上一帧的处理结果，并尽可能提供观测点的鲁棒性，所述观测点选取单元在不是第一视频帧的情况下，根据所去掉的每个子区域中跟踪响应值小于预定阈值的观测点，对下一帧每个子区域中新的观测点进行去重处理。

所述TTC计算单元，具体用于：

计算每个子区域质心相互连接的距离d(t+1)；

计算当前帧与前一帧的距离之比，s＝d(t+1)/d(t)；

利用TTC＝delta(t)/s-1，得到障碍物的碰撞时间。

作为一种优选实施方式，该装置还包括最终TTC计算单元，用于根据当前帧图像和预定数量或者预定时间的在前图像帧计算的TTC计算最终TTC。

该障碍物检测装置还包括障碍物碰撞报警单元，用于判断TTC和最终TTC 是否小于预定时间，两者只要有一个小于预定时间，报警。

另一方面，本发明还提供一种自动巡航***，包括前面所述的行车中障碍物检测装置，用于在计算到TTC低于预定时间时控制行驶车辆进行减速、制动，本发明还提供一种驾驶辅助***或者行车记录仪，用于在计算到TTC低于预定时间时进行报警提示，本发明还提供一种智能后视镜，包括前面所述的行车中障碍物检测装置，用于在计算到TTC低于预定时间时进行报警提示。

本发明所提出的障碍物检测装置可安装在车身外，因为本发明利用的是单目摄像头，并不影响车身外观，且安装方便，也可安装这车身内，如果安装在车身内，优选安装在后视镜位置处。

本申请实施例中提供的技术方案，至少具有如下技术效果或优点：

本方案提出基于纯视觉的FCW算法，本方案与现有的方案相比有两大优点：1、本发明不需要获得车速信息，这也就说明不连接车网络获取车速信息，降低安装成本；本发明在计算TTC时，相比较现有方案更加准确，更加鲁棒，同时降低了对车身轮廓边缘线的检测精度要求。

由于本实施例所介绍的电子设备为实施本申请实施例中做标记的方法所采用的装置，故而基于本申请实施例中所介绍的做标记的方法，本领域所属技术人员能够了解本实施例的电子设备的具体实施方式以及其各种变化形式，所以在此对于该电子设备如何实现本申请实施例中的做标记的方法不再详细介绍。只要本领域所属技术人员实施本申请实施例中做标记的方法所采用的装置，都属于本申请所欲保护的范围。

在此提供的算法和显示不与任何特定计算机、虚拟***或者其它设备固有相关。各种通用***也可以与基于在此的示教一起使用。根据上面的描述，构造这类***所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的网关、代理服务器、***中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

本发明提供A1、一种行车中障碍物检测方法，其特征在于，该方法包括：

获取当前视频帧；

基于所述当前视频帧对障碍物进行关键点检测；

根据所述关键点所属的区域对其进行划分，并从每个划分后的子区域的关键点中选取观测点；

跟踪所述观测点并选取每个子区域响应最好的预定数量的观测点；

根据每个子区域响应最好的观测点获取每个子区域的质心；

根据当前帧与上一帧中每个子区域质心相互之间的距离计算障碍物碰撞时间TTC。

A2、根据A1所述的方法，其特征还在于，所述关键点包括FAST，ORB和 /或Harris特征点。

A3、根据A1或A2所述的方法，其特征还在于，根据所述关键点所属的区域对其进行划分，并从每个子区域的关键点中选取观测点，具体包括：

把所述关键点按照其所属的区域分为9个子区域；

判断每个子区域内的关键点数量是否大于9，如果大于9，则选取其中的9 个关键点作为观测点，否则将子区域内的所有关键点均作为观测点。

A4、根据A1至A3任一项所述的方法，其特征还在于，跟踪所述观测点并选取每个子区域响应最好的观测点，具体包括：

判断是否是第一视频帧；

如果是，则返回获取视频帧；

否则去掉每个子区域中跟踪响应值小于预定阈值的观测点，并选择响应最好的最多三个点，以用来获取每个子区域的质心。

A5、根据A4所述的方法，其特征还在于，选取所去掉的每个子区域中跟踪响应值小于预定阈值的观测点邻域的跟踪响应大于预定阈值的点，以用来获取每个子区域的质心。

A6、根据A4或A5所述的方法，其特征还在于，在不是第一视频帧的情况下，根据所去掉的每个子区域中跟踪响应值小于预定阈值的观测点、，对下一帧每个子区域中新的观测点进行去重处理。

A7、根据A1至A6任一项所述的方法，其特征还在于，根据当前帧与上一帧中每个子区域质心相互之间的距离计算障碍物碰撞时间TTC，具体包括：

计算每个子区域质心相互之间的距离d(t+1)；

计算当前帧与前一帧的距离之比，s＝d(t+1)/d(t)；

利用TTC＝delta(t)/s-1，得到障碍物的碰撞时间。

A8、根据A1至A7任一项所述的方法，其特征还在于，根据当前帧图像和预定数量或者预定时间的在前图像帧计算的TTC计算最终TTC。

A9、根据A7或者A8所述的方法，其特征还在于，判断当前帧的TTC或者最终TTC是否小于预定时间，如果是，则报警。

B10、一种行车中障碍物检测装置，其特征在于，该装置包括：

摄像头，用于获取视频帧；

检测模块，用于基于所述视频帧对障碍物进行关键点检测，根据所述关键点所属的区域对其进行划分，并从每个划分后的子区域的关键点中选取观测点；

跟踪模块，用于跟踪所述观测点并选取每个子区域响应最好的预定数量的观测点；

TTC计算单元，用于根据每个子区域响应最好的观测点获取每个子区域的质心，根据当前帧与上一帧中每个子区域质心相互之间的距离计算障碍物碰撞时间TTC。

B11、根据B10所述的检测装置，其特征还在于，所述关键点包括FAST，ORB 和/或Harris特征点。

B12、根据B10或B11所述的方法，其特征还在于，所述检测模块具体包括：

关键点检测单元，用于基于所述视频帧对障碍物进行关键点检测，

子区域划分单元，用于把所述关键点按照其所属的区域分为9个子区域；

观测点选取单元，用于判断每个子区域内的关键点数量是否大于9，如果大于9，则选取其中的9个关键点作为观测点，否则将子区域内的所有关键点均作为观测点。

B13、根据B10至B12任一项所述的装置，其特征还在于，所述跟踪模块具体包括判断单元和观测点处理单元，其中

判断单元，用于判断是否是第一视频帧；如果是，则直接指示所述摄像头获取视频帧，否则指示观测点处理单元，去掉每个子区域中跟踪响应值小于预定阈值的观测点，并选择响应最好的最多三个点。

B14、根据B13所述的方法，其特征还在于，所述观测点处理单元还用于选取所去掉的每个子区域中跟踪响应值小于预定阈值的观测点邻域的跟踪响应大于预定阈值的点，以用来获取每个子区域的质心。

B15、根据B13或B14所述的方法，其特征还在于，所述观测点选取单元在不是第一视频帧的情况下，根据所去掉的每个子区域中跟踪响应值小于预定阈值的观测点，对下一帧每个子区域中新的观测点进行去重处理。

B16、根据B10至B15任一项所述的装置，其特征还在于，TTC计算单元，具体用于：

计算每个子区域质心相互之间的距离d(t+1)；

计算当前帧与前一帧的距离之比，s＝d(t+1)/d(t)；

利用TTC＝delta(t)/s-1，得到障碍物的碰撞时间。

B17、根据B16所述的方法，其特征还在于，该装置还包括最终TTC计算单元，用于根据当前帧图像和预定数量或者预定时间的在前图像帧计算的TTC 计算最终TTC。

B18、根据B16或B17所述的装置，其特征还在于，障碍物碰撞报警单元，用于判断TTC是否小于预定时间，如果是，则报警。

C19、一种自动巡航***，包括权利要求B10-B17任一项所述的行车中障碍物检测装置。

D20、一种驾驶辅助***，包括B10-17任一项所述的行车中障碍物检测装置。

E21、一种行车记录仪，包括B10-17任一项所述的行车中障碍物检测装置。

Claims (17)

1.一种行车中障碍物检测方法，其特征在于，该方法包括：

获取当前视频帧；

基于所述当前视频帧对障碍物进行关键点检测；

根据所述关键点所属的区域对其进行划分，并从划分后的每个子区域的关键点中选取观测点；

跟踪所述观测点并选取每个子区域所去掉的每个子区域中跟踪响应值小于预定阈值的观测点邻域的跟踪响应大于预定阈值的观测点；

根据每个子区域所去掉的每个子区域中跟踪响应值小于预定阈值的观测点邻域的跟踪响应大于预定阈值的观测点获取每个子区域的质心；

根据当前帧与上一帧中每个子区域质心相互之间的距离计算障碍物碰撞时间TTC。

2.根据权利要求1所述的方法，其特征还在于，所述关键点包括FAST、ORB、Harris特征点中的至少一种。

3.根据权利要求1所述的方法，其特征还在于，根据所述关键点所属的区域对其进行划分，并从每个子区域的关键点中选取观测点，具体包括：

把所述关键点所属的区域分为9个子区域；

判断每个子区域内的关键点数量是否大于9，如果大于9，则选取其中的9个关键点作为观测点，否则将子区域内的所有关键点均作为观测点。

4.根据权利要求1至3任一项所述的方法，其特征还在于，跟踪所述观测点并选取每个子区域所去掉的每个子区域中跟踪响应值小于预定阈值的观测点邻域的跟踪响应大于预定阈值的观测点，具体包括：

判断是否是第一视频帧；

如果是，则返回获取视频帧；

否则去掉每个子区域中跟踪响应值小于预定阈值的观测点，并选择响应大于预定阈值的最多三个点，以用来获取每个子区域的质心。

5.根据权利要求1至3任一项所述的方法，其特征还在于，根据当前帧与上一帧中每个子区域质心相互之间的距离计算障碍物碰撞时间TTC，具体包括：

计算当前帧每个子区域质心相互之间的距离d(t+1)；

计算当前帧与前一帧的距离之比，s＝d(t+1)/d(t)；

利用TTC＝delta(t)/s-1，得到障碍物的碰撞时间。

6.根据权利要求1至3任一项所述的方法，其特征还在于，根据当前帧图像和预定数量的在前图像帧计算的TTC计算最终TTC或者根据当前帧图像和预定时间内的在前图像帧计算的TTC计算最终TTC。

7.根据权利要求6所述的方法，其特征还在于，判断当前帧的TTC或者最终TTC是否小于预定时间，如果是，则报警。

8.一种行车中障碍物检测装置，其特征在于，该装置包括：

摄像头，用于获取视频帧；

检测模块，用于基于所述视频帧对障碍物进行关键点检测，根据所述关键点所属的区域对其进行划分，并从划分后的每个子区域的关键点中选取观测点；

跟踪模块，用于跟踪所述观测点并选取每个子区域所去掉的每个子区域中跟踪响应值小于预定阈值的观测点邻域的跟踪响应大于预定阈值的观测点；

TTC计算单元，用于根据每个子区域所去掉的每个子区域中跟踪响应值小于预定阈值的观测点邻域的跟踪响应大于预定阈值的观测点获取每个子区域的质心，根据当前帧与上一帧中每个子区域质心相互之间的距离计算障碍物碰撞时间TTC。

9.根据权利要求8所述的装置，其特征还在于，所述关键点包括FAST、ORB、Harris特征点中的至少一种。

10.根据权利要求8所述的装置，其特征还在于，所述检测模块具体包括：

关键点检测单元，用于基于所述视频帧对障碍物进行关键点检测，

子区域划分单元，用于把所述关键点所属的区域分为9个子区域；

观测点选取单元，用于判断每个子区域内的关键点数量是否大于9，如果大于9，则选取其中的9个关键点作为观测点，否则将子区域内的所有关键点均作为观测点。

11.根据权利要求8至10任一项所述的装置，其特征还在于，所述跟踪模块具体包括判断单元和观测点处理单元，其中

判断单元，用于判断是否是第一视频帧；如果是，则直接指示所述摄像头获取视频帧，否则指示观测点处理单元，去掉每个子区域中跟踪响应值小于预定阈值的观测点，并选择响应大于预定阈值的最多三个点。

12.根据权利要求8至10任一项所述的装置，其特征还在于，TTC计算单元，具体用于：

计算当前帧每个子区域质心相互之间的距离d(t+1)；

计算当前帧与前一帧的距离之比，s＝d(t+1)/d(t)；

利用TTC＝delta(t)/s-1，得到障碍物的碰撞时间。

13.根据权利要求8至10任一项所述的装置，其特征还在于，该装置还包括最终TTC计算单元，用于根据当前帧图像和预定数量的在前图像帧计算的TTC计算最终TTC或者根据当前帧图像和预定时间内的在前图像帧计算的TTC计算最终TTC。

14.根据权利要求13所述的装置，其特征还在于，障碍物碰撞报警单元，用于判断当前帧的TTC或者最终TTC是否小于预定时间，如果是，则报警。

15.一种自动巡航***，包括权利要求8-14任一项所述的行车中障碍物检测装置。

16.一种驾驶辅助***，包括权利要求8-14任一项所述的行车中障碍物检测装置。

17.一种行车记录仪，包括权利要求8-14任一项所述的行车中障碍物检测装置。