CN112784671A - 障碍物检测装置及障碍物检测方法 - Google Patents

Abstract

本发明提供一种提高了对障碍物的检测精度的障碍物检测装置。包括:拍摄部，安装在车辆上，拍摄车辆的周围并按时间序列获取多个图像；光流运算部，通过运算从多个图像中提取出的特征点的光流，提取接近车辆的特征点来作为接近特征点，并输出接近特征点的信息；路面检测部，输出在多个图像的各个图像中将车辆的周围划分为能够判断为路面的路面区域和显示有除路面以外的物体的障碍物区域的结果；以及障碍物检测部，基于接近特征点的信息和路面区域的信息来检测车辆的周围的障碍物。

Description

障碍物检测装置及障碍物检测方法

技术领域

本申请涉及一种障碍物检测装置和障碍物检测方法。

背景技术

近年来，使用作为识别物体形状的传感器的车载摄像装置来作为车载监视装置之一的技术的开发正在不断发展。车载摄像装置通过在车辆的周围安装多个车载摄像头来消除死角。车载摄像装置通过专用的识别处理装置对障碍物等拍摄对象进行图像识别，从而能够在避免与障碍物接触的情况下行驶车辆。

用于监视车辆的周围的摄像头作为小型摄像头模块安装在车辆的安装位置。安装位置以设置在车辆前后的栅格护板、车门后视镜等为中心。为了补偿死角，针对每辆车优化摄相机模块的镜头视角和摄相机模块在车辆上的安装角度等的情况较多。

作为使用了该摄相机的障碍物识别的方法，公开了一种光流法，该光流法捕捉作为障碍物而被拍摄的物体的特征点，调查该特征点在作为影像帧的各个图像间如何移动，例如，基于拍摄图像的光流来运算与障碍物的相对位置关系(例如参照专利文献1)。

现有技术文献

专利文献

专利文献1：日本专利特开2011-203766号公报

发明内容

发明所要解决的技术问题

在上述专利文献1中，可以基于光流来运算与障碍物的相对位置关系。然而，存在以下问题：在利用光流的障碍物检测中，即使对于路面上的裂缝、污渍、或等间隔的路面标示和图等也会产生光流，导致误检测，因此，需要提高检测精度。

本申请是为了解决上述问题而完成的，其目的是得到一种障碍物检测装置，该障碍物检测装置在不增加摄相机以外的其他传感器的情况下，提高了对障碍物的检测精度。

用于解决技术问题的技术手段

本申请公开的障碍物检测装置包括:拍摄部，安装在车辆上，拍摄车辆的周围并按时间序列获取多个图像；光流运算部，通过运算从多个图像中提取的特征点的光流，提取接近车辆的特征点作为接近特征点，并输出接近特征点的信息；路面检测部，输出在多个图像的各个图像中将车辆的周围划分为能够判断为路面的路面区域和显示有除路面以外的物体的障碍物区域的结果；以及障碍物检测部，基于接近特征点的信息和路面区域的信息来检测车辆的周围的障碍物。

技术效果

根据本申请所公开的障碍物检测装置，在不增加摄相机以外的其他传感器的情况下，提高了对障碍物的检测精度。

附图说明

图1是示出实施方式1的障碍物检测装置的结构的概要的图。

图2是示出实施方式1的障碍物检测装置的处理的概要的图。

图3是示出实施方式1的障碍物检测装置的拍摄范围的示例的图。

图4是示出实施方式1的由障碍物检测装置拍摄到的图像的示例的图。

图5是示出实施方式1的障碍物检测装置的光流处理的概要的图。

图6是示出实施方式1的障碍物检测装置的路面检测处理的概要的图。

图7是示出实施方式1的障碍物检测装置的路面检测处理的直方图的图案的示例的图。

图8是示出实施方式1的障碍物检测装置的路面检测处理的直方图的另一个图案的示例的图。

图9是示出实施方式1的障碍物检测装置的路面检测处理的直方图的另一个图案的示例的图。

图10是示出实施方式1的障碍物检测装置的障碍物检测处理的概要的图。

图11是示出实施方式1的由障碍物检测装置拍摄到的图像的另一个示例的图。

图12是示出实施方式2的追加到障碍物检测装置的处理的概要的图。

图13是示出实施方式2的由障碍物检测装置拍摄到的图像的示例的图。

图14是示出根据实施方式3的障碍物检测装置的结构的概要的图。

图15是示出根据实施方式4的障碍物检测装置的结构的概要的图。

图16是示出实施方式4的由障碍物检测装置拍摄到的图像的示例的图。

图17是示出实施方式5的由障碍物检测装置拍摄到的图像的示例的图。

图18是示出实施方式5的由障碍物检测装置拍摄到的图像的另一个示例的图。

图19是示出障碍物检测ECU的硬件的一个示例的结构图。

具体实施方式

以下，基于附图说明根据本申请的实施方式的障碍物检测装置以及障碍物检测方法。在每个图中，相同的部件或相应的部件、部位被赋予相同的标号来进行说明。

实施方式1

图1是示出实施方式1的障碍物检测装置100的结构的概要的图，图2是示出障碍物检测装置100的处理的概要的图，图3是示出障碍物检测装置100的拍摄部1即摄像头11的拍摄范围12的示例的图，图4是示出由障碍物检测装置100拍摄到的图像的示例的图。障碍物检测装置100是安装在驾驶员驾驶的车辆(以下称为本车辆10)上，并且检测接近本车辆10的障碍物的装置。例如，如图4所示，障碍物是包括二轮车的另一车辆(以下称为接近车辆22)的移动物体。如图1所示，障碍物检测装置100包括:拍摄部1，用于拍摄本车辆10的周围；帧缓冲器2，用于存储按时间序列拍摄的图像数据；光流运算部3，用于提取接近本车辆10的特征点作为接近特征点并输出接近特征点的信息；路面检测部4，用于提取本车辆10周围的路面区域；障碍物检测部5，用于检测本车辆10周围的障碍物；视频显示部6，用于利用障碍物的检测结果；报警部7；以及控制部8。在这些构成要素中，由帧缓冲器2、光流运算部3、路面检测部4和障碍物检测部5执行的处理在具有图像处理功能的障碍物检测ECU(ElectronicControl Unit：电子控制单元)9中利用程序来执行。由于控制部8不包括在障碍物检测ECU9中，所以控制部8经由车载网络与障碍物检测ECU9相连接。

如图19所示，障碍物检测ECU9的硬件的一个示例包括处理器110和存储装置111。具有由障碍物检测ECU9执行的程序和存储在帧缓冲器2等中的图像数据等的存储装置111例如包括随机存取存储器等易失性存储装置和闪存等非易失性辅助存储装置。也可以包括硬盘的辅助存储装置来代替闪存。处理器110执行从存储装置111输入的程序，障碍物检测ECU9所具备的障碍物检测部5检测本车辆10周围的障碍物。此时，从辅助存储装置经由易失性存储装置向处理器110输入程序。另外，处理器110可以将运算结果等数据输出到存储装置111的易失性存储装置，也可以通过易失性存储装置将数据保存到辅助存储装置。

利用图2来说明由图1所示的障碍物检测装置100的各个部分所执行的检测障碍物的处理的概要。检测处理包括从步骤S1到步骤S4的四个步骤。拍摄部1执行的步骤S1是拍摄本车辆10的周围，并按时间序列获取并输出多个图像的步骤。由光流运算部3执行的步骤S2是如下步骤：通过运算从多个图像中提取出的特征点的光流，从而提取接近本车辆10的特征点作为接近特征点，并输出接近特征点的信息。路面检测部4执行的步骤S3是以下步骤:例如在图4所示的获取到的图像中，在本车辆10周围对设为检测对象路面的报警检测区域14进行划分来作为多个路面检测区域15～17，生成各个路面检测区域的亮度值的直方图，并与作为能够判断为路面的参考数据的直方图进行比较，从多个路面检测区域15～17中提取路面区域，并输出将报警检测区域14划分为路面区域和显示除路面以外的物体的障碍物区域后得到的结果。障碍物检测部5所执行的步骤S4是如下步骤：基于接近特征点的信息和路面区域的信息，通过创建边界框19作为由障碍物坐标包围的障碍物信息区域来检测本车辆10周围的障碍物。由报警部7、视频显示部6和控制部8分别执行以下步骤:当在本车辆10的周围检测到障碍物时，通过声音或振动向驾驶员发出警告的步骤(S5)；通过视频显示给驾驶员来进行通知的步骤(S6)；以及控制本车辆10以避免本车辆10与用边界框19表示的障碍物接触的步骤(S7)。不是全部执行S5、S6和S7中的每一个步骤，而是可以执行任意一个步骤。可以将在本车辆10周围检测到障碍物的时间设定为报警检测区域14的至少一部分被包括在所作成的边界框19中。在下文中，将详细说明障碍物检测装置100的构成和处理。

拍摄部1是设置在本车辆10中，用于拍摄本车辆10的周围并按时间序列获取多个图像的摄像头11。如图3所示，设置在车门后视镜位置的摄像头11的拍摄范围12是本车辆10的左侧后方。当本车辆10是具有右方向盘的车辆时，为了补偿驾驶员的死角而设定该拍摄范围12。摄像头11的安装位置不限于车门后视镜的位置，可以通过将安装位置设置在本车辆10的左侧侧面上的其它位置来拍摄左侧后方。拍摄范围12也不限于本车辆10的左侧后方，并且可以通过拍摄本车辆10的右侧后方或本车辆10的后方等来改变检测障碍物的区域。

使用图4对摄像部1获取的图像进行说明。在图4所示的图像的示例中，用虚线示出检测障碍物的处理所需的区域。图像的视角被设定为本车辆10的侧面10a进入的情况。以本车辆10的侧面10a为基准，确定报警检测区域14和用于运算光流的光流运算区域20。报警检测区域14是预先确定为检测本车辆10周围的障碍物所需的区域。在本实施方式中的报警检测区域14是与从图像中所示的本车辆10的侧面10a向侧面方向1米和从摄像头11向本车辆10的后方30米相对应的区域。图像中的报警检测区域14的延伸末端为消失点13。报警检测区域14包括作为非障碍物21的裂纹21a和白线21b。报警检测区域14不限于此，可以改变，也可以不特别确定。例如，当不特别确定报警检测区域14而将进行障碍物检测的目标区域设置作为图像中所显示的所有区域时，可以将报警检测区域14设为图4中除本车辆10之外的右侧区域，并且可以设为低于消失点13的区域。这是因为图像中路面出现在比消失点13跟下方的区域中。根据从本车辆10向后方的距离将报警检测区域14划分为多个块。从靠近本车辆10的一侧开始设为路面检测区域15、路面检测区域16、路面检测区域17。

由摄像头11拍摄的图像数据被输出到帧缓冲器2。帧缓冲器2存储之前几帧的图像数据。图像数据经由帧缓冲器2分别输出到后级的光流运算部3和路面检测部4。

光流运算部3通过运算从多个图像中提取出的特征点的光流，从而提取接近本车辆10的特征点作为接近特征点，并输出接近特征点的信息。图5是示出实施方式1的障碍物检测装置100的光流处理的概要的图。基于图5详细说明由光流运算部3执行的处理。首先，从图像中获取用于运算光流的光流运算区域20来作为局部图像(步骤S101)。在本实施方式中，光流运算区域20是除本车辆10之外的图像右侧的区域，但只要是检测障碍物的区域，则光流运算区域20可以是图像中的任何区域。接着，对于光流运算区域20检测作为图像上的边缘相交的点的角点，并提取该角点作为特征点(步骤S102)。检测角点的方法有许多，例如Harris的角点检测算法，但是可以使用任何一种方法。

接着，将从最新图像提取出的特征点与从过去图像提取出的特征点进行匹配，并运算光流(步骤S103)。最后，从运算结果中提取接近本车辆10的光流(步骤S104)。在图4中，将上下方向设为Y方向，将向下方向设为正，将左右方向设为X方向，将向右方向设为正。在该定义中，从后面接近本车辆10的障碍物的光流具有Y分量为正的光流。相反地，建筑物和停在道路上的车辆等远离车辆10的结构物的光流具有Y分量为负的光流。因此，在光流的提取中，提取Y分量为正的光流。光流运算部3将提取出的光流所具有的接近特征点的信息输出到障碍物检测部5(步骤S105)。接近特征点的信息是接近特征点的坐标、光流的Y分量长度、X分量长度、方向、移动量的长度等。

路面检测部4在多个图像中的每个图像中，在本车辆10周围对设定为检测对象路面的报警检测区域14进行划分来作为多个路面检测区域15～17，生成各路面检测区域的亮度值的直方图，并与作为能够判断为路面的参考数据的直方图进行比较，从多个路面检测区域15～17中提取路面区域，并输出将报警检测区域14划分为路面区域和显示有路面以外的物体的障碍物区域后得到的结果。图6是示出实施方式1的障碍物检测装置100的路面检测处理的概要的图。基于图6详细说明由路面检测部4执行的处理。首先，从图像中获取报警检测区域14来作为局部图像(步骤S201)。然后，设定路面直方图提取区域(步骤S202)。将设定在本车辆10附近的路面检测区域设为路面直方图提取区域，并且将从路面直方图提取区域获得的直方图用作参考数据。在本实施方式中的路面检测方法中，以本车辆10最近的区域是路面为前提。因此，将根据通过拍摄本车辆10的最近区域而获得的图像所作成的直方图用作为参考数据。在图3所示的报警检测区域14中，将作为最接近本车辆10的区域的路面检测区域15设定为直方图提取区域。另外，直方图提取区域只要是所获得的图像中的本车辆10的最近的区域即可，因此可以根据摄像头的视角、摄像头的设置位置或摄像头的方向来变更设定。

接着，创建报警检测区域14的路面检测区域15～17中的每一个的直方图(步骤S203)。在路面检测区域1517中对每个像素分配亮度值，并且作成横轴是亮度值且纵轴是频率的亮度值的直方图，。亮度值例如用从0(黑)到255(白)的范围来表示。图7是示出路面检测区域15的直方图的图，作为实施方式1的障碍物检测装置100的路面检测处理中所作成的直方图的图案的示例。由于路面区域占据路面检测区域15的大部分，因此灰色亮度较多，并且出现G1的频率峰值。直方图是通过在横轴上表示亮度值的等级，在纵轴上表示其频率来捕捉图像的特征的图，但是由于路面上除了白线之外还具有黄线，并且还具有涂有红或蓝漆的路面，因此可以通过组合R、G和B来创建等级，并且可以通过对每个等级提取频率来捕捉包括颜色在内的路面的特征。

图8是示出路面检测区域16的直方图的图，图9是示出路面检测区域17的直方图的图，来作为通过实施方式1的障碍物检测装置100的路面检测处理中所生成的直方图的图案的示例。在路面检测区域16的直方图中，以与路面检测区域15的G1相同的方式显示出表示作为路面的特征亮度的G2的频率峰值。由于白线21b包括在路面检测区域16中，因此显示出与白线21b的亮度相对应的G3的频率峰值。如图9所示，在路面检测区域17的直方图中，与路面检测区域15的G1和路面检测区域16的G2同样地出现表示作为路面的特征亮度的G5的频率峰值，并且出现与白线21b的亮度相对应的G6的频率峰值。并且，由于路面检测区域17中包括接近本车辆10的接近车辆22，因此出现与接近车辆22相对应的2个频率峰值G4、G7。G4是在接近车辆22和路面之间的边界处成为接近车辆22的轮胎和阴影的亮度的最低频率峰值。G7是颜色通常容易反射光的本车辆10的侧面上的具有较高亮度的频率峰值。

最后，将路面检测区域15的直方图作为参考数据，从报警检测区域14中提取作为路面的区域(步骤S204)。虽然使用直方图提取路面区域的方法很多，但是在这里，将参考数据的直方图与其他区域的直方图进行比较，将与参考数据相似的直方图的区域判定为路面，并提取为路面区域。虽然可以从直方图的形状以及分布的亮度值的范围来判定直方图的相似度，但是判定直方图的相似度的方法并不限于该方法。通过将判定为路面的区域的亮度值设为255，并且将判定为不是路面的区域(以下称为障碍物区域)的亮度值设为0，来作成二值化图像。路面检测部4输出将报警检测区域14划分为路面区域和障碍物区域的结果即二值化图像到障碍物检测部5(步骤S205)。为了用于后述的边界框的四个角的障碍物坐标的校正，路面检测部4将用于作成直方图的报警检测区域14的各像素的亮度值的信息输出到障碍物检测部5。

虽然通过将报警检测区域14划分为三个区域来定义路面检测区域15～17，但是可以对通过进一步划分该路面检测区域而获得的更小的区域来提取路面区域。根据较小区域的亮度值作成直方图，并根据直方图的相似度判定路面，从而提高路面与本车辆之间的距离分辨率。此外，不需要为每个较小的区域作成直方图，而是可以通过使用通常已知的直方图的反投影方法，根据报警检测区域14中的每个像素的亮度值，对每个像素判定路面。可以根据在路面检测中获得的距离分辨率来选择最佳的路面提取方法。

在本实施方式中，通过使用了直方图的示例来说明将报警检测区域14划分为路面区域和障碍物区域的路面检测方法，但是路面检测的方法不限于该方法。只要满足本方法的要求，路面检测的方法可以是任意的。其他的路面检测方法包括利用运动立体的路面检测方法、学习了路面的颜色特征量的路面检测方法、或者利用了深度学习的图像分割的路面检测方法等。

障碍物检测部5基于从光流运算部3输出的接近特征点的信息和从路面检测部4输出的路面区域的信息，作成由障碍物坐标包围的障碍物信息区域即边界框，并检测本车辆10周围的障碍物即接近车辆22。图10是示出实施方式1的障碍物检测装置100的障碍物检测处理的概要的图。基于图10详细说明由路面检测部5执行的处理。首先，从输入的接近特征点的信息中删除路面区域中的接近特征点的信息(步骤S301)。当接近特征点的坐标在路面区域中时，将其特征点的信息判定为由路面上的图案或裂纹这样的非障碍物产生的误差流，并删除该信息。然后，根据未删除而保留的接近特征点的坐标和接近特征点的流动方向收集位于接近的位置并且流动方向一致的接近特征点，并且进行分组化(步骤S302)。对通过分组化而生成的多个接近特征点的组进行分类，以创建包围接近特征点的矩形边界框(步骤S303)。由此，通过使用包括在路面区域以外的区域中的接近特征点的信息来创建边界框。将创建的各边界框的信息输出到图像显示部6、报警部7、控制部8来作为本车辆10周围的障碍物的检测结果(步骤S304)。在图4中，输出所创建的边界框19的信息。边界框的信息是坐标、大小、个数、流的平均长度和流的平均方向。

当在本车辆10的周围检测到障碍物时，报警部7通过声音或振动通知本车辆10的驾驶员。在通过振动进行通知的情况下，例如向EPS(electric power steering：电动助力转向)发送信号，通过在EPS中产生高频振动来使方向盘振动，从而通知驾驶员。为了使方向盘振动，可以将方向盘振动用马达安装在方向盘上，并且通过使马达振动来使方向盘振动。此外，可以分开地使用声音或振动来通知。例如，当报警检测区域14的至少一部分包括在边界框中时，可以先通过声音进行通知，并且当接近车辆22接近到可能与本车辆10接触时，可以通过振动进行通知。

当在本车辆10的周围检测到障碍物时，图像显示部6通过图像来显示边界框的位置，并将其通知给本车辆10的驾驶员。控制部8控制本车辆10，以避免本车辆10与用边界框表示的障碍物即接近车辆22相接触。本车辆10可以不包括所有的视频显示部6、报警部7和控制部8，可以包括其中任意的一个或两个。

当接近特征点的坐标存在于路面区域中时，通过删除该接近特征点的信息，来删除与图3所示的裂纹21a和白线21b有关的接近特征点。被删除的接近特征点不限于这些示例，与路面区域中的水坑和绘制在路面上的斑马图案相关的接近特征点也被删除。图11是示出实施方式1的由障碍物检测装置100拍摄到的图像的另一个示例的图。在报警检测区域14的端部，有规则且重复地形成路肩的路牙21c。虽然与路牙21c有关的特征点有时也包括在接近特征点的信息中，但是即使对于规则地形成的路牙21c等非障碍物，当接近特征点的坐标存在于路面检测区域中时，也删除接近特征点的信息。

在以上情况下，虽然对所输入的图像并行地执行光流的运算和路面的提取，但是可以通过首先提取路面区域并基于输出结果来对障碍物区域执行光流的运算，从而减少由于路面区域的图案等引起的误差流。另外，边界框是在删除路面区域中包含的接近特征点之后作成的，但并不限于此，也可以不删除接近特征点而创建边界框，然后，删除仅包含在路面区域中的边界框来去除误差流。另外，通过创建边界框来检测障碍物，但是障碍物的检测不限于创建边界框，也可以是利用点组或者二值化图像等的障碍物的检测。

如上所述，由于该障碍物检测装置100基于从光流运算部3输出的接近特征点的信息和从路面检测部4输出的路面区域的信息来检测本车辆10周围的障碍物即接近车辆22，因此能提高对于障碍物即接近车辆22的检测精度，而无需追加设置摄像头以外的传感器。由于基于包括在路面区域以外的区域中的接近特征点的信息来创建边界框，因此能删除包括在路面区域中的接近特征点的信息，并且能提高障碍物的检测精度。此外，由于设置有当在本车辆10的周围检测到障碍物时，通过声音或振动通知本车辆10的驾驶员的报警部7，因此能在适当的定时向驾驶员通知接近车辆22的存在。此外，由于设置有当在本车辆10的周围检测到障碍物时，通过视频向本车辆10的驾驶员显示并通知边界框的位置的视频显示部6，因此能在适当的定时向驾驶员通知接近车辆22的位置。由于提高了对于接近车辆22的检测精度，因此减少了错误报警。此外，由于设置有控制部8，该控制部8控制本车辆10，使得当在本车辆10的周围检测到障碍物时，能避免本车辆10与用边界框表示的障碍物的接触，因此能在适当的定时避免与障碍物的接触，而不需要驾驶员的操作。

实施方式2

对实施方式2的障碍物检测设备100进行说明。图12是示出追加到障碍物检测装置100的处理的概要的图。与实施方式2相关的障碍物检测装置100的处理除了实施方式1的处理之外，还包括校正检测到的障碍物的坐标的处理。

障碍物检测部5基于从路面检测部4输出的路面区域和障碍物区域来校正检测到的障碍物的坐标。具体地，例如利用从路面检测部4输出的路面检测区域的一部分的亮度值的信息，来校正在步骤S303中创建的边界框的四个角的障碍物坐标(步骤S401)。在图4所示的图像的例子中，在图10所示的步骤S303中，创建边界框19。在图6所示的步骤S203中，将亮度值分配给每个路面检测区域的每个像素，并且创建每个路面检测区域的直方图。根据包括具有接近车辆22的特征的频率峰值的路面检测区域17的直方图和不具有接近车辆22的频率峰值的路面检测区域16的直方图之间的比较，可知接近车辆22的轮胎和阴影的亮度最低的频率峰值G4仅存在于路面检测区域17中。在生成直方图时，根据分配给路面检测区域的每个像素的亮度值，能识别出在报警检测区域14的路面检测区域17和路面检测区域16之间的边界附近存在除路面以外的任何障碍物，即获得G4的区域。基于该信息，能判断出推测为在边界框18的障碍物坐标上存在边界框19的障碍物坐标这一点与通过路面检测处理获得的直方图一致。将接近车辆22的边界框19的四个角的障碍物坐标校正为边界框18的四个角的障碍物坐标，并将校正后的边界框18的信息作为障碍物检测部5的处理结果输出(步骤S402)。由此，能够提高本车辆10与接近车辆22之间的距离的精度。校正不限于使用了亮度值的信息的方法，并且当使用不利用直方图的路面检测方法时，可以根据所使用的方法进行校正。

图13是示出实施方式2的由障碍物检测装置100拍摄到的图像的示例的图。图13中的接近车辆是二轮车22a。在光流运算部3的处理中，特别是在二轮车22a的情况下，难以提取轮胎的角点。因此，在图13所示的图像的例子中，在图10所示的步骤S303中，创建边界框24。在图6所示的步骤S203中，生成路面检测区域15至17的直方图。根据包括具有二轮车22a的特征的频率峰值的路面检测区域16的直方图和不具有二轮车22a的频率峰值的路面检测区域15的直方图之间的比较，可知仅在路面检测区域16中存在作为二轮车22a的轮胎和阴影的亮度的最低频率峰值。当作成直方图时，根据分配给路面检测区域的每个像素的亮度值，能识别出在报警检测区域14的路面检测区域16和路面检测区域15之间的边界附近存在路面以外的任何障碍物。基于该信息，能判断出推测为在边界框23的四个角的障碍物坐标上存在边界框24的四个角的障碍物坐标这一点与通过路面检测处理获得的直方图一致。将二轮车22a的边界框24的四个角的障碍物坐标校正为边界框23的四个角的障碍物坐标，并将校正后的边界框23的信息作为障碍物检测部5的处理结果输出。由于边界框23的下端的坐标用于推定与本车辆10的距离，因此通过将二轮车22a的位置校正到在报警检测区域14中靠近1米以上，从而能将障碍物的准确位置通知给驾驶员。

如上所述，在该障碍物检测装置100中，障碍物检测部5利用从路面检测部4输出的路面检测区域的一部分的亮度值的信息，校正由光流运算部3作成的边界框的四个角的障碍物坐标，因而能提高本车辆10与接近车辆22之间的距离的精度。

实施方式3

对实施方式3的障碍物检测装置100进行说明。图14是示出障碍物检测装置100的结构的概要的图。实施方式3的障碍物检测装置100除了实施方式1的结构之外，还包括车辆信息获取部25。

车辆信息获取部25取得本车辆10的行驶信息。行驶信息是本车辆10的车速、横摆率、GPS等信息。车辆信息获取部25例如通过本车辆10的车载网络获取行驶信息。所获取的行驶信息被分别输出到光流运算部3、路面检测部4和障碍物检测部5。光流运算部3通过使用行驶信息，通过从多个图像中提取到的特征点的光流运算，提取接近特征点。通过在障碍物的检测处理中使用行驶信息，防止障碍物的误检测或未检测出，并且能提高障碍物检测的精度。以下，对利用了行驶信息的具体例子进行说明。

当车辆转弯时的光流与车辆直线行驶时的光流不同。当车辆转弯时，可以从建筑物等的结构物检测出像接近的障碍物那样的屏幕中向下方向的光流。因此，通过使用横摆率作为行驶信息来判定本车辆10的转弯，并且在运算光流时，通过根据横摆率的值去除与车辆的转弯相对应的方向上的光流，能减少误检测，并且改善了障碍物的检测精度。

如上所述，该障碍物检测装置100包括用于获取本车辆10的行驶信息的车辆信息获取部25，并且由于光流运算部3通过使用行驶信息，根据从多个图像中提取出的特征点的光流运算来提取接近特征点的信息，因此能提高障碍物的检测精度。

实施方式4

对实施方式4的障碍物检测装置100进行说明。图15是示出障碍物检测装置100的结构的概要的图。实施方式4的障碍物检测装置100除了实施方式3的结构之外，还包括路面边界线跟踪部26。

路面边界线跟踪部26设置在路面检测部4和障碍物检测部5之间，并基于路面检测部4输出的二值化图像，在连续的多个图像中记录位于报警检测区域14中的路面区域和障碍物区域之间的路面边界线。路面边界线跟踪部26将多个图像的路面边界线与路面检测部4输出的二值化图像一起输出到障碍物检测部5。

障碍物检测单元5在多个图像中的连续的两个图像之间进行在两个图像中分别创建的边界框的关联，以执行进行障碍物关联的处理。在该处理中，当已经在两个图像之间进行关联的边界框无法在最新图像中进行关联时，将由路面边界线跟踪部26记录的连续的两个图像的路面边界线的位置进行比较。当两个图像之间的路面边界线的位置没有变化时，在最新图像中，在与最新图像的前一个图像的边界框的位置相同的位置处创建边界框，并且判定为存在障碍物。以下，对利用了路面边界线的具体例子进行说明。

图16是示出实施方式4的由障碍物检测装置100拍摄到的图像的示例的图。图16中的接近车辆是与本车辆10平行行驶的二轮车22b。当二轮车22b平行行驶时，由于本车10和二轮车22b之间没有产生相对速度，所以无法运算光流，并且障碍物检测部5无法使用光流检测障碍物。当按时间序列捕获障碍物时，由于在接近本车辆10时产生相对速度，因此能在过去图像中从光流中检测到障碍物。通过预先记录了在过去的图像中检测到的路面边界线，能跟踪边界框的出现或直到边界框消失为止的流动。

因为从报警检测区域14的路面检测区域15、17不受二轮车22b的影响，因此作成具有路面特征的图7的直方图。从路面检测区域16生成具有二轮车22b的特征的与图9相似的直方图。认为当本车辆10和二轮车22b平行行驶时，如果本车辆10和二轮车22b的位置不改变，则直方图的图案的特征不会有较大的改变。即使在无法通过光流检测到障碍物的状态下，也能通过将连续的多个图像的路面边界线与最新图像的路面边界线进行比较来推定二轮车22b的存在和位置。

能推定障碍物存在是在已经创建了边界框并且识别出障碍物的情况时。即使当边界框突然消失时，如果由路面边界线跟踪部26记录的过去的路面边界线和当前的路面边界线没有变化，则判定为障碍物相对于先前的图像以相对速度0的方式存在，并且在与先前的图像中创建的边界框相同的位置处创建边界框，并且输出边界框的信息。由此，能继续检测处于平行行驶状态的障碍物，因而减少对障碍物的未检测。

如上所述，该障碍物检测装置100包括路面边界线跟踪部26，在多个图像的路面边界线的位置和最新图像的路面边界线的位置没有变化的情况下，判定为在与最新图像的前一个图像相同的位置上存在边界框，在最新图像中，在与前一个图像相同的位置上创建边界框，判定为存在障碍物，因此即使在接近车辆处于平行行驶状态且无法通过光流检测到障碍物的状态下，也能够继续检测障碍物，能够减少障碍物的未检测。

虽然说明了两个图像之间的路面边界线的位置没有变化的情况，但是当存在变化时，执行以下处理。当路面边界线的位置与前一个图像相比后退时，判断为障碍物后退，并且在最新图像的路面边界线的位置处创建边界框。当路面边界线消失时，判定为障碍物已脱离报警检测区域，丢弃边界框的信息。当路面边界线的位置比前一个图像前进时，根据前一个图像中的障碍物的移动速度来推定最新图像中的障碍物的位置。当路面边界线相对于推定位置位于图像的上侧、在实际坐标上本车辆的后侧时，虽然没有检测到光流，但判断为车辆稍微前进，并且在路面边界线上创建边界框。当路面边界线相对于推定位置位于前方时，判定其他车辆相对于车辆前方后退，并且在路面边界线上创建边界框。

实施方式5

对实施方式5的障碍物检测装置100进行说明。实施方式5的障碍物检测装置100的处理除了实施方式4的处理之外，还增加了未创建边界框从而无法检测障碍物的情况下的处理。

当光流运算部3无法提取接近特征点并且在障碍物检测部5未创建边界框从而无法检测到障碍物时，障碍物检测部5将连续的多个图像的路面边界线的位置与本车辆10之间的距离进行比较，并且当距离缩小时，检测路面边界线的坐标作为障碍物的坐标。以下，对该处理的具体例子进行说明。

图17是示出由实施方式5的障碍物检测装置100拍摄到的图像的示例的图，图18是示出图像的另一示例的图。图17和图18中的接近车辆是从图像的消失点附近接近本车辆10的二轮车22c。对于从消失点附近笔直地接近摄像头的障碍物，光流运算部3无法提取接近特征点，障碍物检测部5无法通过创建边界框来检测障碍物。这是因为该障碍物笔直地接近摄像头，所以无法运算光流。当没有创建边界框从而无法检测到障碍物时，通过使用路面边界线来检测障碍物。

在消失点附近，预先提高报警检测区域14的亮度灰度的分辨率，并且进一步将图像中的报警检测区域14划分得较窄。当二轮车22c包括在路面检测区域17中时，轮胎接地附近的亮度变得低于路面的亮度，并且生成类似于图9的直方图。在图17至图18中，该直方图从路面检测区域17移动到路面检测区域16。路面边界线的位置也随之移动。由此，当路面边界线的位置与本车辆10之间的距离缩短时，推定在路面边界线的坐标的位置处存在障碍物，并且将路面边界线的坐标设为障碍物的坐标。通过识别接近该路面边界线的状态，即使在光流运算部3难以创建边界框的情况下，也能推定并检测接近本车辆10的车辆。

如上所述，因为即使在无法提取接近特征点并且无法创建边界框从而无法检测出障碍物的情况下，当多个图像的路面边界线的位置与本车辆10之间的距离减小时，也将路面边界线的坐标检测为障碍物的坐标，因此该障碍物检测装置100能够检测出障碍物。

虽然本申请记载了各种示例性实施方式和实施方式，但是在一个或多个实施方式中记载的各种特征、方式和功能不限于应用于特定实施方式，而是能单独地或以各种组合地应用于实施方式。

因此，在本申请说明书所公开的技术范围内设想了有无数未举例示出的变形例。例如，假设包括对至少一个构成要素进行变形、添加或省略的情况，以及提取至少一个构成要素并与其他实施方式的构成要素组合的情况。

标号说明

1 拍摄部

2 帧缓冲器

3 光流运算部

4 路面检测部

5 障碍物检测部

6 视频显示部

7 报警部

8 控制部

9 障碍物检测ECU

10 本车辆

10a 侧面

11 摄像头

12 拍摄范围

13 消失点

14 报警检测区域

15 路面检测区域

16 路面检测区域

17 路面检测区域

18 边界框

19 边界框

20 光流运算区域

21 非障碍物

21a 裂纹

21b 白线

21c 路牙

22 接近车辆

22a 二轮车

22b 二轮车

22c 二轮车

23 边界框

24 边界框

25 车辆信息获取部

26 路面边界线跟踪部

100 障碍物检测装置

110 处理器

111 存储装置。

Claims (11)

1.一种障碍物检测装置，其特征在于，包括：

拍摄部，该拍摄部安装在车辆上，拍摄所述车辆的周围，并按时间序列获取多个图像；

光流运算部，该光流运算部通过运算从所述多个图像中提取出的特征点的光流，提取接近所述车辆的特征点作为接近特征点，并输出所述接近特征点的信息；

路面检测部，该路面检测部输出在所述多个图像中的每一个图像中将所述车辆的周围划分为能够判断为路面的路面区域和显示有除所述路面以外的物体的障碍物区域后得到的结果；以及

障碍物检测部，该障碍物检测部基于所述接近特征点的信息和所述路面区域的信息来检测所述车辆的周围的障碍物。

2.如权利要求1所述的障碍物检测装置，其特征在于，

所述障碍物检测部通过使用包括在所述路面区域以外的区域中的所述接近特征点的信息来检测所述障碍物。

3.如权利要求1或2所述的障碍物检测装置，其特征在于，

所述障碍物检测部基于从所述路面检测部输出的所述路面区域和所述障碍物区域来校正被检测出的所述障碍物的坐标。

4.如权利要求1至3中任一项所述的障碍物检测装置，其特征在于，

包括获取所述车辆的行驶信息的车辆信息获取部，

所述光流运算部使用所述行驶信息并通过从所述多个图像提取出的特征点的光流运算，来提取所述接近特征点。

5.如权利要求1至4中任一项所述的障碍物检测装置，其特征在于，

包括路面边界线跟踪部，该路面边界线跟踪部用于在连续的多个图像中记录所述路面区域和所述障碍物区域之间的路面边界线，

所述障碍物检测部执行在所述多个图像中的连续的两个图像之间，将在所述两个图像中分别检测出的所述障碍物进行关联的处理，并且当在所述处理中在所述两个图像中进行关联后的所述障碍物无法在最新图像中进行关联时，

比较由所述路面边界线跟踪部所记录的连续的所述两个图像的所述路面边界线的位置，

当所述两个图像的所述路面边界线的位置没有变化时，判定为在所述最新图像中所述障碍物存在于与所述最新图像的前一个图像的所述障碍物的位置相同的位置。

6.如权利要求5所述的障碍物检测装置，其特征在于，

当在所述光流运算部中无法提取所述接近特征点并且在所述障碍物检测部无法检测出所述障碍物时，

所述障碍物检测部将连续的所述多个图像的所述路面边界线的位置与所述车辆之间的距离进行比较，并且当所述距离缩小时，检测所述路面边界线的坐标作为所述障碍物的坐标。

7.如权利要求1至6中任一项所述的障碍物检测装置，其特征在于，

包括报警部，该报警部当在所述车辆的周围检测到所述障碍物时，通过声音通知所述车辆的驾驶员。

8.如权利要求1至6中任一项所述的障碍物检测装置，其特征在于，

包括报警部，该报警部当在所述车辆的周围检测到所述障碍物时，通过使方向盘振动来通知所述车辆的驾驶员。

9.如权利要求1至8中任一项所述的障碍物检测装置，其特征在于，

包括视频显示部，该视频显示部当在所述车辆的周围检测到所述障碍物时，通过视频将所述障碍物区域的位置显示并通知给所述车辆的驾驶员。

10.如权利要求1至9中任一项所述的障碍物检测装置，其特征在于，包括：

包括控制部，该控制部当在所述车辆的周围检测到所述障碍物时，控制所述车辆以避免所述车辆与用所述障碍物区域显示的障碍物相接触。

11.一种障碍物检测方法，其特征在于，

该障碍物检测方法检测接近车辆的障碍物，包括：

拍摄所述车辆的周围，并按时间序列获取并输出多个图像的步骤；

通过运算从所述多个图像中提取出的特征点的光流，提取接近所述车辆的特征点作为接近特征点，并输出所述接近特征点的信息的步骤；

输出在多个所述图像中的每一个图像中，将所述车辆的周围划分为能够判断为路面的路面区域和显示有除所述路面以外的物体的障碍物区域后得到的结果的步骤；以及

基于所述接近特征点的信息和所述路面区域的信息来检测所述车辆的周围的所述障碍物的步骤。

Images