CN114074657B - 基于视觉的避免碰撞的***和方法 - Google Patents

Abstract

本公开涉及基于视觉的避免碰撞的***和方法，该***包括：相机，用于拍摄车辆前方区域；路径生成装置，在相机拍摄到的车辆的前方区域的视野中，设置车辆通过避开障碍物而能够行驶的可行驶区域，以及在可行驶区域内生成一条或多条行驶路径；以及运动控制器，从行驶路径中选择一个最优路径以执行车辆的纵向控制或横向控制，使得车辆沿着最优路径行驶。

Description

基于视觉的避免碰撞的***和方法

相关申请的交叉引用

本申请要求于2020年8月18日在韩国知识产权局提交的韩国专利申请第10-2020-0103413号的优先权权益，其全部内容通过引用并入本文。

技术领域

本公开涉及基于视觉的避免碰撞的***和方法，且更具体地，涉及使用语义分割(其是一种深度学习视觉识别技术)的基于视觉的避免碰撞的***和方法，以将车辆前方区域的行驶视野中的障碍物、可行驶区域和不可行驶区域彼此分开，并对其坐标进行变换，生成最优避让路径。

背景技术

一般来说，已经基于汽车市场中的距离传感器和视觉传感器来开发现有的用于防止行人碰撞的高级驾驶辅助***(ADAS)技术。

距离传感器通常包括有源传感器，例如雷达、激光雷达等。距离传感器使用这种有源传感器识别了避让目标，并通过路径规划算法生成了局部路径。

然而，用于避免碰撞的传感器的原始数据通常非常嘈杂，并且即使通过后处理、传感器融合等，也难以从传感器的原始数据确定车辆的可行驶区域。

另外，雷达传感器可以相对准确地获取相对于识别目标的相对距离和相对速度的信息，但可能无法提供信息来详细了解行人的当前状态以来避免碰撞，从而难以识别行人。

激光雷达传感器通过构建周边环境的三维信息，可以准确地了解周边环境。然而，激光雷达传感器必须安装在车辆的外部以保证精度，需要大的数据容量，并且单价相对较高，以至于激光雷达传感器从量产的角度来看是持怀疑态度的。

另一方面，相机传感器提供足够的信息来分析行人。具体地，单目相机价格低廉，所以从商品化的观点来看，负担小。凭借这些优势，正在积极开展对使用相机传感器的计算机视觉技术的研究。

发明内容

本公开旨在解决现有技术中存在的上述问题，同时保持现有技术所取得的优点。

本公开的一个方面提供了一种基于视觉的避免碰撞的***和方法，其使用作为深度学习视觉识别技术的语义分割将车辆前方区域的行驶视野中的障碍物、可行驶区域和不可行驶区域彼此分开，并对其坐标进行变换，生成最优避让路径，从而降低生产成本，因为通过视觉装置确定了最优避让路径，所以应用于现有避免碰撞***的有源传感器没有被使用，可以从根本上防止由于雷达传感器的特性而感知到的错误(例如假阳性(FP)伪目标，尽管它实际上并不存在)从而为避免碰撞提供稳定性。

本发明构思要解决的技术问题不限于上述问题，且本公开所属领域的技术人员从以下描述中将清楚地理解本文中未提及的任何其他技术问题。

根据本公开的一个方面，一种基于视觉的避免碰撞的***包括：相机，用于拍摄车辆前方区域；路径生成装置，其在相机拍摄到的车辆的前方区域的视野中，设置车辆通过避开障碍物而可以行驶的可行驶区域；以及在可行驶区域内生成一条或多条行驶路径；以及运动控制器，其从一个或多个行驶路径中选择一个最优路径以执行车辆的纵向控制或横向控制，使得车辆沿着最优路径行驶。

在一个实施例中，路径生成装置可将车辆的前方区域的视野转换为俯视视野，且在俯视视野中，通过将以预设间距彼此隔开并且与障碍物的最外线隔开的的点在远离最外线的方向上进行连接来形成限制线。

在一个实施例中，路径生成装置可以将在远离最外线的方向上限定在限制线内部的区域限定为可行驶区域。

在一个实施例中，路径生成装置可以在俯视视野中，在将右上角和左下角彼此连接的第一对角线与将左上角和右下角彼此连接的第二对角线的交点处，形成消失点；通过将从消失点到底部的垂直维度划分为预设数量的相等维度来形成多条水平分割线；形成多条水平分割线、第一对角线与第二对角线的交点；在水平分割线与第一对角线的交点和水平分割线与第二对角线的交点之间的每条水平分割线上形成多个候选点；以及通过选择形成在每条水平分割线上的多个候选点之一来生成最优路径。

在一个实施例中，路径生成装置可以通过在每条水平分割线上形成的候选点中选择位于可行驶区域中的候选点之一来生成最优路径。

在一个实施例中，最优路径可以满足Clothoid约束条件。

在一个实施例中，运动控制器可以执行车辆的纵向控制或横向控制，使得车辆沿着形成在每条水平分割线上的最优路径行驶。

根据本公开的另一方面，一种基于视觉的避免碰撞的方法包括由路径生成装置接收相机拍摄的车辆前方区域的视野的拍摄操作；由路径生成装置在车辆的前方区域的视野中，设置车辆通过避开障碍物而可以行驶的可行驶区域，在可行驶区域内生成一条或多条行驶路径，并从一个或多个行驶路径选择一个最优路径的选择操作；以及由运动控制器对车辆进行纵向控制或横向控制，使车辆沿最优路径行驶的路径操作。

在一个实施例中，选择操作可以包括将车辆的前方区域的视野转换为俯视视野；以及在俯视视野中，通过将以预设间距彼此隔开并与障碍物的最外线隔开的的点在远离最外线的方向上进行连接来形成限制线。

在一个实施例中，选择操作可以包括将在远离最外线的方向上限定在限制线内部的区域限定为可行驶区域。

在一个实施例中，选择操作可以包括在俯视视野中，在将右上角和左下角彼此连接的第一对角线与将左上角和右下角彼此连接的第二对角线的交点处，形成消失点；通过将从消失点到底部的垂直维度划分为预设数量的相等维度来形成多条水平分割线；形成多条水平分割线、第一对角线与第二对角线的交点；在水平分割线与第一对角线的交点和水平分割线与第二对角线的交点之间的每条水平分割线上形成多个候选点；以及通过选择形成在每条水平分割线上的多个候选点之一来生成最优路径。

在一个实施例中，选择操作可以包括通过在每条水平分割线上形成的多个候选点中选择位于可行驶区域中的候选点之一来生成最优路径。

在一个实施例中，选择操作可以包括形成最优路径以满足Clothoid约束条件。

在一个实施例中，路径操作可以包括执行车辆的纵向控制或横向控制，使得车辆沿着形成在每条水平分割线上的最优路径行驶。

附图说明

通过以下结合附图的详细描述，本公开的上述和其他目的、特征和优点将更加明显：

图1是示出了根据本公开实施例的基于视觉的避免碰撞的***的框图；

图2是用于说明根据本公开的实施例的基于视觉的避免碰撞的***中的可行驶区域的示图；

图3和图4是用于说明根据本公开的实施例的基于视觉的避免碰撞的***中的最优路径计算过程的示图；以及

图5是用于说明根据本公开的实施例的基于视觉的避免碰撞的方法的流程图。

具体实施方式

在下文中，将参照示例性附图详细描述本公开的一些实施例。在给每幅图的部件添加附图标记时，应当注意，即使在其他图中显示相同或等效的部件时，它们也用相同的标号表示。此外，在描述本公开的实施例时，当确定其干扰对本公开的实施例的理解时，将省略对相关已知配置或功能的详细描述。

在描述根据本公开的实施例的组件时，可以使用诸如第一、第二、A、B、(a)、(b)等的术语。这些术语仅旨在将组件与其他组件区分开来，并且这些术语不限制组件的性质、顺序或排序。除非另有定义，否则本文使用的包括技术和科学术语在内的所有术语与本公开所属领域的普通技术人员通常理解的含义相同。将进一步理解，术语，例如在常用词典中定义的那些，应被解释为具有与其在相关领域的上下文中的含义一致的含义并且不会以理想化或过于正式的含义被解释，除非在此明确定义。

以下，将参照图1至图4详细描述本公开的实施例。

图1是示出了根据本公开的实施例的基于视觉的避免碰撞的***的框图，图2是用于说明根据本公开的实施例的基于视觉的避免碰撞的***中的可行驶区域的示图，图3和图4是用于说明根据本公开的实施例的基于视觉的避免碰撞的***中的最优路径计算过程的示图。

参照图1，根据本公开的实施例的基于视觉的避免碰撞的***可以包括路径生成装置111、运动控制器113、相机120、速度感测装置130、转向感测装置140、速度致动器170和转向致动器180。

根据本公开的示例性实施例的基于视觉的避免碰撞的***可以包括处理器(例如，计算机、微处理器、CPU、ASIC、电路、逻辑电路等)，其具有存储软件指令的相关联的非暂时性存储器，当由处理器执行时，软件指令提供路径生成装置111的功能。

根据本公开的示例性实施例的基于视觉的避免碰撞的***的运动控制器113可以是处理器(例如，计算机、微处理器、CPU、ASIC、电路、逻辑电路等)。运动控制器113可以由存储例如程序、软件指令再现算法等(其在被执行时控制车辆的各种部件的操作)的非暂时性存储器、和被配置为执行程序、软件指令再现算法等的处理器来实现。这里，存储器和处理器可以实现为单独的半导体电路。或者，存储器和处理器可以实现为单个集成半导体电路。处理器可以包含一个或多个处理器。

能够安装在车辆前部的相机120可以拍摄车辆的前方区域，收集车辆的前方区域的图像或视觉信息，并将图像或视觉信息提供到路径生成装置111。只要能够拍摄车辆的前方区域，也可以使用低成本的行车记录仪等。

能够感测车辆的行驶速度的速度感测装置13，可以使用车辆的车轮旋转的速度来感测行驶速度。

转向感测装置140可检测转向角，其是车辆行驶期间方向盘的转角。

能够调节车辆速度的速度致动器170可以包括加速器驱动器，加速器驱动器从运动控制器113接收控制信号并驱动加速器以增加车辆的速度，以及制动驱动器，其接收来自运动控制器113的控制信号并驱动制动器以降低车辆的速度。

能够调整车辆行驶方向的转向致动器180可以接收来自运动控制器113的控制信号并驱动方向盘以改变车辆的行驶方向。

此外，还可以包括可以存储与车辆的控制相关的各种数据的存储器150。存储器150可以存储关于车辆的行驶速度、行驶距离和行驶时间的信息，并且可以存储由相机120感测到的障碍物的位置信息。

参照图2，路径生成装置111可以接收通过相机120拍摄的车辆前方区域的视野(a)，并且使用已知技术的透视变换等将视野(a)转换为俯视视野(鸟瞰图)(b)，并使用网络学习的语义分割(其是深度学习视觉识别技术)，用限制线350将障碍物390、车辆通过避开障碍物390可以行驶的可行驶区域310和车辆由于障碍物而不能行驶的不可行驶区域彼此分开(c)。

随后，可以在可行驶区域310中生成一个或多个行驶路径，并且可以从行驶路径中选择一个最优路径来执行车辆的纵向或横向控制，使得车辆沿着最优路径行驶。

就此而言，通过将以预设间距彼此间隔开并且与障碍物390的最外线间隔开的点在远离最外线的方向上朝向向内可行驶区域用线连接，而形成限制线350。预设间距可以约为车辆的宽度长度。

因此，即使当车辆在障碍物390附近行驶时，因为与车辆的宽度长度存在间隔，所以可以防止与障碍物碰撞。

在下文中，将详细描述车辆的最优路径生成。参照图3，在俯视视野中，路径生成装置111可以形成将右上角和左下角彼此连接起来的第一对角线301以及将左上角和右下角彼此连接起来的第二对角线302，并且可以在第一对角线301和第二对角线302的交点处形成消失点(vanishing point)303。

随后，可以形成第一对角线301和第二对角线302与从消失点303到俯视视野底部的垂直维度划分为N个相等维度所产生的水平分割线的交点。

可以基于相机120的固有参数(相机焦距、主点位置、图像传感器像素尺寸等)或相机120的安装位置，来不同地校准从消失点303到俯视视野底部的垂直维度的等分维度的数目N。

例如，当从消失点303到俯视视野底部的垂直维度被划分为4个相等维度时，第二水平分割线307、第三水平分割线309和第四水平分割线311可以在与第一水平分割线305(其是俯视视野的底部)向上间隔的同时依次形成。

随后，可以形成作为第一水平分割线305和第一对角线301的交点的第一交点313，以及可以形成作为第一水平分割线305和第二对角线302的交点的第二交点315。

这样，可以形成作为第二水平分割线307和第一对角线301的交点的第三交点317，可以形成作为第二水平分割线307和第二对角线302的交点的第四交点319，可以形成作为第三水平分割线309和第一对角线301的交点的第五交点321，可以形成作为第三水平分割线309和第二对角线302的交点的第六交点323，可以形成作为第四水平分割线311和第一对角线301的交点的第七交点325，且可以形成作为第四水平分割线311和第二对角线302的交点的第八交点327。

随后，参照图4，在第一水平分割线305的第一交点313与第二交点315之间可以形成多个候选点331，在第二水平分割线307的第三交点317和第四交点319之间可以形成多个候选点331，在第三水平分割线309的第五交点321和第六交点323之间可以形成多个候选点331，且在第四水平分割线311的第七交点325与第八交点327之间可以形成多个候选点331。

候选点331之间的间距可以约为车辆的宽度长度。

随后，在不存在障碍物390的可行驶区域310中，可以通过将第二水平分割线307的一个候选点331连接到第一水平分割线305的一个候选点331，将第三水平分割线309的一个候选点331连接到第二水平分割线307的一个候选点331，以及将第四水平分割线311的一个候选点331连接到第三水平分割线309的一个候选点331来形成多个行驶路径510。

在一个示例中，行驶路径510可以在纵向方向上延伸同时具有在横向方向上弯曲的弯曲形状，从而可以选择多条行进路径510之一来生成最优路径530，并且最优路径530可以满足回旋曲线(Clothoid)约束条件。

因此，作为最优路径530的起点的第一水平分割线305的候选点331可以形成为第一路径点371，最优路径530所经过的第二水平分割线307的候选点331可以形成为第二路径点373，最优路径530所经过的第三水平分割线309的候选点331可以形成为第三路径点375，最优路径530所经过的第四水平分割线311的候选点331可形成为第四路径点379。

即，在多个行驶路径510中，可以选择将第一路径点371、第二路径点373、第三路径点375和第四路径点379彼此连接同时满足回旋曲线约束条件的行驶路径作为最优路径530。

随后，运动控制器113可以控制速度致动器170和转向致动器180的驱动，以允许车辆沿最优路径530在可行驶区域310中行驶，同时沿选择的最优路径530执行纵向控制或横向控制。

在一个示例中，当没有最优路径时，运动控制器113可以允许车辆在执行纵向控制的同时行驶。

在下文中，将参照图5详细描述根据本公开的另一实施例的基于视觉的避免碰撞的方法。图5是用于说明根据本公开的实施例的基于视觉的避免碰撞的方法的流程图。

在下文中，假设图1中的基于视觉的避免碰撞的***执行图5中的过程。

首先，路径生成装置111可以接收通过相机120拍摄的车辆前方区域的视野(S110)。

随后，路径生成装置111可将车辆前方区域的视野转换为俯视视野(S120)，并且在俯视视野中，通过将以预设间距彼此间隔开并且与障碍物390的最外线间隔开的点在远离最外线的方向上朝向向内可行驶区域310用线连接，而形成限制线350(S130)。

随后，可以在可行驶区域中生成一个或多个行驶路径(S140)，并且在俯视视野中，消失点可以形成在将右上角和左下角彼此连接的第一对角线以及将左上角和右下角彼此连接的第二对角线的交点处。

随后，可以通过将从消失点到底部的垂直维度划分为预设数量的相等维度而形成多条水平分割线，可以形成多条水平分割线、第一对角线和第二对角线的交点，并且多个候选点可以形成在水平分割线与第一对角线的交点和水平分割线与第二对角线的交点之间的每条水平分割线上。

随后，可以通过在每条水平分割线上形成的候选点中选择位于可行驶区域中的候选点之一来生成最优路径，并且最优路径可以满足回旋曲线约束条件(S150)。

随后，可以通过运动控制器113执行车辆的纵向控制或横向控制，使得车辆沿着最优路径行驶(S160)。

根据如上所述的本公开的基于视觉的避免碰撞的***和方法，本技术可以利用语义分割(即深度学习视觉识别技术)将车辆前方区域的行驶视野中的障碍物、可行驶区域和不可行驶区域分开，并对其坐标进行变换，生成最优避让路径，使得由于通过视觉设备确定最佳避让路径，所以不使用应用于现有避免碰撞***的有源传感器，因此可以降低生产成本，并且可以从根本上防止由于雷达传感器的特性而感知到的假阳性(FP)伪目标(尽管实际上不存在)的错误，从而为避免碰撞提供稳定性。

在一个示例中，根据本公开的基于操作S110至S160的基于视觉的避免碰撞的方法可以被编程并存储在计算机可读记录介质中。

以上描述仅是对本公开的技术思想的说明，并且本领域技术人员可以在不脱离本公开的本质特征的情况下做出各种修改和变化。

因此，本公开中公开的实施例并非旨在限制本公开的技术思想，而是用于说明本公开，并且本公开的技术思想的范围不受这些实施例的限制。本公开的范围应理解为包含在所附权利要求的范围内，所有落入权利要求范围内的技术思想都应理解为包含在本公开的范围内。

本技术可以利用语义分割(即深度学习视觉识别技术)将车辆前方区域的行驶视野中的障碍物、可行驶区域和不可行驶区域分开，并对其坐标进行变换，生成最优避让路径，由于通过视觉设备确定最佳避让路径，所以不使用应用于现有避免碰撞***的有源传感器，因此可以降低生产成本，并且可以从根本上防止由于雷达传感器的特性而感知到的假阳性(FP)伪目标(尽管实际上不存在)的错误，从而为避免碰撞提供稳定性。

此外，可以提供通过本文件直接或间接识别的各种效果。

在上文中，虽然已经参照示例性实施例和附图描述了本公开，但是本公开不限于此，而是在不脱离所附权利要求中要求保护的本公开的精神和范围的情况下，本公开所属领域的技术人员可以对其进行各种修改和改变。

Claims (12)

1.一种基于视觉的避免碰撞的***，所述***包括：

相机，用于拍摄车辆的前方区域；

路径生成装置，被配置为：

在所述相机拍摄到的所述车辆的所述前方区域的视野中，设置所述车辆通过避开障碍物而能够行驶的可行驶区域；以及

在所述可行驶区域内生成一个或多个行驶路径；以及

运动控制器，被配置为从所述一个或多个行驶路径中选择一个最优路径以执行所述车辆的纵向控制或横向控制，使得所述车辆沿着所述最优路径行驶；

其中，所述路径生成装置还被配置为将所述车辆的所述前方区域的所述视野转换为俯视视野；

其中，所述路径生成装置还被配置为：

在所述俯视视野中，在将右上角和左下角彼此连接的第一对角线与将左上角和右下角彼此连接的第二对角线的交点处，形成消失点；

形成多条水平分割线，所述多条水平分割线将从所述消失点到底部的垂直维度划分为预设数量的相等维度；

形成所述多条水平分割线、所述第一对角线与所述第二对角线的交点；

在所述水平分割线与所述第一对角线的交点以及所述水平分割线与所述第二对角线的交点之间的每条水平分割线上，形成多个候选点；以及

通过选择形成在每条水平分割线上的所述多个候选点之一，来生成所述最优路径。

2.根据权利要求1所述的***，并且在所述俯视视野中，通过将以预设间距彼此隔开并且与所述障碍物的最外线隔开的点在远离所述最外线的方向上进行连接，来形成限制线。

3.根据权利要求2所述的***，其中，所述路径生成装置还被配置为将在远离所述最外线的方向上限定在所述限制线内部的区域，限定为所述可行驶区域。

4.根据权利要求1所述的***，其中，所述路径生成装置还被配置为通过在每条水平分割线上形成的所述多个候选点中选择位于所述可行驶区域中的一个候选点，来生成所述最优路径。

5.根据权利要求1所述的***，其中，所述最优路径满足回旋曲线约束条件。

6.根据权利要求1所述的***，其中，所述运动控制器还被配置为执行所述车辆的所述纵向控制或所述横向控制，使得所述车辆沿着形成在每条水平分割线上的所述最优路径行驶。

7.一种基于视觉的避免碰撞的方法，所述方法包括：

由路径生成装置接收相机拍摄的车辆的前方区域的视野的拍摄操作；

由所述路径生成装置在所述车辆的所述前方区域的所述视野中、设置所述车辆通过避开障碍物而能够行驶的可行驶区域、在所述可行驶区域内生成一个或多个行驶路径、并从所述一个或多个行驶路径选择一个最优路径的选择操作；以及

由运动控制器对所述车辆进行纵向控制或横向控制使所述车辆沿所述最优路径行驶的路径操作；

将所述车辆的所述前方区域的所述视野转换为俯视视野；以及

其中所述选择操作包括：在所述俯视视野中，在将右上角和左下角彼此连接的第一对角线与将左上角和右下角彼此连接的第二对角线的交点处，形成消失点；

形成多条水平分割线，所述多条水平分割线将从所述消失点到底部的垂直维度划分为预设数量的相等维度；

形成所述多条水平分割线、所述第一对角线与所述第二对角线的交点；

在所述水平分割线与所述第一对角线的交点以及所述水平分割线与所述第二对角线的交点之间的每条水平分割线上，形成多个候选点；以及

通过选择形成在每条水平分割线上的所述多个候选点之一，来生成所述最优路径。

8.根据权利要求7所述的方法，其中，所述选择操作包括：

在所述俯视视野中，通过将以预设间距彼此隔开并与所述障碍物的最外线隔开的点在远离所述最外线的方向上进行连接，来形成限制线。

9.根据权利要求8所述的方法，其中所述选择操作包括：

将在远离所述最外线的方向上限定在所述限制线内部的区域，限定为所述可行驶区域。

10.根据权利要求7所述的方法，其中所述选择操作包括：

通过在每条水平分割线上形成的所述多个候选点中选择位于所述可行驶区域中的一个候选点，来生成所述最优路径。

11.根据权利要求7所述的方法，其中所述选择操作包括：

形成所述最优路径以满足回旋曲线约束条件。

12.根据权利要求7所述的方法，其中所述路径操作包括：

执行所述车辆的所述纵向控制或所述横向控制，使得所述车辆沿着形成在每条水平分割线上的所述最优路径行驶。