CN108528433A - 车辆行驶自动控制方法和装置 - Google Patents

Abstract

本发明公开了一种车辆行驶自动控制方法和装置，其中，方法包括：从前置3D相机获取主体车辆前方环境的第一图像和第二图像；根据第一图像获取前方公路车道线，进而获取第三图像和后方公路车道线；根据第一图像和第二图像生成多个前方车辆识别范围，进而识别前方目标车辆；根据第三图像和后方公路车道线生成多个后方车辆识别范围；从激光雷达获取点云数据，以获取多个后方目标点云数据，进而识别后方目标车辆；根据前方目标车辆的运动参数，以及后方目标车辆对主体车辆的运动参数进行巡航控制。由此，保证了行车安全。

Description

车辆行驶自动控制方法和装置

技术领域

本发明涉及车辆控制技术领域，尤其涉及一种车辆行驶自动控制方法和装置。

背景技术

目前，车辆的自适应巡航***的关注度越来越高，在车辆自适应巡航***中，用户设定所希望的车速，***利用低功率雷达或红外线光束得到前方车辆的确切位置，如果发现前方车辆减速或监测到新目标，***就会发送执行信号给发动机或制动***来降低车速使车辆和前方车辆保持一个安全的行驶距离。当前方道路没车时又会加速恢复到设定的车速，雷达***会自动监测下一个目标。车辆的自适应巡航控制***代替用户控制车速，避免了频繁的取消和设定巡航控制，使自适应巡航***适合于更多的路况，为用户提供了一种更轻松的驾驶方式。

然而，现有的车辆的自适应巡航***需要使用激光雷达作为测距传感器，对于前方目标车辆行驶于弯道的情况，激光雷达由于其工作原理不能良好地识别车道线，因此仅装载激光雷达的主体车辆很可能将非本车道的前方目标车辆识别为在本车道，并可能对正在变道至本车道的前方目标车辆产生识别延迟，此类错误识别或识别延迟将可能导致该主体车辆的自适应巡航***执行错误的制动或制动延迟，从而增加追尾碰撞风险。

发明内容

本发明的目的旨在至少在一定程度上解决上述的技术问题之一。

为此，本发明的第一个目的在于提出一种车辆行驶自动控制方法，该方法能准确识别公路车道线，且结合激光雷达获取的数据获知主体车辆的车道环境信息，根据具体车道环境信息对主体车辆进行巡航控制，保证了行车安全。

本发明的第二个目的在于提出一种车辆行驶自动控制装置。

为了实现上述目的，本发明第一方面实施例提出了一种车辆行驶自动控制方法，包括：从前置3D相机获取主体车辆前方环境的第一图像和第二图像，其中，第一图像为彩色或亮度图像，第二图像为深度图像；根据所述第一图像获取前方公路车道线；根据所述第一图像的成像参数和所述前方公路车道线获取第三图像和后方公路车道线；根据所述第一图像和所述第二图像之间的交织映射关系将所述前方公路车道线映射至所述第二图像中生成多个前方车辆识别范围；根据所有前方车辆识别范围识别前方目标车辆；根据所述第三图像和所述后方公路车道线生成多个后方车辆识别范围；从激光雷达获取点云数据，根据所述激光雷达的安装参数将所述点云数据投影到所述第三图像中以获取后方目标点云数据；根据所有后方车辆识别范围和所述后方目标点云数据识别后方目标车辆；根据所述前方车灯识别区域识别相应前方目标车辆的转向灯；根据所述前方目标车辆的运动参数，以及所述后方目标车辆对所述主体车辆的运动参数进行巡航控制。

本发明实施例的车辆行驶自动控制方法，从前置3D相机获取主体车辆前方环境的第一图像和第二图像，获取前公路车道线，并根据第一图像的成像参数和前方公路车道线获取第三图像和后方公路车道线，根据第一图像和第二图像之间的交织映射关系将前方公路车道线映射至第二图像中生成多个前方车辆识别范围，以根据前方车辆识别范围识别前方目标车辆，根据第三图像和后方公路车道线生成多个后方车辆识别范围，且从激光雷达获取后方目标点云数据，根据后方目标点云数据识别出后方目标车辆，最终根据前方目标车辆的运动参数，以及后方目标车辆对主体车辆的运动参数进行巡航控制。由此，准确识别公路车道线，且结合激光雷达获取的数据获知主体车辆的车道环境信息，根据具体车道环境信息对主体车辆进行巡航控制，保证了行车安全。

为了实现上述目的，本发明第二方面实施例提出了一种车辆行驶自动控制装置，包括：第一获取模块，用于从前置3D相机获取主体车辆前方环境的第一图像和第二图像，其中，第一图像为彩色或亮度图像，第二图像为深度图像；第二获取模块，用于根据所述第一图像获取前方公路车道线；第三获取模块，用于根据所述第一图像的成像参数和所述前方公路车道线获取第三图像和后方公路车道线；第一生成模块，用于根据所述第一图像和所述第二图像之间的交织映射关系将所述前方公路车道线映射至所述第二图像中生成多个前方车辆识别范围；第一识别模块，用于根据所有前方车辆识别范围识别前方目标车辆；第二生成模块，用于根据所述第三图像和所述后方公路车道线生成多个后方车辆识别范围；第四获取模块，用于从激光雷达获取点云数据，根据所述激光雷达的安装参数将所述点云数据投影到所述第三图像中以获取后方目标点云数据；第二识别模块，用于根据所有后方车辆识别范围和所述后方目标点云数据识别后方目标车辆；控制模块，用于根据所述前方目标车辆的运动参数，以及所述后方目标车辆对所述主体车辆的运动参数进行巡航控制。

本发明实施例的车辆行驶自动控制装置，从前置3D相机获取主体车辆前方环境的第一图像和第二图像，获取前公路车道线，并根据第一图像的成像参数和前方公路车道线获取第三图像和后方公路车道线，根据第一图像和第二图像之间的交织映射关系将前方公路车道线映射至第二图像中生成多个前方车辆识别范围，以根据前方车辆识别范围识别前方目标车辆，根据第三图像和后方公路车道线生成多个后方车辆识别范围，且从激光雷达获取后方目标点云数据，根据后方目标点云数据识别出后方目标车辆，最终根据前方目标车辆的运动参数，以及后方目标车辆对主体车辆的运动参数进行巡航控制。由此，准确识别公路车道线，且结合激光雷达获取的数据获知主体车辆的车道环境信息，根据具体车道环境信息对主体车辆进行巡航控制，保证了行车安全。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1是根据本发明第一个实施例的车辆行驶自动控制方法的流程图；

图2是根据本发明第二个实施例的车辆行驶自动控制方法的流程图；

图3是根据本发明第三个实施例的车辆行驶自动控制方法的流程图；

图4是根据本发明第四个实施例的车辆行驶自动控制方法的流程图；

图5是根据本发明第五个实施例的车辆行驶自动控制方法的流程图；

图6是根据本发明一个实施例的车辆行驶自动控制方法的场景示意图；

图7是根据本发明另一个实施例的车辆行驶自动控制方法的场景示意图；

图8是根据本发明第一个实施例的车辆行驶自动控制装置的结构示意图；

图9是根据本发明第二个实施例的车辆行驶自动控制装置的结构示意图；

图10是根据本发明第三个实施例的车辆行驶自动控制装置的结构示意图；

图11是根据本发明第四个实施例的车辆行驶自动控制装置的结构示意图；

图12是根据本发明第五个实施例的车辆行驶自动控制装置的结构示意图；

以及

图13是根据本发明第六个实施例的车辆行驶自动控制装置的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参考附图描述本发明实施例的车辆行驶自动控制方法和装置。

图1是根据本发明第一个实施例的车辆行驶自动控制方法的流程图。

通常，将激光雷达装配在车辆的前方、侧方、或者后方，完成前视防撞、侧方防撞、和后视防撞等侧重点各异的功能，在实际应用中，激光雷达根据针对其发射信号的反馈信号，分析前方车辆与当前主体车辆间的距离和相对速度，以便于车辆自动调节车速，保证行车安全。

具体而言，安装激光雷达的车辆上路后，激光雷达选定跟随的车辆后，将跟随的车辆作为目标车辆进行监测，无论前方车辆加速、减速、停车还是启动，主题车辆都会实时获知并采取相应的措施。然而，由于激光雷达是单脉冲，不能准确判定被测目标车辆的类别和性质，尤其是当前方目标车辆行驶于弯道时，不能良好地识别车道线，容易导致识别延迟等，导致行车存在安全隐患。

为了解决上述问题，本发明提出了一种车辆行驶自动控制方法，可以准确识别公路车道线，以及公路车道环境信息，保证了行车安全。

下面结合具体的实施例，对本发明车辆行驶自动控制方法进行说明。如图1所示，该车辆行驶自动控制方法包括：

S101，从前置3D相机获取主体车辆前方环境的第一图像和第二图像，其中，第一图像为彩色或亮度图像，第二图像为深度图像。

具体地，预先在当前主体车辆的前方设置3D相机获取主体车辆前方环境的第一图像和第二图像，其中，第一图像为彩色或亮度图像，第二图像为深度图像。

需要说明的是，在实际应用中，根据前置3D相机的成像装置结构的不同，可采用多种方式从前置3D相机获取主体车辆前方环境的第一图像和第二图像。

作为一种可能的实现方式，从前置3D相机的图像传感器获取主体车辆前方环境的第一图像，从前置3D相机的飞行时间传感器(Time of Flight，简称TOF)获取主体车辆前方环境的第二图像。

其中，图像传感器指亮度像素传感器的阵列或集合，示例如红、绿、蓝(RGB)或亮度、色度(YUV)等亮度像素传感器，其受限于精确的确定亮度像素传感器于被检测物体之间的距离的能力，通常用于获取环境的亮度图像。

TOF传感器指TOF像素传感器的阵列或集合，示例TOF像素传感器可以是光传感器、相位检测器等，可以检测来自脉冲光源、调制光源的光在TOF像素传感器与被检测物体之间传播的飞行时间，从而检测物体的距离并获取深度图像。

另外，在实际应用中，图像传感器或TOF传感器都可以使用互补金属氧化物半导体(CMOS)工艺进行制作，并且亮度像素传感器和TOF像素传感器可以按比例制作在同一基板之上，例如以8:1比例进行制作的8个亮度像素传感器和1个TOF像素传感器组成一个大的交织像素，其中1个TOF像素传感器的感光面积可以等于8个亮度像素传感器的感光面积，8个亮度像素传感器可以按2行4列的阵列形式排列。

例如，可以在1英寸光学靶面的基板上制作360行480列的上述活跃交织像素的阵列，可获取720行1920列的活跃亮度像素传感器阵列、360行480列的活跃TOF像素传感器阵列，由此图像传感器和TOF传感器组成的同一个相机可同时获取彩色或亮度图像和深度图像。

由此，获取关于主体车辆前方环境的第一图像和第二图像的同一个前置3D相机，可以使用CMOS工艺制造实现，根据半导体工业的摩尔定律，前置3D相机在有限时期内将具备足够低的生成成本。

S102，根据第一图像获取前方公路车道线。

具体地，由于第一图像为彩色或亮度图像，而识别公路车道线的位置只需要利用公路车道线与路面的亮度差异即可实现。因此，在实际执行过程中，可通过第一图像的亮度信息获取公路车道线。

具体而言，如果第一图像为亮度图像，则根据第一图像中前方公路车道线与路面的亮度差异识别前方公路车道线。

如果第一图像为彩色图像，则将彩色图像转换为亮度图像，根据第一图像中前方公路车道线与路面的亮度差异识别前方公路车道线。

其中，由于由彩色图像转换为亮度图像的转换方法是本领域技术人员所熟悉的，因而在此不对由彩色图像转换为亮度图像的具体过程赘述。

S103，根据第一图像的成像参数和前方公路车道线获取第三图像和后方公路车道线。

其中，第一图像的成像参数可以包含获取第一图像的相机的成像像素坐标系、焦距、该相机在主体车辆上的物理世界坐标系的位置和朝向，也即通过该成像参数可以将第一图像的任意图像像素坐标与主体车辆物理世界坐标系建立投影关系，该投影关系的建立方法是本领域技术人员所熟悉的。

其中，第三图像是投影后的前方公路车道线的全部像素位置的俯视图，因此第三图像中的前方公路车道线的位置就是主体车辆前方的公路车道线相对主体车辆物理世界坐标系原点的位置。

进而，由于后方公路车道线是前方的公路车道线的延续，因而，还在获取的第一公路车道线的基础上，获取后方公路车道线。

S104，根据第一图像和第二图像之间的交织映射关系将前方公路车道线映射至第二图像中生成多个前方车辆识别范围。

具体地，由于第一图像和第二图像是同一个前置3D相机获取的彩色或亮度图像以及深度图像，因而，第一图像和第二图像具有交织映射关系，由于第一图像和第二图像之间的交织映射关系，第一图像的每个像素的行列坐标经过等比例的调整都可以在第二图像至少确定一个像素的行列坐标，因此根据第一图像获取的前方公路车道线的每个边缘像素位置都可以在第二图像至少确定一个像素位置，从而在第二图像中获取了等比例调整的前方公路车道线。

进而，根据人眼观看的视野，根据第二图像中获取的等比例的前方公路车道线，每两个相邻的前方公路车道线唯一创建一个前方车辆识别范围。

S105，根据所有前方车辆识别范围识别前方目标车辆。

具体地，在获取前方车道的识别范围后，获取位于前方车道识别范围内的车辆为前方目标车辆。

S106，根据第三图像和后方公路车道线生成多个后方车辆识别范围。

具体地，根据人眼观看的视野，根据第三图像中的后方公路车道线，每两个相邻的后方公路车道线唯一创建一个后方车辆识别范围。

S107，从激光雷达获取点云数据，根据激光雷达的安装参数将点云数据投影到第三图像中以获取后方目标点云数据。

其中，激光雷达，其激光发射器通常发射包含调制信息的光束，其具有较小波束角的激光接收器阵列解调感知被其照射物体的反射光获得了较高精度的距离分辨率，再辅以精确的机械旋转扫描以获取具有较高的俯仰角分辨率和方位角分辨率的点云数据。因此激光雷达的点云数据直观看起来像等高线图表。

具体地，激光雷达在主体车辆上的物理世界坐标系的位置和朝向的安装参数，可以通过主体车辆的下线检测以获取和记录，激光雷达获取的关于主体车辆后方的环境的点云数据包含的距离、俯仰角和方位角等信息可以转换为相对主体车辆的物理世界坐标系原点的信息，即将点云数据投影到第三图像中获取了后方目标点云数据。

例如，该激光雷达的法线与主体车辆的物理世界坐标系的Y轴重合，该激光雷达的法线起点到主体车辆的物理世界坐标系原点的距离是-2m，该激光雷达获取的某个后方目标点云数据的距离为10m、俯仰角2°、方位角30°(即目标车辆与原点的连线在XY平面的投影线与Y轴的夹角)，则该点云数据在主体车辆的物理世界坐标系原点的X、Y、Z坐标是(10m*sin30°*cos2°，-2m-10m*cos30°*cos2°，10m*sin2°)即(4.997m，-10.655m，0.349m)，即根据激光雷达的安装参数将该点云数据投影到第三图像中获取了后方目标点云数据(4.997m，-10.655m，0.349m)。

S108，根据所有后方车辆识别范围和后方目标点云数据识别后方目标车辆。

具体地，由于根据激光雷达的安装参数将激光雷达后方目标车辆参数组投影到第三图像中以获取若干后方目标点云数据，因此将后方目标点云数据落在对应的车辆识别范围的目标车辆标记为后方目标车辆。

S109，根据前方目标车辆的运动参数，以及后方目标车辆对主体车辆的运动参数进行巡航控制。

其中，目标车辆的运动参数包括目标车辆的速度、转向等信息，主体车辆的运动参数包括车辆的速度、转向灯显示信息等。

具体地，获取到前方目标车辆的运动参数后，对主体车辆的运动参数进行巡航控制，以保证行车安全，比如，在前方目标车辆减速时，适当降低车速，避免追尾事故的发生等。

需要强调的是，由于在实际应用中，如果主体车辆后方有后方目标车辆，则为了避免后方车辆与主体车辆追尾造成的事故等，还需要向后方目标车辆采用转向灯提示。比如，如果主体车辆变道，则开启转向灯，以警示后方目标车辆。

因而，在本发明的一个实施例中，还可根据前方目标车辆生成前方目标车辆范围，根据第一图像和第二图像之间的交织映射关系将前方目标车辆范围映射至第一图像中生成前方车灯识别区域。

可以理解，由于行车安全与前方目标车辆行驶状态有关，比如，前方目标车辆直行时，主体车辆可正常行驶，如果前方目标车辆突然减速变道，则为了避免追尾事故的发生，主体车辆需要制动行驶。而由于前方目标车辆的行驶状态可通过的前方目标车辆的车灯反应，因而，在本实施例中，为了获知前方目标车辆的车灯，需要确定前方车灯识别区域。

具体地，由于前方车灯识别区域位于前方目标车辆范围内，因而，根据前方目标车辆生成前方目标车辆范围，由于第一图像和第二图像之间的交织映射关系，第二图像中前方目标车辆范围的每个像素的行列坐标经过等比例的调整都可以在第一图像至少确定一个像素的行列坐标，并且该目标车辆的车灯的成像包含在相应的前方目标车辆范围中，从而在第一图像中生成了前方车灯识别区域。

需要说明的是，在实际应用中，根据具体应用场景的不同，根据前方目标车辆生成前方目标车辆范围的方式不同，示例如下：

第一种示例：

根据前方目标车辆的目标边界围成的闭合区域生成前方目标车辆范围。

在本示例中，作为一种可能的实现方式，采用图像处理算法中的边界检测方法(例如Canny、Sobel、Laplace等边界检测方法)检测前方目标车辆的目标边界进行识别。

由于，在深度图像中，同一个目标车辆的背面或正面的光反射到TOF传感器形成的深度子图像包含一致的距离信息，因此只要识别该目标车辆形成的深度子图像在深度图像中的位置即可获取该目标车辆的距离信息。其中，子图像指图像的一部分像素的组合。

同一个目标车辆的背面或正面的光反射到TOF传感器形成深度子图像是包含一致的距离信息，而路面的光反射到TOF传感器形成深度子图像是包含连续变化的距离信息，因此包含一致的距离信息的深度子图像与包含连续变化的距离信息的深度子图像在两者的交界处必然形成突变差异，这些突变差异的交界形成了该目标车辆在深度图像中的目标边界。

第二种示例：

根据前方目标车辆的目标边界的延伸的围成的闭合区域生成前方目标车辆范围。

在本示例中，作为一种可能的实现方式，采用图像处理算法中的边界检测方法检测前方目标车辆的目标边界进行识别。

第三种示例：

根据前方目标车辆的多个像素位置连线围成的闭合区域生成前方目标车辆范围。

其中，车辆识别范围由车道线的全部像素位置所确定，因此在车辆识别范围内检测目标车辆的目标边界将减少隔离带、路灯杆、防护桩等道路设施形成的边界干扰。

进一步地，根据前方车灯识别区域识别相应前方目标车辆的转向灯。

具体地，在获取前方车灯识别区域后，为了准确获知前方目标车辆的具体形式状态，根据前方车灯识别区域识别相应前方目标车辆的转向灯。

需要说明的是，根据具体应用需求的不同，根据前方车灯识别区域识别相应前方目标车辆的转向灯的方式不同。

作为一种可能的实现方式，根据前方车灯识别区域中车尾灯的颜色、闪烁频率或闪烁序列识别相应前方目标车辆的转向灯。

在本实现方式中，前方目标车辆变道的初期其纵向位移和横向位移都较小，意味着该前方目标车辆的车灯识别区域大小变化也较小，只有转向灯处成像的亮度因闪烁而变化较大。

因此，通过连续获取多幅不同时刻的彩色或亮度图像，并对其中该前方目标车辆的车灯识别区域进行时间微分处理，以创建该前方目标车辆的时间微分车灯识别区域子图像。时间微分车灯识别区域子图像将突出该前方目标车辆的连续闪烁的车灯子图像。

进而，将时间微分车灯识别区域子图像投影到列坐标轴，进行一维查找获取该目标车辆的车灯子图像的起始和终点列坐标位置，将这些起始和终点列坐标位置投影至时间微分车灯识别区域子图像，并查找车灯子图像的起始和终点行坐标位置，将车灯子图像的起始和终点的行、列坐标位置投影至上述多幅不同时刻的彩色或亮度图像中以确认该前方目标车辆的车灯的颜色、闪烁频率或闪烁序列，从而确定了闪烁的车灯子图像的行、列坐标位置。

进一步地，闪烁的车灯子图像的行、列坐标位置只在该前方目标车辆的车灯识别区域左侧时，可以确定该前方目标车辆在打左转向灯，闪烁的车灯子图像的行、列坐标位置只在该前方目标车辆的车灯识别区域右侧时，可以确定该前方目标车辆在打右转向灯，闪烁的车灯子图像的行、列坐标位置在该前方目标车辆的车灯识别区域两侧时可以确定该目标车辆在打双闪警示灯。

另外，在本实现方式中，当前方目标车辆变道的过程中其纵向位移或横向位移较大，导致该前方目标车辆的车灯识别区域大小变化也较大，可以对连续获取的多幅不同时刻的前方目标车辆的车灯识别区域，进行纵向位移或横向位移补偿并缩放成大小一致的车灯识别区域，再对调整后的前方目标车辆的车灯识别区域，进行时间微分处理以创建该前方目标车辆的时间微分车灯识别区域子图像，将时间微分车灯识别区域子图像投影到列坐标轴，进行一维查找获取该前方目标车辆的车灯子图像的起始和终点列坐标位置，将这些起始和终点列坐标位置投影至时间微分车灯识别区域子图像，并查找车灯子图像的起始和终点行坐标位置，将车灯子图像的起始和终点的行、列坐标位置投影至上述多幅不同时刻的彩色或亮度图像中，以确认该前方目标车辆的车灯的颜色、闪烁频率或闪烁序列，从而确定了闪烁的车灯子图像的行、列坐标位置，最后完成左转向灯、右转向灯或双闪警示灯的识别。

具体而言，根据前方目标车辆的运动参数和转向灯识别到前方非本车道目标车辆减速变道至本车道的工况，以使主体车辆的运动参数控制***提前进行制动调整，以及使主体车辆的车灯***提醒后方目标车辆，使得主体车辆的车灯***可以更早做出调整以提醒后方目标车辆，为后方目标车辆提供了更多的制动或调整时间，更有效地减少了追尾碰撞风险。

或者，根据前方目标车辆的运动参数和转向灯识别到前方本车道目标车辆减速变道至前方非本车道的工况，以使主体车辆的运动参数控制***不进行制动调整，使得主体车辆的运动参数控制***可以减少不必要的制动调整，从而减少了由于主体车辆的不必要的制动调整导致的追尾碰撞风险。

综上所述，本发明实施例的车辆行驶自动控制方法，从前置3D相机获取主体车辆前方环境的第一图像和第二图像，获取前公路车道线，并根据第一图像的成像参数和前方公路车道线获取第三图像和后方公路车道线，根据第一图像和第二图像之间的交织映射关系将前方公路车道线映射至第二图像中生成多个前方车辆识别范围，以根据前方车辆识别范围识别前方目标车辆，根据第三图像和后方公路车道线生成多个后方车辆识别范围，且从激光雷达获取后方目标点云数据，最终根据前方目标车辆的运动参数，以及后方目标车辆对主体车辆的运动参数进行巡航控制。由此，准确识别公路车道线，且结合激光雷达获取的数据获知主体车辆的车道环境信息，根据具体车道环境信息对主体车辆进行巡航控制，保证了行车安全。

基于以上描述，需要说明的是，根据具体应用场景的不同，可采用不同的技术，根据第一图像中前方公路车道线与路面的亮度差异识别前方公路车道线。下面结合具体的示例进行说明。

图2是根据本发明第二个实施例的车辆行驶自动控制方法的流程图，如图2所示，上述步骤S102包括：

S201，根据第一图像的亮度信息和预设的亮度阈值创建前方公路车道线的二值图像。

具体地，由于在实际生活中，公路车道线既有实线车道线也有虚线车道线，为了便于说明，下面首先以识别实线车道线为例进行说明。

具体地，利用第一图像中公路车道线与路面的亮度差异，预先设置亮度阈值，其中预设的亮度阈值是通过查找得到某些亮度阈值，亮度阈值可以利用“直方图统计—双峰”算法来查找得到。

进而，利用预设的亮度阈值和亮度图像创建突出公路车道线的二值图像，还可以将亮度图像划分为多个亮度子图像，对每个亮度子图像执行“直方图统计—双峰”算法来查找得到多个亮度阈值，利用各个亮度阈值和相应的亮度子图像创建突出公路车道线的二值子图像，并利用二值子图像创建完整的突出公路车道线的二值图像，从而可以应对路面或车道线亮度变化的情况。

其中，查找亮度阈值和创建公路车道线的二值图像的具体实施步骤，可由本领域的技术人员在现有技术的基础上得到，在此不再赘述。

S202，根据预设的检测算法在二值图像中检测出直道实线车道线的全部边缘像素位置或检测出弯道实线车道线的全部边缘像素位置。

具体地，在得到前方公路车道线的二值图像后，由于公路车道线的曲率半径不可能太小，并且由于相机投影原理导致近处车道线相对远处车道线的成像像素更多，使得弯道的实线车道线在亮度图像中排列成直线的像素也占该实线车道线成像像素的大部分。

因此可以使用预设的检测算法，比如Hough变换算法等直线检测算法在突出公路车道线的二值图像中，检测出直道的实线车道线的全部边缘像素位置或检测出弯道的实线车道线的大部分初始直线边缘像素位置。

当然，如果不做过滤处理，直线检测也将隔离带、电线杆在二值图像中的大部分直线边缘像素位置检出。根据图像传感器的长宽比例、相机镜头焦距、道路设计规范的道路宽度范围和图像传感器在主体车辆的安装位置可以设置车道线在二值图像中的斜率范围，从而根据该斜率范围将非车道线的直线过滤排除。

由于弯道的实线车道线的边缘像素位置总是连续变化的，因此根据查找上述检测的初始直线两端的边缘像素位置的连通像素位置，并将该连通像素位置并入该初始直线边缘像素集合，重复上述查找和并入该连通像素位置，最后将弯道实线车道线的全部边缘像素位置唯一确定。

S203，根据预设的检测算法在二值图像中检测出直道虚线车道线的全部边缘像素位置或检测出弯道虚线车道线的全部边缘像素位置。

为了全面的说明根据第一图像中前方公路车道线与路面的亮度差异识别前方公路车道线，下面首先以识别虚线车道线为例进行说明。

上述步骤S201中描述的直线检测算法，也可将虚线车道线的大部分初始直线边缘像素位置检测出来，可通过虚线车道线的大部分初始直线边缘像素位置的延长线或查找合并的方法将属于该虚线车道线的其他较短的车道线的边缘像素连接起来，以获得虚线车道线的全部边缘像素位置。其中，延长线的方法用于获取直道虚线车道线的全部边缘像素位置，查找合并的方法用于获取弯道虚线车道线的全部边缘像素位置，选择延长线的方法还是查找合并的方法需要得到虚线车道线是直道还是弯道的先验知识，当然该先验知识可以通过检测实线车道线来获取。

作为一种实现方式，可根据实线车道线的先验知识、车道线现实中相互平行的原则、图像传感器及相机的投影参数，将实线车道线的全部边缘像素位置投影到虚线车道线的初始直线边缘像素位置，以连接该虚线车道线的初始直线边缘像素位置和其他属于该虚线车道线的其他较短的车道线的边缘像素位置，从而获取虚线车道线的全部边缘像素位置。

作为另一种实现方式，不需要得到直道或弯道的先验知识，由于车辆在直道巡航或恒定转向角弯道巡航的过程中，虚线车道线的横向偏移在较短的连续时间内几乎可以忽略，但纵向偏移却较大，因此虚线车道线在不同时刻的连续几幅突出公路车道线的二值图像中，可以叠加成一条实线车道线，然后再通过上述实线车道线的识别方法，获取该虚线车道线的全部边缘像素位置。

由于虚线车道线的纵向偏移量受到主体车辆车速的影响，以此可以根据从轮速传感器获取的车速，动态的确定不同时刻的连续的突出公路车道线的二值图像的最少幅数，以将虚线车道线叠加成一条实线车道线，从而获取虚线车道线的全部边缘像素位置。

综上所述，本发明实施例的车辆行驶自动控制方法，根据第一图像的亮度信息和预设的亮度阈值创建前方公路车道线的二值图像，根据预设的检测算法在二值图像中检测出直道实线车道线的全部边缘像素位置或检测出弯道实线车道线的全部边缘像素位置，根据预设的检测算法在二值图像中检测出直道虚线车道线的全部边缘像素位置或检测出弯道虚线车道线的全部边缘像素位置。由此，可准确识别出公路车道线中直道和弯道的虚线和实线车道线。

需要说明的是，根据具体应用场景的不同，可采用不同的技术，根据第一图像的成像参数和前方公路车道线获取第三图像和后方公路车道线。下面结合具体的示例以进行更加清楚的说明。

图3是根据本发明第三个实施例的车辆行驶自动控制方法的流程图，如图3所示，上述步骤S103包括：

S301，根据第一图像的成像参数将前方公路车道线的全部像素位置投影到主体车辆物理世界坐标系建立第三图像。

S302，将第三图像中的前方公路车道线的位置通过连续时间积累和相对主体车辆物理世界坐标系原点的位移将获取后方公路车道线的位置。

具体地，将获取的前方公路车道线的全部像素位置投影到主体车辆物理世界坐标系建立第三图像，第三图像可以是投影后的前方公路车道线的全部像素位置的俯视图，因此第三图像中的前方公路车道线的位置就是主体车辆前方的公路车道线相对主体车辆物理世界坐标系原点的位置。

由于某一时刻获取的前方公路车道线经过若干时间后将位于主体车辆后方，因此第三图像中的前方公路车道线的位置通过连续时间积累和相对主体车辆物理世界坐标系原点的位移将获取主体车辆的后方公路车道线的位置。

举例而言，在T1时刻前方公路车道线的一点A相对主体车辆物理世界坐标系原点的Y轴距离为D1(X轴距离为D2)，该主体车辆以车速V匀速沿Y轴行驶了T时间，即在T2＝T1+T时刻公路车道线的一点A在主体车辆物理世界坐标系的位移为V×T(例如V×T＝2×D1)，在T2＝T时刻公路车道线的一点A相对主体车辆物理世界坐标系原点的距离为D1－V×T＝－D1，即获取了主体车辆的后方公路车道线的位置(X轴距离仍为D2)。

对于主体车辆变速行驶的情况，V对T的变化曲线可以由轮速传感器获取，可以使用V对T的积分获取变速行驶的位移。对于主体车辆行驶于弧形弯道的情况，利用前方公路车道线在主体车辆物理世界坐标系的坐标计算弯道的曲率半径，再利用该曲率半径和主体车辆行驶时间T的积分的弧形位移可以计算该前方公路车道线经过时间T相对主体车辆物理世界坐标系原点的坐标，即获取了主体车辆的后方公路车道线的位置。

综上所述，本发明实施例的车辆行驶自动控制方法，根据第一图像的成像参数将前方公路车道线的全部像素位置投影到主体车辆物理世界坐标系建立第三图像，将第三图像中的前方公路车道线的位置通过连续时间积累和相对主体车辆物理世界坐标系原点的位移将获取后方公路车道线的位置。由此，准确获知了后方车道线的位置，便于根据后方车道线的位置对车辆进行相关控制，为保证行驶安全奠定基础。

由于在实际应用中，无论是主体车辆前方目标车辆还是后方目标车辆，都具有多种行驶状态和行驶位置，而不同的行驶状态和行驶位置直接关系到对主体车辆的具体控制操作，比如，对于前方非本车道的目标车辆，只要其保持在前方非本车道运行，无论其加速和减速都对主体车辆的行车安全没有影响，但是一旦其变道到本车道，主体车辆需要进行减速操作等。

下面分别对如何识别前方目标车辆和后方目标车辆进行详细说明。

图4是根据本发明第四个实施例的车辆行驶自动控制方法的流程图，如图4所示，上述步骤S105包括：

S401，对所有前方车辆识别范围标记前方本车道和前方非本车道的标签。

具体地，根据第二图像中获取的等比例的前方公路车道线，取每个前方公路车道线的初始直线部分所占的行数和列数相比得到该公路车道线的初始直线的斜率，对根据斜率最大的两条公路车道线的初始直线所在的前方公路车道线创建的前方车辆识别范围，标记前方本车道的标签，其他创建的前方车辆识别范围标记前方非本车道的标签。

由此，可根据第一图像和第二图像之间的交织映射关系将前方公路车道线映射至第二图像中，以在第二图像中生成若干前方车辆识别范围，并对所有前方车辆识别范围标记前方本车道和前方非本车道的标签。

S402，根据标记前方本车道标签的车辆识别范围识别前方本车道目标车辆。

具体地，获取前方本车道标签后，前方本车道目标车辆在前方本车道识别范围内，可根据标记前方本车道标签的车辆识别范围识别前方本车道目标车辆。

具体而言，由于目标车辆相对于TOF传感器的距离和位置随时间总是变化的，而路面、隔离带相对于TOF传感器的距离和位置随时间近似是不变化的。因此可利用两幅不同时刻获取的深度图像创建时间微分深度图像以检测上述距离和位置的变化，进而实际在标记本车道标签的车辆识别范围识别前方本车道目标车辆。

S403，根据标记前方非本车道标签的车辆识别范围识别前方非本车道目标车辆。

具体地，获取前方非本车道标签后，前方非本车道目标车辆在前方非本车道识别范围内，可根据标记前方非本车道标签的车辆识别范围识别前方非本车道目标车辆。

具体而言，由于目标车辆相对于TOF传感器的距离和位置随时间总是变化的，而路面、隔离带相对于TOF传感器的距离和位置随时间近似是不变化的。因此可利用两幅不同时刻获取的深度图像创建时间微分深度图像以检测上述距离和位置的变化，进而实际在标记非本车道标签的车辆识别范围识别前方非本车道目标车辆。

S404，根据两两组合的前方车辆识别范围识别前方变道目标车辆。

具体地，由于可以识别出前方本车道目标车辆以及前方非本车道目标车辆，从而基于同样的识别方法，根据两两组合的前方车辆识别范围识别前方变道目标车辆。

具体而言，由于目标车辆相对于TOF传感器的距离和位置随时间总是变化的，而路面、隔离带相对于TOF传感器的距离和位置随时间近似是不变化的。因此可利用两幅不同时刻获取的深度图像创建时间微分深度图像以检测上述距离和位置的变化，进而实际在根据两两组合的前方车辆识别范围识别前方变道目标车辆。

图5是根据本发明第五个实施例的车辆行驶自动控制方法的流程图，如图5所示，上述步骤S108包括：

S501，对所有后方车辆识别范围标记后方本车道和后方非本车道的标签。

具体地，根据第三图像中的后方公路车道线，取每个后方公路车道线的初始直线部分所占的行数和列数相比得到该公路车道线的初始直线的斜率，对根据斜率绝对值最大的两条公路车道线的初始直线所在的后方公路车道线，创建的后方车辆识别范围标记后方本车道的标签，其他创建的后方车辆识别范围标记后方非本车道的标签。

由此，可根据第一图像和第二图像之间的交织映射关系将后方公路车道线映射至第二图像中，以在第二图像中生成若干后方车辆识别范围，并对所后方车辆识别范围标记后方本车道和后方非本车道的标签。

S502，根据标记后方本车道标签的车辆识别范围和后方目标点云数据识别标记后方本车道目标车辆。

具体地，获取后方本车道标签后，后方本车道目标车辆在后方本车道识别范围内，可根据标记后方本车道标签的车辆识别范围识别后方本车道目标车辆。

具体而言，由于目标车辆相对于TOF传感器的距离和位置随时间总是变化的，而路面、隔离带相对于TOF传感器的距离和位置随时间近似是不变化的。因此可利用两幅不同时刻获取的深度图像创建时间微分深度图像以检测上述距离和位置的变化，进而实际在标记本车道标签的车辆识别范围识别后方本车道目标车辆。

S503，根据标记后方非本车道标签的车辆识别范围和后方目标点云数据识别标记后方非本车道目标车辆。

具体地，获取后方非本车道标签后，后方非本车道目标车辆在后方非本车道识别范围内，可根据标记后方非本车道标签的车辆识别范围识别后方非本车道目标车辆。

具体而言，由于目标车辆相对于TOF传感器的距离和位置随时间总是变化的，而路面、隔离带相对于TOF传感器的距离和位置随时间近似是不变化的。因此可利用两幅不同时刻获取的深度图像创建时间微分深度图像以检测上述距离和位置的变化，进而实际在标记非本车道标签的车辆识别范围识别后方非本车道目标车辆。

S504，根据两两组合的后方车辆识别范围和后方目标点云数据识别标记后方变道目标车辆。

具体地，由于可以识别出后方本车道目标车辆以及后方非本车道目标车辆，从而基于同样的识别方法，根据两两组合的后方车辆识别范围识别后方变道目标车辆。

具体而言，由于目标车辆相对于TOF传感器的距离和位置随时间总是变化的，而路面、隔离带相对于TOF传感器的距离和位置随时间近似是不变化的。因此可利用两幅不同时刻获取的深度图像创建时间微分深度图像以检测上述距离和位置的变化，进而实际在根据两两组合的后方车辆识别范围识别后方变道目标车辆。

当然，除了上述示出的获取目标车辆的识别方法，还可采用其他方式获取目标车辆，作为一种可能的实现方式，在上述步骤S109后识别出前方目标车辆的目标边界后，分别将每个车辆识别范围内检出的目标边界投影至图像的行坐标轴上，并在行坐标轴上进行一维查找，即可确定该车辆识别范围内所有前方目标车辆的纵向目标边界所占的行数和行坐标范围，以及确定横向目标边界的所占的列数和行坐标位置。

其中，纵向目标边界指占有像素行数多并且列数少的目标边界，横向目标边界指有占有像素行数少并且列数多的目标边界。

进而，根据该车辆识别范围内所有的横向目标边界所占的列数、行坐标位置，在该车辆识别范围内查找所有纵向目标边界的列坐标位置(也即相应横向目标边界的列坐标起始位置和终点位置)，并根据目标边界包含一致的距离信息的原则区分不同目标车辆的目标边界，从而确定该车辆识别范围内所有前方目标车辆的位置和距离信息。

因此，检测获取前方目标车辆的目标边界即可唯一确定该前方目标车辆形成的深度子图像在深度图像中的位置，从而唯一确定该前方目标车辆的距离信息。

根据此示例的边界检测方法可以同时检测多个前方目标车辆及其距离信息，进而在标记本车道标签的车辆识别范围内识别前方本车道目标车辆，在标记非本车道标签的车辆识别范围内识别前方非本车道目标车辆，在两两组合的车辆识别范围内识别前方变道目标车辆。

基于同样的原理，也可对后方目标车辆进行识别，在此不再赘述。

其中，作为获取后方目标车辆的另外一种实现方式，在上述步骤S107中获取多个后方目标点云数据后，根据激光雷达的安装参数将点云数据投影到第三图像中以获取后方目标点云数据，该后方目标点云数据例如是关于主体车辆的物理世界坐标系原点的X、Y、Z坐标的数据，而第三图像中的后方车辆识别范围是关于主体车辆的物理世界坐标系原点的X、Y坐标的数据范围，因此可以首先将后方目标点云数据中的在后方车辆识别范围以外的数据抛弃，以减少后方目标点云数据的数据量。

其中，在实际应用中，减少后的后方目标点云数据仍然包含部分地面反射激光形成的点云数据，可以通过后方目标点云数据中的Z坐标数据将该部分地面反射激光形成的点云数据抛弃，以使得基本只保留了后方若干目标车辆反射激光形成的点云数据，即获取了后方目标车辆点云数据。

进一步地，可以将在标记后方本车道标签的车辆识别范围内的后方目标车辆点云数据例如根据X、Y坐标进行二维轮廓的聚类获取同一个目标车辆的点云数据集合，例如使用k-means等本领域技术人员所熟悉的聚类方法，从而根据标记后方本车道标签的车辆识别范围和后方目标点云数据识别了后方本车道目标车辆。

同理，根据上述方法可以根据标记后方非本车道标签的车辆识别范围和后方目标点云数据识别后方非本车道目标车辆，根据两两组合的后方车辆识别范围和后方目标点云数据识别后方变道目标车辆。

综上所述，本发明实施例的车辆行驶自动控制方法，准确识别前方和后方目标车辆，以便于根据前方目标车辆和后方目标车辆对主体车辆进行行车控制，为保证行车安全提供保证。

基于以上实施例，为了更加清楚的说明，在上述步骤S111中，如何根据前方目标车辆的运动参数和转向灯，以及后方目标车辆对主体车辆的运动参数进行巡航控制，下面结合具体地应用场景，说明本实施例中识别和监控主体车辆的前方本车道目标车辆从打转向灯到完成变道至非本车道的连续过程。

具体地，根据标记前方本车道标签的车辆识别范围识别前方本车道目标车辆，根据两两组合的前方车辆识别范围识别前方变道目标车辆，并且，根据车灯识别区域识别相应目标车辆的转向灯，可以识别和监控前方本车道目标车辆从打转向灯到完成变道至非本车道的连续过程，而该目标车辆在该连续变道过程中的持续时间、相对主体车辆的距离、相对速度和横向位移等运动参数也容易被监控，从而根据该目标车辆的该运动参数可以用于控制主体车辆。

在识别到前方本车道目标车辆的右转向灯亮起时，该目标车辆的左侧目标边界到前方本车道左侧车道线的像素距离经相机投影关系换算确定为横向距离P，经过连续获取N幅不同时刻的第一图像和第二图像(获取一幅第一图像或第二图像的时间为T)，期间识别并记录该目标车辆的距离R的变化，并可以通过对该目标车辆的距离R相对T的变化计算该目标车辆的相对速度V。

识别到该目标车辆刚好完成变道至前方本车道右侧的非本车道，此时该目标车辆的左侧目标边界到前方本车道右侧车道线重合，本车道宽度为D，因此，该前方目标车辆在该连续变道过程中的运动参数为持续时间N×T、相对主体车辆的距离为R、相对速度V和横向位移为(D-P)。

需要强调的是，上述识别的横向位移以本车道的左右车道线为参考，无论该目标车辆变道时处于直道或是弯道、无论目标车辆向左或向右变道都可以识别准确，从而为主体车辆自适应巡航***提供准确的控制依据。

进一步地，传统的仅依靠激光雷达的车辆自适应巡航***识别的目标车辆的横向位移是以主体车辆为参考的，以主体车辆为参考识别的目标车辆的横向位移有时将不能提供给车辆自适应巡航***准确的运动控制依据。

图6是根据本发明一个实施例的车辆行驶自动控制方法的场景示意图。

如图6所示，当本车道前方目标车辆从本车道完成向右变道正好处在向左弯的弯道时，位于直道上传统车辆的激光雷达仍可能识别该前方目标车辆部分处于本车道上，上述弯道曲率半径250米，上述前方目标车辆变道过程中在弯道上行驶了25米，与该前方目标车辆的左侧目标边界重合的本车道右侧车道线在弯道25米处已经相对该车道线的直道延长线向左偏移了

若此时上述传统车辆的激光雷达识别到该目标车辆的距离为50米至80米，即上述传统车辆的激光雷达位于直道上并且距离弯道入口仍有25米至55米的距离，上述传统车辆的激光雷达在缺乏弯道先验知识的情况下将识别到该前方目标车辆仍然约有1.25米宽度的车身在本车道上，并且随着该目标车辆继续沿着向左弯道减速行驶，上述传统车辆的激光雷达识别到该目标车辆有更大宽度的车身在本车道上，即上述传统车辆的激光雷达将产生了不准确的识别并将导致该传统车辆自适应巡航***执行连续的不准确和不必要的制动，从而导致该传统车辆与其后方目标车辆的追尾碰撞风险增大。

同理，上述传统车辆的激光雷达对上述本车道目标车辆在向右弯道上从本车道完成向左变道的识别也存在不准确性。

上述传统车辆的激光雷达为了解决上述识别的不准确性，要么增加相机帮助识别车道线，要么增加方位角的识别精度，总之将提高***复杂度和成本。

因此根据上述示例，根据本发明识别的目标车辆的运动参数和相应识别目标车辆的转向灯，可以识别到本车道目标车辆减速变道至主体车辆非本车道的工况，使得主体车辆的运动参数控制***可以减少不必要的制动调整，从而减少了由于主体车辆的不必要的制动调整导致的追尾碰撞风险。

同理，根据上述示例，本发明也可以识别和监控非本车道目标车辆从打转向灯到完成变道至本车道的连续过程，而该前方目标车辆在该连续变道过程中的持续时间、相对主体车辆的距离、相对速度和横向位移等运动参数也容易被监控，从而该前方目标车辆的该运动参数可以用于控制主体车辆的运动参数以更早做出制动调整并提高行驶安全性、并更早地控制车灯警示后方目标车辆以减少追尾碰撞风险。

图7是根据本发明另一个实施例的车辆行驶自动控制方法的场景示意图。

例如图7所示，主体车辆在本车道直道以定速模式行驶，并且距离弯道入口仍有55米(或至25米)的距离，该弯道向右弯曲并且曲率半径为250米，在距离弯道入口前方25米本车道右侧有一辆非本车道前方目标车辆正在打左转向灯向本车道变道，并且该目标车辆的左侧目标边界已经与本车道的右侧车道线重合。

根据上述示例，本发明将可以准确识别该前方目标车辆正在向本车道变道，由于该目标车辆距离主体车辆约80米(或至50米)，本发明可以控制主体车辆的动力***准确地执行动力输出减小甚至制动的动作、及时亮起刹车灯，以保证主体车辆与前方、后方目标车辆的安全距离，从而提高了主体车辆的行驶安全性和减少了追尾碰撞风险。

然而，传统的仅依靠激光雷达的车辆自适应巡航***识别的目标车辆的横向位移是以主体车辆为参考的，在缺乏弯道先验知识的情况下将识别该前方目标车辆距离本车道右侧车道线的延长线还约有米的横向距离，即错误地识别该前方目标车辆需要继续向左横向位移约1.25米上述激光雷达才能确认该前方目标车辆开始进入本车道。

若该前方目标车辆横向位移速度为1米每秒，则上述传统的仅依靠激光雷达的车辆自适应巡航***将在该前方目标车辆实际进入本车道约1.25秒以后才能执行动力输出减小甚至制动的动作，这无疑减少了主体车辆与前方、后方目标车辆的安全距离，导致了主体车辆的行驶安全性下降和增加了追尾碰撞风险。

因此，根据上述示例，根据识别的目标车辆的运动参数和相应识别目标车辆的转向灯，可以识别到非本车道目标车辆减速变道至主体车辆本车道的工况，使得主体车辆的运动参数控制***和安全***可以更早做出调整，提高了主体车辆及其乘员的行驶安全性，使得主体车辆的车灯***可以更早做出调整以提醒后方目标车辆，为后方目标车辆提供了更多的制动或调整时间，更有效地减少了追尾碰撞风险。

综上所述，本发明实施例的车辆行驶自动控制方法，提高了主体车辆及其乘员的行驶安全性，使得主体车辆的车灯***可以更早做出调整以提醒后方目标车辆，为后方目标车辆提供了更多的制动或调整时间，更有效地减少了追尾碰撞风险。

为实现上述目的，本发明还提出一种车辆行驶自动控制装置。图8是根据本发明第一个实施例的车辆行驶自动控制装置的结构示意图，如图8所示，该车辆行驶自动控制装置包括：第一获取模块1010、第二获取模块1020、第三获取模块1030、第一生成模块1040、第一识别模块1050、第二生成模块1060、第四获取模块1070、第二识别模块1080和控制模块1090。

其中，第一获取模块1010，用于从前置3D相机获取主体车辆前方环境的第一图像和第二图像，其中，第一图像为彩色或亮度图像，第二图像为深度图像。

在本发明的一个实施例中，第一获取模块1010从前置3D相机的图像传感器获取主体车辆前方环境的第一图像。

在本发明的一个实施例中，第一获取模块1010从前置3D相机的飞行时间传感器获取主体车辆前方环境的第二图像。

第二获取模块1020，用于根据第一图像获取前方公路车道线。

在本发明的一个实施例中，第二获取模块1020在第一图像为亮度图像时，根据第一图像中前方公路车道线与路面的亮度差异识别前方公路车道线。

在本发明的一个实施例中，第二获取模块1020在第一图像为彩色图像时，将彩色图像转换为亮度图像，根据第一图像中前方公路车道线与路面的亮度差异识别前方公路车道线。

第三获取模块1030，用于根据第一图像的成像参数和前方公路车道线获取第三图像和后方公路车道线。

第一生成模块1040，用于根据第一图像和第二图像之间的交织映射关系将前方公路车道线映射至第二图像中生成多个前方车辆识别范围。

第一识别模块1050，用于根据所有前方车辆识别范围识别前方目标车辆。

第二生成模块1060，用于根据第三图像和后方公路车道线生成多个后方车辆识别范围。

第四获取模块1070，用于从激光雷达获取点云数据，根据所述激光雷达的安装参数将所述点云数据投影到所述第三图像中以获取后方目标点云数据。

第二识别模块1080，用于根据所有后方车辆识别范围和所述后方目标点云数据识别后方目标车辆。

控制模块1090，用于根据前方目标车辆的运动参数和转向灯，以及后方目标车辆对主体车辆的运动参数进行巡航控制。

在本发明的一个实施例中，控制模块1090根据前方目标车辆的运动参数识别到前方非本车道目标车辆减速变道至本车道的工况，以使主体车辆的运动参数控制***提前进行制动调整，以及使主体车辆的车灯***提醒后方目标车辆。

在本发明的一个实施例中，图9是根据本发明第二个实施例的车辆行驶自动控制装置的结构示意图，如图9所示，在如图8所示的基础上，该车辆行驶自动控制装置还包括第三生成模块1100和第三识别模块1110。

其中，第三生成模块1100，用于根据前方目标车辆生成前方目标车辆范围，根据第一图像和第二图像之间的交织映射关系将前方目标车辆范围映射至第一图像中生成前方车灯识别区域。

在本发明的一个实施例中，第三生成模块1100根据前方目标车辆的目标边界围成的闭合区域生成前方目标车辆范围。

在本发明的一个实施例中，第三生成模块1100根据前方目标车辆的目标边界的延伸的围成的闭合区域生成前方目标车辆范围。

在本发明的一个实施例中，第三生成模块1100根据前方目标车辆的多个像素位置连线围成的闭合区域生成前方目标车辆范围。

第三识别模块1110，用于根据前方车灯识别区域识别相应前方目标车辆的转向灯。

在本发明的一个实施例中，第三识别模块1110，根据前方车灯识别区域中车尾灯的颜色、闪烁频率或闪烁序列识别相应前方目标车辆的转向灯。

在本实施例中，控制模块1090根据前方目标车辆的运动参数和转向灯识别到前方本车道目标车辆减速变道至前方非本车道的工况，以使主体车辆的运动参数控制***不进行制动调整。

需要说明的是，前述对车辆行驶自动控制方法的解释说明，也适用于本发明实施例的车辆行驶自动控制装置，其实现原理类似，在此不再赘述。

综上所述，本发明实施例的车辆行驶自动控制装置，从前置3D相机获取主体车辆前方环境的第一图像和第二图像，获取前公路车道线，并根据第一图像的成像参数和前方公路车道线获取第三图像和后方公路车道线，根据第一图像和第二图像之间的交织映射关系将前方公路车道线映射至第二图像中生成多个前方车辆识别范围，以根据前方车辆识别范围识别前方目标车辆，根据第三图像和后方公路车道线生成多个后方车辆识别范围，且从激光雷达获取后方目标点云数据，根据后方目标点云数据识别出后方目标车辆，最终根据前方目标车辆的运动参数，以及后方目标车辆对主体车辆的运动参数进行巡航控制。由此，准确识别公路车道线，且结合激光雷达获取的数据获知主体车辆的车道环境信息，根据具体车道环境信息对主体车辆进行巡航控制，保证了行车安全。

图10是根据本发明第三个实施例的车辆行驶自动控制装置的结构示意图，如图10所示，在图9所示的基础上，第二获取模块1020包括创建单元1021、第一检测单元1022和二检测单元1023。

其中，创建单元1021，用于根据第一图像的亮度信息和预设的亮度阈值创建前方公路车道线的二值图像。

第一检测单元1022，用于根据预设的检测算法在二值图像中检测出直道实线车道线的全部边缘像素位置或检测出弯道实线车道线的全部边缘像素位置；

第二检测单元1023，用于根据预设的检测算法在二值图像中检测出直道虚线车道线的全部边缘像素位置或检测出弯道虚线车道线的全部边缘像素位置。

需要说明的是，前述对车辆行驶自动控制方法的解释说明，也适用于本发明实施例的车辆行驶自动控制装置，其实现原理类似，在此不再赘述。

综上所述，本发明实施例的车辆行驶自动控制装置，根据第一图像的亮度信息和预设的亮度阈值创建前方公路车道线的二值图像，根据预设的检测算法在二值图像中检测出直道实线车道线的全部边缘像素位置或检测出弯道实线车道线的全部边缘像素位置，根据预设的检测算法在二值图像中检测出直道虚线车道线的全部边缘像素位置或检测出弯道虚线车道线的全部边缘像素位置。由此，可准确识别出公路车道线中直道和弯道的虚线和实线车道线。

图11是根据本发明第四个实施例的车辆行驶自动控制装置的结构示意图，如图11所示，在图9所示的基础上，第三获取模块1030包括：投影单元1031和获取单元1032。

其中，投影单元1031，用于根据第一图像的成像参数将前方公路车道线的全部像素位置投影到主体车辆物理世界坐标系建立第三图像。

获取单元1032，用于将第三图像中的前方公路车道线的位置通过连续时间积累和相对主体车辆物理世界坐标系原点的位移获取后方公路车道线的位置。

需要说明的是，前述对车辆行驶自动控制方法的解释说明，也适用于本发明实施例的车辆行驶自动控制装置，其实现原理类似，在此不再赘述。

综上所述，本发明实施例的车辆行驶自动控制装置，根据第一图像的成像参数将前方公路车道线的全部像素位置投影到主体车辆物理世界坐标系建立第三图像，将第三图像中的前方公路车道线的位置通过连续时间积累和相对主体车辆物理世界坐标系原点的位移将获取后方公路车道线的位置。由此，准确获知了后方车道线的位置，便于根据后方车道线的位置对车辆进行相关控制，为保证行驶安全奠定基础。

图12是根据本发明第五个实施例的车辆行驶自动控制装置的结构示意图，如图12所示，在图9所示的基础上，第一识别模块1050包括第一标记单元1051、第一识别单元1052、第二识别单元1053、第三识别单元1054。

其中，第一标记单元1051，用于对所有前方车辆识别范围标记前方本车道和前方非本车道的标签。

第一识别单元1052，用于根据标记前方本车道标签的车辆识别范围识别前方本车道目标车辆。

第二识别单元1053，用于根据标记前方非本车道标签的车辆识别范围识别前方非本车道目标车辆。

第三识别单元1054，用于根据两两组合的前方车辆识别范围识别前方变道目标车辆。

图13是根据本发明第六个实施例的车辆行驶自动控制装置的结构示意图，如图13所示，在图9所示的基础上，第二识别模块1080包括：第二标记单元1081、第四识别单元1082、第五识别单1083和第六识别单元1084。

其中，第二标记单元1081，用于对所有后方车辆识别范围标记后方本车道和后方非本车道的标签。

第四识别单元1082，用于根据标记后方本车道标签的车辆识别范围和后方目标点云数据识别标记后方本车道目标车辆。

第五识别单元1083，用于根据标记后方非本车道标签的车辆识别范围和后方目标点云数据识别标记后方非本车道目标车辆。

第六识别单元1084，用于根据两两组合的后方车辆识别范围和后方目标点云数据识别标记后方变道目标车辆。

需要说明的是，前述对车辆行驶自动控制方法的解释说明，也适用于本发明实施例的车辆行驶自动控制装置，其实现原理类似，在此不再赘述。

综上所述，本发明实施例的车辆行驶自动控制装置，准确识别前方和后方目标车辆，以便于根据前方目标车辆和后方目标车辆对主体车辆进行行车控制，为保证行车安全提供保证。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (24)

1.一种车辆行驶自动控制方法，其特征在于，包括：

从前置3D相机获取主体车辆前方环境的第一图像和第二图像，其中，第一图像为彩色或亮度图像，第二图像为深度图像；

根据所述第一图像获取前方公路车道线；

根据所述第一图像的成像参数和所述前方公路车道线获取第三图像和后方公路车道线；

根据所述第一图像和所述第二图像之间的交织映射关系将所述前方公路车道线映射至所述第二图像中生成多个前方车辆识别范围；

根据所有前方车辆识别范围识别前方目标车辆；

根据所述第三图像和所述后方公路车道线生成多个后方车辆识别范围；

从激光雷达获取点云数据，根据所述激光雷达的安装参数将所述点云数据投影到所述第三图像中以获取后方目标点云数据；

根据所有后方车辆识别范围和所述后方目标点云数据识别后方目标车辆；

根据所述前方目标车辆的运动参数，以及所述后方目标车辆对所述主体车辆的运动参数进行巡航控制。

2.如权利要求1所述的方法，其特征在于，所述从前置3D相机获取主体车辆前方环境的第一图像和第二图像，包括：

从前置3D相机的图像传感器获取主体车辆前方环境的第一图像；

从前置3D相机的飞行时间传感器获取主体车辆前方环境的第二图像。

3.如权利要求1所述的方法，其特征在于，所述根据所述第一图像获取前方公路车道线，包括：

当所述第一图像为亮度图像，根据所述第一图像中前方公路车道线与路面的亮度差异识别所述前方公路车道线；或者，

当所述第一图像为彩色图像，将所述彩色图像转换为亮度图像，根据所述第一图像中前方公路车道线与路面的亮度差异识别所述前方公路车道线。

4.如权利要求3所述的方法，其特征在于，所述根据所述第一图像中前方公路车道线与路面的亮度差异识别所述前方公路车道线，包括：

根据所述第一图像的亮度信息和预设的亮度阈值创建所述前方公路车道线的二值图像；

根据预设的检测算法在所述二值图像中检测出直道实线车道线的全部边缘像素位置或检测出弯道实线车道线的全部边缘像素位置；

根据预设的检测算法在所述二值图像中检测出直道虚线车道线的全部边缘像素位置或检测出弯道虚线车道线的全部边缘像素位置。

5.如权利要求1所述的方法，其特征在于，所述根据所述第一图像的成像参数和所述前方公路车道线获取第三图像和后方公路车道线，包括：

根据所述第一图像的成像参数将所述前方公路车道线的全部像素位置投影到所述主体车辆物理世界坐标系建立第三图像；

将所述第三图像中的前方公路车道线的位置通过连续时间积累和相对主体车辆物理世界坐标系原点的位移获取所述后方公路车道线的位置。

6.如权利要求1所述的方法，其特征在于，所述根据所有前方车辆识别范围识别前方目标车辆，包括：

对所有前方车辆识别范围标记前方本车道和前方非本车道的标签；

根据标记前方本车道标签的车辆识别范围识别前方本车道目标车辆；

根据标记前方非本车道标签的车辆识别范围识别前方非本车道目标车辆；

根据两两组合的前方车辆识别范围识别前方变道目标车辆。

7.如权利要求1所述的方法，其特征在于，所述根据所有后方车辆识别范围和所述后方目标点云数据识别后方目标车辆，包括：

对所有后方车辆识别范围标记后方本车道和后方非本车道的标签；

根据标记后方本车道标签的车辆识别范围和所述后方目标点云数据识别标记后方本车道目标车辆；

根据标记后方非本车道标签的车辆识别范围和所述后方目标点云数据识别标记后方非本车道目标车辆；

根据两两组合的后方车辆识别范围和所述后方目标点云数据识别标记后方变道目标车辆。

8.如权利要求1所述的方法，其特征在于，还包括：

根据所述前方目标车辆生成前方目标车辆范围，根据所述第一图像和所述第二图像之间的交织映射关系将所述前方目标车辆范围映射至所述第一图像中生成前方车灯识别区域；

根据所述前方车灯识别区域识别相应前方目标车辆的转向灯；

所述根据所述前方目标车辆的运动参数，以及所述后方目标车辆对所述主体车辆的运动参数进行巡航控制，包括：

根据所述前方目标车辆的运动参数和转向灯，以及所述后方目标车辆对所述主体车辆的运动参数进行巡航控制。

9.如权利要求8所述的方法，其特征在于，所述根据所述前方目标车辆生成前方目标车辆范围，包括：

采用图像处理算法中的边界检测方法检测前方目标车辆的目标边界进行识别。

10.如权利要求8所述的方法，其特征在于，所述根据所述前方目标车辆生成前方目标车辆范围，包括：

根据所述前方目标车辆的目标边界围成的闭合区域生成前方目标车辆范围；或者，

根据所述前方目标车辆的目标边界的延伸的围成的闭合区域生成前方目标车辆范围；或者，

根据所述前方目标车辆的多个像素位置连线围成的闭合区域生成前方目标车辆范围。

11.如权利要求8所述的方法，其特征在于，所述根据所述前方车灯识别区域识别相应前方目标车辆的转向灯，包括：

根据所述前方车灯识别区域中车尾灯的颜色、闪烁频率或闪烁序列识别相应前方目标车辆的转向灯。

12.如权利要求8所述的方法，其特征在于，所述根据所述前方目标车辆的运动参数和转向灯，以及所述后方目标车辆对所述主体车辆的运动参数进行巡航控制，包括：

根据所述前方目标车辆的运动参数和转向灯识别到前方非本车道目标车辆减速变道至本车道的工况，以使所述主体车辆的运动参数控制***提前进行制动调整，以及使所述主体车辆的车灯***提醒后方目标车辆；

或者，

根据所述前方目标车辆的运动参数和转向灯识别到前方本车道目标车辆减速变道至前方非本车道的工况，以使所述主体车辆的运动参数控制***不进行制动调整。

13.一种车辆行驶自动控制装置，其特征在于，包括：

第一获取模块，用于从前置3D相机获取主体车辆前方环境的第一图像和第二图像，其中，第一图像为彩色或亮度图像，第二图像为深度图像；

第二获取模块，用于根据所述第一图像获取前方公路车道线；

第三获取模块，用于根据所述第一图像的成像参数和所述前方公路车道线获取第三图像和后方公路车道线；

第一生成模块，用于根据所述第一图像和所述第二图像之间的交织映射关系将所述前方公路车道线映射至所述第二图像中生成多个前方车辆识别范围；

第一识别模块，用于根据所有前方车辆识别范围识别前方目标车辆；

第二生成模块，用于根据所述第三图像和所述后方公路车道线生成多个后方车辆识别范围；

第四获取模块，用于从激光雷达获取点云数据，根据所述激光雷达的安装参数将所述点云数据投影到所述第三图像中以获取后方目标点云数据；

第二识别模块，用于根据所有后方车辆识别范围和所述后方目标点云数据识别后方目标车辆；

控制模块，用于根据所述前方目标车辆的运动参数，以及所述后方目标车辆对所述主体车辆的运动参数进行巡航控制。

14.如权利要求13所述的装置，其特征在于，所述第一获取模块用于：

从前置3D相机的图像传感器获取主体车辆前方环境的第一图像；

从前置3D相机的飞行时间传感器获取主体车辆前方环境的第二图像。

15.如权利要求13所述的装置，其特征在于，所述第二获取模块用于：

在所述第一图像为亮度图像时，根据所述第一图像中前方公路车道线与路面的亮度差异识别所述前方公路车道线；或者，

在所述第一图像为彩色图像时，将所述彩色图像转换为亮度图像，根据所述第一图像中前方公路车道线与路面的亮度差异识别所述前方公路车道线。

16.如权利要求15所述的装置，其特征在于，所述第二获取模块包括：

创建单元，用于根据所述第一图像的亮度信息和预设的亮度阈值创建所述前方公路车道线的二值图像；

第一检测单元，用于根据预设的检测算法在所述二值图像中检测出直道实线车道线的全部边缘像素位置或检测出弯道实线车道线的全部边缘像素位置；

第二检测单元，用于根据预设的检测算法在所述二值图像中检测出直道虚线车道线的全部边缘像素位置或检测出弯道虚线车道线的全部边缘像素位置。

17.如权利要求13所述的装置，其特征在于，所述第三获取模块包括：

投影单元，用于根据所述第一图像的成像参数将所述前方公路车道线的全部像素位置投影到所述主体车辆物理世界坐标系建立第三图像；

获取单元，用于将所述第三图像中的前方公路车道线的位置通过连续时间积累和相对主体车辆物理世界坐标系原点的位移获取所述后方公路车道线的位置。

18.如权利要求13所述的装置，其特征在于，所述第一识别模块包括：

第一标记单元，用于对所有前方车辆识别范围标记前方本车道和前方非本车道的标签；

第一识别单元，用于根据标记前方本车道标签的车辆识别范围识别前方本车道目标车辆；

第二识别单元，用于根据标记前方非本车道标签的车辆识别范围识别前方非本车道目标车辆；

第三识别单元，用于根据两两组合的前方车辆识别范围识别前方变道目标车辆。

19.如权利要求13所述的装置，其特征在于，所述第二识别模块包括：

第二标记单元，用于对所有后方车辆识别范围标记后方本车道和后方非本车道的标签；

第四识别单元，用于根据标记后方本车道标签的车辆识别范围和所述后方目标点云数据识别标记后方本车道目标车辆；

第五识别单元，用于根据标记后方非本车道标签的车辆识别范围和所述后方目标点云数据识别标记后方非本车道目标车辆；

第六识别单元，用于根据两两组合的后方车辆识别范围和所述后方目标点云数据识别标记后方变道目标车辆。

20.如权利要求13所述的装置，其特征在于，还包括：

第三生成模块，用于根据所述前方目标车辆生成前方目标车辆范围，根据所述第一图像和所述第二图像之间的交织映射关系将所述前方目标车辆范围映射至所述第一图像中生成前方车灯识别区域；

第三识别模块，用于根据所述前方车灯识别区域识别相应前方目标车辆的转向灯；

所述控制模块还用于：

根据所述前方目标车辆的运动参数和转向灯，以及所述后方目标车辆对所述主体车辆的运动参数进行巡航控制。

21.如权利要求20所述的装置，其特征在于，所述第三生成模块用于：

采用图像处理算法中的边界检测方法检测前方目标车辆的目标边界进行识别。

22.如权利要求20所述的装置，其特征在于，所述第三生成模块用于：

根据所述前方目标车辆的目标边界围成的闭合区域生成前方目标车辆范围；或者，

根据所述前方目标车辆的目标边界的延伸的围成的闭合区域生成前方目标车辆范围；或者，

根据所述前方目标车辆的多个像素位置连线围成的闭合区域生成前方目标车辆范围。

23.如权利要求20所述的装置，其特征在于，所述第三识别模块用于：

根据所述前方车灯识别区域中车尾灯的颜色、闪烁频率或闪烁序列识别相应前方目标车辆的转向灯。

24.如权利要求20所述的装置，其特征在于，所述控制模块用于：

根据所述前方目标车辆的运动参数和转向灯识别到前方非本车道目标车辆减速变道至本车道的工况，以使所述主体车辆的运动参数控制***提前进行制动调整，以及使所述主体车辆的车灯***提醒后方目标车辆；

或者，

根据所述前方目标车辆的运动参数和转向灯识别到前方本车道目标车辆减速变道至前方非本车道的工况，以使所述主体车辆的运动参数控制***不进行制动调整。