CN114419603A - 一种自动驾驶车辆控制方法、***和自动驾驶车辆 - Google Patents

Abstract

本申请实施例公开了一种自动驾驶车辆控制方法、***和自动驾驶车辆。该自动驾驶车辆控制方法包括：根据自动驾驶车辆上的摄像头采集的数据，得到一个或多个图像；输入一个或多个图像至目标检测模型和语义分割模型，得到一个或多个图像的第一目标的标注信息，以及一个或多个图像的第二目标的标注信息；其中，第一目标包括障碍物，第二目标包括车道线、斑马线，以及可行驶区域中的至少一个；融合第一目标的标注信息和第二目标的标注信息，得到图像的标注信息；根据图像的标注信息确定车辆控制信息，并根据车辆控制信息控制自动驾驶车辆行驶。用以提高车辆自动驾驶的安全性。

Description

一种自动驾驶车辆控制方法、***和自动驾驶车辆

技术领域

本发明涉及车辆领域，特别是涉及一种自动驾驶车辆控制方法、***和自动驾驶车辆。

背景技术

随着科技的发展，车辆逐渐成为人们生活的一部分，特别是自动驾驶得到了人们广泛地关注。

自动驾驶的车辆上通常会装载传感器，车辆通过这些传感器采集数据获取车辆的周围环境信息。例如，通过装载在自动驾驶的车辆上的摄像头采集数据，自动驾驶的车辆利用这些数据获得周围环境信息，并利用周围环境信息进行决策和控制，以实现自动驾驶。然而，目前通过摄像头采集到的数据得到周围环境信息较少，导致决策和控制的准确性较低，从而导致自动驾驶的安全性较低。

发明内容

有鉴于此，本申请提供一种自动驾驶车辆控制方法、***和自动驾驶车辆，用以提高车辆自动驾驶的安全性。

第一方面，本申请提供一种自动驾驶车辆控制方法，该方法包括：

根据自动驾驶车辆上的摄像头采集的数据，得到一个或多个图像；

输入一个或多个图像至目标检测模型和语义分割模型，分别得到一个或多个图像的第一目标的标注信息，以及一个或多个图像的第二目标的标注信息；其中，第一目标包括障碍物，第二目标包括车道线、斑马线，以及可行驶区域中的至少一个；

融合第一目标的标注信息和第二目标的标注信息，得到图像的标注信息；

根据图像的标注信息确定车辆控制信息，并根据车辆控制信息控制自动驾驶车辆行驶。

利用本申请实施例的技术方案，能够得到车辆周围的障碍物的标注信息，以及车道线、斑马线，以及可行驶区域中的至少一个的标注信息，为车辆的决策和控制提供更多的信息，从而提高自动驾驶的安全性。

自动驾驶车辆根据障碍物，以及车道线、斑马线，以及可行驶区域中至少一个的信息，进行决策和控制，从而在自动驾驶过程中提高安全性。

另外，采用本申请实施例的技术方案，对两种识别模型进行识别，并将两个识别结果融合输出，以提高识别结果的准确性，从而提高自动驾驶的安全性。

在一些可能的实现方式中，目标检测模型包括YOLOv5目标检测模型。

在一些可能的实现方式中，目标检测模型包括Deeplabv3语义分割模型。

在一些可能的实现方式中，第一目标还包括交通信号灯。

在一些可能的实现方式中，在输入一个或多个图像至目标检测模型和语义分割模型，得到一个或多个图像的第一目标的标注信息，以及一个或多个图像的第二目标的标注信息之前，方法还包括：

降低语义分割模型的精度。

在一些可能的实现方式中，在输入一个或多个图像至目标检测模型和语义分割模型，得到一个或多个图像的第一目标的标注信息，以及一个或多个图像的第二目标的标注信息之前，方法还包括：

降低目标检测模型的精度。

第二方面，本申请提供一种自动驾驶车辆控制***，***包括摄像头和环境感知单元、车辆决策单元，以及车辆控制单元，其中：

摄像头装配于自动驾驶车辆上，用于采集数据；

环境感知单元用于：根据自动驾驶车辆上的摄像头采集的数据，得到一个或多个图像；输入一个或多个图像至目标检测模型和语义分割模型，得到一个或多个图像的第一目标的标注信息，以及一个或多个图像的第二目标的标注信息；其中，第一目标包括障碍物，第二目标包括车道线、斑马线，以及可行驶区域中的至少一个；

车辆决策单元，用于根据图像的标注信息确定车辆控制信息，图像的标注信息是融合第一目标的标注信息和第二目标的标注信息得到的；

车辆控制单元，用于根据车辆控制信息控制自动驾驶车辆行驶。

在一些可能的实现方式中，目标检测模型包括YOLOv5目标检测模型，和/或，目标检测模型包括Deeplabv3语义分割模型。

第三方面，本申请提供一种自动驾驶车辆，自动驾驶车辆包括如上述任一的自动驾驶车辆控制***。

第四方面，本申请提供一种计算机可读存储介质，计算机可读存储介质用于存储计算机程序，计算机程序用于执行如上述任一的自动驾驶车辆控制方法。

附图说明

图1A为本申请实施例提供的自动驾驶车辆控制方法的流程图；

图1B为本申请实施例提供的获取私有数据集的示意图；

图1C为本申请实施例提供的得到图像的标注信息的示意图；

图2为本申请实施例提供的自动驾驶车辆控制***的结构示意图。

具体实施方式

自动驾驶车辆通过摄像头采集数据，以获取车辆的周围环境信息。然而，目前通过摄像头采集到的数据得到周围环境信息较少，导致决策和控制的准确性较低，从而导致自动驾驶的安全性较低。

基于此，在申请人提供的本申请实施例中，首先根据自动驾驶车辆上的摄像头采集的数据，得到一个或多个图像；然后将得到的一个或多个图像输入至目标检测模型和语义分割模型，得到这一个或多个图像的第一目标的标注信息，以及这一个或多个图像的第二目标的标注信息。第一目标包括障碍物，第二目标包括车道线、斑马线，以及可行驶区域中的至少一个。融合第一目标的标注信息和第二目标的标注信息，得到图像的标注信息，并根据图像的标注信息确定车辆控制信息，根据车辆控制信息控制自动驾驶车辆行驶。

由此可见，本申请实施例具有如下有益效果：

利用本申请实施例的技术方案，能够得到车辆周围的障碍物的标注信息，以及车道线、斑马线，以及可行驶区域中的至少一个的标注信息，为车辆的决策和控制提供更多的信息，从而提高自动驾驶的安全性。

例如，识别车辆周围的障碍物，以控制车辆在行驶时避开障碍物，实现车辆避障。通过标注信息车道线、斑马线或可行驶区域，能够得到车道线、斑马线或可行驶区域的信息。根据车道线的信息，控制车辆在车道上行驶，降低车辆在行驶过程中频繁变道，或者压线行驶的情况；根据车道线的信息，还可以进一步确定当前和/或相邻车道的信息，例如，确定车道的类型(单行车道、直行车道、左转车道等)，从而控制车辆在符合交通规则的车道上行驶；根据斑马线的信息，可以控制车辆行驶至斑马线附近时降低车速等，从而提高自动驾驶的安全性。

自动驾驶车辆根据障碍物，以及车道线、斑马线，以及可行驶区域中至少一个的信息，进行决策和控制，从而在自动驾驶过程中提高安全性。

另外，采用本申请实施例的技术方案，对两种识别模型进行识别，并将两个识别结果融合输出，以提高识别结果的准确性，从而提高自动驾驶的安全性。

具体地，对于障碍物，由于其在驾驶场景中的远近距离不同，在车载摄像头中的显示大小，也即在图像中所占像素不同，且交通障碍物的种类多，对于控制***来讲，我们所需要的信息也是具体的坐标位置，从而能映射回实际的物理坐标。目标检测模型对图像中的大目标和小目标以及检测的种类都有很好的包容度，检测的种类覆盖广，且对大目标和小目标的检测均能涵盖，其目标检测的结果返回的不仅有障碍物的种类信息，还有坐标信息，坐标能提供给决策控制***，从而映射回实际物理坐标，用于辅助决策***控制车辆行驶。

对于斑马线、车道线和可驾驶区域，其在车载摄像头采集的视频图像数据中，所占比例较大，也就是说对于一副自动驾驶的场景图像，斑马线、车道线、可驾驶区域这三种信息在图像中所占像素比例较高，而语义分割模型能对图像中的逐个像素进行分类，有很强的分类能力，因此能较好区分一副车载摄像头所采集图像中的斑马线、车道线、可驾驶区域等信息。

为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请实施例作进一步详细的说明。

为了便于理解本申请实施例提供的技术方案，首先对本申请实施例中的术语进行介绍。

目标检测：对图像中需要的关键物体进行检测的技术，能获取到物体在图像中的位置信息、物体类别信息。

语义分割：对图像中的像素点进行类别划分，可将像素点归类到某个具体类别，例如图像中一些像素点归属于车辆，一些像素点归属于行人，语义分割方法将这些物体对应的像素点识别归类出来。

数据增强：利用各种图像处理方法，使原有数据集增大，解决图片数据量不足、数据不均衡等问题。

机器学习(Machine Learning,ML)：对于机器学习通常有三种常见的定义。第一、机器学习是一门人工智能的科学，该领域的主要研究对象是人工智能，特别是如何在经验学习中改善具体算法的性能；第二、机器学习是对能通过经验自动改进的计算机算法的研究；第三、机器学习是用数据或以往的经验，以此优化计算机程序的性能标准。

深度学习(Deep Learning,DL)：深度学习是机器学习领域中的一个研究方向。通常，深度学习是学习样本数据的内在规律和表示层次，通过学习过程获得的信息，对诸如文字、图像和声音等数据的解释有很大的帮助。深度学习的目的是让机器能够像人一样具有分析和学习能够力，对文字图像和声音等数据进行识别。深度学习算法通常是较为复杂的机器学习算法。

深度学习模型：由基础的深度学习模块构成，每种模块负责不同的功能，最终组成一个统一的模型。通过不同的方式构建模型，使得模型的功能不同，将数据送入模型后，能得到对应的结果。

目标检测算法：对于图像来说，目标检测通常用于确定图片中有什么目标，以及目标分别在哪里。目标检测算法用于实现目标检测。例如，通过目标检测算法，在图像中用矩形框将得到的目标物体框住。

语义分割算法：对于图像来说，语义分割通常需要区分图像中的各个像素点，不同的像素点可能属于不同的目标。

单精度(FP32精度)：在单精度32位格式中，1位用于指示数字为正数还是负数。指数保留了8位，这是因为它为二进制，将2进到高位。其余23位用于表示组成该数字的数字，称为有效数字。

半精度(FP16精度)：半精度的格式与上述单精度的格式类似。最左边的一位仍是符号位，指数有5位宽且以余-16(excess-16)的形式存储，尾数有10位宽，但具有隐含1。其中，尾数可以理解为是一个浮点数小数点后的数，如1.11，尾数就为1100000000(1)，最后的隐含1主要用于计算时，隐含1可能存在可以进位的情况。

为了便于理解本申请实施例提供的技术方案，首先对本申请实施例常见的应用场景进行介绍。

按照功能进行划分，用以实现车辆自动驾驶的模块可以包括环境感知模块、控制决策算法模块，以及运动控制模块。

在自动驾驶车辆上会装载各种类型传感器，例如激光雷达、毫米波雷达、车载摄像头、鱼眼相机等，车辆使用这些传感器来采集周围环境相关的数据。车辆为了完成自动驾驶任务，通常需要通过环境感知模块利用传感器采集的数据，对周围环境进行感知，得到周围环境信息。例如检测车辆周围的障碍物，并记录得到的信息。环境感知模块将这些信息提供给控制决策算法模块，为控制算法提供较为精准的周围环境信息，例如，为控制决策算法提供车载摄像头中拍摄到的物体信息，使自动驾驶车辆获取到周围车辆行人信息和道路信息。控制决策算法模块根据相关信息确定控制和决策的结果，以使运动控制模块对车辆进行对应的控制。

为了便于理解本申请实施例提供的技术方案，下面结合附图对本申请实施例提供的一种环境感知方法、环境感知***和自动驾驶车辆进行说明。

虽然附图中显示了本申请的示例性实施例，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施例所限制。基于本申请中的实施例，本领域技术人员在没有作出创造性贡献前提下所获得的其他实施例，都属于本申请的保护范围。

在本申请的权利要求书和说明书以及说明书附图中，术语“包括”和“具有”以及它们的任何变形，目的在于覆盖不排他的包含。

本申请提供了一种自动驾驶车辆控制方法。

参见图1A，图1A为本申请实施例提供的自动驾驶车辆控制方法的流程图。

如图1A所示，本实施例提供的自动驾驶车辆控制方法包括S101-S104。

S101、根据自动驾驶车辆上的摄像头采集的数据，得到一个或多个图像。

自动驾驶车辆指的是进行自动驾驶的车辆。

摄像头装配在自动驾驶车辆上，用于采集数据。

一个或多个图像指的是摄像头采集到的图像，或者摄像头采集到的数据经过处理后得到的图像。

上述一个或多个图像是用于进行后续的处理，以得到自动驾驶车辆的周围环境信息。

S102、输入图像至目标检测模型和语义分割模型，分别得到图像中的第一目标的标注信息，以及图像的第二目标的标注信息。

S102中的图像指的是S101中得到的一个或多个图像。

目标检测模型用于对图像进行目标检测，得到图像中的第一目标的标注信息(目标检测的结果)。

语义分割模型用于对图像进行目标检测语义分割，得到图像中的第二目标的标注信息(语义分割的结果)。

对于目标检测模型和语义分割模型来说，模型的输入是相同的，均是S101中的一个或多个图像。

第一目标包括障碍物。这里的障碍物指的是车辆行驶时周围环境中的障碍物。

图像中的第一目标可以是在一个图像中的一个障碍物，或者多个障碍物。

第二目标包括车道线、斑马线，以及可行驶区域中的至少一个。

可行驶区域指的是车辆可以正常行驶的区域。

图像中的第二目标可以是在一个图像中的一个或多个车道线、一个或多个斑马线，以及一个或多个可行驶区域。

对于第一目标和第二目标具体包括的目标的种类和个数，本实施例对此并不做限定。

目标检测模型的输入为图像，目标检测模型的输出为第一目标的标注信息。

语义分割模型的输入为图像，语义分割模型的输出为第二目标的标注信息。

S103、融合第一目标的标注信息和第二目标的标注信息，得到图像的标注信息。

第一目标的标注信息用于表征第一目标在图像中的信息；第二目标的标注信息用于表征第二目标在图像中的信息。

输入图像至目标检测模型和语义分割模型，并融合两个模型的输出，也即融合两个模型得到的标注信息，从而得到图像的标注信息。

S104、根据图像的标注信息确定车辆控制信息，并根据车辆控制信息控制自动驾驶车辆行驶。

利用本申请实施例的技术方案，能够得到车辆周围的障碍物的标注信息，以及车道线、斑马线，以及可行驶区域中的至少一个的标注信息，为车辆的决策和控制提供更多的信息，从而提高自动驾驶的安全性。

自动驾驶车辆根据障碍物，以及车道线、斑马线，以及可行驶区域中至少一个的信息，进行决策和控制，从而在自动驾驶过程中提高安全性。

另外，采用本申请实施例的技术方案，对两种识别模型进行识别，并将两个识别结果融合输出，以提高识别结果的准确性，从而提高自动驾驶的安全性。

本申请还提供了另一种自动驾驶车辆控制方法。本申请实施例的自动驾驶车辆控制方法包括S201-S208，该方法用以实现车辆的自动驾驶。

S201、获取第一目标检测模型和第一语义分割模型。

第一目标检测模型用于在图像中识别和定位第一目标。第一目标可以包括障碍物(车辆和行人等)和交通信号灯等。

对于交通信号灯的检测，用以控制车辆根据信号灯的指示行驶。

第一语义分割模型用于对图像进行语义分割，确定图像中的第二目标。第二目标可以包括车道线、斑马线和车辆可驾驶区域等。

第一目标识别模型和第一语义分割模型可以为初始的模型。

具体地，对于障碍物和交通信号灯，由于其在驾驶场景中的远近距离不同，在车载摄像头中的显示大小，也即在图像中所占像素不同，且交通障碍物和交通信号灯的种类多，对于控制***来讲，我们所需要的信息也是具体的坐标位置，从而能映射回实际的物理坐标。目标检测模型对图像中的大目标和小目标以及检测的种类都有很好的包容度，检测的种类覆盖广，且对大目标和小目标的检测均能涵盖，其目标检测的结果返回的不仅有障碍物和交通信号灯的种类信息，还有坐标信息，坐标能提供给决策控制***，从而映射回实际物理坐标，用于辅助决策***控制车辆行驶。

对于斑马线、车道线和可驾驶区域，其在车载摄像头采集的视频图像数据中，所占比例较大，也就是说对于一副自动驾驶的场景图像，斑马线、车道线、可驾驶区域这三种信息在图像中所占像素比例较高，而语义分割模型能对图像中的逐个像素进行分类，有很强的分类能力，因此能较好区分一副车载摄像头所采集图像中的斑马线、车道线、可驾驶区域等信息。

第一目标检测模型是利用第一目标检测数据集训练得到的，第一语义分割模型是利用第一语义分割数据集训练得到的。

第一目标检测数据集和第一语义分割数据集中的图像可以是相同的，也可以是不同的。

在一些可能的情况中，第一目标检测数据集和第一语义分割数据集中的图像是相同的，此时，两个模型利用的图像的标注信息是不同的。

在一些可能的情况中，第一目标检测数据集和第一语义分割数据集可以是公开的自动驾驶数据集。

S202、利用车辆上的摄像头采集数据，得到图像集。

上述图像集中包括至少一张图像。

通常由车辆上的摄像头采集到的数据为视频数据，因此在摄像头采集得到视频数据之后，可以对视频数据进行抽帧处理，得到视频数据中的一张或多张图像，将得到的图像作为上述图像集中的图像，得到上述图像集。

进一步地，还可以对上述一张或多张图像进行筛选，从而得到上述图像集。

具体地，可以根据预设条件，对上述一张或多张图像进行筛选。

例如，可以是从上述一张或多张图像中，筛选出包含目标物体的图像，或者筛选出图像参数符合预设参数的图像，从而得到上述图像集，以降低需要处理的数据量。

上述包含目标物体的图像，例如，图像中包含车辆、行人等目标物体(也即筛选掉无场景图像)。

上述图像参数符合预设参数的图像，例如为图像的亮度超过预设的亮度阈值；或者图像的清晰度超过预设的清晰度阈值(也即筛选掉模糊的图像)等。

在一些可能的情况中，上述采集数据的摄像头可以是车载单目摄像头。

在S202中的车辆可以是专门用于采集数据的车辆，也可以是具有自动驾驶功能的车辆，本实施例对此不做限定。

在一些可能的情况中，可以是针对不同的行驶场景拍摄的图像。

S203、分别输入图像集中的图像至第一目标检测模型和第一语义分割模型，得到第二目标检测数据集和第二语义分割数据集。

将图像集中的图像数据作为第一目标检测模型的输入，得到第一目标的标注信息；第二目标检测数据集包含上述图像集中的图像，以及图像中第一目标的标注信息。

将图像集中的图像数据作为第一语义分割模型的输入，得到第二目标的标注信息；第二语义分割数据集包含上述图像集中的图像，以及图像中第二目标的标注信息。

在实际应用中，第一目标检测模型和第一语义分割模型的标注信息，可能是较为准确的，也可能是较为不准确的。

因此，可以对第一目标检测模型的标注信息进行筛选，得到包含准确标注信息的第三目标检测数据集，对第一语义分割模型的标注信息进行筛选，得到包含准确标注信息的第三语义分割数据集。

在一些可能的情况中，可以根据预设的准确性条件，确定模型的标注信息是否是准确的。

具体地，第三目标检测数据集包含上述图像集中的图像(部分或全部)，以及图像对应的第一目标检测模型的标注信息，该标注信息符合预设的准确性条件；第三语义分割数据集包含上述图像集中的图像(部分或全部)，以及图像对应的第一语义分割模型的标注信息，该标注信息符合预设的准确性条件。

在一些可能的情况中，还可以获取在图像集中，模型的标注信息不符合准确性条件的图像。

进一步地，对于第一目标检测模型和第一语义识别的标注信息不符合预设的准确性条件的图像，还可以采用其他方式得到较为准确的标注信息。例如，通过人工标注。

此时，可以确定第四目标检测数据集和第四语义分割数据集。

第四目标检测数据集和第四语义分割数据集中，图像的标注信息是经过上述其他方式(例如人工标注)得到的。

在一些可能的实现方式中，可以在第二目标检测数据集中，标注信息不准确的数据，替换成第四目标检测数据集的数据；可以在第二语义分割数据集中，标注信息不准确的数据，替换成第四语义分割数据集的数据，以提高第二目标检测数据集中数据的准确性。

在一些可能的情况中，第一目标检测数据集和第一语义分割数据集可以是公开的自动驾驶数据集，可以理解为公开数据集，例如可以是发布在网络上的数据。在本实施例中，由于图像集中的数据是由于车辆的摄像头拍摄的，第二目标检测数据集和第二语义分割数据集，可以理解为私有数据集。

对于上述得到私有数据集的过程，可以参见图1B，图1B为本申请实施例提供的获取私有数据集的示意图。

以下结合图1B对获取私有数据集进行简要说明，详细的内容已经在上述内容中进行说明。

如图1B所示，利用公开数据集进行模型训练，得到感知模型，这里的感知模型包括用于目标检测的模型和用于语义分割的模型，也即上述说明中的第一目标检测模型和第一语义分割模型。

利用摄像头采集视频数据，对视频进行抽帧和筛选处理，得到图像。

利用感知模型对得到的图像进行识别，得到识别结果。

识别结果可以分为识别准确结果和识别模糊结果，识别模糊结果也即不准确的结果。

将识别准确结果进行保存，并将识别模糊结果对应的图片进行人工标注，得到人工标注的结果。

识别准确结果和人工标注得到的结果组成私有数据集。

S204、利用第二目标检测数据集训练第一目标检测模型，得到第二目标检测模型；利用第二语义分割数据集训练第一语义分割模型，得到第二语义分割模型。

第二目标检测模型和第二语义分割模型，分别是第一目标检测模型和第一语义分割模型经过训练后的模型。训练的数据分别来自第二目标检测数据集和第二语义分割数据集。

在一些可能的实现方式中，在训练模型的过程中，使用第一精度。

例如单精度(FP32精度)训练第一目标检测模型和第一语义分割模型。也即，经过训练后，得到FP32精度的第二目标检测模型，以及FP32精度的第二语义分割模型。

在一些可能的实现方式中，融合第一目标检测数据集和第二目标检测数据集，并利用融合后的数据集再次训练第二目标检测模型；还可以融合第一语义分割数据集和第二语义分割数据集，并利用融合后的数据集再次训练第二语义分割模型，以提高模型预测的准确性。

对于自动驾驶技术来说，为了利用深度学习的建模能力，通常需要有较好的数据集，目前存在一些公共的自动驾驶数据集。采用本实施例的技术方案，利用私有的数据集，或者将公共数据集和车辆采集数据一起利用，能够提高模型的性能。例如，在采集数据得到上述图像集时，可以有针对性地设置车辆行驶场景，从而使得利用私有的数据集后，优化模型的性能，提高模型的准确性。

在本实施例中，利用两个模型的标注信息，能够较为充分地利用车载影像中的有效信息，为控制决策算法提供了较为快速准确的关键信息。

以下为本实施例提供的第二目标检测模型和第二语义分割模型的结构的一种实现方式。

第二目标检测模型可以为YOLOv5目标检测模型。

YOLOv5目标检测模型可以分为三部分，第一部分为主干网络，负责抽取图像特征；第二部分为颈部网络，负责融合特征；第三部分为头部网络，负责具体任务处理。

在本实施例中，主干网络可以由Focus、Darknet53、BottleneckCSP、SPP深度学习模块组成；颈部网络可以采用PANet模块，头部网络可以采用CNN模块。

进一步地，在使用数据集对目标检测模型训练过程中，可以使用马赛克数据增强方式，使模型训练效果更好。马赛克数据增强，指的是将四张图像拼接成一张图像的形式。

第二语义分割模型可以为Deeplabv3语义分割模型。

Deeplabv3语义分割模型可以分为两部分。第一部分为编码器，可以使用空洞卷积和卷积神经网络作为编码器；第二部分为解码器，可以使用上采样模块和卷积神经网络作为解码器。使用数据集对编码器和解码器进行训练，得到训练后的模型。

S205、部署第二目标检测模型和第二语义分割模型。

部署第二目标检测模型和第二语义分割模型，以使车辆在自动驾驶的过程中，第二目标检测模型和第二语义分割模型实现功能。

在训练模型时，为了优化模型的性能，可以利用较高的精度进行训练，例如得到FP32精度的第二目标检测模型，以及FP32精度的第二语义分割模型。

通常对于模型的训练是在服务器上完成的。由于车辆的计算能力有限，可以在部署模型时，可以对模型的精度进行优化，以适应车辆的硬件条件。

也即，在车辆上部署第二目标检测模型和第二语义分割模型，并在部署时减低第二目标检测模型和第二语义分割模型的精度。

具体地，将第一精度的模型转化为第二精度的模型，第一精度大于第二精度。

例如，第一精度为单精度(FP32精度)，第二精度为半精度(FP16精度)。

此时，降低模型的精度，得到FP16精度的第二目标检测模型，以及FP16精度的第二语义分割模型。

考虑到实时性和模型精度，在本实施例的技术方案中，在模型训练阶段采用FP32精度进行模型的训练；在模型部署阶段采用FP16精度进行部署。在部署模型时，模型精度稍微有略微损失，但是模型实时性提高，模型的大小有所缩减。

也即，通过转换模型精度减小模型大小，从而利用模型得到识别结果的速度。

以下为本实施例提供的部署第二目标检测模型和第二语义分割模型的一种实现方式。

在一些可能的实现方式中，可以将深度学习感知模型部署到车载影像识别模块，其中，深度学习感知模型包括：第二目标检测模型、第二语义分割模型、图像预处理模块和结果融合模块。

通过将深度学习感知模型部署到车载影像识别模块，实现对于第二目标检测模型和第二语义分割模型的部署。

在自动驾驶过程中，车载摄像头采集到数据并送入车载影像识别模块，车载影像模块将数据送入深度学习感知模型，得到最终识别结果，最后将识别结果送入控制决策算法。识别结果包括对于第一目标和第二目标的标注信息。

具体地，深度学习感知模型的识别结果，是融合第二目标检测模型和第二语义分割模型的标注信息得到的。

以下对车载影像识别模块中的图像预处理模块和结果融合模块进行说明。

由于车载摄像头通常采集到的是视频数据，用于模型处理的数据通常书是图像数据。上述图像预处理模块可以用于对视频数据进行抽帧，得到多帧图片；还可以用于将上述多帧图片分别输入至模块进行处理。

在一些可能的情况中，对于抽帧车载摄像头采集到的视频数据得到的图像，图像的分辨率不一定符合模型处理的要求。因此，上述图像预处理模块可以用于调整抽帧得到的图像的分辨率。例如，抽帧得到的图像的分辨率通常具有较大，上述图像预处理模块用于降低图像的分辨率，以满足模型处理的要求。

结果融合模块可以用于将第二目标检测模型和第二语义分割模型得到结果进行融合。具体地，结果融合模块可以用于将目标检测结果和语义分割结果在同一张图像上进行标注，得到融合后的标注信息。

在一些可能的实现方式中，还可以融合上述第一目标检测数据集和上述第二目标检测数据集，并利用融合后的数据集，对上述深度学习感知模型进行训练，以优化模型的性能。

可以理解地是，上述对于模型训练和模型部署的相关过程(S201-S205)，在自动驾驶过程中可以不用进行。

S206、输入图像至第二目标检测模型和第二语义分割模型，得到图像的第一目标的标注信息，输入图像至第二语义分割模型，得到图像的第二目标的标注信息。

输入至模型的图像是根据自动驾驶车辆采集到的数据得到的，例如，由自动驾驶车辆上的摄像头采集到图像，或者由自动驾驶车辆上的摄像头采集到的数据，经过处理后得到图像(例如对视频经过抽帧处理得到图像)。

第一目标包括障碍物和交通信号灯；第二目标包括车道线、斑马线和可行驶区域。

S207、融合第一目标的标注信息和第二目标的标注信息，得到图像的标注信息。

在融合第一目标的标注信息和第二目标的标注信息后，根据图像的标注信息，能够得到该图像第一目标的标注信息和第二目标的标注信息。

例如，第一目标的标注信息的表示为：在图像上用矩形框显示第一目标；第二目标的标注信息的表示为：在图像上用不同颜色显示不同的第二目标。融合后，当图像同时包含第一目标和第二目标，图像的标注信息的表示为：在该图像上用矩形框显示第一目标，且在该图像上用不同颜色显示不同的第二目标。

参见以上的说明，在一种可能的实现方式中，深度学习感知模型包括第二目标检测模型、第二语义分割模型、图像预处理模块和结果融合模块。

此时，S206和S207即为：输入图像至深度学习感知模型，得到图像的标注信息；其中，图像的标注信息是融合第一目标的标注信息和第二目标的标注信息得到的。

以下结合附图对得到图像的标注信息进行说明。

参见图1C，图1C为本申请实施例提供的得到图像的标注信息的示意图。

如图1C所示，图片经过预处理之后，分别进入目标检测模型和语义分割模型进行处理，也即进入上述第二目标检测模型和上述第二语义分割模型进行处理，得到的结果进行融合(可以由上述结果融合模块完成)，得到图像的标注信息。

可以理解地是，用于处理自动驾驶车辆采集到的数据对应的图像的模型，可以是转换精度后的模型。也即，图像经过预处理后，利用转换精度后的模型进行处理，得到目标的标注信息，融合图像中目标的标注信息后得到图像的标注信息。

S208、根据图像的标注信息确定车辆控制信息，并根据车辆控制信息控制自动驾驶车辆行驶。

得到上述图像的标注信息后，可以利用标注信息得到自动驾驶车辆的周围环境信息，从而能够根据周围环境信息进行决策和控制，实现车辆自动驾驶。

利用本申请实施例的技术方案，能够得到车辆周围的障碍物的标注信息，以及车道线、斑马线，以及可行驶区域中的至少一个的标注信息，为车辆的决策和控制提供更多的信息，从而提高自动驾驶的安全性。

自动驾驶车辆根据障碍物，以及车道线、斑马线，以及可行驶区域中至少一个的信息，进行决策和控制，从而在自动驾驶过程中提高安全性。

另外，采用本申请实施例的技术方案，对两种识别模型进行识别，并将两个识别结果融合输出，以提高识别结果的准确性，从而提高自动驾驶的安全性。

本申请还提供了一种自动驾驶车辆控制***。

请参见图2，图2为本申请实施例提供的自动驾驶车辆控制***的结构示意图。

如图2所示，本实施例的自动驾驶车辆控制***200包括摄像头201和环境感知单元202、车辆决策单元203，以及车辆控制单元204，以提高车辆自动驾驶的安全性。

摄像头201装配于自动驾驶车辆上，用于采集数据。

环境感知单元202用于根据自动驾驶车辆上的摄像头201采集的数据，得到一个或多个图像；输入一个或多个图像至目标检测模型和语义分割模型，得到一个或多个图像的第一目标的标注信息，以及一个或多个图像的第二目标的标注信息；其中，第一目标包括障碍物，第二目标包括车道线、斑马线，以及可行驶区域中的至少一个。

车辆决策单元203用于根据图像的标注信息确定车辆控制信息，图像的标注信息是融合第一目标的标注信息和第二目标的标注信息得到的。

车辆控制单元204用于根据车辆控制信息控制自动驾驶车辆行驶。

进一步地，本实施例中的目标检测模型可以为YOLOv5目标检测模型；目标检测模型可以为Deeplabv3语义分割模型。

上述环境感知***所包括的设备和单元所能够达到的技术效果，已在以上实施例中进行说明，为避免重复，这里不再赘述。

本申请还提供了一种自动驾驶车辆。

本实施例中的自动驾驶车辆包括以上任一实施例的自动驾驶车辆控制***，以提高车辆自动驾驶的安全性。

自动驾驶车辆所包括的自动驾驶车辆控制***的结构，以及能够实现的技术效果，已在以上实施例中进行说明，为避免重复，这里不再赘述。

在本申请的实施例中，还提供一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行上述自动驾驶车辆控制方法，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种自动驾驶车辆控制方法，其特征在于，所述方法包括：

根据自动驾驶车辆上的摄像头采集的数据，得到一个或多个图像；

输入所述一个或多个图像至目标检测模型和语义分割模型，分别得到所述一个或多个图像的第一目标的标注信息，以及所述一个或多个图像的第二目标的标注信息；其中，所述第一目标包括障碍物，所述第二目标包括车道线、斑马线，以及可行驶区域中的至少一个；

融合所述第一目标的标注信息和所述第二目标的标注信息，得到图像的标注信息；

根据所述图像的标注信息确定车辆控制信息，并根据所述车辆控制信息控制所述自动驾驶车辆行驶。

2.根据权利要求1所述的方法，其特征在于，所述目标检测模型包括YOLOv5目标检测模型。

3.根据权利要求1所述的方法，其特征在于，所述目标检测模型包括Deeplabv3语义分割模型。

4.根据权利要求1所述的方法，其特征在于，所述第一目标还包括交通信号灯。

5.根据权利要求1所述的方法，其特征在于，在所述输入所述一个或多个图像至目标检测模型和语义分割模型，得到所述一个或多个图像的第一目标的标注信息，以及所述一个或多个图像的第二目标的标注信息之前，所述方法还包括：

降低所述语义分割模型的精度。

6.根据权利要求1所述的方法，其特征在于，在所述输入所述一个或多个图像至目标检测模型和语义分割模型，得到所述一个或多个图像的第一目标的标注信息，以及所述一个或多个图像的第二目标的标注信息之前，所述方法还包括：

降低所述目标检测模型的精度。

7.一种自动驾驶车辆控制***，其特征在于，所述***包括摄像头和环境感知单元、车辆决策单元，以及车辆控制单元，其中：

所述摄像头装配于自动驾驶车辆上，用于采集数据；

所述环境感知单元用于：根据自动驾驶车辆上的摄像头采集的数据，得到一个或多个图像；输入所述一个或多个图像至目标检测模型和语义分割模型，得到所述一个或多个图像的第一目标的标注信息，以及所述一个或多个图像的第二目标的标注信息；其中，所述第一目标包括障碍物，所述第二目标包括车道线、斑马线，以及可行驶区域中的至少一个；

所述车辆决策单元，用于根据图像的标注信息确定车辆控制信息，所述图像的标注信息是融合所述第一目标的标注信息和所述第二目标的标注信息得到的；

所述车辆控制单元，用于根据所述车辆控制信息控制所述自动驾驶车辆行驶。

8.根据权利要求7所述的***，其特征在于，所述目标检测模型包括YOLOv5目标检测模型，和/或，所述目标检测模型包括Deeplabv3语义分割模型。

9.一种自动驾驶车辆，其特征在于，所述自动驾驶车辆包括如权利要求7至8任一项所述的自动驾驶车辆控制***。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行权利要求1至6任一项所述的自动驾驶车辆控制方法。

Images