CN114078242A - 基于自动驾驶的感知决策模型升级方法及*** - Google Patents

基于自动驾驶的感知决策模型升级方法及*** Download PDF

Info

Publication number
CN114078242A
CN114078242A CN202210057249.0A CN202210057249A CN114078242A CN 114078242 A CN114078242 A CN 114078242A CN 202210057249 A CN202210057249 A CN 202210057249A CN 114078242 A CN114078242 A CN 114078242A
Authority
CN
China
Prior art keywords
information
scene
preset
model
decision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210057249.0A
Other languages
English (en)
Inventor
李国庆
邓文武
宋升弘
卢红喜
金晨
周俊杰
衡阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Geely Holding Group Co Ltd
Geely Automobile Research Institute Ningbo Co Ltd
Original Assignee
Zhejiang Geely Holding Group Co Ltd
Geely Automobile Research Institute Ningbo Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Geely Holding Group Co Ltd, Geely Automobile Research Institute Ningbo Co Ltd filed Critical Zhejiang Geely Holding Group Co Ltd
Priority to CN202210057249.0A priority Critical patent/CN114078242A/zh
Publication of CN114078242A publication Critical patent/CN114078242A/zh
Priority to PCT/CN2022/083064 priority patent/WO2023137864A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/08Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0808Diagnosing performance data

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于自动驾驶的感知决策模型升级方法及***,所述方法包括:获取待测试道路场景信息;基于预设感知决策模型对待测试道路场景信息进行失效分析,获得车辆感知决策信息;根据车辆感知决策信息确定感知决策失效数据;根据感知决策失效数据对预设感知决策模型进行模型升级。相较于现有技术中需要针对性的对不同量产的车型进行模型训练,而本发明中通过自动驾驶***数据的闭环设计,可以根据车辆感知决策信息对应的感知决策失效数据对预设感知决策模型进行模型升级,从而提升了量产车型功能和算法的可靠性。

Description

基于自动驾驶的感知决策模型升级方法及***
技术领域
本发明涉及车辆技术领域,尤其涉及一种基于自动驾驶的感知决策模型升级方法及***。
背景技术
随着人工智能技术的发展,汽车电动化、智能化技术也将衍生全新的变化。L3级及以上的自动驾驶功能对车辆智能化程度及功能备份有着更高的要求,目前各大主机厂及新造车势力均投入了大量的资源进行算法及功能的验证。尽管如此,对不同的新量产车型而言,其可量产的自动驾驶模型训练仍需频频投入不菲的研发、测试资源。
上述内容仅用于辅助理解本发明的技术方案,并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供了一种基于自动驾驶的感知决策模型升级方法及***,旨在解决如何提升量产车型功能和算法的可靠性的技术问题。
为实现上述目的,本发明提供了一种基于自动驾驶的感知决策模型升级方法,所述基于自动驾驶的感知决策模型升级方法包括:
获取待测试道路场景信息;
基于预设感知决策模型对所述待测试道路场景信息进行失效分析,获得车辆感知决策信息;
根据所述车辆感知决策信息确定感知决策失效数据;
根据所述感知决策失效数据对所述预设感知决策模型进行模型升级。
可选地,所述获取待测试道路场景信息的步骤之前,还包括:
获取多个驾驶操控数据样本及多个场景化环境数据样本;
基于多个所述驾驶操控数据样本对初始决策规控模型进行训练,获得预设决策规控模型;
基于多个所述场景化环境数据样本对初始感知模型进行训练,获得预设感知模型;
根据所述预设决策规控模型及所述预设感知模型构建预设感知决策模型。
可选地,所述获取多个驾驶操控数据样本及多个场景化环境数据样本的步骤,包括:
获取多个道路场景样本信息;
将多个所述道路场景样本信息输入至预设场景流识别模型中,获得多个场景流识别信息;
判断多个所述场景流识别信息是否满足预设识别条件;
在多个所述场景识别流信息满足所述预设识别条件时,分别对多个所述场景流识别信息进行数据清洗,获得多个驾驶操控数据样本及多个场景化环境数据样本。
可选地,所述判断多个所述场景流识别信息是否满足预设识别条件的步骤之后,还包括:
在多个所述场景识别流信息不满足所述预设识别条件时,对多个所述道路场景样本信息进行数据清洗,获得多个待处理场景样本数据;
分别对多个所述待处理场景样本数据进行场景流标注,获得多个待训练场景样本数据;
根据多个所述待训练场景样本数据对预设场景流识别模型进行模型升级。
可选地,所述根据所述车辆感知决策信息确定感知决策失效数据的步骤之前,包括:
判断所述车辆感知决策信息是否满足预设失效条件;
在所述车辆感知决策信息满足所述预设失效条件时,执行所述根据所述车辆感知决策信息确定感知决策失效数据的步骤。
可选地,所述判断所述车辆感知决策信息是否满足预设失效条件的步骤之后,还包括:
在所述车辆感知决策信息不满足所述预设失效条件时,根据所述车辆感知决策信息生成模型功能评估报告;
根据所述模型功能评估报告对所述预设感知决策模型进行量产部署,以获得多个车辆感知决策信息;
对多个所述车辆感知决策信息进行失效分析,获得多个感知决策失效数据;
基于多个所述感知决策失效数据对所述预设感知决策模型进行升级。
可选地,所述基于多个所述感知决策失效数据对所述预设感知决策模型进行升级的步骤,包括:
分别对多个所述感知决策失效数据进行标注,获得多个感知决策标注数据;
根据多个所述感知决策标注数据对所述预设感知决策模型进行升级。
此外,为实现上述目的,本发明还提出一种基于自动驾驶的感知决策模型升级***,所述基于自动驾驶的感知决策模型升级***包括:
获取模块,用于获取待测试道路场景信息;
分析模块,用于基于预设感知决策模型对所述待测试道路场景信息进行失效分析,获得车辆感知决策信息;
确定模块,用于根据所述车辆感知决策信息确定感知决策失效数据;
升级模块,用于根据所述感知决策失效数据对所述预设感知决策模型进行模型升级。
可选地,所述基于自动驾驶的感知决策模型升级***还包括构建模块;
所述构建模块,用于获取多个驾驶操控数据样本及多个场景化环境数据样本;
所述构建模块,还用于基于多个所述驾驶操控数据样本对初始决策规控模型进行训练,获得预设决策规控模型;
所述构建模块,还用于基于多个所述场景化环境数据样本对初始感知模型进行训练,获得预设感知模型;
所述构建模块,还用于根据所述预设决策规控模型及所述预设感知模型构建预设感知决策模型。
可选地,所述获取模块,还用于获取多个道路场景样本信息;
所述获取模块,还用于将多个所述道路场景样本信息输入至预设场景流识别模型中,获得多个场景流识别信息;
所述获取模块,还用于判断多个所述场景流识别信息是否满足预设识别条件;
所述获取模块,还用于在多个所述场景识别流信息满足所述预设识别条件时,分别对多个所述场景流识别信息进行数据清洗,获得多个驾驶操控数据样本及多个场景化环境数据样本。
本发明首先获取待测试道路场景信息,然后基于预设感知决策模型对待测试道路场景信息进行失效分析,获得车辆感知决策信息,之后根据车辆感知决策信息确定感知决策失效数据,并根据感知决策失效数据对预设感知决策模型进行模型升级。相较于现有技术中需要针对性的对不同量产的车型进行模型训练,而本发明中通过自动驾驶***数据的闭环设计,可以根据车辆感知决策信息对应的感知决策失效数据对预设感知决策模型进行模型升级,从而提升了量产车型功能和算法的可靠性。
附图说明
图1为本发明基于自动驾驶的感知决策模型升级方法第一实施例的流程示意图;
图2为本发明基于自动驾驶的感知决策模型升级方法第一实施例的场景化索引与数据清洗***原理图;
图3为本发明基于自动驾驶的感知决策模型升级方法第二实施例的流程示意图;
图4为本发明基于自动驾驶的感知决策模型升级方法第二实施例的算法数据驱动与闭环自动化***原理图;
图5为本发明基于自动驾驶的感知决策模型升级***第一实施例的结构框图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
本发明实施例提供了一种基于自动驾驶的感知决策模型升级方法,参照图1,图1为本发明基于自动驾驶的感知决策模型升级方法第一实施例的流程示意图。
本实施例中,所述基于自动驾驶的感知决策模型升级方法包括以下步骤:
步骤S10:获取待测试道路场景信息。
易于理解的是,本实施例的执行主体可以是具有图像处理、数据处理、网络通讯和程序运行等功能的基于自动驾驶的感知决策模型升级设备,其中,基于自动驾驶的感知决策模型升级***中包括场景化索引与数据清洗***和算法数据驱动与闭环自动化***等,也可以为其他具有相似功能的计算机设备等,本实施例并不加以限制。
待测试道路场景信息可以为车辆在行驶时采集的道路环境信息等。获取待测试道路场景信息的步骤之前,还需要获取多个驾驶操控数据样本及多个场景化环境数据样本,基于多个驾驶操控数据样本对初始决策规控模型进行训练,获得预设决策规控模型,基于多个场景化环境数据样本对初始感知模型进行训练,获得预设感知模型,之后根据预设决策规控模型及预设感知模型构建预设感知决策模型。其中驾驶操控数据样本可以理解为实现无人驾驶是所产生的车辆行驶操控指令,场景化环境数据样本可以为理解为车辆行驶操控指令对应的道路环境信息及天气信息等。
获取多个驾驶操控数据样本及多个场景化环境数据样本的处理方式可以为获取多个道路场景样本信息,将多个道路场景样本信息输入至预设场景流识别模型中,获得多个场景流识别信息,判断多个场景流识别信息是否满足预设识别条件,在多个场景识别流信息满足预设识别条件时,分别对多个场景流识别信息进行数据清洗,获得多个驾驶操控数据样本及多个场景化环境数据样本。预设识别条件可以理解为不存在未识别场景流等。
在具体实现中,在多个场景识别流信息不满足预设识别条件时,对多个道路场景样本信息进行数据清洗,获得多个待处理场景样本数据,分别对多个待处理场景样本数据进行场景流标注,获得多个待训练场景样本数据,根据多个待训练场景样本数据对预设场景流识别模型进行模型升级。
需要说明的是,道路场景样本信息可以理解为道路环境信息、天气环境信息及车辆驾驶操控数据等。场景流识别信息包括常规场景信息、极端场景信息及未识别场景信息等。例如隧道、高速匝道、雨雪雾天等,以及其他边界化难题(Corner-case)数据等。
在具体实现中,可以将多个道路场景样本信息输入至预设场景识别流模型中,并将多个道路场景样本信息进行场景识别和场景索引,分别划分为常规场景索引信息、极端场景索引信息及未识别场景流,若多个道路场景样本信息中存在未识别场景流,判定不满足预设识别条件,并需要对未识别场景流进行环境数据清洗(例如将拍摄图片中的人脸或车牌号进行模糊处理),之后将处理后的场景流进行存储,并对场景流进行标注,最后根据标注后的场景流对预设场景流识别模型进行训练,将训练后的预设场景流识别模型完成空中下载技术(Over the Air Technology,OTA)升级等。
在本实施例中在多个道路场景样本信息中不存在未识别场景流,判定满足预设识别条件,并需要对多个道路场景样本信息进行常规场景索引及极端场景索引,之后对索引后的道路场景样本信息的数据结构化,并将结构化的道路场景样本信息进行环境数据清洗,分别获得多个驾驶操控数据样本及多个场景化环境数据样本,最后还需要将多个驾驶操控数据样本及多个场景化环境数据样本进行分类存储等。
参考图2,图2为本发明基于自动驾驶的感知决策模型升级方法第一实施例的场景化索引与数据清洗***原理图,用户可以通过车辆上安装的传感器采集多个道路场景样本信息,其中道路场景样本信息包括车辆操控数据、道路环境及天气信息等,之后可以将采集的多个道路环境样本信息输入至预设场景流识别模型,以使预设场景流识别模型对多个道路场景样本信息进行场景识别,并根据场景识别结果对多个道路场景样本信息进行分类,并构建常规场景索引、极端场景索引及未识别场景流数据库。在具体实现中,将常规场景索引对应的数据及极端场景索引对应的数据进行数据结构化,并根据结构化后的数据进行分类,获得驾驶操控数据及待处理场景化环境数据,之后需要将待处理场景化环境数据进行环境数据清洗,以获得场景化环境数据,最后将驾驶操控数据和场景化环境数据分别进行存储,并将驾驶操控数据作为驾驶操控数据样本,将场景化环境数据作为场景化环境数据样本等。
应理解的是,还可以将未识别场景流进行环境数据清洗,将清洗后的数据流进行存储,并将清洗后的数据流进行场景标注,将标注后的数据流对预设场景流识别模型进行训练,将训练后的预设场景流识别模型完成OTA升级等。
还需要说明的是,现有的数据采集***,几乎都是对视频流或点云帧数据流按照时间片段(比如按一分钟时长进行切分)强行切分,虽然存储快捷简单,但取用极为不便。主要体现在两个方面:1、无法对数据进行标签化,不利于快速获取期望的场景数据;2、模型训练所需要的特定场景数据流,极有可能会被分段存储于两个切片文件中,因此一般需要特定的可视化软件进行手工甄选、拼接,极大增加了数据筛选的时间和成本。而本实施例中的预设场景流识别模型能够从模型训练的视角,提供端到端的场景化数据,以场景标签作为索引高效存取,极大提升模型训练的数据筛选效率,且按需取场景数据更容易完成特定算法模型的训练和推理算法的评估。在数据采集前端引入场景化索引技术,大大提升后端算法模型训练时的数据筛选与场景选择效率等。
步骤S20:基于预设感知决策模型对所述待测试道路场景信息进行失效分析,获得车辆感知决策信息。
需要说明的是,预设感知决策模型为预设决策规控模型及预设感知模型的组合模型。
在具体实现中需要基于多个驾驶操控数据样本对初始决策规控模型进行训练,获得预设决策规控模型,基于多个场景化环境数据样本对初始感知模型进行训练,获得预设感知模型,之后根据预设决策规控模型及预设感知模型构建预设感知决策模型等。
在本实施例中可以将待测试道路场景信息输入至预设感知决策模型中,获得车辆感知决策信息,车辆感知决策信息可以理解为预设感知决策模型根据待测试道路场景信息输出的环境感知信息及车辆自动驾驶信息等。
步骤S30:根据所述车辆感知决策信息确定感知决策失效数据。
应理解的是,需要判断车辆感知决策信息是否满足预设失效条件,在车辆感知决策信息满足预设失效条件时,根据车辆感知决策信息确定感知决策失效数据。预设失效条件为车辆感知决策信息与待测试道路场景信息对应的驾驶员操作数据集场景化环境数据信息不一致等。
感知决策失效数据为用户对车辆感知决策信息进行失效分析所得到的数据等。例如车辆感知决策信息为A,待测试道路场景信息对应的驾驶员操作数据集场景化环境数据为B,则车辆感知决策信息A与待测试道路场景信息对应的驾驶员操作数据集场景化环境数据B对应不一致,可以将待测试道路场景信息及车辆感知决策信息作为感知决策失效数据等。
步骤S40:根据所述感知决策失效数据对所述预设感知决策模型进行模型升级。
在具体实现中,若车辆感知决策信息不正确,则对感知决策失效数据进行标注,使标注后的失效数据对预设感知决策模型进行训练等。
还需要说明的是,在车辆感知决策信息不满足预设失效条件时,确定车辆感知决策信息是正确,需要根据车辆感知决策信息获取预设感知决策模型的指标及功能评估报告,并基于预设感知决策模型的指标及功能评估报告对预设感知决策模型进行量产部署,以获得多个车辆感知决策信息,之后对多个车辆感知决策信息进行失效分析,获得多个感知决策失效数据,基于多个感知决策失效数据对预设感知决策模型进行升级。
基于多个感知决策失效数据对预设感知决策模型进行升级的处理方式可以为分别对多个感知决策失效数据进行标注,获得多个感知决策标注数据,根据多个感知决策标注数据对预设感知决策模型进行升级等。
在本实施例中,首先获取待测试道路场景信息,然后基于预设感知决策模型对待测试道路场景信息进行失效分析,获得车辆感知决策信息,之后根据车辆感知决策信息确定感知决策失效数据,并根据感知决策失效数据对预设感知决策模型进行模型升级。相较于现有技术中需要针对性的对不同量产的车型进行模型训练,而本实施例中通过自动驾驶***数据的闭环设计,可以根据车辆感知决策信息对应的感知决策失效数据对预设感知决策模型进行模型升级,从而提升了量产车型功能和算法的可靠性,进而提高了用户体验感。
参考图3,图3为本发明基于自动驾驶的感知决策模型升级方法第二实施例的流程示意图。
基于上述第一实施例,在本实施例中,所述步骤S30,还包括:
步骤S301:判断所述车辆感知决策信息是否满足预设失效条件。
预设失效条件为车辆感知决策信息与待测试道路场景信息对应的驾驶员操作数据集场景化环境数据信息不一致等。
在车辆感知决策信息不满足预设失效条件时,确定车辆感知决策信息是正确,需要根据车辆感知决策信息获取预设感知决策模型的指标及功能评估报告,并基于预设感知决策模型的指标及功能评估报告对预设感知决策模型进行量产部署,以获得多个车辆感知决策信息,之后对多个车辆感知决策信息进行失效分析,获得多个感知决策失效数据,基于多个感知决策失效数据对预设感知决策模型进行升级。
基于多个感知决策失效数据对预设感知决策模型进行升级的处理方式可以为分别对多个感知决策失效数据进行标注,获得多个感知决策标注数据,根据多个感知决策标注数据对预设感知决策模型进行升级等。
步骤S302:在所述车辆感知决策信息满足所述预设失效条件时,根据所述车辆感知决策信息确定感知决策失效数据。
感知决策失效数据为用户对车辆感知决策信息进行失效分析所得到的数据等。例如车辆感知决策信息为A,待测试道路场景信息对应的驾驶员操作数据集场景化环境数据为B,则车辆感知决策信息A与待测试道路场景信息对应的驾驶员操作数据集场景化环境数据B对应不一致,可以将待测试道路场景信息及车辆感知决策信息作为感知决策失效数据等。
在具体实现中,若车辆感知决策信息不正确,则判定车辆感知决策信息满足预设失效条件,并根据车辆感知决策信息确定感知决策失效数据,对感知决策失效数据进行标注,使标注后的失效数据对预设感知决策模型进行训练等。
参考图4,图4为本发明基于自动驾驶的感知决策模型升级方法第二实施例的算法数据驱动与闭环自动化***原理图,用户可以将待测试道路场景信息输入至预设感知决策模型中以获得对应的车辆感知决策信息,之后对车辆感知决策信息进行失效分析,在车辆感知决策信息不满足预设失效条件时,确定车辆感知决策信息是正确,需要根据车辆感知决策信息获取预设感知决策模型的指标及功能评估报告,并基于预设感知决策模型的指标及功能评估报告对预设感知决策模型进行量产部署,以获得多个车辆感知决策信息,之后对多个车辆感知决策信息进行失效分析,获得多个感知决策失效数据,分别对多个感知决策失效数据进行失效数据标注,并根据标注后的失效数据对预设感知决策模型进行定制化训练,以实现OTA升级。若车辆感知决策信息不正确,则判定车辆感知决策信息满足预设失效条件,并根据车辆感知决策信息确定感知决策失效数据,对感知决策失效数据进行标注,使标注后的失效数据对预设感知决策模型进行训练等。
还需要说明的是,算法数据驱动与闭环自动化原理图中的闭环设计***支持量产车型的数据采集与算法模型升级。能够收集量产车型在客户使用过程中,部署的算法模型或功能在推理失效情况下的数据(失效时刻前后一分钟内),并对记录的“模式失配”数据进行失效模式分析,并进行针对性的定制化训练,通过OTA方式对软件算法进行升级。能够大大提升量产车型功能和算法的可靠性和用户体验。
在本实施例中,判断车辆感知决策信息是否满足预设失效条件,在车辆感知决策信息满足预设失效条件时,根据车辆感知决策信息确定感知决策失效数据,相较于现有技术中,直接利用得到的车辆感知决策信息,并不会对车辆感知决策信息进一步验证,而本实施例中需要对车辆感知决策信息进行失效分析,从而提升量产车型功能和算法的可靠性,进而保证了预设感知决策模型的准确性。
此外,本发明实施例还提出一种存储介质,所述存储介质上存储有基于自动驾驶的感知决策模型升级程序,所述基于自动驾驶的感知决策模型升级程序被处理器执行时实现如上文所述的基于自动驾驶的感知决策模型升级方法的步骤。
参照图5,图5为本发明基于自动驾驶的感知决策模型升级***第一实施例的结构框图。
如图5所示,本发明实施例提出的基于自动驾驶的感知决策模型升级***包括:
获取模块5001,用于获取待测试道路场景信息。
待测试道路场景信息可以为车辆在行驶时采集的道路环境信息等。获取待测试道路场景信息的步骤之前,还需要获取多个驾驶操控数据样本及多个场景化环境数据样本,基于多个驾驶操控数据样本对初始决策规控模型进行训练,获得预设决策规控模型,基于多个场景化环境数据样本对初始感知模型进行训练,获得预设感知模型,之后根据预设决策规控模型及预设感知模型构建预设感知决策模型。其中驾驶操控数据样本可以理解为实现无人驾驶是所产生的车辆行驶操控指令,场景化环境数据样本可以为理解为车辆行驶操控指令对应的道路环境信息及天气信息等。
获取多个驾驶操控数据样本及多个场景化环境数据样本的处理方式可以为获取多个道路场景样本信息,将多个道路场景样本信息输入至预设场景流识别模型中,获得多个场景流识别信息,判断多个场景流识别信息是否满足预设识别条件,在多个场景识别流信息满足预设识别条件时,分别对多个场景流识别信息进行数据清洗,获得多个驾驶操控数据样本及多个场景化环境数据样本。预设识别条件可以理解为不存在未识别场景流等。
在具体实现中,在多个场景识别流信息不满足预设识别条件时,对多个道路场景样本信息进行数据清洗,获得多个待处理场景样本数据,分别对多个待处理场景样本数据进行场景流标注,获得多个待训练场景样本数据,根据多个待训练场景样本数据对预设场景流识别模型进行模型升级。
需要说明的是,道路场景样本信息可以理解为道路环境信息、天气环境信息及车辆驾驶操控数据等。场景流识别信息包括常规场景信息、极端场景信息及未识别场景信息等。例如隧道、高速匝道、雨雪雾天等,以及其他边界化难题(Corner-case)数据等。
在具体实现中,可以将多个道路场景样本信息输入至预设场景识别流模型中,并将多个道路场景样本信息进行场景识别和场景索引,分别划分为常规场景索引信息、极端场景索引信息及未识别场景流,若多个道路场景样本信息中存在未识别场景流,判定不满足预设识别条件,并需要对未识别场景流进行环境数据清洗(例如将拍摄图片中的人脸或车牌号进行模糊处理),之后将处理后的场景流进行存储,并对场景流进行标注,最后根据标注后的场景流对预设场景流识别模型进行训练,将训练后的预设场景流识别模型完成OTA升级等。
在本实施例中在多个道路场景样本信息中不存在未识别场景流,判定满足预设识别条件,并需要对多个道路场景样本信息进行常规场景索引及极端场景索引,之后对索引后的道路场景样本信息的数据结构化,并将结构化的道路场景样本信息进行环境数据清洗,分别获得多个驾驶操控数据样本及多个场景化环境数据样本,最后还需要将多个驾驶操控数据样本及多个场景化环境数据样本进行分类存储等。
参考图2,图2为本发明基于自动驾驶的感知决策模型升级方法第一实施例的场景化索引与数据清洗***原理图,用户可以通过车辆上安装的传感器采集多个道路场景样本信息,其中道路场景样本信息包括车辆操控数据、道路环境及天气信息等,之后可以将采集的多个道路环境样本信息输入至预设场景流识别模型,以使预设场景流识别模型对多个道路场景样本信息进行场景识别,并根据场景识别结果对多个道路场景样本信息进行分类并构建常规场景索引、极端场景索引及未识别场景流数据库,在具体实现中,将常规场景索引对应的数据及极端场景索引对应的数据进行数据结构化,并根据结构化后的数据进行分类,获得驾驶操控数据及待处理场景化环境数据,之后需要将待处理场景化环境数据进行环境数据清洗,以获得场景化环境数据,最后将驾驶操控数据和场景化环境数据分别进行存储,并将驾驶操控数据作为驾驶操控数据样本,将场景化环境数据作为场景化环境数据样本等。
应理解的是,还可以将未识别场景流进行环境数据清洗,并将清洗后的数据流进行存储,并将清洗后的数据流进行场景标注,将标注后的数据流对预设场景流识别模型进行训练,将训练后的预设场景流识别模型完成OTA升级等。
还需要说明的是,现有的数据采集***,几乎都是对视频流或点云帧数据流按照时间片段(比如按一分钟时长进行切分)强行切分,虽然存储快捷简单,但取用极为不便。主要体现在两个方面:1、无法对数据进行标签化,不利于快速获取期望的场景数据;2、模型训练所需要的特定场景数据流,极有可能会被分段存储于两个切片文件中,因此一般需要特定的可视化软件进行手工甄选、拼接,极大增加了数据筛选的时间和成本。而本实施例中的预设场景流识别模型能够从模型训练的视角,提供端到端的场景化数据,以场景标签作为索引高效存取,极大提升模型训练的数据筛选效率,且按需取场景数据更容易完成特定算法模型的训练和推理算法的评估。在数据采集前端引入场景化索引技术,大大提升后端算法模型训练时的数据筛选与场景选择效率等。
分析模块5002,用于基于预设感知决策模型对所述待测试道路场景信息进行失效分析,获得车辆感知决策信息。
需要说明的是,预设感知决策模型为预设决策规控模型及预设感知模型的组合模型。
在具体实现中需要基于多个驾驶操控数据样本对初始决策规控模型进行训练,获得预设决策规控模型,基于多个场景化环境数据样本对初始感知模型进行训练,获得预设感知模型,之后根据预设决策规控模型及预设感知模型构建预设感知决策模型等。
在本实施例中可以将待测试道路场景信息输入至预设感知决策模型中,获得车辆感知决策信息,车辆感知决策信息可以理解为预设感知决策模型根据待测试道路场景信息输出的环境感知信息及车辆自动驾驶信息等。
确定模块5003,用于根据所述车辆感知决策信息确定感知决策失效数据。
应理解的是,需要判断车辆感知决策信息是否满足预设失效条件,在车辆感知决策信息满足预设失效条件时,根据车辆感知决策信息确定感知决策失效数据。预设失效条件为车辆感知决策信息与待测试道路场景信息对应的驾驶员操作数据集场景化环境数据信息不一致等。
感知决策失效数据为用户对车辆感知决策信息进行失效分析所得到的数据等。例如车辆感知决策信息为A,待测试道路场景信息对应的驾驶员操作数据集场景化环境数据为B,则车辆感知决策信息A与待测试道路场景信息对应的驾驶员操作数据集场景化环境数据B对应不一致,可以将待测试道路场景信息及车辆感知决策信息作为感知决策失效数据等。
升级模块5004,用于根据所述感知决策失效数据对所述预设感知决策模型进行模型升级。
在具体实现中,若车辆感知决策信息不正确,则对感知决策失效数据进行标注,使标注后的失效数据对预设感知决策模型进行训练等。
还需要说明的是,在车辆感知决策信息不满足预设失效条件时,确定车辆感知决策信息是正确,需要根据车辆感知决策信息获取预设感知决策模型的指标及功能评估报告,并基于预设感知决策模型的指标及功能评估报告对预设感知决策模型进行量产部署,以获得多个车辆感知决策信息,之后对多个车辆感知决策信息进行失效分析,获得多个感知决策失效数据,基于多个感知决策失效数据对预设感知决策模型进行升级。
基于多个感知决策失效数据对预设感知决策模型进行升级的处理方式可以为分别对多个感知决策失效数据进行标注,获得多个感知决策标注数据,根据多个感知决策标注数据对预设感知决策模型进行升级等。
在本实施例中,首先获取待测试道路场景信息,然后基于预设感知决策模型对待测试道路场景信息进行失效分析,获得车辆感知决策信息,之后根据车辆感知决策信息确定感知决策失效数据,并根据感知决策失效数据对预设感知决策模型进行模型升级。相较于现有技术中需要针对性的对不同量产的车型进行模型训练,而本实施例中通过自动驾驶***数据的闭环设计,可以根据车辆感知决策信息对应的感知决策失效数据对预设感知决策模型进行模型升级,从而提升了量产车型功能和算法的可靠性,进而提高了用户体验感。
本发明基于自动驾驶的感知决策模型升级***的其他实施例或具体实现方式可参照上述各方法实施例,此处不再赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者***不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者***所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者***中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如只读存储器/随机存取存储器、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种基于自动驾驶的感知决策模型升级方法,其特征在于,所述基于自动驾驶的感知决策模型升级方法包括以下步骤:
获取待测试道路场景信息;
基于预设感知决策模型对所述待测试道路场景信息进行失效分析,获得车辆感知决策信息;
根据所述车辆感知决策信息确定感知决策失效数据;
根据所述感知决策失效数据对所述预设感知决策模型进行模型升级。
2.如权利要求1所述的方法,其特征在于,所述获取待测试道路场景信息的步骤之前,还包括:
获取多个驾驶操控数据样本及多个场景化环境数据样本;
基于多个所述驾驶操控数据样本对初始决策规控模型进行训练,获得预设决策规控模型;
基于多个所述场景化环境数据样本对初始感知模型进行训练,获得预设感知模型;
根据所述预设决策规控模型及所述预设感知模型构建预设感知决策模型。
3.如权利要求1所述的方法,其特征在于,所述获取多个驾驶操控数据样本及多个场景化环境数据样本的步骤,包括:
获取多个道路场景样本信息;
将多个所述道路场景样本信息输入至预设场景流识别模型中,获得多个场景流识别信息;
判断多个所述场景流识别信息是否满足预设识别条件;
在多个所述场景识别流信息满足所述预设识别条件时,分别对多个所述场景流识别信息进行数据清洗,获得多个驾驶操控数据样本及多个场景化环境数据样本。
4.如权利要求3所述的方法,其特征在于,所述判断多个所述场景流识别信息是否满足预设识别条件的步骤之后,还包括:
在多个所述场景识别流信息不满足所述预设识别条件时,对多个所述道路场景样本信息进行数据清洗,获得多个待处理场景样本数据;
分别对多个所述待处理场景样本数据进行场景流标注,获得多个待训练场景样本数据;
根据多个所述待训练场景样本数据对预设场景流识别模型进行模型升级。
5.如权利要求1-4任一项所述的方法,其特征在于,所述根据所述车辆感知决策信息确定感知决策失效数据的步骤之前,包括:
判断所述车辆感知决策信息是否满足预设失效条件;
在所述车辆感知决策信息满足所述预设失效条件时,执行所述根据所述车辆感知决策信息确定感知决策失效数据的步骤。
6.如权利要求5所述的方法,其特征在于,所述判断所述车辆感知决策信息是否满足预设失效条件的步骤之后,还包括:
在所述车辆感知决策信息不满足所述预设失效条件时,根据所述车辆感知决策信息生成模型功能评估报告;
根据所述模型功能评估报告对所述预设感知决策模型进行量产部署,以获得多个车辆感知决策信息;
对多个所述车辆感知决策信息进行失效分析,获得多个感知决策失效数据;
基于多个所述感知决策失效数据对所述预设感知决策模型进行升级。
7.如权利要求6所述的方法,其特征在于,所述基于多个所述感知决策失效数据对所述预设感知决策模型进行升级的步骤,包括:
分别对多个所述感知决策失效数据进行标注,获得多个感知决策标注数据;
根据多个所述感知决策标注数据对所述预设感知决策模型进行升级。
8.一种基于自动驾驶的感知决策模型升级***,其特征在于,所述基于自动驾驶的感知决策模型升级***包括:
获取模块,用于获取待测试道路场景信息;
分析模块,用于基于预设感知决策模型对所述待测试道路场景信息进行失效分析,获得车辆感知决策信息;
确定模块,用于根据所述车辆感知决策信息确定感知决策失效数据;
升级模块,用于根据所述感知决策失效数据对所述预设感知决策模型进行模型升级。
9.如权利要求8所述的***,其特征在于,所述基于自动驾驶的感知决策模型升级***还包括构建模块;
所述构建模块,用于获取多个驾驶操控数据样本及多个场景化环境数据样本;
所述构建模块,还用于基于多个所述驾驶操控数据样本对初始决策规控模型进行训练,获得预设决策规控模型;
所述构建模块,还用于基于多个所述场景化环境数据样本对初始感知模型进行训练,获得预设感知模型;
所述构建模块,还用于根据所述预设决策规控模型及所述预设感知模型构建预设感知决策模型。
10.如权利要求8所述的***,其特征在于,所述获取模块,还用于获取多个道路场景样本信息;
所述获取模块,还用于将多个所述道路场景样本信息输入至预设场景流识别模型中,获得多个场景流识别信息;
所述获取模块,还用于判断多个所述场景流识别信息是否满足预设识别条件;
所述获取模块,还用于在多个所述场景识别流信息满足所述预设识别条件时,分别对多个所述场景流识别信息进行数据清洗,获得多个驾驶操控数据样本及多个场景化环境数据样本。
CN202210057249.0A 2022-01-19 2022-01-19 基于自动驾驶的感知决策模型升级方法及*** Pending CN114078242A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210057249.0A CN114078242A (zh) 2022-01-19 2022-01-19 基于自动驾驶的感知决策模型升级方法及***
PCT/CN2022/083064 WO2023137864A1 (zh) 2022-01-19 2022-03-25 基于自动驾驶的感知决策模型升级方法、***及电子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210057249.0A CN114078242A (zh) 2022-01-19 2022-01-19 基于自动驾驶的感知决策模型升级方法及***

Publications (1)

Publication Number Publication Date
CN114078242A true CN114078242A (zh) 2022-02-22

Family

ID=80284519

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210057249.0A Pending CN114078242A (zh) 2022-01-19 2022-01-19 基于自动驾驶的感知决策模型升级方法及***

Country Status (2)

Country Link
CN (1) CN114078242A (zh)
WO (1) WO2023137864A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115311761A (zh) * 2022-07-15 2022-11-08 襄阳达安汽车检测中心有限公司 非实时车载感知***测评方法及相关设备
WO2023137864A1 (zh) * 2022-01-19 2023-07-27 浙江吉利控股集团有限公司 基于自动驾驶的感知决策模型升级方法、***及电子装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190228118A1 (en) * 2018-01-24 2019-07-25 Toyota Research Institute, Inc. Systems and methods for identifying human-based perception techniques
CN111325230A (zh) * 2018-12-17 2020-06-23 上海汽车集团股份有限公司 车辆换道决策模型的在线学习方法和在线学习装置
CN112131964A (zh) * 2020-08-31 2020-12-25 南京汽车集团有限公司 一种道路作业车辆视觉感知***及其使用方法
CN112180921A (zh) * 2020-09-22 2021-01-05 安徽江淮汽车集团股份有限公司 自动驾驶算法训练***及方法
WO2021244207A1 (zh) * 2020-06-06 2021-12-09 华为技术有限公司 训练驾驶行为决策模型的方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114078242A (zh) * 2022-01-19 2022-02-22 浙江吉利控股集团有限公司 基于自动驾驶的感知决策模型升级方法及***

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190228118A1 (en) * 2018-01-24 2019-07-25 Toyota Research Institute, Inc. Systems and methods for identifying human-based perception techniques
CN111325230A (zh) * 2018-12-17 2020-06-23 上海汽车集团股份有限公司 车辆换道决策模型的在线学习方法和在线学习装置
WO2021244207A1 (zh) * 2020-06-06 2021-12-09 华为技术有限公司 训练驾驶行为决策模型的方法及装置
CN112131964A (zh) * 2020-08-31 2020-12-25 南京汽车集团有限公司 一种道路作业车辆视觉感知***及其使用方法
CN112180921A (zh) * 2020-09-22 2021-01-05 安徽江淮汽车集团股份有限公司 自动驾驶算法训练***及方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023137864A1 (zh) * 2022-01-19 2023-07-27 浙江吉利控股集团有限公司 基于自动驾驶的感知决策模型升级方法、***及电子装置
CN115311761A (zh) * 2022-07-15 2022-11-08 襄阳达安汽车检测中心有限公司 非实时车载感知***测评方法及相关设备
CN115311761B (zh) * 2022-07-15 2023-11-03 襄阳达安汽车检测中心有限公司 非实时车载感知***测评方法及相关设备

Also Published As

Publication number Publication date
WO2023137864A1 (zh) 2023-07-27

Similar Documents

Publication Publication Date Title
CN111179585B (zh) 自动驾驶车辆的场地测试方法及装置
CN114078242A (zh) 基于自动驾驶的感知决策模型升级方法及***
CN112396093B (zh) 驾驶场景分类方法、装置、设备及可读存储介质
CN113343461A (zh) 自动驾驶车辆的仿真方法、装置、电子设备及存储介质
CN110780965B (zh) 基于视觉的流程自动化方法、设备及可读存储介质
CN112905849A (zh) 一种车辆数据处理的方法及装置
CN114379581A (zh) 基于自动驾驶下的算法迭代***及方法
CN110843768B (zh) 汽车自动泊车控制方法、装置、设备及存储介质
CN115830399A (zh) 分类模型训练方法、装置、设备、存储介质和程序产品
CN111340004A (zh) 一种车辆图像识别的方法和相关装置
CN116719957B (zh) 基于画像挖掘的学习内容分发方法及***
US20230350664A1 (en) Methods and apparatus for automatically labeling data processing events in autonomous driving vehicles via machine learning
CN112182413B (zh) 一种基于教学大数据的智能推荐方法及服务器
CN113627477A (zh) 车辆多属性识别方法及***
CN114973173A (zh) 驾驶场景数据的分类方法、装置、电子设备及存储介质
CN114241373A (zh) 一种端到端的车辆行为检测方法、***、设备及存储介质
CN114297048A (zh) 一种自动驾驶仿真测试方法、***、电子设备及存储介质
CN114627400A (zh) 一种车道拥堵检测方法、装置、电子设备和存储介质
CN110796024B (zh) 一种针对失效样本的自动驾驶视觉感知测试方法和装置
CN113792797B (zh) 点云数据筛选方法及存储介质
CN116206272A (zh) 一种融合深度主动学习的道路图像标注方法和***
Jukić et al. Validation of Machine Learning-Based Lane Lines Detection Methods Using Different Datasets
CN115512187A (zh) 自动驾驶样本集的数据筛选方法和装置
CN116756680A (zh) 事故的检测方法、装置、电子设备和可读存储介质
CN116142201A (zh) 车辆的控制方法、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination