CN117633519B - 变道检测方法、装置、电子设备及存储介质 - Google Patents

变道检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN117633519B
CN117633519B CN202410109412.2A CN202410109412A CN117633519B CN 117633519 B CN117633519 B CN 117633519B CN 202410109412 A CN202410109412 A CN 202410109412A CN 117633519 B CN117633519 B CN 117633519B
Authority
CN
China
Prior art keywords
time sequence
sample
network
time
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410109412.2A
Other languages
English (en)
Other versions
CN117633519A (zh
Inventor
张鑫
李欣
闫智超
刘畅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202410109412.2A priority Critical patent/CN117633519B/zh
Publication of CN117633519A publication Critical patent/CN117633519A/zh
Application granted granted Critical
Publication of CN117633519B publication Critical patent/CN117633519B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2123/00Data types
    • G06F2123/02Data types in the time domain, e.g. time-series data
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请实施例公开了一种变道检测方法、装置、电子设备及存储介质,通过调用依次级联的多个时序特征提取网络对测量时序数据进行特征提取,得到最后一个时序特征提取网络输出的目标时序特征,能够通过依次级联的多个时序特征提取网络有效地提升目标时序特征的准确性,由于各个时序特征提取网络均被配置为通过残差连接进行输出,使得时序特征提取网络更具表现力,提升目标时序特征的准确性,后续再调用映射网络基于目标时序特征进行特征映射,得到测量时序数据在最后一个时间分片对应的目标子特征,并调用分类网络基于目标子特征进行变道状态的分类,因而能够得到准确率较高的变道检测结果,可广泛应用于地图、人工智能、智慧交通、辅助驾驶等场景。

Description

变道检测方法、装置、电子设备及存储介质
技术领域
本申请涉及智慧交通技术领域,特别是涉及一种变道检测方法、装置、电子设备及存储介质。
背景技术
随着辅助驾驶等智能车控制技术的快速发展,车道保持或者车道偏离预警等功能变得越来越普及,这些功能都是基于对车辆进行变道检测实现的。目前,一般是利用IMU(Inertial measurement unit,惯性测量单元)数据输入至车辆运动学模型来进行变道检测,这种检测方式往往存在较多的误判,变道检测的准确性有待提升。
发明内容
以下是对本申请详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。
本申请实施例提供了一种变道检测方法、装置、电子设备及存储介质,能够在提升变道检测的准确性的同时,扩大变道检测的应用范围。
一方面,本申请实施例提供了一种变道检测方法,包括:
获取对待测车辆进行惯性测量而得到的测量时序数据,其中,所述测量时序数据包括多个时间分片各自对应的测量数据;
调用依次级联的多个时序特征提取网络对所述测量时序数据进行特征提取,得到最后一个所述时序特征提取网络输出的目标时序特征,其中,所述测量时序数据被输入至首个所述时序特征提取网络,各个所述时序特征提取网络均被配置为通过残差连接进行输出;
调用映射网络基于所述目标时序特征进行特征映射,得到所述测量时序数据在最后一个所述时间分片对应的目标子特征;
调用分类网络基于所述目标子特征进行变道状态的分类,得到所述待测车辆的变道检测结果。
另一方面,本申请实施例还提供了一种变道检测装置,包括:
第一处理单元,用于获取对待测车辆进行惯性测量而得到的测量时序数据,其中,测量时序数据包括多个时间分片各自对应的测量数据;
第二处理单元,用于调用依次级联的多个时序特征提取网络对测量时序数据进行特征提取,得到最后一个时序特征提取网络输出的目标时序特征,其中,测量时序数据被输入至首个时序特征提取网络,各个时序特征提取网络均被配置为通过残差连接进行输出;
第三处理单元,用于调用映射网络基于目标时序特征进行特征映射,得到测量时序数据在最后一个时间分片对应的目标子特征;
第四处理单元,用于调用分类网络基于目标子特征进行变道状态的分类,得到待测车辆的变道检测结果。
进一步,各个所述时序特征提取网络均包括多个依次级联的时序特征提取模块,上述第二处理单元具体用于:
调用依次级联的多个时序特征提取网络,依次通过多个所述时序特征提取模块对所述测量时序数据进行特征提取,得到最后一个所述时序特征提取网络输出的目标时序特征;
其中,在任意一个所述时序特征提取网络中,首个所述时序特征提取模块的输入为所述时序特征提取网络的输入,最后一个所述时序特征提取模块的输出与所述时序特征提取网络的输入相加后作为所述时序特征提取网络的输出。
进一步,上述第二处理单元中:
在任意一个所述时序特征提取网络中,多个所述时序特征提取模块包括循环神经网络和卷积时间网络,所述循环神经网络的输出进行归一化后作为所述卷积时间网络的输入,或者,所述卷积时间网络的输出进行归一化后作为所述循环神经网络的输入;
相邻的两个所述时序特征提取网络具有不同的模块级联顺序,所述模块级联顺序为所述循环神经网络和所述卷积时间网络之间的级联顺序。
进一步,上述第三处理单元具体用于:
当所述映射网络为全连接网络时,从所述目标时序特征中提取所述测量时序数据在最后一个所述时间分片对应的初始子特征,调用所述映射网络对所述初始子特征进行特征映射,得到所述测量时序数据在最后一个所述时间分片对应的目标子特征;
或者,当所述映射网络为循环神经网络或者卷积时间网络,且所述循环神经网络或者所述卷积时间网络被配置为输出最后一个所述时间分片的映射结果时,调用所述映射网络对所述目标时序特征进行特征映射,得到所述测量时序数据在最后一个所述时间分片对应的目标子特征。
进一步,上述第一处理单元具体用于:
持续接收待测车辆的惯性测量单元发送的测量时序数据;
基于预设的时间间隔,以滑窗的方式调用所述测量时序数据。
进一步,该变道检测装置还包括:
第一获取单元:用于获取不同的目标时间段内对样本车辆进行惯性测量而得到的候选时序数据;
第二获取单元:用于获取各个所述目标时间段内所述样本车辆采集的车道线曲率参数,根据所述车道线曲率参数从多个所述候选时序数据中筛选出第一样本时序数据以及第二样本时序数据,其中,所述第一样本时序数据与所述第二样本时序数据之间的数量比例为预设比例,所述第一样本时序数据对应的所述车道线曲率参数大于或者等于曲率参数阈值,所述第二样本时序数据对应的所述车道线曲率参数小于所述曲率参数阈值;
参数调整单元:用于基于所述第一样本时序数据以及所述第二样本时序数据,对所述时序特征提取网络、所述映射网络和所述分类网络中的至少之一进行参数调整。
进一步,上述第一获取单元具体用于:
获取所述样本车辆行驶过程中采集的车道线截距,确定所述车道线截距过零的各个目标时间戳;
对各个所述目标时间戳进行扩展得到不同的目标时间段,获取各个所述目标时间段内对样本车辆进行惯性测量而得到的候选时序数据。
进一步,上述第一获取单元还用于:
对各个所述目标时间戳进行扩展得到不同的候选时间段,对多个所述候选时间段进行去重,得到目标时间段;
或者,对各个所述目标时间戳进行扩展得到不同的候选时间段,当所述候选时间段中所述车道线截距过零的次数为至少两次时,剔除所述候选时间段,将剩余的所述候选时间段确定为目标时间段;
或者,对各个所述目标时间戳进行扩展得到不同的候选时间段,当所述候选时间段中所述车道线截距的最大值小于或者等于截距阈值时,剔除所述候选时间段,将剩余的所述候选时间段确定为目标时间段。
进一步,上述第一获取单元还用于:
获取所述样本车辆行驶过程中采集的车道线截距,将所述车道线截距的最小值位于截距区间的各个时间段确定为目标时间段;
获取各个所述目标时间段内对样本车辆进行惯性测量而得到的候选时序数据。
进一步,所述样本车辆的数量为多辆,上述第一获取单元还用于:
获取不同的目标时间段内,对各辆所述样本车辆进行惯性测量而得到的初始时序数据;
将各辆所述样本车辆的所述初始时序数据转化至同一个目标坐标系,得到所述样本车辆的候选时序数据。
进一步,上述第一获取单元还用于:
将各辆所述样本车辆的所述初始时序数据转化至同一个目标坐标系;
当任意一辆所述样本车辆的所述初始时序数据不完整时,将位于同一位置范围的另一辆所述样本车辆转化后的所述初始时序数据,与当前的所述样本车辆转化后的所述初始时序数据进行合并,得到当前的样本车辆的候选时序数据。
进一步,参数调整单元还用于:
分别基于所述第一样本时序数据以及所述第二样本时序数据,对所述样本车辆进行变道状态的分类,得到所述第一样本时序数据以及所述第二样本时序数据各自对应的样本检测结果;
获取所述第一样本时序数据以及所述第二样本时序数据各自对应的变道检测标签,其中,所述变道检测标签是基于所述样本车辆行驶过程中采集的车道线截距确定的;
根据所述样本检测结果以及对应的所述变道检测标签确定目标损失,根据所述目标损失对所述时序特征提取网络、所述映射网络和所述分类网络中的至少之一进行参数调整。
另一方面,本申请实施例还提供了一种电子设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述的变道检测方法。
另一方面,本申请实施例还提供了一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序被处理器执行实现上述的变道检测方法。
另一方面,本申请实施例还提供了一种计算机程序产品,该计算机程序产品包括计算机程序,该计算机程序存储在计算机可读存介质中。计算机设备的处理器从计算机可读存储介质读取该计算机程序,处理器执行该计算机程序,使得该计算机设备执行实现上述的变道检测方法。
本申请实施例至少包括以下有益效果:通过获取对待测车辆进行惯性测量而得到的测量时序数据,调用依次级联的多个时序特征提取网络对所述测量时序数据进行特征提取,得到最后一个所述时序特征提取网络输出的目标时序特征,能够通过依次级联的多个时序特征提取网络有效地提升目标时序特征的准确性,同时,由于各个所述时序特征提取网络均被配置为通过残差连接进行输出,使得时序特征提取网络更具表现力,从而进一步提升目标时序特征的准确性,后续再调用映射网络基于所述目标时序特征进行特征映射,得到所述测量时序数据在最后一个所述时间分片对应的目标子特征,并调用分类网络基于所述目标子特征进行变道状态的分类,因而能够得到准确率较高的变道检测结果,可见,本申请实施例通过引入前述的依次级联的多个时序特征提取网络、映射网络以及分类网络,仅依赖于测量时序数据即可有效地提升变道检测的准确性,无须依赖其他辅助信号,在提升变道检测的准确性的同时,扩大变道检测的应用范围。
本申请的其他特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本申请而了解。
附图说明
附图用来提供对本申请技术方案的进一步理解,并且构成说明书的一部分,与本申请的实施例一起用于解释本申请的技术方案,并不构成对本申请技术方案的限制。
图1为本申请实施例提供的一种可选的实施环境的示意图。
图2是本申请实施例中变道检测的应用场景一种示意图。
图3为本申请实施例提供的变道检测方法的一种可选的流程图。
图4是本申请实施例提供的车辆坐标系的示意图。
图5是本申请实施例提供的获取测量时序数据的示意图。
图6是本申请实施例提供的时序特征提取网络的连接示意图。
图7是本申请实施例提供的时序特征提取网络的结构示意图。
图8a是本申请实施例提供的循环神经网络和卷积神经网络的第一种模块级联顺序示意图。
图8b是本申请实施例提供的循环神经网络和卷积神经网络的第二种模块级联顺序示意图。
图8c是本申请实施例提供的循环神经网络和卷积神经网络的第三种模块级联顺序示意图。
图9a是本申请实施例提供的引入归一化处理后循环神经网络和卷积神经网络的第一种模块级联顺序示意图;
图9b是本申请实施例提供的引入归一化处理后循环神经网络和卷积神经网络的第二种模块级联顺序示意图。
图10是本申请实施例提供的时序特征提取网络的又一示意图。
图11是本申请实施例提供的车道检测结果示意图。
图12是本申请实施例提供的弯道变道示意图。
图13是本申请实施例中样本车辆的行驶状态示意图。
图14是本申请实施例提供的车道线曲率参数计算示意图。
图15是本申请实施例中车道线截距的示意图。
图16是本申请实施例提供的目标时间段的示意图。
图17是本申请实施例提供的目标时间段的又一示意图。
图18是本申请实施例提供的目标时间段的又一示意图。
图19是本申请实施例提供的初始时序数据不完整的处理示意图。
图20为本申请实施例提供的变道检测方法的一种可选的总体流程示意图。
图21为本申请实施例提供的变道检测装置的一种可选的结构示意图。
图22为本申请实施例提供的终端的部分结构框图。
图23为本申请实施例提供的服务器的部分结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本申请,并不用于限定本申请。
需要说明的是,在本申请的各个具体实施方式中,当涉及到需要根据目标对象属性信息或属性信息集合等与目标对象特性相关的数据进行相关处理时,都会先获得目标对象的许可或者同意,而且,对这些数据的收集、使用和处理等,都会遵守相关法律法规和标准。其中,目标对象可以是用户。此外,当本申请实施例需要获取目标对象属性信息时,会通过弹窗或者跳转到确认页面等方式获得目标对象的单独许可或者单独同意,在明确获得目标对象的单独许可或者单独同意之后,再获取用于使本申请实施例能够正常运行的必要的目标对象相关数据。
本申请实施例中,术语“模块”或“单元”是指有预定功能的计算机程序或计算机程序的一部分,并与其他相关部分一起工作以实现预定目标,并且可以通过使用软件、硬件(如处理电路或存储器)或其组合来全部或部分实现。同样的,一个处理器(或多个处理器或存储器)可以用来实现一个或多个模块或单元。此外,每个模块或单元都可以是包含该模块或单元功能的整体模块或单元的一部分。
为便于理解本申请实施例提供的技术方案,这里先对本申请实施例使用的一些关键名词进行解释:
人工智能(Artificial Intelligence, AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、预训练模型技术、操作/交互***、机电一体化等。其中,预训练模型又称大模型、基础模型,经过微调后可以广泛应用于人工智能各大方向下游任务。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
智能交通***(Intelligent Traffic System,ITS)又称智能运输***(Intelligent Transportation System),是将先进的科学技术(信息技术、计算机技术、数据通信技术、传感器技术、电子控制技术、自动控制理论、运筹学、人工智能等)有效地综合运用于交通运输、服务控制和车辆制造,加强车辆、道路、使用者三者之间的联系,从而形成一种保障安全、提高效率、改善环境、节约能源的综合运输***。
智能车路协同***(Intelligent Vehicle Infrastructure CooperativeSystems,IVICS),简称车路协同***,是智能交通***(ITS)的一个发展方向。车路协同***是采用先进的无线通信和新一代互联网等技术,全方位实施车车、车路动态实时信息交互,并在全时空动态交通信息采集与融合的基础上开展车辆主动安全控制和道路协同管理,充分实现人车路的有效协同,保证交通安全,提高通行效率,从而形成的安全、高效和环保的道路交通***。
IMU(Inertial measurement unit,惯性测量单元):是一种用于测量物体在空间中的加速度和角速度的设备。通常由加速度计和陀螺仪两个主要部分组成,其中,加速度计用于利用微小的质量感应元件来测量物体的加速度,加速度即物体在空间中的线性运动状态,可以检测到物体在三个轴向(例如X、Y和Z轴)上的加速度变化。陀螺仪用于利用微小的振动结构测量物体的角速度,角速度即物体绕自身轴旋转的速度。IMU将加速度计和陀螺仪结合在一起,通过同时测量物体的加速度和角速度,可以提供关于物体动态运动状态的信息。
RTK(Real Time Kinematic,实时动态载波相位差分技术):是一种通过基准站和移动接收器的同步观测,利用载波相位观测值实现快速高精度定位功能的差分测量技术。RTK定位***由基准站和移动接收器组成,其中,基准站是一个已知坐标的固定设备,用于接收来自卫星导航***的信号,并记录信号的到达时间。基准站通过与其他基准站进行通信,对接收到的信号进行处理,并生成差分修正数据。移动接收器是安装在需要定位的移动设备上的接收设备,例如车辆或无人机。移动接收器同样接收来自卫星导航***的信号,并使用基准站提供的差分修正数据进行精确的定位计算。定位原理是通过测量基准站和移动接收器之间的信号延迟差异,消除大部分来自卫星信号传播和大气条件引起的误差。差分修正数据可以实时更新,并用于对移动接收器的位置进行校正,从而提供高精度的实时定位数据。
变道检测:指的是检测车辆在行驶过程中是否发生的变换车道的动作,以及朝哪个方向进行变道,变道检测的结果包含未变道、向左变道和向右变道。
随着辅助驾驶等智能车控制技术的快速发展,车道保持或者车道偏离预警等功能变得越来越普及,这些功能都是基于对车辆进行变道检测实现的。目前,有利用视觉传感器、高精度定位装置或IMU(Inertial measurement unit,惯性测量单元)的相关数据输入至车辆运动学模型来进行变道检测。但是视觉传感器在夜间或雨雪天气等情况下,会存在较多误判的情况,同时,很多车辆也没有标配视觉传感器,这就使得利用视觉传感器进行变道检测的应用场景和应用范围受限制。同样地,高精度的定位装置也不是车辆的标配功能模块,也存在应用范围受限制的问题,另外,高精度定位模块本身只提供定位功能,在进行变道检测时,还需要依赖高精地图等辅助工具。而IMU是多种不同类型车辆的标配传感器,并且IMU在夜间、雨、雪等场景下的测量数据与其他场景基本没有差异,因此其能解决应用范围受限的问题,但是利用IMU的惯性测量数据进行变道检测,受限于IMU的精度问题,这种检测方式往往存在较多的误判,且在大曲率路段或颠簸路段等较复杂的场景下,变道检测的准确性不佳,因此需要变道检测有待提升。
基于此,本申请实施例提供了一种变道检测方法、装置、电子设备及存储介质,能够在提升变道检测的准确性的同时,扩大变道检测的应用范围。
参照图1,图1为本申请实施例提供的一种可选的实施环境的示意图,该实施环境包括终端101和服务器102,其中,终端101和服务器102之间通过通信网络连接。
服务器102可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式***,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network,内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。另外,服务器102还可以是区块链网络中的一个节点服务器。
终端101可以是手机、电脑、智能语音交互设备、智能家电、车载终端等,但并不局限于此。终端101以及服务器102可以通过有线或无线通信方式进行直接或间接地连接,本申请实施例在此不做限制。
示例性地,以终端101为车载终端为例,终端101可以将对待测车辆进行惯性测量而得到的测量时序数据发送至服务器102,其中,测量时序数据包括多个时间分片各自对应的测量数据;接着调用依次级联的多个时序特征提取网络对测量时序数据进行特征提取,得到最后一个时序特征提取网络输出的目标时序特征,其中,测量时序数据被输入至首个时序特征提取网络,各个时序特征提取网络均被配置为通过残差连接进行输出;然后调用映射网络基于目标时序特征进行特征映射,得到测量时序数据在最后一个时间分片对应的目标子特征;最后调用分类网络基于目标子特征进行变道状态的分类,得到待测车辆的变道检测结果。服务器102也可以接入导航引擎,将得到的变道检测结果显示在地图产品中,增强导航界面的导航效果,并为辅助驾驶在变道决策时提供数据支持,提升辅助驾驶的安全性。其中,地图产品可以是高精度虚拟地图、普通精度地图、城市道路模型等各种虚拟地图产品。然后终端101通过通信网络连接到服务器102,获取生成的变道检测结果,使得终端101可以根据变道检测结果进行变道决策,从而实现车辆导航、变道预警、辅助驾驶等功能。
除此以外,终端101也可以通过智能车路协同***将测量时序数据发送至服务器102,或者,终端101也可以在本地对测量时序数据进行处理得到变道检测结果,即时序特征提取网络、映射网络以及分类网络均部署在终端101中。
本申请实施例提供的变道检测方法可应用于不同的场景,包括但不限于地图、人工智能、智慧交通、辅助驾驶等场景。
本申请实施例的变道检测方法可以为辅助驾驶提供决策依据。例如在辅助驾驶过程中,需要进行高精度的车道级定位,但是在诸如高架下、树荫路等特殊路段附近,可能存在RTK定位漂移的情况,如果同时视觉条件不好,容易发生误变道的情况,影响车辆控制模块的控制准确度。基于本申请实施例的变道检测方法,能够给出准确率高的变道检测结果,提升辅助驾驶的安全性和准确性。例如在低速堵车场景下,辅助驾驶***做出变道决策,而本申请实施例提供的变道检测结果为不变道,则辅助驾驶***可以修正变道决策,从而抑制车辆的错误变道信息。
在一种可能的实现方式中,在车辆导航过程中,本申请实施例提供的变道检测结果也可以用于进行偏航判断。当变道检测结果表征的实际行驶路径与导航路线不同时,辅助驾驶***可以判断车辆是否偏离规划路径,从而生成偏航的结论,根据结论发出警告信息,提醒驾驶员进行纠正操作,或者辅助驾驶***也可以调整导航指引,重新规划适合的路径。参照图2,图2是本申请实施例中变道检测的应用场景一种示意图。图2中所示,当前规划的路线应该是主路直行,当车辆行驶位置出现下辅路的路口,若本申请实施例提供的变道检测结果表明车辆有向右变道偏向辅路的趋势,此时辅助驾驶***可以根据变道检测结果快速生成偏航信息,从而帮助驾驶者快速规划偏航路线,提升用户体验。
下面详细描述本申请实施例提供的变道检测方法的原理。
参照图3,图3为本申请实施例提供的变道检测方法的一种可选的流程图,该变道检测方法可以由服务器执行,或者也可以由终端执行,或者也可以由服务器和终端配合执行,在本申请实施例中,以该方法由服务器执行为例进行说明。该变道检测方法包括但不限于以下步骤301至步骤304。
步骤301:获取对待测车辆进行惯性测量而得到的测量时序数据。
在一种可能的实现方式中,待测车辆指的是需要进行变道检测的车辆,本申请实施例对待测车辆不做限定,只需要具备惯性测量单元IMU即可。惯性测量指的是IMU在待测车辆的行驶过程中,持续测量待测车辆在空间中的加速度和角速度。由于惯性测量过程是按照时间持续测量,因此测量到的数据为时序数据,本申请实施例中利用惯性测量得到的待测车辆的加速度和角速度相关数据得到测量时序数据。
其中,由于待测车辆位于三维空间中,因此惯性测量得到的测量时序数据包括多个采集时刻的测量数据,每个测量数据都是多路数据,该多路数据具体是6路,表示为{acc_x,acc_y,acc_z,gyr_x,gyr_y,gyr_z},其中,acc_x表示x轴方向上的x轴加速度,acc_y表示y轴方向上的y轴加速度,acc_z表示z轴方向上的z轴加速度,gyr_x表示x轴方向上的x轴角速度,gyr_y表示y轴方向上的y轴角速度,gyr_y表示z轴方向上的z轴角速度。
参照图4,图4是本申请实施例提供的车辆坐标系的示意图,由于IMU一般安装在车辆上,安装之后就与车辆固定,因此以车辆坐标系作为IMU的测量数据的坐标系。车辆坐标系是一种相对于车辆本身的坐标系,用于描述车辆内部或外部的位置和方向。车辆坐标系是一个三维笛卡尔坐标系。图4中车辆坐标系以车辆的几何中心为原点,在车辆坐标系中,定义的三个轴分别是:x轴、y轴和z轴。其中x轴与车辆的前进方向对齐,正方向指向车辆的前方。y轴与车辆的左侧方向对齐,正方向指向车辆的左侧。z轴垂直于车辆平面,正方向指向上方。可以理解的是,由于每个车辆的前进方向不同,为了在变道预测过程中进行精准的预测,可以将车辆坐标系下采集的测量数据转化到大地坐标系,从而将不同待测车辆的测量数据标准化。
在一种可能的实现方式中,IMU是按照一定的输入频率获取测量数据,并按照输入频率将采集到的数据上报给待测车辆的数据处理模块。例如输入频率为100Hz,说明每隔1/100秒,数据处理模块就能接收到一组上述的六路数据。本申请实施例中将上述根据输入频率100Hz得到的1/100秒作为一个时间分片,因此测量时序数据包括多个时间分片各自对应的测量数据,每个时间分片对应的测量数据都是上述的6路数据。
在一种可能的实现方式中,获取对待测车辆进行惯性测量而得到的测量时序数据具体包括:持续接收待测车辆的惯性测量单元发送的测量时序数据,接着基于预设的时间间隔,以滑窗的方式调用测量时序数据。
其中,考虑到行驶过程中车辆变道并不会十分频繁,因此为了节约运算量,即便IMU持续发送获取的测量数据,同时待测车辆的数据处理模块持续接收测量时序数据,但是其也并不会持续进行车道变道预测,而是按照预设的时间间隔,间歇调用测量时序数据进行车道预测。在每次调用时,以滑窗的形式获取一个时间窗口的测量时序数据,可以理解的是,车道预测过程是利用一个时序的数据进行预测,因此时序的长度对预测结果有一定的影响,本申请实施例中滑窗对应的时间窗口即预测时测量时序数据对应的时序数量。
参照图5,图5是本申请实施例提供的获取测量时序数据的示意图。图5中惯性测量单元发送的测量时序数据为持续接收的多个时间分片的测量数据,图中以1秒为例,进行测量时序数据的划分,假设时间分片为0.01s,此时划分的每个数据中都包括100个上述多路数据。假设时间窗口的长度为8s。则根据时间窗口为8s可知,每次参与车道预测的测量时序数据中包括8*100=800个时间分片的测量数据。假设预设的时间间隔为3s,则以3次预测过程为例,图5中第1次预测过程中,预测时刻为t1,对应的测量时序数据为CL1;第2次预测过程中,预测时刻为t2,对应的测量时序数据为CL2;第3次测量过程中,预测时刻为t3,对应的测量时序数据为CL3。
可见本申请实施例通过预设的时间间隔进行车道预测,能够节约计算资源,并且持续进行数据处理容易因为处理速度过快而导致数据遗漏或者处理错误,通过时间间隔的方式进行处理能够提高数据处理的准确性。另外通过滑窗的方式获取测量时序数据,能够将测量数据按照时间窗口的大小进行整合,得到更可靠、更精确的数据结果。
经过上述过程得到待测车辆的测量时序数据后,将测量时序数据输入预先训练的变道检测模型进行变道预测,下面描述变道检测模型的变道预测过程。
步骤302:调用依次级联的多个时序特征提取网络对测量时序数据进行特征提取,得到最后一个时序特征提取网络输出的目标时序特征。
其中,多个时序特征提取网络依次级联,依次级联指的是前一个时序特征提取网络的输出作为下一个时序特征提取网络的输入,第一个时序特征提取网络的输入为测量时序数据,最后一个时序特征提取网络输出的目标时序特征,作为整体的依次级联的多个时序特征提取网络的输出。另外,本申请实施例中每个时序特征提取网络均被配置为通过残差连接进行输出。
其中,残差连接用于在深度神经网络中引入跨层连接,目的是解决深层神经网络训练过程中的梯度消失和梯度***问题。在传统的深层神经网络中,信息需要经过多个非线性层的堆叠来进行特征提取和变换,然而这种堆叠结构容易导致梯度在反向传播过程中逐渐衰减,使得底层的信息难以传播到高层,从而限制网络的表达能力。因此本申请实施例的网络架构中,每个时序特征提取网络均被配置为通过残差连接进行输出,利用残差连接引入跨层的直接连接,将输入信号与输出信号相加,允许信息在网络中跳过一定数量的层,直接传递到后续层。通过这种方式可以更容易地学习到输入信号与残差之间的差异,从而更好地保留并传递有用的信息。
参照图6,图6是本申请实施例提供的时序特征提取网络的连接示意图。图6中以n1个时序特征提取网络为例进行说明,每个时序特征提取网络依次级联,前一个时序特征提取网络的输出作为下一个时序特征提取网络的输入。同时对于每个时序特征提取网络,其输入数据,首先进行特征提取得到对应的输出特征,然后将输出特征和输入数据加和,得到对应的输出数据。以第i个时序特征提取网络为例进行说明,其输入数据为xi,输出特征为yi1,因此经过残差链接之后,对应的输出数据为yi=xi+yi1。
本申请实施例中每个时序特征提取网络均被配置为通过残差连接进行输出,在时序特征提取网络的训练过程中使得梯度可以更容易地传播回浅层网络,缓解梯度消失问题,同时利用残差连接提供捷径路径,使得信息可以更快地传播到后续层,加速网络的收敛速度。另外,预先训练之后的时序特征提取网络能够利用残差连接学习到更强的特征表示,具有较强的表达能力和特征提取性能。
下面描述时序特征提取网络的具体结构。
在一种可能的实现方式中,各个时序特征提取网络均包括多个依次级联的时序特征提取模块,其中,不同的时序特征提取网络中的时序特征提取单元的数量可以不相同,也就是说本申请实施例对不同时序特征提取模块中时序特征提取单元的数量并不限定。
在一种可能的实现方式中,调用依次级联的多个时序特征提取网络对所述测量时序数据进行特征提取,得到最后一个时序特征提取网络输出的目标时序特征的过程具体包括:调用依次级联的多个时序特征提取网络,依次通过多个时序特征提取模块对测量时序数据进行特征提取,得到最后一个时序特征提取网络输出的目标时序特征;其中,在任意一个时序特征提取网络中,首个时序特征提取模块的输入为时序特征提取网络的输入,最后一个时序特征提取模块的输出与时序特征提取网络的输入相加后作为时序特征提取网络的输出。
其中,各个时序特征提取网络均包括多个依次级联的时序特征提取模块,因此每个时序特征提取网络在进行特征提取时,时序特征提取网络的输入数据依次通过每个时序特征提取模块进行特征提取。进一步地,由于时序特征提取网络是残差连接的方式,因此对于每个时序特征提取网络来说,最后一个时序特征提取模块的输出需要通过残差连接的方式,与第一个时序特征提取模块的输入进行相加再输出。第一个时序特征提取网络的首个时序特征提取模块对测量时序数据进行特征提取,然后最后一个时序特征提取网络的最后一个时序特征提取模块的输出与最后一个时序特征提取网络的输出进行相加之后得到目标时序特征。
参照图7,图7是本申请实施例提供的时序特征提取网络的结构示意图。其中,时序特征提取网络包括n2个依次级联的时序特征提取模块,对于该时序特征提取网络,其输入数据xj,首先被第一个时序特征提取模块进行特征提取,得到输出特征yj1,然后将输出特征yj1输入第二个时序特征提取模块进行特征提取,得到输出特征yj2,直至到达第n2个时序特征提取模块,其输入数据是第n2-1的时序特征提取模块的输出特征yj(n2-1),其输出特征为yjn2,将其与输入数据xj相加后得到的输出数据为:yj=xj+yjn2。
在一种可能的实现方式中,在任意一个时序特征提取网络中,多个时序特征提取模块包括循环神经网络和卷积时间网络,循环神经网络的输出进行归一化后作为卷积时间网络的输入,或者,卷积时间网络的输出进行归一化后作为循环神经网络的输入,并且相邻的两个时序特征提取网络具有不同的模块级联顺序,模块级联顺序为循环神经网络和卷积时间网络之间的级联顺序。
其中,循环神经网络可以是长短期记忆网络(Long Short-Term Memory,LSTM)或门控循环单元(Gated Recurrent Unit,GRU)。这里的长短期记忆网络LSTM包含一个细胞状态和三个门:输入门、遗忘门和输出门,输入门控制着新信息的流入程度,遗忘门控制着旧信息的遗忘程度,输出门决定了向下一层传递的信息。这些门通过学习来自动调节信息的流动,使得长短期记忆网络LSTM能够有效地处理序列中的长期依赖关系,并且解决梯度消失问题,从而能够更好地处理长序列。与长短期记忆网络LSTM不同的是,门控循环单元GRU只包含两个门控单元:重置门和更新门。重置门决定了如何结合前一个时间步的隐藏状态和当前的输入,而更新门则控制着前一个时间步的隐藏状态和当前的输入对于当前时间步的影响程度。门控循环单元GRU也使用门控机制来控制信息的流动,并通过学习来自适应调节门的行为,但是其参数较少、计算速度较快。
其中,卷积时间网络(Temporal Convolutional Network,TCN)用于处理时间序列数据,其使用一系列的1D卷积层,每个卷积层包含多个不同大小的卷积核。这些卷积核可以同时处理多个时间步的数据,从而在一个卷积层中捕捉长期依赖性,并具有更高的并行性和计算效率。另外,每个卷积层之后都会进行一次残差连接和一次批归一化操作,训练速度较快,且模型稳定性高。并且使用可分离卷积操作将空间卷积和深度卷积分开进行,减少参数量和计算成本,避免过拟合的问题。
由上述可知,由于时序特征提取模块可以是循环神经网络和卷积神经网络,因此,任意一个时序特征提取网络中包括至少一个循环神经网络和至少一个卷积神经网络,循环神经网络和卷积神经网络之间按照模块级联顺序进行级联。
参照图8a至图8c,图8a至图8c是本申请实施例提供的循环神经网络和卷积神经网络的模块级联顺序示意图。假设在一个时序特征提取模块中包括n3个循环神经网络和n4个卷积时间网络,此时循环神经网络和卷积神经网络的模块级联顺序可以有如下几种可能的顺序:第一种如图8a,n3个循环神经网络依次级联,n4个卷积时间网络依次级联,并且第一个卷积时间网络连接在最后一个循环神经网络之后;第二种如图8b,n4个卷积时间网络依次级联,n3个循环神经网络依次级联,并且第一个循环神经网络连接在最后一个卷积时间网络之后;第三种如图8c,n3个循环神经网络和n4个卷积时间网络交替级联。可以理解的是,图8a至图8c仅是本申请实施例中循环神经网络和卷积神经网络的模块级联顺序的示意,并不代表本申请实施例对其进行限定。
在一种可能的实现方式中,由于时序特征提取模块中循环神经网络和卷积神经网络的模块级联顺序不定,而循环神经网络和卷积神经网络由于网络结构不同,导致其输出的数据分布可能不同,从而可能对训练过程或推断过程产生影响,进而影响最终变道检测结果的预测准确度。因此,本申请实施例如果循环神经网络的输出是卷积神经网络的输入,或者卷积神经网络的输出是循环神经网络的输入,则需要对循环神经网络和卷积神经网络的输出采用归一化的方法,来保证输出数据分布的一致性。其中,归一化方法可以是批归一化(Batch Normalization)或层归一化(Layer Normalization)。具体地,批归一化是在每一层的输出上进行归一化,其主要思想是对每个小批量的数据进行归一化,使得数据在均值为0,标准差为1的分布附近。层归一化在每一层的所有神经元上进行归一化,层归一化不依赖于小批量的统计量,可以对任意大小的数据进行归一化。
假如循环神经网络连接在卷积时间网络后,则将卷积时间网络的输出进行归一化后作为循环神经网络的输入。假如卷积时间网络连接在循环神经网络后,则将循环神经网络的输出进行归一化后作为卷积时间网络的输入。参照图9a至图9b,图9a至图9b是本申请实施例提供的引入归一化处理后循环神经网络和卷积神经网络的模块级联顺序示意图。图9a中以2个循环神经网络级联后,与2个卷积时间网络级联,其模块级联顺序表示为:循环神经网络1-循环神经网络2-卷积时间网络1-卷积时间网络2,其中,循环神经网络2的输出作为卷积时间网络1的输入,因此对循环神经网络2的输出进行归一化。图9b中以2个卷积时间网络级联后,与2个循环神经网络级联,其模块级联顺序表示为:卷积时间网络3-卷积时间网络4-循环神经网络3-循环神经网络4,其中,卷积时间网络4的输出作为循环神经网络3的输入,因此对卷积时间网络4的输出进行归一化。
本申请实施例中不同的时序特征提取网络中循环神经网络和卷积神经网络的模块级联顺序可以不同。由于不同的模块级联顺序表征不同的网络结构,网络结构之间的特征提取能力不同,因此通过串联这些网络结构能够提升特征表达能力,从而捕捉输入数据中各种不同尺度和抽象级别的特征。另外,将不同的网络连接结构连接起来,可以实现层次化的特征提取过程,利用较早的网络结构提取低级的局部特征,接着用后续的结构提取抽象和全局的特征,从而更好地理解输入数据的结构和语义。最后通过不同的网络结构,可以从不同的角度学习特征,从而获得互补的特征信息,如果某种模块级联顺序对应的网络连接结构对输入数据的某些特征或噪声敏感,其他网络连接结构可以通过互补的方式弥补不足,以此提高整体的泛化能力、鲁棒性和可靠性。
在一种可能的实现方式中,为了简化时序特征提取网络之间的连接结构。如果时序特征网络中包括一个循环神经网络和一个卷积时间网络,则可以设定相邻的两个时序特征提取网络具有不同的模块级联顺序。例如第一个时序特征提取网络的模块级联顺序为:卷积时间网络5-循环神经网络5,第二个时序特征提取网络的模块级联顺序则为:循环神经网络6-卷积时间网络6,第三个时序特征提取网络的模块级联顺序则为:卷积时间网络7-循环神经网络7,以此类推。这样的目的是相邻的两个时序特征提取网络之间通过相同的网络结构进行连接,其处理的数据尺度一致,可以去掉归一化的操作,从而在兼顾计算准确度的同时简化连接结构。
在一种可能的实现方式中,参照图10,图10是本申请实施例提供的时序特征提取网络的又一示意图。图10中依次级联的时序特征提取网络的数量为5个,每个时序特征提取网络都被配置成残差连接的方式,并且每个时序特征提取网络均是由两个依次级联的时序特征提取模块构成,其中,时序特征提取模块为长短期记忆网络LSTM,即每个时序特征提取网络均是由两个依次级联的长短期记忆网络LSTM构成,每个LSTM的内核大小可以为6*24。
在调用依次级联的多个时序特征提取网络对测量时序数据进行特征提取,得到最后一个时序特征提取网络输出的目标时序特征后,接下来对目标时序特征进行特征映射。
步骤303:调用映射网络基于目标时序特征进行特征映射,得到测量时序数据在最后一个时间分片对应的目标子特征。
其中,利用映射网络基于目标时序特征进行特征映射,主要是通过卷积操作从输入的目标时序特征中提取特征,然后对提取的数据进行数据选择,选取测量时序数据在最后一个时间分片对应的目标子特征。
在一种可能的实现方式中,映射网络可以是全连接网络也可以是循环神经网络或者卷积时间网络。因此调用映射网络基于目标时序特征进行特征映射,得到测量时序数据在最后一个时间分片对应的目标子特征的具体过程包括:当映射网络为全连接网络时,从目标时序特征中提取测量时序数据在最后一个时间分片对应的初始子特征,调用映射网络对初始子特征进行特征映射,得到测量时序数据在最后一个时间分片对应的目标子特征;或者,当映射网络为循环神经网络或者卷积时间网络,且循环神经网络或者卷积时间网络被配置为输出最后一个时间分片的映射结果时,调用映射网络对目标时序特征进行特征映射,得到测量时序数据在最后一个时间分片对应的目标子特征。
其中,考虑到映射网络可以是两种不同的类型,因此当映射网络为全连接网络时,此时从目标时序特征是根据测量时序数据计算得到,两者的维度相同,测量时序数据包括多个时间分片对应的测量数据,因此目标时序特征中包括每个时间分片对应的初始子特征,此时将最后一个时间分片对应的初始子特征输入全连接网络进行特征映射,即可得到最后一个时间分片的测量数据的目标子特征。
在一种可能的实现方式中,例如测量时序数据中包括800个时间分片的测量数据,同时每个时间分片数据为6路数据,则测量时序数据是一个数据维度为800*6的矩阵。然后测量时序数据经过依次级联的多个时序特征提取网络进行特征提取,得到的目标时序特征的数据维度与测量时序数据一致,即目标时序特征也是800*6的矩阵。此时初始子特征是800*6的矩阵中第800行的值,然后利用调用映射网络对初始子特征进行特征映射,得到最后一个时间分片对应的目标子特征。
在一种可能的实现方式中,当映射网络为全连接网络时,参照图10,在最后一个长短期记忆网络LSTM后接一个抽取模块,提取最后一个时间分片对应的初始子特征,再接一个激活函数为Relu的全连接网络,即可得到目标子特征,全连接网络的内核大小可以为6*10。
其中,当映射网络为循环神经网络或者卷积时间网络,需要将循环神经网络或者卷积时间网络进行配置,使得循环神经网络或者卷积时间网络能够输出最后一个时间分片的映射结果。例如在最后一个时序特征提取网络的最后一个时序特征提取模块中增加一个参数return_sequences,当return_sequences=False时,最后一个时序特征提取模块输出最后一个时间分片对应的初始子特征,当return_sequences=True时,最后一个时序特征提取模块输出整个时间分片对应的初始子特征,再通过一个全连接层,获取最后一个时间分片对应的初始子特征。此时调用映射网络对目标时序特征进行特征映射,即可得到测量时序数据在最后一个时间分片对应的目标子特征。
得到目标子特征之后,可以对目标子特征展平后进行分类,根据分类结果得到变道检测结果。
步骤304:调用分类网络基于目标子特征进行变道状态的分类,得到待测车辆的变道检测结果。
其中,变道状态包括:不变道、向左变道和向右变道,不同的目标子特征进入分类网络后,会输出每个变道状态对应的概率值,根据概率值最大的变道状态即可得到对应的变道检测结果。
参照图11,图11是本申请实施例提供的车道检测结果示意图。图11中,待测车辆在中间车道,沿着其行驶方向左右两边各有一个车道,此时如果待测车辆需要至左边车道,则变道检测结果为向左变道,如果待测车辆需要至右边车道,则变道检测结果为向右变道,如果待测车辆无需变道,则变道检测结果为不变道。
在一种可能的实现方式中,分类网络可以是一个激活函数为Softmax的全连接网络,参照图10,在激活函数为Relu的全连接网络后面连接激活函数为Softmax的全连接网络,即可得到变道检测结果,全连接网络的内核大小可以为10*3。
本申请实施例的变道检测方法通过获取对待测车辆进行惯性测量而得到的测量时序数据,调用依次级联的多个时序特征提取网络对所述测量时序数据进行特征提取,得到最后一个所述时序特征提取网络输出的目标时序特征,能够通过依次级联的多个时序特征提取网络有效地提升目标时序特征的准确性,同时,由于各个所述时序特征提取网络均被配置为通过残差连接进行输出,使得时序特征提取网络更具表现力,从而进一步提升目标时序特征的准确性,后续再调用映射网络基于所述目标时序特征进行特征映射,得到所述测量时序数据在最后一个所述时间分片对应的目标子特征,并调用分类网络基于所述目标子特征进行变道状态的分类,因而能够得到准确率较高的变道检测结果,可见,本申请实施例通过引入前述的依次级联的多个时序特征提取网络、映射网络以及分类网络,仅依赖于测量时序数据即可有效地提升变道检测的准确性,无须依赖其他辅助信号,在提升变道检测的准确性的同时,扩大变道检测的应用范围。
本申请实施例的变道检测方法中依次级联的多个时序特征提取网络、映射网络和分类网络构成变道检测模型,下面描述变道检测模型的训练过程。
在一种可能的实现方式中,变道检测模型的训练过程具体包括:获取不同的目标时间段内对样本车辆进行惯性测量而得到的候选时序数据;获取各个目标时间段内样本车辆采集的车道线曲率参数,根据车道线曲率参数从多个候选时序数据中筛选出第一样本时序数据以及第二样本时序数据,其中,第一样本时序数据与第二样本时序数据之间的数量比例为预设比例,第一样本时序数据对应的车道线曲率参数大于或者等于曲率参数阈值,第二样本时序数据对应的车道线曲率参数小于曲率参数阈值;基于第一样本时序数据以及第二样本时序数据,对时序特征提取网络、映射网络和分类网络中的至少之一进行参数调整。
其中,在车道检测模型训练时,考虑到实际驾驶环境中,变道时车辆可能在直道也可能在弯道上行驶,而弯道也存在较大的变道可能性,如果不考虑弯道相关的样本数据,在进行车道预测时,当车辆行驶在有曲率的弯道时,容易影响车道预测的准确性。参照图12,图12是本申请实施例提供的弯道变道示意图。图12中,样本车辆行驶在弯道上,车道线具有一定的曲率,沿着行驶方向,样本车辆在右边车道行驶,此时可能需要变道至左边车道。因此本申请实施例在构建训练所需样本时,引入一定比例的弯道相关样本,从而使得车道检测能够适应弯道变道的检测场景。
首先对于样本车辆来说,其包括IMU和视觉传感器。其中,IMU用于对样本车辆进行惯性测量,得到包括加速度和角速度的6路数据。本申请实施例在不同的目标时间段内对样本车辆进行惯性测量,得到多个候选时序数据,每个候选时序数据都至少包括多个时间分片的6路惯性测量的数据。
其中,视觉传感器是用于获取目标时间段内样本车辆行驶的道路环境,目的是确定样本车辆行驶在直道或者弯道上。这里的视觉传感器包括:摄像头、雷达、激光雷达、超声波传感器等。视觉传感器能够提供关于样本车辆的行驶道路的相关信息,例如车道线信息、样本车辆与各车道线的距离、车道线形态等。
在一种可能的实现方式中,利用视觉传感器获取各个目标时间段内样本车辆采集的车道线曲率参数,车道线曲率参数用于指示目标时间段内样本车辆经过的车道线的曲率大小,进而判断样本车辆行驶的道路是直道还是弯道。
参照图13,图13是本申请实施例中样本车辆的行驶状态示意图。图13中样本车辆行驶在一个车道上,沿着行驶方向,该车道对应有左车道线和右车道线,假设左车道线和右车道线之间近似平行,两者对应位置的曲率基本对应。此时视觉传感器能够采集到的信息包括收集到的车道线的数量以及每个车道线的几何信息。其中,几何信息为车道线的曲率信息,具体表示为:
其中,y表示车道线的几何方程,x表示车道线上的采样点,表示样本车辆的车辆中心到车道线的距离,/>、/>、/>表示车道线的曲率参数。
在一种可能的实现方式中,由于样本车辆在目标时间段内会行驶一段距离,在这段距离中,车道线曲率值会随着行驶过程变化的,此时可以在目标时间段内进行多次采样,获取采样时刻对应的车道线曲率值,然后将采集的车道线曲率值的最大值或者均值作为该目标时间段对应的车道线曲率参数。参照图14,图14是本申请实施例提供的车道线曲率参数计算示意图。图14中目标时间段内样本车辆行驶的道路对应的车道线曲率值随着行驶过程变化,假设有5个采样时刻,不同采样时刻得到的车道线曲率值之间的关系表示为:t1-q1、t2-q2、t3-q3、t4-q4和t5-q5,此时假设车道线曲率值的最大值为q3,则该目标时间段对应的车道线曲率参数可以是q3,也可以是(q1+q2+q3+q4+q5)/5。
接着根据车道线曲率参数从多个候选时序数据中筛选出第一样本时序数据以及第二样本时序数据,这里的第一样本时序数据为弯道相关的样本数据,第二样本时序数据为直道相关的样本数据。可以理解的是,由于实际道路很少有绝对笔直的道路,因此本申请实施例中说的直道并不代表其车道线曲率参数为零,而是说其车道线曲率参数不大,可以近似看作是直道。因此可以根据经验值或者实测值设定一个曲率参数阈值,凡是车道线曲率参数大于或者等于曲率参数阈值都作为第一样本时序数据,凡是车道线曲率参数小于曲率参数阈值的作为第二样本时序数据。在一种可能的实现方法中,曲率参数阈值可以是>0.001,即根据曲率参数/>确定曲率大和曲率小对应的样本数据。
另外,由于本申请实施例中第一样本时序数据与第二样本时序数据之间的数量比例为预设比例,预设比例的设定能够确保车道预测模型的泛化性能符合要求即可。最后利用第一样本时序数据与第二样本时序数据对车道预测模型进行训练,从而对时序特征提取网络、映射网络和分类网络中的至少之一进行参数调整。在一种可能的实现方法中,第一样本时序数据与第二样本时序数据的预设比例可以是2:8,即曲率大的时序数据与曲率小的时序数据的比例为2:8。
考虑到样本均衡,本申请实施例需要获取样本车辆在目标时间段内变道的数据以及样本车辆在目标时间段内不变道的数据。因此需要获取变道的候选时序数据作为变道样本,以及不变道的候选时序数据作为不变道样本,并从变道样本中根据车道线曲率参数和预设比例确定第一样本时序数据和第二样本时序数据,从不变道样本中同样根据车道线曲率参数和预设比例确定第一样本时序数据和第二样本时序数据,也就是说第一样本时序数据中包括变道样本和不变道样本,第二样本时序数据中包括变道样本和不变道样本。
下面首先描述变道样本的生成过程。
在一种可能的实现方式中,获取不同的目标时间段内对样本车辆进行惯性测量而得到的候选时序数据的具体过程包括:获取样本车辆行驶过程中采集的车道线截距,确定车道线截距过零的各个目标时间戳,接着对各个目标时间戳进行扩展得到不同的目标时间段,获取各个目标时间段内对样本车辆进行惯性测量而得到的候选时序数据。
其中,车道线截距即图13中样本车辆的车辆中心到车道线的距离c0,在提取变道样本时,变道说明样本车辆从一个车道转移到另一个车道,由于不同等级的机动车的车道宽度基本都是在3.25-3.75米之间,而通常的样本车辆的宽度在1.6米到1.8米之间,如果样本车辆不变道,则一般在车道中居中行驶,正常居中行驶过程中,样本车辆距离最近的车道线的距离大致为1米左右,而样本车辆在变道的过程中,必然伴随着从某根车道线的一侧,行驶到该车道线的另一侧的过程,也就是说样本车辆跨越该车道线,这个过程中,车辆与该车道线的车道线截距就会发生正负转换。假设向左的方向为正,则样本车辆从左往右变道时,车道线截距从正变负,样本车辆从右往左变道时,车道线截距从负变正。在这个过程中,这根车道线通常是样本车辆所在道路上所有车道线中距离样本车辆最近的车道线,也就是说选取的车道线对应的车道线截距c0是所有车道线截距中最小的。
参照图15,图15是本申请实施例中车道线截距的示意图。图15中样本车辆行驶在具有3个车道的道路上,样本车辆以点进行示意。共有四条车道线,分别是车道线D1、车道线D2、车道线D3和车道线D4,此时,样本车辆与每个车道线之间的车道线截距分别是:车道线D1对应车道线截距d1、车道线D2对应车道线截距d2、车道线D3对应车道线截距d3、车道线D4对应车道线截距d4。假设沿着行驶方向,样本车辆从左往右变道,则样本车辆会穿过车道线D2,以向左为正向,此时样本车辆与车道线D2之间的车道线截距d2变为车道线截距d2’,具体是由负值的车道线截距d2变为零,再从零变为正值的车道线截距d2’,在这个过程中,车道线截距d2最小,车道线D2是距离样本车辆最近的车道线。假设沿着行驶方向,样本车辆从右往左变道,则样本车辆会穿过车道线D3,以向左为正向,此时样本车辆与车道线D3之间的车道线截距d3变为车道线截距d3’,具体是由正值的车道线截距d3变为零,再从零变为负值的车道线截距d3’,在这个过程中,车道线截距d3最小,车道线D3是距离样本车辆最近的车道线。可以理解的是,无论以哪个方向作为正向,只要出现变道,车道线截距都会过零。
通过上述方式获取到样本车辆行驶过程中采集的每个车道线对应的车道线截距,如果车道线截距出现从正到负的过零时刻,或者从负到正的过零时刻,则确定样本车辆出现了变道操作。此时需要确定车道线截距过零的各个目标时间戳,即每个目标时间戳对应一个变道操作。
考虑到驾驶员的驾驶习惯不同、路况不同等条件的限制,样本车辆的每次变道过程持续的时间都不相同,而对于本申请实施例的变道检测来说,需要根据一个稳定长度的时序数据进行预测,因此在生成变道样本和不变道样本时,需要与测量时序数据的数据长度相同。经过对样本车辆的实测验证,可知大部分驾驶场景,例如高速驾驶场景、城快驾驶场景或普通道路驾驶场景下,大部分的变道过程都是在2-8秒内完成的,因此,可以根据实际变道过程的持续时间生成变道样本和不变道样本的时间段长度,在这个时间段内提取数据得到对应的样本。可以理解的是,对于变道样本,为了提高数据的置信度,需要将变道时刻,也就是车道线截距c0过零的目标时间戳放在时间段的中间,得到不变道-变道-不变道的标准变道过程相关数据。因此本申请实施例以目标时间戳为时间中心,按照持续时间向前后进行时间扩展,得到每个目标时间戳对应的目标时间段,可以得到多个不同的目标时间段,在每个目标时间段内,持续对样本车辆进行惯性测量,得到该目标时间段内对应的候选时序数据。
在一种可能的实现方式中,由于目标时间段在选取过程中可能出现不同的情况,因此本申请实施例对各个目标时间戳按照持续时间进行扩展得到不同的目标时间段的过程具体包括:对各个目标时间戳进行扩展得到不同的候选时间段,对多个候选时间段进行去重,得到目标时间段;或者,对各个目标时间戳进行扩展得到不同的候选时间段,当候选时间段中车道线截距过零的次数为至少两次时,剔除候选时间段,将剩余的候选时间段确定为目标时间段;或者,对各个目标时间戳进行扩展得到不同的候选时间段,当候选时间段中车道线截距的最大值小于或者等于截距阈值时,剔除候选时间段,将剩余的候选时间段确定为目标时间段。
其中,如果对各个目标时间戳进行扩展后,得到的不同的候选时间段之间存在重合,此时为了提高数据的差异性,可以对多个候选时间段进行去重,得到目标时间段。
另外,如果样本车辆压线行驶,则样本车辆与车道线频繁相交,此时车道线截距较小,并且会在较短的时间段内,出现多次车道线截距偏小的情况,因此可以利用车道线截距的最大值与截距阈值的大小比较筛选压线行驶下得到的数据。具体是当候选时间段中车道线截距的最大值小于或者等于截距阈值时,则判断出现压线行驶的情况,剔除候选时间段,将剩余的候选时间段确定为目标时间段。
另外,如果样本车辆连续跨越多个车道变道,则会出现至少两个车道线的截距过零,但是这种情况的占比也不高,因此为了提高变道预测准确度,在生成变道样本时,将这种连续跨越多个车道的情况去除。当样本车辆连续跨越多个车道变道时,在每次变道时会出现至少两个车道线截距过零的情况,因此能获取至少两次目标时间戳,可以利用目标时间戳的次数筛选连续跨越车道的情况。具体是当一个候选时间段中车道线截距过零的次数为至少两次时,即目标时间戳为至少两个时,剔除该候选时间段,将经过筛选之后得到的剩余的候选时间段确定为目标时间段。
在一种可能的实现方式中,首先确定候选时序数据的时间长度为t秒,例如6s。接着对于样本车辆,将其采集的数据进行分析,从中获取视觉传感器输出的车道线截距过零的位置对应的时间戳作为目标时间戳t0,并向前向后扩展t/2秒,得到对应的候选时间段。接着进行判断,如果候选时间段存在重合,则随机保留其中一个候选时间段。如果候选时间段[t0-t/2,t0+t/2]内,存在至少两次车道线截距过零,则说明存在连续变道的过程,过滤掉对应的候选时间段。假设截距阈值为1m,如果候选时间段[t0-t/2,t0][t0,t0+t/2]内,车道线截距的最大值不超过1米,说明该样本车辆可能变道的起始位置可能不是从道路中心开始,存在一直压线的可能,则将该候选时间段过滤掉。另外,也可以计算候选时间段[t0-t/2,t0+t/2]内,曲率参数c2的最大值,作为候选时间段的车道线曲率参数。另外,如果该样本车辆的车道线截距过零的过程是从负变正,则将该样本车辆的变道结果标记为向右变道,该样本车辆的车道线截距过零的过程是从正变负,则将该样本车辆的变道结果标记为向左变道。
参照图16,图16是本申请实施例提供的目标时间段的示意图。图16中存在2个目标时间戳,分别是:目标时间戳mt1和目标时间戳mt2,按照相同的时间窗大小,以目标时间戳为时间中心,向左向右进行时间扩展,得到目标时间戳mt1对应的候选时间段md1、目标时间戳mt2对应的候选时间段md2。如果候选时间段md1和候选时间段md2中车道线截距的最大值大于截距阈值,且候选时间段md1和候选时间段md2之间不重合、不存在至少两个目标时间戳,则候选时间段md1和候选时间段md2均为目标时间段。
参照图17,图17是本申请实施例提供的目标时间段的又一示意图。图17中样本车辆跨越多个车道进行变道,其从车道1变道至车道3,在这个过程中跨越车道线D5和车道线D6,接着从车道3变道至车道2,在这个过程中跨越车道线D6。此时获取到3个目标时间戳,分别是:跨越车道线D5的目标时间戳mt3、跨越车道线D6的目标时间戳mt4和第二次跨越车道线D6的目标时间戳mt5。按照相同的时间窗大小,以目标时间戳为时间中心,向左向右进行时间扩展,得到目标时间戳mt3对应的目标时间段md3、目标时间戳mt4对应的目标时间段md4和目标时间戳mt5对应的目标时间段md5,此时得到的候选时间段分别是:目标时间戳mt3对应的候选时间段md3、目标时间戳mt4对应的候选时间段md4和目标时间戳mt5对应的候选时间段md5。由于候选时间段md3和候选时间段md4中车道线截距过零的次数为两次,因此剔除候选时间段md3和候选时间段md4,将候选时间段md5作为目标时间段。
参照图18,图18是本申请实施例提供的目标时间段的又一示意图。图18中样本车辆压线行驶,其从车道线D7左右来回进行跨线。此时获取到3个目标时间戳,分别是:目标时间戳mt6、目标时间戳mt7和目标时间戳mt8,按照相同的时间窗大小,以目标时间戳为时间中心,向左向右进行时间扩展,得到目标时间戳mt6对应的候选时间段md6、目标时间戳mt7对应的候选时间段md7和目标时间戳mt8对应的候选时间段md8。获取每个候选时间段内对应的车道线截距的最大值,最大值分别是:目标时间戳mt6对应的车道线截距d6、目标时间戳mt7对应的车道线截距d7和目标时间戳mt8对应的车道线截距d8。经过判断得知车道线截距d6、车道线截距d7和车道线截距d8均小于截距阈值df。因此候选时间段md6、候选时间段md7和候选时间段md8都需要被剔除。
由上述过程得到变道样本,可以理解的是,由于第一样本时序数据为弯道相关的样本数据,第二样本时序数据为直道相关的样本数据,因此可以按照上述过程从第一样本时序数据中得到弯道相关的变道样本,以及从第二样本时序数据中得到直道相关的变道样本。
下面描述不变道样本的生成过程。
在一种可能的实现方式中,获取不同的目标时间段内对样本车辆进行惯性测量而得到的候选时序数据的具体过程包括:获取样本车辆行驶过程中采集的车道线截距,将车道线截距的最小值位于截距区间的各个时间段确定为目标时间段,接着获取各个目标时间段内对样本车辆进行惯性测量而得到的候选时序数据。
其中,样本车辆的直行过程和变道过程不同,在样本车辆行驶过程中,如果其不变道,则一定不存在样本车辆感知到车道线截距的最小值过零的情况。并且基于大部分驾驶员的驾驶习惯,样本车辆在行驶的过程中,大部分时间处于不变道的情况,由于任何车辆即使不变道也不能保证一直在车道中心行驶,车辆会以较小的幅度在车道内横向移动,此时获取到的样本车辆行驶过程中采集的车道线截距会一直稳定在一个范围内,这个范围作为截距区间。因此获取样本车辆行驶过程中采集的车道线截距,将车道线截距的最小值位于截距区间的各个时间段确定为不变道的目标时间段,根据该目标时间段内对样本车辆进行惯性测量得到的候选时序数据生成不变道样本。在一实施例中,根据车道宽度和车辆宽度的相关实测数据,确定截距区间可以是1.2米-2米的距离区间。
在一种可能的实现方式中,首先确定候选时序数据的时间长度为t秒,例如6s。接着对于样本车辆,将其采集的数据进行分析,从中获取视觉传感器输出的车道线截距位于截距区间的时间段。接着在时间段内,连续选择不含重复的t秒作为目标时间段,获取各个目标时间段内对样本车辆进行惯性测量而得到的候选时序数据。同时在目标时间段内选取曲率参数c2的最大值,作为目标时间段的车道线曲率参数。
由上述过程得到不变道样本,可以理解的是,由于第一样本时序数据为弯道相关的样本数据,第二样本时序数据为直道相关的样本数据,因此可以按照上述过程获取第一样本时序数据中弯道相关的不变道样本,以及从第二样本时序数据中获取直道相关的不变道样本。
在一种可能的实现方式中,在生成上述变道样本和不变道样本过程中,样本车辆的视觉传感器输出的参数是{timestamp1,c0,c1,c2,c3,conf},其中,timestamp1为***的时间戳,表示样本车辆的车辆中心到车道线的距离,/>、/>、/>表示车道线的曲率参数,conf为车道线方程的置信度。对于该置信度可以过滤掉车道线方程估计不准的情况,一般将其归一化到0-1之间,0表示完全不可信,1表示完全可信,该置信度可以由样本车辆计算后给出。另外,样本车辆的IMU采集输出候选时序数据,候选时序数据包括{timestamp2,acc_x1,acc_y1,acc_z1,gyr_x1,gyr_y1,gyr_z1,fHz},其中,timestamp2表示IMU的采集时间戳,通过***的时间戳timestamp1和IMU的采集时间戳timestamp2,将候选时序数据和视觉传感器采集的参数进行对齐。acc_x1表示样本车辆的加速度计在x轴方向上的x轴加速度,acc_y1表示样本车辆的加速度计在y轴方向上的y轴加速度,acc_z1表示样本车辆的加速度计在z轴方向上的z轴加速度,gyr_x1表示样本车辆的陀螺仪在x轴方向上的x轴角速度,gyr_y1表示样本车辆的陀螺仪在y轴方向上的y轴角速度,gyr_y1表示样本车辆的陀螺仪在z轴方向上的z轴角速度。
在一种可能的实现方式中,IMU是安装在样本车辆的左前方,如果样本车辆较多时,很难保证每个样本车辆的IMU安装位置统一,因此需要对不同样本车辆的IMU的采集数据进行坐标系的转换。当样本车辆的数量为多辆时,获取不同的目标时间段内对样本车辆进行惯性测量而得到的候选时序数据的具体过程包括:获取不同的目标时间段内,对各辆样本车辆进行惯性测量而得到的初始时序数据,接着将各辆样本车辆的初始时序数据转化至同一个目标坐标系,得到样本车辆的候选时序数据。
其中,样本车辆的IMU安装位置虽然不统一,但是对于每个样本车辆来说,其IMU安装位置是确定可知的,因此先设定一个标准坐标系作为目标坐标系,然后将每个样本车辆的IMU进行惯性测量得到的初始时序数据转换到标准坐标系,得到同一个目标坐标系下的数据,将其作为候选时序数据。由于IMU在样本车辆上的安装角是固定的,其精度较高,因此将初始时序数据转化到标准坐标系的坐标转换过程基本不存在误差。
在一种可能的实现方式中,将各辆样本车辆的初始时序数据转化至同一个目标坐标系,得到样本车辆的候选时序数据的过程具体包括:将各辆样本车辆的初始时序数据转化至同一个目标坐标系,并且在当任意一辆样本车辆的初始时序数据不完整时,将位于同一位置范围的另一辆样本车辆转化后的初始时序数据,与当前的样本车辆转化后的初始时序数据进行合并,得到当前的样本车辆的候选时序数据。
其中,初始时序数据不完整指的是目标时间段内进行惯性测量得到的测量数据有缺失。由于以下几个原因,样本车辆进行惯性测量得到的测量数据可能不完整。例如硬件部件损坏或失灵,如惯性传感器故障、连接线松动等,会导致测量数据不完整。惯性测量过程需要在稳定、无干扰的环境中进行,如果样本车辆所处的环境存在较大的干扰,例如磁场干扰、温度变化、机械振动等,都会影响测量数据的完整性。或者样本车辆处于不同的运动状态下,如加速、减速、旋转等,会受到不同的力学作用,这些不同的力学作用会对惯性测量的测量数据产生影响,从而影响数据的完整性。或者惯性测量过程中采样频率过高,导致数据量过大,存储或传输时出现丢失或缺失数据。
由于本申请实施例中样本车辆数量较多,因此当某一个样本车辆的初始时序数据不完整时,可以获取当前的样本车辆的位置,在同一个位置范围内,选择另一个样本车辆,将其在该位置进行惯性测量得到的初始时序数据转化到标准坐标系后,再将转化后的初始时序数据与当前的样本车辆转化后的初始时序数据进行合并,得到当前的样本车辆的候选时序数据。这里的合并过程包括时间同步和数据插值,即首先根据缺失的数据的采集时间选取另一个样本车辆对时间的测量数据,然后利用插值的方式将测量数据合并在缺失的初始时序数据中。可以理解的是,为了数据可信度,可以设置较小的位置范围,位置范围可以根据实际需求设定。如果该位置范围内不存在其他样本车辆,则丢弃对应的初始时序数据,同时该位置范围内存在较多的样本车辆,则选取运动状态最接近当前样本车辆的、距离最近的样本车辆作为合并所需的样本车辆,利用其初始时序数据进行缺失值合并。
另外,为了提高合并后的候选时序数据的数据质量和数据融合效果,可以对候选时序数据进行滤波、平滑或其他数据处理技术来提高数据的可靠性和精度,使得当前的样本车辆与其他样本车辆的初始时序数据能够有效融合,以获得更准确的补全结果。
参照图19,图19是本申请实施例提供的初始时序数据不完整的处理示意图。图19中当前的样本车辆为样本车辆1,根据其进行惯性测量后得到的测量数据生成其对应的初始时序数据。假设初始时序数据包括10个采集时间的采集数据,采集时间分别是qt1、qt2、qt3、qt4、qt5、qt6、qt7、qt8、qt9、qt10,可见样本车辆1的初始时序数据中缺失qt3、qt7和qt9对应的采集数据,因此初始时序数据不完整。此时在位置范围内存在样本车辆2,并且其在前述10个采集时间内有连续的采集数据,因此将样本车辆2在采集时间qt1、qt2、qt3、qt4、qt5、qt6、qt7、qt8、qt9、qt10对应的采集数据作为样本车辆2的初始时序数据。将样本车辆1和样本车辆2分别对应的初始时序数据转化到作为标准的目标坐标系,再按照缺失的采集时间qt3、qt7和qt9,将样本车辆2的qt3、qt7和qt9对应的转化后的采集数据合并到样本车辆1的转化后的初始时序数据中,得到样本车辆1的候选时序数据。
在一种可能的实现方式中,假设收集的样本总数为S,则可以收集2/3*S的变道样本和S/3的不变道样本,在变道样本中,向左变道和向右变道的样本数均衡。由于不变道的样本的数量大幅多于变道样本的数量,因此可以先收集2/3*S的变道样本,然后按照同样的比例,在相同的采集文件中,随机选择大致S/3的不变道样本。
在一具体的测试场景中,样本车辆累计采集超过50万公里的测试数据,因此能够从中得到较多的变道样本和不变道样本,从而能够训练满足性能要求的变道预测模型,提高变道预测模型的泛化性能和预测准确率。另外,通过坐标转换的方式可以将不同样本车辆得到的样本综合起来,提升样本多样性,进一步提升变道预测模型的预测准确率。
在一种可能的实现方式中,在得到第一样本时序数据的变道样本和不变道样本,以及第二样本时序数据的变道样本和不变道样本后,基于第一样本时序数据以及第二样本时序数据,对时序特征提取网络、映射网络和分类网络中的至少之一进行参数调整的过程具体包括:分别基于第一样本时序数据以及第二样本时序数据,对样本车辆进行变道状态的分类,得到第一样本时序数据以及第二样本时序数据各自对应的样本检测结果,然后获取第一样本时序数据以及第二样本时序数据各自对应的变道检测标签,其中,变道检测标签是基于样本车辆行驶过程中采集的车道线截距确定的;最后根据样本检测结果以及对应的变道检测标签确定目标损失,根据目标损失对时序特征提取网络、映射网络和分类网络中的至少之一进行参数调整。
其中,由于第一样本时序数据是弯道下的变道样本以及不变道样本,因此将其输入变道预测模型,对样本车辆进行变道状态的分类,可以得到第一样本时序数据对应的样本检测结果,这个结果表征变道预测模型在弯道情况下的变道预测性能。第二样本时序数据是直道下的变道样本以及不变道样本,因此将其输入变道预测模型,对样本车辆进行变道状态的分类,可以得到第二样本时序数据对应的样本检测结果,这个结果表征变道预测模型在直道情况下的变道预测性能。
接着分别获取第一样本时序数据以及第二样本时序数据各自对应的变道检测标签,变道预测标签是对应的样本的变道情况的真值,变道检测标签是基于样本车辆行驶过程中采集的车道线截距确定的,也就是说在确定变道样本和不变道样本的时候就可以确定对应样本的变道预测标签,例如变道样本的样本预测标签包括:向左变道和向右变道,不变道样本的样本预测标签为不变道。
最后根据样本检测结果以及对应的变道检测标签确定目标损失,本申请实施例中目标损失是根据目标损失函数计算得到。目标损失函数可以是多分类的交叉熵损失函数,交叉熵损失函数的目标是最小化变道检测标签与样本检测结果之间的差异,使变道预测模型能够更准确地预测样本的类别。通过最小化交叉熵损失函数,变道预测模型可以学***方进行指数加权移动平均操作,使得梯度下降的学***方梯度的移动平均值比较小,导致学***方梯度的移动平均值比较大,导致学习率比较小,可以更加精细地搜索最优解。因此,RMSprop优化器可以加快梯度下降的收敛速度,并在适当的时候减小学习率,提高模型的性能。另外,由于变道检测模型包括依次级联的多个时序特征提取网络、映射网络和分类网络,因此模型参数调整的过程为根据目标损失对时序特征提取网络、映射网络和分类网络中的至少之一进行参数调整。
在一种可能的实现方式中,变道检测模型中时序特征提取网络中时序特征提取模块可以是卷积时间网络,卷积时间网络的具体参数设置为drop_out_rate=0.05,dilations=(1, 2, 4, 8, 16, 32,64),采用因果卷积即padding='causal'。在卷积时间网络中,drop_out_rate表示每个神经元在训练过程中以0.05的概率被丢弃,以减少过拟合的风险。dilations是指卷积层中卷积核的扩张率,用于确定每个卷积层能够捕捉到的时间序列的范围,该实施例中dilations=(1, 2, 4, 8, 16, 32, 64)表示每个卷积层的卷积核的扩张率分别为1, 2, 4, 8, 16, 32, 64。padding='causal'表示采用因果卷积,因果卷积指的是在进行卷积操作时,只允许当前时间步之前的输入影响当前时间步的输出,避免了未来信息的泄露,更适合处理时间序列数据。
另外,训练过程中输入的第一样本时序数据以及第二样本时序数据的时间长度为8s,采集频率为100Hz,数据长度为800组,每一组都是6路的IMU数据,训练过程中,将第一样本时序数据以及第二样本时序数据构成是数据集分为7:3,分别作为训练集和测试集,使用RMSprop优化器,目标损失函数为交叉熵损失函数,batch_size设置为16。其中,batch_size指每次迭代中所使用的样本数量。在深度学习中,由于数据量通常非常大,如果每次更新参数时都需要计算损失函数对于所有样本的梯度,这会导致计算量非常大,耗费大量时间。因此为了提高训练效率,可以将所有样本分成若干小批量,每次只计算一个批量的梯度,然后将这个批量的梯度累加起来,再更新参数,从而减少计算量,提高训练效率。
本申请实施例中通过获取对待测车辆进行惯性测量而得到的测量时序数据,调用依次级联的多个时序特征提取网络对所述测量时序数据进行特征提取,得到最后一个所述时序特征提取网络输出的目标时序特征,能够通过依次级联的多个时序特征提取网络有效地提升目标时序特征的准确性,同时,由于各个所述时序特征提取网络均被配置为通过残差连接进行输出,使得时序特征提取网络更具表现力,从而进一步提升目标时序特征的准确性,后续再调用映射网络基于所述目标时序特征进行特征映射,得到所述测量时序数据在最后一个所述时间分片对应的目标子特征,并调用分类网络基于所述目标子特征进行变道状态的分类,因而能够得到准确率较高的变道检测结果,可见,本申请实施例通过引入前述的依次级联的多个时序特征提取网络、映射网络以及分类网络,仅依赖于测量时序数据即可有效地提升变道检测的准确性,无须依赖其他辅助信号,在提升变道检测的准确性的同时,扩大变道检测的应用范围。
在一种可能的实现方式中,从排在第二位的时序特征提取网络开始,在将前一个时序特征提取网络的输出输入至下一个时序特征提取网络时,还可以引入特征权重,其中,当前的时序特征提取网络对应的特征权重,是通过将前一个时序特征提取网络的输出输入至回归网络预测得到的,将前一个时序特征提取网络的输出基于该特征权重进行加权后,再输入至下一个时序特征提取网络,其中,不同的时序特征提取网络可以共用一个回归网络,或者分别设置各自的回归网络。例如,假设当前的时序特征提取网络为排在第二位的时序特征提取网络,则先将首个时序特征提取网络的输出输入至回归网络,得到排在第二位的时序特征提取网络对应的特征权重,将首个时序特征提取网络的输出基于该特征权重进行加权后,再输入至排在第二位的时序特征提取网络,以此类推。在此基础上,回归网络是变道检测模型的一部分,与多个时序特征提取网络、映射网络和分类网络联合训练。
通过从排在第二位的时序特征提取网络开始引入特征权重,能够从排在第二位的时序特征提取网络开始,达到对每个时序特征提取网络的输出的微调效果,在基于依次级联的多个时序特征提取网络进行特征提取时使得每次的特征提取更加精细化,从而提升目标子特征的准确性。
下面详细说明本申请实施例提供的变道检测方法的原理。
参照图20,图20为本申请实施例提供的变道检测方法的一种可选的总体流程示意图。
步骤2001:生成变道检测模型的训练样本。
其中,训练样本包括第一样本时序数据以及第二样本时序数据。第一样本时序数据与第二样本时序数据之间的数量比例为预设比例,第一样本时序数据对应的车道线曲率参数大于或者等于曲率参数阈值,第二样本时序数据对应的车道线曲率参数小于曲率参数阈值。具体地,第一样本时序数据为弯道相关的样本数据,第二样本时序数据为直道相关的样本数据。通过获取不同的目标时间段内对样本车辆进行惯性测量而得到的候选时序数据,获取各个目标时间段内样本车辆采集的车道线曲率参数,根据车道线曲率参数从多个候选时序数据中筛选出第一样本时序数据以及第二样本时序数据。获取变道的候选时序数据作为变道样本,以及不变道的候选时序数据作为不变道样本,并从变道样本中根据车道线曲率参数和预设比例确定第一样本时序数据和第二样本时序数据,从不变道样本中同样根据车道线曲率参数和预设比例确定第一样本时序数据和第二样本时序数据。
其中,对于变道样本来说,获取不同的目标时间段内对样本车辆进行惯性测量而得到的候选时序数据具体包括:获取样本车辆行驶过程中采集的车道线截距,确定车道线截距过零的各个目标时间戳,对各个目标时间戳进行扩展得到不同的目标时间段,获取各个目标时间段内对样本车辆进行惯性测量而得到的候选时序数据。
本申请实施例中,由于目标时间段在选取过程中可能出现不同的情况,因此本申请实施例对各个目标时间戳按照持续时间进行扩展得到不同的目标时间段的过程具体包括:对各个目标时间戳进行扩展得到不同的候选时间段,对多个候选时间段进行去重,得到目标时间段;或者,对各个目标时间戳进行扩展得到不同的候选时间段,当候选时间段中车道线截距过零的次数为至少两次时,剔除候选时间段,将剩余的候选时间段确定为目标时间段;或者,对各个目标时间戳进行扩展得到不同的候选时间段,当候选时间段中车道线截距的最大值小于或者等于截距阈值时,剔除候选时间段,将剩余的候选时间段确定为目标时间段。
对于不变道样本来说,取不同的目标时间段内对样本车辆进行惯性测量而得到的候选时序数据的具体过程包括:获取样本车辆行驶过程中采集的车道线截距,将车道线截距的最小值位于截距区间的各个时间段确定为目标时间段,接着获取各个目标时间段内对样本车辆进行惯性测量而得到的候选时序数据。
其中,获取样本车辆行驶过程中采集的车道线截距,将车道线截距的最小值位于截距区间的各个时间段确定为不变道的目标时间段,根据该目标时间段内对样本车辆进行惯性测量得到的候选时序数据生成不变道样本。
进一步地,考虑到不同的样本车辆的IMU的安装位置不同,获取不同的目标时间段内对样本车辆进行惯性测量而得到的候选时序数据的具体过程包括:获取不同的目标时间段内,对各辆样本车辆进行惯性测量而得到的初始时序数据;将各辆样本车辆的初始时序数据转化至同一个目标坐标系,得到样本车辆的候选时序数据。其中,将各辆样本车辆的初始时序数据转化至同一个目标坐标系,得到样本车辆的候选时序数据的过程具体包括:将各辆样本车辆的初始时序数据转化至同一个目标坐标系,并且在当任意一辆样本车辆的初始时序数据不完整时,将位于同一位置范围的另一辆样本车辆转化后的初始时序数据,与当前的样本车辆转化后的初始时序数据进行合并,得到当前的样本车辆的候选时序数据。
在得到变道样本和不变道样本后,能够训练满足性能要求的变道预测模型,提高变道预测模型的泛化性能和预测准确率。另外,通过坐标转换的方式可以将不同样本车辆得到的样本综合起来,提升样本多样性,进一步提升变道预测模型的预测准确率。
步骤2002:预先训练变道检测模型。
其中,本申请实施例中变道检测方法中用到的变道检测模型包括:依次级联的多个时序特征提取网络、映射网络和分类网络。这里的多个时序特征提取网络依次级联指的是前一个时序特征提取网络的输出作为下一个时序特征提取网络的输入,第一个时序特征提取网络的输入为测量时序数据,最后一个时序特征提取网络输出的目标时序特征,作为整体的依次级联的多个时序特征提取网络的输出。并且本申请实施例中每个时序特征提取网络均被配置为通过残差连接进行输出。映射网络可以是全连接网络也可以是循环神经网络或者卷积时间网络。分类网络可以是一个激活函数为Softmax的全连接网络。
其中,各个时序特征提取网络均包括多个依次级联的时序特征提取模块,每个时序特征提取网络在进行特征提取时,时序特征提取网络的输入数据依次通过每个时序特征提取模块进行特征提取。进一步地,由于时序特征提取网络是残差连接的方式,因此对于每个时序特征提取网络来说,最后一个时序特征提取模块的输出需要通过残差连接的方式,与第一个时序特征提取模块的输入进行相加再输出。第一个时序特征提取网络的首个时序特征提取模块对测量时序数据进行特征提取,然后最后一个时序特征提取网络的最后一个时序特征提取模块的输出与最后一个时序特征提取网络的输出进行相加之后得到目标时序特征。
本申请实施例中,在任意一个时序特征提取网络中,多个时序特征提取模块包括循环神经网络和卷积时间网络,循环神经网络的输出进行归一化后作为卷积时间网络的输入,或者,卷积时间网络的输出进行归一化后作为循环神经网络的输入,并且相邻的两个时序特征提取网络具有不同的模块级联顺序,模块级联顺序为循环神经网络和卷积时间网络之间的级联顺序。由于时序特征提取模块中循环神经网络和卷积神经网络的模块级联顺序不定,而循环神经网络和卷积神经网络由于网络结构不同,导致其输出的数据分布可能不同,从而可能对训练过程或推断过程产生影响,进而影响最终变道检测结果的预测准确度。因此,本申请实施例如果循环神经网络的输出是卷积神经网络的输入,或者卷积神经网络的输出是循环神经网络的输入,则需要对循环神经网络和卷积神经网络的输出采用归一化的方法,来保证输出数据分布的一致性。
其中,在得到第一样本时序数据的变道样本和不变道样本,以及第二样本时序数据的变道样本和不变道样本后,基于第一样本时序数据以及第二样本时序数据,对时序特征提取网络、映射网络和分类网络中的至少之一进行参数调整。
步骤2003:待测车辆进行惯性测量并发送测量时序数据。
其中,测量时序数据包括多个时间分片各自对应的测量数据。由于待测车辆位于三维空间中,因此惯性测量得到的测量时序数据包括多个采集时刻的测量数据,每个测量数据都是多路数据。
本申请实施例中,获取对待测车辆进行惯性测量而得到的测量时序数据具体包括:持续接收待测车辆的惯性测量单元发送的测量时序数据,接着基于预设的时间间隔,以滑窗的方式调用测量时序数据。考虑到行驶过程中车辆变道并不会十分频繁,因此为了节约运算量,即便IMU持续发送获取的测量数据,同时待测车辆的数据处理模块持续接收测量时序数据,但是其也并不会持续进行车道变道预测,而是按照预设的时间间隔,间歇调用测量时序数据进行车道预测。在每次调用时,以滑窗的形式获取一个时间窗口的测量时序数据,可以理解的是,车道预测过程是利用一个时序的数据进行预测,因此时序的长度对预测结果有一定的影响,本申请实施例中滑窗对应的时间窗口即预测时测量时序数据对应的时序数量。
步骤2004:调用依次级联的多个时序特征提取网络对测量时序数据进行特征提取,得到最后一个时序特征提取网络输出的目标时序特征。
其中,测量时序数据被输入至首个时序特征提取网络,各个时序特征提取网络均被配置为通过残差连接进行输出。时序特征提取网络能够利用残差连接学习到更强的特征表示,具有较强的表达能力和特征提取性能。
本申请实施例中,调用依次级联的多个时序特征提取网络对所述测量时序数据进行特征提取,得到最后一个时序特征提取网络输出的目标时序特征的过程具体包括:调用依次级联的多个时序特征提取网络,依次通过多个时序特征提取模块对测量时序数据进行特征提取,得到最后一个时序特征提取网络输出的目标时序特征;其中,在任意一个时序特征提取网络中,首个时序特征提取模块的输入为时序特征提取网络的输入,最后一个时序特征提取模块的输出与时序特征提取网络的输入相加后作为时序特征提取网络的输出。
步骤2005:调用映射网络基于目标时序特征进行特征映射,得到测量时序数据在最后一个时间分片对应的目标子特征。
其中,利用映射网络基于目标时序特征进行特征映射,主要是通过卷积操作从输入的目标时序特征中提取特征,然后对提取的数据进行数据选择,选取测量时序数据在最后一个时间分片对应的目标子特征。
本申请实施例中,映射网络可以是全连接网络也可以是循环神经网络或者卷积时间网络。因此调用映射网络基于目标时序特征进行特征映射,得到测量时序数据在最后一个时间分片对应的目标子特征的具体过程包括:当映射网络为全连接网络时,从目标时序特征中提取测量时序数据在最后一个时间分片对应的初始子特征,调用映射网络对初始子特征进行特征映射,得到测量时序数据在最后一个时间分片对应的目标子特征;或者,当映射网络为循环神经网络或者卷积时间网络,且循环神经网络或者卷积时间网络被配置为输出最后一个时间分片的映射结果时,调用映射网络对目标时序特征进行特征映射,得到测量时序数据在最后一个时间分片对应的目标子特征。
步骤2006:调用分类网络基于目标子特征进行变道状态的分类,得到待测车辆的变道检测结果。
其中,变道状态包括:不变道、向左变道和向右变道,不同的目标子特征进入分类网络后,会输出每个变道状态对应的概率值,根据概率值最大的变道状态即可得到对应的变道检测结果。
步骤2007:发送变道检测结果至待测车辆。
其中,待测车辆根据变道检测结果执行相应的控制操作。
本申请实施例的变道检测方法通过获取对待测车辆进行惯性测量而得到的测量时序数据,调用依次级联的多个时序特征提取网络对所述测量时序数据进行特征提取,得到最后一个所述时序特征提取网络输出的目标时序特征,能够通过依次级联的多个时序特征提取网络有效地提升目标时序特征的准确性,同时,由于各个所述时序特征提取网络均被配置为通过残差连接进行输出,使得时序特征提取网络更具表现力,从而进一步提升目标时序特征的准确性,后续再调用映射网络基于所述目标时序特征进行特征映射,得到所述测量时序数据在最后一个所述时间分片对应的目标子特征,并调用分类网络基于所述目标子特征进行变道状态的分类,因而能够得到准确率较高的变道检测结果,可见,本申请实施例通过引入前述的依次级联的多个时序特征提取网络、映射网络以及分类网络,仅依赖于测量时序数据即可有效地提升变道检测的准确性,无须依赖其他辅助信号,在提升变道检测的准确性的同时,扩大变道检测的应用范围。
示例性地,本申请实施例提供的变道检测方法可应用于不同的场景,包括但不限于云技术、人工智能、智慧交通、辅助驾驶等场景。
可以理解的是,虽然上述各个流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本实施例中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,上述流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时间执行完成,而是可以在不同的时间执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
参照图21,图21为本申请实施例提供的变道检测装置的一种可选的结构示意图,该变道检测装置2100包括:
第一处理单元2101,用于获取对待测车辆进行惯性测量而得到的测量时序数据,其中,测量时序数据包括多个时间分片各自对应的测量数据;
第二处理单元2102,用于调用依次级联的多个时序特征提取网络对测量时序数据进行特征提取,得到最后一个时序特征提取网络输出的目标时序特征,其中,测量时序数据被输入至首个时序特征提取网络,各个时序特征提取网络均被配置为通过残差连接进行输出;
第三处理单元2103,用于调用映射网络基于目标时序特征进行特征映射,得到测量时序数据在最后一个时间分片对应的目标子特征;
第四处理单元2104,用于调用分类网络基于目标子特征进行变道状态的分类,得到待测车辆的变道检测结果。
进一步,各个所述时序特征提取网络均包括多个依次级联的时序特征提取模块,上述第二处理单元2102具体用于:
调用依次级联的多个时序特征提取网络,依次通过多个所述时序特征提取模块对所述测量时序数据进行特征提取,得到最后一个所述时序特征提取网络输出的目标时序特征;
其中,在任意一个所述时序特征提取网络中,首个所述时序特征提取模块的输入为所述时序特征提取网络的输入,最后一个所述时序特征提取模块的输出与所述时序特征提取网络的输入相加后作为所述时序特征提取网络的输出。
进一步,上述第二处理单元2102中:
在任意一个所述时序特征提取网络中,多个所述时序特征提取模块包括循环神经网络和卷积时间网络,所述循环神经网络的输出进行归一化后作为所述卷积时间网络的输入,或者,所述卷积时间网络的输出进行归一化后作为所述循环神经网络的输入;
相邻的两个所述时序特征提取网络具有不同的模块级联顺序,所述模块级联顺序为所述循环神经网络和所述卷积时间网络之间的级联顺序。
进一步,上述第三处理单元2103具体用于:
当所述映射网络为全连接网络时,从所述目标时序特征中提取所述测量时序数据在最后一个所述时间分片对应的初始子特征,调用所述映射网络对所述初始子特征进行特征映射,得到所述测量时序数据在最后一个所述时间分片对应的目标子特征;
或者,当所述映射网络为循环神经网络或者卷积时间网络,且所述循环神经网络或者所述卷积时间网络被配置为输出最后一个所述时间分片的映射结果时,调用所述映射网络对所述目标时序特征进行特征映射,得到所述测量时序数据在最后一个所述时间分片对应的目标子特征。
进一步,上述第一处理单元2101具体用于:
持续接收待测车辆的惯性测量单元发送的测量时序数据;
基于预设的时间间隔,以滑窗的方式调用所述测量时序数据。
进一步,该变道检测装置2100还包括:
第一获取单元(图中未示出):用于获取不同的目标时间段内对样本车辆进行惯性测量而得到的候选时序数据;
第二获取单元(图中未示出):用于获取各个所述目标时间段内所述样本车辆采集的车道线曲率参数,根据所述车道线曲率参数从多个所述候选时序数据中筛选出第一样本时序数据以及第二样本时序数据,其中,所述第一样本时序数据与所述第二样本时序数据之间的数量比例为预设比例,所述第一样本时序数据对应的所述车道线曲率参数大于或者等于曲率参数阈值,所述第二样本时序数据对应的所述车道线曲率参数小于所述曲率参数阈值;
参数调整单元(图中未示出):用于基于所述第一样本时序数据以及所述第二样本时序数据,对所述时序特征提取网络、所述映射网络和所述分类网络中的至少之一进行参数调整。
进一步,上述第一获取单元具体用于:
获取所述样本车辆行驶过程中采集的车道线截距,确定所述车道线截距过零的各个目标时间戳;
对各个所述目标时间戳进行扩展得到不同的目标时间段,获取各个所述目标时间段内对样本车辆进行惯性测量而得到的候选时序数据。
进一步,上述第一获取单元还用于:
对各个所述目标时间戳进行扩展得到不同的候选时间段,对多个所述候选时间段进行去重,得到目标时间段;
或者,对各个所述目标时间戳进行扩展得到不同的候选时间段,当所述候选时间段中所述车道线截距过零的次数为至少两次时,剔除所述候选时间段,将剩余的所述候选时间段确定为目标时间段;
或者,对各个所述目标时间戳进行扩展得到不同的候选时间段,当所述候选时间段中所述车道线截距的最大值小于或者等于截距阈值时,剔除所述候选时间段,将剩余的所述候选时间段确定为目标时间段。
进一步,上述第一获取单元还用于:
获取所述样本车辆行驶过程中采集的车道线截距,将所述车道线截距的最小值位于截距区间的各个时间段确定为目标时间段;
获取各个所述目标时间段内对样本车辆进行惯性测量而得到的候选时序数据。
进一步,所述样本车辆的数量为多辆,上述第一获取单元还用于:
获取不同的目标时间段内,对各辆所述样本车辆进行惯性测量而得到的初始时序数据;
将各辆所述样本车辆的所述初始时序数据转化至同一个目标坐标系,得到所述样本车辆的候选时序数据。
进一步,上述第一获取单元还用于:
将各辆所述样本车辆的所述初始时序数据转化至同一个目标坐标系;
当任意一辆所述样本车辆的所述初始时序数据不完整时,将位于同一位置范围的另一辆所述样本车辆转化后的所述初始时序数据,与当前的所述样本车辆转化后的所述初始时序数据进行合并,得到当前的样本车辆的候选时序数据。
进一步,参数调整单元还用于:
分别基于所述第一样本时序数据以及所述第二样本时序数据,对所述样本车辆进行变道状态的分类,得到所述第一样本时序数据以及所述第二样本时序数据各自对应的样本检测结果;
获取所述第一样本时序数据以及所述第二样本时序数据各自对应的变道检测标签,其中,所述变道检测标签是基于所述样本车辆行驶过程中采集的车道线截距确定的;
根据所述样本检测结果以及对应的所述变道检测标签确定目标损失,根据所述目标损失对所述时序特征提取网络、所述映射网络和所述分类网络中的至少之一进行参数调整。
上述变道检测装置2100与变道检测方法基于相同的发明构思,上述过程描述了本申请实施例的变道检测方法,通过获取对待测车辆进行惯性测量而得到的测量时序数据,调用依次级联的多个时序特征提取网络对所述测量时序数据进行特征提取,得到最后一个所述时序特征提取网络输出的目标时序特征,能够通过依次级联的多个时序特征提取网络有效地提升目标时序特征的准确性,同时,由于各个所述时序特征提取网络均被配置为通过残差连接进行输出,使得时序特征提取网络更具表现力,从而进一步提升目标时序特征的准确性,后续再调用映射网络基于所述目标时序特征进行特征映射,得到所述测量时序数据在最后一个所述时间分片对应的目标子特征,并调用分类网络基于所述目标子特征进行变道状态的分类,因而能够得到准确率较高的变道检测结果,可见,本申请实施例通过引入前述的依次级联的多个时序特征提取网络、映射网络以及分类网络,仅依赖于测量时序数据即可有效地提升变道检测的准确性,无须依赖其他辅助信号,在提升变道检测的准确性的同时,扩大变道检测的应用范围。
本申请实施例提供的用于执行上述变道检测方法的电子设备可以是终端,参照图22,图22为本申请实施例提供的终端的部分结构框图,该终端包括:摄像头组件2210、第一存储器2220、输入单元2230、显示单元2240、传感器2250、音频电路2260、无线保真(wireless fidelity,简称WiFi)模块2270、第一处理器2280、以及第一电源2290等部件。本领域技术人员可以理解,图22中示出的终端结构并不构成对终端的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
摄像头组件2210可用于采集图像或视频。可选地,摄像头组件2210包括前置摄像头和后置摄像头。通常,前置摄像头设置在终端的前面板,后置摄像头设置在终端的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality,虚拟现实)拍摄功能或者其它融合拍摄功能。
第一存储器2220可用于存储软件程序以及模块,第一处理器2280通过运行存储在第一存储器2220的软件程序以及模块,从而执行终端的各种功能应用以及数据处理。
输入单元2230可用于接收输入的数字或字符信息,以及产生与终端的设置以及功能控制有关的键信号输入。具体地,输入单元2230可包括触摸面板2231以及其他输入装置2232。
显示单元2240可用于显示输入的信息或提供的信息以及终端的各种菜单。显示单元2240可包括显示面板2241。
音频电路2260、扬声器2261,传声器2262可提供音频接口。
第一电源2290可以是交流电、直流电、一次性电池或可充电电池。
传感器2250的数量可以为一个或者多个,该一个或多个传感器2250包括但不限于:加速度传感器、陀螺仪传感器、压力传感器、光学传感器等等。其中:
加速度传感器可以检测以终端建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器可以用于检测重力加速度在三个坐标轴上的分量。第一处理器2280可以根据加速度传感器采集的重力加速度信号,控制显示单元2240以横向视图或纵向视图进行用户界面的显示。加速度传感器还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器可以检测终端的机体方向及转动角度,陀螺仪传感器可以与加速度传感器协同采集用户对终端的3D动作。第一处理器2280根据陀螺仪传感器采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器可以设置在终端的侧边框和/或显示单元2240的下层。当压力传感器设置在终端的侧边框时,可以检测用户对终端的握持信号,由第一处理器2280根据压力传感器采集的握持信号进行左右手识别或快捷操作。当压力传感器设置在显示单元2240的下层时,由第一处理器2280根据用户对显示单元2240的压力操作,实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
光学传感器用于采集环境光强度。在一个实施例中,第一处理器2280可以根据光学传感器采集的环境光强度,控制显示单元2240的显示亮度。具体地,当环境光强度较高时,调高显示单元2240的显示亮度;当环境光强度较低时,调低显示单元2240的显示亮度。在另一个实施例中,第一处理器2280还可以根据光学传感器采集的环境光强度,动态调整摄像头组件2210的拍摄参数。
在本实施例中,该终端所包括的第一处理器2280可以执行前面实施例的变道检测方法。
本申请实施例提供的用于执行上述变道检测方法的电子设备也可以是服务器,参照图23,图23为本申请实施例提供的服务器的部分结构框图,服务器102可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上第二处理器2310和第二存储器2330,一个或一个以上存储应用程序2343或数据2342的存储介质2340(例如一个或一个以上海量存储装置)。其中,第二存储器2330和存储介质2340可以是短暂存储或持久存储。存储在存储介质2340的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对服务器102中的一系列指令操作。更进一步地,第二处理器2310可以设置为与存储介质2340通信,在服务器102上执行存储介质2340中的一系列指令操作。
服务器102还可以包括一个或一个以上第二电源2320,一个或一个以上有线或无线网络接口2350,一个或一个以上输入输出接口2360,和/或,一个或一个以上操作***2341,例如Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM等等。
服务器102中的第二处理器2310可以用于执行变道检测方法。
本申请实施例还提供一种计算机可读存储介质,计算机可读存储介质用于存储计算机程序,计算机程序用于执行前述各个实施例的变道检测方法。
本申请实施例还提供了一种计算机程序产品,该计算机程序产品包括计算机程序,该计算机程序存储在计算机可读存介质中。计算机设备的处理器从计算机可读存储介质读取该计算机程序,处理器执行该计算机程序,使得该计算机设备执行实现上述的变道检测方法。
本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便描述本申请的实施例,例如能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、***、产品或装置不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或装置固有的其它步骤或单元。
应当理解,在本申请中,“至少一个(项)”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,用于描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:只存在A,只存在B以及同时存在A和B三种情况,其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达,是指这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b或c中的至少一项(个),可以表示:a,b,c,“a和b”,“a和c”,“b和c”,或“a和b和c”,其中a,b,c可以是单个,也可以是多个。
应了解,在本申请实施例的描述中,多个(或多项)的含义是两个以上,大于、小于、超过等理解为不包括本数,以上、以下、以内等理解为包括本数。
在本申请所提供的几个实施例中,应该理解到,所揭露的***,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机装置(可以是个人计算机,服务器,或者网络装置等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,简称ROM)、随机存取存储器(Random Access Memory,简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
还应了解,本申请实施例提供的各种实施方式可以任意进行组合,以实现不同的技术效果。
以上是对本申请的较佳实施进行了具体说明,但本申请并不局限于上述实施方式,熟悉本领域的技术人员在不违背本申请精神的共享条件下还可作出种种等同的变形或替换,这些等同的变形或替换均包括在本申请权利要求所限定的范围内。

Claims (15)

1.一种变道检测方法,其特征在于,包括:
获取对待测车辆进行惯性测量而得到的测量时序数据,其中,所述测量时序数据包括多个时间分片各自对应的测量数据;
调用依次级联的多个时序特征提取网络对所述测量时序数据进行特征提取,得到最后一个所述时序特征提取网络输出的目标时序特征,其中,所述测量时序数据被输入至首个所述时序特征提取网络,各个所述时序特征提取网络均被配置为通过残差连接进行输出;
调用映射网络基于所述目标时序特征进行特征映射,得到所述测量时序数据在最后一个所述时间分片对应的目标子特征;
调用分类网络基于所述目标子特征进行变道状态的分类,得到所述待测车辆的变道检测结果;
所述调用依次级联的多个时序特征提取网络对所述测量时序数据进行特征提取之前,所述变道检测方法还包括:
获取对样本车辆进行惯性测量而得到的第一样本时序数据和第二样本时序数据,其中,测量得到所述第一样本时序数据的过程中,所述样本车辆采集的车道线曲率参数大于或者等于曲率参数阈值,测量得到所述第二样本时序数据的过程中,所述车道线曲率参数小于所述曲率参数阈值;
基于所述第一样本时序数据以及所述第二样本时序数据,对所述时序特征提取网络、所述映射网络和所述分类网络中的至少之一进行参数调整。
2.根据权利要求1所述的变道检测方法,其特征在于,各个所述时序特征提取网络均包括多个依次级联的时序特征提取模块,所述调用依次级联的多个时序特征提取网络对所述测量时序数据进行特征提取,得到最后一个所述时序特征提取网络输出的目标时序特征,包括:
调用依次级联的多个时序特征提取网络,依次通过多个所述时序特征提取模块对所述测量时序数据进行特征提取,得到最后一个所述时序特征提取网络输出的目标时序特征;
其中,在任意一个所述时序特征提取网络中,首个所述时序特征提取模块的输入为所述时序特征提取网络的输入,最后一个所述时序特征提取模块的输出与所述时序特征提取网络的输入相加后作为所述时序特征提取网络的输出。
3.根据权利要求2所述的变道检测方法,其特征在于:
在任意一个所述时序特征提取网络中,多个所述时序特征提取模块包括循环神经网络和卷积时间网络,所述循环神经网络的输出进行归一化后作为所述卷积时间网络的输入,或者,所述卷积时间网络的输出进行归一化后作为所述循环神经网络的输入;
相邻的两个所述时序特征提取网络具有不同的模块级联顺序,所述模块级联顺序为所述循环神经网络和所述卷积时间网络之间的级联顺序。
4.根据权利要求1所述的变道检测方法,其特征在于,所述调用映射网络基于所述目标时序特征进行特征映射,得到所述测量时序数据在最后一个所述时间分片对应的目标子特征,包括:
当所述映射网络为全连接网络时,从所述目标时序特征中提取所述测量时序数据在最后一个所述时间分片对应的初始子特征,调用所述映射网络对所述初始子特征进行特征映射,得到所述测量时序数据在最后一个所述时间分片对应的目标子特征;
或者,当所述映射网络为循环神经网络或者卷积时间网络,且所述循环神经网络或者所述卷积时间网络被配置为输出最后一个所述时间分片的映射结果时,调用所述映射网络对所述目标时序特征进行特征映射,得到所述测量时序数据在最后一个所述时间分片对应的目标子特征。
5.根据权利要求1所述的变道检测方法,其特征在于,所述获取对待测车辆进行惯性测量而得到的测量时序数据,包括:
持续接收待测车辆的惯性测量单元发送的测量时序数据;
基于预设的时间间隔,以滑窗的方式调用所述测量时序数据。
6.根据权利要求1至5任意一项所述的变道检测方法,其特征在于,所述获取对样本车辆进行惯性测量而得到的第一样本时序数据和第二样本时序数据,包括:
获取不同的目标时间段内对样本车辆进行惯性测量而得到的候选时序数据;
获取各个所述目标时间段内所述样本车辆采集的所述车道线曲率参数,根据所述车道线曲率参数从多个所述候选时序数据中筛选出第一样本时序数据以及第二样本时序数据,其中,所述第一样本时序数据与所述第二样本时序数据之间的数量比例为预设比例。
7.根据权利要求6所述的变道检测方法,其特征在于,所述获取不同的目标时间段内对样本车辆进行惯性测量而得到的候选时序数据,包括:
获取所述样本车辆行驶过程中采集的车道线截距,确定所述车道线截距过零的各个目标时间戳;
对各个所述目标时间戳进行扩展得到不同的目标时间段,获取各个所述目标时间段内对样本车辆进行惯性测量而得到的候选时序数据。
8.根据权利要求7所述的变道检测方法,其特征在于,所述对各个所述目标时间戳进行扩展得到不同的目标时间段,包括:
对各个所述目标时间戳进行扩展得到不同的候选时间段,对多个所述候选时间段进行去重,得到目标时间段;
或者,对各个所述目标时间戳进行扩展得到不同的候选时间段,当所述候选时间段中所述车道线截距过零的次数为至少两次时,剔除所述候选时间段,将剩余的所述候选时间段确定为目标时间段;
或者,对各个所述目标时间戳进行扩展得到不同的候选时间段,当所述候选时间段中所述车道线截距的最大值小于或者等于截距阈值时,剔除所述候选时间段,将剩余的所述候选时间段确定为目标时间段。
9.根据权利要求6所述的变道检测方法,其特征在于,所述获取不同的目标时间段内对样本车辆进行惯性测量而得到的候选时序数据,包括:
获取所述样本车辆行驶过程中采集的车道线截距,将所述车道线截距的最小值位于截距区间的各个时间段确定为目标时间段;
获取各个所述目标时间段内对样本车辆进行惯性测量而得到的候选时序数据。
10.根据权利要求6所述的变道检测方法,其特征在于,所述样本车辆的数量为多辆,所述获取不同的目标时间段内对样本车辆进行惯性测量而得到的候选时序数据,包括:
获取不同的目标时间段内,对各辆所述样本车辆进行惯性测量而得到的初始时序数据;
将各辆所述样本车辆的所述初始时序数据转化至同一个目标坐标系,得到所述样本车辆的候选时序数据。
11.根据权利要求10所述的变道检测方法,其特征在于,所述将各辆所述样本车辆的所述初始时序数据转化至同一个目标坐标系,得到所述样本车辆的候选时序数据,包括:
将各辆所述样本车辆的所述初始时序数据转化至同一个目标坐标系;
当任意一辆所述样本车辆的所述初始时序数据不完整时,将位于同一位置范围的另一辆所述样本车辆转化后的所述初始时序数据,与当前的所述样本车辆转化后的所述初始时序数据进行合并,得到当前的样本车辆的候选时序数据。
12.根据权利要求1所述的变道检测方法,其特征在于,所述基于所述第一样本时序数据以及所述第二样本时序数据,对所述时序特征提取网络、所述映射网络和所述分类网络中的至少之一进行参数调整,包括:
分别基于所述第一样本时序数据以及所述第二样本时序数据,对所述样本车辆进行变道状态的分类,得到所述第一样本时序数据以及所述第二样本时序数据各自对应的样本检测结果;
获取所述第一样本时序数据以及所述第二样本时序数据各自对应的变道检测标签,其中,所述变道检测标签是基于所述样本车辆行驶过程中采集的车道线截距确定的;
根据所述样本检测结果以及对应的所述变道检测标签确定目标损失,根据所述目标损失对所述时序特征提取网络、所述映射网络和所述分类网络中的至少之一进行参数调整。
13.一种变道检测装置,其特征在于,包括:
第一处理单元,用于获取对待测车辆进行惯性测量而得到的测量时序数据,其中,所述测量时序数据包括多个时间分片各自对应的测量数据;
第二处理单元,用于调用依次级联的多个时序特征提取网络对所述测量时序数据进行特征提取,得到最后一个所述时序特征提取网络输出的目标时序特征,其中,所述测量时序数据被输入至首个所述时序特征提取网络,各个所述时序特征提取网络均被配置为通过残差连接进行输出;
第三处理单元,用于调用映射网络基于所述目标时序特征进行特征映射,得到所述测量时序数据在最后一个所述时间分片对应的目标子特征;
第四处理单元,用于调用分类网络基于所述目标子特征进行变道状态的分类,得到所述待测车辆的变道检测结果;
第二获取单元,用于获取对样本车辆进行惯性测量而得到的第一样本时序数据和第二样本时序数据,其中,测量得到所述第一样本时序数据的过程中,所述样本车辆采集的车道线曲率参数大于或者等于曲率参数阈值,测量得到所述第二样本时序数据的过程中,所述车道线曲率参数小于所述曲率参数阈值;
参数调整单元,用于基于所述第一样本时序数据以及所述第二样本时序数据,对所述时序特征提取网络、所述映射网络和所述分类网络中的至少之一进行参数调整。
14.一种电子设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至12任意一项所述的变道检测方法。
15.一种计算机可读存储介质,所述存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至12任意一项所述的变道检测方法。
CN202410109412.2A 2024-01-26 2024-01-26 变道检测方法、装置、电子设备及存储介质 Active CN117633519B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410109412.2A CN117633519B (zh) 2024-01-26 2024-01-26 变道检测方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410109412.2A CN117633519B (zh) 2024-01-26 2024-01-26 变道检测方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN117633519A CN117633519A (zh) 2024-03-01
CN117633519B true CN117633519B (zh) 2024-05-24

Family

ID=90036303

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410109412.2A Active CN117633519B (zh) 2024-01-26 2024-01-26 变道检测方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN117633519B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110329271A (zh) * 2019-06-18 2019-10-15 北京航空航天大学杭州创新研究院 一种基于机器学习的多传感器车辆行驶检测***及方法
CN110796856A (zh) * 2019-10-16 2020-02-14 腾讯科技(深圳)有限公司 车辆变道意图预测方法及变道意图预测网络的训练方法
CN114926791A (zh) * 2022-05-10 2022-08-19 北京市公安局公安交通管理局 一种路口车辆异常变道检测方法、装置、存储介质及电子设备
CN116416545A (zh) * 2021-12-31 2023-07-11 武汉Tcl集团工业研究院有限公司 行为检测方法、装置、设备以及计算机可读存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10611371B2 (en) * 2017-09-14 2020-04-07 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for vehicle lane change prediction using structural recurrent neural networks
US11131993B2 (en) * 2019-05-29 2021-09-28 Argo AI, LLC Methods and systems for trajectory forecasting with recurrent neural networks using inertial behavioral rollout

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110329271A (zh) * 2019-06-18 2019-10-15 北京航空航天大学杭州创新研究院 一种基于机器学习的多传感器车辆行驶检测***及方法
CN110796856A (zh) * 2019-10-16 2020-02-14 腾讯科技(深圳)有限公司 车辆变道意图预测方法及变道意图预测网络的训练方法
CN116416545A (zh) * 2021-12-31 2023-07-11 武汉Tcl集团工业研究院有限公司 行为检测方法、装置、设备以及计算机可读存储介质
CN114926791A (zh) * 2022-05-10 2022-08-19 北京市公安局公安交通管理局 一种路口车辆异常变道检测方法、装置、存储介质及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于STF-Net 的信号调制波形识别方法;哈晖 等;《北京航空航天大学学报》;20231013;第1-15页 *

Also Published As

Publication number Publication date
CN117633519A (zh) 2024-03-01

Similar Documents

Publication Publication Date Title
EP3137355B1 (fr) Dispositif de signalisation d'objets a un module de navigation de vehicule equipe de ce dispositif
WO2018224880A1 (en) Method and system for on-the-fly object labeling via cross temporal validation in autonomous driving vehicles
WO2018224878A1 (en) Method and system for object centric stereo via cross modality validation in autonomous driving vehicles
CN113033463B (zh) 减速带检测方法、装置、电子设备及存储介质
CN112767644B (zh) 一种基于视频识别的公路隧道内火灾预警方法及装置
US11710082B2 (en) Systems and methods for utilizing machine learning and feature selection to classify driving behavior
CN105444770A (zh) 基于智能手机的车道级别地图生成和定位***及方法
US20230419683A1 (en) Method and system for automatic driving data collection and closed-loop management
CN112595728B (zh) 一种道路问题确定方法和相关装置
Rashid et al. SEIS: A spatiotemporal-aware event investigation framework for social airborne sensing in disaster recovery applications
US11900657B2 (en) System for automatic stop sign violation identification
CN117633519B (zh) 变道检测方法、装置、电子设备及存储介质
EP4138039A2 (en) System and method for hybrid lidar segmentation with outlier detection
CN116052469A (zh) 一种基于车路协同轨迹预测的车辆碰撞预警方法
CN115675528A (zh) 基于相似场景挖掘的自动驾驶方法和车辆
CN110503740A (zh) 一种车辆状态判定方法、装置、计算机设备及***
CN113963310A (zh) 一种公交站的人流量检测方法、装置及电子设备
Wang et al. Road anomaly detection with group intelligence perception
CN117593892B (zh) 真值数据的获取方法和装置、存储介质及电子设备
US11609344B2 (en) Systems and methods for utilizing a machine learning model to determine a determined location of a vehicle based on a combination of a geographical location and a visual positioning system location
CN117591847B (zh) 基于车况数据的模型指向评测方法和装置
CN116434041B (zh) 错误感知数据的挖掘方法、装置、设备及自动驾驶车辆
CN116311943B (zh) 交叉路口的平均延误时间的估算方法及装置
CN117593686A (zh) 基于车况真值数据的模型评测方法和装置
CN117332302A (zh) 一种驾驶场景的分类方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant