CN116912661A - 一种具备域泛化能力的目标轨迹预测方法及*** - Google Patents
一种具备域泛化能力的目标轨迹预测方法及*** Download PDFInfo
- Publication number
- CN116912661A CN116912661A CN202310892764.5A CN202310892764A CN116912661A CN 116912661 A CN116912661 A CN 116912661A CN 202310892764 A CN202310892764 A CN 202310892764A CN 116912661 A CN116912661 A CN 116912661A
- Authority
- CN
- China
- Prior art keywords
- track
- loss
- target
- end point
- road
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000013528 artificial neural network Methods 0.000 claims abstract description 15
- 238000012549 training Methods 0.000 claims abstract description 13
- 230000002452 interceptive effect Effects 0.000 claims abstract description 6
- 230000000295 complement effect Effects 0.000 claims abstract description 5
- 238000011176 pooling Methods 0.000 claims description 9
- 230000010365 information processing Effects 0.000 claims description 8
- 230000003993 interaction Effects 0.000 claims description 6
- 238000012163 sequencing technique Methods 0.000 claims description 5
- 230000006870 function Effects 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 230000007787 long-term memory Effects 0.000 claims description 3
- 230000015654 memory Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000006403 short-term memory Effects 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 2
- 238000005457 optimization Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 3
- 238000012360 testing method Methods 0.000 description 9
- 230000006872 improvement Effects 0.000 description 7
- 238000013136 deep learning model Methods 0.000 description 3
- 238000012733 comparative method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000000452 restraining effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
- G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种具备域泛化能力的目标轨迹预测方法及***，首先获取目标轨迹信息及所在场景的矢量地图信息；对地图信息进行处理提取地图信息特征；再提取邻近目标轨迹，将目标历史轨迹数据、邻近目标轨迹输入到时序神经网络编码器中提取特征；再基于不变性原理进行车辆终点预测，得到预测的轨迹终点；将预测的轨迹终点编码，与交互特征、地图特征和历史轨迹特征级联输入到时序神经网络解码器中补全剩余的未来轨迹点；将多个源域共同训练，得到各数据域的终点重构损失、轨迹偏差损失和kl散度损失求平均，与不变性原理损失叠加形成最终损失，最后实现目标轨迹预测，提升模型的安全性和在未知域的准确性。
Description
技术领域
本发明属于轨迹预测技术领域，主要涉及了一种具备域泛化能力的目标轨迹预测方法及***。
背景技术
深度学习模型是解决目标轨迹预测问题的一种有效方法。但深度学习模型极其依赖训练数据的分布，无法适应源域和目标域的分布差异大的情况。而轨迹数据由于采集地区、采集方式、处理方法不同，数据域的分布偏差不可避免，因而模型泛化能力弱会带来极大的安全隐患。
现有技术中，提供了很多目标轨迹预测的方法，例如，申请号为CN202011493671.8的中国专利公开了一种基于BEV鸟瞰视图的轨迹预测方法，该专利将轨迹和场景信息转换为图像数据，通过对图像数据的编码解码获得待预测目标的未来轨迹；申请号为CN202010658245.9的中国专利公开了一种基于图网络的轨迹预测方法，通过多个轨迹和环境的局部点集提取出全局场景特征，最后根据全局场景特征推测出预测轨迹和对应概率；申请号为CN202210657220.6的中国专利提出一种基于双头注意力机制的方法，根据目标关系图和历史运动轨迹构建节点的图注意力网络。但是在采用深度学习模型解决轨迹预测问题的方法大多忽略了数据分布差异导致的泛化问题，模型的训练域和测试域分布大多近似，在未知域的表现效果被忽视。
在场景上下文的提取网络设计中，卷积网络提取高清场景渲染的方式的感受野有限，图神经网络建模地图的方法更注重车道间的拓扑关系，没有强调车道方向性和约束轨迹时存在的时序性。
发明内容
本发明正是针对现有技术中目标轨迹模型在未知域下的预测效果不佳，模型的泛化能力不强的问题，提供一种具备域泛化能力的目标轨迹预测方法及***，首先获取目标轨迹信息及所在场景的矢量地图信息；对地图信息进行处理提取地图信息特征；再提取邻近目标轨迹，将目标历史轨迹数据、邻近目标轨迹输入到时序神经网络编码器中提取特征；再基于不变性原理进行车辆终点预测，得到预测的轨迹终点；将预测的轨迹终点编码，与交互特征、地图特征和历史轨迹特征级联输入到时序神经网络解码器中补全剩余的未来轨迹点；将多个源域共同训练，得到各数据域的终点重构损失、轨迹偏差损失和k l散度损失求平均，与不变性原理损失叠加形成最终损失，最后实现目标轨迹预测，提升模型的安全性和在未知域的准确性。
为了实现上述目的，本发明采取的技术方案是：一种具备域泛化能力的目标轨迹预测方法，包括如下步骤:
S1，获取训练数据：获取目标轨迹信息以及所在场景的矢量地图信息；
S2，地图信息处理：将步骤S1获得的地图信息输入地图信息处理模块抽取道路中心线信息，构建道路多边形，对邻近道路进行搜索后按照地图相关距离排序，再输入到长短期记忆网络提取地图信息特征；
S3，时序网络编码：提取邻近目标轨迹，将目标历史轨迹数据、邻近目标轨迹输入到时序神经网络编码器中提取特征；
S4，基于不变性原理的车辆终点预测：将步骤S3输出的地图特征与历史轨迹特征和轨迹终点特征级联输入到基于不变性原理的终点预测模块，得到预测的轨迹终点；所述步骤中包括不变性原理损失、KL散度损失和终点重构损失；
S5，补齐剩余轨迹点：时序神经网络编码器输出的邻近车目标轨迹特征经过社会池化模块提取交互特征；将步骤S4预测的轨迹终点编码，与交互特征、地图特征和历史轨迹特征级联输入到时序神经网络解码器中补全剩余的未来轨迹点；
S6，参数优化：将多个源域共同训练，得到各数据域的终点重构损失、轨迹偏差损失和k l散度损失求平均，与不变性原理损失叠加形成最终损失；
S7，目标轨迹预测：最终历史轨迹数据输入到模型中，先对终点预测模块的分布进行采样生成轨迹点，再补全剩余轨迹点，完成车辆未来轨迹预测。
作为本发明的一种改进，所述步骤S1中，目标轨迹信息至少包括目标所在位置的坐标点集，目标周边邻近目标的坐标点集；所述矢量地图信息至少包括地图坐标点，由坐标点组成的车道信息以及车道之间的拓扑关系。
作为本发明的一种改进，所述步骤S2进一步包括：
S21，抽取道路中心线：针对矢量地图出现的车道线方向不一致的情况，需要先判断车道线方向是否一致，依情况将左车道线反向；使用一次样条插值公式扩充节点较少的车道线坐标，使左右两车道线节点个数一致，插值公式如下：
f[kr,kr+1]＝(jr+1-jr)/(kr+1-kr)
L1,r(k)＝jr+f[kr,kr+1](k-kr)
其中车道线坐标为(k,j)，r为该车道线的节点个数，L1,r(k)表示节点(kr,jr)和(kr+1,jr+1)之间的一次样条插值公式，f[kr,kr+1]为该两点之间的斜率，。为该车道线所有点的一次样条插值公式；
S22，构建道路多边形：根据左右车道线得到覆盖该道路的最小多边形，构建公式如下，(k,j)为左右车道线的坐标，为该道路多边形：
S23，搜索邻近道路：根据当前车辆历史轨迹的端点及设置的搜索范围超参数，确定搜索道路的坐标范围；在依据搜索范围遍历道路范围多边形将有范围重合的道路中心线以历史轨迹端点为基准实现坐标归一化；
S24，对中心线进行排序：将步骤S23中归一化后的道路中心线集合按照中心线距离排序；
S25，将处理后的中心线集合输入到长短期记忆网络LSTM组成的编码器中提取特征Vm。
作为本发明的另一种改进，所述步骤S24中心线距离d为原点的欧式距离，具体为：
其中，(a,b)为道路中心线坐标。
作为本发明的另一种改进，所述步骤S4中，不变性原理损失公式如下，
其中，w为线性分类器，Ф为该终点预测模块，Re为环境e下终点预测值与真值的偏差，n为源域个数：
所述KL散度损失具体为：
其中，Z为约束条件变分自编码器中的隐变量，Z的条件分布满足正态分布，均值为μ，方差为σ2；
所述终点重构损失定义为终点真值与预测值的l2范数，公式如下：
其中，m代表终点个数，α代表预测的未来步长，为e环境中，第α时间帧下，第i个节点的终点预测值，/>为e环境中，第α时间帧下，第i个节点的终点真值。
作为本发明的又一种改进，所述步骤S5中剩余轨迹点的轨迹偏差损失公式为
作为本发明的又一种改进，所述步骤S6中最终损失为：
其中，Lirm为不变风险最小化损失项，n表示数据域的个数，损失函数所属系数γ＝δ＝η＝1，λ为可调参数。
为了实现上述目的，本发明还采取的技术方案是：一种具备域泛化能力的目标轨迹预测***，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述方法的步骤。
与现有技术相比，本发明具有的有益效果：
1.基于不变性原理的终点预测模块将不变性原理与条件变分自编码器结合，可以克服源域与未知域分布差异大的情况，增强模型的泛化能力，使模型适应更复杂的预测场景，提升目标轨迹预测模型的安全性；
2.使用地图信息处理模块捕捉车道方向性特征，为轨迹预测提供先验知识，约束预测未来轨迹避开场景边界，提升模型在未知域的准确度。
附图说明
图1为本发明一种具备域泛化能力的目标轨迹预测方法的流程图；
图2为本发明方法步骤S2中地图信息处理模块流程图；
图3为本发明方法步骤S5中社会池化模块流程图。
具体实施方式
下面结合附图和具体实施方式，进一步阐明本发明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。
实施例1
本方法可以使用在自动驾驶、辅助驾驶等领域。本实施例描述一种本方法应用于自动驾驶领域的案例。
参照图1至3具体说明本实施例方式，本实施方式所述的是一种具备域泛化能力的目标轨迹预测方法，如图1所示，包括以下步骤：
步骤S1：获取训练数据
获取目标轨迹以及所在场景的高清矢量地图等信息，所述获取的数据信息包括：目标所在位置的坐标点集，目标周边邻近目标的坐标点集，目标所在场景的矢量地图，地图包括坐标点，由坐标点组成的车道信息，以及车道之间的拓扑关系。
在训练准备阶段需要获取足够的训练数据，首先需要至少三个不同数据域，每个数据域中包括车辆历史轨迹，车辆未来轨迹，以及当前数据域的高清矢量地图。
步骤S2：地图信息处理
如图2所示针对采集的高清矢量地图，需要输入到地图信息处理模块抽取道路中心线信息，构建道路多边形，对邻近道路进行搜索，再按照地图相关距离排序，再输入到长短期记忆网络提取地图信息特征Vm。
S21：抽取道路中心线
本发明使用道路中心线作为地图输入信息，减少模型参数量，道路中心线由道路左右车道线计算终点得到。针对矢量地图出现的车道线方向不一致的情况，需要先判断车道线方向是否一致，依情况将左车道线反向。车道左右节点数差异会导致中心线计算错误，故使用一次样条插值公式扩充节点较少的车道线坐标，若车道线坐标为(k,j)：
f[kr,kr+1]＝(jr+1-jr)/(kr+1-kr)
L1,r(k)＝jr+f[kr,kr+1](k-kr)
S22：构建道路多边形
根据左右车道线得到覆盖该道路的最小多边形，构建公式如下，(k,j)为左右车道线的坐标：
S23：搜索邻近道路
先根据当前车辆历史轨迹的端点，以及设置的搜索范围超参数，确定搜索道路的坐标范围。在依据搜索范围遍历道路范围多边形将有范围重合的道路中心线以历史轨迹端点为基准实现坐标归一化。
S24：对中心线进行排序
将S23中归一化后的道路中心线集合按照中心线距离排序，(a,b)为道路中心线坐标，本发明定义的中心线距离d为中心线起始点和末尾点与历史轨迹端点，即原点的欧式距离，公式如下：
S25：将处理后的中心线集合输入到长短期记忆网络LSTM组成的编码器中提取特征Vm。
步骤S3：时序网络编码，提取邻近目标轨迹，将目标历史轨迹数据、邻近目标轨迹输入到时序神经网络编码器中提取特征。
S31：根据待预测车辆的历史轨迹，依照13×13空间网格结构，搜索出同一时间帧下处理当前空间网格位置的车辆，作为待预测车辆的邻近车辆，空间网格的每个单元长为5米宽为2米。
S32：将从数据集中提取的车辆历史轨迹数据、邻近车辆轨迹依次输入到LSTM编码器中提取特征。
步骤S4：基于不变性原理的车辆终点预测，将时序神经网络编码器输出的地图特征与历史轨迹特征和轨迹终点特征级联输入到基于不变性原理的终点预测模块，得到预测的轨迹终点，使用不变性原理提升终点预测的泛化性。
S41：使用不变风险最小化原理作用于条件变分自编码器结构，不变风险最小化损失促使该模块学习的分布增强与不变性特征的相关性，提升模块的泛化能力。不变性原理损失公式如下，其中w为一个线性分类器，Ф为该终点预测模块，Re为环境e下终点预测值与真值的偏差，n为源域个数：
S42：基于不变性原理的终点预测模块的损失还包括约束条件变分自编码器中的隐变量Z分布。假设本发明拟合Z的条件分布满足正态分布，均值为μ，方差为σ2，KL散度损失使隐变量Z的分布更接近于N(0,1)，其公式如下：
S43：基于不变性原理的终点预测模块的损失还包括终点重构损失，终点重构损失定义为终点真值与预测值的l2范数，公式如下，m代表终点个数，α代表预测的未来步长：
步骤S5：补齐剩余轨迹点，时序神经网络编码器输出的邻近车目标轨迹特征经过社会池化模块提取交互特征。将预测的轨迹终点编码，与交互特征、地图特征和历史轨迹特征级联输入到时序神经网络解码器中补全剩余的未来轨迹点。
S51：将邻近车辆轨迹LSTM的输出经过社会池化模块提取交互特征信息得到特征Vn。如图3所示，通过13×13空间网格结构组织社会池化张量，将邻近车辆的历史轨迹编码填充至空间网格的对应位置。社会池化张量经过一层3×3卷积核和一层3×1卷积核，以及一层池化层最终输出邻近车辆交互特征Vn。社会池化模块有助于捕捉邻近车辆与被预测车辆之间的交互特征。
S52：S43中预测得到的车辆轨迹终点值经过全连接层生成预测终点编码，将预测终点编码与邻近车辆交互特征Vn、地图信息特征Vm、历史轨迹特征Vt级联输入到LSTM解码器中，最终输出剩余的未来轨迹点。轨迹剩余点的轨迹偏差损失公式为
步骤S6：为了发挥不变风险最小化的作用，需要将多个源域共同训练计算得不变风险最小化损失项Lirm。模型的整体损失函数如下，n表示数据域的个数，损失函数所属系数γ＝δ＝η＝1，λ为可调参数，决定不变风险最小化损失项的作用强度：
步骤S7：最终历史轨迹数据输入到模型中，先对终点预测模块的分布进行采样生成轨迹点，再补全剩余轨迹点，完成车辆未来轨迹预测。
为验证上述实施方式得正确性及合理性，采用公开数据集INTERACTON中的环岛和交叉路口两种路况进行测试，定义每个地图场景为一个数据域，选取一个作为测试集，其余作为训练集，测试域的选择根据轨迹数据量决定。测试集数据在训练过程中对模型不可见。本实施方式将轨迹分割为5s的片段，包括2s的历史轨迹和3s的未来轨迹。车辆轨迹原始采样频率为10Hz，本文为平滑真实轨迹并降低模型参数量，将轨迹下采样，下采样系数为2，即历史轨迹步长为10，未来轨迹步长为15。
测试评价指标使用最小平均位移误差衡量车辆轨迹模型的泛化能力。mADE定义为生成的k个终点与真值插值最小的那条预测轨迹与真值轨迹点的平均L2范数，公式如下所示：
测试结果如表1、表2所示：
表1环岛场景测试结果
| 时间 | ERM | MMD | DANN | IRM | Rex | 本发明 |
| 1s | 0.32 | 0.15 | 0.40 | 0.22 | 0.18 | 0.18 |
| 2s | 0.73 | 0.55 | 0.84 | 0.58 | 0.67 | 0.41 |
| 3s | 1.51 | 1.31 | 1.71 | 1.30 | 1.46 | 0.72 |
表2交叉路口场景测试结果
| 时间 | ERM | MMD | DANN | IRM | Rex | 本发明 |
| 1s | 0.19 | 0.13 | 0.24 | 0.24 | 0.12 | 0.12 |
| 2s | 0.39 | 0.32 | 0.56 | 0.45 | 0.32 | 0.21 |
| 3s | 0.78 | 0.70 | 1.16 | 0.85 | 0.73 | 0.36 |
各对比方法介绍如表3所示：
表3对比方法介绍
根据实验结果，本发明在泛化能力的提升上可以发挥作用，为提升模型泛化性，解决深度学习在车辆轨迹预测的泛化问题提供新的思路。
需要说明的是，以上内容仅仅说明了本发明的技术思想，不能以此限定本发明的保护范围，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰均落入本发明权利要求书的保护范围之内。
Claims (8)
1.一种具备域泛化能力的目标轨迹预测方法，其特征在于，包括如下步骤:
S1，获取训练数据：获取目标轨迹信息以及所在场景的矢量地图信息；
S2，地图信息处理：将步骤S1获得的地图信息输入地图信息处理模块抽取道路中心线信息，构建道路多边形，对邻近道路进行搜索后按照地图相关距离排序，再输入到长短期记忆网络提取地图信息特征；
S3，时序网络编码：提取邻近目标轨迹，将目标历史轨迹数据、邻近目标轨迹输入到时序神经网络编码器中提取特征；
S4，基于不变性原理的车辆终点预测：将步骤S3输出的地图特征与历史轨迹特征和轨迹终点特征级联输入到基于不变性原理的终点预测模块，得到预测的轨迹终点；所述步骤中包括不变性原理损失、KL散度损失和终点重构损失；
S5，补齐剩余轨迹点：时序神经网络编码器输出的邻近车目标轨迹特征经过社会池化模块提取交互特征；将步骤S4预测的轨迹终点编码，与交互特征、地图特征和历史轨迹特征级联输入到时序神经网络解码器中补全剩余的未来轨迹点；
S6，参数优化：将多个源域共同训练，得到各数据域的终点重构损失、轨迹偏差损失和kl散度损失求平均，与不变性原理损失叠加形成最终损失；
S7，目标轨迹预测：最终历史轨迹数据输入到模型中，先对终点预测模块的分布进行采样生成轨迹点，再补全剩余轨迹点，完成车辆未来轨迹预测。
2.如权利要求1所述的一种具备域泛化能力的目标轨迹预测方法，其特征在于：所述步骤S1中，目标轨迹信息至少包括目标所在位置的坐标点集，目标周边邻近目标的坐标点集；所述矢量地图信息至少包括地图坐标点，由坐标点组成的车道信息以及车道之间的拓扑关系。
3.如权利要求2所述的一种具备域泛化能力的目标轨迹预测方法，其特征在于：所述步骤S2进一步包括：
S21，抽取道路中心线：针对矢量地图出现的车道线方向不一致的情况，需要先判断车道线方向是否一致，依情况将左车道线反向；使用一次样条插值公式扩充节点较少的车道线节点，使左右两车道线节点个数一致，插值公式如下：
f[kr，kr+1]＝(jr+1-jr)/(kr+1-kr)
L1，r(k)＝jr+f[kr，kr+1](k-kr)
其中车道线坐标为(k，j)，r为该车道线的节点个数，L1，r(k)表示节点(kr，jr)和(kr+1，jr+1)之间的一次样条插值公式，f[kr，kr+1]为该两点之间的斜率，为该车道线所有点的一次样条插值公式；
S22，构建道路多边形：根据左右车道线得到覆盖该道路的最小多边形，构建公式如下，(k，j)为左右车道线的坐标，为该道路多边形：
S23，搜索邻近道路：根据当前车辆历史轨迹的端点及设置的搜索范围超参数，确定搜索道路的坐标范围；在依据搜索范围遍历道路范围多边形将有范围重合的道路中心线以历史轨迹端点为基准实现坐标归一化；
S24，对中心线进行排序：将步骤S23中归一化后的道路中心线集合按照中心线距离排序；
S25，将处理后的中心线集合输入到长短期记忆网络LSTM组成的编码器中提取地图信息特征Vm。
4.如权利要求3所述的一种具备域泛化能力的目标轨迹预测方法，其特征在于：所述步骤S24中心线距离d为原点的欧式距离，具体为：
其中，(a，b)为道路中心线坐标。
5.如权利要求1所述的一种具备域泛化能力的目标轨迹预测方法，其特征在于：所述步骤S4中，不变性原理损失公式如下，
其中，w为线性分类器，Φ为该终点预测模块，Re为环境e下终点预测值与真值的偏差，n为源域个数：
所述KL散度损失具体为：
其中，Z为约束条件变分自编码器中的隐变量，Z的条件分布满足正态分布，均值为μ，方差为σ2；
所述终点重构损失定义为终点真值与预测值的I2范数，公式如下：
其中，m代表终点个数，α代表预测的未来步长，为e环境中，第α时间帧下，第i个节点的终点预测值，/>为e环境中，第α时间帧下，第i个节点的终点真值。
6.如权利要求5所述的一种具备域泛化能力的目标轨迹预测方法，其特征在于：所述步骤S5中剩余轨迹点的轨迹偏差损失公式为
7.如权利要求6所述的一种具备域泛化能力的目标轨迹预测方法，其特征在于：所述步骤S6中最终损失为：
其中，Lim为不变风险最小化损失项，n表示数据域的个数，损失函数所属系数γ＝δ＝η＝1，λ为可调参数。
8.一种具备域泛化能力的目标轨迹预测***，包括计算机程序，其特征在于：所述计算机程序被处理器执行时实现如上述任一种所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310892764.5A CN116912661A (zh) | 2023-07-20 | 2023-07-20 | 一种具备域泛化能力的目标轨迹预测方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310892764.5A CN116912661A (zh) | 2023-07-20 | 2023-07-20 | 一种具备域泛化能力的目标轨迹预测方法及*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116912661A true CN116912661A (zh) | 2023-10-20 |
Family
ID=88350717
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310892764.5A Pending CN116912661A (zh) | 2023-07-20 | 2023-07-20 | 一种具备域泛化能力的目标轨迹预测方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116912661A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117542004A (zh) * | 2024-01-10 | 2024-02-09 | 杰创智能科技股份有限公司 | 近海人船拟合方法、装置、设备及存储介质 |
-
2023
- 2023-07-20 CN CN202310892764.5A patent/CN116912661A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117542004A (zh) * | 2024-01-10 | 2024-02-09 | 杰创智能科技股份有限公司 | 近海人船拟合方法、装置、设备及存储介质 |
| CN117542004B (zh) * | 2024-01-10 | 2024-04-30 | 杰创智能科技股份有限公司 | 近海人船拟合方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Sadeghian et al. | Sophie: An attentive gan for predicting paths compliant to social and physical constraints | |
| CN114120102A (zh) | 边界优化的遥感图像语义分割方法、装置、设备及介质 | |
| CN111462130B (zh) | 使用车道掩码检测包含于输入图像的车道线的方法及装置 | |
| Lafarge et al. | Structural approach for building reconstruction from a single DSM | |
| CN111767847B (zh) | 一种集成目标检测和关联的行人多目标跟踪方法 | |
| Lu et al. | A new region growing-based method for road network extraction and its application on different resolution SAR images | |
| CN113850129A (zh) | 一种旋转等变的空间局部注意力遥感图像目标检测方法 | |
| CN113065594A (zh) | 一种基于北斗数据与遥感影像融合的路网提取方法及装置 | |
| CN114387265A (zh) | 一种基于添加注意力模块的无锚框检测、跟踪统一方法 | |
| CN116912661A (zh) | 一种具备域泛化能力的目标轨迹预测方法及*** | |
| CN115359366A (zh) | 基于参数优化的遥感图像目标检测方法 | |
| Kong et al. | Local Stereo Matching Using Adaptive Cross‐Region‐Based Guided Image Filtering with Orthogonal Weights | |
| CN113191213A (zh) | 一种高分辨率遥感影像新增建筑物检测方法 | |
| CN113378112A (zh) | 一种基于各向异性卷积的点云补全方法及装置 | |
| CN115071762A (zh) | 面向城市场景下行人轨迹预测方法、模型及存储介质 | |
| Zhang et al. | A dual attention neural network for airborne LiDAR point cloud semantic segmentation | |
| Liu et al. | A new multi-channel deep convolutional neural network for semantic segmentation of remote sensing image | |
| CN115223007A (zh) | 倾斜目标训练和检测的方法和*** | |
| CN111950658B (zh) | 一种基于深度学习的LiDAR点云与光学影像先验级耦合分类方法 | |
| CN117036373A (zh) | 基于圆函数双线性正则编解码网络的大规模点云分割方法 | |
| CN117011701A (zh) | 一种层次化特征自主学习的遥感图像特征提取方法 | |
| Bulatov et al. | Vectorization of road data extracted from aerial and uav imagery | |
| Gaucher et al. | Accurate motion flow estimation with discontinuities | |
| CN116109649A (zh) | 一种基于语义错误修正的3d点云实例分割方法 | |
| CN114677508A (zh) | 一种基于动态滤波和逐点相关的点云实例语义分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |