CN113569465B - 一种基于深度学习的航迹矢量和目标类型联合估计***及估计方法 - Google Patents
一种基于深度学习的航迹矢量和目标类型联合估计***及估计方法 Download PDFInfo
- Publication number
- CN113569465B CN113569465B CN202110713122.5A CN202110713122A CN113569465B CN 113569465 B CN113569465 B CN 113569465B CN 202110713122 A CN202110713122 A CN 202110713122A CN 113569465 B CN113569465 B CN 113569465B
- Authority
- CN
- China
- Prior art keywords
- track
- observation
- vector
- module
- auxiliary information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 239000013598 vector Substances 0.000 title claims abstract description 150
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000013135 deep learning Methods 0.000 title claims abstract description 31
- 238000000605 extraction Methods 0.000 claims abstract description 46
- 230000006870 function Effects 0.000 claims abstract description 34
- 238000012549 training Methods 0.000 claims abstract description 33
- 238000013528 artificial neural network Methods 0.000 claims abstract description 22
- 238000010276 construction Methods 0.000 claims abstract description 11
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 11
- 238000013507 mapping Methods 0.000 claims abstract description 9
- 238000012545 processing Methods 0.000 claims description 14
- 238000012360 testing method Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 4
- 150000001298 alcohols Chemical class 0.000 claims 1
- 238000005457 optimization Methods 0.000 description 12
- 230000005855 radiation Effects 0.000 description 11
- 230000008569 process Effects 0.000 description 8
- 239000000284 extract Substances 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 238000001914 filtration Methods 0.000 description 4
- 238000003058 natural language processing Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000013178 mathematical model Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 241000282414 Homo sapiens Species 0.000 description 1
- DGAQECJNVWCQMB-PUAWFVPOSA-M Ilexoside XXIX Chemical compound C[C@@H]1CC[C@@]2(CC[C@@]3(C(=CC[C@H]4[C@]3(CC[C@@H]5[C@@]4(CC[C@@H](C5(C)C)OS(=O)(=O)[O-])C)C)[C@@H]2[C@]1(C)O)C)C(=O)O[C@H]6[C@@H]([C@H]([C@@H]([C@H](O6)CO)O)O)O.[Na+] DGAQECJNVWCQMB-PUAWFVPOSA-M 0.000 description 1
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000001154 acute effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000005293 physical law Methods 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 229910052708 sodium Inorganic materials 0.000 description 1
- 239000011734 sodium Substances 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Probability & Statistics with Applications (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Computer Hardware Design (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
本发明公开一种基于深度学习的航迹矢量和目标类型联合估计***及估计方法,该***包括:航迹观测数据集构建模块用于基于航迹坐标和类别数据、观测信息和辅助信息,构建训练数据集;观测特征提取模块用于基于卷积神经网络提取训练数据集的观测特征,得到与观测时隙对应的观测特征向量;辅助信息嵌入模块用于采用嵌入的方法将影响目标航迹的因素转换为低维实际矢量,拼接得到辅助信息特征向量作为输出;航迹特征提取模块用于利用神经网络学习观测特征向量、辅助信息特征向量到航迹矢量特征向量之间的映射关系;多任务学习模块用于通过最小化联合损失函数对各模块进行组合学习,联合输出航迹矢量和目标类型。本发明显著提高了航迹估计性能。
Description
技术领域
本发明属于定位和识别技术领域,尤其涉及一种基于深度学习的航迹矢量和目标类型联合估计***及估计方法。
背景技术
航迹处理技术实现对监测目标的跟踪、识别,获取目标的位置、速度、运动轨迹等,在通用航空监测、现代智能制造、民用航空管制、智能机器人应用等诸多领域具有重要作用(高强,张凤荔,王瑞锦,等.轨迹大数据:数据处理关键技术研究综述[J].软件学报,2017(4).)。
航迹矢量估计是指:多个观测站同步获取辐射源的接收波形(观测信息),基于某种算法,实现航迹矢量估计的过程,如图1所示。
目标分类(或识别)通常包括目标类型确定和/或目标概况评估,如车辆,船舶,或者飞机类型。目标类型知识可以帮助跟踪***掌握正确的数据关联,提高跟踪性能。
辐射源的航迹估计方法主要分为两种:一是分步优化的传统方法,二是一步的直接航迹矢量优化方法。分步优化的传统方法将航迹估计分为三个主要步骤:首先,获得各接收站的观测参数,例如到达方向角(AOA),到达时间差(TDOA),接收信号强度(RSSI)等(郝本建,朱建峰,李赞,等.基于TDOAs与FDOAs 的多信号源及感知节点联合定位算法[J].电子学报,2015,43(10):1888-1897.);然后基于观测参数建立优化模型,先估计出辐射源位置;最后利用滤波方法,例如卡尔曼滤波(KF),扩展卡尔曼滤波(EKF),粒子滤波(PF)等估计目标轨迹 (M.Arulampalam,S.Maskell,N.Gordon,T.Clapp,A tutorial on particle filtersfor online nonlinear/non-gaussian bayesian tracking,IEEE Trans.SignalProcess.50(2) (2002)174–188.)。传统分步方法将航迹估计的优化问题拆解为三个优化子问题,优化过程中没有充分利用三个子问题之间的约束条件,存在不可避免的信息损失,估计性能受到很大限制。常规的直接航迹矢量优化方法通过建立数学模型的方法,将航迹对应的参数矢量建模为高维空间的一个点,基于接收信号波形和传播模型构建最大似然估计模型,再运用最优化算法,实现直接从观测波形到航迹矢量估计的一步优化。直接航迹矢量优化方法利用了多个观测站观测数据之间,以及同一个观测站的不同时刻的观测数据之间的自然冗余关系,可以获得比传统三步航迹估计方法更优的性能,但是该方法往往要求已知或部分已知***数学模型和噪声统计特征,特别是应对复杂场景时计算量大幅增加,这些都影响了方法的精度和实时性。
目标类信息可以从红外传感器,电子支持测量(electronic support measure,ESM)传感器,敌我识别***,高分辨率雷达或其他身份传感器获得。它也可以从***中推断出来,即将运动学测量与身份传感器结合使用。在没有身份传感器提供信息等有限条件下,也可以仅使用航迹中固有的运动学规律同时进行跟踪和分类,利用两类信息交互提高性能(L.Sun,J.Lan,X.R.Li,Joint tracking and classification of extended objectbased on support functions,IET Radar,Sonar Navigation 12(7)(2018)685–693.)。但是现有方法往往需要预先设定分类和跟踪的交互模型,在信息有限以及目标机动等复杂自然条件下,有限的数学模型难以及时并且充分地提取航迹中包含的目标身份和运动规律,存在模型失配和延迟的问题,严重影响方法性能。
随着无线通信技术和定位技术的飞速发展,海量记录位置信息的数据不断产生,同时移动互联技术的飞速发展催生了大量的移动对象轨迹数据。这些数据刻画了个体和群体的时空动态性,蕴含着人类、车辆、飞行器等的行为信息,对交通导航、城市规划、空域监控等应用具有重要的价值。对这些位置和轨迹数据进行实时分析和充分利用的需求日益迫切。在大数据的时代背景下,深度学习逐步成为机器学习中一个新的研究领域,其利用海量的样本获取数据的内在规律和表示层次,解决了很多复杂的模式识别难题。基于深度学习的航迹矢量与目标类型联合估计能够充分提取模型法难以建模的知识信息,如何构建神经网络联合提取观测数据中的航迹特征和身份信息,是未来智能化航迹处理的重要方向。
发明内容
本发明针对现有辐射源的航迹估计方法存在信息损失,估计性能受限制,方法的精度和实时性不佳的问题,以及现有目标分类方法存在的模型失配和延迟,严重影响方法性能的问题,提出一种基于深度学习的航迹矢量和目标类型联合估计***及估计方法,能够利用传统方法难以建模的自然条件信息,在目标机动,复杂环境和信噪比低等条件下,保持较高的航迹估计性能。
为了实现上述目的,本发明采用以下技术方案:
本发明一方面提出一种基于深度学习的航迹矢量和目标类型联合估计***,包括:航迹观测数据集构建模块,观测特征提取模块,辅助信息嵌入模块,航迹特征提取模块及多任务学习模块;
所述航迹观测数据集构建模块用于基于航迹坐标和类别数据、观测信息和辅助信息,构建从观测信息到航迹矢量和目标类型的训练数据集,其中航迹坐标和目标类别作为训练标签;
所述观测特征提取模块用于基于卷积神经网络提取所述训练数据集的观测特征,得到与观测时隙对应的观测特征向量;
所述辅助信息嵌入模块用于采用嵌入的方法将影响目标航迹的因素转换为低维实际矢量,得到各类因素的嵌入向量,然后将各类因素的嵌入向量拼接,得到辅助信息特征向量作为输出;
所述航迹特征提取模块用于利用神经网络学习所述观测特征向量、辅助信息特征向量到航迹矢量特征向量之间的映射关系;
所述多任务学习模块用于通过最小化联合损失函数对观测特征提取模块、辅助信息嵌入模块及航迹特征提取模块进行组合学习,联合输出航迹矢量和目标类型。
进一步地,所述观测信息包括观测波形数据,所述观测特征包括观测波形特征。
进一步地,所述观测特征提取模块基于卷积神经网络结构,采用局部卷积的思想,通过控制卷积核的大小和步长,实现局部卷积,各层激活函数为LeakyReLU。
进一步地,所述辅助信息嵌入模块采用Embedding模型。
进一步地,所述航迹特征提取模块还用于利用神经网络学习所述观测特征向量、辅助信息特征向量到航迹类别特征向量之间的映射关系。
进一步地,所述航迹特征提取模块采用基于处理序列的seq2seq神经网络结构实现,该结构由编码器和解码器两部分组成,所述航迹类别特征向量由编码器输出,所述航迹矢量特征向量由解码器输出。
进一步地,所述多任务学习模块中,组合学习时,联合损失函数L为:
L=βLtrack+(1-β)Lclass
其中,γ和β均为超参数,表示损失权重;Ltrack表示航迹估计损失函数;n=K,为航迹矢量的长度;为第i次航迹矢量估计的输出;Qi表示第i次观测的状态矢量;Lclass表示目标分类损失函数,a表示分类网络预测的输出,x表示样本,y表示标签。
一种基于深度学习的航迹矢量和目标类型联合估计方法,包括:
步骤1:航迹观测数据集构建模块获取目标类型为Xc的航迹数据Xt,对应多站观测信息和辅助信息M,构建训练数据集[X,Y],其中数据标签Y={Xc,Xt};随机初始化各模块的网络参数,设置每个批次的数据样本数量Batch size和训练总轮数Epoch;初始化超参数β=0.9,γ=0.5;其中Nt为训练样本个数;
步骤3:利用辅助信息嵌入模块M2将辅助信息M纳入模型;模块输入为辅助信息属性以及标号I=[I1,I2,…,IA],输出为辅助信息特征向量设网络权重参数为W2,则H=M2(I,W2);其中A为辅助信息属性个数,E表示嵌入空间的维度;
步骤4:利用航迹特征提取模块M3将观测特征向量F和辅助信息特征向量H 整合处理,最终实现时空转换concat,输出估计的航迹类别特征向量C和航迹矢量特征向量P;设网络权重参数为W3,则[C,P]=M3[concat(F,H),W3];
步骤5:多任务学习模块M4中航迹类别预测的输出为a,航迹矢量估计的输出为设网络权重参数为W4,则最小化联合损失函数 L=βLtrack+(1-β)Lclass来更新网络参数,在测试集上测试性能并从步骤2开始重复下一轮训练。
与现有技术相比,本发明具有的有益效果:
本发明首次构建了联合航迹矢量与目标类型估计的深度神经网络,并利用神经网络去学习传统模型或方法难以表达的目标身份类型和运动规律特征。基于深度学习的方法充分利用了不同类型运动目标观测数据之间的条件自然冗余关系,显著提高了航迹估计性能。
附图说明
图1为辐射源航迹估计示意图;
图2为本发明实施例一种基于深度学习的航迹矢量和目标类型联合估计***的架构示意图;
图3为本发明实施例一种基于深度学习的航迹矢量和目标类型联合估计***的观测特征提取模块结构示意图;
图4为本发明实施例一种基于深度学习的航迹矢量和目标类型联合估计***的辅助信息嵌入模块结构示意图;
图5为本发明实施例一种基于深度学习的航迹矢量和目标类型联合估计***的基于Transformer时空转换网络的航迹特征提取模块结构示意图。
具体实施方式
下面结合附图和具体的实施例对本发明做进一步的解释说明:
如图2所示,一种基于深度学习的航迹矢量和目标类型联合估计***,包括:航迹观测数据集构建模块,观测特征提取模块,辅助信息嵌入模块,航迹特征提取模块及多任务学习模块;
所述航迹观测数据集构建模块用于基于航迹坐标和类别数据、观测信息和辅助信息,构建从观测信息到航迹矢量和目标类型的训练数据集,其中航迹坐标和目标类别作为训练标签;
所述观测特征提取模块用于基于卷积神经网络提取所述训练数据集的观测特征,得到与观测时隙对应的观测特征向量;
所述辅助信息嵌入模块用于采用嵌入的方法将影响目标航迹的因素转换为低维实际矢量,得到各类因素的嵌入向量,然后将各类因素的嵌入向量拼接,得到辅助信息特征向量作为输出;
所述航迹特征提取模块用于利用神经网络学习所述观测特征向量、辅助信息特征向量到航迹矢量特征向量之间的映射关系;
所述多任务学习模块用于通过最小化联合损失函数对观测特征提取模块、辅助信息嵌入模块及航迹特征提取模块进行组合学习,联合输出航迹矢量和目标类型。
具体地,航迹观测数据集构建模块中:
深度学习方法是数据驱动的,需要通过充分训练得到神经网络参数,因此首先需要合理构建数据集。目标运动虽然存在复杂机动性,但同类目标也符合一定的物理规律。例如民航飞机和特种作业直升机对比,前者速度快航迹较为固定,后者速度慢航迹机动性强。典型的状态转移模型有CV(匀速直线运动模型),CA(匀加速运动模型),CTRV(匀转弯和匀速运动模型)等。对于复杂机动目标,例如受人工控制的运动目标,往往会在不同运动模型中切换。这些特征都可以作为航迹数据构建时的参考。航迹数据容易从ADS-B,GPS等定位导航设备中获得,并且海量航迹数据的产生和积累为航迹分析提供了重要的数据支撑。
设接收站对目标航迹的观测信息为R=[θ1,θ2,…θK],其中K为每条轨迹的总观测次数,观测信息θ通常包括目标方位角,距离和信号强度等。在构建数据集时,除了利用这些简单物理观测信息,方案能够实现直接使用波形数据,通过构建观测波形数据集,最大程度避免信息损失的情况。后续说明书的具体描述以波形数据为例。
假设某个运动辐射源发出随机波形的信号,该信号能够同时被观测站截获。在辐射源的运动过程中,由已知位置的接收基站对波形进行观测,每个观测站在 K个时隙段对目标辐射源信号进行采样,第一个时隙段的目标位置设为其初始位置。假设在每个采样时隙段(时间很短),目标与观测站的瞬时位置和速度变化忽略不计。K次观测对应的时刻为t=[t0,t1,…,tK-1]T,每次观测持续时间为Td,每次观测获得N个快拍,第k次观测中发送波形记为其中ts,n=nTs=n/fs,Ts是观测站的采样间隔。运动辐射源航迹估计问题的状态矢量记为其中 Qk=[xk,yk,vk,φk,tk]T是第k次观测的状态矢量,(xk,yk)是第k次观测时目标的位置坐标,vk,φk分别是运动信源的速度大小和速度方向,tk是观测时刻。
基于上述讨论,对于L个已实现同步采集数据的静止观测站,第i个观测站的位置已知并记为pi,观测站i在第k次观测时,按照fs的采样速率进行采样,获得波形向量:
假设有M个已实现同步采集数据的静止观测站,第i个观测站的位置已知并记为pi,观测站i在第k次观测时,按照fs的采样速率进行采样,获得波形向量为
ri,k=H(ai,k,fi,k,ti,k,fk,tk,sk)+nk
其中ai,k是第k次观测时,从运动信源到观测站i的路径衰减复系数,是一个标量,表征链路衰减和收发***相位差;fi,k是第k次观测,从辐射源到观测站i的频率漂移,产生原因是目标与观测站的径向运动导致的多普勒频移,ti,k是从辐射源到接收站的传播延迟,tk是第k次观测辐射源与观测站的钟差;fk是第k次观测中辐射源的频率漂移,假设观测站的时钟和频率通过GNSS驯服时钟授时,能够获得足够高的时钟同步经度和频率经度;sk是发送波形向量;nk是第k次观测的观测噪声向量。一个典型的观测函数可以建模为:
ri,k=D(fi,k)F-1T(ti,k)T(tk)FD(fk)skai,k+nk
其中D(f)是信号源频率漂移f赫兹的矩阵
其中t(i)=i/fs。
T(t)是信号延迟t秒的矩阵
其中f(i)=fs(i+1-N/2).
F是傅里叶变换矩阵
则一条航迹对应的观测波形矩阵为:
信号观测模型不限于上述模型,可以根据实际情况进行删减和添加。假设有 M类飞行器目标,则该方法的直接航迹矢量估计与类型识别模型对应求解 f(Q,m|R)。
进一步地,观测特征提取模块主要功能是提取观测特征,得到与观测时隙对应的特征向量。以接收波形为例,该模块提取将多个接收站的观测波形处理为适合网络学习的特征向量,作为后续模块的输入。该模块基于VGG、ResNet和 DenseNet为典型的卷积神经网络结构,但不限于这些结构。在利用卷积层提取特征的基础上,模块采用分块处理的方式,提取了基于时间序列的波形特征向量。
具体地,卷积神经网络是深度学习的代表算法,同时它目前也是实际应用中被使用最为广泛的模型之一,在图像处理,定位检测,自然语言处理等众多领域都有出色的表现。在网络训练前,会随机化卷积核的参数。通过网络的训练,会更新卷积核的参数,以此赋予卷积核提取多样化特征的能力。通过引入非线性激活函数,增强了模型的非线性,从而网络可以拟合出更加复杂的函数。
基于卷积神经网络的观测特征提取模块M1,主要实现网络输入 的特征提取,其中Nt为训练样本个数。航迹的K次观测对应3D-CNN输入参数[width=L×K,lenght=N,channel=2],其中通道数 channel=2表示接收信号波形的实部和虚部。为了在特征提取的过程中保留特征与航迹序列的时间对应关系,模块设计了局部卷积神经网络。特征维度为D,且模块输出对应航迹观测次数,因此输出为我们给出了一种波形特征提取结构示意图如图3所示。波形处理模块的网络由两个残差卷积结构(Residual block)、一层CNN和两个线性连接层组成,通过控制卷积核的大小和步长,实现局部卷积,各层激活函数为LeakyReLU。
进一步地,辅助信息嵌入模块主要功能是将影响目标航迹的已知条件或者因素纳入模型。目标运动航迹受许多复杂因素的影响,例如时间,天气状况,地理特征以及驾驶习惯。传统模型很难将这些因素建模,但是深度学习模型擅长处理这类问题。辅助信息嵌入模块完成知识属性的分类和特征映射,其主要结构由属性嵌入层和特征整合层组成。该模型采用嵌入的方法将每个分类属性转换为低维实际矢量,以将辅助知识纳入方法模型。
具体地,运动目标的航迹受许多复杂因素的影响,例如开始时间,天气状况,地理特征以及驾驶习惯。传统模型很难将这些自然条件建模,但是深度学习模型擅长处理这类问题,这使得我们的方案在处理实际复杂问题时更加灵活。本发明设计了一个简单而有效的辅助信息嵌入模块M2,以将这些因素纳入本发明模型。如图4所示,模型能够结合时间信息,例如天气条件(多雨/晴天/大风等),地理特征(城市/岛屿/海洋等),驾驶员等属性。假设考虑A种因素,该模块首先对这些因素分别编号为I=[I1,I2,…,IA]。每种因素有Ca种类别,即Ia=[1,2,…,Ca]。这些类别值不能直接输入神经网络,因为他们相当于简单的给每个因素编了个号,但是因素属性之间的关系则完全体现不出来。嵌入(Embedding)模型是自然语言处理中的典型模型,嵌入层的作用是将一个词转换成保留语义距离的固定长度的向量表示,从而便于进行数学处理。因此,嵌入方法有助于在不同轨迹之间找到和共享类似的模式。模块选用了自然语言处理中比较成熟的Embedding模型,将每个类别属性转换为低维实向量。具体而言,Embedding模型将每个分类值 c∈[C]通过乘以参数矩阵映射到一个实数空间(嵌入空间),其中 E表示嵌入空间的维度且通常有E<<C。辅助信息嵌入模块将各类因素的嵌入向量拼接,得到的辅助信息特征向量作为模块输出为网络训练提供更丰富属性信息。
进一步地,航迹特征提取模块主要功能是利用神经网络学习波形特征到航迹矢量之间的映射关系。该模块的输入是前面观测特征提取模块产生的波形特征向量和辅助信息嵌入模块产生的辅助信息特征向量,输出是对应的航迹矢量特征向量和航迹类别特征向量,这部分输出用于后续航迹矢量估计和分类任务。该模块从基于观测时间的波形特征向量中提取航迹空间特征,主要采用处理序列的网络结构。循环神经网络(Recurrent neuralnetwork,RNN)和Transformer都是适合处理序列数据的神经网络。根据数据和场景的复杂程度,可以选取基于处理序列的seq2seq神经网络结构实现,如选取典型的LSTM-basedRNN、GRU-based RNN、BERT或Transformer等作为核心网络,但不限于这些结构。
具体地,循环神经网络(Recurrent neural network,RNN)是一类处理序列数据的神经网络。随着研究深入,门控RNN被认为是在实际应用中最有效的RNN 模型,例如LSTM和GRU。许多基于RNN的深度学习算法已经语音识别和自然语言处理等方面在取得了与人类相当的效果。随着近年来计算能力的大幅提高和人们的需求日益复杂,基于Attention机制的Transformer网络结构应运而生。巨大的参数容量和Attention机制的引入使得Transformer网络结构在处理复杂序列问题时性能优势明显。由波形特征向量可知,提取的特征是保留时间序列对应关系的,因此适合使用RNN和Transformer网络结构来构建完成时空转换的航迹特征提取模块M3。
航迹特征提取模块是对观测特征提取模块的输出的进一步处理。该模块主要基于序列处理结构,实现提取特征到特定任务的学习。在网络结构的选择上,可根据任务复杂程度参考基于LSTM、GRU或者Transformer等典型结构进行设计。作为一种可实施方式,以复杂任务为例,给出基于Transformer的时空转换网络结构如图5所示。其中模块输入为观测特征提取模块和辅助信息嵌入模块输出向量的拼接Transformer由编码器(Encoder) 和解码器(Decoder)两个部分组成,其中航迹类别特征向量C由编码器输出,航迹矢量特征向量P从解码器输出。
进一步地,多任务学习模型主要功能是将观测特征提取模块、辅助信息嵌入模块及航迹特征提取模块组合学习,联合输出航迹矢量和目标类型。多任务学习模型根据任务需求,为每个任务分配特定的输出网络结构,同时,为了使网络同时学习数据中存在的身份特征和航迹矢量特征,还构建了多任务学习的损失函数。多任务学习模型的结构和损失函数根据任务类型灵活设置,可采取并行,串行和门控等输出形式,但不限于这些形式。
具体地,多任务学习是深度学习的一种训练模式,通过共享模型表示同时学习多个相关任务集合。这些共享表示提高了数据效率,有助于产生相关或下游任务的速度更快的学习速度,有助于缓解深度学习对大规模的数据和计算的需求。这种方法提供了提高数据效率的优点,通过共享表示,利用辅助信息进行快速学习。
在本实施例中,多任务学习模块M4主要完成目标分类和航迹估计两个任务。这两个任务显然是相辅相成,互相促进的。利用时空转换网络的输出特征分别做分类和估计,其中解决分类问题最常用的分类器是Softmax分类器。设训练样本数为n的k分类问题,x表示样本,y表示标签,训练样本集表示为 {(x1,y1),(x2,y2),…,(xn,yn)}。使用Softmax分类器输出k维矢量,表示xi在k个不同类别下分配的概率:
θ表示模型的参数,通过网络的训练对θ进行更新,对应的最小化损失函数是交叉熵的形式:
其中a表示分类网络预测的输出。
对于航迹估计部分,损失函数由均方根误差(Rooted mean square error,RMSE)和平均绝对百分百误差(Mean absolute percentage error,MAPE)两部分组成:
L=βLtrack+(1-β)Lclass
其中γ和β都是超参数,表示损失权重。方案通过对损失函数最小化来更新网络参数并训练模型。由于神经网络通常处理的是求解非凸函数,运算过程比较复杂,因此一般采用梯度下降法,并结合误差反向传播来更新网络参数。参数更新过程可以选用Adam、SGD等深度学习典型优化函数。
在上述实施例的基础上,本发明还提出一种基于深度学习的航迹矢量和目标类型联合估计方法,包括:
步骤S101:航迹观测波形数据集构建模块获取目标类型为Xc的航迹数据 Xt,对应多站观测波形和辅助信息M,构建训练数据集[X,Y],其中数据标签Y={Xc,Xt};随机初始化各模块的网络参数,设置每个批次的数据样本数量Batch size和训练总轮数Epoch;初始化超参数β=0.9,γ=0.5;其中Nt为训练样本个数;
步骤S102:利用观测特征提取模块M1对多站观测波形数据进行特征提取;模块输入为观测波形输出为波形特征向量设网络权重参数为W1,则F=M1(Input1,W1);其中K为每条轨迹的总观测次数,D为特征维度;
步骤S103:利用辅助信息嵌入模块M2将辅助信息M纳入模型;模块输入为辅助信息属性以及标号I=[I1,I2,…,IA],输出为辅助信息特征向量 设网络权重参数为W2,则H=M2(I,W2);其中A为辅助信息属性个数,E表示嵌入空间的维度;
步骤S104:利用航迹特征提取模块M3将波形特征向量F和辅助信息特征向量H整合处理,最终实现时空转换concat,输出估计的航迹类别特征向量C和航迹矢量特征向量P;设网络权重参数为W3,则[C,P]=M3[concat(F,H),W3];
步骤S105:多任务学习模块M4中航迹类别预测的输出为a,航迹矢量估计的输出为设网络权重参数为W4,则最小化联合损失函数L=βLtrack+(1-β)Lclass来更新网络参数,在测试集上测试性能并从步骤2 开始重复下一轮训练。
综上,本发明首次构建了联合航迹矢量与目标类型估计的深度神经网络,并利用神经网络去学习传统模型或方法难以表达的目标身份类型和运动规律特征。基于深度学习的方法充分利用了不同类型运动目标观测数据之间的条件自然冗余关系,显著提高了航迹估计性能。
以上所示仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (8)
1.一种基于深度学习的航迹矢量和目标类型联合估计***,其特征在于,包括:航迹观测数据集构建模块,观测特征提取模块,辅助信息嵌入模块,航迹特征提取模块及多任务学习模块;
所述航迹观测数据集构建模块用于基于航迹坐标和类别数据、观测信息和辅助信息,构建从观测信息到航迹矢量和目标类型的训练数据集,其中航迹坐标和目标类别作为训练标签;
所述观测特征提取模块用于基于卷积神经网络提取所述训练数据集的观测特征,得到与观测时隙对应的观测特征向量;
所述辅助信息嵌入模块用于采用嵌入的方法将影响目标航迹的因素转换为低维实际矢量,得到各类因素的嵌入向量,然后将各类因素的嵌入向量拼接,得到辅助信息特征向量作为输出;
所述航迹特征提取模块用于利用神经网络学习所述观测特征向量、辅助信息特征向量到航迹矢量特征向量之间的映射关系;
所述多任务学习模块用于通过最小化联合损失函数对观测特征提取模块、辅助信息嵌入模块及航迹特征提取模块进行组合学习,联合输出航迹矢量和目标类型。
2.根据权利要求1所述的一种基于深度学习的航迹矢量和目标类型联合估计***,其特征在于,所述观测信息包括观测波形数据,所述观测特征包括观测波形特征。
3.根据权利要求1所述的一种基于深度学习的航迹矢量和目标类型联合估计***,其特征在于,所述观测特征提取模块基于卷积神经网络结构,采用局部卷积的思想,通过控制卷积核的大小和步长,实现局部卷积,各层激活函数为LeakyReLU。
4.根据权利要求1所述的一种基于深度学习的航迹矢量和目标类型联合估计***,其特征在于,所述辅助信息嵌入模块采用Embedding模型。
5.根据权利要求1所述的一种基于深度学习的航迹矢量和目标类型联合估计***,其特征在于,所述航迹特征提取模块还用于利用神经网络学习所述观测特征向量、辅助信息特征向量到航迹类别特征向量之间的映射关系。
6.根据权利要求5所述的一种基于深度学习的航迹矢量和目标类型联合估计***,其特征在于,所述航迹特征提取模块采用基于处理序列的seq2seq神经网络结构实现,该结构由编码器和解码器两部分组成,所述航迹类别特征向量由编码器输出,所述航迹矢量特征向量由解码器输出。
8.基于权利要求1-7任一所述一种基于深度学习的航迹矢量和目标类型联合估计***的一种基于深度学习的航迹矢量和目标类型联合估计方法,其特征在于,包括:
步骤1:航迹观测数据集构建模块获取目标类型为Xc的航迹数据Xt,对应多站观测信息和辅助信息M,构建训练数据集[X,Y],其中数据标签Y={Xc,Xt};随机初始化各模块的网络参数,设置每个批次的数据样本数量Batch size和训练总轮数Epoch;初始化超参数β=0.9,γ=0.5;其中Nt为训练样本个数;
步骤3:利用辅助信息嵌入模块M2将辅助信息M纳入模型;模块输入为辅助信息属性以及标号I=[I1,I2,…,IA],输出为辅助信息特征向量设网络权重参数为W2,则H=M2(I,W2);其中A为辅助信息属性个数,E表示嵌入空间的维度;
步骤4:利用航迹特征提取模块M3将观测特征向量F和辅助信息特征向量H整合处理,最终实现时空转换concat,输出估计的航迹类别特征向量C和航迹矢量特征向量P;设网络权重参数为W3,则[C,P]=M3[concat(F,H),W3];
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110713122.5A CN113569465B (zh) | 2021-06-25 | 2021-06-25 | 一种基于深度学习的航迹矢量和目标类型联合估计***及估计方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110713122.5A CN113569465B (zh) | 2021-06-25 | 2021-06-25 | 一种基于深度学习的航迹矢量和目标类型联合估计***及估计方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113569465A CN113569465A (zh) | 2021-10-29 |
CN113569465B true CN113569465B (zh) | 2022-10-21 |
Family
ID=78162750
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110713122.5A Expired - Fee Related CN113569465B (zh) | 2021-06-25 | 2021-06-25 | 一种基于深度学习的航迹矢量和目标类型联合估计***及估计方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113569465B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114067178A (zh) * | 2021-11-18 | 2022-02-18 | 厦门大学 | 一种无人驾驶汽车对周边车辆切入轨迹预测***及方法 |
CN114491413A (zh) * | 2022-01-25 | 2022-05-13 | 中国人民解放军海军航空大学航空作战勤务学院 | 基于最小化交叉熵的概率密度假设航迹生成方法及*** |
CN114998747B (zh) * | 2022-07-21 | 2022-10-18 | 南京应用数学中心 | 一种基于深度学习模板匹配的长航迹实时识别方法 |
CN117288441A (zh) * | 2023-10-16 | 2023-12-26 | 中国气象科学研究院 | 一种Langley定标辅助方法及*** |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112434643A (zh) * | 2020-12-06 | 2021-03-02 | 零八一电子集团有限公司 | 低慢小目标的分类识别方法 |
CN112946568B (zh) * | 2021-01-29 | 2023-06-30 | 中国人民解放军战略支援部队信息工程大学 | 辐射源航迹矢量直接估计方法 |
-
2021
- 2021-06-25 CN CN202110713122.5A patent/CN113569465B/zh not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
CN113569465A (zh) | 2021-10-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113569465B (zh) | 一种基于深度学习的航迹矢量和目标类型联合估计***及估计方法 | |
Gui et al. | Flight delay prediction based on aviation big data and machine learning | |
CN114048889B (zh) | 基于长短期记忆网络的飞行器轨迹预测的方法 | |
Wang et al. | Short-term 4d trajectory prediction using machine learning methods | |
CN112613532B (zh) | 基于雷达与循环神经网络补全红外融合的动目标跟踪方法 | |
CN111897353B (zh) | 基于gru的飞行器机动轨迹预测方法 | |
CN108764560A (zh) | 基于长短期记忆神经网络的航空器场面轨迹预测方法 | |
Bhattarai et al. | Geomagnetic field based indoor landmark classification using deep learning | |
CN112862171B (zh) | 一种基于时空神经网络的航班到达时间预测方法 | |
CN114449452A (zh) | 一种异构设备室内定位算法 | |
CN112946784B (zh) | 一种基于深度学习的SuperDARN雷达对流图短期预报方法 | |
Wei et al. | An improved method based on deep reinforcement learning for target searching | |
Han et al. | Short-term 4D trajectory prediction based on LSTM neural network | |
Chen et al. | Hybrid N-inception-LSTM-based aircraft coordinate prediction method for secure air traffic | |
Bastas et al. | Data driven aircraft trajectory prediction with deep imitation learning | |
CN113470441B (zh) | 一种高机动试飞航空器实时智能防相撞检测方法 | |
CN113347559B (zh) | 一种基于深度学习的强鲁棒性无线定位方法 | |
CN115966107A (zh) | 一种基于图神经网络的机场交通流预测方法 | |
CN117217089A (zh) | 一种基于双向长短期记忆网络的航迹预测方法 | |
Jiang et al. | Trainable kalman filter based on recurrent neural network and its application in aviation surveillance | |
Liu et al. | A deep neural network based maneuvering-target tracking algorithm | |
Zhu et al. | UAV trajectory tracking via RNN-enhanced IMM-KF with ADS-B data | |
Amoozegar | Neural-network-based target tracking state-of-the-art survey | |
CN113888544A (zh) | 一种基于深度学习的遥感图像语义情报生成方法 | |
Yang et al. | Study on the trajectory positioning and prediction framework of unmanned aerial vehicle based on long short-term memory neural network |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20221021 |