CN114444572A - 一种面向数据错误的空中目标意图识别方法及装置 - Google Patents
一种面向数据错误的空中目标意图识别方法及装置 Download PDFInfo
- Publication number
- CN114444572A CN114444572A CN202111604753.XA CN202111604753A CN114444572A CN 114444572 A CN114444572 A CN 114444572A CN 202111604753 A CN202111604753 A CN 202111604753A CN 114444572 A CN114444572 A CN 114444572A
- Authority
- CN
- China
- Prior art keywords
- characteristic information
- state characteristic
- state
- intention identification
- intention
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 230000007246 mechanism Effects 0.000 claims abstract description 72
- 238000013528 artificial neural network Methods 0.000 claims abstract description 42
- 230000000306 recurrent effect Effects 0.000 claims abstract description 41
- 239000013598 vector Substances 0.000 claims description 106
- 230000015654 memory Effects 0.000 claims description 28
- 230000006870 function Effects 0.000 claims description 19
- 239000011159 matrix material Substances 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 7
- 210000002569 neuron Anatomy 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 230000002159 abnormal effect Effects 0.000 abstract description 4
- 238000004364 calculation method Methods 0.000 description 15
- 238000012545 processing Methods 0.000 description 14
- 238000012549 training Methods 0.000 description 11
- 238000013461 design Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 238000003062 neural network model Methods 0.000 description 9
- 210000004027 cell Anatomy 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 6
- 125000004122 cyclic group Chemical group 0.000 description 6
- 241000282414 Homo sapiens Species 0.000 description 4
- 230000004913 activation Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 208000013409 limited attention Diseases 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/211—Selection of the most significant subset of features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Molecular Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种面向数据错误的空中目标意图识别方法及装置，获取空中目标在意图识别周期内的第一状态特征信息；通过意图识别网络的注意力机制层为每个时刻的第一状态特征信息增加权重并重置，得到每个时刻的第二状态特征信息；通过意图识别网络的循环神经网络层从第二状态特征信息中提取用于意图识别的第三状态特征信息；将第三状态特征输入到意图识别网络的全连接层，全连接层对第三状态特征信息进行意图识别，得到空中目标的意图识别结果；通过使用注意力机制层为每个时刻的状态特征信息进行重置，可以增加状态特征信息的来源准确性，降低了异常值对后续意图识别任务的影响。
Description
技术领域
本发明属于意图识别技术领域，尤其涉及一种面向数据错误的空中目标意图识别方法及装置。
背景技术
在现代化战争中，空中战场已经成为决定性的战场，制空权成为战争主动权的集中表现。同时，在信息化条件下，战场信息错综复杂、瞬息万变。仅依靠指挥员本身难以从海量的战场信息做出快速、准确的决策。因此，实现对空中目标实时、可靠的身份识别及作战意图分析，可以帮助指挥员缩短决策时间、提升决策质量。此外，在和平时期，强大的态势感知能力是预警***的关键一环，是国家威慑力量的重要组成部分，可以有效的体现国家意志，保护祖国主权和尊严，遏制战争的爆发，保障本国经济的持续发展。
对空中目标的意图识别是一个典型的时序信息分类问题，目标的战术意图往往包含在一系列随时间变化的状态信息中。比如战机高机动往往是准备进攻，雷达静默低空飞行则很大概率是在突防，而当战机进行侦查时则经常在高空进行盘旋。所以可以通过对空中目标属性及时序状态信息进行分析，识别目标的战术意图。
定义特征信息向量Dt为t时刻下空中目标的实时特征信息，定义向量I为空中目标的意图空间。空中目标意图识别任务用数学化的公式描述为I＝f(D)，其中，特征信息向量D是从众多类型的信息中选取的，典型的一些特征包括空中目标的速度、距离、高度、航向角、雷达开关机情况等等。典型的空中目标的意图空间I包括攻击、撤退、逃逸、侦查、监视、运输、电子干扰等等。
现有的大量研究集中在利用单一时刻状态信息推断目标战术意图，用公式描述为I＝f(Dt)，但是在充满欺骗与伪装的战场环境下，获取到的敌方信息往往存在虚假和误导。此外，战场环境下，无法保证数据的可靠性，可能存在错误信息。因此，仅依靠单一时刻的状态信息推断出的战术意图并不可靠。
发明内容
本发明的目的是提供一种面向数据错误的空中目标意图识别方法及装置，以降低数据错误对目标意图识别正确率的影响。
本发明采用以下技术方案：一种面向数据错误的空中目标意图识别方法，包括以下步骤：
获取空中目标在意图识别周期内的第一状态特征信息；
通过意图识别网络的注意力机制层为每个时刻的第一状态特征信息增加权重并重置，得到每个时刻的第二状态特征信息；
通过意图识别网络的循环神经网络层从第二状态特征信息中提取用于意图识别的第三状态特征信息；
将第三状态特征输入到意图识别网络的全连接层，全连接层对第三状态特征信息进行意图识别，得到空中目标的意图识别结果。
进一步地，将第三状态特征输入到意图识别网络的全连接层之前还包括：
对第三状态特征信息进行池化操作；其中，池化后的第三状态信息的维度与全连接层的输入维度相等。
进一步地，通过意图识别网络的注意力机制层为每个时刻的第一状态特征信息增加权重并重置包括：
基于键向量生成矩阵、查询向量生成矩阵和值向量生成矩阵分别为第一状态特征信息生成对应的键向量、查询向量和值向量；
根据当前时刻的查询向量和意图识别周期内每一时刻的键向量，计算当前时刻的第一状态特征信息和意图识别周期内每一时刻的第一状态特征信息之间权重；
将权重与意图识别周期内每一时刻的第一状态向量的值向量进行点积运算，得到当前时刻的第一状态特征信息相对于意图识别周期内每一时刻的第一状态特征信息的预估值；
累加预估值，得到第二状态特征信息。
进一步地，权重通过以下公式计算：
wji＝Softmax(Score(qj,ki))，
其中，wji为当前第j时刻的第一状态特征信息和意图识别周期内第i时刻的第一状态特征信息之间的权重，Softmax(·)表示归一化指数函数，Score(qj,ki)为当前第j时刻的第一状态特征信息和意图识别周期内第i时刻的第一状态特征信息之间的相关性值，qj为根据第j时刻的第一状态特征信息生成的查询向量，ki为根据第i时刻的第一状态特征信息生成的键向量。
进一步地，权重通过以下公式计算：
其中，wji为当前第j时刻的第一状态特征信息和意图识别周期内第i时刻的第一状态特征信息之间的权重，Softmax(·)表示归一化指数函数，Score(qj,ki)为当前第j时刻的第一状态特征信息和意图识别周期内第i时刻的第一状态特征信息之间的相关性值，qj为根据第j时刻的第一状态特征信息生成的查询向量，ki为根据第i时刻的第一状态特征信息生成的键向量，dk为ki的维度。
进一步地，Score(qj,ki)通过
计算得出。
进一步地，注意力机制层为并列设置的至少三层。
进一步地，循环神经网络层为依次设置的至少两层，每个循环神经网络层的隐藏层节点数为36；
全连接层为依次设置的至少两层，且第一个全连接层的神经元个数为256，第二个全连接层神经元个数为64。
本发明的另一种技术方案：一种面向数据错误的空中目标意图识别装置，包括：
获取模块，用于获取空中目标在意图识别周期内的第一状态特征信息；
重置模块，用于通过意图识别网络的注意力机制层为每个时刻的第一状态特征信息增加权重并重置，得到每个时刻的第二状态特征信息；
提取模块，用于通过意图识别网络的循环神经网络层从第二状态特征信息中提取用于意图识别的第三状态特征信息；
识别模块，用于将第三状态特征输入到意图识别网络的全连接层，全连接层对第三状态特征信息进行意图识别，得到空中目标的意图识别结果。
本发明的另一种技术方案：一种面向数据错误的空中目标意图识别装置，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述的一种面向数据错误的空中目标意图识别方法。
本发明的有益效果是：本发明通过获取一段时间内的空中目标的状态特征信息，并使用注意力机制层为每个时刻的状态特征信息进行重置，可以增加状态特征信息的来源准确性，再将重置后的状态特征信息通过循环神经网络进行特征提取，最后用全连接层进行意图识别，降低了异常值对后续意图识别任务的影响，解决了目前现有方法的局限和存在的问题，有应用在真实战场环境下的潜力。
附图说明
图1为本发明实施例一种面向数据错误的空中目标意图识别方法的流程图；
图2为本发明实施例中注意力机制各部分之间的关系示意图；
图3为本发明实施例中向量不同夹角下的相似度示意图；
图4为本发明实施例中完整的自注意力机制计算流程图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
循环神经网络(Recurrent Neural Network，RNN)是一种处理时序性输入的神经网络，它被广泛的应用在语音识别、机器翻译、文本生成等任务上。这些任务要处理的都是时序性的数据，一言以蔽之，这些时序数据有着输入是不定长的、输入的上下文是有关联的特征，这与意图识别所要处理数据的性质相吻合。因此从理论上讲，可以通过循环神经网络实现对空中目标意图的准确识别。
在循环神经网络模型中，空中目标意图识别任务描述为
为tT时刻空中目标的特征信息向量，T为用于进行意图识别的采集特征信息向量的时间周期，通过循环神经网络模型进行空中目标意图识别方法可以归纳为以下步骤：1)收集训练数据，划分数据集；2)数据归一化，编码为特征向量；3)将特征向量输入到循环神经网络中；4)将循环神经网络的输出进行逻辑回归，经过模式解析得出目标意图的预测结果。
对空中目标战术意图的识别，是利用空中目标随时间变化的属性和状态信息，分析并推断敌方战术意图的过程。在这个过程中，意图识别模型要根据特定的规则或算法，建立目标状态特征空间和意图空间的映射关系。从较大时间尺度来讲，不同战术意图的目标表现出的状态信息差距是比较明显的，但在单一时刻或者较小的时间尺度上，不同战术意图的目标往往有相似的特征。比如战机在执行侦查任务和监视任务时，某一时刻的属性甚至有可能完全相同。因此，仅依靠目标单一时刻状态信息进行分析和推理，显然难以获得准确的识别结果。
此外，目前意图识别模型虽然都设计了不同的算法以实现对目标的意图识别，但其假设的战场环境比较简单，采集到的数据也十分理想。因此，传统意图识别模型虽然在理论上是可行的，但要想应用在真实的战场环境下还只能局限在为数不多的简单、明确的情况下。在战场环境下，采集到的信息呈现高度对抗、高度复杂的特点。敌方目标作为非合作单位，为了保护自己的作战力量，通常会进行一系列的欺骗和伪装，以隐藏自己的战术意图。
为了克服基于单一时刻意图识别方法的缺陷，循环神经网络引入状态变量来存储过去的信息，这样在对任意时刻进行意图识别时都可以充分利用到目标的历史数据，在正常数据下可以实现更为准确的识别结果。而且由于循环神经网络模型可以利用时序数据的冗余信息和自己独特的设计结构，有一定能力处理包含虚假数据的信息。但这种处理方式属于另辟蹊径，并没有从根本上解决如何处理带错误数据信息的问题，可靠性十分有限。因此，循环神经网络模型这种对所有时刻信息“一视同仁”的思想在处理战场信息时有很大的局限。
本发明公开了一种面向数据错误的空中目标意图识别方法，如图1所示，包括以下步骤：获取空中目标在意图识别周期内的第一状态特征信息；通过意图识别网络的注意力机制层为每个时刻的第一状态特征信息增加权重并重置，得到每个时刻的第二状态特征信息；通过意图识别网络的循环神经网络层从第二状态特征信息中提取用于意图识别的第三状态特征信息；将第三状态特征输入到意图识别网络的全连接层，全连接层对第三状态特征信息进行意图识别，得到空中目标的意图识别结果。
本发明通过获取一段时间内的空中目标的状态特征信息，并使用注意力机制层为每个时刻的状态特征信息进行重置，可以增加状态特征信息的来源准确性，再将重置后的状态特征信息通过循环神经网络进行特征提取，最后用全连接层进行意图识别，降低了异常值对后续意图识别任务的影响。解决了目前现有方法的局限和存在的问题，有应用在真实战场环境下的潜力。
本发明通过意图识别网络对采集到的周期内的状态特征信息进行意图识别，该意图识别网络由依次连接的注意力机制层、循环神经网络层和全连接层所构成。
本发明基于注意力机制，并结合循环神经网络，设计了鲁棒意图识别方法。在循环神经网络中引入状态变量来存储过去的信息，这样在对任意时刻进行意图识别时都可以充分利用到目标的历史数据，在正常数据下可以实现更为准确的识别结果。此外，本发明提出了注意力机制来改善模型面对含噪、错误数据情况下的鲁棒性。正如注意力机制的命名方式，其原理借鉴了人类的视觉注意力机制。人类可以用有限的注意力资源从海量的数据中快速筛选出有价值的信息，靠的是快速扫描全局信息，然后聚焦于自己关注的区域。朴素的讲，注意力机制就是对于自己关注的内容分配较多的权重、不关心的内容则分配较少的权重。因此，可以利用注意力机制的显示权重分配性质，给潜在的错误数据分配更低的权重，以降低其对后续意图识别的影响。
具体的，首先准备输入数据，输入数据的数学表示形式为二维向量，第一个维度代表同一空中目标的不同时刻，索引按照时间先后顺序依次排列。第二个维度代表同一时刻空中目标的不同属性，分别是{经度、纬度、高度、速度、航向、距离、方位、俯仰角、x、y、z}，其中，x、y、z均为空中目标在东北天坐标系下不同坐标轴的坐标值，如果可以获得更加详细的数据，比如目标雷达的开关机情况，目标雷达反射截面等，也可以将属性添加到特征向量中，更全面的信息必将得到更好的意图识别准确率，但是添加新的属性后需要重新训练模型。
将准备好的特征向量送入加有特征缩放的注意力机制层。基于组成整体的各个元素在整体中发挥的作用不相同这样一个事实，注意力机制的基本思想是根据任务的目标不同，对序列中每个元素赋予不同的权重，并根据权重重新组合原始序列，使之转换为符合任务目标的新序列。
在意图识别中，需要关注的对象就是各个时刻收集到的空中目标的状态特征信息，通过注意力机制，给不同时刻的状态特征信息赋予不同的权重。对于正常的数据，其数据变化趋势往往是平滑的，而错误、虚假的数据，常常表现出离群的特点。针对含错误数据信息的这一特点，可以给离群数据分配一个更低的权重。通过这样的方法，可以将更多的精力集中在挖掘正常数据上，而避免对无用、错误的信息进行挖掘。
在本发明实施例中，通过意图识别网络的注意力机制层为每个时刻的第一状态特征信息增加权重并重置包括：
基于键向量生成矩阵、查询向量生成矩阵和值向量生成矩阵分别为第一状态特征信息生成对应的键向量、查询向量和值向量；根据当前时刻的查询向量和意图识别周期内每一时刻的键向量，计算当前时刻的第一状态特征信息和意图识别周期内每一时刻的第一状态特征信息之间权重；将权重与意图识别周期内每一时刻的第一状态向量的值向量进行点积运算，得到当前时刻的第一状态特征信息相对于意图识别周期内每一时刻的第一状态特征信息的预估值；累加预估值，得到第二状态特征信息。
在一个实施例中权重通过以下公式计算：
wji＝Softmax(Score(qj,ki))，
其中，wji为当前第j时刻的第一状态特征信息和意图识别周期内第i时刻的第一状态特征信息之间的权重，Softmax(·)表示归一化指数函数，Score(qj,ki)为当前第j时刻的第一状态特征信息和意图识别周期内第i时刻的第一状态特征信息之间的相关性值，qj为根据第j时刻的第一状态特征信息生成的查询向量，ki为根据第i时刻的第一状态特征信息生成的键向量。
在另一个实施例中，权重通过以下公式计算：
其中，wji为当前第j时刻的第一状态特征信息和意图识别周期内第i时刻的第一状态特征信息之间的权重，Softmax(·)表示归一化指数函数，Score(qj,ki)为当前第j时刻的第一状态特征信息和意图识别周期内第i时刻的第一状态特征信息之间的相关性值，qj为根据第j时刻的第一状态特征信息生成的查询向量，ki为根据第i时刻的第一状态特征信息生成的键向量，dk为ki的维度。
在本发明中，Score(qj,ki)通过
计算得出。
具体来讲，在进行注意力机制的计算之前，首先要为输入的每一条数据(即第一状态特征信息)生成三种新的向量，分别是键向量Key，查询向量Query，值向量Value。这三种向量都是通过每一条数据与每种向量对应的生成矩阵相乘得到的。而确定这三种生成矩阵，就是训练注意力机制层的目的。如图2所示，展示了注意力机制各个部分(即键向量Key、查询向量Query和值向量Value)之间的关系。
从实现上来讲，注意力机制层的运算规则表现为加权求和运算。用数学公式表示如下：
其中，一个时刻的第一状态特征信息作为一个属性组，一个意图识别周期内的多个时刻的第一状态特征信息作为一个属性组集合，Attention(X,xj)即为属性组集合X中第j个属性组经过运算后的结果，xj第j时刻的属性组，wji为第j时刻的属性组和第i时刻的属性组之间的权重，在该公式里的xi表示的是第i个属性组的值向量，n为属性组X中属性组的数量，即意图识别周期内的时刻数量。
在上一步生成了键向量Key，查询向量Query，值向量Value后，就可以为每个第一状态特征信息生成对应的权重了。这个权重刻画了原始数据中各部分数据的重要性。下式给出了注意力机制中权重的计算公式：
其中，Score(xi,xj)为xi和xj之间的相关性得分值。
根据上式可以得知，注意力机制权重的大小取决于数据之间的相关性得分Score(xi,xj)，并且相关性得分要通过一个Softmax函数，以保证注意力机制权重之和等于1。其中，Score(xi,xj)是根据数据格式以及任务的不同而单独设计的。在本发明实施例的意图识别任务中，使用数据矢量间的点积运算来衡量不同时刻数据的相关性，对应的Score(xi,xj)计算公式如下：
其中，xi·xj表示二者做点积运算。
如图3所示，展示了向量不同夹角下的相似度的示意图。对于越相似的第一状态特征信息，其向量夹角θ应该越小，cosθ也越接近于1，此时的相关性得分Score(xi,xj)也就越大，这与直观认识是相符合的。
这时，可以把之前生成的键向量Key，查询向量Query，值向量Value代入到公式中，就得到：
Attention(qj,kj,vj)＝Softmax(Score(qj,ki))vi (4)
对于相关性得分Score，向量点积对应于矩阵直接相乘，所以相关性得分计算公式为：
公式中的Qj代表第j时刻的第一状态特征信息对应的查询向量Query，ki代第i时刻的第一状态特征信息对应的表键向量Key，vi代表第i时刻的第一状态特征信息对应的值向量Value。
那么，当q＝k＝v时，注意力机制演变为自注意力机制，相应的计算公式变为：
Attention(k)＝Softmax(Score(k))k (6)
对应的所以相关性得分计算公式为：
Scorek＝kkT (7)
如图4所示，给出了一个完整的自注意力机制计算流程。在该实施例中，输入向量为x1、x2、x3、x4，每个向量有三个特征值，用不同深浅的颜色代表特征值数值的大小，而且满足查询向量Query＝键向量Key＝值向量Value，因此这里的注意力机制是一种自注意力机制。
可以看到输入向量x2首先与所有向量进行比较，并根据与每个向量的相似度，求出相应的权重w2i，i＝1,2,3,4。权重w2i的颜色深浅代表了相似度值的大小，键向量Key与Query查询向量的相似程度越高，w2i的颜色越深。任何一个向量肯定与自身是最像的，所以可以看到w22对应的颜色是最深的，而x3向量相比于其他向量，是最不接近x2向量的，因此w23对应的颜色是最浅的。得到权重向量w2i后，将每个权重向量与对应的值向量Value相乘后相加，计算出重新组合后的向量y2。其他每个输入向量的自注意力机制计算方法与x2相同，这样就得到了一组新的向量y1、y2、y3、y4。这样的一组新的向量在保留了大部分原有信息的同时考虑了上下文关系，很好的体现了通过全局确定局部的思想。
另外，在本发明另一个实施例中提出的注意力机制中，还设计了特征缩放模块，在注意力机制中加入特征缩放是为了防止某对键向量Key和查询向量Query的相关性得分过大而导致重新组合后的向量几乎没有考虑到其他信息。因此在计算注意力权重时，对查询向量Query和键向量Key的点积结果要除以一个常数
对应的计算公式如下：
其中，dk表示键向量Key的维度，因为随着向量维度的增加，
的方差会变大，所以dk越大，就越需要对特征进行缩放。
由于注意力机制本质上只是对输入进行加权平均运算，没有引入新参数也没有使用非线性运算，这导致复杂特征提取能力不足，为了解决这个问题本发明使用了多头注意力的方法。和卷积神经网络通过使用多个卷积核来发掘不同特征的思路类似，多头注意力也是通过多次随机初始化过程来提取不同特征。理论上随机初始化次数越多，就越有可能发现有效的特征，不过随之增长的是训练参数的增加，这意味着训练难度的提高，因此需要平衡，在注意力机制意图识别模型中这个值是3，也就是说，注意力机制层为并列设置的至少三层，其对应的公式如下：
其中，headi为第i个注意力机制层对属性组集合X输出的结果，最后将三个注意力机制层输出的结果进行拼接操作(Concat)，再作为循环神经网络的输入信息，即第二状态特征信息。
使用前馈神经网络的目的与多头注意力机制相同，都是为了缓解注意力机制特征拟合能力的不足。
关于循环神经网络，可以采用已有的一些神经网络进行适应性设计和训练即可。经过注意力机制模块后，特征向量中的错误数据已经被修正，这样的数据就可以直接输入到循环神经网络中。常见的循环神经网络一共有三种，分别是普通循环神经网络(Recurrent Neural Network，RNN)，长短时记忆网络(LSTM)，门控循环单元(GRU)。
RNN的计算公式：
其中，
代表时间步t的小批量输入，也就是说，对于n个序列样本的小批量输入，Xt的每行对应于来自该序列的时间步t处的一个样本，每个样本有d维属性。
是隐藏层的权重。
表示时间步t的隐藏变量，同时这里保存了前一个时间步的隐藏变量Ht-1，并引入了一个新的权重参数
来描述如何在当前时间步中使用前一个时间步的隐藏变量。
分别是隐藏层和输出层的偏置。Ot代表时间步t的输出。φ是循环神经网络的激活函数，本发明实施例中选择的是Sigmoid激活函数。
LSTM的计算公式：
其中，Xt是输入，Ht-1是上一时刻的隐藏状态，It、Ft、Ot分别是输入门、遗忘门、输出门，σ是sigmoid激活函数。
用Ct表示记忆单元，用
表示当前时刻计算出的要往记忆单元中添加的信息，计算公式如下所示：
由公式可以得知t时刻的记忆单元状态是由两部分构成的，一部分来自于上一时刻的记忆单元，并通过遗忘门，决定要保留多少记忆单元的历史信息。另一部分来自于计算出的当前状态，并通过输入门，决定要把多少当前信息加入到记忆单元中。通过相加运算而不是直接的替换运算，使得长短时记忆网络可以更好的捕捉序列中的长距离依赖关系。
Ht＝Ot⊙tanh(Ct) (14)
上式是隐藏状态的计算公式，如果输出门为1，则记忆单元的所有信息都可以传递给隐藏状态。相反的，如果输出门为0，意味着隐藏状态将获取不到记忆单元的任何信息，但当前时刻的记忆单元状态还是保留了下来。
GRU的计算公式：
其中，Rt表示重置门，Zt表示更新门。这两个门控单元在实现形式上与LSTM的三个门控单元是一致的，都是以sigmoid为激活函数的全连接层，将输入和隐藏层状态经过运算转换到区间(0，1)。正如之前所分析的，LSTM的门控单元输出结果是作用到记忆单元的，而GRU舍弃了记忆单元这一结构，将更新门和重置门的输出结果直接作用到隐藏状态上，具体计算过程如下所示：
在本发明设计的循环神经网络模型中，循环神经网络层为依次设置的两层，每一层循环神经网络使用了36个隐藏状态来表征和存储不同时刻的信息。在本发明实验结果使用的数据集中，每条数据只有12个维度的属性信息，这样设计的原因是，更多的隐藏状态可以扩大特征空间，能够学习到更加复杂的属***互关系，从而增强数据的冗余度，一定程度上增强意图识别模型的准确度和鲁棒性。
数据经过循环神经网络后，在时间维度上对循环神经网络的输出进行自适应平均池化，将时间维度压缩到1，即对第三状态特征信息进行池化操作；其中，池化后的第三状态信息的维度与全连接层的输入维度相等。
这样做的目的出于两个考量，一方面，循环神经网络的输出已经充分对输入数据的上下文进行了挖掘，后续时刻的输出结果考虑了之前所有时刻的信息，这意味着循环神经网络的输出有很大的冗余度。特别是对于本发明所设计的意图识别方法，因为要考虑到识别敌方目标战术意图的时效性，输入的数据一般都是小批量的时序数据，在较小的时间步上，数据的变化趋势本来也不大。因此需要对循环神经网络的输出进行压缩，而且这种压缩基本不会导致信息的丢失。另一方面，对数据进行压缩有利于后续的分类，压缩后的数据时间维度为1，这样每个批次的数据维度就变为了(批大小,隐藏层数量)，这样的二维向量可以不经处理直接送入全连接层进行分类，而且池化后的数据维度降低，可以减少全连接层的神经元参数，一定程度上降低模型的复杂度。
本发明使用了两层的全连接层来对意图进行分类，其隐藏层层数为2，输入维度为128，且第一个全连接层的神经元个数为256，第二个全连接层神经元个数为64，输出维度为9，即意图识别的意图类别数为9类。上述的注意力机制层和循环神经网络的输入维度均为12，即第一状态特征信息的维度为12。
全连接层的输出维度为意图类别的数量，在本发明实验阶段使用的数据集中，共有9种不同的战术意图，因此全连接层的输出维度为9。最后还要将全连接层的输出通过一个Softmax函数，将输出转化为类别概率。
本发明使用交叉熵损失函数来刻画网络分类结果与真值的偏离程度。交叉熵损失函数的标准形式如下：
公式中的x表示样本、y表示样本标签、
表示网络的分类结果、n表示样本总数。其中，样本标签应该表示为独热编码的格式，网络的分类结果应该是不同类别的概率分布。
本发明使用Adam算法来训练意图识别模型。Adam算法是一种改进后的梯度下降算法。传统的随机梯度下降法保持单一的学习率更新所有的权重，学习率在训练过程中并不会改变。而Adam通过计算梯度的一阶矩估计和二阶矩估计而为不同的参数设计独立的自适应性学习率。
验证实施例：
实验数据集一共由两部分组成，一部分实验数据来自某空战仿真***；另一部分则是通过仿真程序生成。
通过空战仿真平台***，一共获得了9种战术意图下的敌方战机的时序信息。每种战术意图的样本数量及对应的时序长度如表1所示。
表1空战仿真***数据集维度信息
其中，每条时序信息由15维数据组成，分别是：目标编号、目标类型、意图、经度、纬度、高度、速度、航向、距离、方位、俯仰角、x、y、z以及时间戳，其中x、y、z均为东北天坐标系中各坐标轴对应的坐标值)。由于目标编号这一属性对目标意图识别任务没有意义，所以目标编号这一属性抛弃不用。对于剩下的14维数据，以目标意图为标签，以时间戳为索引，用其余12维度属性模拟敌方的状态信息。
使用阿里云的Data Science Workshop平台训练搭建的模型，在该平台下，使用2vCPU、4GB内存、Tesla P100 GPU，采用Pytorch深度学习框架实现意图识别模型。由于神经网络模型每次训练时都会对参数进行随机初始化，为了保证实验结果可复现，设置了随机数种子，实验中的一些关键超参数如下表2所示。
表2模型超参数设定
关于模型的具体设计方法，上述内容给出了较为详细的介绍，这里对模型的参数设置做一下说明。为了保证比较不同模型性能的合理性，对于经典RNN、GRU、LSTM三种循环神经网络模型，使用相同的隐藏层层数与循环层层数，其余的自适应池化层、全连接层均保持不变，加入注意力机制后的模型同样使用相同的多头自注意力机制。
将训练数据按照7：3的比例划分为训练集与测试集，将每个目标连续的21个时刻作为一个batch输入，经过模型的训练后，得到了如表3所示的训练结果。
表3不同模型准确率比较
其中，表头中的全时段-全属性表示为21个时刻的所有属性添加噪声，7/21-全属性表示为21个时刻中的7个时刻添加噪声，全时段-4/12表示为12个属性中的四个属性添加噪声，噪声符合正态分布，且均值为0，方差为各个属性的方差。
在比较不同模型处理错误数据时性能时，准确率这一指标有些许片面。比如，模型A和模型B在正常数据下的准确率分别是95％和90％，当数据存在噪声时，两者准确率分别下降至90％和89％。如果单纯从准确率的角度来评价模型A和模型B孰优孰劣，毫无疑问是准确率更高的模型A性能更好。但是应该注意到，在处理含噪数据时，模型A准确率下降了5％，模型B只下降了1％，这说明虽然模型A准确率高，但模型B的鲁棒性更好。在准确率接近的时候，应该选择鲁棒性更好的模型B。
基于以上分析，本实施例设计了一种新的评价指标，结合准确率和鲁棒性来衡量模型的性能指标的计算公式如下：
其中，ΔAcc表示数据变化前后模型的准确率变化量，Acc表示变化后模型的准确率。一个好的意图识别模型应该有较低的变化率和较高的准确率，因此指标R的数值越小，说明模型性能越好。根据公式可以推得，相同的准确率，准确率变化量小的对应的R值小，准确率变化量相同的情况下，准确率越高，对应的R值越小。这样就兼顾了模型的准确率和鲁棒性，在这个评价指标下分析实验结果更有说服力。使用新的评测指标后的实验结果如下表4所示。
表4不同模型R值比较
由表3和表4可以得出以下结论：
第一、对于没有任何噪声的原始数据，每种模型准确率都达到了90％以上，说明设计的意图识别模型符合预期，基本可以胜任识别敌方目标的任务。此外，模型的准确率与模型的复杂程度直接相关。LSTM模型的结构最为精巧与复杂，可以从原始数据中挖掘到更好的特征表示，在测试集上的准确率也更高。经典RNN模型结构则相对简单，对应的准确率也较低。
这里需要注意的是，添加注意力机制后，模型的结构变复杂，但并不能保证可以提高模型在原始数据集上的准确率。这是因为如果模型的原始数据都是正确的，经过注意力机制重新组合后，原始数据中正确的语义信息会被打乱，这样的数据送入循环神经网络，无法保证可以提取到合理且有效的特征。不过好在注意力机制的权重矩阵是可学习的，在理想情况下，用正常数据训练的注意力机制模型可以学到一个恒等映射。因此添加注意力机制后的模型即使性能发生下降，也不会下降太多。
第二、当给数据的所有时刻，所有属性添加噪声后，所有模型的准确率均发生下降。其中有两点值得注意，一是带有遗忘功能的模型比没有遗忘功能的模型性能好，二是使用注意力机制的模型比不使用注意力机制的模型性能好。在表3中，可以看到准确率GRU>LSTM>RNN，在表4中可以看到R值同样是GRU>LSTM>RNN。LSTM模型设计的比GRU模型更加复杂，但在数据有严重错误的情况下，效果反而不太好。这是因为LSTM模型的隐藏状态是通过记忆单元与输出门运算得到的，而遗忘门只能选择是否要将当前时刻信息保存到记忆单元，一旦记忆单元中保存了错误的信息，那么错误的信息会一直保存下来。因此，LSTM模型没有办法做到真正意义上的遗忘，其长距离记忆的优势反而影响了处理错误数据时的准确率。
关于注意力机制，可以看到即使是准确率最低的经典RNN模型，在使用了注意力机制后，无论是准确率还是R值，都一举超越了其他任何不使用注意力机制的模型，这证实了本发明实施例提出的通过注意力机制来改善模型鲁棒性的方法是合理且有效的。
第三、通过对比不同加噪程度下的模型性能，可以得到如下两个结论。一是随着加噪程度的降低，各种模型准确率逐步提高，总体规律仍然符合上述的第二条结论；二是注意力机制在处理时刻间的错误数据比处理属性间的错误数据更有优势，对应在表4中，使用注意力机制的模型其R值在部分时刻所有属性错误情况下，要比所有时刻部分属性错误情况下的R值小，这样的结果是由注意力机制的运算规则导致的。注意力机制在运算的时候，比较的是不同时刻数据的相似度，而不是同一时刻不同属性的相似度。这样的计算规则导致注意力机制更擅长捕获不同时间序列之间的相关性。
综上，针对传统意图识别模型只利用单一时刻的状态信息进行推理，没有充分利用前后时刻信息关联性的问题，本发明设计了基于循环神经网络的意图识别型。循环神经网络模型可以利用时序信息，挖掘空中目标强时序性和关联性数据中隐含的深层语义信息，因此可以更好的捕捉空中目标机动类型等属性，提高了意图识别的准确性。此外，不同时刻的数据可以提供冗余信息，使得利用时序信息的意图识别模型有一定的抗干扰能力。
另外，针对战场高复杂、高对抗环境下可能产生错误数据的问题，本发明设计了基于注意力机制的鲁棒意图识别方法，利用注意力机制显式的权重分配性质，自适应的调整特征权重，降低错误数据对意图识别任务的影响；并结合循环神经网络设计了鲁棒意图识别模型，可以更合理的处理含虚假状态的信息，提高了模型的可靠性。
由此可知，本发明基于注意力机制和循环神经网络，设计了一种鲁棒意图识别方法，该方法有很强的可解释性，从原理上增强了意图识别模型的可靠性。该方法可以充分挖掘时序数据背后的深层语义信息，同时由于时序数据可以提供一定程度的冗余信息，使得方法有一定的抗干扰能力。在此基础上，针对战场环境下可能出现的错误数据，通过注意力机制度量不同时刻数据的相似性，对原始数据进行重新组合，降低了异常值对后续意图识别任务的影响。该发明解决了目前现有方法的局限和存在的问题，有应用在真实战场环境下的潜力。
本发明还公开了一种面向数据错误的空中目标意图识别装置，包括：获取模块，用于获取空中目标在意图识别周期内的第一状态特征信息；重置模块，用于通过意图识别网络的注意力机制层为每个时刻的第一状态特征信息增加权重并重置，得到每个时刻的第二状态特征信息；提取模块，用于通过意图识别网络的循环神经网络层从第二状态特征信息中提取用于意图识别的第三状态特征信息；识别模块，用于将第三状态特征输入到意图识别网络的全连接层，全连接层对第三状态特征信息进行意图识别，得到空中目标的意图识别结果。
需要说明的是，上述装置的模块之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将所述装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述***中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本发明还公开了一种面向数据错误的空中目标意图识别装置，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述的一种面向数据错误的空中目标意图识别方法。
所述装置可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。该装置可包括但不仅限于，处理器、存储器。本领域技术人员可以理解，该装置可以包括更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。
所称处理器可以是中央处理单元(Central Processing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器在一些实施例中可以是所述装置的内部存储单元，例如装置的硬盘或内存。所述存储器在另一些实施例中也可以是所述装置的外部存储设备，例如所述装置上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器还可以既包括所述装置的内部存储单元也包括外部存储设备。所述存储器用于存储操作***、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器还可以用于暂时地存储已经输出或者将要输出的数据。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。本领域普通技术人员可以意识到，结合本发明中所公开的实施例描述的各示例的模块及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
Claims (10)
1.一种面向数据错误的空中目标意图识别方法，其特征在于，包括以下步骤：
获取所述空中目标在意图识别周期内的第一状态特征信息；
通过意图识别网络的注意力机制层为每个时刻的所述第一状态特征信息增加权重并重置，得到每个时刻的第二状态特征信息；
通过所述意图识别网络的循环神经网络层从所述第二状态特征信息中提取用于意图识别的第三状态特征信息；
将所述第三状态特征输入到所述意图识别网络的全连接层，所述全连接层对所述第三状态特征信息进行意图识别，得到所述空中目标的意图识别结果。
2.如权利要求1所述的一种面向数据错误的空中目标意图识别方法，其特征在于，将所述第三状态特征输入到所述意图识别网络的全连接层之前还包括：
对所述第三状态特征信息进行池化操作；其中，池化后的所述第三状态信息的维度与所述全连接层的输入维度相等。
3.如权利要求2所述的一种面向数据错误的空中目标意图识别方法，其特征在于，通过意图识别网络的注意力机制层为每个时刻的所述第一状态特征信息增加权重并重置包括：
基于键向量生成矩阵、查询向量生成矩阵和值向量生成矩阵分别为所述第一状态特征信息生成对应的键向量、查询向量和值向量；
根据当前时刻的查询向量和所述意图识别周期内每一时刻的键向量，计算当前时刻的第一状态特征信息和所述意图识别周期内每一时刻的第一状态特征信息之间权重；
将所述权重与所述意图识别周期内每一时刻的第一状态向量的值向量进行点积运算，得到当前时刻的第一状态特征信息相对于所述意图识别周期内每一时刻的第一状态特征信息的预估值；
累加所述预估值，得到所述第二状态特征信息。
4.如权利要求3所述的一种面向数据错误的空中目标意图识别方法，其特征在于，所述权重通过以下公式计算：
wji＝Softmax(Score(qj,ki))，
其中，wji为当前第j时刻的第一状态特征信息和所述意图识别周期内第i时刻的第一状态特征信息之间的权重，Softmax(·)表示归一化指数函数，Score(qj,ki)为当前第j时刻的第一状态特征信息和所述意图识别周期内第i时刻的第一状态特征信息之间的相关性值，qj为根据第j时刻的第一状态特征信息生成的查询向量，ki为根据第i时刻的第一状态特征信息生成的键向量。
5.如权利要求3所述的一种面向数据错误的空中目标意图识别方法，其特征在于，所述权重通过以下公式计算：
其中，wji为当前第j时刻的第一状态特征信息和所述意图识别周期内第i时刻的第一状态特征信息之间的权重，Softmax(·)表示归一化指数函数，Score(qj,ki)为当前第j时刻的第一状态特征信息和所述意图识别周期内第i时刻的第一状态特征信息之间的相关性值，qj为根据第j时刻的第一状态特征信息生成的查询向量，ki为根据第i时刻的第一状态特征信息生成的键向量，dk为ki的维度。
6.如权利要求4或5所述的一种面向数据错误的空中目标意图识别方法，其特征在于，Score(qj,ki)通过
计算得出。
7.如权利要求6所述的一种面向数据错误的空中目标意图识别方法，其特征在于，所述注意力机制层为并列设置的至少三层。
8.如权利要求4或5或7所述的一种面向数据错误的空中目标意图识别方法，其特征在于，所述循环神经网络层为依次设置的至少两层，每个所述循环神经网络层的隐藏层节点数为36；
所述全连接层为依次设置的至少两层，且第一个全连接层的神经元个数为256，第二个全连接层神经元个数为64。
9.一种面向数据错误的空中目标意图识别装置，其特征在于，包括：
获取模块，用于获取所述空中目标在意图识别周期内的第一状态特征信息；
重置模块，用于通过意图识别网络的注意力机制层为每个时刻的所述第一状态特征信息增加权重并重置，得到每个时刻的第二状态特征信息；
提取模块，用于通过所述意图识别网络的循环神经网络层从所述第二状态特征信息中提取用于意图识别的第三状态特征信息；
识别模块，用于将所述第三状态特征输入到所述意图识别网络的全连接层，所述全连接层对所述第三状态特征信息进行意图识别，得到所述空中目标的意图识别结果。
10.一种面向数据错误的空中目标意图识别装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至8任一项所述的一种面向数据错误的空中目标意图识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111604753.XA CN114444572A (zh) | 2021-12-25 | 2021-12-25 | 一种面向数据错误的空中目标意图识别方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111604753.XA CN114444572A (zh) | 2021-12-25 | 2021-12-25 | 一种面向数据错误的空中目标意图识别方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114444572A true CN114444572A (zh) | 2022-05-06 |
Family
ID=81364292
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111604753.XA Pending CN114444572A (zh) | 2021-12-25 | 2021-12-25 | 一种面向数据错误的空中目标意图识别方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114444572A (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109389091A (zh) * | 2018-10-22 | 2019-02-26 | 重庆邮电大学 | 基于神经网络和注意力机制结合的文字识别***及方法 |
| CN111310766A (zh) * | 2020-03-13 | 2020-06-19 | 西北工业大学 | 基于编解码和二维注意力机制的车牌识别方法 |
| CN112163426A (zh) * | 2020-09-30 | 2021-01-01 | 中国矿业大学 | 一种基于注意力机制与图长短时记忆神经网络结合的关系抽取方法 |
| WO2021068528A1 (zh) * | 2019-10-11 | 2021-04-15 | 平安科技（深圳）有限公司 | 基于卷积神经网络的注意力权重计算方法、装置及设备 |
| CN112749761A (zh) * | 2021-01-22 | 2021-05-04 | 上海机电工程研究所 | 基于注意力机制和循环神经网络的敌方作战意图识别方法及*** |
| CN112784798A (zh) * | 2021-02-01 | 2021-05-11 | 东南大学 | 一种基于特征-时间注意力机制的多模态情感识别方法 |
| CN113657124A (zh) * | 2021-07-14 | 2021-11-16 | 内蒙古工业大学 | 基于循环共同注意力Transformer的多模态蒙汉翻译方法 |
| WO2021232589A1 (zh) * | 2020-05-21 | 2021-11-25 | 平安国际智慧城市科技股份有限公司 | 基于注意力机制的意图识别方法、装置、设备及存储介质 |
-
2021
- 2021-12-25 CN CN202111604753.XA patent/CN114444572A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109389091A (zh) * | 2018-10-22 | 2019-02-26 | 重庆邮电大学 | 基于神经网络和注意力机制结合的文字识别***及方法 |
| WO2021068528A1 (zh) * | 2019-10-11 | 2021-04-15 | 平安科技（深圳）有限公司 | 基于卷积神经网络的注意力权重计算方法、装置及设备 |
| CN111310766A (zh) * | 2020-03-13 | 2020-06-19 | 西北工业大学 | 基于编解码和二维注意力机制的车牌识别方法 |
| WO2021232589A1 (zh) * | 2020-05-21 | 2021-11-25 | 平安国际智慧城市科技股份有限公司 | 基于注意力机制的意图识别方法、装置、设备及存储介质 |
| CN112163426A (zh) * | 2020-09-30 | 2021-01-01 | 中国矿业大学 | 一种基于注意力机制与图长短时记忆神经网络结合的关系抽取方法 |
| CN112749761A (zh) * | 2021-01-22 | 2021-05-04 | 上海机电工程研究所 | 基于注意力机制和循环神经网络的敌方作战意图识别方法及*** |
| CN112784798A (zh) * | 2021-02-01 | 2021-05-11 | 东南大学 | 一种基于特征-时间注意力机制的多模态情感识别方法 |
| CN113657124A (zh) * | 2021-07-14 | 2021-11-16 | 内蒙古工业大学 | 基于循环共同注意力Transformer的多模态蒙汉翻译方法 |
Non-Patent Citations (5)
| Title |
|---|
| 双锴: "《自然语言处理》，"信号提取"", pages: 102 - 106 * |
| 蔡 静: ""基于知识图谱的空中目标威胁分析"", 《指挥信息***与技术》, pages 39 - 44 * |
| 蔡 静: "基于知识图谱的空中目标威胁分析", 《指挥信息***与技术》, pages 39 - 44 * |
| 赵佳欢: ""融合注意力机制的战术意图智能识别模型研究"", 《航天控制》, pages 56 - 81 * |
| 赵佳欢: "融合注意力机制的战术意图智能识别模型研究", 《航天控制》, pages 56 - 81 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Vaicenavicius et al. | Evaluating model calibration in classification | |
| Leroux et al. | The cascading neural network: building the internet of smart things | |
| Angelov et al. | Evolving fuzzy-rule-based classifiers from data streams | |
| Jordanov et al. | Classifiers accuracy improvement based on missing data imputation | |
| US20180268285A1 (en) | Neural network cooperation | |
| Li et al. | Dynamic structure embedded online multiple-output regression for streaming data | |
| CN111542841A (zh) | 一种内容识别的***和方法 | |
| CN113297572B (zh) | 基于神经元激活模式的深度学习样本级对抗攻击防御方法及其装置 | |
| Alabadi et al. | Anomaly detection for cyber-security based on convolution neural network: A survey | |
| CN112734000A (zh) | 一种入侵检测方法、***、设备及可读存储介质 | |
| CN110781970A (zh) | 分类器的生成方法、装置、设备及存储介质 | |
| CN110602120A (zh) | 一种面向网络的入侵数据检测方法 | |
| Teng et al. | An air target tactical intention recognition model based on bidirectional GRU with attention mechanism | |
| CN115130357A (zh) | 一种基于gru的空中目标作战意图预测***及方法 | |
| CN112116019A (zh) | 一种多传感器Vine Copula异构信息决策融合方法 | |
| CN110110628B (zh) | 一种频率综合器劣化的检测方法及检测设备 | |
| CN113436125B (zh) | 基于风格迁移的侧扫声呐仿真图像生成方法、装置及设备 | |
| Zhang et al. | Detecting abnormal events via hierarchical Dirichlet processes | |
| CN114254686A (zh) | 对抗样本的识别方法及装置 | |
| CN117423344A (zh) | 一种基于神经网络的声纹识别方法及装置 | |
| CN114444572A (zh) | 一种面向数据错误的空中目标意图识别方法及装置 | |
| CN115661576A (zh) | 一种样本不平衡下的飞机群组意图识别方法 | |
| CN115293639A (zh) | 一种基于隐马尔可夫模型的战场态势研判方法 | |
| Feng et al. | Dme: an adaptive and just-in-time weighted ensemble learning method for classifying block-based concept drift steam | |
| Warkar et al. | A survey on multiclass image classification based on Inception-v3 transfer learning model |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |