CN118015049B - 一种结合yolo和gcn的海上目标追踪方法及其模型 - Google Patents
一种结合yolo和gcn的海上目标追踪方法及其模型 Download PDFInfo
- Publication number
- CN118015049B CN118015049B CN202410422431.0A CN202410422431A CN118015049B CN 118015049 B CN118015049 B CN 118015049B CN 202410422431 A CN202410422431 A CN 202410422431A CN 118015049 B CN118015049 B CN 118015049B
- Authority
- CN
- China
- Prior art keywords
- target
- gcn
- network
- node
- loss
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000001514 detection method Methods 0.000 claims abstract description 91
- 238000012549 training Methods 0.000 claims abstract description 26
- 238000012360 testing method Methods 0.000 claims abstract description 11
- 238000007781 pre-processing Methods 0.000 claims abstract description 3
- 239000011159 matrix material Substances 0.000 claims description 50
- 230000002776 aggregation Effects 0.000 claims description 22
- 238000004220 aggregation Methods 0.000 claims description 22
- 230000006870 function Effects 0.000 claims description 17
- 230000004913 activation Effects 0.000 claims description 11
- 238000010586 diagram Methods 0.000 claims description 8
- 230000004931 aggregating effect Effects 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 5
- 238000011176 pooling Methods 0.000 claims description 5
- 238000005286 illumination Methods 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 239000010410 layer Substances 0.000 description 41
- 230000008569 process Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 239000002356 single layer Substances 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 229910052500 inorganic mineral Inorganic materials 0.000 description 1
- 239000011707 mineral Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Image Analysis (AREA)
Abstract
一种结合YOLO和GCN的海上目标追踪方法及其模型，该方法包括：对海上船只数据进行实地采集；实验数据预处理，将训练集输入到检测模块，对图像目标进行特征提取，得到多帧目标识别数据，并计算检测模块的损失；反向传播进行检测模块的YOLO参数更新；将检测模块得到的多帧目标识别数据输入到关联模块，以检测目标为节点构建图结构，提取高级目标特征，进行下一时刻目标位置的预测，结果计算总的损失；通过梯度反向传播进行关联模块参数的更新，得到训练好的海上目标追踪模型；将测试集输入训练好的海上目标追踪模型，输出检测追踪结果和概率。本发明考虑到不同目标之间的空间关系，目标追踪性能好。
Description
技术领域
本发明涉及海上目标追踪，具体是涉及一种结合YOLO和GCN的海上目标追踪方法及其模型。
背景技术
水运是我国一种重要的交通运输方式，随着海上运输、海洋矿产、海洋渔业、海上旅游、航海体育等多个行业领域的发展，海上交通管理需要加强，海上目标追踪是其中重要的一环。我国虽然制定了相对完善的海上交通安全法，但在目前的海上交通管理过程中仍然具有一定的困难性，人工监管不仅存在劳动强度大、工作效率低、人工成本高等缺陷，还会受不同人员经验、感官、主观评价等因素的影响，无法保证海上交通管理的客观性。并且，在无人船的研制中，目标检测和追踪也是智能化的重要一步。故海上目标追踪方法的研究具有重要的科研意义和实际应用价值。
随着图像类科学技术的发展逐步成熟，数字图像处理技术越来越多的应用到目标追踪中。传统的目标追踪方法是先通过提取图像的多种特征进行检测分类，而后还需要进行帧与帧之间的同目标关联，从而形成时空维度上的目标轨迹。一些传统方法对帧与帧之间的目标匹配，只考虑到了该目标的位置信息，比如简单设定成在一定范围的距离内视作为可能的匹配目标，即用当前帧的目标与下一帧的目标直接通过匈牙利算法进行匹配关联。后来出现一种方法是在此基础上加入卡尔曼滤波，先对目标进行状态估计，从而预测出目标在下一时刻会到达的位置，再用预测结果与下一帧检测出的真实目标进行小距离内匹配关联，但卡尔曼滤波在状态预测上也具有局限性，没有考虑到不同目标之间的空间关系，而且仅能对线性模型进行精确估计。
发明内容
本发明所要解决的技术问题是，克服上述背景技术的不足，提供一种结合YOLO和GCN的海上目标追踪方法及其模型，考虑到不同目标之间的空间关系，目标追踪性能好。
本发明解决其技术问题采用的技术方案是，一种结合YOLO和GCN的海上目标追踪方法，包括以下步骤：
步骤1：对海上船只数据进行实地采集，将采集的数据分为训练集和测试集；
步骤2：实验数据预处理，将训练集进行目标位置、类别标注，
步骤3：将训练集输入到检测模块，对图像目标进行特征提取，得到多帧目标识别数据，并计算检测模块的损失；
步骤4：根据计算的检测模块的损失，反向传播进行检测模块的YOLO参数更新；
步骤5：将检测模块得到的多帧目标识别数据输入到关联模块，以检测目标为节点构建图结构，用GCN网络提取高级目标特征，再用GRU网络进行下一时刻目标位置的预测，并根据预测结果和实际检测结果计算总的损失；
步骤6：根据计算的总的损失，通过梯度反向传播进行关联模块参数的更新，得到训练好的海上目标追踪模型；
步骤7：将待追踪的海上船只测试集输入训练好的海上目标追踪模型，输出检测追踪结果和概率。
进一步，步骤1中，对海上船只数据进行实地采集，将采集的数据分为训练集和测试集的具体方法为：在自然光照情况下对各类船舶进行录像采集，建立海上船只数据集boat，并将采集到的录像数据逐帧分解为图集；将图集分为训练集和测试集。
进一步，步骤3中，对图像目标进行特征提取，得到多帧目标识别数据，并计算检测模块的损失的具体方法为：对图像进行切片处理，通过卷积、池化和全连接层后得到实际目标位置、置信度和类别信息，输出多帧目标识别数据；根据实际目标位置、置信度、类别信息计算检测模块的损失，检测模块的损失由分类损失、定位损失和置信度损失共同构成。
进一步，步骤5中，以检测目标为节点构建图结构，用GCN网络提取高级目标特征，再用GRU网络进行下一时刻目标位置的预测的具体方法为：首先以检测目标为节点构建图结构，其中从连续帧图像中检测到的同一个目标被视为一个节点，两个节点之间的连接被视为一个边缘；将多帧目标识别数据及所构图结构的邻接矩阵输入到GCN网络，通过聚合邻接节点信息，得到聚合特征，然后将聚合特征的属性值与当前节点属性值融合更新节点的状态，
GCN网络包括两层GCN层，每层GCN层包括节点聚合层和ReLU层，
GCN层定义如下：
，
其中，表示经过GCN层聚合邻接节点信息后的聚合特征，/>，表示邻接矩阵/>与单位矩阵/>的和；/>表示/>的度矩阵；/>表示第一层GCN层的输入特征，/>表示GCN网络的权重向量；
GCN网络的前向传播公式为：
，
其中，表示提取的高级目标特征，/>表示GCN网络的前向传播函数，表示对/>归一化处理，/>表示/>时刻图的空间特征；/>表示第一层GCN层的权重向量；/>表示第二层GCN层的权重矩阵；
经过两层GCN层后获得最终提取的高级目标特征，将高级目标特征输/>入GRU网络，用/>表示上一个节点传递下来的隐藏状态，则GRU网络用/>和/>来获取两个门控信号，得到/>复位门和更新门/>的公式如下：
，
，
其中，表示复位门训练时的权重矩阵，/>表示更新门训练时的权重矩阵，/>表示激活函数；
得到门控信号之后，首先使用复位门来得到复位之后的数据：
，
其中表示经复位门/>复位后的上一个节点传递下来的隐藏状态，/>表示矩阵元素相乘；
再将与/>进行拼接，然后通过一个tanh激活函数来将数据放缩到(-1,1)的范围内，即得到/>：
，
其中，表示矩阵元素相乘，/>表示GRU网络在/>时刻的输出，/>表示/>与/>拼接时的权重矩阵；
使用更新门更新记忆，得到目标在下一时刻的位置预测：
之后根据预测结果和实际检测结果，对预测结果和实际检测结果进行关联匹配，匹配算法使用基于欧氏距离的匈牙利算法。
进一步，步骤5中，根据预测结果和实际检测结果计算总的损失，方法如下：
关联模块损失定义为：
，
其中，表示关联模块损失，/>表示实际值，/>表示预测值，/>表示L2正则化项，/>表示超参数；
总的损失由检测模块的损失/>、关联模块的损失/>构成：
，
其中，是损失/>的权重系数，/>是损失/>的权重系数。
一种结合YOLO和GCN的海上目标追踪模型，包括检测模块和关联模块，检测模块与关联模块相连，检测模块用于对图像目标进行特征提取，得到多帧目标识别数据；关联模块用于对海上目标进行位置预测并关联。
进一步，所述检测模块使用YOLO算法，采用一个单独的CNN模型实现end-to-end的目标检测，具体为对图像进行切片处理，通过卷积、池化和全连接层后得到实际目标位置、置信度和类别信息，输出多帧目标识别数据。
进一步，所述关联模块由GCN网络与GRU网络组成，关联模块以检测目标为节点构建图结构，用GCN网络提取高级目标特征，再用GRU网络进行下一时刻目标位置的预测，并根据预测结果和实际检测结果计算总的损失。
进一步，所述关联模块首先以检测目标为节点构建图结构，其中从连续帧图像中检测到的同一个目标被视为一个节点，两个节点之间的连接被视为一个边缘；将多帧目标识别数据及所构图结构的邻接矩阵输入到GCN网络，通过聚合邻接节点信息，得到聚合特征，然后将聚合特征的属性值与当前节点属性值融合更新节点的状态，
GCN网络包括两层GCN层，每层GCN层包括节点聚合层和ReLU层，GCN层定义如下：
，
其中，表示经过GCN层聚合邻接节点信息后的聚合特征，/>，表示邻接矩阵/>与单位矩阵/>的和；/>表示/>的度矩阵；/>表示第一层GCN层的输入特征，/>表示GCN网络的权重向量；
GCN网络的前向传播公式为： ，
其中，表示提取的高级目标特征，/>表示GCN网络的前向传播函数，表示对/>归一化处理，/>表示/>时刻图的空间特征；/>表示第一层GCN层的权重向量；/>表示第二层GCN层的权重矩阵；
经过两层GCN层后获得最终提取的高级目标特征，将高级目标特征输/>入GRU网络，用/>表示上一个节点传递下来的隐藏状态，则GRU网络用/>和/>来获取两个门控信号，得到/>复位门和更新门/>的公式如下：
，
，
其中，表示复位门训练时的权重矩阵，/>表示更新门训练时的权重矩阵，/>表示激活函数；
得到门控信号之后，首先使用复位门来得到复位之后的数据：
,
其中，表示经复位门/>复位后的上一个节点传递下来的隐藏状态，/>表示矩阵元素相乘；
再将与/>进行拼接，然后通过一个tanh激活函数来将数据放缩到(-1,1)的范围内，即得到/>：
，
其中，表示矩阵元素相乘，/>表示GRU网络在/>时刻的输出，/>表示/>与/>拼接时的权重矩阵；
使用更新门更新记忆，得到目标在下一时刻的位置预测：
之后根据预测结果和实际检测结果，对预测结果和实际检测结果进行关联匹配，匹配算法使用基于欧氏距离的匈牙利算法。
与现有技术相比，本发明的优点如下：
本发明模型分为检测模块和关联模块两个部分，检测模块由一个YOLO算法完成，提取目标特征，用来检测每帧各目标信息。后面的关联模块使用检测模块得到的目标信息，建立时空无向图，考虑到不同目标之间的空间关系，利用前几帧的目标位置以及同时刻不同目标间关联，对目标特征进一步聚合，充分利用到图像数据的局部信息和全局信息，再通过GRU网络预测下一时刻各目标位置，与实际检测结果作目标匹配，从而完成目标追踪，能对非线性模型进行精确估计。
附图说明
图1是本发明实施例之YOLO和GCN的海上目标追踪方法的流程图。
图2是本发明实施例之YOLO和GCN的海上目标追踪模型的框图。
图3是本发明以检测目标为节点构建图结构的示意图。
图4是本发明关联模块的架构图。
具体实施方式
下面结合附图及具体实施例对本发明作进一步详细描述。
本发明结合YOLO和GCN的海上目标追踪方法的流程图如图1所示。主要包含两个阶段：模型训练阶段和检测追踪阶段。
模型训练阶段：
步骤1：对海上船只数据进行实地采集，在自然光照情况下对各类船舶进行录像采集，建立海上船只数据集boat，并将采集到的录像数据逐帧分解为图集，将图集分为训练集和测试集。
步骤2：实验数据预处理。将训练集进行目标位置、类别标注。
步骤3：将训练集输入到检测模块，对图像目标进行特征提取，得到多帧目标识别数据，并计算检测模块的损失；
步骤4：根据计算的检测模块的损失，反向传播进行检测模块的YOLO参数更新。
步骤5：将检测模块得到的多帧目标识别数据输入到关联模块，以检测目标为节点构建图结构，用GCN网络提取高级目标特征，再用GRU网络进行下一时刻目标位置的预测，并根据预测结果和实际检测结果计算总的损失。
步骤6：根据步骤5计算的总的损失，通过梯度反向传播进行关联模块参数的更新，得到训练好的海上目标追踪模型。
模型预测阶段：将待追踪的海上船只测试集输入训练好的海上目标追踪模型，输出检测追踪结果和概率。
本发明结合YOLO和GCN的海上目标追踪模型的基本架构如图2所示，主要包含两个模块：检测模块和关联模块，检测模块与关联模块相连。检测模块用于对图像目标进行特征提取，得到多帧目标识别数据；关联模块用于对海上目标进行位置预测并关联。
本发明的检测模块使用YOLO算法，YOLO算法采用一个单独的CNN模型实现end-to-end的目标检测，对图像进行切片处理，通过卷积、池化和全连接层后得到实际目标位置、置信度和类别信息，输出多帧目标识别数据。
根据实际目标位置、置信度、类别信息计算检测模块的损失，检测模块的损失由分类损失、定位损失和置信度损失共同构成。
本发明的关联模块基本结构如图4所示，是一个GCN网络与GRU网络组成的结构。参照图3，首先以检测目标为节点构建图结构，其中从连续帧图像中检测到的同一个目标被视为一个节点，两个节点之间的连接被视为一个边缘。横向连接线上的圆圈表示在同一时刻下的不同目标，纵向的圆圈表示不同时刻下的同一目标，这里的节点特征包括前面YOLO算法得到的实际目标位置信息，节点之间的边缘表示了不同目标的空间关系，如位置关系、方向关系等，在本方法中可以设定在某个距离范围内的不同节点具有拓扑空间关联。将YOLO算法输出的多帧目标识别数据及所构图结构的邻接矩阵输入到GCN网络，通过聚合邻接节点信息，得到聚合特征，然后将聚合特征的属性值与当前节点属性值融合更新节点的状态。
GCN网络包括两层GCN层，每层GCN层包括节点聚合层和ReLU层，
GCN层定义如下：
，
其中，表示经过GCN层聚合邻接节点信息后的聚合特征，/>，表示邻接矩阵/>与单位矩阵/>的和；/>表示/>的度矩阵；/>表示第一层GCN层的输入特征，/>表示GCN网络的权重向量。这一步使得节点特征不仅包含自己的关键信息如位置信息，还包含了与邻接节点的空间关系。然后将聚合特征的属性值与当前节点属性值融合更新节点的状态。
GCN网络的前向传播公式为：
，
其中，表示提取的高级目标特征，/>表示GCN网络的前向传播函数，表示对/>归一化处理，/>表示/>时刻图的空间特征；/>表示第一层GCN层的权重向量；/>表示第二层GCN层的权重矩阵。
每经过一个GCN层，节点和邻接节点的特征就有了一定程度的融合和向上提取，不同的GCN层数会影响到最终提取的高级特征。每层GCN后用ReLU函数作为激活函数。单层GCN只能在直接连接的节点之间交换信息，两层GCN可以在间接连接的节点之间交换信息，因为在经过单层GCN后，每个节点都包含了邻接节点的信息，再次聚合特征时节点特征就能包含邻接节点的邻接节点的信息。这里设定模型中使用两个GCN层，不仅是考虑到特征的聚合程度，还考虑到模型的收敛效果和收敛时间。
经过两层GCN层后获得最终提取的高级目标特征，将高级目标特征输/>入GRU网络，用/>表示上一个节点传递下来的隐藏状态，则GRU网络用/>和/>来获取两个门控信号，得到/>复位门和更新门/>的公式如下：
，
，
其中，表示复位门训练时的权重矩阵，/>表示更新门训练时的权重矩阵，/>表示激活函数。
得到门控信号之后，首先使用复位门来得到复位之后的数据：
，
其中，表示经复位门/>复位后的上一个节点传递下来的隐藏状态，/>表示矩阵元素相乘；
再将与/>进行拼接，然后通过一个tanh激活函数来将数据放缩到(-1,1)的范围内，即得到/>：
，
其中，表示矩阵元素相乘，/>表示GRU网络在/>时刻的输出，/>表示/>与/>拼接时的权重矩阵。/>主要包含了当前输入的/>数据，有针对性的对/>添加到当前的隐藏状态，相当于“记忆了当前时刻的状态”。
使用更新门更新记忆，得到目标在下一时刻的位置预测：
更新记忆阶段同时使用遗忘和记忆两个步骤，/>越接近1，表示记忆的数据越多，越接近0表示遗忘的越多，+号左右两边的项/>、占比会随着/>的值变化而不同。
这一步完成了通过GRU网络进行下一时刻目标位置的预测。之后根据预测结果和实际检测结果，加入基于欧氏距离的匈牙利算法对预测结果和实际检测结果进行关联匹配。关联模块损失定义为：
，
其中，表示关联模块损失，/>表示实际值，/>表示预测值，/>表示L2正则化项，采用L2正则化项，有助于避免过拟合，/>表示超参数。
总的损失由检测模块的损失/>、关联模块的损失/>构成：
，
其中，是损失/>的权重系数，/>是损失/>的权重系数。
它们一起工作，通过梯度反向传播进行关联模块参数的更新，优化关联模块的性能。
本发明利用一种新颖的YOLO和GCN相结合的混合模型来对海上目标进行检测跟踪，整体模型分为检测模块和关联模块两个部分，检测模块由一个YOLO算法完成，提取目标特征，用来检测每帧各目标信息。后面的关联模块使用检测模块得到的目标信息，建立时空无向图，考虑到不同目标之间的空间关系，利用前几帧的目标位置以及同时刻不同目标间关联，对目标特征进一步聚合，充分利用到图像数据的局部信息和全局信息，再通过GRU网络预测下一时刻各目标位置，与实际检测结果作目标匹配，从而完成目标追踪，能对非线性模型进行精确估计。
本发明的主要特点之一在于引入图神经网络的设计：海上检测的范围取决于摄像范围，船只往来容易出现检测目标数量删减。图神经网络的优点之一就是不以节点的顺序影响目标特征的学习。并且从图3可见，节点之间依赖关系紧密，用GCN网络提取高级目标特征，使目标特征中含有相邻节点信息，可以提高预测节点信息的精确度，给目标匹配提供更充分的理由，进一步提升模型效果。
本发明的主要特点之二在于关联模块中采用GCN网络结合GRU网络预测的方式作为匹配先验：海上目标追踪容易有id跳变的问题，其根本原因是前后帧的同一目标没有匹配成功，被判别为不同目标，从而产生不同id。GRU网络在传统的预测任务中表现出了较强的性能，模型简单，速度更快。若将在误差内的预测结果与实际检测结果进行匹配，可在一定程度上避免短距离范围内id的多次发放。故结合GCN网络和GRU网络，同时利用GCN网络的空间结构性和GRU网络的时间结构性来对海上目标进行预测，增强模型的目标追踪性能。
本领域的技术人员可以对本发明进行各种修改和变型，倘若这些修改和变型在本发明权利要求及其等同技术的范围之内，则这些修改和变型也在本发明的保护范围之内。
说明书中未详细描述的内容为本领域技术人员公知的现有技术。
Claims (8)
1.一种结合YOLO和GCN的海上目标追踪方法，其特征在于：包括以下步骤：
步骤1：对海上船只数据进行实地采集，将采集的数据分为训练集和测试集；
步骤2：实验数据预处理，将训练集进行目标位置、类别标注，
步骤3：将训练集输入到检测模块，对图像目标进行特征提取，得到多帧目标识别数据，并计算检测模块的损失；
步骤4：根据计算的检测模块的损失，反向传播进行检测模块的YOLO参数更新；
步骤5：将检测模块得到的多帧目标识别数据输入到关联模块，以检测目标为节点构建图结构，用GCN网络提取高级目标特征，再用GRU网络进行下一时刻目标位置的预测，并根据预测结果和实际检测结果计算总的损失；
步骤5中，以检测目标为节点构建图结构，用GCN网络提取高级目标特征，再用GRU网络进行下一时刻目标位置的预测的具体方法为：首先以检测目标为节点构建图结构，其中从连续帧图像中检测到的同一个目标被视为一个节点，两个节点之间的连接被视为一个边缘；将多帧目标识别数据及所构图结构的邻接矩阵输入到GCN网络，通过聚合邻接节点信息，得到聚合特征，然后将聚合特征的属性值与当前节点属性值融合更新节点的状态，
GCN网络包括两层GCN层，每层GCN层包括节点聚合层和ReLU层，
GCN层定义如下：
其中，h表示经过GCN层聚合邻接节点信息后的聚合特征，表示邻接矩阵A与单位矩阵IN的和；/>表示/>的度矩阵；x表示第一层GCN层的输入特征，wT表示GCN网络的权重向量；
GCN网络的前向传播公式为：
其中，St表示提取的高级目标特征，fGCN表示GCN网络的前向传播函数，表示对/>归一化处理，xt表示t时刻图的空间特征；/>表示第一层GCN层的权重向量；W1表示第二层GCN层的权重矩阵；
经过两层GCN层后获得最终提取的高级目标特征St，将高级目标特征输St入GRU网络，用ht-1表示上一个节点传递下来的隐藏状态，则GRU网络用St和ht-1来获取两个门控信号，得到r(t)复位门和更新门z(t)的公式如下：
r(t)＝σ(Wr)·[ht-1，St]，
z(t)＝σ(Wz)·[ht-1，St]
其中，Wr表示复位门训练时的权重矩阵，Wz表示更新门训练时的权重矩阵，σ表示激活函数；
得到门控信号之后，首先使用复位门r(t)来得到复位之后的数据：
ht-1′＝r(t)⊙ht-1
其中，ht-1′表示经复位门r(t)复位后的上一个节点传递下来的隐藏状态，⊙表示矩阵元素相乘；
再将ht-1′与St进行拼接，然后通过一个tanh激活函数来将数据放缩到(-1，1)的范围内，即得到h′：
h′＝tanh(Wh′[ht-1⊙r(t)，St])
其中，⊙表示矩阵元素相乘，h′表示GRU网络在t时刻的输出，Wh′表示ht-1′与St拼接时的权重矩阵；
使用更新门z(t)更新记忆，得到目标在下一时刻的位置预测：
ht＝z(t)⊙ht-1+(1-z(t))⊙h′
之后根据预测结果和实际检测结果，对预测结果和实际检测结果进行关联匹配；
步骤6：根据计算的总的损失，通过梯度反向传播进行关联模块参数的更新，得到训练好的海上目标追踪模型；
步骤7：将待追踪的海上船只测试集输入训练好的海上目标追踪模型，输出检测追踪结果和概率。
2.如权利要求1所述的结合YOLO和GCN的海上目标追踪方法，其特征在于：步骤1中，对海上船只数据进行实地采集，将采集的数据分为训练集和测试集的具体方法为：在自然光照情况下对各类船舶进行录像采集，建立海上船只数据集boat，并将采集到的录像数据逐帧分解为图集；将图集分为训练集和测试集。
3.如权利要求1所述的结合YOLO和GCN的海上目标追踪方法，其特征在于：步骤3中，对图像目标进行特征提取，得到多帧目标识别数据，并计算检测模块的损失的具体方法为：对图像进行切片处理，通过卷积、池化和全连接层后得到实际目标位置、置信度和类别信息，输出多帧目标识别数据；根据实际目标位置、置信度、类别信息计算检测模块的损失，检测模块的损失Ldet由分类损失、定位损失和置信度损失共同构成。
4.如权利要求1所述的结合YOLO和GCN的海上目标追踪方法，其特征在于：步骤5中，根据预测结果和实际检测结果计算总的损失，方法如下：
关联模块损失定义为：
其中，Lass表示关联模块损失，表示实际值，Yt表示预测值，Lreg表示L2正则化项，λ表示超参数；
总的损失Ltotal由检测模块的损失Ldet、关联模块的损失Lass构成：
Ltotal＝αLdet+βLass
其中，α是损失Ldet的权重系数，β是损失Lass的权重系数。
5.一种应用于权利要求1所述的结合YOLO和GCN的海上目标追踪方法的结合YOLO和GCN的海上目标追踪装置，其特征在于：包括检测模块和关联模块，检测模块与关联模块相连，检测模块用于对图像目标进行特征提取，得到多帧目标识别数据；关联模块用于对海上目标进行位置预测并关联。
6.如权利要求5所述的结合YOLO和GCN的海上目标追踪装置，其特征在于：所述检测模块使用YOLO算法，采用一个单独的CNN模型实现end-to-end的目标检测，具体为对图像进行切片处理，通过卷积、池化和全连接层后得到实际目标位置、置信度和类别信息，输出多帧目标识别数据。
7.如权利要求5所述的结合YOLO和GCN的海上目标追踪装置，其特征在于：所述关联模块由GCN网络与GRU网络组成，关联模块以检测目标为节点构建图结构，用GCN网络提取高级目标特征，再用GRU网络进行下一时刻目标位置的预测，并根据预测结果和实际检测结果计算总的损失。
8.如权利要求7所述的结合YOLO和GCN的海上目标追踪装置，其特征在于：所述关联模块首先以检测目标为节点构建图结构，其中从连续帧图像中检测到的同一个目标被视为一个节点，两个节点之间的连接被视为一个边缘；将多帧目标识别数据及所构图结构的邻接矩阵输入到GCN网络，通过聚合邻接节点信息，得到聚合特征，然后将聚合特征的属性值与当前节点属性值融合更新节点的状态，
GCN网络包括两层GCN层，每层GCN层包括节点聚合层和ReLU层，GCN层定义如下：
其中，h表示经过GCN层聚合邻接节点信息后的聚合特征，表示邻接矩阵A与单位矩阵IN的和；/>表示/>的度矩阵；x表示第一层GCN层的输入特征，wT表示GCN网络的权重向量；
GCN网络的前向传播公式为：
其中，St表示提取的高级目标特征，fGCN表示GCN网络的前向传播函数，表示对/>归一化处理，xt表示t时刻图的空间特征；/>表示第一层GCN层的权重向量；W1表示第二层GCN层的权重矩阵；
经过两层GCN层后获得最终提取的高级目标特征St，将高级目标特征输St入GRU网络，用ht-1表示上一个节点传递下来的隐藏状态，则GRU网络用St和ht-1来获取两个门控信号，得到r(t)复位门和更新门z(t)的公式如下：
r(t)＝σ(Wr)·[ht-1，St]，
z(t)＝σ(Wz)·[ht-1，St]
其中，Wr表示复位门训练时的权重矩阵，Wz表示更新门训练时的权重矩阵，σ表示激活函数；
得到门控信号之后，首先使用复位门r(t)来得到复位之后的数据：
ht-1′＝r(t)⊙ht-1
其中，ht-1′表示经复位门r(t)复位后的上一个节点传递下来的隐藏状态，⊙表示矩阵元素相乘；
再将ht-1′与St进行拼接，然后通过一个tanh激活函数来将数据放缩到(-1，1)的范围内，即得到h′：
h′＝tanh(Wh′[ht-1⊙r(t)，St])
其中，⊙表示矩阵元素相乘，h′表示GRU网络在t时刻的输出，
Wh′表示ht-1′与St拼接时的权重矩阵；
使用更新门z(t)更新记忆，得到目标在下一时刻的位置预测：
ht＝z(t)⊙ht-1+(1-z(t))⊙h′
之后根据预测结果和实际检测结果，对预测结果和实际检测结果进行关联匹配。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410422431.0A CN118015049B (zh) | 2024-04-09 | 2024-04-09 | 一种结合yolo和gcn的海上目标追踪方法及其模型 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410422431.0A CN118015049B (zh) | 2024-04-09 | 2024-04-09 | 一种结合yolo和gcn的海上目标追踪方法及其模型 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN118015049A CN118015049A (zh) | 2024-05-10 |
| CN118015049B true CN118015049B (zh) | 2024-06-21 |
Family
ID=90959767
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410422431.0A Active CN118015049B (zh) | 2024-04-09 | 2024-04-09 | 一种结合yolo和gcn的海上目标追踪方法及其模型 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118015049B (zh) |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112906545B (zh) * | 2021-02-07 | 2023-05-05 | 广东省科学院智能制造研究所 | 一种针对多人场景的实时动作识别方法及*** |
| KR102628598B1 (ko) * | 2021-04-28 | 2024-01-24 | 계명대학교 산학협력단 | 그래프 합성곱 신경망을 이용한 다중 객체 추적 장치 및 방법 |
| CN114169241A (zh) * | 2021-12-09 | 2022-03-11 | 北京邮电大学 | 一种端到端的多目标识别、追踪与预测方法 |
| CN115147594A (zh) * | 2022-07-06 | 2022-10-04 | 上海海事大学 | 一种基于船艏向识别的船舶图像轨迹跟踪与预测方法 |
| CN115796402B (zh) * | 2023-02-08 | 2023-05-12 | 成都理工大学 | 一种基于组合模型的空气质量指数预测方法 |
| CN116612664A (zh) * | 2023-05-06 | 2023-08-18 | 中国地质大学（武汉） | 基于改进时空图注意力神经网络的船舶交通流量预测方法 |
| CN116740419A (zh) * | 2023-05-22 | 2023-09-12 | 广东工业大学 | 一种基于图调控网络的目标检测方法 |
| CN116758475A (zh) * | 2023-06-09 | 2023-09-15 | 浙江英集动力科技有限公司 | 基于多源图像识别和深度学习的能源站异常行为预警方法 |
| CN117037483A (zh) * | 2023-08-09 | 2023-11-10 | 重庆邮电大学 | 一种基于多头注意力机制的交通流预测方法 |
-
2024
- 2024-04-09 CN CN202410422431.0A patent/CN118015049B/zh active Active
Non-Patent Citations (2)
| Title |
|---|
| "基于启发式时空图神经网络的多变量时序异常检测";姜羽 等;《中国科学: 信息科学》;20230914;第53卷(第9期);1784–1801 * |
| "基于深度学习的视频多目标跟踪技术研究";冯为江;《中国博士学位论文全文数据库 (信息科技辑)》;20230215;第2023年卷(第2期);I138-95 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN118015049A (zh) | 2024-05-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110766942B (zh) | 一种基于卷积长短期记忆网络的交通路网拥堵预测方法 | |
| CN111383452A (zh) | 一种城市路网短期交通运行状态估计与预测方法 | |
| CN112949828B (zh) | 一种基于图学习的图卷积神经网络交通预测方法及*** | |
| CN109902259B (zh) | 一种轻量级的缺失时空数据的重构方法 | |
| CN111612243A (zh) | 交通速度预测方法、***及存储介质 | |
| CN111382686B (zh) | 一种基于半监督生成对抗网络的车道线检测方法 | |
| CN114220271A (zh) | 基于动态时空图卷积循环网络的交通流预测方法、设备及存储介质 | |
| CN113159048A (zh) | 一种基于深度学习的弱监督语义分割方法 | |
| CN111985325B (zh) | 特高压环境评价中的航拍小目标快速识别方法 | |
| CN113570859B (zh) | 一种基于异步时空膨胀图卷积网络的交通流量预测方法 | |
| CN113762595B (zh) | 通行时间预测模型训练方法、通行时间预测方法及设备 | |
| CN112365091B (zh) | 一种基于分类节点图注意力网络的雷达定量降水估计方法 | |
| CN112562312B (zh) | 一种基于融合特征的GraphSAGE交通路网数据预测的方法 | |
| CN116596151B (zh) | 基于时空图注意力的交通流量预测方法及计算设备 | |
| CN111047078A (zh) | 交通特征预测方法、***及存储介质 | |
| CN116307152A (zh) | 时空交互式动态图注意力网络的交通预测方法 | |
| CN114267025A (zh) | 基于高分辨率网络与轻量注意力机制的交通标志检测方法 | |
| CN117494871A (zh) | 一种考虑船舶交互影响的船舶轨迹预测方法 | |
| Wang et al. | Correlated time series self-supervised representation learning via spatiotemporal bootstrapping | |
| Son et al. | Partial convolutional LSTM for spatiotemporal prediction of incomplete data | |
| CN113988415A (zh) | 一种中长期电力负荷预测方法 | |
| CN115905434B (zh) | 一种基于学习插值预测的道路网轨迹补全方法 | |
| CN118015049B (zh) | 一种结合yolo和gcn的海上目标追踪方法及其模型 | |
| CN112927507A (zh) | 一种基于LSTM-Attention的交通流量预测方法 | |
| CN117116048A (zh) | 基于知识表示模型和图神经网络的知识驱动交通预测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |