CN111723632B - 一种基于孪生网络的船舶跟踪方法及*** - Google Patents

一种基于孪生网络的船舶跟踪方法及*** Download PDF

Info

Publication number
CN111723632B
CN111723632B CN201911087711.6A CN201911087711A CN111723632B CN 111723632 B CN111723632 B CN 111723632B CN 201911087711 A CN201911087711 A CN 201911087711A CN 111723632 B CN111723632 B CN 111723632B
Authority
CN
China
Prior art keywords
frame
target
frames
prediction
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911087711.6A
Other languages
English (en)
Other versions
CN111723632A (zh
Inventor
单云霄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuhai Dagama Technology Co ltd
Original Assignee
Zhuhai Dagama Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhuhai Dagama Technology Co ltd filed Critical Zhuhai Dagama Technology Co ltd
Priority to CN201911087711.6A priority Critical patent/CN111723632B/zh
Publication of CN111723632A publication Critical patent/CN111723632A/zh
Application granted granted Critical
Publication of CN111723632B publication Critical patent/CN111723632B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基孪生网络的船舶跟踪方法及***，通过本发明所提供的方法，通过对陆地上表现较好的Siamese RPN跟踪模型进行改进，以适应其在海上跟踪场景的应用。我们的模型通过大量的数据训练可以挖掘到目标不同深度的特征，可在不同天气环境下对各种类型的船舶实现准确高效的跟踪。本模型在我们采集的海上跟踪数据中，跟踪平均准确率为58％，平均帧率达到了124.21 FPS。

Description

一种基于孪生网络的船舶跟踪方法及***
技术领域
本申请涉及图像处理技术领域，尤其涉及一种基于孪生网络的船舶跟踪方法及***。
背景技术
近年来，越来越多的海事平台被用于海上运输，生态监测，海洋安全等场景，海洋的探索受到广泛关注。为了平台的安全，视觉目标跟踪技术被广泛用于跟踪潜在的感兴趣目标，例如船舶，浮标等。但是，它在复杂的码头环境中，特别是船舶跟踪任务，并不容易实现准确稳定的跟踪任务。因此，用于跟踪船舶的开发的视觉跟踪算法必须具有足够的智能和足够的能力以适应海洋时间应用。
开发船舶视觉跟踪算法存在一些挑战。与地面车辆不同，船舶在浮动表面上移动，其运动很复杂，无法准确预测。此外，海洋环境对天气和光照敏感。大海经常有雾或多雨，海风会加剧船的摇晃。因此，由于船舶的不稳定运动，相邻的框架可能彼此非常不同。此外，图像的质量可能受到从浮动水面反射的太阳光的影响。
阶段生成类跟踪算法的缺点有计算复杂度比较高，实时性能较差，而且跟踪准确率比较低。主要原因是生成类算法一般通过遍历待检测图像以获得与目标相似度最高的区域作为目标，为提高准确率，还需要引入较复杂的特征，如纹理、梯度等，这些操作都会造成较大的计算成本。对于背景减法，该方法在船舶跟背景的对比度较小时，难以实现目标的检测和跟踪，跟踪准确率会大大下降。基于水平集分割的跟踪方法虽然可实现目标的动态跟踪，但该方法需要提供先验的目标轮廓，而在实际场景中难以实现。以上的跟踪方法还有一个共同的缺点：检测过程只关注目标的特征信息，忽略了背景信息。因此，此类***在一些较为复杂的场景下难以甄别目标和干扰物，导致误检。
发明内容
本发明提供了一种基于孪生网络的船舶跟踪方法及***，用以解决现有技术中目前的目标***在一些较为复杂的场景下难以甄别目标和干扰物，导致误检的问题。
其具体的技术方案如下：
一种基于孪生网络的船舶跟踪方法，所述训练方法包括：
在第一帧图像中获取跟踪目标的目标位置，并将所述目标位置作为参考框；
对输入图像进行预处理，生成锚点框，并计算锚点框与模板帧参考框之间的第一相对偏移，所述第一相对偏移作为跟踪网络的输入；
确定所述锚点框与检测帧预测框之间的第二相对偏移，所述第二相对偏移作为跟踪网络的输出，计算每个预测框对应的置信度值，其中，所述置信度为预测框作为目标框的可靠性；
根据历史轨迹影响和大小形状变化对预测框进行惩罚，对所有预测框根据置信度值进行重新排序，将置信度值最大的前K个预测框作为目标候选框；
采用非极大值抑制算法合并重复的预测框，并将置信度值最大的预测框作为本次检测的目标框，并作为下一帧的参考框。
可选的，将所述目标位置作为参考框之前，所述方法包括：
在模板帧中提取出模板帧特征；
在检测帧中提取出检测帧特征；
根据所述模板帧特征以及所述检测帧特征，得到推荐网络对应的分类值以及回归值；
根据所述分类值以及所述回归值获得回归框。
可选的，对所有置信度值进行重新排序，将置信度值最大的前K个预测框作为目标候选框，包括：
选择历史轨迹中的前M帧图像并采用最小二乘法预测目标在检测帧中的位置；
基于目标在模板帧中的位置，计算相邻两帧中的大小形状差异，并对与前一帧差异超过阈值的预测框进行惩罚处理；
根据指定函数计算每个候选框为目标框的置信度值；
对所有预测框根据置信度值的大小进行重新排序，将置信度值最大的前K 个预测框作为目标候选框。
可选的，所述测试方法包括：
A1，标定跟踪目标的位置；
A2，随机抽取一对图像作为模板帧和检测帧，帧间间隔小于等于10，对输入图像进行预处理，生成锚点框，并计算模板帧与其对应真值框的第三相对于偏移；
A3，将预处理后的第三相对偏移送入跟踪网络，并输出检测帧中锚点框与预测框之间的第四相对偏移；
A4，根据第三相对偏移以及第四相对偏移计算交叉熵，计算检测帧预测框与其真值框的总损失；
A5，根据所述总损失计算梯度，进行梯度回传并更新权重；
A6，重复步骤A1至步骤A5，直至总损失处于预设范围内。
可选的，计算预测框与真值框的总损失，包括：
通过指定公示计算得到分类损失；
对真值框进行归一化处理，并计算得到回归损失；
根据所述分类损失、所述回归损失以及损失函数得到总损失。
一种基于孪生网络的船舶跟踪***，所述***包括：
***初始化，须提供第一帧图像中跟踪目标的位置作为先验知识，并将所述目标位置作为参考框；
预处理模块，用于对输入图像进行预处理，生成模板帧、检测帧和锚点框；网络处理模块，通过模板帧提供的参考框与锚点框计算第一相对偏移，作为跟踪网络的输入，输出预测框与锚点框的第二偏移。并依此计算全部预测框；
选择模块，加入历史轨迹和大小形状变化的惩罚，对所有预测框根据置信度值进行重新排序，将置信度值最大的前K个预测框作为目标候选框；用非极大值抑制的方法合并重复的预测框，并将置信度值最大的预测框作为本次检测的目标框，并作为下一帧的参考框。
可选的，网络处理模块，用于在模板帧中提取出模板帧特征；在检测帧中提取出检测帧特征；根据所述模板帧特征以及所述检测帧特征，得到推荐网络对应的分类值以及回归值；根据所述分类值以及所述回归值获得回归框。
可选的，选择模块，用于选择历史轨迹中的前M帧图像并采用最小二乘法预测目标在检测帧中的位置；基于目标的位置，计算相邻两帧中的大小形状差异，并对与前一帧差异超过阈值的预测框进行惩罚处理；根据指定函数计算每个候选框为目标框的置信度值；对所有预测框根据置信度值的大小进行重新排序，将置信度值最大的前K个预测框作为目标候选框。
本发明所提供的方法，通过对陆地上表现较好的Siamese RPN跟踪模型进行改进，以适应其在海上跟踪场景的应用。我们的模型通过大量的数据训练可以挖掘到目标不同深度的特征，可在不同天气环境下对各种类型的船舶实现准确高效的跟踪。本模型在我们采集的海上跟踪数据中，跟踪平均准确率为58％，平均帧率达到了124.21 FPS。
附图说明
图1为本发明实施例中一种基于孪生网络的船舶跟踪方法的流程图；
图2为本发明实施例中孪生网络***的结构示意图；
图3为本发明实施例中基于孪生网络的船舶跟踪方法的应用结果示意图；
图4为本发明实施例中一种基于孪生网络的船舶跟踪***的结构示意图。
具体实施方式
下面通过附图以及具体实施例对本发明技术方案做详细的说明，应当理解，本发明实施例以及实施例中的具体技术特征只是对本发明技术方案的说明，而不是限定，在不冲突的情况下，本发明实施例以及实施例中的具体技术特征可以相互组合。
如图1所示为本发明实施例中一种基孪生网络的船舶跟踪方法的流程图，该方法包括：
S1，在第一帧图像中获取跟踪目标的目标位置，并将所述目标位置作为参考框；
S2，对输入图像进行预处理，生成锚点框，并计算锚点框与模板帧参考框之间的第一相对偏移，并将第一相对偏移作为跟踪网络的输入；
S3，确定所述锚点框与检测帧的预测框之间的第二相对偏移，计算每个预测框对应的置信度值；
S4，根据历史轨迹影响和大小形状变化对预测框进行惩罚，对所有预测框根据置信度值进行重新排序，将置信度值最大的前K个预测框作为目标候选框；
S5，采用非极大值抑制算法合并重复的预测框，并将置信度值最大的预测框作为本次检测的目标框，并作为下一帧的参考框。
首先来讲，本发明技术方案基于孪生网络，孪生网络中的特征提取模块为改进后的AlexNet，如图2所示，本专利去掉了AlexNet中的填充，并修改了卷积层中的深度，以适应我们场景。孪生网络有两个分支：模板分支和检测分支。这两个分支分别实现模板帧和检测帧的特征提取，分别用和/>表示，z表示模板帧，x表示检测帧。
区域推荐网络：
与孪生网络对应，区域推荐网络也有两个分支：分类分支和回归分支，分类分支判断锚点框属于目标还是背景，对应的回归分支计算锚点框的位置偏移量。设锚点框的数目为k，分类分支的输出大小为2k，回归分支的输出为4k。和/>分别输入区域推荐网络计算对应的分类和回归值。
定义锚点框的表达式为ANC*：
对应获得的回归框可表示为REG*：
我们从计算得到的回归框中先筛选出置信度最高的K个候选框，再加入大小形变等约束筛选出最优的目标边界框。
损失函数设计：
本模型的输出包括分类结果和回归结果，因此我们的损失函数由两部分组成。首先，分类损失的计算方法如下公式所示：
其中，yi表示分类的标签，Si表示分类正确的概率。
对于回归分支，设预测框表示为(Ax，Ay，Aw，Ah)，对应的真值框表示为(Gx，Gy，Gw，Gh)，先对其进行归一化：
回归损失的计算公式如下：
其中，函数的计算方法如下：
总损失函数可表示为：
Loss＝Lcls+γLreg
其中，γ是超参数，用于平衡分类和回归损失。
候选框选择：
为从K个候选框中选出最优的目标边界框，我们采用了两种策略。首先，第一个策略是加入历史航行轨迹作为约束。考虑到目标运动具有连续性，我们选用了历史轨迹的前5帧采用最小二乘法预测目标在检测帧的位置，其中的距离计算我们选用的是曼哈顿距离。
其中，xpredicted为使用历史轨迹预测的目标位置，x为神经网络预测的目标位置，Distance(x，xpredicted)表示两个预测点之间的曼哈顿距离。第二个策略是考虑目标的大小形状变化。在视频流中，目标可认为在相邻两帧中的大小形状不会有太大变化，并对与前一帧大小变化较大的预测框进行惩罚：
其中，k是人工设置的超参数，r是前一帧目标框的宽高比，r′是当前预测帧的候选框宽高比。s和s′分别是前一帧和当前帧目标框的面积。本网络使用 Softmax函数计算每个候选框为目标框的置信度Score。加入约束后，目标框根据Score值大小重新排序：
Score＝Score*(1-distanceinfluence-sizeinfluence)+Penalty *size_influence+Candidate*distance_influence
其中，size_influence和distance_influence是人工设置的超参数。对重新排序后的候选框，再采用非极大值抑制算法合并重复候选框，最后选择置信度最高的候选框作为当前目标框。
在执行上述的过程，首先需要进行目标跟踪训练，具体步骤如下：
A1，标定跟踪目标的位置；
标定跟踪的目标的位置(xi，yi，wi，hi)，i＝1，...，N，其中N为图像数目；
A2，随机抽取一对图像作为模板帧和参考帧，帧间间隔小于等于10，对输入图像进行预处理，生成Anchorj(j＝1，...，m，m为Anchor数目)计算与真值框的相对偏移offset_inj；
A3，预处理后的相对偏移offset_inj送入网络，网络输出Anchor与预测框的相对偏移offset_outj；
A4，使用Softmax计算预测框与真值框的损失lossj；
A5，梯度回传并更新权重W；
A6，重复步骤A2至A5，直到loss趋向稳定或预测准确率到达峰值.
基于上述的方法，本发明中还采用了精确度、召回率、F值和帧率作为本次实验的性能衡量指标，具体计算方法如下：
设Ωt为目标在t时刻预测框与真值框的交并集，表示在t时刻目标的真值框，θt表示在t时刻的预测置信度，τθ是分类阈值，Ng真值框不为空的帧数，Nt为检测过程中预测框不为空的帧数，N为网络预测次数，PT(im(i))为编号为i的检测帧im的处理时间。四个衡量指标的计算公式如下：
通过本发明所提供的方法，海上跟踪模型可达到58％的平均跟踪准确率，运行帧率达到了124.21FPS，能实现海上船舶实时准确跟踪。在本实验中，我们还是用了原始的AlexNet和vgg16作为特征提取模块进行实验，结果表明，改进后的AlexNet的跟踪准确率相对于原模型有3％的提升，也比vgg16高1％，而且取得了124.21的高帧率。
具体来讲，如表1所示，不同CNN下跟踪模型性能效果。Model_AlexNet 的特征提取模块为原始AlexNet，Model_vgg16的特征提取模块为原始vgg16，我们的模型采用的是改进后的AlexNet。
表1
为验证本模型在不同天气环境下对不同船舶跟踪的鲁棒性，我们根据天气情况和船舶类型设置实验。结果如表2、表3、表4所示，表2为模型在数据集上的准确率，表3为模型在数据集上的召回率，表4为模型在数据集上的F值：
表2
表3
表4
表2和表3显示了我们的跟踪模型在不同天气和船只类型下的精确度和召回率。从表中可以看出，在恶劣天气条件下，***的平均精度达到56％，平均召回率为53％。其中雾天气对跟踪效果影响较大，因为它模糊了目标的大部分特征，对于不同类型的船舶，外观和速度将影响跟踪。通常，客船彼此之间具有更高的相似性，并且尺寸非常接近。此外，客船有固定的路线，以便顺利运行，因此客船的跟踪效果较好。相比之下，快艇的跟踪性能较差。快艇具有小尺寸和高速度，并且驾驶员随机地改变其路线，因此其位置偏移和外观变化是显着的，这对跟踪具有负面影响。在表4中，F-measure集成了精度和召回，以证明所提出的***的优良性能。
本发明所提供的方法，通过对陆地上表现较好的Siamese RPN跟踪模型进行改进，以适应其在海上跟踪场景的应用。我们的模型通过大量的数据训练可以挖掘到目标不同深度的特征，可在不同天气环境下对各种类型的船舶实现准确高效的跟踪。本模型在我们采集的海上跟踪数据中，跟踪平均准确率为58％，平均帧率达到了124.21 FPS，本发明所提供的方法在实际的船舶跟踪中的应用结果如图3所示。
对应本发明所提供的方法，本发明实施例中还提供了一种基孪生网络的船舶跟踪***，如图4所示为本发明实施例中一种基孪生网络的船舶跟踪***的结构示意图，该***包括：
***初始化模块401，须提供第一帧图像中跟踪目标的位置作为先验知识，并将所述目标位置作为参考框；
预处理模块402，用于对输入图像进行预处理，生成模板帧、检测帧和锚点框；
网络处理模块403，通过模板帧提供的参考框与锚点框计算第一相对偏移，作为跟踪网络的输入，输出预测框与锚点框的第二偏移。并依此计算全部预测框；
选择模块404，加入历史轨迹和大小形状变化的惩罚，对所有预测框根据置信度值进行重新排序，将置信度值最大的前K个预测框作为目标候选框；用非极大值抑制的方法合并重复的预测框，并将置信度值最大的预测框作为本次检测的目标框，并作为下一帧的参考框。
进一步，在本发明实施例中，网络处理模块403，用于在模板帧中提取出模板帧特征；在检测帧中提取出检测帧特征；根据所述模板帧特征以及所述检测帧特征，得到推荐网络对应的分类值以及回归值；根据所述分类值以及所述回归值获得回归框。
进一步，在本发明实施例中，选择模块404，用于选择历史轨迹中的前M 帧图像并采用最小二乘法确定目标在检测帧中的位置；基于目标的位置，确定相邻两帧中的大小形状变化，并对与前一帧差异超过阈值的预测框进行惩罚处理；根据指定函数计算每个候选框为目标框的置信度值；对所有置信度值的大小进行重新排序，将置信度值最大的前K个预测框作为目标候选框。
尽管已描述了本申请的优选实施例，但本领域内的普通技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改，包括采用特定符号、标记确定顶点等变更方式。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (8)

1.一种基于孪生网络的船舶跟踪方法，其特征在于，该方法包括：
在第一帧图像中获取跟踪目标的目标位置，并将所述目标位置作为参考框；
对输入图像进行预处理，生成锚点框，并计算锚点框与模板帧参考框之间的第一相对偏移，所述第一相对偏移作为跟踪网络的输入；
确定所述锚点框与检测帧预测框之间的第二相对偏移，所述第二相对偏移作为跟踪网络的输出，计算每个预测框对应的置信度值，其中，所述置信度为预测框作为目标框的可靠性；
根据历史轨迹影响和大小形状变化对预测框进行惩罚，对所有预测框根据置信度值进行重新排序，将置信度值最大的前K个预测框作为目标候选框；
采用非极大值抑制算法合并重复的预测框，并将置信度值最大的预测框作为本次检测的目标框，并作为下一帧的参考框。
2.如权利要求1所述的方法，其特征在于，将所述目标位置作为参考框之前，所述方法包括：
在模板帧中提取出模板帧特征；
在检测帧中提取出检测帧特征；
根据所述模板帧特征以及所述检测帧特征，得到推荐网络对应的分类值以及回归值；
根据所述分类值以及所述回归值获得回归框。
3.如权利要求1所述的方法，其特征在于，对所有置信度值进行重新排序，将置信度值最大的前K个预测框作为目标候选框，包括：
选择历史轨迹中的前M帧图像并采用最小二乘法预测目标在检测帧中的位置；
基于目标在模板帧中的位置，计算相邻两帧中的大小形状差异，并对与前一帧差异超过阈值的预测框进行惩罚处理；
根据指定函数计算每个候选框为目标框的置信度值；
对所有预测框根据置信度值的大小进行重新排序，将置信度值最大的前K个预测框作为目标候选框。
4.如权利要求1所述的方法，其特征在于，在执行上述的过程，首先需要进行目标跟踪训练，具体步骤如下：
A1，标定跟踪目标的位置；
A2，随机抽取一对图像作为模板帧和检测帧，帧间间隔小于等于10，对输入图像进行预处理，生成锚点框，并计算模板帧与其对应真值框的第三相对偏移；
A3，将预处理后的第三相对偏移送入跟踪网络，并输出检测帧中锚点框与预测框之间的第四相对偏移；
A4，根据第三相对偏移以及第四相对偏移计算交叉熵，计算检测帧预测框与其真值框的总损失；
A5，根据所述总损失计算梯度，进行梯度回传并更新权重；
A6，重复步骤A1至步骤A5，直至总损失处于预设范围内。
5.如权利要求4所述的方法，其特征在于，计算预测框与真值框的总损失，包括：
通过指定公式计算得到分类损失；
对真值框进行归一化处理，并计算得到回归损失；
根据所述分类损失、所述回归损失以及损失函数得到总损失。
6.一种基于孪生网络的船舶跟踪***，其特征在于，所述***包括：
***初始化，须提供第一帧图像中跟踪目标的位置作为先验知识，并将目标位置作为参考框；
预处理模块，用于对输入图像进行预处理，生成模板帧、检测帧和锚点框；网络处理模块，通过模板帧提供的参考框与锚点框计算第一相对偏移，作为跟踪网络的输入，输出预测框与锚点框的第二相对偏移，并依此计算全部预测框；
选择模块，加入历史轨迹和大小形状变化的惩罚，对所有预测框根据置信度值进行重新排序，将置信度值最大的前K个预测框作为目标候选框；用非极大值抑制的方法合并重复的预测框，并将置信度值最大的预测框作为本次检测的目标框，并作为下一帧的参考框。
7.如权利要求6所述的***，其特征在于，网络处理模块，用于在模板帧中提取出模板帧特征；在检测帧中提取出检测帧特征；根据所述模板帧特征以及所述检测帧特征，得到推荐网络对应的分类值以及回归值；根据所述分类值以及所述回归值获得回归框。
8.如权利要求6所述的***，其特征在于，选择模块，用于选择历史轨迹中的前M帧图像并采用最小二乘法预测目标在检测帧中的位置；基于目标的位置，计算相邻两帧中的大小形状差异，并对与前一帧差异超过阈值的预测框进行惩罚处理；根据指定函数计算每个候选框为目标框的置信度值；对所有预测框根据置信度值的大小进行重新排序，将置信度值最大的前K个预测框作为目标候选框。
CN201911087711.6A 2019-11-08 2019-11-08 一种基于孪生网络的船舶跟踪方法及*** Active CN111723632B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911087711.6A CN111723632B (zh) 2019-11-08 2019-11-08 一种基于孪生网络的船舶跟踪方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911087711.6A CN111723632B (zh) 2019-11-08 2019-11-08 一种基于孪生网络的船舶跟踪方法及***

Publications (2)

Publication Number Publication Date
CN111723632A CN111723632A (zh) 2020-09-29
CN111723632B true CN111723632B (zh) 2023-09-15

Family

ID=72563964

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911087711.6A Active CN111723632B (zh) 2019-11-08 2019-11-08 一种基于孪生网络的船舶跟踪方法及***

Country Status (1)

Country Link
CN (1) CN111723632B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112488061B (zh) * 2020-12-18 2022-04-29 电子科技大学 一种联合ads-b信息的多航空器检测与跟踪方法
CN112686326B (zh) * 2021-01-05 2022-09-06 中国科学技术大学 一种智能排序候选框的目标跟踪方法及***
CN113538509B (zh) * 2021-06-02 2022-09-27 天津大学 基于自适应相关滤波特征融合学习的视觉跟踪方法及装置
CN116186907B (zh) * 2023-05-04 2023-09-15 中国人民解放军海军工程大学 基于船用子***状态分析适航状态的方法、***和介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0942395A2 (en) * 1998-03-13 1999-09-15 Siemens Corporate Research, Inc. Method for digital video processing
CN108764164A (zh) * 2018-05-30 2018-11-06 华中科技大学 一种基于可变形卷积网络的人脸检测方法及***
CN109583483A (zh) * 2018-11-13 2019-04-05 中国科学院计算技术研究所 一种基于卷积神经网络的目标检测方法和***
CN109636829A (zh) * 2018-11-24 2019-04-16 华中科技大学 一种基于语义信息和场景信息的多目标跟踪方法
CN109829934A (zh) * 2018-12-20 2019-05-31 北京以萨技术股份有限公司 一种新型基于孪生卷积网络的图像跟踪算法
CN110084829A (zh) * 2019-03-12 2019-08-02 上海阅面网络科技有限公司 目标跟踪方法、装置、电子设备及计算机可读存储介质
CN110096929A (zh) * 2018-01-30 2019-08-06 微软技术许可有限责任公司 基于神经网络的目标检测
CN110120064A (zh) * 2019-05-13 2019-08-13 南京信息工程大学 一种基于互强化与多注意机制学习的深度相关目标跟踪算法
CN110210551A (zh) * 2019-05-28 2019-09-06 北京工业大学 一种基于自适应主体敏感的视觉目标跟踪方法
CN110244734A (zh) * 2019-06-20 2019-09-17 中山大学 一种基于深度卷积神经网络的自动驾驶车辆路径规划方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10579897B2 (en) * 2017-10-02 2020-03-03 Xnor.ai Inc. Image based object detection

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0942395A2 (en) * 1998-03-13 1999-09-15 Siemens Corporate Research, Inc. Method for digital video processing
CN110096929A (zh) * 2018-01-30 2019-08-06 微软技术许可有限责任公司 基于神经网络的目标检测
CN108764164A (zh) * 2018-05-30 2018-11-06 华中科技大学 一种基于可变形卷积网络的人脸检测方法及***
CN109583483A (zh) * 2018-11-13 2019-04-05 中国科学院计算技术研究所 一种基于卷积神经网络的目标检测方法和***
CN109636829A (zh) * 2018-11-24 2019-04-16 华中科技大学 一种基于语义信息和场景信息的多目标跟踪方法
CN109829934A (zh) * 2018-12-20 2019-05-31 北京以萨技术股份有限公司 一种新型基于孪生卷积网络的图像跟踪算法
CN110084829A (zh) * 2019-03-12 2019-08-02 上海阅面网络科技有限公司 目标跟踪方法、装置、电子设备及计算机可读存储介质
CN110120064A (zh) * 2019-05-13 2019-08-13 南京信息工程大学 一种基于互强化与多注意机制学习的深度相关目标跟踪算法
CN110210551A (zh) * 2019-05-28 2019-09-06 北京工业大学 一种基于自适应主体敏感的视觉目标跟踪方法
CN110244734A (zh) * 2019-06-20 2019-09-17 中山大学 一种基于深度卷积神经网络的自动驾驶车辆路径规划方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
High Performance Visual Tracking with Siamese Region Proposal Network;Bo Li;《2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》;20190219;第8971-8980页 *
一种融合预测过采样的运动目标检测算法;曾婧;《电讯技术》;20171130;第57卷(第11期);第1283-1288页 *
基于光学遥感影像的特定目标检测及识别;洪韬;《中国优秀硕士学位论文全文数据库信息科技辑》;20180915;第2018年卷(第09期);第I140-152页 *
基于深度卷积神经网络的小目标检测;郭之先;《中国优秀硕士学位论文全文数据库信息科技辑》;20180815;第2018年卷(第08期);第I138-849页 *
基于深度学习的遥感图像目标检测研究;李星悦;《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》;20190815;第2019年卷(第08期);第C028-42页 *

Also Published As

Publication number Publication date
CN111723632A (zh) 2020-09-29

Similar Documents

Publication Publication Date Title
CN111723632B (zh) 一种基于孪生网络的船舶跟踪方法及***
CN101214851B (zh) 船舶行驶智能型全天候主动安全预警***及其预警方法
Schöller et al. Assessing deep-learning methods for object detection at sea from LWIR images
Lee et al. Image-based ship detection and classification for unmanned surface vehicle using real-time object detection neural networks
CN109859202B (zh) 一种基于usv水面光学目标跟踪的深度学习检测方法
CN115471746A (zh) 一种基于深度学习的船舶目标识别检测方法
CN110472500A (zh) 一种基于高速无人艇的水面视觉目标快速检测算法
CN114612769A (zh) 一种融入局部结构信息的集成感知红外成像舰船检测方法
CN112068085A (zh) 一种基于深度学习的雷达海杂波原始数据快速预处理方法
Yu et al. Object detection-tracking algorithm for unmanned surface vehicles based on a radar-photoelectric system
Zhou et al. Collision-free waterway segmentation for inland unmanned surface vehicles
Sun et al. IRDCLNet: Instance segmentation of ship images based on interference reduction and dynamic contour learning in foggy scenes
Alla et al. Vision-based Deep Learning algorithm for Underwater Object Detection and Tracking
Si et al. Maritime ship detection method for satellite images based on multiscale feature fusion
Shi et al. Obstacle type recognition in visual images via dilated convolutional neural network for unmanned surface vehicles
CN114627156A (zh) 消费级无人机视频运动目标精准追踪方法
CN113837924A (zh) 一种基于无人艇感知***的水岸线检测方法
Zhou et al. A real-time scene parsing network for autonomous maritime transportation
CN117593601A (zh) 一种基于深度学习的水尺验潮方法
CN116863306A (zh) 基于改进YOLOv6网络模型的水面漂浮小目标的检测方法
Zhou et al. A real-time algorithm for visual detection of high-speed unmanned surface vehicle based on deep learning
Li et al. Research on ROI algorithm of ship image based on improved YOLO
CN114862904A (zh) 一种水下机器人的孪生网络目标连续跟踪方法
CN111709308B (zh) 一种基于无人机的海上遇险人员检测和跟踪方法及其***
CN114255385A (zh) 基于感知向量的光学遥感图像舰船检测方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant