CN110309729A - 基于异常峰值检测和孪生网络的跟踪与重检测方法 - Google Patents

基于异常峰值检测和孪生网络的跟踪与重检测方法 Download PDF

Info

Publication number
CN110309729A
CN110309729A CN201910506402.1A CN201910506402A CN110309729A CN 110309729 A CN110309729 A CN 110309729A CN 201910506402 A CN201910506402 A CN 201910506402A CN 110309729 A CN110309729 A CN 110309729A
Authority
CN
China
Prior art keywords
network
target
ship
target ship
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910506402.1A
Other languages
English (en)
Inventor
陈姚节
冯春东
徐进
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University of Science and Engineering WUSE
Wuhan University of Science and Technology WHUST
Original Assignee
Wuhan University of Science and Engineering WUSE
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University of Science and Engineering WUSE filed Critical Wuhan University of Science and Engineering WUSE
Priority to CN201910506402.1A priority Critical patent/CN110309729A/zh
Publication of CN110309729A publication Critical patent/CN110309729A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于异常峰值检测和孪生网络的跟踪与重检测方法，包括步骤：S1、针对视频第一帧，初始化目标船舶的大小和中心点位置，并获取目标船舶的特征图；S2、根据每帧响应峰值的变化判断目标船舶是否丢失：若目标船舶丢失，则进入步骤S3，反之进入步骤S7；S3、将响应峰值最高的图像保存，作为模板图像；S4、通过RPN网络提取目标候选区域；S5、将模板图像和目标候选区域作为孪生网络输入，选择相似度最高的区域作为目标区域输出；S6、重新输入目标船舶的信息；S7、继续跟踪目标船舶。该方法在跟踪目标船舶中，跟踪准确率在82.6％以上，同时重检测网络找回特定船舶效果良好，船舶找回率在86.5％以上，并且找回速度快。

Description

基于异常峰值检测和孪生网络的跟踪与重检测方法
技术领域
本发明涉及船舶技术领域，具体涉及一种基于异常峰值检测和孪生网络的跟踪与重检测方法。
背景技术
目标跟踪技术是计算机视觉研究领域的热点之一。在运动过程中，目标不会一直处于理想状态，可能会发生一些外观变化，如姿态、尺度或光照的变化，遮挡或形变等，这些都给目标跟踪研究造成一定困难。如何解决目标遮挡的问题，实现长期目标跟踪，是目前目标跟踪技术中的研究重点。现有技术中，目标船舶被遮挡后，船舶的跟踪准确率和船舶找回率比较低，使得无法完成对目标船舶的长期跟踪。
发明内容
本发明为了克服以上技术的不足，提供了一种基于异常峰值检测和孪生网络的跟踪与重检测方法。
本发明克服其技术问题所采用的技术方案是：
一种基于异常峰值检测和孪生网络的跟踪与重检测方法，包括如下步骤：
S1、针对视频第一帧，初始化目标船舶的大小和中心点位置，并获取目标船舶的特征图；
S2、根据每帧响应峰值的变化判断目标船舶是否丢失：若目标船舶丢失，则进入步骤S3，反之进入步骤S7；
S3、将响应峰值最高的图像保存，作为模板图像；
S4、通过RPN网络提取目标候选区域；
S5、将模板图像和目标候选区域作为孪生网络输入，选择相似度最高的区域作为目标区域输出；
S6、重新输入目标船舶的信息；
S7、继续跟踪目标船舶。
进一步地，所述步骤S1中，采用Faster R-CNN网络获取目标船舶的特征图，其具体方法为：
S1.1、计算目标船舶图像的卷积特征图；
S1.2、采用RPN网络对卷积特征图处理，得到目标建议框；
S1.3、利用RoI Pooling对目标建议框提取特征图。
进一步地，所述步骤S2中，根据每帧响应峰值的变化判断目标船舶是否丢失的具体方法为：
设Vpre表示当前帧的响应峰值，集合{Vi|i＝1,2,...,n}表示当前帧之前一段时期内的峰值集合；
上述公式中，u表示当前帧之前一段时期内峰值的平均值，σ表示其标准差；
如果当前帧的峰值距离均值u超过了λσ，那么该值就被标记为异常值，此时可以判断船舶已丢失。
进一步地，所述步骤S4中，通过RPN网络提取目标候选区域的具体方法为：
将采集的船舶图片数据集中的一部分船舶图像作为训练数据集，另一部分作为测试集，RPN网络在训练阶段进行端到端训练；
S4.1、用预训练网络模型初始化RPN网络参数，通过随机梯度下降算法和反向传播算法微调RPN网络参数；
S4.2、用预训练网络模型初始化Faster R-CNN目标检测网络参数，并用步骤S4.1中的RPN网络提取候选区域，训练目标检测网络；
S4.3、用步骤S4.2中目标检测网络重新初始化并微调RPN网络参数；
S4.4、用步骤S4.3中RPN网络提取目标候选区域。
进一步地，所述步骤S5中，将模板图像和目标候选区域作为孪生网络输入的具体方法为：
将模板图像和目标候选区域的大小均调整为107像素×107像素，并将其分别输入两个孪生子网络，两个孪生子网络输出的特征之间的欧式距离用来表征输入图像对之间的相似度，孪生网络最终在目标候选区域集合之间选择一个相似度最高的区域作为目标区域输出。
本发明的有益效果是：
本发明通过异常峰值检测和孪生网络的跟踪与重检测方法，在跟踪目标船舶中，跟踪准确率在82.6％以上，同时重检测网络找回特定船舶效果良好，船舶找回率在86.5％以上，并且找回速度快。
附图说明
图1为本发明实施例所述视频序列部分对目标船舶跟踪过程图，其中，图1(a)为目标船舶未被遮挡的跟踪图，图1(b)为目标船舶被遮挡一部分的跟踪图，图1(c)为目标船舶完全被遮挡的跟踪图。
图2为分别对应图1的响应值分布图，其中，图2(a)对应图1(a)的响应值分布图，图2(b)对应图1(b)的响应值分布图，图2(c)对应图1(c)的响应值分布图。
图3为RPN网络输出结果的示意图。
图4为孪生网络输出的结果图。
图中，1、目标船舶，2、遮挡物。
具体实施方式
为了便于本领域人员更好的理解本发明，下面结合附图和具体实施例对本发明做进一步详细说明，下述仅是示例性的不限定本发明的保护范围。
本发明所述的基于异常峰值检测和孪生网络的跟踪与重检测方法，包括如下步骤：
步骤S1、针对视频第一帧，初始化目标船舶的大小和中心点位置，如图1所示，所述中心点为视频图像中船舶的中心点，并采用Faster R-CNN网络获取目标船舶的特征图。
其中，采用Faster R-CNN网络获取目标船舶的特征图的具体方法为：
S1.1、计算目标船舶图像的卷积特征图；
S1.2、采用RPN网络对卷积特征图处理，得到目标建议框；
S1.3、利用RoI Pooling对目标建议框提取特征图。
步骤S2、根据每帧响应峰值的变化判断目标船舶是否丢失：若目标船舶丢失，则进入步骤S3，反之进入步骤S7。
其中，根据每帧响应峰值的变化判断目标船舶是否丢失的具体方法为：
设Vpre表示当前帧的响应峰值，集合{Vi|i＝1,2,...,n}表示当前帧之前一段时期内的峰值集合；
上述公式中，u表示当前帧之前一段时期内峰值的平均值，σ表示其标准差；
如果当前帧的峰值距离均值u超过了λσ，那么该值就被标记为异常值，此时可以判断船舶已丢失。
步骤S3、将响应峰值最高的图像保存，作为模板图像。
步骤S4、通过RPN网络提取目标候选区域，其具体方法为：
将采集的船舶图片数据集中的一部分船舶图像作为训练数据集，另一部分作为测试集，本实施例采用的预训练模型为ResNet50，RPN网络在训练阶段进行端到端训练；
S4.1、用预训练网络模型初始化RPN网络参数，通过随机梯度下降算法和反向传播算法微调RPN网络参数；
S4.2、用预训练网络模型初始化Faster R-CNN目标检测网络参数，并用步骤S4.1中的RPN网络提取候选区域，训练目标检测网络；
S4.3、用步骤S4.2中目标检测网络重新初始化并微调RPN网络参数；
S4.4、用步骤S4.3中RPN网络提取目标候选区域。
通过以上操作，RPN网络(也叫区域建议网络)可以输出较为精确的目标候选区域，RPN网络区域生成的目标候选区域如图3所示，方框内的区域代表目标候选区域。
步骤S5、将模板图像和目标候选区域作为孪生网络输入，选择相似度最高的区域作为目标区域输出。
其中，将模板图像和目标候选区域作为孪生网络输入的具体方法为：
将模板图像和目标候选区域的大小均调整为107像素×107像素，并将其分别输入两个孪生子网络，两个孪生子网络输出的特征之间的欧式距离用来表征输入图像对之间的相似度，孪生网络最终在目标候选区域集合之间选择一个相似度最高的区域作为目标区域输出，孪生网络输出的结果如图4所示，即方框圈中的部分为目标区域输出结果。
步骤S6、重新输入目标船舶的信息。
步骤S7、继续跟踪目标船舶。
上述步骤中，目标船舶是自右往左航行。上述过程中的响应值分布图如图2所示，其中图2(a)对应图1(a)目标船舶未被遮挡的跟踪图的响应值分布图，图2(b)对应图1(b)目标船舶被遮挡一部分的跟踪图的响应值分布图，图2(c)对应图1(c)目标船舶完全被遮挡的跟踪图的响应值分布图。
以上仅描述了本发明的基本原理和优选实施方式，本领域人员可以根据上述描述做出许多变化和改进，这些变化和改进应该属于本发明的保护范围。

Claims (5)

1.一种基于异常峰值检测和孪生网络的跟踪与重检测方法，其特征在于，包括如下步骤：
S1、针对视频第一帧，初始化目标船舶的大小和中心点位置，并获取目标船舶的特征图；
S2、根据每帧响应峰值的变化判断目标船舶是否丢失：若目标船舶丢失，则进入步骤S3，反之进入步骤S7；
S3、将响应峰值最高的图像保存，作为模板图像；
S4、通过RPN网络提取目标候选区域；
S5、将模板图像和目标候选区域作为孪生网络输入，选择相似度最高的区域作为目标区域输出；
S6、重新输入目标船舶的信息；
S7、继续跟踪目标船舶。
2.根据权利要求1所述的基于异常峰值检测和孪生网络的跟踪与重检测方法，其特征在于，所述步骤S1中，采用Faster R-CNN网络获取目标船舶的特征图，其具体方法为：
S1.1、计算目标船舶图像的卷积特征图；
S1.2、采用RPN网络对卷积特征图处理，得到目标建议框；
S1.3、利用RoI Pooling对目标建议框提取特征图。
3.根据权利要求1所述的基于异常峰值检测和孪生网络的跟踪与重检测方法，其特征在于，所述步骤S2中，根据每帧响应峰值的变化判断目标船舶是否丢失的具体方法为：
设Vpre表示当前帧的响应峰值，集合{Vi|i＝1,2,...,n}表示当前帧之前一段时期内的峰值集合；
上述公式中，u表示当前帧之前一段时期内峰值的平均值，σ表示其标准差；
如果当前帧的峰值距离均值u超过了λσ，那么该值就被标记为异常值，此时可以判断船舶已丢失。
4.根据权利要求1所述的基于异常峰值检测和孪生网络的跟踪与重检测方法，其特征在于，所述步骤S4中，通过RPN网络提取目标候选区域的具体方法为：
将采集的船舶图片数据集中的一部分船舶图像作为训练数据集，另一部分作为测试集，RPN网络在训练阶段进行端到端训练；
S4.1、用预训练网络模型初始化RPN网络参数，通过随机梯度下降算法和反向传播算法微调RPN网络参数；
S4.2、用预训练网络模型初始化Faster R-CNN目标检测网络参数，并用步骤S4.1中的RPN网络提取候选区域，训练目标检测网络；
S4.3、用步骤S4.2中目标检测网络重新初始化并微调RPN网络参数；
S4.4、用步骤S4.3中RPN网络提取目标候选区域。
5.根据权利要求1所述的基于异常峰值检测和孪生网络的跟踪与重检测方法，其特征在于，所述步骤S5中，将模板图像和目标候选区域作为孪生网络输入的具体方法为：
将模板图像和目标候选区域的大小均调整为107像素×107像素，并将其分别输入两个孪生子网络，两个孪生子网络输出的特征之间的欧式距离用来表征输入图像对之间的相似度，孪生网络最终在目标候选区域集合之间选择一个相似度最高的区域作为目标区域输出。
CN201910506402.1A 2019-06-12 2019-06-12 基于异常峰值检测和孪生网络的跟踪与重检测方法 Pending CN110309729A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910506402.1A CN110309729A (zh) 2019-06-12 2019-06-12 基于异常峰值检测和孪生网络的跟踪与重检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910506402.1A CN110309729A (zh) 2019-06-12 2019-06-12 基于异常峰值检测和孪生网络的跟踪与重检测方法

Publications (1)

Publication Number Publication Date
CN110309729A true CN110309729A (zh) 2019-10-08

Family

ID=68077391

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910506402.1A Pending CN110309729A (zh) 2019-06-12 2019-06-12 基于异常峰值检测和孪生网络的跟踪与重检测方法

Country Status (1)

Country Link
CN (1) CN110309729A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111524162A (zh) * 2020-04-15 2020-08-11 上海摩象网络科技有限公司 一种跟踪目标的找回方法、设备及手持相机
CN111724409A (zh) * 2020-05-18 2020-09-29 浙江工业大学 一种基于密集连接孪生神经网络的目标跟踪方法
CN111986517A (zh) * 2020-08-26 2020-11-24 珠海大横琴科技发展有限公司 一种船只异常检测方法、装置及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160019683A1 (en) * 2014-07-17 2016-01-21 Ricoh Company, Ltd. Object detection method and device
WO2018122459A1 (en) * 2017-01-02 2018-07-05 Tampereen Yliopisto Calcium level analysis in cardiomyocyte
CN108898620A (zh) * 2018-06-14 2018-11-27 厦门大学 基于多重孪生神经网络与区域神经网络的目标跟踪方法
CN109508655A (zh) * 2018-10-28 2019-03-22 北京化工大学 基于孪生网络的不完备训练集的sar目标识别方法
CN109766780A (zh) * 2018-12-20 2019-05-17 武汉理工大学 一种基于深度学习的船舶烟雾排放在线检测和追踪方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160019683A1 (en) * 2014-07-17 2016-01-21 Ricoh Company, Ltd. Object detection method and device
WO2018122459A1 (en) * 2017-01-02 2018-07-05 Tampereen Yliopisto Calcium level analysis in cardiomyocyte
CN108898620A (zh) * 2018-06-14 2018-11-27 厦门大学 基于多重孪生神经网络与区域神经网络的目标跟踪方法
CN109508655A (zh) * 2018-10-28 2019-03-22 北京化工大学 基于孪生网络的不完备训练集的sar目标识别方法
CN109766780A (zh) * 2018-12-20 2019-05-17 武汉理工大学 一种基于深度学习的船舶烟雾排放在线检测和追踪方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
BO LI等: "High performance visual tracking with siamese region proposal network", 《2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
刘延飞等: "基于异常值检测的KCF目标丢失预警方法研究", 《计算机工程与应用》 *
方萍等: "《试验设计与统计》", 30 June 2003, 浙江大学出版社 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111524162A (zh) * 2020-04-15 2020-08-11 上海摩象网络科技有限公司 一种跟踪目标的找回方法、设备及手持相机
WO2021208261A1 (zh) * 2020-04-15 2021-10-21 上海摩象网络科技有限公司 一种跟踪目标的找回方法、设备及手持相机
CN111524162B (zh) * 2020-04-15 2022-04-01 上海摩象网络科技有限公司 一种跟踪目标的找回方法、设备及手持相机
CN111724409A (zh) * 2020-05-18 2020-09-29 浙江工业大学 一种基于密集连接孪生神经网络的目标跟踪方法
CN111986517A (zh) * 2020-08-26 2020-11-24 珠海大横琴科技发展有限公司 一种船只异常检测方法、装置及存储介质

Similar Documents

Publication Publication Date Title
CN107832672B (zh) 一种利用姿态信息设计多损失函数的行人重识别方法
CN108052896B (zh) 基于卷积神经网络与支持向量机的人体行为识别方法
CN109657631B (zh) 人体姿态识别方法及装置
CN111814661B (zh) 基于残差-循环神经网络的人体行为识别方法
CN109685013B (zh) 人体姿态识别中头部关键点的检测方法及装置
CN105069434B (zh) 一种视频中人体动作行为识别方法
CN110674785A (zh) 一种基于人体关键点跟踪的多人姿态分析方法
CN111563452B (zh) 一种基于实例分割的多人体姿态检测及状态判别方法
CN104881029B (zh) 基于一点ransac和fast算法的移动机器人导航方法
CN107424161B (zh) 一种由粗至精的室内场景图像布局估计方法
CN114187665B (zh) 一种基于人体骨架热图的多人步态识别方法
CN110309729A (zh) 基于异常峰值检测和孪生网络的跟踪与重检测方法
CN105718882A (zh) 一种分辨率自适应特征提取与融合的行人重识别方法
CN104821010A (zh) 基于双目视觉的人手三维信息实时提取方法及***
Paral et al. Vision sensor-based shoe detection for human tracking in a human–robot coexisting environment: A photometric invariant approach using DBSCAN algorithm
CN111126494B (zh) 基于各向异性卷积的图像分类方法及***
CN113608663B (zh) 一种基于深度学习和k-曲率法的指尖跟踪方法
CN112287906B (zh) 一种基于深度特征融合的模板匹配跟踪方法及***
CN107798691A (zh) 一种基于视觉的无人机自主着陆地标实时检测跟踪方法
CN106529441B (zh) 基于模糊边界分片的深度动作图人体行为识别方法
CN106407978B (zh) 一种结合似物度的无约束视频中显著物体检测方法
CN102663777A (zh) 基于多视点视频的目标跟踪方法及***
CN101320477B (zh) 一种人体跟踪方法及其设备
CN113989604A (zh) 基于端到端深度学习的轮胎dot信息识别方法
CN113076891B (zh) 基于改进高分辨率网络的人体姿态预测方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20191008

RJ01 Rejection of invention patent application after publication