CN110232350A - 一种基于在线学习的实时水面多运动目标检测跟踪方法 - Google Patents
一种基于在线学习的实时水面多运动目标检测跟踪方法 Download PDFInfo
- Publication number
- CN110232350A CN110232350A CN201910496423.XA CN201910496423A CN110232350A CN 110232350 A CN110232350 A CN 110232350A CN 201910496423 A CN201910496423 A CN 201910496423A CN 110232350 A CN110232350 A CN 110232350A
- Authority
- CN
- China
- Prior art keywords
- tracking
- target
- improved
- fusion
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明属于多目标跟踪领域,具体涉及一种基于在线学***均优化修正作为融合修正的跟踪结果;通过将融合修正的跟踪结果加入训练集进而更新训练改进的YOLOv3和改进的SSD网络模型。
Description
技术领域
本发明属于多目标跟踪领域,具体涉及一种基于在线学习的实时水面多运动目标检测跟踪方法。
背景技术
中国是海洋大国,在不断加强海洋强国建设的背景下,大力发展海洋装备,增加对海洋的开发能力和控制能力,不断提高水面船舶的自动化、无人化以及智能化具有重要意义。尤其以水面无人艇为主的环境感知能力的提高,能够增强其作业效率以及安全性,同时提升无人艇的自主作业或作战能力,减少对于人员的需求。
作为无人的水面航行器,水面无人艇以其体积小、高速、智能、无人伤亡等优点正逐步替代舰艇平台来完成海上大范围、长时间的科学考察与工程任务,也可执行多种军事和非军事作业,如海域搜救、导航和水文地理勘察;水文信息监测、海洋气象预报、水下生物研究、海洋资源勘探以及区域海图绘制;近海地带防御;特定海域的侦察、搜索、探测和排雷;反潜作战、反特种作战以及打击海盗、反恐攻击等。
无人艇在较高速运动的情况下,面对前方的船只、礁石等障碍物时应予以躲避,但同时其也应遵守海面的航行规则,这给无人艇对于周围环境感知的能力以及自主航行能力提出了不小的要求。使用基于光视觉的光学图像具有丰富的环境细节信息,结合目前流行的卷积神经网络特征提取工具以及在线学习算法,使得光学图像易于检测到图像序列中的目标,为舰船目标识别、跟踪算法提供有效的目标区域,缩小搜索范围,降低算法的复杂度和运算量,从而提高水面无人艇对舰船目标侦查、打击能力。
发明内容
本发明的目的在于提供一种基于在线学习的实时水面多运动目标检测跟踪方法。
一种基于在线学习的实时水面多运动目标检测跟踪方法,该方法包括以下步骤:
步骤1:从输入的首帧视频中提取正负样本制作扩充数据集,训练模块训练改进的YOLOv3和改进的SSD网络模型;
步骤2:检测模块利用训练模块已经训练好的改进的YOLOv3和改进的SSD网络模型,检测输入的视频序列,获取目标候选框位置及其对应的特征和类别信息;
步骤3:用得到的检测结果初始化跟踪模块;
步骤4:通过相关滤波计算响应值,选取最大响应值位置作为初步跟踪结果;
步骤5:将两个跟踪结果的目标跟踪框融合取并集输入优化模块进行加权平均优化修正作为融合修正的跟踪结果;
步骤6:将得到的融合修正的跟踪结果输入在线学习模块,并更新训练模块改进的YOLOv3和改进的SSD网络模型。
步骤1所述的改进的YOLOv3为:在主网络Darkent-53之后增加2个卷积层,与YOLOv3原有的3个卷积层共同构建成含有5个不同尺度卷积层的特征金字塔,即:64×64,32×32,16×16,8×8和4×4分辨率;将每个以2倍步长对该特征金字塔执行上采样操作,与深度残差网络进行融合,每种尺度预测4种box,anchor的设计方式不变,仍然使用聚类,得到20个聚类中心,将其按照大小均分给5种尺度,形成改进的YOLOv3网络模型。
步骤1所述的改进的SSD网络模型为:采用归一化的思想对这些位置偏移值做一个sigmoid激活,将位置偏移值缩为0~1,b_x和b_y的值在(cell_x_loc,cell_x_loc+1),(cell_y_loc,cell_y_loc+1)之间波动,形成改进的SSD网络模型。
步骤1所述的训练模块的工作步骤包括:
步骤1.1:对首帧视频框出待跟踪的目标以及分配相应的ID,在框选位置附近采样,以目标区域为正样本,背景为负样本,建立数据集。
步骤1.2:将上一步建立的数据集中的目标置于不同背景下,再利用仿射变换,对数据集中的正负样本进行旋转、平移、缩放和翻转来增加训练样本,或者利用对目标区域进行循环移位来增加训练样本,扩充数据集。
步骤1.3:用扩充后的数据集离线训练改进的YOLOv3和改进的SSD网络,生成两个目标检测模型。
步骤2所述的检测模块的工作步骤包括:
步骤2.1:将第t帧视频分别输入改进的YOLOv3和改进的SSD目标检测模型。
步骤2.2:对第t帧视频进行目标检测,获取目标候选框位置和类别信息。
步骤2.3:提取目标候选框对应位置的LBP、CN和HOG特征。
步骤3所述的跟踪模块的工作步骤包括:
步骤3.1:根据第t-1帧视频的目标跟踪位置信息,提取其对应的LBP、CN和HOG特征。
步骤3.2:将目标的特征看成是一个多维向量,将LBP、CN和HOG特征进行融合,形成融合特征hrh;
步骤3.3:根据融合特征hrh,训练出一个能计算一个小窗口采样响应的响应函数f(h);
步骤3.4:将两个目标检测器的检测结果作为输入参数,对跟踪模块进行初始化;
步骤3.5:将提取出的第t帧视频的LBP、CN和HOG特征进行融合,将第t帧的融合特征作为响应函数f(h)的输入参数,计算出第t帧视频的目标候选框对应位置的响应值。
步骤3.2所述的融合特征hrh按下式计算:
hrh=λ1hlbp+λ2hcn+λ3hhog
其中,λ1表示LBP特征的融合系数,λ2表示CN特征的融合系数,λ3表示HOG特征的融合系数;hlbg表示LBP的特征向量,hcn表示CN的特征向量,hhog表示HOG的特征向量,hrh表示融合特征的特征向量。
步骤5所述的优化模块的工作步骤包括:
步骤5.1:将跟踪模块输出的第t帧视频的改进的YOLOv3和改进的SSD对应的跟踪结果进行融合,即取并集;
步骤5.2:利用存在冗余信息的合并边界框去进一步优化,修正目标边界框位置,输出融合修正的跟踪结果。
步骤5.2所述的利用存在冗余信息的合并边界框去进一步优化是通过对改进的YOLOv3和改进的SSD对应的跟踪结果的目标边界框采用加权平均的思想减少合并边界框中的冗余信息;根据加权平均的思想提出的检测结果位置修正公式表示为下式:
其中,i是目标类别;是改进的YOLOv3目标检测模型对应的跟踪结果;是改进的SSD目标检测模型对应的跟踪结果;loci是最终目标跟踪结果;是改进的YOLOv3预测候选框对应的最大响应值;是改进的SSD预测候选框对应的最大响应值。
步骤6所述的在线学习模块工作步骤包括:
步骤6.1:将第t帧视频的融合修正的跟踪结果中的跟踪目标与上一帧视频的跟踪结果中的跟踪目标进行匹配对比;
步骤6.2:当第t帧视频的融合修正的跟踪结果中的跟踪目标与上一帧视频中的跟踪目标一致时,则说明跟踪成功,然后将第t帧视频的融合修正的跟踪结果去更新数据集,重新训练改进的YOLOv3和改进的SSD网络,进而更新目标检测器;
步骤6.3:当第t帧视频的融合修正的跟踪结果中的跟踪目标比上一帧视频中的跟踪目标少时,则说明出现跟踪目标消失或被遮挡;当连续50帧未检测到此目标,则说明跟踪目标消失,否则说明跟踪目标被遮挡;目标被遮挡时记录下被遮挡的上一帧视频目标特征生成的响应函数;用此响应函数计算被遮挡目标初次出现的响应值,得到最大响应值对应的候选框作为该目标的跟踪框;
步骤6.4:当第t帧视频的融合修正的跟踪结果中的跟踪目标比上一帧视频中的跟踪目标多时,则说明出现新的跟踪目标,然后将第t帧视频的融合修正的跟踪结果去更新数据集,重新训练改进的YOLOv3和改进的SSD网络,进而更新目标检测器。
本发明的有益效果在于:
1.对YOLOv3和SSD算法进行改进,提高了模型检测精度。并通过这两种目标检测模型对输入视频序列检测,将其对应的跟踪结果融合,再通过加权平均进一步优化,减少合并边界框中的冗余信息,修正目标跟踪框位置。
2.以目标区域为正样本,背景为负样本,建立数据集,这种方式更能适应跟踪过程中的复杂变化,大大减少了漏跟、错跟以及跟踪目标丢失的现象。并根据已有数据集,将数据集中的目标置于不同背景下,再利用仿射变换或循环移位,扩充数据集,同时还有利于减少在复杂或者扭曲背景下的漏检和错检的现象。
3.由于采用了在线学习的方法,将检测到的目标视频序列加入数据集,训练更新模型,使得目标跟踪时的ID交换情况得到降低,逐渐提高了模型检测能力。
4.提取LBP、CN和HOG特征,并将其融合获得融合特征,提高了特征表达能力。对检测到的目标进行实时的跟踪,降低了跟踪的丢失率,提升了跟踪的准确率。
附图说明
图1为基于在线学习的实时水面多运动目标检测跟踪方法结构框图。
图2为训练模块流程图。
图3为检测流程图。
图4为跟踪模块流程图。
图5为优化模块流程图。
图6为在线学习模块流程图。
具体实施方式
下面结合附图对本发明做进一步的描述。
本发明目的在于提供一种基于在线学习的实时水面多运动目标检测跟踪方法,利用无人艇搭载的光学摄像机,通过图像处理、目标检测、识别以及跟踪等方法检测并识别出水面图像序列中的运动目标,使用基于在线学习的跟踪方法对水面存在的多个运动目标进行实时的跟踪,解决了针对水面多个运动目标跟踪的问题,适用于背景复杂、水面存在多个目标交叉运动的情况。具体是利用无人艇搭载光学摄像机获取水面图像序列,使用卷积神经网络对图像进行检测识别,之后使用基于在线学习的目标跟踪算法对水面的多个运动目标进行跟踪的方法,适用于背景复杂、水面存在多个目标交叉运动的情况。
采用安装在无人艇上的光学摄像机采集水面图像,将采集到的图像存储于计算机内部,使用计算机对采集到的图像进行处理从而实现目标跟踪功能。
如图1所示,一种基于在线学习的实时水面多运动目标检测跟踪方法,通过训练模块生成目标检测模型,把检测模块和跟踪模块相结合,利用优化模块对目标跟踪结果进行优化,并加入在线学习模块对目标模型进行不断更新,来达到对水面多运动目标检测跟踪的目的。
训练模块采集正负样本制作数据集,负责初始化目标模型。检测模块采用改进的YOLOv3和改进的SSD网络模型作为目标检测模型检测每一帧中的待检测目标。跟踪模块通过将提取的LBP、CN和HOG特征进行融合,利用响应矩阵计算最大响应值,将其对应候选框作为目标跟踪框。优化模块将两个检测模型对应的的跟踪结果进行融合(即取并集),再采用加权平均的思想对跟踪目标位置进行一步修正优化。在线学习模块根据检测跟踪的最终结果,持续更新和修正目标模型,提高检测精度。
主要步骤如下:首先从首帧视频中提取正负样本制作扩充数据集,其次利用已经训练好的改进的YOLOv3和改进的SSD网络模型检测输入的视频序列,获取目标候选框位置及其对应的特征和类别信息;之后用检测结果初始化跟踪模块;然后通过相关滤波计算响应值,选取最大响应值位置作为初步跟踪结果;将两个跟踪结果的目标跟踪框融合取并集进行加权平均优化修正作为融合修正的跟踪结果;通过将融合修正的跟踪结果加入训练集进而更新训练改进的YOLOv3和改进的SSD网络模型。
针对YOLOv3特征图尺度偏大,对大目标检测不准确的问题,对YOLOv3作出改进。在主网络Darkent-53之后又增加了2个卷积层,与YOLOv3原有的3个卷积层共同构建成含有5个不同尺度卷积层的特征金字塔,即:64×64,32×32,16×16,8×8和4×4分辨率;将每个以2倍步长对该特征金字塔执行上采样操作,与前面的深度残差网络进行融合,在提高对大目标检测精度的同时,也提高了对小目标的检测能力。为了进一步提高检测进度,每种尺度预测4种box,anchor的设计方式不变,仍然使用聚类,得到20个聚类中心,将其按照大小均分给5种尺度,形成改进的YOLOv3网络模型。采用改进的YOLOV3网络模型作为检测器,去检测目标,预测候选框。
如图2所示,所述的训练模块的工作步骤如下所示:
(1)对首帧视频框出待跟踪的目标以及分配相应的ID。在框选位置附近采样,以目标区域为正样本,背景为负样本,建立数据集。
(2)将上一步建立的数据集中的目标置于不同背景下,再利用仿射变换,对数据集中的正负样本进行旋转、平移、缩放和翻转来增加训练样本,或者利用对目标区域进行循环移位来增加训练样本,扩充数据集。
(3)用扩充后的数据集离线训练改进的YOLOv3和改进的SSD网络,生成两个目标检测模型。
如图3所示,所述的检测模块主要通过改进的YOLOv3和SSD目标检测模型实现的。将输入图像分成7×7的格子,每一个格子负责检测落入该格子的物体。如果某个物体的中心位置坐标落入到某个格子,那么这个格子负责检测这个物体。每个格子输出两个bounding box,以及检测出的物体属于某种类别的概率。bounding box包含5个数据信息:检测框的宽高,中心坐标值。通过卷积层和全连接层的特征提取过程以及回归分类后,得到输入图片中的物体的检测框信息以及物体属于某种类别的置信度得分。
在网络中引入RPN结构来产生多个候选区域的特征层并依此进行目标特征的提取融合。具体为:将原始输入图像通过卷积网络提取到特征以后,在提取的特征图上,使用一个小型滑动窗来提取不同尺寸的小型特征,将提取到的特征输入到两个全连接层来进行回归以及分类任务从而得到预设的anchor box与实际的groundtruth box之间的变换参数,即平移(dx和dy)以及伸缩参数(dw和dh),由此得到候选区域。预设的anchor box变换到groundtruth box需要做一系列的映射,具体主要为:首先得到平移变换参数(Δx,Δy),之后计算在输入图像中目标框的具***置坐标;其次得到缩放参数(sw,sh),之后计算在输入图像中目标框的实际大小。
针对SSD预测出相对于default box的每个box的位置偏移不稳定,可能会出现太大的值超出图片范围的情况,本发明采用归一化的思想对这些位置偏移值做一个sigmoid激活,将位置偏移值缩为0~1,b_x和b_y的值在(cell_x_loc,cell_x_loc+1),(cell_y_loc,cell_y_loc+1)之间波动,形成改进的SSD网络模型,作为检测跟踪目标的检测器,预测候选框。
检测模块的工作步骤如下所示:
(1)将第t帧视频分别输入改进的YOLOv3和改进的SSD目标检测模型。
(2)对第t帧视频进行目标检测,获取目标候选框位置和类别信息。
(3)提取目标候选框对应位置的LBP、CN和HOG特征。
如图4所示,所述的跟踪模块的工作步骤如下所示:
(1)根据第t-1帧视频的目标跟踪位置信息,提取其对应的LBP、CN和HOG特征。
(2)将目标的特征看成是一个多维向量,将LBP、CN和HOG特征进行融合,形成融合特征,计算公式如下:
hrh=λ1hlbp+λ2hcn+λ3hhog
其中:λ1表示LBP特征的融合系数,λ2表示CN特征的融合系数,λ3表示HOG特征的融合系数;hlbg表示LBP的特征向量,hcn表示CN的特征向量,hhog表示HOG的特征向量,hrh表示融合特征的特征向量。
(3)根据融合特征hrh,训练出一个能计算一个小窗口采样响应的响应函数f(h)。
(4)将两个目标检测器的检测结果作为输入参数,对跟踪模块进行初始化。
(5)将提取出的第t帧视频的LBP、CN和HOG特征进行融合,将第t帧的融合特征作为响应函数f(h)的输入参数,计算出第t帧视频的目标候选框对应位置的响应值。
(6)选取最大响应值对应的目标候选框结合初始化输入的类别信息作为最初跟踪结果,输出第t帧视频的改进的YOLOv3和改进的SSD目标模型所对应的跟踪结果。
如图5所示,所述的优化模块的工作步骤如下所示:
(1)将跟踪模块输出的第t帧视频的改进的YOLOv3和改进的SSD对应的跟踪结果进行融合(即取并集)。
(2)利用存在冗余信息的合并边界框去进一步优化,修正目标边界框位置,输出融合修正的跟踪结果。本发明通过对改进的YOLOv3和改进的SSD对应的跟踪结果的目标边界框采用加权平均的思想减少合并边界框中的冗余信息。根据加权平均的思想提出的检测结果位置修正公式如下:
其中:i是目标类别;是改进的YOLOv3目标检测模型对应的跟踪结果;是改进的SSD目标检测模型对应的跟踪结果;loci是最终目标跟踪结果;是改进的YOLOv3预测候选框对应的最大响应值;是改进的SSD预测候选框对应的最大响应值。
如图6所示,所述的在线学习模块的工作步骤如下所示:
(1)将第t帧视频的融合修正的跟踪结果中的跟踪目标与上一帧视频的跟踪结果中的跟踪目标进行匹配对比。
(2)当第t帧视频的融合修正的跟踪结果中的跟踪目标与上一帧视频中的跟踪目标一致时,则说明跟踪成功,然后将第t帧视频的融合修正的跟踪结果去更新数据集,重新训练改进的YOLOv3和改进的SSD网络,进而更新目标检测器。
(3)当第t帧视频的融合修正的跟踪结果中的跟踪目标比上一帧视频中的跟踪目标少时,则说明出现跟踪目标消失或被遮挡。当连续50帧未检测到此目标,则说明跟踪目标消失,否则说明跟踪目标被遮挡。目标被遮挡时记录下被遮挡的上一帧视频目标特征生成的响应函数。用此响应函数计算被遮挡目标初次出现的响应值,得到最大响应值对应的候选框作为该目标的跟踪框。
(4)当第t帧视频的融合修正的跟踪结果中的跟踪目标比上一帧视频中的跟踪目标多时,则说明出现新的跟踪目标,然后将第t帧视频的融合修正的跟踪结果去更新数据集,重新训练改进的YOLOv3和改进的SSD网络,进而更新目标检测器。
本发明提出的一种基于在线学习的实时水面多运动目标检测跟踪方法,通过仿射变换或循环移位制作大量的样本用于训练,改进YOLOv3和SSD网络模型,来提高目标模型检测率,通过特征融合和跟踪框位置修正优化提高最终的跟踪结果,降低了漏检率和虚警率,使得目标跟踪效果很好。
本发明涉及水面多运动目标的在线检测跟踪方法,是一种基于在线学***均的思想对跟踪目标位置进行一步修正优化。在线学***均优化修正作为融合修正的跟踪结果;通过将融合修正的跟踪结果加入训练集进而更新训练改进的YOLOv3和改进的SSD网络模型。
Claims (10)
1.一种基于在线学习的实时水面多运动目标检测跟踪方法,其特征在于,该方法包括以下步骤:
步骤1:从输入的首帧视频中提取正负样本制作扩充数据集,训练模块训练改进的YOLOv3和改进的SSD网络模型;
步骤2:检测模块利用训练模块已经训练好的改进的YOLOv3和改进的SSD网络模型,检测输入的视频序列,获取目标候选框位置及其对应的特征和类别信息;
步骤3:用得到的检测结果初始化跟踪模块;
步骤4:通过相关滤波计算响应值,选取最大响应值位置作为初步跟踪结果;
步骤5:将两个跟踪结果的目标跟踪框融合取并集输入优化模块进行加权平均优化修正作为融合修正的跟踪结果;
步骤6:将得到的融合修正的跟踪结果输入在线学习模块,并更新训练模块改进的YOLOv3和改进的SSD网络模型。
2.根据权利要求1所述的一种基于在线学习的实时水面多运动目标检测跟踪方法,其特征在于,步骤1所述的改进的YOLOv3为:在主网络Darkent-53之后增加2个卷积层,与YOLOv3原有的3个卷积层共同构建成含有5个不同尺度卷积层的特征金字塔,即:64×64,32×32,16×16,8×8和4×4分辨率;将每个以2倍步长对该特征金字塔执行上采样操作,与深度残差网络进行融合,每种尺度预测4种box,anchor的设计方式不变,仍然使用聚类,得到20个聚类中心,将其按照大小均分给5种尺度,形成改进的YOLOv3网络模型。
3.根据权利要求1所述的一种基于在线学习的实时水面多运动目标检测跟踪方法,其特征在于,步骤1所述的改进的SSD网络模型为:采用归一化的思想对这些位置偏移值做一个sigmoid激活,将位置偏移值缩为0~1,b_x和b_y的值在(cell_x_loc,cell_x_loc+1),(cell_y_loc,cell_y_loc+1)之间波动,形成改进的SSD网络模型。
4.根据权利要求1所述的一种基于在线学习的实时水面多运动目标检测跟踪方法,其特征在于,步骤1所述的训练模块的工作步骤包括:
步骤1.1:对首帧视频框出待跟踪的目标以及分配相应的ID,在框选位置附近采样,以目标区域为正样本,背景为负样本,建立数据集;
步骤1.2:将上一步建立的数据集中的目标置于不同背景下,再利用仿射变换,对数据集中的正负样本进行旋转、平移、缩放和翻转来增加训练样本,利用对目标区域进行循环移位来增加训练样本,扩充数据集;
步骤1.3:用扩充后的数据集离线训练改进的YOLOv3和改进的SSD网络,生成两个目标检测模型。
5.根据权利要求1所述的一种基于在线学习的实时水面多运动目标检测跟踪方法,其特征在于,步骤2所述的检测模块的工作步骤包括:
步骤2.1:将第t帧视频分别输入改进的YOLOv3和改进的SSD目标检测模型;
步骤2.2:对第t帧视频进行目标检测,获取目标候选框位置和类别信息;
步骤2.3:提取目标候选框对应位置的LBP、CN和HOG特征。
6.根据权利要求1所述的一种基于在线学习的实时水面多运动目标检测跟踪方法,其特征在于,步骤3所述的跟踪模块的工作步骤包括:
步骤3.1:根据第t-1帧视频的目标跟踪位置信息,提取其对应的LBP、CN和HOG特征;
步骤3.2:将目标的特征看成是一个多维向量,将LBP、CN和HOG特征进行融合,形成融合特征hrh;
步骤3.3:根据融合特征hrh,训练出一个能计算一个小窗口采样响应的响应函数f(h);
步骤3.4:将两个目标检测器的检测结果作为输入参数,对跟踪模块进行初始化;
步骤3.5:将提取出的第t帧视频的LBP、CN和HOG特征进行融合,将第t帧的融合特征作为响应函数f(h)的输入参数,计算出第t帧视频的目标候选框对应位置的响应值。
7.根据权利要求6所述的一种基于在线学习的实时水面多运动目标检测跟踪方法,其特征在于,步骤3.2所述的融合特征hrh按下式计算:
hrh=λ1hlbp+λ2hcn+λ3hhog
其中,λ1表示LBP特征的融合系数,λ2表示CN特征的融合系数,λ3表示HOG特征的融合系数;hlbg表示LBP的特征向量,hcn表示CN的特征向量,hhog表示HOG的特征向量,hrh表示融合特征的特征向量。
8.根据权利要求1所述的一种基于在线学习的实时水面多运动目标检测跟踪方法,其特征在于,步骤5所述的优化模块的工作步骤包括:
步骤5.1:将跟踪模块输出的第t帧视频的改进的YOLOv3和改进的SSD对应的跟踪结果进行融合,即取并集;
步骤5.2:利用存在冗余信息的合并边界框来优化,修正目标边界框位置,输出融合修正的跟踪结果。
9.根据权利要求8所述的一种基于在线学***均的思想减少合并边界框中的冗余信息;根据加权平均的思想提出的检测结果位置修正公式表示为下式:
其中,i是目标类别;是改进的YOLOv3目标检测模型对应的跟踪结果;是改进的SSD目标检测模型对应的跟踪结果;loci是最终目标跟踪结果;是改进的YOLOv3预测候选框对应的最大响应值;是改进的SSD预测候选框对应的最大响应值。
10.根据权利要求1所述的一种基于在线学习的实时水面多运动目标检测跟踪方法,其特征在于,步骤6所述的在线学习模块工作步骤包括:
步骤6.1:将第t帧视频的融合修正的跟踪结果中的跟踪目标与上一帧视频的跟踪结果中的跟踪目标进行匹配对比;
步骤6.2:当第t帧视频的融合修正的跟踪结果中的跟踪目标与上一帧视频中的跟踪目标一致时,则说明跟踪成功,然后将第t帧视频的融合修正的跟踪结果去更新数据集,重新训练改进的YOLOv3和改进的SSD网络,进而更新目标检测器;
步骤6.3:当第t帧视频的融合修正的跟踪结果中的跟踪目标比上一帧视频中的跟踪目标少时,则说明出现跟踪目标消失、被遮挡;当连续50帧未检测到此目标,则说明跟踪目标消失,否则说明跟踪目标被遮挡;目标被遮挡时记录下被遮挡的上一帧视频目标特征生成的响应函数;用此响应函数计算被遮挡目标初次出现的响应值,找出最大响应值对应的候选框作为该目标的跟踪框;
步骤6.4:当第t帧视频的融合修正的跟踪结果中的跟踪目标比上一帧视频中的跟踪目标多时,则说明出现新的跟踪目标,然后将第t帧视频的融合修正的跟踪结果去更新数据集,重新训练改进的YOLOv3和改进的SSD网络,进而更新目标检测器。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910496423.XA CN110232350B (zh) | 2019-06-10 | 2019-06-10 | 一种基于在线学习的实时水面多运动目标检测跟踪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910496423.XA CN110232350B (zh) | 2019-06-10 | 2019-06-10 | 一种基于在线学习的实时水面多运动目标检测跟踪方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110232350A true CN110232350A (zh) | 2019-09-13 |
CN110232350B CN110232350B (zh) | 2022-12-13 |
Family
ID=67859496
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910496423.XA Active CN110232350B (zh) | 2019-06-10 | 2019-06-10 | 一种基于在线学习的实时水面多运动目标检测跟踪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110232350B (zh) |
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110660052A (zh) * | 2019-09-23 | 2020-01-07 | 武汉科技大学 | 一种基于深度学习的热轧带钢表面缺陷检测方法 |
CN110688978A (zh) * | 2019-10-10 | 2020-01-14 | 广东工业大学 | 一种行人检测方法、装置、***和设备 |
CN110796682A (zh) * | 2019-09-25 | 2020-02-14 | 北京成峰科技有限公司 | 运动目标的检测识别方法及检测识别*** |
CN110826520A (zh) * | 2019-11-14 | 2020-02-21 | 燕山大学 | 一种基于改进YOLOv3-tiny算法的港口抓斗检测方法 |
CN111046971A (zh) * | 2019-12-24 | 2020-04-21 | 上海眼控科技股份有限公司 | 图像识别方法、装置、设备及计算机可读存储介质 |
CN111241931A (zh) * | 2019-12-30 | 2020-06-05 | 沈阳理工大学 | 一种基于YOLOv3的空中无人机目标识别和跟踪方法 |
CN111582349A (zh) * | 2020-04-30 | 2020-08-25 | 陕西师范大学 | 一种基于YOLOv3和核相关滤波改进的目标跟踪算法 |
CN111667505A (zh) * | 2020-04-30 | 2020-09-15 | 北京捷通华声科技股份有限公司 | 一种定置物品跟踪的方法和装置 |
CN111666871A (zh) * | 2020-06-03 | 2020-09-15 | 南京航空航天大学 | 一种面向无人机的改进yolo与sift相结合的多小目标检测跟踪方法 |
CN111736600A (zh) * | 2020-06-10 | 2020-10-02 | 哈尔滨工程大学 | 一种时滞非对称时变全状态约束下的水面无人艇轨迹跟踪控制方法 |
CN111814565A (zh) * | 2020-06-11 | 2020-10-23 | 北京微播易科技股份有限公司 | 一种目标检测方法和装置 |
CN111860436A (zh) * | 2020-07-31 | 2020-10-30 | 济南浪潮高新科技投资发展有限公司 | 一种提高检测***检测可靠性的方法 |
CN112183558A (zh) * | 2020-09-30 | 2021-01-05 | 北京理工大学 | 一种基于YOLOv3的目标检测和特征提取一体化网络 |
CN112308010A (zh) * | 2020-11-12 | 2021-02-02 | 珠海大横琴科技发展有限公司 | 一种基于yolo-v3算法的船只遮挡检测方法及装置 |
CN112381092A (zh) * | 2020-11-20 | 2021-02-19 | 深圳力维智联技术有限公司 | 跟踪方法、装置及计算机可读存储介质 |
CN113505663A (zh) * | 2021-08-16 | 2021-10-15 | 浙江浩腾电子科技股份有限公司 | 一种基于人工智能的电动自行车闯红灯视频分析识别方法 |
CN113902773A (zh) * | 2021-09-24 | 2022-01-07 | 南京信息工程大学 | 一种使用双检测器的长期目标跟踪方法 |
CN114821252A (zh) * | 2022-03-16 | 2022-07-29 | 电子科技大学 | 一种图像识别算法的自成长方法 |
CN115690061A (zh) * | 2022-11-08 | 2023-02-03 | 北京国泰星云科技有限公司 | 一种基于视觉的集装箱码头集卡车检测方法 |
CN117576164A (zh) * | 2023-12-14 | 2024-02-20 | 中国人民解放军海军航空大学 | 基于特征联合学习的遥感视频海陆运动目标跟踪方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109117794A (zh) * | 2018-08-16 | 2019-01-01 | 广东工业大学 | 一种运动目标行为跟踪方法、装置、设备及可读存储介质 |
CN109784198A (zh) * | 2018-12-21 | 2019-05-21 | 北方工业大学 | 机场遥感图像飞机辨识方法及装置 |
-
2019
- 2019-06-10 CN CN201910496423.XA patent/CN110232350B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109117794A (zh) * | 2018-08-16 | 2019-01-01 | 广东工业大学 | 一种运动目标行为跟踪方法、装置、设备及可读存储介质 |
CN109784198A (zh) * | 2018-12-21 | 2019-05-21 | 北方工业大学 | 机场遥感图像飞机辨识方法及装置 |
Non-Patent Citations (4)
Title |
---|
XIANG ZHANG等: "A Fast Learning Method for Accurate and Robust Lane Detection Using Two-Stage Feature Extraction with YOLOv3", 《SENSORS》 * |
姚群力等: "深度卷积神经网络在目标检测中的研究进展", 《计算机工程与应用》 * |
张富凯等: "基于改进YOLOv3 的快速车辆检测方法", 《计算机工程与应用》 * |
邓炜等: "联合语义的深度学习行人检测", 《计算机***应用》 * |
Cited By (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110660052A (zh) * | 2019-09-23 | 2020-01-07 | 武汉科技大学 | 一种基于深度学习的热轧带钢表面缺陷检测方法 |
CN110660052B (zh) * | 2019-09-23 | 2023-04-07 | 武汉科技大学 | 一种基于深度学习的热轧带钢表面缺陷检测方法 |
CN110796682A (zh) * | 2019-09-25 | 2020-02-14 | 北京成峰科技有限公司 | 运动目标的检测识别方法及检测识别*** |
CN110688978A (zh) * | 2019-10-10 | 2020-01-14 | 广东工业大学 | 一种行人检测方法、装置、***和设备 |
CN110826520A (zh) * | 2019-11-14 | 2020-02-21 | 燕山大学 | 一种基于改进YOLOv3-tiny算法的港口抓斗检测方法 |
CN111046971A (zh) * | 2019-12-24 | 2020-04-21 | 上海眼控科技股份有限公司 | 图像识别方法、装置、设备及计算机可读存储介质 |
CN111241931A (zh) * | 2019-12-30 | 2020-06-05 | 沈阳理工大学 | 一种基于YOLOv3的空中无人机目标识别和跟踪方法 |
CN111241931B (zh) * | 2019-12-30 | 2023-04-18 | 沈阳理工大学 | 一种基于YOLOv3的空中无人机目标识别和跟踪方法 |
CN111582349A (zh) * | 2020-04-30 | 2020-08-25 | 陕西师范大学 | 一种基于YOLOv3和核相关滤波改进的目标跟踪算法 |
CN111667505A (zh) * | 2020-04-30 | 2020-09-15 | 北京捷通华声科技股份有限公司 | 一种定置物品跟踪的方法和装置 |
CN111667505B (zh) * | 2020-04-30 | 2023-04-07 | 北京捷通华声科技股份有限公司 | 一种定置物品跟踪的方法和装置 |
CN111666871A (zh) * | 2020-06-03 | 2020-09-15 | 南京航空航天大学 | 一种面向无人机的改进yolo与sift相结合的多小目标检测跟踪方法 |
CN111666871B (zh) * | 2020-06-03 | 2024-02-09 | 南京航空航天大学 | 一种面向无人机的改进yolo与sift相结合的多小目标检测跟踪方法 |
CN111736600A (zh) * | 2020-06-10 | 2020-10-02 | 哈尔滨工程大学 | 一种时滞非对称时变全状态约束下的水面无人艇轨迹跟踪控制方法 |
CN111736600B (zh) * | 2020-06-10 | 2022-04-15 | 哈尔滨工程大学 | 一种时滞非对称时变全状态约束下的水面无人艇轨迹跟踪控制方法 |
CN111814565A (zh) * | 2020-06-11 | 2020-10-23 | 北京微播易科技股份有限公司 | 一种目标检测方法和装置 |
CN111860436A (zh) * | 2020-07-31 | 2020-10-30 | 济南浪潮高新科技投资发展有限公司 | 一种提高检测***检测可靠性的方法 |
CN112183558A (zh) * | 2020-09-30 | 2021-01-05 | 北京理工大学 | 一种基于YOLOv3的目标检测和特征提取一体化网络 |
CN112308010A (zh) * | 2020-11-12 | 2021-02-02 | 珠海大横琴科技发展有限公司 | 一种基于yolo-v3算法的船只遮挡检测方法及装置 |
CN112381092A (zh) * | 2020-11-20 | 2021-02-19 | 深圳力维智联技术有限公司 | 跟踪方法、装置及计算机可读存储介质 |
CN113505663A (zh) * | 2021-08-16 | 2021-10-15 | 浙江浩腾电子科技股份有限公司 | 一种基于人工智能的电动自行车闯红灯视频分析识别方法 |
CN113902773A (zh) * | 2021-09-24 | 2022-01-07 | 南京信息工程大学 | 一种使用双检测器的长期目标跟踪方法 |
CN114821252A (zh) * | 2022-03-16 | 2022-07-29 | 电子科技大学 | 一种图像识别算法的自成长方法 |
CN115690061A (zh) * | 2022-11-08 | 2023-02-03 | 北京国泰星云科技有限公司 | 一种基于视觉的集装箱码头集卡车检测方法 |
CN115690061B (zh) * | 2022-11-08 | 2024-01-05 | 北京国泰星云科技有限公司 | 一种基于视觉的集装箱码头集卡车检测方法 |
CN117576164A (zh) * | 2023-12-14 | 2024-02-20 | 中国人民解放军海军航空大学 | 基于特征联合学习的遥感视频海陆运动目标跟踪方法 |
CN117576164B (zh) * | 2023-12-14 | 2024-05-03 | 中国人民解放军海军航空大学 | 基于特征联合学习的遥感视频海陆运动目标跟踪方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110232350B (zh) | 2022-12-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110232350A (zh) | 一种基于在线学习的实时水面多运动目标检测跟踪方法 | |
CN110782481B (zh) | 无人艇智能决策方法及*** | |
CN109800689B (zh) | 一种基于时空特征融合学习的目标跟踪方法 | |
CN110675418B (zh) | 一种基于ds证据理论的目标轨迹优化方法 | |
Yulin et al. | Shipwreck target recognition in side-scan sonar images by improved YOLOv3 model based on transfer learning | |
CN109740665A (zh) | 基于专家知识约束的遮挡图像船只目标检测方法及*** | |
CN110889324A (zh) | 一种基于yolo v3面向末端制导的热红外图像目标识别方法 | |
CN113052876B (zh) | 一种基于深度学习的视频接力跟踪方法及*** | |
CN105184816A (zh) | 基于usv的视觉检测和水面目标追踪***及其检测追踪方法 | |
CN111723632B (zh) | 一种基于孪生网络的船舶跟踪方法及*** | |
CN109859202A (zh) | 一种基于usv水面光学目标跟踪的深度学习检测方法 | |
CN110826575A (zh) | 一种基于机器学习的水下目标识别方法 | |
CN115761393B (zh) | 一种基于模板在线学习的无锚目标跟踪方法 | |
CN116665148A (zh) | 基于合成孔径雷达数据的海上船舶检测方法 | |
CN115080903B (zh) | 一种基于智能优化算法的海上多目标多模态匹配融合方法 | |
CN116486243A (zh) | 基于DP-ViT的声呐图像目标检测方法 | |
Zhang et al. | Nearshore vessel detection based on Scene-mask R-CNN in remote sensing image | |
Wang et al. | Human detection based on improved mask R-CNN | |
Li et al. | Vision-based target detection and positioning approach for underwater robots | |
CN109636834A (zh) | 基于tld改进算法的视频车辆目标跟踪算法 | |
CN112597956A (zh) | 基于人体锚点集合与感知增强网络的多人姿态估计方法 | |
Bhattacharjee et al. | A Deep-Learning-Based Lightweight Model for Ship Localizations in SAR Images | |
CN115908508A (zh) | 基于阵列相机的海岸线船只实时跟踪方法 | |
CN113177969B (zh) | 一种基于运动方向变化的候选种子的点云单目标跟踪方法 | |
Wang et al. | Structures Detection Based on CLSK Model Combined with Shadow Information Using High Resolution Remote Sensing Images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |