CN111611836A - 基于背景消除法的船只检测模型训练及船只跟踪方法 - Google Patents

基于背景消除法的船只检测模型训练及船只跟踪方法 Download PDF

Info

Publication number
CN111611836A
CN111611836A CN201911381857.1A CN201911381857A CN111611836A CN 111611836 A CN111611836 A CN 111611836A CN 201911381857 A CN201911381857 A CN 201911381857A CN 111611836 A CN111611836 A CN 111611836A
Authority
CN
China
Prior art keywords
ship
image
background elimination
training
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911381857.1A
Other languages
English (en)
Inventor
邓练兵
邹纪升
逯明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuhai Dahengqin Technology Development Co Ltd
Original Assignee
Zhuhai Dahengqin Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhuhai Dahengqin Technology Development Co Ltd filed Critical Zhuhai Dahengqin Technology Development Co Ltd
Priority to CN201911381857.1A priority Critical patent/CN111611836A/zh
Publication of CN111611836A publication Critical patent/CN111611836A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于背景消除法的船只检测模型训练及船只跟踪方法,其中,基于背景消除法的船只检测模型训练方法,包括:获取船只图像训练样本,所述船只图像训练样本为根据背景消除法提取出的船只图像;根据所述船只图像训练样本对神经网络模型进行训练,获取所述神经网络模型的输出向量;根据所述船只图像训练样本对应的实际结果及所述输出向量计算所述神经网络模型的损失;对所述损失进行梯度反转;根据梯度反转后的损失调整所述神经网络模型的权重参数,构建船只检测模型。通过实施本发明,能够实现增高其船只检测的准确率,实现了快速准确地对船只图像的检测,以及提高了对船只跟踪的准确率。

Description

基于背景消除法的船只检测模型训练及船只跟踪方法
技术领域
本发明涉及计算机视觉领域,具体涉及一种基于背景消除法的船只检测模型训练及船只跟踪方法。
背景技术
随着水上交通、渔业管理的蓬勃发展,对船只的检测与跟踪也日益受到重视。船只作为一种重要的交通运输工具,被运用到方方面面,为了保证船只的安全以及掌握船只的航行状态,对船只的跟踪必不可少。如何准确快速地跟踪船只成为了一个亟需解决的问题。
发明内容
因此,本发明要解决的技术问题在于如何准确快速地跟踪船只,从而提供基于背景消除法的船只检测模型训练及船只跟踪方法。
根据第一方面,本发明实施例提供一种基于背景消除法的船只检测模型训练方法,包括:获取船只图像训练样本,所述船只图像训练样本为根据背景消除法提取出的船只图像;根据所述船只图像训练样本对神经网络模型进行训练,获取所述神经网络模型的输出向量;根据所述船只图像训练样本对应的实际结果及所述输出向量计算所述神经网络模型的损失;对所述损失进行梯度反转;根据梯度反转后的损失调整所述神经网络模型的权重参数,构建船只检测模型。
结合第一方面,在第一方面第一实施方式中,所述船只图像训练样本为根据背景消除法提取的船只图像,包括:截取出现船只数量低于第一阈值的图片序列;对所述图片序列求取图片均值,将求取的所述图片均值作为背景模型;根据所述背景模型,得到船只图像训练样本。
结合第一方面,在第一方面第二实施方式中,基于背景消除法的船只检测模型训练方法,还包括:获取船只图像测试样本,所述船只图像测试样本为根据所述背景消除法提取出的船只图像;根据所述船只图像测试样本及所述基于背景消除法的船只检测模型得到测试结果;根据所述测试结果判断所述基于背景消除法的船只检测模型的准确率是否高于预设阈值;当所述基于背景消除法的船只检测模型的准确率高于所述预设阈值,将所述基于背景消除法的船只检测模型确定为可用的基于背景消除法的船只检测模型。
根据第二方面,本发明实施例提供一种船只跟踪方法,包括如下步骤:获取船只视频图像,利用背景消除法在所述船只视频图像中提取出船只图像;将所述船只图像输入至预设的基于背景消除法的船只检测模型,得到船只检测结果;所述预设的船只检测模型通过如第一方面或第一方面任一实施方式所述的基于背景消除法的船只跟踪模型训练方法训练生成;将所述船只检测结果利用目标算法进行关联,得到所述船只的运行轨迹。
结合第二方面,在第二方面第一实施方式中,所述将所述船只检测结果利用目标算法进行关联,得到所述船只的运行轨迹的步骤,包括:获取当前视频图像的所述船只检测结果与下一视频图像的各个所述船只检测结果的匹配权重;选取下一视频图像中匹配权重的最大值所在的所述船只检测结果,进行数据关联;当选取的所述匹配权重的最大值所在的所述船只检测结果已被关联,则减小所述匹配权重,重新选取下一所述视频图像中与减小后的所述匹配权重的最大值所在的所述船只检测结果,进行数据关联。
结合第二方面第一实施方式,在第二方面第二实施方式中,所述获取当前视频图像的所述船只检测结果与下一视频图像的各个所述船只检测结果的匹配权重,包括:获取船只的运动参数,根据所述运动参数预测所述船只运动轨迹,得到船只预测位置;根据所述船只预测位置与所述船只检测结果判断运动匹配程度;根据最小余弦距离判断相邻所述船只检测结果的外观匹配程度;根据所述运动匹配程度和所述外观匹配程度确定所述匹配权重。
根据第三方面,本发明实施例提供一种基于背景消除法的船只跟踪模型训练装置,包括:样本获取模块,用于获取船只图像训练样本,所述船只图像训练样本为根据背景消除法提取出的船只图像;向量获取模块,用于根据所述船只图像训练样本对神经网络模型进行训练,获取所述神经网络模型的输出向量;损失计算模块,用于根据所述船只图像训练样本对应的实际结果及所述输出向量计算所述神经网络模型的损失;梯度反转模块,用于对所述损失进行梯度反转;模型构建模块,用于根据梯度反转后的损失调整所述神经网络模型的权重参数,构建船只检测模型。
根据第四方面,本发明实施例提供一种船只跟踪装置,包括:视频图像获取模块,用于获取船只视频图像,利用背景消除法在所述船只视频图像中提取出船只图像;检测模块,用于将所述船只图像输入至预设的基于背景消除法的船只检测模型,得到船只检测结果;所述预设的船只检测模型通过如第一方面或第一方面任一实施方式所述的基于背景消除法的船只跟踪模型训练方法训练生成;关联模块,用于将所述船只检测结果利用目标算法进行关联,得到所述船只的运行轨迹。
根据第五方面,本发明实施例提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现第一方面或第一方面任一实施方式所述的基于背景消除法的船只跟踪模型训练方法或第二方面或第二方面任一实施方式所述的船只跟踪方法的步骤。
根据第六方面,本发明实施例提供一种存储介质,其上存储有计算机指令,该指令被处理器执行时实现第一方面或第一方面任一实施方式所述的基于背景消除法的船只跟踪模型训练方法或第二方面或第二方面任一实施方式所述的船只跟踪方法的步骤。
本发明技术方案,具有如下优点:
1.本发明提供的基于背景消除法的船只检测模型训练方法及装置,对船只图像训练样本根据背景消除法提取出船只图像,对通过背景消除法提取的船只图像进行神经网络模型训练,从而构建船只检测模型,由于由背景消除法消除背景后的船只图像的特征更加明显,将该船只图像利用船只检测模型进行检测,能够增高其船只检测的准确率,实现了快速准确地对船只图像的检测,以便于后续对船只的快速跟踪。
2.本发明提供的基于背景消除法的船只检测模型训练方法及装置,利用一个图片序列的均值作为背景模型,建立的背景模型的有效性更高,更加能够还原实际的背景模型,提高了基于背景消除法的船只检测模型的准确率。
3.本发明提供的测试集用于测试训练好的神经网络模型的准确性,选取满足准确率条件的神经网络模型,给予了神经网络模型选择的指标,有利于神经网络模型的验证与选择。
4.本发明提供的船只跟踪方法及装置,将经过背景消除的船只图像输入上述的基于背景消除法的船只检测模型,再根据目标算法对船只检测结果进行关联,实现了快速准确地对船只进行跟踪。
5.本发明提供的利用运动匹配程度和外观匹配程度确定匹配权重,既考虑了船只的运动情况,又考虑了外观匹配度,使得到的匹配权重的匹配度更高。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例中基于背景消除法的船只检测模型训练方法的一个具体示例的流程图;
图2为本发明实施例中船只跟踪方法的一个具体示例的流程图;
图3为本发明实施例中船只跟踪方法的一个具体示例图;
图4为本发明实施例中基于背景消除法的船只检测模型训练装置的一个具体示例的原理框图;
图5为本发明实施例中船只跟踪装置的一个具体示例的原理框图;
图6为本发明实施例中电子设备的一个具体示例的原理框图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明的描述中,需要说明的是,术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
在本发明的描述中,需要说明的是,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,还可以是两个元件内部的连通,可以是无线连接,也可以是有线连接。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
此外,下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
本实施例提供一种基于背景消除法的船只检测模型训练方法,如图1所示,包括如下步骤:
S110:获取船只图像训练样本,船只图像训练样本为根据背景消除法提取出的船只图像。
示例性地,船只图像样本的获取方式可以是从无人机拍摄的视频中解帧获取,也可以是从网络数据库中获取。将船只图像样本取出70%根据背景消除法提取船只图像作为船只图像训练样本的方式可以是先获取一张背景图像或者建立背景模型,将当前船只图像样本与背景图像或者背景模型进行比较,比如,用当前船只图像样本减去背景图像或者背景模型,得到船只图像,将船只图像作为船只图像训练样本。本实施例对船只图像训练样本获取方式不做限定,可以根据需要确定。
S120:根据船只图像训练样本对神经网络模型进行训练,获取神经网络模型的输出向量。
示例性地,船只图像训练样本对神经网络模型进行训练的方式可以是对船只图像训练样本中的船只位置进行标记,将标记位置的船只图像训练样本输入神经网络,利用梯度下降法计算损失函数的最小值,以寻求损失函数最小值为约束条件,调节神经网络中各个卷积层、池化层、全连接层、分类层等的参数及权重,以使神经网络模型能够完成船只的检测。本实施例对神经网络训练方法不做限定,可以根据需要确定。
可选地,在本发明的一些实施例中,获取神经网络模型的输出向量的方式具体可以是利用卷积层计算船只图像训练样本中的每一个像素的纹理,并将接近的像素结合,获得图像候选区域,将获得的候选区域图像信息输入神经网络的全连接层,得到神经网络模型的输出向量;也可以设置候选区域网络,将第一个卷积网络的输出特征图作为候选区域网络的输入,以一个3×3的卷积核在特征图上滑动,以使用卷积网络构建与类别无关的候选区域,将候选区域输入至独立的全连接层,得到神经网络模型的输出向量。输出向量表示预测边界框以及预测边界框内的检测结果,检测结果包含存在检测目标以及不存在检测目标。本实施例对具体采用何种神经网络模型不做限定,可以根据需要确定。
S130:根据船只图像训练样本对应的实际结果及输出向量计算神经网络模型的损失。
示例性地,根据船只图像训练样本对应的实际结果及输出向量计算神经网络模型的损失的计算方式可以是:
Figure BDA0002342462680000081
其中,x表示输入船只图像训练样本对应的实际结果,f(x(t))表示神经网络模型的输出向量,f表示训练出的神经网络模型,T表示训练样本数量。本实施例对损失的具体计算方式不做限定,可以根据需要确定。
S140:对损失进行梯度反转。
示例性地,进行梯度反转的方式可以是调用梯度反转函数,梯度反转函数的作用是将反向传播的损失取反,使得调用梯度反转函数前后的神经网络训练目标相反,实现对抗的效果。
S150:根据梯度反转后的损失调整神经网络模型的权重参数,构建船只检测模型。
示例性地,根据梯度反转后的损失调整神经网络模型的权重参数,构建船只检测模型的方式是梯度反转层在于正向传播的时候记录模型在各层的损失,反向传播的时候,经过该梯度反转层的损失乘上-λ,然后每层网络根据传回的损失进行梯度计算,进而更新本层网络的权重参数,构建船只检测模型。
本实施例提供的基于背景消除法的船只检测模型训练方法,对船只图像训练样本根据背景消除法提取出船只图像,对通过背景消除法提取的船只图像进行神经网络模型训练,从而构建船只检测模型,由于由背景消除法消除背景后的船只图像的特征更加明显,将该船只图像利用船只检测模型进行检测,能够增高其船只检测的准确率,实现了快速准确地对船只图像的检测,以便于后续对船只的快速跟踪。
作为本申请的一个可选实施方式,船只图像训练样本为根据背景消除法提取的船只图像,包括:
首先,截取出现船只数量低于第一阈值的图片序列。
示例性地,截取出现船只数量低于第一阈值的图片序列的方式可以是人工挑选一段船只图像低于第一阈值的视频图像,将视频图像进行解帧,得到图片序列,用于建立背景模型。第一阈值可以是2,本实施例对截取图片序列的方式以及第一阈值的大小不做限定,可以根据需要确定。
其次,对图片序列求取图片均值,将求取的图片均值作为背景模型。
示例性地,对图片序列求取图片均值的方式可以是对图片序列中所有图片分别提取RGB通道的数值,对RGB通道的数值分别进行计算得到均值,将得到的均值重新组成一张均值图像作为背景模型。本实施例对图片序列求取图片均值的方式不做限定,本领域技术人员可以根据需要确定。
再次,根据背景模型,得到船只图像训练样本。
示例性地,根据背景模型,得到船只图像训练样本的方式可以是将当前船只图像与建立的背景模型相减,可以得到船只图像训练样本。
本实施例提供的基于背景消除法的船只检测模型训练方法,利用一个图片序列的均值作为背景模型,建立的背景模型的有效性更高,更加能够还原实际的背景模型,提高了基于背景消除法的船只检测模型的准确率。
作为本申请一个可选的实施方式,基于背景消除法的船只检测模型训练方法还包括:
首先,获取船只图像测试样本,船只图像测试样本为根据背景消除法提取出的船只图像。
示例性地,需要说明的是船只图像测试样本与船只图像训练样本不同,船只图像测试样本可以是船只图像样本的30%,将船只图像测试样本进行如步骤S110的背景消除提取出船只图像,此处不再赘述。本实施例对船只图像测试样本的获取方式不做限定,可以根据需要确定。
其次,根据船只图像测试样本及基于背景消除法的船只检测模型得到测试结果。
示例性地,根据船只图像测试样本及基于背景消除法的船只检测模型得到测试结果的方式可以是将所有船只图像测试样本输入至基于背景消除法的船只检测模型,根据基于背景消除法的船只检测模型输出的多个预测边界框以及预测边界框内的检测结果与标记进行交并比计算,将所有交并比的计算结果的平均值作为准确率,从而得到神经网络的输出结果的准确率;也可以是根据基于背景消除法的船只检测模型输出的多个预测边界框以及预测边界框内的检测结果与标记进行交并比计算,判断每一个交并比计算结果是否满足预定阈值,当满足预定阈值则表示此船只图像测试样本的检测结果准确,预定阈值可以是80%,将检测结果准确的船只图像测试样本与所有船只图像测试样本的比值作为神经网络的输出结果的准确率。本实施例对具体采用何种方式获取测试结果不做限定,可以根据需要确定。
最后,根据测试结果判断基于背景消除法的船只检测模型的准确率是否高于预设阈值;当基于背景消除法的船只检测模型的准确率高于预设阈值,将基于背景消除法的船只检测模型确定为可用的基于背景消除法的船只检测模型。其中预设阈值可以是98%,本实施例对预设阈值大小不做限定,可以按照需要设置。
本实施例提供的测试集用于测试训练好的神经网络模型的准确性,选取满足准确率条件的神经网络模型,给予了神经网络模型选择的指标,有利于神经网络模型的验证与选择。
本实施例提供一种船只跟踪方法,如图2所示,包括如下步骤:
S210,获取船只视频图像,利用背景消除法在船只视频图像中提取出船只图像。
示例性地,船只视频图像的获取方式可以是将无人机采集的视频进行解帧处理,获取每一帧视频图像;也可以是跳帧处理,将相隔一定帧数的视频图像作为获取的视频图像,比如,每隔3帧视频获取一个视频图像。利用背景消除法在船只视频图像中提取出船只图像见上述步骤S110,此处不再赘述。本实施例对获取船只视频图像的方式不做限定,可以通过需求确定。
S220,将船只图像输入至预设的基于背景消除法的船只检测模型,得到船只检测结果;预设的基于背景消除法的船只检测模型是通过如上述实施例的基于背景消除法的船只检测模型的训练方法训练生成的,船只检测结果表征船只在当前视频图像中检测出的位置坐标框,其余此处不再赘述。
S230,将船只检测结果利用目标算法进行关联,得到船只的运行轨迹。
示例性地,将船只检测结果利用目标算法进行关联,得到船只的运行轨迹的方式可以是将任意相邻两个船只检测结果分为两个集合,寻找两个集合的最大匹配,将匹配结果进行数据关联,从而得到船只的运行轨迹;也可以是采用IOU算法,获取任意相邻两个船只检测结果依次进行交并比计算,将交并比计算结果最大的两个船只检测结果进行数据关联,从而得到船只的运行轨迹。本实施例对目标算法不做限定,可以通过需求确定。
本实施例提供的船只跟踪方法,将经过背景消除的船只图像输入上述的基于背景消除法的船只检测模型,再根据目标算法对船只检测结果进行关联,实现了快速准确地对船只进行跟踪。
作为本申请的一个可选实施方式,上述步骤S230,具体包括:
首先,获取当前视频图像的船只检测结果与下一视频图像的各个船只检测结果的匹配权重。
示例性地,当前视频图像的船只检测结果与下一视频图像的各个船只检测结果的匹配权重的获取方式可以是对当前视频图像的任一船只检测结果与下一视频图像的每个船只检测结果依次进行交并比计算,将得到的交并比计算结果作为下一视频图像中各个船只检测结果对当前视频图像的船只检测结果的匹配权重。比如:当前视频图像检测出的某一船只位置坐标框与下一视频图像的每个船只位置坐标框进行交并比计算,得到不同的交并比运算结果,将每一个运算结果都作为下一视频图像中各个船只检测结果对当前视频图像的船只检测结果的匹配权重。本实施例对匹配权重获取方式不做限定,可以通过需求确定。
最后,选取下一视频图像中匹配权重的最大值所在的船只检测结果,进行数据关联,当选取的匹配权重的最大值所在的船只检测结果已被关联,则减小匹配权重,重新选取下一视频图像中与减小后的匹配权重的最大值所在的船只检测结果,进行数据关联。
示例性地,以将任意相邻两个无人机采集的视频图像中的船只检测结果分为两个集合进行说明,如图3所示,两个集合分别用11、12、13表示前一集合,以及用21、22、23表示后一集合,前一集合表示当前一视频图像中所有的船只检测结果,后一集合表示下一视频图像中所有的船只检测结果,其中,假设已知11与21、22、23的匹配权重分别为0.8、0.6、0;12与21、22、23的匹配权重分别为分别是0、0.3、0.9;13与21、22、23的匹配权重分别为0.9、0.8、0。
首先对前一集合中的所有船只检测结果以及下一视频图像中所有的船只检测结果赋值,前一集合中的所有船只检测结果赋值为当前视频图像的船只检测结果在下一视频图像中各个船只检测结果中匹配权重最大的值,分别为0.8、0.9、0.9,后一集合中的所有船只检测结果全部赋值为0。其次,选取与前一集合中船只检测结果的赋值数相同的后一集合的船只检测结果进行数据关联,对应图中11与21关联,12和23关联;在关联之前判断后一集合的船只检测结果是否已被关联,比如,13关联21时,21已被11所关联。此时,在第一集合中将冲突的11和13分别减去0.1,对应在第二集合中将21加上0.1。此时重新按照上述方式进行数据关联,得到13和22数据关联。本发明实施例提供了的数据关联方法,通过权重进行匹配,增大了数据关联的准确性。
作为本申请的一个可选实施方式,获取当前视频图像的船只检测结果与下一视频图像的各个船只检测结果的匹配权重,包括:
首先,获取船只的运动参数,根据运动参数预测船只运动轨迹,得到船只预测位置。
示例性地,运动参数可以是运动方向、速度,加速度、阻力等。获取船只的运动参数的方式可以是根据船只的运动计算得到,也可以是预先设定的船只运动参数。根据运动参数预测船只运动轨迹,得到船只预测位置的方式可以是通过运动参数构建卡尔曼滤波器,根据卡尔曼滤波器进行预测。本实施例对得到船只预测位置的具体方式不做限定,可以按照需要确定。
其次,根据船只预测位置与船只检测结果判断运动匹配程度;根据最小余弦距离判断相邻船只检测结果的外观匹配程度。
示例性地,根据船只预测位置与船只检测结果判断运动匹配程度方式可以是利用马氏距离计算运动匹配程度,也可以是直接根据利用船只预测位置与船只检测结果的交并比作为运动匹配程度的值。根据最小余弦距离判断相邻船只检测结果的外观匹配程度的方式可以是通过外观模型(ReID模型)完成,利用深度网络提取出单位范数的特征向量,特征向量之间的最小余弦距离作为外观匹配程度的值。本实施例对得到运动匹配程度和外观匹配程度的具体方式不做限定,可以按照需要确定。
根据运动匹配程度和外观匹配程度确定匹配权重。
示例性地,根据运动匹配程度和外观匹配程度确定匹配权重的方式可以是采用求取运动匹配程度和外观匹配程度的加权和得到。本实施例对匹配权重的确定具体方式不做限定,可以按照需要确定。
本实施例提供的利用运动匹配程度和外观匹配程度确定匹配权重,既考虑了船只的运动情况,又考虑了外观匹配度,使得到的匹配权重的匹配度更高。
本实施例提供一种船只检测模型的训练装置,如图4所示,包括:
样本获取模块410,用于获取船只图像训练样本,船只图像训练样本为根据背景消除法提取出的船只图像;具体实现方式见本实施例S110的相关描述,在此不再赘述。
向量获取模块420,用于根据船只图像训练样本对神经网络模型进行训练,获取神经网络模型的输出向量;具体实现方式见本实施例S120,在此不再赘述。
损失计算模块430,用于根据船只图像训练样本对应的实际结果及输出向量计算神经网络模型的损失;具体实现方式见本实施例S130,在此不再赘述。
梯度反转模块440,用于对损失进行梯度反转;具体实现方式见本实施例S140,在此不再赘述。
模型构建模块450,用于根据梯度反转后的损失调整神经网络模型的权重参数,构建船只检测模型。具体实现方式见本实施例S150,在此不再赘述。
本实施例提供的基于背景消除法的船只检测模型训练装置,对船只图像训练样本根据背景消除法提取出船只图像,对通过背景消除法提取的船只图像进行神经网络模型训练,从而构建船只检测模型,由于由背景消除法消除背景后的船只图像的特征更加明显,将该船只图像利用船只检测模型进行检测,能够增高其船只检测的准确率,实现了快速准确地对船只图像的检测,以便于后续对船只的快速跟踪。
作为本申请一个可选的实施方式,样本获取模块410,包括:
图片序列截取模块,用于截取出现船只数量低于第一阈值的图片序列;具体实现方式见本实施例方法对应部分,在此不再赘述。
背景模型建立模块,用于对图片序列求取图片均值,将求取的图片均值作为背景模型;具体实现方式见本实施例方法对应部分,在此不再赘述。
样本获取子模块,用于根据背景模型,得到船只图像训练样本。具体实现方式见本实施例方法对应部分,在此不再赘述。
作为本申请的一个可选实施方式,船只检测模型的训练装置还包括:
测试样本获取模块,用于获取船只图像测试样本,船只图像测试样本为根据背景消除法提取出的船只图像。具体实现方式见本实施例方法对应部分,在此不再赘述。
测试结果获取模块,用于根据船只图像测试样本及基于背景消除法的船只检测模型得到测试结果;具体实现方式见本实施例方法对应部分,在此不再赘述。
判断模块,用于根据测试结果判断基于背景消除法的船只检测模型的准确率是否高于预设阈值;具体实现方式见本实施例方法对应部分,在此不再赘述。
确定模块,用于当基于背景消除法的船只检测模型的准确率高于预设阈值,将基于背景消除法的船只检测模型确定为可用的基于背景消除法的船只检测模型。具体实现方式见本实施例方法对应部分,在此不再赘述。
本实施例提供一种基于无人机视频的船只跟踪装置,如图5所示,包括:
视频图像获取模块510,用于获取船只视频图像,利用背景消除法在船只视频图像中提取出船只图像;具体实现方式见本实施例S210,在此不再赘述。
训练模块520,用于将视频图像输入至预设的基于背景消除法的船只跟踪模型训练方法,得到船只检测结果;预设的基于背景消除法的船只跟踪模型训练方法是通过如实施例中基于背景消除法的船只跟踪模型训练方法的训练方法训练生成的;具体实现方式见本实施例S220,在此不再赘述。
关联模块530,用于将船只检测结果利用目标算法进行关联,得到船只的运行轨迹。具体实现方式见本实施例S230,在此不再赘述。
本实施例提供的船只跟踪装置,将经过背景消除的船只图像输入上述的基于背景消除法的船只检测模型,再根据目标算法对船只检测结果进行关联,实现了快速准确地对船只进行跟踪。
作为本申请的一个可选实施方式,上述的关联模块530具体包括:
权重获取模块,用于获取当前视频图像的船只检测结果与下一视频图像的各个船只检测结果的匹配权重;具体实现方式见本实施例方法对应部分,在此不再赘述。
第一数据关联模块,用于选取下一视频图像中匹配权重的最大值所在的船只检测结果,进行数据关联;具体实现方式见本实施例方法对应部分,在此不再赘述。
第二数据关联模块,用于当选取的匹配权重的最大值所在的船只检测结果已被关联,则减小匹配权重,重新选取下一视频图像中与减小后的匹配权重的最大值所在的船只检测结果,进行数据关联。具体实现方式见本实施例方法对应部分,在此不再赘述。
作为本申请的一个可选实施方式,上述的权重获取模块具体包括:
船只预测获取模块,用于获取船只的运动参数,根据运动参数预测船只运动轨迹,得到船只预测位置;具体实现方式见本实施例方法对应部分,在此不再赘述。
运动匹配程度判断模块,用于根据船只预测位置与船只检测结果判断运动匹配程度;具体实现方式见本实施例方法对应部分,在此不再赘述。
外观匹配程度判断模块,用于根据最小余弦距离判断相邻船只检测结果的外观匹配程度;具体实现方式见本实施例方法对应部分,在此不再赘述。
匹配权重确定模块,用于根据运动匹配程度和外观匹配程度确定匹配权重。具体实现方式见本实施例方法对应部分,在此不再赘述。
本申请实施例还提供一种电子设备,如图6所示,处理器610和存储器620,其中处理器610和存储器620可以通过总线或者其他方式连接。
处理器610可以为中央处理器(Central Processing Unit,CPU)。处理器610还可以为其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片,或者上述各类芯片的组合。
存储器620作为一种非暂态计算机可读存储介质,可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块,如本发明实施例中的基于背景消除法的船只检测模型训练方法或船只跟踪方法对应的程序指令/模块。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块,从而执行处理器的各种功能应用以及数据处理。
存储器620可以包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需要的应用程序;存储数据区可存储处理器所创建的数据等。此外,存储器可以包括高速随机存取存储器,还可以包括非暂态存储器,例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中,存储器620可选包括相对于处理器远程设置的存储器,这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个模块存储在所述存储器620中,当被所述处理器610执行时,执行如图1、图2所示实施例中的基于背景消除法的船只检测模型训练方法或船只跟踪方法。
上述电子设备的具体细节可以对应参阅图1或图2所示的实施例中对应的相关描述和效果进行理解,此处不再赘述。
本施例还提供了一种计算机存储介质,所述计算机存储介质存储有计算机可执行指令,该计算机可执行指令可执行上述任意方法实施例中基于背景消除法的船只检测模型训练方法或船只跟踪方法。其中,所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)、随机存储记忆体(Random Access Memory,RAM)、快闪存储器(FlashMemory)、硬盘(Hard Disk Drive,缩写:HDD)或固态硬盘(Solid-State Drive,SSD)等;所述存储介质还可以包括上述种类的存储器的组合。
显然,上述实施例仅仅是为清楚地说明所作的举例,而并非对实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (10)

1.一种基于背景消除法的船只检测模型训练方法,其特征在于,包括:
获取船只图像训练样本,所述船只图像训练样本为根据背景消除法提取出的船只图像;
根据所述船只图像训练样本对神经网络模型进行训练,获取所述神经网络模型的输出向量;
根据所述船只图像训练样本对应的实际结果及所述输出向量计算所述神经网络模型的损失;
对所述损失进行梯度反转;
根据梯度反转后的损失调整所述神经网络模型的权重参数,构建船只检测模型。
2.根据权利要求1所述的方法,其特征在于,所述船只图像训练样本为根据背景消除法提取的船只图像,包括:
截取出现船只数量低于第一阈值的图片序列;
对所述图片序列求取图片均值,将求取的所述图片均值作为背景模型;
根据所述背景模型,得到船只图像训练样本。
3.根据权利要求1所述的方法,其特征在于,还包括:
获取船只图像测试样本,所述船只图像测试样本为根据所述背景消除法提取出的船只图像;
根据所述船只图像测试样本及所述基于背景消除法的船只检测模型得到测试结果;
根据所述测试结果判断所述基于背景消除法的船只检测模型的准确率是否高于预设阈值;
当所述基于背景消除法的船只检测模型的准确率高于所述预设阈值,将所述基于背景消除法的船只检测模型确定为可用的基于背景消除法的船只检测模型。
4.一种船只跟踪方法,其特征在于,包括如下步骤:
获取船只视频图像,利用背景消除法在所述船只视频图像中提取出船只图像;
将所述船只图像输入至预设的基于背景消除法的船只检测模型,得到船只检测结果;所述预设的船只检测模型通过如权利要求1至3任一所述的基于背景消除法的船只跟踪模型训练方法训练生成;
将所述船只检测结果利用目标算法进行关联,得到所述船只的运行轨迹。
5.根据权利要求4所述的船只跟踪方法,其特征在于,所述将所述船只检测结果利用目标算法进行关联,得到所述船只的运行轨迹的步骤,包括:
获取当前视频图像的所述船只检测结果与下一视频图像的各个所述船只检测结果的匹配权重;
选取下一视频图像中匹配权重的最大值所在的所述船只检测结果,进行数据关联;
当选取的所述匹配权重的最大值所在的所述船只检测结果已被关联,则减小所述匹配权重,重新选取下一所述视频图像中与减小后的所述匹配权重的最大值所在的所述船只检测结果,进行数据关联。
6.根据权利要求5所述的船只跟踪方法,其特征在于,所述获取当前视频图像的所述船只检测结果与下一视频图像的各个所述船只检测结果的匹配权重,包括:
获取船只的运动参数,根据所述运动参数预测所述船只运动轨迹,得到船只预测位置;
根据所述船只预测位置与所述船只检测结果判断运动匹配程度;
根据最小余弦距离判断相邻所述船只检测结果的外观匹配程度;
根据所述运动匹配程度和所述外观匹配程度确定所述匹配权重。
7.一种基于背景消除法的船只跟踪模型训练装置,其特征在于,包括:
样本获取模块,用于获取船只图像训练样本,所述船只图像训练样本为根据背景消除法提取出的船只图像;
向量获取模块,用于根据所述船只图像训练样本对神经网络模型进行训练,获取所述神经网络模型的输出向量;
损失计算模块,用于根据所述船只图像训练样本对应的实际结果及所述输出向量计算所述神经网络模型的损失;
梯度反转模块,用于对所述损失进行梯度反转;
模型构建模块,用于根据梯度反转后的损失调整所述神经网络模型的权重参数,构建船只检测模型。
8.一种船只跟踪装置,其特征在于,包括:
视频图像获取模块,用于获取船只视频图像,利用背景消除法在所述船只视频图像中提取出船只图像;
检测模块,用于将所述船只图像输入至预设的基于背景消除法的船只检测模型,得到船只检测结果;所述预设的船只检测模型通过如权利要求1至3任一所述的基于背景消除法的船只跟踪模型训练方法训练生成;
关联模块,用于将所述船只检测结果利用目标算法进行关联,得到所述船只的运行轨迹。
9.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现权利要求1至3任一所述的基于背景消除法的船只跟踪模型训练方法或权利要求4至6任一项所述的船只跟踪方法的步骤。
10.一种存储介质,其上存储有计算机指令,其特征在于,该指令被处理器执行时实现权利要求1至3任一所述的基于背景消除法的船只跟踪模型训练方法或权利要求4至6任一项所述的船只跟踪方法的步骤。
CN201911381857.1A 2019-12-27 2019-12-27 基于背景消除法的船只检测模型训练及船只跟踪方法 Pending CN111611836A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911381857.1A CN111611836A (zh) 2019-12-27 2019-12-27 基于背景消除法的船只检测模型训练及船只跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911381857.1A CN111611836A (zh) 2019-12-27 2019-12-27 基于背景消除法的船只检测模型训练及船只跟踪方法

Publications (1)

Publication Number Publication Date
CN111611836A true CN111611836A (zh) 2020-09-01

Family

ID=72205383

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911381857.1A Pending CN111611836A (zh) 2019-12-27 2019-12-27 基于背景消除法的船只检测模型训练及船只跟踪方法

Country Status (1)

Country Link
CN (1) CN111611836A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112258549A (zh) * 2020-11-12 2021-01-22 珠海大横琴科技发展有限公司 一种基于背景消除的船只目标跟踪方法及装置
CN114972740A (zh) * 2022-07-29 2022-08-30 上海鹰觉科技有限公司 自动化舰船样本采集方法及***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102081801A (zh) * 2011-01-26 2011-06-01 上海交通大学 多特征自适应融合船舶跟踪和航迹检测方法
CN106199583A (zh) * 2016-06-30 2016-12-07 大连楼兰科技股份有限公司 多目标数据匹配与跟踪的方法及***
CN107818571A (zh) * 2017-12-11 2018-03-20 珠海大横琴科技发展有限公司 基于深度学习网络和均值漂移的船只自动跟踪方法及***
CN109460740A (zh) * 2018-11-15 2019-03-12 上海埃威航空电子有限公司 基于ais与视频数据融合的船舶身份识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102081801A (zh) * 2011-01-26 2011-06-01 上海交通大学 多特征自适应融合船舶跟踪和航迹检测方法
CN106199583A (zh) * 2016-06-30 2016-12-07 大连楼兰科技股份有限公司 多目标数据匹配与跟踪的方法及***
CN107818571A (zh) * 2017-12-11 2018-03-20 珠海大横琴科技发展有限公司 基于深度学习网络和均值漂移的船只自动跟踪方法及***
CN109460740A (zh) * 2018-11-15 2019-03-12 上海埃威航空电子有限公司 基于ais与视频数据融合的船舶身份识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
业精于勤荒于嬉-行成于思而毁于随: "基于候选区域的目标检测器(两阶段)和单次目标检测器(一阶段)", 《HTTPS://BLOG.CSDN.NET/M0_37644085/ARTICLE/DETAILS/86498787》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112258549A (zh) * 2020-11-12 2021-01-22 珠海大横琴科技发展有限公司 一种基于背景消除的船只目标跟踪方法及装置
CN114972740A (zh) * 2022-07-29 2022-08-30 上海鹰觉科技有限公司 自动化舰船样本采集方法及***

Similar Documents

Publication Publication Date Title
CN109035304B (zh) 目标跟踪方法、介质、计算设备和装置
JP6893564B2 (ja) ターゲット識別方法、装置、記憶媒体および電子機器
CN108447091B (zh) 目标定位方法、装置、电子设备及存储介质
KR102661954B1 (ko) 이미지 처리 방법 및 이를 수행하는 장치들
CN107624189B (zh) 用于生成预测模型的方法和设备
CN111602138B (zh) 基于人工神经网络的物体检测的***及方法
CN111062263B (zh) 手部姿态估计的方法、设备、计算机设备和存储介质
CN110956646B (zh) 目标跟踪方法、装置、设备及存储介质
CN110176024B (zh) 在视频中对目标进行检测的方法、装置、设备和存储介质
WO2016179808A1 (en) An apparatus and a method for face parts and face detection
CN112241976A (zh) 一种训练模型的方法及装置
CN111931764A (zh) 一种目标检测方法、目标检测框架及相关设备
CN111553182A (zh) 一种船只检索方法、装置及电子设备
CN108229494B (zh) 网络训练方法、处理方法、装置、存储介质和电子设备
CN112967388B (zh) 三维时序图像神经网络模型的训练方法和装置
CN111753590B (zh) 一种行为识别方法、装置及电子设备
CN110991385A (zh) 一种识别船只行驶轨迹的方法、装置及电子设备
CN112101114B (zh) 一种视频目标检测方法、装置、设备以及存储介质
CN113348465A (zh) 图像中对象的关联性预测方法、装置、设备和存储介质
CN111611836A (zh) 基于背景消除法的船只检测模型训练及船只跟踪方法
CN114556445A (zh) 物体识别方法、装置、可移动平台以及存储介质
CN111695572A (zh) 一种基于卷积层特征提取的船只检索方法及装置
CN115797735A (zh) 目标检测方法、装置、设备和存储介质
CN108491818A (zh) 目标物体的检测方法、装置及电子设备
CN111553474A (zh) 船只检测模型训练方法及基于无人机视频的船只跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200901