CN111553474A - 船只检测模型训练方法及基于无人机视频的船只跟踪方法 - Google Patents

Abstract

本发明提供了一种船只检测模型训练方法及基于无人机视频的船只跟踪方法，其中，基于无人机视频的船只跟踪方法包括如下步骤：获取无人机采集的视频图像；将所述视频图像输入至预设的船只检测模型，得到船只检测结果；所述预设的船只检测模型是通过船只检测模型的训练方法训练生成的；将所述船只检测结果利用目标算法进行关联，得到所述船只的运行轨迹。通过实施本发明，利用无人机视频获取船只运行视频，将获取到的船只视频图像输入神经网络模型进行检测，其检测速度快，范围广，解决了船只跟踪价格高昂、范围小的问题，并且利用本发明提供的船只检测模型训练方法训练出的船只检测模型检测船只，提高了在复杂环境下的检测准确率。

Description

船只检测模型训练方法及基于无人机视频的船只跟踪方法

技术领域

本发明涉及计算机视觉领域，具体涉及一种船只检测模型训练方法及基于无人机视频的船只跟踪方法。

背景技术

船只作为一种重要的交通运输工具，被运用到方方面面，为了保证船只的安全，对船只的监控跟踪必不可少。相关技术中，对船只的跟踪监控方法有卫星追踪定位、AIS***追踪。卫星追踪定位价格高昂，AIS***发射信号范围受限，导致其船只跟踪的范围受限，所以需要探求一种新的船只跟踪方法。

发明内容

因此，本发明要解决的技术问题在于克服现有技术中的船只跟踪价格高昂以及跟踪范围小的缺陷，从而提供一种船只检测模型训练方法及基于无人机视频的船只跟踪方法。

根据第一方面，本发明实施例提供一种船只检测模型训练方法，包括：获取船只图像训练样本，所述船只图像训练样本包括具有船只的正样本图像及不具有船只的负样本图像；根据所述船只图像训练样本对神经网络模型进行训练，获取所述神经网络模型的输出向量；根据所述船只图像训练样本对应的实际结果及所述输出向量计算所述神经网络模型的损失；对所述损失进行梯度反转；根据梯度反转后的损失调整所述神经网络模型的权重参数，构建船只检测模型。

结合第一方面，在第一方面第一实施方式中，船只检测模型训练方法还包括：获取船只图像测试样本，所述船只图像测试样本包括具有船只的正样本图像及不具有船只的负样本图像；根据所述船只图像测试样本及所述船只检测模型得到测试结果；根据所述测试结果判断所述船只检测模型的准确率是否高于预设阈值；如果所述船只检测模型的准确率高于所述预设阈值，将所述船只检测模型确定为可用的船只检测模型。

根据第二方面，本发明实施例提供一种基于无人机视频的船只跟踪方法，包括如下步骤：获取无人机采集的视频图像；将所述视频图像输入至预设的船只检测模型，得到船只检测结果；所述预设的船只检测模型是通过第一方面或第一方面任一实施方式所述的船只检测模型的训练方法训练生成的；将所述船只检测结果利用目标算法进行关联，得到所述船只的运行轨迹。

结合第二方面，在第二方面第一实施方式中，在所述获取无人机采集的视频图像之后、将所述视频图像输入至预设的船只检测模型之前，船只检测模型训练方法还包括：对所述视频图像进行图像增强及去噪处理。

结合第二方面，在第二方面第二实施方式中，所述将所述船只检测结果利用目标算法进行关联，得到所述船只的运行轨迹的步骤，包括：获取当前视频图像的所述船只检测结果与下一视频图像的各个所述船只检测结果的匹配权重；选取下一视频图像中匹配权重的最大值所在的所述船只检测结果，进行数据关联；当选取的所述匹配权重的最大值所在的所述船只检测结果已被关联，则减小所述匹配权重，重新选取下一所述视频图像中与减小后的所述匹配权重的最大值所在的所述船只检测结果，进行数据关联。

结合第二方面第二实施方面，在第二方面第三实施方式中，所述获取当前视频图像的所述船只检测结果与下一视频图像的各个所述船只检测结果的匹配权重，包括：获取船只的运动参数，根据所述运动参数预测所述船只运动轨迹，得到船只预测位置；根据所述船只预测位置与所述船只检测结果判断运动匹配程度；根据最小余弦距离判断相邻所述船只检测结果的外观匹配程度；根据所述运动匹配程度和所述外观匹配程度确定所述匹配权重。

根据第三方面，本发明实施例提供一种船只检测模型的训练装置，包括：样本获取模块，用于获取船只图像训练样本；向量获取模块，用于根据所述船只图像训练样本对神经网络模型进行训练，获取所述神经网络模型的输出向量；损失计算模块，用于根据所述船只图像训练样本对应的实际结果及所述输出向量计算所述神经网络模型的损失；梯度反转模块，用于对所述损失进行梯度反转；模型构建模块，用于根据梯度反转后的损失调整所述神经网络模型的权重参数，构建船只检测模型。

根据第四方面，本发明实施例提供一种基于无人机视频的船只跟踪装置，包括：视频图像获取模块，用于获取无人机采集的视频图像；训练模块，用于将所述视频图像输入至预设的船只检测模型，得到船只检测结果；所述预设的船只检测模型是通过第一方面或第一方面任一实施方式所述的船只检测模型的训练方法训练生成的；关联模块，用于将所述船只检测结果利用目标算法进行关联，得到所述船只的运行轨迹。

根据第五方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面或第一方面任一实施方式所述的船只检测模型训练方法或第二方面或第二方面任一实施方式所述的基于无人机视频的船只跟踪方法的步骤。

根据第六方面，本发明实施例提供一种存储介质，其上存储有计算机指令，该指令被处理器执行时实现第一方面或第一方面任一实施方式所述的船只检测模型训练方法或第二方面或第二方面任一实施方式所述的基于无人机视频的船只跟踪方法的步骤。

本发明技术方案，具有如下优点：

1.本实施例提供的船只检测模型训练方法，将损失进行梯度反转形成对抗训练的效果，对图像级别和感兴趣区域级别进行梯度反转操作，使得训练的神经网络模型既可以学习到不同船只类型的特征数据，又可以学习到在不同天气情况下，无人机视频图像中的光线、亮度条件的特征数据，使得训练出的神经网络模型对外界因素的适应性更强。

2.本实施例提供的测试集用于测试训练好的神经网络模型的准确性，选取满足准确率条件的神经网络模型，给予了神经网络模型选择的指标，有利于神经网络模型的验证与选择。

3.本实施例提供的基于无人机视频的船只跟踪方法，利用无人机视频输入神经网络模型进行检测，检测速度快，且检测范围广。仅使用无人机进行跟踪，价格低。

4.本实施例提供的利用运动匹配程度和外观匹配程度确定匹配权重，既考虑了船只的运动情况，又考虑了外观匹配度，使得到的匹配权重的匹配度更高。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中船只检测模型训练方法的一个具体示例的流程图；

图2为本发明实施例中基于无人机视频的船只跟踪方法的一个具体示例的流程图；

图3为本发明实施例中基于无人机视频的船只跟踪方法的一个具体示例图；

图4为本发明实施例中船只检测模型训练装置的一个具体示例的原理框图；

图5为本发明实施例中基于无人机视频的船只跟踪装置的一个具体示例的原理框图；

图6为本发明实施例中电子设备的一个具体示例的原理框图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，还可以是两个元件内部的连通，可以是无线连接，也可以是有线连接。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

本实施例提供一种船只检测模型训练方法，如图1所示，包括如下步骤：

S110：获取船只图像训练样本，船只图像训练样本包括具有船只的正样本图像及不具有船只的负样本图像。

示例性地，船只图像样本的获取方式可以是从无人机拍摄的视频中解帧获取，也可以是从网络数据库中获取。船只图像训练样本可以是获取到的船只图像样本中随机划分出的一部分，比如，随机划分出70％的船只图像样本作为船只图像训练样本。获取的船只图像训练样本中需要保证数据的多样性，比如，船只图像训练样本中船只种类、外观具有多样性以及图像背景具有多样性。本实施例对船只图像训练样本获取方式不做限定，可以根据需要确定。

S120：根据船只图像训练样本对神经网络模型进行训练，获取神经网络模型的输出向量。

示例性地，船只图像训练样本对神经网络模型进行训练的方式可以是对船只图像训练样本中的船只位置进行标记，将标记位置的船只图像训练样本输入神经网络，利用梯度下降法计算损失函数的最小值，以寻求损失函数最小值为约束条件，调节神经网络中各个卷积层、池化层、全连接层、分类层等的参数及权重，以使神经网络模型能够完成船只的检测。本实施例对神经网络训练方法不做限定，可以根据需要确定。

可选地，在本发明的一些实施例中，获取神经网络模型的输出向量的方式具体可以是利用卷积层计算船只图像训练样本中的每一个像素的纹理，并将接近的像素结合，获得图像候选区域，将获得的候选区域图像信息输入神经网络的全连接层，得到神经网络模型的输出向量；也可以设置候选区域网络，将第一个卷积网络的输出特征图作为候选区域网络的输入，以一个3×3的卷积核在特征图上滑动，以使用卷积网络构建与类别无关的候选区域，将候选区域输入至独立的全连接层，得到神经网络模型的输出向量。输出向量表示预测边界框以及预测边界框内的检测结果，检测结果包含存在检测目标以及不存在检测目标。本实施例对具体采用何种神经网络模型不做限定，可以根据需要确定。

S130：根据船只图像训练样本对应的实际结果及输出向量计算神经网络模型的损失。

示例性地，根据船只图像训练样本对应的实际结果及输出向量计算神经网络模型的损失的计算方式可以是：

其中，x表示输入船只图像训练样本对应的实际结果，f(x^(t))表示神经网络模型的输出向量，f表示训练出的神经网络模型，T表示训练样本数量。本实施例对损失的具体计算方式不做限定，可以根据需要确定。

S140：对损失进行梯度反转。

示例性地，进行梯度反转的方式可以是调用梯度反转函数，梯度反转函数的作用是将反向传播的损失取反，使得调用梯度反转函数前后的神经网络训练目标相反，实现对抗的效果。本实施例中，分别对图像级别以及感兴趣区域级别进行梯度反转操作，图像级别表示船只图像训练样本中背景的多样等级，比如，船只图像训练样本中的天气情况及无人机特有的光线、亮度；感兴趣区域级别表示船只的类型多样等级，比如，分为民用船只、军用船只。

S150：根据梯度反转后的损失调整神经网络模型的权重参数，构建船只检测模型。

示例性地，根据梯度反转后的损失调整神经网络模型的权重参数，构建船只检测模型的方式是梯度反转层在于正向传播的时候记录模型在各层的损失，反向传播的时候，经过该梯度反转层的损失乘上-λ，然后每层网络根据传回的损失进行梯度计算，进而更新本层网络的权重参数，构建船只检测模型。

本实施例提供的船只检测模型训练方法，将损失进行梯度反转形成对抗训练的效果，对图像级别和感兴趣区域级别进行梯度反转操作，使得训练的神经网络模型既可以学习到不同船只类型的特征数据，又可以学习到在不同天气情况下，无人机视频图像中的光线、亮度条件的特征数据，使得训练出的神经网络模型对外界因素的适应性更强。

为了检验训练出的神经网络模型的性能，作为本申请的一个可选实施方式，本发明实施例的船只检测模型训练方法还包括：

首先，获取船只图像测试样本，船只图像测试样本包括具有船只的正样本图像及不具有船只的负样本图像。

示例性地，获取船只图像测试样本的方式可以是S110中获取到的船只图像样本中随机划分出的一部分，比如不同于船只图像训练样本的剩余30％作为图像测试样本。本实施例对船只图像测试样本的获取方式不做限定，可以根据需要确定。

其次，根据船只图像测试样本及船只检测模型得到测试结果。

示例性地，根据船只图像测试样本及船只检测模型得到测试结果的方式可以是将所有船只图像测试样本输入至船只检测模型，根据船只检测模型输出的多个预测边界框以及预测边界框内的检测结果与标记进行交并比计算，将所有交并比的计算结果的平均值作为准确率，从而得到神经网络的输出结果的准确率；也可以是根据船只检测模型输出的多个预测边界框以及预测边界框内的检测结果与标记进行交并比计算，判断每一个交并比计算结果是否满足预定阈值，当满足预定阈值则表示此船只图像测试样本的检测结果准确，将检测结果准确的船只图像测试样本与所有船只图像测试样本的比值作为神经网络的输出结果的准确率。本实施例对具体采用何种方式获取测试结果不做限定，可以根据需要确定。

最后，根据测试结果判断船只检测模型的准确率是否高于预设阈值，如果船只检测模型的准确率高于预设阈值，将船只检测模型确定为可用的船只检测模型。其中预设阈值可以是98％，本实施例对预设阈值大小不做限定，可以按照需要设置。

本实施例提供的测试集用于测试训练好的神经网络模型的准确性，选取满足准确率条件的神经网络模型，给予了神经网络模型选择的指标，有利于神经网络模型的验证与选择。

本实施例提供一种基于无人机视频的船只跟踪方法，如图2所示，包括如下步骤：

S210,获取无人机采集的视频图像。

示例性地，无人机采集的视频图像的获取方式可以是将无人机采集的视频进行解帧处理，获取每一帧视频图像；也可以是跳帧处理，将相隔一定帧数的视频图像作为获取的视频图像，比如，每隔3帧视频获取一个视频图像。本实施例对获取无人机采集的视频图像的方式不做限定，可以通过需求确定。

S220,将视频图像输入至预设的船只检测模型，得到船只检测结果；预设的船只检测模型是通过如上述实施例的船只检测模型的训练方法训练生成的，船只检测结果表征船只在当前视频图像中检测出的位置坐标框，其余此处不再赘述。

S230,将船只检测结果利用目标算法进行关联，得到船只的运行轨迹。

示例性地，将船只检测结果利用目标算法进行关联，得到船只的运行轨迹的方式可以是将任意相邻两个无人机采集的视频图像中的船只检测结果分为两个集合，寻找两个集合的最大匹配，将匹配结果进行数据关联，从而得到船只的运行轨迹；也可以是采用IOU算法，获取任意相邻两个无人机采集的视频图像中的船只检测结果依次进行交并比计算，将交并比计算结果最大的两个船只检测结果进行数据关联，从而得到船只的运行轨迹。本实施例对目标算法不做限定，可以通过需求确定。

本实施例提供的基于无人机视频的船只跟踪方法，利用无人机视频输入神经网络模型进行检测，检测速度快，且检测范围广。并且，仅使用无人机进行跟踪，价格低。

作为本申请的一个可选实施方式，在上述步骤S210之后，步骤S220之前，本发明实施例的基于无人机视频的船只跟踪方法还包括：对视频图像进行图像增强及去噪处理。有利于进一步降低无人机数据中的噪音或者天气情况对检测结果的影响。

作为本申请的一个可选实施方式，上述步骤S230，具体包括：

首先，获取当前视频图像的船只检测结果与下一视频图像的各个船只检测结果的匹配权重。

示例性地，当前视频图像的船只检测结果与下一视频图像的各个船只检测结果的匹配权重的获取方式可以是对当前视频图像的任一船只检测结果与下一视频图像的每个船只检测结果依次进行交并比计算，将得到的交并比计算结果作为下一视频图像中各个船只检测结果对当前视频图像的船只检测结果的匹配权重。比如：当前视频图像检测出的某一船只位置坐标框与下一视频图像的每个船只位置坐标框进行交并比计算，得到不同的交并比运算结果，将每一个运算结果都作为下一视频图像中各个船只检测结果对当前视频图像的船只检测结果的匹配权重。本实施例对匹配权重获取方式不做限定，可以通过需求确定。

最后，选取下一视频图像中匹配权重的最大值所在的船只检测结果，进行数据关联，当选取的匹配权重的最大值所在的船只检测结果已被关联，则减小匹配权重，重新选取下一视频图像中与减小后的匹配权重的最大值所在的船只检测结果，进行数据关联。

示例性地，以将任意相邻两个无人机采集的视频图像中的船只检测结果分为两个集合进行说明，如图3所示，两个集合分别用11、12、13表示前一集合，以及用21、22、23表示后一集合，前一集合表示当前一视频图像中所有的船只检测结果，后一集合表示下一视频图像中所有的船只检测结果，其中，假设已知11与21、22、23的匹配权重分别为0.8、0.6、0；12与21、22、23的匹配权重分别为分别是0、0.3、0.9；13与21、22、23的匹配权重分别为0.9、0.8、0。

首先对前一集合中的所有船只检测结果以及下一视频图像中所有的船只检测结果赋值，前一集合中的所有船只检测结果赋值为当前视频图像的船只检测结果在下一视频图像中各个船只检测结果中匹配权重最大的值，分别为0.8、0.9、0.9，后一集合中的所有船只检测结果全部赋值为0。其次，选取与前一集合中船只检测结果的赋值数相同的后一集合的船只检测结果进行数据关联，对应图中11与21关联，12和23关联；在关联之前判断后一集合的船只检测结果是否已被关联，比如，13关联21时，21已被11所关联。此时，在第一集合中将冲突的11和13分别减去0.1，对应在第二集合中将21加上0.1。此时重新按照上述方式进行数据关联，得到13和22数据关联。本发明实施例提供了的数据关联方法，通过权重进行匹配，增大了数据关联的准确性。

作为本申请的一个可选实施方式，获取当前视频图像的船只检测结果与下一视频图像的各个船只检测结果的匹配权重，包括：

首先，获取船只的运动参数，根据运动参数预测船只运动轨迹，得到船只预测位置。

示例性地，运动参数可以是运动方向、速度，加速度、阻力等。获取船只的运动参数的方式可以是根据无人机视频图像中的船只的运动计算得到，也可以是预先设定的船只运动参数。根据运动参数预测船只运动轨迹，得到船只预测位置的方式可以是通过运动参数构建卡尔曼滤波器，根据卡尔曼滤波器进行预测。本实施例对得到船只预测位置的具体方式不做限定，可以按照需要确定。

其次，根据船只预测位置与船只检测结果判断运动匹配程度；根据最小余弦距离判断相邻船只检测结果的外观匹配程度。

示例性地，根据船只预测位置与船只检测结果判断运动匹配程度方式可以是利用马氏距离计算运动匹配程度，也可以是直接根据利用船只预测位置与船只检测结果的交并比作为运动匹配程度的值。根据最小余弦距离判断相邻船只检测结果的外观匹配程度的方式可以是通过外观模型(ReID模型)完成，利用深度网络提取出单位范数的特征向量，特征向量之间的最小余弦距离作为外观匹配程度的值。本实施例对得到运动匹配程度和外观匹配程度的具体方式不做限定，可以按照需要确定。

根据运动匹配程度和外观匹配程度确定匹配权重。

示例性地，根据运动匹配程度和外观匹配程度确定匹配权重的方式可以是采用求取运动匹配程度和外观匹配程度的加权和得到。本实施例对匹配权重的确定具体方式不做限定，可以按照需要确定。

本实施例提供的利用运动匹配程度和外观匹配程度确定匹配权重，既考虑了船只的运动情况，又考虑了外观匹配度，使得到的匹配权重的匹配度更高。

本实施例提供一种船只检测模型的训练装置，如图4所示，包括：

样本获取模块410，用于获取船只图像训练样本；具体实现方式见本实施例S110的相关描述，在此不再赘述。

向量获取模块420，用于根据船只图像训练样本对神经网络模型进行训练，获取神经网络模型的输出向量；具体实现方式见本实施例S120，在此不再赘述。

损失计算模块430，用于根据船只图像训练样本对应的实际结果及输出向量计算神经网络模型的损失；具体实现方式见本实施例S130，在此不再赘述。

梯度反转模块440，用于对损失进行梯度反转；具体实现方式见本实施例S140，在此不再赘述。

模型构建模块450，用于根据梯度反转后的损失调整神经网络模型的权重参数，构建船只检测模型。具体实现方式见本实施例S150，在此不再赘述。

本实施例提供的船只检测模型训练装置，将损失进行梯度反转形成对抗训练的效果，对图像级别和感兴趣区域级别进行梯度反转操作，使得训练的神经网络模型既可以学习到不同船只类型的特征数据，又可以学习到在不同天气情况下，无人机视频图像中的光线、亮度条件的特征数据，使得训练出的神经网络模型对外界因素的适应性更强。

作为本申请的一个可选实施方式，船只检测模型的训练装置还包括：

测试样本获取模块，用于获取船只图像测试样本，船只图像测试样本包括具有船只的正样本图像及不具有船只的负样本图像。具体实现方式见本实施例方法对应部分，在此不再赘述。

测试结果获取模块，用于根据船只图像测试样本及船只检测模型得到测试结果；判断模块，用于根据测试结果判断船只检测模型的准确率是否高于预设阈值；确定模块，用于如果船只检测模型的准确率高于预设阈值，将船只检测模型确定为可用的船只检测模型。具体实现方式见本实施例方法对应部分，在此不再赘述。

本实施例提供一种基于无人机视频的船只跟踪装置，如图5所示，包括：

视频图像获取模块510，用于获取无人机采集的视频图像；具体实现方式见本实施例S210，在此不再赘述。

训练模块520，用于将视频图像输入至预设的船只检测模型，得到船只检测结果；预设的船只检测模型是通过如实施例中船只检测模型的训练方法训练生成的；具体实现方式见本实施例S220，在此不再赘述。

关联模块530，用于将船只检测结果利用目标算法进行关联，得到船只的运行轨迹。具体实现方式见本实施例S230，在此不再赘述。

本实施例提供的基于无人机视频的船只跟踪装置，利用无人机视频输入神经网络模型进行检测，检测速度快，且检测范围广。并且，仅使用无人机进行跟踪，价格低。

作为本申请的一个可选实施方式，基于无人机视频的船只跟踪装置还包括：图像处理模块，用于对视频图像进行图像增强及去噪处理。具体实现方式见本实施例方法对应部分，在此不再赘述。

作为本申请的一个可选实施方式，上述的关联模块具体包括：

权重获取模块，用于获取当前视频图像的船只检测结果与下一视频图像的各个船只检测结果的匹配权重；具体实现方式见本实施例方法对应部分，在此不再赘述。

第一数据关联模块，用于选取下一视频图像中匹配权重的最大值所在的船只检测结果，进行数据关联；具体实现方式见本实施例方法对应部分，在此不再赘述。

第二数据关联模块，用于当选取的匹配权重的最大值所在的船只检测结果已被关联，则减小匹配权重，重新选取下一视频图像中与减小后的匹配权重的最大值所在的船只检测结果，进行数据关联。具体实现方式见本实施例方法对应部分，在此不再赘述。

作为本申请的一个可选实施方式，上述的权重获取模块具体包括：

船只预测获取模块，用于获取船只的运动参数，根据运动参数预测船只运动轨迹，得到船只预测位置；具体实现方式见本实施例方法对应部分，在此不再赘述。

运动匹配程度判断模块，用于根据船只预测位置与船只检测结果判断运动匹配程度；具体实现方式见本实施例方法对应部分，在此不再赘述。

外观匹配程度判断模块，用于根据最小余弦距离判断相邻船只检测结果的外观匹配程度；具体实现方式见本实施例方法对应部分，在此不再赘述。

匹配权重确定模块，用于根据运动匹配程度和外观匹配程度确定匹配权重。具体实现方式见本实施例方法对应部分，在此不再赘述。

本申请实施例还提供一种电子设备，如图6所示，处理器610和存储器620，其中处理器610和存储器620可以通过总线或者其他方式连接。

处理器610可以为中央处理器(Central Processing Unit，CPU)。处理器610还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。

存储器620作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中的船只检测模型训练方法或基于无人机视频的船只跟踪方法对应的程序指令/模块。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理。

存储器620可以包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需要的应用程序；存储数据区可存储处理器所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器620可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

所述一个或者多个模块存储在所述存储器620中，当被所述处理器610执行时，执行如图1所示实施例中的船只检测模型训练方法或基于无人机视频的船只跟踪方法。

上述电子设备的具体细节可以对应参阅图1或图2所示的实施例中对应的相关描述和效果进行理解，此处不再赘述。

本施例还提供了一种计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中船只检测模型训练方法或基于无人机视频的船只跟踪方法。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(FlashMemory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (10)

1.一种船只检测模型训练方法，其特征在于，包括：

获取船只图像训练样本，所述船只图像训练样本包括具有船只的正样本图像及不具有船只的负样本图像；

根据所述船只图像训练样本对神经网络模型进行训练，获取所述神经网络模型的输出向量；

根据所述船只图像训练样本对应的实际结果及所述输出向量计算所述神经网络模型的损失；

对所述损失进行梯度反转；

根据梯度反转后的损失调整所述神经网络模型的权重参数，构建船只检测模型。

2.根据权利要求1所述的船只检测模型训练方法，其特征在于，还包括：

获取船只图像测试样本，所述船只图像测试样本包括具有船只的正样本图像及不具有船只的负样本图像；

根据所述船只图像测试样本及所述船只检测模型得到测试结果；

根据所述测试结果判断所述船只检测模型的准确率是否高于预设阈值；

如果所述船只检测模型的准确率高于所述预设阈值，将所述船只检测模型确定为可用的船只检测模型。

3.一种基于无人机视频的船只跟踪方法，其特征在于，包括如下步骤：

获取无人机采集的视频图像；

将所述视频图像输入至预设的船只检测模型，得到船只检测结果；所述预设的船只检测模型是通过如权利要求1或2所述的船只检测模型的训练方法训练生成的；

将所述船只检测结果利用目标算法进行关联，得到所述船只的运行轨迹。

4.根据权利要求3所述的基于无人机视频的船只跟踪方法，其特征在于，在所述获取无人机采集的视频图像之后、将所述视频图像输入至预设的船只检测模型之前，还包括：

对所述视频图像进行图像增强及去噪处理。

5.根据权利要求3所述的基于无人机视频的船只跟踪方法，其特征在于，所述将所述船只检测结果利用目标算法进行关联，得到所述船只的运行轨迹的步骤，包括：

获取当前视频图像的所述船只检测结果与下一视频图像的各个所述船只检测结果的匹配权重；

选取下一视频图像中匹配权重的最大值所在的所述船只检测结果，进行数据关联；

当选取的所述匹配权重的最大值所在的所述船只检测结果已被关联，则减小所述匹配权重，重新选取下一所述视频图像中与减小后的所述匹配权重的最大值所在的所述船只检测结果，进行数据关联。

6.根据权利要求5所述的基于无人机视频的船只跟踪方法，其特征在于，所述获取当前视频图像的所述船只检测结果与下一视频图像的各个所述船只检测结果的匹配权重，包括：

获取船只的运动参数，根据所述运动参数预测所述船只运动轨迹，得到船只预测位置；

根据所述船只预测位置与所述船只检测结果判断运动匹配程度；

根据最小余弦距离判断相邻所述船只检测结果的外观匹配程度；

根据所述运动匹配程度和所述外观匹配程度确定所述匹配权重。

7.一种船只检测模型的训练装置，其特征在于，包括：

样本获取模块，用于获取船只图像训练样本；

向量获取模块，用于根据所述船只图像训练样本对神经网络模型进行训练，获取所述神经网络模型的输出向量；

损失计算模块，用于根据所述船只图像训练样本对应的实际结果及所述输出向量计算所述神经网络模型的损失；

梯度反转模块，用于对所述损失进行梯度反转；

模型构建模块，用于根据梯度反转后的损失调整所述神经网络模型的权重参数，构建船只检测模型。

8.一种基于无人机视频的船只跟踪装置，其特征在于，包括：

视频图像获取模块，用于获取无人机采集的视频图像；

训练模块，用于将所述视频图像输入至预设的船只检测模型，得到船只检测结果；所述预设的船只检测模型是通过如权利要求1或2所述的船只检测模型的训练方法训练生成的；

关联模块，用于将所述船只检测结果利用目标算法进行关联，得到所述船只的运行轨迹。

9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1或2所述的船只检测模型训练方法或权利要求3-6任一项所述的基于无人机视频的船只跟踪方法的步骤。

10.一种存储介质，其上存储有计算机指令，其特征在于，该指令被处理器执行时实现权利要求1或2所述的船只检测模型训练方法或权利要求3-6任一项所述的基于无人机视频的船只跟踪方法的步骤。

Images