CN115331113A - 船舶目标检测模型训练方法、***及计算机存储介质 - Google Patents

船舶目标检测模型训练方法、***及计算机存储介质 Download PDF

Info

Publication number
CN115331113A
CN115331113A CN202211243677.9A CN202211243677A CN115331113A CN 115331113 A CN115331113 A CN 115331113A CN 202211243677 A CN202211243677 A CN 202211243677A CN 115331113 A CN115331113 A CN 115331113A
Authority
CN
China
Prior art keywords
picture
ship
fused
original
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211243677.9A
Other languages
English (en)
Inventor
吴显德
温志伟
于超
邹凡
欧阳志益
周瑶越
曹彩霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Whyis Technology Co ltd
Original Assignee
Zhejiang Whyis Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Whyis Technology Co ltd filed Critical Zhejiang Whyis Technology Co ltd
Priority to CN202211243677.9A priority Critical patent/CN115331113A/zh
Publication of CN115331113A publication Critical patent/CN115331113A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/32—Normalisation of the pattern dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种船舶目标检测模型训练方法、***及计算机存储介质。该方法包括：步骤S101，获取原始图片集和样本图片集；步骤S102，从原始图片集中随机选取一张原始图片作为待融合背景图片，对待融合背景图片进行二值化得到待融合背景图片的水平面坐标；步骤S103，从样本图片集中随机选取一张样本图片作为待融合船舶图片，将待融合船舶图片中的船舶样本扣除并对其进行数据增强得到船舶变换图片；步骤S104，根据待融合背景图片的水平面坐标将船舶变换图片融合到待融合背景图片中得到融合图片；对融合图片进行数据增强得到融合增强图片；步骤S105，重复步骤S102、S103、S104得到融合增强图片集。该方法提高了数据的丰富度、船舶数据的利用率以及船舶图片的复杂度。

Description

船舶目标检测模型训练方法、***及计算机存储介质
技术领域
本发明涉及船舶技术领域，具体而言，涉及一种船舶目标检测模型训练方法、***及计算机存储介质。
背景技术
目前包含船舶的图片存在两个问题，一是可以利用的包含船舶的图片总量少，且很多是基于一个场景（区域、气候）中拍摄；二是船舶训练图片简单化，都属于比较理想的状态，存在遮挡、模糊的船舶图片相对较少。针对第一个问题，船舶图片总量少，会导致模型过拟合，即模型在训练样本上的效果可能不错，但在测试数据集上泛化效果不佳；针对第二个问题，船舶训练图片简单化，对遮挡、模糊等复杂场景的船舶检测容易出错。
针对现有技术中船舶图片总量少且船舶训练图片简单化的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例中提供一种船舶目标检测模型训练方法、***及计算机存储介质，以解决现有技术中船舶图片总量少且船舶训练图片简单化的问题。
为达到上述目的，一方面，本发明提供了一种船舶目标检测模型训练方法，该方法包括：步骤S101，获取原始图片集和样本图片集；每个所述原始图片包括：背景、原始船舶以及原始船舶的矩形框标注信息；每个所述样本图片包括：船舶样本以及船舶样本的轮廓标注信息；步骤S102，从所述原始图片集中随机选取一张原始图片作为待融合背景图片，对所述待融合背景图片进行二值化得到所述待融合背景图片的水平面坐标；步骤S103，从所述样本图片集中随机选取一张样本图片作为待融合船舶图片，将所述待融合船舶图片中的船舶样本根据所述轮廓标注信息扣除并对其进行数据增强得到船舶变换图片；步骤S104，根据所述待融合背景图片的水平面坐标将所述船舶变换图片融合到所述待融合背景图片中，得到融合图片；对所述融合图片进行数据增强，得到融合增强图片；步骤S105，重复步骤S102，步骤S103，步骤S104，得到融合增强图片集；步骤S106，将所述融合增强图片集和所述原始图片集作为训练集进行模型训练，得到船舶目标检测模型。
可选的，所述根据所述待融合背景图片的水平面坐标将所述船舶变换图片融合到所述待融合背景图片中，得到融合图片包括：步骤S1041，在所述待融合背景图片中的水平面坐标上随机选取一个位置作为融合坐标，将所述船舶变换图片放置在所述融合坐标处；步骤S1042，计算所述船舶变换图片和所述待融合背景图片中的原始船舶的交并比；步骤S1043，当所述交并比大于等于预设阈值时，重新选择所述融合坐标；当所述交并比小于所述预设阈值时，则认为所述融合坐标为目标融合坐标；步骤S1044，将所述船舶变换图片覆盖在所述目标融合坐标处进行融合，得到融合图片。
可选的，所述交并比根据以下公式计算：
Figure 978172DEST_PATH_IMAGE001
其中，所述
Figure 985311DEST_PATH_IMAGE002
为船舶变换图片，所述
Figure 275478DEST_PATH_IMAGE003
为船舶变换图片的外接矩形的面积，所述
Figure 218026DEST_PATH_IMAGE004
为原始船舶，所述
Figure 842912DEST_PATH_IMAGE005
为原始船舶的外接矩形的面积，所述
Figure 263529DEST_PATH_IMAGE006
为所述船舶变换图片和所述待融合背景图片中的原始船舶的交并比。
可选的，在所述步骤S1041之前包括：当判定所述船舶变换图片的面积大于所述待融合背景图片的面积时，重新从所述原始图片集中随机选取一张原始图片作为待融合背景图片。
可选的，所述将所述融合增强图片集和所述原始图片集作为训练集进行模型训练包括：步骤S1061，统计所述训练集中不同船舶类别的目标数量；根据每类船舶的目标数量计算每类船舶的损失权重；步骤S1062，根据设定限制值对所述损失权重进行限制；步骤S1063，根据限制后的损失权重以及每张图片的分类损失函数计算每张图片的分类损失值。
可选的，所述每类船舶的损失权重根据以下公式计算：
Figure 673781DEST_PATH_IMAGE007
其中，所述C为船舶的种类数量；
Figure 974182DEST_PATH_IMAGE008
为训练集中第
Figure 899412DEST_PATH_IMAGE009
类船舶的目标数量；B为训练集中全部类别船舶的目标总数量；
Figure 61403DEST_PATH_IMAGE010
为第
Figure 309851DEST_PATH_IMAGE009
类船舶的损失权重。
可选的，所述根据设定限制值对所述损失权重进行限制的计算公式为：
Figure 594202DEST_PATH_IMAGE011
其中，
Figure 944412DEST_PATH_IMAGE010
为第
Figure 159361DEST_PATH_IMAGE009
类船舶的损失权重。
可选的，所述每张图片的分类损失值根据以下公式计算：
Figure 340944DEST_PATH_IMAGE012
其中，
Figure 468300DEST_PATH_IMAGE013
为当前张图片的分类损失值；
Figure 555073DEST_PATH_IMAGE014
为当前张图片中船舶的第
Figure 58867DEST_PATH_IMAGE015
个预测结果的分类预测向量，当前张图片中船舶会预测出多个预测结果；
Figure 547486DEST_PATH_IMAGE016
为当前张图片中船舶的分类真实向量，
Figure 908060DEST_PATH_IMAGE017
为分类损失函数；
Figure 232862DEST_PATH_IMAGE018
为当前张图片中船舶所属类别的损失权重；N为当前张图片中船舶的所有预测结果的数量，j为当前张图片中船舶的第
Figure 602664DEST_PATH_IMAGE015
个预测结果。
另一方面，本发明提供了一种船舶目标检测模型训练***，该***包括：获取单元，用于获取原始图片集和样本图片集；每个所述原始图片包括：背景、原始船舶以及原始船舶的矩形框标注信息；每个所述样本图片包括：船舶样本以及船舶样本的轮廓标注信息；第一选取单元，用于从所述原始图片集中随机选取一张原始图片作为待融合背景图片，对所述待融合背景图片进行二值化得到所述待融合背景图片的水平面坐标；第二选取单元，用于从所述样本图片集中随机选取一张样本图片作为待融合船舶图片，将所述待融合船舶图片中的船舶样本根据所述轮廓标注信息扣除并对其进行数据增强得到船舶变换图片；融合单元，用于根据所述待融合背景图片的水平面坐标将所述船舶变换图片融合到所述待融合背景图片中，得到融合图片；对所述融合图片进行数据增强，得到融合增强图片；重复单元，用于重复所述第一选取单元，所述第二选取单元，所述第三选取单元，得到融合增强图片集；模型训练单元，用于将所述融合增强图片集和所述原始图片集作为训练集进行模型训练，得到船舶目标检测模型。
另一方面，本发明还提供了一种计算机存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述的船舶目标检测模型训练方法。
本发明的有益效果：
本发明提供了一种船舶目标检测模型训练方法、***及计算机存储介质，该方法利用原始图片集和样本图片集在线生成融合增强图片集，提高了数据的丰富度和船舶数据的利用率；生成的融合增强图片集既包括原始船舶，又包括船舶样本，提高了船舶图片的复杂度；本发明加大类别占比小的船舶数据的损失权重，从而将重点集中到小类船舶数据上，提高少类数据的利用率，缓解样本不均衡的问题。
附图说明
图1是本发明实施例提供的一种船舶目标检测模型训练方法的流程图；
图2是本发明实施例提供的得到融合图片的流程图；
图3是本发明实施例提供的训练集进行模型训练的流程图；
图4是本发明实施例提供的一种船舶目标检测模型训练***的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
目前包含船舶的图片存在两个问题，一是可以利用的包含船舶的图片总量少，且很多是基于一个场景（区域、气候）中拍摄；二是船舶训练图片简单化，都属于比较理想的状态，存在遮挡、模糊的船舶图片相对较少。针对第一个问题，船舶图片总量少，会导致模型过拟合，即模型在训练样本上的效果可能不错，但在测试数据集上泛化效果不佳；针对第二个问题，船舶训练图片简单化，对遮挡、模糊等复杂场景的船舶检测容易出错。
因而，本发明提供了一种在线生产丰富多样的船舶图片以供模型训练，即提供了一种船舶目标检测模型训练方法，图1是本发明实施例提供的一种船舶目标检测模型训练方法的流程图，如图1所示，该方法包括：
步骤S101，获取原始图片集和样本图片集；每个所述原始图片包括：背景、原始船舶以及原始船舶的矩形框标注信息；每个所述样本图片包括：船舶样本以及船舶样本的轮廓标注信息；
例如：原始图片集P有1000张原始图片p，每个原始图片p包括：背景（天空、海洋、建筑物）、原始船舶c（原始船舶在海洋上运行）以及原始船舶的矩形框标注信息b（即用矩形框将原始图片中的原始船舶框选，可得到该矩形框的四个角的坐标）；样本图片集Q有200张样本图片q，每张样本图片q包括：船舶样本d以及船舶样本的轮廓标注信息m（即根据船舶样本的***轮廓将船舶样本框选出来，可得到轮廓的多个坐标）。
步骤S102，从所述原始图片集中随机选取一张原始图片作为待融合背景图片，对所述待融合背景图片进行二值化得到所述待融合背景图片的水平面坐标；
待融合背景图片p中可能包含原始船舶c1，c2……，对应的矩形框标注信息为b1，b2……。对待融合背景图片p进行二值化，得到二值化图片，在二值化图片中对相邻像素点进行判断，判断像素点相差较大的即可确定待融合背景图片的水平面坐标，即待融合背景图片中的一条线，该线为水平面。
步骤S103，从所述样本图片集中随机选取一张样本图片作为待融合船舶图片，将所述待融合船舶图片中的船舶样本根据所述轮廓标注信息扣除并对其进行数据增强得到船舶变换图片；
从样本图片集Q中随机选取一张样本图片作为待融合船舶图片q，待融合船舶图片包括：船舶样本d，其对应的轮廓标注信息为m，将待融合船舶图片中的船舶样本按照轮廓标注信息扣除并对其进行数据增强（即水平翻转、对比度增强）得到船舶变换图片
Figure 680210DEST_PATH_IMAGE019
。
步骤S104，根据所述待融合背景图片的水平面坐标将所述船舶变换图片融合到所述待融合背景图片中，得到融合图片；对所述融合图片进行数据增强，得到融合增强图片；
在一个可选的实施方式中，图2是本发明实施例提供的得到融合图片的流程图，如图2所示，所述根据所述待融合背景图片的水平面坐标将所述船舶变换图片融合到所述待融合背景图片中，得到融合图片包括：
步骤S1041，在所述待融合背景图片中的水平面坐标上随机选取一个位置作为融合坐标，将所述船舶变换图片放置在所述融合坐标处；
具体的，在所述步骤S1041之前包括：
当判定所述船舶变换图片的面积大于所述待融合背景图片的面积时，重新从所述原始图片集中随机选取一张原始图片作为待融合背景图片。
即必须要保证船舶变化图片的面积不大于待融合背景图片的面积。
步骤S1042，计算所述船舶变换图片和所述待融合背景图片中的原始船舶的交并比；
具体的，所述交并比根据以下公式计算：
Figure 414948DEST_PATH_IMAGE001
其中，所述
Figure 23784DEST_PATH_IMAGE002
为船舶变换图片，所述
Figure 384227DEST_PATH_IMAGE003
为船舶变换图片的外接矩形的面积，所述
Figure 332591DEST_PATH_IMAGE004
为待融合背景图片中的原始船舶，所述
Figure 300547DEST_PATH_IMAGE005
为待融合背景图片中的原始船舶的外接矩形的面积，所述
Figure 583630DEST_PATH_IMAGE006
为所述船舶变换图片和所述待融合背景图片中的原始船舶的交并比（即重叠程度）。
步骤S1043，当所述交并比大于等于预设阈值时，重新选择所述融合坐标；当所述交并比小于所述预设阈值时，则认为所述融合坐标为目标融合坐标；
本发明中，预设阈值为0.5，当所述交并比大于等于0.5时，重新选择所述融合坐标（重叠程度过大，不利于模型学习）；当所述交并比小于0.5时，则认为所述融合坐标为目标融合坐标。
进一步的，当待融合背景图片中的原始船舶只有一个时，即c1，只需计算船舶变换图片
Figure 232917DEST_PATH_IMAGE019
与c1的交并比，该交并比小于0.5时，则认为所述融合坐标为目标融合坐标。
当待融合背景图片中的原始船舶有三个时，即c1，c2，c3，则需要计算船舶变换图片
Figure 98105DEST_PATH_IMAGE019
与c1的交并比，船舶变换图片
Figure 423913DEST_PATH_IMAGE019
与c2的交并比，船舶变换图片
Figure 945024DEST_PATH_IMAGE019
与c3的交并比，三个交并比都小于0.5时，则认为所述融合坐标为目标融合坐标。
步骤S1044，将所述船舶变换图片覆盖在所述目标融合坐标处进行融合，得到融合图片。
对所述融合图片进行数据增强（数据增强包括翻转、平移、对比度亮度等），得到融合增强图片。
步骤S105，重复步骤S102，步骤S103，步骤S104，得到融合增强图片集；
本发明利用原始图片集和样本图片集在线生成融合增强图片集，提高了数据的丰富度和船舶数据的利用率。且生成的融合增强图片集既包括原始船舶，又包括船舶样本，提高了船舶图片的复杂度。
步骤S106，将所述融合增强图片集和所述原始图片集作为训练集进行模型训练，得到船舶目标检测模型。
训练集中船舶类别间样本不平衡（例如：训练集中有10万个游艇，100个轮船），样本不均衡会导致模型主要关注数量多的船舶类别进行检测，网络中的参数主要根据数量多的类别（游艇）的损失进行优化，导致数量少的类别（轮船）的检测精度大大下降。
因而，本发明提供了一种可提高模型对少类别检测能力的模型训练，图3是本发明实施例提供的训练集进行模型训练的流程图，如图3所示，所述将所述融合增强图片集和所述原始图片集作为训练集进行模型训练包括：
步骤S1061，统计所述训练集中不同船舶类别的目标数量；根据每类船舶的目标数量计算每类船舶的损失权重；
具体的，所述每类船舶的损失权重根据以下公式计算：
Figure 194740DEST_PATH_IMAGE007
其中，所述C为船舶的种类数量；
Figure 366964DEST_PATH_IMAGE008
为训练集中第
Figure 614406DEST_PATH_IMAGE009
类船舶的目标数量；B为训练集中全部类别船舶的目标总数量；
Figure 685130DEST_PATH_IMAGE010
为第
Figure 925487DEST_PATH_IMAGE009
类船舶的损失权重。
该公式中，数量少的船舶类别的损失权重大，数量多的船舶类别的损失权重小。即加大了小类船舶的损失权重，从而使重点集中到小类船舶上。
步骤S1062，根据设定限制值对所述损失权重进行限制；
为避免
Figure 702950DEST_PATH_IMAGE010
数值过大，对模型训练产生影响，对
Figure 183610DEST_PATH_IMAGE010
进行限制，本发明中设定限制值为2。所述根据设定限制值（2）对所述损失权重进行限制的计算公式为：
Figure 663002DEST_PATH_IMAGE011
其中，
Figure 457783DEST_PATH_IMAGE010
为第
Figure 152069DEST_PATH_IMAGE009
类船舶的损失权重。
步骤S1063，根据限制后的损失权重以及每张图片的分类损失函数计算每张图片的分类损失值。
所述每张图片的分类损失值根据以下公式计算：
Figure 990581DEST_PATH_IMAGE012
其中，
Figure 973581DEST_PATH_IMAGE013
为当前张图片的分类损失值；
Figure 368790DEST_PATH_IMAGE014
为当前张图片中船舶的第
Figure 104534DEST_PATH_IMAGE015
个预测结果的分类预测向量，当前张图片中船舶会预测出多个预测结果；
Figure 130258DEST_PATH_IMAGE016
为当前张图片中船舶的分类真实向量，
Figure 397292DEST_PATH_IMAGE017
为分类损失函数；
Figure 783143DEST_PATH_IMAGE018
为当前张图片中船舶所属类别的损失权重；N为当前张图片中船舶的所有预测结果的数量，j为当前张图片中船舶的第
Figure 124125DEST_PATH_IMAGE015
个预测结果。
若当前张图片中有一个船舶，该船舶有50个预测结果，其真实的类别为第一类，船舶总共有5类。该船舶第一个预测结果的分类预测向量为[0.6，0.2，0.2，0，0] ，第二个预测结果的分类预测向量为[0.7，0.1，0.1，0.1，0]……。船舶的分类真实向量为[1，0，0，0，0]，W为第一类船舶的损失权重。
若当前张图片中有两个船舶，第一个船舶有100个预测结果，第二个船舶有100个预测结果，其第一个船舶真实的类别为第一类，第二个船舶真实的类别为第二类，船舶总共有5类，该第一个船舶的第一个预测结果的分类预测向量为[0.6，0.2，0.1，0.1，0] ，该第一个船舶的第二个预测结果的分类预测向量为[0.6，0.1，0.1，0.1，0.1]……。第一个船舶的分类真实向量为[1，0，0，0，0]，W为第一类船舶的损失权重。该第二个船舶的第一个预测结果的分类预测向量为[0.3，0.6，0.1，0，0] ，该第二个船舶的第二个预测结果的分类预测向量为[0.1，0.6，0.1，0.1，0.1]……。第二个船舶的分类真实向量为[0，1，0，0，0]，W为第二类船舶的损失权重。
该方法，可以对训练集中每张图片中的少类别船舶加大损失权重，进而加大损失值，模型会朝着少类别船舶方向进行更新，从而提高少类数据的利用率，提高模型对少类的检测能力。
需要说明的是，本发明不对船舶的种类数量、预设阈值、设定限制值、船舶预测的预测结果数量作限定。
图4是本发明实施例提供的一种船舶目标检测模型训练***的结构示意图，如图4所示，该***包括：
获取单元201，用于获取原始图片集和样本图片集；每个所述原始图片包括：背景、原始船舶以及原始船舶的矩形框标注信息；每个所述样本图片包括：船舶样本以及船舶样本的轮廓标注信息；
例如：原始图片集P有1000张原始图片p，每个原始图片p包括：背景（天空、海洋、建筑物）、原始船舶c（原始船舶在海洋上运行）以及原始船舶的矩形框标注信息b（即用矩形框将原始图片中的原始船舶框选，可得到该矩形框的四个角的坐标）；样本图片集Q有200张样本图片q，每张样本图片q包括：船舶样本d以及船舶样本的轮廓标注信息m（即根据船舶样本的***轮廓将船舶样本框选出来，可得到轮廓的多个坐标）。
第一选取单元202，用于从所述原始图片集中随机选取一张原始图片作为待融合背景图片，对所述待融合背景图片进行二值化得到所述待融合背景图片的水平面坐标；
待融合背景图片p中可能包含原始船舶c1，c2……，对应的矩形框标注信息为b1，b2……。对待融合背景图片p进行二值化，得到二值化图片，在二值化图片中对相邻像素点进行判断，判断像素点相差较大的即可确定待融合背景图片的水平面坐标，即待融合背景图片中的一条线，该线为水平面。
第二选取单元203，用于从所述样本图片集中随机选取一张样本图片作为待融合船舶图片，将所述待融合船舶图片中的船舶样本根据所述轮廓标注信息扣除并对其进行数据增强得到船舶变换图片；
从样本图片集Q中随机选取一张样本图片作为待融合船舶图片q，待融合船舶图片包括：船舶样本d，其对应的轮廓标注信息为m，将待融合船舶图片中的船舶样本按照轮廓标注信息扣除并对其进行数据增强（即水平翻转、对比度增强）得到船舶变换图片
Figure 383068DEST_PATH_IMAGE019
。
融合单元204，用于根据所述待融合背景图片的水平面坐标将所述船舶变换图片融合到所述待融合背景图片中，得到融合图片；对所述融合图片进行数据增强，得到融合增强图片；
在一个可选的实施方式中，所述得到融合图片包括：
放置子单元2041，用于在所述待融合背景图片中的水平面坐标上随机选取一个位置作为融合坐标，将所述船舶变换图片放置在所述融合坐标处；
具体的，在所述放置子单元2041之前包括：
第一判断子单元，用于当判定所述船舶变换图片的面积大于所述待融合背景图片的面积时，重新从所述原始图片集中随机选取一张原始图片作为待融合背景图片。
即必须要保证船舶变化图片的面积不大于待融合背景图片的面积。
第一计算子单元2042，用于计算所述船舶变换图片和所述待融合背景图片中的原始船舶的交并比；
具体的，所述交并比根据以下公式计算：
Figure 262031DEST_PATH_IMAGE001
其中，所述
Figure 185994DEST_PATH_IMAGE002
为船舶变换图片，所述
Figure 709379DEST_PATH_IMAGE003
为船舶变换图片的外接矩形的面积，所述
Figure 76907DEST_PATH_IMAGE004
为待融合背景图片中的原始船舶，所述
Figure 239904DEST_PATH_IMAGE005
为待融合背景图片中的原始船舶的外接矩形的面积，所述
Figure 780606DEST_PATH_IMAGE006
为所述船舶变换图片和所述待融合背景图片中的原始船舶的交并比（即重叠程度）。
第二判断子单元2043，用于当所述交并比大于等于预设阈值时，重新选择所述融合坐标；当所述交并比小于所述预设阈值时，则认为所述融合坐标为目标融合坐标；
本发明中，预设阈值为0.5，当所述交并比大于等于0.5时，重新选择所述融合坐标（重叠程度过大，不利于模型学习）；当所述交并比小于0.5时，则认为所述融合坐标为目标融合坐标。
进一步的，当待融合背景图片中的原始船舶只有一个时，即c1，只需计算船舶变换图片
Figure 361760DEST_PATH_IMAGE019
与c1的交并比，该交并比小于0.5时，则认为所述融合坐标为目标融合坐标。
当待融合背景图片中的原始船舶有三个时，即c1，c2，c3，则需要计算船舶变换图片
Figure 883877DEST_PATH_IMAGE019
与c1的交并比，船舶变换图片
Figure 612799DEST_PATH_IMAGE019
与c2的交并比，船舶变换图片
Figure 629297DEST_PATH_IMAGE019
与c3的交并比，三个交并比都小于0.5时，则认为所述融合坐标为目标融合坐标。
融合子单元2044，用于将所述船舶变换图片覆盖在所述目标融合坐标处进行融合，得到融合图片。
对所述融合图片进行数据增强（数据增强包括翻转、平移、对比度亮度等），得到融合增强图片。
重复单元205，用于重复所述第一选取单元，所述第二选取单元，所述第三选取单元，得到融合增强图片集；
本发明利用原始图片集和样本图片集在线生成融合增强图片集，提高了数据的丰富度和船舶数据的利用率。且生成的融合增强图片集既包括原始船舶，又包括船舶样本，提高了船舶图片的复杂度。
模型训练单元206，用于将所述融合增强图片集和所述原始图片集作为训练集进行模型训练，得到船舶目标检测模型。
训练集中船舶类别间样本不平衡（例如：训练集中有10万个游艇，100个轮船），样本不均衡会导致模型主要关注数量多的船舶类别进行检测，网络中的参数主要根据数量多的类别（游艇）的损失进行优化，导致数量少的类别（轮船）的检测精度大大下降。
因而，本发明提供了一种可提高模型对少类别检测能力的模型训练，所述将所述融合增强图片集和所述原始图片集作为训练集进行模型训练包括：
统计子单元2061，用于统计所述训练集中不同船舶类别的目标数量；根据每类船舶的目标数量计算每类船舶的损失权重；
具体的，所述每类船舶的损失权重根据以下公式计算：
Figure 314225DEST_PATH_IMAGE007
其中，所述C为船舶的种类数量；
Figure 820292DEST_PATH_IMAGE008
为训练集中第
Figure 974193DEST_PATH_IMAGE009
类船舶的目标数量；B为训练集中全部类别船舶的目标总数量；
Figure 856699DEST_PATH_IMAGE010
为第
Figure 396133DEST_PATH_IMAGE009
类船舶的损失权重。
该公式中，数量少的船舶类别的损失权重大，数量多的船舶类别的损失权重小。即加大了小类船舶的损失权重，从而使重点集中到小类船舶上。
限制子单元2062，用于根据设定限制值对所述损失权重进行限制；
为避免
Figure 276364DEST_PATH_IMAGE010
数值过大，对模型训练产生影响，对
Figure 714299DEST_PATH_IMAGE010
进行限制，本发明中设定限制值为2。所述根据设定限制值（2）对所述损失权重进行限制的计算公式为：
Figure 321867DEST_PATH_IMAGE011
其中，
Figure 732120DEST_PATH_IMAGE010
为第
Figure 579990DEST_PATH_IMAGE009
类船舶的损失权重。
第二计算子单元2063，用于根据限制后的损失权重以及每张图片的分类损失函数计算每张图片的分类损失值。
所述每张图片的分类损失值根据以下公式计算：
Figure 692171DEST_PATH_IMAGE012
其中，
Figure 916479DEST_PATH_IMAGE013
为当前张图片的分类损失值；
Figure 181238DEST_PATH_IMAGE014
为当前张图片中船舶的第
Figure 652540DEST_PATH_IMAGE015
个预测结果的分类预测向量，当前张图片中船舶会预测出多个预测结果；
Figure 65067DEST_PATH_IMAGE016
为当前张图片中船舶的分类真实向量，
Figure 765169DEST_PATH_IMAGE017
为分类损失函数；
Figure 946752DEST_PATH_IMAGE018
为当前张图片中船舶所属类别的损失权重；N为当前张图片中船舶的所有预测结果的数量，j为当前张图片中船舶的第
Figure 588955DEST_PATH_IMAGE015
个预测结果。
若当前张图片中有一个船舶，该船舶有50个预测结果，其真实的类别为第一类，船舶总共有5类。该船舶第一个预测结果的分类预测向量为[0.6，0.2，0.2，0，0] ，第二个预测结果的分类预测向量为[0.7，0.1，0.1，0.1，0]……。船舶的分类真实向量为[1，0，0，0，0]，W为第一类船舶的损失权重。
若当前张图片中有两个船舶，第一个船舶有100个预测结果，第二个船舶有100个预测结果，其第一个船舶真实的类别为第一类，第二个船舶真实的类别为第二类，船舶总共有5类，该第一个船舶的第一个预测结果的分类预测向量为[0.6，0.2，0.1，0.1，0] ，该第一个船舶的第二个预测结果的分类预测向量为[0.6，0.1，0.1，0.1，0.1]……。第一个船舶的分类真实向量为[1，0，0，0，0]，W为第一类船舶的损失权重。该第二个船舶的第一个预测结果的分类预测向量为[0.3，0.6，0.1，0，0] ，该第二个船舶的第二个预测结果的分类预测向量为[0.1，0.6，0.1，0.1，0.1]……。第二个船舶的分类真实向量为[0，1，0，0，0]，W为第二类船舶的损失权重。
该方法，可以对训练集中每张图片中的少类别船舶加大损失权重，进而加大损失值，模型会朝着少类别船舶方向进行更新，从而提高少类数据的利用率，提高模型对少类的检测能力。
需要说明的是，本发明不对船舶的种类数量、预设阈值、设定限制值、船舶预测的预测结果数量作限定。
本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述的船舶目标检测模型训练方法。
上述存储介质中存储有上述软件，该存储介质包括但不限于：光盘、软盘、硬盘、可擦写存储器等。
本发明的有益效果：
本发明提供了一种船舶目标检测模型训练方法、***及计算机存储介质，该方法利用原始图片集和样本图片集在线生成融合增强图片集，提高了数据的丰富度和船舶数据的利用率；生成的融合增强图片集既包括原始船舶，又包括船舶样本，提高了船舶图片的复杂度；本发明加大类别占比小的船舶数据的损失权重，从而将重点集中到小类船舶数据上，提高少类数据的利用率，缓解样本不均衡的问题。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种船舶目标检测模型训练方法，其特征在于，包括：
步骤S101，获取原始图片集和样本图片集；每个所述原始图片包括：背景、原始船舶以及原始船舶的矩形框标注信息；每个所述样本图片包括：船舶样本以及船舶样本的轮廓标注信息；
步骤S102，从所述原始图片集中随机选取一张原始图片作为待融合背景图片，对所述待融合背景图片进行二值化得到所述待融合背景图片的水平面坐标；
步骤S103，从所述样本图片集中随机选取一张样本图片作为待融合船舶图片，将所述待融合船舶图片中的船舶样本根据所述轮廓标注信息扣除并对其进行数据增强得到船舶变换图片；
步骤S104，根据所述待融合背景图片的水平面坐标将所述船舶变换图片融合到所述待融合背景图片中，得到融合图片；对所述融合图片进行数据增强，得到融合增强图片；
步骤S105，重复步骤S102，步骤S103，步骤S104，得到融合增强图片集；
步骤S106，将所述融合增强图片集和所述原始图片集作为训练集进行模型训练，得到船舶目标检测模型。
2.根据权利要求1所述的方法，其特征在于，所述根据所述待融合背景图片的水平面坐标将所述船舶变换图片融合到所述待融合背景图片中，得到融合图片包括：
步骤S1041，在所述待融合背景图片中的水平面坐标上随机选取一个位置作为融合坐标，将所述船舶变换图片放置在所述融合坐标处；
步骤S1042，计算所述船舶变换图片和所述待融合背景图片中的原始船舶的交并比；
步骤S1043，当所述交并比大于等于预设阈值时，重新选择所述融合坐标；当所述交并比小于所述预设阈值时，则认为所述融合坐标为目标融合坐标；
步骤S1044，将所述船舶变换图片覆盖在所述目标融合坐标处进行融合，得到融合图片。
3.根据权利要求2所述的方法，其特征在于，所述交并比根据以下公式计算：
Figure 839153DEST_PATH_IMAGE001
其中，所述
Figure 756294DEST_PATH_IMAGE002
为船舶变换图片，所述
Figure 473714DEST_PATH_IMAGE003
为船舶变换图片的外接矩形的面积，所述
Figure 55874DEST_PATH_IMAGE004
为原始船舶，所述
Figure 870246DEST_PATH_IMAGE005
为原始船舶的外接矩形的面积，所述
Figure 630392DEST_PATH_IMAGE006
为所述船舶变换图片和所述待融合背景图片中的原始船舶的交并比。
4.根据权利要求2所述的方法，其特征在于，在所述步骤S1041之前包括：
当判定所述船舶变换图片的面积大于所述待融合背景图片的面积时，重新从所述原始图片集中随机选取一张原始图片作为待融合背景图片。
5.根据权利要求1所述的方法，其特征在于，所述将所述融合增强图片集和所述原始图片集作为训练集进行模型训练包括：
步骤S1061，统计所述训练集中不同船舶类别的目标数量；根据每类船舶的目标数量计算每类船舶的损失权重；
步骤S1062，根据设定限制值对所述损失权重进行限制；
步骤S1063，根据限制后的损失权重以及每张图片的分类损失函数计算每张图片的分类损失值。
6.根据权利要求5所述的方法，其特征在于，所述每类船舶的损失权重根据以下公式计算：
Figure 84376DEST_PATH_IMAGE007
其中，所述C为船舶的种类数量；
Figure 283276DEST_PATH_IMAGE008
为训练集中第
Figure 889838DEST_PATH_IMAGE009
类船舶的目标数量；B为训练集中全部类别船舶的目标总数量；
Figure 70152DEST_PATH_IMAGE010
为第
Figure 824482DEST_PATH_IMAGE009
类船舶的损失权重。
7.根据权利要求5所述的方法，其特征在于，所述根据设定限制值对所述损失权重进行限制的计算公式为：
Figure 499177DEST_PATH_IMAGE011
其中，
Figure 209513DEST_PATH_IMAGE010
为第
Figure 639357DEST_PATH_IMAGE009
类船舶的损失权重。
8.根据权利要求5所述的方法，其特征在于，所述每张图片的分类损失值根据以下公式计算：
Figure 818666DEST_PATH_IMAGE012
其中，
Figure 93789DEST_PATH_IMAGE013
为当前张图片的分类损失值；
Figure 924211DEST_PATH_IMAGE014
为当前张图片中船舶的第
Figure 259377DEST_PATH_IMAGE015
个预测结果的分类预测向量，当前张图片中船舶会预测出多个预测结果；
Figure 925982DEST_PATH_IMAGE016
为当前张图片中船舶的分类真实向量，
Figure 191747DEST_PATH_IMAGE017
为分类损失函数；
Figure 689724DEST_PATH_IMAGE018
为当前张图片中船舶所属类别的损失权重；N为当前张图片中船舶的所有预测结果的数量，j为当前张图片中船舶的第
Figure 399054DEST_PATH_IMAGE015
个预测结果。
9.一种船舶目标检测模型训练***，其特征在于，包括：
获取单元，用于获取原始图片集和样本图片集；每个所述原始图片包括：背景、原始船舶以及原始船舶的矩形框标注信息；每个所述样本图片包括：船舶样本以及船舶样本的轮廓标注信息；
第一选取单元，用于从所述原始图片集中随机选取一张原始图片作为待融合背景图片，对所述待融合背景图片进行二值化得到所述待融合背景图片的水平面坐标；
第二选取单元，用于从所述样本图片集中随机选取一张样本图片作为待融合船舶图片，将所述待融合船舶图片中的船舶样本根据所述轮廓标注信息扣除并对其进行数据增强得到船舶变换图片；
融合单元，用于根据所述待融合背景图片的水平面坐标将所述船舶变换图片融合到所述待融合背景图片中，得到融合图片；对所述融合图片进行数据增强，得到融合增强图片；
重复单元，用于重复所述第一选取单元，所述第二选取单元，所述第三选取单元，得到融合增强图片集；
模型训练单元，用于将所述融合增强图片集和所述原始图片集作为训练集进行模型训练，得到船舶目标检测模型。
10.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1至8中任一项所述的船舶目标检测模型训练方法。
CN202211243677.9A 2022-10-12 2022-10-12 船舶目标检测模型训练方法、***及计算机存储介质 Pending CN115331113A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211243677.9A CN115331113A (zh) 2022-10-12 2022-10-12 船舶目标检测模型训练方法、***及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211243677.9A CN115331113A (zh) 2022-10-12 2022-10-12 船舶目标检测模型训练方法、***及计算机存储介质

Publications (1)

Publication Number Publication Date
CN115331113A true CN115331113A (zh) 2022-11-11

Family

ID=83913598

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211243677.9A Pending CN115331113A (zh) 2022-10-12 2022-10-12 船舶目标检测模型训练方法、***及计算机存储介质

Country Status (1)

Country Link
CN (1) CN115331113A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117351440A (zh) * 2023-12-06 2024-01-05 浙江华是科技股份有限公司 基于开放式文本检测的半监督船舶检测方法及***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102663348A (zh) * 2012-03-21 2012-09-12 中国人民解放军国防科学技术大学 一种光学遥感图像中的海上舰船检测方法
CN105139034A (zh) * 2015-08-27 2015-12-09 北京市遥感信息研究所 一种结合光谱滤除的船舶检测方法
CN112836668A (zh) * 2021-02-22 2021-05-25 集美大学 一种船舶目标检测方法、终端设备及存储介质
CN114627415A (zh) * 2022-03-14 2022-06-14 中山大学 基于自适应数据增强的船舶检测方法及***
CN115049613A (zh) * 2022-06-14 2022-09-13 云南大学 一种基于Mask R-CNN的疟疾血涂片细胞检测和分割方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102663348A (zh) * 2012-03-21 2012-09-12 中国人民解放军国防科学技术大学 一种光学遥感图像中的海上舰船检测方法
CN105139034A (zh) * 2015-08-27 2015-12-09 北京市遥感信息研究所 一种结合光谱滤除的船舶检测方法
CN112836668A (zh) * 2021-02-22 2021-05-25 集美大学 一种船舶目标检测方法、终端设备及存储介质
CN114627415A (zh) * 2022-03-14 2022-06-14 中山大学 基于自适应数据增强的船舶检测方法及***
CN115049613A (zh) * 2022-06-14 2022-09-13 云南大学 一种基于Mask R-CNN的疟疾血涂片细胞检测和分割方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117351440A (zh) * 2023-12-06 2024-01-05 浙江华是科技股份有限公司 基于开放式文本检测的半监督船舶检测方法及***
CN117351440B (zh) * 2023-12-06 2024-02-20 浙江华是科技股份有限公司 基于开放式文本检测的半监督船舶检测方法及***

Similar Documents

Publication Publication Date Title
CN110188760B (zh) 一种图像处理模型训练方法、图像处理方法及电子设备
CN110598610B (zh) 一种基于神经选择注意的目标显著性检测方法
CN111667520B (zh) 红外图像和可见光图像的配准方法、装置及可读存储介质
Daniel et al. Video visualization
CN111640181A (zh) 一种交互式视频投影方法、装置、设备及存储介质
CN112348815A (zh) 图像处理方法、图像处理装置以及非瞬时性存储介质
CN110991435A (zh) 一种基于深度学习的快递运单关键信息定位方法和装置
CN108833785A (zh) 多视角图像的融合方法、装置、计算机设备和存储介质
EP2709038A1 (en) Device and method for detecting the presence of a logo in a picture
CN106502533A (zh) 一种截屏方法及装置
CN111860255A (zh) 驾驶检测模型的训练、使用方法、装置、设备及介质
CN111597941B (zh) 一种面向大坝缺陷图像的目标检测方法
CN114998337B (zh) 一种划痕检测方法、装置、设备及存储介质
CN111027538A (zh) 一种基于实例分割模型的集装箱检测方法
CN113705673B (zh) 一种文字检测方法、装置、设备及存储介质
CN115331113A (zh) 船舶目标检测模型训练方法、***及计算机存储介质
CN115937552A (zh) 一种基于融合手工特征与深度特征的图像匹配方法
CN115393635A (zh) 一种基于超像素分割以及数据增强的红外小目标检测方法
CN113112511B (zh) 试卷批改的方法、装置、存储介质及电子设备
CN109658453A (zh) 圆心确定方法、装置、设备及存储介质
CN113723371A (zh) 无人船清洁路线规划方法、装置、计算机设备及存储介质
US20230353702A1 (en) Processing device, system and method for board writing display
CN112132750A (zh) 一种视频处理方法与装置
CN111767752A (zh) 一种二维码识别方法及装置
CN112839172B (zh) 基于手部识别的拍摄主体识别方法和***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20221111

RJ01 Rejection of invention patent application after publication