CN114048800B - 一种视觉信息海上目标识别多源混合数据集构建方法 - Google Patents
一种视觉信息海上目标识别多源混合数据集构建方法 Download PDFInfo
- Publication number
- CN114048800B CN114048800B CN202111229203.4A CN202111229203A CN114048800B CN 114048800 B CN114048800 B CN 114048800B CN 202111229203 A CN202111229203 A CN 202111229203A CN 114048800 B CN114048800 B CN 114048800B
- Authority
- CN
- China
- Prior art keywords
- target
- image
- network
- sample
- ship
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 18
- 238000010276 construction Methods 0.000 title description 5
- 238000000034 method Methods 0.000 claims abstract description 29
- 230000003416 augmentation Effects 0.000 claims abstract description 15
- 238000012549 training Methods 0.000 claims abstract description 15
- 238000002372 labelling Methods 0.000 claims abstract description 12
- 238000012545 processing Methods 0.000 claims abstract description 10
- 238000013209 evaluation strategy Methods 0.000 claims abstract description 9
- 238000013135 deep learning Methods 0.000 claims abstract description 8
- 238000001514 detection method Methods 0.000 claims description 34
- 238000012360 testing method Methods 0.000 claims description 22
- 238000004088 simulation Methods 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 10
- 238000013434 data augmentation Methods 0.000 claims description 9
- 238000011156 evaluation Methods 0.000 claims description 5
- 238000004422 calculation algorithm Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 3
- 238000013508 migration Methods 0.000 claims description 3
- 230000005012 migration Effects 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 3
- 230000003190 augmentative effect Effects 0.000 claims description 2
- 238000013528 artificial neural network Methods 0.000 abstract description 4
- 230000004438 eyesight Effects 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 10
- 238000013461 design Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 239000000126 substance Substances 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 208000034699 Vitreous floaters Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000004313 glare Effects 0.000 description 1
- 239000000383 hazardous chemical Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明属于计算机视觉技术领域，具体涉及一种视觉信息海上目标识别多源混合数据集构建方法。本发明通过详细划分海上目标种类，为后续样本采集与标注提供标准分类条件；采用多种途径获取样本数据，利用海上目标样本采集、网络搜索、数据样本增广方式，分别构建样本数据集；设计样本分配和处理策略，并制定海上目标识别评价策略，保证样本中各类数据构成比例更为合理，保证后续神经网络训练的准确性。本发明可为基于深度学习的海上目标识别网络训练任务，提供更为合理的训练样本，使训练后的网络具有较强的鲁棒性和识别准确性。
Description
技术领域
本发明属于计算机视觉技术领域，具体涉及一种视觉信息海上目标识别多源混合数据集构建方法。
背景技术
船舶航行过程中，可利用视觉传感器获取周围的图像信息，再利用深度学习网络训练此类样本，训练后的网络可在线识别实时采集到的海上目标图像中目标船，给出目标船类型等信息，为船舶操控人员快速图像中其他船舶的信息，提高船舶航行的安全性。但深度学习网络需要基于大量的训练样本，因此构建视觉信息海上目标识别多源混合数据集具有重大意义。
目前视觉图像的目标识别数据集的典型构建方法，主要是基于实际拍摄或网络搜集方式，如Ribeiro在文献《A Data Set for Airborne Maritime SurveillanceEnvironments》中，介绍一种由无人机拍摄获取海上监视图像方法，建立的数据集包含眩光、波峰、尾迹以及视角变化等不同类型；再比如Gundogdu在文献《MARVEL:A Large-ScaleImage Dataset for Maritime Vessels》中，通过网络搜集方式获取用户上传的图像，以此建立大型的海洋船舶图像数据集，包括船舶身份、类型、照片类别和拍摄年份等。
以上文献在信息融合过程中存在如下问题：首先，基于无人机或实船拍摄的视觉图像的数据集，大多不能覆盖所有航行环境，包括白天、黑夜、阴天、晴天等多种环境，因此经过该方式构建的数据集训练后的深度学习网络，往往只对该环境下的目标识别较为准确，而在其他情况下的识别效果不佳。二是通过网络收集的样本图像，存在类别多种多样，例如实景图、仿真图、虚拟场景图等，但各类数据的比例并未做说明，各类船舶样本比例不同，会影响神经网络训练和使用效果。本发明针对海上目标识别多源混合数据集的构建工作，采用多种方式获取并处理各类数据集，制定整个数据集的组成原则和策略，弥补以往方法的不足。
发明内容
本发明的目的在于提供一种视觉信息海上目标识别多源混合数据集构建方法。
一种视觉信息海上目标识别多源混合数据集构建方法，包括以下步骤：
步骤1：设定海上目标分类方案；
步骤2：海上目标样本采集与网络收集；
步骤2.1：海上目标样本采集；
海上目标采集工作由全景可见光设备提供，将该设备安装在试验船桅杆高处，保证该设备无遮挡，采集实船图像后，通过人为筛选方式，提出图像中没有其他船舶的图片，保证每张图片均包含海上目标图像；
步骤2.2：海上目标网络收集；
通过网络收集方式获取海上目标图像数据，包括按照步骤1中设定的海上目标类别搜索收集、按照天气类别收集、按照时段类别收集、按照距离远近类别收集，按照上述维度逐一搜索，形成图片数据集；采用对比图像MD5值的方式判断图像是否是重复的，即将网络收集的图片转化为MD5值，对比所有的MD5值，并将相同的值对应图片仅保留1张，以此完成剔除重复图片工作；
步骤3：海上目标数据增广样本生成；利用船舶航行仿真***及三维视景***生成船舶目标仿真图像，利用CycleGAN网络将船舶仿真图像转换到航行图像；
步骤4：海上目标样本标注与分配；
将步骤2和步骤3中收集到的所有样本汇总，设样本图像数量为N，并将所有图片名称改为[1,N]的索引，其中索引[1,N1]为实船采集样本，[N1,N2]为网络收集样本，[N2,N]为增广样本；
设定如下标注信息：步骤1中设定的海上目标类别、目标尺寸类型、天气类别、时段类别、地点类别；所述目标尺寸类型包括小目标、中目标、大目标，目标像素占比0.5％-2.5％的为小目标，目标像素尺寸占比2.5％-10％为为中目标，目标像素尺寸占比大于10％为大目标；所述天气类别包括晴天、阴天、雨雪天、雾天；所述时段类别包括白天、黄昏、黑夜；所述地点类别包括开阔水域、港口；
步骤5：设计海上目标评价策略，利用已有的通用目标识别网络在构建的海上目标数据集训练的基础上，测试目标识别能力；然后在网络构型不变的情况下，调整数据集的元素构成，包括实船采集样本、网络收集、数据增广样本的比例、不同目标尺寸类型样本的比例、不同天气类别的增广样本比例、不同时段类别的增广样本比例、不同地点类别的增广样本比例，获得最佳的样本分配数据，并以此数据为最终的样本比例。
进一步地，所述的步骤3中使用CycleGAN网络开展图像前景部分迁移任务，使用具有标签的数据集，网络判别器输入与它对应的掩码进行点乘处理，以此获取图片的前景信息；生成器网络结构中含有2个残差模块，残差模块用于提取图片的前景信息，尺寸为输入图片的一半；在网络的最后一层之前，首先将特征图与尺寸相同的掩码图开展点乘操作，实现将海面外其他位置设置为黑色，再在最后一层卷积操作过程中，对输入图片开展拼接处理，进而引入原图其他部分的数据，形成完整的Fake-B；
上述操作过程的损失函数为：
L(GAB,GBA,DA,DB)＝LGAN(GAB,DB,A,B)+LGAN(GBA,DA,B,A)
+αLcyc(GAB,GBA)+βLidt(GAB,GBA)+γ(GAB,GBA,A,B)
式中其他各变量表示为：
LGAN(GAB,DB,A,B)＝E[logDB(bf)]+E[log(1-DB(GAB(a)f))]
LGAN(GBA,DA,B,A)＝E[logDA(af)]+E[log(1-DA(GBA(b)f))]
Lcyc(GAB,GBA)＝E[||GBA(GAB(a)f)-af||1]+E[||GAB(GBA(b)f)-bf||1]
Lidt(GAB,GBA,A,B)＝E[||GBA(a)-a||1]+E[||GAB(b)-b||1]
Lback[GAB,GBA,A,B]＝E[||GAB(a)b-ab||1]+E[||GBA(b)b-bb||1]。
进一步地，所述的步骤5中为实现对船舶目标识别深度学习网络性能评估，采用如下5类场景图片作为验证集：
(1)单一船舶：测试目标检测器交并比能力；
(2)多船舶：测试目标检测漏检、错检情况；
(3)船舶重叠：测试多船舶在混叠状态下识别能力；
(4)恶劣环境下的船舶识别：测试极端环境下检测能力；
(5)真实船舶：验证检测器切合实际场景的应用能力；
利用IOU作为目标检测算法性能计算指标：
针对以上测试集，对各图片依次进行打分，若正常识别，则单个图片得分为IOU*100；
完成以上过程后，进一步考虑如下两种特殊情况：
(1)漏检情况：考虑到漏检目标是一种比较严重的错误，在实船使用上如漏检易造成撞船事故，因此对应图片识别直接打为0分，且不再进行错检判断，；
(2)错检情况：在对应图片识别的IOU打分基础之上，错检一处减10分，直至得分为0；
每组图像的得分Sgroup为将每幅图片的得分求平均分，由下式表示：
上式中：N为该组中图片数量；Sg*为每张图片的得分；
整个目标识别网络的得分Snet由下式计算
本发明的有益效果在于：
本发明通过详细划分海上目标种类，为后续样本采集与标注提供标准分类条件；采用多种途径获取样本数据，利用海上目标样本采集、网络搜索、数据样本增广方式，分别构建样本数据集；设计样本分配和处理策略，并制定海上目标识别评价策略，保证样本中各类数据构成比例更为合理，保证后续神经网络训练的准确性。本发明可为基于深度学习的海上目标识别网络训练任务，提供更为合理的训练样本，使训练后的网络具有较强的鲁棒性和识别准确性。
附图说明
图1是本发明的流程框图。
图2是船舶航行仿真***界面示意图。
图3是船舶航行仿真剧本示意图。
图4是航行仿真保存剧本JSON文件内容示意图。
图5是12路图像文件示意图。
图6是生成器网络结构图。
图7是利用CycleGAN网络将仿真图片转换到实际航行图片效果图。
图8是海上目标图像IOU原理示意图。
图9是利用IOU计算海上目标识别得分样例示意图。
图10是海上目标漏检情况示例图。
图11是海上目标错检情况示例图。
具体实施方式
下面结合附图对本发明做进一步描述。
本发明涉及计算机视觉领域，特别涉及视觉信息海上目标识别多源混合数据集构建方法，利用该方法构建的目标识别数据集，可为基于深度学习的海上目标识别网络训练任务，提供更为合理的训练样本，使训练后的网络具有较强的鲁棒性和识别准确性。
本发明的目的是利用海上目标样本采集、网络搜索、数据样本增广方式，分别构建样本数据集，设计样本分配和处理策略，构建基于图像的海上目标多源混合数据集，为后续海上目标识别算法训练等工作，提供科学合理的数据集。
首先，制定海上目标分类方案，明确海上目标种类，这项工作在以往的资料中往往被忽视，本发明详细划分海上目标种类，为后续样本采集与标注提供标准分类条件；其次，采用多种途径获取样本数据，包括实船采集、网络收集以及样本增广方法，扩展了样本数据源，与以往方法相比数据更为丰富；再次，设计样本处理与分配策略，并制定海上目标识别评价策略，保证样本中各类数据构成比例更为合理，保证后续神经网络训练的准确性。
实施例1：
本发明的流程框图如图1所示，首先设计海上目标分类方案，设定海上目标为15类，包括船舶、岛屿、海上漂浮物等，然后采用实船样本和网络收集方式，获取海上实际环境和网络上的样本数据，在此基础上，对不容易获取的海上目标样本，采用样本增广的方式，进一步构建海上目标样本。在保证数据量的前提下，设计海上目标样本分配策略，针对不同的航行环境、气象等条件下，设计不同的目标样本集，最后设计目标评价策略，以此为基础构建综合数据集。
1、海上目标分类方案设计
本发明根据中国船级社相关标准、船长调查问卷及其他途径，制定海上目标分类方案，该方案将海上目标分为15类，对应的中英文名称如下：
(1)邮轮(liner)
(2)集装箱船(container ship)
(3)散货船及油轮(bulk carrier)
(4)岛礁(island reef)
(5)渔船(fishing boat)
(6)帆船(sailboat)
(7)滚装船(ro-ro ship)
(8)危化品船(chemical tanker)
(9)艇型船(canoe)
(10)工程船舶(engineering ship)
(11)浮标(buoy)
(12)灯桩(light beacon)
(13)海工平台(offshore platform)
(14)浮冰(floating ice)
(15)其它船舶(other ship)
以上海上目标的中英文名称较为重要，制定后数据集中各类名称不可更改，保证数据集中目标类型的一致性。
2、海上目标样本采集与网络收集
Step 1：海上目标样本采集
本发明中海上目标采集工作由12路360度全景可见光设备提供，将该设备安装在试验船桅杆高处，保证该设备无遮挡，并设置图片自动保存，15秒保存1次，1次包含12张图片，每张图片文件名由相机序号和绝对时间，格式为XX-XXXXXX，其中第1-2位为相机序号01-12，第3-4位为时，第5-6位为分，第7-8位为秒。按照上述方法采集实船图像后，通过人为筛选方式，提出图像中没有其他船舶的图片，保证每张图片均包含海上目标图像。
Step 2：海上目标网络收集
本发明考虑到目前并无直接可用的海上目标样本公开数据集，因此采用人为网络收集方式获取一定数量的海上目标图像数据，图像包括如下多个维度：
(1)按照海上目标类别搜索收集：具体类别见本专利具体实施方式1中介绍。
(2)按照天气类别收集：晴天、阴天、雨雪天、雾天。
(3)按照时段类别收集：白天、黄昏、黑夜。
(4)按照距离远近类别收集：近距离、中距离、远距离、超远距离。
人为按照上述类别逐一搜索，形成图片文件夹。考虑到在网络上可能会收集到重复的图片，本发明采用对比图像MD5值的方式判断图像是否是重复的，即将网络收集的图片转化为MD5值，对比所有的MD5值，并将相同的值对应图片仅保留1张，以此完成剔除重复图片工作。
3、海上目标数据增广样本生成
本发明采用如下步骤开展海上目标数据增广工作：
Step 1：利用船舶航行仿真***及三维视景***生成船舶目标仿真图像
本发明首先利用船舶航行仿真***及三维视景***开展一系列的仿真工作，设置不同的船舶航行仿真场景，并保存在一系列的文件中，航行场景和文件如图2和图3所示。并将航行场景中所有船舶的运动状态数据保存为JSON文件，文件如图4所示。
然后利用三维视景***加载已保存的JSON文件，加载文件中的各时间帧剧本，在三维场景中动态推演多船航行场景，并按照1Hz频率保存本船在三维场景观测目标船的视觉图像，三维场景中安装在本船上的虚拟摄像机为12路可见光相机，该虚拟相机可拍摄本船周围360度的图像数据，仿真效果如图5所示。
Step 2：利用CycleGAN网络将船舶仿真图像转换到航行图像
本发明使用CycleGAN开展图像前景部分迁移任务，使用具有标签的数据集，该数据集由“2、海上目标样本采集与网络收集”工作基础上加以构建，其中网络判别器输入与它对应的掩码进行点乘处理，以此获取图片的前景信息(此时图像背景为黑色)。本发明生成器网络结构如图6所示，其中还有2个残差模块，图6中Mask_A表示的是图片A，前景数量和背景数据分别为1和0，残差模块用于提取图片的前景信息，尺寸为Mask_A的一半，即为在网络的最后一层之前，首先将特征图与尺寸相同的掩码图开展点乘操作，实现将海面外其他位置设置为黑色，再在最后一层卷积操作过程中，对输入图片开展拼接处理，进而引入原图其他部分的数据，形成完整的Fake-B。
上述操作过程的损失函数为：
L(GAB,GBA,DA,DB)＝LGAN(GAB,DB,A,B)+LGAN(GBA,DA,B,A)
+αLcyc(GAB,GBA)+βLidt(GAB,GBA)+γ(GAB,GBA,A,B) (1)
式中其他各变量表示为：
LGAN(GAB,DB,A,B)＝E[logDB(bf)]+E[log(1-DB(GAB(a)f))] (2)
LGAN(GBA,DA,B,A)＝E[logDA(af)]+E[log(1-DA(GBA(b)f))] (3)
Lcyc(GAB,GBA)＝E[||GBA(GAB(a)f)-af||1]+E[||GAB(GBA(b)f)-bf||1] (4)
Lidt(GAB,GBA,A,B)＝E[||GBA(a)-a||1]+E[||GAB(b)-b||1] (5)
Lback[GAB,GBA,A,B]＝E[||GAB(a)b-ab||1]+E[||GBA(b)b-bb||1] (6)
本发明中cycle_loss权重为500，对其进行训练后的结果如图7所示。
4、海上目标样本标注方法与分配策略
(1)样本标注方法
Step 1：汇总所有图像样本
将实船采集、网络收集、数据增广样本汇总在一个文件下，设样本图像数量为N，并将所有图片名称，修改为1.jpg、2.jpg、…、N.jpg。其中1.jpg至N1.jpg为实船采集样本类型，N1.jpg至N2.jpg为网络收集样本类型，N2.jpg至N.jpg为样本增广类型。通过该方式划分为三部分样本，此处不允许数据交叉。
Step 2：设定标注内容
设定如下标注信息：海上目标类型(15类，见具体实施方式步骤1中介绍)、目标尺寸类型(小目标、中目标、大目标)、天气状况(晴天、阴天、雨雪天、雾天4类)、时间(白天、黄昏、黑夜3类)、地点(开阔水域、港口2类)。其中本发明将大、中、小目标按照像素尺寸占比加以区分，其中目标像素占比0.5％-2.5％的为小目标，目标像素尺寸占比2.5％-10％为为中目标，目标像素尺寸占比大于10％为大目标。
Step 3：设计标注原则
设计标注原则如下所示：将图片中所有信息全部标注出来，并且对图片标记时应采用应标尽标的策略，即同一幅图片中只要能看清种类的就要标出具体种类，认定为船却分不清种类的或不在制定范围内的船标为其他船。打标签时完全包裹船身。对特征过于相似，以至于人为难以辨别种类的船舶可以考虑归并为一类，如部分渔船和部分工程船舶很相似，删除没有任何特征的图片。
Step 4：标注图片
利用Labelimg软件，采用人工方式标注图像样本，标注后的样本包括两类文件，一类是图片文件，名称见Step 1，另一类文件是每个图片对应的xml文件，该信息由Labelimg软件生成。
(2)样本初始分配策略
本发明根据船长调查问卷，初步确定在筛选后的样本(样本来自总数据库)中大目标、中目标、小目标比例为3：5：2；本发明对于阴雨天样本的考虑，根据南海和东海历年天气统计数据，并考虑检测难度，初步设定测试集不同天气样本占比：晴天60％、阴天30％、雨雾天10％。本发明考虑实船采集的样本数据，在船舶多样性方面具有明显优势，但对于岛屿、暗礁等数据较少，网络收集的样本数据，容易找到岛屿、暗礁等数据，但以上两类数据对于天气多样性方面，样本数据较为单一，而增广数据方法便于构建多气象条件的样本数据，因此对于15类海上目标，对于邮轮(liner)、集装箱船(container ship)、散货船及油轮(bulkcarrier)、岛礁(island reef)、渔船(fishing boat)、帆船(sailboat)、滚装船(ro-roship)、危化品船(chemical tanker)、艇型船(canoe)、工程船舶(engineering ship)、其它船舶(other ship)主要由实船采集样本提供，而浮标(buoy)、灯桩(light beacon)、海工平台(offshore platform)、浮冰(floating ice)由网络收集获得，数据增广方法用于对以上15类目标开展多气象条件下的样本增广。
本发明中上述关于大、中、小目标比例、不同时间和环境的比例为初始设定的比例，后续将根据目标识别评价结果对上述比例进行调整，以至于获得更为优化的比例。
5、海上目标识别评价策略
本发明设计海上目标评价策略，该策略的用途是利用已有的通用目标识别网络，如Faster Rcnn，在本发明前述方法构建的海上目标数据集训练的基础上，测试目标识别能力，然后在网络构型不变的情况下，调整数据集的元素构成，包括实船采集样本、网络收集、数据增广样本的比例、不同气象条件的增广样本比例、不同尺寸样本的比例等，获得最佳的样本分配数据，并以此数据为最终的样本比例，为此海上目标识别评价策略极为重要，本文采用如下策略开展具体的评价工作：
为实现对船舶目标识别深度学习网络性能评估，本发明采用如下5类场景图片作为验证集：
(1)单一船舶(游轮、货船)：测试目标检测器交并比能力
(2)多船舶(大船舶、小船舶)：测试目标检测漏检、错检情况
(3)船舶重叠：测试多船舶在混叠状态下识别能力
(4)恶劣环境下的船舶识别：测试极端环境下检测能力(雾天，雨天)
(5)真实船舶：验证检测器切合实际场景的应用能力
利用IOU(交并比)作为目标检测算法性能计算指标，IOU原理图如图8所示。IOU数学表达式如下所示：
针对以上测试集，对各图片依次进行打分，若正常识别，则单个图片得分为IOU*100，例如图9所示，识别该图片得分：0.82*100＝82分。
本发明完成以上过程后，进一步考虑如下两种特殊情况：
(1)漏检情况：考虑到漏检目标是一种比较严重的错误，在实船使用上如漏检易造成撞船事故，因此对应图片识别直接打为0分，且不再进行错检判断，漏检情况示例如图10所示。
(2)错检情况：在对应图片识别的IOU打分基础之上，错检一处减10分，直至得分为0，错捡情况示例如图11所示：①求出平均IOU，假设此处平均IOU为0.70；②考虑错检，此图得分为：0.70*100-10*1＝60
本发明根据每组图像得分Sgroup为每幅图片的得分后求平均分，由下式表示：
上式中：N为该组中图片数量，Sg*为每张图片的得分。
综上，整个目标识别网络的得分Snet由下式计算
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (3)
1.一种视觉信息海上目标识别多源混合数据集构建方法，其特征在于，包括以下步骤：
步骤1：设定海上目标分类方案；
步骤2：海上目标样本采集与网络收集；
步骤2.1：海上目标样本采集；
海上目标采集工作由全景可见光设备提供，将该设备安装在试验船桅杆高处，保证该设备无遮挡，采集实船图像后，通过人为筛选方式，提出图像中没有其他船舶的图片，保证每张图片均包含海上目标图像；
步骤2.2：海上目标网络收集；
通过网络收集方式获取海上目标图像数据，包括按照步骤1中设定的海上目标类别搜索收集、按照天气类别收集、按照时段类别收集、按照距离远近类别收集，按照上述维度逐一搜索，形成图片数据集；采用对比图像MD5值的方式判断图像是否是重复的，即将网络收集的图片转化为MD5值，对比所有的MD5值，并将相同的值对应图片仅保留1张，以此完成剔除重复图片工作；
步骤3：海上目标数据增广样本生成；利用船舶航行仿真***及三维视景***生成船舶目标仿真图像，利用CycleGAN网络将船舶仿真图像转换到航行图像；
步骤4：海上目标样本标注与分配；
将步骤2和步骤3中收集到的所有样本汇总，设样本图像数量为N，并将所有图片名称改为[1,N]的索引，其中索引[1,N1]为实船采集样本，[N1,N2]为网络收集样本，[N2,N]为增广样本；
设定如下标注信息：步骤1中设定的海上目标类别、目标尺寸类型、天气类别、时段类别、地点类别；所述目标尺寸类型包括小目标、中目标、大目标，目标像素占比0.5％-2.5％的为小目标，目标像素尺寸占比2.5％-10％为为中目标，目标像素尺寸占比大于10％为大目标；所述天气类别包括晴天、阴天、雨雪天、雾天；所述时段类别包括白天、黄昏、黑夜；所述地点类别包括开阔水域、港口；
步骤5：设计海上目标评价策略，利用已有的通用目标识别网络在构建的海上目标数据集训练的基础上，测试目标识别能力；然后在网络构型不变的情况下，调整数据集的元素构成，包括实船采集样本、网络收集、数据增广样本的比例、不同目标尺寸类型样本的比例、不同天气类别的增广样本比例、不同时段类别的增广样本比例、不同地点类别的增广样本比例，获得最佳的样本分配数据，并以此数据为最终的样本比例。
2.根据权利要求1所述的一种视觉信息海上目标识别多源混合数据集构建方法，其特征在于：所述的步骤3中使用CycleGAN网络开展图像前景部分迁移任务，使用具有标签的数据集，网络判别器输入与它对应的掩码进行点乘处理，以此获取图片的前景信息；生成器网络结构中含有2个残差模块，残差模块用于提取图片的前景信息，尺寸为输入图片的一半；在网络的最后一层之前，首先将特征图与尺寸相同的掩码图开展点乘操作，实现将海面外其他位置设置为黑色，再在最后一层卷积操作过程中，对输入图片开展拼接处理，进而引入原图其他部分的数据，形成完整的Fake-B；
上述操作过程的损失函数为：
L(GAB,GBA,DA,DB)＝LGAN(GAB,DB,A,B)+LGAN(GBA,DA,B,A)+αLcyc(GAB,GBA)+βLidt(GAB,GBA)+γ(GAB,GBA,A,B)
式中其他各变量表示为：
LGAN(GAB,DB,A,B)＝E[logDB(bf)]+E[log(1-DB(GAB(a)f))]
LGAN(GBA,DA,B,A)＝E[logDA(af)]+E[log(1-DA(GBA(b)f))]
Lcyc(GAB,GBA)＝E[||GBA(GAB(a)f)-af||1]+E[||GAB(GBA(b)f)-bf||1]
Lidt(GAB,GBA,A,B)＝E[||GBA(a)-a||1]+E[||GAB(b)-b||1]
Lback[GAB,GBA,A,B]＝E[||GAB(a)b-ab||1]+E[||GBA(b)b-bb||1]。
3.根据权利要求1所述的一种视觉信息海上目标识别多源混合数据集构建方法，其特征在于：所述的步骤5中为实现对船舶目标识别深度学习网络性能评估，采用如下5类场景图片作为验证集：
(1)单一船舶：测试目标检测器交并比能力；
(2)多船舶：测试目标检测漏检、错检情况；
(3)船舶重叠：测试多船舶在混叠状态下识别能力；
(4)恶劣环境下的船舶识别：测试极端环境下检测能力；
(5)真实船舶：验证检测器切合实际场景的应用能力；
利用IOU作为目标检测算法性能计算指标：
针对以上测试集，对各图片依次进行打分，若正常识别，则单个图片得分为IOU*100；
完成以上过程后，进一步考虑如下两种特殊情况：
(1)漏检情况：考虑到漏检目标是一种比较严重的错误，在实船使用上如漏检易造成撞船事故，因此对应图片识别直接打为0分，且不再进行错检判断；
(2)错检情况：在对应图片识别的IOU打分基础之上，错检一处减10分，直至得分为0；
每组图像的得分Sgroup为将每幅图片的得分求平均分，由下式表示：
上式中：N为该组中图片数量；Sg*为每张图片的得分；
整个目标识别网络的得分Snet由下式计算
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111229203.4A CN114048800B (zh) | 2021-10-21 | 2021-10-21 | 一种视觉信息海上目标识别多源混合数据集构建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111229203.4A CN114048800B (zh) | 2021-10-21 | 2021-10-21 | 一种视觉信息海上目标识别多源混合数据集构建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114048800A CN114048800A (zh) | 2022-02-15 |
| CN114048800B true CN114048800B (zh) | 2024-06-14 |
Family
ID=80205481
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111229203.4A Active CN114048800B (zh) | 2021-10-21 | 2021-10-21 | 一种视觉信息海上目标识别多源混合数据集构建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114048800B (zh) |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110070142A (zh) * | 2019-04-29 | 2019-07-30 | 上海大学 | 一种基于yolo神经网络的海上船只目标检测方法 |
| CN111368690B (zh) * | 2020-02-28 | 2021-03-02 | 珠海大横琴科技发展有限公司 | 基于深度学习的海浪影响下视频图像船只检测方法及*** |
| CN111582089B (zh) * | 2020-04-27 | 2021-07-09 | 中国人民解放军军事科学院国防科技创新研究院 | 基于卫星红外与可见光图像的海上目标信息融合方法 |
| CN111832580B (zh) * | 2020-07-22 | 2023-07-28 | 西安电子科技大学 | 结合少样本学习与目标属性特征的sar目标识别方法 |
| CN113436258B (zh) * | 2021-06-17 | 2023-09-12 | 中国船舶重工集团公司第七0七研究所九江分部 | 基于视觉与激光雷达融合的海上浮码头检测方法及*** |
| CN113447902A (zh) * | 2021-06-21 | 2021-09-28 | 南京信息职业技术学院 | 一种基于机器学习的对海监视雷达目标识别方法 |
-
2021
- 2021-10-21 CN CN202111229203.4A patent/CN114048800B/zh active Active
Non-Patent Citations (2)
| Title |
|---|
| 基于S4-YOLO的海上目标检测识别方法;赵文强;孙巍;;光学与光电技术;20200806(第04期);全文 * |
| 融合优选图案的深度学习目标识别及定位技术;王立鹏;张智;苏丽;聂文昌;;哈尔滨工程大学学报(第04期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114048800A (zh) | 2022-02-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wei et al. | HRSID: A high-resolution SAR images dataset for ship detection and instance segmentation | |
| CN100538723C (zh) | 多视觉传感器信息融合的内河船舶自动识别*** | |
| CN111368690B (zh) | 基于深度学习的海浪影响下视频图像船只检测方法及*** | |
| CN109919000A (zh) | 一种基于多尺度融合策略的舰船目标检测方法 | |
| CN112348758B (zh) | 一种光学遥感图像数据增强方法及目标识别方法 | |
| CN110443201A (zh) | 基于多源影像联合形状分析与多属性融合的目标识别方法 | |
| CN112418028A (zh) | 一种基于深度学习的卫星图像中船舶识别与分割方法 | |
| CN116109942A (zh) | 一种可见光遥感图像舰船目标检测方法 | |
| Chang et al. | Yolov3 based ship detection in visible and infrared images | |
| CN113486819A (zh) | 一种基于YOLOv4算法的船舶目标检测方法 | |
| CN108446721A (zh) | 一种基于多分支网络的水面环境解析方法 | |
| CN114048800B (zh) | 一种视觉信息海上目标识别多源混合数据集构建方法 | |
| Costello et al. | Transference of training for a dnn to complete the aerial refueling task | |
| He et al. | A novel image recognition algorithm of target identification for unmanned surface vehicles based on deep learning | |
| CN116894999B (zh) | 基于条件参数化卷积的溢油极化sar检测方法和装置 | |
| Zou et al. | Maritime target detection of intelligent ship based on faster R-CNN | |
| CN115471782B (zh) | 一种面向无人艇的红外舰船目标检测方法及装置 | |
| CN111323418A (zh) | 基于无人艇的海面油污监测*** | |
| CN115880642A (zh) | 一种基于机器视觉的海上目标接近程度预警方法及*** | |
| CN110334818A (zh) | 一种管路自动识别的方法及*** | |
| Betti et al. | Real-time target detection in maritime scenarios based on YOLOv3 model | |
| CN113780117B (zh) | 一种快速识别并提取河口羽状流轮廓相关参数的方法 | |
| Cai et al. | Obstacle Detection of Unmanned Surface Vessel based on Faster RCNN | |
| Buck et al. | Ship detection and classification from overhead imagery | |
| AL-BATTBOOTTI et al. | Detection and Analysis of Oil Spill using Image Processing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |