CN113076871A - 一种基于目标遮挡补偿的鱼群自动检测方法 - Google Patents

Abstract

本发明公开了一种基于目标遮挡补偿的鱼群自动检测方法，该方法包括：通过在多旋翼无人飞船上搭载相机采集鱼群图像，并进行标记和数据扩充；进行特征提取，使用双支路特征提取网络对输入鱼群图像进行由浅至深的多级特征提取，获得五个特征图；进行特征融合，使用改进的语义嵌入分支将深层特征图的语义信息融合到其上一层的浅层特征图中，并将四倍下采样特征图的细节信息融合到八倍下采样特征图中；通过三个特征图进行鱼目标的预测，得到候选框，并采用改进DIoU_NMS非极大值抑制算法处理重复候选框，输出鱼群检测的结果。本发明可以在鱼群聚集导致相互遮挡时提高鱼群检测的召回率，进而提高鱼群检测的平均精确度。

Description

一种基于目标遮挡补偿的鱼群自动检测方法

技术领域

本发明涉及图像目标检测技术领域，具体涉及一种基于目标遮挡补偿的鱼群自动检测方法。

背景技术

现代化的鱼类养殖离不开***化的管理，鱼群检测对养殖工业化具有非常重要的实际意义，其中鱼群检测可以检测是否存在鱼，以及鱼类的大小，进而评估养殖、鱼类喂养是否得当。

鱼群检测可以采用声呐图像法和光学图像法。声呐图像法利用超声原理，通过声呐***采集水下鱼群声呐图像，然后从声呐图像中检测出鱼目标，但是对于实际水下场景，采用声呐图像法容易受到其他物体的干扰。随着水下摄影技术的发展和完善，现在可以采用光学图像法。采用光学图像法，首先需要采集鱼群光学图像，然后通过目标检测方法把鱼检测并标记出来。而目标检测是图像处理中的一个分支，它是将图片里全部指定类别的物体找出，并用矩形框标记出它们在图像中的具***置。人工标记鱼群代价昂贵且低效，为了促进鱼类养殖产业的自动化信息化的发展，针对实际养殖场水下环境研究鱼群自动检测方法就显得极为重要。

随着计算机技术的不断发展，使用深度学习对水下鱼群光学图像进行鱼群自动检测，可以减少寻找和标记鱼的时间，因此可以节省相关工作人员执行该任务的时间从而提升工作效率。

YOLOv4目标检测算法属于一种深度学习算法，兼顾检测速度和检测精度，已经被广泛应用于图像目标检测领域。YOLOv4算法首先将数据集送入YOLOv4网络中进行训练，保存训练好的网络模型权重文件，然后利用保存的网络模型权重文件，输入测试图像，即可生成该测试图像中可能存在目标的预测框，同时给出预测框存在目标的置信度得分。由于该算法在检测速度和检测精度上有较好的效果，适合应用于鱼群自动检测中，可以在拍摄完一张鱼群图像后快速得到检测结果。

但是在实际水下拍摄鱼群图像数据时，水下场景比较复杂，采集到的鱼群图像存在鱼群聚集导致相互遮挡的情况，如果直接使用YOLOv4算法进行鱼群目标检测，对于遮挡目标的检测效果较差，会出现漏检，鱼目标的召回率相对较低。因此，目前亟待提供一种较高召回率的水下鱼群检测方法。

发明内容

本发明的目的是为了解决现有技术中的上述缺陷，提供一种基于目标遮挡补偿的鱼群自动检测方法。

本发明的目的可以通过采取如下技术方案达到：

一种基于目标遮挡补偿的鱼群自动检测方法，所述鱼群自动检测方法包括如下步骤：

S1、通过搭载相机的多旋翼无人飞船在池塘环境中采集鱼群图像，并对采集到的鱼群图像进行标记和数据扩充；

水下鱼群图像的获取，可以通过将多旋翼无人飞船飞到感兴趣水域上空并降落至水面，然后使用无人飞船上搭载的相机采集养殖鱼群光学图像数据。

S2、将鱼群图像输入到双支路特征提取网络中进行由浅至深的多级特征提取，所述双支路特征提取网络是在YOLOv4算法的主干特征提取网络CSPDarknet53的基础上，加入与CSPDarknet53并行的轻量级原始信息特征提取网络，故称为双支路特征提取网络；经过双支路特征提取网络进行多级特征提取后，得到五个特征图，分别是两倍下采样特征图F_A1、四倍下采样特征图F_A2、八倍下采样特征图F_A3、十六倍下采样特征图F_A4、三十二倍下采样特征图F_A5，分辨率分别是输入鱼群图像的1/2、1/4、1/8、1/16、1/32；

S3、使用改进的语义嵌入分支(Modified Semantic Embedding Branch,MSEB)，将步骤S2得到的特征图F_A5的语义信息融合到特征图F_A4中，得到特征图F_AM4，特征图F_AM4的分辨率是输入鱼群图像的1/16；将步骤S2得到的特征图F_A4的语义信息融合到特征图F_A3中，得到特征图F_AM3，特征图F_AM3的分辨率是输入鱼群图像的1/8；

S4、通过卷积下采样，将步骤S2得到的四倍下采样特征图F_A2的细节信息融合到步骤S3得到的八倍下采样特征图F_AM3中，得到特征图F_AMC3，特征图F_AMC3的分辨率是输入鱼群图像的1/8；

S5、将步骤S2得到的特征图F_A5、步骤S3得到的特征图F_AM4和步骤S4得到的特征图F_AMC3经过YOLOv4算法的特征金字塔结构进行特征融合后，得到三个特征图，分别是F_B3、F_B4和F_B5，然后使用特征图F_B3、F_B4和F_B5经过卷积处理后进行鱼目标的预测，得到重复的候选框以及对应的预测置信度得分；

S6、采用改进DIoU_NMS的非极大值抑制算法处理重复候选框，得到包含预测置信度得分的预测框结果并绘制在对应图片上，作为鱼群检测结果。

进一步地，所述步骤S1中通过labelImg图像标记软件对采集到的每张鱼群图像中的鱼目标进行逐一标记，标记后每张图像就会生成包含标记信息的xml标签文件，由采集到的鱼群图像与其对应的标签文件构建成原始数据集；然后进行包括垂直翻转、水平翻转、改变亮度、随机添加高斯白噪声、滤波、仿射变换在内的数据增强方式对原始数据集扩充，以形成最终的数据集，提升网络模型对环境变化的鲁棒性。

进一步地，步骤S2中将鱼群图像输入到双支路特征提取网络中进行由浅至深的多级特征提取，从而对输入图像的原始特征进行更充分地提取和保留，补偿鱼群遮挡时鱼特征不足的问题，上述双支路特征提取网络进行特征提取的具体过程如下：

所述主干特征提取网络CSPDarknet53包括一个CBM单元和五个跨阶段局部网络CSPx单元；其中，CBM单元由步长为1、卷积核为3*3的卷积层Convolution、批归一化层BatchNormalization和Mish激活函数层组成；CSPx单元由若干个CBM单元和x个Res unit残差单元Concatenate融合操作而成，Res unit残差单元由卷积核为1*1的CBM单元、卷积核为3*3的CBM单元以及残差结构组成，Concatenate融合操作对两个特征图在通道上拼接，拼接后得到的特征图的维度得到扩充；五个CSPx单元的卷积层Convolution的通道数依次为64、128、256、512、1024，每个CSPx单元会进行一次两倍下采样；经过五个CSPx单元得到的特征图分别为F_C1、F_C2、F_C3、F_C4、F_C5，分辨率分别是输入鱼群图像的1/2、1/4、1/8、1/16、1/32；

所述轻量级原始信息特征提取网络包括五个CM单元，其中，CM单元由步长为2、卷积核为3*3的卷积层Convolution和池化步长为1、池化核为3*3的最大池化层MaxPool组成，步长为2的卷积层进行一次两倍下采样，每个CM单元的卷积层通道数和主干特征提取网络CSPDarknet53中对应的跨阶段局部网络CSPx单元的卷积层通道数相同；经过五个CM单元得到的特征图为F_L1、F_L2、F_L3、F_L4、F_L5，分辨率分别是输入鱼群图像的1/2、1/4、1/8、1/16、1/32；

然后在由浅至深的多级特征提取过程中，将轻量级原始信息特征提取网络提取到的特征图F_Li依次与对应CSPDarknet53网络提取到的特征图F_Ci进行Add融合操作，i＝1,2,3,4,5，Add融合操作对两个特征图的对应像素值进行相加，得到最终提取到的特征图F_A1、F_A2、F_A3、F_A4、F_A5，分辨率分别是输入鱼群图像的1/2、1/4、1/8、1/16、1/32。

进一步地，在由浅至深的多级特征提取过程中，浅层提取到的特征图具有较丰富的细节信息，但是缺乏语义信息，无法较好地对目标进行识别与检测；相反地，深层可以很好地提取到语义信息，但是缺失了大量的细节信息，无法有效预测位置信息。因此在步骤S3中使用改进的语义嵌入分支将深层特征图的语义信息融合到其上一层浅层特征图中，补偿浅层特征图中语义信息不足的问题，进而提高检测时对鱼目标的召回率，使用改进的语义嵌入分支进行融合的过程如下：

首先对步骤S2得到的深层特征图F_A5使用卷积核为1*1的卷积层和卷积核为3*3的卷积层进行不同尺度特征的Concatenate融合操作，接着经过Sigmoid函数后使用最近邻插值的方式进行两倍上采样，然后与步骤S2得到的浅层特征图F_A4进行像素值相乘，得到特征图F_AM4，其分辨率是输入鱼群图像的1/16，使深层特征图F_A5的语义信息融合到浅层特征图F_A4中，弥补浅层特征图F_A4的语义信息不足的问题；

然后，对步骤S2得到的深层特征图F_A4同样使用改进的语义嵌入分支将其语义信息融合到浅层特征图F_A3中，得到特征图F_AM3，其分辨率是输入鱼群图像的1/8，弥补浅层特征图F_A3的语义信息不足的问题；

改进的语义嵌入分支中使用的Sigmoid函数形式如下：

其中，i为输入，e为自然常数。

进一步地，所述步骤S4通过卷积下采样的方式，将四倍下采样特征图的细节信息融合到八倍下采样特征图中，充分利用四倍下采样特征图的细节信息，补偿鱼群遮挡时对鱼的边缘轮廓的定位，融合过程如下：

首先对步骤S2得到的四倍下采样特征图F_A2经过CBL单元处理，其中，CBL单元由步长为1、卷积核为3*3的卷积层Convolution、批归一化层Batch Normalization和LeakyReLU激活函数层组成，接着使用步长为2、卷积核为3*3的卷积层Convolution进行两倍下采样，然后与步骤S3得到的特征图F_AM3经过CBL单元处理后进行Concatenate融合操作，得到特征图F_AMC3，其分辨率是输入鱼群图像的1/8，以此利用四倍下采样特征图F_A2的细节信息。

进一步地，所述步骤S5过程如下：

首先对步骤S2得到的特征图F_A5、步骤S3得到的特征图F_AM4和步骤S4得到的特征图F_AMC3经过YOLOv4算法的特征金字塔结构进行特征融合后，得到三个特征图F_B3、F_B4和F_B5，其中，YOLOv4算法的特征金字塔结构包括空间金字塔池化层(Spatial Pyramid Pooling,SPP)和路径聚合网络(Path Aggregation Network,PANet)，空间金字塔池化层的结构是在特征图F_A5经过三次CBL单元处理后，采用池化核为1*1、5*5、9*9和13*13的四个最大池化层进行Concatenate融合操作，路径聚合网络的结构通过自底向上和自顶向下的路径对特征反复融合操作；接着对三个特征图F_B3、F_B4和F_B5分别经过CBL单元和卷积核为1*1的卷积层处理，得到三个不同大小的预测特征图Prediction1、Prediction2、Prediction3，上述三个预测特征图的分辨率分别是输入鱼群图像的1/8、1/16、1/32；然后使用三个预测特征图进行鱼目标的预测，得到重复的候选框以及对应的预测置信度得分。

进一步地，所述步骤S6使用改进DIoU_NMS的非极大值抑制算法处理重复候选框，使被遮挡目标的漏检问题得到补偿，进而提高鱼被遮挡时的召回率，具体处理过程如下：

S601、遍历一张图像中的所有候选框，依次对每个候选框的预测置信度得分进行判断，保留得分大于置信度阈值的候选框及其对应得分，删除得分低于置信度阈值的候选框；

S602、选出剩余候选框中预测置信度得分最高的候选框M，依次遍历其他的候选框B_i，与候选框M计算距离交并比Distance-IoU，其中，距离交并比Distance-IoU简称DIoU，如果某一候选框B_i与候选框M的DIoU值不低于给定的阈值ε，则认为两个框的重叠度较高，如果按照DIoU_NMS算法将直接删除候选框B_i，容易导致鱼群聚集导致遮挡时出现漏检的问题，因此改进的DIoU_NMS算法将候选框B_i的预测置信度得分减小，然后将候选框M移除到最后的预测框集合G中；其中，预测置信度得分减小准则如下：

其中，M是当前预测置信度得分最高的候选框，B_i是待遍历的其他候选框，ρ(M,B_i)是M和B_i的中心点的距离，c是包含M和B_i的最小外接矩形的对角线长度，DIoU(M,B_i)是M和B_i的距离交并比DIoU的计算值，ε是给定的距离交并比DIoU的阈值，S_i是候选框B_i的预测置信度得分，S′_i是候选框B_i得分减小后的预测置信度得分；

S603、重复执行步骤S602，直到处理完所有的候选框，并将最后的预测框集合G作为输出结果绘制在对应图片上，得到鱼群检测结果。

进一步地，所述步骤S602中DIoU是在交并比IoU的基础上添加一个惩罚因子，该惩罚因子考虑两个候选框的中心点的距离，DIoU(M,B_i)的计算方式如下：

其中，M为当前预测置信度得分最高的候选框，B_i是待遍历的其他候选框，ρ(M,B_i)是M和B_i的中心点的距离，c是包含M和B_i的最小外接矩形的对角线长度，IoU(M,B_i)是M和B_i的交集和并集的比值。

本发明相对于现有技术具有如下的优点及效果：

(1)本发明在图像特征提取过程，使用双支路特征提取网络提取输入鱼群图像的特征，补偿鱼群遮挡时鱼特征不足的问题，能更充分的提取鱼的原始特征。

(2)本发明采用改进的语义嵌入分支MSEB，将深层特征图的语义信息融合到其上一层特征图中，弥补上一层的浅层特征图中语义信息不足的问题，进而提高鱼目标的召回率。

(3)本发明将四倍下采样特征图的细节信息融合到八倍下采样特征图中，以此利用四倍下采样特征图的细节信息，充分获取鱼的边缘轮廓信息，能更准确的定位鱼群遮挡时鱼的边缘轮廓。

(4)本发明采用改进DIoU_NMS的非极大值抑制算法处理重复候选框，被遮挡目标的漏检问题得到补偿，使得删除重复候选框和真实框漏检之间平衡，进而提高鱼被遮挡时的召回率。

附图说明

图1是本发明公开的一种基于目标遮挡补偿的鱼群自动检测方法的流程图；

图2是本发明实施例中的一种基于目标遮挡补偿的鱼群自动检测方法的网络结构图，图中的Concat表示Concatenate融合操作；

图3是本发明实施例中改进的语义嵌入分支MSEB的结构图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例

本实施例将采用图1所示的流程图和图2所示的网络结构图，提供一种基于目标遮挡补偿的鱼群自动检测方法，实现对水下鱼群目标的自动检测，具体流程如下：

S1、使用多旋翼无人飞船将其飞到感兴趣水域上空并降落至水面，然后使用无人飞船上搭载的相机拍摄养殖鱼群图像数据，摄像头朝向前方，拍摄图像的间隔时间设置为5秒，拍摄图像的原始分辨率为1920*1080，接着对采集到的鱼群图像进行标记和数据扩充，从而得到用于训练的数据集；

S2、将鱼群图像输入到双支路特征提取网络中进行由浅至深的多级特征提取，上述双支路特征提取网络具体是，在YOLOv4算法的主干特征提取网络CSPDarknet53的基础上，加入与主干特征提取网络CSPDarknet53并行的轻量级原始信息特征提取网络，故称为双支路特征提取网络；经过双支路特征提取网络进行多级特征提取后，得到五个特征图，分别是两倍下采样特征图F_A1、四倍下采样特征图F_A2、八倍下采样特征图F_A3、十六倍下采样特征图F_A4、三十二倍下采样特征图F_A5，分辨率分别是输入鱼群图像的1/2、1/4、1/8、1/16、1/32；

S3、使用改进的语义嵌入分支(Modified Semantic Embedding Branch,MSEB)，将步骤S2得到的特征图F_A5的语义信息融合到特征图F_A4中，得到特征图F_AM4，其分辨率是输入鱼群图像的1/16；将步骤S2得到的特征图F_A4的语义信息融合到特征图F_A3中，得到特征图F_AM3，其分辨率是输入鱼群图像的1/8；

S4、通过卷积下采样，将步骤S2得到的四倍下采样特征图F_A2的细节信息融合到步骤S3得到的八倍下采样特征图F_AM3中，得到特征图F_AMC3，其分辨率是输入鱼群图像的1/8；

S5、将步骤S2得到的特征图F_A5、步骤S3得到的特征图F_AM4和步骤S4得到的特征图F_AMC3经过YOLOv4算法的特征金字塔结构进行特征融合后，得到三个特征图，分别是F_B3、F_B4和F_B5，然后使用特征图F_B3、F_B4和F_B5经过卷积处理后进行鱼目标的预测，得到重复的候选框以及对应的预测置信度得分；

S6、采用改进DIoU_NMS的非极大值抑制算法处理重复候选框，得到包含预测置信度得分的预测框结果并绘制在对应图片上，作为鱼群检测结果。

本实施例中，步骤S1使用labelImg标记软件，通过手工标记方式对采集到的鱼群图像中的鱼体用矩形框进行逐一标记，得到对应的xml标签文件，记录每个目标在图像中的坐标及其类别；然后进行包括垂直翻转、水平翻转、改变亮度、随机添加高斯白噪声、滤波、仿射变换在内的数据增强方式对采集到的鱼群图像及其对应的标签文件的扩充，以形成最终的数据集，提升网络模型对环境变化的鲁棒性。

本实施例中，步骤S2中将鱼群图像输入到双支路特征提取网络中进行由浅至深的多级特征提取，图2中的208给出了双支路特征提取网络的具体结构，是在YOLOv4算法的主干特征提取网络CSPDarknet53的基础上，加入了与CSPDarknet53并行的轻量级原始信息特征提取网络，双支路特征提取网络的结构说明如下：

主干特征提取网络CSPDarknet53包括一个CBM单元和五个跨阶段局部网络CSPx单元；其中，CBM单元由步长为1、卷积核为3*3的卷积层Convolution、批归一化层BatchNormalization和Mish激活函数层组成，图2中的201给出了一个CBM单元的结构；CSPx单元由若干个CBM单元和x个Res unit残差单元Concatenate融合而成，图2中的204给出了一个CSPx单元的结构；CSPx单元中的Res unit残差单元由卷积核为1*1的CBM单元、卷积核为3*3的CBM单元以及残差结构组成，图2中的203给出了一个Res unit残差单元的结构；Concatenate融合操作对两个特征图在通道上拼接，维度会扩充；五个CSPx单元的卷积层通道数依次为64、128、256、512、1024，每个CSPx单元会进行一次两倍下采样；经过五个CSPx单元得到的特征图为F_C1、F_C2、F_C3、F_C4、F_C5，分辨率分别是输入鱼群图像的1/2、1/4、1/8、1/16、1/32；

轻量级原始信息特征提取网络包括五个CM单元，其中，CM单元由步长为2、卷积核为3*3的卷积层Convolution和池化步长为1池化核为3*3的最大池化层MaxPool组成，图2中205给出了一个CM单元的结构；步长为2的卷积层可进行一次两倍下采样，每个CM单元的卷积层通道数和主干特征提取网络CSPDarknet53中对应的跨阶段局部网络CSPx单元的卷积层通道数相同；经过五个CM单元得到的特征图为F_L1、F_L2、F_L3、F_L4、F_L5，分辨率分别是输入鱼群图像的1/2、1/4、1/8、1/16、1/32；

然后在由浅至深的多级特征提取过程中，将轻量级原始信息特征提取网络提取到的特征图F_Li(i＝1,2,3,4,5)依次与对应CSPDarknet53网络提取到的特征图F_Ci(i＝1,2,3,4,5)进行Add融合操作，Add融合操作就是对两个特征图的对应像素值进行相加，得到最终提取到的特征图F_A1、F_A2、F_A3、F_A4、F_A5，分辨率分别是输入鱼群图像的1/2、1/4、1/8、1/16、1/32。

本实施例中，步骤S3中使用改进的语义嵌入分支MSEB将深层特征图的语义信息融合到其上一层的浅层特征图中，图3给出了所述改进的语义嵌入分支MSEB的具体结构图；使用MSEB进行融合的具体步骤是，首先对步骤S2得到的深层特征图F_A5使用卷积核为1*1的卷积层和卷积核为3*3的卷积层进行不同尺度特征的Concatenate融合，接着经过Sigmoid函数后使用最近邻插值的方式进行两倍上采样，然后与步骤S2得到的浅层特征图F_A4进行像素值相乘，得到特征图F_AM4，其分辨率是输入鱼群图像的1/16，使深层特征图F_A5的语义信息融合到浅层特征图F_A4中，弥补浅层特征图F_A4的语义信息不足的问题；

然后，对步骤S2得到的深层特征图F_A4同样使用MSEB将其语义信息融合到浅层特征图F_A3中，得到特征图F_AM3，其分辨率是输入鱼群图像的1/8，弥补浅层特征图F_A3的语义信息不足的问题；

改进的语义嵌入分支MSEB中所使用的Sigmoid函数形式如下：

其中，i为输入，e为自然常数。

本实施例中，步骤S4的实现过程如下：

首先对步骤S2得到的四倍下采样特征图F_A2经过CBL单元处理，其中CBL单元由步长为1卷积核为3*3的卷积层Convolution、批归一化层Batch Normalization和LeakyReLU激活函数层组成，图2中的202给出了一个所述CBL单元的结构；接着使用步长为2卷积核为3*3的卷积层Convolution进行两倍下采样，然后与步骤S3得到的特征图F_AM3经过CBL单元处理后进行Concatenate融合操作，得到特征图F_AMC3，其分辨率是输入鱼群图像的1/8，以此利用四倍下采样特征图F_A2的细节信息，充分获取鱼的边缘轮廓信息，补偿鱼群遮挡时鱼的边缘轮廓定位。

本实施例中，步骤S5的实现过程如下：

首先对步骤S2得到的特征图F_A5、步骤S3得到的特征图F_AM4和步骤S4得到的特征图F_AMC3经过YOLOv4算法的特征金字塔结构进行特征融合后，得到三个特征图F_B3、F_B4和F_B5，其中，YOLOv4算法的特征金字塔结构包括空间金字塔池化层(Spatial Pyramid Pooling,SPP)和路径聚合网络(Path Aggregation Network,PANet)，SPP结构是在特征图F_A5经过三次CBL单元处理后，采用了池化核为1*1、5*5、9*9和13*13的四个最大池化层进行Concatenate融合，图2的206给出了所述SPP的结构，PANet结构通过自底向上和自顶向下的路径对特征反复融合，图2的207给出了所述PANet的结构；接着对三个特征图F_B3、F_B4和F_B5分别经过CBL单元和卷积核为1*1的卷积层处理，得到三个不同大小的预测特征图Prediction1、Prediction2、Prediction3，三个预测特征图的分辨率分别是输入鱼群图像的1/8、1/16、1/32；然后使用三个预测特征图进行鱼目标的预测，得到重复的候选框以及对应的预测置信度得分。

本实施例中，步骤S6的实现过程如下：

S601、遍历一张图像中的所有候选框，依次对每个候选框的预测置信度得分进行判断，保留得分大于置信度阈值的候选框及其对应得分，删除得分低于置信度阈值的候选框；

S602、选出剩余候选框中预测置信度得分最高的候选框M，依次遍历其他的候选框B_i，与候选框M计算距离交并比Distance-IoU，其中，距离交并比Distance-IoU简称DIoU，如果某一候选框B_i与候选框M的DIoU值不低于给定的阈值ε，则认为两个框的重叠度较高，不直接删除候选框B_i，而是减小候选框B_i的预测置信度得分，然后将候选框M移除到最后的预测框集合G中；其中，预测置信度得分减小准则如下：

其中，M是当前预测置信度得分最高的候选框，B_i是待遍历的其他候选框，ρ(M,B_i)是M和B_i的中心点的距离，c是包含M和B_i的最小外接矩形的对角线长度，DIoU(M,B_i)是M和B_i的距离交并比DIoU的计算值，ε是给定的距离交并比DIoU的阈值，S_i是候选框B_i的预测置信度得分，S′_i是候选框B_i得分减小后的预测置信度得分；

S603、重复执行步骤S602，直到处理完所有的候选框，并将最后的预测框集合G作为输出结果绘制在对应图片上，得到鱼群检测结果。

上述步骤S602中的DIoU是在交并比IoU的基础上添加一个惩罚因子，该惩罚因子考虑了两个候选框的中心点的距离，具体计算方式如下：

其中，M为当前预测置信度得分最高的候选框，B_i是待遍历的其他候选框，ρ(M,B_i)是M和B_i的中心点的距离，c是包含M和B_i的最小外接矩形的对角线长度，IoU(M,B_i)是M和B_i的交集和并集的比值。

本实施例中，在训练时需要对预测框不断进行调整，使其接近于待检测目标的真实框，因此在训练之前，对鱼群图像数据集使用K-means聚类算法得到9种不同大小的先验框，使得先验框适合采集到的鱼群图像数据集，三个预测特征图Prediction1、Prediction2、Prediction3分别设定3种大小的先验框。其中，K-means聚类算法使用交并比IoU作为指标衡量两个框接近的程度，具体计算两个框距离的公式如下：

Distance(box,center)＝1-IoU(box,center) 公式(4)

其中，box表示待计算的候选框，center表示聚类中心的候选框，IoU(box,center)表示待计算候选框与聚类中心候选框的交并比值。

本实施例中，在训练时，初始学习率设为0.0002，初始的训练迭代轮数epoch设为45，每次随机选择8张图像进行训练，使用了Adam优化器加快网络模型收敛，同时，为了减小GPU内存开销，将训练的每张图像分辨率调整为416*416。

本实施例中，损失函数loss由回归框预测误差L_loc、置信度误差L_conf、分类误差L_cls三部分组成，具体计算公式如下：

上述公式(5)中v的具体计算方式是公式(6)，IoU(P,T)是预测框与真实框的交并比值，ρ(P_ctr,T_ctr)是预测框与真实框的中心点的距离，d是包含预测框和真实框的最小外接矩形的对角线长度，w^gt和h^gt分别是真实框的宽和高，w和h分别是预测框的宽和高，图像分为S×S个网格，M是每个网格会产生先验框anchor的数量，

表示预测框包含待检测目标，

表示预测框不包含待检测目标，

是对应先验框的预测置信度，

是实际的置信度，λ_noobj是设定的权重系数，c是待检测目标所属于的种类，

是对应网格中目标属于c类别的实际概率，

是对应网格中目标属于c类别的预测概率。

本实施例中，在设置完相关参数后，对鱼群数据集进行训练，训练完之后可以得到loss的曲线变化，刚开始损失函数loss下降较快，最后趋于收敛，保存训练好的鱼群目标检测模型权重文件，然后利用保存好的模型权重文件，输入测试鱼群图像文件，即可对该鱼群图像进行鱼目标的检测，生成该图像中可能存在目标的预测框，并给出每个预测框的预测置信度得分，输出带有预测框及其预测置信度得分的图像。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (8)

1.一种基于目标遮挡补偿的鱼群自动检测方法，其特征在于，所述鱼群自动检测方法包括如下步骤：

S1、通过搭载相机的多旋翼无人飞船在池塘环境中采集鱼群图像，并对采集到的鱼群图像进行标记和数据扩充；

S2、将鱼群图像输入到双支路特征提取网络中进行由浅至深的多级特征提取，所述双支路特征提取网络是在YOLOv4算法的主干特征提取网络CSPDarknet53的基础上，加入与CSPDarknet53并行的轻量级原始信息特征提取网络；经过双支路特征提取网络进行多级特征提取后，得到五个特征图，分别是两倍下采样特征图F_A1、四倍下采样特征图F_A2、八倍下采样特征图F_A3、十六倍下采样特征图F_A4、三十二倍下采样特征图F_A5，分辨率分别是输入鱼群图像的1/2、1/4、1/8、1/16、1/32；

S3、使用改进的语义嵌入分支，将步骤S2得到的特征图F_A5的语义信息融合到特征图F_A4中，得到特征图F_AM4，特征图F_AM4的分辨率是输入鱼群图像的1/16；将步骤S2得到的特征图F_A4的语义信息融合到特征图F_A3中，得到特征图F_AM3，特征图F_AM3的分辨率是输入鱼群图像的1/8；

S4、通过卷积下采样，将步骤S2得到的四倍下采样特征图F_A2的细节信息融合到步骤S3得到的八倍下采样特征图F_AM3中，得到特征图F_AMC3，特征图F_AMC3的分辨率是输入鱼群图像的1/8；

S5、将步骤S2得到的特征图F_A5、步骤S3得到的特征图F_AM4和步骤S4得到的特征图F_AMC3经过YOLOv4算法的特征金字塔结构进行特征融合后，得到三个特征图，分别是F_B3、F_B4和F_B5，然后使用特征图F_B3、F_B4和F_B5经过卷积处理后进行鱼目标的预测，得到重复的候选框以及对应的预测置信度得分；

S6、采用改进DIoU_NMS的非极大值抑制算法处理重复候选框，得到包含预测置信度得分的预测框结果并绘制在对应图片上，作为鱼群检测结果。

2.根据权利要求1所述的一种基于目标遮挡补偿的鱼群自动检测方法，其特征在于，所述步骤S1中通过labelImg图像标记软件对采集到的每张鱼群图像中的鱼目标进行逐一标记，标记后每张图像就会生成包含标记信息的xml标签文件，由采集到的鱼群图像与其对应的标签文件构建成原始数据集；然后进行包括垂直翻转、水平翻转、改变亮度、随机添加高斯白噪声、滤波、仿射变换在内的数据增强方式对原始数据集扩充，以形成最终的数据集。

3.根据权利要求1所述的一种基于目标遮挡补偿的鱼群自动检测方法，其特征在于，所述主干特征提取网络CSPDarknet53包括一个CBM单元和五个跨阶段局部网络CSPx单元；其中，CBM单元由步长为1、卷积核为3*3的卷积层Convolution、批归一化层BatchNormalization和Mish激活函数层组成；CSPx单元由若干个CBM单元和x个Res unit残差单元Concatenate融合操作而成，Res unit残差单元由卷积核为1*1的CBM单元、卷积核为3*3的CBM单元以及残差结构组成，Concatenate融合操作对两个特征图在通道上拼接，拼接后得到的特征图的维度得到扩充；五个CSPx单元的卷积层Convolution的通道数依次为64、128、256、512、1024，每个CSPx单元会进行一次两倍下采样；经过五个CSPx单元得到的特征图分别为F_C1、F_C2、F_C3、F_C4、F_C5，分辨率分别是输入鱼群图像的1/2、1/4、1/8、1/16、1/32；

所述轻量级原始信息特征提取网络包括五个CM单元，其中，CM单元由步长为2、卷积核为3*3的卷积层Convolution和池化步长为1、池化核为3*3的最大池化层MaxPool组成，步长为2的卷积层进行一次两倍下采样，每个CM单元的卷积层通道数和主干特征提取网络CSPDarknet53中对应的跨阶段局部网络CSPx单元的卷积层通道数相同；经过五个CM单元得到的特征图为F_L1、F_L2、F_L3、F_L4、F_L5，分辨率分别是输入鱼群图像的1/2、1/4、1/8、1/16、1/32；

然后在由浅至深的多级特征提取过程中，将轻量级原始信息特征提取网络提取到的特征图F_Li依次与对应CSPDarknet53网络提取到的特征图F_Ci进行Add融合操作，i＝1,2,3,4,5，Add融合操作对两个特征图的对应像素值进行相加，得到最终提取到的特征图F_A1、F_A2、F_A3、F_A4、F_A5，分辨率分别是输入鱼群图像的1/2、1/4、1/8、1/16、1/32。

4.根据权利要求3所述的一种基于目标遮挡补偿的鱼群自动检测方法，其特征在于，所述步骤S3中使用改进的语义嵌入分支进行融合的过程如下：

首先对步骤S2得到的深层特征图F_A5使用卷积核为1*1的卷积层和卷积核为3*3的卷积层进行不同尺度特征的Concatenate融合操作，接着经过Sigmoid函数后使用最近邻插值的方式进行两倍上采样，然后与步骤S2得到的浅层特征图F_A4进行像素值相乘，得到特征图F_AM4，其分辨率是输入鱼群图像的1/16，使深层特征图F_A5的语义信息融合到浅层特征图F_A4中；

然后，对步骤S2得到的深层特征图F_A4同样使用改进的语义嵌入分支将其语义信息融合到浅层特征图F_A3中，得到特征图F_AM3，其分辨率是输入鱼群图像的1/8；

改进的语义嵌入分支中使用的Sigmoid函数形式如下：

其中，i为输入，e为自然常数。

5.根据权利要求3所述的一种基于目标遮挡补偿的鱼群自动检测方法，其特征在于，所述步骤S4过程如下：

首先对步骤S2得到的四倍下采样特征图F_A2经过CBL单元处理，其中，CBL单元由步长为1、卷积核为3*3的卷积层Convolution、批归一化层Batch Normalization和LeakyReLU激活函数层组成，接着使用步长为2、卷积核为3*3的卷积层Convolution进行两倍下采样，然后与步骤S3得到的特征图F_AM3经过CBL单元处理后进行Concatenate融合操作，得到特征图F_AMC3，其分辨率是输入鱼群图像的1/8。

6.根据权利要求5所述的一种基于目标遮挡补偿的鱼群自动检测方法，其特征在于，所述步骤S5过程如下：

首先对步骤S2得到的特征图F_A5、步骤S3得到的特征图F_AM4和步骤S4得到的特征图F_AMC3经过YOLOv4算法的特征金字塔结构进行特征融合后，得到三个特征图F_B3、F_B4和F_B5，其中，YOLOv4算法的特征金字塔结构包括空间金字塔池化层和路径聚合网络，空间金字塔池化层的结构是在特征图F_A5经过三次CBL单元处理后，采用池化核为1*1、5*5、9*9和13*13的四个最大池化层进行Concatenate融合操作，路径聚合网络的结构通过自底向上和自顶向下的路径对特征反复融合操作；接着对三个特征图F_B3、F_B4和F_B5分别经过CBL单元和卷积核为1*1的卷积层处理，得到三个不同大小的预测特征图Prediction1、Prediction2、Prediction3，上述三个预测特征图的分辨率分别是输入鱼群图像的1/8、1/16、1/32；然后使用三个预测特征图进行鱼目标的预测，得到重复的候选框以及对应的预测置信度得分。

7.根据权利要求1所述的一种基于目标遮挡补偿的鱼群自动检测方法，其特征在于，所述步骤S6的过程如下：

S601、遍历一张图像中的所有候选框，依次对每个候选框的预测置信度得分进行判断，保留得分大于置信度阈值的候选框及其对应得分，删除得分低于置信度阈值的候选框；

S602、选出剩余候选框中预测置信度得分最高的候选框M，依次遍历其他的候选框B_i，与候选框M计算距离交并比Distance-IoU，其中，距离交并比Distance-IoU简称DIoU，如果某一候选框B_i与候选框M的DIoU值不低于给定的阈值ε，则认为两个框的重叠度较高，不直接删除候选框B_i，而是减小候选框B_i的预测置信度得分，然后将候选框M移除到最后的预测框集合G中；其中，预测置信度得分减小准则如下：

其中，M是当前预测置信度得分最高的候选框，B_i是待遍历的其他候选框，ρ(M,B_i)是M和B_i的中心点的距离，c是包含M和B_i的最小外接矩形的对角线长度，DIoU(M,B_i)是M和B_i的距离交并比DIoU的计算值，ε是给定的距离交并比DIoU的阈值，S_i是候选框B_i的预测置信度得分，S_i ^′是候选框B_i得分减小后的预测置信度得分；

S603、重复执行步骤S602，直到处理完所有的候选框，并将最后的预测框集合G作为输出结果绘制在对应图片上，得到鱼群检测结果。

8.根据权利要求7所述的一种基于目标遮挡补偿的鱼群自动检测方法，其特征在于，所述步骤S602中DIoU是在交并比IoU的基础上添加一个惩罚因子，该惩罚因子考虑两个候选框的中心点的距离，DIoU(M,B_i)的计算方式如下：

其中，M为当前预测置信度得分最高的候选框，B_i是待遍历的其他候选框，ρ(M,B_i)是M和B_i的中心点的距离，c是包含M和B_i的最小外接矩形的对角线长度，IoU(M,B_i)是M和B_i的交集和并集的比值。

Images