CN114066964B - 一种基于深度学习的水产实时尺寸检测方法 - Google Patents
一种基于深度学习的水产实时尺寸检测方法 Download PDFInfo
- Publication number
- CN114066964B CN114066964B CN202111360650.3A CN202111360650A CN114066964B CN 114066964 B CN114066964 B CN 114066964B CN 202111360650 A CN202111360650 A CN 202111360650A CN 114066964 B CN114066964 B CN 114066964B
- Authority
- CN
- China
- Prior art keywords
- segmentation
- training
- real
- classification model
- classification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 21
- 238000013135 deep learning Methods 0.000 title claims abstract description 19
- 230000011218 segmentation Effects 0.000 claims abstract description 80
- 230000006870 function Effects 0.000 claims abstract description 51
- 238000012549 training Methods 0.000 claims abstract description 51
- 238000013145 classification model Methods 0.000 claims abstract description 42
- 238000000034 method Methods 0.000 claims abstract description 41
- 238000011156 evaluation Methods 0.000 claims abstract description 20
- 238000005070 sampling Methods 0.000 claims abstract description 15
- 238000002372 labelling Methods 0.000 claims abstract description 14
- 238000012360 testing method Methods 0.000 claims abstract description 13
- 238000012795 verification Methods 0.000 claims abstract description 13
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 108091006146 Channels Proteins 0.000 claims description 35
- 238000010606 normalization Methods 0.000 claims description 14
- 238000000605 extraction Methods 0.000 claims description 12
- 230000003993 interaction Effects 0.000 claims description 11
- 230000004913 activation Effects 0.000 claims description 10
- 238000011176 pooling Methods 0.000 claims description 10
- 238000000926 separation method Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 9
- 230000004927 fusion Effects 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 7
- 230000000694 effects Effects 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000005520 cutting process Methods 0.000 claims description 5
- 238000013139 quantization Methods 0.000 claims description 5
- 238000013459 approach Methods 0.000 claims description 4
- 238000009826 distribution Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 230000008034 disappearance Effects 0.000 claims description 2
- 230000007246 mechanism Effects 0.000 claims description 2
- 238000013507 mapping Methods 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 2
- 230000008859 change Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000005303 weighing Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 241000237502 Ostreidae Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000005457 ice water Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 235000020636 oyster Nutrition 0.000 description 1
- 235000014102 seafood Nutrition 0.000 description 1
- 235000015170 shellfish Nutrition 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习的水产实时尺寸检测方法,涉及图像处理领域。其步骤包括:获取真实场景下的水产图像,建立数据集,并对这些数据进行分类标注和分割标注;通过分层抽样的方法将水产数据集划分为训练集、验证集和测试集;进行图像预处理及数据增强;构建水产实时分割分类模型;设计模型评价指标进行模型选择;设计模型损失函数作为模型训练时优化的目标函数;使用训练集和验证集进行模型训练;通过相机内外参数将图像坐标系转换为世界坐标系,获得目标的物理世界真实尺寸;模型加速推理,提高模型推理速度。本方法的检测精度高,推理速度快,泛化性强,能够精确的获取目标的尺寸大小。
Description
技术领域
本发明涉及图像处理领域,具体涉及一种基于深度学习的水产实时尺寸检测方法。
背景技术
水产品的等级分选在水产品的出售中占有着重要地位,能够直接影响着水产品的销售价格,按照规格大小分级进行出售能够明显提高售价,带来更高利润。传统的分级方法为人工分级,即依赖人工的眼睛看,手工称重的方法进行分级,这种分级方式的缺点明显,分级速度慢、精度低,同时耗费大量的人力,不利于生产的自动化。称重分级设备出现,很大程度上提升了水产分级的精度和效率,但是这种分级方法的决定要素只有重量,当水产表面附着冰水混合物时会对分级的精度造成一定的影响。同时具有称重和视觉检测功能的新一代分级设备具有更好的精度,然而在视觉尺寸检测部分,仍然存在着许多不足,如精度低,速度慢,泛化性差等缺点,而良好的尺寸检测算法有利于水产的等级分选。鉴于上述情况,需要一种新的尺寸检测算法来解决上述问题。
发明内容
本发明针对上述问题,提供一种基于深度学习的水产实时尺寸检测方法,在编码模块采用并行双分支结构,增强网络的深度语义特征表示能力和空间细节特征表示能力;使用通道分离混洗模块和深度分离卷积减少模型的参数量,提升网络的推理速度;最后通过多尺度融合,充分提取上下文多尺度信息。本方法的检测精度高,推理速度快,泛化性强,能够精确的获取目标的尺寸大小。
一种基于深度学习的水产实时尺寸检测方法,其步骤包括:
步骤1:获取大量真实场景下的水产图像,建立数据集,并且对这些数据进行标注,标注内容包括分类标注和分割标注。通过分层抽样的方法将水产数据集划分为训练集、验证集和测试集;
步骤2:图像预处理及数据增强;
步骤3:构建水产实时分割分类模型,分割分类模型由特征提取模块、分割解码模块和分类解码模块构成;
步骤4:设计分割分类模型的评价指标,根据该指标进行模型选择;
步骤5:设计分割分类模型的损失函数,并以该损失函数作为分割分类模型训练时优化的目标函数;
步骤6:使用训练集和验证集进行分割分类模型训练;
步骤7:得到最后的训练好的分割分类模型,再用测试集对分割分类模型进行测试,最终确定需要的分割分类模型;
步骤8:由于分割分类模型分割部分得到的输出是一个二值图像,基于的坐标系是像素平面坐标系,为了得到目标的在现实中真实尺寸大小,通过相机内外参数将像素平面坐标系转换为世界坐标系,获得目标的物理世界真实尺寸;
步骤9:模型加速推理,提高模型推理速度;
进一步,在步骤2中,对输入图像的预处理操作为归一化和标准化,归一化将图像归一化到[0,1]区间内,标准化通过计算数据集的均值和方差,对所有像素点进行标准化操作,预处理能够加速模型收敛,提升模型精度。数据增强操作包括:第一,随机缩放裁剪,具体来说,先利用随机数生成函数随机生成一个0.5-1.5之间实数f,再将图像缩放到原来的f倍,最后再随机裁剪出一个640×480的图像用于训练;第二,为了增加数据的多样性,对图像采用随机左右翻转、随机亮度对比度变化和随机旋转一定角度的方法。
进一步,在步骤3中,在特征提取模块中,为了解决多尺度下的目标分割问题,获得图像的多尺度信息,使用并行双分支结构,同时使用两种不同分辨率的分支进行特征提取,保留图像的高层空间细节和低层语义特征,有利于恢复图像的空间细节,为了更进一步的进行不同尺度信息之间的交互,并行分支之间通过上采样和下采样操作进行了两次特征交互融合。特征提取模块由两种基础模块组成:
残差模块:由三条分支构成,第一条分支为SE(Sequeeze-Excitation)模块,SE模块能够解决卷积过程中特征层的不同通道所占的重要性不同带来的损失问题,这里使用的是SE模块的一种变体,首先对输入的每个通道进行全局平均池化操作,然后使用一个具有非线性的全连接层,最后使用一个Sigmoid激活函数生成通道权值,相比于原始的SE模块,具有更少的参数量和更优的效果。第二条分支为主分支,模块的输入首先经过一个通道分离操作,将原始输入按照通道数分为两组,这样将卷积运算限制在每个组内,能够显著的降低计算模型的计算量,同时,因为基础模块的输出通道数是输入通道数的两倍,当输入通道数和输出通道数的值接近1:1时,能减少内存访问成本,所以这里的通道分离操作既能够减少计算量,又能够降低内存访问成本。当输入经过通道分离操作分成两组后,其中一组输入到一个3×3的深度卷积,另一组输入到一个3×3的普通卷积,同时在每一个卷积后面都加上批归一化层和ReLU激活函数,深度卷积能够降低参数量,但缺少通道间的信息交互,普通卷积参数量较大,通道间有着信息交流,两者组合在一起,在参数量和信息交互中做了平衡,然后将两组输出按照通道顺序上连接在一起。第三条分支为跳跃连接,在这里可以解决网络层数较深的情况下梯度消失的问题,同时有助于梯度的反向传播,加快训练过程。最后,将三个分支的输出叠加起来。由于通道分离操作使得卷积运算限制在每个组内,这样模型的计算量取得了显著的下降,然而导致模型的信息流限制在各个组内,组与组之间没有信息交换,这会影响模型的表示能力。因此,需要引入组间信息交换的机制,即通道混洗操作。同时通道混洗操作是可导的,可以实现端到端一次性训练网络。
下采样模块:当特征图的大小变为原来的1/2时,都会串联一个下采样模块,下采样模块由两个部分组成,分别是最大池化层和步长为2的3×3卷积层,并将它们的输出叠加后串联批归一化层和Relu激活函数。
进一步,在步骤3中,在分割解码模块中,为了获得更好的表征能力,进行了多尺度融合的操作,具体而言,对32倍下采样的特征图进行上采样操作,变换为尺度与8倍下采样的特征图相同的尺度,并添加3×3卷积、批归一化和Relu激活函数,与8倍下采样的特征图进行通道方向的连接,进行同样的操作变换到4倍下采样的特征图,就完成了多尺度融合的操作。最后再添加3×3卷积和上采样的分割头部,就得到了与原图大小一致的特征图。
进一步,在步骤3中,分类解码模块由全局平均池化层构成,在编码层的并行结构的高分辨率分支后,连接一个1×1卷积层、批归一化层和Relu激活函数,再连接一个最大池化层,得到最后的分类输出。
进一步,在步骤4中,所述设计模型的评价指标,具体为:
在分割解码模块的输出中,采用平均交并比(mean Intersection over Union,mIoU)作为分割精度评价指标,其定义如下。
其中,pij表示真实值为i、被预测为j的数量,pii表示真实值为i、预测值为i的数量,pji表示真实值为j、预测值为i的数量。k+1是类别个数,包含背景类,当mIoU接近1时候,预测值越逼近真实值。
在分类解码模块的输出中,分类效果评价指标为F1 score,其定义如下:
其中,TP(true positive)为真阳性,FP(false positive)表示假阳性,FN(falsenegative)表示假阴性。
推理速度评价指标为FPS,定义如下:
其中Time为单张图片的推理时间。
进一步,在步骤5中,所述的损失函数具体为:
由于所述模型为多任务模型,共有分割和分类两个输出,故算法训练的损失函数需要同时考虑分割和分类,总的损失函数定义如下:
Ltotal=βLclas+Lseg
其中Lclas为分类输出的损失函数,Lseg为分割部分的损失函数,β为分类损失和分割损失在总损失函数中的权重参数,这里取0.7。
分割部分的输出是基于像素点的二分类,由于最终需要的结果是需要分割出目标的区域,而Dice损失函数正是基于区域的损失函数,这与真实目标最大化IoU度量相近,而且Dice能够优化样本不均衡问题,所以选择Dice损失函数作为分割部分的损失函数,其定义如下:
其中,q代表真实值,p代表网络的预测值,v代表每个图像块的体素点的个数。
分类部分的损失函数使用的是交叉熵损失,其公式定义如下:
其中,ni为样本标签,mi为预测输出。
进一步,在步骤6中,使用训练集和验证集进行训练,利用深度学***稳,同时保持模型深层的稳定性,使用warm-up学习率策略进行模型的训练。训练完成后,查看验证集上的多任务分割分类模型的性能,若训练的模型的评价指标不能满足需求,则调整模型超参数,继续训练,直到满足要求。
进一步,在步骤8中,由于模型分割部分得到的输出是一个二值图像,基于的坐标系是像素平面坐标系,为了得到目标的在现实中真实尺寸大小,模型分割结果需要通过相机的内参矩阵和外参矩阵映射到实际工作的世界坐标系,图像坐标到世界坐标的转换公式如下:
其中,(u,v)为像素平面坐标系上点的坐标,(Xc,Yc,Zc)为世界坐标系的坐标,fx,fy表示感光芯片上像素的实际大小,是连接像素坐标系和真实尺寸坐标系的,u0,v0是图像平面中心,R和T为相机外参,由张正友标定法获得,0T为(0,0,0)。
进一步,在步骤9中,为了达到工业应用中实时性的要求,需要对模型进行裁剪量化等操作,提高模型推理速度,具体的,利用OpenVINO工具进行模型量化、计算合并,提高卷积网络的运行性能,同时推理时使用异步推理操作,并行计算,提高运行速度。
附图说明
附图1为一种基于深度学习的水产实时尺寸检测的流程图。
附图2为多任务分割分类模型结构图。
附图3为残差模块结构图。
附图4为下采样模块结构图。
具体实施方式
下面结合附图对本发明的具体实施方式做进一步说明。
数据集来自公司生产现场采集的真实数据,共有900张由工业相机采集的现场图像,尺寸为640×480,包含三类贝类海产品:生蚝、鲍鱼和海螺,每类有300张图像。训练集、测试集随机划分为8:2,即训练集含有720张图像,测试集有180张图像。
参照附图1,本发明一实施例的基于深度学习的水产实时尺寸检测方法包括以下步骤:
步骤1:获取大量真实场景下的水产图像,建立数据集,并且对这些数据进行标注,标注内容包括分类标注和分割标注。通过分层抽样的方法,按照7:2:1的比例将水产数据集划分为训练集、验证集和测试集;
步骤2:对输入图像进行归一化和标准化,归一化将图像归一化到[0,1]区间内,标准化操作通过计算数据集的均值和方差,对所有像素点进行标准化操作,预处理能够加速模型收敛,提升模型精度。然后对输入图像进行数据增强操作,数据增强操作包括:第一,随机缩放裁剪,具体来说,在训练时的每一个批次,都利用随机数生成函数随机生成一个0.5-1.5之间实数f,再将图像缩放到原来的f倍,最后再随机裁剪出一个640×480的图像用于训练;第二,为了增加数据的多样性,对图像采用了随机左右翻转、随机亮度对比度变化和随机旋转一定角度的方法,随机左右翻转的概率为0.5,随机亮度对比度变化的概率为0.5,变化范围为[0.8,1.2],随机旋转一定角度的概率为0.8,旋转角度的范围为[-30°,30°];
步骤3:构建水产实时多任务分割分类模型,模型结构如附图2所示,该模型由特征提取模块、分割解码模块和分类解码模块构成。特征提取模块中,为了解决多尺度下的目标分割问题,获得图像的多尺度信息,使用并行双分支结构,同时使用两种不同分辨率的分支进行特征提取,保留图像的高层空间细节和低层语义特征,有利于恢复图像的空间细节和为了更进一步的进行不同尺度信息之间的交互,并行分支之间通过上采样和下采样操作进行了两次特征交互融合。特征提取模块由残差模块和下采样模块构成,残差模块结构如附图3所示,由三条分支构成,下采样模块如附图4所示,由卷积层和最大池化层构成;
步骤4:设计模型评价指标,在分割解码模块的输出中,采用平均交并比作为分割精度评价指标,在分类解码模块的输出中,分类效果评价指标为F1 score,推理速度评价指标为FPS;
步骤5:设计模型损失函数,由于所述模型共有分割和分类两个输出,故算法训练的损失函数需要同时考虑分割和分类,即由Dice损失函数Lseg和交叉熵损失Lclas组成,分割分类模型总的损失函数为Ltotal,其形式为:Ltotal=βLclas+Lseg,β为分类损失和分割损失在总损失函数中的权重参数,这里取0.7;
步骤6:使用训练集和验证集进行训练,利用深度学***稳,同时保持模型深层的稳定性,使用warm-up学习率策略进行模型的训练。训练完成后,查看验证集上的多任务分割分类模型的性能,若训练的模型的评价指标不能满足需求,则调整模型超参数,继续训练,直到满足要求;
步骤7:得到最后的训练好的模型,再用测试集对模型进行测试,最终确定需要的模型;
步骤8:由于模型分割部分得到的输出是一个二值图像,基于的坐标系是像素平面坐标系,为了得到目标的在现实中真实尺寸大小,模型分割结果需要通过相机的内参矩阵和外参矩阵映射到实际工作的世界坐标系,获得目标的真实尺寸;
步骤9:为了达到工业应用中实时性的要求,需要对模型进行裁剪量化等操作,提高模型推理速度,具体的,利用OpenVINO工具进行模型量化、计算合并,提高卷积网络的运行性能,同时推理时使用异步推理操作,并行计算,提高运行速度。
实施例:
采用本发明提出的基于深度学***均交并比上别达到96.693%,F1 score值达到了99.872%,在GPU上的运行速度达到了108FPS,经过OpenVINO加速后的模型,在CPU上的运行速度达到了21FPS。
本发明在模型的编码模块中采用并行双分支结构,增强网络的深度语义特征表示能力和空间细节特征表示能力;使用通道分离混洗模块和深度分离卷积减少模型的参数量,提升网络的推理速度;最后通过多尺度融合,充分提取上下文多尺度信息。本方法的检测精度高,推理速度快,泛化性强,能够精确的获取目标的尺寸大小,满足生产实际的工艺需求。
尽管已经给出了本发明的实施例,但本领域的普通技术人员可以理解上述的实施例不能视为对本发明的限制,在实际应用中,可以在不偏离本发明的精神和范围的情况下对上述实施例进行形式和细节上的各种改变。
Claims (9)
1.一种基于深度学习的水产实时尺寸检测方法,其特征在于,包括以下步骤:
步骤1:获取真实场景下的水产图像,建立数据集,并且对这些数据进行标注,标注内容包括分类标注和分割标注;通过分层抽样的方法将水产数据集划分为训练集、验证集和测试集;
步骤2:图像预处理及数据增强;
步骤3:构建水产实时分割分类模型,分割分类模型由特征提取模块、分割解码模块和分类解码模块构成;
步骤4:设计分割分类模型的评价指标,在分割解码模块的输出中,采用平均交并比作为分割精度评价指标,在分类解码模块的输出中,分类效果评价指标为F1 score,推理速度评价指标为FPS;
步骤5:设计分割分类模型的损失函数,并以该损失函数作为分割分类模型训练时优化的目标函数;分割分类模型共有分割和分类两个输出,故训练的损失函数需要同时考虑分割和分类,使用Dice函数作为分割输出的损失函数Lseg,使用交叉熵损失函数作为分类输出的损失函数Lclas,分割分类模型总的损失函数为Ltotal,其形式为:Ltotal=βLclas+Lseg,β为分类损失和分割损失在总损失函数中的权重参数;
步骤6:使用训练集和验证集进行分割分类模型训练;
步骤7:得到最后的训练好的分割分类模型,再用测试集对分割分类模型进行测试,最终确定需要的分割分类模型;
步骤8:将分割分类模型分割结果通过相机的内参矩阵和外参矩阵从像素平面坐标系映射到实际工作的世界坐标系,获得目标的物理世界真实尺寸;
步骤9:利用OpenVINO工具进行分割分类模型量化、计算合并,提高卷积网络的运行性能,同时推理时使用异步推理操作,并行计算,提高运行速度。
2.根据权利要求1所述的一种基于深度学习的水产实时尺寸检测方法,其特征在于,在所述步骤2中,对输入图像的预处理操作为归一化和标准化,归一化是将图像像素值归一化到区间[0,1],标准化是通过计算数据集的均值和方差,对所有像素点进行标准化操作;
数据增强操作包括:第一,随机缩放裁剪,具体来说,先利用随机数生成函数随机生成一个0.5-1.5之间实数f,再将图像缩放到原来的f倍,最后再随机裁剪出一个640×480的图像用于训练;第二,对图像采用了随机左右翻转、随机亮度对比度变化和随机旋转一定角度的方法。
3.根据权利要求1所述的一种基于深度学习的水产实时尺寸检测方法,其特征在于,在所述步骤3中,在特征提取模块中,使用并行双分支结构,同时使用两种不同分辨率的分支进行特征提取,保留图像的高层空间细节和低层语义特征,并行分支之间通过上采样和下采样操作进行了两次特征交互融合,特征提取模块由两种基础模块组成:
残差模块:由三条分支构成,第一条分支为SE模块,SE模块能够解决卷积过程中特征层的不同通道所占的重要性不同带来的损失问题,这里使用的是SE模块的一种变体,首先对输入的每个通道进行全局平均池化操作,然后使用一个具有非线性的全连接层,最后使用一个Sigmoid激活函数生成通道权值;第二条分支为主分支,模块的输入首先经过一个通道分离操作,将原始输入按照通道数分为两组,这样将卷积运算限制在每个组内,能够降低计算模型的计算量,同时,因为基础模块的输出通道数是输入通道数的两倍,当输入通道数和输出通道数的值接近1:1时,能减少内存访问成本;当输入经过通道分离操作分成两组后,其中一组输入到一个3×3的深度卷积,另一组输入到一个3×3的普通卷积,同时在每一个卷积后面都加上批归一化层和ReLU激活函数,深度卷积能够降低参数量,但缺少通道间的信息交互,普通卷积参数量较大,通道间有着信息交流,两者组合在一起,在参数量和信息交互中做了平衡,然后将两组输出按照通道顺序上连接在一起;第三条分支为跳跃连接,用于解决网络层数较深的情况下梯度消失的问题,同时有助于梯度的反向传播,加快训练过程;最后,将三个分支的输出叠加起来,并引入组间信息交换的机制,即通道混洗操作,同时通道混洗操作是可导的,可以实现端到端一次性训练网络;
下采样模块:当特征图的大小变为原来的1/2时,都会串联一个下采样模块,下采样模块由两个部分组成,分别是最大池化层和步长为2的3×3卷积层,并将最大池化层和卷积层的输出叠加后串联批归一化和Relu激活函数。
4.根据权利要求1所述的一种基于深度学习的水产实时尺寸检测方法,其特征在于,在所述步骤3中,在分割解码模块中,进行多尺度融合的操作,具体而言,对32倍下采样的特征图进行上采样操作,变换为尺度与8倍下采样的特征图相同的尺度,并添加3×3卷积、批归一化和Relu激活函数,与8倍下采样的特征图进行通道方向的连接,进行同样的操作变换到4倍下采样的特征图,就完成了多尺度融合的操作,最后再添加3×3卷积和上采样的分割头部,就得到了与原图大小一致的特征图。
5.根据权利要求1所述的一种基于深度学***均池化层构成,在编码层的并行结构的高分辨率分支后,连接一个1×1卷积层、批归一化层和Relu激活函数,再连接一个最大池化层,得到最后的分类输出。
6.根据权利要求1所述的一种基于深度学***均交并比作为分割精度评价指标,定义如下:
其中,pij表示真实值为i、被预测为j的数量,pii表示真实值为i、预测值为i的数量,pji表示真实值为j、预测值为i的数量;k+1是类别个数,包含背景类,当mIoU接近1时候,预测值越逼近真实值;
分类效果评价指标为F1 score,定义如下:
其中,TP为真阳性,FP表示假阳性,FN表示假阴性;
推理速度评价指标为FPS,定义如下:
其中Time为单张图片的推理时间。
7.根据权利要求1所述的一种基于深度学习的水产实时尺寸检测方法,其特征在于,在所述步骤5中,分割部分的损失函数定义如下:
其中,qi代表真实值,pi代表网络的预测值,v代表每个图像块的体素点的个数;
分类部分的损失函数定义如下:
其中,ni为样本标签,mi为预测输出。
8.根据权利要求1所述的一种基于深度学***稳,同时保持分割分类模型深层的稳定性,使用warm-up学习率策略进行分割分类模型的训练;训练完成后,查看验证集上的多任务的分割分类模型的性能,若训练的分割分类模型的评价指标不能满足需求,则调整分割分类模型超参数,继续训练,直到满足要求。
9.根据权利要求1所述的一种基于深度学习的水产实时尺寸检测方法,其特征在于,在所述步骤8中,图像坐标到世界坐标的转换公式如下:
其中,(u,v)为像素平面坐标系上点的坐标,(Xc,Yc,Zc)为世界坐标系的坐标,fx,fy表示感光芯片上像素的实际大小,是连接像素坐标系和真实尺寸坐标系的,u0,v0是图像平面中心,R和T为相机外参,由张正友标定法获得,0T为(0,0,0)。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111360650.3A CN114066964B (zh) | 2021-11-17 | 2021-11-17 | 一种基于深度学习的水产实时尺寸检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111360650.3A CN114066964B (zh) | 2021-11-17 | 2021-11-17 | 一种基于深度学习的水产实时尺寸检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114066964A CN114066964A (zh) | 2022-02-18 |
CN114066964B true CN114066964B (zh) | 2024-04-05 |
Family
ID=80273381
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111360650.3A Active CN114066964B (zh) | 2021-11-17 | 2021-11-17 | 一种基于深度学习的水产实时尺寸检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114066964B (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114638985A (zh) * | 2022-03-03 | 2022-06-17 | 北京中关村智连安全科学研究院有限公司 | 一种基于核心点卷积的电力杆塔点云分类分割模型构建方法 |
CN114758178B (zh) * | 2022-04-18 | 2024-04-05 | 江南大学 | 一种基于深度学习的轮毂实时分类及其气阀孔定位方法 |
CN115099401B (zh) * | 2022-05-13 | 2024-04-26 | 清华大学 | 基于世界建模的持续学习框架的学习方法、装置及设备 |
CN115049632A (zh) * | 2022-06-28 | 2022-09-13 | 深圳市瀚德智能机器人有限公司 | 管带扭转检测方法、装置、设备和存储介质 |
CN116245892B (zh) * | 2022-12-05 | 2024-04-12 | 北京建筑大学 | 图像处理模型生成方法、图像处理方法及装置 |
CN116402999B (zh) * | 2023-06-05 | 2023-09-15 | 电子科技大学 | 一种联合量子随机数与深度学习sar实例分割方法 |
CN116385984B (zh) * | 2023-06-05 | 2023-09-01 | 武汉理工大学 | 船舶吃水深度的自动检测方法和装置 |
CN117029673B (zh) * | 2023-07-12 | 2024-05-10 | 中国科学院水生生物研究所 | 一种基于人工智能实现的鱼类体表多尺寸测量方法 |
CN116989694A (zh) * | 2023-08-04 | 2023-11-03 | 深圳市汇和通传感技术有限公司 | 基于3d轮廓扫描的尺寸定位检测*** |
CN117094343B (zh) * | 2023-10-19 | 2023-12-29 | 成都新西旺自动化科技有限公司 | 一种qr码解码***及方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112183640A (zh) * | 2020-09-29 | 2021-01-05 | 无锡信捷电气股份有限公司 | 一种基于不规则物体的检测和分类方法 |
WO2021017372A1 (zh) * | 2019-08-01 | 2021-02-04 | 中国科学院深圳先进技术研究院 | 一种基于生成对抗网络的医学图像分割方法、***及电子设备 |
-
2021
- 2021-11-17 CN CN202111360650.3A patent/CN114066964B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021017372A1 (zh) * | 2019-08-01 | 2021-02-04 | 中国科学院深圳先进技术研究院 | 一种基于生成对抗网络的医学图像分割方法、***及电子设备 |
CN112183640A (zh) * | 2020-09-29 | 2021-01-05 | 无锡信捷电气股份有限公司 | 一种基于不规则物体的检测和分类方法 |
Non-Patent Citations (1)
Title |
---|
多尺度特征融合工件目标语义分割;和超;张印辉;何自芬;;中国图象图形学报;20200316(03);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN114066964A (zh) | 2022-02-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114066964B (zh) | 一种基于深度学习的水产实时尺寸检测方法 | |
CN113850825A (zh) | 基于上下文信息和多尺度特征融合的遥感图像道路分割方法 | |
CN110378222A (zh) | 一种输电线路防震锤目标检测与缺陷识别方法及装置 | |
CN111753677B (zh) | 基于特征金字塔结构的多角度遥感船舶图像目标检测方法 | |
CN113177555B (zh) | 基于跨层级跨尺度跨注意力机制的目标处理方法及装置 | |
CN113159232A (zh) | 一种三维目标分类、分割方法 | |
CN111652240B (zh) | 一种基于cnn的图像局部特征检测与描述方法 | |
CN113822951A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN113516053B (zh) | 一种具有旋转不变性的舰船目标精细化检测方法 | |
US20220212339A1 (en) | Active data learning selection method for robot grasp | |
CN110827312A (zh) | 一种基于协同视觉注意力神经网络的学习方法 | |
CN113902901B (zh) | 一种基于轻量化检测的物体分离方法与*** | |
CN114022408A (zh) | 基于多尺度卷积神经网络的遥感图像云检测方法 | |
CN114627290A (zh) | 一种基于改进DeepLabV3+网络的机械零部件图像分割算法 | |
CN115439694A (zh) | 一种基于深度学习的高精度点云补全方法及装置 | |
Zhao et al. | CRAS-YOLO: A novel multi-category vessel detection and classification model based on YOLOv5s algorithm | |
CN113435254A (zh) | 一种基于哨兵二号影像的耕地深度学习提取方法 | |
CN111160378A (zh) | 基于单张图像的多任务增强的深度估计*** | |
CN115527096A (zh) | 一种基于改进YOLOv5的小目标检测方法 | |
CN115049945A (zh) | 一种基于无人机图像的小麦倒伏面积提取方法和装置 | |
CN114882011A (zh) | 一种基于改进Scaled-YOLOv4模型的织物瑕疵检测方法 | |
CN112183640B (zh) | 一种基于不规则物体的检测和分类方法 | |
CN108846364A (zh) | 一种基于fpga的视频特征检测方法和*** | |
CN117523394A (zh) | 一种基于聚合特征增强网络的sar船舰检测方法 | |
CN117152435A (zh) | 一种基于U-Net3+的遥感语义分割方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20240529 Address after: 230000 B-1015, wo Yuan Garden, 81 Ganquan Road, Shushan District, Hefei, Anhui. Patentee after: HEFEI MINGLONG ELECTRONIC TECHNOLOGY Co.,Ltd. Country or region after: China Address before: No. 1800 road 214122 Jiangsu Lihu Binhu District City of Wuxi Province Patentee before: Jiangnan University Country or region before: China |
|
TR01 | Transfer of patent right |