CN114419364A - 一种基于深层特征融合的鱼类智能分选方法及*** - Google Patents
一种基于深层特征融合的鱼类智能分选方法及*** Download PDFInfo
- Publication number
- CN114419364A CN114419364A CN202111596982.1A CN202111596982A CN114419364A CN 114419364 A CN114419364 A CN 114419364A CN 202111596982 A CN202111596982 A CN 202111596982A CN 114419364 A CN114419364 A CN 114419364A
- Authority
- CN
- China
- Prior art keywords
- fish
- image
- layer
- size
- convolutional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 241000251468 Actinopterygii Species 0.000 title claims abstract description 182
- 238000000034 method Methods 0.000 title claims abstract description 52
- 230000004927 fusion Effects 0.000 title claims abstract description 50
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 35
- 238000007781 pre-processing Methods 0.000 claims abstract description 15
- 238000005070 sampling Methods 0.000 claims abstract description 13
- 238000013135 deep learning Methods 0.000 claims abstract description 8
- 238000003860 storage Methods 0.000 claims description 30
- 238000011176 pooling Methods 0.000 claims description 27
- 238000013473 artificial intelligence Methods 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 11
- 239000000203 mixture Substances 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 210000004205 output neuron Anatomy 0.000 claims description 5
- 238000005520 cutting process Methods 0.000 claims description 4
- 238000012360 testing method Methods 0.000 claims description 4
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 abstract description 10
- 241000894007 species Species 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000009182 swimming Effects 0.000 description 3
- 238000009360 aquaculture Methods 0.000 description 2
- 244000144974 aquaculture Species 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000003631 expected effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000009313 farming Methods 0.000 description 1
- 238000013100 final test Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000008239 natural water Substances 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000011410 subtraction method Methods 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 238000003466 welding Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01K—ANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
- A01K61/00—Culture of aquatic animals
- A01K61/90—Sorting, grading, counting or marking live aquatic animals, e.g. sex determination
- A01K61/95—Sorting, grading, counting or marking live aquatic animals, e.g. sex determination specially adapted for fish
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Zoology (AREA)
- Environmental Sciences (AREA)
- Animal Husbandry (AREA)
- Biodiversity & Conservation Biology (AREA)
- Marine Sciences & Fisheries (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深层特征融合的鱼类智能分选方法，包括:(1)获取待识别鱼的图像，通过图像预处理定位算法，进行预处理，并进行实时定位；(2)通过深度学习算法对预处理后的图像进行特征提取，将提取的特征输入预先训练好的卷积神经网络模型中，对图像进行分类，得到待识别鱼的种类，输出识别结果；(3)鱼类智能分选***根据识别结果将待识别鱼按照种类进行暂时存放，完成分选。本发明的方法采用基于深层特征融合的卷积神经网络，在深层卷积层加入了上采样层，同时与第二层反卷积层特征进行拼接融合，结合了图像深层的边缘细节信息和浅层轮廓特征，具备更强特征捕捉能力，全面挖掘出图像的特征，提升了水环境下鱼类识别的准确率。
Description
技术领域
本发明涉及图像识别和机械装置设计的技术领域，特别是涉及一种基于深层特征融合的鱼类智能分选方法及***。
背景技术
为最大限度利用养殖水体提高养殖效率，人工养殖鱼类时通常会实行多品种混养。而在河流、海洋中的鱼类也是多种多样。因此，无论是在人工养殖环境下还是在野外自然水体中进行捕捞均涉及鱼类的分选。目前，主要依靠技术工人来进行不同鱼种类的识别和分选。人工识别分选存在以下缺陷：1、劳动强度大，分选效率低，出错率高；2、鱼类识别分拣暴露的时间长，鱼类易死亡或损伤；3、由于依赖技术工人的经验，技术工人水平的高低决定了分选正确率，识别分选效率不稳定。虽然目前也出现了鱼类自动识别和分拣技术，但存在如下问题：(1)识别分选是在非水环境下进行，容易造成鱼体死亡或损伤；(2)识别技术较为原始，识别准确率不够；(3)多使用各种推进器进行鱼类的分拣，推进器和鱼体之间的碰撞也极易造成鱼体损伤，影响鱼的存活率和品质。
发明内容
本发明的目的在于提供一种基于深层特征融合的鱼类智能分选方法及***。
根据本发明的一个方面，提供了一种基于深层特征融合的鱼类智能分选方法，包括以下：
(1)获取待识别鱼的图像，通过图像预处理定位算法，对图像进行预处理，并对待识别鱼进行实时位置定位；
(2)通过深度学习算法对预处理后的图像进行特征提取，将提取的特征输入预先训练好的基于深层特征融合的卷积神经网络模型中，对图像进行分类，得到待识别鱼的种类，输出识别结果；
(3)鱼类智能分选***根据识别结果将待识别鱼按照种类进行暂时存放，完成分选。
在一些实施方式中，步骤(1)中，图像预处理定位算法采用背景差分法，采用高斯混合模型对图像的背景进行实时更新，包括以下具体步骤：
(1a)获取摄像头捕获的第一帧图像，作为初始化背景图像；
(1b)调用Opencv图像处理库中的cv.createBackgroundSubtractorMOG2()函数建立高斯混合模型，模型中方差阈值设定为25；
(1c)将待识别鱼的图像与初始化背景图像进行像素减运算，得到目标图像；
(1d)对目标图像进行开运算去噪点，闭运算填充内部空洞；
(1e)调用Opencv图像库中的cv.findContours()函数找出最大连通域，并画出目标位置的最小矩形框，完成对待识别鱼的图像的预处理。
在一些实施方式中，步骤(2)中，深度学习算法采用基于深层特征融合的卷积神经网络，包括具体以下步骤：
(2a)建立n个种类的鱼群原始数据集，将鱼群原始数据集进行划分，其中80％作为训练集，剩余20％作为测试集，鱼群原始数据集的建立，包括以下步骤：
S1.鱼群原始数据集中共有n种鱼类，各个鱼类图像不少于500张，共有n×500张原始图像，其中，图像的色彩通道数为3；
S2.对原始图像数据进行形状缩放，图像大小统一调整至256×256；
S3.进行图像数据增强，对图像进行随机旋转、平移、剪裁；
(2b)搭建基于深层特征融合的卷积神经网络，包含7层卷积层，4层池化层，1层反卷积层，2层上采样层，1层特征拼接层，1层特征融合层；
(2c)将训练集输入到上述卷积神经网络中，并使用梯度反向传播的方法进行网络参数更新，将网络输出预测值与真实标签做差，得到差值，并使用差值的平方作为网络损失函数，梯度优化方法采用Aadm优化器进行优化。
在一些实施方式中，卷积神经网络的结构包括：
(1)第一卷积层，有16个大小为3×3的卷积核，步长为1，边缘填充数量为1；
(2)第二卷积层，有32个大小为3×3的卷积核，步长为1，边缘填充数量为1；第一最大池化层，池化核大小为2×2，步长为2，边缘填充数量为0；
(3)第一反卷积层，将第二卷积层的输出作为输入，有16个大小为3×3的卷积核，步长为2，边缘填充数量为0；第二最大池化层，池化核大小为2×2，步长为2，边缘填充数量为0；
(4)第三卷积层，有64个大小为3×3的卷积核，步长为1，边缘填充数量为1；
(5)第四卷积层，有128个大小为3×3的卷积核，步长为1，边缘填充数量为1；第三最大池化层，池化核大小为2×2，步长为2，边缘填充数量为0；
(6)第一上采样层，采用双线性插值方法上采样，将第四卷积层的输出放大为原来的2倍；第1层特征拼接层，将反卷积层的输出与第四上采样层的输出特征按图像通道拼接在一起；
(7)第五卷积层，有256个大小为3×3的卷积核，步长为1，边缘填充数量为1；
(8)第六卷积层，有512个大小为3×3的卷积核，步长为1，边缘填充数量为1；
(9)第七卷积层，有144个大小为1×1的卷积核，步长为1，边缘填充数量为1；第四最大池化层，池化核大小为5×5，步长为3，边缘填充数量为0；
(10)第二上采样层，采用双线性插值方法上采样，将第七卷积层的输出缩放为128×128；特征融合层将第七卷积层上采样的输出特征与拼接层的输出特征直接相加，得到最终的融合特征；
经过上述卷积神经网络，图像由输入尺寸3×256×256变为输出尺寸为144×42×42，将图像打平后连接两层全连接神经网络，最终输出神经元个数为n，输出类别为n，即代表n类鱼群。本发明中卷积神经网络结构将深层卷积提取特征进行上采样，同时与浅层特征反卷积融合，有效结合了图像的深层边缘细节信息和浅层特征，增强了卷积神经网络的特征提取能力，在保证运算速度的同时，具有更高的识别率。
在一些实施方式中，一种基于深层特征融合的鱼类智能分选***，包括用于盛放待识别鱼的储鱼池、阀门、输送管、鱼类识别模块和收集模块，鱼类识别模块包括识别池、用于识别鱼种类的识别器和控制器，收集模块包括收集管、收集箱和电机，阀门分别与储鱼池和输送管相连通，输送管与识别池相连通，识别器安装于识别池内，电机安装于收集箱内，电机的输出端与收集箱门相连接，控制器分别与识别器、电机、阀门相信号连接，收集管的两端与识别池、收集箱相连通，阀门和输送管仅容纳一条鱼游过。阀门控制待识别鱼从储鱼池进入输送管。设置识别池便于识别器对待识别鱼进行拍照识别。电机用于控制收集箱箱门的开启和关闭。收集箱用于暂存已经完成识别的鱼。控制器用于接收识别器的信号，并对电机发出信号，控制阀门、收集箱的开启和关闭。
在一些实施方式中，识别器包括摄像头和人工智能算法处理器，人工智能算法处理器分别与摄像头和控制器相信号连接，人工智能算法处理器内设置有对鱼类进行种类识别的算法，算法包括图像预处理定位算法、基于深层特征融合的卷积神经网络，算法通过人工智能算法处理器使用权利要求1的分选方法中步骤(1)至(2)对待识别鱼进行进行种类识别，得到待识别鱼的种类。人工智能算法处理器通过训练好的算法和卷积神经网络，对待识别鱼进行种类识别。摄像头对待识别鱼进行拍照。
在一些实施方式中，收集模块还包括暂存池，暂存池的两端分别与收集管、收集箱相连通，暂存池为圆形，输送管为具有一定倾斜度的圆形管道，识别池的高度低于储鱼池的高度。
在一些实施方式中，收集模块还包括激光传感器，激光传感器安装于收集箱内，激光传感器与控制器相信号连接。激光传感器用于对收集箱内进行监测，便于及时确定已识别鱼是否游入相对应的收集箱内。
在一些实施方式中，收集箱包括单一类别收集箱和其他类别收集箱，单一类别收集箱为n个，n个单一类别收集箱和其他类别收集箱分别与暂存池相连通，其他类别收集箱的数量为1。每个单一类别的收集箱对应一个种类，用于暂时存放相应种类的鱼。其他类别收集箱用于暂时存放这n个种类以外品种的鱼。
在一些实施方式中，电机为n+1个，n+1个电机分别一一对应安装于其他类别收集箱、n个单一类别收集箱内，n+1个电机的输出端分别与其他类别收集箱的箱门、n个单一类别收集箱的箱门相一一对应连接，n+1个电机分别与控制器相信号连接。每个电机对应安装于每个收集箱内，电机的输出端伸出或收回，用于控制对应种类收集箱的开启和关闭，用于将已识别鱼装入相对应种类的收集箱内。
本发明的有益效果：本发明的智能分选方法采用基于深层特征融合的卷积神经网络，在深层卷积层加入了上采样层，同时与第二层反卷积层特征进行拼接融合，结合了图像深层的边缘细节信息和浅层轮廓特征，使网络具备更强特征捕捉能力，全面挖掘出图像的特征，提升了水环境下鱼类识别的准确率；本发明的智能分选***将图像识别技术与自动控制的收集箱联合，形成全过程自动识别自动分选的无人智能***。本发明的分选过程全程在水环境下进行识别与分拣同时避免了鱼类长时间暴露在水体外损伤或死亡的问题。
附图说明
图1为本发明的一种实施方式的一种基于深层特征融合的鱼类智能分选***的结构示意图。
图2为本发明的一种实施方式的一种基于深层特征融合的鱼类智能分选***的方框图。
图3为本发明的一种实施方式的一种基于深层特征融合的鱼类智能分选方法的卷积神经网络的网络结构图。
图4为本发明的一种实施方式的一种基于深层特征融合的鱼类智能分选***的使用方法的流程图。
具体实施方式
下面结合实施例，对本发明作进一步详细的说明。
实施例1
本发明的一种基于深层特征融合的鱼类智能分选***，包括用于盛放待识别鱼的储鱼池1、阀门2、输送管3、鱼类识别模块4和收集模块5。鱼类识别模块4包括识别池41、用于识别鱼种类的识别器42和控制器43。阀门2的一端与储鱼池1底部相连通，另一端与输送管3的一端相连通。输送管3为圆形管道，输送管3的另一端与识别池41相连通。储鱼池1的高度高于识别池41的高度。阀门2和输送管3的管径只允许一条鱼通过，保证每次阀门2打开后，储鱼池1内只有一条鱼通过阀门2进入输送管3和识别池41进行识别。
识别器42包括摄像头421和人工智能算法处理器422。摄像头421为水下摄像头，安装于识别池41内，位于水面以下用于拍摄待识别鱼的图像。摄像头421、人工智能算法处理器422、控制器43相依次信号连接。控制器43分别与n+1个电机44相信号连接。控制器43用于接收人工智能算法处理器422发出的分类信号，同时将分类信号转换为控制信号传递给相应种类的电机44。
收集模块5包括收集管51、暂存池52、收集箱53、n+1个电机44和n+1个激光传感器54。收集箱53设有箱门533。收集箱53的箱门533一端嵌装入暂存池52内，收集箱53通过箱门533与暂存池52相连通。收集箱53包括其他类别收集箱531和n个单一类别收集箱532。识别池41、收集管51、暂存池52相依次连通。暂存池52为圆形，其他类别收集箱531和n个单一类别收集箱532分别与暂存池52相连通。其他类别收集箱531和n个单一类别收集箱532均位于暂存池52的一侧，并呈扇形分布。n+1个电机44一一对应安装于其他类别收集箱531和n个单一类别收集箱532内。电机44的输出端分别与其他类别收集箱531的箱门533和n个单一类别收集箱532的箱门533相焊接连接。电机44的输出端伸出，将收集箱53的箱门533打开，便于已识别鱼游入收集箱53内。电机44的输出端收回，将收集箱53的箱门533关闭，将已识别鱼关闭在收集箱53内。相应种类的单一类别收集箱532内的电机44接收到控制信号，按照控制信号的要求将相应种类的单一类别收集箱532打开和关闭，将完成识别的鱼装入对应种类的单一类别收集箱中532。
n+1个激光传感器54一一对应安装于其他类别收集箱531和n个单一类别收集箱532内。激光传感器54对已经识别种类的鱼进行监测，确保暂存池52内的鱼游入对应的收集箱53内。
实施例2
本发明的一种基于深层特征融合的鱼类智能分选方法，包括以下：
(1)摄像头421拍摄识别池41内待识别鱼的图像，将待识别鱼的图像发送给人工智能算法处理器422，人工智能算法处理器422获取待识别鱼的图像，通过图像预处理定位算法，对图像进行预处理，并对待识别鱼进行实时位置定位。图像预处理定位算法采用背景差分法，采用高斯混合模型对图像的背景进行实时更新，包括以下具体步骤：
(1a)获取摄像头421捕获的第一帧图像，作为初始化背景图像；
(1b)调用Opencv图像处理库中的cv.createBackgroundSubtractorMOG2()函数建立高斯混合模型，模型中方差阈值设定为25；
(1c)将待识别鱼的图像与初始化背景图像进行像素减运算，得到目标图像；
(1d)对目标图像进行开运算去噪点，闭运算填充内部空洞；
(1e)调用Opencv图像库中的cv.findContours()函数找出最大连通域，并画出目标位置的最小矩形框，完成对待识别鱼的图像的预处理。
(2)通过深度学习算法对预处理后的图像进行特征提取，将提取的特征输入预先训练好的网络模型中，对图像进行分类，得到待识别鱼的种类，输出识别结果。具体包括以下步骤：
(2a)根据方法应用地实际情况，设定原始鱼群类别数为n，则建立n个种类的鱼群原始数据集，将鱼群原始数据集进行划分，其中80％作为训练集，剩余20％作为测试集，鱼群原始数据集的建立，包括以下步骤：
S1.鱼群原始数据集中共有n种鱼类，各个鱼类图像不少于500张，共有n×500张原始图像，其中，图像的色彩通道数为3；
S2.对原始图像数据进行形状缩放，图像大小统一调整至256×256；
S3.进行图像数据增强，对图像进行随机旋转、平移、剪裁。
(2b)搭建基于深层特征融合的卷积神经网络，包含7层卷积层，4层池化层，1层反卷积层，2层上采样层，1层特征拼接层，1层特征融合层。
卷积神经网络的具体结构为：
(1)第一卷积层，有16个大小为3×3的卷积核，步长为1，边缘填充数量为1；
(2)第二卷积层，有32个大小为3×3的卷积核，步长为1，边缘填充数量为1；第一最大池化层，池化核大小为2×2，步长为2，边缘填充数量为0；
(3)第一反卷积层，将第二卷积层的输出作为输入，有16个大小为3×3的卷积核，步长为2，边缘填充数量为0；第二最大池化层，池化核大小为2×2，步长为2，边缘填充数量为0；
(4)第三卷积层，有64个大小为3×3的卷积核，步长为1，边缘填充数量为1；
(5)第四卷积层，有128个大小为3×3的卷积核，步长为1，边缘填充数量为1；第三最大池化层，池化核大小为2×2，步长为2，边缘填充数量为0；
(6)第一上采样层，采用双线性插值方法上采样，将第四卷积层的输出放大为原来的2倍；第1层特征拼接层，将反卷积层的输出与第四上采样层的输出特征按图像通道拼接在一起；
(7)第五卷积层，有256个大小为3×3的卷积核，步长为1，边缘填充数量为1；
(8)第六卷积层，有512个大小为3×3的卷积核，步长为1，边缘填充数量为1；
(9)第七卷积层，有144个大小为1×1的卷积核，步长为1，边缘填充数量为1；第四最大池化层，池化核大小为5×5，步长为3，边缘填充数量为0；
(10)第二上采样层，采用双线性插值方法上采样，将第七卷积层的输出缩放为128×128；特征融合层将第七卷积层上采样的输出特征与拼接层的输出特征直接相加，得到最终的融合特征；
经过上述卷积神经网络，图像由输入尺寸3×256×256变为输出尺寸为144×42×42，将图像打平后连接两层全连接神经网络，最终输出神经元个数为n，输出类别为n，即n类鱼群；
(2c)将训练集输入到卷积神经网络中，并使用梯度反向传播的方法进行网络参数更新，将网络输出预测值与真实标签做差，得到差值，并使用差值的平方作为网络损失函数，梯度反向传播方法采用Aadm优化器进行优化。
优化的具体步骤为：
设置学习率为0.003，学习率每经过50次迭代变为原来的0.85倍；
全连接神经元网络层的输出值和图像真实真是标签值计算交叉熵平方误差，将平方误差作为损失函数，并将交叉熵进行反向传播，更新网络中的权重大小和阈值大小；
本发明的上述基于深层特征融合的卷积神经网络模型训练终止条件为最终误差小于5％，总共训练次数为5000次，直至识别率达到预定要求为止；
本发明的上述基于深层特征融合的卷积神经网络模型训练好后部署到人工智能算法处理器422中，摄像头421进行图像的实时收集，图像经过上述识别方法进行识别，得到待识别鱼的种类，并传递给后面连接的控制器；
上述算法仿真运行平台信息：操作***为Windows10，Opencv版本为3.4.4，所搭建分类网络框架使用Pytorch1.5.1，所使用GPU为Tesla P10016G。
具体训练操作时：将n×500×80％随机挑选的鱼类图像设置为训练集，剩余20％的图像设置为测试集；将输入图像灰度化，并使用高斯混合模型定位出鱼的位置，再将其二值化，保留鱼的定位矩形框；将鱼类的定位图像进行缩放至256×256大小，并进行随机的平移、旋转和裁剪以实现增强数据；将训练图像输入所提出的基于深层特征融合的卷积神经网络当中；使用Pytorch设置好Adam优化器优化梯度，并调用torch.optim.lr_scheduler.StepLR()函数设定好衰减率；损失函数使用真实值和预测值之间的平方误差。
以具有10类鱼群的基于深层特征融合的卷积神经网络模型为例(即n＝10)进行本算法效果验证，以鱼群分类准确率作为评价指标，其中分类准确率计算公式如下；
实验结果显示最终测试集的鱼群分类准确率为95.2％，达到预期效果。
(3)鱼类智能分选***根据识别结果将已识别鱼按照种类进行暂时存放，完成分选。
实施例3
本发明的一种基于深层特征融合的鱼类智能分选***的使用方法，包括以下：
步骤1，将网捕到的鱼放入储鱼池内，捕鱼网的网眼较大，在捕鱼过程中，将较小的鱼从网眼中漏掉；
步骤2，控制器43启动阀门2，储鱼池1内的待识别鱼通过阀门2游入输送管3内，阀门2关闭。待识别鱼沿输送管3游入识别池41内，摄像头421拍摄待识别鱼的图像，发送到人工智能算法处理器422；
步骤3，人工智能算法处理器422接收到待识别鱼的图像，对图像进行预处理，并对待识别鱼进行实时位置定位，通过深度学习算法对图像进行特征提取，将提取的特征输入预先训练好的卷积神经网络模型中，得到待识别鱼的种类，并向控制器43输出识别结果，待识别鱼转变为已识别鱼；
步骤4，控制器43接收到识别结果，向相应种类的单一类别收集箱532内的电机44发出控制信号。已识别鱼沿收集管51游入暂存池52内。相应种类的单一类别收集箱532内的电机44启动，电机44的输出端收回，将相应种类的单一类别收集箱532的箱门打开，暂存池52内的已识别鱼游入相应种类的单一类别收集箱532内。单一类别收集箱532内的激光传感器54感应到有鱼游入箱内，向控制器43发出信号。控制器43接收到激光传感器54的信号，向电机44发出信号，电机44收回输出端，将相应种类的单一类别收集箱532的箱门关闭，完成分选；
步骤5，控制器43向阀门2发出信号，阀门2开启，储鱼池1内其他的待识别鱼通过阀门1进入输送管3内，重复上述步骤2～4的识别过程。人工智能算法处理器422识别出待识别鱼不属于鱼群原始数据集中的n种鱼类。控制器43接收到识别结果，向其他类别收集箱531内的电机44发出控制信号。已识别鱼沿收集管51游入暂存池52内。其他类别收集箱531内电机44启动，电机44的输出端收回，将其他类别收集箱531的箱门打开，暂存池52内的已识别鱼游入其他类别收集箱531内。其他类别收集箱531内的激光传感器54感应到有鱼游入箱内，向控制器43发出信号。控制器43接收到激光传感器54的信号，控制器向电机发出信号，电机44收回输出端，将其他类别收集箱531的箱门关闭，完成分选。重复上述步骤2～4的识别过程，对储鱼池内的其他待识别鱼依次进行分选。
本发明的智能分选***的使用方法中，摄像头421拍摄到识别池41内待识别鱼的图像，将图像发送给人工智能算法处理器422。人工智能算法处理器422获得待识别鱼的图像，按照实施例2中的智能分选方法对待识别鱼进行进行种类识别，即定位出待识别鱼的实时位置，通过图像定位算法对拍摄到的每一帧图像进行待识别鱼的定位处理；定位成功后，通过内嵌的深度学习算法对待识别鱼的种类进行分类，通过卷积神经网络对待识别鱼的图像进行特征提取，将提取到的特征输入预先训练好的卷积神经网络模型中，输出分类信号，传递给控制器43。
本发明的智能分选***为基于人工智能图像识别技术的自动化机械分拣装置，相较于传统的人工分拣，减少了人力；所采用基于深层特征融合的卷积神经网络，在深层卷积层加入了上采样层，同时与第二层反卷积浅层特征进行拼接融合，结合了图像深层的边缘细节信息和浅层轮廓特征，使网络具备更强特征捕捉能力，全面挖掘出图像的特征，提升了水环境下鱼类识别的准确率；全过程在水环境下进行识别与分拣，同时避免了鱼类长时间暴露在水体外损伤或死亡的问题。
以上所述的仅是本发明的一些实施方式，对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。
Claims (10)
1.一种基于深层特征融合的鱼类智能分选方法，其特征在于，包括以下步骤：
(1)获取待识别鱼的图像，通过图像预处理定位算法，对图像进行预处理，并对待识别鱼进行实时位置定位；
(2)通过深度学习算法对预处理后的图像进行特征提取，将提取的特征输入预先训练好的基于深层特征融合的卷积神经网络模型中，对图像进行分类，得到待识别鱼的种类，输出识别结果；
(3)鱼类智能分选***根据识别结果将待识别鱼按照种类进行暂时存放，完成分选。
2.根据权利要求1所述的一种基于深层特征融合的鱼类智能分选方法，其特征在于，所述步骤(1)中，图像预处理定位算法采用背景差分法，采用高斯混合模型对图像的背景进行实时更新，包括以下具体步骤：
(1a)获取摄像头捕获的第一帧图像，作为初始化背景图像；
(1b)调用Opencv图像处理库中的cv.createBackgroundSubtractorMOG2()函数建立高斯混合模型，所述模型中方差阈值设定为25；
(1c)将所述待识别鱼的图像与所述初始化背景图像进行像素减运算，得到目标图像；
(1d)对目标图像进行开运算去噪点，闭运算填充内部空洞；
(1e)调用Opencv图像库中的cv.findContours()函数找出最大连通域，并画出目标位置的最小矩形框，完成对所述待识别鱼的图像的预处理。
3.根据权利要求1所述的一种基于深层特征融合的鱼类智能分选方法，其特征在于，所述步骤(2)中，深度学习算法采用基于深层特征融合的卷积神经网络，包括具体以下步骤：
(2a)建立n个种类的鱼群原始数据集，将所述鱼群原始数据集进行划分，其中80％作为训练集，剩余20％作为测试集，所述鱼群原始数据集的建立，包括以下步骤：
S1.鱼群原始数据集中共有n种鱼类，各个鱼类图像不少于500张，共有n×500张原始图像，其中，图像的色彩通道数为3；
S2.对原始图像数据进行形状缩放，图像大小统一调整至256×256；
S3.进行图像数据增强，对图像进行随机旋转、平移、剪裁；
(2b)搭建基于深层特征融合的卷积神经网络，包含7层卷积层，4层池化层，1层反卷积层，2层上采样层，1层特征拼接层，1层特征融合层；
(2c)将所述训练集输入到所述卷积神经网络中，并使用梯度反向传播的方法进行网络参数更新，将网络输出预测值与真实标签做差，得到差值，并使用所述差值的平方作为网络损失函数，梯度反向传播方法采用Aadm优化器进行优化。
4.根据权利要求3所述的一种基于深层特征融合的鱼类智能分选方法，其特征在于，所述卷积神经网络的结构包括：
(1)第一卷积层，有16个大小为3×3的卷积核，步长为1，边缘填充数量为1；
(2)第二卷积层，有32个大小为3×3的卷积核，步长为1，边缘填充数量为1；第一最大池化层，池化核大小为2×2，步长为2，边缘填充数量为0；
(3)第一反卷积层，将第二卷积层的输出作为输入，有16个大小为3×3的卷积核，步长为2，边缘填充数量为0；第二最大池化层，池化核大小为2×2，步长为2，边缘填充数量为0；
(4)第三卷积层，有64个大小为3×3的卷积核，步长为1，边缘填充数量为1；
(5)第四卷积层，有128个大小为3×3的卷积核，步长为1，边缘填充数量为1；第三最大池化层，池化核大小为2×2，步长为2，边缘填充数量为0；
(6)第一上采样层，采用双线性插值方法上采样，将第四卷积层的输出放大为原来的2倍；第1层特征拼接层，将反卷积层的输出与第四上采样层的输出特征按图像通道拼接在一起；
(7)第五卷积层，有256个大小为3×3的卷积核，步长为1，边缘填充数量为1；
(8)第六卷积层，有512个大小为3×3的卷积核，步长为1，边缘填充数量为1；
(9)第七卷积层，有144个大小为1×1的卷积核，步长为1，边缘填充数量为1；第四最大池化层，池化核大小为5×5，步长为3，边缘填充数量为0；
(10)第二上采样层，采用双线性插值方法上采样，将第七卷积层的输出缩放为128×128；特征融合层将第七卷积层上采样的输出特征与拼接层的输出特征直接相加，得到最终的融合特征；
经过上述卷积神经网络，图像由输入尺寸3×256×256变为输出尺寸为144×42×42，将图像打平后连接两层全连接神经网络，最终输出神经元个数为n，输出类别为n，即代表n类鱼群。
5.一种基于深层特征融合的鱼类智能分选***，其特征在于，包括用于盛放待识别鱼的储鱼池、阀门、输送管、鱼类识别模块和收集模块，所述鱼类识别模块包括识别池、用于识别鱼种类的识别器和控制器，所述收集模块包括收集管、收集箱和电机，所述阀门分别与所述储鱼池和输送管相连通，所述输送管与所述识别池相连通，所述识别器安装于所述识别池内，所述电机安装于所述收集箱内，所述电机的输出端与所述收集箱门相连接，所述控制器分别与所述识别器、所述电机、所述阀门相信号连接，所述收集管的两端与所述识别池、所述收集箱相连通，所述阀门和所述输送管仅容纳一条鱼游过。
6.根据权利要求5所述的一种基于深层特征融合的鱼类智能分选***，其特征在于，所述识别器包括摄像头和人工智能算法处理器，所述人工智能算法处理器分别与所述摄像头和所述控制器相信号连接，所述人工智能算法处理器内设置有对鱼类进行种类识别的算法，所述算法包括图像预处理定位算法、基于深层特征融合的卷积神经网络，所述算法通过权利要求1所述的分选方法中步骤(1)至(2)对待识别鱼进行种类识别，得到待识别鱼的种类。
7.根据权利要求5所述的一种基于深层特征融合的鱼类智能分选***，其特征在于，所述收集模块还包括暂存池，所述暂存池的两端分别与所述收集管、所述收集箱相连通，所述暂存池为圆形。
8.根据权利要求7所述的一种基于深层特征融合的鱼类智能分选***，其特征在于，所述收集模块还包括激光传感器，所述激光传感器安装于所述收集箱内，所述激光传感器与所述控制器相信号连接。
9.根据权利要求7所述的一种基于深层特征融合的鱼类智能分选***，其特征在于，所述收集箱包括单一类别收集箱和其他类别收集箱，所述单一类别收集箱为n个，n个所述单一类别收集箱和所述其他类别收集箱分别与所述暂存池相连通，所述其他类别收集箱的数量为1。
10.根据权利要求9所述的一种基于深层特征融合的鱼类智能分选***，其特征在于，所述电机为n+1个，n+1个所述电机分别一一对应安装于所述其他类别收集箱、n个所述单一类别收集箱内，n+1个所述电机的输出端分别与所述其他类别收集箱的箱门、n个所述单一类别收集箱的箱门相一一对应连接，n+1个所述电机分别与所述控制器相信号连接。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111596982.1A CN114419364B (zh) | 2021-12-24 | 2021-12-24 | 一种基于深层特征融合的鱼类智能分选方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111596982.1A CN114419364B (zh) | 2021-12-24 | 2021-12-24 | 一种基于深层特征融合的鱼类智能分选方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114419364A true CN114419364A (zh) | 2022-04-29 |
| CN114419364B CN114419364B (zh) | 2024-07-23 |
Family
ID=81268102
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111596982.1A Active CN114419364B (zh) | 2021-12-24 | 2021-12-24 | 一种基于深层特征融合的鱼类智能分选方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114419364B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110197121A (zh) * | 2019-04-24 | 2019-09-03 | 上海理工大学 | 基于DirectShow的运动目标检测方法、运动目标检测模块及监控*** |
| CN110651815A (zh) * | 2019-09-20 | 2020-01-07 | 重庆工商大学 | 基于视频图像感知的自动分鱼***及装置 |
| CN110766013A (zh) * | 2019-09-25 | 2020-02-07 | 浙江农林大学 | 一种基于卷积神经网络的鱼类识别方法和装置 |
| CN111513013A (zh) * | 2020-04-01 | 2020-08-11 | 刘鹏 | 一种基于人工智能识别的活鱼分类输送装置 |
| CN112580662A (zh) * | 2020-12-09 | 2021-03-30 | 中国水产科学研究院渔业机械仪器研究所 | 一种基于图像特征识别鱼体方向的方法及*** |
| CN112966698A (zh) * | 2021-03-23 | 2021-06-15 | 西安电子科技大学 | 基于轻量化卷积网络的淡水鱼图像实时识别方法 |
| CN113076871A (zh) * | 2021-04-01 | 2021-07-06 | 华南理工大学 | 一种基于目标遮挡补偿的鱼群自动检测方法 |
| CN113191222A (zh) * | 2021-04-15 | 2021-07-30 | 中国农业大学 | 水下鱼类目标检测方法及装置 |
-
2021
- 2021-12-24 CN CN202111596982.1A patent/CN114419364B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110197121A (zh) * | 2019-04-24 | 2019-09-03 | 上海理工大学 | 基于DirectShow的运动目标检测方法、运动目标检测模块及监控*** |
| CN110651815A (zh) * | 2019-09-20 | 2020-01-07 | 重庆工商大学 | 基于视频图像感知的自动分鱼***及装置 |
| CN110766013A (zh) * | 2019-09-25 | 2020-02-07 | 浙江农林大学 | 一种基于卷积神经网络的鱼类识别方法和装置 |
| CN111513013A (zh) * | 2020-04-01 | 2020-08-11 | 刘鹏 | 一种基于人工智能识别的活鱼分类输送装置 |
| CN112580662A (zh) * | 2020-12-09 | 2021-03-30 | 中国水产科学研究院渔业机械仪器研究所 | 一种基于图像特征识别鱼体方向的方法及*** |
| CN112966698A (zh) * | 2021-03-23 | 2021-06-15 | 西安电子科技大学 | 基于轻量化卷积网络的淡水鱼图像实时识别方法 |
| CN113076871A (zh) * | 2021-04-01 | 2021-07-06 | 华南理工大学 | 一种基于目标遮挡补偿的鱼群自动检测方法 |
| CN113191222A (zh) * | 2021-04-15 | 2021-07-30 | 中国农业大学 | 水下鱼类目标检测方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114419364B (zh) | 2024-07-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110348376B (zh) | 一种基于神经网络的行人实时检测方法 | |
| CN109559302A (zh) | 基于卷积神经网络的管道视频缺陷检测方法 | |
| CN108629368B (zh) | 一种基于联合深度融合的多模态地基云分类方法 | |
| CN111476289B (zh) | 一种基于特征库的鱼群识别方法、装置、设备及存储介质 | |
| CN110751075A (zh) | 一种基于实例分割的遥感影像养殖塘检测方法 | |
| CN115862073B (zh) | 一种基于机器视觉的变电站危害鸟种目标检测和识别方法 | |
| CN109242826B (zh) | 基于目标检测的移动设备端签状物根数计数方法及*** | |
| CN111768401A (zh) | 一种基于深度学习的冰鲜鲳鱼新鲜度快速分级方法 | |
| CN110163798A (zh) | 渔场围网破损检测方法及*** | |
| KR102002632B1 (ko) | Ｉｏｔ 기반 과수 모니터링 시스템 및 방법 | |
| CN110363770A (zh) | 一种边缘引导式红外语义分割模型的训练方法及装置 | |
| CN110516723A (zh) | 一种基于深度张量融合的多模态地基云图识别方法 | |
| CN104063686A (zh) | 作物叶部病害图像交互式诊断***与方法 | |
| CN109508756B (zh) | 一种基于多线索多模态融合深度网络的地基云分类方法 | |
| CN111652231B (zh) | 一种基于特征自适应选择的铸件缺陷语义分割方法 | |
| CN113743227A (zh) | 基于切近摄影的岩体裂隙智能识别方法及*** | |
| CN111695640A (zh) | 地基云图识别模型训练方法及地基云图识别方法 | |
| CN115861906A (zh) | 鱼群摄食强度识别方法、装置、***及投饵机 | |
| CN116524183A (zh) | 一种基于多任务适配器微调的伪装目标检测方法 | |
| CN112200241A (zh) | 一种基于ResNet迁移学习的鱼类品种自动分拣方法 | |
| CN115410087A (zh) | 一种基于改进YOLOv4的输电线路异物检测方法 | |
| CN114451338B (zh) | 鱼群的摄食强度分级方法、装置及智能调速投饲机 | |
| CN115578423A (zh) | 基于深度学习的鱼类关键点检测、个体追踪和生物量估算方法及*** | |
| CN117214904A (zh) | 一种基于多传感器数据的鱼类智能识别监测方法和*** | |
| CN114419364B (zh) | 一种基于深层特征融合的鱼类智能分选方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |