CN111666986A - 基于机器学习的小龙虾分级方法 - Google Patents
基于机器学习的小龙虾分级方法 Download PDFInfo
- Publication number
- CN111666986A CN111666986A CN202010439424.3A CN202010439424A CN111666986A CN 111666986 A CN111666986 A CN 111666986A CN 202010439424 A CN202010439424 A CN 202010439424A CN 111666986 A CN111666986 A CN 111666986A
- Authority
- CN
- China
- Prior art keywords
- data set
- crayfish
- processing model
- training
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 241000238017 Astacoidea Species 0.000 title claims abstract description 69
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000010801 machine learning Methods 0.000 title claims abstract description 23
- 238000012545 processing Methods 0.000 claims abstract description 85
- 238000012549 training Methods 0.000 claims abstract description 72
- 238000012360 testing method Methods 0.000 claims abstract description 37
- 238000012795 verification Methods 0.000 claims abstract description 23
- 241000238565 lobster Species 0.000 claims abstract description 14
- 230000008569 process Effects 0.000 claims abstract description 10
- 238000013508 migration Methods 0.000 claims abstract description 7
- 230000005012 migration Effects 0.000 claims abstract description 7
- 230000006870 function Effects 0.000 claims description 38
- 238000005457 optimization Methods 0.000 claims description 10
- 238000010200 validation analysis Methods 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 9
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 4
- 238000002372 labelling Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 13
- 238000013135 deep learning Methods 0.000 abstract description 4
- 230000007547 defect Effects 0.000 abstract description 3
- 239000006002 Pepper Substances 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 235000002566 Capsicum Nutrition 0.000 description 3
- 241000722363 Piper Species 0.000 description 3
- 235000016761 Piper aduncum Nutrition 0.000 description 3
- 235000017804 Piper guineense Nutrition 0.000 description 3
- 235000008184 Piper nigrum Nutrition 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 239000000047 product Substances 0.000 description 3
- 150000003839 salts Chemical class 0.000 description 3
- 241000238557 Decapoda Species 0.000 description 2
- 241000282414 Homo sapiens Species 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 238000013526 transfer learning Methods 0.000 description 2
- 241000196324 Embryophyta Species 0.000 description 1
- 208000025174 PANDAS Diseases 0.000 description 1
- 208000021155 Paediatric autoimmune neuropsychiatric disorders associated with streptococcal infection Diseases 0.000 description 1
- 240000000220 Panda oleosa Species 0.000 description 1
- 235000016496 Panda oleosa Nutrition 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000009395 breeding Methods 0.000 description 1
- 230000001488 breeding effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000012938 design process Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000013210 evaluation model Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/68—Food, e.g. fruit or vegetables
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明揭示了一种基于机器学习的小龙虾分级方法,包括如下步骤:S1、从龙虾原始数据集中提取部分样本构建得到干净图像数据集,并将其随机划分为训练集、验证集以及测试集;S2、构建初步数据集处理模型并完成特征迁移,随后利用训练集、验证集对模型进行反复训练、验证,得到预训练数据集处理模型,利用测试集对模型进行测试,得到完善的数据集处理模型;S3、使用数据集处理模型对龙虾原始数据集内的样本进行逐条处理,得到分级结果。本发明将机器视觉与深度学习技术相融合,实现了对于小龙虾大小的自动化分级,不仅显著地提升了操作过程中的识别率与准确率,而且有效地弥补了现有方法在后续图像理解及分级性能等方面的缺陷。
Description
技术领域
本发明为一种产品的分级算法,具体涉及一种基于机器学习技术的小龙虾分级算法设计,属于人工智能和机器学习技术领域。
背景技术
随着近年来人工智能领域的飞速发展,模式识别、机器学习、深度学习等相关技术也日益成熟,并且开始被广泛地应用于人们生产生活各个领域、开始逐步影响和改变人类的生产生活方式。
以餐饮行业为例,目前全国的餐饮市场总量约为3万亿元,与小龙虾相关的餐饮项目占据了其中7%~8%的份额、而且呈现出逐年增长的发展态势。由于小龙虾的大小、品质直接决定着小龙虾的价格,因此在小龙虾从养殖厂到餐桌的过程中,对于小龙虾的分级必不可少。在现有的操作中,对小龙虾的分级大多采用人工操作的方式进行,在分级的同时,死虾和空壳虾也会被单独分拣出来。显而易见的是,这样的操作方式不仅工作量巨大而且操作效率低下,一旦出现小龙虾数目庞大的情况,还很容易因为人工操作的不确定性而出现较大的操作误差。
针对上述问题,目前也出现了一些工业化的小龙虾自动检测流水线,这种流水线主要利用机器视觉技术、通过拟合小龙虾虾体特征与重量关系以及对比虾***姿图像来实现小龙虾自动分级。具体而言,在这一技术方案中,针对图像采集器传回的图像数据,后端服务器通过智能图像处理提取出小龙虾的标志性区域,并通过一系列的图像预处理和模式识别技术对其进行计数,最后通过小龙虾的标志性区域的大小将其进行分级。区别于人工操作的方式,这一技术手段能够有效避免对人力、物力和财力的过度消耗。但是在实际的技术应用过程中,操作人员发现,此类技术存在一定的应用局限性,在后续图像理解及分级性能等方面仍然有所欠缺。
综上所述,如何设计一种全新的、具有优异分级性能且能够克服现有技术中诸多不足的小龙虾分级方法,也就成为了本领域内技术人员所期望解决的一项技术问题。
发明内容
鉴于现有技术存在上述缺陷,本发明的目的是提出一种基于机器学习技术的小龙虾分级算法设计,具体如下。
一种基于机器学习的小龙虾分级方法,包括如下步骤:
S1、数据集建立步骤,从包含有若干小龙虾图像样本的龙虾原始数据集中提取部分小龙虾图像样本,构建得到干净图像数据集,并将所述干净图像数据集随机划分为训练集、验证集以及测试集;
S2、模型建立步骤,构建初步数据集处理模型,设置所述初步数据集处理模型的超参数并对所述初步数据集处理模型进行特征迁移,随后利用所述训练集、验证集内的数据对所述初步数据集处理模型进行反复训练、验证,得到预训练数据集处理模型,最后利用所述测试集内的数据对所述预训练数据集处理模型进行测试,得到完善的数据集处理模型;
S3、模型使用步骤,使用所述数据集处理模型对所述龙虾原始数据集内的小龙虾图像样本进行逐条处理,最终得到小龙虾分级结果。
优选地,S1所述数据集建立步骤具体包括:
S11、获取若干小龙虾图像样本,按“大”、“中”、“小”三个等级对每个所述小龙虾图像样本进行人工标注等级,将全部样本及其对应等级进行汇总得到龙虾原始数据集,随后从所述龙虾原始数据集选取部分小龙虾图像样本、保证每个等级的样本数量相同,最终构建得到干净图像数据集;
S12、按照划分比例对所述干净图像数据集中的小龙虾图像样本进行随机划分,分别得到训练集、验证集以及测试集、共三个子数据集,在每个子数据集中每个等级的样本数量相同;
S13、利用python中的keras图像预处理模块ImageDataGenerator对所述训练集内的小龙虾图像样本进行图像归一化和数据增强处理,对小龙虾图像样本进行旋转操作以增加所述训练集内的数据量,随后通过flow_from_directory()函数将小龙虾图像样本打乱并将所述干净图像数据集转化为二维的one-hot编码标签,实现对所述训练集、验证集以及测试集的优化更新。
优选地,所述划分比例为训练集∶验证集∶测试集=6∶2∶2。
优选地,S2所述模型建立步骤具体包括:
S21、使用ImageNet数据集上预训练的EfficientNet-B0网络模型作为初步数据集处理模型,设置所述初步数据集处理模型的超参数,通过对所述初步数据集处理模型内的全连接层进行全局平均池化完成特征迁移,再通过线性分类器完成Softmax分类;
S22、对经过S21处理后的初步数据集处理模型进行编译处理,随后使用优化更新后的所述训练集、验证集内的数据对所述初步数据集处理模型进行反复训练、验证,得到预训练数据集处理模型;
S24、利用优化更新后的所述测试集内的数据对所述预训练数据集处理模型进行测试,得到完善的数据集处理模型。
优选地,所述初步数据集处理模型采用Sequential顺序结构,由一个特征提取层、两个全连接层以及一个线性分类层组成,两个所述全连接层的特征维度分别为512和128,两个所述全连接层内均包含有用于拟合训练数据的ReLU激活函数。
优选地,所述超参数至少包括要输入的数据集中图像样本的尺寸、batch大小、迭代次数以及类别数。
优选地,所述线性分类器为包含于所述线性分类层内的Softmax激活函数。
优选地,S22具体包括:采用编译函数对所述初步数据集处理模型进行编译处理,损失函数选用交叉熵损失函数、优化器选用Adam损失函数优化器,冻结EfficientNet-B0网络参数、仅训练全连接层和线性分类器内的参数,随后使用fit_generator()函数、结合优化更新后的所述训练集、验证集内的数据对所述初步数据集处理模型进行反复训练、验证,得到预训练数据集处理模型。
优选地,在S22与S24之间,还包括如下步骤:
S23、使用matplotlib.pyplot模块和pandas模块绘制accuracy、loss曲线。
优选地,S24具体包括:利用所述测试集内的数据对所述预训练数据集处理模型进行测试,使用evaluate_generator()函数测试所述预训练数据集处理模型的准确率和loss值,最终得到完善的数据集处理模型。
本发明的优点主要体现在以下几个方面:
本发明所提出的一种基于机器学习技术的小龙虾分级方法,通过将机器视觉与深度学习技术相融合的手段,实现了对于小龙虾大小的自动化分级,大幅减少了使用者的各项成本投入。本发明的方法不仅显著地提升了操作过程中的识别率与准确率,而且有效地弥补了现有方法在后续图像理解及分级性能等方面的缺陷。
此外,本发明的方法也为同领域内的其他相关问题提供了参考,可以以此为依据进行拓展延伸和深入研究,将类似的思路和操作应用于其他的操作平台,应用于对其他产品的分类、分级操作中,具有十分广阔的应用前景和很高的实际应用价值。
以下便结合实施例附图,对本发明的具体实施方式作进一步的详述,以使本发明技术方案更易于理解、掌握。
附图说明
图1为本发明的方法整体流程示意图;
图2为本发明的方法中初步数据集处理模型内全连接层中的处理流程示意图;
图3为本发明的方法在处理干净图像数据集时训练集与验证集的accuracy对比曲线图;
图4为本发明的方法在处理干净图像数据集时训练集与验证集的Loss对比曲线图;
图5为本发明的方法在处理高斯噪声图像数据集时训练集与验证集的accuracy对比曲线图;
图6为本发明的方法在处理高斯噪声图像数据集时训练集与验证集的Loss对比曲线图;
图7为本发明的方法在处理椒盐噪声图像数据集时训练集与验证集的accuracy对比曲线图;
图8为本发明的方法在处理椒盐噪声图像数据集时训练集与验证集的Loss对比曲线图。
具体实施方式
本发明揭示了一种基于机器学习技术的小龙虾分级算法设计,方案细节如下。
如图1~图2所示,一种基于机器学习的小龙虾分级方法,包括如下步骤:
S1、数据集建立步骤,从包含有若干小龙虾图像样本的龙虾原始数据集中提取部分小龙虾图像样本,构建得到干净图像数据集,并将所述干净图像数据集随机划分为训练集、验证集以及测试集。
S2、模型建立步骤,构建初步数据集处理模型,设置所述初步数据集处理模型的超参数并对所述初步数据集处理模型进行特征迁移,随后利用所述训练集、验证集内的数据对所述初步数据集处理模型进行反复训练、验证,得到预训练数据集处理模型,最后利用所述测试集内的数据对所述预训练数据集处理模型进行测试,得到完善的数据集处理模型。
S3、模型使用步骤,使用所述数据集处理模型对所述龙虾原始数据集内的小龙虾图像样本进行逐条处理,最终得到小龙虾分级结果。
S1所述数据集建立步骤具体包括:
S11、获取若干小龙虾图像样本,按“大”、“中”、“小”三个等级对每个所述小龙虾图像样本进行人工标注等级,将全部样本及其对应等级进行汇总得到龙虾原始数据集,随后从所述龙虾原始数据集选取部分小龙虾图像样本、保证每个等级的样本数量相同,最终构建得到干净图像数据集。
S12、按照划分比例对所述干净图像数据集中的小龙虾图像样本进行随机划分,分别得到训练集、验证集以及测试集、共三个子数据集,在每个子数据集中每个等级的样本数量相同。
所述划分比例为训练集∶验证集∶测试集=6∶2∶2。
在本发明的实施例中训练数据是等级为“大”、“中”和“小”的小龙虾图像样本,每类采集565个,共565*3=1695个,并将每一类的样本按照比例6:2:2随机划分成训练集(339个)、验证集(113个)和测试集(113个)。同时通过Matlab软件分别对数据集加入方差为0.4的椒盐噪声、加入方差为0.1的高斯噪声模拟实际生产线图像。
S13、利用python中的keras图像预处理模块ImageDataGenerator对所述训练集内的小龙虾图像样本进行图像归一化和数据增强处理,对小龙虾图像样本进行旋转操作以增加所述训练集内的数据量,随后通过flow_from_directory()函数将小龙虾图像样本打乱并将所述干净图像数据集转化为二维的one-hot编码标签,实现对所述训练集、验证集以及测试集的优化更新、即完成对所述训练集、验证集以及测试集的生成器部分的补充。
在上述操作中,利用ImageDataGenerator图片生成器进行图像预处理,图像归一化处理,将图片像素值归一化为[0,1],图片随机旋转[-40,40]度,采用flow_from_directory(directory),以文件夹路径为参数,生成经过数据归一化处理后的数据,产生batch数据,直到达到设定的迭代次数为止。
S2所述模型建立步骤具体包括:
S21、使用ImageNet数据集上预训练的EfficientNet-B0网络模型作为初步数据集处理模型,设置所述初步数据集处理模型的超参数,通过对所述初步数据集处理模型内的全连接层进行全局平均池化完成特征迁移,再通过线性分类器完成Softmax分类。
所述初步数据集处理模型采用Sequential顺序结构,由一个特征提取层、两个全连接层以及一个线性分类层组成。
所述特征提取层主要用于将训练样本输入预训练的EfficientNet-B0网络模型中。
所述全连接层用于将将预训练的EfficientNet-B0网络模型的特征迁移到小龙虾样本空间。全连接对应矩阵乘积,在实际使用中,全连接层可由卷积操作实现。两个所述全连接层的特征维度分别为512和128,两个所述全连接层内均包含有ReLU激活函数。所述ReLU激活函数主要用于修正线性单元、用于隐层神经元输出,其公式为
通过RelU激活函数可实现稀疏后的模型能够更好地挖掘相关特征、拟合训练数据。
所述线性分类器为包含于所述线性分类层内的Softmax激活函数,其公式为
所述超参数至少包括要输入的数据集中图像样本的尺寸(input_shape)、batch大小(batch_size)、迭代次数(epochs)以及类别数(num_classes)。在本发明的实施例中,设置要输入的数据集中图像样本的尺寸input_shape=224*224*3;设定batch大小batch_size= 8 ;通常为2^N,如32、64、128... ;设定类别数num_classes = 3 ;设定迭代次数epochs= 40。
所述迁移学习是指一种机器学习方法,就是把针对数据 A 训练的模型作为初始点,用于针对数据 B 的模型的开发和设计过程中。本发明对ImageNet数据集上预训练的EfficientNet-B0模型进行迁移学习。该模型在ImageNet数据集上训练时,其一共包含4049564个参数,其中需要梯度下降来训练的参数有4007548个,不需要训练的参数是BatchNormalization层中的均值和方差共42016个。
S22、对经过S21处理后的初步数据集处理模型进行编译处理,随后使用优化更新后的所述训练集、验证集内的数据对所述初步数据集处理模型进行反复训练、验证,得到预训练数据集处理模型。
上述操作可以具体为,采用编译函数(compile)对所述初步数据集处理模型进行编译处理,损失函数选用交叉熵损失函数、优化器选用Adam损失函数优化器,冻结EfficientNet-B0网络参数、仅训练全连接层和线性分类器内的参数,随后使用fit_generator()函数、结合优化更新后的所述训练集、验证集内的数据对所述初步数据集处理模型进行反复训练、验证,得到预训练数据集处理模型。
所述编译函数的公式为
compile(self,optimizer,loss,metrics=[]),
所述交叉熵损失函数是一个平滑函数,其本质是信息理论中的交叉熵在分类问题中的应用,其公式为
梯度更新规则为:
超参数设定值为:
fit_generator()函数利用Python的生成器,逐个生成数据的batch并进行训练。生成器与模型将并行执行以提高效率。
S23、使用matplotlib.pyplot模块和pandas模块绘制accuracy、loss曲线,结果如图3~图4所示。
S24、利用所述测试集内的数据对所述预训练数据集处理模型进行测试,使用evaluate_generator()函数测试所述预训练数据集处理模型的准确率和loss值,最终得到完善的数据集处理模型。evaluate_generator()函数使用一个生成器作为数据源评估模型,生成器应返回与test_on_batch的输入数据相同类型的数据。该函数的参数与fit_generator同名参数含义相同。
为了进一步验证本发明方法的有效性,研究人员在原始的干净图像数据集的基础上分别合成了高斯噪声图像数据集以及椒盐噪声图像数据集,并按照本发明的方法重复执行了上述流程,其最终的验证结果如图5~图8所示。
本发明所提出的一种基于机器学习技术的小龙虾分级方法,通过将机器视觉与深度学习技术相融合的手段,实现了对于小龙虾大小的自动化分级,大幅减少了使用者的各项成本投入。本发明的方法不仅显著地提升了操作过程中的识别率与准确率,而且有效地弥补了现有方法在后续图像理解及分级性能等方面的缺陷。
具体而言,本发明的方法以预训练的EfficientNet-B0网络作为基础框架,通过Tensorflow平台实现算法流程,使用两层全连接层及ReLU激活函数对EfficientNet-B0特征进行了迁移,并利用Adam优化器对两层全连接层和线性分类层进行了训练。
通过评估本发明的方法在处理干净图像数据集及不同类型的噪声图像数据集时的实际表现可以得知,本发明的方法在不同数据集上均具有较好的泛化性能,在干净图像、高斯噪声图像以及椒盐噪声图像上的识别率分别达到了99.70%、92.07%、88.41%。可以说,本发明的方法为小龙虾的批量化、规模化分级提供了强有力的技术支持。
此外,本发明的方法也为同领域内的其他相关问题提供了参考,可以以此为依据进行拓展延伸和深入研究,将类似的思路和操作应用于其他的操作平台,应用于对其他产品的分类、分级操作中,具有十分广阔的应用前景和很高的实际应用价值。
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神和基本特征的情况下,能够以其他的具体形式实现本发明。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。
最后,应当理解,虽然本说明书按照实施方式加以描述,但并非每个实施方式仅包含一个独立的技术方案,说明书的这种叙述方式仅仅是为清楚起见,本领域技术人员应当将说明书作为一个整体,各实施例中的技术方案也可以经适当组合,形成本领域技术人员可以理解的其他实施方式。
Claims (10)
1.一种基于机器学习的小龙虾分级方法,其特征在于,包括如下步骤:
S1、数据集建立步骤,从包含有若干小龙虾图像样本的龙虾原始数据集中提取部分小龙虾图像样本,构建得到干净图像数据集,并将所述干净图像数据集随机划分为训练集、验证集以及测试集;
S2、模型建立步骤,构建初步数据集处理模型,设置所述初步数据集处理模型的超参数并对所述初步数据集处理模型进行特征迁移,随后利用所述训练集、验证集内的数据对所述初步数据集处理模型进行反复训练、验证,得到预训练数据集处理模型,最后利用所述测试集内的数据对所述预训练数据集处理模型进行测试,得到完善的数据集处理模型;
S3、模型使用步骤,使用所述数据集处理模型对所述龙虾原始数据集内的小龙虾图像样本进行逐条处理,最终得到小龙虾分级结果。
2.根据权利要求1所述的基于机器学习的小龙虾分级方法,其特征在于,S1所述数据集建立步骤具体包括:
S11、获取若干小龙虾图像样本,按“大”、“中”、“小”三个等级对每个所述小龙虾图像样本进行人工标注等级,将全部样本及其对应等级进行汇总得到龙虾原始数据集,随后从所述龙虾原始数据集选取部分小龙虾图像样本、保证每个等级的样本数量相同,最终构建得到干净图像数据集;
S12、按照划分比例对所述干净图像数据集中的小龙虾图像样本进行随机划分,分别得到训练集、验证集以及测试集、共三个子数据集,在每个子数据集中每个等级的样本数量相同;
S13、利用python中的keras图像预处理模块ImageDataGenerator对所述训练集内的小龙虾图像样本进行图像归一化和数据增强处理,对小龙虾图像样本进行旋转操作以增加所述训练集内的数据量,随后通过flow_from_directory()函数将小龙虾图像样本打乱并将所述干净图像数据集转化为二维的one-hot编码标签,实现对所述训练集、验证集以及测试集的优化更新。
3.根据权利要求2所述的基于机器学习的小龙虾分级方法,其特征在于:所述划分比例为训练集∶验证集∶测试集=6∶2∶2。
4.根据权利要求2所述的基于机器学习的小龙虾分级方法,其特征在于,S2所述模型建立步骤具体包括:
S21、使用ImageNet数据集上预训练的EfficientNet-B0网络模型作为初步数据集处理模型,设置所述初步数据集处理模型的超参数,通过对所述初步数据集处理模型内的全连接层进行全局平均池化完成特征迁移,再通过线性分类器完成Softmax分类;
S22、对经过S21处理后的初步数据集处理模型进行编译处理,随后使用优化更新后的所述训练集、验证集内的数据对所述初步数据集处理模型进行反复训练、验证,得到预训练数据集处理模型;
S24、利用优化更新后的所述测试集内的数据对所述预训练数据集处理模型进行测试,得到完善的数据集处理模型。
5.根据权利要求4所述的基于机器学习的小龙虾分级方法,其特征在于:所述初步数据集处理模型采用Sequential顺序结构,由一个特征提取层、两个全连接层以及一个线性分类层组成,两个所述全连接层的特征维度分别为512和128,两个所述全连接层内均包含有用于拟合训练数据的ReLU激活函数。
6.根据权利要求4所述的基于机器学习的小龙虾分级方法,其特征在于:所述超参数至少包括要输入的数据集中图像样本的尺寸、batch大小、迭代次数以及类别数。
7.根据权利要求4所述的基于机器学习的小龙虾分级方法,其特征在于:所述线性分类器为包含于所述线性分类层内的Softmax激活函数。
8.根据权利要求4所述的基于机器学习的小龙虾分级方法,其特征在于,S22具体包括:采用编译函数对所述初步数据集处理模型进行编译处理,损失函数选用交叉熵损失函数、优化器选用Adam损失函数优化器,冻结EfficientNet-B0网络参数、仅训练全连接层和线性分类器内的参数,随后使用fit_generator()函数、结合优化更新后的所述训练集、验证集内的数据对所述初步数据集处理模型进行反复训练、验证,得到预训练数据集处理模型。
9.根据权利要求4所述的基于机器学习的小龙虾分级方法,其特征在于,在S22与S24之间,还包括如下步骤:
S23、使用matplotlib.pyplot模块和pandas模块绘制accuracy、loss曲线。
10.根据权利要求9所述的基于机器学习的小龙虾分级方法,其特征在于,S24具体包括:利用所述测试集内的数据对所述预训练数据集处理模型进行测试,使用evaluate_generator()函数测试所述预训练数据集处理模型的准确率和loss值,最终得到完善的数据集处理模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010439424.3A CN111666986A (zh) | 2020-05-22 | 2020-05-22 | 基于机器学习的小龙虾分级方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010439424.3A CN111666986A (zh) | 2020-05-22 | 2020-05-22 | 基于机器学习的小龙虾分级方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111666986A true CN111666986A (zh) | 2020-09-15 |
Family
ID=72384280
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010439424.3A Withdrawn CN111666986A (zh) | 2020-05-22 | 2020-05-22 | 基于机器学习的小龙虾分级方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111666986A (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112070761A (zh) * | 2020-09-18 | 2020-12-11 | 福州大学 | 一种基于深度学习的明虾新鲜度无损检测方法 |
CN112270341A (zh) * | 2020-10-15 | 2021-01-26 | 西安工程大学 | 一种融合迁移学习与深度学习的口罩检测方法 |
CN112657869A (zh) * | 2020-12-24 | 2021-04-16 | 广州中设机器人智能装备股份有限公司 | 一种基于视觉的螺母分拣设备及其分拣方法 |
CN113011486A (zh) * | 2021-03-12 | 2021-06-22 | 重庆理工大学 | 鸡爪分类及定位模型的构建方法及***、鸡爪分拣方法 |
CN113405667A (zh) * | 2021-05-20 | 2021-09-17 | 湖南大学 | 基于深度学习的红外热人体姿态识别方法 |
CN113408334A (zh) * | 2021-04-30 | 2021-09-17 | 华中农业大学 | 一种小龙虾全链条数据采集与智能检测方法及装置 |
CN114627181A (zh) * | 2022-02-25 | 2022-06-14 | 湖北科峰智能传动股份有限公司 | 基于深度学习的龙虾在线定位视觉检测方法和*** |
-
2020
- 2020-05-22 CN CN202010439424.3A patent/CN111666986A/zh not_active Withdrawn
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112070761A (zh) * | 2020-09-18 | 2020-12-11 | 福州大学 | 一种基于深度学习的明虾新鲜度无损检测方法 |
CN112270341A (zh) * | 2020-10-15 | 2021-01-26 | 西安工程大学 | 一种融合迁移学习与深度学习的口罩检测方法 |
CN112657869A (zh) * | 2020-12-24 | 2021-04-16 | 广州中设机器人智能装备股份有限公司 | 一种基于视觉的螺母分拣设备及其分拣方法 |
CN113011486A (zh) * | 2021-03-12 | 2021-06-22 | 重庆理工大学 | 鸡爪分类及定位模型的构建方法及***、鸡爪分拣方法 |
CN113408334A (zh) * | 2021-04-30 | 2021-09-17 | 华中农业大学 | 一种小龙虾全链条数据采集与智能检测方法及装置 |
CN113405667A (zh) * | 2021-05-20 | 2021-09-17 | 湖南大学 | 基于深度学习的红外热人体姿态识别方法 |
CN114627181A (zh) * | 2022-02-25 | 2022-06-14 | 湖北科峰智能传动股份有限公司 | 基于深度学习的龙虾在线定位视觉检测方法和*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111666986A (zh) | 基于机器学习的小龙虾分级方法 | |
CN109271522B (zh) | 基于深度混合模型迁移学习的评论情感分类方法及*** | |
CN109508655A (zh) | 基于孪生网络的不完备训练集的sar目标识别方法 | |
CN106599941A (zh) | 基于卷积神经网络与支持向量机的手写数字识别方法 | |
CN108304826A (zh) | 基于卷积神经网络的人脸表情识别方法 | |
CN110046671A (zh) | 一种基于胶囊网络的文本分类方法 | |
Zeng et al. | Pc-nbv: A point cloud based deep network for efficient next best view planning | |
CN107220277A (zh) | 基于手绘草图的图像检索算法 | |
CN106022363B (zh) | 一种适用于自然场景下的中文文字识别方法 | |
CN112699247A (zh) | 一种基于多类交叉熵对比补全编码的知识表示学习框架 | |
CN105608471A (zh) | 一种鲁棒直推式标签估计及数据分类方法和*** | |
CN107977677A (zh) | 一种应用于大规模城区重建中的多标签像素分类方法 | |
Zhou et al. | Convolutional deep networks for visual data classification | |
US11695898B2 (en) | Video processing using a spectral decomposition layer | |
CN114782737A (zh) | 一种基于改进残差网络的图像分类方法、设备和存储介质 | |
CN112686376A (zh) | 一种基于时序图神经网络的节点表示方法及增量学习方法 | |
Lata et al. | Data augmentation using generative adversarial network | |
CN110414626A (zh) | 一种猪只品种识别方法、装置和计算机可读存储介质 | |
CN114913379A (zh) | 基于多任务动态对比学习的遥感图像小样本场景分类方法 | |
CN106529604A (zh) | 一种自适应的图像标签鲁棒预测方法及*** | |
CN115909011A (zh) | 基于改进的SE-Inception-v3网络模型的天文图像自动分类方法 | |
CN110334747A (zh) | 基于改进卷积神经网络的图像识别方法及应用 | |
CN114170446A (zh) | 一种基于深层融合神经网络的温度、亮度特征提取方法 | |
CN113011091A (zh) | 一种自动分组的多尺度轻量型深度卷积神经网络优化方法 | |
CN104933410A (zh) | 一种高光谱图像光谱域与空间域联合分类方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20200915 |