CN109377487B - 一种基于深度学习分割的水果表面缺陷检测方法 - Google Patents
一种基于深度学习分割的水果表面缺陷检测方法 Download PDFInfo
- Publication number
- CN109377487B CN109377487B CN201811203154.5A CN201811203154A CN109377487B CN 109377487 B CN109377487 B CN 109377487B CN 201811203154 A CN201811203154 A CN 201811203154A CN 109377487 B CN109377487 B CN 109377487B
- Authority
- CN
- China
- Prior art keywords
- image
- layer
- fruit
- network unit
- convolutional neural
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 235000013399 edible fruits Nutrition 0.000 title claims abstract description 97
- 230000007547 defect Effects 0.000 title claims abstract description 51
- 238000001514 detection method Methods 0.000 title claims abstract description 51
- 230000011218 segmentation Effects 0.000 title claims abstract description 50
- 238000013135 deep learning Methods 0.000 title claims abstract description 11
- 230000001537 neural effect Effects 0.000 claims abstract description 37
- 238000012549 training Methods 0.000 claims abstract description 34
- 239000011159 matrix material Substances 0.000 claims abstract description 10
- 238000003709 image segmentation Methods 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 28
- 230000002950 deficient Effects 0.000 claims description 25
- 230000004913 activation Effects 0.000 claims description 18
- 238000005070 sampling Methods 0.000 claims description 16
- 238000010606 normalization Methods 0.000 claims description 13
- 238000011176 pooling Methods 0.000 claims description 12
- 238000012546 transfer Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 3
- 238000000034 method Methods 0.000 abstract description 13
- 238000012937 correction Methods 0.000 abstract description 3
- 238000011895 specific detection Methods 0.000 abstract 1
- 240000002319 Citrus sinensis Species 0.000 description 38
- 235000005976 Citrus sinensis Nutrition 0.000 description 38
- 241001414989 Thysanoptera Species 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 238000000701 chemical imaging Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000003672 processing method Methods 0.000 description 4
- 241000258937 Hemiptera Species 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 231100000674 Phytotoxicity Toxicity 0.000 description 2
- 238000005336 cracking Methods 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 229940079593 drug Drugs 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 241000193738 Bacillus anthracis Species 0.000 description 1
- 241000207199 Citrus Species 0.000 description 1
- 241001268993 Heterochrosis Species 0.000 description 1
- 241001646834 Mesona Species 0.000 description 1
- 208000025865 Ulcer Diseases 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 235000020971 citrus fruits Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- BFBPISPWJZMWJN-UHFFFAOYSA-N methyl 2-[(7-hydroxy-3,7-dimethyloctylidene)amino]benzoate Chemical compound COC(=O)C1=CC=CC=C1N=CCC(C)CCCC(C)(C)O BFBPISPWJZMWJN-UHFFFAOYSA-N 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 231100000397 ulcer Toxicity 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N2021/8466—Investigation of vegetal material, e.g. leaves, plants, fruits
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Biochemistry (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Signal Processing (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明公开了一种基于深度学习分割的水果表面缺陷检测方法。本发明的具体检测方法为：获取水果RGB彩色图像，去背景后转换成灰度图像并统一尺寸512×512；准备阳性样本图像数据和阴性样本图像数据，用于训练卷积神经分割网络；设计卷积神经分割网络进行训练，保存训练结束后的网络连接权重矩阵T用于后续检测步骤；将待检测水果图像送进已经训练好的卷积神经分割网络完成图像分割，获得水果表面缺陷图像。本发明检测准确、快速，能有效避免了对水果及农产品形状、大小的依赖以及避免了亮度矫正带来的复杂影响，应用对象广，具有较大的应用价值。
Description
技术领域
本发明涉及计算机视觉图像处理方法，具体涉及一种基于深度学习分割的水果表面缺陷检测方法。
背景技术
表面缺陷检测是水果分级的重要依据之一，在世界各国的水果评级标准中有严格的规定。国内外大量学者研究通过计算机视觉方式检测水果及农产品表面缺陷，但是许多农产品是类球体，二维图形中部的灰度值要远大于边缘的灰度值，导致表面缺陷图像检测的困难。
经过现有的技术检索发现，方法主要分为三类：
1)基于球体灰度模型的处理方法。譬如专利文献中国专利CN101984346A记载了一种基于低通滤波的水果表面缺陷检测方法，首先获得去除背景的R分量图像，利用水果彩色图像通过离散傅里叶变换进行低通滤波然后离散傅里叶反变换获得表面亮度图像，前者图像除以后者图像得到均一化亮度图像，再采用单阈值实现水果表面缺陷分割，该技术能检测亮度较低的表面缺陷，但是会丢失在中心区域以及边缘区域的高亮度及中亮度表面缺陷。
2)基于表面纹理特征的处理方法。López-García F等人(2010)利用多元图像理论以及表面纹理特征算法训练方法检测脐橙表面缺陷，该算法比较复杂不易用于在线，而且检测脐橙表面缺陷类型有限。(López-García F,Andreu-García G,Blasco J,etal.Automatic detection of skin defects in citrus fruits using a multivariateimage analysis approach[J].Computers and Electronics in Agriculture,2010,71(2):189-19)。
3)基于多光谱成像技术的处理方法。J.Blascoa等人利用多光谱成像设备进行脐橙表面缺陷分析，该方法硬件成本较高和复杂(2007)(J.Blascoa,N.Aleixos.(2007).Citrus sorting by identification of the most common defects usingmultispectral computer vision.Journal of Food Engineering 83(2007)384–393)。
现有方法存在检测表面缺陷类型有限以及计算方法较复杂难以用于在线检测或者依赖成本较高的复杂硬件成像技术的问题，因此需要新的水果表面缺陷检测方法。
发明内容
为了解决背景技术中检测表面缺陷类型有限以及计算方法较复杂难以用于在线检测或者依赖成本较高的复杂硬件成像技术的问题，本发明的目的在于提供一种基于深度学习分割的水果表面缺陷检测方法，相比背景技术，识别方法更简单，表面缺陷检测类型更多以及对象实用性更广。
本发明所采用技术方案包括如下步骤：
1)获取水果RGB彩色图像，将水果RGB彩色图像去背景后转换成灰度图像；
2)将步骤1)的灰度图像分为阳性样本图像和阴性样本图像，并构建训练数据用于训练卷积神经分割网络，所述训练数据为阳性样本图像和其对应的二值化图像样本及阴性样本图像和其对应的二值化图像样本；
3)设计用于水果表面缺陷检测的卷积神经分割网络结构，使用步骤2)的训练数据进行训练，完成训练后获取网络连接权重矩阵T；
4)将待检测的水果RGB彩色图像转化成灰度图像后输入步骤3)获取的卷积神经分割网络，完成图像分割后获得水果表面缺陷图像。
所述步骤1)中的灰度图像尺寸需统一调整为512×512。
所述步骤2)的具体步骤如下：
2.1)根据水果是否有缺陷将步骤1)的灰度图像分为阳性样本图像和阴性样本图像，所述阳性样本图像为有缺陷水果的灰度图像，阴性样本图像为无缺陷水果的灰度图像；
2.2)构建阳性样本图像和其对应的缺陷区域像素值标记为255而非缺陷区域像素值标记为0的二值化图像样本，并构建阴性样本图像和其对应的像素值标记为0的二值化图像样本，从而组成包含缺陷水果和无缺陷水果的训练数据。
所述步骤3)中设计用于水果表面缺陷检测的卷积神经分割网络结构的具体步骤如下：
3.1)设计一个具有十三层卷积层、十二层批量归一化层、六层最大池化层、六层上采样层、十二层ReLU函数激活层、一层Sigmoid函数分类层的卷积神经分割网络；
3.2)卷积神经分割网络具体主要由输入层、六个子单元、输出卷积层、Sigmoid函数分类层、输出层构成，每个子单元包括一个前特征网络单元、一个后特征网络单元和一个上采样层，输入层连接到第一个子单元的前特征网络单元，六个子单元的前特征网络单元依次连接传递，且六个子单元的后特征网络单元依次连接传递，与第一个前特征网络单元相连的后特征网络单元输出连接到输出卷积层，输出卷积层再经Sigmoid函数分类层连接到输出层；
每个子单元内部，前特征网络单元均经上采样层连接到后特征网络单元，同时前特征网络单元均直接连接到后特征网络单元；每个前特征网络单元内部包括以数据传递顺序依次连接的卷积层、批量归一化层、ReLU函数激活层、最大池化层；每个后特征网络单元内部包括以数据传递顺序依次连接的卷积层、批量归一化层、ReLU函数激活层；
最大池化层的输出作为前特征网络单元的输出，经当前所在子单元的上采样层传递到后特征网络单元的卷积层，同时传递到下一个子单元的前特征网络单元的卷积层；后特征网络单元的ReLU函数激活层的输出作为后特征网络单元的输出，传递到上一个子单元的上采样层。
3.3)将步骤2)的训练数据输入到卷积神经分割网络的输入层，采用RMSprop优化算法代替常用的SGD算法训练卷积神经分割网络，直到卷积神经分割网络的误差达到最小值完成收敛，并获得完成训练后的卷积神经分割网络中各个参数组建的网络连接权重矩阵T，其中损失计算采用二分类交叉熵。
所述步骤4)中的卷积神经分割网络为已载入连接权重矩阵T的卷积神经分割网络。
本发明具有的有益效果是：
1)本发明特殊构建的网络结构通过其中多层相互交叉传递信息使得图像细节处理更丰富，减少图像细节信息的丢失，提高分割效果，增强图像解析能力，保留更多的多尺度的图像细节信息。
2)本发明对于检测水果表面缺陷具有很好的准确性和实时性，一张512×512尺寸的水果图像检测时间只需要15ms，深度学习具有更抽象的特征提取能力从而提升了水果缺陷检测的能力，同时也有效避免了类球体形状水果成像亮度矫正带来较复杂的计算，也避免了依赖高光谱以及多光谱成像硬件带来的高成本性问题。
3)本发明能够有效检测不同亮度特征表面缺陷，譬如能检测脐橙9种表面缺陷(虫伤果、风伤果、蓟马果、介壳虫果、溃疡果、裂果、炭疽病、药害果、异色果)。本发明方法应用对象较广，方法简便易于实现，在水果及农产品品质计算机视觉在线检测方面具有较大的应用潜力。
附图说明
图1是本发明方法的流程图。
图2是本发明方法的深度学习分割网络结构图。
图3是本发明实施例1中的原始图像。
图4是本发明实施例1中的表面缺陷图像。
图5是脐橙虫伤果原始图。
图6是脐橙虫伤果表面缺陷检测结果图。
图7是脐橙风伤果原始图。
图8是脐橙风伤果表面缺陷检测结果图。
图9是脐橙蓟马果原始图。
图10是脐橙蓟马果表面缺陷检测结果图。
图11是脐橙介壳虫果原始图。
图12是脐橙介壳虫果表面缺陷检测结果图。
图13是脐橙溃疡果原始图。
图14是脐橙溃疡果表面缺陷检测结果图。
图15是脐橙裂果原始图。
图16是脐橙裂果表面缺陷检测结果图。
图17是脐橙炭疽病果原始图。
图18是脐橙炭疽病果表面缺陷检测结果图。
图19是脐橙药害果原始图。
图20是脐橙药害果表面缺陷检测结果图。
图21是脐橙异色果原始图。
图22是脐橙异色果表面缺陷检测结果图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步的说明。
如图1所示，本发明的的实施过程如下：
步骤一：获取水果RGB彩色图像，去背景后转换成灰度图像并统一尺寸为512×512的图像，如图3所示。
步骤二：准备阳性样本图像数据集合和阴性样本图像数据集合，用于训练卷积神经分割网络；具体过程为：
2.1)根据水果是否有缺陷将步骤一的灰度图像分为阳性样本图像和阴性样本图像，阳性样本图像为有缺陷水果的灰度图像，阴性样本图像为无缺陷水果的灰度图像；
2.2)构建阳性样本图像和其对应的缺陷区域像素值标记为255而非缺陷区域像素值标记为0的二值化图像样本，并构建阴性样本图像和其对应的像素值标记为0的二值化图像样本，从而组成包含缺陷水果和无缺陷水果的训练数据。
2.3)将步骤2.2中的训练数据随机分批，采用50％的训练数据作为训练集，采用20％的训练数据作为验证集，采用30％的训练数据作为测试集。
步骤三：设计如图2所示的用于水果表面缺陷检测的卷积神经分割网络，进行训练，训练结束后获取分割网络连接权重矩阵T，用于后续检测步骤；具体过程为：
3.1)设计一个具有十三层卷积层、十二层批量归一化层、六层最大池化层、六层上采样层、十二层ReLU函数激活层、一层Sigmoid函数分类层的卷积神经分割网络。
3.2)卷积神经分割网络具体主要由输入层、六个子单元、输出卷积层、Sigmoid函数分类层、输出层构成，每个子单元包括一个前特征网络单元、一个后特征网络单元和一个上采样层，输入层连接到第一个子单元的前特征网络单元，六个子单元的前特征网络单元依次连接传递，且六个子单元的后特征网络单元依次连接传递，与第一个前特征网络单元相连的后特征网络单元输出连接到输出卷积层，输出卷积层再经Sigmoid函数分类层连接到输出层；
每个子单元内部，前特征网络单元均经上采样层连接到后特征网络单元，同时前特征网络单元均直接连接到后特征网络单元；每个前特征网络单元内部包括以数据传递顺序依次连接的卷积层、批量归一化层、ReLU函数激活层、最大池化层；每个后特征网络单元内部包括以数据传递顺序依次连接的卷积层、批量归一化层、ReLU函数激活层；
最大池化层的输出作为前特征网络单元的输出，经当前所在子单元的上采样层传递到后特征网络单元的卷积层，同时传递到下一个子单元的前特征网络单元的卷积层；后特征网络单元的ReLU函数激活层的输出作为后特征网络单元的输出，传递到上一个子单元的上采样层。
其中，第一个子单元的前特征网络单元中以数据传递顺序依次包括16个3×3大小卷积核的卷积层Ⅰ、批量归一化层Ⅰ、ReLU函数激活层Ⅰ、最大池化层Ⅰ，第一个子单元的后特征网络单元中以数据传递顺序依次包括16个3×3大小卷积核的卷积层XII、批量归一化层XII、ReLU函数激活层XII，第一个子单元的上采样层为上采样层Ⅵ；第二个子单元的前特征网络单元中以数据传递顺序依次包括32个3×3大小卷积核的卷积层Ⅱ、批量归一化层Ⅱ、ReLU函数激活层Ⅱ、最大池化层Ⅱ，第二个子单元的后特征网络单元中以数据传递顺序依次包括32个3×3大小卷积核的卷积层XI、批量归一化层XI、ReLU函数激活层XI，第二个子单元的上采样层为上采样Ⅴ；输出卷积层为1个1×1大小卷积核的卷积层XIII。
最大池化层Ⅰ作为第一个前特征网络单元的输出经上采样层Ⅵ传递到卷积层XII，同时传递到第二个子单元的卷积层Ⅱ；ReLU函数激活层XI作为第二个后特征网络单元的输出传递到第一个子单元的上采样层Ⅵ；ReLU函数激活层XII经卷积层XIII连接到Sigmoid函数分类层。
3.3)将步骤2)的训练数据输入到卷积神经分割网络的输入层，采用RMSprop优化算法代替常用的SGD算法训练卷积神经分割网络，直到卷积神经分割网络的误差达到最小值完成收敛，并获得完成训练后的卷积神经分割网络中各个参数组建的网络连接权重矩阵T，其中损失计算采用二分类交叉熵，从而能获得更好的全局平稳学习率，提高卷积神经分割网络训练效率。
步骤四：采集待检测的水果RGB彩色图像，转化成灰度图像，使用步骤三中已载入连接权重矩阵T的卷积神经分割网络完成图像分割，得到如图4所示的表面缺陷图像，其中白色区域为缺陷区域。
本实施例采用验证集进行了验证，测试结果准确率是96％，采用测试集进行了测试，测试结果准确率是95％。
具体实施例：
本发明分别对脐橙虫伤果、脐橙风伤果、脐橙蓟马果、脐橙介壳虫果、脐橙溃疡果、脐橙裂果、脐橙炭疽病果、脐橙药害果、脐橙异色果进行了实施实验，相关原始图像和检测结果图像分别如附图5～图22所示，
图5是脐橙虫伤果的原始图像，图6是图5的检测结果图，其中白色区域为缺陷区域。
图7是脐橙风伤果的原始图像，图8是图7的检测结果图，其中白色区域为缺陷区域。
图9是脐橙蓟马果的原始图像，图10是图9的检测结果图，其中白色区域为缺陷区域。
图11是脐橙介壳虫果的原始图像，图12是图11的检测结果图，其中白色区域为缺陷区域。
图13是脐橙溃疡果的原始图像，图14是图13的检测结果图，其中白色区域为缺陷区域。
图15是脐橙裂果的原始图像，图16是图15的检测结果图，其中白色区域为缺陷区域。
图17是脐橙炭疽病果的原始图像，图18是图17的检测结果图，其中白色区域为缺陷区域。
图19是脐橙药害果病果的原始图像，图20是图19的检测结果图，其中白色区域为缺陷区域。
图21是脐橙异色果的原始图像，图22是图21的检测结果图，其中白色区域为缺陷区域。
由上述各个实施例原始图像和检测结果图相对比可见，本发明方法的检测具有很好的准确性和实用性，能有效避免对水果及农产品形状、大小的依赖以及避免亮度矫正带来的复杂影响，应用对象广，在水果及农产品品质计算机视觉在线检测方面具有较大的应用价值。
上述具体实施方式用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。
Claims (4)
1.一种基于深度学习分割的水果表面缺陷检测方法，其特征在于，该方法包括如下步骤：
1）获取水果RGB彩色图像，将水果RGB彩色图像去背景后转换成灰度图像；
2）将步骤1）的灰度图像分为阳性样本图像和阴性样本图像，并构建训练数据用于训练卷积神经分割网络，所述训练数据为阳性样本图像和其对应的二值化图像样本及阴性样本图像和其对应的二值化图像样本，所述阳性样本图像为有缺陷水果的灰度图像，阴性样本图像为无缺陷水果的灰度图像；
3）设计用于水果表面缺陷检测的卷积神经分割网络结构，使用步骤2）的训练数据进行训练，完成训练后获取网络连接权重矩阵T；
所述步骤3）中设计用于水果表面缺陷检测的卷积神经分割网络结构的具体步骤如下：
3.1）设计一个具有十三层卷积层、十二层批量归一化层、六层最大池化层、六层上采样层、十二层ReLU函数激活层、一层Sigmoid函数分类层的卷积神经分割网络；
3.2）卷积神经分割网络具体主要由输入层、六个子单元、输出卷积层、Sigmoid函数分类层、输出层构成，每个子单元包括一个前特征网络单元、一个后特征网络单元和一个上采样层，输入层连接到第一个子单元的前特征网络单元，六个子单元的前特征网络单元依次连接传递，且六个子单元的后特征网络单元依次连接传递，与第一个前特征网络单元相连的后特征网络单元输出连接到输出卷积层，输出卷积层再经Sigmoid函数分类层连接到输出层；
每个子单元内部，前特征网络单元均经上采样层连接到后特征网络单元，同时前特征网络单元均直接连接到后特征网络单元；每个前特征网络单元内部包括以数据传递顺序依次连接的卷积层、批量归一化层、ReLU函数激活层、最大池化层；每个后特征网络单元内部包括以数据传递顺序依次连接的卷积层、批量归一化层、ReLU函数激活层；
最大池化层的输出作为前特征网络单元的输出，经当前所在子单元的上采样层传递到后特征网络单元的卷积层，同时传递到下一个子单元的前特征网络单元的卷积层；后特征网络单元的ReLU函数激活层的输出作为后特征网络单元的输出，传递到上一个子单元的上采样层；
3.3）将步骤2）的训练数据输入到卷积神经分割网络的输入层，采用RMSprop优化算法代替常用的SGD算法训练卷积神经分割网络，直到卷积神经分割网络的误差达到最小值完成收敛，并获得完成训练后的卷积神经分割网络中各个参数组建的网络连接权重矩阵T，其中损失计算采用二分类交叉熵；
4）将待检测的水果RGB彩色图像转化成灰度图像后输入步骤3）获取的卷积神经分割网络，完成图像分割后获得水果表面缺陷图像。
2.根据权利要求1所述的一种基于深度学习分割的水果表面缺陷检测方法，其特征在于：所述步骤1）中的灰度图像尺寸需统一调整为512×512。
3.根据权利要求1所述的基于深度学习分割的水果表面缺陷检测方法，其特征在于：所述步骤2的具体步骤如下：
2.1）根据水果是否有缺陷将步骤1）的灰度图像分为阳性样本图像和阴性样本图像；
2.2）构建阳性样本图像和其对应的缺陷区域像素值标记为255而非缺陷区域像素值标记为0的二值化图像样本，并构建阴性样本图像和其对应的像素值标记为0的二值化图像样本，从而组成包含缺陷水果和无缺陷水果的训练数据。
4.根据权利要求1所述的基于深度学习分割的水果表面缺陷检测方法，其特征在于：所述步骤4）中的卷积神经分割网络为已载入网络连接权重矩阵T的卷积神经分割网络。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811203154.5A CN109377487B (zh) | 2018-10-16 | 2018-10-16 | 一种基于深度学习分割的水果表面缺陷检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811203154.5A CN109377487B (zh) | 2018-10-16 | 2018-10-16 | 一种基于深度学习分割的水果表面缺陷检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109377487A CN109377487A (zh) | 2019-02-22 |
| CN109377487B true CN109377487B (zh) | 2022-04-12 |
Family
ID=65399976
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811203154.5A Active CN109377487B (zh) | 2018-10-16 | 2018-10-16 | 一种基于深度学习分割的水果表面缺陷检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109377487B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110458818A (zh) * | 2019-08-06 | 2019-11-15 | 苏州感知线智能科技有限公司 | 一种基于神经网络算法的槟榔检测方法 |
| CN111223083B (zh) * | 2020-01-06 | 2023-11-21 | 广东宜通联云智能信息有限公司 | 表面划痕检测神经网络的构建方法、***、装置及介质 |
| CN113066079A (zh) * | 2021-04-19 | 2021-07-02 | 北京滴普科技有限公司 | 木材缺陷自动检测方法、***及其存储介质 |
| CN113269251A (zh) * | 2021-05-26 | 2021-08-17 | 安徽唯嵩光电科技有限公司 | 基于机器视觉和深度学习融合的水果瑕疵分类方法、装置、存储介质及计算机设备 |
| CN114565607B (zh) * | 2022-04-01 | 2024-06-04 | 汕头市鼎泰丰实业有限公司 | 基于神经网络的织物缺陷图像分割方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106408562A (zh) * | 2016-09-22 | 2017-02-15 | 华南理工大学 | 基于深度学习的眼底图像视网膜血管分割方法及*** |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101008621B (zh) * | 2007-01-12 | 2010-05-26 | 浙江大学 | 基于多传感器信息融合的水果缺陷检测方法和装置 |
| GB201504360D0 (en) * | 2015-03-16 | 2015-04-29 | Univ Leuven Kath | Automated quality control and selection system |
| CN106339591B (zh) * | 2016-08-25 | 2019-04-02 | 汤一平 | 一种基于深度卷积神经网络的预防乳腺癌自助健康云服务*** |
| WO2018136262A1 (en) * | 2017-01-20 | 2018-07-26 | Aquifi, Inc. | Systems and methods for defect detection |
| CN107633199A (zh) * | 2017-08-07 | 2018-01-26 | 浙江工业大学 | 一种基于深度学习的苹果采摘机器人果实目标检测方法 |
| CN108335300A (zh) * | 2018-06-22 | 2018-07-27 | 北京工商大学 | 一种基于cnn的食品高光谱信息分析***与方法 |
-
2018
- 2018-10-16 CN CN201811203154.5A patent/CN109377487B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106408562A (zh) * | 2016-09-22 | 2017-02-15 | 华南理工大学 | 基于深度学习的眼底图像视网膜血管分割方法及*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109377487A (zh) | 2019-02-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109377487B (zh) | 一种基于深度学习分割的水果表面缺陷检测方法 | |
| CN111985543B (zh) | 一种高光谱图像分类模型的构建方法、分类方法及*** | |
| CN111739075A (zh) | 一种结合多尺度注意力的深层网络肺部纹理识别方法 | |
| CN107871316B (zh) | 基于深度神经网络的x光片手骨兴趣区域自动提取方法 | |
| CN107966454A (zh) | 一种基于fpga的端塞缺陷检测装置及检测方法 | |
| CN103593670A (zh) | 一种基于在线序列极限学习机的铜板带表面缺陷检测方法 | |
| Alipasandi et al. | Classification of three varieties of peach fruit using artificial neural network assisted with image processing techniques. | |
| CN110414538A (zh) | 缺陷分类方法、缺陷分类训练方法及其装置 | |
| CN105004737A (zh) | 基于自适应改进型梯度信息的水果表面缺陷检测方法 | |
| CN113222959B (zh) | 一种基于高光谱图像卷积神经网络的鲜枣虫眼检测方法 | |
| CN111178177A (zh) | 一种基于卷积神经网络的黄瓜病害识别方法 | |
| CN106645180A (zh) | 检查基板玻璃缺陷的方法、现场终端及服务器 | |
| Ünal et al. | Classification of hazelnut kernels with deep learning | |
| CN110929787B (zh) | 一种基于图像的苹果客观定级*** | |
| CN113421223B (zh) | 基于深度学习和高斯混合的工业产品表面缺陷检测方法 | |
| CN116485802B (zh) | 一种绝缘子闪络缺陷检测方法、装置、设备及存储介质 | |
| Ji et al. | Apple color automatic grading method based on machine vision | |
| CN116993639A (zh) | 基于结构重参数化的可见光与红外图像融合方法 | |
| CN113516193B (zh) | 基于图像处理的红枣缺陷识别分类方法及装置 | |
| Liang et al. | Automated detection of coffee bean defects using multi-deep learning models | |
| CN114092441A (zh) | 一种基于双重神经网络的产品表面缺陷检测方法及*** | |
| CN113269251A (zh) | 基于机器视觉和深度学习融合的水果瑕疵分类方法、装置、存储介质及计算机设备 | |
| CN112966781A (zh) | 基于三元组损失和卷积神经网络的高光谱图像分类方法 | |
| Sahitya et al. | Quality Analysis on Agricultural Produce Using CNN | |
| Herdajanti et al. | Evaluation of histogram of oriented gradient (hog) and learning vector algorithm quantization (lvq) in classification carica vasconcellea cundinamarcencis |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |