CN110826552A - 基于深度学习的葡萄无损自动检测装置及其方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的葡萄无损自动检测装置及其方法，涉及水果品质检测领域。本方法是①将待检测葡萄悬挂在电控旋转挂钩上，并进行编号；②启动相机采集软件；③启动电控轨道，对当前悬挂葡萄进行拍摄；④按照编号依次摘取每面4‑5颗葡萄，首先用游标卡尺对葡萄大小进行测量，其次用糖度检测仪器测量每颗葡萄糖度并记录实验数据；⑤采集图像完成后，对图像进行预处理和数据标注：⑥建立基于深度学习的回归模型；⑦通过深度学习模型算法，检测出葡萄的类别、糖度、尺寸、颜色和重量信息。本发明预测能力更强；保证水果样本的完整性，实现无损检测；提高工作效率，实时输出检测结果。

Description

基于深度学习的葡萄无损自动检测装置及其方法

技术领域

本发明涉及水果品质检测领域，尤其涉及一种基于深度学习的葡萄无损自动检测装置及其方法；具体地说是有针对性地设计了一种葡萄的自动检测装置，结合深度学习算法，形成一个完整的葡萄无损自动检测***；对任意葡萄图像，同时检测出葡萄类别、糖度、重量、颜色等多项指标，实现葡萄无损、实时和精确的检测。

背景技术

中国是世界葡萄主要生产国之一。近年来，我国的葡萄生产栽培面积和产量持续增加，现已成为世界上最大的葡萄生产国。农产品检测分级等方面的研究已有很多，多以传统的图像处理方法为主并且研究对象大多以苹果、番茄等形状规则的单果目标为研究对象；而对于葡萄，由于其形态的多样性，人工提取的特征往往很难对图像的形状、颜色和纹理进行很精确的表达；所以传统的图像处理方法还是存在一些局限性。

随着互联网大数据时代的到来，深度学习技术具有较强的特征提取能力和泛化能力，不同于传统的特征提取方法，利用卷积神经网络可以自动提取图像的抽象特征，在图像处理领域表现优异。因此，将深度学习技术应用在葡萄检测方向，是一种新的尝试。

发明内容

本发明的目的就在于克服现有技术存在缺点和不足，提供一种基于深度学习的葡萄无损自动检测装置及其方法；将深度学习技术应用于葡萄检测，实现无损、实时和精确的检测葡萄的多种信息。

本发明采用以下技术方案：

利用深度学习方法中的卷积神经网络作为算法模型，利用图像检测装置、糖度测量装置和游标卡尺取得实验数据，最后输入神经网络训练深度学习模型。

1、研究对象

本发明以葡萄为研究对象，从本地超市或网购的方式购买不同类别的葡萄。

2、葡萄图像检测装置

利用葡萄检测装置采集图像数据，相机通过数据线与电脑相连，将待检测葡萄悬挂在电控旋转挂钩上，并进行编号；启动电控轨道，将葡萄运送至机箱内，对当前悬挂葡萄进行拍摄，每拍摄一面旋转30°，并进行编号，每串葡萄分别采集12面图像。

3、检测方法

建立基于深度学习的回归模型，将取得的标注数据输入深度学习模型进行训练。

具体地说：

一、基于深度学习的无损葡萄自动检测装置（简称装置）

本装置包括被检测对象——葡萄，设置有电控轨道、电控旋转挂钩、相机、LED光源、亮度调节旋钮、电脑、机箱和控制面板；

其位置和连接关系是：

在机箱顶面设置有电控轨道，在电控轨道上设置有电控旋转挂钩，在电控旋转挂钩下悬挂有葡萄，在机箱内设置有相机和LED光源，LED光源正对葡萄，通过机箱底部亮度调节旋钮调节LED光源的亮度，相机摄取葡萄的正面图像；

在机箱左上角设置有控制面板，控制面板分别和电控轨道、电控旋转挂钩连接，控制面板控制电控轨道从左至右移动，控制电控旋转挂钩旋转；

电脑与相机相连，记录相机摄取葡萄的图像，通过深度学习模型算法，检测出葡萄的类别、糖度、尺寸、颜色和重量信息。

二、基于深度学习的无损葡萄自动检测方法（简称方法）

本方法包括下列步骤：

①将待检测葡萄悬挂在电控旋转挂钩上，并进行编号；

②通过数据线将相机和电脑相连，启动相机采集软件；

③启动电控轨道，待葡萄运送至机箱正中间时，停止轨道运行，对当前悬挂葡萄进行拍摄，每拍摄一面旋转30°，并进行编号，每串葡萄分别采集12面图像；

④一串葡萄拍摄完毕后，按照编号依次摘取每面4-5颗葡萄，首先用游标卡尺对葡萄大小进行测量，其次用糖度检测仪器测量每颗葡萄糖度并记录实验数据；

⑤采集图像完成后，对图像进行预处理和数据标注：

A、数据增强，为了获得更多的数据，对现有数据集进行微小的改变，具体按以下方法：

a、翻转：对图片进行水平和垂直翻转；

b、旋转：将图像旋转任意角度；

c、缩放比例：将图像向外或向内缩放，向外缩放时最终图像尺寸将大于原始图像尺寸，向内缩放会缩小图像大小；

d、裁剪：从原始图像中随机抽样一部分，然后将此部分的大小调整为原始图像大小；

e、移位：沿X、Y或X+Y方向移动图像；

f、利用高级增强技术GAN，人工生成图像数据；

B、数据标注

对葡萄图像进行信息标注，对每张图像标注类别、糖度、尺寸和重量信息；

⑥建立基于深度学习的回归模型，将取得的标注数据输入深度学习模型进行训练；

⑦通过深度学习模型算法，检测出葡萄0的类别、糖度、尺寸、颜色和重量信息。

本发明具有下列优点和积极效果：

①建立了一种全新的基于深度学习的水果检测模型，深度学习算法相对于传统的算法，能够进行自我学习，模型的预测能力更强；

②可保证水果样本的完整性，实现无损检测；

③可以提高工作效率，实时输出检测结果；

④将新技术运用到水果检测领域，促进检测技术不断向前发展。

附图说明

图1是本装置的结构示意图；图中：

0—葡萄；

1—电控轨道；

2—电控旋转挂钩；

3—相机；

4—LED光源；

5—亮度调节旋钮；

6—电脑；

7—机箱；

8—控制面板。

图2是本方法的工作流程图；

图3是卷积神经网络结构图；图中：

A—输入图像，B—卷积后图像，C—池化后图像，D—输出结果。

a—卷积操作，b—池化操作，c—全连接操作。

具体实施方式

下面结合附图和实施例详细说明：

一、装置

1、总体

如图1，本装置包括被检测对象——葡萄0，设置有电控轨道1、电控旋转挂钩2、相机3、LED光源4、亮度调节旋钮5、电脑6、机箱7和控制面板8；

其位置和连接关系是：

在机箱7顶面设置有电控轨道1，在电控轨道1上设置有电控旋转挂钩2，在电控旋转挂钩2下悬挂有葡萄0，在机箱内设置有相机3和LED光源4，LED光源4正对葡萄0，通过机箱7底部亮度调节旋钮5调节LED光源4的亮度，相机3摄取葡萄0的正面图像；

在机箱7左上角设置有控制面板8，控制面板8分别和电控轨道1、电控旋转挂钩2连接，控制面板8控制电控轨道1从左至右移动，控制电控旋转挂钩2旋转；

电脑6与相机3相连，记录相机3摄取葡萄0的图像，通过深度学习模型算法，检测出葡萄0的类别、糖度、尺寸、颜色和重量信息。

其工作机理是：

将葡萄0从机箱7左侧悬挂于电控旋转挂钩2上，通过控制面板8启动电控轨道1运行，待葡萄0经过相机3时,电脑6自动捕获葡萄0的图像，电脑6内置有深度学习模型，检测并输出葡萄0的类别、糖度、尺寸、颜色和重量信息。

2、功能部件（分别说明下列功能部件的结构、功能）

0）葡萄0

本实例的葡萄0的样品购于华农周边水果店，包含不同品种和不同颜色的葡萄。

1）电控轨道1

电控轨道1是一种通用外构件，功能是传送葡萄0。

2）电控旋转挂钩2

电控旋转挂钩2是一种通用外构件，功能是悬挂葡萄0并对葡萄0进行任意角度的旋转。

3）相机3

相机3是一种通用外构件，功能是采集葡萄0的图像。

4）LED光源4

LED 光源是一种通用外构件，功能是为拍摄葡萄0提供光源。

5）亮度调节旋钮5

亮度调节旋钮5 是一种通用外构件，功能是调节LED 光源4的亮度。

6）电脑6

电脑6 是一种通用外构件，内置深度学习模型，实现对葡萄0的自动检测。

7）机箱7

机箱6 是一种通用外构件，功能是为拍摄葡萄0提供一个密闭的空间。

8）控制面板8

控制面板8是一种通用外构件，功能是控制机箱7内各部件运行，包括电控轨道1的运行和电控旋转挂钩2的旋转。

二、方法

1、本方法的工作流程

如图2，本方法的工作流程如下：

A、悬挂并编号201；

B、连接相机和电脑202；

C、启动电控轨道运行203；

D、拍摄葡萄204；

E、旋转30度205；

F、判断是否拍摄12面206，是则进入下一步骤，否则跳转到步骤D；

G、测量糖度207；

H、测量尺寸208；

I、数据预处理及数据标注209；

J、建立深度学习模型210；

K、输入标注数据，进行模型训练211。

2、葡萄尺寸测量

2-1）测量仪器：游标卡尺

游标卡尺，是一种测量长度、内外径、深度的量具。游标卡尺由主尺和附在主尺上能滑动的游标两部分构成。主尺一般以毫米为单位，而游标上则有10、20或50个分格，根据分格的不同，游标卡尺可分为十分度游标卡尺、二十分度游标卡尺、五十分度格游标卡尺等，游标为10分度的有9mm，20分度的有19mm，50分度的有49mm。游标卡尺的主尺和游标上有两副活动量爪，分别是内测量爪和外测量爪，内测量爪通常用来测量内径，外测量爪通常用来测量长度和外径。

2-2）测量方法

一串葡萄拍摄完毕后，以30度为旋转角度将一串葡萄划分为12面，分别收集每一面4-5颗葡萄，用游标卡尺进行横向外径测量，精确到两位小数点，记录实验数据。

3、糖度测量

3-1）测量仪器：手持糖度计折光仪

手持糖度计折光仪是利用光线从一种介质进入另一种介质时会产生折射的原理来进行研制的。水果溶液中的糖度等成分与其折光率在一定条件下（同一温度、压力）成正比例关系，故可以根据此方法通过得到果汁液的折光率，来判断水果糖度的含量。其检测范围是：0.0-32.0%；检测精度：0.2%，测量过程简单快捷。

3-2）测量方法

葡萄尺寸测量完毕之后，按照同样编号对葡萄进行糖度测量，将果肉榨汁滴到采样板上，然后用肉眼观察刻度位置。不断调整螺旋，直至糖度仪视野中出现清晰的蓝白条纹，记录测量数据。

4、基于深度学习的葡萄自动检测方法

4-1）深度学习基本思想

机器学习是人工智能的一个分支，而深度学习又是机器学习研究的一个新拓展的领域，目的就是为了让机器学习更加强大。深度学习的主要研究方向是学习多层次的表示和抽象，这些表示和抽象会让图像、声音和文本等数据变得更加有参考价值。通常意义上来讲，机器学习的最终目的就是让机器从大量数据中学习特点掌握规律，从而对新的样本做到自动识别和预测。从上个世纪八十年代末期以来，机器学习经历了浅层学习和深度学习两次变革和发展。

4-2）卷积神经网络

卷积神经网络是一种比较典型的前馈神经网络，在目前的图片识别研究领域表现尤为突出。卷积神经网络的基本体系结构通常由三个部分组成，分别是卷积层、池化层和全连接层。

如图3，输入图像A经过卷积操作a得卷积后图像B，又经过池化操作b得池化后图像C，再经过全连接操作c，输出结果D。

卷积层的目的是不断地学习输入的样本特征。卷积层由几个特征图组成。一个特征图的每个神经元与它上一层的神经元相连；每当用一个学习好的卷积核（滤波器）做卷积，便会得到一个的图形；紧接着，新的数据将被传递给一个非线性激活函数，然后通过应用不同的卷积核便可以得到新的特征图。

池化层又称降采样操作，旨在控制实现图像或者数据的空间不变形，主要方法就是降低特征图的分辨率；池化层通常的位置是在两个卷积层之间；它相应的卷积层特征图与每个池化层的特征图链接，所以特征图数量始终保持相同。

在卷积神经网络经过几个卷积和池化层之后，一般情况下会设置一个或多个全连接层。它们的主要作用就是将前一层所有的神经元与当前层的每个神经元相连接，但是空间信息不会保存在全连接层；最后的全连接层的作用是将输出传递到输出层。Softmax将预测转换为非负值，并进行正则化处理。

4-3）建立基于深度学习的回归模型，将取得的标注数据输入深度学习模型进行训练。

Claims (2)

1.一种基于深度学习的无损葡萄自动检测装置，其特征在于：

包括被检测对象葡萄（0），设置有电控轨道（1）、电控旋转挂钩（2）、相机（3）、LED光源（4）、亮度调节旋钮（5）、电脑（6）、机箱（7）和控制面板（8）；

其位置和连接关系是：

在机箱（7）顶面设置有电控轨道（1），在电控轨道（1）上设置有电控旋转挂钩（2），在电控旋转挂钩（2）下悬挂有葡萄（0），在机箱内设置有相机（3）和LED光源（4），LED光源（4）正对葡萄（0），通过机箱（7）底部亮度调节旋钮（5）调节LED光源（4）的亮度，相机（3）摄取葡萄（0）的正面图像；

在机箱（7）左上角设置有控制面板（8），控制面板（8）分别和电控轨道（1）、电控旋转挂钩（2）连接，控制面板（8）控制电控轨道（1）从左至右移动，控制电控旋转挂钩（2）旋转；

电脑（6）与相机（3）相连，记录相机（3）摄取葡萄（0）的图像，通过深度学习模型算法，检测出葡萄（0）的类别、糖度、尺寸、颜色和重量信息。

2.按权利要求1所述装置的基于深度学习的无损葡萄自动检测方法，其特征在于：

①将待检测葡萄悬挂在电控旋转挂钩上，并进行编号；

②通过数据线将相机和电脑相连，启动相机采集软件；

③启动电控轨道，待葡萄运送至机箱正中间时，停止轨道运行，对当前悬挂葡萄进行拍摄，每拍摄一面旋转30°，并进行编号，每串葡萄分别采集12面图像；

④一串葡萄拍摄完毕后，按照编号依次摘取每面4-5颗葡萄，首先用游标卡尺对葡萄大小进行测量，其次用糖度检测仪器测量每颗葡萄糖度并记录实验数据；

⑤采集图像完成后，对图像进行预处理和数据标注：

A、数据增强，为了获得更多的数据，对现有数据集进行微小的改变，具体按以下方法：

a、翻转：对图片进行水平和垂直翻转；

b、旋转：将图像旋转任意角度；

c、缩放比例：将图像向外或向内缩放，向外缩放时最终图像尺寸将大于原始图像尺寸，向内缩放会缩小图像大小；

d、裁剪：从原始图像中随机抽样一部分，然后将此部分的大小调整为原始图像大小；

e、移位：沿X、Y或X+Y方向移动图像；

f、利用高级增强技术GAN，人工生成图像数据；

B、数据标注

对葡萄图像进行信息标注，对每张图像标注类别、糖度、尺寸和重量信息；

⑥建立基于深度学习的回归模型，将取得的标注数据输入深度学习模型进行训练；

⑦通过深度学习模型算法，检测出葡萄0的类别、糖度、尺寸、颜色和重量信息。

Images