CN108734710A - 一种智能果蔬挑选方法 - Google Patents

Abstract

本发明涉及一种智能果蔬挑选方法，在该方法中，包括以下步骤：S100：对果蔬进行拍照生成果蔬图像；S200：根据果蔬图像对果蔬的特征进行提取，根据提取的特征对果蔬进行分类，寻找出需要种类的果蔬；S300：根据果蔬图像对该果蔬的新鲜度进行判断，如果新鲜度符合要求，则判定该果蔬为新鲜果蔬，否则，判定该果蔬为不新鲜果蔬，对另一果蔬进行拍照生成果蔬图像，返回S200。本发明通过提取果蔬图像的颜色特征、面积特征和弧度特征来识别果蔬的种类，通过Canny边缘检测算法进行腐烂特征的提取来判定果蔬是否有腐烂，通过SURF特征点检测算法对缺陷特征进行检测来判定总缺陷的个数，当不存在腐烂并且总缺陷个数小于缺陷个数阈值时则判定该果蔬为新鲜果蔬。

Description

一种智能果蔬挑选方法

技术领域

本发明涉及图像处理技术领域，具体是一种智能果蔬挑选方法。

背景技术

随着科技的发展，线上购物逐渐取代了线下购物来到人们的生活中，使人们能足不出户买到需要的产品。在果蔬行业，随着中国的互联网O2O创业公司也在不断地涌现。手指轻点屏幕，即可挑选满意果蔬，顾客不再被照骗所欺骗。手指只需轻轻一点，即可享让商品从仓库中直接出货。同城配送，当天送达，果蔬配送都可以搭上“互联网+”的快车。在果蔬的线上购买过程中，人们不能亲自在现场对果蔬进行挑选，由于果蔬具有对其高的新鲜度的要求，因此需要一种能够自动对果蔬的种类和新鲜度进行判定的方法，来挑选出符合人们需求的果蔬。

发明内容

为了解决上述问题，本发明旨在提供一种智能果蔬挑选方法，通过对果蔬图像进行种类识别和新鲜度判定，来选择出新鲜度符合要求的果蔬。

具体方案如下：

一种智能果蔬挑选方法，包括以下步骤：

S100：对果蔬进行拍照生成果蔬图像，所述果蔬图像具有相同的放大倍率；

S200：根据果蔬图像对果蔬的特征进行提取，根据提取的特征对果蔬进行分类，寻找出需要种类的果蔬；

S300：根据果蔬图像对该果蔬的新鲜度进行判断，如果新鲜度符合要求，则判定该果蔬为新鲜果蔬，否则，判定该果蔬为不新鲜果蔬。

进一步的，步骤S200中所述特征包括颜色特征、面积特征和弧度特征。

进一步的，根据颜色特征对果蔬进行分类包括以下步骤：首先预设每种果蔬的RGB色彩的色度；其次根据果蔬在自然界中的颜色特征预设色彩距离阈值；最后根据果蔬图像对果蔬的颜色的色度进行提取，将提取到的占用像素点数量最多的色度作为该果蔬的色度，根据提取的色度与预设值进行对比，确认该色度对应的果蔬种类。

进一步的，根据面积特征对果蔬进行分类包括以下步骤：首先确认果蔬图像的色度后，对果蔬图像进行多次腐蚀、膨胀和高斯模糊的预处理，提取出该果蔬图像中与果蔬色度相匹配的像素点的坐标，根据上述像素点坐标绘制果蔬轮廓，进而计算该果蔬的轮廓面积和轮廓长度；最后将得到的轮廓面积与预设的果蔬类型的轮廓面积进行匹配，确认该轮廓面积对应的果蔬种类。

进一步的，根据弧度特征对果蔬进行分类包括以下步骤：首先根据弧度的计算公式计算弧度：弧度＝(4π*轮廓面积)/(轮廓长度*轮廓长度)；最后将得到的弧度与预设的果蔬类型的弧度进行匹配，确认该弧度对应的果蔬种类。

进一步的，步骤S300中所述新鲜度的判断包括腐烂程度的判定和缺陷个数的判断。

进一步的，所述对腐烂程度的判断包括以下步骤：

S311：对果蔬图像进行腐蚀和膨胀的预处理；

S312：对预处理后的果蔬图像进行图像分割和使用Canny边缘检测算法进行腐烂特征的提取；

S313；通过预设的该类果蔬的腐烂特征与提取的腐烂特征进行匹配，通过匹配结果判定是否腐烂。

进一步的，所述对缺陷个数的判断包括以下步骤：

S321：对果蔬图像进行腐蚀、膨胀和边缘细化的预处理；

S322：利用SURF特征点检测算法对果蔬图像中果蔬的缺陷特征进行检测，得到经过滤波后的矩阵表达式；

S323：通过预设的该类果蔬的缺陷的矩阵表达式与上述滤波后的矩阵表达式进行特征匹配，如果匹配成功，则缺陷的个数加1，依次类推，最终确认果蔬总缺陷的个数；

S324：判定总缺陷个数是否小于预设的缺陷个数阈值，如果小于，则判定新鲜度符合要求，否则，则判定新鲜度不符合要求。

本发明采用如上技术方案，通过提取果蔬图像的颜色特征、面积特征和弧度特征来识别果蔬的种类，通过Canny边缘检测算法进行腐烂特征的提取来判定果蔬是否有腐烂，通过SURF特征点检测算法对缺陷特征进行检测来判定总缺陷的个数，当不存在腐烂并且总缺陷个数小于缺陷个数阈值时则判定该果蔬为新鲜果蔬。

附图说明

图1所示为本发明实施例的流程示意图。

图2所示为该实施例中对苹果四周腐烂特征的提取示意图。

图3所示为该实施例中对苹果中心腐烂特征的提取示意图。

图4所示为该实施例中对苹果侧边腐烂特征的提取示意图。

图5所示为该实施例中对聚集在苹果中心的缺陷的提取示意图。

图6所示为该实施例中对聚集在苹果侧边的缺陷的提取示意图。

图7所示为该实施例中对梨四周的缺陷的提取示意图。

具体实施方式

为进一步说明各实施例，本发明提供有附图。这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理。配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点。图中的组件并未按比例绘制，而类似的组件符号通常用来表示类似的组件。

现结合附图和具体实施方式对本发明进一步说明。

实施例一：

本发明实施例一提供了一种智能果蔬挑选方法，如图1所示，其为本发明实施例一所述的智能果蔬挑选方法的流程示意图，在果蔬的线上购买过程中，人们不能亲自在现场对果蔬进行挑选，因此需要一种能够智能挑选果蔬的方法，能够通过摄像装置对现场的果蔬拍照后，智能的对果蔬的种类和新鲜度进行判定，挑选出符合人们需求的果蔬。该方法主要包括以下步骤：

S100：对果蔬进行拍照生成果蔬图像，所述果蔬图像具有的相同放大倍率。

所述拍照需要通过固定设置于果蔬上方的摄像装置进行拍照，所述果蔬图像应由同一摄像装置拍摄，或设定相同的摄像装置拍摄，即需要拍摄到的不同种类果蔬的大小比例与真实果蔬的大小比例相同，不会出现不同图像中的苹果和葡萄的大小相同。

S200：根据果蔬图像对果蔬的特征进行提取，根据提取的特征对果蔬进行分类，寻找出需要种类的果蔬。

日常生活中不同果蔬往往呈现不同的颜色、大小和形状，因此可以根据果蔬的颜色、大小和形状等的特征来对果蔬的种类进行区分。

所述特征可以包括颜色特征、面积特征和弧度特征等。

S201：根据颜色特征对果蔬进行分类：

由于自然界中的所有颜色都可以用RGB色彩模式来表示，因此首先预设每种果蔬的RGB色彩的色度。

其次，由于对于果蔬来说往往在不同的区域颜色往往会有略微的差异，例如对于苹果来说，有的会偏黄，有的会偏红等等，为了使预设的该果蔬的色度符合自然界中大部分的果蔬的颜色特征，因此优选的设定一色彩距离阈值，即当果蔬的颜色在预设的色度的正负色彩距离阈值的范围内时，均判定该果蔬的种类为设定果蔬的种类。需要说明的是，所述色彩距离阈值设定中可以为R、G和B三原色的色彩距离阈值相等或者不相等，需要根据实际果蔬的自然界中的颜色状况来设定。

最后，根据果蔬图像对果蔬的颜色色度进行提取，将提取到的占用像素点数量最多的色度作为该果蔬的色度，根据提取的色度与预设值进行对比，即预设的色度和色彩距离阈值，确认该色度对应的果蔬种类。对果蔬图像的提取可以使用常用的颜色提取软件即可，例如画图软件等。

在一种可能的实施方式中，假设果蔬图像中的果蔬为苹果，预设的苹果的RGB色彩的色度为：R＝140、G＝44、B＝45，预设的色彩距离阈值为R、G和B三原色的色彩距离阈值均为5，则苹果的色度应满足：135<R<145、39<G<49、40<B<50。当提取到果蔬图像中的占用像素点数量最多的色度为：R＝142、G＝42、B＝47时，由于该色度满足上述苹果的色度范围，则判定该果蔬的种类可能为苹果。需要说明的是，由于多种果蔬可能具有相同或相近的颜色，所以提取到的果蔬的色度可能同时符合多种果蔬的类型，所以单独使用颜色特征并不能判定果蔬的类型。

S202：根据面积特征对果蔬进行分类：

所述面积特征的提取过程为：

确认果蔬图像的色度后，对果蔬图像进行多次腐蚀、膨胀和高斯模糊的预处理，提取出该果蔬图像中与果蔬色度相匹配的像素点的坐标，根据上述像素点坐标绘制果蔬轮廓，进而计算该果蔬的轮廓面积和轮廓长度。

将得到的轮廓面积与预设的果蔬类型的轮廓面积进行匹配，如匹配符合预设的某种类型的果蔬，则判定该果蔬的类型为所匹配的类型。

S203：根据弧度特征对果蔬进行分类：

所述弧度特征的提取过程为：

根据弧度的计算公式结合轮廓面积和轮廓长度求出弧度的大小；

弧度＝(4π*轮廓面积)/(轮廓长度*轮廓长度)。

将得到的弧度与预设的果蔬类型的弧度大小进行匹配，如匹配符合预设的某种类型的果蔬，则判定该果蔬的类型为所匹配的类型。

需要说明的是，所述预设的用于面积特征和弧度特征匹配的轮廓面积和弧度大小中，均包括一预设值和一范围阈值，即果蔬只要符合轮廓面积和弧度大小在某个范围内即可，该范围的选取可以根据具体的果蔬类型来进行设定，有的果蔬的大小变化范围加大，有的果蔬则较小，有的果蔬弧度变化范围大，如香蕉等，有的则较小，如苹果。

根据上述介绍的三种特征的提取方法可以确定果蔬的种类，根据实验结果，根据颜色特征和面积特征两种特征即可确认果蔬的种类，但加上弧度特征可以是确认结果更加的准确。具体可以为：在一种可能的实施方式中，通过颜色特征和面积特征即可确定果蔬的种类；在另一种可能的实施方式中，通过颜色特征、面积特征和弧度特征三者来确定果蔬的种类。

S300：根据果蔬图像对该果蔬的新鲜度进行判断，如果新鲜度符合要求，则判定该果蔬为新鲜果蔬，将该果蔬移动到购买区，否则，判定该果蔬为不新鲜果蔬，将该果蔬移动到异常区，对另一果蔬进行拍照生成果蔬图像返回S200进行重新选择。

众所周知，随着搁置的时间变长，水分的减少，蔬菜和水果的表皮会出现褶皱，整体发蔫。如果是绿色的蔬菜，放置时间长，颜色则会发黄；如果是新鲜的水果，存放时间长，外表则会发蔫。当今社会随着人们生活水平的提高，人们果蔬的新鲜度和口感的需求也越来越高，在如今互联网的时代，人们网上购买果蔬不仅仅要求便捷，同时果蔬的新鲜度和口感也是顾客追求的目标，因此在果蔬的挑选过程中应该将新鲜度不符合要求的果蔬及时的剔除出去。

该实施例中，所述新鲜度包括腐烂程度和缺陷个数，所述缺陷在该实施例中为斑点，则对果蔬的新鲜度判断包括以下步骤：

S310：对果蔬的腐烂程度进行判断。

具体包括以下步骤：

S311：对果蔬图像进行腐蚀和膨胀的预处理。

在对果蔬图像的处理过程中，为了提高检测精确率和检测精度，可以对果蔬图像进行腐蚀和膨胀等预处理的操作。

S312：对预处理后的果蔬图像进行图像分割和腐烂特征的提取。

所述腐烂特征的提取为利用Canny边缘检测算法进行提取。

由于果蔬在腐烂时，其腐烂区域与正常区域呈现不同的颜色，因此可以通过Canny边缘检测算法检测出果蔬内部是否存在腐烂特征。由于腐烂特征与整个果蔬的正常区域之间有明显的边缘差异，通过Canny边缘检测算法可以提取出腐烂轮廓。

本领域技术人员可知，所述Canny边缘检测算法是一种通用的多级边缘检测算法，通过使用Canny算法，它可以检测图像相邻区域的颜色强度变化迅速的区域，将检测到的上述区域进行连接后可以得到最佳边缘，该实施例中可以得到果蔬的腐烂特征的边缘。

Canny边缘检测算法是基于图像强度的一二阶导数的计算，由于导数对图像的噪声等影响因素较为敏感，会严重干扰处理的结果，因此，该实施例中使用高斯滤波来滤除噪声，即果蔬图像使用高斯滤波器进行卷积以获得平滑的果蔬图像。在一种可能的实施方式中，所述高斯滤波器的算法如下：

再对高斯滤波后的图像进行色彩度的梯度检测，以得到色彩强度变化程度，其方法是以下面两个公式中的两个卷积算子进行x、y方向上的偏导计算。

其中x方向、y方向的一阶偏导数矩阵的计算公式分别为：

梯度幅值的计算公式为：

梯度方向计算公式为：

经过上述的处理之后，Canny边缘检测算法内部将获得一组初步边缘数据。需要说明的是，使用Canny边缘检测算法对苹果进行边缘检测后，可能会出现多组与周围颜色不匹配的边缘数据，距离挨得近的边缘数据则为一组边缘轮廓，从而根据边缘数据可以得到多组边缘轮廓，即腐烂特征的轮廓。

另外：很多果蔬可能会存在一些断断续续又挨得很近的腐烂边缘轮廓，可以通过将它们连通作为一个腐烂特征。

S313：通过预设的该类果蔬的腐烂特征与提取的腐烂特征进行匹配，如果匹配合格，则判定该果蔬已经腐烂。

每种类型的果蔬均事先预设一该类型水果的腐烂特征，该腐烂特征可以是图片形式的，也可以是代表图片特征的数据形式，例如RGB色度等等。由于大多数果蔬腐烂后的颜色大致相同，也可以多种类型果蔬使用同一腐烂特征。

由于腐烂区域的颜色应大致相同，且与正常区域的果蔬颜色不同，因此在一种可能的实施方式中，所述匹配可以使用颜色匹配。

如图2(a)、(b)、(c)从左至右依次是对苹果四周腐烂程度进行了分析提取，图3(a)、(b)、(c)则是对苹果中心腐烂特征进行提取，图4(a)、(b)、(c)是对苹果侧边腐烂特征进行提取，其中图2、3和4中的图(a)均为带腐烂特征的果蔬图片，图(b)均为腐烂轮廓，图(c)均为腐烂特征提取。

S320：对果蔬的缺陷个数进行判断。

具体包括以下步骤：

S321：对果蔬图像进行腐蚀、膨胀和边缘细化的预处理。

S322：利用SURF特征点检测算法对果蔬图像中果蔬的缺陷特征进行检测。

本领域技术人员可知，SURF特征点检测算法是一个稳健的图像识别和描述算法，SURF算法的基本路程可以分为三大部分：局部特征点的提取、特征点的描述、特征点的匹配。SURF最大的特征点在于采用了Harr特征以及积分图像的概念，加快了程序运行的时间。SURF采用的是Hessian矩阵行列式近似值的图像。Hessian(黑塞)矩阵是SURF算法的核心，是一个多元函数的二阶偏导数构成的方阵，描述了函数的局部曲率。

SURF算法可以应用于计算机视觉的物体识别，假设函数f(z,y)，Hessian矩阵H是由函数的二阶偏导数组成。果蔬图像中某个像素点的Hessian(黑塞)矩阵如下式所示：

即每个像素点都可以求出一个Hessian矩阵。

在一种可能的实施方式中，在SURF算法中，设定图像像素L(x,y)为函数值f(x,y)，选用二阶标准高斯函数作为滤波器，通过特定核间的卷积计算二阶偏导数，就能计算出Hessian矩阵的三个矩阵元素L_xx,L_xy,L_yy，则经过滤波后的Hessian矩阵表述为：

需要说明的是，由于特征点具备尺度无关性，所以在进行Hessian矩阵构造前，需要对其进行高斯滤波。

S323：通过预设的该类果蔬缺陷的矩阵表达式与上述滤波后的矩阵表达式进行特征匹配，如果匹配成功，则缺陷的个数加1，依次类推，最终确认果蔬总缺陷的个数。

S324：判定总缺陷个数是否小于预设的缺陷个数阈值，如果小于，则判定新鲜度符合要求，否则，则判定新鲜度不符合要求。

需要说明的是，只有当判定结果为不腐烂并且缺陷个数小于缺陷个数阈值时，才判定该果蔬为新鲜果蔬，即新鲜度符合要求，如果有一者不满足，则判定为不新鲜果蔬，即新鲜度不符合要求。

如图5(a)、(b)、(c)是对聚集在苹果中心的缺陷的提取过程，如图6(a)、(b)、(c)是对聚集在苹果侧边的缺陷的提取过程，如图7(a)、(b)、(c)是对梨四周的缺陷痕迹的提取过程，其中图5、6和7中的图(a)均为带缺陷的果蔬图片，图(b)均为缺陷轮廓，图(c)均为缺陷特征提取。

尽管结合优选实施方案具体展示和介绍了本发明，但所属领域的技术人员应该明白，在不脱离所附权利要求书所限定的本发明的精神和范围内，在形式上和细节上可以对本发明做出各种变化，均为本发明的保护范围。

Claims (8)

1.一种智能果蔬挑选方法，其特征在于，包括以下步骤：

S100：对果蔬进行拍照生成果蔬图像，所述果蔬图像具有相同的放大倍率；

S200：根据果蔬图像对果蔬的特征进行提取，根据提取的特征对果蔬进行分类，寻找出需要种类的果蔬；

S300：根据果蔬图像对该果蔬的新鲜度进行判断，如果新鲜度符合要求，则判定该果蔬为新鲜果蔬，否则，判定该果蔬为不新鲜果蔬。

2.根据权利要求1所述的智能果蔬挑选方法，其特征在于：步骤S200中所述特征包括颜色特征、面积特征和弧度特征。

3.根据权利要求2所述的智能果蔬挑选方法，其特征在于：根据颜色特征对果蔬进行分类包括以下步骤：首先预设每种果蔬的RGB色彩的色度；其次根据果蔬在自然界中的颜色特征预设色彩距离阈值；最后根据果蔬图像对果蔬的颜色的色度进行提取，将提取到的占用像素点数量最多的色度作为该果蔬的色度，根据提取的色度与预设值进行对比，确认该色度对应的果蔬种类。

4.根据权利要求3所述的智能果蔬挑选方法，其特征在于：根据面积特征对果蔬进行分类包括以下步骤：首先确认果蔬图像的色度后，对果蔬图像进行多次腐蚀、膨胀和高斯模糊的预处理，提取出该果蔬图像中与果蔬色度相匹配的像素点的坐标，根据上述像素点坐标绘制果蔬轮廓，进而计算该果蔬的轮廓面积和轮廓长度；最后将得到的轮廓面积与预设的果蔬类型的轮廓面积进行匹配，确认该轮廓面积对应的果蔬种类。

5.根据权利要求4所述的智能果蔬挑选方法，其特征在于：根据弧度特征对果蔬进行分类包括以下步骤：首先根据弧度的计算公式计算弧度：弧度＝(4π*轮廓面积)/(轮廓长度*轮廓长度)；最后将得到的弧度与预设的果蔬类型的弧度进行匹配，确认该弧度对应的果蔬种类。

6.根据权利要求1所述的智能果蔬挑选方法，其特征在于：步骤S300中所述新鲜度的判断包括腐烂程度的判定和缺陷个数的判断。

7.根据权利要求6所述的智能果蔬挑选方法，其特征在于：所述对腐烂程度的判断包括以下步骤：

S311：对果蔬图像进行腐蚀和膨胀的预处理；

S312：对预处理后的果蔬图像进行图像分割和使用Canny边缘检测算法进行腐烂特征的提取；

S313；通过预设的该类果蔬的腐烂特征与提取的腐烂特征进行匹配，通过匹配结果判定是否腐烂。

8.根据权利要求6所述的智能果蔬挑选方法，其特征在于：所述对缺陷个数的判断包括以下步骤：

S321：对果蔬图像进行腐蚀、膨胀和边缘细化的预处理；

S322：利用SURF特征点检测算法对果蔬图像中果蔬的缺陷特征进行检测，得到经过滤波后的矩阵表达式；

S323：通过预设的该类果蔬的缺陷的矩阵表达式与上述滤波后的矩阵表达式进行特征匹配，如果匹配成功，则缺陷的个数加1，依次类推，最终确认果蔬总缺陷的个数；

S324：判定总缺陷个数是否小于预设的缺陷个数阈值，如果小于，则判定新鲜度符合要求，否则，则判定新鲜度不符合要求。