CN110653166B

CN110653166B - 一种水果检测分级方法与装置

Info

Publication number: CN110653166B
Application number: CN201910951413.0A
Authority: CN
Inventors: 王辉; 朱旭; 付权锋; 麻宝娟; 温嘉伟; 李安娜; 马淏; 金鑫; 赵凯旋
Original assignee: Henan University of Science and Technology
Current assignee: Henan University of Science and Technology
Priority date: 2019-10-08
Filing date: 2019-10-08
Publication date: 2021-10-22
Anticipated expiration: 2039-10-08
Also published as: CN110653166A

Abstract

本发明涉及一种水果检测分级方法与装置，属于果蔬检测领域，方法包括采集每个水果的若干个图像，提取每个图像中的特征点，并对所有图像的特征点进行匹配，根据匹配后的特征点进行三维重建，得到每个水果的三维图像；对每个水果的三维图像中的目标区和背景区进行分割，对每个水果的三维图像进行切片，根据各层切片中的目标区的面积，计算得到每个水果的体积；根据得到的水果的体积大小对各水果进行分级。相对于现有技术通过水果的直径大小的分级方法，本发明按照水果的体积大小的分级方法能够实现对水果的有效分级，对于一些形状复杂、不规则的水果大小，都能够计算出水果的体积，从而提高水果分级的可靠性。

Description

一种水果检测分级方法与装置

技术领域

本发明属于果蔬检测领域，具体涉及一种水果检测分级方法与装置。

背景技术

传统的果蔬分级方法为，通过人工分拣的方式对果蔬进行分级，既费时又费力，并且存在不同人判断不一致和不准确的问题，从而水果的精确分拣便成为提高国内外市场的首要因素，因此需要有一个相对客观的评判标准能够自动地对水果进行分类。目前常用的做法是，使用电子称来对水果重量或者使用机械方法对水果大小进行分级，因此分级精度差，并且效率低下。

现有的基于计算机视觉的水果大小分级方法，采用常规的数字图像处理算法，通过对采集到的水果图像进行预处理、水果区域分割、特征检测等处理，计算出果径，用果径作为水果大小的特征参数，经过***标定确定水果的实际测量值，最终通过上述测量值实现水果大小的分级。该方法的不足之处在于方法检测的可靠性不高，对于一些形状复杂、不规则的水果大小分级结果有一定的偏差，一定程度上限制了其在农业生产领域的实际推广和应用。

发明内容

本发明的目的是提供一种水果检测分级方法与装置，用于解决现有技术的水果分级方法可靠性低，导致无法实现水果有效分级的问题。

基于上述目的，一种水果检测分级方法的技术方案如下：

采集每个水果的若干个图像，所述每个水果的若干个图像是从至少两个不同角度对水果进行采集得到的图像；

提取每个图像中的特征点，并对所有图像的特征点进行匹配，根据匹配后的特征点进行三维重建，得到每个水果的三维图像；

对每个水果的三维图像中的目标区和背景区进行分割，对每个水果的三维图像进行切片，根据各层切片中的目标区的面积，计算得到每个水果的体积；

根据得到的水果的体积大小对各水果进行分级。

基于上述目的，一种水果检测分级装置的技术方案如下：

包括存储器和处理器，以及存储在所述存储器上并在所述处理器上运行的计算机程序，所述处理器与所述存储器相耦合，所述处理器执行所述计算机程序时实现上述水果检测分级方法。

上述两个技术方案的有益效果是：

本发明通过从不同角度对水果的图像进行采集，对这些图像进行特征点提取和匹配，利用匹配好的特征点进行三维重建，能够得到水果的三维图像，并进行切片处理，然后根据各层切片中的目标区的面积，能够计算出水果的体积，最终按照水果的体积大小对水果进行分级。相对于现有技术通过水果的直径大小的分级方法，本发明按照水果的体积大小的分级方法能够实现对水果的有效分级，对于一些形状复杂、不规则的水果大小，都能够计算出水果的体积，从而提高水果分级的可靠性。

为了提高水果分级的可靠性，进一步，还结合水果的密度对各水果进行分级，所述水果的密度是根据水果的体积和重量计算得到的，通过水果的体积大小和密度大小，由于体积大小能够表征水果的水分，密度大小能够表征水果的硬度，相当于在水果分级同时考虑了水果的水分和硬度，实现了对水果的精细分级，提高了分级的可靠性。

进一步，还结合水果的表面面积对各水果进行分级，所述水果的表面面积通过以下步骤得到：

获取每个水果的三维图像中的目标区的轮廓点，在轮廓点的基础上进行轮廓平滑，建立三角面片，计算曲面面积，从而得到苹果的表面面积。

在水果分级时，由于加入了水果的表面面积，当利用水果的体积和表面面积结合对水果分级时，能够对水果进行进一步细化的分级，可以优选出更优质的水果，例如选出水分含量多、表面面积相对小的水果。当利用水果的体积、密度和表面面积结合对水果分级时，则能够对水果进行最佳的分级，例如可以选出水分含量多、表面面积相对小且硬度较大的水果。

为了提高三维重建的精度，进一步，对于每个水果的若干个图像，是以覆盖水果的全部表面为目标，从至少两个不同角度对水果进行采集得到的，能够建立精确的水果三维图像。

进一步，对所有图像的特征点进行匹配包括：

利用最小生成树的快速多视图点特征匹配方法对提取到的特征点进行稀疏匹配和稀疏重建，得到稀疏点云；

将所述稀疏点云作为参考点，利用多视角密集匹配方法对得到进行特征点的稠密匹配和稠密重建，得到水果三维图像的数据模型。

利用上面的两种方法得到的水果三维图像的数据模型更精确，有助于提高水果三维图像的精度。

进一步，所述进行三维重建包括：

利用逐点***算法对水果三维图像的数据模型进行表面重建，得到所述水果的三维图像，以保证三维图像的成像质量。

附图说明

图1是本发明的特征点提取和匹配的方法流程图；

图2是本发明的聚簇算法流程图；

图3是本发明的三维测量算法流程图；

图4是本发明的水果检测分级方法流程示意图。

具体实施方式

下面结合附图对本发明的具体实施方式作进一步的说明。

实施例1：

本发明提供了一种水果检测分级设备，包括图像采集装置，以及采集连接图像采集装置的处理器，可选的，图像采集装置为三个CCD相机，设置在分级流水线的不同位置，能够从不同角度采集到经过分级流水线上的物品；处理器为电脑终端，用于接收并处理三个CCD相机发送的图像。

基于上述装置，以给苹果分级为例，介绍本发明的水果检测分级方法，具体包括以下步骤：

步骤一，苹果在分级流水线上的传输过程中，苹果由果杯托举并旋转，且分级流水线上相邻两个苹果之间有一定间距，各苹果根据前后顺序有序进入CCD相机的图像采集范围区域，由三个CCD相机采集苹果表面的图像，不同角度的图像采集覆盖苹果的全部表面，因此一个苹果对应有多张图像，最后将采集得到苹果的图像传输到电脑终端存储。

步骤二，电脑终端根据获取的苹果的图像，进行特征点提取、稀疏匹配及稀疏重建、稠密匹配及稠密重建、表面重建(即三维重建)、切片处理，计算近似台体体积，进而计算苹果的整体体积，对苹果进行分级。具体的，包括以下子步骤：

步骤1)，特征点提取和匹配的方法流程如图1所示，目的是要对若干个图像进行特征点提取和匹配，基于该目的，首先获取电脑终端存储苹果的若干个图像，将第一张图像作为原图像，第二张图像作为目标图像，对这两个图像依次采用特征点定位与描述算法提取若干个特征点，得到目标(即待分级的苹果)的特征点集，然后利用基于最小生成树的快速多视图点特征匹配方法实现特征点的稀疏匹配及稀疏重建，得到稀疏点云。然后将第二张图像作为原图像，第三张图像作为目标图像进行特征点匹配，以此类推。

具体的，本实施例采用的特征点定位与描述算法为SIFT特征点检测算法和SIFT特征点描述子算法，该算法能够对图像间的尺度变化、旋转变化及放射变化具有一定的鲁棒性，并且广泛应用于立体匹配中。SIFT特征点检测算法的检测过程是在高斯差分(Difference Of Gaussian,DOG)尺度空间完成的，通过使用高斯金字塔中相邻上下两层图像之间相减得到高斯差分图像，随后进行Hessian矩阵检测与泰勒展开，从而定位特征点精确位置。

本实施例中，SIFT特征点描述子算法是一种局部特征描述子，描述特征点及其周围邻域像素点信息。该算法根据图像的局部特征，采用图像梯度方法估计特征点局部区域的稳定方向作为特征点的主方向，从而实现描述子的旋转不变性。在图像梯度计算的基础上，将特征点邻域窗口划分为几个相同大小的区域，并分别计算各区域梯度在8个方向上的统计结果。为提高计算精度，将特征点的旋转主方向通过高斯加权后归入包含八个方向的直方图。

本实施例中，基于最小生成树的快速多视图点特征匹配方法，是通过计算两组特征点的128维的关键点的欧式距离实现的，当两个特征点对应的特征向量之间的欧式距离小于设定的阈值时，则认为这两各特征点对应于同一场景点，匹配完特征点后形成稀疏点云。

步骤2)，本发明所采用的稠密匹配及稠密重建算法为多视角密集匹配(CMVS/PMVS)方法，该方法用CMVS(clustering multi-view stereo,散列图像聚簇)算法对图像聚簇分类优化SFM(structure from motion,运动恢复结构)输入，使用稀疏点云作为参考点，减少密集匹配时间和空间代价，主要实现步骤为：①融合SFM点②除去多余图像③增强聚簇大小约束④增加图像的覆盖范围约束。从而获取若干个图像簇，流程如图2所示。

然后，通过PMVS(patch-based multi-view stereo)算法进行匹配、扩展、过滤，来完成密集匹配，PMVS算法是基于面片模型的密集匹配，对CMVS算法获取的每个图像簇进行重构，得到稠密点云(即稠密重建)，得到苹果三维图像的数据模型(即由稠密点云构成的数据模型)。

步骤3)，采用点云平滑算法对稠密点云进行滤波平滑处理，本实施例中，采用的点云平滑算法为双边滤波(Bilateral filtering)算法，该算法是高斯滤波的一种改进，当计算邻域像素在卷积过程中所占的权重时，不仅考虑该邻域像素到当前中心像素的几何邻近程度，还考虑到灰度值上的相似程度，由二者共同作用决定权重大小，这样在对图像滤波平滑的同时还能保留图像的边缘特征信息。

步骤4)，本发明所采用的表面重建算法为Delaunay三角剖分的通用算法，即逐点***算法，该算法基于散点的构网算法理论严密、唯一性好，网格满足空圆特性，较为理想，在完成构网后，增加新点时，无需对所有的点进行重新构网，只需对新点的影响三角形范围进行局部联网。主要实现步骤如下：

S1.构造一个超级三角形，包含所有散点(稠密点云)，放入三角形链表中；

S2.将点集中的散点依次***，在三角形链表中找出其外接圆包含***点的三角形，删除影响三角形的公共边，将***点同影响三角形的全部顶点连接起来，从而完成一个点在Delaunay三角形链表中的***；

S3.根据优化准则对局部新形成的三角形进行优化，将形成的三角形放入Delaunay三角形链表；

S4.循环执行上述第S2步，直到所有散点***完毕，从而实现表面重建，即三维重建，得到了苹果的三维图像。

步骤5)，本发明所采用的苹果整体体积的计算流程如图3所示，通过C-V模型对苹果的三维图像进行分割，分割出目标区和背景区，对水果的三维图像进行切片，计算每层切片目标区的面积，进而实现体积的测量。

具体的，采用离散化的格林公式计算每层切片目标区的面积，离散化的格林公式如下：

其中，S为每层切片目标区的面积，i为切片的序号，c为切片总数，x_i为切片i的X坐标，y_i为切片i的Y坐标，x_i+1为切片i+1的X坐标，y_i+1为切片i+1的Y坐标。

将每两层切片间近似看作台体，利用台体公式计算目标体积，台体公式如下：

其中，V为两层切片间的台体体积，h_i为相邻两层切片间的层厚，S_slice,i，S_slice,i+1分别为第i，i+1层目标区的面积，通过上述离散化的格林公式求得，n表示切片层数(与c表示的含义相同)。

得到n-1个台体体积之后，将所有台体体积累加，从而得到苹果的整体体积v，然后，根据苹果体积大小对苹果分成三个等次，分别为：200cm³以下、200cm³至300cm³和300cm³以上。而具体的等次数量在本实施中不做限制，作为其他实施方式，还可以根据实际需求，将苹果分为两个等次或三个以上的等次。

本实施例中，仅仅是按照水果的体积对水果进行分级，作为其他实施方式，还可以加入其他因素结合水果的体积对水果进行更细化的分级，例如，获取每个水果的三维图像中的目标区的轮廓点，在轮廓点的基础上进行轮廓平滑，再用平滑后的轮廓点建立三角面片，计算曲面面积，从而得到苹果的表面面积。

在水果分级时，由于加入了水果的表面面积，当利用水果的体积和表面面积结合对水果分级时，能够对水果进行进一步细化的分级，可以优选出更优质的水果，例如选出水分含量多、表面面积相对小的水果。

实施例2：

本发明提供了一种水果检测分级设备，包括：在线称重装置，图像采集装置，以及采集连接在线称重装置和图像采集装置的处理器，可选的，在线称重装置为重量传感器，设置在流水线的入口处；图像采集装置为两个CCD相机，设置在流水线的不同方位，能够采集到经过流水线上物品的全部表面；处理器为电脑终端，用于接收并处理重量传感器和CCD相机发送的苹果重量数据和图像数据。

基于上述装置，以给苹果分级为例，介绍本发明的水果检测分级方法，如图4所示，具体包括以下步骤：

首先让待分级的苹果进入流水线，在流水线入口处通过在线称重装置获取苹果的重量信息，将苹果重量m传输给电脑终端储存。

然后，按照上述实施例1中步骤一和步骤二中的内容，计算得到每个苹果的体积，最后，由已获取的苹果重量m、苹果体积信息v，根据公式

得到苹果的密度ρ，由苹果密度来判定苹果硬度，并依此继续对苹果进行硬度分级。

与现有技术通过对水果大小进行分级相比，本发明针对苹果重量、体积及密度来对苹果进行品质分级，实现优质果蔬采后智能化分级，对单个或多个苹果进行多通道实时在线分选，提高苹果分选精度及效率，满足产业需求。

另外，本实施例中的处理器既可以是电脑终端，也可以是微处理器，如ARM等，还可以是可编程芯片，如FPGA、DSP等，处理器的硬件构成在本实施例中不做限定，但是，处理器中执行的计算机程序，能够实现上述实施例1或实施例2中的水果检测分级方法。

以上所述仅为本发明的两个优选实施例，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。例如，本实施例对苹果进行分级，作为其他实施方式，本发明的分级方法还适用于其他水果，如橙子、柚子、香瓜、猕猴桃等，因此本发明的分级对象并不限于苹果。

又如，本实施例中，从至少两个不同角度的图像采集覆盖某个水果的全部表面，才能够建立精确的水果三维图像。为了实现从不同角度采集苹果图像，一种实施方式为从不同方位设置相机对分级流水线上的苹果进行拍摄，另一种实施方式为采用流水线上的果杯托举并旋转，是果杯上的苹果旋转，对其拍摄成像。另外，如果采集的图像没有完全覆盖待分级水果的全部表面，如果未覆盖的部分很小，不影响对特征点进行三维重建，仍能够得到水果的三维图像。

作为其他可行的实施方式，当从至少两个不同角度的图像采集没有覆盖某个水果的全部表面时，可以采用数据处理的方法，将缺失的苹果表面补齐，进行实现对每个水果的图像集的三维重建。

又如，还可以利用水果的体积、密度和表面面积结合对水果分级，能够对水果进行最佳的分级，例如可以选出水分含量多、表面面积相对小且硬度较大的水果。

Claims

1.一种水果检测分级方法，其特征在于，包括以下步骤：

由三个CCD相机采集每个水果的若干个图像，对于每个水果的若干个图像，是以覆盖水果的全部表面为目标，从至少两个不同角度对水果进行采集得到的；

提取每个图像中的特征点，并对所有图像的特征点进行匹配，根据匹配后的特征点进行三维重建，得到每个水果的三维图像，具体为：

将第一张图像作为原图像，第二张图像作为目标图像，对这两张图像依次采用特征点定位与描述算法提取若干个特征点，得到目标的特征点集，然后利用基于最小生成树的快速多视图点特征匹配方法实现特征点的稀疏匹配及稀疏重建，得到稀疏点云，然后将第二张图像作为原图像，第三张图像作为目标图像进行特征点匹配，以此类推，直至所有图像特征点匹配完成；基于最小生成树的快速多视图点特征匹配方法，是通过计算两组特征点的128维的关键点的欧式距离实现的，当两个特征点对应的特征向量之间的欧式距离小于设定的阈值时，则认为这两各特征点对应于同一场景点，匹配完特征点后形成稀疏点云；

将所述稀疏点云作为参考点，利用多视角密集匹配方法进行特征点的稠密匹配和稠密重建，得到水果三维图像的数据模型，具体为：

用CMVS算法对图像聚簇分类优化SFM输入，使用稀疏点云作为参考点，减小密集匹配时间和空间代价，从而获取若干个图像簇；通过PMVS算法进行匹配、扩展、过滤，来完成密集匹配，对CMVS算法获取的每个图像簇进行重构，得到稠密点云；采用点云平滑算法对稠密点云进行滤波平滑处理，采用Delaunay三角剖分的通用算法实现表面重建，得到水果三维图像的数据模型；

对每个水果的三维图像中的目标区和背景区进行分割，对每个水果的三维图像进行切片，根据各层切片中的目标区的面积，计算得到每个水果的体积，具体为：采用离散化的格林公式计算每层切片目标区的面积，离散化的格林公式为：

其中，S为每层切片目标区的面积，i为切片的序号，c为切片总数，x_i为切片i的X坐标，y_i为切片i的Y坐标，x_i+1为切片i+1的X坐标，y_i+1为切片i+1的Y坐标；

根据得到的水果的体积对各水果进行分级。

2.根据权利要求1所述的水果检测分级方法，其特征在于，还结合水果的密度对各水果进行分级，所述水果的密度是根据水果的体积和重量计算得到的。

3.根据权利要求1所述的水果检测分级方法，其特征在于，所述进行三维重建包括：

利用逐点***算法对水果三维图像的数据模型进行表面重建，得到所述水果的三维图像。

4.一种水果检测分级装置，其特征在于，包括存储器和处理器，以及存储在所述存储器上并在所述处理器上运行的计算机程序，所述处理器与所述存储器相耦合，所述处理器执行所述计算机程序时实现以下如权利要求1-3任一项所述的水果检测分级方法。