CN101603927A - 一种无损检测丰水梨缺陷的装置与用法 - Google Patents

Abstract

本发明涉及一种无损检测丰水梨缺陷的装置与用法，属于农业工程技术领域。一种无损检测丰水梨内外缺陷的装置，其特征在于：包括光照***、传送***、检测***和分析判断***，摄像头和图像采集卡采集果体图像，敲击棒对样品进行敲击，每个样品在果体赤道两端敲击两次，每次敲击产生15N的力；由声级计记录下音频信号和样品图像信号进行信号转换，并作快速傅立叶变换后进入工控机进行图像和声学分析处理，得到该样品的分级结果。本发明优化利用计算机视觉信息和振动频谱信息，对丰水梨内部和外部缺陷进行***行识别和检测，具有快速、准确、稳定、识别范围广等优点。可用于丰水梨的分选、加工过程控制等方面，有利于提高其销售附加值。

Description

一种无损检测丰水梨缺陷的装置与用法

技术领域

本发明涉及一种无损检测丰水梨缺陷的装置与用法，是一种针对丰水梨的基于计算机视觉和振动频谱分析融合无损检测丰水梨缺陷的方法与装置，属于农业工程技术领域。

背景技术

随着人们生活水平的提高，对水果的消费已经从重数量到重质量的方向转化，同时如何改变我国农产品出口附加值低的现状，为农民及水果加工企业创收成为近年来水果流通，贮藏及检测关注最多的问题。

梨果属蔷薇科，梨亚科梨属落叶果树。我国是世界上梨树种植面积最大、产量最高的国家。但由于长期以来，我国梨果栽培技术落后，管理粗放，加之目前梨果采后处理环节薄弱，致使梨果品质参差不齐，使其价值和竞争力大为降低，难以适应市场果品竞争的销售形势。提高竞争力的主要途径之一是提高产品品质，而保证产品品质的重要手段就是应用先进的品质检测技术对果品在贮藏加工和流通过程中按其质量进行分级。

由于梨果在生长过程中受到诸如种子、地域、气候、土壤、营养、病虫害等因素的制约，使得在采收及采后贮藏过程中容易产生各种类型的缺陷，这些缺陷如果不能及时地在包装分装之前识别出来，将极大影响梨果的销售。

计算机视觉技术是利用图像传感器获取对象的图像，并将图像转化成数据矩阵，用计算机进行分析，同时完成与视觉有关的任务。计算机视觉已有40多年的历史，目前，计算机视觉技术对于农产品品质的检测主要局限于外部品质，这其中主要集中在大小、形状、颜色、表面缺陷等方面。

农产品的声学特性是指农产品在声波作用下的反射特性、散射特性、透射特性、吸收特性、衰减系数和传播速度及其本身的声阻抗与固有频率等，它们反映了声波与农产品相互作用的基本规律。利用声学特性对其品质进行无损检测，并结合频谱分析可以较好的识别农产品的内部缺陷。

多传感器信息融合是一个多级、多层面的数据处理过程，主要完成对来自多个信息源的数据进行自动检测、关联、相关、估计及组合等处理。在多种传感信息资源融合中，各传感信息资源可能存在相互交叉现象。它依据某种准则对这些信息进行分析、综合和平衡，以期获得若干个最佳简化的综合变量。与单一检测手段相比，它具有信息量大、鲁棒性好以及与符合人类认知过程等优点。

基于计算机视觉和振动频谱分析的检测技术具有检测速度快，结果精确等特点。近年来国内研究学者做了大量的工作，但都是单独利用图像信息或声音频谱信息对水果的外部或内部缺陷进行检测分级。未见用计算机视觉技术和振动频谱分析的融合无损检测丰水梨缺陷的研究。

发明内容

本发明一种针对丰水梨的多传感器融合无损检测内外缺陷的方法与装置，对丰水梨内外的各种缺陷分别利用计算机视觉和振动频谱分析采集相关信息再进行两个层次的融合处理，可以快速全面的识别丰水梨的内外缺陷。

技术方案

1.一种无损检测丰水梨内外缺陷的装置，其特征在于：包括A光照***、B传送***、C检测***和D分析判断***，其中：

A光照***

光照***由四盏25W卤钨光电管(7)组成，四盏卤钨光电管(7)安装在摄像头(1)的四周，距离摄像头中心长度为10cm，摄像头和光电管的固定端贴有纯黑色膜，用于消除反射光造成的噪声，此固定端通过铰链连接在支架(17)上；

B传送***

传送***由传送带(10)、托盘(9)、采集室(12)以及主步进电机(13)组成，传送带(10)由安装在装置机壳(15)内部的主步进电机(13)控制，传送带上固定托盘(9)；

C检测***

检测***包括图像采集模块和振动频谱分析模块，其中图像采集模块由摄像头(1)、图像数据采集卡(2)、卤钨光电管(7)构成，摄像头(1)和声级计(3)安装固定在支架(17)上，摄像头(1)镜头距离托盘25cm；

振动频谱分析模块由声级计(3)、波形数据采集卡(4)、敲击棒(8)、辅步进电机(14)、消声垫(16)组成，敲击棒(8)固定转轴距离托盘15cm，敲击棒PVC材料(8)长度8cm，直径5mm；辅步进电机(14)安装在机壳(15)内部靠近的敲击棒(8)的位置，控制敲击棒(8)对样品的持续敲击动作，每次敲击产生一个有效音波信号，并被采集进入波形数据采集卡(4)，消声垫(16)固定于敲击棒下方5cm处，用于消除敲击过程中可能产生的不符合采集范围的杂乱声学信号；

D分析判断***

分析判断***包括多路转换器(5)，工控机(6)及分类判断器(11)，其中多路转换器(5)与检测***中的图像采集模块和振动频谱分析模块分别用信号线连接，用铰链固定于支架(17)上，其输出信号用USB线传输至工控机(6)，多路转换器(5)将信号集中转换后(模拟-数字转换)传入工控机(6)进行分析处理，分析判断后得到分级结果。

上述装置中，摄像头(1)为JVC公司的TK-C1380CCD，图像采集卡(2)为加拿大MatroxMeteror-II/Standard，声级计(3)为HS5633A型声级计(浙江红声器材厂)，频谱信号分析***采用SD150动态分析***(天津中环电子仪器公司出产)，工控机(6)内嵌入式主板型号为凌华EBC-1200MediaGX1，多路转换器(5)为中山市合佳电业制品有限公司生产，型号为SH912A，分类判断器(11)内置NPLC-15工控板。上述装置用于无损检测丰水梨内外缺陷的方法，其特征在于：

样品丰水梨放在托盘(9)上，传送带(10)开始运行，传送带(10)的运行速度0.2m/s，间隔时间0.6s；每个样品由摄像头(1)采集一幅图像，并传至图像采集卡(2)；

同时敲击棒(8)对样品进行敲击，敲击时与样品所在切面呈30度夹角，每个样品在果体赤道两端敲击两次，每次敲击产生15N的力；

由声级计(3)记录下音频信号，由信号线传至波形数据采集卡(4)，再和图像信号一起由USB线传入多路信号转换器(5)进行信号转换，模拟图像信号转为数字图像信号，模拟声音信号转化为数字声音信号，并作快速傅立叶FFT变换后最后进入工控机(6)上的数据存储区；

在工控机(6)的虚拟仪器操控平台上装有通用图像处理***Image Sys3.0(北京现代富博科技有限公司)和频谱信号分析***(天津中环电子仪器公司出产，型号为SD150)进行图像和声学分析处理，提取样品的四个特征参数：缺陷区域面积A_S，图像灰度熵ENT，特征峰频率均值μ_f以及特征峰频率变异系数CV_f，代入如式13的算式中，

(式13)

得到该样品的分级结果。

有益效果：

1.基于计算机视觉和振动频谱分析融合无损检测丰水梨缺陷的方法与装置利用计算机图像分析技术和振动频谱分析技术提取了图像信息和振动频谱信息，利用两个层次的传感器融合(数据层融合和决策层融合)技术，构建了可以较好反映丰水梨梨果内外缺陷的无损检测参数，建立丰水梨缺陷综合无损检测分级***。从而进行丰水梨的内外缺陷的快速无损检测。

2.基于计算机视觉和振动频谱分析融合无损检测丰水梨缺陷的方法与装置，对丰水梨内部和外部缺陷进行***行识别和检测，具有快速、准确、识别范围广等优点。可用于丰水梨的分选、加工过程控制等方面。有利于提高其销售附加值。为丰水梨的非接触式快速检测和分类评级提供了高效率，高精度和高可靠性的解决方案。

四、附图说明

图1：本发明总体结构及装置原理示意图

图1中：(1)摄像头、(2)图像数据采集卡、(3)声级计、(4)波形数据采集卡、(5)多路转换器、(6)工控机、(7)光电管、(8)敲击棒、(9)托盘、(10)传送带、(11)分类收集器、(12)采集室、(13)主步进电机、(14)辅步进电机、(15)机壳、(16)消声垫、(17)机架

图2：装置模块图

图3：本发明的传感器融合模型构建过程

五、具体实施方式

下面结合附图和具体实施例子进一步详细说明本发明。主要包括模型构建过程，装置设计，以及应用实例三个部分。现分述如下：

(一)本发明设计的丰水梨缺陷等级判别模型构建过程。如下所述：

针对本发明的样品丰水梨。如图3所示，本发明分别利用计算机图像分析技术和振动频谱分析技术提取了图像信息和振动频谱信息，利用两个层次的传感器融合(数据层融合和决策层融合)技术，进行丰水梨的内外缺陷的无损检测。

选择存在各种内外缺陷丰水梨果样品。采集丰水梨表面可见光图片，对图像进行处理(Butterworth低通滤波，图像锐化，自适应分割[甄子洋；王道波；刘文波等变长度微粒群优化模糊聚类的自适应图像分割方法[J]光电子.激光，2009，20(1)：100～102)])，提取缺陷处的图像颜色信息(图像色调，亮度以及饱和度的均值和标准差μ_H，μ_S，μ_I，Std_H，Std_S，Std_I)，纹理信息(图像灰度熵ENT和图像对比度CON)[庞江伟基于计算机视觉的脐橙表面常见缺陷种类识别的研究[D]浙江大学；47～55]和形态信息(缺陷区域面积A_S)。对样品进行振动敲击试验(每个样品敲击两次，有两个特征峰值)，用声音波形采集卡采集声音频域信号。对频域信号的分析采用快速傅立叶变换进行信号预处理后提取的无损检测参数包括：丰水梨的特征峰频率(f)均值μ_f，特征峰频率变异系数CV_f，以及特征峰面积A_f[姜瑞涉王俊鸡蛋敲击响应特性与蛋壳裂纹检测[J]农业机械学报2005.36(3)：75～78]。

其中以上涉及的物理量计算公式或方法如下所述：

图像色调(H)，亮度(I)以及饱和度(S)由摄像头采集的图像提取的RGB分量，按以下公式3～6计算得到。采用自编程序取点，并统计其标准差和均值(μ_H，μ_S，μ_I，Std_H，Std_S，Std_I)。

$I=\frac{1}{3}(R+G+B)$ (式3)

        (式4)

$S=1-\frac{3}{(R+G+B)}\left[\min (R,G,B)\right]$ (式5)

$H=\arccos \left\{\frac{(R-G)+(R-B)}{2{[{(R-G)}^2+(R-B)(G-B)]}^{1/2}}\right\}$ (若B≤G)

             (式6)

                                       (若B＞G)

缺陷区域面积：

$\mathrm{As}=M\left(\mathrm{0,0}\right)=\underset{(i,j)\∈s}{\mathrm{\Σ}}(i,j)$ (式7)

i，j-指缺陷区域分割出来的其内部(包括边界上)的像素的数目。

图像灰度熵ENT和图像对比度CON按照式8～9计算

$\mathrm{ENT}=-\underset{i=0}{\overset{L-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{L-1}{\mathrm{\Σ}}}p(i,j)\log p(i,j)$ (式8)

$\mathrm{CON}=\underset{n=0}{\overset{L-1}{\mathrm{\Σ}}}{n}^2\left\{\underset{i=0}{\overset{L-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{L-1}{\mathrm{\Σ}}}{p}^2(i,j)\right\}$ (式9)

其中abs(i-j)＝n，P(i，j)为图像的灰度共生矩阵，L为矩阵的灰度级数。特征峰频率变异系数CV_f和特征峰频率均值μ_f按下式10～11计算：

$C{V}_f=\frac{{\mathrm{Std}}_f}{{\mathrm{\μ}}_f}$ (式10)

μ_f＝f₁+f₂ (式11)

其中Std_f为样本特征频率的标准差μ_f为样本特征频率的平均值

特征峰面积A_f按式12计算：

$A_f=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{P}_i$ (式12)

Pi-检测频率范围内各频率的功率谱幅值n-检测的最高频率，本试验n＝8900Hz

进行无损检测后，对以上样品进行参照国家标准(GB/T10650-1989)进行破坏性人工检查，记录其内外缺陷类型及程度，并按照国标分级。将提取的无损检测特征参数与常规的缺陷情况进行关联分析，对丰水梨的外部缺陷和常规内部缺陷的传感器融合检测，采用独立分量和支持向量机联合的数据层融合方法融合无损检测参数进行检测，通过融合分析[郑俊华；吴铁军高炉铁水硅含量预报的ICA-SVM建模方法[J]信息与控制，2008，37(2)247～250]后确定的这个过程中无损检测参数集为M＝{CV_f，A_S}。在这个过程中设计的特征参数为CV_f，A_S。对于丰水梨的非常规内部缺陷(主要由于微生物产生的由内到外的缺陷)。采用证据理论融合的决策层融合方法融合无损检测参数进行检测，通过融合分析[狄立思，潘旭峰D-S证据理论在数据融合中的应用[J]北京理工大学学报，1997，17(2)：198]后确定的无损检测参数集为N＝{μ_f，ENT}。在这个过程中设计的特征参数为MAX(μ_f，ENT)，表示对特征频率均值和缺陷的图像熵取较大值运算。

最后将以上内部外部缺陷的检测判别模型进行综合，通过主导分析明确各模型在综合判定模型中的权重(比例系数见公式1)。最后加和后建立丰水梨缺陷综合无损检测***模型，用PMED表示。

PMED＝0.312＊CV_f+0.477A_S+0.211MAX(μ_f，ENT)(式1)

结合已对梨样品的等级判定，并和对样品的判定阈值PMED的计算值进行关联，按照国家标准划分判别区间(GB/T10650-1989)。设计丰水梨缺陷综合无损分级***的应用平台为式2所描述的判别模型。其中PMED为融合判定模型综合阈值。运用时只要将计算的PMED值代入式2所描述的判别模型。即可对丰水梨的等级进行判别。

丰水梨缺陷综合无损分级***的应用平台为下式所描述的判别模型。

(二)装置设计

无损检测丰水梨内外缺陷的装置设计包括A光照***、B传送***、C检测***和D分析判断***四个部分。

A光照***

光照***由四盏卤钨光电管(7)(25W，飞利浦)组成。四盏卤钨光电管(7)安装在摄像头(1)(其中摄像头用JVC公司的TK-C1380CCD)的四周，用来构建样品表面采集的可见光环境。距离摄像头中心长度为10cm。摄像头和光电管的固定端贴有纯黑色膜。用于消除反射光造成的噪声。此固定端通过铰链连接在支架(17)上。

B传送***

传送***由传送带(由济南迅捷机械设备有限公司定制，低碳钢材质)(10)、托盘(9)(PVC材质)、采集室(12)以及主步进电机(型号为GL8825A220-331)(13)组成。传送带(10)由安装在装置机壳(15)内部的主步进电机(13)控制，传送带上固定了50个托盘(9)，每个间隔20cm。传送带的运行速度和间隔时间通过自行编制的宏汇编语言控制，并和检测***的图像采集模块以及振动频谱分析模块的采集速率匹配(0.6s检测一个样品，传送带运行速度0.2m/s)。检测结束后传送带将样品运到分拣区，由得到判断结果的指令控制分类判断器(11)(内置NPLC-15工控板)进行分拣，样品分级后进入采集室(12)。

C检测***

检测***包括图像采集模块和振动频谱分析模块。其中摄像头(1)和声级计(3)(声级计为HS5633A型声级计)安装固定在支架(17)上。摄像头(1)镜头距离托盘25cm。图像采集模块由摄像头(1)、图像数据采集卡(2)(图像采集卡为加拿大Matrox Meteror-II/Standard)、卤钨光电管(7)构成，并和传送***配合工作。可以做到每隔0.2s采集1幅图片。振动频谱分析模块由声级计(3)、波形数据采集卡(4)(SD150型，天津中环电子仪器公司)，敲击棒(8)(PVC材质，重14g，长8cm)，辅步进电机(型号为GL8825A40-287)(14)，消声垫(自制，石棉材质，厚度6cm)(16)组成，并和传送***配合工作。敲击棒(8)固定转轴距离托盘15cm。敲击棒(8)工作时与样品所在切面呈30度夹角，工作时分别在果体赤道两端来回敲击两次，在此过程中敲击棒(8)自旋300度。每进行一次敲击动作后，复位到原姿态。辅步进电机(14)安装在机壳(15)内部靠近的敲击棒(8)的位置，控制敲击棒(8)对样品的持续敲击动作。可以每隔0.2s产生一个有效音波信号，并被采集进入波形数据采集卡(4)。消声垫(16)固定于敲击棒下方5cm处，用于消除敲击过程中可能产生的不符合采集范围的杂乱信号。

D分析判断***

分析判断***包括多路转换器(5)(型号为SH912A，中山市合佳电业制品有限公司)，工控机(6)(工控机嵌入式主板型号凌华EBC-1200MediaGX1)及分类判断器(11)。其中检测***中的图像采集模块和振动频谱分析模块分别用专用信号线连接至多路转换器(5)。多路转换器(5)用铰链固定于支架(17)上，其输出信号用USB线传输至工控机。多路转换器将信号集中转换后传入工控机(6)进行分析处理。工控机调用已建立的丰水梨缺陷综合无损检测***进行分析判断后得到分级结果。输出结果并发出指令控制分类判断器(11)进行分拣，样品分级后进入采集室(12)。工控机用USB线和分类收集进行数据传输。分类判断器(11)位于传送带末端。采集室(12)位于机壳尾部左右两端，样品按照分级结果进入其室内。工控机内部安装有设计好的虚拟仪器操控平台[刘君华，白鹏，贾惠芹.Lab Windows/CVI虚拟仪器编程语言教程[M].北京：电子工业出版社，2001.第七章]，可以独立的控制两个电机(13)，(14)的运行和转速。还控制检测***的两个检测模块的工作和停止。最终采集到的信息经过事先建立的模型进行运算判断后，得到的结果亦在该操控平台上显示，同时传至分类判断器(11)。

(三)应用实例

下面结合附图1，2来介绍本发明的一次完整工作过程：

1)首先启动工控机(6)上的虚拟仪器操控平台，启动图像采集模块和振动频谱分析模块。打开位于机壳内侧的四盏卤钨光电管(7)开关。将样品放至托盘(9)上。检查托盘位置和检测模块状态良好后。启动位于工控机(6)上的虚拟仪器操控平台的电机控制开关。

2)传送带(10)开始运行，样品进入检测***，停顿1s。由摄像头(1)采集一幅图像，并传至图像采集卡(2)(平均采集并传输时间0.2s)，同时敲击棒(8)呈30度角对样品进行一次敲击动作，向上旋转300度后在样品的另一测再以同样的角度进行一次敲击动作，由声级计(3)记录下音频信号(平均完成时间0.4s)。由专用信号线传至波形数据采集卡(4)，再和图像信号一起由USB线传入多路信号转换器(5)进行信号转换(模拟图像信号转为数字图像信号，模拟声音信号转化为数字声音信号，并作FFT变换)后最后进入工控机(6)上的数据存储区。

3)在工控机(6)的虚拟仪器操控平台上分别调用通用图像处理***Image Sys3.0(北京现代富博科技有限公司)和频谱信号分析***(天津中环电子仪器公司出产，型号为SD150)进行图像和声学分析处理，提取样品的四个特征参数：缺陷区域面积(A_S)，图像灰度熵(ENT)，特征峰频率均值(μ_f)以及特征峰频率变异系数(CV_f)。导入到算法如下式13所示的计算模块(C语言编程，采用分支语法结构设计)中。得到该样品的分级结果。输出结果并发出指令控制分类判断器(11)进行分拣，样品分级后进入采集室(12)。

(式13)

其中式13由下公式变换而来

PMED＝0.312＊CV_f+0.477A_S+0.211MAX(μ_f，ENT)(式1)

(式2)。

Claims (3)

1.一种无损检测丰水梨内外缺陷的装置，其特征在于：包括A光照***、B传送***、C检测***和D分析判断***，其中：

A光照***

光照***由四盏25W卤钨光电管(7)组成，四盏卤钨光电管(7)安装在摄像头(1)的四周，距离摄像头中心长度为10cm，摄像头和光电管的固定端贴有纯黑色膜，用于消除反射光造成的噪声，此固定端通过铰链连接在支架(17)上；

B传送***

传送***由传送带(10)、托盘(9)、采集室(12)以及主步进电机(13)组成，传送带(10)由安装在装置机壳(15)内部的主步进电机(13)控制，传送带上固定托盘(9)；

C检测***

检测***包括图像采集模块和振动频谱分析模块，其中图像采集模块由摄像头(1)、图像数据采集卡(2)、卤钨光电管(7)构成，摄像头(1)和声级计(3)安装固定在支架(17)上，摄像头(1)镜头距离托盘25cm；

振动频谱分析模块由声级计(3)、波形数据采集卡(4)、敲击棒(8)、辅步进电机(14)、消声垫(16)组成，敲击棒(8)固定转轴距离托盘15cm，敲击棒PVC材料(8)长度8cm，直径5mm；辅步进电机(14)安装在机壳(15)内部靠近的敲击棒(8)的位置，控制敲击棒(8)对样品的持续敲击动作，每次敲击产生一个有效音波信号，并被采集进入波形数据采集卡(4)，消声垫(16)固定于敲击棒下方5cm处，用于消除敲击过程中可能产生的不符合采集范围的杂乱声学信号；

D分析判断***

分析判断***包括多路转换器(5)，工控机(6)及分类判断器(11)，其中多路转换器(5)与检测***中的图像采集模块和振动频谱分析模块分别用信号线连接，用铰链固定于支架(17)上，其输出信号用USB线传输至工控机(6)，多路转换器(5)将信号集中模拟-数字转换后传入工控机(6)进行分析处理，分类判断器(11)分析判断后得到分级结果。

2.根据权利要求1所述的装置，其特征在于，

摄像头(1)为JVC公司的TK-C1380CCD，图像采集卡(2)为加拿大Matrox Meteror-II/Standard，声级计(3)为HS5633A型声级计，频谱信号分析***采用SD150动态分析***，工控机(6)内嵌入式主板型号为凌华EBC-1200MediaGX1，多路转换器(5)为中山市合佳电业制品有限公司生产，型号为SH912A，分类判断器(11)内置NPLC-15工控板。

3.权利要求1或2所述装置用于无损检测丰水梨内外缺陷的方法，其特征在于：

样品丰水梨放在托盘(9)上，传送带(10)开始运行，传送带(10)的运行速度0.2m/s，间隔时间0.6s；每个样品由摄像头(1)采集一幅图像，并传至图像采集卡(2)；

敲击棒(8)对样品进行敲击，敲击时与样品所在切面呈30度夹角，每个样品在果体赤道两端敲击两次，每次敲击产生15N的力；

由声级计(3)记录下音频信号，由信号线传至波形数据采集卡(4)，再和图像信号一起由USB线传入多路信号转换器(5)进行信号转换，模拟图像信号转为数字图像信号，模拟声音信号转化为数字声音信号，并作快速傅立叶FFT变换后最后进入工控机(6)上的数据存储区；

在工控机(6)的虚拟仪器操控平台上装有通用图像处理***Image Sys3.0和和型号为SD150的频谱信号分析***进行图像和声学分析处理，提取样品的四个特征参数：缺陷区域面积A_S，图像灰度熵ENT，特征峰频率均值μ_f以及特征峰频率变异系数CV_f，代入如式13的算式中，

(式13)

得到该样品的分级结果。

Images