CN103792235A

CN103792235A - 漫透射光谱与图像信息融合的蜜瓜内部品质在线检测方法与装置

Info

Publication number: CN103792235A
Application number: CN201410011464.2A
Authority: CN
Inventors: 田海清; 刘宇; 陈亚莉; 韩宝生; 刘超; 张德虎; 王辉
Original assignee: Inner Mongolia Agricultural University
Current assignee: Inner Mongolia Agricultural University
Priority date: 2014-01-10
Filing date: 2014-01-10
Publication date: 2014-05-14

Abstract

本发明涉及一种漫透射光谱与图像信息融合的蜜瓜内部品质在线检测方法及装置，包括建立蜜瓜内部品质无损检测的模型和蜜瓜样品内部品质进行在线检测的步骤，装置包括输送装置、信号控制单元、漫透射光谱采集装置、蜜瓜图像采集装置、蜜瓜内部品质检测软件***，所述的输送装置上设置有盛放蜜瓜的拖环，每一拖环均依次穿过蜜瓜图像采集装置的图像采集室和漫透射光谱采集装置的光谱采集室；图像采集室内的激光传感器和两个工业相机、以及光谱采集室内的激光传感器、近红外光谱仪均通过信号控制单元与安装有蜜瓜内部品质检测软件***的计算机相连接。可有效检测蜜瓜内部品质，克服了无法通过图像信息精确检测蜜瓜内部品质指标的不足。

Description

漫透射光谱与图像信息融合的蜜瓜内部品质在线检测方法与装置

技术领域

本发明涉及蜜瓜内部品质在线无损检测方法及装置，尤其涉及采用漫透射光谱与图像信息融合的蜜瓜内部品质在线检测方法与装置。

背景技术

蜜瓜是西北地区重要的经济作物，长期以来，蜜瓜销售过程中成熟度和品质划分只是采用传统的人工法或破坏性抽样检测，耗时费力，主观因素影响大，检测和分级粗放，造成良莠混杂，降低了该果品的市场竞争力和销售价格。解决蜜瓜存在的上述问题不能单纯依靠培育新品种、改善种植和储运条件，而是更要注重在商品化过程中的品质检测和分级处理技术。

品质分级是蜜瓜商品化处理的重要环节，决定蜜瓜品质的主要指标是其内部品质指标（糖度、硬度），但在采用漫透射光谱技术在对其进行内部品质检测时，光谱信息中不仅包含其内部品质信息，也包含其外部特征信息，如形状、大小信息，而蜜瓜形状、大小的差异对漫透射光谱存在明显影响，进而影响品质检测精度。目前，还没有可靠的从漫透射光谱中消除这些影响的方法。因此，如在对蜜瓜的漫透射光谱分析时，知道其形状、大小信息，进而在建立检测模型时，考虑形状、大小对光谱的影响，定可提高检测精度。图像对水果的外观特征快速无损检测具有独特优势，不仅可检测蜜瓜的形状、大小，而且可检测其外观颜色特征，而颜色特征又与蜜瓜的内部品质具有一定的相关性。因此，如将光谱信息与图像信息融合，借助多传感器信息融合取长补短、比单一传感器更优越的性能进行蜜瓜内部品质的检测，不仅可解决蜜瓜形状、大小差异对检测精度的影响问题，也可利用蜜瓜的外观颜色特征与其内部品质具有相关性的特点提高检测精度，同时也克服了图像无法深入蜜瓜内部进行品质指标精确检测的不足。因此，开展基于蜜瓜漫透射光谱与图像信息融合的内部品质检测方法与装置研究具有重要意义。

发明内容

为克服现有技术的缺陷，本发明提供一种漫透射光谱与图像信息融合的蜜瓜内部品质在线检测方法及其装置，本发明的技术方案是：一种漫透射光谱与图像信息融合的蜜瓜内部品质在线检测方法，包括建立蜜瓜内部品质无损检测模型和蜜瓜样品内部品质进行在线检测的步骤，具体如下：

(1) 建立蜜瓜内部品质无损检测的模型：

a、对批量蜜瓜样品进行在线漫透射光谱以及蜜瓜正面与侧面的图像采集；

b、对采集的样品光谱进行校正预处理；

c、提取品质指标糖度、硬度敏感光谱信息，建立特征波段的模型；

d、对采集到的蜜瓜图像进行预处理，提取品质指标糖度、硬度敏感颜色特征子集；

e、计算蜜瓜体积；

f、计算蜜瓜的果形指数；

g、将颜色特征子集、体积、果形指数作为图像特征变量与光谱信息进行融合，建立蜜瓜内部品质的在线检测模型。

(2)建立好蜜瓜内部品质在线检测模型后，对未知蜜瓜样品内部品质进行在线检测：

a、将蜜瓜水平放置在输送装置的拖环上，匀速平稳向前运动；

b、当蜜瓜到达漫透射光谱采集室时，采集室内置的激光传感器输出一个蜜瓜到达反馈信号到信号控制单元，由信号控制单元发出命令触发近红外光谱仪，近红外光谱仪开始采集被测蜜瓜的光谱信息，蜜瓜通过后，激光传感器输出一个蜜瓜离开反馈信号到信号控制单元，由信号控制单元发出命令停止近红外光谱仪工作；

c、当蜜瓜到达蜜瓜图像采集室时，图像采集室内的激光传感器输出一个蜜瓜到达反馈信号到信号控制单元，由信号控制单元发出命令触发两部工业相机，两部工业相机分别采集被测蜜瓜的正面图像信息与侧面图像信息，蜜瓜通过后，图像采集室内的激光传感器输出一个蜜瓜离开反馈信号到信号控制单元，由信号控制单元发出命令停止工业相机工作；

d、将采集到的光谱与图像信息输入到步骤（1）中所建立的蜜瓜内部品质在线检测模型中，得到被测蜜瓜的内部品质，进而判断蜜瓜等级；

一种漫透射光谱与图像信息融合的蜜瓜内部品质在线检测方法的装置，包括输送装置、信号控制单元、漫透射光谱采集装置、蜜瓜图像采集装置和计算机，所述的输送装置的传送带设置有盛放蜜瓜的拖环，每一拖环均依次穿过蜜瓜图像采集装置的图像采集室和漫透射光谱采集装置的光谱采集室；图像采集室内的激光传感器和两个工业相机、光谱采集室内的激光传感器、近红外光谱仪均通过信号控制单元与安装有蜜瓜内部品质检测软件***的计算机相连接。

所述的输送装置（19）包括支撑连接架（26）以及安装在支撑连接架（26）上的第一皮带支撑辊（27）、第二皮带支撑辊（28）、第一驱动链轮（29）、驱动链条（30）、第二驱动链轮（31）、调速电机（32）和传送带（5），第二驱动链轮（31）安装在调速电机（32）上，第一驱动链轮（29）安装在第一皮带支撑辊（27）上，所述的第一驱动链轮（29）和第二驱动链轮（31）通过驱动链条（30）进行传动连接，传送带（5）绕在支撑连接架上的第一皮带支承辊27和第二皮带支承辊（28）的***，数个拖环均匀的固定在传送带（5）上。

所述的漫透射光谱采装置包括光谱采集室(18)、圆弧状光源固定架（8）、卤素灯光源(10)、光谱采集室内的激光传感器（7）、光纤探头(15)、近红外光谱仪(21)，其中卤素灯光源(10) 、光谱采集室内的激光传感器（7）、圆弧状光源固定架（8）位于光谱采集室(18)内部，卤素灯光源（10）均匀分布在圆弧状光源固定架（8）上，两个圆弧状光源固定架（8）相对设置，拖环从两个圆弧状光源固定架（8）中间穿过；在光谱采集室（18）的上部设置有通风口，在通风口的上部安装有风扇（9），光纤探头(15)位于拖环的底部，通过光纤与近红外光谱仪(21)连接。

所述的蜜瓜图像采集装置包括蜜瓜图像采集室（11）、第一工业相机（1）、第二工业相机（4）、LED光源(3)、图像采集室内的激光传感器（2），其中第一工业相机(1)、第二工业相机(4)、图像采集室内的激光传感器（2）和LED光源(3)位于蜜瓜图像采集室(11)内部，两个图像采集室内的激光传感器（2）相对设置，LED光源（3）分别设置在蜜瓜图像采集室的四角；第一工业相机（1）和第二工业相机（4）分别采集被测蜜瓜的正面图像信息与侧面图像信息。

所述的传送带（5）为两条，相互之间平行设置，中间形成空隙；两条传送带均通过第一皮带支承辊和第二皮带支承辊安装在支撑连接架上，拖环的两端分别固定安装在两条传送带上。

本发明的优点是：上述方案提供了一种基于漫透射光谱和图像信息融合的蜜瓜内部品质在线检测及分级方法与装置，该方法将蜜瓜光谱信息与图像信息进行融合，可有效检测蜜瓜内部品质，同时也克服了无法通过图像信息精确检测蜜瓜内部品质指标的不足。

附图说明

图1是本发明建立模型的方法流程示意图；

图2是本发明的模型建立后进行水果在线品质检测方法流程示意图；

图3是本发明装置的示意图；

图4是图3中输送装置的示意图；

图5是本发明中蜜瓜图像采集装置的俯视图；

图6是图5的侧视图；

图7是本发明中漫透射光谱采集装置的俯视图；

图8是图7的侧视图；

图9是本发明中信号控制单元内PLC与外部设备连接示意图；

图10是计算蜜瓜体积的方法示意图；

图11是图10中Δh变的很小时的示意图；

图12是计算蜜瓜果形指数的方法示意图。

具体实施方式

下面结合具体实施例来进一步描述本发明，本发明的优点和特点将会随着描述而更为清楚。但这些实施例仅是范例性的，并不对本发明的范围构成任何限制。本领域技术人员应该理解的是，在不偏离本发明的精神和范围下可以对本发明技术方案的细节和形式进行修改或替换，但这些修改和替换均落入本发明的保护范围内。

参见图1至图3，本发明涉及一种基于漫透射光谱与图像信息融合的蜜瓜内部品质在线检测方法，包括建立蜜瓜内部品质无损检测的模型和蜜瓜样品内部品质进行在线检测的步骤，具体如下：

(1) 建立蜜瓜内部品质无损检测的模型：

b、对采集的样品光谱进行校正预处理，采用平滑、微分、多元散射校正、Norris滤波及基线进行校正预处理；

c、提取品质指标糖度、硬度敏感光谱信息，建立特征波段的模型；该步骤采用模拟退火法与遗传算法相结合的模拟遗传算法；

d、对采集到的蜜瓜图像进行预处理，提取品质指标糖度、硬度敏感颜色特征子集；采用形态学去噪、阈值分割、图像标记对采集到的蜜瓜图像进行预处理，采用神经网络算法提取品质指标糖度、硬度敏感颜色特征子集（H、L*、a*、b*、

Figure 2014100114642100002DEST_PATH_IMAGE002

）。读取河套蜜瓜图像转化成二值图，针对蜜瓜图像特点通过对图像分别进行腐蚀、膨胀、开运算进行形态学去噪，采用比较成熟的Otsu方法计算图像的全局阈值，并且以此阈值将图像转换成二值图，然后对二值图进行填充，这样做的目的是按照灰度级对像素集合进行划分，得倒的每个子集形成一个与现实景物相对应的区域，各区域内部具有一致的属性，而相邻区域布局有这种一致属性，通过这种方法实现阈值分割，对蜜瓜图片进行完开运算后，并且找到蜜瓜的形心，以蜜瓜形心为基准在蜜瓜图片上标记出六个方形框，这六个框就是我们采集糖度的区域，对已标记的图像，通过MATLAB语句实现颜色平均值的提取，分别提取了R、G、B、H、S、I 、L*、a*、b*等九种颜色特征，对这九种颜色特征采用BP神经网络进行颜色最优特征值得选取，找到与蜜瓜内部品质相关性最高的特征子集作为输入量，为后续信息融合提供数据支持。

e、计算蜜瓜体积；由于蜜瓜近似椭圆，可以假设理想蜜瓜二维图像关于纵径对称，采用分层积分思想（理想蜜瓜的像素体积可以看作一系列圆台体积在纵径方向的积分）计算蜜瓜体积；假设理想蜜瓜是关于纵径对称的旋转体，下图是理想蜜瓜的轮廓，图中L是纵径，且为竖直方向，A是顶点，直线CD、EF与纵径垂直，与轮廓的左交点为C、E右交点为D、F，CD与EF之间的距离为Δh、=

Figure DEST_PATH_193517DEST_PATH_IMAGE003

、

Figure DEST_PATH_588726DEST_PATH_IMAGE004

=

Figure DEST_PATH_465415DEST_PATH_IMAGE005

，如图10所示；当Δh逐渐变得很小时，由EF、CD所围部分可近似看成圆台，如图11所示，由此可计算圆台的体积为：

因此从微积分的角度看，理想蜜瓜的体积可以看作一系列圆台在纵径方向L上的积分

f、计算蜜瓜的果形指数；鉴于蜜瓜图像近似椭圆的特征，通过G通道截流法得到蜜瓜的外形，提取蜜瓜边缘信息，根据边缘信息找到蜜瓜的形心，然后采用软件卡尺法计算蜜瓜的果形指数；采用最小外接矩形法进行蜜瓜的纵横经检测，对已保存的图片进行预处理，选取RGB颜色空间，提取G分量图像，并且转换成二值图,采用cnny算子进行边缘检测，提取出蜜瓜边缘计算包含该边缘的最小外接矩形得出蜜瓜纵径

横径，进而计算蜜瓜果形指数为：

Figure DEST_PATH_495755DEST_PATH_IMAGE010

。

b、当蜜瓜到达漫透射光谱采集室时，采集室内置的激光传感器输出一个蜜瓜到达反馈信号到信号控制单元，由信号控制单元发出命令触发光谱仪，光谱仪开始采集被测蜜瓜的光谱信息，蜜瓜通过后，激光传感器输出一个蜜瓜离开反馈信号到信号控制单元，由信号控制单元发出命令停止光谱仪工作；

c、当蜜瓜到达蜜瓜图像采集室时，采集室内置的激光传感器输出一个蜜瓜到达反馈信号到信号控制单元，由信号控制单元发出命令触发两部工业相机，两部工业相机分别采集被测蜜瓜的正面图像信息与侧面图像信息，蜜瓜通过后，激光传感器输出一个蜜瓜离开反馈信号到信号控制单元，由信号控制单元发出命令停止工业相机工作；

d、将采集到的光谱与图像信息输入到步骤（1）中所建立的蜜瓜内部品质在线检测模型中，得到被测蜜瓜的内部品质，进而判断和划分蜜瓜等级；

参见图3至图9，一种实施基于漫透射光谱与图像信息融合的蜜瓜内部品质在线检测方法及装置，包括输送装置、信号控制单元14、漫透射光谱采集装置、蜜瓜图像采集装置和计算机，所述的输送装置的传送带上设置有盛放蜜瓜的拖环，每一拖环均依次穿过蜜瓜图像采集装置的图像采集室11和漫透射光谱采集装置的光谱采集室18；图像采集室内的激光传感器2和两个工业相机（第一工业相机1、第二工业相机4、光谱采集室内的激光传感器7、近红外光谱仪21均通过信号控制单元14与安装有蜜瓜内部品质检测软件***的计算机24相连接。

所述的输送装置19包括支撑连接架26以及安装在支撑连接架（26）上的第一皮带支撑辊27、第二皮带支撑辊28、第一驱动链轮29、驱动链条30、第二驱动链轮31、调速电机32、传送带5组成，第二驱动链轮31安装在调速电机32上，第一驱动链轮29安装在第一皮带支撑辊27上，所述的第一驱动链轮29和第二驱动链轮31通过驱动链条30进行连接，传送带5绕在支撑连接架上的第一皮带支承辊27和第二皮带支承辊28的***，数个拖环6均匀的固定在传送带上。

所述的传送带为两条，相互之间平行设置，中间形成空隙；两条传送带均通过第一皮带支承辊和第二皮带支承辊安装在支撑连接架上；拖环的两端分别固定安装在两条传送带上，当将蜜瓜放在托环上以后，蜜瓜的底部暴露，近红外光谱仪位于光谱采集室的外部，处于两传送带之间空隙的底部，用于对拖环内的蜜瓜进行光谱采集，其正面（即顶部）被位于正面的工业相机所拍摄。

所述的漫透射光谱采装置包括光谱采集室18、圆弧状光源固定架8、卤素灯光源10、光谱采集室内的激光传感器7、光纤探头15、近红外光谱仪21，其中卤素灯光源10 、光谱采集室内的激光传感器7、圆弧状光源固定架8位于光谱采集室18内部，卤素灯光源10均匀分布在圆弧状光源固定架8上，两个圆弧状光源固定架8相对设置，拖环从两个圆弧状光源固定架中间穿过；在光谱采集室的上部设置有通风口，在通风口的上部安装有风扇9，光纤探头15位于托环的底部，通过光纤(16)与近红外光谱仪(21)连接。

所述的蜜瓜图像采集装置包括蜜瓜图像采集室11、第一工业相机1、第二工业相机4、LED光源3、图像采集室内的激光传感器2，其中第一工业相机(1)、第二工业相机4、图像采集室内的激光传感器2和LED光源3位于蜜瓜图像采集室11内部，两个图像采集室内的激光传感器2相对设置，LED光源3分别设置在蜜瓜图像采集室的四角。第一工业相机1位于蜜瓜图像采集室11的内部一侧，用于采集被测蜜瓜的正面图像信息，即蜜瓜的两个端部的其中一端；第二工业相机4位于蜜瓜图像采集室11的底部，采集蜜瓜的侧面（由于蜜瓜类似椭圆，侧面即椭圆长轴方向所在的一面）图像信息。

Claims

1.一种漫透射光谱与图像信息融合的蜜瓜内部品质在线检测方法，包括建立蜜瓜内部品质无损检测模型和蜜瓜样品内部品质进行在线检测的步骤，具体如下：

(1) 建立蜜瓜内部品质无损检测的模型：

b、对采集的样品光谱进行校正预处理；

e、计算蜜瓜体积；

f、计算蜜瓜的果形指数；

d、将采集到的光谱与图像信息输入到步骤（1）中所建立的蜜瓜内部品质在线检测模型中，得到被测蜜瓜的内部品质，进而判断蜜瓜等级。

2.一种实施权利要求1的漫透射光谱与图像信息融合的蜜瓜内部品质在线检测方法的装置，其特征在于，包括输送装置、信号控制单元、漫透射光谱采集装置、蜜瓜图像采集装置和计算机，所述的输送装置的传送带设置有盛放蜜瓜的拖环，每一拖环均依次穿过蜜瓜图像采集装置的图像采集室和漫透射光谱采集装置的光谱采集室；图像采集室内的激光传感器和两个工业相机、光谱采集室内的激光传感器、近红外光谱仪均通过信号控制单元与安装有蜜瓜内部品质检测软件***的计算机相连接。

3.根据权利要求2所述的装置，其特征在于，所述的输送装置（19）包括支撑连接架（26）以及安装在支撑连接架（26）上的第一皮带支撑辊（27）、第二皮带支撑辊（28）、第一驱动链轮（29）、驱动链条（30）、第二驱动链轮（31）、调速电机（32）和传送带（5），第二驱动链轮（31）安装在调速电机（32）上，第一驱动链轮（29）安装在第一皮带支撑辊（27）上，所述的第一驱动链轮（29）和第二驱动链轮（31）通过驱动链条（30）进行传动连接，传送带（5）绕在支撑连接架上的第一皮带支承辊27和第二皮带支承辊（28）的***，数个拖环均匀的固定在传送带（5）上。

4.根据权利要求2所述的装置，其特征在于，所述的漫透射光谱采装置包括光谱采集室(18)、圆弧状光源固定架（8）、卤素灯光源(10)、光谱采集室内的激光传感器（7）、光纤探头(15)、近红外光谱仪(21)，其中卤素灯光源(10) 、光谱采集室内的激光传感器（7）、圆弧状光源固定架（8）位于光谱采集室(18)内部，卤素灯光源（10）均匀分布在圆弧状光源固定架（8）上，两个圆弧状光源固定架（8）相对设置，拖环从两个圆弧状光源固定架（8）中间穿过；在光谱采集室（18）的上部设置有通风口，在通风口的上部安装有风扇（9），光纤探头(15)位于拖环的底部，通过光纤与近红外光谱仪(21)连接。

5.根据权利要求2所述的装置，其特征在于，所述的蜜瓜图像采集装置包括蜜瓜图像采集室（11）、第一工业相机（1）、第二工业相机（4）、LED光源(3)、图像采集室内的激光传感器（2），其中第一工业相机(1)、第二工业相机(4)、图像采集室内的激光传感器（2）和LED光源(3)位于蜜瓜图像采集室(11)内部，两个图像采集室内的激光传感器（2）相对设置，LED光源（3）分别设置在蜜瓜图像采集室的四角；第一工业相机（1）和第二工业相机（4）分别采集被测蜜瓜的正面图像信息与侧面图像信息。

6.根据权利要求2所述的装置，其特征在于，所述的传送带（5）为两条，相互之间平行设置，中间形成空隙；两条传送带均通过第一皮带支承辊和第二皮带支承辊安装在支撑连接架上，拖环的两端分别固定安装在两条传送带上。