CN111443043B

CN111443043B - 一种基于高光谱图像的核桃仁品质检测方法

Info

Publication number: CN111443043B
Application number: CN202010002467.5A
Authority: CN
Inventors: 马文强; 杨莉玲; 李源; 罗文杰; 徐斌; 刘奎; 朱占江; 沈晓贺; 刘佳; 买合木江·巴吐尔; 崔宽波; 田翔; 祝兆帅; 毛吾兰
Original assignee: Agricultural Mechanization Research Institute Xinjiang Academy of Agricultural Sciences
Current assignee: Agricultural Mechanization Research Institute Xinjiang Academy of Agricultural Sciences
Priority date: 2020-01-03
Filing date: 2020-01-03
Publication date: 2023-04-18
Anticipated expiration: 2040-01-03
Also published as: CN111443043A

Abstract

一种基于高光谱图像的核桃仁品质检测方法，通过采集核桃仁的高光谱图像，针对核桃仁脂肪含量和蛋白质含量的特征光谱筛选，建立核桃仁脂肪含量和蛋白质含量的预测模型；采用特征光谱与图像信息相结合的方法，实现了基于完整度和表皮色泽的核桃仁外观品质分类。本发明解决了当前核桃仁分级生产中人工挑选生产成本高，分级随意性大，难以对内部品质进行分辨，化学检测对样品具有破环性，检测时间也较长的技术难题，为核桃仁品质的快速无损识别提供一种可行的方法。

Description

一种基于高光谱图像的核桃仁品质检测方法

技术领域

本发明涉及一种基于高光谱成像技术对核桃仁品质进行无损检测的方法，属于农产品无损检测、监测技术领域。

技术背景

核桃仁是一种营养丰富的天然食品，富含蛋白质、不饱和脂肪酸和多种微量元素，具有乌发健脑，补虚强体的保健作用，有“万岁子”、“长寿果”、“养生之宝”的美誉。中国是世界核桃第一生产大国，核桃种植面积和产量均居世界首位。核桃仁品质检测与分级是核桃生产加工中的重要环节。按照国家相关标准的规定，核桃仁外观品质指标包括完整度和表皮色泽，内部品质化学指标为脂肪含量和蛋白质含量。实际生产中核桃仁分级主要依靠外形和色泽进行人工挑选，生产成本高，分级随意性大，难以对内部品质进行分辨。传统的化学检测对样品具有破环性，检测时间也较长，难以适应现代化生产要求。目前，核桃仁加工过程中，主要依靠人工或机械方式根据大小、色泽、完整程度等指标对其进行分级处理，难以对核桃仁的品种进行分辨。因此开发一种快速、无损的核桃仁蛋白质含量检测方法是核桃加工产业的迫切需要。高光谱成像同时包含了图像和光谱两种技术方法，其在农产品品质检测方面的研究日益广泛。但基于高光谱成像的核桃仁内外部品质检测尚未开展深入的研究。

发明内容

本发明的目的在于针对当前核桃仁分级生产中人工挑选生产成本高，分级随意性大，难以对内部品质进行分辨，化学检测对样品具有破环性，检测时间也较长的技术难题，发明一种基于高光谱成像技术针对核桃仁品质进行无损检测的方法。本发明通过采集核桃仁的高光谱图像，开展针对核桃仁脂肪含量和蛋白质含量的特征光谱筛选，建立核桃仁脂肪含量和蛋白质含量的预测模型；采用特征光谱与图像信息相结合的方法，实现了基于完整度和表皮色泽的核桃仁外观品质分类，为核桃仁品质的快速无损识别提供一种可行的方法。

本发明的目的是这样实现的：

一种基于高光谱图像的核桃仁品质检测方法，其特征在于：检测步骤如下：

(1)准备核桃仁样品：选择含水率在7％以下的核桃仁，置于室温条件下干燥环境中备用；

(2)通过高光谱图像采集设备，分别在862.9-1704.02nm和382.19-1026.66nm光谱范围内采集核桃仁样品高光谱图像；

(3)对核桃仁样品进行编号，使用色差仪采集每个核桃仁样品的色差值并计算总色差，记录每个核桃仁样品的完整度等级，然后按照食品安全国家标准GB5009.5-2016和GB5009.6-2016中的要求，测量每个样品的蛋白质和脂肪含量；

(4)分别提取两个波段范围高光谱图像中每个核桃仁样品光谱平均值作为样品光谱信息，采用多元散射校正(MSE)和标准正态化(SVN)的组合方法对原始光谱信息进行预处理；

(5)在862.9-1704.02nm光谱范围内针对核桃仁样品的蛋白质含量、脂肪含量参数分别进行特征波段筛选，382.19-1026.66nm光谱范围内针对核桃仁样品的总色差进行特征波段筛选；

(6)提取与样品总色差相关特征波段的灰度图像，计算其平均灰度得到平均灰度图像，统计平均灰度图像的灰度分布统计量，包括均值、标准差、平滑度、一致性、熵、三阶矩，和灰度共生矩阵统计量，包括对比度、相关性、能量、熵，用于进一步进行核桃仁色泽鉴别；

(7)提取特征波段平均灰度图像中的核桃仁的图像外形特征参数，包括高、宽、高宽比、面积、外接矩形面积、矩形度、外接圆半径、外接圆面积、圆形度，对图像外形特征参数进行了相关性分析，保留相关性较小的外观特征参数，用于进行核桃仁完整度分类；

(8)采用提取出与的蛋白质和脂肪含量分别相关的特征波段，采用偏最小二乘回归(PLSR)算法分别建立核桃仁蛋白质和脂肪含量预测模型；

(9)以提取出的与样品总色差相关的特征波段光谱信息、平均灰度图像统计特征参数和外形特征参数为输入，以样品外观等级标号为输出，建立核桃仁外观品质分类模型。

本发明的目的还可以这样实现：核桃仁样品光谱信息的特征波段筛选，采用竞争性自适应重加权算法(CARS)与相关系数法相结合的方式，首先通过CARS算法针对核桃仁品质参数进行特征波段的初步筛选，然后进一步对筛选出的特征波段采用相关系数法进行优选，剔除相关系数大于0.9的波段，已保留的波段作为核桃仁品质参数的特征波段。

核桃仁蛋白质和脂肪含量预测模型的建立：采用随机抽样法建立训练集和验证集，提取出与的蛋白质和脂肪含量分别相关的特征波段，分别建立偏最小二乘回归(PLSR)模型，采用决定系数R2和均方误差MSE对模型进行评估。

核桃仁外观品质分类模型的建立：以提取出的与样品总色差相关的特征波段光谱信息、图像统计特征参数和图像外形特征参数为输入，以样品完整度等级和色泽等级为输出，采用决策树算法分别建立核桃仁完整度等级和色泽等级分类模型，然后按照国家林业标准《LYT 1922-2010核桃仁》中的规定建立核桃仁外观品质与完整度和色泽的对应关系，将核桃仁外观品质分为7个等级。

有益效果：本发明采集核桃仁的高光谱图像，建立了核桃仁蛋白质和脂肪含量预测模型，采用光谱与图像信息相结合的方法实现了基于完整度和色泽的核桃仁外观品质分级，为核桃仁品质的快速无损识别提供了一种可行的方法。本发明与人工挑选相比，具有较高的分类准确率，同时可以实现核桃仁内部品质的检测；化学方法相比，具有检测速度快，对检测样品无损伤，无化学试剂残留的特点。本发明可以用于快速无损的核桃仁在线检测分类设备或便携式检测分类仪器的开发，也可以为其他相似农产品的快速无损分类提供有益的借鉴。

附图说明

图1：样品外观等级图

图2：高光谱图像采集设备

图3：样品光谱曲线(862.9-1704.02nm)

图4：样品测量值马氏距离分布图

图5：PLSR模型预测结果

图6：样品光谱曲线(382.19-1026.66nm)。

具体实施方式

一种基于高光谱图像的核桃仁品质检测方法，具体检测步骤如下：

1.采集核桃仁样品的高光谱图像，光谱信息采集步骤为：

1)准备核桃仁样品，核桃仁含水率在7％以下，置于室温条件下干燥环境中备用。

2)启动高光谱图像采集设备，进行预热后进行镜头调焦并调试平台移动速度以避免图像失真。

3)分别在862.9-1704.02nm和382.19-1026.66nm光谱范围内采集核桃仁样品高光谱图像。采集样本高光谱信息前，利用标准白板和镜头盖采集白背景信息(I_w)和黑背景信息(I_b)，然后按照公式(1)对采集的样本原始高光谱图像(I₀)进行黑白校正，得到校正后的图像信息(I)。

2.对核桃仁样品进行编号，使用色差仪采集每个核桃仁样品的色差值并计算总色差，记录每个核桃仁样品的完整度等级，然后按照食品安全国家标准GB5009.5-2016和GB5009.6-2016中的要求，测量每个样品的蛋白质和脂肪含量。

3.处理高光谱图像数据，数据处理步骤如下：

1)分别提取两个波段范围高光谱图像中每个核桃仁样品光谱平均值作为样品光谱信息，采用多元散射校正(MSE)和标准正态化(SVN)的组合方法对原始光谱信息进行预处理。

2)采用竞争性自适应重加权算法(CARS)与相关系数法香结合，在862.9-1704.02nm光谱范围内针对核桃仁样品的蛋白质含量、脂肪含量参数分别进行特征波段筛选；382.19-1026.66nm光谱范围内针对核桃仁样品的总色差进行特征波段筛选。首先通过CARS算法针对感兴趣的核桃仁品质参数进行特征波段的初步筛选，然后进一步对筛选出的特征波段采用相关系数法进行优选，剔除相关系数大于0.9的波段，已保留的波段作为感兴趣核桃仁品质参数的特征波段。

3)提取与样品总色差相关特征波段的灰度图像，计算其平均灰度得到平均灰度图像。统计平均灰度图像的灰度分布统计量(均值、标准差、平滑度、一致性、熵、三阶矩)和灰度共生矩阵统计量(对比度、相关性、能量、熵)共10个统计量作为图像统计特征参数，用于进一步进行核桃仁色泽鉴别。然后对提取的特征波段平均灰度图像进行二值化、otsu阈值分割、先膨胀后腐蚀处理；进一步提取核桃仁的图像外形特征参数，包括高、宽、高宽比、面积、外接矩形面积、矩形度、外接圆半径、外接圆面积、圆形度。最后对9个图像外形特征参数进行了相关性分析，保留相关性较小的外观特征参数，用于进行核桃仁完整度分类。

4.核桃仁内部品质指标检测模型的建立

采用马氏距离法剔除测量误差较大的异常样本后，采用随机抽样法建立训练集和验证集，针对蛋白质含量和脂肪含量，采用提取出与的蛋白质和脂肪含量分别相关的特征波段，分别建立偏最小二乘回归(PLSR)模型。采用决定系数R²和均方误差MSE对模型进行评估。

5.核桃仁外观等级分类模型的建立

以提取出的与样品总色差相关的特征波段光谱信息、图像统计特征参数和图像外形特征参数为输入，以样品完整度等级和色泽等级为输出，采用决策树算法分别建立核桃仁完整度等级和色泽等级分类模型，然后按照国家林业标准《LYT1922-2010核桃仁》中的规定建立核桃仁外观品质与完整度和色泽的对应关系(如表6所示)，将核桃仁外观品质分为7个等级。

以下对本发明具体检测使用的样本材料、处理方法及高光谱图像采集和核桃仁蛋白质和脂肪含量和核桃仁外观品质分类模型的建立方法做详细的描述。

1材料与方法

1.1实验样本与处理

实验样品选用新疆“温185”核桃，含水量为7％，实验前储藏于4℃冷库环境约5个月。通过手工破壳取仁后选取核桃仁样品60枚，选取的核桃仁样品包含半仁、1/4仁和碎仁三个完整度等级和浅黄色、浅琥珀色、琥珀色三个色泽等级，样品外观等级分布和色泽等级与总色差的对应关系如表1和表2所示。通过高光谱成像识别采集高光谱图像后，使用色差仪采集每个核桃仁样品5个不同位置的总色差ΔE，计算平均值用于核桃仁样品色泽的鉴别。然后按照食品安全国家标准GB5009.5-2016和GB 5009.6-2016中的要求，采用Foss全自动凯氏定氮仪测量每个样品的蛋白质含量，采用索氏提取器测量脂肪含量。

表1 样品外观等级分布

表2 样品色泽等级与色差范围对应关系

1.2高光谱图像采集

高光谱图像采集设备为Gaia高光谱成像仪，如图2所示，主要由成像光谱仪(V10E)1、镜头(OL23)2、CCD(LT365)3、均匀光源(2套溴钨灯)4、电控移动平台5、计算机及软件***7组成。开机后首先进行预热，已消除基线漂移造成的影响；预热后进行镜头调焦并调试平台移动速度以避免图像失真。采用图像采集软件Spectra View采集核桃仁6的成像信息。分别在光谱范围为863-1704nm和382-1027nm采集核桃仁样品高光谱图像，其中在863-1704nm范围内光谱分辨率为3.2nm；在382-1027nm范围内，光谱分辨率为0.84nm。

为了消除光照不均匀、周围环境以及仪器暗电流造成的噪声影响，需要在采集样本高光谱信息前，利用标准白板和镜头盖采集白背景信息(I_w)和黑背景信息(I_b)，然后按照公式(1)对采集的样本原始高光谱图像(I₀)进行黑白校正，得到校正后的图像信息(I)。

1.3光谱数据提取与处理

采用ENVI5.1软件对核桃仁样品高光谱图像进行感兴趣区域(ROI)提取，计算出感兴趣区域光谱平均值作为样品光谱信息，并采用matlab R2015a软件进行后续处理。为了进一步消除光谱信息中的噪声，采用多元散射校正和标准正态化的组合方法对原始光谱信息进行预处理。

对全波段光谱数据进行特征波段筛选，可以有效消除全光谱范围的冗余数据，提高光谱数据信噪比，同时降低计算数据量。本研究采用竞争性自适应重加权算法(CARS)与相关系数法香结合针对核桃仁样品的蛋白质含量、脂肪含量、总色差三个参数分别进行了特征波段筛选，以提高建立模型的效率和精度。

2基于光谱信息的核桃仁内部品质指标检测

获得的样品组A核桃仁的ROI平均光谱信息及预处理后的光谱信息如图3所示。由图中可以看出，样品原始光谱信息总体特征基本一致，但吸收峰并不明显。通过MSC和SVN组合的预处理方法，去除了部分背景噪声的影响，使样品光谱信息更加平滑；同时进一步增强了光谱信息的一致性，突出了光谱峰谷，使光谱特征得到了强化。

为了减小光谱获取及品质参数化学检测中测量误差的影响，采用马氏距离法剔除异常样品信息。分别计算每个样本光谱信息和化学测量值到样本集中心的马氏距离，然后统计样本集马氏距离的均值μ和均方差σ，以μ+3σ为阈值，将马氏距离大于阈值的样本作为异常样本剔除。图4a、图4b、图4c分别是样本光谱信息、蛋白质含量测量值和脂肪含量测量值的马氏距离分布图，图中红线下方为正常样本，红线上方为异常样本。

为了消除光谱前后段噪声影响，去除了前段和后段各10各波段点，采用CARS算法，分别针对样本蛋白质含量测量值和脂肪含量测量值进行特征波段筛选；并进一步对筛选出的特征波段采用相关系数法进行优选，剔除相关系数大于0.9的波段。图3中红色虚线标记为与样本蛋白质含量相关的特征波段，蓝色虚线标记为与样本脂肪含量相关的特征波段最终筛选出与样本蛋白质含量相关的特征波段为6个，与样本脂肪含量含量相关的特征波段为7个，其中1269nm为与蛋白质和脂肪含量共同相关的特征波段，筛选出的特征波段共计12个，具体对应的波长如表3所示。

表3 筛选出的特征波段

分别建立样本蛋白质含量和脂肪含量全光谱波段和特征光谱波段的PLSR预测模型，其中PLS主成分数为5，建模交叉验证次数为10。建模效果如表4所示，图5显示了采用特征波段建立的蛋白质和脂肪含量预测模型结果。可以看出，与全光谱信息相比，采用采用特征波段建模，模型的决定系数R2和均方误差MSE都有了明显的改善，蛋白质含量预测模型的验证集R2由0.66增长到了0.91，MES由1.37下降到了0.78；脂肪含量预测模型的验证集R2由0.83增长到了0.93，MES由0.98下降到了0.47.说明采用CARS算法与相关系数法结合，筛选出的12个特征波段有效的降低了全光谱信息的复杂度，提高了建模质量。

表4 PLSR预测模型建模结果

3基于光谱信息与图像特征的核桃仁色泽鉴别

图6为三种色泽核桃仁样品的平均光谱曲线，由于光谱前后段噪声影响较大，因此去除了前段和后段各20各波段点，取399.1-1008.1nm范围共688个波段进行分析。由图6可以看出，原始光谱中,三种色泽核桃仁样品的光谱曲线在可见光范围内光谱反射率随着色泽由浅到深呈现明显的下降趋势,在近红外光谱方面内光谱较杂乱。经过预处理后的光谱信息,光谱反射率呈现出一定的规律性和一致性,有助于后续的光谱处理。对样本全光谱信息进行多元散射校正和标准正态化预处理后，针对样本总色差测量值，采用CARS算法进行特征波段筛选，筛选出的特征波段号为5和336，对应的特征波段为402.5nm和689.2nm。

为了比较提取的特征波段与RGB(475nm、550nm、650nm)波段在核桃仁色泽鉴别中的差异，分别采用RGB图像和特征波段图像。由于不同色泽等级的样品图像在灰度特征和纹理信息都存在差异，因此统计RGB波段和特征波段平均灰度图像的灰度分布统计量(均值、标准差、平滑度、一致性、熵、三阶矩)和灰度共生矩阵统计量(对比度、相关性、能量、熵)共10个统计量作为图像统计特征参数，用于进一步进行核桃仁色泽鉴别。以全波段光谱信息、特征波段光谱信息以及特征波段光谱信息与图像统计特征参数的组合为输入变量，以样品色泽等级标签为输出变量，建立了决策树算法、K近邻算法和支持向量机三种色泽分类模型，其中K近邻算法中K值为4，支持向量机采用线性核函数。建立模型前，采用2:1的比例通过随机抽样建立模型训练集和测试集，建模后统计测试集分类准确率。最终统计10次抽样的测试集分类平均准确率作为模型分类准确率的判定指标。模型分类平均准确率如表5所示。

表5 分类平均准确率

由表5可以看出，当采用图像统计特征参数与特征波段光谱信息的组合为输入变量时，采用决策数算法建立的色泽分类模型具有最高的分类准确率，达到了99.6％。在输入变量方面，由于全波段光谱中包含大量的无关冗余信息，参与建模时降低了模型准确率；采用特征波段建模，大幅减低了冗余信息的干扰，提高了建模效率，同时采用特征波段建模的分类准确率也明显高于RGB波段。图像统计特征参数反应了样本图像的色泽和纹理变化，属于有效的分类信息，因此在特征波段光谱信息与RGB波段光谱信息的基础上加入图像统计特征参数能够进一步提升分类模型的准确率。在输入变量方面，当采用全波段光谱信息为输入时，输入变量数目较多，采用SVM算法的分类模型准确率高于决策树和KNN算法；当输入变量数目为特征波段及特征波段与图像信息的组合时，输入变量数目大幅减少，此时决策树算法在模型分类准确率和分类计算速度方面都具有明显的优势。

4基于图像特征的核桃仁外观品质分类

对提取的特征波段平均灰度图像进行二值化、otsu阈值分割、先膨胀后腐蚀处理；进一步提取了54个不同完整程度(整仁、1/2仁、1/4仁)核桃仁的图像外形特征参数，包括高、宽、高宽比、面积、外接矩形面积、矩形度、外接圆半径、外接圆面积、圆形度。最后对9个图像外形特征参数进行了相关性分析，去除了相关系数均大于0.9的外观参数，最终保留了高度、宽度、高宽比、面积、矩形度、圆形度6个外观参数。以图像外形特征参数为输入，样本完整度等级为输出，采用决策数算法建立核桃仁完整度分类模型。进一步按照国家林业标准《LYT 1922-2010核桃仁》中的规定将样本外观按完整度与色泽为7个等级。以图像外形特征参数、特征波段光谱信息和图像统计特征参数为输入变量，样本等级标号为输出变量，采用建立的色泽和完整度分类模型进行核桃仁外观等级分类，分类结果如表6所示。由表6可以看出，建立的分类模型对核桃仁外观等级分类效果较好，平均分类准确率达到了98.4％。

表6 核桃仁外观分类结果

Claims

1.一种基于高光谱图像的核桃仁品质检测方法，其特征在于：检测步骤如下：

（1）准备核桃仁样品：选择含水率在7%以下的核桃仁，置于室温条件下干燥环境中备用；

（2）通过高光谱图像采集设备，分别在862.9-1704.02nm和382.19-1026.66nm光谱范围内采集核桃仁样品高光谱图像；

（3）对核桃仁样品进行编号，使用色差仪采集每个核桃仁样品的色差值并计算总色差，记录每个核桃仁样品的完整度等级，然后按照食品安全国家标准GB5009.5-2016和GB5009.6-2016中的要求，测量每个样品的蛋白质和脂肪含量；

（4）分别提取两个波段范围高光谱图像中每个核桃仁样品光谱平均值作为样品光谱信息，采用多元散射校正和标准正态化的组合方法对原始光谱信息进行预处理；

（5）在862.9-1704.02nm光谱范围内针对核桃仁样品的蛋白质含量、脂肪含量参数分别进行特征波段筛选，采用马氏距离法剔除异常样品信息；分别计算每个样本光谱信息和化学测量值到样本集中心的马氏距离，然后统计样本集马氏距离的均值μ和均方差σ，以μ+3σ为阈值，将马氏距离大于阈值的样本作为异常样本剔除；去除了前段和后段各10个波段点，采用竞争性自适应重加权算法，分别针对样本蛋白质含量测量值和脂肪含量测量值进行特征波段筛选；并进一步对筛选出的特征波段采用相关系数法进行优选，剔除相关系数大于0.9的波段；最终筛选出与样本蛋白质含量相关的特征波段6个为1269nm、1272.3nm、1436nm、1484nm、1555.2nm、1662.1nm，与样本脂肪含量相关的特征波段7个为1149nm、1152.4nm、1245.8nm、1269nm、1361nm、1471nm、1596.7nm；在382.19-1026.66nm光谱范围内针对核桃仁样品的总色差进行特征波段筛选；去除了前段和后段各20个波段点，取399.1-1008.1nm范围共688个波段进行分析，采用竞争性自适应重加权算法进行特征波段筛选，筛选出的特征波段号为5和336，对应的特征波段为402.5nm和689.2nm；

（6）提取与样品总色差相关特征波段的灰度图像，计算其平均灰度得到平均灰度图像，统计平均灰度图像包括均值、标准差、平滑度、一致性、熵、三阶矩的灰度分布统计量，和包括对比度、相关性、能量、熵的灰度共生矩阵统计量，共10个统计量作为图像统计特征参数用于进一步进行核桃仁色泽鉴别；

（7）提取特征波段平均灰度图像中的核桃仁的图像外形特征参数，包括高、宽、高宽比、面积、外接矩形面积、矩形度、外接圆半径、外接圆面积、圆形度，对图像外形特征参数进行相关性分析，保留高度、宽度、高宽比、面积、矩形度、圆形度6个外观参数，用于进行核桃仁完整度分类；

（8）核桃仁蛋白质和脂肪含量预测模型的建立：采用随机抽样法建立训练集和验证集，提取出的与蛋白质和脂肪含量分别相关的特征波段，分别建立偏最小二乘回归模型，采用决定系数R²和均方误差MSE对模型进行评估；

（9）采用图像统计特征参数与特征波段光谱信息的组合为输入变量，以样品色泽等级标签为输出变量，采用决策树算法建立色泽分类模型；以图像外形特征参数为输入，样本完整度等级为输出，采用决策树算法建立核桃仁完整度分类模型；进一步按照国家林业标准《LYT 1922-2010 核桃仁》中的规定建立核桃仁外观品质与完整度和色泽的对应关系，将核桃仁外观品质分为7个等级；以提取出的与样品总色差相关的特征波段光谱信息、图像统计特征参数和图像外形特征参数为输入，以样品外观等级标号为输出，建立核桃仁外观品质分类模型。