CN112098415B - 一种杨梅品质无损检测方法 - Google Patents

Abstract

本发明公开了一种杨梅品质无损检测方法。现有的近红外光谱检测，X射线检测，激光诱导荧光检测等杨梅品质无损检测方法，普遍成本较高。本发明使用带有特定中心波段滤波片的工业相机拍摄杨梅图像，并根据图像和拍摄时的光照强度推导出杨梅的反射率，从而在杨梅无损检测中用工业相机替代了高光谱仪，从而大大降低了杨梅无损检测的成本。本发明建立了光照强度和白板图像灰度值之间的关系，从而为用工业相机获取杨梅反射率提供了基础。本发明提供了利用反射率无损检测杨梅糖分含量和酸度的检测方法，并利用双目***，获取杨梅果实的尺寸大小，从而在多个维度上实现对杨梅品质的综合判断。

Description

一种杨梅品质无损检测方法

技术领域

本发明属于农业无损检测与探测技术领域，具体涉及一种杨梅品质无损检测方法。

背景技术

杨梅是一种广受大众喜爱的水果，它既可以直接食用，也可以加工成蜜饯果酱等。浙江仙居有中国杨梅第一县之称，早在唐宋时期仙居就开始种植杨梅，在当代仙居杨梅尤为兴盛，几乎家家户户都会种植杨梅。目前，无论是种植规模、产量、产值还是商品化处理能力、品牌效应、市场占有率，仙居都是全国首位的。2020年，仙居杨梅的种植面积达到13.8万亩，产量将近10万吨。

仙居杨梅的价格主要受杨梅品质的影响，品质较好的杨梅价格可以达到几十元一斤，而品质较差的仅为几块钱，因此杨梅果实的分拣在杨梅的生产中显得尤为重要。杨梅的品质除了和杨梅的品种有关外，更多的与它本身的糖度，酸度和大小有关。传统的杨梅分拣主要是靠人工分拣，而杨梅的品质往往需要极其有经验的人，才能准确识别。而当今社会，采摘工人逐渐减少，人力不足，而成功培养出一位经验丰富的工人往往需要耗费大量物物资和时间。另外，经销商向农户收购未经分类杨梅的价格仅为几块钱每斤，而分类好品质较高的杨梅在市场上能卖到几十元每斤。如果能在农户手中直接对杨梅进行分拣，将大大提升农户的收入。因此，需要一种能够适用于农户快速杨梅品检测的无损装置。

杨梅的品质主要从糖度、酸度和大小进行分拣。传统的糖度检测方法有酮硫酸比色法，糖度计测量，酸度用pH计测量，大小使用刻度尺测量。但这些方法过程繁琐，耗时长，并且需要对杨梅进行破坏，不能满足目前生产的需要。近年来也出现了一些水果品质无损检测的方法，如近红外光谱检测，X射线检测，激光诱导荧光检测等，但这些方法普遍成本较高。

发明内容

本发明的目的在于提供一种杨梅品质无损检测装置及检测方法。

本发明的具体步骤如下：

步骤1、构建检测装置；检测装置包括光照度计和两个图像采集装置。两个图像采集装置内的工业相机的镜头处均设置有滤光片。两张滤光片的中心波长分别为610nm、570nm。

步骤2、确定拍摄时的参数，并建立图像灰度值与入射光光照强度的关系；

2-1.确定图像采集装置的曝光增益、曝光时间。

2-2.建立570nm中心波长下图像灰度值关于光照强度的表达式如式(2)所示，610nm中心波长下图像灰度值关于光照强度的表达式如式(3)所示。

Gray₅₇₀＝0.0013X+16.693 (2)

Gray₆₁₀＝0.001X+11.159 (3)

式(2)和(3)中，Gray₅₇₀、Gray₆₁₀分别表示装有570nm、610nm滤光片的图像采集装置所得图像的灰度值；X表示入射光光照强度。

步骤3、用两个图像采集装置分别拍摄被测杨梅，分别计算所得两个波段下所得图像的灰度值gray_out,570、gray_out，610。光照度计在拍摄的同时采集光照强度X，计算拍摄时570nm、610nm波段下环境光强灰度值gray_in,570gray_in,610。分别计算570nm、610nm波段下的杨梅反射率

步骤4、根据570nm波段下的杨梅反射率REF₅₇₀计算杨梅果实中的pH值；根据610nm波段下的杨梅反射率REF₆₁₀计算杨梅果实中的糖分含量。

步骤5、检测杨梅的尺寸

用经过双目标定、立体校正、双目立体匹配的两个图像采集装置拍摄被测杨梅图像，计算被测杨梅的深度信息。根据所得两张图像中杨梅及标定板的深度信息、杨梅及双目标定中棋盘格的像素大小、棋盘格的真实大小，计算出被测杨梅的高度、宽度。

步骤6、工作人员或计算机根据杨梅的糖分含量、pH值、宽度、高度判断杨梅的品质。

作为优选，步骤2-1中，确定曝光增益、曝光时间的具体过程如下：在最大环境光强条件下拍摄白板，通过调整曝光增益和曝光时间使G通道的亮度值处于240-250之间。从而分别确定中心波段570nm、中心波段610nm的带通滤光片的曝光增益和曝光时间；

作为优选，步骤2-2中式(2)、式(3)建立的过程如下：

获取10000～100000LUX入射光光照强度下的白板灰度值的变化情况。在10000～100000LUX入射光光照强度范围内取点，用两个图像采集装置拍摄白板，获得R、G、B三个通道的亮度值。通过亮度值转化灰度值如式(1)所示。

Gray＝0.299R+0.587G+0.114B (1)

式(1)中，Gray表示图像灰度值，R表示图像R通道的亮度值；G表示图像G通道的亮度值；B表示图像B通道的亮度值。

分别对两个图像采集装置拍摄所得图像进行光照强度与对应的灰度值的线性拟合，分别得到中心波段为570nm、610nm下的光照强度和灰度值之间的线性方程如式(2)和(3)所示。

作为优选，步骤4中，计算杨梅果实中的糖分含量、pH值的具体过程如下：计算被测杨梅的中的花青素相对含量

计算杨梅果实中的糖分含量C_sugar＝0.01087C_anth+6.284。计算杨梅果实中的pH值

作为优选，步骤5中，双目标定的具体过程如下：

用两个图像采集装置从不同角度拍摄若干张标准棋盘格图像，检测出标准棋盘格图像中的特征点，求解出理想无畸变情况下的相机内参和外参，并用极大似然估计提升内外参数的精度。应用最小二乘法求出实际的径向畸变系数，最后综合内参、外参、畸变系数，使用极大似然估计法，提升估计的精度，最终得到相机的内参、外参和畸变参数。表1为左侧的图像采集装置的相机参数，表二为右侧的图像采集装置的相机参数，表3为双目相机标定结果。

表1左侧的图像采集装置的相机参数

表2右侧的图像采集装置的相机参数

表3双目相机标定结果

作为优选，步骤5中，立体校正的具体过程如下：

单目畸变校正。具体是使用相机标定中的内参矩阵及畸变参数，对采集到的图像做逆畸变处理。首先，将图像坐标系通过内参矩阵转换到相机坐标系，在相机坐标系下进行去畸变操作。去畸变操作结束之后，将相机坐标系重新转换到像素坐标系，并用源图像的像素值对新图像的像素点进行插值操作，得到去畸变之后的图像。使用Bouguet极线校正方法进行双目平行校正。

作为优选，步骤5中，双目立体匹配可分为四个步骤：匹配代价计算、代价聚合、视差计算和视差优化。

作为优选，所述的图像采集装置内的工业相机的光谱响应范围350nm-1000nm。工业相机的镜头采用6-12mm变焦镜头。

作为优选，所述的滤光片均采用OD3，透过率大于80％，半高宽为30-50nm的带通滤光片。

作为优选，所述的光照度计的型号为ST-85。

本发明具有的有益效果是：

1、本发明使用带有特定中心波段滤波片的工业相机拍摄杨梅图像，并根据图像和拍摄时的光照强度推导出杨梅的反射率，从而在杨梅无损检测中用工业相机替代了高光谱仪，从而大大降低了杨梅无损检测的成本。

2、本发明建立了光照强度和白板图像灰度值之间的关系，从而为用工业相机获取杨梅反射率提供了基础。

3、本发明提供了利用反射率无损检测杨梅糖分含量和酸度的检测方法，并利用双目***，获取杨梅果实的尺寸大小，从而在多个维度上实现对杨梅品质的综合判断。

附图说明

图1是本发明所述的杨梅品质无损检测装置的示意图；

图2是本发明所述的570nm滤光片实测值与预测值的散点图；

图3是本发明所述的610nm滤光片实测值与预测值的散点图；

图4是本发明所述的杨梅糖分含量实测值和反演值的二维散点图；

图5是本发明所述的杨梅pH值的实测值和反演值的二维散点图；

图6是本发明所述的杨梅高度的实测值与估算值的二维散点图；

图7是本发明所述的杨梅宽度的实测值与估算值的二维散点图。

具体实施方式

以下结合附图对本发明作进一步说明。

杨梅品质无损检测装置及检测方法，具体步骤如下：

步骤1、杨梅品质无损检测装置硬件部分的集成

构建用于杨梅品质无损的检测装置。如图1所示，检测装置包括两个图像采集装置、光照度计1和控制计算平台2。图像采集装置包括工业相机3、滤光片4和工业相机镜头5。工业相机镜头安装在工业相机上。工业相机镜头与工业相机之间设置有滤光片。两个图像采集装置的相对位置确定且已知，形成双目识别***。

通过控制计算平台控制两个装有工业相机镜头和滤光片的工业相机分别从不同角度对杨梅进行拍摄，得到杨梅图像的亮度值，同时控制光照度计采集同一时刻的光照强度，通过控制计算平台利用杨梅图像亮度值计算杨梅图像灰度值(得到灰度图像)，利用光照强度计算出入射光的灰度值，通过杨梅灰度值和入射光灰度值得出杨梅反射率，带入糖度酸度计算公式得出杨梅糖度和酸度并显示。利用两个相机得到的两幅杨梅图像得到杨梅视差图，计算得到杨梅大小并显示。

所述的工业相机为深圳市迈德威视科技有限公司生产的MV-UBS500-T相机；MV-UBS500-T相机是一种价格实惠的CMOS传感器相机，其光谱响应范围350nm-1000nm，包含杨梅响应波段和成熟敏感波段。像素位深度12bit，并带有帧缓存，支持多台相机同时工作，能提供SDK包进行二次开发。工业相机拍摄的图像包含杨梅果实相应特征波段，保证能获得有效图像。

所述的滤光片位于相机和镜头之间。对杨梅的光谱数据处理可知糖度和酸度对应的中心波长分别为610nm和570nm，滤光片选用定制的中心波长为610nm和570nm，光密度(OD)为3，透过率大于80％，半高宽为30-50nm的带通滤光片。为匹配选取的CMOS传感器相机，选取的圆形带螺纹滤光片大小为直径20mm。

所述的工业相机镜头为迈德威视的Ms-0612，主要考虑工作波长、工作距离和焦距、光圈和接口、成本。由于糖分酸度的敏感波段为500nm—650nm，属于可见光范围，所以镜头的工作波长应在可见光波段内。拍摄时工作距离比较近，选择6-12mm变焦镜头，能根据实际情况调整合适的焦距。

所述的光照度计型号为ST-85。该型号的照度计量程为0—200000LUX,可完美的涵盖自然光条件下可能出现的最大光照强度。由于需要将杨梅放于平板上，扁平状的探头可以很好的检测照射在杨梅上的光照强度，减少误差，并且可放置于理想地点，避免阴影对光强带来的影响。

所述的控制计算平台负责控制工业相机进行拍摄和光照度计测量入射光光照强度，并负责灰度值反射率以及后续的杨梅糖度酸度的计算。

步骤2、确定拍摄时的参数，并建立图像灰度值与入射光光照强度的关系

2-1.曝光增益、曝光时间的确定。为了使本发明能在不同光强场景下适用，需要确定相机的曝光增益、曝光时间。由于目标波段处在绿光波段，R通道和B通道的亮度值基本为0，我们仅需考虑G通道。在最大环境光强条件下拍摄白板，通过调整曝光增益和曝光时间使G通道的亮度值处于240-250之间。分别确定中心波段570nm、中心波段610nm的带通滤光片的曝光增益、曝光时间；中心波段570nm的带通滤光片的曝光增益为1.625，曝光时间为30.5220ms；中心波段610nm的带通滤光片的曝光增益为1.625，曝光时间为25.5220ms。

2-2.建立光照强度和灰度值之间的关系。

获取10000～100000LUX入射光光照强度下的白板灰度值的变化情况。在10000～100000LUX入射光光照强度范围内取点，用两个图像采集装置拍摄白板，获得R、G、B三个通道的亮度值。通过亮度值转化灰度值的心理学公式如下式(1)所示，计算得到每个光照强度下白板的灰度值Gray。

Gray＝0.299R+0.587G+0.114B (1)

式(1)中，Gray表示图像灰度值，R表示图像R通道的亮度值；G表示图像G通道的亮度值；B表示图像B通道的亮度值。

分别对两个图像采集装置拍摄所得图像进行光照强度与对应的灰度值的线性拟合，分别得到中心波段为570nm、610nm下的光照强度和灰度值之间的线性方程。中心波段为570nm时得到的线性方程如下式(2)所示，其决定系数R²为0.9792；中心波段为610nm时得到的线性方程如下式(3)所示，其决定系数R²为0.9973：

Gray₅₇₀＝0.0013X+16.693 (2)

Gray₆₁₀＝0.001X+11.159 (3)

式(2)和(3)中，Gray₅₇₀表示装有570nm滤光片的工业相机所得图像的灰度值，Gray₆₁₀表示装有610nm滤光片的工业相机所得图像的灰度值，X表示入射光光照强度。

步骤3、使用杨梅品质无损的检测装置获取被测杨梅在两个波段下的反射率。

由于定标实验对象为实验室白板，可认为白板反射率为99％，则定标得到的白板反射灰度值也可认为与入射灰度值大小几乎相等。用两个图像采集装置分别按照步骤2确定的曝光增益、曝光时间拍摄被测杨梅，分别得到被测杨梅在570nm波段、610nm波段下的RGB图像；根据式(1)分别计算所得两个波段下RGB图像的各像素灰度值，即反射灰度值gray_out,570、gray_out，610。光照度计在拍摄的同时采集光照强度X，并分别代入式(2)、式(3)，计算拍摄时570nm波段下环境光强灰度值gray_in,570、610nm波段下环境光强灰度值gray_in,610。

分别计算570nm、610nm波段下的杨梅反射率REF₅₇₀、REF₆₁₀如式(4)、(5)所示。

步骤4、计算被测杨梅的中的花青素相对含量

计算杨梅果实中的糖分含量C_sugar＝0.01087C_anth+6.284。计算杨梅果实中的pH值

步骤5、检测杨梅的尺寸

5-1.双目标定

用带有滤波片的两个图像采集装置从不同角度拍摄若干张标准棋盘格图像(已知棋盘格实际大小)，检测出标准棋盘格图像中的特征点，求解出理想无畸变情况下的相机内参和外参，并用极大似然估计提升内外参数的精度。应用最小二乘法求出实际的径向畸变系数，最后综合内参、外参、畸变系数，使用极大似然估计法，提升估计的精度，最终得到相机的内参、外参和畸变参数。表1为左侧的图像采集装置的相机参数，表二为右侧的图像采集装置的相机参数，表3为双目相机标定结果。

表1左相机参数

表2右相机参数

表3双目相机标定结果

5-2.立体校正

单目畸变校正。具体是使用相机标定中的内参矩阵及畸变参数，对采集到的图像做逆畸变处理。首先，将图像坐标系通过内参矩阵转换到相机坐标系，在相机坐标系下进行去畸变操作。去畸变操作结束之后，将相机坐标系重新转换到像素坐标系，并用源图像的像素值对新图像的像素点进行插值操作，得到去畸变之后的图像。使用Bouguet极线校正方法进行双目平行校正。

5-3.双目立体匹配

双目立体匹配可分为四个步骤：匹配代价计算、代价聚合、视差计算和视差优化。匹配过程属于现有技术，在此不作赘述。

5-4.获取杨梅大小

用安有装对应滤光片的两个图像采集装置，采集滤光片过滤后的被测杨梅图像，计算得到被测杨梅的深度信息。根据所得两张图像中杨梅及标定板的深度信息、杨梅及棋盘格的像素大小、标定板棋盘格的真实大小，计算出被测杨梅的高度、宽度。

步骤6、工作人员或计算机根据杨梅的糖分含量、pH值、宽度、高度判断杨梅的品质。

以下结合具体实例对本发明的效果进行论证：

S1.图像灰度值与光照强度关系验证

使用本发明的装有570nm和610nm滤光片的相机拍摄白板，获得R、G、B三个通道的亮度值。通过亮度值转化灰度值的心理学公式计算得到每个光照强度下白板的灰度值得到灰度实测值。通过图像灰度值与光照强度关系计算得到灰度预测值。570nm滤光片实测值与预测值的散点图如图2所示，其实测值与预测值得RMSE为5.255；610nm滤光片实测值与预测值的散点图如图3所示，其实测值与预测值得RMSE为0.9563。两幅图构成的二维散点图大致都在1:1线上，且误差较小。说明本发明的图像灰度值与光照强度关系是可靠的。

S2.定标后反射率反演糖度酸度验证

测量得到杨梅的糖分含量与pH值，使用本发明方法得到30个杨梅570nm和610nm波段的反射率。运用杨梅糖度反演模型和610nm波段处反射率计算出杨梅的糖分含量，运用杨梅酸度反演模型和570nm处的反射率计算出杨梅的pH值。杨梅糖分含量实测值和反演值(即估算值)的二维散点图如图4所示，其RMSE为1.156；杨梅pH值的实测值和反演值的二维散点图如图5所示，其RMSE为0.1812。两幅图构成的二维散点图大致都在1:1线附近，且误差较小。说明本发明获得的反射率值是可靠的。

S3.双目***测定杨梅大小验证

使用本发明装置测量30个杨梅的宽度和高度，与实际测得的宽度和高度进行比较。杨梅高度的实测值与估算值的比较图如图6所示,，其RMSE为0.37；杨梅宽度的实测值与估算值的比较图如图7所示,，其RMSE为0.27。两幅图均存在一定的***误差，但误差较小。说明本发明获得的杨梅大小是可靠的。

Claims (9)

1.一种杨梅品质无损检测方法，其特征在于：步骤1、构建检测装置；检测装置包括光照度计和两个图像采集装置；两个图像采集装置内的工业相机的镜头处均设置有滤光片；两张滤光片的中心波长分别为610nm、570nm；

步骤2、确定拍摄时的参数，并建立图像灰度值与入射光光照强度的关系

2-1.确定图像采集装置的曝光增益、曝光时间；

2-2.建立570nm中心波长下图像灰度值关于光照强度的表达式如式(2)所示，610nm中心波长下图像灰度值关于光照强度的表达式如式(3)所示；

Gray₅₇₀＝0.0013X+16.693 (2)

Gray₆₁₀＝0.001X+11.159 (3)

式(2)和(3)中，Gray₅₇₀、Gray₆₁₀分别表示装有570nm、610nm滤光片的图像采集装置所得图像的灰度值；X表示入射光光照强度；

步骤3、用两个图像采集装置分别拍摄被测杨梅，分别计算所得两个波段下所得图像的灰度值gray_out,570、gray_out，610；光照度计在拍摄的同时采集光照强度X，计算拍摄时570nm、610nm波段下环境光强灰度值gray_in,570gray_in,610；分别计算570nm、610nm波段下的杨梅反射率

步骤4、根据570nm波段下的杨梅反射率REF₅₇₀计算杨梅果实中的pH值；根据610nm波段下的杨梅反射率REF₆₁₀计算杨梅果实中的糖分含量；

计算杨梅果实中的糖分含量、pH值的具体过程如下：计算被测杨梅的中的花青素相对含量

计算杨梅果实中的糖分含量C_sugar＝0.01087C_anth+6.284；计算杨梅果实中的pH值

步骤5、检测杨梅的尺寸

用经过双目标定、立体校正、双目立体匹配的两个图像采集装置拍摄被测杨梅图像，计算被测杨梅的深度信息；根据所得两张图像中杨梅及标定板的深度信息、杨梅及双目标定中棋盘格的像素大小、棋盘格的真实大小，计算出被测杨梅的高度、宽度；

步骤6、工作人员或计算机根据杨梅的糖分含量、pH值、宽度、高度判断杨梅的品质。

2.根据权利要求1所述的一种杨梅品质无损检测方法，其特征在于：步骤2-2中式(2)、式(3)建立的过程如下：

获取10000～100000LUX入射光光照强度下的白板灰度值的变化情况；在10000～100000LUX入射光光照强度范围内取点，用两个图像采集装置拍摄白板，获得R、G、B三个通道的亮度值；通过亮度值转化灰度值如式(1)所示；

Gray＝0.299R+0.587G+0.114B (1)

式(1)中，Gray表示图像灰度值，R表示图像R通道的亮度值；G表示图像G通道的亮度值；B表示图像B通道的亮度值；

分别对两个图像采集装置拍摄所得图像进行光照强度与对应的灰度值的线性拟合，分别得到中心波段为570nm、610nm下的光照强度和灰度值之间的线性方程如式(2)和(3)所示。

3.根据权利要求1所述的一种杨梅品质无损检测方法，其特征在于：步骤2-1中，确定曝光增益、曝光时间的具体过程如下：在最大环境光强条件下拍摄白板，通过调整曝光增益和曝光时间使G通道的亮度值处于240-250之间；从而分别确定中心波段570nm、中心波段610nm的带通滤光片的曝光增益和曝光时间。

4.根据权利要求1所述的一种杨梅品质无损检测方法，其特征在于：步骤5中，双目标定的具体过程如下：用两个图像采集装置从不同角度拍摄若干张标准棋盘格图像，检测出标准棋盘格图像中的特征点，求解出理想无畸变情况下的相机内参和外参，并用极大似然估计提升内外参数的精度；应用最小二乘法求出实际的径向畸变系数，最后综合内参、外参、畸变系数，使用极大似然估计法，提升估计的精度，最终得到相机的内参、外参和畸变参数。

5.根据权利要求1所述的一种杨梅品质无损检测方法，其特征在于：步骤5中，立体校正的具体过程如下：使用相机标定中的内参矩阵及畸变参数，对采集到的图像做逆畸变处理；首先，将图像坐标系通过内参矩阵转换到相机坐标系，在相机坐标系下进行去畸变操作；去畸变操作结束之后，将相机坐标系重新转换到像素坐标系，并用源图像的像素值对新图像的像素点进行插值操作，得到去畸变之后的图像；使用Bouguet极线校正方法进行双目平行校正。

6.根据权利要求1所述的一种杨梅品质无损检测方法，其特征在于：步骤5中，双目立体匹配分为四个步骤：匹配代价计算、代价聚合、视差计算和视差优化。

7.根据权利要求1所述的一种杨梅品质无损检测方法，其特征在于：所述的图像采集装置内的工业相机的光谱响应范围350nm-1000nm；工业相机的镜头采用6-12mm变焦镜头。

8.根据权利要求1所述的一种杨梅品质无损检测方法，其特征在于：所述的滤光片均采用OD3，透过率大于80％，半高宽为30-50nm的带通滤光片。

9.根据权利要求1所述的一种杨梅品质无损检测方法，其特征在于：所述的光照度计的型号为ST-85。

Images