CN101832941B - 一种基于多光谱图像的水果品质评价装置 - Google Patents

Abstract

一种基于多光谱图像的水果品质评价装置。本发明装置包括检测箱，检测箱内的载物台、多光谱混合光源(由无影灯式漫照明光源和小光斑照明光源组成)和多光谱成像***，及检测箱外带有图像采集卡的计算机通过连接线分别与多光谱成像***和多光谱混合光源连接。多光谱成像***为具有光谱隔离成像功能的照相***，这一***针对多光谱混合光源中的每一个窄带波长分别成像，所成图像在光谱上相互隔离无串扰。本发明针对不同的水果及所需测量成分的不同选取多个特定波长，通过对各个波长下获取的水果图像的相应处理可实现水果表面品质的机器视觉检测以及水果内部某一种或几种成分的检测，从而实现水果的表面品质和内部品质的联合检测。

Description

一种基于多光谱图像的水果品质评价装置

【技术领域】：本发明涉及一种基于多光谱图像的评价水果品质的装置，特别是涉及一种利用图像方法检测水果内部某种成分含量的装置，属于光学无损检测技术领域。

【背景技术】：我国是农业大国，但农业生产产值却很低。其中一个主要原因是由于我国农产品收获后加工水平太低，从而制约了农民收入的提高，极大地阻碍了我国国民经济的发展。为迅速解决这一瓶颈问题，我国把“农产品加工技术与设备研究开发”列为“十五”重大科技攻关项目的第1项，由此可见我国政府和有关部门对这一问题的重视程度。水果在我国的农产品中占有很大的比例，但目前我国水果采后加工处理的水平仍很低，检测和分级手段也很落后，减弱了在国际市场上的竞争力，影响了农业产值的提高。我国加入WTO后，进一步降低关税和开放农产品市场是必然趋势，我国农业和农产品加工业所面临的竞争将会更加激烈。因此，提高我国农产品的产后处理水平，提高农产品质量，从而提高其国际竞争能力是当务之急。

随着计算机硬件、软件的飞速发展，无损检测技术以及自动化控制技术的发展为现代分级检测技术提供了广阔的空间。目前国内外水果分级技术主要集中在两个方面：一方面是基于机器视觉的根据水果表面品质对水果进行分级的方法，另一方面是基于光谱技术以及光谱分析仪的水果内部某一成分(如糖分、水分等)含量多少的分级方法。水果外观品质分级，即按照水果的大小、形状、色泽、表面缺陷等特征进行品质检测，并进行自动化分级和包装。这种方法仅能从视觉效果上对水果进行分级但对于其口感无法评价。而对水果的可口程度的评价可通过水果中酸度、甜度、硬度、水分及可溶性固形物的含量的多少加以评价。现有最常用的水果内部成分检测方法为近红外光谱法，利用水果内部的酸、糖、水分和可溶性固形物等含有的不同的化学键如N-H、C-H和O-H等对不同波长的光吸收程度不同造成的光谱仪上波长分布曲线的变化量来检测水果内部成分的含量。还有另一种水果内部成分检测方法，即通过电子鼻测量水果散发出的气味中的各种化学物质的含量来预估水果的成熟度与口感。近几年大量的学者投入到水果品质的无损检测技术的研究中来，大部分学者或集中精力于水果外观品质的检测，或致力于水果内部品质的检测，其分级依据相对片面。如能将水果的外观品质和内部成分的检测结合起来用于水果的评价，将是一种更为客观、准确、全面的评价方法。

【发明内容】：本发明目的是提供一种基于多光谱图像的评价水果品质的装置，可用于水果外形和内部成分的联合评价。

本发明提供的基于多光谱图像的水果品质评价装置，包括检测箱，检测箱内底部的载物台，检测箱顶部的多光谱混合光源和多光谱成像***；检测箱外带有图像采集卡的计算机通过成像***连接线与多光谱成像***连接，一方面控制多光谱成像***的图像采集过程，另一方面获取多光谱成像***采集到的水果图像；所述的计算机同时通过控制连接线与多光谱混合光源连接，用于控制多光谱混合光源中各个照明部分的开关；

多光谱混合光源、载物台以及多光谱成像***均安装在检测箱内，其目的是消除环境光对检测过程的干扰。载物台用于承载被测水果，载物台颜色应选择与水果颜色差异较大的颜色，使得成像时水果与背景差异明显，易于后期图像处理。

所述的多光谱混合光源包括具有一组窄带光谱波长的无影灯式漫照明光源和小光斑照明光源(见附图2)，无影灯式漫照明光源用于产生具有红、绿、蓝及近红外光谱波长大范围照明光以照明整个水果，小光斑照明光源用于在水果表面投射红外波长的光斑；

所述的多光谱成像***用于光谱隔离成像，该***针对多光谱混合光源中的每一个窄带波长分别对水果成像，所成图像在光谱上相互隔离无串扰。

所述的无影灯式漫照明光源可由一组波长不同的LED组成，用于产生光强度分布均匀的照明光以照明整个水果，不同波长的光可同时照明也可依次照明；无影灯式漫照明光源或由含有所有所需波长的卤素灯或其它照明灯组成，其分布结构借鉴医用无影灯的结构。

所述的小光斑照明光源具有一组所需波长的激光光束或聚焦光束，以在水果表面投射一个小的光斑；不同波长的光斑可同时照明也可依次照明；小光斑照明光源可由一组不同波长的激光器合束产生也可由其它光源经过滤波后聚焦产生。所述的激光器为光纤输出的半导体激光器LD或光纤激光器；所述的其它光源为相应波长的半导体发光二极管LED、卤素灯、红外灯或紫外灯等。

所述的无影灯式漫照明光源和小光斑照明光源的近红外波长之间应尽量避免重叠，此时这两部分光源可处于常亮状态；如测量需要时，这两种光源的波长之间可以相互重叠，存在重叠时，须通过控制这两部分光源依次照明。

所述的多光谱成像***可通过两种方式实现，应对被测水果清晰成像，成像范围应略大于被测水果，其中，

方式一：采用具有彩色相机的分光光学结构的3CCD三光谱成像***来实现，即相机中安装分光棱镜将物镜收集到的光束按照波长分别送往三个面阵CCD，每个面阵CCD前安装窄带滤光片以实现光谱隔离；各CCD对对应波长敏感，三个CCD的精确定位使得这三个CCD对同一个物空间成像(见附图3)；或者

方式二：采用响应光谱范围涵盖可见、红外波段的CCD相机加装带有窄带滤光片轮盘的镜头，该CCD相机应对所需要的光谱范围内的光波均敏感；带有窄带滤光片轮盘的镜头中的滤光片应根据所需要的波长范围选定，轮盘可在电机的控制下转动(见附图4)。

本发明的优点和积极效果：

本发明装置采用图像分析的方法来检测水果内部某一种或几种成分的含量。与此同时结合基于机器视觉的水果外观品质检测可实现一种内外联合检测的更为客观、准确、全面的水果评价方法。

【附图说明】：

图1为本发明涉及的基于多光谱图像的水果品质评价装置结构示意图；

图中：101为多光谱混合光源；102为多光谱成像***；103为检测箱；104为载物台；105为成像***连接线；106为带有图像采集卡的计算机；107为控制连接线；108为被测水果。

图2为本发明涉及的多光谱混合光源(101)的装置结构示意图；

图中：H为均匀照明光源，即无影灯式漫照明光源；C为多光谱相机安装孔；L为小光斑照明光源；

图3为采用具有彩色相机的分光光学结构的3CCD三光谱成像***结构示意图；

图中：1为成像物镜；2为分光棱镜组；3为第一波长窄带滤光片；4为第一波长敏感面阵CCD；5为第二波长窄带滤光片；6为第二波长敏感面阵CCD；7为第三波长窄带滤光片；8为第三波长敏感面阵CCD；9为时序控制器或数字快门；10为数字信号处理器；11为微型控制器；12为三路数据输出驱动器；13为数据存储器；14为图像信号输出。

图4为采用光谱范围极广的CCD相机加装带有窄带滤光片轮盘的镜头的多光谱成像***的结构示意图；

图中：15为CCD相机；16为成像镜头；17为伺服电机；18为窄带滤光片；19为滤光片固定旋转套；20为转轴；

图5为带有腐烂损伤的黄香蕉苹果的实际图像，A红外光、B红光、C绿光下采集到的图像；

图6为去除图5所示图像中的背景获得带有腐烂损伤的苹果的图像，A红外光、B红光、C绿光下采集到图像；

图7为带有腐烂损伤的苹果的红、绿、红外图像加以叠加获得的叠加图像；

图8为带有腐烂损伤的苹果的判定图像；

图9为表面完好的苹果的图像，A红外光、B红光、C绿光下采集到图像；

图10为表面完好的苹果的红、绿、红外图像加以叠加获得的叠加图像；

图11为表面完好的苹果的判定图像；

图12为光束在水果内部传播的光路示意图；

图13为经过背景去除以后的水果表面激光光板的图像；

图14为水果以及表面光斑的边缘提取图；

图15为水果硬度测量的对比数据。

图16为水果糖分检测的对比数据。

【具体实施方式】：

实施例1：

本发明提供的基于多光谱图像的评价水果品质的装置可采集多个特定的波长下水果的整体图像以及水果表面光斑图像，然后通过图像处理实现对水果的外观品质的检测以及水果内部某一种或几种成分的检测，从而实现水果的表面品质和内部品质的联合评价。

下面结合附图对本发明的具体实施方式作详细说明。

如图1所示，该装置包括，检测箱103，检测箱底部的载物台104，检测箱顶部的多光谱混合光源101和多光谱成像***102，检测箱外带有图像采集卡的计算机106通过成像***连接线105连接多光谱成像***102、通过控制连接线107连接多光谱混合光源101。

如附图2所示，多光谱混合光源101由无影灯式漫照明光源H和小光斑照明光源L组成。

无影灯式漫照明光源H可采用任何市售的大功率红、绿、红外LED，依据类似无影灯的结构组合而成，在满足亮度的前提下，形成在光照平面内的照度平均的照明光，用于水果表面整体图像采集。通过分析采集到得的图像可获取水果的大小、表面色泽、表面光滑度、表面缺陷等外观品质特征。

采用带有腐烂损伤的黄香蕉苹果与表面完好的黄香蕉苹果作为被测对象，如图5所示为带有腐烂损伤的黄香蕉苹果在红、绿、红外光下采集到的实际图像。去除图5所示图像中的背景获得带有腐烂损伤的苹果的图像如图6所示。将带有腐烂损伤的苹果的红、绿、红外图像加以叠加以增强水果的损伤部位与完好部位的对比度，获得的叠加图像如图7所示。对叠加图像图7进行边缘提取，获得带有腐烂损伤的苹果的判定图像，如图8所示。对表面完好的苹果的红、绿、红外图像同样进行背景去除、图像叠加、边缘提取步骤，获取的图像数据如图9、图10、图11所示。图9为去除背景后的表面完好的苹果的图像，图10为表面完好的苹果的叠加如想，图11为叠加图像边缘提取后的图像。依据图8和图11，利用经过边缘提取的苹果图像的上下及左右边缘之间的像素数，配合成像***的成像倍率可测量苹果的大小和直径。在图11中，表面完好的苹果图像，在图像的水平方向上为4线分布；而在图8中，带有损伤的苹果图像，在图像的水平方向上存在5线以及6线分布。依据边缘提取后的苹果图像中的水平分布的线数的特征的不同可辨别表面完好的水果以及具有表面损伤的水果。同时依据图8中表面损伤部位的边缘提取获得的边缘线围成的面积大小可对水果表面损伤情况定级。依据图9中苹果在红、绿、红外光下的图像的灰度分布可对水果的表面光泽及色度加以评判。

小光斑照明光源L可采用美国海洋光学公司的HL-2000-HP型号卤钨光源，用光纤A将该光源中的光引出，在光纤A的输出端首先利用凸透镜将光纤输出光变为空间中传播的平行光束，然后通过长春金龙光电科技有限公司的LP850高通滤光片滤除780nm以下波长的光，最后由凸透镜耦合入另一段光纤B，由光纤B引入小光斑照明光源L(图中略)。在光纤B出口处首先采用凸透镜将光纤输出光变为空间中传播的平行光束，再通过长焦距凸透镜聚焦于水果表面下方5mm左右以产生一个小的光斑。HL-2000-HP型号卤钨光源参数为：波长360-2000nm，功率20W，标准光纤接口。LP850参数为：直径25mm，厚度2mm，180nm-780nm光截止，825nm-2500nm光透过率大于80％。

多光谱成像***102可依据附图4所示结构实现。其中CCD相机15可采用日本滨松公司的近红外相机C8800，该相机光谱响应范围为450nm～1100nm，分辨率为1k*1k。伺服电机17可采用市面上任一款转轴转动角度可控的电机。在长春长春金龙光电科技有限公司可购买或订做450、532、650、880、905、940和1060nm介质膜窄带滤光片18用于含糖量及硬度的检测。

当激光照射到水果表面时，一部分光直接从表面被反射，另一部分光则进入水果内部，经过吸收、散射后通过一个香蕉形的路径从入射点附近被折射回表面，如图12所示为光束在水果内部的光路示意图。在获取带有激光光斑的苹果的图像后，通过寻找图像中的灰度最大值点确定光斑图像的中心，采用图像分割剔除背景图像以减小用于分析的数据量。如图13所示，通过计算机视觉***采集图像并去除背景和苹果其它表面图像后，得到激光光斑以及散射光环的图像。中心小圆为光束经过表面反射后得到的图像(S2)；外环为经过内部折射后的图像(S3)。如图14所示为经过图像处理以及边缘提取的带有激光光斑以及散射光环的苹果的图像。

不同高度的水果在同等直径的光束照射下，由于成像物距的差别，其产生的光斑图像大小会有一定的差异，同时对于聚焦光束而言，不同大小的水果由于高度不同照射到水果表面的光斑大小也不同，采用图像分割法，分割出光束经表面反射后获得的光斑图像S2，通过S2区域内像素的多少来判定水果的高度对于光斑图像采集的影响并按比例进行图像修正。由于水果表面是一个曲面，因此相机采集到的光斑的形状和尺寸应小于水果表面上光斑的实际尺寸，光斑各点强度也会有所区别，为消除不同水果表面曲面的差异引起的光斑轮廓与强度的差异，须要对图像进行进一步补偿处理。假设相机采集到的光斑强度为I_C，水果表面光斑强度为I_R，则根据波朗余弦定律(Kortuem，1969)，I_R与I_C的换算满足以下公式： $I_R=\frac{I_C}{\cos \mathrm{\θ}}=\frac{I_{C}D}{\sqrt{D^2-d^2}}$

其中D为所测位置的水果表面的半径；d为光斑轮廓边缘与光斑中心的最大距离。D值获取：提取外观品质测量时获取的水果整体图像，剥离背景与水果图像，针对水果图像按照以下公式 $x_0=\frac{1}{N}\mathrm{\Σ}{x}_{\mathrm{ij}},$ $y_0=\frac{1}{N}\mathrm{\Σ}{y}_{\mathrm{ij}}$ 获取水果图像中心点位置，通过分析光斑图像最大灰度点(x₁，y₁)＝Max{H(x_ij，y_ij)}获取光束照射位置，在(x₀，y₀)与(x₁，y₁)确定的直线上 $D=\sqrt{{(x_{\max }-x_{\min })}^2+{(y_{\max }-y_{\min })}^2}.$ 另光斑轮廓上的点坐标为(x_mn，y_mn)则： $d=\max \left\{\sqrt{{(x_{\mathrm{mn}}-x_1)}^2+{(y_{\mathrm{mn}}-y_1)}^2}\right\}$

光斑轮廓的变形与水果的表面弯曲度有关，可通过以下公式来补偿(Zhaosheng Qing，2007)： $S^{\′}=\frac{2S}{(1+\cos \mathrm{\θ})}.$ 在对图像进行两次补偿后，统计不同波长下的散射光环S3中的像素个数或者灰度直方图作为实验数据集A。

在实际测量过程中先选取一部分的苹果作为标准集，得到其不同波长下的散射光环S3中的像素个数或者灰度直方图作为实验数据集A。再采用意大利BREUZZI公司的FT327型果实硬度计测量水果被光斑照射的位置的硬度，作为比较数据集B。采用人工神经网络选法，以数据集A为输入数据，以数据集B作为输出数据，建立数学模型C，即可得到水果表面的散射光环与苹果硬度的对应换算关系。在实际测量中，测量时获取每个待测苹果在拨通波长下的散射光环的数据作为评判数据集D，利用已知的数学模型C，即可推导出该苹果的硬度。图15所示为以40个黄香蕉苹果为标准集，建立模型后进行硬度测量的实验数据，并同样采用意大利BREUZZI公司的FT327型果实硬度计的测量结果作为验证。

在小光斑照明光源中如采用对糖或酸敏感的波长建立数据集A，采用化学方法测定水果糖分或酸的含量建立数据集B，得到相应的数学模型，即可用于糖分或酸含量的测量。如图16所示为采用红富士苹果为样品，880、905、940、1060、1200、1400nm为特征波长，福建省泉州光学仪器厂生产的WYT-4型手持糖度仪测量值作为对比数据获取的水果糖分测量的实验结果。

本发明实施例中装置的工作过程如下：

将被测水果108置于检测箱103内，通过软件开启多光谱混合光源101，多光谱混合光源的结构如图2所示，由于此实例中无影灯式漫照明光源H和小光斑照明光源L光谱范围无重叠，因此可将光源常开。

测量时利用软件控制伺服电机依次将450、532、650、880、905、940和1060nm窄带滤光片置于成像镜头前，每次更换窄带滤光片前通过CCD相机15依次采集水果在450、532、650、880、905、940和1060nm下的整体图像。450nm、532nm和650nm分别对应蓝光、绿光和红光，可分别获取蓝色、绿色、红色LED漫照明下的水果整体图像，结合成像镜头的放大倍数，可用于检测水果的大小、表面颜色、表面缺陷、形状等特征。小光斑照明光源L，用于在水果表面投射一个小的光斑，光斑内的光束经水果内部吸收、散射和折射后在其光斑周围产生散射光环。水果内部各种成分的含量不同决定了对各个波长光的吸收和散射的不同。选取适当的波长针对不同的被测成分，该波长下水果表面的散射光环的直径、环宽度、灰度分布不同，从而实现相应成分的测量。此实例中的880、905、940和1060nm窄带滤光片使得CCD相机可采集相应波长下水果表面的光斑和其周围散射光环的图像。由于本实例采用的是聚焦光束，因此水果表面光斑的大小可用于检测水果的高度，并结合散射光环的直径、宽度以及内部的灰度分布情况用于水果内部水果坚硬度的测量。

在此实例中也可不选取880、905、940和1060nm的波长，而是针对不同的水果及所需测量的成分对特定波长的吸收特性不同来选取其它的特定波长，以检测水果内部另一种或几种成分的检测，从而实现水果的表面品质和内部品质的联合检测。

本领域的专业技术人员都清楚，本发明的思想可采用上面列举的具体实施方式以外的其它方式实现。

Claims (5)

1.一种基于多光谱图像的水果品质评价装置，其特征在于，该装置包括检测箱，检测箱内底部的载物台，检测箱顶部的多光谱混合光源和多光谱成像***；检测箱外带有图像采集卡的计算机通过成像***连接线与多光谱成像***连接，一方面控制多光谱成像***的图像采集过程，另一方面获取多光谱成像***采集到的水果图像；所述的计算机同时通过控制连接线与多光谱混合光源连接，用于控制多光谱混合光源中各个照明部分的开关；

所述的多光谱混合光源包括小光斑照明光源和具有一组窄带光谱波长的无影灯式漫照明光源，无影灯式漫照明光源用于产生具有红、绿、蓝及近红外波长的大范围照明光以照明整个水果，小光斑照明光源用于在水果表面投射具有红外波长的光斑；

所述的多光谱成像***用于光谱隔离成像，该***针对多光谱混合光源中的每一个窄带波长分别对水果成像，所成图像在光谱上相互隔离无串扰。

2.根据权利要求1所述的装置，其特征在于，所述的无影灯式漫照明光源可由一组波长不同的LED组成，用于产生光强度分布均匀的照明光以照明整个水果，不同波长的光可同时照明也可依次照明；无影灯式漫照明光源也可由含有所有所需波长的卤素灯组成，其分布结构借鉴医用无影灯的结构。

3.根据权利要求1所述的装置，其特征在于，所述的小光斑照明光源具有红外波长的激光光束或聚焦光束，以在水果表面投射一个小的光斑；不同波长的光斑可同时照明也可依次照明；小光斑照明光源可由不同波长的红外激光器合束产生，红外激光器为光纤输出的半导体激光器LD或光纤激光器；小光斑照明光源也可由相应波长的半导体发光二极管LED、卤素灯或红外灯经过滤波后聚焦产生。

4.根据权利要求1至3中任一项所述的装置，其特征在于，所述的多光谱成像***可通过两种方式实现，应对被测水果清晰成像，成像范围应略大于被测水果，其中，

方式一：采用具有彩色相机的分光光学结构的3CCD三光谱成像***来实现，即相机中安装分光棱镜将物镜收集到的光束按照波长分别送往三个面阵CCD，每个面阵CCD前安装窄带滤光片以实现光谱隔离；各CCD对对应波长敏感，三个CCD的精确定位使得这三个CCD对同一个物空间成像；或者

方式二：采用响应光谱范围涵盖可见、红外波段的CCD相机加装带有窄带滤光片轮盘的镜头，该CCD相机应对所需要的光谱范围内的光波均敏感；带有窄带滤光片轮盘的镜头中的滤光片应根据所需要的波长范围选定，轮盘可在电机的控制下转动。

5.根据权利要求1至3中任一项所述的装置，其特征在于，所述的无影灯式漫照明光源所使用的近红外波长和小光斑照明光源所使用的红外波长之间应避免重叠，此时这两部分光源可处于常亮状态；如测量需要时，这两部分光源的波长之间可以相互重叠，存在重叠时，须通过控制这两部分光源依次照明。

Images