CN113256575B - 一种基于结构化高光谱***的水果缺陷检测方法 - Google Patents
一种基于结构化高光谱***的水果缺陷检测方法 Download PDFInfo
- Publication number
- CN113256575B CN113256575B CN202110523323.9A CN202110523323A CN113256575B CN 113256575 B CN113256575 B CN 113256575B CN 202110523323 A CN202110523323 A CN 202110523323A CN 113256575 B CN113256575 B CN 113256575B
- Authority
- CN
- China
- Prior art keywords
- image
- projector
- structured
- hyperspectral
- fruit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 235000013399 edible fruits Nutrition 0.000 title claims abstract description 40
- 238000001514 detection method Methods 0.000 title claims abstract description 27
- 230000007547 defect Effects 0.000 title claims abstract description 24
- 238000001228 spectrum Methods 0.000 claims abstract description 23
- 239000013307 optical fiber Substances 0.000 claims abstract description 8
- 208000034656 Contusions Diseases 0.000 claims description 36
- 208000034526 bruise Diseases 0.000 claims description 24
- 238000004422 calculation algorithm Methods 0.000 claims description 16
- 238000000034 method Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 6
- 238000006303 photolysis reaction Methods 0.000 claims description 4
- 230000015843 photosynthesis, light reaction Effects 0.000 claims description 4
- 239000000835 fiber Substances 0.000 claims description 3
- 238000012935 Averaging Methods 0.000 claims description 2
- 235000006040 Prunus persica var persica Nutrition 0.000 description 22
- 244000144730 Amygdalus persica Species 0.000 description 14
- 238000005286 illumination Methods 0.000 description 11
- 240000005809 Prunus persica Species 0.000 description 8
- 230000003595 spectral effect Effects 0.000 description 7
- 230000006378 damage Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000011218 segmentation Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000002950 deficient Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000036541 health Effects 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 230000003902 lesion Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 210000001519 tissue Anatomy 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 229910052736 halogen Inorganic materials 0.000 description 3
- 150000002367 halogens Chemical class 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000035515 penetration Effects 0.000 description 3
- 238000002310 reflectometry Methods 0.000 description 3
- WFKWXMTUELFFGS-UHFFFAOYSA-N tungsten Chemical compound [W] WFKWXMTUELFFGS-UHFFFAOYSA-N 0.000 description 3
- 229910052721 tungsten Inorganic materials 0.000 description 3
- 239000010937 tungsten Substances 0.000 description 3
- 208000027418 Wounds and injury Diseases 0.000 description 2
- 238000000701 chemical imaging Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000004020 conductor Substances 0.000 description 2
- 208000014674 injury Diseases 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000010186 staining Methods 0.000 description 2
- 241000238558 Eucarida Species 0.000 description 1
- 235000007688 Lycopersicon esculentum Nutrition 0.000 description 1
- 244000141359 Malus pumila Species 0.000 description 1
- 238000004497 NIR spectroscopy Methods 0.000 description 1
- 244000025272 Persea americana Species 0.000 description 1
- 235000008673 Persea americana Nutrition 0.000 description 1
- 240000003768 Solanum lycopersicum Species 0.000 description 1
- 229920000995 Spectralon Polymers 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 235000021016 apples Nutrition 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 210000002615 epidermis Anatomy 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 238000003306 harvesting Methods 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000011534 incubation Methods 0.000 description 1
- 239000010410 layer Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000000465 moulding Methods 0.000 description 1
- 238000003333 near-infrared imaging Methods 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 206010033675 panniculitis Diseases 0.000 description 1
- 230000035790 physiological processes and functions Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000003014 reinforcing effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000009758 senescence Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000004611 spectroscopical analysis Methods 0.000 description 1
- 210000004304 subcutaneous tissue Anatomy 0.000 description 1
- 239000002344 surface layer Substances 0.000 description 1
- 230000003746 surface roughness Effects 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000002023 wood Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20152—Watershed segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30128—Food products
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
本发明提供一种基于结构化高光谱***的水果缺陷检测方法,它检测准确率高,尤其适合于对早期肉眼不可见的淤伤水果的检测。所述结构化高光谱***包括高光谱相机、光源、光纤导管、投影仪、计算机,计算机与高光谱相机、投影仪电连接,光源通过光纤导管与投影仪相连,高光谱相机、投影仪、水果放置在密闭黑箱中;通过计算机编程产生正弦条纹,将正弦条纹通过投影仪投影至水果,利用高光谱相机拍摄不同相位图片,再将相位图片解模为完整图片,并获取结构化光谱,对水果缺陷进行识别。
Description
技术领域
本发明涉及水果缺陷检测***装置和检测方式,具体是一种无损检测水果早期肉眼不可见淤伤的检测方法。
技术背景
瘀伤是在水果采后处理的各阶段(采摘、分级、包装、运输及销售等)都有可能发生的常见损伤类型,即使是轻微的淤伤也会降低消费者的接受度。另一方面,淤伤的存在加速了水果老化的生理过程,导致水果的衰老和腐败。更重要的是,对大部分果核类水果淤伤发生的早期很难用肉眼发现,根据淤伤程度的不同,淤青部位的存在可能需要长达12小时的潜伏期才能显现,对于一些果皮颜色较深的水果甚至经过一段时间后也没有明显的褐变。
目前对这种肉眼不可见的缺陷的没有有效的检测方法,往往到了销售环节或者消费者食用时才发现。为了解决这一难题,学者们尝试使用光学无损检测技术(如多通道高光谱/多光谱成像、近红外光谱等)识别苹果、鳄梨和番茄等的瘀伤。目前光学***一般采用均匀照明模式用于食品和农产品的成像检测***,通过将光源对称地安装在物体周围或多个光源光线均匀地分布,减少不必要的阴影。但是,由于检测深度有限,对内部淤伤的检测精度较低,在实际检测中存在一定的困难。
发明内容
本发明的目的是提供一种基于结构化高光谱***的水果缺陷检测方法,它检测准确率高,尤其适合于对早期肉眼不可见的淤伤水果的检测。
本发明所述的基于结构化高光谱***的水果缺陷检测方法,所述结构化高光谱***包括高光谱相机、光源、光纤导管、投影仪、计算机,计算机与高光谱相机、投影仪电连接,光源通过光纤导管与投影仪相连,高光谱相机、投影仪、水果放置在密闭黑箱中;通过计算机编程产生正弦条纹,将正弦条纹通过投影仪投影至水果,利用高光谱相机拍摄不同相位图片,再将相位图片解模为完整图片,并获取结构化光谱,对水果缺陷进行识别。
本发明的有益效果:本发明采用的是一种新型结构光照明模式,基本原理是测量空间调制传递函数(s-MTF)以定量描述光在介质中的吸收和散射过程,通过计算机编程产生不同模式的光(一般采用正弦条纹光),将该正弦条纹通过投影仪投影至被测物,利用高光谱相机拍摄不同相位图片,再将相位图片转化为完整图片。与普通光照模式相比,结构光具有许多优点,首先通过改变正弦波的频率,可以实现不同穿透深度的光照模式,这为更好地检测水果的内部/肉眼不可见缺陷提供了可能;其次,结构光图像包含弹性光子(ballistic photons)和弱散射光子(weakly-scattered photons)的信息,从而使图像产生更好的对比度和分辨率。
本发明所述的结构化高光谱***是在结构光***中增加高光谱相机,结合结构光和高光谱两种技术的优点以达到检测水果早期瘀伤的目的。***组成包括高光谱相机、光源、计算机和图像采集软件组成,整个装置放置在密闭黑箱中具体包括:相机(波段范围为690~940nm,共有25个波段)、可调光源为150W的卤素钨灯、光纤导管、投影仪(DLiCEL5500-Fiber,Digital Light Innovations,Austin,TX,USA),图像采集软件为高光谱相机配套软件。
根据正弦结构光模式,样本采集三次,分别是在0,2π/3和4π/3三个相位处,通过图像解模后,可以获得完整图像信息。对于图像感兴趣区域的平均光谱值,首先获得各像素点处解模后的光谱,随后将感兴趣区域所有像素点光谱值平均。
正弦图像解模即是从采集到的模式图像中恢复直流分量DC(Direct component)和调制分量AC(amplitude component),通过正弦照明模式在0,2π/3和4π/3处的抵消,它可以很容易得到如下的表达式:
其中I1、I2、I3为三幅不同相位图像,彼此间的相位差为2π/3。
用结构化高光谱***采集样本漫反射图像的过程如下:通过MATLAB(The MathWorks,Inc.,Natick,MA,USA)生成不同频率不同相位的正弦图案,将其导入与投影仪配套的软件中(DLP CEL conductor control software),控制投影仪产生结构光照射在样本表面,高光谱相机采集漫反射图像并实时保存在计算机中。
作为改进采用专业公司(Digital Light Innovations,Austin,TX,USA)开发的投影仪CEL5500,且有配套的软件可控制结构光的输出,相较于简单的商用投影仪,它的性能更稳定,使用更方便;
作为改进,高光谱相机选用690-940nm范围的近红外成像模块,此光谱范围适用于水果品质检测。
作为改进,选用实时成像的Snapshot近红外高光谱快照相机,以高帧数进行三维高光谱影像(hyperspectral data cube)取像,缩短采集时间。
作为改进,选取正弦照明模式的多组空间频率,采用60,100,150cycles/m,较高的频率导致较少的光透过介质,光线大多从表面反射,因此提高了图像细节的分辨率;而较低的频率使得光线穿透较深,得到的反射图像能观察到内部的信息,却使得表面信息模糊。不同瘀伤程度的果实,由于缺陷区域的深度不同,对应最适的空间频率也有差别,因此根据应用程序的不同,在检测分辨率和深度之间选择一种权衡,筛选出一个或几个组合的最适空间频率。
本发明提供一种能够对水果早期肉眼不可见的淤伤进行识别并分类的结构化高光谱检测***及方法。该***包括:Snapshot NIR高光谱相机、卤素钨灯、光纤导管、投影仪、计算机以及图像采集软件。通过计算机编程产生正弦条纹光,通过投影设备投影至被测物,利用高光谱相机拍摄0,2π/3和4π/3三个相位图片,再将相位图片解模为完整图片,并获取光谱信息。该淤伤检测方法是:选取部分健康和淤伤样本,手动提取淤伤与健康区域的结构光光谱信息,并选取特征波段,随后,提取样本在特征波段处的结构光图像,进行图像解模及预处理,根据图像处理算法识别淤伤区域。相比普通光照模式,该***具有许多优点:首先通过改变正弦波的频率,可以实现不同穿透深度的光照模式;其次,具有多波段的光谱及图像信息;此外,结构光图像包含弹性光子和弱散射光子的信息,从而使图像产生更好的对比度和分辨率。
附图说明
图1为本发明的结构化高光谱***的结构示意图;
图2为实验中模拟水果淤伤发生的示意图;
图3为桃子淤伤发生不同时间段的外观示意图;
图4为在60、100、150c/m三个空间频率下的0,2π/3和4π/3三个相位处的图像;
图5为在60、100、150c/m三个空间频率下解模后得到的直流分量DC(Directcomponent)图像和调制分量AC(amplitude component)图像;
图6为使用分水岭算法对不同空间频率、不同波段下的结构光解模图像的淤伤识别分割结果;
图7为健康桃子与淤伤桃子的在空间频率为60/m处的结构高光谱图;
图8为健康桃子与淤伤桃子的在空间频率为100/m处的结构高光谱图;
图9为健康桃子与淤伤桃子的在空间频率为150/m处的结构高光谱图;
图10为健康桃子在三种空间频率处的结构高光谱图对比;
图11为淤伤桃子在三种空间频率处的结构高光谱图对比;
图12为在三个特征波段、三个不同空间频域下直流(DC)、交流(AC)和比值图像(Ratio)。
具体实施方式
一种结构化高光谱技术对水果缺陷检测的方法,具体实施方法如下:
1.材料与方法
‘湖景’水蜜桃采摘自江苏省无锡市阳山地区。采摘处于商业成熟度的桃子,采摘后立即运往实验室,放入冰箱进行进一步研究。以直径为74mm、重量为161g的木球为实验材料,以木球击打桃子赤道部位,通过调整木球下落高度来改变撞击能量,如图2所示。在本研究中,冲击能量为0.4J,木球坠落高度约为22mm,击打后不能立即清晰观察到损伤。淤青后,分别于淤青后0h,4h,24h分别对样本进行图像采集,监测淤伤发生过程。图3为水蜜桃样本在淤伤发生后不同时间段的外观图像,以及24h后切开表皮后的果肉图像。
2.图像及光谱采集
结构化高光谱***组由Snapshot NIR高光谱相机(IMEC,SNAOSHOT-NIR,波段范围为690~940nm,光谱分辨率为16nm)、150W的可调卤素钨灯、光纤导管、投影仪(DLiCEL5500-Fiber,Digital Light Innovations,Austin,TX,USA)及图像采集软件构成,如图1所示。通过MATLAB(The MathWorks,Inc.,Natick,MA,USA)生成不同频率不同相位的正弦图案,根据初步研究,选择了60、100和150m-1三个空间频率,将其导入与投影仪配套的软件中(DLP CEL conductor control software),控制投影仪产生结构光照射在样本表面。光源设置为150W,相对于垂直轴的入射角为15°。本研究共采集由600-1000nm处25个波段。将每个桃子样品置于可调节的台上,使其淤伤区域朝向摄像机。在正弦照明模式下,从样本中每个波段分别获得3幅反射图像,三相偏移量分别为0,2π/3和4π/3,这是在MATLAB(theMathworks,Inc.,Natick,MA,USA)中生成的8位灰度位图图像。因此,每个样本共获得225幅图像(25个波段x3个空间频率×3个相位)。图4为样本在0,2π/3和4π/3三个相位处及60,100,150cycles/m三个空间频率下的图像。
3.图像解模处理
首先对获得的图像进行校正,以纠正由投影仪造成的非均匀模式投影。通过由98%反射率的Spectralon板(Labsphere,Inc,North Sutton,NH)产生的全反射信号和暗信号响应(即相机被盖上,完全阻挡任何入射光),根据下式
其中I为校正后的反射率图像,R为原始样本图像,D为暗参考图像,W为Spectralon面板的反射率图像。对三个阶段的每个波长的每个空间频率进行图像校正。
正弦图像解模即是从采集到的模式图像中恢复直流分量DC(Direct component)和调制分量AC(Amplitude component),通过正弦照明模式在0,2π/3和4π/3处的抵消,它可以很容易得到如下的表达式:
其中I1、I2、I3为三幅不同相位图像,彼此间的相位差为2π/3。图5为解模后的AC和DC图像。
4.淤伤识别算法
淤伤识别步骤为:1)、提取感兴趣区域的结构光谱;2)、选取区分淤伤样本的特征波段;3)、提取特征波段对应的结构光解模图像;4)、图像处理分割淤伤区域。
随机选取40个健康和40个淤伤桃子,将淤伤区域及对应的健康区域作为感兴趣区域,首先将感兴趣区域内所有像素点对应相位的光谱提取,进行解模后获得各像素点处的结构光谱,随后将感兴趣区域所有像素点的结构光谱值平均,即获得了单个样本的感兴趣区域结构光谱。利用连续投影算法SPA(Successive projections algorithm)提取区分健康样本与淤伤缺陷样本的特征波段。提取样本在特征波段处的结构光相位图像,进行图像解模后获得特征波段处AC和DC图像。低空间频率下的原始AC图像具有更好的透光性,对表面颜色的干扰较小,然而,它们在缺陷组织和健康组织之间没有提供高对比。随着空间频率的增加,果皮下的缺陷区域变得清晰可辨;然而,由于提高了分辨率和对比度,样品的其他表面特征(如表面颜色、纹理和染色)也变得高度可见。因此,提出了一种图像处理步骤,以减少或最小化表面特征的影响,同时增加缺陷组织和健康组织之间的对比度。为此,利用不同空间频率的AC图像生成每个波长的比值图像:
其中Ratiok为第k个波段与ACk的比值图像,i为i1=60m-1、i2=100m-1、i3=150m-1三个空间频率对应的三个AC图像。
使用分水岭算法(watershed algorithm)对健康和淤伤桃子进行识别,分水岭是定义在灰度图像上的变换,适用于单波段或比值灰度图像。分水岭分割适用于各种图像分割问题,适用于对比度较高的图像。分水岭变换像对待地形图一样对待它所操作的图像,每个点的亮度代表其高度(即亮的区域高,暗的区域低),并找到沿着山脊顶部的线。与褐变区相比,未褐变区颜色更亮。本研究对每幅AC、ratio和DC图像进行分水岭算法,定位淤伤区域的边缘。利用8连通邻域对腐烂桃和健康桃的图像进行分割,进行流域计算。然后根据原图像的强度值将分割后的图像分为正常区域和病变区域,得到最终的分割图。最后,使用形态学操作从最终的分割图中检测病变区域。由于DC图像与传统均匀光照条件下获得的图像相似,因此也采用了相同的分水岭算法分类,将DC结果与AC、比值成像结果进行比较。由于三个空间频率得到的DC图像基本相同,所以只使用60m-1空间频率的DC图像进行分割和分类。由于含有多特征波段图像信息,对于同一样本将多波段图像下的识别区域叠加后定义为最终的识别区域。图6为使用分水岭算法对不同空间频率、波段下的结构光解模图像的识别结果。
5.实验结果
5.1光谱分析
图7-9显示了正常桃子与缺陷桃子(包括淤伤发生后0h,12h及24h样本)平均结构光光谱的差异,总体上损伤样本的光谱值低于将康样本的光谱值,但仍可发现光谱特征上的差异,例如几个波峰波谷处的强度的差异。而不同频率之间的光谱波形基本相同,主要是光谱反射值的大小差异,频率越大光谱反射值越小,如图10-11所示。因波形基本相同,仅使用60cycle/m空间频率的光谱提取特征波段,使用连续投影算法SPA(Successiveprojections algorithm)提取健康样本与淤伤缺陷样本差异的特征波段,为下一步图像识别减少冗余数据。根据算法挑选出三个特征波段:690,715,729nm。
5.2结构光图像处理
图12为水蜜桃在淤伤后第24h,在三个空间频率和三个特征波段波长下的直流(DC)、交流(AC)和比值图像(Ratio)。然而,AC图像清楚地显示了腐烂的区域,从而显示了SIRI技术在检测皮下组织异常方面的优越能力。当空间频率从60m-1增加到150m-1时,桃表面纹理的分辨能力增强(表面粗糙度增加)。这是因为随着空间频率的增加,光穿透更多地局限于桃的表层。这意味着,反射光在从果实组织中重新出现之前只经历有限或更少的散射事件,从而有助于提高空间分辨率,并使含有淤伤组织的表层或次表层具有更好的分辨率特征。此外,由于相机探测器和投影仪的光子效率降低,以及较长波长反射系数降低,AC图像的对比度通常随波长的增加而降低。总体上,3个波段AC图像均能识别出桃的病变部位,此外,比值图像显示了更清晰的病变区域,而抑制了其他表面特征。
5.3基于特征波段下结构光图像的水蜜桃淤伤识别
使用分水岭算法对图像进行识别分割,图6显示了同一样本在不同频率和波段处的淤伤识别分割效果。可以看出随着空间频率的增加,淤伤识别区域逐渐增加;而不同波段处差异也不相同,尤其是在低空间频率下。
由表1可知,淤伤发生后不同时间的检测结果有差异,不同的空间频率的分类结果也各不相同,比如在淤伤发生24h后检测结果最佳,结构光图像的检测效果基本达100%,这是因为随着时间的推移,淤伤部位逐渐氧化褐变,随着时间的推移会进一步变成肉眼可见的斑块。通过对比发现,DC图像的检测效果远远低于AC图像或者由AC变换得到的比值图像,尤其是淤伤发生早期(0、4h),这进一步验证了结构光采集得到的解模图像对肉眼不可见的浅层内部缺陷有很好的增强作用。除了要正确识别缺陷样本外,对健康样本的误判率也要尽可能的降低,表1最后一行显示了对健康样本的识别率,可以看到随着空间频率的升高,健康样本的误判率也提高。这是由于高空间频率提高了图像的分辨率和对比度,样品的其他表面特征(如表面颜色、纹理和染色)也变得高度可见,而这些表面特征容易被误判。通过图像比值处理,健康样本的误判率降至2.5%,可有效减少误判。
总体来说,高光谱结构光图像首先运用多波段优势,选取了适合检测淤伤样本的特征波段,提取特征波段对应的结构光图像,随后利用结构光图像对缺陷区域的增强效果,有效识别了早期肉眼不可见的淤伤样本。
表1基于分水岭算法的水蜜桃样本分类准确率(%)
Claims (5)
1.一种基于结构化高光谱***的水果缺陷检测方法,其特征在于:所述结构化高光谱***包括高光谱相机、光源、光纤导管、投影仪、计算机,计算机与高光谱相机、投影仪电连接,光源通过光纤导管与投影仪相连,高光谱相机、投影仪、水果放置在密闭黑箱中;计算机通过MATLAB软件生成60、100、150cycles/m三个空间频率下各三个相位正弦条纹,同一频率下的三个相位彼此间的相位差为2π/3;将其导入与投影仪配套的软件中,控制投影仪产生结构光照射在水果表面,将正弦条纹通过投影仪投影至水果,高光谱相机采集不同相位漫反射图像并实时保存在计算机中;将相位图片解模时通过相位抵消获得完整图像信息,包括调制分量AC图像:
其中I1、I2、I3为同一频率下三个不同相位图像;利用三个不同空间频率的AC图像生成每个波长的比值图像Ratiok:
其中Ratiok为第k个波段与ACk的比值图像,ACk,i是i为i1=60m-1、i2=100m-1、i3=150m-1三个空间频率对应的三个AC图像,通过比值图像Ratiok检测水果缺陷。
2.如权利要求1所述的基于结构化高光谱***的水果缺陷检测方法,其特征是:对每幅AC图像、比值图像Ratiok采用进行分水岭算法,定位水果淤伤区域的边缘。
3.如权利要求1所述的基于结构化高光谱***的水果缺陷检测方法,其特征在于:提取图像上感兴趣区域的结构光谱;利用连续投影算法选取区分正常水果与淤伤水果的特征波段;提取特征波段对应的结构光解模图像;采用图像处理分割得到具有水果淤伤区域的图像。
4.如权利要求3所述的基于结构化高光谱***的水果缺陷检测方法,其特征在于:
对于图像感兴趣区域的平均光谱值,首先获得感兴趣区域各像素点处解模后的光谱,随后将感兴趣区域所有像素点光谱值平均得到图像感兴趣区域的平均光谱值。
5.如权利要求1所述的基于结构化高光谱***的水果缺陷检测方法,其特征在于:投影仪是位于美国德克萨斯州奥斯汀市的Digital Light Innovations生产的型号为DLiCEL5500-Fiber的投影仪。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110523323.9A CN113256575B (zh) | 2021-05-13 | 2021-05-13 | 一种基于结构化高光谱***的水果缺陷检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110523323.9A CN113256575B (zh) | 2021-05-13 | 2021-05-13 | 一种基于结构化高光谱***的水果缺陷检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113256575A CN113256575A (zh) | 2021-08-13 |
CN113256575B true CN113256575B (zh) | 2023-10-27 |
Family
ID=77181755
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110523323.9A Active CN113256575B (zh) | 2021-05-13 | 2021-05-13 | 一种基于结构化高光谱***的水果缺陷检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113256575B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114354599B (zh) * | 2021-12-15 | 2024-01-05 | 江苏大学 | 基于空间频域成像的作物早期病害便携式检测装置与方法 |
US11861897B2 (en) | 2021-12-15 | 2024-01-02 | Jiangsu University | Portable apparatus for detecting early crop diseases based on spatial frequency domain imaging and detection method using same |
CN117347312B (zh) * | 2023-12-06 | 2024-04-26 | 华东交通大学 | 基于多光谱结构光的柑橘连续检测方法和设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1900741A (zh) * | 2005-11-18 | 2007-01-24 | 北京航空航天大学 | 高光谱全偏振三维成像集成探测*** |
CN109709103A (zh) * | 2019-01-17 | 2019-05-03 | 北京农业智能装备技术研究中心 | 一种环形条纹打光成像的柑橘早期腐果识别***及方法 |
CN112488998A (zh) * | 2020-11-19 | 2021-03-12 | 安徽农业大学 | 一种基于条纹投影的苹果果梗和花萼检测方法 |
WO2021084023A1 (en) * | 2019-11-01 | 2021-05-06 | Kings College London | Dental imaging |
-
2021
- 2021-05-13 CN CN202110523323.9A patent/CN113256575B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1900741A (zh) * | 2005-11-18 | 2007-01-24 | 北京航空航天大学 | 高光谱全偏振三维成像集成探测*** |
CN109709103A (zh) * | 2019-01-17 | 2019-05-03 | 北京农业智能装备技术研究中心 | 一种环形条纹打光成像的柑橘早期腐果识别***及方法 |
WO2021084023A1 (en) * | 2019-11-01 | 2021-05-06 | Kings College London | Dental imaging |
CN112488998A (zh) * | 2020-11-19 | 2021-03-12 | 安徽农业大学 | 一种基于条纹投影的苹果果梗和花萼检测方法 |
Non-Patent Citations (1)
Title |
---|
基于Hyperion影像的高光谱水汽含量反演的算法比较研究;刘安伟;刘良云;张浩;王志慧;;遥感技术与应用(第04期);58-67 * |
Also Published As
Publication number | Publication date |
---|---|
CN113256575A (zh) | 2021-08-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113256575B (zh) | 一种基于结构化高光谱***的水果缺陷检测方法 | |
Bhargava et al. | Fruits and vegetables quality evaluation using computer vision: A review | |
Jia et al. | Essential processing methods of hyperspectral images of agricultural and food products | |
Li et al. | Multispectral detection of skin defects of bi-colored peaches based on vis–NIR hyperspectral imaging | |
Li et al. | Fast detection and visualization of early decay in citrus using Vis-NIR hyperspectral imaging | |
Tian et al. | Detection of early decay on citrus using hyperspectral transmittance imaging technology coupled with principal component analysis and improved watershed segmentation algorithms | |
Cubero et al. | Advances in machine vision applications for automatic inspection and quality evaluation of fruits and vegetables | |
Saldaña et al. | Computer vision applied to the inspection and quality control of fruits and vegetables | |
Shearer et al. | Color and defect sorting of bell peppers using machine vision | |
Blasco et al. | Recognition and classification of external skin damage in citrus fruits using multispectral data and morphological features | |
Yu et al. | Identification of crack features in fresh jujube using Vis/NIR hyperspectral imaging combined with image processing | |
Ganiron | Size properties of mangoes using image analysis | |
Wang et al. | Outdoor color rating of sweet cherries using computer vision | |
CN106442561A (zh) | 用于检测柑橘表皮缺陷的在线图像采集***及方法 | |
Zhang et al. | Identification of common skin defects and classification of early decayed citrus using hyperspectral imaging technique | |
CN206132659U (zh) | 用于检测柑橘表皮缺陷的在线图像采集*** | |
Wang et al. | Identification of tomatoes with early decay using visible and near infrared hyperspectral imaging and image‐spectrum merging technique | |
Li et al. | Detection of early decay in navel oranges by structured-illumination reflectance imaging combined with image enhancement and segmentation | |
Yin et al. | Detection of early bruises on loquat using hyperspectral imaging technology coupled with band ratio and improved Otsu method | |
Vakilian et al. | An apple grading system according to European fruit quality standards using Gabor filter and artificial neural networks | |
Dong et al. | Detection of thrips defect on green-peel citrus using hyperspectral imaging technology combining PCA and B-spline lighting correction method | |
Sun et al. | Detection of early stage bruise in apples using optical property mapping | |
Blasco et al. | Quality evaluation of citrus fruits | |
Torres et al. | Setting up a methodology to distinguish between green oranges and leaves using hyperspectral imaging | |
Yin et al. | Hyperspectral classification for identifying decayed oranges infected by fungi |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |