CN105842173A - 一种高光谱材质鉴别方法 - Google Patents
一种高光谱材质鉴别方法 Download PDFInfo
- Publication number
- CN105842173A CN105842173A CN201610395755.5A CN201610395755A CN105842173A CN 105842173 A CN105842173 A CN 105842173A CN 201610395755 A CN201610395755 A CN 201610395755A CN 105842173 A CN105842173 A CN 105842173A
- Authority
- CN
- China
- Prior art keywords
- data
- std
- reflectance
- illumination
- spectrum
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000000463 material Substances 0.000 title claims abstract description 134
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000001228 spectrum Methods 0.000 claims abstract description 58
- 238000005286 illumination Methods 0.000 claims abstract description 38
- 230000003595 spectral effect Effects 0.000 claims abstract description 37
- 238000004611 spectroscopical analysis Methods 0.000 claims description 16
- 239000000126 substance Substances 0.000 claims description 10
- 238000012850 discrimination method Methods 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 9
- 238000003384 imaging method Methods 0.000 claims description 8
- 238000000701 chemical imaging Methods 0.000 claims description 7
- 238000005388 cross polarization Methods 0.000 claims description 6
- 238000009826 distribution Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 5
- 230000000007 visual effect Effects 0.000 claims description 5
- 230000008901 benefit Effects 0.000 claims description 4
- 230000033228 biological regulation Effects 0.000 claims description 3
- 238000013499 data model Methods 0.000 claims description 3
- 230000004069 differentiation Effects 0.000 claims description 3
- 229940069016 go-dry Drugs 0.000 claims description 3
- 230000003993 interaction Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 241000532370 Atla Species 0.000 claims description 2
- AEEAZFQPYUMBPY-UHFFFAOYSA-N [I].[W] Chemical compound [I].[W] AEEAZFQPYUMBPY-UHFFFAOYSA-N 0.000 claims description 2
- 238000013145 classification model Methods 0.000 claims description 2
- 229910052736 halogen Inorganic materials 0.000 claims description 2
- 150000002367 halogens Chemical class 0.000 claims description 2
- 238000013507 mapping Methods 0.000 claims description 2
- 238000000605 extraction Methods 0.000 abstract description 2
- 238000007781 pre-processing Methods 0.000 abstract 1
- 238000011160 research Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 239000000123 paper Substances 0.000 description 3
- 239000004033 plastic Substances 0.000 description 3
- 229920003023 plastic Polymers 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 239000004698 Polyethylene Substances 0.000 description 2
- 239000004743 Polypropylene Substances 0.000 description 2
- 101100129590 Schizosaccharomyces pombe (strain 972 / ATCC 24843) mcp5 gene Proteins 0.000 description 2
- XECAHXYUAAWDEL-UHFFFAOYSA-N acrylonitrile butadiene styrene Chemical compound C=CC=C.C=CC#N.C=CC1=CC=CC=C1 XECAHXYUAAWDEL-UHFFFAOYSA-N 0.000 description 2
- 239000004676 acrylonitrile butadiene styrene Substances 0.000 description 2
- 229920000122 acrylonitrile butadiene styrene Polymers 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 239000011087 paperboard Substances 0.000 description 2
- -1 polyethylene Polymers 0.000 description 2
- 229920001155 polypropylene Polymers 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- FNMKZDDKPDBYJM-UHFFFAOYSA-N 3-(1,3-benzodioxol-5-yl)-7-(3-methylbut-2-enoxy)chromen-4-one Chemical compound C1=C2OCOC2=CC(C2=COC=3C(C2=O)=CC=C(C=3)OCC=C(C)C)=C1 FNMKZDDKPDBYJM-UHFFFAOYSA-N 0.000 description 1
- 229910000838 Al alloy Inorganic materials 0.000 description 1
- 241001116389 Aloe Species 0.000 description 1
- VEXZGXHMUGYJMC-UHFFFAOYSA-M Chloride anion Chemical compound [Cl-] VEXZGXHMUGYJMC-UHFFFAOYSA-M 0.000 description 1
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 229920000742 Cotton Polymers 0.000 description 1
- 241000196324 Embryophyta Species 0.000 description 1
- 241001412225 Firmiana simplex Species 0.000 description 1
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 239000004677 Nylon Substances 0.000 description 1
- 240000007263 Pinus koraiensis Species 0.000 description 1
- 235000011615 Pinus koraiensis Nutrition 0.000 description 1
- 239000004793 Polystyrene Substances 0.000 description 1
- 241000124033 Salix Species 0.000 description 1
- 229910045601 alloy Inorganic materials 0.000 description 1
- 239000000956 alloy Substances 0.000 description 1
- 235000011399 aloe vera Nutrition 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- OSGAYBCDTDRGGQ-UHFFFAOYSA-L calcium sulfate Chemical compound [Ca+2].[O-]S([O-])(=O)=O OSGAYBCDTDRGGQ-UHFFFAOYSA-L 0.000 description 1
- 239000000919 ceramic Substances 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000007596 consolidation process Methods 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 229920001778 nylon Polymers 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 229920000573 polyethylene Polymers 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000004064 recycling Methods 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
- 239000002023 wood Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
Landscapes
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Spectrometry And Color Measurement (AREA)
Abstract
本发明提出一种高光谱材质鉴别方法,首先搭建标准光源光谱数据库并建立光谱材质标准数据库,标准光源光谱采用差值法与控制变量法获取;然后对需要鉴定的材质拍摄光谱数据信息通过预处理与本征材质信息提取,获得其光谱特性,再与光谱材质标准数据库中数据进行匹配,实现材质的高精度鉴别。该方法能够抵抗不同光照条件、材质形状变化等复杂因素对材质光谱信息的干扰,突破传统RGB以及RGBD相机无法解决的同色异谱、同质异色问题瓶颈,鉴别准确率较高。
Description
技术领域
本发明涉及计算摄像学领域,具体涉及一种利用高维度光谱信息进行近光物体材质鉴别方法。
背景技术
近年来,计算摄像学已经成为计算机视觉,数字信号处理,图形学,深度交叉等研究领域的热点,物质鉴别亦是近几年的研究工作的重点。多年以来基于RGB彩色数据进行物质鉴别的方法与体系日趋完善,其多是基于色度、亮度、轮廓等特性,但是实际上,仅仅利用RGB三个通道的信息,则失去光谱维度上的大量细节以及重要的深度信息,而丰富的光谱信息与深度信息往往能够揭示物体和场景光线的很多特质,也能在很多计算机视觉领域的工作获得长足的进展。
遥感领域早就将高光谱技术引入监测识别应用中,已经取得良好发展。在遥感遥测中,由于太阳光与地球距离很长,光照近乎平行直射,场景光线的变化因素可忽略不计,但是在实际各近光自然场景中,各类点光源、线光源、面光源等与物体距离较近,且物体本身形状变化多样,场景光线变化复杂,近光场景反射光谱信息受光源光谱影响很大,在鉴别时光源光谱干扰很大,故而将高光谱技术应用于近光自然场景物质鉴别依然有较大的研究壁垒。高光谱信息采集***有红外、紫外、光谱仪等多类设施,但其大多是单功能、且价格昂贵,器材体积较大不便于外携。现有所熟知的光谱分析仪、扫描式光谱成像仪和单次拍摄成像光谱仪等都是通过牺牲空间或者时间分辨率的方式对于光谱分辨率进行补偿,以采集多光谱信息。但采集后数据获取与处理多冗繁复杂,拍摄结果难可视化。
2015年,PMVIS高分辨率光谱采集研究***被提出,其在牺牲空间分辨率获得附加光谱分辨率的同时,使用双路采集的技术,对场景进行双路采集,从得到的多路数据中重构出高时空分辨率的高光谱视频,实现了一种高光谱采集技术。
近光自然场景物质鉴别现面临两大研究难点。一方面,虽然利用RGB或者RGBD信息已经可以较好鉴别出部分轮廓性、颜色特性明显的材质,但对于典型的“同色异谱”难题、同一材质不同颜色问题,RGB的处理方法完全无法妥善解决。另一方面,高光谱的拍摄数据包含更多细节,更多反映物质本身化学物理材质特性,但是数据抗干扰力差,光强、光源、角度等因素都会直观影响光谱数据,因而直接利用光谱数据进行分类鉴别往往出现边缘性差、分类离散化甚至错误判别等问题。如何减少光照、光源、形状差异等因素,从高维光谱数据中获取真正材质光谱特征?如何依此方法搭建出日常物体的光谱数据库,在数据库基础上实现多类材质鉴别,获得高泛化性的鉴别分类结果?这些都是值得深入探索的研究课题。
发明内容
本发明的目的在于突破RGBD等传统处理方法的问题瓶颈,突破肉眼限制,实现一种利用高维度光谱信息对近光自然场景下的物质进行鉴别的方法,对工业检测、环境监控、食品安全等有重要意义。
为达到上述目的,本发明采用的技术方案为:
一种高光谱材质鉴别方法,包括如下步骤:
(1)搭建标准光源光谱数据库,标准光源光谱采用差值法与控制变量法获取:利用标准色卡白板拍摄光谱数据illuminationwhite,利用标准色卡黑板拍摄光谱数据illuminationblack;基于物理光学吸收与反射原理,标准光源光谱数据illuminationstd为:
illuminationstd=illuminationwhite-illuminationblack;
(2)建立光谱材质标准数据库,以多光源和多角度拍摄多种材质物质的光谱数据Originalstd:
a)首先利用高光谱成像装置中的彩色成像装置捕获物质空间信息的彩色图像,利用高光谱成像装置同步捕获经过下采样的物质光谱数据,同时利用交叉偏振法去除场景内的冗杂高光;然后对捕获的彩色图像数据以及物质光谱数据进行重建,恢复出高空间和高光谱分辨率的原始数据Originalstd;
b)建立数据模型:
Originalstd=Reflectancestd·Shading·Illuminationstd+Highlight+Noise
其中,Originalstd为矢量,表示原始光谱数据;Reflectancestd为矢量,表示材质数据;Shading为标量,表示光照强度;Illuminationstd为矢量,表示光源数据;Highlight为矢量,表示高光数据;Noise为矢量,表示噪声;
c)从原始数据Originalstd中,利用均化去燥法除去噪声Noise分量,利用交叉偏振法去除高光数据Highlight分量,并去除标准光源数据Illuminationstd;鉴于物体的形状因素会对光谱数据强度造成影响,引入Shading为代表光照强度的标量,即反映光谱强度的乘量因子,将Reflectancestd·Shading进行二范数归一化之后去除向量强度差异,得到同一量度的光谱数据,即标准反映物质本征材质的材质数据Reflectancestd′:
Reflectancestd′=Norm(Reflectancestd·Shading)
d)对高维度的材质数据Reflectancestd′进行低维投影映射,以最大方差化为条件,正交化材质数据Reflectancestd′,再依据贡献率分布前十维度信息表征材质信息;
(3)利用步骤a)的方法,获得需要鉴别的物质材质的光谱数据Original,并利用步骤c)的方法对数据进行分量剥离,经过步骤d)的处理获取只反映需要鉴别的物质材质信息的材质数据Reflectance;对材质数据Reflectance进行去冗余,以提高计算速度;
(4)将步骤(3)得到的材质数据Reflectance与步骤(2)中建立的光谱材质数据库Reflectancestd进行特征匹配,利用光谱材质数据库中典型特征构成光谱特征分类模型,实现对材质的鉴别;
(5)由步骤(4)所确定的鉴别结果,为提高可视性与边缘轮廓可读性,利用RGB空间信息对鉴别结果轮廓进行优化。对RGB三通道进行均化得到高空间分辨率灰度信息G,对G无监督过分割为n个空间块。以空间块为约束结合步骤(4)鉴别结果逐个判断每一个空间块整体的光谱特性,输出修正鉴别结果。
所述高光谱成像装置的拍摄波长范围为410nm~700nm。
所述步骤(4)中,进行特征匹配具体包括如下过程:
1)以人机交互界面显示方式,利用人工强先验信息选取拍摄的每类材质的特征样本点,每类材质为一组特征点,多类材质形成多组特征点,经过判别、筛选和参数调节训练出最优分类模型;
2)将权利要求1中步骤(3)得到的材质数据Reflectance放入最优分类模型中进行测试鉴别,得到对应材质类别的鉴别结果。
所述步骤(2)中,采用的光源为阳光、卤素灯、荧光灯、碘钨灯、白炽灯与LED灯。
所述步骤(5)中,先利用RGB空间信息进行无监督学习过分割,过分割之后以每一个分割块为单位,结合块内光谱类别分布进行块的光谱类别鉴别,统一块内光谱类别,改善纯光谱数据分割时的边缘性差等问题,输出修正鉴别结果。
本发明可以实现对近光自然场景的物质材质进行有效识别,具有以下优点:
(1)利用系列预处理方法分离物质模型的各参量,减少近光条件下光源光照强度、角度、复杂形状遮挡等因素造成的干扰。
(2)本方法特征提取较为准确,采用人工选取特征点,比以往所有方法中采用随机采样作为训练数据的方法引入的噪声更小,分类模型更准确,泛化性更强。
(3)对RGB领域所无法解决的同色异谱等问题可以得到极好的解决。
本发明能突破传统RGB以及RGBD相机无法解决的同色异谱、同质异色问题瓶颈,鉴别准确率较高,在工业检测等领域有重大意义。
附图说明
图1为本发明实施例的光谱数据采集***PMVIS***;
图2为本发明实施例所建立光谱材质数据库部分材质展示图;
图3为本发明实施例的同色异谱典型问题图;
图4为本发明实施例的不同材质迷彩服材质鉴别结果,(a)为RGB信息鉴别结果,(b)为高光谱信息鉴别结果。
图5为本发明方法的流程图。
具体实施方式
本发明首先搭建标准光源光谱数据库并建立光谱材质标准数据库,标准光源光谱采用差值法与控制变量法获取;然后对需要鉴定的材质拍摄光谱数据信息通过预处理与本征材质信息提取,获得其光谱特性,再与光谱材质标准数据库中数据进行匹配,实现材质的高精度鉴别
本实施例的方法利用PMVIS高光谱成像装置,同时捕获物质高光谱信息和彩色空间信息。如图1所示,PMVIS高光谱成像装置可以分为10个模块,其中由第一透镜2、掩膜3、第二透镜4构成稀疏采样成像阵列1。该装置包括两路光路,一路由稀疏采样成像阵列1、分光装置5、灰度成像装置6、光谱光路采集装置7获取低分辨率的光谱图像。一路包括彩色成像装置8和彩色光路采集转置9,用以获取高分辨率的彩色图像。由信息联合处理装置10对两路信息进行处理,重建出包括高空间分辨率、高光谱分辨率场景光谱信息。其中,灰度成像装置6采用灰度相机用于捕获物质高光谱信息,彩色成像装置8采用彩色CCD相机用于捕获物质彩色空间信息。分光装置5利用阿米西棱镜分光,可一次性采集可见光波段物质多波段光谱图像和视频,比现有多光谱物质材质识别装置更简单、低成本、精度更高。该装置同时捕获物体的彩色空间信息与稀疏采样的高光谱信息,利用采样点高光谱数据与RGB高空间分辨率数据重构出高空间、光谱分辨率数据用于材质鉴别。
本发明首先利用预处理方法去除高光谱数据的多重冗余信息,提取本征材质信息,其次搭建标准光谱数据库,建立以特征点为训练集的分类模型,利用分类模型进行材质识别,若找到一个数据库中存储的材质信息与该物质光谱特征匹配,对其进行类别鉴定。由于光谱信息的冗余性较强,为提高光谱鉴别结果边缘可视性,在光谱数据进行材质鉴别后,再利用空间彩色信息用于边缘以及轮廓的优化。
如图5所示,本实施例的高光谱材质鉴别方法,通过多类途径进行综合判定。一路分别建立标准光源数据库、标准材质光谱数据库;另一路对已经拍摄的初始数据进行多项预处理后与数据库进行特征匹配,再以空间RGB信息辅助优化边缘性,输出可视化鉴别结果。具体高光谱材质鉴别方法的流程为:
步骤(1)搭建标准光源光谱数据库,标准光源光谱采用差值法与控制变量法获取:利用标准色卡白板拍摄光谱数据illuminationwhite,利用标准色卡黑板拍摄光谱数据illuminationblack;对以上光源光谱多次拍摄后算术平均,基于物理光学吸收与反射原理,标准光源光谱数据illuminationstd为:
illuminationstd=illuminationwhite-illuminationblack;
步骤(2)建立光谱材质标准数据库,在标准双光源对称放置的位置下,以多光源和多角度不同环境下,在PMVIS相机焦距对焦距离点处,拍摄对象的稀疏采样光谱,并通过***重建得到拍摄对象的原始光谱数据Originalstd:
a)首先利用高光谱成像装置中的彩色成像装置捕获物质空间信息的彩色图像,利用高光谱成像装置同步捕获经过下采样的物质光谱数据,同时利用交叉偏振法去除场景内的冗杂高光;然后对捕获的彩色图像数据以及物质光谱数据进行重建,恢复出高空间和高光谱分辨率的原始数据Originalstd;
b)建立数据模型:
Originalstd=Reflectancestd·Shading·Illuminationstd+Highlight+Noise
其中,Originalstd为矢量,表示原始光谱数据;Reflectancestd为矢量,表示材质数据;Shading为标量,表示光照强度;Illuminationstd为矢量,表示光源数据;Highlight为矢量,表示高光数据;Noise为矢量,表示噪声;
c)从原始数据Originalstd中,利用均化去燥法除去噪声Noise分量,利用交叉偏振法去除高光数据Highlight分量,并去除标准光源数据Illuminationstd。鉴于物体的形状因素会对光谱数据强度造成影响,从图4的处理数据来看,最大最小值分布在0~200之间,数据分布量度不一致。故引入Shading为代表光照强度的标量,即反映光谱强度的乘量因子,将Reflectancestd·Shading进行二范数归一化之后去除向量强度差异,得到同一量度的光谱数据,即标准反映物质本征材质的材质数据Reflectancestd′=(R1,R2,......,R59):
Reflectancestd′=Norm(Reflectancestd·Shading)
即对每一点数据D=Reflectancestd·Shading的59维数据按照如下公式计算:
d)由于材质光谱信息Reflectancestd′的高维度性,多维度信息间相关性强,冗余度大。将高维数据进行去相关处理:Reflectancestd′(R1,R2,R3,...,R59)→Reflectancestd″(R1',R2',R3',...,R59')。
R1'=a11R1+a21R2+....+a591R59
R2'=a12R1+a22R2+....+a592R59
..............
R59'=a591R1+a592R2+....+a5959R59
R1',R2',....,R59'两两独立,cov(Ri',Rj')=0
以最大方差化为条件即var(R1')≥var(R2')≥......≥var(R59')正交化Reflectancestd′数据。数据变换后依据其特征值对角矩阵计算贡献率:取贡献率排行分布前十维度信息表征材质信息。依此方法建立如图2所示的多类光谱材质数据库,包括真假类材料(如真假花、香蕉、苹果、橙子)、多类塑料制品(聚乙烯(PE)、聚丙烯(PP)、聚氯乙烯(PVC)、聚苯乙烯(PS)及丙烯腈─丁二烯─苯乙烯共聚合物(ABS))、陶瓷、木质(人造板、红松、柳木)、植物(梧桐树、芦荟、仙人掌、香樟、毛白杨等)、金属(金、铁、合金、铜、铝合金制品)、纸品(书纸、铜版纸、灰卡纸、白卡纸)、布料(尼龙、全棉、呢绒、亚麻、丝绸、人造皮、化纤、太空棉、冰丝等制品)、石膏。
步骤(3)利用步骤a)的方法,获得需要鉴别的物质材质的光谱数据Original,并利用步骤c)的方法对数据进行分量剥离,获取只反映需要鉴别的物质材质信息的材质数据Reflectance;对材质数据Reflectance进行去冗余,以提高计算速度;
(4)将步骤(3)得到的材质数据Reflectance与步骤(2)中建立的光谱材质数据库Reflectancestd进行特征匹配,利用光谱材质数据库中典型特征构成光谱特征分类模型,实现对材质的鉴别;
a)不同于以往机器学习训练随机采样特定百分比的方法,本方法以人机交互界面显示方式利用人工强先验选取每类材质的特征样本点,每类材质一组特征点,多类材质多组特征点,经过判别、筛选、参数调节训练出最优分类为三项式模型:t=1,d=3。
b)将新材质信息Reflectance放入分类模型中进行测试鉴别,不同鉴别结果予以不同颜色标注,可视化对应材质类别的鉴别结果。
(5)由步骤(4)所确定的鉴别结果,为提高可视性与边缘轮廓可读性,利用RGB空间信息对鉴别结果轮廓进行优化。对RGB三通道进行均化得到高空间分辨率灰度信息G,对G无监督过分割为p个空间块。例Custer1中,分类为1类的像素点为num1,分类为2的像素点为num2,分类为3的像素点为num3,(num1,num2,num3,……nump)对以上序列排序,取最大值所对应类别为此Cluster的最终鉴别类别。以空间块为约束结合步骤(4)鉴别结果逐个判断每一个空间块整体的光谱特性.输出优化鉴别结果。如图3所示,经典“同色异谱”现象,一个复杂场景中有相同绿色的塑料、衣服等物质。如图4(a)图为利用RGB信息进行分割处理的结果,(b)为利用本发明进行分割处理的结果。对比结果发现本方法可以实现材质的高精度鉴别,能够抵抗不同光照条件、材质形状变化等复杂因素对材质光谱信息的干扰,突破传统RGB以及RGBD相机无法解决的同色异谱、同质异色问题瓶颈,鉴别准确率较高。
上述实施例仅是本发明的优选实施方式,应当指出:对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和等同替换,这些对本发明权利要求进行改进和等同替换后的技术方案,均落入本发明的保护范围。
Claims (5)
1.一种高光谱材质鉴别方法,其特征在于,包括如下步骤:
(1)搭建标准光源光谱数据库,标准光源光谱采用差值法与控制变量法获取:利用标准色卡白板拍摄光谱数据illuminationwhite,利用标准色卡黑板拍摄光谱数据illuminationblack;基于物理光学吸收与反射原理,标准光源光谱数据illuminationstd为:
illuminationstd=illuminationwhite-illuminationblack;
(2)建立光谱材质标准数据库,以多光源和多角度拍摄多种材质物质的光谱数据Originalstd:
a)首先利用高光谱成像装置中的彩色成像装置捕获物质空间信息的彩色图像,利用高光谱成像装置同步捕获经过下采样的物质光谱数据,同时利用交叉偏振法去除场景内的冗杂高光;然后对捕获的彩色图像数据以及物质光谱数据进行重建,恢复出高空间和高光谱分辨率的原始数据Originalstd;
b)建立数据模型:
Originalstd=Reflectancestd·Shading·Illuminationstd+Highlight+Noise
其中,Originalstd为矢量,表示原始光谱数据;Reflectancestd为矢量,表示材质数据;Shading为标量,表示光照强度;Illuminationstd为矢量,表示光源数据;Highlight为矢量,表示高光数据;Noise为矢量,表示噪声;
c)从原始数据Originalstd中,利用均化去燥法除去噪声Noise分量,利用交叉偏振法去除高光数据Highlight分量,并去除标准光源数据Illuminationstd;鉴于物体的形状因素会对光谱数据强度造成影响,引入Shading为代表光照强度的标量,即反映光谱强度的乘量因子,将Reflectancestd·Shading进行二范数归一化之后去除向量强度差异,得到同一量度的光谱数据,即标准反映物质本征材质的材质数据Reflectancestd′:
Reflectancestd′=Norm(Reflectancestd·Shading)
d)对高维度的材质数据Reflectancestd′进行低维投影映射,以最大方差化为条件,正交化材质数据Reflectancestd′,再依据贡献率分布前十维度信息表征材质信息;
(3)利用步骤a)的方法,获得需要鉴别的物质材质的光谱数据Original,并利用步骤c)的方法对数据进行分量剥离,经过步骤d)的处理获取只反映需要鉴别的物质材质信息的材质数据Reflectance;对材质数据Reflectance进行去冗余,以提高计算速度;
(4)将步骤(3)得到的材质数据Reflectance与步骤(2)中建立的光谱材质数据库Reflectancestd进行特征匹配,利用光谱材质数据库中典型特征构成光谱特征分类模型,实现对材质的鉴别;
(5)由步骤(4)所确定的鉴别结果,为提高可视性与边缘轮廓可读性,利用RGB空间信息对鉴别结果轮廓进行优化。对RGB三通道进行均化得到高空间分辨率灰度信息G,对G无监督过分割为n个空间块。以空间块为约束结合步骤(4)鉴别结果逐个判断每一个空间块整体的光谱特性,输出修正鉴别结果。
2.根据权利要求1所述的一种高光谱材质鉴别方法,其特征在于,所述高光谱成像装置的拍摄波长范围为410nm~700nm。
3.根据权利要求1或2所述的一种高光谱材质鉴别方法,其特征在于,所述步骤(4)中,进行特征匹配具体包括如下过程:
1)以人机交互界面显示方式,利用人工强先验信息选取拍摄的每类材质的特征样本点,每类材质为一组特征点,多类材质形成多组特征点,经过判别、筛选和参数调节训练出最优分类模型;
2)将权利要求1中步骤(3)得到的材质数据Reflectance放入最优分类模型中进行测试鉴别,得到对应材质类别的鉴别结果。
4.根据权利要求1或2所述的一种高光谱材质鉴别方法,其特征在于,所述步骤(2)中,采用的光源为阳光、卤素灯、荧光灯、碘钨灯、白炽灯与LED灯。
5.根据权利要求1或2所述的一种高光谱材质鉴别方法,其特征在于,所述步骤(5)中,先利用RGB空间信息进行无监督学习过分割,过分割之后以每一个分割块为单位,结合块内光谱类别分布进行块的光谱类别鉴别,统一块内光谱类别,改善纯光谱数据分割时的边缘性差等问题,输出修正鉴别结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610395755.5A CN105842173B (zh) | 2016-06-06 | 2016-06-06 | 一种高光谱材质鉴别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610395755.5A CN105842173B (zh) | 2016-06-06 | 2016-06-06 | 一种高光谱材质鉴别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105842173A true CN105842173A (zh) | 2016-08-10 |
CN105842173B CN105842173B (zh) | 2018-05-08 |
Family
ID=56575557
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610395755.5A Active CN105842173B (zh) | 2016-06-06 | 2016-06-06 | 一种高光谱材质鉴别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105842173B (zh) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107655571A (zh) * | 2017-09-19 | 2018-02-02 | 南京大学 | 一种基于色散模糊的光谱成像***及其光谱重建方法 |
CN107844756A (zh) * | 2017-10-24 | 2018-03-27 | 深圳市检验检疫科学研究院 | 一种特定金属容器成像识别装置 |
CN108280878A (zh) * | 2018-04-12 | 2018-07-13 | 谭佳佳 | 物质文化遗产区块链多模态数字身份构建装置及方法 |
CN108662843A (zh) * | 2017-03-27 | 2018-10-16 | 青岛海尔智能技术研发有限公司 | 冰箱内食物的检测***与冰箱 |
CN108965636A (zh) * | 2018-08-13 | 2018-12-07 | 湖南志东科技有限公司 | 一种平板式扫描仪及其应用 |
CN109459391A (zh) * | 2019-01-07 | 2019-03-12 | 塔里木大学 | 一种红枣品质检测、红枣偏振检测模型生成方法及装置 |
CN109872295A (zh) * | 2019-02-20 | 2019-06-11 | 北京航空航天大学 | 基于光谱视频数据的典型目标材质属性提取方法和装置 |
CN110542658A (zh) * | 2019-09-10 | 2019-12-06 | 中国烟草总公司郑州烟草研究院 | 一种基于高光谱成像技术的烟草非烟物质分类方法 |
CN111174912A (zh) * | 2020-01-03 | 2020-05-19 | 南京大学 | 一种快照型解色散模糊的高光谱成像方法 |
CN111896489A (zh) * | 2020-08-05 | 2020-11-06 | 曲阜师范大学 | 一种基于交叉偏振的六通道多光谱测量***及方法 |
CN112179623A (zh) * | 2020-09-17 | 2021-01-05 | 一汽解放汽车有限公司 | 测量涂层迷彩对比度的方法、装置、***、设备和介质 |
CN113218141A (zh) * | 2020-01-21 | 2021-08-06 | 青岛海尔电冰箱有限公司 | 冰箱的食材检测方法、冰箱及存储介质 |
CN113588592A (zh) * | 2021-06-30 | 2021-11-02 | 北京航空航天大学 | 基于特定谱段的典型目标材质识别方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110007174A1 (en) * | 2009-05-20 | 2011-01-13 | Fotonation Ireland Limited | Identifying Facial Expressions in Acquired Digital Images |
CN102706813A (zh) * | 2012-05-31 | 2012-10-03 | 北京林业大学 | 基于高光谱图像的草地早熟禾品种识别方法 |
US20120306257A1 (en) * | 2010-02-05 | 2012-12-06 | Katherine Silversides | Determination of rock types by spectral scanning |
US20140019166A1 (en) * | 2012-07-13 | 2014-01-16 | Aaron L. Swanson | Spectral image classification of rooftop condition for use in property insurance |
CN104881632A (zh) * | 2015-04-28 | 2015-09-02 | 南京邮电大学 | 高光谱人脸识别方法 |
CN105117730A (zh) * | 2015-06-10 | 2015-12-02 | 清华大学 | 基于高光谱数据的红木鉴别方法及*** |
-
2016
- 2016-06-06 CN CN201610395755.5A patent/CN105842173B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110007174A1 (en) * | 2009-05-20 | 2011-01-13 | Fotonation Ireland Limited | Identifying Facial Expressions in Acquired Digital Images |
US20120306257A1 (en) * | 2010-02-05 | 2012-12-06 | Katherine Silversides | Determination of rock types by spectral scanning |
CN102706813A (zh) * | 2012-05-31 | 2012-10-03 | 北京林业大学 | 基于高光谱图像的草地早熟禾品种识别方法 |
US20140019166A1 (en) * | 2012-07-13 | 2014-01-16 | Aaron L. Swanson | Spectral image classification of rooftop condition for use in property insurance |
CN104881632A (zh) * | 2015-04-28 | 2015-09-02 | 南京邮电大学 | 高光谱人脸识别方法 |
CN105117730A (zh) * | 2015-06-10 | 2015-12-02 | 清华大学 | 基于高光谱数据的红木鉴别方法及*** |
Non-Patent Citations (3)
Title |
---|
CHENGUANG MA ET AL.: "Cotent-adaptive high-resolution hyperspectral video acquisition with a hybrid camera system", 《OPTICS LETTERS》 * |
JIAO FENG ET AL.: "Advanced hyperspectral video imaging system using Amici prism", 《OPTICS EXPRESS》 * |
YUE GAO ET AL.: "Hyperspectral Image Classification Through Bilayer Graph-Based Learning", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 * |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108662843A (zh) * | 2017-03-27 | 2018-10-16 | 青岛海尔智能技术研发有限公司 | 冰箱内食物的检测***与冰箱 |
CN107655571B (zh) * | 2017-09-19 | 2019-11-15 | 南京大学 | 一种基于色散模糊的光谱成像***及其光谱重建方法 |
CN107655571A (zh) * | 2017-09-19 | 2018-02-02 | 南京大学 | 一种基于色散模糊的光谱成像***及其光谱重建方法 |
CN107844756A (zh) * | 2017-10-24 | 2018-03-27 | 深圳市检验检疫科学研究院 | 一种特定金属容器成像识别装置 |
CN108280878A (zh) * | 2018-04-12 | 2018-07-13 | 谭佳佳 | 物质文化遗产区块链多模态数字身份构建装置及方法 |
CN108965636A (zh) * | 2018-08-13 | 2018-12-07 | 湖南志东科技有限公司 | 一种平板式扫描仪及其应用 |
CN109459391A (zh) * | 2019-01-07 | 2019-03-12 | 塔里木大学 | 一种红枣品质检测、红枣偏振检测模型生成方法及装置 |
CN109872295B (zh) * | 2019-02-20 | 2020-05-15 | 北京航空航天大学 | 基于光谱视频数据的典型目标材质属性提取方法和装置 |
CN109872295A (zh) * | 2019-02-20 | 2019-06-11 | 北京航空航天大学 | 基于光谱视频数据的典型目标材质属性提取方法和装置 |
CN110542658A (zh) * | 2019-09-10 | 2019-12-06 | 中国烟草总公司郑州烟草研究院 | 一种基于高光谱成像技术的烟草非烟物质分类方法 |
CN111174912A (zh) * | 2020-01-03 | 2020-05-19 | 南京大学 | 一种快照型解色散模糊的高光谱成像方法 |
CN113218141A (zh) * | 2020-01-21 | 2021-08-06 | 青岛海尔电冰箱有限公司 | 冰箱的食材检测方法、冰箱及存储介质 |
CN113218141B (zh) * | 2020-01-21 | 2022-10-28 | 青岛海尔电冰箱有限公司 | 冰箱的食材检测方法、冰箱及存储介质 |
CN111896489A (zh) * | 2020-08-05 | 2020-11-06 | 曲阜师范大学 | 一种基于交叉偏振的六通道多光谱测量***及方法 |
CN111896489B (zh) * | 2020-08-05 | 2023-06-30 | 曲阜师范大学 | 一种基于交叉偏振的六通道多光谱测量***及方法 |
CN112179623A (zh) * | 2020-09-17 | 2021-01-05 | 一汽解放汽车有限公司 | 测量涂层迷彩对比度的方法、装置、***、设备和介质 |
CN113588592A (zh) * | 2021-06-30 | 2021-11-02 | 北京航空航天大学 | 基于特定谱段的典型目标材质识别方法 |
Also Published As
Publication number | Publication date |
---|---|
CN105842173B (zh) | 2018-05-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105842173A (zh) | 一种高光谱材质鉴别方法 | |
US11861889B2 (en) | Analysis device | |
Geusebroek et al. | Color invariance | |
US7562057B2 (en) | System and method for hyper-spectral analysis | |
CN104897583B (zh) | 一种微量血迹无损检测装置及方法 | |
CN107084789A (zh) | 基于稀疏先验的单像素探测器光谱反射率重构方法 | |
CA3026545A1 (en) | Information search system and information search program | |
CN107679569A (zh) | 基于自适应超图算法的拉曼光谱物质自动识别方法 | |
CN109115719A (zh) | 一种基于高光谱成像技术的柑橘黄龙病波段融合快速检测方法 | |
CN109827957A (zh) | 一种基于计算机视觉的水稻叶片spad值估测方法及*** | |
CN110555395A (zh) | 一种油菜冠层氮素含量等级分类评估方法 | |
CN109765194A (zh) | 基于高光谱成像技术的枸杞子产地识别方法 | |
CN107576600A (zh) | 一种抹茶粒度等级的快速检测方法 | |
EP3940370A1 (en) | Method for extracting spectral information of object to be detected | |
US20230162354A1 (en) | Artificial intelligence-based hyperspectrally resolved detection of anomalous cells | |
CN115830318A (zh) | 基于改进Mask-RCNN网络的重叠烟丝图像分割方法及装置 | |
CN108491888A (zh) | 基于形态学分析的环境监测高光谱数据谱段选择方法 | |
Geusebroek | Color and geometrical structure in images | |
CN110174392B (zh) | 一种高辨识力多组分复杂油品的指纹谱构建及鉴别方法 | |
WO2006034223A2 (en) | System and method for hyper-spectral analysis | |
Bertels et al. | Potentials of airborne hyperspectral remote sensing for vegetation mapping of spatially heterogeneous dynamic dunes, a case study along the Belgian coastline | |
CN117994624B (zh) | 一种基于可见光和高光谱图像信息融合的目标识别方法 | |
Chang et al. | A new coefficient estimation method when using PCA for spectral super-resolution | |
Khan et al. | Texture classification across illumination color variations | |
CN111412987B (zh) | 一种基于光谱特征的动态扫描检测装置及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20210122 Address after: Room 1056, Heying building, No. 99, Tuanjie Road, Jiangbei new district, Nanjing, Jiangsu Province, 210008 Patentee after: Nanjing Zhipu Technology Co.,Ltd. Address before: 210046 Xianlin Avenue 163, Qixia District, Nanjing City, Jiangsu Province Patentee before: NANJING University |