CN116448769A - 一种多模态信息融合的板材缺陷检测***及其检测方法 - Google Patents
一种多模态信息融合的板材缺陷检测***及其检测方法 Download PDFInfo
- Publication number
- CN116448769A CN116448769A CN202310522824.4A CN202310522824A CN116448769A CN 116448769 A CN116448769 A CN 116448769A CN 202310522824 A CN202310522824 A CN 202310522824A CN 116448769 A CN116448769 A CN 116448769A
- Authority
- CN
- China
- Prior art keywords
- image
- rgb
- depth
- camera
- plate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000007547 defect Effects 0.000 title claims abstract description 63
- 238000001514 detection method Methods 0.000 title claims abstract description 62
- 230000004927 fusion Effects 0.000 title claims abstract description 53
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims abstract description 16
- 238000012545 processing Methods 0.000 claims abstract description 12
- 230000005540 biological transmission Effects 0.000 claims abstract description 11
- 230000010365 information processing Effects 0.000 claims abstract description 9
- 238000000034 method Methods 0.000 claims description 25
- 239000013598 vector Substances 0.000 claims description 24
- 230000009467 reduction Effects 0.000 claims description 16
- 238000001228 spectrum Methods 0.000 claims description 11
- 239000000463 material Substances 0.000 claims description 8
- 238000013135 deep learning Methods 0.000 claims description 7
- 230000006870 function Effects 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000003708 edge detection Methods 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 4
- 229910000838 Al alloy Inorganic materials 0.000 claims description 2
- 239000000956 alloy Substances 0.000 claims description 2
- 238000000605 extraction Methods 0.000 claims description 2
- 239000002966 varnish Substances 0.000 claims description 2
- 239000011248 coating agent Substances 0.000 claims 1
- 238000000576 coating method Methods 0.000 claims 1
- 238000006073 displacement reaction Methods 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 239000002023 wood Substances 0.000 description 2
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000017525 heat dissipation Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000009659 non-destructive testing Methods 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
- G01B11/06—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness for measuring thickness ; e.g. of sheet material
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N22/00—Investigating or analysing materials by the use of microwaves or radio waves, i.e. electromagnetic waves with a wavelength of one millimetre or more
- G01N22/04—Investigating moisture content
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N27/00—Investigating or analysing materials by the use of electric, electrochemical, or magnetic means
- G01N27/02—Investigating or analysing materials by the use of electric, electrochemical, or magnetic means by investigating impedance
- G01N27/22—Investigating or analysing materials by the use of electric, electrochemical, or magnetic means by investigating impedance by investigating capacitance
- G01N27/223—Investigating or analysing materials by the use of electric, electrochemical, or magnetic means by investigating impedance by investigating capacitance for determining moisture content, e.g. humidity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/0006—Industrial image inspection using a design-rule based approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2201/00—Features of devices classified in G01N21/00
- G01N2201/12—Circuits of general importance; Signal processing
- G01N2201/129—Using chemometrical methods
- G01N2201/1296—Using chemometrical methods using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Biochemistry (AREA)
- Health & Medical Sciences (AREA)
- Analytical Chemistry (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Chemical Kinetics & Catalysis (AREA)
- Electrochemistry (AREA)
- Quality & Reliability (AREA)
- Electromagnetism (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明公开了一种多模态信息融合的板材缺陷检测***及其检测方法，检测***包括壳体、多模态信息采集模块、多模态信息处理模块、传送模块；具体包括LED光源、高光谱相机、深度相机、RGB相机、工控机、相机支架、黑色橡胶履带。板材通过履带进入遮光箱体，通过高光谱信息、深度信息、RGB图像采集，将信息数据传入工控机，通过对板材多模态信息的算法处理，快速得出检测结果。本发明可以实现对板材的缺陷位置及分类、厚度、含水率在线检测，极大地提高了检测速度与精度。
Description
技术领域
本发明涉及对板材缺陷、板材厚度、板材含水率的检测领域，具体涉及一种多模态信息融合的板材缺陷检测***及其检测方法。
背景技术
在板材加工和生产过程中，板材的质量问题一直是制约行业发展和产品品质的一个关键因素。特别是板材的缺陷问题，会直接影响到产品的外观、性能和使用寿命，采用有效的方法对板材的缺陷、厚度、含水率指标进行检测，能够保障使用安全，显著提高产品质量，节约生产成本，间接推动了板材加工行业、家居行业与建筑行业的发展。
传统的板材缺陷检测方法主要基于人工视觉，对板材进行目视检测，存在检测速度慢、人工疲劳、主观性强等问题，且对微小缺陷的检测效果较差。近年来，随着计算机视觉和深度学习等技术的发展，利用图像处理和深度学习算法对板材缺陷进行自动化检测成为了研究热点，但大多数检测方案无法对板材缺陷、板材厚度、板材含水率等重要指标准确检测，因此迫切需要一种多模态信息融合技术，能够有效地提高板材缺陷检测的准确性和可靠性。
中国专利文献CN115201219A公开了一种“一种板材缺陷检测***”。采用了包括：检测装置，用于通过相机拍照识别实现板材缺陷检测；标记位移模组，用于通过标记位移模组板材缺陷检测的结果进行缺陷范围标记，设置在检测装置下方；传动装置，用于实现对检测件的位移控制，设置在标记位移模组下方。通过传动装置配合检测装置对不同的产品进行相机拍照识别实现板材缺陷检测同时进行数据的存储，在检测结束后通过标记位移模组板材缺陷检测的结果进行缺陷范围标记。上述方案主要通过单一图像信息对板材缺陷进行检测，缺少对板材多种缺陷细节的检测。
发明内容
本发明的目的是针对现有技术存在的不足，提供一种多模态信息融合的板材缺陷检测***及其检测方法。
技术方案：本发明解决问题所采用的技术方案为：一种多模态信息融合的板材缺陷检测***，所述检测***包括：壳体、多模态图像采集模块、多模态信息处理模块、板材传输模块；运用RGB相机、高光谱相机、深度相机采集板材彩色图像数据、高光谱图像数据、深度图像数据；多模态信息处理模块与多模态图像采集模块相连，用于对多模态信息进行处理；为上述模块提供板材的传送模块，采用黑色橡胶履带将板材传送至多模态图像采集模块。
作为优选，所述多模态信息采集模块采用包括RGB相机、深度相机和高光谱相机多模态信息融合，为实现对微小缺陷的检测，利用两个或两个以上深度相机等距离并列放置且确保捕捉重叠目标区域，用于图像拼接并得到全景图像。
作为优选，所述多模态信息采集模块将若干LED光源与若干相机支架交替安装，且在相机两侧，以相机为中心，垂直于黑色橡胶履带方向分别向相反方向旋转1至5度安装若干LED光源；
作为优选，所述黑色橡胶履带采用磨砂PVC材料制成，有较好的摩擦力和抓力的同时，能够有效地吸收各个谱段光，使得相机能够更准确地采集到物体的信息。
本发明还提供一种多模态信息融合的板材缺陷检测方法，同时利用多模态信息融合，将RGB彩色图像、深度图像与高光谱图像信息融合，利用深度图像信息对RGB彩色图像进行RGB-D加权融合，形成RGB-D图像，再利用高光谱图像对RGB-D图像进行光谱动态加权融合，实现对板材缺陷、板材厚度、板材含水率一站式检测；其具体包括以下步骤：
S1:将RGB图像与深度图像和高光谱图像读取入图像处理模块；
S2:将RGB图像与深度图像实现对齐融合，使用RGB-D加权融合算法，得到具有深度信息的RGB-D图像；
S3:对含有深度信息的RGB-D图像进行预处理并标记；
S4:利用优化的一阶段与二阶段深度学习目标检测算法对RGB-D图像中的缺陷进行检测；
S5:对高光谱图像进行PCA降维处理，得到降维后的高光谱图像；
S6:基于像素级将RGB-D图像与降维后的高光谱图像进行光谱动态加权融合，得到融合后的图像，并对板材含水率实现检测。
作为优选，步骤S1中所述“将RGB图像与深度图像和高光谱图像读取入图像处理模块”，具体实现方法如下：
S11:使用eBUS-SDK同时控制RGB相机、深度相机、高光谱相机，使用硬触发模式采集板材图像。
作为优选，步骤S2中所述“将RGB图像与深度图像实现对齐融合，使用RGB-D加权融合算法，得到具有深度信息的RGB-D图像”，具体实现方法如下：
S21:将深度图像转换成灰度图像并利用Canny边缘检测算法，对深度灰度图像与RGB图像进行边缘检测，分别将两幅图像中板材区域进行提取。
S22:将RGB图像与深度灰度图像在分辨率与大小上进行比较，如不一致，则采用裁剪、缩放、插值方法将分辨率与大小进行匹配。
S23:对上述数据图像数据集进行预处理；使用minAreaRect()旋转矩形拟合函数与getPerspectiveTransform()函数，拟合出板材旋转矩形后调整木地板位置与方向，并对其进行位置与方向调整。
S24:基于像素，对RGB图像与深度信息使用RGB-D加权融合算法。
其中，RGB-D加权融合算法如下：
式中，Rn、Gn、Bn分别为加权信息融合后的R、G、B三通道中每个像素点处的数值的集合所组成的三个向量，Ro、Go、Bo分别为原始RGB图像R、G、B三通道中每个像素点处的数值的集合所组成的三个向量，D为转换为灰度图的单通道中每个像素点处的数值的集合所组成的向量；像素点处的数值均在0至255之间；α为融合系数，向量长度与D保持一致，向量中每个元素值大小由原始RGB图像像素点处Sobel算子所计算的梯度值乘以0.002决定。
S25:将更新后的Rn、Gn、Bn三通道的值与深度信息D通道融合，生成新的RGB-D图像。
作为优选，步骤S3中所述“对含有深度信息的RGB-D图像进行预处理并标记”，具体实现方法如下：
将含有深度信息的RGB-D图像与RGB图像进行配对，利用label-studio标注工具对RGB图像进行矩形框缺陷标注，缺陷类型包括但不限于：针节、活节、半活节、死节、虫孔、裂缝、褶皱、翘板、边缘卷曲等，通过RGB图像与含有深度信息的RGB-D图像配对，将Ground-Truth映射到含有深度信息的RGB-D图像中。
作为优选，步骤S4中所述“利用优化的一阶段与二阶段深度学习目标检测算法对RGB-D图像中的缺陷进行检测”，具体实现方法如下：
通过改进的一阶段目标检测算法，包括YOLOv5和YOLOv7，将原有针对RGB三通道的网络输入维度优化为适合RGB-D输入的网络模型结构，通过深度卷积网络Backbone来提取RGB-D图像特征；采用二阶段目标检测算法包括Faster-RCNN，在第一阶段中，优化网络模型结构，对RGB与深度信息同时进行特征提取并生成目标识别，在第二阶段中，算法对不同区域进行分类检测。
作为优选，步骤S5中所述“对高光谱图像进行PCA降维处理，得到降维后的高光谱图像”，具体实现方法如下：
S51:在进行降维处理前，对降维后的高光谱图像数据进行预处理。这包括对数据进行归一化、去噪和去除不必要的背景信息等。这有助于减少数据的噪声和冗余，提高PCA降维处理的准确性。
S52:选择基于随机采样和迭代的快速PCA算法RI-PCA，可以提高降维计算速度。
S53:通过将降维后的数据与PCA变换矩阵相乘，实现对降维后的高光谱图像进行重构：PCA降维处理可以将高光谱图像转换为低维空间中的数据，因此需要对降维后的数据进行逆变换，以恢复原始的高光谱图像信息。
作为优选，步骤S6中所述“基于像素级将RGB-D图像与降维后的高光谱图像进行光谱动态加权融合，得到融合后的图像，并对板材含水率实现检测”，具体实现方法如下：
S61:将预处理后的RGB-D图像和降维后的高光谱图像进行光谱动态加权融合，其中，光谱动态加权融合计算方式如下：
f(x,y)＝W(x,y)×f1(x,y)+(1-W(x,y))×f2(x,y)
式中，W(X,y)表示在图像(x,y)位置像素点的权重值，g1(x,y)是RGB-D图像在(x,y)处像素点的灰度值，g2(x,y)是降维后的高光谱图像在像素点(x,y)处的不同波段的值的平均值乘以200，ε是一个常数，用于避免分子为0的情况，取150至200中的任意值；f1(x,y)是RGB-D图像在像素点(x,y)处的RGB-D四通道数值集合的向量，f2(x,y)是高光谱图像在像素点(x,y)处经过PCA降维后的4通道数值集合的向量，f(x,y)是融合后的图像在像素点(x,y)处的4通道数值集合的向量。
S62:使用微波含水率检测仪或电容式含水率检测仪对板材含水率进行测量，并对图像含水率类别进行标注。
S63:对S62中标注的数据集采用监督分类方法，计算精确度、召回率和F2分数来选择最佳模型。
有益效果：本发明与现有技术相比，具有以下优点：
(1)本发明中的多模态信息采集模块，将RGB相机、高光谱相机、深度相机同时部署在板材生产流水线中，通过相机、光源位置部署，实现对较宽的板材实现高分辨率图像数据的快速采集；为后续检测算法提供了高精度的数据来源，保障了对板材缺陷检测的精度与速度。
(2)本发明通过融合板材的多模态信息，对板材的缺陷、厚度、含水率多项指标实现一站式检测；避免了传统方法中分别多次的不同实验采集，达成了对板材缺陷检测的一次性快速化，大大提高了工业应用中的生产效率。
(3)本发明通过RGB-D加权融合RGB与深度图像信息，放大微小颜色或深度差异，实现对板材中微小缺陷的精准检测；融合RGB-D与光谱图像信息，实现了对板材缺陷、板材含水率的无损快速检测。
附图说明
图1为本发明内部结构示意图；
图2为本发明整体结构示意图；
图3为缺陷检测算法流程图。
具体实施方式
下面结合附图和具体实施例，进一步阐明本发明，本实施例在以本发明技术方案为前提下进行实施，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围。
如图1、图2所示，一种多模态信息融合的板材缺陷检测***；包括壳体1、多模态图像采集模块、多模态信息处理模块、板材传输模块；壳体1内部顶面安装第一LED光源41、第二LED光源42、第三LED光源43、第四LED光源44；多模态图像采集模块与板材传输模块位于壳体1内部，多模态信息处理模块安装于壳体侧方；多模态图像采集模块包括：固定于第一相机支架61的高光谱相机51，固定于第二相机支架62的第一深度相机52、第二深度相机53、第三深度相机54，固定于第三相机支架63的RGB相机55；板材传输模块包括黑色橡胶履带3；多模态信息处理模块工控机2，该工控机2与高光谱相机51、第一深度相机52、第二深度相机53、第三深度相机54、RGB相机55、第一LED光源41、第二LED光源42、第三LED光源43、第四LED光源44相连接。壳体1采用不透光的铝合金材质制成，内部采用高吸收率的黑色烤漆涂装，内部顶面采用矩阵式排列的第一LED光源41、第二LED光源42、第三LED光源43、第四LED光源44，第一相机支架61位于第一LED光源41与第二LED光源42水平方向之间，第二相机支架62位于第二LED光源42与第三LED光源43水平方向之间，第三相机支架63位于第三LED光源43与第四LED光源44水平方向之间；第一LED光源41与第二LED光源42以高光谱相机51为中心，垂直于黑色橡胶履带3方向分别向相反方向旋转1至5度安装；第二LED光源42与第三LED光源43以第二深度相机53为中心，垂直于黑色橡胶履带3方向分别向相反方向旋转1至5度安装；第三LED光源43与第四LED光源44以RGB相机55为中心，垂直于黑色橡胶履带3方向分别向相反方向旋转1至5度安装。
壳体1、第一相机支架61、第二相机支架62、第三相机支架63均独立于黑色橡胶履带3，避免了板材传送中产生的振动对安装在相机支架上的高光谱相机51、第一深度相机52、第二深度相机53、第三深度相机54、RGB相机55产生振动干扰。
壳体1在侧面留有开口，方便对相机进行安装调试与维护，且整体采用铝制做而成，在隔离外部光线与干扰信号的情况下便于内部相机设备散热。黑色橡胶履带3宽1.2m，采用黑色PVC材料制作而成，能够有效吸收和减少内外部光源的干扰，同时具有良好的耐磨性与耐腐蚀性。
将待检测板材放置在黑色橡胶履带3上，通过传送带转轴处的编码器向工控机发送相机采集信号，使用eBUS-SDK编写的程序使若干相机同时对板材进行图像采集，若干LED光源在相机两侧，以相机为中心，垂直于黑色橡胶履带方向分别向相反方向旋转1至5度安装若干LED光源，能够有效弥补孔洞、裂缝等缺陷处的光源，使若干相机对板材实现精准的拍摄。
高光谱相机51、第一深度相机52、第二深度相机53、第三深度相机54、RGB相机55均使用线扫工业相机，分别与工控机2使用万兆网线相连接，保证多模态图像数据传输，工控机2硬件包含图像采集卡与GPU，采集卡负责读取各类型图像数据，GPU对大量的多模态信息实现快速处理，保障工控机中的检测算法能够快速运行。如图3所示，一种多模态信息融合的板材缺陷检测方法的算法流程图；首先通过编写eBUS-SDK相机采集程序，使用高光谱相机51、第一深度相机52、第二深度相机53、第三深度相机54、RGB相机55同时实现对多模态信息稳定快速的采集；
利用OpenCV库函数与MASK掩码，将深度图像转换为深度灰度图像后，利用canny算子对深度灰度图与RGB图像同时进行边缘提取，利用边缘信息与MASK掩码，对两幅图像中的板材目标进行提取；将提取后的深度图像与RGB图像转换成相同分辨率大小，均设置为2048×2048，之后通过minAreaRect()旋转矩形拟合函数与getPerspectiveTransform()透视变换函数调整板材在图像中的位置与方向；之后基于像素，对RGB图像的三通道与深度信息进行RGB-D加权融合，RGB-D加权融合算法如下：
式中，Rn、Gn、Rn分别为加权信息融合后的R、G、B三通道中每个像素点处的数值的集合所组成的三个向量，Ro、Go、Bo分别为原始RGB图像R、G、B三通道中每个像素点处的数值的集合所组成的三个向量，D为转换为灰度图的单通道中每个像素点处的数值的集合所组成的向量；像素点处的数值均在0至255之间；α为融合系数，向量长度与D保持一致，向量中每个元素值大小由原始RGB图像像素点处Sobel算子所计算的梯度值乘以0.002决定。
使用开源label-studio标注工具，对预处理后的板材缺陷图像进行矩形框缺陷标注，缺陷类型包括：裂纹、节疤、虫眼、空洞、横纹、腐朽、活结、死结等。；
将含有深度信息的RGB-D图像与RGB图像进行配对，利用label-studio标注工具对RGB图像进行矩形框缺陷标注，缺陷类型包括但不限于：针节、活节、半活节、死节、虫孔、裂缝、褶皱、翘板、边缘卷曲等，得到与图像对应的包括缺陷类别、矩形框坐标的TXT标注文件，通过RGB图像与含有深度信息的RGB-D图像配对，将Ground-Truth映射到含有深度信息的RGB-D图像中。
将预处理与标注后的数据输入改进后的YOLO-v7算法模型，将原有针对RGB三通道输入的网络结构优化为适合RGB-D四通道输入的网络模型结构，随后为使用迁移学习，减少模型训练成本，通过1×1卷积结构将输入数据的维度与大小调整为原网络所适合的数据维度与大小；实现利用深度学习目标检测算法实现对缺陷的检测；
使用基于随机采样和迭代的快速PCA算法RI-PCA，对大量高光谱数据进行降维处理，将降维后的数据与PCA变换矩阵相乘，实现对降维后的高光谱图像进行重构，实现对降维后的数据进行逆变换，以恢复原始的高光谱图像信息；之后将高光谱信息与RGB-D图像信息进行光谱动态加权融合，光谱动态加权融合计算方式如下：
f(x,y)＝W(x,y)×f1(x,y)+(1-W(x,y))×f2(x,y)
式中，W(x,y)表示在图像(x,y)位置像素点的权重值，g1(x,y)是RGB-D图像在(x,y)处像素点的灰度值，g2(x,y)是降维后的高光谱图像在像素点(x,y)处的不同波段的值的平均值乘以200，ε是一个常数，用于避免分子为0的情况，取150至200中的任意值；f1(x,y)是RGB-D图像在像素点(x,y)处的RGB-D四通道数值集合的向量，f2(x,y)是高光谱图像在像素点(x,y)处经过PCA降维后的4通道数值集合的向量，f(x,y)是融合后的图像在像素点(x,y)处的4通道数值集合的向量。
使用微波含水率检测仪或电容式含水率检测仪对板材含水率进行测量，并对图像含水率类别进行标注并生成数据集，数据集采用监督分类方法，计算精确度、召回率和F2分数来选择最佳模型。最终通过融合板材的多模态信息，对板材的缺陷、厚度、含水率多项指标实现一站式无损检测。
上述具体实施方式只是本发明的一个优选实施例，并不是用来限制本发明的实施与权利要求范围的，凡依据本发明申请专利保护范围内容做出的等效变化和修饰，均应包括于本发明专利申请范围内。
Claims (9)
1.一种多模态信息融合的板材缺陷检测***，其特征在于：包括壳体(1)、多模态图像采集模块、多模态信息处理模块、板材传输模块；所述多模态图像采集模块包括：固定于第一相机支架(61)的高光谱相机(51)，固定于第二相机支架(62)的若干深度相机，固定于第三相机支架(63)的RGB相机(55)；所述壳体(1)内部顶面交替安装若干LED光源与若干相机支架；所述多模态图像采集模块与所述板材传输模块位于壳体(1)内部，所述多模态信息处理模块安装于壳体侧方；所述板材传输模块包括黑色橡胶履带(3)；所述多模态信息处理模块还包括工控机(2)，所述工控机(2)与高光谱相机(51)、若干深度相机、RGB相机(55)、若干LED光源电连接。
2.根据权利要求1所述的一种多模态信息融合的板材缺陷检测***，其特征在于：所述的壳体(1)采用不透光的铝合金材质制成，内部采用高吸收率的黑色烤漆涂装，所述LED光源固定于相机支架的相机两侧，以相机为中心，垂直于黑色橡胶履带(3)方向分别逆向旋转1至5度安装。
3.一种多模态信息融合的板材缺陷检测方法，其特征在于：其具体包括以下步骤：
S1:将RGB图像与深度图像和高光谱图像读取入图像处理模块；
S2:将RGB图像与深度图像实现对齐融合，使用RGB-D加权融合算法，得到具有深度信息的RGB-D图像；
S3:对含有深度信息的RGB-D图像进行预处理并标记；
S4:利用优化的一阶段与二阶段深度学习目标检测算法对RGB-D图像中的缺陷进行检测；
S5:对高光谱图像进行PCA降维处理，得到降维后的高光谱图像；
S6:基于像素级将RGB-D图像与降维后的高光谱图像进行光谱动态加权融合，得到融合后的图像，并对板材含水率实现检测。
4.根据权利要求3中所述的一种多模态信息融合的板材缺陷检测方法，其特征在于：所述S2中RGB图像与深度图像实现对齐融合步骤包括：首先将深度图像转换成灰度图像并利用Canny边缘检测算法，对深度灰度图像与RGB图像进行边缘检测，分别将两幅图像中板材区域进行提取，大小匹配后使用minAreaRect()旋转矩形拟合函数与getPerspectiveTransform()函数，使深度灰度图像与RGB图像实现对齐融合。
5.根据权利要求3中所述的一种多模态信息融合的板材缺陷检测方法，其特征在于：还包括多模态信息融合步骤，将RGB彩色图像、深度图像与高光谱图像信息融合，利用深度图像信息对RGB彩色图像进行RGB-D加权融合，形成RGB-D图像，再利用降维后的高光谱图像对RGB-D图像进行光谱动态加权融合，实现对板材缺陷、板材厚度、板材含水率一站式检测。
6.根据权利要求3中所述的一种多模态信息融合的板材缺陷检测方法，其特征在于：所述S2中RGB-D加权融合算法的矩阵如下：
式中，Rn、Gn、Bn分别为加权信息融合后的R、G、B三通道中每个像素点处的数值的集合所组成的三个向量，Ro、Go、Bo分别为原始RGB图像R、G、B三通道中每个像素点处的数值的集合所组成的三个向量，D为转换为灰度图的单通道中每个像素点处的数值的集合所组成的向量；像素点处的数值均在0至255之间；α为融合系数，向量长度与D保持一致，向量中每个元素值大小由原始RGB图像像素点处Sobel算子所计算的梯度值乘以0.002决定。
7.根据权利要求3中所述的一种多模态信息融合的板材缺陷检测方法，其特征在于：对含有深度信息的RGB-D图像进行预处理并标记，将含有深度信息的RGB-D图像与RGB图像进行配对，利用label-studio标注工具对RGB图像进行矩形框缺陷标注，缺陷类型包括但不限于：针节、活节、半活节、死节、虫孔、裂缝、褶皱、翘板、边缘卷曲等，通过RGB图像与含有深度信息的RGB-D图像配对，将Ground-Truth映射到含有深度信息的RGB-D图像中。
8.根据权利要求3中所述的一种多模态信息融合的板材缺陷检测方法，其特征在于：所述S4中利用优化的一阶段与二阶段深度学习目标检测算法对RGB-D图像中的缺陷进行检测，其具体方法如下：通过改进的一阶段目标检测算法，包括YOLOv5和YOLOv7，将原有针对RGB三通道的网络输入维度优化为适合RGB-D输入的网络模型结构，通过深度卷积网络Backbone来提取RGB-D图像特征；采用二阶段目标检测算法包括Faster-RCNN，在第一阶段中，优化网络模型结构，对RGB与深度信息同时进行特征提取并生成目标识别，在第二阶段中，算法对不同区域进行分类检测。
9.根据权利要求3中所述的一种多模态信息融合的板材缺陷检测方法，其特征在于：所述S6中光谱动态加权融合公式如下：
f(x,y)＝W(x,y)×f1(x,y)+(1-W(x,y))×f2(x,y)
式中，W(x,y)表示在图像(x,y)位置像素点的权重值，g1(x,y)是RGB-D图像在(x,y)处像素点的灰度值，g2(x,y)是降维后的高光谱图像在像素点(x,y)处的不同波段的值的平均值乘以200，ε是一个常数，用于避免分子为0的情况，取150至200中的任意值；f1(x,y)是RGB-D图像在像素点(x,y)处的RGB-D四通道数值集合的向量，f2(x,y)是高光谱图像在像素点(x,y)处经过PCA降维后的4通道数值集合的向量，f(x,y)是融合后的图像在像素点(x,y)处的4通道数值集合的向量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310522824.4A CN116448769B (zh) | 2023-05-10 | 2023-05-10 | 一种多模态信息融合的板材缺陷检测***及其检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310522824.4A CN116448769B (zh) | 2023-05-10 | 2023-05-10 | 一种多模态信息融合的板材缺陷检测***及其检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116448769A true CN116448769A (zh) | 2023-07-18 |
| CN116448769B CN116448769B (zh) | 2024-06-11 |
Family
ID=87125755
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310522824.4A Active CN116448769B (zh) | 2023-05-10 | 2023-05-10 | 一种多模态信息融合的板材缺陷检测***及其检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116448769B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116664586A (zh) * | 2023-08-02 | 2023-08-29 | 长沙韶光芯材科技有限公司 | 一种基于多模态特征融合的玻璃缺陷检测方法及*** |
| CN116758136A (zh) * | 2023-08-21 | 2023-09-15 | 杭州蓝芯科技有限公司 | 一种货物体积实时在线识别方法、***、设备以及介质 |
| CN117272003A (zh) * | 2023-11-23 | 2023-12-22 | 广州欧派集成家居有限公司 | 一种人造板材抗弯蠕变试验数据分析方法、装置及相关设备 |
| CN117333825A (zh) * | 2023-12-01 | 2024-01-02 | 尚古智造(山东)智能装备有限公司 | 一种基于计算机视觉的电缆桥架监测方法 |
| CN117606566A (zh) * | 2024-01-22 | 2024-02-27 | 吉林省柏汇物联科技有限公司 | 一种基于检斤数据的钢铁生产评测*** |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114170174A (zh) * | 2021-12-02 | 2022-03-11 | 沈阳工业大学 | 基于RGB-D图像的CLANet钢轨表面缺陷检测***及方法 |
| CN114638820A (zh) * | 2022-03-30 | 2022-06-17 | 西北农林科技大学 | 一种植物表型监测装置与方法 |
| CN114663481A (zh) * | 2022-02-14 | 2022-06-24 | 安徽大学 | 多模态图像获取装置及配准方法 |
| US20220366536A1 (en) * | 2021-04-13 | 2022-11-17 | Hunan University | High-resolution hyperspectral computational imaging method and system and medium |
| CN115439458A (zh) * | 2022-09-21 | 2022-12-06 | 征图新视(江苏)科技股份有限公司 | 基于深度图注意力的工业图像缺陷目标检测算法 |
-
2023
- 2023-05-10 CN CN202310522824.4A patent/CN116448769B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220366536A1 (en) * | 2021-04-13 | 2022-11-17 | Hunan University | High-resolution hyperspectral computational imaging method and system and medium |
| CN114170174A (zh) * | 2021-12-02 | 2022-03-11 | 沈阳工业大学 | 基于RGB-D图像的CLANet钢轨表面缺陷检测***及方法 |
| CN114663481A (zh) * | 2022-02-14 | 2022-06-24 | 安徽大学 | 多模态图像获取装置及配准方法 |
| CN114638820A (zh) * | 2022-03-30 | 2022-06-17 | 西北农林科技大学 | 一种植物表型监测装置与方法 |
| CN115439458A (zh) * | 2022-09-21 | 2022-12-06 | 征图新视(江苏)科技股份有限公司 | 基于深度图注意力的工业图像缺陷目标检测算法 |
Non-Patent Citations (2)
| Title |
|---|
| 张绍堂 等: "基于多源信息融合的高光谱图像拼接研究", 激光杂志, vol. 41, no. 02, 25 February 2020 (2020-02-25), pages 114 - 118 * |
| 骆健 等: "基于多模态深度学习的RGB-D物体识别", 计算机工程与设计, vol. 38, no. 06, 30 June 2017 (2017-06-30), pages 1624 - 1629 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116664586A (zh) * | 2023-08-02 | 2023-08-29 | 长沙韶光芯材科技有限公司 | 一种基于多模态特征融合的玻璃缺陷检测方法及*** |
| CN116664586B (zh) * | 2023-08-02 | 2023-10-03 | 长沙韶光芯材科技有限公司 | 一种基于多模态特征融合的玻璃缺陷检测方法及*** |
| CN116758136A (zh) * | 2023-08-21 | 2023-09-15 | 杭州蓝芯科技有限公司 | 一种货物体积实时在线识别方法、***、设备以及介质 |
| CN116758136B (zh) * | 2023-08-21 | 2023-11-10 | 杭州蓝芯科技有限公司 | 一种货物体积实时在线识别方法、***、设备以及介质 |
| CN117272003A (zh) * | 2023-11-23 | 2023-12-22 | 广州欧派集成家居有限公司 | 一种人造板材抗弯蠕变试验数据分析方法、装置及相关设备 |
| CN117272003B (zh) * | 2023-11-23 | 2024-05-31 | 广州欧派集成家居有限公司 | 一种人造板材抗弯蠕变试验数据分析方法、装置及相关设备 |
| CN117333825A (zh) * | 2023-12-01 | 2024-01-02 | 尚古智造(山东)智能装备有限公司 | 一种基于计算机视觉的电缆桥架监测方法 |
| CN117333825B (zh) * | 2023-12-01 | 2024-02-23 | 尚古智造(山东)智能装备有限公司 | 一种基于计算机视觉的电缆桥架监测方法 |
| CN117606566A (zh) * | 2024-01-22 | 2024-02-27 | 吉林省柏汇物联科技有限公司 | 一种基于检斤数据的钢铁生产评测*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116448769B (zh) | 2024-06-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116448769B (zh) | 一种多模态信息融合的板材缺陷检测***及其检测方法 | |
| CN103308430B (zh) | 一种测量种子千粒重的方法及装置 | |
| CN109509172A (zh) | 一种基于深度学习的液晶屏瑕疵检测方法及*** | |
| CN111507976B (zh) | 基于多角度成像的缺陷检测方法及*** | |
| EP2761595A2 (en) | Damage assessment of an object | |
| CN102003945B (zh) | 一种虚拟光学引伸计的测量方法 | |
| CN103902953B (zh) | 一种屏幕检测***及方法 | |
| CN104700395A (zh) | 一种构造物外观裂缝检测方法及*** | |
| CN108710909B (zh) | 一种可变形旋转不变装箱物体清点方法 | |
| CN111127417B (zh) | 一种基于sift特征匹配和改进ssd算法的印刷缺陷检测方法 | |
| CN106651802B (zh) | 机器视觉焊锡定位检测方法 | |
| CN111062978B (zh) | 基于频域滤波技术的时空图像测流的纹理识别方法 | |
| CN109035237A (zh) | 一种风叶裂痕检测方法 | |
| CN114719749B (zh) | 基于机器视觉的金属表面裂纹检测及真实尺寸测量方法及*** | |
| CN115775236A (zh) | 基于多尺度特征融合的表面微小缺陷视觉检测方法及*** | |
| CN111157532A (zh) | 一种手机外壳划痕视觉检测装置及方法 | |
| CN111638218A (zh) | 一种涂层表面缺陷的检测方法 | |
| CN109785290B (zh) | 基于局部光照归一化的钢板缺陷检测方法 | |
| CN113705564B (zh) | 一种指针式仪表识别读数方法 | |
| Li et al. | Automated rust-defect detection of a steel bridge using aerial multispectral imagery | |
| CN115829942A (zh) | 基于非负性约束稀疏自编码器的电子电路缺陷检测方法 | |
| CN113221805B (zh) | 一种电力设备图像位置获取方法及装置 | |
| CN202204479U (zh) | 虚拟光学引伸计 | |
| CN112415013A (zh) | 一种铜箔缺陷检测*** | |
| CN115409841B (zh) | 一种基于视觉的印刷品检验方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |