CN111862028A - 基于深度相机和深度学习的木材缺陷检测分选装置及方法 - Google Patents

基于深度相机和深度学习的木材缺陷检测分选装置及方法 Download PDF

Info

Publication number
CN111862028A
CN111862028A CN202010678895.XA CN202010678895A CN111862028A CN 111862028 A CN111862028 A CN 111862028A CN 202010678895 A CN202010678895 A CN 202010678895A CN 111862028 A CN111862028 A CN 111862028A
Authority
CN
China
Prior art keywords
wood
image
layer
length
sorting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010678895.XA
Other languages
English (en)
Other versions
CN111862028B (zh
Inventor
倪超
孙鑫岩
李振业
朱婷婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Forestry University
Original Assignee
Nanjing Forestry University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Forestry University filed Critical Nanjing Forestry University
Priority to CN202010678895.XA priority Critical patent/CN111862028B/zh
Publication of CN111862028A publication Critical patent/CN111862028A/zh
Application granted granted Critical
Publication of CN111862028B publication Critical patent/CN111862028B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0006—Industrial image inspection using a design-rule based approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20064—Wavelet transform [DWT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30161—Wood; Lumber

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明公开了一种基于深度相机和深度学习的木材缺陷检测分选装置及方法，包括工控机、检测机构和设置在所述检测机构后侧的分选机构，所述检测机构包括检测传送带和深度图像采集机构。本发明通过深度相机采集木材表面的RGB图像和深度信息，用GAN网络结合小波变换重构RGBD彩色深度信息。在进行小波变换中，人工标记训练数据中的木材裂缝，形成自适应的裂缝小波基函数。在此基础上进行小波重构提高后续算法的效率，结合深度学习算法分析得出缺陷类型。该算法能够对不同缺陷类型的木材进行分选，不仅提高了缺陷判别的效率，还大大提高了分选的效率。

Description

基于深度相机和深度学习的木材缺陷检测分选装置及方法
技术领域
本发明属于木材缺陷检测领域，具体涉及基于深度相机和深度学习的木材缺陷检测分选装置及方法。
背景技术
木材对于家居，房屋建设等有着广泛的应用，随着木材市场需求量的不断上升，林业资源有限的情况下，会出现木材原材料浪费的情况，一个主要原因是缺乏对木材缺陷的准确检测，其中木材表面的缺陷主要有虫眼、裂纹、结节等，传统的人工检测方法，检测效率低，而且对检测员的技术要求较高，现在已经不适应当前的木材生产。如今需要对木材缺陷应用新型检测方法进行快速无损检测。
发明内容
发明目的：针对现有技术存在的不足，本发明的目的是提供一种基于深度相机和深度学习的木材缺陷检测分选装置及方法。
技术方案：为了解决上述技术问题，本发明采用的技术方案如下：
在第一方面，本发明提供了一种基于深度相机和深度学习的木材缺陷检测分选装置，包括工控机、检测机构和设置在所述检测机构后侧的分选机构，所述检测机构包括检测传送带和深度图像采集机构，其特征在于：所述深度图像采集机构用于采集木材四周的RGB图像和深度信息，并将其采集的木材四周的RGB图像和深度信息发送至工控机，所述工控机基于生成对抗网络结合小波变换将RGB图像和深度信息重构成RGBD彩色深度信息，并采用标准化方法处理得到重构的RGBD彩色深度信息的四维特征，且将所述重构的RGBD彩色深度信息的四维特征输入至卷积神经网络，以计算木材的各个缺陷类型概率，并输出最大概率的缺陷类型，并确定该种缺陷为木材的缺陷类型，所述工控机根据木材的类型控制分选机构进行工作，以分选出不同类型的木材。
进一步的，所述深度图像采集机构包括四个深度相机，其中三个深度相机通过安装架设置在检测传送带的上侧和两侧，所述分选机构间隔设置在检测传送带的后侧，另一深度相机设置在检测传送带与分选机构之间，每一深度相机一侧设有光源。
进一步的，所述分选机构包括若干设置在检测传送带后侧的分选传送带，所述分选传送带的两侧设有木材推动机构，所述木材推动机构包括驱动器和与驱动器连接的推杆，所述主控机根据木材的类型控制驱动器工作，以控制推杆将木材推至相应的分选传送带上；所述分选机构后侧还设有木材分类收集机构，所述木材分类收集机构包括设置在分选传送带后侧的斜面板和设置在斜面板后侧的分类箱。
进一步的，所述生成对抗网络包括生成器和判别器，生成器用于首先生成随机图像数据，再根据随机图像数据生成图像，所述判别器用于将生成图像和原始图像进行区分，再对生成器进行调整，以产生新的生成图像，经过多次训练，使得生成图像的效果更好，所述判别器将生成图像和原始图像区分的方式如下：
Figure BDA0002583519630000021
其中，z为随机图像数据，x为原始图像数据，D为判别器映射函数，G为生成器模型，E是期望值，x-Pdata(x)是从随机生成的数据分布Pdata(x)中的采样的生成图像数据，z-Pz(z)是从真实图像数据分布Pz(z)中的原始图像数据。
进一步的，在进行小波变换之前，人工标记训练数据中的木材裂纹信息，标出图像中裂缝的四个点P1、P2、P3和P4，将裂纹图像中的长轴长度标为a，裂纹图像中的短轴长度标为b，则：
Figure BDA0002583519630000022
Figure BDA0002583519630000023
Figure BDA0002583519630000024
其中θ为长轴与短轴向量的夹角，再通过旋转变换，将木材原始图像中的坐标(x，y)转变为(h，w)，如下：
Figure BDA0002583519630000025
由变换后的(h，w)，计算小波基函数ψm，n(h，w)，如下：
Figure BDA0002583519630000031
其中，σx，σy分别为x，y方向上的小波持续时间；
将小波基函数ψm，n(h，w)与深度信息值相结合，得到小波变换值ωψ(m，n)，如下：
Figure BDA0002583519630000032
式中f(x，y)为原始深度信息，ωψ(m，n)为变换后的小波值，(m，n)为小波变换后的图像坐标。
进一步的，所述卷积神经网络包括四个网络大层的结构，第一卷积层有32个5×5的卷积核，步长为3，其激活层的激活函数为Relu，再经过池化层，第一卷积层的池化层采用2×2的卷积核，步长为2；第二个卷积大层将第一卷积层的池化层的输出作为输入，第二卷积层采用64个3×3的卷积核，步长为2，其激活层采用Relu作为激活函数，第二卷积层的池化层采用2×2的卷积核，步长为2；第三卷积层将第二卷积层的池化层的结果作为输入，第三卷积层使用128个3×3的卷积核，步长为2，其激活层的激活函数为Relu，第三卷积层的池化层使用2×2的卷积核，步长为2；第四卷积层使用256个3×3的卷积核，步长为2，其激活层的激活函数为Relu，第四卷积层的池化层使用2×2的卷积核，步长为2；最后经过一个全连接层，采用softmax函数输出，得到区域图像的缺陷类型概率，并根据缺陷类型概率判断木材的类型。
在第二方面，本发明还提供了一种基于深度相机和深度学习的木材缺陷检测分选方法，包括：
采集木材的四周的RGB图像和深度信息；
基于生成对抗网络结合小波变换将四周的RGB图像和深度信息重构成RGBD彩色深度信息；
采用标准化方法处理得到重构的RGBD彩色深度信息的四维特征；
将所述重构的RGBD彩色深度信息的四维特征输入至卷积神经网络，以计算木材的各个缺陷类型的概率，并以概率最大的缺陷类型作为木材的缺陷类型；
根据木材的缺陷类型的进行分选。
进一步的，所述生成对抗网络包括生成器和判别器，生成器用于首先生成随机图像数据，再根据随机图像数据生成图像，所述判别器用于将生成图像和原始图像进行区分，再对生成器进行调整，以产生新的生成图像，经过多次训练，使得生成图像的效果更好，所述判别器将生成图像和原始图像区分的方式如下：
Figure BDA0002583519630000041
其中，z为随机图像数据，x为原始图像数据，D为判别器映射函数，G为生成器模型，E是期望值，x-Pdata(x)是从随机生成的数据分布Pdata(x)中的采样的生成图像数据，z-Pz(z)是从真实图像数据分布Pz(z)中的原始图像数据。
进一步的，在进行小波变换之前，人工标记训练数据中的木材裂纹信息，标出图像中裂缝的四个点P1、P2、P3和P4，将裂纹图像中的长轴长度标为a，裂纹图像中的短轴长度标为b，则：
Figure BDA0002583519630000042
Figure BDA0002583519630000043
Figure BDA0002583519630000044
其中θ为长轴与短轴向量的夹角，再通过旋转变换，将木材原始图像中的坐标(x，y)转变为(h，w)，如下：
Figure BDA0002583519630000045
由变换后的(h，w)，计算小波基函数ψm，n(h，w)，如下：
Figure BDA0002583519630000046
其中，σx，σy分别为x，y方向上的小波持续时间；
将小波基函数ψm，n(h，w)与深度信息值相结合，得到小波变换值ωψ(m，n)，如下：
Figure BDA0002583519630000051
式中f(x，y)为原始深度信息，ωψ(m，n)为变换后的小波值，(m，n)为小波变换后的图像坐标。
进一步的，所述卷积神经网络包括四个网络大层的结构，第一卷积层有32个5×5的卷积核，步长为3，其激活层的激活函数为Relu，再经过池化层，第一卷积层的池化层采用2×2的卷积核，步长为2；第二个卷积大层将第一卷积层的池化层的输出作为输入，第二卷积层采用64个3×3的卷积核，步长为2，其激活层采用Relu作为激活函数，第二卷积层的池化层采用2×2的卷积核，步长为2；第三卷积层将第二卷积层的池化层的结果作为输入，第三卷积层使用128个3×3的卷积核，步长为2，其激活层的激活函数为Relu，第三卷积层的池化层使用2×2的卷积核，步长为2；第四卷积层使用256个3×3的卷积核，步长为2，其激活层的激活函数为Relu，第四卷积层的池化层使用2×2的卷积核，步长为2；最后经过一个全连接层，采用softmax函数输出，得到区域图像的缺陷类型概率，并根据缺陷类型概率判断木材的类型
有益效果：与现有技术相比，本发明具有以下优点：
本发明采用四个深度相机采集木材表面的深度图像，通过光源照射，能够保证深度相机采集到木材的图像和深度信息。深度相机将采集的图像信息传送到工控机，通过深度学习算法得到木材的缺陷类型，并根据其类型进行分选。采用GAN(生成对抗网络)能够对原始图像进行增强，采用小波变换能够对深度信息进行降噪处理；采用卷积神经网络算法对木材表面图像进行分析，能够更快速、更准确的对不同缺陷类型的木材进行分类。当木块移动到分选装置时，根据其缺陷类型，由工控机控制驱动器工作，驱动器带动两个推杆将中央传送带上的木块移动到相应分类的传送带上，工控机在控制对应传送带移动，使得木材从传送带后方的斜面板上滑落，进入分类箱中；本装置能够快速、全面地获取木材的深度图像信息，经过深度学习分析检测其缺陷，并能够对不同缺陷的木材进行分选，比传统检测方法更加智能，且提高了工作效率。
附图说明
图1是基于深度相机和深度学习的木材缺陷检测分选装置结构示意图；
图2是木材检测流程示意图和生成对抗网络结构示意图；
图3是卷积神经网络的结构示意图；
图4是木材中的裂缝的划分示意图。
具体实施方式
下面结合具体实施例，进一步阐明本发明，实施例在以本发明技术方案为前提下进行实施，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围。
如图1至4所示，本发明实施例的基于深度相机和深度学习的木材缺陷检测分选装置，包括工控机4、检测机构和分选机构。其中，检测机构包括检测传送带1和深度图像采集机构2，木材在检测传送带1上运送期间，深度图像采集机构2用于采集木材四周的RGB图像和深度信息，并将其采集的木材四周的RGB图像和深度信息发送至工控机4，由工控机4通过深度学习算法得到木材的缺陷类型。具体的，工控机4基于生成对抗网络结合小波变换将RGB图像和深度信息重构成RGBD彩色深度信息，并采用标准化方法处理得到重构的RGBD彩色深度信息的四维特征，且将所述重构的RGBD彩色深度信息的四维特征输入至卷积神经网络，卷积神经网络计算木材各个缺陷类型概率，并输出最大概率的缺陷类型，确定该种缺陷为木材的缺陷类型。缺陷类型包括结节、虫眼和裂纹，工控机4根据木材的类型控制分选机构进行工作，以分选出不同类型的木材。
本发明实施例的深度图像采集机构2优选采用四个深度相机21，其中三个深度相机通过安装架设置在检测传送带1的上侧和两侧，优选设置在检测传送带1的中央上方和中央两侧，位于检测传送带1上侧的深度相机21用于采集木材顶面的深度图像数据，位于检测传送带1两侧的深度相机21用于采集木材两侧深度图像数据，分选机构优选间隔设置在检测传送带1的后侧，另一个深度相机21设置在检测传送带1与分选机构之间，该深度相机21用于在木材从检测传送带1进入分选机构期间采集木材底面的深度图像数据。进而，可以采集木材的上下左右四个面的深度图像数据，深度相机优选采用型号为Intel RealSenseR200深度相机。在每一个深度相机21一侧设有光源22。
本发明实施例的分选机构包括若干设置在检测传送带后侧的分选传送带，分选传送带的两侧设有木材推动机构，木材推动机构包括驱动器8和与驱动器8连接的推杆9，主控机4根据木材的类型控制驱动器8工作，驱动器8工作时带动控制杆9沿分选传送带的上表面移动，进而控制推杆9将木材推至相应的分选传送带上。分选传送带优选为三个，分别为第一分选传送带5、第二分选传送带6和第三分选传送带7。第一分选传送带5间隔设置在检测传送带1的后侧，其高度优选与检测传送带1的高度相同，第二分选传送带6和第三分选传送带7分别设置在第一分选传送带5的两侧，并优选与第一分选传送带5保持平行设置。所采用的木材推动机构为两个，分别设置在第二分选传送带6和第三分选传送带7的外侧。其中，位于第二分选传送带6外侧的木材推动机构工作时，将处于第一分选传送带上的木材推移至第三分选传送带7上送出，位于第三分选传送带6外侧的木材推动机构工作时，将处于第一分选传送带上的木材推移至第二分选传送带6上送出。
在分选传送带的后侧还优选设有木材分类收集机构，木材分类收集机构包括设置在分选传送带后侧的斜面板10和设置在斜面板10后侧的分类箱11。斜面板10的上端优选与分选传送带的末端平齐，斜面板10的下端优选与分类箱11平齐，进而可使木材通过斜面板10滑移至分类箱11内。
本发明实施例的生成对抗网络(GAN)包括生成器和判别器，生成器用于首先生成随机图像数据，再根据随机图像数据生成图像，判别器用于将生成图像和原始图像进行区分，再对生成器进行调整，以产生新的生成图像，经过多次训练，使得生成图像的效果更好，判别器将生成图像和原始图像区分的方式如下：
Figure BDA0002583519630000071
其中，z为随机图像数据，x为原始图像数据，D为判别器映射函数，G为生成器模型，E是期望值，x-Pdata(x)是从随机生成的数据分布Pdata(x)中的采样的生成图像数据，z-Pz(z)是从真实图像数据分布Pz(z)中的原始图像数据。训练生成网络时，使生成的图像与原始图像越接近越好，D(G(z))的期望越大越好，V(D，G)越小；训练判别网络时，对D(x)的期望越小越好，对1-D(G(z))的期望越大越好，V(D，G)越大。
如图3和4在进行小波变换之前，人工标记训练数据中的木材裂纹信息，标出图像中裂缝的四个点P1、P2、P3和P4，将裂纹图像中的长轴长度标为a，裂纹图像中的短轴长度标为b，则：
Figure BDA0002583519630000081
Figure BDA0002583519630000082
Figure BDA0002583519630000083
其中θ为长轴与短轴向量的夹角，再通过旋转变换，将木材原始图像中的坐标(x，y)转变为(h，w)，如下：
Figure BDA0002583519630000084
由变换后的(h，w)，计算小波基函数ψm，n(h，w)，如下：
Figure BDA0002583519630000085
其中，σx，σy分别为x，y方向上的小波持续时间；
将小波基函数ψm，n(h，w)与深度信息值相结合，得到小波变换值ωψ(m，n)，如下：
Figure BDA0002583519630000086
式中f(x，y)为原始深度信息，ωψ(m，n)为变换后的小波值，(m，n)为小波变换后的图像坐标。
本发明实施例的积神经网络包括四个网络大层的结构，第一卷积层有32个5×5的卷积核，步长为3，其激活层的激活函数为Relu，再经过池化层，第一卷积层的池化层采用2×2的卷积核，步长为2；第二个卷积大层将第一卷积层的池化层的输出作为输入，第二卷积层采用64个3×3的卷积核，步长为2，其激活层采用Relu作为激活函数，第二卷积层的池化层采用2×2的卷积核，步长为2；第三卷积层将第二卷积层的池化层的结果作为输入，第三卷积层使用128个3×3的卷积核，步长为2，其激活层的激活函数为Relu，第三卷积层的池化层使用2×2的卷积核，步长为2；第四卷积层使用256个3×3的卷积核，步长为2，其激活层的激活函数为Relu，第四卷积层的池化层使用2×2的卷积核，步长为2；最后经过一个全连接层，采用softmax函数输出，得到区域图像的缺陷类型概率，并根据缺陷类型概率判断木材的类型。
结合图1至4，基于以上实施例本领域技术人员可以理解，本发明还提供了一种基于深度相机和深度学习的木材缺陷检测分选方法，包括：
采集木材的四周的RGB图像和深度信息。
基于生成对抗网络结合小波变换将四周的RGB图像和深度信息重构成RGBD彩色深度信息。
采用标准化方法处理得到重构的RGBD彩色深度信息的四维特征。
将所述重构的RGBD彩色深度信息的四维特征输入至卷积神经网络，以计算木材的各个缺陷类型的概率，并以概率最大的缺陷类型作为木材的缺陷类型；
根据木材的缺陷类型的进行分选。
具体的，本发明实施例的生成对抗网络(GAN)包括生成器和判别器，生成器用于首先生成随机图像数据，再根据随机图像数据生成图像，判别器用于将生成图像和原始图像进行区分，再对生成器进行调整，以产生新的生成图像，经过多次训练，使得生成图像的效果更好，判别器将生成图像和原始图像区分的方式如下：
Figure BDA0002583519630000091
其中，z为随机图像数据，x为原始图像数据，D为判别器映射函数，G为生成器模型。训练生成网络时，使生成的图像与原始图像越接近越好，D(G(z))的期望越大越好，V(D，G)越小；训练判别网络时，对D(x)的期望越小越好，对1-D(G(z))的期望越大越好，V(D，G)越大。
如图3和4所示，在进行小波变换之前，人工标记训练数据中的木材裂纹信息，标出图像中裂缝的四个点P1、P2、P3和P4，将裂纹图像中的长轴长度标为a，裂纹图像中的短轴长度标为b，则：
Figure BDA0002583519630000101
Figure BDA0002583519630000102
Figure BDA0002583519630000103
其中θ为长轴与短轴向量的夹角，再通过旋转变换，将木材原始图像中的坐标(x，y)转变为(h，w)，如下：
Figure BDA0002583519630000104
由变换后的(h，w)，计算小波基函数ψm，n(h，w)，如下：
Figure BDA0002583519630000105
其中，σx，σy分别为x，y方向上的小波持续时间；
将小波基函数ψm，n(h，w)与深度信息值相结合，得到小波变换值ωψ(m，n)，如下：
Figure BDA0002583519630000106
式中f(x，y)为原始深度信息，ωψ(m，n)为变换后的小波值，(m，n)为小波变换后的图像坐标。
本发明实施例的积神经网络包括四个网络大层的结构，第一卷积层有32个5×5的卷积核，步长为3，其激活层的激活函数为Relu，再经过池化层，第一卷积层的池化层采用2×2的卷积核，步长为2；第二个卷积大层将第一卷积层的池化层的输出作为输入，第二卷积层采用64个3×3的卷积核，步长为2，其激活层采用Relu作为激活函数，第二卷积层的池化层采用2×2的卷积核，步长为2；第三卷积层将第二卷积层的池化层的结果作为输入，第三卷积层使用128个3×3的卷积核，步长为2，其激活层的激活函数为Relu，第三卷积层的池化层使用2×2的卷积核，步长为2；第四卷积层使用256个3×3的卷积核，步长为2，其激活层的激活函数为Relu，第四卷积层的池化层使用2×2的卷积核，步长为2；最后经过一个全连接层，采用softmax函数输出，得到区域图像的缺陷类型概率，并根据缺陷类型概率判断木材的类型。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.基于深度相机和深度学习的木材缺陷检测分选装置，包括工控机、检测机构和设置在所述检测机构后侧的分选机构，所述检测机构包括检测传送带和深度图像采集机构，其特征在于：所述深度图像采集机构用于采集木材四周的RGB图像和深度信息，并将其采集的木材四周的RGB图像和深度信息发送至工控机，所述工控机基于生成对抗网络结合小波变换将RGB图像和深度信息重构成RGBD彩色深度信息，并采用标准化方法处理得到重构的RGBD彩色深度信息的四维特征，且将所述重构的RGBD彩色深度信息的四维特征输入至卷积神经网络，以计算木材的各个缺陷类型概率，并输出最大概率的缺陷类型，并确定该种缺陷为木材的缺陷类型，所述工控机根据木材的类型控制分选机构进行工作，以分选出不同类型的木材。
2.根据权利要求1所述的基于深度相机和深度学习的木材缺陷检测分选装置，其特征在于：所述深度图像采集机构包括四个深度相机，其中三个深度相机通过安装架设置在检测传送带的上侧和两侧，所述分选机构间隔设置在检测传送带的后侧，另一深度相机设置在检测传送带与分选机构之间，每一深度相机一侧设有光源。
3.根据权利要求1所述的基于深度相机和深度学习的木材缺陷检测分选装置，其特征在于：所述分选机构包括若干设置在检测传送带后侧的分选传送带，所述分选传送带的两侧设有木材推动机构，所述木材推动机构包括驱动器和与驱动器连接的推杆，所述主控机根据木材的类型控制驱动器工作，以控制推杆将木材推至相应的分选传送带上；所述分选机构后侧还设有木材分类收集机构，所述木材分类收集机构包括设置在分选传送带后侧的斜面板和设置在斜面板后侧的分类箱。
4.根据权利要求1所述的基于深度相机和深度学习的木材缺陷检测分选装置，其特征在于：所述生成对抗网络包括生成器和判别器，生成器用于首先生成随机图像数据，再根据随机图像数据生成图像，所述判别器用于将生成图像和原始图像进行区分，再对生成器进行调整，以产生新的生成图像，经过多次训练，使得生成图像的效果更好，所述判别器将生成图像和原始图像区分的方式如下：
Figure FDA0002583519620000011
其中，z为随机图像数据，x为原始图像数据，D为判别器映射函数，G为生成器模型，E是期望值，x-Pdata(x)是从随机生成的数据分布Pdata(x)中的采样的生成图像数据，z-Pz(z)是从真实图像数据分布Pz(z)中的原始图像数据。
5.根据权利要求1所述的基于深度相机和深度学习的木材缺陷检测分选装置，其特征在于：在进行小波变换之前，人工标记训练数据中的木材裂纹信息，标出图像中裂缝的四个点P1、P2、P3和P4，将裂纹图像中的长轴长度标为a，裂纹图像中的短轴长度标为b，则：
Figure FDA0002583519620000021
Figure FDA0002583519620000022
Figure FDA0002583519620000023
其中θ为长轴与短轴向量的夹角，再通过旋转变换，将木材原始图像中的坐标(x，y)转变为(h，w)，如下：
Figure FDA0002583519620000024
由变换后的(h，w)，计算小波基函数ψm，n(h，w)，如下：
Figure FDA0002583519620000025
其中，σx，σy分别为x，y方向上的小波持续时间；
将小波基函数ψm，n(h，w)与深度信息值相结合，得到小波变换值ωψ(m，n)，如下：
Figure FDA0002583519620000026
式中f(x，y)为原始深度信息，ωψ(m，n)为变换后的小波值，(m，n)为小波变换后的图像坐标。
6.根据权利要求1所述的基于深度相机和深度学习的木材缺陷检测分选装置，其特征在于：所述卷积神经网络包括四个网络大层的结构，第一卷积层有32个5×5的卷积核，步长为3，其激活层的激活函数为Relu，再经过池化层，第一卷积层的池化层采用2×2的卷积核，步长为2；第二个卷积大层将第一卷积层的池化层的输出作为输入，第二卷积层采用64个3×3的卷积核，步长为2，其激活层采用Relu作为激活函数，第二卷积层的池化层采用2×2的卷积核，步长为2；第三卷积层将第二卷积层的池化层的结果作为输入，第三卷积层使用128个3×3的卷积核，步长为2，其激活层的激活函数为Relu，第三卷积层的池化层使用2×2的卷积核，步长为2；第四卷积层使用256个3×3的卷积核，步长为2，其激活层的激活函数为Relu，第四卷积层的池化层使用2×2的卷积核，步长为2；最后经过一个全连接层，采用softmax函数输出，得到区域图像的缺陷类型概率，并根据缺陷类型概率判断木材的类型。
7.基于深度相机和深度学习的木材缺陷检测分选方法，其特征在于：包括：
采集木材的四周的RGB图像和深度信息；
基于生成对抗网络结合小波变换将四周的RGB图像和深度信息重构成RGBD彩色深度信息；
采用标准化方法处理得到重构的RGBD彩色深度信息的四维特征；
将所述重构的RGBD彩色深度信息的四维特征输入至卷积神经网络，以计算木材的各个缺陷类型的概率，并以概率最大的缺陷类型作为木材的缺陷类型；
根据木材的缺陷类型的进行分选。
8.根据权利要求7所述的基于深度相机和深度学习的木材缺陷检测分选方法，其特征在于：所述生成对抗网络包括生成器和判别器，生成器用于首先生成随机图像数据，再根据随机图像数据生成图像，所述判别器用于将生成图像和原始图像进行区分，再对生成器进行调整，以产生新的生成图像，经过多次训练，使得生成图像的效果更好，所述判别器将生成图像和原始图像区分的方式如下：
Figure FDA0002583519620000031
其中，z为随机图像数据，x为原始图像数据，D为判别器映射函数，G为生成器模型，E是期望值，x-Pdata(x)是从随机生成的数据分布Pdata(x)中的采样的生成图像数据，z-Pz(z)是从真实图像数据分布Pz(z)中的原始图像数据。
9.根据权利要求7所述的基于深度相机和深度学习的木材缺陷检测分选方法，其特征在于：在进行小波变换之前，人工标记训练数据中的木材裂纹信息，标出图像中裂缝的四个点P1、P2、P3和P4，将裂纹图像中的长轴长度标为a，裂纹图像中的短轴长度标为b，则：
Figure FDA0002583519620000041
Figure FDA0002583519620000042
Figure FDA0002583519620000043
其中θ为长轴与短轴向量的夹角，再通过旋转变换，将木材原始图像中的坐标(x，y)转变为(h，w)，如下：
Figure FDA0002583519620000044
由变换后的(h，w)，计算小波基函数ψm，n(h，w)，如下：
Figure FDA0002583519620000045
其中，σx，σy分别为x，y方向上的小波持续时间；
将小波基函数ψm，n(h，w)与深度信息值相结合，得到小波变换值ωψ(m，n)，如下：
Figure FDA0002583519620000046
式中f(x，y)为原始深度信息，ωψ(m，n)为变换后的小波值，(m，n)为小波变换后的图像坐标。
10.根据权利要求7所述的基于深度相机和深度学习的木材缺陷检测分选方法，其特征在于：所述卷积神经网络包括四个网络大层的结构，第一卷积层有32个5×5的卷积核，步长为3，其激活层的激活函数为Relu，再经过池化层，第一卷积层的池化层采用2×2的卷积核，步长为2；第二个卷积大层将第一卷积层的池化层的输出作为输入，第二卷积层采用64个3×3的卷积核，步长为2，其激活层采用Relu作为激活函数，第二卷积层的池化层采用2×2的卷积核，步长为2；第三卷积层将第二卷积层的池化层的结果作为输入，第三卷积层使用128个3×3的卷积核，步长为2，其激活层的激活函数为Relu，第三卷积层的池化层使用2×2的卷积核，步长为2；第四卷积层使用256个3×3的卷积核，步长为2，其激活层的激活函数为Relu，第四卷积层的池化层使用2×2的卷积核，步长为2；最后经过一个全连接层，采用soffmax函数输出，得到区域图像的缺陷类型概率，并根据缺陷类型概率判断木材的类型。
CN202010678895.XA 2020-07-14 2020-07-14 基于深度相机和深度学习的木材缺陷检测分选装置及方法 Active CN111862028B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010678895.XA CN111862028B (zh) 2020-07-14 2020-07-14 基于深度相机和深度学习的木材缺陷检测分选装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010678895.XA CN111862028B (zh) 2020-07-14 2020-07-14 基于深度相机和深度学习的木材缺陷检测分选装置及方法

Publications (2)

Publication Number Publication Date
CN111862028A true CN111862028A (zh) 2020-10-30
CN111862028B CN111862028B (zh) 2021-04-09

Family

ID=72983729

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010678895.XA Active CN111862028B (zh) 2020-07-14 2020-07-14 基于深度相机和深度学习的木材缺陷检测分选装置及方法

Country Status (1)

Country Link
CN (1) CN111862028B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112651968A (zh) * 2021-01-20 2021-04-13 广东工业大学 一种基于深度信息的木板形变与凹坑检测方法
CN112676195A (zh) * 2020-12-14 2021-04-20 南京林业大学 基于线阵cmos相机的实木地板的颜色分选装置及方法
CN112808603A (zh) * 2020-12-22 2021-05-18 南京林业大学 基于RealSense相机的鲜切花分选装置及方法
CN113141901A (zh) * 2021-01-29 2021-07-23 山东汇友市政园林集团有限公司 一种分体式乔灌木远程验收修剪机及验收方法
CN113674233A (zh) * 2021-08-13 2021-11-19 沭阳东川木业有限公司 基于人工智能的木材优选锯视觉检测方法
CN114817609A (zh) * 2022-04-15 2022-07-29 南京林业大学 一种基于提升树的实木地板颜色的自动排序方法
CN116309375A (zh) * 2023-02-23 2023-06-23 南京林业大学 实木板材双面缺陷检测及智能加工坐标确定方法
CN117848978A (zh) * 2023-12-26 2024-04-09 中国林业科学研究院木材工业研究所 木竹材表面化学添加物分布均匀性检测、控制方法及装置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1789990A (zh) * 2005-12-01 2006-06-21 渤海船舶重工有限责任公司 钢板预处理过程中的上、下表面缺陷在线自动检测方法
CN104200200A (zh) * 2014-08-28 2014-12-10 公安部第三研究所 融合深度信息和灰度信息实现步态识别的***及方法
CN106596575A (zh) * 2016-12-15 2017-04-26 南通维新自动化科技有限公司 一种木材板的表面缺陷检测装置
CN106910185A (zh) * 2017-01-13 2017-06-30 陕西师范大学 一种基于cnn深度学习的dbcc分类模型及构建方法
US20180047208A1 (en) * 2016-08-15 2018-02-15 Aquifi, Inc. System and method for three-dimensional scanning and for capturing a bidirectional reflectance distribution function
CN108346153A (zh) * 2018-03-22 2018-07-31 北京木业邦科技有限公司 木材缺陷的机器学习及修复方法、装置、***、电子设备
CN108830837A (zh) * 2018-05-25 2018-11-16 北京百度网讯科技有限公司 一种用于检测钢包溶蚀缺陷的方法和装置
CN109013405A (zh) * 2018-08-02 2018-12-18 常州大学 一种具有铸件表面自主检测及次品分拣功能的机器人***
CN109166144A (zh) * 2018-07-20 2019-01-08 中国海洋大学 一种基于生成对抗网络的图像深度估计方法
CN109675819A (zh) * 2019-01-29 2019-04-26 南京林业大学 基于深度相机的黑果枸杞分选装置及识别与分类算法
CN111325748A (zh) * 2020-03-20 2020-06-23 哈尔滨工业大学 一种基于卷积神经网络的红外热像无损检测方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1789990A (zh) * 2005-12-01 2006-06-21 渤海船舶重工有限责任公司 钢板预处理过程中的上、下表面缺陷在线自动检测方法
CN104200200A (zh) * 2014-08-28 2014-12-10 公安部第三研究所 融合深度信息和灰度信息实现步态识别的***及方法
US20180047208A1 (en) * 2016-08-15 2018-02-15 Aquifi, Inc. System and method for three-dimensional scanning and for capturing a bidirectional reflectance distribution function
CN106596575A (zh) * 2016-12-15 2017-04-26 南通维新自动化科技有限公司 一种木材板的表面缺陷检测装置
CN106910185A (zh) * 2017-01-13 2017-06-30 陕西师范大学 一种基于cnn深度学习的dbcc分类模型及构建方法
CN108346153A (zh) * 2018-03-22 2018-07-31 北京木业邦科技有限公司 木材缺陷的机器学习及修复方法、装置、***、电子设备
CN108830837A (zh) * 2018-05-25 2018-11-16 北京百度网讯科技有限公司 一种用于检测钢包溶蚀缺陷的方法和装置
CN109166144A (zh) * 2018-07-20 2019-01-08 中国海洋大学 一种基于生成对抗网络的图像深度估计方法
CN109013405A (zh) * 2018-08-02 2018-12-18 常州大学 一种具有铸件表面自主检测及次品分拣功能的机器人***
CN109675819A (zh) * 2019-01-29 2019-04-26 南京林业大学 基于深度相机的黑果枸杞分选装置及识别与分类算法
CN111325748A (zh) * 2020-03-20 2020-06-23 哈尔滨工业大学 一种基于卷积神经网络的红外热像无损检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
IAN J. GOODFELLOW等: "Generative Adversarial Nets", 《MACHINE LEARNING》 *
胡峻峰: "基于机器视觉的实木地板分选技术研究", 《中国博士学位论文全文数据库 信息科技辑》 *
赵小川: "《MATLAB图像处理—能力提高与应用案例》", 31 January 2019 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112676195A (zh) * 2020-12-14 2021-04-20 南京林业大学 基于线阵cmos相机的实木地板的颜色分选装置及方法
CN112676195B (zh) * 2020-12-14 2021-10-29 南京林业大学 基于线阵cmos相机的实木地板的颜色分选装置及方法
CN112808603A (zh) * 2020-12-22 2021-05-18 南京林业大学 基于RealSense相机的鲜切花分选装置及方法
CN112808603B (zh) * 2020-12-22 2021-10-12 南京林业大学 基于RealSense相机的鲜切花分选装置及方法
CN112651968A (zh) * 2021-01-20 2021-04-13 广东工业大学 一种基于深度信息的木板形变与凹坑检测方法
CN113141901A (zh) * 2021-01-29 2021-07-23 山东汇友市政园林集团有限公司 一种分体式乔灌木远程验收修剪机及验收方法
CN113674233A (zh) * 2021-08-13 2021-11-19 沭阳东川木业有限公司 基于人工智能的木材优选锯视觉检测方法
CN114817609A (zh) * 2022-04-15 2022-07-29 南京林业大学 一种基于提升树的实木地板颜色的自动排序方法
CN114817609B (zh) * 2022-04-15 2022-11-25 南京林业大学 一种基于提升树的实木地板颜色的自动排序方法
CN116309375A (zh) * 2023-02-23 2023-06-23 南京林业大学 实木板材双面缺陷检测及智能加工坐标确定方法
CN116309375B (zh) * 2023-02-23 2023-10-24 南京林业大学 实木板材双面缺陷检测及智能加工坐标确定方法
CN117848978A (zh) * 2023-12-26 2024-04-09 中国林业科学研究院木材工业研究所 木竹材表面化学添加物分布均匀性检测、控制方法及装置

Also Published As

Publication number Publication date
CN111862028B (zh) 2021-04-09

Similar Documents

Publication Publication Date Title
CN111862028B (zh) 基于深度相机和深度学习的木材缺陷检测分选装置及方法
CN106238342B (zh) 全景视觉马铃薯分选和缺陷检测装置及其分选检测方法
CN109239102B (zh) 一种基于cnn的柔性电路板外观缺陷检测方法
CN109772733B (zh) 一种基于视觉的缺陷竹块检测分拣装置及方法
CN107804514B (zh) 一种基于图像识别的牙刷分拣方法
CN101551864B (zh) 基于频域方向特征相关性的图像分类方法
Jie et al. Real-time rail head surface defect detection: A geometrical approach
CN107966454A (zh) 一种基于fpga的端塞缺陷检测装置及检测方法
CN111275679A (zh) 一种基于图像的太阳能电池缺陷检测***及方法
CN105344618B (zh) 矩形竹片缺棱缺陷及颜色分拣方法
CN107999405A (zh) 一种建筑垃圾在线分拣***和分拣方法
CN112893159B (zh) 一种基于图像识别的煤矸石分拣方法
WO2019243897A3 (en) System and method for detection and classification of objects of interest in microscope images by supervised machine learning
CN113145492A (zh) 一种用于梨外观品质视觉分级方法及分级生产线
CN104597052A (zh) 基于多特征融合的马铃薯高速无损分级检测方法及***
CN106248680A (zh) 一种基于机器视觉的电机换向器质量检测***及检测方法
CN103646251B (zh) 基于嵌入式的苹果采后田间分级检测方法及***
CN104700417A (zh) 木材节子瑕疵的计算机图像自动识别方法
Estévez et al. Genetic input selection to a neural classifier for defect classification of radiata pine boards
CN113077450A (zh) 基于深度卷积神经网络的樱桃分级检测方法及***
CN101034440A (zh) 一种类球形果蔬的识别方法
CN107256549B (zh) 一种基于机器视觉的竹条缺陷检测方法
CN112676195B (zh) 基于线阵cmos相机的实木地板的颜色分选装置及方法
CN206139529U (zh) 透明滚轴机构
CN110991469B (zh) 一种水果可溶性固形物在线检测方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20201030

Assignee: DEHUA TB NEW DECORATION MATERIAL Co.,Ltd.

Assignor: NANJING FORESTRY University

Contract record no.: X2021980012664

Denomination of invention: Wood defect detection and sorting device and method based on depth camera and depth learning

Granted publication date: 20210409

License type: Common License

Record date: 20211119

EE01 Entry into force of recordation of patent licensing contract