CN107845086A - 一种皮革表面显著性缺陷的检测方法、***及装置 - Google Patents

一种皮革表面显著性缺陷的检测方法、***及装置 Download PDF

Info

Publication number
CN107845086A
CN107845086A CN201710846386.1A CN201710846386A CN107845086A CN 107845086 A CN107845086 A CN 107845086A CN 201710846386 A CN201710846386 A CN 201710846386A CN 107845086 A CN107845086 A CN 107845086A
Authority
CN
China
Prior art keywords
image
filtering
filtering image
conspicuousness
yardstick
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710846386.1A
Other languages
English (en)
Other versions
CN107845086B (zh
Inventor
林健发
刘根
肖盼
黄冠成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Foshan Connie Vision Technology Co Ltd
Original Assignee
Foshan Connie Vision Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Foshan Connie Vision Technology Co Ltd filed Critical Foshan Connie Vision Technology Co Ltd
Priority to CN201710846386.1A priority Critical patent/CN107845086B/zh
Publication of CN107845086A publication Critical patent/CN107845086A/zh
Application granted granted Critical
Publication of CN107845086B publication Critical patent/CN107845086B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/10Image enhancement or restoration using non-spatial domain filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • G06T5/30Erosion or dilatation, e.g. thinning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/28Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • G06T2207/20032Median filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • G06T2207/20056Discrete and fast Fourier transform, [DFT, FFT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • G06T2207/20104Interactive definition of region of interest [ROI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明公开了一种皮革表面显著性缺陷的检测方法、***及装置,该***包括第一获取模块、第一处理模块、第二处理模块、第三处理模块、第四处理模块、第五处理模块及第六处理模块。该方法包括:从Gabor滤波器输出的滤波图像中选出最优方向尺度的滤波图像;对最优方向尺度的滤波图像依次进行显著性目标检测处理、自适应阈值图像分割处理后得到第一二值图像;利用第一二值图像对SVM进行训练;利用SVM对待测皮革所对应的二值图像进行处理。该装置包括存储器和处理器。通过使用本发明,能达到提高处理效率的同时,也提高皮革缺陷检测方法的通用性和实用性。本发明作为一种皮革表面显著性缺陷的检测方法、***及装置可广泛应用于皮革检测领域中。

Description

一种皮革表面显著性缺陷的检测方法、***及装置
技术领域
本发明涉及缺陷检测技术,尤其涉及一种皮革表面显著性缺陷的检测方法、***及装置。
背景技术
技术词解释:
Gabor滤波器:指的是利用Gabor函数形成的二维Gabor滤波器,一个用于边缘提取的线性滤波器。
SVM:指的是支持向量机。
在皮包、汽车座椅、衣服等皮质产品生产过程中,质量监控尤为重要,因此,皮革作为这些皮质产品的原材料,其缺陷检测与定位就是质量监控的重要工作。目前,行业内对于皮革的缺陷检测主要依靠人眼,然而,嘈杂的工厂环境、大量的检测工作以及皮革缺陷种类的繁杂,这些都使得单纯依靠人眼的检测方式难以满足质控需求。因此为了解决这些问题,人们提出了利用机器视觉技术来实现皮革的缺陷检测。
所述机器视觉技术具有提高生产柔性和自动化程度的优点,因此,利用机器视觉技术来实现皮革的缺陷检测,能够应用在一些不适用于人工作业的危险工作环境或人工视觉难以满足质控要求的场合,适用性光;同时在大批量工业生产过程中,利用机器视觉技术来实现皮革的缺陷检测,可以大大提高生产效率和生产的自动化程度,并且可提高检测的精准度。然而,对于目前常用的基于机器视觉的皮革缺陷检测技术,其仍存有一些缺点,例如:1、对于传统基于机器视觉的皮革缺陷检测技术,其所采用的图像预处理算法的通用性较差;2、对于传统基于机器视觉的皮革缺陷检测技术,其计算量庞大,导致缺陷识别检测无法高效进行。
发明内容
为了解决上述技术问题,本发明的第一目的是提供一种皮革表面显著性缺陷的检测方法,可提高皮革缺陷检测技术的通用性和处理效率。
本发明的第二目的是提供一种皮革表面显著性缺陷的检测***,可提高皮革缺陷检测技术的通用性和处理效率。
本发明的第三目的是提供一种皮革表面显著性缺陷的检测装置,可提高皮革缺陷检测技术的通用性和处理效率。
本发明所采用的第一技术方案是:一种皮革表面显著性缺陷的检测方法,该方法包括以下步骤:
获取第一图像,其中,所述第一图像指的是皮革缺陷检测样本的图像;
利用Gabor滤波器对第一图像进行滤波处理后,输出多个不同方向尺度的滤波图像;
从多个不同方向尺度的滤波图像中选取出最优方向尺度的滤波图像;
对最优方向尺度的滤波图像进行显著性目标检测处理后,输出最优方向尺度的滤波图像对应的显著性目标图像;
对显著性目标图像进行自适应阈值图像分割处理后,输出第一二值图像;
利用第一二值图像以及从第一二值图像中提取出来的图像特征对支持向量机进行训练;
利用训练好的支持向量机对待测皮革所对应的二值图像进行处理,输出待测皮革的检测结果。
进一步,所述从多个不同方向尺度的滤波图像中选取出最优方向尺度的滤波图像这一步骤,其包括以下步骤:
采用形态学处理方式,对多个不同方向尺度的滤波图像进行去噪处理;
计算每一个去噪处理后的滤波图像的灰度值总和,其中,所述滤波图像的灰度值总和指的是滤波图像中所有像素点的灰度值的总和;
计算每一个去噪处理后的滤波图像的前景区域面积;
当去噪处理后的滤波图像的灰度值总和大于预设灰度值,且去噪处理后的滤波图像的前景区域面积大于预设面积值时,则设该方向尺度的滤波图像的表征常量为1;反之,则设该方向尺度的滤波图像的表征常量为0;
当存在一个方向尺度的滤波图像的表征常量为1时,则将该方向尺度的滤波图像作为最优方向尺度的滤波图像;
当存在至少两个方向尺度的滤波图像的表征常量为1时,则对表征常量为1的至少两个方向尺度的滤波图像进行熵值计算,然后,选取熵值为最大的滤波图像作为最优方向尺度的滤波图像。
进一步,所述计算每一个去噪处理后的滤波图像的前景区域面积这一步骤,其包括以下步骤:
对每一个去噪处理后的滤波图像进行二值化处理后,得到每一个去噪处理后的滤波图像所对应的第二二值图像;
计算每一个第二二值图像的前景区域面积。
进一步,所述对显著性目标图像进行自适应阈值图像分割处理后,输出第一二值图像这一步骤,其采用的自适应阈值图像分割表达式如下所示:
threshold=E(S(x))×3
其中,O(x)表示为输出的第一二值图像,S(x)表示为显著性目标图像中像素点的像素值,threshold表示为阈值,E(S(x))表示为显著性目标图像的期望值。
进一步,所述利用第一二值图像以及从第一二值图像中提取出来的图像特征对支持向量机进行训练这一步骤,其包括以下步骤:
将第一二值图像作为训练输入数据;
将从第一二值图像中提取出来的图像特征作为训练输出数据;
利用训练输入数据和训练输出数据对支持向量机进行训练。
进一步,所述从第一二值图像中提取出来的图像特征包括有形状、边缘和/或面积。
本发明所采用的第二技术方案是:一种皮革表面显著性缺陷的检测***,该***包括:
第一获取模块,用于获取第一图像,其中,所述第一图像指的是皮革缺陷检测样本的图像;
第一处理模块,用于利用Gabor滤波器对第一图像进行滤波处理后,输出多个不同方向尺度的滤波图像;
第二处理模块,用于从多个不同方向尺度的滤波图像中选取出最优方向尺度的滤波图像;
第三处理模块,用于对最优方向尺度的滤波图像进行显著性目标检测处理后,输出最优方向尺度的滤波图像对应的显著性目标图像;
第四处理模块,用于对显著性目标图像进行自适应阈值图像分割处理后,输出第一二值图像;
第五处理模块,用于利用第一二值图像以及从第一二值图像中提取出来的图像特征对支持向量机进行训练;
第六处理模块,用于利用训练好的支持向量机对待测皮革所对应的二值图像进行处理,输出待测皮革的检测结果。
进一步,所述第二处理模块包括:
第一处理子模块,用于采用形态学处理方式,对多个不同方向尺度的滤波图像进行去噪处理;
第一计算子模块,用于计算每一个去噪处理后的滤波图像的灰度值总和,其中,所述滤波图像的灰度值总和指的是滤波图像中所有像素点的灰度值的总和;
第二计算子模块,用于计算每一个去噪处理后的滤波图像的前景区域面积;
第一判断子模块,用于当去噪处理后的滤波图像的灰度值总和大于预设灰度值,且去噪处理后的滤波图像的前景区域面积大于预设面积值时,则设该方向尺度的滤波图像的表征常量为1;反之,则设该方向尺度的滤波图像的表征常量为0;
第二判断子模块,用于当存在一个方向尺度的滤波图像的表征常量为1时,则将该方向尺度的滤波图像作为最优方向尺度的滤波图像;
第三判断子模块,用于当存在至少两个方向尺度的滤波图像的表征常量为1时,则对表征常量为1的至少两个方向尺度的滤波图像进行熵值计算,然后,选取熵值为最大的滤波图像作为最优方向尺度的滤波图像。
进一步,所述第二计算子模块具体用于对每一个去噪处理后的滤波图像进行二值化处理后,得到每一个去噪处理后的滤波图像所对应的第二二值图像;计算每一个第二二值图像的前景区域面积。
本发明所采用的第三技术方案是:一种皮革表面显著性缺陷的检测装置,该装置包括:
存储器,用于存储至少一个程序;
处理器,用于加载至少一个程序并执行上述第一技术方案的皮革表面显著性缺陷的检测方法。
本发明方法、***及装置的有益效果是:本发明采用Gabor滤波器对皮革缺陷检测样本的图像进行滤波处理,然后从滤波处理后得到的多个不同方向尺度的滤波图像中选取出最优方向尺度的滤波图像来进行后续图像处理,这样能够大大减少运算量和算法运行时间,提供工作处理效率;同时,本发明对最优方向尺度的滤波图像进行显著性目标检测处理后,利用输出的显著性目标图像作为指标去指导自适应图像分割,分割出的二值图即为用于皮革缺陷检测的输入图像,这样能实现在提取不出繁杂类型的皮革缺陷特征时,转化为提取背景,达到提高处理效率的同时,也显著地提高了皮革缺陷检测方法的通用性和实用性。
附图说明
图1是本发明一种皮革表面显著性缺陷的检测方法的步骤流程图;
图2是本发明一种皮革表面显著性缺陷的检测***的结构框图;
图3是本发明一种皮革表面显著性缺陷的检测方法中构建SVM的一具体实施例步骤流程图。
具体实施方式
实施例1
如图1所示,一种皮革表面显著性缺陷的检测方法,该方法包括以下步骤:
获取第一图像,其中,所述第一图像指的是皮革缺陷检测样本的图像;
利用Gabor滤波器对第一图像进行滤波处理后,输出多个不同方向尺度的滤波图像;
从多个不同方向尺度的滤波图像中选取出最优方向尺度的滤波图像;
对最优方向尺度的滤波图像进行显著性目标检测处理后,输出最优方向尺度的滤波图像对应的显著性目标图像;
对显著性目标图像进行自适应阈值图像分割处理后,输出第一二值图像;
利用第一二值图像以及从第一二值图像中提取出来的图像特征对支持向量机进行训练;
利用训练好的支持向量机对待测皮革所对应的二值图像进行处理,输出待测皮革的检测结果。
进一步作为优选的实施方式,所述从多个不同方向尺度的滤波图像中选取出最优方向尺度的滤波图像这一步骤,其包括以下步骤:
采用形态学处理方式,对多个不同方向尺度的滤波图像进行去噪处理;
计算每一个去噪处理后的滤波图像的灰度值总和,其中,所述滤波图像的灰度值总和指的是滤波图像中所有像素点的灰度值的总和;
计算每一个去噪处理后的滤波图像的前景区域面积;
当去噪处理后的滤波图像的灰度值总和大于预设灰度值,且去噪处理后的滤波图像的前景区域面积大于预设面积值时,则设该方向尺度的滤波图像的表征常量为1;反之,则设该方向尺度的滤波图像的表征常量为0;
当存在一个方向尺度的滤波图像的表征常量为1时,则将该方向尺度的滤波图像作为最优方向尺度的滤波图像;
当存在至少两个方向尺度的滤波图像的表征常量为1时,则对表征常量为1的至少两个方向尺度的滤波图像进行熵值计算,然后,选取熵值为最大的滤波图像作为最优方向尺度的滤波图像。
进一步作为优选的实施方式,所述计算每一个去噪处理后的滤波图像的前景区域面积这一步骤,其包括以下步骤:
对每一个去噪处理后的滤波图像进行二值化处理后,得到每一个去噪处理后的滤波图像所对应的第二二值图像;
计算每一个第二二值图像的前景区域面积。
进一步作为优选的实施方式,所述对显著性目标图像进行自适应阈值图像分割处理后,输出第一二值图像这一步骤,其采用的自适应阈值图像分割表达式如下所示:
threshold=E(S(x))×3
其中,O(x)表示为输出的第一二值图像,S(x)表示为显著性目标图像中像素点的像素值,threshold表示为阈值,E(S(x))表示为显著性目标图像的期望值。
进一步作为优选的实施方式,所述利用第一二值图像以及从第一二值图像中提取出来的图像特征对支持向量机进行训练这一步骤,其包括以下步骤:
将第一二值图像作为训练输入数据;
将从第一二值图像中提取出来的图像特征作为训练输出数据;
利用训练输入数据和训练输出数据对支持向量机进行训练。
进一步作为优选的实施方式,所述从第一二值图像中提取出来的图像特征包括有形状、边缘和/或面积。
实施例2
如图2所示,一种皮革表面显著性缺陷的检测***,该***包括:
第一获取模块,用于获取第一图像,其中,所述第一图像指的是皮革缺陷检测样本的图像;
第一处理模块,用于利用Gabor滤波器对第一图像进行滤波处理后,输出多个不同方向尺度的滤波图像;
第二处理模块,用于从多个不同方向尺度的滤波图像中选取出最优方向尺度的滤波图像;
第三处理模块,用于对最优方向尺度的滤波图像进行显著性目标检测处理后,输出最优方向尺度的滤波图像对应的显著性目标图像;
第四处理模块,用于对显著性目标图像进行自适应阈值图像分割处理后,输出第一二值图像;
第五处理模块,用于利用第一二值图像以及从第一二值图像中提取出来的图像特征对支持向量机进行训练;
第六处理模块,用于利用训练好的支持向量机对待测皮革所对应的二值图像进行处理,输出待测皮革的检测结果。所述第一获取模块、第一至第六处理模块,它们可为程序模块,也可为硬件电路,还可以为软硬件结合的处理。
进一步作为优选的实施方式,所述第二处理模块包括:
第一处理子模块,用于采用形态学处理方式,对多个不同方向尺度的滤波图像进行去噪处理;
第一计算子模块,用于计算每一个去噪处理后的滤波图像的灰度值总和,其中,所述滤波图像的灰度值总和指的是滤波图像中所有像素点的灰度值的总和;
第二计算子模块,用于计算每一个去噪处理后的滤波图像的前景区域面积;
第一判断子模块,用于当去噪处理后的滤波图像的灰度值总和大于预设灰度值,且去噪处理后的滤波图像的前景区域面积大于预设面积值时,则设该方向尺度的滤波图像的表征常量为1;反之,则设该方向尺度的滤波图像的表征常量为0;
第二判断子模块,用于当存在一个方向尺度的滤波图像的表征常量为1时,则将该方向尺度的滤波图像作为最优方向尺度的滤波图像;
第三判断子模块,用于当存在至少两个方向尺度的滤波图像的表征常量为1时,则对表征常量为1的至少两个方向尺度的滤波图像进行熵值计算,然后,选取熵值为最大的滤波图像作为最优方向尺度的滤波图像。
进一步作为优选的实施方式,所述第二计算子模块具体用于对每一个去噪处理后的滤波图像进行二值化处理后,得到每一个去噪处理后的滤波图像所对应的第二二值图像;计算每一个第二二值图像的前景区域面积。
进一步作为优选的实施方式,所述第四处理模块中采用的自适应阈值图像分割表达式如下所示:
threshold=E(S(x))×3
其中,O(x)表示为输出的第一二值图像,S(x)表示为显著性目标图像中像素点的像素值,threshold表示为阈值,E(S(x))表示为显著性目标图像的期望值。
进一步作为优选的实施方式,所述第五处理模块具体用于将第一二值图像作为训练输入数据;将从第一二值图像中提取出来的图像特征作为训练输出数据;利用训练输入数据和训练输出数据对支持向量机进行训练。
进一步作为优选的实施方式,所述从第一二值图像中提取出来的图像特征包括有形状、边缘和/或面积。
实施例3
与上述方法对应的装置,一种皮革表面显著性缺陷的检测装置,该装置包括:
存储器,用于存储至少一个程序;
处理器,用于加载至少一个程序并执行上述实施例1皮革表面显著性缺陷的检测方法步骤。
实施例4
结合本优选实施例来对本发明进行进一步阐述。
本发明一种皮革表面显著性缺陷的检测方法的具体实现步骤如下所示。
步骤一:构建所需的SVM。此步骤具体如图3所示。
S101、获取第一图像,其中,所述第一图像指的是皮革缺陷检测样本的图像;
S102、对获取得到的第一图像进行预处理,其中,所述预处理优选为中值滤波处理,这样能够达到去掉皮革表面类似于小颗粒的椒盐噪声的效果,令后续图像处理的结果更为准确;
S103、利用Gabor滤波器对预处理后的第一图像进行滤波处理后,输出多个不同方向尺度的滤波图像,具体可包括方向尺度1的滤波图像、方向尺度2的滤波图像、方向尺度3的滤波图像、方向尺度4的滤波图像及方向尺度5的滤波图像,即5个方向尺度不同的滤波图像;优选地在本实施例中,所述Gabor滤波器指的是利用Gabor函数形成的二维Gabor滤波器,一个用于边缘提取的线性滤波器,而该Gabor滤波器的表达式h(x,y)如下所示:
u=xcosθ+ysinθ
v=-ysinθ+xcosθ
上式中,θ为Gabor滤波器的方向参数;δu,δv分别为高斯包络在u轴和v轴上的标准差,ω表示为复正弦函数的频率,即调制频率;其中,θ和ω参数的变化使得Gabor滤波器具有多尺度、多方向特性,因此,在皮革缺陷检测中,二维Gabor滤波器可对输入的第一图像在频域的不同尺度、不同方向上提取相关特征;
S104、利用近似表面粗糙度特征(Approximate Surface Roughness Feature),从多个不同方向尺度的滤波图像中选取出最优方向尺度的滤波图像;
所述步骤S104包括:
S1041、采用形态学处理方式,对多个不同方向尺度的滤波图像进行去噪处理后,得到多个图像Rclean,即Rclean表示为经去噪处理后的滤波图像;所述形态学处理方式包括形态学膨胀、腐蚀方式;
S1042、计算每一个去噪处理后的滤波图像Rclean的灰度值总和,其中,所述滤波图像Rclean的灰度值总和指的是滤波图像Rclean中所有像素点的灰度值的总和;
所述滤波图像Rclean的灰度值总和的计算公式如下所示:
上式中,Rtotal表示为滤波图像Rclean的灰度值总和,p表示为滤波图像Rclean中像素点的灰度值;
S1043、计算每一个去噪处理后的滤波图像Rclean的前景区域面积;
具体地,对每一个去噪处理后的滤波图像Rclean进行二值化处理后,得到每一个去噪处理后的滤波图像Rclean所对应的第二二值图像;然后,计算每一个第二二值图像的前景区域面积,计算得出的前景区域面积则为滤波图像Rclean的前景区域面积;
其中,滤波图像Rclean的前景区域面积,其计算公式如下所示:
上式中,RBinary表示为去噪处理后的滤波图像Rclean的前景区域面积;
S1044、当去噪处理后的滤波图像Rclean的灰度值总和Rtotal大于预设灰度值α,且去噪处理后的滤波图像Rclean的前景区域面积RBinary大于预设面积值β时,则设该方向尺度的滤波图像的表征常量为1;反之,则设该方向尺度的滤波图像的表征常量为0;例如,方向尺度1的滤波图像所对应的灰度值总和Rtotal大于预设灰度值α,且前景区域面积RBinary大于预设面积值β时,方向尺度1的滤波图像的表征常量Y=1,反之,Y=0;
S1045、当所有滤波图像的表征常量均为0时,说明处理的皮革图像为正常样本,无缺陷存在,此时则结束该样本的缺陷检测;
S1046、当存在一个方向尺度的滤波图像的表征常量为1时,则将该方向尺度的滤波图像作为最优方向尺度的滤波图像,然后执行步骤S105;例如,在方向尺度1的滤波图像、方向尺度2的滤波图像、方向尺度3的滤波图像、方向尺度4的滤波图像及方向尺度5的滤波图像这5个滤波图像中,仅有方向尺度1的滤波图像所对应的表征常量Y=1,此时,则将方向尺度1的滤波图像作为最优方向尺度的滤波图像;
S1047、当存在至少两个方向尺度的滤波图像的表征常量为1时,则对表征常量为1的至少两个方向尺度的滤波图像进行熵值计算,然后,选取熵值为最大的滤波图像作为最优方向尺度的滤波图像,然后执行步骤S105;例如,在方向尺度1的滤波图像、方向尺度2的滤波图像、方向尺度3的滤波图像、方向尺度4的滤波图像及方向尺度5的滤波图像这5个滤波图像中,存有方向尺度1的滤波图像、方向尺度2的滤波图像、方向尺度3的滤波图像这三个滤波图像的表征常量Y1、Y2、Y3均为1,此时,则分别计算出这三个滤波图像的熵分别为ENT1、ENT2、ENT3,接着,从这三个计算得出的熵值中,选取出数值为最大的熵值,如ENT2,将这个选取出的熵值所对应的滤波图像,即方向尺度2的滤波图像,作为最优方向尺度的滤波图像;
其中,熵值的计算公式如下所示:
K表示图像的大小,及图像的宽度和长度,G(i,j)表示当前像素点的像素值,logG(i,j)表示对当前像素值取自然对数;
S105、对最优方向尺度的滤波图像进行显著性目标检测处理后,输出最优方向尺度的滤波图像对应的显著性目标图像;
从信息论的角度来看,有效编码假说将图像信息H(Image)分为两部分:H(Image)=Innovation(突出部分)+Prior Knowledge(冗余信息),通过去除图像的冗余信息获取图像与众不同的部分,即显著目标;而对于显著性目标检测处理,其具体实现方法步骤包括:
首先将输入的最优方向尺度的滤波图像进行傅里叶变换;然后,计算出对应的振幅谱A(f);计算出对应的相位谱P(f)(复数x+i*y的相位是arctan(y/x));计算出log振幅谱L(f);h是一个n*n均值滤波的卷积核;R(f)为残差谱;再对R(f)+i*P(f)求出其自然指数exp;由欧拉公式可知,exp(r+i*Θ)=exp(r)*(cos(Θ)+i*sin(Θ))=exp(r)*cos(Θ)+i*exp(r)*sin(Θ),Θ是相位谱;最后,对求出的自然指数exp进行傅里叶反变换处理,接着再进行一个高斯模糊滤波便能得到了显著性区域;这一实现方法步骤所对应的公式如下所示:
其中,A(f)、P(f)分别表示最优方向尺度的滤波图像进行傅里叶变换之后得到的频率和相位,L(f)为log对数,R(f)为其进行均值滤波并作差后的结果,最后,S(x)为傅里叶逆变换,将频域图像转化为时域图像;
S106、对显著性目标图像进行自适应阈值图像分割处理后,输出第一二值图像,即所述第一二值图像为显著性目标图像进行自适应阈值图像分割处理后得到的二值图像;
对于步骤S106,其所采用的自适应阈值图像分割表达式如下所示:
threshold=E(S(x))×3
上式中,O(x)表示为输出的第一二值图像,S(x)表示为显著性目标图像中像素点的像素值,threshold表示为阈值,E(S(x))表示为显著性目标图像的期望值,即图像的平均灰度值;
S107、利用第一二值图像以及从第一二值图像中提取出来的图像特征对SVM进行训练;所述从第一二值图像中提取出来的图像特征包括但不限于有二值图像的形状、边缘、面积等特征;
所述S107具体包括:
S1071、将第一二值图像作为训练输入数据;
S1072、将从第一二值图像中提取出来的图像特征作为训练输出数据;
S1073、利用训练输入数据和训练输出数据对SVM进行训练,训练结束后得到的SVM为所需的SVM。
步骤二:利用训练好的SVM对待测皮革进行缺陷检测处理。
所述步骤二具体为:利用训练好的SVM对待测皮革所对应的二值图像进行处理,输出待测皮革的缺陷检测结果。这一步骤具体包括:
S201、获取待测皮革的图像;
S202、对获取得到的待测皮革的图像进行上述步骤S102~S106的图像处理步骤,从而得到待测皮革所对应的第一二值图像;
S203、将获取得到的待测皮革所对应的第一二值图像输入至SVM中进行处理,处理后SVM输出的结果即为待测皮革的缺陷检测结果,以实现缺陷的定位、检测、识别。
由上述可见,本发明提出自适应选择Gabor滤波参数机制,通过近似表面粗糙度特征和图像熵自适应选择一张滤波后的结果图,避免了所有图都进行后续图像处理,减少运算量和算法运行时间。同时,谱残差显著性目标检测的方法用于皮革缺陷检测,对滤波后的结果图进行显著性目标检测处理,这样在提取不出繁杂类型的皮革缺陷特征时,转化为提取背景(正常皮革纹理)特征,用一种全新的显著性目标检测模型去实现皮革缺陷检测,在提高效率的同时,更显著的提高了皮革缺陷检测算法的通用性和实用性。
本实施例的内容均适用于上述实施例1~3中。
以上是对本发明的较佳实施进行了具体说明,但本发明创造并不限于所述实施例,熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换,这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (10)

1.一种皮革表面显著性缺陷的检测方法,其特征在于:该方法包括以下步骤:
获取第一图像,其中,所述第一图像指的是皮革缺陷检测样本的图像;
利用Gabor滤波器对第一图像进行滤波处理后,输出多个不同方向尺度的滤波图像;
从多个不同方向尺度的滤波图像中选取出最优方向尺度的滤波图像;
对最优方向尺度的滤波图像进行显著性目标检测处理后,输出最优方向尺度的滤波图像对应的显著性目标图像;
对显著性目标图像进行自适应阈值图像分割处理后,输出第一二值图像;
利用第一二值图像以及从第一二值图像中提取出来的图像特征对支持向量机进行训练;
利用训练好的支持向量机对待测皮革所对应的二值图像进行处理,输出待测皮革的检测结果。
2.根据权利要求1所述一种皮革表面显著性缺陷的检测方法,其特征在于:所述从多个不同方向尺度的滤波图像中选取出最优方向尺度的滤波图像这一步骤,其包括以下步骤:
采用形态学处理方式,对多个不同方向尺度的滤波图像进行去噪处理;
计算每一个去噪处理后的滤波图像的灰度值总和,其中,所述滤波图像的灰度值总和指的是滤波图像中所有像素点的灰度值的总和;
计算每一个去噪处理后的滤波图像的前景区域面积;
当去噪处理后的滤波图像的灰度值总和大于预设灰度值,且去噪处理后的滤波图像的前景区域面积大于预设面积值时,则设该方向尺度的滤波图像的表征常量为1;反之,则设该方向尺度的滤波图像的表征常量为0;
当存在一个方向尺度的滤波图像的表征常量为1时,则将该方向尺度的滤波图像作为最优方向尺度的滤波图像;
当存在至少两个方向尺度的滤波图像的表征常量为1时,则对表征常量为1的至少两个方向尺度的滤波图像进行熵值计算,然后,选取熵值为最大的滤波图像作为最优方向尺度的滤波图像。
3.根据权利要求2所述一种皮革表面显著性缺陷的检测方法,其特征在于:所述计算每一个去噪处理后的滤波图像的前景区域面积这一步骤,其包括以下步骤:
对每一个去噪处理后的滤波图像进行二值化处理后,得到每一个去噪处理后的滤波图像所对应的第二二值图像;
计算每一个第二二值图像的前景区域面积。
4.根据权利要求1-3任一项所述一种皮革表面显著性缺陷的检测方法,其特征在于:所述对显著性目标图像进行自适应阈值图像分割处理后,输出第一二值图像这一步骤,其采用的自适应阈值图像分割表达式如下所示:
<mrow> <mi>O</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mn>1</mn> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <mi>i</mi> <mi>f</mi> <mi> </mi> <mi>S</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> <mo>&gt;</mo> <mi>t</mi> <mi>h</mi> <mi>r</mi> <mi>e</mi> <mi>s</mi> <mi>h</mi> <mi>o</mi> <mi>l</mi> <mi>d</mi> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mn>0</mn> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <mi>o</mi> <mi>t</mi> <mi>h</mi> <mi>e</mi> <mi>r</mi> <mi>w</mi> <mi>i</mi> <mi>s</mi> <mi>e</mi> </mrow> </mtd> </mtr> </mtable> </mfenced> </mrow>
threshold=E(S(x))×3
其中,O(x)表示为输出的第一二值图像,S(x)表示为显著性目标图像中像素点的像素值,threshold表示为阈值,E(S(x))表示为显著性目标图像的期望值。
5.根据权利要求1-3任一项所述一种皮革表面显著性缺陷的检测方法,其特征在于:所述利用第一二值图像以及从第一二值图像中提取出来的图像特征对支持向量机进行训练这一步骤,其包括以下步骤:
将第一二值图像作为训练输入数据;
将从第一二值图像中提取出来的图像特征作为训练输出数据;
利用训练输入数据和训练输出数据对支持向量机进行训练。
6.根据权利要求5所述所述一种皮革表面显著性缺陷的检测方法,其特征在于:所述从第一二值图像中提取出来的图像特征包括有形状、边缘和/或面积。
7.一种皮革表面显著性缺陷的检测***,其特征在于:该***包括:
第一获取模块,用于获取第一图像,其中,所述第一图像指的是皮革缺陷检测样本的图像;
第一处理模块,用于利用Gabor滤波器对第一图像进行滤波处理后,输出多个不同方向尺度的滤波图像;
第二处理模块,用于从多个不同方向尺度的滤波图像中选取出最优方向尺度的滤波图像;
第三处理模块,用于对最优方向尺度的滤波图像进行显著性目标检测处理后,输出最优方向尺度的滤波图像对应的显著性目标图像;
第四处理模块,用于对显著性目标图像进行自适应阈值图像分割处理后,输出第一二值图像;
第五处理模块,用于利用第一二值图像以及从第一二值图像中提取出来的图像特征对支持向量机进行训练;
第六处理模块,用于利用训练好的支持向量机对待测皮革所对应的二值图像进行处理,输出待测皮革的检测结果。
8.根据权利要求7所述一种皮革表面显著性缺陷的检测***,其特征在于:所述第二处理模块包括:
第一处理子模块,用于采用形态学处理方式,对多个不同方向尺度的滤波图像进行去噪处理;
第一计算子模块,用于计算每一个去噪处理后的滤波图像的灰度值总和,其中,所述滤波图像的灰度值总和指的是滤波图像中所有像素点的灰度值的总和;
第二计算子模块,用于计算每一个去噪处理后的滤波图像的前景区域面积;
第一判断子模块,用于当去噪处理后的滤波图像的灰度值总和大于预设灰度值,且去噪处理后的滤波图像的前景区域面积大于预设面积值时,则设该方向尺度的滤波图像的表征常量为1;反之,则设该方向尺度的滤波图像的表征常量为0;
第二判断子模块,用于当存在一个方向尺度的滤波图像的表征常量为1时,则将该方向尺度的滤波图像作为最优方向尺度的滤波图像;
第三判断子模块,用于当存在至少两个方向尺度的滤波图像的表征常量为1时,则对表征常量为1的至少两个方向尺度的滤波图像进行熵值计算,然后,选取熵值为最大的滤波图像作为最优方向尺度的滤波图像。
9.根据权利要求8所述一种皮革表面显著性缺陷的检测***,其特征在于:所述第二计算子模块具体用于对每一个去噪处理后的滤波图像进行二值化处理后,得到每一个去噪处理后的滤波图像所对应的第二二值图像;计算每一个第二二值图像的前景区域面积。
10.一种皮革表面显著性缺陷的检测装置,其特征在于:该装置包括:
存储器,用于存储至少一个程序;
处理器,用于加载至少一个程序并执行权利要求1-6任一项所述皮革表面显著性缺陷的检测方法。
CN201710846386.1A 2017-09-19 2017-09-19 一种皮革表面显著性缺陷的检测方法、***及装置 Active CN107845086B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710846386.1A CN107845086B (zh) 2017-09-19 2017-09-19 一种皮革表面显著性缺陷的检测方法、***及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710846386.1A CN107845086B (zh) 2017-09-19 2017-09-19 一种皮革表面显著性缺陷的检测方法、***及装置

Publications (2)

Publication Number Publication Date
CN107845086A true CN107845086A (zh) 2018-03-27
CN107845086B CN107845086B (zh) 2020-10-27

Family

ID=61661296

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710846386.1A Active CN107845086B (zh) 2017-09-19 2017-09-19 一种皮革表面显著性缺陷的检测方法、***及装置

Country Status (1)

Country Link
CN (1) CN107845086B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108765412A (zh) * 2018-06-08 2018-11-06 湖北工业大学 一种带钢表面缺陷分类方法
CN109544583A (zh) * 2018-11-23 2019-03-29 广东工业大学 一种提取皮革图像感兴趣区域的方法、装置及设备
CN110111711A (zh) * 2019-04-30 2019-08-09 京东方科技集团股份有限公司 屏幕的检测方法及装置、计算机可读存储介质
CN110298835A (zh) * 2019-07-02 2019-10-01 广东工业大学 一种皮革表面破损检测方法、***及相关装置
CN110660048A (zh) * 2019-09-12 2020-01-07 创新奇智(合肥)科技有限公司 一种基于形状特征的皮革表面缺陷检测算法
CN110793973A (zh) * 2019-11-12 2020-02-14 广东骉马机器人科技有限公司 皮革表面缺陷检测***
CN111292334A (zh) * 2018-12-10 2020-06-16 北京地平线机器人技术研发有限公司 一种全景图像分割方法、装置及电子设备
WO2021142606A1 (zh) * 2020-01-14 2021-07-22 卓峰智慧生态有限公司 基于人工智能的皮革检测方法以及皮革制品生产方法
CN113554579A (zh) * 2020-04-07 2021-10-26 东华大学 皮革的缺陷检测方法
TWI788175B (zh) * 2022-01-03 2022-12-21 逢甲大學 皮革瑕疵檢測系統
CN117218448A (zh) * 2023-09-28 2023-12-12 西安科技大学 基于贝叶斯模型融合地质信息的煤岩识别方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7295695B1 (en) * 2002-03-19 2007-11-13 Kla-Tencor Technologies Corporation Defect detection via multiscale wavelets-based algorithms
CN101706959A (zh) * 2009-10-21 2010-05-12 苏州有色金属研究院有限公司 基于二维信息熵金属板带表面缺陷提取方法
CN103293168A (zh) * 2013-05-28 2013-09-11 陕西科技大学 基于视觉显著性的水果表面缺陷检测方法
CN104198497A (zh) * 2014-09-12 2014-12-10 苏州大学 一种基于视觉显著图和支持向量机的表面缺陷检测方法
CN104574353A (zh) * 2014-09-12 2015-04-29 苏州大学 基于视觉显著性的表面缺陷判定方法
CN105069778A (zh) * 2015-07-16 2015-11-18 西安工程大学 基于目标特征显著图构建的工业产品表面缺陷检测方法
CN106872487A (zh) * 2017-04-21 2017-06-20 佛山市南海区广工大数控装备协同创新研究院 一种基于视觉的表面瑕疵检测方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7295695B1 (en) * 2002-03-19 2007-11-13 Kla-Tencor Technologies Corporation Defect detection via multiscale wavelets-based algorithms
CN101706959A (zh) * 2009-10-21 2010-05-12 苏州有色金属研究院有限公司 基于二维信息熵金属板带表面缺陷提取方法
CN103293168A (zh) * 2013-05-28 2013-09-11 陕西科技大学 基于视觉显著性的水果表面缺陷检测方法
CN104198497A (zh) * 2014-09-12 2014-12-10 苏州大学 一种基于视觉显著图和支持向量机的表面缺陷检测方法
CN104574353A (zh) * 2014-09-12 2015-04-29 苏州大学 基于视觉显著性的表面缺陷判定方法
CN105069778A (zh) * 2015-07-16 2015-11-18 西安工程大学 基于目标特征显著图构建的工业产品表面缺陷检测方法
CN106872487A (zh) * 2017-04-21 2017-06-20 佛山市南海区广工大数控装备协同创新研究院 一种基于视觉的表面瑕疵检测方法及装置

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
丛家慧 等: ""Gabor滤波器在带钢表面缺陷检测中的应用"", 《东北大学学报(自然科学版)》 *
岑誉 等: ""基于LabVIEW 的电容器缺陷检测***研究"", 《组合机床与自动化加工技术》 *
杨克汶 等: ""基于最优Gabor 滤波器的织物疵点检测"", 《闽南师范大学学报穴自然科学版雪》 *
赵波 等: ""改进的基于最大熵和Gabor滤波器的织物疵点检测"", 《微型机与应用》 *
赵波 等: ""新的基于图像显著性区域特征的织物疵点检测算法"", 《计算机应用》 *
陈后金 等: ""基于灰度-梯度共生矩阵的钢轨表面缺陷检测方法"", 《北京交通大学学报》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108765412A (zh) * 2018-06-08 2018-11-06 湖北工业大学 一种带钢表面缺陷分类方法
CN108765412B (zh) * 2018-06-08 2021-07-20 湖北工业大学 一种带钢表面缺陷分类方法
CN109544583B (zh) * 2018-11-23 2023-04-18 广东工业大学 一种提取皮革图像感兴趣区域的方法、装置及设备
CN109544583A (zh) * 2018-11-23 2019-03-29 广东工业大学 一种提取皮革图像感兴趣区域的方法、装置及设备
CN111292334A (zh) * 2018-12-10 2020-06-16 北京地平线机器人技术研发有限公司 一种全景图像分割方法、装置及电子设备
CN111292334B (zh) * 2018-12-10 2023-06-09 北京地平线机器人技术研发有限公司 一种全景图像分割方法、装置及电子设备
CN110111711A (zh) * 2019-04-30 2019-08-09 京东方科技集团股份有限公司 屏幕的检测方法及装置、计算机可读存储介质
CN110298835A (zh) * 2019-07-02 2019-10-01 广东工业大学 一种皮革表面破损检测方法、***及相关装置
CN110298835B (zh) * 2019-07-02 2023-07-18 广东工业大学 一种皮革表面破损检测方法、***及相关装置
CN110660048A (zh) * 2019-09-12 2020-01-07 创新奇智(合肥)科技有限公司 一种基于形状特征的皮革表面缺陷检测算法
CN110660048B (zh) * 2019-09-12 2022-05-17 创新奇智(合肥)科技有限公司 一种基于形状特征的皮革表面缺陷检测方法
CN110793973A (zh) * 2019-11-12 2020-02-14 广东骉马机器人科技有限公司 皮革表面缺陷检测***
WO2021142606A1 (zh) * 2020-01-14 2021-07-22 卓峰智慧生态有限公司 基于人工智能的皮革检测方法以及皮革制品生产方法
CN113554579A (zh) * 2020-04-07 2021-10-26 东华大学 皮革的缺陷检测方法
TWI788175B (zh) * 2022-01-03 2022-12-21 逢甲大學 皮革瑕疵檢測系統
CN117218448A (zh) * 2023-09-28 2023-12-12 西安科技大学 基于贝叶斯模型融合地质信息的煤岩识别方法

Also Published As

Publication number Publication date
CN107845086B (zh) 2020-10-27

Similar Documents

Publication Publication Date Title
CN107845086A (zh) 一种皮革表面显著性缺陷的检测方法、***及装置
CN107607546B (zh) 基于光度立体视觉的皮革缺陷检测方法、***及装置
Kumar et al. Defect detection in textured materials using Gabor filters
CN105740876B (zh) 一种图像预处理方法及装置
CN114529459B (zh) 一种对图像边缘进行增强处理的方法和***及介质
CN103839234B (zh) 一种基于可控核的双几何非局部均值图像去噪方法
CN112330628A (zh) 一种金属工件表面缺陷图像检测方法
Selvakumar et al. The performance analysis of edge detection algorithms for image processing
CN110889837A (zh) 一种具有瑕疵分级功能的布匹瑕疵检测方法
CN113592782B (zh) 一种复合材料碳纤维芯棒x射线图像缺陷提取方法及***
Pirzada et al. Analysis of edge detection algorithms for feature extraction in satellite images
CN114723630A (zh) 基于空洞双残差多尺度深度网络的图像去模糊方法及***
CN107316287A (zh) 一种矩形铁氧体磁片表面的缺陷识别方法
CN117218149B (zh) 一种基于自编码神经网络的图像重建方法及***
Reddy et al. Canny scale edge detection
CN109934835A (zh) 基于深度强化网络邻接连接的轮廓检测方法
CN109949334A (zh) 基于深度强化网络残差连接的轮廓检测方法
Wojcik Application of rough sets for edge enhancing image filters
Umnov et al. Ringing artifact suppression using sparse representation
CN102521804A (zh) 基于窗口改进的多级中值滤波的图像边缘检测方法
Choi et al. Fast, trainable, multiscale denoising
Tao Enhanced Canny Algorithm for Image Edge Detection in Print Quality Assessment
CN114994098A (zh) 一种异物检测的方法及设备
CN108122204A (zh) 一种图像去噪的方法和装置
CN112132135A (zh) 一种基于图像处理的电网传输线检测方法、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant