CN116934763B - 一种基于视觉特征的医用橡胶胶塞缺陷检测方法 - Google Patents
一种基于视觉特征的医用橡胶胶塞缺陷检测方法 Download PDFInfo
- Publication number
- CN116934763B CN116934763B CN202311204468.8A CN202311204468A CN116934763B CN 116934763 B CN116934763 B CN 116934763B CN 202311204468 A CN202311204468 A CN 202311204468A CN 116934763 B CN116934763 B CN 116934763B
- Authority
- CN
- China
- Prior art keywords
- connected domain
- defect
- rubber plug
- defect connected
- window
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007547 defect Effects 0.000 title claims abstract description 282
- 238000001514 detection method Methods 0.000 title claims abstract description 29
- 230000000007 visual effect Effects 0.000 title claims abstract description 19
- 238000001914 filtration Methods 0.000 claims description 58
- 238000000034 method Methods 0.000 claims description 48
- 238000003708 edge detection Methods 0.000 claims description 15
- 238000004422 calculation algorithm Methods 0.000 claims description 10
- 239000003795 chemical substances by application Substances 0.000 claims description 7
- 238000010586 diagram Methods 0.000 claims description 7
- 230000000694 effects Effects 0.000 description 6
- 230000014509 gene expression Effects 0.000 description 5
- 238000007789 sealing Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000005452 bending Methods 0.000 description 2
- 229940079593 drug Drugs 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 239000000047 product Substances 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 238000002834 transmittance Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012067 mathematical method Methods 0.000 description 1
- 238000002483 medication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 231100000956 nontoxicity Toxicity 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
Abstract
本发明涉及图像处理技术领域,具体涉及一种基于视觉特征的医用橡胶胶塞缺陷检测方法,包括:根据胶塞灰度直方图得到缺陷区域的灰度范围,得到缺陷连通域,获取若干不同大小的迭代窗口,得到迭代窗口的目标函数,根据迭代窗口的目标函数得到最佳高斯滤波核的大小,得到缺陷连通域的亮暗对比参数,根据缺陷连通域的亮暗对比参数得到最佳高斯滤波核的标准差,得到缺陷连通域的最佳高斯滤波核,根据胶塞边缘图像和模板边缘图像得到胶塞边缘图像的毛边缺陷率,根据胶塞边缘图像的毛边缺陷率完成缺陷检测。本发明在保证医用胶塞图像失真较少的情况下,过滤医用胶塞图像的噪声,提升胶塞缺陷检测准确率。
Description
技术领域
本发明涉及图像处理技术领域,具体涉及一种基于视觉特征的医用橡胶胶塞缺陷检测方法。
背景技术
医用胶塞主要用于填充和密封医疗器械、药品等。它具有无毒、无味、无污染性,生物相容性好、密封效果稳定等优点,因此在医疗行业中得到了广泛的应用。医用胶塞通常用于输送和保存各类药品和实验品,以及在手术过程中保持器械的清洁和卫生。随着医疗技术和医药产业的迅速发展,医用胶塞的需求在增长。
在医用胶塞生产的过程中,传统检测方法通常使用人工目测的方法,但是由于胶塞本身尺寸较小,部分缺陷如裂纹胶丝等在图像中表现相对细微,人工检测容易出现误检率高、检测效率低等问题。近年来,随着计算机视觉技术和大规模集成电路的发展,出现了一些通过机器实现胶塞外观自动化检测的方法。在医用橡胶胶塞的生产过程中,由于产品本身的特殊性,对其质量有极高要求。除了其自身的物理和化学性质之外,其外观缺陷也可能会造成严重影响。当胶塞由于生产工艺问题出现毛边时,可能会导致使用过程中密封性较差。当前自动化质检过程中对于毛边检测通常采取Canny边缘检测的方式判断缺陷,但是由于毛边图像存在一定透光性、色彩不均、形状不规则等问题,导致Canny算法自带的高斯滤波极易将其过度平滑,影响后续检测精度,因此需要对Canny算法自带的高斯滤波进行优化,以此来提高毛边缺陷的检测成功率。
发明内容
本发明提供一种基于视觉特征的医用橡胶胶塞缺陷检测方法,以解决现有的问题。
本发明的一种基于视觉特征的医用橡胶胶塞缺陷检测方法采用如下技术方案:
本发明一个实施例提供了一种基于视觉特征的医用橡胶胶塞缺陷检测方法,该方法包括以下步骤:
获取胶塞灰度图像和胶塞灰度直方图;
根据胶塞灰度直方图得到若干缺陷连通域;
根据缺陷连通域得到缺陷连通域的最大参考滤波窗口,根据缺陷连通域的最大参考滤波窗口得到目标滤波像素点,根据缺陷连通域和最大参考滤波窗口得到若干不同大小的迭代窗口,根据缺陷连通域内除目标滤波像素点以外其他像素点的迭代窗口内像素点的灰度值、缺陷连通域上边缘像素点的迭代窗口内边缘像素点的斜率,得到迭代窗口的目标函数,根据迭代窗口的目标函数得到每一个迭代窗口的优选程度;根据所有迭代窗口的优选程度得到每一个缺陷连通域的最佳高斯滤波核的大小;
将缺陷连通域的最佳高斯滤波核的大小作为缺陷连通域内每一个像素点的高斯滤波核大小,根据缺陷连通域内每一个像素点的高斯滤波核大小范围内的灰度值得到缺陷连通域的亮暗对比参数,根据缺陷连通域的亮暗对比参数得到每一个缺陷连通域的最佳高斯滤波核的标准差;
根据每一个缺陷连通域的最佳高斯滤波核的大小和每一个缺陷连通域的最佳高斯滤波核的标准差,得到每一个缺陷连通域的最佳高斯滤波核,根据每一个缺陷连通域的最佳高斯滤波核将对应缺陷连通域内的像素点进行高斯滤波,得到胶塞滤波图,根据胶塞滤波图进行缺陷检测。
进一步地,所述根据胶塞灰度直方图得到若干缺陷连通域,包括的具体步骤如下:
在胶塞灰度直方图中,所述胶塞灰度直方图中包含两个波峰,两个波峰相对比,一个波峰对应的灰度值低,另一个波峰对应的灰度值高,对于灰度值低的波峰,将胶塞灰度直方图中灰度值低的波峰的左侧波谷关于波峰对称得到灰度值低的波峰的右侧端点,记为第一端点;对于灰度值高的波峰,将胶塞灰度直方图中灰度值高的波峰的右侧波谷关于波峰对称得到灰度值高的波峰的左侧端点,记为第二端点,则将胶塞灰度直方图中第一端点到第二端点之间的灰度范围记为缺陷区域的灰度范围,在胶塞灰度图像中,获取灰度值在缺陷区域的灰度范围内的像素点,获取灰度值在缺陷区域的灰度范围内的像素点构成的闭合连通域,记为缺陷连通域,最终得到若干缺陷连通域。
进一步地,所述根据缺陷连通域得到缺陷连通域的最大参考滤波窗口,包括的具体步骤如下:
对于任意一个缺陷连通域,将缺陷连通域中最大内接正方形且最大内接正方形的大小为奇数的方形区域作为缺陷连通域的最大参考滤波窗口。
进一步地,所述根据缺陷连通域的最大参考滤波窗口得到目标滤波像素点,包括的具体步骤如下:
将最大参考滤波窗口的中心像素点记为目标滤波像素点。
进一步地,所述根据缺陷连通域和最大参考滤波窗口得到若干不同大小的迭代窗口,包括的具体步骤如下:
对于缺陷连通域内任意一个像素点,记为第一像素点,以第一像素点为中心构建窗口,窗口的大小为[1,BG]区间内的所有奇数,BG表示最大参考滤波窗口的大小,将所构建出的不同大小的窗口记为迭代窗口。
进一步地,所述根据缺陷连通域内除目标滤波像素点以外其他像素点的迭代窗口内像素点的灰度值、缺陷连通域上边缘像素点的迭代窗口内边缘像素点的斜率,得到迭代窗口的目标函数,根据迭代窗口的目标函数得到每一个迭代窗口的优选程度,包括的具体步骤如下:
对于任意一个的迭代窗口,迭代窗口的目标函数为:
式中,为缺陷连通域内像素点的总数量,/>为缺陷连通域内除目标滤波像素点以外第B个像素点的迭代窗口内像素点的总数量,/>为缺陷连通域内除目标滤波像素点以外第B像素点的迭代窗口内第i个像素点的灰度值,/>为缺陷连通域的最大参考滤波窗口内像素点的总数量,/>为缺陷连通域的最大参考滤波窗口内第j个像素点的灰度值;
为缺陷连通域上边缘像素点的总数量,/>为缺陷连通域上第v个边缘像素点的迭代窗口内边缘像素点的总数量,/>为缺陷连通域上第v个边缘像素点的迭代窗口内第d个边缘像素点的斜率,/>为缺陷连通域上第v个边缘像素点的迭代窗口内所有边缘像素点的平均斜率,/>为迭代窗口的目标函数的输出值,记为迭代窗口的优选程度;
获取每一个迭代窗口的优选程度。
进一步地,所述根据所有迭代窗口的优选程度得到每一个缺陷连通域的最佳高斯滤波核的大小,包括的具体步骤如下:
对于任意一个缺陷连通域,将所有迭代窗口的优选程度中优选程度最小时对应的迭代窗口大小作为缺陷连通域的最佳高斯滤波核的大小,获取每一个缺陷连通域的最佳高斯滤波核的大小。
进一步地,所述根据缺陷连通域内每一个像素点的高斯滤波核大小范围内的灰度值得到缺陷连通域的亮暗对比参数,根据缺陷连通域的亮暗对比参数得到每一个缺陷连通域的最佳高斯滤波核的标准差,包括的具体步骤如下:
对于任意一个缺陷连通域,式中,为缺陷连通域内像素点的总数量,/>为缺陷连通域内第u个像素点的高斯滤波核大小范围内的最小灰度值,/>为缺陷连通域内第u个像素点的高斯滤波核大小范围内的最大灰度值,/>为缺陷连通域的亮暗对比参数;
将最佳高斯滤波核中心点位置记为P1,将最佳高斯滤波核内距离中心点位置最远的位置记为P2;
获取最佳高斯滤波核的标准差,所述标准差/>满足:标准差/>下的最佳高斯滤波核内距离中心点位置最远的位置P2的权重与最佳高斯滤波核内中心位置P1的权重之比为1-D,且最佳高斯滤波核内的权重之和为1;
将1-D对应的作为缺陷连通域的最佳高斯滤波核的标准差,获取每一个缺陷连通域的最佳高斯滤波核的标准差。
进一步地,所述根据每一个缺陷连通域的最佳高斯滤波核将对应缺陷连通域内的像素点进行高斯滤波,得到胶塞滤波图,包括的具体步骤如下:
根据每一个缺陷连通域的最佳高斯滤波核将对应缺陷连通域内的像素点进行高斯滤波,得到胶塞滤波图。
进一步地,所述根据胶塞滤波图进行缺陷检测,包括的具体步骤如下:
利用Canny算法对胶塞滤波图进行边缘检测,得到胶塞边缘图像,所述胶塞边缘图像为二值图像,其中灰度值为255的区域为胶塞区域和毛边缺陷区域的边缘,灰度值为0的区域为背景区域;
获取一张模板图像,所述模板图像为没有毛边缺陷的胶塞灰度图像,首先对模板图像进行高斯滤波,得到模板滤波图,其次对模板滤波图利用Canny算法进行边缘检测,得到模板边缘图像,所述模板边缘图像为二值图像,其中灰度值为255的区域胶塞区域的边缘,灰度值为0的区域为背景区域;
获取胶塞边缘图像和模板边缘图像的中心,将胶塞边缘图像和模板边缘图像的中心重叠,通过不断调整胶塞边缘图像的角度,使得胶塞边缘图像和模板边缘图像中灰度值为255的像素点能够最多重合,将胶塞边缘图像和模板边缘图像中灰度值为255的像素点能够最多重合时的像素点数量记为AT,将胶塞边缘图像中灰度值为255的像素点总数量记为AG,将AG-AT与AG比值记为胶塞边缘图像的毛边缺陷率,预设一个缺陷阈值,当胶塞边缘图像的毛边缺陷率大于缺陷阈值时,胶塞存在缺陷,反之则不存在缺陷。
本发明的技术方案的有益效果是:本发明通过寻找理想滤波窗口构建目标函数,对可能的毛边部分进行滤波参数调节,并根据调整的滤波窗口大小及窗口内亮暗程度进行高斯权值调整。针对毛边的图像特诊优化滤波算法,并将优化滤波的图像进行后续边缘检测。并将待测图像的边缘图像与模板边缘图进行匹配,根据匹配结果判断其缺陷情况,利用优化滤波后的边缘检测结果可以大幅提升毛边缺陷的检测准确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明一个实施例所提供的一种基于视觉特征的医用橡胶胶塞缺陷检测方法的步骤流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的一种基于视觉特征的医用橡胶胶塞缺陷检测方法,其具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外,一个或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种基于视觉特征的医用橡胶胶塞缺陷检测方法的具体方案。
请参阅图1,其示出了本发明一个实施例提供的一种基于视觉特征的医用橡胶胶塞缺陷检测方法的步骤流程图,该方法包括以下步骤:
步骤S001、采集胶塞图像,并进行预处理,得到胶塞灰度图像和胶塞灰度直方图。
需要说明的是,本实施例是一种基于视觉特征的医用橡胶胶塞缺陷检测方法,为了获取更准确的检测结果,在进行核心处理之前,需要采集相应的图像并进行预处理。
具体的,在胶塞生产完成进行传送时,将放置胶塞的传送带背景设置为与胶塞对比度较高的颜色,需要说明的是,本实施例中胶塞的颜色为灰色,传送带背景设置为白色,利用传送装置搭载的高分辨率CCD工业相机采集胶塞图像,将胶塞图像进行灰度化处理,得到胶塞灰度图像,需要说明的是,胶塞灰度图像中包含胶塞区域、背景区域以及毛边缺陷区域,进一步地,对胶塞灰度图像进行直方图均衡化得到胶塞灰度直方图。
至此,得到胶塞灰度直方图。
步骤S002、根据胶塞灰度直方图得到缺陷区域的灰度范围,根据缺陷区域的灰度范围和胶塞灰度图像得到缺陷连通域。
需要说明的是,对胶塞毛边进行检测时常使用Canny边缘检测,通过对比胶塞边缘形状判断是否存在缺陷,而Canny检测过程自带高斯滤波,如果滤波强度过高,可能将毛边直接平滑;如果滤波强度较低,即使是离散弱噪声也可能导致边缘检测结果失真,因此对毛边部分进行检测时需要对Canny边缘检测算法进行优化。
需要说明的是,胶塞本身颜色一般相对均匀,在其灰度图像中灰度值表现相对集中;而毛边由于其形成过程的原因,色彩不均匀且具有一定透光性,其灰度值介于胶塞和背景板之间,因此可以利用灰度图像的灰度值分布大致选取毛边区域。
需要说明的是,在胶塞灰度图像中,胶塞自身和背景占据绝大部分面积且灰度值表现都相对均匀,且两部分灰度值有较明显的差异,因此在胶塞灰度直方图中有两个明显的波峰,其中波峰较高区域对应的是胶塞的灰度信息,波峰较低区域对应的是背景的灰度信息,两个波峰之间的区域为毛边缺陷区域,因此可以通过分析胶塞灰度直方图得到缺陷区域的灰度范围。
具体的,在胶塞灰度直方图中,所述胶塞灰度直方图中主要包含两个波峰,两个波峰相对比,一个波峰对应的灰度值低,另一个波峰对应的灰度值高,对于灰度值低的波峰,将胶塞灰度直方图中灰度值低的波峰的左侧波谷关于波峰对称得到灰度值低的波峰的右侧端点,记为第一端点;对于灰度值高的波峰,将胶塞灰度直方图中灰度值高的波峰的右侧波谷关于波峰对称得到灰度值高的波峰的左侧端点,记为第二端点,则胶塞灰度直方图中第一端点到第二端点之间的灰度范围为缺陷区域的灰度范围,即毛边缺陷区域的灰度范围。
进一步地,获取灰度值在缺陷区域的灰度范围内的像素点,获取灰度值在缺陷区域的灰度范围内的像素点构成的闭合连通域,记为缺陷连通域,最终得到若干缺陷连通域。需要说明的是,对于只有一个像素点的连通域视为误差像素点,可以在后续滤波过程中被平滑,此处主要分析的是范围较大的一些缺陷连通域,例如毛边缺陷的连通域。
至此,得到缺陷连通域。
步骤S003、获取若干不同大小的迭代窗口,根据缺陷连通域内除目标滤波像素点以外其他像素点的迭代窗口内像素点的灰度值和缺陷连通域上边缘像素点的迭代窗口内边缘像素点的斜率,得到迭代窗口的目标函数,根据迭代窗口的目标函数得到迭代窗口的优选程度,根据优选程度得到缺陷连通域的最佳高斯滤波核的大小。
需要说明的是,步骤S002得到了缺陷连通域,由于缺陷连通域形状不一,如果使用同一高斯滤波核,当滤波核较大时,可能会直接将面积较小的连通域平滑掉;滤波核较小时,对面积较大的连通域滤波效果不理想。因此需要对不同连通域设置不同大小的高斯滤波核,以保证最终边缘检测的准确度。
需要说明的是,对于高斯滤波来说,滤波区域最理想的形状为正方形,可以使得滤过过程不受其他区域的干扰,因此可以通过对缺陷连通域进行分析得到最大参考滤波窗口。
具体的,对于任意一个缺陷连通域,将缺陷连通域中最大内接正方形且最大内接正方形的大小为奇数的方形区域作为缺陷连通域的最大参考滤波窗口,将最大参考滤波窗口的中心像素点记为目标滤波像素点。
需要说明的是,获得缺陷连通域的最大参考滤波窗口后,对于缺陷连通域中除目标滤波像素点以外的其他像素点,则可以通过不断迭代窗口尺寸并找到最接近参考窗口灰度表现的方式来获取该缺陷连通域的最佳滤波窗口。由于最大参考滤波窗口内部为理想情况,因此可以计算其他像素迭代时窗口内的平均灰度值与最大参考滤波窗口的平均灰度值的差值均值。通过差值均值的计算得到其他像素点的灰度表现与理想情况最近似的情况,则可将其作为目标函数的主体部分。
需要说明的是,此外当像素点的滤波窗口大小为1时,该像素点的灰度表现可能与参考窗口的平均灰度表现最为接近,但是作为滤波过程其窗口尺寸过小会导致滤波效果较差,因此上述得到的目标函数主体部分可以作为窗口大小的约束项,对其迭代结果进行限制。
需要说明的是,医用胶塞的毛边通常是模具或生产工艺等原因在胶塞合模过程中出现的缺陷,通常存在边缘不规则等问题。对于缺陷连通域的边缘像素点,其滤波核内部包含的边缘线可能存在一定弯折,弯折出现次数越多,即边缘形状越不单调,则滤波核内出现缺陷连通域内部像素点和外部像素点的占比越不确定,最后加权计算的结果就越容易失真,即更可能出现背景像素点或毛边像素点扩张的情况,导致原本的边缘被平滑,无法检测到毛边边缘。出现此类情况则表示当前窗口对于该类边缘像素点来说尺寸过大,因此边缘像素点滤波核内边缘线的局部形状单调程度也可以作为约束项对目标函数进行补充。
具体的,对于缺陷连通域内任意一个像素点,记为第一像素点,以第一像素点为中心构建窗口,窗口的大小为[1,BG]区间内的所有奇数,BG表示最大参考滤波窗口的大小,将所构建出的不同大小的窗口记为迭代窗口。
例如最大参考滤波窗口为7*7,则对于缺陷连通域内任意一个像素点从窗口开始进行迭代,迭代后下一个窗口大小为/>,以此类推,直到达到/>即最大参考滤波窗口时停止。
进一步地,对于任意一个的迭代窗口,根据缺陷连通域内除目标滤波像素点以外其他像素点的迭代窗口内像素点的灰度值和缺陷连通域上边缘像素点的迭代窗口内边缘像素点的斜率,得到迭代窗口的目标函数,根据迭代窗口的目标函数得到迭代窗口的优选程度,具体如下:
迭代窗口的目标函数为:
式中,为缺陷连通域内像素点的总数量,/>为缺陷连通域内除目标滤波像素点以外第B个像素点的迭代窗口内像素点的总数量,/>为缺陷连通域内除目标滤波像素点以外第B像素点的迭代窗口内第i个像素点的灰度值,/>为缺陷连通域的最大参考滤波窗口内像素点的总数量,/>为缺陷连通域的最大参考滤波窗口内第j个像素点的灰度值。
为缺陷连通域上边缘像素点的总数量,/>为缺陷连通域上第v个边缘像素点的迭代窗口内边缘像素点的总数量,/>为缺陷连通域上第v个边缘像素点的迭代窗口内第d个边缘像素点的斜率,/>为缺陷连通域上第v个边缘像素点的迭代窗口内所有边缘像素点的平均斜率,/>为迭代窗口的目标函数的输出值,记为迭代窗口的优选程度。
需要说明的是,对比了像素点的迭代窗口内部灰度表现与最大参考滤波窗口内部灰度表现的差异,/>计算了缺陷连通域内除目标滤波像素点以外所有像素点的迭代窗口与最大参考滤波窗口灰度差异的均值,当该计算值最小时,则代表此时迭代窗口的大小为实际能取到的相对最理想窗口,即此时窗口大小使得内部灰度表现最接近理想的最大参考窗口的灰度表现。
需要说明的是,体现了当前像素点的迭代窗口的大小,利用/>是为了保证其作为约束项,避免最终选取的窗口尺寸过小,且统一量纲。/>通过计算迭代窗口内缺陷连通域边缘像素点的斜率方差量化该迭代窗口内边缘线的形状单调程度,并计算所有边缘点窗口内边缘线单调程度均值/>,该值越大,则边缘窗口内边缘线单调程度越差,加权计算的结果越无法确定,滤波结果失真的可能性越大,因此将其作为第二个约束项。迭代窗口的目标函数从缺陷连通域内理想滤波窗口出发,通过窗口大小和边缘窗口内边缘线形状的单调程度作为约束项对其进行调整,最终得到关于滤波窗口大小的窗口指标。
需要说明的是,上述是对于任意一个缺陷连通域,以及任意一个的迭代窗口进行分析的,得到的迭代窗口指标可以反映该迭代窗口是否是缺陷连通域的最佳高斯滤波核大小,通过分析当选取最小的迭代窗口指标时,此时迭代窗口对应的窗口大小即为最佳高斯滤波核的大小。
进一步地,获取所有迭代窗口的优选程度,将所有迭代窗口的优选程度中优选程度最小时对应的迭代窗口大小作为缺陷连通域的最佳高斯滤波核的大小,需要说明的是,上述是以任意一个缺陷连通域进行分析的,同理,可以获得每一个缺陷连通域的最佳高斯滤波核的大小。
至此,得到缺陷连通域的最佳高斯滤波核的大小。
步骤S004、根据缺陷连通域的最佳高斯滤波核的大小得到缺陷连通域内每一个像素点的高斯滤波核大小,根据缺陷连通域内每一个像素点的高斯滤波核大小范围内的灰度值得到缺陷连通域的亮暗对比参数,根据缺陷连通域的亮暗对比参数得到缺陷连通域的最佳高斯滤波核的标准差。
需要说明的是,计算得到各个缺陷连通域的最佳高斯滤波核的大小之后,即可对其核内部的权值进行优化处理。由于上步骤目标函数主要是通过灰度表现相似度计算得到的,其窗口内部的灰度表现应该相对符合理想情况。因此可以利用各连通域内滤波窗口的亮暗对比情况得到不同缺陷连通域对应高斯滤波核内权值,进而获得最佳高斯滤波的方差,确定缺陷连通域最终的最佳高斯滤波核。
需要说明的是,同一个缺陷连通域内像素点的高斯滤波核大小都为对应的最佳高斯滤波核的大小。
具体的,将缺陷连通域的最佳高斯滤波核的大小作为缺陷连通域内每一个像素点的高斯滤波核大小。
进一步地,对于任意一个缺陷连通域,根据缺陷连通域内每一个像素点的高斯滤波核大小范围内的灰度值得到缺陷连通域的亮暗对比参数,具体如下:
式中,为缺陷连通域内像素点的总数量,/>为缺陷连通域内第u个像素点的高斯滤波核大小范围内的最小灰度值,/>为缺陷连通域内第u个像素点的高斯滤波核大小范围内的最大灰度值,/>为缺陷连通域的亮暗对比参数。/>表示任意一个像素点的高斯滤波核大小范围内亮暗差异,对其求均后体现了整个缺陷连通域滤波窗口的整体亮暗对比,整体亮暗差异越大时,该均值越大,即/>越大。
需要说明的是,为了保证滤波效果,滤波窗口中心像素点分得的权值应该更高。获取亮暗对比参数D之后,可以根据亮暗对比参数确定缺陷连通域的最佳高斯滤波核的标准差,进而确定缺陷连通域的最佳高斯滤波核。
获取一个满足如下条件的标准差为的最佳高斯滤波核:
(1)该最佳高斯滤波核内中所有位置的元素之和为1;
(2)将高斯函数对应的高斯滤波核内中心位置记为P1,将最佳高斯滤波核内距离中心点位置最远的位置记为P2,获取最佳高斯滤波核的标准差,所述标准差/>下的最佳高斯滤波核内距离中心点位置最远的位置P2的权重与最佳高斯滤波核内中心位置P1的权重之比为1-D。
将1-D对应的作为缺陷连通域的最佳高斯滤波核的标准差;
至此,获得了最佳高斯滤波核的标准差和最佳高斯滤波核的大小。
需要说明的是,获取一个满足上述两个条件的标准差为的最佳高斯滤波核的方法为:构建一个标准差为/>的高斯函数/>,/>是一个关于参数/>高斯模型,求解出满足如上两个条件的参数/>即可,具体参数的求解过程是常规的数学方法,本实施例不再具体赘述。
步骤S005、根据缺陷连通域的最佳高斯滤波核的大小和缺陷连通域的最佳高斯滤波核的标准差,得到缺陷连通域的最佳高斯滤波核,根据每一个缺陷连通域的最佳高斯滤波核将对应缺陷连通域内的像素点进行高斯滤波,得到胶塞滤波图,获取胶塞边缘图像和模板边缘图像,根据胶塞边缘图像和模板边缘图像得到胶塞边缘图像的毛边缺陷率,根据胶塞边缘图像的毛边缺陷率完成缺陷检测。
需要说明的是,上述步骤对边缘检测中的高斯滤波过程进行优化,本步骤则通过优化后的最佳高斯滤波核对图像进行滤波,完成图像滤波后,即可根据Canny边缘检测,获取图像边缘,进而完成缺陷检测。
具体的,对于任意一个缺陷连通域,根据缺陷连通域的最佳高斯滤波核的大小和缺陷连通域的最佳高斯滤波核的标准差,得到缺陷连通域的最佳高斯滤波核,同理可以获得每一个缺陷连通域的最佳高斯滤波核。需要说明的是,根据缺陷连通域的最佳高斯滤波核的大小和缺陷连通域的最佳高斯滤波核的标准差,得到缺陷连通域的最佳高斯滤波核为现有方法,本实施例不再赘述。
进一步地,根据每一个缺陷连通域的最佳高斯滤波核将对应缺陷连通域内的像素点进行高斯滤波,对于缺陷连通域外利用高斯滤波核的大小为MU×MU且方差为PK的高斯滤波核进行高斯滤波,最终得到胶塞滤波图,本实施例以MU×MU为7×7,PK为3进行叙述,需要说明的是,胶塞滤波图为灰度图像。利用Canny算法对胶塞滤波图进行边缘检测,得到胶塞边缘图像,需要说明的是,胶塞边缘图像为二值图像,其中灰度值为255的区域为胶塞区域和毛边缺陷区域的边缘,灰度值为0的区域为无关的背景区域。
需要说明的是,上述得到了胶塞边缘图像,通过获取模板边缘图像与胶塞边缘图像进行匹配,并根据匹配度判断缺陷是否存在。
具体的,获取一张模板图像,模板图像为没有毛边缺陷的胶塞灰度图像,首先对模板图像利用高斯滤波核的大小为MU×MU且方差为PK的高斯滤波核进行高斯滤波,得到模板滤波图,其次对模板滤波图利用Canny算法进行边缘检测,得到模板边缘图像,需要说明的是,模板边缘图像为二值图像,其中灰度值为255的区域胶塞区域的边缘,灰度值为0的区域为背景区域。
进一步地,获取胶塞边缘图像和模板边缘图像的中心,将胶塞边缘图像和模板边缘图像的中心重叠,通过不断调整胶塞边缘图像的角度,使得胶塞边缘图像和模板边缘图像中灰度值为255的像素点能够最多重合,将胶塞边缘图像和模板边缘图像中灰度值为255的像素点能够最多重合时的像素点数量记为AT,将胶塞边缘图像中灰度值为255的像素点总数量记为AG,将AG-AT与AG比值记为胶塞边缘图像的毛边缺陷率,预设一个缺陷阈值,本实施例以缺陷阈值为0.05进行叙述,当胶塞边缘图像的毛边缺陷率大于缺陷阈值时,认为胶塞存在缺陷,反之则不存在缺陷。
至此,完成对胶塞的缺陷检测。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (7)
1.一种基于视觉特征的医用橡胶胶塞缺陷检测方法,其特征在于,该方法包括以下步骤:
获取胶塞灰度图像和胶塞灰度直方图;
根据胶塞灰度直方图得到若干缺陷连通域;
根据缺陷连通域得到缺陷连通域的最大参考滤波窗口,根据缺陷连通域的最大参考滤波窗口得到目标滤波像素点,根据缺陷连通域和最大参考滤波窗口得到若干不同大小的迭代窗口,根据缺陷连通域内除目标滤波像素点以外其他像素点的迭代窗口内像素点的灰度值、缺陷连通域上边缘像素点的迭代窗口内边缘像素点的斜率,得到迭代窗口的目标函数,根据迭代窗口的目标函数得到每一个迭代窗口的优选程度;根据所有迭代窗口的优选程度得到每一个缺陷连通域的最佳高斯滤波核的大小;
将缺陷连通域的最佳高斯滤波核的大小作为缺陷连通域内每一个像素点的高斯滤波核大小,根据缺陷连通域内每一个像素点的高斯滤波核大小范围内的灰度值得到缺陷连通域的亮暗对比参数,根据缺陷连通域的亮暗对比参数得到每一个缺陷连通域的最佳高斯滤波核的标准差;
根据每一个缺陷连通域的最佳高斯滤波核的大小和每一个缺陷连通域的最佳高斯滤波核的标准差,得到每一个缺陷连通域的最佳高斯滤波核,根据每一个缺陷连通域的最佳高斯滤波核将对应缺陷连通域内的像素点进行高斯滤波,得到胶塞滤波图,根据胶塞滤波图进行缺陷检测;
所述根据缺陷连通域内除目标滤波像素点以外其他像素点的迭代窗口内像素点的灰度值、缺陷连通域上边缘像素点的迭代窗口内边缘像素点的斜率,得到迭代窗口的目标函数,根据迭代窗口的目标函数得到每一个迭代窗口的优选程度,包括的具体步骤如下:
对于任意一个的迭代窗口,迭代窗口的目标函数为:
式中,为缺陷连通域内像素点的总数量,/>为缺陷连通域内除目标滤波像素点以外第B个像素点的迭代窗口内像素点的总数量,/>为缺陷连通域内除目标滤波像素点以外第B像素点的迭代窗口内第i个像素点的灰度值,/>为缺陷连通域的最大参考滤波窗口内像素点的总数量,/>为缺陷连通域的最大参考滤波窗口内第j个像素点的灰度值;
为缺陷连通域上边缘像素点的总数量,/>为缺陷连通域上第v个边缘像素点的迭代窗口内边缘像素点的总数量,/>为缺陷连通域上第v个边缘像素点的迭代窗口内第d个边缘像素点的斜率,/>为缺陷连通域上第v个边缘像素点的迭代窗口内所有边缘像素点的平均斜率,/>为迭代窗口的目标函数的输出值,记为迭代窗口的优选程度;
获取每一个迭代窗口的优选程度;
所述根据缺陷连通域内每一个像素点的高斯滤波核大小范围内的灰度值得到缺陷连通域的亮暗对比参数,根据缺陷连通域的亮暗对比参数得到每一个缺陷连通域的最佳高斯滤波核的标准差,包括的具体步骤如下:
对于任意一个缺陷连通域,式中,为缺陷连通域内像素点的总数量,/>为缺陷连通域内第u个像素点的高斯滤波核大小范围内的最小灰度值,/>为缺陷连通域内第u个像素点的高斯滤波核大小范围内的最大灰度值,/>为缺陷连通域的亮暗对比参数;
将最佳高斯滤波核中心点位置记为P1,将最佳高斯滤波核内距离中心点位置最远的位置记为P2;
获取最佳高斯滤波核的标准差,所述标准差/>满足:标准差/>下的最佳高斯滤波核内距离中心点位置最远的位置P2的权重与最佳高斯滤波核内中心位置P1的权重之比为1-D,且最佳高斯滤波核内的权重之和为1;
将1-D对应的作为缺陷连通域的最佳高斯滤波核的标准差,获取每一个缺陷连通域的最佳高斯滤波核的标准差;
所述根据胶塞滤波图进行缺陷检测,包括的具体步骤如下:
利用Canny算法对胶塞滤波图进行边缘检测,得到胶塞边缘图像,所述胶塞边缘图像为二值图像,其中灰度值为255的区域为胶塞区域和毛边缺陷区域的边缘,灰度值为0的区域为背景区域;
获取一张模板图像,所述模板图像为没有毛边缺陷的胶塞灰度图像,首先对模板图像进行高斯滤波,得到模板滤波图,其次对模板滤波图利用Canny算法进行边缘检测,得到模板边缘图像,所述模板边缘图像为二值图像,其中灰度值为255的区域胶塞区域的边缘,灰度值为0的区域为背景区域;
获取胶塞边缘图像和模板边缘图像的中心,将胶塞边缘图像和模板边缘图像的中心重叠,通过不断调整胶塞边缘图像的角度,使得胶塞边缘图像和模板边缘图像中灰度值为255的像素点能够最多重合,将胶塞边缘图像和模板边缘图像中灰度值为255的像素点能够最多重合时的像素点数量记为AT,将胶塞边缘图像中灰度值为255的像素点总数量记为AG,将AG-AT与AG比值记为胶塞边缘图像的毛边缺陷率,预设一个缺陷阈值,当胶塞边缘图像的毛边缺陷率大于缺陷阈值时,胶塞存在缺陷,反之则不存在缺陷。
2.根据权利要求1所述一种基于视觉特征的医用橡胶胶塞缺陷检测方法,其特征在于,所述根据胶塞灰度直方图得到若干缺陷连通域,包括的具体步骤如下:
在胶塞灰度直方图中,所述胶塞灰度直方图中包含两个波峰,两个波峰相对比,一个波峰对应的灰度值低,另一个波峰对应的灰度值高,对于灰度值低的波峰,将胶塞灰度直方图中灰度值低的波峰的左侧波谷关于波峰对称得到灰度值低的波峰的右侧端点,记为第一端点;对于灰度值高的波峰,将胶塞灰度直方图中灰度值高的波峰的右侧波谷关于波峰对称得到灰度值高的波峰的左侧端点,记为第二端点,则将胶塞灰度直方图中第一端点到第二端点之间的灰度范围记为缺陷区域的灰度范围,在胶塞灰度图像中,获取灰度值在缺陷区域的灰度范围内的像素点,获取灰度值在缺陷区域的灰度范围内的像素点构成的闭合连通域,记为缺陷连通域,最终得到若干缺陷连通域。
3.根据权利要求1所述一种基于视觉特征的医用橡胶胶塞缺陷检测方法,其特征在于,所述根据缺陷连通域得到缺陷连通域的最大参考滤波窗口,包括的具体步骤如下:
对于任意一个缺陷连通域,将缺陷连通域中最大内接正方形且最大内接正方形的大小为奇数的方形区域作为缺陷连通域的最大参考滤波窗口。
4.根据权利要求1所述一种基于视觉特征的医用橡胶胶塞缺陷检测方法,其特征在于,所述根据缺陷连通域的最大参考滤波窗口得到目标滤波像素点,包括的具体步骤如下:
将最大参考滤波窗口的中心像素点记为目标滤波像素点。
5.根据权利要求1所述一种基于视觉特征的医用橡胶胶塞缺陷检测方法,其特征在于,所述根据缺陷连通域和最大参考滤波窗口得到若干不同大小的迭代窗口,包括的具体步骤如下:
对于缺陷连通域内任意一个像素点,记为第一像素点,以第一像素点为中心构建窗口,窗口的大小为[1,BG]区间内的所有奇数,BG表示最大参考滤波窗口的大小,将所构建出的不同大小的窗口记为迭代窗口。
6.根据权利要求1所述一种基于视觉特征的医用橡胶胶塞缺陷检测方法,其特征在于,所述根据所有迭代窗口的优选程度得到每一个缺陷连通域的最佳高斯滤波核的大小,包括的具体步骤如下:
对于任意一个缺陷连通域,将所有迭代窗口的优选程度中优选程度最小时对应的迭代窗口大小作为缺陷连通域的最佳高斯滤波核的大小,获取每一个缺陷连通域的最佳高斯滤波核的大小。
7.根据权利要求1所述一种基于视觉特征的医用橡胶胶塞缺陷检测方法,其特征在于,所述根据每一个缺陷连通域的最佳高斯滤波核将对应缺陷连通域内的像素点进行高斯滤波,得到胶塞滤波图,包括的具体步骤如下:
根据每一个缺陷连通域的最佳高斯滤波核将对应缺陷连通域内的像素点进行高斯滤波,得到胶塞滤波图。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311204468.8A CN116934763B (zh) | 2023-09-19 | 2023-09-19 | 一种基于视觉特征的医用橡胶胶塞缺陷检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311204468.8A CN116934763B (zh) | 2023-09-19 | 2023-09-19 | 一种基于视觉特征的医用橡胶胶塞缺陷检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116934763A CN116934763A (zh) | 2023-10-24 |
CN116934763B true CN116934763B (zh) | 2023-12-08 |
Family
ID=88388300
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311204468.8A Active CN116934763B (zh) | 2023-09-19 | 2023-09-19 | 一种基于视觉特征的医用橡胶胶塞缺陷检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116934763B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117274251B (zh) * | 2023-11-20 | 2024-02-06 | 山东鲁抗医药集团赛特有限责任公司 | 基于图像数据的药品生产过程中药片质量检测方法 |
CN117522863B (zh) * | 2023-12-29 | 2024-03-29 | 临沂天耀箱包有限公司 | 基于图像特征的集成箱体质量检测方法 |
CN118096579B (zh) * | 2024-04-19 | 2024-07-05 | 陕西博越腾达科技有限责任公司 | 一种3d打印点阵结构缺陷检测方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101165720A (zh) * | 2007-09-18 | 2008-04-23 | 湖南大学 | 医药大输液机器视觉在线检测方法 |
CN104315977A (zh) * | 2014-11-11 | 2015-01-28 | 南京航空航天大学 | 橡胶塞质量检测装置及检测方法 |
CN105139384A (zh) * | 2015-08-11 | 2015-12-09 | 北京天诚盛业科技有限公司 | 缺陷胶囊检测的方法和装置 |
CN208944612U (zh) * | 2018-09-13 | 2019-06-07 | 无锡传奇科技有限公司 | 一种药用胶塞的检测机 |
WO2022027949A1 (zh) * | 2020-08-04 | 2022-02-10 | 湖南大学 | 一种基于机器视觉的玻璃瓶底缺陷检测方法及*** |
CN116363133A (zh) * | 2023-06-01 | 2023-06-30 | 无锡斯达新能源科技股份有限公司 | 基于机器视觉的照明器配件缺陷检测方法 |
-
2023
- 2023-09-19 CN CN202311204468.8A patent/CN116934763B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101165720A (zh) * | 2007-09-18 | 2008-04-23 | 湖南大学 | 医药大输液机器视觉在线检测方法 |
CN104315977A (zh) * | 2014-11-11 | 2015-01-28 | 南京航空航天大学 | 橡胶塞质量检测装置及检测方法 |
CN105139384A (zh) * | 2015-08-11 | 2015-12-09 | 北京天诚盛业科技有限公司 | 缺陷胶囊检测的方法和装置 |
CN208944612U (zh) * | 2018-09-13 | 2019-06-07 | 无锡传奇科技有限公司 | 一种药用胶塞的检测机 |
WO2022027949A1 (zh) * | 2020-08-04 | 2022-02-10 | 湖南大学 | 一种基于机器视觉的玻璃瓶底缺陷检测方法及*** |
CN116363133A (zh) * | 2023-06-01 | 2023-06-30 | 无锡斯达新能源科技股份有限公司 | 基于机器视觉的照明器配件缺陷检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN116934763A (zh) | 2023-10-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN116934763B (zh) | 一种基于视觉特征的医用橡胶胶塞缺陷检测方法 | |
CN110232389B (zh) | 一种基于绿色作物特征提取不变性的立体视觉导航方法 | |
CN116363133A (zh) | 基于机器视觉的照明器配件缺陷检测方法 | |
CN114170228B (zh) | 一种计算机图像边缘检测方法 | |
CN102982542B (zh) | 一种基于相位一致性的眼底图像血管分割方法 | |
CN116385472B (zh) | 一种五金冲压件去毛刺效果评估方法 | |
CN117132506B (zh) | 基于视觉技术的钟表零配件质量检测方法 | |
CN116912261B (zh) | 一种塑料模具注塑表面缺陷检测方法 | |
CN112819772A (zh) | 一种高精度快速图形检测识别方法 | |
CN115330758B (zh) | 基于去噪处理的焊接质量检测方法 | |
CN114627067B (zh) | 一种基于图像处理的伤口面积测量及辅助诊疗方法 | |
CN114529538A (zh) | 基于人工智能和高斯混合模型的纺织物表面缺陷检测方法 | |
CN111127498B (zh) | 一种基于边缘自生长的Canny边缘检测方法 | |
CN115984271A (zh) | 基于角点检测的金属毛刺识别方法 | |
CN112884746A (zh) | 一种基于边缘形状匹配的字符缺陷智能检测算法 | |
CN114648511A (zh) | 一种大肠杆菌轮廓的精确提取及识别方法 | |
CN117422712A (zh) | 基于图像滤波处理的塑料母粒视觉检测方法及*** | |
CN117808799B (zh) | 基于人工智能的倒角设备加工质量检测方法 | |
CN117764989B (zh) | 一种视觉辅助的显示屏缺陷检测方法 | |
CN114998341A (zh) | 一种基于模板匹配的齿轮缺陷检测方法及*** | |
CN117372422B (zh) | 用于零件生产的材料折弯程度检测方法 | |
CN112258532B (zh) | 一种超声图像中胼胝体的定位及分割方法 | |
CN115994870B (zh) | 一种用于增强去噪的图像处理方法 | |
CN112258536B (zh) | 一种胼胝体及小脑蚓部的一体化定位及分割方法 | |
CN117437238A (zh) | 一种封装ic表面缺陷视觉检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |