CN117830298B - 一种航空发动机涡轮导向叶片缺陷视觉检测*** - Google Patents
一种航空发动机涡轮导向叶片缺陷视觉检测*** Download PDFInfo
- Publication number
- CN117830298B CN117830298B CN202410232464.9A CN202410232464A CN117830298B CN 117830298 B CN117830298 B CN 117830298B CN 202410232464 A CN202410232464 A CN 202410232464A CN 117830298 B CN117830298 B CN 117830298B
- Authority
- CN
- China
- Prior art keywords
- value
- pixel
- normal
- blade surface
- pixel points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007547 defect Effects 0.000 title claims abstract description 139
- 238000011179 visual inspection Methods 0.000 title claims description 8
- 230000011218 segmentation Effects 0.000 claims abstract description 63
- 230000002159 abnormal effect Effects 0.000 claims abstract description 45
- 230000000694 effects Effects 0.000 claims abstract description 37
- 238000001514 detection method Methods 0.000 claims abstract description 29
- 238000010586 diagram Methods 0.000 claims abstract description 20
- 238000003709 image segmentation Methods 0.000 claims abstract description 9
- 230000000875 corresponding effect Effects 0.000 claims description 86
- 238000000034 method Methods 0.000 claims description 52
- 230000008569 process Effects 0.000 claims description 13
- 230000005856 abnormality Effects 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 8
- 230000002596 correlated effect Effects 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 3
- 238000007689 inspection Methods 0.000 claims 2
- 230000000007 visual effect Effects 0.000 abstract description 6
- 238000005286 illumination Methods 0.000 description 11
- 238000004458 analytical method Methods 0.000 description 5
- 230000009467 reduction Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000005299 abrasion Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000000567 combustion gas Substances 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/06—Recognition of objects for industrial automation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及图像分割技术领域,具体涉及一种航空发动机涡轮导向叶片缺陷视觉检测***。该***首先获取航空发动机涡轮导向叶片的叶片表面图像,根据每个像素点的正常程度值和异常程度值,获取各个像素点的像素正常偏向系数;进而获取叶片表面图像中各种灰度值的正常概率值;根据在叶片表面图像中所有灰度值对应正常概率值,获取叶片表面图像的叶片表面分割效果图,最终确定航空发动机涡轮导向叶片的缺陷检测结果。本发明通过根据正常程度和异常程度,优化最佳分割阈值的选取,改善最佳分割阈值选取不佳导致图像缺陷分割效果差,进而图像缺陷检测结果不准确。
Description
技术领域
本发明涉及图像分割技术领域,具体涉及一种航空发动机涡轮导向叶片缺陷视觉检测***。
背景技术
航空发动机涡轮导向叶片是涡轮发动机中重要的组成部分,能调整燃烧室排出的燃气流向。航空发动机涡轮导向叶片缺陷可能会影响发动机的性能,甚至缺陷严重会影响飞机的安全性。航空发动机涡轮导向叶片缺陷检测是航空业中的一个重要环节,有助于确保飞机发动机的安全性和可靠性,通过检测和评估涡轮导向叶片上的缺陷以及确保其在飞行中的可靠性。
传统的获取航空发动机涡轮导向叶片缺陷方法为利用大津阈值法进行缺陷区域分割,由于涡轮发动机的叶片表面为明显曲面,在拍摄时光照的影响,标准大津阈值法只能将航空发动机涡轮导向叶片的光照区域与非光照区域进行区分,导致得到航空发动机涡轮导向叶片的图像缺陷检测结果不准确。
发明内容
为了解决现有大津阈值法只能将航空发动机涡轮导向叶片的光照区域与非光照区域进行区分,导致得到航空发动机涡轮导向叶片的图像缺陷检测结果不准确技术问题,本发明的目的在于提供一种航空发动机涡轮导向叶片缺陷视觉检测***,所采用的技术方案具体如下:
本发明提供了一种航空发动机涡轮导向叶片缺陷视觉检测***,所述***包括:
图像获取模块,用于获取发动机涡轮导向叶片的叶片表面图像;
像素正常偏向系数提取模块,用于在所述叶片表面图像中,根据像素点之间的灰度值差异和梯度方向差异,获取各个像素点的正常程度值和异常程度值;根据每个像素点的所述正常程度值和所述异常程度值,获取各个像素点的像素正常偏向系数;
正常概率值提取模块,用于根据在所述叶片表面图像中每种灰度值对应所有像素点的所述像素正常偏向系数,获取所述叶片表面图像中各种灰度值的正常概率值;
图像分割模块,用于根据在所述叶片表面图像中所有灰度值对应所述正常概率值,对所述叶片表面图像进行分割,获取所述叶片表面图像的叶片表面分割效果图;
缺陷检测模块,用于根据所述叶片表面分割效果图,确定发动机涡轮导向叶片的缺陷检测结果。
进一步地,所述正常程度值的获取公式为:
;其中,/>为第/>个像素点的所述正常程度值;/>为在所述叶片表面图像中,灰度值与第/>像素点的灰度值相同的像素点数量;/>为所述叶片表面图像中像素点的总数量;/>为第/>个像素点的周围邻域像素点的总数量;/>为第/>个像素点的第/>个所述周围邻域像素点对应的梯度方向;/>为第个像素点的第/>个所述周围邻域像素点对应的梯度方向;/>为第/>个像素点的第/>个所述周围邻域像素点对应的梯度方向;/>为第/>个像素点的第/>个所述周围邻域像素点对应的梯度方向;/>为归一化函数。
进一步地,所述异常程度值的获取公式包括:
;其中,/>为第/>个像素点的所述异常程度值;/>为在所述叶片表面图像中,灰度值与第/>像素点的灰度值相同的像素点数量;为所述叶片表面图像中像素点的总数量;/>为第/>个像素点的灰度值;/>为第/>个像素点的周围邻域像素点的总数量;/>为第/>个像素点对应第/>个所述周围邻域像素点的灰度值;为所述叶片表面图像中所有像素点灰度值的均值;/>为周围邻域像素点与第/>像素点梯度方向一致的像素点数量,/>为绝对值。
进一步地,所述周围邻域像素点的获取方法包括:
以所述叶片表面图像中任意一个像素点为中心像素点,构建中心像素点的预设邻域窗口;所述预设邻域窗口的中心为中心像素点;
将所述预设邻域窗口中除了中心像素点外的其他像素点,作为所述中心像素点的所述周围邻域像素点。
进一步地,所述像素正常偏向系数的获取方法包括:
根据像素点的所述正常程度值和所述异常程度值,获取像素点的所述像素正常偏向系数;
所述正常程度值与所述像素正常偏向系数呈正相关;所述异常程度值与所述像素正常偏向系数呈负相关。
进一步地,所述正常概率值的获取方法包括:
在所述叶片表面图像中,计算每种灰度值对应所有像素点的所述像素正常偏向系数的累加值,获取每种灰度值的正常概率值。
进一步地,所述叶片表面分割效果图的获取方法包括:
根据在所述叶片表面图像中所有灰度值对应所述正常概率值,获取各个疑似分割阈值;
利用每个所述疑似分割阈值对所述叶片表面图像进行二分类,得到前景区域和背景区域;
利用大津阈值法确定前景区域和背景区域对应的类间方差,在确定前景区域和背景区域对应的类间方差的过程中,利用灰度值的所述正常概率值代替灰度值的数量;
确定所有所述疑似分割阈值对应的类间方差中的最大值,并将所述最大值所对应的所述疑似分割阈值确定为最佳分割阈值;
利用所述最佳分割阈值分割所述叶片表面图像,获取所述叶片表面分割效果图。
进一步地,所述疑似分割阈值的获取方法包括:
以灰度值为横轴,以灰度值的正常概率值为纵轴,构建柱状图,从而得到所述叶片表面图像的正常偏向直方图;
基于二分法,以正常偏向直方图对应的所有灰度值区间作为待处理范围;
在所述待处理范围内,将中间点到起点对应的待处理范围,作为第一侧范围;
将中间点到终点对应的待处理范围,作为第二侧范围;
计算第一侧范围中灰度值对应正常概率值的方差,作为第一侧范围的第一侧方差;
计算第二侧范围中灰度值对应正常概率值的方差,作为第二侧范围的第二侧方差;
将第一侧方差和第二侧方差中最大值对应的范围,作为新的待处理范围;
在新的待处理范围内,将中间点到起点对应新的待处理范围,作为更新后第一侧范围;
将中间点到终点对应新的待处理范围,作为更新后第二侧范围;
计算更新后第一侧范围中灰度值对应正常概率值的方差,作为更新后第一侧范围的更新后第一侧方差;
计算更新后第二侧范围中灰度值对应正常概率值的方差,作为更新后第二侧范围的更新后第二侧方差;
将更新后第一侧方差和更新后第二侧方差中最大值对应的范围,作为更新后新的待处理范围;
重复上述步骤,对每次构建新的待处理范围进行动态调整,直至满足动态调整条件,并将最后所得到的更新后的新的待处理范围中的各种灰度值,作为各疑似分割阈值。
进一步地,所述动态调整条件为新的待处理范围中灰度值数量不大于预设灰度值数量。
进一步地,所述缺陷检测结果的获取方法包括:
通过边缘提取所述叶片表面分割效果图中各个缺陷区域的面积,确定各个所述缺陷区域的缺陷权重,所述缺陷区域的面积与所述缺陷权重呈正相关;
计算所述分割效果图中各个所述缺陷区域的所述缺陷权重的累加和,确定缺陷参数;根据所述缺陷参数,确定航空发动机涡轮导向叶片的质量等级。
本发明具有如下有益效果:
由于航空发动机涡轮导向叶片缺陷可能会影响发动机的性能,甚至缺陷严重会影响飞机的安全性,由于涡轮发动机的叶片表面为明显曲面,在光照的作用下,叶片表面图像有明暗区域,传统大津阈值法往往分割的是图像的明暗区域,不能准确的分析叶片表面图像的缺陷状况。为了通过灰度值的正常异常程度进行图像分割,首先分析像素点的正常程度和异常程度,根据每个像素点的正常程度值和异常程度值,获取各个像素点的像素正常偏向系数。偏向系数越大说明像素点越偏向正常像素点,根据在叶片表面图像中每种灰度值对应所有像素点的像素正常偏向系数,获取叶片表面图像中各种灰度值的正常概率值。正常概率值越大,说明灰度值包含正常像素点数量越多,为了降低后续进行图像分割的运算量,确定疑似分割阈值,加快后续筛选出最佳分割阈值的速度。将灰度值的正常概率值代替灰度值的数量计算灰度值的类间方差,使得叶片表面分割效果图可以更好地反映缺陷区域,进而确定航空发动机涡轮导向叶片的缺陷检测结果,将航空发动机涡轮导向叶片的缺陷检测结果上传至***,以供后续分析航空发动机涡轮导向叶片的缺情况并进行工艺改进。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1为本发明一个实施例所提供的一种航空发动机涡轮导向叶片缺陷视觉检测***的***框图;
图2为本发明一个实施例所提供的确定第一侧范围和第二侧范围的示意图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的一种航空发动机涡轮导向叶片缺陷视觉检测***,其具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外,一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种航空发动机涡轮导向叶片缺陷视觉检测***的具体方案。
请参阅图1,其示出了本发明一个实施例提供的一种航空发动机涡轮导向叶片缺陷视觉检测***的***框图,该***包括:图像获取模块101,像素正常偏向系数提取模块102,正常概率值提取模块103,图像分割模块104,缺陷检测模块105。
图像获取模块101,用于获取航空发动机涡轮导向叶片的叶片表面图像。
由于航空发动机涡轮导向叶片的叶片表面需要符合航空发动机涡轮导向叶片表面验收标准,且航空发动机涡轮导向叶片缺陷可能会影响发动机的性能,甚至缺陷严重会影响飞机的安全性,所以对航空发动机涡轮导向叶片进行缺陷检测至关重要。本发明首先获取航空发动机涡轮导向叶片的叶片表面图像,进而根据图像中灰度值的正常程度和异常程度对图像进行分割,以供后续分析航空发动机涡轮导向叶片的缺陷。
具体地,在进行图像采集之前,首先对航空发动机涡轮导向叶片表面进行清洁,以确保后续采集图像的质量和准确性;通过生产线上布置的摄像头采集航空发动机涡轮导向叶片表面,获取原始航空发动机涡轮导向叶片表面图像,在采集时要求对叶片表面的光照强度以确保成像清晰,避免出现曝光过度的情况;由于采集的原始航空发动机涡轮导向叶片表面图像存在噪声,噪声会对后续确定缺陷产生影响,所以对表面图像进行降噪操作,获取降噪图像。消除噪声和部分外界干扰造成的影响,增强后续分析的准确性。将降噪图像进行灰度化处理获取灰度图像,对灰度图像进行自适应对比度增强等操作获取航空发动机涡轮导向叶片的叶片表面图像,以方便对航空发动机涡轮导向叶片的缺陷进行观察。本发明实施例采用双边滤波对图像降噪,实施者可根据实际情况自行设置。
需要说明的是,为了方便运算,本发明实施例中所参与运算的所有指标数据均经过数据预处理,进而取消量纲影响。具体去量纲影响的手段为本领域技术人员熟知的技术手段,在此不做限定。
像素正常偏向系数提取模块102,用于在叶片表面图像中,根据像素点之间的灰度值差异和梯度方向差异,获取各个像素点的正常程度值和异常程度值;根据每个像素点的正常程度值和异常程度值,获取各个像素点的像素正常偏向系数。
为了通过灰度值的正常异常程度进行图像分割,首先分析像素点的正常程度和异常程度,正常的像素点构成了叶片表面图像的正常区域,异常像素点构成了叶片表面图像的缺陷区域,由于正常区域占叶片表面图像的绝大部分区域,所以正常像素点的灰度值在整体像素点占比较多,缺陷区域往往存在裂纹、磨损等损伤,往往区域面积较少且随机分布的,导致缺陷区域像素点往往具有边缘性,导致异常像素点的周围区域像素点比正常像素点更有梯度方向一致性,在叶片表面图像中,根据像素点之间的灰度值相似性和梯度方向差异,获取各个像素点的正常程度值和异常程度值;正常程度值可以反映像素点的正常程度,反映像素点为正常像素点的可能性;异常程度值反映像素点的异常程度,反映像素点为异常像素点的可能性;根据每个像素点的正常程度值和异常程度值,获取各个像素点的像素正常偏向系数。偏向系数越大说明像素点越偏向正常像素点,以供后续分析灰度值的正常概率值。
优选地,在本发明的一个实施例中,正常程度值的获取方法,具体包括:
由于像素点为正常像素点时,本身相同灰度值的像素点数量在整体像素点占比一定是较多的,正常像素点本身就构成了大部分叶片表面的正常区域,所以具有区域性而不具有边缘性,正常像素点的分布具有区域性而不具有边缘性,因此对应的是像素点周围的梯度方向变化越明显,更倾向于是正常像素点。通过分析第个像素点的相同灰度的像素点数量在整体像素点占比和第/>个像素点周围的梯度方向变化,可以反映像素点的正常程度,获取第/>个像素点的正常程度值,本发明一个实施例中正常程度值公式包括:
;其中,/>为第/>个像素点的正常程度值;/>为在叶片表面图像中,灰度值与第/>像素点的灰度值相同的像素点数量;/>为叶片表面图像中像素点的总数量;/>为第/>个像素点的周围邻域像素点的总数量;/>为第/>个像素点的第/>个周围邻域像素点对应的梯度方向;/>为第/>个像素点的第个周围邻域像素点对应的梯度方向;/>为第/>个像素点的第/>个周围邻域像素点对应的梯度方向;/>为第/>个像素点的第/>个周围邻域像素点对应的梯度方向;/>为归一化函数。需要说明的是,在像素点预设领域范围中,对周围邻域像素点按照逆时针顺序标号,从而依次计算周围邻域像素点与前一个周围邻域像素点的梯度方向差异,/>的前一个周围邻域像素点是/>。
在正常程度值公式中,反映了与第/>像素点相同灰度值的像素点数量在整体像素点占比,当占比越大,说明与第/>像素点拥有相同灰度值的像素点数量越多,正常程度值越大;
综合反映周围邻域像素点对应的梯度方向差异,由于正常区域像素点往往不具有边缘性具有区域性,当差异越大,像素点正常程度值越大;正常程度值通过综合相同灰度值的像素点数量在整体像素点占比和周围区域梯度方向差异,可以更加准确地像素点正常程度,以供后续分析灰度值的正常概率值。
优选地,在本发明的一个实施例中,异常程度值的获取方法,具体包括:
由于缺陷区域在图像中占比是比较少的,异常像素点本身相同灰度值的像素点数量在整体像素点占比往往是较少的;由于异常像素点往往具有边缘性,因此像素点和周围的梯度方向一致性较高,更倾向于是异常像素点;由于航空发动机涡轮导向叶片的色彩往往是均匀,所以正常像素点与周围环境灰度值往往更接近,而缺陷区域与周围环境的对比度较大,往往异常像素点与周围环境灰度差异较大;由于涡轮发动机的叶片表面为明显曲面,在光照作用下,导致图像有亮面区域和暗面区域,亮面区域与暗面区域是渐变的,为了采集图像的清晰,图像中光照作用下暗面区域占整体图像比较少,所以图像整体灰度值较接近正常区域灰度值,亮面区域中缺陷和暗面区域缺陷都往往大于正常区域灰度值,所以异常像素点灰度值与图像整体灰度值的差异较大;通过分析第个像素点与整体灰度值差异、第/>个像素点与周围的灰度值差异、第/>个像素点的相同灰度的像素点数量在整体像素点占比和第/>个像素点周围的梯度方向一致性可以反映像素点的异常程度,获取第/>个像素点的异常程度值,本发明一个实施例中异常程度值公式包括:
;其中,/>为第/>个像素点的异常程度值;/>为在叶片表面图像中,灰度值与第/>像素点的灰度值相同的像素点数量;/>为叶片表面图像中像素点的总数量;/>为第/>个像素点的灰度值;/>为第/>个像素点的周围邻域像素点的总数量;/>为第/>个像素点对应第/>个周围邻域像素点的灰度值;/>为叶片表面图像中所有像素点灰度值的均值;/>为周围邻域像素点与第/>像素点梯度方向一致的像素点数量,/>为绝对值。
在异常程度值公式中,反映了与第/>像素点相同灰度值的像素点数量在整体像素点占比的倒数,当占比的倒数越大,说明叶片表面图像中与第/>像素点拥有相同灰度值的像素点数量越少,异常程度值越大;由于异常像素点与周围环境灰度差异较大,/>反映了像素点与周围邻域像素点灰度值均值的差异,当差异越大,异常程度值越大;由于异常像素点灰度值与图像整体灰度值的差异较大,/>反映了像素点与整体图像灰度值均值的灰度差异,当差异越大,异常程度值越大;由于异常像素点往往具有边缘性,因此像素点和周围的梯度方向一致性较高,/>反映了像素点周围环境中与像素点梯度方向一致的像素点数量,周围环境中与像素点梯度方向一致的像素点数量,数量越多,异常程度值越大;异常程度值通过综合了相同灰度值的像素点占比的倒数、像素点与周围区域灰度值差异、像素点与整体图像域灰度值差异和像素点与周围区域中梯度方向一致性,更全面反映了像素点的异常程度,以供后续分析灰度值的正常概率值。
优选地,在本发明一个实施例中周围邻域像素点的获取方法包括:
为了分析像素点与周围区域的梯度方向区别,通过周围邻域像素点来表征像素点的周围区域信息。以叶片表面图像中任意一个像素点为中心像素点,构建中心像素点的预设邻域窗口;预设邻域窗口的中心为中心像素点;将预设邻域窗口中除了中心像素点外的其他像素点,作为中心像素点的周围邻域像素点。
在本发明实施例中,预设邻域窗口的大小为3*3,实施者可根据实施场景自行设定。
需要说明的是,当像素点不属于叶片表面图像的边界像素点时,像素点的周围邻域像素点为8个;若是叶片表面图像的边界像素点时,由于预设邻域窗口在叶片表面图像中,所以周围邻域像素点往往小于8个。需要说明的是,该例子仅为邻域窗口的大小为3*3的周围邻域像素点的示意例子,在实际实施过程中需要根据预设邻域窗口的大小确定周围邻域像素点。
优选地,在本发明的一个实施例中,像素正常偏向系数的获取方法,具体包括:
根据像素点的正常程度值和异常程度值,获取像素点的像素正常偏向系数;
正常程度值与像素正常偏向系数呈正相关;异常程度值与像素正常偏向系数呈负相关。
为了确定像素点是更偏向于属于正常像素点还是属于缺陷区域的异常像素点,通过分析第个像素点的异常程度值和正常程度值,获取第/>个像素点的像素正常偏向系数,本发明一个实施例中像素正常偏向系数公式包括:
;其中,/>为第/>个像素点的像素正常偏向系数;/>为第/>个像素点的异常程度值;/>为第/>个像素点的正常程度值。
在像素正常偏向系数公式中,当正常程度值越大,说明像素点偏向于属于正常像素点,像素正常偏向系数越大;当异常程度值越大,说明像素点偏向于属于缺陷区域的异常像素点,像素正常偏向系数越小;像素正常偏向系数综合了正常程度值和异常程度值,反映像素点的正常像素点偏向程度,像素正常偏向系数越大,说明像素点偏向属于正常像素点。
正常概率值提取模块103,用于根据在叶片表面图像中每种灰度值对应所有像素点的像素正常偏向系数,获取叶片表面图像中各种灰度值的正常概率值。
由于涡轮发动机的叶片表面为明显曲面,在光照的作用下,叶片表面图像有明暗区域,传统大津阈值法往往分割的是图像的明暗区域,不能准确的分析叶片表面图像的缺陷状况。为了通过灰度值的正常异常程度进行图像分割,根据在叶片表面图像中每种灰度值对应所有像素点的像素正常偏向系数,获取叶片表面图像中各种灰度值的正常概率值。以供后续根据灰度值的正常概率值,对图像进行分割。
优选地,在本发明的一个实施例中,正常概率值的获取方法,具体包括:
在叶片表面图像中,计算每种灰度值对应所有像素点的像素正常偏向系数的累加值,获取每种灰度值的正常概率值。
为了确定灰度值对应的像素点中正常像素点包含量,通过灰度值对应所有像素点的像素正常偏向系数,获取灰度值的正常概率值,本发明一个实施例中正常概率值公式包括:
;其中,/>为灰度值的正常概率值,/>为第/>个像素点的像素正常偏向系数;/>为在叶片表面图像中与第/>像素点有相同灰度值的像素点数量。
在正常概率值公式中,当像素正常偏向系数越大,说明像素点偏向于属于正常像素点;灰度值的像素正常偏向系数通过计算灰度值对应所有像素点的像素正常偏向系数累加值,可以更全面地反映灰度值对应像素点包含正常像素点的程度,当正常概率值越大,说明灰度值包含正常像素点数量越多。
图像分割模块104,用于根据在叶片表面图像中所有灰度值对应正常概率值,对叶片表面图像进行分割,获取叶片表面图像的叶片表面分割效果图。
传统的大津阈值法也称为最大类间方差法,通过穷举法逐一遍历图像内所有灰度值,计算所有灰度值对应的类间方差,取得最大类间方差对应的灰度值作为最佳分割阈值。由于在光照的作用下,叶片表面图像有明暗区域,传统大津阈值法分割的是图像的明暗区域,不能准确的分析叶片表面图像的缺陷状况。为了可以更好地分割缺陷,根据在叶片表面图像中所有灰度值对应正常概率值,对叶片表面图像进行分割,获取叶片表面图像的叶片表面分割效果图。叶片表面分割效果图可以更好地反映缺陷特点。
优选地,在本发明的一个实施例中,疑似分割阈值的获取方法包括:
为了降低后续进行图像分割的运算量,加快后续筛选出最佳分割阈值的速度,需要获取疑似分割阈值。需要说明的是,二分法为本领域技术人员熟知的技术手段,在此不做赘述仅简述本发明一个实施例中利用二分法确定疑似分割阈值的简要过程:
为了反映随着灰度值增加对应正常概率值的波动性以灰度值为横轴,以灰度值的正常概率值为纵轴,构建柱状图,从而得到叶片表面图像的正常偏向直方图,即现有技术中在构建灰度直方图时,是以灰度值为横坐标,以灰度值对应的概率值为纵坐标,构建柱状图,将构建的柱状图作为灰度直方图,本发明实施例是在现有技术的基础上,将灰度值对应的概率值替换为正常概率值,以灰度值对应的正常概率值为纵轴,构建柱状图,并将构建的柱状图作为正常偏向直方图;
基于二分法,以正常偏向直方图对应的所有灰度值区间作为待处理范围,即以正常偏向直方图中所涉及到的所有灰度值作为一个待处理范围;
在待处理范围内,将中间点到起点对应的待处理范围,作为第一侧范围,即将正常偏向直方图中所涉及到的所有灰度值的中值,作为待处理范围的中间点,并将正常偏向直方图中所涉及到的所有灰度值的最小灰度值,作为待处理范围的起点,将待处理范围中中间点到起点所对应的所有灰度值作为第一侧范围,为了便于理解,如图2所提供的一个正常偏向直方图中,将该正常偏向直方图中所涉及到的所有灰度值作为一个待处理范围,该待处理范围的起点为hd1,中间点为hd2,则该待处理范围中起点hd1到中间点hd2的所有灰度值构成了第一侧范围;
将中间点到终点对应的待处理范围,作为第二侧范围,即将正常偏向直方图中所涉及到的所有灰度值的最大灰度值,作为待处理范围的终点,将待处理范围中中间点到终点所对应的所有灰度值作为第二侧范围,为了便于理解,在图2中所提供的一个正常偏向直方图中,该待处理范围的终点为hd3,则该待处理范围中中间点hd2到终点hd3的所有灰度值构成了第二侧范围;
计算第一侧范围中灰度值对应正常概率值的方差,作为第一侧范围的第一侧方差;
计算第二侧范围中灰度值对应正常概率值的方差,作为第二侧范围的第二侧方差;
将第一侧方差和第二侧方差中最大值对应的范围,作为新的待处理范围;
按照上述确定新的待处理范围的相同方式,对新的待处理范围进行待处理范围动态调整操作,待处理范围动态调整操作包括:在新的待处理范围内,将中间点到起点对应新的待处理范围,作为更新后第一侧范围;
将中间点到终点对应新的待处理范围,作为更新后第二侧范围;
计算更新后第一侧范围中灰度值对应正常概率值的方差,作为更新后第一侧范围的更新后第一侧方差;
计算更新后第二侧范围中灰度值对应正常概率值的方差,作为更新后第二侧范围的更新后第二侧方差;
将更新后第一侧方差和更新后第二侧方差中最大值对应的范围,作为更新后新的待处理范围;
重复上述待处理范围动态调整操作步骤,直至满足动态调整条件,并将最后所得到的更新后的新的待处理范围中的各种灰度值,作为各疑似分割阈值。通过缩小大津阈值法遍历灰度值的范围,加快了大津阈值法的速度,提高图像分割速度。
优选地,在本发明的一个实施例中,动态调整条件为新的待处理范围中灰度值数量不大于预设灰度值数量。需要说明的是,本发明的其他实施例中还可以将迭代次数小于10次作为动态调整条件,在此不做限定。本发明实施例令预设灰度值数量取值为10,实施者可根据实际情况自行设置。
优选地,在本发明的一个实施例中,叶片表面分割效果图的获取方法包括:
为了叶片表面分割效果图可以更好地反映缺陷特点,正常概率值反映灰度值包含正常像素点数量,进而可以根据灰度值的正常情况对图像进行分割。需要说明的是,大津阈值法为本领域技术人员熟知的技术手段,在此不做赘述,仅简述本发明一个实施例中利用大津阈值法确定叶片表面分割效果图的简要过程:
根据在叶片表面图像中所有灰度值对应正常概率值,获取各个疑似分割阈值;逐一遍历所有疑似分割阈值,利用每个疑似分割阈值对叶片表面图像进行二分类,得到前景区域和背景区域;确定前景区域和背景区域对应的类间方差,在确定前景区域和背景区域对应的类间方差的过程中,利用灰度值的正常概率值代替灰度值的数量;
确定所有疑似分割阈值对应的类间方差中的最大值,并将最大值所对应的疑似分割阈值确定为最佳分割阈值;利用最佳分割阈值分割叶片表面图像,获取叶片表面分割效果图。
缺陷检测模块105,用于根据叶片表面分割效果图,确定航空发动机涡轮导向叶片的缺陷检测结果。
由于航空发动机涡轮导向叶片表面需要符合航空发动机涡轮导向叶片验收标准,且航空发动机涡轮导向叶片表面损坏可能会影响发动机效果和安全性。为了分析缺陷区域,根据叶片表面分割效果图,确定航空发动机涡轮导向叶片的缺陷检测结果,将航空发动机涡轮导向叶片的缺陷检测结果上传至***,以供后续分析航空发动机涡轮导向叶片的缺情况并进行工艺改进。
优选地,在本发明一个实施例中缺陷检测结果获取方法包括:
通过边缘提取叶片表面分割效果图中各个缺陷区域的面积,确定各个缺陷区域的缺陷权重,缺陷区域的面积与缺陷权重呈正相关;
计算分割效果图中各个缺陷区域的缺陷权重的累加和,确定缺陷参数;根据缺陷参数,确定航空发动机涡轮导向叶片的质量等级。
具体地,通过边缘提取叶片表面分割效果图中各个缺陷区域的面积,确定各个缺陷区域的缺陷权重,当缺陷区域的面积大于第一缺陷面积阈值时,则将对应的缺陷区域的缺陷等级设置为一级缺陷,并将一级缺陷设置为第一缺陷权重;当缺陷区域的面积大于第二缺陷面积阈值且不大于第一缺陷面积阈值时,则将对应的缺陷区域的缺陷等级设置为二级缺陷,并将二级缺陷设置为第二缺陷权重;当缺陷区域的面积不大于第三缺陷面积阈值时,则将对应的缺陷区域的缺陷等级设置为三级缺陷,并将三级缺陷设置为第三缺陷权重;本实施例设置第一缺陷面积阈值的取值为50,第二缺陷面积阈值的取值为20,第一缺陷权重的取值为10,第二缺陷权重的取值为4,第三缺陷权重的取值为1,实施者可根据实施场景自行设定。
计算分割效果图中各个缺陷区域的缺陷权重的累加和,确定缺陷参数;根据缺陷参数,确定航空发动机涡轮导向叶片的质量等级。当缺陷参数小于第一设定参数时,则判定航空发动机涡轮导向叶片的质量等级为优秀,基本没有缺陷;当缺陷参数不小于第一设定参数且小于第二设定参数时,则判定航空发动机涡轮导向叶片的质量等级为良好,轻微缺陷;当缺陷参数不小于第二设定参数,则判定航空发动机涡轮导向叶片的质量等级为不合格,缺陷严重,需要进行返工。本实施例设置第一设定参数的取值为1,第二设定参数的取值为5,实施者可根据实施场景自行设定。至此,确定航空发动机涡轮导向叶片的缺陷检测结果。
将航空发动机涡轮导向叶片的缺陷检测结果上传至***,以供***参考其他相关数据,例如制造过程中的各种参数、材料的质量和性能等,及时分析航空发动机涡轮导向叶片的缺情况并进行工艺改进。
综上,本发明实施例首先获取航空发动机涡轮导向叶片的叶片表面图像,根据每个像素点的正常程度值和异常程度值,获取各个像素点的像素正常偏向系数;进而获取叶片表面图像中各种灰度值的正常概率值;根据在叶片表面图像中所有灰度值对应正常概率值,获取叶片表面图像的叶片表面分割效果图,最终确定航空发动机涡轮导向叶片的缺陷检测结果。本发明实施例通过根据正常程度和异常程度,优化最佳分割阈值的选取,改善最佳分割阈值选取不佳导致图像缺陷分割效果差,进而图像缺陷检测结果不准确。
需要说明的是:上述本发明实施例先后顺序仅仅为了描述,不代表实施例的优劣。在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。
Claims (5)
1.一种航空发动机涡轮导向叶片缺陷视觉检测***,其特征在于,所述***包括:
图像获取模块,用于获取发动机涡轮导向叶片的叶片表面图像;
像素正常偏向系数提取模块,用于在所述叶片表面图像中,根据像素点之间的灰度值差异和梯度方向差异,获取各个像素点的正常程度值和异常程度值;根据每个像素点的所述正常程度值和所述异常程度值,获取各个像素点的像素正常偏向系数;
正常概率值提取模块,用于根据在所述叶片表面图像中每种灰度值对应所有像素点的所述像素正常偏向系数,获取所述叶片表面图像中各种灰度值的正常概率值;
图像分割模块,用于根据在所述叶片表面图像中所有灰度值对应所述正常概率值,对所述叶片表面图像进行分割,获取所述叶片表面图像的叶片表面分割效果图;
缺陷检测模块,用于根据所述叶片表面分割效果图,确定发动机涡轮导向叶片的缺陷检测结果;所述正常程度值的获取公式为:
;其中,/>为第/>个像素点的所述正常程度值;/>为在所述叶片表面图像中,灰度值与第/>像素点的灰度值相同的像素点数量;/>为所述叶片表面图像中像素点的总数量;/>为第/>个像素点的周围邻域像素点的总数量;/>为第/>个像素点的第/>个所述周围邻域像素点对应的梯度方向;/>为第/>个像素点的第/>个所述周围邻域像素点对应的梯度方向;/>为第/>个像素点的第/>个所述周围邻域像素点对应的梯度方向;/>为第/>个像素点的第/>个所述周围邻域像素点对应的梯度方向;/>为归一化函数;所述异常程度值的获取公式包括:
;其中,/>为第/>个像素点的所述异常程度值;/>为在所述叶片表面图像中,灰度值与第/>像素点的灰度值相同的像素点数量;/>为所述叶片表面图像中像素点的总数量;/>为第/>个像素点的灰度值;/>为第/>个像素点的周围邻域像素点的总数量;/>为第/>个像素点对应第/>个所述周围邻域像素点的灰度值;/>为所述叶片表面图像中所有像素点灰度值的均值;/>为周围邻域像素点与第/>像素点梯度方向一致的像素点数量,/>为绝对值;所述周围邻域像素点的获取方法包括:
以所述叶片表面图像中任意一个像素点为中心像素点,构建中心像素点的预设邻域窗口;所述预设邻域窗口的中心为中心像素点;
将所述预设邻域窗口中除了中心像素点外的其他像素点,作为所述中心像素点的所述周围邻域像素点;
所述叶片表面分割效果图的获取方法包括:
根据在所述叶片表面图像中所有灰度值对应所述正常概率值,获取各个疑似分割阈值;
利用每个所述疑似分割阈值对所述叶片表面图像进行二分类,得到前景区域和背景区域;
利用大津阈值法确定前景区域和背景区域对应的类间方差,在确定前景区域和背景区域对应的类间方差的过程中,利用灰度值的所述正常概率值代替灰度值的数量;
确定所有所述疑似分割阈值对应的类间方差中的最大值,并将所述最大值所对应的所述疑似分割阈值确定为最佳分割阈值;
利用所述最佳分割阈值分割所述叶片表面图像,获取所述叶片表面分割效果图;
所述疑似分割阈值的获取方法包括:
以灰度值为横轴,以灰度值的正常概率值为纵轴,构建柱状图,从而得到所述叶片表面图像的正常偏向直方图;
基于二分法,以正常偏向直方图对应的所有灰度值区间作为待处理范围;
在所述待处理范围内,将中间点到起点对应的待处理范围,作为第一侧范围;
将中间点到终点对应的待处理范围,作为第二侧范围;
计算第一侧范围中灰度值对应正常概率值的方差,作为第一侧范围的第一侧方差;
计算第二侧范围中灰度值对应正常概率值的方差,作为第二侧范围的第二侧方差;
将第一侧方差和第二侧方差中最大值对应的范围,作为新的待处理范围;
在新的待处理范围内,将中间点到起点对应新的待处理范围,作为更新后第一侧范围;
将中间点到终点对应新的待处理范围,作为更新后第二侧范围;
计算更新后第一侧范围中灰度值对应正常概率值的方差,作为更新后第一侧范围的更新后第一侧方差;
计算更新后第二侧范围中灰度值对应正常概率值的方差,作为更新后第二侧范围的更新后第二侧方差;
将更新后第一侧方差和更新后第二侧方差中最大值对应的范围,作为更新后新的待处理范围;
重复上述步骤,对每次构建新的待处理范围进行动态调整,直至满足动态调整条件,并将最后所得到的更新后的新的待处理范围中的各种灰度值,作为各疑似分割阈值。
2.根据权利要求1所述的一种航空发动机涡轮导向叶片缺陷视觉检测***,其特征在于,所述像素正常偏向系数的获取方法包括:
根据像素点的所述正常程度值和所述异常程度值,获取像素点的所述像素正常偏向系数;
所述正常程度值与所述像素正常偏向系数呈正相关;所述异常程度值与所述像素正常偏向系数呈负相关。
3.根据权利要求1所述的一种航空发动机涡轮导向叶片缺陷视觉检测***,其特征在于,所述正常概率值的获取方法包括:
在所述叶片表面图像中,计算每种灰度值对应所有像素点的所述像素正常偏向系数的累加值,获取每种灰度值的正常概率值。
4.根据权利要求1所述的一种航空发动机涡轮导向叶片缺陷视觉检测***,其特征在于,所述动态调整条件为新的待处理范围中灰度值数量不大于预设灰度值数量。
5.根据权利要求1所述的一种航空发动机涡轮导向叶片缺陷视觉检测***,其特征在于,所述缺陷检测结果的获取方法包括:
通过边缘提取所述叶片表面分割效果图中各个缺陷区域的面积,确定各个所述缺陷区域的缺陷权重,所述缺陷区域的面积与所述缺陷权重呈正相关;
计算所述分割效果图中各个所述缺陷区域的所述缺陷权重的累加和,确定缺陷参数;根据所述缺陷参数,确定航空发动机涡轮导向叶片的质量等级。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410232464.9A CN117830298B (zh) | 2024-03-01 | 2024-03-01 | 一种航空发动机涡轮导向叶片缺陷视觉检测*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410232464.9A CN117830298B (zh) | 2024-03-01 | 2024-03-01 | 一种航空发动机涡轮导向叶片缺陷视觉检测*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117830298A CN117830298A (zh) | 2024-04-05 |
CN117830298B true CN117830298B (zh) | 2024-05-07 |
Family
ID=90515592
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410232464.9A Active CN117830298B (zh) | 2024-03-01 | 2024-03-01 | 一种航空发动机涡轮导向叶片缺陷视觉检测*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117830298B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115294338A (zh) * | 2022-09-29 | 2022-11-04 | 中威泵业(江苏)有限公司 | 一种叶轮表面缺陷识别方法 |
CN116452589A (zh) * | 2023-06-16 | 2023-07-18 | 山东伟国板业科技有限公司 | 基于图像处理的人造板表面缺陷智能检测方法 |
CN116542976A (zh) * | 2023-07-06 | 2023-08-04 | 深圳市佳合丰科技有限公司 | 一种模切件缺陷的视觉检测*** |
CN116805302A (zh) * | 2023-04-28 | 2023-09-26 | 兰州交通大学 | 一种缆索表面缺陷检测装置及方法 |
CN116823822A (zh) * | 2023-08-29 | 2023-09-29 | 山东航宇游艇发展有限公司 | 基于视觉特征的船艇钣金件焊接缺陷检测方法 |
CN116823725A (zh) * | 2023-05-09 | 2023-09-29 | 大连理工大学 | 一种基于支持向量机的航空发动机叶片表面缺陷检测方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8588474B2 (en) * | 2010-07-12 | 2013-11-19 | Texas Instruments Incorporated | Motion detection in video with large areas of detail |
-
2024
- 2024-03-01 CN CN202410232464.9A patent/CN117830298B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115294338A (zh) * | 2022-09-29 | 2022-11-04 | 中威泵业(江苏)有限公司 | 一种叶轮表面缺陷识别方法 |
CN116805302A (zh) * | 2023-04-28 | 2023-09-26 | 兰州交通大学 | 一种缆索表面缺陷检测装置及方法 |
CN116823725A (zh) * | 2023-05-09 | 2023-09-29 | 大连理工大学 | 一种基于支持向量机的航空发动机叶片表面缺陷检测方法 |
CN116452589A (zh) * | 2023-06-16 | 2023-07-18 | 山东伟国板业科技有限公司 | 基于图像处理的人造板表面缺陷智能检测方法 |
CN116542976A (zh) * | 2023-07-06 | 2023-08-04 | 深圳市佳合丰科技有限公司 | 一种模切件缺陷的视觉检测*** |
CN116823822A (zh) * | 2023-08-29 | 2023-09-29 | 山东航宇游艇发展有限公司 | 基于视觉特征的船艇钣金件焊接缺陷检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN117830298A (zh) | 2024-04-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113538433B (zh) | 基于人工智能的机械铸件缺陷检测方法及*** | |
CN114549522B (zh) | 基于目标检测的纺织品质量检测方法 | |
CN107437245B (zh) | 基于深度卷积神经网络的高速铁路接触网故障诊断方法 | |
CN115082418B (zh) | 一种汽车零部件精密识别方法 | |
CN117173184B (zh) | 基于人工智能的道路施工质量检测方法及*** | |
CN116205906B (zh) | 一种电缆内部生产异常无损检测方法 | |
CN111260616A (zh) | 一种基于Canny算子二维阈值分割优化的绝缘子裂纹检测方法 | |
CN117315289B (zh) | 基于图像处理的航空发动机叶片轮廓边缘检测方法 | |
CN115829883A (zh) | 一种异性金属结构件表面图像去噪方法 | |
CN109472788B (zh) | 一种飞机铆钉表面的伤痕检测方法 | |
CN115272321B (zh) | 一种基于机器视觉的纺织品缺陷检测方法 | |
CN114494210A (zh) | 基于图像处理的塑料膜生产缺陷检测方法及*** | |
CN117593294B (zh) | 基于图像特征分析的离心风机风叶裂纹视觉检测方法 | |
CN115294159B (zh) | 金属紧固件腐蚀区域分割方法 | |
CN115100206B (zh) | 用于具有周期图案纺织物的印花缺陷识别方法 | |
CN115496692A (zh) | 一种润滑油磨粒图像增强方法 | |
CN116703251B (zh) | 基于人工智能的胶圈生产质量检测方法 | |
CN115861320A (zh) | 一种汽车零件加工信息智能检测方法 | |
CN114170165A (zh) | 一种芯片表面缺陷检测方法和装置 | |
CN116309416A (zh) | 一种零件表面视觉检测方法 | |
CN112258569A (zh) | 瞳孔中心定位方法、装置、设备及计算机存储介质 | |
CN117351017A (zh) | 一种光伏钢结构组件缺陷视觉检测方法 | |
CN117237350B (zh) | 一种铸钢件质量实时检测方法 | |
CN117830298B (zh) | 一种航空发动机涡轮导向叶片缺陷视觉检测*** | |
CN114998346B (zh) | 一种防水布质量数据处理、识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |