CN109003279B - 一种基于K-Means聚类标注和朴素贝叶斯模型的眼底视网膜血管分割方法及*** - Google Patents
一种基于K-Means聚类标注和朴素贝叶斯模型的眼底视网膜血管分割方法及*** Download PDFInfo
- Publication number
- CN109003279B CN109003279B CN201810733535.8A CN201810733535A CN109003279B CN 109003279 B CN109003279 B CN 109003279B CN 201810733535 A CN201810733535 A CN 201810733535A CN 109003279 B CN109003279 B CN 109003279B
- Authority
- CN
- China
- Prior art keywords
- image
- filter
- filtering
- response
- cosfire
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 210000004204 blood vessel Anatomy 0.000 title claims abstract description 73
- 238000000034 method Methods 0.000 title claims abstract description 66
- 230000011218 segmentation Effects 0.000 title claims abstract description 47
- 238000003064 k means clustering Methods 0.000 title claims abstract description 29
- 238000002372 labelling Methods 0.000 title claims abstract description 22
- 210000001525 retina Anatomy 0.000 title claims abstract description 22
- 238000012549 training Methods 0.000 claims abstract description 53
- 238000000605 extraction Methods 0.000 claims abstract description 31
- 238000012545 processing Methods 0.000 claims abstract description 31
- 238000012360 testing method Methods 0.000 claims abstract description 27
- 239000013598 vector Substances 0.000 claims abstract description 15
- 230000008569 process Effects 0.000 claims abstract description 12
- 210000001210 retinal vessel Anatomy 0.000 claims abstract description 12
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 11
- 238000010801 machine learning Methods 0.000 claims abstract description 8
- 230000004044 response Effects 0.000 claims description 69
- 238000001914 filtration Methods 0.000 claims description 59
- 238000001514 detection method Methods 0.000 claims description 24
- 230000006870 function Effects 0.000 claims description 19
- 239000011159 matrix material Substances 0.000 claims description 15
- 230000004256 retinal image Effects 0.000 claims description 10
- 238000011156 evaluation Methods 0.000 claims description 7
- 230000002792 vascular Effects 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 5
- 230000002708 enhancing effect Effects 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims 1
- 230000001976 improved effect Effects 0.000 abstract description 4
- 238000013145 classification model Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 7
- 230000002207 retinal effect Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 206010012689 Diabetic retinopathy Diseases 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 3
- 230000010339 dilation Effects 0.000 description 2
- 230000005284 excitation Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 208000024172 Cardiovascular disease Diseases 0.000 description 1
- 206010065559 Cerebral arteriosclerosis Diseases 0.000 description 1
- 206010020772 Hypertension Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 208000029078 coronary artery disease Diseases 0.000 description 1
- 206010012601 diabetes mellitus Diseases 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003706 image smoothing Methods 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 201000005851 intracranial arteriosclerosis Diseases 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000004089 microcirculation Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000009885 systemic effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
- G06F18/24155—Bayesian classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Eye Examination Apparatus (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于K‑Means聚类标注和朴素贝叶斯模型的眼底视网膜血管分割方法及***。本发明方法包括:随机抽取数据集中的彩色眼底图像,构建训练集和测试集;提取彩色眼底图像的G通道的灰度图作为特征提取的对象;对灰度图进行特征提取,将图像中的每个像素用多维的特征向量表示;对特征提取后的训练集中的每幅图像使用K‑Means聚类算法将特征向量进行聚类标注;基于K‑Means聚类标注的训练集数据训练朴素贝叶斯模型;用训练好的朴素贝叶斯模型分割测试集中每幅图像的血管。本发明把聚类的结果作为有监督训练的标记,利用这些标记训练朴素贝叶斯分类模型进行视网膜血管分割,整个过程不需要人为参与标记,省时省力,大幅度提高了机器学习模型的处理效率。
Description
技术领域
本发明涉及医学图像处理领域,具体而言,尤其涉及一种基于K-Means 聚类标注和朴素贝叶斯模型的眼底视网膜血管分割方法。
背景技术
视网膜血管是全身微循环***的重要组成部分,其形态结构的变化与糖尿病、高血压、冠状动脉硬化和脑血管硬化等心血管类疾病的病情严重程度密切相关。因此,视网膜图像血管分割技术的研究对于医学临床应用具有十分重要的意义。
目前的眼底视网膜血管方法主要有两大方向:基于规则的血管分割方法和基于学习的血管分割方法。基于规则的血管分割方法主要利用的是图像处理技术,根据血管特性设计一些规则来寻找血管:根据血管的分段线性和连通性设计了不同尺度下线性滤波器,通过结合不同尺度下的滤波结果和阈值化处理得到最后的血管分割结果;由于血管的横截面成倒立的高斯分布,所以二维高斯匹配滤波方法利用表征不同方向的12个高斯模板作为匹配滤波器来对图像进行滤波,然后对响应结果进行阈值化,选取响应最大的匹配滤波结果作为血管输出,最终提取出视网膜血管图像。基于 Hessian矩阵的滤波方法利用Hessian矩阵的特征值增强包括血管分叉在内的所有血管结构,并抑制非血管结构。这些图像处理方法都需要阈值化处理,而且针对不同的视网膜眼底图像需要选择不同的阈值,这并不是一个自动化的过程。
基于学习的分割方法将血管分割问题视为像素级的分类问题,通过一组带有标签的训练数据集训练得到分类器。其中,特征主要包括像素灰度值、边界特征和Gabor小波变换等,分类器主要包括多层神经网络、贝叶斯分类器、随机森林和支持向量机。由于引入了判别性学习的强大机制,这些方法的分割性能往往优于基于规则的分割方法。基于学习的方法能够自动分割并且准确率较高,主要流程是图像数据预处理、图像特征提取和模型训练。难点在于视网膜眼底图像特征提取和像素级标签数据获取。有监督的机器学习技术需要大量的专家人工标注数据,而眼底图像中的视网膜血管呈发散的树型、以及末梢细小血管的存在使得标记任务更加困难。
在计算机辅助医学图像分析中,可以从医院获得大量的医学图像作为训练集,但如果要求医学专家把这些图像中的血管都标识出来,则往往是不现实的。如果只使用少量的有标记示例,那么利用它们所训练出的学习***往往很难具有强泛化能力;另一方面,如果仅使用少量“昂贵的”有标记示例而不利用大量“廉价的”未标记示例,则是对数据资源的极大的浪费。
发明内容
根据上述提出的有监督的机器学习技术需要大量的专家人工标注数据,费时费力的技术问题,而提供一种基于K-Means聚类标注和朴素贝叶斯模型的眼底视网膜血管分割方法。本发明主要利用K-Means聚类标注的结果作为数据的标签,然后利用其再去训练分类模型进行分割,从而提高了工作效率,分割效果更好,节省了人力物力。本发明采用的技术手段如下:
一种基于K-Means聚类标注和朴素贝叶斯模型的眼底视网膜血管分割方法,包括如下步骤:
构建训练集图像的像素级标签,具体为:对特征提取后的训练集中的每幅图像使用K-Means聚类算法将特征向量进行聚类标注;
基于K-Means聚类标注的训练集数据训练朴素贝叶斯模型;
用训练好的朴素贝叶斯模型分割测试集中每幅图像的血管。
进一步地,所述步骤构建训练集图像的像素级标签之前还具有如下步骤:
随机抽取数据集中的彩色眼底图像,构建训练集和测试集;
提取彩色眼底图像的G通道的灰度图作为特征提取的对象,并对视网膜感兴趣区域进行膨胀处理;
对膨胀处理后的所述灰度图进行特征提取,将训练集和测试集图像中的每个像素用十维的特征向量表示,具体为:
通过对比度受限的自适应直方图均衡化方法增强所述灰度图的对比度,将此灰度值作为区分血管和背景的一种特征,通过基于血管特性设计的血管增强技术处理所述灰度图,
分别对所述灰度图进行如下滤波处理:
通过Gabor小波变换处理,得到四维的Gabor特征;
通过线性检测器对视网膜图像进行滤波处理,得到线性检测的响应结果作为一维的线性检测特征;
通过高斯形状的滤波器对视网膜图像进行滤波处理,选取响应最大的滤波结果作为一维的高斯匹配特征;
基于Hessian矩阵的Frangi滤波特征对视网膜图像进行滤波处理,选取最大响应作为一维的Frangi滤波特征;
基于B-COSFIRE滤波特征对视网膜图像进行滤波处理,将对称 B-COSFIRE滤波器和非对称B-COSFIRE滤波器响应结果求和得到最终的一维的B-COSFIRE滤波特征;
通过韦伯描述算子求解视网膜图像中任一像素点的一维的韦伯描述特征;
所述用训练好的朴素贝叶斯模型分割测试集中每幅图像的血管之后还具有如下步骤:
通过预设的评价指标判断血管分割方法是否有效。
进一步地,所述步骤随机抽取数据集中的彩色眼底图像,构建训练集和测试集中,数据集使用公开的DRIVE数据集,所述训练集和测试集的图像数目相同,且每幅图像对应2个专家手动分割的结果和1个显示眼底图像的有效信息区域的Mask图像。
进一步地,通过如下方式进行Gabor小波变换处理:
Gabor核函数如下所示:
其中,x'=xcosθ+ysinθ,y'=-xsinθ+ycosθ,
(u0,v0)表示正弦平面波的时域频率,σx和σy表示x和y方向上的椭圆高斯的方差,其决定了滤波器作用区域的大小,即尺度,θ为旋转角度,
通过改变参数σ和θ得到一组方向和尺度不同的Gabor小波,在固定尺度下,比较所有方向上的响应,把最大响应作为该尺度下的特征图像,根据设置的尺度,把所有尺度下的结果作为Gabor特征。
进一步地,所述线性检测器通过在W*W的窗口下,旋转长度为l的检测线得到N个不同方向的滤波器,用滤波器对灰度图滤波处理,当检测线的方向和血管方向一致时,响应最大,比较所有角度下的响应保留最大值作为该窗口下的检测结果通过改变检测线的长度适应不同尺度下的血管,将不同尺度下的响应结果求和再平均得到线性检测的响应结果作为线性检测特征。
进一步地,通过如下方式进行高斯形状的滤波器图像滤波处理:
倒立的高斯内核函数如下所示:
其中将滤波器的均值归一化到0,L表示沿 y轴平滑噪声的邻域长度,t是常数,设置 x'=xcosθ+ysinθ,y'=-xsinθ+ycosθ,θ=(0:12)*π/12变化以检测不同方向的血管,在某一尺度下选取N个方向上的最大响应作为该尺度下的滤波结果,对比不同尺度下的响应,选取响应最大的滤波结果作为高斯匹配特征。
进一步地,通过如下方式进行基于Hessian矩阵的Frangi滤波处理:
对于二维输入图像,与高斯核函数的二阶偏导卷积得到构造每一个像素 (x,y)的Hessian矩阵,
通过如下函数计算Frangi滤波的结果:
β用于调整线状和块状的区别,c表述控制整体平滑度的参数,比较每个像素点在各个尺度下的响应,选取最大响应作为Frangi滤波特征。
进一步地,B-COSFIRE滤波器由一组共线排列的高斯差分滤波器,即 DoG滤波器构成,B-COSFIRE滤波响应通过计算所有的DoG滤波响应的几何均值得到,所述DoG滤波响应通过DoG滤波器与图像的卷积得到,
对称结构的COSFIRE模型用于提取连续血管结构特征,DoG滤波器成对存在,它们的中心以相反方向位于B-COSFIRE滤波器中心的两侧;非对称结构的COSFIRE模型用于检测末端血管,DoG滤波器的中心位于 B-COSFIRE滤波器中心的一侧,对DoG滤波响应进行模糊操作,所述模糊操作为DoG滤波器加权阈值响应的最大值,权重是DoG滤波响应与高斯函数系数的乘积,将对称B-COSFIRE滤波器和非对称B-COSFIRE滤波响应结果作和得到最终的B-COSFIRE滤波特征。
进一步地,通过如下公式求解视网膜图像中任一像素点的韦伯描述特征:
其中,p为图像I中任一像素点,N(p)表示像素p的邻域像素集合,I(z) 表示目标像素p的邻域中N(p)的任一像素的灰度值。
进一步地,所述通过预设的评价指标判断血管分割方法是否有效,具体为:
其中,每幅图像的血管点通过四种不同的颜色区分,正确分割的血管点真阳性TP、分割错误的非血管点假阳性FP、错误分割的血管点真阴性 TN、正确分割的非血管点假阴性FN,Acc表示分割正确的像素点占整个图像像素点总和的比例,即准确度,Se表示分割正确的血管点占金标准血管点总和的比例,即灵敏度,Sp表示分割正确的背景点占金标准背景点总和的比例,即特异性,Ppv表示分割正确的血管点占分割出的血管点的比例,即精度预测比值。
本发明还提供了一种基于K-Means聚类标注和朴素贝叶斯模型的眼底视网膜血管分割***,包括:
样本取样单元,用于从DRIVE数据集中随机抽取彩色眼底图像,构建训练集和测试集;
预处理单元,用于提取彩色眼底图像中的G通道的灰度图并对其中的视网膜感兴趣区域进行膨胀处理;
特征提取单元,用于对膨胀处理后的G通道的灰度图进行特征提取,将训练集和测试集图像中的每个像素用十维的特征向量表示,其包括:
Gabor小波处理模块,线性检测器滤波处理模块,高斯匹配特征提取模块,Frangi滤波特征提取模块,B-COSFIRE滤波特征提取模块,韦伯描述特征提取模块;
聚类标注单元:用于通过K-Means聚类算法将特征向量进行聚类标注;
机器学习模型训练单元:用于通过K-Means聚类标注的训练集数据训练朴素贝叶斯模型;
图像处理单元:用于通过分割模型对测试集中每幅图像的血管进行分割;
分割效果评判单元:用于对血管分割方法的有效性进行评判。
较现有技术相比,本发明具有以下优点:
本发明通过聚类技术把聚类的结果作为有监督训练的标记,然后利用这些标记训练朴素贝叶斯分类模型进行视网膜血管分割,整个过程不需要人为参与标记,省时省力,大幅度提高了机器学习模型的处理效率,相对于聚类的分割结果,本发明在视网膜图像分割处理过程中准确率得到提高。
基于上述理由本发明可在医学图像处理领域广泛推广。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明方法流程图。
图2为本发明装置模块图。
图3为本发明中原始眼底视网膜图像和Mask图像的示意图。
图4为本发明中RGB三通道灰度图的对比度分析示意图,其中,(a) 为红色通道,(b)为绿色通道,(c)为蓝色通道。
图5为本发明绿色通道灰度图中视网膜感兴趣区域膨胀处理示意图。
图6为本发明经过各特征提取后依次得到得特征图示意图,其中,(a) 为原始彩色图像,(b)为灰度特征,(c)为Gabor变换,(d)为线性检测 (e)为高斯匹配滤波,(f)为Frangi滤波,(g)为B-COSFIRE滤波,(h) 为韦伯描述。
图7为本发明使用K-Means聚类算法在训练集图像的聚类结果示意图。
图8为本发明训练好的分割模型分割测试集的分割结果示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
如图1所示,本发明提供了一种基于K-Means聚类标注和朴素贝叶斯模型的眼底视网膜血管分割方法,包括如下步骤:
S1、随机抽取数据集中的彩色眼底图像,本实施例使用公开的DRIVE 数据集,DRIVE是Niemeijer团队在2004年根据荷兰糖尿病视网膜病变筛查工作建立的彩色眼底图库,其图像是从453名25~90岁的不同个体拍摄得到。本实施例提取数据库中共40幅图像,其中7幅是有早期糖尿病视网膜病变的,33幅是没有糖尿病视网膜病变的眼底图,每幅图像的像素为584×565。
分成训练集和测试集,每个子集20幅图像,每幅图像对应2个专家手动分割的结果和1个显示眼底图像的有效信息区域的mask图像。如图3所示,是部分彩色视网膜眼底图像和对应的Mask图像。该库是衡量视网膜血管分割方法性能好坏的最常用数据库。
S2、分析彩色眼底图像的RGB三通道的灰度图对比度,G通道的灰度图中血管和背景的对比度最高,如图4所示,提取彩色眼底图像的G通道的灰度图作为特征提取的对象,为了减少区域轮廓边缘噪声的影响,对视网膜感兴趣区域进行如图5所示的膨胀处理。
S3、通过对比度受限的自适应直方图均衡化方法增强所述灰度图的对比度,将此灰度值作为区分血管和背景的一种特征,通过基于血管特性设计的血管增强技术处理所述灰度图,强调了眼底图像中的血管结构,同时抑制非重要的部分,加强图像判读和识别。分为基于空域和基于频域两大算法,前者直接对图像灰度作计算,后者基于图像变换域对变换系数进行修正。
如图6所示,分别对所述灰度图进行如下滤波处理:
Gabor小波变换,视网膜图像中的血管曲率小,宽度渐进变化且方向是任意的,而Gabor小波变换对图像边缘敏感,具有良好的尺度选择和方向选择的特性,所以使用Gabor小波变换将图像从时域转换到频域研究。
Gabor核函数是一个被复正弦函数调制的高斯窗函数:
其中,x'=xcosθ+ysinθ,y'=-xsinθ+ycosθ,
(u0,v0)表示正弦平面波的时域频率,σx和σy表示x和y方向上的椭圆高斯的方差,其决定了滤波器作用区域的大小,可见平行和抑制区条纹数量越多,通常称为尺度,θ为旋转角度。
改变主要参数σ和θ可以得到一组方向和尺度不同的Gabor小波。在固定尺度下,比较所有方向上的响应,把最大响应作为该尺度下的特征图像。在实验中设置尺度为[2,3,4,5],这样会得到4维的Gabor特征。
线性检测器是一个人工设计的滤波器,主要是基于血管的分段线性和连通性这一先验知识被提出的,由固定尺度模式发展到多尺度模式。在W*W 的窗口下,长度为l的检测线以15°在0:165内旋转得到12个不同方向的滤波器对原图像滤波处理,当检测线的方向和血管方向一致时,响应最大,比较所有角度下的响应保留最大值作为该窗口下的检测结果在改变检测线的长度以适应不同尺度下的血管,最后将不同尺度下的响应结果求和再平均得到线性检测的响应结果作为线性检测特征。
高斯匹配滤波特征。视网膜血管横截面灰度分布呈倒立的高斯分布,所以可以利用高斯形状的滤波器来‘匹配’用于检测血管。倒立的高斯内核函数定义为:
其中将滤波器的均值归一化到0。L是沿y轴平滑噪声的邻域长度,理论上L越大,能够使视网膜图像平滑效果更优,同时还能够降低视网膜图像噪声。t是常数,通常设置为3,因为高斯曲线下99%的面积位于[-3σ,3σ]范围内。当设置x'=xcosθ+ysinθ,y'=-xsinθ+ycosθ,θ=(0:12)*π/12变化以检测不同方向的血管。在某一尺度下选取12个方向上的最大响应作为该尺度下的滤波结果。在实验时设置L=9,尺度变化σ=1:0.3:2,对比不同尺度下的响应,选取响应最大的滤波结果作为高斯匹配特征。
Frangi滤波特征。眼底的血管部分是一个管状的结构,高斯二阶导的响应值比较大;眼底的背景部分分布均匀,高斯二阶导的响应值比较小。而 Hessian矩阵是一个二阶偏导矩阵,并且对于二维图像来说,每个像素点处 Hessian矩阵特征值有两个,血管点处的特征值一大一小,血管交叉点处的特征值两个都很大,背景点处的特征值两个都很小。
对于二维输入图像,与高斯核函数的二阶偏导卷积得到构造每一个像素 (x,y)的Hessian矩阵,
通过如下函数计算Frangi滤波的结果:
β用于调整线状和块状的区别,c表述控制整体平滑度的参数,本实施例选取β为0.5,c为5,Gauss函数的尺度范围为σ∈[1,3],比较每个像素点在各个尺度下的响应,选取最大响应作为Frangi滤波特征。
B-COSFIRE滤波特征。
B-COSFIRE滤波器由一组共线排列的高斯差分滤波器,即DoG滤波器构成,B-COSFIRE滤波响应通过计算所有的DoG滤波响应的几何均值得到。 DoG滤波器表达式如下:
图像的DoG滤波响应通过DoG滤波器与图像的卷积得到 cσ(x,y)=|I*DoG|。参数集描述了n个DoG滤波器的参数,σi是每个DoG滤波器的标准差。(ρi,φi)是极坐标位置,表示每个DoG滤波器的中心相对COSFIRE滤波器中心的位置。
对称结构的COSFIRE模型用于提取连续血管结构特征,DoG滤波器成对存在,它们的中心以相反方向位于B-COSFIRE滤波器中心的两侧;
非对称结构的COSFIRE模型用于检测末端血管,DoG滤波器的中心位于 B-COSFIRE滤波器中心的一侧,
为了提高各个点位置的容错性,对DoG滤波响应进行模糊操作,所述模糊操作为DoG滤波器加权阈值响应的最大值,权重是DoG滤波器响应与高斯函数Gσ'(x',y')系数的乘积,其中标准差σ'是距离ρi的线性函数:
σ'=σ0+αρi
σ0和ρi都是常数。然后对与φi相反方向的DoG滤波器模糊操作后进行移位运算,移位向量为(Δxi,Δyi),Δxi=-ρicosφi,Δyi=-ρisinφi。
最后参数集S中每一个元组(σi,ρi,φi)对应的DoG滤波器的模糊移位响应为:
所以B-COSFIRE滤波器响应为参数集S对应的所有模糊移位DoG滤波响应的加权几何均值,计算公式如下:
当改变φ时,DoG滤波器的排列方式会改变相当于旋转B-COSFIRE滤波器,计算图像中的每一个像素在12个方向ψ上的滤波结果,取最大值作为该像素点的B-COSFIRE特征,相关公式如下:
最后将对称B-COSFIRE滤波器和非对称B-COSFIRE滤波器响应结果作和得到最终的B-COSFIRE滤波特征。
关于滤波器的参数设置如下:
韦伯描述算子作为一种强有力的局部纹理描述方法,对于图像I中任一像素点p,微分激励是该像素点相对于它邻域像素的灰度差值,然后求差值的总和与中心像素点的比值,然后求解反正切得到差励的梯度作为像素点p的韦伯描述特征,
其中,p为图像I中任一像素点,N(p)表示像素p的邻域像素集合,I(z) 表示目标像素p的邻域中N(p)的任一像素的灰度值。
S4、如图7所示,经过特征提取之后,训练集和测试集图像中的每个像素用10维的特征向量表示。对于训练集中的每幅图像,使用K-Means聚类算法将所有特征向量聚成2类-血管簇(标记为1)和背景簇(标记为0),这样训练集图像就具有了像素级标签。
S5、基于K-Means聚类标注的训练集数据训练朴素贝叶斯模型,对于有少量错误标签的数据,朴素贝叶斯模型可以近似得到真实标签数据对应的先验概率和条件概率分布。
基于2016RaMATLAB平台,K-Means聚类和朴素贝叶斯模型使用 MATLAB的统计及机器学习工具箱中的函数idx=kmeans(X,k)和Mdl= fitcnb(X,Y),X是训练数据集,k是聚类簇数,idx是通过聚类算法得到的 X的标记,Y是对应的聚类标签,Mdl是训练得到的朴素贝叶斯模型。
S6、用训练好的朴素贝叶斯模型分割测试集中每幅图像的血管。如图8 所示,其中,绿色表示正确分割的血管点,红色表示分割错误的非血管点,蓝色是错误分割的血管点;黑色是正确分割的非血管点。
S7、为了判断血管分割方法是否有效,需要一个有效的性能评价指标。将血管分割结果与专家手动标定的金标准相比较,像素点的分割结果有一下4种情况,真阳性(truepositive,TP)表示分割正确的血管点;假阳性 (false positive,FP)表示分割错误的血管点;真阴性(true negative,TN)表示分割正确的背景点;假阴性(false negative,FN)表示分割错误的背景点。
Acc表示分割正确的像素点占整个图像像素点总和的比例,即准确度,Se表示分割正确的血管点占金标准血管点总和的比例,即灵敏度, Sp表示分割正确的背景点占金标准背景点总和的比例,即特异性,Ppv表示分割正确的血管点占分割出的血管点的比例,即精度预测比值。
下表给出了使用K-Mean聚类算法和本文方法的性能对比,两种方法的准确率约96%,而在视网膜图像中血管比例很小,所以Se和PPv值更能代表一个方法的性能。本文方法的Se值更大表明能够分割出更多的血管点,并且80%都是正确的血管点,所以本文方法效果确实相对于 K-Means聚类有所提升。
图8
如图2所示,本发明还提供了一种基于K-Means聚类标注和朴素贝叶斯模型的眼底视网膜血管分割***,包括:
样本取样单元,用于从DRIVE数据集中随机抽取彩色眼底图像,构建训练集和测试集;
预处理单元,用于提取彩色眼底图像中的G通道的灰度图并对其中的视网膜感兴趣区域进行膨胀处理;
特征提取单元,用于对膨胀处理后的G通道的灰度图进行特征提取,将训练集和测试集图像中的每个像素用十维的特征向量表示,其包括:
Gabor小波处理模块,线性检测器滤波处理模块,高斯匹配特征提取模块,Frangi滤波特征提取模块,B-COSFIRE滤波特征提取模块,韦伯描述特征提取模块;
聚类标注单元:用于通过K-Means聚类算法将特征向量进行聚类标注;
机器学习模型训练单元:用于通过K-Means聚类标注的训练集数据训练朴素贝叶斯模型;
图像处理单元:用于通过分割模型对测试集中每幅图像的血管进行分割;
分割效果评判单元:用于对血管分割方法的有效性进行评判。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (8)
1.一种基于K-Means聚类标注和朴素贝叶斯模型的眼底视网膜血管分割方法,其特征在于,包括如下步骤:
构建训练集图像的像素级标签,具体为:对特征提取后的训练集中的每幅图像使用K-Means聚类算法将特征向量进行聚类标注;
基于K-Means聚类标注的训练集数据训练朴素贝叶斯模型;
用训练好的朴素贝叶斯模型分割测试集中每幅图像的血管;
所述构建训练集图像的像素级标签之前还具有如下步骤:
随机抽取数据集中的彩色眼底图像,构建训练集和测试集;
提取彩色眼底图像的G通道的灰度图作为特征提取的对象,并对视网膜感兴趣区域进行膨胀处理;
对膨胀处理后的所述灰度图进行特征提取,将训练集和测试集图像中的每个像素用十维的特征向量表示,具体为:
通过对比度受限的自适应直方图均衡化方法增强所述灰度图的对比度,将此灰度值作为区分血管和背景的一种特征,通过基于血管特性设计的血管增强技术处理所述灰度图,
分别对所述灰度图进行如下滤波处理:
通过Gabor小波变换处理,得到四维的Gabor特征;
通过线性检测器对视网膜图像进行滤波处理,得到线性检测的响应结果作为一维的线性检测特征;
通过高斯形状的滤波器对视网膜图像进行滤波处理,选取响应最大的滤波结果作为一维的高斯匹配特征;
基于Hessian矩阵的Frangi滤波特征对视网膜图像进行滤波处理,选取最大响应作为一维的Frangi滤波特征;
基于B-COSFIRE滤波特征对视网膜图像进行滤波处理,将对称B-COSFIRE滤波器和非对称B-COSFIRE滤波器响应结果求和得到最终的一维的B-COSFIRE滤波特征;
通过韦伯描述算子求解视网膜图像中任一像素点的一维的韦伯描述特征;
所述用训练好的朴素贝叶斯模型分割测试集中每幅图像的血管之后还具有如下步骤:
通过预设的评价指标判断血管分割方法是否有效。
2.根据权利要求1所述的方法,其特征在于,所述随机抽取数据集中的彩色眼底图像,构建训练集和测试集中,数据集使用公开的DRIVE数据集,所述训练集和测试集的图像数目相同,且每幅图像对应2个专家手动分割的结果和1个显示眼底图像的有效信息区域的Mask图像。
4.根据权利要求3所述的方法,其特征在于,所述线性检测器通过在W*W的窗口下,旋转长度为l的检测线得到N个不同方向的滤波器,用滤波器对灰度图滤波处理,当检测线的方向和血管方向一致时,响应最大,比较所有角度下的响应保留最大值作为该窗口下的检测结果Il max,通过改变检测线的长度适应不同尺度下的血管,将不同尺度下的响应结果求和再平均得到线性检测的响应结果作为线性检测特征;
通过如下方式进行高斯形状的滤波器图像滤波处理:
倒立的高斯内核函数如下所示:
6.根据权利要求5所述的方法,其特征在于,B-COSFIRE滤波器由一组共线排列的高斯差分滤波器,即DoG滤波器构成,B-COSFIRE滤波响应通过计算所有的DoG滤波响应的几何均值得到,所述DoG滤波响应通过DoG滤波器与图像的卷积得到,
对称结构的COSFIRE模型用于提取连续血管结构特征,DoG滤波器成对存在,它们的中心以相反方向位于B-COSFIRE滤波器中心的两侧;非对称结构的COSFIRE模型用于检测末端血管,DoG滤波器的中心位于B-COSFIRE滤波器中心的一侧,对DoG滤波响应进行模糊操作,所述模糊操作为DoG滤波器加权阈值响应的最大值,权重是DoG滤波响应与高斯函数系数的乘积,将对称B-COSFIRE滤波器和非对称B-COSFIRE滤波响应结果作和得到最终的B-COSFIRE滤波特征。
8.一种基于K-Means聚类标注和朴素贝叶斯模型的眼底视网膜血管分割***,其特征在于,包括:
样本取样单元,用于从DRIVE数据集中随机抽取彩色眼底图像,构建训练集和测试集;
预处理单元,用于提取彩色眼底图像中的G通道的灰度图并对其中的视网膜感兴趣区域进行膨胀处理;
特征提取单元,用于对膨胀处理后的G通道的灰度图进行特征提取,将训练集和测试集图像中的每个像素用十维的特征向量表示,其包括:
Gabor小波处理模块,线性检测器滤波处理模块,高斯匹配特征提取模块,Frangi滤波特征提取模块,B-COSFIRE滤波特征提取模块,韦伯描述特征提取模块;
聚类标注单元:用于通过K-Means聚类算法将特征向量进行聚类标注;
机器学习模型训练单元:用于通过K-Means聚类标注的训练集数据训练朴素贝叶斯模型;
图像处理单元:用于通过分割模型对测试集中每幅图像的血管进行分割;
分割效果评判单元:用于对血管分割方法的有效性进行评判。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810733535.8A CN109003279B (zh) | 2018-07-06 | 2018-07-06 | 一种基于K-Means聚类标注和朴素贝叶斯模型的眼底视网膜血管分割方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810733535.8A CN109003279B (zh) | 2018-07-06 | 2018-07-06 | 一种基于K-Means聚类标注和朴素贝叶斯模型的眼底视网膜血管分割方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109003279A CN109003279A (zh) | 2018-12-14 |
CN109003279B true CN109003279B (zh) | 2022-05-13 |
Family
ID=64599062
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810733535.8A Expired - Fee Related CN109003279B (zh) | 2018-07-06 | 2018-07-06 | 一种基于K-Means聚类标注和朴素贝叶斯模型的眼底视网膜血管分割方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109003279B (zh) |
Families Citing this family (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109829931B (zh) * | 2019-01-07 | 2023-07-11 | 三峡大学 | 一种基于区域增长pcnn的视网膜血管分割方法 |
CN109978819B (zh) * | 2019-01-22 | 2022-11-15 | 江南大学 | 一种基于低尺度血管检测分割视网膜血管的方法 |
CN109859146A (zh) * | 2019-02-28 | 2019-06-07 | 电子科技大学 | 一种基于U-net卷积神经网络的彩色眼底图像血管分割方法 |
CN109998681B (zh) * | 2019-03-16 | 2022-02-01 | 哈尔滨理工大学 | 一种区分镜面反射区域和血管的内腔图像预处理方法 |
CN110135481B (zh) * | 2019-04-30 | 2023-01-24 | 佛山科学技术学院 | 一种农作物病变检测方法以及检测装置 |
CN110310235B (zh) * | 2019-05-21 | 2021-07-27 | 北京至真互联网技术有限公司 | 眼底图像处理方法、装置及设备和存储介质 |
CN110189309B (zh) * | 2019-05-21 | 2021-06-15 | 上海商汤智能科技有限公司 | 一种图像处理方法及装置、电子设备和存储介质 |
CN110490040B (zh) * | 2019-05-30 | 2022-04-12 | 浙江理工大学 | 一种识别dsa冠状动脉图像中局部血管狭窄程度的方法 |
CN110648312A (zh) * | 2019-09-03 | 2020-01-03 | 上海工程技术大学 | 一种基于鳞片形态特征分析的羊毛与羊绒纤维识别方法 |
CN111563890A (zh) * | 2020-05-07 | 2020-08-21 | 浙江大学 | 一种基于深度森林的眼底图像血管分割方法和*** |
CN112396565A (zh) * | 2020-11-19 | 2021-02-23 | 同济大学 | 静脉穿刺机器人的图像及视频血管增强与分割方法和*** |
CN112529879A (zh) * | 2020-12-16 | 2021-03-19 | 福建农林大学 | 基于支持向量机的b-cosfire滤波处理的多尺度采样视网膜血管图像分割方法 |
CN112464010B (zh) * | 2020-12-17 | 2021-08-27 | 中国矿业大学(北京) | 一种基于贝叶斯网络和分类器链的图像自动标注方法 |
CN112862789B (zh) * | 2021-02-10 | 2023-06-13 | 上海大学 | 基于机器学习的交互式图像分割方法 |
CN113409293A (zh) * | 2021-06-30 | 2021-09-17 | 上海市第一人民医院 | 一种基于深度学习的病理学图像自动分割*** |
CN113450351B (zh) * | 2021-08-06 | 2024-01-30 | 推想医疗科技股份有限公司 | 分割模型训练方法、图像分割方法、装置、设备及介质 |
CN113658207B (zh) * | 2021-08-20 | 2023-06-16 | 华南师范大学 | 一种基于引导滤波的视网膜血管分割方法及装置 |
CN113762400B (zh) * | 2021-09-13 | 2023-10-31 | 南昌大学 | 一种基于朴素贝叶斯分类器的焊缝位置的自主提取方法 |
CN113989246B (zh) * | 2021-10-29 | 2023-01-24 | 南开大学 | 一种基于血液流动特性的透明型血管图像分割方法 |
CN113989170B (zh) * | 2021-10-29 | 2023-01-24 | 南开大学 | 一种基于血液流动特性的透明型血管类型识别方法 |
CN114627046B (zh) * | 2021-12-30 | 2024-07-16 | 山东爱普电气设备有限公司 | 一种基于可见光多滤波维度的电力线检测方法及*** |
CN114818839B (zh) * | 2022-07-01 | 2022-09-16 | 之江实验室 | 一种基于深度学习的光纤传感水声信号识别方法及装置 |
CN114913986B (zh) * | 2022-07-15 | 2022-10-14 | 四川大学华西医院 | 一种医疗对象聚类方法、装置、电子设备及存储介质 |
CN116681715B (zh) * | 2023-08-04 | 2023-10-10 | 杭州脉流科技有限公司 | 基于像素值变化的血管分割方法、装置、设备和存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102346851A (zh) * | 2011-11-04 | 2012-02-08 | 西安电子科技大学 | 基于njw谱聚类标记的图像分割方法 |
CN103745473A (zh) * | 2014-01-16 | 2014-04-23 | 南方医科大学 | 一种脑组织提取方法 |
CN104463215A (zh) * | 2014-12-10 | 2015-03-25 | 东北大学 | 基于视网膜图像处理的微小动脉瘤发生风险预测*** |
CN106408562A (zh) * | 2016-09-22 | 2017-02-15 | 华南理工大学 | 基于深度学习的眼底图像视网膜血管分割方法及*** |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060034536A1 (en) * | 2004-06-23 | 2006-02-16 | Ogren Wayne E | Systems and methods relating to magnitude enhancement analysis suitable for high bit level displays on low bit level systems, determining the material thickness, and 3D visualization of color space dimensions |
JP5492869B2 (ja) * | 2008-04-08 | 2014-05-14 | ナショナル ユニヴァーシティー オブ シンガポール | 網膜画像分析システム及び方法 |
-
2018
- 2018-07-06 CN CN201810733535.8A patent/CN109003279B/zh not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102346851A (zh) * | 2011-11-04 | 2012-02-08 | 西安电子科技大学 | 基于njw谱聚类标记的图像分割方法 |
CN103745473A (zh) * | 2014-01-16 | 2014-04-23 | 南方医科大学 | 一种脑组织提取方法 |
CN104463215A (zh) * | 2014-12-10 | 2015-03-25 | 东北大学 | 基于视网膜图像处理的微小动脉瘤发生风险预测*** |
CN106408562A (zh) * | 2016-09-22 | 2017-02-15 | 华南理工大学 | 基于深度学习的眼底图像视网膜血管分割方法及*** |
Non-Patent Citations (4)
Title |
---|
R GEETHARAMANI 等.Automatic segmentation of blood vessels from retinal fundus images through image processing and data mining techniques.《Sa¯dhana¯》.2015,第40卷(第6期), * |
基于 2D Gabor 小波与组合线检测算子的视网膜血管分割;吴奎 等;《科学技术与工程》;20160430;第16卷(第12期);第106页摘要、109页3.1节第1-2段 * |
基于图像识别的纸张计数***研究;蒋进;《中国优秀博硕士学位论文全文数据库(硕士) 工程科技Ⅰ辑》;20151015(第10期);第B024-127页正文第55页第2-3段、62页5.2.2节第1段 * |
基于融合相位特征的视网膜血管分割算法;李媛媛 等;《计算机应用》;20180320;第1-9页 * |
Also Published As
Publication number | Publication date |
---|---|
CN109003279A (zh) | 2018-12-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109003279B (zh) | 一种基于K-Means聚类标注和朴素贝叶斯模型的眼底视网膜血管分割方法及*** | |
US20230255478A1 (en) | Automated determination of arteriovenous ratio in images of blood vessels | |
Lupascu et al. | FABC: retinal vessel segmentation using AdaBoost | |
Yin et al. | Accurate image analysis of the retina using hessian matrix and binarisation of thresholded entropy with application of texture mapping | |
Marín et al. | A new supervised method for blood vessel segmentation in retinal images by using gray-level and moment invariants-based features | |
Zhang et al. | Robust retinal vessel segmentation via locally adaptive derivative frames in orientation scores | |
Mendonça et al. | Ph2: A public database for the analysis of dermoscopic images | |
Osareh et al. | Classification and localisation of diabetic-related eye disease | |
Staal et al. | Ridge-based vessel segmentation in color images of the retina | |
Tan et al. | Robust multi-scale superpixel classification for optic cup localization | |
Rodrigues et al. | Retinal vessel segmentation using parallel grayscale skeletonization algorithm and mathematical morphology | |
Chalakkal et al. | Improved vessel segmentation using curvelet transform and line operators | |
Jadhav et al. | Classification of diabetes retina images using blood vessel area | |
Sindhusaranya et al. | Retinal blood vessel segmentation using root Guided decision tree assisted enhanced Fuzzy C-mean clustering for disease identification | |
CN111860500B (zh) | 一种鞋印磨损区域检测与描边方法 | |
CN113658207A (zh) | 一种基于引导滤波的视网膜血管分割方法及装置 | |
Reddy et al. | Diabetic retinopathy through retinal image analysis: A review | |
Oliveira et al. | An unsupervised segmentation method for retinal vessel using combined filters | |
Zhou et al. | Automatic fovea center localization in retinal images using saliency-guided object discovery and feature extraction | |
Oliveira et al. | Retinal vessel segmentation using Average of Synthetic Exact Filters and Hessian matrix | |
CN116309633A (zh) | 一种基于核直觉模糊c均值聚类的视网膜血管分割方法 | |
Upadhyay et al. | Wavelet based fine-to-coarse retinal blood vessel extraction using U-net model | |
Huang et al. | From local to global: a graph framework for retinal artery/vein classification | |
Abdali-Mohammadi et al. | Automatic optic disc center and boundary detection in color fundus images | |
Karule et al. | Blood vessels segmentation using thresholding approach for fundus image analysis |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220513 |