CN104463215A - 基于视网膜图像处理的微小动脉瘤发生风险预测*** - Google Patents
基于视网膜图像处理的微小动脉瘤发生风险预测*** Download PDFInfo
- Publication number
- CN104463215A CN104463215A CN201410757731.0A CN201410757731A CN104463215A CN 104463215 A CN104463215 A CN 104463215A CN 201410757731 A CN201410757731 A CN 201410757731A CN 104463215 A CN104463215 A CN 104463215A
- Authority
- CN
- China
- Prior art keywords
- image
- small
- aneurysm
- candidate
- small aneurysm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
- G06F18/24155—Bayesian classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及基于视网膜图像处理的微小动脉瘤发生风险预测***,包括视网膜图像获取单元、视网膜图像预处理单元、微小动脉瘤图像粗提取单元、微小动脉瘤图像精提取单元和微小动脉瘤发生风险预测单元,通过对获取的视网膜图像进行图像增强和小波变换进行图像增强处理,对增强后的图像进行多动态模板匹配实现对微小动脉瘤图像的粗提取,并去除粗提取后图像上血管组织,提取微小动脉瘤图像的特征值,建立朴素贝叶斯分类器,实现对微小动脉瘤发生风险的预测,本发明采用加权的朴素贝叶斯分类器,提高了微小动脉瘤发生风险预测的灵敏度,降低了微小动脉瘤的误检率。
Description
技术领域
本发明属于模式识别研究领域,具体涉及基于视网膜图像处理的微小动脉瘤发生风险预测***。
背景技术
采用数字眼底图像进行视网膜微小动脉瘤的自动检测是目前模式识别的一个重要应用领域。Fleming等人使用局部标准化对比度的方法实现了数字眼底图像中微小动脉瘤的自动检测(A.D.Fleming,S.Philip,K.A.Goatman,J.A.Olson,and P.F.Sharp.Automatedmicroaneurysms detection using local contrast normalization and local vessel detection[J],IEEEtransactions on medical imaging,2006,25:1223-1232.),一定程度上剔除了不易与微小动脉瘤区分的毛细血管部分。Walter等人提出一种基于数学形态学的检测(T.Walter,P.Massin,A.Erginay,R.Ordonez,C.Jeulin,and J.-C.Klein.Automatic detection of microaneurysms in colorfundus images[J],Medical image analysis,2007,11(6):555-566.),通过图像标准化实现亮影补偿,对微小动脉瘤的检测则采用直径逼近的方法,弥补顶帽变换对弯曲血管检测的不足。Niemeijer结合监督像素分类器(Supervised Pixel Classification)方法提出了一种混合检测算法(M.Niemeijer,B.van Ginneken,J.Staal,M.S.A.Suttorp-Schulten,and M.D.Abràmoff.Automatic detection of red lesions in digital color fundus photographs[J],IEEE transactions onmedical imaging,2005,24(5):584-592.),此算法可以检测所有的视网膜血管,包括微小动脉瘤等类似的病灶信息,通过去除粘连在一起的线形结构,得到微小动脉瘤候选集合,此方法同时可以检测视网膜出血等病征信息。Bob等人则采用了一种多尺度相关系数的方法实现微小动脉瘤的自动检测,根据微小动脉瘤的形状特征进行形态匹配,其匹配程度采用相关系数衡量,再经过特征提取获取微小动脉瘤集合(Z.Bob,W.X.Qian,Y.Jane,et al.Detection ofmicroaneurysms using multi-scale correlation coefficients[J],Pattern recognition,2010,43:2237-2248.)。
除了基于数学形态学方法的微小动脉瘤自动检测,Sinthanayothin等人采用递归区域生长实现了微小动脉瘤和血管的检测,并使用人工神经网络提取血管,去除提取的血管后得到所要检测的微小动脉瘤(C.Sinthanayothin,J.F.Boyce,T.H.Williamson,H.L.Cook,E.Mensah,S.Lal,and D.Usher.Automated detection of diabetic retinopathy on digital fundus images[J],Diabetic medicine,2002,19:105-112.)。Quellec等人选用监督学习方法,经过小波变换后,对变换后小波子带进行模板匹配,对匹配结果进行阈值分割得到所需的微小动脉瘤集合(G.Quellec,M.Lamard,P.M.Josselin,G.Cazuguel,B.Cochener,and C.Roux.Optimal waveletstransform for the detection of microaneurysms in retina photographs[J],IEEE transactions onmedical imaging,2008,27(9):1230-1241.)基于模板选择方法的不同,常见的经典模板匹配算法有模板库匹配(Template Library,TL)算法和函数模板(Function Template,FT)匹配算法。
目前在微小动脉瘤的初次提取中出现的最新的匹配提取方法,其流程简单易用,但其检测结果并不理想,检测正确率偏低且误检率较高,并且对不同模式下的视网膜图像的适应性不够,甚至完全不适应某种成像模式下获得的视网膜图像。
发明内容
针对现有技术的不足,本发明提出基于视网膜图像处理的微小动脉瘤发生风险预测***。
本发明技术方案如下:
基于视网膜图像处理的微小动脉瘤发生风险预测***,包括视网膜图像获取单元、视网膜图像预处理单元、微小动脉瘤图像粗提取单元、微小动脉瘤图像精提取单元和微小动脉瘤发生风险预测单元;
所述的视网膜图像获取单元,用于获取N张已知微小动脉瘤的RGB格式视网膜的图像和N张待检测的RGB格式视网膜的图像;
所述的视网膜图像预处理单元,用于对N张已微小动脉瘤的RGB格式视网膜的图像和N张待检测的RGB格式视网膜的图像进行图像增强处理,再进行三层haar小波变换,得到增强处理后的高频图像,即2N张小波变换后的图像;
所述的微小动脉瘤图像粗提取单元,用于将小波变换后的图像中已知微小动脉瘤的视网膜图像作为训练集图像,将小波变换后的图像中待检测的视网膜图像作为测试集图像,建立k个微小动脉瘤动态多参数模板,利用k个微小动脉瘤动态多参数模板分别对训练集图像和测试集图像进行模板匹配,得到训练集模板匹配后的图像和测试集模板匹配后的图像,图像中各像素点构成微小动脉瘤候选集,分别提取训练集模板匹配后的图像中血管上的微小动脉瘤候选集中候选瘤和测试集模板匹配后的图像中血管上的微小动脉瘤候选集中候选瘤并剔除,得到训练集的剔除血管图像和测试集的剔除血管图像,在利用区域增长的方法进行还原,得到训练集区域增长后的图像和测试集区域增长后的图像;
所述的微小动脉瘤图像精提取单元,用于对训练集区域增长后的图像和测试集区域增长后的图像进行特征提取,得到训练集特征值的集合和测试集特征值的集合,并根据训练集特征值的集合建立加权的朴素贝叶斯分类器;
所述的微小动脉瘤发生风险预测单元,用于将测试集特征值的集合带入加权的朴素贝叶斯分类器,当属于微小动脉瘤的概率大于不属于微小动脉瘤的概率时,该视网膜图像存在具有微小动脉瘤的风险。
所述的视网膜图像预处理单元,包括:获取图像背景模块、阴影校正模块、顶帽变换模块、高斯滤波模块和小波变化模块;
所述的获取图像背景模块,用于将2N张RGB格式视网膜的图像在绿色通道下的图像进行取反,得到2N张底片效果的图像;
所述的阴影校正模块,用于对2N张底片效果的图像进行阴影校正,得到2N张去除阴影的图像;
所述的顶帽变换模块,用于对2N张去除阴影的图像进行顶帽变换,得到2N张顶帽变换后的图像;
所述的高斯滤波模块,用于对2N张顶帽变换后的图像进行高斯滤波,得到2N张增强处理后的图像;
所述的小波变化模块,用于对2N张增强处理后的图像进行三层haar小波变换,得到2N张增强处理后图像的高频图像,即2N张小波变换后的图像。
所述的微小动脉瘤图像粗提取单元,包括模板匹配模块、血管去除模块和区域增长模块;
所述的模板匹配模块,用于将小波变换后的图像中已知微小动脉瘤的视网膜图像作为训练集图像,将小波变换后的图像中待检测的视网膜图像作为测试集图像,建立k个微小动脉瘤动态多参数模板,利用k个微小动脉瘤动态多参数模板分别对训练集图像和测试集图像进行模板匹配,得到训练集模板匹配后的图像和测试集模板匹配后的图像;
所述的微小动脉瘤动态多参数模板的多动态参数包括:半径参数、陡峭度参数、灰度水平面参数和灰度高度参数;
所述的半径参数利用枚举法设定;
所述的陡峭度参数利用训练集图像中所有微小动脉瘤候选集中候选瘤的平均误差总和ASE进行计算;
所述的灰度水平面参数为小波变换后的图像中待匹配的微小动脉瘤候选集中候选瘤的背景强度值;
所述的灰度高度参数为小波变换后的图像中待匹配的微小动脉瘤候选集中候选瘤的中心点的相对灰度高度。
所述的训练集模板匹配的图像是阈值分割后的训练集相关系数图像和误差和图像进行逻辑与后的图像;所述的测试集模板匹配的图像是阈值分割后的测试集相关系数图像和误差和图像进行逻辑与后的图像。
所述的训练集的相关系数图像为训练集图像中与微小动脉瘤动态多参数模板中的各像素点相关系数最大的各像素点形成的图像;
所述的测试集的相关系数图像为测试集图像中与微小动脉瘤动态多参数模板中的各像素点相关系数最大的各像素点形成的图像;
所述的训练集的误差和图像为训练集图像中与微小动脉瘤动态多参数模板中的各像素点误差和最大的各像素点形成的图像;
所述的测试集的误差和图像为测试集图像中与微小动脉瘤动态多参数模板中的各像素点误差和最大的各像素点形成的图像。
所述的血管去除模块,用于对训练集图像和测试集图像采用匹配滤波器的方法,对图像中的血管进行剔除,得到训练集血管图像和测试集血管图像,利用训练集血管图像提取训练集模板匹配后的图像中血管上的微小动脉瘤候选集中候选瘤并剔除,得到训练集的剔除血管图像;利用测试集血管图像提取测试集模板匹配后的图像中血管上的微小动脉瘤候选集中候选瘤并剔除,得到测试集的剔除血管图像;
所述的区域增长模块,用于将训练集的剔除血管图像利用区域增长的方法进行还原,得到训练集区域增长后的图像;将测试集的剔除血管图像利用区域增长的方法进行还原,得到测试集区域增长后的图像。
所述的微小动脉瘤图像精提取单元,包括:特征提取模块、特征权重系数训练模块、构建分类器模块;
所述的特征提取模块,用于计算训练集区域增长后的图像中每个微小动脉瘤候选集中候选瘤的48个特征值,得到训练集特征值的集合;计算测试集区域增长后的图像中每个微小动脉瘤候选集中候选瘤的48个特征值,得到测试集特征值的集合;
所述的微小动脉瘤候选集中候选瘤的48个特征值包括微小动脉瘤的形状特征信息、微小动脉瘤的像素特征信息、微小动脉瘤的匹配特征信息、微小动脉瘤区域和其最小凸多边形中的像素比例、微小动脉瘤区域和其最小边界矩形中的像素比例。
所述的特征权重系数训练模块,用于利用遗传算法得到训练集特征值的集合的48个特征值的权重系数;
所述的构建分类器模块,用于计算训练集特征值的集合属于微小动脉瘤的微小动脉瘤候选集中候选瘤的各个属性值的均值和方差;计算训练集特征值的集合中不属于微小动脉瘤的微小动脉瘤候选集中候选瘤的各个属性值的均值和方差;根据训练集特征值的集合的48个特征值的权重系数、训练集特征值的集合中属于微小动脉瘤的微小动脉瘤候选集中候选瘤的各个属性值的均值和方差、训练集特征值的集合中不属于微小动脉瘤的微小动脉瘤候选集中候选瘤的各个属性值的均值和方差建立加权的朴素贝叶斯分类器。
本发明的有益效果:
本发明适用于视网膜图像中微小动脉瘤初步提取的模板匹配,并设计实现了动态多参数模板DMPT,该模板可以适应微小动脉瘤在灰度特性上的大多数形态变化,并且该模板的匹配是在小波域进行以突出在某一方向上的特征。另外,本发明在匹配度的设计上综合了匹配相关性与匹配误差之间的矛盾关系,使用了一种误差和SE与相关系数CC共同制约匹配度的策略。在最终的微小动脉瘤定位阶段,则采取基于数理统计学的贝叶斯分类器。
本发明采用在小波域进行的多参数动态模版,能够适应不同灰度、大小、背景、锐利度以及在图像的低频、高频等分量上表现各异的微小动脉瘤,增强了粗提取过程中的提取准确性;本发明采用加权的朴素贝叶斯分类器,提高了微小动脉瘤发生风险预测的灵敏度,降低了微小动脉瘤的误检率。
附图说明
图1为本发明具体实施方式的基于视网膜图像处理的微小动脉瘤发生风险预测***的结构框图;
图2为本发明具体实施方式的已知微小动脉瘤的RGB格式视网膜的图像;
图3为本发明具体实施方式的顶帽变换后的图像;
图4为本发明具体实施方式的增强处理后的图像;
图5为本发明具体实施方式的第一层haar小波变换后的图像;
其中,(a)为第一层haar小波变换后的低频信号图像;(b)为第一层haar小波变换后的高频信号图像;
图6为本发明具体实施方式的第二层haar小波变换后的图像;
其中,(a)为第二层haar小波变换后的低频信号图像;(b)为第二层haar小波变换后的高频信号图像;
图7为本发明具体实施方式的第三层haar小波变换后的图像;
其中,(a)为第三层haar小波变换后的低频信号图像;(b)为第三层haar小波变换后的高频信号图像(小波变换后的图像);
图8为本发明具体实施方式的模板匹配后的图像;
图9为本发明具体实施方式的血管图像;
图10为本发明具体实施方式的区域增长后的图像;
图11为本发明具体实施方式的最终提取到的微小动脉瘤图像;
图12为本发明具体实施方式的基于小波变换与贝叶斯加权分类器的微小动脉瘤检测方法与计分策略效果以及Bob等人的算法效果对比图。
具体实施方式
下面结合附图对本发明具体实施方式加以详细的说明。
基于视网膜图像处理的微小动脉瘤发生风险预测***,如图1所示,包括视网膜图像获取单元、视网膜图像预处理单元、微小动脉瘤图像粗提取单元、微小动脉瘤图像精提取单元和微小动脉瘤发生风险预测单元。
视网膜图像获取单元,用于获取50张已知微小动脉瘤的RGB格式视网膜的图像I1…I50和50张待检测的RGB格式视网膜的图像I51…I100。
已知微小动脉瘤的RGB格式视网膜的图像如图2所示。
视网膜图像预处理单元,用于对50张已知微小动脉瘤的RGB格式视网膜的图像I1…I50和50张待检测的RGB格式视网膜的图像I51…I100进行图像增强处理,再进行三层haar小波变换,得到增强处理后的高频图像,即2N张小波变换后的图像Ihr1…Ihr100。
视网膜图像预处理单元,包括:获取图像背景模块、阴影校正模块、顶帽变换模块、高斯滤波模块和小波变化模块。
获取图像背景模块,用于将100张RGB格式视网膜的图像在绿色通道下的图像IG1…IG100进行取反,得到100张底片效果的图像Ibg1…Ibg100。
阴影校正模块,用于对100张底片效果的图像Ibg1…Ibg100进行阴影校正,修正由于不均匀光照产生的图像阴影,得到100张去除阴影的图像Isc1…Isc10。
顶帽变换模块,用于对100张去除阴影的图像Isc1…Isc100进行顶帽变换,去除图像中明显存在的线性结构,如视网膜中的大血管,得到100张顶帽变换后的图像Ith1…Ith100。
本实施方式中,选取旋转角度为β的线型结构元素对去除阴影的图像Isc1…Isc100进行顶帽变换,结构元素旋转时,每次旋转的角度设置为15°,即选取的角度方向β取值如公式(1)所示:
{0°,15°,30°,45°,60°,75°,90°,105°,120°,135°,150°,165°} (1)
使用上述不同旋转角度的结构元素去除阴影的图像Isc1…Iscc100进行形态学开运算,设经过开运算后的每个图像分别有12个。选择每个像素点在12个图像中对应点的最大值为开运算图像中的像素点,得到开运算图像,去除阴影的图像Isc1…Iscc100减去其对应的开运算图像,即得到顶帽变换后的图像Ith1…Ith100。
本发明具体实施方式的顶帽变换后的图像如图3所示。
高斯滤波模块,用于对100张顶帽变换后的图像Ith1…Ith100进行高斯滤波,增强微小动脉瘤候选集中候选瘤目标区域的对比度,得到100张增强处理后的图像Igt1…Igt100。
对顶帽变换后的图像Ith1…Ith100进行高斯滤波用来增强微小动脉瘤候选集中候选瘤目标区域的对比度。
本实施方式中,选用大小为11×11,强度参数σ=1的二维高斯滤波器对顶帽变换后的图像Ith1…Ith100进行增强滤波,得到增强处理后的图像Igt1…Igt100。
本发明具体实施方式的增强处理后的图像如图4所示。
小波变化模块,用于对100张增强处理后的图像Igt1…Igt100进行三层haar小波变换,得到100张增强处理后的图像Igt1…Igt100的高频图像,即100张小波变换后的图像Ihr1…Ihr100。
本发明具体实施方式的第一层haar小波变换后的图像如图5所示,其中,(a)为第一层haar小波变换后的低频信号图像;(b)为第一层haar小波变换后的高频信号图像。
本发明具体实施方式的第二层haar小波变换后的图像如图6所示,其中,(a)为第二层haar小波变换后的低频信号图像;(b)为第二层haar小波变换后的高频信号图像。
本发明具体实施方式的第三层haar小波变换后的图像如图7所示,其中,其中,(a)为第三层haar小波变换后的低频信号图像;(b)为第三层haar小波变换后的高频信号图像(小波变换后的图像)。
微小动脉瘤图像粗提取单元,用于将小波变换后的图像Ihr1…Ihr100中已知微小动脉瘤的视网膜图像作为训练集图像Ihr1…Ihr50,将小波变换后的图像Ihr1…Ihr100中待检测的视网膜图像作为测试集图像Ihr51…Ihr100,建立k个微小动脉瘤动态多参数模板,利用k个微小动脉瘤动态多参数模板分别对训练集图像Ihr1…Ihr50和测试集图像Ihr51…Ihr100进行模板匹配,得到训练集模板匹配后的图像Ibv1…Ibv50和测试集模板匹配后的图像Ibv51…Ibv100;图像中各像素点构成微小动脉瘤候选集,分别提取训练集模板匹配后的图像Ibv1…Ibv50中血管上的微小动脉瘤候选集中候选瘤和测试集模板匹配后的图像Ibv51…Ibv100中血管上的微小动脉瘤候选集中候选瘤并剔除,得到训练集的剔除血管图像Itb1…Itb50和测试集的剔除血管图像Itb51…Itb100,在利用区域增长的方法进行还原,得到训练集区域增长后的图像Ire1…Ire50和测试集区域增长后的图像Ire51…Ire100。
微小动脉瘤图像粗提取单元,包括模板匹配模块、血管去除模块和区域增长模块。
模板匹配模块,用于将小波变换后的图像Ihr1…Ihr100中已知微小动脉瘤的视网膜图像作为训练集图像Ihr1…Ihr50,将小波变换后的图像Ihr1…Ihr100中待检测的视网膜图像作为测试集图像Ihr51…Ihr100,建立k个微小动脉瘤动态多参数模板,利用k个微小动脉瘤动态多参数模板分别对训练集图像和测试集图像进行模板匹配,得到训练集模板匹配后的图像Ibv1…Ibv50和测试集模板匹配后的图像Ibv51…Ibv100。
将小波变换后的图像Ihr1…Ihr100中已知微小动脉瘤的视网膜图像作为训练集图像Ihr1…Ihr50,将小波变换后的图像Ihr1…Ihr100中待检测的视网膜图像作为测试集图像Ihr51…Ihr100。
建立k=4个微小动脉瘤动态多参数模板。
半径参数利用枚举法设定,半径参数取值集合Rv{r1…r4},半径参数r1…r4∈[3,10]v∈(1…4),本实施方式中,利用枚举法设定的半径参数的取值集合为Rv={3,5,7,10}。
陡峭度参数利用训练集图像中所有微小动脉瘤候选集中候选瘤的平均误差总和ASE进行计算:设定陡峭度参数的初始值s0和递增步长sp,利用训练集图像Ihr1…Ihr50中所有微小动脉瘤候选集中候选瘤的平均误差总和ASE作为折中函数,将使该平均误差总和ASE减小的比例小于设定的比例参数q%作为评判条件,计算出陡峭度参数s。
本实施方式中,设定的陡峭度参数的初始值s0为0.5,步长参数为sp=0.5,设定的比例参数为20%,计算出的陡峭度参数s为3。
灰度水平面参数l为小波变换后的图像Ihr1…Ihr100中待匹配的微小动脉瘤候选集中候选瘤的背景强度值b。
灰度水平面参数l如公式(2)所示:
其中,b的值表示为包围小波变换后的图像Ihr1…Ihr1000中待匹配的微小动脉瘤候选集中候选瘤IhrM(x,y,rv)的宽度为w的环形区域内像素点的平均灰度值。
灰度高度参数h为小波变换后的图像Ihr1…Ihr100中待匹配的微小动脉瘤候选集中候选瘤的中心点的相对灰度高度。
灰度高度参数h如公式(3)所示:
根据半径参数rv、陡峭度参数s、灰度水平面参数l和灰度高度参数h,建立的k个微小动脉瘤动态多参数模板为其中,e为自然对数的底数,d为动态多参数模板中像素点(x′,y′)与动态多参数模板中心点(x′0,y′0)之间的距离。
得到4个微小动脉瘤动态多参数模板中的像素点与训练集图像Ihr1…Ihr50中的微小动脉瘤候选集中候选瘤的像素点的相关系数和误差和,得到4个微小动脉瘤动态多参数模板中的像素点与测试集图像Ihr51…Ihr100中的微小动脉瘤候选集中候选瘤的像素点的相关系数和误差和。
微小动脉瘤动态多参数模板中每个像素点的4个相关系数中最大的相关系数作为该像素点的匹配度,将该像素点的匹配度作为像素点,得到训练集的相关系数图像Icc1…Icc50和测试集的相关系数图像Icc51…Icc100;
微小动脉瘤动态多参数模板中每个像素点的4个误差和中最小的误差和作为该像素点的匹配度,将该像素点的匹配度作为像素点,得到训练集的误差和图像Ise1…Ise50和测试集的误差和图像Ise51…Ise100;
将训练集的相关系数图像Icc1…Icc50中相关系数最小值作为相关系数阈值,对训练集的相关系数图像Icc1…Icc50和测试集的相关系数图像Icc51…Icc100进行相关系数阈值分割,得到分割后的训练集相关系数图像Iccd1…Iccd50和分割后的测试集相关系数图像Iccd51…Iccd100
训练集的误差和匹配度图像Ise1…Ise50中误差和最大值作为误差和阈值,对训练集的误差和图像Ise1…Ise50和测试集的误差和图像Ise51…Ise100进行误差和阈值分割,得到分割后的训练集误差和图像Ised1…Ised50和分割后的测试集误差和图像Ised51…Ised100
将分割后的训练集相关系数图像Iccd1…Iccd50和分割后的训练集误差和图像Ised1…Ised50进行逻辑与计算,得到训练集模板匹配后的图像Itm1…Itm50,将分割后的测试集相关系数图像Iccd51…Iccd100和分割后的测试集误差和图像Ised51…Ised100进行逻辑与计算,得到测试集模板匹配后的图像Itm51…Itm100。
本发明具体实施方式的模板匹配后的图像如图8所示。
血管去除模块,用于对训练集图像Ihr1…Ihr50和测试集图像Ihr51…Ihr100采用匹配滤波器的方法,对图像中的血管进行剔除,得到训练集血管图像Ibv1…Ibv50和测试集血管图像Ibv51…Ibv100,利用训练集血管图像Ibv1…Ibv50提取训练集模板匹配后的图像Itm1…Itm50中血管上的微小动脉瘤候选集中候选瘤并剔除,得到训练集的剔除血管图像Itb1…Itb50;利用测试集血管图像Ibv51…Ibv100提取测试集模板匹配后的图像Itm51…Itm100中血管上的微小动脉瘤候选集中候选瘤并剔除,得到测试集的剔除血管图像Itb51…Itb100。
本实施方式中,采用匹配滤波器的方法对图像中的血管进行剔除,首先计算训练集图像Ihr1…Ihr50和测试集图像Ihr51…Ihr100的高斯匹配滤波响应和高斯匹配滤波器一阶导数的响应,根据图像对高斯匹配滤波器一阶导数的响应自动调节血管分割阈值,再使用该自适应阈值实现高斯匹配滤波响应图像的分割,从而将视网膜的血管结构与阶级边界区分开来。
本发明具体实施方式的血管图像如图9所示。
区域增长模块,用于将训练集的剔除血管图像Itb1…Itb50利用区域增长的方法进行还原,得到训练集区域增长后的图像Ire1…Ire50;将测试集的剔除血管图像Itb51…Itb100利用区域增长的方法进行还原,得到测试集区域增长后的图像Ire51…Ire100。
本发明具体实施方式的区域增长后的图像如图10所示。
微小动脉瘤图像精提取单元,用于对训练集区域增长后的图像Ire1…Ire50和测试集区域增长后的图像Ire51…Ire100进行特征提取,得到训练集特征值的集合Azcm(Azc1,Azc2…Azc48)和测试集特征值的集合ayhn(ayh1,ayh2…ayh48),并根据训练集特征值的集合Azcm(Azc1,Azc2…Azc48)建立加权的朴素贝叶斯分类器,其中z∈1…50,c∈1…Ez,m∈1…48,Ez为训练集区域增长后的图像Irez中微小动脉瘤候选集中候选瘤的个数,y∈51…100,h∈1…Hy,n∈1…48,Hy为测试集区域增长后的图像Irey中微小动脉瘤候选集中候选瘤的个数。
本实施方式中,Ez为24189,Hy为23704。
微小动脉瘤图像精提取单元,包括:特征提取模块、特征权重系数训练模块、构建分类器模块;
特征提取模块,用于计算训练集区域增长后的图像Ire1…Ire50中每个微小动脉瘤候选集中候选瘤的48个特征值,得到训练集特征值的集合Azcm(Azc1,Azc2…Azc48);计算测试集区域增长后的图像Ire51…Ire100中每个微小动脉瘤候选集中候选瘤的48个特征值,得到测试集特征值的集合ayhn(ayh1,ayh2…ayh48)。
每个微小动脉瘤候选集中候选瘤的48个特征值包括微小动脉瘤的形状特征信息(如表1所示)、微小动脉瘤的像素特征信息(如表2所示)、微小动脉瘤的匹配特征信息(如表3所示)、微小动脉瘤区域和其最小凸多边形中的像素比例及微小动脉瘤区域和其最小边界矩形中的像素比例
包括微小动脉瘤候选集中候选瘤的形状特征信息(如表1所示)、微小动脉瘤候选集中候选瘤的像素特征信息(如表2所示)、微小动脉瘤候选集中候选瘤的匹配特征信息(如表3所示)、微小动脉瘤区域和其最小凸多边形中的像素比例、微小动脉瘤区域和其最小边界矩形中的像素比例(如表4所示):
表1微小动脉瘤的形状特征信息
表2微小动脉瘤的像素特征信息
表3微小动脉瘤候选集中候选瘤的匹配特征信息
表4微小动脉瘤候选集中候选瘤的其它特征信息
特征权重系数训练模块,用于利用遗传算法得到训练集特征值的集合Azcm(Azc1,Azc2…Azc48)中微小动脉瘤候选集中候选瘤的48个特征值的权重系数ωm。
本实施方式中,得到训练集特征值的集合Azcm(Azc1,Azc2…Azc48)中微小动脉瘤候选集中候选瘤的48个特征值的权重系数ωm如表5所示:
表5训练集特征值的集合的48个特征值的权重系数ωm
构建分类器模块,用于计算训练集特征值的集合Azcm(Azc1,Azc2…Azc48)中属于微小动脉瘤的微小动脉瘤候选集中候选瘤的各个属性值的均值μ1和方差计算训练集特征值的集合Azcm(Azc1,Azc2…Azc48)中不属于微小动脉瘤的微小动脉瘤候选集中候选瘤的各个属性值的均值μ2和方差其中,C1表示微小动脉瘤候选集中候选瘤是微小动脉瘤,C2表示该微小动脉瘤候选集中候选瘤不是微小动脉瘤。
根据训练集特征值的集合Azcm(Azc1,Azc2…Azc48)中微小动脉瘤候选集中候选瘤的48个特征值的权重系数ωm、计算训练集特征值的集合Azcm(Azc1,Azc2…Azc48)中属于微小动脉瘤的微小动脉瘤候选集中候选瘤的各个属性值的均值μ1和方差训练集特征值的集合Azcm(Szc1,Azc2…Azc48)中不属于微小动脉瘤的微小动脉瘤候选集中候选瘤的各个属性值的均值μ2和方差建立加权的朴素贝叶斯分类器。
本实施方式中,加权的朴素贝叶斯分类器如公式(4)所示:
其中,Ci∈(C1,C2);
P(Ci)=E/EZ;
E为为训练集区域增长后的图像中微小动脉瘤候的个数;
Ez为训练集区域增长后的图像中微小动脉瘤候选集中候选瘤的个数;
i=1,2。
微小动脉瘤发生风险预测单元,用于将测试集特征值的集合ayhn(ayh1,ayh2…ayh48)输入加权的朴素贝叶斯分类器中,当测试集区域增长后的图像Ire51…Ire100中某一微小动脉瘤候选集中候选瘤在加权的朴素贝叶斯分类器中属于微小动脉瘤的概率大于不属于微小动脉瘤的概率时,该视网膜图像存在具有微小动脉瘤的风险。
本实施方式中,将测试集特征值的集合ayhn(ayh1,ayh2…ayh48)输入加权的朴素贝叶斯分类器如公式(5)所示:
测试集区域增长后的图像Ire51…Ire100中某一微小动脉瘤候选集中候选瘤的加权的朴素贝叶斯分类概率则该视网膜图像存在具有微小动脉瘤的风险。
本发明具体实施方式的最终提取到的微小动脉瘤图像如图11所示。
本发明具体实施方式的基于视网膜图像处理的微小动脉瘤发生风险预测***与计分策略效果以及Bob等人的算法效果对比图如图12所示,由此可看出该发明的对于微小动脉瘤的发生风险预测是十分有效的。
Claims (8)
1.基于视网膜图像处理的微小动脉瘤发生风险预测***,其特征在于,包括视网膜图像获取单元、视网膜图像预处理单元、微小动脉瘤图像粗提取单元、微小动脉瘤图像精提取单元和微小动脉瘤发生风险预测单元;
所述的视网膜图像获取单元,用于获取N张已知微小动脉瘤的RGB格式视网膜的图像和N张待检测的RGB格式视网膜的图像;
所述的视网膜图像预处理单元,用于对N张已知微小动脉瘤的RGB格式视网膜的图像和N张待检测的RGB格式视网膜的图像进行图像增强处理,再进行三层haar小波变换,得到增强处理后的高频图像,即2N张小波变换后的图像;
所述的微小动脉瘤图像粗提取单元,用于将小波变换后的图像中已知微小动脉瘤的视网膜图像作为训练集图像,将小波变换后的图像中待检测的视网膜图像作为测试集图像,建立k个微小动脉瘤动态多参数模板,利用k个微小动脉瘤动态多参数模板分别对训练集图像和测试集图像进行模板匹配,得到训练集模板匹配后的图像和测试集模板匹配后的图像,图像中各像素点构成微小动脉瘤候选集,分别提取训练集模板匹配后的图像中血管上的微小动脉瘤候选集中候选瘤和测试集模板匹配后的图像中血管上的微小动脉瘤候选集中候选瘤并剔除,得到训练集的剔除血管图像和测试集的剔除血管图像,在利用区域增长的方法进行还原,得到训练集区域增长后的图像和测试集区域增长后的图像;
所述的微小动脉瘤图像精提取单元,用于对训练集区域增长后的图像和测试集区域增长后的图像进行特征提取,得到训练集特征值的集合和测试集特征值的集合,并根据训练集特征值的集合建立加权的朴素贝叶斯分类器;
所述的微小动脉瘤发生风险预测单元,用于将测试集特征值的集合带入加权的朴素贝叶斯分类器,当属于微小动脉瘤的概率大于不属于微小动脉瘤的概率时,该视网膜图像存在具有微小动脉瘤的风险。
2.根据权利要求1所述的基于视网膜图像处理的微小动脉瘤发生风险预测***,其特征在于,所述的视网膜图像预处理单元,包括:获取图像背景模块、阴影校正模块、顶帽变换模块、高斯滤波模块和小波变化模块;
所述的获取图像背景模块,用于将2N张RGB格式视网膜的图像在绿色通道下的图像进行取反,得到2N张底片效果的图像;
所述的阴影校正模块,用于对2N张底片效果的图像进行阴影校正,得到2N张去除阴影的图像;
所述的顶帽变换模块,用于对2N张去除阴影的图像进行顶帽变换,得到2N张顶帽变换后的图像;
所述的高斯滤波模块,用于对2N张顶帽变换后的图像进行高斯滤波,得到2N张增强处理后的图像;
所述的小波变化模块,用于对2N张增强处理后的图像进行三层haar小波变换,得到2N张增强处理后图像的高频图像,即2N张小波变换后的图像。
3.根据权利要求1所述的基于视网膜图像处理的微小动脉瘤发生风险预测***,其特征在于,所述的微小动脉瘤图像粗提取单元,包括模板匹配模块、血管去除模块和区域增长模块;
所述的模板匹配模块,用于将小波变换后的图像中已知微小动脉瘤的视网膜图像作为训练集图像,将小波变换后的图像中待检测的视网膜图像作为测试集图像,建立k个微小动脉瘤动态多参数模板,利用k个微小动脉瘤动态多参数模板分别对训练集图像和测试集图像进行模板匹配,得到训练集模板匹配后的图像和测试集模板匹配后的图像;
所述的血管去除模块,用于对训练集图像和测试集图像采用匹配滤波器的方法,对图像中的血管进行剔除,得到训练集血管图像和测试集血管图像,利用训练集血管图像提取训练集模板匹配后的图像中血管上的微小动脉瘤候选集中候选瘤并剔除,得到训练集的剔除血管图像;利用测试集血管图像提取测试集模板匹配后的图像中血管上的微小动脉瘤候选集中候选瘤并剔除,得到测试集的剔除血管图像;
所述的区域增长模块,用于将训练集的剔除血管图像利用区域增长的方法进行还原,得到训练集区域增长后的图像;将测试集的剔除血管图像利用区域增长的方法进行还原,得到测试集区域增长后的图像。
4.根据权利要求1所述的基于视网膜图像处理的微小动脉瘤发生风险预测***,其特征在于,所述的微小动脉瘤图像精提取单元,包括:特征提取模块、特征权重系数训练模块、构建分类器模块;
所述的微小动脉瘤候选集中候选瘤的48个特征值包括微小动脉瘤的形状特征信息、微小动脉瘤的像素特征信息、微小动脉瘤的匹配特征信息、微小动脉瘤区域和其最小凸多边形中的像素比例、微小动脉瘤区域和其最小边界矩形中的像素比例;
所述的特征权重系数训练模块,用于利用遗传算法得到训练集特征值的集合的48个特征值的权重系数;
所述的构建分类器模块,用于计算训练集特征值的集合属于微小动脉瘤的微小动脉瘤候选点的各个属性值的均值和方差;计算训练集特征值的集合中不属于微小动脉瘤的微小动脉瘤候选集中候选瘤的各个属性值的均值和方差;根据训练集特征值的集合的48个特征值的权重系数、训练集特征值的集合中属于微小动脉瘤的微小动脉瘤候选集中候选瘤的各个属性值的均值和方差、训练集特征值的集合中不属于微小动脉瘤的微小动脉瘤候选集中候选瘤的各个属性值的均值和方差建立加权的朴素贝叶斯分类器。
5.根据权利要求3所述的基于视网膜图像处理的微小动脉瘤发生风险预测***,其特征在于,所述的微小动脉瘤动态多参数模板的多动态参数包括:半径参数、陡峭度参数、灰度水平面参数和灰度高度参数;
所述的半径参数利用枚举法设定;
所述的陡峭度参数利用训练集图像中所有微小动脉瘤候选集中候选瘤的平均误差总和ASE进行计算;
所述的灰度水平面参数为小波变换后的图像中待匹配的微小动脉瘤候选集中候选瘤的背景强度值;
所述的灰度高度参数为小波变换后的图像中待匹配的微小动脉瘤候选集中候选瘤的中心点的相对灰度高度。
6.根据权利要求3所述的基于视网膜图像处理的微小动脉瘤发生风险预测***,其特征在于,所述的训练集模板匹配的图像是阈值分割后的训练集相关系数图像和误差和图像进行逻辑与后的图像;所述的测试集模板匹配的图像是阈值分割后的测试集相关系数图像和误差和图像进行逻辑与后的图像。
7.根据权利要求4所述的基于视网膜图像处理的微小动脉瘤发生风险预测***,其特征在于,所述的微小动脉瘤候选集中候选瘤的48个特征值包括微小动脉瘤的形状特征信息、微小动脉瘤的像素特征信息、微小动脉瘤的匹配特征信息和微小动脉瘤区域和其最小凸多边形中的像素比例及微小动脉瘤区域和其最小边界矩形中的像素比例。
8.根据权利要求7所述的基于视网膜图像处理的微小动脉瘤发生风险预测***,其特征在于,所述的训练集的相关系数图像为训练集图像中与微小动脉瘤动态多参数模板中的各像素点相关系数最大的各像素点形成的图像;
所述的测试集的相关系数图像为测试集图像中与微小动脉瘤动态多参数模板中的各像素点相关系数最大的各像素点形成的图像;
所述的训练集的误差和图像为训练集图像中与微小动脉瘤动态多参数模板中的各像素点误差和最大的各像素点形成的图像;
所述的测试集的误差和图像为测试集图像中与微小动脉瘤动态多参数模板中的各像素点误差和最大的各像素点形成的图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410757731.0A CN104463215A (zh) | 2014-12-10 | 2014-12-10 | 基于视网膜图像处理的微小动脉瘤发生风险预测*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410757731.0A CN104463215A (zh) | 2014-12-10 | 2014-12-10 | 基于视网膜图像处理的微小动脉瘤发生风险预测*** |
Publications (1)
Publication Number | Publication Date |
---|---|
CN104463215A true CN104463215A (zh) | 2015-03-25 |
Family
ID=52909229
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410757731.0A Pending CN104463215A (zh) | 2014-12-10 | 2014-12-10 | 基于视网膜图像处理的微小动脉瘤发生风险预测*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104463215A (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105844379A (zh) * | 2015-12-09 | 2016-08-10 | 东软集团股份有限公司 | 基于主成分分析的车辆风险评估方法和装置 |
CN108230322A (zh) * | 2018-01-28 | 2018-06-29 | 浙江大学 | 一种基于弱样本标记的眼底特征检测装置 |
CN109003279A (zh) * | 2018-07-06 | 2018-12-14 | 东北大学 | 一种基于K-Means聚类标注和朴素贝叶斯模型的眼底视网膜血管分割方法及*** |
CN109523153A (zh) * | 2018-11-12 | 2019-03-26 | 平安科技(深圳)有限公司 | 非法集资企业的获取方法、装置、计算机设备和存储介质 |
CN110120027A (zh) * | 2019-04-16 | 2019-08-13 | 华南理工大学 | 面向机器学习***数据的ct切片图像增强方法和装置 |
CN111415321A (zh) * | 2018-12-19 | 2020-07-14 | 上海联影医疗科技有限公司 | 动脉瘤破裂风险检测装置及设备 |
WO2021224726A1 (en) * | 2020-05-05 | 2021-11-11 | International Business Machines Corporation | Real-time detection and correction of shadowing in hyperspectral retinal images |
CN114494196A (zh) * | 2022-01-26 | 2022-05-13 | 南通大学 | 基于遗传模糊树的视网膜糖尿病变深度网络检测方法 |
CN116823833A (zh) * | 2023-08-30 | 2023-09-29 | 山东科技大学 | 全方位mip图像颅内动脉瘤检测方法、***及设备 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103458772A (zh) * | 2011-04-07 | 2013-12-18 | 香港中文大学 | 视网膜图像分析方法和装置 |
WO2014186838A1 (en) * | 2013-05-19 | 2014-11-27 | Commonwealth Scientific And Industrial Research Organisation | A system and method for remote medical diagnosis |
-
2014
- 2014-12-10 CN CN201410757731.0A patent/CN104463215A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103458772A (zh) * | 2011-04-07 | 2013-12-18 | 香港中文大学 | 视网膜图像分析方法和装置 |
WO2014186838A1 (en) * | 2013-05-19 | 2014-11-27 | Commonwealth Scientific And Industrial Research Organisation | A system and method for remote medical diagnosis |
Non-Patent Citations (1)
Title |
---|
SHAN DING等: "An Accurate Approach for Microaneurysm Detection in Digital Fundus Images", 《PATTERN RECOGNITION(ICPR),2014 22ND INTERNATIONAL CONFERENCE ON. IEEE》 * |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105844379A (zh) * | 2015-12-09 | 2016-08-10 | 东软集团股份有限公司 | 基于主成分分析的车辆风险评估方法和装置 |
CN108230322A (zh) * | 2018-01-28 | 2018-06-29 | 浙江大学 | 一种基于弱样本标记的眼底特征检测装置 |
CN108230322B (zh) * | 2018-01-28 | 2021-11-09 | 浙江大学 | 一种基于弱样本标记的眼底特征检测装置 |
CN109003279B (zh) * | 2018-07-06 | 2022-05-13 | 东北大学 | 一种基于K-Means聚类标注和朴素贝叶斯模型的眼底视网膜血管分割方法及*** |
CN109003279A (zh) * | 2018-07-06 | 2018-12-14 | 东北大学 | 一种基于K-Means聚类标注和朴素贝叶斯模型的眼底视网膜血管分割方法及*** |
CN109523153A (zh) * | 2018-11-12 | 2019-03-26 | 平安科技(深圳)有限公司 | 非法集资企业的获取方法、装置、计算机设备和存储介质 |
CN111415321A (zh) * | 2018-12-19 | 2020-07-14 | 上海联影医疗科技有限公司 | 动脉瘤破裂风险检测装置及设备 |
CN111415321B (zh) * | 2018-12-19 | 2024-02-27 | 上海联影医疗科技股份有限公司 | 动脉瘤破裂风险检测装置及设备 |
CN110120027A (zh) * | 2019-04-16 | 2019-08-13 | 华南理工大学 | 面向机器学习***数据的ct切片图像增强方法和装置 |
US11200670B2 (en) | 2020-05-05 | 2021-12-14 | International Business Machines Corporation | Real-time detection and correction of shadowing in hyperspectral retinal images |
GB2610743A (en) * | 2020-05-05 | 2023-03-15 | Ibm | Real-time detection and correction of shadowing in hyperspectral retinal images |
WO2021224726A1 (en) * | 2020-05-05 | 2021-11-11 | International Business Machines Corporation | Real-time detection and correction of shadowing in hyperspectral retinal images |
CN114494196A (zh) * | 2022-01-26 | 2022-05-13 | 南通大学 | 基于遗传模糊树的视网膜糖尿病变深度网络检测方法 |
CN114494196B (zh) * | 2022-01-26 | 2023-11-17 | 南通大学 | 基于遗传模糊树的视网膜糖尿病变深度网络检测方法 |
CN116823833A (zh) * | 2023-08-30 | 2023-09-29 | 山东科技大学 | 全方位mip图像颅内动脉瘤检测方法、***及设备 |
CN116823833B (zh) * | 2023-08-30 | 2023-11-10 | 山东科技大学 | 全方位mip图像颅内动脉瘤检测方法、***及设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104463215A (zh) | 基于视网膜图像处理的微小动脉瘤发生风险预测*** | |
CN109472781B (zh) | 一种基于串行结构分割的糖尿病视网膜病变检测*** | |
Xia et al. | Automatic identification and counting of small size pests in greenhouse conditions with low computational cost | |
Ren | ANN vs. SVM: Which one performs better in classification of MCCs in mammogram imaging | |
Priya et al. | SVM and neural network based diagnosis of diabetic retinopathy | |
CN108986106A (zh) | 面向青光眼临床诊断的视网膜血管自动分割方法 | |
CN106295588A (zh) | 一种白带显微图像中白细胞的自动识别方法 | |
CN111815562B (zh) | 一种U-Net与自适应PCNN相结合的视网膜血管分割方法 | |
CN109636824A (zh) | 一种基于图像识别技术的多目标计数方法 | |
CN109977955A (zh) | 一种基于深度学习的***前病变识别的方法 | |
Palanivel et al. | Retinal vessel segmentation using multifractal characterization | |
Aravind et al. | Automatic detection of microaneurysms and classification of diabetic retinopathy images using SVM technique | |
CN104881631B (zh) | 多特征整合的宫颈细胞图像特征提取与识别方法及其装置 | |
CN109087296A (zh) | 一种提取ct图像中人体区域的方法 | |
Salem et al. | Segmentation of retinal blood vessels based on analysis of the hessian matrix and clustering algorithm | |
Kaur et al. | Neural network technique for diabetic retinopathy detection | |
Zhang et al. | Microaneurysm (MA) detection via sparse representation classifier with MA and Non-MA dictionary learning | |
CN108109159A (zh) | 一种基于hessian矩阵和区域增长相结合的视网膜血管分割*** | |
CN106780439A (zh) | 一种筛选眼底图像的方法 | |
Argade et al. | Automatic detection of diabetic retinopathy using image processing and data mining techniques | |
Ponni Bala et al. | Early detection and classification of microaneurysms in retinal fundus images using sequential learning methods | |
Zhao et al. | Convolutional neural networks for branch retinal vein occlusion recognition? | |
Van Der Sommen et al. | Computer-aided detection of early cancer in the esophagus using HD endoscopy images | |
Shojaeipour et al. | Using image processing methods for diagnosis diabetic retinopathy | |
CN108230341A (zh) | 一种基于分层抠图算法的眼底图像血管分割方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20150325 |
|
WD01 | Invention patent application deemed withdrawn after publication |