CN106940889B - 基于像素邻域特征聚类的***he染色病理图像分割方法 - Google Patents
基于像素邻域特征聚类的***he染色病理图像分割方法 Download PDFInfo
- Publication number
- CN106940889B CN106940889B CN201710200127.1A CN201710200127A CN106940889B CN 106940889 B CN106940889 B CN 106940889B CN 201710200127 A CN201710200127 A CN 201710200127A CN 106940889 B CN106940889 B CN 106940889B
- Authority
- CN
- China
- Prior art keywords
- image
- pixel
- pixels
- lymph node
- initial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/231—Hierarchical techniques, i.e. dividing or merging pattern sets so as to obtain a dendrogram
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20152—Watershed segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于像素邻域特征聚类的***HE染色病理图像分割方法,运用了基于像素邻域特征聚类的图像分割算法,使得实现对于***HE染色病理图像中不同类型组织包括细胞核、细胞质与胞外间质之间的快速精确边缘检测,并且由于运用了基于层次聚类产生形状标记的分水岭算法,显著提高了***HE染色病理图像中各细胞核独立边界的检测精度,进而提高了组织切片中细胞核与细胞质计量的准确性,能够实现***组织图像形态特征的自动化检测。
Description
技术领域
本发明涉及一种基于像素邻域特征聚类的***HE染色病理图像分割方法。
背景技术
HE染色是将组织病理切片通过苏木精-伊红溶液将特定组织染上特定颜色的过程。其中苏木精(Hematoxylin,H)呈碱性,能够将细胞核染成紫色;伊红(Eosin,E)呈酸性,能够将细胞质染成红色;其它组织由于没有与特定染料相结合而不被染色,通常呈浅粉白色。利用光学显微镜对HE染色的病理切片进行观察并采集图像,分析细胞中各类组织的分布与变化,为细胞病理学研究提供了一种可靠的检测工具。
在组织病理学研究中,HE染色技术被广泛应用于组织切片病理形态的观察与分析中。在此类生物医学应用中,由于HE染色图像中包含的细胞数量巨大,且由于色素着色过程中极易出现相互融合与附着不匀的情况,使得细胞各类组织之间染色不均、界限不清,因此对于HE染色图像中细胞核、细胞质及胞外间质的边缘检测和分割的处理精度和速度提出了很高的要求。
对于***病理组织切片HE染色显微图像处理与分析应用而言,人工识别方式只能选取图像中局部区域对细胞核密度、细胞核质比、细胞包浆比、细胞核形状、不同类别细胞核比例等重要病理指标进行定性的估计,已经难以满足病理分析对于精度和速度的要求,而传统的HE染色图像处理分析方法也存在着严重影响分析结果的的缺点:细胞核、细胞质及胞外间质之间界限不够明显且形态各异,难以采用传统基于形态模型的方法对各类组织进行分割;细胞核、细胞质及胞外间质的分布不均匀,难以采用传统纹理特征对图像进行概括分析,且局部纹理特征计算量大,效率不高。以上缺点造成细胞核、细胞质与胞外间质之间边界划分不准确,使得病理图像中不同类型组织的统计分析发生错误,严重影响了病理分析的判别精度和处理速度。
发明内容
有鉴于此,本发明的目的在于提供一种基于像素邻域特征聚类的***HE染色病理图像分割方法,对经过分解的图像进行并行处理与分析,从而检测图像中细胞核、细胞质与胞外间质三类组织的分布与边界。
为实现上述目的,本发明采用如下技术方案:一种基于像素邻域特征聚类的***HE染色病理图像分割方法,其特征在于,包括以下步骤:
步骤S1:对***HE染色病理显微原始图像进行预处理,包括图像去噪与图像增强;
步骤S2:将经过预处理后的***HE染色病理显微图像分解为红色、绿色与蓝色三种单色图像,并分别将所述三种单色图像转化形成对应的三种HE灰度图像;
步骤S3:对所述三种HE灰度图像分别进行对应位置像素的邻域特征提取,从而形成原始图像中每个像素所对应的15维特征集;
步骤S4:对每个像素在15维特征空间中进行首次Kmeans聚类计算,使得像素聚集并粗分为三类,包括初始细胞核、初始细胞质与初始胞外间质;
步骤S5:对已聚类为初始细胞质与初始胞外间质的像素样本合并为其它组织,并对其进行二次Kmeans聚类计算,使得合并后的像素集合聚集并细分为两类,包括新分离出的细胞核外延以及其它像素,其中细胞核外延部分与上一步中初始细胞核合并为最终细胞核区域,其它像素与上一步中初始细胞质位置相对应的像素划分为最终细胞质,其它像素与上一步中初始胞外间质位置相对应的像素划分为最终胞外间质;
步骤S6:对所述初始细胞核与细胞核外延合并为合成区域,以所述初始细胞核为初始形状因子进行基于分水岭算法的粘连细胞核分割,得到独立细胞核之间的边界;
步骤S7:对所述最终分割的细胞核、最终细胞质与最终胞外间质进行数量和形状特征统计,得到***组织的图像形态特征计量。
进一步的,所述步骤S1中预处理的具体方法如下:
步骤S11:对***HE染色病理显微原始图像进行去噪预处理,利用5×5像素大小的搜索窗口遍历每个像素,采用中值滤波计算出窗口内所有像素RGB各类颜色信号中值,将该像素的RGB值分别用窗口内信号中值所代替,让周围的像素值接近的真实值,从而消除孤立的噪声点,在对整幅图像搜索完成后得到去噪的RGB图像;
步骤S12:将去噪后的RGB图像进行增强预处理,利用5×5像素大小的搜索窗口遍历每个像素,采用高斯滤波计算出窗口内所有像素RGB各类颜色信号加权平均灰度值,将该像素的RGB值分别用窗口内所有像素的加权平均灰度值所代替,从而增强图像内各类组织的RGB信号,在对整幅图像搜索完成后得到增强的图像,作为图像分解与像素聚类的依据。
进一步的,所述步骤S2的具体方法如下:
步骤S21:以三维矩阵形式读取预处理后的RGB图像,其中3个维度分别表示红色分量R、绿色分量G和蓝色分量B;
步骤S22:以二维矩阵形式分别存储RGB三维矩阵中的红色分量、绿色分量和蓝色分量,根据各信号通道中的强度分布分别生成仅包含R、G和B信号的灰度图像。
进一步的,所述步骤S3中邻域特征提取的具体方法如下:
步骤S31:对L与b信号灰度图像进行遍历,分别将每个像素的红色、绿色和蓝色信号强度值IR、IG和IB分别作为15维特征集中的第1至第3维特征;
步骤S32:利用3×3像素大小的搜索窗口对R、G和B信号灰度图像进行遍历,分别将每个像素3×3像素邻域中的所有像素的R、G和B信号中值μR、μG和μB及方差σR、σG和σB分别作为15维特征集中的第4至第9维特征;计算公式如下:
其中,xi是3×3像素大小的搜索窗口中依次9个像素相应的信号强度值,μ表示对应信号的中值,σ表示对应信号的方差;
步骤S33:利用3×3像素大小的搜索窗口对R、G和B信号灰度图像进行遍历,分别将每个像素3×3像素邻域中的所有像素的R、G和B信号偏度βR、βG和βB及峰度βKR、βKG和βKB作为15维特征集中的第10至第15维特征,作为基于Kmeans像素聚类的计算依据;计算公式如下:
其中,xi是3×3像素大小的搜索窗口中依次9个像素相应的信号强度值,β表示对应信号的偏度,βk表示对应信号的峰度;
步骤S34:在生成像素15维特征集的同时,记录像素在原图中的位置包括x、y坐标。
进一步的,所述步骤S4中首次Kmeans聚类计算的具体方法如下:
步骤S41:对每个像素视为一个独立的样本,将所有样本投影到15维向量空间中,其中每一维度都对应于样本的相应的一个特征向量;
步骤S42:在15维极坐标空间中初始随机给定3个簇中心,按照最邻近距离原则把待分类样本点分到各个簇,然后按平均法重新计算各个簇的质心,从而确定新的簇心,一直迭代,直到簇心的移动距离小于某个给定的值,最终将数据分组成为3个类别,在同一个类内对象之间具有较高的相似度,不同类之间的对象差别较大;极坐标中样本点x与簇中心c之间距离的计算公式如下列所示:
其中,dcosine为样本点x与簇中心c之间的距离在极坐标中的表示,xc'为样本点x矢量与簇中心c的转置c'矢量的乘积,xx'为样本点x矢量与其转置x'矢量的乘积,cc'为样本点c矢量与其转置c'矢量的乘积;
步骤S43:根据3类像素在原图上的位置分布,将其分别划分为初始细胞核、初始细胞质和初始胞外间质三类组织,完成图像的首次Kmeans聚类分割。
进一步的,所述步骤S5中二次Kmeans聚类计算的具体方法如下:
步骤S51:将已聚类为初始细胞质与初始胞外间质的像素样本合并为其它组织类别,形成新的一个待分类像素样本集合;
步骤S52:对新的待分类像素样本集合进行二次Kmeans聚类计算,使得该集合中的像素聚集并细分为两类,其中数量较少的部分为细胞核外延;
步骤S53:对聚集后数量较多的集合中的像素,根据每个像素在原图上的位置分布以及步骤S4中所对应位置像素划分的类别,在步骤S4中所对应位置像素划分为初始细胞质,则该像素划分为最终细胞质,如在步骤S4中所对应位置像素划分为初始胞外间质,则该像素划分为最终胞外间质;
步骤S54:将划分为细胞核外延的像素与步骤S4中划分为初始细胞核所对应的区域合并,形成最终细胞核区域。
进一步的,所述步骤S6中粘连细胞核分割的具体方法如下:
步骤S61:将所述步骤S2中经过预处理后的***HE染色病理显微图像转换为灰度图像,计算其灰度梯度图;
步骤S62:将步骤S4中划分为初始细胞核的区域作为基于分水岭图像分割算法中的形状标记;
步骤S63:采用基于分水岭图像分割算法中的形状标记,从每个独立的形状标记出发,基于灰度梯度图进行扩张,从而检测相互粘连的细胞核之间的分界线,将最终细胞核区域分割为边界明确的相互独立的细胞核。
进一步的,所述步骤S7中***组织形态特征统计量的具体计算方法如下:
步骤S71:对检测到的最终细胞质与最终胞外间质的面积、分布指标进行统计,作为***组织形态统计的依据;
步骤S72:对检测到的独立的细胞核的数量、面积、形状、分布指标进行统计,作为***组织形态统计的依据;
步骤S73:以细胞核数量作为病理图像中的细胞数量,计算所述的细胞核、细胞质与胞外间质的平均分布,作为***组织形态统计的依据。
本发明与现有技术相比具有以下有益效果:
1、本发明采用基于像素聚类的图像分割算法,将图像分割问题转换为机器学习的分类问题,实现对于***HE染色病理显微图像中不同类型组织的快速精确边缘检测,极大的缩短了HE图像处理的运行时间,提高了图像处理效率;
2、本发明通过层次聚类的方式确定细胞核中分水岭计算的形状因子,能准确的识别细胞核边界,从而实现精确的细胞形态特征识别;
3、使用本发明的方法对***活体组织切片进行检测,速度快、效率高,而且能够保证细胞形态特征识别的精确度。
4、使用本发明的方法还可以应用于科学与临床研究中,能够实现在线实时***图像中细胞形态特征的检测。
附图说明
图1是本发明的步骤示意图。
图2a至图2b是本发明的原始***病理切片HE染色显微图像预处理示意图。
图3a至图3d是本发明的原始***病理切片HE染色RGB图像预分解与灰度化示意图。
图4a至图4d是本发明的基于像素层次聚类的病理图像分割示意图
图5a至图5d是本发明的基于分水岭算法的粘连细胞核分割示意图。
图6a至图6f是本发明在不同显微镜放大倍数下进行像素聚类图像分割示意图。
图7a至图7f是本发明在不同类型***病理切片HE染色显微图像下进行像素聚类图像分割结果示意图。
图8是本发明在不同类型***病理切片HE染色显微图像下进行像素聚类图像分割后对细胞核、细胞质、及细胞核质比统计结果柱状图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
本发明涉及一种基于像素邻域特征层次聚类的***HE染色病理显微图像分割方法,利用基于像素聚类方法,能够对***HE染色病理切片中不同类型组织的快速精确边缘检测,并利用并且由于运用了基于相关性的RGB色彩空间中像素局部邻域特征表示方法和基于分水岭算法的粘连细胞核分割方法,对***HE染色病理显微图像中细胞核边界检测,从而对细胞核、细胞质以及细胞核质比等重要病理指标进行标记与计量。本发明的核心思想是将图像中的每个像素以基于相关性的RGB色彩空间像素局部邻域特征表示,通过Kmeans聚类算法将所有像素样本聚集为三类,包括图像上的细胞核、细胞质与胞外间质,并对已聚类的细胞核区域进行粘连细胞核分割,根据检测到的独立细胞核数量及分布结果进行病理特征计量,为***HE染色病理切片中不同类型组织含量与分布的计量提供可靠依据。首先,对***HE染色病理显微图像进行预处理,包括图像去噪与增强。然后将经过预处理去噪与增强后的***HE染色显微图像分解为颜色R、G和B三种信号通道并根据各自信号强度分布分别转为灰度图像。再对病理图像各分解图像中的各个像素进行局部特征提取,形成每个像素对应的15维特征集。进而在15维空间中对每个像素进行聚类计算,使得像素聚集为三类,包括细胞核、细胞质与胞外间质。最后对经过两次层次聚类后得到的最终细胞核区域进行基于分水岭算法的粘连细胞核分割,形成对所有单个细胞核边界的准确标记,并根据细胞核、细胞质与胞外间质的面积与分布计算***组织切片的病理指标。***HE染色病理显微图像处理中的细胞核、细胞质与胞外间质之间的分割是技术中的难点,该方法显著提高了三种不同类型组织之间分割的速度与精度,能够应用于病理图像中细胞核、细胞质与胞外间质检测,为***科学与临床研究提供了有效可靠的分析工具,具有广阔的明显的经济和社会效益。
本发明解决其技术问题所采用的技术方案主要包含下列步骤:
1、对来源于***组织病理切片的HE染色显微图像进行预处理,包含包括图像去噪与增强等步骤,得到获得像素信号增强、各类组织界限更加清晰的彩色RGB图像;
2、对经过预处理去噪与增强后的彩色RGB图像中像素进行特征提取与聚类分析,将图像分割为细胞核、细胞质和胞外间质,并对反映***组织病理特征的各类组织形状和分布进行检测,进而对***病理指标进行综合分析,具体实现过程分6步如下:
2.1、将经过预处理去噪与增强后的肝脏病理切片HE染色显微图像分解为颜色R、B和G三种信号通道并根据各自信号强度分布分别转为灰度图像;
2.2、对病理图像各分解图像中的各个像素进行局部特征提取,形成每个像素对应的15维特征集;
2.3、在15维空间中对每个像素进行首次聚类计算,使得像素聚集为三类,包括初始细胞核、初始细胞质与初始胞外间质;
2.4、对已聚类为初始细胞质与初始胞外间质的像素样本合并为其它组织,并对其进行二次Kmeans聚类计算,使得合并后的像素集合聚集并细分为两类,包括新分离出的细胞核外延以及其它像素,其中细胞核外延部分与上一步中初始细胞核合并为最终细胞核区域,划分为其它像素中,与上一步中初始细胞质位置相对应的划分为最终细胞质,与上一步中初始胞外间质位置相对应的划分为最终胞外间质;
2.5、将初始细胞核与细胞核外延合并为合成区域,以所述初始细胞核为初始形状因子进行基于分水岭算法的粘连细胞核分割,得到独立细胞核之间的边界;
2.6、对最终分割的细胞核、细胞质与胞外间质进行数量和形状特征统计,得到***图像中细胞形态特征计量。
优选的,请参照图1,具体包括以下步骤:
步骤S1:对***HE染色病理显微原始图像进行预处理,包括图像去噪与图像增强,获得各类组织更加清晰的彩色RGB图像;图像去噪和图像增强的具体方法如下:
步骤S11:对***HE染色病理显微原始图像进行去噪预处理,利用5×5像素大小的搜索窗口遍历每个像素,采用中值滤波计算出窗口内所有像素RGB各类颜色信号中值,将该像素的RGB值分别用窗口内信号中值所代替,让周围的像素值接近的真实值,从而消除孤立的噪声点,在对整幅图像搜索完成后得到去噪的RGB图像;
步骤S12:将去噪后的RGB图像进行增强预处理,利用5×5像素大小的搜索窗口遍历每个像素,采用高斯滤波计算出窗口内所有像素RGB各类颜色信号加权平均灰度值,将该像素的RGB值分别用窗口内所有像素的加权平均灰度值所代替,从而增强图像内各类组织的RGB信号,在对整幅图像搜索完成后得到增强的图像,作为图像分解与像素聚类的依据。
步骤S2:将步骤S1经过预处理后的***HE染色病理显微图像分解为红色R、绿色G与蓝色B三种单色图像,并分别将所述三种单色图像转化形成对应的三种HE灰度图像;具体方法如下:
步骤S21:以三维矩阵形式读取预处理后的RGB图像,其中3个维度分别表示红色分量R、绿色分量G和蓝色分量B各颜色分量;
步骤S22:以二维矩阵形式分别存储RGB三维矩阵中的红色分量、绿色分量和蓝色分量,根据各信号通道中的强度分布分别生成仅包含R、G和B信号的灰度图像。
步骤S3:对步骤S2得到的所述三种HE灰度图像分别进行对应位置像素的邻域特征提取,从而形成原始图像中每个像素所对应的15维特征集;邻域特征提取的具体方法如下:
步骤S31:对L与b信号灰度图像进行遍历,分别将每个像素的红色、绿色和蓝色信号强度值IR、IG和IB分别作为15维特征集中的第1至第3维特征;
步骤S32:利用3×3像素大小的搜索窗口对R、G和B信号灰度图像进行遍历,分别将每个像素3×3像素邻域中的所有像素的R、G和B信号中值μR、μG和μB及方差σR、σG和σB分别作为15维特征集中的第4至第9维特征;计算公式如下:
其中,xi是3×3像素大小的搜索窗口中依次9个像素相应的信号强度值,μ表示对应信号的中值,σ表示对应信号的方差;
步骤S33:利用3×3像素大小的搜索窗口对R、G和B信号灰度图像进行遍历,分别将每个像素3×3像素邻域中的所有像素的R、G和B信号偏度βR、βG和βB及峰度βKR、βKG和βKB作为15维特征集中的第10至第15维特征,作为基于Kmeans像素聚类的计算依据;计算公式如下:
其中,xi是3×3像素大小的搜索窗口中依次9个像素相应的信号强度值,β表示对应信号的偏度,βk表示对应信号的峰度;
步骤S34:在生成像素15维特征集的同时,记录像素在原图中的位置包括x、y坐标。
步骤S4:对步骤S3中每个像素在15维特征空间中进行首次Kmeans聚类计算,使得像素聚集并粗分为三类,包括初始细胞核、初始细胞质与初始胞外间质;首次Kmeans聚类计算的具体方法如下:
步骤S41:对每个像素视为一个独立的样本,将所有样本投影到15维向量空间中,其中每一维度都对应于样本的相应的一个特征向量;
步骤S42:在15维极坐标空间中初始随机给定3个簇中心,按照最邻近距离原则把待分类样本点分到各个簇,然后按平均法重新计算各个簇的质心,从而确定新的簇心,一直迭代,直到簇心的移动距离小于某个给定的值,最终将数据分组成为3个类别,在同一个类内对象之间具有较高的相似度,不同类之间的对象差别较大;极坐标中样本点x与簇中心c之间距离的计算公式如下列所示:
其中,dcosine为样本点x与簇中心c之间的距离在极坐标中的表示,xc'为样本点x矢量与簇中心c的转置c'矢量的乘积,xx'为样本点x矢量与其转置x'矢量的乘积,cc'为样本点c矢量与其转置c'矢量的乘积;
步骤S43:根据3类像素在原图上的位置分布,将其分别划分为初始细胞核、初始细胞质和初始胞外间质三类组织,完成图像的首次Kmeans聚类分割。
步骤S5:对步骤S4得到的已聚类为初始细胞质与初始胞外间质的像素样本合并为其它组织,并对其进行二次Kmeans聚类计算,使得合并后的像素集合聚集并细分为两类,包括新分离出的细胞核外延以及其它像素,其中细胞核外延部分与上一步中初始细胞核合并为最终细胞核区域,其它像素与上一步中初始细胞质位置相对应的像素划分为最终细胞质,其它像素与上一步中初始胞外间质位置相对应的像素划分为最终胞外间质;二次Kmeans聚类计算的具体方法如下:
步骤S51:将已聚类为初始细胞质与初始胞外间质的像素样本合并为其它组织类别,形成新的一个待分类像素样本集合;
步骤S52:对新的待分类像素样本集合进行二次Kmeans聚类计算,使得该集合中的像素聚集并细分为两类,其中数量较少的部分为细胞核外延;
步骤S53:对聚集后数量较多的集合中的像素,根据每个像素在原图上的位置分布以及步骤S4中所对应位置像素划分的类别,在步骤S4中所对应位置像素划分为初始细胞质,则该像素划分为最终细胞质,如在步骤S4中所对应位置像素划分为初始胞外间质,则该像素划分为最终胞外间质;
步骤S54:将划分为细胞核外延的像素与步骤S4中划分为初始细胞核所对应的区域合并,形成最终细胞核区域。
步骤S6:对步骤S5所述初始细胞核与细胞核外延合并为合成区域,以所述初始细胞核为初始形状因子进行基于分水岭算法的粘连细胞核分割,得到独立细胞核之间的边界;粘连细胞核分割的具体方法如下:
步骤S61:将所述步骤S2中经过预处理后的***HE染色病理显微图像转换为灰度图像,计算其灰度梯度图;
步骤S62:将步骤S4中划分为初始细胞核的区域作为基于分水岭图像分割算法中的形状标记;
步骤S63:采用基于分水岭图像分割算法中的形状标记,从每个独立的形状标记出发,基于灰度梯度图进行扩张,从而检测相互粘连的细胞核之间的分界线,将最终细胞核区域分割为边界明确的相互独立的细胞核;具体为:利用步骤S54所产生的最终细胞核区域作为细胞核分割的基础区域,所有最终细胞边界都在该区域内,利用步骤S43所产生的初始细胞核作为出发点形状标记,沿最终细胞核区域的灰度梯度图进行扩张,对每个像素的灰度级进行从低到高排序,然后在从低到高实现淹没过程中,对每一个局部极小值在灰阶高度的影响域采用先进先出(FIFO)结构进行判断和标注,从而在两个相邻细胞核的梯度汇合处形成分水岭,进而检测到相互粘连的细胞核之间的分界线,作为细胞核的准确边界检测的依据。
步骤S7:对步骤S6所述最终分割的细胞核、最终细胞质与最终胞外间质进行数量和形状特征统计,得到病理组织的病理特征计量;***组织图像形态特征统计量的具体计算方法如下:
步骤S71:对检测到的最终细胞质与最终胞外间质的面积、分布指标进行统计,作为***组织图像形态特征统计的依据;
步骤S72:对检测到的独立的细胞核的数量、面积、形状、分布指标进行统计,作为***组织图像形态特征指标统计的依据;
步骤S73:以细胞核数量作为病理图像中的细胞数量,计算所述的细胞核、细胞质与胞外间质的平均分布,作为***组织图像形态特征指标统计的依据。
以下结合一具体实施例进行详细介绍:
1、对来源于***组织切片的HE染色病理图像进行预处理,包含图像去噪和增强等步骤,得到整幅图像去除噪声点和各类细胞组织增强的图像,具体实现过程分二步如下,参见附图2,图2a为原始***HE染色病理显微图像,图2b为图2a中原始图像经过去噪与增强步骤后得到的图像;
1.1对原始HE染色病理图像如图2a所示,进行去噪预处理,利用5×5像素大小的搜索窗口遍历每个像素,采用中值滤波计算出窗口内所有像素RGB各类颜色信号中值,将该像素的RGB值分别用窗口内信号中值所代替,让周围的像素值接近的真实值,从而消除孤立的噪声点,在对整幅图像搜索完成后得到去噪的RGB图像;
1.2将去噪后的RGB图像进行增强预处理,利用5×5像素大小的搜索窗口遍历每个像素,采用高斯滤波计算出窗口内所有像素RGB各类颜色信号加权平均灰度值,将该像素的RGB值分别用窗口内所有像素的加权平均灰度值所代替,从而增强图像内各类组织的RGB信号,在对整幅图像搜索完成后得到增强的图像,由图2b所示。
2、对来源于***组织切片的HE染色病理图像进行分解处理,包含图像分解和灰度化等步骤,得到分别仅包含R、G和B三种颜色信号的灰度图像,具体实现过程如下,参见附图3,其中图中颜色条为各颜色信号强度值,范围从0至255。
2.1以三维矩阵形式读取去噪与增强后的RGB图像,如图3a所示,其中3个维度分别表示红色R、绿色G和蓝色B各颜色分量;
2.2以二维矩阵形式分别存储RGB三维矩阵中的R、G和B分量,根据各信号通道中的强度分布分别生成仅包含R、G和B信号的灰度图像,R信号分量图像由图3b所示,G信号分量图像由图3c所示,B信号分量图像由图3d所示。
3、对预处理后的病理HE染色图像中的各个像素进行局部特征提取,形成每个像素对应的15维特征集,并采用基于层次Kmeans聚类的图像像素分割方法,具体实现过程分三步如下:图4a为预处理后的病理HE染色图像,图4b为像素首次Kmeans聚类后像素在RGB三维特征空间中的分布示意图,其中三维坐标系中X、Y、Z轴分别代表像素的R、G、B三种特征信号强度值,图4c为像素首次Kmeans聚类后得到的初始各类组织区域,图4d为像素二次Kmeans聚类后得到的最终各类组织区域。
3.1对预处理后的病理HE染色图像(参加附图4a)各分解图像中的各个像素进行局部特征提取,形成每个像素对应的15维特征集,其在3维RGB坐标下的分布显示由图4b所示,其中黑色部分代表聚类为初始细胞核的像素分布,深灰色部分代表聚类为初始胞外间质的像素分布,浅灰色部分代表聚类为初始细胞质的像素分布;
3.2对每个像素对应的15维特征集进行Kmeans聚类计算,将特征向量距离较近的像素聚集为同一类,使得像素聚集为三类,包括初始细胞核、初始细胞质与初始胞外间质,其分割结果由图4c所示,其中黑色部分表示初始细胞核,浅灰色部分表示初始细胞质,深灰色部分表示初始胞外间质;
3.3对首次聚类后的初始细胞核、初始细胞质和初始胞外间质所分别包含的像素,像素样本集合进行二次Kmeans聚类计算,形成最终细胞核区域,其分割结果由图4d所示,其中黑色部分表示最终细胞核区域,浅灰色部分表示最终细胞质区域,深灰色部分表示最终胞外间质区域。
4、对初始细胞核与细胞核外延合并成合成区域,以首次聚类分割得到的初始细胞核区域(由图5a所示)为初始形状因子,以二次聚类分割得到的最终细胞核区域(由图5b所示)为外延,进行基于分水岭算法的粘连细胞核分割,得到独立细胞核之间的边界(由细胞边缘的浅灰色线条所示),具体实现过程分三步如下,
4.1将去噪与增强后的RGB图像转换为灰度图像,计算其灰度梯度图;
4.2将划分为初始细胞核的区域作为基于分水岭图像分割算法中的形状标记,与灰度梯度图相融合,其去掉初始细胞核区域后的细胞核灰度梯度图由图5c所示;
4.3采用基于分水岭图像分割算法中的形状标记,从每个独立的形状标记出发,基于灰度梯度图进行扩张,从而检测相互粘连的细胞核之间的分界线,将最终细胞核区域分割为边界明确的相互独立的细胞核,其分割界限由图5d中细胞边缘的浅灰色线条所示。
补充结果1:由图6a至6f所示,本实施例中在不同显微镜放大倍数下进行像素聚类图像分割结果,图6a为放大倍数40倍下原始淋巴癌HE染色病理显微图像,图6b为图6a经过Kmeans聚类分割后的像素聚类区域示意图,其中黑色部分表示细胞核,浅灰色部分表示细胞质,深灰色部分表示胞外间质,图6c为放大倍数200倍下原始淋巴癌HE染色病理显微图像,图6d为图6c经过Kmeans聚类分割后的像素聚类区域示意图,其中黑色部分表示细胞核,浅灰色部分表示细胞质,深灰色部分表示胞外间质,图6e为放大倍数400倍下原始淋巴癌HE染色病理显微图像,图6f为图6e经过Kmeans聚类分割后的像素聚类区域示意图,其中黑色部分表示细胞核,浅灰色部分表示细胞质,深灰色部分表示胞外间质。
补充结果2:由图7a至图7f所示,本实施例中在不同类型***病理切片HE染色显微图像下进行像素聚类图像分割结果示意图,图7a为正常***原始HE染色病理显微图像,图7b为图7a经过Kmeans聚类分割后的像素聚类区域示意图,其中黑色部分表示细胞核,浅灰色部分表示细胞质,深灰色部分表示胞外间质,图7c为非霍奇金淋巴癌原始HE染色病理显微图像,图7d为图7c经过Kmeans聚类分割后的像素聚类区域示意图,其中黑色部分表示细胞核,浅灰色部分表示细胞质,深灰色部分表示胞外间质,图7e为霍奇金淋巴癌原始HE染色病理显微图像,图7f为图7e经过Kmeans聚类分割后的像素聚类区域示意图,其中黑色部分表示细胞核,浅灰色部分表示细胞质,深灰色部分表示胞外间质。
补充结果3:由图8所示,本实施例中在不同类型***病理切片HE染色显微图像下进行像素聚类图像分割后对细胞核、细胞质及细胞核质比统计结果柱状图,其中LN为正常***,NHL为非霍奇金淋巴癌,HD为霍奇金淋巴癌病理组织切片,第一组柱状图表示三类不同淋巴组织图像分割后细胞核占整个组织切片的面积比,第二组柱状图表示三类不同淋巴组织图像分割后细胞质占整个组织切片的面积比,第三组柱状图表示三类不同淋巴组织图像分割后细胞核与细胞质之间的面积比。
以上所述仅为本发明的较佳实施例,凡依本发明申请专利范围所做的均等变化与修饰,皆应属本发明的涵盖范围。
Claims (8)
1.一种基于像素邻域特征聚类的***HE染色病理图像分割方法,其特征在于,包括以下步骤:
步骤S1:对***HE染色病理显微原始图像进行预处理,包括图像去噪与图像增强;
步骤S2:将经过预处理后的***HE染色病理显微图像分解为红色、绿色与蓝色三种单色图像,并分别将所述三种单色图像转化形成对应的三种HE灰度图像;
步骤S3:对所述三种HE灰度图像分别进行对应位置像素的邻域特征提取,从而形成原始图像中每个像素所对应的15维特征集;
步骤S4:对每个像素在15维特征空间中进行首次Kmeans聚类计算,使得像素聚集并粗分为三类,包括初始细胞核、初始细胞质与初始胞外间质;
步骤S5:对已聚类为初始细胞质与初始胞外间质的像素样本合并为其它组织,并对其进行二次Kmeans聚类计算,使得合并后的像素集合聚集并细分为两类,包括新分离出的细胞核外延以及其它像素,其中细胞核外延部分与上一步中初始细胞核合并为最终细胞核区域,其它像素与上一步中初始细胞质位置相对应的像素划分为最终细胞质,其它像素与上一步中初始胞外间质位置相对应的像素划分为最终胞外间质;
步骤S6:对所述初始细胞核与细胞核外延合并为合成区域,以所述初始细胞核为初始形状因子进行基于分水岭算法的粘连细胞核分割,得到独立细胞核之间的边界;
步骤S7:对所述最终分割的细胞核、最终细胞质与最终胞外间质进行数量和形态特征统计,得到***组织的图像形态特征计量。
2.根据权利要求1所述的基于像素邻域特征聚类的***HE染色病理图像分割方法,其特征在于:所述步骤S1中预处理的具体方法如下:
步骤S11:对***HE染色病理显微原始图像进行去噪预处理,利用5×5像素大小的搜索窗口遍历每个像素,采用中值滤波计算出窗口内所有像素RGB各类颜色信号中值,将该像素的RGB值分别用窗口内信号中值所代替,让周围的像素值接近真实值,从而消除孤立的噪声点,在对整幅图像搜索完成后得到去噪的RGB图像;
步骤S12:将去噪后的RGB图像进行增强预处理,利用5×5像素大小的搜索窗口遍历每个像素,采用高斯滤波计算出窗口内所有像素RGB各类颜色信号加权平均灰度值,将该像素的RGB值分别用窗口内所有像素的加权平均灰度值所代替,从而增强图像内各类组织的RGB信号,在对整幅图像搜索完成后得到增强的图像,作为图像分解与像素聚类的依据。
3.根据权利要求2所述的基于像素邻域特征聚类的***HE染色病理图像分割方法,其特征在于:所述步骤S2的具体方法如下:
步骤S21:以三维矩阵形式读取预处理后的RGB图像,其中3个维度分别表示红色分量R、绿色分量G和蓝色分量B;
步骤S22:以二维矩阵形式分别存储RGB三维矩阵中的红色分量、绿色分量和蓝色分量,根据各信号通道中的强度分布分别生成仅包含R、G和B信号的灰度图像。
4.根据权利要求1所述的基于像素邻域特征聚类的***HE染色病理图像分割方法,其特征在于:所述步骤S3中邻域特征提取的具体方法如下:
步骤S31:对L与b信号灰度图像进行遍历,分别将每个像素的红色、绿色和蓝色信号强度值IR、IG和IB分别作为15维特征集中的第1至第3维特征;
步骤S32:利用3×3像素大小的搜索窗口对R、G和B信号灰度图像进行遍历,分别将每个像素3×3像素邻域中的所有像素的R、G和B信号中值μR、μG和μB及方差σR、σG和σB分别作为15维特征集中的第4至第9维特征;计算公式如下:
其中,xi是3×3像素大小的搜索窗口中依次9个像素相应的信号强度值,μ表示对应信号的中值,σ表示对应信号的方差;
步骤S33:利用3×3像素大小的搜索窗口对R、G和B信号灰度图像进行遍历,分别将每个像素3×3像素邻域中的所有像素的R、G和B信号偏度βR、βG和βB及峰度βKR、βKG和βKB作为15维特征集中的第10至第15维特征,作为基于Kmeans像素聚类的计算依据;计算公式如下:
其中,xi是3×3像素大小的搜索窗口中依次9个像素相应的信号强度值,β表示对应信号的偏度,βk表示对应信号的峰度;
步骤S34:在生成像素15维特征集的同时,记录像素在原图中的位置包括x、y坐标。
5.根据权利要求1所述的基于像素邻域特征聚类的***HE染色病理图像分割方法,其特征在于:所述步骤S4中首次Kmeans聚类计算的具体方法如下:
步骤S41:对每个像素视为一个独立的样本,将所有样本投影到15维向量空间中,其中每一维度都对应于样本的相应的一个特征向量;
步骤S42:在15维极坐标空间中初始随机给定3个簇中心,按照最邻近距离原则把待分类样本点分到各个簇,然后按平均法重新计算各个簇的质心,从而确定新的簇心,一直迭代,直到簇心的移动距离小于某个给定的值,最终将数据分组成为3个类别,在同一个类内对象之间具有较高的相似度,不同类之间的对象差别较大;极坐标中样本点x与簇中心c之间距离的计算公式如下列所示:
其中,dcosine为样本点x与簇中心c之间的距离在极坐标中的表示,xc'为样本点x矢量与簇中心c的转置c'矢量的乘积,xx'为样本点x矢量与其转置x'矢量的乘积,cc'为样本点c矢量与其转置c'矢量的乘积;
步骤S43:根据3类像素在原图上的位置分布,将其分别划分为初始细胞核、初始细胞质和初始胞外间质三类组织,完成图像的首次Kmeans聚类分割。
6.根据权利要求1所述的基于像素邻域特征聚类的***HE染色病理图像分割方法,其特征在于:所述步骤S5中二次Kmeans聚类计算的具体方法如下:
步骤S51:将已聚类为初始细胞质与初始胞外间质的像素样本合并为其它组织类别,形成新的一个待分类像素样本集合;
步骤S52:对新的待分类像素样本集合进行二次Kmeans聚类计算,使得该集合中的像素聚集并细分为两类,其中数量较少的部分为细胞核外延;
步骤S53:对聚集后数量较多的集合中的像素,根据每个像素在原图上的位置分布以及步骤S4中所对应位置像素划分的类别,在步骤S4中所对应位置像素划分为初始细胞质,则该像素划分为最终细胞质,如在步骤S4中所对应位置像素划分为初始胞外间质,则该像素划分为最终胞外间质;
步骤S54:将划分为细胞核外延的像素与步骤S4中划分为初始细胞核所对应的区域合并,形成最终细胞核区域。
7.根据权利要求1所述的基于像素邻域特征聚类的***HE染色病理图像分割方法,其特征在于:所述步骤S6中粘连细胞核分割的具体方法如下:
步骤S61:将所述步骤S2中经过预处理后的***HE染色病理显微图像转换为灰度图像,计算其灰度梯度图;
步骤S62:将步骤S4中划分为初始细胞核的区域作为基于分水岭图像分割算法中的形状标记;
步骤S63:采用基于分水岭图像分割算法中的形状标记,从每个独立的形状标记出发,基于灰度梯度图进行扩张,从而检测相互粘连的细胞核之间的分界线,将最终细胞核区域分割为边界明确的相互独立的细胞核。
8.根据权利要求1所述的基于像素邻域特征聚类的***HE染色病理图像分割方法,其特征在于:所述步骤S7中***组织图像形态特征统计量的具体计算方法如下:
步骤S71:对检测到的最终细胞质与最终胞外间质的面积、分布指标进行统计,作为***组织图像形态特征统计的依据;
步骤S72:对检测到的独立的细胞核的数量、面积、形状、分布指标进行统计,作为***组织图像形态特征统计的依据;
步骤S73:以细胞核数量作为病理图像中的细胞数量,计算所述的细胞核、细胞质与胞外间质的平均分布,作为***组织图像形态特征统计的依据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710200127.1A CN106940889B (zh) | 2017-03-30 | 2017-03-30 | 基于像素邻域特征聚类的***he染色病理图像分割方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710200127.1A CN106940889B (zh) | 2017-03-30 | 2017-03-30 | 基于像素邻域特征聚类的***he染色病理图像分割方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106940889A CN106940889A (zh) | 2017-07-11 |
CN106940889B true CN106940889B (zh) | 2020-09-04 |
Family
ID=59463020
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710200127.1A Active CN106940889B (zh) | 2017-03-30 | 2017-03-30 | 基于像素邻域特征聚类的***he染色病理图像分割方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106940889B (zh) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108021903B (zh) * | 2017-12-19 | 2021-11-16 | 南京大学 | 基于神经网络的人工标注白细胞的误差校准方法及装置 |
CN107977682B (zh) * | 2017-12-19 | 2021-09-28 | 南京大学 | 基于极坐标变换数据增强的淋巴类细胞分类方法及其装置 |
CN108537233A (zh) * | 2018-03-15 | 2018-09-14 | 南京师范大学 | 一种基于深度堆叠式稀疏自编码器的病理脑图像分类方法 |
CN109657573A (zh) * | 2018-12-04 | 2019-04-19 | 联想(北京)有限公司 | 图像识别方法及装置,以及电子设备 |
CN110853022B (zh) * | 2019-11-14 | 2020-11-06 | 腾讯科技(深圳)有限公司 | 病理切片图像的处理方法、装置、***及存储介质 |
CN111127434B (zh) * | 2019-12-25 | 2024-03-08 | 志诺维思(北京)基因科技有限公司 | 染色分离方法及装置 |
CN111210447B (zh) * | 2020-01-10 | 2023-05-05 | 福建师范大学 | 一种苏木精-伊红染色病理图像层次分割的方法及终端 |
CN111260677B (zh) * | 2020-02-20 | 2023-03-03 | 腾讯医疗健康(深圳)有限公司 | 基于显微图像的细胞分析方法、装置、设备及存储介质 |
CN111598849B (zh) * | 2020-04-29 | 2023-11-28 | 北京小白世纪网络科技有限公司 | 一种基于目标检测的病理图像细胞计数方法、设备及介质 |
CN112288704B (zh) * | 2020-10-26 | 2021-09-28 | 中国人民解放军陆军军医大学第一附属医院 | 一种基于核密度函数的量化胶质瘤侵袭性的可视化方法 |
CN115526844B (zh) * | 2022-09-16 | 2023-06-27 | 杭州瑞普基因科技有限公司 | 一种基于显微镜图像的胰岛细胞统计计算方法 |
CN115760858B (zh) * | 2023-01-10 | 2023-05-02 | 东南大学附属中大医院 | 基于深度学习的肾脏病理切片细胞识别方法及*** |
CN116403211B (zh) * | 2023-03-24 | 2024-04-26 | 无锡市第二人民医院 | 一种基于单细胞病理图像细胞核的分割和聚类方法及*** |
CN116520915B (zh) * | 2023-06-28 | 2023-09-05 | 泰山学院 | 基于热红外图像的网络中心机房温度预警控制*** |
CN116934742B (zh) * | 2023-09-13 | 2024-02-27 | 中山大学肿瘤防治中心(中山大学附属肿瘤医院、中山大学肿瘤研究所) | 一种***构图像识别方法及*** |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9607202B2 (en) * | 2009-12-17 | 2017-03-28 | University of Pittsburgh—of the Commonwealth System of Higher Education | Methods of generating trophectoderm and neurectoderm from human embryonic stem cells |
CN103473739B (zh) * | 2013-08-15 | 2016-06-22 | 华中科技大学 | 一种基于支持向量机的白细胞图像精确分割方法与*** |
CN104484877B (zh) * | 2014-12-12 | 2017-08-15 | 山东大学 | 一种基于Meanshift聚类和形态学操作的AML细胞分割方法 |
CN106407777A (zh) * | 2016-08-30 | 2017-02-15 | 孟玲 | 一种基于生物识别的智能移动终端 |
-
2017
- 2017-03-30 CN CN201710200127.1A patent/CN106940889B/zh active Active
Non-Patent Citations (1)
Title |
---|
Automated Quantitative Image Analysis of Hematoxylin-eosin Staining Slides in Lymphoma Based on Hierarchical Kmeans Clustering;Peng Shi, et al.;《2016 8th International Conference on Information Technology in Medicine and Education》;20161231;第99-104页 * |
Also Published As
Publication number | Publication date |
---|---|
CN106940889A (zh) | 2017-07-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106940889B (zh) | 基于像素邻域特征聚类的***he染色病理图像分割方法 | |
CN109655019B (zh) | 一种基于深度学习和三维重建的货物体积测量方法 | |
CN109522908B (zh) | 基于区域标签融合的图像显著性检测方法 | |
CN106056118B (zh) | 一种用于细胞的识别计数方法 | |
CN108537239B (zh) | 一种图像显著性目标检测的方法 | |
CN109934224B (zh) | 基于马尔科夫随机场和视觉对比机制的小目标检测方法 | |
CN107798679B (zh) | 乳腺钼靶图像***区域分割与钙化点检测方法 | |
CN103761743B (zh) | 一种基于图像融合分割的实木地板表面缺陷检测方法 | |
JP4948647B2 (ja) | 尿中粒子画像の領域分割方法及び装置 | |
CN114140679A (zh) | 一种缺陷融合方法、装置、识别***及存储介质 | |
CN110210448B (zh) | 一种智能人脸皮肤老化程度的识别与评估方法 | |
CN111145209A (zh) | 一种医学图像分割方法、装置、设备及存储介质 | |
US11538261B2 (en) | Systems and methods for automated cell segmentation and labeling in immunofluorescence microscopy | |
CN104657980A (zh) | 一种改进的基于Meanshift的多通道图像分割算法 | |
CN110598613B (zh) | 一种高速公路团雾监测方法 | |
Son et al. | Morphological change tracking of dendritic spines based on structural features | |
CN110517273B (zh) | 基于动态梯度阈值的细胞学图像分割方法 | |
Ji et al. | The corroded defect rating system of coating material based on computer vision | |
CN112734761A (zh) | 工业品图像边界轮廓提取方法 | |
CN107133964B (zh) | 一种基于Kinect的抠像方法 | |
Gurusamy et al. | Review on image segmentation techniques | |
CN117853722A (zh) | 一种融合超像素信息的钢材金相组织分割方法 | |
CN111210447A (zh) | 一种苏木精-伊红染色病理图像层次分割的方法及终端 | |
CN104732230A (zh) | 一种基于细胞核统计信息的病理图像局部特征提取方法 | |
WO2022061922A1 (zh) | 材料微结构的分析方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |