CN111462052A - 基于图神经网络的医疗影像分析方法及*** - Google Patents
基于图神经网络的医疗影像分析方法及*** Download PDFInfo
- Publication number
- CN111462052A CN111462052A CN202010180739.0A CN202010180739A CN111462052A CN 111462052 A CN111462052 A CN 111462052A CN 202010180739 A CN202010180739 A CN 202010180739A CN 111462052 A CN111462052 A CN 111462052A
- Authority
- CN
- China
- Prior art keywords
- image
- cell
- neural network
- feature
- medical image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 73
- 238000003703 image analysis method Methods 0.000 title claims abstract description 20
- 230000001575 pathological effect Effects 0.000 claims abstract description 38
- 238000000034 method Methods 0.000 claims abstract description 33
- 238000000605 extraction Methods 0.000 claims abstract description 22
- 238000001514 detection method Methods 0.000 claims abstract description 14
- 238000000926 separation method Methods 0.000 claims abstract description 11
- 238000012549 training Methods 0.000 claims description 35
- 206010028980 Neoplasm Diseases 0.000 claims description 26
- 201000011510 cancer Diseases 0.000 claims description 24
- 238000012360 testing method Methods 0.000 claims description 18
- 238000010191 image analysis Methods 0.000 claims description 16
- 230000011218 segmentation Effects 0.000 claims description 16
- 238000010586 diagram Methods 0.000 claims description 15
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 10
- 238000005457 optimization Methods 0.000 claims description 9
- 238000011176 pooling Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 230000000717 retained effect Effects 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims 2
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 4
- 238000004195 computer-aided diagnosis Methods 0.000 description 4
- 201000005202 lung cancer Diseases 0.000 description 4
- 208000020816 lung neoplasm Diseases 0.000 description 4
- 208000009956 adenocarcinoma Diseases 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000008676 import Effects 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 206010041823 squamous cell carcinoma Diseases 0.000 description 3
- 230000007812 deficiency Effects 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000002910 structure generation Methods 0.000 description 2
- 101000945318 Homo sapiens Calponin-1 Proteins 0.000 description 1
- 101000652736 Homo sapiens Transgelin Proteins 0.000 description 1
- 102100031013 Transgelin Human genes 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000012407 engineering method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 208000000649 small cell carcinoma Diseases 0.000 description 1
- JJAHTWIKCUJRDK-UHFFFAOYSA-N succinimidyl 4-(N-maleimidomethyl)cyclohexane-1-carboxylate Chemical compound C1CC(CN2C(C=CC2=O)=O)CCC1C(=O)ON1C(=O)CCC1=O JJAHTWIKCUJRDK-UHFFFAOYSA-N 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
- G06F18/24137—Distances to cluster centroïds
- G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于图神经网络的医疗影像分析方法及***，包括：对染色的病理组织切片医疗影像切割成多个图像块；采用图像背景分离检测算法保留显示在有效组织区域之中的图像块，有效组织区域为包含病理组织的区域；对保留的图像块进行细胞切割和特征提取，获得细胞的特征信息，特征信息包括细胞的位置、颜色和几何信息；根据细胞的特征信息生成保留的图像块对应的特征图，节点代表细胞及细胞的特征信息，边代表相邻细胞的连接及距离；采用图神经网络根据特征图对保留的图像块进行分类，获得图像块的类别；根据所有保留的图像块的类别得到切割前的医疗影像的类别。上述方法及***可解释性强，分类准确。
Description
技术领域
本发明涉及图像分析技术领域，更具体地，涉及一种基于图神经网络的医疗影像分析方法及***。
背景技术
肺癌是一种在世界范围内流行的癌症。在进行对肺癌等癌症的诊断时，医生需要对病人的患处组织的病理切片图像进行分析，并最终判断出病人是否患癌、癌症种类以及严重程度。然而，这种医生进行诊断的过程非常耗时，占用了很多医生宝贵的工作时间，严重影响了诊断效率和可接诊的病人容量。并且，医生人工对切片判断的结果，容易受到医生个人因素、切片成像效果等因素的影响。把医学影像分析应用于计算机辅助诊断(ComputerAided Diagnosis,CAD)***中，可以帮助解决这些问题。
历史上，为了实现计算机辅助诊断癌症，科学家们使用了各种不同的方法对病理图像块进行分析。
在现有技术的一个方法中，采用传统图像特征对病理图像块进行分析，具体地：在最早的时候，人们使用图像处理中常用的特征进行分析。在提取出图像中细胞等物体的颜色、纹理和细胞网络结构特征之后，这些特征被放入例如Adaboost,SVM,LDA这种分类器进行分类，并判断该图像是否为癌症图像以及其他任务。这种特征包括颜色，小波变换，Gabor变换，LBP等特征，在2009年之前起到了不错的效果。
在现有技术的另一个方法中，采用神经网络对病理图像块进行分析。神经网络是目前最火热的计算机智能算法。在进行对包括图像在内的各种数据的不同分析任务中，神经网络实现了很多传统特征和算法无法企及的任务。在CAD中，神经网络是在2009年后非常重要的技术。人们使用U-Net等神经网络，对分辨率在10000*10000量级的全尺寸病理扫描图像(Whole Slide Image,WSI)进行分析；同时，人们把病理影像切分而成的切块(tile)放入诸如VGG,ResNet,Inception等深度神经网络进行训练，进行对整体影像的各个小区域的诊断判别，以及对细胞等细节进行切割、诊断等任务。这种方法在2012年神经网络的爆发之后开始得到极其广泛的应用，解决了以前从未解决过的问题，创造了接近医生的准确率。然而，神经网络有它的最严重的问题：不可解释性。神经网络的可解释性是一个从它开始传播开来之时就引起了广泛担忧的缺陷：即使它实现了极其优秀的性能，由于现在没有任何足够有说服力的理论从数学上证明它的性能的可靠，它还不被理论学术界完全信任。这对于直接涉及生命和人文关怀的医学任务来说是个伦理上的灾难。
发明内容
本发明提供一种可解释性强的高性能的基于图神经网络的医疗影像分析方法及***。
根据本发明的一个方面，提供一种基于图神经网络的医疗影像分析方法，包括：
对染色的病理组织切片的医疗影像进行切割，切割成多个图像块；
采用图像背景分离检测算法将显示在有效组织区域之中的图像块被保留，其余的则被舍弃，所述有效组织区域为包含病理组织的区域；
对保留的图像块进行细胞切割和特征提取，获得细胞的特征信息，所述特征信息包括：细胞的位置、颜色和几何信息；
根据细胞的特征信息生成保留的图像块对应的特征图，其中，所述特征图的节点代表细胞及细胞的特征信息，所述特征图的边代表相邻细胞的连接及距离；
采用图神经网络根据特征图对保留的图像块进行分类，获得图像块的类别，所述类别包括癌症特征图像块和非癌症特征图像块；
根据所有保留的图像块的类别得到切割前的医疗影像的类别。
所述的基于图神经网络的医疗影像分析方法，其中，所述图神经网络包括卷积层，全局平均池化层和softmax层，所述卷积层将特征图中节点的特征信息传播到相邻节点，所述全局平均池化层将所有节点的特征信息取平均数，而得到图像块的全局信息，所述softmax层根据全局信息对图像块分类。
所述的基于图神经网络的医疗影像分析方法，其中，所述图神经网络通过Adam优化方法进行优化，学习率设置为0.005，以训练集：测试集比例为8：2进行测试。
所述的基于图神经网络的医疗影像分析方法，其中，所述图神经网络训练的步骤包括：
获得多幅已知分类的医疗影像图像构成图像集，将图像集按照设定的比例进行划分，一部分所述医疗影像作为训练集，另一部分所述医疗影像作为测试集；
通过训练集对图神经网络进行训练，通过测试集评估训练得到的图神经网络的分类的准确性，其中，在图神经网络训练过程中，采用Adam优化方法动态调整学习率。
所述的基于图神经网络的医疗影像分析方法，其中，所述根据细胞的特征信息生成保留的图像块对应的特征图的步骤包括：
将图像块中每个细胞的标识以及其特征信息作为节点；
采用kNN算法获得每一个节点的临近节点，将节点与临近节点之间的距离作为节点与临近节点之间的边。
所述的基于图神经网络的医疗影像分析方法，其中，所述对保留的图像块进行细胞切割和特征提取，获得细胞的特征信息的步骤包括：
利用阈值方法和分水岭分割算法，对图像块进行细胞切割；
利用特征提取方法提取切割后的各细胞或细胞团的特征信息。
所述的基于图神经网络的医疗影像分析方法，其中，所述采用图像背景分离检测算法将显示在有效组织区域之中的图像块被保留的步骤包括：
采用Otsu阈值算法得到医疗影像的背景与病理组织的灰度阈值，并得到有效组织区域；
对有效组织区域运用开闭运算，对生成的有效组织区域的空洞和孤立点进行填充和移除，生成有效组织区域的掩模；
使用掩模对有效组织区域的医疗图像进行切割，得到含有病理组织的图像块。
所述的基于图神经网络的医疗影像分析方法，其中，所述根据所有保留的图像块的分类得到切割前的医疗影像的分类的步骤包括：
按图像块的类别，在原医疗影像的对应位置进行标记；
获得原医疗影像中最多的图像块的类别，作为医疗影像的类别。
根据本发明的另一个方面，提供一种基于图神经网络的医疗影像分析***，包括：
切割模块，对染色的病理组织切片的医疗影像进行切割，切割成多个图像块；
筛选模块，采用图像背景分离检测算法将显示在有效组织区域之中的图像块被保留，其余的则被舍弃，所述有效组织区域为包含病理组织的区域；
特征提取模块，对保留的图像块进行细胞切割和特征提取，获得细胞的特征信息，所述特征信息包括：细胞的位置、颜色和几何信息；
特征图生成模块，根据细胞的特征信息生成保留的图像块对应的特征图，其中，所述特征图的节点代表细胞及细胞的特征信息，所述特征图的边代表相邻细胞的连接及距离；
分类模块，采用图神经网络根据特征图对保留的图像块进行分类，获得图像块的类别，所述类别包括癌症特征图像块和非癌症特征图像块；根据所有保留的图像块的类别得到切割前的医疗影像的类别。
所述的医疗影像分析***，其中，所述特征图生成模块包括：
节点生成单元，将图像块中每个细胞的标识以及其特征信息作为节点；
边生成单元，采用kNN算法获得每一个节点的临近节点，将节点与临近节点之间的距离作为节点与临近节点之间的边。
上述基于图神经网络的医疗影像分析方法及***使用图神经网络，每个细胞的特征可以直接放入图作为节点特征。节点和节点中的信息通过连接它们的边进行传递，这样得到的整张图的信息进行图分类，可解释性强，分类准确。
附图说明
图1是本发明所述基于图神经网络的医疗影像分析方法的流程图的示意图；
图2是本发明所述基于图神经网络的医疗影像分析***的构成框图的示意图；
图3是本发明所述基于图神经网络的医疗影像分析***的一个具体实施例的示意图。
具体实施方式
在下面的描述中，出于说明的目的，为了提供对一个或多个实施例的全面理解，阐述了许多具体细节。然而，很明显，也可以在没有这些具体细节的情况下实现这些实施例。在其它例子中，为了便于描述一个或多个实施例，公知的结构和设备以方框图的形式示出。
下面将参照附图来对根据本发明的各个实施例进行详细描述。
图1是本发明所述基于图神经网络的医疗影像分析方法的流程图的示意图，如图1所示，所述医疗影像分析方法包括：
步骤S1，对染色的病理组织切片的医疗影像进行切割，切割成多个图像块；
步骤S2，采用图像背景分离检测算法将显示在有效组织区域之中的图像块被保留，其余的则被舍弃，所述有效组织区域为包含病理组织的区域；
步骤S3，对保留的图像块进行细胞切割和特征提取，获得细胞的特征信息，所述特征信息包括细胞的位置、颜色和几何信息等，所述颜色包括平均值、中位数、上下四分位数、最大最小值和标准差中的一个或多个，所述几何信息包括面积、周长和直径中的一个或多个；
步骤S4，根据细胞的特征信息生成保留的图像块对应的特征图，其中，所述特征图的节点代表细胞及细胞的特征信息，所述特征图的边代表相邻细胞的连接及距离；
步骤S5，采用图神经网络根据特征图对保留的图像块进行分类，获得图像块的类别，所述类别包括癌症特征图像块和非癌症特征图像块，所述类别还可以根据癌症的种类进行划分，例如，还可以包括小细胞特征图像块、腺癌特征图像块、鳞癌特征图像块等，优选地，所述所述图神经网络包括卷积层，全局平均池化层和softmax层，所述卷积层将特征图中节点的特征信息传播到相邻节点，所述全局平均池化层将所有节点的特征信息取平均数，而得到图像块的全局信息，所述softmax层根据全局信息对图像块分类；
步骤S6，根据所有保留的图像块的类别得到切割前的医疗影像的类别，所述医疗影像的类别和图像块的类别相对应，也就是说医疗影像的类别包括癌症特征医疗影像和非癌症特征医疗影像，所述类别还可以根据癌症的种类进行划分，例如，还可以包括小细胞特征医疗影像、腺癌特征医疗影像、鳞癌特征医疗影像。
在一个实施例中，上述图神经网络训练的步骤包括：
获得多幅已知分类的医疗影像图像构成图像集，将图像集按照设定的比例进行划分，一部分所述医疗影像作为训练集，另一部分所述医疗影像作为测试集；
通过训练集对图神经网络进行训练，通过测试集评估训练得到的图神经网络的分类的准确性，其中，在图神经网络训练过程中，采用Adam优化方法动态调整学习率。
优选地，所述图神经网络通过Adam优化方法进行优化，学习率设置为0.005，以训练集：测试集比例为8：2进行测试。
上述训练方法中，采用Adam优化方法，减小训练集中图神经网络的输出和目标输出(即图片对应的癌症类别)的差异，得到图神经网络的参数；训练集的作用是作为训练过程中图神经网络的输入和目标输出，测试集的作用是评估训练得到的图神经网络的分类结果；Adam优化方法动态调整学习率，起到加速训练的效果。
在一个实施例中，在步骤S2中，所述采用图像背景分离检测算法将显示在有效组织区域之中的图像块被保留的步骤包括：
采用Otsu阈值算法得到医疗影像的背景与病理组织的灰度阈值，并得到有效组织区域；
对有效组织区域运用开闭运算，对生成的有效组织区域的空洞和孤立点进行填充和移除，生成有效组织区域的掩模；
使用掩模对有效组织区域的医疗图像进行切割，得到含有病理组织的图像块。
在一个实施例中，在步骤S3中，所述对保留的图像块进行细胞切割和特征提取，获得细胞的特征信息的步骤包括：
利用阈值方法和分水岭分割算法，对图像块进行细胞切割；
利用特征提取方法提取切割后的各细胞或细胞团的特征信息。
在一个实施例中，在步骤S4中，所述根据细胞的特征信息生成保留的图像块对应的特征图的步骤包括：
将图像块中每个细胞的标识以及其特征信息作为节点；
采用kNN算法获得每一个节点的临近节点，将节点与临近节点之间的距离作为节点与临近节点之间的边。
在一个实施例中，在步骤S6中，所述根据所有保留的图像块的分类得到切割前的医疗影像的分类的步骤包括：
按图像块的类别，在原医疗影像的对应位置进行标记；
获得原医疗影像中最多的图像块的类别，作为医疗影像的类别。
图2是本发明所述基于图神经网络的医疗影像分析***的构成框图的示意图，如图2所示，所述医疗影像分析***包括：
切割模块10，对染色的病理组织切片的医疗影像进行切割，切割成多个图像块；
筛选模块20，采用图像背景分离检测算法将显示在有效组织区域之中的图像块被保留，其余的则被舍弃，所述有效组织区域为包含病理组织的区域；
特征提取模块30，对保留的图像块进行细胞切割和特征提取，获得细胞的特征信息，所述特征信息包括：细胞的位置、颜色、几何信息；
特征图生成模块40，根据细胞的特征信息生成保留的图像块对应的特征图，其中，所述特征图的节点代表细胞及细胞的特征信息，所述特征图的边代表相邻细胞的连接及距离；
分类模块50，采用图神经网络根据特征图对保留的图像块进行分类，获得图像块的类别，所述类别包括癌症特征图像块和非癌症特征图像块；根据所有保留的图像块的类别得到切割前的医疗影像的类别。
优选地，上述医疗影像分析***还包括训练模块60，在对未知类别的医疗影像的图像块分类之前对图神经网络进行训练，所述训练模块60包括：
训练集和测试集构建单元，获得多幅已知分类的医疗影像图像构成图像集，将图像集按照设定的比例进行划分，一部分所述医疗影像作为训练集，另一部分所述医疗影像作为测试集；
训练单元，通过训练集对图神经网络进行训练，通过测试集评估训练得到的图神经网络的分类的准确性，其中，在图神经网络训练过程中，采用Adam优化方法动态调整学习率。
在一个实施例中，上述筛选模块20包括：
有效组织区域划分模块，采用Otsu阈值算法得到医疗影像的背景与病理组织的灰度阈值，并得到有效组织区域；
掩模生成单元，对有效组织区域运用开闭运算，对生成的有效组织区域的空洞和孤立点进行填充和移除，生成有效组织区域的掩模；
切割单元，使用掩模对有效组织区域的医疗图像进行切割，得到含有病理组织的图像块。
在一个实施例中，上述特征提取模块30包括：
细胞切割单元，利用阈值方法和分水岭分割算法，对图像块进行细胞切割；
特征信息提取单元，利用特征提取方法提取切割后的各细胞或细胞团的特征信息。
在一个实施例中，上述特征图生成模块40包括：
节点生成单元，将图像块中每个细胞的标识以及其特征信息作为节点；
边生成单元，采用kNN算法获得每一个节点的临近节点，将节点与临近节点之间的距离作为节点与临近节点之间的边。
在一个实施例中，上述分类模块50包括：
图像块分类单元，采用图神经网络根据特征图对保留的图像块进行分类，获得图像块的类别，所述类别包括癌症特征图像块和非癌症特征图像块；
标记单元，按图像块的类别，在原医疗影像的对应位置进行标记；
分类单元，获得原医疗影像中最多的图像块的类别，作为医疗影像的类别。
在本发明的一个具体实施例中，如图3所示，上述医疗影像分析***主要分为两个部分，预处理部和GNN部。
预处理部主要分为图像检测切分、特征提取和图结构生成三个步骤，具体地：采用Otsu阈值算法得到医疗影像的背景与病理组织的灰度阈值，并得到病理组织区域；对病理组织区域运用开闭运算，对生成的组织区域的空洞和孤立点进行填充和移除，生成病理组织区域的掩模；使用掩模对病理组织区域的医疗图像进行切割，得到含有病理组织的图像块；使用CellProfiler软件的IdentifyPrimaryObject模块，利用其中的Otsu阈值方法和分水岭分割算法，对图像进行细胞分割；使用CellProfiler的MeasureObjectIntensity模块和MeasureObjectSizeShape模块提取细胞特征；采用细胞的特征信息作为节点及其特征；对每个节点，按照对应细胞的位置，采用kNN算法连接临近节点，其中k＝6。
如图3所示，对于一张完整、巨大、标注过的全尺寸医疗影像1，首先把它们切成256*256的图像块2。根据我们自行编写的、切分图片专用的图像背景分离检测算法，显示在有效组织区域之中的图片被保留，其余的则被舍弃。
上述预处理部的功能可以采用硬件和软件结合实现，例如，包括包括存储器和处理器，所述存储器中存储有预处理程序，所述预处理程序被所述处理器执行时实现上述图像检测切分、特征提取和图结构生成的步骤，例如，预处理程序中图像检测切分部分可以如下设置：
import cv2
import numpy as np import openslide def getbackground(imgpath,level＝4,kernel_size＝(16,8)):
srcimg＝openslide.open_slide(imgpath)
assert level<＝srcimg.level_count-1and level>＝0,'Level out of range'
dim＝srcimg.level_dimensions[level]
thumbnail＝np.array(srcimg.read_region((0,0),level,dim))
thumbnail＝cv2.cvtColor(thumbnail,cv2.COLOR_RGB2GRAY)
ret,blacktile＝cv2.threshold(thumbnail,0,255,cv2.THRESH_BINARY+cv2.THRESH_OTSU)
kernel1＝cv2.getStructuringElement(cv2.MORPH_RECT,(kernel_size[0],kernel_size[0]))
kernel2＝cv2.getStructuringElement(cv2.MORPH_RECT,(kernel_size[1],kernel_size[1]))
open＝cv2.morphologyEx(blacktile,cv2.MORPH_OPEN,kernel1)
mask＝cv2.morphologyEx(open,cv2.MORPH_CLOSE,kernel2)
return mask
在图像块切分好之后，搭建了一个应用在CellProfiler软件上的pipeline用于细胞分割和特征提取。CellProfiler是一个开源软件，可以用于分割出细胞的区域和得到这些区域中的图像的颜色、几何形状的统计特征。在得到统计特征之后，搭建出k＝8近邻的kNN图(特征图3)放入GNN部。
在GNN部中，采用两层图卷积神经网络(GCN网络)、一层global mean poolinglayer和log softmax层组成的网络进行训练，网络中使用Adam optimizer,学习率设置为0.01，以训练集：验证集：测试集比例为8：1：1进行测试。如图3所示，对单个图像块的分类效果，正确率初步可以达到91.0％，得到医疗影像的癌症类别(N：正常,SMCC：小细胞癌,A：腺癌,SCC：鳞癌)
本发明所述基于图神经网络的医疗影像分析方法使用肺癌切片病理影像中的小块图片，提取其中细胞的位置、颜色、几何信息，运用图卷积神经网络(GCN网络)，提高了分类的准确性。GNN被认为有更强的可解释性，占用更少的计算资源，有更大的应用潜力。GNN的结构和病理图像的特征工程研究方法非常相配：病理图像由细胞组成，病理图像分析中利用了细胞特征和细胞位置组成的图的特征，这正对应GNN中的节点和由节点连结而成的图。通过结合手工特征的可解释性和GNN的其优异的特性，本申请同时弥补了特征工程方法的性能不足和普通机器学习方法的可解释性不足。
尽管前面公开的内容示出了本发明的示例性实施例，但是应当注意，在不背离权利要求限定的范围的前提下，可以进行多种改变和修改。根据这里描述的发明实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外，尽管本发明的元素可以以个体形式描述或要求，但是也可以设想具有多个元素，除非明确限制为单个元素。
Claims (10)
1.一种基于图神经网络的医疗影像分析方法，其特征在于，包括：
对染色的病理组织切片的医疗影像进行切割，切割成多个图像块；
采用图像背景分离检测算法将显示在有效组织区域之中的图像块被保留，其余的则被舍弃，所述有效组织区域为包含病理组织的区域；
对保留的图像块进行细胞切割和特征提取，获得细胞的特征信息，所述特征信息包括：细胞的位置、颜色和几何信息；
根据细胞的特征信息生成保留的图像块对应的特征图，其中，所述特征图的节点代表细胞及细胞的特征信息，所述特征图的边代表相邻细胞的连接及距离；
采用图神经网络根据特征图对保留的图像块进行分类，获得图像块的类别，所述类别包括癌症特征图像块和非癌症特征图像块；
根据所有保留的图像块的类别得到切割前的医疗影像的类别。
2.根据权利要求1所述的基于图神经网络的医疗影像分析方法，其特征在于，所述图神经网络包括卷积层，全局平均池化层和softmax层，所述卷积层将特征图中节点的特征信息传播到相邻节点，所述全局平均池化层将所有节点的特征信息取平均数，而得到图像块的全局信息，所述softmax层根据全局信息对图像块分类。
3.根据权利要求1所述的基于图神经网络的医疗影像分析方法，其特征在于，所述图神经网络通过Adam优化方法进行优化，学习率设置为0.005，以训练集：测试集比例为8：2进行测试。
4.根据权利要求3所述的基于图神经网络的医疗影像分析方法，其特征在于，所述图神经网络训练的步骤包括：
获得多幅已知分类的医疗影像图像构成图像集，将图像集按照设定的比例进行划分，一部分所述医疗影像作为训练集，另一部分所述医疗影像作为测试集；
通过训练集对图神经网络进行训练，通过测试集评估训练得到的图神经网络的分类的准确性，其中，在图神经网络训练过程中，采用Adam优化方法动态调整学习率。
5.根据权利要求1所述的基于图神经网络的医疗影像分析方法，其特征在于，所述根据细胞的特征信息生成保留的图像块对应的特征图的步骤包括：
将图像块中每个细胞的标识以及其特征信息作为节点；
采用kNN算法获得每一个节点的临近节点，将节点与临近节点之间的距离作为节点与临近节点之间的边。
6.根据权利要求1所述的基于图神经网络的医疗影像分析方法，其特征在于，所述对保留的图像块进行细胞切割和特征提取，获得细胞的特征信息的步骤包括：
利用阈值方法和分水岭分割算法，对图像块进行细胞切割；
利用特征提取方法提取切割后的各细胞或细胞团的特征信息。
7.根据权利要求1所述的基于图神经网络的医疗影像分析方法，其特征在于，所述采用图像背景分离检测算法将显示在有效组织区域之中的图像块被保留的步骤包括：
采用Otsu阈值算法得到医疗影像的背景与病理组织的灰度阈值，并得到有效组织区域；
对有效组织区域运用开闭运算，对生成的有效组织区域的空洞和孤立点进行填充和移除，生成有效组织区域的掩模；
使用掩模对有效组织区域的医疗图像进行切割，得到含有病理组织的图像块。
8.根据权利要求1-7中任一权利要求所述的基于图神经网络的医疗影像分析方法，其特征在于，所述根据所有保留的图像块的分类得到切割前的医疗影像的分类的步骤包括：
按图像块的类别，在原医疗影像的对应位置进行标记；
获得原医疗影像中最多的图像块的类别，作为医疗影像的类别。
9.一种基于图神经网络的医疗影像分析***，其特征在于，包括：
切割模块，对染色的病理组织切片的医疗影像进行切割，切割成多个图像块；
筛选模块，采用图像背景分离检测算法将显示在有效组织区域之中的图像块被保留，其余的则被舍弃，所述有效组织区域为包含病理组织的区域；
特征提取模块，对保留的图像块进行细胞切割和特征提取，获得细胞的特征信息，所述特征信息包括：细胞的位置、颜色和几何信息；
特征图生成模块，根据细胞的特征信息生成保留的图像块对应的特征图，其中，所述特征图的节点代表细胞及细胞的特征信息，所述特征图的边代表相邻细胞的连接及距离；
分类模块，采用图神经网络根据特征图对保留的图像块进行分类，获得图像块的类别，所述类别包括癌症特征图像块和非癌症特征图像块；根据所有保留的图像块的类别得到切割前的医疗影像的类别。
10.根据权利要求9所述的医疗影像分析***，其特征在于，所述特征图生成模块包括：
节点生成单元，将图像块中每个细胞的标识以及其特征信息作为节点；
边生成单元，采用kNN算法获得每一个节点的临近节点，将节点与临近节点之间的距离作为节点与临近节点之间的边。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010180739.0A CN111462052A (zh) | 2020-03-16 | 2020-03-16 | 基于图神经网络的医疗影像分析方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010180739.0A CN111462052A (zh) | 2020-03-16 | 2020-03-16 | 基于图神经网络的医疗影像分析方法及*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111462052A true CN111462052A (zh) | 2020-07-28 |
Family
ID=71685161
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010180739.0A Pending CN111462052A (zh) | 2020-03-16 | 2020-03-16 | 基于图神经网络的医疗影像分析方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111462052A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112132223A (zh) * | 2020-09-27 | 2020-12-25 | 腾讯科技（深圳）有限公司 | 图池化方法、装置、设备以及存储介质 |
| CN113256577A (zh) * | 2021-05-18 | 2021-08-13 | 湖南医药学院 | 基于he染色病理图像的癌症辅助分析***、装置 |
| CN113570001A (zh) * | 2021-09-22 | 2021-10-29 | 深圳市信润富联数字科技有限公司 | 分类识别定位方法、装置、设备及计算机可读存储介质 |
| WO2022107435A1 (ja) * | 2020-11-20 | 2022-05-27 | コニカミノルタ株式会社 | 画像解析方法、画像解析システム及びプログラム |
| TWI781027B (zh) * | 2021-12-22 | 2022-10-11 | 國立臺南大學 | 用於染色影像的神經網路系統與影像染色轉換方法 |
| CN115272342A (zh) * | 2022-09-29 | 2022-11-01 | 深圳大学 | 基于明场图像的细胞分化程度评估方法、存储介质及*** |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108717554A (zh) * | 2018-05-22 | 2018-10-30 | 复旦大学附属肿瘤医院 | 一种甲状腺肿瘤病理组织切片图像分类方法及其装置 |
| CN108765408A (zh) * | 2018-05-31 | 2018-11-06 | 杭州同绘科技有限公司 | 构建癌症病理图像虚拟病例库的方法以及基于卷积神经网络的多尺度癌症检测*** |
| US20190065817A1 (en) * | 2017-08-29 | 2019-02-28 | Konica Minolta Laboratory U.S.A., Inc. | Method and system for detection and classification of cells using convolutional neural networks |
| CN109614869A (zh) * | 2018-11-10 | 2019-04-12 | 天津大学 | 一种基于多尺度压缩奖惩网络的病理图像分类方法 |
| CN110060245A (zh) * | 2019-04-15 | 2019-07-26 | 青岛大学 | 一种基于深度神经网络的胃癌***染色病理图像自动识别方法 |
-
2020
- 2020-03-16 CN CN202010180739.0A patent/CN111462052A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190065817A1 (en) * | 2017-08-29 | 2019-02-28 | Konica Minolta Laboratory U.S.A., Inc. | Method and system for detection and classification of cells using convolutional neural networks |
| CN108717554A (zh) * | 2018-05-22 | 2018-10-30 | 复旦大学附属肿瘤医院 | 一种甲状腺肿瘤病理组织切片图像分类方法及其装置 |
| CN108765408A (zh) * | 2018-05-31 | 2018-11-06 | 杭州同绘科技有限公司 | 构建癌症病理图像虚拟病例库的方法以及基于卷积神经网络的多尺度癌症检测*** |
| CN109614869A (zh) * | 2018-11-10 | 2019-04-12 | 天津大学 | 一种基于多尺度压缩奖惩网络的病理图像分类方法 |
| CN110060245A (zh) * | 2019-04-15 | 2019-07-26 | 青岛大学 | 一种基于深度神经网络的胃癌***染色病理图像自动识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| DEEPAK ANAND等: "Histographs: Graphs in Histopathology", 《ARXIV:1908.05020V1》 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112132223A (zh) * | 2020-09-27 | 2020-12-25 | 腾讯科技（深圳）有限公司 | 图池化方法、装置、设备以及存储介质 |
| CN112132223B (zh) * | 2020-09-27 | 2024-02-27 | 腾讯科技（深圳）有限公司 | 图池化方法、装置、设备以及存储介质 |
| WO2022107435A1 (ja) * | 2020-11-20 | 2022-05-27 | コニカミノルタ株式会社 | 画像解析方法、画像解析システム及びプログラム |
| CN113256577A (zh) * | 2021-05-18 | 2021-08-13 | 湖南医药学院 | 基于he染色病理图像的癌症辅助分析***、装置 |
| CN113570001A (zh) * | 2021-09-22 | 2021-10-29 | 深圳市信润富联数字科技有限公司 | 分类识别定位方法、装置、设备及计算机可读存储介质 |
| CN113570001B (zh) * | 2021-09-22 | 2022-02-15 | 深圳市信润富联数字科技有限公司 | 分类识别定位方法、装置、设备及计算机可读存储介质 |
| TWI781027B (zh) * | 2021-12-22 | 2022-10-11 | 國立臺南大學 | 用於染色影像的神經網路系統與影像染色轉換方法 |
| CN115272342A (zh) * | 2022-09-29 | 2022-11-01 | 深圳大学 | 基于明场图像的细胞分化程度评估方法、存储介质及*** |
| CN115272342B (zh) * | 2022-09-29 | 2023-02-17 | 深圳大学 | 基于明场图像的细胞分化程度评估方法、存储介质及*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111462052A (zh) | 基于图神经网络的医疗影像分析方法及*** | |
| CN110490212B (zh) | 钼靶影像处理设备、方法和装置 | |
| CN107886514B (zh) | 基于深度残差网络的乳腺钼靶图像肿块语义分割方法 | |
| CN111985536B (zh) | 一种基于弱监督学习的胃镜病理图像分类方法 | |
| WO2020253629A1 (zh) | 检测模型训练方法、装置、计算机设备和存储介质 | |
| CN109087703B (zh) | 基于深度卷积神经网络的腹腔ct图像腹膜转移标记方法 | |
| CN107665492B (zh) | 基于深度网络的结直肠全景数字病理图像组织分割方法 | |
| CN105427296B (zh) | 一种基于超声图像低秩分析的甲状腺病灶图像识别方法 | |
| CN110309860B (zh) | 基于卷积神经网络对肺结节的恶性程度进行分类的方法 | |
| CN112017191A (zh) | 基于注意力机制的肝脏病理图像分割模型建立及分割方法 | |
| Mi et al. | Deep learning-based multi-class classification of breast digital pathology images | |
| CN110021425B (zh) | 一种比较检测器及其构建方法与***细胞检测方法 | |
| Xu et al. | Computerized classification of prostate cancer gleason scores from whole slide images | |
| Pan et al. | Cell detection in pathology and microscopy images with multi-scale fully convolutional neural networks | |
| CN112734741B (zh) | 一种肺炎ct影像的图像处理方法和*** | |
| CN113449785B (zh) | 基于深度学习的眼睑肿瘤数字化病理切片图像多分类方法 | |
| CN108305253A (zh) | 一种基于多倍率深度学习的病理全切片诊断方法 | |
| CN110766670A (zh) | 一种基于深度卷积神经网络的乳腺钼靶图像肿瘤定位算法 | |
| CN113077419A (zh) | 用于髋关节ct影像识别的信息处理方法及装置 | |
| CN114841947A (zh) | 肺腺癌h&e染色病理图像肿瘤区域多尺度特征提取与预后分析方法、装置 | |
| CN115294377A (zh) | 一种道路裂缝的识别***及方法 | |
| CN111784638A (zh) | 一种基于卷积神经网络的肺结节假阳性筛除方法及*** | |
| CN112036298A (zh) | 一种基于双段区块卷积神经网络的细胞检测方法 | |
| CN114511588A (zh) | 一种乳腺组织病理图像良恶性判别方法及装置 | |
| CN112927215A (zh) | 一种消化道活检病理切片自动分析方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200728 |