CN115018820A - 基于纹理加强的乳腺癌多分类方法 - Google Patents
基于纹理加强的乳腺癌多分类方法 Download PDFInfo
- Publication number
- CN115018820A CN115018820A CN202210796046.3A CN202210796046A CN115018820A CN 115018820 A CN115018820 A CN 115018820A CN 202210796046 A CN202210796046 A CN 202210796046A CN 115018820 A CN115018820 A CN 115018820A
- Authority
- CN
- China
- Prior art keywords
- model
- breast cancer
- texture
- classification
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
- G06T7/41—Analysis of texture based on statistical description of texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30068—Mammography; Breast
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Probability & Statistics with Applications (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
基于纹理加强的乳腺癌多分类方法,本发明涉及组织病理图像分类技术中,乳腺癌组织病理图像的多分类问题。组织病理图像分类技术通过图像处理技术提取出具有辨别性的类别特征进行癌症类型分类,在癌症诊断方面有着广泛的应用。然而由于乳腺癌的组织形象十分复杂和类型甚多,部分恶性亚型在临床和病理中表现出异质性差别小,导致在乳腺癌组织病理图像多分类中不易提取这些类别中具有区分性特征。为改善这一问题,本发明提出了一种基于纹理加强的乳腺癌多分类方法。实验表明,该方法能有效地提取不同乳腺癌亚型的具有辨别性的特征,减少分类误差,提高乳腺癌病理图像多分类精度。本发明应用于乳腺癌组织病理图像的多分类。
Description
技术领域
本发明设计属于医学图像处理技术领域,具体涉及一种基于纹理加强的乳腺癌多分类方法。
背景技术
乳腺癌作为女性高发疾病之一,其发病率和死亡率一直占据女性恶性肿瘤的首位。乳腺癌的精确诊断对后续治疗具有重要意义。在乳腺癌诊断中,利用显微镜对活检组织进行分析较为常见;目前,对组织学病理图像的评估被认为是乳腺癌临床诊断和确定治疗靶点的“金标准”,病理学家在电子或光学显微镜下对经过苏木精-伊红染色的乳腺活检组织切片进行观察,通过观察其细胞结构形态来决定乳腺组织是否发生病变。随着计算机辅助诊断***的出现,已有大量的深度学习方法应用到乳腺癌组织病理图像的分类诊断中,其中由于ResNet在自然图片领域中的优秀性能,也在乳腺癌分类中使用广泛,但由于乳腺癌图像本身对比度低、类内差异小等特性,单纯只使用ResNet分类的效果并不理想,于是本文针对乳腺癌分类修改ResNet原始模型。
GLCM是在图像上定义为给定偏移处共现像素值(灰度值或颜色)的分布的矩阵。它被用作纹理分析的方法,具有各种应用,特别是在医学图像分析中。无论是考虑图像的强度或灰度值还是各种颜色维度,GLCM都通过计算图像中具有特定值和指定空间关系的像素对的频率来表征图像的纹理,然后从此矩阵中提取统计度量值。由于GLCM通常很大且稀疏,因此通常采用矩阵的各种指标来获得一组更有用的特征。使用这种技术生成的特征通常被称为Haralick特征,以Robert Haralick的名字命名。ACD算法考虑到由于组织病理学图片不同的标本制备、染色和扫描情况下,数字组织学图像的颜色外观是不同的,这种可变性会影响诊断并降低计算机辅助诊断方法的准确性。于是提出的一种新的,用于苏木精-伊红(hematoxylin and eosin,H&E)染色的全切片图像的染色分离和颜色归一化方法。为了避免伪影和降低归一化的失败率,ACD模型考虑了多个染色先验知识,并嵌入到模型中。为了提高各种全切片的颜色归一化能力,设计了一种集成优化方法,可以同时估计染色分离和颜色归一化的参数。该方法在求解ACD模型和应用过程中只涉及像素级运算,效率高,适用于组织病理全切片图像。
因此结合上述技术,本文在ResNet模型的基础上提出了一种基于纹理加强的乳腺癌多分类方法,以提高模型对乳腺癌组织病理图像多分类的准确率。
发明内容
本发明的目的是为了解决乳腺癌组织病理图片局部特征识别弱,多分类准确率不高的问题,而提出的一种基于纹理加强的乳腺癌多分类方法。
上述发明目的主要是通过以下技术方案实现的:
S1、利用GLCM算法提取乳腺癌组织病理图片的ASM纹理特征图;
S2、利用ACD算法分离乳腺癌组织病理图片中的H通道图;
S3、将乳腺癌病理组织训练数据图片数据按照步骤S1和步骤S2分别生成对应纹理图,做为训练数据;
S4、在ResNet模型基础上修改残差块,添加纹理特征注意力机制,将修改后的ResNet模型称为TResNet模型;
S5、利用步骤S3中选取的训练数据和对应类别标签训练TResNet模型;
S6、将待分类的乳腺癌组织病理图片输入到步骤S5得到的TResNet模型中去,通过TResNet模型输出最后待分类的乳腺癌组织病理图片所属的类别。
进一步的,所述步骤S1中利用GLCM算法提取乳腺癌组织病理图片的ASM纹理特征图,其具体方法包括:
ASM是基于GLCM计算出来的统计量之一,属于图像灰度分布均匀程度和纹理粗细的一个度量,当图像纹理均一规则时,ASM值越大,反之值越小,其计算公式如下:
进一步的,所述步骤S2中利用ACD算法分离乳腺癌组织病理图片中的H通道图,其具体方法如下所述:
其中表示RGB通道的光密度,代表颜色反卷积矩阵,是包含染色密度的输出,表示背景强度即无染色组织时的像素值;对于苏木精和伊红(hematoxylin and eosin,H&E)染色的WSI图片,染色密度可以表示为:
进一步的,所述步骤S3将乳腺癌病理组织训练数据图片数据按照步骤S1和步骤S2分别生成对应纹理图,做为训练数据,其具体方法如下:
将所有训练数据按照步骤S1和步骤S2分别生成ASM纹理图和染色分离H通道图,将原始图片和对应的ASM纹理图、H通道图组合作为训练数据,在训练模型时同时读入。
进一步的,所述步骤S4在ResNet模型基础上修改残差块,添加纹理特征注意力机制,将修改后的ResNet模型称为TResNet模型,其具体方法如下:
原始ResNet模型残差块中只由主分支的卷积层、BN层和激活函数层堆叠而成,最后通过跳跃连接卷积前特征;为使模型能注意到更多的信息,在残差块中添加纹理注意力分支;该纹理注意力分支以ASM纹理图和染色分离H通道图作为输入,分别经过一层卷积层后按照比例通过sigmoid函数计算出纹理注意力权重,使用得到的纹理注意力权重融合进ResNet分支中调整ResNet模型计算得到的特征值。
进一步的,所述步骤S5利用步骤S3中选取的训练数据和对应类别标签训练TResNet模型,其具体方法如下:
首先将训练数据输入TResNet模型后,通过模型中的特征提取器运算处理,模型学习到相应乳腺癌组织病理类别的特征;在训练完一次后模型会进行验证,优化器根据验证结果会主动修改模型已学到的特征值,以让模型能输出更正确的结果;经过迭代学习后,保存验证准确率最高的模型作为最终的训练模型。
进一步的,所述步骤S6将待分类的乳腺癌组织病理图片输入到步骤S5得到的TResNet模型中去,通过TResNet模型输出最后待分类的乳腺癌组织病理图片所属的类别,其具体方法如下:
通过步骤S5训练得到的最终TResNet模型,将未知的乳腺癌组织病理图片输入模型中,通过模型末端的激活函数作为线性激活单元来计算模型的预测值,最终通过池化层和全连接层输出最终的预测的类别。
发明效果
本发明提供了一种基于纹理加强的乳腺癌多分类方法。本方法首先利用GLCM算法和ADC算法分别提取乳腺癌组织病理图片的ASM纹理特征图和H通道染色分离特征图。然后通过修改ResNet模型结构,增加模型分支用于读取和处理提取的ASM纹理特征图和H通道染色分离特征图,将处理后的结果加权融合到原始分支中。通过增加模型对乳腺癌组织病理图片纹理层面上的注意增强模型对乳腺癌组织病理图片特征的提取和识别,增加分类性能。实验表明,该方法可以有效地关注到乳腺癌组织病理图片纹理、灰度等特征值,增强模型对乳腺癌组织病理图片局部特征的提取和识别,增加分类的准确率。
附图说明
图1为乳腺癌分类***训练示意图。
图2为修改后的TResNet残差块示意图。
图3为TResNet模型示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例1
参见图1-图3,本实施例1提供了一种基于纹理加强的乳腺癌多分类方法方法,包含纹理提取和模型训练:
所述纹理提取包含步骤:
S1、利用GLCM算法提取乳腺癌组织病理图片的ASM纹理特征图;
S2、利用ACD算法分离乳腺癌组织病理图片中的H通道图;
所述模型训练包含步骤:
S3、将乳腺癌病理组织训练数据图片数据按照步骤S1和步骤S2分别生成对应纹理图,做为训练数据;
S4、在ResNet模型基础上修改残差块,添加纹理特征注意力机制,将修改后的ResNet模型称为TResNet模型;
S5、利用步骤S3中选取的训练数据和对应类别标签训练TResNet模型;
S6、将待分类的乳腺癌组织病理图片输入到步骤S5得到的TResNet模型中去,通过TResNet模型输出最后待分类的乳腺癌组织病理图片所属的类别。
本发明实施例在模型训练前通过GLCM算法和ACD算法分别提取ASM纹理特征图和H通道染色特征图。并通过修改残差块结构,使网络能进一步提取特征图的特征。再通过大量的训练数据,利用修改后的TResNet模型重复迭代得到一个最优的分类模型。
下面对本发明实施例进行详细的说明:
本发明实施例采用8类不同的乳腺癌组织病理图像,应用本发明算法实现乳腺癌组织病理图片多分类具体实现如下:
如图1所示提取纹理和染色分离图包含步骤:
S1、利用GLCM算法提取乳腺癌组织病理图片的ASM纹理特征图。
ASM是基于GLCM计算出来的统计量之一,属于图像灰度分布均匀程度和纹理粗细的一个度量,当图像纹理均一规则时,ASM值越大,反之值越小,其计算公式如下:
S2、利用ACD算法分离乳腺癌组织病理图片中的H通道图。
其中表示RGB通道的光密度,代表颜色反卷积矩阵,是包含染色密度的输出,表示背景强度即无染色组织时的像素值;对于苏木精和伊红(hematoxylin and eosin,H&E)染色的WSI图片,染色密度可以表示为:
所述网络模型训练包含步骤:
S3、将乳腺癌病理组织训练数据图片数据按照步骤S1和步骤S2分别生成对应纹理图,做为训练数据。
将所有训练数据按照步骤S1和步骤S2分别生成ASM纹理图和染色分离H通道图,将原始图片和对应的ASM纹理图、H通道图组合作为训练数据,在训练模型时同时读入。
S4、在ResNet模型基础上修改残差块,添加纹理特征注意力机制,将修改后的ResNet模型称为TResNet模型。
原始ResNet模型残差块中只由单分支的卷积层、BN层和激活函数层堆叠而成;为使模型能注意到更多的信息,在残差块中添加纹理注意力分支,修改后的残差块如图2所示;该纹理注意力分支以ASM纹理图和染色分离H通道图作为输入,分别经过一层卷积层后按照参数比例通过sigmoid函数计算出纹理注意力权重,使用得到的纹理注意力权重融合进ResNet分支中调整ResNet模型计算得到的特征值。
S5、利用步骤S3中选取的训练数据和对应类别标签训练TResNet模型。
TResNet模型结构如图3所示,先将训练数据输入TResNet模型后,通过模型中的特征提取器运算处理,模型学习到相应乳腺癌组织病理类别的特征;在训练完一次后模型会进行验证,优化器根据验证结果会主动修改模型已学到的特征值,以让模型能输出更正确的结果;经过迭代学习后,保存验证准确率最高的模型作为最终的训练模型。
S6、将待分类的乳腺癌组织病理图片输入到步骤S5得到的TResNet模型中去,通过TResNet模型输出最后待分类的乳腺癌组织病理图片所属的类别。
通过步骤S5训练得到的最终TResNet模型,将未知的乳腺癌组织病理图片输入模型中,通过模型末端的激活函数作为线性激活单元来计算模型的预测值,最终通过池化层和全连接层输出最终的预测的类别。
最终通过TResNet模型获取更多包含乳腺癌组织病理图片的纹理特征信息,加强模型对不同类别的特征提取和识别能力,增加模型对于局部特征的获取,从而提高模型的分类准确率。
本发明未详述之处,均为本领域技术人员的公知技术。
以上详细描述了本发明的较佳具体实施例。应当理解,本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此,凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案,皆应在由权利要求书所确定的保护范围内。
Claims (7)
1.基于纹理加强的乳腺癌多分类方法,其特征在于,包含纹理提取和模型训练:
所述纹理提取包含步骤:
S1、利用GLCM算法提取乳腺癌组织病理图片的ASM纹理特征图;
S2、利用ACD算法分离乳腺癌组织病理图片中的H通道图;
所述模型训练包含步骤:
S3、将乳腺癌病理组织训练数据图片数据按照步骤S1和步骤S2分别生成对应纹理图,做为训练数据;
S4、在ResNet模型基础上修改残差块,添加纹理特征注意力机制,将修改后的ResNet模型称为TResNet模型;
S5、利用步骤S3中选取的训练数据和对应类别标签训练TResNet模型;
S6、将待分类的乳腺癌组织病理图片输入到步骤S5得到的TResNet模型中去,通过TResNet模型输出最后待分类的乳腺癌组织病理图片所属的类别。
3.如权利要求1所述的基于纹理加强的乳腺癌多分类方法,其特征在于,步骤S2中所述的ACD算法的计算方法如下:
其中表示RGB通道的光密度,代表颜色反卷积矩阵,是包含染色密度的输出,表示背景强度即无染色组织时的像素值;对于苏木精和伊红(hematoxylin and eosin,H&E)染色的WSI图片,染色密度可以表示为:
4.如权利要求1所述的基于纹理加强的乳腺癌多分类方法,其特征在于,所述步骤S3如下:
将所有训练数据按照步骤S1和步骤S2分别生成ASM纹理图和染色分离H通道图,将原始图片和对应的ASM纹理图、H通道图组合作为训练数据,在训练模型时同时读入。
5.如权利要求1所述的基于纹理加强的乳腺癌多分类方法,其特征在于,所述步骤S4修改后TResNet模型如下:
原始ResNet模型残差块中只由单分支的卷积层、BN层和激活函数层堆叠而成;为使模型能注意到更多的信息,在残差块中添加纹理注意力分支;该纹理注意力分支以ASM纹理图和染色分离H通道图作为输入,分别经过一层卷积层后按照参数比例通过sigmoid函数计算出纹理注意力权重,使用得到的纹理注意力权重融合进ResNet分支中调整ResNet模型计算得到的特征值。
6.如权利要求1所述的基于纹理加强的乳腺癌多分类方法,其特征在于,所述步骤S5训练TResNet模型过程如下:
首先将训练数据输入TResNet模型后,通过模型中的特征提取器运算处理,模型学习到相应乳腺癌组织病理类别的特征;在训练完一次后模型会进行验证,优化器根据验证结果会主动修改模型已学到的特征值,以让模型能输出更正确的结果;经过迭代学习后,保存验证准确率最高的模型作为最终的训练模型。
7.如权利要求1所述的基于纹理加强的乳腺癌多分类方法,其特征在于,所述步骤S6对未知类别的乳腺癌组织病理图片预测过程如下:
通过步骤S5训练得到的最终TResNet模型,将未知的乳腺癌组织病理图片输入模型中,通过模型末端的激活函数作为线性激活单元来计算模型的预测值,最终通过池化层和全连接层输出最终的预测的类别。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210796046.3A CN115018820A (zh) | 2022-07-08 | 2022-07-08 | 基于纹理加强的乳腺癌多分类方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210796046.3A CN115018820A (zh) | 2022-07-08 | 2022-07-08 | 基于纹理加强的乳腺癌多分类方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115018820A true CN115018820A (zh) | 2022-09-06 |
Family
ID=83079084
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210796046.3A Pending CN115018820A (zh) | 2022-07-08 | 2022-07-08 | 基于纹理加强的乳腺癌多分类方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115018820A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115410050A (zh) * | 2022-11-02 | 2022-11-29 | 杭州华得森生物技术有限公司 | 基于机器视觉的肿瘤细胞检测设备及其方法 |
-
2022
- 2022-07-08 CN CN202210796046.3A patent/CN115018820A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115410050A (zh) * | 2022-11-02 | 2022-11-29 | 杭州华得森生物技术有限公司 | 基于机器视觉的肿瘤细胞检测设备及其方法 |
CN115410050B (zh) * | 2022-11-02 | 2023-02-03 | 杭州华得森生物技术有限公司 | 基于机器视觉的肿瘤细胞检测设备及其方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11170897B2 (en) | Method and system for assisting pathologist identification of tumor cells in magnified tissue images | |
CN107194937B (zh) | 一种开放环境下中医舌象图像分割方法 | |
Kang et al. | Stainnet: a fast and robust stain normalization network | |
CN106599854B (zh) | 基于多特征融合的人脸表情自动识别方法 | |
CN109978848B (zh) | 基于多光源颜色恒常模型检测眼底图像中硬性渗出的方法 | |
CN115410050B (zh) | 基于机器视觉的肿瘤细胞检测设备及其方法 | |
CN112884669B (zh) | 基于多尺度内容注意力机制的图像修复方法、存储介质和终端 | |
CN110853009A (zh) | 基于机器学习的视网膜病理图像分析*** | |
CN112926652B (zh) | 一种基于深度学习的鱼类细粒度图像识别方法 | |
CN110766657B (zh) | 一种激光干扰图像质量评价方法 | |
CN112102928B (zh) | 病理图像染色风格归一化方法及装置 | |
CN112700461A (zh) | 一种肺结节检测和表征类别识别的*** | |
Kuse et al. | A classification scheme for lymphocyte segmentation in H&E stained histology images | |
CN115496720A (zh) | 基于ViT机制模型的胃肠癌病理图像分割方法及相关设备 | |
CN117036288A (zh) | 一种面向全切片病理图像的肿瘤亚型诊断方法 | |
CN115829942A (zh) | 基于非负性约束稀疏自编码器的电子电路缺陷检测方法 | |
Paeng et al. | A unified framework for tumor proliferation score prediction in breast histopathology | |
CN115018820A (zh) | 基于纹理加强的乳腺癌多分类方法 | |
CN113989799A (zh) | 一种宫颈异常细胞识别方法、装置和电子设备 | |
CN117593540A (zh) | 一种基于智能化图像识别技术的压力性损伤分期识别方法 | |
CN110956623B (zh) | 皱纹检测方法、装置、设备及计算机可读存储介质 | |
CN112215303A (zh) | 一种基于自学属性的图像理解方法及*** | |
Baykal Kablan | Regional realness-aware generative adversarial networks for stain normalization | |
CN113870194A (zh) | 深层特征和浅层lbp特征融合的乳腺肿瘤超声图像处理装置 | |
CN108805918B (zh) | 基于dcae结构的病理图像染色不变性低维表示方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |