CN115018820A - 基于纹理加强的乳腺癌多分类方法 - Google Patents

基于纹理加强的乳腺癌多分类方法 Download PDF

Info

Publication number
CN115018820A
CN115018820A CN202210796046.3A CN202210796046A CN115018820A CN 115018820 A CN115018820 A CN 115018820A CN 202210796046 A CN202210796046 A CN 202210796046A CN 115018820 A CN115018820 A CN 115018820A
Authority
CN
China
Prior art keywords
model
breast cancer
texture
classification
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210796046.3A
Other languages
English (en)
Inventor
周扬
周书航
王健
何勇军
丁博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin University of Science and Technology
Original Assignee
Harbin University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin University of Science and Technology filed Critical Harbin University of Science and Technology
Priority to CN202210796046.3A priority Critical patent/CN115018820A/zh
Publication of CN115018820A publication Critical patent/CN115018820A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30068—Mammography; Breast

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Probability & Statistics with Applications (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

基于纹理加强的乳腺癌多分类方法，本发明涉及组织病理图像分类技术中，乳腺癌组织病理图像的多分类问题。组织病理图像分类技术通过图像处理技术提取出具有辨别性的类别特征进行癌症类型分类，在癌症诊断方面有着广泛的应用。然而由于乳腺癌的组织形象十分复杂和类型甚多，部分恶性亚型在临床和病理中表现出异质性差别小，导致在乳腺癌组织病理图像多分类中不易提取这些类别中具有区分性特征。为改善这一问题，本发明提出了一种基于纹理加强的乳腺癌多分类方法。实验表明，该方法能有效地提取不同乳腺癌亚型的具有辨别性的特征，减少分类误差，提高乳腺癌病理图像多分类精度。本发明应用于乳腺癌组织病理图像的多分类。

Description

基于纹理加强的乳腺癌多分类方法
技术领域
本发明设计属于医学图像处理技术领域，具体涉及一种基于纹理加强的乳腺癌多分类方法。
背景技术
乳腺癌作为女性高发疾病之一，其发病率和死亡率一直占据女性恶性肿瘤的首位。乳腺癌的精确诊断对后续治疗具有重要意义。在乳腺癌诊断中，利用显微镜对活检组织进行分析较为常见；目前，对组织学病理图像的评估被认为是乳腺癌临床诊断和确定治疗靶点的“金标准”，病理学家在电子或光学显微镜下对经过苏木精-伊红染色的乳腺活检组织切片进行观察，通过观察其细胞结构形态来决定乳腺组织是否发生病变。随着计算机辅助诊断***的出现，已有大量的深度学习方法应用到乳腺癌组织病理图像的分类诊断中，其中由于ResNet在自然图片领域中的优秀性能，也在乳腺癌分类中使用广泛，但由于乳腺癌图像本身对比度低、类内差异小等特性，单纯只使用ResNet分类的效果并不理想，于是本文针对乳腺癌分类修改ResNet原始模型。
GLCM是在图像上定义为给定偏移处共现像素值（灰度值或颜色）的分布的矩阵。它被用作纹理分析的方法，具有各种应用，特别是在医学图像分析中。无论是考虑图像的强度或灰度值还是各种颜色维度，GLCM都通过计算图像中具有特定值和指定空间关系的像素对的频率来表征图像的纹理，然后从此矩阵中提取统计度量值。由于GLCM通常很大且稀疏，因此通常采用矩阵的各种指标来获得一组更有用的特征。使用这种技术生成的特征通常被称为Haralick特征，以Robert Haralick的名字命名。ACD算法考虑到由于组织病理学图片不同的标本制备、染色和扫描情况下，数字组织学图像的颜色外观是不同的，这种可变性会影响诊断并降低计算机辅助诊断方法的准确性。于是提出的一种新的，用于苏木精-伊红（hematoxylin and eosin，H&E）染色的全切片图像的染色分离和颜色归一化方法。为了避免伪影和降低归一化的失败率，ACD模型考虑了多个染色先验知识，并嵌入到模型中。为了提高各种全切片的颜色归一化能力，设计了一种集成优化方法，可以同时估计染色分离和颜色归一化的参数。该方法在求解ACD模型和应用过程中只涉及像素级运算，效率高，适用于组织病理全切片图像。
因此结合上述技术，本文在ResNet模型的基础上提出了一种基于纹理加强的乳腺癌多分类方法，以提高模型对乳腺癌组织病理图像多分类的准确率。
发明内容
本发明的目的是为了解决乳腺癌组织病理图片局部特征识别弱，多分类准确率不高的问题，而提出的一种基于纹理加强的乳腺癌多分类方法。
上述发明目的主要是通过以下技术方案实现的：
S1、利用GLCM算法提取乳腺癌组织病理图片的ASM纹理特征图；
S2、利用ACD算法分离乳腺癌组织病理图片中的H通道图；
S3、将乳腺癌病理组织训练数据图片数据按照步骤S1和步骤S2分别生成对应纹理图，做为训练数据；
S4、在ResNet模型基础上修改残差块，添加纹理特征注意力机制，将修改后的ResNet模型称为TResNet模型；
S5、利用步骤S3中选取的训练数据和对应类别标签训练TResNet模型；
S6、将待分类的乳腺癌组织病理图片输入到步骤S5得到的TResNet模型中去，通过TResNet模型输出最后待分类的乳腺癌组织病理图片所属的类别。
进一步的，所述步骤S1中利用GLCM算法提取乳腺癌组织病理图片的ASM纹理特征图，其具体方法包括：
GLCM是像素距离和角度的矩阵函数，是图像中两个像素灰度级的联合直方图，是一种二阶统计量，定义为从灰度为
Figure 861167DEST_PATH_IMAGE001
的像素点出发，距离
Figure 128332DEST_PATH_IMAGE002
的另一像素点灰度为
Figure 969249DEST_PATH_IMAGE003
的概率，公式如下：
Figure 305552DEST_PATH_IMAGE004
其中
Figure 890117DEST_PATH_IMAGE005
表示用像素数量表示的相对距离；
Figure 20577DEST_PATH_IMAGE006
表示方向，一般为四个方向
Figure 766816DEST_PATH_IMAGE007
；
Figure 590416DEST_PATH_IMAGE008
；
Figure 978672DEST_PATH_IMAGE009
为图像中的像素坐标，
Figure 938538DEST_PATH_IMAGE010
为图像灰度级的数目。
ASM是基于GLCM计算出来的统计量之一，属于图像灰度分布均匀程度和纹理粗细的一个度量，当图像纹理均一规则时，ASM值越大，反之值越小，其计算公式如下：
Figure 871990DEST_PATH_IMAGE011
其中
Figure 448465DEST_PATH_IMAGE012
表示归一化后的GLCM。
进一步的，所述步骤S2中利用ACD算法分离乳腺癌组织病理图片中的H通道图，其具体方法如下所述：
颜色反卷积(Colordeconvolution，CD)是ACD的基础，CD是基于Beer-Lamber定律提出的，让
Figure 374832DEST_PATH_IMAGE013
表示图片中第i个像素在RGB颜色空间中的值，CD可以用以下方程简单表示：
Figure 454784DEST_PATH_IMAGE014
其中
Figure 808405DEST_PATH_IMAGE015
表示RGB通道的光密度，
Figure 357329DEST_PATH_IMAGE016
代表颜色反卷积矩阵，
Figure 87388DEST_PATH_IMAGE017
是包含染色密度的输出，
Figure 756266DEST_PATH_IMAGE018
表示背景强度即无染色组织时的像素值；对于苏木精和伊红（hematoxylin and eosin，H&E）染色的WSI图片，染色密度可以表示为：
Figure 546368DEST_PATH_IMAGE019
其中
Figure 582588DEST_PATH_IMAGE020
和
Figure 585179DEST_PATH_IMAGE021
分别表为苏木精和伊红染色的值，
Figure 639723DEST_PATH_IMAGE022
表示分离的残差，反卷积矩阵
Figure 600726DEST_PATH_IMAGE023
由一个SCA矩阵
Figure 842351DEST_PATH_IMAGE024
通过
Figure 648633DEST_PATH_IMAGE025
确定。
ACD考虑到反卷积矩阵
Figure 571065DEST_PATH_IMAGE023
由SCA矩阵
Figure 171811DEST_PATH_IMAGE024
决定，提出直接对
Figure 166312DEST_PATH_IMAGE024
进行优化然后计算
Figure 510705DEST_PATH_IMAGE023
，并在优化过程中求解归一化应变强度的参数，其中定义了一个染色权重矩阵
Figure 274262DEST_PATH_IMAGE026
,因此将CD算法式3修改为：
Figure 45909DEST_PATH_IMAGE027
因此SCA矩阵能被分解为
Figure 544017DEST_PATH_IMAGE028
，其中
Figure 692102DEST_PATH_IMAGE029
，
Figure 310165DEST_PATH_IMAGE030
属于一个单位向量，描述了第
Figure 518293DEST_PATH_IMAGE031
染色对红、绿、蓝通道强度的贡献；为确保整个优化过程中
Figure 487386DEST_PATH_IMAGE032
，使用两个角度变量表示
Figure 173582DEST_PATH_IMAGE030
：
Figure 911731DEST_PATH_IMAGE033
SCA矩阵M可以用6个独立角度变量表示：
Figure 775913DEST_PATH_IMAGE034
，因此SCA矩阵可表示为
Figure 232302DEST_PATH_IMAGE035
，对应的CD矩阵为
Figure 722189DEST_PATH_IMAGE036
；通过求解
Figure 580424DEST_PATH_IMAGE037
和W的目标函数：
Figure 130354DEST_PATH_IMAGE038
得到优化的变量集
Figure 808460DEST_PATH_IMAGE039
和
Figure 587191DEST_PATH_IMAGE040
，其中：
Figure 299932DEST_PATH_IMAGE041
Figure 20763DEST_PATH_IMAGE042
Figure 186165DEST_PATH_IMAGE043
Figure 17855DEST_PATH_IMAGE044
是权重参数，
Figure 319524DEST_PATH_IMAGE045
是用于优化的像素数，
Figure 211256DEST_PATH_IMAGE046
表示为平衡参数，
Figure 877336DEST_PATH_IMAGE047
为控制所需的染色强度参数；通过优化上述参数同时得到染色分离的自适应变量
Figure 247138DEST_PATH_IMAGE048
和染色强度归一化的自适应变量
Figure 668892DEST_PATH_IMAGE040
，通过
Figure 731526DEST_PATH_IMAGE048
可以分离WSI的染色成分，得到H通道的染色图。
进一步的，所述步骤S3将乳腺癌病理组织训练数据图片数据按照步骤S1和步骤S2分别生成对应纹理图，做为训练数据，其具体方法如下：
将所有训练数据按照步骤S1和步骤S2分别生成ASM纹理图和染色分离H通道图，将原始图片和对应的ASM纹理图、H通道图组合作为训练数据，在训练模型时同时读入。
进一步的，所述步骤S4在ResNet模型基础上修改残差块，添加纹理特征注意力机制，将修改后的ResNet模型称为TResNet模型，其具体方法如下：
原始ResNet模型残差块中只由主分支的卷积层、BN层和激活函数层堆叠而成，最后通过跳跃连接卷积前特征；为使模型能注意到更多的信息，在残差块中添加纹理注意力分支；该纹理注意力分支以ASM纹理图和染色分离H通道图作为输入，分别经过一层卷积层后按照比例通过sigmoid函数计算出纹理注意力权重，使用得到的纹理注意力权重融合进ResNet分支中调整ResNet模型计算得到的特征值。
进一步的，所述步骤S5利用步骤S3中选取的训练数据和对应类别标签训练TResNet模型，其具体方法如下：
首先将训练数据输入TResNet模型后，通过模型中的特征提取器运算处理，模型学习到相应乳腺癌组织病理类别的特征；在训练完一次后模型会进行验证，优化器根据验证结果会主动修改模型已学到的特征值，以让模型能输出更正确的结果；经过迭代学习后，保存验证准确率最高的模型作为最终的训练模型。
进一步的，所述步骤S6将待分类的乳腺癌组织病理图片输入到步骤S5得到的TResNet模型中去，通过TResNet模型输出最后待分类的乳腺癌组织病理图片所属的类别，其具体方法如下：
通过步骤S5训练得到的最终TResNet模型，将未知的乳腺癌组织病理图片输入模型中，通过模型末端的激活函数作为线性激活单元来计算模型的预测值，最终通过池化层和全连接层输出最终的预测的类别。
发明效果
本发明提供了一种基于纹理加强的乳腺癌多分类方法。本方法首先利用GLCM算法和ADC算法分别提取乳腺癌组织病理图片的ASM纹理特征图和H通道染色分离特征图。然后通过修改ResNet模型结构，增加模型分支用于读取和处理提取的ASM纹理特征图和H通道染色分离特征图，将处理后的结果加权融合到原始分支中。通过增加模型对乳腺癌组织病理图片纹理层面上的注意增强模型对乳腺癌组织病理图片特征的提取和识别，增加分类性能。实验表明，该方法可以有效地关注到乳腺癌组织病理图片纹理、灰度等特征值，增强模型对乳腺癌组织病理图片局部特征的提取和识别，增加分类的准确率。
附图说明
图1为乳腺癌分类***训练示意图。
图2为修改后的TResNet残差块示意图。
图3为TResNet模型示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
参见图1-图3，本实施例1提供了一种基于纹理加强的乳腺癌多分类方法方法，包含纹理提取和模型训练：
所述纹理提取包含步骤：
S1、利用GLCM算法提取乳腺癌组织病理图片的ASM纹理特征图；
S2、利用ACD算法分离乳腺癌组织病理图片中的H通道图；
所述模型训练包含步骤：
S3、将乳腺癌病理组织训练数据图片数据按照步骤S1和步骤S2分别生成对应纹理图，做为训练数据；
S4、在ResNet模型基础上修改残差块，添加纹理特征注意力机制，将修改后的ResNet模型称为TResNet模型；
S5、利用步骤S3中选取的训练数据和对应类别标签训练TResNet模型；
S6、将待分类的乳腺癌组织病理图片输入到步骤S5得到的TResNet模型中去，通过TResNet模型输出最后待分类的乳腺癌组织病理图片所属的类别。
本发明实施例在模型训练前通过GLCM算法和ACD算法分别提取ASM纹理特征图和H通道染色特征图。并通过修改残差块结构，使网络能进一步提取特征图的特征。再通过大量的训练数据，利用修改后的TResNet模型重复迭代得到一个最优的分类模型。
下面对本发明实施例进行详细的说明：
本发明实施例采用8类不同的乳腺癌组织病理图像，应用本发明算法实现乳腺癌组织病理图片多分类具体实现如下：
如图1所示提取纹理和染色分离图包含步骤：
S1、利用GLCM算法提取乳腺癌组织病理图片的ASM纹理特征图。
GLCM是像素距离和角度的矩阵函数，是图像中两个像素灰度级的联合直方图，是一种二阶统计量，定义为从灰度为
Figure 605941DEST_PATH_IMAGE001
的像素点出发，距离
Figure 310592DEST_PATH_IMAGE002
的另一像素点灰度为
Figure 337585DEST_PATH_IMAGE003
的概率，公式如下：
Figure 571120DEST_PATH_IMAGE004
其中
Figure 932831DEST_PATH_IMAGE005
表示用像素数量表示的相对距离；
Figure 644435DEST_PATH_IMAGE006
表示方向，一般为四个方向
Figure 40781DEST_PATH_IMAGE007
；
Figure 445218DEST_PATH_IMAGE008
;
Figure 559804DEST_PATH_IMAGE009
为图像中的像素坐标，
Figure 825832DEST_PATH_IMAGE010
为图像灰度级的数目。
ASM是基于GLCM计算出来的统计量之一，属于图像灰度分布均匀程度和纹理粗细的一个度量，当图像纹理均一规则时，ASM值越大，反之值越小，其计算公式如下：
Figure 76685DEST_PATH_IMAGE011
其中
Figure 652022DEST_PATH_IMAGE012
表示归一化后的GLCM。
S2、利用ACD算法分离乳腺癌组织病理图片中的H通道图。
颜色反卷积(Colordeconvolution，CD)是ACD的基础，CD是基于Beer-Lamber定律提出的，让
Figure 988326DEST_PATH_IMAGE013
表示图片中第i个像素在RGB颜色空间中的值，CD可以用以下方程简单表示：
Figure 572891DEST_PATH_IMAGE014
其中
Figure 678250DEST_PATH_IMAGE015
表示RGB通道的光密度，
Figure 424489DEST_PATH_IMAGE016
代表颜色反卷积矩阵，
Figure 733242DEST_PATH_IMAGE017
是包含染色密度的输出，
Figure 855919DEST_PATH_IMAGE018
表示背景强度即无染色组织时的像素值；对于苏木精和伊红（hematoxylin and eosin，H&E）染色的WSI图片，染色密度可以表示为：
Figure 815785DEST_PATH_IMAGE019
其中
Figure 998504DEST_PATH_IMAGE020
和
Figure 309400DEST_PATH_IMAGE021
分别表为苏木精和伊红染色的值，
Figure 970188DEST_PATH_IMAGE022
表示分离的残差，反卷积矩阵
Figure 784561DEST_PATH_IMAGE023
由一个SCA矩阵
Figure 151564DEST_PATH_IMAGE024
通过
Figure 684176DEST_PATH_IMAGE025
确定。
ACD考虑到反卷积矩阵
Figure 883076DEST_PATH_IMAGE023
由SCA矩阵
Figure 817534DEST_PATH_IMAGE024
决定，提出直接对
Figure 342056DEST_PATH_IMAGE024
进行优化然后计算
Figure 96386DEST_PATH_IMAGE023
，并在优化过程中求解归一化应变强度的参数，其中定义了一个染色权重矩阵
Figure 380868DEST_PATH_IMAGE026
,因此将CD算法式3修改为：
Figure 169832DEST_PATH_IMAGE027
因此SCA矩阵能被分解为
Figure 599676DEST_PATH_IMAGE028
，其中
Figure 106881DEST_PATH_IMAGE029
，
Figure 913163DEST_PATH_IMAGE030
属于一个单位向量，描述了第
Figure 822213DEST_PATH_IMAGE031
染色对红、绿、蓝通道强度的贡献；为确保整个优化过程中
Figure 688538DEST_PATH_IMAGE032
，使用两个角度变量表示
Figure 168192DEST_PATH_IMAGE030
：
Figure 778165DEST_PATH_IMAGE033
SCA矩阵M可以用6个独立角度变量表示：
Figure 541722DEST_PATH_IMAGE034
，因此SCA矩阵可表示为
Figure 313369DEST_PATH_IMAGE035
，对应的CD矩阵为
Figure 795166DEST_PATH_IMAGE036
；通过求解
Figure 208829DEST_PATH_IMAGE037
和W的目标函数：
Figure 826893DEST_PATH_IMAGE038
得到优化的变量集
Figure 520173DEST_PATH_IMAGE039
和
Figure 223687DEST_PATH_IMAGE040
，其中：
Figure 175462DEST_PATH_IMAGE041
Figure 913611DEST_PATH_IMAGE042
Figure 292640DEST_PATH_IMAGE043
Figure 483450DEST_PATH_IMAGE044
是权重参数，
Figure 973337DEST_PATH_IMAGE045
是用于优化的像素数，
Figure 325514DEST_PATH_IMAGE046
表示为平衡参数，
Figure 141023DEST_PATH_IMAGE047
为控制所需的染色强度参数；通过优化上述参数同时得到染色分离的自适应变量
Figure 553550DEST_PATH_IMAGE048
和染色强度归一化的自适应变量
Figure 847128DEST_PATH_IMAGE040
，通过
Figure 294290DEST_PATH_IMAGE048
可以分离WSI的染色成分，得到H通道的染色图。
所述网络模型训练包含步骤：
S3、将乳腺癌病理组织训练数据图片数据按照步骤S1和步骤S2分别生成对应纹理图，做为训练数据。
将所有训练数据按照步骤S1和步骤S2分别生成ASM纹理图和染色分离H通道图，将原始图片和对应的ASM纹理图、H通道图组合作为训练数据，在训练模型时同时读入。
S4、在ResNet模型基础上修改残差块，添加纹理特征注意力机制，将修改后的ResNet模型称为TResNet模型。
原始ResNet模型残差块中只由单分支的卷积层、BN层和激活函数层堆叠而成；为使模型能注意到更多的信息，在残差块中添加纹理注意力分支，修改后的残差块如图2所示；该纹理注意力分支以ASM纹理图和染色分离H通道图作为输入，分别经过一层卷积层后按照参数比例通过sigmoid函数计算出纹理注意力权重，使用得到的纹理注意力权重融合进ResNet分支中调整ResNet模型计算得到的特征值。
S5、利用步骤S3中选取的训练数据和对应类别标签训练TResNet模型。
TResNet模型结构如图3所示，先将训练数据输入TResNet模型后，通过模型中的特征提取器运算处理，模型学习到相应乳腺癌组织病理类别的特征；在训练完一次后模型会进行验证，优化器根据验证结果会主动修改模型已学到的特征值，以让模型能输出更正确的结果；经过迭代学习后，保存验证准确率最高的模型作为最终的训练模型。
S6、将待分类的乳腺癌组织病理图片输入到步骤S5得到的TResNet模型中去，通过TResNet模型输出最后待分类的乳腺癌组织病理图片所属的类别。
通过步骤S5训练得到的最终TResNet模型，将未知的乳腺癌组织病理图片输入模型中，通过模型末端的激活函数作为线性激活单元来计算模型的预测值，最终通过池化层和全连接层输出最终的预测的类别。
最终通过TResNet模型获取更多包含乳腺癌组织病理图片的纹理特征信息，加强模型对不同类别的特征提取和识别能力，增加模型对于局部特征的获取，从而提高模型的分类准确率。
本发明未详述之处，均为本领域技术人员的公知技术。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (7)

1.基于纹理加强的乳腺癌多分类方法，其特征在于，包含纹理提取和模型训练：
所述纹理提取包含步骤：
S1、利用GLCM算法提取乳腺癌组织病理图片的ASM纹理特征图；
S2、利用ACD算法分离乳腺癌组织病理图片中的H通道图；
所述模型训练包含步骤：
S3、将乳腺癌病理组织训练数据图片数据按照步骤S1和步骤S2分别生成对应纹理图，做为训练数据；
S4、在ResNet模型基础上修改残差块，添加纹理特征注意力机制，将修改后的ResNet模型称为TResNet模型；
S5、利用步骤S3中选取的训练数据和对应类别标签训练TResNet模型；
S6、将待分类的乳腺癌组织病理图片输入到步骤S5得到的TResNet模型中去，通过TResNet模型输出最后待分类的乳腺癌组织病理图片所属的类别。
2.如权利要求1所述的基于纹理加强的乳腺癌多分类方法，其特征在于，步骤S1中所述的GLCM算法和ASM纹理特征的计算如下：
GLCM是像素距离和角度的矩阵函数，是图像中两个像素灰度级的联合直方图，是一种二阶统计量，定义为从灰度为
Figure 845120DEST_PATH_IMAGE001
的像素点出发，距离
Figure 44151DEST_PATH_IMAGE002
的另一像素点灰度为
Figure 355047DEST_PATH_IMAGE003
的概率，公式如下：
Figure 15835DEST_PATH_IMAGE004
其中
Figure 361366DEST_PATH_IMAGE005
表示用像素数量表示的相对距离；
Figure 731298DEST_PATH_IMAGE006
表示方向，一般为四个方向
Figure 529490DEST_PATH_IMAGE007
；
Figure 259549DEST_PATH_IMAGE008
;
Figure 459586DEST_PATH_IMAGE009
为图像中的像素坐标，
Figure 997490DEST_PATH_IMAGE010
为图像灰度级的数目；
ASM是基于GLCM计算出来的统计量之一，属于图像灰度分布均匀程度和纹理粗细的一个度量，当图像纹理均一规则时，ASM值越大，反之值越小，其计算公式如下：
Figure 17399DEST_PATH_IMAGE011
其中
Figure 285569DEST_PATH_IMAGE012
表示归一化后的GLCM。
3.如权利要求1所述的基于纹理加强的乳腺癌多分类方法，其特征在于，步骤S2中所述的ACD算法的计算方法如下：
颜色反卷积(Colordeconvolution，CD)是ACD的基础，CD是基于Beer-Lamber定律提出的，让
Figure 340113DEST_PATH_IMAGE013
表示图片中第i个像素在RGB颜色空间中的值，CD可以用以下方程简单表示：
Figure 786269DEST_PATH_IMAGE014
其中
Figure 559053DEST_PATH_IMAGE015
表示RGB通道的光密度，
Figure 365335DEST_PATH_IMAGE016
代表颜色反卷积矩阵，
Figure 274385DEST_PATH_IMAGE017
是包含染色密度的输出，
Figure 140710DEST_PATH_IMAGE018
表示背景强度即无染色组织时的像素值；对于苏木精和伊红（hematoxylin and eosin，H&E）染色的WSI图片，染色密度可以表示为：
Figure 151522DEST_PATH_IMAGE019
其中
Figure 761495DEST_PATH_IMAGE020
和
Figure 525052DEST_PATH_IMAGE021
分别表为苏木精和伊红染色的值，
Figure 827857DEST_PATH_IMAGE022
表示分离的残差，反卷积矩阵
Figure 591545DEST_PATH_IMAGE023
由一个SCA矩阵
Figure 5208DEST_PATH_IMAGE024
通过
Figure 888851DEST_PATH_IMAGE025
确定；
ACD考虑到反卷积矩阵
Figure 110360DEST_PATH_IMAGE023
由SCA矩阵
Figure 79453DEST_PATH_IMAGE024
决定，提出直接对
Figure 31229DEST_PATH_IMAGE024
进行优化然后计算
Figure 300536DEST_PATH_IMAGE023
，并在优化过程中求解归一化应变强度的参数，其中定义了一个染色权重矩阵
Figure 695876DEST_PATH_IMAGE026
,因此将CD算法式3修改为：
Figure 886686DEST_PATH_IMAGE027
因此SCA矩阵能被分解为
Figure 642153DEST_PATH_IMAGE028
，其中
Figure 234808DEST_PATH_IMAGE029
，
Figure 784738DEST_PATH_IMAGE030
属于一个单位向量，描述了第
Figure 479156DEST_PATH_IMAGE003
染色对红、绿、蓝通道强度的贡献；为确保整个优化过程中
Figure 38313DEST_PATH_IMAGE031
，使用两个角度变量表示
Figure 751054DEST_PATH_IMAGE030
：
Figure 471886DEST_PATH_IMAGE032
SCA矩阵M可以用6个独立角度变量表示：
Figure 388020DEST_PATH_IMAGE033
，因此SCA矩阵可表示为
Figure 485289DEST_PATH_IMAGE034
，对应的CD矩阵为
Figure 318116DEST_PATH_IMAGE035
；通过求解
Figure 209849DEST_PATH_IMAGE036
和W的目标函数：
Figure 141508DEST_PATH_IMAGE037
得到优化的变量集
Figure 42468DEST_PATH_IMAGE038
和
Figure 729801DEST_PATH_IMAGE039
，其中：
Figure 339905DEST_PATH_IMAGE040
Figure 479899DEST_PATH_IMAGE041
Figure 184550DEST_PATH_IMAGE042
Figure 742702DEST_PATH_IMAGE043
是权重参数，
Figure 976237DEST_PATH_IMAGE044
是用于优化的像素数，
Figure 869107DEST_PATH_IMAGE045
表示为平衡参数，
Figure 111869DEST_PATH_IMAGE046
为控制所需的染色强度参数；通过优化上述参数同时得到染色分离的自适应变量
Figure 993369DEST_PATH_IMAGE047
和染色强度归一化的自适应变量
Figure 928964DEST_PATH_IMAGE039
，通过
Figure 43550DEST_PATH_IMAGE047
可以分离WSI的染色成分，得到H通道的染色图。
4.如权利要求1所述的基于纹理加强的乳腺癌多分类方法，其特征在于，所述步骤S3如下：
将所有训练数据按照步骤S1和步骤S2分别生成ASM纹理图和染色分离H通道图，将原始图片和对应的ASM纹理图、H通道图组合作为训练数据，在训练模型时同时读入。
5.如权利要求1所述的基于纹理加强的乳腺癌多分类方法，其特征在于，所述步骤S4修改后TResNet模型如下：
原始ResNet模型残差块中只由单分支的卷积层、BN层和激活函数层堆叠而成；为使模型能注意到更多的信息，在残差块中添加纹理注意力分支；该纹理注意力分支以ASM纹理图和染色分离H通道图作为输入，分别经过一层卷积层后按照参数比例通过sigmoid函数计算出纹理注意力权重，使用得到的纹理注意力权重融合进ResNet分支中调整ResNet模型计算得到的特征值。
6.如权利要求1所述的基于纹理加强的乳腺癌多分类方法，其特征在于，所述步骤S5训练TResNet模型过程如下：
首先将训练数据输入TResNet模型后，通过模型中的特征提取器运算处理，模型学习到相应乳腺癌组织病理类别的特征；在训练完一次后模型会进行验证，优化器根据验证结果会主动修改模型已学到的特征值，以让模型能输出更正确的结果；经过迭代学习后，保存验证准确率最高的模型作为最终的训练模型。
7.如权利要求1所述的基于纹理加强的乳腺癌多分类方法，其特征在于，所述步骤S6对未知类别的乳腺癌组织病理图片预测过程如下：
通过步骤S5训练得到的最终TResNet模型，将未知的乳腺癌组织病理图片输入模型中，通过模型末端的激活函数作为线性激活单元来计算模型的预测值，最终通过池化层和全连接层输出最终的预测的类别。
CN202210796046.3A 2022-07-08 2022-07-08 基于纹理加强的乳腺癌多分类方法 Pending CN115018820A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210796046.3A CN115018820A (zh) 2022-07-08 2022-07-08 基于纹理加强的乳腺癌多分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210796046.3A CN115018820A (zh) 2022-07-08 2022-07-08 基于纹理加强的乳腺癌多分类方法

Publications (1)

Publication Number Publication Date
CN115018820A true CN115018820A (zh) 2022-09-06

Family

ID=83079084

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210796046.3A Pending CN115018820A (zh) 2022-07-08 2022-07-08 基于纹理加强的乳腺癌多分类方法

Country Status (1)

Country Link
CN (1) CN115018820A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115410050A (zh) * 2022-11-02 2022-11-29 杭州华得森生物技术有限公司 基于机器视觉的肿瘤细胞检测设备及其方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115410050A (zh) * 2022-11-02 2022-11-29 杭州华得森生物技术有限公司 基于机器视觉的肿瘤细胞检测设备及其方法
CN115410050B (zh) * 2022-11-02 2023-02-03 杭州华得森生物技术有限公司 基于机器视觉的肿瘤细胞检测设备及其方法

Similar Documents

Publication Publication Date Title
US11170897B2 (en) Method and system for assisting pathologist identification of tumor cells in magnified tissue images
CN107194937B (zh) 一种开放环境下中医舌象图像分割方法
Kang et al. Stainnet: a fast and robust stain normalization network
CN106599854B (zh) 基于多特征融合的人脸表情自动识别方法
CN109978848B (zh) 基于多光源颜色恒常模型检测眼底图像中硬性渗出的方法
CN115410050B (zh) 基于机器视觉的肿瘤细胞检测设备及其方法
CN112884669B (zh) 基于多尺度内容注意力机制的图像修复方法、存储介质和终端
CN110853009A (zh) 基于机器学习的视网膜病理图像分析***
CN112926652B (zh) 一种基于深度学习的鱼类细粒度图像识别方法
CN110766657B (zh) 一种激光干扰图像质量评价方法
CN112102928B (zh) 病理图像染色风格归一化方法及装置
CN112700461A (zh) 一种肺结节检测和表征类别识别的***
Kuse et al. A classification scheme for lymphocyte segmentation in H&E stained histology images
CN115496720A (zh) 基于ViT机制模型的胃肠癌病理图像分割方法及相关设备
CN117036288A (zh) 一种面向全切片病理图像的肿瘤亚型诊断方法
CN115829942A (zh) 基于非负性约束稀疏自编码器的电子电路缺陷检测方法
Paeng et al. A unified framework for tumor proliferation score prediction in breast histopathology
CN115018820A (zh) 基于纹理加强的乳腺癌多分类方法
CN113989799A (zh) 一种宫颈异常细胞识别方法、装置和电子设备
CN117593540A (zh) 一种基于智能化图像识别技术的压力性损伤分期识别方法
CN110956623B (zh) 皱纹检测方法、装置、设备及计算机可读存储介质
CN112215303A (zh) 一种基于自学属性的图像理解方法及***
Baykal Kablan Regional realness-aware generative adversarial networks for stain normalization
CN113870194A (zh) 深层特征和浅层lbp特征融合的乳腺肿瘤超声图像处理装置
CN108805918B (zh) 基于dcae结构的病理图像染色不变性低维表示方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination