CN113378796B - 一种基于上下文建模的宫颈细胞全切片分类方法 - Google Patents

一种基于上下文建模的宫颈细胞全切片分类方法 Download PDF

Info

Publication number
CN113378796B
CN113378796B CN202110794172.0A CN202110794172A CN113378796B CN 113378796 B CN113378796 B CN 113378796B CN 202110794172 A CN202110794172 A CN 202110794172A CN 113378796 B CN113378796 B CN 113378796B
Authority
CN
China
Prior art keywords
cell
network
full
block
cervical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110794172.0A
Other languages
English (en)
Other versions
CN113378796A (zh
Inventor
刘波
史骏
唐昆铭
束童
祝新宇
罗庭辉
张元�
郑利平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Original Assignee
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology filed Critical Hefei University of Technology
Priority to CN202110794172.0A priority Critical patent/CN113378796B/zh
Publication of CN113378796A publication Critical patent/CN113378796A/zh
Application granted granted Critical
Publication of CN113378796B publication Critical patent/CN113378796B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于上下文建模的宫颈细胞全切片分类方法，包括：1.获取T类宫颈细胞全切片样本；2.构造基于Faster Rcnn网络的细胞检测和特征提取模块，对宫颈细胞全切片样本进行细胞检测和特征提取，对固定大小的细胞核图像提取特征，得到不同类型细胞全切片中的细胞核图像的特征序列；3.搭建双向长短期记忆网络和注意力机制融合的上下文建模模块；4.搭建宫颈细胞全切片分类器；5.进行宫颈细胞全切片的分类预测。本发明通过对输入的不同宫颈细胞全切片中的细胞核图像进行特征提取后的信息进行更加有效的学习，完成对多种不同宫颈细胞全切片的准确分类，能够有效降低当前宫颈细胞分类方法对于细胞级别的标注代价。

Description

一种基于上下文建模的宫颈细胞全切片分类方法
技术领域
本发明涉及数字图像处理技术领域，特别涉及图像分类技术，具体涉及一种基于上下文建模的宫颈细胞病理全切片分类方法。
背景技术
传统的病理图像分析是通过病理医生在显微镜下进行人工阅片来完成的，这一环节需要有着丰富临床经验的医生对大量组织病理学的切片图像进行分析，然而医生每天的阅片数量十分庞大，阅片时间长，医生可能会因为超负荷的工作量、主观情绪的影响严重影响病理切片分析的正确率，这给病理切片分析的发展带来了很大的阻碍。若是能够提升宫颈细胞全切片分类的自动化进程，利用计算机辅助阅片，将给病理切片分析带来新的发展思路。
近年来，深度学习的出现引起了计算机视觉领域的广泛关注，并开始将其应用于各种视觉任务，并取得了显著的效果。目前，基于深度学习的宫颈细胞分类方法大多只采用简单的网络模型对细胞图像特征进行提取和学习，在预测的准确度上还有很大的提升空间。
发明内容
本发明为克服现有技术的不足之处，提出一种基于上下文建模的宫颈细胞全切片分类方法，以期能够更好地学习和提取全切片中的细胞图像特征，从而能提高分类的效率和准确率，并有效降低当前宫颈细胞分类方法对于细胞级别的标注代价。
本发明为达到上述发明目的，采用如下技术方案：
本发明一种基于上下文建模的宫颈细胞全切片的分类方法的特点是按如下步骤进行：
步骤1、获取T类维度为H×W×C的宫颈细胞全切片样本并进行归一化预处理，得到预处理后的全切片序列并作为训练样本，记为S＝{S1,S2,…,St,…,ST}，其中，St表示第t类归一化后的宫颈细胞全切片样本，且
Figure GDA0003726617760000011
表示第t类归一化后的宫颈细胞全切片样本St中的第k个全切片，H表示高度、W表示宽度、C表示通道数；K表示第t类归一化后的宫颈细胞全切片样本St的总切片数；
采用非重叠分割方式将第k个全切片
Figure GDA0003726617760000012
分割成多个图像块，得到分块集合记为
Figure GDA0003726617760000013
表示第k个全切片
Figure GDA0003726617760000014
的第n个分块图像；Nk表示第k个全切片
Figure GDA0003726617760000015
的总块数；
步骤2、搭建基于Faster Rcnn网络的细胞检测和提取网络，用于固定大小的细胞检测和特征提取；
步骤2.1、搭建由骨干网络、区域提取网络、ROI检测网络、分类网络构成的细胞检测和提取网络；
步骤2.1.1、所述骨干网络是基于ResNet101网络，并依次包括：第一卷积块、第二卷积块、第三卷积块、第四卷积块、第五卷积块和第六分类块；
第一卷积块的卷积核为n1×n2，第二卷积块由三个残差块构成，第三卷积块由四个残差块构成，第四卷积块由二十三个残差块构成，第五卷积块由三个残差组成，第六分类块由一个平均池化层和全连接层构成；每个残差块中包含两个1×1的卷积核和一个3×3的卷积核；
将所述第n个分块图像
Figure GDA0003726617760000021
输入所述骨干网络中进行处理，依次经过五个卷积块后输出特征图
Figure GDA0003726617760000022
步骤2.1.2、所述区域提取网络在所述特征图
Figure GDA0003726617760000023
上生成各个尺度和长宽比的锚点框，并通过Softmax分类器判定各个锚点框内是前景还是背景，并将判定为前景的锚点框作为目标候选区域，再利用边框回归图修正所述目标候选区域，从而得到多个精准候选区域并输出；
步骤2.1.3、所述ROI检测网络利用ROI池化层将多个精准候选区域映射到所述特征图
Figure GDA0003726617760000024
上，再利用全连接层和Softmax分类器构成的分类网络依次对特征图
Figure GDA0003726617760000025
上的精准候选区域进行判断，若判断为细胞核图像，则提取特征图
Figure GDA0003726617760000026
上相应精准候选区域并作为细胞核特征图，从而得到细胞核特征图集合
Figure GDA0003726617760000027
表示第k个全切片
Figure GDA0003726617760000028
的第n个分块图像
Figure GDA0003726617760000029
的特征图
Figure GDA00037266177600000210
中第j个细胞核特征图；Jt,k,n表示特征图
Figure GDA00037266177600000211
的细胞核特征图总数；
将所述第j个细胞核特征图
Figure GDA00037266177600000212
输入至骨干提取网络的第六分类块中，输出第j个细胞核特征向量
Figure GDA00037266177600000213
从而得到Jt,k,n个细胞核特征向量并构成细胞核特征序列
Figure GDA00037266177600000214
步骤3、构造上下文建模网络，包括：双向长短期记忆网络Bi-LSTM、注意力机制模块和融合模块：
步骤3.1、构造双向长短期记忆网络；
步骤3.1.1、所述双向长短期记忆网络Bi-LSTM，包括：前向LSTM和后向LSTM，用于对输入的细胞核特征序列
Figure GDA0003726617760000031
进行特征学习；
将第j个细胞核特征向量
Figure GDA0003726617760000032
分别输入前向LSTM和后向LSTM中，相应得到a时刻前向LSTM的隐状态输出为
Figure GDA0003726617760000033
和后向LSTM的隐状态输出为
Figure GDA0003726617760000034
并拼接为a时刻双向长短期记忆网络Bi-LSTM的输出
Figure GDA0003726617760000035
从而得到a时刻的隐状态集合
Figure GDA0003726617760000036
步骤3.2、所述注意力机制模块，包括：一个最大池化层、一个全连接层和一个回归函数；将第j个细胞核特征向量
Figure GDA0003726617760000037
输入注意力机制模块中，并依次经过最大池化层、全连接层后，得到注意力特征向量
Figure GDA0003726617760000038
从而得到注意力特征序列
Figure GDA0003726617760000039
将所述输入注意力特征向量
Figure GDA00037266177600000310
输入回归函数中，从而利用式(1)得到第j个细胞核特征向量
Figure GDA00037266177600000311
的权重
Figure GDA00037266177600000312
从而得到权重集合
Figure GDA00037266177600000313
Figure GDA00037266177600000314
式(1)中，
Figure GDA00037266177600000315
表示输入注意力特征向量
Figure GDA00037266177600000316
的转置，V′表示矩阵数乘
Figure GDA00037266177600000317
的转置，d表示超参数，T表示细胞类别数；tanh()表示正切曲线函数；
步骤3.3、所述融合模块将所述隐状态集合
Figure GDA00037266177600000318
和所述权重集合On t,k结合起来并输入至tanh激活函数中得到特征融合信息序列Rn t,k；再将特征融合信息序列Rn t,k序列输入一个全连接层中，从而得到第n个分块图像
Figure GDA00037266177600000319
的分类结果；
步骤4、利用式(2)建立KL散度损失函数ZKL：
Figure GDA00037266177600000320
式(2)中，
Figure GDA0003726617760000041
表示第k个全切片
Figure GDA0003726617760000042
是第t类的真值得分，
Figure GDA0003726617760000043
表示融合模块输出的第k个全切片
Figure GDA0003726617760000044
是第t类的预测概率得分；
将所述训练样本中各个全切片的所有图像块输入所述细胞检测和提取网络以及上下文建模网络进行训练，并通过Adam优化器不断优化KL散度损失函数ZKL，以调整网络参数，从而得到宫颈细胞全切片分类器，用于实现宫颈细胞全切片的分类结果。
与已有技术相比，本发明的有益效果体现在：
1、本发明与传统的细胞级分类方法不同，构建了一种全切片级别的细胞分类方法，将不同类型细胞全切片进行细胞检测与细胞特征提取训练，能够有效对细胞全切片进行分类，从而有效降低了当前宫颈细胞分类方法对于细胞级别的标注代价。
2、本发明通过构建双向长短期记忆网络(Bi-LSTM)和注意力机制融合的上下文建模网络，双向长短期记忆网络(Bi-LSTM)对提取到的图片特征进行深入的学习与建模，使模型能够充分利用历史信息以及当前输入，挖掘wsi上下文信息，提高了分类的准确性和精度；增加了注意力机制，能够减少无效信息的影响，提高看分类任务的精度。
3、本发明通过使用一种基于深度学习的宫颈细胞全切片分类方法对宫颈细胞全切片进行分类，能够加快对宫颈细胞全切片分类的自动化进程，并能辅助病理医生进行辅助阅片，有助于减轻病理医生的负担，同时由于计算机自动化筛查诊疗成本较低，有利于解决医疗资源分布不均的问题，可以让辅助阅片覆盖社区、乡村的基层医院，从而对提高病理医生的阅片效率有着意义深远的影响。
附图说明
图1为本发明的方法流程图；
图2为本发明双向长短期记忆网络(Bi-LSTM)和上下文建模模块图。
具体实施方式
本实施例中，一种基于上下文建模的宫颈细胞病理全切片分类方法，主要是利用Faster-Rcnn网络进行全切片中细胞的检测和细胞核图像单元特征的提取，并利用双向长短期记忆网络(Bi-LSTM)加注意力机制进行全切片图像特征的建模，进行特征的学习，并通过宫颈细胞全切片(wsi)分类器进行宫颈细胞全切片(wsi)的分类预测，如图1所示，具体步骤如下：
步骤1、获取T类维度为H×W×C的宫颈细胞全切片样本并进行归一化预处理，得到预处理后的全切片序列并作为训练样本，记为S＝{S1,S2,…,St,…,ST}，其中，St表示第t类归一化后的宫颈细胞全切片样本，且
Figure GDA0003726617760000051
表示第t类归一化后的宫颈细胞全切片样本St中的第k个全切片，H表示高度、W表示宽度、C表示通道数；K表示第t类归一化后的宫颈细胞全切片样本St的总切片数；本实施例中，利用不同种类的宫颈细胞全切片图像作为训练和测试的样本，例如不典型鳞状上皮细胞、非典型腺细胞等，每类全切片图像各有300张，所有的数据80％作为训练集，20％作为测试集。
采用非重叠分割方式将第k个全切片
Figure GDA0003726617760000052
分割成多个图像块，得到分块集合记为
Figure GDA0003726617760000053
表示第k个全切片
Figure GDA0003726617760000054
的第n个分块图像；Nk表示第k个全切片
Figure GDA0003726617760000055
的总块数；
步骤2、搭建基于Faster Rcnn网络的细胞检测和提取网络，用于固定大小的细胞检测和特征提取；
步骤2.1、搭建由骨干网络、区域提取网络、ROI检测网络、分类网络构成的细胞检测和提取网络；
步骤2.1.1、骨干网络是基于ResNet101网络，并依次包括：第一卷积块、第二卷积块、第三卷积块、第四卷积块、第五卷积块和第六分类块；
第一卷积块的卷积核为n1×n2，第二卷积块由三个残差块构成，第三卷积块由四个残差块构成，第四卷积块由二十三个残差块构成，第五卷积块由三个残差组成，第六分类块由一个平均池化层和全连接层构成；每个残差块中包含两个1×1的卷积核和一个3×3的卷积核；本实施例中，第一卷积块的卷积核为7×7。
将第n个分块图像
Figure GDA0003726617760000056
输入骨干网络中进行处理，依次经过五个卷积块后输出特征图
Figure GDA0003726617760000057
步骤2.1.2、区域提取网络在特征图
Figure GDA0003726617760000058
上生成各个尺度和长宽比的锚点框，并通过Softmax分类器判定各个锚点框内是前景还是背景，并将判定为前景的锚点框作为目标候选区域，再利用边框回归图修正目标候选区域，从而得到多个精准候选区域并输出；
步骤2.1.3、ROI检测网络利用ROI池化层将多个精准候选区域映射到特征图
Figure GDA0003726617760000059
上，再利用全连接层和Softmax分类器构成的分类网络依次对特征图
Figure GDA00037266177600000510
上的精准候选区域进行判断，若判断为细胞核图像，则提取特征图
Figure GDA00037266177600000511
上相应精准候选区域并作为细胞核特征图，从而得到细胞核特征图集合
Figure GDA0003726617760000061
表示第k个全切片
Figure GDA0003726617760000062
的第n个分块图像
Figure GDA0003726617760000063
的特征图
Figure GDA0003726617760000064
中第j个细胞核特征图；Jt,k,n表示特征图
Figure GDA0003726617760000065
的细胞核特征图总数；
将第j个细胞核特征图
Figure GDA0003726617760000066
输入至骨干提取网络的第六分类块中，输出第j个细胞核特征向量
Figure GDA0003726617760000067
从而得到Jt,k,n个细胞核特征向量并构成细胞核特征序列
Figure GDA0003726617760000068
步骤3、如图2所示，构造上下文建模网络，包括：双向长短期记忆网络Bi-LSTM、注意力机制模块和融合模块：
步骤3.1、构造双向长短期记忆网络；
步骤3.1.1、双向长短期记忆网络Bi-LSTM，包括：前向LSTM和后向LSTM，用于对输入的细胞核特征序列
Figure GDA0003726617760000069
进行特征学习；
将第j个细胞核特征向量
Figure GDA00037266177600000610
分别输入前向LSTM和后向LSTM中，相应得到a时刻前向LSTM的隐状态输出为
Figure GDA00037266177600000611
和后向LSTM的隐状态输出为
Figure GDA00037266177600000612
并拼接为a时刻双向长短期记忆网络Bi-LSTM的输出
Figure GDA00037266177600000613
从而得到a时刻的隐状态集合
Figure GDA00037266177600000614
步骤3.2、注意力机制模块，包括：一个最大池化层、一个全连接层和一个回归函数；将第j个细胞核特征向量
Figure GDA00037266177600000615
输入注意力机制模块中，并依次经过最大池化层、全连接层后，得到注意力特征向量
Figure GDA00037266177600000616
从而得到注意力特征序列
Figure GDA00037266177600000617
将输入注意力特征向量
Figure GDA00037266177600000618
输入回归函数中，从而利用式(1)得到第j个细胞核特征向量
Figure GDA00037266177600000619
的权重Oj t,k,n，从而得到权重集合
Figure GDA00037266177600000620
Figure GDA00037266177600000621
式(1)中，
Figure GDA0003726617760000071
表示
Figure GDA0003726617760000072
的转置，
Figure GDA0003726617760000073
的转置，d表示超参数，T表示细胞类别数；c表示细胞类别数；tanh()表示正切曲线函数；本实例中，细胞类别数c为5。
步骤3.3、融合模块利用式(2)将隐状态集合
Figure GDA0003726617760000074
和权重集合On t,k结合并输入至tanh激活函数中得到特征融合信息序列Rn t,k；再将特征融合信息序列Rn t,k序列输入一个全连接层中，从而得到第n个分块图像
Figure GDA0003726617760000075
的分类结果；
Figure GDA0003726617760000076
式(2)中，
Figure GDA0003726617760000077
表示相加计算；tanh()表示正切曲线函数。本实施例中，最终的分类结果为一个T维的特征向量，代表对应分类类别的预测概率得分。
步骤4、利用式(2)建立KL散度损失函数ZKL：
Figure GDA0003726617760000078
式(2)中，
Figure GDA0003726617760000079
表示第k个全切片
Figure GDA00037266177600000710
是第t类的真值得分，
Figure GDA00037266177600000711
表示融合模块输出的第k个全切片
Figure GDA00037266177600000712
是第t类的预测概率得分；
将训练样本中各个全切片的所有图像块输入细胞检测和提取网络以及上下文建模网络进行训练，通过Adam优化器不断优化KL散度损失函数ZKL，以调整网络参数，从而得到宫颈细胞全切片分类器；
步骤5、宫颈细胞全切片(wsi)的分类预测；
首先对宫颈细胞全切片图像进行固定大小的非重叠图像分块处理，将处理后的分块处理单元输入至基于Faster Rcnn网络的细胞检测网络进行检测，将检测到的细胞核选框区域进行特征提取，得到所有细胞核图像的特征序列，输入至双向长短期记忆网络(Bi-LSTM)和注意力机制融合的上下文建模网络模型对细胞核图像进行预测，加载步骤4中细胞检测和提取网络以及上下文建模网络的网络结构与权重参数，将细胞核图像特征序列输入至上述深度网络中得到分类结果。

Claims (1)

1.一种基于上下文建模的宫颈细胞全切片的分类方法，其特征是按如下步骤进行：
步骤1、获取T类维度为H×W×C的宫颈细胞全切片样本并进行归一化预处理，得到预处理后的全切片序列并作为训练样本，记为S＝{S1,S2,…,St,…,ST}，其中，St表示第t类归一化后的宫颈细胞全切片样本，且
Figure FDA0003726617750000011
Figure FDA0003726617750000012
表示第t类归一化后的宫颈细胞全切片样本St中的第k个全切片，H表示高度、W表示宽度、C表示通道数；K表示第t类归一化后的宫颈细胞全切片样本St的总切片数；
采用非重叠分割方式将第k个全切片
Figure FDA0003726617750000013
分割成多个图像块，得到分块集合记为
Figure FDA0003726617750000014
Figure FDA0003726617750000015
表示第k个全切片
Figure FDA0003726617750000016
的第n个分块图像；Nk表示第k个全切片
Figure FDA0003726617750000017
的总块数；
步骤2、搭建基于FasterRcnn网络的细胞检测和提取网络，用于固定大小的细胞检测和特征提取；
步骤2.1、搭建由骨干网络、区域提取网络、ROI检测网络、分类网络构成的细胞检测和提取网络；
步骤2.1.1、所述骨干网络是基于ResNet101网络，并依次包括：第一卷积块、第二卷积块、第三卷积块、第四卷积块、第五卷积块和第六分类块；
第一卷积块的卷积核为n1×n2，第二卷积块由三个残差块构成，第三卷积块由四个残差块构成，第四卷积块由二十三个残差块构成，第五卷积块由三个残差组成，第六分类块由一个平均池化层和全连接层构成；每个残差块中包含两个1×1的卷积核和一个3×3的卷积核；
将所述第n个分块图像
Figure FDA0003726617750000018
输入所述骨干网络中进行处理，依次经过五个卷积块后输出特征图
Figure FDA0003726617750000019
步骤2.1.2、所述区域提取网络在所述特征图
Figure FDA00037266177500000110
上生成各个尺度和长宽比的锚点框，并通过Softmax分类器判定各个锚点框内是前景还是背景，并将判定为前景的锚点框作为目标候选区域，再利用边框回归图修正所述目标候选区域，从而得到多个精准候选区域并输出；
步骤2.1.3、所述ROI检测网络利用ROI池化层将多个精准候选区域映射到所述特征图
Figure FDA00037266177500000111
上，再利用全连接层和Softmax分类器构成的分类网络依次对特征图
Figure FDA00037266177500000112
上的精准候选区域进行判断，若判断为细胞核图像，则提取特征图
Figure FDA00037266177500000113
上相应精准候选区域并作为细胞核特征图，从而得到细胞核特征图集合
Figure FDA0003726617750000021
Figure FDA0003726617750000022
表示第k个全切片
Figure FDA0003726617750000023
的第n个分块图像
Figure FDA0003726617750000024
的特征图
Figure FDA0003726617750000025
中第j个细胞核特征图；Jt,k,n表示特征图
Figure FDA0003726617750000026
的细胞核特征图总数；
将所述第j个细胞核特征图
Figure FDA0003726617750000027
输入至骨干提取网络的第六分类块中，输出第j个细胞核特征向量
Figure FDA0003726617750000028
从而得到Jt,k,n个细胞核特征向量并构成细胞核特征序列
Figure FDA0003726617750000029
步骤3、构造上下文建模网络，包括：双向长短期记忆网络Bi-LSTM、注意力机制模块和融合模块：
步骤3.1、构造双向长短期记忆网络；
步骤3.1.1、所述双向长短期记忆网络Bi-LSTM，包括：前向LSTM和后向LSTM，用于对输入的细胞核特征序列
Figure FDA00037266177500000210
进行特征学习；
将第j个细胞核特征向量
Figure FDA00037266177500000211
分别输入前向LSTM和后向LSTM中，相应得到a时刻前向LSTM的隐状态输出为
Figure FDA00037266177500000212
和后向LSTM的隐状态输出为
Figure FDA00037266177500000213
并拼接为a时刻双向长短期记忆网络Bi-LSTM的输出
Figure FDA00037266177500000214
从而得到a时刻的隐状态集合
Figure FDA00037266177500000215
步骤3.2、所述注意力机制模块，包括：一个最大池化层、一个全连接层和一个回归函数；将第j个细胞核特征向量
Figure FDA00037266177500000216
输入注意力机制模块中，并依次经过最大池化层、全连接层后，得到注意力特征向量
Figure FDA00037266177500000217
从而得到注意力特征序列
Figure FDA00037266177500000218
将所述输入注意力特征向量
Figure FDA00037266177500000219
输入回归函数中，从而利用式(1)得到第j个细胞核特征向量
Figure FDA00037266177500000220
的权重Oj t,k,n，从而得到权重集合
Figure FDA00037266177500000221
Figure FDA00037266177500000222
式(1)中，
Figure FDA0003726617750000031
表示输入注意力特征向量
Figure FDA0003726617750000032
的转置，V′表示矩阵数乘
Figure FDA0003726617750000033
的转置，d表示超参数，T表示细胞类别数；tanh()表示正切曲线函数；
步骤3.3、所述融合模块将所述隐状态集合
Figure FDA0003726617750000034
和所述权重集合On t,k结合起来并输入至tanh激活函数中得到特征融合信息序列Rn t,k；再将特征融合信息序列Rn t,k序列输入一个全连接层中，从而得到第n个分块图像
Figure FDA0003726617750000035
的分类结果；
步骤4、利用式(2)建立KL散度损失函数ZKL：
Figure FDA0003726617750000036
式(2)中，
Figure FDA0003726617750000037
表示第k个全切片
Figure FDA0003726617750000038
是第t类的真值得分，
Figure FDA0003726617750000039
表示融合模块输出的第k个全切片
Figure FDA00037266177500000310
是第t类的预测概率得分；
将所述训练样本中各个全切片的所有图像块输入所述细胞检测和提取网络以及上下文建模网络进行训练，并通过Adam优化器不断优化KL散度损失函数ZKL，以调整网络参数，从而得到宫颈细胞全切片分类器，用于实现宫颈细胞全切片的分类结果。
CN202110794172.0A 2021-07-14 2021-07-14 一种基于上下文建模的宫颈细胞全切片分类方法 Active CN113378796B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110794172.0A CN113378796B (zh) 2021-07-14 2021-07-14 一种基于上下文建模的宫颈细胞全切片分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110794172.0A CN113378796B (zh) 2021-07-14 2021-07-14 一种基于上下文建模的宫颈细胞全切片分类方法

Publications (2)

Publication Number Publication Date
CN113378796A CN113378796A (zh) 2021-09-10
CN113378796B true CN113378796B (zh) 2022-08-19

Family

ID=77582023

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110794172.0A Active CN113378796B (zh) 2021-07-14 2021-07-14 一种基于上下文建模的宫颈细胞全切片分类方法

Country Status (1)

Country Link
CN (1) CN113378796B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114037702B (zh) * 2022-01-10 2022-05-17 湖南品信生物工程有限公司 一种切片级***筛查与分类的方法及装置
CN114581429B (zh) * 2022-03-14 2024-04-19 中南大学 一种基于区域关系的宫颈细胞检测方法及成像方法
CN114638823B (zh) * 2022-05-07 2022-08-12 赛维森(广州)医疗科技服务有限公司 基于注意力机制序列模型的全切片图像分类方法及装置
CN114627123B (zh) * 2022-05-16 2022-11-01 湖南工商大学 综合双流加权网络和空间注意力机制的白带细胞检测方法
CN117649660B (zh) * 2024-01-29 2024-04-19 武汉互创联合科技有限公司 基于全局信息融合的细胞***均衡度评估方法及终端

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018157381A1 (zh) * 2017-03-03 2018-09-07 深圳大学 病理切片图像智能分类方法及装置
CN110287960A (zh) * 2019-07-02 2019-09-27 中国科学院信息工程研究所 自然场景图像中曲线文字的检测识别方法
CN111079862A (zh) * 2019-12-31 2020-04-28 西安电子科技大学 基于深度学习的甲状腺***状癌病理图像分类方法
WO2020219165A1 (en) * 2019-04-25 2020-10-29 Nantomics, Llc Weakly supervised learning with whole slide images
CN112200793A (zh) * 2020-10-21 2021-01-08 湖南国科智瞳科技有限公司 数字病理切片质量的实时监控方法及***、计算机设备
WO2021035097A1 (en) * 2019-08-21 2021-02-25 Fountain Therapeutics, Inc. Cell age classification and drug screening

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018157381A1 (zh) * 2017-03-03 2018-09-07 深圳大学 病理切片图像智能分类方法及装置
WO2020219165A1 (en) * 2019-04-25 2020-10-29 Nantomics, Llc Weakly supervised learning with whole slide images
CN110287960A (zh) * 2019-07-02 2019-09-27 中国科学院信息工程研究所 自然场景图像中曲线文字的检测识别方法
WO2021035097A1 (en) * 2019-08-21 2021-02-25 Fountain Therapeutics, Inc. Cell age classification and drug screening
CN111079862A (zh) * 2019-12-31 2020-04-28 西安电子科技大学 基于深度学习的甲状腺***状癌病理图像分类方法
CN112200793A (zh) * 2020-10-21 2021-01-08 湖南国科智瞳科技有限公司 数字病理切片质量的实时监控方法及***、计算机设备

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
An end-to-end breast tumour classification model using context-based patch modelling – A BiLSTM approach for image classification;Suvidha Tripathi et al;《Computerized Medical Imaging and Graphics》;20210131;第1-15页 *
Feature based Sequential Classifier with Attention Mechanism;Sudhir Sornapudi et al;《arXiv:2007.11392》;20200731;第1-9页 *
基于卷积神经网络和迁移学习的宫颈细胞学图像异常区域检测;何君婷;《中国优秀硕士学位论文全文数据库 (医药卫生科技辑)》;20200215;第E068-44页 *
基于多层上下文卷积神经网络的目标检测算法;王浩等;《模式识别与人工智能》;20200215(第02期);第113-120页 *

Also Published As

Publication number Publication date
CN113378796A (zh) 2021-09-10

Similar Documents

Publication Publication Date Title
CN113378796B (zh) 一种基于上下文建模的宫颈细胞全切片分类方法
CN108830209B (zh) 基于生成对抗网络的遥感图像道路提取方法
CN111488921B (zh) 一种全景数字病理图像智能分析***及方法
CN108764072B (zh) 一种基于多尺度融合的血细胞亚型图像分类方法
CN114092832B (zh) 一种基于并联混合卷积网络的高分辨率遥感影像分类方法
CN109033978B (zh) 一种基于纠错策略的cnn-svm混合模型手势识别方法
Yang et al. TTL-IQA: Transitive transfer learning based no-reference image quality assessment
CN107506792B (zh) 一种半监督的显著对象检测方法
CN111612051A (zh) 一种基于图卷积神经网络的弱监督目标检测方法
CN105989336A (zh) 基于带权重的解卷积深度网络学习的场景识别方法
CN112507904B (zh) 一种基于多尺度特征的教室人体姿态实时检测方法
EP4075325A1 (en) Method and system for the classification of histopathological images based on multiple instance learning
CN111553414A (zh) 一种基于改进Faster R-CNN的车内遗失物体检测方法
WO2024060416A1 (zh) 一种病理图像的端到端弱监督语义分割标注方法
CN112434172A (zh) 一种病理图像预后特征权重计算方法及***
Arjmand et al. Deep learning in liver biopsies using convolutional neural networks
CN113313697A (zh) 图像分割和分类方法及其模型训练方法、相关装置及介质
CN114445356A (zh) 基于多分辨率的全视野病理切片图像肿瘤快速定位方法
CN110853021B (zh) 一种病理鳞状上皮细胞的检测分类模型的构建
CN115131613A (zh) 一种基于多向知识迁移的小样本图像分类方法
CN115909006A (zh) 基于卷积Transformer的乳腺组织图像分类方法及***
CN115359264A (zh) 一种密集型分布的粘连细胞深度学习识别方法
CN114119669A (zh) 一种基于Shuffle注意力的图匹配目标跟踪方法与***
CN114092467A (zh) 一种基于轻量化卷积神经网络的划痕检测方法及***
CN113436115A (zh) 一种基于深度无监督学习的图像阴影检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant