CN110826576A - 一种基于多模态特征级融合的宫颈病变预测*** - Google Patents

一种基于多模态特征级融合的宫颈病变预测*** Download PDF

Info

Publication number
CN110826576A
CN110826576A CN201910959387.6A CN201910959387A CN110826576A CN 110826576 A CN110826576 A CN 110826576A CN 201910959387 A CN201910959387 A CN 201910959387A CN 110826576 A CN110826576 A CN 110826576A
Authority
CN
China
Prior art keywords
image
acetic acid
iodine
extraction network
cervical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910959387.6A
Other languages
English (en)
Other versions
CN110826576B (zh
Inventor
吴健
陈婷婷
马鑫军
刘雪晨
吕卫国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201910959387.6A priority Critical patent/CN110826576B/zh
Publication of CN110826576A publication Critical patent/CN110826576A/zh
Application granted granted Critical
Publication of CN110826576B publication Critical patent/CN110826576B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/29—Graphical models, e.g. Bayesian networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于多模态特征级融合的宫颈病变预测***，包括计算机存储器、计算机处理器以及存储在计算机存储器中并可在计算机处理器上执行的计算机程序，计算机存储器中存有宫颈病变预测模型，包括醋酸图像特征提取网络、碘图像特征提取网络以及用于将提取的特征进行融合的辅助模块；计算机处理器执行计算机程序时实现以下步骤：接收***镜检查中的醋酸图像和碘图像，裁剪出包含宫颈的区域；将醋酸图像和碘图像分别输入到宫颈病变预测模型中的醋酸图像特征提取网络和碘图像特征提取网络，经特征提取后，分别输入各自的辅助模块中，进行特征融合，经计算输出预测结果。本发明可以使预测结果更准确，以协助医生做出正确的诊断和判断。

Description

一种基于多模态特征级融合的宫颈病变预测***
技术领域
本发明属于医疗图像处理领域，尤其是涉及一种基于多模态特征级融合的宫颈病变预测***。
背景技术
***是女性生殖***中第二常见的癌症类型，严重影响患者的生命和生活质量。宫颈疾病筛查可以通过检测鳞状上皮内病变来帮助预防***，这些病变通常分为两类：低级别鳞状上皮内病变(LSIL)和高级别鳞状上皮内病变(HSIL)。在临床实践中，筛查的一个重要目标是将宫颈高级别鳞状上皮内病变(HSIL)与正常/低级别鳞状上皮内病变(LSIL)区分开来，以便早期发现***，因为大多数(60％)低级别鳞状上皮内病变会自动恢复正常，而高级别鳞状上皮内病变则需要治疗。
***镜检查是一种常用的***筛查方法，在宫颈上皮细胞上依次应用5％醋酸和复方碘溶液后，对宫颈进行多次拍照。醋酸图像记录了宫颈对乙酸的反应(醋酸增白)，碘图像显示了碘不染色的程度。
现有宫颈病变识别方法多采用手工提取醋酸图像特征，利用支持向量机(SVM)、Adaboost或随机森林对正常/低级鳞状上皮内病变(Normal/LSIL)和高级别鳞状上皮内病变(HSIL)进行分类。有的工作将醋酸图像与一些临床检查结果(如HPV和Pap试验)结合起来，并使用SVM或k近邻分别计算每种模式的决策得分；然后他们整合所有模式的决策得分，形成最终的决策。Xu等人提出了一种深度学习网络来建模醋酸图像与一些临床检查结果(称为非图像数据)之间的非线性关系。
公开号为CN107220975A的中国专利文献公开了一种宫颈图像智能辅助判断***及其处理方法，包括：***镜检测装置和辅助判断装置。通过将***镜检测装置与辅助判断装置结合在一起，利用***镜检测装置获取待检测宫颈图像，配合辅助判断装置将待检测宫颈图像和其特征数据进行对比分析，不仅可判断当前待检测宫颈是否是正常宫颈，而且还可以利用待检测宫颈图像的特征数据得到当前待检测宫颈有可能是属于什么病变类型及病变的特征参数。
但是，上述这些宫颈病变识别方法在使用过程中仅使用一种图像(只使用了醋酸图像或者碘图像)，这不能充分地捕捉宫颈病变的特征。
在临床实践中，医生通常同时分析醋酸图像和碘图像，以确定潜在的病变，从而实现更准确地诊断。这是因为醋酸和碘图像通常包含高度相关的信息。例如，醋酸图像中的醋酸增白区域可以作为碘图像中碘不染色区域的补充支持(反之亦然)。因此，为了更好地捕捉病变特征并与实际诊断实践相一致，需要学习并探索醋酸和碘图像的融合来进一步提高宫颈病变识别的准确率。
发明内容
为解决现有技术存在的上述问题，本发明提供了一种基于多模态特征级融合的宫颈病变预测***，融合了醋酸图像和碘图像的宫颈病变信息，使预测宫颈病变更准确，以协助医生做出正确的诊断和判断。
本发明的技术方案如下：
一种基于多模态特征级融合的宫颈病变预测***，包括计算机存储器、计算机处理器以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序，所述计算机存储器中存有宫颈病变预测模型，其包括醋酸图像特征提取网络、碘图像特征提取网络以及用于将提取的特征进行融合的辅助模块；其中，醋酸图像特征提取网络、碘图像特征提取网络都基于ResNet-50网络；
所述计算机处理器执行所述计算机程序时实现以下步骤：
接收***镜检查中的醋酸图像和碘图像，裁剪出包含宫颈的区域；
将醋酸图像和碘图像分别输入到宫颈病变预测模型中的醋酸图像特征提取网络和碘图像特征提取网络，网络的各个卷积块依次提取特征，并经过辅助模块进行融合，然后输入到下一个卷积块，直到全连接层，最后输出宫颈病变的预测结果。
本发明的预测***，宫颈病变预测模型实现了多模态特征级融合，输入图像为涂有醋酸和碘溶液的宫颈***镜图像，通过融合醋酸图像和碘图像的宫颈病变信息，识别宫颈病变，有助于促进探索多模态融合的潜在机制，以及促进宫颈病变智能识别的发展。
所述宫颈病变预测模型的获得过程为：
建立训练集：为每个病人筛选出一张醋酸图像和一张碘图像，并根据病人的病理结果对图像进行标注，采用Faster R-CNN模型检测出图像上只包含宫颈的区域，并在原图上裁剪，将图像数据划分为训练集、验证集和测试集；
建立网络结构：以ResNet-50网络作为醋酸图像特征提取网络和碘图像特征提取网络，醋酸图像特征提取网络和碘图像特征提取网络的各个卷积块的输出依次输入到各自的辅助模块并进行特征融合；融合特征后的醋酸图像特征和碘图像特征各自经过一个全连接层后，集成两个网络的结果；
训练网络结构：使用训练集的醋酸图像和碘图像训练网络，训练时，根据模型在验证集上的效果，调整训练参数，直到模型收敛，得到训练好的宫颈病变预测模型。
在建立训练集过程中，对图像标注时，将图像数据分为正常/低级别病变和高级别病变两种类别。
本发明中，所述的醋酸图像特征提取网络和碘图像特征提取网络均包括依次连接的5个卷积块(也就是ResNet-50中的5个卷积块)和1个全连接层；
醋酸图像经过醋酸图像特征提取网络中Conv2、Conv3、Conv4和Conv5得到醋酸图像的特征表示
Figure BDA0002228414930000041
并分别输入到各自的辅助模块中，得到待融合的醋酸图像特征
Figure BDA0002228414930000042
与碘图像的特征融合后得到醋酸图像增强后的碘图像特征
Figure BDA0002228414930000043
碘图像经过碘图像特征提取网络中Conv2、Conv3、Conv4和Conv5得到碘图像的特征表示
Figure BDA0002228414930000044
并分别输入到各自的辅助模块中，得到待融合的碘图像特征
Figure BDA0002228414930000045
与醋酸图像的特征融合后得到碘图像增强后的醋酸图像特征
Figure BDA0002228414930000046
上述过程的特征流向为：醋酸图像和碘图像分别输入到醋酸图像特征提取网络和碘图像特征提取网络中，直到Conv2分别得到特征
Figure BDA0002228414930000047
和
Figure BDA0002228414930000048
这时将
Figure BDA0002228414930000049
和
Figure BDA00022284149300000410
输入到各自的辅助模块中(方向相反但结构相同的辅助模块)，得到待融合的醋酸图像特征
Figure BDA00022284149300000411
和待融合的碘图像特征
Figure BDA00022284149300000412
再分别与碘图像特征和醋酸图像特征
Figure BDA00022284149300000414
融合，得到醋酸图像增强后的碘图像特征
Figure BDA00022284149300000415
和碘图像增强后的醋酸图像特征
Figure BDA00022284149300000416
此时将分别将增强后的特征输入到下一个卷积块Conv3，重复上述计算，直到最后的全连接层。
所述辅助模块的具体结构为：
先经过一个1×1卷积，实现通道降维，一般设置通道数降到256；接着依次通过卷积层以及瓶颈块后使用1×1卷积进行升维，其中，在浅层使用大卷积核的卷积层和更多数量的瓶颈块，在深层使用小卷积核的卷积层和少量瓶颈块；最后通过sigmoid函数将特征值归一化到[0,1]。
所述的醋酸图像特征提取网络和碘图像特征提取网络的5个卷积块中，Conv2、Conv3、Conv4和Conv5对应的辅助模块分别为7×7卷积和4个瓶颈块，5×5卷积和3个瓶颈块，3×3卷积和2个瓶颈块，1×1卷积和1个瓶颈块。
训练网络结构过程中，采用的损失函数为：
L＝La+Ld
其中，La和Ld分别为醋酸图像和碘图像的损失。
与现有技术相比，本发明具有以下有益效果：
本发明的宫颈病变预测模型基于ResNet-50骨架，即在醋酸图像和碘图上都使用ResNet-50来进行特征提取；由于两种图像在特征和病变上都存在着一定的相关性，本发明提出的宫颈病变预测模型实现了特征级融合，在醋酸和碘图像特征提取的过程中实现特征融合，使得醋酸图像和碘图像相互辅助，充分捕捉两者之间的潜在关系，并学习有利于病变识别的特征，从而完成多模态宫颈病变预测，大大提高了预测的准确率。
附图说明
图1为本发明建立训练集时对宫颈区域检测与裁剪的流程示意图；
图2为本发明宫颈病变预测模型的整体结构示意图；
图3为本发明实施例中宫颈病变预测模型的训练流程图。
具体实施方式
下面结合附图和实施例对本发明做进一步详细描述，需要指出的是，以下所述实施例旨在便于对本发明的理解，而对其不起任何限定作用。
步骤1：醋酸图像和碘图像准备
在***镜检查时，医生通过涂抹生理盐水、3％-5％醋酸溶液以及复方碘溶液来观察病人宫颈上皮的反应及变化，评价有无病变以及病变的程度。
本发明采用***镜检查中每个病人的醋酸图像和碘图像，由于在醋酸和碘图像中可能还存在一些医疗器械、文字、大面积出血和反光的图像，为保留质量较好的图像以及更好地学习图像特征，为每个病人筛选出一张醋酸图像和一张碘图像；并根据病人的病理结果得出该病人的真实标注，即根据给定的一个病人的醋酸图像和碘图像，知道其最终的诊断结果(正常、低级别病变、或高级别病变)。由于重点是识别宫颈高级别病变，本发明将数据分为：正常/低级别病变和高级别病变，也就是实现一个二分类任务。
此外，为了避免图像周围其他杂质的干扰，本发明采用Faster R-CNN模型检测出图像上只包含宫颈的区域，并在原图上裁剪，将只包含宫颈的醋酸和碘图像作为多模态特征级融合网络的输入，具体如图1所示。把所有数据划分为训练集、验证集和测试集，数据比例为7:2:1。
步骤2：宫颈病变预测模型的构建
如图2所示，本发明的宫颈病变预测模型主要基于ResNet-50模型和注意力机制。本发明为醋酸图像和碘图像都设计一个ResNet-50模型，并且在特征提取的过程中进行融合，也就是图2中的辅助模块。将经过ResNet-50的醋酸图像特征Conv2，Conv3，Conv4和Conv5拿出来(记为)，并分别输入到各自的辅助模块中，得到
Figure BDA0002228414930000062
并通过残差融合(也就是相乘再相加)与碘图像的特征融合，残差融合用公式表示为其中碘图像经过ResNet-50的特征表示为
Figure BDA0002228414930000064
同时，将碘图像的特征
Figure BDA0002228414930000065
分别经过结构相同但方向相反的辅助模块，得到
Figure BDA0002228414930000066
并与醋酸图像的特征融合，得到用碘图像增强后的醋酸图像特征 最后将醋酸图像和碘图像的特征各自经过一个全连接层，集成两个网络的结果，得到最后的宫颈病变分类结果。
其中，辅助模块的结构顺序为，(1)先经过一个1×1卷积，实现通道降维，以减少后续模型计算的参数量和复杂度，设置通道数降到256；(2)由于浅层特征有较少的语义信息，在浅层使用了大卷积核和更多数量的瓶颈块；而深层特征语义信息已经很丰富，在深层使用小卷积核和少量的瓶颈块，分别为7×7卷积和4个瓶颈块，5×5卷积和3个瓶颈块，3×3卷积和2个瓶颈块，1×1卷积和1个瓶颈块；(3)接着使用1×1卷积进行升维(升到降维前的通道数)；(4)最后通过sigmoid函数将特征值归一化到[0,1]。
步骤3：宫颈病变预测模型的训练
本发明的宫颈病变预测模型的输入为步骤1的醋酸图像和碘图像(仅包含宫颈区域)，使用训练集的醋酸图像和碘图像训练网络。训练流程如图3所示，将多组(batch＝8)醋酸图像和碘图像输入到网络中，训练模型，使得预测的病变类别尽可能和医生诊断的真实结果接近，采用的损失函数为：
L＝La+Ld
其中，La和Ld分别为醋酸图像和碘图像的损失；训练时，根据模型在验证集上的效果，调整训练参数，使得模型的性能更好；模型的输出为宫颈病变的预测结果。
步骤4：宫颈病变预测
当有新的患者***镜图像(测试集里的醋酸图像和碘图像)，只要将图像输入到训练好的多模态宫颈病变识别网络中就可以得出宫颈病变的预测结果。
以上所述的实施例对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的具体实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于多模态特征级融合的宫颈病变预测***，包括计算机存储器、计算机处理器以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序，其特征在于：
所述计算机存储器中存有宫颈病变预测模型，其包括醋酸图像特征提取网络、碘图像特征提取网络以及用于将提取的特征进行融合的辅助模块；其中，醋酸图像特征提取网络、碘图像特征提取网络都基于ResNet-50网络；
所述计算机处理器执行所述计算机程序时实现以下步骤：
接收***镜检查中的醋酸图像和碘图像，裁剪出包含宫颈的区域；
将醋酸图像和碘图像分别输入到宫颈病变预测模型中的醋酸图像特征提取网络和碘图像特征提取网络，网络的各个卷积块依次提取特征，并经过辅助模块进行融合，然后输入到下一个卷积块，直到全连接层，最后输出宫颈病变的预测结果。
2.根据权利要求1所述的基于多模态特征级融合的宫颈病变预测***，其特征在于，所述宫颈病变预测模型的获得过程为：
建立训练集：为每个病人筛选出一张醋酸图像和一张碘图像，并根据病人的病理结果对图像进行标注，采用Faster R-CNN模型检测出图像上只包含宫颈的区域，并在原图上裁剪，将图像数据划分为训练集、验证集和测试集；
建立网络结构：以ResNet-50网络作为醋酸图像特征提取网络和碘图像特征提取网络，醋酸图像特征提取网络和碘图像特征提取网络的各个卷积块的输出依次输入到各自的辅助模块并进行特征融合；融合特征后的醋酸图像特征和碘图像特征各自经过一个全连接层后，集成两个网络的结果；
训练网络结构：使用训练集的醋酸图像和碘图像训练网络，训练时，根据模型在验证集上的效果，调整训练参数，直到模型收敛，得到训练好的宫颈病变预测模型。
3.根据权利要求2所述的基于多模态特征级融合的宫颈病变预测***，其特征在于，对图像标注时，将图像数据分为正常/低级别病变和高级别病变两种类别。
4.根据权利要求1或2所述的基于多模态特征级融合的宫颈病变预测***，其特征在于，所述的醋酸图像特征提取网络和碘图像特征提取网络均包括依次连接的5个卷积块和1个全连接层；
醋酸图像经过醋酸图像特征提取网络中Conv2、Conv3、Conv4和Conv5得到醋酸图像的特征表示
Figure FDA0002228414920000021
并分别输入到各自的辅助模块中，得到待融合的醋酸图像特征与碘图像的特征融合后得到醋酸图像增强后的碘图像特征
Figure FDA0002228414920000023
碘图像经过碘图像特征提取网络中Conv2、Conv3、Conv4和Conv5得到碘图像的特征表示
Figure FDA0002228414920000024
并分别输入到各自的辅助模块中，得到待融合的碘图像特征
Figure FDA0002228414920000025
与醋酸图像的特征融合后得到碘图像增强后的醋酸图像特征
Figure FDA0002228414920000026
上述过程的特征流向为：醋酸图像和碘图像分别输入到醋酸图像特征提取网络和碘图像特征提取网络中，直到Conv2分别得到特征
Figure FDA0002228414920000027
和
Figure FDA0002228414920000028
这时将
Figure FDA0002228414920000029
和
Figure FDA00022284149200000210
输入到各自的辅助模块中，得到待融合的醋酸图像特征
Figure FDA00022284149200000211
和待融合的碘图像特征
Figure FDA00022284149200000212
再分别与碘图像特征
Figure FDA00022284149200000213
和醋酸图像特征融合，得到醋酸图像增强后的碘图像特征
Figure FDA00022284149200000215
和碘图像增强后的醋酸图像特征
Figure FDA00022284149200000216
此时将分别将增强后的特征输入到下一个卷积块Conv3，重复上述计算，直到最后的全连接层。
5.根据权利要求4所述的基于多模态特征级融合的宫颈病变预测***，其特征在于，所述辅助模块的具体结构为：
先经过一个1×1卷积，实现通道降维；接着依次通过卷积层以及瓶颈块后使用1×1卷积进行升维，其中，在浅层使用大卷积核的卷积层和更多数量的瓶颈块，在深层使用小卷积核的卷积层和少量瓶颈块；最后通过sigmoid函数将特征值归一化到[0,1]。
6.根据权利要求5所述的基于多模态特征级融合的宫颈病变预测***，其特征在于，通道降维时，设置通道数降到256。
7.根据权利要求5所述的基于多模态特征级融合的宫颈病变预测***，其特征在于，所述的醋酸图像特征提取网络和碘图像特征提取网络的5个卷积块中，Conv2、Conv3、Conv4和Conv5对应的辅助模块分别为7×7卷积和4个瓶颈块，5×5卷积和3个瓶颈块，3×3卷积和2个瓶颈块，1×1卷积和1个瓶颈块。
8.根据权利要求2所述的基于多模态特征级融合的宫颈病变预测***，其特征在于，训练网络结构过程中，采用的损失函数为：
L＝La+Ld
其中，La和Ld分别为醋酸图像和碘图像的损失。
CN201910959387.6A 2019-10-10 2019-10-10 一种基于多模态特征级融合的宫颈病变预测*** Active CN110826576B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910959387.6A CN110826576B (zh) 2019-10-10 2019-10-10 一种基于多模态特征级融合的宫颈病变预测***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910959387.6A CN110826576B (zh) 2019-10-10 2019-10-10 一种基于多模态特征级融合的宫颈病变预测***

Publications (2)

Publication Number Publication Date
CN110826576A true CN110826576A (zh) 2020-02-21
CN110826576B CN110826576B (zh) 2022-10-04

Family

ID=69549019

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910959387.6A Active CN110826576B (zh) 2019-10-10 2019-10-10 一种基于多模态特征级融合的宫颈病变预测***

Country Status (1)

Country Link
CN (1) CN110826576B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111882514A (zh) * 2020-07-27 2020-11-03 中北大学 一种基于双残差超密集网络的多模态医学图像融合方法
CN112258447A (zh) * 2020-09-14 2021-01-22 北京航空航天大学 基于多种染色病理图像的诊断信息评估方法及***
CN112348059A (zh) * 2020-10-23 2021-02-09 北京航空航天大学 基于深度学习的多种染色病理图像分类方法及***
CN112614099A (zh) * 2020-12-17 2021-04-06 杭州电子科技大学 基于Faster-RCNN模型的***病变区域检测方法
CN112750115A (zh) * 2021-01-15 2021-05-04 杭州电子科技大学 一种基于图神经网络的多模态***前病变图像识别方法
CN112884707A (zh) * 2021-01-15 2021-06-01 复旦大学附属妇产科医院 基于***镜的***前病变检测***、设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2523149A2 (en) * 2011-05-11 2012-11-14 Tata Consultancy Services Ltd. A method and system for association and decision fusion of multimodal inputs
US10127665B1 (en) * 2017-07-31 2018-11-13 Hefei University Of Technology Intelligent assistant judgment system for images of cervix uteri and processing method thereof
CN109034221A (zh) * 2018-07-13 2018-12-18 马丁 一种宫颈细胞学图像特征的处理方法及其装置
CN109543719A (zh) * 2018-10-30 2019-03-29 浙江大学 基于多模态注意力模型的宫颈非典型病变诊断模型和装置
CN109859159A (zh) * 2018-11-28 2019-06-07 浙江大学 一种基于多模态分割网络的宫颈病变区域分割方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2523149A2 (en) * 2011-05-11 2012-11-14 Tata Consultancy Services Ltd. A method and system for association and decision fusion of multimodal inputs
US10127665B1 (en) * 2017-07-31 2018-11-13 Hefei University Of Technology Intelligent assistant judgment system for images of cervix uteri and processing method thereof
CN109034221A (zh) * 2018-07-13 2018-12-18 马丁 一种宫颈细胞学图像特征的处理方法及其装置
CN109543719A (zh) * 2018-10-30 2019-03-29 浙江大学 基于多模态注意力模型的宫颈非典型病变诊断模型和装置
CN109859159A (zh) * 2018-11-28 2019-06-07 浙江大学 一种基于多模态分割网络的宫颈病变区域分割方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
T. CHEN等: "Multi-Modal Fusion Learning For Cervical Dysplasia Diagnosis", 《2019 IEEE 16TH INTERNATIONAL SYMPOSIUM ON BIOMEDICAL IMAGING (ISBI 2019)》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111882514A (zh) * 2020-07-27 2020-11-03 中北大学 一种基于双残差超密集网络的多模态医学图像融合方法
CN112258447A (zh) * 2020-09-14 2021-01-22 北京航空航天大学 基于多种染色病理图像的诊断信息评估方法及***
CN112258447B (zh) * 2020-09-14 2023-12-22 北京航空航天大学 基于多种染色病理图像的诊断信息评估方法及***
CN112348059A (zh) * 2020-10-23 2021-02-09 北京航空航天大学 基于深度学习的多种染色病理图像分类方法及***
CN112614099A (zh) * 2020-12-17 2021-04-06 杭州电子科技大学 基于Faster-RCNN模型的***病变区域检测方法
CN112750115A (zh) * 2021-01-15 2021-05-04 杭州电子科技大学 一种基于图神经网络的多模态***前病变图像识别方法
CN112884707A (zh) * 2021-01-15 2021-06-01 复旦大学附属妇产科医院 基于***镜的***前病变检测***、设备及介质
CN112884707B (zh) * 2021-01-15 2023-05-05 复旦大学附属妇产科医院 基于***镜的***前病变检测***、设备及介质
CN112750115B (zh) * 2021-01-15 2024-06-04 浙江大学医学院附属邵逸夫医院 一种基于图神经网络的多模态***前病变图像识别方法

Also Published As

Publication number Publication date
CN110826576B (zh) 2022-10-04

Similar Documents

Publication Publication Date Title
CN110826576B (zh) 一种基于多模态特征级融合的宫颈病变预测***
CN109543719B (zh) 基于多模态注意力模型的宫颈非典型病变诊断模型和装置
US11210789B2 (en) Diabetic retinopathy recognition system based on fundus image
CN108257129B (zh) 基于多模态检测网络的宫颈活检区域辅助识别方法及装置
CN109472781B (zh) 一种基于串行结构分割的糖尿病视网膜病变检测***
EP4006831A1 (en) Image processing method and apparatus, server, medical image processing device and storage medium
CN109102491A (zh) 一种胃镜图像自动采集***及方法
KR102155381B1 (ko) 인공지능 기반 기술의 의료영상분석을 이용한 자궁경부암 판단방법, 장치 및 소프트웨어 프로그램
WO2019232910A1 (zh) 眼底图像分析方法、计算机设备和存储介质
US20210374953A1 (en) Methods for automated detection of cervical pre-cancers with a low-cost, point-of-care, pocket colposcope
Lei et al. Automated detection of retinopathy of prematurity by deep attention network
CN113610118A (zh) 一种基于多任务课程式学习的眼底图像分类方法、装置、设备及介质
CN113222957A (zh) 一种基于胶囊镜图像的多类别病灶高速检测方法及***
CN115035127A (zh) 一种基于生成式对抗网络的视网膜血管分割方法
CN113240655A (zh) 一种自动检测眼底图像类型的方法、存储介质及装置
CN114399465A (zh) 良恶性溃疡识别方法及***
KR20210033902A (ko) 인공지능 기반 기술의 의료영상분석을 이용한 자궁경부암 진단방법, 장치 및 소프트웨어 프로그램
CN115661037A (zh) 一种胶囊内镜辅助检测方法、装置、***、设备及介质
Mu et al. Improved model of eye disease recognition based on VGG model
Kumar et al. Segmentation of retinal lesions in fundus images: a patch based approach using encoder-decoder neural network
CN114330484A (zh) 弱监督学习糖尿病视网膜病变分级与病灶识别方法及***
CN112132782A (zh) 一种基于深度神经网络对dme分型进行处理的方法和终端
Xu et al. Computer aided diagnosis of diabetic retinopathy based on multi-view joint learning
CN115831354B (zh) 一种人工智能的辅助阅片方法及***
US12051199B2 (en) Image processing method and apparatus, server, medical image processing device and storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant