CN116051574A - 一种半监督分割模型构建与图像分析方法、设备及*** - Google Patents

一种半监督分割模型构建与图像分析方法、设备及*** Download PDF

Info

Publication number
CN116051574A
CN116051574A CN202211699855.9A CN202211699855A CN116051574A CN 116051574 A CN116051574 A CN 116051574A CN 202211699855 A CN202211699855 A CN 202211699855A CN 116051574 A CN116051574 A CN 116051574A
Authority
CN
China
Prior art keywords
image
supervised
pseudo
semi
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211699855.9A
Other languages
English (en)
Inventor
朱小柯
蔡雨龙
陈小潘
厉丹阳
董令赟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Henan University
Original Assignee
Henan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Henan University filed Critical Henan University
Priority to CN202211699855.9A priority Critical patent/CN116051574A/zh
Publication of CN116051574A publication Critical patent/CN116051574A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7747—Organisation of the process, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种半监督分割模型构建与图像分析方法、***及设备。包括：获取待处理的图像；基于构建的训练好的半监督分割模型进行图像的一致性学习，得到图像分割结果；其中，所述一致性学习基于训练好的半监督分割模型中的编码器对输入图像的特征提取能力和若干个辅助解码器与主解码器配合完成预测结果训练的一致性。本发明方法旨在基于一致性学习的语义分割网络构建半监督分割模型，实现图像分析，旨在发掘其在影像数据中的分析能力和潜在应用价值。

Description

一种半监督分割模型构建与图像分析方法、设备及***
技术领域
本发明涉及计算机视觉和图像分析领域，更具体地，涉及一种半监督分割模型构建与图像分析方法、设备、***、计算机可读存储介质及其应用。
背景技术
随着计算机视觉与计算机技术的结合与发展，使用计算机技术辅助处理各种图形数据与模型的方法成为近年来的热点之一。在视觉领域中有大量图像需要识别和处理，以往都是采用人工方式，由具有丰富经验的工作人员对图像进行综合分析，但是分析速度慢，且评判标准与分析正确率因人而异。如脑电图数据，仅凭人工观察，仅能得到少量诊断信息，或如化验工作进行某种细胞计数或是计算组织切片各部分面积，这些工作既费时又费力。针对不同特性的医学影像数据，已经开发了许多种不同的识别算法，但基于研究者的不同需求，仍然需要进一步的解决方案。
目前，拍摄的图像分辨率高达6000x4000，每组实验样本图像较多，标注过程枯燥且耗时，在科研工作中占用了大量时间，而且受实验样本数量和个体差异的制约，需要分析的样本图像数量多，且组内和组间个体的染色图像差异大。对来自各种可靠和准确的实验数据进行有效分析仍然是一个挑战。
近年来，随着计算机视觉领域的发展，利用计算机技术，设计出相关解决算法，可以更快速准确地完成相同的工作，基于人工智能技术在图像处理领域的发展，将其应用于解决并简化人工标注和统计工作成为可能。
发明内容
本申请的目的在于，本申请实施例提供一种半监督分割模型的构建方法、以及相应的图像分析方法、***、设备、计算机可读存储介质及其应用，其旨在为有效解决图像的分割分类预测问题，节省数据处理的人力和时间成本，提高实验数据的获取速度和分割统计准确度，基于深度学习算法和图像处理技术，提供了一种半监督分割模型的构建方法，设计一种新的半监督的网络内一致性约束与网络间一致性约束结合的语义分割模型，能够更加准确预测图像的分割结果，进而提高分割效果及分割速度，以在图像分析预测方面中提供更充分的支持和潜在应用价值。
根据本申请的第一方面，本申请一实施例提供了一种半监督分割模型构建方法，其包括：
步骤a：获取弱标注数据集、伪标注数据集和无标注数据集；
步骤b：将所述弱标注数据集中的图像输入到全卷积网络进行监督训练，基于监督损失训练得到训练好的全卷积网络模型；
步骤c：基于训练好的全卷积网络模型预测所述伪标注数据集中图像的弱标注语义分割信息，得到伪标注图像；
步骤d：使用伪标注生成算法对弱标注数据集和伪标注图像进行处理，生成具有全部目标类别标签的伪标签图像；
步骤e：基于生成的伪标签图像对分割网络进行监督训练，通过计算有监督损失值优化分割网络，对分割网络中的第一编码器、第一主解码器和第一辅助解码器的参数进行更新；
步骤f：基于无标注数据集中的无标签图像，通过无监督一致性损失计算的无监督损失值优化分割网络，对分割网络中的第二编码器、第二主解码器和第二辅助解码器的参数进行更新；
步骤g：基于伪标签图像和无标签图像，通过交叉伪监督损失函数来优化并计算无监督损失值，进而计算模型训练的总损失值，同时根据总损失值迭代更新参数，输出训练好的半监督分割模型；其中，所述总损失值的计算如下：
Figure BDA0004023628930000021
其中，λ1和λ2分别为无监督一致性损失与交叉伪监督损失的权重，Ls表示有监督损失值，Lc表示通过无监督一致性损失计算的无监督损失值，Lp表示通过交叉伪监督损失函数来计算的无监督损失值。
进一步，所述交叉伪监督损失函数基于所有训练数据进行半监督分割模型的伪标签交叉自监督一致性训练结构的构建，通过两个不同初始化参数网络的预测分割图像之一作为伪标签指导另一个分支网络的训练，来优化并计算无监督损失值Lp。
再进一步，优选的，所述无监督损失值Lp的计算，如下：
Figure BDA0004023628930000031
其中，
Figure BDA0004023628930000032
表示训练集中所有图像，W和H为输入网络中的图像X的高和宽，H(·)表示交叉熵函数，
Figure BDA0004023628930000033
与
Figure BDA0004023628930000034
分别为a和b两个分支网络对应的主解码器产生的置信度信息，
Figure BDA0004023628930000035
与
Figure BDA0004023628930000036
为对应的主解码器的one-hot编码信息。
再进一步，所述伪标签交叉自监督一致性训练结构的构建还包括有监督损失值Ls的监督，优选的，所述有监督损失值Ls的计算，如下：
Figure BDA0004023628930000037
其中，H(·)表示交叉熵函数，yi表示像素xi所对应的伪标注，xi表示输入图像X中索引标号为i的像素，
Figure BDA0004023628930000038
和
Figure BDA0004023628930000039
分别表示a、b两个分支网络产生的伪标注预测图像，W和H为输入网络中的图像X的高和宽，X、Y表示获取的待预测的心脏染色切片图像，
Figure BDA00040236289300000310
表示弱标注数据集，
Figure BDA00040236289300000311
表示伪标注数据集。
进一步，所述半监督分割模型的构建还包括在编码器与辅助解码器之间增加特征扰动模块，所述特征扰动模块对编码器基于输入图像生成的编码特征图像中的特征信息添加不同类型噪声输入到主解码器，根据主解码器的预测结果指导辅助解码器预测结果学习，通过无监督一致性损失函数计算无监督损失值Lc，实现无监督的一致性训练。
具体的，优选的，所述无监督损失值Lc的计算，如下：
Figure BDA00040236289300000312
Figure BDA00040236289300000313
Figure BDA00040236289300000314
Figure BDA00040236289300000315
其中，a、b为半监督分割模型中的两个分支网络，xi为图像
Figure BDA00040236289300000316
中索引i处的像素，
Figure BDA00040236289300000317
表示无标注数据集，
Figure BDA00040236289300000318
和
Figure BDA00040236289300000319
分别表示a、b两个分支网络产生的预测图像，
Figure BDA00040236289300000320
表示辅助解码器产生的预测图像，ha表示编码器a，ga表示主解码器a，hb表示编码器b，gb表示主解码器b，gk∈{g1,......g2K}包含2K个辅助解码器，ξ代表网络中的特征扰动模块，MSE(·)表示均方差函数。
再进一步，可选的，所述不同类型噪声通过多种不同的函数扰动生成噪声，具体方法：
(1)设置特征信息丢弃概率为0.3，对特征张量的通道维度随机丢弃，被丢弃的维度特征值置零；
(2)计算特征信息通道维度均值并归一化计算注意力矩阵，在0.7～0.9范围内均匀采样出一个随机阈值，注意力矩阵中大于阈值的点输出1，否则输出0，生成对应掩码矩阵，将特征矩阵与掩码矩阵相乘，得到最终特征信息图；
(3)在0.8～1.2范围内使用均匀采样生成一个与编码特征图像形状相同的噪声张量，将噪声张量与编码特征图像相乘，得到注入的噪声；
(4)基于所述编码特征图像对部分区域随机擦除置零，随机选择一个固定大小的矩形区域进行擦除置零。
进一步，在一些实施例中，步骤a中的获取弱标注数据集、伪标注数据集和无标注数据集，还包括对获取的弱标注数据集、伪标注数据集和无标注数据集进行预处理，所述预处理通过下述方法中的任意一种或几种实现：翻转、旋转、缩放、裁剪、镜像、对比度调节、亮度调节、灰度化；其中，所述弱标注数据集中的图像包含背景与前景两部分粗分类标注，所述伪标注数据集中的图像包含不同目标区域标注信息的细分类标注。
进一步，在一些实施例中，所述分割网络包括编码器、主解码器、辅助解码器，所述编码器通过编码器结构对输入的图像生成对应的编码特征图像，所述主解码器将编码器生成的编码特征图像中的特征信息解码为输入图像相对应的语义分割图像，所述辅助解码器在网络训练过程中与主解码器配合完成无监督部分的训练；
可选的，所述编码器基于下列网络模型中的任意一种或几种构建：卷积神经网络、深度神经网络、LSTM/GRU；
优选的，所述编码器的编码过程为：以卷积神经网络作为主干网络构建编码器结构，输入图像得到特征图，将特征图通过金字塔池化模块中有限个不同输出尺度的自适应平均池化层，同时得到自适应平均池化后的包含局部和全局上下文特征信息的不同尺度特征图，对不同尺度特征图进行重采样，得到最终的与输入金字塔池化模块前的特征图相同尺寸大小的编码特征图像。
优选的，所述主解码器由1x1的卷积层和有限个转置卷积组成。
根据本申请的第二方面，本申请一实施例提供了一种图像分析方法，其包括：
获取待处理的图像；
基于构建的训练好的半监督分割模型进行图像的一致性学习，得到图像分割结果；其中，所述一致性学习基于训练好的半监督分割模型中的编码器对输入图像的特征提取能力和若干个辅助解码器与主解码器配合，进而完成预测结果的一致性。
进一步，所述构建的训练好的半监督分割模型基于本申请提供的半监督分割模型构建方法实现。
根据本申请的第三方面，本申请一实施例提供了一种图像分析***，其包括：
获取模块，用于获取待处理的图像；
预测模块，基于构建的训练好的半监督分割模型进行图像的一致性学习，得到图像分割结果。
进一步，所述一致性学习基于训练好的半监督分割模型中的编码器对输入图像的特征提取能力和若干个辅助解码器与主解码器配合，进而完成预测结果的一致性。
再进一步，所述训练好的半监督分割模型基于本申请提供的半监督分割模型构建方法实现。
在一些实施例中，所述编码器基于下列网络模型中的任意一种或几种构建：卷积神经网络、深度神经网络、LSTM/GRU；
优选的，所述主解码器由1x1的卷积层和有限个转置卷积组成。
根据本申请的第四方面，本申请一实施例提供了一种图像分析设备，其包括：存储器和处理器；所述存储器用于存储程序指令；所述处理器用于调用程序指令，当所述程序指令被执行时，实现上述的图像分析方法或所述的半监督分割模型构建方法。
根据本申请的第五方面，本申请一实施例提供了一种计算机可读存储介质，其上存储有基于构建的半监督分割模型进行图像分析的计算机程序，当所述计算机程序被处理器执行时，实现上述的图像分析方法或半监督分割模型构建方法。
根据本申请的第六方面，本申请一实施例提供了其相关应用，主要包括：
上述的设备或***在进行图像的目标分割分类任务中的应用；
上述的设备或***在进行智能预测与图像分析的应用；可选的，所述应用通过计算不同目标区域的面积，以进行相应的效果预测或智能分析；
上述的设备或***在辅助疾病诊断及预后判断、疗效预测中的应用；可选的，所述疾病诊断及预后判断和疗效预测包括基于本申请提供的半监督分割模型对待预测的病理切片图像进行一致性学习，得到相关指标，对预后判断和疗效预测具有积极影响和推动作用。
本发明基于一致性语义分割构建的半监督分割模型，基于深度学习、语义分割、伪标签生成等技术，利用大量未标注数据和少量弱标注数据进行构建并训练的半监督分割模型实现待处理图像中的目标区域分割，进而得到预测结果，大大减少研究人员的注释工作，克服了人工完成分割及预测工作的方法，辅助实现了对图像的自动分割和相应整个样本图像的智能化预测，具有很强的创新性，对图像数据进行分割和分类的分析研究产生有益的推动作用。
本申请的优点：
1.本申请创新性的公开一种有效的基于伪标签生成方法与半监督的一致性训练的半监督分割模型，通过网络内一致性约束与网络间一致性约束的结合，实现对未标注图像数据自动进行目标分割，大大减少研究人员的注释工作，更加准确预测图像的分割结果，客观地提高了数据分析的精度和深度；
2.本申请创新性的基于编码器、主解码器、辅助解码器和特征扰动模块构建了半监督分割模型，其网络结构中的特征扰动模块位于编码器与辅助解码器之间，基于编码器生成的编码特征图像进行特征扰动，通过对编码特征图像产生的特征信息添加不同类型噪声输入到主解码器，根据主解码器的预测结果指导辅助解码器预测结果学习与自动分析，实现无监督的一致性训练，时效明显；
3.本申请创造性的公开了的生成伪标签方法能有效地生成可靠的用于训练的伪标签，结合编码器、解码器和特征扰动模块，更有效地进行半监督训练，利用交叉伪监督与一致性训练损失帮助模型收敛速度更快，性能更好，使得本申请更准确的应用于与图像数据分析有关的分割分类任务。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获取其他的附图。
图1是本发明实施例提供的基于半监督分割模型进行图像分析的使用场景示意图；
图2是本发明实施例提供的基于半监督分割模型进行图像分析方法流程图；
图3是本发明实施例提供的一种半监督分割模型的构建方法示意图；
图4是本发明实施例提供的一种半监督分割模型的构建结构示意图；
图5是本发明实施例提供的训练半监督分割模型的损失值统计结果图；
图6是本发明实施例提供的基于一致性语义分割的图像分析设备示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
在本发明的说明书和权利要求书及上述附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如S101、S102等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获取的所有其他实施例，都属于本发明保护的范围。
本申请实施例提供了一种半监督分割模型构建方法、图像分析方法、***、计算机设备和计算机可读存储介质。其中，疾病风险预测模型训练装置可以集成在计算机设备中，该计算机设备可以为终端或者服务器等设备。该终端可以为智能手机、平板电脑、笔记本电脑、个人计算机等终端设备。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式***，还可以是提供云服务、云数据库、云计算、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容发布网络(Content Delivery Network，简称CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。
请参阅图1，图1是本发明实施例提供的基于半监督分割模型进行图像分析的使用场景示意图，具体地，如图1所示的计算机设备为终端设备，该终端设备可以获取待处理的图像，然后基于构建的训练好的半监督分割模型进行图像的一致性学习，得到图像分割结果。其中，所述一致性学习基于训练好的半监督分割模型中的编码器对输入图像的特征提取能力和若干个辅助解码器与主解码器配合完成预测结果的一致性。
图2是本发明实施例提供的基于半监督分割模型进行图像分析方法流程图，具体地，进行图像分析方法包括如下步骤：
S101：获取待处理的图像。
在一个实施例中，获取的待处理的图像主要用于进行分割或分类任务。
S102：基于构建的训练好的半监督分割模型进行图像的一致性学习，得到图像分割结果。
具体的，一种半监督分割模型的构建方法和构建过程，如图3所示：
S301：获取弱标注数据集、伪标注数据集和无标注数据集。
在一个实施例中，将收集到的多组图像分为三个集合：弱标注数据集
Figure BDA0004023628930000091
伪标注数据集
Figure BDA0004023628930000092
和无标注数据集
Figure BDA0004023628930000093
其中有标注数据占5％，伪标注数据占20％，无标注数据占75％。
进一步，对弱标注数据集中图像进行初步的粗略标注，划分出图像中切片边缘并将图像根据边缘信息标注为背景与包含切片图像的前景两部分标注，背景使用类别编号0标注，前景使用类别编号1标注，经过以上标注获得弱标注数据集的标注信息。
在一个更为具体的实施例中，获取弱标注数据集、伪标注数据集和无标注数据集，还包括对获取的弱标注数据集、伪标注数据集和无标注数据集进行预处理。其中，预处理通过下述方法中的任意一种或几种实现：翻转、旋转、缩放、裁剪、镜像、对比度调节、亮度调节、灰度化；其中，弱标注数据集中的图像包含背景与前景两部分粗分类标注，伪标注数据集中的图像包含不同目标区域标注信息的细分类标注。
S302：将弱标注数据集中的图像输入到全卷积网络进行监督训练，基于监督损失训练得到训练好的全卷积网络模型。
具体的，利用弱标注数据集图像训练全卷积网络，使用FCN8s模型并调用模型训练函数获取预测图像，如下公式所示：
Figure BDA0004023628930000094
其中，xw代表弱标注数据集
Figure BDA0004023628930000095
中图像，
Figure BDA0004023628930000096
代表全卷积网络的预测图像；
进一步，根据网络产生的预测图像与弱标注掩码，使用骰子损失函数和交叉熵损失函数进行训练。
再进一步，使用随机梯度下降优化器对模型参数进行更新，设置学习率为0.001，权重衰减率为0.0001，动量设置为0.9，批量大小设置为16，训练50轮，得到经过训练的全卷积网络模型。
在一个实施例中，将弱标注数据集中的图像输入全卷积网络进行监督训练，通过计算监督损失值和梯度下降对全卷积网络的权重进行更新，得到训练好的全卷积网络模型。其中，训练好的全卷积神经网络模型能够将无标注数据集中的无标注图像生成弱标注图像。
S303：基于训练好的全卷积网络模型预测伪标注数据集中图像的弱标注语义分割信息，得到伪标注图像。
在一个实施例中，使用经过训练的全卷积网络模型，调用模型eval函数，使用伪标注数据集
Figure BDA0004023628930000101
图像数据进行预测，保存全卷积网络对伪标注数据集中图像的预测标注，作为其具有弱标注信息的伪标注图像。预测的公式，如下所示：
Figure BDA0004023628930000102
其中，xp代表伪标注数据集
Figure BDA0004023628930000103
中图像，
Figure BDA0004023628930000104
代表全卷积网络的预测图像。
S304：使用伪标注生成算法对弱标注数据集和伪标注图像进行处理，生成具有全部目标类别标签的伪标签图像。
在一个实施例中，使用伪标注生成算法产生了具有伪标注的弱标注数据集和伪标注数据集。其中，伪标注生成算法可以在人工少量标注与采样下产生与人工标注效果相同的伪标签。
S305：基于生成的伪标签图像对分割网络进行监督训练，通过计算有监督损失值优化分割网络，对分割网络中的第一编码器、第一主解码器和第一辅助解码器的参数进行更新。
在一个实施例中，分割网络中a、b两个分支网络的有监督损失值Ls的计算，如下：
Figure BDA0004023628930000105
其中，H(·)表示交叉熵函数，yi表示像素xi所对应的伪标注，xi表示输入图像X中索引标号为i的像素，
Figure BDA0004023628930000106
和
Figure BDA0004023628930000107
分别表示a、b两个分支网络产生的伪标注预测图像，W和H为输入网络中的图像X的高和宽，X、Y表示获取的待预测的心脏染色切片图像，
Figure BDA0004023628930000108
表示弱标注数据集，
Figure BDA0004023628930000109
表示伪标注数据集。
S306：基于无标注数据集中的无标签图像，通过无监督一致性损失计算的无监督损失值优化分割网络，对分割网络中的第二编码器、第二主解码器和第二辅助解码器的参数进行更新。
在一个实施例中，通过无监督一致性损失函数计算无监督损失值优化分割网络，对分割网络中编码器、主解码器和辅助解码器的参数进行更新，进而来实现无监督的一致性训练。分割网络中a、b两个分支网络的无监督损失值Lc的计算，如下：
Figure BDA0004023628930000111
Figure BDA0004023628930000112
Figure BDA0004023628930000113
Figure BDA0004023628930000114
其中，a、b为半监督分割模型中的两个分支网络，xi为图像
Figure BDA0004023628930000115
中索引i处的像素，
Figure BDA0004023628930000116
表示无标注数据集，
Figure BDA0004023628930000117
和
Figure BDA0004023628930000118
分别表示a、b两个分支网络产生的预测图像，
Figure BDA0004023628930000119
表示辅助解码器产生的预测图像，ha表示编码器A，ga表示主解码器A，hb表示编码器B，gb表示主解码器B，gk∈{g1,......g2K}包含2K个辅助解码器，ξ代表网络中的特征扰动模块，MSE(·)表示均方差函数。
在一个具体的实施例中，一致性损失函数利用主解码器产生的预测图像作为伪标签指导辅助编码器进行训练，网络内的无监督一致性训练依靠主解码器与辅助解码器共同完成。输入的图像经过编码器变换得到特征图，将特征图分别通过主解码器和多个包含特征扰动模块的辅助解码器。特征图经过主解码器生成对应的预测分割图像，经过辅助解码器的部分会生成带有噪声的特征信息产生的预测图像，一致性损失函数根据主解码器的预测结果指导辅助解码器预测结果学习，加强预测相同部分的一致性，减弱预测不同部分的差异性，并加强编码器对抵抗特征中噪声的能力与稳定性。训练过程中，主解码器不参与训练和参数更新，计算得到的梯度通过辅助解码器和编码器进行反向传播和参数更新。
S307：基于伪标签图像和无标签图像，通过交叉伪监督损失函数来优化并计算无监督损失值，计算模型训练的总损失值，同时根据总损失值迭代更新参数，输出训练好的半监督分割模型。
进一步，交叉伪监督损失函数基于所有训练数据进行模型的伪标签交叉自监督一致性训练结构的构建，通过两个不同初始化参数网络的预测分割图像之一作为伪标签指导另一个分支网络的训练，来优化并计算无监督损失值Lp；
再进一步，基于交叉伪监督损失函数进行计算的无监督损失值Lp，如下：
Figure BDA0004023628930000121
其中，
Figure BDA0004023628930000122
表示训练集中所有图像，W和H为输入网络中的图像X的高和宽，H(·)表示交叉熵函数，
Figure BDA0004023628930000123
与
Figure BDA0004023628930000124
分别为a和b两个分支网络对应的主解码器产生的置信度信息，
Figure BDA0004023628930000125
与
Figure BDA0004023628930000126
为对应的主解码器的one-hot编码信息。
进一步，总损失值的计算如下：
Figure BDA0004023628930000127
其中，λ1和λ2分别为无监督一致性损失与交叉伪监督损失的权重，Ls表示有监督损失值，Lc表示通过无监督一致性损失计算的无监督损失值，Lp表示通过交叉伪监督损失函数来计算的无监督损失值。
进一步，在一个实施例中，半监督分割模型的构建还包括在编码器与辅助解码器之间增加特征扰动模块，如图4所示。特征扰动模块对编码器基于输入图像生成的编码特征图像中的特征信息添加不同类型噪声输入到主解码器，根据主解码器的预测结果指导辅助解码器预测结果学习。
图4是本发明实施例提供的一种半监督分割模型的构建结构示意图。如图4所示，构建的一种半监督分割模型主要包括编码器、解码器和特征扰动模块。
在一个实施例中，编码器基于下列网络模型中的任意一种或几种构建：卷积神经网络、深度神经网络、LSTM/GRU。
卷积神经网络(Convolutional Neural Network，简称CNN或ConvNet)，一种使用卷积层的神经网络，基于卷积的数学运算，常应用于图像识别中。
深度神经网络(Deep Neural Networks，DNN)，在很多人工智能任务之中表现出了当前最佳的准确度，但同时也存在着计算复杂度高的问题。
LSTM/GRU，一种门控循环神经网络，LSTM表示长短期记忆网络，GRU表示门控制循环单元，在简单循环神经网络的基础上对网络的结构做了调整，加入了门控机制，用来控制神经网络中信息的传递。
进一步，编码器对上下文信息、丰富的空间信息和细节信息进行编码，可以有效地提取出输入图像全局信息和不同层次的语义特征，在一定程度上防止空间信息的丢失。对于每张输入的图像，编码器结构会生成对应的特征图像。
在一个具体实施例中，编码器的编码过程为：以卷积神经网络作为主干网络构建编码器结构，输入图像得到特征图，将特征图通过金字塔池化模块中4种不同输出尺度的自适应平均池化层，得到自适应平均池化后的局部和全局上下文特征信息，对不同尺度特征图进行重采样，得到最终的与输入金字塔池化模块前的特征图相同尺寸大小的编码特征图像。
在一个更为具体的实施例中，编码器的工作流程为：输入图像经过以ImageNet预训练的Resnet50作为主干网络的卷积神经网络变换为其特征图，将特征图通过金字塔池化模块中4种不同输出尺度的自适应平均池化层，同时得到自适应平均池化后的局部和全局上下文特征信息，对这些不同尺度特征图重采样到与输入金字塔池化模块前的特征图相同的尺寸，将两种特征图合并得到最终的编码特征图像。编码器的多尺度自适应平均池化层针对心脏染色切片图像的染色区域，特别是染色区域面积小、染色区域边界模糊的问题有良好的识别效果与分割精度，为后续解码器的工作提供大量的局部与全局上下文特征信息的基础。
进一步，在一个实施例中，半监督分割模型的构建网络中的解码器由1x1的卷积层和4个转置卷积组成，上级模块产生的特征信息通过解码器的处理产生最终的语义分割图像。
在一个具体实施例中，解码器的详细工作流程为：上层特征信息进入解码器后首先由一层1x1卷积层处理来变换特征张量的通道数，然后经过4层的转置卷积。特征图每当经过一层转置卷积，尺寸会被上采样为原来的2倍，直到将特征图恢复到与输入图像相同长宽的尺寸。每个编码器和对应的主解码器构成一个语义分割主网络。语义分割主网络中除了主解码器还设计了若干个辅助解码器，主解码器的作用是将编码器产生的特征信息解码为输入图像相对应的语义分割图像，而辅助解码器的作用是在网络训练过程中与主解码器配合完成无监督部分的训练，辅助解码器的结构能够充分利用无标签数据，加强编码器的特征提取能力和解码器之间的一致性。
再进一步，在一个实施例中，半监督分割模型的构建过程中，在编码器与辅助解码器之间，设计了一个特征扰动模块。编码器产生的特征信息在进入辅助解码器之前，会先经过特征扰动模块。特征扰动模块对编码器产生的特征信息添加不同类型的扰动，在特征信息上添加一些微小的噪声，通过对特征信息添加噪声的方法对分割网络进行无监督的一致性训练。
具体的，对特征信息添加扰动是一致性训练中重要的一部分，模型的特征扰动模块包含了多种不同生成扰动噪声的函数，分为：
(1)设置特征信息丢弃概率为0.3，对特征张量的通道维度随机丢弃，被丢弃的维度特征值置零，通过这种方法增加其它通道的建模能力并减轻通道之间的共适应问题。
(2)计算特征信息通道维度均值并归一化计算注意力矩阵，在0.7到0.9范围内均匀采样出一个随机阈值，注意力矩阵中大于阈值点输出1，否则为0，生成对应掩码矩阵，将特征矩阵与掩码矩阵相乘，生成最终特征信息图，通过这种方法，可以掩盖特征图中一部分最活跃区域。
(3)在0.8到1.2的范围内使用均匀采样生成一个与特征图形状相同的噪声张量，然后将噪声与特征图像相乘，注入的噪声与每一次生成的特征图中特征值成正比。
(4)在特征图上对部分区域随机擦除置零、随机选择一个固定大小的矩形区域进行擦除置零。通过随机擦除让网络能够更好地利用图像的全局信息，而不是仅依赖于小部分特定的视觉特征。
在一个实施例中，模型的训练过程中，设置BatchSize大小为4，图像随机裁剪512x512大小，采用随机梯度下降优化训练参数，设置学习率为0.01，学习率衰减为0.1，权重衰减为0.0001，动量为0.9，损失函数中参数λ1＝30，λ2＝2，λ1与λ2在实验中作为无监督损失函数权重，为避免在初始无监督训练时的不准确预测产生的噪声作为伪标注对网络训练效果的影响，权重λ1与λ2在实验开始时从0按照sigmoid函数曲线在总周期数的10％周期内逐渐增加到最大值，每次实验执行200个epoch。
进一步，模型的训练包括训练过程中，模型优化方法包括基于分割任务进行的数据预处理、数据增广、随机权重衰减、学习率、对抗训练、正则化、AdamW优化器、自知识蒸馏。
在一个更为具体的实施例中，以获取的具体的分割分类结果作为模型训练的检验标准或模型验证的检验标准。为衡量本发明的最终结果，选取数据集中100张图像用作训练集，36张图像用作验证集。数据集中图像经过裁剪平衡各类别比例，在训练前使用了翻转、旋转、裁剪、对比度调节、亮度调节等方法做了数据预处理。
进一步，半监督分割模型还可以基于下列框架中的任意一种或几种实现：FA-SSD、FF-SSD、R-CNN、R-FCN、RefineDet。
FA-SSD，基于SSD(single shot multibox detector)算法构建网络框架，结合了特征融合和注意力模块，通过叠加特征来连接目标特征和上下文特征，在目标特征放置了one stage的注意模块，实现与目标特征层更高层次的特征图融合。
FF-SSD(feature fusionbased SSD)，一种目标检测算法，在复杂背景下对各种目标均可取得较高的检测精度，在原有的损失函数中引入调制因子，通过构建特征金字塔和融合多层特征图的方式，实现对低层特征图的语义信息融合增强，以提高对小目标检测的精度，从而提高整体的检测精度。
R-CNN，全称Region-CNN，通过selective search的方法生成region proposal作为R-CNN在区域选择阶段的策略，目前较为成熟且通用的R-CNN模型有Faster R-CNN、MaskR-CNN。
R-FCN，全称Region-basedFully ConvolutionalNet，一种基于区域的全卷积网络，通过位置敏感分数图，能同时处理位置可变性(location variance)与位置不变性(location invariance)，网络中所有的计算都是共享的。
RefineDet，由两个相互连接的模块组成，即anchor细化模块(Anchor RefinementModule)和目标检测模块(Object Detection Module)，比两阶段方法获得更好的精度，并保持一阶段方法相当的效率。
图5是本发明实施例提供的训练半监督分割模型的损失值统计结果图，实验中在训练的前10％周期内权重λ1和λ2按照sigmoid曲线，从0逐渐增大直到到达最终的固定值λ1＝30，λ2＝2，参数λ1的取值与模型中辅助编码器的个数正相关。图5A表示的是总损失值的损失函数曲线，从图5中的所有损失函数曲线上看，有监督损失值(如图5B所示)总趋势逐渐减小，在训练期间调整无监督一致性损失(如图5C所示)的权重不断增大，在第20个周期后逐渐收敛。在第20个周期以前，有监督损失值占的比例相对更大，并且子网络用具有相同标记的监督图像监督训练训练，因此网络间一致性在此期间会增大，在损失函数中表现为有监督损失值和交叉伪监督损失(如图5D所示)减小，在第20个周期后，无监督一致性损失的权重恢复到最大值但损失值还未完全收敛，因此交叉伪监督损失函数会在第20个周期后先略微增大再减小。
在一个具体的实施例中，考虑到数据类型的不平衡性，进行了随机过采样。交叉验证过程，仅在训练折叠中进行过采样。通过F值排序选择用于建模的特征，并通过使交叉验证结果的受试者操作特征曲线下的宏观面积最大化来确定特征的最佳数量。
在一个更为具体的实施例中，在临床病理分析中，使用χ2检验比较定性变量，使用Kruskal-Wallis检验比较连续数据。同时，使用Scikit-learn软件包和R软件构建和评估该模型。定量数据呈正态分布以平均标准差表示，定性数据用频率(百分比)描述。
将上述方法用于图像分析预测是可行性的，表明基于深度学习网络模型和编码器、解码器及特征扰动模块构建半监督分割模型，并通过伪标签生成等技术用于训练的伪标签实现自动标注，同时利用交叉伪监督与一致性训练损失帮助模型收敛速度更快的得到分割分类预测结果，并为评估提供更准确的语义分割信息，模型预测的性能可以更好地反映具体的分割分类预测效能，使得本申请在应用于与图像数据有关的分割分类预测的分析方面更有利。
本发明实施例提供的一种图像分析***，其包括：
获取模块，用于获取待处理的图像；
预测模块，基于构建的训练好的半监督分割模型进行图像的一致性学习，得到图像分割结果。
图6是本发明实施例提供的一种基于半监督分割模型构建的图像分析设备，包括：存储器和处理器；该设备还可以包括：输入装置和输出装置。
存储器、处理器、输入装置和输出装置可以通过总线或者其他方式连接，图6所示的以总线连接方式为例；其中，存储器用于存储程序指令；处理器用于调用程序指令，当程序指令被执行时，用于执行上述图像分析方法或实现上述的半监督分割模型构建方法。
本发明提供的一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时，实现上述图像分析方法或半监督分割模型构建方法。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***、装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的***，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的；又例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式；再例如，多个模块或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或模块的间接耦合或通信连接，可以是电性、机械或其它形式。
作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。具体的，可以根据实际需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁盘或光盘等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来完成相关硬件的指令，程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器、磁盘或光盘等。
以上对本发明所提供的一种计算机设备进行了详细介绍，对于本领域的一般技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处。综上，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种半监督分割模型构建方法，所述模型的构建过程：
步骤a：获取弱标注数据集、伪标注数据集和无标注数据集；
步骤b：将所述弱标注数据集中的图像输入到全卷积网络进行监督训练，基于监督损失训练得到训练好的全卷积网络模型；
步骤c：基于训练好的全卷积网络模型预测所述伪标注数据集中图像的弱标注语义分割信息，得到伪标注图像；
步骤d：使用伪标注生成算法对弱标注数据集和伪标注图像进行处理，生成具有全部目标类别标签的伪标签图像；
步骤e：基于生成的伪标签图像对分割网络进行监督训练，通过计算有监督损失值优化分割网络，对分割网络中的第一编码器、第一主解码器和第一辅助解码器的参数进行更新；
步骤f：基于无标注数据集中的无标签图像，通过无监督一致性损失计算的无监督损失值优化分割网络，对分割网络中的第二编码器、第二主解码器和第二辅助解码器的参数进行更新；
步骤g：基于伪标签图像和无标签图像，通过交叉伪监督损失函数来优化并计算无监督损失值，进而计算模型训练的总损失值，同时根据总损失值迭代更新参数，输出训练好的半监督分割模型；其中，所述总损失值的计算如下：
Figure FDA0004023628920000011
其中，λ1和λ2分别为无监督一致性损失与交叉伪监督损失的权重，Ls表示有监督损失值，Lc表示通过无监督一致性损失计算的无监督损失值，Lp表示通过交叉伪监督损失函数来计算的无监督损失值。
2.根据权利要求1所述的半监督分割模型构建方法，其特征在于，所述交叉伪监督损失函数基于所有训练数据进行半监督分割模型的伪标签交叉自监督一致性训练结构的构建，通过两个不同初始化参数网络的预测分割图像之一作为伪标签指导另一个分支网络的训练，来优化并计算无监督损失值Lp；
优选的，所述无监督损失值Lp的计算，如下：
Figure FDA0004023628920000012
其中，
Figure FDA0004023628920000013
表示训练集中所有图像，W和H为输入网络中的图像X的高和宽，H(·)表示交叉熵函数，
Figure FDA0004023628920000021
与
Figure FDA0004023628920000022
分别为a和b两个分支网络对应的主解码器产生的置信度信息，
Figure FDA0004023628920000023
与
Figure FDA0004023628920000024
为对应的主解码器的one-hot编码信息；
所述伪标签交叉自监督一致性训练结构的构建还包括有监督损失值Ls的监督，优选的，所述有监督损失值Ls的计算，如下：
Figure FDA0004023628920000025
其中，H(·)表示交叉熵函数，yi表示像素xi所对应的伪标注，xi表示输入图像X中索引标号为i的像素，
Figure FDA0004023628920000026
和
Figure FDA0004023628920000027
分别表示a、b两个分支网络产生的伪标注预测图像，W和H为输入网络中的图像X的高和宽，X、Y表示获取的待预测的心脏染色切片图像，
Figure FDA0004023628920000028
表示弱标注数据集，
Figure FDA0004023628920000029
表示伪标注数据集。
3.根据权利要求1所述的半监督分割模型构建方法，其特征在于，所述半监督分割模型的构建还包括在编码器与辅助解码器之间增加特征扰动模块，所述特征扰动模块对编码器基于输入图像生成的编码特征图像中的特征信息添加不同类型噪声输入到主解码器，根据主解码器的预测结果指导辅助解码器预测结果学习，通过无监督一致性损失函数计算无监督损失值Lc优化分割网络，对分割网络中第二编码器、第二主解码器和第二辅助解码器的参数进行更新；
优选的，所述无监督损失值Lc的计算，如下：
Figure FDA00040236289200000210
Figure FDA00040236289200000211
Figure FDA00040236289200000212
Figure FDA00040236289200000213
其中，a、b为半监督分割模型中的两个分支网络，xi为图像
Figure FDA00040236289200000214
中索引i处的像素，
Figure FDA00040236289200000215
表示无标注数据集，
Figure FDA00040236289200000216
和
Figure FDA00040236289200000217
分别表示a、b两个分支网络产生的预测图像，
Figure FDA00040236289200000218
表示辅助解码器产生的预测图像，ha、hb分别表示a、b两个分支网络对应的编码器，ga、gb分别表示a、b两个分支网络对应的主解码器，gk∈{g1,......g2K}包含2K个辅助解码器，ξ代表网络中的特征扰动模块，
MSE(·)表示均方差函数。
4.根据权利要求3所述的半监督分割模型构建方法，其特征在于，所述不同类型噪声通过多种不同的函数生成扰动噪声，具体分为：
(1)设置特征信息丢弃概率为0.3，对特征张量的通道维度随机丢弃，被丢弃的维度特征值置零；
(2)计算特征信息通道维度均值并归一化计算注意力矩阵，在0.7～0.9范围内均匀采样出一个随机阈值，注意力矩阵中大于阈值的点输出1，否则输出0，生成对应掩码矩阵，将特征矩阵与掩码矩阵相乘，生成最终特征信息图；
(3)在0.8～1.2范围内使用均匀采样生成一个与编码特征图像形状相同的噪声张量，将噪声张量与编码特征图像相乘，保持注入的噪声与每一次生成的编码特征图像中特征值成正比；
(4)基于所述编码特征图像对部分区域随机擦除置零，随机选择一个固定大小的矩形区域进行擦除置零。
5.根据权利要求1所述的半监督分割模型构建方法，其特征在于，所述分割网络包括编码器、主解码器、辅助解码器，所述编码器通过编码器结构对输入的图像生成对应的编码特征图像，所述主解码器将编码器生成的编码特征图像中的特征信息解码为输入图像相对应的语义分割图像，所述辅助解码器在网络训练过程中与主解码器配合完成无监督部分的训练；
可选的，所述编码器基于下列网络模型中的任意一种或几种构建：卷积神经网络、深度神经网络、LSTM/GRU；
优选的，所述编码器的编码过程为：以ImageNet预训练的Resnet50作为主干网络构建编码器结构，输入图像得到特征图，将特征图通过金字塔池化模块中4种不同输出尺度的自适应平均池化层，得到自适应平均池化后的局部和全局上下文特征信息，对不同尺度特征图进行重采样，得到最终的与输入金字塔池化模块前的特征图相同尺寸大小的编码特征图像；
优选的，所述主解码器由1x1的卷积层和有限个转置卷积组成。
6.根据权利要求1所述的半监督分割模型构建方法，其特征在于，所述获取弱标注数据集、伪标注数据集和无标注数据集，还包括对获取的弱标注数据集、伪标注数据集和无标注数据集进行预处理，所述预处理通过下述方法中的任意一种或几种实现：翻转、旋转、缩放、裁剪、镜像、对比度调节、亮度调节、灰度化；其中，所述弱标注数据集中的图像包含背景与前景两部分粗分类标注，所述伪标注数据集中的图像包含不同目标区域标注信息的细分类标注。
7.一种图像分析方法，包括：
获取待处理的图像；
基于权利要求1-6构建的训练好的半监督分割模型进行图像的一致性学习，得到图像分割结果；其中，所述一致性学习基于训练好的半监督分割模型中的编码器对输入图像的特征提取能力和若干个辅助解码器与主解码器配合完成预测结果的一致性。
8.一种图像分析***，所述***包括：
获取模块，用于获取待处理的图像；
预测模块，基于权利要求1-6构建的训练好的半监督分割模型进行图像的一致性学习，得到图像分割结果。
9.一种图像分析设备，所述设备包括：
存储器和处理器；
所述存储器用于存储程序指令；
所述处理器用于调用程序指令，当程序指令被执行时，实现权利要求7所述的图像分析方法或权利要求1-6任意一项所述的半监督分割模型构建方法。
10.一种计算机可读存储介质，其上存储有进行图像分析的计算机程序，其特征在于，所述计算机程序被处理器执行时，实现权利要求7所述的图像分析方法或实现权利要求1-6任意一项所述的半监督分割模型构建方法。
CN202211699855.9A 2022-12-28 2022-12-28 一种半监督分割模型构建与图像分析方法、设备及*** Pending CN116051574A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211699855.9A CN116051574A (zh) 2022-12-28 2022-12-28 一种半监督分割模型构建与图像分析方法、设备及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211699855.9A CN116051574A (zh) 2022-12-28 2022-12-28 一种半监督分割模型构建与图像分析方法、设备及***

Publications (1)

Publication Number Publication Date
CN116051574A true CN116051574A (zh) 2023-05-02

Family

ID=86117497

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211699855.9A Pending CN116051574A (zh) 2022-12-28 2022-12-28 一种半监督分割模型构建与图像分析方法、设备及***

Country Status (1)

Country Link
CN (1) CN116051574A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116402838A (zh) * 2023-06-08 2023-07-07 吉林大学 一种用于颅内出血的半监督图像分割方法及***
CN116543162A (zh) * 2023-05-09 2023-08-04 山东建筑大学 基于特征差值与上下文感知一致性的图像分割方法及***
CN116665064A (zh) * 2023-07-27 2023-08-29 城云科技（中国）有限公司 基于生成蒸馏与特征扰动的城市变化图生成方法及其应用
CN116884561A (zh) * 2023-09-08 2023-10-13 紫东信息科技(苏州)有限公司 基于自监督联合学习的胃部诊断报告生成***
CN116912240A (zh) * 2023-09-11 2023-10-20 南京理工大学 基于半监督学习的突变tp53免疫学检测方法
CN117253044A (zh) * 2023-10-16 2023-12-19 安徽农业大学 一种基于半监督交互学习的农田遥感图像分割方法
CN117495800A (zh) * 2023-11-03 2024-02-02 北京透彻未来科技有限公司 一种病理图像大模型的病变预测分析***及方法
CN117649528A (zh) * 2024-01-29 2024-03-05 山东建筑大学 一种半监督图像分割方法、***、电子设备及存储介质
CN117952993A (zh) * 2024-03-27 2024-04-30 中国海洋大学 基于图像文本协同约束的半监督医学图像分割方法
CN118154555A (zh) * 2024-03-19 2024-06-07 武汉理工大学 一种基于标签高效学习的植物多器官ct图像表型解析方法

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116543162A (zh) * 2023-05-09 2023-08-04 山东建筑大学 基于特征差值与上下文感知一致性的图像分割方法及***
CN116402838B (zh) * 2023-06-08 2023-09-15 吉林大学 一种用于颅内出血的半监督图像分割方法及***
CN116402838A (zh) * 2023-06-08 2023-07-07 吉林大学 一种用于颅内出血的半监督图像分割方法及***
CN116665064A (zh) * 2023-07-27 2023-08-29 城云科技（中国）有限公司 基于生成蒸馏与特征扰动的城市变化图生成方法及其应用
CN116665064B (zh) * 2023-07-27 2023-10-13 城云科技（中国）有限公司 基于生成蒸馏与特征扰动的城市变化图生成方法及其应用
CN116884561B (zh) * 2023-09-08 2023-12-01 紫东信息科技(苏州)有限公司 基于自监督联合学习的胃部诊断报告生成***
CN116884561A (zh) * 2023-09-08 2023-10-13 紫东信息科技(苏州)有限公司 基于自监督联合学习的胃部诊断报告生成***
CN116912240B (zh) * 2023-09-11 2023-12-08 南京理工大学 基于半监督学习的突变tp53免疫学检测方法
CN116912240A (zh) * 2023-09-11 2023-10-20 南京理工大学 基于半监督学习的突变tp53免疫学检测方法
CN117253044A (zh) * 2023-10-16 2023-12-19 安徽农业大学 一种基于半监督交互学习的农田遥感图像分割方法
CN117253044B (zh) * 2023-10-16 2024-05-24 安徽农业大学 一种基于半监督交互学习的农田遥感图像分割方法
CN117495800A (zh) * 2023-11-03 2024-02-02 北京透彻未来科技有限公司 一种病理图像大模型的病变预测分析***及方法
CN117495800B (zh) * 2023-11-03 2024-05-17 北京透彻未来科技有限公司 一种病理图像大模型的病变预测分析***及方法
CN117649528A (zh) * 2024-01-29 2024-03-05 山东建筑大学 一种半监督图像分割方法、***、电子设备及存储介质
CN117649528B (zh) * 2024-01-29 2024-05-31 山东建筑大学 一种半监督图像分割方法、***、电子设备及存储介质
CN118154555A (zh) * 2024-03-19 2024-06-07 武汉理工大学 一种基于标签高效学习的植物多器官ct图像表型解析方法
CN117952993A (zh) * 2024-03-27 2024-04-30 中国海洋大学 基于图像文本协同约束的半监督医学图像分割方法

Similar Documents

Publication Publication Date Title
CN116051574A (zh) 一种半监督分割模型构建与图像分析方法、设备及***
US10706333B2 (en) Medical image analysis method, medical image analysis system and storage medium
Yao et al. A comprehensive survey on convolutional neural network in medical image analysis
CN113421652B (zh) 对医疗数据进行分析的方法、训练模型的方法及分析仪
CN111507378A (zh) 训练图像处理模型的方法和装置
CN109949276A (zh) 一种于改进SegNet分割网络的***检测方法
WO2020224433A1 (zh) 基于机器学习的目标对象属性预测方法及相关设备
CN110110724A (zh) 基于指数型挤压函数驱动胶囊神经网络的文本验证码识别方法
CN110096991A (zh) 一种基于卷积神经网络的手语识别方法
CN116563707A (zh) 一种基于图文多模态特征融合的枸杞虫害识别方法
Lu Computer‐Aided Diagnosis Research of a Lung Tumor Based on a Deep Convolutional Neural Network and Global Features
WO2022100607A1 (zh) 一种神经网络结构确定方法及其装置
Kaya Feature fusion-based ensemble CNN learning optimization for automated detection of pediatric pneumonia
CN113744209A (zh) 基于多尺度残差U-net网络的心脏分割方法
CN113407820A (zh) 模型训练方法及相关***、存储介质
Zhang et al. NAS4FBP: Facial beauty prediction based on neural architecture search
CN112990359A (zh) 一种影像数据处理方法、装置、计算机及存储介质
CN113408721A (zh) 神经网络结构搜索方法、装置、计算机设备和存储介质
CN117079019A (zh) 一种轻量级Transformer的高光谱图像分类方法及装置
CN116612386A (zh) 基于分级检测双任务模型的辣椒病虫害识别方法及***
CN116208399A (zh) 一种基于元图的网络恶意行为检测方法及设备
Yu et al. Pyramid multi-loss vision transformer for thyroid cancer classification using cytological smear
Wu Biomedical image segmentation and object detection using deep convolutional neural networks
CN114492657A (zh) 植物疾病分类方法、装置、电子设备及存储介质
Doggalli et al. The Efficacy of U-Net in Segmenting Liver Tumors from Abdominal CT Images.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination