CN111340820B - 图像分割方法、装置、电子设备及存储介质 - Google Patents

图像分割方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111340820B
CN111340820B CN202010085655.9A CN202010085655A CN111340820B CN 111340820 B CN111340820 B CN 111340820B CN 202010085655 A CN202010085655 A CN 202010085655A CN 111340820 B CN111340820 B CN 111340820B
Authority
CN
China
Prior art keywords
image
feature
segmented
level
compact
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010085655.9A
Other languages
English (en)
Other versions
CN111340820A (zh
Inventor
张勇东
徐海
谢洪涛
毛震东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhongke Research Institute
University of Science and Technology of China USTC
Original Assignee
Beijing Zhongke Research Institute
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhongke Research Institute, University of Science and Technology of China USTC filed Critical Beijing Zhongke Research Institute
Priority to CN202010085655.9A priority Critical patent/CN111340820B/zh
Publication of CN111340820A publication Critical patent/CN111340820A/zh
Application granted granted Critical
Publication of CN111340820B publication Critical patent/CN111340820B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

一种图像分割方法，应用于医学影像处理技术领域，包括：将待分割图像进行逐级编码，得到该待分割图像最高级特征图像，将该最高级特征图像输入给紧凑特征学习模型，得到紧凑特征图像，将该紧凑特征图像结合该最高级特征图像进行逐级解码，以还原该紧凑特征图像的空间信息，得到待分割目标图像，对该待分割目标图像中的各像素的待分割类别进行预测，得到该待分割目标图像的分割预测图，根据该分割预测图，提取该待分割目标图像的预测边界。本申请还公开了一种图像分割装置、电子设备及存储介质，可提升图像分割准确度，同时，降低图像分割中的噪声影响。

Description

图像分割方法、装置、电子设备及存储介质
技术领域
本申请涉及医学影像处理技术领域，尤其涉及一种图像分割方法、装置、电子设备及存储介质。
背景技术
受限于医学成像方法和医学成像设备，医学影像往往存在边缘模糊的特性，这导致医生标注工作的困难，尤其是边界的标注严重依赖于医生的经验和主管标准。同一个医生多次标注之间，不同医生标注之间都存在标注的差异化，由此导致的内在噪声问题在自动分割模型训练过程中往往是被忽略的。
目前已有研究方法，优化边界的方式往往是在训练过程中给边界像素赋予更高的权重，这一定程度上增强了模型对边界的敏感性，但同时也增加了训练过程中噪声带来的影响。
发明内容
本申请的主要目的在于提供一种图像分割方法、装置、电子设备及存储介质，可提升图像分割准确度，降低图像分割中的噪声影响。
为实现上述目的，本申请实施例第一方面提供一种图像分割方法，包括：
将待分割图像输入语义分割网络的编码模块进行逐级编码，所述多层特征图像的空间信息依次减小，语义信息依次增大，并获取所述多层特征图像中空间信息最小且语义信息最大的特征图像作为最高级特征图像；
将所述最高级特征图像送入到紧凑特征模块，在紧凑特征学习模块中，通过粗分割预测结果计算各待分割类别的特征中心，随后根据最高级特征图像中各像素与各特征中心的相似度对最高级特征图进行特征重构，得到紧凑特征图像；
将得到的紧凑特征图与所述的最高级特征图结合，得到第一级紧凑特征图像，获取与所述第一级紧凑特征图像空间信息相同的编码过程中的特征图像，将所述第一级紧凑特征图像与所述特征图像进行特征融合，得到第二级紧凑特征图像，依此得到第N级紧凑特征图像，所述第N级紧凑特征图像的空间信息与所述待分割图像的空间信息相同，将所述第N级紧凑特征图像作为待分割目标图像；
对所述待分割目标图像中的各像素的待分割类别进行预测，得到所述待分割目标图像的分割预测图；
根据所述分割预测图，提取所述待分割目标图像的预测边界；
可选的，所述将所述最高级特征图像输入给紧凑特征学习模型，得到紧凑特征图像包括：
根据所述最高级特征图像，预测各待分割类别的特征中心；
根据自适应的注意力机制，计算所述最高级特征图像中各像素的特征与各特征中心的相似度；
根据所述最高级特征图像中各像素的特征与各特征中心的相似度，对所述最高级特征图像进行重构，得到所述紧凑特征图像。
可选的，所述根据所述分割预测图，提取所述待分割目标图像的预测边界包括：
在所述待分割目标图像的分割预测图中提取边界像素，所述边界像素的预设邻域内所有像素的待分割类别的种类包括至少两种。
分别获取各像素预设邻域内边界像素的数量；
将各像素预设邻域内边界像素的数量作为对应像素的权重；
根据各像素的权重，计算各像素预设邻域的损失；
根据各像素预设邻域的损失，得到所述待分割目标图像的预测边界。
可选的，所述将所述紧凑特征图像结合所述最高级特征图像进行逐级解码，以还原所述紧凑特征图像的空间信息，得到待分割目标图像包括：
将所述紧凑特征图像与所述最高级特征图像进行特征融合，得到第一级紧凑特征图像；
获取与所述第一级紧凑特征图像空间信息相同的编码过程中的特征图像；
将所述第一级紧凑特征图像与所述特征图像进行特征融合，得到第二级紧凑特征图像，依此得到第N级紧凑特征图像，所述第N级紧凑特征图像的空间信息与所述待分割图像的空间信息相同；
将所述第N级紧凑特征图像通过预测层得到待分割目标图像。
可选的，所述第一至N级紧凑特征图像的空间信息依次增大，语义信息依次增大。
可选的，当存在像素预设邻域内边界像素的数量为0时，将所述像素的权重赋值为1。
可选的，所述将待分割图像进行逐级编码，得到所述待分割图像最高级特征图像包括：
将待分割图像进行逐级编码，得到多层特征图像，所述多层特征图像的空间信息依次减小，语义信息依次增大；
获取所述多层特征图像中空间信息最小且语义信息最大的特征图像作为所述待分割图像的最高级特征图像。
本申请实施例第二方面提供一种图像分割装置，包括：
编码模块，用于将待分割图像输入语义分割网络的编码模块进行逐级编码，所述多层特征图像的空间信息依次减小，语义信息依次增大，并获取所述多层特征图像中空间信息最小且语义信息最大的特征图像作为最高级特征图像；
输入模块，用于将所述最高级特征图像送入到紧凑特征模块，在紧凑特征学习模块中，通过粗分割预测结果计算各待分割类别的特征中心，随后根据最高级特征图像中各像素与各特征中心的相似度对最高级特征图进行特征重构，得到紧凑特征图像；
解码模块，将得到的紧凑特征图与所述的最高级特征图结合，得到第一级紧凑特征图像，获取与所述第一级紧凑特征图像空间信息相同的编码过程中的特征图像，将所述第一级紧凑特征图像与所述特征图像进行特征融合，得到第二级紧凑特征图像，依此得到第N级紧凑特征图像，所述第N级紧凑特征图像的空间信息与所述待分割图像的空间信息相同，将所述第N级紧凑特征图像作为待分割目标图像；
预测模块，用于对所述待分割目标图像中的各像素的待分割类别进行预测，得到所述待分割目标图像的分割预测图。
本申请实施例第三方面提供了一种电子设备，包括：
存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现本申请实施例第一方面提供的图像分割方法。
本申请实施例第四方面提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本申请实施例第一方面提供的图像分割方法。
从上述本申请实施例可知，本申请提供的图像分割方法、装置、电子设备及存储介质，将待分割图像进行逐级编码，得到该待分割图像最高级特征图像，将该最高级特征图像输入给紧凑特征学习模型，得到紧凑特征图像，将该紧凑特征图像结合该最高级特征图像进行逐级解码，以还原该紧凑特征图像的空间信息，得到待分割目标图像，对该待分割目标图像中的各像素的待分割类别进行预测，得到该待分割目标图像的分割预测图，根据该分割预测图，提取该待分割目标图像的预测边界，可提升图像分割准确度，同时，降低图像分割中的噪声影响。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请一实施例提供的图像分割方法的流程示意图；
图2为本申请一实施例提供的图像分割方法的框架示意图；
图3为本申请一实施例提供的紧凑特征学习模块的示意图；
图4为本申请一实施例提供的图像分割装置的结构示意图；
图5示出了一种电子设备的硬件结构示意图。
具体实施方式
为使得本申请的申请目的、特征、优点能够更加的明显和易懂，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而非全部实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参阅图1和图2，图1为本申请一实施例提供的图像分割方法的流程示意图，图2为本申请一实施例提供的图像分割方法的框架示意图，该方法可应用于电子设备中，电子设备包括：手机、平板电脑、手提电脑、智能手表、智能眼镜等可在移动中进行数据处理的电子装置以及台式计算机、一体机、智能电视机等非可在移动中进行数据处理的电子装置，该方法主要包括以下步骤：
S101、将待分割图像进行逐级编码，得到该待分割图像最高级特征图像；
S102、将该最高级特征图像输入给紧凑特征学习模型，得到紧凑特征图像；
S103、将该紧凑特征图像结合该最高级特征图像进行逐级解码，以还原该紧凑特征图像的空间信息，得到待分割目标图像；
S104、对该待分割目标图像中的各像素的待分割类别进行预测，得到该待分割目标图像的分割预测图；
S105、根据该分割预测图，提取该待分割目标图像的预测边界。
在本申请其中一个实施例中，该步骤S101包括：
将待分割图像进行逐级编码，得到多层特征图像，该多层特征图像的空间信息依次减小，语义信息依次增大；获取该多层特征图像中空间信息最小且语义信息最大的特征图像作为该待分割图像的最高级特征图像。
其中，图像的空间信息可以理解为图像的分辨率，语义信息可以理解为图像的特征信息。
在本申请其中一个实施例中，步骤S102包括：
根据该最高级特征图像，预测各待分割类别的特征中心；根据自适应的注意力机制，计算该最高级特征图像中各像素的特征与各特征中心的相似度；根据该最高级特征图像中各像素的特征与各特征中心的相似度，对该最高级特征图像进行重构，得到该紧凑特征图像。得到的紧凑特征图像使得相同类别的像素在特征空间表达更紧凑，不同类别的像素在特征空间差异更明显。
具体的，医学影像的一个特点是分割类别很少，往往少于5类，而网络学习到的特征维度很高，少则几百维，多则上千维，这样的特征表达很冗余的同时也很容易过拟合到内在的噪声，为了使判决得到的分割预测图中的分割边界对噪声的鲁棒性更高，请参阅图3，对于高维特征X∈RC*H*W(其中C是特征的维度，H，W分别表示特征的高度和宽度)，首先利用中继监督思想进行预测，得到粗分割概率图Pinter∈RK*H*W(K代表待分割类别的数量)，然后根据粗分割概率图计算各类别的特征中心：
Figure GDA0003380921570000071
其中，xi表示i位置处的特征，
Figure GDA0003380921570000072
表示i位置处粗分割概率图属于待分割类别c的概率，这样计算得到的fc代表类别c的特征中心。
得到各待分割类别的特征中心后，对最高级特征图像的特征进行重构，重构的依据是特征到各待分割类别的特征中心的距离(相似性)，结合自适应的注意力机制让紧凑特征学习模型自己去学习特征重构的映射方式,公式如下:
Figure GDA0003380921570000073
上式表示自适应学习到的特征xi和待分割类别c特征中心fc的相似性,其中θ,φ表示卷积核大小为1*1的卷积操作，则重构后得到的紧凑特征图像xcompact表示如下:
xcompact＝∑x′ic·γ(fc)
上式中γ也是卷积核大小为1*1的卷积操作，得到的新的特征表达xcompact内在包含了最高级特征图像中各像素的特征与各特征中心的距离，经过迭代学习后，与自己距离近的待分割类别越来越近，远的原来越远，从而达到同一待分割类别内特征表达更加紧凑，不同待分割类别间差异更大的效果，进而增强模型对噪声的鲁棒性。
其中，待分割类别是指待分割图片中图像的种类。例如，若待分割图片为胸片，则该待分割图片中的图像包括背景、心脏和肺部，则待分割类别为背景、心脏和肺部；若待分割图片为眼片，则该待分割图片中的图像包括背景和眼球，则待分割类别为背景和眼球。
在本申请其中一个实施例中，该步骤S103包括：
将该紧凑特征图像与该最高级特征图像进行特征融合，得到第一级紧凑特征图像；获取与该第一级紧凑特征图像空间信息相同的编码过程中的特征图像；将该第一级紧凑特征图像与该特征图像进行特征融合，得到第二级紧凑特征图像，依此得到第N级紧凑特征图像，该第N级紧凑特征图像的空间信息与该待分割图像的空间信息相同；将该第N级紧凑特征图像作为待分割目标图像。
在本申请其中一个实施例中，该第一至N级紧凑特征图像的空间信息依次增大，语义信息依次增大。
在本申请其中一个实施例中，步骤S105包括：
在该待分割目标图像的分割预测图中提取边界像素，该边界像素的预设邻域内所有像素的待分割类别的种类包括至少两种。分别获取各像素预设邻域内边界像素的数量；将各像素预设邻域内边界像素的数量作为对应像素的权重；根据各像素的权重，计算各像素预设邻域的损失；根据各像素预设邻域的损失，得到该待分割目标图像的预测边界。
具体的，由于边界模糊带来的标注噪声问题使得模型训练过程一直受到噪声的影响，这种情况在传统的优化目标函数--交叉熵(cross entropy)损失下会更明显，因为交叉熵函数是凸函数，梯度具有无界性。会凸显出潜在的噪声像素在损失中的比重，进而干扰更新的正确方向。本方法基于噪声往往存在于边界这一先验知识，在优化过程中赋予对于当前模型来说信息量大的像素更高的权重，这采用了课程学习的思想，太简单或者太难的样本对于提升当前模型能力来说信息量都不大，在判决边界附近的样本是当前迭代过程中模型应该侧重的。基于此，本方法提出了“伪边界”(pseudo)和“边界像素”(boundarypixel)的概念来提取每一步更新过程中的感兴趣区域,具体操作如下:
首先，在第t轮迭代过程中，先根据网络输出得到分割预测图P；
然后，根据生成的预测图，判定哪些像素属于边界像素。判断规则是,如果在该像素K-邻域内预测类别出现不一致(即包含两种以上的预测类别)，则该像素为“边界像素”。公式化表达如下:
Figure GDA0003380921570000091
其中i表示第i个像素，Nb(i)表示i像素的k邻域内的像素，pi表示第i个像素的预测类别
Figure GDA0003380921570000092
是一个二元判决子，当pi和pj相同是为1，反之为0。
然后，统计像素i的K邻域内边界像素的个数，作为像素i的权重，为避免信息损失，对于k领域内没有边界像素的像素,，赋予权重1。
Figure GDA0003380921570000093
上式中Wt(i)表示在t轮迭代过程中像素i的权重，Nb(i)表示i像素的k邻域内的像素，Ft(i)表示像素i的k邻域内的像素j是否为边界像素。
然后，计算t轮迭代过程中的损失，称为域损失：
Figure GDA0003380921570000094
其中，N为图像中像素的个数，Wt(i)表示像素i的权重，y表示像素i的标注类别，
Figure GDA0003380921570000095
表示像素i预测为标注类别y的概率。
通过以上的优化策略，模型更新过程符合课程学习的优化过程,每一步模型更新将更关注于当前模型判决能力的边界，使得前期更新过程中边界噪声的影响降低，逐步拟合到实际边界，以达到加快收敛速度，同时增强模型对噪声鲁棒性的目的。
请参阅图4，图4是本申请一实施例提供的图像分割装置的结构示意图，该装置可内置于电子设备中，该装置主要包括：
编码模块201，用于将待分割图像进行逐级编码，得到该待分割图像最高级特征图像；
输入模块202，用于将该最高级特征图像输入给紧凑特征学习模型，得到紧凑特征图像；
解码模块203，用于将该紧凑特征图像结合该最高级特征图像进行逐级解码，以还原该紧凑特征图像的空间信息，得到待分割目标图像；
预测模块204，用于对该待分割目标图像中的各像素的待分割类别进行预测，得到该待分割目标图像的分割预测图；
提取模块205，用于根据该分割预测图，提取该待分割目标图像的预测边界。
在本申请其中一个实施例中，编码模块201包括：
编码子模块，用于将待分割图像进行逐级编码，得到多层特征图像，该多层特征图像的空间信息依次减小，语义信息依次增大；
第一获取子模块，用于获取该多层特征图像中空间信息最小且语义信息最大的特征图像作为该待分割图像的最高级特征图像。
在本申请其中一个实施例中，输入模块202包括：
预测子模块，用于根据该最高级特征图像，预测各待分割类别的特征中心；
计算子模块，根据自适应的注意力机制，计算该最高级特征图像中各像素的特征与各特征中心的相似度；
重构子模块，用于根据该最高级特征图像中各像素的特征与各特征中心的相似度，对该最高级特征图像进行重构，得到该紧凑特征图像。
在本申请其中一个实施例中，解码模块203包括：
融合子模块，用于将该紧凑特征图像与该最高级特征图像进行特征融合，得到第一级紧凑特征图像；
第二获取子模块，用于获取与该第一级紧凑特征图像空间信息相同的编码过程中的特征图像；
该融合子模块，还用于将该第一级紧凑特征图像与该特征图像进行特征融合，得到第二级紧凑特征图像，依此得到第N级紧凑特征图像，该第N级紧凑特征图像的空间信息与该待分割图像的空间信息相同；
确定子模块，用于将该第N级紧凑特征图像作为待分割目标图像。
在本申请其中一个实施例中，该第一至N级紧凑特征图像的空间信息依次增大，语义信息依次增大。
在本申请其中一个实施例中，提取模块205包括：
提取子模块，用于在该待分割目标图像的分割预测图中提取边界像素，该边界像素的预设邻域内所有像素的待分割类别的种类包括至少两种。
获取模块，用于分别获取各像素预设邻域内边界像素的数量；
权重模块，用于将各像素预设邻域内边界像素的数量作为对应像素的权重；
计算模块，用于根据各像素的权重，计算当前迭代过程中各像素预设邻域损失；
确定模块，用于根据各像素预设邻域的损失，得到该待分割目标图像的预测边界。
请参见图5，图5示出了一种电子设备的硬件结构图。
本实施例中所描述的电子设备，包括：
存储器31、处理器32及存储在存储器31上并可在处理器上运行的计算机程序，处理器执行该程序时实现前述图1至图2所示实施例中描述的图像分割方法。
进一步地，该电子设备还包括：
至少一个输入设备33；至少一个输出设备34。
上述存储器31、处理器32输入设备33和输出设备34通过总线35连接。
其中，输入设备33具体可为摄像头、触控面板、物理按键或者鼠标等等。输出设备34具体可为显示屏。
存储器31可以是高速随机存取记忆体(RAM，Random Access Memory)存储器，也可为非不稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器31用于存储一组可执行程序代码，处理器32与存储器31耦合。
进一步地，本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质可以是设置于上述各实施例中的终端中，该计算机可读存储介质可以是前述图5所示实施例中的存储器。该计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现前述图1至图2所示实施例中描述的图像分割方法。进一步地，该计算机可存储介质还可以是U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
该集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来。
需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本发明所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
以上为对本发明所提供的一种图像分割方法、装置、电子设备及存储介质的描述，对于本领域的技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本发明的限制。

Claims (7)

1.一种图像分割方法，其特征在于，包括：
将待分割图像输入语义分割网络的编码模块进行逐级编码得到多层特征图像，所述多层特征图像的空间信息依次减小，语义信息依次增大，并获取所述多层特征图像中空间信息最小且语义信息最大的特征图像作为最高级特征图像；
将所述最高级特征图像送入到紧凑特征模块，在紧凑特征学习模块中，通过粗分割预测结果计算各待分割类别的特征中心，随后根据最高级特征图像中各像素与各特征中心的相似度对最高级特征图进行特征重构，得到紧凑特征图像；
将得到的紧凑特征图与所述的最高级特征图结合，得到第一级紧凑特征图像，获取与所述第一级紧凑特征图像空间信息相同的编码过程中的特征图像，将所述第一级紧凑特征图像与所述特征图像进行特征融合，得到第二级紧凑特征图像，依此得到第N级紧凑特征图像，所述第N级紧凑特征图像的空间信息与所述待分割图像的空间信息相同，将所述第N级紧凑特征图像作为待分割目标图像；
对所述待分割目标图像中的各像素的待分割类别进行预测，得到所述待分割目标图像的分割预测图；
根据所述分割预测图，提取所述待分割目标图像的预测边界。
2.根据权利要求1所述的图像分割方法，其特征在于，根据所述分割预测图，提取所述待分割目标图像的预测边界包括：
在所述待分割目标图像的分割预测图中提取边界像素，所述边界像素的预设邻域内所有像素的待分割类别的种类包括至少两种；
分别获取各像素预设邻域内边界像素的数量；
将各像素预设邻域内边界像素的数量作为对应像素的权重；
根据各像素的权重，计算各像素预设邻域的损失；
根据各像素预设邻域的损失，迭代式更新模型最终得到所述待分割目标图像的预测结果。
3.根据权利要求2所述的图像分割方法，其特征在于，当存在像素预设邻域内边界像素的数量为0时，将所述像素的权重赋值为1。
4.根据权利要求1至3任意一项所述的图像分割方法，其特征在于，所述将待分割图像进行逐级编码，得到所述待分割图像最高级特征图像包括：
将待分割图像进行逐级编码，得到多层特征图像，所述多层特征图像的空间信息依次减小，语义信息依次增大；
获取所述多层特征图像中空间信息最小且语义信息最大的特征图像作为所述待分割图像的最高级特征图像。
5.一种图像分割装置，其特征在于，包括：
编码模块，用于将待分割图像输入语义分割网络的编码模块进行逐级编码得到多层特征图像，所述多层特征图像的空间信息依次减小，语义信息依次增大，并获取所述多层特征图像中空间信息最小且语义信息最大的特征图像作为最高级特征图像；
输入模块，将所述最高级特征图像送入到紧凑特征模块，在紧凑特征学习模块中，通过粗分割预测结果计算各待分割类别的特征中心，随后根据最高级特征图像中各像素与各特征中心的相似度对最高级特征图进行特征重构，得到紧凑特征图像；
解码模块，用于将得到的紧凑特征图与所述的最高级特征图结合，得到第一级紧凑特征图像，获取与所述第一级紧凑特征图像空间信息相同的编码过程中的特征图像，将所述第一级紧凑特征图像与所述特征图像进行特征融合，得到第二级紧凑特征图像，依此得到第N级紧凑特征图像，所述第N级紧凑特征图像的空间信息与所述待分割图像的空间信息相同，将所述第N级紧凑特征图像作为待分割目标图像；
预测模块，用于对所述待分割目标图像中的各像素的待分割类别进行预测，得到所述待分割目标图像的分割预测图；
提取模块，用于根据所述分割预测图，提取所述待分割目标图像的预测边界。
6.一种电子设备，包括：存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现权利要求1至4中的任一项所述的图像分割方法中的各个步骤。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现权利要求1至4中的任一项所述的图像分割方法中的各个步骤。
CN202010085655.9A 2020-02-10 2020-02-10 图像分割方法、装置、电子设备及存储介质 Active CN111340820B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010085655.9A CN111340820B (zh) 2020-02-10 2020-02-10 图像分割方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010085655.9A CN111340820B (zh) 2020-02-10 2020-02-10 图像分割方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN111340820A CN111340820A (zh) 2020-06-26
CN111340820B true CN111340820B (zh) 2022-05-17

Family

ID=71181405

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010085655.9A Active CN111340820B (zh) 2020-02-10 2020-02-10 图像分割方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN111340820B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111915627B (zh) * 2020-08-20 2021-04-16 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 语义分割方法、网络、设备及计算机存储介质
CN113284155B (zh) * 2021-06-08 2023-11-07 京东科技信息技术有限公司 视频目标分割方法、装置、存储介质及电子设备
CN113822901B (zh) * 2021-07-21 2023-12-12 南京旭锐软件科技有限公司 图像分割方法、装置、存储介质及电子设备
CN114565759A (zh) * 2022-02-22 2022-05-31 北京百度网讯科技有限公司 图像语义分割模型优化方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109872306A (zh) * 2019-01-28 2019-06-11 腾讯科技（深圳）有限公司 医学图像分割方法、装置和存储介质
CN110148192A (zh) * 2019-04-18 2019-08-20 上海联影智能医疗科技有限公司 医学影像成像方法、装置、计算机设备和存储介质
CN110490203A (zh) * 2019-07-05 2019-11-22 平安科技（深圳）有限公司 图像分割方法及装置、电子设备和计算机可读存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109493347B (zh) * 2017-09-12 2021-03-23 深圳科亚医疗科技有限公司 在图像中对稀疏分布的对象进行分割的方法和***
CN108335313A (zh) * 2018-02-26 2018-07-27 阿博茨德（北京）科技有限公司 图像分割方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109872306A (zh) * 2019-01-28 2019-06-11 腾讯科技（深圳）有限公司 医学图像分割方法、装置和存储介质
CN110148192A (zh) * 2019-04-18 2019-08-20 上海联影智能医疗科技有限公司 医学影像成像方法、装置、计算机设备和存储介质
CN110490203A (zh) * 2019-07-05 2019-11-22 平安科技（深圳）有限公司 图像分割方法及装置、电子设备和计算机可读存储介质

Also Published As

Publication number Publication date
CN111340820A (zh) 2020-06-26

Similar Documents

Publication Publication Date Title
CN111340820B (zh) 图像分割方法、装置、电子设备及存储介质
US11222211B2 (en) Method and apparatus for segmenting video object, electronic device, and storage medium
WO2020098422A1 (zh) 编码图案的处理方法和装置、存储介质、电子装置
CN113221925B (zh) 一种基于多尺度图像的目标检测方法及装置
CN115661144A (zh) 基于可变形U-Net的自适应医学图像分割方法
CN110516598B (zh) 用于生成图像的方法和装置
WO2018230294A1 (ja) 動画像処理装置、表示装置、動画像処理方法、および制御プログラム
CN112597918A (zh) 文本检测方法及装置、电子设备、存储介质
JP2019164618A (ja) 信号処理装置、信号処理方法およびプログラム
CN111709428B (zh) 图像中关键点位置的识别方法、装置、电子设备及介质
CN111145202B (zh) 模型生成方法、图像处理方法、装置、设备及存储介质
CN116645592A (zh) 一种基于图像处理的裂缝检测方法和存储介质
Memon et al. Segmentation of Intensity‐Corrupted Medical Images Using Adaptive Weight‐Based Hybrid Active Contours
CN113596576A (zh) 一种视频超分辨率的方法及装置
CN110929731B (zh) 一种基于探路者智能搜索算法的医疗影像处理方法及装置
CN116129417A (zh) 一种基于低质量图像的数字仪表读数检测方法
CN116363429A (zh) 图像识别模型的训练方法、图像识别方法、装置及设备
CN116309158A (zh) 网络模型的训练方法、三维重建方法、装置、设备和介质
CN116188535A (zh) 基于光流估计的视频跟踪方法、装置、设备及存储介质
CN112102216B (zh) 自适应权重的全变差图像融合方法
Zhao et al. Single image super-resolution reconstruction using multiple dictionaries and improved iterative back-projection
CN114494686A (zh) 文本图像矫正方法、装置、电子设备以及存储介质
Azhar et al. Texture-oriented image denoising technique for the removal of random-valued impulse noise
CN117252881B (zh) 基于手部x光图像的骨龄预测方法、***、设备及介质
CN117809092A (zh) 一种医学图像的处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant