CN113724276B - 一种息肉图像的分割方法和装置 - Google Patents

一种息肉图像的分割方法和装置 Download PDF

Info

Publication number
CN113724276B
CN113724276B CN202110889919.0A CN202110889919A CN113724276B CN 113724276 B CN113724276 B CN 113724276B CN 202110889919 A CN202110889919 A CN 202110889919A CN 113724276 B CN113724276 B CN 113724276B
Authority
CN
China
Prior art keywords
polyp
image
feature
features
shallow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110889919.0A
Other languages
English (en)
Other versions
CN113724276A (zh
Inventor
李镇
魏军
胡译文
周少华
崔曙光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chinese University of Hong Kong Shenzhen
Original Assignee
Chinese University of Hong Kong Shenzhen
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chinese University of Hong Kong Shenzhen filed Critical Chinese University of Hong Kong Shenzhen
Priority to CN202110889919.0A priority Critical patent/CN113724276B/zh
Publication of CN113724276A publication Critical patent/CN113724276A/zh
Application granted granted Critical
Publication of CN113724276B publication Critical patent/CN113724276B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种息肉图像的分割方法和装置，包括：获取待输入的息肉图像；从预设的训练集中选取与所述息肉图像颜色不同的参考图像，并将所述参考图像与所述息肉图像的颜色进行交换；从颜色交换后的息肉图像中提取浅层特征和深层特征，并利用浅层注意力模型抑制所述浅层特征的背景噪声，以及将所述浅层特征和所述深层特征进行融合；采用概率矫正策略模型对融合后的特征进行预测响应值再均衡处理，得到边缘清晰的息肉特征图像。本发明可以精确高效地从图像中分割出息肉部位，并在各种复杂的实际场景中具有更好的泛化性。

Description

一种息肉图像的分割方法和装置
技术领域
本发明实施例涉及图像处理技术领域，尤其是一种息肉图像的分割方法和装置。
背景技术
息肉容易引起癌变，尤其是多发性息肉，因此对息肉进行早期筛查和治疗非常必要。息肉分割(Polyp Segmentation)作为一种计算机视觉任务，可以自动地将图像或视频中的息肉部位分割出来，大大地降低医生的工作量，因此建立一套精确的息肉分割模型对于临床医学诊断具有重大意义。
目前，基于平行反向注意力网络的PraNet是最常用的现有技术。PraNet首先利用Res2Net神经网络从息肉图像中抽取不同语义级别的特征，然后利用并行的解码器对高语义级别的特征进行聚合从而获得图像的全局上下文信息，但由于高语义级别的特征损失了过多的细节信息，因此其获得的息肉分割结果相对粗糙。为了进一步挖掘息肉边界线索，PraNet利用反向注意力模块来构建息肉区域和息肉边界间的关系。通过息肉区域和息肉边界间的不断交互补充，PraNet可以获得更为精确的息肉分割预测结果。
虽然PraNet可以获得相对准确的结果，但其存在两个重要缺陷：(1)对小息肉目标分割结果较差。因为小息肉在高语义级别的特征中损失信息过多，难以直接恢复；另外，小息肉边界标注存在较大误差，对最终分割结果影响较大；(2)忽视了数据集中存在的颜色偏差。通常，不同条件下采集的息肉图像的颜色存在较大差异，这种差异会干扰息肉分割模型的训练，特别是当训练图像较少时，模型很容易过拟合到息肉颜色上，导致模型在实际应用场景中存在明显泛化能力下降。
发明内容
为解决上述技术问题，本发明创造的实施例提供一种息肉图像的分割方法，包括：
获取待输入的息肉图像；
从预设的训练集中选取与所述息肉图像颜色不同的参考图像，并将所述参考图像与所述息肉图像的颜色进行交换；
从颜色交换后的息肉图像中提取浅层特征和深层特征，并利用浅层注意力模型抑制所述浅层特征的背景噪声，以及将所述浅层特征和所述深层特征进行融合；
采用概率矫正策略模型对融合后的特征进行预测响应值再均衡处理，得到边缘清晰的息肉特征图像。
进一步地，所述将所述参考图像与所述息肉图像的颜色进行交换，包括：
将所述息肉图像X1以及参考图像X2的颜色由RGB颜色空间转换为LAB颜色空间，得到所述息肉图像X1以及所述参考图像X2在LAB颜色空间中的颜色值L1和L2；
计算所述息肉图像X1在LAB颜色空间中通道的均值和标准差以及所述参考图像X2在LAB颜色空间中通道的均值和标准差；
利用预设的颜色转换公式得到RGB颜色空间中息肉图像Y1的颜色值，以及RGB颜色空间中参考图像Y2的颜色值。
进一步地，所述利用浅层注意力模型抑制所述浅层特征的背景噪声，包括：
将所述深层特征通过双线性差值上采样使得采样后的深层特征与浅层特征的分辨率相同；
从采样的深层特征中选取大于0的元素确定为所述浅层特征的注意力图，得到待融合的深层特征；
将所述待融合的深层特征与所述浅层特征逐元素相乘得到抑制背景噪声后的浅层特征。
进一步地，所述将所述浅层特征和所述深层特征进行融合，包括：
提取采用卷积神经网络对抑制背景噪声后的浅层特征进行处理时的最后三种尺度的第一特征、第二特征和第三特征；
将所述第一特征和所述第二进行融合得到第一融合特征；
将所述第二特征和所述第三特征融合得到第二融合特征；
将所述第一融合特征和所述第二融合特征按照通道进行拼接得到最终的融合特征。
进一步地，采用概率矫正策略模型对融合后的特征进行预测响应值再均衡处理，得到边缘清晰的息肉特征图像，包括：
统计融合后的息肉特征图像中特征响应值大于0的像素个数得到第一像素值；
统计融合后的息肉特征图像中特征响应值小于0的像素个数得到第二像素值；
将所述第一像素值和所述第二像素值进行归一化处理，并将所述息肉特征图像中大于0的特征响应值除以归一化后的第一像素值，将所述息肉特征图像中小于0的特征响应值除以归一化后的第二像素值得到矫正后的息肉特征图像。
一种息肉图像的分割装置，包括：
获取模块，用于获取待输入的息肉图像；
处理模块，用于从预设的训练集中选取与所述息肉图像颜色不同的参考图像，并将所述参考图像与所述息肉图像的颜色进行交换；
所述处理模块，用于从颜色交换后的息肉图像中提取浅层特征和深层特征，并利用浅层注意力模型抑制所述浅层特征的背景噪声，以及将所述浅层特征和所述深层特征进行融合；
执行模块，用于采用概率矫正策略模型对融合后的特征进行预测响应值再均衡处理，得到边缘清晰的息肉特征图像。
进一步地，所述将处理模块包括：
第一处理子模块，用于将所述息肉图像X1以及参考图像X2的颜色由RGB颜色空间转换为LAB颜色空间，得到所述息肉图像X1以及所述参考图像X2在LAB颜色空间中的颜色值L1和L2；
第二处理子模块，用于计算所述息肉图像X1在LAB颜色空间中通道的均值和标准差以及所述参考图像X2在LAB颜色空间中通道的均值和标准差；
第三处理子模块，用于利用预设的颜色转换公式得到RGB颜色空间中息肉图像Y1的颜色值，以及RGB颜色空间中参考图像Y2的颜色值。
进一步地，所述处理模块包括：
第四处理子模块，用于将所述深层特征通过双线性差值上采样使得采样后的深层特征与浅层特征的分辨率相同；
第一获取子模块，用于从采样的深层特征中选取大于0的元素确定为所述浅层特征的注意力图，得到待融合的深层特征；
第一执行子模块，用于将所述待融合的深层特征与所述浅层特征逐元素相乘得到抑制背景噪声后的浅层特征。
进一步地，所述处理模块包括：
第二获取子模块，用于提取采用卷积神经网络对抑制背景噪声后的浅层特征进行处理时的最后三种尺度的第一特征、第二特征和第三特征；
第五处理子模块，用于将所述第一特征和所述第二进行融合得到第一融合特征；
第六处理子模块，用于将所述第二特征和所述第三特征融合得到第二融合特征；
第二执行子模块，用于将所述第一融合特征和所述第二融合特征按照通道进行拼接得到最终的融合特征。
进一步地，所述执行模块包括：
第三获取子模块，用于统计融合后的息肉特征图像中特征响应值大于0的像素个数得到第一像素值；
第四获取子模块，用于统计融合后的息肉特征图像中特征响应值小于0的像素个数得到第二像素值；
第三执行子模块，用于将所述第一像素值和所述第二像素值进行归一化处理，并将所述息肉特征图像中大于0的特征响应值除以归一化后的第一像素值，将所述息肉特征图像中小于0的特征响应值除以归一化后的第二像素值得到矫正后的息肉特征图像。
本发明实施例的有益效果是：
(1)针对小息肉目标分割不准确的问题，本发明中的浅层注意力模块(SAM)可以加强模型对神经网络浅层特征的抽取和利用能力，因为浅层特征为小息肉保留更多的细节特征。不同于传统直接通过加法或拼接等操作融合多层特征的方法，SAM利用深层特征作为辅助，通过注意力机制引导去除浅层特征中的背景噪声，从而大大提升了浅层特征的可用性。此外，小息肉图像的前景和背景像素分布不平衡，对此，通过概率矫正策略(PCS)，在模型推理阶段可以根据预测结果动态自适应地对其响应值进行矫正，从而优化分割目标的边缘并降低前背景分布不平衡的影响。
(2)针对数据集颜色偏差问题，本发明提出的一种颜色交换(CE)操作以消除颜色偏差对模型训练的影响。具体来说，通过CE不同图像的颜色可以互相迁移，同一图像的颜色可以出现不同的变化，从而实现了图像颜色和图像内容的解耦，因此模型在训练中可以专注于图像内容本身而不会被其颜色所干扰。大量的定量和定性的实验表明，本发明所提出的SANet模型可以精确高效地从图像中分割出息肉部位，并在各种复杂的实际场景中具有更好的泛化性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的息肉图像分割方法的流程示意图；
图2为本发明实施例提供的效果比对示意图；
图3为本发明实施例提供的另一效果比对示意图；
图4为本发明实施例提供的息肉图像分割装置的结构示意图；
图5为本发明实施例提供的计算机设备基本结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
在本发明的说明书和权利要求书及上述附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如101、102等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参照图1，图1为本发明实施例提供一种息肉图像的分割方法，包括：
S1100、获取待输入的息肉图像；
S1200、从预设的训练集中选取与所述息肉图像颜色不同的参考图像，并将所述参考图像与所述息肉图像的颜色进行交换；
S1300、从颜色交换后的息肉图像中提取浅层特征和深层特征，并利用浅层注意力模型抑制所述浅层特征的背景噪声，以及将所述浅层特征和所述深层特征进行融合；
S1400、采用概率矫正策略模型对融合后的特征进行预测响应值再均衡处理，得到边缘清晰的息肉特征图像。
本发明中的浅层注意力模块(SAM)可以加强模型对神经网络浅层特征的抽取和利用能力，因为浅层特征为小息肉保留更多的细节特征。不同于传统直接通过加法或拼接等操作融合多层特征的方法，SAM利用深层特征作为辅助，通过注意力机制引导去除浅层特征中的背景噪声，从而大大提升了浅层特征的可用性。此外，小息肉图像的前景和背景像素分布不平衡，对此，通过概率矫正策略(PCS)，在模型推理阶段可以根据预测结果动态自适应地对其响应值进行矫正，从而优化分割目标的边缘并降低前背景分布不平衡的影响。此外，针对数据集颜色偏差问题，本发明提出的一种颜色交换(CE)操作以消除颜色偏差对模型训练的影响。具体来说，通过CE不同图像的颜色可以互相迁移，同一图像的颜色可以出现不同的变化，从而实现了图像颜色和图像内容的解耦，因此模型在训练中可以专注于图像内容本身而不会被其颜色所干扰。大量的定量和定性的实验表明，本发明所提出的SANet模型可以精确高效地从图像中分割出息肉部位，并在各种复杂的实际场景中具有更好的泛化性。
本发明实施例包含三个模型CE、SAM和PCS，其中，CE用在数据增广阶段可将不同图像的颜色迁移到输入图像上；SAM用在特征融合阶段可充分发挥浅层特征的潜能；PCS用在模型推理阶段可优化调整预测结果。
具体地，颜色交换操作直接作用于输入图像，使得同一输入图像在模型训练过程中可以呈现不同的颜色风格，如图2所示。具体来讲，对于任意一张输入图像，随机从训练集中挑选一张颜色不同的图像作为参考并将其颜色迁移到该输入图像上，由于每次挑选的参考图像具有随机性，同一输入图像可以呈现不同颜色风格但对应标签保持不变，因此模型在训练中会重点关注图像内容而不会被图像颜色所影响。其中，将所述参考图像与所述息肉图像的颜色进行交换，包括：
步骤一、将所述息肉图像X1以及参考图像X2的颜色由RGB颜色空间转换为LAB颜色空间，得到所述息肉图像X1以及所述参考图像X2在LAB颜色空间中的颜色值L1和L2；
步骤二、计算所述息肉图像X1在LAB颜色空间中通道的均值和标准差以及所述参考图像X2在LAB颜色空间中通道的均值和标准差；
步骤三、利用预设的颜色转换公式得到RGB颜色空间中息肉图像Y1的颜色值，以及RGB颜色空间中参考图像Y2的颜色值。
本发明实施例中，小息肉图像在特征降采样中面临着严重的信息丢失问题，因此充分利用包含丰富细节的浅层特征对小息肉目标分割具有重要意义，但由于感受野限制，这些特征包含了大量的背景噪声。为此本发明提出SAM利用深层特征对浅层特征进行背景噪声抑制，可以充分提升浅层特征的易用性，并促进模型对小息肉目标的分割效果。具体地，利用浅层注意力模型抑制所述浅层特征的背景噪声，包括：
步骤一、将所述深层特征通过双线性差值上采样使得采样后的深层特征与浅层特征的分辨率相同；
步骤二、从采样的深层特征中选取大于0的元素确定为所述浅层特征的注意力图，得到待融合的深层特征；
步骤三、将所述待融合的深层特征与所述浅层特征逐元素相乘得到抑制背景噪声后的浅层特征。
本发明的一个实施例，将通过双线性插值上采样到和相同的分辨率大小，即将小于0的元素置为0，作为的注意力图，即；将和逐元素相乘从而抑制背景噪声，即。
本发明实施例中，SAM可以将深层和浅层特征有效融合在一起。其中，将所述浅层特征和所述深层特征进行融合，包括：
提取采用卷积神经网络对抑制背景噪声后的浅层特征进行处理时的最后三种尺度的第一特征、第二特征和第三特征；
将所述第一特征和所述第二进行融合得到第一融合特征；
将所述第二特征和所述第三特征融合得到第二融合特征；
将所述第一融合特征和所述第二融合特征按照通道进行拼接得到最终的融合特征。
本发明的一个实施例，在SANet模型中，我们将Res2Net的stage3、stage4和stage5所输出的特征(分别记为f3,f4,f5)做融合以便降低模型计算量。基于SAM，将被融合到一起以充分发挥各尺度特征的优点。将融合在一起，即得；将融合在一起，即得；将新得的按通道拼接起来，即得最终的融合特征。
本发明实施例中，小息肉图像存在严重的前背景像素分布不均的现象。负样本(背景像素)在模型训练过程中占据主导地位，这种先验的偏差导致模型更倾向于给正样本(前景像素)更低的响应值(logit)，从而导致目标边缘分割效果较差。为矫正这种不均衡，本发明在模型推理阶段使用PCS对预测响应值进行再均衡，其中，采用概率矫正策略模型对融合后的特征进行预测响应值再均衡处理，得到边缘清晰的息肉特征图像，包括：
统计融合后的息肉特征图像中特征响应值大于0的像素个数得到第一像素值；
统计融合后的息肉特征图像中特征响应值小于0的像素个数得到第二像素值；
将所述第一像素值和所述第二像素值进行归一化处理，并将所述息肉特征图像中大于0的特征响应值除以归一化后的第一像素值，将所述息肉特征图像中小于0的特征响应值除以归一化后的第二像素值得到矫正后的息肉特征图像。
本发明的一个实施例，统计响应值大于0(logit>0)的像素个数，可得；统计响应值小于0(logit<0)的像素个数，可得；对进行归一化，即；将logit>0的响应值除以，将logit<0的响应值除以最后得到矫正后的息肉特征图像。经过PCS之后，正负样本数量对预测结果造成的偏差被消除，目标边缘部分可以获得更清晰的预测结果，如图2展示了使用PCS所得结果的部分细节。
表1.不同模型在数据集上的定量结果
本发明的一个实施例，表1展示不同模型在Kvasir，CVC-ClinicDB，CVC-ColonDB，EndoScene，ETIS等5个数据集上的定量结果，可以看到本发明在所有数据集上均取得了最高的得分。图3展示了不同算法在具体图像上的定性实验结果，可以看到本发明比之前的模型可以获得更完整更清晰的息肉区域。综合上述实验，本发明可以更好的去除数据集中存在的偏差和背景噪声，从而在息肉分割方面有着优秀的表现。
如图4所示，为了解决上述问题，本发明实施例还提供一种息肉图像分割装置，包括：取模块2100、处理模块2200和执行模块2300，其中，获取模块2100，用于获取待输入的息肉图像；处理模块2200，用于从预设的训练集中选取与所述息肉图像颜色不同的参考图像，并将所述参考图像与所述息肉图像的颜色进行交换；处理模块2200，用于从颜色交换后的息肉图像中提取浅层特征和深层特征，并利用浅层注意力模型抑制所述浅层特征的背景噪声，以及将所述浅层特征和所述深层特征进行融合；执行模块2300，用于采用概率矫正策略模型对融合后的特征进行预测响应值再均衡处理，得到边缘清晰的息肉特征图像。
在一些实施方式中，所述处理模块包括：第一处理子模块，用于将所述息肉图像X1以及参考图像X2的颜色由RGB颜色空间转换为LAB颜色空间，得到所述息肉图像X1以及所述参考图像X2在LAB颜色空间中的颜色值L1和L2；第二处理子模块，用于计算所述息肉图像X1在LAB颜色空间中通道的均值和标准差以及所述参考图像X2在LAB颜色空间中通道的均值和标准差；第三处理子模块，用于利用预设的颜色转换公式得到RGB颜色空间中息肉图像Y1的颜色值，以及RGB颜色空间中参考图像Y2的颜色值。
在一些实施方式中，所述处理模块包括：第四处理子模块，用于将所述深层特征通过双线性差值上采样使得采样后的深层特征与浅层特征的分辨率相同；第一获取子模块，用于从采样的深层特征中选取大于0的元素确定为所述浅层特征的注意力图，得到待融合的深层特征；第一执行子模块，用于将所述待融合的深层特征与所述浅层特征逐元素相乘得到抑制背景噪声后的浅层特征。
在一些实施方式中，所述处理模块包括：第二获取子模块，用于提取采用卷积神经网络对抑制背景噪声后的浅层特征进行处理时的最后三种尺度的第一特征、第二特征和第三特征；第五处理子模块，用于将所述第一特征和所述第二进行融合得到第一融合特征；第六处理子模块，用于将所述第二特征和所述第三特征融合得到第二融合特征；第二执行子模块，用于将所述第一融合特征和所述第二融合特征按照通道进行拼接得到最终的融合特征。
在一些实施方式中，所述执行模块包括：第三获取子模块，用于统计融合后的息肉特征图像中特征响应值大于0的像素个数得到第一像素值；第四获取子模块，用于统计融合后的息肉特征图像中特征响应值小于0的像素个数得到第二像素值；第三执行子模块，用于将所述第一像素值和所述第二像素值进行归一化处理，并将所述息肉特征图像中大于0的特征响应值除以归一化后的第一像素值，将所述息肉特征图像中小于0的特征响应值除以归一化后的第二像素值得到矫正后的息肉特征图像。
为解决上述技术问题，本发明实施例还提供计算机设备。具体请参阅图5，图5为本实施例计算机设备基本结构框图。
如图5所示，计算机设备的内部结构示意图。如图5所示，该计算机设备包括通过***总线连接的处理器、非易失性存储介质、存储器和网络接口。其中，该计算机设备的非易失性存储介质存储有操作***、数据库和计算机可读指令，数据库中可存储有控件信息序列，该计算机可读指令被处理器执行时，可使得处理器实现一种图像处理方法。该计算机设备的处理器用于提供计算和控制能力，支撑整个计算机设备的运行。该计算机设备的存储器中可存储有计算机可读指令，该计算机可读指令被处理器执行时，可使得处理器执行一种图像处理方法。该计算机设备的网络接口用于与终端连接通信。本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
本实施方式中处理器用于执行图4中获取模块2100、处理模块2200和执行模块2300的具体内容，存储器存储有执行上述模块所需的程序代码和各类数据。网络接口用于向用户终端或服务器之间的数据传输。本实施方式中的存储器存储有图像处理方法中执行所有子模块所需的程序代码及数据，服务器能够调用服务器的程序代码及数据执行所有子模块的功能。
本发明实施例提供的计算机设备，其中的参考特征图是对参考池中的高清图像集进行特征提取得到的，由于高清图像集中图像的多样化，参考特征图中包含了所有可能用到的局部特征，可以为每一张低分辨率图像提供高频纹理信息不仅保证了特征的丰富性，还可以减轻了内存负担。此外，根据低分辨率图像来搜索参考特征图，选择的参考特征图可以自适应的屏蔽或增强多种不同的特征，使低分辨率图像的细节更加丰富。
本发明还提供一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述任一实施例所述图像处理方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (6)

1.一种息肉图像的分割方法，其特征在于，包括：
获取待输入的息肉图像；
从预设的训练集中选取与所述息肉图像颜色不同的参考图像，并将所述参考图像与所述息肉图像的颜色进行交换；
从颜色交换后的息肉图像中提取浅层特征和深层特征，并利用浅层注意力模型抑制所述浅层特征的背景噪声，以及将所述浅层特征和所述深层特征进行融合；
采用概率矫正策略模型对融合后的特征进行预测响应值再均衡处理，得到边缘清晰的息肉特征图像；
其中，所述利用浅层注意力模型抑制所述浅层特征的背景噪声，包括：
将所述深层特征通过双线性差值上采样使得采样后的深层特征与浅层特征的分辨率相同；
从采样的深层特征中选取大于0的元素确定为所述浅层特征的注意力图，得到待融合的深层特征；
将所述待融合的深层特征与所述浅层特征逐元素相乘得到抑制背景噪声后的浅层特征；
采用概率矫正策略模型对融合后的特征进行预测响应值再均衡处理，得到边缘清晰的息肉特征图像，包括：
统计融合后的息肉特征图像中特征响应值大于0的像素个数得到第一像素值；
统计融合后的息肉特征图像中特征响应值小于0的像素个数得到第二像素值；
将所述第一像素值和所述第二像素值进行归一化处理，并将所述息肉特征图像中大于0的特征响应值除以归一化后的第一像素值，将所述息肉特征图像中小于0的特征响应值除以归一化后的第二像素值得到矫正后的息肉特征图像。
2.根据权利要求1所述的分割方法，其特征在于，所述将所述参考图像与所述息肉图像的颜色进行交换，包括：
将所述息肉图像X1以及参考图像X2的颜色由RGB颜色空间转换为LAB颜色空间，得到所述息肉图像X1以及所述参考图像X2在LAB颜色空间中的颜色值L1和L2；
计算所述息肉图像X1在LAB颜色空间中通道的均值和标准差/>以及所述参考图像X2在LAB颜色空间中通道的均值/>和标准差/>；
利用预设的颜色转换公式得到RGB颜色空间中息肉图像Y1的颜色值，以及RGB颜色空间中参考图像Y2的颜色值。
3.根据权利要求1所述的分割方法，其特征在于，所述将所述浅层特征和所述深层特征进行融合，包括：
提取采用卷积神经网络对抑制背景噪声后的浅层特征进行处理时的最后三种尺度的第一特征、第二特征和第三特征；
将所述第一特征和所述第二特征进行融合得到第一融合特征；
将所述第二特征和所述第三特征融合得到第二融合特征；
将所述第一融合特征和所述第二融合特征按照通道进行拼接得到最终的融合特征。
4.一种息肉图像的分割装置，其特征在于，包括：
获取模块，用于获取待输入的息肉图像；
处理模块，用于从预设的训练集中选取与所述息肉图像颜色不同的参考图像，并将所述参考图像与所述息肉图像的颜色进行交换；
所述处理模块，用于从颜色交换后的息肉图像中提取浅层特征和深层特征，并利用浅层注意力模型抑制所述浅层特征的背景噪声，以及将所述浅层特征和所述深层特征进行融合；
执行模块，用于采用概率矫正策略模型对融合后的特征进行预测响应值再均衡处理，得到边缘清晰的息肉特征图像；
其中，所述处理模块包括：
第四处理子模块，用于将所述深层特征通过双线性差值上采样使得采样后的深层特征与浅层特征的分辨率相同；
第一获取子模块，用于从采样的深层特征中选取大于0的元素确定为所述浅层特征的注意力图，得到待融合的深层特征；
第一执行子模块，用于将所述待融合的深层特征与所述浅层特征逐元素相乘得到抑制背景噪声后的浅层特征；
所述执行模块包括：
第三获取子模块，用于统计融合后的息肉特征图像中特征响应值大于0的像素个数得到第一像素值；
第四获取子模块，用于统计融合后的息肉特征图像中特征响应值小于0的像素个数得到第二像素值；
第三执行子模块，用于将所述第一像素值和所述第二像素值进行归一化处理，并将所述息肉特征图像中大于0的特征响应值除以归一化后的第一像素值，将所述息肉特征图像中小于0的特征响应值除以归一化后的第二像素值得到矫正后的息肉特征图像。
5.根据权利要求4所述的分割装置，其特征在于，所述将处理模块包括：
第一处理子模块，用于将所述息肉图像X1以及参考图像X2的颜色由RGB颜色空间转换为LAB颜色空间，得到所述息肉图像X1以及所述参考图像X2在LAB颜色空间中的颜色值L1和L2；
第二处理子模块，用于计算所述息肉图像X1在LAB颜色空间中通道的均值和标准差以及所述参考图像X2在LAB颜色空间中通道的均值/>和标准差/>；
第三处理子模块，用于利用预设的颜色转换公式得到RGB颜色空间中息肉图像Y1的颜色值，以及RGB颜色空间中参考图像Y2的颜色值。
6.根据权利要求4所述的分割装置，其特征在于，所述处理模块包括：
第二获取子模块，用于提取采用卷积神经网络对抑制背景噪声后的浅层特征进行处理时的最后三种尺度的第一特征、第二特征和第三特征；
第五处理子模块，用于将所述第一特征和所述第二特征进行融合得到第一融合特征；
第六处理子模块，用于将所述第二特征和所述第三特征融合得到第二融合特征；
第二执行子模块，用于将所述第一融合特征和所述第二融合特征按照通道进行拼接得到最终的融合特征。
CN202110889919.0A 2021-08-04 2021-08-04 一种息肉图像的分割方法和装置 Active CN113724276B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110889919.0A CN113724276B (zh) 2021-08-04 2021-08-04 一种息肉图像的分割方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110889919.0A CN113724276B (zh) 2021-08-04 2021-08-04 一种息肉图像的分割方法和装置

Publications (2)

Publication Number Publication Date
CN113724276A CN113724276A (zh) 2021-11-30
CN113724276B true CN113724276B (zh) 2024-05-28

Family

ID=78674791

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110889919.0A Active CN113724276B (zh) 2021-08-04 2021-08-04 一种息肉图像的分割方法和装置

Country Status (1)

Country Link
CN (1) CN113724276B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114972155B (zh) * 2021-12-30 2023-04-07 昆明理工大学 一种基于上下文信息和反向注意力的息肉图像分割方法
CN116935051B (zh) * 2023-07-20 2024-06-14 深圳大学 一种息肉分割网络方法、***、电子设备及存储介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105430295A (zh) * 2015-10-30 2016-03-23 努比亚技术有限公司 图像处理装置及方法
WO2018224442A1 (en) * 2017-06-05 2018-12-13 Siemens Aktiengesellschaft Method and apparatus for analysing an image
CN109934789A (zh) * 2019-03-26 2019-06-25 湖南国科微电子股份有限公司 图像去噪方法、装置及电子设备
CN110852335A (zh) * 2019-11-19 2020-02-28 燕山大学 一种基于多颜色特征融合与深度网络的目标跟踪***
CN111383214A (zh) * 2020-03-10 2020-07-07 苏州慧维智能医疗科技有限公司 实时内窥镜肠镜息肉检测***
CN111768425A (zh) * 2020-07-23 2020-10-13 腾讯科技（深圳）有限公司 图像处理方法、装置及设备
CN111986204A (zh) * 2020-07-23 2020-11-24 中山大学 一种息肉分割方法、装置及存储介质
CN112001861A (zh) * 2020-08-18 2020-11-27 香港中文大学（深圳） 图像处理方法和装置、计算机设备及存储介质
CN112330688A (zh) * 2020-11-02 2021-02-05 腾讯科技（深圳）有限公司 基于人工智能的图像处理方法、装置和计算机设备
CN112489061A (zh) * 2020-12-09 2021-03-12 浙江工业大学 一种基于多尺度信息与并行注意力机制的深度学习肠道息肉分割方法
CN112669197A (zh) * 2019-10-16 2021-04-16 顺丰科技有限公司 图像处理方法、装置、移动终端及存储介质
CN112950461A (zh) * 2021-03-27 2021-06-11 刘文平 全局与超像素分割相融合的色彩迁移方法
CN113012150A (zh) * 2021-04-14 2021-06-22 南京农业大学 一种特征融合的高密度稻田无人机图像稻穗计数方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111160350B (zh) * 2019-12-23 2023-05-16 Oppo广东移动通信有限公司 人像分割方法、模型训练方法、装置、介质及电子设备

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105430295A (zh) * 2015-10-30 2016-03-23 努比亚技术有限公司 图像处理装置及方法
WO2018224442A1 (en) * 2017-06-05 2018-12-13 Siemens Aktiengesellschaft Method and apparatus for analysing an image
CN109934789A (zh) * 2019-03-26 2019-06-25 湖南国科微电子股份有限公司 图像去噪方法、装置及电子设备
CN112669197A (zh) * 2019-10-16 2021-04-16 顺丰科技有限公司 图像处理方法、装置、移动终端及存储介质
CN110852335A (zh) * 2019-11-19 2020-02-28 燕山大学 一种基于多颜色特征融合与深度网络的目标跟踪***
CN111383214A (zh) * 2020-03-10 2020-07-07 苏州慧维智能医疗科技有限公司 实时内窥镜肠镜息肉检测***
CN111986204A (zh) * 2020-07-23 2020-11-24 中山大学 一种息肉分割方法、装置及存储介质
CN111768425A (zh) * 2020-07-23 2020-10-13 腾讯科技（深圳）有限公司 图像处理方法、装置及设备
CN112001861A (zh) * 2020-08-18 2020-11-27 香港中文大学（深圳） 图像处理方法和装置、计算机设备及存储介质
CN112330688A (zh) * 2020-11-02 2021-02-05 腾讯科技（深圳）有限公司 基于人工智能的图像处理方法、装置和计算机设备
CN112489061A (zh) * 2020-12-09 2021-03-12 浙江工业大学 一种基于多尺度信息与并行注意力机制的深度学习肠道息肉分割方法
CN112950461A (zh) * 2021-03-27 2021-06-11 刘文平 全局与超像素分割相融合的色彩迁移方法
CN113012150A (zh) * 2021-04-14 2021-06-22 南京农业大学 一种特征融合的高密度稻田无人机图像稻穗计数方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Automatized colon polyp segmentation via contour region analysis;Alain Sánchez-González;《Computers in Biology and Medicine》;全文 *
基于无线胶囊内窥镜图像的小肠病变智能检测与识别研究;刘士臣;《中国优秀硕士学位论文全文数据库 信息科技辑》;全文 *

Also Published As

Publication number Publication date
CN113724276A (zh) 2021-11-30

Similar Documents

Publication Publication Date Title
CN113724276B (zh) 一种息肉图像的分割方法和装置
US20200210756A1 (en) 3D Refinement Module for Combining 3D Feature Maps
CN110298844B (zh) X光造影图像血管分割与识别方法及装置
CN110378913B (zh) 图像分割方法、装置、设备及存储介质
US20240029272A1 (en) Matting network training method and matting method
WO2023280148A1 (zh) 一种血管分割方法、装置、电子设备和可读介质
US11763167B2 (en) Copy area identification method and device
CN111275034B (zh) 从图像中提取文本区域的方法、装置、设备和存储介质
CN110866938B (zh) 一种全自动视频运动目标分割方法
CN113763371B (zh) 病理图像的细胞核分割方法及装置
Chen et al. BPFINet: Boundary-aware progressive feature integration network for salient object detection
CN112800955A (zh) 基于加权双向特征金字塔的遥感影像旋转目标检测方法及***
CN114283164A (zh) 基于UNet3+的乳腺癌病理切片图像分割预测***
CN115546570A (zh) 一种基于三维深度网络的血管图像分割方法及***
Chen et al. Adaptive fusion network for RGB-D salient object detection
CN113283434B (zh) 一种基于分割网络优化的图像语义分割方法及***
CN113269764A (zh) 颅内动脉瘤自动分割方法、***、样本处理及模型训练方法
CN110782463B (zh) 分割方式的确定方法、装置、显示方法和设备、存储介质
CN115546149B (zh) 肝脏分割方法及装置、电子设备及存储介质
CN115272201A (zh) 增强息肉分割模型泛化性的方法、***、装置和介质
CN113963166B (zh) 特征提取模型的训练方法、装置和电子设备
CN112750124B (zh) 模型生成、图像分割方法、装置、电子设备及存储介质
CN115760875A (zh) 一种基于自监督学习的全视野医学图片区域分割方法
CN112634224B (zh) 基于目标影像的病灶检测方法和装置
CN114638814A (zh) 基于ct图像的结直肠癌自动分期方法、***、介质及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant