CN117496214A - 医学图像分类方法、装置、计算机设备和存储介质 - Google Patents

医学图像分类方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN117496214A
CN117496214A CN202311221660.8A CN202311221660A CN117496214A CN 117496214 A CN117496214 A CN 117496214A CN 202311221660 A CN202311221660 A CN 202311221660A CN 117496214 A CN117496214 A CN 117496214A
Authority
CN
China
Prior art keywords
image
endoscope
images
augmentation
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311221660.8A
Other languages
English (en)
Inventor
董燕萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Huanuokang Technology Co ltd
Original Assignee
Zhejiang Huanuokang Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Huanuokang Technology Co ltd filed Critical Zhejiang Huanuokang Technology Co ltd
Priority to CN202311221660.8A priority Critical patent/CN117496214A/zh
Publication of CN117496214A publication Critical patent/CN117496214A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/16—Image acquisition using multiple overlapping images; Image stitching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

本申请涉及一种医学图像分类方法、装置、计算机设备和存储介质，所述方法包括：获取内镜图像集；对内镜图像集执行预处理操作，预处理操作包括对内镜图像集中各内镜图像进行图像增广，生成图像增广后的内镜图像集，对所述图像增广后的内镜图像集进行掩膜处理，得到对应的各掩膜图像，所述掩膜图像包含所述图像增广后的内镜图像中的目标色块；将各掩膜图像和对应的图像增广后的内镜图像进行融合拼接得到目标图像集；基于目标图像集及对应的分类标签训练得到图像分类模型；将待分类内镜图像进行预处理操作后输入图像分类模型得到分类结果。采用本方法解决了现有技术中NBI图像和白光图像分类识别不准确的问题，提高了内镜图像的分类精度和准确率。

Description

医学图像分类方法、装置、计算机设备和存储介质
技术领域
本申请涉及图像处理技术领域，特别是涉及一种医学图像分类方法、装置、计算机设备和存储介质。
背景技术
与传统电子内镜相比，NBI(Narrow Band Imaging，NBI，内镜窄带成像术)内镜能明显提高组织表面细微构造的对比度，使组织表层结构的血管形态清晰显示，有利于早期发现癌变事件及病灶部位，但现有技术内镜拍摄下的图像混合白光图像和NBI图像，因此区分白光图像和NBI图像很有必要。然而人工分类和检查又非常耗时，因此开发自动区分白光图像和NBI图像的方法很有价值。
在NBI内镜下图像表现为墨绿色黏膜下血管和棕褐色斜行血管，目前现有的技术是根据绿色像素值的大小来区分白光图像和NBI图像，然而该技术很容易受图像大小的影响。随着人工智能与深度学习的发展，基于卷积神经网络实现区分白光图像和NBI图像展示了其优越的性能。然而原始图像由于图像采集的客观条件不同，不可避免的存在部分NBI图像因绿色像素值较少而和白光图像存在雷同现象，直接对其进行图像识别将无法获得满意的效果。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高NBI图像和白光图像的分类精度和效率的医学图像分类方法、装置、计算机设备和计算机可读存储介质。
第一方面，本申请提供了一种医学图像分类方法，所述方法包括：
获取内镜图像集；
对所述内镜图像集执行预处理操作，所述预处理操作包括对所述内镜图像集中各所述内镜图像进行图像增广，生成图像增广后的内镜图像集，对所述图像增广后的内镜图像集进行掩膜处理，得到对应的各掩膜图像，所述掩膜图像包含所述图像增广后的内镜图像中的目标色块；将各所述掩膜图像和对应的所述图像增广后的内镜图像进行融合拼接，得到目标图像集；
基于目标图像集及对应的分类标签训练得到图像分类模型；
将待分类内镜图像进行所述预处理操作后输入所述图像分类模型，得到分类结果。
在其中一个实施例中，所述对所述图像增广后的内镜图像集进行掩膜处理包括：
将各所述图像增广后的内镜图像转换为HSV图像；
基于设定的HSV颜色范围值，提取各所述图像增广后的内镜图像中的目标色块，并将各所述目标色块以外的其他区域设为黑色，生成各所述图像增广后的内镜图像对应的二值化图像。
在其中一个实施例中，所述对所述图像增广后的内镜图像集进行掩膜处理，得到对应的各掩膜图像包括：
对提取到所述目标色块的各所述二值化图像进行腐蚀操作和膨胀操作，去除所述目标色块上噪点，连接所述目标色块的断点，得到对应的各所述掩膜图像。
在其中一个实施例中，所述去除所述目标色块的噪点，连接所述目标色块的断点包括：
利用以下公式(1)对所述目标色块进行腐蚀操作，得到腐蚀后的目标色块：
利用以下公式(2)对所述腐蚀后的目标色块进行膨胀操作，得到所述掩膜图像：
其中，X表示二值化图像上的所述目标色块，S表示卷积核，x,y表示所述卷积核的中心在所述二值化图像中移动的位置，Sxy表示所述卷积核的中心在(x,y)位置时卷积核所覆盖的所述二值化图像的区域。
在其中一个实施例中，所述将各所述掩膜图像和对应的内镜图像进行融合拼接得到目标图像集包括：
将各所述掩膜图像和对应的所述图像增广后的内镜图像进行位运算，得到位运算后的内镜图像集；
将各所述位运算后的内镜图像分别与对应的所述图像增广后的内镜图像进行张量操作和归一化处理，并将处理后生成的图像进行融合拼接得到所述目标图像集，所述目标图像集中的目标图像为六通道图像。
在其中一个实施例中，所述内镜图像集包括包含NBI图像和白光图像的训练集和测试集，所述基于目标图像及对应的分类标签训练得到图像分类模型包括：
将所述目标图像集中的NBI图像和白光图像的训练集、NBI图像和白光图像的测试集以及对应的分类标签输入神经网络模型进行训练，直到所述神经网络模型的输出精度达到设定阈值或者迭代训练次数达到设定阈值，得到所述图像分类模型。
在其中一个实施例中，对所述内镜图像集中各所述内镜图像进行图像增广包括：对所述内镜图像集进行随机裁剪和/或缩放和/或翻转，得到所述图像增广后的内镜图像集。
第二方面，本申请还提供了一种医学图像分类装置，所述装置包括：
图像采集模块，用于获取内镜图像；
图像预处理模块，用于对所述内镜图像集执行预处理操作，所述预处理操作包括对所述内镜图像集中各所述内镜图像进行图像增广，生成图像增广后的内镜图像集，对所述图像增广后的内镜图像集进行掩膜处理，得到对应的各掩膜图像，所述掩膜图像包含所述图像增广后的内镜图像中的目标色块；将各所述掩膜图像和对应的所述图像增广后的内镜图像进行融合拼接，得到目标图像集；
模型训练模块，用于基于目标图像集及对应的分类标签训练得到图像分类模型；
图像分类模块，用于将待分类内镜图像进行所述预处理操作后输入所述图像分类模型，得到分类结果。
第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面的内容。
第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面的内容。
上述医学图像分类方法、装置、计算机设备和存储介质，通过获取内镜图像集；对所述内镜图像集执行预处理操作，所述预处理操作包括对所述内镜图像集中各所述内镜图像进行图像增广，生成图像增广后的内镜图像集，对所述图像增广后的内镜图像集进行掩膜处理，得到对应的各掩膜图像，所述掩膜图像包含所述图像增广后的内镜图像中的目标色块；将各所述掩膜图像和对应的所述图像增广后的内镜图像进行融合拼接，得到目标图像集；基于目标图像集及对应的分类标签训练得到图像分类模型；将待分类内镜图像进行所述预处理操作后输入所述图像分类模型，得到分类结果，解决了现有技术中NBI图像和白光图像分类识别不准确的问题，提高了内镜图像的分类精度和准确率。
附图说明
图1为一个实施例中医学图像分类方法的应用环境图；
图2为一个实施例中医学图像分类方法的流程示意图；
图3为一个实施例中图像分类模型的结构示意图；
图4为一个实施例中医学图像分类装置的结构框图；
图5为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
本申请实施例提供的医学图像分类方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储***106可以存储服务器104需要处理的图像数据。数据存储***106可以集成在服务器104上，也可以放在云上或其他网络服务器上。
在终端102上，获取内镜图像集；对所述内镜图像集执行预处理操作，所述预处理操作包括对所述内镜图像集中各所述内镜图像进行图像增广，生成图像增广后的内镜图像集，对所述图像增广后的内镜图像集进行掩膜处理，得到对应的各掩膜图像，所述掩膜图像包含所述图像增广后的内镜图像中的目标色块；将各所述掩膜图像和对应的所述图像增广后的内镜图像进行融合拼接，得到目标图像集；基于目标图像集及对应的分类标签训练得到图像分类模型；将待分类内镜图像进行所述预处理操作后输入所述图像分类模型，得到分类结果。
其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种医学图像分类方法，以该方法应用于图1中的终端为例进行说明，包括以下步骤：
S202，获取内镜图像集。
其中，所述内镜图像集包括包含NBI图像和白光图像的训练集和测试集。
S204，对所述内镜图像集执行预处理操作，所述预处理操作包括对所述内镜图像集中各所述内镜图像进行图像增广，生成图像增广后的内镜图像集，对所述图像增广后的内镜图像集进行掩膜处理，得到对应的各掩膜图像，所述掩膜图像包含所述图像增广后的内镜图像中的目标色块；将各所述掩膜图像和对应的所述图像增广后的内镜图像进行融合拼接，得到目标图像集。
具体地，通过对内镜图像集中的NBI图像和白光图像的训练集图像、测试集图像进行图像增广，扩大训练集和测试集，得到图像增广后的内镜图像集，对图像增广后的内镜图像集进行掩膜处理，提取各图像增广后的内镜图像中的目标色块，得到图像增广后的训练集和测试集对应的各个掩膜图像。将各掩膜图像与对应的NBI图像或者白光图像进行融合拼接，得到最终的目标图像集。
S206，基于目标图像集及对应的分类标签训练得到图像分类模型。
具体地，根据NBI图像标签和白光图像标签对目标图像集中的NBI图像和白光图像进行分类。利用NBI图像和白光图像的训练集训练初始模型，学习NBI图像和白光图像的特征，所述特征与分类标签相对应。将NBI图像和白光图像的测试集输入训练后的初始模型中，测试训练后的初始模型的分类精度，得到最终的图像分类模型。
S208，将待分类内镜图像进行所述预处理操作后输入所述图像分类模型，得到分类结果。
具体地，将获取到的待分类内镜图像执行上述S204中的预处理操作后输入图像分类模型中，输出待分类内镜图像的分类结果，该分类结果为NBI图像或者白光图像。
上述医学图像分类方法，通过获取内镜图像集；对所述内镜图像集执行预处理操作，所述预处理操作包括对所述内镜图像集中各所述内镜图像进行图像增广，生成图像增广后的内镜图像集，对所述图像增广后的内镜图像集进行掩膜处理，得到对应的各掩膜图像，所述掩膜图像包含所述图像增广后的内镜图像中的目标色块；将各所述掩膜图像和对应的所述图像增广后的内镜图像进行融合拼接，得到目标图像集；基于目标图像集及对应的分类标签训练得到图像分类模型；将待分类内镜图像进行所述预处理操作后输入所述图像分类模型，得到分类结果，解决了现有技术中NBI图像和白光图像分类识别不准确的问题，提高了内镜图像的分类精度和准确率。
在一个实施例中，S204中对所述内镜图像集中各所述内镜图像进行图像增广，具体包括以下内容：
对内镜图像集进行随机裁剪和/或缩放和/或翻转，得到所述图像增广后的内镜图像集。
具体地，获取内镜图像集，通过随机裁剪和/或缩放和/或随机翻转对初始内镜图像进行图像增广，得到内镜图像集。
例如，将训练集中的NBI图像和白光图像随机裁剪后缩放为224像素×224像素的尺寸并进行随机水平翻转。将测试集中的NBI图像和白光图像缩放为256像素×256像素的尺寸后中心裁剪为224像素×224像素的尺寸。通过对训练集进行图像增广可以随机增加图像的多样性，扩大训练集规模，减少模型对某些属性的依赖，从而提高模型的泛化能力。对于测试集来说，图像增广的过程可以不进行随机操作，仅是扩大测试集规模。
在本实施例中，通过对初始内镜图像进行图像增广，扩大了训练图像分类模型的训练集和测试集，提高了图像分类模型的精度。
在一个实施例中，S204中对所述图像增广后的内镜图像集进行掩膜处理包括：
将各所述图像增广后的内镜图像转换为HSV图像；基于设定的HSV颜色范围值，提取各所述图像增广后的内镜图像中的目标色块，并将各所述目标色块以外的其他区域设为黑色，生成各所述图像增广后的内镜图像对应的二值化图像。
具体地，每一张图像增广后的内镜图像均为RGB图像，将各所述图像增广后的内镜图像转换为HSV图像，设定待提取的墨绿色的HSV颜色范围值，调用inRange函数提取墨绿色色块作为各所述图像增广后的内镜图像中的目标色块，并将除了目标色块以外的其他区域设为黑色背景，保留目标色块作为白色前景，生成对应的二值化图像。
具体地，白光图像上由于不存在墨绿色区域，因此通过该实施例的方法对白光图像进行处理后，得到几乎全黑的图像。
本实施例中，通过对图像增广后的内镜图像进行图像格式转换，并对转换后的图像进行目标色块提取，使得处理后得到的图像能够与原图像相比具备更直观的明暗对比，提高图像分类模型最终的分类精度。
在一个实施例中，S204中对所述图像增广后的内镜图像集进行掩膜处理，得到对应的各掩膜图像还包括以下具体内容：
对提取到所述目标色块的各所述二值化图像进行腐蚀操作和膨胀操作，去除所述目标色块上噪点，连接所述目标色块的断点，得到对应的各所述掩膜图像。
其中，所述去除所述目标色块上噪点，连接所述目标色块的断点包括以下具体内容：
利用以下公式(1)对所述目标色块进行腐蚀操作，得到腐蚀后的目标色块：
利用以下公式(2)对所述腐蚀后的目标色块进行膨胀操作，得到所述掩膜图像：
其中，X表示二值化图像上的所述目标色块，S表示卷积核，x,y表示所述卷积核的中心在所述二值化图像中移动的位置，Sxy表示所述卷积核的中心在(x，y)位置时卷积核所覆盖的所述二值化图像的区域。
具体地，对二值化图像进行先腐蚀后膨胀的操作，去除目标色块上噪点，连接目标色块的断点，得到二值化图像对应的掩膜图像，提高了目标色块的区域精确度。
在一个实施例中，S204中将各所述掩膜图像和对应的所述图像增广后的内镜图像进行融合拼接，得到目标图像集包括以下具体内容：
将各所述掩膜图像和对应的所述图像增广后的内镜图像进行位运算，得到位运算后的内镜图像集。将各所述位运算后的内镜图像分别与对应的所述图像增广后的内镜图像进行张量操作和归一化处理，并将处理后生成的图像进行融合拼接得到所述目标图像集，所述目标图像集中的目标图像为六通道图像。
具体地，调用bitwise_and函数将掩膜图像和对应的图像增广后的内镜图像集进行位运算，得到位运算后的内镜图像集，各所述位运算后的内镜图像只保留墨绿色其他颜色变为黑色。将位运算后的内镜图像集分别与对应的所述图像增广后的，内镜图像的RGB图像进行张量操作和归一化处理，便于后续拼接，并且归一化处理后的图像可持续加深神经网络的收敛速度。将处理后生成的图像进行融合拼接，得到六通道图像，构成目标图像集。
示例性地，提供一个基于NBI图像得到的六通道图像，由两个NBI图像的RGB三通道拼接成六通道图像，其中一个NBI图像是原始的内镜图像，另一个NBI图像是原始的内镜图像经过掩膜处理后生成的只保留了青绿色区域其他区域为黑色的图像。
在一个实施例中，S206基于目标图像及对应的分类标签训练得到图像分类模型，具体包括以下内容：
将所述目标图像集中的NBI图像和白光图像的训练集、NBI图像和白光图像的测试集以及对应的分类标签输入神经网络模型进行训练，直到所述神经网络模型的输出精度达到设定阈值或者迭代训练次数达到设定阈值，得到所述图像分类模型。
具体地，所述神经网络模型为ResNet-18残差网络，如图3所示，包括依次连接的7×7卷积层、batchNorm2d算子、4个残差块，每层2个ResNet块、adaptiveavgpool2d池化层、flatten层和FC全连接层。将目标图像集中的NBI图像和白光图像的训练集、NBI图像和白光图像的测试集输入ResNet-18残差网络进行训练。迭代10次后结束得到图像分类模型，或者迭代后的输出分类精度达到设定阈值的图像分类模型。
在一个示例实施例中，提供一种对NBI图像和白光图像的医学图像分类方法，具体包括以下内容：
S1，对获取到的内镜图像集划分为训练集和测试集，将训练集中的初始内镜图像根据图像特征手动划分为NBI图像和白光图像，同理对测试集的图像进行手动划分为NBI图像和白光图像。对划分后的内镜图像集进行随机裁剪和/或缩放和/或翻转，得到图像增广后的内镜图像集。
S2，将图像增广后的内镜图像集中的各内镜图像转换为HSV图像，并设定待提取的墨绿色的HSV颜色范围值，调用inRange函数提取墨绿色色块作为各所述内镜图像中的目标色块，并将除了目标色块以外的其他区域设为黑色背景，保留目标色块作为白色前景，生成对应的各个二值化图像。
S3，对获取到目标色块的二值化图像利用公式(1)进行腐蚀操作，得到腐蚀后的目标色块。
利用公式(2)对腐蚀后的目标色块进行膨胀操作，去除目标色块上噪点，连接目标色块的断点，平滑目标色块的边缘得到掩膜图像。
其中，X表示二值化图像上的所述目标色块，S表示卷积核，x,y表示所述卷积核的中心在所述二值化图像中移动的位置，Sxy表示所述卷积核的中心在(x，y)位置时卷积核所覆盖的所述二值化图像的区域。
S4，调用bitwise_and函数将掩膜图像和对应的内镜图像进行位运算，得到位运算后的内镜图像，位运算后的内镜图像只保留墨绿色其他颜色变为黑色。将位运算后的内镜图像分别与对应的内镜图像的RGB图像进行张量操作和归一化处理，将处理后生成的图像进行融合拼接得到六通道图像。
S5，将内镜图像集经过S2-S5步骤得到的六通道图像集输入ResNet-18残差网络进行训练。迭代10次后结束得到图像分类模型。
S6，将待分类内镜图像进行S2-S4的预处理操作后输入训练完备的图像分类模型中得到分类结果，该分类结果为NBI图像或者白光图像。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的医学图像分类方法的医学图像分类装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个医学图像分类装置实施例中的具体限定可以参见上文中对于医学图像分类方法的限定，在此不再赘述。
在一个实施例中，如图4所示，提供了一种医学图像分类装置，包括：图像采集模块41、图像预处理模块42、模型训练模块43和图像分类模块44，其中：
图像采集模块41，用于获取内镜图像集。
图像预处理模块42，用于对所述内镜图像集执行预处理操作，所述预处理操作包括对所述内镜图像集中各所述内镜图像进行图像增广，生成图像增广后的内镜图像集，对所述图像增广后的内镜图像集进行掩膜处理，得到对应的各掩膜图像，所述掩膜图像包含所述图像增广后的内镜图像中的目标色块；将各所述掩膜图像和对应的所述图像增广后的内镜图像进行融合拼接，得到目标图像集。
模型训练模块43，用于基于目标图像集及对应的分类标签训练得到图像分类模型。
图像分类模块44，用于将待分类内镜图像进行所述预处理操作后输入所述图像分类模型，得到分类结果。
在其中一个实施例中，图像预处理模块42还用于：将各所述图像增广后的内镜图像转换为HSV图像；基于设定的HSV颜色范围值，提取各所述图像增广后的内镜图像中的目标色块，并将各所述目标色块以外的其他区域设为黑色，生成各所述图像增广后的内镜图像对应的二值化图像。
在其中一个实施例中，图像预处理模块42还用于：对提取到所述目标色块的各所述二值化图像进行腐蚀操作和膨胀操作，去除所述目标色块上噪点，连接所述目标色块的断点，得到对应的各所述掩膜图像。
在其中一个实施例中，图像预处理模块42还用于：利用以下公式(1)对所述目标色块进行腐蚀操作，得到腐蚀后的目标色块：
利用以下公式(2)对所述腐蚀后的目标色块进行膨胀操作，得到所述掩膜图像：
其中，X表示二值化图像上的所述目标色块，S表示卷积核，x,y表示所述卷积核的中心在所述二值化图像中移动的位置，Sxy表示所述卷积核的中心在(x,y)位置时卷积核所覆盖的所述二值化图像的区域。
在其中一个实施例中，图像预处理模块42还用于：将各所述掩膜图像和对应的所述图像增广后的内镜图像进行位运算，得到位运算后的内镜图像集；将各所述位运算后的内镜图像分别与对应的所述图像增广后的内镜图像进行张量操作和归一化处理，并将处理后生成的图像进行融合拼接得到目标图像集，所述目标图像集中的目标图像为六通道图像。
在其中一个实施例中，模型训练模块43还用于：将所述目标图像集中的NBI图像和白光图像的训练集、NBI图像和白光图像的测试集以及对应的分类标签输入神经网络模型进行训练，直到所述神经网络模型的输出精度达到设定阈值或者迭代训练次数达到设定阈值，得到所述图像分类模型。
在其中一个实施例中，图像预处理模块42还用于：对所述内镜图像集进行随机裁剪和/或缩放和/或翻转，得到所述图像增广后的内镜图像集。
上述医学图像分类装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图5所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中，处理器、存储器和输入/输出接口通过***总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到***总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种医学图像分类方法。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置。显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各实施例中所述的方法对应的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各实施例中所述的方法对应的步骤。
需要说明的是，本申请所涉及的数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种医学图像分类方法，其特征在于，所述方法包括：
获取内镜图像集；
对所述内镜图像集执行预处理操作，所述预处理操作包括对所述内镜图像集中各所述内镜图像进行图像增广，生成图像增广后的内镜图像集，对所述图像增广后的内镜图像集进行掩膜处理，得到对应的各掩膜图像，所述掩膜图像包含所述图像增广后的内镜图像中的目标色块；将各所述掩膜图像和对应的所述图像增广后的内镜图像进行融合拼接，得到目标图像集；
基于所述目标图像集及对应的分类标签训练得到图像分类模型；
将待分类内镜图像进行所述预处理操作后输入所述图像分类模型，得到分类结果。
2.根据权利要求1所述的医学图像分类方法，其特征在于，所述对所述图像增广后的内镜图像集进行掩膜处理包括：
将各所述图像增广后的内镜图像转换为HSV图像；
基于设定的HSV颜色范围值，提取各所述图像增广后的内镜图像中的目标色块，并将各所述目标色块以外的其他区域设为黑色，生成各所述图像增广后的内镜图像对应的二值化图像。
3.根据权利要求2所述的医学图像分类方法，其特征在于，所述对所述图像增广后的内镜图像集进行掩膜处理，得到对应的各掩膜图像包括：
对提取到所述目标色块的各所述二值化图像进行腐蚀操作和膨胀操作，去除所述目标色块上噪点，连接所述目标色块的断点，得到对应的各所述掩膜图像。
4.根据权利要求3所述的医学图像分类方法，其特征在于，所述去除所述目标色块的噪点，连接所述目标色块的断点包括：
利用以下公式(1)对所述目标色块进行腐蚀操作，得到腐蚀后的目标色块：
利用以下公式(2)对所述腐蚀后的目标色块进行膨胀操作，得到所述掩膜图像：
其中，X表示二值化图像上的所述目标色块，S表示卷积核，x,y表示所述卷积核的中心在所述二值化图像中移动的位置，Sxy表示所述卷积核的中心在(x,y)位置时卷积核所覆盖的所述二值化图像的区域。
5.根据权利要求1所述的医学图像分类方法，其特征在于，所述将各所述掩膜图像和对应的所述图像增广后的内镜图像进行融合拼接，得到目标图像集包括：
将各所述掩膜图像和对应的所述图像增广后的内镜图像进行位运算，得到位运算后的内镜图像集；
将各所述位运算后的内镜图像分别与对应的所述图像增广后的内镜图像进行张量操作和归一化处理，并将处理后生成的图像进行融合拼接得到所述目标图像集，所述目标图像集中的目标图像为六通道图像。
6.根据权利要求1所述的医学图像分类方法，其特征在于，所述内镜图像集包括包含NBI图像和白光图像的训练集和测试集，所述基于所述目标图像及对应的分类标签训练得到图像分类模型包括：
将所述目标图像集中的NBI图像和白光图像的训练集、NBI图像和白光图像的测试集以及对应的分类标签输入神经网络模型进行训练，直到所述神经网络模型的输出精度达到设定阈值或者迭代训练次数达到设定阈值，得到所述图像分类模型。
7.根据权利要求1所述的医学图像分类方法，其特征在于，对所述内镜图像集中各所述内镜图像进行图像增广包括：对所述内镜图像集进行随机裁剪和/或缩放和/或翻转，得到所述图像增广后的内镜图像集。
8.一种医学图像分类装置，其特征在于，所述装置包括：
图像采集模块，用于获取内镜图像集；
图像预处理模块，用于对所述内镜图像集执行预处理操作，所述预处理操作包括对所述内镜图像集中各所述内镜图像进行图像增广，生成图像增广后的内镜图像集，对所述图像增广后的内镜图像集进行掩膜处理，得到对应的各掩膜图像，所述掩膜图像包含所述图像增广后的内镜图像中的目标色块；将各所述掩膜图像和对应的所述图像增广后的内镜图像进行融合拼接，得到目标图像集；
模型训练模块，用于基于目标图像集及对应的分类标签训练得到图像分类模型；
图像分类模块，用于将待分类内镜图像进行所述预处理操作后输入所述图像分类模型，得到分类结果。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202311221660.8A 2023-09-20 2023-09-20 医学图像分类方法、装置、计算机设备和存储介质 Pending CN117496214A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311221660.8A CN117496214A (zh) 2023-09-20 2023-09-20 医学图像分类方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311221660.8A CN117496214A (zh) 2023-09-20 2023-09-20 医学图像分类方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN117496214A true CN117496214A (zh) 2024-02-02

Family

ID=89683669

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311221660.8A Pending CN117496214A (zh) 2023-09-20 2023-09-20 医学图像分类方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN117496214A (zh)

Similar Documents

Publication Publication Date Title
TWI777092B (zh) 一種圖像處理方法、電子設備及存儲介質
CN110060237B (zh) 一种故障检测方法、装置、设备及***
Zhang et al. Ensnet: Ensconce text in the wild
Gondal et al. The unreasonable effectiveness of texture transfer for single image super-resolution
CN110674804A (zh) 文本图像的检测方法、装置、计算机设备和存储介质
CN109919869A (zh) 一种图像增强方法、装置及存储介质
US20220084165A1 (en) System and method for single-modal or multi-modal style transfer and system for random stylization using the same
CN114155365A (zh) 模型训练方法、图像处理方法及相关装置
CN111353956A (zh) 图像修复方法、装置、计算机设备及存储介质
Shete et al. TasselGAN: An application of the generative adversarial model for creating field-based maize tassel data
CN114444565A (zh) 一种图像篡改检测方法、终端设备及存储介质
CN115719416A (zh) 刀闸状态识别方法、装置、计算机设备和存储介质
CN110163095B (zh) 回环检测方法、回环检测装置及终端设备
Bugeau et al. Influence of color spaces for deep learning image colorization
CN117409330A (zh) 水生植被识别方法、装置、计算机设备和存储介质
CN113191189A (zh) 人脸活体检测方法、终端设备及计算机可读存储介质
CN109658360B (zh) 图像处理的方法、装置、电子设备和计算机存储介质
CN116628250A (zh) 图像生成方法、装置、电子设备及计算机可读取存储介质
CN116229130A (zh) 模糊图像的类型识别方法、装置、计算机设备和存储介质
Huang et al. Object‐Level Remote Sensing Image Augmentation Using U‐Net‐Based Generative Adversarial Networks
CN117496214A (zh) 医学图像分类方法、装置、计算机设备和存储介质
Gandomkar et al. Determining image processing features describing the appearance of challenging mitotic figures and miscounted nonmitotic objects
US20240212239A1 (en) Logo Labeling Method and Device, Update Method and System of Logo Detection Model, and Storage Medium
CN115082345A (zh) 图像阴影去除方法、装置、计算机设备和存储介质
CN114820674A (zh) 电弧轮廓提取方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination