CN117115156B - 一种基于双模型分割的鼻咽癌图像处理方法及*** - Google Patents

一种基于双模型分割的鼻咽癌图像处理方法及*** Download PDF

Info

Publication number
CN117115156B
CN117115156B CN202311372109.3A CN202311372109A CN117115156B CN 117115156 B CN117115156 B CN 117115156B CN 202311372109 A CN202311372109 A CN 202311372109A CN 117115156 B CN117115156 B CN 117115156B
Authority
CN
China
Prior art keywords
nasopharyngeal carcinoma
image
deep learning
segmentation
learning model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311372109.3A
Other languages
English (en)
Other versions
CN117115156A (zh
Inventor
马淑颖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SECOND HOSPITAL OF TIANJIN MEDICAL UNIVERSITY
Original Assignee
SECOND HOSPITAL OF TIANJIN MEDICAL UNIVERSITY
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SECOND HOSPITAL OF TIANJIN MEDICAL UNIVERSITY filed Critical SECOND HOSPITAL OF TIANJIN MEDICAL UNIVERSITY
Priority to CN202311372109.3A priority Critical patent/CN117115156B/zh
Publication of CN117115156A publication Critical patent/CN117115156A/zh
Application granted granted Critical
Publication of CN117115156B publication Critical patent/CN117115156B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像处理技术领域，具体涉及一种基于双模型分割的鼻咽癌图像处理方法及***，本发明对鼻咽癌图像分割时，首先对CT图像进行粗分割，得到感兴趣区域，然后通过双线性插值算法对所述感兴趣区域进行放大，再输入至第二深度学习模型中，用于分割得到鼻咽癌的病灶区域；提高模型分割的精度；本发明通过电子病历中的患者主诉的内容对样本集合筛选，一方面筛选出诊断结论记载错误或者诊断结论准确度不高的样本，另一方面也通过上述的筛选去除一些如混合型肿瘤、转移性肿瘤、伴生肿瘤等疑难杂症的样本，进而尽可能多的保留标准的鼻咽癌患者样本，然后对该样本进行样本扩增，使深度学习模型能更为充分的学习鼻咽癌的特征，进而提高分割的精度。

Description

一种基于双模型分割的鼻咽癌图像处理方法及***
技术领域
本发明涉及图像处理技术领域，具体涉及一种基于双模型分割的鼻咽癌图像处理方法及***。
背景技术
随着人们生活水平的提高，患癌症疾病的人群数量呈现逐年上升的趋势，癌症对我们的生活和健康产生了极大的影响，医学影像在诊断癌症疾病、记录癌症疾病过程、评估治疗反应等方面有着其他评估手段无法替代的作用，成为医生诊断癌症疾病的重要参考信息。
一般通过人工标注的方式对CT图像的鼻咽癌病灶区域进行标注，一方面人工方式标注费时费力，另一方面，人工标注的方式受标注医生的主观印象较大，容易造成标注不准确的情况；针对这一现状，越来越多的医生和学者考虑通过深度学习模型对鼻咽癌图像进行标注和分割。
现有技术中，在采用深度学习模型对鼻咽癌图像分割时，一般都是通过增加训练集的数量提高模型训练的精度，然而，鼻咽癌图像存在获取困难的特点，通过增加训练集数量并不能很好的满足提高精度的需求。
另一方面，在利用深度学习模型对CT图像处理时，一般都是通过一个复杂的模型实现医学图像的分割，或者是也存在先对CT图像进行粗分割，再进行细分割的方案，但是，对鼻咽癌病灶来说，鼻咽癌病灶一般尺寸较小，属于小目标识别，简单的对CT图像进行粗分割后不加以处理即进行细分割，会导致输入的图像中待分割病灶尺寸较小影响分割的精度。
针对上述问题，现亟需一种提高分割精度的基于双模型分割的鼻咽癌图像处理方法及***。
发明内容
本发明的目的在于提供一种基于双模型分割的鼻咽癌图像处理方法和***，以解决现有技术中的鼻咽癌图像分割精度不高的问题。
为解决上述技术问题，本发明具体提供下述技术方案：一种基于双模型分割的鼻咽癌图像处理方法，包括以下步骤：
S1：获取诊断结论为鼻咽癌患者的电子病历作为样本集合；
S2：对所述样本集合进行筛选处理，以删除所述样本集合中的不合格样本，从而得到用于深度学习模型训练的样本集；
S3：对所述样本集中的样本中的CT图像进行预处理；
S4：采用经过预处理的每个CT图像训练第一深度学习模型，所述第一深度学习模型为粗分割模型，用于得到所述CT图像的感兴趣区域；
S5：对每个所述感兴趣区域通过双线性插值算法进行图像放大，从而得到放大后的感兴趣区域；
S6：采用放大后的感兴趣区域训练第二深度学习模型；所述第二深度学习模型为细分割模型，用于分割得到所述CT图像中的鼻咽癌病灶；
S7：将待分割鼻咽癌图像经过所述S3的预处理后输入至所述第一深度学习模型，得到粗分割图像，然后将所述粗分割图像输入至所述第二深度学习模型，从而得到所述待分割鼻咽癌图像的分割结果。
优选地，所述S1中，获取的所述样本集合中的每个样本中至少包括患者症状描述、CT图像、诊断结论。
优选地，所述S2具体包括：
S2.1：对所述样本集合的患者主诉信息采用统计软件进行统计处理，得到a个鼻咽癌患者的常见症状；
优选地，所述统计软件为SPSS16.0；
优选地，所述得到a鼻咽癌患者的常见症状的方式为：对所述样本集合中某种症状出现的频次按照从大到小排序，取前a个症状为鼻咽癌患者的常见症状；
优选地，a的取值为5；所述a个鼻咽癌患者的常见症状为：EB病毒抗体检测呈阳性、鼻出血、长时间鼻塞、颈部肿物、头痛；
S2.2：删除所述样本集合中的样本的患者主诉信息中未全部包含所述a个鼻咽癌患者的常见症状的样本；
S2.3：删除所述样本集合中的样本结论中具有多种癌症并发的样本，从而得到用于深度学习模型训练的样本集。
优选地，所述S3包括：
S3.1:对所述 CT图像进行归一化操作；
优选地，所述归一化处理具体为：通过Z-scoring法对所述CT图像进行归一化，并将图像的均值置为 0、方差置为 1，消除所述CT图像的各向异性；
S3.2: 所述 CT图像进行数据清洗操作；
所述数据清洗包括：删除所有像素值为零的空白切片，并将每个CT图像裁剪到非零像素值区域；
S3.3: 所述 CT图像进行样本扩增操作；
优选地,对所述样本中的CT图像使用随机旋转、缩放、放射变换和裁剪进行样本扩增。
优选地，所述第一深度学习模型为卷积神经网络模型，所述感兴趣区域为鼻咽癌病灶所在的区域与部分的背景区域；
优选地，所述双线性插值算法具体为：在放大过程中采用双线性插值算法，新增加的像素值由所述感兴趣区域中的位置在该像素周围2×2区域内的4个临近像素的像素值通过加权平均计算得出，从而得到放大后的感兴趣区域；
优选地，所述第二深度学习模型为U-NET网络模型；所述U-NET网络模型包括编码器网络和解码器网络两部分构成，其中，所述编码器包含卷积层和池化层，卷积层采用大小为3×3的卷积核，将ReLU函数作为激活函数，所述池化层采用最大池化降低所述鼻咽癌的特征图的分辨率，在每次池化操作后，所述鼻咽癌的特征图数量增加1倍，但是分辨率缩小4倍；
所述解码器网络包含卷积层和上采样层，卷积层的卷积核大小与编码器相同，所述上采样层采用双线性插值扩大所述鼻咽癌的特征图的分辨率，所述解码器的最后一层使用大小为1×1卷积核对特征图进行处理，经过Softmax函数输出分割结果。
优选地，通过损失函数用于判断所述第二深度学习模型是否完成训练；
具体地，所述损失函数为：
其中， 表示真实值，/> 表示所述第二深度学习模型的预测值，所述n为训练的次数；LossMSE为损伤函数的值；
根据本发明的另一方面，提供一种基于双模型分割的鼻咽癌图像处理***，使用如上述的一种基于双模型分割的鼻咽癌图像处理方法，包括：
样本集合获取模块，用于获取诊断结论为鼻咽癌患者的电子病历作为样本集合；
样本集合筛选模块，用于对所述样本集合进行筛选处理，以删除所述样本集合中的不合格样本，从而得到用于深度学习模型训练的样本集；
预处理模块，用于对所述样本集中的样本中的CT图像进行预处理；
第一深度学习模型训练模块，用于采用经过预处理的每个CT图像训练第一深度学习模型，所述第一深度学习模型为粗分割模型，用于得到所述CT图像的感兴趣区域；
感兴趣区域放大模块，用于对每个所述感兴趣区域通过双线性插值算法进行图像放大，从而得到放大后的感兴趣区域；
第二深度学习模型训练模块，用于采用放大后的感兴趣区域训练第二深度学习模型；所述第二深度学习模型为细分割模型，用于分割得到所述CT图像中的鼻咽癌病灶；
鼻咽癌图像分割模块，将待分割鼻咽癌图像经过所述S3的预处理后输入至所述第一深度学习模型，得到粗分割图像，然后将所述粗分割图像输入至所述第二深度学习模型，从而得到所述待分割鼻咽癌图像的分割结果。
本发明与现有技术相比较具有如下有益效果：
本发明通过对鼻咽癌图像分割时，首先训练了第一深度学习模型，对CT图像进行粗分割，得到感兴趣区域，然后通过双线性插值算法对所述感兴趣区域进行放大，再输入至第二深度学习模型中，用于分割得到鼻咽癌的病灶区域；其中，通过对感兴趣区域进行放大处理，从而使得病灶区域由小目标转换成大目标，进而提高模型分割的精度；
本发明通过电子病历中的患者主诉的内容对样本集合筛选，一方面筛选出诊断结论记载错误或者诊断结论准确度不高的样本，另一方面也通过上述的筛选去除一些如混合型肿瘤、转移性肿瘤、伴生肿瘤等疑难杂症的样本，进而尽可能多的保留标准的鼻咽癌患者样本，然后对该样本进行样本扩增，从而使深度学习模型能更为充分的学习鼻咽癌的特征，进而提高分割的精度。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
图1为本发明实施例提供的一种基于双模型分割的鼻咽癌图像处理方法的流程图；
图2为本发明实施例提供的对所述样本集合进行筛选处理的方法流程图；
图3为本发明实施例提供的一种基于双模型分割的鼻咽癌图像处理***的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面首先结合附图对本申请所涉及的概念进行说明。在此需要指出的是，以下对各个概念的说明，仅为了使本申请的内容更加容易理解，并不表示对本申请保护范围的限定；同时，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
实施例一，如图1所示，本发明提供了一种基于双模型分割的鼻咽癌图像处理方法，包括如下步骤：
S1：获取诊断结论为鼻咽癌患者的电子病历作为样本集合。
在本实施例中，筛选某医院自2000年至2022年的电子病历中诊断结论为鼻咽癌的电子病历作为用于深度学习模型训练的样本集合；获取的样本数量为1078个。
其中获取的样本集合中的每个电子病历中至少包括患者症状描述、CT图像、诊断结论等。
S2：对样本集合进行筛选处理，以删除样本集合中的不合格样本，从而得到用于深度学习模型训练的样本集。
其中，深度学习模型分割精度和模型训练有着很大的关系，一般地，深度学习模型训练的好，则用于后续图像分割的精度就会高，在提高模型训练精度上，现有技术中，一般通过增加样本的数量用于提高模型训练的精度，然而，对于医学类样本来说，一般出于病人隐私等方面的考虑，想获取大量的医学样本数据较为不易，因此，通过增加训练样本数量提高模型训练的精度则是一个较为困难的改进方向。
因此，本实施例在样本的准确度上进行改进，通过电子病历中的患者主诉的内容对S1的样本集合筛选，一方面筛选出诊断结论记载错误或者诊断结论准确度不高的样本，另一方面也通过上述的筛选去除一些如混合型肿瘤、转移性肿瘤、伴生肿瘤等疑难杂症的样本，进而尽可能多的保留标准的鼻咽癌患者样本，从而使深度学习模型能更为充分的学习鼻咽癌的特征，进而提高分割的精度。
具体地，如图2所示，S2具体包括：
S2.1：对样本集合的患者主诉信息采用统计软件进行统计处理，得到a个鼻咽癌患者的常见症状。
具体地，统计软件为SPSS16.0。
SPSS16.0为医学领域常用的统计分析软件，其可实现对电子病历中各种信息的统计与分析，并可以生产多种分析表格。
具体地，得到鼻咽癌患者的常见症状的方式为：对样本集合中某种症状出现的频次按照从大到小排序，取前a个症状为鼻咽癌患者的常见症状。
在本实施例中，EB病毒抗体检测呈阳性在样本集合中出现的频次为71.3%，鼻出血出现的频次为70.6%，长时间鼻塞61.9%，颈部肿物61.2%、头痛54.6%，耳鸣39.3%，听力下降28.2%，视力模糊3.4%等。
在本实施例中，a的取值为5；a个鼻咽癌患者的常见症状为：EB病毒抗体检测呈阳性、鼻出血、长时间鼻塞、颈部肿物、头痛。
S2.2：删除样本集合中的样本的患者主诉信息中未全部包含a个鼻咽癌患者的常见症状的样本。
实际上，肿瘤活检和图像对鼻咽癌具有更好的指示作用，并且，活检被称为肿瘤确诊的金手指，对于一些患者来说，当诊断为鼻咽癌后，患者倾向于去更加权威的医院或者机构活检确诊，从而使得一些样本中活检数据较少。
另外，图像数据由于智能识别起来较为困难，在预处理阶段即对每一张图像进行智能识别，这无疑极大的增加了整个鼻咽癌图像分割的时间；因此，本实施例选择对患者主诉信息进行处理。
S2.3：删除样本集合中的样本结论中具有多种癌症并发的样本。
通过S2.3的操作，可排除混合型肿瘤和伴生型肿瘤的样本，从而只保留诊断结论为鼻咽癌的样本。
值得强调的是，通过S2.1-S2.3的处理，会将大部分疑难杂症样本删除掉，从而尽可能的保留较为标准鼻咽癌患者的样本，从而得到用于深度学习模型训练的样本集。
S3：对样本集中的样本中的CT图像进行预处理。
具体地，S3包括：
S3.1:对 CT图像进行归一化操作。
为使 CT图像的强度值更加均匀、提高鼻咽癌病灶边界识别的准确性，对 CT图像做归一化处理。
具体地，归一化处理具体为：通过Z-scoring法对CT图像进行归一化，并将图像的均值置为0、方差置为1，消除CT图像的各向异性。
S3.2: CT图像进行数据清洗操作。
数据清洗包括：删除所有像素值为零的空白切片，并将每个CT图像裁剪到非零像素值区域。
S3.3: CT图像进行样本扩增操作。
经过对样本集合进行S2的处理后，保留下来的样本数量较少，因此需要对样本进行扩增，在本实施例中对样本中的CT图像使用随机旋转、缩放、放射变换和裁剪进行样本扩增，以增加样本的数量。
S4：采用经过预处理的每个CT图像训练第一深度学习模型，第一深度学习模型为粗分割模型，用于得到CT图像的感兴趣区域。
具体地，第一深度学习模型为卷积神经网络模型，感兴趣区域为鼻咽癌病灶所在的区域与部分的背景区域。
也就是说，粗分割模型用于初步定位鼻咽癌患者的位置。
S5：对每个感兴趣区域通过双线性插值算法进行图像放大，从而得到放大后的感兴趣区域。
经过上述的粗分割，实际上，已经将大部分背景区域分割出去，此时，仅保留了鼻咽癌病灶区域以及部分的背景区域；而由于鼻咽癌病灶区域一般会较小，因此，通过一般地深度学习模型识别起来较为困难，需要用到极为复杂的深度学习模型，比如说添加注意力机制和多模型级联的形式才能一定程度上提高分割准确率。
在本实施例中，通过对感兴趣区域进行图像放大处理，使得小目标转换成大目标，从而使得深度学习模型能提炼到更多的病灶区域的特征，进而提高模型分割的精度；此时，就会涉及到放大处理会不会对CT图像的分辨率产生影响的问题；为解决这个问题，本实施例采用了双线性插值算法对感兴趣区域进行放大，从而使得图像放大接近于无损放大。
双线性插值算法具体为：在放大过程中采用双线性插值算法，新增加的像素值由感兴趣区域中的位置在该像素周围2×2区域内的4个临近像素的像素值通过加权平均计算得出，从而得到放大后的感兴趣区域。
对多个样本集进行实验发现，经过了S5的图像放大处理，虽然损失了感兴趣区域的精度，但是经过对感兴趣区域和放大后的感兴趣区域对比，误差很小，对最后的鼻咽癌的分割影响较少。
在本实施例中，放大倍率为1.33，同时，值得强调的是，不能设置过大的放大倍率，因为，放大倍率过大的话，会对图像的分辨率造成一定的影响，从而影响到后续的图像分割。
S6：采用放大后的感兴趣区域训练第二深度学习模型；第二深度学习模型为细分割模型，用于分割得到CT图像中的鼻咽癌病灶。
具体地，第二深度学习模型为U-NET网络模型；U-NET网络模型包括编码器网络和解码器网络两部分构成，其中，编码器包含卷积层和池化层，在本实施例中，卷积层采用大小为3×3的卷积核，将ReLU函数作为激活函数，池化层采用最大池化降低鼻咽癌的特征图的分辨率，在每次池化操作后，鼻咽癌的特征图数量增加1倍，但是分辨率缩小4倍。
解码器网络包含卷积层和上采样层，卷积层的卷积核大小与编码器相同，上采样层采用双线性插值扩大鼻咽癌的特征图的分辨率，解码器的最后一层使用大小为1×1卷积核对特征图进行处理，使得通道数等于类别数，最后经过Softmax函数输出分割结果。
在本实施例中，通过损失函数用于判断第二深度学习模型是否完成训练。
具体地，损失函数为：
其中， 表示真实值，/> 表示第二深度学习模型的预测值，n为训练的次数，LossMSE为损伤函数的值。
S7：将待分割鼻咽癌图像经过S3的预处理后输入至第一深度学习模型，得到粗分割图像，然后将粗分割图像输入至第二深度学习模型，从而得到待分割鼻咽癌图像的分割结果。
实施例二，如图3所示，一种基于双模型分割的鼻咽癌图像处理***，使用如上述的一种基于双模型分割的鼻咽癌图像处理方法，包括：
样本集合获取模块，用于获取诊断结论为鼻咽癌患者的电子病历作为样本集合。
样本集合筛选模块，用于对样本集合进行筛选处理，以删除样本集合中的不合格样本，从而得到用于深度学习模型训练的样本集。
预处理模块，用于对样本集中的样本中的CT图像进行预处理。
第一深度学习模型训练模块，用于采用经过预处理的每个CT图像训练第一深度学习模型，第一深度学习模型为粗分割模型，用于得到CT图像的感兴趣区域。
感兴趣区域放大模块，用于对每个感兴趣区域通过双线性插值算法进行图像放大，从而得到放大后的感兴趣区域。
第二深度学习模型训练模块，用于采用放大后的感兴趣区域训练第二深度学习模型；第二深度学习模型为细分割模型，用于分割得到CT图像中的鼻咽癌病灶。
鼻咽癌图像分割模块，将待分割鼻咽癌图像经过S3的预处理后输入至第一深度学习模型，得到粗分割图像，然后将粗分割图像输入至第二深度学习模型，从而得到待分割鼻咽癌图像的分割结果。
实施例三，本实施例包括一种计算机可读存储介质，计算机可读存储介质上存储有数据处理程序，数据处理程序被处理器执行实施例一的一种基于双模型分割的鼻咽癌图像处理方法。
本领域技术人员应明白，本文的实施例可提供为方法、装置（设备）、或计算机程序产品。因此，本文可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘（DVD）或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或可以用于存储期望的信息并且可以被计算机访问的任何其他的介质等。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
本文是参照根据本文实施例的方法、装置（设备）和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
需要说明的是，本申请所用术语仅为了描述特定实施例，而非限制本申请范围。如本申请说明书和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。术语“包括”、“包含”或其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法或设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或是还包括为这种过程、方法或设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法或设备中还存在另外的相同要素。
还需说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。除非另有明确的规定和限定，术语“安装”、“相连”、“连接”等应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。
以上的实施例及/或实施方式，仅是用以说明实现本发明技术的较佳实施例及/或实施方式，并非对本发明技术的实施方式作任何形式上的限制，任何本领域技术人员，在不脱离本发明内容所公开的技术手段的范围，当可作些许的更动或修改为其它等效的实施例，但仍应视为与本发明实质相同的技术或实施例。
本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。以上仅是本申请的优选实施方式，应当指出，由于文字表达的有限性，而客观上存在无限的具体结构，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以作出若干改进、润饰或变化，也可以将上述技术特征以适当的方式进行组合；这些改进润饰、变化或组合，或未经改进将发明的构思和技术方案直接应用于其他场合的，均应视为本申请的保护范围。

Claims (6)

1.一种基于双模型分割的鼻咽癌图像处理方法，其特征在于，包括以下步骤：
S1：获取诊断结论为鼻咽癌患者的电子病历作为样本集合；
S2：对所述样本集合进行筛选处理，以删除所述样本集合中的不合格样本，从而得到用于深度学习模型训练的样本集；
所述S2具体包括：
S2.1：对所述样本集合的患者主诉信息采用统计软件进行统计处理，得到a个鼻咽癌患者的常见症状；所述统计软件为SPSS16.0，所述得到鼻咽癌患者的常见症状的方式为：对所述样本集合中症状出现的频次按照从大到小排序，取前a个症状为鼻咽癌患者的常见症状；
S2.2：删除所述样本集合中的样本的患者主诉信息中未全部包含所述a个鼻咽癌患者的常见症状的样本；
S2.3：删除所述样本集合中的样本结论中具有多种癌症并发的样本，从而得到用于深度学习模型训练的样本集；
S3：对所述用于深度学习模型训练的样本集中的每个样本中的CT图像进行预处理；
S4：采用经过预处理的每个CT图像训练第一深度学习模型，所述第一深度学习模型为粗分割模型，用于得到所述CT图像的感兴趣区域；
S5：对每个所述感兴趣区域通过双线性插值算法进行图像放大，从而得到放大后的感兴趣区域；所述S5中，所述双线性插值算法具体为：在放大过程中采用双线性插值算法，新增加的像素值由所述感兴趣区域中的位置在该像素周围2×2区域内的4个临近像素的像素值通过加权平均计算得出，从而得到放大后的感兴趣区域；通过对感兴趣区域进行放大处理，用于使得病灶区域由小目标转换成大目标，用于提高第二深度学习模型分割的精度；
S6：采用所述放大后的感兴趣区域训练第二深度学习模型，所述第二深度学习模型为细分割模型，用于分割得到所述CT图像中的鼻咽癌病灶；
S7：将待分割鼻咽癌图像经过所述S3的预处理后输入至所述第一深度学习模型，得到粗分割图像，然后将所述粗分割图像输入至所述第二深度学习模型，从而得到所述待分割鼻咽癌图像的分割结果。
2.根据权利要求1所述的一种基于双模型分割的鼻咽癌图像处理方法，其特征在于，所述S1中，获取的所述样本集合中的每个样本中至少包括患者症状描述、CT图像、诊断结论。
3.根据权利要求1所述的一种基于双模型分割的鼻咽癌图像处理方法，其特征在于，a的取值为5；所述a个鼻咽癌患者的常见症状为：EB病毒抗体检测呈阳性、鼻出血、长时间鼻塞、颈部肿物、头痛。
4.根据权利要求1所述的一种基于双模型分割的鼻咽癌图像处理方法，所述S6中，所述第二深度学习模型为U-NET网络模型；所述U-NET网络模型包括编码器网络和解码器网络两部分，其中，所述编码器包含卷积层和池化层，卷积层采用大小为3×3的卷积核，将ReLU函数作为激活函数，所述池化层采用最大池化降低所述鼻咽癌的特征图的分辨率，在每次池化操作后，所述鼻咽癌的特征图数量增加1倍，分辨率缩小4倍；
所述解码器网络包含卷积层和上采样层，卷积层的卷积核大小与编码器相同，所述上采样层采用双线性插值扩大所述鼻咽癌的特征图的分辨率，所述解码器的最后一层使用大小为1×1卷积核对特征图进行处理，经过Softmax函数输出分割结果。
5.根据权利要求4所述的一种基于双模型分割的鼻咽癌图像处理方法，所述S6中，通过损失函数用于判断所述第二深度学习模型是否完成训练；
所述损失函数为：
其中，yi表示真实值，表示所述第二深度学习模型的预测值，n为训练的次数；LossMSE为损伤函数的值。
6.一种基于双模型分割的鼻咽癌图像处理***，其特征在于，使用权利要求1-5任一项所述的基于双模型分割的鼻咽癌图像处理方法，包括：
样本集合获取模块，用于获取诊断结论为鼻咽癌患者的电子病历作为样本集合；
样本集合筛选模块，用于对所述样本集合进行筛选处理，以删除所述样本集合中的不合格样本，从而得到用于深度学习模型训练的样本集；
预处理模块，用于对所述样本集中的样本中的CT图像进行预处理；
第一深度学习模型训练模块，用于采用经过预处理的每个CT图像训练第一深度学习模型，所述第一深度学习模型为粗分割模型，用于得到所述CT图像的感兴趣区域；
感兴趣区域放大模块，用于对每个所述感兴趣区域通过双线性插值算法进行图像放大，从而得到放大后的感兴趣区域；
第二深度学习模型训练模块，用于采用放大后的感兴趣区域训练第二深度学习模型；所述第二深度学习模型为细分割模型，用于分割得到所述CT图像中的鼻咽癌病灶；
鼻咽癌图像分割模块，将待分割鼻咽癌图像经过所述S3的预处理后输入至所述第一深度学习模型，得到粗分割图像，然后将所述粗分割图像输入至所述第二深度学习模型，从而得到所述待分割鼻咽癌图像的分割结果。
CN202311372109.3A 2023-10-23 2023-10-23 一种基于双模型分割的鼻咽癌图像处理方法及*** Active CN117115156B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311372109.3A CN117115156B (zh) 2023-10-23 2023-10-23 一种基于双模型分割的鼻咽癌图像处理方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311372109.3A CN117115156B (zh) 2023-10-23 2023-10-23 一种基于双模型分割的鼻咽癌图像处理方法及***

Publications (2)

Publication Number Publication Date
CN117115156A CN117115156A (zh) 2023-11-24
CN117115156B true CN117115156B (zh) 2024-01-05

Family

ID=88798738

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311372109.3A Active CN117115156B (zh) 2023-10-23 2023-10-23 一种基于双模型分割的鼻咽癌图像处理方法及***

Country Status (1)

Country Link
CN (1) CN117115156B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107610129A (zh) * 2017-08-14 2018-01-19 四川大学 一种基于cnn的多模态鼻咽部肿瘤联合分割方法
CN108257134A (zh) * 2017-12-21 2018-07-06 深圳大学 基于深度学习的鼻咽癌病灶自动分割方法和***
CN110956635A (zh) * 2019-11-15 2020-04-03 上海联影智能医疗科技有限公司 一种肺段分割方法、装置、设备及存储介质
CN116091522A (zh) * 2023-02-07 2023-05-09 武汉大学 医学图像分割方法、装置、设备及可读存储介质
CN116503607A (zh) * 2023-06-28 2023-07-28 天津市中西医结合医院（天津市南开医院） 一种基于深度学习的ct图像分割方法和***
CN116580037A (zh) * 2023-07-10 2023-08-11 天津医科大学第二医院 一种基于深度学习的鼻咽癌图像分割方法及***

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107610129A (zh) * 2017-08-14 2018-01-19 四川大学 一种基于cnn的多模态鼻咽部肿瘤联合分割方法
CN108257134A (zh) * 2017-12-21 2018-07-06 深圳大学 基于深度学习的鼻咽癌病灶自动分割方法和***
CN110956635A (zh) * 2019-11-15 2020-04-03 上海联影智能医疗科技有限公司 一种肺段分割方法、装置、设备及存储介质
CN116091522A (zh) * 2023-02-07 2023-05-09 武汉大学 医学图像分割方法、装置、设备及可读存储介质
CN116503607A (zh) * 2023-06-28 2023-07-28 天津市中西医结合医院（天津市南开医院） 一种基于深度学习的ct图像分割方法和***
CN116580037A (zh) * 2023-07-10 2023-08-11 天津医科大学第二医院 一种基于深度学习的鼻咽癌图像分割方法及***

Also Published As

Publication number Publication date
CN117115156A (zh) 2023-11-24

Similar Documents

Publication Publication Date Title
CN108665456B (zh) 基于人工智能的乳腺超声病灶区域实时标注的方法及***
CN108898595B (zh) 一种胸部图像中病灶区域的定位模型的构建方法及应用
Hansen et al. Ultrasonography of the kidney: a pictorial review
CN111429473B (zh) 基于多尺度特征融合的胸片肺野分割模型建立及分割方法
CN112257704A (zh) 基于深度学习检测模型子宫颈液基细胞数字图像分类方法
CN111340827A (zh) 一种肺部ct影像数据处理分析方法及***
CN110751636B (zh) 一种基于改进型编解码网络的眼底图像视网膜动脉硬化检测方法
Langarizadeh et al. Improvement of digital mammogram images using histogram equalization, histogram stretching and median filter
CN115147404B (zh) 一种双重特征融合mra图像的颅内动脉瘤分割方法
US20230162353A1 (en) Multistream fusion encoder for prostate lesion segmentation and classification
US20190035076A1 (en) Automated percentage of breast density measurements for full field digital mammography
CN114972266A (zh) 基于自注意机制和稳定学习的淋巴瘤超声图像语义分割方法
Pociask et al. Differential diagnosis of cysts and granulomas supported by texture analysis of intraoral radiographs
CN116452523A (zh) 一种超声图像质量量化评价方法
CN117495882B (zh) 一种基于AGCH-Net和多尺度融合的肝脏肿瘤CT图像分割方法
CN117115156B (zh) 一种基于双模型分割的鼻咽癌图像处理方法及***
CN112200810B (zh) 多模态的自动化脑室分割***及其使用方法
CN117934499A (zh) 一种基于改进UNet++的肾肿瘤超声图像分割方法
CN117036343A (zh) 用于识别腋窝***转移癌的ffoct图像分析方法和装置
CN114937022A (zh) 一种新型冠状肺炎的疾病检测分割方法
Swami et al. An algorithmic detection of brain tumour using image filtering and segmentation of various radiographs
Nour et al. Skin lesion segmentation based on edge attention vnet with balanced focal tversky loss
Tummala et al. Curriculum learning based overcomplete U-Net for liver tumor segmentation from computed tomography images
Shaik Amir et al. CT brain image advancement for ICH diagnosis
CN116152278B (zh) 医疗图像的分割方法及装置、非易失性存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant