CN113706541B - 一种图像处理方法及装置 - Google Patents

一种图像处理方法及装置 Download PDF

Info

Publication number
CN113706541B
CN113706541B CN202010430223.7A CN202010430223A CN113706541B CN 113706541 B CN113706541 B CN 113706541B CN 202010430223 A CN202010430223 A CN 202010430223A CN 113706541 B CN113706541 B CN 113706541B
Authority
CN
China
Prior art keywords
image
lung
chest
dimensional
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010430223.7A
Other languages
English (en)
Other versions
CN113706541A (zh
Inventor
郭又文
李其花
刘于豪
田广野
陈永健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Hisense Medical Equipment Co Ltd
Original Assignee
Qingdao Hisense Medical Equipment Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Hisense Medical Equipment Co Ltd filed Critical Qingdao Hisense Medical Equipment Co Ltd
Priority to CN202010430223.7A priority Critical patent/CN113706541B/zh
Publication of CN113706541A publication Critical patent/CN113706541A/zh
Application granted granted Critical
Publication of CN113706541B publication Critical patent/CN113706541B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Epidemiology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本申请公开了一种图像处理方法及装置，用以实现对肺部图像中微小复杂管状结构的更加精准的分割，得到更加直观地展示了肺实质、肺气管树、肺血管树的三维解剖结构信息的图像。本申请提供的图像处理方法，包括：将待测样本输入预先基于人体胸腔三维立体图像训练得到的模型中，输出预测结果；其中，所述待测样本包括待测者的人体胸腔三维立体图像；对所述预测结果进行翻转处理，得到包括肺实质、肺气管树、肺血管树的三维解剖结构信息的图像。

Description

一种图像处理方法及装置
技术领域
本申请涉及图像技术领域，尤其涉及一种图像处理方法及装置。
背景技术
目前，计算机断层扫描(Computed Tomography，CT)影像中肺部微小复杂管状结构(主要为肺气管树、肺动脉树和肺静脉树)的分割方法相对较少，主要是因为受之前计算机算力的限制及如今样本人工标注样本的限制，现有方法多为采用传统的分割算法实现，主要包括基于区域生长、基于水平集以及基于管状滤波增强。但是，这些方法都有各自的缺陷：基于区域生长分割算法对噪声十分敏感，对于末端细小、解剖结构多变的管状结构识别率低，分割效果较差；基于水平集分割算法的分割精度较高，但过分率也较高，且计算量大；基于管状滤波函数分割算法主要是通过对Hessian矩阵进行分析，从而得到肺部管状结构候选区域，但是这类算法容易在管状结构分叉处产生断裂，影响最终的分割结果。
发明内容
本申请实施例提供了一种图像处理方法及装置，用以实现对肺部图像中微小复杂管状结构的更加精准的分割，得到更加直观地展示了肺实质、肺气管树、肺血管树的三维解剖结构信息的图像。
本申请实施例提供的一种图像处理方法，包括：
将待测样本输入预先基于人体胸腔三维立体图像训练得到的模型中，输出预测结果；其中，所述待测样本包括待测者的人体胸腔三维立体图像；
对所述预测结果进行翻转处理，得到包括肺实质、肺气管树、肺血管树的三维解剖结构信息的图像。
通过该方法，将待测样本输入预先基于人体胸腔三维立体图像训练得到的模型中，输出预测结果；其中，所述待测样本包括待测者的人体胸腔三维立体图像；对所述预测结果进行翻转处理，得到包括肺实质、肺气管树、肺血管树的三维解剖结构信息的图像，从而实现了对肺部图像中微小复杂管状结构的更加精准的分割，得到了更加直观地展示了肺实质、肺气管树、肺血管树的三维解剖结构信息的图像。
可选地，所述模型是采用如下方式训练得到的：
基于受检者的胸腔计算机断层扫描CT原始医学数字成像和通信DICOM影像，及预先在所述胸腔CT原始DICOM影像上标注的管状结构掩膜，将所述胸腔CT原始DICOM影像像素的灰度值转换成亨氏单位HU值，并按照临床肺窗要求，处理为适用于观察肺部结构的CT图像；
基于所述CT图像进行模型训练。
可选地，该方法还包括对所述CT图像进行如下预处理：
将所述CT图像和所述管状结构掩膜按照肺区边缘进行剪切，得到包含肺部实质图像的三维长方体图像；
使用三阶样条插值将所述三维长方体图像的数据统一到相同的间距参数中，得到样本数据。
可选地，基于所述CT图像进行模型训练，具体包括：
将所述样本数据分成训练集和测试集，进行模型训练。
可选地，在所述模型训练的过程中所使用的训练区块大小为128*128*128。
可选地，该方法还包括：
得到多次经翻转处理后的预测结果；
对多次预测结果求平均，最终输出平均结果。
本申请实施例提供的一种图像处理装置，包括：
第一单元，用于将待测样本输入预先基于人体胸腔三维立体图像训练得到的模型中，输出预测结果；其中，所述待测样本包括待测者的人体胸腔三维立体图像；
第二单元，用于对所述预测结果进行翻转处理，得到包括肺实质、肺气管树、肺血管树的三维解剖结构信息的图像。
本申请另一实施例提供了一种计算设备，其包括存储器和处理器，其中，所述存储器用于存储程序指令，所述处理器用于调用所述存储器中存储的程序指令，按照获得的程序执行上述任一种方法。
本申请另一实施例提供了一种计算机存储介质，所述计算机存储介质存储有计算机可执行指令，所述计算机可执行指令用于使所述计算机执行上述任一种方法。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅是本申请的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1a为本申请实施例提供的训练模型的输出结果未进行后处理时的示意图；
图1b为本申请实施例提供的训练模型的输出结果经过后处理之后的示意图；
图2a为肺部支气管树分割情况下的医师标注标签结果示意图；
图2b为将本申请实施例提供的技术方案应用于肺部支气管树分割的实例结果示意图；
图3a为肺部动静脉血管树分割情况下的医师标注标签结果示意图；
图3b为将本申请实施例提供的技术方案应用于肺部动静脉血管树分割的实例结果示意图；
图4为本申请实施例提供的一种图像处理方法的流程示意图；
图5为本申请实施例提供的一种图像处理装置的结构示意图；
图6为本申请实施例提供的另一种图像处理装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，并不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
随着医疗需求的不断增长，计算机断层扫描(CT)设备的成像技术不断发展，肺部CT检查是目前临床上最常做的检查之一。肺部CT可以准确的显示肺部组织的三维解剖结构，经过有针对性的分割处理后，肺部CT图像中肺实质、肺气管树、肺血管树的三维结构信息就可以直观的呈现。临床医生可以通过气管参数和分级信息对常见呼吸***疾病展开病理分析和跟踪研究，根据气管树分布，可以将肺实质进行肺叶、肺段等亚级肺结构分割，显示出不同的解剖学结构，可以在疾病的治疗过程中指导手术规划并为介入手术提供实时导航，避免或减少手术过程中对器官的损伤；根据肺血管树的解剖结构信息可以实现肺灌注研究、间质性肺病研究以及肺部肿瘤量化研究等，定位肺部疾病位置、评估肺部疾病等级，进而结合肺叶信息实施精准治疗；因此从肺部CT影像中获取精准的肺部支气管树结构、实现肺动脉和肺静脉精准分割对肺部疾病精准诊疗有着重要的意义。
本申请实施例提供了一种图像处理方法及装置，通过对肺部CT图像中微小复杂管状结构的全自动精准分割，直观展示了肺实质、肺气管树、肺血管树的三维解剖结构信息，有望帮助医生改进临床肺部疾病的诊断、治疗和预后。
其中，方法和装置是基于同一申请构思的，由于方法和装置解决问题的原理相似，因此装置和方法的实施可以相互参见，重复之处不再赘述。
下面结合说明书附图对本申请各个实施例进行详细描述。需要说明的是，本申请实施例的展示顺序仅代表实施例的先后顺序，并不代表实施例所提供的技术方案的优劣。
为了直观展示了肺实质、肺气管树、肺血管树的三维解剖结构信息，针对现有技术中从CT影像中分割肺动脉和肺静脉的方法准确度不够，难以满足临床应用需求的问题，本申请实施例提供了一种采用三维深度学习模型全自动实现肺部CT图像中微小复杂管状结构的全自动精准分割的方法。该技术方案涵盖从数据预处理，到模型训练，再到数据后处理的过程，利用整体的框架和流程来完成对于胸腔支气管和动静脉的细小复杂结构的分割。具体实现步骤，例如包括以下步骤：
a、获取受检者薄层胸腔CT原始医学数字成像和通信(Digital Imaging andCommunications in Medicine，DICOM)影像，临床专家在原始CT影像中逐层标注管腔结构(主要指支气管、肺动脉和肺静脉)，获取管腔结构的掩膜；
b、基于受检者的胸腔CT原始DICOM影像，及步骤a中临床专家在原始图像上人工标注的管状结构掩膜(称为人工标注标签)，将CT原始DICOM影像像素的灰度值按照(式1)转换成亨氏单位(Hounsfield Unit，HU)值，按照临床肺窗(窗位-450—-600HU，窗宽1500—2000HU)要求，处理为适用于观察肺部结构的CT图像；
HU＝pixel_value*RescaleSlope+RescaleIntercept (式1)
式1中：pixel_value为CT原始DICOM影像中每个像素的灰度值，RescaleSlope和RescaleIntercept取自CT原始DICOM影像的头文件信息。CT原始DICOM影像的头文件信息中都会有RescaleSlope和RescaleIntercept这两项参数，表示了CT图像重建过程中，是如何将CT值(即HU值)转换成像素值进行存储的。具体地，RescaleSlope为缩放斜率，RescaleIntercept为缩放截距。
c、为了降低CT数据本身对模型的影响、减少计算量和聚焦感兴趣区域(Region OfInterest，ROI)，基于上述步骤b的图像灰度处理结果，对CT图像和对应的人工标注标签进行了如下预处理：
①将CT图像和对应的人工标注标签按照肺区边缘进行剪切，得到包含肺部实质图像的三维长方体图像(具体可以采用现有技术实现，此处不再赘述)。
②由于CT影像样本数据来源于不同的医院，不同的机器和技师，因此CT影像的体素大小有所差异，为了消除CT体素对模型的影像，在①处理的基础上，使用三阶样条插值对所有训练数据(包括CT图像和对应的人工标注标签)进行重采样，将所有的数据统一到相同的间距参数中(例如1.0mm*0.75mm*0.75mm大小)。其中，三阶样条插值是一种常用的插值算法；所述间距参数是指图像的平面分辨率和层间距，例如层间距为1mm，平面分辨率为0.75mm*0.75mm；
本申请实施例中所使用的图像为三维立体图像，三维立体图像是由一个个体素组成的；并且不同的患者，其图像的体素大小会有所差异，为了降低这种差异对算法效果的影响，可以先对所有的图像进行统一的预处理，将所有患者的影像体素统一。给出层间距和平面分辨率，就给出了预处理后所有患者图像体素大小，例如本申请实施例中给出的体素大小是1.0mm*0.75mm*0.75mm。
d、基于上述预处理结果，将所得样本数据分成训练集和测试集，其中训练集用于模型的训练，测试集用于模型性能测试。为了提升模型性能的稳定性，选择K折交叉验证方法进行模型的训练，即采用无放回的随机抽样方法进行模型的训练，保证了训练过程中训练集和测试集没有交叉，是相互独立的，具体地，例如将训练数据分为等量的5份，每次随机的抽取其中4份作为训练集，余下的1份作为测试集，进行模型的训练。例如，可以采用分割模型3D U-net深度神经网络，但不局限于该网络模型进行模型的训练。
进一步，为了增加所得模型的泛化性，在训练过程中对训练数据可以进行3D数据增强，包括对数据进行一定范围内的角度旋转、灰度拉升变化以及翻转操作。
e、为了得到可以满足临床需求的分割效果，对分割模型3D U-net深度神经网络进行一些优化处理，概括起来主要包括如下三个方面：
①损失函数的设计：每次训练输出的损失函数(Loss Function)受分类交叉熵和两个集合的相似性系数(Dice，此处具体是指：分割算法所用label(又称ground-truth)和分割算法预测结果之间的相似性)的约束，数学表达式如下面的式2所示。
②优化器的选择：采用Ranger(目前最强的深度学习优化器)作为优化算子，Ranger优化器是RAdam与LookAhead的协同组合，兼得二者优点。其中，RAdam利用一个动态整流器来根据变化调整Adam的自适应动量，针对当前数据集，有效地提供了一个自动热身(warm up)，以确保可以得到一个扎实的训练开头。LookAhead考虑到最近对深度神经网络损失曲面的理解，并为在整个训练过程中进行健壮和稳定的探索提供了突破。
③学习率的设置和学习策略：采用学习率热身(warm up)优化策略，在初始值1*10-4的基础上，先逐步上升再逐步下降的方式来进行训练。
其中，yi与分别表示像素i在医生标签下的标准结果和网络模型的预测结果。Loss Function(即损失函数)是用来估计模型的预测值/>与真实值(yi)的不一致程度的。其中LCross-Entropy为二者的交叉熵，LDice为Dice指数，均为分割模型效果评价常用指标，本申请实施例中将这两种评价指标联合使用。式2最后一个等号后面的两项分别是交叉熵和Dice指数的定义。其中，N为一患者胸腔CT图像的所有像素点数目，i为当前像素点，yi为当前像素点在医生所给标签下的标准结果，/>为训练模型输出的预测结果。
f、由于受制于显卡显存大小(例如11G)，为了防止数据整体载入引起的显存溢出现象，并且考虑到训练区块大小其实是对于图像视野的关键参数，本申请实施例进一步将数据训练区块大小设置为64*64*64以及128*128*128两个档位，并通过实验数据验证128为更优选择。若是显存容量够大，也可尝试使用其他训练块大小设置。
其中，关于训练区块，一个数据原始基本上是512*512*200大小，预处理(即插值)后大约大于400*400*300，因为受显卡显存大小的限制，不可能一次将整个数据放入模型中进行训练，需要通过使用滑动窗将数据分成许多个相同大小的区块，一块块的放入训练模型；训练区块大小对训练效果影响很大，对于不同的数据集并不是区块越大越好。
g、采用上述设置对模型进行训练后，得到的模型输出结果中，在一定程度上能够获得分割的细节信息，但是在分支上会出现断裂以及动静脉分类错误的情况，为了减少模型预测的错误，使得模型细节更加鲁棒，本申请实施例进一步对模型输出结果进行后处理，所述后处理主要是将训练模型输出的预测数据进行适当的翻转，从不同的角度进行多次预测，对结果进行平均。
具体地，一般情况下采用训练好的模型对新的样本进行预测时，不需要对样本进行诸如翻转之类的操作；但是由于本申请实施例为了尽可能多的分割出微小结构，且尽量改善其不连续的情况，对数据进行适当的翻转，可以获取不同角度下的图像细节，从而可改善单一视角下的预测结果；并且，对多次预测结果进行平均，一定程度上也可以减少假阳性结果的出现。如图1a和图1b所示，其中，图1a为后处理之前的结果，图1b为经过所述后处理之后的结果，图1a为只采用一个视角下的图像进行预测的结果，可以看到末枝有很多枝节不连续(如图中圈圈中的部分)；图1b为将预测数据进行适当的翻转，从不同的角度进行多次预测，对结果进行平均的结果，可以看到其末端几乎没有不连续的枝节的存在。说明后处理方法适用于这种微小复杂管状结构的分割。
本申请实施例提供的技术方案实例输出结果如图2a和图2b、图3a和图3b所示。其中，图2a和图2b为同一名患者的基于胸部CT影像的支气管分割三维结果图。图2a为肺部支气管树分割情况下的医师标注标签结果，图2b为将本申请实施例提供的技术方案应用于肺部支气管树分割的实例结果图；通过对比可以发现，模型预测结果完全可以和医生人工标注效果相媲美，甚至某些细节优于人工标注(见图中红色圈圈中区域)。图3a为肺部动静脉血管树分割情况下的医师标注标签结果，图3b为将本申请实施例提供的技术方案应用于肺部动静脉血管树分割的实例结果图。模型预测结果优于医生人工标注结果这一现象在图3a和图3b中更为明显，对照图3a和图3b中圈圈中的地方(实际为右下肺动静脉)可以明显看出。
由此可见，本申请实施例提供的技术方案的处理结果不管是在形态上，还是细节上都已经达到甚至超过了医生标签的结果。
综上所述，参见图4，本申请实施例提供的一种图像处理方法包括：
S101、将待测样本输入预先基于人体胸腔三维立体图像训练得到的模型中，输出预测结果；其中，所述待测样本包括待测者的人体胸腔三维立体图像；
所述模型，即上述步骤g之前训练得到的模型，采用训练好的模型对待测样本进行检测。
S102、对所述预测结果进行翻转处理，得到包括肺实质、肺气管树、肺血管树的三维解剖结构信息的图像。
所述翻转处理，即上述步骤g中所述的后处理中的翻转。
可选地，所述模型是采用如下方式训练得到的：
基于受检者的胸腔计算机断层扫描CT原始医学数字成像和通信DICOM影像，及预先在所述胸腔CT原始DICOM影像上标注的管状结构掩膜，将所述胸腔CT原始DICOM影像像素的灰度值转换成亨氏单位HU值，并按照临床肺窗要求，处理为适用于观察肺部结构的CT图像；
基于所述CT图像进行模型训练。
可选地，该方法还包括对所述CT图像进行如下预处理：
将所述CT图像和所述管状结构掩膜按照肺区边缘进行剪切，得到包含肺部实质图像的三维长方体图像；
使用三阶样条插值将所述三维长方体图像的数据统一到相同的间距参数中，得到样本数据。
可选地，基于所述CT图像进行模型训练，具体包括：
将所述样本数据分成训练集和测试集，进行模型训练。
例如，可以采用分割模型3D U-net深度神经网络进行训练。所述3D U-net深度神经网络还可以是经过上述步骤e优化后的3D U-net深度神经网络。
可选地，在所述模型训练的过程中所使用的训练区块大小为128*128*128。
可选地，该方法还包括：
得到多次经翻转处理后的预测结果；
对多次预测结果求平均，即上述步骤g所述的后处理中的求平均，最终输出平均结果。
参见图5，本申请实施例提供的一种图像处理装置包括：
存储器11和处理器12，其中，所述存储器11用于存储程序指令，所述处理器12用于调用所述存储器11中存储的程序指令，按照获得的程序执行：
将待测样本输入预先基于人体胸腔三维立体图像训练得到的模型中，输出预测结果；其中，所述待测样本包括待测者的人体胸腔三维立体图像；
对所述预测结果进行翻转处理，得到包括肺实质、肺气管树、肺血管树的三维解剖结构信息的图像。
可选地，处理器12还用于采用如下方式训练得到所述模型：
基于受检者的胸腔计算机断层扫描CT原始医学数字成像和通信DICOM影像，及预先在所述胸腔CT原始DICOM影像上标注的管状结构掩膜，将所述胸腔CT原始DICOM影像像素的灰度值转换成亨氏单位HU值，并按照临床肺窗要求，处理为适用于观察肺部结构的CT图像；
基于所述CT图像进行模型训练。
可选地，处理器12还用于对所述CT图像进行如下预处理：
将所述CT图像和所述管状结构掩膜按照肺区边缘进行剪切，得到包含肺部实质图像的三维长方体图像；
使用三阶样条插值将所述三维长方体图像的数据统一到相同的间距参数中，得到样本数据。
可选地，基于所述CT图像进行模型训练，具体包括：
将所述样本数据分成训练集和测试集，进行模型训练。
可选地，在所述模型训练的过程中所使用的训练区块大小为128*128*128。
可选地，处理器12还用于：
得到多次经翻转处理后的预测结果；
对多次预测结果求平均，最终输出平均结果。
处理器12可以是中央处埋器(CPU)、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或复杂可编程逻辑器件(Complex Programmable Logic Device，CPLD)。
参见图6，本申请实施例提供的另一种图像处理装置包括：
第一单元21，用于将待测样本输入预先基于人体胸腔三维立体图像训练得到的模型中，输出预测结果；其中，所述待测样本包括待测者的人体胸腔三维立体图像；
第二单元22，用于对所述预测结果进行翻转处理，得到包括肺实质、肺气管树、肺血管树的三维解剖结构信息的图像。
需要说明的是，本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请实施例提供了一种计算设备，该计算设备具体可以为桌面计算机、便携式计算机、智能手机、平板电脑、个人数字助理(Personal Digital Assistant，PDA)等。该计算设备可以包括中央处理器(Center Processing Unit，CPU)、存储器、输入/输出设备等，输入设备可以包括键盘、鼠标、触摸屏等，输出设备可以包括显示设备，如液晶显示器(Liquid Crystal Display，LCD)、阴极射线管(Cathode Ray Tube，CRT)等。
存储器可以包括只读存储器(ROM)和随机存取存储器(RAM)，并向处理器提供存储器中存储的程序指令和数据。在本申请实施例中，存储器可以用于存储本申请实施例提供的任一所述方法的程序。
处理器通过调用存储器存储的程序指令，处理器用于按照获得的程序指令执行本申请实施例提供的任一所述方法。
本申请实施例提供了一种计算机存储介质，用于储存为上述本申请实施例提供的装置所用的计算机程序指令，其包含用于执行上述本申请实施例提供的任一方法的程序。
所述计算机存储介质可以是计算机能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器(例如软盘、硬盘、磁带、磁光盘(MO)等)、光学存储器(例如CD、DVD、BD、HVD等)、以及半导体存储器(例如ROM、EPROM、EEPROM、非易失性存储器(NAND FLASH)、固态硬盘(SSD))等。
上述方法处理流程可以用软件程序实现，该软件程序可以存储在存储介质中，当存储的软件程序被调用时，执行上述方法步骤。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (5)

1.一种图像处理方法，其特征在于，所述方法包括：
将待测样本输入预先基于人体胸腔三维立体图像训练得到的模型中，输出预测结果；其中，所述待测样本包括待测者的人体胸腔三维立体图像；
对所述预测结果进行翻转处理，得到包括肺实质、肺气管树、肺血管树的三维解剖结构信息的图像；
得到多次经翻转处理后的预测结果；
对多次预测结果求平均，最终输出平均结果；
其中，所述模型是采用如下方式训练得到的：
基于受检者的胸腔计算机断层扫描CT原始医学数字成像和通信DICOM影像，及预先在所述胸腔CT原始DICOM影像上标注的管状结构掩膜，将所述胸腔CT原始DICOM影像像素的灰度值转换成亨氏单位HU值，并按照临床肺窗要求，处理为适用于观察肺部结构的CT图像；
将所述CT图像和所述管状结构掩膜按照肺区边缘进行剪切，得到包含肺部实质图像的三维长方体图像；
使用三阶样条插值将所述三维长方体图像的数据统一到相同的间距参数中，得到样本数据；
将所述样本数据分成训练集和测试集，进行模型训练。
2.根据权利要求1所述的方法，其特征在于，在所述模型训练的过程中所使用的训练区块大小为128*128*128。
3.一种图像处理装置，其特征在于，包括：
第一单元，用于将待测样本输入预先基于人体胸腔三维立体图像训练得到的模型中，输出预测结果；其中，所述待测样本包括待测者的人体胸腔三维立体图像；
第二单元，用于对所述预测结果进行翻转处理，得到包括肺实质、肺气管树、肺血管树的三维解剖结构信息的图像；得到多次经翻转处理后的预测结果；对多次预测结果求平均，最终输出平均结果；
其中，所述模型是采用如下方式训练得到的：
基于受检者的胸腔计算机断层扫描CT原始医学数字成像和通信DICOM影像，及预先在所述胸腔CT原始DICOM影像上标注的管状结构掩膜，将所述胸腔CT原始DICOM影像像素的灰度值转换成亨氏单位HU值，并按照临床肺窗要求，处理为适用于观察肺部结构的CT图像；
将所述CT图像和所述管状结构掩膜按照肺区边缘进行剪切，得到包含肺部实质图像的三维长方体图像；
使用三阶样条插值将所述三维长方体图像的数据统一到相同的间距参数中，得到样本数据；
将所述样本数据分成训练集和测试集，进行模型训练。
4.一种计算设备，其特征在于，包括：
存储器，用于存储程序指令；
处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行权利要求1或2所述的方法。
5.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机可执行指令，所述计算机可执行指令用于使所述计算机执行权利要求1或2所述的方法。
CN202010430223.7A 2020-05-20 2020-05-20 一种图像处理方法及装置 Active CN113706541B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010430223.7A CN113706541B (zh) 2020-05-20 2020-05-20 一种图像处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010430223.7A CN113706541B (zh) 2020-05-20 2020-05-20 一种图像处理方法及装置

Publications (2)

Publication Number Publication Date
CN113706541A CN113706541A (zh) 2021-11-26
CN113706541B true CN113706541B (zh) 2024-04-19

Family

ID=78645574

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010430223.7A Active CN113706541B (zh) 2020-05-20 2020-05-20 一种图像处理方法及装置

Country Status (1)

Country Link
CN (1) CN113706541B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115147359B (zh) * 2022-06-06 2023-04-07 北京医准智能科技有限公司 肺叶分割网络模型训练方法、装置、电子设备及存储介质

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1447772A1 (en) * 2003-02-11 2004-08-18 MeVis GmbH A method of lung lobe segmentation and computer system
CN106133790A (zh) * 2014-03-28 2016-11-16 皇家飞利浦有限公司 用于在组织种类分离的帮助下基于磁共振图像生成一幅或多幅计算机断层摄影图像的方法和设备
CN106780460A (zh) * 2016-12-13 2017-05-31 杭州健培科技有限公司 一种用于胸部ct影像的肺结节自动检测***
CN107507197A (zh) * 2017-08-18 2017-12-22 东北大学 一种基于聚类算法和卷积神经网络的肺实质提取方法
CN109102502A (zh) * 2018-08-03 2018-12-28 西北工业大学 基于三维卷积神经网络的肺结节检测方法
WO2019048418A1 (en) * 2017-09-05 2019-03-14 Koninklijke Philips N.V. DETERMINATION OF REGIONS OF HYPERDENSE PULMONARY TISSUE IN AN IMAGE OF A LUNG
CN109598727A (zh) * 2018-11-28 2019-04-09 北京工业大学 一种基于深度神经网络的ct图像肺实质三维语义分割方法
CN109993733A (zh) * 2019-03-27 2019-07-09 上海宽带技术及应用工程研究中心 肺部病灶的检测方法、***、存储介质、终端及显示***
CN110310281A (zh) * 2019-07-10 2019-10-08 重庆邮电大学 一种基于Mask-RCNN深度学习的虚拟医疗中肺结节检测与分割方法
CN110458801A (zh) * 2019-06-24 2019-11-15 深圳市未来媒体技术研究院 一种3d双路径神经网络及基于该网络的肺部结节检测方法
CN110738652A (zh) * 2019-10-17 2020-01-31 青岛海信医疗设备股份有限公司 一种肺部动静脉分离方法及装置
CN110766713A (zh) * 2019-10-30 2020-02-07 上海微创医疗器械（集团）有限公司 肺部图像分割方法、装置和肺部病变区域识别设备
CN111028248A (zh) * 2019-12-19 2020-04-17 杭州健培科技有限公司 一种基于ct图像的静动脉分离方法及装置
CN111127482A (zh) * 2019-12-20 2020-05-08 广州柏视医疗科技有限公司 基于深度学习的ct影像肺气管的分割方法及***

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3633612A4 (en) * 2017-06-30 2020-06-03 Shanghai United Imaging Healthcare Co., Ltd. IMAGE SEGMENTATION METHOD AND SYSTEM
JP7005191B2 (ja) * 2017-06-30 2022-01-21 キヤノンメディカルシステムズ株式会社 画像処理装置、医用画像診断装置、及びプログラム

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1447772A1 (en) * 2003-02-11 2004-08-18 MeVis GmbH A method of lung lobe segmentation and computer system
CN106133790A (zh) * 2014-03-28 2016-11-16 皇家飞利浦有限公司 用于在组织种类分离的帮助下基于磁共振图像生成一幅或多幅计算机断层摄影图像的方法和设备
CN106780460A (zh) * 2016-12-13 2017-05-31 杭州健培科技有限公司 一种用于胸部ct影像的肺结节自动检测***
CN107507197A (zh) * 2017-08-18 2017-12-22 东北大学 一种基于聚类算法和卷积神经网络的肺实质提取方法
WO2019048418A1 (en) * 2017-09-05 2019-03-14 Koninklijke Philips N.V. DETERMINATION OF REGIONS OF HYPERDENSE PULMONARY TISSUE IN AN IMAGE OF A LUNG
CN109102502A (zh) * 2018-08-03 2018-12-28 西北工业大学 基于三维卷积神经网络的肺结节检测方法
CN109598727A (zh) * 2018-11-28 2019-04-09 北京工业大学 一种基于深度神经网络的ct图像肺实质三维语义分割方法
CN109993733A (zh) * 2019-03-27 2019-07-09 上海宽带技术及应用工程研究中心 肺部病灶的检测方法、***、存储介质、终端及显示***
CN110458801A (zh) * 2019-06-24 2019-11-15 深圳市未来媒体技术研究院 一种3d双路径神经网络及基于该网络的肺部结节检测方法
CN110310281A (zh) * 2019-07-10 2019-10-08 重庆邮电大学 一种基于Mask-RCNN深度学习的虚拟医疗中肺结节检测与分割方法
CN110738652A (zh) * 2019-10-17 2020-01-31 青岛海信医疗设备股份有限公司 一种肺部动静脉分离方法及装置
CN110766713A (zh) * 2019-10-30 2020-02-07 上海微创医疗器械（集团）有限公司 肺部图像分割方法、装置和肺部病变区域识别设备
CN111028248A (zh) * 2019-12-19 2020-04-17 杭州健培科技有限公司 一种基于ct图像的静动脉分离方法及装置
CN111127482A (zh) * 2019-12-20 2020-05-08 广州柏视医疗科技有限公司 基于深度学习的ct影像肺气管的分割方法及***

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
"Three-dimensional quantitative assessment of lung parenchyma in cystic fibrosis: preliminary results";A.A. Palumbo，et al;《CHEST RADIOLOGY RADIOLOGIA TORACICA》;20071231;全文 *
"Pulmonary Artery–Vein Classification in CT Images Using Deep Learning";Pietro Nardelli，et al;《IEEE》;20181231;全文 *
Huan Geng,et al."Fully Automatic Extraction of Lung parenchyma from CT Scans".《IEEE》.2014,全文. *
基于CT三维图像的肺结节良恶性鉴别研究;常莎;王瑞平;;北京生物医学工程;20130215(01);全文 *
基于残差网络深度学习的肺部CT图像结节良恶性分类模型;林桢哲;王桂棠;陈建强;符秦沈;;仪器仪表学报;20200315(第03期);全文 *
能谱CT单能量图像在诊断中央型肺癌与阻塞性肺实变中的价值;段海峰;贾永军;于勇;杨创勃;田骞;田欣;贺太平;;陕西医学杂志;20160105(01);全文 *

Also Published As

Publication number Publication date
CN113706541A (zh) 2021-11-26

Similar Documents

Publication Publication Date Title
Su et al. Lung nodule detection based on faster R-CNN framework
EP3043318B1 (en) Analysis of medical images and creation of a report
US10339648B2 (en) Quantitative predictors of tumor severity
US20180211388A1 (en) Method and system for analyzing blood flow condition
US9218661B2 (en) Image analysis for specific objects
US11468570B2 (en) Method and system for acquiring status of strain and stress of a vessel wall
Kurugol et al. Automated quantitative 3D analysis of aorta size, morphology, and mural calcification distributions
Xian et al. Main coronary vessel segmentation using deep learning in smart medical
US11790524B2 (en) System and method for quantitative volumetric assessment and modeling of tumor lesions
CN106709920B (zh) 血管提取方法及其装置
CN107481254A (zh) 医学图像的处理方法、装置、介质和电子设备
CN102419864B (zh) 一种提取脑部ct图像骨骼方法及装置
CN116503607B (zh) 一种基于深度学习的ct图像分割方法和***
Gu et al. Segmentation of coronary arteries images using global feature embedded network with active contour loss
Hao et al. Juxta‐vascular pulmonary nodule segmentation in PET‐CT imaging based on an LBF active contour model with information entropy and joint vector
CN113706541B (zh) 一种图像处理方法及装置
Yuan et al. Pulmonary arteries segmentation from CT images using PA‐Net with attention module and contour loss
CN116309551B (zh) 确定病灶取样区的方法、装置、电子设备及可读介质
CN111798468B (zh) 图像处理方法及装置、存储介质及电子终端
Stefaniga et al. An approach of segmentation method using deep learning for CT medical images
CN115619810B (zh) 一种***分区分割方法、***及设备
CN114708973B (zh) 一种用于对人体健康进行评估的设备和存储介质
CN113658198B (zh) 交互式肺气肿病灶分割方法、装置、存储介质及设备
CN112862787B (zh) Cta影像数据处理方法、装置及存储介质
CN112184728B (zh) 一种基于磁共振图像的乳腺血管自动分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant