CN113012118B - 图像处理方法以及图像处理装置 - Google Patents
图像处理方法以及图像处理装置 Download PDFInfo
- Publication number
- CN113012118B CN113012118B CN202110246915.0A CN202110246915A CN113012118B CN 113012118 B CN113012118 B CN 113012118B CN 202110246915 A CN202110246915 A CN 202110246915A CN 113012118 B CN113012118 B CN 113012118B
- Authority
- CN
- China
- Prior art keywords
- image
- pulmonary
- lesion
- scan
- flat
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本申请提供了一种图像处理方法以及图像处理装置,该图像处理方法,包括:基于肺部平扫CT图像确定肺部平扫CT图像对应的病灶分割数据、肺血管分割数据、肺动静脉血管分割数据;以及基于平扫CT图像、病灶分割数据、肺血管分割数据、肺动静脉血管分割数据确定肺部平扫CT图像对应的强化判断信息。通过判断病灶区域的强化状态,判断肺部是否存在初期异常病变。由于无需进行增强CT检查,就能避免注射造影剂,从而避免注射造影剂的创伤及潜在风险。同时,避免增强CT检查时对患者的辐射,降低患者的看病成本。
Description
技术领域
本申请涉及医学影像处理技术领域,具体涉及一种图像处理方法、图像处理装置、电子设备及计算机可读存储介质。
背景技术
CT检查是筛查癌症等病症的重要手段,CT检查包括平扫CT检查和增强CT检查。平扫CT检查不易发现病灶初期异常病变,需要进行增强CT检查,通过病灶被强化现象以判定病灶初期异常病变。
然而,增强CT检查需要给患者注射造影剂,而人体对造影剂会出现不同程度的不良反应。如何既避免使用造影剂又能够准确检查病灶初期异常病变备受关注。
发明内容
有鉴于此,本申请实施例提供了一种图像处理方法、图像处理装置、电子设备及计算机可读存储介质,以解决在不使用造影剂的情况下如何准确检查病灶初期异常病变的技术问题。
根据本申请的一个方面,本申请一实施例提供的一种图像处理方法,包括:基于肺部平扫CT图像确定所述肺部平扫CT图像对应的病灶分割数据、肺血管分割数据、肺动静脉血管分割数据;以及基于所述平扫CT图像、所述病灶分割数据、所述肺血管分割数据、所述肺动静脉血管分割数据确定所述肺部平扫CT图像对应的强化判断信息。
在一个实施例中,所述基于所述平扫CT图像、所述病灶分割数据、所述肺血管分割数据、所述肺动静脉血管分割数据确定所述肺部平扫CT图像对应的强化判断信息,包括:基于所述肺部平扫CT图像、所述病灶分割数据、所述肺血管分割数据、所述肺动静脉血管分割数据确定图像特征图、病灶与肺血管轮廓位置关系特征图、病灶与肺动静脉血管轮廓位置关系特征图;将所述图像特征图、所述病灶与肺血管轮廓位置关系特征图和所述病灶与肺动静脉血管轮廓位置关系特征图以向量形式串联为一维特征向量;将所述一维特征向量输入增强判别模块,以生成所述强化判断信息。
在一个实施例中,所述基于所述肺部平扫CT图像、所述病灶分割数据、所述肺血管分割数据、所述肺动静脉血管分割数据确定图像特征图、病灶与肺血管轮廓位置关系特征图、病灶和肺动静脉血管轮廓位置关系特征图,包括:基于所述肺部平扫CT图像、所述病灶分割数据、所述肺血管分割数据、所述肺动静脉血管分割数据确定平扫CT图像块数据、病灶和肺血管轮廓位置信息块数据、病灶和肺动静脉血管轮廓位置信息块数据;将所述平扫CT图像块数据输入平扫CT图像分析模块,以生成所述图像特征图;将所述病灶和肺血管轮廓位置信息块数据输入病灶与肺血管轮廓位置关系分析模块,以生成所述病灶与肺血管轮廓位置关系特征图;以及将所述病灶和肺动静脉血管轮廓位置信息块数据输入病灶和肺动静脉血管轮廓位置关系分析模块,以生成所述病灶与肺动静脉血管轮廓位置关系特征图。
在一个实施例中,所述基于所述肺部平扫CT图像、所述病灶分割数据、所述肺血管分割数据、所述肺动静脉血管分割数据确定平扫CT图像块数据、病灶和肺血管轮廓位置信息块数据、病灶和肺动静脉血管轮廓位置信息块数据,包括:基于所述肺部平扫CT图像确定与所述肺部平扫CT图像的病灶区域对应的所述平扫CT图像块数据;基于所述病灶分割数据、所述肺血管分割数据、所述肺动静脉血管分割数据确定与所述肺部平扫CT图像的病灶区域对应的病灶分割块数据、肺血管分割块数据、肺动静脉血管分割块数据;合并所述病灶分割块数据和所述肺血管分割块数据,以获得所述病灶和肺血管轮廓位置信息块数据;以及合并所述病灶分割块数据和所述肺动静脉血管分割块数据,以获得所述病灶和肺动静脉血管轮廓位置信息块数据。
在一个实施例中,所述基于所述肺部平扫CT图像确定与所述肺部平扫CT图像的病灶区域对应的所述平扫CT图像块数据,包括:基于病灶区域中心的坐标,在所述肺部平扫CT图像截取预设尺寸的平扫CT图像块数据;其中,所述基于所述病灶分割数据、所述肺血管分割数据、所述肺动静脉血管分割数据确定与所述肺部平扫CT图像的病灶区域对应的病灶分割块数据,肺血管分割块数据、肺动静脉血管分割块数据,包括:基于所述病灶区域中心的坐标,在所述病灶分割数据、所述肺血管分割数据、所述肺动静脉血管分割数据中截取预设尺寸的平扫CT图像块数据、血管分割块数据、肺动静脉血管分割块数据。
在一个实施例中,在所述将所述一维特征向量输入增强判别模块之前,该图像处理方法还包括:确定肺部平扫CT图像样本、所述肺部平扫CT图像样本对应的一维特征向量样本、以及确定所述肺部平扫CT图像样本对应的病灶区域的强化信息;将所述一维特征向量样本输入初始增强判别模块,以生成所述肺部平扫CT图像样本对应的强化判断信息样本;以及基于所述肺部平扫CT图像样本对应的病灶区域的强化判断信息样本和所述肺部平扫CT图像样本对应的强化判断信息调整所述初始增强判别模块的网络参数。
在一个实施例中,所述确定肺部平扫CT图像样本对应的病灶区域的强化判断信息样本,包括:基于与所述肺部平扫CT图像样本对应的增强CT图像样本的病灶区域的强化判断信息,确定所述肺部平扫CT图像样本对应的病灶区域的强化判断信息样本。
在一个实施例中,所述基于肺部平扫CT图像确定所述肺部平扫CT图像对应的病灶分割数据、肺血管分割数据、肺动静脉血管分割数据,包括:将所述肺部平扫CT图像输入病灶分割模型,以获得所述病灶分割数据;将所述肺部平扫CT图像输入血管分割模型,以获得所述肺血管分割数据;以及将所述肺部平扫CT图像输入动静脉分割模型,以获得所述肺动静脉血管分割数据。
在一个实施例中,在所述基于肺部平扫CT图像确定所述肺部平扫CT图像对应的病灶分割数据、肺血管分割数据、肺动静脉血管分割数据之前,该图像处理方法还包括:对所述肺部平扫CT图像进行归一化处理。其中,所述基于肺部平扫CT图像分别确定所述肺部平扫CT图像对应的病灶分割数据、肺血管分割数据、肺动静脉血管分割数据,包括:基于所述归一化处理后的肺部平扫CT图像确定所述肺部平扫CT图像对应的病灶分割数据、肺血管分割数据、肺动静脉血管分割数据。
在一个实施例中,所述对所述肺部平扫CT图像进行归一化处理,包括:将所述肺部平扫CT图像中坐标向量方向上的像素距离归一到预设值。
根据本申请的另一个方面,本申请一实施例提供的一种图像处理装置,分割数据确定模块,配置为基于肺部平扫CT图像确定所述肺部平扫CT图像对应的病灶分割数据、肺血管分割数据、肺动静脉血管分割数据;以及强化判断信息确定模块,配置为基于所述平扫CT图像、所述病灶分割数据、所述肺血管分割数据、所述肺动静脉血管分割数据确定所述肺部平扫CT图像对应的强化判断信息。
根据本申请的又一个方面,本申请一实施例提供的本申请一实施例提供了一种电子设备,包括:处理器;存储器;以及存储在存储器中的计算机程序指令,计算机程序指令在被处理器运行时使得处理器执行如上述任一项所述的图像处理方法。
根据本申请的又一方面,本申请一实施例提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行如上述任一项的图像处理方法。
本申请实施例提供的一种图像处理方法,基于肺部平扫CT图像确定肺部平扫CT图像对应的病灶分割数据、肺血管分割数据、肺动静脉血管分割数据,基于平扫CT图像、病灶分割数据、肺血管分割数据、肺动静脉血管分割数据确定肺部平扫CT图像对应的强化判断信息。通过病灶区域的强化状态,判断肺部是否存在初期异常病变。由于无需进行增强CT检查,就能避免注射造影剂,从而避免注射造影剂的创伤及潜在风险。同时,避免增强CT检查时对患者的辐射,降低患者的看病成本。
附图说明
通过结合附图对本申请实施例进行更详细的描述,本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解,并且构成说明书的一部分,与本申请实施例一起用于解释本申请,并不构成对本申请的限制。在附图中,相同的参考标号通常代表相同部件或步骤。
图1所示为本申请实施例所适用的一场景示意图。
图2所示为本申请实施例所适用的另一场景示意图。
图3所示为本申请一实施例提供的一种图像处理方法的流程示意图。
图4所示为本申请又一实施例提供的一种图像处理方法的流程示意图。
图5所示为本申请又一实施例提供的一种图像处理方法的流程示意图。
图6所示为本申请又一实施例提供的一种图像处理方法的流程示意图。
图7所示为本申请一实施例提供的基于平扫CT图像块数据、病灶和肺血管轮廓位置信息块数据、病灶和肺动静脉血管轮廓位置信息块数据,获得肺部平扫CT图像对应的强化判断信息的流程示意图。
图8所示为本申请又一实施例提供的一种图像处理方法的流程示意图。
图9所示为本申请又一实施例提供的一种图像处理方法的流程示意图。
图10所示为本申请又一实施例提供的一种图像处理方法的流程示意图。
图11所示为本申请又一实施例提供的一种图像处理方法的流程示意图。
图12所示为本申请一实施例提供的一种图像处理装置的结构示意图。
图13所示为本申请又一实施例提供的一种图像处理装置的结构示意图。
图14所示为本申请一实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
电子计算机断层扫描(Computed Tomography,CT)主要利用精确准直的X线束、γ射线和超声波等,与灵敏度极高的探测器一同围绕人体的某一部位做一个接一个的断面扫描,具有扫描时间快,图像清晰等特点,可用于多种疾病的检查。
CT检查包括平扫CT检查和增强CT检查,不注射造影剂直接在仪器上进行的普通CT检查即为平扫CT检查,增强CT检查与平扫CT检查相比,最大的区别就是在做增强CT检查前要给患者注射一种造影剂,以便清晰显示血管,从而让医生更容易了解病灶病变的情况,提高诊断准确率。
平扫CT检查诊断疾病的原理如下:由于不同的组织的阻射率不同,测量射线通过人体不同组织后的衰减值不同,反应射线衰减值的专业术语为密度,CT值是测定人体某一局部组织或器官密度大小的一种计量单位,通常称亨氏单位(Hounsfield Unit,Hu)。相同的组织结构应是相同的密度,不同的组织结构对应不同的密度。对于一个肺部平扫CT图片,不含有病灶的肺部的密度是比较均匀的,含有病灶的肺部,病灶处的密度与其他正常组织的密度不同。
CT平扫可以发现病灶,但平扫CT检查不易发现病灶的初期异常病变(病灶异常病变表明病灶大概率为恶性)。由于病灶生长在正常的肺部组织器官中,早期因数目少、体积小,当采用平扫CT扫描时,病灶的前期异常病变不易被发现,例如小的肝囊肿、肝血管瘤和小肝癌等。此时,需要进行增强CT检查,增强CT检查会向患者注射造影剂,由于异常病变的病灶会具有更丰富的血流供应,造影剂会更多的聚集在异常病变的病灶中,在增强CT图像上,异常病变的病灶处的血管更加清晰,异常病变的病灶处出现被强化现象(即增强CT图像中异常病变的病灶处的局部对比度变大),从而早期发现病变,及早进行科学和合理的治疗。
但增强CT检查需要给患者注射造影剂,造影剂为一种含有碘的对比剂,在为检查提供高质量诊断图像的同时,也可能会导致人体出现不同程度的不良反应,常见的包括发热、心跳加快等,严重的甚至出现呼吸心脏骤停、过敏性休克等。因此,需要解决现有技术中进行增强CT检查时注射造影剂对患者造成创伤以及存在潜在风险的技术问题。
针对上述的技术问题,本申请的基本构思提供一种图像处理方法,利用该图像处理方法处理平扫CT图像,实现基于平扫CT图像判断病灶区域的初期异常病变,替代利用增强CT检查判断病灶区域的初期异常病变,避免注射造影剂,从而避免注射造影剂的创伤及潜在风险。同时,避免增强CT检查时对患者的辐射,降低患者的看病成本。
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
示例性应用场景
图1所示为本申请实施例所适用的一场景示意图。如图1所示,本申请实施例所适用的场景中包括服务器1和图像采集设备2,其中,服务器1和图像采集设备2之间存在通信连接关系。
具体而言,图像采集设备2用于采集肺部平扫CT图像,服务器1用于基于图像采集设备2采集的肺部平扫CT图像确定肺部平扫CT图像对应的病灶分割数据、肺血管分割数据、肺动静脉血管分割数据,然后基于平扫CT图像、病灶分割数据、肺血管分割数据、肺动静脉血管分割数据确定肺部平扫CT图像对应的强化判断信息,其中,强化判断信息能够判断病灶区域的强化状态。即,该场景实现了一种图像处理方法。由于图1所示的上述场景利用服务器1实现了图像处理方法,因此,该场景不但能够提高场景的适应能力,而且能够有效降低图像采集设备2的计算量。
需要说明的是,本公开还适用于另一场景。图2所示为本申请实施例所适用的另一场景示意图。具体地,该场景中包括图像处理设备3,其中,图像处理设备3包括图像采集模块31和计算模块32,并且,图像采集模块301和计算模块302之间存在通信连接关系。
具体而言,图像处理设备3中的图像采集模块31用于采集肺部平扫CT图像,图像处理设备3中的计算模块32用于基于图像采集模块31采集的肺部平扫CT图像确定肺部平扫CT图像对应的病灶分割数据、肺血管分割数据、肺动静脉血管分割数据,然后基于平扫CT图像、病灶分割数据、肺血管分割数据、肺动静脉血管分割数据确定肺部平扫CT图像对应的强化判断信息,其中,强化判断信息能够判断病灶区域的强化状态。即,该场景实现了一种图像处理方法。由于图2所示的上述场景利用图像处理设备3实现了图像处理方法,无需与服务器等相关装置进行数据传输操作,因此,上述场景能够保证图像处理方法的实时性。
示例性图像处理方法
图3所示为本申请一实施例提供的一种图像处理方法的流程示意图。如图3所示,该图像处理方法包括如下步骤。
步骤101:基于肺部平扫CT图像确定肺部平扫CT图像对应的病灶分割数据、肺血管分割数据、肺动静脉血管分割数据。
具体而言,肺部平扫CT图像是对人体胸部进行平扫CT检查获得的图像。病灶分割数据用于表征病灶区域的位置以及轮廓的数据。肺血管分割数据用于表征肺部血管的位置以及轮廓的数据。肺动静脉血管分割数据用于表征肺动脉血管和肺静脉血管的位置以及轮廓的数据。基于肺部平扫CT图像确定肺部平扫CT图像对应的病灶分割数据,可以是将肺部平扫CT图像输入训练好的神经网络模型中,获得病灶分割数据,也可以是利用人工在平扫CT图像上进行标注直接获得病灶分割数据。只要是基于肺部平扫CT图像确定肺部平扫CT图像对应的病灶分割数据即可,本申请对病灶分割数据的具体确定方法不做限定。
基于肺部平扫CT图像确定肺部平扫CT图像对应的肺血管分割数据,和基于肺部平扫CT图像确定肺动静脉血管分割数据,与基于肺部平扫CT图像确定肺部平扫CT图像对应的病灶分割数据类似,在此不在赘述。
需要说明的是,肺血管指代位于肺部的全部的血管。肺动静脉血管包括肺动脉血管以及肺静脉血管。
步骤102:基于平扫CT图像、病灶分割数据、肺血管分割数据、肺动静脉血管分割数据确定肺部平扫CT图像对应的强化判断信息。
具体而言,病灶区域的强化状态包括被强化状态和未被强化的状态。强化判断信息为病灶区域是否被强化的判断结果。病灶区域处于被强化状态,表明病灶区域具有更丰富的血流供应,表明病灶区域存在异常病变,表明病灶大概率为恶性。病灶区域处于未被强化状态,表明病灶区域血流正常,表明病灶区域不存在异常病变,表明病灶大概率为良性。
由于病灶分割数据用于表征病灶区域的位置以及轮廓,肺血管分割数据用于表征肺部血管的位置以及轮廓,肺动静脉血管分割数据是表征肺动脉血管和肺静脉血管的位置以及轮廓。基于平扫CT图像、病灶分割数据、肺血管分割数据、肺动静脉血管分割数据各自携带的信息,可以更好地掌握病灶与肺部血管的关系以及病灶与和肺静脉血管的关系,判断病灶区域的血流供应情况,从而判断病灶区域的强化状态。
本申请实施例中,基于肺部平扫CT图像确定肺部平扫CT图像对应的病灶分割数据、肺血管分割数据、肺动静脉血管分割数据,基于平扫CT图像、病灶分割数据、肺血管分割数据、肺动静脉血管分割数据确定判断信息,判断病灶区域的强化状态。通过病灶区域的强化状态,判断肺部是否存在初期异常病变。由于无需进行增强CT检查,就能避免注射造影剂,从而避免注射造影剂的创伤及潜在风险。同时,避免增强CT检查时对患者的辐射,降低患者的看病成本。
图4所示为本申请又一实施例提供的一种图像处理方法的流程示意图。如图4所示,基于平扫CT图像、病灶分割数据、肺血管分割数据、肺动静脉血管分割数据确定肺部平扫CT图像对应的强化判断信息步骤,包括下列步骤。
步骤2021:基于肺部平扫CT图像、病灶分割数据、肺血管分割数据、肺动静脉血管分割数据确定图像特征图、病灶与肺血管轮廓位置关系特征图、病灶与肺动静脉血管轮廓位置关系特征图。
具体而言,对肺部平扫CT图像进行特征提取,获得图像特征图;考虑病灶与肺血管轮廓位置关系和病灶与肺动静脉血管轮廓位置关系,对病灶分割数据、肺血管分割数据以及肺动静脉血管分割数据进行特征提取和结合,获得病灶与肺血管轮廓位置关系特征图、病灶与肺动静脉血管轮廓位置关系特征图。对不同图像进行不同维度的特征提取以及结合,从不同方向反映病灶与血管的特征。
步骤2022:将图像特征图、病灶与肺血管轮廓位置关系特征图和病灶与肺动静脉血管轮廓位置关系特征图以向量形式串联为一维特征向量。
具体而言,将不同维度的特征图串联以向量形式串联为一维特征向量,确保不同维度的特征信息被准确传达,使后续获得更准确的强化判断信息。
步骤2023:将一维特征向量输入增强判别模块,以生成强化判断信息。
具体而言,增强判别模块是预先训练好的,增强判别模块具备输入一维特征向量就能判别出病灶区域是否被强化的功能,从而判断出病灶区域是否存在异常病变。
本申请实施例中,对肺部平扫CT图像、病灶分割数据、肺血管分割数据以及肺动静脉血管分割数据分别进行特征提取,以及基于病灶与肺血管轮廓位置关系和病灶与肺动静脉血管轮廓位置关系进行结合,获得图像特征图、病灶与肺血管轮廓位置关系特征图、病灶与肺动静脉血管轮廓位置关系特征图的不同维度的特征图,将不同维度的特征图以向量形式串联为一维特征向量,将一维特征向量输入增强判别模块,判别出病灶区域是否被强化,从而判断出病灶区域是否存在异常病变。通过上述方法,就能判断病灶区域是否存在异常病变,由于无需进行增强CT检查,就能避免注射造影剂,从而避免注射造影剂的创伤及潜在风险。
图5所示为本申请又一实施例提供的一种图像处理方法的流程示意图。如图5所示,基于肺部平扫CT图像、病灶分割数据、肺血管分割数据、肺动静脉血管分割数据确定图像特征图、病灶与肺血管轮廓位置关系特征图、病灶与肺动静脉血管轮廓位置关系特征图步骤,包括下列步骤。
步骤30211:基于肺部平扫CT图像、病灶分割数据、肺血管分割数据、肺动静脉血管分割数据确定平扫CT图像块数据、病灶和肺血管轮廓位置信息块数据、病灶和肺动静脉血管轮廓位置信息块数据。
具体而言,平扫CT图像块数据为以病灶区域为中心在平扫CT图像中截取的图像块。病灶和肺血管轮廓位置信息块数据结合了以病灶为中心在病灶分割数据和肺血管分割数据中截取的两个图像块,用于表征病灶和肺血管轮廓位置关系的块数据。病灶和肺动静脉血管轮廓位置信息块数据结合了以病灶为中心在病灶分割数据和肺动静脉血管分割数据中截取的两个图像块,用于表征病灶和肺动静脉血管轮廓位置关系的块数据。
步骤30212:将平扫CT图像块数据输入平扫CT图像分析模块,以生成图像特征图。
具体而言,平扫CT图像分析模块也是一个由神经网络模型构成的特征分析提取模块,对平扫CT图像块数据进行3d卷积操作和3d池化操作,获得图像特征图。
步骤30213:将病灶和肺血管轮廓位置信息块数据输入病灶与肺血管轮廓位置关系分析模块,以生成病灶与肺血管轮廓位置关系特征图。
具体而言,病灶与肺血管轮廓位置关系分析模块也是一个由神经网络模型构成的特征分析提取模块,对病灶和肺血管轮廓位置信息块数据进行3d卷积操作和3d池化操作,获得病灶与肺血管轮廓位置关系特征图。
步骤30214:将病灶和肺动静脉血管轮廓位置信息块数据输入病灶和肺动静脉血管轮廓位置关系分析模块,以生成病灶与肺动静脉血管轮廓位置关系特征图。
具体而言,病灶和肺动静脉血管轮廓位置关系分析模块也是一个由神经网络模型构成的特征分析提取模块,对病灶和肺动静脉血管轮廓位置信息块数据进行3d卷积操作和3d池化操作,获得病灶与肺血管轮廓位置关系特征图。
本申请实施例中,通过在肺部平扫CT图像、病灶分割数据、肺血管分割数据、肺动静脉血管分割数据中截取图像块,并基于病灶与肺血管轮廓位置关系和病灶与肺动静脉血管轮廓位置关系进行结合,获得平扫CT图像块数据、病灶和肺血管轮廓位置信息块数据、病灶和肺动静脉血管轮廓位置信息块数据,并将三者分别输入对应的分析模块中进行特征提取,获得图像特征图、病灶与肺血管轮廓位置关系特征图、病灶与肺动静脉血管轮廓位置关系特征图。
需要说明的是,上述特征分析提取模块可以采用RNN、CNN和Transformer等神经网络模型。
图6所示为本申请又一实施例提供的一种图像处理方法的流程示意图。如图6所示,基于肺部平扫CT图像、病灶分割数据、肺血管分割数据、肺动静脉血管分割数据确定平扫CT图像块数据、病灶和肺血管轮廓位置信息块数据、病灶和肺动静脉血管轮廓位置信息块数据步骤,包括下列步骤。
步骤402111:基于肺部平扫CT图像确定与肺部平扫CT图像的病灶区域对应的平扫CT图像块数据。
具体而言,基于肺部平扫CT图像确定与肺部平扫CT图像的病灶区域对应的平扫CT图像块数据可以是基于病灶区域的整个区域轮廓线在肺部平扫CT图像中截取图像块,也可以是基于病灶区域的中心处的坐标在在肺部平扫CT图像中截取图像块。本申请对如何获得与肺部平扫CT图像的病灶区域对应的平扫CT图像块数据不做具体限定。
步骤402112:基于病灶分割数据、肺血管分割数据、肺动静脉血管分割数据确定与肺部平扫CT图像的病灶区域对应的病灶分割块数据,肺血管分割块数据、肺动静脉血管分割块数据。
具体而言,同样地,可以是基于病灶区域的整个区域轮廓线,也可以是基于病灶区域的中心处的坐标,分别在病灶分割数据、肺血管分割数据、肺动静脉血管分割数据中截取病灶分割块数据,肺血管分割块数据、肺动静脉血管分割块数据,在此不再赘述。
步骤402113:合并病灶分割块数据和肺血管分割块数据,以获得病灶和肺血管轮廓位置信息块数据。
步骤402114:合并病灶分割块数据和肺动静脉血管分割块数据,以获得病灶和肺动静脉血管轮廓位置信息块数据。
本申请实施例中,基于肺部平扫CT图像确定与肺部平扫CT图像的病灶区域对应的平扫CT图像块数据;基于病灶分割数据、肺血管分割数据、肺动静脉血管分割数据确定与肺部平扫CT图像的病灶区域对应的病灶分割块数据,肺血管分割块数据、肺动静脉血管分割块数据,将病灶分割块数据和肺血管分割块数据合并,获得用于表征病灶和肺血管轮廓位置关系的病灶和肺血管轮廓位置信息块数据。将病灶分割块数据和肺动静脉血管分割块数据合并,获得用于表征病灶和肺动静脉血管轮廓位置关系的病灶和肺动静脉血管轮廓位置信息块数据。
在一个实施例中,基于肺部平扫CT图像确定与所述肺部平扫CT图像的病灶区域对应的所述平扫CT图像块数据步骤,包括:基于病灶区域中心的坐标,在肺部平扫CT图像截取预设尺寸的平扫CT图像块数据。
具体而言,根据病灶分割数据中病灶区域中心的所处的第一坐标,在平扫CT医学图像中与第一坐标对应的坐标处截取预设尺寸的图像块,获得CT图像块数据。
基于病灶分割数据、肺血管分割数据、肺动静脉血管分割数据确定与肺部平扫CT图像的病灶区域对应的病灶分割块数据,肺血管分割块数据、肺动静脉血管分割块数据步骤,包括:基于病灶区域中心的坐标,在病灶分割数据、肺血管分割数据、肺动静脉血管分割数据中截取预设尺寸的平扫CT图像块数据、血管分割块数据、肺动静脉血管分割块数据。
具体而言,在病灶分割数据中与第一坐标对应的坐标处截取预设尺寸的图像块,获得病灶分割块数据;在肺血管分割数据中与第一坐标对应的坐标处截取预设尺寸的图像块,获得肺血管分割块数据;在肺动静脉血管分割数据中与第一坐标对应的坐标处截取预设尺寸的图像块,肺动静脉血管分割块数据。
本申请实施例中,基于病灶区域中心的坐标,在病灶分割数据、肺血管分割数据、肺动静脉血管分割数据中分别截取病灶分割块数据,肺血管分割块数据、肺动静脉血管分割块数据。将病灶分割块数据和肺血管分割块数据合并,获得用于表征病灶和肺血管轮廓位置关系的病灶和肺血管轮廓位置信息块数据。将病灶分割块数据和肺动静脉血管分割块数据合并,获得用于表征病灶和肺动静脉血管轮廓位置关系的病灶和肺动静脉血管轮廓位置信息块数据。
图7所示为本申请一实施例提供的基于平扫CT图像块数据、病灶和肺血管轮廓位置信息块数据、病灶和肺动静脉血管轮廓位置信息块数据,获得肺部平扫CT图像对应的强化判断信息的流程示意图。如图7所示,该图像处理方法包括:将平扫CT图像块数据、病灶和肺血管轮廓位置信息块数据、以及病灶和肺动静脉血管轮廓位置信息块数据分别输入到对应的平扫CT图像分析模块、病灶与肺血管轮廓位置关系分析模块、以及病灶和肺动静脉血管轮廓位置关系分析模块,分别进行特征提取,获得图像特征图、病灶与肺血管轮廓位置关系特征图、病灶与肺动静脉血管轮廓位置关系特征图。将图像特征图、病灶与肺血管轮廓位置关系特征图和病灶与肺动静脉血管轮廓位置关系特征图以向量形式串联为一维特征向量。将一维特征向量输入增强判别模块,获得强化判断信息,判断病灶区域是否被强化,从而判断出病灶区域是否存在异常病变。
图8所示为本申请又一实施例提供的一种图像处理方法的流程示意图。如图8所示,在将一维特征向量输入增强判别模块之前,该图像处理方法还包括下列步骤。
步骤5001:确定肺部平扫CT图像样本、肺部平扫CT图像样本对应的一维特征向量样本、以及确定肺部平扫CT图像样本对应的病灶区域的强化判断信息样本。
具体而言,肺部平扫CT图像样本对应的一维特征向量样本的获取方法可以是下列操作。基于肺部平扫CT图像样本确定肺部平扫CT图像样本对应的病灶分割数据样本、肺血管分割数据样本、肺动静脉血管分割数据样本。基于病灶区域的位置,在肺部平扫CT图像样本中截取平扫CT图像块数据样本;基于病灶区域的位置,分别在病灶分割数据样本、肺血管分割数据样本、肺动静脉血管分割数据样本中截取病灶分割块数据样本,肺血管分割块数据样本、肺动静脉血管分割块数据样本。对病灶分割块数据样本和肺血管分割块数据样本合并,获得病灶和肺血管轮廓位置信息块数据样本;对病灶分割块数据样本和肺动静脉血管分割块数据样本合并,获得病灶和肺动静脉血管轮廓位置信息块数据样本。将平扫CT图像块数据样本、病灶和肺血管轮廓位置信息块数据样本以及病灶和肺动静脉血管轮廓位置信息块数据样本分别输入平扫CT图像分析模块、病灶与肺血管轮廓位置关系分析模块、以及病灶和肺动静脉血管轮廓位置关系分析模块进行特征提取,获得图像特征图样本、病灶与肺血管轮廓位置关系特征图样本、病灶与肺动静脉血管轮廓位置关系特征图样本。将图像特征图样本、病灶与肺血管轮廓位置关系特征图样本以及病灶与肺动静脉血管轮廓位置关系特征图样本以向量形式串联为一维特征向量样本。
肺部平扫CT图像样本对应的病灶区域的强化判断信息样本为在肺部平扫CT图像样本上的已经标注好的病灶区域的强化判断信息,其包括病灶区域被强化的判断信息样本和病灶区域未被强化的判断信息样本。有监督学***扫CT样本中病灶区域的强化判断信息样本,具体获取手段可以是根据与肺部平扫CT图像对应的肺部增强CT图像中病灶区域的强化判断信息,获得肺部平扫CT图像样本对应的病灶区域的强化判断信息样本。只要可以获得肺部平扫CT图像样本对应的病灶区域的强化判断信息样本即可,本申请实施例对具体获得手段不做限定。
步骤5002:将一维特征向量样本输入初始增强判别模块,以生成肺部平扫CT图像样本对应的强化判断信息。
具体而言,有监督的学习训练初始增强判别模块,将一维特征向量样本输入初始增强判别模块,对初始增强判别模块进行训练,使初始增强判别模块学习如何判断灶区域的强化状态。
示例性的,增强判别模块可以利用分类器实现。
进一步示例性的,分类器可以采用SVM,Random Forest或者一个全连接层等分类器。
步骤5003:基于肺部平扫CT图像样本对应的病灶区域的强化判断信息样本和肺部平扫CT图像样本对应的强化判断信息调整初始增强判别模块的网络参数。
具体而言,肺部平扫CT图像样本对应的病灶区域的强化判断信息样本是输入参考值,肺部平扫CT图像样本对应的判断信息是输出值,输出值与输入参考值存在差异,就需要调整初始增强判别模块的网络参数。基于肺部平扫CT图像样本对应的病灶区域的强化判断信息样本和肺部平扫CT图像样本对应的判断信息调整初始增强判别模块的网络参数,直至肺部平扫CT图像样本对应的病灶区域的强化判断信息与肺部平扫CT图像样本对应的强化判断信息损失结果在阈值内,停止调整初始增强判别模块的参数。
需要说明的是,阈值根据增强判别模块具体训练场景确定,本申请实施例对阈值的具体数值不做限定。
本申请实施例中,通过上述方法训练初始增强判别模块,使初始增强判别模块具有输入一维特征向量输出病灶区域的强化状态的能力。通过将一维特征向量输入被训练的初始增强判别模块中,获得病灶区域的强化状态,判断出病灶区域是否被强化,从而判断出病灶区域是否存在异常病变。
图9所示为本申请又一实施例提供的一种图像处理方法的流程示意图。如图9所示,所定肺部平扫CT图像样本对应的病灶区域的强化判断信息样本步骤,包括下列步骤。
步骤60011:基于与肺部平扫CT图像样本对应的增强CT图像样本上病灶区域的强化判断信息,获取与肺部平扫CT图像样本对应的病灶区域的强化判断信息样本。
具体而言,增强CT图像样本可以从由历史病人的增强CT图像构成的数据库中获取,只要肺部平扫CT图像样本与增强CT图像样本是对应的,是一个病人的即可。
本申请实施例中,根据与肺部平扫CT图像对应的肺部增强CT图像中病灶区域的强化判断信息,获取与肺部平扫CT图像样本对应的病灶区域的强化判断信息样本。若与肺部平扫CT图像对应的肺部增强CT图像中病灶区域为被强化状态,病灶区域的强化判断信息样本为病灶区域被强化的判断信息样本。若与肺部平扫CT图像对应的肺部增强CT图像中病灶区域为未被强化状态,病灶区域的强化判断信息为病灶区域未被强化的判断信息样本。
图10所示为本申请又一实施例提供的一种图像处理方法的流程示意图。如图10所示,基于肺部平扫CT图像确定肺部平扫CT图像对应的病灶分割数据、肺血管分割数据、肺动静脉血管分割数据步骤,包括下列步骤。
步骤7011:将肺部平扫CT图像输入病灶分割模型,以获得病灶分割数据。
病灶分割模型为经过训练的神经网络模型,通过有监督的学***扫CT图像输出病灶分割数据的功能。
步骤7012:将肺部平扫CT图像输入血管分割模型,以获得肺血管分割数据。
血管分割模型为经过训练的神经网络模型,通过有监督的学***扫CT图像输出肺血管分割数据的功能。
步骤7013:将肺部平扫CT图像输入动静脉分割模型,以获得肺动静脉血管分割数据。
动静脉分割模型为经过训练的神经网络模型,通过有监督的学***扫CT图像输出肺动静脉血管分割数据的功能。病灶分割模型、血管分割模型以及动静脉分割模型可以是MobilenetV2、Fast-RCNN、Faster-RCNN、R-FCN、YOLO以及SSD等神经网络模型中的至少一个经过训练而获得。
本申请实施例中,通过将肺部平扫CT图像分别输入到病灶分割模型、血管分割模型以及动静脉分割模型中,获得病灶分割数据、肺血管分割数据、肺动静脉血管分割数据。
图11所示为本申请又一实施例提供的一种图像处理方法的流程示意图。如图11所示,在基于肺部平扫CT图像分别确定肺部平扫CT图像对应的病灶分割数据、肺血管分割数据、肺动静脉血管分割数据之前,该图像处理方法还包括如下步骤。
步骤804:对肺部平扫CT图像进行归一化处理。
并且,在本申请实施例中,基于肺部平扫CT图像分别确定肺部平扫CT图像对应的病灶分割数据、肺血管分割数据、肺动静脉血管分割数据步骤,包括如下步骤。
步骤801:基于归一化处理后的肺部平扫CT图像确定肺部平扫CT图像对应的病灶分割数据、肺血管分割数据、肺动静脉血管分割数据。
具体而言,对肺部平扫CT图像进行归一化处理,获得归一化后的平扫CT图像;基于归一化后的肺部平扫CT图像,确定病灶分割数据、肺血管分割数据、肺动静脉血管分割数据;肺部平扫CT图像、病灶分割数据、肺血管分割数据、肺动静脉血管分割数据的规格一致,为后续进行特征提取提供便利。
本实施例中,考虑到不同型号的CT仪器获得的平扫CT图像存在差别,对肺部平扫CT图像进行归一化处理,为后续处理中排除干扰因素,保证病灶等信息被准确传达。
在一个实施例中,基于归一化处理后的肺部平扫CT图像确定肺部平扫CT图像对应的肺动静脉血管分割数据包括:将平扫CT医学图像中坐标向量方向上的像素距离归一到预设值。
具体而言,为了方便运算,在平扫CT医学图像建立坐标,一般情况为XYZ的三维坐标向量。将平扫CT医学图像中坐标向量方向上的像素距离归一到预设值,可以是将X、Y、Z方向的像素间距离归一化到1mm,也可以使将X、Y、Z方向的像素间距离归一化到5mm等。预设值根据具体应用场景设定,本申请实施例对预设值的具体数值不做限定。
示例性信息处理装置
图12所示为本申请一实施例提供的一种图像处理装置的结构示意图。如图12所示,该图像处理装置100包括分割数据确定模块101,配置为基于肺部平扫CT图像确定肺部平扫CT图像对应的病灶分割数据、肺血管分割数据、肺动静脉血管分割数据;以及强化判断信息确定模块102,配置为基于平扫CT图像、病灶分割数据、肺血管分割数据、肺动静脉血管分割数据确定肺部平扫CT图像对应的强化判断信息
本申请实施例中,分割数据确定模块101基于肺部平扫CT图像确定肺部平扫CT图像对应的病灶分割数据、肺血管分割数据、肺动静脉血管分割数据,判断信息确定模块102基于平扫CT图像、病灶分割数据、肺血管分割数据、肺动静脉血管分割数据确定判断信息,判断病灶区域的强化状态。由于无需进行增强CT检查,就能避免注射造影剂,从而避免注射造影剂的创伤及潜在风险。同时,避免增强CT检查时对患者的辐射,降低患者的看病成本。
图13所示为本申请又一实施例提供的一种图像处理装置的结构示意图。如图13所示,强化判断信息确定模块102包括特征提取单元1021:配置为基于病灶分割数据、肺部平扫CT图像、肺血管分割数据、肺动静脉血管分割数据、确定图像特征图、病灶与肺血管轮廓位置关系特征图、病灶与肺动静脉血管轮廓位置关系特征图;特征串联单元1022,配置为将图像特征图、病灶与肺血管轮廓位置关系特征图和病灶与肺动静脉血管轮廓位置关系特征图以向量形式串联为一维特征向量;以及判断单元1023,配置为将一维特征向量输入增强判别模块,以生成强化判断信息。
在一个实施例中,如图13所示,特征提取单元1021包括块数据确定子单元10211,配置为基于肺部平扫CT图像、病灶分割数据、肺血管分割数据、肺动静脉血管分割数据确定平扫CT图像块数据、病灶和肺血管轮廓位置信息块数据、病灶和肺动静脉血管轮廓位置信息块数据;平扫CT图像分析子单元10212:配置为分析平扫CT图像块数据,生成图像特征图;病灶与肺血管轮廓位置关系分析子单元10213,配置为分析据病灶和肺血管轮廓位置信息块数据,生成病灶与肺血管轮廓位置关系特征图;以及病灶和肺动静脉血管轮廓位置关系分析子单元10214,配置为分析病灶和肺动静脉血管轮廓位置信息块数据,生成病灶与肺动静脉血管轮廓位置关系特征图。
在一个实施例中,如图13所示,块数据确定子单元10211进一步包括:第一块数据确定子单元102111,配置为基于肺部平扫CT图像确定与肺部平扫CT图像的病灶区域对应的所述平扫CT图像块数据;第二块数据确定子单元102112,配置为基于病灶分割数据、肺血管分割数据、肺动静脉血管分割数据确定与肺部平扫CT图像的病灶区域对应的病灶分割块数据,肺血管分割块数据、肺动静脉血管分割块数据;第一块数据合并子单元102113,配置为合并病灶分割块数据和肺血管分割块数据,以获得病灶和肺血管轮廓位置信息块数据;第二块数据合并子单元102114,配置为合并病灶分割块数据和肺动静脉血管分割块数据,以获得病灶和肺动静脉血管轮廓位置信息块数据。
在一个实施例中,第一块数据确定子单元102111进一步配置为基于病灶区域中心的坐标,在肺部平扫CT图像截取预设尺寸的平扫CT图像块数据,第二块数据确定子单元102112进一步配置为基于病灶区域中心的坐标,在病灶分割数据、肺血管分割数据、肺动静脉血管分割数据中截取预设尺寸的平扫CT图像块数据、血管分割块数据、肺动静脉血管分割块数据。
在一个进一步实施例中,第一块数据确定子单元102111集成于第二块数据确定子单元102112。
在一个进一步实施例中,第一块数据合并子单元102113集成于第二块数据合并子单元102114。
在一个实施例中,如图13所示,该图像处理装置100还包括训练模块103,训练模块103包括:样本确定单元1031,配置为确定肺部平扫CT图像样本、肺部平扫CT图像样本对应的一维特征向量样本、以及确定肺部平扫CT图像样本对应的病灶区域的强化判断信息样本;强化判断信息生成单元1032,将一维特征向量样本输入初始增强判别模块,以生成肺部平扫CT图像样本对应的强化判断信息;调整单元1033,配置基于标记信息和肺部平扫CT图像样本对应的判断信息调整初始增强判别模块的网络参数。
在一个进一步实施例中,增强判别模块示可以利用分类器实现。
在又一个进一步实施例中,分类器可以采用SVM,Random Forest或者一个全连接层等分类器。
在一个实施例中,如图13所示,样本确定单元1031进一步配置为基于与肺部平扫CT图像样本对应的增强CT图像样本上病灶区域的强化判断信息,获取与肺部平扫CT图像样本对应的病灶区域的强化判断信息样本。
在一个实施例中,如图13所示,分割数据确定模块101包括:病灶分割数据获取单元1011,配置为将肺部平扫CT图像输入病灶分割模型,以获得病灶分割数据;肺血管分割数据获取单元1012,配置为将肺部平扫CT图像输入血管分割模型,以获得肺血管分割数据;肺动静脉血管分割数据获取单元1013,配置为将肺部平扫CT图像输入动静脉分割模型,以获得肺动静脉血管分割数据。
在一个实施例中,如图13所示,该图像处理装置100还包括预处理模块104,配置为肺部平扫CT图像进行归一化处理,其中,分割数据确定模块101进一步配置为基于归一化处理后的肺部平扫CT图像确定肺部平扫CT图像对应的病灶分割数据、肺血管分割数据、肺动静脉血管分割数据。
在一个实施例中,如图13所示,预处理模块104进一步配置为将肺部平扫CT图像中坐标向量方向上的像素距离归一到预设值。
应当理解,图11至图12提供的分割数据确定模块101、强化判断信息确定模块102、训练模块103、预处理模块104以及分割数据确定模块101中的病灶分割数据获取单元1011、肺血管分割数据获取单元1012以及肺动静脉血管分割数据获取单元1013,强化判断信息确定模块102中特征提取单元1021、特征串联单元1022以及判断单元1023,训练模块103中的样本确定单元1031、强化判断信息生成单元1032以及调整单元1033,特征提取单元1021中的块数据确定子单元10211、平扫CT图像分析子单元10212、病灶与肺血管轮廓位置关系分析子单元10213以及病灶和肺动静脉血管轮廓位置关系分析子单元10214,块数据确定子单元10211中第一块数据确定子单元102111、第二块数据确定子单元102112、第一块数据合并子单元102113以及第二块数据合并子单元102114,的操作和功能可以参考上述图3至图11提供的图像处理方法,为了避免重复,在此不再赘述。
示例性电子设备
图14所示为本申请一实施例提供的电子设备的结构示意图。如图14所示,电子设备200包括一个或多个处理器210和存储器220。
处理器210可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元,并且可以控制电子设备200中的其他组件以执行期望的功能。
存储器220可以包括一个或多个计算机程序产品,所述计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令,处理器210可以运行所述程序指令,以实现上文所述的本申请的各个实施例的图像处理方法以及/或者其他期望的功能。
在一个示例中,电子设备200还可以包括:输入装置230和输出装置240,这些组件通过总线***和/或其他形式的连接机构(未示出)互连。
例如,该输入装置230可以是上述的进行平扫CT检测的仪器。
该输出装置240可以向外部输出各种信息,病灶区域的强化状态的判断信息等等,该输出设备240可以包括例如显示器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然,为了简化,图14中仅示出了该电子设备200中与本申请有关的组件中的一些,省略了诸如总线、输入/输出接口等等的组件。除此之外,根据具体应用情况,电子设备200还可以包括任何其他适当的组件。
示例性计算机程序产品和计算机可读存储介质
除了上述方法和设备以外,本申请的实施例还可以是计算机程序产品,其包括计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例行图像处理方法”部分中描述的根据本申请各种实施例的图像处理方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码,所述程序设计语言包括面向对象的程序设计语言,诸如Java、C++等,还包括常规的步骤式程序设计语言,诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外,本申请的实施例还可以是计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“图像处理方法”部分中描述的根据本申请各种实施例的图像处理方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本申请的基本原理,但是,需要指出的是,在本申请中提及的优点、优势、效果等仅是示例而非限制,不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。
为了例示和描述的目的已经给出了以上描述。此外,此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例,但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
Claims (10)
1.一种图像处理方法,其特征在于,包括:
基于肺部平扫CT图像确定所述肺部平扫CT图像对应的病灶分割数据、肺血管分割数据、肺动静脉血管分割数据;以及
基于所述平扫CT图像、所述病灶分割数据、所述肺血管分割数据、所述肺动静脉血管分割数据确定所述肺部平扫CT图像对应的强化判断信息;
其中,所述基于所述平扫CT图像、所述病灶分割数据、所述肺血管分割数据、所述肺动静脉血管分割数据确定所述肺部平扫CT图像对应的强化判断信息,包括:
基于所述肺部平扫CT图像、所述病灶分割数据、所述肺血管分割数据、所述肺动静脉血管分割数据确定图像特征图、病灶与肺血管轮廓位置关系特征图、病灶与肺动静脉血管轮廓位置关系特征图;
将所述图像特征图、所述病灶与肺血管轮廓位置关系特征图和所述病灶与肺动静脉血管轮廓位置关系特征图以向量形式串联为一维特征向量;
将所述一维特征向量输入增强判别模块,以生成所述强化判断信息;
其中,所述基于所述肺部平扫CT图像、所述病灶分割数据、所述肺血管分割数据、所述肺动静脉血管分割数据确定图像特征图、病灶与肺血管轮廓位置关系特征图、病灶和肺动静脉血管轮廓位置关系特征图,包括:
基于所述肺部平扫CT图像、所述病灶分割数据、所述肺血管分割数据、所述肺动静脉血管分割数据确定平扫CT图像块数据、病灶和肺血管轮廓位置信息块数据、病灶和肺动静脉血管轮廓位置信息块数据;
将所述平扫CT图像块数据输入平扫CT图像分析模块,以生成所述图像特征图;
将所述病灶和肺血管轮廓位置信息块数据输入病灶与肺血管轮廓位置关系分析模块,以生成所述病灶与肺血管轮廓位置关系特征图;以及
将所述病灶和肺动静脉血管轮廓位置信息块数据输入病灶和肺动静脉血管轮廓位置关系分析模块,以生成所述病灶与肺动静脉血管轮廓位置关系特征图;
其中,在所述将所述一维特征向量输入增强判别模块之前,还包括:
确定肺部平扫CT图像样本、所述肺部平扫CT图像样本对应的一维特征向量样本、以及确定所述肺部平扫CT图像样本对应的病灶区域的强化判断信息样本;
将所述一维特征向量样本输入初始增强判别模块,以生成所述肺部平扫CT图像样本对应的强化判断信息;以及
基于所述肺部平扫CT图像样本对应的病灶区域的强化判断信息样本和所述肺部平扫CT图像样本对应的强化判断信息调整所述初始增强判别模块的网络参数。
2.根据权利要求1所述的图像处理方法,其特征在于,所述基于所述肺部平扫CT图像、所述病灶分割数据、所述肺血管分割数据、所述肺动静脉血管分割数据确定平扫CT图像块数据、病灶和肺血管轮廓位置信息块数据、病灶和肺动静脉血管轮廓位置信息块数据,包括:
基于所述肺部平扫CT图像确定与所述肺部平扫CT图像的病灶区域对应的所述平扫CT图像块数据;
基于所述病灶分割数据、所述肺血管分割数据、所述肺动静脉血管分割数据确定与所述肺部平扫CT图像的病灶区域对应的病灶分割块数据、肺血管分割块数据、肺动静脉血管分割块数据;
合并所述病灶分割块数据和所述肺血管分割块数据,以获得所述病灶和肺血管轮廓位置信息块数据;以及
合并所述病灶分割块数据和所述肺动静脉血管分割块数据,以获得所述病灶和肺动静脉血管轮廓位置信息块数据。
3.根据权利要求2所述的图像处理方法,其特征在于,所述基于所述肺部平扫CT图像确定与所述肺部平扫CT图像的病灶区域对应的所述平扫CT图像块数据,包括:
基于病灶区域中心的坐标,在所述肺部平扫CT图像截取预设尺寸的平扫CT图像块数据;
其中,所述基于所述病灶分割数据、所述肺血管分割数据、所述肺动静脉血管分割数据确定与所述肺部平扫CT图像的病灶区域对应的病灶分割块数据,肺血管分割块数据、肺动静脉血管分割块数据,包括:
基于所述病灶区域中心的坐标,在所述病灶分割数据、所述肺血管分割数据、所述肺动静脉血管分割数据中截取预设尺寸的平扫CT图像块数据、血管分割块数据、肺动静脉血管分割块数据。
4.根据权利要求1所述的图像处理方法,其特征在于,所述确定肺部平扫CT图像样本对应的病灶区域的强化判断信息样本,包括:
基于与所述肺部平扫CT图像样本对应的增强CT图像样本的病灶区域的强化判断信息,确定所述肺部平扫CT图像样本对应的病灶区域的强化判断信息样本。
5.根据权利要求1至4任一项所述的图像处理方法,其特征在于,所述基于肺部平扫CT图像确定所述肺部平扫CT图像对应的病灶分割数据、肺血管分割数据、肺动静脉血管分割数据,包括:
将所述肺部平扫CT图像输入病灶分割模型,以获得所述病灶分割数据;
将所述肺部平扫CT图像输入血管分割模型,以获得所述肺血管分割数据;以及
将所述肺部平扫CT图像输入动静脉分割模型,以获得所述肺动静脉血管分割数据。
6.根据权利要求1至4任一项所述的图像处理方法,其特征在于,在所述基于肺部平扫CT图像确定所述肺部平扫CT图像对应的病灶分割数据、肺血管分割数据、肺动静脉血管分割数据之前,还包括:
对所述肺部平扫CT图像进行归一化处理;
其中,基于肺部平扫CT图像分别确定所述肺部平扫CT图像对应的病灶分割数据、肺血管分割数据、肺动静脉血管分割数据,包括:
基于所述归一化处理后的肺部平扫CT图像确定所述肺部平扫CT图像对应的病灶分割数据、肺血管分割数据、肺动静脉血管分割数据。
7.根据权利要求6所述的图像处理方法,其特征在于,所述对所述肺部平扫CT图像进行归一化处理,包括:
将所述肺部平扫CT医学图像中坐标向量方向上的像素距离归一到预设值。
8.一种图像处理装置,其特征在于,包括:
分割数据确定模块,配置为基于肺部平扫CT图像确定所述肺部平扫CT图像对应的病灶分割数据、肺血管分割数据、肺动静脉血管分割数据;以及
强化判断信息确定模块,配置为基于所述平扫CT图像、所述病灶分割数据、所述肺血管分割数据、所述肺动静脉血管分割数据确定所述肺部平扫CT图像对应的强化判断信息;
其中,强化判断信息确定模块包括:
特征提取单元,配置为基于所述肺部平扫CT图像、所述病灶分割数据、所述肺血管分割数据、所述肺动静脉血管分割数据确定图像特征图、病灶与肺血管轮廓位置关系特征图、病灶与肺动静脉血管轮廓位置关系特征图;
特征串联单元,配置为将所述图像特征图、所述病灶与肺血管轮廓位置关系特征图和所述病灶与肺动静脉血管轮廓位置关系特征图以向量形式串联为一维特征向量;
判断单元,配置为将所述一维特征向量输入增强判别模块,以生成所述强化判断信息;
其中,特征提取单元进一步包括:
块数据确定子单元,配置为基于所述肺部平扫CT图像、所述病灶分割数据、所述肺血管分割数据、所述肺动静脉血管分割数据确定平扫CT图像块数据、病灶和肺血管轮廓位置信息块数据、病灶和肺动静脉血管轮廓位置信息块数据;
平扫CT图像分析子单元,配置为将所述平扫CT图像块数据输入平扫CT图像分析模块,以生成所述图像特征图;
病灶与肺血管轮廓位置关系分析子单元,配置为将所述病灶和肺血管轮廓位置信息块数据输入病灶与肺血管轮廓位置关系分析模块,以生成所述病灶与肺血管轮廓位置关系特征图;
病灶和肺动静脉血管轮廓位置关系分析子单元,配置为将所述病灶和肺动静脉血管轮廓位置信息块数据输入病灶和肺动静脉血管轮廓位置关系分析模块,以生成所述病灶与肺动静脉血管轮廓位置关系特征图;
其中,所述图像处理装置还包括训练模块,所述训练模块进一步包括:
样本确定单元,配置为确定肺部平扫CT图像样本、所述肺部平扫CT图像样本对应的一维特征向量样本、以及确定所述肺部平扫CT图像样本对应的病灶区域的强化判断信息样本;
强化判断信息生成单元,配置为将所述一维特征向量样本输入初始增强判别模块,以生成所述肺部平扫CT图像样本对应的强化判断信息;
调整单元,配置为基于所述肺部平扫CT图像样本对应的病灶区域的强化判断信息样本和所述肺部平扫CT图像样本对应的强化判断信息调整所述初始增强判别模块的网络参数。
9.一种电子设备,包括:
处理器;以及
存储器,在所述存储器中存储有计算机程序指令,所述计算机程序指令在被所述处理器运行时使得所述处理器执行如权利要求1至7任一项所述的图像处理方法。
10.一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行如权利要求1至7任一项所述的图像处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110246915.0A CN113012118B (zh) | 2021-03-05 | 2021-03-05 | 图像处理方法以及图像处理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110246915.0A CN113012118B (zh) | 2021-03-05 | 2021-03-05 | 图像处理方法以及图像处理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113012118A CN113012118A (zh) | 2021-06-22 |
CN113012118B true CN113012118B (zh) | 2022-04-19 |
Family
ID=76407311
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110246915.0A Active CN113012118B (zh) | 2021-03-05 | 2021-03-05 | 图像处理方法以及图像处理装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113012118B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113344897B (zh) * | 2021-06-24 | 2022-01-11 | 推想医疗科技股份有限公司 | 肺部图像的管径测量方法及装置、图像处理方法及装置 |
CN113888532A (zh) * | 2021-11-09 | 2022-01-04 | 推想医疗科技股份有限公司 | 一种基于平扫ct数据的医学图像分析方法及装置 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10232063B2 (en) * | 2014-07-09 | 2019-03-19 | Sirtex Medical Limited | Method for treating lung carcinoma |
CN105096270B (zh) * | 2015-08-07 | 2018-04-06 | 北京欣方悦医疗科技有限公司 | 一种冠脉三维重建中的钙化斑块去除方法 |
CN110934606B (zh) * | 2019-10-31 | 2021-02-12 | 上海杏脉信息科技有限公司 | 脑卒中早期平扫ct图像评估***及评估方法、可读存储介质 |
CN111062997B (zh) * | 2019-12-09 | 2023-09-12 | 上海联影医疗科技股份有限公司 | 一种血管造影成像方法、***、设备和存储介质 |
CN111260671A (zh) * | 2020-05-07 | 2020-06-09 | 北京精诊医疗科技有限公司 | 一种ct影像肺部分叶方法及*** |
CN112052896B (zh) * | 2020-09-03 | 2021-11-09 | 推想医疗科技股份有限公司 | 图像处理方法及装置,分类模型的训练方法及装置 |
-
2021
- 2021-03-05 CN CN202110246915.0A patent/CN113012118B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN113012118A (zh) | 2021-06-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112001925B (zh) | 图像的分割方法、放射治疗***、计算机设备和存储介质 | |
CN111008984B (zh) | 医学影像中正常器官的轮廓线自动勾画方法 | |
CN105051784B (zh) | 对模拟准确度和性能的图像质量评估 | |
US20200226752A1 (en) | Apparatus and method for processing medical image | |
CN108348206B (zh) | 用于无创血流储备分数(ffr)的侧支流建模 | |
US11373301B2 (en) | Image diagnostic device, image processing method, and program for obtaining diagnostic prediction models using deep learning | |
US20060242146A1 (en) | Methods and systems for monitoring tumor burden | |
Gillies et al. | Deep learning segmentation of general interventional tools in two‐dimensional ultrasound images | |
CN110458837B (zh) | 一种图像后处理方法、装置、电子设备及存储介质 | |
CN113012118B (zh) | 图像处理方法以及图像处理装置 | |
US10335105B2 (en) | Method and system for synthesizing virtual high dose or high kV computed tomography images from low dose or low kV computed tomography images | |
KR20130023735A (ko) | 장기 모델 영상 생성 방법 및 장치 | |
CN112419484B (zh) | 三维血管合成方法、***及冠状动脉分析***和存储介质 | |
KR20220155828A (ko) | 의료 영상 분석 장치 및 방법, 의료 영상 시각화 장치 및 방법 | |
CN112561908A (zh) | 乳腺图像病灶匹配方法、装置及存储介质 | |
US10762632B2 (en) | Analysis of skeletal trauma using deep learning | |
CN114359205A (zh) | 头颈血管分析方法、装置、存储介质及电子设备 | |
CN115311191A (zh) | 使用深度学习估计的扫描方案遮罩来生成三维解剖结构扫描的重新格式化视图 | |
KR102469907B1 (ko) | 복수의 폐질환을 스크리닝하기 위한 의료 영상 재구성 장치 및 방법 | |
CN112137693B (zh) | 四维超声引导穿刺的成像方法及装置 | |
CN115115657A (zh) | 病灶分割方法及装置、电子设备及存储介质 | |
KR102136107B1 (ko) | 뼈 감쇄된 x-선 영상의 정합 장치 및 방법 | |
CN113658172B (zh) | 图像处理方法及装置、计算机可读存储介质及电子设备 | |
US20230326580A1 (en) | Information processing apparatus, information processing method, and information processing program | |
EP4343695A1 (en) | Information processing apparatus, information processing method, and information processing program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |