CN107945168B - 一种医学图像的处理方法及医学图像处理*** - Google Patents

一种医学图像的处理方法及医学图像处理*** Download PDF

Info

Publication number
CN107945168B
CN107945168B CN201711240745.5A CN201711240745A CN107945168B CN 107945168 B CN107945168 B CN 107945168B CN 201711240745 A CN201711240745 A CN 201711240745A CN 107945168 B CN107945168 B CN 107945168B
Authority
CN
China
Prior art keywords
medical image
image
medical
pixel points
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711240745.5A
Other languages
English (en)
Other versions
CN107945168A (zh
Inventor
王季勇
***
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai United Imaging Healthcare Co Ltd
Original Assignee
Shanghai United Imaging Healthcare Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai United Imaging Healthcare Co Ltd filed Critical Shanghai United Imaging Healthcare Co Ltd
Priority to CN201711240745.5A priority Critical patent/CN107945168B/zh
Publication of CN107945168A publication Critical patent/CN107945168A/zh
Application granted granted Critical
Publication of CN107945168B publication Critical patent/CN107945168B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G06T2207/10124—Digitally reconstructed radiograph [DRR]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明实施例公开了一种医学图像的处理方法及医学图像处理***。该方法包括：获取同一检测区域的多幅医学图像；将多幅医学图像分别输入到人工智能网络产生多个概率分布图，其中，所述概率分布图用于判定所述医学图像的像素点属于目标像素点的概率；将所述多个概率分布图进行融合形成组合概率图；根据所述组合概率图在至少一幅所述医学图像中确定目标像素点的集合。本发明实施例提高了目标像素点的检测速率和准确率。

Description

一种医学图像的处理方法及医学图像处理***
技术领域
本发明实施例涉及图像处理技术，尤其涉及一种医学图像的处理方法及医学图像处理***。
背景技术
在进行医学图像检测时，检测结果通常存在两种情况，一种是真实的目标区域，即实际病变的机***置；一种是假阳性，即实际未出现病变但是检测结果为病变的机***置。因而，在进行医学图像检测时，筛选出假阳性对于正确检测到病灶的位置至关重要。
现有的对病灶检测的方法，首先采用滑动窗口进行初检，然后采用卷积神经网络进行去假阳性操作。由于病灶和假阳性在图像中所占的像素比例很小，采用滑动窗口进行初检的方式在窗口的尺寸太大时，存在漏检或误检的问题，在窗口的尺寸太小时，存在检测速率太慢的问题。最终导致病灶检测的准确率低以及速率慢。
发明内容
本发明实施例提供一种医学图像的处理方法及医学图像处理***，解决现有的病灶检测方法的准确率低以及速率慢的问题。
第一方面，本发明实施例提供了一种医学图像的处理方法，该方法包括：
获取同一检测区域的多幅医学图像；
将多幅医学图像分别输入到人工智能网络产生多个概率分布图，其中，所述概率分布图用于判定所述医学图像的像素点属于目标像素点的概率；
将所述多个概率分布图进行融合形成组合概率图；
根据所述组合概率图在至少一幅所述医学图像中确定目标像素点的集合。
进一步地，所述将所述多个概率分布图进行融合形成组合概率图，包括：
将所述多个概率分布图进行对齐操作，得到组合概率图，所述组合概率图中每一点表示像素点为目标像素点的概率。
进一步地，根据所述组合概率图在至少一幅所述医学图像中确定目标像素点的集合包括：
根据预设阈值对所述组合概率图进行二值化处理，获取二值图；
确定所述二值图中的独立连通域，所述医学图像中与所述独立连通域对应的像素点的集合为目标像素点的集合。
进一步地，所述多幅医学图像包括原始医学图像和所述原始医学图像的增强图像，且所述原始医学图像和所述增强图像包含灰度值不同的像素点；或者，所述多幅医学图像包括数个片层图像，且各个片层图像包含灰度值不同的像素点。
进一步地，所述目标像素点的集合为目标对象，所述目标对象对应肺部点状区域或肋骨断裂区域。
第二方面，本发明实施例还提供了一种医学图像的处理方法，该方法包括：获取同一检测区域的第一医学图像和第二医学图像，所述第一医学图像和所述第二医学图像分别包含多个像素点，且第一医学图像与第二医学图像包含灰度值不同的像素点；
利用人工智能网络对所述第一医学图像进行处理，获取第一分类结果；
利用人工智能网络对所述第二医学图像进行处理，获取第二分类结果；
联合所述第一分类结果和第二分类结果在所述第一医学图像或第二医学图像中确定目标像素点的集合。
进一步地，所述第一分类结果为所述第一医学图像的每个像素点属于目标像素点的概率值，所述第二分类结果为所述第二医学图像的每个像素点属于目标像素点的概率值。
或者，所述第一分类结果为所述第一医学图像中属于目标像素点的像素点集合的外接轮廓，所述第二分类结果为所述第二医学图像中属于目标像素点的像素点集合的外接轮廓。
第三方面，本发明实施例还提供了一种医学图像处理***，该***包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如下步骤：
获取相同检测区域的第一医学图像和第二医学图像，第一医学图像和第二医学图像分别包含多个像素点，且第一医学图像与第二医学图像含灰度值不同的像素点；
利用人工智能网络对所述第一医学图像、第二医学图像进行处理，获取第一分类结果和第二分类结果；
联合所述第一分类结果和第二分类结果在所述第一医学图像或第二医学图像中确定目标对象。
进一步地，该***还包括：显示器，所述显示器用于将所述目标对象在所述第一医学图像或第二医学图像上标识显示。
其中，所述第一医学图像和第二医学图像为CT图像或DR图像，所述目标对象为所述肺部的点状区域或肋骨的非连续区域。
本发明实施例通过多幅医学图像分别输入到人工智能网络，由于人工智能网络处理数据的速度快的特性，提高了目标像素点的集合的检测速率，并且根据概率分布图确定目标像素点可以保证目标像素点的检测准确率，将概率分布图进行融合，根据融合形成的组合概率图确定目标像素点的集合进一步提高了目标像素点的集合的检测准确率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例一提供的一种医学图像的处理方法的流程图；
图2是本发明实施例一提供的V-net的网络结构示意图；
图3是本发明实施例二提供的一种医学图像的处理方法的流程图；
图4a是本发明实施例三提供的一种医学图像的处理方法的流程图；
图4b是本发明实施例三采用如图4a所示的方法获取的图像检测结果；
图5为本发明实施例四提供的一种医学图像处理方法流程图示意图；
图6是本发明实施例四提供的RPN中使用的VGG网络结构示意图；
图7为本发明实施例五提供的一种医学图像处理***的结构框图；
图8为本发明实施例五提供的显示器界面示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，以下将参照本发明实施例中的附图，通过实施方式清楚、完整地描述本发明的技术方案，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
图1是本发明实施例一提供的一种医学图像的处理方法的流程图。本实施例的技术方案可以适用于对目标像素点进行检测的情况，目标像素点例如可以是病灶区域中的像素，也可以是任何感兴趣区域的像素点。该方法具体包括如下操作：
S110、获取同一检测区域的多幅医学图像。可选地，各幅医学图像可包含灰度值不同的像素点。
医学图像可以是肺部图像，通过医学图像的检测方法，可从医学图像中检测得到肺部结节区域、肺气肿发生的区域或者肋骨骨折区域。医学图像可以是一维(1D)数据，二维(2D)图像或三维(3D)图像，例如，1D数据可以是心电图仪(electrocardiography)采集获取的心电图；2D图像可以是数字化X射线摄影(digital radiography，DR)设备采集的X射线图像；3D图像可以是磁共振成像(magnetic resonance imaging，MRI)设备采集的MR图像、计算机断层扫描(computed tomography，CT)设备采集的CT图像、正电子发射型计算机断层成像(positron emission computed tomography，PET)设备采集的PET图像、超声(ultrasonic，US)设备采集的超声图像、荧光光谱(fluorescence)设备采集的荧光图像中的一种或多种的组合。医学图像可以对应受检者的肺部区域、乳腺区域、结肠区域、头部区域等。可选地，医学图像还可进行图像强度、图像对比度、图像格式、图像切片间距等归一化处理操作。可选地，医学图像的格式可以是DICOM格式、二进制格式或者NIFTI格式。
在一个实施例中，多幅医学图像可以是原始图像和原始图像的增强图像，也可以是多片层图像(2D图像)，还可以是同一目标区域的不同对比度的图像，例如对应目标区域为肺部的对比度分别为高、中和低的三幅肺部图像。在此实施例中，其中一幅图像为原始图像(对应人工智能网络的一个输入通道)，另一幅图像为原始图像的增强图像(对应人工智能网络的另一个输入通道)，增强图像的部分区域进行增强处理，与原始图像的对应体素具有不同的灰度值，从而原始图像和增强图像获得不同的对比度。原始图像的增强方法可参考：Li Q,Sone S.Selective enhancement filters for nodules,vessels,and airwaywalls in two‐and three‐dimensional CT scans[J].Medical physics,2003,30(8):2040-2051。
S120、将多幅医学图像分别输入到人工智能网络产生多个概率分布图，其中，所述人工智能网络是预先依据医学图像样本和对应的目标像素点训练得到的，所述概率分布图为所述医学图像中的像素点属于目标像素点或目标像素点的集合的概率，且每幅医学图像对应一个概率分布图。
其中，所述人工智能网络可设置为端到端网络，该端到端网络包括：区域建议网络、全卷积神经网络、U-net或V-net等。
图2为本发明实施例中V-net的网络结构示意图，上述网络的左边部分用于提取图像特征，右边部分将提取得到的特征组合并扩展成原始图像尺寸的概率图，具体可参考Milletari F,Navab N,Ahmadi S A.V-net:Fully convolutional neural networks forvolumetric medical image segmentation[C]//3D Vision(3DV),2016 FourthInternational Conference on.IEEE,2016:565-571。该V-net保留了U-net的卷积过程中的中间结果加到转置卷积运算中这一特点，并使用了Dice函数作为目标函数，并且使用了残差网络(residual net)的跳层。Dice函数可以计算两个物体的相似度：
Figure BDA0001489761450000071
其中，pi属于预测物体的体素；gi为实际物体的体素；1≤i≤N，N为体素个数，且N为大于1的整数。
在此实施例中，端到端网络是预先依据大量医学图像样本和对应的目标像素点或目标对象训练得到的，端到端网络指的是输入为原始数据，输出可以是一通道或者多通道，输出是最后的结果，无需提取特征，自主学习特征，方便快捷。端到端网络产生的概率分布图可以反映每一个像素是目标像素点的概率或者每一个像素属于非目标像素点的概率。例如，对于CT肺部图像，通过对整幅图像的所有像素的概率分析，可以确定肺部图像中的节点，该节点可以是肺部结节区域。又例如，可以根据所有的概率值设定阈值进行分割，对阈值分割之后的结果提取/确定孤立区域，每个孤立区域即为目标像素点组成的集合。进一步地，根据孤立区域的形态可确定肺气肿区域、肋骨中的非连续点(断点)或者发生气胸的区域，从而确定目标对象。
S130、将所述人工智能网络产生的多个概率分布图进行融合形成组合概率图。
所述将多个概率分布图进行融合形成组合概率图，包括：
将两个或多个概率图进行堆叠或者对齐操作，得到组合概率图，所述组合概率图中每一点表示像素点为目标像素点的概率。
其中，堆叠或者对齐操作可以是在相同位置的概率分布图中选取概率满足预设规则的概率，例如选取概率值最小的概率值，其中概率值表征像素属于目标像素点的概率，由此可以提高目标像素点的确定精度。
S140、根据所述组合概率图在所述至少一幅所述医学图像中确定目标像素点的集合。可选地，目标像素点的集合为目标对象，该目标对象对应肺部点状区域或肋骨断裂区域。
进一步地，还可对目标对象进行渲染或量化等后处理操作。在此实施例中，可对医学图像或者目标对象进行3D VR渲染操作，并对该操作之后的目标区域进行量化处理，该量化处理可包括监测目标对象的长轴长度和短轴长度等。
本发明实施例通过将多幅医学图像分别输入到人工智能网络，由于人工智能网络处理数据的速度快的特性，提高了目标像素点的集合的检测速率，并且根据概率分布图确定目标像素点可以保证目标像素点的检测准确率，将概率分布图进行融合，根据融合形成的组合概率图确定目标像素点的集合进一步提高了目标像素点的集合的检测准确率。
实施例二
图3是本发明实施例二提供的一种医学图像的处理方法的流程图。本实施例的技术方案在上述任意实施例的基础上，进一步优化了根据所述组合概率图在至少一幅所述医学图像中确定目标像素点的操作。相应地，本实施例的方法包括：
S310、获取多幅医学图像，所述多幅医学图像对应同一目标区域，且各幅医学图像包含灰度值不同的像素点。在此实施例中，多幅医学图像的其中一幅可以是原始图像，其余的医学图像为原始图像经过图像增强处理获得。进一步地，对医学图像的增强仅局部增强，且增强后的各幅医学图像具有不同的对比度。
S320、将多幅医学图像分别输入到人工智能网络产生多个概率分布图，其中，所述人工智能网络是预先依据医学图像样本和对应的目标像素点(或目标像素点的概率分布)生成的，所述概率分布为所述医学图像中的像素点属于目标像素点的概率。在此实施例中，人工智能网络选择端到端网络。
S330、将所述多个概率分布图进行融合形成组合概率图。
示例性地，每一个概率分布图对应一个矩阵，若人工智能网络第一输入通道的医学图像经过端到端网络产生的概率图对应的矩阵为A，人工智能网络第二输入通道的医学图像经过端到端网络产生的概率图对应的矩阵为B，则第一输入通道和第二输入通道的组合概率图为[A，B]。
S340、根据预设阈值对所述组合概率图进行二值化处理，获取二值图。
预设阈值可以根据组合概率图中的概率值统计得到。根据预设阈值对组合概率图进行二值化处理可以是将大于预设阈值的像素值设为1，将小于预设阈值的像素值设为0，由此实现二值化，得到对应的二值图。
S350、确定所述二值图中的独立连通域，所述医学图像中与所述独立连通域对应的像素点集合为目标像素点的集合，进而确定目标对象。
二值图中的独立连通域即像素值均大于预设阈值或均小于预设阈值的像素值，并且周围像素与独立连通区域中像素的像素值的特性相反。
优选地，所述根据所述二值图中的独立连通域的位置，确定医学图像中与独立连通域对应的像素点集合为目标像素点的集合，包括：将所述独立连通域在二值图中的位置映射为所述独立连通域在所述医学图像中的位置；将映射后的独立连通域在所述医学图像中的位置作为目标像素点集合(目标对象)的位置，从而确定目标像素点的集合。独立连通域在二值图中的位置与独立连通区域在医学图像中的位置相同。独立连通区域在医学图像中的位置即目标像素点的集合的位置，可以是病灶位置，根据该位置可以进一步得到病灶图像，便于对病灶的全面分析。
本实施例通过设定预设阈值对组合概率图进行二值化处理，提取独立连通域的位置作为目标像素点的集合的位置，实现了目标对象的检测；原始图像包含较多的二维信息，增强后的图像包含较多的三维信息，两种检测结果的融合提高了检测速率，目标对象的位置更加准确。
实施例三
图4a是本发明实施例三提供的一种医学图像的处理方法的流程图。本实施例的技术方案在上述任意实施例的基础上，进一步限定了所述多幅医学图像为2D图像或者片层图像，人工智能网络选定为端到端网络，并优化了所述将多幅医学图像输入端到端网络的操作。相应地，本实施例的方法包括：
S410、获取多幅医学图像，所述多幅医学图像对应同一目标区域，且每幅医学图像包含多个片层图像，且各个片层图像包含灰度值不同的像素点。
其中，所述多幅医学图像可以包括原始医学图像和所述原始医学图像的增强图像。
相应地，该方法还包括：
对原始医学图像进行高斯滤波，并对滤波之后的结果图进行求导处理；根据所述求导处理之后得到的矩阵，得到海森矩阵；根据所述海森矩阵的特征值，确定所述原始医学图像的增强图像。
示例性地，首先对原始图像进行sigma＝1.5的高斯滤波，然后求取滤波之后的图像的二阶导数，将不同的导数构建成海森矩阵[xx，xy，xz；yx，yy，yz；zx，zy，zz]，求海森矩阵的特征值，并将三个特征值根据其绝对值的大小，从大到小排序，遍历整个图像得到三个增强图像值。将原图与一个或者三个通道的增强图像进行合并，构建为多幅图像。将此多通道图像推入端到端网络训练。训练之后进行测试，测试的形式是每一次输入会得到一个概率图，多通道的概率图可以拼接得到拼接概率图，用预设阈值进行二值化之后提取独立连通域即为候选病灶。
S420、对于多幅图像中的每幅医学图像，将所述医学图像当前层的上一层图像、下一层图像以及当前层图像，输入到端到端网络同一输入通道中，产生多个概率分布图；其中，所述医学图像当前层设置为中间层，每个通道的医学图像对应当前层的概率分布图，概率图中的每一点表征该像素点属于目标像素点的概率。
将多片层图像输入到端到端网络中，可以充分利用层与层之间的结构信息，以实现获得的概率图更加准确。
在将所述医学图像当前层的上一层图像、下一层图像以及当前层图像，输入到端到端网络同一通道中之后，还可以包括：选择所述医学图像当前层的输出概率图作为端到端网络产生的概率图。进一步根据端到端网络产生的概率图可以确定目标像素点。
S430、将所述多个概率分布图进行融合形成组合概率图。
将多个概率分布图根据医学图像的片层关系，融合或堆叠为与医学图像的片层具有相同位置关系的组合概率图。
S440、根据所述组合概率图在至少一幅所述医学图像中确定目标像素点的集合。
示例性地，可以设定概率阈值和像素个数阈值，在组合概率图中的确定概率大于预设阈值且像素个数大于像素个数阈值的区域的像素为目标像素点。
如图4b是本发明实施例三采用如图4a所示的方法获取的图像检测结果。该图像具体为DR骨骼图像，通过上述操作可在DR骨骼图像上自动定位骨骼非连续点(图中标识位置)。
本实施例通过将片层图像输入端到端网络中，丰富了端到端网络的输入，根据端到端网络输出的概率图得到组合概率图，获取到了精确表征像素点属于目标像素点的组合概率图，进而根据组合概率图确定目标像素点可以提高目标像素点确定的准确度。
实施例四
图5是本发明实施例四提供的一种医学图像的处理方法的流程图。本实施例的技术方案可以适用于对目标对象进行检测的情况，目标对象例如可以是目标像素点的集合，病灶区域，也可以是任何感兴趣区域。以目标像素点的集合为检测对象为例，该方法具体包括如下操作：
S510、获取同一检测区域的第一医学图像和第二医学图像，第一医学图像和第二医学图像分别包含多个像素点，且第一医学图像与第二医学图像包含灰度值不同的像素点。
S520、利用人工智能网络对第一医学图像进行处理，获取第一分类结果。
S530、利用人工智能网络对第二医学图像进行处理，获取第二分类结果。
S540、联合第一分类结果和第二分类结果在第一医学图像或第二医学图像中确定目标像素点的集合。
可选地，第一分类结果可以为第一医学图像的每个像素点属于目标像素点的概率值(第一概率分布图)，第二分类结果可以为所述第二医学图像的每个像素点属于目标像素点的概率值(第二概率分布图)。相应地，联合第一分类结果和第二分类结果在第一医学图像或第二医学图像中确定目标像素点的集合，可包括：
将第一概率分布图和第二概率分布图进行融合或堆叠，形成组合概率图；对组合概率图进行二值化处理；从处理后的二值图中确定独立连通域，该独立连通域包围的像素点为目标像素点。
可选地，第一分类结果为第一医学图像中属于目标像素点的集合的外接轮廓(第一外接轮廓)，第二分类结果为第二医学图像中属于目标像素的集合的外接轮廓(第二外接轮廓)。本实施例中的外接轮廓可指目标像素点集合的外接矩形，第一外接轮廓对应的外接矩形和第二外接轮廓对应的外接矩形融合或堆叠可形成体积轮廓；进一步地，对该体积轮廓进行二值化处理，得到二值图；接着从处理后的二值图中确定独立连通域，该独立连通域包围的像素点为目标像素点。
步骤S520和S530中的人工智能网络选择区域建议网络(RPN，Region ProposalNetwork)，该网络是一通道或多通道1D数据、2D或者3D图像经过卷积后得到特征图，在特征图上每个点对应原图一块区域，使用一个或多个小的外接矩形或外接多面体对应到原始图像，然后使用分类层判断外接矩形或外接球体内部是否包含目标的概率，使用回归层确定候选区域的位置。
图6为本发明实施例中RPN中使用的VGG网络结构示意图。该网络依次包括：两个卷积层、池化层、两个卷积层、池化层、三个卷积层、池化层、三个卷积层、代价层。经过上述网络可得到输出结果。可选地，输出结果可包括目标像素点的概率和外接矩形。上述网络的具体结构也可参考：Ren S,He K,Girshick R,et al.Faster R-CNN:Towards real-timeobject detection with region proposal networks[C]//Advances in neuralinformation processing systems.2015:91-99。
本发明实施例通过人工智能网络对两幅医学图像的处理结果，确定目标对象，提高了目标对象的检测速率和检测准确率。
实施例五
图7为本发明实施例五提供的一种医学图像处理***的结构示意图，如图7所示，该设备包括处理器70、存储器71、输入装置72和输出装置73；设备中处理器70的数量可以是一个或多个，图7中以一个处理器70为例；设备中的处理器70、存储器71、输入装置72和输出装置73可以通过总线或其他方式连接，图7中以通过总线连接为例。
存储器71作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的医学图像的处理方法对应的程序指令/模块。处理器70通过运行存储在存储器71中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，具体步骤如下：
首先，获取同一检测区域的第一医学图像和第二医学图像，第一医学图像和第二医学图像分别包含多个像素点，且第一医学图像与第二医学图像包含灰度值不同的像素点。
检测区域例如可以是肺部区域、乳腺区域、结肠区域、头部区域等。
接着，利用人工智能网络对第一医学图像、第二医学图像进行处理，获取第一分类结果和第二分类结果。人工智能网络例如可以是各种卷积神经网络，例如端到端网络，端到端网络又包括：区域建议网络、FCN、U-net或V-net。
可选地，第一分类结果为所述第一医学图像的每个像素点属于目标像素点的概率值，第二分类结果为所述第二医学图像的每个像素点属于目标像素点的概率值。在一个实施例中，将利用人工智能网络对所述第一医学图像、第二医学图像进行处理，获取第一概率分布图和第二概率分布图，所述第一概率分布图的每一点表示所述第一医学图像的像素点属于目标像素点的概率值，所述第二概率分布图的每一点表示所述第二医学图像的像素点属于目标像素点的概率值。在一个实施例中，所述第一分类结果为所述第一医学图像中属于目标像素点的像素点集合的外接轮廓/外接矩形，所述第二分类结果为所述第二医学图像中属于目标像素的像素点集合的外接轮廓/外接矩形。
最后，联合第一分类结果和第二分类结果在第一医学图像或第二医学图像中确定目标对象，该目标对象为目标像素点的集合。
可选地，当分类结果为分类概率图，将所述第一概率分布图和第二概率分布图堆叠形成组合概率图。进一步地，根据所述组合概率图在所述第一医学图像或第二医学图像中确定目标对象。可选地，当分类结果为外接矩形，令第一医学图像中属于目标对象的像素点集合的外接矩形为第一外接矩形，令第二医学图像中属于目标对象的像素点集合的外接矩形为第二外接矩形，将第一外接矩形和第二外接矩形堆叠可获得体积外接矩形，根据体积外接矩形在第一医学图像或第二医学图像中可确定目标对象。
其中，所述目标对象为所述肺部区域的点状区域或肋骨区域的端点区域。
存储器71可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器71可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器71可进一步包括相对于处理器70远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置72可用于接收输入的数字或字符信息，以及产生与设备/终端/服务器的用户设置以及功能控制有关的键信号输入。
输出装置73可包括显示器等显示设备，该显示器可将目标对象在第一医学图像或第二医学图像上标识显示。如图8为本发明实施例的显示器界面示意图。如图所示，显示的显示界面中包括图像显示一区801、图像显示二区802、3D VR局部重建区域803、病灶量化区域804、体渲染区域805、序列选择区域806、功能选择区域807、工具选择区域808。其中，图像显示一区801或图像显示二区802可显示医学图像，两区域的左下角区域设置有层厚选择条，左右调整该层厚选择条可调整显示图像的层厚，以更清晰显示血管或者医学图像中的其他组织结构。如图中所示，通过序列选择区域806可在后处理工作站调用相应的医学图像。图像显示一区801中医学图像的层厚为5mm，而图像显示二区802中医学图像的层厚为1mm，血管在图像显示一区801中的显示更明显。当然，在图像显示一区801还设置有标识，用于指示检测的病灶位置。
功能选择区域807可包括病灶定位按钮、渲染操作按钮和量化按钮等，工具选择区域808可包括放大、缩小、旋转等按钮。3D VR局部重建区域803和体渲染区域805都可显示渲染操作后的对象。如图所述，3D VR局部重建区域803显示为检测病灶的3D渲染结果，而体渲染区域805显示的是医学图像经过肺分割后的3D渲染结果。病灶量化区域804可对检测的目标像素进行精确量化。如图所示，分别表示了病灶的长轴长度和与长轴垂直的短轴长度。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种医学图像的处理方法，包括：
获取同一检测区域的多幅医学图像，所述多幅医学图像具有不同的对比度；
将多幅医学图像分别输入到人工智能网络产生多个概率分布图，其中，所述概率分布图用于判定所述医学图像的像素点属于目标像素点的概率；
所述人工智能网络设置为端到端网络，包括：区域建议网络、全卷积神经网络、U-net或V-net；
将所述多个概率分布图进行融合形成组合概率图；
根据所述组合概率图在至少一幅所述医学图像中确定目标像素点的集合。
2.根据权利要求1所述的方法，其特征在于，所述将所述多个概率分布图进行融合形成组合概率图，包括：
将所述多个概率分布图进行对齐操作，得到组合概率图，所述组合概率图中每一点表示像素点为目标像素点的概率。
3.根据权利要求1所述的方法，其特征在于，根据所述组合概率图在至少一幅所述医学图像中确定目标像素点的集合包括：
根据预设阈值对所述组合概率图进行二值化处理，获取二值图；
确定所述二值图中的独立连通域，所述医学图像中与所述独立连通域对应的像素点的集合为目标像素点的集合。
4.根据权利要求1所述的方法，其特征在于，所述多幅医学图像包括原始医学图像和所述原始医学图像的增强图像，且所述原始医学图像和所述增强图像包含灰度值不同的像素点；
或者，所述多幅医学图像包括数个片层图像，且各个片层图像包含灰度值不同的像素点。
5.根据权利要求1所述的方法，其特征在于，所述目标像素点的集合为目标对象，所述目标对象对应肺部点状区域或肋骨断裂区域。
6.一种医学图像的处理方法，包括：
获取同一检测区域的第一医学图像和第二医学图像，所述第一医学图像和所述第二医学图像分别包含多个像素点，且第一医学图像与第二医学图像包含灰度值不同的像素点；
利用人工智能网络对所述第一医学图像进行处理，获取第一分类结果；
利用人工智能网络对所述第二医学图像进行处理，获取第二分类结果；
所述人工智能网络设置为端到端网络，包括：区域建议网络、全卷积神经网络、U-net或V-net；
联合所述第一分类结果和第二分类结果在所述第一医学图像或第二医学图像中确定目标像素点的集合；
所述第一分类结果包括所述第一医学图像的每个像素点属于目标像素点的概率值，所述第二分类结果包括所述第二医学图像的每个像素点属于目标像素点的概率值。
7.根据权利要求6所述的方法，其特征在于：
所述第一分类结果还包括所述第一医学图像中属于目标像素点的像素点集合的外接轮廓，所述第二分类结果还包括所述第二医学图像中属于目标像素点的像素点集合的外接轮廓。
8.一种医学图像处理***，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如下步骤：
获取同一检测区域的第一医学图像和第二医学图像，第一医学图像和第二医学图像分别包含多个像素点，且第一医学图像与第二医学图像包含灰度值不同的像素点；
利用人工智能网络对所述第一医学图像、第二医学图像进行处理，获取第一分类结果和第二分类结果；
所述人工智能网络设置为端到端网络，包括：区域建议网络、全卷积神经网络、U-net或V-net；
联合所述第一分类结果和第二分类结果在所述第一医学图像或第二医学图像中确定目标对象。
9.根据权利要求8所述的***，其特征在于，还包括显示器，所述显示器用于将所述目标对象在所述第一医学图像或第二医学图像上标识显示。
10.根据权利要求8所述的***，其特征在于，所述第一医学图像和第二医学图像为CT图像或DR图像，所述目标对象为肺部的点状区域或肋骨的非连续区域。
CN201711240745.5A 2017-11-30 2017-11-30 一种医学图像的处理方法及医学图像处理*** Active CN107945168B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711240745.5A CN107945168B (zh) 2017-11-30 2017-11-30 一种医学图像的处理方法及医学图像处理***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711240745.5A CN107945168B (zh) 2017-11-30 2017-11-30 一种医学图像的处理方法及医学图像处理***

Publications (2)

Publication Number Publication Date
CN107945168A CN107945168A (zh) 2018-04-20
CN107945168B true CN107945168B (zh) 2021-12-10

Family

ID=61948090

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711240745.5A Active CN107945168B (zh) 2017-11-30 2017-11-30 一种医学图像的处理方法及医学图像处理***

Country Status (1)

Country Link
CN (1) CN107945168B (zh)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108765387A (zh) * 2018-05-17 2018-11-06 杭州电子科技大学 基于Faster RCNN乳腺DBT影像肿块自动检测方法
US10878570B2 (en) * 2018-07-17 2020-12-29 International Business Machines Corporation Knockout autoencoder for detecting anomalies in biomedical images
CN109009074A (zh) * 2018-07-19 2018-12-18 上海工程技术大学 一种基于深度学习的心脏性猝死辅助预警装置
CN109117890B (zh) * 2018-08-24 2020-04-21 腾讯科技（深圳）有限公司 一种图像分类方法、装置和存储介质
EP3624022A1 (en) * 2018-09-11 2020-03-18 Koninklijke Philips N.V. Modifying a neural network
CN109410170B (zh) * 2018-09-14 2022-09-02 东软医疗***股份有限公司 图像数据处理方法、装置及设备
CN109859233B (zh) * 2018-12-28 2020-12-11 上海联影智能医疗科技有限公司 图像处理、图像处理模型的训练方法及***
CN109523525B (zh) * 2018-11-07 2021-04-16 广州大学 图像融合的恶性肺结节识别方法、装置、设备及存储介质
CN109886971A (zh) * 2019-01-24 2019-06-14 西安交通大学 一种基于卷积神经网络的图像分割方法及***
CN110458813B (zh) * 2019-03-08 2021-03-02 腾讯科技（深圳）有限公司 图像区域定位方法、装置和医学图像处理设备
CN110163910B (zh) * 2019-03-22 2021-09-28 腾讯科技（深圳）有限公司 物体对象定位方法、装置、计算机设备和存储介质
CN110211111A (zh) * 2019-05-31 2019-09-06 上海联影医疗科技有限公司 一种血管提取的方法、装置、图像处理设备及存储介质
CN110363747B (zh) * 2019-06-14 2024-07-02 平安科技（深圳）有限公司 智能化异常细胞判断方法、装置及计算机可读存储介质
CN112131914B (zh) * 2019-06-25 2022-10-21 北京市商汤科技开发有限公司 车道线属性检测方法、装置、电子设备及智能设备
CN110399799B (zh) * 2019-06-26 2022-07-26 北京迈格威科技有限公司 图像识别和神经网络模型的训练方法、装置和***
CN110310292B (zh) * 2019-06-28 2021-02-02 浙江工业大学 一种手腕部参照骨分割方法
CN110766617B (zh) * 2019-09-12 2023-06-23 江苏理工学院 一种带有动态模糊的降低采样数量的渲染加速方法
CN110738639B (zh) * 2019-09-25 2024-03-01 上海联影智能医疗科技有限公司 医学图像检测结果的展示方法、装置、设备及存储介质
CN110807788B (zh) * 2019-10-21 2023-07-21 腾讯科技（深圳）有限公司 医学图像处理方法、装置、电子设备及计算机存储介质
CN111179269B (zh) * 2019-11-11 2023-07-11 浙江工业大学 一种基于多视图和三维卷积融合策略的pet图像分割方法
CN110895812A (zh) * 2019-11-28 2020-03-20 北京推想科技有限公司 Ct图像的检测方法、装置、存储介质及电子设备
CN111275707B (zh) * 2020-03-13 2023-08-25 北京深睿博联科技有限责任公司 肺炎病灶分割方法和装置
CN111428709B (zh) * 2020-03-13 2023-10-24 平安科技（深圳）有限公司 图像处理方法、装置、计算机设备和存储介质
CA3185128A1 (en) * 2020-07-07 2022-01-13 Jin Su Method and apparatus of processing image, computing device, and medium
CN111862259B (zh) * 2020-07-27 2023-08-15 上海联影医疗科技股份有限公司 医学灌注图像处理方法和医学成像设备
CN112949654A (zh) * 2021-02-25 2021-06-11 上海商汤智能科技有限公司 图像检测方法及相关装置、设备
CN113362294B (zh) * 2021-05-27 2022-09-02 同济大学 含穿刺针超声血管图像的穿刺针识别方法、***和设备
CN113576487B (zh) * 2021-06-18 2023-06-13 深圳技术大学 特征的确定、心电预测方法及装置、电子设备和存储介质
CN114897760A (zh) * 2021-10-29 2022-08-12 北京富通东方科技有限公司 一种基于深度学习的肋骨ct影像骨折检测分割辅助阅片方法及***
CN114387227A (zh) * 2021-12-23 2022-04-22 沈阳东软智能医疗科技研究院有限公司 结节类型预测方法、装置、存储介质及电子设备
CN114332128B (zh) * 2021-12-30 2022-07-26 推想医疗科技股份有限公司 医学图像处理方法及其装置、电子设备和计算机存储介质
CN116452791B (zh) * 2023-03-27 2024-03-22 广州市斯睿特智能科技有限公司 多相机点位的缺陷区域定位方法、***、装置及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102855640A (zh) * 2012-08-10 2013-01-02 上海电机学院 基于神经网络的水果等级分类***
CN104036236A (zh) * 2014-05-27 2014-09-10 厦门瑞为信息技术有限公司 一种基于多参数指数加权的人脸性别识别方法
CN105488800A (zh) * 2015-11-30 2016-04-13 上海联影医疗科技有限公司 特征提取方法、计算机辅助诊断的方法及其***
CN106131405A (zh) * 2016-06-30 2016-11-16 北京旷视科技有限公司 图像处理方法和装置及用于其的图像采集***
CN106155327A (zh) * 2016-08-01 2016-11-23 乐视控股（北京）有限公司 手势识别方法和***
CN106407927A (zh) * 2016-09-12 2017-02-15 河海大学常州校区 基于偏振成像的适用于水下目标检测的显著性视觉方法
CN106940816A (zh) * 2017-03-22 2017-07-11 杭州健培科技有限公司 基于3d全连接卷积神经网络的ct图像肺结节检测***

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102855640A (zh) * 2012-08-10 2013-01-02 上海电机学院 基于神经网络的水果等级分类***
CN104036236A (zh) * 2014-05-27 2014-09-10 厦门瑞为信息技术有限公司 一种基于多参数指数加权的人脸性别识别方法
CN105488800A (zh) * 2015-11-30 2016-04-13 上海联影医疗科技有限公司 特征提取方法、计算机辅助诊断的方法及其***
CN106131405A (zh) * 2016-06-30 2016-11-16 北京旷视科技有限公司 图像处理方法和装置及用于其的图像采集***
CN106155327A (zh) * 2016-08-01 2016-11-23 乐视控股（北京）有限公司 手势识别方法和***
CN106407927A (zh) * 2016-09-12 2017-02-15 河海大学常州校区 基于偏振成像的适用于水下目标检测的显著性视觉方法
CN106940816A (zh) * 2017-03-22 2017-07-11 杭州健培科技有限公司 基于3d全连接卷积神经网络的ct图像肺结节检测***

Also Published As

Publication number Publication date
CN107945168A (zh) 2018-04-20

Similar Documents

Publication Publication Date Title
CN107945168B (zh) 一种医学图像的处理方法及医学图像处理***
CN108010021B (zh) 一种医学图像处理***和方法
CN110110617B (zh) 医学影像分割方法、装置、电子设备和存储介质
CN111127466B (zh) 医学图像检测方法、装置、设备及存储介质
CN108520519B (zh) 一种图像处理方法、装置及计算机可读存储介质
US10810735B2 (en) Method and apparatus for analyzing medical image
TWI715117B (zh) 醫療影像處理方法及裝置、電子設備及儲存介質
CN108133476B (zh) 一种肺结节自动检测方法及***
US10706534B2 (en) Method and apparatus for classifying a data point in imaging data
CN108648178A (zh) 一种影像结节检测的方法及装置
CN108062749B (zh) 肛提肌裂孔的识别方法、装置和电子设备
CN111968130B (zh) 脑部造影图像处理方法、装置、介质及电子设备
DE10255526B4 (de) Erkennung von Gefässassoziierten Pulmonalknoten durch Volumsprojektionsanalyse
US8306354B2 (en) Image processing apparatus, method, and program
CN114332132A (zh) 图像分割方法、装置和计算机设备
CN115439453A (zh) 一种脊椎椎体定位方法、装置、电子设备及存储介质
JP6257949B2 (ja) 画像処理装置および医用画像診断装置
CN108876783B (zh) 图像融合方法及***、医疗设备和图像融合终端
CN110992310A (zh) 一种确定纵隔***所在分区的方法及装置
DE10255527B4 (de) Erzeugung von Kandidaten für gefäßassoziierte Pulmonalknoten
US20230115927A1 (en) Systems and methods for plaque identification, plaque composition analysis, and plaque stability detection
WO2014050129A1 (ja) 画像処理装置および方法並びにプログラム
CN115631194B (zh) 颅内动脉瘤识别检测的方法、装置、设备及介质
CN115861347A (zh) 病灶区域的提取方法、装置、电子设备及可读存储介质
KR20220132544A (ko) 약한 감독 병변 분할

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 201807 Shanghai City, north of the city of Jiading District Road No. 2258

Applicant after: Shanghai Lianying Medical Technology Co., Ltd

Address before: 201807 Shanghai City, north of the city of Jiading District Road No. 2258

Applicant before: SHANGHAI UNITED IMAGING HEALTHCARE Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant