CN113658284A - 用于训练结节检测***的来自ct图像的x射线图像合成 - Google Patents

用于训练结节检测***的来自ct图像的x射线图像合成 Download PDF

Info

Publication number
CN113658284A
CN113658284A CN202110482961.0A CN202110482961A CN113658284A CN 113658284 A CN113658284 A CN 113658284A CN 202110482961 A CN202110482961 A CN 202110482961A CN 113658284 A CN113658284 A CN 113658284A
Authority
CN
China
Prior art keywords
nodule
image
medical image
composite
synthetic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110482961.0A
Other languages
English (en)
Inventor
F-C·格苏
刘思奇
A·A·阿迪尤索
S·格尔比奇
M·泰赫曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Healthcare GmbH
Siemens Healthineers AG
Original Assignee
Siemens Healthineers AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Healthineers AG filed Critical Siemens Healthineers AG
Publication of CN113658284A publication Critical patent/CN113658284A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G06T2207/30064—Lung nodule
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/032—Recognition of patterns in medical or anatomical images of protuberances, polyps nodules, etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

提供了用于生成合成医学图像以训练基于机器学习的网络的***和方法。接收第一模态下的输入医学图像。输入医学图像包括针对一个或多个结节中的每一个的结节区域以及剩余区域。输入医学图像包括针对一个或多个结节中的每一个的注释。从输入医学图像生成第二模态下的合成医学图像。合成医学图像包括针对一个或多个结节中的每一个的注释。在第二模态下生成每一个结节区域的合成结节图像以及剩余区域的合成剩余图像。基于针对特定结节的合成结节图像以及合成剩余图像中的至少一个来确定一个或多个结节中的每个特定结节在合成医学图像中是否可见。响应于确定一个或多个结节中的至少一个结节在合成医学图像中不可见，从合成结节图像中移除针对所述至少一个不可见结节的注释。

Description

用于训练结节检测***的来自CT图像的X射线图像合成
技术领域
本发明总体上涉及来自CT（计算机断层摄影）图像的X射线图像合成，并且特别地涉及用于训练结节检测***和其他基于机器学习的***的来自CT图像的X射线图像合成。
背景技术
肺部疾病的早期检测对于成功治疗至关重要。对于肺部疾病早期检测的一个重要任务是在胸部X射线图像中进行肺结节检测。在当前的临床实践中，肺结节检测是由放射科医生通过读取X射线图像手动执行的。然而，由X射线束的2D投影引起的X射线图像的模糊性导致大量遗漏的结节。此外，随着X射线获取数量增加和放射科医生的普遍短缺，分配给放射科医生读取X射线图像的时间量是有限的，这进一步促成了大量遗漏的结节。
最近，已经提出了基于机器学习的结节检测***，以用于自动检测胸部X射线图像中的肺结节。这种基于机器学习的结节检测***是使用带有经注释的结节位置的大规模胸部X射线数据集来训练的。然而，X射线图像的模糊性也使得在大规模X射线图像数据集中对结节进行注释的任务具有挑战性。此外，为了确保准确的注释，需要从有经验的放射科医生获得一致的结果，这显著增加了获得这种数据集所需的时间和成本。
发明内容
根据一个或多个实施例，提供了用于生成合成医学图像以训练基于机器学习的网络的***和方法。接收第一模态下的输入医学图像。输入医学图像包括针对一个或多个结节中的每一个的结节区域以及剩余区域。输入医学图像包括针对一个或多个结节中的每一个的注释。从输入医学图像生成第二模态下的合成医学图像。合成医学图像包括针对一个或多个结节中的每一个的注释。在第二模态下生成每一个结节区域的合成结节图像以及剩余区域的合成剩余图像。基于针对特定结节的合成结节图像以及合成剩余图像中的至少一个来确定一个或多个结节中的每个特定结节在合成医学图像中是否可见。响应于确定一个或多个结节中的至少一个结节在合成医学图像中不可见，从合成结节图像中移除针对所述至少一个不可见结节的注释。
在一个实施例中，通过将合成剩余图像中的像素的强度与阈值进行比较，来确定一个或多个结节中的每一个在合成医学图像中是否可见。在一个实施例中，通过确定合成剩余图像中的所述特定结节的中心处的强度与合成结节图像中的所述特定结节的中心处的强度之间的改变并且将所述强度改变与阈值进行比较，来确定一个或多个结节中的每一个在合成医学图像中是否可见。在一个实施例中，通过确定合成剩余图像中的所述特定结节的半径的一半内的像素的平均强度与合成结节图像中的所述特定结节的半径的一半内的像素的平均强度之间的改变并且将所述改变与阈值进行比较，来确定一个或多个结节中的每一个在合成医学图像中是否可见。
在一个实施例中，可以通过使合成结节图像中的像素的强度以突出显示因子而增加，来生成合成医学图像。在一个实施例中，可以通过在合成医学图像中定位先前获取的合成结节图像来生成合成医学图像。在一个实施例中，可以通过旋转输入医学图像并且从经旋转的输入医学图像生成合成医学图像，来生成合成医学图像。
在一个实施例中，可以基于合成医学图像来训练基于机器学习的网络。
在一个实施例中，第一模态是计算机断层摄影，并且第二模态是X射线。
通过参考以下具体实施方式和附图，本发明的这些和其他优点对于本领域普通技术人员来说将是明显的。
附图说明
图1示出了根据一个或多个实施例的用于生成合成医学图像以训练基于机器学习的***的方法；
图2A示出了根据一个或多个实施例的示例性计算机断层摄影医学图像；
图2B示出了根据一个或多个实施例的示例性合成X射线医学图像；
图3示出了根据一个或多个实施例的示例性合成图像；
图4示出了根据一个或多个实施例的用不同突出显示因子来突出显示的结节的比较；
图5示出了根据一个或多个实施例的隐藏在解剖结构后面的隐藏结节的示例性图像；
图6示出了根据一个或多个实施例的由于结节的相对强度而隐藏的隐藏结节的示例性图像；以及
图7示出了计算机的高级框图。
具体实施方式
本发明总体上涉及用于训练结节检测***的来自CT图像的X射线图像合成的方法和***。本文中描述了本发明的实施例，以给出对这种方法和***的视觉理解。数字图像经常由一个或多个对象（或形状）的数字表示组成。对象的数字表示在本文中经常是在标识和操纵该对象的方面来描述的。这种操纵是在计算机***的存储器或其他电路/硬件中完成的虚拟操纵。因此，应当理解的是，可以使用存储在计算机***内的数据在计算机***内执行本发明的实施例。
本文中描述的实施例提供了合成X射线图像的生成，该合成X射线图像适合于训练基于机器学习的***以用于执行各种医学图像分析任务，诸如例如结节检测或肺部分割。这种合成X射线图像是从CT（计算机断层摄影）图像生成的，由于CT图像提供了附加的3D情境，因此与X射线图像相比，CT（计算机断层摄影）图像更容易用结节位置来注释。因此，具有高质量注释的现有大规模CT数据集是可容易获得的。然而，有时，在CT图像中可见的结节在合成X射线图像中不可见，并且因此不适合于在训练基于机器学习的***中利用。本文中描述的实施例提供了对在CT图像中可见但在合成X射线图像中不可见的结节的自动检测。因此，可以使用其中结节可见的合成X射线图像来训练基于机器学习的网络，而不使用其中结节不可见的合成X射线图像。
图1示出了根据一个或多个实施例的用于生成合成医学图像以训练基于机器学习的***的方法100。方法100的步骤可以由一个或多个合适的计算设备（诸如，例如图7的计算机702）来执行。根据方法100所生成的合成医学图像可以应用于训练基于机器学习的网络，以用于执行医学成像分析任务，诸如例如肺结节检测或肺部分割。在一个实施例中，可以针对医学图像数据集（例如，训练数据集）中的每个输入医学图像重复地执行方法100的步骤。
在步骤102处，接收第一模态下的输入医学图像。输入医学图像可以是示出了一个或多个肺结节的患者胸部图像。输入医学图像包括标识了一个或多个结节的位置的注释。在一个实施例中，第一模态是CT。然而，第一模态可以是任何其他合适的模态，诸如例如，MRI（磁共振成像）、超声波、X射线、或任何其他医学成像模态或医学成像模态组合。输入医学图像可以是2D（二维）图像或3D（三维）体积。当获取医学图像时可以直接从图像获取设备（诸如例如，CT扫描仪）接收输入医学图像，或者可以通过从计算机***的存储装置或存储器加载先前获取的医学图像、或者通过接收已经从远程计算机***传输的医学图像来接收输入医学图像。
输入医学图像包括针对一个或多个结节中的每一个的结节区域以及剩余区域。每个结节区域描绘了一个或多个结节中的相应结节。剩余区域描绘了结节区域之外的输入医学图像的剩余部分。可以基于注释来定义结节区域和剩余区域。
图2A示出了根据一个或多个实施例的示例性CT医学图像200。CT医学图像200可以是在图1的步骤102处接收的输入医学图像。CT医学图像200包括描绘了结节202的结节区域204。CT医学图像200还包括剩余区域206，剩余区域206描绘了结节区域204之外的CT医学图像200的剩余部分。
在步骤104处，从输入医学图像生成第二模态下的合成医学图像。在一个实施例中，第二模态是X射线。然而，第二模态可以是任何其他合适的模态，诸如例如CT、MRI、超声波、或任何其他医学成像模态或医学成像模态组合。合成医学图像是输入医学图像从第一模态到第二模态的转换。因此，合成医学图像还包括来自输入医学图像的注释、以及与输入医学图像中的那些结节区域和剩余区域相对应的结节区域和剩余区域。
图2B示出了根据一个或多个实施例的示例性合成X射线医学图像210。合成X射线医学图像210可以是在图1的步骤104处生成的合成医学图像。合成X射线医学图像210包括描绘了结节202的结节区域208。合成X射线医学图像210还包括剩余区域210，剩余区域210描绘了结节区域208之外的合成X射线医学图像210的剩余部分。合成X射线医学图像210中的结节区域208和剩余区域210的位置分别对应于图2A的CT医学图像200中的结节区域202和剩余区域106的位置，使得合成X射线医学图像210中结节区域208和剩余区域210的相对位置与CT医学图像200中结节区域202和剩余区域206的相对位置相同。
参考回到图1，可以使用任何合适的技术来生成合成医学图像。在一个实施例中，通过使用比尔定律（Beer's law）以近似穿过组织的物理X射线来对输入CT医学图像进行投影，从而根据输入CT医学图像来生成合成X射线医学图像。首先，为了有意义地应用比尔定律，将输入CT医学图像的放射密度（以Hounsfield为单位，HU）变换成衰减（cm -1）。因此，针对每个体素v应用等式（1）：
Figure 787777DEST_PATH_IMAGE002
等式（1）
其中水的线性衰减系数
Figure 767234DEST_PATH_IMAGE004
=0.0004，并且空气的线性衰减系数
Figure 546972DEST_PATH_IMAGE006
=0.206。结果被限幅（clip），使得v≥0。其次，使用比尔定律来计算X射线强度，以生成投影的X射线图像。强度沿z维度减小，并且然后应用非线性。因此，像素p xy 处的强度如下：
Figure 942181DEST_PATH_IMAGE008
等式（2）
其中v xyz 是位置xyz处的体素，并且d是该体素的长度（以厘米为单位）。最后，进一步处理投影的X射线图像，以类似于应用在X射线机器中的图像处理技术，从而生成合成X射线医学图像。在一个实施例中，通过应用伽马校正（其中γ=2.5）和自适应直方图均衡化（其中核大小=128）来减少投影图像的对比度。示例性合成X射线医学图像在下面进一步描述的图3中被示出。
为了改进对输入CT医学图像进行投影的计算效率，可以预先离线地执行一些计算，并且将结果保存到存储器。特别地，投影可以被分离成线性操作和归约（reduction）操作。执行投影中的前两个步骤（直到等式（2）并且包括等式（2）），并且将如下归约的结果保存到存储器：
Figure 818870DEST_PATH_IMAGE010
等式（3）
图像空间中的非线性操作（例如，在等式2中，或者伽马校正或自适应直方图均衡化）相对较快，并且可以在线计算。这样做具有如下优点：可以随机选择超参数（例如，γ）（例如，用于数据扩充）。
应当理解的是，还可以使用任何其他合适的技术来生成合成医学图像。例如，可以使用基于机器学习的网络（诸如例如，生成性对抗网络）来从输入医学图像生成合成医学图像。
在步骤106处，在第二模态下生成每一个结节区域的合成结节图像和剩余区域的合成剩余图像。在一个示例中，合成结节图像是图2A中的结节区域202的合成图像，并且合成剩余图像是图2A中的剩余区域206的合成图像，其中结节区域202中的像素的强度值被设置为零。
在一个实施例中，通过将输入医学图像中的结节区域和剩余区域分别投影到第二模态来生成合成结节图像和合成剩余图像。特别地，针对每个结节i，执行输入医学图像的每个结节区域的单独投影以生成合成结节图像
Figure 641333DEST_PATH_IMAGE012
。此外，执行输入医学图像的剩余区域的单独投影以生成合成剩余图像
Figure 908366DEST_PATH_IMAGE014
，其中结节的所有像素（即，结节区域中的所有像素）的强度值被设置为零。可以如关于步骤104所描述的那样来执行投影。因此，针对具有k个结节的输入医学图像，以下恒等式成立：
Figure 107266DEST_PATH_IMAGE016
等式（4）
可以将合成结节图像
Figure DEST_PATH_IMAGE017
和合成剩余图像
Figure 838462DEST_PATH_IMAGE014
保存到存储器，从而允许动态移除和添加结节以用于数据扩充。
在一个实施例中，通过从合成医学图像中提取合成结节图像
Figure 831825DEST_PATH_IMAGE018
和合成剩余图像
Figure 586155DEST_PATH_IMAGE014
来生成合成结节图像
Figure DEST_PATH_IMAGE019
和合成剩余图像
Figure 323167DEST_PATH_IMAGE014
。也可以使用任何其他合适的技术（例如，基于机器学习的网络）来生成合成结节图像和合成剩余图像。
图3示出了根据一个或多个实施例的示例性合成图像300。列302中的图像示出了合成医学图像
Figure DEST_PATH_IMAGE021
，列304中的图像示出了合成剩余图像
Figure 410334DEST_PATH_IMAGE014
，并且列306中的图像示出了合成结节图像
Figure DEST_PATH_IMAGE023
。
参考回到图1，在一个实施例中，可以通过突出显示接近可见性阈值的结节的像素强度值来增加结节的可见性。因此，可以将突出显示因子h i 应用于合成结节图像，以根据等式（5）来增加合成结节图像
Figure 840178DEST_PATH_IMAGE024
中的像素的强度：
Figure 144120DEST_PATH_IMAGE026
等式（5）
在一个实施例中，可以任意选择突出显示因子h i 。例如，可以在[1,2]之间随机选择突出显示因子h i ，以生成具有多种强度的结节的合成医学图像。
图4示出了根据一个或多个实施例的用不同突出显示因子来突出显示的结节的比较400。图像402是合成医学图像
Figure 481561DEST_PATH_IMAGE021
，图像404是合成剩余图像
Figure 125032DEST_PATH_IMAGE014
，图像406是合成结节图像
Figure DEST_PATH_IMAGE027
，图像408是（如在步骤108处确定的）不可见的致密（dense）解剖结构的掩模（mask），图像410是具有突出显示因子1的合成医学图像402，图像412是具有突出显示因子2的合成医学图像402，图像414是具有突出显示因子5的合成医学图像402，并且图像416是具有突出显示因子10的合成医学图像402。
在图1的步骤108处，基于针对特定结节的合成结节图像以及合成剩余图像中的至少一个来确定一个或多个结节中的每个特定结节在合成医学图像中是否可见。在输入医学图像（例如，3D CT图像）中可见的结节可能由于将3D图像投影到2D空间而在投影之后被隐藏在合成医学图像（例如，X射线图像）中。合成医学图像不应当包括在合成医学图像中不可见的结节的注释。
结节可能隐藏在合成医学图像中的一个原因是结节被隐藏在致密解剖结构（诸如例如，骨骼、心脏、肝脏等）后面。在一个实施例中，当合成剩余图像
Figure 522515DEST_PATH_IMAGE014
的绝对强度不满足（例如，不超过）某个阈值t（例如，t=47）时，结节被认为隐藏在合成医学图像中的解剖结构后面，并且因此不可见。在形式上，如果
Figure DEST_PATH_IMAGE029
，则具有中心坐标（x,y）的结节i被认为在合成医学图像中不可见，并且如果
Figure DEST_PATH_IMAGE031
，则在合成医学图像中可见。
图5示出了根据一个或多个实施例的隐藏在解剖结构后面的隐藏结节的示例性图像500。列502中的图像示出了合成医学图像
Figure DEST_PATH_IMAGE032
，列504中的图像示出了合成剩余图像
Figure 251437DEST_PATH_IMAGE014
，列506中的图像示出了合成结节图像
Figure DEST_PATH_IMAGE033
，并且列508中的图像示出了致密解剖结构的掩模，其中掩模的亮部表示致密解剖结构。如在列508中的图像中所示，结节隐藏在解剖结构（例如，心脏和肝脏）后面。
结节可能隐藏在合成医学图像中的另一个原因是结节组织的相对强度与周围区域中的组织的强度相比较低。在一个实施例中，如果满足两个条件，则结节被认为是可见的。首先，在合成剩余图像中的结节中心处的强度与合成结节图像中的结节中心处的强度之间的改变以至少某个阈值t（例如，15%）而增加。在形式上，在阈值t=15%的情况下，针对具有中心坐标（x,y）的结节i，等式
Figure DEST_PATH_IMAGE035
≥1.15。第二，在合成剩余图像中的结节半径的一半内的像素的平均强度与合成结节图像中的结节半径的一半内的像素的平均强度之间的改变以至少某个阈值t（例如，10%）量而增加。
图6示出了根据一个或多个实施例的由于结节的相对强度而隐藏的隐藏结节的示例性图像600。列602中的图像示出了合成医学图像
Figure 15737DEST_PATH_IMAGE021
，列604中的图像示出了合成剩余图像
Figure 513714DEST_PATH_IMAGE014
，列606中的图像示出了合成结节图像
Figure DEST_PATH_IMAGE036
，并且列608中的图像示出了阈值像素强度的掩模。如在列608中的图像中所示，由于与周围区域中的组织相比，结节的相对强度较低，因此结节被隐藏。
在图1的步骤110处，响应于确定一个或多个结节中的至少一个结节在合成医学图像中不可见，从合成结节图像中移除针对该至少一个不可见结节的注释。
在步骤112处，输出合成医学图像。例如，可以通过在计算机***的显示设备上显示合成医学图像、将合成医学图像存储在计算机***的存储器或存储装置上、或者通过将合成医学图像传输到远程计算机***来输出合成医学图像。
在一个实施例中，根据方法100所生成的合成医学图像可以应用于训练基于机器学习的网络，该网络用于医学图像分析任务，诸如例如结节检测或结节分割。例如，可以使用根据方法100所生成的合成X射线医学图像，针对X射线图像中的结节检测或肺部分割来分别训练由2D快速R-CNN（卷积神经网络）实现的结节检测器网络、或由2D U-Net实现的肺部分割网络。在一个实施例中，仅使用合成X射线医学图像来训练这种网络。然而，在另一个实施例中，使用合成X射线医学图像和真实X射线医学图像的组合来训练这种网络。有利地，合成X射线医学图像在训练数据集中提供了附加的示例以及难以检测到结节的示例，而在训练数据集中具有真实X射线医学图像确保了网络的早先层中的特征提取器能很好地适配于在真实X射线医学图像中发现的数据分布。
在一个实施例中，在方法100中，可以应用各种结节扩充技术来生成合成医学图像。
在一个实施例中，在步骤104处，可以通过利用先前获取的合成结节图像的数据库来在合成医学图像中定位结节。结节的合适位置可以基于本文中描述的可见性考虑以及肺部分割来确定。可以从数据库中移除（在线性空间中）具有小于例如0.5的强度的结节，因为不存在它们在其中可见的位置。
在另一个实施例中，在步骤104处生成合成医学图像之前，可以旋转在步骤102处接收的输入医学图像。通过旋转输入医学图像，获得了结节的多种不同视点角度，从而使每个结节可用的相关特征的数量倍增（multiply）。旋转是在在先的离线阶段期间执行的，这是由于它们是3D空间中的操作。为了使这在计算上可行，执行每个结节的有限数量（例如，20）的旋转，并且将对应的合成医学图像独立地保存为单独的图像。在合成医学图像的应用期间（例如，在基于机器学习的网络的训练期间），可以（例如，随机地）选择这些图像之一。
在另一个实施例中，在步骤104处生成合成医学图像之后，可以为结节调整大小。特别地，应用对合成医学图像的双三次（bi-cubic）上采样或下采样。为了计及z维度上的组织大小的改变，可以将所有合成医学图像乘以大小调整因子。这遵循比尔定律，这是由于射线必须穿过更多的组织。
在另一个实施例中，在步骤102处接收的输入医学图像可以被生成为包括如在以下专利申请中描述的人工或合成结节：2019年6月19日提交的美国专利申请No.16/445,435、以及2019年9月13日提交的美国专利申请No.16/570,214，这些专利申请的公开内容通过引用以其整体并入本文中。在（例如，CT图像的）3D空间中合成结节比在2D空间（例如，X射线图像）合成结节更容易。
本文中描述的***、装置和方法可以使用数字电路、或者使用一个或多个计算机来实现，该一个或多个计算机使用公知的计算机处理器、存储器单元、存储设备、计算机软件和其他组件。典型地，计算机包括用于执行指令的处理器和用于存储指令和数据的一个或多个存储器。计算机还可以包括或耦合到一个或多个大容量存储设备，诸如一个或多个磁盘、内部硬盘和可移除盘、磁光盘、光盘等。
本文中描述的***、装置和方法可以使用以客户端-服务器关系而运行的计算机来实现。典型地，在这种***中，客户端计算机远离服务器计算机而定位，并且经由网络进行交互。客户端-服务器关系可以由在相应客户端和服务器计算机上运行的计算机程序来定义和控制。
本文中描述的***、装置和方法可以在基于网络的云计算***内实现。在这种基于网络的云计算***中，连接到网络的服务器或另一个处理器经由网络与一个或多个客户端计算机进行通信。例如，客户端计算机可以经由在客户端计算机上驻留并操作的网络浏览器应用与服务器进行通信。客户端计算机可以将数据存储在服务器上，并经由网络访问该数据。客户端计算机可以经由网络向服务器传输针对数据的请求或针对在线服务的请求。服务器可以执行所请求的服务并向（一个或多个）客户端计算机提供数据。服务器还可以传输如下数据：该数据被适配成使得客户端计算机执行指定功能，例如执行计算、在屏幕上显示指定数据等。例如，服务器可以传输如下请求：该请求被适配成使得客户端计算机执行本文中描述的方法和工作流的一个或多个步骤或功能（包括图1的一个或多个步骤或功能）。本文中描述的方法和工作流的某些步骤或功能（包括图1的一个或多个步骤或功能）可以在基于网络的云计算***中由服务器或由另一个处理器来执行。本文中描述的方法和工作流的某些步骤或功能（包括图1的一个或多个步骤）可以在基于网络的云计算***中由客户端计算机来执行。本文中描述的方法和工作流的步骤或功能（包括图1的一个或多个步骤）可以在基于网络的云计算***中由服务器和/或由客户端计算机以任何组合来执行。
本文中描述的***、装置和方法可以使用有形地体现在信息载体中、例如体现在非暂时性机器可读存储设备中的计算机程序产品来实现，以供可编程处理器来执行；并且本文中描述的方法和工作流步骤（包括图1的一个或多个步骤或功能）可以使用可由这种处理器执行的一个或多个计算机程序来实现。计算机程序是计算机程序指令集，其可以直接或间接在计算机中使用，以执行某个活动或带来某个结果。计算机程序可以用任何形式的编程语言来编写，该任何形式的编程语言包括编译或解译语言，并且计算机程序可以以任何形式来部署，包括作为独立程序或作为模块、组件、子例程、或适合于在计算环境中使用的其他单元。
图7中描绘了可以用于实现本文中描述的***、装置和方法的示例计算机702的高级框图。计算机702包括可操作地耦合到数据存储设备712和存储器710的处理器704。处理器704通过执行定义计算机702的总体操作的计算机程序指令来控制计算机702的总体操作。计算机程序指令可以存储在数据存储设备712或其他计算机可读介质中，并且当期望执行计算机程序指令时被加载到存储器710中。因此，图1的方法和工作流步骤或功能可以由存储在存储器710和/或数据存储设备712中的计算机程序指令来定义，并且由执行计算机程序指令的处理器704来控制。例如，计算机程序指令可以被实现为由本领域技术人员编程的计算机可执行代码，以执行图1的方法和工作流步骤或功能。因此，通过执行计算机程序指令，处理器704执行图1的方法和工作流步骤或功能。计算机702还可以包括一个或多个网络接口706，以用于经由网络与其他设备通信。计算机702还可以包括使得能够与计算机702进行用户交互的一个或多个输入/输出设备708（例如，显示器、键盘、鼠标、扬声器、按钮等）。
处理器704可以包括通用和专用微处理器两者，并且可以是计算机702的唯一处理器或多个处理器之一。例如，处理器704可以包括一个或多个中央处理单元（CPU）。处理器704、数据存储设备712和/或存储器710可以包括一个或多个专用集成电路（ASIC）和/或一个或多个现场可编程门阵列（FPGA）、由其补充、或被并入在其中。
数据存储设备712和存储器710均包括有形的非暂时性计算机可读存储介质。数据存储设备712和存储器710可以均包括高速随机存取存储器，诸如动态随机存取存储器（DRAM）、静态随机存取存储器（SRAM）、双倍数据速率同步动态随机存取存储器（DDR RAM）、或其他随机存取固态存储器设备，并且可以包括非易失性存储器，诸如一个或多个磁盘存储设备，诸如内部硬盘和可移除盘、磁光盘存储设备、光盘存储设备、闪存设备，半导体存储器设备，诸如可擦除可编程只读存储器（EPROM）、电可擦除可编程只读存储器（EEPROM）、光盘只读存储器（CD-ROM）、数字多功能盘只读存储器（DVD-ROM）或其他非易失性固态存储设备。
输入/输出设备708可以包括***设备，诸如打印机、扫描仪、显示屏等。例如，输入/输出设备708可以包括用于向用户显示信息的诸如阴极射线管（CRT）或液晶显示器（LCD）监视器之类的显示设备、键盘、以及用户可以通过其向计算机702提供输入的诸如鼠标或轨迹球之类的定点设备。
图像获取设备714可以连接到计算机702以将图像数据（例如，医学图像）输入到计算机702。将图像获取设备714和计算机702实现为一个设备是可能的。图像获取设备714和计算机702通过网络进行无线通信也是可能的。在可能的实施例中，计算机702可以相对于图像获取设备714远离地定位。
本文中讨论的任何或所有***和装置可以使用诸如计算机702之类的一个或多个计算机来实现。
本领域技术人员将认识到，实际的计算机或计算机***的实现方式可以具有其他结构，并且也可以包含其他组件，并且为了说明的目的，图5是这种计算机的一些组件的高级表示。
前述具体实施方式应被理解为在每个方面都是说明性和示例性的，而不是限制性的，并且本文中公开的本发明的范围不是从具体实施方式中确定的，而是从根据专利法准许的完全范围所解释的权利要求中确定的。应当理解的是，本文中示出和描述的实施例仅仅是本发明原理的说明，并且本领域技术人员可以在不脱离本发明的范围和精神的情况下实现各种修改。本领域技术人员可以在不脱离本发明的范围和精神的情况下实现各种其他特征组合。

Claims (20)

1.一种计算机实现的方法，包括：
接收第一模态下的输入医学图像，输入医学图像包括针对一个或多个结节中的每一个的结节区域以及剩余区域，输入医学图像包括针对一个或多个结节中的每一个的注释；
从输入医学图像生成第二模态下的合成医学图像，合成医学图像包括针对一个或多个结节中的每一个的注释；
在第二模态下生成1）每一个结节区域的合成结节图像、以及2）剩余区域的合成剩余图像；
基于针对特定结节的合成结节图像以及合成剩余图像中的至少一个来确定一个或多个结节中的每个特定结节在合成医学图像中是否可见；以及
响应于确定一个或多个结节中的至少一个结节在合成医学图像中不可见，从合成结节图像中移除针对所述至少一个不可见结节的注释。
2.根据权利要求1所述的方法，其中基于针对特定结节的合成结节图像以及合成剩余图像中的至少一个来确定一个或多个结节中的每个特定结节在合成医学图像中是否可见包括：
将合成剩余图像中的像素的强度与阈值进行比较。
3.根据权利要求1所述的方法，其中基于针对特定结节的合成结节图像以及合成剩余图像中的至少一个来确定一个或多个结节中的每个特定结节在合成医学图像中是否可见包括：
确定合成剩余图像中的所述特定结节的中心处的强度与合成结节图像中的所述特定结节的中心处的强度之间的改变；以及
将所述强度改变与阈值进行比较。
4.根据权利要求1所述的方法，其中基于针对特定结节的合成结节图像以及合成剩余图像中的至少一个来确定一个或多个结节中的每个特定结节在合成医学图像中是否可见包括：
确定合成剩余图像中的所述特定结节的半径的一半内的像素的平均强度与合成结节图像中的所述特定结节的半径的一半内的像素的平均强度之间的改变；以及
将所述改变与阈值进行比较。
5.根据权利要求1所述的方法，其中从输入医学图像生成第二模态下的合成医学图像包括：
使合成结节图像中的像素的强度以突出显示因子而增加。
6.根据权利要求1所述的方法，其中从输入医学图像生成第二模态下的合成医学图像包括：
在合成医学图像中定位先前获取的合成结节图像。
7.根据权利要求1所述的方法，其中从输入医学图像生成第二模态下的合成医学图像包括：
旋转输入医学图像；以及
从经旋转的输入医学图像生成合成医学图像。
8.根据权利要求1所述的方法，进一步包括：
基于合成医学图像来训练基于机器学习的网络。
9.根据权利要求1所述的方法，其中接收第一模态下的输入医学图像包括：
将输入医学图像生成为包括一个或多个合成结节。
10.根据权利要求1所述的方法，其中第一模态是计算机断层摄影，并且第二模态是X射线。
11.一种装置，包括：
用于接收第一模态下的输入医学图像的部件，输入医学图像包括针对一个或多个结节中的每一个的结节区域以及剩余区域，输入医学图像包括针对一个或多个结节中的每一个的注释；
用于从输入医学图像生成第二模态下的合成医学图像的部件，合成医学图像包括针对一个或多个结节中的每一个的注释；
用于在第二模态下生成1）每一个结节区域的合成结节图像、以及2）剩余区域的合成剩余图像的部件；
用于基于针对特定结节的合成结节图像以及合成剩余图像中的至少一个来确定一个或多个结节中的每个特定结节在合成医学图像中是否可见的部件；以及
用于响应于确定一个或多个结节中的至少一个结节在合成医学图像中不可见，从合成结节图像中移除针对所述至少一个不可见结节的注释的部件。
12.根据权利要求11所述的装置，其中用于基于针对特定结节的合成结节图像以及合成剩余图像中的至少一个来确定一个或多个结节中的每个特定结节在合成医学图像中是否可见的部件包括：
用于将合成剩余图像中的像素的强度与阈值进行比较的部件。
13.根据权利要求11所述的装置，其中用于基于针对特定结节的合成结节图像以及合成剩余图像中的至少一个来确定一个或多个结节中的每个特定结节在合成医学图像中是否可见的部件包括：
用于确定合成剩余图像中的所述特定结节的中心处的强度与合成结节图像中的所述特定结节的中心处的强度之间的改变的部件；以及
用于将所述强度改变与阈值进行比较的部件。
14.根据权利要求11所述的装置，其中用于基于针对特定结节的合成结节图像以及合成剩余图像中的至少一个来确定一个或多个结节中的每个特定结节在合成医学图像中是否可见的部件包括：
用于确定合成剩余图像中的所述特定结节的半径的一半内的像素的平均强度与合成结节图像中的所述特定结节的半径的一半内的像素的平均强度之间的改变的部件；以及
用于将所述改变与阈值进行比较的部件。
15.根据权利要求11所述的装置，其中用于从输入医学图像生成第二模态下的合成医学图像的部件包括：
用于使合成结节图像中的像素的强度以突出显示因子而增加的部件。
16.一种存储计算机程序指令的非暂时性计算机可读介质，所述计算机程序指令在由处理器执行时使得处理器执行包括以下步骤的操作：
接收第一模态下的输入医学图像，输入医学图像包括针对一个或多个结节中的每一个的结节区域以及剩余区域，输入医学图像包括针对一个或多个结节中的每一个的注释；
从输入医学图像生成第二模态下的合成医学图像，合成医学图像包括针对一个或多个结节中的每一个的注释；
在第二模态下生成1）每一个结节区域的合成结节图像、以及2）剩余区域的合成剩余图像；
基于针对特定结节的合成结节图像以及合成剩余图像中的至少一个来确定一个或多个结节中的每个特定结节在合成医学图像中是否可见；以及
响应于确定一个或多个结节中的至少一个结节在合成医学图像中不可见，从合成结节图像中移除针对所述至少一个不可见结节的注释。
17.根据权利要求16所述的非暂时性计算机可读介质，其中从输入医学图像生成第二模态下的合成医学图像包括：
在合成医学图像中定位先前获取的合成结节图像。
18.根据权利要求16所述的非暂时性计算机可读介质，其中从输入医学图像生成第二模态下的合成医学图像包括：
旋转输入医学图像；以及
从经旋转的输入医学图像生成合成医学图像。
19.根据权利要求16所述的非暂时性计算机可读介质，进一步包括：
基于合成医学图像来训练基于机器学习的网络。
20.根据权利要求16所述的非暂时性计算机可读介质，其中第一模态是计算机断层摄影，并且第二模态是X射线。
CN202110482961.0A 2020-05-01 2021-04-30 用于训练结节检测***的来自ct图像的x射线图像合成 Pending CN113658284A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/929427 2020-05-01
US15/929,427 US11615267B2 (en) 2020-05-01 2020-05-01 X-ray image synthesis from CT images for training nodule detection systems

Publications (1)

Publication Number Publication Date
CN113658284A true CN113658284A (zh) 2021-11-16

Family

ID=75746445

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110482961.0A Pending CN113658284A (zh) 2020-05-01 2021-04-30 用于训练结节检测***的来自ct图像的x射线图像合成

Country Status (3)

Country Link
US (1) US11615267B2 (zh)
EP (1) EP3907698A1 (zh)
CN (1) CN113658284A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11531837B2 (en) * 2020-07-17 2022-12-20 Sap Se Query image synthesis for image retrieval systems based on data augmentation techniques
US11908047B2 (en) * 2021-03-11 2024-02-20 Siemens Healthineers Ag Generating synthetic x-ray images and object annotations from CT scans for augmenting x-ray abnormality assessment systems

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040151358A1 (en) * 2003-01-31 2004-08-05 Akiko Yanagita Medical image processing system and method for processing medical image
US8121373B2 (en) * 2005-03-01 2012-02-21 National University Corporation Kobe University Image diagnostic processing device and image diagnostic processing program
EP2710958A2 (en) * 2004-01-21 2014-03-26 Edda Technology, Inc. Method and system for intelligent qualitative and quantitative analysis of digital radiography softcopy reading
US20170200067A1 (en) * 2016-01-08 2017-07-13 Siemens Healthcare Gmbh Deep Image-to-Image Network Learning for Medical Image Analysis
US9892361B2 (en) * 2015-01-21 2018-02-13 Siemens Healthcare Gmbh Method and system for cross-domain synthesis of medical images using contextual deep network
CN108742679A (zh) * 2018-06-29 2018-11-06 上海联影医疗科技有限公司 结节检测装置和方法
US10127662B1 (en) * 2014-08-11 2018-11-13 D.R. Systems, Inc. Systems and user interfaces for automated generation of matching 2D series of medical images and efficient annotation of matching 2D medical images
US20190259153A1 (en) * 2018-02-22 2019-08-22 Siemens Healthcare Gmbh Cross domain medical image segmentation
WO2019238804A1 (en) * 2018-06-13 2019-12-19 Siemens Healthcare Gmbh Localization and classification of abnormalities in medical images
CN110889005A (zh) * 2018-08-15 2020-03-17 西门子医疗有限公司 搜索医学参考图像

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3843038B1 (en) * 2019-12-23 2023-09-20 HTC Corporation Image processing method and system

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040151358A1 (en) * 2003-01-31 2004-08-05 Akiko Yanagita Medical image processing system and method for processing medical image
EP2710958A2 (en) * 2004-01-21 2014-03-26 Edda Technology, Inc. Method and system for intelligent qualitative and quantitative analysis of digital radiography softcopy reading
US8121373B2 (en) * 2005-03-01 2012-02-21 National University Corporation Kobe University Image diagnostic processing device and image diagnostic processing program
US10127662B1 (en) * 2014-08-11 2018-11-13 D.R. Systems, Inc. Systems and user interfaces for automated generation of matching 2D series of medical images and efficient annotation of matching 2D medical images
US9892361B2 (en) * 2015-01-21 2018-02-13 Siemens Healthcare Gmbh Method and system for cross-domain synthesis of medical images using contextual deep network
US20170200067A1 (en) * 2016-01-08 2017-07-13 Siemens Healthcare Gmbh Deep Image-to-Image Network Learning for Medical Image Analysis
US20190259153A1 (en) * 2018-02-22 2019-08-22 Siemens Healthcare Gmbh Cross domain medical image segmentation
WO2019238804A1 (en) * 2018-06-13 2019-12-19 Siemens Healthcare Gmbh Localization and classification of abnormalities in medical images
CN108742679A (zh) * 2018-06-29 2018-11-06 上海联影医疗科技有限公司 结节检测装置和方法
CN110889005A (zh) * 2018-08-15 2020-03-17 西门子医疗有限公司 搜索医学参考图像

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HORNG-HORNG LIN ETAL: "《Learning a Scene Background Model via Classification》", 《IEEE TRANSACTIONS ON SIGNAL PROCESSING》, vol. 57, no. 5 *
YUE ZHANG ETAL: "《Unsupervised X-ray image segmentation with task driven generative adversarial networks》", 《MEDICAL IMAGE ANALYSIS 62 (2020)》, vol. 62 *

Also Published As

Publication number Publication date
US20210342638A1 (en) 2021-11-04
US11615267B2 (en) 2023-03-28
EP3907698A1 (en) 2021-11-10

Similar Documents

Publication Publication Date Title
US7903856B2 (en) Method for post-processing a three-dimensional image data set of vessel structure
US7860331B2 (en) Purpose-driven enhancement filtering of anatomical data
US9427173B2 (en) Determining mechanical force on aneurysms from a fluid dynamic model driven by vessel blood flow information
US8644575B2 (en) Processing of abdominal images
US8116542B2 (en) Determining hazard of an aneurysm by change determination
CN107169919B (zh) 用于3d医学体积的加速读取的方法和***
EP3493161B1 (en) Transfer function determination in medical imaging
US8064673B2 (en) Combined segmentation and registration framework for parametric shapes
US10867375B2 (en) Forecasting images for image processing
JPH08138078A (ja) 画像処理装置
US9135696B2 (en) Implant pose determination in medical imaging
US10083511B2 (en) Angiographic roadmapping mask
US7620229B2 (en) Method and apparatus for aiding image interpretation and computer-readable recording medium storing program therefor
JP7065830B2 (ja) 異なる反復から抽出された特徴画像を使用する特徴ベースの画像処理
CN111739614B (zh) 医学图像增强
CN113658284A (zh) 用于训练结节检测***的来自ct图像的x射线图像合成
CN101802877B (zh) 路径近似绘制
US11317875B2 (en) Reconstruction of flow data
WO2023117509A1 (en) 3d dsa image reconstruction
CN113205459B (zh) 用于冠状动脉的3d重建的血管造影图像的运动校正
US11908047B2 (en) Generating synthetic x-ray images and object annotations from CT scans for augmenting x-ray abnormality assessment systems
EP4202838A1 (en) 3d dsa image reconstruction
JP2004078960A (ja) 医療用三次元可視化画像の自動最適化
CN113205459A (zh) 用于冠状动脉的3d重建的血管造影图像的运动校正
WO2017018230A1 (ja) 画像処理装置、方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination