CN110782502B - 基于深度学习的pet散射估计***和使用感知神经网络模型的方法 - Google Patents
基于深度学习的pet散射估计***和使用感知神经网络模型的方法 Download PDFInfo
- Publication number
- CN110782502B CN110782502B CN201910697410.9A CN201910697410A CN110782502B CN 110782502 B CN110782502 B CN 110782502B CN 201910697410 A CN201910697410 A CN 201910697410A CN 110782502 B CN110782502 B CN 110782502B
- Authority
- CN
- China
- Prior art keywords
- input
- image
- filter
- neural network
- scatter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000003062 neural network model Methods 0.000 title claims abstract description 28
- 238000013135 deep learning Methods 0.000 title abstract description 9
- 230000008447 perception Effects 0.000 title abstract description 6
- 238000013528 artificial neural network Methods 0.000 claims abstract description 90
- 238000003860 storage Methods 0.000 claims abstract description 37
- 230000008569 process Effects 0.000 claims abstract description 26
- 238000002600 positron emission tomography Methods 0.000 claims description 59
- 238000012549 training Methods 0.000 claims description 32
- 230000001953 sensory effect Effects 0.000 claims description 30
- 238000012545 processing Methods 0.000 claims description 15
- 238000012937 correction Methods 0.000 claims description 12
- 238000012360 testing method Methods 0.000 claims description 9
- 239000010410 layer Substances 0.000 description 51
- 230000004913 activation Effects 0.000 description 12
- 230000000694 effects Effects 0.000 description 9
- 238000003384 imaging method Methods 0.000 description 9
- 238000013527 convolutional neural network Methods 0.000 description 8
- 238000004088 simulation Methods 0.000 description 8
- 238000002591 computed tomography Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000004519 manufacturing process Methods 0.000 description 6
- 230000009467 reduction Effects 0.000 description 6
- 238000013461 design Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 238000000342 Monte Carlo simulation Methods 0.000 description 2
- 238000012879 PET imaging Methods 0.000 description 2
- CYTYCFOTNPOANT-UHFFFAOYSA-N Perchloroethylene Chemical compound ClC(Cl)=C(Cl)Cl CYTYCFOTNPOANT-UHFFFAOYSA-N 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 230000003139 buffering effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 239000000700 radioactive tracer Substances 0.000 description 2
- 239000002356 single layer Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 210000000683 abdominal cavity Anatomy 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000001010 compromised effect Effects 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000004884 grey matter Anatomy 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000001727 in vivo Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000003211 malignant effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000002603 single-photon emission computed tomography Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 210000004887 upper abdominal cavity Anatomy 0.000 description 1
- 210000004885 white matter Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/005—Specific pre-processing for tomographic reconstruction, e.g. calibration, source positioning, rebinning, scatter correction, retrospective gating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10104—Positron emission tomography [PET]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/41—Medical
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Nuclear Medicine (AREA)
Abstract
本发明题为“基于深度学习的PET散射估计***和使用感知神经网络模型的方法”。本发明公开了估计图像中的散射的***、装置、方法和计算机可读存储介质。示例性装置包括网络生成器,所述网络生成器用于使用第一输入和第二输入生成和训练感知神经网络以部署感知神经网络模型,以在所述感知神经网络的第一输出和第二输出收敛时处理图像数据,所述第一输入基于所述第一图像的原始正弦图并且所述第二输入基于所述第一图像的衰减校正的正弦图,所述感知神经网络包括在一层中的第一尺寸的第一滤波器和第二尺寸的第二滤波器,以处理所述第一输入和/或所述第二输入以生成对所述第一图像中的散射的估计。所述示例性装置还包括图像处理器,用于将所述散射的估计应用于第二图像以生成处理后的图像。
Description
技术领域
本公开整体涉及图像处理,并且更具体地讲涉及使用感知神经网络模型的使用散射估计的图像处理。
背景技术
本节中的陈述仅提供与本公开相关的背景信息,并且可不构成现有技术。
获得的图像数据中的散射元素或伪像会降低所得图像的质量,并且可能模糊和/或以其他方式干扰图像的可读性和/或其他诊断质量。例如,正电子发射断层显像图像中的γ光子散射降低了图像估计体内生理参数的功效。此类散射可由发射放射性的对象或其他点源引起,以在所得图像中引起轴向和/或横向变形。
散射和/或其他伪影也可存在于计算机断层摄影图像中。此类散射降低了图像质量(例如,降低了图像的诊断可读性)和/或引入了看似是图像中的对象但却是由成像领域中的对象(例如,光子等)的图像数据引入的人工指示或伪像的元素。例如,泊松噪声可由低光子计数引起,并且可在最大衰减方向上在图像中引入随机亮条纹和暗条纹。
将图像中的散射效应错误地识别为患者中的恶性和/或其他异物可导致不必要的测试和治疗。相反,散射效应可模糊或掩盖为了患者健康应进一步检查和治疗的合规恶性肿块和/或其他异物。因此,需要减少获得的诊断图像中的散射效应。
发明内容
本发明公开和描述了生成和利用感知神经网络模型以估计图像中的散射的***、方法和装置。
某些示例提供了一种装置,该装置包括网络生成器,用于使用第一输入和第二输入生成并训练感知神经网络以部署感知神经网络模型,以在来自第一输入的感知神经网络的第一输出与来自第二输入的感知神经网络的第二输出收敛时以处理图像数据,该第一输入基于第一图像的原始正弦图,并且该第二输入基于第一图像的衰减校正的正弦图,该感知神经网络包括级联层中的第一尺寸的第一滤波器和第二尺寸的第二滤波器,以处理第一输入或第二输入中的至少一者以生成对第一图像中的散射的估计。该示例性装置还包括图像处理器,用于将散射估计应用于第二图像以生成处理后的图像并输出处理后的图像以用于存储或显示中的至少一者。
某些示例提供至少一个包括指令的计算机可读存储介质,所述指令在被执行时使至少一个处理器:使用由第一图像形成的第一输入和第二输入训练感知神经网络,该第一输入基于第一图像的原始正弦图并且该第二输入基于第一图像的衰减校正的正弦图,该感知神经网络包括级联层中的第一尺寸的第一滤波器和第二尺寸的第二滤波器,以处理第一输入或第二输入中的至少一者以生成对第一图像中的散射的估计;测试所述感知神经网络以确定来自所述第一输入的所述感知神经网络的第一输出和来自所述第二输入的所述感知神经网络的第二输出之间的收敛;以及部署感知神经网络的模型以处理第二图像以估计第二图像中的图像散射,以从第二图像移除估计的图像散射生成处理后的图像。
某些示例提供了处理图像以估计和移除图像散射的方法。该示例性方法包括使用由第一图像形成的第一输入和第二输入来训练感知神经网络,该第一输入基于第一图像的原始正弦图,该第二输入基于第一图像的衰减校正的正弦图,该感知神经网络包括级联层中的第一尺寸的第一滤波器和第二尺寸的第二滤波器,以处理第一输入或第二输入中的至少一者,以生成第一图像中的散射的估计。该示例性方法包括测试感知神经网络以确定来自第一输入的感知神经网络的第一输出与来自第二输入的感知神经网络的第二输出之间的收敛。该示例性方法包括部署感知神经网络的模型以处理第二图像,以估计第二图像中的图像散射,以从第二图像中移除估计的图像散射以生成处理后的图像。
附图说明
在下文结合附图阐述的以下具体实施方式中,本文公开的***和方法的特征和技术方面将变得显而易见,附图中相同的附图标记表示相同或功能相似的元件。
图1示出了用来计算正电子发射断层显像(PET)成像中散射事件的神经网络设计的框架。
图2示出了散射正弦图的深度学习预测与体模模拟的散射正弦图之间的比较。
图3示出了使用深度学习预测的正弦图和模拟的散射正弦图两者的圆柱形体模的重建图像。
图4是可用于实现本文所述的***和方法的示例性处理器***的框图。
图5示出了用于估计PET散射的过程的示例性流程图。
图6是能够执行指令以实现本文公开和描述的示例性***和方法的示例性处理器平台的框图。
具体实施方式
在以下详细描述中,参考形成其一部分的附图,并且其中通过图示的方式示出了可实践的具体示例。足够详细地描述了这些示例以使得本领域技术人员能够实践本主题,并且应当理解,可以利用其他示例,并且可以在不脱离本公开主题的范围的情况下进行逻辑、机械、电气和其他改变。因此提供以下详细描述的目的是为了描述示例性实施方式,而非被看作对本公开所述的主题的范围进行限制。来自以下描述的不同方面的某些特征可组合形成下文所讨论的主题的新方面。
当介绍本公开的各种实施方案的元件时,词语“一个”、“一种”、“该”和“所述”旨在意指存在这些元件中的一个或多个元件。术语“包含”、“包括”和“具有”旨在是包含性的,并且意指除了列出的元件之外还可存在附加元件。如本文所使用的术语“连接到”、“联接到”等,一个对象(例如,材料、元件、结构、构件等)可连接到或联接到另一个对象,而无论该对象是直接连接或联接到该另一个对象,还是该一个对象与该另一个对象之间存在一个或多个居间对象。
如本文所用,术语“***”、“单元”、“模块”、“引擎”等可包括操作以执行一个或多个功能的硬件和/或软件***。例如,模块、单元或***可包括计算机处理器、控制器和/或基于存储在有形和非暂态计算机可读存储介质(诸如计算机存储器)上的指令来执行操作的其他基于逻辑的设备。另选地,模块、单元、引擎或***可包括基于设备的硬连线逻辑来执行操作的硬连线设备。附图中示出的各种模块、单元、引擎和/或***可表示基于软件或硬连线指令操作的硬件、指示硬件执行操作的软件、或其组合。
如本文所用,单数引用(例如,“一个”、“一种”、“第一”、“第二”等)不排除多个。如本文所用,术语“一个”或“一种”实体是指该实体中的一个或多个。术语“一个”(或“一种”)、“一个或多个”和“至少一个”在本文中可互换使用。此外,尽管单独列出,但多个装置、元件或方法动作可由例如单个单元或处理器来实现。另外,尽管各个特征可包括在不同的示例或权利要求中,但这些特征可以组合,并且包括在不同的示例或权利要求中并不意味着这些特征的组合是不可行和/或不利的。
术语“和/或”当例如以诸如A、B和/或C的形式使用时,是指A、B、C的任何组合或子集,诸如(1)单独的A,(2)单独的B,(3)单独的C,(4)A和B,(5)A和C,(6)B和C,(7)A和B和C。如本文在描述结构、部件、项目、对象和/或事物的上下文中所使用的,短语“A和B中的至少一者”旨在指示包括以下任一项的具体实施:(1)至少一个A,(2)至少一个B以及(3)至少一个A和至少一个B。类似地,如本文在描述结构、部件、项目、对象和/或事物的上下文中所使用的,短语“A或B中的至少一者”旨在指示包括以下任一项的具体实施:(1)至少一个A,(2)至少一个B以及(3)至少一个A和至少一个B。如本文在描述过程、指令、动作、活动和/或步骤的进行或执行的上下文中所使用的,短语“A和B中的至少一者”旨在指示包括以下任一项的具体实施:(1)至少一个A,(2)至少一个B以及(3)至少一个A和至少一个B。类似地,如本文在描述过程、指令、动作、活动和/或步骤的进行或执行的上下文中所使用的,短语“A或B中的至少一者”旨在指示包括以下任一项的具体实施:包括(1)至少一个A,(2)至少一个B以及(3)至少一个A和至少一个B。
此外,应当理解,对本公开的“一个实施方案”或“实施方案”的引用不旨在被解释为排除也包含所引用特征的附加实施方案的存在。
下文结合正电子发射断层显像成像和相关散射公开和描述了某些示例。然而,下面描述和公开的***和方法可应用于估计和移除来自其他图像类型的散射,诸如计算机断层摄影(CT)图像、单光子发射计算机断层显像(SPECT)图像、x射线图像等。
常规地,当执行正电子发射断层显像(PET)扫描时,单散射模拟(SSS)的方法适于估计散射事件。首先必须将放射性同位素示踪剂引入患者体内。当来自放射性同位素的一对发射的γ光子的集合从患者体内的示踪剂散射出来时,构建出PET扫描图像。每对光子将沿相反的方向从患者的身体发射出来。如果任一光子击中患者身体的一部分(诸如骨骼或组织),则光子将改变方向并散射,并且光子将不再成对。光子的这种散射通常导致嘈杂(例如,包括模糊和/或其他图像伪影)的PET扫描图像。配对光子和散射光子两者均用于创建初始PET扫描图像。然后重建光子的集合(这需要估计和校正散射的光子)以读取为正弦图。与CT扫描相比,PET扫描由于散射和随机事件而具有更多噪声。一旦估计出PET扫描中的散射,则从PET扫描中减去SSS估计将留下比初始图像更清晰((例如,移除一些或全部散射效应))的图像。
在读取之前,使用包括估计在内的各种方法来处理数据。如果对发射和散射数据点的模拟网格进行精细采样,则PET扫描和SSS方法在计算上可能是昂贵的。相反,如果对数据点进行粗采样或者当计数统计值低时,SSS的准确性可能受到影响。此外,SSS模型仅估计经历一次散射实例的事件的分布。可能发生γ光子的多次散射,并且必须单独估计这种现象。当γ光子行进穿过患者的身体时,光子可在其发生散射并改变方向之前行进很长距离。SSS模型产生非常粗略的估计,并且通常需要很长时间来模拟。太小的滤波器没有足够大的感受野来捕获远离发射源的散射介质。另一方面,太大的滤波器无法捕获结构的局部细节,并且在计算上也可能是昂贵的。必须达到平衡才能发现可捕获数据点范围同时仍捕获足够细节的理想滤波器尺寸。
可通过多种方式来估计PET散射,包括深度学习。例如,可使用卷积神经网络(CNN)来估计PET散射。CNN包括多层,其中每一层在图像上执行数学计算、卷积等。CNN可包括应用于输入图像的滤波器框,诸如5×5、10×10或100×100等。边界框逐行和逐列地执行卷积,以便获得局部图像信息。如果使用大滤波器并且仅存在少量数据,则估计可能非常不可靠并且增加过拟合的机会。相反,某些示例使用深度学习估计方法来实现改善的准确度和计算效率。在某些示例中,可使用感知神经网络模型来估计PET散射。
通常,为了增加深度神经网络的性能,必须增加网络的尺寸。某些示例提供了一种感知神经网络模型,其可用于通过加宽而不是加深神经网络来更好地估计PET散射。加宽的感知网络可比先前使用的方法更有效且更准确。随着深度神经网络延伸得更深,也会增加瓶颈的可能性。扩展感知网络的宽度,而不是增加网络的深度,可减少计算瓶颈的可能性。尽管感知架构的宽度增加,但神经网络能够使用比先前所使用的网络更少的参数来操作。
感知神经网络是一种类型的CNN,其中为了获得更好的性能不是越来越深地堆叠卷积层,而是多种尺寸的滤波器在同一级别的网络上操作。因此,不是加深而是使用更多层的滤波器,感知网络通过不同尺寸的多个滤波器占用网络中的同一层而变得更宽。因此,不是一层1×1滤波器、另一层3×3滤波器和另一层5×5滤波器,而是感知网络的单层可包括例如1×1、3×3和5×5滤波器。例如,可执行池化,并且将滤波器的输出级联并发送到下一网络层。在某些示例中,可对卷积进行分解以将在计算上更昂贵的卷积分成在计算上更快的多个卷积(例如,5×5卷积变成为两个3×3卷积等)。卷积可以从n×n滤波器分解为1×n和n×1卷积的组合。因此,可将100×100滤波器卷积分解为1×100和100×1卷积的组合。感知网络中更宽而非更深的滤波器组有助于消除计算瓶颈并提高图像分析的计算速度。在某些示例中,为了增加网络稳定性,可经由激活层缩放节点或模块的残余激活,以减少滤波器节点激活。
PET扫描通常会产生嘈杂的图像。这种噪声在很大程度上是由于γ光子散射和改变方向的趋势造成的。高度散射和方向变化使得设计者难以预测要在神经网络中使用的滤波器的理想尺寸。神经网络滤波器的理想滤波器尺寸要足够小以捕获局部细节,但也要足够大以捕获大量散射的光子。某些示例提供了用于估计PET散射的感知神经网络模型。感知网络非常适于估计PET散射的任务,因为它能够将各种尺寸的滤波器级联成一层,从而减少了神经网络模型进行训练的计算负担和参数数量。感知网络在设计卷积滤波器的尺寸方面非常灵活。在每一层中,滤波器的范围可介于1×1至足够大以覆盖整个视场(FOV)的范围内。包含1×1滤波器允许网络中的参数数量减少五倍到十倍。向每个通道添加额外的1×1卷积大大降低了感知网络的计算成本。尽管添加了滤波器,但输入通道的总数节省了计算资源。例如,在具有5×5滤波器的同一通道中添加1×1滤波器可将输入数从二十五减少到一。与具有框核尺寸(诸如10×10和100×100)的CNN模型不同,感知模型可使用诸如100×1和1×100的核尺寸。100×100框核尺寸类似于两个独立的100×1和1×100核尺寸。将核分成两个较小的核允许参数的总数减少(例如,参数减少5到10倍等)。例如,这种分离允许神经网络的设计者设计更大的滤波器,其比较小的滤波器在物理上更精确,但不需要像更大的滤波器那样进行那么多的训练。
利用感知模型来估计PET散射改进了PET成像工业中的许多当前实践。将尺寸为n×n的框核拆分为尺寸为1×n和n×1的两个滤波器的能力大大减少了待训练的参数数量。框核的参数数量为n乘以n,而将框核***成两个核只有n加n个参数。参数数量的减少降低了训练的计算成本,因为待训练的参数较少。另外,通过降低过拟合的概率来改善网络的稳健性。当神经网络从训练中记住了示例但不知如何将其学到的内容泛化到独特情况时,就会发生过拟合。换句话讲,当神经网络使用不适合未来数据输入的模型来近似输入数据时,就会发生过拟合。当针对相对于网络尺寸的少量数据使用具有大核尺寸的大型网络时,可能会导致这种情况。网络中参数数量的减少降低了过拟合的可能性。感知神经网络模型可适应各种尺寸的滤波器,从而在设计上提供灵活性,而不需要训练许多参数。
在准备好实施感知神经网络之前,必须对其进行训练。训练感知神经网络并通过两个输入来利用,第一输入是原始PET发射正弦图,第二输入是第一输入的衰减校正的PET发射正弦图。训练过程中可包括单个散射和多个散射的随机模拟事件。例如,可针对随机重合以及检测器和几何归一化因子来校正第一输入。第二输入数据被设计成使得两个输入均包括PET数据并且允许这两个输入进入感知神经网络之间的一致性和可比性。因此,第一输入和第二输入之间的比率形成衰减校正因子。
例如,使用Monte Carlo模拟,数据用于训练和验证感知神经网络。该模拟数据可包括已知的体模,诸如NEMA IQ体模、Zubal体模、类脑体模型等。模拟体模可用作与原始正弦图相比较的第二输入。可通过神经网络放置体模模拟,并生成已知和预期的图像。同时(或基本上同时给定数据处理、传输和/或存储延迟等),原始正弦图可通过神经网络放置,从而允许其输出可与已知的体模模拟的输出进行比较。观察到的任何差值可指导神经网络中参数(例如,网络权重等)的修改。可重复该过程,直到原始正弦图的输出提供可靠且经验证的结果(例如,与阈值、百分比差值、误差幅度等相比)。一旦对感知网络进行了训练,该神经网络就可被部署为神经网络模型并应用于真实的患者数据以放心地估计PET散射。
转到附图,图1示出了可用于训练和计算PET成像中的散射事件的示例性感知神经网络100。如图1的示例所示,层108、112、120包括1×1卷积滤波器。层109、113、121可包括多个不同尺寸的滤波器。例如,包含1×1滤波器允许减少参数的数量并降低训练的计算成本。例如,根椐期望的输出质量,示例性感知网络100可包括不同数量的层108、109、112、113、120、121。所示的两个输入来自相同的PET图像,一个输入102为原始正弦图,而另一个输入104为同一PET扫描/图像的衰减校正。因为两个PET扫描输入102、104共享类似的物理现象,所以在估计PET散射时可通过一致的比较来训练和利用感知神经网络100。
如图1的示例所示,第一输入102为原始PET发射正弦图,并且第二输入104为衰减校正的PET发射正弦图。另选地或除此之外,第一输入102可包括原始(例如,提示重合)正弦图,其与例如由原始正弦图与衰减校正的正弦图的比率形成的衰减校正因子正弦图的第二输入104配对。
在某些示例中,输入102、104两者接合在一起106成为进入感知神经网络模型100中的一个输入106。滤波器层108获取该输入对106的输入。滤波器层108包括1×1至31×31的滤波器尺寸。滤波器的尺寸范围允许滤波器层108、112、120捕获PET图像的整个FOV和局部细节。一旦卷积中的每个卷积过滤或分离/识别出特定特征,则级联不同的滤波器通道以形成对PET散射的估计。该过程可重复116次,直到滤波器级联122产生可验证的PET散射估计。在最终的滤波器级联122之后,神经网络100完全连接124,使得特定层中的每个节点具有与下一层中的每个节点的连接(例如,某个加权连接)。节点之间的每个连接可具有触发其激活的不同权重和概率。当对网络进行训练时建立或加强连接,并最终导致神经网络具有最佳的架构以估计PET散射。
如图1的示例所示,引入了基于整流线性单元(ReLU)的激活层126,以确定节点之间的连接是否将用于估计光子散射。ReLU实现整流器或激活功能。这样,激活层126可被描述为函数f(x)=x+=max(0,x),其中x是激活层216中的节点的输入,只有大于零的值等于“x”,而所有小于零的值被调整为零。激活层126通过通知神经网络连接打开或关闭来加速神经网络的训练和执行。通过将节点的触发限制为打开或关闭的二进制选择,神经网络100可减少其计算负担。通过确定要击发哪些节点,激活层126可对每个单独的PET图像优化神经网络100。最后,输出层128产生待用于处理相关联PET图像的光子散射的最佳估计。因此,图像中的散射量及其位置(例如,其轴向和轴向分布等)可由网络层中的节点来识别,并且被构造成对图像的散射估计。该散射估计可输出以用于应用返回正在处理的源图像。例如,可从相关联的PET图像中减去和/或以其他方式移除所确定的光子散射,以提供具有减少的模糊、伪像和/或光子散射的其他效果的更清晰、更可靠的图像。在训练期间,可使用诸如均方误差等的损失函数来处理网络100的输出128,并且可使用Adam优化、其他随机优化等来优化和/或以其他方式改进网络。
例如,使用感知神经网络模型100提供一种多种规格架构,其中多个层的输出被馈送到分类器以识别图像中的散射效应。因此,不是将中间层输出连接到下一层输入,而是将感知神经网络中的更低层的输出馈送到分类器。这样,可将由网络的更低层识别的较低级别特征提供给分类器(例如,完全连接层124和激活层126),以确定正在处理的图像中的散射。另外,感知神经网络模型100的层109、113、121可包括单层内各种尺寸的多个卷积滤波器,而不是需要多个层来适应各种尺寸。这种设计允许感知神经网络模型100更宽而不是更深,从而允许给定层中的滤波器对图像数据进行更平行的处理,并且更少的层等待来自先前层的图像数据处理。例如,此类布置提高了准确度、提高了处理速度,并且减少了训练时间和要训练的模型参数的数量。
例如,模拟数据可用于训练神经网络。例如,可基于GE Discovery MI PET/CT扫描仪执行示例性模拟,该扫描仪包含具有4.0mm×5.3mm×25mm LYSO晶体的基于SiPM的检测器。在此类示例中,横轴视场(FOV)为700mm,轴向FOV为200mm。在该示例中使用SimSETMonte-Carlo仿真工具模拟十个数字体模。模拟真实、随机、单个散射、多个散射事件。还模拟了衰减和检测器归一化因子。表1提供了该示例中模拟的体模的列表。
表1.用于训练神经网络的模拟体模
体模 | 尺寸 | 主要特征 |
环形 | 20cm×20cm×20cm | 3cm厚环 |
圆柱形 | 20cm×20cm×20cm | 均匀 |
圆柱形 | 30cm×30cm×20cm | 均匀 |
圆柱形 | 40cm×40cm×20cm | 均匀 |
椭圆形 | 40cm×27cm×20cm | 肺+病灶 |
霍夫曼脑 | 16cm×12cm×11cm | 白色和灰色物质 |
IEC NEMA | 23cm×30cm×24cm | 热冷球体 |
下部腹腔 | 40cm×27cm×20cm | 热囊状物 |
点源 | 35cm×35cm×20cm | 暖背景中的点源 |
Zubal | 45cm×40cm×20cm | 上部腹腔 |
在该训练示例中,神经网络模型包括输入层、五个级联滤波器层块(例如,在图1的示例中仅示出两个层,因为中间块是相同的)、完全连接层、最终激活层和输出层。在一个块内,每层包括五个滤波器的级联,其尺寸范围从1×1到31×31。较小的滤波器被设计用于捕获局部结构,较大的滤波器被设计用于考虑远离发射源的散射介质。例如,可使用在GE20cmDiscovery MI PET/CT扫描仪上获取的真实体模数据和临床数据来测试经训练的神经网络。
在该训练示例中,神经网络在TensorFlow上使用Keras前端进行训练。在该示例中,每种过滤器类型的过滤器数量为16。将均方误差被用作损失函数,Adam用作优化器,激活函数用作ReLU。学习速率被用作默认值,并且数据例如以10个时期分16个批次进行训练。
图2示出了PET散射正弦图210的感知网络100预测与体模模拟的散射正弦图220之间的示例性差异。从已知特征(例如,维度、密度、效应等)的体模获得的模拟散射正弦图220也可被称为地面真值。单个散射和多个散射均包括在正弦图中。另外,轴外视场散射可包括在散射评估和估计中,以提供对其他技术中不可用散射的更准确的估计。
图3示出了重建的正弦图图像之间的示例性比较。一个图像是使用由感知神经网络100预测的深度学习散射估计的散射校正的圆柱形体模的图像310。第二图像320是具有基于模型的散射校正的圆柱形体模的图像。单个散射和多个散射均应用于深度学习预测图像和图像重建中。
图2和图3均表明,用于估计PET散射的受过训练的感知神经网络模型可产生与地面真值体模估计一致的可靠散射特征图。深度学习预测,尤其是感知神经网络的实施方式,可使用比先前使用的方法更少的计算资源来进行更可靠的估计。在某些示例中,使用地面真值体模模拟通过充当与原始输入图像的比较来训练感知网络。持续的改变可提高感知模型的准确性和计算效率。
图4是用于估计PET光子散射的示例性处理***400的框图。处理***400包括图像输入410。可从PET扫描仪412(和/或其他成像设备)或图像存档414中将图像410引入输入处理器420。输入处理器420使用图像输入410将训练数据430发送到网络发生器440。使用训练数据430,网络发生器440开发训练神经网络模型442。一旦已验证了神经网络模型442的准确性并进行了彻底测试,就可将其部署为准备应用的神经网络模型452(诸如感知神经网络模型100等)。图像处理器450与成像输入410通信。因为图像处理器450利用部署的网络模型452,所以图像输入410可包括准备待读取以确定诊断的患者图像数据。使用部署的网络模型452和图像输入410,图像处理器450可估计PET光子散射454。然后可从初始图像输入410中减去估计的PET散射454,以生成清晰(定量的)并准备待读取以诊断患者的输出图像460。
图5示出了用于估计PET光子散射并生成准备待读取以诊断患者的PET扫描的过程的示例性流程图500。使用感知神经网络模型,创建训练神经网络510。网络510包括输入层和若干组滤波器层块,这些滤波器层块级联在一起以最佳地估计PET图像中的散射。神经网络510还包括完全连接层、激活层和输出层。在已构建受过训练的神经网络510之后,可训练520网络510。为了训练520神经网络510,两个输入(例如,诸如由相同测试或参考图像(例如,已知体模的图像等)形成的输入102、104等)等)可在经过神经网络520之后进行比较。可将一个输入(诸如原始PET正弦图)与第二输入(诸如模拟体模正弦图或其他衰减校正的正弦图)进行比较,衰减校正因子正弦图由原始正弦图和衰减校正的正弦图的比率形成等。在某些示例中,两个输入都是由相同的源图像形成的。该第二输入具有可用于比较和验证530训练神经网络510的准确度的已知输出。
在训练循环520之后,可使用第二模拟体膜正弦图来测试540神经网络510。如果第二模拟正弦图的准确度超过准确度阈值,那么训练神经网络510准备待部署以用于应用。例如,准确度阈值可基于来自第一输入的训练神经网络510的第一输出和来自第二输入的训练神经网络510的第二输出之间的收敛度或相似度。当训练神经网络510确定散射的估计相同(或类似在指定的误差范围内)时,输出收敛。如果测试无法产生准确的收敛输出,则会进行额外的训练。
一旦测试令人满意,部署的神经网络550可获取真实患者图像数据560的输入以估计PET光子散射570。可从初始患者图像560中减去580估计的光子散射570,以产生可用于诊断患者的最终清晰或定量的图像。该处理后的图像被输出590用于显示、存储、通过计算机辅助检测(CAD)算法处理、格式化用于放射学读取、提供给另一临床***用于进一步图像处理等。
某些示例提供估计在PET扫描图像中发现的光子散射的经修改的感知神经网络模型用于成像。在估计出光子散射之后,可从整个PET扫描图像中减去光子散射,以清除图像中发现的任何噪声。经修改的感知模型能够结合各种尺寸的滤波器以捕获整个FOV和PET图像的局部细节。与先前使用的估计PET散射的方法(诸如CNN模型)相比,感知神经网络可如本文所述进行修改,以通过减少网络中的参数量来降低训练和使用神经网络的计算成本。参数的减少还通过降低过拟合的概率来改善神经网络的稳健性。当估计单个和多个散射事件的光子散射时,经修改的感知模型还增加了准确度和效率。
图5中示出了表示用于结合图1至图4的示例性***/装置进行实现和/或执行的示例性机器可读指令的流程图或流程图。在这些示例中,机器可读指令包括供处理器(诸如下文结合图6讨论的示例性处理器平台600中所示的处理器612)执行的程序。该程序可体现在有形计算机可读存储介质(诸如CD-ROM、软盘、硬盘驱动器、数字通用盘(DVD)、BLU-RAYTM盘或与处理器612相关联的存储器)上存储的软件中,但整个程序和/或其部分可另选地由除处理器612之外的设备执行和/或体现在固件或专用硬件中。此外,尽管参考图5中所示的流程图和/或过程描述了示例性程序,可另选地使用实现本文所公开和描述的示例的许多其他方法。例如,可改变方框的执行顺序,和/或可改变、消除或组合所述的一些方框。
如上所述,图5的示例性过程可使用存储在有形计算机可读存储介质上的编码指令(例如,计算机和/或机器可读指令)来实现,该有形计算机可读存储介质诸如为硬盘驱动器、闪存、只读存储器(ROM)、光盘(CD)、数字多功能盘(DVD)、高速缓存、随机存取存储器(RAM)和/或任何其他存储设备或存储盘,其中信息被存储任何持续时间(例如,存储延长的时间段、用于短暂实例、用于临时缓冲和/或用于缓存信息)。如本文所用,术语有形计算机可读存储介质明确地被定义为包括任何类型的计算机可读存储设备和/或存储盘,并且排除传播信号且排除传输介质。如本文所用,“有形计算机可读存储介质”和“有形机器可读存储介质”可互换使用。除此之外或另选地,图5的示例性过程可使用存储在非暂态计算机和/或机器可读介质上的编码指令(例如,计算机和/或机器可读指令)来实现,该非暂态计算机和/或机器可读介质诸如为将信息存储任何持续时间(例如,存储延长时间段、永久存储、用于短暂实例、用于暂时缓冲和/或用于信息的高速缓存)的硬盘驱动器、闪速存储器、只读存储器、压缩盘、数字通用盘、高速缓存、随机存取存储器和/或任何其他存储设备或存储盘。如本文所用,术语非暂态计算机可读介质明确地被定义为包括任何类型的计算机可读存储设备和/或存储盘,并且排除传播信号且排除传输介质。如本文所用,当短语“至少”用作权利要求前序中的过渡性术语时,与术语“包含”是开放式的一样,其也是开放式的。
本说明书的主题可被实现为独立***或者作为能够由一个或多个计算设备执行的应用程序来执行。应用程序(例如,网页、可下载的小应用程序或其他移动可执行文件)可生成本文所述的各种显示或图形/视觉表示,其可经由计算设备促进与用户接口(接收输入/指令、生成图示)的方式生成作为图形用户界面(GUI)或其他可作为网页等的可视图示。
如本文所提及的存储器和处理器可独立地或一体地构造为各种可编程设备的一部分,包括例如台式计算机或膝上型计算机硬盘驱动器、现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP),片上***(SOC),可编程逻辑器件(PLD)等等或作为计算设备的一部分,以及其可操作的任何组合执行与实现本文描述的主题的方法相关联的指令。
本文所提及的计算设备可包括:移动电话;计算机,诸如台式或膝上型计算机;个人数字助理(PDA)或移动电话;笔记本,平板电脑或其他移动计算设备;等等以及它们的任何组合。
本文所引用的计算机可读存储介质或计算机程序产品是有形的(并且另选地为如上定义的非暂态介质),并且可包括用于存储电子格式信息诸如计算机可读程序指令或指令、数据等的模块的易失性和非易失性的、可移除的和不可移除的介质,这些电子格式信息可为独立的或作为计算设备的一部分。计算机可读存储介质或计算机程序产品的示例可包括但不限于RAM、ROM、EEPROM、闪存、CD-ROM、DVD-ROM或其他光学存储器,磁带盒、磁带、磁盘存储器或其他磁存储设备,或可用于存储所需信息的电子格式并且可由处理器或计算设备的至少一部分访问的任何其他介质。
如本文所引用的术语模块和部件通常表示当在处理器上执行时引起指定任务的程序代码或指令。程序代码可存储在一个或多个计算机可读介质中。
如本文所提及的网络可包括但不限于:广域网(WAN);局域网(LAN);互联网;有线或无线(例如,光学、蓝牙、射频(RF))网络;基于云的计算机、路由器、服务器、网关等计算基础设施;或与其相关联的允许***或其部分与一个或多个计算设备进行通信的任何它们的组合。
术语“用户”和/或该术语的复数形式通常用于指能够访问、使用或从本公开获益的那些人。
图6是能够执行指令以实现本文公开和描述的示例性***和方法的示例性处理器平台600的框图。处理器平台600可为例如服务器、个人计算机、移动设备(例如,手机、智能电话、平板电脑诸如IPADTM)、个人数字助理(PDA)、互联网设备或任何其他类型的计算设备。
所示示例的处理器平台600包括处理器612。所示示例的处理器612是硬件。例如,处理器612可由来自任何所需产品系列或制造商的一个或多个集成电路、逻辑电路、微处理器或控制器来实现。
所示示例的处理器612包括本地存储器613(例如,高速缓存)。所示示例的处理器612经由总线618与包括易失性存储器614和非易失性存储器616的主存储器通信。易失性存储器614可由同步动态随机存取存储器(SDRAM)、动态随机存取存储器(DRAM)、RAMBUS动态随机存取存储器(RDRAM)和/或任何其他类型的随机存取存储器设备来实现。非易失性存储器616可由闪速存储器和/或任何其他所需类型的存储器设备来实现。由存储器控制器控制对主存储器614、616的存取。
所示示例的处理器平台600还包括接口电路620。接口电路620可由任何类型的接口标准诸如以太网接口、通用串行总线(USB)和/或PCI express接口来实现。
在所示的示例中,一个或多个输入设备622连接到接口电路620。一个或多个输入设备622允许用户将数据和命令输入到处理器612中。一个或多个输入设备可由例如音频传感器、麦克风、相机(静物相机或摄像机)、键盘、按钮、鼠标、触摸屏、触控板、轨迹球、isopoint和/或语音识别***来实现。
一个或多个输出设备624也连接到所示示例的接口电路620。输出设备624可例如由显示设备(例如,发光二极管(LED)、有机发光二极管(OLED)、液晶显示器、阴极射线管显示器(CRT)、触摸屏、触觉输出设备、发光二极管(LED)、打印机和/或扬声器)来实现。因此,所示示例的接口电路620通常包括图形驱动器卡、图形驱动器芯片或图形驱动器处理器。
所示示例的接口电路620还包括通信设备,诸如发射器、接收器、收发器、调制解调器和/或网络接口卡,以促进经由网络626(例如,以太网连接、数字用户线(DSL)、电话线、同轴电缆、蜂窝电话***等)来与外部机器(例如,任何种类的计算设备)交换数据。
所示示例的处理器平台600还包括用于存储软件和/或数据的一个或多个大容量存储设备628。此类大容量存储设备628的示例包括软盘驱动器、硬盘驱动器、压缩盘驱动器、蓝光盘驱动器、RAID***以及数字通用光盘(DVD)驱动器。
编码指令632可存储在大容量存储设备628中、易失性存储器614中、非易失性存储器616中和/或可移动的有形计算机可读存储介质(诸如CD或DVD)上。指令632可由处理器612执行以实现如上所公开和描述的示例性网络模型110、***400等。
根据前述内容,应当理解,已公开了以上所公开的方法、装置和制品以使用深度学习和/或其他机器学习技术来改进成像和/或其他医疗***的操作。本发明所公开的方法、装置和制品以下方式改进计算设备的操作:通过结合经训练和部署的深度神经网络模型,扩展其识别并模拟PET图像和/或其他医学诊断图像中的散射并通过从图像数据中移除已识别的散射来提高图像质量的能力。通过感知神经网络的多规格、多尺寸层提高了训练、测试和部署图像处理的速度、准确度和灵活性。相对于成像设备和图像处理器的感知神经网络模型的配置和部署改变和改进了至少包括图像处理器的计算机以及接收和进一步处理处理后的图像的其他***的操作和配置。因此,本发明所公开的方法、装置和制品涉及计算机功能的一个或多个改进。本发明所公开的方法、装置和制品还通过图像处理器和网络生成器等使得成像设备与所得医疗保健***进行新的和不同的交互等。本发明所公开的示例不指导或组织人类活动,并且不能在人的脑中精神上进行。相反,它们修改计算技术以实例化改进的网络模型并在技术上改进图像处理。
与先前使用的估计散射的方法(诸如其他CNN模型)相比,感知神经网络可如本文所述进行修改,以通过减少网络中的参数数量来降低训练和使用神经网络的计算成本。参数的减少还通过降低过拟合的概率来改善神经网络的稳健性。当估计单个和多个散射事件的光子散射时,经修改的多规格感知模型还增加了准确度和效率。
虽然本文已描述了某些示例性方法、装置和制品,但本专利的覆盖范围不限于此。相反,本专利覆盖合理落入本专利的权利要求书的范围内的所有方法、装置和制品。
Claims (20)
1.一种用于图像处理的装置,包括:
网络生成器,所述网络生成器用于使用第一输入和第二输入生成并训练感知神经网络以部署感知神经网络模型,以在来自所述第一输入的所述感知神经网络的第一输出与来自所述第二输入的所述感知神经网络的第二输出收敛时以处理图像数据,所述第一输入基于第一图像的原始正弦图,并且所述第二输入基于所述第一图像的衰减校正的正弦图,所述感知神经网络包括级联层中的第一尺寸的第一滤波器和第二尺寸的第二滤波器,以处理所述第一输入或所述第二输入中的至少一者以生成对所述第一图像中的散射的估计;和
图像处理器,所述图像处理器用于将所述散射估计应用于第二图像,以生成处理后的图像,并输出所述处理后的图像以用于存储或显示中的至少一者。
2.根据权利要求1所述的装置,其中所述第一图像为正电子发射断层显像(PET)图像。
3.根据权利要求1所述的装置,其中所述网络生成器使用所述第一输入和所述第二输入之间的比率来确定衰减校正因子。
4.根据权利要求3所述的装置,其中所述第二输入包括所述衰减校正因子。
5.根据权利要求1所述的装置,其中所述第一滤波器包括1×n滤波器,并且所述第二滤波器包括n×1滤波器,所述第一滤波器和所述第二滤波器组合以实现n×n卷积滤波器。
6.根据权利要求1所述的装置,其中所述第一输入包括模拟散射正弦图。
7.根据权利要求1所述的装置,其中所述散射包括以下中的至少一者:单个散射、多个散射或轴外视场散射。
8.根据权利要求1所述的装置,其中所述感知神经网络是包括多个滤波器层块的多规格网络,其中每个滤波器块被级联,并且最终的滤波器级联层是到完全连接层的输入,所述完全连接层是到激活层的输入,所述激活层是到输出层的输入以生成所述散射估计。
9.一种计算机可读存储介质,包括指令,所述指令在被执行时使至少一个处理器执行以下操作:
使用由第一图像形成的第一输入和第二输入训练感知神经网络,所述第一输入基于所述第一图像的原始正弦图,所述第二输入基于所述第一图像的衰减校正的正弦图,所述感知神经网络包括级联层中的第一尺寸的第一滤波器和第二尺寸的第二滤波器,以处理所述第一输入或所述第二输入中的至少一者,以生成对所述第一图像中的散射的估计;
测试所述感知神经网络以确定来自所述第一输入的所述感知神经网络的第一输出和来自所述第二输入的所述感知神经网络的第二输出之间的收敛;以及
部署所述感知神经网络的模型以处理第二图像以估计所述第二图像中的图像散射,以从所述第二图像中移除所述估计的图像散射以生成处理后的图像。
10.根据权利要求9所述的计算机可读存储介质,其中所述第一图像为正电子发射断层显像(PET)图像。
11.根据权利要求9所述的计算机可读存储介质,其中所述指令在被执行时使所述至少一个处理器使用所述第一输入和所述第二输入之间的比率来确定衰减校正因子。
12.根据权利要求11所述的计算机可读存储介质,其中所述第二输入包括所述衰减校正因子。
13.根据权利要求9所述的计算机可读存储介质,其中所述第一滤波器包括1×n滤波器,并且所述第二滤波器包括n×1滤波器,所述第一滤波器和所述第二滤波器组合以实现n×n卷积滤波器。
14.根据权利要求9所述的计算机可读存储介质,其中所述散射包括以下中的至少一者:单个散射、多个散射或轴外视场散射。
15.根据权利要求9所述的计算机可读存储介质,其中所述感知神经网络是包括多个滤波器层块的多规格网络,其中每个滤波器块被级联,并且最终的滤波器级联层是到完全连接层的输入,所述完全连接层是到激活层的输入,所述激活层是到输出层的输入以生成所述散射估计。
16.一种处理图像以估计和移除图像散射的方法,所述方法包括:
使用由第一图像形成的第一输入和第二输入训练感知神经网络,所述第一输入基于所述第一图像的原始正弦图,所述第二输入基于所述第一图像的衰减校正的正弦图,所述感知神经网络包括级联层中的第一尺寸的第一滤波器和第二尺寸的第二滤波器,以处理所述第一输入或所述第二输入中的至少一者,以生成对所述第一图像中的散射的估计;
测试所述感知神经网络以确定来自所述第一输入的所述感知神经网络的第一输出和来自所述第二输入的所述感知神经网络的第二输出之间的收敛;以及
部署所述感知神经网络的模型以处理第二图像以估计所述第二图像中的图像散射,以从所述第二图像中移除所述估计的图像散射以生成处理后的图像。
17.根据权利要求16所述的方法,其中所述第一图像为正电子发射断层显像(PET)图像。
18.根据权利要求16所述的方法,还包括使用所述第一输入和所述第二输入之间的比率来确定衰减校正因子,并将所述衰减校正因子结合到所述第二输入中。
19.根据权利要求16所述的方法,其中所述第一滤波器包括1×n滤波器,并且所述第二滤波器包括n×1滤波器,所述第一滤波器和所述第二滤波器组合以实现n×n卷积滤波器。
20.根据权利要求16所述的方法,其中所述感知神经网络是包括多个滤波器层块的多规格网络,其中每个滤波器块被级联,并且最终的滤波器级联层是到完全连接层的输入,所述完全连接层是到激活层的输入,所述激活层是到输出层的输入以生成所述散射估计。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862712753P | 2018-07-31 | 2018-07-31 | |
US62/712,753 | 2018-07-31 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110782502A CN110782502A (zh) | 2020-02-11 |
CN110782502B true CN110782502B (zh) | 2023-11-03 |
Family
ID=69229728
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910697410.9A Active CN110782502B (zh) | 2018-07-31 | 2019-07-30 | 基于深度学习的pet散射估计***和使用感知神经网络模型的方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11145055B2 (zh) |
CN (1) | CN110782502B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110097611B (zh) * | 2019-04-28 | 2023-09-22 | 上海联影智能医疗科技有限公司 | 图像重建方法、装置、设备及存储介质 |
US20210133589A1 (en) * | 2019-10-30 | 2021-05-06 | Siemens Medical Solutions Usa, Inc. | Inverse neural network for particle detection in a solid-state -devices |
US11508048B2 (en) * | 2020-02-10 | 2022-11-22 | Shenzhen Institutes Of Advanced Technology | Method and system for generating composite PET-CT image based on non-attenuation-corrected PET image |
JP2024512295A (ja) * | 2021-03-01 | 2024-03-19 | オーフス ユニバーシテット | 機械学習によるpet画像の分析および再構成 |
CN113139931B (zh) * | 2021-03-17 | 2022-06-03 | 杭州迪英加科技有限公司 | 甲状腺切片图像分类模型训练方法、装置 |
CN117635614B (zh) * | 2024-01-25 | 2024-04-02 | 南京航空航天大学 | 一种超快x射线成像无损检测方法及*** |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1695999A (zh) * | 2004-05-13 | 2005-11-16 | 通用电气公司 | 监视和控制报警***的方法和装置 |
CN104408753A (zh) * | 2014-10-27 | 2015-03-11 | 浙江大学 | 锥束ct的自适应迭代散射修正方法 |
JP2015191362A (ja) * | 2014-03-27 | 2015-11-02 | キヤノン株式会社 | 画像データ生成装置および画像データ生成方法 |
CN107464244A (zh) * | 2017-03-09 | 2017-12-12 | 广东顺德中山大学卡内基梅隆大学国际联合研究院 | 一种基于神经网络的图像光照估计方法 |
CN107633540A (zh) * | 2017-07-28 | 2018-01-26 | 上海联影医疗科技有限公司 | 图像转换的***和方法 |
CN107837090A (zh) * | 2016-09-20 | 2018-03-27 | 西门子医疗有限公司 | 计算机断层成像中基于正弦图的散射射线校正 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9082188B2 (en) * | 2011-04-11 | 2015-07-14 | Hid Global Corporation | Optical topographic imaging |
US8575554B2 (en) * | 2011-07-26 | 2013-11-05 | General Electric Company | Methods and systems for scatter estimation in positron emission tomography |
JP2015192238A (ja) * | 2014-03-27 | 2015-11-02 | キヤノン株式会社 | 画像データ生成装置および画像データ生成方法 |
US10078889B2 (en) * | 2015-08-25 | 2018-09-18 | Shanghai United Imaging Healthcare Co., Ltd. | System and method for image calibration |
US10360499B2 (en) * | 2017-02-28 | 2019-07-23 | Anixa Diagnostics Corporation | Methods for using artificial neural network analysis on flow cytometry data for cancer diagnosis |
EP3688723B1 (en) * | 2017-09-28 | 2021-12-08 | Koninklijke Philips N.V. | Deep learning based scatter correction |
-
2019
- 2019-07-30 CN CN201910697410.9A patent/CN110782502B/zh active Active
- 2019-07-31 US US16/527,731 patent/US11145055B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1695999A (zh) * | 2004-05-13 | 2005-11-16 | 通用电气公司 | 监视和控制报警***的方法和装置 |
JP2015191362A (ja) * | 2014-03-27 | 2015-11-02 | キヤノン株式会社 | 画像データ生成装置および画像データ生成方法 |
CN104408753A (zh) * | 2014-10-27 | 2015-03-11 | 浙江大学 | 锥束ct的自适应迭代散射修正方法 |
CN107837090A (zh) * | 2016-09-20 | 2018-03-27 | 西门子医疗有限公司 | 计算机断层成像中基于正弦图的散射射线校正 |
CN107464244A (zh) * | 2017-03-09 | 2017-12-12 | 广东顺德中山大学卡内基梅隆大学国际联合研究院 | 一种基于神经网络的图像光照估计方法 |
CN107633540A (zh) * | 2017-07-28 | 2018-01-26 | 上海联影医疗科技有限公司 | 图像转换的***和方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110782502A (zh) | 2020-02-11 |
US20200043163A1 (en) | 2020-02-06 |
US11145055B2 (en) | 2021-10-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110782502B (zh) | 基于深度学习的pet散射估计***和使用感知神经网络模型的方法 | |
KR102229853B1 (ko) | 환자 특정적 딥러닝 이미지 잡음제거 방법들 및 시스템들 | |
EP3688723B1 (en) | Deep learning based scatter correction | |
Sawatzky et al. | Proximal ADMM for multi-channel image reconstruction in spectral X-ray CT | |
WO2019051411A1 (en) | METHOD AND SYSTEMS FOR ANALYSIS OF MEDICAL IMAGE DATA BY AUTOMATIC LEARNING | |
CN112770838A (zh) | 使用自关注深度学习进行图像增强的***和方法 | |
Gatta et al. | Towards a modular decision support system for radiomics: A case study on rectal cancer | |
US20220343496A1 (en) | Systems and methods for accurate and rapid positron emission tomography using deep learning | |
McEvoy et al. | Using machine learning to classify image features from canine pelvic radiographs: evaluation of partial least squares discriminant analysis and artificial neural network models | |
CN112258423A (zh) | 基于深度学习的去伪影方法、装置、设备和存储介质 | |
WO2021041125A1 (en) | Systems and methods for accurate and rapid positron emission tomography using deep learning | |
US20210145389A1 (en) | Standardizing breast density assessments | |
Mirajkar et al. | Acute ischemic stroke detection using wavelet based fusion of CT and MRI images | |
US11460528B2 (en) | MRI reconstruction with image domain optimization | |
KR101948701B1 (ko) | 피검체의 뇌 구조를 기술하는 잠재 변수에 기반하여 상기 피검체의 뇌질환을 판정하는 방법 및 이를 이용한 장치 | |
Nagarhalli et al. | Evaluating the Effectiveness of the Convolution Neural Network in Detecting Brain Tumors | |
JPWO2020067481A1 (ja) | 画像解析装置、画像解析システム、画像解析方法、コンピュータプログラム及び非一時的記録媒体 | |
CN111008976B (zh) | Pet图像的筛选方法和装置 | |
CN115810015B (zh) | 基于深度学习的膝关节自动分割方法、***、介质及设备 | |
EP4270305A1 (en) | Learning device, method, and program, and medical image processing device | |
Loohuis | Exploring the Prognostic Value of Deep Learning Image-to-Image Registration for Immunotherapy Patient Monitoring | |
KR20240018186A (ko) | 머신러닝에 기반하여 안면 이미지를 학습함으로써 부비동염을 예측하는 방법 및 이를 이용한 컴퓨팅 장치 | |
US20200364887A1 (en) | Systems and methods using texture parameters to predict human interpretation of images | |
CN114331994A (zh) | 成分分析方法、装置、计算机设备和存储介质 | |
CN117078696A (zh) | 三维医学影像的分割方法、装置、电子设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |