CN117333544A - 用于自动饱和带放置的方法和*** - Google Patents

用于自动饱和带放置的方法和*** Download PDF

Info

Publication number
CN117333544A
CN117333544A CN202310735149.3A CN202310735149A CN117333544A CN 117333544 A CN117333544 A CN 117333544A CN 202310735149 A CN202310735149 A CN 202310735149A CN 117333544 A CN117333544 A CN 117333544A
Authority
CN
China
Prior art keywords
band
saturation
image
plane
interest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310735149.3A
Other languages
English (en)
Inventor
奇特雷什·布尚
达蒂什·达亚南·尚巴格
索米娅·高斯
A·S·乔格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GE Precision Healthcare LLC
Original Assignee
GE Precision Healthcare LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GE Precision Healthcare LLC filed Critical GE Precision Healthcare LLC
Publication of CN117333544A publication Critical patent/CN117333544A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75Determining position or orientation of objects or cameras using feature-based methods involving models
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01RMEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00Arrangements or instruments for measuring magnetic variables
    • G01R33/20Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48NMR imaging systems
    • G01R33/483NMR imaging systems with selection of signals or spectra from particular regions of the volume, e.g. in vivo spectroscopy
    • G01R33/4838NMR imaging systems with selection of signals or spectra from particular regions of the volume, e.g. in vivo spectroscopy using spatially selective suppression or saturation of MR signals
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01RMEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00Arrangements or instruments for measuring magnetic variables
    • G01R33/20Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48NMR imaging systems
    • G01R33/54Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
    • G01R33/543Control of the operation of the MR system, e.g. setting of acquisition parameters prior to or during MR data acquisition, dynamic shimming, use of one or more scout images for scan plane prescription
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01RMEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00Arrangements or instruments for measuring magnetic variables
    • G01R33/20Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48NMR imaging systems
    • G01R33/54Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
    • G01R33/56Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution
    • G01R33/5608Data processing and visualization specially adapted for MR, e.g. for feature analysis and pattern recognition on the basis of measured MR data, segmentation of measured MR data, edge contour detection on the basis of measured MR data, for enhancing measured MR data in terms of signal-to-noise ratio by means of noise filtering or apodization, for enhancing measured MR data in terms of resolution by means for deblurring, windowing, zero filling, or generation of gray-scaled images, colour-coded images or images displaying vectors instead of pixels
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Theoretical Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Artificial Intelligence (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Quality & Reliability (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Pathology (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Optics & Photonics (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

提供了用于在医学图像上自动放置至少一个饱和带的方法和***,该饱和带可以在MRI扫描期间引导饱和脉冲。一种方法可以包括:获取成像对象的***图像;通过将该***图像作为输入而输入到被训练成基于该***图像输出平面掩模的深度神经网络,确定该***图像的该平面掩模;通过将饱和带定位在该平面掩模的某个位置和形成角度处来基于该平面掩模生成该饱和带;以及输出用于在显示设备上显示的图形指示,该图形指示包括覆盖在医学图像上的该饱和带。

Description

用于自动饱和带放置的方法和***
技术领域
本文所公开的主题的实施方案涉及磁共振成像(MRI)。具体地,本公开提供了用于基于存在于***图像中的解剖结构在***图像上放置至少一个饱和带的***和方法。
背景技术
磁共振成像(MRI)是可在不使用X射线或其他电离辐射的情况下创建人体内部的图像的医学成像模态。MRI***包括超导磁体以产生强而均匀的静磁场B0。当人体或人体的一部分置于磁场B0中时,与组织水中的氢核相关联的核自旋变得极化,其中与这些自旋相关联的磁矩优先地沿该磁场B0的方向对准,从而导致沿该轴线的小的净组织磁化。MRI***还包括梯度线圈,该梯度线圈产生具有正交轴线的较小幅值、空间变化的磁场,以通过在体内每个位置处产生特征共振频率来对磁共振(MR)信号进行空间编码。氢核由处于或接近氢核的共振频率的射频信号激发,这为核自旋***增加了能量。当核自旋弛豫回到其静止能量状态时,其以RF信号的形式释放吸收的能量。该RF信号(或MR信号)由一个或多个RF线圈检测并且使用重建算法转换成图像。
饱和带可以在MRI中用于抑制来自感兴趣的成像区域(例如,感兴趣的解剖结构)外部的组织的RF信号(或MR信号)。在成像之前,可以对***图像规定饱和带,并且指导成像方法或协议以在扫描诊断医学图像时将饱和脉冲施加到由饱和带勾勒的区域。饱和脉冲可以施加RF能量以抑制来自成像体积外部的移动组织的MR信号或者减少和/或消除运动伪影。
发明内容
本发明人在此已经开发了可以使得能够使用深度神经网络在***图像上自动放置至少一个饱和带的***和方法,从而实现饱和带放置的一致性和准确性。本公开提供了一种方法,该方法用于获取成像对象的***图像,将该***图像作为输入而输入到被训练成基于该***图像输出平面掩模的深度神经网络,基于该平面掩模生成饱和带,以及输出用于在显示设备上显示的图形指示(graphical prescription),该图形指示包括覆盖在该***图像上的该饱和带。该平面掩模可以是3D投影,其将该***图像分割为二进制平面掩模,使得将该平面掩模投影到该***图像上在***数据的各个幻灯片上提供线条,从而指示感兴趣的3D平面。以这种方式,可以通过利用诸如卷积神经网络(CNN)的深度神经网络来从2D或3D***图像提取解剖信息,以产生感兴趣的解剖结构的平面掩模。该平面掩模然后可以用于确定饱和带的位置和取向(例如,形成角度(angulation)),其可以与用户输入一起用于生成至少一个饱和带。使用CNN在***图像上生成和放置至少一个饱和带可以促进患者评估和诊断,同时减少扫描之前饱和带放置的持续时间。
在单独或与附图联系时,本说明书的以上优势以及其他优势和特征将从以下具体实施方式中显而易见。应当理解,提供以上发明内容是为了以简化的形式介绍在具体实施方式中进一步描述的概念的选择。这并不意味着识别所要求保护的主题的关键或必要特征,该主题的范围由具体实施方式后的权利要求书唯一地限定。此外,所要求保护的主题不限于解决上文或本公开的任何部分中提到的任何缺点的实施方式。
附图说明
通过阅读以下详细描述并且参考附图,可以更好地理解本公开的各个方面,其中:
图1是根据示例性实施方案的用于在***图像上自动规定至少一个饱和带的方法的工作流;
图2A是根据本公开的示例性实施方案的MRI装置;
图2B是根据示例性实施方案的可包括在MRI装置中的图像处理设备的框图;
图3是示出根据示例性实施方案的用于基于平面掩模在***图像上生成和规定至少一个饱和带的方法的流程图;
图4示出了根据示例性实施方案的多个医学图像,每个医学图像具有覆盖在其上的至少一个饱和带;
图5是根据示例性实施方案的用于生成训练数据的方法的工作流,该训练数据可用于训练深度神经网络以基于***图像输出平面掩模;
图6是示出根据示例性实施方案的用于生成训练数据的方法的流程图;
图7示出了根据示例性实施方案的用于基于弯曲数据生成训练数据的多个图像;
图8示出了根据示例性实施方案的用于基于边界框生成训练数据的第一感兴趣的解剖结构的多个图像;
图9示出了根据示例性实施方案的用于基于边界框生成训练数据的第二感兴趣的解剖结构的多个图像;并且
图10是根据示例性实施方案的示出用于训练深度神经网络以将至少一个平面掩模映射到***图像上的方法的流程图。
连同以下描述,附图示出并且解释了本文描述的结构、方法和原理。在这些附图中,为了清晰起见,可放大或以其他方式修改部件的尺寸。没有示出或详细描述众所周知的结构、材料或操作以避免模糊所描述部件、***和方法的各方面。
具体实施方式
以下描述涉及基于使用深度神经网络生成的至少一个平面掩模在***图像上自动放置至少一个饱和带。本公开包括涉及生成深度神经网络的训练数据、训练所述深度神经网络以及实现深度神经网络以将平面掩模映射到***图像的各方面。
饱和带可以在MRI中用于抑制来自感兴趣的成像区域(例如,感兴趣的解剖结构)外部的组织的RF信号(或MR信号)。在成像之前,可以对***图像规定饱和带,并且指导成像方法或协议以在扫描诊断医学图像时将饱和脉冲施加到由饱和带勾勒的区域。在一些实施方案中,***图像可以是低分辨率图像,其可以包括与诊断医学图像相同的感兴趣的解剖结构,但是具有较低的分辨率,这可以允许对MRI装置有较少的初始计算需求。当扫描诊断医学图像时,饱和脉冲可以施加RF能量以抑制来自成像体积外部的移动组织的MR信号或者减少和/或消除运动伪影。例如,对于其中感兴趣的解剖结构包括脊柱的***图像,可以在该***图像上规定饱和带以抑制胸壁和心脏运动在随后的高分辨率数据(例如,诊断医学图像)的获取期间“泄漏”或以其他方式将信号重叠到脊柱区域中。对于包括腰椎区域的感兴趣的解剖结构,可以在相应***图像上规定两个饱和带:针对腰椎弯曲(例如,第一弯曲)的第一饱和带和针对骶椎弯曲(例如,第二弯曲)的第二饱和带。第一饱和带和第二饱和带可以以对应于各自弯曲的不同取向(例如,角度)定位。当感兴趣的解剖结构是肩部时,可以在胸部区域上规定倾斜饱和带以减少在诊断医学图像扫描期间的潜在呼吸伪影。对于飞行时间血管造影(TOF)成像,可以将上饱和带应用于***图像以抑制潜在的静脉信号污染。在骨盆区域成像的一些实施方案中,可以放置定制的饱和带,其中定制的饱和带沿着膀胱的中线沿着后缘放置,并且定制的饱和带具有骨盆的最大前后长度的三分之一的视场长度。在脑的磁共振波谱成像(MRSI)中,可以在患者头部上规定多个***图像以抑制脂质信号,因此可以规定多个饱和带。
传统上,诸如MRI技术人员的用户可以在***图像上手动地规定至少一个饱和带。对于上述扫描(例如,腰椎、肩部、TOF等),MRI技术人员可能花费相当多的时间和努力来确定感兴趣区域并规定至少一个饱和带以抑制来自感兴趣的解剖结构外部的信号。本文描述了用于基于使用深度神经网络生成的至少一个平面掩模在***图像上自动放置至少一个饱和带的***和方法。该平面掩模可以是3D投影,其将该***图像分割为二进制平面掩模,使得将该平面掩模投影到该***图像上在***数据的各个幻灯片上提供线条,从而指示感兴趣的3D平面。基于至少一个平面掩模中的对应平面掩模生成至少一个饱和带可以考虑3D中的患者位置,并且允许一致的饱和带放置,而不管患者位置变化如何。例如,当用于在成像对象具有变化位置的情况下定位饱和带时,被确定为用于饱和带放置的足够参数的平面掩模的位置和形成角度仍然可以允许对信号进行充分抑制。这可以允许在多次纵向扫描上生成一致的成像数据。本公开包括涉及生成深度神经网络的训练数据、训练所述深度神经网络以及实现深度神经网络以将平面掩模映射到***图像的各方面。使用本文描述的方法自动放置至少一个饱和带可以减少用于规定饱和带的时间(例如,与用户进行手动规定相比),这可以减少总成像持续时间,并且可以进一步实现饱和带放置的一致性和准确性。
图1图示了用于实现经过训练的深度神经网络以基于输入的***图像输出至少一个平面掩模并且基于该至少一个平面掩模进一步自动规定相应数量的饱和带的工作流。图3描述了用于自动规定至少一个饱和带并且基于包括至少一个饱和带的图形指示执行MRI扫描的方法。在图4中示出了包括覆盖在***图像上的至少一个饱和带的图形指示的示例,该饱和带可以如关于图1、图3所述的那样生成。可以使用根据关于图5至图9所述的方法生成的多个训练数据对来训练如关于图1和图3所述实现的深度神经网络,该方法可以包括基于弯曲数据、基于边界框和/或基于经过训练的回归模型生成训练数据。可以使用如关于图10所述的生成的训练数据来训练深度神经网络。本文描述的工作流和方法可由如图2A所示的MRI装置和如图2B所示的可包括在MRI装置中的图像处理设备实现。
转到图1,示出了饱和带预测工作流100的示例性实施方案。饱和带预测工作流100被配置为获取成像对象的***图像并且使用经过训练的深度神经网络来识别该***图像的至少一个平面掩模。该平面掩模可以是3D投影,其将该***图像分割为二进制平面掩模,使得将该平面掩模投影到该***图像上在***数据的各个幻灯片上提供线条,从而指示感兴趣的3D平面。此外,饱和带预测工作流100可以使用平面拟合方法来基于该至少一个平面掩模中的每个平面掩模生成饱和带。至少一个饱和带可以覆盖在***图像上以给出图形指示,该图形指示可以显示在显示设备上。饱和带预测工作流100可以由成像设备的图像处理***实现,例如图2A中所示的磁共振成像(MRI)装置210的数据处理单元231(图2B)。
在图1所示的实施方案中,并且如关于图4、图7至图9进一步描述的,感兴趣区域可以是解剖结构(例如,感兴趣的解剖结构),例如上脊柱区域、中脊柱区域或下脊柱区域。尽管在本文中关于脊柱解剖结构描述了饱和带预测工作流100,但是饱和带预测工作流100可以应用于期望使用饱和带来抑制感兴趣的解剖结构外部的信号的感兴趣的任何解剖结构或其他成像对象。图3、图5至图10的工作流和方法可以应用于***图像和/或诊断医学图像,包括期望使用饱和带来抑制感兴趣的解剖结构外部的信号的感兴趣的解剖结构或其他成像对象,如本文进一步描述的。
饱和带预测工作流100可以包括深度神经网络,该深度神经网络被配置为接收***图像102并且分割***图像102以基于***图像102生成平面掩模。饱和带预测工作流100可以从图2A的MRI装置210的(图2B的)数据获取单元224接收***图像102。***图像102可以是与基于图形指示捕获的诊断医学图像相比具有低分辨率的***图像,如本文关于图3进一步描述的。***图像102可以是2D或3D***图像,并且可以在初步成像扫描期间由图2A的MRI装置210捕获。例如,初步成像扫描可以包括在不实施饱和脉冲的情况下执行MRI扫描。在一些实施方案中,***图像102包括一个或多个颜色通道中的强度值矩阵(例如,像素图),其中该一个或多个颜色通道中的每个颜色通道的每个强度值唯一地对应于相关联的像素的强度值。***图像102可以包括成像对象的解剖区域的图像。在图1所示的示例中,***图像102是患者的下脊柱区域的MRI图像。
深度神经网络可以是由一个或多个卷积层组成的经过训练的卷积神经网络(CNN)104,其中该一个或多个卷积层中的每个卷积层包括一个或多个滤波器,这些滤波器包括具有预定感受野和步幅的多个可学***面掩模。简而言之,***图像(例如,***图像102)可以作为输入而输入到经过训练的CNN104中,该经过训练的CNN然后可基于***图像102输出至少一个平面掩模。在一些实施方案中,经过训练的CNN 104可以识别至少一个平面掩模可以被映射到的感兴趣的解剖结构。在其他实施方案中,可以由诸如MRI技术人员的用户选择期望的感兴趣的解剖结构,并且可以将所选的期望的感兴趣的解剖结构输入到经过训练的CNN 104中。关于经过训练的CNN104的训练的细节参照图10描述。
该至少一个平面掩模可以是通过使用经过训练的CNN 104来分割***图像102而生成的二进制掩模,使得由平面掩模识别的平面被认为是***图像102上的3D投影(例如,线)。例如,平面掩模可以被可视化为线(例如,第一平面掩模106,如本文关于图1所述),其中该线是平面从3D坐标系到***图像(例如,***图像102)的坐标系上的投影。在分割平面垂直于图像平面(例如,相对于参考轴***130的x-y平面)的情况下,分割平面可以被可视化为线(例如,第一平面掩模106)。平面掩模可以具有可变宽度,因为分割平面和图像平面可以不垂直相交。另选地,平面掩模可以指示分割平面和图像平面之间的垂直相交线。在多个实施方案中的一些实施方案中,平面掩模包括对应于***图像102的多个像素强度值的多个值或值矩阵,其中平面掩模的每个值指示***图像102的对应像素的分类。在一些实施方案中,平面掩模可以是二进制分割掩模,包括1和0的矩阵,其中1指示像素属于感兴趣的对象类,而0指示像素不属于感兴趣的对象类。在一些实施方案中,平面掩模可以包括多类分割掩模,其包括N个不同整数(例如,0、1……N)的矩阵,其中每个不同整数唯一地对应于对象类,因此使得多类分割掩模能够对多个感兴趣的对象类的位置和区域信息进行编码。平面掩模的值在空间上对应于***图像102的像素和/或强度值,使得如果平面掩模被覆盖到***图像102上,则平面掩模的每个值将与***图像102的对应像素对准(即,被覆盖在其上),***图像的每个像素的对象分类将由平面掩模的对应值指示。
如饱和带预测工作流100中所示,***图像102可以输入到经过训练的CNN 104中。经过训练的CNN 104可以基于***图像102识别至少一个平面掩模。例如,如图1所示,经过训练的CNN 104可以识别***图像102的第一平面掩模106和第二平面掩模108,该***图像包括感兴趣的脊柱解剖结构中的骶椎弯曲和腰椎弯曲。如关于图4、图7至图9进一步描述的,对于一些解剖结构,可能期望识别可用于生成单个饱和带的单个平面掩模。对于其他解剖结构,如关于图1所述,诸如下脊柱区域,可能期望识别多于一个平面掩模,其可以用于生成相应数量的饱和带。以这种方式,来自具有弯曲解剖结构的区域的感兴趣的解剖结构外部的解剖结构的信号可以被多于一个饱和带充分抑制,其中这些饱和带中的每个饱和带是基于各自的平面掩模生成的。
在多个实施方案中的一些实施方案中,覆盖在***图像102上的至少一个平面掩模可以显示在显示设备上,例如图2A的MRI装置210的显示设备。另选地,可以不显示覆盖在***图像102上的至少一个平面掩模,并且为了说明的目的,在图1中示出了覆盖在***图像102上的第一平面掩模106和第二平面掩模108。
可以基于由经过训练的CNN 104识别的平面掩模生成用于抑制来自感兴趣的解剖结构外部的区域的信号的饱和带。如关于平面掩模所述,当生成多于一个平面掩模时,可以生成对应数量的饱和带,其中基于每个平面掩模生成饱和带。例如,如图1所示,基于第一平面掩模106和第二平面掩模108生成第一饱和带116和第二饱和带118。在图1的实施方案中,第一饱和带116和第二饱和带118表示为框。这可以解释为被第一饱和带116和第二饱和带118中的每一者覆盖的区域是与感兴趣的解剖结构相邻的区域以及在诊断扫描期间可以施加饱和脉冲的区域。关于饱和脉冲和饱和带放置的进一步细节参照图3至图4描述。
可使用平面拟合方法110基于相应平面掩模生成饱和带。平面掩模识别***图像的3D平面,并且饱和带是覆盖在***图像上的2D带(例如,单个平面),因此平面拟合方法110可以包括识别平面掩模的位置和形成角度并且将饱和带定位在***图像上的平面掩模的某个位置和形成角度处。在一些实施方案中,平面拟合方法110被执行为线性回归,使用以下方程来拟合平面掩模(例如,其中平面掩模可以包括3D空间中的点云):
ax+by+cz+d=0
方程的参数表示给定拟合平面的法向矢量和到原点的距离(例如,拟合到平面掩模的饱和带)。可以调整方程的参数,使得感兴趣的平面尽可能近地经过尽可能多的分割的感兴趣点(例如,原点)。这可以最小化度量,例如均方误差和,以对准与感兴趣的解剖结构相邻的平面。
使用经过训练的CNN 104来识别至少一个平面掩模和该至少一个平面掩模的参数(例如,位置和形成角度),然后基于该至少一个平面掩模生成至少一个饱和带可以允许饱和带放置的一致性,而不管成像对象的位置的变化如何。例如,当成像对象是患者时,患者可以在成像数据收集期间(例如,在初步成像扫描和其中可以使用饱和脉冲的成像扫描之间)移位位置、改变姿势或以其他方式移动。通过使用至少一个平面掩模来识别至少一个3D平面并且使用该至少一个3D平面来生成至少一个饱和带,该至少一个饱和带的放置可以与该平面掩模的放置一致,并且因此可以在多次扫描上生成一致的成像数据。
可以响应于从用户输入设备(例如,操作控制台单元232)接收的输入来确定该至少一个饱和带中的每个饱和带的宽度。另选地,宽度可以是作为成像协议的一部分存储在非暂态存储器中的预定值,其可以将MR脉冲引导到成像区域上并且将饱和脉冲引导到由饱和带指示的区域上,如本文进一步描述的。从平面掩模导出的宽度、位置和形成角度可以用于生成至少一个饱和带,该饱和带可以覆盖在***图像102上以给出图形指示112。如关于图3进一步描述的,一种用于饱和带预测的方法还可以包括由诸如MRI技术人员的用户调整至少一个饱和带的带位置和/或带形成角度。在生成图形指示112和用户对饱和带进行可选调整之后,可以由图2A的MRI装置210根据图形指示112执行诊断扫描,其中该诊断扫描可以包括在由至少一个饱和带指示的位置处执行一个或多个饱和脉冲。以这种方式,可以将至少一个饱和带自动定位在***图像102上以引导诊断扫描,使得饱和带相对于感兴趣的解剖结构的放置是一致的(例如,相对于相应平面掩模的放置),并且诊断扫描生成一致的成像数据,而不管患者姿势变化如何。
参考图2A,示出了根据示例性实施方案的MRI装置210。MRI装置210可以是在其上实现饱和带预测工作流100的成像设备。本文关于图3至图10描述的进一步的方法和工作流也可以由MRI装置210实施,如关于图2B进一步描述的。
MRI装置210包括静磁场磁体单元212、梯度线圈单元213、RF线圈单元214、RF体线圈单元215、传输/接收(T/R)开关220、RF驱动器单元222、梯度线圈驱动器单元223、数据获取单元224、控制器单元225、患者检查床226、数据处理单元231、操作控制台单元232和显示单元233。在一些实施方案中,RF线圈单元214是表面线圈,其是通常被放置在受检者216的感兴趣的解剖结构附近的局部线圈。此处,RF体线圈单元215是传输RF信号的传输线圈,并且RF线圈单元214接收MR信号。因此,传输体线圈(例如,RF体线圈单元215)和表面接收线圈(例如,RF线圈单元214)是独立但电磁耦接的部件。MRI装置210将电磁脉冲信号传输到放置在成像空间218中的受检者216,其中形成静态磁场以执行扫描来从受检者216获得磁共振信号。可基于由此通过扫描获得的磁共振信号来重建受检者216的一个或多个图像。静磁场磁体单元212包括例如安装在环形真空容器内的环形超导磁体。磁体限定了围绕受检者216的圆柱形空间,并且生成恒定的主静磁场B0
MRI装置210还包括梯度线圈单元213,该梯度线圈单元在成像空间218中形成梯度磁场,以便为由RF线圈阵列接收的磁共振信号提供三维位置信息。梯度线圈单元213包括三个梯度线圈***,每个梯度线圈***生成沿彼此垂直的三个空间轴线之一的梯度磁场,并且根据成像条件在频率编码方向、相位编码方向和切片选择方向中的每个方向上生成梯度场。更具体地,梯度线圈单元213在受检者216的切片选择方向(或扫描方向)上施加梯度场,以选择切片;并且RF体线圈单元215或局部RF线圈阵列可以将RF脉冲传输到受检者216的所选切片。梯度线圈单元213还在受检者216的相位编码方向上施加梯度场,以对来自由RF脉冲激发的切片的磁共振信号进行相位编码。然后梯度线圈单元213在受检者216的频率编码方向上施加梯度场,以对来自由RF脉冲激发的切片的磁共振信号进行频率编码。
RF线圈单元214被设置为例如包围受检者216的待成像区域。在一些示例中,RF线圈单元214可以称为表面线圈或接收线圈。在由静磁场磁体单元212形成静磁场B0的静磁场空间或成像空间218中,RF体线圈单元215基于来自控制器单元225的控制信号将作为电磁波的RF脉冲传输到受检者216,并且从而生成高频磁场B1。这激发了受检者216的待成像的切片中的质子自旋。RF线圈单元214接收当在受检者216的待成像的切片中由此激发的质子自旋返回到与初始磁化矢量对准时生成的电磁波作为磁共振信号。在一些实施方案中,RF线圈单元214可传输RF脉冲并接收MR信号。在其他实施方案中,RF线圈单元214可仅用于接收MR信号,而不用于传输RF脉冲。
RF体线圈单元215被设置为例如包围成像空间218,并且在成像空间218内产生与由静磁场磁体单元212产生的主磁场B0正交的RF磁场脉冲以激发核。与RF线圈单元214相比,其可以与MRI装置210断开并且用另一个RF线圈单元替换,RF体线圈单元215固定地附接并连接到MRI装置210。此外,尽管局部线圈诸如RF线圈单元214可以仅从受检者216的局部区域传输或接收信号,但是RF体线圈单元215通常具有更大的覆盖区。例如,RF体线圈单元215可用于向受检者216的全身传输或接收信号。使用仅接收的局部线圈和传输体线圈提供均匀的RF激发和良好的图像均匀性,代价是沉积在受检者中的RF功率较高。对于传输-接收局部线圈,局部线圈向感兴趣的解剖结构提供RF激发并接收MR信号,从而减少沉积在受检者中的RF功率。应当理解,RF线圈单元214和/或RF体线圈单元215的特定用途取决于成像应用。
当以接收模式操作时,T/R开关220可以选择性地将RF体线圈单元215电连接到数据获取单元224,并且当以传输模式操作时,该开关可以选择性地将该RF体线圈单元电连接到RF驱动器单元222。类似地,当RF线圈单元214以接收模式操作时,T/R开关220可以选择性地将RF线圈单元214电连接到数据获取单元224,并且当以传输模式操作时,该开关可以选择性地将该RF线圈单元电连接到RF驱动器单元222。当RF线圈单元214和RF体线圈单元215都用于单次扫描时,例如,如果RF线圈单元214被配置为接收MR信号并且RF体线圈单元215被配置为传输RF信号,则T/R开关220可以将来自RF驱动器单元222的控制信号引导到RF体线圈单元215,同时将接收到的MR信号从RF线圈单元214引导到数据获取单元224。RF体线圈单元215的线圈可以被配置为以仅传输模式或传输-接收模式操作。RF线圈单元214的线圈可以被配置为以传输-接收模式或仅接收模式操作。
RF驱动器单元222包括栅极调制器(未示出)、RF功率放大器(未示出)和RF振荡器(未示出),它们用于驱动RF线圈(例如,RF体线圈单元215)并在成像空间218中形成高频磁场。RF驱动器单元222基于来自控制器单元225的控制信号并且使用栅极调制器,将从RF振荡器接收的RF信号调制成具有预定包络的预定定时的信号。由栅极调制器调制的RF信号由RF功率放大器放大,然后输出到RF体线圈单元215。
梯度线圈驱动器单元223基于来自控制器单元225的控制信号驱动梯度线圈单元213,从而在成像空间218中生成梯度磁场。梯度线圈驱动器单元223包括与梯度线圈单元213中包括的三个梯度线圈***对应的三个驱动器电路***(未示出)。
数据获取单元224包括前置放大器(未示出)、相位检测器(未示出)和用于获取由RF线圈单元214接收的磁共振信号的模拟/数字转换器(未示出)。在数据获取单元224中,相位检测器将来自RF驱动器单元222的RF振荡器的输出用作参考信号对从RF线圈单元214接收并由前置放大器放大的磁共振信号进行相位检测,并将经过相位检测的模拟磁共振信号输出到模拟/数字转换器,以转换成数字信号。由此获得的数字信号被输出到数据处理单元231。
MRI装置210包括用于在其上放置受检者216的检查床226。通过基于来自控制器单元225的控制信号移动检查床226,可以使受检者216在成像空间218的内部和外部移动。
控制器单元225包括计算机和其上记录有要由计算机执行的程序的记录介质。程序在被计算机执行时使装置的各个部分执行与预定扫描对应的操作。记录介质可包括例如ROM、软盘、硬盘、光盘、磁光盘、CD-ROM或非易失性存储卡。控制器单元225连接到操作控制台单元232并且处理输入到操作控制台单元232的操作信号,并且还通过向它们输出控制信号来控制检查床226、RF驱动器单元222、梯度线圈驱动器单元223和数据获取单元224。控制器单元225还基于从操作控制台单元232接收的操作信号来控制数据处理单元231和显示单元233以获得期望的图像。
操作控制台单元232包括用户输入设备,例如触摸屏、键盘和鼠标。操作者使用操作控制台单元232,例如,输入此类数据作为成像协议,并且设置要执行成像序列的区域。关于成像协议和成像序列执行区域的数据被输出到控制器单元225。
显示单元233包括显示设备,并且基于从控制器单元225接收的控制信号在显示设备的显示屏幕上显示图像。显示单元233显示例如关于操作者从操作控制台单元232输入操作数据的输入项目的图像。显示单元233还显示由数据处理单元231生成的受检者216的二维(2D)切片图像或三维(3D)图像。例如,图1的图形指示112可以显示在显示单元233上,其中至少一个饱和带覆盖在***图像102上。另外,由基于图形指示112的诊断MRI扫描生成的诊断医学图像可以显示在显示单元233上,如关于图3进一步描述的。
数据处理单元231包括计算机和记录介质,在该记录介质上记录由计算机执行以执行预定数据处理的程序。数据处理单元231连接到控制器单元225,并且基于从控制器单元225接收的控制信号执行数据处理。数据处理单元231还连接到数据获取单元224,并且通过对从数据获取单元224输出的磁共振信号应用各种图像处理操作来生成频谱数据。
转到图2B,示出了可以被实现为图2A的MRI装置210的数据处理单元231或被实现为该数据处理单元的元件的图像处理设备202。在一些实施方案中,图像处理设备202的至少一部分设置在经由有线连接和/或无线连接能够通信地耦接到MRI装置210的远程设备(例如,边缘设备、服务器等)处。在一些实施方案中,图像处理设备202的至少一部分设置在单独的设备(例如,工作站)处,该单独的设备可从MRI装置210或者从存储由一个或多个附加成像***(例如,MRI装置)生成的图像的存储设备接收图像。图像处理设备202包括处理器204和非暂态存储器206,并且通信地耦接到图2A的MRI装置210的操作控制台单元232、控制器单元225和显示单元233。
处理器204被配置为执行存储在非暂态存储器206中的机器可读指令。处理器204可以是单核或多核处理器,并且在其上执行的程序可被配置用于并行处理或分布式处理。在一些实施方案中,处理器204可任选地包括遍布于两个或更多个设备中的单独部件,这些单独部件可远程定位和/或被配置用于协同处理。在一些实施方案中,处理器204的一个或多个方面可被虚拟化并且由在云计算配置中配置的可远程访问的联网计算设备来执行。
非暂态存储器206可存储深度神经网络模块208、训练模块209和图像数据211。例如,深度神经网络模块208和训练模块209中的每一者可包括存储在非暂态存储器206中的代码,该代码可由处理器204执行以分别实现深度神经网络并生成训练数据和/或训练未经训练的深度神经网络。深度神经网络(例如,深度神经网络模块208的代码)可以在MRI装置210的数据处理单元231处实现。训练数据的生成和/或未经训练的深度神经网络的训练可以在MRI装置210的数据处理单元231处、在耦接到MRI装置210的远程服务器或计算机上实现,等等。
深度神经网络模块208可包括一个或多个深度神经网络,其包括多个权重和偏差、激活函数以及用于实现该一个或更多个深度神经网以接收***图像并将***图像映射到分割掩模的指令。例如,深度神经网络模块208可以存储用于实现CNN(例如饱和带预测工作流100的CNN)的指令。深度神经网络模块208可包括经过训练和/或未经训练的神经网络,并且可进一步包括用于存储在其中的一个或多个经过训练或未经训练的深度神经网络的各种元数据。例如,深度神经网络模块208可包括经过训练的CNN(例如图1的经过训练的CNN 104)和/或未经训练的CNN,如关于图5、图10进一步描述的。
非暂态存储器206还可包括训练模块209,该训练模块包括用于训练存储在深度神经网络模块208中的深度神经网络中的一个或多个深度神经网络的指令。训练模块209可包括指令,这些指令在由处理器204执行时使图像处理设备202进行在下面参考图10详细讨论的方法1000的步骤中的一个或多个步骤的。在一个示例中,训练模块209包括用于从图像数据211接收训练数据对的指令,其中所述训练数据对包括医学图像和用于训练存储在深度神经网络模块208中的深度神经网络中的一个或多个深度神经网络的对应的地面实况(ground truth)平面掩模和/或平面参数。在另一示例中,训练模块209可包括用于通过执行下文更详细讨论的图5的训练数据生成工作流500的操作、图6的方法600以及关于图7至图9描述的方法中的一者或多者来生成训练数据的指令。在一些实施方案中,训练模块209不设置在图2A的MRI装置210处,而是位于远程并且通信地耦接到MRI装置210。
如本文所用,术语“***”、“单元”或“模块”可包括操作以执行一个或多个功能的硬件和/或软件***。例如,模块、单元或***可包括计算机处理器、控制器或基于存储在有形和非暂态计算机可读存储介质(诸如计算机存储器)上的指令来执行操作的其他基于逻辑的设备。另选地,模块、单元或***可包括基于设备的硬连线逻辑来执行操作的硬连线设备。附图中示出的各种模块或单元可表示基于软件或硬连线指令操作的硬件、指示硬件执行操作的软件、或它们的组合。
“***”、“单元”或“模块”可以包括或表示执行本文描述的一个或多个操作的硬件和相关指令(例如,存储在有形和非暂态计算机可读存储介质上(诸如计算机硬盘驱动器、ROM、RAM等)的软件)。硬件可包括电子电路,其包括和/或连接到一个或多个基于逻辑的设备,诸如微处理器、处理器、控制器等。这些设备可以是被适当编程或指示以根据上文所述的指令来执行本文所述的操作的现成设备。附加地或另选地,这些设备中的一个或多个可以与逻辑电路硬连线以执行这些操作。
非暂态存储器206还可以存储图像数据211。图像数据211可以包括***图像,例如一个或多个成像对象的解剖区域的2D或3D***图像。在一些实施方案中,存储在图像数据211中的图像可能已经由MRI装置210获得。在一些实施方案中,存储在图像数据211中的图像可能已经从通信地耦接到MRI装置210的远程定位的成像***获得。存储在图像数据211中的图像可以包括与存储在其中的图像相关的元数据。在一些实施方案中,存储在图像数据211中的***图像的元数据可以指示用于获取图像的图像获取参数、用于将像素/体素转换成物理尺寸的转换因子(例如,将像素或体素转换成与由所述像素/体素表示的区域长度或体积相对应的区域、长度或体积)、图像获取日期、包括在图像中的感兴趣的解剖结构等等中的一者或多者。
在一些实施方案中,非暂态存储器206可包括设置在两个或更多个设备上的部件,这些部件可被远程定位和/或配置用于协调处理。在一些实施方案中,非暂态存储器206的一个或多个方面可包括在云计算配置中配置的可远程访问的联网存储设备。应当理解,图2A所示的MRI装置210和图2B所示的图像处理装置202是用于说明而非用于限制。另一种合适的图像处理***和/或MRI装置可以包括更多、更少或不同的部件。
应当理解,在本文所述的深度神经网络中的一个或多个深度神经网络的训练阶段和实现阶段期间可以使用不同的***。在一些实施方案中,第一***可用于通过执行训练方法(例如下文描述的方法1000)的一个或多个步骤来训练深度神经网络,并且第二单独***可用于实现深度神经网络以例如通过执行下文描述的方法300的一个或多个步骤来规定***图像的至少一个饱和带。此外,在一些实施方案中,训练数据生成可由不同于第一***和第二***的第三***通过执行如下所述的方法600和/或关于图5、图7至图9描述的方法的一个或多个步骤来执行。因此,第一***、第二***和第三***可各自包括不同的部件。在一些实施方案中,第二***可以不包括训练模块,例如训练模块209,因为存储在第二***的非暂态存储器上的深度神经网络可以由第一***预先训练。在一些实施方案中,第一***可以不包括成像设备,并且可以接收由能够通信地耦接到成像设备的外部***获取的图像。然而,在一些实施方案中,单个***可以进行本文所公开的训练数据生成、深度神经网络训练和经过训练的深度神经网络的实现中的一者或多者或每一者。
如上所述,在***图像(例如,2D或3D***图像)上放置饱和带可以通过在诊断成像(例如,以生成诊断医学图像)期间指示将被饱和脉冲锁定的区域来抑制来自感兴趣的解剖结构外部的信号。参考图3,示出了用于基于平面掩模在***图像上生成和规定至少一个饱和带的方法300的流程图。在一些实施方案中,方法300可由成像***实施,例如图2A的MRI装置210,其可包括图2B的图像处理设备202。
在操作302,成像***获取成像对象的解剖区域的***图像。***图像可以是从MRI扫描生成的2D或3D***(例如,单平面或多平面)图像,并且可以具有第一分辨率。与诊断医学图像的分辨率相比,第一分辨率可以是低分辨率。例如,***图像可以是图1的***图像102。在一些实施方案中,在操作302,成像***使用诸如MRI装置210的成像设备来获取***图像。例如,可以执行初步扫描以获取***图像,其中与诊断扫描相比,初步扫描可以包括不同强度的MR脉冲。在其他实施方案中,成像***从通信地耦接到成像***的外部设备(例如图像储存库)接收***图像。在操作302接收的***图像可以包括对应于多个像素的一个或多个颜色通道中的多个强度值。该多个强度值可以以确定的顺序排列。在一些实施方案中,***图像的多个强度值可以包括2D或3D阵列或矩阵,其中特定颜色通道中的多个强度值中的每个强度值可以由第一索引和第二索引(例如由行号和列号)唯一地标识。在***图像包括多个颜色通道的实施方案中,强度值所对应的颜色通道还可以由第三索引指示。图像可以包括灰度图像或彩色图像。
在操作304,成像***使用卷积神经网络(CNN)将感兴趣区域映射到平面掩模。例如,感兴趣区域可以是感兴趣的解剖结构,例如脊柱区域、肩部区域、骨盆区域等。本文关于图1描述了方法300,其中感兴趣的解剖结构是脊柱中部区域,然而,方法300还可以用于将其他感兴趣的解剖结构映射到平面掩模。在操作302获取的***图像可以作为输入而输入到CNN中,该CNN被训练成基于***图像输出至少一个平面掩模。该至少一个平面掩模中的平面掩模可以邻近感兴趣的解剖结构定位,使得放置在与平面掩模相同的位置和形成角度处的饱和带可以在诊断扫描期间抑制来自底层区域(例如,与感兴趣的解剖结构相邻)的信号。
例如,***图像可以包括具有最前点、最后点、最下点和最上点的感兴趣的解剖结构,其中前方向、后方向、下方向和上方向中的每一者是共面的(例如,相对于图1的参考轴***130的y-x平面),并且前方向和后方向是同轴的(例如,相对于参考轴***130的x轴),并且下方向和上方向是同轴的(例如,相对于参考轴***130的y轴)。感兴趣的解剖结构的最前点可以是感兴趣的解剖结构定位在最前点后面的点,并且感兴趣的解剖结构的最前点的前侧上的区域不包括感兴趣的解剖结构。邻近感兴趣的解剖结构定位平面掩模可以包括将平面掩模定位在感兴趣的解剖结构的最前点处,其中平面掩模是平分***图像的线性平面,使得平面掩模的前侧上的区域不包括感兴趣的解剖结构,而平面掩模的后侧上的区域包括感兴趣的解剖结构。
对于包括弯曲区域的感兴趣的解剖结构,例如关于图1所描述的,定位在感兴趣的解剖结构的最前点处的线性平面可以包括除了在线性平面的后侧上的区域中的感兴趣的解剖结构外部的解剖结构。因此,可能需要附加的线性平面(例如,平面掩模)来从线性平面的后侧排除除感兴趣的解剖结构以外的解剖结构,使得在诊断图像捕获期间可以抑制来自除感兴趣的解剖结构外部的解剖结构的信号。感兴趣的解剖结构,例如包括腰椎弯曲和骶椎弯曲的脊柱区域,如关于图1所描述的,除了最前点之外,还可以具有最下点。类似于最前点,感兴趣的解剖结构的最下点可以是感兴趣的解剖结构定位在最下点之上的区域中的点。在感兴趣的解剖结构的最下点的下侧上的区域不包括感兴趣的解剖结构。邻近感兴趣的解剖结构定位平面掩模可以包括将平面掩模定位在感兴趣的解剖结构的最下点处,其中平面掩模是平分***图像的线性平面,使得平面掩模的上侧上的区域包括感兴趣的解剖结构,而平面掩模的下侧上的区域不包括感兴趣的解剖结构。
饱和带可以定位在位于感兴趣的解剖结构的最前点和最下点处的每个平面处。平面的宽度(例如,沿着x轴,相对于第二平面掩模108的图1的参考轴***130)可以是相对于感兴趣的解剖结构在向前方向上延伸的任何宽度。第二平面掩模108的后侧134可以指示定位在感兴趣的解剖结构的最前点处的平面。如关于图1所述和本文进一步所述,第二饱和带118可定位在与第二平面掩模108相同的位置和形成角度处。例如,第二饱和带118的最后侧144可以定位在感兴趣的解剖结构的最前点处。换句话说,第二平面掩模108的后侧134沿着x轴(相对于参考轴***130)的位置可以等于第二饱和带118的最后侧144沿着x轴的位置。对于骶椎弯曲,第一平面掩模106的上侧154可以指示定位在感兴趣的解剖结构的最下点处的平面。第一饱和带116可定位在与第一平面掩模106相同的位置和形成角度处。例如,第一饱和带116的最上侧164可以定位在感兴趣的解剖结构的最下点处。换句话说,第一平面掩模106的上侧154沿着x轴和y轴的位置(例如,位置和形成角度,其中形成角度是平面相对于y轴的角度)可以等于第一饱和带116的最上侧164沿着x轴和y轴的位置。饱和带(例如,第一饱和带116和第二饱和带118)的放置可以指示在诊断扫描期间用于饱和脉冲的区域(如关于图3进一步描述的)。关于图4描述了基于对应平面掩模的饱和带的位置和形成角度的进一步示例。
CNN可以被训练成基于包括在感兴趣的解剖结构中的解剖结构来识别多个平面掩模以及平面掩模的位置和形成角度。例如,如上所述,基于解剖结构,不同的解剖结构可以具有不同数量的期望饱和带以及期望饱和带的不同定位。如关于图1所述以及关于图4、图5、图7和图8进一步所述,可能期望识别包括骶椎曲线和腰椎曲线的下脊柱区域的两个平面掩模,从而允许规定两个对应的饱和带。在一些实施方案中,CNN可以被训练成识别感兴趣的解剖结构内的解剖结构并且基于感兴趣的解剖结构确定平面掩模的期望数量。
在其他实施方案中,用户可以选择要扫描的感兴趣的解剖结构,其中感兴趣的解剖结构的选择包括选择在用户界面上列出的多个解剖结构中的解剖结构。例如,多个解剖结构可以包括上脊柱区域、中脊柱区域、下脊柱区域、肩部区域、骨盆区域等。用户还可以选择飞行时间血管造影(TOF)扫描。在一些实施方案中,基于由用户选择的感兴趣的解剖结构和/或扫描,CNN可以使用特征映射来识别感兴趣的解剖结构。
在另外的实施方案中,用户可以定位成像对象,使得感兴趣的解剖结构定位在扫描平面内(例如,在MRI装置可以扫描的区域内,例如图2A的RF线圈单元214)。在方法300开始时,MRI装置可扫描存在于扫描平面中的区域,并且可以基于CNN被训练成识别为潜在感兴趣区域的内容来生成至少一个平面掩模。
可以基于***图像中存在的底层解剖结构来生成平面掩模。CNN可以识别与感兴趣的解剖结构相邻的至少一个平面,并且将该至少一个平面建模为***图像上的3D投影(例如,线投影,本文中称为平面掩模)。CNN还可以将***图像分割为二进制平面掩模。在一些实施方案中,至少一个平面掩模可以覆盖在***图像上并且显示在显示设备上。另选地,该至少一个平面掩模中的每一者的位置和形成角度的元数据可以与相应的***图像相关联,并且可以不在显示设备上显示。
在306,方法300包括基于平面掩模生成饱和带。当生成多于一个平面掩模时(例如,由CNN基于输入的***图像输出),可以基于每个平面掩模生成饱和带。生成饱和带可以包括:在操作308,经由平面拟合将饱和带拟合到平面掩模的平面参数;以及在操作310,基于成像协议(例如,基于饱和带的预设输入宽度或用户输入宽度)生成饱和带。平面拟合可以包括识别平面掩模的参数,包括平面掩模的位置和形成角度。例如,平面掩模的位置可以包括沿着***图像的水平轴定位,例如沿着相对于图1的参考轴***130的x轴定位。当平面掩模是垂直的(例如,平行于y轴)时,平面掩模的长度可以延伸***图像的长度(例如,沿着相对于参考轴***130的y轴)。平面掩模也可以以一定角度定位,其中平面掩模的形成角度可以在y-x平面中。当以一定角度定位时,平面掩模的长度可以延伸***图像的宽度(例如,沿着x轴)。平面掩模可以具有不等于饱和带的宽度的预定宽度。平面掩模的一侧(例如,图1的第一平面掩模106的上侧132或第二平面掩模108的后侧134)可以与感兴趣的解剖结构相邻,并且平面掩模的预定宽度可以在与平面掩模的与感兴趣的解剖结构相邻的一侧相反的方向上延伸。如上所述,平面掩模可以是显示为线的3D投影。因此,平面掩模可以指示延伸到***图像中的平面的位置和形成角度(例如,在z轴的方向上,相对于参考轴***130),并且平面掩模的预定宽度可以是不相关的,因为与感兴趣的解剖结构相邻的平面掩模的侧面识别感兴趣的平面。
在一些实施方案中,平面参数(例如,位置和形成角度)可由CNN标识并与平面掩模一起输出作为***图像的元数据。在其他实施方案中,平面掩模可以由CNN输出为覆盖在***图像上的线(例如,如图1所示),并且平面参数可以被确定为平面拟合的操作。平面拟合还可以包括在对应平面掩模的位置和形成角度处将饱和带覆盖在***图像上。饱和带可以是***图像上的2D投影(例如,2D或3D***图像),并且因此可以不沿着z轴延伸,与平面掩模相反。在一些实施方案中,饱和带的长度和宽度可以等于平面掩模的长度和宽度。在其他实施方案中,饱和带的长度和宽度可以基于感兴趣的解剖结构的解剖结构来预定,其可以由CNN确定和/或由用户预设,如上所述。饱和带可具有可由用户调整的预定宽度。例如,用户可以基于待成像的选定解剖结构来输入饱和带的期望宽度。附加地或另选地,饱和带宽可以被预设(例如,可以作为成像协议的一部分被保存)并且对应于所选的感兴趣的解剖结构。为单个***图像生成的多个饱和带中的每个饱和带可以具有相同的宽度或者可以具有不同的宽度。以这种方式,可以为***图像生成至少一个饱和带,其中饱和带的数量等于由CNN输出的平面掩模的数量。
在312,方法300包括输出用于在显示设备上显示的图形指示。图形指示可以包括覆盖在用于映射至少一个平面掩模的***图像上的至少一个饱和带,其中该至少一个饱和带的每个饱和带是基于对应数量的平面掩模生成的。显示设备可以是图2A的MRI装置210的显示单元233的显示设备。诸如MRI技术人员的用户可以可选地调整图形指示的至少一个饱和带的带位置和带形成角度。例如,用户可以调整至少部分地与感兴趣的解剖结构重叠的饱和带的带位置和/或带形成角度,使得来自感兴趣的解剖结构的信号在诊断扫描期间可以不被抑制。在314,可以基于用户输入调整图形指示(例如,以调整带位置和/或带形成角度)。基于用户输入对图形指示进行的调整可以实时地显示在显示设备上或者可以周期性地得到更新以显示在显示设备上。
在316,方法300包括根据图形指示执行成像对象的诊断扫描。图形指示包括***图像,该***图像可以具有比用于分析和诊断的期望分辨率低的第一分辨率。执行诊断扫描可以包括执行MR成像,如上所述,以获取与***图像具有相同感兴趣的解剖结构的诊断医学图像,该诊断医学图像具有比***图像更高的分辨率。此外,诊断医学图像可以包括来自感兴趣的解剖结构外部的区域(例如,由至少一个饱和带覆盖的区域)的受抑制的信号。可以通过将常规MR信号施加到成像区域中的成像对象(例如,定位在图2A的RF线圈单元214中),并且将饱和脉冲施加到由至少一个饱和带(例如,如由图形指示所指示的)规定(例如,勾勒)的区域来获取诊断医学图像。饱和脉冲可以施加RF能量以抑制来自成像体积外部的移动组织的MR信号或者减少和/或消除运动伪影。
在一些实施方案中,***图像的获取(例如,方法300的操作302)可基于如本文所述的用户输入来执行。简而言之,用户可以使用用户输入设备(例如,图2A的操作控制台单元232)从显示单元233上提供的解剖结构列表中选择要成像的期望的感兴趣的解剖结构。另选地,可以基于成像区域中的解剖标志来自动识别感兴趣的解剖结构,并且可以捕获包括自动识别的感兴趣的解剖结构的***图像。将感兴趣区域(例如,感兴趣的解剖结构)映射到平面掩模由CNN自动执行,并且基于平面掩模的饱和带的生成由处理器使用平面拟合自动执行。输出所生成的平面掩模以在显示设备上显示,并且用户输入可以用于调整饱和带的位置、形成角度或宽度中的至少一者。用户可以经由操作控制台单元232向控制单元提供饱和带的位置、形成角度和宽度足够的输入,并且可以自动执行诊断扫描,其中处理器自动地识别由期望饱和脉冲的至少一个饱和带指示的区域。由诊断扫描生成的诊断图像可被输出以在显示设备上显示和/或可以被存储在图像处理设备202的非暂态存储器206中。
患者运动可以发生在***图像(例如,从其生成至少一个平面掩模的***图像)的捕获与用以捕获诊断医学图像的诊断扫描之间。尽管如此,饱和带可以充分覆盖感兴趣的解剖结构外部的区域,并且因此抑制来自感兴趣的解剖结构外部的组织的信号。因为平面掩模是进入成像对象的解剖结构中的3D投影,所以具有等于平面掩模的带位置和带形成角度的带位置和带形成角度的2D饱和带可以允许生成一致的成像数据,而不管患者运动如何。
转到图4,示出了多个图形指示400,其中多个图形指示400中的每个图形指示包括覆盖在***图像上的至少一个饱和带。该至少一个饱和带可基于由被训练成基于***图像输出平面掩模的CNN输出的至少一个平面地图来生成,例如关于图3的方法300所描述的。多个图形指示400可以是输出用于在显示设备(例如图2A的MRI装置210的显示单元233)上显示的图形指示的示例。多个图形指示400中的每个图形指示因此可以用于引导由MRI装置(例如图2A的MRI装置210)执行的诊断扫描。
第一图形指示410可以包括其上覆盖有第三饱和带416的第一***图像412。如关于图1的饱和带预测工作流100和图3的方法300所描述的,可以由CNN基于第一***图像412的底层解剖结构来生成平面掩模,并且可以基于平面掩模来生成第三饱和带416。在第一***图像412中,感兴趣的解剖结构包括患者的上脊柱区域。可以由CNN确定,对于第一***图像412的感兴趣的解剖结构(例如,上脊柱区域),单个饱和带可以充分地阻挡由感兴趣的解剖结构外部的解剖结构生成的信号。因此,CNN可以生成与感兴趣的解剖结构的最前点对准的单个平面掩模。可以基于平面掩模生成第三饱和带416,其中第三饱和带416的带位置和带形成角度等于平面掩模的位置和形成角度。第三饱和带416的宽度可以由诸如MRI技术人员的用户输入,如关于方法300所描述的。
第一图形指示410还包括覆盖在第一***图像412上的第一边界框414,其中第一边界框414指示成像区域。在一些实施方案中,当产生平面掩模时,可以不将第一边界框414输入到CNN。相反,第一边界框414可以指示在MRI装置的诊断扫描期间要成像的区域。在其他实施方案中,第一边界框414可以由用户放置或者基于成像对象在扫描平面中的定位自动地覆盖在第一***图像412上。当包括第一边界框414的第一***图像412被输入到CNN中时,CNN可以基于第一边界框414内的解剖结构来规定平面掩模。
如第一图形指示410中所示,第三饱和带416可以延伸超过第一边界框414。在第一图形指示410中包括第一边界框414还可以帮助技术人员决定是否调整第三饱和带416,该第三饱和带已经根据图1的饱和带预测工作流100和图3的方法300自动规定。例如,用户可以调整第三饱和带416的带位置、带形成角度和宽度中的至少一者。在可选地调整第三饱和带416之后,可以根据第一图形指示410执行诊断扫描。除了常规MRI扫描过程之外,诊断扫描可以包括在由第三饱和带416限定的区域中实施饱和脉冲。以这种方式,可以阻挡或抑制来自第三饱和带416的区域中的组织的信号,这可以减少信号干扰并且生成诊断医学图像,其中感兴趣的解剖结构可以与其他解剖结构清楚地区分。这可能有助于患者诊断。
多个图形指示400还包括第二图形指示420,其可以包括具有覆盖在其上的第四饱和带426的第二***图像422。如关于图1的饱和带预测工作流100和图3的方法300所描述的,可以由CNN基于第二***图像422的底层解剖结构来生成平面掩模,并且可以基于平面掩模来生成第四饱和带426。在第二***图像422中,感兴趣的解剖结构包括患者的中脊柱区域。可以由CNN确定,对于第二***图像422的感兴趣的解剖结构(例如,中脊柱区域),单个饱和带可以充分地阻挡由感兴趣的解剖结构外部的解剖结构生成的信号。因此,CNN可以生成与感兴趣的解剖结构的最前点对准的单个平面掩模。可以基于平面掩模生成第四饱和带426,其中第四饱和带426的带位置和带形成角度等于平面掩模的位置和形成角度。第四饱和带426的宽度可以由用户输入,如关于方法300所描述的。
第二图形指示420还包括覆盖在第二***图像422上的第二边界框424,其中第二边界框424指示成像区域。类似于第一边界框414,当生成平面掩模时,可以不将第二边界框424输入到CNN。相反,第二边界框424可以指示在MRI装置的诊断扫描期间要成像的区域。在其他实施方案中,第二边界框424可以由用户放置或者基于成像对象在扫描平面中的定位自动地覆盖在第二***图像422上。当包括第二边界框424的第二***图像422被输入到CNN中时,CNN可以基于第二边界框424内的解剖结构来规定平面掩模。
如第二图形指示420中所示,第四饱和带426可以延伸超过第二边界框424。在第二图形指示420中包括第二边界框424可以进一步帮助技术人员决定是否调整第四饱和带426,该第四饱和带已经根据图1的饱和带预测工作流100和图3的方法300自动规定。例如,用户可以调整第四饱和带426的带位置、带形成角度和宽度中的至少一者。在可选地调整第四饱和带426之后,可以根据第二图形指示420执行诊断扫描。除了常规MRI扫描过程之外,诊断扫描可以包括在由第四饱和带426限定的区域中实施饱和脉冲。以这种方式,可以阻挡和/或抑制来自第四饱和带426的区域中的组织的信号,这可以减少信号干扰并且生成诊断医学图像,其中感兴趣的解剖结构可以与其他解剖结构清楚地区分。这可能有助于患者诊断。
多个图形指示400还包括第三图形指示430,其可以包括具有覆盖在其上的第五饱和带436和第六饱和带438的第三***图像432。如关于图1的饱和带预测工作流100和图3的方法300所描述的,可以由CNN基于第三***图像432的底层解剖结构生成多于一个平面掩模,其中底层解剖结构具有至少一个弯曲。例如,第三***图像432的感兴趣的解剖结构包括下脊柱区域,其包括腰椎弯曲(例如,第一弯曲)和骶椎弯曲(例如,第二弯曲)。腰椎弯曲和骶椎弯曲中的每一者可以沿着不同的平面近似对准。例如,腰椎弯曲可以接近垂直平面,而骶椎弯曲可以接近水平平面。可以由CNN确定,需要多于一个饱和带以充分地阻挡来自感兴趣的解剖结构外部的解剖结构的信号。因此,CNN可以生成第一平面掩模以识别与腰椎弯曲的最前点相邻的平面,并且生成第二平面掩模以识别与骶椎弯曲的最下点相邻的平面。可分别基于第一平面掩模和第二平面掩模生成第五饱和带436和第六饱和带438。第五饱和带436的带位置和带形成角度可以等于第一平面掩模的位置和形成角度,并且第六饱和带438的带位置和带形成角度可以等于第二平面掩模的位置和形成角度。第五饱和带436和第六饱和带438中的每一者的宽度可以由用户输入,并且可以相等或不同。
包括第五饱和带436而不包括第六饱和带438可允许来自骶椎弯曲之外(例如,在骶椎弯曲之下)的区域的信号干扰来自腰椎弯曲的信号和来自骶椎弯曲的信号两者。包括第六饱和带438而不包括第五饱和带436可允许来自腰椎弯曲之外(例如,在腰椎弯曲前面)的区域的信号干扰来自腰椎弯曲的信号和来自骶椎弯曲的信号两者。因此,需要包括第五饱和带436和第六饱和带438两者,使得感兴趣的解剖结构的信号不会被来自感兴趣的解剖结构外部的组织的信号干扰。
第三图形指示430还包括覆盖在第三***图像432上的第三边界框434,其中第三边界框434指示成像区域。类似于第一边界框414和第二边界框424,当生成第一平面掩模和第二平面掩模时,可以不将第三边界框434输入到CNN。相反,第三边界框434可以指示在MRI装置的诊断扫描期间要成像的区域。在其他实施方案中,第三边界框434可以由用户放置或者基于成像对象在扫描平面中的定位自动地覆盖在第三***图像432上。当包括第三边界框434的第三***图像432被输入到CNN中时,CNN可以基于第三边界框434内的解剖结构来规定平面掩模。
如第三图形指示430中所示,第五饱和带436和第六饱和带438可以延伸超过第三边界框434。在第三图形指示430中包括第三边界框434还可以帮助技术人员决定是否调整已经根据图1的饱和带预测工作流100和图3的方法300自动规定的第五饱和带436和第六饱和带438中的任一者或两者。例如,用户可以调整第五饱和带436和第六饱和带438中的任一者或两者的带位置、带形成角度和宽度中的至少一者。在可选地调整第五饱和带436和第六饱和带438中的任一者或两者之后,可以根据第三图形指示430执行诊断扫描。除了常规MRI扫描过程之外,诊断扫描可以包括在由第五饱和带436和第六饱和带438限定的区域中实施饱和脉冲。以这种方式,可以阻挡和/或抑制来自第五饱和带436和第六饱和带438的区域中的组织的信号,这可以减少信号干扰并且生成诊断医学图像,其中感兴趣的解剖结构可以与其他解剖结构清楚地区分。这可能有助于患者诊断。
关于图1至图4描述的是用于基于由CNN输出的至少一个平面掩模生成至少一个饱和带的***、方法及其实施方案。***图像被输入到CNN中,该CNN被训练成基于***图像输出至少一个平面掩模。执行平面拟合以将饱和带定位在至少一个平面掩模中的每个平面掩模的某个位置和形成角度处。包括覆盖在***图像上的至少一个饱和带的图形指示被输出,以在显示设备上显示,并且可以用于执行诊断扫描。诊断扫描可以包括在由至少一个饱和带勾勒出的区域处的至少一个饱和脉冲,以阻挡来自感兴趣的解剖结构外部的组织的信号。通过首先识别与感兴趣的解剖结构相邻的平面,其中该平面(例如,其可以由平面掩模指示)是延伸到***图像中的3D投影,该***图像可以是2D或3D图像,对应的饱和带可以充分地抑制感兴趣的解剖结构外部的信号,而不管潜在的成像对象移动或初步成像扫描与诊断扫描之间的姿势变化。
在实现CNN之前,该CNN被训练成基于***图像的底层解剖结构将感兴趣的解剖结构映射到至少一个平面掩模。可以自动生成用于训练CNN的训练数据,如关于图5的训练数据生成工作流和图6的生成训练数据的方法所描述的。训练数据可以以多于一种方式生成,例如基于弯曲数据(如关于图7所述)和/或基于边界框(如关于图8至图9所述)。所生成的训练数据可以输入到未经训练的CNN中以将该未经训练的CNN训练成基于***图像的解剖结构输出至少一个平面掩模。未经训练的CNN的训练参考图10描述。所得的经过训练的CNN可在图1的饱和带预测工作流100和图3的方法300中实现,如上所述。
转到图5,示出了训练数据生成工作流500的示例性实施方案。简而言之,训练数据生成工作流500包括获取成像对象的医学图像,基于医学图像生成至少一个饱和带,以及通过基于饱和带生成平面投影来识别该至少一个饱和带的一个或多个平面参数。训练数据生成工作流500可由本文所公开的***中的一个或多个***来实现,例如图2A的MRI装置210和/或图2B的图像处理设备202。
训练数据生成工作流500被配置为生成训练数据对,这些训练数据对可以包括医学图像以及相关联的地面实况,例如在诊断扫描期间捕获的2D或3D***图像(例如,诊断医学图像)。相关联的地面实况可以包括可以从中生成期望的饱和带的平面的一组平面参数(例如,地面实况参数),包括平面位置和平面形成角度。附加地或另选地,相关联的地面实况可以是包括覆盖在诊断医学图像上的平面投影的图形投影。由训练数据生成工作流500生成的训练数据对可以在训练方法(例如图10的方法1000)中使用,以训练用于基于***图像生成和输出至少一个平面掩模的深度神经网络,例如图1的饱和带预测工作流100的经过训练的CNN 104和图3的方法300的CNN。
训练数据生成工作流500可以获取从诊断MRI扫描生成的医学图像,例如诊断医学图像502。诊断医学图像502可以是具有高分辨率的2D或3D***图像(例如,与可以在初步扫描期间捕获的***图像相比)。在一些实施方案中,成像***使用诸如MRI装置210的成像设备来获取诊断医学图像502。在其他实施方案中,成像***从通信地耦接到成像***的外部设备(例如图像储存库)接收诊断医学图像502。
训练数据生成工作流500还可以包括将诊断医学图像502输入到分割方法中,该分割方法可以生成诊断医学图像502的分割掩模以识别诊断医学图像502的感兴趣区域。感兴趣区域可以包括感兴趣的解剖结构,例如上脊柱区域、中脊柱区域、肩部等。在图5所示的实施方案中,诊断医学图像502包括感兴趣的解剖结构,该感兴趣的解剖结构包括由腰椎弯曲(例如,第一弯曲)和骶椎弯曲(例如,第二弯曲)组成的下脊柱区域。可以使用分割掩模来识别可以用于饱和带放置的感兴趣的解剖结构的解剖标志。
训练数据生成工作流500还包括生成第一图形指示504,其中该图形指示包括其上覆盖有至少一个饱和带的诊断医学图像502。该至少一个饱和带是诊断医学图像502上的2D投影,该诊断医学图像可以是2D或3D***图像。在一些实施方案中,至少一个饱和带可以由用户手动地放置在诊断医学图像502上,该用户例如是MRI技术人员或被训练成将饱和带放置在诊断医学图像上的其他用户。在其他实施方案中,至少一个饱和带可以由经过训练的深度神经网络自动放置。例如,可以将诊断医学图像输入到深度神经网络中,该深度神经网络被训练成输出包括覆盖在诊断医学图像上的至少一个饱和带的图形指示(例如,第一图形指示504)。
在图5所示的实施方案中,第七饱和带516和第八饱和带518覆盖在诊断医学图像502上。第七饱和带516沿着第七饱和带516的长度与腰椎弯曲的最前点对齐,并且第八饱和带518沿着第八饱和带518的长度与骶椎弯曲的最下点对齐,使得至少一个饱和带中的每个饱和带的宽度远离感兴趣的解剖结构延伸。因此,第七饱和带516和第八饱和带518均被定位成在MRI扫描期间阻挡来自除下脊柱区域中的组织外部的组织的信号。
在训练数据生成工作流500中,可以不执行MRI扫描,而是将包括至少一个饱和带的第一图形指示504转换为包括至少一个平面投影以识别一个或多个平面参数的第二图形指示506。第一图形指示504的转换可以包括指示在至少一个饱和带中的每个饱和带的带位置和带形成角度处的期望平面投影。该至少一个平面投影可以识别诊断医学图像502的3D平面,该诊断医学图像可以是由诊断MRI扫描捕获的2D或3D***图像。第二图形指示506因此包括其上覆盖有多个平面投影的诊断医学图像502,其中平面投影的数量等于覆盖在第一图形指示504上的饱和带的数量。在图5的实施方案中,第一平面投影526代替第七饱和带516覆盖在诊断医学图像502上,并且第二平面投影528代替第八饱和带518覆盖在诊断医学图像502上。将该至少一个饱和带中的每个饱和带转换为该至少一个平面投影可以包括识别该饱和带的一个或多个平面参数以及识别具有相等参数的平面。例如,第八饱和带518的带位置和带形成角度等于第二平面投影528的位置和形成角度。
第七饱和带516和第八饱和带518中的每一者具有相关联的宽度,该宽度可以由用户输入或者可以是预设值。如前所述,该至少一个饱和带中的每个饱和带是覆盖在诊断医学图像502上的2D投影,其中该至少一个饱和带中的每个饱和带具有长度和宽度。第一平面投影526和第二平面投影528中的每一者可以是覆盖在诊断医学图像502上的3D投影,其中该至少一个平面投影中的每个平面投影具有长度和宽度,以及当诊断医学图像502是3D图像时延伸到诊断医学图像502的厚度中的深度。该至少一个平面投影中的每个平面投影的位置可以基于与感兴趣的解剖结构相邻的相应饱和带的一侧。例如,第一平面投影526可以被定位成使得第一平面投影526的后侧546处于第七饱和带516的后侧536的某个位置和形成角度处。
在一些实施方案中,训练数据对可以包括其上覆盖有至少一个平面投影的诊断医学图像(例如,第二图形指示506),如关于图5所描述的。在其他实施方案中,训练数据对可以包括具有相关联的元数据的诊断医学图像,该元数据指示根据关于图5描述的工作流程和/或图6的方法600识别的至少一个平面投影的位置和形成角度。如本文关于图6至图9进一步描述的,可以根据多种方法中的至少一种方法生成训练数据对,其中可以基于弯曲数据、基于诊断医学图像的至少一个边界框和/或使用经过训练的回归网络来确定诊断医学图像的至少一个平面投影的平面参数。
现在转到图6,示出了用于生成训练数据(例如,诊断医学图像及其一个或多个平面参数)的方法600。如关于训练数据生成工作流500所描述的,生成训练数据可以包括获取成像对象的诊断医学图像、基于诊断医学图像生成饱和带以及识别饱和带的一个或多个平面参数。如本文关于图6所描述的,可以使用多种方法来生成饱和带,该多种方法可以包括将边界框拟合到解剖标志和/或使用解剖结构弯曲信息。方法600可以由本文描述的***中的一个或多个***执行,例如图2A的MRI装置210和/或图2B的图像处理设备202。方法600可以作为用于生成训练数据的工作流(例如训练数据生成工作流500)的一部分来执行。
在602,方法600包括获取诊断医学图像。根据图1和图3,与***图像相比,诊断医学图像可以是高分辨率图像并且可以通过诊断MRI扫描来捕获,该***图像可以输入到被训练成输出至少一个掩模的CNN,从该至少一个掩模可以生成对应数量的饱和带。在一些实施方案中,实现方法600的成像***从通信地耦接到成像***的外部设备(例如图像储存库)接收***。在操作602获取的诊断医学图像可以包括对应于多个像素的一个或多个颜色通道中的多个强度值。该多个强度值可以以确定的顺序排列。在一些实施方案中,诊断医学图像的多个强度值可以包括2D或3D阵列或矩阵,其中特定颜色通道中的多个强度值中的每个强度值可以由第一索引和第二索引(例如由行号和列号)唯一地标识。在诊断医学图像包括多个颜色通道的实施方案中,强度值所对应的颜色通道还可以由第三索引指示。诊断医学图像可以包括灰度图像或彩色图像。
在604,方法600包括识别用于饱和带放置的解剖标志。例如,在由用户识别的感兴趣区域内或在图像中捕获的成像区域内,方法600可以识别感兴趣的解剖结构并且确定对应的解剖结构。在图5和图7的示例中,正弦弯曲脊柱区域的识别可以指示感兴趣的解剖结构是可能需要多于一个饱和带的下脊柱区域。在图9的示例中,凹形或凸形弯曲脊柱区域可以指示中脊柱区域或上脊柱区域,对于该区域,单个饱和带可以充分地阻挡或抑制来自感兴趣的解剖结构外部的信号。关于图7至图9进一步描述了用于不同解剖结构的饱和带的生成。
在一些实施方案中,识别用于饱和带放置的解剖标志可以通过生成诊断医学图像的分割掩模,以识别感兴趣的解剖结构来完成。在其他实施方案中,深度学习神经网络可以被训练成识别诊断医学图像中的感兴趣的解剖结构。经过训练的深度学习神经网络可在方法600中实施以识别解剖标志。用于识别解剖标志以及基于所识别的解剖标志识别饱和带的数量和近似取向的其他方法可以包括手动用户识别和/或其他基于机器学习的方法。
在606,方法600包括生成用于饱和带放置的地面实况平面。在操作604识别解剖标志可以指示诊断医学图像的饱和带的数量和近似放置,并且操作606可以包括将至少一个饱和带中的每个饱和带定位(例如,调整其近似放置)在诊断医学图像上。如关于图1和图5所描述的,饱和带的一侧可以被定位成与感兴趣的解剖结构相邻但不重叠。例如,如关于图5所描述的,第七饱和带516的后侧536可以与腰椎弯曲的前侧相邻。至少一个饱和带(例如,其中多个饱和带可以对应于感兴趣的解剖结构)可以由用户使用经过训练的深度神经网络或用于相对于感兴趣的解剖结构定位饱和带的另一方法来定位。
例如,在608,方法600可以包括基于感兴趣的解剖结构的弯曲数据生成至少一个饱和带。转到图7,示出了演示基于弯曲数据的训练数据的生成的多个图像700。如关于图6所描述的,生成训练数据可以包括生成诊断医学图像的分割掩模,以识别该诊断医学图像的感兴趣的解剖结构。在图7所示的实施方案中,方法600可以基于解剖标志将感兴趣的解剖结构识别为下脊柱区域,并且推断由诊断医学图像750捕获的解剖结构包括腰椎和骶骨。
诊断医学图像750的图形指示702示出了下脊柱区域的分割掩模704,其包括第一弯曲(例如,腰椎弯曲)和第二弯曲(例如,骶椎弯曲)。腰椎弯曲可以表示为分割掩模704的第一区域706,而骶椎弯曲可以表示为分割掩模704的第二区域708。虚线穿过分割掩模704的中心并且用点指示下脊柱区域的每个椎骨。点和虚线一起表示下脊柱区域的弯曲。图形指示702还包括前饱和带716和下饱和带718。前饱和带716和下饱和带718中的每一者的定位可以根据基于弯曲的阈值来确定。
例如,分割掩模704的虚线在水平虚线710上方可以是近似线性的。如关于图6的操作604所描述的,基于弯曲数据生成饱和带可以包括将前饱和带定位成与下脊柱区域的近似线性区域相邻。附加地或另选地,前饱和带可以基于解剖标志来定位(例如,如在操作604所识别的)。例如,前饱和带可以平行于从L1、T11或T12椎骨到L4或L3椎骨的分割掩模的虚线定位,如在图形指示702上指示的。第一基于弯曲的阈值可用于选择上椎骨以将前饱和带拟合到(例如,从L1、T11或T12椎骨中)。例如,第一基于弯曲的阈值可以是与腰椎曲线中的最上椎骨(例如,T12)与其他椎骨(例如,T11、L1、L2、L3、L4和L5椎骨)之间的线性线偏离的百分比或角度。用于拟合前饱和带的上椎骨可以被选择为与腰椎曲线的其他椎骨线性对准的最上椎骨(例如,L1、T12和T11椎骨中的最上椎骨)。例如,如果T12椎骨与其他椎骨的线性对准偏离至少30度,则可以选择T11椎骨作为上椎骨以拟合前部饱和带。第一基于弯曲的阈值可以由用户设置和/或调整,由深度神经网络或者任何其他足够的方法确定。在图7所示的实施方案中,前饱和带716可以被定位成近似平行于T12和L3椎骨之间的分割掩模704的虚线。以这种方式,前饱和带(例如,前饱和带716)被拟合到分割掩模704的前点,并且前饱和带平行于由分割掩模704的虚线的线性部分限定的平面。前饱和带与分割掩模704的最前点的偏移可以是预先确定的,例如,可以偏移由用户输入的预先确定的距离或基于图形指示702中识别的解剖结构来偏移。
对于需要第二饱和带的解剖结构,例如下脊柱区域,也可以基于弯曲数据定位骶椎曲线的下饱和带。下饱和带可以基于S1椎骨和骶骨的其余部分(例如,第二区域708)的近似对准来定位。类似于前饱和带的放置,下饱和带可以定位成平行于第二区域708中的分割掩模704的虚线的线性区域。下饱和带可以基于用户定义的偏移和/或预定距离从分割掩模704的最下点偏移。在图7所示的实施方案中,下饱和带718可以沿着骶骨和L5椎骨近似平行于分割掩模704的虚线。
以这种方式,可以基于弯曲数据生成至少一个饱和带(例如,图6的操作606)。可以基于诊断医学图像生成分割掩模以指示感兴趣的解剖结构(例如,由方法600的操作604识别)。至少一个饱和带可以基于感兴趣的解剖结构的前点和/或下点(例如,前饱和带和/或下饱和带)来定位。第一基于弯曲的阈值可用于识别用于定位前饱和带的感兴趣的上区域(例如,上椎骨),并且前饱和带可以平行于上区域的前点定位。前饱和带可以与上区域偏移预定的(例如,用户定义的)距离。下饱和带可以基于第二基于弯曲的阈值平行于感兴趣的解剖结构的下区域定位,并且可以从下区域偏移预定(例如,用户定义)距离,该距离可以等于或不同于前饱和带与上区域的偏移。
附加地或另选地,可以基于感兴趣的解剖结构的区域生成至少一个饱和带。返回到图6,在610,方法600可以包括基于至少一个边界框生成至少一个饱和带。简而言之,这可以包括:将至少一个边界框映射到感兴趣的解剖结构,识别具有最接近分割掩模的余弦方向的法线的平面,使用该分割掩模的余弦方向来识别与第二方向(例如,与第一方向相反)具有最高相似性的边界框的第一方向,在该第一方向或该第二方向上调整远离该法线的该边界框的中心点,以及识别该平面的平面参数。转到图8和图9,示出了用于基于下脊柱区域、上脊柱区域和中脊柱区域的边界框来生成饱和带的多个图像。
图8示出了多个分割掩模图像800,其中示出了下脊柱区域的分割掩模850。第一分割掩模图像802指示下脊柱区域的腰椎曲线,第二分割掩模804指示下脊柱区域的骶椎曲线,并且第三分割掩模806示出在下脊柱区域中相对于彼此布置的腰椎曲线和骶椎曲线两者。如关于图6所描述的,方法600可以基于解剖标志来确定诊断医学图像中示出的解剖结构(例如,下脊柱区域)需要多于一个饱和带。生成至少一个饱和带可以包括将至少一个边界框映射到感兴趣的解剖结构,其中边界框的数量等于饱和带的期望数量。在图8所示的实施方案中,第一边界框812可以映射到下脊柱区域的腰椎曲线,并且第二边界框814可以映射到下脊柱区域的骶椎曲线。分割掩模850的体素可以在边界框的平面的一侧上并且因此与边界框相切。例如,与相应边界框(例如,第一边界框812和第二边界框814)相切的分割掩模850的体素在图8中示为在相应边界框的边界内。基于边界框生成饱和带包括识别具有最接近感兴趣的解剖结构的前后方向的法线的边界框的平面。前后方向可以是当提及成像对象时使用的常规前后方向,其中胸部是前而背部是后。分割掩模850的左、后、上(LPS)余弦方向可以用于识别具有最接近前后方向的法线的边界框的平面。与后(P)方向具有最高余弦相似性的边界框的方向可被识别为接近前后方向,并且可以选择对应平面以用于生成饱和带。生成饱和带可以包括将所选平面在法线方向上移动相应边界框的厚度的一半。
在图8所示的实施方案中,第一边界框812的第一平面822被确定为具有最接近第一边界框812的平面的前后方向的法线。第二边界框814的第二平面824被确定为具有最接近第二边界框814的平面的前后方向的法线。第一饱和带832可被定位成使得第一饱和带832不与由第一边界框812限定的区域(例如,腰椎曲线)重叠。第二饱和带834可被定位成使得第二饱和带834不与由第二边界框814限定的区域重叠。
也可以基于除下脊柱区域外的解剖结构(例如中脊柱区域和上脊柱区域)的边界框来生成饱和带。转到图9,示出了中脊柱区域(例如,胸椎区域)和上脊柱区域(例如,颈椎区域)的多个分割掩模900,其中对应的饱和带相邻定位。第一分割掩模图像902包括胸部分割掩模912和胸部饱和带922。第二分割掩模图像904包括颈部分割掩模914和颈部饱和带924。胸部分割掩模912和颈部分割掩模914中的每一者可以根据关于图8描述的方法基于边界框(图9中未示出)来生成。
回到操作606,方法600可将根据关于图7至图9描述的方法或用于生成饱和带的其他充分方法生成的至少一个饱和带中的每个饱和带转换成地面实况平面。地面实况平面可等效于如关于图5所描述的平面投影。地面实况平面的位置和形成角度(例如,地面实况参数)可以等于对应饱和带的位置和带形成角度,使得地面实况平面被覆盖以与最靠近感兴趣的解剖结构的饱和带的一侧对准。在一些实施方案中,地面实况平面可以不覆盖在诊断医学图像上,而是地面实况参数(例如,地面实况平面的位置和形成角度)可以包括在诊断医学图像的元数据中以形成训练数据对。
在612,方法600包括输出诊断医学图像和对应的(一个或多个)地面实况平面。诊断医学图像和包括位置和形成角度的地面实况平面参数的对应地面实况平面可以作为训练数据对输出到图像储存库或其他训练数据库,来自该图像储存库或其他训练数据库的训练数据可以是训练CNN以基于输入到CNN中的***图像输出至少一个平面掩模的源。例如,训练数据对(例如,训练数据)可以作为图像数据211存储在图2B的图像处理设备202的非暂态存储器206上。可以使用多个训练数据对来训练在饱和带预测工作流100和/或方法300中实现的CNN。作为关于图5至图9描述的方法的补充或替代,可以使用回归网络来生成训练数据,该回归网络可以被训练成预测地面实况平面参数,例如地面实况平面的位置和形成角度。
现在转到图10,示出了用于训练深度神经网络(例如如关于图1和图3所述实现的CNN)以基于输入到CNN中的***图像输出至少一个平面掩模的方法10000的流程图。可以使用多个训练数据对来训练CNN,可以根据上述方法或用于基于***图像的饱和带确定至少一个平面的参数的其他充分方法来生成训练数据对。在一些实施方案中,方法1000可由成像***实施,例如图2A的MRI装置210,其可包括图2B的图像处理设备202。另选地,方法1000可以在未耦接到成像***的图像处理设备(例如,MRI装置210)处实施。CNN可以在第一***(例如,图像处理设备202)处进行训练并且在第二***(例如,MRI装置210)处实施。
如上所述,训练数据对可以包括诊断医学图像和基于诊断医学图像的相应数量的饱和带生成的至少一个平面投影的平面参数(例如,如关于图5至图9所描述的)。可以使用多个训练数据对来训练CNN。简而言之,可以将训练数据对的诊断医学图像输入到未经训练的CNN中。未经训练的CNN可以基于诊断医学图像映射一组预测的平面参数(例如,至少一个平面掩模)。可以确定该组预测的平面参数与诊断医学图像的(一个或多个)相关联的平面投影的平面参数之间的损失。可以基于该损失来调整未经训练的CNN的权重和偏差。可以对多个训练数据对重复该过程,直到计算出的损失低于期望的误差阈值为止,此时,可以认为CNN经过训练,并且可以在用于基于***图像输出至少一个平面掩模(例如,以及相关联的平面参数)的方法中实现。
方法1000开始于操作1002,其中将来自多个训练数据对的训练数据对输入到深度神经网络(例如,CNN)中,其中训练数据对包括成像对象的解剖区域的诊断医学图像以及指示诊断医学图像的解剖区域的饱和带的位置的至少一个平面投影的对应平面参数。在一些实施方案中,训练数据对和多个训练数据对可以存储在成像***中,例如存储在图像处理设备202的图像数据211中。在其他实施方案中,可经由成像***和外部存储设备之间的通信耦接(例如经由与远程服务器的互联网连接)来获取训练数据对。
在操作1004,成像***可以使用特征提取器从诊断医学图像提取特征。在一些实施方案中,特征提取器包括一个或多个可学习/可调整的参数,并且在此类实施方案中,所述参数可以通过执行方法1000来学习。在一些实施方案中,特征提取器包括硬编码参数,并且不包括可学习/可调整的参数,并且在此类实施方案中,在方法1000的执行期间不训练特征提取器。在其他实施方案中,成像***可以通过为诊断医学图像规定分割掩模来识别诊断医学图像的解剖结构,如关于图5至图9所描述的。
在操作1006,成像***使用深度神经网络将特征映射到在操作1004识别的感兴趣的解剖结构的至少一个预测的平面掩模。在一些实施方案中,深度神经网络包括CNN,该CNN包括一个或多个卷积层,这些卷积层包括一个以上的卷积滤波器。深度神经网络通过从输入层传播特征,通过一个或多个隐藏层,直到到达深度神经网络的输出层,将特征映射到预测的平面掩模。预测的平面掩模可以包括相关联的预测平面参数,包括平面掩模的位置和形成角度。预测的平面掩模可以是诊断医学图像上的3D投影,以识别与感兴趣的解剖结构相邻的平面。
在操作1008,成像***基于预测的平面参数与地面实况平面参数(例如,包括在训练数据对中的诊断医学图像的平面参数)之间的差来计算(例如,至少一个平面掩模的每个预测的平面掩模的)预测的平面参数的损失。在一些实施方案中,损失包括由以下方程给出的均方误差:
其中MSE代表均方误差,N是训练数据对的总数,i是指示当前选择的训练数据对的索引,xi是训练数据对i的预测厚度掩模,而Xi是训练数据对i的地面实况厚度掩模。表达式xi-Xi将被理解为表示对当前选择的训练数据对i而言,预测厚度掩模和地面实况厚度掩模中的每对对应厚度值的逐对减法。应当理解,在操作1008可以采用机器学习领域中已知的其他损失函数。
在操作1010,基于在操作1008确定的损失来调整深度神经网络的权重和偏差。在一些实施方案中,可调整特征提取器和CNN的参数以减少一组训练数据对上的损失。在一些实施方案中,特征提取器可以不包括可学***面掩模映射到诊断医学图像的感兴趣的解剖结构。
如本文所述,可以生成包括诊断医学图像和基于诊断医学图像的期望饱和带的平面参数的训练数据对,并且所生成的训练数据对可以用于训练诸如CNN的深度神经网络以基于输入到CNN中的***图像输出至少一个平面掩模。该至少一个平面掩模中的每个平面掩模可以是指示与感兴趣的解剖结构相邻的平面的3D投影。平面掩模可以指示可以在诊断医学图像上放置饱和带的带位置和带形成角度。可以输出包括基于相应数量的平面掩模的至少一个饱和带的图形指示以在显示设备上显示。在由用户进行可选调整之后,可以使用MRI装置执行诊断扫描,其中饱和脉冲被引导到由至少一个饱和带指示的区域。基于对应的平面掩模(例如,3D投影)识别至少一个饱和带(例如,覆盖在诊断医学图像上的2D平面)可以允许在多次纵向扫描上捕获一致的成像数据。平面掩模可以识别3D平面并且因此允许一致的饱和带放置,其中饱和带可以基于平面掩模定位并且充分地抑制由饱和带覆盖的区域中的信号,而不管患者姿势如何。图像捕获的持续时间以及用户错误的程度可以降低,因为至少一个饱和带的自动规定可以减少图像捕获期间的用户输入。
饱和带在***图像上的平面掩模的位置和形成角度处的自动放置,可以允许饱和带放置更一致性和更准确性,其中平面掩模由深度神经网络基于***图像来生成。这可以在基于图形指示捕获的诊断图像中提供一致性,这些图形指示包括覆盖在图像上的至少一个饱和带,其中该至少一个饱和带指示需要施加饱和脉冲并且因此抑制来自底层解剖结构的信号的区域。另外,基于平面掩模的饱和带的自动定位可以提高诊断图像生成的处理效率。例如,训练深度神经网络(例如本文所述的CNN)以识别在感兴趣的解剖结构的最前点或最下点处的平面的位置和形成角度可以提供用于使用比常规方法更少的数据并且利用比常规方法更快的处理来基于多个不同解剖结构的感兴趣的解剖结构来生成至少一个平面掩模的方法。其他图像处理方法可以包括基于特定解剖结构识别饱和带位置和形成角度,例如,将上脊柱区域的饱和带定位在第一位置处,其中第一位置是预定的并且饱和带的规定取决于感兴趣的解剖结构(例如,上脊柱区域)在成像区域中的定位。这可能不将感兴趣的解剖结构解释为3D图像,因为饱和带是***图像上的2D投影。替代地,使用平面掩模的位置和形成角度来定位饱和带可以允许饱和带相对于作为3D图像的感兴趣的解剖结构以及感兴趣的解剖结构的潜在差异(例如,病变、异物等)被定位,这些潜在差异可以对基于预定位置放置饱和带提出挑战。本文所述的***和方法可以提高用于放置至少一个饱和带的处理效率。使用经过训练的深度神经网络来基于***图像生成平面掩模并且基于平面掩模的放置来放置饱和带提供了用于经由更有效的计算确定饱和带位置的有效方法。因此可以提高至少一个饱和带的自动放置的处理效率。例如,因为饱和带放置位置和/或取向可能受到复杂几何因素的影响,所以基于掩模的确定使得处理器的处理能够更快并且更有效。此外,通过使用经过训练的网络来生成***图像的掩模,然后基于带来确定饱和度,使用了更有效的方法,其中处理的数据更少,并且可以在处理器上实现较不复杂的算法,以便生成饱和带。
本公开还提供对一种方法的支持,该方法包括:获取成像对象的***图像;通过将所述***图像作为输入而输入到被训练成基于所述***图像输出平面掩模的深度神经网络,确定所述***图像的所述平面掩模;通过将饱和带定位在所述平面掩模的某个位置和形成角度处来基于所述平面掩模生成所述饱和带;以及输出用于在显示设备上显示的图形指示,所述图形指示包括覆盖在所述***图像上的所述饱和带。在该方法的第一实施例中,所述平面掩模是3D坐标系的平面在所述***图像上的投影。在该方法的第二实施例中,可选地包括第一实施例,将所述饱和带覆盖在所述***图像上包括:将所述饱和带定位在所述平面掩模的所述位置和所述形成角度处。在该方法的第三实施例中,可选地包括第一实施例和第二实施例中的一者或两者,基于所述平面掩模的平面拟合平面参数确定所述饱和带的位置和形成角度中的至少一者。在该方法的第四实施例中,可选地包括第一实施例至第三实施例中的一者或多者或每一者,该方法还包括:响应于从用户输入设备接收的输入来确定所述饱和带的宽度。在该方法的第五实施例中,可选地包括第一实施例至第四实施例中的一者或多者或每一者,该方法还包括:基于用户输入调整所述图形指示,所述图形指示包括所述饱和带的位置、形成角度和宽度中的至少一者。在该方法的第六实施例中,可选地包括第一实施例至第五实施例中的一者或多者或每一者,该方法还包括:根据所述图形指示执行所述成像对象的诊断扫描,包括在由所述饱和带指示的位置处执行一个或多个饱和脉冲。
本公开还提供对一种方法的支持,该方法包括:获取医学图像;用地面实况参数标记医学图像;使用深度神经网络将预测的平面参数映射到所述医学图像;将所述预测的平面参数与所述地面实况参数进行比较,并且基于所述预测的平面参数与所述地面实况参数之间的差计算损失;以及基于所述损失调整所述深度神经网络的权重和偏差,以训练所述深度神经网络基于输入到所述深度神经网络中的医学图像来输出平面投影。在该方法的第一实施例中,所述平面投影是3D坐标系与所述医学图像的图像平面相交的平面的投影。在该方法的第二实施例中,可选地包括第一实施例,所述地面实况参数包括所述平面投影的平面位置和平面形成角度。在该方法的第三实施例中,可选地包括所述第一实施例和所述第二实施例中的一者或两者,确定所述平面位置和所述平面形成角度中的至少一者包括:训练回归网络并实现所述回归网络以基于所述医学图像识别所述平面位置和所述平面形成角度中的至少一者。在该方法的第四实施例中,可选地包括第一实施例至第三实施例中的一者或多者或每一者,确定所述平面位置和所述平面形成角度中的至少一者包括:获取所述医学图像;基于所述医学图像生成饱和带;以及分别基于所述饱和带的带位置和带形成角度确定所述平面位置和所述平面形成角度。在该方法的第五实施例中,可选地包括第一实施例至第四实施例中的一者或多者或每一者,生成所述饱和带包括:生成所述医学图像的分割掩模,以识别所述医学图像的感兴趣的解剖结构。在该方法的第六实施例中,可选地包括第一实施例至第五实施例中的一者或多者或每一者,所述感兴趣的解剖结构包括至少一个弯曲。在该方法的第七实施例中,可选地包括第一实施例至第六实施例中的一者或多者或每一者,生成所述感兴趣的解剖结构的所述饱和带包括:使用第一基于弯曲的阈值来识别所述感兴趣的解剖结构的第一弯曲;将第一平面拟合到所述第一弯曲的前点;以及将前饱和带定位成平行于所述第一平面并且从所述第一平面偏移预定距离。在该方法的第八实施例中,可选地包括第一实施例至第七实施例中的一者或多者或每一者,生成所述感兴趣的解剖结构的所述饱和带还包括:使用第二基于弯曲的阈值来识别所述感兴趣的解剖结构的第二弯曲;将第二平面拟合到所述第二弯曲的下点;以及将下饱和带定位成平行于所述第二平面并且从所述第二平面偏移预定距离。在该方法的第九实施例中,可选地包括第一实施例至第八实施例中的一者或多者或每一者,生成所述饱和带包括:将至少一个边界框映射到所述感兴趣的解剖结构;识别具有最接近所述分割掩模的方向的法线的平面;使用所述分割掩模的左、后、上(LPS)余弦方向来识别边界框的第一方向,所述第一方向与和所述第一方向相反的第二方向具有最高相似性;在所述第一方向或所述第二方向上调整远离所述法线的所述边界框的中心点;以及识别所述平面的平面参数。在该方法的第十实施例中,可选地包括第一实施例至第九实施例中的一者或多者或每一者,所述至少一个边界框中的每个边界框被映射到所述感兴趣的解剖结构的解剖标志。在该方法的第十一实施例中,可选地包括第一实施例至第十实施例中的一者或多者或每一者,所述深度神经网络包括多个卷积滤波器,其中所述多个卷积滤波器中的每个卷积滤波器的灵敏度由对应的空间正则化因子调制。
本发明还提供对一种成像***的支持,该成像***包括:成像设备;存储器,其存储:经过训练的卷积神经网络(CNN)和指令;显示设备;以及处理器,其能够通信地耦接到所述成像设备、所述显示设备和所述存储器,并且当执行所述指令时,被配置为:经由所述成像设备获取成像对象的医学图像;使用所述经过训练的CNN映射所述成像对象的平面掩模;基于所述平面掩模生成饱和带;以及在所述显示设备上显示图形指示,所述图形指示包括覆盖在所述医学图像上的所述饱和带。
当介绍本公开的各种实施方案的元件时,词语“一个”、“一种”和“该”旨在意指存在这些元件中的一个或多个元件。术语“第一”、“第二”等不表示任何顺序、量或重要性,而是用于将一个元件与另一个元件区分开。术语“包括”、“包含”和“具有”旨在是包含性的,并且意指除了列出的元件之外还可存在附加元件。如本文使用术语“连接到”、“耦接到”等,一个对象(例如,材料、元件、结构、构件等)可以连接到或耦接到另一个对象,而无论该一个对象是否直接连接或耦接到另一个对象,或者在该一个对象与另一个对象之间是否存在一个或多个介入对象。此外,应当理解,对本公开的“一个实施方案”或“实施方案”的引用不旨在被解释为排除也包含所引用特征的附加实施方案的存在。
除了任何先前指示的修改之外,本领域技术人员可以在不脱离本描述的实质和范围的情况下设计出许多其他变型和替换布置,并且所附权利要求书旨在覆盖此类修改和布置。因此,尽管上面已经结合当前被认为是最实际和最优选的方面对信息进行了具体和详细的描述,但对于本领域的普通技术人员将显而易见的是,在不脱离本文阐述的原理和概念的情况下,可以进行许多修改,包括但不限于形式、功能、操作方式和使用。同样,如本文所使用的,在所有方面,示例和实施方案仅意图是说明性的,并且不应以任何方式解释为限制性的。

Claims (15)

1.一种成像***,所述成像***包括:
成像设备(210);
存储器,所述存储器存储经过训练的卷积神经网络和指令;
显示设备(233);和
处理器(231),所述处理器能够通信地耦接到所述成像设备、所述显示设备和所述存储器,并且在执行所述指令时,所述处理器被配置为:
经由所述成像设备获取成像对象的***图像;
通过将所述***图像作为输入而输入到所述经过训练的卷积神经网络中,使用所述经过训练的卷积神经网络来映射用于所述成像对象的平面掩模,所述经过训练的卷积神经网络基于所述***图像输出所述平面掩模;
通过将饱和带定位在所述平面掩模的某个位置和形成角度处,基于所述平面掩模生成所述饱和带;以及
输出用于在所述显示设备上显示的图形指示,所述图形指示包括覆盖在所述***图像上的所述饱和带。
2.根据权利要求1所述的成像***,其中所述平面掩模是3D坐标系的平面在所述***图像上的投影。
3.根据权利要求1所述的成像***,其中基于所述平面掩模的平面拟合平面参数确定所述饱和带的位置和形成角度中的至少一者。
4.根据权利要求1所述的成像***,还包括响应于从用户输入设备接收的输入来确定所述饱和带的宽度。
5.根据权利要求1所述的成像***,还包括基于用户输入调整所述图形指示,所述图形指示包括所述饱和带的位置、形成角度和宽度中的至少一者。
6.根据权利要求1所述的成像***,还包括根据所述图形指示执行所述成像对象的诊断扫描,包括在由所述饱和带指示的位置处执行一个或多个饱和脉冲。
7.一种方法,所述方法包括:
获取医学图像;
用地面实况参数标记所述医学图像;
使用深度神经网络将预测的平面参数映射到所述医学图像;
将所述预测的平面参数与所述地面实况参数进行比较,并且基于所述预测的平面参数与所述地面实况参数之间的差计算损失;以及
基于所述损失调整所述深度神经网络的权重和偏差,以训练所述深度神经网络基于输入到所述深度神经网络中的医学图像来输出平面投影。
8.根据权利要求7所述的方法,其中所述平面投影是3D坐标系与所述医学图像的图像平面相交的平面的投影。
9.根据权利要求7所述的方法,其中所述地面实况参数包括所述平面投影的平面位置和平面形成角度。
10.根据权利要求9所述的方法,其中确定所述平面位置和所述平面形成角度中的至少一者包括:
获取所述医学图像;
基于所述医学图像生成饱和带;以及
分别基于所述饱和带的带位置和带形成角度确定所述平面位置和所述平面形成角度。
11.根据权利要求10所述的方法,其中生成所述饱和带包括生成所述医学图像的分割掩模,以识别所述医学图像的感兴趣的解剖结构。
12.根据权利要求11所述的方法,其中所述感兴趣的解剖结构包括至少一个弯曲。
13.根据权利要求11所述的方法,其中生成所述感兴趣的解剖结构的所述饱和带包括:
使用第一基于弯曲的阈值来识别所述感兴趣的解剖结构的第一弯曲;
将第一平面拟合到所述第一弯曲的前点;以及
将前饱和带定位成平行于所述第一平面并且从所述第一平面偏移预定距离。
14.根据权利要求11所述的方法,其中生成所述饱和带包括:
将至少一个边界框映射到所述感兴趣的解剖结构;
识别具有最接近所述分割掩模的方向的法线的平面;
使用所述分割掩模的左、后、上余弦方向来识别边界框的第一方向,所述第一方向与和所述第一方向相反的第二方向具有最高相似性;
在所述第一方向或所述第二方向上调整远离所述法线的所述边界框的中心点;以及
识别所述平面的平面参数。
15.根据权利要求14所述的方法,其中所述至少一个边界框中的每个边界框被映射到所述感兴趣的解剖结构的解剖标志。
CN202310735149.3A 2022-07-01 2023-06-20 用于自动饱和带放置的方法和*** Pending CN117333544A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/810,473 2022-07-01
US17/810,473 US20240005480A1 (en) 2022-07-01 2022-07-01 Methods and systems for automated saturation band placement

Publications (1)

Publication Number Publication Date
CN117333544A true CN117333544A (zh) 2024-01-02

Family

ID=89289111

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310735149.3A Pending CN117333544A (zh) 2022-07-01 2023-06-20 用于自动饱和带放置的方法和***

Country Status (2)

Country Link
US (1) US20240005480A1 (zh)
CN (1) CN117333544A (zh)

Also Published As

Publication number Publication date
US20240005480A1 (en) 2024-01-04

Similar Documents

Publication Publication Date Title
US20220245400A1 (en) Autonomous segmentation of three-dimensional nervous system structures from medical images
US11744465B2 (en) Method and program for generating three-dimensional brain map
CN106600609B (zh) 一种医学图像中脊柱的分割方法及***
US11506739B2 (en) Systems and methods for generating localizer scan settings from calibration images
US10514433B2 (en) Magnetic resonance imaging apparatus extracting an intervertebral disk region based on sagittalimages of a subject
US9398855B2 (en) System and method for magnetic resonance imaging based respiratory motion correction for PET/MRI
CN110554339B (zh) 用于磁共振成像中的线圈选择以减少相位卷褶伪影的方法和***
US8781552B2 (en) Localization of aorta and left atrium from magnetic resonance imaging
JP5485663B2 (ja) 対称性検出及び画像位置合わせを用いた自動式走査計画のシステム及び方法
CN104115020A (zh) 使用利用Dixon技术采集的导航器进行运动校正的MRI成像
US20210177295A1 (en) Systems and methods for generating diagnostic scan parameters from calibration images
CN112641464A (zh) 用于启用上下文感知的超声扫描的方法和***
US9355454B2 (en) Automatic estimation of anatomical extents
US11741614B2 (en) Method, system and computer program for determining position and/or orientation parameters of an anatomical structure
JP5154751B2 (ja) 医用画像処理装置
US8724878B2 (en) Ultrasound image segmentation
US12008695B2 (en) Methods and systems for translating magnetic resonance images to pseudo computed tomography images
JP2020005889A (ja) 自動位置決め機能付き磁気共鳴イメージング装置、磁気共鳴イメージング装置の制御方法、及び、撮像断面自動設定用プログラム
CN103284749B (zh) 医用图像处理装置
Chen et al. Development of Automatic Assessment Framework for Spine Deformity using Freehand 3D Ultrasound Imaging System
CN117333544A (zh) 用于自动饱和带放置的方法和***
KR102054106B1 (ko) 생체 4차원 영상 획득에서 볼륨 내 움직임 및 측정 시각 동시 보정 방법 및 장치
EP4339879A1 (en) Anatomy masking for mri
KR102017433B1 (ko) 움직임 보정을 통해 텐서 추정을 위한 의료 영상 장치 및 방법
US20240005451A1 (en) Methods and systems for super-resolution with progressive sub-voxel up-sampling

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination