CN110797112A - 利用深度神经网络的自动图形处方的***和方法 - Google Patents

利用深度神经网络的自动图形处方的***和方法 Download PDF

Info

Publication number
CN110797112A
CN110797112A CN201910630786.8A CN201910630786A CN110797112A CN 110797112 A CN110797112 A CN 110797112A CN 201910630786 A CN201910630786 A CN 201910630786A CN 110797112 A CN110797112 A CN 110797112A
Authority
CN
China
Prior art keywords
neural network
trained
localizer
prescription
graphical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910630786.8A
Other languages
English (en)
Other versions
CN110797112B (zh
Inventor
桂大为
扎卡里·斯莱文斯
萨兰德拉·马坎达亚
帕特里克·夸特曼
申皓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
General Electric Co
Original Assignee
General Electric Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by General Electric Co filed Critical General Electric Co
Publication of CN110797112A publication Critical patent/CN110797112A/zh
Application granted granted Critical
Publication of CN110797112B publication Critical patent/CN110797112B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00—Arrangements or instruments for measuring magnetic variables
    • G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48—NMR imaging systems
    • G01R33/54—Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
    • G01R33/543—Control of the operation of the MR system, e.g. setting of acquisition parameters prior to or during MR data acquisition, dynamic shimming, use of one or more scout images for scan plane prescription
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0037—Performing a preliminary scan, e.g. a prescan for identifying a region of interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Databases & Information Systems (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Signal Processing (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Analysis (AREA)

Abstract

本发明题为“利用深度神经网络的自动图形处方的***和方法”。提供了具有深度学习***的自动图形处方的方法和***。在一个实施方案中，一种用于医疗成像***的方法包括：通过医疗成像***获取受检者的***图像；通过训练的神经网络***，使用***图像生成图形处方；并且通过医疗成像***根据图形处方执行受检者的扫描。以这种方式，利用来自医疗成像***的操作者的最小输入可以精确地扫描受检者的期望的感兴趣区域。

Description

利用深度神经网络的自动图形处方的***和方法
技术领域
本文公开的主题的实施方案涉及医学成像，诸如磁共振成像(MRI)，并且更具体地，涉及利用深度神经网络自动生成用于医学成像的图形处方。
背景技术
医疗成像***通常用于获得受检者(例如患者)的内部生理信息。例如，医疗成像***可用于获得受检者的骨骼结构、大脑、心脏、肺部和各种其他特征的图像。医疗成像***可以包括磁共振成像(MRI)***、计算机断层摄影(CT)***、x射线***、超声***和各种其他成像模态。
在对受检者进行诊断扫描之前，可以对受检者进行低分辨率或低剂量扫描(通常被称为侦察扫描或***扫描)，以获得受检者的内部解剖结构的侦察图像或***图像。医疗成像***的操作者可以根据侦察图像或***图像来规划受检者的诊断扫描，以确保受检者的全强度诊断扫描根据需要正确地对受检者成像。
发明内容
在一个实施方案中，一种用于医疗成像***的方法包括：通过医疗成像***获取受检者的***图像；通过训练的神经网络***，使用***图像生成图形处方；并且通过医疗成像***根据图形处方执行受检者的扫描。以这种方式，利用来自医疗成像***的操作者的最小输入可以精确地扫描受检者的期望的感兴趣区域。
应当理解，提供上面的简要描述以便以简化的形式介绍在具体实施方式中进一步描述的精选概念。这并不意味着识别所要求保护的主题的关键或必要特征，该主题范围由具体实施方式后的权利要求唯一地限定。此外，所要求保护的主题不限于解决上文或本公开的任何部分中提到的任何缺点的实施方式。
附图说明
通过参考附图阅读以下对非限制性实施方案的描述，将会更好地理解本发明，其中：
图1是根据一个示例性实施方案的MRI***的框图；
图2示出了示出根据一个示例性实施方案的用于自动图形处方的深度学***框图；
图3A示出了示出根据一个示例性实施方案的用于对解剖结构进行分类、识别关键帧并且生成图形处方的深度学习架构的示例层的示意图；
图3B示出了示出根据另一个示例性实施方案的用于对解剖结构进行分类、识别关键帧并且生成图形处方的深度学习架构的示例层的示意图；
图4示出了图示根据一个示例性实施方案的用于基于二维***图像生成图形处方的深度学习架构的示例层的示意图；
图5示出了根据一个示例性实施方案的用于自动生成图形处方的方法的高水平流程图；
图6示出了根据一个示例性实施方案的根据解剖结构成功分类的多个***图像；
图7示出了根据一个示例性实施方案的成功分类为关键帧或非关键帧的多个***图像；并且
图8示出了根据一个示例性实施方案的具有自动生成的图形处方的多个***图像。
具体实施方式
以下描述涉及成像***的自动图形处方的各种实施方案。特别地，提供了利用深度神经网络***自动生成图形处方的***和方法，用于使用成像***对受检者成像，诸如图1中所示的MRI***。深度神经网络***，诸如图2中描绘的***，包括各种卷积神经网络，诸如特征表示网络、解剖结构分类网络、关键帧标识符网络和图形处方网络。神经网络(在本文中有时也简称为网络)可以利用每个其他网络的学习来提高每个网络的准确度，如图3A、3B和图4中的神经网络架构所示。一种使用自动生成的图形处方的方法，诸如图5中描述的方法，包括预处理***图像，从***图像中提取特征，对***图像中的解剖结构进行分类，识别***图像的关键帧，自动生成图形处方，并且根据图形处方扫描受检者。另外，自动生成的图形处方可以用于受检者的后续扫描，从而简化工作流程并且产生不同扫描会话之间一致的图像。
尽管本文中关于MRI***描述了用于自动图形处方的方法，但是应当理解，该方法可以用其他成像模态来实现。
此外，在下文中对方法的讨论中使用大脑作为示例性解剖结构，但是应当理解，本文描述的***和方法适用于任何适当的解剖结构。例如，本文中描述的深度学习***可以用于产生脊柱、腹部、膝盖、心脏和其他解剖结构的图形处方。
图1示出了磁共振成像(MRI)装置10，该磁共振成像装置包括静磁场磁体单元12、梯度线圈单元13、RF线圈单元14、RF体线圈单元15、发送/接收(T/R)开关20、RF驱动器单元22、梯度线圈驱动器单元23、数据获取单元24、控制器单元25、病床26、数据处理单元31、操作控制台单元32和显示单元33。MRI装置10将电磁脉冲信号发送到放置在成像空间18中的受检者16，在成像空间中形成静磁场以执行从受检者16获得磁共振(MR)信号的扫描，从而基于通过扫描由此获得的MR信号重建受检者16的切片的图像。
静磁场磁铁单元12通常包括例如安装在环形真空容器内的环形超导磁铁。磁铁限定了围绕受检者16的圆柱形空间，并产生恒定的主静磁场B0。
MRI装置10还包括梯度线圈单元13，该梯度线圈单元在成像空间18中产生梯度磁场，以便为RF线圈单元14接收的MR信号提供三维位置信息。梯度线圈单元13包括三个梯度线圈***，每个梯度线圈***产生梯度磁场，该梯度磁场倾斜到彼此垂直的三个空间轴之一，根据成像条件在频率编码方向、相位编码方向和切片选择方向中的每一个中生成梯度场。更具体地，梯度线圈单元13在受检者16的切片选择方向上应用梯度场，以选择切片；RF线圈单元14将RF脉冲发送到受检者16的选定切片并激励它。梯度线圈单元13还在受检者16的相位编码方向上应用梯度场，以对来自由RF脉冲激励的切片的MR信号进行相位编码。然后，梯度线圈单元13在受检者16的频率编码方向上施加梯度场，以对来自由RF脉冲激励的切片的MR信号进行频率编码。
RF线圈单元14例如被设置为包围受检者16的待成像区域。在由静磁场磁铁单元12形成静磁场B0的静磁场空间或成像空间18中，RF线圈单元14基于来自控制器单元25的控制信号将作为电磁波的RF脉冲发送到受检者16，从而产生高频磁场B1。这激发了待成像的受检者16切片中的质子自旋。RF线圈单元14接收当在受检者16的待成像的切片中如此激发的质子自旋返回到与初始磁化矢量对准时产生的电磁波作为MR信号。RF线圈单元14可以使用相同的RF线圈发送和接收RF脉冲。
RF体线圈单元15例如被设置为包围成像空间18，并且产生与由成像空间18内的静磁场磁体单元12产生的主磁场B0正交的RF磁场脉冲B1以激发核。与可以容易地与MR装置10断开并且用另一个RF线圈单元替换的RF线圈单元14相比，RF体线圈单元15固定地附接并连接到MRI装置10。此外，尽管诸如包括RF线圈单元14的那些局部线圈可以发送信号或仅从受检者16的局部区域接收信号，RF体线圈单元15通常具有较大的覆盖区域，并且可用于向受检者16的整个身体发送或接收信号。使用仅接收局部线圈和发射体线圈提供均匀的RF激发和良好的图像均匀性，代价是在受检者16中沉积高RF功率。对于发射-接收局部线圈，局部线圈向感兴趣区域提供RF激发并接收MR信号，从而减小沉积在受检者16中的RF功率。应当理解，RF线圈单元14和/或RF体线圈单元15的特定用途取决于成像应用。
当在接收模式下操作时，T/R开关20可以选择性地将RF体线圈单元15电连接到数据获取单元24，并且当在发送模式下操作时，T/R开关可以选择性地电连接到RF驱动器单元22。类似地，当RF线圈单元14以接收模式操作时，T/R开关20可以选择性地将RF线圈单元14电连接到数据获取单元24，并且当以发送模式操作时，T/R开关可以选择性地将RF线圈单元电连接到RF驱动器单元22。当RF线圈单元14和RF体线圈单元15都用于单次扫描时，例如，如果RF线圈单元14被配置为接收MR信号并且RF体线圈单元15被配置为发送RF信号，则T/R开关20可以将来自RF驱动器单元22的控制信号引导到RF体线圈单元15，同时将接收的MR信号从RF线圈单元14引导到数据获取单元24。RF体线圈单元15的线圈可以被配置为以仅发送模式、仅接收模式或发送-接收模式操作。局部RF线圈单元14的线圈可以被配置为以发送-接收模式或仅接收模式操作。
RF驱动器单元22包括栅极调制器(未示出)、RF功率放大器(未示出)和RF振荡器(未示出)，用于驱动RF线圈单元14并在成像空间18中形成高频磁场。RF驱动器单元22基于来自控制器单元25的控制信号并使用栅极调制器将从RF振荡器接收的RF信号调制成具有预定包络的预定定时的信号。由栅极调制器调制的RF信号由RF功率放大器放大，然后输出到RF线圈单元14。
梯度线圈驱动器单元23基于来自控制器单元25的控制信号驱动梯度线圈单元13，从而在成像空间18中产生梯度磁场。梯度线圈驱动器单元23包括与梯度线圈单元13中包括的三个梯度线圈***对应的三个驱动器电路***(未示出)。
数据获取单元24包括前置放大器(未示出)、相位检测器(未示出)和模拟/数字转换器(未示出)，用于获取由RF线圈单元14接收的MR信号。在数据获取单元24中，相位检测器相位使用来自RF驱动器单元22的RF振荡器的输出作为参考信号来检测从RF线圈单元14接收并由前置放大器放大的MR信号，并将相位检测的模拟MR信号输出到模拟/数字转换器，以转换成数字信号。由此获得的数字信号被输出到数据处理单元31。
MRI装置10包括用于在其上放置受检者16的工作台26。通过基于来自控制器单元25的控制信号移动工作台26，可以使受检者16在成像空间18的内部和外部移动。
在一些实施方案中，控制器单元25包括计算机和记录有要由计算机执行的程序的记录介质。程序当由计算机执行时使设备的各个部分执行与预定扫描相对应的操作。记录介质可包括例如ROM、软盘、硬盘、光盘、磁光盘、CD-ROM或非易失性存储卡。控制器单元25连接到操作控制台单元32并且处理输入到操作控制台单元32的操作信号，并且还通过向它们输出控制信号来控制工作台26、RF驱动器单元22、梯度线圈驱动器单元23和数据获取单元24。控制器单元25还基于从操作控制台单元32接收的操作信号来控制数据处理单元31和显示单元33以获得期望的图像。
操作控制台单元32包括用户输入设备，诸如键盘和鼠标。操作员使用操作控制台单元32，例如，输入这些数据作为成像协议，并设置要执行成像序列的区域。关于成像协议和成像序列执行区域的数据被输出到控制器单元25。
数据处理单元31包括计算机和记录介质，在该记录介质上执行计算机记录程序，以执行预定数据处理。数据处理单元31连接到控制器单元25，并基于从控制器单元25接收的控制信号执行数据处理。数据处理单元31还连接到数据获取单元24，并通过对从数据获取单元24输出的MR信号应用各种成像处理操作来生成光谱数据。
显示单元33包括显示设备，并基于从控制器单元25接收的控制信号在显示设备的显示屏幕上显示图像。显示单元33显示例如关于操作者从操作控制台单元32输入操作数据的输入项目的图像。显示单元33还显示由数据处理单元31生成的受检者16的切片图像。
MRI装置10可以配置有深度学***框图。关于图1的***和部件描述了深度学习架构200，但是应当理解，深度学习架构200可以在不脱离本公开的范围的情况下用其他***和部件来实现。例如，深度学习架构200可以在非暂时性存储器中实现，并且可以由MRI装置10的一个或多个处理器(诸如数据处理单元31)执行。在一些实施方案中，深度学习架构200可以在连接到MRI装置10的边缘设备上实现。在一些实施方案中，深度学习架构200可以在与MRI装置10通信的云中实现。在一些实施方案中，深度学习架构的部分在不同设备上实现，诸如MRI装置10、边缘设备、云等的任何适当组合。
参考图2，***图像205可以作为二维***或三维***体积被获取。在一些实施方案中，控制MRI装置10以获取一组三平面、低分辨率、大视场二维***图像205。在一些实施方案中，控制MRI装置10以获取三维***图像体积。三维***图像体积可以形成***图像205或者被重新格式化或投影到多平面二维空间中以形成***图像205。***图像205可以包括，例如，标准SSFSE/GRE***、三维低分辨率体积或具有取决于解剖结构或临床需要的T2/T1/PD对比的其他二维***。此外，矢状T2FSE扫描可用于识别多平面多角度轴向***扫描。
在一些实施方案中，可以进一步预处理***图像205。例如，由于原始***图像可能来自具有不同阴影图案的不同***，并且具有导致不同对比度的不同脉冲序列，因此对深度学***均值来防止图像具有不同的对比度，然后重新缩放它以使其像素上的标准偏差等于某个常数。由于全局对比度归一化有时无法突出显示期望突出的图像特征，诸如边缘和角落，因此可以使用全局对比度归一化和局部对比度归一化。预处理还可以包括数据重采样。例如，由于多切片二维和三维***都包含体数据，因此在不同方向上的重采样提供了额外的输入作为神经网络架构的训练数据集以增加训练大小，从而改善训练结果。
如图所示，深度学习架构200包括特征表示网络210、解剖结构分类网络222、关键帧标识符网络224和图形处方网络226。如下所述，网络210、222、224和226可以共享多个层以利用针对不同任务的学习权重。
***图像205被输入到特征表示网络210，其被配置为从***图像205中提取特征。特征表示网络210可以包括卷积神经网络，其包括多个卷积层或任何其他适当类型的神经网络。
特征表示网络210的输出被输入到解剖结构分类网络222，解剖结构分类网络又输出解剖结构和平面分类232。为此，解剖结构分类网络222可以包括前馈全连接神经网络，前馈全连接神经网络包括多个全连接层。应当理解，解剖结构分类网络222可以包括任何适当类型的分类算法，包括但不限于支持向量机(SVM)。由解剖结构分类网络222输出的解剖结构和平面分类232包括解剖结构的分类和***图像205的平面。例如，如果***图像205的***图像包括大脑的矢状视图，则由解剖结构分类网络222输出的用于***图像的解剖结构和平面分类232包括大脑和矢状的分类。
此外，应当理解，特征表示网络210可以至少最初结合解剖结构分类网络222进行训练。例如，训练数据集(包括在不同平面中的不同解剖结构的大量多个***图像205，与指示解剖结构和平面的多个***图像205中的每一个的标签一起)可以被输入到特征表示网络210和解剖结构分类网络222以训练网络，在这样的示例中，可以被认为是包括多个卷积层，然后是多个全连接层的单个网络。因此，如本领域中已知的，可以使用反向传播以这种方式训练网络，以调整和学***面进行分类。
特征表示网络210的至少一个子集层的输出被输入到关键帧标识符网络224，该关键帧标识符网络又输出***图像205的关键帧234。也就是说，不是仅将特征表示网络210的最终卷积层的输出输入到关键帧标识符网络224中，特征表示网络210的多个卷积层的输出可以直接从特征表示网络210输出并输入到关键帧标识符网络。关键帧可以包括***图像205的图像或帧，这些图像或帧包括对应于或指示用于对解剖结构成像的标准参考平面的一个或多个解剖结构界标。作为说明性和非限制性示例，如果***图像205描绘了受检者的大脑，所识别的关键帧234可包括***图像205的图像，这些图像包括前连合-后连合(AC-PC)线，这些前连合-后连合线包括连接大脑的两个不同解剖结构的线，即大脑的前连合(AC)和后连合(PC)。所识别的关键帧可以附加地或替代地包括***图像205的帧或图像，这些帧或图像包括穿过眼睛的外眼角和外耳道的中心的眼眶(OM)线。例如，AC-PC线和OM线通常用于定义标准轴向成像平面。为此，可以利用包括大量***图像的训练数据集来训练关键帧标识符网络224，其中多个***图像中的每一个被标记为关键帧或非关键帧。另外，在一些示例中，可以在训练数据集中标记训练数据集的***图像的特定解剖界标。因此，通过将训练数据集输入到特征表示网络210和关键帧标识符网络224中，可以使用与训练数据集的反向传播来训练关键帧标识符网络224。
类似于关键帧标识符网络224，特征表示网络210的卷积层的至少一个子集层的输出被输入到图形处方网络226，图形处方网络又输出图形处方236。图形处方236可以包括图形处方标记，诸如点、线、框或覆盖在***图像205的关键帧234上的其他形状，以指示期望的感兴趣区域，以及指示所需感兴趣区域的视野、间隔、厚度、位置和方向。以这种方式，图形处方236自动地规定体积取向和体积覆盖范围，以确保在完整诊断扫描期间准确地成像所需的感兴趣区域。
图3A示出了示出根据一个示例性实施方案的用于对解剖结构进行分类、识别关键帧并且生成图形处方的深度学习架构300的示例层的示意图。特别地，深度学习架构300描绘了上文关于图2描述的深度学习架构200的某些部件的示例配置的更详细视图，包括特征表示网络210、解剖结构分类网络222、关键帧标识符网络224和图形处方网络226。
如图所示，特征表示网络210包括第一卷积层311、第二卷积层312、第三卷积层313、第四卷积层314和第五卷积层315。第一卷积层311接收***图像205(例如，获取的***图像或处理的***图像)作为输入，并将卷积结果输出到第二卷积层312。第二卷积层312对来自第一卷积层311的卷积结果进行卷积，并将卷积结果输出到第三卷积层313。第三卷积层313对从第二卷积层接收的卷积结果进行卷积，并将卷积结果输出到第四卷积层314。第四卷积层314对从第三卷积层313接收的卷积结果进行卷积，并将卷积结果输出到第五卷积层315。第五卷积层315对从第四卷积层314接收的卷积结果进行卷积，并将卷积结果输出到解剖结构分类网络320。
应当理解，尽管未示出，但是特征表示网络210可以包括在卷积层311、312、313、314和315中的一个或多个之间的一个或多个汇集层，用于汇集或子采样卷积层的输出，从而减少卷积层之间的维数。例如，最大汇集层(未示出)可以位于第一卷积层311和第二卷积层312之间。还应当理解，任何适当类型的神经网络和任何适当数量的层可以用于特征表示网络210。
仍然参考图3A，解剖结构分类网络320包括前馈全连接神经网络，前馈全连接神经网络包括第一层321、第二层322、第三层323和输出层324。第一层321、第二层322和第三层323可以包括全连接层而不是卷积层，而输出层324输出上文描述的解剖结构和平面分类232。应当理解，任何适当类型的神经网络和任何适当数量的层可以用于解剖结构分类网络320。
此外，如图所示，特征表示网络210的至少一个子集层的输出(例如，第一卷积层311、第三卷积层313、第五卷积层315)被引导到超网络330，用于关键帧识别和图形处方生成。例如，如图所示，特征表示网络210的第一卷积层311的输出被输入到超网络330的第一卷积层331，特征表示网络210的第三卷积层313的输出被输入到超网络330的第二卷积层333，并且特征表示网络210的第五卷积层315的输出被输入到超网络330的第三卷积层335。以这种方式，由特征表示网络210生成的特征表示的不同水平的抽象被用作超网络330的输入。在一些实施方案中，特征表示网络210的所有层的输出被引导到超网络330。
超网络330的第一卷积层331、第二卷积层333和第三卷积层335的输出被输入到共享卷积层337，从而融合卷积层331、333和335的卷积。然后，共享卷积层337的卷积输出被输入到全连接层339。
全连接层339的输出被提供给用于关键帧识别的全连接层340和用于图形处方生成的全连接层350。因此，全连接层340的输出342包括关键帧的标识，而全连接层350的输出352包括图形处方。
全连接层340与超网络330组合构成超关键帧分类神经网络。类似地，全连接层350与超网络330组合构成超图形处方生成神经网络。如图所示，超关键帧识别神经网络和超图形处方生成神经网络共享多个层，具体地，形成超网络330的所描绘的层。以这种方式，利用每个超网络的训练来提高其他网络的准确性。
图3B示出了示出根据另一个示例性实施方案的用于对解剖结构进行分类、识别关键帧并且生成图形处方的深度学***面分类之外。与全连接层340和350一样，全连接层320'接收全连接层339的输出。全连接层320'与超网络330组合包括构成超解剖结构分类神经网络。因此，全连接层320'的输出324'包括解剖结构和平面分类。
应当理解，任何适当类型的神经网络和任何适当数量的层可以用于超网络330。
图4示出了图示根据一个示例性实施方案的用于基于二维***图像生成图形处方的深度学习架构400的示例层的示意图。如上所述，二维***图像可以是从三维***体积获取或重新格式化(例如，投影)的二维***。深度学习架构400包括多个超网络，这些超网络包括用于生成轴向视图的图形处方的第一超网络410、用于生成矢状视图的图形处方的第二超网络430以及用于生成冠状视图的图形处方的第三超网络450。因此，超网络410、430和450的组合包括图形处方网络226。因此，组合输出470对应于图形处方236。
特征表示网络210的至少一个子集层的输出(例如，第一卷积层311、第三卷积层313、第五卷积层315)分别被输入到第一超网络410的第一卷积层411、第二卷积层413和第三卷积层415，以产生轴向图形处方。然后，第一卷积层411、第二卷积层413和第三卷积层415的输出被融合或输入到第一超网络410的共享卷积层416。共享卷积层416的输出被输入到全连接层417。全连接层417的输出被输入到用于轴向尺寸处方的全连接层418、用于轴向位置处方的全连接层419以及用于轴向取向处方的全连接层420。全连接层418、419和420因此分别输出轴向尺寸处方421、轴向位置处方422和轴向取向处方423。
类似地，特征表示网络210的至少一个子集层的输出分别输入到第二超网络430的第一卷积层431、第二卷积层433、第三卷积层435用于生成矢状图形处方。然后，第一卷积层431、第二卷积层433和第三卷积层435的输出被融合或输入到第二超网络430的共享卷积层436。共享卷积层436的输出被输入到全连接层437。然后全连接层437的输出被输入到用于矢状尺寸处方的全连接层438、用于矢状位置处方的全连接层439以及用于矢状取向处方的全连接层440。因此，全连接层438、439和440分别输出矢状尺寸处方441、矢状位置处方442和矢状取向处方443。
特征表示网络210的至少一个子集层的输出分别输入到第二超网络450的第一卷积层451、第二卷积层453、第三卷积层455用于生成矢状图形处方。然后，第一卷积层451、第二卷积层453和第三卷积层455的输出被输入到第三超网络450的共享卷积层456。然后，共享卷积层457的输出被输入到第三超网络450的全连接层457。然后全连接层457的输出被输入到用于冠状位置处方的全连接层458、用于冠状位置处方的全连接层459以及用于冠状取向处方的全连接层460。因此，第三超网络450的全连接层458、459和460分别输出冠状位置处方461、冠状位置处方462和冠状取向处方463。
最后，如图所示，第一超网络410、第二超网络430和第三超网络450的输出可以被组合以形成用于轴向、矢状和冠状视图的一组图形处方470。因此，图形处方470包括用于轴向视图的尺寸处方421、用于矢状视图的尺寸处方441和用于冠状视图的尺寸处方461。图形处方470还包括用于轴向视图的位置处方422、用于矢状视图的位置处方442以及用于冠状视图的位置处方462。图形处方470还包括用于轴向视图的取向处方423、用于矢状视图的取向处方443以及用于冠状视图的取向处方463。
应当理解，在一些示例中，超网络410、430和450可以不生成维度、位置和方向处方。作为说明性和非限制性示例，超网络410、430和450可以仅生成位置处方422、442和462。在这样的示例中，超网络410、430和450可以不包括全连接层418、420、438、440、458和460。
在使用三维***图像而不变换为二维的一些实施方案中，图形处方神经网络350可以包括用于使用三维***图像生成三维体积的图形处方的一个超神经网络。
图5示出了根据实施方案的用于自动生成图形处方的示例方法500的高水平流程图。特别地，方法500涉及通过将***图像应用于深度神经网络***(诸如图2-4中描绘的深度神经网络***)来自动生成图形处方。图1-4的***和部件描述了方法500，但是应当认识到，方法500可以在不脱离本公开的范围的情况下用其他***和部件来实现。方法500可以在MRI装置10或者MRI装置10、连接到MRI装置10的边缘设备、与MRI装置10通信的云等的任何适当组合中实现。
方法500在505处开始。在505处，获取受检者的***图像或侦察图像。***图像可以是二维或三维的。***图像可以包括标准SSFSE/GRE***、三维低分辨率体积或具有T2/T1/PD对比度的其他二维***，这取决于解剖结构或临床需要。矢状T2FSE扫描可用于识别多平面多角度轴向扫描。
在510处，预处理***图像。由于原始***图像可能来自具有不同阴影图案的不同***，并且具有导致不同对比度的不同脉冲序列，因此可以预处理***图像以归一化***图像。为此，可以通过从每个图像中减去平均值，然后重新缩放减去的图像，使得图像的像素上的标准偏差等于所选择的常数，来执行全局对比度归一化以防止图像具有变化的对比度量。在一些情况下，可以应用全局对比度归一化和局部对比度归一化，以确保边缘和角落被有效地归一化。在一些实施方案中，可以省略操作510。
此外，在一些示例中，可以以不同的方向对***图像数据进行重新采样和/或重新格式化，以向特征表示网络提供附加输入。此外，在***图像是三维的实施方案中，可以将三维图像投影到多平面二维空间中。
在515处，通过使用训练的深度神经网络(例如，特征表示网络210)从***图像提取特征。具体地，将获取的或预处理的***图像输入到特征表示网络210中。特征表示网络在多个卷积层上卷积***图像以自动提取***图像的特征。
继续到520，通过使用训练的神经网络(例如，解剖结构分类网络222)对***图像的解剖结构进行分类。例如，特征表示网络210的最终卷积层315的输出被输入到解剖结构分类神经网络320，如图3A所示。作为另一示例，特征表示网络210的多个卷积层(诸如卷积层311、313和315)的输出被输入到由超网络330和全连接层320'形成的超解剖结构分类网络，如图3B所示。
继续到525，确定520处的分类解剖结构是否是期望的解剖结构。例如，期望针对受检者扫描特定解剖结构(例如，大脑、肩、膝等)。如果分类的解剖结构不是期望的解剖结构(即，525处的“否”)，则***图像要么不包括期望的解剖结构，要么***图像不具有足够的图像质量以用于对图像中的解剖结构进行积极分类。因此，方法500返回，以便可以在505处再次获取***图像。
然而，再次参考525，如果分类的解剖结构是期望的解剖结构(即，525处的“是”)，则因此在505处获取的***图像中存在期望的解剖结构。方法500继续到530。在530处，通过使用训练的神经网络(例如，关键帧标识符网络224)在***图像中识别关键帧。例如，来自特征表示网络210的卷积层311、313和315的输出被输入到由超网络330和全连接层350形成的超关键帧识别网络，如图3A和3B所示。超关键帧识别网络然后输出在***图像中识别的关键帧。
在535处，确定一个或多个关键帧是否包括在***图像中。如果关键帧不包括在***图像中(即，在535处为“否”)，则方法500返回，使得可以在505处获取另外的***图像。然而，如果在***图像中包括一个或多个关键帧(即，在535处为“是”)，则方法500继续到540。在540处，通过使用训练的神经网络(例如，图形处方网络226)生成图形处方。例如，来自特征表示网络210的卷积层311、313和315的卷积结果被输入到一个或多个超网络，用于自动生成图形处方。在使用二维***图像的一些实施方案中，多个超网络(例如，超网络410、430和450)用于多个参考平面(例如，轴向、矢状和冠状)。在使用三维***图像而不转换为二维的一些实施方案中，一个超神经网络用于生成三维体积的图形处方。
继续到545，根据图形处方和关键帧调整扫描协议。在一些实施方案中，成像***的操作者可以首先通过操作员控制台单元32确认经由显示单元33显示的关键帧和图形处方准确地规定了所需感兴趣区域的覆盖范围和方向。在这样的示例中，操作员可以根据图形处方手动调整扫描协议。在一些实施方案中，根据图形处方自动调整扫描协议，因为如果神经网络***的准确度足以确保期望的感兴趣区域将以足够的覆盖正确成像，则操作员干预可能是不必要的。在任一情况下，在550处，根据调整的扫描协议执行扫描。然后方法500返回。
为了说明上文描述的***和方法的功效，图6示出了通过诸如解剖结构分类网络222或解剖结构分类网络320的解剖结构分类神经网络根据解剖结构和参考计划成功分类的多个***图像600。在利用根据十七类(轴向头部、轴向颈部、轴向胸部、轴向腹部、轴向***、矢状头部、矢状颈部、矢状***、矢状肩部、矢状腹部、冠状头部、冠状颈部、冠状***、冠状腹部、冠状肩部和边缘切片)标记的24,380个***图像训练解剖结构分类网络后，解剖结构分类网络根据解剖结构和参考平面成功地对***图像进行分类，当使用4,876个***图像进行测试时具有98.8％的准确度。多个***图像600包括在测试期间使用的成功分类的***图像的样本，并且图6描绘由训练的解剖结构分类网络生成的相应的解剖结构和参考平面分类。
此外，如上所述，如果***图像描绘了受检者的大脑，则由关键帧标识符神经网络识别的关键帧可以包括***图像的图像，这些图像包括前连合-后连合(AC-PC)线，前连合-后连合线包括连接大脑的两个不同解剖结构(即大脑的前连合(AC)和后连合(PC))的线。作为说明性示例，图7描绘了由关键帧标识符网络(诸如上文关于图2、图3A和图3B描述的关键帧标识符网络224)分类的多个***图像700。多个***图像700包括：***图像710，其中关键帧标识符网络被分类为不包括AC-PC线；以及***图像720，其中关键帧标识符网络被分类为包括AC-PC线。如图所示，关键帧标识符网络准确地区分不包括AC-PC线的***图像710与包括AC-PC线的***图像720。具体地，在用3,000个矢状头***图像(包括标记为包括AC-PC线的关键帧的376个图像)训练关键帧标识符网络之后，关键帧标识符网络成功地识别包括AC-PC线的关键帧，准确度97.1％。
图8示出了具有由图形处方网络(诸如上文关于图2和4描述的图形处方网络226)自动生成的图形处方的多个***图像800。对图形处方网络进行了训练，每个轴有1,000张图像，并在200张图像上进行测试。图形处方包括***图像的关键帧，在关键帧中可视地或图形地标识界标。例如，***图像810包括头部的轴向视图，其中AC-PC线812叠加在***图像810上。类似地，***图像820包括头部的矢状视图，其中AC-PC线822叠加在***图像820上。***图像830包括头部的冠状视图，其中AC-PC线832叠加在***图像830上。图形处方还可以包括用于调整扫描的取向处方，包括但不限于第一方向上的平移移位、在第二方向上的平移移位以及相对于***图像中描绘的参考平面的旋转。
因此，用于自动化图形处方的深度学***面内图形处方信息的三个网络。所有神经网络都采用从第一层和中间层到最后层的融合结构，以学***和高水平拓扑信息。
本公开的技术效果包括自动生成用于对期望的感兴趣区域进行成像的图形处方。本公开的另一技术效果包括自动识别***图像内的关键帧、解剖界标和参考平面。本公开的又一技术效果包括根据由深度神经网络***生成的图形处方自动扫描受检者。
如本文所用，以单数形式叙述且以词语“一”或“一个”开头的元件或步骤应被理解为不排除多个所述元件或步骤，除非明确地说明这种排除。此外，对本发明的“一个实施方案”的引用并非旨在被解释为排除也包含所叙述的特征的其他实施方案的存在。此外，除非明确地相反说明，否则“包含”、“包括”或“具有”一个元件或具有特定属性的多个元件的实施方案可包括不具有该属性的其他这类元件。术语“包括”和“在……中”用作相应术语“包含”和“其中”的通俗语言等同物。此外，术语“第一”、“第二”和“第三”等仅用作标记，而不旨在对其对象施加数字要求或特定位置次序。
该书面描述使用示例来公开本发明，包括最佳模式，并且还使相关领域中的普通技术人员能够实践本发明，包括制造和使用任何设备或***以及执行任何包含的方法。本发明可取得专利权的范围由权利要求限定，并且可包括本领域普通技术人员想到的其他示例。如果此类其他示例具有与权利要求的字面语言没有区别的结构元素，或者如果它们包括与权利要求的字面语言具有微小差别的等效结构元素，则此类其他示例旨在落入权利要求的范围内。

Claims (20)

1.一种用于医疗成像***的方法，包括：
通过所述医疗成像***获取受检者的***图像；
通过训练的神经网络***，使用所述***图像生成图形处方；以及
通过所述医疗成像***根据所述图形处方执行所述受检者的扫描。
2.根据权利要求1所述的方法，其中，所述训练的神经网络***包括训练的特征表示神经网络和训练的图形处方神经网络，其中，生成所述图形处方包括由所述训练的特征表示神经网络提取所述***图像的特征，并且通过所述训练的图形处方神经网络使用所述训练的特征表示神经网络的输出生成所述图形处方。
3.根据权利要求2所述的方法，其中，所述训练的神经网络***还包括训练的解剖结构分类神经网络，并且所述方法还包括由所述训练的解剖结构分类神经网络生成所述***图像中的解剖结构的分类。
4.根据权利要求2所述的方法，其中，所述训练的神经网络***还包括训练的关键帧识别神经网络，并且所述方法还包括由所述训练的关键帧识别神经网络识别所述***图像的关键帧。
5.根据权利要求2所述的方法，其中，所述训练的特征表示神经网络包括卷积神经网络。
6.根据权利要求2所述的方法，其中，所述训练的图形处方神经网络包括用于使用二维***图像生成轴向、矢状和冠状平面的图形处方的单独的超神经网络。
7.根据权利要求2所述的方法，其中，所述训练的图形处方神经网络包括用于使用三维***图像生成三维体积的图形处方的一个超神经网络。
8.根据权利要求1所述的方法，还包括预处理所述***图像以归一化所述***图像之间的对比度。
9.根据权利要求1所述的方法，其中，所述***图像包括三维***图像体积，并且所述方法还包括将所述三维***图像体积投影到多平面二维***图像中。
10.根据权利要求1所述的方法，其中，所述图形处方指示所述受检者的期望的感兴趣区域的体积覆盖范围和体积取向，并且其中根据图形处方执行受检者的扫描包括根据由所述图形处方指示的体积覆盖范围和体积取向扫描所述受检者的期望的感兴趣区域。
11.一种用于成像***的方法，包括：
通过训练的解剖结构分类神经网络对来自受检者的***图像的解剖结构进行分类；
确定所述分类的解剖结构是否是期望的解剖结构；
响应于确定所述分类的解剖结构是所述期望的解剖结构，通过训练的关键帧标识符神经网络识别所述***图像的一个或多个关键帧；以及
通过训练的图形处方神经网络生成用于对所述受检者成像的图形处方。
12.根据权利要求11所述的方法，其中，所述训练的解剖结构神经网络和所述训练的关键帧标识符神经网络共享多个卷积层。
13.根据权利要求11所述的方法，其中，所述***图像是磁共振(MR)***，并且所述图形处方用于MR扫描。
14.根据权利要求11所述的方法，其中，所述***图像是二维的，并且所述训练的图形处方神经网络包括用于使用所述二维***图像生成轴向、矢状和冠状平面的图形处方的单独的超神经网络。
15.根据权利要求11所述的方法，其中，所述***图像是三维的，并且所述训练的图形处方神经网络包括用于使用所述三维***图像生成三维体积的图形处方的一个超神经网络。
16.一种医疗成像***，包括：
医疗扫描装置，所述医疗扫描装置用于扫描受检者；
存储器，所述存储器存储训练的神经网络***；和
处理器，所述处理器通信地耦接到所述医疗扫描装置和所述存储器并且被配置为：
控制所述医疗扫描装置获取所述受检者的***图像；以及
利用所述训练的神经网络***，使用所述***图像生成图形处方，所述图形处方指示所述受检者的期望的感兴趣区域的体积覆盖范围和取向。
17.根据权利要求16所述的医疗成像***，其中，所述训练的神经网络***被配置为自动对解剖结构进行分类并识别所述***图像内的关键帧。
18.根据权利要求17所述的医疗成像***，其中，所述训练的神经网络***包括多个全连接层，所述多个全连接层用于分别生成所述图形处方、识别所述关键帧并且识别所述解剖结构，其中，所述多个全连接层中的每一个从共同的多个卷积层接收输入，所述卷积层从所述***图像中提取特征。
19.根据权利要求16所述的医疗成像***，其中，所述处理器进一步被配置为根据所述图形处方调整扫描协议。
20.根据权利要求19所述的医疗成像***，其中，所述处理器进一步被配置为控制所述医疗扫描装置根据所述调整的扫描协议扫描所述受检者。
CN201910630786.8A 2018-08-01 2019-07-12 利用深度神经网络的自动图形处方的***和方法 Active CN110797112B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/052,427 US11486950B2 (en) 2018-08-01 2018-08-01 Systems and methods for automated graphical prescription with deep neural networks
US16/052,427 2018-08-01

Publications (2)

Publication Number Publication Date
CN110797112A true CN110797112A (zh) 2020-02-14
CN110797112B CN110797112B (zh) 2024-01-05

Family

ID=67438968

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910630786.8A Active CN110797112B (zh) 2018-08-01 2019-07-12 利用深度神经网络的自动图形处方的***和方法

Country Status (3)

Country Link
US (1) US11486950B2 (zh)
EP (1) EP3605548A1 (zh)
CN (1) CN110797112B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12020822B2 (en) * 2018-08-26 2024-06-25 Siemens Healthineers International Ag Imaging waypoints for radiation treatment
US11992289B2 (en) * 2019-11-29 2024-05-28 Shanghai United Imaging Intelligence Co., Ltd. Fast real-time cardiac cine MRI reconstruction with residual convolutional recurrent neural network
DE102020213690B4 (de) 2020-10-30 2022-01-20 Siemens Healthcare Gmbh Verfahren zum Einstellen einer Form einer Kopfunterlage, Verfahren zum Bereitstellen von Bildgebungsdaten und System mit einer Kopfunterlage
CN113743591B (zh) * 2021-09-14 2023-12-26 北京邮电大学 一种自动化剪枝卷积神经网络的方法及其***

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100119137A1 (en) * 2008-11-12 2010-05-13 Siemens Corporation Method and System for Anatomic Landmark Detection Using Constrained Marginal Space Learning and Geometric Inference
US20110206260A1 (en) * 2008-11-05 2011-08-25 Koninklijke Philips Electronics N.V. Automated sequential planning of mr scans
CN104040719A (zh) * 2011-11-11 2014-09-10 冷泉港实验室 一种药物筛选方法及其用途
US20160196503A1 (en) * 2015-01-06 2016-07-07 Aic Innovations Group, Inc. Method and apparatus for recognition of patient activity
CN106408610A (zh) * 2015-04-16 2017-02-15 西门子公司 用边缘空间深度神经网络进行解剖对象检测的方法和***
CN106779073A (zh) * 2016-12-27 2017-05-31 西安石油大学 基于深度神经网络的媒体信息分类方法及装置
CN106971410A (zh) * 2017-03-27 2017-07-21 华南理工大学 一种基于深度学习的白质纤维束重建方法
EP3255586A1 (en) * 2016-06-06 2017-12-13 Fujitsu Limited Method, program, and apparatus for comparing data graphs
US20180032841A1 (en) * 2016-08-01 2018-02-01 Siemens Healthcare Gmbh Medical Scanner Teaches Itself To Optimize Clinical Protocols And Image Acquisition
US20180061058A1 (en) * 2016-08-26 2018-03-01 Elekta, Inc. Image segmentation using neural network method
CN107788948A (zh) * 2016-09-02 2018-03-13 卡西欧计算机株式会社 诊断支援装置、诊断支援装置的图像处理方法、以及存储程序的存储介质
WO2018048575A1 (en) * 2016-09-07 2018-03-15 Elekta, Inc. System and method for learning models of radiotherapy treatment plans to predict radiotherapy dose distributions
CN108062505A (zh) * 2016-11-09 2018-05-22 微软技术许可有限责任公司 基于神经网络的动作检测
US20180158209A1 (en) * 2016-12-02 2018-06-07 Gabriel Fine Automatically determining orientation and position of medically invasive devices via image processing
CN108230291A (zh) * 2017-03-30 2018-06-29 北京市商汤科技开发有限公司 物体识别***训练方法、物体识别方法、装置和电子设备
US20180203081A1 (en) * 2017-01-17 2018-07-19 The General Hospital Corporation System and method for magnetic resonance fingerprinting using neural networks trained with sparsely sampled dictionaries
WO2018136805A1 (en) * 2017-01-19 2018-07-26 New York University System, method and computer-accessible medium for ultrasound analysis

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6725077B1 (en) 2000-12-29 2004-04-20 Ge Medical Systems Global Technology Company, Llc Apparatus and method for just-in-time localization image acquisition
US7450983B2 (en) 2003-03-18 2008-11-11 University Of Cincinnati Automated brain MRI and CT prescriptions in Talairach space
SG147488A1 (en) 2003-11-19 2008-11-28 Agency Science Tech & Res Automatic identification of the anterior and posterior commissure landmarks
US8199168B2 (en) 2005-11-15 2012-06-12 General Electric Company System and method for 3D graphical prescription of a medical imaging volume
EP2054854A2 (en) 2006-08-24 2009-05-06 Agency for Science, Technology and Research Localization of brain landmarks such as the anterior and posterior commissures based on geometrical fitting
US8270698B2 (en) 2008-09-24 2012-09-18 Merge Healthcare Incorporated Anterior commissure and posterior commissure segmentation system and method
US8101068B2 (en) 2009-03-02 2012-01-24 Harris Corporation Constant specific gravity heat minimization
US8811699B2 (en) 2010-09-22 2014-08-19 Siemens Aktiengesellschaft Detection of landmarks and key-frames in cardiac perfusion MRI using a joint spatial-temporal context model
US11176484B1 (en) * 2017-09-05 2021-11-16 Amazon Technologies, Inc. Artificial intelligence system for modeling emotions elicited by videos

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110206260A1 (en) * 2008-11-05 2011-08-25 Koninklijke Philips Electronics N.V. Automated sequential planning of mr scans
CN102203630A (zh) * 2008-11-05 2011-09-28 皇家飞利浦电子股份有限公司 Mr扫描的自动顺序规划
US20100119137A1 (en) * 2008-11-12 2010-05-13 Siemens Corporation Method and System for Anatomic Landmark Detection Using Constrained Marginal Space Learning and Geometric Inference
CN104040719A (zh) * 2011-11-11 2014-09-10 冷泉港实验室 一种药物筛选方法及其用途
US20160196503A1 (en) * 2015-01-06 2016-07-07 Aic Innovations Group, Inc. Method and apparatus for recognition of patient activity
CN106408610A (zh) * 2015-04-16 2017-02-15 西门子公司 用边缘空间深度神经网络进行解剖对象检测的方法和***
EP3255586A1 (en) * 2016-06-06 2017-12-13 Fujitsu Limited Method, program, and apparatus for comparing data graphs
US20180032841A1 (en) * 2016-08-01 2018-02-01 Siemens Healthcare Gmbh Medical Scanner Teaches Itself To Optimize Clinical Protocols And Image Acquisition
US20180061058A1 (en) * 2016-08-26 2018-03-01 Elekta, Inc. Image segmentation using neural network method
CN107788948A (zh) * 2016-09-02 2018-03-13 卡西欧计算机株式会社 诊断支援装置、诊断支援装置的图像处理方法、以及存储程序的存储介质
WO2018048575A1 (en) * 2016-09-07 2018-03-15 Elekta, Inc. System and method for learning models of radiotherapy treatment plans to predict radiotherapy dose distributions
CN108062505A (zh) * 2016-11-09 2018-05-22 微软技术许可有限责任公司 基于神经网络的动作检测
US20180158209A1 (en) * 2016-12-02 2018-06-07 Gabriel Fine Automatically determining orientation and position of medically invasive devices via image processing
CN106779073A (zh) * 2016-12-27 2017-05-31 西安石油大学 基于深度神经网络的媒体信息分类方法及装置
US20180203081A1 (en) * 2017-01-17 2018-07-19 The General Hospital Corporation System and method for magnetic resonance fingerprinting using neural networks trained with sparsely sampled dictionaries
WO2018136805A1 (en) * 2017-01-19 2018-07-26 New York University System, method and computer-accessible medium for ultrasound analysis
CN106971410A (zh) * 2017-03-27 2017-07-21 华南理工大学 一种基于深度学习的白质纤维束重建方法
CN108230291A (zh) * 2017-03-30 2018-06-29 北京市商汤科技开发有限公司 物体识别***训练方法、物体识别方法、装置和电子设备

Also Published As

Publication number Publication date
CN110797112B (zh) 2024-01-05
US20200041596A1 (en) 2020-02-06
EP3605548A1 (en) 2020-02-05
US11486950B2 (en) 2022-11-01

Similar Documents

Publication Publication Date Title
EP2347274B1 (en) Automated sequential planning of mr scans
CN110797112B (zh) 利用深度神经网络的自动图形处方的***和方法
US11506739B2 (en) Systems and methods for generating localizer scan settings from calibration images
CN110554334B (zh) 用于磁共振成像中的线圈选择的方法和***
CN110807755B (zh) 使用***图像进行平面选择
JP7246864B2 (ja) 画像処理装置、磁気共鳴イメージング装置及び画像処理プログラム
EP2374092B1 (en) A method, apparatus, and computer program product for acquiring medical image data
US20190223750A1 (en) Medical image diagnostic apparatus and medical image display apparatus for volume image correlations
CN111150396B (zh) 用于全身成像的方法和***
US8781552B2 (en) Localization of aorta and left atrium from magnetic resonance imaging
US20210177295A1 (en) Systems and methods for generating diagnostic scan parameters from calibration images
US8379946B2 (en) Method and control device to operate a magnetic resonance system
EP3798661B1 (en) Mri method to determine a susceptibility distribution of an examination subject
CN106030655B (zh) 脑的磁共振图像中的铰接结构配准
US20240005480A1 (en) Methods and systems for automated saturation band placement
US20230306601A1 (en) Systems and methods for segmenting objects in medical images
US20240138697A1 (en) System and method for improved metal detection in magnetic resonance imaging
Nowozin et al. Liver perfusion using level set methods

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant