CN112950648A - 确定磁共振图像中的正中矢状平面的方法和设备 - Google Patents
确定磁共振图像中的正中矢状平面的方法和设备 Download PDFInfo
- Publication number
- CN112950648A CN112950648A CN202011345752.3A CN202011345752A CN112950648A CN 112950648 A CN112950648 A CN 112950648A CN 202011345752 A CN202011345752 A CN 202011345752A CN 112950648 A CN112950648 A CN 112950648A
- Authority
- CN
- China
- Prior art keywords
- region
- image
- ventricle
- commissure
- plane
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 210000000211 third ventricle Anatomy 0.000 claims abstract description 133
- 230000011218 segmentation Effects 0.000 claims abstract description 62
- 210000004556 brain Anatomy 0.000 claims abstract description 30
- 230000002861 ventricular Effects 0.000 claims abstract description 22
- 238000005259 measurement Methods 0.000 claims abstract description 12
- 238000012545 processing Methods 0.000 claims description 30
- 238000005192 partition Methods 0.000 claims description 5
- 238000000638 solvent extraction Methods 0.000 claims 4
- 238000001514 detection method Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 7
- 238000007781 pre-processing Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 4
- 238000012805 post-processing Methods 0.000 description 4
- 238000001356 surgical procedure Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 208000018737 Parkinson disease Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- HGBLNBBNRORJKI-WCABBAIRSA-N cyclacillin Chemical compound N([C@H]1[C@H]2SC([C@@H](N2C1=O)C(O)=O)(C)C)C(=O)C1(N)CCCCC1 HGBLNBBNRORJKI-WCABBAIRSA-N 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000944 nerve tissue Anatomy 0.000 description 1
- 238000002610 neuroimaging Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 210000004761 scalp Anatomy 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/68—Analysis of geometric attributes of symmetry
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
- A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
- A61B5/0042—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part for the brain
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Radiology & Medical Imaging (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Surgery (AREA)
- Molecular Biology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Geometry (AREA)
- High Energy & Nuclear Physics (AREA)
- Neurology (AREA)
- Quality & Reliability (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Robotics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种由计算机执行的用于从大脑的多个磁共振图像以测量体积来确定正中矢状平面的方法。接收多个MR图像并将其转换为在3D坐标空间中定义的3D体积图像。基于预训练分割模型对3D体积图像中的前连合区域、后连合区域和第三脑室区域进行语义分割,以生成标记有前连合区域、后连合区域和第三脑室区域的3D掩模图像。基于有标记的3D掩模图像,构建分割的第三脑室区域的3D体积图像。基于第三脑室区域的3D体积图像确定正中矢状平面。
Description
相关申请的交叉引用
本发明基于并要求于2019年11月26日提交的美国临时专利申请第62/940,576号的优先权权益,其全部内容通过引用并入本文。
技术领域
本发明总体上涉及磁共振成像,并且更具体地,涉及确定大脑磁共振图像中的正中矢状平面。
本发明源自作为韩国中小企业和创业部的WC300项目的技术开发支持的一部分而进行的研究。
[项目编号:S2482672,项目名称:具有一种匹配精度为1mm或更小的外科导航融合头颈外科手术机器人***的开发]。
背景技术
大脑被认为是人体中最复杂的器官。因此,当有必要进行需要进入患者大脑内部的手术时,医生通常会在手术前进行路径规划,以对在头皮上的准确放置以及将手术器械***大脑进行计划。例如,在进行深度脑刺激手术以治疗帕金森氏病的情况下,可以在患者的大脑中***诸如电极的手术器械,以便在手术期间将电脉冲施加到大脑的目标区域。
在路径规划期间,可以在计算机显示器上与用于选择大脑中的前连合(AC)和后连合(PC)的手段一起向医生显示患者大脑的磁共振(MR)图像。AC和PC是连接大脑两个半球的神经组织束。因此,AC和PC经常用作大脑成像中的解剖学界标或参考框架,以帮助医生准确地识别大脑中的目标区域并确定将手术仪器***大脑的位置、角度、深度等。
在常规方法中,医生可以检查大脑的MR图像并手动确定大脑的中心平面以将图像与估计的平面对齐。这样的中心平面也被称为中线(ML)平面、中平面或正中矢状平面(MSP),并且可以在用于手术治疗的路径规划期间用作界标。但是,手动确定MSP会很耗时,从而延长了路径规划过程。此外,手动确定的MSP可能在医生之间大不相同,或者可能不够准确。
发明内容
本发明提供了一种用于基于AC区域、PC区域和第三脑室区域的3D掩模图像来以测量体积来确定正中矢状平面的方法和设备。
根据本发明的一个方面,公开了一种由计算机执行的,用于从大脑的多个磁共振(MR)图像以测量体积来确定正中矢状平面(MSP)的方法。在该方法中,接收多个MR图像并将其转换为在3D坐标空间中定义的3D体积图像。基于预训练分割模型,对3D体积图像中的前连合(AC)区域、后连合(PC)区域和第三脑室区域进行语义分割,以生成标记有AC区域、PC区域和第三脑室区域的3D掩模图像。基于有标记的3D掩模图像,构建分割的第三脑室区域的3D体积图像。基于第三脑室区域的3D体积图像确定MSP。
根据本发明的另一方面,公开了一种用于从大脑的多个MR图像以测量体积来确定MSP的图像处理装置。该图像处理装置包括处理器,该处理器被配置为:接收多个MR图像;将多个MR图像转换为3D坐标空间中定义的3D体积图像;基于预训练分割模型对3D体积图像中的前连合(AC)区域、后连合(PC)区域和第三脑室区域进行语义分割,以生成标记有AC区域、PC区域和第三脑室区域的3D掩模图像;基于有标记的3D掩模图像,构建分割的第三脑室区域的3D团块(blob);并基于第三脑室区域的3D团块确定MSP。
根据本发明的又一方面,公开了一种非暂时性计算机可读存储介质,其包括用于从大脑的多个MR图像以测量体积来确定MSP的指令。该指令使处理器执行以下操作,包括:接收多个MR图像;将多个MR图像转换为3D坐标空间中定义的3D体积图像;基于预训练分割模型对3D体积图像中的前连合(AC)区域、后连合(PC)区域和第三脑室区域进行语义分割,以生成标记有AC区域、PC区域和第三脑室区域的3D掩模图像;基于有标记的3D掩模图像,构建分割的第三脑室区域的3D团块(blob);并基于第三脑室区域的3D团块确定MSP。
在一个实施方式中,可以通过以下方式进行3D体积图像的语义分割:将3D体积图像的多个切片中的每个切片的多个像素标准化为预定范围内的强度值;从3D体积图像的多个切片中的每个切片的目的中心区域中提取多个像素集;基于预训练分割模型对被标准化且提取的3D体积图像的AC区域、PC区域和第三脑室区域进行分割,以生成标记有AC区域、PC区域和第三脑室区域的3D掩模图像;确定3D掩模图像中的AC区域和PC区域的每个的质心;以及,在3D掩模图像中,将与AC区域的质心相对应的AC点标记为AC区域,将与PC区域的质心相对应的PC点标记为PC区域。
在一个实施方式中,确定MSP可以包括基于第三脑室区域的3D体积图像的骨架确定对称地划分第三脑室区域的3D体积图像的候选平面,以及将候选平面指定为MSP。
在一个实施方式中,可以输出指示MSP的信息,以及标记有AC区域、PC区域和第三脑室区域的3D掩模图像。
在一个实施方式中,指示MSP的信息可以是定义MSP的一组坐标或等式。
在一个实施方式中,定义MSP的一组坐标可以包括指示AC区域的第一坐标、指示PC区域的第二坐标,以及指示用第一坐标和第二坐标定义MSP的点的第三坐标。
在一个实施方式中,指示AC区域的第一坐标可以对应于AC区域的质心,且指示PC区域的第二坐标可以对应于PC区域的质心。
在一个实施方式中,确定MSP可以包括:从第三脑室区域的3D体积图像的骨架开始通过候选平面将第三脑室区域的3D体积图像划分为第一部分和第二部分;基于第一部分中体素的形状和数量以及第二部分中体素的形状和数量,确定所述候选平面是否对称地划分3D体积图像;以及,在确定候选平面对称地划分3D体积图像后,将候选平面指定为MSP。
在一个实施方式中,候选平面可以与连接AC区域和PC区域的线对齐。
在一个实施方式中,确定MSP可以包括从第三脑室区域的3D体积图像的骨架开始,通过多个候选平面顺序地划分第三脑室区域的3D体积图像,直到多个候选平面中的一个被确定为对称地划分第三脑室区域的3D体积图像,以及将多个候选平面中的所述平面指定为MSP。
附图说明
并入说明书中且构成说明书的一部分的附图示出了本发明的实施方式。
图1表示根据本发明的实施方式的图像处理装置的框图,该图像处理装置被配置为从大脑的多个磁共振(MR)图像以测量体积来确定正中矢状平面。
图2示出了根据本发明的实施方式的图像读取器的框图,该图像读取器被配置为将多个MR图像转换为3D体积图像。
图3表示根据本发明的实施方式的语义分割单元的框图,该语义分割单元被配置为分割大脑的3D体积图像中的AC、PC和第三脑室区域。
图4A至图4C表示根据本发明的实施方式的可以在语义分割单元中处理的3D体积图像的示例性切片。
图5示出了根据本发明的实施方式的从大脑的多个MR图像生成标记有AC、PC和第三脑室区域的3D掩模图像,并基于分割的第三脑室区域的3D体积图像以测量体积来确定正中矢状平面的方法的流程图。
图6示出了根据本发明的实施方式的由语义分割单元执行的生成标记有AC、PC和第三脑室区域的3D掩模图像并且以测量体积来确定MSP的方法的流程图。
图7示出了根据本发明的实施方式的MSP检测单元的框图,该MSP检测单元被配置为从有标记的3D掩模确定正中矢状平面。
图8A示出了基于有标记的3D掩模图像的第三脑室区域的3D体积图像。
图8B表示根据本发明的实施方式的第三脑室区域的3D体积图像的骨架的示例。
图8C表示根据本发明的实施方式的3D体积图像的切片和其中显示的骨架。
图8D示出了根据本发明的实施方式的由MSP估计单元确定的3D体积图像的示例性切片和示例性MSP。
图9A至9C示出了被分成两个部分的3D体积图像的示例性3D图像。
图10示出了根据本发明的一个实施方式的由MSP检测单元执行的用于确定对称地划分第三脑室区域的3D体积图像的正中矢状平面的方法的流程图。
具体实施方式
现在将详细参考各种实施方式,其示例在附图中示出。在下面的详细描述中,阐述了许多具体细节以便提供对本发明的透彻理解。然而,对于本领域普通技术人员显而易见的是,可以在没有这些具体细节的情况下实施本发明。在其他情况下,未详细描述公知的方法、过程、***和组件,以免不必要地混淆各个实施方式的各方面。
除非另有说明,否则本文中使用的所有技术或科学术语具有本发明所属领域的普通技术人员通常理解的含义。选择本文中使用的术语仅是为了更清楚地说明本发明,并无意于限制根据本发明的权利要求的范围。
除非另有说明,否则单数表达可以包括复数的含义,并且其同样适用于权利要求书中所述的单数表达。
如本文所使用的,术语“单元”是指软件组件或硬件组件,诸如现场可编程门阵列(FPGA)和专用集成电路(ASIC)。然而,“单元”不限于软件和硬件,并且其可以被配置为可寻址存储介质或者可以被配置为在一个或多个处理器上运行。例如,“单元”可包括组件,如软件组件、面向对象的软件组件、类组件和任务组件,以及处理器、功能、属性、过程、子例程、程序代码段、驱动程序、固件、微代码、电路、数据、数据库、数据结构、表格、数组和变量。组件和“单元”中提供的功能可以组合为较少数量的组件和“单元”,或者可以进一步细分为其他组件和“单元”。
本文使用的术语“基于”用于描述影响在包括相关表达的短语或句子中描述的决定、判断行为或操作的一个或多个因素,并且该表达不排除影响决定、判断动作或操作的其他因素。
如本文所使用的术语“区域”是指一个或多个点、像素或体素,并且可以包括与在其含义内的一个或多个连续或紧接的点、像素或体素相对应的空间、面积或体积。名词形式的术语“标记”是指指示对象、结构、特征等的注释、单词、名称、标志、指定、颜色、边界、形状、标签等。动词形式的术语“标记”是指用标记来标记、注释、附加或指示对象、结构、特征等的动作。
如本文所示,附图中的某些图像或屏幕截图可能已经在比例、亮度、对比度等方面进行了修改,以便于改善视觉特性,从而方便说明和描述,因此可能并不完全对应于原始图像。
在下文中,将要参照附图描述本发明的实施方式。在附图中,相同或相关的组件由相同的附图标记表示。在以下实施方式的描述中,将省略相同或相关组件的重复描述。然而,即使省略了组件的描述,也不意图在实施方式中排除这种组件。
图1示出了根据本发明的实施方式的图像处理装置100的框图,该图像处理装置100被配置为从大脑的多个磁共振(MR)图像132以测量体积来确定(volumetricallydetermine)正中矢状平面(MSP)。如本文中所使用的术语“正中矢状平面”或“MSP”也可以被称为中线(ML)平面或中平面,其可以用作大脑中的结构或特征的界标或参考平面。图像处理装置100包括处理器110、接口120和存储单元130。存储单元130可以存储大脑的多个MR图像132(例如,断层摄影)和预训练分割模型134。在一个实施方式中,可经由接口140通过服务器140从外部图片存档和通信***(PACS)接收MR图像132,并将其存储在存储单元130中以进行处理或直接提供给处理器110。可以例如以DICOM图像格式接收并存储MR图像132。
预训练分割模型134可以包括已经用标记有AC、PC和第三脑室的参考MR脑部图像预训练的一个或多个分割模型,并且由此可以被优化以便检测MR图像中的AC、PC和第三脑室区域。在一个实施方式中,预训练分割模型可以实现任何合适的2D(二维)或3D(三维)卷积神经网络,并且可以用一组或多组MR脑部图像进行训练,以使神经网络的模型参数被配置为检测AC、PC和第三脑室区域。
接口120可以是能够通过网络或任何其他计算装置、应用程序或程序提供与服务器140连接的任何合适的接口,并且可以包括软件(S/W)接口、硬件(H/W)接口,或其组合。例如,接口120可以作为被配置为提供图像处理装置100的软件接口的动态链接库(DLL)或应用编程接口(API)来实现。
在示出的实施方式中,图像处理装置100可以经由网络连接到服务器140,并且经由接口120从服务器140接收请求。来自服务器140的请求可以包括对与特定患者的大脑有关的MR图像数据的请求。作为响应,图像处理装置100可以生成用于MR图像的标记有AC、PC和第三脑室区域的3D掩模图像,并通过构建分割的第三脑室区域的3D体积图像以测量体积来确定MSP。
处理器110包括图像读取器150、语义分割单元160、MSP检测单元170和输出单元180。如上所述,处理器110可以以与接口120和存储单元130通信的方式联接。最初,图像读取器150可以通过接口120从服务器140接收对MR图像数据的请求,并从存储单元130访问MR图像132。图像读取器150可以将MR图像132格式化为适合体积处理(volumetricprocessing)的格式,所述MR图像132可以是DICOM图像格式中的原始MR图像。例如,图像读取器150可以通过使用合适的映射和/或变换方法和执行双线性和/或三线性插值将MR图像132转换为3D坐标空间(例如,在x、y和z轴上定义的3D笛卡尔坐标系)中的3D体积图像。
图像读取器150将3D体积图像提供给语义分割单元160以进行体积处理。处理器110中的语义分割单元160被配置为基于从存储单元130访问的预训练分割模型134来检测并标记3D体积图像中的AC、PC、第三脑室区域,并生成标记有AC、PC和第三脑室区域的3D掩模图像136。然后,语义分割单元160可以将3D掩模图像136提供给MSP检测单元170和图像输出单元180,以生成对服务器140的答复。
基于接收到的3D掩模图像136,MSP检测单元170构建分割的第三脑室区域的3D体积图像(例如,3D团块(3D blob))。根据一个实施方式,MSP检测单元170然后从对应于分割的第三脑室区域的3D体积图像的骨架(例如主轴平面)的候选平面开始迭代地且顺序地应用一个或多个候选平面以将分割的第三脑室区域的3D体积图像划分(例如,切割、划分或二等分)成两部分,直到确定其中一个候选平面对称地划分3D体积图像。对于每个候选平面,MSP检测单元170可以确定候选平面是否将第三脑室区域的体积图像对称地划分为两个对称部分。在确定候选平面对称地划分体积图像之后,MSP检测单元170可以将候选平面指定为MSP,并且将指示MSP的平面信息(即,MSP信息138)提供给输出单元180。在一个实施方式中,输出单元180可以生成对来自服务器140的请求的包括MSP信息138和3D掩模图像136的答复,并且经由接口120发送该答复。另外,输出单元180可以将MSP信息138和3D掩模图像136储存在存储单元130中。
图2示出了根据本发明的一个实施方式的图像读取器150的框图,该图像读取器150被配置为接收多个MR图像132并输出3D体积图像200。MR图像132可以是断层摄影图像。在一个实施方式中,多个MR图像132可以是T1加权图像,但是也可以是T2加权图像。
在从服务器140接收到对MR图像数据的请求后,图像读取器150可以从存储单元130访问MR图像132,并且通过将MR图像132(其可以是,例如DICOM格式)转换成图像处理装置100中使用的3D坐标系(例如Talairach坐标系、世界坐标系、MNI坐标系等)中的3D体积图像200,来将MR图像132格式化为适合于体积处理的格式。在该过程中,原始MR图像132可以被堆叠并且可以执行插值(例如,双线性或三线性插值)以生成3D体积图像200,其可以被存储在存储单元130中。然后,图像读取器150将3D体积图像200提供给语义分割单元160。
在一个实施方式中,图像读取器150可通过将MR图像132映射到3D坐标空间中的x和y坐标平面并在正交的z轴方向上堆叠MR图像132来构建3D体积图像200。为了填充3D体积图像200中的间隙,可以使用堆叠的MR图像132的像素(例如强度和位置)来执行插值以生成3D体积图像200的像素或体素(例如强度和位置)。以这种方式,可以在3D坐标空间中构建原始MR图像132的3D体积图像200。
图3表示根据本发明的实施方式的语义分割单元160的框图,该语义分割单元160被配置为分割3D体积图像200中的AC、PC和第三脑室区域。语义分割单元160包括预处理单元310、修补单元320、界标分割单元330和后处理单元340。在一些实施方式中,预处理单元310和/或修补单元320是可选单元,并且可以在语义分割单元160中省略。
预处理单元310可以被配置为增强3D体积图像200的显示特性。例如,由于原始MR图像132的像素通常具有相对窄的强度值(例如,在70至80的范围内),因此从MR图像132生成的3D体积图像200可能看起来很暗。为了增强图像特性,预处理单元310可以通过将3D体积中的像素的强度值标准化为预定范围(例如255个值)的灰度或颜色强度值来增强3D体积图像200。在一个实施方式中,可以对3D体积图像中的每个切片(slice)进行标准化,使得可以在例如亮度、对比度等方面增强3D体积图像200中的切片的图像特性。
此外,修补单元320可以接收标准化的3D体积图像200并执行修补操作。在该过程中,可以提取执行语义分割所必需的来自3D体积图像200的每个切片中的中心关注区域(ROI)的像素,以形成用于后续的分割处理的3D体积图像200。中心ROI的大小或其中的像素数目可基于能够适合于预训练分割模型134的神经网络内的体积的百分比来确定。在一个实施方式中,提取的数据样本(即,像素或体素)的百分比可能在神经网络的负载能力的2%到98%之间。仅使用从原始3D体积图像200提取的中心ROI的像素减小了3D体积的尺寸,从而改善了处理负荷和速度。
在一个实施方式中,也可以对提取的3D体积图像200进行过滤以输出多种输出图像类型中的一种。例如,可以提供多种输出处理方案,如自动调整模式(例如,将图像调整到期望的范围)、切片直方图均衡模式、3D直方图均衡模式和切片自适应直方图均衡模式。可以选择四种模式中的任何一种或它们的组合,并将其应用于3D体积图像200以改善图像的视觉特性。
界标分割单元330被配置为从修补单元320接收3D体积图像200(例如,3D体积图像200的提取的ROI体积图像),并且检测并分割AC、PC和第三脑室区域以生成3D掩模图像136。在此过程中,界标分割单元330通过使用预训练分割模型134检测并分割AC、PC和第三脑室区域。例如,神经网络(如U-Net,MNET等)可用于生成预训练分割模型134,其可用于检测和分割AC、PC和第三脑室区域。尽管界标分割单元330被描述为同时执行AC、PC和第三脑室区域的分割,但是AC和PC区域的分割可以与第三脑室区域的分割分开地执行。例如,界标分割单元330可以首先分割AC和PC区域,然后分割第三脑室区域。
在一个实施方式中,界标分割单元330可以使用预训练分割模型134对3D体积图像200的一个或多个切片顺序地或同时地执行语义分割,以生成标记有AC、PC和第三脑室区域的3D掩模图像136。例如,可以用指示与AC区域(例如,红色或“1”)、PC区域(例如,绿色或“2”)和第三脑室区域(例如,蓝色或“3”)的对应关系或没有对应关系(例如,原始像素值或“0”)的标记来标记3D体积图像200的3D坐标空间中的像素,以生成3D掩模图像136。
后处理单元340可以从界标分割单元330接收3D掩模图像136,并确定每个检测到的AC和PC区域的质心。在该过程中,可以从3D掩模图像136确定分割的AC区域的质心和PC区域的质心。后处理单元340可以将与每个AC和PC区域的质心相对应的单个点(例如,像素或体素)指定并标记为AC和PC,而不是将AC和PC区域中的每一个标记为由多个点或多个像素组成的区域。在第三脑室区域的情况下,不需要确定质心,以便第三脑室的整个分割区域可以保留在3D掩模图像中。另外,后处理单元340可以将有标记的(labeled)3D掩模图像136转换回原始3D坐标空间。
图4A至图4C表示根据本发明的实施方式的可以在语义分割单元160中处理的3D体积图像200的示例性切片410、420和430。图4A示出了根据本发明的实施方式的已经由预处理单元310预处理的3D体积图像200的示例性切片410。如图所示,切片410可以是来自3D体积图像200的轴向平面的切片,并且切片410的图像已经被标准化以增强诸如亮度、对比度等的图像特性。为了便于描述,在切片410中示出了由矩形的虚线表示的ROI 412,并且该ROI 412指示切片410中的可由修补单元320提取的区域。图4B示出了已经由修补单元320从切片410中的ROI 412提取的示例性切片420。
图4C示出了根据本发明的一个实施方式的由界标分割单元330从切片410的ROI412生成的3D体积图像的3D掩模图像136的示例性切片430。如图所示,AC区域432、PC区域434和第三脑室区域436在3D掩模图像136的切片430中被分割。在一个实施方式中,区域432、434和436可以用不同的指示符或颜色如红色、绿色和蓝色分别进行标记。选择性地或另外,区域432、434和436可以用任何合适的标记或指示符来标记,以用于识别或区分不同区域。尽管以切片410、420和430为例示出了3D体积图像200的语义分割单元160,但是应当理解,可以对沿着3D体积图像200的任何平面取向的任何合适数量的切片进行处理,以生成3D掩模图像136。
图5示出了根据本发明的实施方式的由处理器110执行的用于从多个MR图像132生成标记有AC、PC和第三脑室区域的3D掩模图像136,并基于分割的第三脑室区域的3D体积图像在以测量体积来确定MSP的方法的流程图。在该方法中,可以在510步骤接收作为原始MR图像的多个MR图像132,并且在520步骤将其转换为3D坐标空间中的3D体积图像200。在该过程中,可以将MR图像132映射到3D坐标空间,并且可以执行插值以生成3D体积图像200。
在530步骤,处理器110可以对3D体积图像200执行包括标准化和修补的预处理。例如,可以将3D体积图像200中的体素的强度值标准化为预定范围内的值(例如255个值)。此外,可以执行修补操作以从3D体积图像200的每个切片中从中心关注区域(ROI)提取像素集,以减小3D体积的大小。
然后,在540步骤,处理器110基于预训练分割模型134执行语义分割以检测并标记3D体积图像200中的AC、PC和第三脑室区域,从而生成标记有区域的3D掩模图像136。在一个实施方式中,可以基于AC区域和PC区域的质心分别确定用于AC区域和PC区域的AC点和PC点,并在3D掩模图像136中进行标记。在550步骤,基于3D掩模图像136,处理器110构建分割的第三脑室区域的3D体积图像。在构建分割的第三脑室区域的3D体积图像之后,处理器110在560步骤基于分割的第三脑室区域的3D体积图像确定MSP。在一个实施方式中,将对称地划分第三脑室区域的3D体积图像的平面指定为MSP。然后,在570步骤,可以输出3D掩模图像136和指示MSP的MSP信息138,以将其发送到服务器140。
图6示出了根据本发明的实施方式的由语义分割单元160执行的用于生成标记有AC、PC和第三脑室区域的3D掩模图像136的方法的流程图。在该方法中,在610步骤,当接收到在3D坐标空间中被定义且包括多个2D切片的3D体积图像200后,语义分割单元160可以将每个切片中的像素标准化为预定的像素分辨率和强度范围,并在620步骤调整坐标轴的方向以进行对齐。
在630步骤,可以从每个切片中的中心关注区域采样或提取3D像素,以减小3D体积图像200的像素粒度,从而促进处理速度并减小处理负荷。在一个实施方式中,中心关注区域可以包括AC区域、PC区域和第三脑室区域。
在640步骤,语义分割单元160可以基于预训练分割模型134来检测并分割所提取的3D体积图像200中的AC、PC和第三脑室区域,以生成标记为指示AC、PC和第三脑室区域的3D掩模图像。然后在650步骤,语义分割单元160可以确定AC区域和PC区域中的每一个的质心,并且将3D掩模图像中的AC区域和PC区域分别标记为对应于各自的质心的AC点和PC点。然后,在660步骤,可以将标记有AC点、PC点和第三脑室区域的有标记的3D掩模图像136转换回原始3D坐标空间,并提供给MSP检测单元170。
图7示出了根据本发明的实施方式的MSP检测单元170的框图,该MSP检测单元170被配置为从3D掩模图像136确定MSP。MSP检测单元170包括3D团块构建单元710、MSP估计单元720和MSP输出单元730。3D团块构建单元710被配置为接收有标记的3D掩模图像136,其包括有标记的AC、PC和第三脑室区域,并构建分割的第三脑室区域的3D体积图像(例如3D团块)。
然后,将所构建的3D体积图像提供给MSP估计单元720,该MSP估计单元720基于第三脑室区域的3D体积图像确定MSP。在该处理中,MSP估计单元720基于3D体积图像的骨架(skeleton)将对称地划分3D体积图像的候选平面确定为MSP。骨架可以是正中面(medialplane),并且可以指示第三脑室区域的3D体积图像的主轴平面。候选平面可以对准或包括连接AC区域和PC区域的线。在一个实施方式中,MSP估计单元720可以从第三脑室区域的3D体积图像的骨架开始通过多个候选平面顺序地划分3D体积图像,直到其中一个候选平面被确定为对称地划分3D体积图像。然后将确定为对称地划分3D体积图像的候选平面指定为MSP。
在另一个实施方式中,第三脑室区域的3D体积图像可以相对于第三脑室区域的3D体积图像的骨架以角度增量顺序地旋转和平移。在3D体积图像的每个旋转和平移位置处,可以通过候选平面划分3D体积图像。如果候选平面被确定为将3D体积图像对称地划分为两个对称部分,则将该候选平面指定为MSP。然后,MSP输出单元730可以输出指示MSP的MSP信息,如MSP的定义MSP的一组坐标或等式。
图8A示出了基于有标记的3D掩模图像136可以由3D团块构建单元710生成的3D体积图像800(例如,3D团块),其中3D掩模图像136中包括多个切片(例如,切片430等)。3D体积图像800包括第三脑室区域830、AC区域810和PC区域820。AC区域810和PC区域820可以分别是限定用于确定MSP的参考线的两个点。AC区域810、PC区域820和第三脑室区域830也可以分别用指示符或颜色如红色、绿色和蓝色标记。
在一些实施方式中,可以将3D体积图像800的第三脑室区域830进行建模或表示为骨架。图8B示出了根据本发明的实施方式的骨架840的示例。为了便于描述,将3D体积图像800的第三脑室区域830显示为2D像素化图像,并且MSP估计单元720可以生成用于第三脑室区域830的骨架840。例如,MSP估计单元720可以确定3D体积图像800中的第三脑室区域830的主轴平面,并识别与主轴平面相对应的像素集。然后,可以选择所识别的像素集来定义骨架840。
为了便于描述,图8C示出了根据一个实施方式的包括骨架840的示例性图像的3D体积图像200的切片850。从第三脑室区域830的骨架840开始,MSP估计单元720可以通过旋转和平移3D体积图像用一个或多个候选平面顺序地划分第三脑室区域830的3D体积图像。当其中一个候选平面被确定为对称地划分第三脑室区域830的3D体积图像时,MSP估计单元720可以将该候选平面确定为MSP并输出MSP的平面等式。图8D示出了根据本发明的实施方式的包括MSP 860的3D体积图像200的切片850,MSP 860可由MSP估计单元720确定。
图9A至9C分别示出了被分成两个部分的3D体积图像800的第三脑室区域830的示例性3D图像910、920和930。图9A表示根据本发明的一个实施方式的3D图像910,其中第三脑室区域830被划分为两个部分910A和910B。在这种情况下,MSP估计单元720可以通过与骨架840符合的候选平面912首先划分第三脑室区域830,且确定两个部分910A和910B相对于候选平面912不对称。然后,MSP估计单元720可以通过旋转和平移第三脑室区域830选择另一个候选平面。
图9B示出了根据本发明的一个实施方式的3D图像920,其中第三脑室区域830被候选平面922划分为两个部分920A和920B。在这种情况下,MSP估计单元720也可以确定两个部分920A和920B相对于候选平面922不对称。
图9C示出了根据本发明的一个实施方式的3D图像930,其中第三脑室区域830被候选平面932划分为两个部分930A和930B。在这种情况下,MSP估计单元720可以确定两个部分930A和930B相对于候选平面932对称,并将候选平面932指定为MSP。
在一个实施方式中,MSP估计单元720可通过将一个部分的形状和体素数与另一部分的形状和体素数量进行比较来确定第三脑室区域830的两个划分的部分(例如,两个部分910A和910B,920A和920B,或930A和930B)是否对称。例如,图9A中的部分910A和910B在形状和体素数上彼此不同,因此被确定为相对于候选平面912不对称。作为另一个示例,图9B中的部分920A和920B可以在体素数上相似但在形状上不相似,因此被确定为相对于候选平面922不对称。另一方面,图9C中的部分930A和930B的形状和体素数可以基本相似,因此可以确定为相对于候选平面932对称。尽管基于第三脑室区域830的两个划分的部分的形状和体素数来确定对称性,但也可以基于形状来确定,而无需考虑两个部分的体素数。如本文所使用的短语“基本相似”是指在阈值或预定相似度内。因此,当其中的两个形状或体素数在阈值或预定相似度内时,可以确定其中的两个形状或体素数基本相似。此外,如图9A至9C所示,为了便于描述示出了候选平面912、922和932,并且候选平面912、920和930可以分别包括或不包括在3D图像910、920和930中。
图10示出了根据本发明的一个实施方式的由MSP检测单元170执行的用于确定对称地划分第三脑室区域的3D体积图像的MSP的方法的流程图。最初,在1010步骤,3D团块构建单元710接收标记为指示AC、PC和第三脑室区域的3D掩模图像136。在一个实施方式中,可3D掩模图像136标记为指示AC点、PC点和第三脑室区域。然后,3D团块构建单元710基于3D掩模图像136在1020步骤构建分割的第三脑室区域的3D体积图像(即3D团块),并将3D体积图像提供给MSP估计单元720。
在接收到第三脑室区域的3D体积图像后,MSP估计单元720在1030步骤从第三脑室区域的3D体积图像的骨架开始通过候选平面将3D体积图像分成两个部分。例如,参照图9A,MSP估计单元720可以通过对应于骨架840的候选平面912将第三脑室区域830的3D体积图像初始划分为两个部分910A和910B。然后,在1040步骤,确定候选平面912是否将第三脑室区域830的3D体积图像对称地划分成两个相等的部分。在一个实施方式中,当两个部分的形状和体素数相对于候选平面基本相似时,可以确定候选平面对称地划分第三脑室区域830的3D体积图像。在图9A的3D体积图像800的示例中,MSP估计单元确定两个部分910A和910B在形状和体素数上不相似。
如果MSP估计单元720确定候选平面没有对称地划分第三脑室区域的3D体积图像,则在1050步骤可以选择另一个平面作为新的候选平面,并且在1030步骤可以通过新的候选平面划分第三脑室区域的3D体积图像。在一个实施方式中,可以通过围绕连接AC和PC的线(AC-PC线)以相对于骨架840的角度增量旋转第三脑室区域830的3D体积图像来选择新的候选平面。由于从骨架840开始选择候选平面,确定对称地划分第三脑室830的3D体积图像的候选平面所需的迭代次数或角度增量与从随机候选平面开始的情况相比降低。
参考图9A的示例,在1050步骤,MSP估计单元720可以通过旋转和平移第三脑室区域830的3D体积图像来继续选择图9B中所示的候选平面922作为新的候选平面。在图9B的3D体积图像920中,MSP估计单元720确定两个部分920A和920B相对于候选平面922不对称,因为它们的形状不相似。因此,在1050步骤,MSP估计单元720可以通过旋转和平移图9C中的第三脑室区域830的3D体积图像来继续选择候选平面932。
另一方面,如果在1040步骤确定候选平面对称地划分第三脑室区域的3D体积图像,则在1060步骤MSP估计单元720可以将候选平面指定为MSP。在图9C的示例中,在1030步骤,MSP估计单元720基于候选平面932将第三脑室区域830的3D体积图像划分为两个部分930A和930B,然后,在1040步骤,确定这两个部分930A和930B相对于候选平面932对称。因此,在1060步骤,将候选平面932指定为MSP。
然后,在1070步骤,MSP输出单元730可以输出指示MSP的MSP信息。在一个实施方式中,指示MSP的平面信息可以是定义MSP的一组坐标或等式,其可以包括指示AC区域的第一坐标、指示PC区域的第二坐标及指示和第一坐标和第二坐标一起定义MSP的点的第三坐标。
在一个实施方式中,可以针对来自分割的3D体积图像(例如3D团块)的轴向平面和冠状平面之间的每条交叉线确定MSP。例如,MSP检测单元170可以使用诸如RANSAC的模型拟合工具来估计从诸如最适合所有正中矢状点的第三脑室区域的3D体积图像的主轴平面的骨架开始的平面。然后,使用从模型拟合工具获得的内在点,MSP检测单元170可以使用奇异值分解(SVD)方法来估计最终平面并将最终平面指定为MSP。
尽管已经关于特定实施方式描述了前述方法,但是这些方法也可以作为计算机可读记录介质上的计算机可读代码来实行。该计算机可读记录介质包括可以由计算机***读取的任何种类的数据存储装置。计算机可读记录介质的示例包括ROM、RAM、CD-ROM、磁带、软盘、光学数据存储装置等。另外,可以将计算机可读记录介质分配给通过网络连接的计算机***,从而可以以分配方式存储和执行计算机可读代码。此外,本发明所属领域的程序员可以容易地推断出用于实现前述实施方式的功能程序、代码和代码段。
虽然已经描述了某些实施方式,但是这些实施方式仅是通过示例的方式给出,并且不意图限制本发明的范围。实际上,本文描述的实施方式可以以多种其他形式实施。此外,在不脱离本发明的精神的情况下,可以对本文所述实施方式的形式进行各种省略、替换和改变。所附权利要求及其等同方案旨在覆盖落入本发明的范围和精神内的这种形式或修改。
Claims (28)
1.一种由计算机执行的用于从大脑的多个磁共振图像以测量体积来确定正中矢状平面的方法,所述方法包括:
接收多个磁共振图像;
将多个磁共振图像转换为3D坐标空间中定义的3D体积图像;
基于预训练分割模型,对3D体积图像中的前连合区域、后连合区域和第三脑室区域进行语义分割,以生成标记有前连合区域、后连合区域和第三脑室区域的3D掩模图像;
基于有标记的3D掩模图像,构建分割的第三脑室区域的3D体积图像;及
基于第三脑室区域的3D体积图像确定正中矢状平面。
2.根据权利要求1所述的方法,其中,进行语义分割包括:
将3D体积图像的多个切片中的每个切片的多个像素标准化为预定范围内的强度值;
从3D体积图像的多个切片中的每个切片的中心关注区域中提取多个像素集;
基于预训练分割模型对被标准化且提取的3D体积图像的前连合区域、后连合区域和第三脑室区域进行分割,以生成标记有前连合区域、后连合区域和第三脑室区域的3D掩模图像;
确定3D掩模图像中的前连合区域和后连合区域的每个的质心;及
在3D掩模图像中,将与前连合区域的质心相对应的前连合点标记为前连合区域,并且将与后连合区域的质心相对应的后连合点标记为后连合区域。
3.根据权利要求1所述的方法,其中,确定正中矢状平面包括:
基于第三脑室区域的3D体积图像的骨架确定对称地划分第三脑室区域的3D体积图像的候选平面;及
将所述候选平面指定为正中矢状平面。
4.根据权利要求2所述的方法,还包括:
输出指示正中矢状平面的信息;及
输出标记有前连合区域、后连合区域和第三脑室区域的3D掩模图像。
5.根据权利要求4所述的方法,其中,指示正中矢状平面的信息是定义正中矢状平面的一组坐标或等式。
6.根据权利要求5所述的方法,其中,定义正中矢状平面的一组坐标包括指示前连合区域的第一坐标,指示后连合区域的第二坐标以及指示用第一坐标和第二坐标定义正中矢状平面的点的第三坐标。
7.根据权利要求6所述的方法,其中,指示前连合区域的第一坐标对应于前连合区域的质心,且指示后连合区域的第二坐标对应于后连合区域的质心。
8.根据权利要求1所述的方法,其中,确定正中矢状平面包括:
从第三脑室区域的3D体积图像的骨架开始,通过候选平面将第三脑室区域的3D体积图像划分为第一部分和第二部分;
基于第一部分的形状和体素数以及第二部分的形状和体素数,确定候选平面是否对称地划分3D体积图像;及
在确定候选平面对称地划分3D体积图像后,将候选平面指定为正中矢状平面。
9.根据权利要求8所述的方法,其中,候选平面与连接前连合区域和后连合区域的线对齐。
10.根据权利要求1所述的方法,其中,确定正中矢状平面包括:
从第三脑室区域的3D体积图像的骨架开始,通过多个候选平面顺序地划分第三脑室区域的3D体积图像,直到确定多个候选平面中的一个对称地划分第三脑室区域的3D体积图像;及
将多个候选平面中的一个指定为正中矢状平面。
11.根据权利要求10所述的方法,其中,顺序地划分第三脑室区域的3D体积图像包括:
相对于第三脑室区域的3D体积图像的骨架以角度增量顺序地旋转和平移第三脑室区域的3D体积图像;及
在3D体积图像的每个旋转和平移位置处,
通过候选平面中的一个划分3D体积图像;
确定候选平面中的一个是否对称地划分3D体积图像;及
在确定候选平面中的一个对称地划分第三脑室区域的3D体积图像后,将所述候选平面指定为正中矢状平面。
12.一种用于从大脑的多个磁共振图像以测量体积来确定正中矢状平面的图像处理装置,包括:
处理器,其配置为:
接收多个磁共振图像;
将多个磁共振图像转换为3D坐标空间中定义的3D体积图像;
基于预训练分割模型对3D体积图像中的前连合区域、后连合区域和第三脑室区域进行语义分割,以生成标记有前连合区域、后连合区域和第三脑室区域的3D掩模图像;
基于有标记的3D掩模图像,构建分割的第三脑室区域的3D团块;及
基于第三脑室区域的3D团块确定正中矢状平面。
13.根据权利要求12所述的图像处理装置,其中,所述处理器被配置为通过以下方式进行语义分割:
将3D体积图像的多个切片中的每个切片的多个像素标准化为预定范围内的强度值;
从3D体积图像的多个切片的每个切片中的关注区域中提取多个像素集;
基于预训练分割模型对被标准化且提取的3D体积图像的前连合区域、后连合区域和第三脑室区域进行分割,以生成标有前连合区域、后连合区域和第三脑室区域的3D掩模图像;
确定3D掩模图像中的前连合区域和后连合区域的每个的质心;及
在3D掩模图像中,将与前连合区域的质心相对应的前连合点标记为前连合区域,并且将与后连合区域的质心相对应的后连合点标记为后连合区域。
14.根据权利要求12所述的图像处理装置,其中,所述处理器被配置为通过以下方式确定正中矢状平面:
基于第三脑室区域的3D团块的骨架确定对称地划分第三脑室区域的3D团块的候选平面;及
将所述候选平面指定为正中矢状平面。
15.根据权利要求14所述的图像处理装置,所述处理器还被配置为:
输出指示正中矢状平面的信息;及
输出标有前连合区域、后连合区域和第三脑室区域的3D掩模图像。
16.根据权利要求15所述的图像处理装置,其中,指示正中矢状平面的信息是定义正中矢状平面的一组坐标或等式。
17.根据权利要求16所述的图像处理装置,其中,定义正中矢状平面的一组坐标包括:指示前连合区域的第一坐标、指示后连合区域的第二坐标以及指示用第一坐标和第二坐标定义正中矢状平面的点的第三坐标。
18.根据权利要求17所述的图像处理装置,其中,指示前连合区域的第一坐标对应于前连合区域的质心,并且指示后连合区域的第二坐标对应于后连合区域的质心。
19.根据权利要求12所述的图像处理装置,其中,所述处理器被配置为通过以下方式确定正中矢状平面:
从第三脑室区域的3D团块的骨架开始,通过候选平面划分第三脑室区域的3D团块;
确定候选平面是否对称地划分3D团块;及
在确定候选平面对称地划分3D团块后,将所述候选平面指定为正中矢状平面。
20.根据权利要求19所述的图像处理装置,其中,所述候选平面与连接前连合区域和后连合区域的线对齐。
21.根据权利要求12所述的图像处理装置,其中,所述处理器被配置为通过以下方式确定正中矢状平面:
从第三脑室区域的3D体积图像的骨架开始,通过多个候选平面顺序地划分第三脑室区域的3D团块,直到确定多个候选平面中的一个对称地划分第三脑室区域的3D团块;及
将多个候选平面中的一个指定为正中矢状平面。
22.一种非暂时性计算机可读存储介质,包括用于从大脑的多个磁共振图像以测量体积来确定正中矢状平面的指令,所述指令使处理器执行以下操作:
接收多个磁共振图像;
将多个磁共振图像转换为3D坐标空间中定义的3D体积图像;
基于预训练分割模型,对3D体积图像中的前连合区域、后连合区域和第三脑室区域进行语义分割,以生成标记有前连合区域、后连合区域和第三脑室区域的3D掩模图像;
基于有标记的3D掩模图像,构建分割的第三脑室区域的3D体积图像;及
基于第三脑室区域的3D体积图像确定正中矢状平面。
23.根据权利要求22所述的介质,其中,进行语义分割包括:
将3D体积图像的多个切片中的每个切片的多个像素标准化为预定范围内的强度值;
从3D体积图像的多个切片中的每个切片的中心关注区域中提取多个像素集;
基于预训练分割模型对被标准化且提取的3D体积图像的前连合区域、后连合区域和第三脑室区域进行分割,以生成标记有前连合区域、后连合区域和第三脑室区域的3D掩模图像;
确定3D掩模图像中的前连合区域和后连合区域的每个的质心;及
在3D掩模图像中,将与前连合区域的质心相对应的前连合点标记为前连合区域,并且将与后连合区域的质心相对应的后连合点标记为后连合区域。
24.根据权利要求22所述的介质,其中,确定正中矢状平面包括:
基于第三脑室区域的3D体积图像的骨架确定对称地划分第三脑室区域的3D体积图像的候选平面;及
将所述候选平面指定为正中矢状平面。
25.根据权利要求22所述的介质,还包括:
输出指示正中矢状平面的信息;及
输出标记有前连合区域、后连合区域和第三脑室区域的3D掩模图像。
26.根据权利要求25所述的介质,其中,指示正中矢状平面的信息是定义正中矢状平面的一组坐标或等式。
27.根据权利要求26所述的介质,其中,定义正中矢状平面的一组坐标包括指示前连合区域的第一坐标、指示后连合区域的第二坐标以及指示用第一坐标和第二坐标定义正中矢状平面的点的第三坐标。
28.根据权利要求22所述的介质,其中,确定正中矢状平面包括:
从第三脑室区域的3D体积图像的骨架开始,通过多个候选平面顺序地划分第三脑室区域的3D体积图像,直到确定多个候选平面中的一个对称地划分第三脑室区域的3D体积图像;及将多个候选平面中的一个指定为正中矢状平面。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962940576P | 2019-11-26 | 2019-11-26 | |
US62/940,576 | 2019-11-26 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112950648A true CN112950648A (zh) | 2021-06-11 |
Family
ID=73598709
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011345752.3A Pending CN112950648A (zh) | 2019-11-26 | 2020-11-26 | 确定磁共振图像中的正中矢状平面的方法和设备 |
Country Status (5)
Country | Link |
---|---|
US (2) | US11798161B2 (zh) |
EP (2) | EP4290457A3 (zh) |
JP (2) | JP7092431B2 (zh) |
KR (2) | KR102537214B1 (zh) |
CN (1) | CN112950648A (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11786309B2 (en) * | 2020-12-28 | 2023-10-17 | Advanced Neuromodulation Systems, Inc. | System and method for facilitating DBS electrode trajectory planning |
CN117372322A (zh) * | 2022-06-30 | 2024-01-09 | 武汉联影智融医疗科技有限公司 | 人脸朝向的确定方法及装置、人脸图像的重建方法及装置 |
KR102644342B1 (ko) * | 2023-11-29 | 2024-03-06 | 주식회사 뉴큐어엠 | 파킨슨병 진단을 위한 뇌 구조 구획 방법 |
CN117853442A (zh) * | 2023-12-29 | 2024-04-09 | 强联智创(北京)科技有限公司 | 一种用于提取脑对称面的方法、设备及存储介质 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06337920A (ja) * | 1993-05-28 | 1994-12-06 | Toshiba Medical Eng Co Ltd | 画像処理装置 |
US20090093706A1 (en) * | 2007-10-04 | 2009-04-09 | Siemens Corporate Research, Inc. | Automatic Alignment of Magnetic Resonance Imaging (MRI) Brain Scan By Anatomic Landmarks |
US20100074495A1 (en) * | 2008-09-24 | 2010-03-25 | Paul Arthur Geiger | Ac-pc segmentation system and method |
US20100172566A1 (en) * | 2009-01-07 | 2010-07-08 | Takao Goto | Median plane determination apparatus and magnetic resonance imaging system |
US20100290689A1 (en) * | 2008-01-10 | 2010-11-18 | Varsha Gupta | Discriminating infarcts from artifacts in mri scan data |
JP2012139260A (ja) * | 2010-12-28 | 2012-07-26 | Ge Medical Systems Global Technology Co Llc | 磁気共鳴イメージング装置、正中面決定方法、およびプログラム |
CN104318009A (zh) * | 2014-10-20 | 2015-01-28 | 北京航空航天大学 | 一种个性化椎间融合器设计方法 |
EP3298968A1 (en) * | 2006-09-08 | 2018-03-28 | Medtronic, Inc. | Method for identification of anatomical landmarks |
CN108961292A (zh) * | 2018-05-31 | 2018-12-07 | 沈阳东软医疗***有限公司 | 一种在脑部医学图像中检测msp的方法和装置 |
WO2019141748A1 (en) * | 2018-01-18 | 2019-07-25 | Koninklijke Philips N.V. | Medical analysis method for predicting metastases in a test tissue sample |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8082019B2 (en) | 2006-09-20 | 2011-12-20 | Siemens Medical Solutions Usa, Inc. | System and method for magnetic resonance brain scan planning |
US7986823B2 (en) | 2007-05-14 | 2011-07-26 | Siemens Aktiengesellschaft | System and method for consistent detection of mid-sagittal planes for magnetic resonance brain scans |
US9530206B2 (en) | 2015-03-31 | 2016-12-27 | Sony Corporation | Automatic 3D segmentation and cortical surfaces reconstruction from T1 MRI |
KR20190028422A (ko) | 2016-07-08 | 2019-03-18 | 아벤트, 인크. | 해부학적 대상들의 자동 검출, 국부화, 및 의미론적 세그먼트화를 위한 시스템 및 방법 |
-
2020
- 2020-11-25 KR KR1020200159924A patent/KR102537214B1/ko active IP Right Grant
- 2020-11-25 US US17/104,659 patent/US11798161B2/en active Active
- 2020-11-26 JP JP2020195773A patent/JP7092431B2/ja active Active
- 2020-11-26 EP EP23205689.5A patent/EP4290457A3/en active Pending
- 2020-11-26 CN CN202011345752.3A patent/CN112950648A/zh active Pending
- 2020-11-26 EP EP20209966.9A patent/EP3828829B1/en active Active
-
2022
- 2022-06-10 JP JP2022094414A patent/JP7205034B2/ja active Active
-
2023
- 2023-05-22 KR KR1020230065592A patent/KR102652749B1/ko active IP Right Grant
- 2023-09-26 US US18/474,655 patent/US20240013393A1/en active Pending
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06337920A (ja) * | 1993-05-28 | 1994-12-06 | Toshiba Medical Eng Co Ltd | 画像処理装置 |
EP3298968A1 (en) * | 2006-09-08 | 2018-03-28 | Medtronic, Inc. | Method for identification of anatomical landmarks |
US20090093706A1 (en) * | 2007-10-04 | 2009-04-09 | Siemens Corporate Research, Inc. | Automatic Alignment of Magnetic Resonance Imaging (MRI) Brain Scan By Anatomic Landmarks |
US20100290689A1 (en) * | 2008-01-10 | 2010-11-18 | Varsha Gupta | Discriminating infarcts from artifacts in mri scan data |
US20100074495A1 (en) * | 2008-09-24 | 2010-03-25 | Paul Arthur Geiger | Ac-pc segmentation system and method |
US20100172566A1 (en) * | 2009-01-07 | 2010-07-08 | Takao Goto | Median plane determination apparatus and magnetic resonance imaging system |
JP2012139260A (ja) * | 2010-12-28 | 2012-07-26 | Ge Medical Systems Global Technology Co Llc | 磁気共鳴イメージング装置、正中面決定方法、およびプログラム |
CN104318009A (zh) * | 2014-10-20 | 2015-01-28 | 北京航空航天大学 | 一种个性化椎间融合器设计方法 |
WO2019141748A1 (en) * | 2018-01-18 | 2019-07-25 | Koninklijke Philips N.V. | Medical analysis method for predicting metastases in a test tissue sample |
CN108961292A (zh) * | 2018-05-31 | 2018-12-07 | 沈阳东软医疗***有限公司 | 一种在脑部医学图像中检测msp的方法和装置 |
Non-Patent Citations (2)
Title |
---|
AARON CRASS等: "Whole Brain Parcellation with Pathology:Validation on Ventriculomegaly Patients", 《SPRINGER INTERNATIONAL PUBLISHING》 * |
张彦琦;白玉兴;张楠;尹伟娇;高伟民;: "基于锥形束CT的颅颌正中矢状面的选择评估", 北京口腔医学, no. 05, 28 October 2013 (2013-10-28) * |
Also Published As
Publication number | Publication date |
---|---|
JP2022111357A (ja) | 2022-07-29 |
US11798161B2 (en) | 2023-10-24 |
EP3828829C0 (en) | 2023-12-13 |
JP2021084036A (ja) | 2021-06-03 |
EP4290457A3 (en) | 2024-02-21 |
JP7205034B2 (ja) | 2023-01-17 |
US20240013393A1 (en) | 2024-01-11 |
KR20230078608A (ko) | 2023-06-02 |
US20210158515A1 (en) | 2021-05-27 |
EP3828829A1 (en) | 2021-06-02 |
EP4290457A2 (en) | 2023-12-13 |
KR102652749B1 (ko) | 2024-04-01 |
KR102537214B1 (ko) | 2023-05-31 |
JP7092431B2 (ja) | 2022-06-28 |
EP3828829B1 (en) | 2023-12-13 |
KR20210065871A (ko) | 2021-06-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6877868B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
JP7205034B2 (ja) | 磁気共鳴イメージで正中矢状平面を決定するための方法、イメージ処理デバイス及び格納媒体 | |
RU2677764C2 (ru) | Координатная привязка медицинских изображений | |
EP3625768B1 (en) | Determining a clinical target volume | |
CN104346821B (zh) | 用于医学成像的自动规划 | |
US9155470B2 (en) | Method and system for model based fusion on pre-operative computed tomography and intra-operative fluoroscopy using transesophageal echocardiography | |
EP2365471B1 (en) | Diagnosis assisting apparatus, coronary artery analyzing method and recording medium having a coronary artery analzying program stored therein | |
US20070280518A1 (en) | Method and Apparatus for Identifying Pathology in Brain Images | |
JP2019511268A (ja) | 脳深部刺激療法の電極の三次元画像における回転配向の決定 | |
US10628963B2 (en) | Automatic detection of an artifact in patient image | |
US20140314290A1 (en) | Positioning anatomical landmarks in volume data sets | |
CN112861961B (zh) | 肺血管分类方法及装置、存储介质及电子设备 | |
US11682115B2 (en) | Atlas-based location determination of an anatomical region of interest | |
US10878564B2 (en) | Systems and methods for processing 3D anatomical volumes based on localization of 2D slices thereof | |
US9691157B2 (en) | Visualization of anatomical labels | |
EP3526799B1 (en) | Optimizing an atlas | |
US20230222748A1 (en) | Method for visualizing at least a zone of an object in at least one interface | |
WO2017198518A1 (en) | Image data processing device | |
Pushparajah et al. | Automatic Re-orientation of 3D Echocardiographic Images in Virtual Reality Using Deep Learning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |