CN114419031A - 一种脑中线的自动定位方法及其装置 - Google Patents
一种脑中线的自动定位方法及其装置 Download PDFInfo
- Publication number
- CN114419031A CN114419031A CN202210244028.4A CN202210244028A CN114419031A CN 114419031 A CN114419031 A CN 114419031A CN 202210244028 A CN202210244028 A CN 202210244028A CN 114419031 A CN114419031 A CN 114419031A
- Authority
- CN
- China
- Prior art keywords
- brain
- brain midline
- midline
- predicted
- dimension
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10104—Positron emission tomography [PET]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Geometry (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本公开提供了一种脑中线的自动定位方法及其装置,包括获取包含脑部的图像;基于所述图像,利用训练好的学习网络预测出脑中线;基于预测脑中线中的起始段和结束段估计理想脑中线,并确定所述预测脑中线相较所述理想脑中线的偏移量。所述方法有利于实现脑中线偏移量化计算,评估脑中线的偏移程度。
Description
技术领域
本公开一般涉及医学图像处理和分析,具体涉及一种脑中线的自动定位方法及其装置。
背景技术
脑出血后脑中线偏移的检测和量化是评估颅脑损伤的一个重要指标,同时也是颅脑病理改变严重性的临床指征之一。实际上脑中线并不是实际存在的一个解剖结构,其严格意义上的定义是左右大脑半球的分隔线。脑中线上下两端属于硬脑膜的大脑镰部分的形变较小,基本上不会出现弯曲,而其中段属于透明隔等软组织部分,易受到血肿、脑梗塞、脑肿瘤等多种颅内疾病影响,造成透明隔受压出现形变。脑中线的标注通常由临床医师对脑中线偏移进行手动标注和分析,人工勾勒脑中线会花费大量时间,增加医生日常工作量,因此对于能够快速和准确自动定位脑中线的方法有迫切需求。同时,现有方法只能用于判断是否出现脑中线的偏移,无法判断脑中线的偏移量。在确定脑中线偏移量的过程中,往往需要人工手动标注。颅脑损伤、颅内肿瘤或者脑梗塞等疾病造成的脑中线偏移结果类型多样,脑中线定位和脑中线偏移计算面临巨大挑战。
发明内容
针对现有技术中存在的上述技术问题,提出了本公开。本公开旨在提供一种脑中线的自动定位方法及其装置,其能够以准确、高效的方式实现脑中线的自动定位以及脑中线的偏移量化输出。
根据本公开的第一方案,提供一种脑中线的自动定位方法,包括获取包含脑部的图像;基于所述图像,利用训练好的学习网络预测出脑中线;基于预测脑中线中的起始段和结束段估计理想脑中线,并确定所述预测脑中线相较所述理想脑中线的偏移量。
根据本公开的第二方案,提供一种用于实现脑中线自动定位的装置,所述装置包括处理器,所述处理器被配置为执行根据本公开各个实施例所述的脑中线自动定位方法。
根据本公开的第三方案,一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行根据本公开各个实施例所述的脑中线自动定位方法。
与现有技术相比,本公开实施例的有益效果在于:
本公开通过训练好的学习网络预测出脑中线,再基于预测出的脑中线并结合先验知识高效且准确地估计出理想脑中线,通过比较预测脑中线相对于理想脑中线的偏移距离,输出脑中线的偏移量,用于评估脑中线偏移程度。由此,实现了脑中线、理想脑中线连同脑中线的偏移量的自动预测和评估,避免了人工标注带来的评估不准确、评估效率低以及用户体验较差等问题。
上述的一般描述和以下的详细描述只是示例性和说明性的,并不旨在限制要求保护的发明。
附图说明
在不一定按比例绘制的附图中,相同的附图标记可以在不同的视图中描述相似的部件。具有字母后缀或不同字母后缀的类似附图标记可以表示相似组件的不同示例。附图大体上通过举例而不是限制的方式示出各种实施例,并且与说明书以及权利要求书一起用于对所公开的实施例进行说明。在适当的时候,在所有附图中使用相同的附图标记指代同一或相似的部分。这样的实施例是例证性的,而并非旨在作为本装置或方法的穷尽或排他实施例。
图1示出根据本公开实施例的脑中线的自动定位方法的流程图。
图2(a)示出根据本公开实施例的脑中线的自动定位方法预测出的脑中线的图示。
图2(b)示出根据本公开实施例的脑中线的自动定位方法基于预测脑中线估计出的理想脑中线的图示。
图2(c)示出根据本公开实施例的脑中线的自动定位方法所确定的偏移量及其发生位置的图示。
图3示出根据本公开实施例的脑中线的自动定位方法中基于预测脑中线中的起始段和结束段估计理想脑中线的方法示意图。
图4示出根据本公开实施例的脑中线的自动定位方法应用于包含脑部的图像的学习网络及其训练过程的示意图。
图5示出根据本公开实施例的用于实现脑中线自动定位的装置的构造的示意图。
具体实施方式
为使本领域技术人员更好的理解本公开的技术方案,下面结合附图和具体实施方式对本公开作详细说明。下面结合附图和具体实施例对本公开的实施例作进一步详细描述,但不作为对本公开的限定。
本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性,而只是用来区分部分的称谓。“包括”或者“包含”等类似的词语意指在该词前的要素涵盖在该词后列举的要素,并不排除也涵盖其他要素的可能。“上”、“下”、“左”、“右”等仅用于表示相对位置关系,当被描述对象的绝对位置改变后,则该相对位置关系也可能相应地改变。
本公开使用的所有术语(包括技术术语或者科学术语)与本公开所属领域的普通技术人员理解的含义相同,除非另外特别定义。还应当理解,在诸如通用字典中定义的术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义,而不应用理想化或极度形式化的意义来解释,除非这里明确地这样定义。对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为说明书的一部分。
图1示出根据本公开实施例的脑中线的自动定位方法的示意图,如步骤101所示,获取包含脑部的图像,图像可以是2D图像。图像可以通过各种成像模态直接获取,例如,包括但不限于电子计算机断层扫描(CT)、核磁共振(MRI)、锥形束计算机断层扫描(CBCT)、正电子发射断层扫描(PET)、单光子发射计算机断层扫描(SPECT)、光学断层扫描、荧光成像、超声成像,放射治疗门户成像,核医学成像或基于由成像装置获取的原始图像重建获得。技术术语“获取”表示在有或没有附加图像处理(降噪、裁剪、重建等)的情况下直接或间接获得的任何方式,并且所获取的图像被接收作为预测脑中线的输入图像。
如步骤102所述,基于所述图像,利用训练好的学习网络预测出脑中线,所述学习网络包括但不限于Unet、V-Net、No-local U-Net、U-Net++中的任一种。例如,Unet网络(例如如图4所示)尤其适用于从包含脑部的图像中高效且准确地分割出脑中线,且分割结果可以是与输入的图像相同尺寸的脑中线的分割蒙版,从而使得脑中线的预测结果可以没有畸变地对照显示在包含脑部的图像上。具体说来,Unet网络使用全卷积网络,避免了全连接操作,有利于实现GPU上的加速运算;包含对称的压缩路径(左侧所示,用于特征提取)和扩展路径(右侧所示,用于上采样和分类),从而实现分割蒙版在尺寸上恢复到输入图像;通过跨层连接使用拼接操作进行特征融合,从而在上采样过程中实现大量的特征通道,进而将上下文信息传递到具有更高分辨率的层上,实现对尺寸较大的包含脑部的输入图像中尺寸较细的脑中线的精细分割。
如步骤103,基于预测脑中线中的起始段和结束段估计理想脑中线,并确定所述预测脑中线相较所述理想脑中线的偏移量,例如图2(a)至图2(c)的过程所示。其中,P1、P2可以表示为基于预测脑中线的起始段和结束段确定的用于估计理想脑中线的两个端点,基于P1和P2这两个端点,估计得到的理想脑中线如图2(c)中的虚线所示。本公开实施例,能够直接获得脑中线的偏移量,例如图2(c)中显示预测脑中线相对于理想脑中线的偏移量为5.8mm。如此在估计理想脑中线时,以方便的方式结合了先验知识:脑中线上下两端属于硬脑膜的大脑镰部分,该部分形变较小,基本上不会出现弯曲,因此,基于预测的实际脑中线的起始段和结束段估计理想脑中线,不仅方便还具有更高的可靠性。
在获得了预测脑中线的基础上,进一步获得理想脑中线,通过比较预测脑中线与理想脑中线之间的位置偏移,能够明显看出预测脑中线相对于理想脑中线的偏移程度。用户可以直观的看到预测脑中线相对于理想脑中线的偏移程度、偏移位置,具有较好的用户体验,而无需人工计算和标注,降低了用户的工作负担,提升了用户的工作效率。
本公开所述的实施例中,可以在向用户呈现预测脑中线和理想脑中线的图示的同时关联地标识出所计算的偏移量,既能够直观的看出预测脑中线相对于理想脑中线的偏移状态,又能够直接读取预测脑中线相对于理想脑中线的偏移量。本公开所述实施例,将偏移结果直接以量化的形式呈现给用户,使得用户能够直观的读取脑中线的偏移量,避免了人工标注带来的不利问题,又极大地提高了用户的工作效率。不仅如此,基于本公开实施例的自动定位方法,能够获得具有更高准确度的预测脑中线和理想脑中线,从而获得准确度更高的脑中线偏移量,提高了脑中线偏移量化的可信度。
在一些实施例中,所述脑中线的自动定位方法还包括,在用户界面上显示所述预测脑中线,并指示所显示的预测脑中线上偏移发生的位置和对应的偏移量。如此用户界面既可以显示预测脑中线(与实际脑中线吻合度良好),又可以对照显示脑中线的偏移量和该偏移量所发生的位置,使得用户直观的从用户界面上读取关于偏移位置和偏移量等数据信息,有利于用户以直观方式更全面地把握脑中线的偏移状态。例如,如图2(c)所示(可以不显示代表理想脑中线的虚直线p1-p2),5.8mm的偏移量用箭头准确指向了该偏移量对应的位置(代表预测脑中线的实心曲线p1-p2突出度最高的位置处),用户据此可以对照评估其他位置处的偏移量,进而更全面地把握在实际(预测)脑中线上延伸的方向上的各处分布的偏移量。
在另一个实施方式中,所述用户界面可以对照显示所述预测脑中线和估计的理想脑中线,并指示所显示的预测脑中线上偏移发生的位置和对应的偏移量。如图2(c)所示,在用户界面上能够直观的显示出基于脑中线的自动定位方法100获得的预测脑中线(实心曲线p1-p2)和理想脑中线(虚直线p1-p2),并可以基于该用户界面,直观的、准确的得出预测脑中线相较理想脑中线在脑中线的延伸方向上的各处的偏移量的分布状况。此外,所述用户界面还可以显示用于估计理想脑中线的起始点和结束点,从而进一步表面偏移量数据结果的可靠性。
如此,即便针对脑部损伤、肿瘤或者脑梗塞等造成的多样类型的脑中线偏移情况,无需用户进行偏移量的人工标注,可以利用训练好的Unet网络或者其他学习网络获得预测脑中线,选择预测脑中线的起始段和结束段,选择起始段和结束段的代表值(例如但不限于中间值)作为估计理想脑中线的起始点和结束点,获得理想脑中线,直接将预测脑中线和理想脑中线的图像显示在用户界面上,并同时显示预测脑中线相对于理想脑中线的偏移距离和对应的偏移位置,如图2(c)所示,箭头所指位置的偏移量为5.8mm。
在一些实施例中,基于预测脑中线中的起始段和结束段估计理想脑中线具体包括:对于所述起始段中的数个mm的邻域,确定起始代表点;对于所述结束段中的数个mm的邻域,确定结束代表点;连接所述起始代表点和所述结束代表点,形成所述理想脑中线。例如,如图3所示,假设图3中的b代表起始段,a代表结束段,其中,可以理解为,以预测脑中线的起始端点、结束端点为圆心,以2mm、3mm或者其他数个mm为半径,所确定的区域为包含有预测脑中线起始段、结束段的邻域范围。此处圆形的邻域范围仅仅作为邻域的示例,邻域还可以采用其他方式来实现,例如但不限于以预测脑中线的起始端点、结束端点为重心以预设的邻域尺寸生成几何形状(例如但不限于圆形、方形、矩形等)作为对应的邻域范围。
可以在邻域范围中确定起始代表点和结束代表点,并连接所述起始代表点和所述结束代表点,形成所述理想脑中线,可以解决预测脑中线端点飘移,导致获取的理想脑中线不可靠的问题。
本公开实施例中,所述的代表点,指的是在邻域中确定的能够降低拟合偏差的点。例如,如图3所示的邻域中,可以明显观察到处于邻域中的预测脑中线具有锯齿状结构,意味着预测脑中线的端点附近出现飘移、偏差。在所述邻域中,可以选择所述2mm、3mm或数个mm的半径圈出的预测脑中线的段的中间值作为拟合理想脑中线的代表点,也可以设置误差函数,计算邻域中误差最小的点作为代表点,也可以基于其他能够降低偏差的方法,确定代表点。如此,可以避免直接选择预测脑中线的起始端点和结束端点作为拟合理想脑中线的起始端点和结束端点,所造成的拟合偏差,从而确保偏移量的可信度。
对于所述确定的方法,可以基于实际需要进行选择,在此不做具体限定。
在一些实施例中,所述学习网络包括分割网络,且训练好的所述分割网络在所述图像中直接分割出线条宽度在预定阈值以下的预测脑中线。所述预定阈值的设定方式,可以是基于数次模拟获得的经验值,例如可以人为规定所述预定阈值为1mm、0.5mm或0.35mm等;也可以是***自动预测到的阈值,例如***基于获取的图像尺寸、代表点等预测到的线条宽度,作为预定阈值。具体的,如果预测脑中线的线条宽度高于预定阈值,意味着预测脑中线为具有一定宽度的区域,在该区域内,无法获取实际脑中线的具***置,意味着无法获取与实际脑中线相符的预测脑中线。此时,在较宽的区域内,无法确定用于拟合理想脑中线的代表点,从而无法获得实际脑中线的偏移量。现有的分割网络,只能够判断脑中线所属的区域,根本无法获得与实际脑中线相符的预测脑中线。
然而,利用本公开实施例的方案,利用训练好的分割网络能够直接分割出线条宽度低于预定阈值的预测脑中线,而非仅仅粗糙地分割出预测脑中线所在区域,从而可以无需后续的细分割后处理就可以端到端地得到与实际脑中线吻合度良好的预测脑中线,从而提高了偏移量的可信度。进一步地,通常容易获得脑中线的标注数据而非脑中线所在区域的标注数据,通过使得训练好的分割网络直接得出预测脑中线而非预测脑中线所在区域,可以更有效地利用脑中线的标注数据进行训练。
进一步地,所述预测脑中线的线条宽度可以为单个像素,意味着利用本公开各个实施例获得的预测脑中线完全与实际脑中线相符,如此可以更准确地确定相较理想脑中线的偏移量,减少因为预测脑中线的宽度尺寸所导致的偏移量偏差。如图3所示,该预测脑中线的线条宽度为单个像素,并非仅仅含有脑中线的区域。
在一些实施例中,所述分割网络利用如下的损失函数来训练,所述损失函数包括第一损失项和第二损失项,所述第一损失项定义所述图像的第一维度上的区域定位损失,所述第二损失项定义所述图像的第二维度上的位置回归损失。例如,Unet网络的中线定位算法,分割网络也可以使用dice损失函数,本公开发明人发现,为了让分割网络习得并回归出线条宽度更窄的甚至可以窄到单像素宽度的曲线,可以采用基于区域定位损失和位置回归损失相结合的损失函数,如此非常适合应用于脑中线定位,不仅降低了脑中线定位的难度,而且,能够方便地回归出甚至单像素宽度的曲线作为预测脑中线。
采用本公开所述的损失函数时,对于分割网络不做具体的限定,例如可以是Unet网络、V-Net、No-local U-Net、U-Net++等其他可以用于图像分割的分割网络。基于分割网络对图像进行分割的过程中,还可以利用数据随机旋转、翻转和平移的数据扩增方式,训练脑中线检测学习网络。尤其是,采用基于unet的分割网络使得可以借用多种数据在线扩增方式,增加脑中线预测网络的鲁棒性。然而,现有的损失函数往往对应于特定的分割网络,致使脑中线的定位方法具有一定的局限性。
在一些实施例中,所述第一损失项基于分割结果在所述第一维度上的映射区域的Dice损失函数来构建,所述第二损失项基于分割结果在所述第二维度上的映射坐标的误差来构建。具体的,例如,可以是针对分割网络产生的分割结果-各处属于脑中线的概率值,并获得脑中线在第一维度上的概率图,基于概率图判断涉及脑中线的区域,进行区域定位,然后,计算在第一维度上与金标准的dice值,作为区域定位损失值,即所述的第一损失项,反馈学习网络进行区域学习。比如,针对分割结果,获取第二维度上的映射坐标,并与金标准对应第二维度计算回归损失,生成回归损失值,即为第二损失项,反馈学习网络对脑中线位置的学习。
本公开各个实施例,利用第一损失项对脑中线进行区域定位,结合第二损失项对脑中线进行位置定位,实现对脑中线的自动定位。
进一步地,所述第一维度为所述图像的两个坐标轴上与脑中线的延伸方向所成角度更小的第一坐标轴,所述第二维度为所述两个坐标轴中除了所述第一坐标轴以外的第二坐标轴。通过如此设置第一坐标轴和第二坐标轴,可以更小的粒度来定位和限定脑中线所在区域,从而使得回归出具***置的操作工作负荷更小。具体的,如图4所示,所述第一坐标轴可以为Y轴,所述第二坐标轴可以为X轴。将所述脑部的图像的分割结果转换成两个一维的图像分别进行不同的计算,在第一维度计算出脑中线的区域位置,在第二维度进行坐标回归,从而精准回归出线条宽度为单像素的脑中线,该脑中线与实际脑中线相符。
在一些实施例中,所述分割结果包括所述图像中各个像素属于脑中线的概率相关参数,所述第一维度上的映射区域通过在所述第二维度的方向上累加各个像素属于脑中线的概率相关参数来得到,所述第二维度上的映射坐标通过在所述第一维度的方向上累加各个像素属于脑中线的概率相关参数来得到。具体实施方式,如图4,脑部的图像作为输入图像,利用Unet网络进行分割,获得分割结果,该分割图像为含有脑中线的二维图像,采用本公开各个实施例中的损失函数,将二维图像转换为两个一维图像进行计算。例如,如图4所示,所述第一坐标轴为Y轴,所述第二坐标轴为X轴,此时,脑中线的延伸方向与坐标轴所成角度更小的Y轴为第一维度,X轴为第二维度。分割图像中在X轴方向上的各个像素属于脑中线的概率相关参数累加,得到在Y轴上的映射区域,从而实现包含脑中线的区域定位。同时,在Y轴方向上的各个像素属于脑中线的概率相关参数累加,得到在X轴上的映射坐标,从而实现对脑中线的位置坐标回归。通过将分割图像转换成两个一维的图像,能够精准回归出线条宽度在预定阈值以下(甚至单个像素的线条宽度)的预测脑中线。本公开的各个实施例,将二维图像转换成一维的区域定位和一维坐标回归计算问题,降低学习难度,实现在CT影像中的脑中线自动定位算法,并根据预测实际脑中线的起点区域和终点区域,估计理想脑中线,用于脑中线偏移量化输出,提高了偏移量化的准确性和可信度,提高了工作效率,避免了传统方法存在的准确性差、效率低以及可信度低等一系列问题。
本公开各个实施例中的损失函数L根据公式(1)来定义:
其中,L region 为区域定位损失函数,L coord 为坐标回归损失函数;
其中,所述L region 为:
所述Lcoord为:
图5示出根据本公开实施例的用于实现脑中线自动定位的装置的构造的示意图。如图5所示,该装置可以包括模型训练装置500a、图像获取装置500b和图像分析装置500c。
在一些实施例中,图像分析装置500c可以是专用计算机或通用计算机。例如,图像分析装置500c可以是为医院执行图像获取和图像处理任务而定制的计算机,也可以是云端的服务器。
该图像分析装置500c可以包括至少一个处理器503,其配置为执行根据本文中描述的功能。例如,所述至少一个处理器503可以配置为执行本文中公开的方法,尤其进行脑中线自动定位的方法。
在一些实施例中,处理器503可以是包括一个及以上的通用处理装置的处理装置,例如微处理器、中央处理单元(CPU)、图形处理单元(GPU)等。更具体地,处理器503可以是复杂指令集计算(CISC)微处理器、精简指令集计算(RISC)微处理器、超长指令字(VLIW)微处理器、运行其他指令集的处理器或运行指令集组合的处理器。处理器503还可以是一个及以上的专用处理装置,诸如专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、片上***(SoC)等。
该图像分析装置500c还可以包括存储器501,存储器501可以被配置为加载或存储根据本公开的任意一个及以上的实施例的训练好的联合学习模型,或者图像处理/分析程序,该图像分析程序由处理器503执行时可以实现本文中公开的方法。
存储器501可以是非暂时性计算机可读介质,诸如只读存储器(ROM)、随机存取存储器(RAM)、相变随机存取存储器(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、电可擦除可编程只读存储器(EEPROM),其他类型的随机存取存储器(RAM)、闪存或其他形式的闪存、高速缓存、寄存器、静态存储器、光盘只读存储器(CD-ROM)、数字多功能盘(DVD)或其他光学存储器、盒式磁带或其他磁存储设备,或用于存储计算机设备等可访问的信息或指令的任何其他可能的非暂时性介质。当由处理器503执行存储在存储器501上的指令时,可以执行根据本文中记载的方法。
虽然在图5中将模型训练装置500a与图像分析装置500c示出为独立的装置,但在一些实施例中,图像分析装置500c还可以执行模型训练功能。
在一些实施例中,图像分析装置500c可以进一步包括内存502, 内存502被配置为从例如存储器501加载根据本公开的任意一个及以上的实施例的联合学习模型,或者暂时存储在利用联合学习模型的处理/分析过程中产生的中间数据。处理器503可以通信地附接到内存502并且被配置为执行其上存储的可执行指令,以执行本文中公开的方法。
在一些实施例中,内存502可以存储训练阶段或预测阶段期间生成的中间信息,诸如执行计算机程序的同时生成的特征信息、各个损失项的值等。在一些实施例中,内存502可以存储计算机可执行指令,诸如一个及以上的图像处理程序。在一些实施例中,联合学习模型、联合学习模型中的各个部、各个子部可以作为存储在存储器501中的应用实现,并且这些应用能够被加载到内存502中,并且然后由处理器503执行以实现对应的功能。
在一些实施例中,内存502可以是非暂时性计算机可读介质,诸如只读存储器(ROM)、随机存取存储器(RAM)、相变随机存取存储器(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、电可擦可编程只读存储器(EEPROM)、其他类型的随机存取存储器(RAM)、闪存盘或其他形式的闪存、高速缓存、寄存器、静态存储器或任意其他可能的介质,用于存储计算机设备等可以访问和执行的信息或指令。
在一些实施例中,图像分析装置500c可以进一步包括通信接口504,用于接收由图像获取装置500b采集的医学图像。在一些实施例中,通信接口504可以包括网络适配器、电缆连接器、串行连接器、USB连接器、并行连接器、高速数据传输适配器(诸如光纤、USB 3.0、Thunderbolt接口等)、无线网络适配器(诸如WiFi适配器)、电信(3G、4G/LTE、5G等)适配器等中的任何一种。
图像分析装置500c可以通过通信接口504连接到模型训练装置500a、图像获取装置500b和其他组件。在一些实施例中,通信接口504可以被配置为从模型训练装置500接收训练好的联合学习模型,并且还可以被配置为从图像获取装置500b接收包含血管的医学图像。
具体地,图像获取装置500b可以包括普通CT、普通MRI、功能性磁共振成像(诸如fMRI、DCE-MRI和弥散MRI)、锥形束计算机断层扫描(CBCT)、正电子发射断层扫描(PET)、单光子发射计算机断层扫描(SPECT)、X射线成像、光学断层扫描(OCT)、荧光成像、超声成像、放疗场成像等中的任意一个。
在一些实施例中,模型训练装置500a可以被配置为训练联合学习模型,并且向图像分析装置500c发送训练好的联合学习模型。在一些实施例中,模型训练装置500a和图像分析装置500c可以由单一计算机或处理器实现。
在一些实施例中,模型训练装置500a可以使用由执行训练处理的软件专门编程的硬件来实现。例如,模型训练装置500a可以包括和图像分析装置500c相似的处理器和非暂时性计算机可读介质。处理器通过执行存储在计算机可读介质中的训练过程的可执行指令来实现训练。模型训练装置500a还可以包括输入和输出接口来与训练数据库、网络、和/或用户界面进行通信。用户界面可以用来选择训练数据集,在训练处理中调整一个及以上的参数,选择或修改学习模型的框架等。
在一些实施例中,一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行根据本公开各个实施例所述的脑中线自动定位方法。计算机可读介质可以包括易失性或非易失性、磁性、基于半导体的、基于磁带的、光学的、可移动的、不可移动的或其他类型的计算机可读介质或计算机可读存储装置。例如,计算机可读介质可以是其中存储有计算机指令的存储装置或存储模块,如所公开的。在一些实施例中,计算机可读介质可以是其上存储有计算机指令的磁盘或闪存驱动器。
对本公开的方法、装置和***可以进行各种变型和更改。鉴于所公开的***和相关方法的描述和实践,可以由本领域的技术人员衍生出其他实施例。本公开的各个权利要求都可理解为独立实施例,并且它们之间的任意组合也用作本本公开的实施例,并且这些实施例被视为都包括在本公开中。
示例仅视为示例性的,真实范围由所附权利要求书及其等效来表示。
Claims (12)
1.一种脑中线的自动定位方法,其特征在于,包括:
获取包含脑部的图像;
基于所述图像,利用训练好的学习网络预测出脑中线;
基于预测脑中线中的起始段和结束段估计理想脑中线,并确定所述预测脑中线相较所述理想脑中线的偏移量。
2.根据权利要求1所述的自动定位方法,其特征在于,还包括,在用户界面上:
显示所述预测脑中线,并指示所显示的预测脑中线上偏移发生的位置和对应的偏移量;和/或
对照显示所述预测脑中线和估计的理想脑中线,并指示所显示的预测脑中线上偏移发生的位置和对应的偏移量。
3.根据权利要求1所述的自动定位方法,其特征在于,基于预测脑中线中的起始段和结束段估计理想脑中线具体包括:
对于所述起始段中的数个mm的邻域,确定起始代表点;
对于所述结束段中的数个mm的邻域,确定结束代表点;
连接所述起始代表点和所述结束代表点,形成所述理想脑中线。
4.根据权利要求1或2所述的自动定位方法,其特征在于,所述学习网络包括分割网络,且训练好的所述分割网络在所述图像中直接分割出线条宽度在预定阈值以下的预测脑中线。
5.根据权利要求4所述的自动定位方法,其特征在于,所述预测脑中线的线条宽度为单个像素。
6.根据权利要求4所述的自动定位方法,其特征在于,所述分割网络利用如下的损失函数来训练,所述损失函数包括第一损失项和第二损失项,所述第一损失项定义所述图像的第一维度上的区域定位损失,所述第二损失项定义所述图像的第二维度上的位置回归损失。
7.根据权利要求6所述的自动定位方法,其特征在于,所述第一损失项基于分割结果在所述第一维度上的映射区域的Dice损失函数来构建,所述第二损失项基于分割结果在所述第二维度上的映射坐标的误差来构建。
8.根据权利要求7所述的自动定位方法,其特征在于,所述第一维度为所述图像的两个坐标轴上与脑中线的延伸方向所成角度更小的第一坐标轴,所述第二维度为所述两个坐标轴中除了所述第一坐标轴以外的第二坐标轴。
9.根据权利要求7所述的自动定位方法,其特征在于,所述分割结果包括所述图像中各个像素属于脑中线的概率相关参数,所述第一维度上的映射区域通过在所述第二维度的方向上累加各个像素属于脑中线的概率相关参数来得到,所述第二维度上的映射坐标通过在所述第一维度的方向上累加各个像素属于脑中线的概率相关参数来得到。
11.一种用于实现脑中线自动定位的装置,所述装置包括处理器,所述处理器被配置为执行根据权利要求1-10任一项所述的脑中线自动定位方法。
12.一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行如权利要求1-10任一项所述的脑中线自动定位方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210244028.4A CN114419031B (zh) | 2022-03-14 | 2022-03-14 | 一种脑中线的自动定位方法及其装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210244028.4A CN114419031B (zh) | 2022-03-14 | 2022-03-14 | 一种脑中线的自动定位方法及其装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114419031A true CN114419031A (zh) | 2022-04-29 |
CN114419031B CN114419031B (zh) | 2022-06-14 |
Family
ID=81264423
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210244028.4A Active CN114419031B (zh) | 2022-03-14 | 2022-03-14 | 一种脑中线的自动定位方法及其装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114419031B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115690189A (zh) * | 2022-11-07 | 2023-02-03 | 北京安德医智科技有限公司 | 脑中线偏移量的检测方法、装置、设备及介质 |
CN115861295A (zh) * | 2023-02-09 | 2023-03-28 | 南京左右脑医疗科技集团有限公司 | 大脑中线结构识别方法、装置和存储介质 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120184840A1 (en) * | 2009-04-07 | 2012-07-19 | Kayvan Najarian | Automated Measurement of Brain Injury Indices Using Brain CT Images, Injury Data, and Machine Learning |
CN108962380A (zh) * | 2017-05-27 | 2018-12-07 | 周仁海 | 判读脑部影像的装置和方法及提供脑部状态信息的装置 |
CN110415219A (zh) * | 2019-07-04 | 2019-11-05 | 杭州深睿博联科技有限公司 | 基于深度分割网络的医学图像处理方法及装置、设备、存储介质 |
CN111105424A (zh) * | 2019-12-19 | 2020-05-05 | 广州柏视医疗科技有限公司 | ***自动勾画方法及装置 |
CN111583212A (zh) * | 2020-04-29 | 2020-08-25 | 上海杏脉信息科技有限公司 | 脑部中线移位的确定方法及装置 |
EP3716157A1 (en) * | 2019-03-28 | 2020-09-30 | Canon Medical Systems Corporation | Apparatus and method for training models |
CN111861989A (zh) * | 2020-06-10 | 2020-10-30 | 杭州深睿博联科技有限公司 | 一种脑中线检测方法、***、终端及存储介质 |
CN111899253A (zh) * | 2020-08-07 | 2020-11-06 | 长沙大端信息科技有限公司 | 胎儿颅脑切面图像的异常判断分析方法及装置 |
CN112241952A (zh) * | 2020-10-22 | 2021-01-19 | 平安科技(深圳)有限公司 | 大脑中线识别方法、装置、计算机设备及存储介质 |
CN113673505A (zh) * | 2021-06-29 | 2021-11-19 | 北京旷视科技有限公司 | 实例分割模型的训练方法、装置、***及存储介质 |
CN113706447A (zh) * | 2021-04-13 | 2021-11-26 | 腾讯科技(深圳)有限公司 | 脑中线识别方法、装置、设备及存储介质 |
-
2022
- 2022-03-14 CN CN202210244028.4A patent/CN114419031B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120184840A1 (en) * | 2009-04-07 | 2012-07-19 | Kayvan Najarian | Automated Measurement of Brain Injury Indices Using Brain CT Images, Injury Data, and Machine Learning |
CN108962380A (zh) * | 2017-05-27 | 2018-12-07 | 周仁海 | 判读脑部影像的装置和方法及提供脑部状态信息的装置 |
EP3716157A1 (en) * | 2019-03-28 | 2020-09-30 | Canon Medical Systems Corporation | Apparatus and method for training models |
CN110415219A (zh) * | 2019-07-04 | 2019-11-05 | 杭州深睿博联科技有限公司 | 基于深度分割网络的医学图像处理方法及装置、设备、存储介质 |
CN111105424A (zh) * | 2019-12-19 | 2020-05-05 | 广州柏视医疗科技有限公司 | ***自动勾画方法及装置 |
CN111583212A (zh) * | 2020-04-29 | 2020-08-25 | 上海杏脉信息科技有限公司 | 脑部中线移位的确定方法及装置 |
CN111861989A (zh) * | 2020-06-10 | 2020-10-30 | 杭州深睿博联科技有限公司 | 一种脑中线检测方法、***、终端及存储介质 |
CN111899253A (zh) * | 2020-08-07 | 2020-11-06 | 长沙大端信息科技有限公司 | 胎儿颅脑切面图像的异常判断分析方法及装置 |
CN112241952A (zh) * | 2020-10-22 | 2021-01-19 | 平安科技(深圳)有限公司 | 大脑中线识别方法、装置、计算机设备及存储介质 |
CN113706447A (zh) * | 2021-04-13 | 2021-11-26 | 腾讯科技(深圳)有限公司 | 脑中线识别方法、装置、设备及存储介质 |
CN113673505A (zh) * | 2021-06-29 | 2021-11-19 | 北京旷视科技有限公司 | 实例分割模型的训练方法、装置、***及存储介质 |
Non-Patent Citations (4)
Title |
---|
LU, RUYI等: "Choroidal atrophy segmentation based on deep network with deepsupervision and EDT-auxiliary-loss", 《PROCEEDINGS OF SPIE》, vol. 11313, 31 March 2020 (2020-03-31), pages 1 - 113131 * |
MANAS KUMAR NAG等: "Quantitative analysis of brain herniation from non-contrast CT images using deep learning", 《JOURNAL OF NEUROSCIENCE METHODS》, vol. 349, 13 December 2020 (2020-12-13), pages 1 - 8, XP086447540, DOI: 10.1016/j.jneumeth.2020.109033 * |
李文博: "脑CT图像分类及可视化方法研究", 《中国优秀硕士学位论文全文数据库 医药卫生科技辑》, no. 06, 15 June 2018 (2018-06-15), pages 076 - 5 * |
陆如意: "基于眼底彩照的病理性近视分类和脉络膜视网膜萎缩分割", 《中国优秀硕士学位论文全文数据库 医药卫生科技辑》, no. 02, 15 February 2021 (2021-02-15), pages 073 - 214 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115690189A (zh) * | 2022-11-07 | 2023-02-03 | 北京安德医智科技有限公司 | 脑中线偏移量的检测方法、装置、设备及介质 |
CN115690189B (zh) * | 2022-11-07 | 2023-05-09 | 北京安德医智科技有限公司 | 脑中线偏移量的检测方法、装置、设备及介质 |
CN115861295A (zh) * | 2023-02-09 | 2023-03-28 | 南京左右脑医疗科技集团有限公司 | 大脑中线结构识别方法、装置和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN114419031B (zh) | 2022-06-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10769791B2 (en) | Systems and methods for cross-modality image segmentation | |
US11574406B2 (en) | Systems and methods for image segmentation using a scalable and compact convolutional neural network | |
CN114419031B (zh) | 一种脑中线的自动定位方法及其装置 | |
US11534125B2 (en) | Systems and methods for automated and interactive analysis of bone scan images for detection of metastases | |
CN109410188B (zh) | 用于对医学图像进行分割的***和方法 | |
CN111445449B (zh) | 感兴趣区域的分类方法、装置、计算机设备和存储介质 | |
CN106709930B (zh) | 三维医学图像的感兴趣体积分割方法及装置 | |
US20080292164A1 (en) | System and method for coregistration and analysis of non-concurrent diffuse optical and magnetic resonance breast images | |
US20090135191A1 (en) | Coregistration and analysis of multi-modal images obtained in different geometries | |
US20160292855A1 (en) | Medical imaging device rendering predictive prostate cancer visualizations using quantitative multiparametric mri models | |
US10460508B2 (en) | Visualization with anatomical intelligence | |
US11908134B2 (en) | Systems and methods for error checking in radiotherapy treatment replanning | |
CN114596311B (zh) | 基于血管图像的血管功能评估方法和血管功能评估装置 | |
US11043296B2 (en) | Systems and methods for semi-automatic tumor segmentation | |
US20210020304A1 (en) | Systems and methods for generating classifying and quantitative analysis reports of aneurysms from medical image data | |
US11978137B2 (en) | Generating reformatted views of a three-dimensional anatomy scan using deep-learning estimated scan prescription masks | |
CN111476791A (zh) | 图像处理方法、图像处理装置和非暂时性计算机可读介质 | |
Stoel et al. | Automated brain computed tomographic densitometry of early ischemic changes in acute stroke | |
CN115330669A (zh) | 预测解剖结构的疾病量化参数的计算机实现的方法、***及存储介质 | |
Schaefferkoetter et al. | Deep learning for whole-body medical image generation | |
US9142017B2 (en) | TNM classification using image overlays | |
CN114648541A (zh) | 非小细胞肺癌大体肿瘤靶区自动分割方法 | |
US20220301156A1 (en) | Method and system for annotation efficient learning for medical image analysis | |
US9082193B2 (en) | Shape-based image segmentation | |
US10872401B2 (en) | Method for merging an analysis data record with an image data record, positioning device, computer program and electronically readable data storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |