CN102737250B - 3d医学图像数据中对脊椎骨损伤自动检测的方法和*** - Google Patents
3d医学图像数据中对脊椎骨损伤自动检测的方法和*** Download PDFInfo
- Publication number
- CN102737250B CN102737250B CN201210041476.0A CN201210041476A CN102737250B CN 102737250 B CN102737250 B CN 102737250B CN 201210041476 A CN201210041476 A CN 201210041476A CN 102737250 B CN102737250 B CN 102737250B
- Authority
- CN
- China
- Prior art keywords
- bone injury
- candidate
- bone
- injury
- medical images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/446—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering using Haar-like filters, e.g. using integral image techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
- G06T2207/30012—Spine; Backbone
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
- G06V2201/033—Recognition of patterns in medical or anatomical images of skeletal patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/12—Acquisition of 3D measurements of objects
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Quality & Reliability (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及用于在3D医学图像数据中对脊椎骨损伤进行自动检测的方法和***。公开了一种用于在诸如3D计算机断层摄影(CT)容积的3D医学图像中对骨损伤进行自动检测和容积量化的方法和***。在3D医学图像中检测对应于骨区域的感兴趣区域。使用一串训练检测器检测感兴趣区域中的骨损伤。该串训练检测器自动检测损伤中心,且然后在所有三个空间轴中估计损伤大小。通过在3D医学图像的分辨率金字塔的多级别上使用检测器串,使用分级多尺度方法来检测骨损伤。
Description
本申请要求2011年1月14日提交的美国临时申请No.61/432,612的优先权,其内容通过引用合并在此。
技术领域
本发明涉及用于在3D医学图像数据中对脊椎骨损伤进行自动检测的方法和***。
背景技术
本发明涉及医学图像中骨损伤的检测,且尤其是涉及3D医学图像中脊椎骨损伤的自动检测以及容积量化(volumetric quantification)。
在治疗转移癌中,脊椎骨损伤的检测和容积量化是重要的。脊椎骨损伤会引起衰弱疼痛、病理骨折以及具有切断神经损害的脊髓压缩。除了估计疾病的某些进程的危险性,骨损伤的检测和容积量化对于疾病发展的准确量化或者针对治疗的响应都是重要的。但是,从3D计算机断层摄影(CT)数据中阅读人工识别的和容积测量的(即注解)脊椎骨损伤是具有挑战性的并且是劳动密集型工作,即使对于专家放射科医师也是如此。此外,在人工骨损伤注解之间,可能有明显的用户间和用户内可变性。因此,希望对脊椎骨损伤进行自动检测和容积量化。
发明内容
本发明提供一种用于在3D医学图像中对骨损伤进行自动检测和容积量化的方法和***。本发明的实施例利用以串(cascade)布置的一系列检测器来自动检测损伤中心,且然后在所有三个空间维度中估计损伤大小。本发明的实施例通过将检测器串应用到多分辨率金字塔级别(multiple resolution pyramid level),利用了分级多尺度(hierarchicalmulti-scale)方法。
在本发明的一个实施例中,在3D医学图像中检测对应骨区域的一个或多个感兴趣区域。使用一串训练检测器在一个或多个感兴趣区域中检测骨损伤。该串检测器可包括:一个或多个平移(translation)检测器,以检测位置骨损伤中心候选;以及损伤尺度检测器,以检测骨损伤候选,该候选是以所检测骨损伤中心候选为中心的3D边框。可群集骨损伤候选来组合在空间上紧靠的所检测骨损伤候选。可使用在每个分辨率级别下训练的各串检测器在3D图像的分辨率金字塔的多个级别上检测骨损伤。
对本领域技术人员来说,通过参照下面的详细描述以及附图,本发明的这些以及其它优点将变得显而易见。
附图说明
图1示意了根据本发明实施例的用于在3D医学图像中进行自动骨损伤检测的方法;
图2A和2B示意了用于在3D医学图像中进行自动椎骨检测的示例性算法;
图3示意了根据本发明实施例的使用检测器串进行脊椎骨损伤检测的方法;
图4示意了使用串检测和群集化获取的示例性骨损伤检测结果;
图5是能够实现本发明的计算机的高级方框图。
具体实施方式
本发明涉及在医学图像,诸如计算机断层摄影(CT)、磁共振(MR)图像等中对骨损伤进行自动检测和容积量化的方法和***。在此对本发明的实施例进行描述,以便给出骨损伤检测方法的可视化理解。数字图像通常包括一个或多个对象(或形状)的数字表示。在此通常就识别和操纵对象来描述对象的数字表示。该操纵是在计算机***的存储器或其它电路/硬件中完成的虚拟操纵。因此,可以理解的是,本发明的实施例可以使用存储在计算机***中的数据在计算机***中执行。
本发明的实施例提供在3D医学图像数据中对骨损伤进行完全自动检测和容积测量。在此所述的特定实施例中,在3D计算机断层摄影(CT)中检测脊椎骨损伤,但是本发明可以类似地应用于其它类型的骨损伤以及其它类型的医学成像医疗器械。本发明的实施例提供相对快速的检测(如小于一分钟),并且能够处理各种类型的数据,包括轻微以及更严重的病情。
在用于在3D医学图像数据中对骨损伤进行自动检测和容积量化的有利实施例中,预处理步骤自动检测各个椎骨体或其它骨区域以便限定感兴趣区域,用于骨损伤检测。采用分级多尺度方法将骨损伤检测应用于多分辨率金字塔级别。在每个分辨率金字塔级别上,多个基于机器学习的检测器的串(每个检测器都依赖从图像中提取的不同特征或记号),用于自动进行骨损伤检测。在一个实施例中,在串中使用了五个检测器:四个检测器用于相继地缩小来自感兴趣区域的所有候选体素的可能损伤中心的范围,以及第五个检测器通过轴对准尺度信息来丰富对象表示并且以边际空间学习(Marginal Space Learning,MSL)精神进一步缩小候选数量。剩余的候选最后通过分级会聚群集而分组在一起,因为彼此靠近的候选可能表示相同的骨损伤。群集还用于增量地集成从各个分辨率金字塔级别中获取的结果。一旦检测到损伤,公知的分段(segmentation)技术可以用于确切描绘所检测的骨损伤。
本发明的实施例提供了对骨损伤进行完全自动准确检测和容积量化,并且可以在各种医学应用中使用,各种医学应用包括但并不局限于:癌症转移的初始估计;监视疾病进程和随时间对治疗的响应;优化临床工作流程,引起对可疑区域的注意;以及减小所报告骨损伤发现上的观察者间和观察者内部的差异。
本发明的实施例并没有对潜在损伤候选的大小施加限制。此外,本发明的实施例利用如下框架,即该框架完全是基于机器学习的并且能够在概念上训练成检测任何可疑的异常,只要在图像数据内有充分证据以及表征异常图像实体的所得到特征被搜索,并且真阳性(positive)和真阴性(negative)异常候选之间的不确定性不太太。在不同的骨区域中可以发现异常,以及检测脊骨的预处理步骤(下面所述)可以由检测另外的感兴趣骨区域(诸如椎骨的脊突和横突)的另外方法来代替。可替代地,更复杂的分段算法可以用于那些区域的进一步和/或更好限制。因此,本发明的各种实施例能够检测不同感兴趣区域内的各种类型的骨异常。依据该实现,所检测异常的类型(如造骨细胞损伤、溶骨损伤、骨赘等等)以及它们对于感兴趣区域的相对位置都可以自动指定。
图1示意了根据本发明实施例的用于在3D医学图像中自动进行骨损伤检测的方法。这里使用3D CT容积中脊椎骨损伤检测的实例来描述图1的方法,但是可以理解的是,可以相似地执行该方法用于检测其它类型的骨损伤以及在其它类型的成像医疗器械中使用。
参照图1,在步骤102,接收3D医学图像容积。在一个实施例中,医学图像容积是3DCT容积,但是本发明并不局限于此并且可以使用其它类型的成像医疗器械(诸如MR)来生成医学图像容积。3D医学图像容积可以直接从图像采集装置(诸如CT扫描器)中接收。还可以的是,可以通过从计算机***的存储器或存储装置中加载之前采集的图像来接收3D医学图像。
在步骤104,对3D医学图像进行预处理从而在3D医学图像中检测一个或多个感兴趣区域。特别的是,感兴趣区域是目标骨区域,该区域在3D医学图像中自动检测。对于脊椎骨损伤检测,通过在3D医学图像中自动检测个体椎骨来检测感兴趣区域,每个所检测的个体椎骨限定感兴趣区域。可以通过任何自动椎骨检测算法来执行自动椎骨检测。诸如椎骨检测算法的实例在美国公开专利申请号2011/0058720、美国公开专利申请号2008/0044074、美国专利号7,561,728、以及美国公开专利申请号2008/0137928中描述,其内容通过引用合并在此。
图2A和2B示意了用于在3D医学图像中进行自动椎骨检测的示例性算法。在图2A和2B中示意的算法可以用于实现图1方法的步骤104,从而在3D医学图像中检测感兴趣区域。该算法利用3D医学图像,诸如3D CT容积,作为输入。参照图2A,在步骤202,在3D医学图像中检测脊柱管中心线。在步骤204,基于脊柱管中心线的位置来检测椎间盘(disc)中心线。椎间盘中心线是通过椎间盘的中心点估计的中心线。在步骤206,在3D医学图像中检测各个椎间盘并且脊柱管和椎间盘中心线在最高检测椎间盘上方和最低检测椎间盘下方是整齐的(trimmed)。在步骤208,对脊柱管和椎间盘中心线增加延伸来说明处于最高检测椎间盘上方和最低检测椎间盘下方的椎骨。参照图2B,在步骤210,对每个椎间盘进行精细化(refine)并且估计椎骨底平面(每个椎间盘上方)和椎骨顶平面(每个椎间盘下方)的位置。然后,可对椎骨顶平面和椎骨底平面的取向进行精细化。椎骨顶平面和椎骨底平面继承了相邻椎间盘的椎间盘平面的法向矢量。然后针对每个椎间盘、椎骨顶平面和椎骨底平面,来确定在椎间盘中心线和脊髓中心线上的确切位置。同样,针对每个椎间盘、每个椎骨顶平面和每个椎骨底平面来计算沿着这些中心线的索引(index)(具有子点(sub point)准确性)。在一对相邻椎间盘之间的椎骨顶平面和椎骨底平面限定椎骨,其可以用作针对脊椎骨损伤检测的感兴趣区域。
在椎骨体和椎间盘的检测之后,可根据通常解剖惯例(C1-C7、T1-T12、L1-L5),从最尾部检测的椎骨开始标记椎骨体和椎间盘。因此,所检测的损伤位置可以在图像内以绝对坐标输出,以及按相对于周围椎骨体的空间限定符输出。例如,所检测的骨损伤可以识别为“第一腰椎体的背部区域中的大小为1.5x1.5x1.5cm3的一个成骨细胞骨损仿”。
回到图1,在步骤106,从3D医学图像中生成分辨率金字塔图像。特别的是,一个或多个减少分辨率的图像从导致分辨率金字塔的3D医学图像中生成。原始图像和减少分辨率的图像每个都对应不同分辨率金字塔级别。金字塔的减少分辨率的级别通过迭代算法来自身获取。金字塔的底部或零级别等于原始图像。对原始图像进行低通滤波或带通滤波并通过二分之一子采样,以获取下个金字塔级别的图像。然后以相同方式对该减少分辨率的图像进行滤波并且进行子采样,从而获取下一个金字塔级别图像。滤波和子采样步骤的进一步重复可以用于生成附加的金字塔级别的图像。在多分辨率金字塔级别下的骨损伤检测提供准确的骨损伤检测(在尺度上具有较大可变性)。
在步骤108,使用一串训练检测器在当前分辨率金字塔级别图像中的感兴趣区域中,对骨损伤候选进行检测。在针对脊椎骨损伤检测的有利实施例中,五个检测器的串用于在平移和尺度检测期间缩小可能损伤候选的范围。所有检测器根据带有注解的训练数据以自举(bootstrapping)方式来训练。特别的是,可使用一组完整的训练数据(除了阴性和阳性采样之间的阴性子采样和安全界限)(即所有真阳性注解和所有真阴性注解)来训练第一分类器。然后将第一分类器应用到训练数据上,且由第一分类器分类为阳性的训练数据用于训练下一个分类器。根据有利的实现,使用多尺度检测方法以及从训练数据组中以多分辨率尺度来生成训练数据。因此,确保了阳性训练采样,即真实损伤注解,有助于在归一化尺度级别下训练数据。即,从较大损伤中生成的阳性训练采样取自更粗糙的分辨率,而较小损伤采样取自更精细分辨率。这样做,真实骨损伤的类内变化会降低,导致对于训练检测器所需的更少训练数据。
图3示意了根据本发明实施例的使用检测器串来进行脊椎骨损伤检测的方法。可以理解的是,图3的方法可用于执行图1中方法的步骤108。图3方法的每个步骤对应不同的训练检测器,并且检测器布置成串,使得只有从每个步骤中产生的阳性检测转到下个步骤。对于每个串步骤,弱分类器的增强整体(boosted ensemble)可以用作机器学习部件,用于眼前的分类工作,即骨损伤相对于非骨损伤。例如,可以将每个串步骤实现为使用概率增强树(probabilistic boosting tree,PBT)训练的检测器。弱分类器的池随步骤变化,从而引起基于学习的部件的注意,以便具体表征骨损伤。在增强的过程中,只有相对较小数量的特征从可获取的更大特征池中选择,这样在检测阶段中,新损伤候选的分类可以有效计算。所有使用的特征被设计为考虑待检查的检测候选的中心周围的3D情境。这样,针对脊椎骨损伤检测,考虑了宏观形态学信息。每个训练分类器针对要测试的采样计算概率得分并且在概率得分处于特定阈值以上时将该采样分类为阳性。
如图3所示意的,在步骤302,在每个感兴趣区域中通过第一损伤平移检测器使用粗糙3D Haar类型(3D Haar类型)特征检测第一组损伤中心候选。在感兴趣区域中针对每个体素提取粗糙3D Haar类型特征,并且第一损伤平移检测器基于针对该体素所提取的特征,将感兴趣区域中的每个体素分类为阳性(骨损伤)或阴性(非骨损伤)。3D Haar类型特征在Tu等人的″Probabilistic 3D Polyp Detection in CT Images:The Role of SampleAlignment″,CVPR 2006(其通过引用合并在此)中进行了更详细描述。3D Haar类型特征具有控制特征组中的特征的大小的参数,并且粗糙3D Haar类型特征可以通过设定该参数来生成,以得到每个体素周围的邻域的相对粗糙视野(coverage),这对本领域技术人员来说是可以理解的。第一组骨损伤中心候选(即由第一检测器分类为阳性的体素)转到步骤304中的下个检测器。
在步骤304,通过第二损伤平移检测器使用对象(objectness)特征从第一组损伤中心候选中来检测第二组损伤中心候选。对象特征是每个体素周围的邻域有多类似于目标对象(即骨损伤)的度量。骨损伤可以表示为斑点状对象,以及可以使用Hessian矩阵的元素来计算对象特征,其基于一点处的图像的二阶导数。矩阵的特征值的符号和幅值用于产生每个体素处的对象(即斑点状形状)的数字描述。有关该对象特征的附加细节在L.Antiga的″Generalizing Vesselness with Respect to Dimensionality and Shape″,TheInsight Journal(2007)(其通过引用合并在此)中进行了描述。第二损伤平移检测器,基于体素的相应对象特征,将第一组骨损伤中心候选的每个体素分类为阳性(骨损伤)或阴性(非骨损伤)。通过第二损伤平移检测器而分类为阳性的体素是第二组骨损伤候选,并且转到步骤306中的下个检测器。
在步骤306,通过第三损伤平移检测器使用3D Haar类型特征从第二组损伤中心候选中来检测第三组损伤中心候选。如上所述,3D Haar类型特征具有控制特征组中的特征的尺度的参数。精细的3D Haar类型特征可以通过设定该参数来生成,以产生每个体素周围的小邻域的相对精细视野,这对于本领域技术人员来说是可以理解的。虽然指定由步骤302和306中的检测器使用的3D Haar类型特征的粗糙度或精细度的实际参数可以由本领域技术人员来设定,可以理解的是,在步骤302中第一损伤平移检测器使用第一组Haar类型特征,以及在步骤306中第三组Haar类型特征检测器使用第二组Haar类型特征,其具有比第一组Haar类型特征更小(更精细)的尺度。第三组平移检测器,基于体素的精细3D Haar类型特征,将第二组骨损伤中心候选的每个体素分类为阳性(骨损伤)或阴性(非骨损伤)。通过第三损伤平移检测器而分类为阳性的体素是第三组骨损伤候选,并且转到步骤308中的下个检测器。
在步骤308,使用自对准特征(其自对准到图像中的高梯度(gradient))从第三组损伤中心候选中来检测第四组损伤中心候选。自对准特征不是在相对于每个体素的特定固定位置处提取的,而是在根据每个体素的邻域的梯度而变化的位置处提取的。因此,自对准特征可以用于准确检测骨损伤,而与所检测骨损伤的大小无关。自对准特征从候选位置沿着预定数量的方向来计算。在有利实施中,自对准特征可以从每个候选位置沿着3D空间中14个方向的射线来计算。这14个方向为(±1,0,0)、(0,±1,0)、(0,0,±1)以及(±1,±1,±1)。在示例性实施例中,在每个方向di(1≤i≤14)上,10个阈值τj=10j(1≤j≤10)中的每个以上的梯度的局部最大值,可在三个尺度sk=1/2k(1≤k≤3)中的每一个处找到,并且可以在确定的局部最大值位置处来提取特征。对于14个方向中的每一个,该局部梯度最大值位置可以针对在3个尺度中的每个处的10个阈值中的每个来确定,并且可以在所确定的局部最大值位置处来提取特征。根据有利实施,可以提取下面特征:
●在每个di,τj以及sk的前三个局部最大值位置中的每一个处,24个局部特征(如梯度幅值、角度、强度值等等)中的每一个,在Y.Zheng等人的″Four-Chamber HeartModeling and Automatic Segmentation for 3D Cardiac CT Volumes Using MarginalSpace Learning and Steerable Features″,IEEE TMI,27(11),2008(其通过引用合并在此)中进行了描述。
●24个局部特征中的每一个,在候选位置和针对每个di,τj以及sk的前三个局部最大值位置中的每个之间中途(halfway)计算。
●针对每个di,τj以及sk,到前三个局部最大值位置中的每个的距离。
●针对每个τj以及sk,到在两个不同方向di的每个组合中的相应前三个局部最大值的距离之间的差异。
在上述实施中,针对每个候选位置,可以提取约64000个特征。自对准特征在美国公开专利申请2011/0222751(其通过引用合并在此)中进行了更详细描述。第四损伤检测器基于在每个体素处提取的自对准特征,将第三组骨损伤中心候选中的每个体素分类为阳性(骨损伤)或阴性(非骨损伤)。第四组骨损伤中心候选(即通过第四损伤平移检测器而分类为阳性的体素)转到步骤310中的检测器。
在步骤310,基于第四组骨损伤中心候选以及损伤尺度检测器,使用3D可操纵特征来检测骨损伤候选。特别的是,对于第四组骨损伤中心候选的每个,生成多个骨损伤假定。通过产生具有用于每个中心候选的预定不同尺度的边框来生成骨损伤假定。不同尺度表示训练数据中损伤的大小的范围。训练损伤尺度检测器基于针对骨损伤假定而提取的可操纵特征针对骨损伤假定中的每一个来确定概率值,并且针对第四组中心候选中的每个中心候选选择具有最高概率得分(特定阈值之上)的骨损伤假定。可操纵的特征是在图像中的采样模式位置处提取的特征,其采样步骤在每个方向上与对象的尺度成比例。可操纵的特征在美国专利号7,916,919(其通过引用合并在此)中进行了更详细描述。由损伤尺度检测器检测的骨损伤候选是边框,每个都沿着所有三个轴指定骨损伤的位置和骨损伤的尺度。
回到图1,在步骤110,群集在当前分辨率金字塔图像中的所检测骨损伤候选。该群集将紧靠定位的骨损伤候选组合在一起,因为彼此紧靠的候选可能表示相同损伤。根据有利实施,分级会聚群集(其是公知的群集算法)可以用于执行群集所检测骨损伤候选(该候选在空间上彼此紧靠(如在特定距离阈值内))。所检测骨损伤候选的群集产生在当前分辨率金字塔图像中检测的骨损伤。
图4示意了使用串检测和群集获取的示例性骨损伤检测结果。如图4所示意的,图像(a)示出了在预处理步骤(图4的步骤104)中检测的椎骨402,至所限定的感兴趣区域。图像(b)示出了对应于图像(a)中的所检测椎骨102中的一个的感兴趣区域104。图(c)示出了使用第一检测器检测的第一组骨损伤中心候选106。图(d)和(e)示出了第二和第三组骨损伤中心候选108和110,其分别使用布置在自举检测串中的第二和第三检测器,从第一组骨损伤中心候选106中检测。图像(f)示出了在尺度检测和群集之后的示例性骨损伤112。可以理解的是,在图像(c)-(f)中示出的步骤在每个分辨率金字塔级别下迭代。
回到图1,在步骤112,确定当前分辨率金字塔图像是否是最终分辨率金字塔图像。如果当前分辨率金字塔图像不是最终分辨率金字塔图像,该方法前进到步骤114。如果当前分辨率金字塔图像是最终分辨率金字塔图像,该方法前进到步骤116。在步骤114,该方法前进到下个分辨率金字塔图像(即当前金字塔分辨率图像的减少分辨率图像),并且回到步骤108以便在下一个分辨率金字塔图像中检测骨损伤。
在检测期间,检测器串应用于所接收3D医学图像容积的分辨率金字塔(其等于用于生成训练采样的分辨率金字塔)。针对每个分辨率金字塔级别,使用在相同分辨率金字塔级别下的训练数据来训练单独的检测器。
在步骤116,集成分辨率金字塔图像中的所检测损伤。特别的是,在减少分辨率金字塔图像中的每一个中的所检测损伤映射回原始分辨率图像。这导致在原始分辨率图像中检测出具有不同尺度的损伤。根据示例性实施例,在各个分辨率金字塔级别上的每个串迭代之后,群集可用于增量的金字塔集成。
在步骤118,输出骨损伤检测结果。例如,可以通过将检测结果显示在计算机***的显示装置上来输出骨损伤检测结果。也可以通过将检测结果存储在计算机***的存储器或存储装置上来输出骨损伤检测结果。根据可能的实施例,骨损伤检测结果可以通过将骨损伤检测结果输出到分割算法(其可以用于确切描绘所检测的骨损伤)来输出,。
上述用于自动骨损伤检测和容积量化的方法可以在计算机上使用公知的计算机处理器、存储器单元、存储设备、计算机软件和其它部件来实现。该计算机的高级框图在图5中示意。计算机502包含处理器504,其通过执行限定这种操作的计算机程序指令来控制计算机502的整体操作。计算机程序指令可以存储在存储装置512、或其它计算机可读介质(如磁盘、CD ROM等)中并且在希望执行计算机程序指令时加载到存储器510中。所以,图1和3的方法步骤可由存储在存储器510和/或存储装置512中的计算机程序指令来限定,并且由执行计算机程序指令的处理器504来控制。图像采集装置520,诸如CT扫描装置,可以连接至计算机502以便将医学图像输入到计算机502中。可以将图像采集装置520和计算机502实现为一个装置。还可能的是,图像获取装置520和计算机502通过网络来无线通信。计算机502还包括一个或多个网络接口506,用于经由网络与其他装置通信。计算机502还包括其它能够使用户与计算机502交互的输入/输出装置508(诸如显示器、键盘、鼠标、扬声器、按钮等)。本领域技术人员将认识到的是,实际计算机的实现也能够包含其它部件,且图5是用于示意目的的该计算机的一些部件的高级表示。
前面的详细描述应理解为在每个方面都是示意性和示例性的,而非限制性的,并且在此公开的发明范围并不是从详细描述中确定的,而是从根据专利法允许的整个范围来解释的权利要求确定的。可以理解的是,在此所示和所述实施例仅仅是本发明原理的示意,且本领域技术人员在没有偏离本发明的范围和精神的情况下可以实现各种修改。本领域技术人员在没有偏离本发明范围和精神的情况下能够实现各种其它特征组合。
Claims (9)
1.一种用于在3D医学图像中自动进行骨损伤检测的设备,包括:
用于在3D医学图像中检测对应于一个或多个骨区域的一个或多个感兴趣区域的装置;以及
用于使用一串训练检测器在一个或多个感兴趣区域中检测骨损伤的装置,其中该串训练检测器被用于在平移和尺度检测期间缩小可能损伤候选的范围,
其中用于使用一串训练检测器在一个或多个感兴趣区域中检测骨损伤的装置包括:
用于使用至少一个损伤平移检测器检测骨损伤中心候选的装置;以及
用于使用损伤尺度检测器基于骨损伤中心候选检测骨损伤候选的装置。
2.根据权利要求1所述的设备,其中用于使用一串训练检测器在一个或多个感兴趣区域中检测骨损伤的装置还包括:
用于群集骨损伤候选以组合在空间上紧靠的所检测骨损伤候选的装置。
3.根据权利要求1所述的设备,其中用于使用一串训练检测器在一个或多个感兴趣区域中检测骨损伤的装置包括:
用于使用针对每个分辨率金字塔级别所训练的各串训练检测器在3D医学图像的分辨率金字塔的多个级别中的每一个下在一个或多个感兴趣区域中检测骨损伤的装置。
4.根据权利要求3所述的设备,其中用于在3D医学图像的分辨率金字塔的多个级别中的每一个下在一个或多个感兴趣区域中检测骨损伤的装置包括:
用于生成3D医学图像的多个分辨率金字塔图像的装置;
用于在多个分辨率金字塔图像中的每一个中接连检测骨损伤的装置,包括:
用于使用各串训练检测器在每个分辨率金字塔图像中检测骨损伤候选的装置,以及
用于在每个分辨率金字塔图像中群集所检测骨损伤候选的装置;以及
用于将在多个分辨率金字塔图像中的每一个中所检测的骨损伤集成到3D医学图像的原始分辨率的装置。
5.根据权利要求1所述的设备,其中用于使用一串训练检测器在一个或多个感兴趣区域中检测骨损伤的装置包括:
用于由第一损伤平移检测器使用粗糙3D Haar类型特征从一个或多个感兴趣区域中的体素来检测第一组骨损伤中心候选的装置;
用于由第二损伤平移检测器使用对象特征从第一组骨损伤中心候选中检测第二组骨损伤中心候选的装置;
用于由第三损伤平移检测器使用精细3D Haar类型特征从第二组骨损伤中心候选中检测第三组骨损伤中心候选的装置;
用于由第四损伤平移检测器使用自对准至高梯度的自对准特征从第三组骨损伤中心候选中检测第四组骨损伤中心候选的装置;以及
用于由损伤尺度检测器使用可操纵特征基于第四组损伤中心候选来检测骨损伤候选的装置,其中每个骨损伤中心候选是以第四组损伤中心候选中的体素为中心的边框。
6.根据权利要求5所述的设备,其中用于使用一串训练检测器在一个或多个感兴趣区域中检测骨损伤的装置还包括:
用于群集所检测骨损伤候选以组合在空间上紧靠的所检测骨损伤候选的装置。
7.根据权利要求1所述的设备,其中用于在3D医学图像中检测对应于一个或多个骨区域的一个或多个感兴趣区域的装置包括:
用于在3D医学图像中检测对应于椎骨的多个感兴趣区域的装置。
8.根据权利要求7所述的设备,其中用于使用一串训练检测器在一个或多个感兴趣区域中检测骨损伤的装置还包括:
用于在3D医学图像中检测对应于椎骨的多个感兴趣区域中的每一个中的脊椎骨损伤的装置。
9.根据权利要求1所述的设备,其中用于使用损伤尺度检测器基于骨损伤中心候选来检测骨损伤候选的装置包括:
用于针对每个所检测骨损伤中心候选生成多个骨损伤假定的装置,其中每个骨损伤假定是以相应骨损伤中心候选为中心的3D边框;以及
用于针对每个所生成的骨损伤假定由损伤尺度检测器确定概率得分的装置;以及
用于针对每个骨损伤中心候选选择具有高于阈值的最高概率得分的骨损伤假定的装置。
Applications Claiming Priority (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201161432612P | 2011-01-14 | 2011-01-14 | |
US61/432,612 | 2011-01-14 | ||
US61/432612 | 2011-01-14 | ||
US13/342,248 US8693750B2 (en) | 2011-01-14 | 2012-01-03 | Method and system for automatic detection of spinal bone lesions in 3D medical image data |
US13/342,248 | 2012-01-03 | ||
US13/342248 | 2012-01-03 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102737250A CN102737250A (zh) | 2012-10-17 |
CN102737250B true CN102737250B (zh) | 2017-07-14 |
Family
ID=46490798
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210041476.0A Active CN102737250B (zh) | 2011-01-14 | 2012-01-13 | 3d医学图像数据中对脊椎骨损伤自动检测的方法和*** |
Country Status (2)
Country | Link |
---|---|
US (1) | US8693750B2 (zh) |
CN (1) | CN102737250B (zh) |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9378551B2 (en) * | 2013-01-03 | 2016-06-28 | Siemens Aktiengesellschaft | Method and system for lesion candidate detection |
DE102014201321A1 (de) * | 2013-02-12 | 2014-08-14 | Siemens Aktiengesellschaft | Bestimmung von Läsionen in Bilddaten eines Untersuchungsobjekts |
US9317926B2 (en) * | 2013-03-06 | 2016-04-19 | Siemens Aktiengesellschaft | Automatic spinal canal segmentation using cascaded random walks |
RU2648836C2 (ru) * | 2013-03-13 | 2018-03-28 | Фдна Инк. | Системы, способы и компьютерочитаемые носители для выявления вероятного влияния медицинского состояния на пациента |
US9324140B2 (en) * | 2013-08-29 | 2016-04-26 | General Electric Company | Methods and systems for evaluating bone lesions |
KR20150068162A (ko) | 2013-12-11 | 2015-06-19 | 삼성전자주식회사 | 3차원 초음파 영상 통합 장치 및 방법 |
DE102014221942A1 (de) | 2014-10-28 | 2016-04-28 | Siemens Aktiengesellschaft | Verfahren zur vollautomatischen Detektion und Bewertung von Wirbelschäden |
WO2017092615A1 (zh) | 2015-11-30 | 2017-06-08 | 上海联影医疗科技有限公司 | 一种计算机辅助诊断***及方法 |
JP2017099616A (ja) * | 2015-12-01 | 2017-06-08 | ソニー株式会社 | 手術用制御装置、手術用制御方法、およびプログラム、並びに手術システム |
GB2567636B (en) * | 2017-10-17 | 2021-11-10 | Perspectum Diagnostics Ltd | Method and apparatus for imaging an organ |
GB201720059D0 (en) * | 2017-12-01 | 2018-01-17 | Ucb Biopharma Sprl | Three-dimensional medical image analysis method and system for identification of vertebral fractures |
US10762632B2 (en) * | 2018-09-12 | 2020-09-01 | Siemens Healthcare Gmbh | Analysis of skeletal trauma using deep learning |
EP3657391B1 (en) * | 2018-11-21 | 2023-07-26 | Siemens Healthcare GmbH | Processing a medical image |
US20210251610A1 (en) * | 2018-12-10 | 2021-08-19 | Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of National Defence | Automated diagnostics in 3d ultrasound system and method |
CN109903269B (zh) * | 2019-01-24 | 2021-05-04 | 刘星宇 | 确定脊柱横断面图像的异常类型的方法及计算设备 |
CN112017146B (zh) * | 2019-05-31 | 2024-03-22 | 杭州三坛医疗科技有限公司 | 一种骨骼分节方法及装置 |
EP4035125A1 (en) * | 2019-09-24 | 2022-08-03 | Nuvasive, Inc. | Automatically segmenting vertebral bones in 3d medical images |
CN111260618B (zh) * | 2020-01-13 | 2023-08-25 | 北京妙医佳健康科技集团有限公司 | 病灶检测***构建的方法、装置及电子设备 |
CN111311626A (zh) * | 2020-05-11 | 2020-06-19 | 南京安科医疗科技有限公司 | 基于ct图像的颅骨骨折自动检测方法及电子介质 |
CN113034495B (zh) * | 2021-04-21 | 2022-05-06 | 上海交通大学 | 一种脊柱影像分割方法、介质及电子设备 |
CN114511548A (zh) * | 2022-02-16 | 2022-05-17 | 云南白药集团医药电子商务有限公司 | 基于深度学习的多阶段多层次骨赘检测方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1820274A (zh) * | 2003-06-27 | 2006-08-16 | 美国西门子医疗解决公司 | 使用机器学习来利用cad***的常规使用期间所收集到的知识适配cad过程以对医学成像提供cad(计算机辅助决策 )支持 |
CN101203170A (zh) * | 2005-06-02 | 2008-06-18 | 美的派特恩公司 | 计算机辅助检测***和方法 |
CN101271514A (zh) * | 2007-03-21 | 2008-09-24 | 株式会社理光 | 一种快速目标检测和目标输出的图像检测方法及装置 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5123054A (en) * | 1989-10-19 | 1992-06-16 | Fuji Photo Film Co., Ltd. | Abnormal pattern detecting apparatus |
US20040068187A1 (en) * | 2000-04-07 | 2004-04-08 | Krause Norman M. | Computer-aided orthopedic surgery |
AU2002356539A1 (en) * | 2001-10-16 | 2003-04-28 | Abraham Dachman | Computer-aided detection of three-dimensional lesions |
US20040147830A1 (en) * | 2003-01-29 | 2004-07-29 | Virtualscopics | Method and system for use of biomarkers in diagnostic imaging |
WO2005088520A1 (en) * | 2004-03-11 | 2005-09-22 | University Of Cincinnati | Automated spine survey iterative scan technique (assist) |
WO2005106773A2 (en) * | 2004-04-15 | 2005-11-10 | Edda Technology, Inc. | Spatial-temporal lesion detection, segmentation, and diagnostic information extraction system and method |
JP4761741B2 (ja) * | 2004-09-06 | 2011-08-31 | 株式会社東芝 | X線ct装置、画像データ領域抽出システムおよび画像データ領域抽出プログラム |
US20070053563A1 (en) * | 2005-03-09 | 2007-03-08 | Zhuowen Tu | Probabilistic boosting tree framework for learning discriminative models |
US7561728B2 (en) | 2005-03-23 | 2009-07-14 | Siemens Medical Solutions Usa, Inc. | Detection of intervertebral disk orientation in spine images using curve evolution |
US7756317B2 (en) * | 2005-04-28 | 2010-07-13 | Carestream Health, Inc. | Methods and systems for automated detection and analysis of lesion on magnetic resonance images |
US7920730B2 (en) * | 2005-10-07 | 2011-04-05 | Siemens Medical Solutions Usa, Inc. | Automatic bone detection in MRI images |
US8175349B2 (en) | 2006-08-16 | 2012-05-08 | Siemens Medical Solutions Usa, Inc. | System and method for segmenting vertebrae in digitized images |
US20080049999A1 (en) * | 2006-08-28 | 2008-02-28 | Siemens Medical Solutions Usa, Inc. | Computer Aided Detection of Bone Metastasis |
US20080071711A1 (en) * | 2006-09-20 | 2008-03-20 | Siemens Corporate Research, Inc. | Method and System for Object Detection Using Probabilistic Boosting Cascade Tree |
US8165375B2 (en) | 2006-12-11 | 2012-04-24 | Siemens Medical Solutions Usa, Inc. | Method and system for registering CT data sets |
US20110007954A1 (en) * | 2009-07-07 | 2011-01-13 | Siemens Corporation | Method and System for Database-Guided Lesion Detection and Assessment |
US8437521B2 (en) | 2009-09-10 | 2013-05-07 | Siemens Medical Solutions Usa, Inc. | Systems and methods for automatic vertebra edge detection, segmentation and identification in 3D imaging |
US8391579B2 (en) | 2010-03-11 | 2013-03-05 | Siemens Corporation | Method and system for automatic detection and segmentation of axillary lymph nodes |
-
2012
- 2012-01-03 US US13/342,248 patent/US8693750B2/en active Active
- 2012-01-13 CN CN201210041476.0A patent/CN102737250B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1820274A (zh) * | 2003-06-27 | 2006-08-16 | 美国西门子医疗解决公司 | 使用机器学习来利用cad***的常规使用期间所收集到的知识适配cad过程以对医学成像提供cad(计算机辅助决策 )支持 |
CN101203170A (zh) * | 2005-06-02 | 2008-06-18 | 美的派特恩公司 | 计算机辅助检测***和方法 |
CN101271514A (zh) * | 2007-03-21 | 2008-09-24 | 株式会社理光 | 一种快速目标检测和目标输出的图像检测方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN102737250A (zh) | 2012-10-17 |
US8693750B2 (en) | 2014-04-08 |
US20120183193A1 (en) | 2012-07-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102737250B (zh) | 3d医学图像数据中对脊椎骨损伤自动检测的方法和*** | |
Liu et al. | Multi-view multi-scale CNNs for lung nodule type classification from CT images | |
Amin et al. | Brain tumor detection and classification using machine learning: a comprehensive survey | |
Joshi et al. | Classification of brain cancer using artificial neural network | |
El-Baz et al. | Biomedical image segmentation: advances and trends | |
US7876938B2 (en) | System and method for whole body landmark detection, segmentation and change quantification in digital images | |
Zhang et al. | Review of breast cancer pathologigcal image processing | |
CN103501699B (zh) | 用于隔离成像数据中的潜在异常的方法和装置和其对医学图像的应用 | |
US20110142320A1 (en) | Systems and Methods for Computer Aided Diagnosis and Decision Support in Whole-Body Imaging | |
Gore et al. | Comparative study of various techniques using deep Learning for brain tumor detection | |
Hazarika et al. | A survey on classification algorithms of brain images in Alzheimer’s disease based on feature extraction techniques | |
Mlynarski et al. | Anatomically consistent CNN-based segmentation of organs-at-risk in cranial radiotherapy | |
CN114693933A (zh) | 基于生成对抗网络和多尺度特征融合的医学影像分割装置 | |
Zhang et al. | Concatenated spatially-localized random forests for hippocampus labeling in adult and infant MR brain images | |
Tian et al. | Radiomics and its clinical application: artificial intelligence and medical big data | |
Lapa et al. | Semantic learning machine improves the CNN-based detection of prostate cancer in non-contrast-enhanced MRI | |
CN103377369B (zh) | 生成用于个体识别的心血管测量的方法和*** | |
Xiao et al. | PET and CT image fusion of lung cancer with siamese pyramid fusion network | |
Matoug et al. | Predicting Alzheimer's disease by classifying 3D-Brain MRI images using SVM and other well-defined classifiers | |
CN116958094A (zh) | 一种动态增强磁共振影像特征生成病理图像特征的方法 | |
Pallawi et al. | Study of Alzheimer’s disease brain impairment and methods for its early diagnosis: a comprehensive survey | |
Patibandla et al. | Comparative study on analysis of medical images using deep learning techniques | |
Xiao et al. | Segmentation of Cerebrovascular Anatomy from TOF‐MRA Using Length‐Strained Enhancement and Random Walker | |
Miao et al. | CoWRadar: Visual Quantification of the Circle of Willis in Stroke Patients. | |
Ugurlu et al. | Neighborhood resolved fiber orientation distributions (NRFOD) in automatic labeling of white matter fiber pathways |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20220130 Address after: new jersey Patentee after: SIEMENS AG Patentee after: SIEMENS Medical Co., Ltd. Address before: new jersey Patentee before: SIEMENS AG Patentee before: siemens |
|
TR01 | Transfer of patent right |