CN1299642C - 一种基于互信息敏感区域的多模态医学图像配准方法 - Google Patents

一种基于互信息敏感区域的多模态医学图像配准方法 Download PDF

Info

Publication number
CN1299642C
CN1299642C CN 200310122434 CN200310122434A CN1299642C CN 1299642 C CN1299642 C CN 1299642C CN 200310122434 CN200310122434 CN 200310122434 CN 200310122434 A CN200310122434 A CN 200310122434A CN 1299642 C CN1299642 C CN 1299642C
Authority
CN
China
Prior art keywords
mutual information
registration
image
sensitizing range
medical image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN 200310122434
Other languages
English (en)
Other versions
CN1631321A (zh
Inventor
范勇
蒋田仔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN 200310122434 priority Critical patent/CN1299642C/zh
Publication of CN1631321A publication Critical patent/CN1631321A/zh
Application granted granted Critical
Publication of CN1299642C publication Critical patent/CN1299642C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及医学图像分析技术领域的一种基于互信息敏感区域的多模态医学图像配准方法。主要步骤包括:互信息敏感区域的确定与提取:互信息敏感区域的配准。首先提取待配准图像的互信息敏感区域,然后通过互信息最大化方法实现互信息敏感区域的配准,从而实现待配准图像的配准。本发明可以实现快速鲁棒的多模态医学图像配准,特别适合多模态头部图像配准。(在这里,鲁棒性是指我们的配准方法对空间变换的初值不敏感)。

Description

一种基于互信息敏感区域的多模态医学图像配准方法
技术领域
本发明涉及医学图像分析技术领域,特别是一种基于互信息敏感区域的多模态医学图像配准方法。
背景技术
随着医学影像技术的不断发展,出现了越来越多的成像方式,并广泛应用于大脑认知功能的研究与医疗临床诊断和治疗中。由于成像的原理和设备不同,存在多种成像模式,它们主要包括描述生理形态的解剖结构成像模式(如:计算机辅助X射线断层成像(CT),核磁共振成像(MRI)等)和描述人体功能或代谢的功能成像模式(如:单光子发射断层摄影(SPECT),正电子发射断层摄影(PET)和功能核磁共振成像(fMRI)等)两大类。这两类成像方式各有优缺点,解剖结构成像的空间分辨率高,能够提供人体的解剖形态信息;功能成像空间分辨率较低,但能够提供人体内部器官、大脑等的功能信息;即使是同一类成像方式,提供的信息也不完全相同,例如,在结构成像中CT能够清晰的显示骨骼的结构影像,MRI适合对软组织形态成像,因此,不同模态的成像方式能提供形态和功能方面互相补充的信息。
在脑功能研究与医疗临床诊断治疗中,基于多种原因,通常需要对同一个人或多个人进行多种模式或同一种模式的多次成像,即同时从几幅图像获取信息,进行综合分析。为了实现上述目的,医学图像的配准是必须解决的问题。医学图像配准是指对于两幅或多幅医学图像寻求一种(或一系列)空间变换,使它们的象素所代表的解剖点在空间上的达到一致性对应。从而达到几幅图像信息融合的目的。
目前已有的医学图像配准方法大致可分为两类:基于图像特征匹配的方法和基于图像灰度信息相似性最大化的方法。其中一个著名的方法是Maes与Wells等人提出互信息最大化的配准方法,作者通过求解使待配准图像之间的互信息最大化的空间变换达到图像配准的目的。互信息最大化的配准方法是目前最为成功的且具代表性的一种多模态医学图像配准方法,它的有效性及配准精度得到多方面的验证。
可对比的技术文献有以下八篇:
[1]J.B.Antoine Maintz and M.A.Viergever″A Survey of Medical ImageRegistration″,Medical Image Analysis,Vol.2,No.1,pp.1-36,1998.
[2]F.Maes,A.Collignon,D.Vandermeulen,G.Marchal,and P.Suetens,″Multimodality Image Registration by Maximization of Mutual Information″,IEEE Tran.Medical Imaging,Vol.16,pp.187-198,1997.
[3]F.Maes,D.Vandermeulen,P.Suetens,″Comparative evaluation ofmultiresolution optimization strategies for multimodality image registration bymaximization of mutual information″,Medical Image Analysis,Vol.3,No.4,pp.373-386,1999
[4]J.P.W.Pluim,J.B.Antoine Maintz,M.A..Viergever,″ImageRegistration by Maximization of Combined Mutual Information and GradientInformation″,IEEE Trans.Medical Imaging,Vol.19,pp.809-814,2000
[5]C.Studholme,D.L.G.Hill and D.J.Hawkes,″An overlap invariantentropy measure of 3D medical image alignment″,Pattern Recognition,Vol.32,No.1,pp.71-86,1999
[6]W.M.Wells,III,P.Viola,H.Atsumi,S.Nakajima,and R.Kikinis,″Multi-modal Volume Registration by Maximization of Mutual Information″,Medical Image Analysis,Vol.1,pp.35-51,1996.
[7]J.West,J.M.Fitzpatrick,M.Y.Wang,B.M.Dawant,C.R.Maurer,Jr.,R.M.Kessler,and R.J.Maciunas,″Retrospective Intermodality RegistrationTechniques for Images of the Head:Surface-Based Versus Volume-Based″,IEEE Tran.Medical Imaging,Vol.18,No.2,pp.144-150,1999
[8]Yong Fan and Tianzi Jiang,″Fast and Robust Mutual Information basedRegistration for Images of the Head″,In Jian-Zhong Qian,Stefan Schaller,andShiyong Zhang,editors,Proceedings of the International Conference onDiagnostic Imaging and Analysis(ICDIA2002),pp.162-167,ShanghaiScientific and Technological Literature Publishing House,Shanghai,China,2002.
发明内容
本发明的目的是提出一种新的基于互信息敏感区域的多模态医学图像配准方法,为多模态医学图像的配准提供一种快速鲁棒的方法。
本发明的技术方案,如图1所示,主要包括以下两步骤组成:
1、信息敏感区域的确定与提取:
(1)互信息敏感区域
在多模态医学图像配准应用中,待配准的两幅图像的互信息敏感区域定义为满足以下条件的图像区域:
a)图像区域对应的解剖结构在待配准的两幅图像中共同存在;
b)待配准图像的该图像区域的灰度信息大致具有一一对应关系。
例如在MRI与CT的头部图像配准应用中,互信息敏感区域为头皮,头骨和背景对应的图像区域。
(2)互信息敏感区域的提取
确定互信息敏感区域后,可以使用成熟的图像分割算法提取互信息敏感图像区域。由于在配准方法的实现中只需要一个浮动图像,因而互信息敏感区域可以从待配准图像中空间分辨率较高的图像中提取。在这里,鲁棒性是指我们的配准方法对空间变换的初值不敏感。
2、互信息敏感区域的配准
基于互信息敏感区域的多模态图像配准方法的基本原理是从待配准图像中提取互信息敏感区域,通过基于互信息最大化方法配准该互信息敏感区域从而实现图像的配准。用数学语言概念描述本发明,可以定义为,定义:设If(浮动图像)Ir与(参考图像)是两幅要配准或对齐的图像,Ωf与Ωr是从以上图像中提取出的互信息敏感区域。配准就是寻求某种空间变换Φ:Ωf→Ωr使Ωf的解剖点ω在空间上与Ωr的解剖点Φ(ω)一致性对应。这种空间变换推广到图像中就是使变换后的浮动图像Φ(If(xf,yf,zf))与参考图像Ir(xr,yr,zr)所代表的解剖结构在空间上一致性对应。在数学上,可以通过求解以下优化问题得到该空间变换
arg max ( θ ∈ Θ ) F similarity ( Φ θ ( Ω f ) - Ω r ) ,
其中Fsimilarity是给定的相似度测量,而θ∈Θ是空间变换的参数。
在基于互信息敏感区域的多模态医学图像配准方法中,采用归一化互信息或互信息作为相似性度量,
本发明与现有多模态医学图像配准技术比较有以下优点:
本发明首先提出了基于互信息敏感区域的互信息最大化医学图像配准方法。与以往的医学图像方法相比,该技术在配准的鲁棒性与配准速度上均有显著的提高。
本方法与经典基于互信息最大化的配准方法相比,在鲁棒性求解方面体现出很大的优点,即互信息配准函数具有更大的解吸引域,主要表现在:(1)针对图像平移的配准函数曲线的比较;(2)针对图像旋转的配准函数曲线比较。此外在本发明,图像配准方法中的计算强度由于采用互信息敏感区域而被极大的降低。大量的实验表明该方法是快速鲁棒的。
附图说明
图1是基于互信息敏感区域的多模态医学图像配准方法的流程图。
S1为从原始浮动图像中提取互信息敏感区域。
S2为对提取出的互信息敏感区域进行空间变换。
S3为计算空间变换后的互信息敏感区域与其空间对应的参考图像的区域的互信息。
S4为判断S2中的空间变换是否使S3中计算出的互信息达到极值,如达到极值,则进行S5:停止计算,输出空间变换参数;如没有达到极值,则进行S2。
S5为根据配准结果(空间变换参数),进行可视化。
图2显示用基于互信息敏感区域的互信息最大化的医学图像配准方法对多模态图像进行配准的结果。
图2(a)是原始MRI图像的单层图像,
图2(b)是原始CT图像相应的单层图像,
图2(c)为不经过配准直接融合的结果,
图2(d)为经过配准后融合的结果,
图2(e)为不经过配准直接融合结果的三维表面显示,
图2(f)为配准后融合结果的三维表面显示。
图3显示基于互信息敏感区域的互信息最大化的医学图像配准方法用于多模态图像配准是提取出的互信息敏感区域的二维结果。
图3(a)是原始MRI图像的单层图像,
图3(b)是提取出的互信息敏感区域,
图3(c)为互信息敏感区域的空间结构。
图4是基于互信息敏感区域的互信息最大化的医学图像配准方法用于配准MRI图像与CT图像所得到的互信息配准函数曲线与归一化互信息函数曲线,同时在图4中同时给出了现有方法的相应的函数曲线。
图4(a)是待配准图像相对于配准位置发生层内旋转时的互信息函数曲线,
图4(b)是待配准图像相对于配准位置发生平移时的互信息函数曲线,
图4(c)是待配准图像相对于配准位置发生层内旋转时的归一化互信息函数曲线,
图4(d)是待配准图像相对于配准位置发生平移时的归一化互信息函数曲线。
具体实施方式:仅以配准MRI与CT图像头部图像为例说明本发明的使用方法。
随着医学影像技术的不断发展,出现了越来越多的成像方式,并广泛应用于大脑认知功能的研究与医疗临床诊断和治疗中。由于成像的原理和设备不同,存在多种成像模式,它们主要包括描述生理形态的解剖结构成像模式(如:CT,MRI等)和描述人体功能或代谢的功能成像模式(如:fMRI,PET,SPECT等)两大类。在脑功能研究与医疗临床诊断治疗中,基于多种原因,通常需要对同一个人或多个人进行多种模式或同一种模式的多次成像,即同时从几幅图像获取信息,进行综合分析。为了实现上述目的,医学图像的配准是必须解决的问题。
下面介绍基于互信息敏感区域的互信息最大化的医学图像配准方法:
基于互信息敏感区域的互信息最大化的医学图像配准方法可以转化为一种最优化问题,其配准的工作过程可以用以下流程图表示
现表述用基于互信息敏感区域的互信息最大化的医学图像配准方法来完成多模态图像配准的使用。这里给出了同一病人的核磁共振图像(MRI)与CT图像进行配准的例子及其配准评价结果,共有三个方面:配准的精度,配准的计算量和配准函数曲线。
图1中,给出了基于互信息敏感区域的多模态医学图像配准方法的流程图。
S1为从原始浮动图像中提取互信息敏感区域。
S2为对提取出的互信息敏感区域进行空间变换。
S3为计算空间变换后的互信息敏感区域与其空间对应的参考图像的区域的互信息。
S4为判断S2中的空间变换是否使S3中计算出的互信息达到极值,如达到极值,则进行S5:停止计算,输出空间变换参数;如没有达到极值,则进行S2。
S5为根据配准结果(空间变换参数),进行可视化。输出空间变换参数给出可视化结果。
图2中,给出了配准前的图像,以及配准前后进行图像融合的结果示例,包括2维示例以及3维示例,从这些图中我们可以看出我们的方法具有很高的精度。
图3中,给出了原始图像,互信息敏感区域,以及互信息敏感区域的空间结构。
由于在我们的方法中,互信息的计算只是基于互信息敏感区域,而基于互信息的配准方法的计算量主要集中于互信息的计算,因而大大降低计算强度。我们方法的计算强度是其它配准方法的5%~6%,在目前普通个人电脑上的配准时间一般小于5分钟。
图4中,从这些配准函数曲线我们可以看出,我们的方法相对于现有方法而言,具有更大的解吸引域,因而配准更容易实现,具有更强的鲁棒性。方法的配准精度的定量评价表明,我们的方法可以获得次象素级的精度。
本发明可以实现快速鲁棒的多模态医学图像配准,特别适合多模态头部图像的配准。
为了定量地评价我们方法的配准精度,我们对美国范德比尔特大学“全回顾性配准评价项目”(project″Evaluation of Retrospective ImageRegistration″,Vanderbilt University,Nashville,TN.)所提供的41对MR与CT图像,30对MR与PET图像进行了刚体配准。该项目对我们方法配准结果给出了配准误差评价(表1,2)。该定量评价表明,我们的方法可以获得次象素级的精度(CT图像的象素的大小为4mm,PET图像的象素的大小为8mm)。表中PD为MRI的PD参数图像,T1为MRI的T1参数图像,T2为MRI的T2参数图像,PDrect,T1rect,与T2rect分别是上述图像几何校正的结果。
表一:MR与CT图像的配准误差(单位:毫米)
  误差均值   误差中值   误差最大值   图像对个数
  PD   2.20   2.10   4.56   7
  T1   1.65   1.65   2.86   7
  T2   2.89   2.93   6.33   7
  PDrect   1.17   1.01   2.90   7
  T1rect   1.03   1.00   2.06   6
  T2rect   1.28   1.09   3.80   7
表二:MR与PET图像的配准误差(单位:毫米)
  误差均值   误差中值   误差最大值   图像对个数
  PD   3.65   3.25   6.83   7
  T1   3.27   3.15   6.39   7
  T2   3.93   3.64   10.09   7
  PDrect   2.90   2.31   7.01   5
  T1rect   2.26   1.83   6.05   4
  T2rect   2.57   2.03   6.20   5

Claims (5)

1.一种基于互信息敏感区域的多模态医学图像配准方法,其特征在于,在医学图像配准过程中,首先提取对互信息敏感的图像区域,然后通过配准上述互信息敏感图像区域而实现图像的配准,所述互信息敏感区域用于互信息计算。
2.根据权利要求1所述的多模态医学图像配准方法,其特征是,在实现互信息敏感区域的配准时使用的相似性度量采用互信息或归一化互信息,以及其它基于联合熵与互信息相似的图像相似性度量。
3、根据权利要求1的基于互信息敏感区域的多模态医学图像配准方法,其特征在于,互信息敏感区域的确定与提取包括:
(1)互信息敏感区域
在多模态医学图像配准应用中,待配准的两幅图像的互信息敏感区域定义为满足以下条件的图像区域:
a)图像区域对应的解剖结构在待配准的两幅图像中共同存在;
b)待配准图像的该图像区域的灰度信息具有一一对应关系;
(2)互信息敏感区域的提取
确定互信息敏感区域后,使用成熟的图像分割算法提取互信息敏感图像区域。
4、根据权利要求1的基于互信息敏感区域的多模态医学图像配准方法,其特征在于,互信息敏感区域的配准包括:
基于互信息敏感区域的多模态图像配准方法的基本原理是从待配准图像中提取互信息敏感区域,通过基于互信息最大化方法配准该互信息敏感区域从而实现图像的配准。
5一种基于互信息敏感区域的多模态医学图像配准方法,其具体步骤如下;
S1为从原始浮动图像中提取互信息敏感区域,
S2为对提取出的互信息敏感区域进行空间变换,
S3为计算空间变换后的互信息敏感区域与其空间对应的参考图像的区域的互信息,
S4为判断S2中的空间变换是否使S3中计算出的互信息达到极值,如达到极值,则进行S5:停止计算,输出空间变换参数;如没有达到极值,则进行S2,
S5为根据配准结果,空间变换参数,进行可视化,输出空间变换参数给出可视化结果。
CN 200310122434 2003-12-23 2003-12-23 一种基于互信息敏感区域的多模态医学图像配准方法 Expired - Fee Related CN1299642C (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 200310122434 CN1299642C (zh) 2003-12-23 2003-12-23 一种基于互信息敏感区域的多模态医学图像配准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 200310122434 CN1299642C (zh) 2003-12-23 2003-12-23 一种基于互信息敏感区域的多模态医学图像配准方法

Publications (2)

Publication Number Publication Date
CN1631321A CN1631321A (zh) 2005-06-29
CN1299642C true CN1299642C (zh) 2007-02-14

Family

ID=34844502

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 200310122434 Expired - Fee Related CN1299642C (zh) 2003-12-23 2003-12-23 一种基于互信息敏感区域的多模态医学图像配准方法

Country Status (1)

Country Link
CN (1) CN1299642C (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106204415A (zh) * 2015-05-04 2016-12-07 南京邮电大学 一种新型的图像配准方法
US9934586B2 (en) 2016-02-05 2018-04-03 Sony Corporation System and method for processing multimodal images

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070049817A1 (en) * 2005-08-30 2007-03-01 Assaf Preiss Segmentation and registration of multimodal images using physiological data
CN100454337C (zh) * 2005-11-01 2009-01-21 中国科学院自动化研究所 一种结合空间信息的图像配准方法
CN101334843B (zh) * 2007-06-29 2010-08-25 中国科学院自动化研究所 模式识别中的特征提取方法及装置
CN101303767B (zh) * 2007-11-15 2012-05-09 复旦大学 基于块图像内容自适应分类的数字剪影图像配准方法
BR112012033335B1 (pt) * 2010-06-30 2020-11-17 Koninklijke Philips N.V. Sistema para analise interativa de imagem, estaqao de trabalho, metodo de analise interativa de imagem, servidor disposto para transmitir um aplicativo de analise interativa de imagem para um dispositivo de cliente para execuqao no dispositivo de cliente, metodo compreendendo transmissao de um aplicativo de analise interativa de imagem para um dispositivo do cliente para execuqao no dispositivo do cliente e produto de programa de computador
CN102178505B (zh) * 2011-04-02 2012-10-10 南方医科大学 一种胶囊内镜辅助读片方法及其***
CN103020976B (zh) * 2012-12-31 2015-08-19 中国科学院合肥物质科学研究院 一种基于带权模糊互信息的三维医学图像配准方法及***
CN103593842B (zh) * 2013-10-25 2016-10-12 西安电子科技大学 基于交叉爬山memetic量子进化计算的医学图像配准方法
CN106353354A (zh) * 2015-07-14 2017-01-25 艾斯拜克特成像有限公司 在高温高压下样品和过程的核磁共振成像的装置和方法
CN106408509A (zh) * 2016-04-29 2017-02-15 上海联影医疗科技有限公司 一种配准方法及其装置
CN106097347A (zh) * 2016-06-14 2016-11-09 福州大学 一种多模态医学图像配准与可视化方法
EP3264365A1 (en) * 2016-06-28 2018-01-03 Siemens Healthcare GmbH Method and device for registration of a first image data set and a second image data set of a target region of a patient
CN107657989B (zh) * 2017-09-11 2021-05-28 山东第一医科大学(山东省医学科学院) 基于稀疏学***台
CN108171738B (zh) * 2018-01-25 2022-02-01 北京雅森科技发展有限公司 基于脑功能模板的多模态医学图像配准方法
CN108765399B (zh) * 2018-05-23 2022-01-28 平安科技(深圳)有限公司 病变部位识别装置、计算机装置及可读存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106204415A (zh) * 2015-05-04 2016-12-07 南京邮电大学 一种新型的图像配准方法
CN106204415B (zh) * 2015-05-04 2020-09-01 南京邮电大学 一种图像配准方法
US9934586B2 (en) 2016-02-05 2018-04-03 Sony Corporation System and method for processing multimodal images

Also Published As

Publication number Publication date
CN1631321A (zh) 2005-06-29

Similar Documents

Publication Publication Date Title
CN1299642C (zh) 一种基于互信息敏感区域的多模态医学图像配准方法
Makela et al. A review of cardiac image registration methods
US8774481B2 (en) Atlas-assisted synthetic computed tomography using deformable image registration
AU2014212517B2 (en) Method and apparatus for generating a derived image using images of different types
Zaidi et al. Quantitative molecular positron emission tomography imaging using advanced deep learning techniques
CN1920882A (zh) 基于显著区域特征的医学图像三维多模配准的***和方法
Hsu et al. Fully automatic 3D feature-based registration of multi-modality medical images
Lei et al. MRI-based pseudo CT generation using classification and regression random forest
Gupta et al. Study on anatomical and functional medical image registration methods
Shekhar et al. High-speed registration of three-and four-dimensional medical images by using voxel similarity
Gupta et al. A hybrid framework for registration of carotid ultrasound images combining iconic and geometric features
Dong et al. Air, bone and soft-tissue segmentation on 3D brain MRI using semantic classification random forest with auto-context model
Goldsmith et al. Nonlinear tube-fitting for the analysis of anatomical and functional structures
Zhang et al. A novel medical image registration method based on mutual information and genetic algorithm
Sabokrohiyeh et al. Sketch-based registration of 3d cine mri to 4d flow mri
Wang et al. Automatic hybrid registration for 2-dimensional CT abdominal images
Bin et al. Rapid multimodal medical image registration and fusion in 3D conformal radiotherapy treatment planning
Liao et al. A hybrid strategy to integrate surface-based and mutual-information-based methods for co-registering brain SPECT and MR images
Hahn et al. A practical salient region feature based 3d multi-modality registration method for medical images
Li et al. SOMA: Subject‐, object‐, and modality‐adapted precision atlas approach for automatic anatomy recognition and delineation in medical images
Pradeepa et al. A multimodal image registration using mutual information
Kamble et al. 3D MRI Image Segmentation using 3D UNet Architectures: Technical
Sreelekshmi et al. A Review on Multimodal Medical Image Fusion
Penhaker et al. Image registration in neurology applications
Trojacanec et al. Content based retrieval of MRI based on brain structure changes in Alzheimer’s disease

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20070214

Termination date: 20171223