CN108171738B - 基于脑功能模板的多模态医学图像配准方法 - Google Patents

基于脑功能模板的多模态医学图像配准方法 Download PDF

Info

Publication number
CN108171738B
CN108171738B CN201810074299.3A CN201810074299A CN108171738B CN 108171738 B CN108171738 B CN 108171738B CN 201810074299 A CN201810074299 A CN 201810074299A CN 108171738 B CN108171738 B CN 108171738B
Authority
CN
China
Prior art keywords
image
information
functional
brain
transformation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810074299.3A
Other languages
English (en)
Other versions
CN108171738A (zh
Inventor
范伟彬
郎超
杨士霆
陈晖�
李刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Wujiang Naozhi Technology Co ltd
Original Assignee
Beijing Yasen Technology Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Yasen Technology Development Co ltd filed Critical Beijing Yasen Technology Development Co ltd
Priority to CN201810074299.3A priority Critical patent/CN108171738B/zh
Publication of CN108171738A publication Critical patent/CN108171738A/zh
Application granted granted Critical
Publication of CN108171738B publication Critical patent/CN108171738B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Nuclear Medicine (AREA)

Abstract

本发明公开的基于脑功能模板的多模态医学图像配准方法，其步骤为：图像提取单元提取原始的多模态医学图像；空间变换获取模块对原始的多模态医学图像进行分析，获得空间变换信息；图像识别模块识别多模态医学图像之解剖学图像中的病灶区；利用空间变换信息，计算并获取对应多模态医学图像之功能性图像的相应病灶信息；将获取的功能性图像的病灶区域信息，通过信息量化模块配准，并显示在功能性图像的对应区域；根据空间点源坐标自动判断图像配准是否出现跨越脑功能区的情况。本发明更精准实现多模态脑部医学图像的配准，可在一幅图像上同时清楚地显示脏器功能代谢信息和脏器的功能信息。

Description

基于脑功能模板的多模态医学图像配准方法
技术领域
本发明涉及医学图像处理技术领域，尤其涉及基于脑功能模板的多模态医学图像配准方法。
背景技术
近年来，医学成像技术迅速发展，并广泛应用于临床诊断和治疗。为了使多次成像或多种成像设备的信息可以得到综合利用，弥补信息不完整等缺陷，使临床的诊断及治疗更准确，产生了多模医学图像配准技术。多模医学图形配准是将来也不同医学成像设备的图形进行配准。由于不同设备对人体内大到组织，小到分子有不同的灵敏度和分辨率，因而它们存在各自的适用范围及局限性。多种模式医学图像的结合能够充分利用图像自身的功能而做到信息互补。
目前的医学成像模式可分为两类：功能成像（SPECT、PET等）和解剖成像（CT、MRI、B超等）。功能成像分辨率较差，但它提供的脏器功能代谢信息是解剖图形所不能替代的；解剖图像以较高的分辨率提供了脏器的解剖形态信息，但无法反应脏器的功能情况。
因此，亟需将多种模态的医学图像进行配准，将功能图像与解剖图像进行配准，使功能成像与解剖成像技术相互取长补短，在一幅图像上同时表达来自人体的多方面的信息，清楚地显示脏器功能代谢信息和脏器的功能信息。
发明内容
本发明的目的是针对上述技术问题，提供基于脑功能模板的多模态医学图像配准方法，其步骤合理，能够实现更精准的多模态脑部医学图像的配准，在一幅图像上同时清楚地显示脏器功能代谢信息和脏器的功能信息。
本发明的技术方案
为解决上述技术问题，本发明提供基于脑功能模板的多模态医学图像配准方法，具体包括以下步骤：
S1，图像提取单元提取原始的多模态医学图像；
S2，空间变换获取模块对原始的多模态医学图像进行分析，获得空间变换信息；
S3，ROI信息识别单元识别多模态医学图像之解剖学图像中的病灶区；
S4，利用步骤S2中的空间变换信息，计算并获取对应多模态医学图像之功能性图像的相应病灶信息；
S5，将步骤S4中获取的功能性图像病灶区域信息，通过信息量化模块配准并显示在功能性图像的对应区域；
S6，利用玻尔脑定量分析***对病灶区域进行脑功能区判断，根据空间点源坐标自动判断图像配准是否出现跨越脑功能区的情况，去除超出脑功能区的病灶。
进一步地，在步骤S1中，所述多模态医学图像包括解剖学图像及功能性图像，其中，解剖学图像包括CT、MRI、B超，功能性图像包括SPECT、PET。
进一步地，在步骤S2中，所述空间变换是基于交互信息达到最大值的空间变换。
进一步地，在步骤S2中，所述空间变换的步骤包括：
S2-1，对于待配准的图像，以一副图像作为参考图像，另一幅为浮动图像，定义一个统一的坐标系，确定图像之间的空间变换形式；
S2-2，根据坐标变换信息，将浮动图像中的点变换到参考图像坐标系中，对变换后的非整数坐标上的点进行灰度插值，计算两幅图像件的互信息；
S2-3，通过优化算法，不断地改变空间变换参数的值，确定使互信息达到最大值对应的空间变换参数。
进一步地，在步骤S2-1中，所述空间变换形式包括刚体变换、仿射变换、投影变换及非线性变换。
进一步地，在步骤S2-2中，所述灰度插值包括最邻近插值、三线性插值及部分体积分布插值。
本发明有益效果：
本发明提供的基于脑功能模板的多模态医学图像配准方法，其步骤合理，能够实现更精准的多模态脑部医学图像的配准，有效减少医生的错误诊断，提高临床诊断的准确率。
附图说明
通过结合以下附图所作的详细描述，本发明的上述优点将变得更清楚和更容易理解，这些附图只是示意性的，并不限制本发明，其中：
图1是本发明所述多模态医学图像配准方法的流程图；
图2是脑部病灶显示在解剖学图像的示意图；
图3是脑部病灶显示在功能性图像的示意图；
图4是脑部病灶图像配准后的示意图。
具体实施方式
下面结合具体实施例和附图，对本发明所述基于脑功能模板的多模态医学图像配准方法进行详细说明。
在此记载的实施例为本发明特定的具体实施方式，用于说明本发明的构思，均是解释性和示例性的，不应解释为对本发明实施方式及本发明范围的限制。除在此记载的实施例外，本领域技术人员还能够基于本申请权利要求书和说明书所公开的内容采用显而易见的其它技术方案，这些技术方案包括采用对在此记载的实施例的做出任何显而易见的替换和修改的技术方案。
本发明提供基于脑功能模板的多模态医学图像配准方法，其流程图，如图1所示，其具体包括以下步骤：
S1，图像提取单元提取原始的多模态医学图像；
在该步骤中，所述多模态医学图像包括解剖学图像及功能性图像，其中，解剖学图像包括CT、MRI、B超，功能性图像包括SPECT、PET。所述的多模态医学图像是针对同一个人在同一时段所形成的脑部图像，以方便将脑部患者的病灶综合显示在同一个图像上，以保证医学诊断的准确性。
S2，空间变换获取模块对原始的多模态医学图像进行分析，获得空间变换信息；
在该步骤中，所述空间变换是基于交互信息达到最大值的空间变换。所述空间变换的步骤包括：
S2-1，对于待配准的图像，以一副图像作为参考图像，另一幅为浮动图像，定义一个统一的坐标系，确定图像之间的空间变换形式；其中，空间变换形式包括刚体变换、仿射变换、投影变换及非线性变换。
S2-2，根据坐标变换信息，将浮动图像中的点变换到参考图像坐标系中，对变换后的非整数坐标上的点进行灰度插值，计算两幅图像件的互信息；其中，灰度插值包括最邻近插值、三线性插值及部分体积分布插值。
S2-3，通过优化算法，不断地改变空间变换参数的值，确定使互信息达到最大值对应的空间变换参数。
S3，ROI信息识别单元识别多模态医学图像之解剖学图像中的病灶区；
如图2所示，一名脑部患者的解剖学图像，其中脑部病灶ROI1显示在解剖学图像中。
S4，利用步骤S2中的空间变换信息，计算并获取对应多模态医学图像之功能性图像的相应病灶信息；
图3是脑部病灶显示在功能性图像的示意图，脑部病灶为ROI2。
S5，将步骤S4中获取的功能性图像病灶区域信息，通过信息量化模块配准并显示在功能性图像的对应区域；
计算获得的功能性图像中的对应的病灶区域信息，通过信息量化模块配准并显示于解剖学图像的相应区域ROI1’，此时功能性图像上包括两个病灶区：原始病灶区ROI2和配准得到的解剖学图像的病灶区ROI1’，如图4所示。
S6，利用玻尔脑定量分析***对病灶区域进行脑功能区判断，根据空间点源坐标自动判断图像配准是否出现跨越脑功能区的情况，去除超出脑功能区的病灶。其具体操作过程为：
首先是采集影像数据。从影像设备或PACS读取原图数据，之后进行图像校正；
其次是进行归一化处理，使图像标准化。通过建立脑部物理模型，对影像矩阵进行多维归一化预处理，在最大程度减少采集方式带来的图像差异;简单来说，归一化是把不同的脑部医学影像都用同一标准脑部模型进行校准，再作对比；
随后，将被试数据和正常人数据库做统计对比分析。其中最重要的，是符合标准的正常人数据库，这个库需要满足两个条件：包含足够多的维度，包括年龄段、性别、病史、种族等，维度越多，分析越精准；要经过严格筛选，比如基础智商、脑疾病相关病史、精神类疾病病史等。
本发明提供的基于脑功能模板的多模态医学图像配准方法，将功能图像与解剖图像进行配准，配准更加准确，使功能成像与解剖成像技术相互取长补短，在一幅图像上同时表达来自人体的多方面的信息，有效减少医生的错误认识，提高医学图像影像特征显示的全面性和准确率。
本发明不局限于上述实施方式，任何人在本发明的启示下都可得出其他各种形式的产品，但不论在其形状或结构上作任何变化，凡是具有与本申请相同或相近似的技术方案，均落在本发明的保护范围之内。

Claims (5)

1.基于脑功能模板的多模态医学图像配准方法，其特征在于，包括以下步骤：
S1，图像提取单元提取原始的多模态医学图像；
S2，空间变换获取模块对原始的多模态医学图像进行分析，获得空间变换信息；在步骤S2中，所述空间变换的步骤包括：
S2-1，对于待配准的图像，以一幅 图像作为参考图像，另一幅为浮动图像，定义一个统一的坐标系，确定图像之间的空间变换形式；
S2-2，根据坐标变换信息，将浮动图像中的点变换到参考图像坐标系中，对变换后的非整数坐标上的点进行灰度插值，计算两幅图像件的互信息；
S2-3，通过优化算法，不断地改变空间变换参数的值，确定使互信息达到最大值对应的空间变换参数；
S3，ROI信息识别单元识别多模态医学图像之解剖学图像中的病灶区；
S4，利用步骤S2中的空间变换信息，计算并获取对应多模态医学图像之功能性图像的相应病灶信息；
S5，将步骤S4中获取的功能性图像病灶区域信息，通过信息量化模块配准并显示在功能性图像的对应区域；
S6，利用玻尔脑定量分析***对病灶区域进行脑功能区判断，根据空间点源坐标自动判断图像配准是否出现跨越脑功能区的情况，去除超出脑功能区的病灶；
首先是采集影像数据：从影像设备或PACS读取原图数据，之后进行图像校正；
其次是进行归一化处理，使图像标准化：通过建立脑部物理模型，对影像矩阵进行多维归一化预处理，在最大程度减少采集方式带来的图像差异；归一化是把不同的脑部医学影像都用同一标准脑部模型进行校准，再作对比；
随后，将被试数据和正常人数据库做统计对比分析；其中最重要的，是符合标准的正常人数据库，这个库需要满足两个条件：包含足够多的维度，包括年龄段、性别、病史、种族等，维度越多，分析越精准；要经过严格筛选，比如基础智商、脑疾病相关病史、精神类疾病病史等。
2.根据权利要求1所述多模态医学图像配准方法，其特征在于，在步骤S1中，所述多模态医学图像包括解剖学图像及功能性图像，其中，解剖学图像包括CT、MRI、B超，功能性图像包括SPECT、PET。
3.根据权利要求1所述多模态医学图像配准方法，其特征在于，在步骤S2中，所述空间变换是基于交互信息达到最大值的空间变换。
4.根据权利要求1所述多模态医学图像配准方法，其特征在于，在步骤S2-1中，所述空间变换形式包括刚体变换、仿射变换、投影变换及非线性变换。
5.根据权利要求1所述多模态医学图像配准方法，其特征在于，在步骤S2-2中，所述灰度插值包括最邻近插值、三线性插值及部分体积分布插值。
CN201810074299.3A 2018-01-25 2018-01-25 基于脑功能模板的多模态医学图像配准方法 Active CN108171738B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810074299.3A CN108171738B (zh) 2018-01-25 2018-01-25 基于脑功能模板的多模态医学图像配准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810074299.3A CN108171738B (zh) 2018-01-25 2018-01-25 基于脑功能模板的多模态医学图像配准方法

Publications (2)

Publication Number Publication Date
CN108171738A CN108171738A (zh) 2018-06-15
CN108171738B true CN108171738B (zh) 2022-02-01

Family

ID=62515936

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810074299.3A Active CN108171738B (zh) 2018-01-25 2018-01-25 基于脑功能模板的多模态医学图像配准方法

Country Status (1)

Country Link
CN (1) CN108171738B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110363797B (zh) * 2019-07-15 2023-02-14 东北大学 一种基于过度形变抑制的pet与ct图像配准方法
CN110782428B (zh) * 2019-09-20 2022-06-17 浙江未来技术研究院(嘉兴) 一种用于构建临床脑部ct图像roi模板的方法及***
CN110728704B (zh) * 2019-11-13 2022-12-06 北京航空航天大学 一种基于mri和opm的脑磁多模态影像配准***及方法
CN110974266A (zh) * 2019-11-25 2020-04-10 上海俪娃荷智能医疗科技有限公司 一种影像工作站
CN111358484B (zh) * 2020-03-23 2021-12-24 广州医科大学附属第一医院（广州呼吸中心） 核医学肺灌注显像定量分析方法、分析设备及存储介质
CN111754553A (zh) * 2020-06-24 2020-10-09 上海联影医疗科技有限公司 多模态扫描图像配准方法、装置、计算机设备和存储介质
CN112801926B (zh) * 2021-01-15 2022-09-02 北京理工大学 基于泊松方程和互信息分解的多模态医学图像融合方法
CN113077433B (zh) * 2021-03-30 2023-04-07 山东英信计算机技术有限公司 基于深度学习的肿瘤靶区云检测装置、***、方法及介质
CN113689477A (zh) * 2021-09-09 2021-11-23 上海联影医疗科技股份有限公司 多模态医学图像配准方法、***、可读存储介质和设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6539127B1 (en) * 1998-07-28 2003-03-25 Inria Institut National De Recherche Electronic device for automatic registration of images
CN101188024A (zh) * 2006-11-20 2008-05-28 爱克发医疗保健公司 融合3d体绘制图像上拾取和根据拾取动作更新相应视图
JP2008217688A (ja) * 2007-03-07 2008-09-18 Hitachi Software Eng Co Ltd 照合装置
CN105551012A (zh) * 2014-11-04 2016-05-04 阿里巴巴集团控股有限公司 计算机图像配准中降低错误匹配对的方法及其***
CN105869141A (zh) * 2015-12-15 2016-08-17 乐视致新电子科技（天津）有限公司 图像配准方法及装置
CN107123137A (zh) * 2017-04-28 2017-09-01 上海联影医疗科技有限公司 医学图像处理方法及设备
CN107133946A (zh) * 2017-04-28 2017-09-05 上海联影医疗科技有限公司 医学图像处理方法、装置及设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1299642C (zh) * 2003-12-23 2007-02-14 中国科学院自动化研究所 一种基于互信息敏感区域的多模态医学图像配准方法
CN102446358A (zh) * 2012-01-17 2012-05-09 南京航空航天大学 基于边缘特征和cs信息的多模态医学图像配准方法
US9886645B2 (en) * 2013-05-09 2018-02-06 National Technology & Engineering Solutions Of Sandia, Llc Image registration via optimization over disjoint image regions
CN105488804B (zh) * 2015-12-14 2018-06-12 上海交通大学 脑部asl、spect和mri图像配准融合联合分析的方法及***
CN106504245A (zh) * 2016-10-28 2017-03-15 东北大学 一种多模态脑影像损伤性病变组织图像分割方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6539127B1 (en) * 1998-07-28 2003-03-25 Inria Institut National De Recherche Electronic device for automatic registration of images
CN101188024A (zh) * 2006-11-20 2008-05-28 爱克发医疗保健公司 融合3d体绘制图像上拾取和根据拾取动作更新相应视图
JP2008217688A (ja) * 2007-03-07 2008-09-18 Hitachi Software Eng Co Ltd 照合装置
CN105551012A (zh) * 2014-11-04 2016-05-04 阿里巴巴集团控股有限公司 计算机图像配准中降低错误匹配对的方法及其***
CN105869141A (zh) * 2015-12-15 2016-08-17 乐视致新电子科技（天津）有限公司 图像配准方法及装置
CN107123137A (zh) * 2017-04-28 2017-09-01 上海联影医疗科技有限公司 医学图像处理方法及设备
CN107133946A (zh) * 2017-04-28 2017-09-05 上海联影医疗科技有限公司 医学图像处理方法、装置及设备

Also Published As

Publication number Publication date
CN108171738A (zh) 2018-06-15

Similar Documents

Publication Publication Date Title
CN108171738B (zh) 基于脑功能模板的多模态医学图像配准方法
Zhang et al. Context-guided fully convolutional networks for joint craniomaxillofacial bone segmentation and landmark digitization
US8170347B2 (en) ROI-based assessment of abnormality using transformation invariant features
CN110853111B (zh) 医学影像处理***、模型训练方法及训练装置
Ding et al. Weakly-supervised vessel detection in ultra-widefield fundus photography via iterative multi-modal registration and learning
CN106683042B (zh) 一种基于非线性最小二乘的多模态医学图像融合方法以及***
TW202217837A (zh) 圖像檢測模型的訓練方法及電子設備、電腦可讀儲存介質
Dai et al. Locating anatomical landmarks on 2D lateral cephalograms through adversarial encoder-decoder networks
Alam et al. Evaluation of medical image registration techniques based on nature and domain of the transformation
CN112508869A (zh) 颅内血管图像融合方法和计算机可读存储介质
CN110570425B (zh) 一种基于深度强化学习算法的肺结节分析方法及装置
US9883817B2 (en) Management, assessment and treatment planning for inflammatory bowel disease
CN114334130B (zh) 一种基于脑对称性的pet分子影像计算机辅助诊断***
CN114943714A (zh) 医学图像处理***、装置、电子设备及存储介质
Peña-Solórzano et al. Findings from machine learning in clinical medical imaging applications–Lessons for translation to the forensic setting
Hess et al. Deep learning for multi-tissue segmentation and fully automatic personalized biomechanical models from BACPAC clinical lumbar spine MRI
Wen et al. Msgfusion: Medical semantic guided two-branch network for multimodal brain image fusion
Ou et al. Validation of DRAMMS among 12 popular methods in cross-subject cardiac MRI registration
Zeng et al. TUSPM-NET: A multi-task model for thyroid ultrasound standard plane recognition and detection of key anatomical structures of the thyroid
CN112508872A (zh) 颅内血管图像预处理方法和电子设备
Chen et al. Detection of various dental conditions on dental panoramic radiography using Faster R-CNN
Zhang et al. Pyramid-attentive GAN for multimodal brain image complementation in Alzheimer’s disease classification
Mohammed et al. Review research of medical image analysis using deep learning
Abd Hamid et al. Incorporating attention mechanism in enhancing classification of alzheimer’s disease
CN112508878A (zh) 一种脑血管图像配准与融合方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230328

Address after: J171, 2f, block g, Zhizao street, Zhongguancun, No. 45, Chengfu Road, Haidian District, Beijing 100083

Patentee after: Beijing Wujiang Naozhi Technology Co.,Ltd.

Address before: 100102 1507, block 1b, Wangjing SOHO tower, Chaoyang District, Beijing

Patentee before: BEIJING YASEN TECHNOLOGY DEVELOPMENT CO.,LTD.