CN109472817B - 一种基于循环生成对抗网络的多序列磁共振图像配准方法 - Google Patents
一种基于循环生成对抗网络的多序列磁共振图像配准方法 Download PDFInfo
- Publication number
- CN109472817B CN109472817B CN201811128381.6A CN201811128381A CN109472817B CN 109472817 B CN109472817 B CN 109472817B CN 201811128381 A CN201811128381 A CN 201811128381A CN 109472817 B CN109472817 B CN 109472817B
- Authority
- CN
- China
- Prior art keywords
- sequence
- magnetic resonance
- transformation matrix
- image
- similarity measurement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
一种基于循环生成对抗网络的多序列磁共振图像配准方法，包括以下步骤：1)对输入的序列1和序列2的磁共振原始图像，用CycleGAN进行训练，输出序列1和序列2的磁共振生成图像；2)对同序列的生成图像和原始图像进行单模态配准，计算变换矩阵及同序列两图之间的相似性度量；3)比较两个序列的相似性度量，选择对应策略，输出最终变换矩阵；4)使用最终变换矩阵对浮动图进行变换，获得最终的结果图。本发明对已配准样本的依赖较小，网络可训练性较高，抗干扰能力较强，配准精度较高。
Description
技术领域
本发明涉及一种多序列磁共振图像配准方法。
背景技术
磁共振图像在采集时所用加权像不同，导致不同序列的磁共振的图像表示不同，若直接对图像寻找特征，往往无法匹配到一致的特征。因此，在多序列核磁共振图像配准过程中寻找一致性的特征成为该类型配准的关键问题，即将不同序列的核磁共振图像转换成同一序列的图像，之后可使用单模态的图像配准方法进行配准。在传统的机器学***衡，易出现网络难以训练的问题。
存在的技术缺陷为：生成对抗网络可训练性较弱，抗干扰能力较弱。
发明内容
为了克服现有生成对抗网络在多序列磁共振图像的转换过程中抗干扰能力不足、易出现网络难以训练的问题，本发明提供了一种易于训练网络，抗干扰能力较强的结合循环生成对抗网络的转换方法进行多序列磁共振图像配准。
本发明解决其技术问题所采用的技术方案是：
一种基于循环生成对抗网络的多序列磁共振图像配准方法，包括如下步骤：
1)对输入的序列1和序列2的磁共振原始图像，用CycleGAN进行训练，输出序列1和序列2的磁共振生成图像；
2)对同序列的生成图像和原始图像进行单模态配准，计算变换矩阵及同序列两图之间的相似性度量，过程如下：
2.1)对序列1的原始图像X和生成图像X*，寻找两图的特征点及其映射关系，计算序列1磁共振图像的变换矩阵1；
2.2)计算生成图和原图的归一化互信息，作为序列1生成图和原图的相似性度量1；
2.3)采用与序列1相同的方法，计算序列2磁共振图像的变换矩阵2及生成图和原图的相似性度量2；
3)比较两个序列的相似性度量，选择对应策略，输出最终变换矩阵，过程如下：
3.1)设置相似度比较标准值，若相似性度量1和相似性度量2的差距小于该值，则两序列的相似性度量差距较小，反之较大；
3.2)若两序列的相似性度量差距较小，则计算变换矩阵1和变换矩阵2的均值作为最终变换矩阵并输出；
3.3)若两序列的相似性度量差距较大，则选取相似性度量更优的变换矩阵作为最终变换矩阵并输出。
4)使用最终变换矩阵对浮动图进行变换，获得最终的结果图。
进一步，所述步骤1)的过程如下：
1.1)将序列1的磁共振原始图像X输入生成器GXY，生成序列2的磁共振生成图像Y*；
1.2)将Y*与序列2的磁共振原始图像Y输入判别器DY，判断输入数据的真伪；
1.3)生成器GXY接受判别器DY的判别反馈，调整参数权值，生成新的Y*进行判别，直到判别器DY无法判别输入数据真伪性；
1.4)输出序列2的磁共振生成图像Y*；
1.5)序列1的磁共振生成图像X*获得方式与上述同理；
1.6)约束对两个子网络的训练进行平衡，使得不会出现损失消失的情况，损失函数用以下公式表示：
其中，Pdata(x)是真实样本的分布，Pdata(y)是合成样本的分布，F是生成器GXY的映射函数，G是生成器GYX的映射函数。
本发明的技术构思为：该方法针对获取的未匹配多序列磁共振图像在生成对抗网络中难以训练且易产生噪声点的应用场景。首先利用利用循环生成对抗网络增加的循环一致性约束，使网络在训练中不易出现损失消失等情况，使网络更容易被训练，生成精度较高的多序列磁共振生成图。为减小生成图像的误差点对配准过程的影响，增强配准结果的鲁棒性，对同序列的磁共振生成图像和原始图像进行单模态配准，获得两组变换矩阵和相似性度量，然后比较两序列生成图与原始图像之间的相似性度量，选择相应的加权策略，获得最终的输出矩阵。最后将该变换矩阵映射到原始图像中进行配准。
本发明的有益效果主要表现在：1、循环生成对抗网络可训练性较强，可生成精度较高的多序列磁共振图像；2、减小了生成图像的误差点对配准的影响，提高了配准结果的鲁棒性；3、提高了配准的精度。
附图说明
图1是一种基于循环生成对抗网络的多序列磁共振图像配准方法的流程图。
具体实施方式
下面结合附图对本发明作进一步描述。
参照图1，一种基于循环生成对抗网络的多序列磁共振图像配准方法，包括如下步骤：
1)将序列1和序列2的磁共振原始图像输入CycleGAN进行训练，输出序列1和序列2的磁共振生成图像；
2)对同序列的生成图像和原始图像进行单模态配准，计算变换矩阵及同序列两图之间的相似性度量，过程如下：
2.1)对序列1的原始图像X和生成图像X*，寻找两图的特征点及其映射关系，计算序列1磁共振图像的变换矩阵1；
2.2)计算生成图和原图的归一化互信息，作为序列1生成图和原图的相似性度量1；
2.3)采用与序列1相同的方法，计算序列2磁共振图像的变换矩阵2及生成图和原图的相似性度量2；
3)比较两个序列的相似性度量，选择对应策略，输出最终变换矩阵：
3.1)设置相似度比较标准值，若相似性度量1和相似性度量2的差距小于该值，则两序列的相似性度量差距较小，反之较大；
3.2)若两序列的相似性度量差距较小，则计算变换矩阵1和变换矩阵2的均值作为最终变换矩阵并输出；
3.3)若两序列的相似性度量差距较大，则选取相似性度量更优的变换矩阵作为最终变换矩阵并输出；
4)使用最终变换矩阵对浮动图进行变换，获得最终的结果图。
进一步，所述步骤1)的过程如下：
1.1)将序列1的磁共振原始图像X输入生成器GXY，生成序列2的磁共振生成图像Y*；
1.2)将Y*与序列2的磁共振原始图像Y输入判别器DY，判断输入数据的真伪；
1.3)生成器GXY接受判别器DY的判别反馈，调整参数权值，生成新的Y*进行判别，直到判别器DY无法判别输入数据真伪性；
1.4)输出序列2的磁共振生成图像Y*；
1.5)序列1的磁共振生成图像X*获得方式与上述同理；
1.6)约束对两个子网络的训练进行平衡，使得不会出现损失消失的情况，损失函数用以下公式表示：
其中，Pdata(x)是真实样本的分布，Pdata(y)是合成样本的分布，F是生成器GXY的映射函数，G是生成器GYX的映射函数。
Claims (1)
1.一种基于循环生成对抗网络的多序列磁共振图像配准方法，其特征在于，所述方法包括如下步骤：
1)对输入的序列1和序列2的磁共振原始图像，用CycleGAN进行训练，输出序列1和序列2的磁共振生成图像：
2)对同序列的生成图像和原始图像进行单模态配准，计算变换矩阵及同序列两图之间的相似性度量，过程如下：
2.1)对序列1的原始图像X和生成图像X*，寻找两图的特征点及其映射关系，计算序列1磁共振图像的变换矩阵1；
2.2)计算生成图和原图的归一化互信息，作为序列1生成图和原图的相似性度量1；
2.3)序列2磁共振图像的变换矩阵2及生成图和原图的相似性度量2计算方式同上；
3)比较两个序列的相似性度量，选择对应策略，输出最终变换矩阵，过程如下：
3.1)设置相似度比较标准值，若相似性度量1和相似性度量2的差距小于该值，则两序列的相似性度量差距较小，反之较大；
3.2)若两序列的相似性度量差距较小，则计算变换矩阵1和变换矩阵2的均值作为最终变换矩阵并输出；
3.3)若两序列的相似性度量差距较大，则选取相似性度量更优的变换矩阵作为最终变换矩阵并输出；
4)使用最终变换矩阵对浮动图进行变换，获得最终的结果图；
所述步骤1)的过程如下：
1.1)将序列1的磁共振原始图像X输入生成器GXY，生成序列2的磁共振生成图像Y*；
1.2)将Y*与序列2的磁共振原始图像Y输入判别器DY，判断输入数据的真伪；
1.3)生成器GXY接受判别器DY的判别反馈，调整参数权值，生成新的Y*进行判别，直到判别器DY无法判别输入数据真伪性；
1.4)输出序列2的磁共振生成图像Y*；
1.5)序列1的磁共振生成图像X*获得方式与1.1)至1.4)的处理过程同理；
1.6)约束对两个子网络的训练进行平衡，使得不会出现损失消失的情况，损失函数用以下公式表示：
其中，Pdata(x)是真实样本的分布，Pdata(y)是合成样本的分布，F是生成器GXY的映射函数，G是生成器GYX的映射函数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811128381.6A CN109472817B (zh) | 2018-09-27 | 2018-09-27 | 一种基于循环生成对抗网络的多序列磁共振图像配准方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811128381.6A CN109472817B (zh) | 2018-09-27 | 2018-09-27 | 一种基于循环生成对抗网络的多序列磁共振图像配准方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109472817A CN109472817A (zh) | 2019-03-15 |
| CN109472817B true CN109472817B (zh) | 2021-08-03 |
Family
ID=65664683
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811128381.6A Active CN109472817B (zh) | 2018-09-27 | 2018-09-27 | 一种基于循环生成对抗网络的多序列磁共振图像配准方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109472817B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109978792A (zh) * | 2019-03-28 | 2019-07-05 | 厦门美图之家科技有限公司 | 一种生成图像增强模型的方法 |
| CN109978897B (zh) * | 2019-04-09 | 2020-05-08 | 中国矿业大学 | 一种多尺度生成对抗网络的异源遥感图像配准方法及装置 |
| CN110133643B (zh) * | 2019-05-22 | 2021-08-20 | 北京林业大学 | 植物根系探测方法及装置 |
| CN110298871A (zh) * | 2019-06-10 | 2019-10-01 | 东软医疗***股份有限公司 | 图像配准方法及装置 |
| CN110444277B (zh) * | 2019-07-19 | 2023-03-28 | 重庆邮电大学 | 一种基于多生成多对抗的多模态脑部mri图像双向转换方法 |
| CN110827331B (zh) * | 2019-11-04 | 2022-07-26 | 上海联影智能医疗科技有限公司 | 图像配准模型的训练方法、图像配准方法和计算机设备 |
| CN110866888B (zh) * | 2019-11-14 | 2022-04-26 | 四川大学 | 基于潜在信息表征gan的多模态mri合成方法 |
| CN114881848A (zh) * | 2022-07-01 | 2022-08-09 | 浙江柏视医疗科技有限公司 | 一种多序列mr转ct的方法 |
| WO2024130705A1 (zh) * | 2022-12-23 | 2024-06-27 | 深圳华大生命科学研究院 | 一种图像配准方法、装置、设备和存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101405768A (zh) * | 2006-03-23 | 2009-04-08 | 国立大学法人东京工业大学 | 图像配准方法 |
| CN104835112A (zh) * | 2015-05-07 | 2015-08-12 | 厦门大学 | 一种肝脏多相期ct图像融合方法 |
| CN108573222A (zh) * | 2018-03-28 | 2018-09-25 | 中山大学 | 基于循环对抗生成网络的行人图像遮挡检测方法 |
-
2018
- 2018-09-27 CN CN201811128381.6A patent/CN109472817B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101405768A (zh) * | 2006-03-23 | 2009-04-08 | 国立大学法人东京工业大学 | 图像配准方法 |
| CN104835112A (zh) * | 2015-05-07 | 2015-08-12 | 厦门大学 | 一种肝脏多相期ct图像融合方法 |
| CN108573222A (zh) * | 2018-03-28 | 2018-09-25 | 中山大学 | 基于循环对抗生成网络的行人图像遮挡检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 多对比度磁共振颈动脉图像配准算法的研究;吴玉霞;《硕士学位论文》;20170501;第1-5页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109472817A (zh) | 2019-03-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109472817B (zh) | 一种基于循环生成对抗网络的多序列磁共振图像配准方法 | |
| CN110163815B (zh) | 基于多阶段变分自编码器的低照度还原方法 | |
| CN110188225B (zh) | 一种基于排序学习和多元损失的图像检索方法 | |
| CN107341776A (zh) | 基于稀疏编码与组合映射的单帧超分辨率重建方法 | |
| CN113537247B (zh) | 一种针对换流变压器振动信号的数据增强方法 | |
| CN112258625A (zh) | 基于注意力机制的单幅图像到三维点云模型重建方法及*** | |
| CN114677580A (zh) | 一种基于自适应增强自注意力网络的图像描述方法 | |
| CN113269274B (zh) | 一种基于循环一致性的零样本识别方法及*** | |
| CN117333750A (zh) | 空间配准与局部全局多尺度的多模态医学图像融合方法 | |
| CN112862946B (zh) | 基于级联条件生成对抗网络的灰度岩心图像三维重建方法 | |
| CN116645513A (zh) | 水印提取方法、模型训练方法、装置、电子设备及介质 | |
| CN112990336B (zh) | 基于竞争注意力融合的深度三维点云分类网络构建方法 | |
| Zong et al. | Single image super-resolution based on self-attention | |
| CN112529772B (zh) | 一种零样本设置下的无监督图像转换方法 | |
| CN114972959A (zh) | 深度学习中样本生成和类内排序损失的遥感图像检索方法 | |
| CN108563692A (zh) | 一种目标查重方法及装置 | |
| CN111899161A (zh) | 一种超分辨率重建方法 | |
| CN110750672A (zh) | 基于深度度量学习和结构分布学习损失的图像检索方法 | |
| CN105677898B (zh) | 一种基于特征差异性的改进图像搜索方法 | |
| CN118172398B (zh) | 基于双层聚焦-注意力特征交互的点云配准方法及*** | |
| CN104112274B (zh) | 基于混合尺度变换的图像质量评价方法 | |
| CN112926361B (zh) | 一种流形上的智能目标识别方法 | |
| Wang et al. | Research on remote sensing target detection algorithm based on improved YOLOv5 | |
| CN113837048B (zh) | 基于少样本注意力的车辆重识别方法 | |
| Huang et al. | Adversarial learning for image super resolution using auxiliary texture feature attributes |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |