CN109492668B - 基于多通道卷积神经网络的mri不同期多模图像表征方法 - Google Patents
基于多通道卷积神经网络的mri不同期多模图像表征方法 Download PDFInfo
- Publication number
- CN109492668B CN109492668B CN201811177810.9A CN201811177810A CN109492668B CN 109492668 B CN109492668 B CN 109492668B CN 201811177810 A CN201811177810 A CN 201811177810A CN 109492668 B CN109492668 B CN 109492668B
- Authority
- CN
- China
- Prior art keywords
- layers
- image
- images
- neural network
- convolutional neural
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 56
- 238000012512 characterization method Methods 0.000 title claims abstract description 46
- 238000002595 magnetic resonance imaging Methods 0.000 title abstract description 34
- 238000000034 method Methods 0.000 claims abstract description 26
- 238000012549 training Methods 0.000 claims abstract description 23
- 238000012545 processing Methods 0.000 claims abstract description 11
- 238000011176 pooling Methods 0.000 claims description 15
- 230000005284 excitation Effects 0.000 claims description 12
- 238000013507 mapping Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 4
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 241000282414 Homo sapiens Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000001959 radiotherapy Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于多通道卷积神经网络的MRI不同期多模图像表征方法，包括以下步骤：(1)采集一系列已配准的MRI不同期图像；(2)对这些图像进行标准化处理；(3)构建多通道卷积神经网络，并对其进行训练；(4)将待表征的某一期MRI图像经标准化处理后输入到多通道卷积神经网络中，从而输出得到表征结果。本发明将卷积神经网络引入到图像表征中，通过网络自主学习不同模态间的相似特征，由此可解决现有表征方法相似度低、鲁棒性差的技术问题，输出的表征图像既忠实于原始输入图像又使得多通道输出的不同期表征图像尽可能相似，同时满足了很多应用实时性的要求。
Description
技术领域
本发明属于医学图像表征领域，更具体地，涉及一种基于多通道卷积神经网络的MRI不同期多模图像表征方法，该方法尤其是种实时表征方法。
背景技术
MRI具有无辐射、软组织结构显示清晰、多序列成像、多种类型成像等特点广泛的应用于人们的日常生活中，然而，由于不同期MRI图像在灰度范围、对比度以及纹理方面的明显差异，使得配准工作较为困难。为了解决这一困难，多模图像表征应运而生，目的是为了缩小不同模态图像间的差异性。图像表征作为医学图像配准的重要组成部分，已广泛应用于刚性与非刚性配准中。
现阶段医学图像表征方法主要包括Sobel、熵图、拉普拉斯图、Zernike矩等方法，但由于MRI多模图像亮度、对比度以及纹理等方面的差异，且上述方法均在原始图像上操作，无法借鉴其他模态图像的信息。因此，得到的表征图依旧会存在较大的差异，只适用于一些纹理较为简单的图像，鲁棒性和使用普及性较差。另外，如手术导引、放射治疗等多模问题，涉及到实时性，传统图像表征方法也无法实现。为了有效克服传统图像表征存在的问题，本发明提供了一种新颖有效的表征方法，尤其可用于实时表征。
发明内容
针对现有图像表征技术的以上缺陷或改进需求，本发明的目的在于提供一种基于多通道卷积神经网络的MRI不同期多模图像表征方法，其中通过对该表征方法的整体流程处理设计，尤其是关键标准化处理、卷积神经网络训练等进行改进，将卷积神经网络引入到图像表征中，通过网络自主学习不同模态间的相似特征，由此可解决现有表征方法相似度低、鲁棒性差的技术问题，输出的表征图像既忠实于原始输入图像又使得多通道输出的不同期表征图像尽可能相似，同时满足了很多应用实时性的要求。并且，本发明还对表征方法中所采用的多通道卷积神经网络其结构等进行优选控制，可有效减少图像信息的丢失。
为实现上述目的，按照本发明的一个方面，提供了一种基于多通道卷积神经网络的MRI不同期多模图像表征方法，其特征在于，包括以下步骤：
(1)采集一系列已配准的MRI不同期图像；
(2)根据所述步骤(1)得到的各个图像的具体模态信息以及它们的灰度直方图对这些图像进行标准化处理，得到这些一系列已配准的MRI不同期图像的标准化图像，这些标准化图像中属于同一种模态的标准化图像它们的灰度直方图具有相同的最小灰度值、相同的最大灰度值以及相同的峰位置灰度值；
(3)构建初始多通道卷积神经网络，该初始多通道卷积神经网络中的每一通道对应于一种固定模态的MRI图像；然后，以所述步骤(2)得到的所述标准化图像作为训练数据，将这些标准化图像输入到与图像模态对应的所述初始多通道卷积神经网络的通道中，对该初始多通道卷积神经网络中的通道分别进行训练，得到训练后的多通道卷积神经网络；
(4)测试表征步骤：将待表征的某一期MRI图像进行标准化处理得到标准化的待表征图像，该标准化的待表征图像其灰度直方图与所述步骤(2)得到的所述标准化图像中属于同一模态的标准化图像的灰度直方图具有相同的最小灰度值、相同的最大灰度值以及相同的峰位置灰度值；然后，将该标准化的待表征图像输入至所述步骤(3)得到的所述训练后的多通道卷积神经网络与该待表征图像模态相对应的通道中，从而得到该通道输出的表征结果。
作为本发明的进一步优选，所述步骤(1)中，所述一系列已配准的MRI不同期图像具体同时包含PD期图像、T1期图像和T2期图像这三类不同期图像，所述一系列已配准的MRI不同期图像中的每幅图像尺寸大小优选相同；
相应的，所述步骤(3)中，所述初始多通道卷积神经网络具体为三通道初始卷积神经网络，这三个通道分别对应与PD期图像、T1期图像和T2期图像这三类不同期图像。
作为本发明的进一步优选，所述步骤(2)中，根据所述步骤(1)得到的各个图像的具体模态信息以及它们的灰度直方图对这些图像进行标准化处理，具体包括以下步骤：
(2-1)将属于同一模态的图像划分成一个小组，针对同一小组内的每张图像，记其灰度直方图中的感兴趣区域的最小灰度值为pc1，感兴趣区域的最大灰度值为pc2，灰度直方图中两个峰位置处的灰度值由小到大分别记为μc1和μc2；然后，基于该小组的全部图像分别计算平均值
则分别设定
为该模态的直方图标准标志位；对每个小组重复进行操作，从而得到各个模态的直方图标准标志位；
(2-2)针对所述步骤(1)得到的任意一张图像，记其灰度直方图中的整体最小灰度值为s1，整体最大灰度值为s2，感兴趣区域的最小灰度值记为pc1，感兴趣区域的最大灰度值记为pc2，峰位置灰度值记为μc1和μc2，并根据其具体模态信息得到该模态的直方图标准标志位
标准化处理该图像，使s1、s2、pc1、pc2、μc1、μc2这6个节点经标准化处理后分别线性映射至m1、m2、
其中，m1为预先设定的标准整体最小灰度值，m2为预先设定的标准整体最大灰度值；并且，s1、s2、pc1、pc2、μc1、μc2这6个节点中任意两个相邻节点之间区域的灰度值在该标准化处理中也是同步利用线性映射完成标准化处理的；对所述步骤(1)得到的各个图像进行标准化处理，即可得到一系列标准化图像；
优选的，所述步骤(2-1)中，所述感兴趣区域的最小灰度值pc1＝s1+(s2-s1)×5％，感兴趣区域的最大灰度值pc2＝s1+(s2-s1)×95％；其中，s1、s2分别为对应图像其灰度直方图中的整体最小灰度值以及整体最大灰度值；
优选的，所述步骤(2-1)中，当某一图像的其灰度直方图只有一个峰时，记μc1＝μc2；
优选的，所述步骤(2-2)中，m1被预先设定为0，m2被预先设定为255。
作为本发明的进一步优选，所述步骤(3)中，所述初始多通道卷积神经网络中各个通道具有相同的网络结构，且训练过程中该通道的参数独立优化，不受其他通道影响。
作为本发明的进一步优选，所述步骤(3)中，所述初始多通道卷积神经网络中任意一个通道对应的卷积神经网络均包含卷积层、反卷积层、池化层、升采样层、激励层这五种结构层，且不包含全连接层；
任意一个通道对应的卷积神经网络具体由不同类型的48层组成，第1层是输入层，第48层是输出层，第h层的输出作为第h+1层的输入；其中，第2、4层为卷积层，包括64个滤波器，第7、9、36层为卷积层，包括128个滤波器，第11、13层为卷积层，包括256个滤波器，第16、18、24层为卷积层，包括512个滤波器，第20、22层为卷积层，包括1024个滤波器；第26、28层为反卷积层，包括512个滤波器，第32、34层为反卷积层，包括256个滤波器，第38、40层为反卷积层，包括128个滤波器，第44、46层为反卷积层，包括64个滤波器；第6、15层为池化层；第30、42层为升采样层；第25、31、37、43层为复制裁剪合并层；第3、5、8、10、12、14、17、19、21、23、27、29、33、35、39、41、45、47层为激励层；
优选的，激励层均采用ReLU，池化层均使用最大值池化，反卷积层均使用双线性插值。
作为本发明的进一步优选，所述步骤(3)中，所述初始多通道卷积神经网络为无监督学习的网络，记输入的三幅图像分别为I1、I2和I3，对应的输出图像分别为O1、O2和O3，I1、I2和I3具有相同的尺寸，O1、O2和O3也具有相同的尺寸，则损失函数LOSS定义为：
其中，
和
表示将三幅输入图像裁剪到与输出图像相同尺寸所得图像；
为相关系数的计算；α为预先设置的用来平衡图像间的相似程度和图像包含信息量关系的参数，优选预先设置为0.8。
作为本发明的进一步优选，所述步骤(3)中，训练所采用的解决方案优选为随机梯度下降法，共训练15个回合，学习率优选设置为0.01且每迭代5个回合学习率下降为原学习率的1/10。
总体而言，通过本发明所构思的以上技术方案，与现有技术相比，本发明具有以下的有益效果：
(1)由于本方法利用深度学习，模拟了人类对于不同模态图像的认知，同时参考了不同模态之间的信息，因此可以达到更好的表征结果。
(2)本方法在实验阶段，只需要进行单次前向计算，计算量小，可以达到实时的表征结果。
(3)本发明优选定义了具有特定表达式的损失函数，由于输入的三幅图像具有相同的尺寸并且每一通道具有相同的网络结构，因此输出的三幅图像具有相同的尺寸，因此损失函数LOSS可以定义为：
并且，尤其通过预先设置的参数α，可以平衡图像间的相似程度和图像包含信息量的关系，在尽可能保留图像信息的前提下使得不同模态下的图像表征结果更为接近。并且，卷积神经网络其训练过程优选所遵循的输出的表征图像忠实于原始输入图像并且多通道输出的不同期表征图像尽可能相似的原则，具体也是通过LOSS函数来体现的。
(4)由于该网络是全卷积网络，因此不受输入图像尺寸的限制，可以实现任意尺寸的图像表征。本发明优选采用具有特定结构的多通道卷积神经网络，其包含卷积层、反卷积层、池化层、升采样层、激励层这五种结构层，且不包含全连接层，可以实现全卷积网络，减少图像信息的丢失。本发明中，卷积神经网络单通道优选由不同类型的48层组成，第1层是输入层，第48层是输出层，第h层的输出作为第h+1层的输入(h为满足1≤h≤47的整数)；其中，第2、4层为卷积层，包括64个滤波器，第7、9、36层为卷积层，包括128个滤波器，第11、13层为卷积层，包括256个滤波器，第16、18、24层为卷积层，包括512个滤波器，第20、22层为卷积层，包括1024个滤波器；第26、28层为反卷积层，包括512个滤波器，第32、34层为反卷积层，包括256个滤波器，第38、40层为反卷积层，包括128个滤波器，第44、46层为反卷积层，包括64个滤波器；第6、15层为池化层；第30、42层为升采样层；第25、31、37、43层为复制裁剪合并层；第3、5、8、10、12、14、17、19、21、23、27、29、33、35、39、41、45、47层为激励层。通过这48层特定结构的卷积神经网络，能够进一步减少图像信息的丢失。
另外，本发明所使用的多通道卷积神经网络中，各个通道具有相同的网络结构，且训练过程中该通道的参数独立优化，不受其他通道影响，能够使多种模态的图像变得非常接近的情况下最大程度上保留了原图像的信息(例如，若参数是共享的，则会导致表征出的结果都基本上只是轮廓，损失了较多的原图像的信息)。
并且，对于本发明中训练用的已配准图像数据以及待表征的图像，本发明利用标准化处理使得相同期的图像具有相似的灰度直方图，通过改变实验数据的灰度分布，实现了固定模态下不同数据间的直方图一致性，有利于后续实验的进行。
综上，本发明将深度学习引入到图像表征中，利用卷积神经网络自主学习不同期MRI图像的特征，不仅可以得到更为相似的表征结果，同时可以满足实时应用。
附图说明
图1为本发明多模图像表征流程图。
图2为获取直方图标准标志位原理图。
图3为MRI标准化映射示意图。
图4为PD、T1和T2三种模态原始图。
图5为单个通道卷积神经网络结构图。
图6为多模表征网络结构图。
图7为作为对比的基于Sobel的PD、T1和T2三种模态表征图。
图8为作为对比的基于Zernike的PD、T1和T2三种模态表征图。
图9为基于本方法的PD、T1和T2三种模态表征图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明中基于多通道卷积神经网络的MRI不同期多模图像实时表征方法，如图1所示，所述方法包括以下步骤：
(1)采集一系列已配准的MRI不同期图像作为训练数据；
优选地，所述训练数据包含三种不同时期的数据，即PD、T1和T2三种模态。如图4所述，三种数据尺寸大小相同并且均已配准且将图像缩放到图4所示的200*200的输入尺寸。
(2)对步骤(1)中获得的数据进行MRI标准化处理，目的是使得相同期的图像具有相似的灰度直方图；
优选地，所述MRI标准化处理方法，按照如下方法进行：
(2-1)得到不同模态下直方图标准标志位：针对某一模态的MRI图像，获取一系列该模态图像并计算每一张图像的灰度直方图。如图2所述，图像灰度范围为[s1，s2]，其中图像感兴趣区域范围的最小、最大值分别为pc1,pc2，优选地，pc1和pc2位于整体直方图前5％和最后5％处(如直方图分布范围为[0,255]，则pc1和pc2分别为13和242，四舍五入取整数)。直方图两个峰值为μc1和μc2(当然，也可能只存在单一峰的情况，此时可视作μc1＝μc2)，因此，我们可以得到该模态下一系列的pc1、pc2、μc1和μc2，则该模态下设定的直方图标准标志位分别为pc1、pc2、μc1和μc2各个的统计平均值，即，
和
每种模态对应不同的标准标志位。
(2-2)试验阶段将训练数据按照对应模态映射到直方图标准标志位：如(2-1)所述，给定一张测试数据，我们可以得到其灰度最小值s1、灰度最大值s2、图像感兴趣区域范围的最小pc1、最大值pc2、直方图的两个峰值μc1和μc2。根据其自身模态得到对应的直方图标准标志位，如图3所示，按照线性映射的原则进行如下映射，将[s1，pc1]映射到[0,p1]，[pc1，μc1]映射到[p1，μ1]，[μc1，μc2]映射到[μ1，μ2]，[μc2，pc2]映射到[μ2，p2]，[pc2，s2]映射到[p2，255]，当然，映射到的整体灰度范围除了[0，255]外，也可以根据实际需要预先设定为其他区间范围。不同的图像均按照以上规则进行映射，最终可以得到标准化后的训练图像。
(3)设计一种多通道卷积神经网络，每一通道对应一种固定模态的MRI图像，输入三种不同模态的图像到对应通道中，遵循输出的表征图像忠实于原始输入图像并且多通道输出的不同期表征图像尽可能相似的原则训练网络；
优选地，所述神经网络仅包含卷积层、反卷积层、池化层、升采样层、激励层五种结构层，不包含全连接层，该神经网络结构如图5所示，为全卷积神经网络，输入图像尺寸可以为200*200，输出图像可以为184*184。如图6所示，该网络包含三个不同的通道，分别对应MRI三种不同的模态，网络结构完全相同，例如网络结构均优选为图5所示，但是各通道设置的参数值可以不同，更好的适应了不同模态的特征提取。
正如图5所示，卷积神经网络单通道具体由不同类型的48层组成，第1层是输入层，第48层是输出层，第h层的输出作为第h+1层的输入；其中，第2、4层为卷积层，包括64个滤波器，第7、9、36层为卷积层，包括128个滤波器，第11、13层为卷积层，包括256个滤波器，第16、18、24层为卷积层，包括512个滤波器，第20、22层为卷积层，包括1024个滤波器；第26、28层为反卷积层，包括512个滤波器，第32、34层为反卷积层，包括256个滤波器，第38、40层为反卷积层，包括128个滤波器，第44、46层为反卷积层，包括64个滤波器；第6、15层为池化层；第30、42层为升采样层；第25、31、37、43层为复制裁剪合并层；第3、5、8、10、12、14、17、19、21、23、27、29、33、35、39、41、45、47层为激励层。激励层均采用ReLU，池化层均使用最大值池化，反卷积层均使用双线性插值，当然，激励、池化、升采样也可以采用不同方法。
优选地，所述神经网络损失函数的定义遵循以下原则：三幅输出的表征图尽可能的相似，并且每条通道输出的表征图要忠实于原始的输入图像。因此，我们将图6中的损失函数LOSS定义为：
其中，I1、I2和I3分别表示输入图像，O1、O2和O3分别表示输出图像，|·|表示绝对值运算；
和
表示将输入图像裁剪到与输出图像相同尺寸后得到的图像；
表示相关性的计算；α为预先设置的用来平衡图像间的相似程度和图像包含信息量的关系的参数，α可设置为0.8。以
为例，其代表通道1输入图像经裁剪后所得图像与通道1输出图像两者计算得到的相关系数，具体表述为
其中
为
和O1的协方差，
为
的方差，Var[O1]为O1的方差。
将步骤(2-2)中获得的训练数据输入步骤(3)中设计的神经网络模型，设置训练解决方案参数并初始化网络参数，迭代更新权重，得到所述多模图像表征神经网络。
优选地，所述神经网络解决方案优选为随机梯度下降法，学习率优选设置为0.01且每迭代5个回合学习率下降为原学习率的1/10。为了方便观察训练过程中的网络变化，设置每回合显示一次loss值并测试一次，每5个回合保存一次网络参数。总回合次数可以预先设定，例如可以为15个总回合(所谓回合是指把当前训练数据全部训练一遍叫一个回合，每一个回合中可以有很多迭代次数)。得到的损失值是呈波动状，但是整体是下降的。
(4)测试阶段，将待表征的某一期MRI图像进行标准化处理并将其输入与之对应的通道中，得到其输出的表征结果，如图9所示，三种模态的图像变得非常接近并且一定程度上保留了原图像的信息，实现了多模图像表征的目的，且每张图像测试时间仅为30ms，达到了实时的目的。
为了进一步明确本发明的技术效果，本发明还利用现有技术中的Sobel图像表征方法得到了PD、T1和T2三种模态表征图(即图7，Sobel图像表征方法的具体步骤及细节参数设置可参考现有技术文献：Maini R,Aggarwal H.Study and comparison of variousimage edge detection techniques.International Journal of Image Processing,2009；31:1–11.)，利用现有技术中的Zernike图像表征方法得到了PD、T1和T2三种模态表征图(即图8，Zernike图像表征方法的具体步骤及细节参数设置可参考现有技术文献：A.Khotanzad and Y.H.Hong,"Invariant image recognition by Zernike moments,"inIEEE Transactions on Pattern Analysis and Machine Intelligence,vol.12,no.5,pp.489-497,May 1990.)；不难发现，通过本发明表征方法得到的PD、T1和T2三种模态表征图图9，与图7、图8相比，本发明方法表征后的结果更为接近。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于多通道卷积神经网络的MRI不同期多模图像表征方法，其特征在于，包括以下步骤：
(1)采集一系列已配准的MRI不同期图像；
(2)根据所述步骤(1)得到的各个图像的具体模态信息以及它们的灰度直方图对这些图像进行标准化处理，得到这些一系列已配准的MRI不同期图像的标准化图像，这些标准化图像中属于同一种模态的标准化图像它们的灰度直方图具有相同的最小灰度值、相同的最大灰度值以及相同的峰位置灰度值；
(3)构建初始多通道卷积神经网络，该初始多通道卷积神经网络中的每一通道对应于一种固定模态的MRI图像；然后，以所述步骤(2)得到的所述标准化图像作为训练数据，将这些标准化图像输入到与图像模态对应的所述初始多通道卷积神经网络的通道中，对该初始多通道卷积神经网络中的通道分别进行训练，得到训练后的多通道卷积神经网络；
(4)测试表征步骤：将待表征的某一期MRI图像进行标准化处理得到标准化的待表征图像，该标准化的待表征图像其灰度直方图与所述步骤(2)得到的所述标准化图像中属于同一模态的标准化图像的灰度直方图具有相同的最小灰度值、相同的最大灰度值以及相同的峰位置灰度值；然后，将该标准化的待表征图像输入至所述步骤(3)得到的所述训练后的多通道卷积神经网络与该待表征图像模态相对应的通道中，从而得到该通道输出的表征结果。
2.如权利要求1所述基于多通道卷积神经网络的MRI不同期多模图像表征方法，其特征在于，所述步骤(1)中，所述一系列已配准的MRI不同期图像具体同时包含PD期图像、T1期图像和T2期图像这三类不同期图像，所述一系列已配准的MRI不同期图像中的每幅图像尺寸大小相同；
相应的，所述步骤(3)中，所述初始多通道卷积神经网络具体为三通道初始卷积神经网络，这三个通道分别对应与PD期图像、T1期图像和T2期图像这三类不同期图像。
3.如权利要求1所述基于多通道卷积神经网络的MRI不同期多模图像表征方法，其特征在于，所述步骤(2)中，根据所述步骤(1)得到的各个图像的具体模态信息以及它们的灰度直方图对这些图像进行标准化处理，具体包括以下步骤：
(2-1)将属于同一模态的图像划分成一个小组，针对同一小组内的每张图像，记其灰度直方图中的感兴趣区域的最小灰度值为pc1，感兴趣区域的最大灰度值为pc2，灰度直方图中两个峰位置处的灰度值由小到大分别记为μc1和μc2；然后，基于该小组的全部图像分别计算平均值
则分别设定
为该模态的直方图标准标志位；对每个小组重复进行操作，从而得到各个模态的直方图标准标志位；
(2-2)针对所述步骤(1)得到的任意一张图像，记其灰度直方图中的整体最小灰度值为s1，整体最大灰度值为s2，感兴趣区域的最小灰度值记为pc1，感兴趣区域的最大灰度值记为pc2，峰位置灰度值记为μc1和μc2，并根据其具体模态信息得到该模态的直方图标准标志位
标准化处理该图像，使s1、s2、pc1、pc2、μc1、μc2这6个节点经标准化处理后分别线性映射至m1、m2、
其中，m1为预先设定的标准整体最小灰度值，m2为预先设定的标准整体最大灰度值；并且，s1、s2、pc1、pc2、μc1、μc2这6个节点中任意两个相邻节点之间区域的灰度值在该标准化处理中也是同步利用线性映射完成标准化处理的；对所述步骤(1)得到的各个图像进行标准化处理，即可得到一系列标准化图像。
4.如权利要求3所述基于多通道卷积神经网络的MRI不同期多模图像表征方法，其特征在于，所述步骤(2-1)中，所述感兴趣区域的最小灰度值pc1＝s1+(s2-s1)×5％，感兴趣区域的最大灰度值pc2＝s1+(s2-s1)×95％；其中，s1、s2分别为对应图像其灰度直方图中的整体最小灰度值以及整体最大灰度值；
所述步骤(2-1)中，当某一图像的其灰度直方图只有一个峰时，记μc1＝μc2；
所述步骤(2-2)中，m1被预先设定为0，m2被预先设定为255。
5.如权利要求1所述基于多通道卷积神经网络的MRI不同期多模图像表征方法，其特征在于，所述步骤(3)中，所述初始多通道卷积神经网络中各个通道具有相同的网络结构，且训练过程中该通道的参数独立优化，不受其他通道影响。
6.如权利要求1所述基于多通道卷积神经网络的MRI不同期多模图像表征方法，其特征在于，所述步骤(3)中，所述初始多通道卷积神经网络中任意一个通道对应的卷积神经网络均包含卷积层、反卷积层、池化层、升采样层、激励层这五种结构层，且不包含全连接层；
任意一个通道对应的卷积神经网络具体由不同类型的48层组成，第1层是输入层，第48层是输出层，第h层的输出作为第h+1层的输入；其中，第2、4层为卷积层，包括64个滤波器，第7、9、36层为卷积层，包括128个滤波器，第11、13层为卷积层，包括256个滤波器，第16、18、24层为卷积层，包括512个滤波器，第20、22层为卷积层，包括1024个滤波器；第26、28层为反卷积层，包括512个滤波器，第32、34层为反卷积层，包括256个滤波器，第38、40层为反卷积层，包括128个滤波器，第44、46层为反卷积层，包括64个滤波器；第6、15层为池化层；第30、42层为升采样层；第25、31、37、43层为复制裁剪合并层；第3、5、8、10、12、14、17、19、21、23、27、29、33、35、39、41、45、47层为激励层。
7.如权利要求6所述基于多通道卷积神经网络的MRI不同期多模图像表征方法，其特征在于，激励层均采用ReLU，池化层均使用最大值池化，反卷积层均使用双线性插值。
8.如权利要求2所述基于多通道卷积神经网络的MRI不同期多模图像表征方法，其特征在于，所述步骤(3)中，所述初始多通道卷积神经网络为无监督学习的网络，记输入的三幅图像分别为I1、I2和I3，对应的输出图像分别为O1、O2和O3，I1、I2和I3具有相同的尺寸，O1、O2和O3也具有相同的尺寸，则损失函数LOSS定义为：
其中，
和
表示将三幅输入图像裁剪到与输出图像相同尺寸所得图像；
为相关系数的计算；α为预先设置的用来平衡图像间的相似程度和图像包含信息量关系的参数。
9.如权利要求8所述基于多通道卷积神经网络的MRI不同期多模图像表征方法，其特征在于，α预先设置为0.8。
10.如权利要求1所述基于多通道卷积神经网络的MRI不同期多模图像表征方法，其特征在于，所述步骤(3)中，训练所采用的解决方案为随机梯度下降法，共训练15个回合，学习率设置为0.01且每迭代5个回合学习率下降为原学习率的1/10。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811177810.9A CN109492668B (zh) | 2018-10-10 | 2018-10-10 | 基于多通道卷积神经网络的mri不同期多模图像表征方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811177810.9A CN109492668B (zh) | 2018-10-10 | 2018-10-10 | 基于多通道卷积神经网络的mri不同期多模图像表征方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109492668A CN109492668A (zh) | 2019-03-19 |
| CN109492668B true CN109492668B (zh) | 2021-08-03 |
Family
ID=65690213
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811177810.9A Expired - Fee Related CN109492668B (zh) | 2018-10-10 | 2018-10-10 | 基于多通道卷积神经网络的mri不同期多模图像表征方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109492668B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110033848B (zh) * | 2019-04-16 | 2021-06-29 | 厦门大学 | 一种基于无监督学习的三维医学影像z轴插值方法 |
| CN110096994B (zh) * | 2019-04-28 | 2021-07-23 | 西安电子科技大学 | 一种基于模糊标签语义先验的小样本PolSAR图像分类方法 |
| CN111340151B (zh) * | 2020-05-25 | 2020-08-25 | 南京信息工程大学 | 一种用于辅助车辆自动驾驶的天气现象识别***和方法 |
| CN111754503B (zh) * | 2020-07-01 | 2023-12-08 | 武汉楚精灵医疗科技有限公司 | 基于两通道卷积神经网络的肠镜退镜超速占比监测方法 |
| CN112634208B (zh) * | 2020-12-09 | 2022-07-05 | 浙江求是数理医学研究院 | 基于深度学习的超声影像混合训练方法 |
| CN115393678B (zh) * | 2022-08-01 | 2024-04-02 | 北京理工大学 | 一种基于图像式中间态的多模态数据融合决策方法 |
| CN116912235B (zh) * | 2023-09-08 | 2023-11-24 | 金乡县金禧园食品有限公司 | 基于计算机视觉的脱水蒜状态智能检测方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106373109A (zh) * | 2016-08-31 | 2017-02-01 | 南方医科大学 | 一种医学图像模态合成的方法 |
| CN107220980A (zh) * | 2017-05-25 | 2017-09-29 | 重庆理工大学 | 一种基于全卷积网络的mri图像脑肿瘤自动分割方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1592456A1 (en) * | 2003-02-13 | 2005-11-09 | BRACCO IMAGING S.p.A. | Contrast enhanced x-ray phase imaging |
-
2018
- 2018-10-10 CN CN201811177810.9A patent/CN109492668B/zh not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106373109A (zh) * | 2016-08-31 | 2017-02-01 | 南方医科大学 | 一种医学图像模态合成的方法 |
| CN107220980A (zh) * | 2017-05-25 | 2017-09-29 | 重庆理工大学 | 一种基于全卷积网络的mri图像脑肿瘤自动分割方法 |
Non-Patent Citations (1)
| Title |
|---|
| 《Better than real: Complex-valued neural nets for MRI fingerprinting》;Patrick Virtue等;《 2017 IEEE International Conference on Image Processing》;20180222;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109492668A (zh) | 2019-03-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109492668B (zh) | 基于多通道卷积神经网络的mri不同期多模图像表征方法 | |
| CN110889853B (zh) | 基于残差-注意力深度神经网络的肿瘤分割方法 | |
| CN110889852B (zh) | 基于残差-注意力深度神经网络的肝脏分割方法 | |
| CN110232383B (zh) | 一种基于深度学习模型的病灶图像识别方法及病灶图像识别*** | |
| CN112819076B (zh) | 基于深度迁移学习的医学图像分类模型的训练方法及装置 | |
| CN112150428B (zh) | 一种基于深度学习的医学图像分割方法 | |
| CN108734659B (zh) | 一种基于多尺度标签的亚像素卷积图像超分辨率重建方法 | |
| CN107506761B (zh) | 基于显著性学习卷积神经网络的脑部图像分割方法及*** | |
| CN109949276B (zh) | 一种于改进SegNet分割网络的***检测方法 | |
| CN110969626B (zh) | 基于3d神经网络的人脑核磁共振影像的海马体提取方法 | |
| CN110705555A (zh) | 基于fcn的腹部多器官核磁共振图像分割方法、***及介质 | |
| CN109035172B (zh) | 一种基于深度学习的非局部均值超声图像去噪方法 | |
| Aranguren et al. | Improving the segmentation of magnetic resonance brain images using the LSHADE optimization algorithm | |
| CN108960341B (zh) | 一种面向脑网络的结构化特征选择方法 | |
| CN110599500A (zh) | 一种基于级联全卷积网络的肝脏ct图像的肿瘤区域分割方法及*** | |
| CN113256641A (zh) | 一种基于深度学习的皮肤病灶图像分割方法 | |
| CN111275686B (zh) | 用于人工神经网络训练的医学图像数据的生成方法及装置 | |
| CN112862805B (zh) | 听神经瘤图像自动化分割方法及*** | |
| CN111860528B (zh) | 基于改进U-Net网络的图像分割模型及训练方法 | |
| CN111862040B (zh) | 人像图片质量评价方法、装置、设备及存储介质 | |
| CN113781488A (zh) | 舌象图像的分割方法、装置及介质 | |
| WO2021184195A1 (zh) | 医学图像重建方法、医学图像重建网络训练方法和装置 | |
| CN116091412A (zh) | 一种从pet/ct图像中分割肿瘤的方法 | |
| Rachmad et al. | Classification of mycobacterium tuberculosis based on color feature extraction using adaptive boosting method | |
| CN117975170A (zh) | 基于大数据的医疗信息处理方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210803 |