CN113284079A - 一种多模态医学图像融合方法 - Google Patents
一种多模态医学图像融合方法 Download PDFInfo
- Publication number
- CN113284079A CN113284079A CN202110583678.7A CN202110583678A CN113284079A CN 113284079 A CN113284079 A CN 113284079A CN 202110583678 A CN202110583678 A CN 202110583678A CN 113284079 A CN113284079 A CN 113284079A
- Authority
- CN
- China
- Prior art keywords
- information
- dimension
- medical image
- source
- image fusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 13
- 230000004927 fusion Effects 0.000 claims abstract description 35
- 238000013528 artificial neural network Methods 0.000 claims abstract description 27
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 21
- 210000002569 neuron Anatomy 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 17
- 238000000034 method Methods 0.000 claims description 14
- 230000005484 gravity Effects 0.000 claims description 9
- 238000010845 search algorithm Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 4
- 230000001133 acceleration Effects 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 238000003384 imaging method Methods 0.000 description 9
- 238000005070 sampling Methods 0.000 description 7
- 238000012549 training Methods 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000002591 computed tomography Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 206010028980 Neoplasm Diseases 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 238000002600 positron emission tomography Methods 0.000 description 2
- 238000002603 single-photon emission computed tomography Methods 0.000 description 2
- 210000004872 soft tissue Anatomy 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000004060 metabolic process Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 231100000915 pathological change Toxicity 0.000 description 1
- 230000036285 pathological change Effects 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本发明公开了一种多模态医学图像融合方法，包括如下步骤：1)源图像分解：将至少2个源图像分别进行两级分解离散平稳小波变换，2)源图像融合：通过7个增强径向基函数神经网络将至少2个源图像进行融合，3)逆小波变换：通过逆小波变换，将7个融合子带变换为融合图像。本发明的有益效果是：通过平移不变多尺度变换算子，不仅提供了足够的方向信息，而且算法相对简单而易于操作。为了增强神经网络的自我学***均梯度来形成神经网络的输入层，精准提取目标特征点的信息，同是避免造成信息损失。
Description
技术领域
本发明涉及图像融合技术领域，具体涉及一种基于离散平稳小波变换和增强径向基函数神经网络的多模态医学图像融合方法。
背景技术
图像融合技术是通过某种技术或者方式将不同的源图像合成为新图像。该过程不是简单地叠加所有图像数据，而是通过一种或多种算法对目标图像执行针对性的目标分析和处理。对于，多模态的医学图像融合，是将来自不同成像设备的两个(或多个)医学图像进行组合，通过使用某种算法来分析每个图像的优势或互补性，从而进一步将获得有效信息进行融合处理。随着医学成像技术的发展，计算机断层扫描(Computed tomography，CT)，磁共振成像(Magnetic resonance imaging，MRI)，正电子发射断层扫描(Positron emissiontomography，PET)，单光子发射计算机断层扫描(Single photon emission computedtomography，SPECT)等成像技术已广泛用于临床诊断和治疗。不同的成像模式可以为医生提供不同的医学信息。例如，CT图像具有较高的空间分辨率，清晰的骨成像能力，并为病变的定位提供了很好的参考。但是，CT图像对软组织细节(甚至是浸润性肿瘤细节)的显示不是很敏感。相反，在MRI中，软组织成像清晰，有利于病变范围的确定；PET和SPECT成像可以为人体的新陈代谢提供清晰的功能信息。但是，由于功能影像的空间分辨率低，因此可能会限制针对肿瘤病理性质的诊断。简而言之，不同的成像原理将导致成像信息的局限性，单独使用某种类型的图像的效果有时并不理想。因此，通过医学影像融合技术将不同成像方法的优势和互补信息相结合，可以为医学疾病的诊治规划提供更加充分有效的信息基础。
常规的方法大多通过多尺度变换获得了不同的图像特征信息，但是当子带被融合时，不同的频率分量将通过相同或简单的融合规则进行处理。仅考虑图像的一个或者极少的特征，而忽略剩余重要特征，这会严重降低融合效果。随着，不同融合规则不断地被提出，但是由于各自所建立的规则的局限性依然存在，它们无法融合最佳的细节和轮廓信息。更糟糕的是，由于涉及下采样和上采样，因此有时不可避免地会出现伪影问题。另外，在一些不涉及采样的变换中，由于不同滤波器的参数性能差异很大，因此融合效果的稳定性受参数选择的影响很大。针对涉及神经网络的方法，像基于PCNN方法是在全局域下处理的，将其应用于图像融合领域可以保留更多详细信息。然而，如何有效地刺激神经元而无需训练就可以最大程度地发挥其作用现如今还是一个巨大的挑战。因此，基于PCNN的融合算法很多，但是系数的优化和阈值的定义仍在研究中。基于CNN的方法已成为解决医学图像融合问题的热点。但是深度神经网络训练量大，或者小的样本训练数据不足以维持神经网络的性能。而且，CNN中涉及的采样或卷积操作在基于多尺度域的融合过程中很容易导致信息丢失。总体而言，当今医学图像融合的主要研究方向是在基于频移不变的多尺度变换的基础上，在每个频段上建立特定的融合规则。但是，如何找到最合适的融合规则的问题尚未得到很好的解决。因此，本发明旨在不涉及上下采样的情况下，通过特征点先验的网络架构提取更精准的特征，同是考虑训练成本，做到精准快速提取以及高智能性融合，尽最大可能减少有用信息细节损失，提高融合图像质量的上限。
发明内容
针对现有技术中存在的问题，本发明提供了一种通用型的基于特征点先验的前馈型神经网络的融合技术，以解决待融合图像有用微小信息提取不全且易丢失这一技术难点。
本发明的技术方案如下：
一种多模态医学图像融合方法，包括如下步骤：
1)源图像分解：将至少2个源图像分别进行两级分解离散平稳小波变换，其中每个源图像分解后得到LL2，LH1，HL1，HH1，LH2，HL2，HH2，其中LL表示低频信息，LH水平方向上的细节信息，HL垂直方向上的细节信息，HH对角线方向上的细节信息；
2)源图像融合：将源图像中相应的7对子带特征信息通过7个增强径向基函数神经网络进行融合；其中相应的一对子带特征信息代入到同1个增强径向基神经网络中进行融合；
3)逆小波变换：通过逆小波变换，将7个融合子带变换为融合图像；
4)应用自适应梯度下降算法和重力搜索算法的结合，精确提取和学习源信息，从而获得高质量融合图像。
所述的一种多模态医学图像融合方法，其特征在于，所述步骤2)中的增强径向基神经网络包括输入层中的4N个神经元、隐藏层中的40个神经元及输出层中的1个神经元，其中N表示源图像个数，4N个神经元来形成输入层，输入变量具有4N个维度。
所述的一种多模态医学图像融合方法，其特征在于，所述步骤2)具体过程如下：
在对子带中处于相同位置的像素进行融合时，其中，输入层的第A1维、...、第Ai维代表相应的像素值，其中Ai＝4(i-1)+1；i＝N
随后，对于某一子带中要处理的像素点，以该点为中心选择大小为5×5的区域，然后获得该区域的区域能量E，方程(1)如下所示：
其中A(x，y)表示点(x，y)处的小波系数值；同样，也可以得出相匹配子带的相同位置像素点区域能量，然后分别将它们代入为第B1维、...、第Bi维,其中Bi＝4(i-1)+2；
选择第C1维、...第Ci维，其中Ci＝4(i-1)+3；采用要处理像素点的梯度，梯度G的表达式如方程(2)所示；
最后，针对选定的相匹配区域，计算每个区域的平均梯度，相应的平均梯度值划分为输入层的第D1维、...、第Di维，其中Di＝4(i-1)+4；平均梯度MG如等式(3)所示；
所述的一种多模态医学图像融合方法，其特征在于，所述步骤1)中源图像采用2-5个。
所述的一种多模态医学图像融合方法，其特征在于，所述步骤4)具体步骤如下：
4.1)通过GDM，建立原始系数集。
4.2)通过适应度函数得到系数集的质量，并选出最优；
4.3)分别计算系数所受引力，所受加速度，进一步更新系数集的速度和位置；
4.4)与最优系数进行比较，择优后返回步骤4.2)进行迭代处理；
4.5)满足预设迭代次数后，在最新系数集和之前所选最优系数中选出最终最优系数。
本发明的有益效果是：通过平移不变多尺度变换算子，不仅提供了足够的方向信息，而且算法相对简单而易于操作。在此基础上，应用基于像素级操作机制的RBFNN，不需要像基于块级的深度卷积神经网络(CNN)这样的庞大训练数据。为了增强神经网络的自我学***均梯度来形成神经网络的输入层，精准提取目标特征点的信息，同是避免造成信息损失，将源像素的特征属性和所在特定区域属性组合到另一个源图像相应位置中，达到1+1≥2的效果。最终通过训练学习，融合出高信息呈现度图像。
附图说明
图1为本发明的源图像分解结构示意图；
图2为本发明的增强径向基函数神经网络结构图；
图3为本发明的自适应梯度下降算法和重力搜索算法的结合流程图。
具体实施方式
以下结合说明书附图及实施例，对本发明作进一步描述。
如图1-3所示，本发明是基于离散平稳小波变换和增强的径向基函数神经网络的医学图像融合新构架(D-ERBFNN)。首先，考虑平移不变性和计算量，离散平稳小波变换被作为多尺度变换算子。在执行两级小波分解以后，得到14个子带，分别代表要融合的两个源图像的不同信息特征。这样不涉及上下采样，就尽量避免了信息的丢失。然后，对于相应的一对子带，充分考虑像素特性和像素之间上下文特征，将精确到点级的特征信息代入到提出的径向基神经网络，其中包括输入层中的8个神经元，隐藏层中的40个神经元和输出层中的1个神经元。因此，对于要融合的一对图像，建立了7个神经网络。最后，通过逆小波变换，可以将7个融合子带变换为融合图像。同时，对于神经网络的训练方法，应用了自适应梯度下降算法和重力搜索算法的结合。这样，在考虑计算成本的情况下，精确提取和学习源信息以便获得高质量融合图像。
基于离散平稳小波变换和增强径向基函数神经网络的多模态医学图像融合方法，具体步骤如下：
1)源图像分解：将2个源图像分别进行两级分解离散平稳小波变换，其中每个源图像分解后得到LL2，LH1，HL1，HH1，LH2，HL2，HH2，其中LL2表示第二级小波分解低频信息，LH1表示第一级小波分解水平方向上的细节信息，HL1表示第一级小波分解垂直方向上的细节信息，HH1表示第一级小波分解对角线方向上的细节信息，LH2表示第二级小波分解水平方向上的细节信息，HL2表示第二级小波分解垂直方向上的细节信息，HH2表示第二级小波分解对角线方向上的细节信息；
本发明提出的D-ERBFNN的整体结构如图1所示。首先，2级分解离散平稳小波变换(Discrete stationary wavelet transform，DSWT)。与经典离散正交小波变换相比，DSWT不需要下采样，而是在滤波器系数之间***零值以实现滤波器扩展。因此，转换后的低频信号和高频信号的长度与原始信号的长度相同，可以有效避免信号下采样引起的吉布斯现象。因此，离散平稳小波变换的主要特征是冗余和移位不变性。
在图像域中，单级DSWT将原始图像分解为四个与原始图像大小相同的子带，包括LL，LH，HL，HH的4个子带分别表示低频信息，水平方向上的细节信息，垂直方向上的细节信息和对角线方向上的细节信息。如果需要执行多级分解，则将使用相同的逻辑分解上级LL。可以看出，原始图像可以看作是LL的初始水平。这里，下一级的滤波器是通过前一级的相应滤波器的内插处理获得的。
2)源图像融合：将源图像中相应的7对子带特征信息通过7个增强径向基函数神经网络进行融合；其中相应的一对子带特征信息代入到同1个增强径向基神经网络中进行融合；
本发明中，2级分解DSWT将一对要融合的源图像分解成14个子带或特征图。随后，提出的7个增强径向基函数神经网络(enhanced radial basis function neuralnetwork,ERBFNN)将被应用来智能制定融合规则。
本发明提出基于目标特征点先验的EBRFNN，如图2所示。我们考虑了两个因素，一个是像素本身的特征属性，另一个是像素周围区域的上下文特征属性。因此，我们选择了8个神经元来形成输入层，也就是说，输入变量具有8个维度。在对两个子带中处于相同位置的两个像素进行融合时，其中，输入层的第1维和第5维代表相应的两个像素值。随后，对于某一子带中要处理的像素点，我们以该点为中心选择大小为5×5的区域，然后获得该区域的区域能量E，方程如下所示：
其中A(x，y)表示点(x，y)处的小波系数值。同样，我们也可以得出相匹配子带的相同位置像素点区域能量，然后分别将它们代入为第2维和第6维；为了选择第3维和第7维，我们采用了要处理像素点的梯度。梯度G的表达式如方程(2)所示；最后，针对选定的相匹配区域，我们计算了每个区域的平均梯度。这样，相应的平均梯度值划分为输入层的第4维和第8维，平均梯度MG如等式(3)所示。
3)逆小波变换：通过逆小波变换，将7个融合子带变换为融合图像；
4)应用自适应梯度下降算法GDM(Gradient descent method)和重力搜索算法的结合如图3所示，精确提取和学习源信息，从而获得高质量融合图像。其中自适应梯度下降算法GDM和重力搜索算法的结合过程如下：
4.1)通过GDM，建立原始系数集；
4.2)通过适应度函数得到系数集的质量，并选出最优；
4.3)分别计算系数所受引力，所受加速度，进一步更新系数集的速度和位置；
4.4)与最优系数进行比较，择优后返回步骤4.2)进行迭代处理；
4.5)满足预设迭代次数后，在最新系数集和之前所选最优系数中选出最终最优系数。
本发明源图像的数量不限于2个，可以扩展为3-5个。例如源图像数量为3个，这样就会得到21个特征图。虽然之后的径向基函数神经网络的数目还是7个，但输入层的神经元将变为12个神经元。参考图2，子带1贡献4个神经元，子带2贡献4个神经元。当3个子带进行融合时，显而易见，子带3也要贡献4个神经元。另外，根据我们的实验，3到5个输入图像造成的神经网络输入层的增加，并不会影响到预先设定的隐含层的数目(40),所以，隐含层的数目不会变。最好，输出层神经元的数目根据要求理应为1。
本发明不仅可以包括多模态的医学图像融合，也可扩展到多曝光图像的融合，视觉图样与红外线图像融合中等，但凡涉及到不同领域下的图像融合，源图像在2-5之间，都适用于本发明。
Claims (5)
1.一种多模态医学图像融合方法，其特征在于，包括如下步骤：
1)源图像分解：将至少2个源图像分别进行两级分解离散平稳小波变换，其中每个源图像分解后得到LL2，LH1，HL1，HH1，LH2，HL2，HH2，其中LL2表示第二级小波分解低频信息，LH1表示第一级小波分解水平方向上的细节信息，HL1表示第一级小波分解垂直方向上的细节信息，HH1表示第一级小波分解对角线方向上的细节信息，LH2表示第二级小波分解水平方向上的细节信息，HL2表示第二级小波分解垂直方向上的细节信息，HH2表示第二级小波分解对角线方向上的细节信息；
2)源图像融合：将源图像中相应的7对子带特征信息通过7个增强径向基函数神经网络进行融合；其中相应的一对子带特征信息代入到同1个增强径向基神经网络中进行融合；
3)逆小波变换：通过逆小波变换，将7个融合子带变换为融合图像；
4)应用自适应梯度下降算法GDM和重力搜索算法的结合，精确提取和学习源信息，从而获得高质量融合图像。
2.根据权利要求1所述的一种多模态医学图像融合方法，其特征在于，所述步骤2)中的增强径向基神经网络包括输入层中的4N个神经元、隐藏层中的40个神经元及输出层中的1个神经元，其中N表示源图像个数，4N个神经元来形成输入层，输入变量具有4N个维度。
3.根据权利要求2所述的一种多模态医学图像融合方法，其特征在于，所述步骤2)具体过程如下：
在对子带中处于相同位置的像素进行融合时，其中，输入层的第A1维、...、第Ai维代表相应的像素值，其中Ai＝4(i-1)+1；i＝N
随后，对于某一子带中要处理的像素点，以该点为中心选择大小为5×5的区域，然后获得该区域的区域能量E，方程(1)如下所示：
其中A(x，y)表示点(x，y)处的小波系数值；k、p分别表示5×5区域的坐标尺寸；同样，也可以得出相匹配子带的相同位置像素点区域能量，然后分别将它们代入为第B1维、...、第Bi维,其中Bi＝4(i-1)+2；
选择第C1维、...第Ci维，其中Ci＝4(i-1)+3；采用要处理像素点的梯度，梯度G的表达式如方程(2)所示；
最后，针对选定的相匹配区域，计算每个区域的平均梯度，相应的平均梯度值划分为输入层的第D1维、...、第Di维，其中Di＝4(i-1)+4；平均梯度MG如等式(3)所示；
4.根据权利要求1或2所述的一种多模态医学图像融合方法，其特征在于，所述步骤1)中源图像采用2-5个。
5.根据权利要求1所述的一种多模态医学图像融合方法，其特征在于，所述步骤4)具体步骤如下：
4.1)通过GDM，建立原始系数集；
4.2)通过适应度函数得到系数集的质量，并选出最优；
4.3)分别计算系数所受引力，所受加速度，进一步更新系数集的速度和位置；
4.4)与最优系数进行比较，择优后返回步骤4.2)进行迭代处理；
4.5)满足预设迭代次数后，在最新系数集和之前所选最优系数中选出最终最优系数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110583678.7A CN113284079B (zh) | 2021-05-27 | 2021-05-27 | 一种多模态医学图像融合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110583678.7A CN113284079B (zh) | 2021-05-27 | 2021-05-27 | 一种多模态医学图像融合方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113284079A true CN113284079A (zh) | 2021-08-20 |
| CN113284079B CN113284079B (zh) | 2023-02-28 |
Family
ID=77281965
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110583678.7A Active CN113284079B (zh) | 2021-05-27 | 2021-05-27 | 一种多模态医学图像融合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113284079B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115272261A (zh) * | 2022-08-05 | 2022-11-01 | 广州大学 | 一种基于深度学习的多模态医学图像融合方法 |
| CN115330658A (zh) * | 2022-10-17 | 2022-11-11 | 中国科学技术大学 | 一种多曝光图像融合方法、装置、设备及存储介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101853426A (zh) * | 2010-05-21 | 2010-10-06 | 南京邮电大学 | 普适计算环境中基于神经网络的上下文融合方法 |
| CN103049895A (zh) * | 2012-12-17 | 2013-04-17 | 华南理工大学 | 基于平移不变剪切波变换的多模态医学图像融合方法 |
| CN103839243A (zh) * | 2014-02-19 | 2014-06-04 | 浙江师范大学 | 基于Shearlet变换的多通道卫星云图融合方法 |
| CN106231206A (zh) * | 2016-07-08 | 2016-12-14 | 北京邮电大学 | 基于统一离散曲波变换和时空信息的视频融合方法 |
| CN107730482A (zh) * | 2017-09-28 | 2018-02-23 | 电子科技大学 | 一种基于区域能量和方差的稀疏融合算法 |
| CN109871977A (zh) * | 2018-12-25 | 2019-06-11 | 广东电网有限责任公司 | 基于离散小波变换和优化最小支持向量机的负荷预测方法 |
| CN109934887A (zh) * | 2019-03-11 | 2019-06-25 | 吉林大学 | 一种基于改进的脉冲耦合神经网络的医学图像融合方法 |
| CN110443775A (zh) * | 2019-06-20 | 2019-11-12 | 吉林大学 | 基于卷积神经网络的离散小波变换域多聚焦图像融合方法 |
| CN111275655A (zh) * | 2020-01-20 | 2020-06-12 | 上海理工大学 | 一种多聚焦多源图像融合方法 |
| CN112734683A (zh) * | 2021-01-07 | 2021-04-30 | 西安电子科技大学 | 基于目标增强的多尺度sar与红外图像融合方法 |
-
2021
- 2021-05-27 CN CN202110583678.7A patent/CN113284079B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101853426A (zh) * | 2010-05-21 | 2010-10-06 | 南京邮电大学 | 普适计算环境中基于神经网络的上下文融合方法 |
| CN103049895A (zh) * | 2012-12-17 | 2013-04-17 | 华南理工大学 | 基于平移不变剪切波变换的多模态医学图像融合方法 |
| CN103839243A (zh) * | 2014-02-19 | 2014-06-04 | 浙江师范大学 | 基于Shearlet变换的多通道卫星云图融合方法 |
| CN106231206A (zh) * | 2016-07-08 | 2016-12-14 | 北京邮电大学 | 基于统一离散曲波变换和时空信息的视频融合方法 |
| CN107730482A (zh) * | 2017-09-28 | 2018-02-23 | 电子科技大学 | 一种基于区域能量和方差的稀疏融合算法 |
| CN109871977A (zh) * | 2018-12-25 | 2019-06-11 | 广东电网有限责任公司 | 基于离散小波变换和优化最小支持向量机的负荷预测方法 |
| CN109934887A (zh) * | 2019-03-11 | 2019-06-25 | 吉林大学 | 一种基于改进的脉冲耦合神经网络的医学图像融合方法 |
| CN110443775A (zh) * | 2019-06-20 | 2019-11-12 | 吉林大学 | 基于卷积神经网络的离散小波变换域多聚焦图像融合方法 |
| CN111275655A (zh) * | 2020-01-20 | 2020-06-12 | 上海理工大学 | 一种多聚焦多源图像融合方法 |
| CN112734683A (zh) * | 2021-01-07 | 2021-04-30 | 西安电子科技大学 | 基于目标增强的多尺度sar与红外图像融合方法 |
Non-Patent Citations (3)
| Title |
|---|
| LI-QUN GAO 等: "AN IMAGE FUSION ALGORITHM BASED ON RBF NEURAL NETWORKS", 《2005 INTERNATIONAL CONFERENCE ON MACHINE LEARNING AND CYBERNETICS》 * |
| 侯小毛 等: "基于增强引力搜索和神经网络的图像分类", 《计算机工程与设计》 * |
| 李园园 等: "基于区域特征的遥感图像融合方法的改进", 《青岛大学学报（工程技术版）》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115272261A (zh) * | 2022-08-05 | 2022-11-01 | 广州大学 | 一种基于深度学习的多模态医学图像融合方法 |
| CN115330658A (zh) * | 2022-10-17 | 2022-11-11 | 中国科学技术大学 | 一种多曝光图像融合方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113284079B (zh) | 2023-02-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Liang et al. | MCFNet: Multi-layer concatenation fusion network for medical images fusion | |
| Ataloglou et al. | Fast and precise hippocampus segmentation through deep convolutional neural network ensembles and transfer learning | |
| US20220122250A1 (en) | Brain feature prediction using geometric deep learning on graph representations of medical image data | |
| CN114581662B (zh) | 一种脑肿瘤图像的分割方法、***、装置及存储介质 | |
| Qamar et al. | Dense encoder-decoder–based architecture for skin lesion segmentation | |
| Zhao et al. | SwinGAN: A dual-domain Swin Transformer-based generative adversarial network for MRI reconstruction | |
| CN113284079B (zh) | 一种多模态医学图像融合方法 | |
| Chao et al. | Medical image fusion via discrete stationary wavelet transform and an enhanced radial basis function neural network | |
| Feng et al. | Brain MRI super-resolution using coupled-projection residual network | |
| CN111583285A (zh) | 一种基于边缘关注策略的肝脏影像语义分割方法 | |
| CN111899165A (zh) | 一种基于功能模块的多任务图像重建卷积网络模型 | |
| Khan et al. | Medical imaging fusion techniques: a survey benchmark analysis, open challenges and recommendations | |
| Li et al. | DFENet: A dual-branch feature enhanced network integrating transformers and convolutional feature learning for multimodal medical image fusion | |
| Wang et al. | Multimodal medical image fusion based on Gabor representation combination of multi-CNN and fuzzy neural network | |
| CN106504221B (zh) | 基于四元数小波变换上下文结构的医学图像融合方法 | |
| CN112200725A (zh) | 一种超分辨率重建方法、装置、存储介质及电子设备 | |
| Nagaraja Kumar et al. | An intelligent multimodal medical image fusion model based on improved fast discrete curvelet transform and type-2 fuzzy entropy | |
| Qamar et al. | Multi stream 3D hyper-densely connected network for multi modality isointense infant brain MRI segmentation | |
| CN115457359A (zh) | 基于自适应对抗生成网络的pet-mri图像融合方法 | |
| Tawfik et al. | Multimodal medical image fusion using stacked auto-encoder in NSCT domain | |
| CN116258732A (zh) | 一种基于pet/ct图像跨模态特征融合的食管癌肿瘤靶区分割方法 | |
| Lu et al. | A novel 3D medical image super-resolution method based on densely connected network | |
| Guo et al. | Brain tumor segmentation based on attention mechanism and multi-model fusion | |
| Lepcha et al. | Multimodal medical image fusion based on pixel significance using anisotropic diffusion and cross bilateral filter | |
| Manimala et al. | Sparse MR image reconstruction considering Rician noise models: A CNN approach |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |