CN113989605A - 基于自适应归一化的无监督注意力生成网络结构及方法 - Google Patents

Abstract

本发明公开一种基于自适应归一化的无监督注意力生成网络结构及方法，使用Cycle‑GAN作为基础架构，网络结构中包括生成器和判别器，生成器主要包括高低频卷积层、自注意力层和自适应归一化层，高低频卷积层用于将输入的图像提取一阶信息；自注意力层对提取到的一阶信息继续进行处理形成二阶并带有注意力机制的图像表示；自适应归一化层对二阶带有注意力机制的图像表示信息进行级联形成最终的图像表示；判别器通过对真实图像和生成图像的表示使用进行分类，用来判别生成图像和真是图像，来辅助生成器更好的生成。实现对图像特征提取及恢复，并将提取到的特征转化为对应的图像。

Description

基于自适应归一化的无监督注意力生成网络结构及方法

技术领域

本发明涉及医学影像处理、主动健康、卷积神经网络、注意力机制自适应归一化技术领域，尤其涉及一种基于自适应归一化的无监督注意力生成网络结构及方法。

背景技术

最近几年，计算机视觉在医学图像分析领域发展势头强劲，广泛应用于于病灶检测和分类，语义分割等一系列等应用领域的。深度学习算法的发展，尤其是卷积神经网络(CNN)和GAN网络的应用，图像配准和图像增强相关技术的增强导致了用于生成和转换图像数据的方法蓬勃发展。从另一个角度来看，放射学扫描是现代医学中的重要工具。它们支持诊断、疾病跟踪和患者治疗监测。这导致在医学图像分析领域利用计算机视觉的最新进展。

目前在医学成像领域，有很多方法被用于获得体内器官和组织的空间分辨信息。这包括普通射线照相，计算机断层扫描(CT)，磁共振成像(MRI)和正电子发射断层扫描(PET)。计算机断层造影术(CT)图像具有较好的空间分辨率和几何特性，对人体软组织对比度较低，对骨骼反映清晰，可以为病灶的定位起到良好的参照作用，但CT对具有相似电子密度的软组织结构区分能力很差，所以对其病灶本身的显示比较差。核磁共振(MRI)图像可清晰反映软组织、器官、血管等的解剖结构，但对钙化点不敏感，对刚性的骨组织显示差，且受到磁干扰会发生几何失真。

通常情况下，计算机断层扫描(CT)，磁共振成像(MRI)两种成像模式或图像对比度提供了补充信息，因此两次或多次采集图像是完整诊断程序所必需的步骤，放射治疗作为目前恶性肿瘤治疗的三大有效方法之一，CT图像用于放射肿瘤学的剂量测定，MRI图像主要反映组织间特征参数，来观测器官及其病变成像，在一般情况下，需要两种MRI图像和CT图像对比来观察得出最终的病灶位置和原因。但是MRI图像，相比CT图像需要更长的采集时间，更加昂贵的费用，并且患者的无意识(即，由于呼吸)和自主(即由于不舒适的条件)运动是非常常见的，这会导致磁共振成像中的一些关键信息丢失，导致最终的MRI图像会产生运动伪影，无法准确提供医生所需信息。但MRI提供了卓越的软组织对比度，并希望减少不必要的辐射剂量。只用MRI的放疗也简化了临床工作流程，避免了MRI与CT对位的不确定性。然而，需要有方法从病人的MRI图像中得出相当于CT的表示，通常称为合成CT(SCT)，用于剂量计算和基于DRR的病人定位。此外，在老龄化社会越来越多地使用心脏起搏器和人工关节等金属植入物的情况下，基于MRI的放射疗法的使用受到限制。CT扫描的大部分担忧是辐射的危害。同时在医学成像领域中，成像图像质量的优化是提取和诊断信息的重要步骤。特别是在使用自动图像分析工具时，对结果的准确性和可靠性要求很高的图像质量。在特定情况下，生成附加图像信息补充相关信息是可行的，无需使用来自已经获取的数据的信息进行附加检查。因此，一个能够在医学图像模式之间转换的框架将通过使额外的扫描变得不必要而缩短诊断过程。这种提高的诊断效率不仅对医务人员有利，而且对病人来说也更方便、更有效。所以CT图像和MRI图像之间的模态转换变得尤为重要。

在MRI图像和CT图像进行转换中，因为无法找到大量的配准图像，所以拟采用Gan网络来进行模态转换，通过使用自注意力层捕获长距离依赖，通过自适应归一化层和高低频卷积层来维持图像原有的特征，从而达到在维持原有特征的前提下进行模态之间的转换。

发明内容

本发明的目的是为了克服现有技术中的不足，提供一种基于自适应归一化的无监督注意力生成网络结构及方法。

本发明的目的是通过以下技术方案实现的：

一种基于自适应归一化的无监督注意力生成网络结构，以Cycle-GAN作为基础架构，包括生成器和判别器，生成器内设有高低频卷积层、自注意力层和自适应归一化层，所述高低频卷积层用于对输入图像提取一阶信息；自注意力层对提取到的一阶信息继续进行处理形成二阶并带有注意力机制的图像表示；自适应归一化层对二阶带有注意力机制的图像表示信息进行级联生成最终的图像；所述判别器对真实图像和生成的图像进行判别，辅助生成器更好的生成。

本发明还提供一种基于自适应归一化的无监督注意力网络结构的图像转换方法，包括以下步骤：

(1)给定了一个输入图片，将输入图片输入到一个生成器网络中进行特征提取；

(2)输入图片经过高低频卷积层，将输入图片的高频信息与低频信息进行分离，分别以不同的卷积核进行计算，然后进行下采样的操作；

(3)将经过下采样后的特征，输入自注意力层，捕获图像之间像素点的远程依赖关系，并给不同像素点部分加以权重，实现在高频信息进行密集转换的作用；

(4)通过自注意力层之后，使用自适应归一化层平衡合成图像中InstanceNormalization和Layer Normalizaiton的比例问题；

(5)最终得到反卷积后生成的图像，生成的图像与原始图像一起送入判别器中，通过判别器来判断生成的图像是否真实。

与现有技术相比，本发明的技术方案所带来的有益效果是：

1.本发明使用高低频卷积层，将图像分为高频部分和低频部分，高频部分图像是特征密集的部分，有助于在转换过程中更好的维持图像原有的特征。达到在高频区域进行密集转换的目的。低频部分在CT和MRI中呈现过度平缓的状态，我们可以将这部分进行一定比例的舍去，来减少我们网络的参数以及运算量。

2.使用自注意力层，在高级特征中有效捕获图像之间像素点远程的依赖关系，使得特征不仅有图像的高频特征，还具有一定的空间特征，自注意力层可以使图像转换过程中赋予高频特征一定的权重，以达到聚焦重要区域，在重要区域的纹理和特征更好的转换的目的。

3.使用自适应归一化层则是解决了在图像的恢复过程中InstanceNormalization和Layer Normalizaiton的比例问题，我们通过学***衡Instance Normalization和Layer Normalizaiton的比例，体现在本结构过程中就是将经过自注意力层得到的赋予一定权重的高频信息进行相应的缩放和平移，来帮助注意力引导模型灵活控制形状和纹理的变化量。

4.本发明通过推导变化图像生成领域中高/低频信息的计算方法，可以过滤低频信息，减轻计算负担，突出高频信息的重要性，达到在高频信息区域进行密集转换。

5.本发明通过设计更新的多层Cycle_GAN网络，提取完整的图像信息特征，避免模型推导中信息遗忘。

6.本发明可以用于放射性肿瘤治疗的过程和自动图像分析工具的图像补充。

附图说明

图1是本发明的无监督注意力生成网络总体结构的示意图。

图2是本发明的网络生成器结构的示意图。

图3是本发明特征提取部分的高低频卷积层结构示意图。

图4是本发明特征提取部分的自注意力层结构示意图。

图5是本发明解码部分的自适应归一化层结构示意图。

图6是本发明实验结果示意图。

具体实施方式

以下结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

一种基于自适应归一化的无监督注意力生成网络结构，使用Cycle-GAN作为基础架构，并在此基础上加上高低频卷积层、自注意力层以及自适应归一化层，以完成对图像特征提取及恢复，并将提取到的特征转化为对应的图像。

本发明提出的无监督注意力生成网络结构的基础模型是Cycle-GAN，其中包含生成器和判别器，生成器中包含编码器和解码器过程。本发明结构主要对生成器的编码器和解码器的过程进行改进。主要为高低频卷积层，注意力层以及自适应归一化层，生成器编码器对输入图片进行特征提取，解码器将提取的特征进行上采样，还原为图像，生成的图像与原始图像一起送入判别器中，让判别器来判断生成的图像是否真实。综上所述，在本发明提出的结构中，输入是任意一张MRI或者CT图像:I^mri或者I^ct。网络结构输出会生成O^ct或者O^mri，该结构是一个针对计算机断层扫描(CT)/磁共振成像(MRI)图像双向转换的工具，用于放射性肿瘤治疗的过程和自动图像分析工具的图像补充。总体结构请见附图1。

如图2所示，为本发明网络结构中生成器的结构示意图，生成器主要包括三个模块，分别是高低频卷积层、自注意力层以及自适应归一化层。

具体的，见图3，高低频卷积层：

高低频卷积层将输入的图片分为高频信息和低频信息，分别以不同的卷积核进行卷积，以达到在高频区域进行密集转换，过滤掉不重要的低频信息部分以减少计算量。

1)高频信息可以表示为Y^H＝X^H+upsample(X^L，2)

2)低频信息可以表示为Y^L＝X^L+pool(X^H，2)

高频信息由高频信息和低频信息经过上采样得到。低频信息由低频信息和高频信息经过下采样得到，我们赋予不一样的权重，可以得到不同的高频和低频信息，从而根据不同的任务调整网络结构。

见图4，自注意力层：

自注意力层可以通过在整个图像中学习一个权重矩阵，来聚焦重要区域，抑制非必要信息。所以在网络结构中融入了注意力机制，来聚焦重要区域，以达到在重要区域的纹理和特征更好的转换。

从编码器得到的特征图将分为三个分支，通过三个分支，将输入特征

聚集到三个特征空间上f、g和h，然后通过特征图进行矩阵的转置和变形，进行相乘，经过softmax得到注意力特征图A公式如下：

其中A_i，j表示模型在合成第j个区域时对第i个位置的关注程度，这里N为前一层的特征数量。最后将h空间的特征图与注意力特征图A进行矩阵相乘的操作，得到最后的输出。

x^sa＝x+αT(Ah′(x))

如图5，自适应归一化层：

归一化函数的选择对于具有不同形状和纹理变化量的数据集的变换结果的质量具有显着影响。受Batch Normalization的启发，本发明提出了自适应归一化层，通过自适应地选择实例标准化(IN)和层标准化(LN)之间的适当比率，在训练期间从数据集中学习其参数。自适应归一化功能帮助我们的注意力引导模型灵活控制形状和纹理的变化量

ρ←clip_[0，1](ρ-τΔρ)

其中μ_I、σ_I分别是channel-wise的均值和标准差，μ_L、σ_L分别是layer-wise的均值和标准差，γ和β是feature-map经过全连阶层生成的参数，τ表示学习率，Δ_ρ表示优化器确定的参数更新(例如梯度)。通过在参数更新步骤中加强边界，ρ的值被限制在[0，1]的范围内，可以根据生成器来调整Instance Normalization和Layer Normalization的比例，ρ的值在解码部分的初始值设为0.9。

具体的步骤如下：(101)使用Cycle-GAN基础架构搭建基础的网络模型，在此基础上添加高低频卷积层、自注意力层以及自适应归一化层。

首先是用Cycle-GAN作为基础架构，在此基础上，使用高低频卷积层将图片分成了高低频的形式，并且将舍去部分的低频信息。由于低频信息是表示全局信息，在转换过程中可以进行舍弃。然后将提取到的特征图片经过一层自注意力，可以聚焦重要区域，以达到在重要区域的纹理和特征更好的转换。

在完成下采样之后，将注意力图进行带有自适应归一化的上采样，来帮助注意力引导模型灵活控制形状和纹理的变化量。这里设置一个超参数α来表示自适应归一化中Instance Normalization和Layer Normalizaiton的比例。

具体的，本实施例中使用60％天津医科大学总医院提供的数据集和40％CT/MRIbrainscans中的数据组合成新的数据集进行训练和测试。将图片分成数据集和测试集以后，将图片投入生成器，通过特征提取模块后，最终得到结果。

在实际应用中，这些数据样本可以替换成自己的数据样本，只要保持框架结构相同即可。而且本实施例只需要通过使用pytorch(Python机器学习框架)即可，更加方面实际应用。

为了验证技术方案的可行性，本实施例在数据集上做了实验，并最终得到了表1的结果和图6的结果。图6中最左侧一列是通过本发明网络结构和方法得到的图像结果。

表1

本发明并不限于上文描述的实施方式。以上对具体实施方式的描述旨在描述和说明本发明的技术方案，上述的具体实施方式仅仅是示意性的，并不是限制性的。在不脱离本发明宗旨和权利要求所保护的范围情况下，本领域的普通技术人员在本发明的启示下还可做出很多形式的具体变换，这些均属于本发明的保护范围之内。

Claims (2)

1.一种基于自适应归一化的无监督注意力生成网络结构，其特征在于，以Cycle-GAN作为基础架构，包括生成器和判别器，生成器内设有高低频卷积层、自注意力层和自适应归一化层，所述高低频卷积层用于对输入图像提取一阶信息；自注意力层对提取到的一阶信息继续进行处理形成二阶并带有注意力机制的图像表示；自适应归一化层对二阶带有注意力机制的图像表示信息进行级联生成最终的图像；所述判别器用于对真实图像和生成的图像进行判别。

2.一种基于自适应归一化的无监督注意力网络结构的图像转换方法，其特征在于，包括以下步骤：

(1)给定了一个输入图片，将输入图片输入到一个生成器网络中进行特征提取；

(2)输入图片经过高低频卷积层，将输入图片的高频信息与低频信息进行分离，分别以不同的卷积核进行计算，然后进行下采样的操作；

(3)将经过下采样后的特征，输入自注意力层，捕获图像之间像素点的远程依赖关系，并给不同像素点部分加以权重，实现在高频信息进行密集转换的作用；

(4)通过自注意力层之后，使用自适应归一化层平衡合成图像中InstanceNormalization和Layer Normalizaiton的比例问题；

(5)最终得到反卷积后生成的图像，生成的图像与原始图像一起送入判别器中，通过判别器来判断生成的图像是否真实。

Images