CN117274067A - 一种基于强化学习的光场图像盲超分辨处理方法与*** - Google Patents

Abstract

本发明公开了一种基于强化学习的光场图像盲超分辨处理方法与***，涉及图像处理技术领域，包括步骤：获取低分辨率光场图像以及相对应的高分辨率光场图像，并存入数据集；提取数据集中待超分辨处理光场图像的空间特征以及角度特征；通过模糊内核预测器对待超分辨处理的光场图像进行处理，并获取模糊内核；根据提取获得的空间特征、角度特征和模糊内核，输入基于强化学习的光场图像盲超分辨网络并获得具有高分辨率的光场图像。本发明通过将光场图像的空间信息、角度信息与盲超分辨网络相结合，从而解耦光场图像中的空间信息和角度信息，使光场图像信息能够得到充分利用，解决了次优的问题。

Description

一种基于强化学习的光场图像盲超分辨处理方法与***

技术领域

本发明涉及图像处理技术领域，具体涉及一种基于强化学习的光场图像盲超分辨处理方法与***。

背景技术

图像超分辨（super-resolution，SR）是从给定的低分辨率（LR）图像中恢复高分辨率（HR）图像的过程，在监控设备、卫星图像遥感、数字高清、显微成像、视频编码通信、视频复原和医学影像等领域都有重要的应用价值。同时SR也是计算机视觉中一个长期存在的问题，为了获得具有高的重建性能的图像，SR方法需要从输入的低分辨（low-resolution，LR）图像中获得尽可能多的有用信息。对单一领域中的普通图像超分辨（SISR），充分利用图像的邻域上下文（即空间信息）可以获得良好的性能。但相比之下，光场（light field，LF）摄像机以一种不同于传统的相机拍摄方式，可以记录和获得一个场景的多个视图图像。即可以记录空间分辨率信息，还可以通过不同角度的孔径记录角度分辨率信息，因此在处理过程中可以利用的信息会更多，可以进一步提高图像的重建性能，并且光场图像在重聚焦、深度估计、显著性检测、场景3D感知方面都具有广泛应用。但受硬件条件限制，光场图像在空间分辨率（每个视角的图像分辨率）与角度分辨率（视角的采样密度）上存在制约关系，并且空间和角度信息在4D光场中高度耦合，并以不同的方式对光场图像SR作出贡献，因此网络很难直接使用这些耦合信息。

目前图像超分辨方法主要分为两种：非盲SR和盲SR。非盲SR方法在训练过程中假设模糊核（退化核）已知，即在训练过程中一般都会使用一个确定的模糊核作用在图像上，得到退化后的LR图像，再用LR图像和HR图像训练网络，那么得到的网络在面对同样模糊核产生的LR图像就可以得到比较好的恢复效果。而且深度学习做超分辨的早期大部分工作都是非盲 SR，但在大多数实际应用中不提供模糊核。因此，具有未知模糊核的SR问题，即盲SR，是学术界和工业界更具吸引力的领域。最开始解决盲SR问题的方法主要是，将盲SR问题分解为两个子问题，即从输入LR图像估计模糊核和基于估计核生成SR图像。但该方法不是端到端训练的方法，会导致次优问题。因此，如何基于盲SR实现HR图像的恢复就是本发明所要解决的问题。

发明内容

为了确保网络能够在快速训练和测试的同时解决光场图像盲超分辨处理下的不可微评估指标优化的问题，本发明提出了一种基于强化学习的光场图像盲超分辨处理方法，包括步骤：

S1：获取低分辨率光场图像以及相对应的高分辨率光场图像，并存入至数据集；

S2：提取数据集中待超分辨处理光场图像的空间特征以及角度特征；

S3：通过模糊内核预测器对待超分辨处理的光场图像进行处理，并获取模糊内核；

S4：根据提取获得的空间特征、角度特征和模糊内核，输入基于强化学习的光场图像盲超分辨网络并获得具有高分辨率的光场图像。

进一步地，所述S1步骤中，光场图像在存入数据集前，还包括步骤：

提取各子孔径图像中相同位置处的像素块组成宏像素块；

根据相对位置关系对宏像素块进行有序排列，获得宏像素图像并存入数据集。

进一步地，所述S2步骤中，在通过空间特征提取器以及角度特征提取器分别进行空间特征和角度特征提取过程中，角度特征提取器采用卷积核大小与步长相同且不填充的卷积操作，空间特征提取器为与角度特征提取器步长相同的膨胀大小的卷积。

进一步地，所述S3步骤中，模糊内核预测器通过聚集空间特征和角度特征进行模糊内核的预测。

进一步地，所述S4步骤中，基于强化学习的光场图像盲超分辨网络中，强化学习是利用不可微感知指标优化盲超分辨网络。

进一步地，所述强化学习采用深度确定性策略梯度作为学习方向，表示为如下公式：

式中，为临界网络参数，/>为最小化损耗函数，i为取值1至N的图像块个数，Q为参与者，/>为衰减系数，r为实际奖励，s为低分辨图像，a为模糊核。

本发明还提出了一种基于强化学习的光场图像盲超分辨处理***，包括：

数据获取模块，用于获取低分辨率光场图像以及相对应的高分辨率光场图像，并存入至数据集；

特征提取模块，用于提取数据集中待超分辨处理光场图像的空间特征以及角度特征；

模糊内核预测模块，用于适应盲超分辨，由残差块和全局平均池化聚合待超分辨处理光场图像的空间信息和角度信息，获得模糊内核；

自适应调制网络模块，用于根据提取获得的空间特征、角度特征和模糊内核，输入基于强化学习的光场图像盲超分辨网络并获得具有高分辨率的光场图像。

与现有技术相比，本发明至少含有以下有益效果：

（1）本发明所述的一种基于强化学习的光场图像盲超分辨处理方法与***，通过将光场图像的空间信息、角度信息与盲超分辨网络相结合，从而解耦光场图像中的空间信息和角度信息，使光场图像信息能够得到充分利用；

（2）在整个盲超分辨框架中引入强化学习算法，解决盲超分辨不可微评估指标优化的问题。

附图说明

图1为一种基于强化学习的光场图像盲超分辨处理方法的步骤图；

图2为一种基于强化学习的光场图像盲超分辨处理***的模块图。

具体实施方式

以下是本发明的具体实施例并结合附图，对本发明的技术方案作进一步的描述，但本发明并不限于这些实施例。

实施例一

为了实现基于盲SR进行HR图像的恢复，如图1所示，本发明提出了一种基于强化学习的光场图像盲超分辨处理方法，包括步骤：

S1：获取低分辨率光场图像以及相对应的高分辨率光场图像，并存入数据集；

S2：提取数据集中待超分辨处理光场图像的空间特征以及角度特征；

S3：通过模糊内核预测器对待超分辨处理的光场图像进行处理，并获取模糊内核；

S4：根据提取获得的空间特征、角度特征和模糊内核，输入基于强化学习的光场图像盲超分辨网络并获得具有高分辨率的光场图像。

其中，通过将数据集中的低分辨率子孔径光场图像做尺度因子为2和4的双三次下采样得到LR小块图像，再将其重新组成一个宏像素图像，得到训练数据集且作为盲SR网络的输入。

考虑到光场图像具有4D结构，具体可表示为，其中U和V表示角度维度（例如，对于3×4的光场图像来说，U=3，V=4），H和W分别表示每个子孔径图像（SAI）的高度和宽度。直观的来说，光场（LF）可以被视为SAI的2D角度集合，每个角度坐标/>处的SAI可以表示为/>。类似地，LF也可以被看作是宏像素图像（macroPixel，MacPI）的2D空间集合，即每个空间坐标/>处的宏像素可以表示为。在本发明中，设置U=V=A，其中A表示角度分辨率。

其中，子孔径图像（sub-aperture images，SAIs）是通过多孔径的办法存储，也就是把不同角度拍摄到的信息通过不同的图像记录下来，再通过一定的空间分辨率记录空间信息。在传统数字图像中，一个像素点就表示为一个像素，但采用宏像素存储的光场图像就是一个小像素块代表一个像素，每个小像素块就是一个宏像素块。

当光场图像存储为SAI时，角度信息会隐含在不同的SAI中，从而变得难以提取，故而本发明选用宏像素图像的形式进行光场图像的存储。为此，在存储光场图像前，需要先将子孔径图像转换为宏像素图像。首先，将每个孔径图像中相同位置的像素块提取出来组成一个宏像素块，再将每个宏像素块按照相应的位置放置于一起，最终得到宏像素图像下的光场图像存入数据集。

对于采集到的光场图像，本发明则是选用空间特征提取器（SFE）和角度特征提取器（AFE）来提取和解耦空间特征和角度特征。其中AFE是一个卷积，其核大小为A×A，步长为A，并执行零填充，因此由AFE生成的特征大小为（C表示特征深度）。相应地，SFE为核大小3×3，步长为1且与SFE步长大小相同的膨胀卷积（以保证数据特征图的尺寸一致性和信息的连续性）。此处AFE采用与卷积核大小相同的步长，确保每个卷积核都能够覆盖到输入数据的不同位置，从而提取多个局部特征，而采用零填充，则是为了在每次卷积后减小输出结果的空间尺寸，进行降维减少模型的参数数量和计算复杂度，确保输出特征具有与输入MacPI相同的空间大小AH×AW。同时，由于提取角度特征时，每个宏像素可以通过AFE精确卷积，从而使不同宏像素之间的信息不会发生混叠。并且在提取空间特征时，每个SAI中的像素可以通过SFE卷积而不涉及角度信息，因此LF中的空间和角度信息得以解耦。

至于预测内核的提取，本发明则是构建了一个模糊内核预测器，其由残差块（RB）作为基本块，并在网络的最后使用全局平均池（GAP）聚集空间信息和角度信息以获得模糊内核。

根据上述获得的空间特征、角度特征和模糊内核，即可进行图像的盲超分辨获取。但与传统端到端训练方法不同的是，本发明首先会训练非盲SR网络（考虑模糊内核k和LR图像的函数），然后通过如下优化公式对网络/>（从LR图像估计模糊内核k的函数）进行优化：

式中为/>的固定模型参数，目的在于获得可以使SR结果最优的/>（为/>的模型参数），/>为HR图像，/>为LR图像，/>可以根据任务要求，选择与保真相关的损失（如L1 loss）或与感知相关的损失（如GAN loss）。这样，可以再建立端到端网络，并使盲SR训练更舒适、迅速。

也即是说，本发明先提出了处理非盲SR模型的自适应调制网络（AMNet），并在AMNet内配备内核预测器，通过该优化公式对模型进行优化，进而升级为盲SR模型。

进一步地，为了减少计算成本，提高训练和测试的速度，本发明还将模糊核平坦化，并通过主成分分析（PCA）缩减模糊内核，得到简化核/>（核大小为t的实数集R），直接使用简化核控制网络的输出特性。根据已有的自适应实例范数（AdaIN）实现StyleGAN中图像合成，本发明提出了一种改进的AdaIN。给定一个输入图像特征/>以及简化核/>，AdaIN可以定义为：

其中，和/>分别表示将简化核/>转换为缩放值（scaling）和偏差值（bias）的函数，/>和/>分别是各个通道c中x在所有空间维度（H×W）的均值和标准差：

但仅使用和/>来调节输入图像特征的均值和标准差不能达到很好的控制。而如果在StyleGAN采用AdaIN实现图像合成，则会由于每个模糊核控制一个指定级别的特征（与特征分辨率相关的特征），从而使合成的图像具有更为良好的表现。因此，本发明通过构建自适应调制层（AMLayer），使用简化核/>指导修改当前特征的均值和标准差，该自适应调制层可表示为：

式中，都是全连接层，/>为跨通道c的连接操作。

而针对不可微分评估指标引导下的盲SR问题，需要在SR和评估指标之间搭建桥梁。目标在于通过选择模糊内核，使得到的SR图像在指定的评价指标中更好。并将此定义为自动参数选择，为此，本发明采用强化学习RL。在RL框架中，需要定义元组，其中，S是图像空间，A是动作空间，p是在采取动作/>后，将输入状态/>映射为结果状态/>的过渡函数，r是奖励函数。具体到光场图像超分辨中，S是包括LR图像和SR图像的图像空间，A是模糊核/>的空间，p是根据输入状态s（LR图像）和动作/>（模糊核）得到输出状态/>（SR图像）的非盲函数/>。其中最重要的是r，它是由预定义的评估指标构成的，比如PSNR（可微）和NIQE（不可微），作用是根据给定的状态（图像）评估动作（模糊核）。

具体地，本发明选择深度确定性策略梯度（DDPG）作为RL方法，原始DDPG通过最小损耗优化临界网络参数：

其中，，/>分别表示目标批评网络、目标参与者和衰减函数。由于任务只需要在一个步骤中执行，因此该等式可以简化为：

如果实际奖励，则估计/>和/>都可能获得0.1的误差。然而，当/>时，预计惩罚更大，因此上式进一步为：

如果，则表示奖励/>，反之，如果/>，则表示奖励/>。根据该式，当第一项/>和/>的符号不同时，结果为惩罚项；当第一项/>和/>的符号相同时，结果为0。

实施例二

为了更好的对本发明的技术内容进行理解，本实施例通过***结构的形式来对本发明进行阐述，如图2所示，一种基于强化学习的光场图像盲超分辨处理***，包括：

数据获取模块，用于获取低分辨率光场图像以及相对应的高分辨率光场图像，并存入至数据集；

特征提取模块，用于提取数据集中待超分辨处理光场图像的空间特征以及角度特征；

模糊内核预测模块，用于适应盲超分辨，由残差块和全局平均池化聚合待超分辨处理光场图像的空间信息和角度信息，获得模糊内核；

自适应调制网络模块，用于根据提取获得的空间特征、角度特征和模糊内核，输入基于强化学习的光场图像盲超分辨网络并获得具有高分辨率的光场图像。

综上所述，本发明所述的一种基于强化学习的光场图像盲超分辨处理方法与***，通过将光场图像的空间信息、角度信息与盲超分辨网络相结合，从而解耦光场图像中的空间信息和角度信息，使光场图像信息能够得到充分利用。在整个盲超分辨框架中引入强化学习算法，解决盲超分辨不可微评估指标优化的问题。

需要说明，本发明实施例中所有方向性指示（诸如上、下、左、右、前、后……）仅用于解释在某一特定姿态（如附图所示）下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。

另外，在本发明中如涉及“第一”、“第二”、“一”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“连接”、“固定”等应做广义理解，例如，“固定”可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

另外，本发明各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

Claims (7)

1.一种基于强化学习的光场图像盲超分辨处理方法，其特征在于，包括步骤：

S1：获取低分辨率光场图像以及相对应的高分辨率光场图像，并存入数据集；

S2：提取数据集中待超分辨处理光场图像的空间特征以及角度特征；

S3：通过模糊内核预测器对待超分辨处理的光场图像进行处理，并获取模糊内核；

S4：根据提取获得的空间特征、角度特征和模糊内核，输入基于强化学习的光场图像盲超分辨网络并获得具有高分辨率的光场图像。

2.如权利要求1所述的一种基于强化学习的光场图像盲超分辨处理方法，其特征在于，所述S1步骤中，光场图像在存入数据集前，还包括步骤：

提取各子孔径图像中相同位置处的像素块组成宏像素块；

根据相对位置关系对宏像素块进行有序排列，获得宏像素图像并存入数据集。

3.如权利要求1所述的一种基于强化学习的光场图像盲超分辨处理方法，其特征在于，所述S2步骤中，在通过空间特征提取器以及角度特征提取器分别进行空间特征和角度特征提取过程中，角度特征提取器采用卷积核大小与步长相同且不填充的卷积操作，空间特征提取器为与角度特征提取器步长相同的膨胀大小的卷积。

4.如权利要求1所述的一种基于强化学习的光场图像盲超分辨处理方法，其特征在于，所述S3步骤中，模糊内核预测器通过聚集空间特征和角度特征进行模糊内核的预测。

5.如权利要求1所述的一种基于强化学习的光场图像盲超分辨处理方法，其特征在于，所述S4步骤中，基于强化学习的光场图像盲超分辨网络中，强化学习采用不可微感知指标优化盲超分辨网络。

6.如权利要求5所述的一种基于强化学习的光场图像盲超分辨处理方法，其特征在于，所述强化学习采用深度确定性策略梯度作为学习方向，表示为如下公式：

式中，为临界网络参数，/>为最小化损耗函数，i为取值1至N的图像块个数，Q为参与者，/>为衰减系数，r为实际奖励，s为低分辨图像，a为模糊核。

7.一种基于强化学习的光场图像盲超分辨处理***，其特征在于，包括：

数据获取模块，用于获取低分辨率光场图像以及相对应的高分辨率光场图像，并存入至数据集；

特征提取模块，用于提取数据集中待超分辨处理光场图像的空间特征以及角度特征；

模糊内核预测模块，用于适应盲超分辨，由残差块和全局平均池化聚合待超分辨处理光场图像的空间信息和角度信息，获得模糊内核；

自适应调制网络模块，用于根据提取获得的空间特征、角度特征和模糊内核，输入基于强化学习的光场图像盲超分辨网络并获得具有高分辨率的光场图像。