CN116128710A - 一种图像分辨率调整方法、装置、设备及存储介质 - Google Patents

Abstract

本发明公开了一种图像分辨率调整方法、装置、设备及存储介质。所述方法包括：获取待调整图像和第一目标分辨率；所述待调整图像的分辨率高于所述第一目标分辨率；将所述待调整图像划分为N个分辨率为所述第一目标分辨率的候选图像；其中，所述待调整图像中的每个像素点信息包含在任一候选图像中；N为正整数且N＞1；针对划分得到的候选图像，提取边缘特征信息；综合划分得到的N个候选图像和所提取的边缘特征信息，得到分辨率为所述第一目标分辨率的目标图像。

Description

一种图像分辨率调整方法、装置、设备及存储介质

技术领域

本发明涉及图像处理技术领域，尤其涉及一种图像分辨率调整方法、装置、设备及存储介质。

背景技术

在图像处理的实际业务中，往往需要调整图像的分辨率。例如，针对不同尺寸的显示屏幕，通常需要针对固定尺寸的图像调整分辨率，以适应显示屏幕进行显示。具体可以降低或者提高图像的分辨率。

在相关技术中，可以直接删除图像中的部分像素以降低图像的分辨率，也可以直接复制图像中的部分像素以提高图像的分辨率。

例如，在降低图像分辨率时，直接删除奇数行或者奇数列的像素；在提高图像分辨率时，直接复制奇数行或者奇数列的像素。

但是使用这些调整图像分辨率的方法，往往会导致调整后的展示效果较差。

例如，在降低图像分辨率时，直接删除部分像素导致部分信息丢失，使得调整后的图像清晰度较低，展示效果较差；在提高图像分辨率时，直接复制部分像素添加到图像中，导致图像失真，展示效果较差。

发明内容

本发明提供一种图像分辨率调整方法、装置、设备及存储介质，以解决相关技术中的不足。

根据本发明实施例的第一方面，提供一种图像分辨率调整方法，包括：

获取待调整图像和第一目标分辨率；所述待调整图像的分辨率高于所述第一目标分辨率；

将所述待调整图像划分为N个分辨率为所述第一目标分辨率的候选图像；其中，所述待调整图像中的每个像素点信息包含在任一候选图像中；N为正整数且N＞1；

针对划分得到的候选图像，提取边缘特征信息；

综合划分得到的N个候选图像和所提取的边缘特征信息，得到分辨率为所述第一目标分辨率的目标图像。

可选地，所述将所述待调整图像划分为N个分辨率为所述第一目标分辨率的候选图像，包括：

根据所述第一目标分辨率，从所述待调整图像中，划分出若干相同尺寸的像素矩阵；所述像素矩阵中包括N个像素点；

其中，所述待调整图像中，在横向上划分的单行像素矩阵数量与所述第一目标分辨率单行像素点数量相同，在纵向上划分的单列像素矩阵数量与所述第一目标分辨率单列像素点数量相同；

根据所划分的像素矩阵，提取出N个分辨率为所述第一目标分辨率的候选图像。

可选地，不同候选图像中相同位置的像素点属于同一像素矩阵；任一候选图像中的不同像素点位于所属像素矩阵中的同一位置。

可选地，所述针对划分得到的候选图像，提取边缘特征信息，包括：

将任一候选图像确定为起始图像；

针对所述起始图像，利用N-1个其他候选图像对应的N-1个预设卷积核，提取所述N-1个其他候选图像分别对应的N-1个边缘特征图像；所述边缘特征图像的分辨率为所述第一目标分辨率；

其中，不同候选图像对应于不同预设卷积核；所述预设卷积核用于提取预设方向上的像素间梯度特征信息；所述预设方向为，对应的候选图像与所述起始图像之间，相同位置的不同像素点在所属的同一像素矩阵中的相对方向。

可选地，所述综合划分得到的N个候选图像和所提取的边缘特征信息，得到分辨率为所述第一目标分辨率的目标图像，包括：

将划分得到的N个候选图像和所提取的N-1个边缘特征图像输入到预先训练的图像通道合并网络，得到所述图像通道合并网络输出的分辨率为所述第一目标分辨率的目标图像。

可选地，所述图像通道合并网络用于：

针对所述N-1个其他候选图像，分别与对应的边缘特征图像进行通道叠加，得到N-1个叠加图像；

针对所述N-1个叠加图像和所述起始图像，分别利用表征层提取特征，得到N个卷积特征图像；

将所述N个卷积特征图像进行通道叠加，再利用通道合并层提取特征，得到分辨率为所述第一目标分辨率，且通道数与所述待调整图像相同的目标图像。

可选地，所述针对划分得到的候选图像，提取边缘特征信息，包括：

针对划分得到的N个候选图像之间每个相同的位置，执行以下操作，得到分辨率为所述第一目标分辨率的最大池化特征图，并将所述最大池化特征图确定为所提取的边缘特征信息：

将所述N个候选图像中，所针对位置上N个像素点对应的像素值之间最大的像素值，确定为最大池化特征图中所针对位置上的像素点对应的像素值。

可选地，所述综合划分得到的N个候选图像和所提取的边缘特征信息，得到分辨率为所述第一目标分辨率的目标图像，包括：

将划分得到的N个候选图像和所述最大池化特征图输入到预先训练的图像通道融合网络，得到所述图像通道融合网络输出的分辨率为所述第一目标分辨率的目标图像。

可选地，所述图像通道融合网络用于：

针对所述N个候选图像，分别与所述最大池化特征图进行通道叠加，得到N个叠加结果；

针对所述N个叠加结果，分别利用表征层提取特征，得到分辨率为所述第一目标分辨率，且通道数与所述待调整图像相同的N个备选图像；

将所述N个备选图像输入到最大池化层，得到分辨率为所述第一目标分辨率，且通道数与所述待调整图像相同的目标图像。

可选地，所述最大池化层用于：

针对所述N个备选图像之间每个相同的位置，执行以下操作，得到分辨率为所述第一目标分辨率，且通道数与所述待调整图像相同的目标图像：

将所述N个备选图像中，所针对位置上N个像素点对应的像素值之间最大的像素值，确定为目标图像中所针对位置上的像素点对应的像素值。

根据本发明实施例的第二方面，提供另一种图像分辨率调整方法，包括：

获取待调整图像和第二目标分辨率；所述待调整图像的分辨率低于所述第二目标分辨率；

根据所述第二目标分辨率和所述待调整图像的分辨率，确定M个像素扩展方向；M为正整数且M≥1；其中，(M+1)与所述待调整图像的分辨率之间的乘积，大于或等于所述第二目标分辨率；

针对所述待调整图像，分别获取所述M个像素扩展方向上的M个边缘特征信息；

综合所述待调整图像和所述M个边缘特征信息，得到分辨率为所述第二目标分辨率的目标图像。

可选地，所述针对所述待调整图像，分别获取所述M个像素扩展方向上的M个边缘特征信息，包括：

针对所述待调整图像，分别利用所述M个像素扩展方向对应的M个预设卷积核，提取M个边缘特征图像；所述边缘特征图像的分辨率与所述待调整图像的分辨率相同；

其中，不同像素扩展方向对应于不同预设卷积核；所述预设卷积核用于提取对应的像素扩展方向上的像素间梯度特征信息。

可选地，所述综合所述待调整图像和所述M个边缘特征信息，得到分辨率为所述第二目标分辨率的目标图像，包括：

将所述待调整图像和所述M个边缘特征图像输入到预先训练的图像组合网络，得到所述图像组合网络输出的分辨率为所述第二目标分辨率的目标图像；所述目标图像与所述待调整图像的通道数相同。

可选地，所述图像组合网络用于：

针对所述M个边缘特征图像，分别与所述待调整图像进行通道叠加，得到M个叠加结果；

针对所述M个叠加结果和所述待调整图像，分别利用表征层提取特征，得到分辨率和通道数与所述待调整图像相同的M+1个待组合图像；

将所述M+1个待组合图像输入到组合层，得到分辨率为所述第二目标分辨率，且通道数与所述待调整图像相同的目标图像。

可选地，所述组合层用于：

针对所述待调整图像对应的待组合图像中每个像素点执行以下操作，得到组合结果：

以所针对的像素点为起点，基于所述M个像素扩展方向扩展得到一个包含M+1个像素点的像素矩阵，并将其他M个待组合图像中与所针对像素点位置相同的像素点添加到所扩展的像素矩阵中；

根据所得到的组合结果，经过预设图像处理得到分辨率为所述第二目标分辨率，且通道数与所述待调整图像相同的目标图像。

根据本发明实施例的第三方面，提供一种图像分辨率调整装置，包括：

第一获取单元，用于获取待调整图像和第一目标分辨率；所述待调整图像的分辨率高于所述第一目标分辨率；

划分单元，用于将所述待调整图像划分为N个分辨率为所述第一目标分辨率的候选图像；其中，所述待调整图像中的每个像素点信息包含在任一候选图像中；N为正整数且N＞1；

第一特征单元，用于针对划分得到的候选图像，提取边缘特征信息；

第一综合单元，用于综合划分得到的N个候选图像和所提取的边缘特征信息，得到分辨率为所述第一目标分辨率的目标图像。

可选地，所述划分单元用于：

根据所述第一目标分辨率，从所述待调整图像中，划分出若干相同尺寸的像素矩阵；所述像素矩阵中包括N个像素点；

其中，所述待调整图像中，在横向上划分的单行像素矩阵数量与所述第一目标分辨率单行像素点数量相同，在纵向上划分的单列像素矩阵数量与所述第一目标分辨率单列像素点数量相同；

根据所划分的像素矩阵，提取出N个分辨率为所述第一目标分辨率的候选图像。

可选地，不同候选图像中相同位置的像素点属于同一像素矩阵；任一候选图像中的不同像素点位于所属像素矩阵中的同一位置。

可选地，所述第一特征单元，用于：

将任一候选图像确定为起始图像；

针对所述起始图像，利用N-1个其他候选图像对应的N-1个预设卷积核，提取所述N-1个其他候选图像分别对应的N-1个边缘特征图像；所述边缘特征图像的分辨率为所述第一目标分辨率；

其中，不同候选图像对应于不同预设卷积核；所述预设卷积核用于提取预设方向上的像素间梯度特征信息；所述预设方向为，对应的候选图像与所述起始图像之间，相同位置的不同像素点在所属的同一像素矩阵中的相对方向。

可选地，所述第一综合单元用于：

将划分得到的N个候选图像和所提取的N-1个边缘特征图像输入到预先训练的图像通道合并网络，得到所述图像通道合并网络输出的分辨率为所述第一目标分辨率的目标图像。

可选地，所述图像通道合并网络用于：

针对所述N-1个其他候选图像，分别与对应的边缘特征图像进行通道叠加，得到N-1个叠加图像；

针对所述N-1个叠加图像和所述起始图像，分别利用表征层提取特征，得到N个卷积特征图像；

将所述N个卷积特征图像进行通道叠加，再利用通道合并层提取特征，得到分辨率为所述第一目标分辨率，且通道数与所述待调整图像相同的目标图像。

可选地，所述第一特征单元用于：

针对划分得到的N个候选图像之间每个相同的位置，执行以下操作，得到分辨率为所述第一目标分辨率的最大池化特征图，并将所述最大池化特征图确定为所提取的边缘特征信息：

将所述N个候选图像中，所针对位置上N个像素点对应的像素值之间最大的像素值，确定为最大池化特征图中所针对位置上的像素点对应的像素值。

可选地，所述第一综合单元用于：

将划分得到的N个候选图像和所述最大池化特征图输入到预先训练的图像通道融合网络，得到所述图像通道融合网络输出的分辨率为所述第一目标分辨率的目标图像。

可选地，所述图像通道融合网络用于：

针对所述N个候选图像，分别与所述最大池化特征图进行通道叠加，得到N个叠加结果；

针对所述N个叠加结果，分别利用表征层提取特征，得到分辨率为所述第一目标分辨率，且通道数与所述待调整图像相同的N个备选图像；

将所述N个备选图像输入到最大池化层，得到分辨率为所述第一目标分辨率，且通道数与所述待调整图像相同的目标图像。

可选地，所述最大池化层用于：

针对所述N个备选图像之间每个相同的位置，执行以下操作，得到分辨率为所述第一目标分辨率，且通道数与所述待调整图像相同的目标图像：

将所述N个备选图像中，所针对位置上N个像素点对应的像素值之间最大的像素值，确定为目标图像中所针对位置上的像素点对应的像素值。

根据本发明实施例的第四方面，提供另一种图像分辨率调整装置，包括：

第二获取单元，用于获取待调整图像和第二目标分辨率；所述待调整图像的分辨率低于所述第二目标分辨率；

方向确定单元，用于根据所述第二目标分辨率和所述待调整图像的分辨率，确定M个像素扩展方向；M为正整数且M≥1；其中，(M+1)与所述待调整图像的分辨率之间的乘积，大于或等于所述第二目标分辨率；

第二特征单元，用于针对所述待调整图像，分别获取所述M个像素扩展方向上的M个边缘特征信息；

第二综合单元，用于综合所述待调整图像和所述M个边缘特征信息，得到分辨率为所述第二目标分辨率的目标图像。

可选地，所述第二特征单元用于：

针对所述待调整图像，分别利用所述M个像素扩展方向对应的M个预设卷积核，提取M个边缘特征图像；所述边缘特征图像的分辨率与所述待调整图像的分辨率相同；

其中，不同像素扩展方向对应于不同预设卷积核；所述预设卷积核用于提取对应的像素扩展方向上的像素间梯度特征信息。

可选地，所述第二综合单元用于：

将所述待调整图像和所述M个边缘特征图像输入到预先训练的图像组合网络，得到所述图像组合网络输出的分辨率为所述第二目标分辨率的目标图像；所述目标图像与所述待调整图像的通道数相同。

可选地，所述图像组合网络用于：

针对所述M个边缘特征图像，分别与所述待调整图像进行通道叠加，得到M个叠加结果；

针对所述M个叠加结果和所述待调整图像，分别利用表征层提取特征，得到分辨率和通道数与所述待调整图像相同的M+1个待组合图像；

将所述M+1个待组合图像输入到组合层，得到分辨率为所述第二目标分辨率，且通道数与所述待调整图像相同的目标图像。

可选地，所述组合层用于：

针对所述待调整图像对应的待组合图像中每个像素点执行以下操作，得到组合结果：

以所针对的像素点为起点，基于所述M个像素扩展方向扩展得到一个包含M+1个像素点的像素矩阵，并将其他M个待组合图像中与所针对像素点位置相同的像素点添加到所扩展的像素矩阵中；

根据所得到的组合结果，经过预设图像处理得到分辨率为所述第二目标分辨率，且通道数与所述待调整图像相同的目标图像。

根据上述实施例可知，通过在图像分辨率调整的过程中，引入边缘特征信息用于图像分辨率调整，从而可以提高展示效果。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

图1是根据本发明实施例示出的一种图像分辨率调整方法的流程示意图；

图2是根据本发明实施例示出的另一种图像分辨率调整方法的流程示意图；

图3是根据本发明实施例示出的一种图像下采样网络的结构示意图；

图4是根据本发明实施例示出的另一种图像下采样网络的结构示意图；

图5是根据本发明实施例示出的一种图像超分网络的结构示意图；

图6是根据本发明实施例示出的一种图像分辨率调整装置的结构示意图；

图7是根据本发明实施例示出的另一种图像分辨率调整装置的结构示意图；

图8根据本发明实施例示出的一种配置本发明实施例方法的计算机设备硬件结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

在图像处理的实际业务中，往往需要调整图像的分辨率。例如，针对不同尺寸的显示屏幕，通常需要针对固定尺寸的图像调整分辨率，以适应显示屏幕进行显示。具体可以降低或者提高图像的分辨率。

在相关技术中，可以直接删除图像中的部分像素以降低图像的分辨率，也可以直接复制图像中的部分像素以提高图像的分辨率。

例如，在降低图像分辨率时，直接删除奇数行或者奇数列的像素；在提高图像分辨率时，直接复制奇数行或者奇数列的像素。

但是使用这些调整图像分辨率的方法，往往会导致调整后的展示效果较差。

例如，在降低图像分辨率时，直接删除部分像素导致部分信息丢失，使得调整后的图像清晰度较低，展示效果较差；在提高图像分辨率时，直接复制部分像素添加到图像中，导致图像失真，展示效果较差。

为了提高图像在调整分辨率后的展示效果，本发明实施例提供了一种图像分辨率调整方法。

在该方法中，可以针对待调整图像提取边缘特征信息，用于图像分辨率的调整。具体可以是提高或降低分辨率。

针对降低分辨率的调整需求，在该方法中，可以保留待调整图像中的全部像素点，用于降低分辨率，从而可以减少对待调整图像中信息的丢失情况，提高展示效果。

针对提高分辨率的调整需求，在该方法中，可以利用待调整图像中各个可扩展方向上的边缘特征信息，帮助进行像素点的扩展，从而提高分辨率，可以降低图像失真程度，提高展示效果。

因此，在本方法中，可以通过在图像分辨率调整的过程中，引入边缘特征信息用于图像分辨率调整，从而可以提高展示效果。相比于简单粗暴地删除和复制像素的图像分辨率调整方法，可以提高展示效果。

下面针对本发明实施例提供的一种图像分辨率调整方法进行详细解释。

本发明实施例提供了一种降低图像分辨率的方法实施例。

如图1所示，图1是根据本发明实施例示出的一种图像分辨率调整方法的流程示意图。

本发明实施例并不限定本方法流程的执行主体。可选地，执行主体可以是任一计算设备。例如，服务端、显示终端、个人电脑、相机等。

该方法可以包括以下步骤。

S101：获取待调整图像和第一目标分辨率；待调整图像的分辨率高于第一目标分辨率。

S102：将待调整图像划分为N个分辨率为第一目标分辨率的候选图像；其中，待调整图像中的每个像素点信息可以包含在任一候选图像中；N为正整数且N＞1。

S103：针对划分得到的候选图像，提取边缘特征信息。

S104：综合划分得到的N个候选图像和所提取的边缘特征信息，得到分辨率为第一目标分辨率的目标图像。

上述方法流程可以通过在图像分辨率调整的过程中，引入边缘特征信息用于图像分辨率调整，从而可以提高展示效果。

此外，上述方法流程在降低分辨率的过程中，通过将待调整图像划分为多个分辨率为第一目标分辨率的候选图像，可以方便后续直接根据多个候选图像进行特征提取，具体可以是不改变图像分辨率的特征提取方式。

并且，上述方法流程中，通过限定待调整图像中的每个像素点可以包含在任一候选图像中，从而可以利用待调整图像中全部的像素点进行分辨率调整，减少待调整图像中信息的丢失，提高展示效果。

可选地，上述方法流程可以由一个预先训练的图像下采样网络整体执行。具体可以参见后文解释。

下面针对各个步骤进行详细的解释。

一、S101：获取待调整图像和第一目标分辨率；待调整图像的分辨率高于第一目标分辨率。

本方法流程并不限定待调整图像的形式。具体可以并不限定待调整图像的通道数。

可选地，待调整图像可以包括具有RGB三通道的图像，也可以包括具有多通道的特征图像。

可选地，待调整图像可以包括基于原始图像进行特征提取得到的特征图像。其中，并不限定特征提取的方式，也并不限定待调整图像的通道数量。

可选地，第一目标分辨率可以是针对待调整图像，所需要调整的目标分辨率。

二、S102：将待调整图像划分为N个分辨率为第一目标分辨率的候选图像；其中，待调整图像中的每个像素点信息可以包含在任一候选图像中；N为正整数且N＞1。

本方法流程并不限定N的确定方式。

可选地，N与第一目标分辨率的乘积，可以大于或等于待调整图像的分辨率。

本方法流程并不限定划分的方式。

可选地，可以为了确保候选图像的整体性，可以从待调整图像中选择部分像素点组合成候选图像；也可以针对待调整图像各个不同部分进行划分。

可选地，在将待调整图像划分为多个不同部分的情况下，后续进行综合时，可以进行组合拼接，得到目标图像。

可选地，允许划分得到的不同候选图像之间存在重合的部分。其中，由于待调整图像的分辨率可能并不是第一目标分辨率的整数倍，无法直接划分出N个不重合的候选图像。

在一种可选的实施例中，可以先划分出多个像素矩阵，再从各个像素矩阵中选择出一个像素点组合成候选图像。

可选地，将待调整图像划分为N个分辨率为第一目标分辨率的候选图像，可以包括：根据第一目标分辨率，从待调整图像中，划分出若干相同尺寸的像素矩阵；像素矩阵中可以包括N个像素点；根据所划分的像素矩阵，提取出N个分辨率为第一目标分辨率的候选图像。

可选地，待调整图像中，在横向上划分的单行像素矩阵数量可以与第一目标分辨率单行像素点数量相同，在纵向上划分的单列像素矩阵数量可以与第一目标分辨率单列像素点数量相同。后续步骤可以针对各个像素矩阵，分别综合得到一个像素点，从而可以得到分辨率为第一目标分辨率的目标图像。

可选地，根据所划分的像素矩阵，提取出N个分辨率为第一目标分辨率的候选图像，可以包括：从所划分的各个像素矩阵中，分别提取出一个像素点；针对所提取的像素点，按照所属像素矩阵之间的相对位置关系，组合成一个候选图像。

可选地，不同的候选图像之间，可以从同一像素矩阵中提取出不同的像素点，从而可以得到N个候选图像。

可选地，针对单个候选图像，可以从各个像素矩阵中的相同位置提取像素点，组合成候选图像。可选地，也可以允许从不同像素矩阵中的不同位置提取像素点，组合成候选图像。

可选地，不同候选图像中相同位置的像素点可以属于同一像素矩阵；任一候选图像中的不同像素点可以位于所属像素矩阵中的同一位置。

可选地，允许所划分的像素矩阵之间存在重合的部分。

在本实施例中，通过划分像素矩阵，可以方便划分出具有较高整体性的候选图像，从而方便后续提取边缘特征信息。

为了便于理解，在一种具体的示例中，针对分辨率为16*16的待调整图像，第一目标分辨率可以是8*8。从而可以针对待调整图像划分出64个互不重合的2*2的像素矩阵，方便提取出4个分辨率为8*8的候选图像。

三、S103：针对划分得到的候选图像，提取边缘特征信息。S104：综合划分得到的N个候选图像和所提取的边缘特征信息，得到分辨率为第一目标分辨率的目标图像。

由于所提取的边缘特征信息，与后续的综合方式存在一定的关联，因此针对S103和S104合并进行解释。

本方法流程并不限定具体提取边缘特征信息的方式。

可选地，可以针对每个候选图像，分别提取边缘特征信息；也可以针对部分候选图像，分别提取边缘特征信息；也可以综合全部的候选图像，采用池化方式提取边缘特征信息，具体可以是最大池化、平均池化或者最小池化。

本方法流程并不限定具体的综合方式。

可选地，可以利用预先训练的网络或者模型，输入N个候选图像和所提取的边缘特征信息，得到网络或者模型输出的，分辨率为第一目标分辨率的目标图像；也可以直接将N个候选图像和所提取的边缘特征信息进行通道叠加，基于叠加结果进行通道合并，得到分辨率为第一目标分辨率的目标图像。

为了便于理解，下面提供两种可选的实施例用于示例性说明。

实施例一。

在本实施例中，将待调整图像划分为N个分辨率为第一目标分辨率的候选图像，可以包括：根据第一目标分辨率，从待调整图像中，划分出若干相同尺寸的像素矩阵；像素矩阵中可以包括N个像素点；根据所划分的像素矩阵，提取出N个分辨率为第一目标分辨率的候选图像。

其中，待调整图像中，在横向上划分的单行像素矩阵数量可以与第一目标分辨率单行像素点数量相同，在纵向上划分的单列像素矩阵数量可以与第一目标分辨率单列像素点数量相同。

不同候选图像中相同位置的像素点可以属于同一像素矩阵；任一候选图像中的不同像素点可以位于所属像素矩阵中的同一位置。

进一步地，在本实施例中，可以将任一候选图像确定为起始图像，从而可以在任一其他候选图像与起始图像之间，确定出相同位置的两个像素点所属的同一像素矩阵，以及在所属的同一像素矩阵中，确定出这两个像素点之间固定的相对方向。

基于这一相对方向，可以获取起始图像在该相对方向上的像素间梯度特征信息，用于表征边缘特征信息。进一步地，所提取的像素间梯度特征信息，与对应的其他候选图像，都可以用于表征待调整图像中像素间的变化特征，从而方便提取特征，用于分辨率的调整，提高展示效果。

可选地，针对划分得到的候选图像，提取边缘特征信息，可以包括：将任一候选图像确定为起始图像；针对起始图像，利用N-1个其他候选图像对应的N-1个预设卷积核，提取N-1个其他候选图像分别对应的N-1个边缘特征图像；边缘特征图像的分辨率可以是第一目标分辨率。

可选地，其中，不同候选图像可以对应于不同预设卷积核；预设卷积核可以用于提取预设方向上的像素间梯度特征信息；预设方向可以包括，对应的候选图像与起始图像之间，相同位置的不同像素点在所属的同一像素矩阵中的相对方向。

具体的预设卷积核的示例可以参见后文。

本实施例并不限定综合的方法。

可选地，可以将划分得到的N个候选图像和所提取的N-1个边缘特征图像进行通道叠加，再提取特征得到目标图像。

可选地，可以将N-1个其他候选图像，分别与对应的N-1个边缘特征图像进行通道叠加，得到N-1个叠加结果，再分别对N-1个叠加结果和起始图像提取特征，综合所提取的N个特征，得到目标图像。

可选地，也可以采用预先训练的模型或者网络，针对输入的N个候选图像和所提取的N-1个边缘特征图像，提取特征得到目标图像。

可选地，综合划分得到的N个候选图像和所提取的边缘特征信息，得到分辨率为第一目标分辨率的目标图像，可以包括：将划分得到的N个候选图像和所提取的N-1个边缘特征图像输入到预先训练的图像通道合并网络，得到图像通道合并网络输出的分辨率为第一目标分辨率的目标图像。

可选地，目标图像与待调整图像的通道数可以相同。

本实施例并不限定图像通道合并网络的具体结构。

可选地，图像通道合并网络可以只包括卷积层，也可以包括卷积层和输出层，以用于输出目标图像。

可选地，图像通道合并网络可以包括表征层和通道合并层。其中，表征层可以用于提取图像特征，具体可以包括一个或多个卷积层。通道合并层可以用于提取图像特征合并图像通道，减少图像通道数。

可选地，图像通道合并网络可以用于：针对N-1个其他候选图像，分别与对应的边缘特征图像进行通道叠加，得到N-1个叠加图像；针对N-1个叠加图像和起始图像，分别利用表征层提取特征，得到N个卷积特征图像；将N个卷积特征图像进行通道叠加，再利用通道合并层提取特征，得到分辨率为第一目标分辨率，且通道数与待调整图像相同的目标图像。

可选地，图像通道合并网络也可以用于：针对N个候选图像和N-1个边缘特征图像，分别利用表征层提取特征，得到2N-1个卷积特征图像；将2N-1个卷积特征图像进行通道叠加，再利用通道合并层提取特征，得到分辨率为第一目标分辨率，且通道数与待调整图像相同的目标图像。

本实施例并不限定表征层和通道合并层的结构和作用。

可选地，表征层可以包括多个不同的卷积层，具体可以包括N个不同的卷积层。从而可以针对N-1个叠加图像和起始图像，分别利用表征层中不同的卷积层提取特征，得到N个卷积特征图像。

其中，可选地，N-1个叠加图像的通道数通常大于起始图像，因此，N-1个叠加图像对应的卷积层可以用于合并图像通道，从而减少图像通道数。可选地，N个卷积特征图像之间的通道数可以相同。

通过不同的卷积层，可以分别学习到不同分支的图像特征，从而方便提高图像通道合并网络的效果，提高展示效果。

可选地，通道合并层可以包括一个或多个串联的卷积层，从而可以通过提取特征合并图像通道，减少图像通道数量。

实施例二。

在本实施例中，将待调整图像划分为N个分辨率为第一目标分辨率的候选图像，可以包括：根据第一目标分辨率，从待调整图像中，划分出若干相同尺寸的像素矩阵；像素矩阵中可以包括N个像素点；根据所划分的像素矩阵，提取出N个分辨率为第一目标分辨率的候选图像。

其中，待调整图像中，在横向上划分的单行像素矩阵数量可以与第一目标分辨率单行像素点数量相同，在纵向上划分的单列像素矩阵数量可以与第一目标分辨率单列像素点数量相同。

可选地，不同候选图像中相同位置的像素点可以属于同一像素矩阵；任一候选图像中的不同像素点可以位于所属像素矩阵中的同一位置。

可选地，任一候选图像中的不同像素点也可以位于所属像素矩阵中的不同位置。允许单个候选图像中不同像素点可以位于所属像素矩阵中的不同位置。

进一步地，在本实施例中，可以采用最大池化的方式提取图像的边缘特征信息，方便提取图像中的纹理细节信息，从而方便提取特征，用于分辨率的调整，提高展示效果。

可选地，针对划分得到的候选图像，提取边缘特征信息，可以包括：针对划分得到的N个候选图像之间每个相同的位置，执行以下操作，得到分辨率为第一目标分辨率的最大池化特征图，并将最大池化特征图确定为所提取的边缘特征信息：将N个候选图像中，所针对位置上N个像素点对应的像素值之间最大的像素值，确定为最大池化特征图中所针对位置上的像素点对应的像素值。

本实施例并不限定综合的方法。

可选地，可以将划分得到的N个候选图像和最大池化特征图进行通道叠加，再提取特征得到目标图像。

可选地，可以将N个候选图像，分别与最大池化特征图进行通道叠加，得到N个叠加结果，再分别对N个叠加结果提取特征，综合所提取的N个特征，得到目标图像。

可选地，也可以采用预先训练的模型或者网络，针对输入的N个候选图像和最大池化特征图，提取特征得到目标图像。

可选地，综合划分得到的N个候选图像和所提取的边缘特征信息，得到分辨率为第一目标分辨率的目标图像，可以包括：将划分得到的N个候选图像和最大池化特征图输入到预先训练的图像通道融合网络，得到图像通道融合网络输出的分辨率为第一目标分辨率的目标图像。

可选地，目标图像可以与待调整图像的通道数相同。

本实施例并不限定图像通道融合网络的具体结构。

可选地，图像通道融合网络可以只包括卷积层，也可以包括卷积层和输出层，以用于输出目标图像。

可选地，图像通道融合网络可以包括表征层和最大池化层。其中，表征层可以用于提取图像特征，具体可以包括一个或多个卷积层。最大池化层可以用于通过最大池化的方式，针对表征层输出的多个图像进行综合，得到目标图像。

可选地，图像通道融合网络可以用于：针对N个候选图像，分别与最大池化特征图进行通道叠加，得到N个叠加结果；针对N个叠加结果，分别利用表征层提取特征，得到分辨率为第一目标分辨率，且通道数与待调整图像相同的N个备选图像；将N个备选图像输入到最大池化层，得到分辨率为第一目标分辨率，且通道数与待调整图像相同的目标图像。

可选地，图像通道融合网络也可以用于：针对N个候选图像和最大池化特征图，分别利用表征层提取特征，得到分辨率为第一目标分辨率，且通道数与待调整图像相同的N+1个备选图像；将N+1个备选图像输入到最大池化层，得到分辨率为第一目标分辨率，且通道数与待调整图像相同的目标图像。

本实施例并不限定表征层和最大池化层的结构和作用。

可选地，表征层可以包括多个不同的卷积层，具体可以包括N个不同的卷积层。从而可以针对N个叠加结果，分别利用表征层中不同的卷积层提取特征，得到N个备选图像。具体可以采用不改变图像分辨率的特征提取方式。

可选地，表征层可以针对N个叠加结果，分别进行通道合并，减少图像通道数量。

通过不同的卷积层，可以分别学习到不同分支的图像特征，从而方便提高图像通道合并网络的效果，提高展示效果。

可选地，最大池化层可以用于：针对N个备选图像之间每个相同的位置，执行以下操作，得到分辨率为第一目标分辨率的目标图像：将N个备选图像中，所针对位置上N个像素点对应的像素值之间最大的像素值，确定为目标图像中所针对位置上的像素点对应的像素值。

在另一种可选的实施例中，可以综合上述实施例一和实施例二得到的目标图像，综合得到最终的目标图像。

在一种可选的实施例中，上述方法流程包括的实施例，可以用一个整体的图像下采样网络实现。

图像下采样网络可以用于针对待调整图像进行下采样，从而降低分辨率。

可选地，可以将待调整图像和第一目标分辨率输入图像下采样网络，获取图像下采样网络输出的目标图像。

可选地，图像下采样网络可以包括上述实施例中的图像通道合并网络和/或图像通道融合网络。图像下采样网络可以针对划分待调整图像得到的N个候选图像，进一步执行上述实施例一和/或实施例二的方法，得到目标图像。

上述方法流程解释的是降低分辨率的实施例。

本发明实施例还提供了一种提高图像分辨率的方法实施例。

如图2所示，图2是根据本发明实施例示出的另一种图像分辨率调整方法的流程示意图。

本发明实施例并不限定本方法流程的执行主体。可选地，执行主体可以是任一计算设备。例如，服务端、显示终端、个人电脑、相机等。

该方法可以包括以下步骤。

S201：获取待调整图像和第二目标分辨率；待调整图像的分辨率低于第二目标分辨率。

S202：根据第二目标分辨率和待调整图像的分辨率，确定M个像素扩展方向。

可选地，M可以是正整数且M≥1；其中，(M+1)与待调整图像的分辨率之间的乘积，可以大于或等于第二目标分辨率。

S203：针对待调整图像，分别获取M个像素扩展方向上的M个边缘特征信息。

S204：综合待调整图像和M个边缘特征信息，得到分辨率为第二目标分辨率的目标图像。

上述方法流程可以通过在图像分辨率调整的过程中，引入边缘特征信息用于图像分辨率调整，从而可以提高展示效果。

此外，上述方法流程在提高分辨率的过程中，可以确定出多个像素扩展方向，并且可以确定出各个像素扩展方向上的边缘特征信息，从而方便后续的特征提取，能够提高展示效果。

可选地，上述方法流程可以由一个预先训练的图像超分网络整体执行。具体可以参见后文解释。

下面针对各个步骤进行详细的解释。

一、S201：获取待调整图像和第二目标分辨率；待调整图像的分辨率低于第二目标分辨率。

本方法流程并不限定待调整图像的形式。具体可以并不限定待调整图像的通道数。

可选地，待调整图像可以包括具有RGB三通道的图像，也可以包括具有多通道的特征图像。

可选地，待调整图像可以包括基于原始图像进行特征提取得到的特征图像。其中，并不限定特征提取的方式，也并不限定待调整图像的通道数量。

可选地，第二目标分辨率可以是针对待调整图像，所需要调整的目标分辨率。

二、S202：根据第二目标分辨率和待调整图像的分辨率，确定M个像素扩展方向。

本方法流程并不限定M的确定方式，也不限定像素扩展方向的确定方式。

可选地，M可以是正整数且M≥1；其中，(M+1)与待调整图像的分辨率之间的乘积，可以大于或等于第二目标分辨率。

可选地，可以根据第二目标分辨率和待调整图像的分辨率之间宽高的大小关系，确定像素扩展方向。

例如，针对分辨率为4*4(宽高都为4)的待调整图像，与取值为4*8(宽为4，高为8)的第二目标分辨率，则可以确定需要在纵向上进行像素扩展，实现图像超分，也就是提高图像分辨率。因此，可以确定纵向为像素扩展方向。

又例如，针对分辨率为4*4(宽高都为4)的待调整图像，与取值为8*8(宽为8，高为8)的第二目标分辨率，则可以确定需要在三个方向上进行像素扩展。具体可以包括纵向、横向和斜向。

三、S203：针对待调整图像，分别获取M个像素扩展方向上的M个边缘特征信息。S204：综合待调整图像和M个边缘特征信息，得到分辨率为第二目标分辨率的目标图像。

由于所提取的边缘特征信息，与后续的综合方式存在一定的关联，因此针对S203和S204合并进行解释。

本方法流程并不限定具体提取边缘特征信息的方式。

可选地，可以根据像素扩展方向，提取该方向上的像素间梯度特征信息；也可以根据像素扩展方向，提取该方向上的像素取值变化特征信息。

本方法流程并不限定具体的综合方式。

可选地，可以采用预先训练的网络或者模型，输入待调整图像和M个边缘特征信息，得到网络或者模型输出的，分辨率为第二目标分辨率的目标图像；也可以将待调整图像分别和M个边缘特征信息进行通道叠加，基于叠加结果进行通道合并，再进行图像组合，得到分辨率为第二目标分辨率的目标图像。

为了便于理解，下面提供了一种可选的实施例用于示例性说明。

可选地，针对待调整图像，分别获取M个像素扩展方向上的M个边缘特征信息，可以包括：针对待调整图像，分别利用M个像素扩展方向对应的M个预设卷积核，提取M个边缘特征图像；边缘特征图像的分辨率与待调整图像的分辨率相同。

可选地，其中，不同像素扩展方向可以对应于不同预设卷积核；预设卷积核可以用于提取对应的像素扩展方向上的像素间梯度特征信息。

具体的预设卷积核示例可以参见后文。

本实施例并不限定综合方式。

可选地，可以将M个边缘特征图像和待调整图像直接进行组合，得到目标图像。

可选地，可以针对M个边缘特征图像和待调整图像分别提取特征图像之后，再进行组合得到目标图像。

可选地，可以采用预先训练的模型或者网络，针对输入的M个边缘特征图像和待调整图像，提取特征得到目标图像。

可选地，综合待调整图像和M个边缘特征信息，得到分辨率为第二目标分辨率的目标图像，可以包括：将待调整图像和M个边缘特征图像输入到预先训练的图像组合网络，得到图像组合网络输出的分辨率为第二目标分辨率的目标图像；目标图像与待调整图像的通道数相同。

本实施例并不限定图像组合网络的具体结构。

可选地，图像组合网络可以只包括卷积层，也可以包括卷积层和输出层，以用于输出目标图像。

可选地，图像组合网络可以包括表征层和组合层。其中，表征层可以用于提取图像特征，具体可以包括一个或多个卷积层，也可以包括Unet网络结构。

可选地，表征层可以用于进行特征聚焦，具体可以用于针对待调整图像和M个边缘特征图像分别进行特征聚焦，从而可以学习到不同分支的图像特征，提高图像超分的展示效果。

可选地，组合层可以用于组合表征层输出的图像，并输出分辨率为第二目标分辨率的目标图像。

可选地，组合层可以不改变输入输出图像的通道数量。

可选地，图像组合网络可以用于：针对M个边缘特征图像，分别与待调整图像进行通道叠加，得到M个叠加结果；针对M个叠加结果和待调整图像，分别利用表征层提取特征，得到分辨率和通道数与待调整图像相同的M+1个待组合图像；将M+1个待组合图像输入到组合层，得到分辨率为第二目标分辨率，且通道数与待调整图像相同的目标图像。

当然，可选地，图像组合网络可以并不进行通道叠加，直接用于针对M个边缘特征图像和待调整图像，分别利用表征层提取特征，得到分辨率和通道数与待调整图像相同的M+1个待组合图像；将M+1个待组合图像输入到组合层，得到分辨率为第二目标分辨率，且通道数与待调整图像相同的目标图像。

本实施例并不限定表征层和组合层的结构和作用。

可选地，表征层可以包括多个不同的卷积层，具体可以包括M+1个不同的卷积层。从而可以针对M个叠加结果和待调整图像，分别利用表征层中不同的卷积层提取特征，得到M+1个待组合图像。

可选地，表征层可以包括多个不同的特征聚焦层，特征聚焦层的输入输出图像的分辨率和通道数可以相同。特征聚焦层具体可以包括Unet网络。表征层具体可以包括M+1个不同的特征聚焦层。从而可以针对M个叠加结果和待调整图像，分别利用表征层中不同的特征聚焦层提取特征，得到M+1个待组合图像。

通过不同的卷积层和/或特征聚焦层，可以分别学习到不同分支的图像特征，从而方便提高图像组合网络的效果，提高展示效果。

可选地，组合层可以用于：针对待调整图像对应的待组合图像中每个像素点执行以下操作，得到组合结果：以所针对的像素点为起点，基于M个像素扩展方向扩展得到一个包含M+1个像素点的像素矩阵，并将其他M个待组合图像中与所针对像素点位置相同的像素点添加到所扩展的像素矩阵中；根据所得到的组合结果，经过预设图像处理得到分辨率为第二目标分辨率，且通道数与待调整图像相同的目标图像。

可选地，扩展得到的像素矩阵中可以包括作为起点的像素点。

可选地，由于(M+1)与待调整图像的分辨率之间的乘积，可以大于或等于第二目标分辨率，因此，所得到的组合结果的分辨率可能大于或等于第二目标分辨率。

本实施例并不限定预设图像处理的方式。

可选地，在组合结果的分辨率等于第二目标分辨率的情况下，可以直接将组合结果确定为目标图像。

可选地，在组合结果的分辨率大于第二目标分辨率的情况下，可以通过删除或合并部分像素点，或者通过图像下采样的方式，例如上述方法流程S101-S104中的实施例，得到分辨率为第二目标分辨率，且通道数与待调整图像相同的目标图像。

在一种可选的实施例中，上述方法流程包括的实施例，可以用一个整体的图像超分网络实现。

图像超分网络可以用于针对待调整图像进行超分，从而提高分辨率。

可选地，可以将待调整图像和第二目标分辨率输入图像超分网络，获取图像超分网络输出的目标图像。

可选地，图像超分网络可以包括上述实施例中的图像组合网络。图像超分网络可以针对待调整图像确定M个像素扩展方向，进而执行上述实施例的方法，得到目标图像。

为了便于理解，本发明实施例还提供了三种应用实施例。

应用实施例一。

如图3所示，图3是根据本发明实施例示出的一种图像下采样网络的结构示意图。

其中，图像下采样网络可以包括拆分层(mux层)、方向算子层、卷积层和输出层。

图3中的图像下采样网络可以针对分辨率为20*20的待调整图像，将分辨率降低为10*10。

针对mux层，其中mux层的作用是将一个二维矩阵按照如图中像素排列规则进行分解，分解为4个长、宽均为原矩阵一半的小矩阵(例如，图3中的M1、M2、M3和M4)。

图像下采样网络针对输入的待调整图像(通道数为nf)，可以利用mux层，拆分为4个10*10的候选图像。具体可以是将待调整图像划分为100个2*2的像素矩阵，一个像素矩阵例如a11、b11、c11和d11。

之后可以从各个像素矩阵的固定位置中选择一个像素点，组合成候选图像。例如，可以选择各个2*2像素矩阵左上角的像素点，组合成包括a11、a12、...a21、a22等像素点的候选图像(下述a候选图像，也就是图3中的M1)。

针对方向算子层，可以选择其中一个候选图像确定为起始图像。图3中选择了a候选图像作为起始图像，从而可以确定各个候选图像之间相同位置像素点之间，在所属像素矩阵中的相对方向。

例如，对包括b11、b12、...b21、b22等像素点的候选图像(下述b候选图像，也就是图3中的M2)，b11在a11的右边。

进一步地，可以分别利用相对方向对应的预设卷积核，提取a候选图像(也就是M1)在相对方向上的像素间梯度特征信息。

例如，针对向右方向对应的预设卷积核，可以提取出向右方向上的像素间梯度特征信息。

当然，图3中的预设卷积核示例仅仅用于示例性说明，并不限定本说明书公开的范围。

方向算子层中，可以针对同一个相对方向，将“a候选图像在该方向上的像素间梯度特征信息”，和“该方向上的其他候选图像”进行通道叠加，用于后续利用卷积层提取特征。叠加结果的通道数为nf*2。

例如，针对向右方向的方向算子，可以针对a候选图像(M1)的向右方向上像素间梯度特征信息，以及b候选图像进行通道叠加。

针对卷积层，可以分别针对a候选图像(M1)、以及其他3个分支中方向算子层输出的叠加结果，分别采用不同的卷积层提取特征。

针对a候选图像，可以直接采用通道数不变的卷积层提取特征。当然，也可以不提取特征。

针对其他3个分支中的叠加结果，可以采用合并图像通道的卷积层提取特征，将通道数nf*2减少为nf。

图3中的Conv(nf*2->nf)代表该卷积层的通道数输入为nf*2，输出为nf。(nf可以为64，48，32等)。

针对输出层，可以先将4个分支中卷积层提取的特征进行通道叠加，再将叠加结果经过卷积层进行通道融合，而分辨率可以不变，从而得到分辨率为第一目标分辨率，且通道数与待调整图像相同的目标图像。

经过后面Concat通道叠加后，可以将4组特征经过一个卷积层进行融合，该卷积层输入通道数为nf*4，输出通道数为nf。

该网络结构可以作为一个下采样算子应用于深度学习网络中。

应用实施例二。

如图4所示，图4是根据本发明实施例示出的另一种图像下采样网络的结构示意图。

其中，图像下采样网络可以包括拆分层(mux层)、下采样最大池化层(maxpooling层)、卷积层和图像间最大池化层(Gmaxpooling层)。

图4中的图像下采样网络可以针对分辨率为20*20的待调整图像(通道数为nf)，将分辨率降低为10*10。

mux层可以参见上述应用实施例一的解释。

针对下采样最大池化层，可以用于针对各个划分的像素矩阵，确定其中最大的像素值，从而得到10*10的最大池化特征图。

例如，针对像素矩阵(a11、b11、c11和d11)，可以确定其中最大的像素值，确定为最大池化特征图中的像素值。

Maxpooling层可以是对待调整图像I通过最大池化进行下采样得到的图像，具体可以保留小区域范围内的最大值，这些最大值可以更好地代表图像的细节纹理信息。

针对卷积层，可以将最大池化特征图，分别与4个候选图像进行通道叠加和卷积，具体可以通过卷积进行特征融合，从而得到通道数为nf，分辨率为10*10的4个备选图像(也即是F1-F4)。

经过Mux后得到的M1\M2\M3\M4可以分别和最大池化特征图进行通道叠加，并通过卷积进行特征融合，这里Conv的输入通道为nf*2，输出通道为nf。

针对图像间最大池化层，可以针对F1-F4进行图像间最大池化，也就是确定F1-F4之间相同位置的4个像素点之间，对应的最大像素值，从而可以得到最终的通道数为nf，分辨率为10*10的目标图像。

其中，Gmaxpooling层的作用是点对点取F1/F2/F3/F4的最大值并输出。Gmaxpooling(F1,F2,F3,F4)＝MAX(F1,F2,F3,F4)。

应用实施例三。

如图5所示，图5是根据本发明实施例示出的一种图像超分网络的结构示意图。

基于上述方向算子下采样的思想可以同理设计图像超分网络

其中，图像超分网络可以包括特征提取层、方向算子层、特征聚焦层和组合层(DeMux层)。

图5中的图像超分网络可以针对分辨率为10*10的待调整图像(通道数为nf)，将分辨率提高为20*20。

针对特征提取层，具体可以采用卷积层，针对图像I提取特征。所提取的特征图F可以与图像I分辨率相同，而特征图F的通道数量可以大于图像I。

需要说明的是，可以将图像I看作是待调整图像，也可以将特征图F看作是待调整图像。

图5网络中的特征提取层目的是为了将图像信息转换为特征信息，最简单的可以使用一个3x3卷积层，也可以连续使用2个/3个/n个卷积层进行特征提取，本实施例不做具体的网络结构限制。

针对方向算子层，可以确定出3个像素扩展方向，分别是向右、向下和斜向右下。

首先解释各个分支的方向算子，可以针对特征图F，利用预设卷积核提取各个像素扩展方向上的像素间梯度特征信息。

之后可以将所提取的像素间梯度特征信息与特征图F进行通道叠加。

其中，具体利用预设卷积核提取的像素间梯度特征信息，可以是梯度特征图。梯度特征图的分辨率可以和特征图F相同。

针对特征聚焦层，本实施例并不限定具体的结构。可选地，可以采用卷积层提取特征，也可以采用Unet结构。

图5中的特征聚焦层作用是提取每个分支上图像的特征信息，比如可以使用典型的Unet结构。同理的这里Unet仅是一个例子，理论上常用于超分中的网络都可以作为特征聚焦层使用到这里。

各个特征聚焦层可以分别针对各个分支输出的叠加结果，提取特征，得到4个待组合的图像。待组合图像的分辨率为10*10，通道数为nf。

需要说明的是，特征图F自身可以利用特征聚焦层，具体可以是通过Unet提取特征，而输入输出图像的通道数和分辨率可以不变。

而对于另外3个利用方向算子的分支，经过通道叠加可以得到nf*2的叠加结果，从而可以利用特征聚焦层，提取出分辨率不变，而通道数减少为nf的特征图。可选地，另外3个利用方向算子的分支中，特征聚焦层可以在Unet之前设置一个Conv(nf*2->nf)。

针对组合层，可以将得到的4个待组合图像进行组合。

在之前的应用实施例中，Mux层可以将图像的像素拆分为4个小部分，根据像素的位置可以发现每个小部分是有一定的方向信息的，因此借助方向算子能够更加有效的提取图像的信息。

同理DeMux也根据同Mux相同的排布规则将4个小图合并为一个大图，因此在设计超分网络时，可以借助方向算子分为4个分支分别进行特征提取，最后经过DeMux超分为大图像。

其中Demux层的作用是进行二维矩阵的组合，可以将4个大小一致的小矩阵组合成为一个大矩阵，其中大矩阵的长、宽均为小矩阵的2倍。

例如，可以将4个待组合图像中同一位置的像素点(a11、b11、c11和d11)组合在同一个像素矩阵中，从而可以得到分辨率为20*20的目标图像。

而组合层可以不改变输入输出图像的通道数，从而可以根据通道数为nf的待组合图像，得到通道数为nf的目标图像。

对应于上述方法实施例，本发明实施例还提供了对应的装置实施例。

如图6所示，图6是根据本发明实施例示出的一种图像分辨率调整装置的结构示意图。

该装置可以包括以下单元。

第一获取单元301，用于获取待调整图像和第一目标分辨率；待调整图像的分辨率高于第一目标分辨率；

划分单元302，用于将待调整图像划分为N个分辨率为第一目标分辨率的候选图像；其中，待调整图像中的每个像素点信息包含在任一候选图像中；N为正整数且N＞1；

第一特征单元303，用于针对划分得到的候选图像，提取边缘特征信息；

第一综合单元304，用于综合划分得到的N个候选图像和所提取的边缘特征信息，得到分辨率为第一目标分辨率的目标图像。

可选地，划分单元302用于：

根据第一目标分辨率，从待调整图像中，划分出若干相同尺寸的像素矩阵；像素矩阵中包括N个像素点；

其中，待调整图像中，在横向上划分的单行像素矩阵数量与第一目标分辨率单行像素点数量相同，在纵向上划分的单列像素矩阵数量与第一目标分辨率单列像素点数量相同；

根据所划分的像素矩阵，提取出N个分辨率为第一目标分辨率的候选图像。

可选地，不同候选图像中相同位置的像素点属于同一像素矩阵；任一候选图像中的不同像素点位于所属像素矩阵中的同一位置。

可选地，第一特征单元303，用于：

将任一候选图像确定为起始图像；

针对起始图像，利用N-1个其他候选图像对应的N-1个预设卷积核，提取N-1个其他候选图像分别对应的N-1个边缘特征图像；边缘特征图像的分辨率为第一目标分辨率；

其中，不同候选图像对应于不同预设卷积核；预设卷积核用于提取预设方向上的像素间梯度特征信息；预设方向为，对应的候选图像与起始图像之间，相同位置的不同像素点在所属的同一像素矩阵中的相对方向。

可选地，第一综合单元304用于：

将划分得到的N个候选图像和所提取的N-1个边缘特征图像输入到预先训练的图像通道合并网络，得到图像通道合并网络输出的分辨率为第一目标分辨率的目标图像。可选地，目标图像可以与待调整图像的通道数相同。

可选地，图像通道合并网络用于：

针对N-1个其他候选图像，分别与对应的边缘特征图像进行通道叠加，得到N-1个叠加图像；

针对N-1个叠加图像和起始图像，分别利用表征层提取特征，得到N个卷积特征图像；

将N个卷积特征图像进行通道叠加，再利用通道合并层提取特征，得到分辨率为第一目标分辨率，且通道数与待调整图像相同的目标图像。

可选地，第一特征单元303用于：

针对划分得到的N个候选图像之间每个相同的位置，执行以下操作，得到分辨率为第一目标分辨率的最大池化特征图，并将最大池化特征图确定为所提取的边缘特征信息：

将N个候选图像中，所针对位置上N个像素点对应的像素值之间最大的像素值，确定为最大池化特征图中所针对位置上的像素点对应的像素值。

可选地，第一综合单元304用于：

将划分得到的N个候选图像和最大池化特征图输入到预先训练的图像通道融合网络，得到图像通道融合网络输出的分辨率为第一目标分辨率的目标图像。可选地，目标图像可以与待调整图像的通道数相同。

可选地，图像通道融合网络用于：

针对N个候选图像，分别与最大池化特征图进行通道叠加，得到N个叠加结果；

针对N个叠加结果，分别利用表征层提取特征，得到分辨率为第一目标分辨率，且通道数与待调整图像相同的N个备选图像；

将N个备选图像输入到最大池化层，得到分辨率为第一目标分辨率，且通道数与待调整图像相同的目标图像。

可选地，最大池化层用于：

针对N个备选图像之间每个相同的位置，执行以下操作，得到分辨率为第一目标分辨率，且通道数与待调整图像相同的目标图像：

将N个备选图像中，所针对位置上N个像素点对应的像素值之间最大的像素值，确定为目标图像中所针对位置上的像素点对应的像素值。

具体的解释可以参见上述方法实施例。

如图7所示，图7是根据本发明实施例示出的另一种图像分辨率调整装置的结构示意图。

该装置可以包括以下单元。

第二获取单元401，用于获取待调整图像和第二目标分辨率；待调整图像的分辨率低于第二目标分辨率；

方向确定单元402，用于根据第二目标分辨率和待调整图像的分辨率，确定M个像素扩展方向；M为正整数且M≥1；其中，(M+1)与待调整图像的分辨率之间的乘积，大于或等于第二目标分辨率；

第二特征单元403，用于针对待调整图像，分别获取M个像素扩展方向上的M个边缘特征信息；

第二综合单元404，用于综合待调整图像和M个边缘特征信息，得到分辨率为第二目标分辨率的目标图像。

可选地，第二特征单元403用于：

针对待调整图像，分别利用M个像素扩展方向对应的M个预设卷积核，提取M个边缘特征图像；边缘特征图像的分辨率与待调整图像的分辨率相同；

其中，不同像素扩展方向对应于不同预设卷积核；预设卷积核用于提取对应的像素扩展方向上的像素间梯度特征信息。

可选地，第二综合单元404用于：

将待调整图像和M个边缘特征图像输入到预先训练的图像组合网络，得到图像组合网络输出的分辨率为第二目标分辨率的目标图像；目标图像与待调整图像的通道数相同。

可选地，图像组合网络用于：

针对M个边缘特征图像，分别与待调整图像进行通道叠加，得到M个叠加结果；

针对M个叠加结果和待调整图像，分别利用表征层提取特征，得到分辨率和通道数与待调整图像相同的M+1个待组合图像；

将M+1个待组合图像输入到组合层，得到分辨率为第二目标分辨率，且通道数与待调整图像相同的目标图像。

可选地，组合层用于：

针对待调整图像对应的待组合图像中每个像素点执行以下操作，得到组合结果：

以所针对的像素点为起点，基于M个像素扩展方向扩展得到一个包含M+1个像素点的像素矩阵，并将其他M个待组合图像中与所针对像素点位置相同的像素点添加到所扩展的像素矩阵中；

根据所得到的组合结果，经过预设图像处理得到分辨率为第二目标分辨率，且通道数与待调整图像相同的目标图像。

具体的解释可以参见上述方法实施例。

本发明实施例还提供一种计算机设备，其至少包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，处理器执行所述程序时实现上述任一方法实施例。

本发明实施例还提供一种电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述任一方法实施例。

图8是根据本发明实施例示出的一种配置本发明实施例方法的计算机设备硬件结构示意图，该设备可以包括：处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。

处理器1010可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本发明实施例所提供的技术方案。

存储器1020可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器1020可以存储操作***和其他应用程序，在通过软件或者固件来实现本发明实施例所提供的技术方案时，相关的程序代码保存在存储器1020中，并由处理器1010来调用执行。

输入/输出接口1030用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。

通信接口1040用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。

总线1050包括一通路，在设备的各个组件(例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040)之间传输信息。

需要说明的是，尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本发明实施例方案所必需的组件，而不必包含图中所示的全部组件。

本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一方法实施例。

本发明实施例还提供一种存储有计算机程序的计算机可读存储介质，所述计算机程序在由处理器执行时实现上述任一方法实施例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明实施例可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例的技术方案本质上或者说做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明实施例各个实施例或者实施例的某些部分所述的方法。

上述实施例阐明的***、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，在实施本发明实施例方案时可以把各模块的功能在同一个或多个软件和/或硬件中实现。也可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述仅是本发明实施例的具体实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明实施例原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明实施例的保护。

在本发明中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。术语“多个”指两个或两个以上，除非另有明确的限定。

本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (18)

1.一种图像分辨率调整方法，其特征在于，包括：

获取待调整图像和第一目标分辨率；所述待调整图像的分辨率高于所述第一目标分辨率；

将所述待调整图像划分为N个分辨率为所述第一目标分辨率的候选图像；其中，所述待调整图像中的每个像素点信息包含在任一候选图像中；N为正整数且N＞1；

针对划分得到的候选图像，提取边缘特征信息；

综合划分得到的N个候选图像和所提取的边缘特征信息，得到分辨率为所述第一目标分辨率的目标图像。

2.根据权利要求1所述的方法，其特征在于，所述将所述待调整图像划分为N个分辨率为所述第一目标分辨率的候选图像，包括：

根据所述第一目标分辨率，从所述待调整图像中，划分出若干相同尺寸的像素矩阵；所述像素矩阵中包括N个像素点；

其中，所述待调整图像中，在横向上划分的单行像素矩阵数量与所述第一目标分辨率单行像素点数量相同，在纵向上划分的单列像素矩阵数量与所述第一目标分辨率单列像素点数量相同；

根据所划分的像素矩阵，提取出N个分辨率为所述第一目标分辨率的候选图像。

3.根据权利要求2所述的方法，其特征在于，不同候选图像中相同位置的像素点属于同一像素矩阵；任一候选图像中的不同像素点位于所属像素矩阵中的同一位置。

4.根据权利要求3所述的方法，其特征在于，所述针对划分得到的候选图像，提取边缘特征信息，包括：

将任一候选图像确定为起始图像；

针对所述起始图像，利用N-1个其他候选图像对应的N-1个预设卷积核，提取所述N-1个其他候选图像分别对应的N-1个边缘特征图像；所述边缘特征图像的分辨率为所述第一目标分辨率；

其中，不同候选图像对应于不同预设卷积核；所述预设卷积核用于提取预设方向上的像素间梯度特征信息；所述预设方向为，对应的候选图像与所述起始图像之间，相同位置的不同像素点在所属的同一像素矩阵中的相对方向。

5.根据权利要求4所述的方法，其特征在于，所述综合划分得到的N个候选图像和所提取的边缘特征信息，得到分辨率为所述第一目标分辨率的目标图像，包括：

将划分得到的N个候选图像和所提取的N-1个边缘特征图像输入到预先训练的图像通道合并网络，得到所述图像通道合并网络输出的分辨率为所述第一目标分辨率的目标图像。

6.根据权利要求5所述的方法，其特征在于，所述图像通道合并网络用于：

针对所述N-1个其他候选图像，分别与对应的边缘特征图像进行通道叠加，得到N-1个叠加图像；

针对所述N-1个叠加图像和所述起始图像，分别利用表征层提取特征，得到N个卷积特征图像；

将所述N个卷积特征图像进行通道叠加，再利用通道合并层提取特征，得到分辨率为所述第一目标分辨率，且通道数与所述待调整图像相同的目标图像。

7.根据权利要求2所述的方法，其特征在于，所述针对划分得到的候选图像，提取边缘特征信息，包括：

针对划分得到的N个候选图像之间每个相同的位置，执行以下操作，得到分辨率为所述第一目标分辨率的最大池化特征图，并将所述最大池化特征图确定为所提取的边缘特征信息：

将所述N个候选图像中，所针对位置上N个像素点对应的像素值之间最大的像素值，确定为最大池化特征图中所针对位置上的像素点对应的像素值。

8.根据权利要求7所述的方法，其特征在于，所述综合划分得到的N个候选图像和所提取的边缘特征信息，得到分辨率为所述第一目标分辨率的目标图像，包括：

将划分得到的N个候选图像和所述最大池化特征图输入到预先训练的图像通道融合网络，得到所述图像通道融合网络输出的分辨率为所述第一目标分辨率的目标图像。

9.根据权利要求8所述的方法，其特征在于，所述图像通道融合网络用于：

针对所述N个候选图像，分别与所述最大池化特征图进行通道叠加，得到N个叠加结果；

针对所述N个叠加结果，分别利用表征层提取特征，得到分辨率为所述第一目标分辨率，且通道数与所述待调整图像相同的N个备选图像；

将所述N个备选图像输入到最大池化层，得到分辨率为所述第一目标分辨率，且通道数与所述待调整图像相同的目标图像。

10.一种图像分辨率调整方法，其特征在于，包括：

获取待调整图像和第二目标分辨率；所述待调整图像的分辨率低于所述第二目标分辨率；

根据所述第二目标分辨率和所述待调整图像的分辨率，确定M个像素扩展方向；M为正整数且M≥1；其中，(M+1)与所述待调整图像的分辨率之间的乘积，大于或等于所述第二目标分辨率；

针对所述待调整图像，分别获取所述M个像素扩展方向上的M个边缘特征信息；

综合所述待调整图像和所述M个边缘特征信息，得到分辨率为所述第二目标分辨率的目标图像。

11.根据权利要求10所述的方法，其特征在于，所述针对所述待调整图像，分别获取所述M个像素扩展方向上的M个边缘特征信息，包括：

针对所述待调整图像，分别利用所述M个像素扩展方向对应的M个预设卷积核，提取M个边缘特征图像；所述边缘特征图像的分辨率与所述待调整图像的分辨率相同；

其中，不同像素扩展方向对应于不同预设卷积核；所述预设卷积核用于提取对应的像素扩展方向上的像素间梯度特征信息。

12.根据权利要求11所述的方法，其特征在于，所述综合所述待调整图像和所述M个边缘特征信息，得到分辨率为所述第二目标分辨率的目标图像，包括：

将所述待调整图像和所述M个边缘特征图像输入到预先训练的图像组合网络，得到所述图像组合网络输出的分辨率为所述第二目标分辨率的目标图像；所述目标图像与所述待调整图像的通道数相同。

13.根据权利要求12所述的方法，其特征在于，所述图像组合网络用于：

针对所述M个边缘特征图像，分别与所述待调整图像进行通道叠加，得到M个叠加结果；

针对所述M个叠加结果和所述待调整图像，分别利用表征层提取特征，得到分辨率和通道数与所述待调整图像相同的M+1个待组合图像；

将所述M+1个待组合图像输入到组合层，得到分辨率为所述第二目标分辨率，且通道数与所述待调整图像相同的目标图像。

14.根据权利要求13所述的方法，其特征在于，所述组合层用于：

针对所述待调整图像对应的待组合图像中每个像素点执行以下操作，得到组合结果：

以所针对的像素点为起点，基于所述M个像素扩展方向扩展得到一个包含M+1个像素点的像素矩阵，并将其他M个待组合图像中与所针对像素点位置相同的像素点添加到所扩展的像素矩阵中；

根据所得到的组合结果，经过预设图像处理得到分辨率为所述第二目标分辨率，且通道数与所述待调整图像相同的目标图像。

15.一种图像分辨率调整装置，其特征在于，包括：

第一获取单元，用于获取待调整图像和第一目标分辨率；所述待调整图像的分辨率高于所述第一目标分辨率；

划分单元，用于将所述待调整图像划分为N个分辨率为所述第一目标分辨率的候选图像；其中，所述待调整图像中的每个像素点信息包含在任一候选图像中；N为正整数且N＞1；

第一特征单元，用于针对划分得到的候选图像，提取边缘特征信息；

第一综合单元，用于综合划分得到的N个候选图像和所提取的边缘特征信息，得到分辨率为所述第一目标分辨率的目标图像。

16.一种图像分辨率调整装置，其特征在于，包括：

第二获取单元，用于获取待调整图像和第二目标分辨率；所述待调整图像的分辨率低于所述第二目标分辨率；

方向确定单元，用于根据所述第二目标分辨率和所述待调整图像的分辨率，确定M个像素扩展方向；M为正整数且M≥1；其中，(M+1)与所述待调整图像的分辨率之间的乘积，大于或等于所述第二目标分辨率；

第二特征单元，用于针对所述待调整图像，分别获取所述M个像素扩展方向上的M个边缘特征信息；

第二综合单元，用于综合所述待调整图像和所述M个边缘特征信息，得到分辨率为所述第二目标分辨率的目标图像。

17.一种电子设备，其特征在于，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至14中任一项所述方法。

18.一种存储有计算机程序的计算机可读存储介质，其特征在于，所述计算机程序在由处理器执行时实现权利要求1至14中任一项所述方法。

Images