CN113421189A - 图像超分辨率处理方法和装置、电子设备 - Google Patents

Abstract

本申请涉及一种图像超分辨率处理方法，应用于超分辨率处理芯片，包括：获取待处理图像；基于待处理图像的图像复杂度确定待处理图像对应的目标分割方式，根据目标分割方式对待处理图像进行分割得到对应的至少两个分割子图像，并分别输入至少两个超分辨率电路模块，对分割子图像块进行并行超分辨率处理；各个超分辨率电路模块分别获取与输入的分割子图像的分割类别匹配的超分辨率处理模式，对分割子图像进行超分辨率处理，得到各个分割子图像对应的超分辨率分割子图像；将各个超分辨率分割子图像进行合成得到待处理图像对应的目标超分辨率图像。本申请还公开了一种图像超分辨率处理装置、电子设备以及计算机可读存储介质，提高超分辨率的处理效率。

Description

图像超分辨率处理方法和装置、电子设备

技术领域

本申请涉及电子设备技术领域，特别是涉及一种图像超分辨率处理方法和装置、电子设备以及计算机可读存储介质。

背景技术

近年来，随着显示技术的发展，显示屏的硬件分辨率也是在不断的提升。目前虽然显示屏的分辨率提升非常多，但是很多内容源由于网络带宽和拍摄源的影响，实际内容的分辨率还是有非常多的低分辨率，最终为了显示到对应屏幕硬件的分辨率上，需要进行超分辨率处理，将低分辨率图像重建为高分辨率图像，再进行显示。

但是，超分辨率处理消耗的时间久，超分辨率处理完成后输出到显示屏上显示的时延大。

发明内容

本申请实施例提供一种图像超分辨率处理方法、装置、电子设备以及计算机可读存储介质，通过待处理图像的复杂度对图像进行分割，将得到的分割子图像分别输入超分辨率处理芯片中的至少两个超分辨率电路模块，进行并行超分辨率处理，减少了超分辨率处理的延时，提高了超分辨率的处理效率。

第一方面，本申请实施例提供了一种图像超分辨率处理方法。所述方法应用于超分辨率处理芯片，包括：

获取待处理图像；

基于所述待处理图像的图像复杂度确定所述待处理图像对应的目标分割方式，根据目标分割方式对所述待处理图像进行分割得到对应的至少两个分割子图像；

将所述分割子图像分别输入至少两个超分辨率电路模块，所述超分辨率电路模块对所述分割子图像块进行并行超分辨率处理；

各个超分辨率电路模块分别获取与输入的分割子图像的分割类别匹配的超分辨率处理模式；

根据与分割子图像的分割类别匹配的超分辨率处理模式对分割子图像进行超分辨率处理，得到各个分割子图像对应的超分辨率分割子图像；

将各个超分辨率分割子图像进行合成得到所述待处理图像对应的目标超分辨率图像。

第二方面，本申请实施例提供了一种图像超分辨率处理装置。所述装置应用于超分辨率处理芯片，包括：

获取模块，用于获取待处理图像；

分割模块，用于基于所述待处理图像的图像复杂度确定所述待处理图像对应的目标分割方式，根据目标分割方式对所述待处理图像进行分割得到对应的至少两个分割子图像；

并行超分辨率处理模块，用于将所述分割子图像分别输入至少两个超分辨率电路模块，所述超分辨率电路模块对所述分割子图像块进行并行超分辨率处理，各个超分辨率电路模块分别获取与输入的分割子图像的分割类别匹配的超分辨率处理模式，根据与分割子图像的分割类别匹配的超分辨率处理模式对分割子图像进行超分辨率处理，得到各个分割子图像对应的超分辨率分割子图像；

合成模块，用于将各个超分辨率分割子图像进行合成得到所述待处理图像对应的目标超分辨率图像。

第三方面，本申请实施例提供了一种电子设备。所述电子设备包括存储器以及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：

获取待处理图像；

基于所述待处理图像的图像复杂度确定所述待处理图像对应的目标分割方式，根据目标分割方式对所述待处理图像进行分割得到对应的至少两个分割子图像；

将所述分割子图像分别输入至少两个超分辨率电路模块，所述超分辨率电路模块对所述分割子图像块进行并行超分辨率处理；

各个超分辨率电路模块分别获取与输入的分割子图像的分割类别匹配的超分辨率处理模式；

根据与分割子图像的分割类别匹配的超分辨率处理模式对分割子图像进行超分辨率处理，得到各个分割子图像对应的超分辨率分割子图像；

将各个超分辨率分割子图像进行合成得到所述待处理图像对应的目标超分辨率图像。

第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：

获取待处理图像；

基于所述待处理图像的图像复杂度确定所述待处理图像对应的目标分割方式，根据目标分割方式对所述待处理图像进行分割得到对应的至少两个分割子图像；

将所述分割子图像分别输入至少两个超分辨率电路模块，所述超分辨率电路模块对所述分割子图像块进行并行超分辨率处理；

各个超分辨率电路模块分别获取与输入的分割子图像的分割类别匹配的超分辨率处理模式；

根据与分割子图像的分割类别匹配的超分辨率处理模式对分割子图像进行超分辨率处理，得到各个分割子图像对应的超分辨率分割子图像；

将各个超分辨率分割子图像进行合成得到所述待处理图像对应的目标超分辨率图像。

上述图像超分辨率处理方法、装置、电子设备以及计算机可读存储介质，应用于超分辨率处理芯片，获取待处理图像，基于待处理图像的图像复杂度确定待处理图像对应的目标分割方式，根据目标分割方式对待处理图像进行分割得到对应的至少两个分割子图像，将分割子图像分别输入至少两个超分辨率电路模块，超分辨率电路模块对分割子图像块进行并行超分辨率处理；各个超分辨率电路模块分别获取与输入的分割子图像的分割类别匹配的超分辨率处理模式，根据与分割子图像的分割类别匹配的超分辨率处理模式对分割子图像进行超分辨率处理，得到各个分割子图像对应的超分辨率分割子图像，将各个超分辨率分割子图像进行合成得到待处理图像对应的目标超分辨率图像，通过待处理图像的复杂度确定待处理图像对应的目标分割方式，使得目标分割方式能自适应的调整，更好的确定分割效果，将得到的分割子图像分别输入超分辨率处理芯片中的至少两个超分辨率电路模块，进行并行超分辨率处理，减少了超分辨率处理的延时，提高了超分辨率的处理效率。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中图像超分辨率处理方法的应用环境图；

图2为一个实施例中提供的电子设备相关的手机的部分结构的框图；

图3为一个实施例中图像超分辨率处理方法的流程示意图；

图4为一个实施例中确定不同语义类别对应的目标超分辨率处理模式的流程示意图；

图5为一个实施例中获取与输入的分割子图像的分割类别匹配的超分辨率处理模式的流程示意图；

图6为一个具体地实施例中图像超分辨率处理方法的流程示意图；

图7为一个实施例中等分图像分割示意图；

图8为一个实施例中场景语义分割的原始图像和分割结果图像示意图；

图9为一个实施例中图像超分辨率处理装置的结构框图；

图10为一个实施例中电子设备的内部结构框图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

相关的技术方案往往根据整张图像的画面进行整体运算，消耗的时间久。

图1为一个实施例中图像超分辨率处理方法的应用环境示意图。如图1所示，该应用环境包括终端102和服务器104。终端102和服务器104可以通过网络进行通信。终端102可以是个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备等不限于此，服务器104可以是单个服务器或服务器集群。终端102和服务器104中都可以包括超分辨率处理芯片，可以在终端102或服务器104中实现图像超分辨率处理方法。

在一种可能的实施方式中，图2为与本申请实施例提供的电子设备相关的手机的部分结构的框图。参考图2，手机包括：射频(Radio Frequency，RF)电路210、存储器220、输入单元230、显示单元240、蓝牙模块250、音频电路260、无线保真(wireless fidelity，WIFI)模块270、处理器280、以及电源290等部件。其中，输入单元230至少包括视频输入设备，如摄像头，本领域技术人员可以理解，图2所示的手机结构并不构成对手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中蓝牙模块250支持蓝牙功能。蓝牙技术是一种支持设备短距离通信的无线电技术，能够在包括智能手机、个人计算机、笔记本电脑、平板电脑、便携式可穿戴设备、无线耳机、无线音箱等多种无线终端设备之间进行无线信息交互。

图3为一个实施例中图像超分辨率处理方法的流程图。图3所示的图像超分辨率处理方法可应用于上述包括超分辨率处理芯片的终端102或服务器104中，包括：

步骤310，获取待处理图像。

其中，待处理图像可以是电子设备拍摄的图像，也可以是电子设备本地存储的图像，还可以是从网上下载的图像等不限于此。待处理图像可以是raw图(原始图像)、YUV图、RGB(Red Green Blue,红绿蓝)图等。超分辨率处理芯片是用于对输入图像进行超分辨率处理的芯片，超分辨率处理芯片的硬件结构可自定义，超分辨率处理芯片中包括至少两个超分辨率电路模块，至少两个超分辨率电路模块可以同时对待处理图像分割得到的分割子图像进行超分辨率处理，从而使得超分辨率处理可以针对分割子图像并行处理，提高超分辨率处理效率。

具体地，待处理图像是需要进行超分辨率处理的分辨率较低的图像。如待处理图像的分辨率低于显示屏幕的分辨率，则需要对待处理图像进行超分辨率处理。待处理图像可以是复杂度较低的单一画面的图像，如水面图像，也可以是复杂度较高的多主体画面的图像，如包括人物、树木、高山、房屋、草地、天空等至少两个主体的图像。

步骤320，基于待处理图像的图像复杂度确定待处理图像对应的目标分割方式，根据目标分割方式对待处理图像进行分割得到对应的至少两个分割子图像。

其中，图像复杂度用于描述图像内容的复杂程度，可以提取图像特征，如提取图像边缘，通过图像特征计算得到图像复杂度。图像复杂度低，则图像画面内容简单，如单一内容的画面，如图像中只有一个苹果，图像复杂度高，则图像画面内容复杂，如多主体内容的画面，如图像中包括人、车、街道等。

具体地，不同的图像复杂度对应不同的目标分割方式，图像复杂度与目标分割方式的对应关系可自定义，目标分割方式可以是将图像划分为相同大小的子图像，也可以是将图像划分为大小不同的子图像，各个子图像可以是规则形状的图像，如矩形、正方形等，也可以是不规则形状的图像，如根据人物的轮廓划分得到的子图像、山的轮廓划分得到的子图像等。

在一种可能的实施方式中，若图像复杂度小于第一阈值，则待处理图像对应的目标分割方式为等分图像分割，将待处理图像划分为相同大小的至少两个分割子图像，各个分割子图像的图像大小可自定义，如64*64、64*16等。

在一种可能的实施方式中，若图像复杂度大于或等于第一阈值，且小于第二阈值，则识别待处理图像对应的前景区域和背景区域，将待处理图像划分为前景子图像和背景子图像，其中第二阈值大于第一阈值。

在一种可能的实施方式中，若图像复杂度大于或等于第二阈值，则识别待处理图像中的各个图像主体，将各个图像主体划分为对应的分割子图像，如待处理图像包括人物、自行车、建筑物、天空，则将待处理图像划分为人物子图像、自行车子图像、建筑物子图像、天空子图像，并将主体之外的剩余区域作为一个分割子图像，得到待处理图像划分后的全部分割子图像。

步骤330，将分割子图像分别输入至少两个超分辨率电路模块，超分辨率电路模块对分割子图像块进行并行超分辨率处理，各个超分辨率电路模块分别获取与输入的分割子图像的分割类别匹配的超分辨率处理模式，根据与分割子图像的分割类别匹配的超分辨率处理模式对分割子图像进行超分辨率处理，得到各个分割子图像对应的超分辨率分割子图像。

其中，超分辨率电路模块是多级硬件超分辨率处理模块，可以分为N个超分辨率电路模块，每个超分辨率电路模块负责画面的不同区域的分辨率超分运算和超分辨率后的数据输出，其中N大于或等于2，N的大小可自定义，可根据处理图像的场景、所在设备的资源处理能力等确定超分辨率电路模块的数量。超分辨率电路模块位于超分辨率处理芯片上，在超分辨率处理芯片出厂时超分辨率电路模块的数量就确定了。

在一种可能的实施方式中，超分辨率电路模块为可动态变化的与超分辨率处理芯片配合使用的硬件模块，可通过***的方式嵌入超分辨率处理芯片，每个超分辨率电路模块为独立可移动的硬件模块，从而可在超分辨率处理芯片出厂后，根据需要增加或减少超分辨率电路模块的数量。

具体地，将分割子图像分别输入至N个超分辨率电路模块进行超分辨率运算，N个超分辨率电路模块是同时并行的算法计算，N的个数越多计算的速度越快，超分辨率的处理效率越高。各个超分辨率电路模块在对输入的分割子图像进行超分辨率运算时，可采用相同或不同的超分辨率算法，不同的超分辨率算法即为不同的超分辨率处理模式，具体的目标超分辨率算法可根据输入的分割子图像的分割类别确定。分割子图像的分割类别与超分辨率处理模式的对应关系可自定义，如分割子图像的分割类别为人物，则对应第一目标超分辨率处理模式，分割子图像的分割类别为河流，则对应第二目标超分辨率处理模式。分割子图像的分割类别与超分辨率处理模式的对应关系，也可通过模型训练的方式训练得到各个分割类别对应的最优超分辨率处理模式。

超分辨率电路模块可以接收其它图像处理模块发送的图像处理指令，根据接收到的图像处理指令对输入的分割子图像进行超分辨率的处理，对于不同的分割子图像可以对应不同的超分辨率模式，所以不同的超分辨率电路模块接收到的图像处理指令与对应的超分辨率模式匹配，也可以是不同的。根据与分割子图像的分割类别匹配的超分辨率处理模式对分割子图像进行超分辨率处理，得到各个分割子图像对应的超分辨率分割子图像，如第一分割子图像的分割类别匹配第一超分辨率处理模式，则根据第一超分辨率处理模式对第一分割子图像进行超分辨率处理，得到第一超分辨率分割子图像。第二分割子图像的分割类别匹配第二超分辨率处理模式，则根据第二超分辨率处理模式对第二分割子图像进行超分辨率处理，得到第二超分辨率分割子图像。

步骤340，将各个超分辨率分割子图像进行合成得到待处理图像对应的目标超分辨率图像。

具体地，可以经过图像合成器将之前分割后进行超分辨率处理得到的各个超分辨率分割子图像再进行合成，形成一个完整的目标超分辨率图像，可以将完整的目标超分辨率图像输出到显示屏中显示。合成时可根据各个超分辨率分割子图像在原始图像中的位置进行拼接，从而形成完整的图像。可以对拼接边缘进行平滑处理，使得目标超分辨率图像的质量更高。

本实施例中的图像超分辨率处理方法，应用于超分辨率处理芯片，获取待处理图像，基于待处理图像的图像复杂度确定待处理图像对应的目标分割方式，根据目标分割方式对待处理图像进行分割得到对应的至少两个分割子图像，将分割子图像分别输入至少两个超分辨率电路模块，超分辨率电路模块对分割子图像块进行并行超分辨率处理；各个超分辨率电路模块分别获取与输入的分割子图像的分割类别匹配的超分辨率处理模式，根据与分割子图像的分割类别匹配的超分辨率处理模式对分割子图像进行超分辨率处理，得到各个分割子图像对应的超分辨率分割子图像，将各个超分辨率分割子图像进行合成得到待处理图像对应的目标超分辨率图像，通过待处理图像的复杂度确定所述待处理图像对应的目标分割方式，使得目标分割方式能自适应的调整，更好的确定分割效果，将得到的分割子图像分别输入超分辨率处理芯片中的至少两个超分辨率电路模块，进行并行超分辨率处理，减少了超分辨率处理的延时，提高了超分辨率的处理效率。

上述实施例主要阐述了超分辨率处理芯片如何对输入的待处理图像根据图像复杂度进行分割，并通过至少两个超分辨率电路模块对分割子图像块进行并行超分辨率处理，以提高超分辨率的处理效率的技术方案。除此之外，本申请的其他实施例中还介绍了如何根据图像复杂度确定待处理图像对应的目标分割方式，以对不同图像内容的待处理图像进行优化的分割的一些可实施的方案。步骤320包括：若根据待处理图像的图像复杂度判定待处理图像属于单一画面图像，则对待处理图像进行等分图像分割，得到相同面积的至少两个分割子图像，单一画面图像对应的图像复杂度小于第一预设阈值。

其中，单一画面图像是指图像的画面单一，比如为天空。等分图像分割是指将图像分割为面积大小相同的子图像，可以为规则形式或不规则形状。第一预设阈值可以根据需要自定义，根据场景的不同，可以自定义第一预设阈值的大小，且计算图像复杂度的方式不同，对应的第一预设阈值也不同，与计算图像复杂度的方式对应。

具体地，对于复杂度较低的单一画面图像，无需进行语义识别，只需要对图像进行等分图像分割，将图像分割为面积大小的各个子图像，其中等分面积可自义，各个子图像可以是矩形或其它形状。

本实施例中，通过将图像复杂度与第一预设阈值进行比较，自动识别单一画面图像，无需进行语义识别，可进行等分图像分割，得到相同面积的至少两个分割子图像，快速完成图像分割，自动为单一画面图像确定与之匹配的等分图像分割的方式，高效智能。

上述实施例主要阐述了超分辨率处理芯片可以自动识别单一画面图像，进行等分图像分割，快速完成图像分割，本申请的其他实施例中还介绍了如何识别复杂的多场景图像，对非单一画面图像进行AI(Artificial Intelligence，人工智能)图像语义分割处理，得到对应不同语义类别的分割子图像。在上述实施例的基础上，步骤320包括：若根据待处理图像的图像复杂度判定待处理图像属于非单一画面图像，则对待处理图像进行场景语义分割，得到对应不同语义类别的至少两个分割子图像，其中单一画面图像对应的图像复杂度小于非单一画面图像对应的图像复杂度。

其中，场景语义分割根据图像的语义来进行分割，语义指的是图像的内容，对图片意思的理解，比如一个图像的语义是三个人骑着三辆自行车，分割的意思是从像素的角度分割出图片中的不同对象，对原图中的每个像素都进行标注，比如通过不同的颜色进行标注，图像中粉色代表人，绿色代表自行车。非单一画面图像是指图像的画面比较复杂，存在多个场景或主体，如图像中包括人、树、山等。

具体地，对于复杂度比单一画面图像高的非单一画面图像，对待处理图像进行场景语义分割，得到不同的语义类别对应的区域形成至少两个分割子图像，通过语义类别生成的分割子图像，对图像的内容区分精准，便于后续针对不同的图像内容区域进行不同的超分辨率处理。

本实施例中，通过图像复杂度自动识别非单一画面图像，进行场景语义分割，基于图像的内容语义进行精准的分割，提高图像分割的精度，为非单一画面图像确定与之匹配的场景语义分割方式，精准智能。

上述实施例主要阐述了超分辨率处理芯片可以自动识别非单一画面图像，进行场景语义分割，提高图像分割的精度。除此之外，本申请的其他实施例中还介绍了如何确定不同语义类别的图像对应的目标超分辨率处理模式。在上述实施例的基础上，如图4所示，步骤310之前，还包括：

步骤410，通过云端数据库获取低分辨率的第一图片集和对应的高分辨率的第二图片集，第一图片集中的第一图片在第二图片集中存在相同内容的对应的第二图片，第一图片集中存在不同语义类别的第一图片。

具体地，超分辨率处理芯片在出厂前通过云端的数据库进行一个超分算法学习，获取低分辨率的第一图片集和对应的高分辨率的第二图片集，第一图片集中的第一图片在第二图片集中存在相同内容的对应的第二图，如第一图片集中包括低分辨率的图片A，则第二图片集中包括与图片A对应的相同内容的高分辨率的图片B。其中第一图片集中的各个低分辨率的图片可以由第二图片集中的各个高分辨率的图片经过下采样得到。另外，为了训练得到各个不同的语义类别的图像对应的目标超分辨率处理模式，训练使用的第一图片集中对应的第一图片的语义类别也包括多个不同的，如第一图片集中包括花、树木、人等不同语义类别的低分辨率的图片，第二图片集中包括花、树木、人等对应的不同语义类别的高分辨率的图片。

步骤420，云端数据库通过对第一图片和相同内容的第二图片的差异进行算法拟合，模拟各个第一图片从低分辨率超分至高分辨率的第二图片的目标超分辨率处理模式，得到不同语义类别的图片对应的目标超分辨率处理模式。

具体地，分别通过不同的超分辨率处理模式对第一图片进行处理，得到对应多个不同的超分辨率拟合图片，将各个超分辨率拟合图片与第二图片进行差异计算，将差异最小的超分辨率处理模式作为第一图片对应的语义类别的目标超分辨率处理模式。如对于语义类别为人的第一图片，通过第一超分辨率处理模式处理得到的超分辨率拟合图片最接近与第一图片匹配的高分辨率第二图片，则将第一超分辨率处理模式作为语义类别为人的目标超分辨率处理模式。

在一种可能的实施方式中，将低分辨率的第一图片集中同一语义类别的第一图片输入超分辨率处理网络，经过超分辨率处理网络所包括的各层依次处理后，输出对应的超分辨率拟合图片；根据超分辨率拟合图片和对应的第一图片的差异反向传播调整超分辨率处理网络的网络参数，以得到已训练的与当前语义类别匹配的超分辨率处理网络。分别对不同语义类别第一图片作为训练数据进行训练，得到各个与不同语义类别匹配的超分辨率处理网络，各个不同的超分辨率处理网络用于对不同语义类别的输入图片进行对应的目标超分辨率处理模式的处理。通过超分辨率处理网络能更精确的为不同语义类别的图片确定对应的目标超分辨率处理模式，提高目标超分辨率处理模式与语义类别的匹配度，提高超分辨率处理针对不同图像的处理质量。

步骤430，将不同语义类别和对应的目标超分辨率处理模式烧录至超分辨率处理芯片的智能图像处理模块。

其中，智能图像处理模块用于对输入的待处理图像在超分辨率之前进行前处理，包括确定不同语义类别的图像对应的目标超分辨率处理模式，其中存储了语义类别与对应的目标超分辨率处理模式的关联关系。智能图像处理模块还可以用于基于待处理图像的图像复杂度确定待处理图像对应的目标分割方式，根据目标分割方式对待处理图像进行分割得到对应的至少两个分割子图像。智能图像处理模块还可以包括其它的图像处理能力，不作限定。

具体地，将不同语义类别和对应的目标超分辨率处理模式烧录至超分辨率处理芯片的智能图像处理模块，从而智能图像处理模块可以根据各个超分辨率电路模块的输入分割子图像的语义类别确定各个分割子图像对应的目标超分辨率处理模式，并指示超分辨率电路模块通过与分割子图像对应的目标超分辨率处理模式对分割子图像进行超分辨率处理。智能图像处理模块与各个超分辨率电路模块配合，可以向各个超分辨率电路模块发送与目标超分辨率处理模式匹配的图像处理指令，不同的超分辨率电路模块由于输入的分割子图像的语义类别不同，对应的目标超分辨率处理模式不同，接收到的图像处理指令也不同，从而控制各个超分辨率电路模块进行相应的处理，实现针对不同语义类别的分割子图像采用不同的超分辨率处理模式并行处理。智能图像处理模块会根据分割后不同的语义类别的分割子图像提供不同的算法，让对应超分辨率电路模块处理对应分割子图像时使用，做到效率高且超分效果质量高。

本实施例中，通过低分辨率的第一图片集和对应的高分辨率的第二图片集，根据算法拟合确定各个不同语义类别的图片对应的目标超分辨率处理模式，并将语义类别和对应的目标超分辨率处理模式的关联关系烧录至超分辨率处理芯片的智能图像处理模块，便于智能图像处理模块根据语义类别确定对应的目标超分辨率处理模式，从而控制超分辨率电路模块在对图像进行超分辨率处理时，采用与当前输入的分割子图像的语义类别匹配的目标超分辨率处理模式，实现最佳的超分辨率处理效果。

上述实施例主要阐述了超分辨率处理芯片可以将语义类别和对应的目标超分辨率处理模式的关联关系提前烧录至智能图像处理模块，从而便于智能图像处理模块根据语义类别确定对应的目标超分辨率处理模式，实现针对不同语义类别的分割子图像采用不同的超分辨率处理模式并行处理。除此之外，本申请的其他实施例中还介绍了各个超分辨率电路模块如何获取与输入的分割子图像的分割类别匹配的超分辨率处理模式，并根据与分割子图像的分割类别匹配的超分辨率处理模式对分割子图像进行超分辨率处理。在上述实施例的基础上，分割类别为所述语义类别中的一种，步骤330包括各个超分辨率电路模块接收智能图像处理模块传递的与目标超分辨率处理模式匹配的超分辨率图像处理指令，根据超分辨率图像处理指令对分割子图像进行超分辨率处理，得到各个分割子图像对应的超分辨率分割子图像；其中目标超分辨率处理模式是智能图像处理模块根据超分辨率电路模块输入的分割子图像的分割类别确定的。

其中，分辨率图像处理指令是与目标超分辨率处理模式匹配的，用于指示接收设备按照指令执行目标超分辨率处理模式对应的算法步骤，从而实现对分割子图像的超分辨率处理。

具体地，智能图像处理模块根据超分辨率电路模块输入的分割子图像的分割类别确定目标超分辨率处理模式后，则向对应的超分辨率电路模块发送与目标超分辨率处理模式匹配的超分辨率图像处理指令，如第一超分辨率电路模块输入的分割子图像的分割类别为人，则目标超分辨率处理模式为第一模式，则智能图像处理模块向第一超分辨率电路模块发送与第一模式对应的超分辨率图像处理指令，第二超分辨率电路模块输入的分割子图像的分割类别为山，则目标超分辨率处理模式为第二模式，则智能图像处理模块向第二超分辨率电路模块发送与第二模式对应的超分辨率图像处理指令。

本实施例中，超分辨率电路模块通过接收与目标超分辨率处理模式匹配的超分辨率图像处理指令，并行完成对输入的分割子图像的超分辨率处理，不同的分割类别对应不同的超分辨率图像处理指令，超分辨率电路模块只需接收指令，由智能图像处理模块统一为各个超分辨率电路模块发送对应的超分辨率图像处理指令，配合工作，进一步提高超分辨率图像处理的效率。

上述实施例主要阐述了超分辨率处理芯片可以通过智能图像处理模块统一为各个超分辨率电路模块发送对应的超分辨率图像处理指令，并指示对应的超分辨率电路模块根据超分辨率图像处理指令完成与目标超分辨率处理模式匹配的超分辨率图像处理，高效智能。除此之外，本申请的其他实施例中还介绍了超分辨率处理模式与分割子图像的分割类别的具体关系。在上述实施例的基础上，如图5所示，各个超分辨率电路模块分别获取与输入的分割子图像的分割类别匹配的超分辨率处理模式包括：

步骤510，若分割子图像为前景主体类别，则超分辨率电路模块获取的与前景主体类别匹配的超分辨率处理模式的复杂度与分割子图像对应的前景主体在所述待处理图像的重要度成正比关系。

其中，前景主体类别表示分割子图像在待处理图像中处于前景部分，如人、树木、高山、房屋、草地对应的分割子图像都属于前景主体类别。

具体地，前景主体在待处理图像的重要度可人工设置，不同的主体类别对应不同的重要度，如人的重要度最高，也可根据面积大小或自定义的规则自动识别各个前景主体在待处理图像的重要度，如定义前景主体对应的面积越大，则重要度越高。超分辨率处理模式的复杂度与分割子图像对应的前景主体在待处理图像的重要度成正比关系，则前景主体的重要度越高，对应的超分辨率处理模式的复杂度越高，使得重要度高的图像内容采用复杂度高的超分辨率处理模式，保证处理精度，进一步提高了各个前景主体的超分辨率处理效果。

步骤520，若分割子图像为背景类别，则超分辨率电路模块获取的与背景类别匹配的超分辨率处理模式的复杂度小于前景主体类别对应的超分辨率处理模式的复杂度。

其中，背景类别表示分割子图像在待处理图像中处于背景部分，待处理图像的背景部分可由除去前景主体部分之外的区域组成，也可由背景识别模块识别得到待处理图像的背景部分。

具体地，背景类别匹配的超分辨率处理模式的复杂度小于前景主体类别对应的超分辨率处理模式的复杂度，则对于背景部分的图像分配复杂度低的超分辨率处理模式，因为背景部分的关注度一般低于前景主体部分的关注度，分配较低复杂度的超分辨率处理，便于提高超分辨率处理效率。可以理解，当前景主体类别存在多个时，背景类别匹配的超分辨率处理模式的复杂度小于前景主体类别对应的超分辨率处理模式的最小复杂度，如前景主体类别对应的超分辨率处理模式的复杂度分别为A1、A2、A3，其中A1<A2<A3，背景类别匹配的超分辨率处理模式的复杂度小于A1。

本实施例中，不同语义类别的图像对应的超分辨率处理模式的复杂度不同，且前景主体在待处理图像的重要度越高，对应的超分辨率处理模式的复杂度越高，背景类别的超分辨率处理模式的复杂度小于前景主体类别对应的超分辨率处理模式的复杂度，使得重要度高的图像内容采用复杂度高的超分辨率处理模式，保证处理精度，进一步提高了各个前景主体的超分辨率处理效果，使得重要度低的图像内容采用复杂度低的超分辨率处理模式，保证了超分辨率处理效率。

上述实施例主要阐述了超分辨率处理芯片对于不同的图像内容的图像根据重要度采用不同复杂度的超分辨率处理模式进行处理，在保证各个重要图像内容的超分辨率处理效果的同时，也保证了超分辨率处理效率。除此之外，本申请的其他实施例中还介绍了对于等分图像分割得到的分割子图像，如何确定其对应的超分辨率处理模式的复杂度。在上述实施例的基础上，各个超分辨率电路模块分别获取与输入的分割子图像的分割类别匹配的超分辨率处理模式包括：若分割子图像为对待处理图像进行等分图像分割得到的，则各个超分辨率电路模块分别获取的与输入的分割子图像的分割类别匹配的超分辨率处理模式的复杂度相同。

具体地，一般单一画面的图像会进行等分图像分割，由于单一画面的图像分割得到的各个分割子图像的画面内容也简单，所以对于进行等分图像分割得到的分割子图像，可采用相同复杂度的超分辨率处理模式。具体的复杂度大小可根据需要自定义，可根据待处理图像的图像特征定义，在一个实施例中，待处理图像的整体图像复杂度越高，超分辨率处理模式的复杂度越高。

本实施例中，对于等分图像分割得到的分割子图像，采用相同复杂度的超分辨率处理模式，由于单一画面的图像一般会进行等分图像分割，采用相同复杂度的超分辨率处理模式，可以保证整个图像画面处理的整体性。

上述实施例阐述了超分辨率处理芯片对于等分图像分割得到的分割子图像，采用相同复杂度的超分辨率处理模式，保证整个图像画面处理的整体性。除此之外，本申请的其他实施例中还介绍了如何对目标超分辨率图像进行显示，在上述实施例的基础上，步骤340之后，还包括：将目标超分辨率图像通过显示屏显示。

具体的，如果超分辨率处理芯片所处的设备自带显示屏，则直接通过显示屏显示目标超分辨率图像，如超分辨率处理芯片所处的设备为终端，则通过终端屏幕显示目标超分辨率图像。如果超分辨率处理芯片所处的设备不存在显示屏，则可将目标超分辨率图像发送至存在显示屏的设备进行显示，如超分辨率处理芯片所处的设备为服务器，则可将目标超分辨率图像由服务器发送至终端进行显示。

本实施例中，将处理得到的目标超分辨率图像通过显示屏显示，便于观看超分辨率处理后的图像。

在一个具体的实施例中，超分辨率处理芯片位于终端，提供一种图像超分辨率处理方法。

如图6所示为流程示意图，具体包括以下步骤：

1，终端中的应用数据输入编解码模块，经过数据的编解码处理后输入到GPU进行绘图处理，绘制出的低分辨率的图像作为待处理图像。

2，在获取到待处理图像后，可以先通过智能图像处理模块计算待处理图像的图像复杂度，如果图像复杂度小于第一阈值，则进行等分图像分割，得到相同面积的至少两个分割子图像，如图7所示，为等分图像分割示意图。如果图像复杂度大于或等于第一阈值，则进行场景语义分割，得到不同语义类别的至少两个分割子图像。在一个实施例中，分割完成后如图8所示，得到天空子图像、绿植子图像和背景子图像，再将这三个子图像分别输入到三个超分辨率电路模块去进行超分辨率处理。

其中超分辨率处理芯片在出厂前通过云端的数据库进行超分算法学习。学习方式分别由低分辨率和高分辨率的相同内容图片，通过对低分辨率和高分辨率的差异进行算法拟合，模拟低分辨率超分到高分辨率的最佳算法，不同的语义类别，如人物、树木、高山、房屋、草地、天空等，对应不同的超分算法，即对应不同的最佳超分辨率处理模式，通过云端图库的AI算法学习后将语义类别和对应的目标超分辨率处理模式烧录到智能图像处理模块中，得到智能图像处理超分算法库。

3，将分割子图像分别输入三个超分辨率电路模块，各个超分辨率电路模块对分割子图像块进行并行超分辨率处理，各个超分辨率电路模块接收智能图像处理模块发送的与目标超分辨率处理模式匹配的超分辨率图像处理指令，根据所述超分辨率图像处理指令对分割子图像进行超分辨率处理，得到各个分割子图像对应的超分辨率分割子图像。目标超分辨率处理模式是智能图像处理模块根据超分辨率电路模块输入的分割子图像的分割类别确定的，如对于天空子图像、绿植子图像和背景子图像分别输入第一超分辨率电路模块，第二超分辨率电路模块、第三超分辨率电路模块，目标超分辨率处理模式分别为第一模式、第二模式和第三模式，则第一超分辨率电路模块接收第一模式对应的超分辨率图像处理指令，第二超分辨率电路模块接收第二模式对应的超分辨率图像处理指令，第三超分辨率电路模块接收第三模式对应的超分辨率图像处理指令，分别处理得到天空超分辨率子图像，绿植超分辨率子图像和背景超分辨率子图像。

4，将各个超分辨率分割子图像输入图像合成器进行合成得到待处理图像对应的目标超分辨率图像，输出至显示屏进行显示。

本实施例中，对超分辨率的处理模块进行分区处理，可以分为至少2个超分辨率电路模块，每个超分辨率电路模块负责画面的不同区域或不同语义类别的超分辨率处理，单一画面可以用等分图像分割方式进行单一超分辨率处理模式的处理，复杂的图像画面可以通过智能图像处理模块进行场景语义的分割，再将不同语义类别的分割子图像给到不同的超分辨率电路模块进行超分辨率处理，且根据不同语义类别的场景使用AI学习后的不同超分辨率处理模式，做到最佳的超分辨率效果和最低的超分辨率延时。

应该理解的是，虽然图3-5的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图3-5中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

图9为一个实施例的图像超分辨率处理装置900的结构框图。如图9所示，一种图像超分辨率处理装置900，应用于超分辨率处理芯片，包括：获取模块902、分割模块904、并行超分辨率处理模块906、合成模块908。其中：

获取模块902，用于获取待处理图像。

分割模块904，用于基于所述待处理图像的图像复杂度确定所述待处理图像对应的目标分割方式，根据目标分割方式对所述待处理图像进行分割得到对应的至少两个分割子图像。

并行超分辨率处理模块906，用于将分割子图像分别输入至少两个超分辨率电路模块，超分辨率电路模块对所述分割子图像块进行并行超分辨率处理，各个超分辨率电路模块分别获取与输入的分割子图像的分割类别匹配的超分辨率处理模式，根据与分割子图像的分割类别匹配的超分辨率处理模式对分割子图像进行超分辨率处理，得到各个分割子图像对应的超分辨率分割子图像。

合成模块908，用于将各个超分辨率分割子图像进行合成得到所述待处理图像对应的目标超分辨率图像。

本实施中的图像超分辨率处理装置900，应用于超分辨率处理芯片，获取待处理图像，基于待处理图像的图像复杂度确定待处理图像对应的目标分割方式，根据目标分割方式对待处理图像进行分割得到对应的至少两个分割子图像，将分割子图像分别输入至少两个超分辨率电路模块，超分辨率电路模块对分割子图像块进行并行超分辨率处理；各个超分辨率电路模块分别获取与输入的分割子图像的分割类别匹配的超分辨率处理模式，根据与分割子图像的分割类别匹配的超分辨率处理模式对分割子图像进行超分辨率处理，得到各个分割子图像对应的超分辨率分割子图像，将各个超分辨率分割子图像进行合成得到待处理图像对应的目标超分辨率图像，通过待处理图像的复杂度确定所述待处理图像对应的目标分割方式，使得目标分割方式能自适应的调整，更好的确定分割效果，将得到的分割子图像分别输入超分辨率处理芯片中的至少两个超分辨率电路模块，进行并行超分辨率处理，减少了超分辨率处理的延时，提高了超分辨率的处理效率。

在一个实施例中，分割模块904还用于若根据待处理图像的图像复杂度判定所述待处理图像属于单一画面图像，则对待处理图像进行等分图像分割，得到相同面积的至少两个分割子图像，单一画面图像对应的图像复杂度小于第一预设阈值。

本实施中的图像超分辨率处理装置900，通过将图像复杂度与第一预设阈值进行比较，自动识别单一画面图像，无需进行语义识别，可进行等分图像分割，得到相同面积的至少两个分割子图像，快速完成图像分割，自动为单一画面图像确定与之匹配的等分图像分割的方式，高效智能。。

在一个实施例中，分割模块904还用于若根据待处理图像的图像复杂度判定待处理图像属于非单一画面图像，则对待处理图像进行场景语义分割，得到对应不同语义类别的至少两个分割子图像，其中单一画面图像对应的图像复杂度小于非单一画面图像对应的图像复杂度。

本实施中的图像超分辨率处理装置900，通过图像复杂度自动识别非单一画面图像，进行场景语义分割，基于图像的内容语义进行精准的分割，提高图像分割的精度，为非单一画面图像确定与之匹配的场景语义分割方式，精准智能。

在一个实施例中，装置还包括：

前处理模块910，用于通过云端数据库获取低分辨率的第一图片集和对应的高分辨率的第二图片集，第一图片集中的第一图片在所述第二图片集中存在相同内容的对应的第二图片，所述第一图片集中存在不同语义类别的第一图片；云端数据库通过对第一图片和相同内容的第二图片的差异进行算法拟合，模拟各个第一图片从低分辨率超分至高分辨率的第二图片的目标超分辨率处理模式，得到不同语义类别的图片对应的目标超分辨率处理模式；将不同语义类别和对应的目标超分辨率处理模式烧录至超分辨率处理芯片的智能图像处理模块。

本实施例中，通过低分辨率的第一图片集和对应的高分辨率的第二图片集，根据算法拟合确定各个不同语义类别的图片对应的目标超分辨率处理模式，并将语义类别和对应的目标超分辨率处理模式的关联关系烧录至超分辨率处理芯片的智能图像处理模块，便于智能图像处理模块根据语义类别确定对应的目标超分辨率处理模式，从而控制超分辨率电路模块在对图像进行超分辨率处理时，采用与当前输入的分割子图像的语义类别匹配的目标超分辨率处理模式，实现最佳的超分辨率处理效果。

在一个实施例中，分割类别为所述语义类别中的一种，并行超分辨率处理模块906还用于各个超分辨率电路模块接收智能图像处理模块传递的与目标超分辨率处理模式匹配的超分辨率图像处理指令，根据超分辨率图像处理指令对分割子图像进行超分辨率处理，得到各个分割子图像对应的超分辨率分割子图像；其中目标超分辨率处理模式是智能图像处理模块根据超分辨率电路模块输入的分割子图像的分割类别确定的。

本实施例中，超分辨率电路模块通过接收与目标超分辨率处理模式匹配的超分辨率图像处理指令，并行完成对输入的分割子图像的超分辨率处理，不同的分割类别对应不同的超分辨率图像处理指令，超分辨率电路模块只需接收指令，由智能图像处理模块统一为各个超分辨率电路模块发送对应的超分辨率图像处理指令，配合工作，进一步提高超分辨率图像处理的效率。

在一个实施例中，并行超分辨率处理模块906还用于若分割子图像为前景主体类别，则超分辨率电路模块获取的与前景主体类别匹配的超分辨率处理模式的复杂度与分割子图像对应的前景主体在所述待处理图像的重要度成正比关系；若分割子图像为背景类别，则超分辨率电路模块获取的与背景类别匹配的超分辨率处理模式的复杂度小于前景主体类别对应的超分辨率处理模式的复杂度。

本实施例中，不同语义类别的图像对应的超分辨率处理模式的复杂度不同，且前景主体在待处理图像的重要度越高，对应的超分辨率处理模式的复杂度越高，背景类别的超分辨率处理模式的复杂度小于前景主体类别对应的超分辨率处理模式的复杂度，使得重要度高的图像内容采用复杂度高的超分辨率处理模式，保证处理精度，进一步提高了各个前景主体的超分辨率处理效果，使得重要度低的图像内容采用复杂度低的超分辨率处理模式，保证了超分辨率处理效率。

在一个实施例中，并行超分辨率处理模块906还用于若分割子图像为对所述待处理图像进行等分图像分割得到的，则各个超分辨率电路模块分别获取的与输入的分割子图像的分割类别匹配的超分辨率处理模式的复杂度相同。

本实施例中，对于等分图像分割得到的分割子图像，采用相同复杂度的超分辨率处理模式，由于单一画面的图像一般会进行等分图像分割，采用相同复杂度的超分辨率处理模式，可以保证整个图像画面处理的整体性。

在一个实施例中，装置还包括：

显示模块912，用于将目标超分辨率图像通过显示屏显示。

本实施例中，将处理得到的目标超分辨率图像通过显示屏显示，便于观看超分辨率处理后的图像。

关于图像超分辨率处理装置的具体限定可以参见上文中对于图像超分辨率处理方法的限定，在此不再赘述。上述图像超分辨率处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

图10为一个实施例中电子设备的内部结构示意图。如图10所示，该电子设备包括通过***总线连接的处理器、存储器和摄像模块。其中，该处理器用于提供计算和控制能力，支撑整个电子设备的运行，处理器可以包括超分辨率处理芯片。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作***和计算机程序。该计算机程序可被处理器所执行，以用于实现以上各个实施例所提供的图像超分辨率处理方法。内存储器为非易失性存储介质中的操作***计算机程序提供高速缓存的运行环境。摄像模块用于提供视频采集功能。该电子设备可以是手机、TV、穿戴式设备、平板电脑、笔记本电脑等。

本申请实施例中提供的图像超分辨率处理装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端或服务器的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。

本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行图像超分辨率处理方法的步骤。

一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行图像超分辨率处理方法。

本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (11)

1.一种图像超分辨率处理方法，应用于超分辨率处理芯片，其特征在于，包括：

获取待处理图像；

基于所述待处理图像的图像复杂度确定所述待处理图像对应的目标分割方式，根据目标分割方式对所述待处理图像进行分割得到对应的至少两个分割子图像；

将所述分割子图像分别输入至少两个超分辨率电路模块，所述超分辨率电路模块对所述分割子图像块进行并行超分辨率处理；

各个超分辨率电路模块分别获取与输入的分割子图像的分割类别匹配的超分辨率处理模式；

根据与分割子图像的分割类别匹配的超分辨率处理模式对分割子图像进行超分辨率处理，得到各个分割子图像对应的超分辨率分割子图像；

将各个超分辨率分割子图像进行合成得到所述待处理图像对应的目标超分辨率图像。

2.根据权利要求1所述的方法，其特征在于，所述基于所述待处理图像的图像复杂度确定所述待处理图像对应的目标分割方式，根据目标分割方式对所述待处理图像进行分割得到对应的至少两个分割子图像包括：

若根据所述待处理图像的图像复杂度判定所述待处理图像属于单一画面图像，则对所述待处理图像进行等分图像分割，得到相同面积的至少两个分割子图像，所述单一画面图像对应的图像复杂度小于第一预设阈值。

3.根据权利要求2所述的方法，其特征在于，所述基于所述待处理图像的图像复杂度确定所述待处理图像对应的目标分割方式，根据目标分割方式对所述待处理图像进行分割得到对应的至少两个分割子图像包括：

若根据所述待处理图像的图像复杂度判定所述待处理图像属于非单一画面图像，则对所述待处理图像进行场景语义分割，得到对应不同语义类别的至少两个分割子图像，其中所述单一画面图像对应的图像复杂度小于所述非单一画面图像对应的图像复杂度。

4.根据权利要求1所述的方法，其特征在于，所述获取待处理图像之前，包括：

通过云端数据库获取低分辨率的第一图片集和对应的高分辨率的第二图片集，所述第一图片集中的第一图片在所述第二图片集中存在相同内容的对应的第二图片，所述第一图片集中存在不同语义类别的第一图片；

所述云端数据库通过对第一图片和相同内容的第二图片的差异进行算法拟合，模拟各个第一图片从低分辨率超分至高分辨率的第二图片的目标超分辨率处理模式，得到不同语义类别的图片对应的目标超分辨率处理模式；

将不同语义类别和对应的目标超分辨率处理模式烧录至所述超分辨率处理芯片的智能图像处理模块。

5.根据权利要求4所述的方法，其特征在于，所述分割类别为所述语义类别中的一种，所述各个超分辨率电路模块分别获取与输入的分割子图像的分割类别匹配的超分辨率处理模式，根据与分割子图像的分割类别匹配的超分辨率处理模式对分割子图像进行超分辨率处理，得到各个分割子图像对应的超分辨率分割子图像包括：

各个超分辨率电路模块接收智能图像处理模块传递的与目标超分辨率处理模式匹配的超分辨率图像处理指令，根据所述超分辨率图像处理指令对分割子图像进行超分辨率处理，得到各个分割子图像对应的超分辨率分割子图像；

其中所述目标超分辨率处理模式是所述智能图像处理模块根据超分辨率电路模块输入的分割子图像的分割类别确定的。

6.根据权利要求1所述的方法，其特征在于，所述各个超分辨率电路模块分别获取与输入的分割子图像的分割类别匹配的超分辨率处理模式包括：

若分割子图像为前景主体类别，则超分辨率电路模块获取的与前景主体类别匹配的超分辨率处理模式的复杂度与分割子图像对应的前景主体在所述待处理图像的重要度成正比关系；

若分割子图像为背景类别，则超分辨率电路模块获取的与背景类别匹配的超分辨率处理模式的复杂度小于前景主体类别对应的超分辨率处理模式的复杂度。

7.根据权利要求2所述的方法，其特征在于，所述各个超分辨率电路模块分别获取与输入的分割子图像的分割类别匹配的超分辨率处理模式包括：

若分割子图像为对所述待处理图像进行等分图像分割得到的，则各个超分辨率电路模块分别获取的与输入的分割子图像的分割类别匹配的超分辨率处理模式的复杂度相同。

8.根据权利要求1所述的方法，其特征在于，所述将各个超分辨率分割子图像进行合成得到所述待处理图像对应的目标超分辨率图像之后，还包括：

将所述目标超分辨率图像通过显示屏显示。

9.一种图像超分辨率处理装置，应用于超分辨率处理芯片，其特征在于，包括：

获取模块，用于获取待处理图像；

分割模块，用于基于所述待处理图像的图像复杂度确定所述待处理图像对应的目标分割方式，根据目标分割方式对所述待处理图像进行分割得到对应的至少两个分割子图像；

并行超分辨率处理模块，用于将所述分割子图像分别输入至少两个超分辨率电路模块，所述超分辨率电路模块对所述分割子图像块进行并行超分辨率处理，各个超分辨率电路模块分别获取与输入的分割子图像的分割类别匹配的超分辨率处理模式，根据与分割子图像的分割类别匹配的超分辨率处理模式对分割子图像进行超分辨率处理，得到各个分割子图像对应的超分辨率分割子图像；

合成模块，用于将各个超分辨率分割子图像进行合成得到所述待处理图像对应的目标超分辨率图像。

10.一种电子设备，包括存储器以及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至8中任一项所述方法的步骤。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述方法的步骤。

Images