CN113409192A - 超分辨率芯片、超分辨率算法的更新方法和电子设备 - Google Patents

Abstract

本申请涉及一种超分辨率算法的更新方法、装置、超分辨率芯片、计算机设备和存储介质。所述方法包括：通过超分辨率芯片获取用户个性化图像；将所述用户个性化图像作为训练样本进行超分辨率学习，得到目标超分辨率算法；基于所述目标超分辨率算法对所述超分辨率芯片中已烧录的初始超分辨率算法进行更新。采用本方法能够实现对超分辨率芯片中的超分辨率算法进行更新。

Description

超分辨率芯片、超分辨率算法的更新方法和电子设备

技术领域

本申请涉及计算机技术领域，特别是涉及一种超分辨率芯片、超分辨率算法的更新方法、电子设备和计算机可读存储介质。

背景技术

电子设备在对图片或视频画面处理时，在显示链路上会将内容源直接进行拉伸或缩小到屏幕对应的分辨率，然后再输出显示到屏幕上。但是通过简单的拉伸处理后会发现原本比较清晰的画面被放大后反而出现了边缘模糊化的效果，这样拉伸显示影响用户观看的效果，使内容源的画面失真。

随着计算机技术的发展，出现了超分辨率技术，即通过硬件或软件的方法提高原有图像的分辨率。传统的超分辨率技术通常是将超分辨率算法烧录至超分辨率芯片中，再通过超分辨率芯片调用该超分辨率算法对图像进行超分辨率处理。然而，传统的超分辨率技术，超分辨率芯片中通常只烧录了一套超分辨率算法，无法对超分辨率芯片中的超分辨率算法进行更新。

发明内容

本申请实施例提供了一种超分辨率算法的更新方法、装置、电子设备、计算机可读存储介质，可以实现对超分辨率芯片中的超分辨率算法进行更新。

一种超分辨率算法的更新方法，包括：

通过超分辨率芯片获取用户个性化图像；

将所述用户个性化图像作为训练样本进行超分辨率学习，得到目标超分辨率算法；

基于所述目标超分辨率算法对所述超分辨率芯片中已烧录的初始超分辨率算法进行更新。

一种超分辨率算法的更新装置，包括：

图像获取模块，用于通过超分辨率芯片获取用户个性化图像；

算法获取模块，用于将所述用户个性化图像作为训练样本进行超分辨率学习，得到目标超分辨率算法；

更新模块，用于基于所述目标超分辨率算法对所述超分辨率芯片中已烧录的初始超分辨率算法进行更新。

一种超分辨率芯片，包括：

算法存储硬件模块，用于存储已烧录的初始超分辨率算法；

更新接口，用于获取用户个性化图像；

更新硬件模块，分别与所述更新接口和算法存储硬件模块相连，用于将各所述用户个性化图像作为训练样本进行超分辨率学习，得到目标超分辨率算法，以及基于所述目标超分辨率算法对所述算法存储硬件模块中存储的已烧录的初始超分辨率算法进行更新。

一种电子设备，包括上述的超分辨率芯片。

一种超分辨率芯片，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上述的超分辨率算法的更新方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述的方法的步骤。

上述超分辨率算法的更新方法、装置、电子设备、超分辨率芯片、计算机可读存储介质，通过超分辨率芯片获取用户个性化图像；将用户个性化图像作为训练样本进行超分辨率学习，可以得到符合用户个性化需求的目标超分辨率算法，则可以基于新获取的目标超分辨率算法，实现对超分辨率芯片中已烧录的初始超分辨率算法进行更新，可以对超分辨率芯片中已烧录的超分辨率算法进行优化和提升，且能够满足用户对图像进行超分辨率处理的个性化需求。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中超分辨率算法的更新方法的流程图；

图2为一个实施例中步骤将用户个性化图像作为训练样本进行超分辨率学习，得到目标超分辨率算法的流程图；

图3为另一个实施例中超分辨率算法的更新方法的流程图；

图4为一个实施例中超分辨率算法的更新方法的示意图；

图5为另一个实施例中超分辨率算法的更新的流程示意图；

图6为一个实施例中超分辨率算法的更新装置的结构框图；

图7为一个实施例中超分辨率芯片的内部结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一优先级称为第二优先级，且类似地，可将第二优先级称为第一优先级。第一优先级和第二优先级两者都是优先级，但其不是同一优先级。

在一个实施例中，如图1所示，提供了一种超分辨率算法的更新方法，本实施例以该方法应用于电子设备的超分辨率芯片上进行举例说明。其中，电子设备可以是终端或者服务器，终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。可以理解的是，该方法也可以应用于包括终端和服务器的***，并通过终端和服务器的交互实现。本实施例中，该方法包括以下步骤：

步骤102，通过超分辨率芯片获取用户个性化图像。

超分辨率(super resolution，SR)是指由一幅低分辨率图像(low resolution，LR)或图像序列恢复出高分辨率图像(high resolution，HR)的过程。高分辨率图像意味着图像具有高像素密度，可以提供更多的细节，这些细节往往在应用中起到关键作用。

超分辨率芯片是用于对图像进行超分辨率处理的芯片。在超分辨率芯片中存储有超分辨率算法，调用该超分辨率算法可以对图像进行超分辨率处理，提高图像的分辨率。其中，超分辨率芯片集成于电子设备中。

用户个性化图像是表征用户个性化需求的图像。用户个性化需求可以至少包括人像处理需求和风景处理需求等。其中，人像处理需求例如人脸美颜需求、背景虚化需求等。风景处理需求例如增加滤镜需求、亮度调节需求等。用户个性化图像例如为自拍图像，表征的用户个性化需求是对自拍图像进行人脸美颜处理。用户个性化图像例如风景照，表征的用户个性化需求是对风景照进行亮度调节，使得风景照更具真实感。

通过超分辨率芯片从各应用中获取用户个性化图像。其中，应用可以是第三方应用，也可以是***应用。第三方应用是针对某种软件或应用在功能上的不足，而由非软件编制方的其他组织或个人开发的相关软件。第三方应用例如用户下载的音乐应用、社交应用、视频应用等。***应用是电子设备的操作***自带的应用程序。***应用例如电子设备的操作***自带的相册应用、桌面应用等。其中，桌面应用可以获取到UI(User Interface)图像。

步骤104，将用户个性化图像作为训练样本进行超分辨率学习，得到目标超分辨率算法。

超分辨率学习指的是超分辨率芯片对超分辨率处理进行学习。目标超分辨率算法指的是对用户个性化图像进行超分辨率学习得到的超分辨率算法。

具体地，电子设备控制超分辨率芯片将各用户个性化图像作为训练样本，采用机器学习算法对训练样本进行超分辨率学习，得到目标超分辨率算法。其中，机器学习算法至少包括机械学习(Rote learning)、示教学习(Learning from instruction或Learning bybeing told)、演绎学习(Learning by deduction)、分析学习(analytic learning)、监督学习(supervised learning)、非监督学习(unsupervised learning)等其中一种。

步骤106，基于目标超分辨率算法对超分辨率芯片中已烧录的初始超分辨率算法进行更新。

初始超分辨率算法指的是超分辨率芯片中已烧录的超分辨率算法。初始超分辨率算法的数量并不限定，可以是一种，也可以是多种。烧录指的是将数据通过刻录机等工具刻制到存储介质中。在超分辨率芯片中包括算法存储硬件模块，该算法存储硬件模块存储有已烧录的初始超分辨率算法。其中，算法存储硬件模块可以是MTP((Multiple-TimeProgrammable，多次可编程存储器)模块。MTP模块在超分辨率芯片出厂前烧录有一套基于学习得到的初始超分辨率算法集，其中，基于学习得到的初始超分辨率算法集是根据有训练的图集进行超分辨率学习后得到的。

电子设备控制超分辨率芯片基于目标超分辨率算法对超分辨率芯片中已烧录的初始超分辨率算法进行更新。在一种实施方式中，超分辨率芯片将目标超分辨率算法替换已烧录的初始超分辨率算法，得到更新的超分辨率算法，更新的超分辨率算法即目标超分辨率算法。在另一种实施方式中，超分辨率芯片在已烧录的初始超分辨率算法的基础上，增加目标超分辨率算法，得到更新的超分辨率算法。在其他实施方式中，超分辨率芯片还可以将目标超分辨率算法替换已烧录的初始超分辨率算法中的指定超分辨率算法，得到更新的超分辨率算法。其中，指定超分辨率算法可以根据需要进行设置。超分辨率芯片对已烧录的初始超分辨率算法进行更新的方式，在此不做限定。

在本实施例中，通过超分辨率芯片获取用户个性化图像；将用户个性化图像作为训练样本进行超分辨率学习，可以得到符合用户个性化需求的目标超分辨率算法，则可以基于新获取的目标超分辨率算法，实现对超分辨率芯片中已烧录的初始超分辨率算法进行更新，可以对超分辨率芯片中已烧录的超分辨率算法进行优化和提升，且能够满足用户对图像进行超分辨率处理的个性化需求。

在另一个实施例中，超分辨率芯片还可以将用户个性化图像发送至指定服务器；通过指定服务器将将用户个性化图像作为训练样本进行超分辨率学习，得到目标超分辨率算法，再将目标超分辨率算法发送至电子设备的超分辨率芯片中；超分辨率再基于目标超分辨率算法对超分辨率芯片中已烧录的初始超分辨率算法进行更新。

在一个实施例中，如图2所示，将用户个性化图像作为训练样本进行超分辨率学习，得到目标超分辨率算法，包括：

步骤202，确定各用户个性化图像的图像内容类型。

图像内容类型指的是用户个性化图像的内容所对应的类型。图像内容类型至少包括人像类型、风景类型。进一步地，人像类型具体可以包括人脸类型、全身人像类型、多人合拍类型等。风景类型具体可以包括山峰类型、海洋类型、森林类型等。

具体地，电子设备控制超分辨率芯片获取各用户个性化图像的图像内容类型。在一种实施方式中，电子设备控制中央处理器采用图像内容类型分析模型分别对各用户个性化图像进行处理，确定出各用户个性化图像的图像内容类型，并将图像内容类型作为相应的用户个性化图像的属性信息，与用户个性化图像一并传输至超分辨率芯片中。在另一种实施方式中，电子设备控制超分辨率芯片采用图像内容类型分析模型分别对各用户个性化图像进行处理，确定出各用户个性化图像的图像内容类型。

步骤204，基于各用户个性化图像的图像内容类型，筛选出目标内容类型。

目标内容类型指的是用于超分辨率学习的用户个性化图像的内容类型。目标内容类型可以是图像内容类型中的至少一种。

电子设备控制超分辨率芯片基于各用户个性化图像的图像内容类型，从各图像内容类型中筛选出目标内容类型。在一种实施方式中，超分辨率芯片可以统计属于各图像内容类型的图像数量，将图像数量最高的图像内容类型作为目标内容类型。在另一种实施方式中，超分辨率芯片可以随机选中一个或者多个图像内容类型作为目标内容类型。在另一种实施方式中，超分辨率芯片还可以从各图像内容类型中，将用户指定的图像内容类型作为目标内容类型。筛选出目标内容类型的方式，在此不做限定。

步骤206，将目标内容类型的用户个性化图像作为训练样本进行超分辨率学习，得到对目标内容类型的用户个性化图像进行超分辨率处理的目标超分辨率算法。

超分辨率芯片将目标内容类型的用户个性化图像作为训练样本进行超分辨率学习，那么，得到的目标超分辨率算法可以更准确地对目标内容类型的图像进行超分辨率处理，可以解决属于目标内容类型的图像的用户个性化需求，得到分辨率更高、更清晰的该目标内容类型的图像。

在本实施例中，超分辨率芯片筛选出目标内容类型，将目标内容类型的用户个性化图像作为训练样本进行超分辨率学习，得到针对目标内容类型这一场景的目标超分辨率算法，可以更准确地对目标内容类型这一场景的图像进行超分辨率处理，得到分辨率更高、更清晰的该目标内容类型的图像。

在一个实施例中，基于各用户个性化图像的图像内容类型，筛选出目标内容类型，包括：统计属于各图像内容类型的图像数量；基于各图像数量，从各图像内容类型中筛选出目标内容类型。

在一种实施方式中，超分辨率芯片统计属于各图像内容类型的图像数量，将图像数量最高的图像内容类型作为目标内容类型。可以理解的是，图像数量最高的图像内容类型表示该类型为最贴近用户个性化需求的类型，则将该图像数量最高的图像内容类型作为目标内容类型，可以对该目标内容类型进行超分辨率学习，从而得到用于对该目标内容类型的图像进行超分辨率处理的目标超分辨率算法，可以更准确地解决用户的个性化需求，得到分辨率更高、更清晰的属于目标内容类型的图像。

在另一种实施方式中，超分辨率芯片统计属于各图像内容类型的图像数量，将图像数量次高的图像内容类型作为目标内容类型。在另一种实施方式中，超分辨率芯片统计属于各图像内容类型的图像数量，将图像数量最低的图像内容类型作为目标内容类型。超分辨率芯片基于各图像数量从各图像内容类型中筛选出目标内容类型的方式可以根据需要进行设置，在此不做限定。

在另一个实施例中，确定各用户个性化图像的图像内容类型，包括：确定预设时间段内各用户个性化图像的图像内容类型；基于各用户个性化图像的图像内容类型，筛选出目标内容类型，包括：统计预设时间段内属于各图像内容类型的类型使用频率；基于各类型使用频率，从各图像内容类型中筛选出目标内容类型。其中，预设时间段可以根据需要进行设置。类型使用频率指的是图像内容类型被使用的频率。图像内容类型的类型使用频率越高，表示用户越喜欢使用该图像内容类型的图像，该图像内容类型更加可以表征用户的个性化需求。

可选地，超分辨率芯片可以将类型使用频率最高的图像内容类型作为目标内容类型，也可以将类型使用频率次高的图像内容类型作为目标内容类型，不限于此。

在一个实施例中，通过超分辨率芯片获取用户个性化图像，包括：通过超分辨率芯片获取目标应用发送的用户个性化图像；目标应用是电子设备基于各候选应用的使用频率，从各候选应用中确定的。

候选应用是电子设备中安装的用于确定出目标应用的应用程序。目标应用是从各候选应用中确定的，并且用于所生产的用户个性化图像进行超分辨率学习的应用程序。

候选应用可以是第三方应用，也可以是***应用。第三方应用是针对某种软件或应用在功能上的不足，而由非软件编制方的其他组织或个人开发的相关软件。第三方应用例如用户下载的音乐应用、社交应用、视频应用等。***应用是电子设备的操作***自带的应用程序。***应用例如电子设备的操作***自带的相册应用、桌面应用等。同样的，从各候选应用中确定的目标应用可以是第三方应用，也可以是***应用。

可以理解的是，用户在使用电子设备的过程中，电子设备可以记录用户对各候选应用的使用情况，包括对各候选应用的使用频率、使用时间等。电子设备基于各候选应用的使用频率，从各候选应用中确定目标应用。在一种实施方式中，电子设备统计各候选应用的使用频率，将使用频率最高的候选应用确定为目标应用。在另一种实施方式中，电子设备统计各候选应用的使用频率，将使用频率次高的候选应用确定为目标应用。在另一种实施方式中，电子设备统计预设时间段内各候选应用的使用频率，将预设时间段内使用频率最高的候选应用确定为目标应用。电子设备确定目标应用的方式并不限定，在此不做限定。

通过超分辨率芯片获取目标应用发送的用户个性化图像。可选地，在目标应用实时发送用户个性化图像的情况下，通过超分辨率芯片实时获取目标应用发送的用户个性化图像；在目标应用定时发送用户个性化图像的情况下，通过超分辨率芯片定时获取目标应用发送的用户个性化图像。

在本实施例中，通过超分辨率芯片获取目标应用发送的用户个性化图像，而目标应用是基于各候选应用的使用频率确定的，则可以根据用户对各候选应用的使用频率，更准确地判断出用户的个性化需求，从而更准确地获取到符合用户个性化需求的用户个性化图像。

在一个实施例中，如图3所示，上述方法还包括：

步骤302，在基于目标超分辨率算法对超分辨率芯片中已烧录的初始超分辨率算法进行更新之后，得到更新的超分辨率算法。

超分辨率芯片得到更新的超分辨率算法，更新的超分辨率算法中包括有目标超分辨率算法。

步骤304，在获取到需要进行超分辨率处理的测试图像的情况下，确定测试图像的测试图像内容类型。

测试图像是需要进行超分辨率处理的图像。测试图像内容类型是测试图像的图像内容所对应的类型。测试图像内容类型至少包括人像类型、风景类型。进一步地，人像类型具体可以包括人脸类型、全身人像类型、多人合拍类型等。风景类型具体可以包括山峰类型、海洋类型、森林类型等。

超分辨率芯片在获取到需要进行超分辨率处理的测试图像的情况下，获取测试图像的测试图像内容类型。在一种实施方式中，电子设备控制中央处理器采用图像内容类型分析模型对测试图像进行处理，确定出测试图像的测试图像内容类型，并将测试图像内容类型作为测试图像的属性信息，与测试图像一并传输至超分辨率芯片中。在另一种实施方式中，电子设备控制超分辨率芯片采用图像内容类型分析模型对测试图像进行处理，确定出测试图像的测试图像内容类型。

步骤306，根据测试图像的测试图像内容类型，从更新的超分辨率算法中确定与测试图像内容类型对应的测试超分辨率算法。

测试超分辨率算法是测试图像内容类型对应的超分辨率算法，可以更准确地对测试图像内容类型的图像进行超分辨率处理。

超分辨率芯片获取到测试图像的测试图像内容类型后，将该测试图像内容类型与更新的超分辨率算法中各超分辨率算法所处理的类型进行匹配，当匹配成功时，获取与测试图像内容类型相匹配的测试超分辨率算法。

步骤308，通过超分辨率芯片调用测试超分辨率算法，对测试图像进行超分辨率处理。

超分辨率芯片调用测试超分辨率算法，可以针对该测试图像内容类型的测试图像进行超分辨率处理，得到分辨率更高、更清晰的图像。

在本实施例中，超分辨率芯片在获取到需要进行超分辨率处理的测试图像的情况下，确定测试图像的测试图像内容类型，根据测试图像的测试图像内容类型，从更新的超分辨率算法中确定与测试图像内容类型对应的测试超分辨率算法，调用该测试超分辨率算法，可以更准确地针对属于测试图像内容类型的测试图像进行超分辨率处理，得到分辨率更高、更清晰的图像。

在一个实施例中，超分辨率芯片中包括更新接口、更新硬件模块和算法存储硬件模块；更新接口用于获取用户个性化图像；更新硬件模块用于将各用户个性化图像作为训练样本进行超分辨率学习，得到目标超分辨率算法；算法存储硬件模块用于存储已烧录的初始超分辨率算法；上述方法还包括：获取更新硬件模块的第一优先级，以及算法存储硬件模块的第二优先级；在第一优先级高于第二优先级的情况下，通过更新硬件模块基于目标超分辨率算法对超分辨率芯片中已烧录的初始超分辨率算法进行更新。

更新接口、更新硬件模块和算法存储硬件模块均是超分辨率芯片中的硬件模块。超分辨率芯片通过更新接口获取用户个性化图像，还可以通过更新接口获取需要进行超分辨率处理的测试图像。更新接口再将获取到的用户个性化图像传输至更新硬件模块，通过更新硬件模块将各用户个性化图像作为训练样本进行超分辨率学习，得到目标超分辨率算法，再将目标超分辨率算法传输至算法存储硬件模块，对算法存储硬件模块中存储的已烧录的初始超分辨率算法进行更新。其中，算法存储硬件模块可以是MTP模块。MTP模块中已烧录的初始超分辨率算法属于出厂默认设置。

第一优先级是更新硬件模块的优先程度。第二优先级是算法存储硬件模块的优先程度。第一优先级和第二优先级均可根据用户需要进行设置。例如，第一优先级为三级，第二优先级为二级，则第一优先级高于第二优先级，更新硬件模块的优先程度较高。又如，第一优先级为二级，第二优先级为四级，则第一优先级低于第二优先级，更新硬件模块的优先程度较低。

在第一优先级高于第二优先级的情况下，表示更新硬件模块的优先程度较高，即对算法存储硬件模块中已烧录的初始超分辨率算法进行更新更加重要，则通过更新硬件模块基于目标超分辨率算法对超分辨率芯片中已烧录的初始超分辨率算法进行更新。可选地，更新方式可以是在初始超分辨率算法的基础上增加目标超分辨率算法，也可以是将目标超分辨率算法替换初始超分辨率算法，不限于此。

在第一优先级低于或等于第二优先级的情况下，则可以不对算法存储硬件模块中已烧录的初始超分辨率算法进行更新，或者按照用户指令进行其他的操作。

在本实施例中，在超分辨率芯片中增加了更新接口和更新硬件模块，可以通过更新接口获取用户个性化图像；通过更新硬件模块将各用户个性化图像作为训练样本进行超分辨率学习，得到目标超分辨率算法，从而在在第一优先级高于第二优先级的情况下，通过更新硬件模块基于目标超分辨率算法对超分辨率芯片中已烧录的初始超分辨率算法进行更新，实现对超分辨率芯片中已烧录的初始超分辨率算法进行更新。

在一个实施例中，如图4所示，超分辨率芯片402包括超分辨率模块、算法存储硬件模块、更新硬件模块和更新接口。超分辨率芯片通过更新接口与接入端(Access Point，AP端)进行连接，接入端可以获取包括第三方应用和***应用的用户个性化图像。其中，***应用包括电子设备的操作***自带的相册应用和视频应用等。更新硬件模块，分别与更新接口和算法存储硬件模块相连，更新硬件模块接收更新接口传输的用户个性化图像，将用户个性化图像作为训练样本进行超分辨率学习，得到目标超分辨率算法，并将目标超分辨率算法传输至算法存储硬件模块中对已烧录的初始超分辨率算法进行更新。算法存储硬件模块，用于存储已烧录的初始超分辨率算法。

在超分辨率芯片402获取到需要进行超分辨率处理的测试图像的情况下，通过超分辨率模块调用算法存储硬件模块中的超分辨率算法对测试图像进行超分辨率处理，可以得到分辨率更高、更清晰的图像。

图5为另一个实施例中超分辨率算法的更新的流程示意图。步骤502，生产超分辨率芯片。超分辨率芯片执行步骤504，超分辨率芯片烧录初始超分辨率算法。通过服务器端执行步骤506，服务器端超分辨率学习得到目标超分辨率算法，并将目标好分辨率算法发送至电子设备中的超分辨率芯片。超分辨率芯片执行步骤508，超分辨率芯片对超分辨率算法的更新。接着，步骤510，超分辨率芯片集成到电子设备上，则电子设备中的超分辨率芯片可以执行步骤512，对测试图像进行超分辨率处理，得到高分辨率的测试图像514。

应该理解的是，虽然图1至图3的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1至图3中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

图6为一个实施例的超分辨率算法的更新装置的结构框图。如图6所示，提供了一种超分辨率算法的更新装置，包括：图像获取模块602、算法获取模块604和更新模块606，其中：

图像获取模块602，用于通过超分辨率芯片获取用户个性化图像。

算法获取模块604，用于将用户个性化图像作为训练样本进行超分辨率学习，得到目标超分辨率算法。

更新模块606，用于基于目标超分辨率算法对超分辨率芯片中已烧录的初始超分辨率算法进行更新。

上述超分辨率算法的更新装置，通过超分辨率芯片获取用户个性化图像；将用户个性化图像作为训练样本进行超分辨率学习，可以得到符合用户个性化需求的目标超分辨率算法，则可以基于新获取的目标超分辨率算法，实现对超分辨率芯片中已烧录的初始超分辨率算法进行更新，可以对超分辨率芯片中已烧录的超分辨率算法进行优化和提升，且能够满足用户对图像进行超分辨率处理的个性化需求。

在一个实施例中，上述算法获取模块604还用于确定各用户个性化图像的图像内容类型；基于各用户个性化图像的图像内容类型，筛选出目标内容类型；将目标内容类型的用户个性化图像作为训练样本进行超分辨率学习，得到对目标内容类型的用户个性化图像进行超分辨率处理的目标超分辨率算法。

在一个实施例中，上述算法获取模块604还用于统计属于各图像内容类型的图像数量；基于各图像数量，从各图像内容类型中筛选出目标内容类型。

在一个实施例中，上述图像获取模块602还用于通过超分辨率芯片获取目标应用发送的用户个性化图像；目标应用是电子设备基于各候选应用的使用频率，从各候选应用中确定的。

在一个实施例中，上述装置还包括超分辨率处理模块，用于在基于目标超分辨率算法对超分辨率芯片中已烧录的初始超分辨率算法进行更新之后，得到更新的超分辨率算法；在获取到需要进行超分辨率处理的测试图像的情况下，确定测试图像的测试图像内容类型；根据测试图像的测试图像内容类型，从更新的超分辨率算法中确定与测试图像内容类型对应的测试超分辨率算法；通过超分辨率芯片调用测试超分辨率算法，对测试图像进行超分辨率处理。

在一个实施例中，超分辨率芯片中包括更新接口、更新硬件模块和算法存储硬件模块；更新接口用于获取用户个性化图像；更新硬件模块用于将各用户个性化图像作为训练样本进行超分辨率学习，得到目标超分辨率算法；算法存储硬件模块用于存储已烧录的初始超分辨率算法。上述更新模块606还用于获取更新硬件模块的第一优先级，以及算法存储硬件模块的第二优先级；在第一优先级高于第二优先级的情况下，通过更新硬件模块基于目标超分辨率算法对超分辨率芯片中已烧录的初始超分辨率算法进行更新。

上述超分辨率算法的更新装置中各个模块的划分仅仅用于举例说明，在其他实施例中，可将超分辨率算法的更新装置按照需要划分为不同的模块，以完成上述超分辨率算法的更新装置的全部或部分功能。

关于超分辨率算法的更新装置的具体限定可以参见上文中对于超分辨率算法的更新方法的限定，在此不再赘述。上述超分辨率算法的更新装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

本申请提供了一种超分辨率芯片，包括算法存储硬件模块、更新接口和更新硬件模块。其中，算法存储硬件模块，用于存储已烧录的初始超分辨率算法。更新接口，用于获取用户个性化图像。更新硬件模块，分别与更新接口和算法存储硬件模块相连，用于将各用户个性化图像作为训练样本进行超分辨率学习，得到目标超分辨率算法，以及基于目标超分辨率算法对算法存储硬件模块中存储的已烧录的初始超分辨率算法进行更新。

在一个可能的实施方式中，更新接口可为I/O接口、USB(Universal Serial Bus，通用串行总线)接口等。算法存储硬件模块可为各种存储器。更新硬件模块可为DSP(Digital Signal Processing，数字信号处理)、MCU(Microcontroller Unit，微控制单元)、CPU(central processing unit，中央处理器)等处理器。

在一个实施例中，上述更新硬件模块还用于确定各用户个性化图像的图像内容类型；基于各用户个性化图像的图像内容类型，筛选出目标内容类型；将目标内容类型的用户个性化图像作为训练样本进行超分辨率学习，得到对目标内容类型的用户个性化图像进行超分辨率处理的目标超分辨率算法。

在一个实施例中，上述更新硬件模块还用于统计属于各图像内容类型的图像数量；基于各图像数量，从各图像内容类型中筛选出目标内容类型。

在一个实施例中，上述更新接口还用于获取目标应用发送的用户个性化图像；目标应用是电子设备基于各候选应用的使用频率，从各候选应用中确定的。

在一个实施例中，上述超分辨率芯片还包括超分辨率模块，用于在基于目标超分辨率算法对超分辨率芯片中已烧录的初始超分辨率算法进行更新之后，得到更新的超分辨率算法；在获取到需要进行超分辨率处理的测试图像的情况下，确定测试图像的测试图像内容类型；根据测试图像的测试图像内容类型，从更新的超分辨率算法中确定与测试图像内容类型对应的测试超分辨率算法；调用测试超分辨率算法，对测试图像进行超分辨率处理。

在一个实施例中，上述更新硬件模块还用于获取更新硬件模块的第一优先级，以及算法存储硬件模块的第二优先级，并在第一优先级高于第二优先级的情况下，基于目标超分辨率算法对超分辨率芯片中已烧录的初始超分辨率算法进行更新。

本申请还提供了一种电子设备，电子设备中包括超分辨率芯片，通过超分辨率芯片可以实现本申请实施例中所描述方法的步骤。

图7为一个实施例中超分辨率芯片的内部结构示意图。如图7所示，该超分辨率芯片包括通过***总线连接的处理器和存储器。其中，该处理器用于提供计算和控制能力，支撑整个超分辨率芯片的运行。存储器可以是算法存储硬件模块，算法存储硬件模块可以是MTP((Multiple-Time Programmable，多次可编程存储器)模块。非易失性存储介质存储有计算机程序。该计算机程序可被处理器所执行，以用于实现以下各个实施例所提供的一种超分辨率算法的更新方法。

本申请实施例中提供的超分辨率算法的更新装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上的超分辨率芯片运行。该计算机程序构成的程序模块可存储在电子设备的超分辨率芯片的存储器上。

该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。

本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行超分辨率算法的更新方法的步骤。

一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行超分辨率算法的更新方法。

本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (14)

1.一种超分辨率芯片，其特征在于，包括：

算法存储硬件模块，用于存储已烧录的初始超分辨率算法；

更新接口，用于获取用户个性化图像；

更新硬件模块，分别与所述更新接口和算法存储硬件模块相连，用于将各所述用户个性化图像作为训练样本进行超分辨率学习，得到目标超分辨率算法，以及基于所述目标超分辨率算法对所述算法存储硬件模块中存储的已烧录的初始超分辨率算法进行更新。

2.根据权利要求1所述的超分辨率芯片，其特征在于，所述更新硬件模块还用于确定各所述用户个性化图像的图像内容类型；基于各所述用户个性化图像的图像内容类型，筛选出目标内容类型；将所述目标内容类型的用户个性化图像作为训练样本进行超分辨率学习，得到对所述目标内容类型的用户个性化图像进行超分辨率处理的目标超分辨率算法。

3.根据权利要求2所述的超分辨率芯片，其特征在于，所述更新硬件模块还用于统计属于各所述图像内容类型的图像数量；基于各所述图像数量，从各所述图像内容类型中筛选出目标内容类型。

4.根据权利要求1所述的超分辨率芯片，其特征在于，所述更新接口还用于获取目标应用发送的用户个性化图像；所述目标应用是电子设备基于各候选应用的使用频率，从各所述候选应用中确定的。

5.根据权利要求1所述的超分辨率芯片，其特征在于，所述超分辨率芯片还包括：

超分辨率模块，用于在基于所述目标超分辨率算法对所述超分辨率芯片中已烧录的初始超分辨率算法进行更新之后，得到更新的超分辨率算法；在获取到需要进行超分辨率处理的测试图像的情况下，确定所述测试图像的测试图像内容类型；根据所述测试图像的测试图像内容类型，从所述更新的超分辨率算法中确定与所述测试图像内容类型对应的测试超分辨率算法；调用所述测试超分辨率算法，对所述测试图像进行超分辨率处理。

6.根据权利要求1所述的超分辨率芯片，其特征在于，所述更新硬件模块还用于获取所述更新硬件模块的第一优先级，以及获取所述算法存储硬件模块的第二优先级，并在所述第一优先级高于所述第二优先级的情况下，基于所述目标超分辨率算法对所述超分辨率芯片中已烧录的初始超分辨率算法进行更新。

7.一种超分辨率算法的更新方法，其特征在于，包括：

通过超分辨率芯片获取用户个性化图像；

将所述用户个性化图像作为训练样本进行超分辨率学习，得到目标超分辨率算法；

基于所述目标超分辨率算法对所述超分辨率芯片中已烧录的初始超分辨率算法进行更新。

8.根据权利要求7所述的方法，其特征在于，所述将所述用户个性化图像作为训练样本进行超分辨率学习，得到目标超分辨率算法，包括：

确定各所述用户个性化图像的图像内容类型；

基于各所述用户个性化图像的图像内容类型，筛选出目标内容类型；

将所述目标内容类型的用户个性化图像作为训练样本进行超分辨率学习，得到对所述目标内容类型的用户个性化图像进行超分辨率处理的目标超分辨率算法。

9.根据权利要求8所述的方法，其特征在于，所述基于各所述用户个性化图像的图像内容类型，筛选出目标内容类型，包括：

统计属于各所述图像内容类型的图像数量；

基于各所述图像数量，从各所述图像内容类型中筛选出目标内容类型。

10.根据权利要求7所述的方法，其特征在于，所述通过超分辨率芯片获取用户个性化图像，包括：

通过超分辨率芯片获取目标应用发送的用户个性化图像；所述目标应用是电子设备基于各候选应用的使用频率，从各所述候选应用中确定的。

11.根据权利要求7所述的方法，其特征在于，所述方法还包括：

在基于所述目标超分辨率算法对所述超分辨率芯片中已烧录的初始超分辨率算法进行更新之后，得到更新的超分辨率算法；

在获取到需要进行超分辨率处理的测试图像的情况下，确定所述测试图像的测试图像内容类型；

根据所述测试图像的测试图像内容类型，从所述更新的超分辨率算法中确定与所述测试图像内容类型对应的测试超分辨率算法；

通过所述超分辨率芯片调用所述测试超分辨率算法，对所述测试图像进行超分辨率处理。

12.根据权利要求7所述的方法，其特征在于，所述超分辨率芯片中包括更新接口、更新硬件模块和算法存储硬件模块；所述更新接口用于获取用户个性化图像；所述更新硬件模块用于将各所述用户个性化图像作为训练样本进行超分辨率学习，得到目标超分辨率算法；所述算法存储硬件模块用于存储已烧录的初始超分辨率算法；

所述方法还包括：

获取所述更新硬件模块的第一优先级，以及所述算法存储硬件模块的第二优先级；

在所述第一优先级高于所述第二优先级的情况下，通过所述更新硬件模块基于所述目标超分辨率算法对所述超分辨率芯片中已烧录的初始超分辨率算法进行更新。

13.一种电子设备，其特征在于，包括如权利要求1至6中任一项所述的超分辨率芯片。

14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求7至12中任一项所述的方法的步骤。

Images