CN112153465B - 图像加载方法及装置 - Google Patents

图像加载方法及装置 Download PDF

Info

Publication number
CN112153465B
CN112153465B CN201910578189.5A CN201910578189A CN112153465B CN 112153465 B CN112153465 B CN 112153465B CN 201910578189 A CN201910578189 A CN 201910578189A CN 112153465 B CN112153465 B CN 112153465B
Authority
CN
China
Prior art keywords
image
resolution
app
super
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910578189.5A
Other languages
English (en)
Other versions
CN112153465A (zh
Inventor
胡泊
陆凯
王孝满
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Jingdong Shangke Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN201910578189.5A priority Critical patent/CN112153465B/zh
Publication of CN112153465A publication Critical patent/CN112153465A/zh
Application granted granted Critical
Publication of CN112153465B publication Critical patent/CN112153465B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/414Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明实施例提供一种图像加载方法及装置,用户通过数据网络使用APP时,当电子设备检测出网络状况满足预设条件时,向服务器发送用于请求低分辨率的图像获取请求,使得服务器向电子设备发送低分辨率的图像,由电子设备利用本地部署的超分辨率模型,将低分辨率的图像转换为高分辨率的图像并通过APP加载,对于用户来说,由于低分辨率图像较小,因此可以节约用户的数据流量。同时,在网络条件不好的情况下,可以加速图像的加载速度。另外,对于服务器而言,下发低分辨率的图像可以节省大量的服务器带宽和数据空间,从而节约了成本。

Description

图像加载方法及装置
技术领域
本发明实施例涉及图像处理技术领域,尤其涉及一种图像加载方法及装置。
背景技术
随着移动互联网技术的高速发张,手机等电子设备逐渐成为人们生活中必不可少的工具,该些工具上运行各种应用程序(application,APP),不同的APP承载不同的功能,用户通过使用各种APP进行社交、购物、学习或娱乐等。
用户使用APP的过程中,电子设备从服务器获取文字、图像等,并将获取的内容通过电子设备的屏幕向用户呈现。通常情况下,由于图像比文字更直观更形象,因此,使用APP过程,实质上是电子设备不断的从服务器获取图像并加载的过程。该过程中,若用户使用的是数据网络,当图像的分辨率较高时,严重消耗用户的数据流量。为了避免该弊端,通常在APP的安装包内内置一些访问该APP常用的图像,用户下载并按照该安装包,从而将该些常用的图像保存在电子设备的本地。之后,APP运行时,从本地加载该些常用的图像。
上述加载图像的过程中,需要将图像内置在APP的安装包中。然而,为避免APP的安装包体积膨胀,只能在安装包内内置有限数量的图像。若该APP运行时,需要访问其他图像,则需要终端设备从服务器获取图像并加载。此时,若用户使用数据流量,则同样会严重消耗用户的数据流量。
发明内容
本发明实施例提供一种图像加载方法及装置,电子设备从服务器获取低分辨率的图像,将该低分辨率的图像转换为高分辨率的图像后加载并显示,实现降低消耗数据流量的目的。
第一方面,本发明实施例提供一种图像加载方法,包括:
检测电子设备当前的网络状况,所述电子设备上运行当前需要加载高清图像的应用程序APP;
若所述网络状况满足预设条件,则向服务器发送图像获取请求,所述图像获取请求用于获取分辨率低于第一阈值的图像;
接收所述服务器发送的分辨率低于第一阈值的图像;
利用超分辨率模型将所述图像转换为高清图像并通过所述APP加载。
一种可行的设计中,所述检测电子设备当前的网络状况之前,还包括:
向所述服务器发送下载请求,所述下载请求用于请求下载所述APP;
接收所述服务器发送的安装包,所述安装包携带所述超分辨率模型。
一种可行的设计中,所述若所述网络状况满足预设条件,则向服务器发送图像获取请求之前,还包括:
若所述网络状况满足预设条件,则检测所述电子设备是否缓存分辨率低于第一阈值的图像;
若所述电子设备缓存分辨率低于第一阈值的图像,则利用超分辨率模型将所述图像转换为高清图像并通过所述APP加载。
一种可行的设计中,所述超分辨率模型包括下述模型中的任意一种:超分辨率生成对抗网络模型、随机森林模型、插值模型、稀疏模型。
一种可行的设计中,所述利用超分辨率模型将所述图像转换为高清图像并通过所述APP加载,包括:
为所述超分辨率模型分配内存;
在所述内存上运行所述超分辨率模型,并将所述分辨率低于第一阈值的图像输入至所述超分辨率模型,得到所述高清图像;
通过所述APP加载所述高清图像。
第二方面,本发明实施例提供一种图像加载方法,包括:
接收电子设备在检测出当前的网络状况满足预设条件时发送的图像获取请求,所述电子设备上运行当前需要加载高清图像的应用程序APP,所述图像获取请求用于获取分辨率低于第一阈值的图像;
根据所述图像获取请求获取分辨率低于第一阈值的图像;
向所述电子设备发送所述分辨率低于第一阈值的图像。
一种可行的设计中,所述接收电子设备在检测出当前的网络状况满足预设条件时发送的图像获取请求之前,还包括:
接收所述电子设备发送的下载请求,所述下载请求用于请求下载所述APP;
向所述电子设备发送所述APP的安装包,所述安装包携带所述超分辨率模型。
一种可行的设计中,所述超分辨率模型包括下述模型中的任意一种:超分辨率生成对抗网络模型、随机森林模型、插值模型、稀疏模型。
第三方面,本发明实施例提供一种图像加载装置,包括:
处理单元,用于检测电子设备当前的网络状况,所述电子设备上运行当前需要加载高清图像的应用程序APP;
发送单元,用于若所述水处理单元出所述网络状况满足预设条件,则向服务器发送图像获取请求,所述图像获取请求用于获取分辨率低于第一阈值的图像;
接收单元,用于接收所述服务器发送的分辨率低于第一阈值的图像;
所处理单元,还用于利用超分辨率模型将所述图像转换为高清图像并通过所述APP加载。
一种可行的设计中,所述发送单元,在所述处理单元检测电子设备当前的网络状况之前,还用于向所述服务器发送下载请求,所述下载请求用于请求下载所述APP;
所述接收单元,还用于接收所述服务器发送的安装包,所述安装包携带所述超分辨率模型。
一种可行的设计中,所述处理单元,在所述网络状况满足预设条件,所述发送单元向服务器发送图像获取请求之前,还用于检测所述电子设备是否缓存分辨率低于第一阈值的图像,若所述电子设备缓存分辨率低于第一阈值的图像,则利用超分辨率模型将所述图像转换为高清图像并通过所述APP加载。
一种可行的设计中,所述超分辨率模型包括下述模型中的任意一种:超分辨率生成对抗网络模型、随机森林模型、插值模型、稀疏模型。
一种可行的设计中,所述处理单元,用于为所述超分辨率模型分配内存,将所述分辨率低于第一阈值的图像输入至所述超分辨率模型,在所述内存上运行所述超分辨率模型,并将所述分辨率低于第一阈值的图像输入至所述超分辨率模型,得到所述高清图像,通过所述APP加载所述高清图像。
第四方面,本发明实施例提供一种图像加载方法,包括:
接收单元,用于接收电子设备在检测出当前的网络状况满足预设条件时发送的图像获取请求,所述电子设备上运行当前需要加载高清图像的应用程序APP,所述图像获取请求用于获取分辨率低于第一阈值的图像;
处理单元,用于根据所述图像获取请求获取分辨率低于第一阈值的图像;
发送单元,用于向所述电子设备发送所述分辨率低于第一阈值的图像。
一种可行的设计中,所述接收单元,在接收电子设备在检测出当前的网络状况满足预设条件时发送的图像获取请求之前,还用于接收所述电子设备发送的下载请求,所述下载请求用于请求下载所述APP;
所述发送单元,还用于向所述电子设备发送所述APP的安装包,所述安装包携带所述超分辨率模型。
一种可行的设计中,所述超分辨率模型包括下述模型中的任意一种:超分辨率生成对抗网络模型、随机森林模型、插值模型、稀疏模型。
第五方面,本发明实施例提供一种终端设备,包括处理器、存储器及存储在所述存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上第一方面或第一方面的各种可行的实现方式所述的方法。
第六方面,本发明实施例提供一种服务器,包括处理器、存储器及存储在所述存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上第一方面或第一方面的各种可行的实现方式所述的方法。
第七方面,本发明实施例提供一种存储介质,所述存储介质中存储有指令,当其在电子设备上运行时,使得电子设备执行如上第一方面或第一方面的各种可行的实现方式所述的方法。
第八方面,本发明实施例提供一种存储介质,所述存储介质中存储有指令,当其在服务器上运行时,使得服务器执行如上第二方面或第二方面的各种可行的实现方式所述的方法。
第九方面,本发明实施例提供一种计算机程序产品,所述计算机程序产品在电子设备上运行时,使得电子设备执行如上第一方面或第一方面的各种可行的实现方式所述的方法。
第十方面,本发明实施例提供一种计算机程序产品,所述计算机程序产品在服务器上运行时,使得服务器执行如上第二方面或第二方面的各种可行的实现方式所述的方法。
本发明实施例提供的图像加载方法及装置,用户通过数据网络使用APP时,当电子设备检测出网络状况满足预设条件时,向服务器发送用于请求低分辨率的图像获取请求,使得服务器向电子设备发送低分辨率的图像,由电子设备利用本地部署的超分辨率模型,将低分辨率的图像转换为高分辨率的图像并通过APP加载,对于用户来说,由于低分辨率图像较小,因此可以节约用户的数据流量。同时,在网络条件不好的情况下,可以加速图像的加载速度。另外,对于服务器而言,下发低分辨率的图像可以节省大量的服务器带宽和数据空间,从而节约了成本。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的图像加载方法的运行环境示意图;
图2是本发明实施例提供的一种图像加载方法的流程图;
图3是本发明是实施例提供的图像加载方法的另一流程图;
图4是本发明实施例提供的图像加载方法中训练超分辨率模型的流程图;
图5是本发明实施例提供的图像加载方法中超分辨率处理的流程图;
图6为本发明实施例提供的一种图像加载装置的结构示意图;
图7为本发明实施例提供的另一种图像加载装置的结构示意图;
图8为本发明实施例提供的又一种图像加载装置的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
用户使用APP过程,实质上是承载该APP的电子设备不断的从服务器获取图像并加载的过程。该过程中,若用户使用的是数据网络,当图像的分辨率较高时,严重消耗用户的数据流量。为了避免该弊端,通常在APP的安装包内内置一些访问该APP常用的图像,用户下载并按照该安装包,从而将该些常用的图像保存在电子设备的本地。之后,APP运行时,从本地加载该些常用的图像。
上述加载图像的过程中,需要将图像内置在APP的安装包中。然而,为避免APP的安装包体积膨胀,只能在安装包内内置有限数量的图像。若该APP运行时,需要访问其他图像,则需要终端设备从服务器获取图像并加载。此时,若用户使用数据流量,则同样会严重消耗用户的数据流量。而且,该种方式非常死板,APP常用的图像发生变化时,需要研发重新发布携带新的图像的APP的安装包,用户下载该安装包并对本地存储的常用图像进行更新。另外,若该APP运行时,需要访问其他图像,则需要终端设备从服务器获取图像并加载。此时,若用户使用的是数据网络,则同样会严重消耗用户的数据流量。
目前还有其他一些方式,用于解决网络状况不好时,图像加载慢或加载失败的问题。例如,依赖wifi环境更新图像的方式,该种方式中,只有电子设备连接到WiFi的情况下,APP运行时,服务器才向该APP发送高分辨率的图像,从而避免消耗用户的数据流量。然而,该种方式严重依赖于WiFi网络,限制了用户使用APP的环境,很不灵活。再如,服务器利用webp对图像进行压缩后在发送给电子设备,压缩后的图像的大小约为原图的2/3,该种方式在一定程度上能够减少用户数据流量的消耗,但是当图像较多、较大时,同样会过度消耗用户的数据流量。又如,兜底方案,该种方案中,若电子设备加载图像失败在,则从服务器获取该图像的缩略图并加载,但是缩略图放大后存在不清晰的问题。
有鉴于此,本发明实施例提供一种图像加载方法及装置,电子设备从服务器获取低分辨率的图像,将该低分辨率的图像转换为高分辨率的图像后加载并显示,实现降低消耗数据流量的目的。
图1是本发明实施例提供的图像加载方法的运行环境示意图。请参照图1,电子设备与服务器建立网络连接,电子设备上运行APP,服务器是为该APP提供业务服务的服务器。电子设备具有检测网络状况的功能,当当前网络状况不好时,电子设备向服务器发送获取分辨率低于第一阈值的图像的图像获取请求,以获取低分辨率的图像。服务器接收到该图像获取请求后,不向电子设备发送高分辨率的图像,而是向电子设备发送分辨率低于第一阈值的图像。电子设备接收到分辨率低于第一阈值的图像后,利用部署在电子设备上的超分辨率模型,将该分辨率低于第一阈值的图像转换为高清图像,即利用超分辨率技术将低分辨率的图像转换为高分辨率的图像。其中,电子设备例如可以是用户的电脑、笔记本、手机等,本发明实施例并不限制。服务器例如可以是APP对应的服务器等。
下面,在上述图1的基础上,对本发明实施例所述的图像加载方法进行详细说明。示例性的,请参见图2。
图2是本发明实施例提供的一种图像加载方法的流程图。本实施例从服务器和终端设备交互的角度对本发明实施例所述的图像加载方法进行详细说明,本实施例包括:
101、检测电子设备当前的网络状况是否满足预设条件,所述电子设备上运行当前需要加载高清图像的应用程序APP,若所述网络状况满足预设条件,则执行步骤102;若所述网络状况不满足预设条件,则执行步骤106。
示例性的,当用户点击电子设备上触摸屏上APP的图标,启动该APP时,该APP需要加载该APP的主页面、一些广告等时,具有需要加载高清图像的需求。此时,电子设备检测自身当前的网络状况。例如,预设条件为电子设备通过数据网络连接至服务器。
102、若所述网络状况满足预设条件,则向服务器发送图像获取请求,所述图像获取请求用于获取分辨率低于第一阈值的图像。
示例性的,若电子设备检测出网络状况满足预设条件,例如,电子设备通过数据网络连接至服务器,则电子设备向服务器发送用于获取分辨率低于第一阈值的图像,以请求服务器向电子设备发送低分辨率的图像。
103、根据所述图像获取请求获取分辨率低于第一阈值的图像。
示例性的,服务器接收到图像获取请求后,根据该图像获取请求,从本地或其他地方获取分辨率低于第一阈值的图像,即低分辨率的图像,该低分辨率的图像与APP需求的高分辨率图像具有对应关系。
104、向所述电子设备发送所述分辨率低于第一阈值的图像。
示例性的,服务器将上述步骤103中确定出的低分辨率的图像通过数据网络发送给电子设备,由于低分辨率图像较小,因此可以节约用户的数据流量。
105、利用超分辨率模型将所述图像转换为高清图像并通过所述APP加载。
示例性的,电子设备接收到低分辨率的图像后,利用部署在本地的超分辨率模型,将该低分辨率的图像转换为高清图像,即利用超分辨率技术将低分辨率的图像转换为高分辨率的图像,之后,通过APP加载该高分辨率的图像并显示给用户。
106、请求从服务器获取高清图像。
本实施例提供的图像加载方法,用户通过数据网络使用APP时,当电子设备检测出网络状况满足预设条件时,向服务器发送用于请求低分辨率的图像获取请求,使得服务器向电子设备发送低分辨率的图像,由电子设备利用本地部署的超分辨率模型,将低分辨率的图像转换为高分辨率的图像并通过APP加载,对于用户来说,由于低分辨率图像较小,因此可以节约用户的数据流量。同时,在网络条件不好的情况下,可以加速图像的加载速度。另外,对于服务器而言,下发低分辨率的图像可以节省大量的服务器带宽和数据空间,从而节约了成本。
上述实施例中,网络状况包括但不限于电子设备与服务器的网络连接方式。例如,网络状况指网络连接的优良程度,此时,预先设置丢包率与网络状况的优良程度的对应关系,当丢包率低于某个阈值a时,认为网络状况优,当丢包率高于阈值b时,则认为网络状况差,当丢包率介于阈值a与阈值b之间时,认为网络状况良。再如,网络状况指当前网络的网络时延、访问服务器的用户的数量等。
上述实施例中,超分辨率模型用于利用超分辨率技术,将低分辨率的图像转换为高分辨率的图像,由于低分辨率的图像信息缺失,因此,超分辨率技术是一个求逆的技术。本发明实施例中,超分辨率模型包括但不限于超分辨率生成对抗网络模型、随机森林模型、插值模型、稀疏模型等。其中,插值模型通过在低分辨率图像中加入一些先验信息,从而将低分辨率图像恢复为高分辨率图像;随机森林模型是基于回归的方法训练得到的;稀疏模型基于稀疏学习得到;卷积神经网络(Convolutional Neural Networks,CNN)模型在超分辨率技术中的效果非常好,CNN模型中的超分辨率生成对抗网络(Super-ResolutionGenerative Adversarial Network,SGRAN)模型是对图像进行高斯噪声处理、运动模糊添加等处理得到的。
本申请实施例中,超分辨率模型是预先部署在电子设备内部的。部署之前,需要训练超分辨率模型。由于通过机器学习等方式训练超分辨率模型需要强大的性能和计算能力,因此,由服务器进行模型训练,该服务器可以是为APP提供业务服务的服务器,也可以是其他的服务器。服务器训练好超分辨率模型后,将该超分辨率模型打包到APP的安装包中,如打包在APP的安卓安装包(Android Package,APK)中,并将该APP的安装包上传至APP应用商店,如APP store、为APP提供业务的服务器等,供用户下载。因此,下载过程中,电子设备向所述服务器发送下载请求,所述下载请求用于请求下载所述APP。服务器接收到下载请求后,将该APP的安装包发送给电子设备;相应的,电子设备接收所述服务器发送的安装包,所述安装包携带所述超分辨率模型。之后,电子设备加载所述安装包,安装该APP的同时安装分辨率模型。安装成功后,每次APP启动的同时,该超分辨率模型启动。
下面,用一个例子说明电子设备在运行需求高清图像的APP时,如何快速加载图像进行详细说明。示例性的,可参见图3,图3是本发明是实施例提供的图像加载方法的另一流程图,本实施例包括:
201、电子设备检测出APP需求加载高清图像。
示例性的,电子设备上预先部署训练好的超分辨率模型。当用户点击APP,该APP需要加载高清图像,该高清图像例如为APP开启时服务器下发的广告图像、APP的首页显示的图像等。
202、电子设备检测该电子设备是否缓存分辨率低于第一阈值的图像,若电子设备缓存分辨率低于第一阈值的图像,则执行步骤203;若电子设备的缓存中没有分辨率低于第一阈值的图像,则执行步骤204;
示例性的,当需要通过APP加载高清图像时,电子设备先判断缓存中是否存在低分辨率的图像,若存在,则执行步骤203对该图像进行处理;若不存在低分辨率的图像,则执行步骤204,请求服务器下发低分辨率的图像,其中,低分辨率的图像即为分辨率低于第一阈值的图像。
203、电子设备读取缓存中分辨率低于第一阈值的图像。
204、电子设备向服务器发送图像获取请求,该图像获取请求用于获取分辨率低于第一阈值的图像。
205、服务器根据图像获取请求获取分辨率低于第一阈值的图像。
206、服务器向所述电子设备发送所述分辨率低于第一阈值的图像。
207、电子设备利用超分辨率模型将所述图像转换为高清图像。
208、电子设备通过APP加载高清图像。
示例性的,步骤207-208中,电子设备利用SRGAN模型等超分辨率模型对低分辨率的图像进行处理,生成高分辨率的图像,并交由APP,由APP的图像显示框架进行显示。
上述示例中,由于服务器向电子设备发送的低分辨率的图像,因此,在用户使用数据网络时,可以节省用户的流量消耗。另外,不管用户使用的数据网络还是WiFi,倘若网络条件不好,则可以缩短图像加载的时间。
上述实施例中,超分辨率模型是服务器对样本图像进行训练得到的,由于服务器训练得到的超分辨率模型为经过固化生成的模型,该模型不能直接部署到电子设备,需要经过转换后才能部署至电子设备。下面,以超分辨率模型为SRGAN模型为例,对服务器如何训练得到SRGAN模型并对该模型进行转换进行详细说明。示例性的,可参见图4。
图4是本发明实施例提供的图像加载方法中训练超分辨率模型的流程图,本实施例包括:
301、服务器训练SRGAN模型。
示例性的,服务器利用TensorFlow等对样本图像进行训练,得到SRGAN模型。训练过程中,生成图形符号(Graphdef文件)和检查点(checkpoint)文件。
TensorFlow是谷歌(Google)开源的人工智能框架,也是主流的网络搭建和模型训练工具。SRGAN模型是一种基于卷积神经网络的超分辨率模型,是基于生成式对抗网络(Generative Adversarial Networks,GAN)方法进行训练的,该SRGAN模型包括一个生成器和一个判别器,生成器也称之为G网,判别器也称之为D网,判别器的主体使用视觉几何组(Visual Geometry Group,VGG);生成器是一连串的残余块(residual block)连接。生成器将低分辨率的图像生成高分辨率的图像,判别器判断该高分辨率的图像是生成器生成的,还是数据库中的原始图像。当判别器能够将生成器生成的图像判别为数据中的原始图像,即生成器成功骗过了判别器的时候,则认为模型训练结束。
上述模型训练过程中,在SRGAN模型中加入亚像素(subpixel)模块,使得生成器在最后的网络层才对图像增加分辨率,提升分辨率的同时减少计算资源消耗。
302、对图像符号文件和检查点文件进行网络固化操作,得到固化后的图像符号文件。
示例性的,服务器对步骤301中生成的Graphdef文件和checkpoint进行网络固化操作,得到固化后的Graphdef文件,固化后的Graphdef文件也称之为冻结的图像符号文件,即frozen Graphdef文件。
303、对固化后的图像符号文件执行模型转换,得到可在电子设备上运行的SRGAN模型。
示例性的,服务器利用TensorFlow提供的二进制工具或者通过Python编程执行模型转换,转换后审查以.tflite为后缀的模型文件,该模型可以直接运行在电子设备上。其中,后缀为.tflite的模型文件与TensorFlow Life方案对应,TensorFlow Life方案是TensorFlow的轻量级解决方案,转为电子设备设计,你能够通过优化内核、预置激活函数等方式,实现低延迟的端侧机器学习推理。
304、将SRGAN模型打包到APP的安装包中,以使得电子设备下载该安装包后,将该SRGAN模型部署到电子设备内。
下面,以超分辨率模型为SRGAN模型为例,对上述实施例中,超分辨率模型如何对低分辨率图片进行超分辨率处理进行详细说明。示例性的,可参见图5。
图5是本发明实施例提供的图像加载方法中超分辨率处理的流程图,本实施例包括:
401、电子设备初始化SRGAN模型。
示例性的,电子设备使用SRGAN模型将低分辨率图像转换为高分辨率图像的过程,是通过调度TensorFlow Life完成的。
402、电子设备为SRGAN模型分配内存。
示例性的,运行SRGAN模型之前,需要为该SRGAN模型分配内存。
403、电子设备在内存上运行SRGAN模型,并将所述分辨率低于第一阈值的图像输入至所述超分辨率模型,得到所述高清图像。
404、电子设备通过APP加载高清图像。
示例性的,步骤403和404中,电子设备将缓存中的低分辨率图像或从服务器接收到的低分辨率图像作为模型的输入,输入至SRGAN模型,使得SRGAN模型开始推理过程,即低分辨率图像转换为高分辨率图像的过程。该过程中,SRGAN模型能够将低分辨率图像的分辨率提高多少倍,取决于SRGAN模型的能力,SRGAN模型最高支持4倍的超分效果。
405、电子设备释放内存。
示例性的,将低分辨率的图像转换为高分辨率的图像后,电子设备释放分配给该SRGAN模型的内存。
下述为本发明装置实施例,可以用于执行本发明方法实施例。对于本发明装置实施例中未披露的细节,请参照本发明方法实施例。
图6为本发明实施例提供的一种图像加载装置的结构示意图。本实施例所涉及的图像加载装置可以为电子设备,也可以为应用于电子设备的芯片。该图像加载装置可以用于执行上述实施例中电子设备的功能。如图6所示,该图像加载装置100可以包括:
处理单元11,用于检测电子设备当前的网络状况,所述电子设备上运行当前需要加载高清图像的应用程序APP;
发送单元12,用于若所述水处理单元11出所述网络状况满足预设条件,则向服务器发送图像获取请求,所述图像获取请求用于获取分辨率低于第一阈值的图像;
接收单元13,用于接收所述服务器发送的分辨率低于第一阈值的图像;
所处理单元11,还用于利用超分辨率模型将所述图像转换为高清图像并通过所述APP加载。
一种可行的设计中,所述发送单元12,在所述处理单元11检测电子设备当前的网络状况之前,还用于向所述服务器发送下载请求,所述下载请求用于请求下载所述APP;
所述接收单元13,还用于接收所述服务器发送的安装包,所述安装包携带所述超分辨率模型。
一种可行的设计中,所述处理单元11,在所述网络状况满足预设条件,所述发送单元12向服务器发送图像获取请求之前,还用于检测所述电子设备是否缓存分辨率低于第一阈值的图像,若所述电子设备缓存分辨率低于第一阈值的图像,则利用超分辨率模型将所述图像转换为高清图像并通过所述APP加载。
一种可行的设计中,所述超分辨率模型包括下述模型中的任意一种:超分辨率生成对抗网络模型、随机森林模型、插值模型、稀疏模型。
一种可行的设计中,所述处理单元11,用于为所述超分辨率模型分配内存,在所述内存上运行所述超分辨率模型,并将所述分辨率低于第一阈值的图像输入至所述超分辨率模型,得到所述高清图像,通过所述APP加载所述高清图像。
本申请实施例提供的图像加载装置,可以执行上述实施例中电子设备的动作,其实现原理和技术效果类似,在此不再赘述。
图7为本发明实施例提供的另一种图像加载装置的结构示意图。本实施例所涉及的图像加载装置可以为服务器,也可以为应用于服务器的芯片。该图像加载装置可以用于执行上述实施例中服务器的功能。如图7所示,该图像加载装置200可以包括:
接收单元21,用于接收电子设备在检测出当前的网络状况满足预设条件时发送的图像获取请求,所述电子设备上运行当前需要加载高清图像的应用程序APP,所述图像获取请求用于获取分辨率低于第一阈值的图像;
处理单元22,用于根据所述图像获取请求获取分辨率低于第一阈值的图像;
发送单元23,用于向所述电子设备发送所述分辨率低于第一阈值的图像。
一种可行的设计中,所述接收单元21,在接收电子设备在检测出当前的网络状况满足预设条件时发送的图像获取请求之前,还用于接收所述电子设备发送的下载请求,所述下载请求用于请求下载所述APP;
所述发送单元23,还用于向所述电子设备发送所述APP的安装包,所述安装包携带所述超分辨率模型。
一种可行的设计中,所述超分辨率模型包括下述模型中的任意一种:超分辨率生成对抗网络模型、随机森林模型、插值模型、稀疏模型。
本发明实施例提供的登录验证装置,可以执行上述实施例中服务器的动作,其实现原理和技术效果类似,在此不再赘述。
需要说明的是,应理解以上接收单元实际实现时可以为接收器、发送单元实际实现时可以为发送器。而处理单元可以以软件通过处理元件调用的形式实现;也可以以硬件的形式实现。例如,处理单元可以为单独设立的处理元件,也可以集成在上述装置的某一个芯片中实现,此外,也可以以程序代码的形式存储于上述装置的存储器中,由上述装置的某一个处理元件调用并执行以上处理单元的功能。此外这些单元全部或部分可以集成在一起,也可以独立实现。这里所述的处理元件可以是一种集成电路,具有信号的处理能力。在实现过程中,上述方法的各步骤或以上各个单元可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如,以上这些单元可以是被配置成实施以上方法的一个或多个集成电路,例如:一个或多个专用集成电路(application specific integrated circuit,ASIC),或,一个或多个微处理器(digital signal processor,DSP),或,一个或者多个现场可编程门阵列(field programmable gate array,FPGA)等。再如,当以上某个单元通过处理元件调度程序代码的形式实现时,该处理元件可以是通用处理器,例如中央处理器(centralprocessing unit,CPU)或其它可以调用程序代码的处理器。再如,这些单元可以集成在一起,以片上***(system-on-a-chip,SOC)的形式实现。
图8为本发明实施例提供的又一种图像加载装置的结构示意图。如图8所示,该图像加载装置300包括:
至少一个处理器31和存储器32;
所述存储器32存储计算机执行指令;
所述至少一个处理器31执行所述存储器32存储的计算机执行指令,使得所述至少一个处理器31执行如上电子设备执行的图像加载方法或服务器执行的图像加载方法。
处理器31的具体实现过程可参见上述方法实施例,其实现原理和技术效果类似,本实施例此处不再赘述。
可选地,该图像加载装置300还包括通信部件33。其中,处理器31、存储器32以及通信部件33可以通过总线34连接。
本发明实施例还提供一种存储介质,所述存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如上所述的图像加载方法。
本发明实施例还提供一种计算机程序产品,当所述计算机程序产品在计算机上运行时,使得计算机执行如上述图像加载方法。
在上述的实施例中,应该理解到,所描述的设备和方法,可以通过其它的方式实现。例如,以上所描述的设备实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个模块可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能模块可以集成在一个处理单元中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个单元中。上述模块成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
上述以软件功能模块的形式实现的集成的模块,可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中,包括若干指令用以使得一台电子设备(可以是个人计算机,服务器,或者网络设备等)或处理器(英文:processor)执行本发明各个实施例所述方法的部分步骤。
应理解,上述处理器可以是中央处理单元(central processing unit,CPU),还可以是其他通用处理器、数字信号处理器(digital signal processor,DSP)、专用集成电路(application specific integrated circuit,ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。
存储器可能包含高速RAM存储器,也可能还包括非易失性存储NVM,例如至少一个磁盘存储器,还可以为U盘、移动硬盘、只读存储器、磁盘或光盘等。
总线可以是工业标准体系结构(industry standard architecture,ISA)总线、外部设备互连(peripheral component,PCI)总线或扩展工业标准体系结构(extendedIndustry standard architecture,EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示,本发明附图中的总线并不限定仅有一根总线或一种类型的总线。
上述存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。存储介质可以是通用或专用计算机能够存取的任何可用介质。
一种示例性的存储介质耦合至处理器,从而使处理器能够从该存储介质读取信息,且可向该存储介质写入信息。当然,存储介质也可以是处理器的组成部分。处理器和存储介质可以位于专用集成电路(application specific integrated circuits,ASIC)中。当然,处理器和存储介质也可以作为分立组件存在于终端或服务器中。
本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (8)

1.一种图像加载方法,其特征在于,包括:
检测电子设备当前的网络状况,所述电子设备上运行当前需要加载高清图像的应用程序APP;
若所述网络状况满足预设条件,则向服务器发送图像获取请求,所述图像获取请求用于获取分辨率低于第一阈值的图像;
接收所述服务器发送的分辨率低于第一阈值的图像;
利用超分辨率模型将所述图像转换为高清图像并通过所述APP加载;
所述检测电子设备当前的网络状况之前,还包括:向所述服务器发送下载请求,所述下载请求用于请求下载所述APP;
接收所述服务器发送的安装包,所述安装包携带所述超分辨率模型;
加载所述安装包,安装所述APP的同时安装所述超分辨率模型;所述超分辨率模型在所述APP启动时启动。
2.根据权利要求1所述的方法,其特征在于,所述若所述网络状况满足预设条件,则向服务器发送图像获取请求之前,还包括:
若所述网络状况满足预设条件,则检测所述电子设备是否缓存分辨率低于第一阈值的图像;
若所述电子设备缓存分辨率低于第一阈值的图像,则利用超分辨率模型将所述图像转换为高清图像并通过所述APP加载。
3.根据权利要求1所述的方法,其特征在于,所述超分辨率模型包括下述模型中的任意一种:超分辨率生成对抗网络模型、随机森林模型、插值模型、稀疏模型。
4.根据权利要求1所述的方法,其特征在于,所述利用超分辨率模型将所述图像转换为高清图像并通过所述APP加载,包括:
为所述超分辨率模型分配内存;
在所述内存上运行所述超分辨率模型,并将所述分辨率低于第一阈值的图像输入至所述超分辨率模型,得到所述高清图像;
通过所述APP加载所述高清图像。
5.一种图像加载方法,其特征在于,包括:
接收电子设备在检测出当前的网络状况满足预设条件时发送的图像获取请求,所述电子设备上运行当前需要加载高清图像的应用程序APP,所述图像获取请求用于获取分辨率低于第一阈值的图像;
根据所述图像获取请求获取分辨率低于第一阈值的图像;
向所述电子设备发送所述分辨率低于第一阈值的图像;
所述接收电子设备在检测出当前的网络状况满足预设条件时发送的图像获取请求之前,还包括:
接收所述电子设备发送的下载请求,所述下载请求用于请求下载所述APP;
向所述电子设备发送所述APP的安装包,所述安装包携带超分辨率模型,以使所述电子设备加载所述安装包,并在安装所述APP的同时安装所述超分辨率模型;其中,所述超分辨率模型在所述APP启动时启动。
6.根据权利要求5所述的方法,其特征在于,所述超分辨率模型包括下述模型中的任意一种:超分辨率生成对抗网络模型、随机森林模型、插值模型、稀疏模型。
7.一种图像加载装置,其特征在于,包括:
处理单元,用于检测电子设备当前的网络状况,所述电子设备上运行当前需要加载高清图像的应用程序APP;
发送单元,用于若所述处理单元出所述网络状况满足预设条件,则向服务器发送图像获取请求,所述图像获取请求用于获取分辨率低于第一阈值的图像;
接收单元,用于接收所述服务器发送的分辨率低于第一阈值的图像;
所处理单元,还用于利用超分辨率模型将所述图像转换为高清图像并通过所述APP加载;
所述发送单元,在所述处理单元检测电子设备当前的网络状况之前,还用于向所述服务器发送下载请求,所述下载请求用于请求下载所述APP;
所述接收单元,还用于接收所述服务器发送的安装包,所述安装包携带所述超分辨率模型;加载所述安装包,安装所述APP的同时安装所述超分辨率模型;所述超分辨率模型在所述APP启动时启动。
8.一种图像加载装置,其特征在于,包括:
接收单元,用于接收电子设备在检测出当前的网络状况满足预设条件时发送的图像获取请求,所述电子设备上运行当前需要加载高清图像的应用程序APP,所述图像获取请求用于获取分辨率低于第一阈值的图像;
处理单元,用于根据所述图像获取请求获取分辨率低于第一阈值的图像;
发送单元,用于向所述电子设备发送所述分辨率低于第一阈值的图像;
所述接收单元,在接收电子设备在检测出当前的网络状况满足预设条件时发送的图像获取请求之前,还用于接收所述电子设备发送的下载请求,所述下载请求用于请求下载所述APP;
所述发送单元,还用于向所述电子设备发送所述APP的安装包,所述安装包携带所述超分辨率模型,以使所述电子设备加载所述安装包,并在安装所述APP的同时安装所述超分辨率模型;其中,所述超分辨率模型在所述APP启动时启动。
CN201910578189.5A 2019-06-28 2019-06-28 图像加载方法及装置 Active CN112153465B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910578189.5A CN112153465B (zh) 2019-06-28 2019-06-28 图像加载方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910578189.5A CN112153465B (zh) 2019-06-28 2019-06-28 图像加载方法及装置

Publications (2)

Publication Number Publication Date
CN112153465A CN112153465A (zh) 2020-12-29
CN112153465B true CN112153465B (zh) 2024-01-16

Family

ID=73891143

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910578189.5A Active CN112153465B (zh) 2019-06-28 2019-06-28 图像加载方法及装置

Country Status (1)

Country Link
CN (1) CN112153465B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111142751A (zh) * 2019-12-26 2020-05-12 腾讯科技(深圳)有限公司 一种图像处理方法、装置、智能终端及存储介质
CN113055742B (zh) * 2021-03-05 2023-06-09 Oppo广东移动通信有限公司 视频显示方法、装置、终端及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101594203A (zh) * 2008-05-30 2009-12-02 索尼株式会社 发送装置、发送方法和接收装置
CN102047287A (zh) * 2008-06-17 2011-05-04 株式会社Ntt都科摩 利用稀疏变换的图像/视频质量增强和超分辨率
CN104144313A (zh) * 2013-05-10 2014-11-12 中国电信股份有限公司 视频通信方法、***与云端图像服务器
CN204903013U (zh) * 2015-06-19 2015-12-23 杭州电子科技大学 一种辅助手机进行红外热成像的外挂装置
CN107105338A (zh) * 2017-03-17 2017-08-29 深圳市先河***技术有限公司 用于显示图像、视频及响应网络请求的方法及终端
CN107784686A (zh) * 2016-08-25 2018-03-09 上海交通大学 基于多分辨率的多视角媒体呈现方法
CN107959668A (zh) * 2016-10-14 2018-04-24 南宁富桂精密工业有限公司 流媒体传输优化方法及缓存装置
WO2018133597A1 (zh) * 2017-01-19 2018-07-26 优视科技有限公司 网页图片加载的方法、***、电子设备及可读存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10489887B2 (en) * 2017-04-10 2019-11-26 Samsung Electronics Co., Ltd. System and method for deep learning image super resolution

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101594203A (zh) * 2008-05-30 2009-12-02 索尼株式会社 发送装置、发送方法和接收装置
CN102047287A (zh) * 2008-06-17 2011-05-04 株式会社Ntt都科摩 利用稀疏变换的图像/视频质量增强和超分辨率
CN104144313A (zh) * 2013-05-10 2014-11-12 中国电信股份有限公司 视频通信方法、***与云端图像服务器
CN204903013U (zh) * 2015-06-19 2015-12-23 杭州电子科技大学 一种辅助手机进行红外热成像的外挂装置
CN107784686A (zh) * 2016-08-25 2018-03-09 上海交通大学 基于多分辨率的多视角媒体呈现方法
CN107959668A (zh) * 2016-10-14 2018-04-24 南宁富桂精密工业有限公司 流媒体传输优化方法及缓存装置
WO2018133597A1 (zh) * 2017-01-19 2018-07-26 优视科技有限公司 网页图片加载的方法、***、电子设备及可读存储介质
CN107105338A (zh) * 2017-03-17 2017-08-29 深圳市先河***技术有限公司 用于显示图像、视频及响应网络请求的方法及终端

Also Published As

Publication number Publication date
CN112153465A (zh) 2020-12-29

Similar Documents

Publication Publication Date Title
CN111666497B (zh) 应用程序的加载方法、装置、电子设备及可读存储介质
CN109214632B (zh) 一种风险控制方法及设备
EP3625708A1 (en) Two-dimensional code generation method, two-dimensional code processing method, apparatus, device, and two-dimensional code
CN107040574B (zh) 一种截图、数据处理方法及设备
CN112153465B (zh) 图像加载方法及装置
CN103914205A (zh) 一种智能终端的文件缩略图展示方法和装置
CN107479868B (zh) 一种界面加载方法、装置及设备
US20190114989A1 (en) Systems and methods for image optimization
CN111338623A (zh) 一种开发用户界面的方法、装置、介质和电子设备
CN113411404A (zh) 一种文件下载方法、装置、服务器及存储介质
CN111581555A (zh) 一种文档加载方法、装置、设备及存储介质
CN105487640A (zh) 一种安卓手表预加载和缓存图片的方法
CN113127361A (zh) 应用程序的开发方法、装置、电子设备和存储介质
CN110874298B (zh) 一种请求数据存储方法及终端设备
CN110750744A (zh) 页面呈现方法及装置
CN102377793B (zh) 基于移动通讯设备终端的Flash交互方法及装置
CN111414383B (zh) 数据请求方法、数据处理***及计算设备
CN108549557A (zh) 应用留存方法、终端及存储介质
CN110505289B (zh) 文件下载方法及装置、计算机可读介质、无线通信设备
CN112416303A (zh) 软件开发工具包热修复方法、装置及电子设备
CN107580033B (zh) 负载信息处理方法和装置、消息处理方法和装置、服务器
CN116596748A (zh) 图像风格化处理方法、装置、设备、存储介质和程序产品
CN114692053A (zh) 一种网页图片的无损压缩方法、电子设备及存储介质
CN114218175A (zh) 一种资源跨平台共享方法、装置、终端设备及存储介质
CN110611817B (zh) 基于文本图像内容的图像压缩

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant