CN111553846B - 超分辨率处理方法及装置 - Google Patents
超分辨率处理方法及装置 Download PDFInfo
- Publication number
- CN111553846B CN111553846B CN202010400669.5A CN202010400669A CN111553846B CN 111553846 B CN111553846 B CN 111553846B CN 202010400669 A CN202010400669 A CN 202010400669A CN 111553846 B CN111553846 B CN 111553846B
- Authority
- CN
- China
- Prior art keywords
- area
- super
- resolution processing
- determining
- frame image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 20
- 238000012545 processing Methods 0.000 claims abstract description 161
- 238000000034 method Methods 0.000 claims abstract description 46
- 238000003709 image segmentation Methods 0.000 claims abstract description 16
- 238000004891 communication Methods 0.000 claims description 24
- 238000005516 engineering process Methods 0.000 claims description 21
- 210000001508 eye Anatomy 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 11
- 230000011218 segmentation Effects 0.000 claims description 10
- 210000005252 bulbus oculi Anatomy 0.000 claims description 7
- 230000000694 effects Effects 0.000 abstract description 13
- 230000009286 beneficial effect Effects 0.000 abstract description 9
- 238000007726 management method Methods 0.000 description 21
- 230000006870 function Effects 0.000 description 18
- 239000010410 layer Substances 0.000 description 18
- 230000008569 process Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 238000010295 mobile communication Methods 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 229920001621 AMOLED Polymers 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000002096 quantum dot Substances 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013529 biological neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 239000012792 core layer Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000011017 operating method Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003238 somatosensory effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请公开了一种超分辨率处理方法及装置，应用于电子设备，所述方法包括：通过眼球追踪技术确定用户针对目标帧图像上的至少一个注视点；根据所述至少一个注视点确定所述目标帧图像上的第一目标区域；通过所述至少一个注视点和所述第一目标区域中的第一图像特征信息对所述目标帧图像进行图像分割，得到多个区域块；对所述多个区域块进行超分辨率处理，输出处理后的目标帧图像。采用本申请实施例有利于提升超分辨率的处理效率，以及提升用户重点关注区域的超分辨率处理效果。
Description
技术领域
本申请涉及电子技术领域，尤其涉及一种超分辨率处理方法及装置。
背景技术
目前，常用的超分辨处理技术的原理是利用多幅低分辨率图像或图像序列恢复出高分辨率图像，超分辨率处理技术分为超分辨率复原和超分辨率重建两种，在超分辨率处理效果上，虽然有一些手段对图像的超分辨处理效果进行控制，例如基于深度学***衡性，会降低超分辨率的处理效果。
发明内容
本申请实施例提供一种超分辨率处理方法及装置，以期提升超分辨率的处理效率，以及提升用户重点关注区域的超分辨率处理效果。
第一方面，本申请实施例提供一种超分辨率处理方法，应用于电子设备，所述方法包括：
通过眼球追踪技术确定用户针对目标帧图像上的至少一个注视点；
根据所述至少一个注视点确定所述目标帧图像上的第一目标区域；
通过所述至少一个注视点和所述第一目标区域中的第一图像特征信息对所述目标帧图像进行图像分割，得到多个区域块；
对所述多个区域块进行超分辨率处理，输出处理后的目标帧图像。
第二方面，本申请实施例提供一种超分辨率处理装置，应用于电子设备，所述超分辨率处理装置包括确定单元、分割单元和处理单元，其中：
所述确定单元，用于通过眼球追踪技术确定用户针对目标帧图像上的至少一个注视点；以及用于根据所述至少一个注视点确定所述目标帧图像上的第一目标区域；
所述分割单元，用于通过所述至少一个注视点和所述第一目标区域中的第一图像特征信息对所述目标帧图像进行图像分割，得到多个区域块；
所述处理单元，用于对所述多个区域块进行超分辨率处理，输出处理后的目标帧图像，。
第三方面，本申请实施例提供一种电子设备，包括处理器、存储器、通信接口以及一个或多个程序，其中，上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行，上述程序包括用于执行本申请实施例第一方面任一方法中的步骤的指令。
第四方面，本申请实施例提供了一种计算机可读存储介质，其中，上述计算机可读存储介质存储用于电子数据交换的计算机程序，其中，上述计算机程序使得计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。
第五方面，本申请实施例提供了一种计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
可以看出，在本申请实施例中，电子设备通过眼球追踪技术确定用户针对目标帧图像上的至少一个注视点，并根据所述至少一个注视点确定所述目标帧图像上的第一目标区域，然后，通过所述至少一个注视点和所述第一目标区域中的第一图像特征信息对所述目标帧图像进行图像分割，得到多个区域块，继而对所述多个区域块进行超分辨率处理，输出处理后的目标帧图像。可见，电子设备通过眼球追踪技术确定了用户重点关注的第一目标区域，根据第一目标区域对目标帧图像进行分割处理，以期突显目标帧图像上的第一目标区域的超分辨率效果，同时，可以弱化对其他区域的超分辨率处理，进而提升对目标帧图像的超分辨率处理效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种电子设备的结构示意图；
图2是本申请实施例提供的一种电子设备的软件结构示意图；
图3A是本申请实施例提供的一种超分辨率处理方法的流程示意图；
图3B是本申请实施例提供的一种区域分割的示意图；
图3C是本申请实施例提供的一种多区域的超分辨率处理效果示意图；
图3D是本申请实施例提供的一种第一目标区域的示意图；
图3E是本申请实施例提供的又一种第一目标区域的示意图；
图3F是本申请实施例提供的又一种第一目标区域的示意图；
图4是本申请实施例提供的另一种超分辨率处理方法的流程示意图；
图5是本申请实施例提供的又一种超分辨率处理方法的流程示意图；
图6是本申请实施例提供的一种超分辨率处理装置的分布式功能单元框图；
图7是本申请实施例提供的一种超分辨率处理装置的集成式功能单元框图。
具体实施方式
下面将结合附图，对本申请实施例中的技术方案进行描述。
为了更好地理解本申请实施例的方案，下面先对本申请实施例可能涉及的相关术语和概念进行介绍。
1)电子设备可以是还包含其它功能诸如个人数字助理和/或音乐播放器功能的便携式电子设备，诸如手机、平板电脑、具备无线通讯功能的可穿戴电子设备(如智能手表)等。便携式电子设备的示例性实施例包括但不限于搭载IOS***、Android***、Microsoft***或者其它操作***的便携式电子设备。上述便携式电子设备也可以是其它便携式电子设备，诸如膝上型计算机(Laptop)等。还应当理解的是，在其他一些实施例中，上述电子设备也可以不是便携式电子设备，而是台式计算机。
2)眼球追踪，又称为眼球跟踪、人眼追踪/跟踪、视线追踪/跟踪、注视点追踪/跟踪等，是指基于融合图像采集、视线估计技术来确定用户注视方向以及注视点的机制。
3)注视点，是指人眼视线在屏幕所处平面上的落点。
4)超分辨率处理，即通过硬件或软件的方法提高原有图像的分辨率，通过一系列低分辨率的图像来得到一幅高分辨率的图像过程。
示例性的，图1示出了电子设备100的结构示意图。电子设备100可以包括处理器110、外部存储器接口120、内部存储器121、通用串行总线(universal serial bus，USB)接口130、充电管理模块140、电源管理模块141、电池142、天线1、天线2、移动通信模块150、无线通信模块160、音频模块170、扬声器170A、受话器170B、麦克风170C、耳机接口170D、传感器模块180、指南针190、马达191、指示器192、摄像头193、显示屏194以及用户标识模块(subscriber identification module，SIM)卡接口195等。
可以理解的是，本申请实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的部件，也可以集成在一个或多个处理器中。在一些实施例中，电子设备100也可以包括一个或多个处理器110。其中，控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。在其他一些实施例中，处理器110中还可以设置存储器，用于存储指令和数据。示例性地，处理器110中的存储器可以为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。这样就避免了重复存取，减少了处理器110的等待时间，因而提高了电子设备100处理数据或执行指令的效率。
在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路间(inter-integrated circuit，I2C)接口、集成电路间音频(inter-integrated circuitsound，I2S)接口、脉冲编码调制(pulse code modulation，PCM)接口、通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口、移动产业处理器接口(mobile industry processor interface，MIPI)、用输入输出(general-purpose input/output，GPIO)接口、SIM卡接口和/或USB接口等。其中，USB接口130是符合USB标准规范的接口，具体可以是Mini USB接口、Micro USB接口、USB Type C接口等。USB接口130可以用于连接充电器为电子设备100充电，也可以用于电子设备100与***设备之间传输数据。该USB接口130也可以用于连接耳机，通过耳机播放音频。
可以理解的是，本申请实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对电子设备100的结构限定。在本申请另一些实施例中，电子设备100也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。
充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。在一些有线充电的实施例中，充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中，充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时，还可以通过电源管理模块141为电子设备供电。
电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110、内部存储器121、外部存储器、显示屏194、摄像头193和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量、电池循环次数、电池健康状态(漏电，阻抗)等参数。在其他一些实施例中，电源管理模块141也可以设置于处理器110中。在另一些实施例中，电源管理模块141和充电管理模块140也可以设置于同一个器件中。
电子设备100的无线通信功能可以通过天线1、天线2、移动通信模块150、无线通信模块160、调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，LNA)等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。在一些实施例中，移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中，移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)、蓝牙(bluetooth，BT)，全球导航卫星***(global navigation satellite system，GNSS)、调频(frequency modulation，FM)、近距离无线通信技术(near field communication，NFC)、红外技术(infrared，IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。
电子设备100通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像、视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)、有机发光二极管(organic light-emittingdiode，OLED)、有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的，AMOLED)、柔性发光二极管(flex light-emittingdiode，FLED)、迷你发光二极管(mini light-emitting diode，miniled)、MicroLed、Micro-oLed、量子点发光二极管(quantum dot light emitting diodes，QLED)等。在一些实施例中，电子设备100可以包括1个或多个显示屏194。
电子设备100可以通过ISP、摄像头193、视频编解码器、GPU、显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点、亮度、肤色进行算法优化。ISP还可以对拍摄场景的曝光、色温等参数优化。在一些实施例中，ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，电子设备100可以包括1个或多个摄像头193。
数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样，电子设备100可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)1、MPEG2、MPEG3、MPEG4等。
NPU为神经网络(neural-network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用，例如：图像识别、人脸识别、语音识别、文本理解等。
外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。
内部存储器121可以用于存储一个或多个计算机程序，该一个或多个计算机程序包括指令。处理器110可以通过运行存储在内部存储器121的上述指令，从而使得电子设备100执行本申请一些实施例中所提供的显示页面元素的方法，以及各种应用以及数据处理等。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作***；该存储程序区还可以存储一个或多个应用(比如图库、联系人等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如照片，联系人等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如一个或多个磁盘存储部件，闪存部件，通用闪存存储器(universal flash storage，UFS)等。在一些实施例中，处理器110可以通过运行存储在内部存储器121的指令，和/或存储在设置于处理器110中的存储器的指令，来使得电子设备100执行本申请实施例中所提供的显示页面元素的方法，以及其他应用及数据处理。电子设备100可以通过音频模块170、扬声器170A、受话器170B、麦克风170C、耳机接口170D、以及应用处理器等实现音频功能。例如音乐播放、录音等。
传感器模块180可以包括压力传感器180A、陀螺仪传感器180B、气压传感器180C、磁传感器180D、加速度传感器180E、距离传感器180F、接近光传感器180G、指纹传感器180H、温度传感器180J、触摸传感器180K、环境光传感器180L、骨传导传感器180M等。
其中，压力传感器180A用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器180A可以设置于显示屏194。压力传感器180A的种类很多，如电阻式压力传感器，电感式压力传感器，电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180A，电极之间的电容改变。电子设备100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194，电子设备100根据压力传感器180A检测所述触摸操作强度。电子设备100也可以根据压力传感器180A的检测信号计算触摸的位置。在一些实施例中，作用于相同触摸位置，但不同触摸操作强度的触摸操作，可以对应不同的操作指令。例如：当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时，执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时，执行新建短消息的指令。
陀螺仪传感器180B可以用于确定电子设备100的运动姿态。在一些实施例中，可以通过陀螺仪传感器180B确定电子设备100围绕三个轴(即X、Y和Z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。示例性的，当按下快门，陀螺仪传感器180B检测电子设备100抖动的角度，根据角度计算出镜头模组需要补偿的距离，让镜头通过反向运动抵消电子设备100的抖动，实现防抖。陀螺仪传感器180B还可以用于导航，体感游戏场景。
加速度传感器180E可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态，应用于横竖屏切换，计步器等应用。
环境光传感器180L用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合，检测电子设备100是否在口袋里，以防误触。
指纹传感器180H用于采集指纹。电子设备100可以利用采集的指纹特性实现指纹解锁，访问应用锁，指纹拍照，指纹接听来电等。
温度传感器180J用于检测温度。在一些实施例中，电子设备100利用温度传感器180J检测的温度，执行温度处理策略。例如，当温度传感器180J上报的温度超过阈值，电子设备100执行降低位于温度传感器180J附近的处理器的性能，以便降低功耗实施热保护。在另一些实施例中，当温度低于另一阈值时，电子设备100对电池142加热，以避免低温导致电子设备100异常关机。在其他一些实施例中，当温度低于又一阈值时，电子设备100对电池142的输出电压执行升压，以避免低温导致的异常关机。
触摸传感器180K，也称“触控面板”。触摸传感器180K可以设置于显示屏194，由触摸传感器180K与显示屏194组成触摸屏，也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器180K也可以设置于电子设备100的表面，与显示屏194所处的位置不同。
图2是本申请实施例的电子设备100的软件结构框图。分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将Android***分为四层，从上至下分别为应用程序层，应用程序框架层，安卓运行时(Android runtime)和***库，以及内核层。应用程序层可以包括一系列应用程序包。
如图2所示，应用程序包可以包括相机，图库，日历，通话，地图，导航，WLAN，蓝牙，音乐，视频，短信息等应用程序。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface，API)和编程框架。应用程序框架层包括一些预先定义的函数。
如图2所示，应用程序框架层可以包括窗口管理器，内容提供器，视图***，电话管理器，资源管理器，通知管理器等。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。
内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。所述数据可以包括视频，图像，音频，拨打和接听的电话，浏览历史和书签，电话簿等。
视图***包括可视控件，例如显示文字的控件，显示图片的控件等。视图***可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。
电话管理器用于提供电子设备100的通信功能。例如通话状态的管理(包括接通，挂断等)。
资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等等。
通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。比如通知管理器被用于告知下载完成，消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在***顶部状态栏的通知，例如后台运行的应用程序的通知，还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息，发出提示音，电子设备振动，指示灯闪烁等。
Android Runtime包括核心库和虚拟机。Android runtime负责安卓***的调度和管理。
核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的核心库。
应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。
***库可以包括多个功能模块。例如：表面管理器(surface manager)，媒体库(media libraries)，三维图形处理库(例如：OpenGL ES)，2D图形引擎(例如：SGL)等。
表面管理器用于对显示子***进行管理，并且为多个应用程序提供了2D和3D图层的融合。
媒体库支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。媒体库可以支持多种音视频编码格式，例如：MPEG4，H.264，MP3，AAC，AMR，JPG，PNG等。
三维图形处理库用于实现三维图形绘图，图像渲染，合成，和图层处理等。
2D图形引擎是2D绘图的绘图引擎。
内核层是硬件和软件之间的层。内核层至少包含显示驱动，摄像头驱动，音频驱动，传感器驱动。
下面对本申请实施例进行详细介绍。
请参阅图3A，图3A是本申请实施例提供了一种超分辨率处理方法的流程示意图，应用于电子设备，如图所示，本超分辨率处理方法包括以下操作。
S301，电子设备通过眼球追踪技术确定用户针对目标帧图像上的至少一个注视点；
其中，所述至少一个注视点可以是根据所述眼球追踪技术确定的用户注视时长大于预设时长阈值的点，所述预设时长阈值例如可以是5s、8s等，在此不做限定。
S302，所述电子设备根据所述至少一个注视点确定所述目标帧图像上的第一目标区域；
其中，所述第一目标区域可以是多种多样的，例如可以是圆形区域、矩形区域、三角形区域、人形区域等，在此不做限定。
其中，所述电子设备根据所述至少一个注视点确定所述目标帧图像上的第一目标区域的具体实现方式可以是多种多样的，例如可以是电子设备连接所述至少一个注视点形成的闭合区域为所述第一目标区域，或者可以是电子设备以至少一个注视点中处于中心位置的注视点为中心，周边预设大小的区域为所述第一目标区域，或者可以是，连接至少一个注视点形成的闭合区域为中心区域，该中心区域周围预设面积的区域为所述第一目标区域，或者可以是根据至少一个注视点确定用户注视的物体信息，以物体信息对应的物体所在的区域为所述第一目标区域等，在此不做限定。
S303，所述电子设备通过所述至少一个注视点和所述第一目标区域中的第一图像特征信息对所述目标帧图像进行图像分割，得到多个区域块；
其中，图像分割可以是将图像中的前景和后景进行分割，也可以是将图像中不同物体所占用的区域进行分割等，所述多个区域块，例如，如图3B所示。
其中，所述电子设备通过所述至少一个注视点和所述第一目标区域中的第一图像特征信息对所述目标帧图像进行图像分割的具体实现方式可以是多种多样的，例如可以是根据至少一个注视点确定被注视的物体信息，然后根据第一图像特征信息将被注视的物体信息与其他物体进行图像分割，或者可以是根据至少一个注视点确定第一平面，然后将第一图像特征信息中不处在第一平面的图像与第一平面中的图像进行分割等方式，在此不做限定。
举例而言，第一目标区域中包括风景和人物A，电子设备根据所述至少一个注视点确定对应的被注视的物体信息为人物A，然后电子设备将处于背景的风景特征与人物A进行图像分割，将第一目标区域分割出不同的区域块。
S304，所述电子设备对所述多个区域块进行超分辨率处理，输出处理后的目标帧图像。
其中，如图3C所示，处理后的目标帧图像上所述多个区域块对应的分辨率不同，所述电子设备对所述多个区域块进行超分辨率处理的具体实现方式可以是将区域块1处理为第一分辨率，将区域2处理为第二分辨率，将区域3处理为第三分辨率，第一分辨率、第二分辨率和第三分辨率不同。
具体的，当区域1为被用户注视的物体所在的区域，区域2为第一目标区域中的背景区域时，设置第一分辨率高于第二分辨率，电子设备可以通过5张区域1对应的低分辨率图像将区域1进行重建得到超分辨率处理后的区域1，同时通过3张区域2对应的低分辨率图像将区域2进行重建得到超分辨率处理后的区域2，其中，不同的低分辨率图像对应的曝光值或者曝光时间不同，也可以是使用的光圈不同；或者可以通过插值法提升分辨率，将区域块1提升为第一分辨率，将区域2提升为第二分辨率。
可以看出，本申请实施例中，电子设备通过眼球追踪技术确定用户针对目标帧图像上的至少一个注视点，并根据所述至少一个注视点确定所述目标帧图像上的第一目标区域，然后，通过所述至少一个注视点和所述第一目标区域中的第一图像特征信息对所述目标帧图像进行图像分割，得到多个区域块，继而对所述多个区域块进行超分辨率处理，输出处理后的目标帧图像。可见，电子设备通过眼球追踪技术确定了用户重点关注的第一目标区域，根据第一目标区域对目标帧图像进行分割处理，以期突显目标帧图像上的第一目标区域的超分辨率效果，同时，可以弱化对其他区域的超分辨率处理，进而提升对目标帧图像的超分辨率处理效率。
在一个可能的示例中，所述至少一个注视点包括至少两个注视点，所述根据所述至少一个注视点确定所述目标帧图像上的第一目标区域，包括：
将所述至少一个注视点中的每两个点进行连线得到至少一条直线；
根据所述至少一条直线组成的区域确定所述目标帧图像上的所述第一目标区域。
其中，所述根据所述至少一条直线组成的区域确定所述目标帧图像上的所述第一目标区域的具体实现方式可以是多种多样的，例如，如图3D所示，所述第一目标区域可以是至少一条直线组成的最大区域，或者如图3E所示，所述第一目标区域可以是包含所述至少一条直线组成的区域；或者如图3F所示，所述电子设备根据至少一条直线组成的区域确定对应的物体信息，然后，确定所述第一目标区域为所述物体信息所在的区域，如图3E所示的人脸区域等，在此不做限定。
可见，本示例中，电子设备根据所述至少一个注视点之间的连线组成的区域确定第一目标区域，而不是根据至少一个注视点确定一个规则区域作为第一目标区域，有利于提升第一目标区域确定的准确性，更加符合用户的需求。
在一个可能的示例中，所述根据所述至少一个注视点确定所述目标帧图像上的第一目标区域，包括：
获取历史帧图像中的第二目标区域的第二图像特征信息；
根据所述第二图像特征信息确定所述目标帧图像上的第一参考区域；
判断所述至少一个注视点是否在所述第一参考区域内；
当判断出所述至少一个注视点全部在所述第一参考区域内时，确定所述第一参考区域为所述第一目标区域。
其中，所述目标帧图像为电子设备正在处理的用户拍摄的视频中的任意一帧图像，历史帧图像为所述视频中所述目标帧图像之前的帧图像。
其中，所述根据所述第二图像特征信息确定所述目标帧图像上的第一参考区域的具体实现方式可以是确定所述目标帧图像上与所述第二图像特征信息的相似度大于预设相似度阈值的第三图像特征信息，继而确定所述第三图像特征信息对应的区域为所述第一参考区域，举例而言，第二图像特征信息为人脸特征信息，那么可以确定所述目标帧图像上对应的相同的人脸特征信息所在的区域为所述第一参考区域。
可见，本示例中，电子设备根据确定的历史帧图像上的第二目标区域来确定目标帧图像的第一目标区域，有利于降低超分辨率处理的复杂度，以及提升超分辨率处理的智能型，降低***消耗。
在这个可能的示例中，所述判断所述至少一个注视点是否在所述第一参考区域内之后，所述方法还包括：
当判断出所述至少一个注视点中包括不在所述第一参考区域内的目标注视点时，根据所述目标注视点确定第二参考区域；
将所述第一参考区域和所述第二参考区域作为所述第一目标区域。
举例而言，第一参考区域为人脸区域，所述至少一个注视点中包括针对人脸区域下方的身体部位的目标注视点，进而根据目标注视点确定第二参考区域为人体的上半身区域，那么所述第一目标区域为人脸区域与上半身区域的集合。
可见，本示例中，电子设备在判断出至少一个注视点中包括不在所述第一参考区域内的目标注视点时，将通过目标注视点确定的第二参考区域和第一参考区域为所述第一目标区域，有利于提升第一目标区域的准确性。
在一个可能的示例中，所述通过所述至少一个注视点和所述第一目标区域中的第一图像特征信息对所述目标帧图像进行图像分割，得到多个区域块，包括：
根据所述至少一个注视点确定对应的物体信息；
确定所述物体信息所在的参考平面；
获取所述第一图像特征信息中除所述物体信息之外的信息与所述参考平面之间的第一相对距离信息；
根据所述第一相对距离信息将所述第一目标区域进行分割，以及将所述第一目标区域与所述目标帧图像进行分割，得到多个所述区域块。
其中，所述根据所述至少一个注视点确定对应的物体信息的具体实现方式可以是多种多样的，例如可以是确定每一个注视点对应的参考物体信息，然后确定多个参考物体信息中出现概率最高的物体信息为所述至少一个注视点对应的物体信息，或者可以是选取所述至少一个注视点中处于中心区域的多个注视点，确定所述被选取的注视点对应的物体信息为所述至少一个注视点对应的物体信息。
举例而言，物体信息为人脸信息，确定人脸信息处于第一参考平面，根据第一图像特征信息确定除人脸信息之外还包括背景中的山川信息，那么根据所述第一相对距离信息将所述第一目标区域进行分割的具体方式例如可以是，将人脸与背景信息中的山川进行分割，得到如图3C所示的区域1和区域2，并将第一目标区域与所述目标帧图像分割得到区域3。
可见，本示例中，电子设备根据至少一个注视点对应的物体信息，并按照平面距离将第一目标区域中的被注视物体和非被注视物体进行分割，进一步提升了第一目标区域规划的精确性。
在一个可能的示例中，所述对所述多个区域块进行超分辨率处理，输出处理后的目标帧图像，包括：
根据所述至少一个注视点的位置信息确定所述多个区域块的超分辨率处理等级；
根据所述超分辨率处理等级确定每个所述区域块对应的超分辨率处理参数；
通过所述超分辨率处理参数对每个所述区域块进行超分辨率处理，输出所述处理后的目标帧图像。
其中，第一目标区域的超分辨率处理等级大于目标帧图像中的其他区域，且，第一目标区域中注视点越多的区域确定的超分辨率处理等级越高，且不同超分辨率处理等级对应不同的超分辨率处理参数，且超分辨率处理等级越高的区域对应的处理结果的分辨率越高，例如用户注视的人脸区域A的处理等级高于背景区域B的处理等级，那么经过超分辨率处理过后的目标帧图像中区域A的分辨率高于区域B的分辨率。
其中，所述电子设备根据所述超分辨率处理等级确定每个所述区域块对应的超分辨率处理参数的具体实现方式可以是电子设备中包括超分辨率处理等级与超分辨率处理参数之间的映射关系，所述电子设备可以根据超分辨率处理等级查询该映射关系，确定对应的超分辨率处理参数。
可见，本示例中，电子设备将第一目标区域中不同的区域块分为不同的超分辨率处理等级，并根据不同的超分辨率处理等级对多个区域块进行不同程度的超分辨率处理，有利于在保障视频的超分辨率处理时效上，提升用户重点关注区域的超分辨率处理效果。
在这个可能的示例中，所述根据所述超分辨率处理等级确定每个所述区域块对应的超分辨率处理参数，包括：
根据第一超分辨率处理等级确定第一区域块对应的第一超分辨率处理参数，以及根据第二超分辨率处理等级确定第二区域块对应的第二超分辨率处理参数；
当所述第一区域块与所述第二区域块之间存在共有区域时，确定所述共有区域对应的第三超分辨率处理参数，所述第三超分辨率处理参数的大小处于所述第一超分辨率处理参数和所述第二超分辨率处理参数之间。
举例而言，所述第一区域与所述第二区域之间的共有区域可以是如图3B所示的区域1与区域2之间的连接处，在连接处设置第三分辨率，使第一区域与第二区域之间实现渐变过度。
可见，本示例中，电子设备设置不同区域块之间的交叠区域的第三超分辨率处理参数设置为两个区域块的超分辨率处理参数之间的区域，使各个区域块之间的分辨率可以实现平稳过渡，有利于提升图像处理后的视觉效果。
请参阅图4，图4是本申请实施例提供的另一种超分辨率处理方法的流程示意图，该超分辨率处理方法可以应用于电子设备。如图所示，本超分辨率处理方法包括以下操作：
S401，电子设备通过眼球追踪技术确定用户针对目标帧图像上的至少一个注视点。
S402，所述电子设备将所述至少一个注视点中的每两个点进行连线得到至少一条直线。
S403，所述电子设备根据所述至少一条直线组成的区域确定所述目标帧图像上的第一目标区域。
S404，所述电子设备根据所述至少一个注视点确定对应的物体信息。
S405，所述电子设备确定所述物体信息所在的参考平面。
S406，所述电子设备获取所述第一目标区域的第一图像特征信息中除所述物体信息之外的信息与所述参考平面之间的第一相对距离信息。
S407，所述电子设备根据所述第一相对距离信息将所述第一目标区域进行分割，得到多个区域块。
S408，所述电子设备对所述多个区域块进行超分辨率处理，输出处理后的目标帧图像。
可以看出，本申请实施例中，电子设备通过眼球追踪技术确定用户针对目标帧图像上的至少一个注视点，并根据所述至少一个注视点确定所述目标帧图像上的第一目标区域，然后，通过所述至少一个注视点和所述第一目标区域中的第一图像特征信息对所述目标帧图像进行图像分割，得到多个区域块，继而对所述多个区域块进行超分辨率处理，输出处理后的目标帧图像。可见，电子设备通过眼球追踪技术确定了用户重点关注的第一目标区域，根据第一目标区域对目标帧图像进行分割处理，以期突显目标帧图像上的第一目标区域的超分辨率效果，同时，可以弱化对其他区域的超分辨率处理，进而提升对目标帧图像的超分辨率处理效率。
此外，电子设备根据所述至少一个注视点之间的连线组成的区域确定第一目标区域，而不是根据至少一个注视点确定一个规则区域作为第一目标区域，有利于提升第一目标区域确定的准确性，更加符合用户的需求。
此外，电子设备根据至少一个注视点对应的物体信息，并按照平面距离将第一目标区域中的被注视物体和非被注视物体进行分割，进一步提升了第一目标区域规划的精确性。
请参阅图5，图5是本申请实施例提供的另一种超分辨率处理方法的流程示意图，该超分辨率处理方法可以应用于电子设备。如图所示，本超分辨率处理方法包括以下操作：
S501，电子设备通过眼球追踪技术确定用户针对目标帧图像上的至少一个注视点。
S502，所述电子设备获取历史帧图像中的第二目标区域的第二图像特征信息。
S503，所述电子设备根据所述第二图像特征信息确定所述目标帧图像上的第一参考区域。
S504，所述电子设备判断所述至少一个注视点是否在所述第一参考区域内。
S505，所述电子设备当判断出所述至少一个注视点中包括不在所述第一参考区域内的目标注视点时，根据所述目标注视点确定第二参考区域。
S506，所述电子设备将所述第一参考区域和所述第二参考区域作为所述第一目标区域。
S507，所述电子设备根据所述至少一个注视点确定对应的物体信息。
S508，所述电子设备确定所述物体信息所在的参考平面。
S509，所述电子设备获取所述第一目标区域的第一图像特征信息中除所述物体信息之外的信息与所述参考平面之间的第一相对距离信息。
S510，所述电子设备根据所述第一相对距离信息将所述第一目标区域进行分割，以及将所述第一目标区域与所述目标帧图像进行分割，得到多个区域块。
S511，所述电子设备根据所述至少一个注视点的位置信息确定所述多个区域块的超分辨率处理等级；
S512，所述电子设备根据所述超分辨率处理等级确定每个所述区域块对应的超分辨率处理参数；
S513，所述电子设备通过所述超分辨率处理参数对每个所述区域块进行超分辨率处理，输出处理后的目标帧图像。
可以看出，本申请实施例中，电子设备通过眼球追踪技术确定用户针对目标帧图像上的至少一个注视点，并根据所述至少一个注视点确定所述目标帧图像上的第一目标区域，然后，通过所述至少一个注视点和所述第一目标区域中的第一图像特征信息对所述目标帧图像进行图像分割，得到多个区域块，继而对所述多个区域块进行超分辨率处理，输出处理后的目标帧图像。可见，电子设备通过眼球追踪技术确定了用户重点关注的第一目标区域，根据第一目标区域对目标帧图像进行分割处理，以期突显目标帧图像上的第一目标区域的超分辨率效果，同时，可以弱化对其他区域的超分辨率处理，进而提升对目标帧图像的超分辨率处理效率。
此外，电子设备在判断出至少一个注视点中包括不在所述第一参考区域内的目标注视点时，将通过目标注视点确定的第二参考区域和第一参考区域为所述第一目标区域，有利于提升第一目标区域的准确性。
此外，电子设备根据至少一个注视点对应的物体信息，并按照平面距离将第一目标区域中的被注视物体和非被注视物体进行分割，进一步提升了第一目标区域规划的精确性。
此外，电子设备将第一目标区域中不同的区域块分为不同的超分辨率处理等级，并根据不同的超分辨率处理等级对多个区域块进行不同程度的超分辨率处理，有利于在保障视频的超分辨率处理时效上，提升用户重点关注区域的超分辨率处理效果。
本申请实施例提供一种超分辨率处理装置，该超分辨率处理装置可以为电子设备100。具体的，超分辨率处理装置用于执行以上超分辨率处理方法的步骤。本申请实施例提供的超分辨率处理装置可以包括相应步骤所对应的模块。
本申请实施例可以根据上述方法示例对超分辨率处理装置进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
在采用对应各个功能划分各个功能模块的情况下，图6示出上述实施例中所涉及的超分辨率处理装置的一种可能的结构示意图。如图6所示，超分辨率处理装置600包括确定单元601、分割单元602和处理单元603，其中：
所述确定单元601，用于通过眼球追踪技术确定用户针对目标帧图像上的至少一个注视点；以及用于根据所述至少一个注视点确定所述目标帧图像上的第一目标区域；
所述分割单元602，用于通过所述至少一个注视点和所述第一目标区域中的第一图像特征信息对所述目标帧图像进行图像分割，得到多个区域块；
所述处理单元603，用于对所述多个区域块进行超分辨率处理，输出处理后的目标帧图像。
其中，上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。当然，本申请实施例提供的超分辨率处理装置包括但不限于上述模块，例如：超分辨率处理装置还可以包括存储单元。存储单元可以用于存储该超分辨率处理装置的程序代码和数据。
在采用集成的单元的情况下，本申请实施例提供的超分辨率处理装置的结构示意图如图7所示。在图7中，超分辨率处理装置700包括：处理模块702和通信模块701。处理模块702用于对超分辨率处理装置的动作进行控制管理，例如，执行确定单元601、分割单元602和处理单元603执行的步骤，和/或用于执行本文所描述的技术的其它过程。通信模块701用于支持超分辨率处理装置与其他设备之间，或者超分辨率处理装置内部模块之间的交互。如图7所示，超分辨率处理装置还可以包括存储模块703，存储模块703用于存储超分辨率处理装置的程序代码和数据，例如存储上述存储单元所保存的内容。
其中，处理模块702可以是处理器或控制器，例如可以是中央处理器(CentralProcessing Unit，CPU)，通用处理器，数字信号处理器(Digital Signal Processor，DSP)，ASIC，FPGA或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。所述处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等等。通信模块701可以是收发器、射频电路或通信接口等。存储模块703可以是存储器。
其中，上述方法实施例涉及的各场景的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。上述超分辨率处理装置600和超分辨率处理装置700均可执行上述图3A-5任一所示的超分辨率处理方法。
本实施例还提供一种计算机存储介质，该计算机存储介质中存储有计算机指令，当该计算机指令在电子设备上运行时，使得电子设备执行上述相关方法步骤实现上述实施例中的操作方法。
本实施例还提供了一种计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行上述相关步骤，以实现上述实施例中的超分辨率处理方法。
另外，本申请的实施例还提供一种装置，这个装置具体可以是芯片，组件或模块，该装置可包括相连的处理器和存储器；其中，存储器用于存储计算机执行指令，当装置运行时，处理器可执行存储器存储的计算机执行指令，以使芯片执行上述各方法实施例中的超分辨率处理方法。
其中，本实施例提供的电子设备、计算机存储介质、计算机程序产品或芯片均用于执行上文所提供的对应的方法，因此，其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果，此处不再赘述。
通过以上实施方式的描述，所属领域的技术人员可以了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上内容，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。
Claims (9)
1.一种超分辨率处理方法，其特征在于，应用于电子设备，所述方法包括：
通过眼球追踪技术确定用户针对目标帧图像上的至少一个注视点；
根据所述至少一个注视点确定所述目标帧图像上的第一目标区域；
通过所述至少一个注视点和所述第一目标区域中的第一图像特征信息对所述目标帧图像进行图像分割，得到多个区域块；
对所述多个区域块进行超分辨率处理，输出处理后的目标帧图像；
其中，所述通过所述至少一个注视点和所述第一目标区域中的第一图像特征信息对所述目标帧图像进行图像分割，得到多个区域块，包括：
根据所述至少一个注视点确定对应的物体信息；
确定所述物体信息所在的参考平面；
获取所述第一图像特征信息中除所述物体信息之外的信息与所述参考平面之间的第一相对距离信息；
根据所述第一相对距离信息将所述第一目标区域进行分割，以及将所述第一目标区域与所述目标帧图像进行分割，得到多个所述区域块。
2.根据权利要求1所述的方法，其特征在于，所述至少一个注视点包括至少两个注视点，所述根据所述至少一个注视点确定所述目标帧图像上的第一目标区域，包括：
将所述至少一个注视点中的每两个点进行连线得到至少一条直线；
根据所述至少一条直线组成的区域确定所述目标帧图像上的所述第一目标区域。
3.根据权利要求1所述的方法，其特征在于，所述根据所述至少一个注视点确定所述目标帧图像上的第一目标区域，包括：
获取历史帧图像中的第二目标区域的第二图像特征信息；
根据所述第二图像特征信息确定所述目标帧图像上的第一参考区域；
判断所述至少一个注视点是否在所述第一参考区域内；
当判断出所述至少一个注视点全部在所述第一参考区域内时，确定所述第一参考区域为所述第一目标区域。
4.根据权利要求3所述的方法，其特征在于，所述判断所述至少一个注视点是否在所述第一参考区域内之后，所述方法还包括：
当判断出所述至少一个注视点中包括不在所述第一参考区域内的目标注视点时，根据所述目标注视点确定第二参考区域；
将所述第一参考区域和所述第二参考区域作为所述第一目标区域。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述对所述多个区域块进行超分辨率处理，输出处理后的目标帧图像，包括：
根据所述至少一个注视点的位置信息确定所述多个区域块的超分辨率处理等级；
根据所述超分辨率处理等级确定、每个所述区域块对应的超分辨率处理参数；
通过所述超分辨率处理参数对每个所述区域块进行超分辨率处理，输出所述处理后的目标帧图像。
6.根据权利要求5所述的方法，其特征在于，所述根据所述超分辨率处理等级确定每个所述区域块对应的超分辨率处理参数，包括：
根据第一超分辨率处理等级确定第一区域块对应的第一超分辨率处理参数，以及根据第二超分辨率处理等级确定第二区域块对应的第二超分辨率处理参数；
当所述第一区域块与所述第二区域块之间存在共有区域时，确定所述共有区域对应的第三超分辨率处理参数，所述第三超分辨率处理参数的大小处于所述第一超分辨率处理参数和所述第二超分辨率处理参数之间。
7.一种超分辨率处理装置，其特征在于，应用于电子设备，所述超分辨率处理装置包括确定单元、分割单元和处理单元，其中：
所述确定单元，用于通过眼球追踪技术确定用户针对目标帧图像上的至少一个注视点；以及用于根据所述至少一个注视点确定所述目标帧图像上的第一目标区域；
所述分割单元，用于通过所述至少一个注视点和所述第一目标区域中的第一图像特征信息对所述目标帧图像进行图像分割，得到多个区域块；
所述处理单元，用于对所述多个区域块进行超分辨率处理，输出处理后的目标帧图像；
其中，所述分割单元用于：根据所述至少一个注视点确定对应的物体信息；确定所述物体信息所在的参考平面；获取所述第一图像特征信息中除所述物体信息之外的信息与所述参考平面之间的第一相对距离信息；根据所述第一相对距离信息将所述第一目标区域进行分割，以及将所述第一目标区域与所述目标帧图像进行分割，得到多个所述区域块。
8.一种电子设备，其特征在于，包括处理器、存储器、通信接口，以及一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行如权利要求1-6任一项所述的方法中的步骤的指令。
9.一种计算机可读存储介质，其特征在于，存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如权利要求1-6任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010400669.5A CN111553846B (zh) | 2020-05-12 | 2020-05-12 | 超分辨率处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010400669.5A CN111553846B (zh) | 2020-05-12 | 2020-05-12 | 超分辨率处理方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111553846A CN111553846A (zh) | 2020-08-18 |
| CN111553846B true CN111553846B (zh) | 2023-05-26 |
Family
ID=72008067
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010400669.5A Active CN111553846B (zh) | 2020-05-12 | 2020-05-12 | 超分辨率处理方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111553846B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114079728A (zh) * | 2020-08-19 | 2022-02-22 | Oppo广东移动通信有限公司 | 拍摄防抖方法、装置、电子设备及存储介质 |
| CN114450709A (zh) * | 2020-09-04 | 2022-05-06 | 华为技术有限公司 | 用于提高图像分辨率的方法、视频生成方法及相关装置 |
| CN113018854A (zh) * | 2021-03-05 | 2021-06-25 | 南京雷鲨信息科技有限公司 | 针对游戏感兴趣目标的实时ai超分方法、***及计算机可读存储介质 |
| CN114359051A (zh) * | 2022-01-05 | 2022-04-15 | 京东方科技集团股份有限公司 | 图像处理方法及装置和***、存储介质 |
| CN114510192B (zh) * | 2022-01-30 | 2024-04-09 | Oppo广东移动通信有限公司 | 图像处理方法及相关装置 |
| CN116843708B (zh) * | 2023-08-30 | 2023-12-12 | 荣耀终端有限公司 | 图像处理方法和装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108255299A (zh) * | 2018-01-10 | 2018-07-06 | 京东方科技集团股份有限公司 | 一种图像处理方法及装置 |
| CN108885799A (zh) * | 2016-03-23 | 2018-11-23 | 索尼互动娱乐股份有限公司 | 信息处理设备，信息处理***以及信息处理方法 |
| CN108919958A (zh) * | 2018-07-16 | 2018-11-30 | 北京七鑫易维信息技术有限公司 | 一种图像传输方法、装置、终端设备及存储介质 |
| CN110288530A (zh) * | 2019-06-28 | 2019-09-27 | 北京金山云网络技术有限公司 | 一种对图像进行超分辨率重建的处理方法及装置 |
| CN110298790A (zh) * | 2019-06-28 | 2019-10-01 | 北京金山云网络技术有限公司 | 一种对图像进行超分辨率重建的处理方法及装置 |
| CN110428366A (zh) * | 2019-07-26 | 2019-11-08 | Oppo广东移动通信有限公司 | 图像处理方法和装置、电子设备、计算机可读存储介质 |
| CN111128068A (zh) * | 2019-11-28 | 2020-05-08 | 上海天马有机发光显示技术有限公司 | 一种显示装置和显示面板的驱动显示方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8866920B2 (en) * | 2008-05-20 | 2014-10-21 | Pelican Imaging Corporation | Capturing and processing of images using monolithic camera array with heterogeneous imagers |
-
2020
- 2020-05-12 CN CN202010400669.5A patent/CN111553846B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108885799A (zh) * | 2016-03-23 | 2018-11-23 | 索尼互动娱乐股份有限公司 | 信息处理设备，信息处理***以及信息处理方法 |
| CN108255299A (zh) * | 2018-01-10 | 2018-07-06 | 京东方科技集团股份有限公司 | 一种图像处理方法及装置 |
| CN108919958A (zh) * | 2018-07-16 | 2018-11-30 | 北京七鑫易维信息技术有限公司 | 一种图像传输方法、装置、终端设备及存储介质 |
| CN110288530A (zh) * | 2019-06-28 | 2019-09-27 | 北京金山云网络技术有限公司 | 一种对图像进行超分辨率重建的处理方法及装置 |
| CN110298790A (zh) * | 2019-06-28 | 2019-10-01 | 北京金山云网络技术有限公司 | 一种对图像进行超分辨率重建的处理方法及装置 |
| CN110428366A (zh) * | 2019-07-26 | 2019-11-08 | Oppo广东移动通信有限公司 | 图像处理方法和装置、电子设备、计算机可读存储介质 |
| CN111128068A (zh) * | 2019-11-28 | 2020-05-08 | 上海天马有机发光显示技术有限公司 | 一种显示装置和显示面板的驱动显示方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111553846A (zh) | 2020-08-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111553846B (zh) | 超分辨率处理方法及装置 | |
| CN111738122B (zh) | 图像处理的方法及相关装置 | |
| CN111768416B (zh) | 照片裁剪方法及装置 | |
| CN111782879B (zh) | 模型训练方法及装置 | |
| CN111882642B (zh) | 三维模型的纹理填充方法及装置 | |
| CN111555825B (zh) | 射频资源分配方法及装置 | |
| CN111400605A (zh) | 基于眼球追踪的推荐方法及装置 | |
| CN111768352B (zh) | 图像处理方法及装置 | |
| CN110830645B (zh) | 一种操作方法和电子设备及计算机存储介质 | |
| CN111612723B (zh) | 图像修复方法及装置 | |
| CN114422686B (zh) | 参数调整方法及相关装置 | |
| CN111767016B (zh) | 显示处理方法及装置 | |
| CN111524528B (zh) | 防录音检测的语音唤醒方法及装置 | |
| CN111381996B (zh) | 内存异常处理方法及装置 | |
| CN111880661A (zh) | 手势识别方法及装置 | |
| CN114384465A (zh) | 方位角确定方法及装置 | |
| CN114244655B (zh) | 信号处理方法及相关装置 | |
| CN114172596B (zh) | 信道噪声检测方法及相关装置 | |
| CN111581119B (zh) | 页面回收方法及装置 | |
| CN115390738A (zh) | 卷轴屏开合方法及相关产品 | |
| CN111836226B (zh) | 数据传输控制方法、装置及存储介质 | |
| CN111459271B (zh) | 注视偏移误差确定方法及装置 | |
| CN114510192B (zh) | 图像处理方法及相关装置 | |
| CN114596819B (zh) | 亮度调节方法及相关装置 | |
| CN113311380B (zh) | 校准方法、装置以及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |