CN114240749A - 图像处理方法、装置、计算机设备及存储介质 - Google Patents
图像处理方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN114240749A CN114240749A CN202111523337.7A CN202111523337A CN114240749A CN 114240749 A CN114240749 A CN 114240749A CN 202111523337 A CN202111523337 A CN 202111523337A CN 114240749 A CN114240749 A CN 114240749A
- Authority
- CN
- China
- Prior art keywords
- image
- channel
- channel map
- processed
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 216
- 238000003672 processing method Methods 0.000 title claims abstract description 32
- 238000000034 method Methods 0.000 claims abstract description 47
- 230000003321 amplification Effects 0.000 claims abstract description 18
- 238000003199 nucleic acid amplification method Methods 0.000 claims abstract description 18
- 238000006243 chemical reaction Methods 0.000 claims description 75
- 238000000605 extraction Methods 0.000 claims description 65
- 238000010606 normalization Methods 0.000 claims description 53
- 238000010586 diagram Methods 0.000 claims description 19
- 238000012549 training Methods 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 12
- 241000023320 Luma <angiosperm> Species 0.000 claims description 9
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 claims description 9
- 230000006798 recombination Effects 0.000 claims description 6
- 238000005215 recombination Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 4
- 238000007499 fusion processing Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 description 13
- 230000008569 process Effects 0.000 description 11
- 230000000694 effects Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 7
- 230000009467 reduction Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 238000013507 mapping Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 4
- 210000002569 neuron Anatomy 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000012905 input function Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本申请实施例公开了一种图像处理方法、装置、计算机设备及存储介质。方法包括：获取第一分辨率的待处理图像，所述待处理图像的格式为YUV通道格式；获取所述待处理图像的待处理亮度通道图以及待处理色度通道图；对所述待处理亮度通道图进行超分辨率重建处理，生成目标亮度通道图；根据指定放大参数对所述待处理色度通道图进行处理，得到目标色度通道图；基于所述目标亮度通道图以及所述目标色度通道图生成目标图像；本申请实施例通过预先构建一精简的超分辨率重建模型，该超分辨率重建模型可以将输入的低分辨率图像快速放大分辨率以得到高分辨率图像，能够提升超分辨率重建的重建速度，提高了画面显示质量。
Description
技术领域
本申请涉及图像处理技术领域，具体涉及一种图像处理方法、装置、计算机设备及存储介质。
背景技术
随着计算机通信技术的不断发展，智能手机、平板电脑及笔记本电脑等终端的大量普及应用，终端向着多样化、个性化的方向发展，日益成为人们在生活与工作中不可或缺的终端，人们对终端显示画面的清晰度和真实感要求越来越高。目前，在进行图片和视频流的传输过程中，会采用超分辨率重建对图像或视频进行处理，然而，现有技术下针对图像或视频每一帧的超分辨率重建过程都十分耗时，从而导致图像渲染成本高，显示效果差。
发明内容
本申请实施例提供一种图像处理方法、装置、计算机设备及存储介质，通过预先构建一精简的超分辨率重建模型，该超分辨率重建模型可以将输入的低分辨率图像快速放大分辨率以得到高分辨率图像，能够提升超分辨率重建的重建速度，提高了画面显示质量。
本申请实施例提供一种图像处理方法，包括：
获取第一分辨率的待处理图像，所述待处理图像的格式为YUV通道格式；
获取所述待处理图像的待处理亮度通道图以及待处理色度通道图，其中，所述待处理亮度通道图的分辨率为第一分辨率，所述待处理色度通道图的分辨率为第一分辨率；
对所述待处理亮度通道图进行超分辨率重建处理，生成目标亮度通道图，其中，所述超分辨率重建处理包括对所述待处理亮度通道图进行通道转换处理和/或图像特征提取处理；
根据指定放大参数对所述待处理色度通道图进行处理，得到目标色度通道图，其中，所述目标色度通道图的分辨率为所述目标分辨率；
基于所述目标亮度通道图以及所述目标色度通道图生成目标图像。
相应的，本申请实施例还提供了一种图像处理装置，所述装置包括：
第一获取单元，用于获取第一分辨率的待处理图像，所述待处理图像的格式为YUV通道格式；
第二获取单元，用于获取所述待处理图像的待处理亮度通道图以及待处理色度通道图，其中，所述待处理亮度通道图的分辨率为第一分辨率，所述待处理色度通道图的分辨率为第一分辨率；
第一生成单元，用于对所述待处理亮度通道图进行超分辨率重建处理，生成目标亮度通道图，其中，所述超分辨率重建处理包括对所述待处理亮度通道图进行通道转换处理和/或图像特征提取处理；
处理单元，单元根据指定放大参数对所述待处理色度通道图进行处理，得到目标色度通道图，其中，所述目标色度通道图的分辨率为所述目标分辨率；
第二生成单元，用于基于所述目标亮度通道图以及所述目标色度通道图生成目标图像。
在一些实施例中，该装置还包括第一处理子单元，该第一处理子单元用于：
将所述待处理亮度通道图输入归一化层进行归一化处理，得到第一亮度通道图；
对所述第一亮度通道图进行超分辨率重建处理，生成目标亮度通道图。
在一些实施例中，该装置还包括第二处理子单元，该第二处理子单元用于：
将所述第一亮度通道图输入线性插值层，得到第二亮度通道图，并将所述第一亮度通道图输入第一通道转换卷积层进行通道转换处理，得到第三亮度通道图，其中，所述第一亮度通道图的第一通道数值与所述第二亮度通道图的第二通道数值一致，所述第三亮度通道图的第三通道数值基于所述第一通道转换卷积层的第一权重确定，所述第三通道数值大于所述第一通道数值；
将所述第三亮度通道图输入至少一个特征提取卷积层进行图像特征提取处理，得到第四亮度通道图，其中，所述第四亮度通道图的第四通道数值与所述第三通道数值一致；
将所述第四亮度通道图输入第二通道转换卷积层进行通道转换处理，得到第五亮度通道图，其中，所述第五亮度通道图的第五通道数值小于所述第四通道数值，所述第五通道数值基于所述第二通道转换卷积层的第二权重确定；
将所述第四亮度通道图输入像素重组层，得到第五亮度通道图；
基于所述第二亮度通道图和所述第五亮度通道图生成目标亮度通道图。
在一些实施例中，该装置还包括：
第三处理子单元，用于将所述第三亮度通道图输入至少一个特征提取卷积层进行图像特征提取处理，得到待叠加亮度通道图；
第三生成单元，用于基于所述待叠加亮度通道图和所述第三亮度通道图生成第四亮度通道图。
在一些实施例中，该装置还包括第四处理子单元，该第四处理子单元用于：
将所述第一亮度通道图和第一指定参数输入像素拆分层进行处理，得到所述第一亮度特征图集合，其中，所述第一亮度特征图集合中包括第一指定数量的亮度特征图；
将所述第一亮度特征图集合中所有亮度特征图输入第一通道转换卷积层进行通道转换处理，生成第一待处理亮度特征图集合，其中，所述第一待处理亮度特征图集合包括多张第三亮度通道图。
在一些实施例中，该装置还包括：
第四生成单元，用于将所述第三亮度通道图依次输入所述第一特征提取卷积层、所述第二特征提取卷积层以及所述第三特征提取卷积层，生成第二待处理亮度特征图集合，其中，所述第二待处理亮度特征图集合包括多张第四亮度通道图。
在一些实施例中，该装置还包括：
第五处理子单元，用于将所述第一待处理亮度特征图集合输入第二通道转换卷积层进行通道转换处理，得到第三待处理亮度特征图集合，其中，所述第三待处理亮度特征图集合包括多张第六亮度通道图，所述第六亮度通道图的第六通道数值与所述第三通道数值相同；
输入单元，用于将所述第三待处理亮度特征图集合输入像素重组层，得到重组亮度通道图；
第五生成单元，用于基于所述第二亮度通道图和所述重组亮度通道图生成目标亮度通道图。
在一些实施例中，该装置还包括：
训练单元，用于采用样本集对第一预设网络结构进行训练，得到训练好的第一预设网络结构以及第一目标参数，其中，所述第一预设网络结构由第一预设卷积层和第二预设卷积层组成；
第六生成单元，用于基于所述第一预设网络结构和第一目标参数生成第一通道转换卷积层。
在一些实施例中，该装置还包括第六处理子单元，该第六处理子单元用于：
将所述第二亮度通道图和所述第五亮度通道图进行融合处理，以得到目标合并亮度通道图；
对所述目标合并亮度通道图进行反归一化处理，生成目标亮度通道图。
在一些实施例中，该装置还包括：
第一获取单元，用于向服务器发送图像获取请求；
接收单元，用于接收所述服务器返回的待解压图像，其中，所述待解压图像为所述服务器将指定图像进行压缩处理得到的图像，所述指定图像为所述服务器针对所述图像获取请求渲染出的图像，所述指定图像的分辨率为第一分辨率；
第七处理子单元，用于将所述待解压图像进行解压处理，得到待处理图像。
在一些实施例中，该装置还包括：
第二获取单元，用于获取画面显示指令，根据所述画面显示指令指示游戏引擎渲染出的待处理图像，所述待处理图像的分辨率为第一分辨率；
第三获取单元，用于当检测所述模拟器检测到所述游戏引擎中触发画面显示指令时，所述模拟器从所述游戏引擎中获取所述游戏引擎渲染出的待处理图像。
在一些实施例中，该装置还包括：
判断单元，用于判断所述待处理图像的格式是否为YUV通道格式；
若是，则获取所述待处理图像的待处理亮度通道图以及待处理色度通道图；
若否，则将所述待处理图像的当前格式转换为YUV通道格式。
在一些实施例中，该装置还包括：
第八处理子单元，用于根据所述指定放大参数对所述待处理色度通道图进行线性插值处理，得到目标色度通道图；
第七生成单元，用于基于所述目标亮度通道图以及所述目标色度通道图生成目标图像。
在一些实施例中，该装置还包括：
第九处理子单元，用于将所述目标亮度通道图以及所述目标色度通道图进行图像叠加处理，得到待转换图像；
转换单元，用于将所述待转换图像的格式转换为RGB通道格式，得到目标图像。
相应的，本申请实施例还提供了一种计算机设备，包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述的图像处理方法任一项的步骤。
此外，本申请实施例还提供一种存储介质，所述存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如上所述的图像处理方法任一项的步骤。
本申请实施例提供一种图像处理方法、装置、计算机设备及存储介质，通过预先构建一精简的超分辨率重建模型，该超分辨率重建模型可以将输入的低分辨率图像快速放大分辨率以得到高分辨率图像，能够提升超分辨率重建的重建速度，提高了画面显示质量。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要兑现的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的图像处理方法的流程示意图；
图2是本申请实施例提供的超分辨率重建网络结构的一种结构示意图；
图3是本申请实施例提供的图像处理方法的一种场景示意图；
图4是本申请实施例提供的超分辨率重建网络结构的另一种结构示意图；
图5是本申请实施例提供的超分辨率重建网络结构的另一种结构示意图；
图6是本申请实施例提供的图像处理方法的另一种场景示意图；
图7是本申请实施例提供的超分辨率重建网络结构的另一种结构示意图；
图8是本申请实施例提供的超分辨率重建网络结构的另一种结构示意图；
图9是本申请实施例提供的超分辨率重建网络结构的另一种结构示意图；
图10是本申请实施例提供的超分辨率重建网络结构的另一种结构示意图；
图11是本申请实施例提供的超分辨率重建网络结构的另一种结构示意图；
图12是本申请实施例提供的超分辨率重建网络结构的另一种结构示意图；
图13是本申请实施例提供的图像处理装置的结构示意图；
图14是本申请实施例提供的计算机设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例提供一种信息推荐方法、装置、存储介质及计算机设备。具体地，本申请实施例的信息推荐方法可以由计算机设备执行，其中，该计算机设备可以为终端或者服务器等设备。该终端可以为智能手机、平板电脑、笔记本电脑、触控屏幕、个人计算机(PC，Personal Computer)、个人数字助理(Personal Digital Assistant，PDA)等终端设备。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式***，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。
例如，该计算机设备可以是终端，该终端可以获取第一分辨率的待处理图像，所述待处理图像的格式为YUV通道格式；获取所述待处理图像的待处理亮度通道图以及待处理色度通道图，其中，所述待处理亮度通道图的分辨率为第一分辨率，所述待处理色度通道图的分辨率为第一分辨率；对所述待处理亮度通道图进行超分辨率重建处理，生成目标亮度通道图，其中，所述超分辨率重建处理包括对所述待处理亮度通道图进行通道转换处理和/或图像特征提取处理；根据指定放大参数对所述待处理色度通道图进行处理，得到目标色度通道图，其中，所述目标色度通道图的分辨率为所述目标分辨率；基于所述目标亮度通道图以及所述目标色度通道图生成目标图像。
以下分别进行详细说明。需说明的是，以下实施例的描述顺序不作为对实施例优选顺序的限定。
本申请实施例提供的一种图像处理方法，该方法可以由终端的处理器执行，如图1所示，该图像处理方法的具体流程主要包括步骤101至步骤105，详细说明如下：
101，获取第一分辨率的待处理图像，所述待处理图像的格式为YUV通道格式。
在一实施例中，在步骤“获取第一分辨率的待处理图像”之前，方法可以包括：
向服务器发送图像获取请求；
接收所述服务器返回的待解压图像，其中，所述待解压图像为所述服务器将指定图像进行压缩处理得到的图像，所述指定图像为所述服务器针对所述图像获取请求渲染出的图像，所述指定图像的分辨率为第一分辨率；
将所述待解压图像进行解压处理，得到待处理图像。
具体的，上述方法可以应用在云游戏场景中。首先，可以在服务端(服务器)对需要显示的游戏画面的图像进行低分辨率的渲染，然后对渲染出来的低分辨率图像进行压缩处理，再经过网络传输到终端设备。终端设备在接收到压缩后的低分辨率图像后，在GPU中完成解压处理，以得到解压后的低分辨率图像，然后通过终端设备(例如GPU或CPU中)对解压后的低分辨率图像进行快速的超分辨率重建，最后，在终端设备中完成对游戏画面的图像的显示。
其中，云游戏(Cloud gaming)又可称为游戏点播(gaming on demand)，是一种以云计算技术为基础的在线游戏技术。云游戏技术使图形处理与数据运算能力相对有限的轻端设备(thin client)能运行高品质游戏。在云游戏场景下，云游戏软件并不在玩家游戏终端运行，而是在云端服务器中运行。玩家游戏终端无需拥有强大的图形运算与数据处理能力，仅需拥有基本的流媒体播放能力与获取玩家输入指令并发送给云端服务器的能力即可。云游戏服务器通过音视频获取器获取云游戏软件的音视频流，然后经由音视频编码器编码，再通过实时流传输协议(Real Time Streaming Protocol RTSP)等互联网通信协议将经过编码的音视频流发送至游戏客户端。游戏客户端收到经过编码的音视频流后，通过音视频解码器对音视频流进行解码，再由音视频播放器播放游戏的画面和声音，那么用户就可以在终端看到游戏画面以及听到游戏的声音。游戏客户端监听用户的输入指令(包括来自鼠标、键盘和触摸屏等输入设备的输入指令)，会根据用户输入的指令进行事件编码，然后经过自定义通信协议，将编码后的输入事件发送到云游戏服务器。云游戏服务器在接收到这些经过编码的输入事件后，将其进行解码，然后再重现用户的输入。
在另一实施例中，在步骤“获取第一分辨率的待处理图像”之前，方法可以包括：
获取画面显示指令，根据所述画面显示指令指示游戏引擎渲染出的待处理图像，所述待处理图像的分辨率为第一分辨率；
当检测所述模拟器检测到所述游戏引擎中触发画面显示指令时，所述模拟器从所述游戏引擎中获取所述游戏引擎渲染出的待处理图像。
具体的，上述方法可以应用在手机模拟器中。首先，终端中设置的游戏引擎基于目标渲染尺寸将游戏画面的图像渲染出低分辨率图片，然后，手机模拟器获取低分辨率图片，手机模拟器利用终端上的GPU或CPU对游戏画面的图像进行快速的超分辨率重建，最后在终端设备中完成游戏画面的图像的显示。
其中，模拟器是指在计算机平台上，基于计算机编译的、可模拟执行特定之硬件平台及其程序的软件程序。模拟器有相应的模拟***，例如，若模拟器是安卓模拟器，则其对应有安卓模拟***，因而，它可以在计算机上运行并模拟安卓手机***，并能安装、使用、卸载安卓应用的软件，让用户在电脑上也能体验安卓游戏和应用。这里，配置模拟器的设备可以是计算机、手机、平板电脑和游戏设备等等。
为了能够对待处理图像的亮度通道图进行超分辨率重建，在步骤“获取第一分辨率的待处理图像”之后，方法可以包括：
判断所述待处理图像的格式是否为YUV通道格式；
若是，则获取所述待处理图像的待处理亮度通道图以及待处理色度通道图；
若否，则将所述待处理图像的当前格式转换为YUV通道格式。
为了能够对待处理图像的亮度通道图进行超分辨率重建，因此，若接收到的待处理图像的格式为RGB格式时，则需要将待处理图像的格式转换为YUV通道格式。
其中，R为待处理图像中各个像素的R(Red，红)值，G为待处理图像中各像素的G(Green，绿)值，B为待处理图像中的图像各像素的B(Blue，蓝)值。Y表示亮度信号，U、V分别表示两个色差信号B-Y(即U)、R-Y(即V)。
102，获取所述待处理图像的待处理亮度通道图以及待处理色度通道图，其中，所述待处理亮度通道图的分辨率为第一分辨率，所述待处理色度通道图的分辨率为第一分辨率。
103，对所述待处理亮度通道图进行超分辨率重建处理，生成目标亮度通道图，其中，所述超分辨率重建处理包括对所述待处理亮度通道图进行通道转换处理和/或图像特征提取处理。
为了利于神经网络的训练，在步骤“对所述待处理亮度通道图进行超分辨率重建处理”之前，方法可以包括：
将所述待处理亮度通道图输入归一化层进行归一化处理，得到第一亮度通道图；
对所述第一亮度通道图进行超分辨率重建处理，生成目标亮度通道图。
在一实施例中，步骤“所述对所述第一亮度通道图进行超分辨率重建处理，生成目标亮度通道图”，方法可以包括：
将所述第一亮度通道图输入线性插值层，得到第二亮度通道图，并将所述第一亮度通道图输入第一通道转换卷积层进行通道转换处理，得到第三亮度通道图，其中，所述第一亮度通道图的第一通道数值与所述第二亮度通道图的第二通道数值一致，所述第三亮度通道图的第三通道数值基于所述第一通道转换卷积层的第一权重确定，所述第三通道数值大于所述第一通道数值；
将所述第三亮度通道图输入至少一个特征提取卷积层进行图像特征提取处理，得到第四亮度通道图，其中，所述第四亮度通道图的第四通道数值与所述第三通道数值一致；
将所述第四亮度通道图输入第二通道转换卷积层进行通道转换处理，得到第五亮度通道图，其中，所述第五亮度通道图的第五通道数值小于所述第四通道数值，所述第五通道数值基于所述第二通道转换卷积层的第二权重确定；
将所述第四亮度通道图输入像素重组层，得到第五亮度通道图；
基于所述第二亮度通道图和所述第五亮度通道图生成目标亮度通道图。
在一实施例中，步骤“将所述第三亮度通道图输入至少一个特征提取卷积层进行图像特征提取处理，得到第四亮度通道图”，方法可以包括：
将所述第三亮度通道图输入至少一个特征提取卷积层进行图像特征提取处理，得到待叠加亮度通道图；
基于所述待叠加亮度通道图和所述第三亮度通道图生成第四亮度通道图。
为了实现待处理图片在超分辨率重建模型中更快速的计算，在步骤“将所述第一亮度通道图输入线性插值层之后，在将所述第一亮度通道图输入第一通道转换卷积层进行通道转换处理”之前，方法可以包括：
将所述第一亮度通道图和第一指定参数输入像素拆分层进行处理，得到所述第一亮度特征图集合，其中，所述第一亮度特征图集合中包括第一指定数量的亮度特征图；
将所述第一亮度特征图集合中所有亮度特征图输入第一通道转换卷积层进行通道转换处理，生成第一待处理亮度特征图集合，其中，所述第一待处理亮度特征图集合包括多张第三亮度通道图。
在一具体实施例中，特征提取卷积层包括第一特征提取卷积层、第二特征提取卷积层以及第三特征提取卷积层，其中，所述第一特征提取卷积层的权重、所述第二特征提取卷积层的权重以及所述第三特征提取卷积层的权重均相同。在步骤“将所述第一亮度特征图集合中所有亮度特征图输入第一通道转换卷积层进行通道转换处理”之后，方法可以包括：
将所述第三亮度通道图依次输入所述第一特征提取卷积层、所述第二特征提取卷积层以及所述第三特征提取卷积层，生成第二待处理亮度特征图集合，其中，所述第二待处理亮度特征图集合包括多张第四亮度通道图。
在另一具体实施例中，在步骤“将所述第一亮度特征图集合中所有亮度特征图输入第一通道转换卷积层进行通道转换处理，生成第一待处理亮度特征图集合”之后，方法可以包括：
将所述第一待处理亮度特征图集合输入第二通道转换卷积层进行通道转换处理，得到第三待处理亮度特征图集合，其中，所述第三待处理亮度特征图集合包括多张第六亮度通道图，所述第六亮度通道图的第六通道数值与所述第三通道数值相同；
将所述第三待处理亮度特征图集合输入像素重组层，得到重组亮度通道图；
基于所述第二亮度通道图和所述重组亮度通道图生成目标亮度通道图。
可选的，可以采用样本集对第一预设网络结构进行训练，得到训练好的第一预设网络结构以及第一目标参数，其中，所述第一预设网络结构由第一预设卷积层和第二预设卷积层组成。然后，基于所述第一预设网络结构和第一目标参数生成第一通道转换卷积层。
具体的，步骤“所述基于所述第二亮度通道图和所述第五亮度通道图生成目标亮度通道图”，方法可以包括：
将所述第二亮度通道图和所述第五亮度通道图进行融合处理，以得到目标合并亮度通道图；
对所述目标合并亮度通道图进行反归一化处理，生成目标亮度通道图。
本申请实施例中，主要是对图像特征信息进行处理，本申请实施例提供的超分辨率重建网络模型可以为卷积神经网络模型。
在机器学习中，卷积神经网络(Convolutional Neural Network，CNN)是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。它包括：卷积层(Convolutional layer)和池化层(pooling layer)。
一般地，CNN的基本结构包括两层，其一为特征提取层，每个神经元的输入与前一层的局部接受域相连，并提取该局部的特征。一旦该局部特征被提取后，它与其它特征间的位置关系也随之确定下来；其二是特征映射层，网络的每个计算层由多个特征映射组成，每个特征映射是一个平面，平面上所有神经元的权值相等。特征映射结构采用影响函数核小的sigmoid函数(阈值函数，将变量映射到0,1之间)作为卷积网络的激活函数，使得特征映射具有位移不变性。此外，由于一个映射面上的神经元共享权值，因而减少了网络自由参数的个数。卷积神经网络中的每一个卷积层都紧跟着一个用来求局部平均与二次提取的计算层，这种特有的两次特征提取结构减小了特征分辨率。
请参阅图2，图2为本申请实施例提供的超分辨率重建网络结构的结构示意图。在本申请实施例中，在卷积神经网络中每一层的输入的尺寸为N×C×H×W，其中，N为每次输入多少张图片，C为通道数目(例如图片为RGB三通道图片，则C为3；亮度通道图片为一个通道的图片，则C为1)，H和W分别代表高度和宽度。例如，在超分辨率重建网络结构输入一张540p大小的图像，则该图片的尺寸为1×1×960×540。本申请实施例提供的超分辨率重建网络结构具体包括如下：
(1)归一化层(Div层)：归一化层的作用主要是归一化。具体来说，由于Y通道中像素点的数值范围为[0,255]，为了简化亮度通道图像在卷积神经网络中的处理步骤，提高处理速度，因此，可以原本的数值范围[0,255]除以255，以将亮度通道图像的图像数据归一化到[0,1]范围之间，以利于神经网络的训练。
(2)像素拆分层(Unshuffle层)：像素拆分层可以将亮度通道图像中相邻的像素点转换为不同的通道。例如，当图像降低比例(downscale)为4时，由于初始的亮度通道图像上的4×4区域上的像素点，被分别被分配到了16个通道上，因此，可以将分辨率为1×1×960×540的亮度通道图像变为分辨率为1×16×240×135的亮度通道图像。
例如，如图3所示，本申请实施例可以将一张高分辨率(High Resolution，HR)图像被拆分成了r的平方个通道(channel)，此时的r就是downscale。该步骤可以使输入的亮度通道图像上的每个像素点都得到了利用，并且，原始输入的亮度通道图像的分辨率由于该步骤被大大减小，则后续进行Conv卷积处理时的计算量也可以大大减小。
由于将原始输入的亮度通道图像输入Unshuffle层进行了处理，因此，得到的特征图中的一个(x,y)点上对应的则为原始输入的亮度通道图像上的4×4范围中16个像素。若此时，在经过Unshuffle层处理后的特征图上做3x3的卷积处理时，就可以获取12×12大小的感受野。因此，即使本申请提供的超分辨率重建网络结构的模型很小，也能够维持对图像处理的速度和效果的平衡。
另外，由于本申请实施例采用了Unshuffle层对亮度通道图像进行了处理，除了可以进行上采样2倍的操作，本申请实施例还可以支持上采样3/2倍，4/3倍等比例。具体的，上述效果的实现方式可以通过设置Unshuffle层的downscale系数、以及像素重组层(Shuffle层)的图像放大比例(upscale)系数可以根据实际情况可选。例如，如果低分辨率(LowResolution，LR)到HR的2倍上采样，那么downscale系数为4、upscale系数为8，则能够实现2倍超分辨率重建，速度与效果可以达到较好的平衡。如果是LR到HR的4/3倍上采样，downscale为系数3、upscale系数为4，则能够实现4/3倍超分辨率。如果是LR到HR的3/2倍上采样，downscale系数为4，upscale系数为6，则能够实现3/2倍超分辨率。
(3)卷积层：卷积层可以用于做通道的变换，也可以用于提取特征图的特征。在本申请实施例中卷积层包括conv1(卷积1)层、conv2(卷积2)层、conv3(卷积3)层以及conv4(卷积4)层。
具体的，conv1层为3×3conv层，conv1层不带Add(卷积核)的Conv层，该层的权重为3×3×16×20，通过该层可以对输入的图像进行通道的变换，需要说明的是，通道数目可以根据需求进行修改，权重中的20可以修改为24、40、60或80等数值。例如，向conv1层输入尺寸为1×16×240×135的图像，经过conv1层的处理后，可以输出尺寸为1×20×240×135的图像，即可以将图像的通道由16通道转换为20通道。
Conv2层和Conv3层均为conv1层为3×3conv层、带Add(卷积核)的Conv层，Conv2层和Conv3层均的权重为3×3×20×20，通过Conv2层和Conv3层可以提取特征图的特征。例如，向conv2层输入尺寸为1×20×240×135的图像，经过conv2层的处理后，可以输出尺寸为1×20×240×135的图像。
Conv4层为1×1conv层，为不带Add(卷积核)的Conv层，该层的权重为1×1×20×64，通过该层可以对输入的图像进行通道的变换。向conv4层输入尺寸为1×20×240×135的图像，经过conv4层的处理后，可以输出尺寸为1×64×240×135的图像，即可以将图像的通道由20通道转换为64通道。
需要说明的是，相邻的卷积层之间设置有激活函数(Relu)，通过在相邻的卷积层之间增加激活函数(Relu)，可以增加神经网络各层之间的非线性关系。
另外，Conv2层和Conv3层可以根据实际应用情况进行删减处理，例如，可以将Conv2层和Conv3层均删除，卷积层中仅保留conv1层和Conv4层；或者，可以仅删除Conv2层，卷积层中保留conv1层、Conv3和Conv4层；又或者，可以仅删除Conv3层，卷积层中保留conv1层、Conv2和Conv4层。根据具体机型的计算能力，设置大小的模型并分发到对应终端上去。对于计算能力低的终端，可以采用设置有conv1层和Conv4层的卷积层。
可选的，在对超分辨率重建网络模型进行训练的过程中，可以采用重参数技术提高模型的处理效率。例如，请参阅图4，图4中的左一为原始结构3×3conv结构，中间的结构为将原始的3×3conv结构使用一个3×3conv结构和1个1×1conv的重参数的结构对训练对进行训练，3×3conv结构输出的通道数目为256，以得到训练时的参数，在构建超分辨率重建网络模型时，将一个3×3conv结构和1个1×1conv结构合并为一个3×3conv结构，并使用训练时得到的参数对输入的图像进行卷积处理。又例如，请参阅图5，图5中的左一为原始结构3×3conv结构，中间的结构为将原始的3×3conv结构使用一个3×3conv结构和1个1×1conv的重参数的结构对训练对进行训练，3×3conv结构输出的通道数目为256，以得到训练时的参数，在构建超分辨率重建网络模型时，将一个3×3conv结构、1个1×1conv结构以及短连接合并为一个3×3conv结构，并使用训练时得到的参数对输入的图像进行卷积处理。
(4)像素重组层(Shuffle层)：像素重组层可以将放大后分辨率的结果的恢复，为Unshuffle层的逆过程。具体来说，像素重组层可以将r2个通道的特征图转换成新的N×C×H×W的上采样结果。具体来说，就是按照一定规则将每个像素点的r2个通道依次转换为对应的r2的图像块。例如，如图6所示，r2个通道经过像素重组层后，每个通道的相同位置的像素被放在一起，组成了一张r2的大小的图像。
(6)线性插值层(Bilinear层)：线性插值层可以将输入的亮度通道图像直接进行线性插值处理以将亮度通道图像进行放大，以使超分辨率重建网络模型的主分支学习到比线性插值更为丰富的细节内容，该层也可以修改为Nearest插值层，数据处理的速度可以更快。
(7)加法层(Add层)：加法层可以使分辨率重建网络模型的主分支学习到输入图像和输出图像的残差，残差内容是比较关键的细节内容，具体来说，可以是将在像素重组层得到的图像与在线性插值层得到的图像进行叠加处理，以得到具有更多细节的合并图像。
(8)反归一层(Mul层)：可以从Add层输出的图像进行反归一化处理。具体的，可以将从Add层输出的图像中像素点的数值范围从[0,1]范围恢复到[0,255]范围。
需要说明的是，本申请实施例在使用超分辨率重建网络结构之前，还对构建的超分辨率重建网络结构进行了训练，具体训练过程如下：
(1)预先构建一个图片训练集合作为高分辨率图片，对每张高分辨率图片使用Bicubic插值进行下采样处理后，得到多张下采样处理后的图片，并将下采样处理后的图片作为低分辨率图片；
(2)随机在多张高分辨率图片取的一张第一高分辨率图片，在该图片上截取固定大小的区域(如NxN)作为第一高分辨率样本图片；同时，在与第一高分辨率图片对应的下采样处理后得到的低分辨率图片上，截取与上述步骤相同位置、相同大小的区域作为第一低分辨率样本图片，基于第一高分辨率样本图片和第一低分辨率样本图片作为图片样本对。
(3)将图片样本对分别用作构建的超分辨率重建网络结构的输入和输出训练网络，以进行参数配置的训练。
104，根据指定放大参数对所述待处理色度通道图进行处理，得到目标色度通道图，其中，所述目标色度通道图的分辨率为所述目标分辨率。
具体的，步骤“所述根据指定放大参数对所述待处理色度通道图进行处理，得到目标色度通道图”，方法可以包括：
根据所述指定放大参数对所述待处理色度通道图进行线性插值处理，得到目标色度通道图；
基于所述目标亮度通道图以及所述目标色度通道图生成目标图像。
105，基于所述目标亮度通道图以及所述目标色度通道图生成目标图像。
在一实施例中，步骤“所述基于所述目标亮度通道图以及所述目标色度通道图生成目标图像”，方法可以包括：
将所述目标亮度通道图以及所述目标色度通道图进行图像叠加处理，得到待转换图像；
将所述待转换图像的格式转换为RGB通道格式，得到目标图像。
可选的，本申请实施例可以通过终端中的GPU配置的着色器(shader)将所述目标亮度通道图以及所述目标色度通道图进行图像合并叠加处理。
在Y通道和UV通道进行通道合并后，通过用着色器将YUV格式的图像乘以一个YUV格式转换到RGB格式的颜色转换矩阵。其中，Y通道和UV通道的通道合并具体方案为取Y和UV构建一个float3(即三个float值)的向量。
为了能够在终端上对已进行超分辨率重建的亮度通道图像进行显示，则需要将YUV格式的图像转换为RGB通道格式。
其中，R为待处理图像中各个像素的R(Red，红)值，G为待处理图像中各像素的G(Green，绿)值，B为待处理图像中的图像各像素的B(Blue，蓝)值。Y表示亮度信号，U、V分别表示两个色差信号B-Y(即U)、R-Y(即V)。
本申请实施例提供一种图像处理方法，通过预先构建一精简的超分辨率重建模型，该超分辨率重建模型可以将输入的低分辨率图像快速放大分辨率以得到高分辨率图像，能够提升超分辨率重建的重建速度，提高了画面显示质量。
根据上述介绍的内容，下面将举例来进一步说明本申请的图像处理方法。例如，本申请实施例的超分辨率重建网络结构的具体应用示例流程如下：
(1)向归一化层(Div层)输入一张540p大小的亮度通道图像，该图片的尺寸为1×1×960×540，通过归一化层将该亮度通道图像中的数据归一化到[0,1]范围之间。
(2)将经过归一化层进行了归一化处理后的亮度通道图像输入像素拆分层(Unshuffle层)，获取指定的图像降低比例，此时，获取到的图像降低比例(downscale)为4，由于初始的亮度通道图像上的4×4区域上的像素点，被分别被分配到了16个通道上，因此，可以将分辨率为1×1×960×540的亮度通道图像变为分辨率为1×16×240×135的亮度通道图像。
同时，将经过归一化层进行了归一化处理后的亮度通道图像输入线性插值层(Bilinear层)，以将分辨率为1×1×960×540的亮度通道图像变为分辨率为1×1×1920×1080的亮度通道图像。
(3)将经过像素拆分层后的图像输入3×3conv层的conv1层进行通道的变换，conv1层的权重为3×3×16×20，向conv1层输入尺寸为1×16×240×135的图像，经过conv1层的处理后，可以输出尺寸为1×20×240×135的图像，即可以将图像的通道由16通道转换为20通道。
(4)将经过conv1层的图像输入3×3conv层的conv2层提取特征图的特征，conv2层的权重为3×3×20×20，可以输出尺寸为1×20×240×135的图像。
(5)将经过conv2层的图像输入3×3conv层的conv3层提取特征图的特征，conv3层的权重为3×3×20×20，可以输出尺寸为1×20×240×135的图像。
(6)将经过conv3层的图像输入1×1conv层的conv4层进行通道的变换，conv4层的权重为1×1×20×64，经过conv4层的处理后，可以输出尺寸为1×64×240×135的图像，即可以将图像的通道由20通道转换为64通道。
(7)将经过conv4层的图像输入像素重组层(Shuffle层)，像素重组层可以将放大后分辨率的结果的恢复，经过像素重组层的处理后，可以输出尺寸为1×1×1920×1080的图像，即可以将图像的通道由64通道转换为1通道。
(8)将经过线性插值层(Bilinear层)的分辨率为1×1×1920×1080的亮度通道图像、以及经过像素重组层的亮度通道图像输入加法层(Add层)，从而将在像素重组层得到的图像与在线性插值层得到的图像进行叠加处理，以得到具有更多细节的合并图像。
(9)将加法层得到的合并图像输入反归一层(Mul层)，从而可以将从Add层输出的图像进行反归一化处理。具体的，可以将从Add层输出的图像中像素点的数值范围从[0,1]范围恢复到[0,255]范围，以得到目标亮度通道图像。
根据上述介绍的内容，下面将举例来进一步说明本申请的图像处理方法。例如，请参阅图7，本申请实施例的一种超分辨率重建网络结构如下：
本申请实施例提供的超分辨率重建网络结构依次由归一化层(Div层)、conv1(卷积1)层、conv2(卷积2)层、conv3(卷积3)层、conv4(卷积4)层、conv5(卷积5)层、像素重组层(Shuffle层)、线性插值层(Bilinear层)、加法层(Add层)以及反归一层(Mul层)组成。其中，conv1层的权重为3×3×1×20，conv2层的权重为3×3×20×20，conv3层的权重为3×3×20×20，conv4层的权重为3×3×20×20，conv5层的权重为1×1×20×4。另外，Shuffle层的指定参数(up-scale)为2。本申请实施例提供的超分辨率重建网络为基础网络，可以图片放大倍数为2倍的情况下，图像分辨率由540p转换至1080p，峰值信噪比(Peak Signal toNoise Ratio，psnr)为34.90dB，而每秒传输帧数(Frames Per Second，FPS)为5fps，虽然速度较慢，但是该超分辨率重建网络结构虽然可以实现较好的图像处理效果。具体的，向归一化层(Div层)输入一张540p大小的亮度通道图像，该图片的尺寸为1×1×960×540，通过归一化层将该亮度通道图像中的数据归一化到[0,1]范围之间。然后，将经过归一化层进行了归一化处理后的亮度通道图像输入权重为3×3×1×20的conv1层进行通道的变换，经过conv1层的处理后，可以输出尺寸为1×20×960×540的亮度通道图。之后，依次将经过conv1层处理后的亮度通道图输入权重均为3×3×20×20的conv2层、conv3层和conv4层进行图像特征提取处理，可以输出尺寸为1×20×960×540的亮度通道图。然后，将进行了图像特征提取处理的亮度通道图输入权重为1×1×20×4的conv5层进行通道的变换，经过conv5层的处理后，可以输出尺寸为1×4×960×540的亮度通道图。将经过conv5层的图像输入像素重组层(Shuffle层)，此时，像素重组层的upscale为2，像素重组层可以将放大后分辨率的结果的恢复，经过像素重组层的处理后，可以输出尺寸为1×1×1920×1080的图像，即可以将图像的通道由64通道转换为1通道。之后，将经过线性插值层(Bilinear层)的分辨率为1×1×1920×1080的亮度通道图像、以及经过像素重组层的亮度通道图像输入加法层(Add层)，从而将在像素重组层得到的图像与在线性插值层得到的图像进行叠加处理，以得到具有更多细节的合并图像。将加法层得到的合并图像输入反归一层(Mul层)，从而可以将从Add层输出的图像进行反归一化处理。具体的，可以将从Add层输出的图像中像素点的数值范围从[0,1]范围恢复到[0,255]范围，以得到目标亮度通道图像。
根据上述介绍的内容，下面将举例来进一步说明本申请的图像处理方法。例如，请参阅图8，本申请实施例的一种超分辨率重建网络结构如下：
本申请实施例提供的超分辨率重建网络结构依次由归一化层(Div层)、像素拆分层(Unshuffle层)、conv1(卷积1)层、conv2(卷积2)层、conv3(卷积3)层、conv4(卷积4)层、conv5(卷积5)层、像素重组层(Shuffle层)、线性插值层(Bilinear层)、加法层(Add层)以及反归一层(Mul层)组成。其中，conv1层的权重为3×3×16×20，conv2层的权重为3×3×20×20，conv3层的权重为3×3×20×20，conv4层的权重为3×3×20×20，conv5层的权重为1×1×20×64。另外，UnShuffle层的指定参数(down-scale)为4，Shuffle层的指定参数(up-scale)为8。本申请实施例提供的超分辨率重建网络可以在将图片放大倍数为2倍的情况下，图像分辨率由540p转换至1080p，峰值信噪比(Peak Signal to Noise Ratio，psnr)为33.46dB，而每秒传输帧数(Frames Per Second，FPS)为30fps，虽然与图7提供的网络结构相比，图像处理效果略有下降，但是却能够大大提高进行超分辨率重建的处理速度。具体的，向归一化层(Div层)输入一张540p大小的亮度通道图像，该图片的尺寸为1×1×960×540，通过归一化层将该亮度通道图像中的数据归一化到[0,1]范围之间。将经过归一化层进行了归一化处理后的亮度通道图像输入像素拆分层(Unshuffle层)，获取指定的图像降低比例，此时，获取到的图像降低比例(downscale)为4，由于初始的亮度通道图像上的4×4区域上的像素点，被分别被分配到了16个通道上，因此，可以将分辨率为1×1×960×540的亮度通道图像变为分辨率为1×16×240×135的亮度通道图像。然后，将经过像素拆分层处理后的亮度通道图像输入权重为3×3×16×20的conv1层进行通道的变换，经过conv1层的处理后，可以输出尺寸为1×20×240×135的亮度通道图。之后，依次将经过conv1层处理后的亮度通道图输入权重均为3×3×20×20的conv2层、conv3层和conv4层进行图像特征提取处理，可以输出尺寸为1×20×240×135的亮度通道图。然后，将进行了图像特征提取处理的亮度通道图输入权重为1×1×20×64的conv5层进行通道的变换，经过conv5层的处理后，可以输出尺寸为1×64×240×135的亮度通道图。将经过conv5层的图像输入像素重组层(Shuffle层)，此时，像素重组层的up scale为8，像素重组层可以将放大后分辨率的结果的恢复，经过像素重组层的处理后，可以输出尺寸为1×1×1920×1080的图像，即可以将图像的通道由64通道转换为1通道。之后，将经过线性插值层(Bilinear层)的分辨率为1×1×1920×1080的亮度通道图像、以及经过像素重组层、conv层的亮度通道图像输入加法层(Add层)，从而将在像素重组层得到的图像与在线性插值层得到的图像进行叠加处理，以得到具有更多细节的合并图像。将加法层得到的合并图像输入反归一层(Mul层)，从而可以将从Add层输出的图像进行反归一化处理。具体的，可以将从Add层输出的图像中像素点的数值范围从[0,1]范围恢复到[0,255]范围，以得到目标亮度通道图像。
根据上述介绍的内容，下面将举例来进一步说明本申请的图像处理方法。例如，请参阅图9，本申请实施例的一种超分辨率重建网络结构如下：
本申请实施例提供的超分辨率重建网络结构依次由归一化层(Div层)、像素拆分层(Unshuffle层)、conv1(卷积1)层、conv2(卷积2)层、conv3(卷积3)层、conv4(卷积4)层、conv5(卷积5)层、像素重组层(Shuffle层)、线性插值层(Bilinear层)、加法层(Add层)以及反归一层(Mul层)组成。其中，conv1层的权重为3×3×16×20，conv2层的权重为3×3×20×20，conv3层的权重为3×3×20×20，conv4层的权重为3×3×20×20，conv5层的权重为1×1×20×64。本申请实施例中conv2层、conv3层以及conv4层的add被删除了。另外，UnShuffle层的指定参数(down-scale)为4，Shuffle层的指定参数(up-scale)为8。本申请实施例提供的超分辨率重建网络可以在将图片放大倍数为2倍的情况下，图像分辨率由540p转换至1080p，峰值信噪比(Peak Signal to Noise Ratio，psnr)为33.22dB，而每秒传输帧数(Frames Per Second，FPS)为30fps，虽然与图7提供的网络结构相比，图像处理效果略有下降，但是却能够大大提高进行超分辨率重建的处理速度。
根据上述介绍的内容，下面将举例来进一步说明本申请的图像处理方法。例如，请参阅图10，本申请实施例的一种超分辨率重建网络结构如下：
本申请实施例提供的超分辨率重建网络结构依次由归一化层(Div层)、像素拆分层(Unshuffle层)、conv1(卷积1)层、conv5(卷积5)层、像素重组层(Shuffle层)、线性插值层(Bilinear层)、加法层(Add层)以及反归一层(Mul层)组成。其中，conv1层的权重为3×3×16×20，conv5层的权重为1×1×20×64。本申请实施例中把上述实施例提供的conv2层、conv3层以及conv4层删除了。另外，UnShuffle层的指定参数(down-scale)为4，Shuffle层的指定参数(up-scale)为8。本申请实施例提供的超分辨率重建网络可以在将图片放大倍数为2倍的情况下，图像分辨率由540p转换至1080p，峰值信噪比(Peak Signal to NoiseRatio，psnr)为32.82dB，而每秒传输帧数(Frames Per Second，FPS)为42fps，虽然与图7提供的网络结构相比，图像处理效果略有下降，但是却能够大大提高进行超分辨率重建的处理速度。具体的，向归一化层(Div层)输入一张540p大小的亮度通道图像，该图片的尺寸为1×1×960×540，通过归一化层将该亮度通道图像中的数据归一化到[0,1]范围之间。将经过归一化层进行了归一化处理后的亮度通道图像输入像素拆分层(Unshuffle层)，获取指定的图像降低比例，此时，获取到的图像降低比例(downscale)为4，由于初始的亮度通道图像上的4×4区域上的像素点，被分别被分配到了16个通道上，因此，可以将分辨率为1×1×960×540的亮度通道图像变为分辨率为1×16×240×135的亮度通道图像。然后，将经过像素拆分层处理后的亮度通道图像输入权重为3×3×16×20的conv1层进行通道的变换，经过conv1层的处理后，可以输出尺寸为1×20×240×135的亮度通道图。之后，将进行了conv1层处理的亮度通道图输入权重为1×1×20×64的conv5层进行通道的变换，经过conv5层的处理后，可以输出尺寸为1×20×240×135的亮度通道图。将经过conv5层的图像输入像素重组层(Shuffle层)，此时，像素重组层的up scale为8，像素重组层可以将放大后分辨率的结果的恢复，经过像素重组层的处理后，可以输出尺寸为1×1×1920×1080的图像，即可以将图像的通道由64通道转换为1通道。之后，将经过线性插值层(Bilinear层)的分辨率为1×1×1920×1080的亮度通道图像、以及经过像素重组层、conv层的亮度通道图像输入加法层(Add层)，从而将在像素重组层得到的图像与在线性插值层得到的图像进行叠加处理，以得到具有更多细节的合并图像。将加法层得到的合并图像输入反归一层(Mul层)，从而可以将从Add层输出的图像进行反归一化处理。具体的，可以将从Add层输出的图像中像素点的数值范围从[0,1]范围恢复到[0,255]范围，以得到目标亮度通道图像。
根据上述介绍的内容，下面将举例来进一步说明本申请的图像处理方法。例如，请参阅图11，本申请实施例的一种超分辨率重建网络结构如下：
本申请实施例提供的超分辨率重建网络结构依次由归一化层(Div层)、像素拆分层(Unshuffle层)、conv1(卷积1)层、conv5(卷积5)层、像素重组层(Shuffle层)、线性插值层(Bilinear层)、加法层(Add层)以及反归一层(Mul层)组成。其中，conv1层的权重为3×3×16×20，conv5层的权重为1×1×20×64。本申请实施例中把上述实施例提供的conv2层、conv3层以及conv4层删除了。另外，UnShuffle层的指定参数(down-scale)为4，Shuffle层的指定参数(up-scale)为8。具体的，本申请实施例提供的conv1层(图中虚线框A所示)是通过重参数技术对第一预设模型(图中虚线框a所示)进行训练得到的。本申请实施例提供的超分辨率重建网络可以在将图片放大倍数为2倍的情况下，图像分辨率由540p转换至1080p，峰值信噪比(Peak Signal to Noise Ratio，psnr)为33.65dB，而每秒传输帧数(Frames Per Second，FPS)为42fps，虽然与图7提供的网络结构相比，图像处理效果略有下降，但是却能够大大提高进行超分辨率重建的处理速度。
根据上述介绍的内容，下面将举例来进一步说明本申请的图像处理方法。例如，请参阅图12，本申请实施例的一种超分辨率重建网络结构如下：
本申请实施例提供的超分辨率重建网络结构依次由归一化层(Div层)、像素拆分层(Unshuffle层)、conv1(卷积1)层、conv2(卷积2)层、conv5(卷积5)层、像素重组层(Shuffle层)、线性插值层(Bilinear层)、加法层(Add层)以及反归一层(Mul层)组成。其中，conv1层的权重为3×3×16×20，conv2层的权重为3×3×20×20，conv5层的权重为1×1×20×64。本申请实施例中把上述实施例提供的conv3层以及conv4层删除了。另外，UnShuffle层的指定参数(down-scale)为4，Shuffle层的指定参数(up-scale)为8。具体的，本申请实施例提供的conv1层(图中虚线框A所示)是通过重参数技术对第一预设模型(图中虚线框a所示)进行训练后，对训练后的第一预设模型(图中虚线框a所示)进行合并处理得到的；本申请实施例提供的conv2层(图中虚线框B所示)是通过重参数技术对第二预设模型(图中虚线框b所示)进行训练后，对训练后的第二预设模型(图中虚线框b所示)进行合并处理得到的。本申请实施例提供的超分辨率重建网络可以在将图片放大倍数为4/3倍的情况下，图像分辨率由540p转换至720p，峰值信噪比(Peak Signal to Noise Ratio，psnr)为38.21dB，而每秒传输帧数(Frames Per Second，FPS)为50fps，虽然与图7提供的网络结构相比，图像处理效果大大提高，同时还能够大大提高进行超分辨率重建的处理速度。
为便于更好的实施本申请实施例提供的图像处理方法，本申请实施例还提供一种基于上述图像处理方法对应的图像处理装置。其中名词的含义与上述图像处理方法中相同，具体实现细节可以参考方法实施例中的说明。
请参阅图13，图13为本申请实施例提供的一种图像处理装置的结构框图，该装置包括：
第一获取单元201，用于获取第一分辨率的待处理图像，所述待处理图像的格式为YUV通道格式；
第二获取单元202，用于获取所述待处理图像的待处理亮度通道图以及待处理色度通道图，其中，所述待处理亮度通道图的分辨率为第一分辨率，所述待处理色度通道图的分辨率为第一分辨率；
第一生成单元203，用于对所述待处理亮度通道图进行超分辨率重建处理，生成目标亮度通道图，其中，所述超分辨率重建处理包括对所述待处理亮度通道图进行通道转换处理和/或图像特征提取处理；
处理单元204，单元根据指定放大参数对所述待处理色度通道图进行处理，得到目标色度通道图，其中，所述目标色度通道图的分辨率为所述目标分辨率；
第二生成单元205，用于基于所述目标亮度通道图以及所述目标色度通道图生成目标图像。
在一些实施例中，该装置还包括第一处理子单元，该第一处理子单元用于：
将所述待处理亮度通道图输入归一化层进行归一化处理，得到第一亮度通道图；
对所述第一亮度通道图进行超分辨率重建处理，生成目标亮度通道图。
在一些实施例中，该装置还包括第二处理子单元，该第二处理子单元用于：
将所述第一亮度通道图输入线性插值层，得到第二亮度通道图，并将所述第一亮度通道图输入第一通道转换卷积层进行通道转换处理，得到第三亮度通道图，其中，所述第一亮度通道图的第一通道数值与所述第二亮度通道图的第二通道数值一致，所述第三亮度通道图的第三通道数值基于所述第一通道转换卷积层的第一权重确定，所述第三通道数值大于所述第一通道数值；
将所述第三亮度通道图输入至少一个特征提取卷积层进行图像特征提取处理，得到第四亮度通道图，其中，所述第四亮度通道图的第四通道数值与所述第三通道数值一致；
将所述第四亮度通道图输入第二通道转换卷积层进行通道转换处理，得到第五亮度通道图，其中，所述第五亮度通道图的第五通道数值小于所述第四通道数值，所述第五通道数值基于所述第二通道转换卷积层的第二权重确定；
将所述第四亮度通道图输入像素重组层，得到第五亮度通道图；
基于所述第二亮度通道图和所述第五亮度通道图生成目标亮度通道图。
在一些实施例中，该装置还包括：
第三处理子单元，用于将所述第三亮度通道图输入至少一个特征提取卷积层进行图像特征提取处理，得到待叠加亮度通道图；
第三生成单元，用于基于所述待叠加亮度通道图和所述第三亮度通道图生成第四亮度通道图。
在一些实施例中，该装置还包括第四处理子单元，该第四处理子单元用于：
将所述第一亮度通道图和第一指定参数输入像素拆分层进行处理，得到所述第一亮度特征图集合，其中，所述第一亮度特征图集合中包括第一指定数量的亮度特征图；
将所述第一亮度特征图集合中所有亮度特征图输入第一通道转换卷积层进行通道转换处理，生成第一待处理亮度特征图集合，其中，所述第一待处理亮度特征图集合包括多张第三亮度通道图。
在一些实施例中，该装置还包括：
第四生成单元，用于将所述第三亮度通道图依次输入所述第一特征提取卷积层、所述第二特征提取卷积层以及所述第三特征提取卷积层，生成第二待处理亮度特征图集合，其中，所述第二待处理亮度特征图集合包括多张第四亮度通道图。
在一些实施例中，该装置还包括：
第五处理子单元，用于将所述第一待处理亮度特征图集合输入第二通道转换卷积层进行通道转换处理，得到第三待处理亮度特征图集合，其中，所述第三待处理亮度特征图集合包括多张第六亮度通道图，所述第六亮度通道图的第六通道数值与所述第三通道数值相同；
输入单元，用于将所述第三待处理亮度特征图集合输入像素重组层，得到重组亮度通道图；
第五生成单元，用于基于所述第二亮度通道图和所述重组亮度通道图生成目标亮度通道图。
在一些实施例中，该装置还包括：
训练单元，用于采用样本集对第一预设网络结构进行训练，得到训练好的第一预设网络结构以及第一目标参数，其中，所述第一预设网络结构由第一预设卷积层和第二预设卷积层组成；
第六生成单元，用于基于所述第一预设网络结构和第一目标参数生成第一通道转换卷积层。
在一些实施例中，该装置还包括第六处理子单元，该第六处理子单元用于：
将所述第二亮度通道图和所述第五亮度通道图进行融合处理，以得到目标合并亮度通道图；
对所述目标合并亮度通道图进行反归一化处理，生成目标亮度通道图。
在一些实施例中，该装置还包括：
第一获取单元，用于向服务器发送图像获取请求；
接收单元，用于接收所述服务器返回的待解压图像，其中，所述待解压图像为所述服务器将指定图像进行压缩处理得到的图像，所述指定图像为所述服务器针对所述图像获取请求渲染出的图像，所述指定图像的分辨率为第一分辨率；
第七处理子单元，用于将所述待解压图像进行解压处理，得到待处理图像。
在一些实施例中，该装置还包括：
第二获取单元，用于获取画面显示指令，根据所述画面显示指令指示游戏引擎渲染出的待处理图像，所述待处理图像的分辨率为第一分辨率；
第三获取单元，用于当检测所述模拟器检测到所述游戏引擎中触发画面显示指令时，所述模拟器从所述游戏引擎中获取所述游戏引擎渲染出的待处理图像。
在一些实施例中，该装置还包括：
判断单元，用于判断所述待处理图像的格式是否为YUV通道格式；
若是，则获取所述待处理图像的待处理亮度通道图以及待处理色度通道图；
若否，则将所述待处理图像的当前格式转换为YUV通道格式。
在一些实施例中，该装置还包括：
第八处理子单元，用于根据所述指定放大参数对所述待处理色度通道图进行线性插值处理，得到目标色度通道图；
第七生成单元，用于基于所述目标亮度通道图以及所述目标色度通道图生成目标图像。
在一些实施例中，该装置还包括：
第九处理子单元，用于将所述目标亮度通道图以及所述目标色度通道图进行图像叠加处理，得到待转换图像；
转换单元，用于将所述待转换图像的格式转换为RGB通道格式，得到目标图像。
本申请实施例提供一种图像处理装置，通过第一获取单元201，用于获取第一分辨率的待处理图像，所述待处理图像的格式为YUV通道格式；第二获取单元202，用于获取所述待处理图像的待处理亮度通道图以及待处理色度通道图，其中，所述待处理亮度通道图的分辨率为第一分辨率，所述待处理色度通道图的分辨率为第一分辨率；第一生成单元203，用于对所述待处理亮度通道图进行超分辨率重建处理，生成目标亮度通道图，其中，所述超分辨率重建处理包括对所述待处理亮度通道图进行通道转换处理和/或图像特征提取处理；处理单元204，单元根据指定放大参数对所述待处理色度通道图进行处理，得到目标色度通道图，其中，所述目标色度通道图的分辨率为所述目标分辨率；第二生成单元205，用于基于所述目标亮度通道图以及所述目标色度通道图生成目标图像。本申请实施例可以预将输入的低分辨率图像快速放大分辨率以得到高分辨率图像，能够提升超分辨率重建的重建速度，提高了画面显示质量。
相应的，本申请实施例还提供一种计算机设备，该计算机设备可以为终端或者服务器，该终端可以为智能手机、平板电脑、笔记本电脑、触控屏幕、游戏机、个人计算机(PC，Personal Computer)、个人数字助理(Personal Digital Assistant，PDA)等终端设备。如图14所示，图14为本申请实施例提供的计算机设备的结构示意图。该计算机设备300包括有一个或者一个以上处理核心的处理器301、有一个或一个以上存储介质的存储器302及存储在存储器302上并可在处理器上运行的计算机程序。其中，处理器301与存储器302电性连接。本领域技术人员可以理解，图中示出的计算机设备结构并不构成对计算机设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
处理器301是计算机设备300的控制中心，利用各种接口和线路连接整个计算机设备300的各个部分，通过运行或加载存储在存储器302内的软件程序和/或模块，以及调用存储在存储器302内的数据，执行计算机设备300的各种功能和处理数据，从而对计算机设备300进行整体监控。
在本申请实施例中，计算机设备300中的处理器301会按照如下的步骤，将一个或一个以上的应用程序的进程对应的指令加载到存储器302中，并由处理器301来运行存储在存储器302中的应用程序，从而实现各种功能：
获取第一分辨率的待处理图像，所述待处理图像的格式为YUV通道格式；
获取所述待处理图像的待处理亮度通道图以及待处理色度通道图，其中，所述待处理亮度通道图的分辨率为第一分辨率，所述待处理色度通道图的分辨率为第一分辨率；
对所述待处理亮度通道图进行超分辨率重建处理，生成目标亮度通道图，其中，所述超分辨率重建处理包括对所述待处理亮度通道图进行通道转换处理和/或图像特征提取处理；
根据指定放大参数对所述待处理色度通道图进行处理，得到目标色度通道图，其中，所述目标色度通道图的分辨率为所述目标分辨率；
基于所述目标亮度通道图以及所述目标色度通道图生成目标图像。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
可选的，如图14所示，计算机设备300还包括：触控显示屏303、射频电路304、音频电路305、输入单元306以及电源307。其中，处理器301分别与触控显示屏303、射频电路304、音频电路305、输入单元306以及电源307电性连接。本领域技术人员可以理解，图14中示出的计算机设备结构并不构成对计算机设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
触控显示屏303可用于显示图形用户界面以及接收用户作用于图形用户界面产生的操作指令。触控显示屏303可以包括显示面板和触控面板。其中，显示面板可用于显示由用户输入的信息或提供给用户的信息以及计算机设备的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。可选的，可以采用液晶显示器(LCD，Liquid Crystal Display)、有机发光二极管(OLED，Organic Light-EmittingDiode)等形式来配置显示面板。触控面板可用于收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板上或在触控面板附近的操作)，并生成相应的操作指令，且操作指令执行对应程序。可选的，触控面板可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器301，并能接收处理器301发来的命令并加以执行。触控面板可覆盖显示面板，当触控面板检测到在其上或附近的触摸操作后，传送给处理器301以确定触摸事件的类型，随后处理器301根据触摸事件的类型在显示面板上提供相应的视觉输出。在本申请实施例中，可以将触控面板与显示面板集成到触控显示屏303而实现输入和输出功能。但是在某些实施例中，触控面板与触控面板可以作为两个独立的部件来实现输入和输出功能。即触控显示屏303也可以作为输入单元306的一部分实现输入功能。
在本申请实施例中，通过处理器301执行游戏应用程序在触控显示屏303上生成图形用户界面。该触控显示屏303用于呈现图形用户界面以及接收用户作用于图形用户界面产生的操作指令。
射频电路304可用于收发射频信号，以通过无线通信与网络设备或其他计算机设备建立无线通讯，与网络设备或其他计算机设备之间收发信号。
音频电路305可以用于通过扬声器、传声器提供用户与计算机设备之间的音频接口。音频电路305可将接收到的音频数据转换后的电信号，传输到扬声器，由扬声器转换为声音信号输出；另一方面，传声器将收集的声音信号转换为电信号，由音频电路305接收后转换为音频数据，再将音频数据输出处理器301处理后，经射频电路304以发送给比如另一计算机设备，或者将音频数据输出至存储器302以便进一步处理。音频电路305还可能包括耳塞插孔，以提供外设耳机与计算机设备的通信。
输入单元306可用于接收输入的数字、字符信息或用户特征信息(例如指纹、虹膜、面部信息等)，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
电源307用于给计算机设备300的各个部件供电。可选的，电源307可以通过电源管理***与处理器301逻辑相连，从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。电源307还可以包括一个或一个以上的直流或交流电源、再充电***、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
尽管图14中未示出，计算机设备300还可以包括摄像头、传感器、无线保真模块、蓝牙模块等，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
由上可知，本实施例提供的计算机设备，通过获取第一分辨率的待处理图像，所述待处理图像的格式为YUV通道格式；获取所述待处理图像的待处理亮度通道图以及待处理色度通道图，其中，所述待处理亮度通道图的分辨率为第一分辨率，所述待处理色度通道图的分辨率为第一分辨率；对所述待处理亮度通道图进行超分辨率重建处理，生成目标亮度通道图，其中，所述超分辨率重建处理包括对所述待处理亮度通道图进行通道转换处理和/或图像特征提取处理；根据指定放大参数对所述待处理色度通道图进行处理，得到目标色度通道图，其中，所述目标色度通道图的分辨率为所述目标分辨率；基于所述目标亮度通道图以及所述目标色度通道图生成目标图像。本申请实施例通过预先构建一精简的超分辨率重建模型，该超分辨率重建模型可以将输入的低分辨率图像快速放大分辨率以得到高分辨率图像，能够提升超分辨率重建的重建速度，提高了画面显示质量。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一存储介质中，并由处理器进行加载和执行。
为此，本申请实施例提供一种存储介质，其中存储有多条计算机程序，该计算机程序能够被处理器进行加载，以执行本申请实施例所提供的任一种图像处理方法中的步骤。例如，该计算机程序可以执行如下步骤：
获取第一分辨率的待处理图像，所述待处理图像的格式为YUV通道格式；
获取所述待处理图像的待处理亮度通道图以及待处理色度通道图，其中，所述待处理亮度通道图的分辨率为第一分辨率，所述待处理色度通道图的分辨率为第一分辨率；
对所述待处理亮度通道图进行超分辨率重建处理，生成目标亮度通道图，其中，所述超分辨率重建处理包括对所述待处理亮度通道图进行通道转换处理和/或图像特征提取处理；
根据指定放大参数对所述待处理色度通道图进行处理，得到目标色度通道图，其中，所述目标色度通道图的分辨率为所述目标分辨率；
基于所述目标亮度通道图以及所述目标色度通道图生成目标图像。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
其中，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。
由于该存储介质中所存储的计算机程序，可以执行本申请实施例所提供的任一种图像处理方法中的步骤，因此，可以实现本申请实施例所提供的任一种图像处理方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
以上对本申请实施例所提供的一种图像处理方法、装置、计算机设备及存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的技术方案及其核心思想；本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例的技术方案的范围。
Claims (18)
1.一种图像处理方法，其特征在于，包括：
获取第一分辨率的待处理图像，所述待处理图像的格式为YUV通道格式；
获取所述待处理图像的待处理亮度通道图以及待处理色度通道图，其中，所述待处理亮度通道图的分辨率为第一分辨率，所述待处理色度通道图的分辨率为第一分辨率；
对所述待处理亮度通道图进行超分辨率重建处理，生成目标亮度通道图，其中，所述超分辨率重建处理包括对所述待处理亮度通道图进行通道转换处理和/或图像特征提取处理，所述目标亮度通道图的分辨率为第二分辨率，所述第二分辨率高于所述第一分辨率；
根据指定放大参数对所述待处理色度通道图进行处理，得到目标色度通道图，其中，所述目标色度通道图的分辨率为所述第二分辨率；
基于所述目标亮度通道图以及所述目标色度通道图生成目标图像。
2.根据权利要求1所述的方法，其特征在于，在对所述待处理亮度通道图进行超分辨率重建处理之前，还包括：
将所述待处理亮度通道图输入归一化层进行归一化处理，得到第一亮度通道图；
对所述第一亮度通道图进行超分辨率重建处理，生成目标亮度通道图。
3.根据权利要求2所述的方法，其特征在于，所述对所述第一亮度通道图进行超分辨率重建处理，生成目标亮度通道图，包括：
将所述第一亮度通道图输入线性插值层，得到第二亮度通道图，并将所述第一亮度通道图输入第一通道转换卷积层进行通道转换处理，得到第三亮度通道图，其中，所述第一亮度通道图的第一通道数值与所述第二亮度通道图的第二通道数值一致，所述第三亮度通道图的第三通道数值基于所述第一通道转换卷积层的第一权重确定，所述第三通道数值大于所述第一通道数值；
将所述第三亮度通道图输入至少一个特征提取卷积层进行图像特征提取处理，得到第四亮度通道图，其中，所述第四亮度通道图的第四通道数值与所述第三通道数值一致；
将所述第四亮度通道图输入第二通道转换卷积层进行通道转换处理，得到第五亮度通道图，其中，所述第五亮度通道图的第五通道数值小于所述第四通道数值，所述第五通道数值基于所述第二通道转换卷积层的第二权重确定；
将所述第四亮度通道图输入像素重组层，得到第五亮度通道图；
基于所述第二亮度通道图和所述第五亮度通道图生成目标亮度通道图。
4.根据权利要求3所述的方法，其特征在于，所述将所述第三亮度通道图输入至少一个特征提取卷积层进行图像特征提取处理，得到第四亮度通道图，包括：
将所述第三亮度通道图输入至少一个特征提取卷积层进行图像特征提取处理，得到待叠加亮度通道图；
基于所述待叠加亮度通道图和所述第三亮度通道图生成第四亮度通道图。
5.根据权利要求3所述的方法，其特征在于，在将所述第一亮度通道图输入线性插值层之后，在将所述第一亮度通道图输入第一通道转换卷积层进行通道转换处理之前，包括：
将所述第一亮度通道图和第一指定参数输入像素拆分层进行处理，得到第一亮度特征图集合，其中，所述第一亮度特征图集合中包括第一指定数量的亮度特征图；
将所述第一亮度特征图集合中所有亮度特征图输入第一通道转换卷积层进行通道转换处理，生成第一待处理亮度特征图集合，其中，所述第一待处理亮度特征图集合包括多张第三亮度通道图。
6.根据权利要求5所述的方法，其特征在于，在将所述第一亮度特征图集合中所有亮度特征图输入第一通道转换卷积层进行通道转换处理，生成第一待处理亮度特征图集合，包括：
将所述第一待处理亮度特征图集合中所有第三亮度通道图输入至少一个特征提取卷积层进行图像特征提取处理，得到待叠加亮度通道图；
基于所述待叠加亮度通道图和与所述待叠加亮度通道图对应的第三亮度通道图生成第四亮度通道图。
7.根据权利要求5所述的方法，其特征在于，所述特征提取卷积层包括第一特征提取卷积层、第二特征提取卷积层以及第三特征提取卷积层，其中，所述第一特征提取卷积层的权重、所述第二特征提取卷积层的权重以及所述第三特征提取卷积层的权重均相同；
在将所述第一亮度特征图集合中所有亮度特征图输入第一通道转换卷积层进行通道转换处理之后，还包括：
将所述第三亮度通道图依次输入所述第一特征提取卷积层、所述第二特征提取卷积层以及所述第三特征提取卷积层，生成第二待处理亮度特征图集合，其中，所述第二待处理亮度特征图集合包括多张第四亮度通道图。
8.根据权利要求5所述的方法，其特征在于，在将所述第一亮度特征图集合中所有亮度特征图输入第一通道转换卷积层进行通道转换处理，生成第一待处理亮度特征图集合之后，还包括：
将所述第一待处理亮度特征图集合输入第二通道转换卷积层进行通道转换处理，得到第三待处理亮度特征图集合，其中，所述第三待处理亮度特征图集合包括多张第六亮度通道图，所述第六亮度通道图的第六通道数值与所述第三通道数值相同；
将所述第三待处理亮度特征图集合输入像素重组层，得到重组亮度通道图；
基于所述第二亮度通道图和所述重组亮度通道图生成目标亮度通道图。
9.根据权利要求5所述的方法，其特征在于，还包括：
采用样本集对第一预设网络结构进行训练，得到训练好的第一预设网络结构以及第一目标参数，其中，所述第一预设网络结构由第一预设卷积层和第二预设卷积层组成；
基于所述第一预设网络结构和第一目标参数生成第一通道转换卷积层。
10.根据权利要求3所述的方法，其特征在于，所述基于所述第二亮度通道图和所述第五亮度通道图生成目标亮度通道图，包括：
将所述第二亮度通道图和所述第五亮度通道图进行融合处理，以得到目标合并亮度通道图；
对所述目标合并亮度通道图进行反归一化处理，生成目标亮度通道图。
11.根据权利要求1所述的方法，其特征在于，在获取第一分辨率的待处理图像之前，还包括：
向服务器发送图像获取请求；
接收所述服务器返回的待解压图像，其中，所述待解压图像为所述服务器将指定图像进行压缩处理得到的图像，所述指定图像为所述服务器针对所述图像获取请求渲染出的图像，所述指定图像的分辨率为第一分辨率；
将所述待解压图像进行解压处理，得到待处理图像。
12.根据权利要求1所述的方法，其特征在于，在获取第一分辨率的待处理图像之前，还包括：
获取画面显示指令，根据所述画面显示指令指示游戏引擎渲染出的待处理图像，所述待处理图像的分辨率为第一分辨率；
当检测模拟器检测到所述游戏引擎中触发画面显示指令时，所述模拟器从所述游戏引擎中获取所述游戏引擎渲染出的待处理图像。
13.根据权利要求1任一项所述的方法，其特征在于，在获取第一分辨率的待处理图像之后，还包括：
判断所述待处理图像的格式是否为YUV通道格式；
若是，则获取所述待处理图像的待处理亮度通道图以及待处理色度通道图；
若否，则将所述待处理图像的当前格式转换为YUV通道格式。
14.根据权利要求1所述的方法，其特征在于，所述根据指定放大参数对所述待处理色度通道图进行处理，得到目标色度通道图，包括：
根据所述指定放大参数对所述待处理色度通道图进行线性插值处理，得到目标色度通道图；
基于所述目标亮度通道图以及所述目标色度通道图生成目标图像。
15.根据权利要求14所述的方法，其特征在于，所述基于所述目标亮度通道图以及所述目标色度通道图生成目标图像，包括：
将所述目标亮度通道图以及所述目标色度通道图进行图像叠加处理，得到待转换图像；
将所述待转换图像的格式转换为RGB通道格式，得到目标图像。
16.一种图像处理装置，其特征在于，包括：
第一获取单元，用于获取第一分辨率的待处理图像，所述待处理图像的格式为YUV通道格式；
第二获取单元，用于获取所述待处理图像的待处理亮度通道图以及待处理色度通道图，其中，所述待处理亮度通道图的分辨率为第一分辨率，所述待处理色度通道图的分辨率为第一分辨率；
第一生成单元，用于对所述待处理亮度通道图进行超分辨率重建处理，生成目标亮度通道图，其中，所述超分辨率重建处理包括对所述待处理亮度通道图进行通道转换处理和/或图像特征提取处理；
处理单元，单元根据指定放大参数对所述待处理色度通道图进行处理，得到目标色度通道图，其中，所述目标色度通道图的分辨率为所述目标分辨率；
第二生成单元，用于基于所述目标亮度通道图以及所述目标色度通道图生成目标图像。
17.一种计算机设备，其特征在于，包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至15中任一项所述的图像处理方法的步骤。
18.一种存储介质，其特征在于，所述存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1至15中任一项所述的图像处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111523337.7A CN114240749A (zh) | 2021-12-13 | 2021-12-13 | 图像处理方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111523337.7A CN114240749A (zh) | 2021-12-13 | 2021-12-13 | 图像处理方法、装置、计算机设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114240749A true CN114240749A (zh) | 2022-03-25 |
Family
ID=80755570
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111523337.7A Pending CN114240749A (zh) | 2021-12-13 | 2021-12-13 | 图像处理方法、装置、计算机设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114240749A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114782250A (zh) * | 2022-04-24 | 2022-07-22 | 中国工商银行股份有限公司 | 视频图像处理方法、装置、电子设备及存储介质 |
| WO2023045649A1 (zh) * | 2021-09-26 | 2023-03-30 | 腾讯科技（深圳）有限公司 | 视频帧播放方法、装置、设备、存储介质及程序产品 |
| CN116416134A (zh) * | 2023-04-04 | 2023-07-11 | 阿里巴巴（中国）有限公司 | 图像超分处理方法、***、设备、存储介质和程序产品 |
| CN116681788A (zh) * | 2023-06-02 | 2023-09-01 | 萱闱(北京)生物科技有限公司 | 图像电子染色方法、装置、介质和计算设备 |
-
2021
- 2021-12-13 CN CN202111523337.7A patent/CN114240749A/zh active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023045649A1 (zh) * | 2021-09-26 | 2023-03-30 | 腾讯科技（深圳）有限公司 | 视频帧播放方法、装置、设备、存储介质及程序产品 |
| CN114782250A (zh) * | 2022-04-24 | 2022-07-22 | 中国工商银行股份有限公司 | 视频图像处理方法、装置、电子设备及存储介质 |
| CN116416134A (zh) * | 2023-04-04 | 2023-07-11 | 阿里巴巴（中国）有限公司 | 图像超分处理方法、***、设备、存储介质和程序产品 |
| CN116681788A (zh) * | 2023-06-02 | 2023-09-01 | 萱闱(北京)生物科技有限公司 | 图像电子染色方法、装置、介质和计算设备 |
| CN116681788B (zh) * | 2023-06-02 | 2024-04-02 | 萱闱(北京)生物科技有限公司 | 图像电子染色方法、装置、介质和计算设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114240749A (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
| WO2021233008A1 (zh) | 一种超分辨率重建方法和相关装置 | |
| CN111681167B (zh) | 画质调整方法和装置、存储介质及电子设备 | |
| CN110136066B (zh) | 面向视频的超分辨率方法、装置、设备和存储介质 | |
| CN112991203B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| EP3920131A1 (en) | Re-projecting flat projections of pictures of panoramic video for rendering by application | |
| CN112788235B (zh) | 图像处理方法、装置、终端设备及计算机可读取存储介质 | |
| US11538136B2 (en) | System and method to process images of a video stream | |
| CN112138386A (zh) | 一种体积渲染方法、装置、存储介质及计算机设备 | |
| CN112799891B (zh) | iOS设备测试方法、装置、***、存储介质及计算机设备 | |
| CN111932463B (zh) | 图像处理方法、装置、设备及存储介质 | |
| WO2023284401A1 (zh) | 图像美颜处理方法、装置、存储介质与电子设备 | |
| CN111539353A (zh) | 一种图像场景识别方法及装置、计算机设备以及存储介质 | |
| CN110782387B (zh) | 图像处理方法、装置、图像处理器及电子设备 | |
| CN113645476B (zh) | 画面处理方法、装置、电子设备及存储介质 | |
| CN113018856A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| WO2021258530A1 (zh) | 图像分辨率处理方法、装置、设备及可读存储介质 | |
| CN113822803A (zh) | 图像超分处理方法、装置、设备及计算机可读存储介质 | |
| CN112053416B (zh) | 图像处理方法、装置、存储介质及计算机设备 | |
| JP6309004B2 (ja) | ビデオ会議環境のためのビデオ表示変更 | |
| CN113361490B (zh) | 图像生成、网络训练方法、装置、计算机设备和存储介质 | |
| CN110415187B (zh) | 图像处理方法及图像处理*** | |
| CN114782250A (zh) | 视频图像处理方法、装置、电子设备及存储介质 | |
| CN107872683A (zh) | 一种视频数据处理方法、装置、设备及存储介质 | |
| US11948275B2 (en) | Video bandwidth optimization within a video communications platform |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |