CN113362224A - 图像处理方法、装置、电子设备及可读存储介质 - Google Patents
图像处理方法、装置、电子设备及可读存储介质 Download PDFInfo
- Publication number
- CN113362224A CN113362224A CN202110604628.2A CN202110604628A CN113362224A CN 113362224 A CN113362224 A CN 113362224A CN 202110604628 A CN202110604628 A CN 202110604628A CN 113362224 A CN113362224 A CN 113362224A
- Authority
- CN
- China
- Prior art keywords
- image
- image frames
- target
- image frame
- frames
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 28
- 238000012545 processing Methods 0.000 claims abstract description 156
- 238000000034 method Methods 0.000 claims abstract description 48
- 238000006243 chemical reaction Methods 0.000 claims abstract description 18
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 9
- 238000012549 training Methods 0.000 claims description 53
- 238000013527 convolutional neural network Methods 0.000 claims description 31
- 238000000605 extraction Methods 0.000 claims description 25
- 239000000284 extract Substances 0.000 claims description 19
- 230000015556 catabolic process Effects 0.000 claims description 16
- 238000006731 degradation reaction Methods 0.000 claims description 16
- 230000015572 biosynthetic process Effects 0.000 claims description 6
- 238000003786 synthesis reaction Methods 0.000 claims description 5
- 238000004891 communication Methods 0.000 abstract description 7
- 230000000694 effects Effects 0.000 description 8
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000013461 design Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000004927 fusion Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
- G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种图像处理方法、装置、电子设备及可读存储介质，属于通信技术领域。该方法包括：提取N个第一图像帧中M个相邻的第一图像帧作为一个第二图像帧，得到N个第二图像帧；N和M均为正整数、且M小于N；将目标第二图像帧进行通道转换，并提取转换后的图像帧的深度特征，目标第二图像帧为N个第二图像帧中的任一个；基于换后的图像帧的深度特征，生成第三图像帧，一个第二图像帧对应一个第三图像帧；根据N个第一图像帧的时序，将N个第三图像帧合成为第二视频；其中，每个第一图像帧均包括一个对应第三图像帧；第三图像帧的分辨率高于第一图像帧。
Description
技术领域
本申请实施例涉及通信技术领域，尤其涉及一种图像处理方法、装置、电子设备及可读存储介质。
背景技术
随着互联网和多媒体技术的快速发展，视频作为一种重要的多媒体信息载体形式在实际生活中得到了越来越广泛的应用。
为了提高视频的清晰度，在相关技术中，通常采用超分辨率技术对视频进行处理。但相关技术主要基于服务器端GPU的强大算力，将服务器上存储的低分辨率视频转换为高分辨率视频，供用户观看。
然而，上述提升视频清晰度的方法，只能用在具有强大GPU算力的电子设备上，对于图像处理能力较低的移动终端，无法采用上述方法。
发明内容
本申请实施例的目的是提供一种图像处理方法、装置、电子设备及可读存储介质，能够解决图像处理能力较低的电子设备，无法提升播放视频清晰度的问题。
为了解决上述技术问题，本申请是这样实现的：
第一方面，本申请实施例提供一种图像处理方法，该方法包括：提取N个第一图像帧中M个相邻的第一图像帧作为一个第二图像帧，得到N个第二图像帧；N和M均为正整数、且M小于N；将目标第二图像帧进行通道转换，并提取转换后的图像帧的深度特征，目标第二图像帧为N个第二图像帧中的任一个；基于换后的图像帧的深度特征，生成第三图像帧，一个第二图像帧对应一个第三图像帧；根据N个第一图像帧的时序，将N个第三图像帧合成为第二视频；其中，每个第一图像帧均包括一个对应第三图像帧；第三图像帧的分辨率高于第一图像帧。
第二方面，本申请实施例还提供了一种图像处理装置，该装置包括：提取模块、处理模块、生成模块和合成模块；提取模块，用于提取N个第一图像帧中M个相邻的第一图像帧作为一个第二图像帧，得到N个第二图像帧；N和M均为正整数、且M小于N；处理模块，用于将提取模块提取的目标第二图像帧进行通道转换，并提取转换后的图像帧的深度特征，目标第二图像帧为N个第二图像帧中的任一个；生成模块，用于基于处理模块换后的图像帧的深度特征，生成第三图像帧，一个第二图像帧对应一个第三图像帧；合成模块，用于根据提取模块提取的N个第一图像帧的时序，将生成模块生成的N个第三图像帧合成为第二视频；其中，每个第一图像帧均包括一个对应第三图像帧；第三图像帧的分辨率高于第一图像帧。
第三方面，本申请实施例提供了一种电子设备，包括处理器、存储器及存储在该存储器上并可在该处理器上运行的程序或指令，该程序或指令被该处理器执行时实现如第一方面所述的图像处理方法的步骤。
第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。
在本申请实施例中，在用户使用电子设备播放视频时，通过提取N个第一图像帧中M个相邻的第一图像帧作为一个第二图像帧，得到N个第二图像帧；之后，将N个第二图像帧中的每个第二图像帧分别进行通道转换，并提取转换后的图像帧的深度特征，将原视频的图像帧进行超分辨率处理，得到清晰度较高的图像帧，最后将分辨率较高的图像帧按照其原始低分辨率图像帧的时序，合成高分辨率视频。使得图像处理能力较低的电子设备能够利用该目标模型对清晰度较低的视频进行超分辨率处理，并实时播放处理后的视频，极大的提高了图像处理能力较低的电子设备的视频超分辨率处理能力。
附图说明
图1是本申请实施例提供的一种图像处理方法流程示意图；
图2是本申请实施例提供的一种图像处理方法所应用的模型结构示意图；
图3是本申请实施例提供的一种图像处理装置结构示意图；
图4是本申请实施例提供的一种电子设备的结构示意图之一；
图5是本申请实施例提供的一种电子设备的结构示意图之二。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
本申请实施例提供的图像处理方法可以应用于在图像处理能力较低的电子设备上提升视频的清晰度的场景中。
示例性的，针对在图像处理能力较低的电子设备上提升视频的清晰度的场景，以上述图像处理能力较低的电子设备为移动终端为例，在相关技术中，由于受限于移动终端的存储空间大小，移动终端拍摄的视频的分辨率通常较低，清晰度较差，现有的超分辨率技术可以将分辨率较低的视频转换为分辨率较高的视频，依次来提升视频的清晰度。但受限于移动终端的存储空间，无法在移动终端上直接存储分辨率较高的视频，若想要移动终端能够播放高分辨率视频，且视频占用的存储空间也比较小，则需要移动终端在播放视频的同时，实时将低分辨率视频转换为高分辨视频。然而，现有的移动终端还无法实现上述操作。
针对这一问题，在本申请实施例提供的技术方案中，提供了一种深度模型，该模型采用早期融合、窄而深的网络设计、快速上采样等方式极大地降低现有模型的计算量，并通过优化模型结构，使得深度模型可以在图像处理能力较低的电子设备上达到对360p视频进行实时超分辨率的效果，极大的提高了播放视频的清晰度。
下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的图像处理方法进行详细地说明。
如图1所示，本申请实施例提供的一种图像处理方法，该方法可以包括下述步骤201至步骤204：
步骤201、图像处理装置提取N个第一图像帧中M个相邻的第一图像帧作为一个第二图像帧，得到N个第二图像帧。
其中，N和M均为正整数、且M小于N。
示例性地，上述N个第一图像帧为第一视频的图像帧，该第一视频可以是电子设备中存储的视频，也可以是电子设备获取的网络流媒体视频。
示例性地，图像处理装置在获取到上述第一视频后，提取视频中的图像帧。图像处理装置可以提取第一视频中的所有图像帧，也可以提取将要或正在播放的图像帧。
在一种可能的实现方式中，图像处理装置可以在用户使用电子设备播放视频时，提取当前播放的图像帧，并对该图像帧处理后，输出到电子设备的屏幕上，实现对视频的实时超分辨率处理。
步骤202、图像处理装置将目标第二图像帧进行通道转换，并提取转换后的图像帧的深度特征。
其中，目标第二图像帧为N个第二图像帧中的任一个。
示例性地，上述N个第二图像帧中的每个图像帧均以一个第一图像帧为基准图像帧，并以该基准图像帧以及该基准帧的前后相邻的预设数量的图像帧作为一个第二图像帧。即一个第一图像帧对应一个第二图像帧。
示例性地，为了能够提取第二图像帧的图像细节特征，图像处理装置将包含有M个连续的第一图像帧的第二图像帧进行通道转换。例如，图像处理装置可以将三通道(例如，(red green blue，RGB)红绿蓝通道)的第二图像帧转换为具有更多通道的图像帧。
可选地，在一种可能的实现方式中，为了降低图像处理装置的计算复杂度，提升计算效率，上述步骤202还可以包括以下步骤202a：
步骤202a、图像处理装置将上述目标第二图像帧转换为八通道图像帧。
步骤203、图像处理装置基于换后的图像帧的深度特征，生成第三图像帧。
其中，一个第二图像帧对应一个第三图像帧，即一个第二图像帧经过处理后，可以生成一个第三图像帧。
示例性地，图像处理装置在将第二图像帧转换为更多通道的图像帧之后，为了能够进一步对该多通道图像帧进行处理，得到清晰度较高的图像帧，图像处理装置可以提取多通道图像帧的深度特征，之后，基于该深度特征，生成清晰度较高的第三图像帧。
需要说明的是，图像处理装置需要将N个第二图像帧中的每个图像帧均按照上述步骤202和步骤203中的方法进行处理，得到N个清晰度较高的第三图像帧。
步骤204、图像处理装置根据上述N个第一图像帧的时序，将N个第三图像帧合成为第二视频。
示例性地，由于一个第一图像帧对应一个第二图像帧，一个第二图像帧经过处理后可以得到一个第三图像帧，因此，一个第三图像帧可以对应一个第一图像帧。图像处理装置在得到N个第三图像帧之后，可以基于与每个第三图像帧对应的第一图像帧或第二图像帧的时序，调整N个第三图像帧的顺序，并合成第二视频。
示例性地，图像处理装置处理后的图像帧的清晰度高于第一视频中该图像帧处理前的清晰度，即上述第图像帧的分辨率高于上述第一图像帧。处理前的图像帧与处理后的图像帧一一对应。
可以理解的是，为了保证视频播放的连续性，图像处理装置可以按照第一视频中每个图像帧的时序，依次对每个图像帧进行超分辨率处理，得到具有与N个第一图像帧的时序相同的N个第二图像帧，使得图像处理装置在播放视频时，能够保证视频内容的连续性。
示例性地，图像处理装置处理后的图像帧的清晰度高于第一视频中该图像帧处理前的清晰度，即上述第三图像帧的分辨率高于上述第一图像帧。处理前的图像帧与处理后的图像帧一一对应。
示例性地，图像处理装置在得到具有与N个第一图像帧的时序相同的N个第三图像帧之后，将上述N个第三图像帧合成为视频，输出到电子设备的屏幕上，供用户观看。
如此，在用户使用电子设备播放视频时，通过提取N个第一图像帧中M个相邻的第一图像帧作为一个第二图像帧，得到N个第二图像帧；之后，将N个第二图像帧中的每个第二图像帧分别进行通道转换，并提取转换后的图像帧的深度特征，将原视频的图像帧进行超分辨率处理，得到清晰度较高的图像帧，最后将分辨率较高的图像帧按照其原始低分辨率图像帧的时序，合成高分辨率视频。使得图像处理能力较低的电子设备能够利用该目标模型对清晰度较低的视频进行超分辨率处理，并实时播放处理后的视频，极大的提高了图像处理能力较低的电子设备的视频超分辨率处理能力。
可选地，在本申请实施例中，上述步骤202及步骤203可以基于目标模型来对第二图像帧进行处理，从而得到第三图像帧。
示例性地，上述第三图像帧为所述第二图像帧基于目标模型得到的。
示例性地，上述步骤202和步骤203可以包括以下步骤202b1和步骤202b2：
步骤202b1、图像处理装置通过目标模型将目标第二图像帧进行通道转换，并提取转换后的图像帧的深度特征。
步骤202b2、图像处理装置通过所述目标模型，根据所述换后的图像帧的深度特征，生成第三图像帧。
示例性地，为了能够减少模型在处理超分辨率视频时的运算量，提升模型的泛化能力，本申请实施例提供的目标模型相比于相关技术中的视频超分辨率模型，具有模型复杂度较低、模型的训练策略轻量化、模型的泛化性能较高等特点。
示例性地，上述目标模型为目标卷积神经网络训练后得到的模型。其中，该目标卷积神经网络包括输入层、特征提取层和输出层。
示例性地，上述输入层包括8个卷积核，用于将输入的图像帧从三通道图像转换为八通道图像。上述特征提取层包括16个残差块，用于提取输入层转换后的图像帧的深度特征。上述输出层用于生成高分辨率图像。
示例性地，图像处理装置在提取到第一视频的N个低分辨率第二图像帧之后，以每个第二图像帧中的M个第一图像帧作为目标模型的一个输入。目标模型将上述M个第一图像帧转换为八通道特征图，之后，目标模型提取该特征图的深度特征，并基于该深度特征将上述特征图还原成高分辨率三通道图像，即上述第三图像帧。
需要说明的是，对上述卷积神经网络进行训练，得到目标模型的训练过程可以设置与运算能力较强的电子设备中，例如，服务器或个人计算机(personal computer，PC)中。之后，可以将上述训练好的目标模型设置于处理能力较低的电子设备中，使用训练好的模型对视频进行超分辨率处理，例如，移动终端。当然，上述训练过程也可以位于处理能力较低的电子设备中，本申请对此不作限定。
可选地，在本申请实施例中，使用上述目标模型处理视频之前，需要对苗木表卷积神经网络模型进行训练，并得到符合要求的目标模型。
示例性地，训练上述目标卷积神经网络模型之前，需要创建用于训练该目标卷积神经网络模型的训练样本集。因此，在上述步骤202之前，本申请实施例提供的图像处理方法，还可以包括以下步骤205a1至步骤205a4：
步骤205a1、图像处理装置从包含有多个高清视频的训练样本集的目标视频中提取M个高分辨率图像帧。
其中，目标视频为所述训练样本集中的至少一个样本。
示例性地，图像处理装置可以从上述多个高清视频的训练样本集中选择一个或多个高清视频，并对选择的高清视频进行拆分，提取每一帧高清图像帧。之后，从提取的高清图像帧中选择M个连续图像帧作为一组图像帧，并得到多组图像帧。
示例性地，本申请实施例使用vimeo90K数据集中的视频作为原始视频，并在pytorch环境中训练模型。
示例性地，图像处理装置在获取到上述目标视频之后，先使用视频处理工具将其解码，拆分成帧序列，转换成目标神经网络模型可识别的数据格式作为输入数据。
步骤205a2、图像处理装置对所述M个高分辨率图像帧进行退化处理，得到M个低分辨率图像帧。
其中，一个高分辨率图像帧对应一个低分辨率图像帧。
示例性地，上述卷积神经网络模型可以对上述M个低分辨率图像帧进行处理，得到分辨率较高的图像帧，并与上述M个高分辨率图像帧进行对比，之后，可以基于该对比结果，通过反向算法对卷积神经网络进行迭代。每次迭代过程都会对卷积神经网络模型的参数进行调整优化。
步骤205a3、图像处理装置将上述M个高分辨率图像帧和所述M个低分辨率图像帧作为一组第四图像帧，生成K组第四图像帧。
示例性地，图像处理装置将目标视频拆分成帧序列后，得到M个高分辨率图像帧。之后，对该M个高分辨率图像帧进行退化处理，得到M个低分辨率图像帧。如此，M个低分辨率图像帧加上之前的M个高分辨率图像帧组成一组第四图像帧，共得到K组第四图像帧。
其中，上述K组第四图像帧的每组第四图像帧均包括M个高分辨率图像帧和M个低分辨率图像帧，K和M均为正整数。
可以理解的是，由于原始视频为高分辨率视频，因此，需要在保留上述M个高分辨率图像帧之外，将该M个高分辨率图像帧做图像退化处理，得到分辨率较低的M个低分辨率图像帧。并将M个高分辨率图像帧与M个低分辨率图像帧配对作为一个训练样本加入训练样本集。
示例性地，图像处理装置在获取到由上述K组第四图像帧生成的训练样本集之后，可以使用该训练样本集对上述目标卷积神经网络模型进行训练，并得到目标模型。
步骤205a4、图像处理装置将上述K组第四图像帧作为训练集对目标卷积神经网络模型进行训练，得到所述目标模型。
示例性地，图像处理装置在基于上述步骤206a1至步骤206a3中的方法得到包含K组第四图像帧的训练集之后，使用该训练集训练经过结构优化后的目标卷积神经网络模型，并在迭代预设次数后得到上述目标模型。
示例性地，图像处理装置可以基于以下步骤来训练目标神经网络模型。具体地，上述步骤205a4，本申请实施例提供的图像处理方法还可以包括以下步骤206a1至步骤206a3：
步骤206a1、图像处理装置将目标低分辨率图像帧中的K个低分辨率图像帧转化为第一目标图像。
其中，上述第一目标图像包括：一个八通道图像，上述目标低分辨率图像帧为K组第四图像帧中的任一组。
示例性地，上述第四图像帧可以为三通道(RGB通道)图像帧，此时，图像处理装置将上述K个低分辨率图像帧从三通道图像帧转换为八通道图像帧。
步骤206a2、图像处理装置提取上述第一目标图像的深度特征。
示例性地，图像处理装置可以通过上述特征提取层提取上述第一目标图像的深度特征。
步骤206a3、图像处理装置基于上述深度特征，生成第二目标图像。
示例性地，图像处理装置通过上述目标模型的输出层生成该第二目标图像。该输出层包括一层卷积和一层亚像素层，该输出层可以将特征提取层提取的特征图转换为三通道高清图像。
示例性地，与上述目标图像帧中的M个低分辨率图像帧对应的M个高分辨率图像帧，用于验证上述第二目标图像；上述目标图像帧中的M个低分辨率图像帧为：与上述目标图像帧中的M个低分辨率图像帧对应的M个高分辨率图像帧经过图像退化处理后的图像帧。
示例性地，上述M个高分辨率图像帧可以为上述原始视频中的相邻的M个图像帧。
举例说明，对于上述vimeo90K数据集中的某个视频，图像处理装置可以提取该视频中每7个连续的图像帧，并将该7个图像帧合成短视频。之后，对该短视频执行图像退化处理，生成退化后的低分辨率视频。进一步地，拆分该低分辨率视频，得到7个低分辨率图像帧。同时，图像处理装置还可以直接拆分该短视频，得到7个高分辨率图像帧。
需要说明的是，图像在形成、记录、处理和传输过程中，由于成像***、记录设备、传输介质和处理方法的不完善，导致图像质量的下降，这种现象叫做图像退化。本申请实施例上述图像退化操作是为了得到M个低分辨率图像帧。
示例性地，经过上述处理得到K组第四图像帧之后，采用上述K组第四图像帧对进行了结构优化的卷积神经网络模型进行训练。
如图2所示，上述进行了结构优化的目标卷积神经网络模型的结构包括：图像处理装置输入的低分辨率图像先通过一层卷积31，将7个三通道的图像30转换成一个八通道图像。之后，该八通道图像逐步通过16个残差块32(残差块1至16)，每个残差块内部均由一层3x3卷积、一层Relu激活层和一层3x3卷积堆叠而成，卷积保持通道数不变，残差块将输入值加入到末尾的输出，以此提取出输入的图像的深度特征。最后，通过一层卷积33和一层亚像素卷积层34，输出三通道高分辨率图像34。
需要说明的是，输入目标卷积神经网络模型的图像为三通道图像，上述卷积31包括8个卷积核，该三通道图像通过8个卷积核之后，被转换为八通道图像。
示例性地，在模型的训练过程中，还可以使用优化器对模型进行优化，上述步骤202之前，本申请实施例提供的图像处理方法还可以包括步骤204a：
步骤204a、图像处理装置对目标卷积神经网络进行迭代，更新所述目标卷积神经网络的模型参数，并在迭代预设次数后，得到所述目标模型。
示例性地，图像处理装置可以使用反向传播算法对该目标卷积神经网络进行迭代。
示例性地，上述训练过程使用adam优化器进行优化，优化器的参数采用默认值，逐次输入训练数据并进行反向传播，更新模型参数。并在迭代200万次后，停止训练，保存模型参数，得到上述目标模型。
示例性地，为了方便理解，现对上述目标模型如何降低处理图像时的运算量进行说明。以生成4倍超分辨率图像为例，输入的图像帧1为3*H*W，其中，3为图像帧的通道数，H和W分别为图像帧的高(high)和宽(width)。
对于输入层：图像帧1经过输入层处理后，由7帧3*H*W的图像拼接为21*H*W的图像帧。在相关技术中，输入层通常包括64个卷积核，需要的计算量很大。
需要说明的是，在相关技术中，图像经过输入层后需要对多帧图像进行像素级对齐后再拼接，而本申请中的方法，经过8个卷积核处理后，可以直接将7帧图像帧拼接成一个图像帧，而无需像素级对齐(拼接过程也需要基于图像帧的顶点或对角进行简单对齐)。
对于特征提取层：输入层输出的21*H*W的图像帧，首先经过第一层卷积(包含8个21*H*W的卷积核)和第二层卷积(包含8个8*H*W的卷积核)，之后中间重复16个残差块(每个残差块包括2个卷积核)，最终得到一个8*H*W的图像帧。
需要说明的是，在相关技术中，由于图像处理模型通常设置在处理能力较强的电子设备上，因此，特征提取层的深度通常较浅。而本申请的特征提取层深度较深，可以在较小计算能力的情况下对图像进行特征提取。
对于输出层：特征提取层得到的8*H*W图像帧经过一个卷积操作(包括一个48*H*W的卷积核)，之后再经过一个PixelShuffle操作，得到3*4H*4W的图像帧，实现4倍超分。
需要说明的是，在相关技术中，输出层需要经过两步逐级放大操作(需要经过多个卷积核处理)将特征提取层提取到的特征图进行放大，运算量较大。而本申请中仅需要一个卷积操作，将通道数固定为48，简化了计算过程。
需要说明的是，在相关技术中，由于图像处理模型的计算复杂度较高，通常无法应用于处理能力较低的电子设备上，本申请实施例通过简化模型结构，降低模型的复杂度，并在保证处理效率的前提下，降低了模型在处理图像时需要的计算量，从而使得该模型可以应用到处理能力较低的电子设备中。
如此，经过对卷积神经网络的结构进行优化，以及对训练策略进行优化之后，可以降低模型的计算量，并提升模型的泛化性能，使得图像处理能力较低的电子设备在使用此模型后，能够具有对视频进行实时超分辨率处理的能力。
可选地，在本申请实施例中，在对目标卷积神经网络模型进行训练并得到目标模型后，图像处理能力较低的电子设备可以基于该目标模型，实时对视频进行超分辨率处理。
示例性地，图像处理装置基于第一视频的每个图像帧的时序对第一视频进行拆分后，得到N个第一图像帧。之后，图像处理装置将上述N个第一图像帧中每个第一图像帧以及与其相邻的多个第一图像帧进行组合，得到包括多个第一图像帧的第二图像帧。
举例说明，图像处理装置按照每个图像帧的时序对对第一视频拆分之后，得到N个第一图像帧，将每个图像帧以及该图像帧的前三帧和后三帧组合为一组包含有7个图像帧的组合帧作为目标模型的一个输入数据。对于第一视频的首尾部分，可以采用镜像填充的方式得到7个图像帧。例如，对于第一视频的时序为0的图像帧，可以将时序为1至3的图像帧填充到该时序为0的图像帧之前。每7个图像帧经过目标模型处理后，得到1个处理后的高分辨率图像帧。
需要说明的是，本申请实施例采用早期融合、窄而深的网络设计、快速上采样等方式，极大地降低现有模型的计算量，优化了模型结构，使得深度模型可以在移动端达到对360p视频进行实时超分辨率的效果。并且，通过对人脸、风景、食物、文字等真实场景视频的退化方式模拟，提高了模型的泛化性能，有效地增强了视频经过超分辨率后的画质。
需要说明的是，上述步骤202和步骤203的具体执行过程，可以参照目标卷积神经网络的训练过程的描述。
本申请实施例提供的图像处理方法，提供了一种深度模型，该模型采用早期融合、窄而深的网络设计、快速上采样等方式极大地降低现有模型的计算量，并通过优化模型结构，使得深度模型可以在图像处理能力较低的电子设备上达到对360p视频进行实时超分辨率的效果，极大的提高了播放视频的清晰度。
需要说明的是，本申请实施例提供的图像处理方法，执行主体可以为图像处理装置，或者该图像处理装置中的用于执行图像处理方法的控制模块。本申请实施例中以图像处理装置执行图像处理方法为例，说明本申请实施例提供的图像处理装置。
需要说明的是，本申请实施例中，上述各个方法附图所示的。图像处理方法均是以结合本申请实施例中的一个附图为例示例性的说明的。具体实现时，上述各个方法附图所示的图像处理方法还可以结合上述实施例中示意的其它可以结合的任意附图实现，此处不再赘述。
图3为实现本申请实施例提供的一种图像处理装置的可能的结构示意图，如图3所示，图像处理装置600包括：提取模块601、处理模块602、生成模块603和合成模块604；提取模块601，用于提取N个第一图像帧中M个相邻的第一图像帧作为一个第二图像帧，得到N个第二图像帧；N和M均为正整数、且M小于N；处理模块602，用于将提取模块601提取的目标第二图像帧进行通道转换，并提取转换后的图像帧的深度特征，目标第二图像帧为N个第二图像帧中的任一个；生成模块603，用于基于处理模块602换后的图像帧的深度特征，生成第三图像帧，一个第二图像帧对应一个第三图像帧；合成模块604，用于根据提取模块601提取的N个第一图像帧的时序，将生成模块603生成的N个第三图像帧合成为第二视频；其中，每个第一图像帧均包括一个对应第三图像帧；第三图像帧的分辨率高于第一图像帧。
可选地，处理模块602，具体用于将提取模块601提取的目标第二图像帧转换为八通道图像帧。
可选地，处理模块602，具体用于通过目标模型将目标第二图像帧进行通道转换，并提取转换后的图像帧的深度特征；生成模块603，具体用于通过目标模型，根据处理模块602转换后的图像帧的深度特征，生成第三图像帧。
可选地，装置600还包括：训练模块605；提取模块601，还用于从包含有多个高清视频的训练样本集的目标视频中提取M个高分辨率图像帧，目标视频为训练样本集中的至少一个样本；处理模块602，还用于对提取模块601提取的M个高分辨率图像帧进行退化处理，得到M个低分辨率图像帧，一个高分辨率图像帧对应一个低分辨率图像帧；处理模块602，还用于将M个高分辨率图像帧和M个低分辨率图像帧作为一组第四图像帧，生成K组第四图像帧；训练模块605，用于将上述处理模块生成的K组第四图像帧作为训练集对目标卷积神经网络模型进行训练，得到上述目标模型；其中，K组第四图像帧的每组图像帧均包括M个高分辨率图像帧和M个低分辨率图像帧，K和M均为正整数。
可选地，训练模块605，具体用于将目标低分辨率图像帧中的M个低分辨率图像帧由三通道图像转化为第一目标图像，第一目标图像包括：一个八通道图像；训练模块605，具体用于提取第一目标图像的深度特征；训练模块605，具体用于基于深度特征，生成第二目标图像；其中，目标低分辨率图像帧为K组第四图像帧中的任一组；与目标图像帧中的M个低分辨率图像帧对应的M个高分辨率图像帧，用于验证第二目标图像；目标图像帧中的M个低分辨率图像帧为：与目标图像帧中的M个低分辨率图像帧对应的M个高分辨率图像帧经过图像退化处理后的图像帧。
可选地，训练模块605，还用于对目标卷积神经网络进行迭代，更新目标卷积神经网络的模型参数，并在迭代预设次数后，得到目标模型。
本申请实施例中的图像处理装置可以是装置，也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personaldigital assistant，PDA)等，非移动电子设备可以为服务器、网络附属存储器(NetworkAttached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。
本申请实施例中的图像处理装置可以为具有操作***的装置。该操作***可以为安卓(Android)操作***，可以为iOS操作***，还可以为其他可能的操作***，本申请实施例不作具体限定。
本申请实施例提供的图像处理装置能够实现图1至图2的方法实施例中图像处理装置实现的各个过程，为避免重复，这里不再赘述。
本实施例中各种实现方式具有的有益效果具体可以参见上述方法实施例中相应实现方式所具有的有益效果，为避免重复，此处不再赘述。
本申请实施例提供的图像处理装置，提供了一种深度模型，该模型采用早期融合、窄而深的网络设计、快速上采样等方式极大地降低现有模型的计算量，并通过优化模型结构，使得深度模型可以在图像处理能力较低的电子设备上达到对360p视频进行实时超分辨率的效果，极大的提高了播放视频的清晰度。
可选地，如图4所示，本申请实施例还提供一种电子设备M00，包括处理器M01，存储器M02，存储在存储器M02上并可在所述处理器M01上运行的程序或指令，该程序或指令被处理器M01执行时实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
需要注意的是，本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
图5为实现本申请各个实施例的一种电子设备的硬件结构示意图。
该电子设备100包括但不限于：射频单元101、网络模块102、音频输出单元103、输入单元104、传感器105、显示单元106、用户输入单元107、接口单元108、存储器109、以及处理器110等部件。
本领域技术人员可以理解，电子设备100还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理***与处理器110逻辑相连，从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。图5中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。
其中，输入单元104，用于提取N个第一图像帧中M个相邻的第一图像帧作为一个第二图像帧，得到N个第二图像帧；N和M均为正整数、且M小于N；处理器110，用于将目标第二图像帧进行通道转换，并提取转换后的图像帧的深度特征，目标第二图像帧为N个第二图像帧中的任一个；处理器110，用于基于换后的图像帧的深度特征，生成第三图像帧，一个第二图像帧对应一个第三图像帧；处理器110，用于根据N个第一图像帧的时序，将N个第三图像帧合成为第二视频；其中，每个第一图像帧均包括一个对应第三图像帧；第三图像帧的分辨率高于第一图像帧。
如此，在用户使用电子设备播放视频时，通过提取N个第一图像帧中M个相邻的第一图像帧作为一个第二图像帧，得到N个第二图像帧；之后，将N个第二图像帧中的每个第二图像帧分别进行通道转换，并提取转换后的图像帧的深度特征，将原视频的图像帧进行超分辨率处理，得到清晰度较高的图像帧，最后将分辨率较高的图像帧按照其原始低分辨率图像帧的时序，合成高分辨率视频。使得图像处理能力较低的电子设备能够利用该目标模型对清晰度较低的视频进行超分辨率处理，并实时播放处理后的视频，极大的提高了图像处理能力较低的电子设备的视频超分辨率处理能力。
可选地，处理器110，具体用于通过目标模型将目标第二图像帧进行通道转换，并提取转换后的图像帧的深度特征；处理器110，具体用于通过目标模型，根据转换后的图像帧的深度特征，生成第三图像帧。
可选地，输入单元104，还用于从包含有多个高清视频的训练样本集的目标视频中提取M个高分辨率图像帧，目标视频为训练样本集中的至少一个样本；处理器110，还用于对提取的M个高分辨率图像帧进行退化处理，得到M个低分辨率图像帧，一个高分辨率图像帧对应一个低分辨率图像帧；处理器110，还用于将M个高分辨率图像帧和M个低分辨率图像帧作为一组第四图像帧，生成K组第四图像帧；处理器110，用于将K组第四图像帧作为训练集对目标卷积神经网络模型进行训练，得到上述目标模型；其中，K组第四图像帧的每组图像帧均包括M个高分辨率图像帧和M个低分辨率图像帧，K和M均为正整数。
可选地，处理器110，用于将目标低分辨率图像帧中的M个低分辨率图像帧由三通道图像转化为第一目标图像，第一目标图像包括：一个八通道图像；处理器110，还用于提取第一目标图像的深度特征；处理器110，还用于基于深度特征，生成第二目标图像；其中，目标低分辨率图像帧为K组第四图像帧中的任一组；与目标图像帧中的M个低分辨率图像帧对应的M个高分辨率图像帧，用于验证第二目标图像；目标图像帧中的M个低分辨率图像帧为：与目标图像帧中的M个低分辨率图像帧对应的M个高分辨率图像帧经过图像退化处理后的图像帧。
如此，经过对卷积神经网络的结构进行优化，以及对训练策略进行优化之后，可以降低模型的计算量，并提升模型的泛化性能，使得图像处理能力较低的电子设备在使用此模型后，能够具有对视频进行实时超分辨率处理的能力。
可选地，处理器110，还用于对目标卷积神经网络进行迭代，更新目标卷积神经网络的模型参数，并在迭代预设次数后，得到目标模型。
如此，采用训练好的模型可以使得图像处理能力较低的电子设备部能够实时将低分辨率视频准换为高分辨率视频进行输出。
本申请实施例提供的电子设备，提供了一种深度模型，该模型采用早期融合、窄而深的网络设计、快速上采样等方式极大地降低现有模型的计算量，并通过优化模型结构，使得深度模型可以在图像处理能力较低的电子设备上达到对360p视频进行实时超分辨率的效果，极大的提高了播放视频的清晰度。
应理解的是，本申请实施例中，输入单元104可以包括图形处理器(GraphicsProcessing Unit，GPU)1041和麦克风1042，图形处理器1041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元106可包括显示面板1061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板1061。用户输入单元107包括触控面板1071以及其他输入设备1072。触控面板1071，也称为触摸屏。触控面板1071可包括触摸检测装置和触摸控制器两个部分。其他输入设备1072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。存储器109可用于存储软件程序以及各种数据，包括但不限于应用程序和操作***。处理器110可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作***、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器110中。
本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等。
本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
应理解，本申请实施例提到的芯片还可以称为***级芯片、***芯片、芯片***或片上***芯片等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台电子设备(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。
Claims (12)
1.一种图像处理方法，其特征在于，所述方法包括：
提取N个第一图像帧中M个相邻的第一图像帧作为一个第二图像帧，得到N个第二图像帧；N和M均为正整数、且M小于N；
将目标第二图像帧进行通道转换，并提取转换后的图像帧的深度特征，所述目标第二图像帧为所述N个第二图像帧中的任一个；
基于所述换后的图像帧的深度特征，生成第三图像帧，一个第二图像帧对应一个第三图像帧；
根据所述N个第一图像帧的时序，将所述N个第三图像帧合成为第二视频；
其中，每个第一图像帧均包括一个对应第三图像帧；所述第三图像帧的分辨率高于所述第一图像帧。
2.根据权利要求1所述的方法，其特征在于，所述将所述目标第二图像帧进行通道转换，包括：
将所述目标第二图像帧转换为八通道图像帧。
3.根据权利要求1或2所述的方法，其特征在于，所述将目标第二图像帧进行通道转换，并提取转换后的图像帧的深度特征，包括：
通过目标模型将目标第二图像帧进行通道转换，并提取转换后的图像帧的深度特征；
所述基于所述换后的图像帧的深度特征，生成第三图像帧，包括：
通过所述目标模型，根据所述换后的图像帧的深度特征，生成第三图像帧。
4.根据权利要求3所述的方法，其特征在于，
所述将目标第二图像帧进行通道转换，并提取转换后的图像帧的深度特征之前，所述方法还包括：
从包含有多个高清视频的训练样本集的目标视频中提取M个高分辨率图像帧；所述目标视频为所述训练样本集中的至少一个样本；
对所述M个高分辨率图像帧进行退化处理，得到M个低分辨率图像帧，一个高分辨率图像帧对应一个低分辨率图像帧；
将所述M个高分辨率图像帧和所述M个低分辨率图像帧作为一组第四图像帧，生成K组第四图像帧；
将所述K组第四图像帧作为训练集对目标卷积神经网络模型进行训练，得到所述目标模型；
其中，所述K组第四图像帧的每组第四图像帧均包括M个高分辨率图像帧和M个低分辨率图像帧，K和M均为正整数。
5.根据权利要求4所述的方法，其特征在于，所述将所述K组第四图像帧作为训练集对目标卷积神经网络模型进行训练，得到所述目标模型，包括：
将目标低分辨率图像帧中的M个低分辨率图像帧转化为第一目标图像，所述第一目标图像包括：一个八通道图像；
提取所述第一目标图像的深度特征；
基于所述深度特征，生成第二目标图像；
其中，所述目标低分辨率图像帧为所述K组第四图像帧中的任一组；与所述目标图像帧中的M个低分辨率图像帧对应的M个高分辨率图像帧，用于验证所述第二目标图像；所述目标图像帧中的M个低分辨率图像帧为：与所述目标图像帧中的M个低分辨率图像帧对应的M个高分辨率图像帧经过图像退化处理后的图像帧。
6.一种图像处理装置，其特征在于，所述装置包括：提取模块、处理模块、生成模块和合成模块；
所述提取模块，用于提取N个第一图像帧中M个相邻的第一图像帧作为一个第二图像帧，得到N个第二图像帧；N和M均为正整数、且M小于N；
所述处理模块，用于将所述提取模块提取的目标第二图像帧进行通道转换，并提取转换后的图像帧的深度特征，所述目标第二图像帧为所述N个第二图像帧中的任一个；
所述生成模块，用于基于所述处理模块换后的图像帧的深度特征，生成第三图像帧，一个第二图像帧对应一个第三图像帧；
所述合成模块，用于根据所述提取模块提取的N个第一图像帧的时序，将所述生成模块生成的N个第三图像帧合成为第二视频；
其中，每个第一图像帧均包括一个对应第三图像帧；所述第三图像帧的分辨率高于所述第一图像帧。
7.根据权利要求6所述的装置，其特征在于，
所述处理模块，具体用于将所述提取模块提取的目标第二图像帧转换为八通道图像帧。
8.根据权利要求6或7所述的装置，其特征在于，
所述处理模块，具体用于通过目标模型将目标第二图像帧进行通道转换，并提取转换后的图像帧的深度特征；
所述生成模块，具体用于通过所述目标模型，根据所述处理模块转换后的图像帧的深度特征，生成第三图像帧。
9.根据权利要求8所述的装置，其特征在于，所述装置还包括：训练模块；
所述提取模块，还用于从包含有多个高清视频的训练样本集的目标视频中提取M个高分辨率图像帧，所述目标视频为所述训练样本集中的至少一个样本；
所述处理模块，还用于对所述提取模块提取的M个高分辨率图像帧进行退化处理，得到M个低分辨率图像帧，一个高分辨率图像帧对应一个低分辨率图像帧；
所述处理模块，还用于将所述M个高分辨率图像帧和所述M个低分辨率图像帧作为一组第四图像帧，生成K组第四图像帧；
所述训练模块，用于将所述处理模块生成的K组第四图像帧作为训练集对目标卷积神经网络模型进行训练，得到所述目标模型；
其中，所述K组第四图像帧的每组图像帧均包括M个高分辨率图像帧和M个低分辨率图像帧，K和M均为正整数。
10.根据权利要求9所述的装置，其特征在于，
所述训练模块，具体用于将目标低分辨率图像帧中的M个低分辨率图像帧由三通道图像转化为第一目标图像，所述第一目标图像包括：一个八通道图像；
所述训练模块，具体用于提取所述第一目标图像的深度特征；
所述训练模块，具体用于基于所述深度特征，生成第二目标图像；
其中，所述目标低分辨率图像帧为所述K组第四图像帧中的任一组；与所述目标图像帧中的M个低分辨率图像帧对应的M个高分辨率图像帧，用于验证所述第二目标图像；所述目标图像帧中的M个低分辨率图像帧为：与所述目标图像帧中的M个低分辨率图像帧对应的M个高分辨率图像帧经过图像退化处理后的图像帧。
11.一种电子设备，其特征在于，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1至5中任一项所述的图像处理方法的步骤。
12.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1至5中任一项所述的图像处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110604628.2A CN113362224A (zh) | 2021-05-31 | 2021-05-31 | 图像处理方法、装置、电子设备及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110604628.2A CN113362224A (zh) | 2021-05-31 | 2021-05-31 | 图像处理方法、装置、电子设备及可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113362224A true CN113362224A (zh) | 2021-09-07 |
Family
ID=77530578
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110604628.2A Pending CN113362224A (zh) | 2021-05-31 | 2021-05-31 | 图像处理方法、装置、电子设备及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113362224A (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090290811A1 (en) * | 2008-05-23 | 2009-11-26 | Samsung Electronics Co., Ltd. | System and method for generating a multi-dimensional image |
| CN106471804A (zh) * | 2014-07-04 | 2017-03-01 | 三星电子株式会社 | 用于图像捕捉和同时深度提取的方法及装置 |
| CN107944416A (zh) * | 2017-12-06 | 2018-04-20 | 成都睿码科技有限责任公司 | 一种通过视频进行真人验证的方法 |
| CN110381268A (zh) * | 2019-06-25 | 2019-10-25 | 深圳前海达闼云端智能科技有限公司 | 生成视频的方法，装置，存储介质及电子设备 |
| US20200193566A1 (en) * | 2018-12-12 | 2020-06-18 | Apical Limited | Super-resolution image processing |
| CN111654723A (zh) * | 2020-05-14 | 2020-09-11 | 北京百度网讯科技有限公司 | 视频质量提升方法、装置、电子设备和存储介质 |
| WO2021017811A1 (zh) * | 2019-07-26 | 2021-02-04 | Oppo广东移动通信有限公司 | 图像处理方法和装置、电子设备、计算机可读存储介质 |
| CN112330541A (zh) * | 2020-11-11 | 2021-02-05 | 广州博冠信息科技有限公司 | 直播视频处理方法、装置、电子设备和存储介质 |
| WO2021088300A1 (zh) * | 2019-11-09 | 2021-05-14 | 北京工业大学 | 一种基于非对称双流网络的rgb-d多模态融合人员检测方法 |
-
2021
- 2021-05-31 CN CN202110604628.2A patent/CN113362224A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090290811A1 (en) * | 2008-05-23 | 2009-11-26 | Samsung Electronics Co., Ltd. | System and method for generating a multi-dimensional image |
| CN106471804A (zh) * | 2014-07-04 | 2017-03-01 | 三星电子株式会社 | 用于图像捕捉和同时深度提取的方法及装置 |
| CN107944416A (zh) * | 2017-12-06 | 2018-04-20 | 成都睿码科技有限责任公司 | 一种通过视频进行真人验证的方法 |
| US20200193566A1 (en) * | 2018-12-12 | 2020-06-18 | Apical Limited | Super-resolution image processing |
| CN110381268A (zh) * | 2019-06-25 | 2019-10-25 | 深圳前海达闼云端智能科技有限公司 | 生成视频的方法，装置，存储介质及电子设备 |
| WO2021017811A1 (zh) * | 2019-07-26 | 2021-02-04 | Oppo广东移动通信有限公司 | 图像处理方法和装置、电子设备、计算机可读存储介质 |
| WO2021088300A1 (zh) * | 2019-11-09 | 2021-05-14 | 北京工业大学 | 一种基于非对称双流网络的rgb-d多模态融合人员检测方法 |
| CN111654723A (zh) * | 2020-05-14 | 2020-09-11 | 北京百度网讯科技有限公司 | 视频质量提升方法、装置、电子设备和存储介质 |
| CN112330541A (zh) * | 2020-11-11 | 2021-02-05 | 广州博冠信息科技有限公司 | 直播视频处理方法、装置、电子设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111340711B (zh) | 一种超分辨率重建方法、装置、设备和存储介质 | |
| US11928753B2 (en) | High fidelity interactive segmentation for video data with deep convolutional tessellations and context aware skip connections | |
| US8290309B2 (en) | Super-resolution method for image display | |
| CN110996131B (zh) | 视频编码方法、装置、计算机设备及存储介质 | |
| CN114667535A (zh) | 游戏超分辨率 | |
| WO2024027583A1 (zh) | 图像处理方法、装置、电子设备和可读存储介质 | |
| CN116958534A (zh) | 一种图像处理方法、图像处理模型的训练方法和相关装置 | |
| CN111540032A (zh) | 基于音频的模型控制方法、装置、介质及电子设备 | |
| CN112785669B (zh) | 一种虚拟形象合成方法、装置、设备及存储介质 | |
| CN111951171A (zh) | Hdr图像生成方法、装置、可读存储介质及终端设备 | |
| Qing et al. | Attentive and context-aware deep network for saliency prediction on omni-directional images | |
| US20230162329A1 (en) | High quality ui elements with frame extrapolation | |
| CN113362224A (zh) | 图像处理方法、装置、电子设备及可读存储介质 | |
| US11928855B2 (en) | Method, device, and computer program product for video processing | |
| CN111861877A (zh) | 视频超分变率的方法和装置 | |
| CN116170636A (zh) | 直播视频播放方法及其装置、设备、介质 | |
| US20230021463A1 (en) | Multi-frame image super resolution system | |
| CN115496651A (zh) | 特征处理方法、装置、计算机可读存储介质及电子设备 | |
| KR20180039730A (ko) | 그래픽 커맨드 토큰들의 수정 | |
| CN106469437A (zh) | 图像处理方法和图像处理装置 | |
| CN111798385A (zh) | 图像处理方法及装置、计算机可读介质和电子设备 | |
| CN117519609B (zh) | 一种视频文件的处理方法、装置及电子设备 | |
| CN116996695B (zh) | 一种全景图像压缩方法、装置、设备及介质 | |
| CN116453131B (zh) | 文档图像矫正方法、电子设备及存储介质 | |
| CN116205806B (zh) | 一种图像增强方法及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |