CN112954454A - 一种视频帧生成方法及装置 - Google Patents
一种视频帧生成方法及装置 Download PDFInfo
- Publication number
- CN112954454A CN112954454A CN202110184345.7A CN202110184345A CN112954454A CN 112954454 A CN112954454 A CN 112954454A CN 202110184345 A CN202110184345 A CN 202110184345A CN 112954454 A CN112954454 A CN 112954454A
- Authority
- CN
- China
- Prior art keywords
- image
- video frame
- target
- resolution
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000005070 sampling Methods 0.000 claims abstract description 81
- 238000012545 processing Methods 0.000 claims abstract description 75
- 230000004927 fusion Effects 0.000 claims abstract description 38
- 238000004891 communication Methods 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 12
- 238000010586 diagram Methods 0.000 description 21
- 238000004422 calculation algorithm Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 11
- 238000012549 training Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 238000003780 insertion Methods 0.000 description 3
- 230000037431 insertion Effects 0.000 description 3
- 238000013508 migration Methods 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Television Systems (AREA)
Abstract
本发明实施例提供了一种视频帧生成方法及装置，上述方法包括：获得第一视频帧和第二视频帧；对所述第一视频帧和第二视频帧进行降采样处理，得到分辨率为预设分辨率的第一图像和第二图像，其中，所述预设分辨率为：已有图像生成模型所支持的输入图像的分辨率范围内的分辨率；将所述第一图像和第二图像输入至所述图像生成模型进行图像融合，生成目标图像；对所述目标图像进行升采样处理，得到分辨率为目标分辨率的目标帧，其中，所述目标分辨率为所述第一视频帧和所述第二视频帧的分辨率。应用本发明实施例提供的方案所生成的视频帧能够***至两个视频帧之间。
Description
技术领域
本发明涉及图像处理技术领域，特别是涉及一种视频帧生成方法及装置。
背景技术
为了提高视频的帧率，可以对视频进行视频插帧。视频插帧是指在两个视频帧之间***新的视频帧，且所***的视频帧和两个视频帧具有较强的内容相关性，以此保证视频的内容流畅性。因此，亟需一种视频帧生成方法，以生成用于***至两个视频帧之间的视频帧。
发明内容
本发明实施例的目的在于提供一种视频帧生成方法及装置，以生成用于***至两个视频帧之间的视频帧。具体技术方案如下：
第一方面，本发明实施例提供了一种视频帧生成方法，所述方法包括：
获得第一视频帧和第二视频帧；
对所述第一视频帧和第二视频帧进行降采样处理，得到分辨率为预设分辨率的第一图像和第二图像，其中，所述预设分辨率为：已有图像生成模型所支持的输入图像的分辨率范围内的分辨率；
将所述第一图像和第二图像输入至所述图像生成模型进行图像融合，生成目标图像；
对所述目标图像进行升采样处理，得到分辨率为目标分辨率的目标帧，其中，所述目标分辨率为所述第一视频帧和所述第二视频帧的分辨率。
本发明的一个实施例中，上述对所述第一视频帧和第二视频帧进行降采样处理，得到分辨率为预设分辨率的第一图像和第二图像，包括：
对所述第一视频帧进行降采样处理，得到每一图像分量对应的、且分辨率为预设分辨率的第一图像；
对所述第二视频帧进行降采样处理，得到每一所述图像分量对应的、且分辨率为所述预设分辨率的第二图像；
所述将所述第一图像和第二图像输入至所述图像生成模型进行图像融合，生成目标图像，包括：
将每一图像对输入至所述图像生成模型进行图像融合，得到每一图像对所对应的目标图像，其中，所述图像对包括：相同图像分量所对应的第一图像和第二图像。
本发明的一个实施例中，上述预设分辨率为所述分辨率范围内的最大分辨率。
本发明的一个实施例中，在所述对所述目标图像进行升采样处理，得到分辨率为目标分辨率的目标帧之后，还包括：
将所述目标帧中至少一个目标区域的图像内容替换为第一视频帧或第二视频帧中对应区域的图像内容，得到替换后的目标帧。
本发明的一个实施例中，所述将所述目标帧中至少一个目标区域的图像内容替换为第一视频帧或第二视频帧中对应区域的图像内容，得到替换后的目标帧，包括：
对第三图像和第四图像进行升采样处理，得到分辨率为所述目标分辨率的第三视频帧和第四视频帧，其中，所述第三图像为：所述第一视频帧经过降采样处理后得到的图像，所述第四图像为：所述第二视频帧经过降采样处理后得到的图像；
针对所述目标帧所包含的每一目标区域，从所述第三视频帧以及第四视频帧所包含的各个区域中，确定与该目标区域的匹配度最高的匹配区域；
将所述目标帧中至少一个目标区域的图像内容替换为相对应的原始图像内容，得到替换后的目标帧，其中，所述原始图像内容为：目标区域相对应的匹配区域在所属视频帧的原始视频帧中的图像内容，所述原始视频帧为：第一视频帧或第二视频帧。
本发明的一个实施例中，所述方法还包括：
通过多层卷积层对替换后的目标帧和目标帧进行图像融合，得到融合后的视频帧。
本发明的一个实施例中，上述第一视频帧与第二视频帧相邻。
第二方面，本发明实施例提供了一种视频帧生成装置，所述装置包括：
第一视频帧获得模块，用于获得第一视频帧和第二视频帧；
图像获得模块，用于对所述第一视频帧和第二视频帧进行降采样处理，得到分辨率为预设分辨率的第一图像和第二图像，其中，所述预设分辨率为：已有图像生成模型所支持的输入图像的分辨率范围内的分辨率；
图像生成模块，用于将所述第一图像和第二图像输入至所述图像生成模型进行图像融合，生成目标图像；
第一目标帧获得模块，用于对所述目标图像进行升采样处理，得到分辨率为目标分辨率的目标帧，其中，所述目标分辨率为所述第一视频帧和所述第二视频帧的分辨率。
本发明的一个实施例中，上述图像获得模块，具体用于对所述第一视频帧进行降采样处理，得到每一图像分量对应的、且分辨率为预设分辨率的第一图像；对所述第二视频帧进行降采样处理，得到每一所述图像分量对应的、且分辨率为所述预设分辨率的第二图像；
所述图像生成模块，具体用于将每一图像对输入至所述图像生成模型进行图像融合，得到每一图像对所对应的目标图像，其中，所述图像对包括：相同图像分量所对应的第一图像和第二图像。
本发明的一个实施例中，上述预设分辨率为所述分辨率范围内的最大分辨率。
本发明的一个实施例中，上述装置还包括：
第二目标帧获得模块，用于将所述目标帧中至少一个目标区域的图像内容替换为第一视频帧或第二视频帧中对应区域的图像内容，得到替换后的目标帧。
本发明的一个实施例中，上述第二目标帧获得模块，包括：
视频帧获得子模块，用于在所述第一目标帧获得模块之后，对第三图像和第四图像进行升采样处理，得到分辨率为所述目标分辨率的第三视频帧和第四视频帧，其中，所述第三图像为：所述第一视频帧经过降采样处理后得到的图像，所述第四图像为：所述第二视频帧经过降采样处理后得到的图像；
匹配区域确定子模块，用于针对所述目标帧所包含的每一目标区域，从所述第三视频帧以及第四视频帧所包含的各个区域中，确定与该目标区域的匹配度最高的匹配区域；
目标帧获得子模块，用于将所述目标帧中至少一个目标区域的图像内容替换为相对应的原始图像内容，得到替换后的目标帧，其中，所述原始图像内容为：目标区域相对应的匹配区域在所属视频帧的原始视频帧中的图像内容，所述原始视频帧为：第一视频帧或第二视频帧。
本发明的一个实施例中，上述装置还包括：
第三视频帧获得模块，用于在所述目标帧获得子模块之后，通过多层卷积层对替换后的目标帧和目标帧进行图像融合，得到融合后的视频帧。
本发明的一个实施例中，上述第一视频帧与第二视频帧相邻。
第三方面，本发明实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述第一方面所述的方法步骤。
第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的方法步骤。
由以上可见，应用本发明实施例提供的方案生成视频帧时，由于是对第一视频帧和第二视频帧进行降采样处理，得到分辨率为预设分辨率的第一图像和第二图像，且上述预设分辨率为已有图像生成模型所支持的输入图像的分辨率范围内的分辨率，所以，上述图像生成模型能够对第一图像和第二图像进行图像融合，且得到的目标图像与第一图像和第二图像之间具有较强的内容相关性。通过对目标图像进行升采样处理，得到分辨率为第一视频帧和第二视频帧的分辨率的目标帧，且上述目标帧与第一视频帧和第二视频帧之间具有较强内容相关性。因此，应用本发明实施例提供的方案所生成的视频帧可以***至两个视频帧之间。
另外，由于本发明实施例提供的方案中图像生成模型为已有图像生成模型，在对第一视频帧和第二视频帧进行降采样处理，得到分辨率为预设分辨率的第一图像和第二图像后，可以复用上述已有图像生成模型生成目标图像，而不需要重新收集大量的训练样本以训练新的图像生成模型，从而减小了工作量。因此，复用上述已有图像生成模型对第一视频帧和第二视频帧进行图像融合，提高了视频帧生成的效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的第一种视频帧生成方法的流程示意图；
图2为本发明实施例提供的一种基于图像生成模型所生成图像的示意图；
图3为本发明实施例提供的一种降采样过程的示意图；
图4为本发明实施例提供的一种视频帧生成过程的流程框图；
图5a为本发明实施例提供的第二种视频帧生成方法的流程示意图；
图5b为本发明实施例提供的第三种视频帧生成方法的流程示意图；
图6为本发明实施例提供的一种获得替换后的目标帧过程的流程框图；
图7a为本发明实施例提供的一种目标帧的示意图；
图7b为本发明实施例提供的一种替换后的目标帧的示意图；
图8为本发明实施例提供的第四种视频帧生成方法的流程示意图；
图9为本发明实施例提供的第一种视频帧生成装置的结构示意图；
图10a为本发明实施例提供的第二种视频帧生成装置的结构示意图；
图10b为本发明实施例提供的第三种视频帧生成装置的结构示意图；
图11为本发明实施例提供的第四种视频帧生成装置的结构示意图；
图12为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了生成用于***至两个视频帧之间的视频帧，本发明实施例提供了一种视频帧生成方法及装置。
本发明的一个实施例中，提供了一种视频帧生成方法，上述方法包括：
获得第一视频帧和第二视频帧；
对第一视频帧和第二视频帧进行降采样处理，得到分辨率为预设分辨率的第一图像和第二图像，其中，预设分辨率为：已有图像生成模型所支持的输入图像的分辨率范围内的分辨率；
将第一图像和第二图像输入至图像生成模型进行图像融合，生成目标图像；
对目标图像进行升采样处理，得到分辨率为目标分辨率的目标帧，其中，目标分辨率为第一视频帧和第二视频帧的分辨率。
由以上可见，应用本实施例提供的方案生成视频帧时，由于是对第一视频帧和第二视频帧进行降采样处理，得到分辨率为预设分辨率的第一图像和第二图像，且上述预设分辨率为已有图像生成模型所支持的输入图像的分辨率范围内的分辨率，所以，上述图像生成模型能够对第一图像和第二图像进行图像融合，且得到的目标图像与第一图像和第二图像之间具有较强的内容相关性。通过对目标图像进行升采样处理，得到分辨率为第一视频帧和第二视频帧的分辨率的目标帧，且上述目标帧与第一视频帧和第二视频帧之间具有较强内容相关性。因此，应用本实施例提供的方案所生成的视频帧可以***至视频帧之间。
另外，由于本实施例提供的方案中图像生成模型为已有图像生成模型，在对第一视频帧和第二视频帧进行降采样处理，得到分辨率为预设分辨率的第一图像和第二图像后，可以复用上述已有图像生成模型生成目标图像，而不需要重新收集大量的训练样本以训练新的图像生成模型，从而减小了工作量。因此，复用上述已有图像生成模型对第一视频帧和第二视频帧进行图像融合，提高了视频帧生成的效率。
参见图1，图1为本发明实施例提供的第一种视频帧生成方法的流程示意图，上述方法包括步骤S101-步骤S104。
步骤S101:获得第一视频帧和第二视频帧。
具体的，当视频的画面为静态画面时，上述第一视频帧和第二视频帧可以为视频中的任意两个视频帧。例如：可以为视频的第一个视频帧和最后一个视频帧。
当视频的画面为运动画面时，上述第一视频帧和第二视频帧可以为相邻视频帧。上述第一视频帧和第二视频帧为相邻视频帧是指：第一视频帧和第二视频帧在视频中所处位置为相邻位置。基于第一视频帧与第二视频帧之间的位置相对关系，可以将视频帧对应位置在另一视频帧对应位置之前的视频帧称为前一帧，另一视频帧称为后一帧。
具体的，在获得上述第一视频帧和第二视频帧时，可以从视频的各个视频帧中任意选择两个视频帧，作为第一视频帧和第二视频帧；还可以从视频的各个视频帧中选择两个相邻的视频帧，作为第一视频帧和第二视频帧。还可以直接获得相邻的第一视频帧和第二视频帧。
步骤S102：对第一视频帧和第二视频帧进行降采样处理，得到分辨率为预设分辨率的第一图像和第二图像。
上述预设分辨率为已有图像生成模型所支持的输入图像的分辨率范围内的分辨率。例如：假设已有图像生成模型所支持的输入图像的分辨率范围为[320x250，1920x1080]，上述预设分辨率可以360p、720p、1080p等。
上述已有图像生成模型为：已经应用在视频帧生成场景中的图像生成模型。
上述已有图像生成模型所支持的输入图像的分辨率范围可以理解为：上述已有图像生成模型能够基于分辨率为上述分辨率范围内的输入图像生成图像，而难以基于分辨率超过上述分辨率范围内的输入图像生成图像。
参见图2，图2为本发明实施例提供的一种基于图像生成模型所生成图像的示意图。图2所示的图像为1080p图像生成模型对分辨率为4k的输入图像进行图像融合所生成的图像，上述1080p图像生成模型所支持的输入图像的分辨率范围为小于或者等于1080p，由图2可以得到，图2中右侧栏杆出现扭曲现象，因此，由图2可知，图像生成模型模型难以基于分辨率超过上述分辨率范围内的输入图像生成图像。
所以，对第一视频帧和第二视频帧进行降采样处理，得到分辨率为预设分辨率的第一图像和第二图像后，可以复用上述图像生成模型，能够提高视频帧生成效率。
由于当已有图像生成模型所支持的输入图像的分辨率为最大分辨率时，上述已有图像生成模型可以基于输入图像生成更为准确的目标图像。因此，上述预设分辨率可以为上述分辨率范围内的最大分辨率，这样，可以使得已有图像模型基于输入图像生成更为准确的目标图像。
具体的，在对第一视频帧和第二视频帧进行降采样时，可以采用pixshuffle降采样、haar小波变换降采样以及CNN卷积等算法，得到分辨率为预设分辨率的第一图像和第二图像。上述第一图像的数量可以为一张，也可以为多张，上述第二图像的数量可以为一张，也可以为多张。
步骤S103：将第一图像和第二图像输入至图像生成模型进行图像融合，生成目标图像。
由于上述第一图像和第二图像的分辨率为图像生成模型所支持的输入图像的分辨率范围内的分辨率，因此，上述图像生成模型可以对第一图像和第二图像进行图像融合，生成目标图像。
上述目标图像的分辨率为第一图像和第二图像的分辨率，也就是预设分辨率。
具体的，上述图像生成模型在进行图像融合时，可以根据第一图像中各个像素点的像素值以及第二图像中各个像素点的像素值，预估各个像素点的像素值，使得所预估的像素值与真实像素值接近，从而基于所预估的像素值生成目标图像。
步骤S104：对目标图像进行升采样处理，得到分辨率为目标分辨率的目标帧。
上述目标分辨率为第一视频帧和第二视频帧的分辨率。由于视频中各个视频帧的分辨率是相同的，因此，上述第一视频帧和第二视频帧的分辨率是相同分辨率，也就是目标分辨率。例如：假设第一视频帧和第二视频帧的分辨率为4k，上述目标分辨率为4k。
由于上述目标图像的分辨率为预设分辨率，而上述第一视频帧和第二视频帧的分辨率为目标分辨率，因此，需要对目标图像进行升采样处理，得到分辨率为目标分辨率的目标帧。
在对目标图像进行升采样处理时，可以采用步骤S102中采用的降采样算法相对应的升采样算法，例如：假设上述步骤S102中采用的降采样算法为pixshuffle降采样算法，上述升采样可以为pixshuffle升采样算法。
具体的，在获得上述视频帧后，可以将视频帧***至第一视频帧和第二视频帧之间，以提高第一视频帧和第二视频帧所在视频的帧率。
由于上述视频帧是基于第一视频帧和第二视频帧，采用降采样处理和升采样处理得到的视频帧，因此，上述视频帧的图像内容与第一视频帧和第二视频帧的图像内容之间具有较强的相关性。所以，将视频帧***至第一视频帧和第二视频帧之间，能够保证插帧后的视频的内容流畅性。
由以上可见，应用本实施例提供的方案生成视频帧时，由于是对第一视频帧和第二视频帧进行降采样处理，得到分辨率为预设分辨率的第一图像和第二图像，且上述预设分辨率为已有图像生成模型所支持的输入图像的分辨率范围内的分辨率，所以，上述图像生成模型能够对第一图像和第二图像进行图像融合，且得到的目标图像与第一图像和第二图像之间具有较强的内容相关性。通过对目标图像进行升采样处理，得到分辨率为第一视频帧和第二视频帧的分辨率的目标帧，且上述目标帧与第一视频帧和第二视频帧之间具有较强内容相关性。因此，应用本实施例提供的方案所生成的视频帧可以***至视频帧之间。
另外，由于本发明实施例提供的方案中图像生成模型为已有图像生成模型，在对第一视频帧和第二视频帧进行降采样处理，得到分辨率为预设分辨率的第一图像和第二图像后，可以复用上述已有图像生成模型生成目标图像，而不需要重新收集大量的训练样本以训练新的图像生成模型，从而减小了工作量。因此，复用上述已有图像生成模型对第一视频帧和第二视频帧进行图像融合，提高了视频帧生成的效率。
本发明的一个实施例中，可以按照以下方式实现上述步骤S102中对第一视频帧和第二视频帧进行降采样处理，得到分辨率为预设分辨率的第一图像和第二图像。
对第一视频帧进行降采样处理，得到每一图像分量对应的、且分辨率为预设分辨率的第一图像，并对第二视频帧进行降采样处理，得到每一上述图像分量对应的、且分辨率为预设分辨率的第二图像。
上述第一图像的数量与图像分量的数量相同。例如：假设图像分量包括R、G、B、A四个分量，那么第一图像的数量为4，其中，4张第一图像分别为：R分量对应的第一图像、G分量对应的第一图像、B分量对应的第一图像、A分量对应的第一图像。
上述第二图像的数量也与上述图像分量的数量相同。例如：沿用上述例子，第二图像的数量也为4，4张第二图像分别为：R分量对应的第二图像、G分量对应的第二图像、B分量对应的第二图像、A分量对应的第二图像。
具体的，在对第一视频帧进行降采样处理时，会减小第一视频帧的分辨率。例如：假设第一图像的数量为4，第一视频帧的分辨率为：H*W，那么所得到的每一第一图像的分辨率为：1/2*(H*W)。
以图3为例，图3为本发明实施例提供的一种降采样过程的示意图。
图3左侧图像为第一视频帧，图3右侧图像第一视频帧经过降采样后得到的每一图像分量对应的第一图像。其中，每一第一图像分别表示：R分量对应的第一图像、G分量对应的第一图像、B分量对应的第一图像以及A分量对应的第一图像。
这样，由于得到的是每一图像分量对应的、且分辨率为预设分辨率的第一图像和第二图像，使得各个第一图像的图像内容能够较为准确地反映第一视频帧中每一图像分量对应的图像内容，且各个第二图像的图像内容能够较为准确地反映第二视频帧中每一图像分量对应的图像内容。
在上述实施例的基础上，在生成目标图像时，本发明的一个实施例中，可以将每一图像对输入至图像生成模型进行图像融合，得到每一图像对所对应的目标图像。
上述图像对包括：相同图像分量所对应的第一图像和第二图像。
例如：假设各个第一图像分别为R分量对应的第一图像、G分量对应的第一图像、B分量对应的第一图像以及A分量对应的第一图像，各个第二图像分别为R分量对应的第二图像、G分量对应的第二图像、B分量对应的第二图像以及A分量对应的第二图像，那么上述图像对分别为：R分量对应的第一图像以及第二图像组成的图像对、G分量对应的第一图像以及第二图像组成的图像对、B分量对应的第一图像以及第二图像组成的图像对、A分量对应的第一图像以及第二图像组成的图像对。
由于图像对包括相同图像分量所对应的第一图像和第二图像，也就是每次输入至图像生成模型的图像对为：相同图像分量所对应的第一图像和第二图像。因此，所得到的每一图像对所对应的目标图像为：上述相同图像分量所对应的目标图像。
例如：假设输入图像对为R分量对应的第一图像以及第二图像组成的图像对，所得到的目标图像为R分量对应的目标图像。
由于图像对中包括相同图像分类所对应的第一图像和第二图像，且第一图像、第二图像的分辨率为预设分辨率，这样，图像生成模型能够对第一图像和第二图像进行图像融合，得到目标图像。
本发明的一个实施例中，在得到每一图像对所对应的目标图像后，由于每一目标图像为每一图像分量对应的、分辨率为预设分辨率的图像，在对目标图像进行升采样时，可以对各个目标图像同时进行升采样，得到分辨率为目标分辨率的目标帧。
参见图4，图4为本发明实施例提供的一种视频帧生成过程的流程框图，在图4中，视频帧X和视频帧Y为相邻的视频帧；
对视频帧X进行降采样处理，得到各个图像分量对应的、且分辨率为预设分辨率的第一图像a；
对视频帧Y进行降采样处理，得到各个图像分量对应的、且分辨率为预设分辨率的第二图像b；
将相同图像分量对应的第一图像a和第二图像b组成的各个图像对分别输入至图像生成模型中，得到各个图像分量对应的目标图像c；
对目标图像c进行升采样处理，得到分辨率为视频帧X和视频帧Y的分辨率的目标帧。
由于目标帧是由第一图像和第二图像进行图像融合生成的目标图像经过升采样处理后得到的目标帧，目标帧的清晰度可能较差，为了提高目标帧的清晰度，参见图5a，图5a为本发明实施例提供的第二种视频帧生成方法的流程示意图，在上述实施例的基础上，上述方法还可以包括以下步骤S105。
步骤S105：将目标帧中至少一个目标区域的图像内容替换为第一视频帧或第二视频帧中对应区域的图像内容，得到替换后的目标帧。
由于第一视频帧、第二视频帧以及目标帧之间具有内容相关性，且第一视频帧和第二视频帧的清晰度较优，所以，可以将目标帧中至少一个目标区域的图像内容替换为第一视频帧或第二视频帧中对应区域的图像内容，从而能够得到较为清晰的目标帧。
具体的，在替换图像内容时，可以将目标帧中各个目标区域的图像内容进行替换，还可以将目标帧中位于预设位置的目标区域的图像内容进行替换。上述预设位置可以为中心位置、边缘位置、关键位置等。
在对图像内容进行替换时，可以从第一视频帧和第二视频帧中任意选择一个视频帧，将目标帧中的目标区域的图像内容替换为所选择的视频帧中对应区域的图像内容，得到替换后的目标帧。
这样，由于将目标帧中至少一个目标区域的图像内容替换为第一视频帧或第二视频帧中对应区域的图像内容，且第一视频帧和第二视频帧中的图像内容较为清晰，因此，所得到的替换后的目标帧的清晰度较高。
为了进一步提高目标帧的清晰度，参见图5b，图5b为本发明实施例提供的第三种视频帧生成方法的流程示意图，上述步骤S105还可以包括以下步骤S105A1-S105A3。
步骤S105A1:对第三图像和第四图像进行升采样处理，得到分辨率为目标分辨率的第三视频帧和第四视频帧。
上述第三图像为：第一视频帧经过降采样处理后得到的图像。具体的，可以采用现有技术中任意一种降采样算法，对第一视频帧进行降采样处理，得到第三图像。例如：可以采用pixshuffle降采样算法对第一视频帧进行降采样处理，得到第三图像。上述第三图像还可以为上述步骤S102中第一图像。
上述第四图像为：第二视频帧经过降采样处理后得到的图像。具体的，可以采用现有技术中任意一种降采样算法，对第二视频帧进行降采样处理，得到第四图像。例如：可以采用pixshuffle降采样算法对第二视频帧进行降采样处理，得到第四图像。上述第四图像还可以为上述步骤S102中第二图像。
在对第三图像进行升采样处理时，可以采用上述降采样算法相对应的升采样算法对第三图像进行升采样处理。在对第四图像进行升采样处理时，也可以采用上述降采样算法相对应的升采样算法对第四图像进行升采样处理，从而可以得到分辨率为目标分辨率的第三视频帧和第四视频帧。
由于上述第三图像为第一视频帧经过降采样处理后得到的图像，在对第三图像进行升采样时，所得到的第三视频帧的清晰度小于第一视频帧的清晰度的。同样的，由于上述第四图像为第二视频帧经过降采样处理后得到的图像，在对第四图像进行升采样时，所得到的第四视频帧的清晰度小于第二视频帧的清晰度的。
步骤S105A2：针对目标帧所包含的每一目标区域，从第三视频帧以及第四视频帧所包含的各个区域中，确定与该目标区域的匹配度最高的匹配区域。
上述目标区域的大小可以为3*3、5*5、8*8、16*16等大小，单位为像素点。
在确定上述匹配区域时，第三视频帧以及第四视频帧所包含的各个区域的大小可以与上述目标区域的大小相同。
具体的，在确定上述匹配区域时，针对每一目标区域，计算该目标区域与第三视频帧所包含的各个区域以及第四视频帧所包含的各个区域的匹配度，将匹配度最高的区域确定为与该目标区域对应的匹配区域。
一种实施方式中，可以针对每一目标区域，计算该目标区域中各个像素点的像素值与第三视频帧中各个区域包含的各个像素点的像素值的乘积，以及计算该目标区域中各个像素点的像素值与第四视频帧中各个区域包含的各个像素点的像素值的乘积，将乘积最大的区域作为与该目标区域匹配度最高的匹配区域。
另一种实施方式中，还可以针对每一目标区域，计算第三视频帧以及第四视频帧中各个区域对应的像素值与该目标区域对应的像素值之间的差值的绝对值，将计算得到的最小值对应的区域作为与该目标区域匹配度最高的匹配区域。
步骤S105A3：将目标帧中至少一个目标区域的图像内容替换为相对应的原始图像内容，得到替换后的目标帧。
上述原始图像内容为：目标区域相对应的匹配区域在所属视频帧的原始视频帧中的图像内容。上述原始视频帧为：第一视频帧或第二视频帧。
具体的，当目标区域相对应的匹配区域为第三视频帧中的区域，匹配区域所属视频帧为：第三视频帧。由于第三视频帧是由第一视频帧经过降采样处理、再升采样处理得到的视频帧，也就是第三视频帧的原始视频帧为第一视频帧，因此，上述匹配区域所属视频帧的原始视频帧为：第一视频帧。
当目标区域相对应的匹配区域为第四视频帧中的区域，匹配区域所属视频帧为：第四视频帧。由于第四视频帧是由第二视频帧经过降采样处理、再升采样处理得到的视频帧，也就是第四视频帧的原始视频帧为第二视频帧，因此，上述匹配区域所属视频帧的原始视频帧为：第二视频帧。
具体的，在替换图像内容时，可以将目标帧中各个目标区域的图像内容进行替换，还可以将目标帧中位于预设位置的目标区域的图像内容进行替换。上述预设位置可以为中心位置、边缘位置、关键位置等。
以图6为例，图6为本发明实施例提供的一种获得替换后的目标帧过程的流程框图。
标识为(1)的矩形框表示目标帧，上述矩形框中的小矩形框表示目标帧中的目标区域；
标识为(2)的矩形框表示标识(1)中目标区域相对应的匹配区域所属视频帧，上述矩形框中的小矩形框表示标识(1)中目标区域对应的匹配区域，上述匹配区域为：通过对目标区域与第三视频帧、第四视频帧中各个区域进行匹配所得到的匹配度最高的区域。
标识为(3)的矩形框表示标识(1)中目标区域相对应的匹配区域所属视频帧的原始视频帧，上述矩形框中的小矩形框表示原始图像内容。
标识为(4)的矩形框表示替换后的目标帧，上述矩形框中小矩形框的图像内容为标识为(3)中小矩形框的图像内容。
由于是将目标帧中各个目标区域的图像内容替换为相对应的原始图像内容，且上述原始图像内容为原始视频帧中的图像内容，因此，又可以将上述图像替换过程称为纹理迁移。并且是基于原始视频帧进行纹理迁移，使得替换后的目标帧与原始视频帧之间的内容相关性较大。
这样，由于原始视频帧中的图像内容的清晰度较高，将目标帧中至少一个目标区域的图像内容替换为相对应的原始图像内容，所得到的替换后的目标帧的清晰度较高。并且，由于是将目标帧中至少一个目标区域的图像内容替换为相对应的原始图像内容，且原始图像内容为原始视频帧中的图像内容，使得替换后的目标帧的图像内容与第一视频帧和第二视频帧的图像内容之间的相关程度较高。
参见图7a、图7b，图7a为本发明实施例提供的一种目标帧的示意图，图7a中左侧图像为目标帧，图7a中右侧图像的图像内容为图7a中左侧图像中矩形框中的图像内容，可以看到，上述目标帧较为模糊。
图7b为本发明实施例提供的一种替换后的目标帧的示意图，图7b中左侧图像为替换后的目标帧，图7b中右侧图像的图像内容为图7b中左侧图像中矩形框中的图像内容，可以看到，上述替换后的目标帧相较于目标帧较为清晰。
由于上述替换后的目标帧是经过替换每一目标区域的图像内容所获得的，那么替换后的目标帧中目标区域的边缘比较生硬，与目标区域中的图像内容之间的完整性较差，因此，可以对替换后的目标帧中各个目标区域的边缘区域进行调整，使得调整后的边缘较为柔和。
基于此，参见图8，图8为本发明实施例提供的第三种视频帧生成方法的流程示意图。在上述实施例的基础上，上述方法还可以包括步骤S106。
S106：通过多层卷积层对替换后的目标帧和目标帧进行图像融合，得到融合后的视频帧。
通过多层卷积层对替换后的目标帧和目标帧进行图像融合时，能够使得替换后的目标帧中边缘区域较为柔和，从而得到更为清晰的视频帧。
与上述视频帧生成方法相对应，本发明实施例还提供了一种视频帧生成装置。
参见图9，图9为本发明实施例提供的第一种视频帧生成装置的结构示意图，上述装置包括以下模块901-904。
第一视频帧获得模块901，用于获得第一视频帧和第二视频帧；
图像获得模块902，用于对所述第一视频帧和第二视频帧进行降采样处理，得到分辨率为预设分辨率的第一图像和第二图像，其中，所述预设分辨率为：已有图像生成模型所支持的输入图像的分辨率范围内的分辨率；
图像生成模块903，用于将所述第一图像和第二图像输入至所述图像生成模型进行图像融合，生成目标图像；
第一目标帧获得模块904，用于对所述目标图像进行升采样处理，得到分辨率为目标分辨率的目标帧，其中，所述目标分辨率为所述第一视频帧和所述第二视频帧的分辨率。
由以上可见，应用本实施例提供的方案生成视频帧时，由于是对第一视频帧和第二视频帧进行降采样处理，得到分辨率为预设分辨率的第一图像和第二图像，且上述预设分辨率为已有图像生成模型所支持的输入图像的分辨率范围内的分辨率，所以，上述图像生成模型能够对第一图像和第二图像进行图像融合，且得到的目标图像与第一图像和第二图像之间具有较强的内容相关性。通过对目标图像进行升采样处理，得到分辨率为第一视频帧和第二视频帧的分辨率的目标帧，且上述目标帧与第一视频帧和第二视频帧之间具有较强内容相关性。因此，应用本实施例提供的方案所生成的视频帧可以***至两个视频帧之间。
另外，由于本实施例提供的方案中图像生成模型为已有图像生成模型，在对第一视频帧和第二视频帧进行降采样处理，得到分辨率为预设分辨率的第一图像和第二图像后，可以复用上述已有图像生成模型生成目标图像，而不需要重新收集大量的训练样本以训练新的图像生成模型，从而减小了工作量。因此，复用上述已有图像生成模型对第一视频帧和第二视频帧进行图像融合，提高了视频帧生成的效率。
本发明的一个实施例中，所述图像获得模块，具体用于对所述第一视频帧进行降采样处理，得到每一图像分量对应的、且分辨率为预设分辨率的第一图像；对所述第二视频帧进行降采样处理，得到每一所述图像分量对应的、且分辨率为所述预设分辨率的第二图像；
所述图像生成模块，具体用于将每一图像对输入至所述图像生成模型进行图像融合，得到每一图像对所对应的目标图像，其中，所述图像对包括：相同图像分量所对应的第一图像和第二图像。
这样，由于得到的是每一图像分量对应的、且分辨率为预设分辨率的第一图像和第二图像，使得各个第一图像的图像内容能够较为准确地反映第一视频帧中每一图像分量对应的图像内容，且各个第二图像的图像内容能够较为准确地反映第二视频帧中每一图像分量对应的图像内容。
并且，由于图像对中包括相同图像分类所对应的第一图像和第二图像，且第一图像、第二图像的分辨率为预设分辨率，这样，图像生成模型能够对第一图像和第二图像进行图像融合，得到目标图像。
本发明的一个实施例中，上述预设分辨率为所述分辨率范围内的最大分辨率。
这样，可以使得已有图像模型基于输入图像生成更为准确的目标图像。
参见图10a，图10a为本发明实施例提供的第二种视频帧生成装置的结构示意图，在上述实施例的基础上，上述装置还包括以下模块905。
第二目标帧获得模块905，用于将所述目标帧中至少一个目标区域的图像内容替换为第一视频帧或第二视频帧中对应区域的图像内容，得到替换后的目标帧。
这样，由于将目标帧中至少一个目标区域的图像内容替换为第一视频帧或第二视频帧中对应区域的图像内容，且第一视频帧和第二视频帧中的图像内容较为清晰，因此，所得到的替换后的目标帧的清晰度较高。
参见图10b，图10b为本发明实施例提供的第三种视频帧生成装置的结构示意图，在上述实施例的基础上，上述模块905可以包括以下子模块905B1-905B3。
视频帧获得子模块905B1，用于对第三图像和第四图像进行升采样处理，得到分辨率为所述目标分辨率的第三视频帧和第四视频帧，其中，所述第三图像为：所述第一视频帧经过降采样处理后得到的图像，所述第四图像为：所述第二视频帧经过降采样处理后得到的图像；
匹配区域确定子模块905B2，用于针对所述目标帧所包含的每一目标区域，从所述第三视频帧以及第四视频帧所包含的各个区域中，确定与该目标区域的匹配度最高的匹配区域；
目标帧获得子模块905B3，用于将所述目标帧中至少一个目标区域的图像内容替换为相对应的原始图像内容，得到替换后的目标帧，其中，所述原始图像内容为：目标区域相对应的匹配区域在所属视频帧的原始视频帧中的图像内容，所述原始视频帧为：第一视频帧或第二视频帧。
这样，由于原始视频帧中的图像内容的清晰度较高，将目标帧中各个目标区域的图像内容替换为相对应的原始图像内容，所得到的替换后的目标帧的清晰度较高。并且，由于是将目标帧中各个目标区域的图像内容替换为相对应的原始图像内容，且原始图像内容为第一视频帧和第二视频帧，使得替换后的目标帧的图像内容与第一视频帧和第二视频帧的图像内容之间的相关程度较高。
参见图11，图11为本发明实施例提供的第三种视频帧生成装置的结构示意图，在上述实施例的基础上，上述装置还包括模块908。
第二视频帧获得模块906，用于在所述目标帧获得子模块之后，通过多层卷积层对替换后的目标帧和目标帧进行图像融合，得到融合后的视频帧。
这样，通过多层卷积层对替换后的目标帧和目标帧进行图像融合时，能够使得替换后的目标帧中边缘区域较为柔和，从而得到更为清晰的视频帧。
本发明的一个实施例中，所述第一视频帧与第二视频帧相邻。
与上述视频帧生成方法相对应，本发明实施例还提供了一种电子设备。
本发明实施例还提供了一种电子设备，如图12所示，图12为本发明实施例提供的一种电子设备的结构示意图，包括处理器1201、通信接口1202、存储器1203和通信总线1204，其中，处理器1201，通信接口1202，存储器1203通过通信总线1204完成相互间的通信，
存储器1203，用于存放计算机程序；
处理器1201，用于执行存储器1203上所存放的程序时，实现本发明实施例提供的视频帧生成方法。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例提供的视频帧生成方法。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行时实现本发明实施例提供的视频帧生成方法。
由以上可见，应用本实施例提供的方案生成视频帧时，由于是对第一视频帧和第二视频帧进行降采样处理，得到分辨率为预设分辨率的第一图像和第二图像，且上述预设分辨率为已有图像生成模型所支持的输入图像的分辨率范围内的分辨率，所以，上述图像生成模型能够对第一图像和第二图像进行图像融合，且得到的目标图像与第一图像和第二图像之间具有较强的内容相关性。通过对目标图像进行升采样处理，得到分辨率为第一视频帧和第二视频帧的分辨率的目标帧，且上述目标帧与第一视频帧和第二视频帧之间具有较强内容相关性。因此，应用本实施例提供的方案所生成的视频帧可以***至两个视频帧之间。
另外，由于本实施例提供的方案中图像生成模型为已有图像生成模型，在对第一视频帧和第二视频帧进行降采样处理，得到分辨率为预设分辨率的第一图像和第二图像后，可以复用上述已有图像生成模型生成目标图像，而不需要重新收集大量的训练样本以训练新的图像生成模型，从而减小了工作量。因此，复用上述已有图像生成模型对第一视频帧和第二视频帧进行图像融合，提高了视频帧生成的效率。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备、计算机可读存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (10)
1.一种视频帧生成方法，其特征在于，所述方法包括：
获得第一视频帧和第二视频帧；
对所述第一视频帧和第二视频帧进行降采样处理，得到分辨率为预设分辨率的第一图像和第二图像，其中，所述预设分辨率为：已有图像生成模型所支持的输入图像的分辨率范围内的分辨率；
将所述第一图像和第二图像输入至所述图像生成模型进行图像融合，生成目标图像；
对所述目标图像进行升采样处理，得到分辨率为目标分辨率的目标帧，其中，所述目标分辨率为所述第一视频帧和所述第二视频帧的分辨率。
2.根据权利要求1所述的方法，其特征在于，
所述对所述第一视频帧和第二视频帧进行降采样处理，得到分辨率为预设分辨率的第一图像和第二图像，包括：
对所述第一视频帧进行降采样处理，得到每一图像分量对应的、且分辨率为预设分辨率的第一图像；
对所述第二视频帧进行降采样处理，得到每一所述图像分量对应的、且分辨率为所述预设分辨率的第二图像；
所述将所述第一图像和第二图像输入至所述图像生成模型进行图像融合，生成目标图像，包括：
将每一图像对输入至所述图像生成模型进行图像融合，得到每一图像对所对应的目标图像，其中，所述图像对包括：相同图像分量所对应的第一图像和第二图像。
3.根据权利要求1所述的方法，其特征在于，
所述预设分辨率为所述分辨率范围内的最大分辨率。
4.根据权利要求1所述的方法，其特征在于，在所述对所述目标图像进行升采样处理，得到分辨率为目标分辨率的目标帧之后，还包括：
将所述目标帧中至少一个目标区域的图像内容替换为第一视频帧或第二视频帧中对应区域的图像内容，得到替换后的目标帧。
5.根据权利要求4所述的方法，其特征在于，所述将所述目标帧中至少一个目标区域的图像内容替换为第一视频帧或第二视频帧中对应区域的图像内容，得到替换后的目标帧，包括：
对第三图像和第四图像进行升采样处理，得到分辨率为所述目标分辨率的第三视频帧和第四视频帧，其中，所述第三图像为：所述第一视频帧经过降采样处理后得到的图像，所述第四图像为：所述第二视频帧经过降采样处理后得到的图像；
针对所述目标帧所包含的每一目标区域，从所述第三视频帧以及第四视频帧所包含的各个区域中，确定与该目标区域的匹配度最高的匹配区域；
将所述目标帧中至少一个目标区域的图像内容替换为相对应的原始图像内容，得到替换后的目标帧，其中，所述原始图像内容为：目标区域相对应的匹配区域在所属视频帧的原始视频帧中的图像内容，所述原始视频帧为：第一视频帧或第二视频帧。
6.根据权利要求4所述的方法，其特征在于，所述方法还包括：
通过多层卷积层对替换后的目标帧和目标帧进行图像融合，得到融合后的视频帧。
7.根据权利要求1-6中任一项所述的方法，其特征在于，所述第一视频帧与第二视频帧相邻。
8.一种视频帧生成装置，其特征在于，所述装置包括：
第一视频帧获得模块，用于获得第一视频帧和第二视频帧；
图像获得模块，用于对所述第一视频帧和第二视频帧进行降采样处理，得到分辨率为预设分辨率的第一图像和第二图像，其中，所述预设分辨率为：已有图像生成模型所支持的输入图像的分辨率范围内的分辨率；
图像生成模块，用于将所述第一图像和第二图像输入至所述图像生成模型进行图像融合，生成目标图像；
第一目标帧获得模块，用于对所述目标图像进行升采样处理，得到分辨率为目标分辨率的目标帧，其中，所述目标分辨率为所述第一视频帧和所述第二视频帧的分辨率。
9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-7任一所述的方法步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-7任一所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110184345.7A CN112954454B (zh) | 2021-02-08 | 2021-02-08 | 一种视频帧生成方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110184345.7A CN112954454B (zh) | 2021-02-08 | 2021-02-08 | 一种视频帧生成方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112954454A true CN112954454A (zh) | 2021-06-11 |
| CN112954454B CN112954454B (zh) | 2023-09-05 |
Family
ID=76245490
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110184345.7A Active CN112954454B (zh) | 2021-02-08 | 2021-02-08 | 一种视频帧生成方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112954454B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113365110A (zh) * | 2021-07-14 | 2021-09-07 | 北京百度网讯科技有限公司 | 模型训练、视频插帧方法，装置，设备以及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130051471A1 (en) * | 2011-08-29 | 2013-02-28 | Korea Advanced Institute Of Science And Technology | Image frame interpolation method and apparatus |
| CN106210449A (zh) * | 2016-08-11 | 2016-12-07 | 上海交通大学 | 一种多信息融合的帧率上变换运动估计方法及*** |
| CN110033003A (zh) * | 2019-03-01 | 2019-07-19 | 华为技术有限公司 | 图像分割方法和图像处理装置 |
| CN111327926A (zh) * | 2020-02-12 | 2020-06-23 | 北京百度网讯科技有限公司 | 视频插帧方法、装置、电子设备及存储介质 |
| CN111405316A (zh) * | 2020-03-12 | 2020-07-10 | 北京奇艺世纪科技有限公司 | 插帧方法、电子设备及可读存储介质 |
-
2021
- 2021-02-08 CN CN202110184345.7A patent/CN112954454B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130051471A1 (en) * | 2011-08-29 | 2013-02-28 | Korea Advanced Institute Of Science And Technology | Image frame interpolation method and apparatus |
| CN106210449A (zh) * | 2016-08-11 | 2016-12-07 | 上海交通大学 | 一种多信息融合的帧率上变换运动估计方法及*** |
| CN110033003A (zh) * | 2019-03-01 | 2019-07-19 | 华为技术有限公司 | 图像分割方法和图像处理装置 |
| CN111327926A (zh) * | 2020-02-12 | 2020-06-23 | 北京百度网讯科技有限公司 | 视频插帧方法、装置、电子设备及存储介质 |
| CN111405316A (zh) * | 2020-03-12 | 2020-07-10 | 北京奇艺世纪科技有限公司 | 插帧方法、电子设备及可读存储介质 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113365110A (zh) * | 2021-07-14 | 2021-09-07 | 北京百度网讯科技有限公司 | 模型训练、视频插帧方法，装置，设备以及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112954454B (zh) | 2023-09-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110136066B (zh) | 面向视频的超分辨率方法、装置、设备和存储介质 | |
| CN110544214A (zh) | 一种图像修复方法、装置及电子设备 | |
| EP2950267A1 (en) | Image denoising method and image denoising apparatus | |
| WO2018058090A1 (en) | Method for no-reference image quality assessment | |
| CN110660033B (zh) | 一种字幕的去除方法、装置及电子设备 | |
| CN112686824A (zh) | 图像校正方法、装置、电子设备和计算机可读介质 | |
| WO2023082453A1 (zh) | 一种图像处理方法及装置 | |
| CN103700062A (zh) | 图像处理方法和装置 | |
| CN111145202B (zh) | 模型生成方法、图像处理方法、装置、设备及存储介质 | |
| CN116071279A (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| CN112954454B (zh) | 一种视频帧生成方法及装置 | |
| CN111369557A (zh) | 图像处理方法、装置、计算设备和存储介质 | |
| CN116152577B (zh) | 图像分类方法及装置 | |
| CN111079624B (zh) | 一种样本信息采集的方法、装置、电子设备以及介质 | |
| Zhou et al. | Nonlocal pixel selection for multisurface fitting-based super-resolution | |
| CN116403142A (zh) | 视频处理方法、装置、电子设备及介质 | |
| CN116486009A (zh) | 单目三维人体重建方法、装置以及电子设备 | |
| Zhang et al. | Video Superresolution Reconstruction Using Iterative Back Projection with Critical‐Point Filters Based Image Matching | |
| Nguyen et al. | Depth image-based rendering with low resolution depth | |
| CN112052863B (zh) | 一种图像检测方法及装置、计算机存储介质、电子设备 | |
| CN113538316A (zh) | 图像处理方法、装置、终端设备以及可读存储介质 | |
| CN112565819A (zh) | 一种视频数据处理的方法及装置、电子设备、存储介质 | |
| US10382516B2 (en) | Detecting upscaled source video | |
| CN116452600B (zh) | 实例分割方法、***、模型训练方法、介质及电子设备 | |
| CN112330711B (zh) | 模型生成方法、信息提取方法、装置及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |