CN110852944A - 基于深度学习的多帧自适应融合的视频超分辨方法 - Google Patents
基于深度学习的多帧自适应融合的视频超分辨方法 Download PDFInfo
- Publication number
- CN110852944A CN110852944A CN201910967482.0A CN201910967482A CN110852944A CN 110852944 A CN110852944 A CN 110852944A CN 201910967482 A CN201910967482 A CN 201910967482A CN 110852944 A CN110852944 A CN 110852944A
- Authority
- CN
- China
- Prior art keywords
- resolution
- network
- frame
- super
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 21
- 230000004927 fusion Effects 0.000 title claims abstract description 19
- 238000013135 deep learning Methods 0.000 title claims abstract description 11
- 230000003044 adaptive effect Effects 0.000 claims abstract description 23
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 23
- 238000012549 training Methods 0.000 claims abstract description 16
- 230000006870 function Effects 0.000 claims description 18
- 238000013527 convolutional neural network Methods 0.000 claims description 12
- 238000005070 sampling Methods 0.000 claims description 9
- 238000013178 mathematical model Methods 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 6
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 239000006185 dispersion Substances 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于深度学习的多帧自适应融合的视频超分辨方法及其电子设备，包括下列步骤：第一步，构建训练本发明的网络所需的数据集；第二步，通过深度学习框架TensorFlow搭建多帧自适应融合的视频超分辨网络，多帧自适应融合的视频超分辨网络被划分为两个部分：多帧自适应配准网络和超分辨网络，其中多帧自适应配准网络能够将需要超分辨的关键帧的相邻帧进行扭曲，使其和关键帧的内容趋于相同，以提供给算法更多的细节信息，而超分辨网络则将多帧自适应配准网络的输出超分辨为高分辨率帧图像；训练。
Description
技术领域
本发明涉及一种基于卷积神经网络的视频超分辨算法，涉及一种多帧自适应融合的视频图像配准算法。
背景技术
高分辨率的视频会给用户带来更清晰、更舒适的视觉体验，因此与之相关的技术研究也受到学者们的广泛重视。近些年发展迅猛的视频超分辨技术作为一种低成本获得高清图像的新技术，在安防、金融、现代物流等多个行业蕴含巨大的商业价值，成为了很多大公司竞相角逐的前沿科技。超分辨技术的基本任务是从原始的低分辨率(low-resolution，简称LR)图像或视频重构出对应的高分辨率(high-resolution，简称HR)图像或视频，这是一个典型的病态问题。目前，已有学者们提出了一些解决方案。
现有的超分辨算法主要通过以下两种途径实现：1)利用图片中结构或内容的先验知识对重构的过程添加约束来实现，例如利用图像的平滑性实现超分辨率效果；2)以数据驱动模式学习低分辨率图像到高分辨图像之间的映射，该方法也是目前重构效果最佳算法的实现模式。具体实现方式有字典学习策略，随机森林策略和神经网络策略。单帧超分辨技术是指输入为一张图像的超分辨技术。而多帧超分辨则是指通过多个连续低分辨的视频帧重构出一张高分辨视频帧的技术。相比于单帧超分辨技术，多帧超分辨算法认为帧影像之间的信息是互补的，算法可以利用这些冗余的信息来提高超分辨的效果。
多帧超分辨率算法设计的核心问题是找到有效的方法实现连续视频帧之间的配准。最新研究表明，将卷积神经网络(CNN)与运动补偿原理相结合，能够融合多个相邻低分辨率帧的信息，进而实现图像配准。目前主流的多帧超分辨率算法通常是利用一组固定帧数的连续低分辨率图像生成一个单帧的高分辨图像。然而，这种基于固定帧数的多帧超分辨率算法存在以下两方面问题：1)当相邻帧之间的图像内容差别非常大时，如果选取的帧数过大，这给图像配准带来了极大的困难，且融合后的视频极易出现不良的闪烁现象而影响用户的体验；2)当帧数选取过小，又不能充分利用相邻帧的冗余信息。如何自适应融合的不同帧数预测的图像信息就显得十分重要。
发明内容
针对传统固定帧数融合的多帧超分辨率算法在多帧图像有效利用方面存在的不足，本发明提出了一种自适应融合不同帧数预测图像的多帧超分辨率算法。由于该算法能较好的适配相邻帧之间图像内容差异大小的波动，因此可获得更稳定、清晰的超分辨率效果。技术方案如下：
一种基于深度学习的多帧自适应融合的视频超分辨方法，包括下列步骤：
第一步，构建训练本发明的网络所需的数据集
将已有视频数据集中的视频逐帧读取成图像并保存，记作高分辨率图像集YHR，然后将高分辨率图像集YHR中的每一张图像做下采样得到对应的低分辨率图像集YLR。
第二步，通过深度学习框架TensorFlow搭建多帧自适应融合的视频超分辨网络
多帧自适应融合的视频超分辨网络被划分为两个部分：多帧自适应配准网络和超分辨网络，其中多帧自适应配准网络能够将需要超分辨的关键帧的相邻帧进行扭曲，使其和关键帧的内容趋于相同，以提供给算法更多的细节信息，而超分辨网络则将多帧自适应配准网络的输出超分辨为高分辨率帧图像，包括步骤如下：
(1)多帧自适应配准网络根据视频帧长度的不同被划分为三个子部分：分别为关键帧直接输出部分，三帧运动配准部分和五帧运动配准部分；其中三帧运动配准部分和五帧运动配准部分各由八层卷积神经网络构成，记作FNet，每个卷积层之后都选取ReLU函数作为激活函数，前三层卷积神经网络通过两倍最大池化实现图像的下采样功能，之后的三层卷积神经网络通过双三次插值实现上采样功能，设所需超分辨的关键帧为第n帧，记为In，下面为多帧自适应配准网络的数学模型：
Fout＝[α·FNet(In-2,In-1,In,In+1,In+2)+β·FNet(In-1,In,In+1)+γ·FNet(In)]
其中Fout代表多帧自适应配准网络的输出，α,β,γ分别代表五帧运动配准部分，三帧运动配准部分和关键帧直接输出部分所对应的权重，In-2,In-1,In+1,In+2则分别代表关键帧的前两帧图像和后两帧图像；
(2)超分辨网络FSR共包含多个卷积层，每个卷积层后都接有一个ReLU函数作为激活函数，网络的最后通过连接两个反卷积层实现图像的上采样，将网络的输入和输出直接进行连接防止在训练过程中发生梯度弥散问题，Iout为超分辨网络FSR的输出，超分辨网络的数学模型如下：
Yout＝FSR(Fout)
第三步，用第一步获得的高分辨率图像集YHR和低分辨率图像集YLR对所设计网络进行训练，网络的损失定义为L2损失：
Loss＝(Yout-YHR)2
其中Yout超分辨网络的输出，训练完成后保存网络的结构和参数；
第四步，设所需超分辨的低分辨率视频为V，将低分辨率视频V作为第三步保存的网络的输入，对应输出则为所需的高分辨率视频，至此完成视频超分辨过程。
优选地，第三步中，网络优化器设置为Adam；一个训练批次设置为128张图像；网络的初始学习率设置为0.01；当损失连续100个epoch没有明显的下降时将其降低10倍，最终的学习率设置为10-5；训练epoch设置为5000。
本发明同时提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述的方法步骤。
本发明所设计的基于深度学习的多帧自适应融合的视频超分辨算法，相比于传统固定帧数的视频超分辨模型，在相邻帧之间图像内容差异波动大的情况下具有更强的鲁棒性。有效的解决了传统的固定帧数的视频超分辨算法所带来的图像配准难度增大和难以充分利用相邻帧之间冗余信息的问题，并且有效的避免了超分辨结果的闪烁。
本发明所设计的模型可广泛的用于对低质量视频的超分辨处理，本发明可以充分的考虑相邻视频帧内容之间的差异进而选取更适宜的网络参数对目标视频进行超分辨处理。
附图说明
图1为多帧自适应融合的视频超分辨网络的整体结构
图2为多帧配准网络的结构
图3为本发明的算法对同一个视频帧进行超分辨的结果，四幅图像分别为：原始低分辨图像，双三次上采样的结果，VESPCN视频超分辨网络的结果和本发明的结果
图4为本发明算法的流程图
表1为多帧配准网络的参数
表2为图像超分辨网络的参数
具体实施方式
下面结合实例与附图对本专利的基于深度学习的多帧自适应融合的视频超分辨算法的数学模型与具体实施方案做出详细说明，具体的流程图由图4给出：
第一步，构建训练本发明的网络所需的数据集，即将Vimeo-90k视频数据集中的视频逐帧读取成图像并保存，记作高分辨率图像集YHR，然后通过matlab将高分辨率图像集YHR中的每一张图像做下采样得到对应的低分辨率图像集YLR。
第二步，通过深度学习框架TensorFlow搭建多帧自适应融合的视频超分辨网络。如图1所示，该图为本发明网络的整体框架，多帧自适应融合的视频超分辨网络被划分为两个部分：多帧自适应配准网络和超分辨网络。其中多帧自适应配准网络能够将需要超分辨的关键帧的相邻帧进行扭曲，使其和关键帧的内容趋于相同，以提供给算法更多的细节信息。而超分辨网络则将多帧自适应配准网络的输出超分辨为高分辨率帧图像，具体如下：
(1)多帧自适应配准网络根据视频帧长度的不同被划分为三个子部分：分别为关键帧直接输出部分，三帧运动配准部分和五帧运动配准部分。其中三帧运动配准部分和五帧运动配准部分各由八层卷积神经网络构成，记作FNet。FNet的结构由图2所示，具体参数由表1给出，每个卷积层之后都选取ReLU函数作为激活函数，前三层卷积神经网络通过两倍最大池化实现图像的下采样功能，之后的三层卷积神经网络通过双三次插值实现上采样功能。假设所需超分辨的关键帧为第n帧(记为In)，下面为多帧自适应配准网络的数学模型：
Fout＝[α·FNet(In-2,In-1,In,In+1,In+2)+β·FNet(In-1,In,In+1)+γ·FNet(In)]
其中Fout代表多帧自适应配准网络的输出，α,β,γ分别代表五帧运动配准部分，三帧运动配准部分和关键帧直接输出部分所对应的权重，In-2,In-1,In+1,In+2则分别代表关键帧的前两帧图像和后两帧图像。
(3)超分辨网络FSR的结构由图1的右半部分，具体参数由表2给出，它共包含12个卷积层，每个卷积层后都接有一个ReLU函数作为激活函数，网络的最后通过连接两个反卷积层实现图像的上采样。在结构上，本发明将网络的输入和输出直接进行连接防止在训练过程中发生梯度弥散问题。Iout为超分辨网络FSR的输出，超分辨网络的数学模型如下：
Iout＝FSR(Fout)
第三步，用第一步获得的高分辨率图像集YHR和低分辨率图像集YLR对所设计网络进行训练，网络的损失定义为L2损失,具体如下：
Loss＝(Yout-YHR)2
其中Yout超分辨网络的输出。网络优化器设置为Adam；一个训练批次设置为128张图像；网络的初始学习率设置为0.01；当损失连续100个epoch没有明显的下降时将其降低10倍，最终的学习率设置为10-5；训练epoch设置为5000。训练完成后保存网络的结构和参数。
第四步，假设所需超分辨的低分辨率视频为V，仅需将低分辨率视频V作为第三步保存的网络的输入，对应输出则为所需的高分辨率视频，至此完成视频超分辨过程。
本发明将同一个低分辨率帧图像作为该网络的输入，并将输出的结果与其他经典方法进行对比，对比结果如图3所示。从结果可以看出我们的算法相比其他的算法取得了更好的效果。
表1
表2
Claims (3)
1.一种基于深度学习的多帧自适应融合的视频超分辨方法，包括下列步骤：
第一步，构建训练本发明的网络所需的数据集
将已有视频数据集中的视频逐帧读取成图像并保存，记作高分辨率图像集YHR，然后将高分辨率图像集YHR中的每一张图像做下采样得到对应的低分辨率图像集YLR。
第二步，通过深度学习框架TensorFlow搭建多帧自适应融合的视频超分辨网络
多帧自适应融合的视频超分辨网络被划分为两个部分：多帧自适应配准网络和超分辨网络，其中多帧自适应配准网络能够将需要超分辨的关键帧的相邻帧进行扭曲，使其和关键帧的内容趋于相同，以提供给算法更多的细节信息，而超分辨网络则将多帧自适应配准网络的输出超分辨为高分辨率帧图像，包括步骤如下：
(1)多帧自适应配准网络根据视频帧长度的不同被划分为三个子部分：分别为关键帧直接输出部分，三帧运动配准部分和五帧运动配准部分；其中三帧运动配准部分和五帧运动配准部分各由八层卷积神经网络构成，记作FNet，每个卷积层之后都选取ReLU函数作为激活函数，前三层卷积神经网络通过两倍最大池化实现图像的下采样功能，之后的三层卷积神经网络通过双三次插值实现上采样功能，设所需超分辨的关键帧为第n帧，记为In，下面为多帧自适应配准网络的数学模型：
Fout＝[α·FNet(In-2,In-1,In,In+1,In+2)+β·FNet(In-1,In,In+1)+γ·FNet(In)]
其中Fout代表多帧自适应配准网络的输出，α,β,γ分别代表五帧运动配准部分，三帧运动配准部分和关键帧直接输出部分所对应的权重，In-2,In-1,In+1,In+2则分别代表关键帧的前两帧图像和后两帧图像；
(2)超分辨网络FSR共包含多个卷积层，每个卷积层后都接有一个ReLU函数作为激活函数，网络的最后通过连接两个反卷积层实现图像的上采样，将网络的输入和输出直接进行连接防止在训练过程中发生梯度弥散问题，Iout为超分辨网络FSR的输出，超分辨网络的数学模型如下：
Yout＝FSR(Fout)
第三步，用第一步获得的高分辨率图像集YHR和低分辨率图像集YLR对所设计网络进行训练，网络的损失定义为L2损失：
Loss＝(Yout-YHR)2
其中Yout超分辨网络的输出，训练完成后保存网络的结构和参数；
第四步，设所需超分辨的低分辨率视频为V，将低分辨率视频V作为第三步保存的网络的输入，对应输出则为所需的高分辨率视频，至此完成视频超分辨过程。
2.根据权利要求1所述的方法，其特征在于，第三步中，网络优化器设置为Adam；一个训练批次设置为128张图像；网络的初始学习率设置为0.01；当损失连续100个epoch没有明显的下降时将其降低10倍，最终的学习率设置为10-5；训练epoch设置为5000。
3.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-2任意一项所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910967482.0A CN110852944B (zh) | 2019-10-12 | 2019-10-12 | 基于深度学习的多帧自适应融合的视频超分辨方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910967482.0A CN110852944B (zh) | 2019-10-12 | 2019-10-12 | 基于深度学习的多帧自适应融合的视频超分辨方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110852944A true CN110852944A (zh) | 2020-02-28 |
| CN110852944B CN110852944B (zh) | 2023-11-21 |
Family
ID=69596494
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910967482.0A Active CN110852944B (zh) | 2019-10-12 | 2019-10-12 | 基于深度学习的多帧自适应融合的视频超分辨方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110852944B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111586412A (zh) * | 2020-05-06 | 2020-08-25 | 华为技术有限公司 | 高清视频处理方法、主设备、从设备和芯片*** |
| CN111696049A (zh) * | 2020-05-07 | 2020-09-22 | 中国海洋大学 | 基于深度学习的水下扭曲图像重建方法 |
| CN112019861A (zh) * | 2020-07-20 | 2020-12-01 | 清华大学 | 基于关键帧指导超分辨率的视频压缩方法及装置 |
| CN112580473A (zh) * | 2020-12-11 | 2021-03-30 | 北京工业大学 | 一种融合运动特征的视频超分辨率重构方法 |
| CN113592719A (zh) * | 2021-08-14 | 2021-11-02 | 北京达佳互联信息技术有限公司 | 视频超分辨模型的训练方法、视频处理方法及相应设备 |
| CN113610713A (zh) * | 2021-08-13 | 2021-11-05 | 北京达佳互联信息技术有限公司 | 视频超分辨模型的训练方法、视频超分辨方法及装置 |
| CN117313818A (zh) * | 2023-09-28 | 2023-12-29 | 四川大学 | 对轻量级卷积神经网络训练的方法及终端设备 |
| US11954910B2 (en) | 2020-12-26 | 2024-04-09 | International Business Machines Corporation | Dynamic multi-resolution processing for video classification |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107480772A (zh) * | 2017-08-08 | 2017-12-15 | 浙江大学 | 一种基于深度学习的车牌超分辨率处理方法及*** |
| US20180075581A1 (en) * | 2016-09-15 | 2018-03-15 | Twitter, Inc. | Super resolution using a generative adversarial network |
| CN108921786A (zh) * | 2018-06-14 | 2018-11-30 | 天津大学 | 基于残差卷积神经网络的图像超分辨率重构方法 |
| CN109102462A (zh) * | 2018-08-01 | 2018-12-28 | 中国计量大学 | 一种基于深度学习的视频超分辨率重建方法 |
| CN110120011A (zh) * | 2019-05-07 | 2019-08-13 | 电子科技大学 | 一种基于卷积神经网络和混合分辨率的视频超分辨方法 |
-
2019
- 2019-10-12 CN CN201910967482.0A patent/CN110852944B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180075581A1 (en) * | 2016-09-15 | 2018-03-15 | Twitter, Inc. | Super resolution using a generative adversarial network |
| CN107480772A (zh) * | 2017-08-08 | 2017-12-15 | 浙江大学 | 一种基于深度学习的车牌超分辨率处理方法及*** |
| CN108921786A (zh) * | 2018-06-14 | 2018-11-30 | 天津大学 | 基于残差卷积神经网络的图像超分辨率重构方法 |
| CN109102462A (zh) * | 2018-08-01 | 2018-12-28 | 中国计量大学 | 一种基于深度学习的视频超分辨率重建方法 |
| CN110120011A (zh) * | 2019-05-07 | 2019-08-13 | 电子科技大学 | 一种基于卷积神经网络和混合分辨率的视频超分辨方法 |
Non-Patent Citations (1)
| Title |
|---|
| 杨学峰;王高;程耀瑜: "基于径向基函数的多帧图像超分辨重建算法", 计算机应用, vol. 34, no. 1, pages 142 - 144 * |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111586412A (zh) * | 2020-05-06 | 2020-08-25 | 华为技术有限公司 | 高清视频处理方法、主设备、从设备和芯片*** |
| CN111696049A (zh) * | 2020-05-07 | 2020-09-22 | 中国海洋大学 | 基于深度学习的水下扭曲图像重建方法 |
| CN112019861A (zh) * | 2020-07-20 | 2020-12-01 | 清华大学 | 基于关键帧指导超分辨率的视频压缩方法及装置 |
| CN112019861B (zh) * | 2020-07-20 | 2021-09-14 | 清华大学 | 基于关键帧指导超分辨率的视频压缩方法及装置 |
| CN112580473A (zh) * | 2020-12-11 | 2021-03-30 | 北京工业大学 | 一种融合运动特征的视频超分辨率重构方法 |
| CN112580473B (zh) * | 2020-12-11 | 2024-05-28 | 北京工业大学 | 一种融合运动特征的视频超分辨率重构方法 |
| US11954910B2 (en) | 2020-12-26 | 2024-04-09 | International Business Machines Corporation | Dynamic multi-resolution processing for video classification |
| CN113610713A (zh) * | 2021-08-13 | 2021-11-05 | 北京达佳互联信息技术有限公司 | 视频超分辨模型的训练方法、视频超分辨方法及装置 |
| CN113610713B (zh) * | 2021-08-13 | 2023-11-28 | 北京达佳互联信息技术有限公司 | 视频超分辨模型的训练方法、视频超分辨方法及装置 |
| CN113592719A (zh) * | 2021-08-14 | 2021-11-02 | 北京达佳互联信息技术有限公司 | 视频超分辨模型的训练方法、视频处理方法及相应设备 |
| CN113592719B (zh) * | 2021-08-14 | 2023-11-28 | 北京达佳互联信息技术有限公司 | 视频超分辨模型的训练方法、视频处理方法及相应设备 |
| CN117313818A (zh) * | 2023-09-28 | 2023-12-29 | 四川大学 | 对轻量级卷积神经网络训练的方法及终端设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110852944B (zh) | 2023-11-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110852944B (zh) | 基于深度学习的多帧自适应融合的视频超分辨方法 | |
| CN107507134B (zh) | 基于卷积神经网络的超分辨率方法 | |
| CN111242846B (zh) | 基于非局部增强网络的细粒度尺度图像超分辨率方法 | |
| CN110136062B (zh) | 一种联合语义分割的超分辨率重建方法 | |
| KR102122065B1 (ko) | 보간된 전역 지름길 연결을 적용한 잔류 컨볼루션 신경망을 이용하는 초해상도 추론 방법 및 장치 | |
| CN111932461A (zh) | 一种基于卷积神经网络的自学习图像超分辨率重建方法及*** | |
| CN110363068A (zh) | 一种基于多尺度循环生成式对抗网络的高分辨行人图像生成方法 | |
| CN113793286B (zh) | 一种基于多阶注意力神经网络的媒体图像水印移除方法 | |
| CN113781308A (zh) | 图像超分辨率重建方法、装置、存储介质及电子设备 | |
| CN116091313A (zh) | 一种图像超分辨率网络模型和重建方法 | |
| Purohit et al. | Mixed-dense connection networks for image and video super-resolution | |
| CN114494022B (zh) | 模型训练方法、超分辨率重建方法、装置、设备及介质 | |
| Li et al. | High-resolution network for photorealistic style transfer | |
| CN114881856A (zh) | 一种人体图像超分辨率重建方法、***、装置及存储介质 | |
| CN114841859A (zh) | 基于轻量神经网络和Transformer的单图像超分辨率重建方法 | |
| CN111667401B (zh) | 多层次渐变图像风格迁移方法及*** | |
| CN110895790B (zh) | 基于后验降质信息估计的场景图像超分辨方法 | |
| Peng | Super-resolution reconstruction using multiconnection deep residual network combined an improved loss function for single-frame image | |
| CN116128722A (zh) | 基于频域-纹理特征融合的图像超分辨率重建方法及*** | |
| CN107247944B (zh) | 基于深度学习的人脸检测速度优化方法及装置 | |
| CN113691792B (zh) | 基于3d卷积的视频比特位深扩展方法、装置及介质 | |
| CN108259779A (zh) | 一种利用部分幅面数据实现快速处理大幅面视频图像的方法 | |
| CN114862679A (zh) | 基于残差生成对抗网络的单图超分辨率重建方法 | |
| CN114897690A (zh) | 一种基于串行高频注意力的轻量化图像超分辨率方法 | |
| CN114155152A (zh) | 一种基于历史特征融合的实时超分辨率重建方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |