CN115546030A - 基于孪生超分辨率网络的压缩视频超分辨率方法及*** - Google Patents
基于孪生超分辨率网络的压缩视频超分辨率方法及*** Download PDFInfo
- Publication number
- CN115546030A CN115546030A CN202211515828.1A CN202211515828A CN115546030A CN 115546030 A CN115546030 A CN 115546030A CN 202211515828 A CN202211515828 A CN 202211515828A CN 115546030 A CN115546030 A CN 115546030A
- Authority
- CN
- China
- Prior art keywords
- super
- resolution
- twin
- video
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000012549 training Methods 0.000 claims abstract description 14
- 238000005070 sampling Methods 0.000 claims description 17
- 101100029436 Trypanosoma brucei brucei PFRB gene Proteins 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 5
- 238000007906 compression Methods 0.000 claims description 5
- 230000006835 compression Effects 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 2
- 238000000605 extraction Methods 0.000 claims description 2
- 238000000926 separation method Methods 0.000 claims description 2
- 230000015556 catabolic process Effects 0.000 abstract description 3
- 238000006731 degradation reaction Methods 0.000 abstract description 3
- 230000000052 comparative effect Effects 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 9
- 230000000694 effects Effects 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开了一种基于孪生超分辨率网络的压缩视频超分辨率方法及***，将待处理低分辨率视频输入本实施例的孪生超分辨率网络，获得超分辨率视频；训练时本发明将原始高质量视频进行M‑JPEG格式的压缩。然后将压缩版本和非压缩版本两类数据输入到孪生超分辨率网络中。最后从四个方面约束孪生超分辨率网络的训练，两类视频经编码器提取到的特征应该尽可能靠近；两类视频的超分结果和真实值共同构成了一个三元组，三元组内元素互为正样本；负样本则是压缩数据与传统降质之间的残差超分的结果。通过这样对比学习的方式，孪生超分辨率网络能够最大限度地学习到对压缩视频超分需要的特征参数，获得更精细的超分辨率重建结果。
Description
技术领域
本发明属于人工智能视频处理技术领域，涉及一种视频超分辨率方法及***，具体涉及一种基于孪生超分辨率网络的压缩视频超分辨率方法及***。
背景技术
超分辨率是一种基于深度学习等智能化方法对各类质量不佳的图像和视频处理成高分辨率的技术。近年来，随着深度学习技术的发展，基于深度学习的超分辨率领域正在以前所未有的速度发展。目前，超分辨率技术的应用主要体现在老照片、视频的恢复，重要古代资料的恢复，获得更清晰的监控视频，手机相机的拍照成像等等领域。
传统超分辨率方法在生成高低分辨率训练数据对时，一般对视频进行高斯模糊后再进行四倍下采样以生成低分辨率数据。依据这样的范式，超分模型在近些年来获得了越来越好的表现。然而，不论是将这样训练得到的模型直接应用到压缩数据中，还是将模型简单地在压缩视频数据对上重新训练，都会遭受非常严重的性能损失。视频压缩是视频传输等场景的关键步骤，因此，针对压缩视频进行超分辨率有很强的现实意义。
视频压缩过程损失了高频细节信息，导致压缩视频的超分辨率重建更为困难。对比学习是较为典型的无监督或自监督学习方法，其主要思想是使模型能够更加充分地学习到编码器的特征，尽可能地缩小相似样本之间的距离，拉大压缩视频样本与负样本的距离，从而让聚类的界限更加明显。对比学习作为一种学习策略，在图像超分等领域取得了较好的效果。但一般而言，现存的研究中仅仅简单的将非当前超分视频的帧作为负样本，制约了对比学习的超分效果。
发明内容
为了解决上述技术问题，本发明提出了一种超分辨率网络的压缩视频超分辨率方法及***。基于对比学习的架构，将传统高斯模糊和bicubic下采样的非压缩视频与压缩视频一起输入孪生超分辨率网络中，促使孪生超分辨率网络学习到对压缩失真不敏感的特征表达，获得有利于压缩视频的孪生超分辨率网络。
本发明的方法所采用的技术方案是：一种孪生基于超分辨率网络的压缩视频超分辨率方法，将待处理低分辨率视频输入所述孪生超分辨率网络，获得超分辨率视频；
所述孪生超分辨率网络，由两支并行设置超分辨率网络组成；所述超分辨率网络，包括编码器网络和上采样模块；
所述编码器网络，由两类卷积层和若干PFRB模块组成；第一类卷积层以输入连续三帧图像的中心帧为输入，每帧大小为64×64×3，该卷积层将其大小转换为batchsize×64×64×80的特征图，第二类卷积层以除中心帧外其他的补充帧作为输入，输入数据大小为batchsize×64×64×6，卷积层将这样的数据转换为batchsize×64×64×80的特征图，最后，将这两个特征同上一轮上采样前的超分结果一起，输入连续的PFRB模块中；两种输入对应的两个编码器网络共享一个权重；其中，batchsize为梯度优化的批量样本数；
所述PFRB模块，数据先被输入到三个大小为3×3的卷积层中，这三个卷积层的输入输出通道数均为80，记输出为x1，然后对该卷积层的输出进行拼接，再使用一个1×1的卷积层将总通道数240变换为80，并且将得到的结果分别和x1中的三个结果进行拼接，得到的结果记为x2，最后，将x2中的三个结果分别输入到三个卷积层中，将输入数据的通道数压缩为80，然后将得到的三个结果与最初输入的三个结果对应加和，得到最终的结果；其中，各卷积层之间均使用LeakyReLU激活函数来引入非线性关系；
所述上采样模块，输入数据的大小为batchsize×3×64×64×80，首先经过一个3×3的卷积层，将数据通道数240转换为80，继续输入卷积层中，将通道数80转换为48；使用pytorch中的pixelshuffle函数对数据进行尺度为2的上采样，通道数压缩为12；得到的结果再经过一个卷积层处理，最后使用pixelshuffle函数进行一次尺度为2的上采样；输出的超分数据的尺寸为batchsize×3×256×256×3。
本发明的***所采用的技术方案是：一种孪生基于超分辨率网络的压缩视频超分辨率***，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现所述的孪生基于超分辨率网络的压缩视频超分辨率方法。
本发明的优点和积极效果：
（1）本发明将负样本定义为本样本对应的压缩数据和BD数据的差，相较于过去方法中简单定义为其他的样本相比效果更好。相比于单样本输入网络，负样本，正样本与压缩视频样本一起能促使网络对压缩视频样本进行超分。
（2）本发明实现对压缩视频的超分辨率模型，解决了传统模型在压缩视频上效果急剧下降的问题。
附图说明
图1为本发明实施例的孪生超分辨率网络结构图；
图2为本发明实施例的孪生超分辨率网络训练流程图；
图3为本发明实施例的孪生超分辨率网络先行者与后继者架构图；
图4为本发明实施例的孪生超分辨率网络主观实验结果。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。
现有的卷积神经网络结构在BD降质上能达到很好的效果，但是一旦切换场景，模型的表现将遭受大幅度下降。而将原始帧、BD降质帧和压缩帧这3个耦合样本送入孪生网络进行对比学习，能获得一个在压缩视频上也表现良好的超分辨率模型。
本发明提供的一种孪生基于超分辨率网络的压缩视频超分辨率方法，将待处理低分辨率视频输入本实施例的孪生超分辨率网络，获得超分辨率视频；
请见图1和图4，本实施例的孪生超分辨率网络，由两支并行设置超分辨率网络组成；本实施例的超分辨率网络，包括编码器网络和上采样模块；
本实施例的编码器网络，指的是图1所示网络中除了上采样操作之外的网络结构，它由两类卷积层和若干PFRB模块组成；第一类卷积层以输入连续三帧图像的中心帧为输入，每帧大小为64×64×3，该卷积层将其大小转换为batchsize×64×64×80的特征图，第二类卷积层以除中心帧外其他的补充帧作为输入，输入数据大小为batchsize×64×64×6，卷积层将这样的数据转换为batchsize×64×64×80的特征图，最后，将这两个特征同上一轮上采样前的超分结果一起，输入连续的PFRB模块中；两种输入对应的两个编码器网络共享一个权重；其中，batchsize为梯度优化的批量样本数，本实施例取值16.。
本实施例的PFRB模块，采用ResNet的基本框架，数据先被输入到三个大小为3×3的卷积层中，这三个卷积层的输入输出通道数均为80，记输出为x1，然后对该卷积层的输出进行拼接，再使用一个1×1的卷积层将总通道数240变换为80，并且将得到的结果分别和x1中的三个结果进行拼接，得到的结果记为x2，最后，将x2中的三个结果分别输入到三个卷积层中，将输入数据的通道数压缩为80，然后将得到的三个结果与最初输入的三个结果对应加和，得到最终的结果；其中，各卷积层之间均使用LeakyReLU激活函数来引入非线性关系，使模型的表述能力更强；
本实施例的上采样模块，目的是对输入数据进行上采样以达到超分的目的。上采样模块输入数据的大小为batchsize×3×64×64×80，首先经过一个3×3的卷积层，将数据通道数240转换为80，继续输入卷积层中，将通道数80转换为48；使用pytorch中的pixelshuffle函数对数据进行尺度为2的上采样，通道数压缩为12；得到的结果再经过一个卷积层处理，最后使用pixelshuffle函数进行一次尺度为2的上采样；总体来说，一共进行了尺度为4的上采样，实现了超分过程，输出的超分数据的尺寸为batchsize×3×256×256×3，本实施例中batchsize设置为16。
请见图2，本实施例的孪生超分辨率网络，是训练好的孪生超分辨率网络；其训练过程包括以下步骤：
步骤1：针对包括若干高分辨率连续帧的原始数据集，将原始数据集中视频进行M-JPEG压缩并且bicubic下采样处理得到低分辨率的压缩图像，记为压缩视频；将原始数据集中视频进行高斯模糊并且bicubic下采样处理得到传统低质量图像，记为BD视频；
本实施例中使用的原始数据集名称为MM522，其中包含522个各种类型的视频；本实施例对选择的原始数据集使用python pillow库中的函数读取视频，并使用M-JEPG的格式写入，得到压缩后的视频，最后使用Matlab中的imresize函数对视频进行bicubic下采样。
步骤2：利用编码器网络对输入的视频进行初步的特征提取，对于输入的5维视频数据，编码网络输出一个4维特征，通过LeakyReLU激活函数处理4维特征，主要目的是引入非线性的函数关系，并且约束提取的两个特征之间的损失；
步骤3：分别将提取到的特征送入上采样模块中继续进行超分，输出一个相比于输入长宽放大四倍的视频；分别约束两个输出和真值之间的关系，使其尽可能靠近，做为压缩视频样本和正样本的距离；记超分后的残差、真值视频与压缩视频的差这两者的距离为压缩视频样本与负样本之间的距离，需要在设定范围内尽可能大；
本实施例中，得到BD视频和压缩视频的超分结果，并且将两者与真值做约束，得到损失dis positive ；
其中，y BD 指BD视频超分后的结果，y compress 指压缩视频超分后的结果，gt指真实值，ε表示一个常量，在实验中设置为1e-4，作用是维持损失数值的稳定；将dis positive 记为压缩视频样本和正样本的距离；
考虑负样本以及跟压缩视频样本与负样本的距离，将压缩视频与BD压缩视频做差，得到负样本，记为x nega ；计算负样本和压缩视频样本的距离dis negative ；
其中， M(x nega )、x nega 分别表示负样本输入模型后得到的超分结果和负样本本身，
这里使用的是
的形式。
步骤4：计算总损失，使用反向传播梯度的方式对本实施例的孪生超分辨率网络进行训练；循环执行步骤1-4，将本实施例的孪生超分辨率网络训练到收敛，得到训练好的孪生超分辨率网络。
本实施例根据步骤3中计算得到的压缩视频样本与正样本之间的距离dis positive 和压缩视频样本与负样本之间的距离dis negative ，计算最终的损失；
其中，margin为超参数，用来设定两特征距离之间的间隔，本实施例中设置为0.2；
计算出损失后，使用Adam优化器对本实施例的孪生超分辨率网络进行反向传播并优化。
本实施例的超分辨率网络是先行者网络与后继者网络相结合的运算框架，先行者网络与后继者网络的结构完全相同，即编码器网络与上采样网络的组合。先行与后继概念描述的是数据在模型中的运算方式，详细如图3所示，先行者网络与后继者网络的结构相同，先行者网络的作用是通过“先行”提取在时间序列中处于待恢复帧之后的所有帧的信息，作为后继者最终超分的参考，图中HTs指后继者产生的中间结果；HTp指先行者产生的中间结果；先行者与后继者是同一模型结构，图示架构主要体现了数据输入网络中的处理方式。
本实施例使用该训练策略在MM522训练集训练并在VID4测试集上进行测试，测试
指标为PSNR/SSIM得到结果如下：
| Calendar | City | Foliage | Walk | Avg | |
| 压缩视频超分 | 22.12/0.6949 | 25.55/0.6739 | 24.37/0.6186 | 27.85/0.8376 | 24.97/0.7062 |
本实验首先在生成训练数据集方面，不同于传统模型针对高斯模糊后的样本进行训练，本实验将原始高质量视频进行M-JPEG格式的压缩。然后，将压缩版本和非压缩版本两类数据输入到孪生网络中，孪生网络设计为一个编码器和上采样模块的组合。最后，从四个方面约束模型的训练，两类视频经编码器提取到的特征应该尽可能靠近；两类视频的超分结果和真实值共同构成了一个三元组，三元组内元素互为正样本；负样本则是压缩数据与传统降质之间的残差超分的结果。对于Calendar视频得到的主观结果如图4所示，可以看出，通过这样对比学习的方式，模型能够最大限度地学习到对压缩视频超分需要的特征参数，获得更精细的超分辨率重建结果。
应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。
Claims (5)
1.一种基于孪生超分辨率网络的压缩视频超分辨率方法，其特征在于：将待处理低分辨率视频输入所述孪生超分辨率网络，获得超分辨率视频；
所述孪生超分辨率网络，由两支并行设置超分辨率网络组成；所述超分辨率网络，包括编码器网络和上采样模块；
所述编码器网络，它由两类卷积层和若干PFRB模块组成；第一类卷积层以输入连续三帧图像的中心帧为输入，每帧大小为64×64×3，该卷积层将其大小转换为batchsize×64×64×80的特征图，第二类卷积层以除中心帧外其他的补充帧作为输入，输入数据大小为batchsize×64×64×6，卷积层将这样的数据转换为batchsize×64×64×80的特征图，最后，将这两个特征同上一轮上采样前的超分结果一起，输入连续的PFRB模块中；两种输入对应的两个编码器网络共享一个权重；其中，batchsize为梯度优化的批量样本数；
所述PFRB模块，数据先被输入到三个大小为3×3的卷积层中，这三个卷积层的输入输出通道数均为80，记输出为x1，然后对该卷积层的输出进行拼接，再使用一个1×1的卷积层将总通道数240变换为80，并且将得到的结果分别和x1中的三个结果进行拼接，得到的结果记为x2，最后，将x2中的三个结果分别输入到三个卷积层中，将输入数据的通道数压缩为80，然后将得到的三个结果与最初输入的三个结果对应加和，得到最终的结果；其中，各卷积层之间均使用LeakyReLU激活函数来引入非线性关系；
所述上采样模块，输入数据的大小为batchsize×3×64×64×80，首先经过一个3×3的卷积层，将数据通道数240转换为80，继续输入卷积层中，将通道数80转换为48；使用pytorch中的pixelshuffle函数对数据进行尺度为2的上采样，通道数压缩为12；得到的结果再经过一个卷积层处理，最后使用pixelshuffle函数进行一次尺度为2的上采样；输出的超分数据的尺寸为batchsize×3×256×256×3。
2.根据权利要求1所述的基于孪生超分辨率网络的压缩视频超分辨率方法，其特征在于：所述孪生超分辨率网络，是训练好的孪生超分辨率网络；其训练过程包括以下步骤：
步骤1：针对包括若干高分辨率连续帧的原始数据集，将原始数据集中视频进行M-JPEG压缩并且bicubic下采样处理得到低分辨率的压缩图像，记为压缩视频；将原始数据集中视频进行高斯模糊并且bicubic下采样处理得到传统低质量图像，记为BD视频；
步骤2：利用编码器网络对输入的视频进行初步的特征提取，对于输入的5维视频数据，编码网络输出一个4维特征，通过LeakyReLU激活函数处理4维特征，引入非线性的函数关系，并且约束提取的两个特征之间的损失；
步骤3：分别将提取到的特征送入上采样模块中继续进行超分，输出一个相比于输入长宽放大四倍的视频；分别约束两个输出和真值之间的关系，使其尽可能靠近，做为压缩视频样本和正样本的距离；记超分后的残差、真值视频与压缩视频的差这两者的距离为压缩视频样本与负样本之间的距离，需要在设定范围内尽可能大；
步骤4：计算总损失，使用反向传播梯度的方式对所述孪生超分辨率网络进行训练；循环执行步骤1-4，将所述孪生超分辨率网络训练到收敛，得到训练好的孪生超分辨率网络。
3.根据权利要求2所述的基于孪生超分辨率网络的压缩视频超分辨率方法，其特征在于：步骤3中，得到BD视频和压缩视频的超分结果，并且将两者与真值做约束，得到损失dis positive ；
其中，y BD 指BD视频超分后的结果，y compress 指压缩视频超分后的结果，gt指真实值，ε表示一个常量；将dis positive 记为压缩视频样本和正样本的距离；
将压缩视频与BD压缩视频做差，得到负样本，记为x nega ；计算负样本和压缩视频样本的距离dis negative ；
其中， M(x nega )、x nega 分别表示负样本输入模型后得到的超分结果和负样本本身。
4.根据权利要求2所述的基于孪生超分辨率网络的压缩视频超分辨率方法，其特征在于：步骤4中，根据步骤3中计算得到的压缩视频样本与正样本之间的距离dis positive 和压缩视频样本与负样本之间的距离dis negative ，计算最终的损失；
其中，margin为超参数，用来设定两特征距离之间的间隔；
计算出损失后，使用Adam优化器对所述孪生超分辨率网络进行反向传播并优化。
5.一种基于孪生超分辨率网络的压缩视频超分辨率***，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至4中任一项所述的基于孪生超分辨率网络的压缩视频超分辨率方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211515828.1A CN115546030B (zh) | 2022-11-30 | 2022-11-30 | 基于孪生超分辨率网络的压缩视频超分辨率方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211515828.1A CN115546030B (zh) | 2022-11-30 | 2022-11-30 | 基于孪生超分辨率网络的压缩视频超分辨率方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115546030A true CN115546030A (zh) | 2022-12-30 |
| CN115546030B CN115546030B (zh) | 2023-04-07 |
Family
ID=84722535
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211515828.1A Active CN115546030B (zh) | 2022-11-30 | 2022-11-30 | 基于孪生超分辨率网络的压缩视频超分辨率方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115546030B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117058002A (zh) * | 2023-10-12 | 2023-11-14 | 深圳云天畅想信息科技有限公司 | 视频帧超分辨率重构方法、装置及计算机设备 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109118431A (zh) * | 2018-09-05 | 2019-01-01 | 武汉大学 | 一种基于多记忆及混合损失的视频超分辨率重建方法 |
| WO2020015167A1 (zh) * | 2018-07-17 | 2020-01-23 | 西安交通大学 | 一种基于融合网络的图像超分辨率及去非均匀模糊方法 |
| CN111833246A (zh) * | 2020-06-02 | 2020-10-27 | 天津大学 | 基于注意力级联网络的单帧图像超分辨方法 |
| CN112183675A (zh) * | 2020-11-10 | 2021-01-05 | 武汉工程大学 | 一种基于孪生网络的针对低分辨率目标的跟踪方法 |
| US20210112261A1 (en) * | 2019-10-10 | 2021-04-15 | Lg Electronics Inc. | Method and apparatus for compressing or restoring image |
| WO2021104381A1 (en) * | 2019-11-27 | 2021-06-03 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Method and device for stylizing video and storage medium |
| CN113538248A (zh) * | 2021-08-19 | 2021-10-22 | 南京航空航天大学 | 一种基于数字孪生的γ光子图像超分辨率图像增强方法 |
| US20220021887A1 (en) * | 2020-07-14 | 2022-01-20 | Wisconsin Alumni Research Foundation | Apparatus for Bandwidth Efficient Video Communication Using Machine Learning Identified Objects Of Interest |
| CN114170088A (zh) * | 2021-12-15 | 2022-03-11 | 中山大学 | 一种基于图结构数据的关系型强化学习***及方法 |
| WO2022057837A1 (zh) * | 2020-09-16 | 2022-03-24 | 广州虎牙科技有限公司 | 图像处理和人像超分辨率重建及模型训练方法、装置、电子设备及存储介质 |
| CN115052187A (zh) * | 2022-04-26 | 2022-09-13 | 复旦大学 | 一种基于在线训练的超分辨率直播*** |
| CN115409716A (zh) * | 2022-11-01 | 2022-11-29 | 杭州网易智企科技有限公司 | 视频处理方法、装置、存储介质及设备 |
-
2022
- 2022-11-30 CN CN202211515828.1A patent/CN115546030B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020015167A1 (zh) * | 2018-07-17 | 2020-01-23 | 西安交通大学 | 一种基于融合网络的图像超分辨率及去非均匀模糊方法 |
| CN109118431A (zh) * | 2018-09-05 | 2019-01-01 | 武汉大学 | 一种基于多记忆及混合损失的视频超分辨率重建方法 |
| US20210112261A1 (en) * | 2019-10-10 | 2021-04-15 | Lg Electronics Inc. | Method and apparatus for compressing or restoring image |
| WO2021104381A1 (en) * | 2019-11-27 | 2021-06-03 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Method and device for stylizing video and storage medium |
| CN111833246A (zh) * | 2020-06-02 | 2020-10-27 | 天津大学 | 基于注意力级联网络的单帧图像超分辨方法 |
| US20220021887A1 (en) * | 2020-07-14 | 2022-01-20 | Wisconsin Alumni Research Foundation | Apparatus for Bandwidth Efficient Video Communication Using Machine Learning Identified Objects Of Interest |
| WO2022057837A1 (zh) * | 2020-09-16 | 2022-03-24 | 广州虎牙科技有限公司 | 图像处理和人像超分辨率重建及模型训练方法、装置、电子设备及存储介质 |
| CN112183675A (zh) * | 2020-11-10 | 2021-01-05 | 武汉工程大学 | 一种基于孪生网络的针对低分辨率目标的跟踪方法 |
| CN113538248A (zh) * | 2021-08-19 | 2021-10-22 | 南京航空航天大学 | 一种基于数字孪生的γ光子图像超分辨率图像增强方法 |
| CN114170088A (zh) * | 2021-12-15 | 2022-03-11 | 中山大学 | 一种基于图结构数据的关系型强化学习***及方法 |
| CN115052187A (zh) * | 2022-04-26 | 2022-09-13 | 复旦大学 | 一种基于在线训练的超分辨率直播*** |
| CN115409716A (zh) * | 2022-11-01 | 2022-11-29 | 杭州网易智企科技有限公司 | 视频处理方法、装置、存储介质及设备 |
Non-Patent Citations (1)
| Title |
|---|
| 熊昌镇等: "基于孪生网络的跟踪算法综述", 《工业控制计算机》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117058002A (zh) * | 2023-10-12 | 2023-11-14 | 深圳云天畅想信息科技有限公司 | 视频帧超分辨率重构方法、装置及计算机设备 |
| CN117058002B (zh) * | 2023-10-12 | 2024-02-02 | 深圳云天畅想信息科技有限公司 | 视频帧超分辨率重构方法、装置及计算机设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115546030B (zh) | 2023-04-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109886871B (zh) | 基于通道注意力机制和多层特征融合的图像超分辨率方法 | |
| CN113362223B (zh) | 基于注意力机制和双通道网络的图像超分辨率重建方法 | |
| CN108122197B (zh) | 一种基于深度学习的图像超分辨率重建方法 | |
| CN111179167B (zh) | 一种基于多阶段注意力增强网络的图像超分辨方法 | |
| CN111028150A (zh) | 一种快速时空残差注意力视频超分辨率重建方法 | |
| CN109785252B (zh) | 基于多尺度残差密集网络夜间图像增强方法 | |
| CN112102163B (zh) | 基于多尺度运动补偿框架和递归学习的连续多帧图像超分辨率重建方法 | |
| CN108989731B (zh) | 一种提高视频空间分辨率的方法 | |
| CN115546030B (zh) | 基于孪生超分辨率网络的压缩视频超分辨率方法及*** | |
| CN112288630A (zh) | 一种基于改进的广泛深度神经网络的超分辨率图像重建方法及*** | |
| CN114757828A (zh) | 基于Transformer的视频时空超分辨率方法 | |
| Chen et al. | Image denoising via deep network based on edge enhancement | |
| Yue et al. | A global appearance and local coding distortion based fusion framework for CNN based filtering in video coding | |
| Amaranageswarao et al. | Residual learning based densely connected deep dilated network for joint deblocking and super resolution | |
| CN113379606A (zh) | 一种基于预训练生成模型的人脸超分辨方法 | |
| CN117408924A (zh) | 一种基于多重语义特征融合网络的低光照图像增强方法 | |
| CN110177229B (zh) | 基于多任务对抗学习的视频转换方法、存储介质及终端 | |
| CN116309078A (zh) | 一种基于多角度知识蒸馏的单幅图像超分辨率方法 | |
| CN112348745B (zh) | 一种基于残差卷积网络的视频超分辨率重构方法 | |
| Liu et al. | A new low bit-rate coding scheme for ultra high definition video based on super-resolution reconstruction | |
| Li et al. | Super-resolution of fisheye rectified image based on deep multi-path cascaded network | |
| CN115601242B (zh) | 一种适用于硬件部署的轻量级图像超分辨率重建方法 | |
| CN117528085B (zh) | 一种基于智能特征聚类的视频压缩编码方法 | |
| CN115861078B (zh) | 基于双向时空递归传播神经网络的视频增强方法及*** | |
| CN112613561B (zh) | 一种east算法优化方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |