CN112488922A - 一种基于光流插值的超分辨率处理方法 - Google Patents
一种基于光流插值的超分辨率处理方法 Download PDFInfo
- Publication number
- CN112488922A CN112488922A CN202011431240.9A CN202011431240A CN112488922A CN 112488922 A CN112488922 A CN 112488922A CN 202011431240 A CN202011431240 A CN 202011431240A CN 112488922 A CN112488922 A CN 112488922A
- Authority
- CN
- China
- Prior art keywords
- optical flow
- interpolation
- frame
- time
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003287 optical effect Effects 0.000 title claims abstract description 78
- 238000003672 processing method Methods 0.000 title claims abstract description 14
- 238000000034 method Methods 0.000 claims abstract description 29
- 238000013528 artificial neural network Methods 0.000 claims abstract description 4
- 230000002457 bidirectional effect Effects 0.000 claims description 8
- 230000000694 effects Effects 0.000 claims description 7
- 238000003062 neural network model Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 7
- 230000015572 biosynthetic process Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000003786 synthesis reaction Methods 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 5
- 230000006870 function Effects 0.000 claims description 4
- 230000002123 temporal effect Effects 0.000 claims description 4
- 230000001419 dependent effect Effects 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000011160 research Methods 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 2
- 238000013527 convolutional neural network Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000001427 coherent effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241001417519 Priacanthidae Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Television Systems (AREA)
Abstract
本发明公开了一种基于光流插值的超分辨率处理方法，将输入的两幅图像扭曲到特定的时间步长，然后自适应地融合这两幅扭曲图像，生成中间图像，其中的运动解释和遮挡推理在单个端到端可训练网络中建模，本发明基于卷积神经网络模型，实现了端到端的可变长多帧视频插值，通过视频插值提高运动视频帧率，同时可以在两帧之间的任意时间步长进行插值，实现让手机拍摄的视频也能够高清慢速播放，相较目前普遍使用的单帧插值方法，所学习的网络参数都不依赖于时间，因此本方法能够根据需要生成尽可能多的中间帧，可直接用于生成任意高帧率的视频，另外通过深度神经网络，对视频中缺失的帧进行预测并补全。
Description
技术领域
本发明涉及图像处理技术领域，具体为一种基于光流插值的超分辨率处理方法。
背景技术
在生活中，像我们用智能手机拍的视频，记录下生活中很多美好，总有那么一些细节，你瞪大双眼拼了命想看清却依然奈何不了，因此需要通过慢速回放功能来观看，而在现有技术中用于提高视频帧率的方法主要有以下三种：使用高速摄像头拍摄运动视频；使用手机记录标准帧速率来记录视频；使用计算机视觉算法处理；其中高速摄像机是一种能够以小于1/1000秒的曝光或超过每秒250帧的帧速率捕获运动图像的设备；而手机记录，是通过视频处理软件将标准帧视频转换为更高的帧速率；使用计算机处理，主要使用视频插值算法实现平滑的视图转换；
但是现有的技术方案均有各自的缺点和局限，使用高速摄像头的拍摄方案，存在高速摄像设备价格高昂、设备沉重、不便携、对高速摄像设备存储空间要求高的问题；
使用手机的拍摄方案存在对手机内存要求高、拍摄过程中耗电量巨大、手机拍摄的视频需要经过帧率转换处理才可播放；
基于视频插值的方法，存在不能直接用于生成任意高帧率视频。
发明内容
本发明提供一种基于光流插值的超分辨率处理方法，可以有效解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种基于光流插值的超分辨率处理方法，具体包括如下步骤：
S1、给定两个连续帧，在两个连续帧之间的任意时间步长进行任意时刻光流插值；
S2、使用U-Net架构计算输入图像之间的双向光流；
S3、在每个时间步长线性地组合这些流以近似中间双向光流；
S4、两个输入图像被扭曲并线性融合以形成每个中间帧，以合成中间帧图像。
基于上述技术方案，优选的，所述S1中，在视频内插帧，旨在生成中间帧以形成空间和时间相干的视频序列，提出一种用于可变长度多帧视频插值的端到端卷积神经网络，其中运动解释和遮挡推理是联合建模的；
所述S2中，U-Net神经网络模型是一个全卷积网络，由解码器和编码器组成，在每一部分我们采用由两层卷积和一层平滑ReLU构成的结构，共6层，在每一层最后采用一个步长为2的平均值池化层，用以降低特征维度，实现光流计算和光流插值网络。
基于上述技术方案，优选的，所述S3中，近似中间双向光流仅适用于局部平滑区域并在运动边界周围产生伪影，为了解决这个缺点，我们采用另一个U-Net来改进近似流并预测软可见性图；
所述S4中，中间帧图像合成之前将可见性图应用于变形图像，排除了被遮挡像素对内插中间帧的贡献以避免伪像，使学习的网络参数不依赖于时间，方便根据需要生成尽可能多的中间帧。
基于上述技术方案，优选的，所述合成中间帧图像：给到I0，I1两个时刻的图像，以及我们想要预测的中间时刻t∈(0,1)，目标是要预测中间时刻T＝t的图像帧
最直接的方式是训练一个可以直接预测
图像帧中每个像素的神经网络模型，为做到预测每一个像素值，网络模型不仅需要学习视频人物的运动模式，更需要学习如何表达两张图像内容，由于RGB图像丰富的颜色空间，这种方式难以生成高清的中间图像，借鉴单帧中间插值方法的研究进展，提出融合两个时刻的输入图像，得到中间t时刻图像的方法：
假设Ft→0与Ft→1分别为输入图像It到I0的光流和输入图像It到I1的光流，当获得这两个光流后，我们便可以合成中间时刻t的图像，公式如下：
其中，g(·,·)是一个后向变形函数，可以使用双向插值实现，同时也是可微的，参数α0控制两幅图像的比率，大小取决于时序一致性和空间一致性，
表示逐像素相乘，实现算法对图像内容的关注，时序一致性方面，时刻T＝t和时刻T＝0越接近，I0对
的贡献就越大。
基于上述技术方案，优选的，所述视频插帧中，一个重要的定律是：如果一个像素p在T＝t时刻是可见的，则该像素至少在时刻T＝0或T＝1时刻可见，因此，模糊问题在视频插帧中是可以解决的，我们引入可见图的概念；
假设在时刻T＝0和时刻T＝1，可见图分别为：Vt←0和Vt←1，Vt←0(p)∈[0,1]表示像素p在时刻0到时刻t是否保持可见状态，数值0表示完全不可见，把像素状态整合进图像帧生成过程中，得到如下公式：
其中正则化参数Z＝(1-t)Vt→0+tVt→1。
基于上述技术方案，优选的，所述任意时刻光流插值：由于中间帧图像It不是输入图像，我们很难直接计算光流Ft→0和Ft→1，为了解决这个问题，我们能够通过两张输入图像之间的光流F0→1，F1→0来生成中间光流Ft→0，Ft→1。
基于上述技术方案，优选的，所述插值平滑化：减少在运动边界上的“伪影”现象导致的图像合成效果差的问题，使用模型学习的方法完善初始的预估结果，在层级光流预测方法的基础上，设计一个光流插帧预测子网络，该网络的输入包括两张输入图像I0与I1，输入图像之间的光流F0→1和F1→0，光流预估
和
以及两个整合后的光流预测结果
和
输出优化后的中间光流场Ft→1和Ft→0。
与现有技术相比，本发明的有益效果：本发明基于卷积神经网络模型，实现了端到端的可变长多帧视频插值，通过视频插值提高运动视频帧率，同时可以在两帧之间的任意时间步长进行插值，实现让手机拍摄的视频也能够高清慢速播放，相较目前普遍使用的单帧插值方法，所学习的网络参数都不依赖于时间，因此本方法能够根据需要生成尽可能多的中间帧，可直接用于生成任意高帧率的视频；
另外，通过深度神经网络，对视频中缺失的帧进行预测并补全，从而生成连续慢速回放的效果，且能够排除原视频帧当中被遮挡的像素，从而避免在生成的内插中间帧里产生模糊的伪像。
其次，本发明无须使用高昂的高速摄像机拍摄视频，使用手机或任意摄像设备完成运动视频拍摄即可；
避免了被遮挡像素对内插中间帧的贡献，有效避免了视频帧插值过程中由于运动遮挡造成的“伪影”问题。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1是本发明处理方法的步骤流程图；
图2是本发明的中间帧光流预估示意图；
图3是本发明光流插值结果的预测示意图；
图4是本发明可见图的效果示意图；
图5是本发明的U-Net网络结构示意图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
实施例：如图1所示，本发明提供一种技术方案，一种基于光流插值的超分辨率处理方法，具体包括如下步骤：
S1、给定两个连续帧，在两个连续帧之间的任意时间步长进行任意时刻光流插值；
S2、使用U-Net架构计算输入图像之间的双向光流；
S3、在每个时间步长线性地组合这些流以近似中间双向光流；
S4、两个输入图像被扭曲并线性融合以形成每个中间帧，以合成中间帧图像。
基于上述技术方案，S1中，在视频内插帧，旨在生成中间帧以形成空间和时间相干的视频序列，提出一种用于可变长度多帧视频插值的端到端卷积神经网络，其中运动解释和遮挡推理是联合建模的；
如图5所示，S2中，U-Net神经网络模型是一个全卷积网络，由解码器和编码器组成，在每一部分我们采用由两层卷积和一层平滑ReLU构成的结构，共6层，在每一层最后采用一个步长为2的平均值池化层，用以降低特征维度，实现光流计算和光流插值网络。
基于上述技术方案，S3中，近似中间双向光流仅适用于局部平滑区域并在运动边界周围产生伪影，为了解决这个缺点，我们采用另一个U-Net来改进近似流并预测软可见性图；
S4中，中间帧图像合成之前将可见性图应用于变形图像，排除了被遮挡像素对内插中间帧的贡献以避免伪像，使学习的网络参数不依赖于时间，方便根据需要生成尽可能多的中间帧。
基于上述技术方案，合成中间帧图像：给到I0，I1两个时刻的图像，以及我们想要预测的中间时刻t∈(0,1)，目标是要预测中间时刻T＝t的图像帧
最直接的方式是训练一个可以直接预测
图像帧中每个像素的神经网络模型，为做到预测每一个像素值，网络模型不仅需要学习视频人物的运动模式，更需要学习如何表达两张图像内容，由于RGB图像丰富的颜色空间，这种方式难以生成高清的中间图像，借鉴单帧中间插值方法的研究进展，提出融合两个时刻的输入图像，得到中间t时刻图像的方法：
假设Ft→0与Ft→1分别为输入图像It到I0的光流和输入图像It到I1的光流，当获得这两个光流后，我们便可以合成中间时刻t的图像，公式如下：
其中，g(·,·)是一个后向变形函数，可以使用双向插值实现，同时也是可微的，参数α0控制两幅图像的比率，大小取决于时序一致性和空间一致性，
表示逐像素相乘，实现算法对图像内容的关注，时序一致性方面，时刻T＝t和时刻T＝0越接近，I0对
的贡献就越大。
基于上述技术方案，视频插帧中，一个重要的定律是：如果一个像素p在T＝t时刻是可见的，则该像素至少在时刻T＝0或T＝1时刻可见，因此，模糊问题在视频插帧中是可以解决的，我们引入可见图的概念；
假设在时刻T＝0和时刻T＝1，可见图分别为：Vt←0和Vt←1，Vt←0(p)∈[0,1]表示像素p在时刻0到时刻t是否保持可见状态，数值0表示完全不可见，把像素状态整合进图像帧生成过程中，得到如下公式：
其中正则化参数Z＝(1-t)Vt→0+tVt→1。
基于上述技术方案，任意时刻光流插值：由于中间帧图像It不是输入图像，我们很难直接计算光流Ft→0和Ft→1，为了解决这个问题，我们能够通过两张输入图像之间的光流F0→1，F1→0来生成中间光流Ft→0，Ft→1；
如图2所示，每一列表示一个时刻，每个点表示一个特定像素点，对图中点p，我们希望生成该点在T＝1时刻的光流，一种可行的方式是借用该点对应的T＝0和T＝1时刻的光流信息；
因此，Ft→1(p)可由如下公式计算得到：
这里我们从相同或相反方向计算两张输入图像的光流，与RGB图像生成中的时序一致性类似，我们公式合并两张输入图像两个方向的光流，从而预测中间帧的光流，如下：
基于上述技术方案，插值平滑化：减少在运动边界上的“伪影”现象导致的图像合成效果差的问题，使用模型学习的方法完善初始的预估结果，在层级光流预测方法的基础上，设计一个光流插帧预测子网络，该网络的输入包括两张输入图像I0与I1，输入图像之间的光流F0→1和F1→0，光流预估
和
以及两个整合后的光流预测结果
和
输出优化后的中间光流场Ft→1和Ft→0。
如图3所示，示例结果，其中t＝0.5，整个画面是向左移动的，同时摩托车相对画面向左移动，最后一行的结果显示我们光流插值模型对运动边界的优化效果，图中像素白度越高，说明优化效果越好；
可见图对于处理模糊问题非常有效，因此，我们使用光流模型同时预测了两张可见图Vt←0,Vt←1，两者之间满足如下的约束关系：
Vt←0＝1-Vt←1 (6)
实际上，Vt←0(p)＝0意味着Vt←1(p)＝1，即像素点p在T＝0时刻是被遮挡的，但在T＝1时刻释放，因为很少有像素点在T＝t时刻被遮挡时，同时在T＝0，T＝1时刻也被遮挡，使用了可见图后，当像素点p在I0，I1均可见时，我们将融合两张图像的信息；
如图4所示，t＝0.5，从T＝0到T＝1时刻，图中运动员胳膊往下方移动，所以对于运动员胳膊右上方的区域，若在T＝0可见，则在t时刻也可见；
若在T＝1时刻的右上方区域，在t时刻不可见，图3中第四列的图像较好的反应了这一点，Vt←0中胳膊附近的白色区域表示I0中的这些像素对生成
贡献较大。
为了做光流插值，我们首先需要计算两张输入图像之间的双向插值，使用深度学习的光流计算方法最近取得了突破，我们通过训练一个光流计算卷积网络，接收两张输入图像，同时预估前向光流F0→1以及后向光流F1→0，为了实现光流计算和光流插值网络，我们采用了UNet神经网络模型。
本发明的工作原理及使用流程：
最后应说明的是：以上所述仅为本发明的优选实例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (7)
1.一种基于光流插值的超分辨率处理方法，其特征在于：具体包括如下步骤：
S1、给定两个连续帧，在两个连续帧之间的任意时间步长进行任意时刻光流插值；
S2、使用U-Net架构计算输入图像之间的双向光流；
S3、在每个时间步长线性地组合这些流以近似中间双向光流；
S4、两个输入图像被扭曲并线性融合以形成每个中间帧，以合成中间帧图像。
2.根据权利要求1所述的一种基于光流插值的超分辨率处理方法，其特征在于：所述S1中，在视频内插帧，旨在生成中间帧以形成空间和时间相干的视频序列，提出一种用于可变长度多帧视频插值的端到端卷积神经网络，其中运动解释和遮挡推理是联合建模的；
所述S2中，U-Net神经网络模型是一个全卷积网络，由解码器和编码器组成，在每一部分我们采用由两层卷积和一层平滑ReLU构成的结构，共6层，在每一层最后采用一个步长为2的平均值池化层，用以降低特征维度，实现光流计算和光流插值网络。
3.根据权利要求1所述的一种基于光流插值的超分辨率处理方法，其特征在于：所述S3中，近似中间双向光流仅适用于局部平滑区域并在运动边界周围产生伪影，为了解决这个缺点，我们采用另一个U-Net来改进近似流并预测软可见性图；
所述S4中，中间帧图像合成之前将可见性图应用于变形图像，排除了被遮挡像素对内插中间帧的贡献以避免伪像，使学习的网络参数不依赖于时间，方便根据需要生成尽可能多的中间帧。
4.根据权利要求1所述的一种基于光流插值的超分辨率处理方法，其特征在于：所述合成中间帧图像：给到I0，I1两个时刻的图像，以及我们想要预测的中间时刻t∈(0,1)，目标是要预测中间时刻T＝t的图像帧
最直接的方式是训练一个可以直接预测
图像帧中每个像素的神经网络模型，为做到预测每一个像素值，网络模型不仅需要学习视频人物的运动模式，更需要学习如何表达两张图像内容，由于RGB图像丰富的颜色空间，这种方式难以生成高清的中间图像，借鉴单帧中间插值方法的研究进展，提出融合两个时刻的输入图像，得到中间t时刻图像的方法：
假设Ft→0与Ft→1分别为输入图像It到I0的光流和输入图像It到I1的光流，当获得这两个光流后，我们便可以合成中间时刻t的图像，公式如下：
其中，g(·,·)是一个后向变形函数，可以使用双向插值实现，同时也是可微的，参数α0控制两幅图像的比率，大小取决于时序一致性和空间一致性，⊙表示逐像素相乘，实现算法对图像内容的关注，时序一致性方面，时刻T＝t和时刻T＝0越接近，I0对
的贡献就越大。
5.根据权利要求4所述的一种基于光流插值的超分辨率处理方法，其特征在于：所述视频插帧中，一个重要的定律是：如果一个像素p在T＝t时刻是可见的，则该像素至少在时刻T＝0或T＝1时刻可见，因此，模糊问题在视频插帧中是可以解决的，我们引入可见图的概念；
假设在时刻T＝0和时刻T＝1，可见图分别为：Vt←0和Vt←1，Vt←0(p)∈[0,1]表示像素p在时刻0到时刻t是否保持可见状态，数值0表示完全不可见，把像素状态整合进图像帧生成过程中，得到如下公式：
其中正则化参数Z＝(1-t)Vt→0+tVt→1。
6.根据权利要求1所述的一种基于光流插值的超分辨率处理方法，其特征在于：所述任意时刻光流插值：由于中间帧图像It不是输入图像，我们很难直接计算光流Ft→0和Ft→1，为了解决这个问题，我们能够通过两张输入图像之间的光流F0→1，F1→0来生成中间光流Ft→0，Ft→1。
7.根据权利要求1所述的一种基于光流插值的超分辨率处理方法，其特征在于：所述插值平滑化：减少在运动边界上的“伪影”现象导致的图像合成效果差的问题，使用模型学习的方法完善初始的预估结果，在层级光流预测方法的基础上，设计一个光流插帧预测子网络，该网络的输入包括两张输入图像I0与I1，输入图像之间的光流F0→1和F1→0，光流预估
和
以及两个整合后的光流预测结果
和
输出优化后的中间光流场Ft→1和Ft→0。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011431240.9A CN112488922B (zh) | 2020-12-08 | 2020-12-08 | 一种基于光流插值的超分辨率处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011431240.9A CN112488922B (zh) | 2020-12-08 | 2020-12-08 | 一种基于光流插值的超分辨率处理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112488922A true CN112488922A (zh) | 2021-03-12 |
| CN112488922B CN112488922B (zh) | 2023-09-12 |
Family
ID=74941024
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011431240.9A Active CN112488922B (zh) | 2020-12-08 | 2020-12-08 | 一种基于光流插值的超分辨率处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112488922B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113362230A (zh) * | 2021-07-12 | 2021-09-07 | 昆明理工大学 | 一种基于小波变换的可逆流模型图像超分辨率的方法 |
| CN114422852A (zh) * | 2021-12-16 | 2022-04-29 | 阿里巴巴（中国）有限公司 | 视频播放方法、存储介质、处理器和*** |
| CN114494023A (zh) * | 2022-04-06 | 2022-05-13 | 电子科技大学 | 一种基于运动补偿与稀疏增强的视频超分辨率实现方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140307982A1 (en) * | 2013-04-16 | 2014-10-16 | The Government Of The United States Of America, As Represented By The Secretary Of The Navy | Multi-frame super-resolution of image sequence with arbitrary motion patterns |
| CN109379550A (zh) * | 2018-09-12 | 2019-02-22 | 上海交通大学 | 基于卷积神经网络的视频帧率上变换方法及*** |
| CN110351511A (zh) * | 2019-06-28 | 2019-10-18 | 上海交通大学 | 基于场景深度估计的视频帧率上变换***及方法 |
| CN110913218A (zh) * | 2019-11-29 | 2020-03-24 | 合肥图鸭信息科技有限公司 | 一种视频帧预测方法、装置及终端设备 |
| CN113342797A (zh) * | 2021-06-30 | 2021-09-03 | 亿景智联(北京)科技有限公司 | 基于蒙特卡洛法的地理社区画像缺失预测方法 |
-
2020
- 2020-12-08 CN CN202011431240.9A patent/CN112488922B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140307982A1 (en) * | 2013-04-16 | 2014-10-16 | The Government Of The United States Of America, As Represented By The Secretary Of The Navy | Multi-frame super-resolution of image sequence with arbitrary motion patterns |
| CN109379550A (zh) * | 2018-09-12 | 2019-02-22 | 上海交通大学 | 基于卷积神经网络的视频帧率上变换方法及*** |
| CN110351511A (zh) * | 2019-06-28 | 2019-10-18 | 上海交通大学 | 基于场景深度估计的视频帧率上变换***及方法 |
| CN110913218A (zh) * | 2019-11-29 | 2020-03-24 | 合肥图鸭信息科技有限公司 | 一种视频帧预测方法、装置及终端设备 |
| CN113342797A (zh) * | 2021-06-30 | 2021-09-03 | 亿景智联(北京)科技有限公司 | 基于蒙特卡洛法的地理社区画像缺失预测方法 |
Non-Patent Citations (3)
| Title |
|---|
| KANAEV A V等: "Multi-frame super-resolution algorithm for complex motion patterns.", 《OPTICS EXPRESS》, vol. 21, no. 17, pages 19850 - 66 * |
| 毛一鸣;王建明;晏涛;陈丽芳;刘渊;: "基于空间平面分割和投影变换的光场图像拼接算法", 激光与光电子学进展, no. 10, pages 113 - 120 * |
| 龙古灿;张小虎;于起峰;: "用于视频图像帧间运动补偿的深度卷积神经网络", 国防科技大学学报, no. 05, pages 143 - 148 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113362230A (zh) * | 2021-07-12 | 2021-09-07 | 昆明理工大学 | 一种基于小波变换的可逆流模型图像超分辨率的方法 |
| CN113362230B (zh) * | 2021-07-12 | 2024-04-05 | 昆明理工大学 | 一种基于小波变换的可逆流模型图像超分辨率的方法 |
| CN114422852A (zh) * | 2021-12-16 | 2022-04-29 | 阿里巴巴（中国）有限公司 | 视频播放方法、存储介质、处理器和*** |
| CN114494023A (zh) * | 2022-04-06 | 2022-05-13 | 电子科技大学 | 一种基于运动补偿与稀疏增强的视频超分辨率实现方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112488922B (zh) | 2023-09-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112488922B (zh) | 一种基于光流插值的超分辨率处理方法 | |
| US11699217B2 (en) | Generating gaze corrected images using bidirectionally trained network | |
| Jiang et al. | Super slomo: High quality estimation of multiple intermediate frames for video interpolation | |
| CN109118431B (zh) | 一种基于多记忆及混合损失的视频超分辨率重建方法 | |
| WO2020037965A1 (zh) | 一种用于视频预测的多运动流深度卷积网络模型方法 | |
| CN102158712B (zh) | 一种基于视觉的多视点视频信号编码方法 | |
| WO2019135916A1 (en) | Motion blur simulation | |
| JP2009303236A (ja) | 適応的画像安定 | |
| US20230126515A1 (en) | Methods and apparatus for applying motion blur to overcaptured content | |
| CN108924528B (zh) | 一种基于深度学习的双目风格化实时渲染方法 | |
| CN106878612A (zh) | 一种基于在线全变差优化的视频稳定方法 | |
| JP2007280283A (ja) | 動画像の高解像度化方法及び装置 | |
| CN114339030A (zh) | 一种基于自适应可分离卷积的网络直播视频稳像方法 | |
| Zhao et al. | Reconstructing clear image for high-speed motion scene with a retina-inspired spike camera | |
| KR102242343B1 (ko) | 고해상도 동영상 프레임 율 고속 변환 방법 및 장치 | |
| CN102067607A (zh) | 图像合成编码方法、图像合成编码装置、摄像*** | |
| Isikdogan et al. | Eye contact correction using deep neural networks | |
| CN110276739B (zh) | 一种基于深度学习的视频去抖方法 | |
| CN114390188B (zh) | 一种图像处理方法和电子设备 | |
| CN117768774A (zh) | 图像处理器、图像处理方法、拍摄装置和电子设备 | |
| CN112215140A (zh) | 一种基于时空对抗的3维信号处理方法 | |
| CN114463213A (zh) | 视频处理方法、视频处理装置、终端及存储介质 | |
| TW536918B (en) | Method to increase the temporal resolution of continuous image series | |
| US11195247B1 (en) | Camera motion aware local tone mapping | |
| Li et al. | Enhanced spatial-temporal freedom for video frame interpolation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 3015, 3 / F, 6 Chuangye Road, Shangdi Information Industry base, Haidian District, Beijing 100085 Applicant after: Yijing Zhilian (Suzhou) Technology Co.,Ltd. Address before: 3015, 3 / F, 6 Chuangye Road, Shangdi Information Industry base, Haidian District, Beijing 100085 Applicant before: Yijing Zhilian (Beijing) Technology Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |