CN111010566A - 一种基于非局部网络的视频压缩失真复原方法及*** - Google Patents

一种基于非局部网络的视频压缩失真复原方法及*** Download PDF

Info

Publication number
CN111010566A
CN111010566A CN201911230074.3A CN201911230074A CN111010566A CN 111010566 A CN111010566 A CN 111010566A CN 201911230074 A CN201911230074 A CN 201911230074A CN 111010566 A CN111010566 A CN 111010566A
Authority
CN
China
Prior art keywords
local network
restoration result
domain information
spatial domain
time domain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911230074.3A
Other languages
English (en)
Inventor
王培�
其他发明人请求不公开姓名
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Pico Pico Technology Co Ltd
Original Assignee
Hangzhou Pico Pico Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Pico Pico Technology Co Ltd filed Critical Hangzhou Pico Pico Technology Co Ltd
Priority to CN201911230074.3A priority Critical patent/CN111010566A/zh
Publication of CN111010566A publication Critical patent/CN111010566A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种基于非局部网络的视频压缩失真复原方法及***，该方法包括：利用非局部网络来分别提取经过压缩传输后的视频的空间域信息以及时间域信息；利用S11得到的空间域信息以及时间域信息分别对视频进行复原，得到空间域复原结果以及时间域复原结果；通过S12得到的空间域复原结果以及时间域复原结果得到最终复原结果。该***包括：依次连接的空间域信息以及时间域信息获取模块、空间域复原结果以及时间域复原结果获得模块以及最终复原结果获得模块。本发明的基于非局部网络的视频压缩失真复原方法及***，通过非局部网络间接的得到运动信息，减少了视频压缩失真，提升了视频主观质量。

Description

一种基于非局部网络的视频压缩失真复原方法及***
技术领域
本发明涉及视频处理技术领域，特别涉及一种基于非局部网络的视频压缩失真复原方法及***。
背景技术
视频经过压缩传输之后，在解码端会有压缩失真的存在。压缩失真会影响到视频的观看质量，降低用户的观看体验。为此就需要在解码端进行对应的后处理，从而减少计算复杂度。常用的后处理方法就是基于深度学习的压缩失真复原。一般来讲，为了提升压缩失真的复原效果，就需要获取对应的运动矢量。其中一个常用的方法就是用基于深度学习的光流网络估计运动矢量，从而进行后续的运动补偿和细化。但是由于光流运动估计本身就不是就有可能产生不可靠的运动矢量，因此对于光流网络的依赖就会对后续的压缩失真复原造成影响。与此同时，由于光流估计的计算复杂度较高，因此整个压缩失真复原方法也较为复杂。
发明内容
本发明针对上述现有技术中存在的问题，提出一种基于非局部网络的视频压缩失真复原方法及***，基于非局部网络的压缩失真复原方法不直接估计运动矢量，而是通过非局部网络间接的得到运动信息，能够减少由于不准确运动矢量导致的误差。
为解决上述技术问题，本发明是通过如下技术方案实现的：
本发明提供一种基于非局部网络的视频压缩失真复原方法，其包括：
S11：利用非局部网络来分别提取经过压缩传输后的视频的空间域信息以及时间域信息；
S12：利用所述S11得到的空间域信息以及时间域信息分别对视频进行复原，得到空间域复原结果以及时间域复原结果；
S13：通过所述S12得到的空间域复原结果以及时间域复原结果得到最终复原结果。
较佳地，所述S11中的利用非局部网络来分别提取经过压缩传输后的视频的空间域信息以及时间域信息中,特征
Figure BDA0002303293500000021
与
Figure BDA0002303293500000022
之间的相似性
Figure BDA0002303293500000023
Figure BDA0002303293500000024
经过卷积变换后的特征
Figure BDA0002303293500000025
经过所述非局部网络细化后输出的特征
Figure BDA0002303293500000026
的公式分别为:
Figure BDA0002303293500000027
Figure BDA0002303293500000028
Figure BDA0002303293500000029
其中，Rx、Ry分别代表通过神经网络提取得到的特征，作为非局部网络单元的输入，
Figure BDA00023032935000000210
代表Rx中每个位置处的向量，
Figure BDA00023032935000000211
代表Ry中每个位置处的向量，ω代表衡量相似度的函数，g代表变换函数，Wθ、Wφ、Wg、Wz分别代表通过非局部网络学习得到的权重矩阵。
较佳地，所述S11中用于提取所述空间域信息的非局部网络包括：
所述空间域的非局部网络的输入是当前时刻的压缩图像，首先经过卷积层，随后经过残差网络以及非局部网络，最后通过卷积得到对应的输出信息，也就是当前时刻通过空间域信息得到的复原图像。
较佳地，所述S12中用于提取所述时间域信息的非局部网络包括：
所述时间域的非局部网络的输入为前一个时刻的压缩图像以及当前时刻的压缩图像，然后分别经过对应的残差单元提取前一个时刻的特征以及当前时刻的特征，随后将这两个特征输入给前述的非局部网络，得到细化后的特征，随后细化后的特征经过卷积单元，得到通过时间域信息得到的复原帧。
较佳地，所述S13具体为：通过计算所述S12得到的空间域复原结果以及时间域复原结果的平均得到最终复原结果。
本发明还提供一种基于非局部网络的视频压缩失真复原***，其包括：空间域信息以及时间域信息获取模块、空间域复原结果以及时间域复原结果获得模块以及最终复原结果获得模块；其中，
所述空间域信息以及时间域信息获取模块用于利用非局部网络来分别提取经过压缩传输后的视频的空间域信息以及时间域信息；
所述空间域复原结果以及时间域复原结果获得模块用于利用所述空间域信息以及时间域信息获取模块得到的空间域信息以及时间域信息分别对视频进行复原，得到空间域复原结果以及时间域复原结果；
所述最终复原结果获得模块用于通过所述空间域复原结果以及时间域复原结果获得模块得到的空间域复原结果以及时间域复原结果得到最终复原结果。
较佳地，所述空间域信息以及时间域信息获取模块中的利用非局部网络来分别提取经过压缩传输后的视频的空间域信息以及时间域信息中,特征
Figure BDA0002303293500000031
与
Figure BDA0002303293500000032
之间的相似性
Figure BDA0002303293500000033
Figure BDA0002303293500000034
经过卷积变换后的特征
Figure BDA0002303293500000035
经过所述非局部网络细化后输出的特征
Figure BDA0002303293500000036
的公式分别为:
Figure BDA0002303293500000037
Figure BDA0002303293500000038
Figure BDA0002303293500000039
其中，Rx、Ry分别代表通过神经网络提取得到的特征，作为非局部网络单元的输入，
Figure BDA00023032935000000310
代表Rx中每个位置处的向量，
Figure BDA00023032935000000311
代表Ry中每个位置处的向量，ω代表衡量相似度的函数，g代表变换函数，Wθ、Wφ、Wg、Wz分别代表通过非局部网络学习得到的权重矩阵。
较佳地，所述空间域信息以及时间域信息获取模块中用于提取所述空间域信息的非局部网络包括：
所述空间域的非局部网络的输入是当前时刻的压缩图像，首先经过卷积层，随后经过残差网络以及非局部网络，最后通过卷积得到对应的输出信息，也就是当前时刻通过空间域信息得到的复原图像。
较佳地，所述空间域复原结果以及时间域复原结果获得模块中用于提取所述时间域信息的非局部网络包括：
所述时间域的非局部网络的输入为前一个时刻的压缩图像以及当前时刻的压缩图像，然后分别经过对应的残差单元提取前一个时刻的特征以及当前时刻的特征，随后将这两个特征输入给前述的非局部网络，得到细化后的特征，随后细化后的特征经过卷积单元，得到通过时间域信息得到的复原帧。
较佳地，所述最终复原结果获得模块具体用于通过计算所述空间域复原结果以及时间域复原结果获得模块得到的空间域复原结果以及时间域复原结果的平均得到最终复原结果。
相较于现有技术，本发明具有以下优点：
(1)本发明提供的基于非局部网络的视频压缩失真复原方法及***，采用非局部网络的压缩失真复原方法，通过非局部网络间接得到运动信息，而不直接估计运动矢量，与现有方法相比，能够减少由于不准确运动矢量导致的误差，进而减少视频压缩失真，提升视频主观质量，且压缩失真复原简单；
(2)本发明提供的基于非局部网络的视频压缩失真复原方法及***，非局部网络包括两个支路，分别用于提取经过压缩传输后的视频的空间域信息以及时间域信息，复原结果更准确。
(3)本发明提供的基于非局部网络的视频压缩失真复原方法及***，适用范围广泛，可以在视频网站、流媒体以及云端存储等方面进行使用。
当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
下面结合附图对本发明的实施方式作进一步说明：
图1为本发明的一实施例的基于非局部网络的视频压缩失真复原方法的流程图；
图2为本发明的一实施例的非局部网络的结构示意图；
图3为本发明的一实施例的用于提取空间域信息的非局部网络的结构示意图；
图4为本发明的一实施例的用于提取时间域信息的非局部网络的结构示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。
如图1所示为本发明的一实施例的基于非局部网络的视频压缩失真复原方法的流程图。
请参考图1，本实施例的基于非局部网络的视频压缩失真复原方法包括以下步骤：
S11：利用非局部网络来分别提取经过压缩传输后的视频的空间域信息以及时间域信息；
S12：利用S11得到的空间域信息以及时间域信息分别对视频进行复原，得到空间域复原结果以及时间域复原结果；
S13：通过S12得到的空间域复原结果以及时间域复原结果得到最终复原结果。
较佳实施例中，如图2所示为本发明的一实施例的非局部网络的结构示意图。具体地为：
Rx，Ry代表输入的特征，其中用Ry来对Rx进行细化。
Figure BDA0002303293500000061
代表位置i处的特征，P的Ry中以i为中心的局部特征。θ、φ，g，z分别代表核大小为1x1的卷积操作。
Figure BDA0002303293500000062
代表矩阵乘法。“softmax”代表归一化指数函数。为了减少计算复杂度，本实施例中仅仅利用Ry中的局部特征，而不是全局特征。目的是通过计算p与
Figure BDA0002303293500000063
之间的相似性，然后对p中的特征进行加权，最后对
Figure BDA0002303293500000064
进行细化。
具体地，S11中的利用非局部网络来分别提取经过压缩传输后的视频的空间域信息以及时间域信息中,特征
Figure BDA0002303293500000065
与
Figure BDA0002303293500000066
之间的相似性
Figure BDA0002303293500000067
Figure BDA0002303293500000068
经过卷积变换后的特征
Figure BDA0002303293500000069
经过非局部网络细化后输出的特征
Figure BDA00023032935000000610
的公式分别为:
Figure BDA00023032935000000611
Figure BDA00023032935000000612
Figure BDA00023032935000000613
其中，Rx、Ry分别代表通过神经网络提取得到的特征，作为非局部网络单元的输入，
Figure BDA00023032935000000614
代表Rx中每个位置处的向量，
Figure BDA00023032935000000615
代表Ry中每个位置处的向量，ω代表衡量相似度的函数，g代表变换函数，这里用一个核大小为1x1的卷积进行实现，Wθ、Wφ、Wg、Wz分别代表通过非局部网络学习得到的权重矩阵，一实施例中分别代表的是四个不同的核为1x1卷积神经网络的权重。
较佳实施例中，S11中用于提取所述空间域信息的非局部网络包括：
所述空间域的非局部网络的输入是当前时刻的压缩图像，首先经过卷积层，随后经过残差网络以及非局部网络，最后通过卷积得到对应的输出信息，也就是当前时刻通过空间域信息得到的复原图像。
较佳实施例中，S11中用于提取所述空间域信息的非局部网络包括：
所述空间域的非局部网络的输入是当前时刻的压缩图像，首先经过卷积层，随后经过残差网络以及非局部网络，最后通过卷积得到对应的输出信息，也就是当前时刻通过空间域信息得到的复原图像。
如图3所示为本发明的一实施例的用于提取空间域信息的非局部网络的结构示意图。具体为：
Figure BDA0002303293500000071
代表当前时刻的压缩图像，“conv，3x3，64”代表的是核大小为3x3，输出通道为64的卷积操作。“Residual Block”代表的是核大小为3x3，输出通道为64，采用前置激活函数的残差单元。“Non-local”代表本文的非局部网络。本网络的功能就是希望通过非局部网络提取空间域的信息，从而进行图像复原，得到当前时刻的通过空间域信息得到的复原图像Zt。
较佳实施例中，S12中用于提取所述时间域信息的非局部网络包括：
所述时间域的非局部网络的输入为前一个时刻的压缩图像以及当前时刻的压缩图像，然后分别经过对应的残差单元提取前一个时刻的特征以及当前时刻的特征，随后将这两个特征输入给前述的非局部网络，得到细化后的特征，随后细化后的特征经过卷积单元，得到通过时间域信息得到的复原帧。
如图4所示为本发明的一实施例的用于提取时间域信息的非局部网络的结构示意图。具体为：
Figure BDA0002303293500000072
代表当前时刻的压缩图像，
Figure BDA0002303293500000073
代表前一个时刻的压缩图像。“conv，3x3，64”代表的是核大小为3x3，输出通道为64的卷积操作。“Residual Block”代表的是核大小为3x3，输出通道为64，采用前置激活函数的残差单元。“Non-local”代表本文的非局部网络。本实例的目的就是希望借助非局部神经网络提取时间的相关信息，辅助视频压缩失真复原。
较佳实施例中，S13具体为：通过计算S12得到的空间域复原结果以及时间域复原结果的平均得到最终复原结果。
在另一实施例中，还提供一种基于非局部网络的视频压缩失真复原***，其用于实现上述实施例中的视频压缩失真复原方法，该***包括：依次连接的空间域信息以及时间域信息获取模块、空间域复原结果以及时间域复原结果获得模块以及最终复原结果获得模块；其中，
空间域信息以及时间域信息获取模块用于利用非局部网络来分别提取经过压缩传输后的视频的空间域信息以及时间域信息；
空间域复原结果以及时间域复原结果获得模块用于利用所述空间域信息以及时间域信息获取模块得到的空间域信息以及时间域信息分别对视频进行复原，得到空间域复原结果以及时间域复原结果
最终复原结果获得模块用于通过所述空间域复原结果以及时间域复原结果获得模块得到的空间域复原结果以及时间域复原结果得到最终复原结果。
较佳实施例中，空间域信息以及时间域信息获取模块中的利用非局部网络来分别提取经过压缩传输后的视频的空间域信息以及时间域信息中,特征
Figure BDA0002303293500000081
与
Figure BDA0002303293500000082
之间的相似性
Figure BDA0002303293500000083
Figure BDA0002303293500000084
经过卷积变换后的特征
Figure BDA0002303293500000085
经过非局部网络细化后输出的特征
Figure BDA0002303293500000086
的公式分别为:
Figure BDA0002303293500000087
Figure BDA0002303293500000088
Figure BDA0002303293500000089
其中，Rx、Ry分别代表通过神经网络提取得到的特征，作为非局部网络单元的输入，
Figure BDA00023032935000000810
代表Rx中每个位置处的向量，
Figure BDA00023032935000000811
代表Ry中每个位置处的向量，ω代表衡量相似度的函数，g代表变换函数，Wθ、Wφ、Wg、Wz分别代表通过非局部网络学习得到的权重矩阵，一实施例中分别代表的是四个不同的核为1x1卷积神经网络的权重。
较佳实施例中，空间域信息以及时间域信息获取模块中用于提取空间域信息的非局部网络包括：
空间域的非局部网络的输入是当前时刻的压缩图像，首先经过卷积层，随后经过残差网络以及非局部网络，最后通过卷积得到对应的输出信息，也就是当前时刻通过空间域信息得到的复原图像。
较佳实施例中，空间域复原结果以及时间域复原结果获得模块中用于提取所述时间域信息的非局部网络包括：
时间域的非局部网络的输入为前一个时刻的压缩图像以及当前时刻的压缩图像，然后分别经过对应的残差单元提取前一个时刻的特征以及当前时刻的特征，随后将这两个特征输入给前述的非局部网络，得到细化后的特征，随后细化后的特征经过卷积单元，得到通过时间域信息得到的复原帧。
较佳实施例中，最终复原结果获得模块具体用于通过计算空间域复原结果以及时间域复原结果获得模块得到的空间域复原结果以及时间域复原结果的平均得到最终复原结果。
本发明上述实施例的基于非局部网络的视频压缩失真复原方法及***，通过非局部网络间接的得到运动信息，能够减少由于不准确运动矢量导致的误差，进而减少视频压缩失真，提升视频主观质量，且压缩失真复原简单
此处公开的仅为本发明的优选实施例，本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，并不是对本发明的限定。任何本领域技术人员在说明书范围内所做的修改和变化，均应落在本发明所保护的范围内。

Claims (10)

1.一种基于非局部网络的视频压缩失真复原方法，其特征在于，包括：
S11：利用非局部网络来分别提取经过压缩传输后的视频的空间域信息以及时间域信息；
S12：利用所述S11得到的空间域信息以及时间域信息分别对视频进行复原，得到空间域复原结果以及时间域复原结果；
S13：通过所述S12得到的空间域复原结果以及时间域复原结果得到最终复原结果。
2.根据权利要求1所述的基于非局部网络的视频压缩失真复原方法，其特征在于，所述S11中的利用非局部网络来分别提取经过压缩传输后的视频的空间域信息以及时间域信息中,特征
Figure FDA0002303293490000011
与
Figure FDA0002303293490000012
之间的相似性
Figure FDA0002303293490000013
Figure FDA0002303293490000014
经过卷积变换后的特征
Figure FDA0002303293490000015
经过所述非局部网络细化后输出的特征
Figure FDA0002303293490000016
的公式分别为:
Figure FDA0002303293490000017
Figure FDA0002303293490000018
Figure FDA0002303293490000019
其中，Rx、Ry分别代表通过神经网络提取得到的特征，作为非局部网络单元的输入，
Figure FDA00023032934900000110
代表Rx中每个位置处的向量，
Figure FDA00023032934900000111
代表Ry中每个位置处的向量，ω代表衡量相似度的函数，g代表变换函数，Wθ、Wφ、Wg、Wz分别代表通过非局部网络学习得到的权重矩阵。
3.根据权利要求1所述的基于非局部网络的视频压缩失真复原方法，其特征在于，所述S11中用于提取所述空间域信息的非局部网络包括：
所述空间域的非局部网络的输入是当前时刻的压缩图像，首先经过卷积层，随后经过残差网络以及非局部网络，最后通过卷积得到对应的输出信息，也就是当前时刻通过空间域信息得到的复原图像。
4.根据权利要求1所述的基于非局部网络的视频压缩失真复原方法，其特征在于，所述S12中用于提取所述时间域信息的非局部网络包括：
所述时间域的非局部网络的输入为前一个时刻的压缩图像以及当前时刻的压缩图像，然后分别经过对应的残差单元提取前一个时刻的特征以及当前时刻的特征，随后将这两个特征输入给前述的非局部网络，得到细化后的特征，随后细化后的特征经过卷积单元，得到通过时间域信息得到的复原帧。
5.根据权利要求1所述的基于非局部网络的视频压缩失真复原方法，其特征在于，所述S13具体为：通过计算所述S12得到的空间域复原结果以及时间域复原结果的平均得到最终复原结果。
6.一种基于非局部网络的视频压缩失真复原***，其特征在于，包括：空间域信息以及时间域信息获取模块、空间域复原结果以及时间域复原结果获得模块以及最终复原结果获得模块；其中，
所述空间域信息以及时间域信息获取模块用于利用非局部网络来分别提取经过压缩传输后的视频的空间域信息以及时间域信息；
所述空间域复原结果以及时间域复原结果获得模块用于利用所述空间域信息以及时间域信息获取模块得到的空间域信息以及时间域信息分别对视频进行复原，得到空间域复原结果以及时间域复原结果；
所述最终复原结果获得模块用于通过所述空间域复原结果以及时间域复原结果获得模块得到的空间域复原结果以及时间域复原结果得到最终复原结果。
7.根据权利要求6所述的基于非局部网络的视频压缩失真复原***，其特征在于，所述空间域信息以及时间域信息获取模块中的利用非局部网络来分别提取经过压缩传输后的视频的空间域信息以及时间域信息中,特征
Figure FDA0002303293490000021
与
Figure FDA0002303293490000031
之间的相似性
Figure FDA0002303293490000032
Figure FDA0002303293490000033
经过卷积变换后的特征
Figure FDA0002303293490000034
经过所述非局部网络细化后输出的特征
Figure FDA0002303293490000035
的公式分别为:
Figure FDA0002303293490000036
Figure FDA0002303293490000037
Figure FDA0002303293490000038
其中，Rx、Ry分别代表通过神经网络提取得到的特征，作为非局部网络单元的输入，
Figure FDA0002303293490000039
代表Rx中每个位置处的向量，
Figure FDA00023032934900000310
代表Ry中每个位置处的向量，ω代表衡量相似度的函数，g代表变换函数，Wθ、Wφ、Wg、Wz分别代表通过非局部网络学习得到的权重矩阵。
8.根据权利要求6所述的基于非局部网络的视频压缩失真复原***，其特征在于，所述空间域信息以及时间域信息获取模块中用于提取所述空间域信息的非局部网络包括：
所述空间域的非局部网络的输入是当前时刻的压缩图像，首先经过卷积层，随后经过残差网络以及非局部网络，最后通过卷积得到对应的输出信息，也就是当前时刻通过空间域信息得到的复原图像。
9.根据权利要求6所述的基于非局部网络的视频压缩失真复原***，其特征在于，所述空间域复原结果以及时间域复原结果获得模块中用于提取所述时间域信息的非局部网络包括：
所述时间域的非局部网络的输入为前一个时刻的压缩图像以及当前时刻的压缩图像，然后分别经过对应的残差单元提取前一个时刻的特征以及当前时刻的特征，随后将这两个特征输入给前述的非局部网络，得到细化后的特征，随后细化后的特征经过卷积单元，得到通过时间域信息得到的复原帧。
10.根据权利要求6所述的基于非局部网络的视频压缩失真复原***，其特征在于，所述最终复原结果获得模块具体用于通过计算所述空间域复原结果以及时间域复原结果获得模块得到的空间域复原结果以及时间域复原结果的平均得到最终复原结果。
CN201911230074.3A 2019-12-04 2019-12-04 一种基于非局部网络的视频压缩失真复原方法及*** Pending CN111010566A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911230074.3A CN111010566A (zh) 2019-12-04 2019-12-04 一种基于非局部网络的视频压缩失真复原方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911230074.3A CN111010566A (zh) 2019-12-04 2019-12-04 一种基于非局部网络的视频压缩失真复原方法及***

Publications (1)

Publication Number Publication Date
CN111010566A true CN111010566A (zh) 2020-04-14

Family

ID=70115679

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911230074.3A Pending CN111010566A (zh) 2019-12-04 2019-12-04 一种基于非局部网络的视频压缩失真复原方法及***

Country Status (1)

Country Link
CN (1) CN111010566A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112085102A (zh) * 2020-09-10 2020-12-15 西安电子科技大学 基于三维时空特征分解的无参考视频质量评价方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090268818A1 (en) * 2008-04-29 2009-10-29 International Business Machines Corporation Method and system for integrating noise filtering in predictive video coding
EP2410747A1 (en) * 2010-07-20 2012-01-25 Samsung Electronics Co., Ltd. Apparatus and method for depth-image encoding with rate-distortion optimization
CN103997651A (zh) * 2014-05-17 2014-08-20 北京中和卓远科技有限公司 一种合成图像的数据压缩方法及装置
CN108305214A (zh) * 2017-12-28 2018-07-20 腾讯科技（深圳）有限公司 图像数据处理方法、装置、存储介质和计算机设备
CN108921783A (zh) * 2018-06-01 2018-11-30 武汉大学 一种基于混合损失函数约束的卫星影像超分辨率重建方法
CN108921910A (zh) * 2018-07-30 2018-11-30 浙江大学 基于可伸缩卷积神经网络的jpeg编码压缩图像复原的方法
CN109068138A (zh) * 2018-08-07 2018-12-21 北京市商汤科技开发有限公司 视频图像的处理方法及装置、电子设备和存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090268818A1 (en) * 2008-04-29 2009-10-29 International Business Machines Corporation Method and system for integrating noise filtering in predictive video coding
EP2410747A1 (en) * 2010-07-20 2012-01-25 Samsung Electronics Co., Ltd. Apparatus and method for depth-image encoding with rate-distortion optimization
CN103997651A (zh) * 2014-05-17 2014-08-20 北京中和卓远科技有限公司 一种合成图像的数据压缩方法及装置
CN108305214A (zh) * 2017-12-28 2018-07-20 腾讯科技（深圳）有限公司 图像数据处理方法、装置、存储介质和计算机设备
CN108921783A (zh) * 2018-06-01 2018-11-30 武汉大学 一种基于混合损失函数约束的卫星影像超分辨率重建方法
CN108921910A (zh) * 2018-07-30 2018-11-30 浙江大学 基于可伸缩卷积神经网络的jpeg编码压缩图像复原的方法
CN109068138A (zh) * 2018-08-07 2018-12-21 北京市商汤科技开发有限公司 视频图像的处理方法及装置、电子设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
GUO LU等: "Deep Non-Local Kalman Network for Video Compression Artifact Reduction", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112085102A (zh) * 2020-09-10 2020-12-15 西安电子科技大学 基于三维时空特征分解的无参考视频质量评价方法
CN112085102B (zh) * 2020-09-10 2023-03-10 西安电子科技大学 基于三维时空特征分解的无参考视频质量评价方法

Similar Documents

Publication Publication Date Title
WO2019233244A1 (zh) 图像处理方法、装置、计算机可读介质及电子设备
WO2019153671A1 (zh) 图像超分辨率方法、装置及计算机可读存储介质
WO2019184657A1 (zh) 图像识别方法、装置、电子设备及存储介质
CN112954312B (zh) 一种融合时空特征的无参考视频质量评估方法
CN108492249B (zh) 基于小卷积递归神经网络的单帧超分辨重建方法
CN113222855B (zh) 一种图像恢复方法、装置和设备
CN112614110B (zh) 评估图像质量的方法、装置及终端设备
KR102556644B1 (ko) 연속적인 멀티 프레임 이미지 디노이징을 수행하는 장치 및 방법
CN114529456B (zh) 一种视频的超分辨率处理方法、装置、设备及介质
Feng et al. Mipi 2022 challenge on under-display camera image restoration: Methods and results
CN113033677A (zh) 视频分类方法、装置、电子设备和存储介质
CN112800276A (zh) 视频封面确定方法、装置、介质及设备
CN114926336A (zh) 视频超分辨率重建方法、装置、计算机设备及存储介质
CN111010566A (zh) 一种基于非局部网络的视频压缩失真复原方法及***
CN115880516A (zh) 图像分类方法、图像分类模型训练方法及相关设备
Fu et al. Raw image based over-exposure correction using channel-guidance strategy
WO2024082602A1 (zh) 一种端到端视觉里程计方法及装置
US20230060988A1 (en) Image processing device and method
CN113658050A (zh) 一种图像的去噪方法、去噪装置、移动终端及存储介质
CN108898557B (zh) 图像恢复方法及装置、电子设备、计算机程序及存储介质
CN104182931A (zh) 超分辨率方法和装置
US20220327663A1 (en) Video Super-Resolution using Deep Neural Networks
CN114640815A (zh) 一种视频的处理方法、装置、电子设备及存储介质
CN115797643A (zh) 一种图像去噪方法、装置、***、边缘设备及存储介质
Ying et al. Quality difference ranking model for smartphone camera photo quality assessment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200414

WD01 Invention patent application deemed withdrawn after publication