CN108012157B - 用于视频编码分数像素插值的卷积神经网络的构建方法 - Google Patents

用于视频编码分数像素插值的卷积神经网络的构建方法 Download PDF

Info

Publication number
CN108012157B
CN108012157B CN201711207766.7A CN201711207766A CN108012157B CN 108012157 B CN108012157 B CN 108012157B CN 201711207766 A CN201711207766 A CN 201711207766A CN 108012157 B CN108012157 B CN 108012157B
Authority
CN
China
Prior art keywords
neural network
convolutional neural
fractional pixel
video coding
pixel interpolation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711207766.7A
Other languages
English (en)
Other versions
CN108012157A (zh
Inventor
宋利
张翰
杨小康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN201711207766.7A priority Critical patent/CN108012157B/zh
Publication of CN108012157A publication Critical patent/CN108012157A/zh
Application granted granted Critical
Publication of CN108012157B publication Critical patent/CN108012157B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Discrete Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种用于视频编码分数像素插值的卷积神经网络的构建方法，包括：收集不同内容、分辨率的图像，形成包含不同类型、编码复杂度的数据的原始训练数据集；对原始训练数据集进行预处理操作，得到符合视频编码帧间预测分数像素插值特性的训练数据；搭建深度卷积神经网络，得到适用于视频编码帧间预测分数像素插值的卷积神经网络结构；使用预处理得到的数据输入搭建好的卷积神经网络，同时将原始训练数据集作为对应的真值，训练搭建的卷积神经网络。本发明保证了卷积神经网络可顺利训练，且使用训练好的卷积神经网络插值得到的分数像素满足视频编码分数像素插值特性需求，使用本发明进行分数像素插值可实现视频编码效率的提升。

Description

用于视频编码分数像素插值的卷积神经网络的构建方法
技术领域
本发明涉及一种图像处理技术领域的方法，具体是一种适用于视频编码帧间预测分数像素插值的卷积神经网络方法。
背景技术
帧间预测是视频编码标准中的一项关键技术，利用帧与帧之间视频内容的相似性，可以有效去除视频在时间上的冗余度，从而提高编码压缩效率。同时，由于在数字化过程中的离散采样操作，真实的物体运动不一定是按照采样网格进行的。为了进一步提高物体运动预测的准确性，在视频编码标准中物体的运动都是以分数像素为单位的。采样网格上位于分数像素位置的像素值不是真实存在的，在应用中，这些分数像素位置的像素值需要利用真实存在的整数位置的像素值插值得到。
然而，目前在视频编码中生成分数像素用到的插值滤波器是在基于一些先验假设的基础上，人为设计的。这些插值滤波器的参数是固定的，随着视频内容的不断丰富以及视频分辨率的不断增加，这种固定参数的滤波器并不能全部适用。
深度学习是通过设计的神经网络对海量数据拟合从而得到普遍适用模型的一种方法。基于深度学习的方法不仅在一些语义级问题例如目标跟踪、行人检测上取得了重大突破，在图像超分辨率等像素级问题上也显著的提升了效果。
帧间预测分数像素插值与图像超分辨率有一定的相似性，即两者都是由真实存在的小图按一定倍率生成大图。但是，图像超分辨率是利用低分辨率图像生成整张高分辨率大图，而帧间预测分数像素插值则是根据真实存在的整数位置像素生成其余的分数位置像素，需要保证整数位置像素不改变。此外，对于帧间预测分数像素插值，位于分数位置的像素并不是真实存在的，因此，在卷积神经网络的训练过程中，没有真实的真值可以参考，导致训练不能正常进行。
发明内容
本发明针对现有技术存在的上述缺陷，提供一种适用于视频编码帧间预测分数像素插值的卷积神经网络的构建方法，该方法利用在图像超分辨率问题上取得良好性能的卷积神经网络的优点，同时考虑视频编码帧间预测分数像素插值的特点，设计了适用于视频编码帧间预测分数像素插值的卷积神经网络以及使训练顺利进行的预处理操作，如此可以提高视频编码重建帧的客观质量，实现编码效率的提升。
为实现上述目的，本发明所述的用于视频编码分数像素插值的卷积神经网络的构建方法包括：
收集不同内容、不同分辨率的图像，形成包含不同类型、不同编码复杂度的数据的原始训练数据集；
对收集到的原始训练数据集进行预处理操作，得到符合视频编码帧间预测分数像素插值特性的训练数据，该数据作为训练卷积神经网络的输入数据；
搭建深度卷积神经网络，考虑视频编码分数像素插值特性，得到适用于视频编码帧间预测分数像素插值的卷积神经网络结构；
使用预处理得到的数据输入搭建好的卷积神经网络，同时将所述原始训练数据集作为对应的真值，训练搭建的卷积神经网络，得到适用于视频编码帧间预测分数像素插值的卷积神经网络模型。
优选地，所述预处理操作，过程如下：
a)根据需要插值生成的分数像素位置对原始训练数据集中的图像进行相应倍率的降采样操作，得到用于步骤b)的低分辨率训练数据；
b)根据视频编码标准中对静态图像编码的配置对低分辨率训练数据进行压缩编码，得到用于步骤c)的低分辨率编码重建图像；
c)对低分辨率编码重建图像进行步骤a)中对应倍率的上采样操作，恢复到原始图像尺寸，得到训练卷积神经网络的输入数据。
更优选地，所述c)中，对低分辨率编码重建图像的上采样操作，保证上采样之后高分辨率图像整数像素位置的像素值与上采样之前的低分辨率编码重建图一致。
优选地，所述搭建深度卷积神经网络，其中搭建的深度卷积神网络包含20 个权重层以及1个权重掩蔽层；对于权重掩蔽层，WI为整数像素位置的权重， WH为分数像素位置的权重，所有分数像素位置共用一个权重。
更优选地，所述视频编码帧间预测分数像素插值，其中整数像素位置像素值不变，只生成分数像素位置。
与现有技术相比，本发明的有益效果是：
本发明在利用深度卷积神经网络从海量数据中提取特征的强大能力以外，还考虑了视频编码特有的数据特性以及视频编码帧间预测分数像素插值相比于图像超分辨率独有的特点，重新设计了深度卷积神经网络，同时设计了配套的预处理操作，保证卷积神经网络的训练可以顺利进行，从而得到了适用于视频编码分数像素插值的卷积神经网络模型，提升了压缩编码重建视频的客观质量，提高了视频编码效率。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1是本发明一实施例的方法流程图；
图2是本发明一实施例的卷积神经网络结构示意图；
图3是本发明一实施例整数像素位置、二分之一分数像素位置、四分之一分数像素位置示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。
本发明提供一种用于视频编码分数像素插值的卷积神经网络的构建方法，如图1所示，其设计思路为：
收集不同内容、不同分辨率的图像，得到包含不同类型、不同编码复杂度的数据的训练数据集；
对收集到的训练数据集进行预处理，得到训练卷积神经网络的输入数据。预处理操作具体包括：
a)根据需要插值生成的分数像素位置对原始训练数据集中的图像进行相应倍率的降采样操作，得到用于步骤b)的低分辨率训练数据；
b)根据视频编码标准中对静态图像编码的配置对低分辨率训练数据进行压缩编码，得到用于步骤c)的低分辨率编码重建图像；
c)对低分辨率编码重建图像进行步骤a)中对应倍率的上采样操作，恢复到原始图像尺寸，得到训练卷积神经网络的输入数据。
搭建适用于视频编码帧间预测分数像素插值的深度卷积神经网络，将经过预处理操作得到的图像作为网络的输入，同时将原始训练数据集中相应的图像作为对应的真值，设置训练参数，训练卷积神经网络；
使用训练得到的卷积神经网络模型进行分数像素插值操作，实现基于卷积神经网络的视频编码帧间预测分数像素插值。
所述预处理步骤的b)，根据视频编码标准中对于静态图像压缩编码的配置，对降采样后的低分辨率图像进行压缩编码，使低分辨率图像的重建值成为包含视频编码数据特性的图像。
所述预处理步骤的c)，对于压缩编码后低分辨率重建图像的上采样操作，需要保证上采样之后高分辨率图像整像素位置的像素值与上采样之前低分辨率图像一致，只生成分数像素位置的像素值。
本发明在图像超分辨率卷积神经网络的基础上，考虑视频编码分数像素插值的固有特性即整数位置像素不变，只生成分数位置像素，重新设计卷积神经网络，同时，配合上述预处理操作，保证了卷积神经网络可以顺利训练，并且使用训练好的卷积神经网络插值得到的分数像素满足视频编码分数像素插值特性需求，使得使用本发明进行分数像素插值可以实现视频编码效率的提升。此外，使用本发明得到的卷积神经网络，可以在一次操作中同时生成所有分数像素位置的像素值。
以下将本发明应用到最新的视频编码标准——高性能视频编码(HEVC)中，介绍适用于HEVC帧间预测二分之一像素插值的卷积神经网络构建方法，主要是对数据预处理、卷积神经网络结构搭建等具体实现细节进行详细说明。当然，本发明也可以应用于其他的编码标准。
1.数据预处理过程
对于数据预处理过程中对低分辨率图像的压缩编码步骤，采用HEVC的全帧内(AI)配置对降采样得到的低分辨图像进行编码。
对于预处理过程中对低分辨压缩编码重建图像的上采样过程，采用基于离散余弦变换的插值滤波器。对于二分之一像素位置，基于离散余弦变换的插值滤波器为8抽头滤波器，抽头系数如表1所示。
表1基于离散余弦变换的插值滤波器抽头系数
Index i -3 -2 -1 0 1 2 3 4
Hfilter[i] -1 4 -11 40 40 -11 4 -1
使用基于离散余弦变换的插值滤波器产生图3中的二分之一像素位置像素的过程如下：
Figure RE-GDA0001585386330000052
其中，b0,j,hi,0,j0,0,表示二分之一像素位置的像素值，Ai,j表示整像素位置像素值， hfilter[i]表示基于离散余弦变换的插值滤波器的抽头系数，B为像素值表示位深。
2.卷积神经网络结构搭建
本发明采用J Kim等在2016年IEEE Conference on Computer Vision andPattern Recognition(IEEE国际计算机视觉与模式识别会议)会议上发表的 AccurateImage Super-Resolution Using Very Deep Convolutional Networks为基本框架，在原始框架中加入权重掩蔽层，WI为整数位置像素值的权重值，WH为二分之一像素位置像素值的权重值。
如图2所示，本实施例搭建的卷积神经网络结构包括20个卷积层，1个权重掩蔽层。对于卷积层，除第一个卷积层与最后一个卷积层之外，每个卷积层都包含64个不同的滤波器，每个滤波器的尺寸为3×3×64。对于第一个卷积层，包含64个尺寸为3×3×1的滤波器。对于最后一个卷积层，包含1个尺寸为 3×3×64的滤波器。对于权重掩蔽层，整数像素位置与分数像素位置使用不同的权值，其中WI为整数像素位置权值，WH为二分之一像素位置权值。本实施例中的卷积神经网络输入为由低分辨率图像经过预处理后得到的目标尺寸的高分辨率图像。本实施例中的卷积神经网络预测的是最终输出的高分辨率图像与起始输入的经过预处理图像之间的残差图像，定义如下：
R＝YH-XILR (4)
其中YH表示最终输出的高分辨率图像，XILR表示起始输入的预处理后图像。
通过将卷积神经网络预测得到的残差图像与输入预处理图像相加，得到最终输出的高分辨率图像。
3.训练卷积神经网络
卷积神经网络的训练过程采用欧式距离作为损失函数：
Figure RE-GDA0001585386330000061
其中θ表示卷积神经网络需要学习的参数集，
Figure RE-GDA0001585386330000062
表示训练图像，表示原始训练数据集中对应的真值图像，F(Xi；θ)表示最终输出的高分辨率图像。由于本实施例中卷积神经网络预测的是残差图像，式(5)中的F(Xi；θ)应该表示为：
Figure RE-GDA0001585386330000064
其中，表示起始输入的经过预处理的图像。
以上训练得到适用于视频编码帧间预测分数像素插值的卷积神经网络模型。
4.实施效果
将本实施例训练得到的卷积神经网络模型应用到HEVC编码框架中，使用改进后的编码器与标准HEVC编码器对测试序列进行编码。测试序列如表2所示，所有测试序列都为4:2:0的YUV格式，表示位深为8。
表2测试序列详情
Figure RE-GDA0001585386330000066
Figure RE-GDA0001585386330000071
本实施例中采用的HEVC编码器为HM-16.7，编码配置为低延迟P帧(LDP) 通用测试配置，编码采用的量化参数(QP)分别为22,27,32,37.本实施例只针对亮度Y分量使用基于卷积神经网络的分数像素插值方法，其余色度分量仍然使用标准插值滤波器生成分数像素。
在上述实施条件下，得到了表3所示的编码测试结果。表3采用的性能指标为BD-Rate指标，表示的是与标准HEVC编码器相比，在相同峰值信噪比(PSNR) 的情况下，使用本实施例训练得到的卷积神经网络进行帧间预测二分之一分数像素插值码率节省的百分比。如表3所示，在上述实施条件下，Y、U、V三个分量的平均BD-Rate分别为-0.9％、-0.1％、-0.1％。特别地，序列BasketballPass的增益最显著，Y、U、V三分量的增益可以达到-2.4％、-0.1％、-1.6％。从表3可以看出，相比于标准HEVC编码器，使用本实施例中针对亮度Y分量训练得到的卷积神经网络对亮度分量进行二分之一像素插值的方法有明显的编码效率提升。此外，由于编码器使用了基于亮度分量预测色度分量的技术，随着亮度分量重建质量的提升，其余色度分量也可以获得一定的编码性能提升。
表3测试序列编码性能(BD-Rate)
Figure RE-GDA0001585386330000081
为进一步说明本发明的卷积神经网络构建更适用于视频编码帧间预测中的分数像素插值，表4所示是直接使用针对图像超分辨率问题训练得到的卷积神经网络进行二分之一分数像素插值与使用标准HEVC编码器比较的测试结果。从表4可以看出，直接使用图像超分辨率的卷积神经网络进行分数像素插值有明显的编码性能损失。
表4使用图像超分辨率卷积神经网络编码测试结果(BD-Rate)
Figure RE-GDA0001585386330000091
综上，本发明针对视频编码帧间预测分数像素插值设计了专门的卷积神经网络，同时，本发明设计了配套的数据预处理过程，使得卷积神经网络的训练可以顺利进行，并且使用训练好的卷积神经网络生成的分数像素可以满足分数像素插值的特定需求。使用本发明得到的卷积神经网络进行分数像素插值可以取得显著的编码性能提升，更适用于视频编码帧间预测的分数像素插值部分。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (5)

1.一种用于视频编码分数像素插值的卷积神经网络的构建方法，其特征在于：所述方法包括：
收集不同内容、不同分辨率的图像，形成包含不同类型、不同编码复杂度的数据的原始训练数据集；
对收集到的原始训练数据集进行预处理操作，得到符合视频编码帧间预测分数像素插值特性的训练数据，该数据作为训练卷积神经网络的输入数据；
搭建深度卷积神经网络，考虑视频编码分数像素插值特性，得到适用于视频编码帧间预测分数像素插值的卷积神经网络结构；
使用预处理得到的数据输入搭建好的卷积神经网络，同时将所述原始训练数据集作为对应的真值，训练搭建的卷积神经网络，得到适用于视频编码帧间预测分数像素插值的卷积神经网络模型；
所述预处理操作，过程如下：
a)根据需要插值生成的分数像素位置对原始训练数据集中的图像进行相应倍率的降采样操作，得到用于步骤b)中的低分辨率训练数据；
b)根据视频编码标准中对静态图像编码的配置对低分辨率训练数据进行编码，得到用于步骤c)中的低分辨率编码重建图像；
c)采用基于离散余弦变换的插值滤波器对低分辨率编码重建图像进行步骤a)中对应倍率的上采样操作，恢复到原始图像尺寸，得到训练卷积神经网络的输入数据。
2.根据权利要求1所述的用于视频编码分数像素插值的卷积神经网络的构建方法，其特征在于：所述c)中，对低分辨率编码重建图像的上采样操作，保证上采样之后高分辨率图像整数像素位置的像素值与上采样之前的低分辨率编码重建图一致。
3.根据权利要求1-2任一项所述的用于视频编码分数像素插值的卷积神经网络的构建方法，其特征在于：所述搭建深度卷积神经网络，其中搭建的深度卷积神经网络包含20个权重层以及1个权重掩蔽层；对于权重掩蔽层，WI为整数像素位置的权重，WH为分数像素位置的权重，所有分数像素位置共用一个权重。
4.根据权利要求3所述的用于视频编码分数像素插值的卷积神经网络的构建方法，其特征在于：所述视频编码帧间预测分数像素插值，其中整数像素位置像素值不变，只生成分数像素位置。
5.一种权利要求1-4任一项所述方法构建得到的卷积神经网络模型的应用，其特征在于：将所述卷积神经网络模型用于分数像素插值操作，实现基于卷积神经网络的视频编码帧间预测分数像素插值。
CN201711207766.7A 2017-11-27 2017-11-27 用于视频编码分数像素插值的卷积神经网络的构建方法 Active CN108012157B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711207766.7A CN108012157B (zh) 2017-11-27 2017-11-27 用于视频编码分数像素插值的卷积神经网络的构建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711207766.7A CN108012157B (zh) 2017-11-27 2017-11-27 用于视频编码分数像素插值的卷积神经网络的构建方法

Publications (2)

Publication Number Publication Date
CN108012157A CN108012157A (zh) 2018-05-08
CN108012157B true CN108012157B (zh) 2020-02-04

Family

ID=62054016

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711207766.7A Active CN108012157B (zh) 2017-11-27 2017-11-27 用于视频编码分数像素插值的卷积神经网络的构建方法

Country Status (1)

Country Link
CN (1) CN108012157B (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110502954B (zh) * 2018-05-17 2023-06-16 杭州海康威视数字技术股份有限公司 视频分析的方法和装置
CN110794255B (zh) * 2018-08-01 2022-01-18 北京映翰通网络技术股份有限公司 一种配电网故障预测方法及***
CN110794254B (zh) * 2018-08-01 2022-04-15 北京映翰通网络技术股份有限公司 一种基于强化学习的配电网故障预测方法及***
CN110933432A (zh) * 2018-09-19 2020-03-27 珠海金山办公软件有限公司 图像压缩、解压缩方法、装置、电子设备及存储介质
CN111010568B (zh) * 2018-10-06 2023-09-29 华为技术有限公司 插值滤波器的训练方法、装置及视频图像编解码方法、编解码器
CN109361919A (zh) * 2018-10-09 2019-02-19 四川大学 一种联合超分辨率和去压缩效应的图像编码性能提升方法
CN109525859B (zh) * 2018-10-10 2021-01-15 腾讯科技（深圳）有限公司 模型训练、图像发送、图像处理方法及相关装置设备
KR102525578B1 (ko) * 2018-10-19 2023-04-26 삼성전자주식회사 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
CN109451308B (zh) * 2018-11-29 2021-03-09 北京市商汤科技开发有限公司 视频压缩处理方法及装置、电子设备及存储介质
CN109785279B (zh) * 2018-12-28 2023-02-10 江苏师范大学 一种基于深度学习的图像融合重建方法
CN111711817B (zh) * 2019-03-18 2023-02-10 四川大学 一种结合卷积神经网络的hevc帧内编码压缩性能优化方法
CN111800630A (zh) * 2019-04-09 2020-10-20 Tcl集团股份有限公司 一种视频超分辨率重建的方法、***及电子设备
CN110072119B (zh) * 2019-04-11 2020-04-10 西安交通大学 一种基于深度学习网络的内容感知视频自适应传输方法
CN110177282B (zh) * 2019-05-10 2021-06-04 杭州电子科技大学 一种基于srcnn的帧间预测方法
CN110099280B (zh) * 2019-05-24 2020-05-08 浙江大学 一种无线自组织网络带宽受限下的视频业务质量增强方法
CN110519606B (zh) * 2019-08-22 2021-12-07 天津大学 一种深度视频帧内智能编码方法
CN110493596B (zh) * 2019-09-02 2021-09-17 西北工业大学 一种基于神经网络的视频编码***及方法
CN110572710B (zh) * 2019-09-25 2021-09-28 北京达佳互联信息技术有限公司 视频生成方法、装置、设备及存储介质
US11445198B2 (en) * 2020-09-29 2022-09-13 Tencent America LLC Multi-quality video super resolution with micro-structured masks
CN112601095B (zh) * 2020-11-19 2023-01-10 北京影谱科技股份有限公司 一种视频亮度和色度分数插值模型的创建方法及***
CN113365079B (zh) * 2021-06-01 2023-05-30 闽南师范大学 一种基于超分辨率网络的视频编码分像素运动补偿方法
CN113822801B (zh) * 2021-06-28 2023-08-18 浙江工商大学 基于多分支卷积神经网络的压缩视频超分辨率重建方法
CN114677652B (zh) * 2022-05-30 2022-09-16 武汉博观智能科技有限公司 一种违法行为监控方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104112263A (zh) * 2014-06-28 2014-10-22 南京理工大学 基于深度神经网络的全色图像与多光谱图像融合的方法
CN106204449A (zh) * 2016-07-06 2016-12-07 安徽工业大学 一种基于对称深度网络的单幅图像超分辨率重建方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3259920A1 (en) * 2015-02-19 2017-12-27 Magic Pony Technology Limited Visual processing using temporal and spatial interpolation

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104112263A (zh) * 2014-06-28 2014-10-22 南京理工大学 基于深度神经网络的全色图像与多光谱图像融合的方法
CN106204449A (zh) * 2016-07-06 2016-12-07 安徽工业大学 一种基于对称深度网络的单幅图像超分辨率重建方法

Also Published As

Publication number Publication date
CN108012157A (zh) 2018-05-08

Similar Documents

Publication Publication Date Title
CN108012157B (zh) 用于视频编码分数像素插值的卷积神经网络的构建方法
Li et al. Learning convolutional networks for content-weighted image compression
CN107463989B (zh) 一种基于深度学习的图像去压缩伪影方法
Liu et al. Deep learning-based technology in responses to the joint call for proposals on video compression with capability beyond HEVC
Cheng et al. Performance comparison of convolutional autoencoders, generative adversarial networks and super-resolution for image compression
CN1719735A (zh) 编码源图像序列的方法和设备
DE202012013410U1 (de) Bildkompression mit SUB-Auflösungsbildern
CN110099280B (zh) 一种无线自组织网络带宽受限下的视频业务质量增强方法
Zhang et al. Video compression artifact reduction via spatio-temporal multi-hypothesis prediction
Xiong et al. Sparse spatio-temporal representation with adaptive regularized dictionary learning for low bit-rate video coding
Wang et al. Multi-scale convolutional neural network-based intra prediction for video coding
US11962786B2 (en) Multi-stage block coding
CN111711817A (zh) 一种结合卷积神经网络的hevc帧内编码压缩性能优化研究
Hu et al. Fvc: An end-to-end framework towards deep video compression in feature space
CN114466192A (zh) 图像/视频超分辨率
Lian et al. Reversing demosaicking and compression in color filter array image processing: Performance analysis and modeling
Wang et al. Neural network-based enhancement to inter prediction for video coding
CN116437102B (zh) 可学习通用视频编码方法、***、设备及存储介质
CN112637596B (zh) 一种码率控制***
CN114202463A (zh) 面向云端融合的视频超分辨率方法及***
CN101360236B (zh) 一种Wyner-ziv视频编解码方法
CN112584158B (zh) 视频质量增强方法和***
CN112601095A (zh) 一种视频亮度和色度分数插值模型的创建方法及***
CN101389032A (zh) 一种基于图像插值的帧内预测编码方法
CN113709483B (zh) 一种插值滤波器系数自适应生成方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant