CN114119789B - 基于在线学习的轻量化hevc色度图像质量增强方法 - Google Patents

基于在线学习的轻量化hevc色度图像质量增强方法 Download PDF

Info

Publication number
CN114119789B
CN114119789B CN202210097819.9A CN202210097819A CN114119789B CN 114119789 B CN114119789 B CN 114119789B CN 202210097819 A CN202210097819 A CN 202210097819A CN 114119789 B CN114119789 B CN 114119789B
Authority
CN
China
Prior art keywords
hevc
quality enhancement
layer
image quality
lightweight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210097819.9A
Other languages
English (en)
Other versions
CN114119789A (zh
Inventor
曾兵
杨仁威
刘何为
朱树元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202210097819.9A priority Critical patent/CN114119789B/zh
Publication of CN114119789A publication Critical patent/CN114119789A/zh
Application granted granted Critical
Publication of CN114119789B publication Critical patent/CN114119789B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明属于视频压缩的质量增强领域，提供一种基于在线学习的轻量化HEVC色度图像质量增强方法，用以提升受压缩后色度图像的质量。本发明的主要过程为：在编码端与解码端分别配置相同的轻量化HEVC色度图像质量增强模型（Dec‑CEN），编码端的Dec‑CEN模型进行在线学习，学习完毕后将更新的网络参数传输到解码端，并将该参数载入到解码端的Dec‑CEN模型，使得解码端无需学习即获得高性能的网络模型；本发明不仅能够大大提升HEVC色度图像质量增强性能，而且体量小、运算复杂度低，对设备的计算力要求极低；尤其在处理高分辨率图片时，具有更佳的性能优势和显著的速度优势，符合当前视频内容高清化的趋势。

Description

基于在线学习的轻量化HEVC色度图像质量增强方法
技术领域
本发明属于视频压缩的质量增强领域，具体而言，针对HEVC视频编解码标准所压缩的视频帧，本发明提出一种基于在线学习的轻量化HEVC色度图像质量增强方法，以应用于色度质量增强。
背景技术
在过去的数十年间视频数据量不断增长，但在有限的网络带宽下，原始视频数据量过于庞大而难以传播，于是视频编解码技术被提出用以压缩视频；High Efficiencyvideo coding (HEVC)便是国际知名的编解码技术标准之一，但另一方面，高效的压缩不可避免地导致了画质下降；如何改善压缩后的低质量图像也就成了学界和工业界受关注的问题。
近几年随着基于深度学习的人工神经网络技术的高速发展，有大量基于卷积神经网络(Convolution Neural Network，CNN)的方法被提出用于解决上述问题，并且都取得了极佳的质量增强效果。例如，由Huang等人发表的文章“Frame-wise CNN-based filteringfor intra-frame quality enhancement of HEVC videos”中提出了一种名为FQE-CNN的图像质量增强模型，其以低质量图像和HEVC的编码信息作为输入，经过由卷积层堆砌成的形似“U”状的主体结构，最终输出更高质量的图像。
然而，绝大多数深度学习方案存在几个问题：
1）模型体量大：模型体量越大则需要更多的设备存储空间，而且往往一个方案需要若干个模型，这将进一步造成存储负担，对于轻便型的设备极不友好，例如手机；
2）模型复杂度高：愈加复杂的模型需要更高的计算力，导致的结果便是模型的运行速度大幅度降低；同样的，对于计算资源有限的设备（如手机）依然十分不友好；
3）不适用于高清图片：随着技术的进步，视频内容不断向高清发展，但目前的质量增强方案并不适用于高分辨率图片；一方面，其质量提升效果在高清图片上会下降；另一方面，处理高分辨率图片时网络模型的运行速度大幅下降；
4）忽略了视频编解码的特性：目前现有技术大多采用“离线学习”框架，神经网络模型在训练阶段完成后便不再更新，即在实际使用时关闭训练；但在视频编解码中，“离线学习”框架大大限制了其性能上限。
发明内容
本发明针对上述现有技术存在的诸多问题，提供一种轻量化HEVC色度图像质量增强模型（Decoderfriendly Chrominance Enhancement Network ，Dec-CEN），并在该模型基础上提出“在线学习”框架，得到基于在线学习的轻量化HEVC色度图像质量增强方法，用以提升受压缩后色度图像的质量。本发明不仅能够大大提升HEVC色度图像质量增强性能，而且体量小、运算复杂度低，对设备的计算力要求极低；尤其在处理高分辨率图片时，具有更佳的性能优势和显著的速度优势，符合当前视频内容高清化的趋势。
为实现上述目的，本发明采用的技术方案如下：
基于在线学习的轻量化HEVC色度图像质量增强方法，其特征在于，包括：
在编码端与解码端分别配置相同轻量化HEVC色度图像质量增强模型（Dec-CEN），所述轻量化HEVC色度图像质量增强模型包括自适应层（AL）；
在编码端，输入原始图像经过HEVC压缩后得到压缩图像；将压缩图像作为轻量化HEVC色度图像质量增强模型的输入，设置损失函数与学习率，对轻量化HEVC色度图像质量增强模型中自适应层进行在线学习，得到更新后自适应层参数，将更新后自适应层参数与初始自适应层参数相减得到自适应层参数残差Δparam；将自适应层参数残差Δparam压缩为二进制码流、与压缩图像一同传输至解码端；
在解码端，基于自适应层参数残差Δparam更新轻量化HEVC色度图像质量增强模型中自适应层参数，将压缩图像输入至更新后轻量化HEVC色度图像质量增强模型，由更新后轻量化HEVC色度图像质量增强模型输出质量增强色度图像。
进一步的，所述编码端间隔固定帧进行一次在线学习，在线学习次数达到预设阈值则停止学习，间隔固定帧为50帧。
进一步的，所述损失函数采用L1范数损失函数，具体为：
Figure 550873DEST_PATH_IMAGE001
其中，
Figure 425288DEST_PATH_IMAGE002
表示轻量化HEVC色度图像质量增强模型的输出，
Figure 129939DEST_PATH_IMAGE003
表示输入原始图像，
Figure 907664DEST_PATH_IMAGE004
表示像素坐标，W、H分别表示图像的宽度、高度。
进一步的，所述轻量化HEVC色度图像质量增强模型（Dec-CEN）具体为：
压缩色度图像作为输入x chroma ，经过卷积层conv(3×3,128)、三个递归块（RB）、卷积层conv(3×3,1)后得到x chroma , 1，x chroma , 1与x chroma 相加得到初步质量增强中间输出 x chroma , 2；
压缩亮度图像作为输入x luma ，经过特征提取模块（FEB）、步长为2的卷积层conv(3×3,64)、自适应层AL(64)得到亮度图像的特征x luma,1 ；
初步质量增强中间输出 x chroma , 2经过卷积层conv(3×3,64)、自适应层AL(64)后得到x chroma , 3，x chroma , 3与x luma,1 相加后再经过卷积层conv(3×3,64)、自适应层AL(64)、卷积层conv(3×3,32)、卷积层conv(3×3,16)、自适应层AL(16)、卷积层conv(3×3,1)得到质量增强色度图像。
更进一步的，所述递归块包括： AU_1单元、3个共享参数AU_2单元、卷积层conv(3×3,64)，具体为：
Figure 406779DEST_PATH_IMAGE005
其中，x RB 为递归块RB的输入， x RB,1为AU_1单元的输出，x RB,2为第一个AU_2单元的输出，x RB,3为第二个AU_2单元的输出，x RB,4为第三个AU_2单元的输出，y RB 为递归块RB的输出，β表示门系数（GC），conv表示卷积操作；
所述AU_1单元与AU_2单元结构相同，包括：2个卷积层conv(1×1,128)与1个卷积层conv(3×3,128)，具体为：
Figure 34069DEST_PATH_IMAGE006
其中，x AU 为AU单元的输入，y AU 为AU单元的输出，Avg表示3×3的平均操作。
更进一步的，所述特征提取模块（FEB）包括：4个卷积层conv(3×3,64)，具体为：
Figure 276832DEST_PATH_IMAGE007
其中，x FEB 为特征提取模块FEB的输入，y FEB 为特征提取模块FEB的输出，x FEB,1为第一个卷积层conv(3×3,64)的输出，x FEB,2为第二个卷积层conv(3×3,64)的输出，x FEB,3为第三个卷积层conv(3×3,64)的输出，x FEB,4为第四个卷积层conv(3×3,64)的输出。
更进一步的，所述自适应层（AL）为卷积核尺寸为1×1的分组特殊卷积层，具体为：
对于通道数为n的自适应层，其输入为
Figure 407599DEST_PATH_IMAGE008
，其n个参数为
Figure 812035DEST_PATH_IMAGE009
，则自适应层输出为
Figure 661043DEST_PATH_IMAGE010
。
从工作原理上讲：
上述自适应层只占用了极小的参数量（体积），使得Dec-CEN模型能保持小的体积；具体而言，对于输入
Figure 176338DEST_PATH_IMAGE008
，常规卷积层conv(3×3,n)中，每个卷积核尺寸为
Figure 427190DEST_PATH_IMAGE011
、卷积核数量（即输出的通道数）为n、且需要设置每个卷积核的深度（即输入通道数）为n，那么常规卷积层conv(3×3,n)总共需要
Figure 2528DEST_PATH_IMAGE012
个参数；而本发明的自适应层总共只需要n个参数，大大缩小了所需参数量；
另一方面，上述自适应层的复杂度极低，也保证了Dec-CEN模型运算速度；具体而言，对于输入
Figure 338832DEST_PATH_IMAGE008
，一般的卷积层conv(3×3,n)每个卷积核尺寸为
Figure 657818DEST_PATH_IMAGE011
、即在每个位置上进行9次乘法运算，宽为W、高为H的图片共有
Figure 763177DEST_PATH_IMAGE013
个位置，卷积核数量为n、卷积核深度为n，那么卷积层conv(3×3,n)总共需要进行的乘法次数为：
Figure 7951DEST_PATH_IMAGE014
而本发明的自适应层仅对每个通道上的值做一次乘法，即：
Figure 565971DEST_PATH_IMAGE015
可见，自适应层的运算复杂度大大降低；
在极小体积、极低复杂度的前提下，在线学习框架下的自适应层仍然能够提供优异的性能。
本发明的有益效果在于：
本发明提供一种基于在线学习的轻量化HEVC色度图像质量增强方法，具有如下优点：
1）体积小：一方面，轻量化HEVC色度图像质量增强模型（Dec-CEN）模型的单个模型参数量小；另一方面，在线学习使其能够适应不同的输入，所以只需一个模型即可应对各种类型的图片输入，相较之下现有技术往往需要训练若干个模型以应对不同类型的图片；由此可见，本发明大大缩减模型总参数量，能够有效节省编、解码端设备的存储空间；
2）运算速度快：Dec-CEN模型有效削减了诸多冗杂的卷积操作，使其计算量大大减小，从而达到更快的运算速度；换言之，本发明对设备计算力的要求更低，因此实用性也更强；
3）适应高清图片：目前视频内容高清化是视频行业的整体趋势，而相比于现有技术，本发明在高分辨率图像上能达到更优异的质量增强性能，以及更快的运行速度，即更符合实际应用场景；
4）高效的在线学习框架：本发明充分利用了视频编码过程高质量帧可得的特性设计了一套在线学习框架，使得解码端模型在无额外计算负担的情况下显著提升性能。
附图说明
图1为本发明中轻量化HEVC色度图像质量增强模型（Dec-CEN）的网络结构图。
图2为图1所示轻量化HEVC色度图像质量增强模型中递归块（RB）的网络结构图。
图3为图2所示递归块中AU_1单元与AU_2单元的网络结构图。
图4为图1所示轻量化HEVC色度图像质量增强模型中特征提取模块（FEB）的网络结构图。
图5为本发明中基于在线学习的轻量化HEVC色度图像质量增强方法的流程示意图。
具体实施方式
下面结合附图和实施例对本发明做进一步详细说明。
本实施例提供一种基于在线学习的轻量化HEVC色度图像质量增强方法，其流程示意图如图5所示；其核心在于：编码端的HEVC色度图像质量增强模型（Dec-CEN）进行在线学习，学习完毕后将更新的网络参数传输到解码端，并将该参数载入到解码端的HEVC色度图像质量增强模型（Dec-CEN）上，解码端无需学习即获得高性能的网络模型；具体包括：
在编码端与解码端分别配置相同轻量化HEVC色度图像质量增强模型（Dec-CEN），所述轻量化HEVC色度图像质量增强模型包括自适应层（AL）；
在编码端，输入原始图像经过HEVC压缩后得到压缩图像（压缩亮度图像和压缩色度图像）；将压缩图像作为轻量化HEVC色度图像质量增强模型的输入，设置损失函数与学习率，对轻量化HEVC色度图像质量增强模型中自适应层进行在线学习，得到更新后自适应层参数，将更新后自适应层参数与初始自适应层参数相减得到自适应层参数残差Δparam；将自适应层参数残差Δparam压缩为二进制码流、与压缩图像一同传输至解码端；
在解码端，基于自适应层参数残差Δparam更新轻量化HEVC色度图像质量增强模型中自适应层参数，将压缩图像输入至更新后轻量化HEVC色度图像质量增强模型，由更新后轻量化HEVC色度图像质量增强模型输出质量增强色度图像。
进一步的，上述基于在线学***均分担到每一帧上，有效节约编码端的运行时间和码率；
同时，采用“快速学习”策略，在线学习次数达到预设阈值则停止学习，考虑到HEVC的压缩耗时与图片尺寸成正比，本发明可以让大尺寸图片的在线学习时间更长（预设阈值更大），这样即能够获得更优的图像增强性能，也不会明显增加HEVC编码端时间；相反，小尺寸图片的在线学习时间更短（预设阈值更小）。
上述轻量化HEVC色度图像质量增强模型（Dec-CEN）如图1所示，其中，conv(k×k,n)表示卷积核尺寸为k×k、输出通道数为n的卷积层，并且，默认步长为1；例如，conv(3×3,128)表示步长为1、卷积核尺寸为3×3、输出通道数为128的卷积层；AL(n)表示通道数为n的自适应层（AdaptiveLayer，AL）；具体而言：
质量受损的压缩色度图像作为输入x chroma ，经过卷积层conv(3×3,128)、三个递归块（RecursiveBlock，RB）、卷积层conv(3×3,1)后得到x chroma , 1，x chroma , 1加上x chroma 得到初步质量增强中间输出 x chroma , 2；
压缩亮度图像作为输入x luma ，经过特征提取模块（FeatureExtractionBlock，FEB）、步长为2的卷积层conv(3×3,64)、自适应层AL(64)得到亮度图像的特征x luma,1 ；
初步质量增强中间输出 x chroma , 2经过卷积层conv(3×3,64)、自适应层AL(64)后得到x chroma , 3，x chroma , 3与x luma,1 相加再经过卷积层conv(3×3,64)、自适应层AL(64)、卷积层conv(3×3,32)、卷积层conv(3×3,16)、自适应层AL(16)、卷积层conv(3×3,1)得到质量增强色度图像；
需要说明的是，上述步长为2表示每间隔1个像素进行一次卷积操作，即最终输出的宽、高变为原来的一半；因为HEVC的常用格式YUV420中规定色度图像的宽、高为亮度图像的一半，故本发明采用步长为2的卷积来将图像的尺寸对齐。
更具体而言：
所述递归块（Recursive Block，RB）采用“递归”技术，所述“递归”技术为多个相同模块使用完全一致的参数，基于该技术可以在不增加额外参数的前提下加深网络深度，从而提升模型效果，如图1中所示的3个共享参数的递归块RB；
所述递归块RB的具体结构如图2所示，同样采用“递归”技术，即如图2中所示的3个共享参数的AU_2单元；递归块RB包括： AU_1单元、3个共享参数AU_2单元、卷积层conv(3×3,64)，具体为：
Figure 688648DEST_PATH_IMAGE005
其中，x RB 为递归块RB的输入， x RB,1为AU_1单元的输出，x RB,2为第一个AU_2单元的输出，x RB,3为第二个AU_2单元的输出，x RB,4为第三个AU_2单元的输出，y RB 为递归块RB的输出，β表示门系数（Gate Coefficient，GC），conv表示卷积操作；
上述门系数β为一个可学习的参数，需要说明的是，β是3个共享参数的递归块RB中唯一不共享的参数，即三个RB中的β值是不同的。
所述AU_1单元与AU_2单元结构相同，如图3所示，包括：2个卷积层conv(1×1,128)与1个卷积层conv(3×3,128)，具体为：
Figure 914093DEST_PATH_IMAGE006
其中，x AU 为AU单元的输入，y AU 为AU单元的输出，Avg表示3×3的平均操作、即为计算3×3内输入值的平均值；
上述AU单元中的conv(1×1,128)的卷积核尺寸只有1×1，这样不仅大大节省模型的参数量，而且计算量小。
所述特征提取模块（Feature Extraction Block，FEB）如图4所示，包括：4个卷积层conv(3×3,64)，具体为：
Figure 831234DEST_PATH_IMAGE007
其中，x FEB 为特征提取模块FEB的输入，y FEB 为特征提取模块FEB的输出，x FEB,1为第一个卷积层conv(3×3,64)的输出，x FEB,2为第二个卷积层conv(3×3,64)的输出，x FEB,3为第三个卷积层conv(3×3,64)的输出，x FEB,4为第四个卷积层conv(3×3,64)的输出；
同时，本发明中使用了两个依次连接的特征提取模块，以达到更好的性能。
所述自适应层（Adaptive Layer，AL）是一种卷积核尺寸为1×1的分组特殊卷积层，其作用为将每一个输入通道乘以系数后输出，具体为：
对于通道数为n的自适应层，其输入为
Figure 142129DEST_PATH_IMAGE008
，其n个参数为
Figure 802918DEST_PATH_IMAGE009
，则自适应层输出为
Figure 351711DEST_PATH_IMAGE010
；
在本发明的HEVC色度图像质量增强模型（Dec-CEN），有且仅有自适应层参与在线学习。
上述轻量化HEVC色度图像质量增强模型（Dec-CEN）在配置到编码端与解码端之前，需要进行离线预训练，所述离线预训练的过程具体为：
构建训练数据集：本实施例中，使用Flickr2K图片集中的图片使用HEVC官方参考软件HM-16.7进行压缩，量化参数（Quantization Parameter，QP）用以控制量化步长，QP值越大则图片的质量损失越大，相应地压缩后的体积也就越小，本实施例中取QP=27；使用HEVC 的All Intra模式，即所有图片是进行的帧内压缩；而后再将压缩过的亮度图片和压缩过的色度图片裁剪为不重叠的图像块，亮度图像块的尺寸为64 × 64、色度图像块的尺寸为32× 32，以压缩亮度图像块、压缩色度图像块作为输入，以原始输入图像作为学习目标，构成训练样本，进而形成训练数据集；
离线预训练：本实施例中，使用PyTorch深度学习框架，在NvidiaGeForceGTX1080TiGPU上进行训练；批大小设置为64个训练样本，损失函数设置为L1范数：
Figure 705332DEST_PATH_IMAGE016
其中，
Figure 237944DEST_PATH_IMAGE002
表示轻量化HEVC色度图像质量增强模型的输出，
Figure 702424DEST_PATH_IMAGE003
表示输入原始图像，
Figure 371302DEST_PATH_IMAGE004
表示像素坐标，W、H分别表示图像的宽度、高度；
设置学习率为1e-4，训练40个周期得到离线预训练后轻量化HEVC色度图像质量增强模型。
下面对本实施例提供的基于在线学习的轻量化HEVC色度图像质量增强方法进行测试，测试集为：
本实施例中，使用HEVC的官方推荐的YUV420格式的视频测试序列，其中，包含15个视频序列，且被划分为四个类别，每个类别对应一种分辨率，具体为：
A类，分辨率为：2560×1600，序列名为：A1.Traffic、A2.PeopleOnStreet；
B类，分辨率为：1920×1080，序列名为：B1.Traffic、B2. PeopleOnStreet、B3.Cactus、B4. BQTerrace、B5. BasketballDrive；
C类，分辨率为：832×480，序列名为：C1.RaceHorses、C2.BQMall、C3.PartyScene、C4.BasketballDrill；
D类，分辨率为：416×240，序列名为：D1.RaceHorses、D2.BQSquare、D3.BlowingBubbles、D4.BasketballPass；
本实施例在4种QP（22、27、32、37）下使用HEVC进行视频压缩，并将压缩后的视频序列作为模型的测试输入；
需要说明的是：在本实施例中，由于GPU显存有限，无法将太大的图片直接送入模型进行测试；所以在线学习时，分辨率为2560×1600的A类图将被等分为16份小图（宽、高分别裁剪为原图的1/4），分辨率为1920×1080的B类图将被等分为4份小图，这些小图将依次送入模型进行测试，依次经过模型处理后再拼接成原图；另外，本实施例中，针对A、B、C、D类的图片的在线学习次数分别设置为2000、1000、100、100次。
本实施例采用目前最新、性能最优的质量增强方案FQE-CNN（Frame-wise CNN-based filtering for intra-frame quality enhancement of HEVC videos）作为对比例，本实施例从质量提升效果、模型参数量、编解码端运行时间等多个维度进行比较，测试结果如下：
1. 质量增强性能
本发明以视频编码行业流行的BD-rate作为评价指标，BD-rate可以根据4个QP下的画质提升结果，计算得出一个方案相比于HEVC所能节省的码率，换言之BD-rate为负值则说明该方案能够带来增益；例如，某方案的实验结果为BD-rate=-10%，说明相同画质情况下该方案所需数据量比HEVC节省了10%；
表1中列举出了四个类别下的平均BD-rate，由表可见，本发明综合性能更优，可以节省26.9%的码率；其中，尤其在最大尺寸A类图片上，本发明的性能显著优于FQE-CNN，而目前2K、即2560×1600分辨率的视频愈来愈普及，用户量也越来越多；在次大尺寸的B类图片上，本发明方案性能也明显更优，值得注意的是1080p分辨率，即1920×1080是目前手机端、电脑端使用率非常高的尺寸；
表1：各类别性能测试BD-rate结果
Figure 895825DEST_PATH_IMAGE017
同时，表2中详细列举高分辨率的A类、B类中每个序列的单独增益情况，由表可见，本发明在每条视频序列上都带来了更优的性能增益，体现了本发明的鲁棒性；其中，最高可在序列“PeopleOnStreet”达到-38.9%的码率节省；
表2：各视频序列性能测试BD-rate结果
Figure 915733DEST_PATH_IMAGE018
综上所述，本发明的Dec-CEN模型不仅拥有更佳的综合性能，而且在越高分辨率的视频序列上增益越明显，符合当前视频行业内容高清化的整体趋势。
2. 模型参数量
表3列举了模型的单个模型的参数量、以及总模型参数量，由表可见本发明所提出的Dec-CEN单个模型的参数量不到FQE-CNN的一半；同时，为了适用于多种类型的图片输入，目前现有的大多数方案需要离线训练数个模型，以应对不同类型的图片输入，例如FQE-CNN需要针对每个QP、每个分辨率训练单独的模型，故针对4个QP（22、27、32、37）和4种分辨率（2560×1600、1920×1080、832×480、416×240）的图片输入，总共需要4×4=16个模型，而在本发明中，在线学习带来的自适应能力使得一个Dec-CEN模型即能够适用于多种类型的图片输入；由此可见，本发明缩减了96.98%的模型参数量，这大大地降低了解码端设备的存储压力，对解码端十分友好，具有更强的实用性。
表3：模型参数量（单位：千k）
Figure 918324DEST_PATH_IMAGE019
3. 解码端运行时间
表4中列出了模型在解码端所需的模型运行时间，由表可见本发明的平均运行时间明显优于FQE-CNN；并且，FQE-CNN对分辨率更为敏感，处理大尺寸图片的速度显著变慢。
表4：解码端运行时间（单位：毫秒ms）
Figure 707289DEST_PATH_IMAGE020
4. 编码端运行时间
表5列举了本发明在编码端相对于HEVC的运行时间Δt：Δt=t 0/t，t 0为Dec-CEN模型在编码端的运行时间，t 为HEVC进行视频编码原本所需时间；由表可见，本发明只增加了少量的编码端时间，且都优于对比方案FQE-CNN。
表5：编码端相对运行时间（单位：百分比%）
Figure 904177DEST_PATH_IMAGE021
由此可见，本发明能够有效增强视频帧质量、即变相地节省码率，以BD-rate为指标，平均可以节省26.9%码率，其中，最高在2k分辨率（2560×1600）上可以达到31.3%；同时相较于现有技术，本发明降低了96.98%模型参数，并将解码端运行时间平均缩短了85.7%，尤其在1080p分辨率（1920×1080）上缩短94.3%。
综上，本发明充分利用视频编解码任务的特性，基于“在线学习”框架，令解码端无需训练直接获取更新后网络模型，进而得到更优质量增强效果，而且在越高清的视频上增强效果越好，符合当前视频内容高清化的行业趋势；同时，在更优性能的前提下，本发明的Dec-CEN模型体积小、复杂度低，对解码端十分友好，拥有更强的实用性。
以上所述，仅为本发明的具体实施方式，本说明书中所公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换；所公开的所有特征、或所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以任何方式组合。

Claims (7)

1.基于在线学习的轻量化HEVC色度图像质量增强方法，其特征在于，包括：
在编码端与解码端分别配置相同轻量化HEVC色度图像质量增强模型，所述轻量化HEVC色度图像质量增强模型包括自适应层；
在编码端，输入原始图像经过HEVC压缩后得到压缩图像；将压缩图像作为轻量化HEVC色度图像质量增强模型的输入，设置损失函数与学习率，对轻量化HEVC色度图像质量增强模型中自适应层进行在线学习，得到更新后自适应层参数，将更新后自适应层参数与初始自适应层参数相减得到自适应层参数残差Δparam；将自适应层参数残差Δparam压缩为二进制码流、与压缩图像一同传输至解码端；
在解码端，基于自适应层参数残差Δparam更新轻量化HEVC色度图像质量增强模型中自适应层参数，将压缩图像输入至更新后轻量化HEVC色度图像质量增强模型，由更新后轻量化HEVC色度图像质量增强模型输出质量增强色度图像。
2.按权利要求1所述基于在线学习的轻量化HEVC色度图像质量增强方法，其特征在于，编码端间隔固定帧进行一次在线学习，在线学习次数达到预设阈值则停止学习。
3.按权利要求1所述基于在线学习的轻量化HEVC色度图像质量增强方法，其特征在于，所述损失函数采用L1范数损失函数。
4.按权利要求1所述基于在线学习的轻量化HEVC色度图像质量增强方法，其特征在于，所述轻量化HEVC色度图像质量增强模型具体为：
压缩色度图像作为输入x chroma ，经过卷积层conv(3×3,128)、三个递归块、卷积层conv(3×3,1)后得到x chroma , 1，x chroma , 1与x chroma 相加得到初步质量增强中间输出 x chroma , 2；
压缩亮度图像作为输入x luma ，经过特征提取模块、步长为2的卷积层conv(3×3,64)、自适应层AL(64)得到亮度图像的特征x luma,1；
初步质量增强中间输出 x chroma , 2经过卷积层conv(3×3,64)、自适应层AL(64)后得到x chroma , 3，x chroma , 3与x luma,1相加后再经过卷积层conv(3×3,64)、自适应层AL(64)、卷积层conv(3×3,32)、卷积层conv(3×3,16)、自适应层AL(16)、卷积层conv(3×3,1)得到质量增强色度图像；
其中，卷积层conv(k×k,n)表示卷积核尺寸为k×k、输出通道数为n的卷积层，自适应层AL(n)表示通道数为n的自适应层。
5.按权利要求4所述基于在线学习的轻量化HEVC色度图像质量增强方法，其特征在于，所述递归块包括： AU_1单元、3个共享参数AU_2单元、卷积层conv(3×3,64)，具体为：
Figure DEST_PATH_IMAGE001
其中，x RB 为递归块RB的输入， x RB,1为AU_1单元的输出，x RB,2为第一个AU_2单元的输出，x RB,3为第二个AU_2单元的输出，x RB,4为第三个AU_2单元的输出，y RB 为递归块RB的输出，β表示门系数，conv表示卷积操作；
所述AU_1单元与AU_2单元结构相同，包括：2个卷积层conv(1×1,128)与1个卷积层conv(3×3,128)，具体为：
Figure 302807DEST_PATH_IMAGE002
其中，x AU 为AU单元的输入，y AU 为AU单元的输出，Avg表示3×3的平均操作。
6.按权利要求4所述基于在线学习的轻量化HEVC色度图像质量增强方法，其特征在于，所述特征提取模块包括：4个卷积层conv(3×3,64)，具体为：
Figure DEST_PATH_IMAGE003
其中，x FEB 为特征提取模块FEB的输入，y FEB 为特征提取模块FEB的输出，x FEB,1为第一个卷积层conv(3×3,64)的输出，x FEB,2为第二个卷积层conv(3×3,64)的输出，x FEB,3为第三个卷积层conv(3×3,64)的输出，x FEB,4为第四个卷积层conv(3×3,64)的输出。
7.按权利要求4所述基于在线学习的轻量化HEVC色度图像质量增强方法，其特征在于，所述自适应层为卷积核尺寸为1×1的分组特殊卷积层，具体为：
对于通道数为n的自适应层，其输入为
Figure 285194DEST_PATH_IMAGE004
，其n个参数为
Figure DEST_PATH_IMAGE005
，则自适应层输出为：
Figure 861669DEST_PATH_IMAGE006
。
CN202210097819.9A 2022-01-27 2022-01-27 基于在线学习的轻量化hevc色度图像质量增强方法 Active CN114119789B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210097819.9A CN114119789B (zh) 2022-01-27 2022-01-27 基于在线学习的轻量化hevc色度图像质量增强方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210097819.9A CN114119789B (zh) 2022-01-27 2022-01-27 基于在线学习的轻量化hevc色度图像质量增强方法

Publications (2)

Publication Number Publication Date
CN114119789A CN114119789A (zh) 2022-03-01
CN114119789B true CN114119789B (zh) 2022-05-03

Family

ID=80361367

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210097819.9A Active CN114119789B (zh) 2022-01-27 2022-01-27 基于在线学习的轻量化hevc色度图像质量增强方法

Country Status (1)

Country Link
CN (1) CN114119789B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111432207A (zh) * 2020-03-30 2020-07-17 北京航空航天大学 基于显著目标检测和显著性指导的感知高清视频编码方法
WO2020254723A1 (en) * 2019-06-19 2020-12-24 Nokia Technologies Oy A method, an apparatus and a computer program product for video encoding and video decoding

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103329539B (zh) * 2012-01-20 2017-04-12 索尼公司 色度量化参数扩展
WO2015098561A1 (ja) * 2013-12-27 2015-07-02 ソニー株式会社 復号装置および復号方法、並びに、符号化装置および符号化方法
CN106998470B (zh) * 2016-01-25 2020-03-20 华为技术有限公司 解码方法、编码方法、解码设备和编码设备
CN106713935B (zh) * 2017-01-09 2019-06-11 杭州电子科技大学 一种基于贝叶斯决策的hevc块划分快速方法
US11375200B2 (en) * 2019-12-24 2022-06-28 Tencent America LLC Video coding method and device for controlling color component processing
CN113727106B (zh) * 2020-05-25 2024-03-26 腾讯科技（深圳）有限公司 视频编码、解码方法、装置、电子设备及存储介质
CN113362225B (zh) * 2021-06-03 2022-06-14 太原科技大学 基于残差递归补偿和特征融合的多描述压缩图像增强方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020254723A1 (en) * 2019-06-19 2020-12-24 Nokia Technologies Oy A method, an apparatus and a computer program product for video encoding and video decoding
CN111432207A (zh) * 2020-03-30 2020-07-17 北京航空航天大学 基于显著目标检测和显著性指导的感知高清视频编码方法

Also Published As

Publication number Publication date
CN114119789A (zh) 2022-03-01

Similar Documents

Publication Publication Date Title
WO2020097888A1 (zh) 视频处理方法、装置、电子设备及计算机可读存储介质
CN108495135B (zh) 一种屏幕内容视频编码的快速编码方法
JP4593437B2 (ja) 動画像符号化装置
CN108322747B (zh) 一种面向超高清视频的编码单元划分优化方法
JP2003152547A (ja) 動画像を圧縮する方法
CN100493193C (zh) 对实时数码视频影流进行缓存控制的方法和装置
CN112188196A (zh) 一种基于纹理的通用视频编码帧内快速预测的方法
CN115118964A (zh) 视频编码方法、装置、电子设备及计算机可读存储介质
CN112509071B (zh) 一种亮度信息辅助的色度信息压缩重建方法
CN114119789B (zh) 基于在线学习的轻量化hevc色度图像质量增强方法
TWI505717B (zh) 彩色影像之接合純量嵌入圖形寫碼
CN114189688B (zh) 基于亮度模板匹配的色度分量预测方法
KR20120100448A (ko) 머신 러닝을 이용한 동영상 압축 기법 및 장치
CN103313055A (zh) 一种基于分割的色度帧内预测方法、及视频编码解码方法
CN111815502B (zh) 基于WebP压缩算法的多图处理的FPGA加速方法
CN114339263A (zh) 一种针对视频数据的无损处理方法
CN106954074B (zh) 一种视频数据处理方法和装置
CN111212288B (zh) 视频数据的编解码方法、装置、计算机设备和存储介质
Yang et al. Graph-convolution network for image compression
CN113709482B (zh) 面向硬件的帧内编码模式中编码单元划分模式确定方法
CN107277508B (zh) 一种采用自适应模式选择的像素级两向帧内预测方法
Huang et al. Quality enhancement of screen content video using dual-input CNN
CN116996697B (zh) 一种面向hevc编码框架的视频恢复方法
WO2023082520A1 (zh) 图像处理方法及装置、存储介质及电子装置
WO2023082955A1 (zh) 编解码方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant