CN116760983B - 用于视频编码的环路滤波方法及装置 - Google Patents

用于视频编码的环路滤波方法及装置 Download PDF

Info

Publication number
CN116760983B
CN116760983B CN202310993006.2A CN202310993006A CN116760983B CN 116760983 B CN116760983 B CN 116760983B CN 202310993006 A CN202310993006 A CN 202310993006A CN 116760983 B CN116760983 B CN 116760983B
Authority
CN
China
Prior art keywords
image
target sub
images
feature
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310993006.2A
Other languages
English (en)
Other versions
CN116760983A (zh
Inventor
刘�东
叶帆
李礼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Original Assignee
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC filed Critical University of Science and Technology of China USTC
Priority to CN202310993006.2A priority Critical patent/CN116760983B/zh
Publication of CN116760983A publication Critical patent/CN116760983A/zh
Application granted granted Critical
Publication of CN116760983B publication Critical patent/CN116760983B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种用于视频编码的环路滤波方法及装置，可以应用于视频编码技术领域。该方法包括：将目标视频图像划分成预设尺寸的多个目标子图像，其中，目标视频图像是对原始视频图像进行预处理得到的；对多个目标子图像分别进行特征提取，得到与多个目标子图像各自对应的图像特征，得到多个图像特征；对多个图像特征进行聚类，得到多个特征集合；根据多个特征集合，得到与多个特征集合各自对应的环路滤波参数，得到多个环路滤波参数；根据多个环路滤波参数，对多个目标子图像进行环路滤波。

Description

用于视频编码的环路滤波方法及装置
技术领域
本发明涉及视频编码技术领域，尤其涉及一种用于视频编码的环路滤波方法及装置。
背景技术
在利用基于块的混合编码框架对视频进行编解码的情况下，基于块的混合编码框架中使用的图像划分和量化操作会导致压缩伪影，如块效应、振铃效应、纹理和边缘平滑。为了提高视频编码的质量并减少这些压缩伪影，在编码和解码框架中引入了环路滤波技术。在通用视频编码标准H.266/VVC（Versatile Video Coding）中，针对这一目的，定义了四种不同的环路滤波器。
四种不同的环路滤波器分别为去方块滤波器（Deblocking Filter，DBF）、样点自适应补偿（Sample Adaptive Offset，SAO）滤波器、自适应环路滤波器（Adaptive LoopFilter，ALF）和跨分量自适应环路滤波器（Cross-Component Adaptive Loop Filter，CC-ALF）。DBF用于降低块效应，即由于图像划分和量化导致的块状伪影。SAO用于缓解振铃效应并校正局部平均像素强度的变化。ALF通过自适应地选择和应用滤波器，减少压缩伪影，提高图像的清晰度和细节恢复能力。CC-ALF则对不同分量之间的相关性进行建模，并在重建过程中应用相应的滤波，以进一步提升图像质量。
在实现本发明构思的过程中，发现相关技术中至少存在如下问题：相关技术，ALF利用固定的分类规则来选择适用于每个类别的块的滤波器，使得到的与预定类别对应的滤波器并不适用于与预定类别对应的多个块中的每个块，使得ALF的滤波效果较差，图像清晰度较低。
发明内容
鉴于上述问题，本发明提供了一种用于视频编码的环路滤波方法及装置。
根据本发明的第一个方面，提供了一种用于视频编码的环路滤波方法，上述方法包括：
将目标视频图像划分成预设尺寸的多个目标子图像，其中，上述目标视频图像是对原始视频图像进行预处理得到的；
对上述多个目标子图像分别进行特征提取，得到与上述多个目标子图像各自对应的图像特征，得到多个图像特征；
对上述多个图像特征进行聚类，得到多个特征集合；
根据上述多个特征集合，得到与上述多个特征集合各自对应的环路滤波参数，得到多个环路滤波参数；
根据上述多个环路滤波参数，对上述多个目标子图像进行环路滤波。
根据本发明的实施例，上述对上述多个目标子图像分别进行特征提取，得到与上述多个目标子图像各自对应的图像特征，得到多个图像特征包括：
利用目标变分量化自编码器网络对上述多个目标子图像分别进行特征提取，得到多个图像特征。
根据本发明的实施例，上述目标变分量化自编码器网络中存储有与上述多个特征集合各自对应的目标特征，上述对上述多个图像特征进行聚类，得到多个特征集合包括：
针对多个图像特征中的每个图像特征，计算上述每个图像特征和与上述多个特征集合各自对应的目标特征之间的距离，得到多个距离；
确定上述多个距离中的最小距离；
将上述图像特征划分到与上述最小距离对应的特征集合中。
根据本发明的实施例，上述对上述多个目标子图像分别进行特征提取，得到与上述多个目标子图像各自对应的图像特征，得到多个图像特征包括：
针对多个目标子图像中的每个目标子图像，提取上述每个目标子图像在预设方向的灰度共生矩特征，其中，上述灰度共生矩特征包括逆差矩值、能量值、熵值、对比度值、差异性值和相关性值；
根据上述灰度共生矩特征，得到与上述每个目标子图像对应的图像特征。
根据本发明的实施例，上述对上述多个目标子图像分别进行特征提取，得到与上述多个目标子图像各自对应的图像特征，得到多个图像特征包括：
针对多个目标子图像中的每个目标子图像，提取上述每个目标子图像的梯度特征；
根据上述梯度特征，得到与上述每个目标子图像对应的图像特征。
根据本发明的实施例，上述梯度特征包括以下至少一个特征值：
垂直方向的梯度特征值、水平方向的梯度特征值、45度对角线方向的梯度特征值、135度对角线方向的梯度特征值和活动特征值，其中，上述活动特征值是通过对上述垂直方向的梯度特征值和水平方向的梯度特征值进行加和得到的。
根据本发明的实施例，上述根据上述梯度特征，得到与上述每个目标子图像对应的图像特征包括：
对上述梯度特征进行归一化，得到与上述每个目标子图像对应的图像特征。
根据本发明的实施例，上述对上述多个图像特征进行聚类，得到多个特征集合包括：
利用高斯混合模型算法对上述多个图像特征进行聚类，得到多个特征集合。
根据本发明的实施例，上述根据上述多个特征集合，得到与上述多个特征集合各自对应的环路滤波参数，得到多个环路滤波参数包括：
针对上述多个特征集合中的每个特征集合，获取与上述每个特征集合对应的目标子图像和与上述每个特征集合对应的原始子图像，其中，上述与上述每个特征集合对应的原始子图像表征上述原始视频图像中与上述每个特征集合对应的图像部分；
根据上述与上述每个特征集合对应的目标子图像和上述与上述每个特征集合对应的原始子图像，得到与上述每个特征集合对应的环路滤波参数。
本发明的第二方面提供了一种用于视频编码的环路滤波装置，包括：
划分模块，用于将目标视频图像划分成预设尺寸的多个目标子图像，其中，上述目标视频图像是对原始视频图像进行预处理得到的；
第一得到模块，用于对上述多个目标子图像分别进行特征提取，得到与上述多个目标子图像各自对应的图像特征，得到多个图像特征；
第二得到模块，用于对上述多个图像特征进行聚类，得到多个特征集合；
第三得到模块，用于根据上述多个特征集合，得到与上述多个特征集合各自对应的环路滤波参数，得到多个环路滤波参数；
滤波模块，用于根据上述多个环路滤波参数，对上述多个目标子图像进行环路滤波。
本发明的第三方面提供了一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得一个或多个处理器执行上述方法。
本发明的第四方面还提供了一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行上述方法。
本发明的第五方面还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述方法。
根据本发明的实施例，本发明实施例提供的技术方案通过对与视频对象对应的多个目标子图像分别进行特征提取，得到与多个目标子图像各自对应的图像特征，对多个图像特征进行聚类，得到多个特征集合，实现通过对与多个目标子图像各自对应的图像特征进行聚类的方式，对多个目标子图像进行聚类，使得同一聚类集合中的多个目标子图像的特征较相似，然后根据多个特征集合，得到与多个特征集合各自对应的环路滤波参数，使得与每个特征集合对应的环路滤波参数适用于与每个特征集合对应的多个目标子图像，然后再根据多个环路滤波参数，对多个目标子图像进行环路滤波，可以得到清晰度较高的与视频图像对应的编码图像。
附图说明
通过以下参照附图对本发明实施例的描述，本发明的上述内容以及其他目的、特征和优点将更为清楚，在附图中：
图1示出了根据本发明实施例的用于视频编码的环路滤波方法的应用场景图；
图2示出了根据本发明实施例的用于视频编码的环路滤波方法的流程图；
图3示出了根据本发明实施例的利用VQVAE网络对图像进行特征提取与聚类的流程图；
图4示出了根据本发明另一实施例的用于视频编码的环路滤波方法的流程图；
图5示出了根据本发明实施例的菱形滤波器的示意图；
图6示出了根据本发明实施例的解码器的示意图；
图7示出了根据本发明实施例的用于视频编码的环路滤波装置的结构框图；以及
图8示出了根据本发明实施例的适于实现用于视频编码的环路滤波方法的电子设备的方框图。
具体实施方式
以下，将参照附图来描述本发明的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本发明的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本发明实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本发明。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语（包括技术和科学术语）具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释（例如，“具有A、B和C中至少一个的***”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的***等）。
在本发明的技术方案中，所涉及的数据（如包括但不限于用户个人信息）的收集、存储、使用、加工、传输、提供、公开和应用等处理，均符合相关法律法规的规定，采取了必要保密措施，且不违背公序良俗。
为了至少部分地解决相关技术中存在的技术问题，本发明的实施例提供了一种用于视频编码的环路滤波方法及装置，可以应用于视频编码技术领域。
相关技术，使用不同的ALF处理不同类别的块。ALF对视频图像进行处理的过程通常包括分类过程和滤波过程。
ALF 是H.266/VVC标准引入的先进技术，旨在通过使用环路滤波器减小原始视频图像与重建视频图像之间的均方误差，提高图像重建质量。
在ALF的分类过程中，基于梯度的分类规则，将与视频图像对应的多个4×4的子块分划为不同的类别。在H.266/VVC中，每个4×4的子块可以被分到25个不同的类别中。这些类别C是通过方向性因子D和活动性因子推导而来。类别C与方向性因子D和活动性因子/>之间的关系如公式（1）所示。
（1）
活动性因子D的计算方法为：首先，根据公式（2）~（5），针对与视频图像对应的多个子块中的每个子块，先使用一维拉普拉斯算子计算当前块的水平梯度值、垂直梯度值和两个对角方向的梯度值。
（2）
（3）
（4）
（5）
其中，g v 表征子块的垂直梯度值，g h 表征子块的水平梯度值，g d1表征子块的第一对角梯度值，g d2表征子块的第二对角梯度值，V k，l 表征子块在像素（k，l）处的水平的梯度值，H k，l 表征子块在像素（k，l）处的垂直的梯度，D1 k，l 表征子块在像素（k，l）处的第一对角的梯度值，D2 k，l 表征子块在像素（k，l）处的第二对角的梯度值，i和j分别表征4×4小块左上角像素点的横坐标值和纵坐标值，R k，l 表征子块在坐标（k，l）处的重建像素值，i和j均为大于等于2的整数。实际计算中可以采用下采样的方式计算梯度以降低复杂度。
然后，根据公式（6）和公式（7）分别确定与多个子块各自对应的水平梯度值和垂直梯度值中的最大值与最小值/>。根据公式（8）和公式（9）分别确定与两个对角线梯度分别对应的梯度值中的最大值/>和最小值/>。
（6）
（7）
（8）
（9）
最后，根据步骤①至④，将、/>、/>以及/>与阈值t 1和t 2进行相互比较，得到方向性因子D，其中，阈值t 1和t 2可以根据实际情况进行选择。
步骤①如果且/>，则D=0。
步骤②如果，则跳转到步骤③；否则跳转到步骤④。
步骤③如果，则D=2；否则D=1。
步骤④如果，则D=4；否则D=3。
活动性因子的计算方法为：根据计算初始活动性因子A，将初始活动性因子A量化到[0，4]的范围，得到活动性因子/>。
初始活动性因子A的计算方法如公式（10）所示。
（10）
为了进一步优化ALF，在将ALF应用于待滤波图像之前，可以对构成ALF的参数进行几何变换，包括对角线、垂直翻转和旋转。
在H.266/VVC的自适应环路滤波过程中，尽管根据局部梯度特征经验性地定义了类别C，但这种满足特定物理定义的类别并不适用于不同内容的图像。此外，这些类别仅用于选择不同的滤波器，缺乏实际的物理意义和特征。
由于相关技术，根据固定的分类规则公式（1）得到的类别C对与视频图像对应的子块（目标子图像）进行分类，提取的与子块对应的特征数量较少且种类有限，无法充分有效地描述子块的内容和纹理特性，使得同一类中的多个子块之间的相似特征较少，同一类中的多个子块各自包括的内容及纹理相差较大。
在根据与预定类别对应的多个子块得到与预定类别对应的环路滤波器，且多个子块之间的内容及纹理相差较大的情况下，会使与预定类别对应的滤波器并不适用于与预定类别对应的多个块中的每个块，使得ALF的滤波效果较差，图像清晰度较低。
为了至少部分地解决相关技术中存在的技术问题，本发明提供了一种用于视频编码的环路滤波方法及装置，可以应用于视频编码技术领域。该用于视频编码的环路滤波方法，包括：将目标视频图像划分成预设尺寸的多个目标子图像，其中，目标视频图像是对原始视频图像进行预处理得到的；对多个目标子图像分别进行特征提取，得到与多个目标子图像各自对应的图像特征，得到多个图像特征；对多个图像特征进行聚类，得到多个特征集合；根据多个特征集合，得到与多个特征集合各自对应的环路滤波参数，得到多个环路滤波参数；根据多个环路滤波参数，对多个目标子图像进行环路滤波。
图1示出了根据本发明实施例的用于视频编码的环路滤波方法的应用场景图。
如图1所示，根据该实施例的应用场景100可以包括第一终端设备101、第二终端设备102、第三终端设备103、网络104和服务器105。网络104用以在第一终端设备101、第二终端设备102、第三终端设备103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用第一终端设备101、第二终端设备102、第三终端设备103中的至少一个通过网络104与服务器105交互，以接收或发送消息等。第一终端设备101、第二终端设备102、第三终端设备103上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等（仅为示例）。
第一终端设备101、第二终端设备102、第三终端设备103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器，例如对用户利用第一终端设备101、第二终端设备102、第三终端设备103所浏览的网站提供支持的后台管理服务器（仅为示例）。后台管理服务器可以对接收到的用户请求等数据进行分析等处理，并将处理结果（例如根据用户请求获取或生成的网页、信息、或数据等）反馈给终端设备。
需要说明的是，本发明实施例所提供的用于视频编码的环路滤波方法一般可以由服务器105执行。相应地，本发明实施例所提供的用于视频编码的环路滤波装置一般可以设置于服务器105中。本发明实施例所提供的用于视频编码的环路滤波方法也可以由不同于服务器105且能够与第一终端设备101、第二终端设备102、第三终端设备103和/或服务器105通信的服务器或服务器集群执行。相应地，本发明实施例所提供的用于视频编码的环路滤波装置也可以设置于不同于服务器105且能够与第一终端设备101、第二终端设备102、第三终端设备103和/或服务器105通信的服务器或服务器集群中。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
以下将基于图1描述的场景，通过图2~图6对公开实施例的用于视频编码的环路滤波方法进行详细描述。
图2示出了根据本发明实施例的用于视频编码的环路滤波方法的流程图。
如图2所示，该实施例的用于视频编码的环路滤波方法包括操作S210~操作S250。
在操作S210，将目标视频图像划分成预设尺寸的多个目标子图像，其中，目标视频图像是对原始视频图像进行预处理得到的。
根据本发明的实施例，预设尺寸可以根据实际业务情况进行选择，在此不作限定。例如，预设尺寸可以为4×4px（像素，pixel），还可以为5×5px，或6×6px。
根据本发明的实施例，例如，可以将64×64px的视频图像划分为16个尺寸为4×4px的目标子图像。
根据本发明的实施例，对原始视频图像进行预处理的操作可以包括以下操作中的至少一种：利用DBF对原始视频图像进行滤波处理和利用SAO对原始视频图像进行滤波处理。
根据本发明的实施例，例如，对原始视频图像进行预处理的操作可以为利用H.266/VVC参考软件VTM对原始视频图像进行处理，使得原始视频图像经过DBF以及SAO共同滤波处理，但未经过ALF滤波处理。
根据本发明的实施例，可以将视频包括的任意一帧图像作为原始图像。
在操作S220，对多个目标子图像分别进行特征提取，得到与多个目标子图像各自对应的图像特征，得到多个图像特征。
根据本发明的实施例，图像特征为多维特征，能够反应目标子图像包括的内容及细节信息。图像特征的维度可以大于等于2。
根据本发明的实施例，对多个目标子图像分别进行特征提取的方法可以根据实际业务情况进行选择，在此不作限定。
根据本发明的实施例，例如，可以根据神经网络模型对多个目标子图像分别进行特征提取，得到与多个目标子图像各自对应的图像特征，得到多个图像特征。
根据本发明的实施例，例如，还可以根据与多个目标子图像各自对应的不同方向的梯度作为与多个目标子图像各自对应的图像特征，得到多个图像特征。
在操作S230，对多个图像特征进行聚类，得到多个特征集合。
根据本发明的实施例，聚类方法可以根据实际业务情况进行选择，在此不作限定。
根据本发明的实施例，例如，可以利用马氏距离（Mahalanobis Distance）、欧氏距离、曼哈顿距离、汉明距离、Kmeans、马氏距离结合k均值聚类算法（k-means clusteringalgorithm，Kmeans）、欧氏距离结合Kmeans、曼哈顿距离结合Kmeans或汉明距离结合Kmeans等对多个图像特征进行聚类，得到多个特征集合。
根据本发明的实施例，通过对与多个目标子图像各自对应的图像特征进行聚类的方式，实现对多个目标子图像进行聚类，有效利用反应多个目标子图像之间的上下文信息以及多个目标子图像之间的相关性信息的多个图像特征对多个目标子图像进行聚类，使得同一聚类集合中的多个目标子图像的特征较相似，多个目标子图像各自包括的内容及细节较相似也较相关。
在操作S240，根据多个特征集合，得到与多个特征集合各自对应的环路滤波参数，得到多个环路滤波参数。
根据本发明的实施例，环路滤波器是一种自适应最小均方差滤波器，也可以称为维纳滤波器。
根据本发明的实施例，可以基于最小均方误差准则，根据与每个特征集合各自对应的目标子图像以及与每个特征集合各自对应的原始视频图像中的子图像，得到与每个特征集合各自对应的环路滤波参数。
根据本发明的实施例，根据多个特征集合，得到与多个特征集合各自对应的环路滤波参数，得到多个环路滤波参数，实现基于聚类结果对环路滤波器进行选择，基于聚类结果确定与多个目标子图像对应的多个类别，而无需预先定义与多个目标子图像对应的多个类别，相当于将自适应分类器与自适应滤波器相结合，可以使ALF技术更加灵活，进一步提升ALF的编码性能。
在操作S250，根据多个环路滤波参数，对多个目标子图像进行环路滤波。
根据本发明的实施例，可以针对多个特征集合中的每个特征集合，根据与特征集合对应的环路滤波参数对与特征集合对应的目标子图像进行滤波。
根据本发明的实施例，可以针对多个环路滤波参数中的每个环路滤波参数，根据环路滤波参数，得到环路滤波参数构成的环路滤波器。然后利用环路滤波器对与环路滤波参数对应的目标子图像进行滤波，得到编码子图像。根据编码子图像，得到与视频图像对应的编码图像。
根据本发明的实施例，本发明实施例提供的技术方案通过对与视频对象对应的多个目标子图像分别进行特征提取，得到与多个目标子图像各自对应的图像特征，对多个图像特征进行聚类，得到多个特征集合，实现通过对与多个目标子图像各自对应的图像特征进行聚类的方式，对多个目标子图像进行聚类，使得同一聚类集合中的多个目标子图像的特征较相似，然后根据多个特征集合，得到与多个特征集合各自对应的环路滤波参数，使得与每个特征集合对应的环路滤波参数适用于与每个特征集合对应的多个目标子图像，然后再根据多个环路滤波参数，对多个目标子图像进行环路滤波，可以得到清晰度较高的与视频图像对应的编码图像。
根据本发明的实施例，针对如图2所示的操作S220，对多个目标子图像分别进行特征提取，得到与多个目标子图像各自对应的图像特征，得到多个图像特征，可以包括如下操作：
利用目标变分量化自编码器网络对多个目标子图像分别进行特征提取，得到多个图像特征。
根据本发明的实施例，目标变分量化自编码器（Vector Quantized VariationalAutoEncoder，VQVAE）网络是一种基于神经网络的编解码框架，其编码器和解码器共享一组码本。编码后的特征向量被量化为码本中的标准特征之一。
根据本发明的实施例，利用VQVAE网络对多个目标子图像分别进行特征提取，得到多个图像特征，可以提取到与目标子图像对应的表征能力较强的非线性深度特征。
根据本发明的实施例，目标变分量化自编码器网络中存储有与多个特征集合各自对应的目标特征，针对如图2所示的操作S230，对多个图像特征进行聚类，得到多个特征集合，可以包括如下操作：
针对多个图像特征中的每个图像特征，计算每个图像特征和与多个特征集合各自对应的目标特征之间的距离，得到多个距离；
确定多个距离中的最小距离；
将图像特征划分到与最小距离对应的特征集合中。
根据本发明的实施例，一个目标特征表征与一个类别对应的特征。
根据本发明的实施例，通过对初始VQVAE网络进行训练，得到与多个特征集合各自对应的目标特征。
根据本发明的实施例，目标特征的数量等于与多个目标子图像对应的类别的数量，通过调整VQVAE网络存储的目标特征的数量，可以灵活地改变与多个目标子图像对应的类别的总数。
根据本发明的实施例，利用VQVAE网络可以同时完成对多个目标子图像进行深度特征提取和对与多个目标子图对应的图像特征进行聚类的过程，从而有效提升ALF的分类效率。
图3示出了根据本发明实施例的利用VQVAE网络对图像进行特征提取与聚类的流程图。
根据本发明的是实施例，在利用VQVAE网络对多个目标子图像进行深度特征提取和对与多个目标子图对应的图像特征进行聚类之前，可以对初始VQVAE网络进行训练，得到VQVAE网络。
在将图3中的利用VQVAE网络对图像进行特征提取与聚类的流程应用于对VQVAE网络进行训练的情况下，在步骤310：获得一组用于训练VQVAE网络的视频数据样本，并使用H.266/VVC参考软件VTM对视频数据样本包括的原始视频图像样本进行编码，得到与每帧原始视频图像样本对应的经过SAO滤波但未经过ALF滤波的图像重建样本，并将图像重建样本与原始视频图像样本配对，形成一组成对的训练数据。
在步骤320，根据预设目标特征的数量，利用初始VQVAE网络包括的编码器对与图像重建样本对应的多个样本特征子图像分别进行提取特征，得到与多个样本特征子图像各自对应的图像样本特征。其中，编码器以经过SAO滤波的图像重建样本作为输入对图像重建样本进行编码。
在步骤330，针对与多个样本特征子图像各自对应的图像样本特征，计算图像样本特征与初始VQVAE网络的嵌入空间331存储的多个初始目标特征之间的距离，根据最小距离得到图像样本特征的类别，得到与多个样本特征子图像各自对应的类别，得到与多个样本特征子图像对应的分类结果图332。
在步骤340，根据分类结果图332和嵌入空间331存储的多个初始目标特征，对图像重建样本进行编码。
在步骤350，利用初始VQVAE网络包括的解码器将经VQVAE网络包括的编码器处理后的编码图像进行解码，得到经过VQVAE网络处理后的图像样本351。然后根据图像样本351和原始视频图像样本对VQVAE网络参数及多个初始目标特征进行更新。
在得到图像重建样本、原始视频图像样本经过VQVAE网络处理后的图像样本351后，可以根据损失函数L2函数L2 func 对VQVAE网络的参数进行更新。L2函数L2 func 如公式（11）所示。
L2 func =L2（y，f（x）） （11）
其中，y表征原始视频图像样本，x表征为经SAO滤波后的图像重建样本，f（x）表征x经过VQVAE网络处理后的图像样本。
利用如图3所示的训练步骤得到训练好的VQVAE网络后，保存训练好的VQVAE网络包括的编码器和嵌入空间部分，以根据训练好的VQVAE网络，对与目标视频图像对应的多个目标子图像进行分类，得到与多个目标子图像对应的分类结果。
在得到训练好的VQVAE网络的情况下，可以将图3中的利用VQVAE网络对图像进行特征提取与聚类的流程应用于对VQVAE网络进行应用的过程。
在将图3中的利用VQVAE网络对图像进行特征提取与聚类的流程应用于对训练好的VQVAE网络进行应用的过程的情况下：在步骤310：获取原始视频，并使用H.266/VVC参考软件VTM对原始视频包括的原始视频图像进行编码，得到与每帧原始视频图像对应的经过SAO滤波但未经过ALF滤波的目标视频图像。
在步骤320，利用训练好的VQVAE网络包括的编码器对与目标视频图像对应的多个目标子图像分别进行提取特征，得到与多个目标子图像各自对应的图像特征。
在步骤330，针对与多个目标子图像各自对应的图像特征，计算图像特征与训练好的VQVAE网络的嵌入空间331存储的多个目标特征之间的距离，根据最小距离得到图像特征的类别，得到与多个目标子图像各自对应的类别，得到与多个目标子图像对应的分类结果图332。
如图3所示的编码器可以由卷积神经网络（Convolutional Neural Network，CNN）组成，可以包括三个卷积层。图3中初始VQVAE网络包括的解码器与编码器结构对称。
如图3所示，利用训练好的VQVAE网络可以同时完成对多个目标子图像进行深度特征提取和对与多个目标子图对应的图像特征进行聚类的过程，从而有效提升ALF的分类效率。
根据本发明的实施例，针对如图2所示的操作S220，对多个目标子图像分别进行特征提取，得到与多个目标子图像各自对应的图像特征，得到多个图像特征，可以包括如下操作：
针对多个目标子图像中的每个目标子图像，提取每个目标子图像在预设方向的灰度共生矩特征，其中，灰度共生矩特征包括逆差矩值、能量值、熵值、对比度值、差异性值和相关性值；
根据灰度共生矩特征，得到与每个目标子图像对应的图像特征。
根据本发明的实施例，灰度共生矩（Gray-Level Co-occurrence Matrix，GLCM）特征是一种预定义的图像特征，可以反映图像的纹理变化。
根据本发明的实施例，预设方向可以根据实际业务情况进行选择，在此不做限定。例如，预设方向可以包括垂直方向和水平方向。
根据本发明的实施例，例如，预设方向可以包括垂直方向、水平方向、45度对角线方向和135度对角线方向。可以针对垂直方向、水平方向、45度对角线方向和135度对角线方向中的每个方向，提取目标子图像在该方向的逆差矩值、能量值、熵值、对比度值、差异性值和相关性值，得到与目标子图像对应的24维图像特征。
根据本发明的实施例，通过针对多个目标子图像中的每个目标子图像，提取目标子图像在预设方向的灰度共生矩特征，其中，灰度共生矩特征包括逆差矩值、能量值、熵值、对比度值、差异性值和相关性值，根据灰度共生矩特征，得到与目标子图像对应的图像特征，得到可以反映目标子图像的纹理细节的多维特征。
根据本发明的实施例，针对如图2所示的操作S220，对多个目标子图像分别进行特征提取，得到与多个目标子图像各自对应的图像特征，得到多个图像特征，可以包括如下操作：
针对多个目标子图像中的每个目标子图像，提取每个目标子图像的梯度特征；根据梯度特征，得到与每个目标子图像对应的图像特征。
根据本发明的实施例，梯度特征包括以下至少一个特征值：
垂直方向的梯度特征值、水平方向的梯度特征值、45度对角线方向的梯度特征值、135度对角线方向的梯度特征值和活动特征值，其中，活动特征值是通过对垂直方向的梯度特征值和水平方向的梯度特征值进行加和得到的。
根据本发明的实施例，梯度特征可以准确反映目标子图像的方向变化和结构属性。
根据本发明的实施例，可以根据公式（2）得到垂直方向的梯度特征值，根据公式（3）得到水平方向的梯度特征值，根据公式（4）得到45度对角线方向的梯度特征值，根据公式（5）得到135度对角线方向的梯度特征值。
根据本发明的实施例，可以通过将垂直方向的梯度特征值和水平方向的梯度特征值相加得到活动特征值。
根据本发明的实施例，例如，梯度特征可以包括垂直方向的梯度特征值、水平方向的梯度特征值、45度对角线方向的梯度特征值、135度对角线方向的梯度特征值和活动特征值。四个方向的梯度特征值能够反应目标子图像的梯度的方向，而活动特征值能够反应目标子图像的梯度的强度。
根据本发明的实施例，由于多个自然视频的内容之间存在较大的差异，因此，在处理与多个自然视频各自对应的目标视频图像，得到与目标视频图像对应的目标子图像的梯度特征的情况下，目标子图像的梯度特征使用四个方向的梯度值可能会引入过多的梯度信息。
根据本发明的实施例，例如，对于包括的内容较简单的自然视频，过多的梯度信息反而可能导致对与该自然视频对应的目标子图像的表达出现错误。因此，在处理具有广泛平滑区域或重复细节的目标子图像的情况下，选择合适的梯度特征值比过多的梯度特征值更为适用。
根据本发明的实施例，梯度特征包括的梯度值可以根据实际业务情况进行选择，在此不作限定。
根据本发明的实施例，例如，梯度特征可以为如下a、b、c和d这几种形式。
a.{垂直方向的梯度特征值，水平方向的梯度特征值}。
b.{45度对角线方向的梯度特征值，135度对角线方向的梯度特征值}。
c.{垂直方向的梯度特征值，水平方向的梯度特征值，45度对角线方向的梯度特征值，135度对角线方向的梯度特征值}。
d.{垂直方向的梯度特征值，水平方向的梯度特征值，45度对角线方向的梯度特征值，135度对角线方向的梯度特征值，活动特征值}。
根据本发明的实施例，根据梯度特征，得到与每个目标子图像对应的图像特征包括：
对梯度特征进行归一化，得到与每个目标子图像对应的图像特征。
根据本发明的实施例，可以将梯度特征包括的的每个维度的梯度值均除以相同的预设梯度数值，实现对梯度特征进行归一化，得到与目标子图像对应的图像特征。
根据本发明的实施例，预设梯度值可以根据实际情况进行选择，在此不作限定。
根据本发明的实施例，预设梯度数值可以为与多个目标子图像各自对应的活动特征值。
根据本发明的实施例，例如，在梯度特征包括垂直方向的梯度特征值、水平方向的梯度特征值、45度对角线方向的梯度特征值、135度对角线方向的梯度特征值和活动特征值的情况下，可以针对多个目标子图像中的每个目标子图像，得到与目标图像对应的垂直方向的梯度特征值、水平方向的梯度特征值、45度对角线方向的梯度特征值、135度对角线方向的梯度特征值和活动特征值。然后，将梯度特征包括的每个特征值均除以活动特征值，实现对梯度特征进行归一化。
根据本发明的实施例，预设梯度数值还可以为与多个目标子图像各自对应的活动特征值中的最大活动特征值。
根据本发明的实施例，例如，在梯度特征包括垂直方向的梯度特征值、水平方向的梯度特征值、45度对角线方向的梯度特征值、135度对角线方向的梯度特征值和活动特征值的情况下，先得到与多个目标子图像各自对应的梯度特征。然后根据与多个目标子图像各自对应的梯度特征，得到与多个目标子图像各自对应的活动特征值中的最大活动特征值。将与多个目标子图像各自对应的梯度特征包括的每个特征值均除以该活动特征值，实现对梯度特征进行归一化。
根据本发明的实施例，通过使用相同的预设梯度数值对梯度特征进行归一化处理，可以增强聚类算法的收敛能力，从而获得更好的聚类结果。
图4示出了根据本发明另一实施例的用于视频编码的环路滤波方法的流程图。
如图4所示，在步骤410，利用H.266/VVC参考软件VTM对原始视频图像进行处理，使得原始视频图像经过DBF以及SAO共同滤波处理，但未经过ALF滤波处理，得到经过SAO滤波后的目标视频图像。同时将目标视频图像划分为4×4px大小的子块，得到多个目标子图像。
在步骤420，对多个目标子图像分别进行特征提取，得到与多个目标子图像各自对应的图像特征。图像特征可以为梯度特征、灰度共生矩特征或VQVAE网络提取到的特征。
在步骤430，进行图像特征选择，确定图像特征的特征值及维度。
在步骤440 ，根据430选择的图像特征，得到最终的与多个目标子图像各自对应的图像特征。
在步骤450，利用聚类算法对440得到的与多个目标子图像各自对应的图像特征进行聚类，得到多个特征集合。
在步骤460，根据多个特征集合，得到与多个特征集合各自对应的环路滤波参数，得到多个环路滤波参数。根据多个环路滤波参数，对多个目标子图像进行环路滤波（即维纳滤波）。
在步骤470，输出经环路滤波的编码图像。
根据本发明的实施例，图4的步骤430选择的图像特征可以为多个，例如图像特征可以包括梯度特征的a、b、c和d这四种形式。针对梯度特征的每种形式，可以分别计算环路滤波参数，并利用环路滤波参数对目标子图像进行环路滤波，输出经环路滤波的编码图像。通过将与梯度特征的a、b、c和d四种形式分别对应的编码图像与原始视频图像进行比较，将使得本发明实施例提供的用于视频编码的环路滤波方法的编码性能提高最多的环路滤波参数确定为环路滤波参数。
如图4所示的用于视频编码的环路滤波方法，利用多样化的图像特征和聚类算法对目标子图像进行分类，多样化的图像特征和聚类算法保障了分类结果的有效性，可以较好地指导环路滤波参数的估计过程，从而提升ALF的滤波性能。
根据本发明的实施例，对多个图像特征进行聚类，得到多个特征集合包括：
利用高斯混合模型（Gaussian Mixture Model，GMM）算法对多个图像特征进行聚类，得到多个特征集合。
根据本发明的实施例，与其他常见的聚类算法（例如K-Means）相比，GMM算法通过计算每个图像特征属于每个分布的概率，将多个图像特征进行分类，而不是直接将每个图像特征分配给各个类别。因此，GMM算法适用于对不同形状和大小的目标子图像数据的图像特征。
根据本发明的实施例，除GMM算法以外，还可以使用其他基本聚类算法的衍生版本或深度聚类算法来完成对多个图像特征进行聚类的任务。
根据本发明的实施例，针对如图2所示的操作S240，根据多个特征集合，得到与多个特征集合各自对应的环路滤波参数，得到多个环路滤波参数包括：
针对多个特征集合中的每个特征集合，获取与每个特征集合对应的目标子图像和与每个特征集合对应的原始子图像，其中，与每个特征集合对应的原始子图像表征原始视频图像中与每个特征集合对应的图像部分；根据与每个特征集合对应的目标子图像和与每个特征集合对应的原始子图像，得到与每个特征集合对应的环路滤波参数。
根据本发明的实施例，可以基于最小均方误差准则，根据与特征集合对应的目标子图像和与特征集合对应的原始子图像，得到与特征集合对应的环路滤波参数。
图5示出了根据本发明实施例的菱形滤波器的示意图。
在H.266/VVC中，采用了两种不同形状的菱形滤波器，两种不同形状的菱形滤波器如图5所示。
图5中的5×5大小的菱形滤波器（a）适用于对目标子图像的色度分量进行滤波，7×7大小的菱形滤波器（b）适用于对目标子图像的亮度分量进行滤波。
根据本发明的实施例，本发明实施例提供的用于视频编码的环路滤波方法得到的环路滤波参数可以为与图5所示的菱形滤波器（b）对应的滤波参数。
下面将参考以下表1的实验结果，来说明本发明实施例的用于视频编码的环路滤波方法的优异性能。
表1示出了在图像特征为归一化的梯度特征或为归一化的GLCM特征，聚类算法为GMM算法的情况下，本发明实施例提供的视频编码的环路滤波方法对图像进行处理后得到的BD-rate结果。
表1
如表1所示的BD-rate结果是从单图像超分辨率数据集DIV2K中随机取20张图像作为测试图像，在图像特征为归一化的梯度特征或为归一化的GLCM特征的情况下，利用本发明实施例提供的用于视频编码的环路滤波方法对20张测试图像分别进行处理得到的。
如表1所示的BD-rate结果，是利用H.266/VVC标准的参考软件VTM-10.0，在参考软件VTM-10.0的编码方式配置为All Intra下进行的性能对比。表1中，使用亮度分量的BD-rate衡量Y颜色通道的编码增益，负值表征编码性能提升的百分比，正值表征编码性能下降的百分比。
如表1所示，针对单图像超分辨率数据集DIV2K中随机取的20张图像，在图像特征为归一化的梯度特征或为归一化的GLCM特征的情况下，本发明实施例提供的用于视频编码的环路滤波方法的编码性能均得到了提升，且在图像特征包括归一化的垂直方向的梯度特征值、水平方向的梯度特征值、45度对角线方向的梯度特征值、135度对角线方向的梯度特征值和活动特征值的情况下，本发明实施例提供的用于视频编码的环路滤波方法的编码性能均得到最大提升。可以看出，本发明实施例的方法在整体上能够取得优于已有方法的定量性能表现。
根据本发明的实施例，本发明实施例提供的用于视频编码的环路滤波方法可以应用于视频解码的过程中。
图6示出了根据本发明实施例的解码器的示意图。
如图6所示，用于视频解码的环路滤波方法在得到输入码流后，在步骤610依次对输入码流进行熵解码、逆量化以及逆变换，得到第一目标视频图像及与每个类别对应的环路滤波参数。
在步骤620对第一目标视频图像利用LMCS（Luma mapping with chroma scaling，色度缩放和亮度映射）技术进行色度缩放，即LMCS（色度缩放）），得到第二目标视频图像。在步骤630，根据外部输入参量（例如，通过多次解码得到的多帧视频图像之间的关联信息）以及第二视频图像，利用LMCS技术对第二目标视频图像进行亮度反向映射，即LMCS（反向映射），得到第三目标视频图像。
在步骤640，利用DBF对第三目标视频图像进行滤波，得到第四目标视频图像。在步骤650，利用SAO对第四目标视频图像进行滤波，得到目标视频图像。
在步骤660，利用本发明实施例提供的视频编码的环路滤波方法对目标视频图像对应的多个目标子图像进行特征提取及聚类，得到类别与多个目标子图像各自对应的类别。利用类别获取步骤610得到的与类别对应的环路滤波参数。利用与每个类别对应的环路滤波参数对与每个类别对应的目标子图像进行环路滤波，得到解码帧，即得到解码图像。
在步骤670，依次对解码帧进行解码帧进行缓存、帧间预测以及亮度前向映射（LMCS）后，输出第一解码图像。
在步骤680，对步骤620得到的第二目标视频图像以及外部输入参量进行帧内预测后，输出第二解码图像。
在步骤690，对第一解码图像与第二解码图像进行帧内帧间联合预测后，输出第三解码图像。
根据本发明的实施例，在利用本发明实施例提供的用于视频编码的环路滤波方法进行视频编码的情况下，利用ALF进行滤波的过程中：编码端的编码器，会针对视频中的每帧图像，计算出与该帧图像对应的至少一个类别对应的滤波器系数集合，并将这些滤波器系数编码为比特流中的边信息，以便解码器可以根据类别选择相同的滤波器。
如图6所示，图6中的解码端的解码器可以从比特流中提取出相应的滤波器系数。因此，解码器能够根据类别选择相同的滤波器，并将相同滤波器的应用于解码过程中的图像滤波，以达到与编码器相同的滤波效果。
在图6中，其中灰色矩形框表示环内滤波模块。这些环内滤波技术的引入为视频编码提供了一种有效的方法，以减少压缩伪影，改善主观视觉质量，并提升观看体验。
图6中的去方块滤波DBF通过对图像进行局部滤波，以降低块效应，提高图像质量和视觉感受性。样点自适应补偿SAO，用于缓解振铃效应并校正局部平均像素强度的变化。振铃效应表征在图像边缘附近出现的震荡伪影。而SAO通过在图像上应用自适应补偿，对这些伪影进行抑制和修正。
图6中的LMCS为H.266/VVC标准引中定义的一个特定的滤波过程。LMCS的目的在于更好地利用动态范围内的图像信息，以提高编码效率。通过对亮度和色度信息进行映射和缩放，LMCS能够有效地优化编码过程，从而在保持图像质量的同时降低比特率。
图6中的CC-ALF专门应用于色度图像，利用亮度和色度图像之间的相关性，优化编码性能。
需要说明的是，本发明实施例中的流程图所示的操作除非明确说明不同操作之间存在执行的先后顺序，或者不同操作在技术实现上存在执行的先后顺序，否则，多个操作之间的执行顺序可以不分先后，多个操作也可以同时执行。
基于上述用于视频编码的环路滤波方法，本发明还提供了一种用于视频编码的环路滤波装置。以下将结合图7对该装置进行详细描述。
图7示出了根据本发明实施例的用于视频编码的环路滤波装置的结构框图。
如图7所示，该实施例的用于视频编码的环路滤波装置700包括划分模块710、第一得到模块720、第二得到模块730、第三得到模块740和滤波模块750。
划分模块710，用于将目标视频图像划分成预设尺寸的多个目标子图像，其中，目标视频图像是对原始视频图像进行预处理得到的。在一实施例中，划分模块710可以用于执行前文描述的操作S210，在此不再赘述。
第一得到模块720，用于对多个目标子图像分别进行特征提取，得到与多个目标子图像各自对应的图像特征，得到多个图像特征。在一实施例中，第一得到模块720可以用于执行前文描述的操作S220，在此不再赘述。
第二得到模块730，用于对多个图像特征进行聚类，得到多个特征集合。在一实施例中，第二得到模块730可以用于执行前文描述的操作S230，在此不再赘述。
第三得到模块740，用于根据多个特征集合，得到与多个特征集合各自对应的环路滤波参数，得到多个环路滤波参数。在一实施例中，第三得到模块740可以用于执行前文描述的操作S240，在此不再赘述。
滤波模块750，用于根据多个环路滤波参数，对多个目标子图像进行环路滤波。在一实施例中，滤波模块750可以用于执行前文描述的操作S250，在此不再赘述。
根据本发明的实施例，第一得到模块包括第一得到子模块。
第一得到子模块，用于利用目标变分量化自编码器网络对多个目标子图像分别进行特征提取，得到多个图像特征。
根据本发明的实施例，第二得到模块包括第二得到子模块、确定子模块和划分子模块。
第二得到子模块，用于针对多个图像特征中的每个图像特征，计算每个图像特征和与多个特征集合各自对应的目标特征之间的距离，得到多个距离。
确定子模块，用于确定多个距离中的最小距离；
划分子模块，用于将图像特征划分到与最小距离对应的特征集合中。
根据本发明的实施例，第一得到模块包括提取子模块和第三得到子模块。
第一提取子模块，用于针对多个目标子图像中的每个目标子图像，提取每个目标子图像在预设方向的灰度共生矩特征，其中，灰度共生矩特征包括逆差矩值、能量值、熵值、对比度值、差异性值和相关性值。
第三得到子模块，用于根据灰度共生矩特征，得到与每个目标子图像对应的图像特征。
根据本发明的实施例，第一得到模块包括第二提取子模块和第四得到子模块。
第二提取子模块，用于针对多个目标子图像中的每个目标子图像，提取每个目标子图像的梯度特征。
第四得到子模块，用于根据梯度特征，得到与每个目标子图像对应的图像特征。
根据本发明的实施例，梯度特征包括以下至少一个特征值：
垂直方向的梯度特征值、水平方向的梯度特征值、45度对角线方向的梯度特征值、135度对角线方向的梯度特征值和活动特征值，其中，活动特征值是通过对垂直方向的梯度特征值和水平方向的梯度特征值进行加和得到的。
根据本发明的实施例，第四得到子模块包括第一得到单元。
第一得到单元，用于对梯度特征进行归一化，得到与目标子图像对应的图像特征。
根据本发明的实施例，第二得到模块包括第五得到子模块。
第五得到子模块，用于利用高斯混合模型算法对多个图像特征进行聚类，得到多个特征集合。
根据本发明的实施例，第三得到模块包括获取子模块和第六得到子模块。
获取子模块，用于针对多个特征集合中的每个特征集合，获取与每个特征集合对应的目标子图像和与每个特征集合对应的原始子图像，其中，与每个特征集合对应的原始子图像表征原始视频图像中与每个特征集合对应的图像部分。
第六得到子模块，用于根据与每个特征集合对应的目标子图像和与每个特征集合对应的原始子图像，得到与每个特征集合对应的环路滤波参数。
根据本发明的实施例，划分模块710、第一得到模块720、第二得到模块730、第三得到模块740和滤波模块750中的任意多个模块可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本发明的实施例，划分模块710、第一得到模块720、第二得到模块730、第三得到模块740和滤波模块750中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列（FPGA）、可编程逻辑阵列（PLA）、片上***、基板上的***、封装上的***、专用集成电路（ASIC），或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，划分模块710、第一得到模块720、第二得到模块730、第三得到模块740和滤波模块750中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
图8示出了根据本发明实施例的适于实现用于视频编码的环路滤波方法的电子设备的方框图。
如图8所示，根据本发明实施例的电子设备800包括处理器801，其可以根据存储在只读存储器（ROM）802中的程序或者从存储部分808加载到随机访问存储器（RAM）803中的程序而执行各种适当的动作和处理。处理器801例如可以包括通用微处理器（例如CPU）、指令集处理器和/或相关芯片组和/或专用微处理器（例如，专用集成电路（ASIC））等等。处理器801还可以包括用于缓存用途的板载存储器。处理器801可以包括用于执行根据本发明实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
在RAM 803中，存储有电子设备800操作所需的各种程序和数据。处理器 801、ROM802以及RAM 803通过总线804彼此相连。处理器801通过执行ROM 802和/或RAM 803中的程序来执行根据本发明实施例的方法流程的各种操作。需要注意，所述程序也可以存储在除ROM 802和RAM 803以外的一个或多个存储器中。处理器801也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本发明实施例的方法流程的各种操作。
根据本发明的实施例，电子设备800还可以包括输入/输出（I/O）接口805，输入/输出（I/O）接口805也连接至总线804。电子设备800还可以包括连接至输入/输出（I/O）接口805的以下部件中的一项或多项：包括键盘、鼠标等的输入部分806；包括诸如阴极射线管（CRT）、液晶显示器（LCD）等以及扬声器等的输出部分807；包括硬盘等的存储部分808；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至输入/输出（I/O）接口805。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器810上，以便于从其上读出的计算机程序根据需要被安装入存储部分808。
本发明还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/***中所包含的；也可以是单独存在，而未装配入该设备/装置/***中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本发明实施例的方法。
根据本发明的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、便携式紧凑磁盘只读存储器（CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。例如，根据本发明的实施例，计算机可读存储介质可以包括上文描述的ROM 802和/或RAM 803和/或ROM 802和RAM 803以外的一个或多个存储器。
本发明的实施例还包括一种计算机程序产品，其包括计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。当计算机程序产品在计算机***中运行时，该程序代码用于使计算机***实现本发明实施例所提供的用于视频编码的环路滤波方法。
在该计算机程序被处理器801执行时执行本发明实施例的***/装置中限定的上述功能。根据本发明的实施例，上文描述的***、装置、模块、单元等可以通过计算机程序模块来实现。
在一种实施例中，该计算机程序可以依托于光存储器件、磁存储器件等有形存储介质。在另一种实施例中，该计算机程序也可以在网络介质上以信号的形式进行传输、分发，并通过通信部分809被下载和安装，和/或从可拆卸介质811被安装。该计算机程序包含的程序代码可以用任何适当的网络介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
在这样的实施例中，该计算机程序可以通过通信部分809从网络上被下载和安装，和/或从可拆卸介质811被安装。在该计算机程序被处理器801执行时，执行本发明实施例的***中限定的上述功能。根据本发明的实施例，上文描述的***、设备、装置、模块、单元等可以通过计算机程序模块来实现。
根据本发明的实施例，可以以一种或多种程序设计语言的任意组合来编写用于执行本发明实施例提供的计算机程序的程序代码，具体地，可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。程序设计语言包括但不限于诸如Java，C++，python，“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网（LAN）或广域网（WAN），连接到用户计算设备，或者，可以连接到外部计算设备（例如利用因特网服务提供商来通过因特网连接）。
附图中的流程图和框图，图示了按照本发明各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
本领域技术人员可以理解，本发明的各个实施例和/或权利要求中记载的特征可以进行多种组合或/或结合，即使这样的组合或结合没有明确记载于本发明中。特别地，在不脱离本发明精神和教导的情况下，本发明的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本发明的范围。
以上对本发明的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本发明的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本发明的范围由所附权利要求及其等同物限定。不脱离本发明的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本发明的范围之内。

Claims (10)

1.一种用于视频编码的环路滤波方法，其特征在于，所述方法包括：
将目标视频图像划分成预设尺寸的多个目标子图像，其中，所述目标视频图像是对原始视频图像进行预处理得到的；
对所述多个目标子图像分别进行特征提取，得到与所述多个目标子图像各自对应的图像特征，得到多个图像特征；
对所述多个图像特征进行聚类，得到多个特征集合；
根据所述多个特征集合，得到与所述多个特征集合各自对应的环路滤波参数，得到多个环路滤波参数；
根据所述多个环路滤波参数，对所述多个目标子图像进行环路滤波。
2.根据权利要求1所述的方法，其特征在于，所述对所述多个目标子图像分别进行特征提取，得到与所述多个目标子图像各自对应的图像特征，得到多个图像特征包括：
利用目标变分量化自编码器网络对所述多个目标子图像分别进行特征提取，得到多个图像特征。
3.根据权利要求2所述的方法，其特征在于，所述目标变分量化自编码器网络中存储有与所述多个特征集合各自对应的目标特征，所述对所述多个图像特征进行聚类，得到多个特征集合包括：
针对多个图像特征中的每个图像特征，计算所述每个图像特征和与所述多个特征集合各自对应的目标特征之间的距离，得到多个距离；
确定所述多个距离中的最小距离；
将所述图像特征划分到与所述最小距离对应的特征集合中。
4.根据权利要求1所述的方法，其特征在于，所述对所述多个目标子图像分别进行特征提取，得到与所述多个目标子图像各自对应的图像特征，得到多个图像特征包括：
针对多个目标子图像中的每个目标子图像，提取所述每个目标子图像在预设方向的灰度共生矩特征，其中，所述灰度共生矩特征包括逆差矩值、能量值、熵值、对比度值、差异性值和相关性值；
根据所述灰度共生矩特征，得到与所述每个目标子图像对应的图像特征。
5.根据权利要求1所述的方法，其特征在于，所述对所述多个目标子图像分别进行特征提取，得到与所述多个目标子图像各自对应的图像特征，得到多个图像特征包括：
针对多个目标子图像中的每个目标子图像，提取所述每个目标子图像的梯度特征；
根据所述梯度特征，得到与所述每个目标子图像对应的图像特征。
6.根据权利要求5所述的方法，其特征在于，所述梯度特征包括以下至少一个特征值：
垂直方向的梯度特征值、水平方向的梯度特征值、45度对角线方向的梯度特征值、135度对角线方向的梯度特征值和活动特征值，其中，所述活动特征值是通过对所述垂直方向的梯度特征值和水平方向的梯度特征值进行加和得到的。
7.根据权利要求5或6所述的方法，其特征在于，所述根据所述梯度特征，得到与所述每个目标子图像对应的图像特征包括：
对所述梯度特征进行归一化，得到与所述每个目标子图像对应的图像特征。
8.根据权利要求4至6任一项所述的方法，其特征在于，所述对所述多个图像特征进行聚类，得到多个特征集合包括：
利用高斯混合模型算法对所述多个图像特征进行聚类，得到多个特征集合。
9.根据权利要求1所述的方法，其特征在于，所述根据所述多个特征集合，得到与所述多个特征集合各自对应的环路滤波参数，得到多个环路滤波参数包括：
针对所述多个特征集合中的每个特征集合，获取与所述每个特征集合对应的目标子图像和与所述每个特征集合对应的原始子图像，其中，所述与所述每个特征集合对应的原始子图像表征所述原始视频图像中与所述每个特征集合对应的图像部分；
根据所述与所述每个特征集合对应的目标子图像和所述与所述每个特征集合对应的原始子图像，得到与所述每个特征集合对应的环路滤波参数。
10.一种用于视频编码的环路滤波装置，包括：
划分模块，用于将目标视频图像划分成预设尺寸的多个目标子图像，其中，所述目标视频图像是对原始视频图像进行预处理得到的；
第一得到模块，用于对所述多个目标子图像分别进行特征提取，得到与所述多个目标子图像各自对应的图像特征，得到多个图像特征；
第二得到模块，用于对所述多个图像特征进行聚类，得到多个特征集合；
第三得到模块，用于根据所述多个特征集合，得到与所述多个特征集合各自对应的环路滤波参数，得到多个环路滤波参数；
滤波模块，用于根据所述多个环路滤波参数，对所述多个目标子图像进行环路滤波。
CN202310993006.2A 2023-08-09 2023-08-09 用于视频编码的环路滤波方法及装置 Active CN116760983B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310993006.2A CN116760983B (zh) 2023-08-09 2023-08-09 用于视频编码的环路滤波方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310993006.2A CN116760983B (zh) 2023-08-09 2023-08-09 用于视频编码的环路滤波方法及装置

Publications (2)

Publication Number Publication Date
CN116760983A CN116760983A (zh) 2023-09-15
CN116760983B true CN116760983B (zh) 2023-11-28

Family

ID=87959275

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310993006.2A Active CN116760983B (zh) 2023-08-09 2023-08-09 用于视频编码的环路滤波方法及装置

Country Status (1)

Country Link
CN (1) CN116760983B (zh)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007122518A (ja) * 2005-10-28 2007-05-17 Omron Corp フィルタパラメータ設定装置、フィルタリング処理装置、フィルタパラメータ設定方法、作業時間計測システム、制御プログラム、および、記録媒体
CN101408983A (zh) * 2008-10-29 2009-04-15 南京邮电大学 基于粒子滤波和活动轮廓模型的多目标跟踪方法
WO2010042486A1 (en) * 2008-10-07 2010-04-15 Euclid Discoveries, Llc Feature-based video compression
WO2012099843A2 (en) * 2011-01-17 2012-07-26 Stc.Unm System and methods for random parameter filtering
WO2013001720A1 (ja) * 2011-06-30 2013-01-03 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
KR20130029572A (ko) * 2011-09-15 2013-03-25 삼성전자주식회사 포스트 필터, 루프 필터, 비디오 데이터 부호화/복호화 장치 및 그 동작 방법
JP2015076781A (ja) * 2013-10-10 2015-04-20 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
WO2017002283A1 (ja) * 2015-07-01 2017-01-05 パナソニックＩｐマネジメント株式会社 符号化方法、復号方法、符号化装置、復号装置および符号化復号装置
CN107196881A (zh) * 2017-05-24 2017-09-22 北京理工大学 一种高动态脉冲成形信号模拟方法和装置
CN110809158A (zh) * 2019-11-12 2020-02-18 腾讯科技（深圳）有限公司 图像环路滤波处理方法、装置
CN111654710A (zh) * 2020-06-07 2020-09-11 咪咕文化科技有限公司 图像滤波方法、装置、设备及存储介质
WO2020231219A1 (ko) * 2019-05-15 2020-11-19 현대자동차주식회사 영상 부호화 및 복호화 방법 및 장치
KR20230011225A (ko) * 2021-07-13 2023-01-20 현대자동차주식회사 딥러닝 기반 인트라 예측 신호를 개선하는 비디오 코딩방법 및 장치
CN116347107A (zh) * 2023-03-15 2023-06-27 北京工业大学 面向vvc视频编码标准基于可变cnn的qp自适应环路滤波方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021211966A1 (en) * 2020-04-18 2021-10-21 Alibaba Group Holding Limited Convolutional-neutral-network based filter for video coding

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007122518A (ja) * 2005-10-28 2007-05-17 Omron Corp フィルタパラメータ設定装置、フィルタリング処理装置、フィルタパラメータ設定方法、作業時間計測システム、制御プログラム、および、記録媒体
WO2010042486A1 (en) * 2008-10-07 2010-04-15 Euclid Discoveries, Llc Feature-based video compression
CN101408983A (zh) * 2008-10-29 2009-04-15 南京邮电大学 基于粒子滤波和活动轮廓模型的多目标跟踪方法
WO2012099843A2 (en) * 2011-01-17 2012-07-26 Stc.Unm System and methods for random parameter filtering
WO2013001720A1 (ja) * 2011-06-30 2013-01-03 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
KR20130029572A (ko) * 2011-09-15 2013-03-25 삼성전자주식회사 포스트 필터, 루프 필터, 비디오 데이터 부호화/복호화 장치 및 그 동작 방법
JP2015076781A (ja) * 2013-10-10 2015-04-20 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
WO2017002283A1 (ja) * 2015-07-01 2017-01-05 パナソニックＩｐマネジメント株式会社 符号化方法、復号方法、符号化装置、復号装置および符号化復号装置
CN107196881A (zh) * 2017-05-24 2017-09-22 北京理工大学 一种高动态脉冲成形信号模拟方法和装置
WO2020231219A1 (ko) * 2019-05-15 2020-11-19 현대자동차주식회사 영상 부호화 및 복호화 방법 및 장치
CN110809158A (zh) * 2019-11-12 2020-02-18 腾讯科技（深圳）有限公司 图像环路滤波处理方法、装置
CN111654710A (zh) * 2020-06-07 2020-09-11 咪咕文化科技有限公司 图像滤波方法、装置、设备及存储介质
KR20230011225A (ko) * 2021-07-13 2023-01-20 현대자동차주식회사 딥러닝 기반 인트라 예측 신호를 개선하는 비디오 코딩방법 및 장치
CN116347107A (zh) * 2023-03-15 2023-06-27 北京工业大学 面向vvc视频编码标准基于可变cnn的qp自适应环路滤波方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
A Mixed Appearance-based and Coding Distortion-based CNN Fusion Approach for In-loop Filtering in Video Coding;Jian Yue etal;2020 IEEE International Conference on Visual Communications and Image Processing (VCIP);全文 *
EE1-related: In-Loop Filter with Wide Activation and Large Receptive Field;Yue Li etal;Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29 29th Meeting;全文 *
低码率下可扩展视频编码中的环路滤波改进;刘阿军;谭毅华;田金文;柳健;;计算机工程与应用(第15期);全文 *
基于结构调整的H.264环路滤波器快速DSP实现;张鹏;曹铁勇;王耿;庞高杰;;军事通信技术(第04期);全文 *
采样式多通道Gabor滤波对掌纹的 特征提取和分类;黄申等;中国图象图形学报;全文 *

Also Published As

Publication number Publication date
CN116760983A (zh) 2023-09-15

Similar Documents

Publication Publication Date Title
US20180240221A1 (en) Method for image processing and video compression
Liu et al. Data-driven soft decoding of compressed images in dual transform-pixel domain
EP3354030B1 (en) Methods and apparatuses for encoding and decoding digital images through superpixels
WO2019001108A1 (zh) 视频处理的方法和装置
CN112102212B (zh) 一种视频修复方法、装置、设备及存储介质
WO2021169408A1 (zh) 图像处理方法、装置、电子设备及存储介质
US11070808B2 (en) Spatially adaptive quantization-aware deblocking filter
CN111445424B (zh) 图像处理和移动终端视频处理方法、装置、设备和介质
CN113068034B (zh) 视频编码方法及装置、编码器、设备、存储介质
US9294676B2 (en) Choosing optimal correction in video stabilization
US11212527B2 (en) Entropy-inspired directional filtering for image coding
CN114731160A (zh) 环路滤波器块灵活分区
CN113724136A (zh) 一种视频修复方法、设备及介质
Li et al. Deep image compression based on multi-scale deformable convolution
Zhou et al. Efficient image compression based on side match vector quantization and digital inpainting
CN116760983B (zh) 用于视频编码的环路滤波方法及装置
WO2022237899A1 (en) Method, device, and medium for video processing
Yang et al. Semantic preprocessor for image compression for machines
CN117692652B (zh) 一种基于深度学习的可见光与红外视频融合编码方法
US11503341B1 (en) Perceptually motivated video pre-filter
US11363303B2 (en) Systems, methods, and apparatuses for processing video
WO2022205094A1 (zh) 数据处理方法、数据传输***、设备及存储介质
CN111885378B (zh) 多媒体数据编码方法、装置、设备以及介质
Saeedi et al. Content adaptive pre-filtering for video compression
WO2023123398A1 (zh) 滤波方法、滤波装置以及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant