CN110352599A - 用于视频处理的方法和设备 - Google Patents

用于视频处理的方法和设备 Download PDF

Info

Publication number
CN110352599A
CN110352599A CN201880012506.0A CN201880012506A CN110352599A CN 110352599 A CN110352599 A CN 110352599A CN 201880012506 A CN201880012506 A CN 201880012506A CN 110352599 A CN110352599 A CN 110352599A
Authority
CN
China
Prior art keywords
block
pixel
similar
threshold
similar block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880012506.0A
Other languages
English (en)
Inventor
马思伟
孟学苇
王苫社
贾川民
郑萧桢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University
Beijing University of Technology
Shenzhen Dajiang Innovations Technology Co Ltd
Original Assignee
Peking University
Shenzhen Dajiang Innovations Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University, Shenzhen Dajiang Innovations Technology Co Ltd filed Critical Peking University
Publication of CN110352599A publication Critical patent/CN110352599A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供一种用于视频处理的方法和设备，可以降低滤波过程的复杂度。该方法包括：在至少一个像素集合中，获取当前块的至少一个第一相似块，其中，该像素集合包括稀疏的重建像素，该当前块包括至少一个重建像素；基于该至少一个第一相似块，构建结构数组；对该结构数组进行分解；根据分解的结构数组，获得重建结构数组。

Description

用于视频处理的方法和设备
版权申明
本专利文件披露的内容包含受版权保护的材料。该版权为版权所有人所有。版权所有人不反对任何人复制专利与商标局的官方记录和档案中所存在的该专利文件或者该专利披露。
技术领域
本申请涉及视频处理领域，并且更具体地，涉及一种用于视频处理的方法和设备。
背景技术
在视频编码过程中，滤波是关键部分。它主要用于减少编码过程中产生的压缩失真。当前视频编码标准的环路滤波器都是利用图像局部相似特性进行滤波，这种滤波方式限制了滤波器的性能。为了进一步提升压缩性能，基于非局部相似性的环路滤波器(具体可以为基于非局部结构的视频编码滤波器(Non-local Structure-based Filter,NLSF))被应用到编码框架中，它利用图像的非局部自相似性，对搜索得到的相似结构组进行协同滤波。
在利用NLSF进行滤波时，需要对当前块进行相似块的搜索，并基于搜索到的相似块构建结构数组，以执行基于结构数组的滤波。其中，在搜索相似块时，需要对搜索窗中的所有像素进行逐点扫描，导致复杂度过高，难以实用。
因此，如何降低滤波过程的复杂度是一项亟待解决的问题。
发明内容
本申请实施例提供一种用于视频处理的方法和设备，可以降低滤波过程的复杂度。
第一方面，提供了一种用于视频处理的方法，包括：在至少一个像素集合中，获取当前块的至少一个第一相似块，其中，该像素集合包括稀疏的重建像素，该当前块包括至少一个重建像素；基于该至少一个第一相似块，构建结构数组；对该结构数组进行分解；根据分解的结构数组，获得重建结构数组。
第二方面，提供了一种用于视频处理的方法，包括：从重建像素中，获取当前块的至少一个相似块，该当前块包括至少一个重建像素，其中，用于表征该当前块与该相似块的相似度的参量的值超出第一阈值；基于该至少一个相似块，构建结构数组；对该结构数组进行分解；根据分解的结构数组，获得重建结构数组。
第三方面，提供了一种用于视频处理的设备，包括：相似块获取单元，用于在至少一个像素集合中，获取当前块的至少一个第一相似块，其中，该像素集合包括稀疏的重建像素，该当前块包括至少一个重建像素；构建单元，用于基于该至少一个第一相似块，构建结构数组；分解单元，用于对该结构数组进行分解；重建单元，用于根据分解的结构数组，获得重建结构数组。
第四方面，提供了一种用于视频处理的设备，包括：相似块获取单元，用于从重建像素中，获取当前块的至少一个相似块，该当前块包括至少一个重建像素，其中，用于表征该当前块与该相似块的相似度的参量的值超出第一阈值；构建单元，用于基于该至少一个相似块，构建结构数组；分解单元，用于对该结构数组进行分解；重建单元，用于根据分解的结构数组，获得重建结构数组。
第五方面，提供了一种计算机***，包括：存储器，用于存储计算机可执行指令；处理器，用于访问该存储器，并执行该计算机可执行指令，以进行上述第一方面或第二方面的方法中的操作。
第六方面，提供了一种计算机存储介质，该计算机存储介质中存储有程序代码，该程序代码可以用于指示执行上述第一方面或第二方面的方法。
第七方面，提供了一种计算机程序产品，该程序产品包括程序代码，该程序代码可以用于指示执行上述第一方面或第二方面的方法。
因此，本申请实施例中的用于视频处理的方法，在至少一个像素集合中，获取当前块的至少一个第一相似块，其中，该像素集合包括稀疏的重建像素，该当前块包括至少一个重建像素，基于该至少一个第一相似块，构建结构数组，对该结构数组进行分解，根据分解的结构数组，获得重建结构数组，可以在保证最小的编码性能损失的情况下，降低滤波复杂度，从而降低编解码的复杂度，以及节省编解码的时间。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本申请实施例的编码***的示意性图。
图2是根据本申请实施例的编码框架的示意图。
图3是SVD分解的过程的示意性图。
图4是硬阈值的过程的示意性图。
图5是根据本申请实施例的用于视频处理的方法的示意性流程图。
图6是根据本申请实施例的当前块选取的示意性图。
图7是根据本申请实施例中的模板中的像素分布的示意性图。
图8是根据本申请实施例的模板或像素集合的示意图。
图9是根据本申请实施例的在重建像素中获取相似块的示意性图。
图10是根据本申请实施例的在重建像素中获取相似块的示意性图。
图11是根据本申请实施例的视频处理的示意性图。
图12是根据本申请实施例的用于视频处理的设备的示意性框图。
图13是根据本申请实施例的用于视频处理的设备的示意性框图。
图14是根据本申请实施例的计算机***的示意性框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
除非另有说明，本申请实施例所使用的所有技术和科学术语与本申请的技术领域的技术人员通常理解的含义相同。本申请中所使用的术语只是为了描述具体的实施例的目的，不是旨在限制本申请的范围。
图1是应用本申请实施例的技术方案的架构图。
如图1所示，***100可以接收待处理数据102，对待处理数据102进行处理，产生处理后的数据108。例如，***100可以接收待编码数据，对待编码数据进行编码以产生编码后的数据，或者，***100可以接收待解码数据，对待解码数据进行解码以产生解码后的数据。在一些实施例中，***100中的部件可以由一个或多个处理器实现，该处理器可以是计算设备中的处理器，也可以是移动设备(例如无人机)中的处理器。该处理器可以为任意种类的处理器，本申请实施例对此不做限定。在一些可能的设计中，该处理器可以包括图像信号处理器(Image Signal Processor，ISP)、编码或解码器等。***100中还可以包括一个或多个存储器。该存储器可用于存储指令和数据，例如，实现本申请实施例的技术方案的计算机可执行指令，待处理数据102、处理后的数据108等。该存储器可以为任意种类的存储器，本申请实施例对此也不做限定。
待处理数据102可以包括文本，图像，图形对象，动画序列，音频，视频，或者任何需要编码或解码的其他数据。
任何合适的编码或解码技术都可以用于编码或解码待处理数据102。编码或解码类型依赖于待处理数据和具体的编码或解码需求。
在一些实施例中，编码或解码器可以实现一种或多种不同的编解码器。每种编解码器可以包括实现不同编码或解码算法的代码，指令或计算机程序。基于各种因素，包括待处理数据102的类型和/或来源，待处理数据数据的接收实体，可用的计算资源，网络环境，商业环境，规则和标准等，可以选择一种合适的编码或解码算法编码或解码给定的待处理数据102。
例如，编码或解码器可以被配置为编码或解码一系列视频帧。编码或解码每个帧中的数据可以采用一系列步骤。
图2是根据本申请实施例的一种编码器的框架图。以下将结合图2分别介绍帧间编码和帧内编码的流程。
如图2所示，帧间编码的流程可以如下所示：
在201中，获取当前帧图像。在202中，获取参考帧图像。在203a中，利用参考帧图像，进行运动估计，以得到当前帧图像的各个图像块的运动矢量(Motion Vector，MV)。在204a中，利用运动估计得到的运动矢量，进行运动补偿，以得到当前图像块的估计值。在205中，将当前图像块的估计值与当前图像块相减，得到残差。在206中，对残差进行变换，以得到变换系数。在207中，变换系数经量化可得到量化后的系数。在208中，将量化后的系数进行熵编码，最后将熵编码得到的比特流及进行编码后的编码模式信息进行存储或发送到解码端。在209中，对量化的结果进行反量化。在210中，对反量化结果进行反变换。在211中，利用反变换结果以及运动补偿结果，得到重建像素。在212中，对重建像素进行滤波。在213中，输出滤波后的重建像素。
如图2所示，帧内编码的流程可以如下所示：
在202中，获取当前帧图像。在203b中，对当前帧图像进行帧内预测选择。在204b中，当前帧中的当前图像块进行帧内预测。在205中，将当前图像块的估计值与当前图像块相减，得到残差。在206中，对图像块的残差进行变换，以得到变换系数。在207中，变换系数经量化可得到量化后的系数。在208中，将量化后的系数进行熵编码，最后将熵编码得到的比特流及进行编码后的编码模式信进行存储或发送到解码端。在209中，对量化结果进行反量化。在210中，对反量化结果进行反变换，在211中，利用反变换结果以及帧内预测结果，得到重建像素。
其中，212中的滤波过程可以用于减少编码过程中的压缩失真。
其中，212中的滤波可以由基于图像非局部相似特性的环路滤波器(Non-localStructure-Based Filter for Video Coding，NLSF)来实现，该滤波器主要利用图像非局部结构相似特性，对搜索得到的相似结构组进行协同滤波。
具体地，可以将当前重建图像帧或图像块按块进行处理。具体可以将图像分为K个块，以这些块分别作为当前块。并在图像帧或图像块的一些重建像素中获取当前块的M个相似块。将M个相似块组成集合。然后将这些相似块组成的集合用数学结构来表示，可以是一维、二维或者三维矩阵，以上过程可以叫做结构数组的构建(Group Construction)。滤波的过程就是对矩阵(结构数组)的处理过程，目的是滤除编码过程中引入的失真和噪声，此过程可以称为基于结构数组的滤波(Group-based filtering)。其中，可以对该结构数组进行奇异值分解(Singular Value Decomposition，SVD)，并对奇异值进行硬阈值操作，根据奇异值分解的结果获得重建结构组，最后获取重建图像。其中，SVD分解的目的是将结构数组提取主成分，单纯的SVD并不能起到滤波的作用，滤波的关键在于去除噪声，NLSF中去除噪声的地方采用的是硬阈值的操作。
以下将结合图3和图4进行描述。其中，图3是SVD分解的过程，这可以理解为矩阵的变换，具体地可以将二维矩阵分解为三个矩阵乘积的形式，中间的矩阵是一个对角矩阵，对角线上的元素从左上角到右下角依次减小，可以将较小的元素认为是噪声，其中，“较小”的评价标准可以采用一个阈值，如果阈值为60，那么小于60的部分认为是噪声，直接设置为0。如图4所示，可以再将三个矩阵相乘，得到的矩阵和原始进行分解的矩阵可以不相同，这就是滤除噪声之后的结果，可以将该过程称为硬阈值的过程。
其中，滤波过程的复杂度来源于获取当前块的相似块。例如，如果NLSF采用全搜索的方式(也可以称为逐点扫描的方式)在正方形搜索窗口搜索当前块的最相似块。搜索过程可以从搜索窗口左上角开始，按照光栅扫描顺序逐像素进行，到右下角终止。搜索过程中搜到的每一个小块都需要和当前块计算误差平方和(Sum of Squared Differences，SSD)。最后将SSD排序，选取最小的M个SSD对应的小块。具体来讲，如果使用全搜索的方式进行相似块搜索，在33x33的搜索窗口中搜索30个最相似块，搜索过程中搜到的候选块的数目为1089。块匹配的部分过于冗余，并且可能导致候选块的数目远远高于NLSF需要的相似块数目。
因此，本申请实施例提供了一种视频处理的方法，可以简化滤波过程中相似块获取的复杂度，从而可以提高视频编解码的效率。
应理解，本申请实施例的方法可以应用于图2所示的编码框架，也可以适用于其他的编码框架，本申请实施例对此不作具体限定。
图5是根据本申请实施例的用于视频处理的方法300的示意性流程图。该方法300包括以下内容中的至少部分内容。其中，该方法300可以由应用于编码端，也可以应用于解码端。
可选地，该方法300可以由滤波器实现，该滤波器可以是编码器或解码器的一部分，也可以独立于编码器或解码器存在。可选地，该滤波器可以是NLSF滤波器，或者其他滤波器。
在310中，滤波器在至少一个像素集合中，获取当前块的至少一个第一相似块，其中，该像素集合包括稀疏的重建像素，该当前块包括至少一个重建像素。
可选地，本申请实施例中的像素集合包括的重建像素可以是滤波之前的重建像素。
可选地，本申请实施例中提到的相似块(包括第一相似块和后面提到的第二相似块)可以是与当前块相似度较高的块，该相似块的大小可以等于当前块的大小。与当前块的相似度越高，则被选择为相似块的可能性越大。
其中，用于相似度判断的度量参量(也即用于表征相似度的参量)可以为：哈希值的差值、误差平方和(Sum of Squared Differences，SSD)、绝对误差和(Sum of AbsoluteDifferences，SAD)、平均绝对差(Mean Absolute Differences，MAD)、平均误差平方和(Mean Square Differences，MSD)或结构相似性指标(Structural SIMilarity SSIM)。
例如，假设相似度的度量参量为SSD，SSD的计算方式如下式1所示：
其中，f(h,w)表示当前块在坐标(h,w)的像素，表示搜索块(也可以称为候选相似块)在坐标(h,w)的像素，表示当前块包含的像素数目。
例如，表征假设相似度的度量参量是哈希值，则可以通过哈希(hash)值的大小来判断相似度，两个块的hash值越接近代表越相似，hash值可以通过块的像素和、水平、垂直梯度等等来表示。
应理解，以上度量参量中，有些值越大，则表明相似度越高，而有些值越小，则表明相似度越高。
例如，对于SSD而言，SSD的值越小，则表明相似度越高。而对于哈希值而言，相似度可以通过两个块的哈希值的差来判断，哈希值的差越小，则表明相似度越高。
还应理解，对于本申请实施例提到的用于表征相似度的参量超过阈值(可以包括阈值本数)而言，如果度量参量的值越大相似度越高，用于表征相似度的参量的值超过一定值代表着该参量的值大于或等于该阈值；如果度量参量的值越小相似度越高，用于表征相似度的参量的值超过一定值代表着该参量的值小于或等于该阈值。而对于哈希值而言，用于表征相似度的参量的值超过一定值代表着两个块的哈希值的差小于或等于该阈值。
可选地，在本申请实施例中，用于表征所述当前块与所述当前块的相似块的相似度的参量的值超出第一阈值。
可选地，该第一阈值是基于以下参数中的至少一种确定的：该当前块的大小，视频的比特深度，该当前块的像素和，该当前块的像素的水平梯度，该当前块的像素的垂直梯度。
其中，当前块的大小直接决定SSD计算过程中加和的次数，视频的比特深度代表的是像素值的取值范围(比如8bit的视频，每个像素值是0～255之间的数；10bit视频，每个像素值是0～1023之间的数，显然不同的比特深度，像素值范围不同，计算得到的SSD的大小范围也就不同)。
其中，确定阈值的参数可以是与度量参量计算时所采用的参数有关。
在一种实现方式中，在该相似度的度量参量是哈希值时，该第一阈值是基于以下参数中的至少一种确定的：
该当前块的像素和，该当前块的像素的水平梯度，该当前块的像素的垂直梯度。
具体地，可以通过哈希(hash)值的大小来判断相似度，两个块的hash值越接近代表越相似，hash值可以通过块的像素和、水平、垂直梯度等等来表示。
在一种实现方式中，该相似度的度量参量是SSD或SAD时，该第一阈值是基于以下参数中的至少一种确定的：该当前块的大小，视频的比特深度。
其中，第一阈值可以和当前块的大小以及视频的比特深度有关，可以通过以下公式2计算第一阈值：
ε＝Bs×(1＜＜(2×bitDepth))×λ 式2
其中bitDepth是测试视频的比特深度，一般是8或10。λ可以根据当前块和相似块之间SSD的统计特性计算得到，表示当前块包含的像素数目。
在一种实现方式中，该相似度的度量参量是MAD，MSD或SSIM时，该第一阈值是基于视频的比特深度确定的。
具体地，第一阈值可以是按照以下公式3得到的：
ε＝(1＜＜(2×bitDepth))×λ 式3
因此，在本申请实施例中，选择的相似块与当前块之前的相似度高到超出一定阈值可以使得选择的相似块与当前块的相似度更高，从而可以避免选中的相似块可能和当前块差别较大，从而避免这些块对滤波过程帮助不大所造成的滤波复杂度较高的问题。
可选地，本申请实施例可以由编码端实现，也可以由解码端实现，在由编码端实现时，编码端可以计算第一阈值，并将第一阈值在码流中传递给解码端。以及，在由解码端实现时，解码端可以从码流中获取第一阈值，不再进行第一阈值的计算。
当然，在本申请实施例中，编码端和解码端可以分别计算第一阈值，则编码端无需在码流中传递该第一阈值。
可选地，本申请实施例可以在获取到整个重建帧之后，从该重建帧中获取当前块。其中，见图6，首先看左上侧的两个框，如果左侧的框为正在处理的当前块，那么下一个即将处理的块就是右侧的框，这两个块之间可以有重叠，可以紧挨着，也可以隔一定的距离，比如对于6x6大小的当前块，两个框之间的步长值(可以是两个框的最左侧的像素的间隔)可以是1，2，3…等等任意整数值，其中步长值为1,2,3,4,5时两个块之间就有一定的重叠，步长值为6时两个块紧挨着，大于6时，两个块隔一定的距离。另外一个就是上下两个块的间隔问题，例如，如图6所示的中间的两个框，如果上侧的框为正在处理的当前块，那么下一个即将处理的块就是下侧的框，这两个块之间可以有重叠，可以紧挨着，也可以隔一定的距离。
可选地，在获取到整帧重建图像进行滤波时，像素集合中的像素可以是当前帧的重建图像中的任意位置的像素，也可以是一个搜索窗口中的部分像素，例如，可以是一个32x32像素集合中的部分像素，其中，当前块可以位于该搜索窗口中的中心位置。
可选地，用于获取该当前块的相似块的重建像素包括：该当前块所属的编码单元本身的重建像素、编码单元的上侧的重建像素、编码单元的左侧的重建像素、编码单元的右侧的重建像素和编码单元的下侧的重建像素。
可选地，在本申请实施例中，也可以在获取到重建后的编码单元(例如，CTU)之后，对该编码单元中的各个块进行滤波，例如，该编码单元可以128x128的块，当前块可以是6x6大小的块，所述的编码单元一般被称为图像块。由于在编码时，在获取到当前编码单元的重建像素时，左侧和上侧的编码单元的重建像素已获取，则用于获取当前块的相似块的重建像素可以是所属的编码单元的左侧的重建像素以及上侧的重建像素。
进一步的，在实际的视频编解码***中，所述的上侧的重建像素需要以图像行为单位进行存储，所述的右侧的重建像素以图像块高度为单位进行存储。如对于一个宽度为3840、图像块高度为128的图像，其所述的上侧的重建像素以3840为单位进行存储，所述的右侧的重建像素以128为单位进行存储。可见所述的上侧的重建像素的存储开销通常大于所述的右侧的重建像素的存储开销。为了减少视频编解码***的存储开销，所述上侧的重建像素的垂直方向的像素个数(通常来说可以认为是所述上侧的重建像素的行数)可以少于或等于所述左侧的重建像素的水平方向的像素个数(通常来说可以认为是所述左侧的重建像素的列数)。
当然，用于获取当前块的相似块的重建像素也可以为所述当前块所属的编码单元的左侧的重建像素，上侧的重建像素和右侧的重建像素(其中，需要等待右侧的编码单元被重建)。
本申请实施例还可以具有其他的实现方式，例如，对于当前已重建的编码单元，对于该编码单元的左上侧的当前块，用于获取相似块的重建像素可以是当前块的左侧、上侧、下侧和右侧的重建像素，这是由于该当前块的右侧和下侧的重建像素仍然属于当前编码单元。而对于该编码单元的右下侧的当前块，用于获取相似块的重建像素可以是当前块的左侧和上侧的重建像素，这是由于该当前块的右侧和下侧的重建像素属于右侧和下侧的编码单元，而右侧和下侧的编码单元还未重建，所以不能用于获取当前块的相似块。
应理解，本申请实施例的像素集合包括稀疏的重建像素意味着：该像素集合中存在这样的一些像素，这些像素之间间隔(例如，像素之间的最短直线距离上)有不属于该集合的像素。
可选地，在本申请实施例中，像素集合中的部分像素也可以聚集成块，像素集合可以聚集成分离的多个块(此处提到的块与块之间不存在相邻的像素)，其中，每个块的大小可以大于或等于当前块的大小。例如，如图7所示(一个□代表一个像素位置)，像素集合中包括五个块，每个块大于当前块(假设当前块大小为6x6)，其中，该五个块中每个块可以形成为下文提到的一个或一个以上的候选相似块。
可选地，在本申请实施例中，滤波器可以基于模板，获取像素集合。具体地，可以在滤波器中预设模板，利用该模板在一个搜索窗口中圈定一些重建像素，这些重建像素可以理解本申请实施例提到的像素集合。
可选地，在本申请实施例中，模板也可以是理解为一种像素集合，该模板包括的像素可以是相对于模板中心对称的。可选地，从该模板的中心到该模板的边缘，像素可以是越来越稀疏的。
可选地，在用模板确定用于获取相似块的像素集合时，可能会存在这样一种结果，即：像素集合中的像素数量小于模板包括的像素数量，这是由于用模板在一个搜索范围中圈定一些重建像素时，模板的边缘可能会超出搜索范围的边缘。
可选地，该模板包括用于选择该第一相似块的多个候选相似块，该候选相似块的大小等于该当前块的大小。其中，候选相似块意味着在与当前块的相似度高到超过一定阈值时，可以被选择作为相似块。其中，多个候选相似块包括的像素可以不重叠或部分重叠。
可选地，在本申请实施例中，该模板包括从中心到边缘的多组候选相似块，每组候选相似块围成环形，该环形相对该模板的中心对称，组内的候选相似块均匀排布。当然，该模板包括的候选相似块也可以是不对称的。
可选地，该模板包括四组候选相似块，该四组候选相似块的远离该模板的中心的边缘像素，相对于该模板的中心，分别间隔1个像素，2个像素，4个像素和8个像素。
可选地，该四组候选相似块分别具有4个候选相似块，8个候选相似块，8个候选相似块和8个候选相似块，其中，具有4个候选相似块的一组候选相似块距离该模板的中心最近。
具体地，以下将结合图8所示的模板(图8也可以认为是基于模板得到的像素集合)进行举例说明。例如，如图8所示，图中多个□的交叉点可以是一个像素位置，每个独立的数字代表着一个独立的候选相似块，例如，存在8个⑧，则代表有8个候选相似块，存在8个④，也代表有8个候选相似块，8个②代表有8个候选相似块，4个①代表有4个候选相似块，则整个模板包括28个候选相似块。数字①②④⑧可以分别是候选相似块的一个像素位置，例如，可以是候选相似块的远离模板的中心的边缘上像素位置，具体可以是左上角的像素位置，左下角的像素位置，右上角的像素位置，或右下角的像素位置。当然，图中的数字代表也可以是候选相似块的其它像素位置，例如，可以是中心像素位置等。假设每个候选相似块为大小6x6的块，则意味着这些候选相似块是相互重叠的。
可选地，在本申请实施例中，滤波器可以采用至少两个以上的模板进行像素集合的确定，例如，不同的像素集合可以采用不同的模板进行确定。
应理解，本申请实施例的模板也可以包括其它数量的候选相似块组，以及每组候选相似块也可以包括其它数量的候选相似块。
例如，模板的像素可以组成十字形，条形，除四边形之外的其他多边形等。其中，在组成除四边形之外的其他多边形时，可以类似于图7是一环套一环的，例如，较大的五边形套较小的五边形。
还应理解，以上介绍的关于模板中的像素特征同样适用于像素集合。为了简洁，在此不再赘述。
应理解，本申请实施例提到的模板或像素集合也可以是包括稀疏的重建像素，按照一定的规则，在该稀疏的重建像素中进行相似块的匹配，此时意味着不存在上述提到的候选相似块的概念。
可选地，在本申请实施例中，滤波器可以基于该当前块包括的重建像素的位置，确定该第一像素集合；从该第一像素集合中，获取该第一相似块。
其中，该第一像素集合中的像素可以是稀疏的重建像素，该第一像素集合中的像素可以相对于该当前块包括的重建像素对称。例如，如图7所示，所在像素位置可以是当前块的一个像素位置，例如，可以是当前块的左上角的像素位置或中心的像素位置或右下角的像素位置等。
可选地，可以按照从靠近该当前块到远离该当前块的搜索方式，从该第一像素集合中，获取该第一相似块。
具体地，在如图8所示的像素集合中，可以先对候选相似块①进行相似度的匹配，然后再对候选相似块②进行相似度的匹配，再对候选相似块④进行相似度的匹配，最后对候选相似块⑧进行相似度的匹配。
这是由于在候选相似块中选取相似块的过程中，需要按照相似度对候选相似块进行排序，来得到相似度最高的一定数量的块作为相似块，在越靠近当前块的位置，候选相似块与当前块的相似度可能越高，被选择作为相似块的可能性越大，在该种搜索方式下，在选取相似块时，需要调整位置的候选相似块的数量较少，从而可以降低滤波的复杂度。
可选地，在本申请实施例中，从第一像素集合中获取的第一相似块的数量可以不超过一定数值，例如，第二阈值。
在一种实现方式中，可以获取到第一像素集合中所有搜索块(也可以称为候选相似块)与当前块的相似度，按照相似度从高到低的方式排布，挑出数量为第二阈值的第一相似块。
在另一种实现方式中，在所述第一像素集合中搜索到的期望块的数量达到第二阈值时，将所述期望块作为所述第一相似块，并停止在所述第一像素集合中进行所述第一相似块的搜索，其中，用于表征所述当前块与所述期望块的相似度的参量的值超出第一阈值。
在另一种实现方式中，在所述第一像素集合的所有像素中，搜索到的期望块的数量大于第二阈值时，按照相似度从高到低的方式，从搜索到的所述期望块中，确定数量等于所述第二阈值的所述第一相似块，其中，用于表征所述当前块与所述期望块的相似度的参量的值超出第一阈值。
可选地，在本申请实施例中，可以根据前次得到的第一相似块包括的重建像素的位置，确定第二像素集合；从该第二像素集合中，再次获取该第一相似块。
其中，该第二像素集合中的像素可以是稀疏的重建像素，该第二像素集合中的像素可以相对于之前确定的第一相似块包括的重建像素对称。
其中，该之前确定的第一相似块可以是从第一像素集合(基于当前块的位置确定的像素集合)中搜索得到的相似块，也可以是基于另一第二像素集合(基于前前次的第一相似块的位置确定的像素集合)中搜索得到的相似块。
也就是说，在本申请实施例中，在基于当前块的位置得到一个像素集合之后，在该像素集合中搜索相似块，然后再基于搜索到的相似块的像素位置，再次确定像素集合，在再次确定的像素集合中搜索相似块，然后可以停止基于像素集合的相似块的搜索，或者也可以基于再次搜索到的相似块确定像素集合，并以此类推。其中，可以将该过程称为基于本申请实施例提到的像素集合的N阶搜索过程，N可以为取值大于等于1的整数，N的大小可以根据实际情况而定。
以下将结合图9进行详细说明。如图9所示，在基于当前块确定的像素集合中，两个候选相似块⑧(图中圈内是灰底，字是白色的8的数字)被确定为相似块，在该两个候选相似块⑧周围分别确定像素集合(由图中圈内是灰底，字是黑色的数字来表示)，然后，在该两个像素集合中分别确定相似块，即，图中圈内是黑底，字是白色的数字来表示的相似块，即，5个相似块。由此，加上之前得到的两个相似块在图9中共示出了7个相似块。
可选地，在本申请实施例中，在该第二像素集合中之前已经进行了相似度匹配的块，不再进行相似块的匹配操作，由此可以节省滤波的复杂度。
或者，在本申请实施例中，在该第二像素集合中不包括已经进行了相似块匹配操作的块，也就是说，在用模板确定第二像素集合时，某些块已经进行了相似度匹配，则该候选相似块不再被包括在第二像素集合中。
例如，如图9所示，基于右下角被确定为相似块的块⑧确定的候选相似块，仅包括17个候选相似块，而非28个候选相似块，因为，存在一些候选相似块已经进行了相似块匹配。
但应理解，本申请实施例并不限于此。
例如，在该第二像素集合中之前已经被确定为相似块的块，不再进行相似块的匹配操作。也就是说，即使之前已经进行了相似度匹配，但是由于没有被确定为相似块，仍然可以再次进行匹配，例如，可以是由于不同阶搜索过程中，用来判断是否为相似块的阈值可以是不同的。
类似地，在该第二像素集合中不包括已经被确定为相似块的块，也就是说，在用模板确定第二像素集合时，某些块已经被确定为了相似块，则该候选相似块不再被包括在第二像素集合中。
可选地，在本申请实施例中，从一个第二像素集合中获取的相似块的数量可以不超过一定数值，例如，第三阈值。其中，一个第三像素集合可以理解为在一个第一相似块周围用一次模板套住的像素。
在一种实现方式中，可以获取到第二像素集合中所有搜索块与当前块的相似度，按照相似度从高到低的方式排布，挑出数量为第三阈值的第一相似块。
在另一种实现方式中，在所述第二像素集合中搜索到的期望块的数量达到第三阈值时，将所述期望块确定为所述第一相似块，并停止在所述第二像素集合中进行所述第一相似块的搜索，其中，用于表征所述当前块与所述期望块的相似度的参量的值超出第一阈值。
在另一种实现方式中，在所述第二像素集合的所有像素中，搜索到的期望块的数量大于第三阈值时，按照相似度从高到低的方式，从搜索到的所述期望块中，确定数量等于所述第三阈值的所述第一相似块，其中，用于表征所述当前块与所述期望块的相似度的参量的值超出第一阈值。
但应理解，本申请实施例，并限于以上的实现方式，其中，可以是多个像素集合中搜索的相似块不超过第三阈值。例如，该多个像素集合可以理解为以上的N阶搜索过程中的其中一阶搜索过程得到多个相似块对应的多个像素集合。
可选地，在本申请实施例中，第一像素集合和第二像素集合对应的模板可以相同。或者，第一像素集合和第二像素集合对应的模板可以不相同。
可选地，对于不同阶搜索过程中采样的模板可以不相同，当然也可以相同。
以上已经介绍了利用稀疏的像素集合确定第一相似块的方案，在本申请实施例中，在获取到第一相似块之后，还可以基于该第一相似块的位置，分别确定像素窗口；在该像素窗口内，获取该第二相似块。
其中，在该像素窗口内，可以按照逐点扫描的方式，确定该第二相似块。
例如，如图10所示，在搜索到的两个相似块⑧(图中圈内是灰底，字是白色的8)周围分别划定一个像素窗口，其中，该像素窗口可以相对于已确定的相似块对称，也可以不对阵。其中，该像素窗口可以是方形的，也可以是其它形状的。
其中，本申请实施例提到的逐点扫描可以是以滑窗的方式实现的，滑窗滑动的步长可以为1，其中，滑窗的大小可以等于当前块的大小。
可选地，在本申请实施例中，在从一个像素窗口中获取的相似块的数量可以不超过一定数值，例如，第四阈值。其中，一个像素窗口可以理解为套住一个第一相似块的像素窗口。
在一种实现方式中，可以获取到像素窗口中所有搜索块与当前块的相似度，按照相似度从高到低的方式排布，挑出数量为第四阈值的第二相似块。
在另一种实现方式中，在所述像素窗口中搜索到的期望块的数量达到第四阈值时，将搜索到的所述期望块确定为所述第二相似块，并停止在所述像素窗口中进行所述第二相似块的搜索，其中，用于表征所述当前块与所述期望块的相似度的参量的值超出第一阈值。
在另一种实现方式中，在所述像素窗口中的所有像素中，搜索到的期望块的数量大于第四阈值时，按照相似度从高到低的方式，从所述期望块中，确定数量等于所述第四阈值的所述第二相似块，其中，用于表征所述当前块与所述期望块的相似度的参量的值超出第一阈值。
但应理解，本申请实施例并限于以上的实现方式，其中，可以是多个像素窗口中搜索的相似块不超过第四阈值。例如，该多个像素窗口可以理解为以上的全部第一相似块对应的像素窗口。
可选地，在本申请实施中，以上阐述了各个搜索阶段均可能存在阈值，但是本申请实施例并不限于此。
例如，每个搜索阶段不存在用于限定搜索到的相似块的数量的阈值，本申请实施例可以设置一个用于限定总的所有相似块的数量的阈值。
可选地，在搜索到的期望块的数量达到一定数值时，将所述期望块作为所述相似块，并停止所述相似块的搜索，其中，用于表征所述当前块与所述期望块的相似度的参量的值超出第一阈值。
可选地，在用于相似块搜索的全部重建像素中，搜索到的期望块的数量大于一定数值时，按照相似度从高到低的方式，从所述期望块中，确定数量等于该数值的所述相似块，其中，用于表征所述当前块与所述期望块的相似度的参量的值超出第一阈值。
当然，既可以设置限制各个阶段得到相似块的数量的阈值，也可以同时设置一个用于限定总的所有相似块的数量的阈值。
可选地，在本申请实施例由编码端实现时，编码端可以确定上述各个用于限制相似块数量的阈值，并将这一个或多个阈值进行编码，并传递给解码端。以及，在由解码端实现时，解码端可以从码流中获取该一个或多个阈值。
当然，在本申请实施例中，编码端和解码端可以分别确定上述各个用于限制相似块数量的阈值，则编码端无需在码流中传递这些阈值。
在320中，滤波器基于该至少一个第一相似块，构建结构数组。
可选地，在本申请实施中，如果确定了上述第二相似块，则可以基于该第一相似块和第二相似块，构建结构数组。
可选地，构建的结构数组可以是一维、二维或者三维矩阵。
在330中，滤波器对该结构数组进行分解。
其中，可以对该结构数组进行奇异值分解(Singular Value Decomposition，SVD)，并对奇异值进行硬阈值操作，根据奇异值分解的结果获得重建结构组，最后获取重建图像。其中，SVD分解的目的是将结构数组提取主成分，单纯的SVD并不能起到滤波的作用，滤波的关键在于去除噪声，NLSF中去除噪声的地方采用的是硬阈值的操作。
在340中，滤波器根据分解的结构数组，获得重建结构数组。
可选地，在本申请实施例中，除了采用SVD的滤波方式，还可以利用离散余弦变换(Discrete Cosine Transform，DCT)变换、哈达玛变换、KLT(Karhunen-Loève Transform)、依赖信号转换(Signal Dependent Transform，SDT)、小波变换等等滤波方式。
可选地，本申请实施例的滤波方式可以与其他的滤波方式结合使用。具体地，可以在本申请实施例的滤波之后执行其他方式的滤波，或者，在其他方式的滤波之后执行根据本申请实施例的滤波方式。
其他的滤波技术可以包括双边滤波、去块滤波、自适应样值补偿滤波和自适应环路滤波。其中，
双边滤波是当前像素由它自身和相邻四个点像素值的加权平均来计算，实现保边去噪。去块滤波用于预测单元和变换单元的边界，利用训练得到的低通滤波器进行边界像素的非线性加权，从而减少块效应。自适应样值补偿滤波通过对图像块内像素进行分类，进而为每类像素加上相同补偿值的方式使得重构图像更接近原始图像，从而起到抑制振铃效应的作用。自适应环路滤波是一种维纳滤波器，主要用于最小化原始图像和重构图像之间的均方误差。
以下表1示出了现有技术与本申请的需要搜索的点数(搜索点数相当于相似度匹配操作次数，一个搜索点等于一次相似度匹配)的比照图。其中，在为当前块设置的用于搜索相似块的搜索窗口为33x33的情况下，现有技术在进行相似块搜索时平均每个当前块需要搜索1072个点。使用本申请中的如图8所示的搜索模板，在第一次搜索时，最多需要搜索28个点，几次迭代后，MarketPlace、BQTTerrace、BasketballDrive、RitualDance、Cactus五个序列序列平均需要搜索291个点，本发明使得搜索点数节省了72.9％。其中，五个序列MarketPlace、BQTTerrace、BasketballDrive、RitualDance、Cactus分别可以减少74.6％、70.3％、71.5％、75.2％、72.9％的搜索点数。
表1
因此，本申请实施例中的用于视频处理的方法，在至少一个像素集合中，获取当前块的至少一个第一相似块，该像素集合包括稀疏的重建像素，从而可以在过滤过程中降低相似块获取的复杂度，可以在保证最小的编码性能损失的情况下，降低滤波复杂度，从而降低编解码的复杂度，以及节省编解码的时间。图11是根据本申请实施例的用于视频处理的方法400的示意性流程图。如图11所示，该方法400包括以下内容中的至少部分内容。其中，该方法400可以由应用于编码端，也可以应用于解码端。
在410中，滤波器从重建像素中，获取当前块的至少一个相似块，该当前块包括至少一个重建像素，其中，用于表征所述当前块与所述相似块的相似度的参量的值超出第一阈值。
其中，该重建像素可以是搜索窗口中的像素，可以利用逐点扫描的方式，从该搜索窗口中，获取当前块的相似块。
在420中，滤波器基于该至少一个第一相似块，构建结构数组。
在430中，滤波器对该结构数组进行分解。
在440中，滤波器根据分解的结构数组，获得重建结构数组。
可选地，该相似块的数量小于或等于第二阈值。
可选地，在搜索到的期望块的数量达到所述第二阈值时，将所述期望块作为所述相似块，并停止所述相似块的搜索，其中，用于表征所述当前块与所述期望块的相似度的参量的值超出第一阈值。
可选地，在所述重建像素的所有像素中，搜索到的期望块的数量大于所述第二阈值时，按照相似度从高到低的方式，从所述期望块中，确定数量等于所述第二阈值的所述相似块，其中，用于表征所述当前块与所述期望块的相似度的参量的值超出第一阈值。
可选地，该第一阈值是基于以下参数中的至少一种确定的：该当前块的大小，视频的比特深度，该当前块的像素和，该当前块的像素的水平梯度，该当前块的像素的垂直梯度。
可选地，在该相似度的度量参量是哈希值的差值时，该第一阈值是基于以下参数中的至少一种确定的：该当前块的像素和，该当前块的像素的水平梯度，该当前块的像素的垂直梯度。
可选地，该相似度的度量参量是SSD或SAD时，该第一阈值是基于以下参数中的至少一种确定的：该当前块的大小，视频的比特深度。
可选地，该相似度的度量参量是MAD，MSD或SSIM时，该第一阈值是基于视频的比特深度确定的。
可选地，用于获取该相似块进行的相似度判断的度量参量为：哈希值的差值、SSD、SAD、MAD、MSD或SSIM。
可选地，该方法由编码端实现；该方法还包括：所述编码端确定所述第一阈值，以及将所述第一阈值进行编码。
可选地，该方法由解码端实现；该方法还包括：所述解码端获取码流中的所述第一阈值。
应理解，该方法400中的各个操作的实现可以参照方法300的描述，为了简洁，在此不再赘述。
图12是根据本申请实施例的用于视频处理的设备500的示意性框图。如图12所示，该设备500包括：
相似块获取单元510，用于在至少一个像素集合中，获取当前块的至少一个第一相似块，其中，该像素集合包括稀疏的重建像素，该当前块包括至少一个重建像素；
构建单元520，用于基于该至少一个第一相似块，构建结构数组；
分解单元530，用于对该结构数组进行分解；
重建单元540，用于根据分解的结构数组，获得重建结构数组。
可选地，在本申请实施例中，该至少一个像素集合包括第一像素集合；
该相似块获取单元510具体用于：
基于该当前块包括的重建像素的位置，确定该第一像素集合；
从该第一像素集合中，获取该第一相似块。
可选地，在本申请实施例中，该相似块获取单元510具体用于：
按照从靠近该当前块到远离该当前块的搜索方式，从该第一像素集合中，获取该第一相似块。
可选地，在本申请实施例中，该相似块获取单元510具体用于：
在该第一像素集合中搜索到的期望块的数量达到第二阈值时，将该期望块作为该第一相似块，并停止在该第一像素集合中进行该第一相似块的搜索，其中，用于表征该当前块与该期望块的相似度的参量的值超出第一阈值。
可选地，在本申请实施例中，该相似块获取单元510具体用于：
在该第一像素集合的所有像素中，搜索到的期望块的数量大于第二阈值时，按照相似度从高到低的方式，从搜索到的该期望块中，确定数量等于该第二阈值的该第一相似块，其中，用于表征该当前块与该期望块的相似度的参量的值超出第一阈值。
可选地，在本申请实施例中，该至少一个像素集合包括第二像素集合；
该相似块获取单元510具体用于：
根据前次得到的第一相似块包括的重建像素的位置，确定第二像素集合；
从该第二像素集合中，再次获取该第一相似块。
可选地，在本申请实施例中，该相似块获取单元510具体用于：
基于从靠近该前次得到的该第一相似块到远离该前次得到的该第一相似块的搜索方式，从该第二像素集合中，再次获取该第一相似块。
可选地，在本申请实施例中，该相似块获取单元510具体用于：
在该第二像素集合中搜索到的期望块的数量达到第三阈值时，将该期望块确定为该第一相似块，并停止在该第二像素集合中进行该第一相似块的搜索，其中，用于表征该当前块与该期望块的相似度的参量的值超出第一阈值。
可选地，在本申请实施例中，该相似块获取单元510具体用于：
在该第二像素集合的所有像素中，搜索到的期望块的数量大于第三阈值时，按照相似度从高到低的方式，从搜索到的该期望块中，确定数量等于该第三阈值的该第一相似块，其中，用于表征该当前块与该期望块的相似度的参量的值超出第一阈值。
可选地，在本申请实施例中，该相似块获取单元510具体用于：该第二像素集合中之前已经进行了相似块匹配操作的块，不再进行相似块的匹配操作；或者，
该第二像素集合中不包括已经进行了相似块匹配操作的块。
可选地，在本申请实施例中，该相似块获取单元510进一步用于：
基于模板，确定该像素集合。
可选地，在本申请实施例中，该模板中的重建像素聚集为多个分散的图像块，每个图像块的大小大于或等于该当前块的大小。
可选地，在本申请实施例中，该模板包括用于选择该第一相似块的多个候选相似块，该候选相似块的大小等于该当前块的大小。
可选地，在本申请实施例中，该模板包括从中心到边缘的多组候选相似块，每组候选相似块块围成环形，该环形相对该模板的中心对称，组内的候选相似块均匀排布。
可选地，在本申请实施例中，该模板包括四组候选相似块，该四组候选相似块的远离该模板的中心的边缘像素，相对于该模板的中心，分别间隔1个像素，2个像素，4个像素和8个像素。
可选地，在本申请实施例中，该四组候选相似块分别具有4个候选相似块，8个候选相似块，8个候选相似块和8个候选相似块，其中，具有4个候选相似块的一组候选相似块距离该模板的中心最近。
可选地，在本申请实施例中，该至少一个像素集合中，不同的像素集合是基于不同的模板确定的。
可选地，在本申请实施例中，该相似块获取单元510进一步用于：
基于每个该第一相似块的位置，分别确定像素窗口；
在该像素窗口内，获取该第二相似块；
该构建单元520具体用于：
基于该第一相似块和该第二相似块，构建该结构数组。
可选地，在本申请实施例中，该相似块获取单元510具体用于：
按照逐点扫描的方式，确定该第二相似块。
可选地，在本申请实施例中，该相似块获取单元510具体用于：该像素窗口中已进行了相似块匹配操作的块，不再进行相似块的匹配操作；或者，
该搜索窗口中不包括已经进行了相似块匹配操作的块。
可选地，在本申请实施例中，该相似块获取单元510具体用于：
在该像素窗口中搜索到的期望块的数量达到第四阈值时，将搜索到的该期望块确定为该第二相似块，并停止在该像素窗口中进行该第二相似块的搜索，其中，用于表征该当前块与该期望块的相似度的参量的值超出第一阈值。
可选地，在本申请实施例中，该相似块获取单元510具体用于：
在该像素窗口中的所有像素中，搜索到的期望块的数量大于第四阈值时，按照相似度从高到低的方式，从该期望块中，确定数量等于该第四阈值的该第二相似块，其中，用于表征该当前块与该期望块的相似度的参量的值超出第一阈值。
可选地，在本申请实施例中，用于表征该当前块与该当前块的相似块的相似度的参量的值超出第一阈值。
可选地，在本申请实施例中，该第一阈值是基于以下参数中的至少一种确定的：
该当前块的大小，视频的比特深度，该当前块的像素和，该当前块的像素的水平梯度，该当前块的像素的垂直梯度。
可选地，在本申请实施例中，在表征该相似度的参量是哈希值的差值时，
该第一阈值是基于以下参数中的至少一种确定的：
该当前块的像素和，该当前块的像素的水平梯度，该当前块的像素的垂直梯度。
可选地，在本申请实施例中，在表征该相似度的参量是误差平方和SSD或绝对误差和SAD时，
该第一阈值是基于以下参数中的至少一种确定的：该当前块的大小，视频的比特深度。
可选地，在本申请实施例中，在表征该相似度的参量是平均绝对差MAD，平均误差平方和MSD或结构相似性指标SSIM时，
该第一阈值是基于视频的比特深度确定的。
可选地，在本申请实施例中，该设备由编码端实现；该设备500还包括：
编码单元，用于确定所述第一阈值，以及将所述第一阈值进行编码。
可选地，在本申请实施例中，该设备由解码端实现；该设备500还包括：
获取单元，用于获取码流中的所述第一阈值。
可选地，在本申请实施例中，表征相似度的参量为：哈希值的差值、SSD、SAD、MAD、MSD或SSIM。
可选地，在本申请实施例中，用于获取该相似块的重建像素包括：
该当前块所属的编码单元的上侧的重建像素、该编码单元的左侧的重建像素和该编码单元的重建像素；或，
该编码单元的上侧的重建像素、该编码单元的左侧的重建像素、该编码单元的右侧的重建像素、该编码单元的下侧的重建像素和该编码单元的重建像素；或，
该编码单元的重建像素。
可选地，在本申请实施例中，该编码单元的上侧的重建像素的垂直方向的像素个数少于或等于该编码单元的左侧的重建像素的水平方向的像素个数。
可选地，该设备500可以实现上述方法300中的滤波器的操作，为了简洁，在此不再赘述。
图13是根据本申请实施例的用于视频处理的设备600的示意性框图。如图13所示，该设备600包括：
相似块获取单元610，用于从重建像素中，获取当前块的至少一个相似块，该当前块包括至少一个重建像素，其中，用于表征该当前块与该相似块的相似度的参量的值超出第一阈值；
构建单元620，用于基于该至少一个相似块，构建结构数组；
分解单元630，用于对该结构数组进行分解；
重建单元640，用于根据分解的结构数组，获得重建结构数组。
可选地，在本申请实施例中，该相似块的数量小于或等于第二阈值。
可选地，在本申请实施例中，该相似块获取单元610进一步用于：
在搜索到的期望块的数量达到该第二阈值时，将该期望块作为该相似块，并停止该相似块的搜索，其中，用于表征该当前块与该期望块的相似度的参量的值超出第一阈值。
可选地，在本申请实施例中，该相似块获取单元610进一步用于：
在该重建像素的所有像素中，搜索到的期望块的数量大于该第二阈值时，按照相似度从高到低的方式，从该期望块中，确定数量等于该第二阈值的该相似块，其中，用于表征该当前块与该期望块的相似度的参量的值超出第一阈值。
可选地，在本申请实施例中，该第一阈值是基于以下参数中的至少一种确定的：
该当前块的大小，视频的比特深度，该当前块的像素和，该当前块的像素的水平梯度，该当前块的像素的垂直梯度。
可选地，在本申请实施例中，在表征该相似度的参量是哈希值的差值时，
该第一阈值是基于以下参数中的至少一种确定的：
该当前块的像素和，该当前块的像素的水平梯度，该当前块的像素的垂直梯度。
可选地，在本申请实施例中，在表征该相似度的参量是误差平方和SSD或绝对误差和SAD时，
该第一阈值是基于以下参数中的至少一种确定的：该当前块的大小，视频的比特深度。
可选地，在本申请实施例中，在表征该相似度的参量是平均绝对差MAD，平均误差平方和MSD或结构相似性指标SSIM时，
该第一阈值是基于视频的比特深度确定的。
可选地，在本申请实施例中，表征相似度的参量为：哈希值的差值、SSD、SAD、MAD、MSD或SSIM。
可选地，在本申请实施例中，该设备600由编码端实现；该设备600还包括：
编码单元，用于确定所述第一阈值，以及将所述第一阈值进行编码。
可选地，在本申请实施例中，该设备600由解码端实现；该设备600还包括：
获取单元，用于获取码流中的所述第一阈值。
可选地，该设备600可以实现上述方法400中的滤波器的操作，为了简洁，在此不再赘述。
应理解，上述本申请实施例的用于视频处理的设备可以是芯片，其具体可以由电路实现，但本申请实施例对具体的实现形式不做限定。
本申请实施例还提供了一种编码器，该编码器用于实现本申请实施例中编码端的功能，可以包括上述本申请实施例的用于视频处理的设备中用于编码端的模块。
本申请实施例还提供了一种解码器，该解码器用于实现本申请实施例中解码端的功能，可以包括上述本申请实施例的用于视频处理的设备中用于解码端的模块。
本申请实施例还提供了一种编解码器，该编解码器包括上述本申请实施例的用于视频处理的设备。
图14示出了本申请实施例的计算机***700的示意性框图。
如图14所示，该计算机***700可以包括处理器710和存储器720。
应理解，该计算机***700还可以包括其他计算机***中通常所包括的部件，例如，输入输出设备、通信接口等，本申请实施例对此并不限定。
存储器720用于存储计算机可执行指令。
存储器720可以是各种种类的存储器，例如可以包括高速随机存取存储器(RandomAccess Memory，RAM)，还可以包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器，本申请实施例对此并不限定。
处理器710用于访问该存储器720，并执行该计算机可执行指令，以进行上述本申请实施例的用于视频处理的方法中的操作。
处理器710可以包括微处理器，现场可编程门阵列(Field－Programmable GateArray，FPGA)，中央处理器(Central Processing unit，CPU)，图形处理器(GraphicsProcessing Unit，GPU)等，本申请实施例对此并不限定。
本申请实施例的用于视频处理的设备和计算机***可对应于本申请实施例的用于视频处理的方法的执行主体，并且用于视频处理的设备和计算机***中的各个模块的上述和其它操作和/或功能分别为了实现前述各个方法的相应流程，为了简洁，在此不再赘述。
本申请实施例还提供了一种电子设备，该电子设备可以包括上述本申请各种实施例的用于视频处理的设备或者计算机***。
本申请实施例还提供了一种计算机存储介质，该计算机存储介质中存储有程序代码，该程序代码可以用于指示执行上述本申请实施例的环路滤波的方法。
应理解，在本申请实施例中，术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系。例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的***、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的***、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本申请实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (86)

1.一种用于视频处理的方法，其特征在于，包括：
在至少一个像素集合中，获取当前块的至少一个第一相似块，其中，所述像素集合包括稀疏的重建像素，所述当前块包括至少一个重建像素；
基于所述至少一个第一相似块，构建结构数组；
对所述结构数组进行分解；
根据分解的结构数组，获得重建结构数组。
2.根据权利要求1所述的方法，其特征在于，所述至少一个像素集合包括第一像素集合；
所述在至少一个像素集合中，获取所述至少一个第一相似块，包括：
基于所述当前块包括的重建像素的位置，确定所述第一像素集合；
从所述第一像素集合中，获取所述第一相似块。
3.根据权利要求2所述的方法，其特征在于，从所述第一像素集合中，获取所述第一相似块，包括：
按照从靠近所述当前块到远离所述当前块的搜索方式，从所述第一像素集合中，获取所述第一相似块。
4.根据权利要求2或3所述的方法，其特征在于，从所述第一像素集合中，获取所述第一相似块，包括：
在所述第一像素集合中搜索到的期望块的数量达到第二阈值时，将所述期望块作为所述第一相似块，并停止在所述第一像素集合中进行所述第一相似块的搜索，其中，用于表征所述当前块与所述期望块的相似度的参量的值超出第一阈值。
5.根据权利要求2或3所述的方法，其特征在于，从所述第一像素集合中，获取所述第一相似块，包括：
在所述第一像素集合的所有像素中，搜索到的期望块的数量大于第二阈值时，按照相似度从高到低的方式，从搜索到的所述期望块中，确定数量等于所述第二阈值的所述第一相似块，其中，用于表征所述当前块与所述期望块的相似度的参量的值超出第一阈值。
6.根据权利要求2至5中任一项所述的方法，其特征在于，所述至少一个像素集合包括第二像素集合；
所述在至少一个像素集合中，获取第一相似块，包括：
根据前次得到的第一相似块包括的重建像素的位置，确定第二像素集合；
从所述第二像素集合中，再次获取所述第一相似块。
7.根据权利要求6所述的方法，其特征在于，从所述第二像素集合中，再次获取所述第一相似块，包括：
基于从靠近所述前次得到的所述第一相似块到远离所述前次得到的所述第一相似块的搜索方式，从所述第二像素集合中，再次获取所述第一相似块。
8.根据权利要求6或7所述的方法，其特征在于，从所述第二像素集合中，再次获取所述第一相似块，包括：
在所述第二像素集合中搜索到的期望块的数量达到第三阈值时，将所述期望块确定为所述第一相似块，并停止在所述第二像素集合中进行所述第一相似块的搜索，其中，用于表征所述当前块与所述期望块的相似度的参量的值超出第一阈值。
9.根据权利要求6或7所述的方法，其特征在于，从所述第二像素集合中，再次获取所述第一相似块，包括：
在所述第二像素集合的所有像素中，搜索到的期望块的数量大于第三阈值时，按照相似度从高到低的方式，从搜索到的所述期望块中，确定数量等于所述第三阈值的所述第一相似块，其中，用于表征所述当前块与所述期望块的相似度的参量的值超出第一阈值。
10.根据权利要求6至9中任一项所述的方法，其特征在于，
从所述第二像素集合中，再次获取所述第一相似块，包括：所述第二像素集合中之前已经进行了相似块匹配操作的块，不再进行相似块的匹配操作；或者，
所述第二像素集合中不包括已经进行了相似块匹配操作的块。
11.根据权利要求1至10中任一项所述的方法，其特征在于，所述方法还包括：
基于模板，确定所述像素集合。
12.根据权利要求11所述的方法，其特征在于，所述模板中的重建像素聚集为多个分散的图像块，每个图像块的大小大于或等于所述当前块的大小。
13.根据权利要求11或12所述的方法，其特征在于，所述模板包括用于选择所述第一相似块的多个候选相似块，所述候选相似块的大小等于所述当前块的大小。
14.根据权利要求13所述的方法，其特征在于，所述模板包括从中心到边缘的多组候选相似块，每组候选相似块块围成环形，所述环形相对所述模板的中心对称，组内的候选相似块均匀排布。
15.根据权利要求14所述的方法，其特征在于，所述模板包括四组候选相似块，所述四组候选相似块的远离所述模板的中心的边缘像素，相对于所述模板的中心，分别间隔1个像素，2个像素，4个像素和8个像素。
16.根据权利要求14或15所述的方法，其特征在于，所述四组候选相似块分别具有4个候选相似块，8个候选相似块，8个候选相似块和8个候选相似块，其中，具有4个候选相似块的一组候选相似块距离所述模板的中心最近。
17.根据权利要求11至16中任一项所述的方法，其特征在于，所述至少一个像素集合中，不同的像素集合是基于不同的模板确定的。
18.根据权利要求2至17中任一项所述的方法，其特征在于，所述方法还包括：
基于每个所述第一相似块的位置，分别确定像素窗口；
在所述像素窗口内，获取所述第二相似块；
所述基于所述至少一个第一相似块，构建结构数组，包括：
基于所述第一相似块和所述第二相似块，构建所述结构数组。
19.根据权利要求18所述的方法，其特征在于，在所述像素窗口内，确定第二相似块，包括：
按照逐点扫描的方式，确定所述第二相似块。
20.根据权利要求18或19所述的方法，其特征在于，在所述像素窗口内，获取所述第二相似块，包括：
所述像素窗口中已进行了相似块匹配操作的块，不再进行相似块的匹配操作；或者，
所述搜索窗口中不包括已经进行了相似块匹配操作的块。
21.根据权利要求18至20中任一项所述的方法，其特征在于，所述在所述像素窗口内，获取所述第二相似块，包括：
在所述像素窗口中搜索到的期望块的数量达到第四阈值时，将搜索到的所述期望块确定为所述第二相似块，并停止在所述像素窗口中进行所述第二相似块的搜索，其中，用于表征所述当前块与所述期望块的相似度的参量的值超出第一阈值。
22.根据权利要求18至20中任一项所述的方法，其特征在于，所述在所述像素窗口内，获取所述第二相似块，包括：
在所述像素窗口中的所有像素中，搜索到的期望块的数量大于第四阈值时，按照相似度从高到低的方式，从所述期望块中，确定数量等于所述第四阈值的所述第二相似块，其中，用于表征所述当前块与所述期望块的相似度的参量的值超出第一阈值。
23.根据权利要求1至22中任一项所述的方法，其特征在于，用于表征所述当前块与所述当前块的相似块的相似度的参量的值超出第一阈值。
24.根据权利要求23所述的方法，其特征在于，所述第一阈值是基于以下参数中的至少一种确定的：
所述当前块的大小，视频的比特深度，所述当前块的像素和，所述当前块的像素的水平梯度，所述当前块的像素的垂直梯度。
25.根据权利要求24所述的方法，其特征在于，在表征所述相似度的参量是哈希值的差值时，
所述第一阈值是基于以下参数中的至少一种确定的：
所述当前块的像素和，所述当前块的像素的水平梯度，所述当前块的像素的垂直梯度。
26.根据权利要求24所述的方法，其特征在于，在表征所述相似度的参量是误差平方和SSD或绝对误差和SAD时，
所述第一阈值是基于以下参数中的至少一种确定的：所述当前块的大小，视频的比特深度。
27.根据权利要求24所述的方法，其特征在于，在表征所述相似度的参量是平均绝对差MAD，平均误差平方和MSD或结构相似性指标SSIM时，
所述第一阈值是基于视频的比特深度确定的。
28.根据权利要求23至27中任一项所述的方法，其特征在于，所述方法由编码端实现；所述方法还包括：
所述编码端确定所述第一阈值，以及将所述第一阈值进行编码。
29.根据权利要求23至28中任一项所述的方法，其特征在于，所述方法由解码端实现；所述方法还包括：
所述解码端获取码流中的所述第一阈值。
30.根据权利要求1至29中任一项所述的方法，其特征在于，表征相似度的参量为：哈希值的差值、SSD、SAD、MAD、MSD或SSIM。
31.根据权利要求30所述的方法，其特征在于，用于获取所述相似块的重建像素包括：
所述当前块所属的编码单元的上侧的重建像素、所述编码单元的左侧的重建像素和所述编码单元的重建像素；或，
所述编码单元的上侧的重建像素、所述编码单元的左侧的重建像素、所述编码单元的右侧的重建像素、所述编码单元的下侧的重建像素和所述编码单元的重建像素；或，
所述编码单元的重建像素。
32.根据权利要求31所述的方法，其特征在于，所述编码单元的上侧的重建像素的垂直方向的像素个数少于或等于所述编码单元的左侧的重建像素的水平方向的像素个数。
33.一种用于视频处理的方法，其特征在于，包括：
从重建像素中，获取当前块的至少一个相似块，所述当前块包括至少一个重建像素，其中，用于表征所述当前块与所述相似块的相似度的参量的值超出第一阈值；
基于所述至少一个相似块，构建结构数组；
对所述结构数组进行分解；
根据分解的结构数组，获得重建结构数组。
34.根据权利要求33所述的方法，其特征在于，所述相似块的数量小于或等于第二阈值。
35.根据权利要求34所述的方法，其特征在于，所述从重建像素中，获取当前块的至少一个相似块，包括：
在搜索到的期望块的数量达到所述第二阈值时，将所述期望块作为所述相似块，并停止所述相似块的搜索，其中，用于表征所述当前块与所述期望块的相似度的参量的值超出第一阈值。
36.根据权利要求34所述的方法，其特征在于，所述从重建像素中，获取当前块的至少一个相似块，包括：
在所述重建像素的所有像素中，搜索到的期望块的数量大于所述第二阈值时，按照相似度从高到低的方式，从所述期望块中，确定数量等于所述第二阈值的所述相似块，其中，用于表征所述当前块与所述期望块的相似度的参量的值超出第一阈值。
37.根据权利要求33至36中任一项所述的方法，其特征在于，所述第一阈值是基于以下参数中的至少一种确定的：
所述当前块的大小，视频的比特深度，所述当前块的像素和，所述当前块的像素的水平梯度，所述当前块的像素的垂直梯度。
38.根据权利要求37所述的方法，其特征在于，在表征所述相似度的参量是哈希值的差值时，
所述第一阈值是基于以下参数中的至少一种确定的：
所述当前块的像素和，所述当前块的像素的水平梯度，所述当前块的像素的垂直梯度。
39.根据权利要求37所述的方法，其特征在于，在表征所述相似度的参量是误差平方和SSD或绝对误差和SAD时，
所述第一阈值是基于以下参数中的至少一种确定的：所述当前块的大小，视频的比特深度。
40.根据权利要求37所述的方法，其特征在于，在表征所述相似度的参量是平均绝对差MAD，平均误差平方和MSD或结构相似性指标SSIM时，
所述第一阈值是基于视频的比特深度确定的。
41.根据权利要求33至40中任一项所述的方法，其特征在于，表征相似度的参量为：哈希值的差值、SSD、SAD、MAD、MSD或SSIM。
42.根据权利要求33至41中任一项所述的方法，其特征在于，所述方法由编码端实现；所述方法还包括：
所述编码端确定所述第一阈值，以及将所述第一阈值进行编码。
43.根据权利要求33至41中任一项所述的方法，其特征在于，所述方法由解码端实现；所述方法还包括：
所述解码端获取码流中的所述第一阈值。
44.一种用于视频处理的设备，其特征在于，包括：
相似块获取单元，用于在至少一个像素集合中，获取当前块的至少一个第一相似块，其中，所述像素集合包括稀疏的重建像素，所述当前块包括至少一个重建像素；
构建单元，用于基于所述至少一个第一相似块，构建结构数组；
分解单元，用于对所述结构数组进行分解；
重建单元，用于根据分解的结构数组，获得重建结构数组。
45.根据权利要求44所述的设备，其特征在于，所述至少一个像素集合包括第一像素集合；
所述相似块获取单元具体用于：
基于所述当前块包括的重建像素的位置，确定所述第一像素集合；
从所述第一像素集合中，获取所述第一相似块。
46.根据权利要求45所述的设备，其特征在于，所述相似块获取单元具体用于：
按照从靠近所述当前块到远离所述当前块的搜索方式，从所述第一像素集合中，获取所述第一相似块。
47.根据权利要求45或46所述的设备，其特征在于，所述相似块获取单元具体用于：
在所述第一像素集合中搜索到的期望块的数量达到第二阈值时，将所述期望块作为所述第一相似块，并停止在所述第一像素集合中进行所述第一相似块的搜索，其中，用于表征所述当前块与所述期望块的相似度的参量的值超出第一阈值。
48.根据权利要求45或46所述的设备，其特征在于，所述相似块获取单元具体用于：
在所述第一像素集合的所有像素中，搜索到的期望块的数量大于第二阈值时，按照相似度从高到低的方式，从搜索到的所述期望块中，确定数量等于所述第二阈值的所述第一相似块，其中，用于表征所述当前块与所述期望块的相似度的参量的值超出第一阈值。
49.根据权利要求45至48中任一项所述的设备，其特征在于，所述至少一个像素集合包括第二像素集合；
所述相似块获取单元具体用于：
根据前次得到的第一相似块包括的重建像素的位置，确定第二像素集合；
从所述第二像素集合中，再次获取所述第一相似块。
50.根据权利要求49所述的设备，其特征在于，所述相似块获取单元具体用于：
基于从靠近所述前次得到的所述第一相似块到远离所述前次得到的所述第一相似块的搜索方式，从所述第二像素集合中，再次获取所述第一相似块。
51.根据权利要求49或50所述的设备，其特征在于，所述相似块获取单元具体用于：
在所述第二像素集合中搜索到的期望块的数量达到第三阈值时，将所述期望块确定为所述第一相似块，并停止在所述第二像素集合中进行所述第一相似块的搜索，其中，用于表征所述当前块与所述期望块的相似度的参量的值超出第一阈值。
52.根据权利要求49或50所述的设备，其特征在于，所述相似块获取单元具体用于：
在所述第二像素集合的所有像素中，搜索到的期望块的数量大于第三阈值时，按照相似度从高到低的方式，从搜索到的所述期望块中，确定数量等于所述第三阈值的所述第一相似块，其中，用于表征所述当前块与所述期望块的相似度的参量的值超出第一阈值。
53.根据权利要求49至52中任一项所述的设备，其特征在于，
所述相似块获取单元具体用于：所述第二像素集合中之前已经进行了相似块匹配操作的块，不再进行相似块的匹配操作；或者，
所述第二像素集合中不包括已经进行了相似块匹配操作的块。
54.根据权利要求44至53中任一项所述的设备，其特征在于，所述相似块获取单元进一步用于：
基于模板，确定所述像素集合。
55.根据权利要求54所述的设备，其特征在于，所述模板中的重建像素聚集为多个分散的图像块，每个图像块的大小大于或等于所述当前块的大小。
56.根据权利要求54或55所述的设备，其特征在于，所述模板包括用于选择所述第一相似块的多个候选相似块，所述候选相似块的大小等于所述当前块的大小。
57.根据权利要求56所述的设备，其特征在于，所述模板包括从中心到边缘的多组候选相似块，每组候选相似块块围成环形，所述环形相对所述模板的中心对称，组内的候选相似块均匀排布。
58.根据权利要求57所述的设备，其特征在于，所述模板包括四组候选相似块，所述四组候选相似块的远离所述模板的中心的边缘像素，相对于所述模板的中心，分别间隔1个像素，2个像素，4个像素和8个像素。
59.根据权利要求57或58所述的设备，其特征在于，所述四组候选相似块分别具有4个候选相似块，8个候选相似块，8个候选相似块和8个候选相似块，其中，具有4个候选相似块的一组候选相似块距离所述模板的中心最近。
60.根据权利要求54至59中任一项所述的设备，其特征在于，所述至少一个像素集合中，不同的像素集合是基于不同的模板确定的。
61.根据权利要求45至60中任一项所述的设备，其特征在于，所述相似块获取单元进一步用于：
基于每个所述第一相似块的位置，分别确定像素窗口；
在所述像素窗口内，获取所述第二相似块；
所述构建单元具体用于：
基于所述第一相似块和所述第二相似块，构建所述结构数组。
62.根据权利要求61所述的设备，其特征在于，所述相似块获取单元具体用于：
按照逐点扫描的方式，确定所述第二相似块。
63.根据权利要求61或62所述的设备，其特征在于，所述相似块获取单元具体用于：所述像素窗口中已进行了相似块匹配操作的块，不再进行相似块的匹配操作；或者，
所述搜索窗口中不包括已经进行了相似块匹配操作的块。
64.根据权利要求61至63中任一项所述的设备，其特征在于，所述相似块获取单元具体用于：
在所述像素窗口中搜索到的期望块的数量达到第四阈值时，将搜索到的所述期望块确定为所述第二相似块，并停止在所述像素窗口中进行所述第二相似块的搜索，其中，用于表征所述当前块与所述期望块的相似度的参量的值超出第一阈值。
65.根据权利要求61至63中任一项所述的设备，其特征在于，所述相似块获取单元具体用于：
在所述像素窗口中的所有像素中，搜索到的期望块的数量大于第四阈值时，按照相似度从高到低的方式，从所述期望块中，确定数量等于所述第四阈值的所述第二相似块，其中，用于表征所述当前块与所述期望块的相似度的参量的值超出第一阈值。
66.根据权利要求44至65中任一项所述的设备，其特征在于，用于表征所述当前块与所述当前块的相似块的相似度的参量的值超出第一阈值。
67.根据权利要求66所述的设备，其特征在于，所述第一阈值是基于以下参数中的至少一种确定的：
所述当前块的大小，视频的比特深度，所述当前块的像素和，所述当前块的像素的水平梯度，所述当前块的像素的垂直梯度。
68.根据权利要求67所述的设备，其特征在于，在表征所述相似度的参量是哈希值的差值时，
所述第一阈值是基于以下参数中的至少一种确定的：
所述当前块的像素和，所述当前块的像素的水平梯度，所述当前块的像素的垂直梯度。
69.根据权利要求67所述的设备，其特征在于，在表征所述相似度的参量是误差平方和SSD或绝对误差和SAD时，
所述第一阈值是基于以下参数中的至少一种确定的：所述当前块的大小，视频的比特深度。
70.根据权利要求67所述的设备，其特征在于，在表征所述相似度的参量是平均绝对差MAD，平均误差平方和MSD或结构相似性指标SSIM时，
所述第一阈值是基于视频的比特深度确定的。
71.根据权利要求66至70中任一项所述的设备，其特征在于，所述设备由编码端实现；所述设备还包括：
编码单元，确定所述第一阈值，以及将所述第一阈值进行编码。
72.根据权利要求66至71中任一项所述的设备，其特征在于，所述设备由解码端实现；所述设备还包括：
获取单元，用于获取码流中的所述第一阈值。
73.根据权利要求44至72中任一项所述的设备，其特征在于，表征相似度的参量为：哈希值的差值、SSD、SAD、MAD、MSD或SSIM。
74.根据权利要求44至73中任一项所述的设备，其特征在于，用于获取所述相似块的重建像素包括：
所述当前块所属的编码单元的上侧的重建像素、所述编码单元的左侧的重建像素和所述编码单元的重建像素；或，
所述编码单元的上侧的重建像素、所述编码单元的左侧的重建像素、所述编码单元的右侧的重建像素、所述编码单元的下侧的重建像素和所述编码单元的重建像素；或，
所述编码单元的重建像素。
75.根据权利要求74所述的设备，其特征在于，所述编码单元的上侧的重建像素的垂直方向的像素个数少于或等于所述编码单元的左侧的重建像素的水平方向的像素个数。
76.一种用于视频处理的设备，其特征在于，包括：
相似块获取单元，用于从重建像素中，获取当前块的至少一个相似块，所述当前块包括至少一个重建像素，其中，用于表征所述当前块与所述相似块的相似度的参量的值超出第一阈值；
构建单元，用于基于所述至少一个相似块，构建结构数组；
分解单元，用于对所述结构数组进行分解；
重建单元，用于根据分解的结构数组，获得重建结构数组。
77.根据权利要求76所述的设备，其特征在于，所述相似块的数量小于或等于第二阈值。
78.根据权利要求77所述的设备，其特征在于，所述相似块获取单元进一步用于：
在搜索到的期望块的数量达到所述第二阈值时，将所述期望块作为所述相似块，并停止所述相似块的搜索，其中，用于表征所述当前块与所述期望块的相似度的参量的值超出第一阈值。
79.根据权利要求77所述的设备，其特征在于，所述相似块获取单元进一步用于：
在所述重建像素的所有像素中，搜索到的期望块的数量大于所述第二阈值时，按照相似度从高到低的方式，从所述期望块中，确定数量等于所述第二阈值的所述相似块，其中，用于表征所述当前块与所述期望块的相似度的参量的值超出第一阈值。
80.根据权利要求76至79中任一项所述的设备，其特征在于，所述第一阈值是基于以下参数中的至少一种确定的：
所述当前块的大小，视频的比特深度，所述当前块的像素和，所述当前块的像素的水平梯度，所述当前块的像素的垂直梯度。
81.根据权利要求80所述的设备，其特征在于，在表征所述相似度的参量是哈希值的差值时，
所述第一阈值是基于以下参数中的至少一种确定的：
所述当前块的像素和，所述当前块的像素的水平梯度，所述当前块的像素的垂直梯度。
82.根据权利要求80所述的设备，其特征在于，在表征所述相似度的参量是误差平方和SSD或绝对误差和SAD时，
所述第一阈值是基于以下参数中的至少一种确定的：所述当前块的大小，视频的比特深度。
83.根据权利要求80所述的设备，其特征在于，在表征所述相似度的参量是平均绝对差MAD，平均误差平方和MSD或结构相似性指标SSIM时，
所述第一阈值是基于视频的比特深度确定的。
84.根据权利要求76至83中任一项所述的设备，其特征在于，表征相似度的参量为：哈希值的差值、SSD、SAD、MAD、MSD或SSIM。
85.根据权利要求76至84中任一项所述的设备，其特征在于，所述设备由编码端实现；所述设备还包括：
发送单元，用于确定所述第一阈值，以及将所述第一阈值进行编码。
86.根据权利要求76至84中任一项所述的设备，其特征在于，所述设备由解码端实现；所述设备还包括：
接收单元，用于获取码流中的所述第一阈值。
CN201880012506.0A 2018-04-02 2018-04-02 用于视频处理的方法和设备 Pending CN110352599A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/081653 WO2019191891A1 (zh) 2018-04-02 2018-04-02 用于视频处理的方法和设备

Publications (1)

Publication Number Publication Date
CN110352599A true CN110352599A (zh) 2019-10-18

Family

ID=68099773

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201880012506.0A Pending CN110352599A (zh) 2018-04-02 2018-04-02 用于视频处理的方法和设备
CN201880012519.8A Expired - Fee Related CN110383837B (zh) 2018-04-02 2018-06-01 用于视频处理的方法和设备

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201880012519.8A Expired - Fee Related CN110383837B (zh) 2018-04-02 2018-06-01 用于视频处理的方法和设备

Country Status (2)

Country Link
CN (2) CN110352599A (zh)
WO (2) WO2019191891A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111914890B (zh) * 2020-06-23 2024-05-14 北京迈格威科技有限公司 图像之间的图像块匹配方法、图像配准方法和产品
CN112804528B (zh) * 2021-02-05 2022-10-28 北京字节跳动网络技术有限公司 屏幕内容处理方法、装置及设备
CN113382246B (zh) * 2021-04-20 2024-03-01 浙江大华技术股份有限公司 编码方法、装置、电子设备及计算机可读存储介质
CN118175311A (zh) * 2022-12-09 2024-06-11 腾讯科技（深圳）有限公司 视频数据处理方法、装置、存储介质及设备

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060002613A1 (en) * 2004-06-30 2006-01-05 Comet Video Technology Method of data compression including compression of video data
US20090067502A1 (en) * 2005-04-15 2009-03-12 Byeong Moon Jeon Method for Scalably Encoding and Decoding Video Signal
CN101833667A (zh) * 2010-04-21 2010-09-15 中国科学院半导体研究所 一种基于分组稀疏表示的模式识别分类方法
CN101895297A (zh) * 2010-07-30 2010-11-24 哈尔滨工业大学 一种面向压缩感知的块稀疏信号重构方法
CN102164282A (zh) * 2011-04-29 2011-08-24 中南民族大学 一种用于图像编码的基于系数随机置换的压缩感知方法及***
US20130051468A1 (en) * 2010-03-12 2013-02-28 Tsinghua University Method and device for video predictive encoding
CN105096351A (zh) * 2014-05-19 2015-11-25 北京大学 图像去块效应处理方法和装置
CN105513026A (zh) * 2015-12-17 2016-04-20 浙江大学 一种基于图像非局部相似的压缩感知重构方法
CN105763881A (zh) * 2016-02-23 2016-07-13 北京大学 利用图像非局部结构相似性特征的视频编码图像滤波方法
CN105791877A (zh) * 2016-03-15 2016-07-20 北京大学 视频编解码中自适应环路滤波的方法
CN106327422A (zh) * 2015-07-01 2017-01-11 北京大学 一种图像风格化重建方法及装置
US20170202532A1 (en) * 2014-07-30 2017-07-20 Hitachi, Ltd. Data processing method, data processing device, and x-ray ct apparatus
CN107292852A (zh) * 2017-07-19 2017-10-24 南京邮电大学 一种基于低秩理论的图像去噪算法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103020918B (zh) * 2013-01-09 2015-05-20 西安电子科技大学 基于形状自适应邻域均值的非局部均值去噪方法
CN103473740B (zh) * 2013-08-31 2016-05-25 西安电子科技大学 基于稀疏表示和低秩双重约束的非局部去噪方法
US9576346B2 (en) * 2015-03-24 2017-02-21 Intel Corporation Non-local means image denoising with an adaptive directional spatial filter

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060002613A1 (en) * 2004-06-30 2006-01-05 Comet Video Technology Method of data compression including compression of video data
US20090067502A1 (en) * 2005-04-15 2009-03-12 Byeong Moon Jeon Method for Scalably Encoding and Decoding Video Signal
US20130051468A1 (en) * 2010-03-12 2013-02-28 Tsinghua University Method and device for video predictive encoding
CN101833667A (zh) * 2010-04-21 2010-09-15 中国科学院半导体研究所 一种基于分组稀疏表示的模式识别分类方法
CN101895297A (zh) * 2010-07-30 2010-11-24 哈尔滨工业大学 一种面向压缩感知的块稀疏信号重构方法
CN102164282A (zh) * 2011-04-29 2011-08-24 中南民族大学 一种用于图像编码的基于系数随机置换的压缩感知方法及***
CN105096351A (zh) * 2014-05-19 2015-11-25 北京大学 图像去块效应处理方法和装置
US20170202532A1 (en) * 2014-07-30 2017-07-20 Hitachi, Ltd. Data processing method, data processing device, and x-ray ct apparatus
CN106327422A (zh) * 2015-07-01 2017-01-11 北京大学 一种图像风格化重建方法及装置
CN105513026A (zh) * 2015-12-17 2016-04-20 浙江大学 一种基于图像非局部相似的压缩感知重构方法
CN105763881A (zh) * 2016-02-23 2016-07-13 北京大学 利用图像非局部结构相似性特征的视频编码图像滤波方法
CN105791877A (zh) * 2016-03-15 2016-07-20 北京大学 视频编解码中自适应环路滤波的方法
CN107292852A (zh) * 2017-07-19 2017-10-24 南京邮电大学 一种基于低秩理论的图像去噪算法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
XIANGUO ZHANG，ET AL.: "Optimizing the Hierarchical Prediction and Coding in HEVC for Surveillance and Conference Videos With Background Modeling", 《 IEEE TRANSACTIONS ON IMAGE PROCESSING ( VOLUME: 23, ISSUE: 10, OCT. 2014)》 *
XINFENG ZHANG,ET AL.: "High-Efficiency Image Coding via Near-Optimal Filtering", 《 IEEE SIGNAL PROCESSING LETTERS ( VOLUME: 24, ISSUE: 9, SEPT. 2017)》 *
XINFENG ZHANG,ET AL.: "Low-Rank-Based Nonlocal Adaptive Loop Filter for High-Efficiency Video Compression", 《 IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY ( VOLUME: 27, ISSUE: 10, OCT. 2017)》 *
马思伟.: "AVS视频编码标准技术回顾及最新进展", 《计算机研究与发展》 *

Also Published As

Publication number Publication date
WO2019191891A1 (zh) 2019-10-10
CN110383837B (zh) 2021-10-22
WO2019192071A1 (zh) 2019-10-10
CN110383837A (zh) 2019-10-25

Similar Documents

Publication Publication Date Title
CN103797800B (zh) 推导参考模式值以及编码和解码表示预测模式的信息
US10003792B2 (en) Video encoder for images
CN104704827B (zh) 用于下一代视频的内容自适应变换译码
CN105430400B (zh) 运动图像解码装置以及运动图像解码方法
JP6659586B2 (ja) 画像符号化／復号化方法及び装置
CN104967850B (zh) 通过使用大变换单元对图像进行编码和解码的方法和设备
CN108605143A (zh) 视频编码中的非局部自适应环内滤波器的方法和装置
CN104255033B (zh) 用于lm模式计算的简化查找表
CN110352599A (zh) 用于视频处理的方法和设备
CN107925763A (zh) 等级分割中的块级别变换选择和隐式信令的编码变换方法和设备
CN104704826B (zh) 两步量化和编码方法和装置
CN103081467A (zh) 用于多滤波器自适应滤波的滤波器描述信令
CN107113438A (zh) 帧内编码模式
CN108028945A (zh) 通过使用单例系数更新执行变换的设备和方法
CN110073663A (zh) 使用级别图的变换系数代码化
KR20220045045A (ko) 비디오 신호의 행렬 가중된 인트라 예측
CN110383695B (zh) 用于对数字图像或视频流进行编码和解码的方法和装置
CN109891886A (zh) 利用任意类型的块划分的视频编码方法和装置
CN107005691A (zh) 使用从图模板导出的变换来对视频信号进行编码/解码的方法和装置
CN109845256A (zh) 影像编码方法/装置、影像解码方法/装置以及保存有比特流的记录介质
CN107667532A (zh) 用于非基带信号代码化的变换选择
CN105794208B (zh) 编码解码图像方法、编码解码图像设备及相应计算机可读介质
CN107113426A (zh) 使用广义图形参数执行基于图形的变换的方法和设备
CN104937940A (zh) 保留视频编码中的舍入误差
CN109996083A (zh) 帧内预测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned

Effective date of abandoning: 20230228

AD01 Patent right deemed abandoned