CN111866512B - 视频解码方法、视频编码方法、装置、设备及存储介质 - Google Patents

视频解码方法、视频编码方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111866512B
CN111866512B CN202010747005.6A CN202010747005A CN111866512B CN 111866512 B CN111866512 B CN 111866512B CN 202010747005 A CN202010747005 A CN 202010747005A CN 111866512 B CN111866512 B CN 111866512B
Authority
CN
China
Prior art keywords
string
current
current string
length
decoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010747005.6A
Other languages
English (en)
Other versions
CN111866512A (zh
Inventor
王英彬
许晓中
刘杉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010747005.6A priority Critical patent/CN111866512B/zh
Priority to CN202210217473.1A priority patent/CN114900690B/zh
Publication of CN111866512A publication Critical patent/CN111866512A/zh
Priority to JP2022559390A priority patent/JP7483035B2/ja
Priority to EP21848927.6A priority patent/EP4099697A4/en
Priority to PCT/CN2021/106598 priority patent/WO2022022297A1/zh
Application granted granted Critical
Publication of CN111866512B publication Critical patent/CN111866512B/zh
Priority to US17/895,729 priority patent/US20220417504A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请提供了一种视频解码方法、视频编码方法、装置、设备及存储介质,涉及视频编解码技术领域。所述方法包括:从码流中解码得到当前串的串长度信息;确定当前串的串长度分辨率;根据串长度信息和串长度分辨率,确定当前串的串长度。本申请首先从码流中的串长度信息中解码预设的串长度分辨率,再根据串长度信息以及串长度分辨率确定当前串的串长度,通过将串长度分辨率作为像素串的划分与解码依据,可限制编码块内像素串的长度为串长度分辨率的倍数,提升了像素串的整齐度,使得解码端能够在内存对齐的条件下解码,提升了像素串的解码效率。

Description

视频解码方法、视频编码方法、装置、设备及存储介质
技术领域
本申请实施例涉及视频编解码技术领域,特别涉及一种视频解码方法、视频编码方法、装置、设备及存储介质。
背景技术
在目前的视频编解码标准中,如VVC(Versatile Video Coding,通用视频编码)和AVS3(Audio Video coding Standard 3,音视频编码标准3)中,引入了ISC(Intra StringCopy,帧内串复制)预测技术。
相关的帧内串复制技术中,是按照某种扫描顺序将一个编码块分成一系列像素串或未匹配像素,实质上便是允许编码块划分为任意整像素长度的像素串,比如一个未匹配像素便可认为是长度为1的像素串。这样,像素串的长度可以是1、2、3、4等任意的正整数。
相关技术中存在像素串不整齐、解码效率低的问题。
发明内容
本申请实施例提供了一种视频解码方法、视频编码方法、装置、设备及存储介质,能够提升像素串的整齐度以及像素串的解码效率。所述技术方案如下:
根据本申请实施例的一个方面,提供了一种视频解码方法,所述方法包括:
从码流中解码得到当前串的串长度信息,所述串长度信息包括与所述当前串的串长度相关的信息;
确定所述当前串的串长度分辨率;
根据所述串长度信息和所述串长度分辨率,确定所述当前串的串长度。
根据本申请实施例的一个方面,提供了一种视频编码方法,所述方法包括:
确定当前串的串长度分辨率;
基于所述当前串的串长度以及所述串长度分辨率,确定所述当前串的串长度信息,所述串长度信息包括与所述当前串的串长度相关的信息;
对所述串长度信息进行编码。
可选地,所述当前串的串长度分辨率为第一预设值;
或者,所述当前串所属图像序列中包含的各个串的串长度分辨率相同,所述串长度分辨率编码后添加在所述当前串所属图像序列的序列头中;
或者,所述当前串所属图像中包含的各个串的串长度分辨率相同,所述串长度分辨率编码后添加在所述当前串所属图像的图像头中;
或者,所述当前串所属片中包含的各个串的串长度分辨率相同,所述串长度分辨率编码后添加在所述当前串所属片的片头中;
或者,所述当前串所属LCU(Large Coding Unit,最大编码单元)中包含的各个串的串长度分辨率相同,所述串长度分辨率编码后添加在所述当前串所属LCU的编码信息中;
或者,所述当前串所属CU(Coding Unit,编码单元)中包含的各个串的串长度分辨率相同,所述串长度分辨率编码后添加在所述当前串所属CU的编码信息中;
或者,所述当前串的串长度分辨率编码后添加在所述当前串的编码信息中;
或者,所述当前串的串长度分辨率根据所述当前串所属解码块的尺寸确定;
或者,所述当前串的串长度分辨率根据所述当前串对应的颜色分量和色度格式确定;
或者,若所述当前串所属CU中已解码串的数量大于或等于第一阈值,则所述当前串的串长度分辨率为第二预设值;
或者,若所述当前串所属CU中已解码未匹配像素的数量大于或等于第二阈值,则所述当前串的串长度分辨率为第三预设值;
或者,若所述当前串所属CU中未解码像素的数量小于或等于第三阈值,则所述当前串的串长度分辨率为第四预设值。
可选地,所述串长度信息包括所述当前串的串长度编码;
所述基于所述当前串的串长度以及所述串长度分辨率,确定所述当前串的串长度信息,包括:
将所述当前串的串长度除以所述串长度分辨率,得到所述当前串的串长度编码。
可选地,所述串长度信息包括所述当前串所属编码块中,在编码所述当前串后的剩余像素数量编码;
所述基于所述当前串的串长度以及所述串长度分辨率,确定所述当前串的串长度信息,包括:
获取所述当前串所属编码块的总像素数量;
获取所述当前串所属编码块的已编码像素数量;
基于所述总像素数量、所述已编码像素数量以及所述当前串的串长度,确定所述当前串所属编码块中,在编码所述当前串后的剩余像素数量;
将编码所述当前串后的所述剩余像素数量除以所述串长度分辨率,得到所述剩余像素数量编码。
可选地,所述串长度信息包括第一标志,所述第一标志用于指示所述当前串是否为所述当前串所属编码块中的最后一个串;
所述基于所述当前串的串长度以及所述串长度分辨率,确定所述当前串的串长度信息,包括:
若所述当前串是所述最后一个串,则确定所述当前串对应的第一标志为第一数值,所述第一数值用于指示所述当前串是所述当前串所属编码块中的最后一个串;编码所述当前串对应的第一标志;
若所述当前串不是所述最后一个串,则基于所述当前串所属编码块的总像素数量、已编码像素数量以及所述当前串的串长度,确定所述当前串所属编码块的剩余像素数量;将所述剩余像素数量除以所述串长度分辨率,得到所述当前串所属编码块中,在编码所述当前串后的剩余像素数量编码;确定所述当前串对应的第一标志为第二数值,所述第二数值用于指示所述当前串不是所述当前串所属编码块中的最后一个串;编码所述当前串对应的第一标志;
其中,所述串长度信息还包括所述剩余像素数量编码;或者,所述串长度信息还包括所述剩余像素数量编码减1。
可选地,所述方法还包括:
确定允许的串长度分辨率集合,所述串长度分辨率集合中包括至少一组索引值和串长度分辨率之间的对应关系;
编码第一索引值,所述第一索引值是所述当前串的串长度分辨率对应的索引值。
可选地,所述串长度分辨率集合中包括的串长度分辨率包括以下至少一种:一个或多个预设值;当前CU的宽度;当前CU的高度。
可选地,在按照水平方向扫描当前CU的情况下,所述串长度分辨率集合中包括所述当前CU的宽度;在按照竖直方向扫描当前CU的情况下,所述串长度分辨率集合中包括所述当前CU的高度。
可选地,所述方法还包括:
编码所述当前串对应的第二标志,所述第二标志用于指示所述当前串是否包含未匹配像素;
其中,若所述当前串包含所述未匹配像素,则所述当前串的串长度为N,所述N为所述当前串的串长度分辨率。
可选地,若所述当前串的串长度大于N,则所述当前串不包含未匹配像素,且无需为所述当前串编码对应的第二标志;
若所述当前串的串长度等于N,则编码所述当前串对应的第二标志;
其中,所述第二标志用于指示所述当前串是否包含未匹配像素,所述N为所述当前串的串长度分辨率。
可选地,在所述当前串包含未匹配像素的情况下,所述方法还包括:
编码所述当前串中包含的各个像素分别对应的第三标志,所述第三标志用于指示所述像素是否为未匹配像素;
或者,
编码所述当前串中包含的未匹配像素的数量以及与所述当前串对应的第四标志,所述第四标志用于指示所述未匹配像素在所述当前串中的位置;
或者,
确定所述当前串中包含的各个像素均为未匹配像素。
可选地,所述方法还包括:
若所述当前串不包含未匹配像素,则确定所述当前串的参考串;
基于所述当前串的参考串,确定所述当前串的串矢量;
编码所述当前串的串矢量。
可选地,所述方法还包括:
若所述当前串包含未匹配像素,则确定所述当前串的参考串;
基于所述当前串的参考串,确定所述当前串的串矢量;
编码所述当前串的串矢量;
对于所述当前串中的所述未匹配像素,对所述未匹配像素的像素值进行编码后加入码流中;
对于所述当前串中的匹配像素,不进行编码。
可选地,所述方法还包括:
若所述当前串包含未匹配像素,则确定所述当前串的参考串;
基于所述当前串的参考串,确定所述当前串的串矢量;
编码所述当前串的串矢量;
对于所述当前串中的所述未匹配像素,获取所述未匹配像素的预测残差;对所述未匹配像素的预测残差进行编码后加入码流中;
对于所述当前串中的匹配像素,不进行编码。
根据本申请实施例的一个方面,提供了一种视频解码装置,所述装置包括:
串信息解码模块,用于从码流中解码得到当前串的串长度信息,所述串长度信息包括与所述当前串的串长度相关的信息;
分辨率确定模块,用于确定所述当前串的串长度分辨率;
串长度确定模块,用于根据所述串长度信息和所述串长度分辨率,确定所述当前串的串长度。
根据本申请实施例的一个方面,提供了一种视频编码装置,所述装置包括:
分辨率确定模块,用于确定当前串的串长度分辨率;
串信息确定模块,用于基于所述当前串的串长度以及所述串长度分辨率,确定所述当前串的串长度信息,所述串长度信息包括与所述当前串的串长度相关的信息;
串信息编码模块,用于对所述串长度信息进行编码。
根据本申请实施例的一个方面,提供了一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述视频解码方法。
根据本申请实施例的一个方面,提供了一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述视频编码方法。
根据本申请实施例的一个方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述视频解码方法。
根据本申请实施例的一个方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述视频编码方法。
根据本申请实施例的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述视频解码方法。
根据本申请实施例的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述视频编码方法。
本申请实施例提供的技术方案可以包括如下有益效果:
首先从码流中的串长度信息中解码预设的串长度分辨率,再根据串长度信息以及串长度分辨率确定当前串的串长度,通过将串长度分辨率作为像素串的划分与解码依据,可限制编码块内像素串的长度为串长度分辨率的倍数,提升了像素串的整齐度,使得解码端能够在内存对齐的条件下解码,提升了像素串的解码效率。
附图说明
图1是本申请示例性示出的一种视频编码过程的基本流程图;
图2是本申请一个实施例提供的帧间预测模式的示意图;
图3是本申请一个实施例提供的候选运动矢量的示意图;
图4是本申请一个实施例提供的帧内块复制模式的示意图;
图5是本申请一个实施例提供的帧内串复制模式的示意图;
图6是本申请一个实施例提供的通信***的简化框图;
图7是本申请示例性示出的视频编码器和视频解码器在流式传输环境中的放置方式的示意图;
图8是本申请一个实施例提供的视频解码方法的流程图;
图9是本申请另一个实施例提供的视频解码方法的流程图;
图10是本申请另一个实施例提供的视频解码方法的流程图;
图11是本申请另一个实施例提供的视频解码方法的流程图;
图12是本申请一个实施例提供的视频编码方法的流程图;
图13是本申请一个实施例提供的视频解码装置的框图;
图14是本申请另一个实施例提供的视频解码装置的框图;
图15是本申请一个实施例提供的视频编码装置的框图;
图16是本申请另一个实施例提供的视频编码装置的框图;
图17是本申请一个实施例提供的计算机设备的结构框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
在对本申请实施例进行介绍说明之前,首先结合图1对视频编码技术进行简单介绍。图1示例性示出了一种视频编码过程的基本流程图。
视频信号是指包括多个帧的图像序列。帧(frame)是视频信号空间信息的表示。以YUV模式为例,一个帧包括一个亮度样本矩阵(Y)和两个色度样本矩阵(Cb和Cr)。从视频信号的获取方式来看,可以分为摄像机拍摄到的以及计算机生成的两种方式。由于统计特性的不同,其对应的压缩编码方式也可能有所区别。
在一些主流的视频编码技术中,如H.265/HEVC(High Efficient Video Coding,高效率视频压缩编码)、H.266/VVC(Versatile Video Coding,通用视频编码)标准、AVS(Audio Video coding Standard,音视频编码标准)(如AVS3)中,采用了混合编码框架,对输入的原始视频信号进行如下一系列的操作和处理:
1、块划分结构(block partition structure):输入图像划分成若干个不重叠的处理单元,每个处理单元将进行类似的压缩操作。这个处理单元被称作CTU(Coding TreeUnit,编码树单元),或者LCU。CTU再往下,可以继续进行更加精细的划分,得到一个或多个基本编码的单元,称之为CU。每个CU是一个编码环节中最基本的元素。以下描述的是对每一个CU可能采用的各种编码方式。
2、预测编码(Predictive Coding):包括了帧内预测和帧间预测等方式,原始视频信号经过选定的已重建视频信号的预测后,得到残差视频信号。编码端需要为当前CU决定在众多可能的预测编码模式中,选择最适合的一种,并告知解码端。其中,帧内预测是指预测的信号来自于同一图像内已经编码重建过的区域。帧间预测是指预测的信号来自已经编码过的,不同于当前图像的其他图像(称之为参考图像)。
3、变换编码及量化(Transform&Quantization):残差视频信号经过DFT(DiscreteFourier Transform,离散傅里叶变换)、DCT(Discrete Cosine Transform,离散余弦变换)等变换操作,将信号转换到变换域中,称之为变换系数。在变换域中的信号,进一步进行有损的量化操作,丢失掉一定的信息,使得量化后的信号有利于压缩表达。在一些视频编码标准中,可能有多于一种变换方式可以选择,因此,编码端也需要为当前CU选择其中的一种变换,并告知解码端。量化的精细程度通常由量化参数来决定。QP(Quantization Parameter,量化参数)取值较大,表示更大取值范围的系数将被量化为同一个输出,因此通常会带来更大的失真,及较低的码率;相反,QP取值较小,表示较小取值范围的系数将被量化为同一个输出,因此通常会带来较小的失真,同时对应较高的码率。
4、熵编码(Entropy Coding)或统计编码:量化后的变换域信号,将根据各个值出现的频率,进行统计压缩编码,最后输出二值化(0或者1)的压缩码流。同时,编码产生其他信息,例如选择的模式、运动矢量等,也需要进行熵编码以降低码率。统计编码是一种无损编码方式,可以有效的降低表达同样的信号所需要的码率。常见的统计编码方式有变长编码(Variable Length Coding,简称VLC)或者基于上下文的二值化算术编码(ContentAdaptive Binary Arithmetic Coding,简称CABAC)。
5、环路滤波(Loop Filtering):已经编码过的图像,经过反量化、反变换及预测补偿的操作(上述2~4的反向操作),可获得重建的解码图像。重建图像与原始图像相比,由于存在量化的影响,部分信息与原始图像有所不同,产生失真(distortion)。对重建图像进行滤波操作,例如去块效应滤波(deblocking),SAO(Sample Adaptive Offset,样本自适应偏移量)或者ALF(Adaptive Lattice Filter,自适应格型滤波器)等滤波器,可以有效的降低量化所产生的失真程度。由于这些经过滤波后的重建图像,将作为后续编码图像的参考,用于对将来的信号进行预测,所以上述的滤波操作也被称为环路滤波,及在编码环路内的滤波操作。
根据上述编码过程可以看出,在解码端,对于每一个CU,解码器获得压缩码流后,先进行熵解码,获得各种模式信息及量化后的变换系数。各个系数经过反量化及反变换,得到残差信号。另一方面,根据已知的编码模式信息,可获得该CU对应的预测信号,两者相加之后,即可得到重建信号。最后,解码图像的重建值,需要经过环路滤波的操作,产生最终的输出信号。
一些主流的视频编码标准中,如HEVC、VVC、AVS3等标准中,均采用基于块的混合编码框架。它们将原始的视频数据分成一系列的编码块,结合预测、变换和熵编码等视频编码方法,实现视频数据的压缩。其中,运动补偿是视频编码常用的一类预测方法,运动补偿基于视频内容在时域或空域的冗余特性,从已编码的区域导出当前编码块的预测值。这类预测方法包括:帧间预测、帧内块复制预测、帧内串复制预测等,在具体的编码实现中,可能单独或组合使用这些预测方法。对于使用了这些预测方法的编码块,通常需要在码流显式或隐式地编码一个或多个二维的位移矢量,指示当前块(或当前块的同位块)相对它的一个或多个参考块的位移。
需要注意的是,在不同的预测模式下及不同的实现,位移矢量可能有不同的名称,本文统一按照以下方式进行描述:1)帧间预测模式中的位移矢量称为运动矢量(MotionVector,简称MV);2)IBC(Intra Block Copy,帧内块复制)预测模式中的位移矢量称为块矢量(Block Vector,简称BV);3)ISC(Intra String Copy,帧内串复制)预测模式中的位移矢量称为串矢量(String Vector,简称SV)。帧内串复制也称作“串预测”或“串匹配”等。
MV是指用于帧间预测模式的位移矢量,由当前图像指向参考图像,其值为当前块和参考块之间的坐标偏移量,其中,当前块与参考块在两个不同图像中。在帧间预测模式中,可以引入运动矢量预测,通过对当前块的运动矢量进行预测,得到当前块对应的预测运动矢量,对当前块对应的预测运动矢量与实际运动矢量之间的差值进行编码传输,相较于直接对当前块对应的实际运动矢量进行编码传输,有利于节省比特开销。在本申请实施例中,预测运动矢量是指通过运动矢量预测技术,得到的当前块的运动矢量的预测值。
BV是指用于IBC预测模式的位移矢量,其值为当前块和参考块之间的坐标偏移量,其中,当前块与参考块均在当前图像中。在IBC模式中,可以引入块矢量预测,通过对当前块的块矢量进行预测,得到当前块对应的预测块矢量,对当前块对应的预测块矢量与实际块矢量之间的差值进行编码传输,相较于直接对当前块对应的实际块矢量进行编码传输,有利于节省比特开销。在本申请实施例中,预测块矢量是指通过块矢量预测技术,得到的当前块的块矢量的预测值。
SV是指用于ISC预测模式的位移矢量,其值为当前串和参考串之间的坐标偏移量,其中,当前串与参考串均在当前图像中。在ISC模式中,可以引入串矢量预测,通过对当前串的串矢量进行预测,得到当前串对应的预测串矢量,对当前串对应的预测串矢量与实际串矢量之间的差值进行编码传输,相较于直接对当前串对应的实际串矢量进行编码传输,有利于节省比特开销。在本申请实施例中,预测串矢量是指通过串矢量预测技术,得到的当前串的串矢量的预测值。
下面对几种不同的预测模式进行介绍:
一、帧间预测模式
如图2所示,帧间预测利用视频时间域的相关性,使用邻近已编码图像的像素预测当前图像的像素,以达到有效去除视频时域冗余的目的,能够有效节省编码残差数据的比特。其中,P为当前帧,Pr为参考帧,B为当前待编码块,Br是B的参考块。B’与B在图像中的坐标位置相同,Br坐标为(xr,yr),B’坐标为(x,y)。当前待编码块与其参考块之间的位移,称为运动矢量(MV),即:
MV=(xr-x,yr-y)。
考虑到时域或空域邻近块具有较强的相关性,可以采用MV预测技术进一步减少编码MV所需要的比特。在H.265/HEVC中,帧间预测包含Merge和AMVP(Advanced MotionVector Prediction,高级运动向量预测)两种MV预测技术。
Merge模式会为当前PU(Prediction Unit,预测单元)建立一个MV候选列表,其中存在5个候选MV(及其对应的参考图像)。遍历这5个候选MV,选取率失真代价最小的作为最优MV。若编解码器依照相同的方式建立候选列表,则编码器只需要传输最优MV在候选列表中的索引即可。需要注意的是,HEVC的MV预测技术还有一种skip模式,是Merge模式的一种特例。在Merge模式找到最优MV后,如果当前块和参考块基本一样,那么不需要传输残差数据,只需要传送MV的索引和一个skip flag。
Merge模式建立的MV候选列表中包含了空域和时域的两种情形,对于B Slice(B帧图像),还包含组合列表的方式。其中,空域最多提供4个候选MV,它的建立如图3中的(a)部分所示。空域列表按照A1→B1→B0→A0→B2的顺序建立,其中B2为替补,即当A1,B1,B0,A0中有一个或多个不存在时,则需要使用B2的运动信息;时域最多只提供1个候选MV,它的建立如图3中的(b)部分所示,由同位PU的MV按下式伸缩得到:
curMV=td*colMV/tb;
其中,curMV表示当前PU的MV,colMV表示同位PU的MV,td表示当前图像与参考图像之间的距离,tb表示同位图像与参考图像之间的距离。若同位块上D0位置PU不可用,则用D1位置的同位PU进行替换。对于B Slice中的PU,由于存在两个MV,其MV候选列表也需要提供两个MVP(Motion Vector Predictor,预测运动矢量)。HEVC通过将MV候选列表中的前4个候选MV进行两两组合,产生了用于B Slice的组合列表。
类似的,AMVP模式利用空域和时域邻近块的MV相关性,为当前PU建立MV候选列表。与Merge模式不同,AMVP模式的MV候选列表中选择最优的预测MV,与当前待编码块通过运动搜索得到的最优MV进行差分编码,即编码MVD=MV-MVP,其中MVD为运动矢量残差(MotionVector Difference);解码端通过建立相同的列表,仅需要MVD与MVP在该列表中的序号即可计算当前解码块的MV。AMVP模式的MV候选列表也包含空域和时域两种情形,不同的是AMVP模式的MV候选列表长度仅为2。
如上所述,在HEVC的AMVP模式中,需要对MVD(Motion Vector Difference,运动矢量残差)进行编码。在HEVC中,MVD的分辨率由slice_header中的use_integer_mv_flag控制,当该标志的值为0,MVD以1/4(亮度)像素分辨率进行编码;当该标志的值为1,MVD采用整(亮度)像素分辨率进行编码。VVC中使用了一种自适应运动矢量精度(Adaptive MotionVector Resolution,简称AMVR)的方法。该方法允许每个CU自适应的选择编码MV的分辨率。在普通的AMVP模式中,可选的分辨率包括1/4,1/2,1和4像素分辨率。对于具有至少一个非零MVD分量的CU,首先编码一个标志指示是否将四分之一亮度采样MVD精度用于CU。如果该标志为0,则当前CU的MVD采用1/4像素分辨率进行编码。否则,需要编码第二个标志,以指示CU使用了1/2像素分辨率或其他MVD分辨率。否则,编码第三个标志以指示对于CU是否使用1像素分辨率或4像素分辨率。
二、IBC预测模式
IBC是HEVC屏幕内容编码(Screen Content Coding,简称SCC)扩展中采纳的一种帧内编码工具,它显著的提升了屏幕内容的编码效率。在AVS3和VVC中,也采纳了IBC技术以提升屏幕内容编码的性能。IBC利用屏幕内容视频在空间的相关性,使用当前图像上已编码图像像素预测当前待编码块的像素,能够有效节省编码像素所需的比特。如图4所示,在IBC中当前块与其参考块之间的位移,称为BV(块矢量)。H.266/VVC采用了类似于帧间预测的BV预测技术进一步节省编码BV所需的比特,并允许使用1或4像素分辨率编码BVD(BlockVector Difference,块矢量残差)。
三、ISC预测模式
ISC技术按照某种扫描顺序(如光栅扫描、往返扫描和Zig-Zag扫描等)将一个编码块分成一系列像素串或未匹配像素。类似于IBC,每个串在当前图像已编码区域中寻找相同形状的参考串,导出当前串的预测值,通过编码当前串像素值与预测值之间残差,代替直接编码像素值,能够有效节省比特。图5给出了帧内串复制的示意图,深灰色的区域为已编码区域,白色的28个像素为串1,浅灰色的35个像素为串2,黑色的1个像素表示未匹配像素。串1与其参考串之间的位移,即为图4中的串矢量1;串2与其参考串之间的位移,即为图4中的串矢量2。
帧内串复制技术需要编码当前编码块中各个串对应的SV、串长度以及是否有匹配串的标志等。其中,SV表示待编码串到其参考串的位移。串长度表示该串所包含的像素数量。在不同的实现方式中,串长度的编码有多种方式,以下给出几种示例(部分示例可能组合使用):1)直接在码流中编码串的长度;2)在码流中编码处理该串后续的待处理像素数量,解码端则根据当前块的大小N,已处理的像素数量N1,解码得到的待处理像素数量N2,计算得到当前串的长度,L=N-N1-N2;3)在码流中编码一个标志指示该串是否为最后一个串,如果是最后一个串,则根据当前块的大小N,已处理的像素数量N1,计算得到当前串的长度L=N-N1。如果一个像素在可参考的区域中没有找到对应的参考,将直接对未匹配像素的像素值进行编码。
在2020年6月份的AVS工作组第73次会议中,串预测技术被采纳到标准中。以下给出当前方案中串预测的解码流程(带下划线加粗的字段表示需要解码的语法元素,无下划线首字母大写的字段表示变量,变量的值可由语法元素解码得到,以下流程省略了一些与本申请无关的细节):
Figure BDA0002608715290000131
相关语义描述:
1、串复制帧内预测的匹配类型标志isc_match_type_flag[i]
二值变量。值为‘1’表示当前编码单元的第i部分为一个串;值为‘0’表示当前编码单元的第i部分为一个未匹配像素。IscMatchTypeFlag[i]等于isc_match_type_flag[i]的值。如果位流中不存在isc_match_type_flag[i],IscMatchTypeFlag[i]的值为0。
2、下一个剩余像素数量next_remaining_pixel_in_cu[i]
next_remaining_pixel_in_cu[i]的值表示完成当前编码单元第i部分的解码之后当前编码单元中剩余的尚未完成解码的像素的数目。NextRemainingPixelInCu[i]的值等于next_remaining_pixel_in_cu[i]的值。
3、串复制帧内预测未匹配像素Y分量值isc_unmatched_pixel_y[i]
串复制帧内预测未匹配像素U分量值isc_unmatched_pixel_u[i]
串复制帧内预测未匹配像素V分量值isc_unmatched_pixel_v[i]
10位无符号整数。当前编码单元第i部分的未匹配像素的Y,Cb或Cr分量的值。IscUnmatchedPixelY[i],IscUnmatchedPixelU[i]和IscUnmatchedPixelV[i]分别等于isc_unmatched_pixel_y[i],isc_unmatched_pixel_u[i]和isc_unmatched_pixel_v[i]的值。
目前的帧内串复制方案中串长度的分辨率为1像素,允许编码单元划分为任意整像素长度的子串(即允许编码的串长度可以是1,2,3,…)。该方案下编码单元可能划分为较细粒度的像素串,且像素串的位置可能与内存不对齐,导致像素串重建时需要频繁的进行内存访问,影响编码效率。例如,假设内存单元可同时并行处理4个像素对应的数据,若当前串的串长度是7的话,可能会存在当前串中的像素对应的数据被分配在两个或者三个内存单元的情况,此种情况下,解码端需要访问2次或者3次内存单元才可完成对当前串的解码。
为了提升像素串的整齐度以及像素串的解码效率,本申请提出了一种视频解码方法以及一种视频编码方法。通过从码流中的串长度信息中解码预设的串长度分辨率,再根据串长度信息以及串长度分辨率确定当前串的串长度,通过将串长度分辨率作为像素串的划分与解码依据,可限制编码块内像素串的长度为串长度分辨率的倍数,提升了像素串的整齐度,使得解码端能够在内存对齐的条件下解码,提升了像素串的解码效率。例如,假设内存单元可同时并行处理4个像素对应的数据,相应的设置串长度分辨率为4,那么像素串的长度只能是4的整数倍,不会出现与内存单元不对齐的情况。假设当前串的串长度是8,那么当前串中像素的数据只会存在两个单元中,并且是全部占满,不可能被分配在三个内存单元而导致需要解码端多访问一次内存单元。
如图6所示,其示出了本申请一个实施例提供的通信***的简化框图。通信***600包括多个设备,所述设备可通过例如网络650彼此通信。举例来说,通信***600包括通过网络650互连的第一设备610和第二设备620。在图6的实施例中,第一设备610和第二设备620执行单向数据传输。举例来说,第一设备610可对视频数据例如由第一设备610采集的视频图片流进行编码以通过网络650传输到第二设备620。已编码的视频数据以一个或多个已编码视频码流形式传输。第二设备620可从网络650接收已编码视频数据,对已编码视频数据进行解码以恢复视频数据,并根据恢复的视频数据显示视频图片。单向数据传输在媒体服务等应用中是较常见的。
在另一实施例中,通信***600包括执行已编码视频数据的双向传输的第三设备630和第四设备640,所述双向传输可例如在视频会议期间发生。对于双向数据传输,第三设备630和第四设备640中的每个设备可对视频数据(例如由设备采集的视频图片流)进行编码,以通过网络650传输到第三设备630和第四设备640中的另一设备。第三设备630和第四设备640中的每个设备还可接收由第三设备630和第四设备640中的另一设备传输的已编码视频数据,且可对所述已编码视频数据进行解码以恢复视频数据,且可根据恢复的视频数据在可访问的显示装置上显示视频图片。
在图6的实施例中,第一设备610、第二设备620、第三设备630和第四设备640可为服务器、个人计算机和智能电话等计算机设备,但本申请公开的原理可不限于此。本申请实施例适用于PC(Personal Computer,个人计算机)、手机、平板电脑、媒体播放器和/或专用视频会议设备。网络650表示在第一设备610、第二设备620、第三设备630和第四设备640之间传送已编码视频数据的任何数目的网络,包括例如有线连线的和/或无线通信网络。通信网络650可在电路交换和/或分组交换信道中交换数据。该网络可包括电信网络、局域网、广域网和/或互联网。出于本申请的目的,除非在下文中有所解释,否则网络650的架构和拓扑对于本申请公开的操作来说可能是无关紧要的。
作为实施例,图7示出视频编码器和视频解码器在流式传输环境中的放置方式。本申请所公开主题可同等地适用于其它支持视频的应用,包括例如视频会议、数字TV(电视)、在包括CD(Compact Disc,光盘)、DVD(Digital Versatile Disc,数字通用光盘)、存储棒等的数字介质上存储压缩视频等等。
流式传输***可包括采集子***713,所述采集子***可包括数码相机等视频源701,所述视频源创建未压缩的视频图片流702。在实施例中,视频图片流702包括由数码相机拍摄的样本。相较于已编码的视频数据704(或已编码的视频码流),视频图片流702被描绘为粗线以强调高数据量的视频图片流,视频图片流702可由电子装置720处理,所述电子装置720包括耦接到视频源701的视频编码器703。视频编码器703可包括硬件、软件或软硬件组合以实现或实施如下文更详细地描述的所公开主题的各方面。相较于视频图片流702,已编码的视频数据704(或已编码的视频码流704)被描绘为细线以强调较低数据量的已编码的视频数据704(或已编码的视频码流704),其可存储在流式传输服务器705上以供将来使用。一个或多个流式传输客户端子***,例如图7中的客户端子***706和客户端子***708,可访问流式传输服务器705以检索已编码的视频数据704的副本707和副本709。客户端子***706可包括例如电子装置730中的视频解码器710。视频解码器710对已编码的视频数据的传入副本707进行解码,且产生可在显示器712(例如显示屏)或另一呈现装置(未描绘)上呈现的输出视频图片流711。在一些流式传输***中,可根据某些视频编码/压缩标准对已编码的视频数据704、视频数据707和视频数据709(例如视频码流)进行编码。
应注意,电子装置720和电子装置730可包括其它组件(未示出)。举例来说,电子装置720可包括视频解码器(未示出),且电子装置730还可包括视频编码器(未示出)。其中,视频解码器用于对接收到的已编码视频数据进行解码;视频编码器用于对视频数据进行编码。
需要说明的一点是,本申请实施例提供的技术方案可以应用于H.266/VVC标准、H.265/HEVC标准、AVS(如AVS3)或者下一代视频编解码标准中,本申请实施例对此不作限定。
还需要说明的一点是,本申请实施例提供的视频解码方法,各步骤的执行主体可以是解码端设备。本申请实施例提供的视频编码方法,各步骤的执行主体可以是编码端设备。在ISC模式下的视频解码过程中,可以采用本申请实施例提供的解码方案,解码得到当前串的串长度。在ISC模式下的视频编码过程中,可以采用本申请实施例提供的编码方案,对当前串的串长度进行编码。解码端设备和编码端设备均可以是计算机设备,该计算机设备是指具备数据计算、处理和存储能力的电子设备,如PC、手机、平板电脑、媒体播放器、专用视频会议设备、服务器等等。
另外,本申请所提供的方法可以单独使用或以任意顺序与其他方法合并使用。基于本申请所提供方法的编码器和解码器,可以由1个或多个处理器或是1个或多个集成电路来实现。下面,通过几个实施例对本申请技术方案进行介绍说明。
请参考图8,其示出了本申请一个实施例提供的视频解码方法的流程图。该方法可应用于解码端设备中。该方法可以包括如下几个步骤(801~803):
步骤801,从码流中解码得到当前串的串长度信息。
码流是指视频经过编码后生成的数据流,其可以采用一系列的二进制数据0和1进行表示。在一些标准中,码流也称为位流(bitstream),是编码图像所形成的二进制数据流。
当前串是指当前解码的像素串。像素串是指一定数量的像素组成的像素序列。可选地,像素串是有限个二进制位的数据构成的有序序列。在ISC模式中,一个CU可以被划分成若干个像素串。对于视频解码来讲,为了恢复像素串中各个像素的像素值,需要先确定各个像素串的串长度。
串长度信息是指码流中与像素串的串长度相关的信息,用于确定像素串的串长度。可选地,当前串的串长度信息包括与当前串的串长度相关的信息,用于确定当前串的串长度。
步骤802,确定当前串的串长度分辨率。
串长度分辨率(StringLengthResolution,简称SLR)是将CU划分为像素串的最小串长度,也即串长度所允许的最小值。例如,串长度分辨率为4,表示像素串的最小串长度为4。
可选地,串长度分辨率可以用N表示,N为正整数。可选地,N为大于1的整数。当串长度分辨率为N时,像素串的串长度为N的整数倍,例如像素串的串长度可以是N、2N、3N、4N、5N等,以此类推。比如,串长度分辨率为4时,像素串的串长度可以是4、8、12、16、20等。
在本申请实施例中,示例性提供了以下几种确定当前串的串长度分辨率的方式。
方式一:将第一预设值确定为当前串的串长度分辨率。上述第一预设值是指预先设置好的串长度分辨率的数值,例如,该第一预设值可以在协议中进行预定义。解码端在对当前串进行解码时,将第一预设值确定为当前串的串长度分辨率,无需从码流中获取当前串的串长度分辨率。
方式二:从当前串所属图像序列的序列头中,解码得到当前串的串长度分辨率。在一些标准中,上述图像序列又称视频序列(sequence),是编码位流的最高层语法结构,包括一个或多个连续的编码图像。可选地,图像序列由第一个序列头开始,序列结束码或视频编辑码表明了一个图像序列的结束。图像序列的第一个序列头到第一个出现的序列结束码或视频编辑码之间的序列头为重复序列头。可选地,每个序列头后面跟着一个或多个编码图像,每幅图像之前应有图像头。可选地,编码图像在位流中按位流顺序排列,位流顺序应与解码顺序相同。解码顺序可与显示顺序不相同。上述图像序列的序列头中包含一些用于解码该图像序列相关的信息。例如,图像序列的序列头可以是附加在上述图像序列在码流中对应的数据序列前面的、定义位长度的特殊保留字段。在本示例中,图像序列的序列头中还包括串长度分辨率。可选地,当前串所属图像序列中包含的各个串的串长度分辨率相同,均为从该图像序列的序列头中解码得到的串长度分辨率。在一个示例中,解码端在图像***的序列头中解码一个指示信息(如索引、语法元素或者其他指示信息),该指示信息指示了该图像序列中所有串的串长度分辨率。
方式三:从当前串所属图像的图像头中,解码得到当前串的串长度分辨率。上述图像是指视频中的单个图像帧。在一些标准中,一幅图像可以是一帧或者一场。可选地,上述图像是编码图像,上述编码图像是一幅图像的编码表示。上述图像的图像头中包含一些用于解码该图像相关的信息。例如,图像的图像头是附加在上述图像在码流中对应的数据序列前面的、定义位长度的特殊保留字段。在本示例中,图像的图像头中还包括串长度分辨率。可选地,当前串所属图像中包含的各个串的串长度分辨率相同,均为从该图像的图像头中解码得到的串长度分辨率。在一个示例中,解码端在图像的图像头中解码一个指示信息(如索引、语法元素或者其他指示信息),该指示信息指示了该图像中所有串的串长度分辨率。
方式四:从当前串所属片的片头中,解码得到当前串的串长度分辨率。上述片(patch)是指按光栅扫描顺序排列的相邻若干最大编码单元。上述光栅扫描(raster scan)是指将二维矩形光栅映射到一维光栅,一维光栅的入口从二维光栅的第一行开始,然后扫描第二行、第三行,依次类推。光栅中的行从左到右扫描。上述片的片头中包含一些用于解码该图像相关的信息。例如,片的片头是附加在上述片在码流中对应的数据序列前面的、定义位长度的特殊保留字段。在本示例中,片的片头还包括串长度分辨率。可选地,当前串所属片中包含的各个串的串长度分辨率相同,均为从该片的片头中解码得到的串长度分辨率。在一个示例中,解码端在片的片头中解码一个指示信息(如索引、语法元素或者其他指示信息),该指示信息指示了该片中所有串的串长度分辨率。
方式五:从当前串所属最大编码单元LCU的编码信息中,解码得到当前串的串长度分辨率。在一些标准中,LCU包括一个L*L的亮度样值块和对应的色度样值块,由图像划分得到。上述LCU的编码信息中包含一些用于解码该LCU相关的信息。例如,上述LCU的编码信息是附加在上述LCU在码流中对应的数据序列前面的、定义位长度的特殊保留字段。一个LCU可以包括多个CU。在本示例中,上述LCU的编码信息还包括串长度分辨率。可选地,当前串所属LCU中包含的各个串的串长度分辨率相同,均为从LCU的编码信息中解码得到的串长度分辨率。在一个示例中,解码端在LCU的编码信息中解码一个指示信息(如索引、语法元素或者其他指示信息),该指示信息指示了该LCU中所有串的串长度分辨率。。
方式六:从当前串所属编码单元CU的编码信息中,解码得到当前串的串长度分辨率。上述CU的编码信息中包含一些用于解码该CU相关的信息。例如,上述CU的编码信息是附加在上述CU在码流中对应的数据序列前面的、定义位长度的特殊保留字段。在本示例中,上述CU的编码信息还包括串长度分辨率。可选地,当前串所属CU中包含的各个串的串长度分辨率相同,均为从CU的编码信息中解码得到的串长度分辨率。在一个示例中,解码端在CU的编码信息中解码一个指示信息(如索引、语法元素或者其他指示信息),该指示信息指示了该CU中所有串的串长度分辨率。
方式七:从当前串的编码信息中,解码得到当前串的串长度分辨率。上述当前串的编码信息中包含一些用于解码当前串相关的信息。例如,当前串的编码信息是附加在当前串在码流中对应的数据序列前面的、定义位长度的特殊保留字段。在本示例中,当前串的编码信息还包括当前串的串长度分辨率。在一个示例中,解码端在当前串的编码信息中解码一个指示信息(如索引、语法元素或者其他指示信息),该指示信息指示了当前串的串长度分辨率。这样,不同串的串长度分辨率可以在各自的编码信息中分别进行指示,较为灵活。
方式八:根据当前串所属解码块的尺寸,确定当前串的串长度分辨率。在一些标准中,上述解码块(block)是一个M*N(M列N行)的样值矩阵或者变换系数矩阵。可选地,当前串所属解码块可以是当前串所属CU。可选地,获取当前串所属解码块的尺寸,其中当前串所属解码块的尺寸包括当前串所属解码块的高度或者宽度。在一个示例中,对于大小为4x4的块,串长度分辨率N=1;对于大小为16x16的块,串长度分辨率N=2;对于面积(宽x高)大于128的块,串长度分辨率N=2。
方式九:根据当前串对应的颜色分量和色度格式,确定当前串的串长度分辨率。上述色度格式是指像素采用的颜色编码格式。在一些标准中,色度格式(chroma_format)是2位无符号整数,规定色度分量的格式。上述颜色分量是指在色度格式下像素的色度分量。可选地,当前视频中像素采用RGB格式或者YUV格式。在一个示例中,在YUV4:2:0格式的视频中,若已确定亮度分量的串长度分辨率N=4,则色度分量的串长度分辨率N=2。
方式十:若当前串所属CU中已解码串的数量大于或等于第一阈值,则将第二预设值确定为当前串的串长度分辨率。上述第一阈值是预设值,是本方式中用于确定当前串的串长度分辨率的依据。可选地,上述第一阈值可根据CU的规格来确定,不同规格的CU对应的第一阈值可以相同,也可以不同。上述第二预设值是指预先设置好的串长度分辨率的数值,适用于当前串所属CU中已解码串的数量大于或等于第一阈值的情况,该第二预设值可以在协议中预先规定。在一个示例中,假设当前CU中已解码串的数量为N1,如果N1大于或等于第一阈值,则可确定当前串的串长度分辨率为第二预设值4。另外,若当前串所属CU中已解码串的数量小于第一阈值,则可以采用本申请实施例介绍的其他方式确定当前串的串长度分辨率,或者也可以将不同于第二预设值的另一预设值确定为当前串的串长度分辨率,本申请实施例对此不做限定。
方式十一:若当前串所属CU中已解码未匹配像素的数量大于或等于第二阈值,则将第三预设值确定为当前串的串长度分辨率。上述未匹配像素是指未匹配成功的像素,即与当前串的参考串中相应位置上的像素不匹配的像素。上述第二阈值是预设值,是本方式中用于判断当前串的串长度分辨率的依据。可选地,上述第二阈值可根据当前串所属CU中已解码未匹配像素的数量来确定,不同CU中数量的CU对应的第二阈值可以相同,也可以不同。上述第三预设值是指预先设置好的串长度分辨率的数值,适用于当前串所属CU中已解码未匹配像素的数量大于或等于第二阈值的情况,该第三预设值可以在协议中预先规定。在一个示例中,假设当前CU中已解码未匹配像素的数量为N2,如果N2大于或等于第二阈值,则可判断当前串的串长度分辨率为第三预设值。另外,若当前串所属CU中已解码未匹配像素的数量小于第二阈值,则可以采用本申请实施例介绍的其他方式确定当前串的串长度分辨率,或者也可以将不同于第三预设值的另一预设值确定为当前串的串长度分辨率,本申请实施例对此不做限定。
方式十二:若当前串所属CU中未解码像素的数量小于或等于第三阈值,则将第四预设值确定为当前串的串长度分辨率。上述第三阈值是预设值,是本方式中用于判断当前串的串长度分辨率的依据。可选地,上述第三阈值可根据当前串所属CU中已解码未匹配像素的数量来确定,不同CU中数量的CU对应的第三阈值可以相同,也可以不同。上述第四预设值是指预先设置好的串长度分辨率的数值,适用于当前串所属CU中未解码像素的数量小于或等于第三阈值的情况,该第四预设值可以在协议中预先规定。另外,若当前串所属CU中未解码像素的数量大于第三阈值,则可以采用本申请实施例介绍的其他方式确定当前串的串长度分辨率,或者也可以将不同于第四预设值的另一预设值确定为当前串的串长度分辨率,本申请实施例对此不做限定。
步骤803,根据串长度信息和串长度分辨率,确定当前串的串长度。
当前串的串长度是指当前串中所包含的像素的数量。
在示例性实施例中,串长度信息包括当前串的串长度编码。解码端将当前串的串长度编码与串长度分辨率相乘,得到当前串的串长度。在一个示例中,从码流中解码得到当前串的串长度编码L0,解码端将当前串的串长度编码L0与串长度分辨率N相乘,得到当前串的串长度L,即L=L0*N。
可选地,解码端从码流中获取当前串的串长度编码。上述串长度编码是在码流中表示串长度的数据。
在一个示例中,串长度分辨率是4,串长度则是4的整数倍,编码端对串长度右移两位后进行编码,生成串长度编码,解码端对从码流中获取的串长度编码左移两位以恢复实际的串长度数值。比如,当前串的串长度是最小串长度4(即为二进制数100),编码端对串长度100(二进制数)右移两位后进行编码,生成当前串的串长度编码1(二进制数),解码端对从码流中获取的串长度编码1左移两位以恢复未编码的串长度数值100(即为4)。再比如,当前串的串长度是8(即为二进制数1000),编码端对串长度1000(二进制数)右移两位后进行编码,生成当前串的串长度编码10(二进制数),解码端对从码流中获取的串长度编码10左移两位以恢复未编码的串长度数值1000(即为8)。
在示例性实施例中,串长度信息包括当前串所属解码块中,在解码当前串后的剩余像素数量编码。
当前串所属解码块中,在解码当前串后的剩余像素数量编码是指解码当前串后,当前串所属解码块中剩余的未解码像素的数量在码流中的编码表示。可选地,上述剩余像素数量编码存储在码流中的数据序列的序列头中,上述数据序列可以是上述图像在码流中对应的数据序列,也可以是当前串在码流中对应的数据序列,还可以是上述编码块在码流中对应的数据序列等等,本申请实施例对此不作限定。在一个示例中,当前串所属解码块中各个串的串长度分辨率为4,解码端在解码当前串后,假设当前串所属解码块中剩余的未解码像素的数量为4,即二进制数100,则其对应的编码表示(即剩余像素数量编码)为1。可选地,将上述剩余像素数量编码记为M0
可选地,上述步骤803可以包括如下几个子步骤(8031~8034):
步骤8031,获取当前串所属解码块的总像素数量。
可选地,解码块的总像素数量通过解码块的高度和宽度相乘得到。可选地,当前串所属解码块的总像素数量记为M。
步骤8032,获取当前串所属解码块的已解码像素数量。
可选地,上述已解码像素数量可以通过解码端对已解码的像素串的长度进行累加得到。可选地,当前串所属解码块的已解码像素数量记为M2
步骤8033,将剩余像素数量编码与串长度分辨率相乘,得到当前串所属解码块中,在解码当前串后的剩余像素数量。
可选地,将剩余像素数量编码M0与串长度分辨率N相乘,得到当前串所属解码块中,在解码当前串后的剩余像素数量M1,即M1=M0*N。
步骤8034,基于总像素数量、已解码像素数量以及解码当前串后的剩余像素数量,确定当前串的串长度。
可选地,从上述总像素数量中减去已解码像素数量和剩余像素数量,得到当前串的串长度L,即L=M-M1-M2
在示例性实施例中,串长度信息包括第一标志,该第一标志用于指示当前串是否为当前串所属解码块中的最后一个串。
可选地,第一标志是二值变量,用一位二进制数表示。可选地,若第一标志为0,则当前串为当前串所属解码块中的最后一个串;若第一标志为1,则当前串不是当前串所属解码块中的最后一个串。
可选地,上述步骤803可以包括如下几个子步骤(803a~803d):
步骤803a,获取当前串所属解码块的总像素数量。
步骤803b,获取当前串所属解码块的已解码像素数量。
步骤803c,若当前串是最后一个串,则将总像素数量与已解码像素数量相减,得到当前串的串长度。
可选地,将总像素数量M与已解码像素数量M2相减,得到当前串的串长度L,即L=M-M2
步骤803d,若当前串不是最后一个串,则获取当前串所属解码块中,在解码当前串后的剩余像素数量编码;将剩余像素数量编码与串长度分辨率相乘,得到当前串所属解码块中,在解码当前串后的剩余像素数量;基于总像素数量、已解码像素数量以及解码当前串后的剩余像素数量,确定当前串的串长度。
其中,串长度信息还包括当前串所属解码块中,在解码当前串后的剩余像素数量编码;或者,串长度信息还包括当前串所属解码块中,在解码当前串后的剩余像素数量编码减1。
可选地,将上述剩余像素数量编码减1后的编码记为M0。可选地,将剩余像素数量编码减1后的编码M0加1之后与串长度分辨率相乘,得到当前串所属解码块中,在解码当前串后的剩余像素数量M1,即M1=(M0+1)*N。可选地,从上述总像素数量减去上述已解码像素数量以及上述剩余像素数量,得到当前串的串长度L,即L=M-M1-M2
综上所述,本申请实施例提供的技术方案,首先从码流中的串长度信息中解码预设的串长度分辨率,再根据串长度信息以及串长度分辨率确定当前串的串长度,通过将串长度分辨率作为像素串的划分与解码依据,可限制编码块内像素串的长度为串长度分辨率的倍数,提升了像素串的整齐度,使得解码端能够在内存对齐的条件下解码,提升了像素串的解码效率。
另外,通过进一步设置串长度分辨率限制范围,进一步提升了像素串的解码效率;并根据串长度分辨率解码预先编码好的与串长度相关的编码数据,有效降低了解码数据量,提升解码效率。
请参考图9,其示出了本申请另一个实施例提供的视频解码方法的流程图。该方法可应用于解码端设备中。该方法可以包括如下几个步骤(901~905):
步骤901,确定允许的串长度分辨率集合。
串长度分辨率集合是指串长度分辨率所构成的集合。可选地,允许的串长度分辨率集合是指允许的串长度分辨率所构成的集合,用于指示编/解码端允许使用的串长度分辨率的范围,在允许的串长度分辨率集合外的串长度分辨率均不能使用。可选地,允许的串长度分辨率集合中包括一个或者多个串长度分辨率。
可选地,允许的串长度分辨率集合中包括至少一组索引值和串长度分辨率之间的对应关系。可选地,与某个串长度分辨率对应的索引值,是指该串长度分辨率的唯一标识符,不同的串长度分辨率具有不同的索引值。可选地,串长度分辨率集合中的索引值和串长度分辨率之间是一一对应关系。
可选地,上述串长度分辨率集合中包括的串长度分辨率包括以下至少一种:一个或多个预设值、当前CU的宽度、当前CU的高度。
可选地,串长度分辨率为一个或多个预设值。可选地,上述预设值包括以下至少一项:1、任意常数;2、当前CU的宽度与当前CU的高度之积的一半。可选地,上述任意常数是1、2、4……等正整数,可简化用2k表示,其中k为大于等于0的整数。可选地,假设当前CU的宽度为W、高度为H,则串长度分辨率包括1、2、4、…、W*H/2。
可选地,串长度分辨率为当前CU的宽度。可选地,在按照水平方向扫描当前CU的情况下,串长度分辨率集合中包括的一项串长度分辨率为当前CU的宽度。
可选地,串长度分辨率为当前CU的高度。可选地,在按照竖直方向扫描当前CU的情况下,串长度分辨率集合中包括的一项串长度分辨率为当前CU的高度。
步骤902,解码得到第一索引值。
可选地,解码当前串在码流中对应的数据序列的序列头(如上文介绍的序列头、图像头、片头等),得到第一索引值。上述第一索引值是当前串的串长度分辨率对应的索引值。
步骤903,将第一索引值在串长度分辨率集合中对应的串长度分辨率,确定为当前串的串长度分辨率。
可选地,基于索引值与串长度分辨率的对应关系,确定上述第一索引值在串长度分辨率集合中对应的串长度分辨率,作为当前串的串长度分辨率。
步骤904,从码流中解码得到当前串的串长度信息。
步骤905,根据串长度信息和串长度分辨率,确定当前串的串长度。
有关步骤905的介绍说明,可参见上文图8实施例中针对步骤803的介绍说明,本实施例对此不再赘述。
综上所述,本申请实施例提供的技术方案,通过对串长度分辨率合理取值进而确定允许的串长度分辨率集合,再根据从码流中获取的索引值选择相应的串长度分辨率,对像素串进行译码,进一步降低了解码数据量,并且还降低了解码过程中设备访问内存次数,提升解码效率。
请参考图10,其示出了本申请另一个实施例提供的视频解码方法的流程图。该方法可应用于解码端设备中。该方法可以包括如下几个步骤(1001~1006):
步骤1001,从码流中解码得到当前串的串长度信息。
步骤1002,确定当前串的串长度分辨率。
步骤1003,解码当前串对应的第二标志,该第二标志用于指示当前串是否包含未匹配像素。
上述第二标志是二值变量,用一位二进制数表示。可选地,若第二标志为0,则当前串不包含未匹配像素;若第二标志为1,则当前串包含未匹配像素。
步骤1004,若当前串包含未匹配像素,则确定当前串的串长度为N,N为当前串的串长度分辨率。
可选地,在执行上述步骤1004之后,还包括步骤1006,导出当前串中未匹配像素的位置。
步骤1005,若当前串不包含未匹配像素,则根据当前串的串长度信息和串长度分辨率,确定当前串的串长度。
在示例性实施例中,在当前串包含未匹配像素的情况下,上述步骤1006可通过如下方式实现:
方式a:解码当前串中包含的各个像素分别对应的第三标志。
上述第三标志用于指示像素是否为未匹配像素。上述第三标志是二值变量,用一位二进制数表示。可选地,若第三标志为0,则可说明该像素不是未匹配像素;若第三标志为1,则可说明该像素是未匹配像素。可选地,从码流中解码得到当前串中包含的各个像素分别对应的第三标志。可选地,在当前串的串长度为N的情况下,若当前串中前N-1个像素对应的第三标志均指示对应像素是匹配像素,则确定最后一个像素为未匹配像素,即第N个像素为未匹配像素,在此种情况下,第N个像素对应的第三标志可以编码也可以不编码。
方式b:解码得到当前串中包含的未匹配像素的数量以及与当前串对应的第四标志;根据第四标志确定当前串中包含的各个未匹配像素的位置。
可选地,从串长度信息中解码得到当前串中包含的未匹配像素的数量编码,根据当前串中包含的未匹配像素的数量编码,确定当前串中包含的未匹配像素的数量。可选地,上述当前串中包含的未匹配像素的数量编码存储在当在码流中的数据序列的序列头中,上述数据序列可以是上述图像在码流中对应的数据序列,也可以是当前串在码流中对应的数据序列,还可以是上述编码块在码流中对应的数据序列等等,本申请实施例对此不作限定。
可选地,若解码得到当前串中包含的未匹配像素的数量为N,则确定当前串中所有像素均为未匹配像素,其中,N是串长度分辨率。此时,无需解码当前串中包含的各个未匹配像素的位置。
第四标志用于指示未匹配像素在当前串中的位置。第四标志的数量可以是一个,也可以是多个。
在一个示例中,当前串对应的第四标志的数量与当前串中的未匹配像素的数量相同。对于当前串中的某一个未匹配像素来说,其对应的第四标志用于指示该未匹配像素在当前串中的位置。
在一个示例中,各个未匹配像素对应的第四标志的位数相同。可选地,第四标志所需的位数可以根据当前串的串长度决定。例如,当前串的串长度为4,那么第四标志可以是一个2位的二进制数。例如,00代表当前串的第1个位置,01代表当前串的第2个位置,10代表当前串的第3个位置,11代表当前串的第4个位置。假设当前串中未匹配像素的数量为2,分别在当前串的第1个位置和第3个位置。那么,第一个未匹配像素对应的第四标志可以是00(代表在当前串的第1个位置),第二个未匹配像素对应的第四标志可以是10(代表在当前串的第3个位置)。
在另一个示例中,各个未匹配像素对应的第四标志的位数也可以不同。可选地,在确定出当前串中包含的各个未匹配像素的数量之后,逐个未匹配像素依次去确定在当前串中的位置。仍然假设当前串的串长度为4,当前串中未匹配像素的数量为2。首先使用一个2位二进制数确认第一个未匹配像素的位置(如第一个未匹配像素对应的第四标志为01,代表该第一个未匹配像素在当前串的第2个位置),然后再根据剩余的未匹配像素数量(即此时当前串中还未分配第四标志的未匹配像素的数量),确认下一个未匹配像素对应的第四标志所需的二进制数的位数。例如,第一个未匹配像素在该串的第2个位置,则只需要使用1位二进制数确认第二个未匹配像素在该串的剩余像素中的位置,例如该第二个未匹配像素对应的第四标志为0表示该第二个未匹配像素在当前串的第3个位置,或者该第二个未匹配像素对应的第四标志为1表示该第二个未匹配像素在当前串的第4个位置。
方式c:确定当前串中包含的各个像素均为未匹配像素。
可选地,若当前串的串长度为最小串长度,确定当前串中包含的各个像素均为未匹配像素。
综上所述,本申请实施例提供的技术方案,通过判断像素串中是否包含未匹配像素,并在包含未匹配像素的情况下,提供了确定未匹配像素在串中位置的方案,保证了准确确定每一个像素的类型,进而进行准确解码。
请参考图11,其示出了本申请一个实施例提供的视频解码方法的流程图。该方法可应用于解码端设备中。该方法可以包括如下几个步骤(1101~1106):
步骤1101,从码流中解码得到当前串的串长度信息。
步骤1102,确定当前串的串长度分辨率。
步骤1103,根据串长度信息和串长度分辨率,确定当前串的串长度。
步骤1104,若当前串的串长度大于N,则确定当前串不包含未匹配像素。
可选地,N为当前串的串长度分辨率,N也是在串长度分辨率为N的情况下的最小串长度。
步骤1105,若当前串的串长度等于N,则解码当前串对应的第二标志。
可选地,上述第二标志用于指示当前串是否包含未匹配像素。可选地,若当前串的串长度等于最小串长度,则解码当前串对应的第二标志。可选地,上述解码当前串对应的第二标志可根据上述实施例提供的方法进行解码。
在示例性实施例中,在上述步骤1105之后,还包括步骤1106,若当前串包含未匹配像素,则导出当前串中未匹配像素的位置。
可选地,上述导出当前串中未匹配像素的位置可参考上一实施例中介绍的导出当前串中未匹配像素的位置的方法,本实施例对此不再赘述。
综上所述,本申请实施例提供的技术方案,以串长度分辨率作为依据,通过像素串的串长度判断像素串中是否包含未匹配像素,进而确定未匹配像素位置,便于对像素串进行解码,节省未匹配像素标志(即第二标志)所占数据空间,提升了解码效率。
在示例性实施例中,上述视频解码方法还包括如下步骤,以确定当前串中各个像素的像素值。
对ISC块不进行残差编码的方案而言,预测值即为重建值。
若当前串不包含未匹配像素,则解码得到当前串的串矢量;基于当前串的串矢量,确定当前串的参考串;将当前串的参考串的像素值,确定为当前串的预测值。
若当前串包含未匹配像素,则解码得到当前串的串矢量;基于当前串的串矢量,确定当前串的参考串;对于当前串中的未匹配像素,从码流中解码得到未匹配像素的像素值;对于当前串中的匹配像素,将参考串中与匹配像素对应的像素值,确定为匹配像素的预测值。
上述串矢量是在ISC预测模式下,用于确定当前串的参考串的位移矢量。可选地,当前串有多个候选的串矢量。可选地,当前串的多个候选的串矢量可构成当前串的候选串矢量集合(列表)。当前串的候选串矢量集合包括至少一组索引值和串矢量之间的对应关系。
示例性地,假设当前串的串长度为4,则该当前串的参考串的串长度也为4。假设当前串的参考串中4个像素的像素值分别为A、B、C和D。若当前串不包含未匹配像素,那么当前串中的4个像素的预测值分别为A、B、C和D,该预测值即为重建值。若当前串包含未匹配像素,假设未匹配像素为第2个像素,那么解码端从码流中解码得到该未匹配像素的像素值E,并结合参考串即可得到当前串中的4个像素的重建值分别为A、E、C和D。
对ISC块进行残差编码的方案而言,重建值基于预测值和预测残差计算得到。例如,将预测值和预测残差相加,得到重建值。
若当前串不包含未匹配像素,则解码得到当前串的串矢量;基于当前串的串矢量,确定当前串的参考串;将当前串的参考串的像素值,确定为当前串的预测值;根据当前串的预测值以及相应的预测残差,得到当前串的重建值。
若当前串包含未匹配像素,则解码得到当前串的串矢量;基于当前串的串矢量,确定当前串的参考串;对于当前串中的未匹配像素,从码流中解码得到未匹配像素的预测残差,根据预测残差以及参考串中与未匹配像素对应的像素值,得到未匹配像素的重建值;对于当前串中的匹配像素,将参考串中与匹配像素对应的像素值,确定为匹配像素的预测值,根据匹配像素的预测值以及相应的预测残差,得到匹配像素的重建值。
综上所述,本申请实施例提供的技术方案,针对ISC块不进行残差编码的方案,以及ISC块进行残差编码的方案,分别提供了确定当前串的重建值的方案,实现ISC模式下的有效解码。
请参考图12,其示出了本申请一个实施例提供的视频编码方法的流程图。该方法可应用于编码端设备中。该方法可以包括如下几个步骤(1210~1230):
步骤1210,确定当前串的串长度分辨率。
在示例性实施例中,示例性提供了以下几种确定当前串的串长度分辨率的方式。
方式一:当前串的串长度分辨率为第一预设值;
方式二:当前串所属图像序列中包含的各个串的串长度分辨率相同,当前串的串长度分辨率编码后添加在当前串所属图像序列的序列头中;
方式三:当前串所属图像中包含的各个串的串长度分辨率相同,当前串的串长度分辨率编码后添加在当前串所属图像的图像头中;
方式四:当前串所属片中包含的各个串的串长度分辨率相同,当前串的串长度分辨率编码后添加在当前串所属片的片头中;
方式五:当前串所属LCU中包含的各个串的串长度分辨率相同,当前串的串长度分辨率编码后添加在当前串所属LCU的编码信息中;
方式六:当前串所属编码单元CU中包含的各个串的串长度分辨率相同,当前串的串长度分辨率编码后添加在当前串所属CU的编码信息中;
方式七:当前串的串长度分辨率编码后添加在当前串的编码信息中;
方式八:当前串的串长度分辨率根据当前串所属解码块的尺寸确定;
方式九:当前串的串长度分辨率根据当前串对应的颜色分量和色度格式确定;
方式十:若当前串所属CU中已解码串的数量大于或等于第一阈值,则当前串的串长度分辨率为第二预设值;
方式十一:若当前串所属CU中已解码未匹配像素的数量大于或等于第二阈值,则当前串的串长度分辨率为第三预设值;
方式十二:若当前串所属CU中未解码像素的数量小于或等于第三阈值,则当前串的串长度分辨率为第四预设值。
步骤1220,基于当前串的串长度以及串长度分辨率,确定当前串的串长度信息。
串长度信息包括与当前串的串长度相关的信息。
在示例性实施例中,串长度信息包括当前串的串长度编码;解码端将当前串的串长度与串长度分辨率相除,得到当前串的串长度编码。
步骤1230,对串长度信息进行编码。
在示例性实施例中,串长度信息包括当前串所属编码块中,在编码当前串后的剩余像素数量编码。
可选地,上述步骤1220可以包括如下几个子步骤(1~4):
步骤1,获取当前串所属编码块的总像素数量;
步骤2,获取当前串所属编码块的已编码像素数量;
步骤3,基于总像素数量、已解码像素数量以及当前串的串长度,确定当前串所属编码块中,在编码当前串后的剩余像素数量;
步骤4,将编码当前串后的剩余像素数量与串长度分辨率相除,得到剩余像素数量编码。
在示例性实施例中,串长度信息包括第一标志,第一标志用于指示当前串是否为当前串所属编码块中的最后一个串。
可选地,上述步骤1220可以包括如下几个子步骤(5~6):
步骤5,若当前串是最后一个串,则确定当前串对应的第一标志为第一数值,第一数值用于指示当前串是当前串所属编码块中的最后一个串;编码当前串对应的第一标志;
步骤6,若当前串不是最后一个串,则基于当前串所属编码块的总像素数量、已编码像素数量以及所当前串的串长度,确定当前串所属编码块的剩余像素数量;将剩余像素数量与串长度分辨率相除,得到当前串所属编码块中,在编码当前串后的剩余像素数量编码;确定当前串对应的第一标志为第二数值,第二数值用于指示当前串不是当前串所属编码块中的最后一个串;编码当前串对应的第一标志;
其中,串长度信息还包括当前串所属编码块中,在编码当前串后的剩余像素数量编码;或者,串长度信息还包括当前串所属编码块中,在编码当前串后的剩余像素数量编码减1。
在示例性实施例中,上述视频编码方法还包括:确定允许的串长度分辨率集合,串长度分辨率集合中包括至少一组索引值和串长度分辨率之间的对应关系;编码第一索引值,第一索引值是当前串的串长度分辨率对应的索引值。
在示例性实施例中,串长度分辨率集合中包括的串长度分辨率包括以下至少一种:一个或多个预设值;当前CU的宽度;当前CU的高度。
在示例性实施例中,在按照水平方向扫描当前CU的情况下,串长度分辨率集合中包括当前CU的宽度;在按照竖直方向扫描当前CU的情况下,串长度分辨率集合中包括当前CU的高度。
在示例性实施例中,上述视频编码方法还包括:编码当前串对应的第二标志,第二标志用于指示当前串是否包含未匹配像素;其中,若当前串包含未匹配像素,则当前串的串长度为N,N为当前串的串长度分辨率。
在示例性实施例中,若所述当前串的串长度大于N,则所述当前串不包含未匹配像素,且无需为所述当前串编码对应的第二标志;若所述当前串的串长度等于N,则编码所述当前串对应的第二标志;其中,所述第二标志用于指示所述当前串是否包含未匹配像素,所述N为所述当前串的串长度分辨率。
在示例性实施例中,在当前串包含未匹配像素的情况下,上述视频编码方法还包括:编码所述当前串中包含的各个像素分别对应的第三标志,所述第三标志用于指示所述像素是否为未匹配像素;或者,编码所述当前串中包含的未匹配像素的数量,所述数量用于确定所述当前串中包含的各个未匹配像素的位置;或者,确定所述当前串中包含的各个像素均为未匹配像素。
在示例性实施例中,上述视频编码方法还包括如下步骤,以对当前串中各个像素的像素值进行编码。
步骤1,确定当前串的参考串。
步骤2,基于当前串的参考串,确定当前串的串矢量。
步骤3,编码当前串的串矢量。
对ISC块不进行残差编码的方案而言,预测值即为重建值。对于当前串中的未匹配像素,对未匹配像素的像素值进行编码后加入码流中。未匹配像素的像素值可从码流中直接解码恢复。对于当前串中的匹配像素,不进行编码。当前串中的匹配像素的像素值可由参考串中与匹配像素对应的参考像素确定。
对ISC块进行残差编码的方案而言,重建值基于预测值和预测残差计算得到。例如,将预测值和预测残差相加,得到重建值。对于当前串中的未匹配像素获取未匹配像素的预测残差;对未匹配像素的预测残差进行编码后加入码流中。未匹配像素的像素值可从码流中获取预测残差,将预测残差和参考串中与未匹配像素对应的像素值相加,得到未匹配像素的重建值。对于当前串中的匹配像素,不进行编码。
对于上述视频编码方法实施例中未详细说明的内容,请参见本申请视频解码实施例。
综上所述,本申请实施例提供的技术方案,通过设置串长度分辨率,将编码块划分为长度整齐的像素串,再将串长度以及串长度分辨率编码至串长度信息中,提升了像素串的整齐度,同时也提升了像素串的编码效率。
下述为本申请装置实施例,可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节,请参照本申请方法实施例。
请参考图13,其示出了本申请一个实施例提供的视频解码装置的框图。该装置具有实现上述视频解码方法示例的功能,所述功能可以由硬件实现,也可以由硬件执行相应的软件实现。该装置可以是上文介绍的计算机设备,也可以设置在计算机设备上。该装置1300可以包括:串信息解码模块1310、分辨率确定模块1320以及串长度确定模块1330。
串信息解码模块1310,用于从码流中解码得到当前串的串长度信息,所述串长度信息包括与所述当前串的串长度相关的信息。
分辨率确定模块1320,用于确定所述当前串的串长度分辨率。
串长度确定模块1330,用于根据所述串长度信息和所述串长度分辨率,确定所述当前串的串长度。
在示例性实施例中,所述分辨率确定模块1320,用于:
将第一预设值确定为所述当前串的串长度分辨率;
或者,从所述当前串所属图像序列的序列头中,解码得到所述当前串的串长度分辨率,其中,所述当前串所属图像序列中包含的各个串的串长度分辨率相同;
或者,从所述当前串所属图像的图像头中,解码得到所述当前串的串长度分辨率,其中,所述当前串所属图像中包含的各个串的串长度分辨率相同;
或者,从所述当前串所属片的片头中,解码得到所述当前串的串长度分辨率,其中,所述当前串所属片中包含的各个串的串长度分辨率相同;
或者,从所述当前串所属最大编码单元LCU的编码信息中,解码得到所述当前串的串长度分辨率,其中,所述当前串所属LCU中包含的各个串的串长度分辨率相同;
或者,从所述当前串所属编码单元CU的编码信息中,解码得到所述当前串的串长度分辨率,其中,所述当前串所属编码单元CU中包含的各个串的串长度分辨率相同;
或者,从所述当前串的编码信息中,解码得到所述当前串的串长度分辨率;
或者,根据所述当前串所属解码块的尺寸,确定所述当前串的串长度分辨率;
或者,根据所述当前串对应的颜色分量和色度格式,确定所述当前串的串长度分辨率;
或者,若所述当前串所属CU中已解码串的数量大于或等于第一阈值,则将第二预设值确定为所述当前串的串长度分辨率;
或者,若所述当前串所属CU中已解码未匹配像素的数量大于或等于第二阈值,则将第三预设值确定为所述当前串的串长度分辨率;
或者,若所述当前串所属CU中未解码像素的数量小于或等于第三阈值,则将第四预设值确定为所述当前串的串长度分辨率。
在示例性实施例中,所述串长度信息包括所述当前串的串长度编码。所述串长度确定模块1330,用于将所述当前串的串长度编码与所述串长度分辨率相乘,得到所述当前串的串长度。
在示例性实施例中,所述串长度信息包括所述当前串所属解码块中,在解码所述当前串后的剩余像素数量编码。所述串长度确定模块1330,用于:获取所述当前串所属解码块的总像素数量;获取所述当前串所属解码块的已解码像素数量;将所述剩余像素数量编码与所述串长度分辨率相乘,得到所述当前串所属解码块中,在解码所述当前串后的剩余像素数量;基于所述总像素数量、所述已解码像素数量以及解码所述当前串后的所述剩余像素数量,确定所述当前串的串长度。
在示例性实施例中,所述串长度信息包括第一标志,所述第一标志用于指示所述当前串是否为所述当前串所属解码块中的最后一个串。所述串长度确定模块1330,用于:获取所述当前串所属解码块的总像素数量;获取所述当前串所属解码块的已解码像素数量;若所述当前串是所述最后一个串,则将所述总像素数量与所述已解码像素数量相减,得到所述当前串的串长度;若所述当前串不是所述最后一个串,则获取所述当前串所属解码块中,在解码所述当前串后的剩余像素数量编码;将所述剩余像素数量编码与所述串长度分辨率相乘,得到所述当前串所属解码块中,在解码所述当前串后的剩余像素数量;基于所述总像素数量、所述已解码像素数量以及解码所述当前串后的所述剩余像素数量,确定所述当前串的串长度;其中,所述串长度信息还包括所述当前串所属解码块中,在解码所述当前串后的剩余像素数量编码;或者,所述串长度信息还包括所述当前串所属解码块中,在解码所述当前串后的剩余像素数量编码减1。
在示例性实施例中,所述装置1300还包括:分辨率集合确定模块1340,用于确定允许的串长度分辨率集合,所述串长度分辨率集合中包括至少一组索引值和串长度分辨率之间的对应关系。
所述分辨率确定模块1320,用于:解码得到第一索引值,所述第一索引值是所述当前串的串长度分辨率对应的索引值;将所述第一索引值在所述串长度分辨率集合中对应的串长度分辨率,确定为所述当前串的串长度分辨率。
在示例性实施例中,所述串长度分辨率集合中包括的串长度分辨率包括以下至少一种:一个或多个预设值;当前CU的宽度;当前CU的高度。
在示例性实施例中,在按照水平方向扫描当前CU的情况下,所述串长度分辨率集合中包括所述当前CU的宽度;在按照竖直方向扫描当前CU的情况下,所述串长度分辨率集合中包括所述当前CU的高度。
在示例性实施例中,所述装置1300还包括:标志解码模块1350,用于解码所述当前串对应的第二标志,所述第二标志用于指示所述当前串是否包含未匹配像素。
所述串长度确定模块1330,还用于若所述当前串包含所述未匹配像素,则确定所述当前串的串长度为N,所述N为所述当前串的串长度分辨率;若所述当前串不包含所述未匹配像素,则执行所述根据所述串长度信息和所述串长度分辨率,确定所述当前串的串长度的步骤。
在示例性实施例中,所述装置1300还包括:像素确定模块1360,用于若所述当前串的串长度大于N,则确定所述当前串不包含未匹配像素;若所述当前串的串长度等于N,则解码所述当前串对应的第二标志,所述第二标志用于指示所述当前串是否包含未匹配像素;其中,所述N为所述当前串的串长度分辨率。
在示例性实施例中,在所述当前串包含未匹配像素的情况下,所述装置1300还包括:位置确定模块1370,用于解码所述当前串中包含的各个像素分别对应的第三标志,所述第三标志用于指示所述像素是否为未匹配像素;或者,解码得到所述当前串中包含的未匹配像素的数量以及与所述当前串对应的第四标志,所述第四标志用于指示所述未匹配像素在所述当前串中的位置;或者,确定所述当前串中包含的各个像素均为未匹配像素。
在示例性实施例中,所述装置1300还包括:串矢量解码模块1380、参考串确定模块1390和预测值确定模块1391。
串矢量解码模块1380,用于若所述当前串不包含未匹配像素,则解码得到所述当前串的串矢量。
参考串确定模块1390,用于基于所述当前串的串矢量,确定所述当前串的参考串。
预测值确定模块1391,用于将所述当前串的参考串的像素值,确定为所述当前串的预测值。
在示例性实施例中,所述装置1300还包括:串矢量解码模块1380、参考串确定模块1390、像素值解码模块1392以及像素值预测模块1393。
串矢量解码模块1380,用于若所述当前串包含未匹配像素,则解码得到所述当前串的串矢量。
参考串确定模块1390,用于基于所述当前串的串矢量,确定所述当前串的参考串。
像素值解码模块1392,用于对于所述当前串中的所述未匹配像素,从码流中解码得到所述未匹配像素的像素值。
像素值预测模块1393,用于对于所述当前串中的匹配像素,将所述参考串中与所述匹配像素对应的像素值,确定为所述匹配像素的预测值。
在示例性实施例中,所述装置1300还包括:串矢量解码模块1380、参考串确定模块1390、像素值预测模块1393和残差值解码模块1394。
串矢量解码模块1380,用于若所述当前串包含未匹配像素,则解码得到所述当前串的串矢量。
参考串确定模块1390,用于基于所述当前串的串矢量,确定所述当前串的参考串。
残差值解码模块1394,用于对于所述当前串中的所述未匹配像素,从码流中解码得到所述未匹配像素的预测残差;根据所述预测残差以及所述参考串中与所述未匹配像素对应的像素值,得到所述未匹配像素的重建值。
像素值预测模块1393,用于对于所述当前串中的匹配像素,将所述参考串中与所述匹配像素对应的像素值,确定为所述匹配像素的预测值。
综上所述,本申请实施例提供的技术方案,首先从码流中的串长度信息中解码预设的串长度分辨率,再根据串长度信息以及串长度分辨率确定当前串的串长度,通过将串长度分辨率作为像素串的划分与解码依据,可限制编码块内像素串的长度为串长度分辨率的倍数,提升了像素串的整齐度,使得解码端能够在内存对齐的条件下解码,提升了像素串的解码效率。
另外,通过进一步设置串长度分辨率限制范围,进一步提升了像素串的解码效率;并根据串长度分辨率解码预先编码好的与串长度相关的编码数据,有效降低了解码数据量,提升解码效率。
请参考图15,其示出了本申请另一个实施例提供的视频编码装置的框图。该装置具有实现上述视频编码方法示例的功能,所述功能可以由硬件实现,也可以由硬件执行相应的软件实现。该装置可以是上文介绍的计算机设备,也可以设置在计算机设备上。该装置1500可以包括:分辨率确定模块1510、串信息确定模块1520以及串信息编码模块1530。
分辨率确定模块1510,用于确定当前串的串长度分辨率。
串信息确定模块1520,用于基于所述当前串的串长度以及所述串长度分辨率,确定所述当前串的串长度信息,所述串长度信息包括与所述当前串的串长度相关的信息。
串信息编码模块1530,用于对所述串长度信息进行编码。
在示例性实施例中,所述当前串的串长度分辨率为第一预设值;
或者,所述当前串所属图像序列中包含的各个串的串长度分辨率相同,所述当前串的串长度分辨率编码后添加在所述当前串所属图像序列的序列头中;
或者,所述当前串所属图像中包含的各个串的串长度分辨率相同,所述当前串的串长度分辨率编码后添加在所述当前串所属图像的图像头中;
或者,所述当前串所属片中包含的各个串的串长度分辨率相同,所述当前串的串长度分辨率编码后添加在所述当前串所属片的片头中;
或者,所述当前串所属LCU中包含的各个串的串长度分辨率相同,所述当前串的串长度分辨率编码后添加在所述当前串所属LCU的编码信息中;
或者,所述当前串所属编码单元CU中包含的各个串的串长度分辨率相同,所述当前串的串长度分辨率编码后添加在所述当前串所属CU的编码信息中;
或者,所述当前串的串长度分辨率编码后添加在所述当前串的编码信息中;
或者,所述当前串的串长度分辨率根据所述当前串所属解码块的尺寸确定;
或者,所述当前串的串长度分辨率根据所述当前串对应的颜色分量和色度格式确定;
或者,若所述当前串所属CU中已解码串的数量大于或等于第一阈值,则所述当前串的串长度分辨率为第二预设值;
或者,若所述当前串所属CU中已解码未匹配像素的数量大于或等于第二阈值,则所述当前串的串长度分辨率为第三预设值;
或者,若所述当前串所属CU中未解码像素的数量小于或等于第三阈值,则所述当前串的串长度分辨率为第四预设值。
在示例性实施例中,所述串长度信息包括所述当前串的串长度编码。所述串信息确定模块1520,用于将所述当前串的串长度与所述串长度分辨率相除,得到所述当前串的串长度编码。
在示例性实施例中,所述串长度信息包括所述当前串所属编码块中,在编码所述当前串后的剩余像素数量编码。所述串信息确定模块1520,用于:获取所述当前串所属编码块的总像素数量;获取所述当前串所属编码块的已编码像素数量;基于所述总像素数量、所述已解码像素数量以及所述当前串的串长度,确定所述当前串所属编码块中,在编码所述当前串后的剩余像素数量;将编码所述当前串后的所述剩余像素数量与所述串长度分辨率相除,得到所述剩余像素数量编码。
在示例性实施例中,所述串长度信息包括第一标志,所述第一标志用于指示所述当前串是否为所述当前串所属编码块中的最后一个串。所述串信息确定模块1520,用于:若所述当前串是所述最后一个串,则确定所述当前串对应的第一标志为第一数值,所述第一数值用于指示所述当前串是所述当前串所属编码块中的最后一个串;编码所述当前串对应的第一标志;若所述当前串不是所述最后一个串,则基于所述当前串所属编码块的总像素数量、已编码像素数量以及所当前串的串长度,确定所述当前串所属编码块的剩余像素数量;将所述剩余像素数量与所述串长度分辨率相除,得到所述当前串所属编码块中,在编码所述当前串后的剩余像素数量编码;确定所述当前串对应的第一标志为第二数值,所述第二数值用于指示所述当前串不是所述当前串所属编码块中的最后一个串;编码所述当前串对应的第一标志;其中,所述串长度信息还包括所述当前串所属编码块中,在编码所述当前串后的剩余像素数量编码;或者,所述串长度信息还包括所述当前串所属编码块中,在编码所述当前串后的剩余像素数量编码减1。
在示例性实施例中,所述装置1500还包括:集合确定模块1540和索引编码模块1550。
集合确定模块1540,用于确定允许的串长度分辨率集合,所述串长度分辨率集合中包括至少一组索引值和串长度分辨率之间的对应关系。
索引编码模块1550,用于编码第一索引值,所述第一索引值是所述当前串的串长度分辨率对应的索引值。
在示例性实施例中,所述串长度分辨率集合中包括的串长度分辨率包括以下至少一种:一个或多个预设值;当前CU的宽度;当前CU的高度。
在示例性实施例中,在按照水平方向扫描当前CU的情况下,所述串长度分辨率集合中包括所述当前CU的宽度;在按照竖直方向扫描当前CU的情况下,所述串长度分辨率集合中包括所述当前CU的高度。
在示例性实施例中,所述装置1500还包括标志编码模块1560,用于编码所述当前串对应的第二标志,所述第二标志用于指示所述当前串是否包含未匹配像素;其中,若所述当前串包含所述未匹配像素,则所述当前串的串长度为N,所述N为所述当前串的串长度分辨率。
在示例性实施例中,所述装置1500还包括标志编码模块1560,用于若所述当前串的串长度大于N,则所述当前串不包含未匹配像素,且无需为所述当前串编码对应的第二标志;若所述当前串的串长度等于N,则编码所述当前串对应的第二标志;其中,所述第二标志用于指示所述当前串是否包含未匹配像素,所述N为所述当前串的串长度分辨率。
在示例性实施例中,所述装置1500还包括标志编码模块1560,用于:
编码所述当前串中包含的各个像素分别对应的第三标志,所述第三标志用于指示所述像素是否为未匹配像素;
或者,编码所述当前串中包含的未匹配像素的数量以及与所述当前串对应的第四标志,所述第四标志用于指示所述未匹配像素在所述当前串中的位置;
或者,确定所述当前串中包含的各个像素均为未匹配像素。
在示例性实施例中,所述装置1500还包括:参考串确定模块1570、串矢量确定模块1580以及串矢量编码模块1590。
参考串确定模块1570,用于若所述当前串不包含未匹配像素,则确定所述当前串的参考串。
串矢量确定模块1580,用于基于所述当前串的参考串,确定所述当前串的串矢量。
串矢量编码模块1590,用于编码所述当前串的串矢量。
在示例性实施例中,所述装置1500还包括:参考串确定模块1570、串矢量确定模块1580、串矢量编码模块1590和像素编码模块1591。
所述参考串确定模块1570,用于若所述当前串包含未匹配像素,则确定所述当前串的参考串。
所述串矢量确定模块1580,用于基于所述当前串的参考串,确定所述当前串的串矢量。
所述串矢量编码模块1590,用于编码所述当前串的串矢量。
所述像素编码模块1591,用于对于所述当前串中的所述未匹配像素,对所述未匹配像素的像素值进行编码后加入码流中;对于所述当前串中的匹配像素,不进行编码。
在示例性实施例中,所述装置1500还包括:参考串确定模块1570、串矢量确定模块1580、串矢量编码模块1590和残差编码模块1592。
所述参考串确定模块1570,用于若所述当前串包含未匹配像素,则确定所述当前串的参考串。
所述串矢量确定模块1580,用于基于所述当前串的参考串,确定所述当前串的串矢量。
所述串矢量编码模块1590,用于编码所述当前串的串矢量。
所述残差编码模块1592,用于对于所述当前串中的所述未匹配像素获取所述未匹配像素的预测残差;对所述未匹配像素的预测残差进行编码后加入码流中;对于所述当前串中的匹配像素,不进行编码。
综上所述,本申请实施例提供的技术方案,通过设置串长度分辨率,将编码块划分为长度整齐的像素串,再将串长度以及串长度分辨率编码至串长度信息中,提升了像素串的整齐度,同时也提升了像素串的编码效率。
需要说明的是,上述实施例提供的装置,在实现其功能时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的装置与方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
请参考图17,其示出了本申请一个实施例提供的计算机设备的结构框图。该计算机设备可以是上文介绍的编码端设备,也可以是上文介绍的解码端设备。该计算机设备170可以包括:处理器171、存储器172、通信接口173、编码器/解码器174和总线175。
处理器171包括一个或者一个以上处理核心,处理器171通过运行软件程序以及模块,从而执行各种功能应用以及信息处理。
存储器172可用于存储计算机程序,处理器171用于执行该计算机程序,以实现上述视频解码方法,或者实现上述视频编码方法。
通信接口173可用于与其它设备进行通信,如收发音视频数据。
编码器/解码器174可用于实现编码和解码功能,如对音视频数据进行编码和解码。
存储器172通过总线175与处理器171相连。
此外,存储器172可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,易失性或非易失性存储设备包括但不限于:磁盘或光盘,EEPROM(ElectricallyErasable Programmable Read-Only Memory,电可擦除可编程只读存储器),EPROM(Erasable Programmable Read-Only Memory,可擦除可编程只读存储器),SRAM(StaticRandom-Access Memory,静态随时存取存储器),ROM(Read-Only Memory,只读存储器),磁存储器,快闪存储器,PROM(Programmable Read-Only Memory,可编程只读存储器)。
本领域技术人员可以理解,图17中示出的结构并不构成对计算机设备170的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
在示例性实施例中,还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或所述指令集在被处理器执行时实现上述视频解码方法。
在示例性实施例中,还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述视频编码方法。
在示例性实施例中,还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述视频解码方法。
在示例性实施例中,还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述视频编码方法。
应当理解的是,在本文中提及的“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
以上所述仅为本申请的示例性实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (19)

1.一种视频解码方法,其特征在于,所述方法包括:
从码流中解码得到当前串的串长度信息,所述串长度信息包括与所述当前串的串长度相关的信息;
确定所述当前串的串长度分辨率;
解码所述当前串对应的第二标志,所述第二标志用于指示所述当前串是否包含未匹配像素;
若所述当前串不包含所述未匹配像素,则根据所述串长度信息和所述串长度分辨率,确定所述当前串的串长度。
2.根据权利要求1所述的方法,其特征在于,所述确定所述当前串的串长度分辨率,包括:
将第一预设值确定为所述当前串的串长度分辨率;
或者,从所述当前串所属图像序列的序列头中,解码得到所述当前串的串长度分辨率,其中,所述当前串所属图像序列中包含的各个串的串长度分辨率相同;
或者,从所述当前串所属图像的图像头中,解码得到所述当前串的串长度分辨率,其中,所述当前串所属图像中包含的各个串的串长度分辨率相同;
或者,从所述当前串所属片的片头中,解码得到所述当前串的串长度分辨率,其中,所述当前串所属片中包含的各个串的串长度分辨率相同;
或者,从所述当前串所属最大编码单元LCU的编码信息中,解码得到所述当前串的串长度分辨率,其中,所述当前串所属LCU中包含的各个串的串长度分辨率相同;
或者,从所述当前串所属编码单元CU的编码信息中,解码得到所述当前串的串长度分辨率,其中,所述当前串所属编码单元CU中包含的各个串的串长度分辨率相同;
或者,从所述当前串的编码信息中,解码得到所述当前串的串长度分辨率;
或者,根据所述当前串所属解码块的尺寸,确定所述当前串的串长度分辨率;
或者,根据所述当前串对应的颜色分量和色度格式,确定所述当前串的串长度分辨率;
或者,若所述当前串所属CU中已解码串的数量大于或等于第一阈值,则将第二预设值确定为所述当前串的串长度分辨率;
或者,若所述当前串所属CU中已解码未匹配像素的数量大于或等于第二阈值,则将第三预设值确定为所述当前串的串长度分辨率;
或者,若所述当前串所属CU中未解码像素的数量小于或等于第三阈值,则将第四预设值确定为所述当前串的串长度分辨率。
3.根据权利要求1所述的方法,其特征在于,所述串长度信息包括所述当前串的串长度编码;
所述根据所述串长度信息和所述串长度分辨率,确定所述当前串的串长度,包括:
将所述当前串的串长度编码与所述串长度分辨率相乘,得到所述当前串的串长度。
4.根据权利要求1所述的方法,其特征在于,所述串长度信息包括所述当前串所属解码块中,在解码所述当前串后的剩余像素数量编码;
所述根据所述串长度信息和所述串长度分辨率,确定所述当前串的串长度,包括:
获取所述当前串所属解码块的总像素数量;
获取所述当前串所属解码块的已解码像素数量;
将所述剩余像素数量编码与所述串长度分辨率相乘,得到所述当前串所属解码块中,在解码所述当前串后的剩余像素数量;
基于所述总像素数量、所述已解码像素数量以及解码所述当前串后的所述剩余像素数量,确定所述当前串的串长度。
5.根据权利要求1所述的方法,其特征在于,所述串长度信息包括第一标志,所述第一标志用于指示所述当前串是否为所述当前串所属解码块中的最后一个串;
所述根据所述串长度信息和所述串长度分辨率,确定所述当前串的串长度,包括:
获取所述当前串所属解码块的总像素数量;
获取所述当前串所属解码块的已解码像素数量;
若所述当前串是所述最后一个串,则将所述总像素数量与所述已解码像素数量相减,得到所述当前串的串长度;
若所述当前串不是所述最后一个串,则获取所述当前串所属解码块中,在解码所述当前串后的剩余像素数量编码;将所述剩余像素数量编码与所述串长度分辨率相乘,得到所述当前串所属解码块中,在解码所述当前串后的剩余像素数量;基于所述总像素数量、所述已解码像素数量以及解码所述当前串后的所述剩余像素数量,确定所述当前串的串长度;
其中,所述串长度信息还包括所述当前串所属解码块中,在解码所述当前串后的剩余像素数量编码;或者,所述串长度信息还包括所述当前串所属解码块中,在解码所述当前串后的剩余像素数量编码减1。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
确定允许的串长度分辨率集合,所述串长度分辨率集合中包括至少一组索引值和串长度分辨率之间的对应关系;
所述确定所述当前串的串长度分辨率,包括:
解码得到第一索引值,所述第一索引值是所述当前串的串长度分辨率对应的索引值;
将所述第一索引值在所述串长度分辨率集合中对应的串长度分辨率,确定为所述当前串的串长度分辨率。
7.根据权利要求6所述的方法,其特征在于,所述串长度分辨率集合中包括的串长度分辨率包括以下至少一种:
一个或多个预设值;
当前CU的宽度;
当前CU的高度。
8.根据权利要求7所述的方法,其特征在于,
在按照水平方向扫描当前CU的情况下,所述串长度分辨率集合中包括所述当前CU的宽度;
在按照竖直方向扫描当前CU的情况下,所述串长度分辨率集合中包括所述当前CU的高度。
9.根据权利要求1所述的方法,其特征在于,所述解码所述当前串对应的第二标志之后,还包括:
若所述当前串包含所述未匹配像素,则确定所述当前串的串长度为N,所述N为所述当前串的串长度分辨率。
10.根据权利要求1所述的方法,其特征在于,所述根据所述串长度信息和所述串长度分辨率,确定所述当前串的串长度之后,还包括:
若所述当前串的串长度大于N,则确定所述当前串不包含所述未匹配像素;
若所述当前串的串长度等于N,则解码所述当前串对应的第二标志;
其中,所述N为所述当前串的串长度分辨率。
11.根据权利要求1所述的方法,其特征在于,在所述当前串包含所述未匹配像素的情况下,所述方法还包括:
解码所述当前串中包含的各个像素分别对应的第三标志,所述第三标志用于指示所述像素是否为所述未匹配像素;
或者,
解码得到所述当前串中包含的未匹配像素的数量以及与所述当前串对应的第四标志,所述第四标志用于指示所述未匹配像素在所述当前串中的位置;
或者,
确定所述当前串中包含的各个像素均为所述未匹配像素。
12.根据权利要求1至11任一项所述的方法,其特征在于,所述方法还包括:
若所述当前串不包含所述未匹配像素,则解码得到所述当前串的串矢量;
基于所述当前串的串矢量,确定所述当前串的参考串;
将所述当前串的参考串的像素值,确定为所述当前串的预测值。
13.根据权利要求1至11任一项所述的方法,其特征在于,所述方法还包括:
若所述当前串包含所述未匹配像素,则解码得到所述当前串的串矢量;
基于所述当前串的串矢量,确定所述当前串的参考串;
对于所述当前串中的所述未匹配像素,从码流中解码得到所述未匹配像素的像素值;
对于所述当前串中的匹配像素,将所述参考串中与所述匹配像素对应的像素值,确定为所述匹配像素的预测值。
14.根据权利要求1至11任一项所述的方法,其特征在于,所述方法还包括:
若所述当前串包含所述未匹配像素,则解码得到所述当前串的串矢量;
基于所述当前串的串矢量,确定所述当前串的参考串;
对于所述当前串中的所述未匹配像素,从码流中解码得到所述未匹配像素的预测残差;根据所述预测残差以及所述参考串中与所述未匹配像素对应的像素值,得到所述未匹配像素的重建值;
对于所述当前串中的匹配像素,将所述参考串中与所述匹配像素对应的像素值,确定为所述匹配像素的预测值。
15.一种视频编码方法,其特征在于,所述方法包括:
确定当前串的串长度分辨率;
基于所述当前串的串长度以及所述串长度分辨率,确定所述当前串的串长度信息,所述串长度信息包括与所述当前串的串长度相关的信息;
对所述串长度信息进行编码。
16.一种视频解码装置,其特征在于,所述装置包括:
串信息解码模块,用于从码流中解码得到当前串的串长度信息,所述串长度信息包括与所述当前串的串长度相关的信息;
分辨率确定模块,用于确定所述当前串的串长度分辨率;
标志解码模块,用于解码所述当前串对应的第二标志,所述第二标志用于指示所述当前串是否包含未匹配像素;
串长度确定模块,用于若所述当前串不包含所述未匹配像素,则根据所述串长度信息和所述串长度分辨率,确定所述当前串的串长度。
17.一种视频编码装置,其特征在于,所述装置包括:
分辨率确定模块,用于确定当前串的串长度分辨率;
串信息确定模块,用于基于所述当前串的串长度以及所述串长度分辨率,确定所述当前串的串长度信息,所述串长度信息包括与所述当前串的串长度相关的信息;
串信息编码模块,用于对所述串长度信息进行编码。
18.一种计算机设备,其特征在于,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至14任一项所述的方法,或者实现如权利要求15所述的方法。
19.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至14任一项所述的方法,或者实现如权利要求15所述的方法。
CN202010747005.6A 2020-07-29 2020-07-29 视频解码方法、视频编码方法、装置、设备及存储介质 Active CN111866512B (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN202010747005.6A CN111866512B (zh) 2020-07-29 2020-07-29 视频解码方法、视频编码方法、装置、设备及存储介质
CN202210217473.1A CN114900690B (zh) 2020-07-29 2020-07-29 视频解码方法、视频编码方法、装置、设备及存储介质
JP2022559390A JP7483035B2 (ja) 2020-07-29 2021-07-15 ビデオ復号方法並びにその、ビデオ符号化方法、装置、コンピュータデバイス及びコンピュータプログラム
EP21848927.6A EP4099697A4 (en) 2020-07-29 2021-07-15 VIDEO DECODING METHOD AND DEVICE, VIDEO ENCODING METHOD AND DEVICE, DEVICE AND STORAGE MEDIA
PCT/CN2021/106598 WO2022022297A1 (zh) 2020-07-29 2021-07-15 视频解码方法、视频编码方法、装置、设备及存储介质
US17/895,729 US20220417504A1 (en) 2020-07-29 2022-08-25 Video decoding method and apparatus, video coding method and apparatus, device, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010747005.6A CN111866512B (zh) 2020-07-29 2020-07-29 视频解码方法、视频编码方法、装置、设备及存储介质

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202210217473.1A Division CN114900690B (zh) 2020-07-29 2020-07-29 视频解码方法、视频编码方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN111866512A CN111866512A (zh) 2020-10-30
CN111866512B true CN111866512B (zh) 2022-02-22

Family

ID=72945385

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202010747005.6A Active CN111866512B (zh) 2020-07-29 2020-07-29 视频解码方法、视频编码方法、装置、设备及存储介质
CN202210217473.1A Active CN114900690B (zh) 2020-07-29 2020-07-29 视频解码方法、视频编码方法、装置、设备及存储介质

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202210217473.1A Active CN114900690B (zh) 2020-07-29 2020-07-29 视频解码方法、视频编码方法、装置、设备及存储介质

Country Status (5)

Country Link
US (1) US20220417504A1 (zh)
EP (1) EP4099697A4 (zh)
JP (1) JP7483035B2 (zh)
CN (2) CN111866512B (zh)
WO (1) WO2022022297A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112543332B (zh) * 2020-05-26 2021-08-17 腾讯科技(深圳)有限公司 视频解码方法、视频编码方法及相关设备
CN111866512B (zh) * 2020-07-29 2022-02-22 腾讯科技(深圳)有限公司 视频解码方法、视频编码方法、装置、设备及存储介质
CN114079780A (zh) * 2020-08-20 2022-02-22 腾讯科技(深圳)有限公司 视频解码方法、视频编码方法、装置、设备及存储介质
CN112532990B (zh) * 2020-11-23 2024-03-08 绍兴文理学院 一种串长度参数编码、解码方法和装置
CN114598888A (zh) * 2020-12-04 2022-06-07 腾讯科技(深圳)有限公司 串矢量的编解码方法、编码设备、解码设备及存储介质
CN113347437B (zh) * 2021-04-15 2022-09-06 浙江大华技术股份有限公司 一种基于串预测的编码方法、编码器、解码器和存储介质
CN112565748B (zh) * 2020-12-06 2022-08-09 浙江大华技术股份有限公司 一种视频编码方法、装置、***及计算机可读存储介质
CN113099269B (zh) * 2021-02-22 2023-02-28 浙江大华技术股份有限公司 串匹配预测方法、编码和解码方法及相关设备、装置
CN112565760B (zh) * 2020-12-06 2022-07-15 浙江大华技术股份有限公司 串编码技术的编码方法、设备及存储介质
CN112565749B (zh) * 2020-12-06 2022-08-09 浙江大华技术股份有限公司 一种视频编码方法、装置、***及计算机可读存储介质
EP4241446A4 (en) * 2020-12-06 2024-05-01 Zhejiang Dahua Technology Co., Ltd. VIDEO PROCESSING SYSTEMS AND METHODS
CN112672160B (zh) * 2020-12-17 2023-10-10 绍兴文理学院 融合帧内块复制和串复制编码参数的编码解码方法和装置
CN115086657A (zh) * 2021-03-14 2022-09-20 腾讯科技(深圳)有限公司 视频编解码方法、装置、计算机可读介质及电子设备
CN113542768B (zh) * 2021-05-18 2022-08-09 浙江大华技术股份有限公司 运动搜索方法、装置及计算机可读存储介质
CN113973210B (zh) * 2021-10-25 2022-09-20 腾讯科技(深圳)有限公司 媒体文件封装方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104581177A (zh) * 2013-10-12 2015-04-29 上海天荷电子信息有限公司 一种结合块匹配和串匹配的图像压缩方法和装置
CN106797473A (zh) * 2014-10-01 2017-05-31 株式会社Kt 用于处理视频信号的方法和设备
CN112543332A (zh) * 2020-05-26 2021-03-23 腾讯科技(深圳)有限公司 视频解码方法、视频编码方法及相关设备

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09269803A (ja) * 1996-04-01 1997-10-14 Mitsubishi Electric Corp デューティ駆動制御装置
JP4384106B2 (ja) * 2004-09-30 2009-12-16 キヤノン株式会社 情報処理装置および情報処理方法並びに制御プログラム、地紋画像生成装置及び地紋画像生成方法
CN112383780B (zh) 2013-08-16 2023-05-02 上海天荷电子信息有限公司 点匹配参考集和索引来回扫描串匹配的编解码方法和装置
US10070145B2 (en) * 2014-02-07 2018-09-04 Mediatek Singapore Pte. Ltd. Method of coding based on string matching for video compression
CN104853211A (zh) * 2014-02-16 2015-08-19 上海天荷电子信息有限公司 使用多种形式的参考像素存储空间的图像压缩方法和装置
CN107071450B (zh) * 2016-02-10 2021-07-27 同济大学 数据压缩的编码、解码方法及装置
CN111131826A (zh) * 2018-10-31 2020-05-08 上海天荷电子信息有限公司 定长码单元含多个编码参数变长码的数据压缩方法和装置
CN110087090B (zh) * 2019-05-20 2021-04-06 绍兴文理学院 采用混合串匹配和帧内预测的数据编码、解码方法
CN110636302B (zh) * 2019-09-27 2023-10-24 腾讯科技(深圳)有限公司 视频解码、编码方法和装置、存储介质及解码器、编码器
CN111147854A (zh) * 2019-12-25 2020-05-12 江苏提米智能科技有限公司 一种基于颜色的大容量数据图像编码及解码方法
CN111866512B (zh) * 2020-07-29 2022-02-22 腾讯科技(深圳)有限公司 视频解码方法、视频编码方法、装置、设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104581177A (zh) * 2013-10-12 2015-04-29 上海天荷电子信息有限公司 一种结合块匹配和串匹配的图像压缩方法和装置
CN106797473A (zh) * 2014-10-01 2017-05-31 株式会社Kt 用于处理视频信号的方法和设备
CN112543332A (zh) * 2020-05-26 2021-03-23 腾讯科技(深圳)有限公司 视频解码方法、视频编码方法及相关设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CE10: Test 7.1 Constrained run for Intra String Copy;Feng Zou 等;《Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11》;20141008;全文 *
HASH BASED INTRA STRING COPY FOR HEVC BASED SCREEN CONTENT CODING;Feng Zou 等;《2015 IEEE International Conference on Multimedia & Expo Workshops (ICMEW)》;20150730;全文 *
一种新的用于屏幕图像编码的HEVC帧内模式;陈先义 等;《电子与信息学报》;20151119;第37卷(第11期);全文 *

Also Published As

Publication number Publication date
JP2023519022A (ja) 2023-05-09
CN114900690B (zh) 2023-09-01
EP4099697A1 (en) 2022-12-07
JP7483035B2 (ja) 2024-05-14
US20220417504A1 (en) 2022-12-29
WO2022022297A1 (zh) 2022-02-03
CN111866512A (zh) 2020-10-30
CN114900690A (zh) 2022-08-12
EP4099697A4 (en) 2023-05-31

Similar Documents

Publication Publication Date Title
CN111866512B (zh) 视频解码方法、视频编码方法、装置、设备及存储介质
WO2020068599A1 (en) Adaptive multiple transform coding
TW201818720A (zh) 使用解耦樹結構之視訊內寫碼
JP7343669B2 (ja) Vvcにおける色変換のための方法及び機器
KR20200112964A (ko) 변환 도메인에서 잔차 부호 예측 방법 및 장치
CN111741299B (zh) 帧内预测模式的选择方法、装置、设备及存储介质
CN111770345B (zh) 编码单元的运动估计方法、装置、设备及存储介质
EP4246975A1 (en) Video decoding method and apparatus, video coding method and apparatus, and device
CN110868587A (zh) 一种视频图像预测方法及装置
JP2023543762A (ja) ビデオコーディングのためのニューラルネットワークベースフィルタ処理プロセスにおける活性化関数設計
CN112335251B (zh) 以分组的旁路位元的系数编码
CN114913249A (zh) 编码、解码方法和相关设备
CN113132731A (zh) 视频解码方法、装置、设备及存储介质
WO2022078339A1 (zh) 参考像素候选列表构建方法、装置、设备及存储介质
WO2022022299A1 (zh) 视频编解码中的运动信息列表构建方法、装置及设备
WO2022037464A1 (zh) 视频解码方法、视频编码方法、装置、设备及存储介质
CN111770338B (zh) 编码单元的索引值确定方法、装置、设备及存储介质
WO2022037458A1 (zh) 视频编解码中的运动信息列表构建方法、装置及设备
CN114286095B (zh) 视频解码方法、装置及设备
CN114079782A (zh) 视频图像重建方法、装置、计算机设备及存储介质
WO2024112361A1 (en) Systems and methods for warp extend and warp delta signaling
WO2023081322A1 (en) Intra prediction modes signaling
CN118160303A (zh) 用于解码器侧帧内模式推导的方法和设备
JP2024504672A (ja) 復号プロセスのエネルギー消費を表す情報をシグナリングするためのメタデータ
WO2021242845A1 (en) Intra prediction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40030901

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant