CN113660490A - 编码单元的划分方法、编码方法、电子装置及存储介质 - Google Patents

编码单元的划分方法、编码方法、电子装置及存储介质 Download PDF

Info

Publication number
CN113660490A
CN113660490A CN202110706737.5A CN202110706737A CN113660490A CN 113660490 A CN113660490 A CN 113660490A CN 202110706737 A CN202110706737 A CN 202110706737A CN 113660490 A CN113660490 A CN 113660490A
Authority
CN
China
Prior art keywords
coding unit
coding
division
equal
dividing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110706737.5A
Other languages
English (en)
Inventor
张雪
江东
林聚财
殷俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202110706737.5A priority Critical patent/CN113660490A/zh
Publication of CN113660490A publication Critical patent/CN113660490A/zh
Priority to PCT/CN2022/081024 priority patent/WO2022267569A1/en
Priority to EP22827074.0A priority patent/EP4183131A4/en
Priority to US18/170,518 priority patent/US20230209052A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/147Data rate or code amount at the encoder output according to rate distortion criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请公开了一种编码单元的划分方法、编码方法、电子装置及存储介质。该编码单元的划分方法包括:获取编码单元的划分模式;基于划分模式,选择编码单元的M条第一N等分线将编码单元划分为若干个编码子单元,其中,N等于3或大于4;或者,基于划分模式,选择编码单元的M条第一N等分线将编码单元进行划分为若干编码子单元,并选择L条第二G等分线将边缘位置的编码子单元进行划分,其中,N为2或4;其中,M大于0且小于N,L大于0,G大于1,L小于G。本申请提供了一些不同的编码单元的划分方式,能够扩展编码单元的可用划分比例,从而提高编码效率。

Description

编码单元的划分方法、编码方法、电子装置及存储介质
技术领域
本申请涉及本发明涉及视频压缩技术领域,特别是涉及一种编码单元的划分方法、编码方法、电子装置及存储介质。
背景技术
视频编码时,输入的是一个个图像帧,但对一帧图像进行编码时,需要将一帧分割成若干LCU(Largest Coding Unit,最大编码单元),然后再对每个最大编码单元进行不同的CU(Coding Unit,编码单元)分割,视频编码就是以CU为单元进行的。在CU内部,也会进一步进行预测块(prediction unit,PU)的划分和变换块(transform unit,TU)的划分。
现有技术中,由于硬件计算性能有限,可选择的划分方式不够丰富,会限制块划分对图像纹理的拟合性能,从而较为显著地影响编码效率。
发明内容
本申请提供一种编码单元的划分方法、编码方法、电子装置及存储介质,以解决现有技术中编码单元的划分方式不丰富,编码效率低的技术问题。
为解决上述技术问题,本申请采用的一个技术方案是:提供一种编码单元的划分方法,该划分方法包括:获取编码单元的划分模式;基于划分模式,选择编码单元的M条第一N等分线将编码单元划分为若干个编码子单元,其中,N等于3或大于4;或者,基于划分模式,选择编码单元的M条第一N等分线将编码单元进行划分为若干编码子单元,并选择L条第二G等分线将边缘位置的编码子单元进行划分,其中,N为2或4;其中,M大于0且小于N,L大于0,G大于1,L小于G。
进一步地,选择编码单元的M条第一N等分线将编码单元划分为若干个编码子单元,其中,N等于3或大于4,进一步包括:选择L条第二G等分线将编码子单元进行划分,其中,第一N等分线与第二G等分线垂直。
进一步地,划分方法进一步包括:通过第一水平划分比例和第二垂直划分比例对编码单元进行划分,以使至少一个编码子单元呈阶梯状。
进一步地,第二G等分线的一端位于编码单元的外边框上,另一端位于第一N等分线上,其中,N为2或4。
进一步地,划分方法还包括:根据编码单元的尺寸来确定划分模式。
进一步地,划分方法还包括:根据编码单元所属图像的帧类型来确定划分模式。
为解决上述技术问题,本申请采用的另一个技术方案是:提供一种编码方法,该编码方法包括编码单元的划分方法,划分方法包括:获取编码单元的划分模式;基于划分模式,选择编码单元的M条第一N等分线将编码单元划分为若干个编码子单元,其中,N等于3或大于4;或者,基于划分模式,选择编码单元的M条第一N等分线将编码单元进行划分为若干编码子单元,并选择L条第二G等分线将边缘位置的编码子单元进行划分,其中,N为2或4;其中,M大于0且小于N,L大于0,G大于1,L小于G。
进一步地,编码方法进一步包括:对划分模式进行编号,以获取划分模式的索引。
为解决上述技术问题,本申请采用的又一个技术方案是:提供一种电子装置,该电子装置包括相互耦接的存储器和处理器,处理器用于执行存储器中存储的程序指令,以实现:获取编码单元的划分模式;基于划分模式,选择编码单元的M条第一N等分线将编码单元划分为若干个编码子单元,其中,N等于3或大于4;或者,基于划分模式,选择编码单元的M条第一N等分线将编码单元进行划分为若干编码子单元,并选择L条第二G等分线将边缘位置的编码子单元进行划分,其中,N为2或4;其中,M大于0且小于N,L大于0,G大于1,L小于G。
为解决上述技术问题,本申请采用的再一个技术方案是:提供一种计算机可读存储介质,其上存储有程序指令,该程序指令被处理器执行时实现:获取编码单元的划分模式;基于划分模式,选择编码单元的M条第一N等分线将编码单元划分为若干个编码子单元,其中,N等于3或大于4;或者,基于划分模式,选择编码单元的M条第一N等分线将编码单元进行划分为若干编码子单元,并选择L条第二G等分线将边缘位置的编码子单元进行划分,其中,N为2或4;其中,M大于0且小于N,L大于0,G大于1,L小于G。
本申请的有益效果是:区别于现有技术,本申请提出了一些新的编码单元的划分方式,具体地,可以通过编码单元的三等分线以及四等分以上的边界线来对编码单元进行划分,也可以通过编码单元的二等分及四等分线的衍生划分方式来进行划分,丰富了编码单元的划分方式,使得编码单元的划分可更为灵活地适应图像纹理,提高编码效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请提供的编码单元的划分方法的一实施例的流程示意图;
图2是本申请提供的划分方法中三等分划分模式示意图;
图3是本申请提供的划分方法中三等分衍生划分模式示意图;
图4是本申请提供的划分方法中五等分的垂直衍生划分模式示意图;
图5是本申请提供的划分方法中八等分的一种垂直衍生划分模式示意图;
图6是本申请提供的划分方法中一种同时包括水平等分线和垂直等分线的划分模式的示意图。
图7是AVS3的编码单元划分时新增的几种划分模式的示意图;
图8是本申请提供的增强三叉树划分模式示意图;
图9是本申请提供的增强四叉树划分模式示意图;
图10是本申请提供的划分模式中阶梯状划分模式的一实施例的示意图;
图11是本申请提供的划分模式中阶梯状划分模式的另一实施例的示意图;
图12是图11中阶梯状划分对应的变换块划分的一实施例的示意图;
图13是本申请提供的编码单元的划分方法中句法取值示意图;
图14是本申请提供的电子装置的一实施例的结构示意图;
图15是本申请提供的计算机可读存储介质的一实施例的结构示意图。
具体实施方式
下面结合附图和实施例,对本申请作进一步的详细描述。特别指出的是,以下实施例仅用于说明本申请,但不对本申请的范围进行限定。同样的,以下实施例仅为本申请的部分实施例而非全部实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“内”、“外”等指示的方位或者位置关系为基于附图所示的方位或者位置关系,或者是该申请产品使用时惯常摆放的方位或者位置关系,仅是为了方便描述本申请合简化描述,而不是指示或者暗示所指的装置或者元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本申请的限制。
此外,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含。
本申请提出了一种编码单元的划分方法。除特殊说明,以下介绍的编码单元的划分方法均可应用于编码块的划分、预测块的划分和变换块的划分。对于某一树结构划分节点,可应用下面提出的划分方式对当前节点的矩形块进行划分。整个划分过程得到的树结构中可包括以下划分方式中的一种或多种,并且可包含或不包含现有技术中一些其他的块划分方式。
请参阅图1所示,图1是本申请提供的编码单元的划分方法的一实施例的流程示意图,具体地,该划分方法包括:
S11:获取编码单元的划分模式。
S12:基于划分模式,选择编码单元的M条第一N等分线将编码单元划分为若干个编码子单元,其中,N等于3或大于4;或者,基于划分模式,选择编码单元的M条第一N等分线将编码单元进行划分为若干编码子单元,并选择L条第二G等分线将边缘位置的编码子单元进行划分,N为2或4,其中M大于0且小于N,L大于0,G大于1,L小于G。
需要对编码单元进行划分时,首先获取编码单元的划分模式,划分模式给出了对该编码单元的划分比例,比如划分模式可以为按照水平1:2的比例划分等。基于所获取到的划分模式对编码单元进行划分,即,基于该划分模式对应的划分比例将编码单元划分为若干个编码子单元。
可选地,选择M条第一N等分线将编码单元划分为若干编码子单元,其中N等于3或者N大于4。其中第一N等分线可以为编码单元的水平N等分线,也可以编码单元的垂直N等分线,M最小值为1,最大值为N-1。比如N=3,M=1,则选择1条水平三等分线将编码单元划分为两个编子码单元。
可选地,选择编码单元的M条第一N等分线将编码单元划分为若干编码子单元,并选择L条第二G等分线将边缘位置的编码子单元进行划分,N为2或4。可选地,第一N等分线可以为编码单元的水平N等分线,第二G等分线为编码单元的垂直G等分线,或者第一N等分线可以为编码单元的垂直N等分线,第二G等分线为编码单元的水平G等分线。比如当N=2,G=2时,可以选择一条水平二等分线将编码单元划分为两个编码子单元,再选1条垂直二等分线对上一个边缘位置的编码子单元进行继续划分,最终得到三个编码子单元。
本申请提出了一些新的编码单元的划分方式,丰富了编码单元的划分方法,使得编码单元的划分可更为灵活地适应图像纹理,提高编码效率。
下面将通过具体实施例对上述划分方法进行详细介绍。
在一些具体的实施例中,可以选择M条第一N等分线将编码单元划分为若干编码子单元,其中N等于3或者N大于4,比如N可以等于3、5、6、7等。第一N等分线可以是编码单元的水平N等分线,也可以是编码单元的垂直N等分线,比如,可以选择1条垂直5等分线将编码单元划分为两个编码子单元,也可以选择1条水平5等分线将编码单元划分为两个编码子单元。
在图2所示的实施例中,编码单元可以通过其3等分线将编码单元划分为若干个编码子单元。如图2中的编码单元201所示,编码单元可以通过其两条垂直三等分线将编码单元划分为3个编码子单元。如图2中的编码单元202所示,编码单元也可以通过其两条水平三等分线将编码单元划分为3个编码子单元。
可选地,也可以去掉部分第一N等分线,以对编码单元进行划分。比如,如图3中的编码单元301所示,可以去掉一条垂直3等分线,而将编码单元按照垂直1:2的比例划分为2个编码子单元,如图3中的编码单元302所示,也可以去掉另一条垂直3等分线,而将编码单元按照垂直2:1的比例划分为2个编码子单元。如图3中的编码单元303所示,可以去掉一条水平3等分,以将编码单元按照水平1:2的比例划分为2个编码子单元,如图3中的编码单元304所示,可以去掉另一条水平3等分线,以将编码单元按照水平2:1的比例划分为2个编码子单元。
在另一些实施例中,如图4所示,可以通过编码单元的至少一个5等分线对编码单元进行划分。下面以该5等分线为编码单元的垂直5等分线为例进行说明。
具体地,编码单元总共具有4条垂直5等分线。如图4中的编码单元401所示,可以选择1条垂直5等分线,将编码单元按照垂直1:4的比例划分为两个编码子单元;如图4中的编码单元402所示,可以选择1条垂直5等分线,将编码单元按照垂直4:1的比例划分为两个编码子单元;如图4中的编码单元403所示,可以选择1条垂直5等分线,将编码单元按照垂直2:3的比例划分为两个编码子单元;如图4中的编码单元404所示,可以选择1条垂直5等分线,将编码单元按照垂直3:2的比例划分为两个编码子单元;如图4中的编码单元405所示,可以选择3条垂直5等分线,将编码单元按照垂直1:1:1:2的比例划分为四个编码子单元;如图4中的编码单元406所示,可以选择3条垂直5等分线,将编码单元按照垂直1:1:2:1的比例划分为四个编码子单元;如图4中的编码单元407所示,可以选择3条垂直5等分线,将编码单元按照垂直1:2:1:1的比例划分为四个编码子单元;如图4中的编码单元408所示,可以选择3条垂直5等分线,将编码单元按照垂直2:1:1:1的比例划分为四个编码子单元;如图4中的编码单元409所示,可以选择2条垂直5等分线,将编码单元按照垂直1:1:3的比例划分为三个编码子单元;如图4中的编码单元410所示,可以选择2条垂直5等分线,将编码单元按照垂直1:3:1的比例划分为三个编码子单元;如图4中的编码单元411所示,可以选择2条垂直5等分线,将编码单元按照垂直3:1:1的比例划分为三个编码子单元;如图4中的编码单元412所示,可以选择2条垂直5等分线,将编码单元按照垂直3:1:1的比例划分为三个编码子单元;如图4中的编码单元413所示,可以选择2条垂直5等分线,将编码单元按照垂直1:2:2的比例划分为三个编码子单元;如图4中的编码单元414所示,可以选择2条垂直5等分线,将编码单元按照垂直2:1:2的比例划分为三个编码子单元;如图4中的编码单元415所示,可以选择2条垂直5等分线,将编码单元按照垂直2:2:1的比例划分为三个编码子单元。
可以理解的是,也可以基于编码单元的水平5等分线及其衍生划分模式,对编码单元进行水平模式划分,其具体划分方式与上述介绍的垂直划分模式的原理相同,在此不再赘述。
在另一些实施例中,可以基于编码单元的八等分线及其衍生划分模式对其进行垂直划分,即N=8,比如,如图5所示,可以选择编码单元的两条垂直8等分线,将编码单元按照垂直1:3:4的比例划分为3个编码子单元。
可以理解是,N还可以等于6,即采用上述方式,可以选择M条编码单元的6等分线对编码单元进行划分,在其他实施例中,N还可以等于7、9或者10等,在此不做一一列举。
在另一些实施例中,选择编码单元的M条第一N等分线将编码单元划分为若干个编码子单元,并选择L条第二G等分线将编码子单元进行划分,其中,第一N等分线与第二G等分线垂直,N等于3或大于4,即,编码单元中划分边界线中可以既包括垂直等分线也包括水平等分线。比如,在图6所示的实施例中,选择编码单元的水平三等分线将编码单元划分为三个编码子单元,选择编码单元的垂直二等分线对三个编码子单元进行划分。本实施例中同时包括垂直和水平的等分线,以丰富编码单元的划分方式。
进一步地,例如,在AVS3的CU递归划分中,在现有划分方式的基础上加入如图7所示的几种划分方式。比如,图7中的编码单元601采用垂直1:2比例划分,图7中的编码单元602采用垂直2:1的比例划分,图7中的编码单元603采用水平1:2比例划分,图7中的编码单元604采用水平2:1的比例划分,图7中的编码单元605采用水平2:2:1的比例划分,图7中的编码单元606采用1:2:2比例划分,图7中的编码单元607采用2:1:2比例划分。通过在现有划分方式的基础上加入新的划分方式,丰富了编码单元的划分模式。
上述实施例中,基于3等分或者4等分以上及其衍生的划分方式扩展了编码单元的可用划分比例,增加了更多的不均匀划分比例的划分,使得编码划分方法可更为灵活地适应图像纹理,提高编码效率。
本申请还提出一些基于编码单元的2等分线及4等分线的衍生划分方式。即,选择编码单元的M条第一N等分线将编码单元进行划分为若干编码子单元,并选择L条第二G等分线将边缘位置的编码子单元进行划分,其中N为2或4。
本实施例中,第一N等分线和第二G等分线垂直,具体地,第一N等分线可以为编码单元的垂直N等分线,第二G等分线可以为编码单元的水平G等分线,或者第一N等分线可以为编码单元的水平N等分线,第二G等分线可以为编码单元的垂直G等分线。第二G等分线的一端位于编码单元的外边框上,另一端位于第一N等分线上。
在其他实施例中,第一N等分线还可以与第二G等分线平行,以使每个编码子单元通过两种进行等分线进行划分。
在一些具体的实施例中,如图8所示,本申请提供几种增强的三叉树划分方式。如图8中的编码单元701所示,将编码单元701通过垂直二等分线划分为两个编码子单元,并通过水平二等分线将右侧边缘的编码子单元进行划分,即,编码单元701通过垂直二等分线和水平二等分线划分为3个编码子单元。可选地,如图8中的编码单元703,也可以通过水平二等分线对左侧边缘的编码子单元进行划分。本实施例中,水平二等分线的一端位于编码单元的边框上,另一端位于垂直二等分线上。
如图8中的编码单元702,选择水平二等分线将编码单元划分为两个编码子单元,再通过垂直二等分线对上边缘位置的编码子单元进行继续划分,以得到三个编码子单元。如图8中的704所示,也可以再通过垂直二等分线对下边缘位置的编码子单元进行继续划分,以得到三个编码子单元。本实施例中,垂直二等分线的一端位于编码单元的边框上,另一端位于水平二等分线上。
上述实施例中,通过增强三叉树划分方式,使得编码单元的划分模式可更为灵活地适应图像纹理,提高编码效率。
本申请还提供几种增强四叉树的划分方式,具体请参阅图9所示,编码单元通过相互垂直的四等分线和二等分线将编码单元划分为4个编码子单元。
具体地,如图9中的编码单元801所示,选择编码单元的两条垂直四等分线将编码单元按照垂直1:1:2的比例进行划分,然后再通过编码单元的水平二等分线对最右侧边缘的编码子单元进行继续划分,以得到四个编码子单元。如图9中的编码单元802所示,也可以选择编码单元的两条垂直四等分线将编码单元按照垂直2:1:1的比例进行划分,再通过编码单元的二等分线对最左侧的编码子单元进行继续划分,以得到四个编码子单元。上述实施例中,编码单元的二等分线只是对边缘位置的编码子单元进行划分,编码单元的水平二等分线的一端位于编码单元的外边框上,另一端位于编码单元的垂直四等分线上。
如图9中的编码单元803所示,可以选择编码单元的两条水平四等分线将编码单元按照水平2:1:1的比例进行划分,然后再通过编码单元的垂直二等分线对下侧边缘的编码子单元进行继续划分,以得到四个编码子单元。如图9中的编码单元804所示,可以选择编码单元的两条水平四等分线将编码单元按照水平1:1:2的比例进行划分,再通过编码单元的垂直二等分线对上侧边缘位置的编码子单元进行继续划分,以得到四个编码子单元。
通过上述增强四叉树划分方式,使得编码单元的划分方法可更为灵活地适应图像纹理,提高编码效率。
上述增强三叉树及增强的四叉树划分中同时包含垂直划分和水平划分,扩展了划分方式,增加划分灵活性,提高编码效率。
本申请还提供编码单元包含不规则边界的划分方式,下称其为阶梯状划分。具体地,通过第一预定比例对编码单元进行水平划分,通过第二预定比例对编码单元进行垂直划分,以使至少一个编码子单元为阶梯状,此种划分方式可以应用于CU的叶子节点划分。
在一个具体的实施例中,如图10所示,通过阶梯状划分将编码单元划分为两个边界不规则的编码子单元,分别为编码子单元A和编码子单元B。编码子单元A和编码子单元B都为阶梯状。
在实际使用的过程中,阶梯状划分需要规定一种或多种划分比例,划分比例包括垂直划分比例和水平划分比例,即编码子单元的宽的划分比例和高的划分比例。
在一个具体的实施例中,可以在编解码端设定唯一的划分比例,当待划分的编码单元选中阶梯状划分,则编解码端同时应用设定的唯一划分比例进行划分。
在另一个实施例中,也可以在编解码端同时设定几种比例候选项,传输划分所选的比例在比例候选列表中的索引。
在其他实施例中,也可以通过编码单元的纹理特征等计算出或通过其他方法得到初始划分比例,利用一些可能的方法对初始划分比例进行微调,例如遍历一些可用的微调值,得到当前编码单元的最终划分比例,将最终划分比例传输。
在图11所示的实施例中,在编解码端设定划分比例为垂直1:2:1,水平1:1,则设某个编码单元选择使用阶梯状划分模式,则编解码端都按照如图11所示的划分方式进行划分,得到两个阶梯状的编码子单元A和编码子单元B。
对于编码子单元A和编码子单元B不进行预测块的划分,他们的变换块的划分采用水平划分,可以按照图12所示的虚线进行划分,通过水平二等分线对编码子单元A进行水平划分。
上述实施例中,包含了不规则边界的阶梯状划分方式,提供了总体划分方向不是水平或垂直的一种划分方法,其划分的编码子单元的形状是不规则的,增加划分灵活性,提高编码效率。
对于某些划分方式可以设定对应的划分条件。对于某一种划分模式,可无条件对任意划分编码单元(节点)应用,或可应用一种或多种限制条件。
在一些实施例中,可以根据尺寸来确定划分条件。具体地,可以根据当前编码单元的尺寸信息来设置对应的划分条件。比如,可以根据当前的编码单元的边长来确定是否可以应用某种划分模式。当编码单元的边长满足预设的条件时则可以应用某种划分模式,当编码单元的边长不满足预设的条件时则不可以应用某种划分模式。比如,垂直1:3:4划分为一种可使用的划分模式,规定宽高比大于4小于等于8时可使用此种划分,当需对32×4的矩形编码子单元进行划分时,则可以应用此种划分进行划分。
在另一些实施中,可以先计算出当前编码单元基于某种划分模式划分后得到的最小的编码子单元的边长,然后根据该最小的编码子单元的边长来确定是否可以应用某种划分模式。比如,设定某个编码单元经过划分得到最小的编码子单元的最小边长小于4时,则不允许该划分。当对一个16×8的编码单元进行划分时,可使用垂直1:2划分为5×8和11×8的编码子单元,或者可使用垂直2:1划分。但如果使用水平的1:2和水平2:1的划分,会生成边长小于4的编码子单元,因此,不可使用水平1:2和水平2:1的划分。
在其他实施例中,可以根据编码单元所属的图像的帧类型来确定具体的划分条件。具体地,帧类型分为I帧、P帧、B帧,或帧类型也可以简单的分为Intra帧和Inter帧,可根据帧类型确定某种划分是否可以使用,例如,规定阶梯状划分仅可应用于Inter帧。具体可以根据实际使用情况进行设定。
综上,本申请中,提出了一些编码单元的划分方式,使编码单元的划分方式更加丰富,且使得编码单元的划分方式可更为灵活地适应图像纹理,从而提高编码效率。
本申请还提供一种编码方法,该编码方法包括上述实施例的编码单元的划分方法。具体地,编码单元的划分方法包括:获取编码单元的划分模式;基于划分模式,选择编码单元的M条第一N等分线将编码单元划分为若干个编码子单元,其中,N等于3或大于4;或者,基于划分模式,选择编码单元的M条第一N等分线将编码单元进行划分为若干编码子单元,并选择L条第二G等分线将边缘位置的编码子单元进行划分,其中,N为2或4;其中,M大于0且小于N,L大于0,G大于1,L小于G。
本申请的编码方法还包括上述其他实施例的编码单元的划分方法,在此不再赘述。
本申请中,编码方法还包括对划分模式进行编号,以获取划分模式的索引。具体地,在一些实施例中,为所有设定的划分模式进行编号,作为划分模式的索引,传输所选择的索引标记当前编码单元选择的划分模式。
例如,在AVS3中,用split_flag句法表示编码端选择的且编解码端使用的编码单元的划分模式。图13给出一种句法取值与划分方式的对应关系,图13中给出了所有可以采用的划分方式和索引,括号中的数值表示选择了该划分模式下split_flag句法的取值。图13中(1)-(12)分别对应十二种不同的划分模式。
对于阶梯状划分,对应给出对应的3个句法传输方法:
(1)在编解码端设定唯一的划分比例,当待划分块选中阶梯状划分,则编解码端同时应用此唯一方法划分。此种方式下,需要一个句法标记当前编码单元是否使用阶梯状划分。
(2)可在编解码端同时设定几种比例候选项,传输划分所选的比例在比例候选列表中的索引。此种模式下,首先将所有比例候选项编号作为对应的索引,需要一个句法标记当前编码单元是否使用阶梯状划分,如果使用阶梯状划分,则传输另一个标记索引的句法。
(3)通过编码单元的纹理特征等计算出或其他方法得到初始划分比例,利用一些可能的方法对初始划分比例进行微调,例如遍历一些可用的微调值,得到当前编码单元的最终划分比例,将最终划分比例传输。此种方式下,需要一个句法标记当前编码单元是否使用阶梯状划分,如果使用阶梯状划分,则需要传输两个分别表示编码单元的宽和高的划分数和若干个表示两者具体划分比例的句法。
例如,split_stairs_enable_flag句法表示是否选择使用阶梯状划分,当split_stairs_enable_flag为1表示使用的为阶梯状划分,当split_stairs_enable_flag为0表示不使用阶梯状划分。
设定编码单元的宽和高可选划分比例都为{1:1,1:2,1:3,2:1,3:1,1:1:1,1:2:1,2:1:1,1:1:2,1:1:1:1},其对应的索引分别为{0,1,2,3,4,5,6,7,8,9,10}。句法split_stairs_hor_flag表示水平方向也就是矩形高的划分比例索引,split_stairs_ver_flag表示垂直方向也就是矩形宽的划分比例索引。当split_stairs_enable_flag为1时传输split_stairs_hor_flag和split_stairs_ver_flag记录划分方式。
根据以上规则,图11所示的编码单元的划分模式的句法取值为split_stairs_enable_flag为1,split_stairs_hor_flag为0,split_stairs_ver_flag为6。
本申请的编码方法中,包括了编码单元的新的划分方式,增加编码单元的划分灵活性,提高编码效率。
本申请还提供一种电子装置,如图14所示,图14是本申请提供的电子装置一实施例的结构示意图,该电子装置包括相互耦接的存储器120和处理器110,处理器110用于执行存储器120中存储的程序指令,以实现:获取编码单元的划分模式;基于划分模式,选择编码单元的M条第一N等分线将编码单元划分为若干个编码子单元,其中,N等于3或大于4;或者,基于划分模式,选择编码单元的M条第一N等分线将编码单元进行划分为若干编码子单元,并选择L条第二G等分线将边缘位置的编码子单元进行划分,其中,N为2或4;其中,M大于0且小于N,L大于0,G大于1,L小于G。
在其他实施例中,处理器110还用于执行存储器120中存储的程序指令,以实现上述其他实施例的编码单元的划分方法,具体请参阅上述实施例的介绍,在此不再赘述。
处理器110可以为CPU(Central Processing Unit,中央处理单元);处理器110也可以是一种集成电路芯片,具有信号的处理能力;处理器110还可以是通用处理器、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器110可以是微处理器或者该处理器110也可以是任何常规的处理器等。
基于此,本申请还提供一种计算机可读存储介质,如图15所示,图15是本申请提供的计算机可读存储介质的一实施例的结构示意图,计算机可读存储介质200上存储有程序指令210,该程序指令210被处理器执行时实现:获取编码单元的划分模式;基于划分模式,选择编码单元的M条第一N等分线将编码单元划分为若干个编码子单元,其中,N等于3或大于4;或者,基于划分模式,选择编码单元的M条第一N等分线将编码单元进行划分为若干编码子单元,并选择L条第二G等分线将边缘位置的编码子单元进行划分,其中,N为2或4;其中,M大于0且小于N,L大于0,G大于1,L小于G。
程序指令210被处理器执行时还能实现上述其他实施例的编码单元的划分方法,具体请参阅上述实施例的具体说明,在此不再赘述。
其中,该程序指令210可以以软件产品的形式存储在上述计算机可读存储介质200中,包括若干指令用以使得一个设备或处理器执行本申请各个实施方式方法的全部或部分步骤。
计算机可读存储介质200是计算机存储器中用于存储某种不连续物理量的媒体。而前述的计算机可读存储介质200包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序指令210代码的介质。
在本申请所提供的几个实施方式中,应该理解到,所揭露的***,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施方式仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外,在本申请各个实施方式中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
以上所述仅为本申请的实施方式,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种编码单元的划分方法,其特征在于,所述划分方法包括:
获取所述编码单元的划分模式;
基于所述划分模式,选择所述编码单元的M条第一N等分线将所述编码单元划分为若干个编码子单元,其中,所述N等于3或大于4;或者,
基于所述划分模式,选择所述编码单元的M条第一N等分线将所述编码单元进行划分为若干编码子单元,并选择L条第二G等分线将边缘位置的编码子单元进行划分,其中,所述N为2或4;
其中,M大于0且小于N,L大于0,G大于1,L小于G。
2.根据权利要求1所述的划分方法,其特征在于,所述选择所述编码单元的M条第一N等分线将所述编码单元划分为若干个编码子单元,其中,所述N等于3或大于4,进一步包括:
选择L条第二G等分线将所述编码子单元进行划分,其中,所述第一N等分线与所述第二G等分线垂直。
3.根据权利要求2所述的划分方法,其特征在于,所述划分方法进一步包括:
通过第一水平划分比例和第二垂直划分比例对所述编码单元进行划分,以使至少一个所述编码子单元呈阶梯状。
4.根据权利要求1所述的划分方法,其特征在于,所述第二G等分线的一端位于所述编码单元的外边框上,另一端位于所述第一N等分线上,其中,所述N为2或4。
5.根据权利要求1所述的划分方法,其特征在于,所述划分方法还包括:
根据所述编码单元的尺寸来确定所述划分模式。
6.根据权利要求1所述的划分方法,其特征在于,所述划分方法还包括:
根据所述编码单元所属图像的帧类型来确定所述划分模式。
7.一种编码方法,其特征在于,所述编码方法包括编码单元的划分方法,所述划分方法包括:
获取所述编码单元的划分模式;
基于所述划分模式,选择所述编码单元的M条第一N等分线将所述编码单元划分为若干个编码子单元,其中,所述N等于3或大于4;或者,
基于所述划分模式,选择所述编码单元的M条第一N等分线将所述编码单元进行划分为若干编码子单元,并选择L条第二G等分线将边缘位置的编码子单元进行划分,其中,所述N为2或4;
其中,M大于0且小于N,L大于0,G大于1,L小于G。
8.根据权利要求7所述的编码方法,其特征在于,所述编码方法进一步包括:
对所述划分模式进行编号,以获取所述划分模式的索引。
9.一种电子装置,其特征在于,所述电子装置包括相互耦接的存储器和处理器,所述处理器用于执行所述存储器中存储的程序指令,以实现:
获取所述编码单元的划分模式;
基于所述划分模式,选择所述编码单元的M条第一N等分线将所述编码单元划分为若干个编码子单元,其中,所述N等于3或大于4;或者,
基于所述划分模式,选择所述编码单元的M条第一N等分线将所述编码单元进行划分为若干编码子单元,并选择L条第二G等分线将边缘位置的编码子单元进行划分,其中,所述N为2或4;
其中,M大于0且小于N,L大于0,G大于1,L小于G。
10.一种计算机可读存储介质,其上存储有程序指令,其特征在于,所述程序指令被处理器执行时实现:
获取所述编码单元的划分模式;
基于所述划分模式,选择所述编码单元的M条第一N等分线将所述编码单元划分为若干个编码子单元,其中,所述N等于3或大于4;
或者,
基于所述划分模式,选择所述编码单元的M条第一N等分线将所述编码单元进行划分为若干编码子单元,并选择L条第二G等分线将边缘位置的编码子单元进行划分,其中,所述N为2或4;
其中,M大于0且小于N,L大于0,G大于1,L小于G。
CN202110706737.5A 2021-06-24 2021-06-24 编码单元的划分方法、编码方法、电子装置及存储介质 Pending CN113660490A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202110706737.5A CN113660490A (zh) 2021-06-24 2021-06-24 编码单元的划分方法、编码方法、电子装置及存储介质
PCT/CN2022/081024 WO2022267569A1 (en) 2021-06-24 2022-03-15 Systems and methods for block division in video processing
EP22827074.0A EP4183131A4 (en) 2021-06-24 2022-03-15 SYSTEMS AND METHODS FOR BLOCK SPLITTING IN VIDEO PROCESSING
US18/170,518 US20230209052A1 (en) 2021-06-24 2023-02-16 Systems and methods for block division in video processing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110706737.5A CN113660490A (zh) 2021-06-24 2021-06-24 编码单元的划分方法、编码方法、电子装置及存储介质

Publications (1)

Publication Number Publication Date
CN113660490A true CN113660490A (zh) 2021-11-16

Family

ID=78489037

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110706737.5A Pending CN113660490A (zh) 2021-06-24 2021-06-24 编码单元的划分方法、编码方法、电子装置及存储介质

Country Status (4)

Country Link
US (1) US20230209052A1 (zh)
EP (1) EP4183131A4 (zh)
CN (1) CN113660490A (zh)
WO (1) WO2022267569A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022267569A1 (en) * 2021-06-24 2022-12-29 Zhejiang Dahua Technology Co., Ltd. Systems and methods for block division in video processing

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017123980A1 (en) * 2016-01-15 2017-07-20 Qualcomm Incorporated Multi-type-tree framework for video coding
WO2018097626A1 (ko) * 2016-11-25 2018-05-31 주식회사 케이티 비디오 신호 처리 방법 및 장치
CN110913232A (zh) * 2019-11-29 2020-03-24 北京数码视讯软件技术发展有限公司 一种tu划分模式的选择方法及装置、可读存储介质
CN111149359A (zh) * 2017-09-20 2020-05-12 韩国电子通信研究院 用于对图像进行编码/解码的方法和装置以及存储有比特流的记录介质
CN111770340A (zh) * 2020-07-23 2020-10-13 腾讯科技(深圳)有限公司 视频编码方法、装置、设备以及存储介质
CN111988612A (zh) * 2020-08-28 2020-11-24 北京奇艺世纪科技有限公司 一种视频编码处理方法、装置及电子设备
WO2020256488A1 (ko) * 2019-06-19 2020-12-24 엘지전자 주식회사 크로마 블록의 크기를 제한하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
WO2021032171A1 (en) * 2019-08-21 2021-02-25 Zhejiang Dahua Technology Co., Ltd. Linear model prediction method and coder
CN112601084A (zh) * 2017-06-28 2021-04-02 华为技术有限公司 一种图像数据的编码、解码方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113660490A (zh) * 2021-06-24 2021-11-16 浙江大华技术股份有限公司 编码单元的划分方法、编码方法、电子装置及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017123980A1 (en) * 2016-01-15 2017-07-20 Qualcomm Incorporated Multi-type-tree framework for video coding
WO2018097626A1 (ko) * 2016-11-25 2018-05-31 주식회사 케이티 비디오 신호 처리 방법 및 장치
CN112601084A (zh) * 2017-06-28 2021-04-02 华为技术有限公司 一种图像数据的编码、解码方法及装置
CN111149359A (zh) * 2017-09-20 2020-05-12 韩国电子通信研究院 用于对图像进行编码/解码的方法和装置以及存储有比特流的记录介质
WO2020256488A1 (ko) * 2019-06-19 2020-12-24 엘지전자 주식회사 크로마 블록의 크기를 제한하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
WO2021032171A1 (en) * 2019-08-21 2021-02-25 Zhejiang Dahua Technology Co., Ltd. Linear model prediction method and coder
CN110913232A (zh) * 2019-11-29 2020-03-24 北京数码视讯软件技术发展有限公司 一种tu划分模式的选择方法及装置、可读存储介质
CN111770340A (zh) * 2020-07-23 2020-10-13 腾讯科技(深圳)有限公司 视频编码方法、装置、设备以及存储介质
CN111988612A (zh) * 2020-08-28 2020-11-24 北京奇艺世纪科技有限公司 一种视频编码处理方法、装置及电子设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022267569A1 (en) * 2021-06-24 2022-12-29 Zhejiang Dahua Technology Co., Ltd. Systems and methods for block division in video processing

Also Published As

Publication number Publication date
EP4183131A1 (en) 2023-05-24
EP4183131A4 (en) 2023-08-30
WO2022267569A1 (en) 2022-12-29
US20230209052A1 (en) 2023-06-29

Similar Documents

Publication Publication Date Title
US20220301229A1 (en) Point Cloud Encoding Method, Point Cloud Decoding Method, Encoder, and Decoder
US10341651B2 (en) Image coding method, decoding method, coding device and decoding device
WO2015032350A1 (zh) 一种使用块匹配的图像压缩方法和装置
CN109994038B (zh) 不规则区域内兴趣点确定方法、装置、电子设备
US20160330455A1 (en) Method device for image compression, having enhanced matching of fixed-width variable-length pixel samples strings
CN109409518A (zh) 神经网络模型处理方法、装置及终端
US11388442B2 (en) Point cloud encoding method, point cloud decoding method, encoder, and decoder
CN107294539B (zh) 一种准动态霍夫曼硬件编码器及编码方法
CN103379333B (zh) 编解码方法、视频序列码流的编解码方法及其对应的装置
US11429581B2 (en) Spatial-temporal query for cognitive IoT contexts
CN111260784A (zh) 一种城市三维空间网格压缩编码方法、装置及终端设备
CN108307192A (zh) 预测块的划分方法、编码设备和解码设备
CN107155093A (zh) 一种视频预览方法、装置及设备
CN113660490A (zh) 编码单元的划分方法、编码方法、电子装置及存储介质
CN110324668B (zh) 图像块编码中的变换方法、解码中的反变换方法及装置
CN108009111A (zh) 数据流连接方法及装置
CN114520916B (zh) 视频编码方法、装置、终端设备以及存储介质
CN111190896A (zh) 数据处理方法、装置、存储介质和计算机设备
CN113099269B (zh) 串匹配预测方法、编码和解码方法及相关设备、装置
CN115311399A (zh) 图像渲染方法、装置、电子设备以及存储介质
CN114697650A (zh) 基于下采样的帧内划分方法、相关装置设备及介质
US10075716B2 (en) Parallel encoding of weight refinement in ASTC image processing encoders
KR100718638B1 (ko) 16비트 칼라 엘씨디를 사용하는 휴대용 단말기의 사용자인터페이스를 위한 비손실 영상 압축의 전처리 방법과 이를위한 이동통신 단말장치
CN112511843B (zh) 视频编码方法、装置、终端设备以及存储介质
CN117436399B (zh) 电路原理图器件的自动布局方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20211116