CN113225563A - 映射方法、编码器、解码器以及计算机存储介质 - Google Patents
映射方法、编码器、解码器以及计算机存储介质 Download PDFInfo
- Publication number
- CN113225563A CN113225563A CN202110479770.9A CN202110479770A CN113225563A CN 113225563 A CN113225563 A CN 113225563A CN 202110479770 A CN202110479770 A CN 202110479770A CN 113225563 A CN113225563 A CN 113225563A
- Authority
- CN
- China
- Prior art keywords
- mip
- mode
- intra
- prediction mode
- image block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Error Detection And Correction (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
本申请实施例公开了一种映射方法、编码器、解码器以及计算机存储介质,该方法可以包括:判断对当前图像块进行编码或者解码时使用的帧内预测模式,如果帧内预测模式是MIP模式,将MIP模式映射为第一非MIP模式,如果帧内预测模式是非MIP模式,将非MIP模式映射为第二MIP模式。
Description
本申请是申请日为2019年06月25日,申请号为201980057204X,发明名称为“映射方法、编码器、解码器以及计算机存储介质”的申请的分案申请。
技术领域
本申请实施例涉及视频编码领域的帧内预测模式的映射技术,尤其涉及一种映射方法、编码器、解码器以及计算机存储介质。
背景技术
目前,由于基于矩阵的帧内预测(MIP,Matrix-based Intra Prediction)技术的引入,在多功能视频编码(VVC,Versatile Video Coding)中,需要进行非MIP模式和MIP模式之间的相互映射。具体地,在最可能模式列表(MPM,Most Probable Modes List)的构造过程和直接模式(DM,Direct Mode)获取过程中需要通过“MIP-传统映射表”将MIP模式映射为非MIP模式;在MIP_MPM列表构造过程中需要通过“65-33映射表”和“传统-MIP映射表”进行非MIP模式到MIP模式的映射。
然而,上述映射过程十分繁琐,增加了复杂度,同时由于在编解码端都要存储映射需要的全部表格,所以占用了一定的内存空间;由此可以看出,现有的MIP模式与非MIP模式之间的映射方法比较复杂,不利于提高编解码速率。
发明内容
本申请实施例提供一种映射方法、编码器、解码器、以及计算机存储介质,能够简化MIP模式与非MIP模式之间的映射,提高编解码速率。
本申请实施例的技术方案可以如下实现:
第一方面,本申请实施例提供一种映射方法,所述方法应用于编码器或者解码器中,所述方法包括:
判断对当前图像块进行编码或者解码时使用的帧内预测模式;
如果所述帧内预测模式是基于矩阵的帧内预测MIP模式,将所述MIP模式映射为第一非MIP模式;
如果所述帧内预测模式是非MIP模式,将所述非MIP模式映射为第二MIP模式;
其中,所述非MIP模式包含直流帧内预测模式、平面帧内预测模式和方向帧内预测模式;所述第一非MIP模式是在编码或者解码所述当前图像块之前预先设定的所述非MIP模式中的一种,所述第二MIP模式是在编码或者解码所述当前图像块之前预先设定的所述MIP模式中的一种。
第二方面,本申请实施例提供一种编码器,所述编码器包括:
第一判断模块,用于判断对当前图像块进行编码时使用的帧内预测模式;
第一映射模块,用于如果所述帧内预测模式是基于矩阵的帧内预测MIP模式,将所述MIP模式映射为第一非MIP模式;
第二映射模块,用于如果所述帧内预测模式是非MIP模式,将所述非MIP模式映射为第二MIP模式;
其中,所述非MIP模式包含直流帧内预测模式、平面帧内预测模式和方向帧内预测模式;所述第一非MIP模式是在编码所述当前图像块之前预先设定的所述非MIP模式中的一种,所述第二MIP模式是在编码所述当前图像块之前预先设定的所述MIP模式中的一种。
第三方面,本申请实施例提供一种编码器,所述编码器包括:
处理器以及存储有所述处理器可执行指令的存储介质,所述存储介质通过通信总线依赖所述处理器执行操作,当所述指令被所述处理器执行时,执行上述一个或多个实施例所述的映射方法。
第四方面,本申请实施例提供一种解码器,所述解码器包括:
第二判断模块,用于判断对当前图像块进行解码时使用的帧内预测模式;
第三映射模块,用于如果所述帧内预测模式是基于矩阵的帧内预测MIP模式,将所述MIP模式映射为第一非MIP模式;
第四映射模块,用于如果所述帧内预测模式是非MIP模式,将所述非MIP模式映射为第二MIP模式;
其中,所述非MIP模式包含直流帧内预测模式、平面帧内预测模式和方向帧内预测模式;所述第一非MIP模式是在解码所述当前图像块之前预先设定的所述非MIP模式中的一种,所述第二MIP模式是在解码所述当前图像块之前预先设定的所述MIP模式中的一种。
第五方面,本申请实施例提供一种解码器,所述解码器包括:
处理器以及存储有所述处理器可执行指令的存储介质,所述存储介质通过通信总线依赖所述处理器执行操作,当所述指令被所述处理器执行时,执行上述一个或多个实施例所述的映射方法。
第六方面,本申请实施例提供一种计算机可读存储介质,存储有可执行指令,当所述可执行指令被一个或多个处理器执行的时候,所述处理器执行上述一个或多个实施例所述的映射方法。
本申请实施例提供了一种映射方法、编码器、解码器以及计算机存储介质,该方法可以应用于编码器或者解码中,该方法可以包括:判断对当前图像块进行编码或者解码时使用的帧内预测模式,如果帧内预测模式是MIP模式,将MIP模式映射为第一非MIP模式,如果帧内预测模式是非MIP模式,将非MIP模式映射为第二MIP模式,其中,非MIP模式包含直流帧内预测模式、平面帧内预测模式和方向帧内预测模式;第一非MIP模式是在编码或者解码当前图像块之前预先设定的非MIP模式中的一种,第二MIP模式是在编码或者解码当前图像块之前预先设定的MIP模式中的一种;也就是说,在本申请实施例中,通过对当前图像块进行编码或者解码时使用的帧内预测模式的判断,得知帧内预测模式的类型,当使用的帧内预测模式是MIP模式时,将该MIP模式映射为预先设定的非MIP模式中的一种,当使用的帧内预测模式是MIP模式时,将该MIP模式映射为预先设定的MIP模式中的一种,这样,避免现有的映射方法中查询多个映射表,不需要存储映射需要的全部表格,节省了内存空间,从而简化了MIP模式与非MIP模式之间进行映射的复杂度,能够快速实现MIP模式与非MIP模式的映射,提高了编解码速率。
附图说明
图1为帧内预测中的67种预测模式的排布示意图;
图2为MIP模式进行编码的流程示意图;
图3为MIP列表的帧内模式进行编码的流程示意图;
图4为当前图像块的亮度图像块的上侧相邻图像块和左侧相邻图像块的排布示意图;
图5为ABOVE和LEFT的获取方法的流程示意图;
图6为ABOVE_MIP和LEFT_MIP的获取方法的流程示意图;
图7为确定DM模式的排布示意图;
图8为视频编码***的结构示意图;
图9为视频解码***的结构示意图;
图10为本申请实施例提供的一种可选的映射方法的流程示意图;
图11为本申请实施例提供的一种可选的获取LEFT和ABOVE的实例的流程示意图;
图12为本申请实施例提供的另一种可选的获取LEFT和ABOVE的实例的流程示意图;
图13为本申请实施例提供的一种可选的获取LEFT_MIP和ABOVE_MIP的实例的流程示意图;
图14为本申请实施例提供的另一种可选的获取LEFT_MIP和ABOVE_MIP的实例的流程示意图;
图15为本申请实施例提出的一种可选的编码器的结构示意图;
图16为本申请实施例提出的另一种可选的编码器的结构示意图;
图17为本申请实施例提出的一种可选的解码器的结构示意图;
图18为本申请实施例提出的另一种可选的解码器的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。可以理解的是,此处所描述的具体实施例仅仅用于解释相关申请,而非对该申请的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关申请相关的部分。
在视频图像中,在最新的多功能视频编解码(VVC,Versatile Video Coding)(draft5)中接受了在联合视频专家组(JVET,Joint Video Experts Team)-N0217中提出的仿射线性权重帧内预测技术(Affine Linear Weighted Intra Prediction),并更名为基于矩阵的帧内预测(MIP,Matrix-based Intra Prediction)技术,该技术针对帧内亮度编解码块大小的不同,在帧内亮度预测过程中增加了不同数量的基于矩阵的帧内预测模式。
为了捕捉自然视频中呈现的更精细的边缘方向,VVC中将视频压缩标准(HEVC,High Efficiency Video Coding)中定义的33种帧内亮度预测角度模式扩展到了65种,图1为帧内预测中的67种预测模式的排布示意图,如图1所示,箭头编号为2-66的表示65种帧内角度预测模式,另外还有两种非角度模式,即编号为0的平面帧内预测模式Planar和编号为1的直流帧内预测模式DC;所以,VVC中的帧内预测过程中包含两种非角度模式和65种角度模式,这里,将这67种预测模式称为帧内预测模式。
其中,MIP技术根据帧内亮度编解码块的大小将亮度块分为三类,设亮度块大小为W*H,则按照亮度块的大小可以将亮度块分为三类:
大小为4×4的亮度块为第一类亮度块的,大小为8×4,4×8和8×8的亮度块为第二类亮度块的,其他大小的亮度块为第三类亮度块。
针对这三种类型的帧内亮度编解码块,MIP技术在67种帧内预测模式的基础上增加了M种MIP模式:
针对第一类亮度块,M=35,针对第二类亮度块,M=19,针对第三类亮度块,M=11。
具体来说,MIP技术只应用于帧内亮度预测,与非MIP模式相同,MIP预测的输入也为当前块(相当于下述当前图像块)的上一行和左一列数据,输出为当前块的预测值,具体的预测过程分为三步:平均,矩阵向量乘法和插值,也就是说,通过对输入的上一行和左一列相邻像素点的重建亮度值进行这三步操作,就可以得到当前块的亮度预测值。
图2为MIP模式进行编码的流程示意图,如图2所示,具体实现如下:
第一步:对当前亮度块的上侧相邻参考点进行平均操作获得向量bdrytop,共N个值;对当前亮度块的左侧相邻参考点进行平均操作获得向量bdryleft,共N个值。当亮度块大小为第一类块时,N=2;当亮度块大小为第二类或第三类块时,N=4。向量bdrytop和向量bdryleft组成一个新的向量bdryred并进行后续操作;
第二步:通过模式号k获取对应的矩阵Ak和偏移量bk,通过下列公式(1)计算获得如图2中用交叉线标识的当前块的部分预测值:
Predred=Ak·bdryred+bk (1)
第三步:通过线性插值,获得当前图像块中剩余的预测值Predred。
另外,基于MIP技术的编码过程,要将帧内预测具体使用的哪一种编码模式写入到压缩码流中,解码端解析该模式信息,从而确定具体使用哪一种模式,是非MIP模式还是MIP模式;若是非MIP模式,具体是哪一种非MIP模式;若是MIP模式,具体是哪一种MIP模式。
需要说明的是,编码器在VVC的帧内预测中,对每个亮度块都会进行67个非MIP模式和M个MIP模式的率失真代价RDcost比较,选出最优模式(相当于下述最优帧内预测模式)并进行编码。
然而,在编码器和解码器中,为了节省比特开销,VVC中使用了基于MPM列表的帧内预测技术,图3为MPM列表的帧内模式进行编码的流程示意图,如图3所示,该方法可以包括:
S301:首先使用常规编码器进行编码mip_flag:若最优模式(相当于下述最优帧内预测模式)是MIP模式,则执行S302,否则执行S303;
S302:进行常规编码1,执行S304;
S304:构造MIP_MPM,执行S305;
S305:mip_flag为1,使用常规编码器编码mip_mpm_flag:若最优模式在MIP_MPM中,则执行S306,否则执行S307;
S306:进行常规编码1,执行S308;
S308:若mip_mpm_flag为1,则使用一元截断码编码在MIP_MPM列表中的位置:
若最优模式在MIP_MPM列表第一位:旁路编码0;
若最优模式在MIP_MPM列表第二位:旁路编码10;
若最优模式在MIP_MPM列表第三位:旁路编码11;
S307:若mip_mpm_flag为0,则更新最优模式编号,执行S309;
S309:所有模式去除MIP_MPM列表中模式后重新编号,执行S310;
S310:使用旁路编码器编码更新后的最优模式编号,结束。
S303:进行常规编码0,执行S311;
S311:mip_flag为0,常规编码使用0,1,3参考行,执行S312;
S312:是否使用1或3参考行,若为是,执行S313;若为否,执行S314;
S313:构造MPM,执行S321;
S314:判断最优模式是否为ISP模式?若为是,执行S315,若为否,执行S316;
S315:常规编码器编码isp_flag:编码ISP模式,执行S313;
S316:常规编码0,执行S317;
S317:构造MPM,执行S318;
S318:常规编码器编码mpm_flag:判断最优模式是否在MPM中?若为是,执行S319,若为否,执行S320;
S319:常规编码1,执行S321;
S320:常规编码0,执行S325;
S325:更新最优模式编号,所有模式去除MPM列表中模式后重新编号,执行S326;
S326:使用二元截断码编码更新后的最优模式编号,结束。
S321:判断最优模式是否为Planar模式?若为是,执行S322,若为否,执行S323;
S322:若最优模式在MPM列表第一位,则最优模式是PLANAR模式:常规编码0,结束。
S323:常规编码1,执行S324;
S324:mpm_flag为1,则使用一元截断码编码在MPM列表的位置:
若最优模式在MPM列表第二位:旁路编码10;
若最优模式在MPM列表第三位:旁路编码110;
若最优模式在MPM列表第四位:旁路编码1110;
若最优模式在MPM列表第五位:旁路编码11110;
若最优模式在MPM列表第六位:旁路编码11111。
需要注意的是,由于多参考行技术(extend reference line)和帧内子块划分技术(ISP,Itra Sub-Patitionar)只对MPM列表中的模式使用,所以当extend_ref_flag和isp_flag都为0时(即使用0参考行且不进行子块划分)不必编码mpm_flag,直接编码最优模式在MPM列表中的位置。
针对MPM列表和MIP_MPM列表的构造来说,在VVC亮度帧内预测中,若当前亮度块选中的最优模式是非MIP模式,则需要构造包含6个最可能非MIP模式的MPM列表;若当前亮度块选中的最优模式是MIP模式,则需要构造包含3个最可能MIP模式的MIP_MPM列表。
这里,图4为当前图像块的亮度图像块的上侧相邻图像块和左侧相邻图像块的排布示意图,如图4所示,上述两个列表都是根据如图4所示的当前亮度块(相当于下述当前图像块的亮度图像块)的上侧相邻图像块(A)和左侧相邻图像块(L)的最优模式进行推导的。
具体来说,针对MPM列表的构造来说,在VVC帧内预测中,若当前亮度块的最优模式是非MIP模式,则需要构造MPM列表。构造MPM列表的过程中,首先需要获取上侧相邻块最优模式所对应的非MIP模式ABOVE和左侧相邻块最优模式所对应的非MIP模式LEFT,图5为ABOVE和LEFT的获取方法的流程示意图,如图5所示,该获取方法可以包括:
S501:将左侧相邻块的最优模式所对应的非MIP模式LEFT和上侧相邻块的最优模式所对应的非MIP模式ABOVE初始化为默认值,其中,LEFT=0,ABOVE=0,执行S502;
S502:判断左侧相邻块是否存在?若存在,执行S503,若不存在,执行S507;
S503:判断左侧相邻块的最优模式是否为MIP模式?若为是,执行S505,若为否,执行S504;
S504:用左侧相邻块的模式的值更新LEFT,执行S507;
S505:通过“MIP-传统映射表”对最优模式进行映射,执行S506;
S506:用映射后的值更新LEFT,执行S507;
S507:判断上侧相邻块是否存在,且判断上侧相邻块与当前块是否在在同一编码树模块(CTU,Coding Tree Unit)之内,若均为是,执行S508,否则,结束。
S508:判断上侧相邻块的最优模式是否为MIP模式?若为是,执行S509,若为否,执行S511;
S509:通过“MIP-传统映射表”对最优模式进行映射,执行S510;
S510:用映射后的值更新ABOVE,结束。
S511:用上侧相邻块的模式的值更新ABOVE,结束。
其中,在获取到LEFT和ABOVE之后,按照如下方法进行MPM列表的构造,其中,涉及到Planar模式的编号为0,DC模式的编号为1,垂直模式的编号为50,水平模式的编号为18:
若LEFT和ABOVE均为非角度模式:
MPMlist={Planar,DC,VER,HOR,VER-4,VER+4};
若LEFT和ABOVE一个为角度模式(相当于下述方向帧内预测模式),一个为非角度模式,则设MAX为两者中编号较大的模式编号(即角度模式的编号):
MPMlist={Planar,MAX,DC,MAX-1,MAX+1,MAX-2};
若LEFT和ABOVE均为角度模式且不相同,则设MAX为两者中编号较大的模式编号:
若LEFT和ABOVE的差值在2到66之间:
MPMlist={Planar,LEFT,ABOVE,DC,MAX-1,MAX+1};
否则:
MPMlist={Planar,LEFT,ABOVE,DC,MAX-2,MAX+2};
若LEFT和ABOVE为相同的角度模式:
MPMlist={Planar,LEFT,LEFT-1,LEFT+1,DC,LEFT-2};
另外,针对MIP_MPM列表的构造来说,在VVC帧内预测中,若当前亮度块的最优模式是MIP模式,则需要构造MIP_MPM列表。构造MIP_MPM列表的过程中,首先需要获取上侧相邻块的最优模式所对应的MIP模式ABOVE_MIP和左侧相邻块的最优模式所对应的MIP模式LEFT_MIP模式,图6为ABOVE_MIP和LEFT_MIP的获取方法的流程示意图,如图6所示,该获取方法可以包括:
S601:将LEFT_MIP和ABOVE_MIP初始化为默认值-1(不可用),其中,LEFT_MIP=-1,ABOVE_MIP=-1,执行S602;
S602:判断左侧相邻块是否存在?若存在,执行S603,若不存在,执行S608;
S603:判断左侧相邻块的最优模式是否为MIP模式?若为是,执行S604,若为否,执行S606;
S604:判断左侧相邻块的类型和当前块的类型是否相同?若相同,执行S605,若不同,执行S608;
S605:用左侧相邻块的模式的值更新LEFT_MIP,执行S608;
S606:通过“传统-MIP映射表”对最优模式进行映射,执行S607;
S607:用映射后的值更新LEFT_MIP,执行S608;
S608:判断上侧相邻块是否存在,且判断上侧相邻块与当前块是否在在同一CTU之内,若均为是,执行S609,否则,结束。
S609:判断上侧相邻块的最优模式是否为MIP模式?若为是,执行S610,若为否,执行S612。
S610:判断上侧相邻块的类型和当前块的类型是否相同?若相同,执行S611,若不同,结束;
S611:用上侧相邻块的模式的值更新ABOVE_MIP,结束;
S612:通过“传统-MIP映射表”对最优模式进行映射,执行S613;
S613:用映射后的值更新ABOVE_MIP,结束。
另外,在获取到LEFT_MIP和ABOVE_MIP之后,按照如下方法进行包含3个最可能MIP_MPM模式的MIP_MPM列表的构造,其中,MIP_MPM中的编号为MIP模式的编号,编号范围为0至(M-1),对于第一类亮度块编号为0-34;对于第二类亮度块编号为0-18;对于第三类亮度块编号为0-10:
若LEFT_MIP可用(不为-1),将LEFT_MIP放入MIP_MPMlist中;
若ABOVE_MIP可用(不为-1),将ABOVE_MIP通过冗余检查后放入MIP_MPMlist中;
若LEFT_MIP不可用(为-1),ABOVE_MIP不可用(为-1),根据当前块的类型将默认列表通过冗余检查后添入直到补满MIP_MPMlist:
第一类亮度块默认列表为:{17,34,5};
第二类亮度块默认列表为:{0,7,16};
第三类亮度块默认列表为:{1,4,6}。
这里,需要补充的时,在VVC的色度帧内预测过程中有一种利用分量间相关性的直接模式(DM,Direct Mode),会使用当前亮度块对应的同位亮度块的中心位置的帧内预测模式来进行当前色度块的帧内预测,图7为确定DM模式的排布示意图,如图7所示,由于MIP技术只应用于亮度块,所以当图7中CR位置的帧内预测模式为MIP模式时,需要将该MIP模式通过“MIP-传统映射表”映射为非MIP模式,进行当前色度块的帧内预测。
也就是说,由于MIP技术的引入,在帧内预测过程中,在构建MIP_MPM列表中,需要将非MIP模式映射为MIP模式,在构建MPM列表和确定DM模式中,需要将MIP模式映射为非MIP模式。
然而,在实际应用中,由上述图6可以看出,在MIP_MPM列表构造过程需要使用到非MIP模式到MIP模式的映射,具体通过“传统-MIP映射表”将非MIP模式映射为MIP模式;具体来说,通过下列表1(“65-33映射表格”)先将65种角度模式(序号2~66)映射为33种角度模式(序号2~34),非角度模式编号不变。“65-33映射表格”如下表1所示:
表1
然后,通过“传统-MIP映射表”将33种角度模式转换为35/19/11种MIP模式,针对三种类型的亮度块,三种“传统-MIP映射表”如表2,表3和表4所示。
表2
表3
表4
另外,在MPM列表构造过程和DM模式的获取过程中需要使用到MIP模式到非MIP模式的映射。具体通过“MIP-传统映射表”将35/19/11种MIP模式映射为67种传统模式。针对三种类型的亮度块,三种“MIP-传统映射表”如表5,表6和表7所示。
表5
表6
表7
需要说明的是,上述表1-表7中的传统模式与本申请实施例中的非MIP模式等同。
图8为视频编码***的结构示意图,如图8所示,该视频编码***800包括变换与量化模块801、帧内估计模块802、帧内预测模块803、运动补偿模块804、运动估计模块805、反变换与反量化模块806、滤波器控制分析模块807、去方块滤波及样本自适应缩进(SAO,Sample Adaptive Offset)滤波模块808、头信息编码及基于上下文的自适应二进制算术编码(CABAC,Context-based Adaptive Binary Arithmatic Coding)编码模块809和解码图像缓存模块810等部件;图9为视频解码***的结构示意图,如图9所示,该视频解码***900包括头信息解码及CABAC解码模块901、反变换与反量化模块902、帧内预测模块903、运动补偿模块904、去方块滤波及SAO滤波模块905和解码图像缓存模块906等部件;视频图像经过视频编码***800中变换与量化模块801、帧内估计模块802、帧内预测模块803、运动补偿模块804、运动估计模块805、去方块滤波及SAO滤波模块808以及头信息编码及CABAC模块809等部分处理之后,输出该视频图像的码流;该码流输入视频解码***900中,经过视频解码***900中头信息解码及CABAC解码模块901、反变换与反量化模块902、帧内预测模块903以及运动补偿模块904等部分处理,最终恢复出原来的视频图像。
上述提出的“MIP-传统映射表”和“传统-MIP映射表”主要应用于视频编码中的帧内预测模块803和头信息编码及CABAC编码模块809中,和视频解码中的帧内预测模块903和头信息编码及CABAC解码模块909中,对编码端和解码端同时作用。
基于MIP技术的引入,在VVC中,需要进行非MIP模式和MIP模式之间的相互映射,具体的,在MIP_MPM列表构造过程中需要通过“65-33映射表”和“传统-MIP映射表”进行非MIP模式到MIP模式的映射;在MPM列表的构造过程和DM模式获取过程中需要通过“MIP-传统映射表”将MIP模式映射为非MIP模式,然而,这一映射过程十分繁琐,增加了复杂度,同时由于在编解码端都要存储映射需要的全部表格,所以占用了一定的内存空间。
本申请实施例提供一种映射方法,图10为本申请实施例提供的一种可选的映射方法的流程示意图,如图10所示,该方法可以应用于编码器或者解码器中,该方法可以包括:
S1001:判断对当前图像块进行编码或者解码时使用的帧内预测模式;
S1002:如果帧内预测模式是MIP模式,将MIP模式映射为第一非MIP模式;
S1003:如果帧内预测模式是非MIP模式,将非MIP模式映射为第二MIP模式;
其中,非MIP模式包含直流帧内预测模式DC、平面帧内预测模式Planar和方向帧内预测模式;第一非MIP模式是在编码或者解码当前图像块之前预先设定的非MIP模式中的一种,第二MIP模式是在编码或者解码当前图像块之前预先设定的MIP模式中的一种。
其中,方向预测模式可以为编号为2-66的65种角度预测模式。
要说明的是,上述当前图像块在编码器执行编码时可以称之为当前待编码图像块,在解码器执行解码时可以称之为当前待解码图像块,这里,本申请实施例不作具体限定。
基于上述映射的复杂度,为了降低映射的复杂度,以提高编解码的速率,在进行MIP模式与非MIP模式的映射时,例如,在进行MIP模式映射至非MIP模式时,直接将MIP模式映射为非MIP模式中预先指定的模式,或者非MIP模式映射至MIP模式时,直接将非MIP模式映射为MIP模式中预先指定的模式,这样,避免多次使用映射表格进行查询所带来的编解码复杂度,从而提高了编解码的速率。
需要说明的是,在实际应用中,在进行MIP模式映射至非MIP模式中,可以包括在DM模式的确定过程中需要将MIP模式映射至非MIP模式,还可以包括在构建MPM列表时需要将MIP模式映射至非MIP模式,在进行非MIP模式映射至MIP模式中,可以是在构建MIP_MPM列表时需要将非MIP模式映射至MIP模式;下面可以分三种使用场景对上述映射方法进行描述:
首先,在DM模式的确定过程中,为了确定出同位置的图像色度分量的帧内预测模式,在一种可选的实施例中,S1002可以包括:
当确定出对当前图像块的图像亮度分量进行编码或者解码的帧内预测模式属于MIP模式时,将对当前图像块的图像亮度分量进行编码或者解码的帧内预测模式映射为第一非MIP模式;
将第一非MIP模式确定为对当前图像块的图像色度分量进行编码或者解码的帧内预测模式,以对当前图像块的图像色度分量进行编码或者解码。
这里,在实际应用中,若已知图像亮度分量的帧内预测模式,且该帧内预测模式属于MIP模式时,不再通过“MIP-传统映射表”进行映射,而是直接将DM模式获取为第一非MIP模式,例如,第一非MIP模式可以为Planar或者DC,并进行当前图像块的图像色度分量的预测。
在构建MPM列表时,为了降低映射的复杂度,在一种可选的实施例中,S1002可以包括:
从当前图像块的已编码或者已解码图像块中,获取当前图像块的左侧相邻图像块和上侧相邻图像块;
当左侧相邻图像块的最优帧内预测模式属于MIP模式时,将左侧相邻图像块的最优帧内预测模式映射为第一非MIP模式,用第一非MIP模式的值更新左侧相邻图像块的最优帧内预测模式所对应的非MIP模式LEFT的值;
当上侧相邻图像块与当前图像块处于同一CTU中,且上侧相邻图像块的最优帧内预测模式属于MIP模式时,将上侧相邻图像块的最优帧内预测模式映射为第一非MIP模式,用第一非MIP模式的值更新上侧相邻图像块的最优帧内预测模式所对应的非MIP模式ABOVE的值;
根据LEFT的值和ABOVE的值,构建MPM列表以对当前图像块进行编码或者解码。
具体来说,首先,获取左侧相邻图像块和上侧相邻图像块,先判断左侧相邻图像块是否存在,当不存在时,维持LEFT的初始默认值0,若存在,且左侧相邻图像块的最优帧内预测模式属于MIP模式时,为了降低映射的复杂度,这里不使用映射表格来完成映射,而是直接将将左侧相邻图像块的最优帧内预测模式映射为第一非MIP模式,用第一非MIP模式的值更新LEFT的值,这样,可以确定出LEFT的值,这里得到的LEFT的值有可能为初始默认值,也有可能为对初始默认值进行更新后的值。
然后再去判断上侧相邻图像块是否存在,若存在,且上侧相邻图像块与当前图像块在同一CTU之内,且上侧相邻图像块的最优帧内预测模式属于MIP模式时,此事需要映射,为了降低映射的复杂度,这里不使用映射表格来完成映射,而是直接将上侧相邻图像块的最优帧内预测模式映射为第一非MIP模式,用第一非MIP模式的值更新ABOVE的值,这样,可以确定出ABOVE的值,这里得到的ABOVE的值有可能为初始默认值,也有可能为对初始默认值进行更新后的值。
最后,用LEFT的值和ABOVE的值来构建MPM列表。
另外,在构建MPM列表时,为了降低映射的复杂度,在一种可选的实施例中,S1002可以包括:
从当前图像块的已编码或者已解码图像块中,获取当前图像块的左侧相邻图像块和上侧相邻图像块;
当左侧相邻图像块的最优帧内预测模式属于MIP模式时,禁止映射,维持LEFT的值为默认值;
当上侧相邻图像块与当前图像块处于同一CTU中,且上侧相邻图像块的最优帧内预测模式属于MIP模式时,禁止映射,维持ABOVE的值为默认值;
根据LEFT的值和ABOVE的值,构建MPM列表以对当前图像块进行编码或者解码。
这里,在获取到左侧相邻图像块和上侧相邻图像块之后,在判断得到左侧相邻图像块的最优帧内预测模式属于MIP模式时,不仅不使用映射表格,还不对MIP模式进行映射,也就是说,禁止映射,那么,LEFT的值仍然为初始默认值0,相当于将MIP模式映射为第一非MIP模式为0的Planar,同样地,在判断得到上侧相邻图像块与当前图像块处于同一CTU中,且最优帧内预测模式属于MIP模式时,禁止映射,相当于将MIP模式映射为第一非MIP模式为0的Planar,那么,ABOVE的值仍然为初始默认值0。
最后,用LEFT的值和ABOVE的值来构建MPM列表。
另外,针对不需要映射的情况来说,在一种可选的实施例中,在从当前图像块的已编码或者已解码图像块中,获取当前图像块的左侧相邻图像块和上侧相邻图像块之后,在根据LEFT的值和ABOVE的值,构建MPM列表以对当前图像块进行编码或者解码之前,所述方法还包括:
当左侧相邻图像块的最优帧内预测模式属于非MIP模式时,用左侧相邻图像块的最优帧内预测模式的值更新LEFT的值;
当上侧相邻图像块与当前图像块处于同一CTU中,且上侧相邻图像块的最优帧内预测模式属于非MIP模式时,用上侧相邻图像块的最优帧内预测模式的值更新ABOVE的值。
也就是说,当左侧相邻图像块的最优帧内预测模式属于非MIP模式时,不需要进行映射,可以直接用左侧相邻图像块的最优帧内预测模式的值更新LEFT的值;同样地,当上侧相邻图像块与当前图像块处于同一CTU中,且上侧相邻图像块的最优帧内预测模式属于非MIP模式时,不需要进行映射时,可以直接用上侧相邻图像块的最优帧内预测模式的值更新ABOVE的值。
以第一模式为Planar模式为例,图11为本申请实施例提供的一种可选的获取LEFT和ABOVE的实例的流程示意图,如图11所示,该方法可以包括:
S1101:将LEFT和ABOVE初始化为默认值0,LEFT=0,ABOVE=0,执行S1102;
S1102:判断左侧相邻块(相当于上述左侧相邻图像块)是否存在,若存在,执行S1103,若不存在,执行S1106;
S1103:判断左侧相邻块的最优模式(相当于上述最优帧内预测模式)是否为MIP模式,若为是,执行S1105,若为否,执行S1104;
S1104:用左侧相邻块(相当于上述左侧相邻图像块)的最优模式为非MIP模式的值更新LEFT的值,执行S1106;
S1105:将LEFT的值更新为0,执行S1106;
S1106:判断上侧相邻块是否存在,且判断上侧相邻块与当前块(相当于上述当前图像块)是否在同一CTU内,若存在且在同一CTU内,执行S1107,否则,结束。
S1107:判断上侧相邻块的最优模式是否为MIP模式,若为是,执行S1108,若为否,执行S1109;
S1108:将ABOVE的值更新为0,结束。
S1109:用上侧相邻块的最优模式的值更新ABOVE的值,结束。
由于在MPM列表的构造过程中LEFT和ABOVE的默认值为0,可以将图11进行修改,得到图12,图12为本申请实施例提供的另一种可选的获取LEFT和ABOVE的实例的流程示意图,如图12所示,该方法可以包括:
S1201:将LEFT和ABOVE初始化为默认值0,LEFT=0,ABOVE=0,执行S1202;
S1202:判断左侧相邻块是否存在,若存在,执行S1203,若不存在,执行S1205;
S1203:判断左侧相邻块的最优模式是否为MIP模式,若为是,执行S1205,若为否,执行S1204;
S1204:用左侧相邻块的最优模式的值更新LEFT的值,执行S1205;
S1205:判断上侧相邻块是否存在,且判断上侧相邻块与当前块是否在同一CTU内,若存在且在同一CTU内,执行S1206,否则,结束。
S1206:判断上侧相邻块的最优模式是否为MIP模式,若为是,结束,若为否,执行S1207;
S1207:用上侧相邻块的最优模式的值更新ABOVE的值,结束。
在构建MIP_MPM列表时,为了降低映射的复杂度,在一种可选的实施例中,S1003可以包括:
从当前图像块的已编码或者已解码图像块中,获取当前图像块的左侧相邻图像块和上侧相邻图像块;
当左侧相邻图像块的最优帧内预测模式属于非MIP模式时,将左侧相邻图像块的最优帧内预测模式映射为第二MIP模式,用第二MIP模式的值更新左侧相邻图像块的最优帧内预测模式所对应的MIP模式LEFT_MIP的值;
当上侧相邻图像块与当前图像块在同一CTU内,且上侧相邻图像块的最优帧内预测模式属于非MIP模式时,将上侧相邻图像块的最优帧内预测模式映射为第二MIP模式,用第二MIP模式的值更新上侧相邻图像块的最优帧内预测模式所对应的MIP模式ABOVE_MIP的值;
根据LEFT_MIP的值和ABOVE_MIP的值,构建MIP_MPM列表以对当前图像块进行编码或者解码。
这里,在获取到左侧相邻图像块和上侧相邻图像块之后,先判断出左侧相邻图像块属于非MIP模式时,此时为了避免使用映射表格,将左侧相邻图像块的最优帧内预测模式映射为第二MIP模式,并用第二MIP模式的值更新LEFT_MIP的值;同样地,在判断上侧相邻图像块与当前图像块在同一CTU内,且上侧相邻图像块的最优帧内预测模式属于非MIP模式时,将上侧相邻图像块的最优帧内预测模式映射为第二MIP模式,并用第二MIP模式的值更新ABOVE_MIP的值;最后,用LEFT_MIP的值和ABOVE_MIP的值构建MIP_MPM列表以实现编码或者解码。
这样,不使用繁琐的映射表格,直接将非MIP模式映射为预先指定的MIP模式,降低了映射的复杂度,从而提高了编解码的速率。
在构建MIP_MPM列表时,为了降低映射的复杂度,在一种可选的实施例中,S1003可以包括:
从当前图像块的已编码或者已解码图像块中,获取当前图像块的左侧相邻图像块和上侧相邻图像块;
当左侧相邻图像块的最优帧内预测模式属于非MIP模式时,根据当前图像块的类型,确定第二MIP模式,将左侧相邻图像块的最优帧内预测模式映射为第二MIP模式,用第二MIP模式的值更新LEFT_MIP的值;
当上侧相邻图像块与当前图像块在同一CTU内时,且上侧相邻图像块的最优帧内预测模式属于所述非MIP模式时,根据当前图像块的类型,确定第二MIP模式,将上侧相邻图像块的最优帧内预测模式映射为第二MIP模式,用第二MIP模式的值更新ABOVE_MIP的值;
根据LEFT_MIP的值和ABOVE_MIP的值,构建MIP_MPM列表以对所述当前图像块进行编码或者解码。
也就是说,在获取到左侧相邻图像块和上侧相邻图像块之后,若判断得到左侧相邻图像块的最优帧内预测模式属于非MIP模式,此时需要映射,可以根据当前图像块的类型先确定第二MIP模式,例如,当前图像块属于第一类亮度块时,对应有MIP模式,当前图像块属于第二类亮度块时,对应有MIP模式,当前图像块属于第三类亮度块时,对应有MIP模式,这样,可以根据当前图像块的类型先确定出对应的MIP模式,即第二MIP模式,然后在将非MIP模式映射为确定出的对应的第二MIP模式,用对应的第二MIP模式的值更新LEFT_MIP的值;针对上侧相邻图像块的方法类似,这里不再赘述。
最后,用LEFT_MIP的值和ABOVE_MIP的值,构建MIP_MPM列表已完成对当前图像块的编解码。
在构建MIP_MPM列表时,为了降低映射的复杂度,在一种可选的实施例中,S1003可以包括:
从当前图像块的已编码或者已解码图像块中,获取当前图像块的左侧相邻图像块和上侧相邻图像块;
当左侧相邻图像块的最优帧内预测模式属于非MIP模式时,禁止映射,维持LEFT_MIP的值为默认值;
当上侧相邻图像块的最优帧内预测模式属于非MIP模式时,禁止映射,维持ABOVE_MIP的值为默认值;
根据LEFT_MIP的值和ABOVE_MIP的值,构建MIP_MPM列表以对当前图像块进行编码或者解码。
这里,在获取到左侧相邻图像块和上侧相邻图像块之后,若判断得到左侧相邻图像块的最优帧内预测模式属于非MIP模式,此时直接禁止映射,由于LEFT_MIP的默认值为-1,所以,使得LEFT_MIP=-1;同样地,针对上侧相邻图像块在需要映射时,禁止映射,使得LEFT_MIP=-1,如此,使得LEFT_MIP和LEFT_MIP均为不可用,然后可以根据当前块的类型将默认列表通过冗余检查后添入直到补满MIP_MPMlist,从而构建出MIP_MPM列表;这样,避免适应映射表格带来的编解码复杂度。
另外,在构建MIP_MPM列表时,针对不需要映射的情况来说,在一种可选的实施例中,在从当前图像块的已编码或者已解码图像块中,获取当前图像块的左侧相邻图像块和上侧相邻图像块之后,在根据LEFT_MIP的值和ABOVE_MIP的值,构建MIP_MPM列表以对当前图像块进行编码或者解码之前,该方法还包括:
当左侧相邻图像块的最优帧内预测模式属于MIP模式,且左侧相邻图像块的类型和当前图像块的类型相同时,用左侧相邻图像块的最优帧内预测模式的值更新LEFT_MIP的值;
当上侧相邻图像块与当前图像块在同一CTU内时,且上侧相邻图像块的最优帧内预测模式属于MIP模式,且上侧相邻图像块的类型和当前图像块的类型相同时,用上侧相邻图像块的最优帧内预测模式的值更新ABOVE_MIP的值。
也就是说,当左侧相邻图像块的最优帧内预测模式属于MIP模式,且左侧相邻图像块的类型和当前图像块的类型相同时,不需要映射,直接用左侧相邻图像块的最优帧内预测模式的值更新LEFT_MIP的值;同样地,针对上侧相邻图像块来说,在不需要映射时,直接用上侧相邻图像块的最优帧内预测模式的值更新ABOVE_MIP的值。
这样,可以得到更新后的LEFT_MIP的值和更新后的ABOVE_MIP的值,以构建MIP_MPM列表。
另外,在构建MIP_MPM列表时,针对不需要映射的情况来说,在一种可选的实施例中,在从当前图像块的已编码或者已解码图像块中,获取当前图像块的左侧相邻图像块和上侧相邻图像块之后,在根据LEFT_MIP的值和ABOVE_MIP的值,构建MIP_MPM列表以对当前图像块进行编码或者解码之前,该方法还包括:
当左侧相邻图像块的最优帧内预测模式属于MIP模式,且左侧相邻图像块的类型和当前图像块的类型不同时,将LEFT_MIP的值更新为第二MIP模式的值,或者,维持LEFT_MIP的值为默认值;
当上侧相邻图像块与当前图像块在同一CTU内时,且上侧相邻图像块的最优帧内预测模式属于MIP模式,且上侧相邻图像块的类型和当前图像块的类型不同时,将ABOVE_MIP的值更新为第二MIP模式的值,或者,维持ABOVE_MIP的值为默认值。
这里,针对左侧相邻图像块来说,当左侧相邻图像块的最优帧内预测模式属于MIP模式,且左侧相邻图像块的类型和当前图像块的类型不同时,此时不需要映射,这里,可以将LEFT_MIP的值更新为第二MIP模式的值,或者维持LEFT_MIP的值为默认值,以实现对LEFT_MIP值的更新,有利于构建MIP_MPM列表;同样的,针对上侧相邻图像块来说,当上侧相邻图像块与当前图像块在同一CTU内时,且上侧相邻图像块的最优帧内预测模式属于MIP模式,且上侧相邻图像块的类型和当前图像块的类型不同时,此时不需要映射,这里,可以将ABOVE_MIP的值更新为第二MIP模式的值,或者维持ABOVE_MIP的值为默认值,以实现对ABOVE_MIP值的更新,有利于构建MIP_MPM列表。
以第二模式为Planar模式为例,图13为本申请实施例提供的一种可选的获取LEFT_MIP和ABOVE_MIP的实例的流程示意图,如图13所示。该方法可以包括:
S1301:将LEFT_MIP和ABOVE_MIP初始化为默认值-1,LEFT_MIP=-1,ABOVE_MIP=-1,执行S1302;
S1302:判断左侧相邻块是否存在,若存在,执行S1303,若不存在,执行S1307;
S1303:判断左侧相邻块的最优模式是否为MIP模式,若为是,执行S1304,若为否,执行S1306;
S1304:判断左侧相邻块的类型和当前块的类型是否相同,若相同,执行S1305;若不同,执行S1307;
S1305:用左侧相邻块的最优模式的值更新LEFT_MIP的值,执行S1307;
S1306:将LEFT_MIP的值更新为0,执行S1307;
S1307:判断上侧相邻块是否存在,且判断上侧相邻块与当前块是否在同一CTU内,若存在且在同一CTU内,执行S1308,否则,结束。
S1308:判断上侧相邻块的最优模式是否为MIP模式,若为是,执行S1309,若为否,执行S1311;
S1309:判断上侧相邻块的类型和当前块的类型是否相同,若相同,执行S1310,若不同,结束。
S1310:用上侧相邻块的最优模式的值更新ABOVE_MIP的值,结束。
S1311:将ABOVE_MIP的值更新为0,结束。
仍然以第二模式为Planar模式为例,图14为本申请实施例提供的另一种可选的获取LEFT_MIP和ABOVE_MIP的实例的流程示意图,如图14所示,该方法可以包括:
S1401:将LEFT_MIP和ABOVE_MIP初始化为默认值-1,LEFT_MIP=-1,ABOVE_MIP=-1,执行S1402;
S1402:判断左侧相邻块是否存在,若存在,执行S1403,若不存在,执行S1407;
S1403:判断左侧相邻块的最优模式是否为MIP模式,若为是,执行S1404,若为否,执行S1406;
S1404:判断左侧相邻块的类型和当前块的类型是否相同,若相同,执行S1405;若不同,执行S1406;
S1405:用左侧相邻块的最优模式的值更新LEFT_MIP的值,执行S1407;
S1406:将LEFT_MIP的值更新为0,执行S1407;
S1407:判断上侧相邻块是否存在,且判断上侧相邻块与当前块是否在同一CTU内,若存在且在同一CTU内,执行S1408,否则,结束。
S1408:判断上侧相邻块的最优模式是否为MIP模式,若为是,执行S1409,若为否,执行S1411;
S1409:判断上侧相邻块的类型和当前块的类型是否相同,若相同,执行S1410,若不同,执行S1411。
S1410:用上侧相邻块的最优模式的值更新ABOVE_MIP的值,结束。
S1411:将ABOVE_MIP的值更新为0,结束。
另外,在构建MIP_MPM列表时,针对不需要映射的情况来说,在一种可选的实施例中,在从当前图像块的已编码或者已解码图像块中,获取当前图像块的左侧相邻图像块和上侧相邻图像块之后,在根据LEFT_MIP的值和ABOVE_MIP的值,构建MIP_MPM列表以对当前图像块进行编码或者解码之前,该方法还包括:
当左侧相邻图像块的最优帧内预测模式属于MIP模式,且左侧相邻图像块的类型和当前图像块的类型不同时,根据左侧相邻图像块的类型和当前图像块的类型,确定第二MIP模式,用第二MIP模式的值更新LEFT_MIP的值;
当上侧相邻图像块与当前图像块在同一CTU内时,且上侧相邻图像块的最优帧内预测模式属于MIP模式时,且左侧相邻图像块的类型和当前图像块的类型不同时,根据上侧相邻图像块的类型和当前图像块的类型,确定第二MIP模式,用第二MIP模式的值更新ABOVE_MIP的值。
这里,针对不需要映射的场景,可以根据左侧相邻图像块的类型和当前图像块的类型之间的组合类型,来确定第二MIP模式,例如,当左侧相邻图像块为第一类亮度块,当前图像块为第二类亮度值时,对应的第二模式为Planar模式,当左侧相邻图像块为第一类亮度块,当前图像块为第三类亮度值时,对应的第二MIP模式为DC模式,类似地,可以预先确定好不同类型的组合对应的第二MIP模式的值,从而确定出第二MIP模式,然后在不要映射时,用第二MIP模式的值更新LEFT_MIP的值和ABOVE_MIP的值。
需要说明的是,上述DM模式和MPM列表的构建中使用的映射,与MIP_MPM列表的构建中使用的映射可以互相组合成多个编解码方法,均属于本申请所保护的范围之内,这里,本申请实施例对上述组合方式不作具体阐述。
另外,本申请实施例中DM模式和MPM列表的构建中使用的映射,与MIP_MPM列表的构建中使用的映射不仅可以应用于编码器中,同样可以应用于解码器中,这里,不再赘述。
本申请实施例提供了一种映射方法,该方法可以应用于编码器或者解码中,该方法可以包括:判断对当前图像块进行编码或者解码时使用的帧内预测模式,如果帧内预测模式是MIP模式,将MIP模式映射为第一非MIP模式,如果帧内预测模式是非MIP模式,将非MIP模式映射为第二MIP模式,其中,非MIP模式包含直流帧内预测模式、平面帧内预测模式和方向帧内预测模式;第一非MIP模式是在编码或者解码当前图像块之前预先设定的非MIP模式中的一种,第二MIP模式是在编码或者解码当前图像块之前预先设定的MIP模式中的一种;也就是说,在本申请实施例中,通过对当前图像块进行编码或者解码时使用的帧内预测模式的判断,得知帧内预测模式的类型,当使用的帧内预测模式是MIP模式时,将该MIP模式映射为预先设定的非MIP模式中的一种,当使用的帧内预测模式是MIP模式时,将该MIP模式映射为预先设定的MIP模式中的一种,这样,避免现有的映射方法中查询多个映射表,不需要存储映射需要的全部表格,节省了内存空间,从而简化了MIP模式与传统模式之间进行映射的复杂度,能够快速实现MIP模式与传统模式的映射,提高了编解码速率。
实施例二
基于同一发明构思下,图15为本申请实施例提出的一种可选的编码器的结构示意图,如图15所示,本申请实施例提出的编码器可以包括第一映射模块151。
第一判断模块151,用于判断对当前图像块进行编码时使用的帧内预测模式;
第一映射模块152,用于如果帧内预测模式是MIP模式,将MIP模式映射为第一非MIP模式;
第二映射模块153,用于如果帧内预测模式是非MIP模式,将非MIP模式映射为第二MIP模式;
其中,非MIP模式包含直流帧内预测模式、平面帧内预测模式和方向帧内预测模式;第一非MIP模式是在编码当前图像块之前预先设定的非MIP模式中的一种,第二MIP模式是在编码当前图像块之前预先设定的MIP模式中的一种。
进一步地,在本申请的实施例中,第一映射模块152,具体用于:
当确定出对当前图像块的图像亮度分量进行编码的帧内预测模式属于MIP模式时,将对当前图像块的图像亮度分量进行编码的帧内预测模式映射为第一非MIP模式;
将第一非MIP模式确定为对当前图像块的图像色度分量进行编码的帧内预测模式,以对当前图像块的图像色度分量进行编码。
进一步地,第一映射模块152,具体用于:
从当前图像块的已编码图像块中,获取当前图像块的左侧相邻图像块和上侧相邻图像块;
当左侧相邻图像块的最优帧内预测模式属于MIP模式时,将左侧相邻图像块的最优帧内预测模式映射为第一非MIP模式,用第一非MIP模式的值更新左侧相邻图像块的最优帧内预测模式所对应的非MIP模式LEFT的值;
当上侧相邻图像块与当前图像块处于同一CTU中,且上侧相邻图像块的最优帧内预测模式属于MIP模式时,将上侧相邻图像块的最优帧内预测模式映射为第一非MIP模式,用第一非MIP模式的值更新上侧相邻图像块的最优帧内预测模式所对应的非MIP模式ABOVE的值;
根据LEFT的值和ABOVE的值,构建MPM列表以对当前图像块进行编码。
进一步地,第一映射模块152,具体用于:
从当前图像块的已编码图像块中,获取当前图像块的左侧相邻图像块和上侧相邻图像块;
当左侧相邻图像块的最优帧内预测模式属于MIP模式时,禁止映射,维持左侧相邻图像块的最优帧内预测模式所对应的非MIP模式LEFT的值为默认值;
当上侧相邻图像块与当前图像块处于同一CTU中,且上侧相邻图像块的最优帧内预测模式属于MIP模式时,禁止映射,维持上侧相邻图像块的最优帧内预测模式所对应的非MIP模式ABOVE的值为默认值;
根据LEFT的值和ABOVE的值,构建MPM列表以对当前图像块进行编码。
进一步地,第一映射模块152,还具体用于:
在从当前图像块的已编码图像块中,获取当前图像块的左侧相邻图像块和上侧相邻图像块之后,在根据LEFT的值和ABOVE的值,构建MPM列表以对当前图像块进行编码之前,当左侧相邻图像块的最优帧内预测模式属于非MIP模式时,用左侧相邻图像块的最优帧内预测模式的值更新LEFT的值;
当上侧相邻图像块与当前图像块处于同一CTU中,且上侧相邻图像块的最优帧内预测模式属于非MIP模式时,用上侧相邻图像块的最优帧内预测模式的值更新ABOVE的值。
进一步地,第二映射模块153,具体用于:
从当前图像块的已编码图像块中,获取当前图像块的左侧相邻图像块和上侧相邻图像块;
当左侧相邻图像块的最优帧内预测模式属于非MIP模式时,将左侧相邻图像块的最优帧内预测模式映射为第二MIP模式,用第二MIP模式的值更新左侧相邻图像块的最优帧内预测模式所对应的MIP模式LEFT_MIP的值;
当上侧相邻图像块与当前图像块在同一CTU内,且上侧相邻图像块的最优帧内预测模式属于非MIP模式时,将上侧相邻图像块的最优帧内预测模式映射为第二MIP模式,用第二MIP模式的值更新上侧相邻图像块的最优帧内预测模式所对应的MIP模式ABOVE_MIP的值;
根据LEFT_MIP的值和ABOVE_MIP的值,构建MIP_MPM列表以对当前图像块进行编码。
进一步地,第二映射模块153,具体用于:
从当前图像块的已编码图像块中,获取当前图像块的左侧相邻图像块和上侧相邻图像块;
当左侧相邻图像块的最优帧内预测模式属于非MIP模式时,根据当前图像块的类型,确定第二MIP模式,将左侧相邻图像块的最优帧内预测模式映射为第二MIP模式,用第二MIP模式的值更新左侧相邻图像块的最优帧内预测模式所对应的MIP模式LEFT_MIP的值;
当上侧相邻图像块与当前图像块在同一CTU内,且上侧相邻图像块的最优帧内预测模式属于非MIP模式时,根据当前图像块的类型,确定第二MIP模式,将上侧相邻图像块的最优帧内预测模式映射为第二MIP模式,用第二MIP模式的值更新上侧相邻图像块的最优帧内预测模式所对应的MIP模式ABOVE_MIP的值;
根据LEFT_MIP的值和ABOVE_MIP的值,构建MIP_MPM列表以对当前图像块进行编码。
进一步地,第二映射模块153,具体用于:
从当前图像块的已编码图像块中,获取当前图像块的左侧相邻图像块和上侧相邻图像块;
当左侧相邻图像块的最优帧内预测模式属于非MIP模式时,禁止映射,维持左侧相邻图像块的最优帧内预测模式所对应的MIP模式LEFT_MIP的值为默认值;
当上侧相邻图像块与当前图像块在同一CTU内,且上侧相邻图像块的最优帧内预测模式属于非MIP模式时,禁止映射,维持上侧相邻图像块的最优帧内预测模式所对应的MIP模式ABOVE_MIP的值为默认值;
根据LEFT_MIP的值和ABOVE_MIP的值,构建MIP_MPM列表以对当前图像块进行编码。
进一步地,第二映射模块153,还具体用于:
在从当前图像块的已编码图像块中,获取当前图像块的左侧相邻图像块和上侧相邻图像块之后,在根据LEFT_MIP的值和ABOVE_MIP的值,构建MIP_MPM列表以对当前图像块进行编码之前,当左侧相邻图像块的最优帧内预测模式属于MIP模式,且左侧相邻图像块的类型和当前图像块的类型相同时,用左侧相邻图像块的最优帧内预测模式的值更新LEFT_MIP的值;
当上侧相邻图像块与当前图像块在同一CTU内,且上侧相邻图像块的最优帧内预测模式属于MIP模式,且上侧相邻图像块的类型和当前图像块的类型相同时,用上侧相邻图像块的最优帧内预测模式的值更新ABOVE_MIP的值。
进一步地,第二映射模块153,还具体用于:
在从当前图像块的已编码图像块中,获取当前图像块的左侧相邻图像块和上侧相邻图像块之后,在根据LEFT_MIP的值和ABOVE_MIP的值,构建MIP_MPM列表以对当前图像块进行编码之前,当左侧相邻图像块的最优帧内预测模式属于MIP模式,且左侧相邻图像块的类型和当前图像块的类型不同时,将LEFT_MIP的值更新为第二MIP模式的值,或者,维持LEFT_MIP的值为默认值;
当上侧相邻图像块与当前图像块在同一CTU内,且上侧相邻图像块的最优帧内预测模式属于MIP模式,且上侧相邻图像块的类型和当前图像块的类型不同时,将ABOVE_MIP的值更新为第二MIP模式的值,或者,维持ABOVE_MIP的值为默认值。
进一步地,第二映射模块153,还具体用于:
在从当前图像块的已编码图像块中,获取当前图像块的左侧相邻图像块和上侧相邻图像块之后,在根据LEFT_MIP的值和ABOVE_MIP的值,构建MIP_MPM列表以对当前图像块进行编码之前,当左侧相邻图像块的最优帧内预测模式属于MIP模式,且左侧相邻图像块的类型和当前图像块的类型不同时,根据左侧相邻图像块的类型和当前图像块的类型,确定第二MIP模式,用第二MIP模式的值更新LEFT_MIP的值;
当上侧相邻图像块的最优帧内预测模式属于MIP模式时,且左侧相邻图像块的类型和当前图像块的类型不同时,根据上侧相邻图像块的类型和当前图像块的类型,确定第二MIP模式,用第二MIP模式的值更新ABOVE_MIP的值。
图16为本申请实施例提出的另一种可选的编码器的结构示意图,如图16所示,本申请实施例提出的编码器1600还可以包括处理器161以及存储有处理器161可执行指令的存储介质162,存储介质162通过通信总线163依赖处理器161执行操作,当指令被处理器161执行时,执行上述一个或多个实施例所述的映射方法。
需要说明的是,实际应用时,编码器中的各个组件通过通信总线163耦合在一起。可理解,通信总线163用于实现这些组件之间的连接通信。通信总线163除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图16中将各种总线都标为通信总线163。
基于同一发明构思下,图17为本申请实施例提出的一种可选的解码器的结构示意图,如图17所示,该解码器可以包括:
第二判断模块171,用于判断对当前图像块进行解码时使用的帧内预测模式;
第三映射模块172,用于如果帧内预测模式是MIP模式,将MIP模式映射为第一非MIP模式;
第四映射模块173,用于如果帧内预测模式是非MIP模式,将非MIP模式映射为第二MIP模式;
其中,非MIP模式包含直流帧内预测模式、平面帧内预测模式和方向帧内预测模式;第一非MIP模式是在解码当前图像块之前预先设定的非MIP模式中的一种,第二MIP模式是在解码当前图像块之前预先设定的MIP模式中的一种。
进一步地,在本申请的实施例中,第三映射模块172,具体用于:
当确定出对当前图像块的图像亮度分量进行解码的帧内预测模式属于MIP模式时,将对当前图像块的图像亮度分量进行解码的帧内预测模式映射为第一非MIP模式;
将第一非MIP模式确定为对当前图像块的图像色度分量进行解码的帧内预测模式,以对当前图像块的图像色度分量进行解码。
进一步地,第三映射模块172,具体用于:
从当前图像块的已解码图像块中,获取当前图像块的左侧相邻图像块和上侧相邻图像块;
当左侧相邻图像块的最优帧内预测模式属于MIP模式时,将左侧相邻图像块的最优帧内预测模式映射为第一非MIP模式,用第一非MIP模式的值更新左侧相邻图像块的最优帧内预测模式所对应的非MIP模式LEFT的值;
当上侧相邻图像块与当前图像块处于同一CTU中,且上侧相邻图像块的最优帧内预测模式属于MIP模式时,将上侧相邻图像块的最优帧内预测模式映射为第一非MIP模式,用第一非MIP模式的值更新上侧相邻图像块的最优帧内预测模式所对应的非MIP模式ABOVE的值;
根据LEFT的值和ABOVE的值,构建MPM列表以对当前图像块进行解码。
进一步地,第三映射模块172,具体用于:
从当前图像块的已编码图像块中,获取当前图像块的左侧相邻图像块和上侧相邻图像块;
当左侧相邻图像块的最优帧内预测模式属于MIP模式时,禁止映射,维持左侧相邻图像块的最优帧内预测模式所对应的非MIP模式LEFT的值为默认值;
当上侧相邻图像块与当前图像块处于同一CTU中,且上侧相邻图像块的最优帧内预测模式属于MIP模式时,禁止映射,维持上侧相邻图像块的最优帧内预测模式所对应的非MIP模式ABOVE的值为默认值;
根据LEFT的值和ABOVE的值,构建MPM列表以对当前图像块进行解码。
进一步地,第三映射模块172,还具体用于:
在从当前图像块的已解码图像块中,获取当前图像块的左侧相邻图像块和上侧相邻图像块之后,在根据LEFT的值和ABOVE的值,构建MPM列表以对当前图像块进行解码之前,当左侧相邻图像块的最优帧内预测模式属于非MIP模式时,用左侧相邻图像块的最优帧内预测模式的值更新LEFT的值;
当上侧相邻图像块与当前图像块处于同一CTU中,且上侧相邻图像块的最优帧内预测模式属于非MIP模式时,用左侧相邻图像块的最优帧内预测模式的值更新ABOVE的值。
进一步地,第四映射模块173,具体用于:
从当前图像块的已解码图像块中,获取当前图像块的左侧相邻图像块和上侧相邻图像块;
当左侧相邻图像块的最优帧内预测模式属于非MIP模式时,将左侧相邻图像块的最优帧内预测模式映射为第二MIP模式,用第二MIP模式的值更新左侧相邻图像块的最优帧内预测模式所对应的MIP模式LEFT_MIP的值;
当上侧相邻图像块与当前图像块在同一CTU内,且上侧相邻图像块的最优帧内预测模式属于非MIP模式时,将上侧相邻图像块的最优帧内预测模式映射为第二MIP模式,用第二MIP模式的值更新上侧相邻图像块的最优帧内预测模式所对应的MIP模式ABOVE_MIP的值;
根据LEFT_MIP的值和ABOVE_MIP的值,构建MIP_MPM列表以对当前图像块进行解码。
进一步地,第四映射模块173,具体用于:
从当前图像块的已编码图像块中,获取当前图像块的左侧相邻图像块和上侧相邻图像块;
当左侧相邻图像块的最优帧内预测模式属于非MIP模式时,根据当前图像块的类型,确定第二MIP模式,将左侧相邻图像块的最优帧内预测模式映射为第二MIP模式,用第二MIP模式的值更新左侧相邻图像块的最优帧内预测模式所对应的MIP模式LEFT_MIP的值;
当上侧相邻图像块与当前图像块在同一CTU内,且上侧相邻图像块的最优帧内预测模式属于非MIP模式时,根据当前图像块的类型,确定第二MIP模式,将上侧相邻图像块的最优帧内预测模式映射为第二MIP模式,用第二MIP模式的值更新上侧相邻图像块的最优帧内预测模式所对应的MIP模式ABOVE_MIP的值;
根据LEFT_MIP的值和ABOVE_MIP的值,构建MIP_MPM列表以对当前图像块进行解码。
进一步地,第四映射模块173,具体用于:
从当前图像块的已解码图像块中,获取当前图像块的左侧相邻图像块和上侧相邻图像块;
当左侧相邻图像块的最优帧内预测模式属于非MIP模式时,禁止映射,维持左侧相邻图像块的最优帧内预测模式所对应的MIP模式LEFT_MIP的值为默认值;
当上侧相邻图像块与当前图像块在同一CTU内,且上侧相邻图像块的最优帧内预测模式属于非MIP模式时,禁止映射,维持上侧相邻图像块的最优帧内预测模式所对应的MIP模式ABOVE_MIP的值为默认值;
根据LEFT_MIP的值和ABOVE_MIP的值,构建MIP_MPM列表以对当前图像块进行解码。
进一步地,第四映射模块173,还用于:
在从当前图像块的已解码图像块中,获取当前图像块的左侧相邻图像块和上侧相邻图像块之后,在根据LEFT_MIP的值和ABOVE_MIP的值,构建MIP_MPM列表以对当前图像块进行解码之前,当左侧相邻图像块的最优帧内预测模式属于MIP模式,且左侧相邻图像块的类型和当前图像块的类型相同时,用左侧相邻图像块的最优帧内预测模式的值更新LEFT_MIP的值;
当上侧相邻图像块与当前图像块在同一CTU内,且上侧相邻图像块的最优帧内预测模式属于MIP模式,且上侧相邻图像块的类型和当前图像块的类型相同时,用上侧相邻图像块的最优帧内预测模式的值更新ABOVE_MIP的值。
进一步地,第四映射模块173,还具体用于:
在从当前图像块的已解码图像块中,获取当前图像块的左侧相邻图像块和上侧相邻图像块之后,在根据LEFT_MIP的值和ABOVE_MIP的值,构建MIP_MPM列表以对当前图像块进行解码之前,当左侧相邻图像块的最优帧内预测模式属于MIP模式,且左侧相邻图像块的类型和当前图像块的类型不同时,将LEFT_MIP的值更新为第二MIP模式的值,或者,维持LEFT_MIP的值为默认值;
当上侧相邻图像块与当前图像块在同一CTU内,且上侧相邻图像块的最优帧内预测模式属于MIP模式,且上侧相邻图像块的类型和当前图像块的类型不同时,将ABOVE_MIP的值更新为第二MIP模式的值,或者,维持ABOVE_MIP的值为默认值。
进一步地,第四映射模块173,还具体用于:
在从当前图像块的已解码图像块中,获取当前图像块的左侧相邻图像块和上侧相邻图像块之后,在根据LEFT_MIP的值和ABOVE_MIP的值,构建MIP_MPM列表以对当前图像块进行解码之前,当左侧相邻图像块的最优帧内预测模式属于MIP模式,且左侧相邻图像块的类型和当前图像块的类型不同时,根据左侧相邻图像块的类型和当前图像块的类型,确定第二MIP模式,用第二MIP模式的值更新LEFT_MIP的值;
当上侧相邻图像块的最优帧内预测模式属于MIP模式时,且左侧相邻图像块的类型和当前图像块的类型不同时,根据上侧相邻图像块的类型和当前图像块的类型,确定第二MIP模式,用第二MIP模式的值更新ABOVE_MIP的值。
图18为本申请实施例提出的另一种可选的解码器的结构示意图,如图18所示,本申请实施例提出的解码器1800还可以包括处理器181以及存储有处理器181可执行指令的存储介质182,存储介质182通过通信总线183依赖处理器181执行操作,当指令被处理器181执行时,执行上述一个或多个实施例所述的映射方法。
需要说明的是,实际应用时,解码器中的各个组件通过通信总线183耦合在一起。可理解,通信总线183用于实现这些组件之间的连接通信。通信总线183除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图18中将各种总线都标为通信总线183。
本申请实施例提供了一种计算机存储介质,存储有可执行指令,当所述可执行指令被一个或多个处理器执行的时候,所述处理器执行上述一个或多个实施例所述的映射方法。
可以理解,本申请实施例中的存储器可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(Read-Only Memory,ROM)、可编程只读存储器(Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、电可擦除可编程只读存储器(Electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(Static RAM,SRAM)、动态随机存取存储器(Dynamic RAM,DRAM)、同步动态随机存取存储器(Synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data RateSDRAM,DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM,SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM,DRRAM)。本文描述的***和方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
而处理器可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(FieldProgrammable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述方法的步骤。
可以理解的是,本文描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现,处理模块可以实现在一个或多个专用集成电路(ApplicationSpecific Integrated Circuits,ASIC)、数字信号处理器(Digital Signal Processing,DSP)、数字信号处理设备(DSP Device,DSPD)、可编程逻辑设备(Programmable LogicDevice,PLD)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子模块或其组合中。
对于软件实现,可通过执行本文所述功能的模块(例如过程、函数等)来实现本文所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机、计算机、服务器、或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,这些均属于本申请的保护之内。
工业实用性
本申请实施例提供了一种映射方法、编码器、解码器以及计算机存储介质,判断对当前图像块进行编码或者解码时使用的帧内预测模式,如果帧内预测模式是MIP模式,将MIP模式映射为第一非MIP模式,如果帧内预测模式是非MIP模式,将非MIP模式映射为第二MIP模式,提高编解码速率。
Claims (22)
1.一种图像解码方法,应用于解码器中,其特征在于,所述方法包括:
确定对当前图像块解码所要使用的帧内预测模式;
如果所述帧内预测模式是基于矩阵的帧内预测MIP模式,使用所述MIP模式作为所述当前图像块的图像亮度分量的帧内预测模式;
将所述MIP模式映射为第一非MIP模式,所述第一非MIP模式用于确定所述当前图像块的图像色度分量的帧内预测模式;其中,所述第一非MIP模式是在解码所述当前图像块之前预先设定的非MIP模式中的一种,所述非MIP模式包括直流帧内预测模式、平面帧内预测模式或方向帧内预测模式;
使用所述图像亮度分量的帧内预测模式和所述图像色度分量的帧内预测模式解码所述当前图像块。
2.根据权利要求1所述的方法,其特征在于,所述第一非MIP模式为所述平面帧内预测模式。
3.根据权利要求1或2所述的方法,其特征在于,确定对当前图像块解码所要使用的帧内预测模式包括:
解析在码流中携带的编码模式信息,所述编码模式信息用于指示所述帧内预测模式。
4.根据权利要求1或2所述的方法,其特征在于,将所述MIP模式映射为第一非MIP模式,所述第一非MIP模式用于确定所述当前图像块的图像色度分量的帧内预测模式,包括:
使用所述第一非MIP模式作为确定所述当前图像块的图像色度分量的帧内预测模式的一个参数。
5.根据权利要求1或2所述的方法,其特征在于,所述第一非MIP模式用于确定所述当前图像块的图像色度分量的帧内预测模式包括:
将所述第一非MIP模式作为所述当前图像块的图像色度分量的帧内预测模式。
6.一种解码器,其特征在于,包括:
确定模块,用于确定对当前图像块解码所要使用的帧内预测模式;
映射模块,用于:如果所述帧内预测模式是基于矩阵的帧内预测MIP模式,使用所述MIP模式作为所述当前图像块的图像亮度分量的帧内预测模式;将所述MIP模式映射为第一非MIP模式,所述第一非MIP模式用于确定所述当前图像块的图像色度分量的帧内预测模式;其中,所述第一非MIP模式是在解码所述当前图像块之前预先设定的非MIP模式中的一种,所述非MIP模式包括直流帧内预测模式、平面帧内预测模式或方向帧内预测模式;以及
处理模块,用于使用所述图像亮度分量的帧内预测模式和所述图像色度分量的帧内预测模式解码所述当前图像块。
7.根据权利要求6所述的解码器,其特征在于,所述第一非MIP模式为所述平面帧内预测模式。
8.根据权利要求6或7所述的解码器,其特征在于,所述确定模块用于:
解析在码流中携带的编码模式信息,所述编码模式信息用于指示所述帧内预测模式。
9.根据权利要求6或7所述的解码器,其特征在于,所述映射模块用于:使用所述第一非MIP模式作为确定所述当前图像块的图像色度分量的帧内预测模式的一个参数。
10.根据权利要求6或7所述的解码器,其特征在于,所述映射模块用于:
将所述第一非MIP模式作为所述当前图像块的图像色度分量的帧内预测模式。
11.一种图像编码方法,应用于编码器中,其特征在于,所述方法包括:
确定对当前图像块编码所要使用的帧内预测模式;
如果所述帧内预测模式是基于矩阵的帧内预测MIP模式,使用所述MIP模式作为所述当前图像块的图像亮度分量的帧内预测模式;
将所述MIP模式映射为第一非MIP模式,所述第一非MIP模式用于确定所述当前图像块的图像色度分量的帧内预测模式;其中,所述第一非MIP模式是在编码所述当前图像块之前预先设定的非MIP模式中的一种,所述非MIP模式包括直流帧内预测模式、平面帧内预测模式或方向帧内预测模式;
使用所述图像亮度分量的帧内预测模式和所述图像色度分量的帧内预测模式编码所述当前图像块。
12.根据权利要求11所述的方法,其特征在于,所述第一非MIP模式为所述平面帧内预测模式。
13.根据权利要求11或12所述的方法,其特征在于,包括:
将编码模式信息写入码流中,所述编码模式信息用于指示所述当前图像块的所述帧内预测模式。
14.根据权利要求11或12所述的方法,其特征在于,使用所述第一非MIP模式作为确定所述当前图像块的图像色度分量的帧内预测模式的一个参数。
15.根据权利要求11或12所述的方法,其特征在于,将所述第一非MIP模式作为所述当前图像块的图像色度分量的帧内预测模式。
16.一种编码器,其特征在于,包括:
确定模块,用于确定对当前图像块编码所要使用的帧内预测模式;
映射模块,用于如果所述帧内预测模式是基于矩阵的帧内预测MIP模式,使用所述MIP模式作为所述当前图像块的图像亮度分量的帧内预测模式;将所述MIP模式映射为第一非MIP模式,所述第一非MIP模式用于确定所述当前图像块的图像色度分量的帧内预测模式;其中,所述第一非MIP模式是在编码所述当前图像块之前预先设定的非MIP模式中的一种,所述非MIP模式包括直流帧内预测模式、平面帧内预测模式或方向帧内预测模式;
处理模块,用于使用所述图像亮度分量的帧内预测模式和所述图像色度分量的帧内预测模式编码所述当前图像块。
17.根据权利要求16所述的编码器,其特征在于,所述第一非MIP模式为所述平面帧内预测模式。
18.根据权利要求16或17所述的编码器,其特征在于,所述映射模块用于:
将编码模式信息写入码流中,所述编码模式信息用于指示所述当前图像块的所述帧内预测模式。
19.根据权利要求16或17所述的编码器,其特征在于,所述映射模块用于:使用所述第一非MIP模式作为确定所述当前图像块的图像色度分量的帧内预测模式的一个参数。
20.根据权利要求16或17所述的编码器,其特征在于,所述映射模块用于:将所述第一非MIP模式作为所述当前图像块的图像色度分量的帧内预测模式。
21.一种计算机可读存储介质,其中,存储有可执行指令,当所述可执行指令被一个或多个处理器执行的时候,所述处理器执行所述的权利要求1至5中任一项所述的映射方法。
22.一种计算机可读存储介质,其中,存储有可执行指令,当所述可执行指令被一个或多个处理器执行的时候,所述处理器执行所述的权利要求11至15中任一项所述的映射方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110479770.9A CN113225563B (zh) | 2019-06-25 | 2019-06-25 | 映射方法、编码器、解码器以及计算机存储介质 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110479770.9A CN113225563B (zh) | 2019-06-25 | 2019-06-25 | 映射方法、编码器、解码器以及计算机存储介质 |
PCT/CN2019/092701 WO2020258013A1 (zh) | 2019-06-25 | 2019-06-25 | 映射方法、编码器、解码器以及计算机存储介质 |
CN201980057204.XA CN112640461A (zh) | 2019-06-25 | 2019-06-25 | 映射方法、编码器、解码器以及计算机存储介质 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980057204.XA Division CN112640461A (zh) | 2019-06-25 | 2019-06-25 | 映射方法、编码器、解码器以及计算机存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113225563A true CN113225563A (zh) | 2021-08-06 |
CN113225563B CN113225563B (zh) | 2023-07-18 |
Family
ID=74060462
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110479770.9A Active CN113225563B (zh) | 2019-06-25 | 2019-06-25 | 映射方法、编码器、解码器以及计算机存储介质 |
CN201980057204.XA Pending CN112640461A (zh) | 2019-06-25 | 2019-06-25 | 映射方法、编码器、解码器以及计算机存储介质 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980057204.XA Pending CN112640461A (zh) | 2019-06-25 | 2019-06-25 | 映射方法、编码器、解码器以及计算机存储介质 |
Country Status (14)
Country | Link |
---|---|
US (3) | US11546608B2 (zh) |
EP (2) | EP4221210A1 (zh) |
JP (1) | JP2022525770A (zh) |
KR (1) | KR20220022902A (zh) |
CN (2) | CN113225563B (zh) |
AU (1) | AU2019454117B2 (zh) |
CA (1) | CA3121563C (zh) |
IL (1) | IL283494A (zh) |
MX (1) | MX2021007837A (zh) |
PH (1) | PH12021551261A1 (zh) |
RU (1) | RU2767323C1 (zh) |
SG (1) | SG11202106235VA (zh) |
WO (1) | WO2020258013A1 (zh) |
ZA (1) | ZA202103764B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3935836A4 (en) | 2019-04-12 | 2022-06-08 | Beijing Bytedance Network Technology Co., Ltd. | INTRA PREDICTION CALCULATION BASED ON A MATRIX |
EP3939270A4 (en) | 2019-04-16 | 2022-05-11 | Beijing Bytedance Network Technology Co., Ltd. | MATRIX DERIVATION IN AN INTRA CODING MODE |
WO2020221373A1 (en) | 2019-05-01 | 2020-11-05 | Beijing Bytedance Network Technology Co., Ltd. | Matrix-based intra prediction using filtering |
CN117097912A (zh) | 2019-05-01 | 2023-11-21 | 北京字节跳动网络技术有限公司 | 基于矩阵的帧内预测的上下文编码 |
CN117412039A (zh) | 2019-05-22 | 2024-01-16 | 北京字节跳动网络技术有限公司 | 使用上采样的基于矩阵的帧内预测 |
WO2020239017A1 (en) | 2019-05-31 | 2020-12-03 | Beijing Bytedance Network Technology Co., Ltd. | One-step downsampling process in matrix-based intra prediction |
WO2020244610A1 (en) | 2019-06-05 | 2020-12-10 | Beijing Bytedance Network Technology Co., Ltd. | Context determination for matrix-based intra prediction |
WO2021083188A1 (en) | 2019-10-28 | 2021-05-06 | Beijing Bytedance Network Technology Co., Ltd. | Syntax signaling and parsing based on colour component |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018026148A1 (ko) * | 2016-08-01 | 2018-02-08 | 한국전자통신연구원 | 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체 |
CN109792521A (zh) * | 2016-10-04 | 2019-05-21 | 韩国电子通信研究院 | 用于对图像进行编码/解码的方法和设备以及存储比特流的记录介质 |
Family Cites Families (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101783957B (zh) * | 2010-03-12 | 2012-04-18 | 清华大学 | 一种视频预测编码方法和装置 |
PL3373580T3 (pl) * | 2010-12-21 | 2020-05-18 | Ntt Docomo, Inc. | Kodowanie z predykcją wewnątrzramkową przy reprezentacjach planarnych |
US9894353B2 (en) * | 2011-06-13 | 2018-02-13 | Sun Patent Trust | Method and apparatus for encoding and decoding video using intra prediction mode dependent adaptive quantization matrix |
CN102857764B (zh) * | 2011-07-01 | 2016-03-09 | 华为技术有限公司 | 帧内预测模式处理的方法和装置 |
CN103067699B (zh) * | 2011-10-20 | 2018-02-16 | 中兴通讯股份有限公司 | 一种帧内预测模式编码器、解码器及其方法和电子设备 |
EP3442227B1 (en) * | 2012-02-29 | 2020-04-22 | LG Electronics Inc. | Inter-layer prediction method and apparatus |
US10448011B2 (en) * | 2016-03-18 | 2019-10-15 | Mediatek Inc. | Method and apparatus of intra prediction in image and video processing |
EP3301915A1 (en) | 2016-09-30 | 2018-04-04 | Thomson Licensing | Method and apparatus for omnidirectional video coding with adaptive intra most probable modes |
CN116916018A (zh) * | 2016-10-28 | 2023-10-20 | 韩国电子通信研究院 | 视频编码/解码方法和设备以及存储比特流的记录介质 |
US20190141320A1 (en) * | 2017-11-07 | 2019-05-09 | Qualcomm Incorporated | Enhanced reference picture management in video coding |
KR20200074081A (ko) * | 2017-11-14 | 2020-06-24 | 삼성전자주식회사 | 부호화 방법 및 그 장치, 복호화 방법 및 그 장치 |
WO2020197444A1 (en) | 2019-03-24 | 2020-10-01 | Huawei Technologies Co., Ltd. | Method and apparatus of quantizing coefficients for matrix-based intra prediction technique |
US11134257B2 (en) * | 2019-04-04 | 2021-09-28 | Tencent America LLC | Simplified signaling method for affine linear weighted intra prediction mode |
US11381808B2 (en) * | 2019-04-25 | 2022-07-05 | Hfi Innovation Inc. | Method and apparatus of matrix based intra prediction in image and video processing |
CN113785566A (zh) | 2019-04-27 | 2021-12-10 | 韦勒斯标准与技术协会公司 | 基于帧内预测处理视频信号的方法和设备 |
CN113812155B (zh) | 2019-05-11 | 2023-10-27 | 北京字节跳动网络技术有限公司 | 多种帧间编解码方法之间的交互 |
US11134275B2 (en) * | 2019-06-04 | 2021-09-28 | Tencent America LLC | Method and apparatus for performing primary transform based on filtering of blocks |
CN117241014A (zh) * | 2019-06-05 | 2023-12-15 | 华为技术有限公司 | Mpm列表构建方法、色度块的帧内预测模式获取方法及装置 |
US11128868B2 (en) * | 2019-06-11 | 2021-09-21 | Mediatek Inc. | Method and apparatus of matrix-based intra prediction for video coding |
KR20200141703A (ko) * | 2019-06-11 | 2020-12-21 | 주식회사 엑스리스 | 비디오 신호 처리 방법 및 장치 |
US11252410B2 (en) * | 2019-06-11 | 2022-02-15 | Tencent America LLC | Method and apparatus for video coding |
US20200404324A1 (en) * | 2019-06-19 | 2020-12-24 | Qualcomm Incorporated | Signaling for intra coding of video data |
US11197025B2 (en) * | 2019-06-21 | 2021-12-07 | Qualcomm Incorporated | Signaling of matrix intra prediction parameters in video coding |
-
2019
- 2019-06-25 CN CN202110479770.9A patent/CN113225563B/zh active Active
- 2019-06-25 CN CN201980057204.XA patent/CN112640461A/zh active Pending
- 2019-06-25 MX MX2021007837A patent/MX2021007837A/es unknown
- 2019-06-25 WO PCT/CN2019/092701 patent/WO2020258013A1/zh active Application Filing
- 2019-06-25 AU AU2019454117A patent/AU2019454117B2/en active Active
- 2019-06-25 CA CA3121563A patent/CA3121563C/en active Active
- 2019-06-25 KR KR1020217039864A patent/KR20220022902A/ko unknown
- 2019-06-25 JP JP2021555866A patent/JP2022525770A/ja active Pending
- 2019-06-25 SG SG11202106235VA patent/SG11202106235VA/en unknown
- 2019-06-25 EP EP23174379.0A patent/EP4221210A1/en active Pending
- 2019-06-25 RU RU2021117432A patent/RU2767323C1/ru active
- 2019-06-25 EP EP19934815.2A patent/EP3886435A4/en not_active Ceased
-
2021
- 2021-05-13 US US17/319,900 patent/US11546608B2/en active Active
- 2021-05-27 IL IL283494A patent/IL283494A/en unknown
- 2021-05-31 PH PH12021551261A patent/PH12021551261A1/en unknown
- 2021-06-01 ZA ZA2021/03764A patent/ZA202103764B/en unknown
-
2022
- 2022-10-14 US US17/966,055 patent/US20230051649A1/en active Pending
- 2022-10-14 US US17/965,986 patent/US11902538B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018026148A1 (ko) * | 2016-08-01 | 2018-02-08 | 한국전자통신연구원 | 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체 |
CN109792521A (zh) * | 2016-10-04 | 2019-05-21 | 韩国电子通信研究院 | 用于对图像进行编码/解码的方法和设备以及存储比特流的记录介质 |
Non-Patent Citations (1)
Title |
---|
ADARSH K. RAMASUBRAMONIAN 等: "Non-CE3: MIP simplifications", 《JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11》 * |
Also Published As
Publication number | Publication date |
---|---|
EP3886435A1 (en) | 2021-09-29 |
ZA202103764B (en) | 2022-10-26 |
CA3121563A1 (en) | 2020-12-30 |
AU2019454117A1 (en) | 2021-06-17 |
MX2021007837A (es) | 2021-08-11 |
US20230046175A1 (en) | 2023-02-16 |
US20230051649A1 (en) | 2023-02-16 |
CN113225563B (zh) | 2023-07-18 |
PH12021551261A1 (en) | 2021-10-25 |
IL283494A (en) | 2021-07-29 |
US11902538B2 (en) | 2024-02-13 |
CA3121563C (en) | 2024-06-11 |
KR20220022902A (ko) | 2022-02-28 |
EP3886435A4 (en) | 2022-01-26 |
EP4221210A1 (en) | 2023-08-02 |
RU2767323C1 (ru) | 2022-03-17 |
CN112640461A (zh) | 2021-04-09 |
US20210266568A1 (en) | 2021-08-26 |
AU2019454117B2 (en) | 2022-09-01 |
SG11202106235VA (en) | 2021-07-29 |
US11546608B2 (en) | 2023-01-03 |
JP2022525770A (ja) | 2022-05-19 |
WO2020258013A1 (zh) | 2020-12-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113225563B (zh) | 映射方法、编码器、解码器以及计算机存储介质 | |
CN113678453B (zh) | 基于矩阵的帧内预测的上下文确定 | |
CN113924775B (zh) | 基于矩阵的帧内预测中的限制的上采样 | |
CN110572643B (zh) | 利用自适应运动向量精度的方法和装置 | |
CN113950836B (zh) | 基于矩阵的帧内预测的上下文确定 | |
CN113875233B (zh) | 使用上采样的基于矩阵的帧内预测 | |
CN113748676A (zh) | 帧内编解码模式下的矩阵推导 | |
CN114041288A (zh) | 图像分量的预测方法、编码器、解码器以及存储介质 | |
CN113853791B (zh) | 数字视频中的变换旁路编解码残差块 | |
EP4090014A1 (en) | Encoding method, decoding method, encoder, decoder, and storage medium | |
KR20230162148A (ko) | 교차성분 선형 모델을 이용한 비디오 신호 처리 방법 및 장치 | |
CN113767636B (zh) | 帧内模式编解码的方法和*** | |
CN114363635B (zh) | 信息处理方法及装置、设备、存储介质 | |
WO2024078598A1 (en) | Method, apparatus, and medium for video processing | |
CN113411588B (zh) | 预测方向的确定方法、解码器以及计算机存储介质 | |
WO2024113311A1 (zh) | 编解码方法、编解码器、码流以及存储介质 | |
WO2023051653A1 (en) | Method, apparatus, and medium for video processing | |
US20240251108A1 (en) | Method, device, and medium for video processing | |
WO2024081872A1 (en) | Method, apparatus, and medium for video processing | |
WO2023056357A1 (en) | Method, device, and medium for video processing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |