CN111447438B - 一种面向通用视频编码的快速帧内预测模式判决方法 - Google Patents
一种面向通用视频编码的快速帧内预测模式判决方法 Download PDFInfo
- Publication number
- CN111447438B CN111447438B CN202010331567.2A CN202010331567A CN111447438B CN 111447438 B CN111447438 B CN 111447438B CN 202010331567 A CN202010331567 A CN 202010331567A CN 111447438 B CN111447438 B CN 111447438B
- Authority
- CN
- China
- Prior art keywords
- coding
- intra
- mode
- distortion
- prediction mode
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开了一种面向通用视频编码的快速模式判决方法,利用粗略模式判决方法(RMD)获取上下文信息;根据残差的概率分布,从数学的角度预测编码码率Re;通过结合像素域中的上下文信息预测编码失真De;根据率失真代价Je从候选模式集中确定出帧内预测模式。实验结果表明,本发明所提的通用视频编码快速帧内模式判决方法在对编码效率影响较小的情况下可以降低约29%的编码复杂度。
Description
技术领域
本发明属于视频编码技术领域,具体涉及一种面向通用视频编码的快速帧内预测模式判决方法。
背景技术
随着网络技术的迅速发展,视频编码技术的成熟和完善,传输技术的不断提高,视频业务得到了广泛的应用。如何更好的实现高效的视频编码,一直是视频领域的研究热点。新一代视频编码标准VVC(通用视频编码)针对“高清/超高清视频的大数据量”这一点,凭借先进的编码工具以更灵活的手段来有效地表示丰富的视频内容,不仅节省了大量的存储空间和传输带宽,同时具备了应对新业务挑战的能力。
为了进一步利用空间相关性来去除视频内容的冗余,VVC引入了67种帧内预测模式,包括多角度模式、Planar模式和DC模式。依据视频的纹理特性,通过使用帧内预测模式判决,从众多模式中选择出一种最优的模式来最大化VVC的帧内编码效率。其主要借助于拉格朗日优化技术实现,每一种模式经过预测、变换、量化、熵编码、反量化、反变换、像素重构等步骤得到编码码率和编码失真,然后计算率失真代价,通过比较率失真代价来确定最优的预测模式。
在VVC中,帧内预测模式判决算法分为粗略模式判决(RMD)和率失真优化(RDO)两部分。RMD模块中首先以哈达玛变换后的绝对误差和Ds为失真测度,计算帧内预测模式的率失真代价Js:
Js=Ds+λs·Rs, (1)
其中λs为拉格朗日因子,Rs表示编码帧内预测模式所耗的比特数。依据式(1)结果,选择M(M=6)种最有可能成为最优帧内预测模式组成最可能模式集。然后在RDO中对最可能模式集中的每一种帧内预测模式进行编码,选择率失真代价Je最小的模式作为最优帧内预测模式:
Je=De+λe·Re. (2)
参数λe表示拉格朗日因子,Re为帧内预测模式的编码比特数和预测残差的编码比特数之和,De为均方误差和。
虽然多种模式可以很好地捕获帧中任意方向的视频信息,但给编码器带来了超负荷的运算量和很长的处理时延,这对基于VVC的多媒体业务拓展是极为不利的。Jamali等人利用变换域残差来预测率失真代价,排除不可能成为最优的预测模式来降低编码复杂度(见JAMALI M,COULOMBE S.Fast HEVC intra mode decision based on RDO costprediction[J].IEEE Transactions on Broadcasting,2018:1-14);Tariq根据相邻块率失真代价的动态变化预测当前块的率失真代价,通过最小化率失真代价以确定最优的预测模式(见TARIQ J.RD-cost as statistical inference for early intra mode decisionin HEVC[J].Multimedia Tools and Applications,2019,78(12):16783-16801);此外还可以借助于智能优化算法,通过分析分析和研究帧内预测模式判决的特性,建立一种新的最优预测模式判决的新的目标函数(见TARIQ J,ARMGHAN A,IJAZ A,ASHRAF I.Pure intramode decision in HEVC using optimized firefly algorithm[J].Journal of VisualCommunication and Image Representation,2020,vol.68)。上述方法主要针对高效视频编码(HEVC)中35种帧内预测模式判决做出的优化,准确率和编码效率较低,以不适合应用到最新视频编码VVC中。因此建立一种合适VVC的快速帧内模式判决方法是很有必要的。
发明内容
本发明的目的是提供一种面向通用视频编码的快速帧内预测模式判决方法,该方法具有较低的编码复杂度和较高的编码效率。
本发明所采用的技术方案是,一种面向通用视频编码的快速帧内预测模式判决方法,具体包括如下步骤:
步骤1,首先使用RMD方法从67中帧内预测模式中选择M(M=6)种最有可能成为最优帧内预测模式的候选模式。其次按照步骤2和步骤3分别计算这M种候选模式的编码码率和编码失真,获取每种候选模式的总代价,从中选择总代价最小的预测模式作为编码块的最优帧内预测模式。
步骤2,变换域的残差可以被描述为零均值的高斯分布,以均方误差和作为失真测度,经过量化后的理论率失真模型为:
其中x表示残差,δ为残差的标准差,e为自然常数。在高比特率或低失真的情况下,编码码率R与log2 δ成比例,因而残差的编码码率约为:
Rr≈α·log2 σ, (4)
其中α为0.5。关于帧内预测模式的编码比特数可以通过RMD模块得到:
Rm=Rs. (5)
则总的编码比特数Re:
Re≈Rm+Rr.(6)
步骤3,由于VVC编码使用标量量化技术,导致像素经反编码后无法恢复到原始值而引起失真。根据帧内编码原理,位于(i,j)位置处的像素失真d可表示为原始像素值p与重构像素值p′之差:
其中pp是采用某种帧内预测模式后得到的像素预测值,pe表示原始像素值与预测像素值之差,pe′表示重构像素值与预测像素值之差。考虑到当前像素与参考像素具有强的相关性,且都使用相同的量化参数,因而当前像素的编码失真可以借助于参考像素的编码失真d(ri,rj)进行预测:
最终编码块的总失真De:
本发明的特点还在于,
步骤2中公式(9)中参数δ的计算方法如下:
对于N×N大小的残差块系数r,经DCT变换后得变换矩阵T:
其中A为DCT矩阵,则:
其中[·]u,u表示矩阵中位于(u,u)位置出的系数值,符号R'定义为:
参数ρ用于度量水平方向和垂直方向上像素值之间的相关性,其值设置为0.6;参数δp用于表示残差块内像素的标准差,该值可通过平均绝对差值MAD近似:
本发明与现有技术相比具有如下优点:
(1)本发明从率失真理论的角度预测编码码率,具有高的准确度。
(2)本发明从率失真理论的角度预测编码失真,具有高的准确度。
(3)本发明所提的快速帧内预测模式判决方法,考虑了视频内容特性,具有较好的编码效率。
(3)本发明所提的快速帧内预测模式判决方法,考虑了VVC编码技术,具有较好的编码效率。
(4)本发明通过利用预测的率失真代价来确定最优的帧内预测模式,与现有方法相比,编码复杂度可以降低约30%。
附图说明
图1是本发明面向通用视频编码的快速帧内模式判决方法流程图.
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明面向通用视频编码的快速帧内模式判决方法,具体计算流程如图1所示,
步骤1,以哈达玛变换后的绝对误差和Ds为失真测度,计算帧内预测模式的率失真代价Js:
Js=Ds+λs·Rs, (1)
其中λs为拉格朗日因子,Rs表示编码帧内预测模式所耗的比特数。依据式(1)结果,选择M(M=6)种最有可能成为最优帧内预测模式组成最可能模式集。步骤2,计算第i(i∈M)种候选模式下的参数δ:
对于N×N大小的残差块系数r,经DCT变换后得变换矩阵T:
其中A为DCT矩阵,则:
其中[·]u,u表示矩阵中位于(u,u)位置出的系数值,符号R'定义为:
参数ρ用于度量水平方向和垂直方向上像素值之间的相关性,其值设置为0.6;参数δp用于表示残差块内像素的标准差,该值可通过平均绝对差值MAD近似:
步骤3,计算第i(i∈M)种候选模式下的编码码率:
计算残差的编码码率:
Rr≈α·log2 σ, (4)
其中α为0.5。关于帧内预测模式的编码码率可以通过RMD模块得到:
Rm=Rs. (5)
则总的编码码率Re:
Re≈Rm+Rr. (6)
步骤4,计算第i(i∈M)种候选模式下的编码失真
根据帧内编码原理,位于(i,j)位置处的像素失真d可表示为原始像素值p与重构像素值p′之差:
其中pp是采用某种帧内预测模式后得到的像素预测值,pe表示原始像素值与预测像素值之差,pe′表示重构像素值与预测像素值之差。考虑到当前像素与参考像素具有强的相关性,且都使用相同的量化参数,因而当前像素的编码失真可以借助于参考像素的编码失真d(ri,rj)进行预测:
最终编码块的总失真De:
步骤5,按照式(2)计算第i(i∈M)种候选模式下的率失真代价。
步骤6,从候选模式集中选择率失真代价最小的预测模式作为编码块的最优帧内预测模式。
本发明的效果通过实验进一步说明。
实验测试了不同分辨率,不同应用场景下的VVC帧内编码性能。统计结果表明本发明的编码时间平均降低31.2%,编码比特数平均增加了1.53%。在面对新的视频业务特性和新的编码技术时,通过应用通用视频编码的快速帧内预测模式判决方法,可以更加快速地压缩丰富的视频内容,节省***的编码时间,提高视频播放中应对新业务挑战的能力,使越来越多的用户参与到视频应用中,身临其境地感受着高清/超高清视频所带来的独特魅力。
Claims (2)
1.一种面向通用视频编码的快速帧内模式判决方法,其特征在于,具体包括如下步骤:
步骤1,使用粗略模式判决方法从67种帧内预测模式中选择M种最有可能成为最优帧内预测模式的候选模式;
步骤2,计算第i(i∈M)种候选模式下的变换域残差的标准差δ;计算参数δ的方法具体为:
对于N×N大小的残差块系数r,经DCT变换后得变换矩阵T:
其中A为DCT矩阵,则:
其中[·]u,u表示矩阵中位于(u,u)位置出的系数值,符号R'定义为:
参数ρ用于度量水平方向和垂直方向上像素值之间的相关性,其值设置为0.6;参数δp用于表示残差块内像素的标准差,该值通过平均绝对差值MAD近似:
步骤3,计算第i(i∈M)种候选模式下的编码码率;编码码率的计算方法具体为:
计算残差的编码码率:
Rr≈α·log2 δ(4)其中α为0.5,关于帧内预测模式的编码码率通过RMD模块得到:
Rm=Rs (5)
则总的编码码率Re:
Re≈Rm+Rr(6);
步骤4,计算第i(i∈M)种候选模式下的编码失真;计算编码失真的具体方法为:
根据帧内编码原理,位于(i,j)位置处的像素失真d表示为原始像素值p与重构像素值p′之差:
其中pp是采用某种帧内预测模式后得到的像素预测值,pe表示原始像素值与预测像素值之差,pe′表示重构像素值与预测像素值之差;考虑到当前像素与参考像素具有强的相关性,且都使用相同的量化参数,因而当前像素的编码失真借助于参考像素的编码失真d(ri,rj)进行预测:
最终编码块的总失真De:
步骤5,计算第i(i∈M)种候选模式下的率失真代价;
步骤6,从候选模式集中选择率失真代价最小的预测模式作为编码块的最优帧内预测模式。
2.根据权利要求1所述的一种面向通用视频编码的快速帧内模式判决方法,其特征在于,所述步骤1中,M取值6。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010331567.2A CN111447438B (zh) | 2020-04-24 | 2020-04-24 | 一种面向通用视频编码的快速帧内预测模式判决方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010331567.2A CN111447438B (zh) | 2020-04-24 | 2020-04-24 | 一种面向通用视频编码的快速帧内预测模式判决方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111447438A CN111447438A (zh) | 2020-07-24 |
CN111447438B true CN111447438B (zh) | 2023-05-26 |
Family
ID=71651901
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010331567.2A Active CN111447438B (zh) | 2020-04-24 | 2020-04-24 | 一种面向通用视频编码的快速帧内预测模式判决方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111447438B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112689146B (zh) * | 2020-12-18 | 2022-07-22 | 重庆邮电大学 | 一种基于启发学习的vvc帧内预测快速模式选择方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108737839A (zh) * | 2018-04-11 | 2018-11-02 | 西安理工大学 | 一种面向帧内码率控制的拉格朗日因子计算方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100566427C (zh) * | 2007-07-31 | 2009-12-02 | 北京大学 | 用于视频编码的帧内预测编码最佳模式的选取方法及装置 |
CN103581682B (zh) * | 2013-08-14 | 2017-08-01 | 北京交通大学 | 一种hevc帧内编码的快速模式决策算法及其应用 |
US10142626B2 (en) * | 2014-10-31 | 2018-11-27 | Ecole De Technologie Superieure | Method and system for fast mode decision for high efficiency video coding |
CN104853192B (zh) * | 2015-05-08 | 2018-02-13 | 腾讯科技(深圳)有限公司 | 预测模式选择方法及装置 |
CN106534870B (zh) * | 2016-12-19 | 2019-12-03 | 国网新疆电力公司电力科学研究院 | 一种基于rgb源视频的率失真优化编码方法 |
CN108696750A (zh) * | 2017-04-05 | 2018-10-23 | 深圳市中兴微电子技术有限公司 | 一种预测模式的判决方法及装置 |
US11064203B2 (en) * | 2018-03-12 | 2021-07-13 | Nvidia Corporation | SSIM-based rate distortion optimization for improved video perceptual quality |
CN112689146B (zh) * | 2020-12-18 | 2022-07-22 | 重庆邮电大学 | 一种基于启发学习的vvc帧内预测快速模式选择方法 |
-
2020
- 2020-04-24 CN CN202010331567.2A patent/CN111447438B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108737839A (zh) * | 2018-04-11 | 2018-11-02 | 西安理工大学 | 一种面向帧内码率控制的拉格朗日因子计算方法 |
Non-Patent Citations (1)
Title |
---|
基于率失真优化的HEVC帧内编码模式选择;乔莉;李博;刘伟杰;;现代电子技术(第12期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN111447438A (zh) | 2020-07-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100678911B1 (ko) | 방향적 인트라 예측의 적용을 확장하여 비디오 신호를인코딩하고 디코딩하는 방법 및 장치 | |
US8144770B2 (en) | Apparatus and method for encoding moving picture | |
CN103248893B (zh) | 从h.264/avc标准到hevc标准的快速帧间转码方法及其转码器 | |
CN103220527B (zh) | 图像编码方法及装置以及其解码方法及装置 | |
CN103327325B (zh) | 基于hevc标准的帧内预测模式快速自适应选择方法 | |
US10091526B2 (en) | Method and apparatus for motion vector encoding/decoding using spatial division, and method and apparatus for image encoding/decoding using same | |
US20130301717A1 (en) | Intra prediction method and apparatus, and image encoding/decoding method and apparatus using same | |
US20100290521A1 (en) | Method and Device For Selecting Best Mode Of Intra Predictive Coding For Video Coding | |
CN104320657B (zh) | Hevc无损视频编码的预测模式选择方法及相应的编码方法 | |
CN103997646A (zh) | 一种高清视频编码中快速帧内预测模式选择方法 | |
CA2886995C (en) | Rate-distortion optimizers and optimization techniques including joint optimization of multiple color components | |
CN100591136C (zh) | 一种基于空域分解的视频帧内编码方法 | |
CN105850124B (zh) | 使用量化误差的额外的控制编码、解码视频信号的方法和装置 | |
CN107864380A (zh) | 基于dct的3d‑hevc快速帧内预测决策方法 | |
KR20130068479A (ko) | 적중률이 높은 mpm을 통한 영상의 부호화 방법 및 장치, 그리고 복호화 방법 및 장치 | |
CN102291582A (zh) | 一种基于运动补偿精化的分布式视频编码方法 | |
CN105681797A (zh) | 一种基于预测残差的dvc-hevc视频转码方法 | |
EP3944626A1 (en) | Cross-codec encoding optimizations for video transcoding | |
CN103442228A (zh) | 从h.264/avc标准到hevc标准的快速帧内转码方法及其转码器 | |
CN1206994A (zh) | 信号编码装置和方法、信号记录介质和信号传送方法 | |
CN111447438B (zh) | 一种面向通用视频编码的快速帧内预测模式判决方法 | |
CN101867818B (zh) | 宏块模式的选择方法和装置 | |
US20050226329A1 (en) | Motion estimation method using multilevel succesive elimination algorithm | |
Kalva et al. | Complexity reduction tools for MPEG-2 to H. 264 video transcoding | |
CN100579227C (zh) | 一种选择帧内预测模式的***及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |