CN109889852B - 一种基于邻近值的hevc帧内编码优化方法 - Google Patents
一种基于邻近值的hevc帧内编码优化方法 Download PDFInfo
- Publication number
- CN109889852B CN109889852B CN201910056697.7A CN201910056697A CN109889852B CN 109889852 B CN109889852 B CN 109889852B CN 201910056697 A CN201910056697 A CN 201910056697A CN 109889852 B CN109889852 B CN 109889852B
- Authority
- CN
- China
- Prior art keywords
- intra
- hevc
- pixel
- prediction
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
高性能视频编码标准HEVC中的帧内编码模式利用当前帧中像素点之间的空间相关性作出有效预测。但是,研究发现当待编码像素远离参考像素时,它们之间的空间相关性变弱,传统的HEVC帧内预测方法的编码性能并不理想。针对以上情况,本发明提出了一种基于邻近值的HEVC帧内编码优化方法。其主要思想是,对于当前像素,先根据传统HEVC帧内编码方法得到其预测值,再使用相应的滤波器对该预测值进行修正。本发明方法将当前像素与周围像素的相关性进行了有效的数学建模,并且训练出合适的滤波器系数,提升了HEVC帧内编码性能。实验结果显示,本发明方法与HEVC标准相比,最高节省了2.7%的码率,平均节省的码率为1.3%。
Description
技术领域
本发明涉及图像通信领域中的视频编码技术,最主要的是提升编码性能的问题,涉及高性能视频编码标准HEVC帧内编码优化方法。
背景技术
随着人们对高清视频的需求日渐增加,视频编码标准的性能也在不断提升,相比于之前主流的H.264/AVC视频编码标准,最新一代视频编码标准(High Efficiency VideoCoding,HEVC)已经实现了更高的编码效率和更好的视频质量。在相同的视频质量下,HEVC相比H.264/AVC提升了50%的编码效率。而HEVC之所以能够取得如此好的效果,主要源于其更加灵活的四叉树划分方式、改进的帧内以及帧间预测模式、更好的熵编码等方面。在HEVC帧内预测过程中,当像素之间的相关性很高时,这种传统的帧内预测方式能够取得很理想的编码性能,但当预测块比较大或者纹理比较复杂时,如果仍然只是简单利用参考像素来预测待编码像素就会影响预测精度。因此本发明期望通过有效的帧内编码优化方法提高其预测精度,从而达到降低更多码率的目的。
目前学术界关于优化帧内预测方面已有一些研究。X.Wang针对人眼对不同区域的注意力不同,提出了一种基于感兴趣区域的自适应帧内更新编码方法,降低了输出码率。Y.Wang等提出了一种基于马尔科夫模型的帧内预测方法,将35种帧内预测模式按照各个模式的特性分为3类,每一类使用不同的平滑滤波器,该方法相比HEVC本身达到了节省码率的目的。Y.Zheng等提出了一种基于梯度插值的帧内角度预测方法,其梯度由行参考样本和列参考样本生成,并根据预测方向对每个像素进行动态变化,提出的优化方法取得了较好的编码效率。Chen等提出了一种基于卷积的帧内迭代滤波方法对预测后的像素进行平滑滤波,实验结果显示该方法相对HEVC标准有一定的码率下降,尤其对高清视频效果更加明显。
发明内容
针对高性能视频压缩编码标准HEVC码率依旧较高,可以进一步研究降低码率的问题,本发明提出了一种基于邻近值的HEVC帧内编码优化方法,在合理的时间复杂度范围内,进一步优化HEVC的帧内预测方法。
本发明的基本思想是在时间复杂度可控的前提下,利用I帧相邻点之间的空域相关性去设计滤波器。本发明将当前像素与周围像素的相关性进行有效的数学建模,并且训练出合适的滤波器系数,从而提高整体预测精度,提升了HEVC帧内编码性能。
本发明提供的基于邻近值的HEVC帧内编码优化方法,该方法主要包括先使用HEVC帧内预测生成预测块,再对该预测块中的每一个像素点,使用相应的滤波器对其进行修正,每次滤波则会使用该像素点左边、左上、上边位置的修正值以及该像素本身的预测值。同时,均衡考虑低解码器复杂度和高编码效率两方面因素,本发明将改进的帧内优化技术与Chen的方法相结合,从而进一步提高HEVC的帧内编码性能。具体主要包括以下过程步骤:
(1)使用传统HEVC帧内预测对当前预测块PU(Prediction Unit)的每一个像素进行预测,生成预测块;
(2)判断预测块PU的大小;
(3)预测块PU小于等于8时,对与步骤(1)中预测块的每一个像素,使用该像素点左边、左上、上边位置的修正值以及该像素本身的预测值进行修正;
(4)预测块PU大于8时,使用卷积核对步骤(1)中生成的预测块进行迭代卷积,而经过迭代卷积后的修正块则作为最后的预测块;
(5)根据率失真代价函数RDCost(Rate-Distortion Cost,RDCost)决策最优的预测方式。
在本发明的上述技术方案中,在步骤(3)中,修正的具体公式为:
其中,u(i,j)为经过HEVC帧内预测得到的当前像素,为经过马尔科夫模型修正后的当前像素,和为修正后的当前像素的相邻像素,ρ1、ρ2和ρ3为相邻像素对应的权值参数,ρ4为当前像素对应的权值参数,而ε则为偏移量,取值为0.5。
在本发明的上述技术方案中,在步骤(3)中,对于每个像素,均基于上述公式(1)对HEVC的预测像素值进行递归地修正,为了使整个滤波过程能够依据帧内预测模式的特性来选择权值参数,我们将35种帧内预测模式分为8类,每一类别中包含的帧内预测模式都具有相似的特性。同时,考虑到色度分量的影响,将第9类滤波器设定为色度模式,如表1。
表1帧内预测模式的分类
在本发明的上述技术方案中,在步骤(3)中,高斯牛顿法的初始值是使用最小二乘法从训练序列中得到的,其可表示为:
在本发明的上述技术方案中,在步骤(3)中,使用了高斯牛顿法求解滤波器的权值参数,其相应的公式为:
ρ(s+1)=ρ(s)-(JTJ)-1JTr(ρ(s)) (3)
其中,公式(3)为高斯牛顿法的迭代公式,ρ(s+1)表示第s+1次迭代后的权值参数,ρ(s)表示第s次迭代后的权值参数,J表示残差函数r对权值参数ρ的雅可比矩阵,即对ρ求其偏导数,如公式(4)所示,r(ρ(s))表示第s次迭代时的残差,如公式(5)所示。
在本发明的上述技术方案中,在步骤(3)中,使用的训练序列如表2。
表2训练序列
在本发明的上述技术方案中,在步骤(4)中,PU大小从4×4到32×32的迭代次数分为为3、5、10、25,卷积核为:
在本发明的上述技术方案中,在步骤(5)中,经过RDCost决策后最优预测方式,会有一个标志位flag,若flag等于1,则说明进行传统的HEVC帧内编码后,还需要使用本发明的优化方法去修正。
根据本发明的上述方法可以编制执行上述一种基于邻近值的HEVC帧内编码优化方法的HEVC视频编码器。
本发明是基于以下思路分析而完成的:
首先,将35种帧内预测模式分为8类,每一类别中包含的帧内预测模式都具有相似的特性。同时,考虑到色度分量的影响,将第9类滤波器设定为色度模式。其次,使用四种量化参数(QP=22,27,32,37)对4个训练序列的前5帧进行HEVC帧内编码,并根据滤波器的分类将每个类别中的像素值分别存储。然后,使用简单的最小二乘法计算出初始权值系数,将其应用到高斯牛顿法进行一次次的迭代估计,直至得到最佳系数,将最佳权值参数应用到HEVC帧内编码框架中。
在编码端,其先使用HEVC帧内预测生成预测块,再对该预测块中的每一个像素点,使用相应的滤波器对其进行修正。该方法使用基于邻近值的帧内编码优化方法进行4×4和8×8块大小的修正,而当帧内预测块的大小为16×16或32×32时,则使用Chen的帧内迭代滤波方法去修正。当应用整个优化方法时,对于每个CU层需要多1个标志位flag,以表明进行传统的HEVC帧内预测后,是否需要使用帧内编码优化方法去修正,将该标志位写入码流一起传输到解码端。
在解码端,首先从码流中判断出标志位flag的值,若flag为0,则只需要进行传统的HEVC帧内编码即可,若flag为1,则在传统的HEVC帧内编码后,我们还需要根据预测块的大小选择不同的优化方法进行修正。
与标准的HEVC视频编码方法相比,本发明针对HEVC的帧内编码提出的一种基于邻近值的帧内编码优化方法,能有效降低码率。该方法在HEVC帧内预测过程中,对于当前像素,先根据传统HEVC帧内编码方法得到其预测值,再使用相应的滤波器对该预测值进行修正。本发明方法将当前像素与周围像素的相关性进行了有效的数学建模,并且训练出合适的滤波器系数,提升了HEVC帧内编码性能。
附图说明
图1为本发明的基于邻近值的HEVC帧内编码优化方法的流程图。
图2为本发明使用滤波器修正单个像素的图示,u(i,j)为经过HEVC帧内预测得到的当前像素,为经过马尔科夫模型修正后当前像素,和为经过马尔科夫模型修正后的当前像素的相邻像素,ρ1、ρ2和ρ3为相邻像素对应的权值参数,ρ4为当前像素对应的权值参数。
图3为本发明方法PU块中所有像素值进行递归修正的图示,深色框为参考像素,浅色框中为已预测像素。
具体实施方式
下面结合实施例对本发明作进一步的详细说明,有必要指出的是,以下的实施例只用于对本发明做进一步的说明,不能理解为对本发明保护范围的限制,所属领域技术熟悉人员根据上述发明内容,对本发明做出一些非本质的改进和调整进行具体实施,应仍属于本发明的保护范围。
本发明所提出的一种基于邻近值的HEVC帧内编码优化方法,与HEVC标准参考代码HM16.9的帧内编码方法比较过程如下:
1、打开标准HM16.9参考代码,配置文件为encoder_intra_main.cfg。在量化参数QP为22,27,32,37的情况下对标准视频测试序列进行编解码,记录标准HEVC视频编码时的码率及峰值信噪比PSNR;
3、编码的对象为标准的HEVC测试视频,它们的名称和分辨率分别为:Traffic(2560×1600)、PeopleOnStreet(2560×1600)、Kimono1(1920×1080)、Cactus(1920×1080)、ParkScene(1920×1080)、BasketballDrive(1920×1080)、BQTerrace(1920×1080)、FourPeople(1280×720)、Johnny(1280×720)、KristenAndSara(1280×720)、BasketballDrill(832×480)、BQMall(832×480)、PartyScene(832×480)、RaceHorseC(832×480)、BasketballPass(416×240)、BQSquare(416×240)、BlowingBubbles(416×240)、RaceHorse(416×240);
4、输入2个相同的视频序列;
5、分别对2个相同的视频序列进行视频编码;
6、利用HM16.9标准方法对视频序列在HEVC方式下进行视频编码;
7、利用本发明方法对视频序列在HEVC方式下进行视频编码;
8、结果如表3所示,分别对分辨率从2560×1600大小到416×240大小的共18个视频序列进行实验,来比较HM 16.9标准和优化后的编码方法的相关参数。在时间复杂度可控的情况下,本发明在亮度分量Y、色度分量U和V分量的平均增益分别为1.3%、1.4%和1.4%(BD-rate),其中Y分量的最大增益达到了2.7%,说明本发明方法起到了很好的效果。
表3本发明方法与标准HM16.9对比的实验结果
Claims (1)
1.一种基于邻近值的HEVC帧内编码优化方法框架,其特征在于根据预测块(PU)的大小不同,对小于等于8和大于8的PU,分别采用不同的优化方法对帧内编码的预测值进行修正,其中,小于等于8指尺寸为4×4和8×8,大于8指尺寸为16×16和32×32,其步骤如下:
(1)使用传统HEVC帧内预测对当前PU的每一个像素进行预测,生成原始PU;
(2)判断当前PU的大小;
(3)PU尺寸小于等于8时,该PU更适合基于邻近值的迭代滤波优化算法,故对于(1)中原始PU的每一个像素,使用该像素点左边、左上、上边位置的修正值以及该像素本身的预测值对原始预测值进行修正;
(4)PU尺寸大于8时,该PU更适合基于平滑卷积的优化算法,故使用卷积核对(1)中生成的原始PU进行迭代卷积,而经过迭代卷积后的修正块则作为最后的PU;
(5)根据率失真代价函数(RDCost)决策最优的预测方式。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910056697.7A CN109889852B (zh) | 2019-01-22 | 2019-01-22 | 一种基于邻近值的hevc帧内编码优化方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910056697.7A CN109889852B (zh) | 2019-01-22 | 2019-01-22 | 一种基于邻近值的hevc帧内编码优化方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109889852A CN109889852A (zh) | 2019-06-14 |
CN109889852B true CN109889852B (zh) | 2021-11-05 |
Family
ID=66926473
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910056697.7A Active CN109889852B (zh) | 2019-01-22 | 2019-01-22 | 一种基于邻近值的hevc帧内编码优化方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109889852B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112243123B (zh) * | 2019-07-16 | 2022-05-27 | 四川大学 | 一种基于无损编码的hevc码率优化方法 |
CN112437313B (zh) * | 2019-08-26 | 2022-08-12 | 浙江大学 | 一种帧内预测像素生成方法和装置 |
CN114071162A (zh) * | 2020-07-29 | 2022-02-18 | Oppo广东移动通信有限公司 | 图像编码方法、图像解码方法及相关装置 |
CN114071161B (zh) * | 2020-07-29 | 2023-03-31 | Oppo广东移动通信有限公司 | 图像编码方法、图像解码方法及相关装置 |
CN114205614B (zh) * | 2021-12-16 | 2023-08-04 | 福州大学 | 一种基于hevc标准的帧内预测模式并行硬件方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104838650A (zh) * | 2012-09-28 | 2015-08-12 | 日本电信电话株式会社 | 帧内预测编码方法、帧内预测解码方法、帧内预测编码装置、帧内预测解码装置、它们的程序以及记录程序的记录介质 |
CN108293113A (zh) * | 2015-10-22 | 2018-07-17 | Lg电子株式会社 | 图像编码***中的基于建模的图像解码方法和设备 |
WO2019009620A1 (ko) * | 2017-07-04 | 2019-01-10 | 엘지전자 주식회사 | 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013063784A1 (en) * | 2011-11-03 | 2013-05-10 | Thomson Licensing | Video encoding and decoding based on image refinement |
US9848202B2 (en) * | 2012-12-28 | 2017-12-19 | Electronics And Telecommunications Research Institute | Method and apparatus for image encoding/decoding |
WO2017065532A1 (ko) * | 2015-10-13 | 2017-04-20 | 엘지전자(주) | 비디오 신호의 인코딩, 디코딩 방법 및 장치 |
SG11201804135XA (en) * | 2015-11-17 | 2018-06-28 | Huawei Tech Co Ltd | Method and apparatus of adaptive filtering of samples for video coding |
-
2019
- 2019-01-22 CN CN201910056697.7A patent/CN109889852B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104838650A (zh) * | 2012-09-28 | 2015-08-12 | 日本电信电话株式会社 | 帧内预测编码方法、帧内预测解码方法、帧内预测编码装置、帧内预测解码装置、它们的程序以及记录程序的记录介质 |
CN108293113A (zh) * | 2015-10-22 | 2018-07-17 | Lg电子株式会社 | 图像编码***中的基于建模的图像解码方法和设备 |
WO2019009620A1 (ko) * | 2017-07-04 | 2019-01-10 | 엘지전자 주식회사 | 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치 |
Non-Patent Citations (3)
Title |
---|
《Block-Based Spatial Prediction and Transforms Based on 2D Markov Processes for Image and Video Compression》;Fatih Kamisli;《IEEE TRANSACTIONS ON IMAGE PROCESSING》;20150430;第2-3部分,第1248-1253页 * |
《Improving Intra Prediction in High-Efficiency Video Coding》;Haoming Chen等;《IEEE TRANSACTTONS ON IMAGE PROCESSTNG》;20160831;第1,3部分,第3671-3672,3676-3677页 * |
《视频压缩中的高效预测技术研究》;张树宁;《中国优秀硕士学位论文全文数据库》;20180215;第3章,全文第26-35页 * |
Also Published As
Publication number | Publication date |
---|---|
CN109889852A (zh) | 2019-06-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109889852B (zh) | 一种基于邻近值的hevc帧内编码优化方法 | |
CN108184129B (zh) | 一种视频编解码方法、装置及用于图像滤波的神经网络 | |
RU2693910C1 (ru) | Устройство кодирования движущихся изображений, устройство декодирования движущихся изображений, способ кодирования движущихся изображений и способ декодирования движущихся изображений | |
US8144770B2 (en) | Apparatus and method for encoding moving picture | |
CN1695381A (zh) | 在数字视频信号的后处理中使用编码信息和局部空间特征的清晰度增强 | |
CN111064958B (zh) | 一种针对b帧和p帧的低复杂度神经网络滤波算法 | |
EP3529986A1 (en) | Low complexity mixed domain collaborative in-loop filter for lossy video coding | |
CN105791877A (zh) | 视频编解码中自适应环路滤波的方法 | |
JP4794147B2 (ja) | フレームシーケンスを符号化する方法、フレームシーケンスを復号する方法、その方法を実施する装置、その方法を実行するコンピュータプログラム、およびそのコンピュータプログラムを格納する記憶媒体 | |
CN106303521B (zh) | 一种基于感知敏感度的hevc率失真优化方法 | |
CN105306957A (zh) | 自适应环路滤波方法和设备 | |
CN113766247B (zh) | 环路滤波的方法与装置 | |
CN110446036B (zh) | 一种基于多用途编码中帧内编码的编码单元快速划分方法 | |
CN106961610A (zh) | 结合超分辨率重建的超高清视频新型压缩框架 | |
Zhang et al. | Efficient CTU-based intra frame coding for HEVC based on deep learning | |
CN103442229B (zh) | 适用于hevc标准的编码器中sao模式判决的比特率估计方法 | |
CN116916036A (zh) | 视频压缩方法、装置及*** | |
CN113810715B (zh) | 一种基于空洞卷积神经网络的视频压缩参考图像生成方法 | |
CN114793282A (zh) | 带有比特分配的基于神经网络的视频压缩 | |
CN114189688B (zh) | 基于亮度模板匹配的色度分量预测方法 | |
CN116918331A (zh) | 编码方法和编码装置 | |
CN112243123B (zh) | 一种基于无损编码的hevc码率优化方法 | |
CN108259896B (zh) | 一种利用系数分布特性的哥伦布-莱斯初始参数自适应决策方法 | |
CN117459737B (zh) | 一种图像预处理网络的训练方法和图像预处理方法 | |
CN103402101A (zh) | 基于边界平滑度的avs环路滤波快速算法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |