CN107801040A - Hevc/h.265编码器架构及其帧内与帧间的预测方法 - Google Patents

Hevc/h.265编码器架构及其帧内与帧间的预测方法 Download PDF

Info

Publication number
CN107801040A
CN107801040A CN201711017670.4A CN201711017670A CN107801040A CN 107801040 A CN107801040 A CN 107801040A CN 201711017670 A CN201711017670 A CN 201711017670A CN 107801040 A CN107801040 A CN 107801040A
Authority
CN
China
Prior art keywords
prediction
hevc
frame
block
encoder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711017670.4A
Other languages
English (en)
Inventor
欧阳国胜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jiaxun Feihong Electrical Co Ltd
Original Assignee
Beijing Jiaxun Feihong Electrical Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jiaxun Feihong Electrical Co Ltd filed Critical Beijing Jiaxun Feihong Electrical Co Ltd
Priority to CN201711017670.4A priority Critical patent/CN107801040A/zh
Publication of CN107801040A publication Critical patent/CN107801040A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/109Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/573Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种新型HEVC/H.265编码器架构及其帧内与帧间的预测方法。所述新型HEVC/H.265编码器明确规定了解码器的实现过程,且在传统主流编码器预测编码、变换编码、熵编码三维一体混合架构的基础上,突破了解码端只有压缩过的比特流和重建帧这一瓶颈,提出了利用输入原始帧做参考/预测这一全新的思路,实现了在不增加任何计算量的前提下,能提高HEVC/H.265编码器帧内预测方向和帧间运动估计的准确度这一愿景,达到进一步提升编码器消除视频序列中图像的各种冗余信息的能力,提高图像的压缩效率和峰值信噪比PSNR这一目的。

Description

HEVC/H.265编码器架构及其帧内与帧间的预测方法
技术领域
本发明属于视频通信技术领域,具体涉及一种新型HEVC/H.265编码器架构及其帧内与帧间的预测方法。
背景技术
在这个视频通信的年代,视频编码器的基本问题可以看作是如何在码率和失真两者之间进行折中,即:在给定的码率下,对原始数据进行编码以获得尽可能小的重建失真;或者是在给定的重建失真下,得到尽可能低的码率。为此,人们采用了很多新技术,如新的帧内预测算法、可变块大小运动补偿、支持1/4像素精度的运动矢量、率失真优化技术等。而取得压缩性能的提升,往往都是以增加大量的计算量为代价。
除此之外,现有技术中MPEG1/2/4、H.261/3/4/5、VC1、VP8/9等视频标准并没有明确地规定一个编解码器是如何实现的,而是仅仅规定了一个经过压缩的视频比特流的句法,和该比特流的解码方法。各个厂商的编码器和解码器在此框架下能够互通,在实现生活中具有较大的灵活性,而有利于相互竞争。
目前所有主流编码器采用的仍是预测编码、变换编码、熵编码三位一体的混合架构。其中预测编码部分都是利用重建帧做参考/预测,由预测块加上经过变换、量化、逆量化、逆变换后的残差重建块,得到当前编码块的重建块。但仅仅因为在解码端不存在原始帧这个原因大大限制了编码器架构的更新和突破。
因此需要新思路来提升编码压缩效率,即不增加计算量的前提下增加编码效率和提高图像的清晰度变得尤为重要。
发明内容
本发明旨在至少解决现有技术中存在的问题之一。
本发明要解决的技术问题之一在于需要新思路来提升编码压缩效率,即不增加计算量的前提下增加编码效率和提高图像的清晰度。
为解决上述技术问题,本发明提供一种新型HEVC/H.265编码器架构及其帧内与帧间的预测方法。
所述新型HEVC/H.265编码的帧内预测方法,包括:
对每一种帧内预测方向都进行如下计算:
首先,用预测方向和当前帧Fn当前编码块的周边原始数据按着标准生成一个预测块P;其次,计算当前编码块和生成的预测块P的花销;然后,按照上述方法依次得到所有预测方向产生的花销,选择具有最小花销的预测方向作为当前编码块的最佳预测方向;
最后,用当前编码块和预测块P计算出残差块Dn,将残差块Dn沿着最佳预测方向进行熵编码。
所述新型HEVC/H.265编码的帧间预测方法,包括:
首先,对当前帧Fn的当前编码块在前面帧即参考帧F,n-1的原始YUV中进行运动估计得到运动矢量MV和参考索引值REF;
其次,利用运动矢量MV、参考索引值REF和参考帧F,n-1计算出预测块P;然后,用当前编码块和预测块P计算出残差块Dn
最后将残差块Dn、运动矢量MV、参考索引值REF进行熵编码。
所述新型HEVC/H.265编码器架构,可以使输入的当前帧Fn通过上述方法处理,组成一个压缩后的码流,经NAL供传输和存储,具体包括以下结构:
单HEVC分为预测模式分析、变换和量化/反变换和反量化、重排序和熵编码三级流水;
在各HEVC之间构建两级去耦信号环路(预测与熵编码)并在重建帧前设置了一环路滤波器以降噪。
具体的说,所述预测模式分析中又分为帧间预测和帧内预测小两级流水。
具体的说,所述前级HEVC中MB反量化/反变换完成后产生预测去耦信号至下级HEVC使其能帧内预测和帧间预测,下级HEVC在收到预测去耦合信号前可经滤波重建帧。
具体的说,所述前级HEVC中熵编码产生熵编码去耦合信号至下级HEVC使其能熵编码。
与现有公开的技术方案相比,本发明具有的优势为:
利用输入原始帧作为参考/预测,提出一种新型编码器,在不增加任何计算量的前提下,能提高HEVC/H.265编码器帧内预测方向和帧间运动估计的准确度,达到进一步提升编码器消除视频序列中图像的各种冗余信息的能力,提高图像的压缩效率和峰值信噪比PSNR。
附图说明
图1所示为本发明新型HEVC/H.265解码器架构框图;
图2所示为本发明新型HEVC/H.265重建帧做参考的编码器架构框图;
图3所示为本发明新型HEVC/H.265原始帧做参考的编码器架构框图。
具体实施方式
下文将结合具体实施例详细描述本发明方法的具体实施方式及效果。应当注意的是,下述实施例中描述的技术特征或者技术特征的组合不应当被认为是孤立的,它们可以被相互组合从而达到更好的技术效果。
以下结合具体实施例对本发明进行详细说明。
实施例1新型HEVC/H.265解码器架构
解码器的功能组成如图1所示,由编码器的NAL输出一个压缩后的比特流,经熵解码得到量化后的一组变换系数,再经反量化与反变换后得到残差块D’n。利用该比特流中解码出来的头信息,使解码器产生一个预测块P,它和编码器中的预测块P是相同的。当该解码器产生的预测块P与残差块D’n相加后,就产生μF’n,再经滤波,最后就得到重建F’n,这个F’n就是最后解码输出的图像。
由上图可知,在解码端只有压缩过的比特流和重建帧,这样我们就可以理解了为什么在编码器中都是用其它帧的重建帧作为参考帧,或者当前帧的重建块数据作为预测块,因为在解码端不存在原始帧,也就是这个原因限制了编码器架构的更新和突破。
实施例2新型HEVC/H.265重建帧做参考的编码器架构
新型HEVC/H.265编码器采用的仍是三合一混合编码架构。如图2所示,输入的当前帧Fn以各种尺寸的矩阵为单位被编码器处理。首先,按帧内或帧间预测编码的方法进行处理,如果采用帧内预测编码,其预测块P是由当前帧Fn中当前块周边位置的重建块像素点,按着一定的规则生成的预测块;如果采用帧间预测编码,其预测块P是由运动矢量MV指向的前面帧的重建帧F’n-1中的矩阵,如果运动矢量是亚像素值,那么需要对指向的重建块进行运动补偿MC生成预测块P;预测块和当前块相减后,产生一个残差块Dn,残差块Dn经过变换和量化后产生一组量化后的变换系数X,与编码所需要的其它信息(例如预测模式、量化步长、参考帧序号、运动矢量等)经过熵编码组成一个压缩后的码流,经NAL供传输和存储用。
为了提供预测用的参考图像,编码器必须有重建图像的功能。因此必须使残差图像经反量化、反变换后得到的残差重建块D’n与预测值P相加,得到μF’n(未经滤波的帧)。为了去除编码解码环路中产生的噪声,提高参考帧的图像质量,从而提高压缩图像性能,设置一个环路滤波器,滤波后的输出即为重建图像F’n,可用作参考图像。
实施例3新型HEVC/H.265原始帧做参考的编码器架构
针对目前编码器结构上的不足,新型HEVC/H.265编码器架构做出以下两处改进:
1、帧内预测,如图3所示,首先,对每一种帧内预测方向都进行如下计算,用预测方向和当前帧Fn的当前编码块周边原始数据按着标准生一个预测块P;其次,计算当前编码块和这个生成的预测块P的花销;然后,依次得到所有预测方向产生的花销,选择具有最小花销的预测方向作为当前块的最佳预测方向。接着利用最佳预测方向和重建块计算出预测块P,再用当前编码块和预测块P计算出残差块Dn。最后将残差块Dn沿着最佳方向进行熵编码。
2、帧间的运动估计ME,如图3所示,首先对当前帧Fn的当前块在前面帧F’n-1的原始YUV中进行运动估计ME得到运动矢量MV、参考索引值REF等;其次,利用运动矢量MV、参考索引值REF和参考帧F’n-1计算出预测块P,再用编码块和预测块P计算出残差块Dn。最后将残差块Dn和MV、参考索引值REF等信息进行熵编码组成一个压缩后的码流,经NAL供传输和存储用。
新编码器架构为了提供预测用的参考图像,新编码器必须有重建图像的功能。因此必须使残差块Dn经量化、变换,再经反量化、反变换后得到的残差重建块D’n与预测块P相加,得到μF’n(未经滤波的块)。为了去除编码解码环路中产生的噪声,设置一个环路滤波器,μF’n滤波后的输出即为重建图像F’n,可用作为后面帧的参考图像F’n-1
本文虽然已经给出了本发明的一些实施例,但是本领域的技术人员应当理解,在不脱离本发明精神的情况下,可以对本文的实施例进行改变。上述实施例只是示例性的,不应以本文的实施例作为本发明权利范围的限定。

Claims (6)

1.一种新型HEVC/H.265编码的帧内预测方法,其特征在于,包括:
对每一种帧内预测方向都进行如下计算:
首先,用预测方向和当前帧Fn当前编码块的周边原始数据按着标准生成一个预测块P;其次,计算当前编码块和生成的预测块P的花销;然后,按照上述方法依次得到所有预测方向产生的花销,选择具有最小花销的预测方向作为当前编码块的最佳预测方向;
最后,用当前编码块和预测块P计算出残差块Dn,将残差块Dn沿着最佳预测方向进行熵编码。
2.一种新型HEVC/H.265编码的帧间预测方法,其特征在于,包括:
首先,对当前帧Fn的当前编码块在前面帧即参考帧F’n-1的原始YUV中进行运动估计得到运动矢量MV和参考索引值REF;
其次,利用运动矢量MV、参考索引值REF和参考帧F’n-1计算出预测块P;然后,用当前编码块和预测块P计算出残差块Dn
最后将残差块Dn、运动矢量MV、参考索引值REF进行熵编码。
3.一种新型HEVC/H.265编码器架构,其特征在于,输入的当前帧Fn通过如权利要求1或2任一项所述的方法处理,组成一个压缩后的码流,经NAL供传输和存储,具体包括以下结构:
单HEVC分为预测模式分析、变换和量化/反变换和反量化、重排序和熵编码三级流水;
在各HEVC之间构建两级去耦信号环路(预测与熵编码)并在重建帧前设置了一环路滤波器以降噪。
4.如权利要求3所述的一种新型HEVC/H.265编码器架构,其特征在于,所述预测模式分析中又分为帧间预测和帧内预测小两级流水。
5.如权利要求4所述的一种新型HEVC/H.265编码器架构,其特征在于,所述前级HEVC中MB反量化/反变换完成后产生预测去耦信号至下级HEVC使其能帧内预测和帧间预测,下级HEVC在收到预测去耦合信号前可经滤波重建帧。
6.如权利要求5所述的一种新型HEVC/H.265编码器架构,其特征在于,所述前级HEVC中熵编码产生熵编码去耦合信号至下级HEVC使其能熵编码。
CN201711017670.4A 2017-10-26 2017-10-26 Hevc/h.265编码器架构及其帧内与帧间的预测方法 Pending CN107801040A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711017670.4A CN107801040A (zh) 2017-10-26 2017-10-26 Hevc/h.265编码器架构及其帧内与帧间的预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711017670.4A CN107801040A (zh) 2017-10-26 2017-10-26 Hevc/h.265编码器架构及其帧内与帧间的预测方法

Publications (1)

Publication Number Publication Date
CN107801040A true CN107801040A (zh) 2018-03-13

Family

ID=61548041

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711017670.4A Pending CN107801040A (zh) 2017-10-26 2017-10-26 Hevc/h.265编码器架构及其帧内与帧间的预测方法

Country Status (1)

Country Link
CN (1) CN107801040A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110351560A (zh) * 2019-07-17 2019-10-18 深圳市网心科技有限公司 一种编码方法、***及电子设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1943244A (zh) * 2004-04-14 2007-04-04 三星电子株式会社 视频编码中的帧间预测方法、视频编码器、视频解码方法和视频解码器
CN101841713A (zh) * 2010-04-30 2010-09-22 西安电子科技大学 降低编码码率的视频编码方法及***
CN103796026A (zh) * 2012-11-01 2014-05-14 华平信息技术股份有限公司 一种基于双参考帧的运动估计方法
CN105635731A (zh) * 2016-01-07 2016-06-01 西安电子科技大学 高效视频编码的帧内预测参考点预处理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1943244A (zh) * 2004-04-14 2007-04-04 三星电子株式会社 视频编码中的帧间预测方法、视频编码器、视频解码方法和视频解码器
CN101841713A (zh) * 2010-04-30 2010-09-22 西安电子科技大学 降低编码码率的视频编码方法及***
CN103796026A (zh) * 2012-11-01 2014-05-14 华平信息技术股份有限公司 一种基于双参考帧的运动估计方法
CN105635731A (zh) * 2016-01-07 2016-06-01 西安电子科技大学 高效视频编码的帧内预测参考点预处理方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110351560A (zh) * 2019-07-17 2019-10-18 深圳市网心科技有限公司 一种编码方法、***及电子设备和存储介质

Similar Documents

Publication Publication Date Title
CN105284109B (zh) 运动图像编码装置、运动图像解码装置、运动图像编码方法、运动图像解码方法、及程序
US8582904B2 (en) Method of second order prediction and video encoder and decoder using the same
US10091526B2 (en) Method and apparatus for motion vector encoding/decoding using spatial division, and method and apparatus for image encoding/decoding using same
CN103634606B (zh) 视频编码方法和装置
CN103260018B (zh) 帧内图像预测编解码方法及视频编解码器
CN110493596B (zh) 一种基于神经网络的视频编码***及方法
CN103782598A (zh) 用于无损编码的快速编码方法
CN104041035A (zh) 用于复合视频的无损编码及相关信号表示方法
CN102150427A (zh) 用于使用自适应环路滤波器进行视频编码的***和方法
CN103442228B (zh) 从h.264/avc标准到hevc标准的快速帧内转码方法及其转码器
CN104079937B (zh) 一种基于运动矢量分析的由h.264到hevc的快速帧间转码方法及转码装置
CN107888929A (zh) 视频编码解码方法、设备以及生成和存储比特流的方法
CN104883565A (zh) 一种高效视频编码的帧内预测模式决策方法及装置
CN104685884A (zh) 用于混合视频编解码器的改进架构
CN106961610A (zh) 结合超分辨率重建的超高清视频新型压缩框架
CN102187668A (zh) 消除一个或多个预定预测器的编码和解码
CN103442229B (zh) 适用于hevc标准的编码器中sao模式判决的比特率估计方法
CN110351552B (zh) 视频编码中一种快速编码方法
KR100827093B1 (ko) 영상 부호화 방법 및 장치
CN103069803A (zh) 视频编码方法、视频解码方法、视频编码装置、视频解码装置及其程序
CN101742288A (zh) 视频降噪编码方法和视频降噪编码装置
KR20170114598A (ko) 적응적 색상 순서에 따른 색상 성분 간 예측을 이용한 동영상 부호화 및 복호화 방법 및 장치
CN102082919A (zh) 数字视频矩阵
CN102026002A (zh) 帧率下采样转码方法和装置以及矢量重建方法和装置
CN111586406B (zh) 一种vvc帧内帧间跳过方法、***、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180313

RJ01 Rejection of invention patent application after publication