CN104301724B - 视频处理方法、编码设备和解码设备 - Google Patents

视频处理方法、编码设备和解码设备 Download PDF

Info

Publication number
CN104301724B
CN104301724B CN201410553229.8A CN201410553229A CN104301724B CN 104301724 B CN104301724 B CN 104301724B CN 201410553229 A CN201410553229 A CN 201410553229A CN 104301724 B CN104301724 B CN 104301724B
Authority
CN
China
Prior art keywords
mrow
msup
prediction block
current prediction
msub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410553229.8A
Other languages
English (en)
Other versions
CN104301724A (zh
Inventor
张翔
马思伟
吕卓逸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University
Huawei Technologies Co Ltd
Original Assignee
Peking University
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University, Huawei Technologies Co Ltd filed Critical Peking University
Priority to CN201410553229.8A priority Critical patent/CN104301724B/zh
Publication of CN104301724A publication Critical patent/CN104301724A/zh
Priority to PCT/CN2015/077816 priority patent/WO2016058357A1/zh
Priority to US15/486,475 priority patent/US10645382B2/en
Application granted granted Critical
Publication of CN104301724B publication Critical patent/CN104301724B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115Selection of the code volume for a coding unit prior to coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/147Data rate or code amount at the encoder output according to rate distortion criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明实施例涉及视频处理方法、编码设备和解码设备。该方法包括:接收视频数据,该视频数据被划分为多个帧;计算当前编码块中的当前预测块的拉格朗日乘数,该当前预测块是该当前编码块内的一段视频信号,该当前编码块位于当前帧中,该当前帧是该多个帧中的一个;使用该当前预测块的拉格朗日乘数按照率失真优化算法对该当前预测块进行编码处理,得到该当前预测块的编码结果;向解码端发送该当前预测块的编码结果。本发明实施例的视频处理方法、编码设备和解码设备可以提高编码压缩效率。

Description

视频处理方法、编码设备和解码设备
技术领域
本发明涉及通信领域,尤其涉及视频处理方法、编码设备和解码设备。
背景技术
随着信息技术的发展,视频信号以其直观性和高效性等优势成为人们日常生活中获取信息最主要的方式。由于视频信号包含的数据量大,需要占用大量的传输带宽和存储空间。为了有效的传输和存储视频信号,需要对视频信号进行压缩编码。同时随着高清晰度电视,网络会议,IPTV,3D电视等视频业务的迅速发展以及人们对视频质量要求的不断提高,视频压缩技术越来越成为视频应用领域不可或缺的关键技术。
视频编码以C.E.Shannon提出的信息论为理论基础,目的是有效去除视频信号间的冗余信息,最大限度地提高压缩效率。在视频编码技术研究过程中,新的算法和理论不断产生,例如:DPCM,变换编码,Huffman编码等编码方法可以有效的去除处理视频信号间的冗余信息;量化理论和率失真理论的建立可以更加有效地指导编码过程的进行。此外,基于视频本身的特性产生了例如运动估计,去块效应滤波和自适应环路滤波等技术。
众所周知,人类视觉***的信息处理能力远远超过目前的视频处理***,同时由于人眼是视频的最终接受者,因此基于人眼视觉***的特性对视频失真特点进行分析,设计出基于视频特性的高效视频编码方法显得尤为重要。研究表明,在视频编码的率失真优化方法中沿用已久的失真衡量标准绝对差和(SAD)和平方差和(SSD)均不能很好地反映人眼对图像的主观感受。近些年来,研究界陆续提出了包括JND和SSIM在内的衡量失真的函数,并将其应用在视频编码中。
现有技术中提出了一种在H.264/AVC上实现的基于SSIM的率失真优化编码方法。首先利用SSIM的倒数作为衡量主观失真的函数,如公式(1)所示,并应用到率失真优化的拉格朗日乘数的调整方法中。其中,δx为当前宏块的方差,MSE为当前编码块的均方误差(MeanSquared Error),c2为常量。
现有技术利用基于SSIM的主观失真评价函数,改进当前编码块在模式选择中的率失真优化算法,达到压缩图像提高主观质量的目的。但是编码块的拉格朗日乘数是根据编码块的局部特性确定的,导致位于该编码块中的预测块在使用该编码块的拉格朗日乘数进行运动估计时,预测不准确,导致该预测块的残差较大,进一步导致编码该残差所消耗的比特率较大,从而导致视频编码效率较低。
发明内容
本发明提供了一种视频处理方法、编码设备和解码设备,能够提高编码压缩效率。
第一方面,提供了一种视频处理方法,该方法包括:接收视频数据,该视频数据被划分为多个帧,该多个帧中的每个帧被划分为多个编码块,每个该编码块被划分为至少两个预测块;计算当前编码块中的当前预测块的拉格朗日乘数LambdaPnew,该当前预测块是该当前编码块内的一段视频信号,该当前编码块位于当前帧中,该当前帧是该多个帧中的一个;使用该当前预测块的拉格朗日乘数LambdaPnew按照率失真优化算法对该当前预测块进行编码处理,得到该当前预测块的编码结果;向解码端发送该当前预测块的编码结果。
结合第一方面,在第一方面的第一种可能的实现方式中,该计算当前编码块中的当前预测块的拉格朗日乘数LambdaPnew,包括:确定该当前预测块;计算该当前帧的能量Eglobal和该当前预测块的第一能量Eplocal;根据该当前帧的能量Eglobal和该当前预测块的第一能量Eplocal的比值确定该当前预测块的第一缩放因子Fp,该第一缩放因子Fp的取值范围为0到2之间;使用该第一缩放因子Fp对拉格朗日乘数Lambda进行缩放处理,得到该当前预测块的拉格朗日乘数LambdaPnew
结合第一方面的第一种可能的实现方式,在第一方面的第二种可能的实现方式中,该计算该当前帧的能量Eglobal和该当前预测块的第一能量Eplocal,包括:确定k*k像素的最小单元,该当前帧包含N个该最小单元,该当前预测块包含L个该最小单元,其中,k、N和L均为大于1的整数,且满足N>L;根据下列公式计算该当前帧f的第i个该最小单元的第一方差Vi f
其中,i为小于或者等于N的正整数,xi,j f为该当前帧f的第i个该最小单元的第j个像素值,表示该最小单元中该像素值的平均值;根据下列公式计算该当前帧的能量Eglobal
根据下列公式计算该当前预测块的第一能量Eplocal
其中,C=(α*255)2,α∈(0,1)。
结合第一方面的第一种或第二种可能的实现方式,在第一方面的第三种可能的实现方式中,该确定该当前预测块,包括:计算Y种候选预测块中每一种候选预测块的拉格朗日乘数,其中Y为大于或者等于2的整数;使用该Y种候选预测块中的第x种候选预测块的拉格朗日乘数,按照率失真优化算法确定该第x种候选预测块的参数信息,其中,x需要取[1,Y]中的每一个整数,该当前预测块的参数信息是指帧间预测时第x种候选预测块的运动矢量信息,或,该当前预测块的参数信息是指帧内预测时第x种候选预测块的预测方向信息;根据该帧间预测时该Y种候选预测块中每一种候选预测块的运动矢量信息,或者,根据该帧内预测时该Y种候选预测块中每一种候选预测块的预测方向信息,通过率失真优化算法从Y种候选预测块中确定出一种候选预测块为目标候选预测块;使用该目标候选预测块划分该当前编码块得到该当前预测块。
结合第一方面的第三种可能的实现方式,在第一方面的第四种可能的实现方式中,该使用该当前预测块的拉格朗日乘数LambdaPnew按照率失真优化算法对该当前预测块进行编码处理,得到该当前预测块的编码结果,包括:根据该当前预测块的大小和帧间预测时该当前预测块的运动矢量信息,按照帧间预测机制确定该当前预测块的预测信号;或者,根据该当前预测块的大小和帧内预测时该当前预测块的预测方向信息,按照帧内预测机制确定该当前预测块的预测信号;基于该当前预测块的预测信号经过残差运算对该当前预测块进行熵编码,得到该当前预测块的编码结果。
结合第一方面的第四种可能的实现方式,在第一方面的第五种可能的实现方式中,该基于该当前预测块的预测信号经过残差运算对该当前预测块进行熵编码,得到该当前预测块的编码结果,包括:根据接收到的该当前预测块的视频信号和该当前预测块的预测信号的差得到该当前预测块的残差,该当前预测块的视频信号位于该视频数据中;将该当前预测块的残差进行离散余弦变换DCT处理,获取该当前预测块的DCT变换系数;根据该当前预测块的量化参数Qpnew对该DCT变换系数进行量化处理;将该当前编码块的大小、使用目标候选预测块对当前编码块进行划分的方式、该当前预测块的参数信息和经过量化处理后的该DCT变换系数进行熵编码处理,得到该当前预测块的编码结果。
结合第一方面的第五种可能的实现方式,在第一方面的第六种可能的实现方式中,该基于该当前预测块的预测信号经过残差运算对该当前预测块进行熵编码,得到该当前预测块的编码结果,包括:根据接收到的该当前预测块的视频信号和该当前预测块的预测信号的差得到该当前预测块的残差,该当前预测块的视频信号位于该视频数据中;将该当前预测块的残差进行离散余弦变换DCT处理,获取该当前预测块的DCT变换系数;根据该当前预测块的量化参数Qpnew对该DCT变换系数进行量化处理;将该当前编码块的大小、使用目标候选预测块对当前编码块进行划分的方式、该当前预测块的参数信息和经过量化处理后的该DCT变换系数进行熵编码处理,得到该当前预测块的编码结果。
结合第一方面的第六种可能的实现方式,在第一方面的第七种可能的实现方式中,该根据该当前预测块的预测信号,确定该当前预测块的第二能量Ep'local,包括:根据下列公式计算该当前帧f的该当前预测块的第i个该最小单元的第二方差V″i f
其中,x″i,j f为该当前帧f的该当前预测块的第i个该最小单元的第j个像素值,表示该最小单元中该像素值的平均值;根据下列公式确定该当前预测块的第二能量Ep'local
其中,C=(α*255)2,α∈(0,1)。
结合第一方面的第六种或第七种可能的实现方式,在第一方面的第八种可能的实现方式中,该根据已编码的重建帧的重建信号,确定该重建帧的能量E'global,包括:该重建帧包含N'个该最小单元,其中,N'为大于1的正整数;根据下列公式计算该重建帧f'的第i个该最小单元的方差V'i f'
其中,x'i,j f'为该重建帧f'的第i个该最小单元的第j个像素值,表示该最小单元中该像素值的平均值;根据下列公式确定该重建帧的能量E'global
其中,C=(α*255)2,α∈(0,1)。
第二方面,提供了一种视频处理方法,该方法包括:接收编码端发送的视频码流中的编码信息,该编码信息包括当前编码块的大小、对该当前编码块进行划分的方法、当前预测块的参数信息,该当前预测块的参数信息是指帧间预测时当前预测块的运动矢量信息,或,该当前预测块的参数信息是指帧内预测时当前预测块的预测方向信息;按照对该当前编码块进行划分的方法对该当前编码块的大小进行划分,得到该当前预测块的大小;根据该当前预测块的大小和帧间预测时该当前预测块的运动矢量信息,按照帧间预测机制确定当前预测块的预测信号;或者,根据该当前预测块的大小和帧内预测时该当前预测块的预测方向信息,按照帧内预测机制确定该当前预测块的预测信号;基于该当前预测块的预测信号经过残差运算对当前预测块进行解码处理,得到该当前预测块的解码结果。
结合第二方面,在第二方面的第一种可能的实现方式中,该基于该当前预测块的预测信号经过残差运算对当前预测块进行解码处理,得到该当前预测块的解码结果包括:根据该当前预测块的预测信号确定该当前预测块的量化参数Qpnew;根据该当前预测块的量化参数Qpnew对量化处理后的离散余弦变换DCT变换系数进行反量化处理,获取该当前预测块的DCT变换系数,该编码信息还包括该量化处理后的DCT变换系数;将该当前预测块的DCT变换系数进行离散余弦反变换IDCT处理,获取该当前预测块的残差;基于该当前预测块的预测信号和该当前预测块的残差之和确定解码结果。
结合第二方面的第一种可能的实现方式,在第二方面的第二种可能的实现方式中,该根据该当前预测块的预测信号确定该当前预测块的量化参数Qpnew,包括:根据该当前预测块的预测信号,确定该当前预测块的能量Ep'local;根据已解码的重建帧的重建信号,确定该重建帧的能量E'global;根据该当前预测块的能量Ep'local与该重建帧的能量E'global的比值确定该当前预测块的缩放因子Fp″;根据下列公式确定该当前预测块的量化参数Qpnew
Qpnew=Qp+6×log2Fp″
其中,Qpnew为该当前预测块的缩放因子,Qp为原始的量化参数。
结合第二方面的第二种可能的实现方式,在第二方面的第三种可能的实现方式中,该根据该当前预测块的预测信号,确定该当前预测块的能量Ep'local,包括:确定k*k像素的最小单元,该当前预测块包含L个该最小单元,其中,k和L均为大于1的正整数;根据下列公式计算该当前帧f的该当前预测块的第i个该最小单元的方差V″i f
其中,x″i,j f为该当前帧f的该当前预测块的第i个该最小单元的第j个像素值,表示该最小单元中该像素值的平均值;根据下列公式确定该当前预测块的能量Ep'local
其中,C=(α*255)2,α∈(0,1)。
结合第二方面的第二种或第三种可能的实现方式,在第二方面的第四种可能的实现方式中,该根据已解码的重建帧的重建信号,确定该重建帧的能量E'global,包括:该重建帧包含N'个该最小单元,其中,N'为大于1的正整数;根据下列公式计算该重建帧f'的第i个该最小单元的方差V'i f'
其中,x'i,j f'为该重建帧f'的第i个该最小单元的第j个像素值,表示该最小单元中该像素值的平均值;根据下列公式确定该重建帧的能量E'global
其中,C=(α*255)2,α∈(0,1)。
第三方面,提供了一种编码设备,该编码设备包括:获取模块,用于接收视频数据,该视频数据被划分为多个帧,该多个帧中的每个帧被划分为多个编码块,每个该编码块被划分为至少两个预测块;计算模块,用于计算当前编码块中的当前预测块的拉格朗日乘数LambdaPnew,该当前预测块是该当前编码块内的一段视频信号,该当前编码块位于当前帧中,该当前帧是该多个帧中的一个;处理模块,用于使用该当前预测块的拉格朗日乘数LambdaPnew按照率失真优化算法对该当前预测块进行编码处理,得到该当前预测块的编码结果;发送模块,用于向解码端发送该当前预测块的编码结果。
结合第三方面,在第三方面的第一种可能的实现方式中,该计算模块具体用于:确定该当前预测块;计算该当前帧的能量Eglobal和该当前预测块的第一能量Eplocal;根据该当前帧的能量Eglobal和该当前预测块的第一能量Eplocal的比值确定该当前预测块的第一缩放因子Fp,该第一缩放因子Fp的取值范围为0到2之间;使用该第一缩放因子Fp对拉格朗日乘数Lambda进行缩放处理,得到该当前预测块的拉格朗日乘数LambdaPnew
结合第三方面或第三方面的第一种可能的实现方式,在第三方面的第二种可能的实现方式中,该计算模块具体用于:确定k*k像素的最小单元,该当前帧包含N个该最小单元,该当前预测块包含L个该最小单元,其中,k、N和L均为大于1的整数,且满足N>L;根据下列公式计算该当前帧f的第i个该最小单元的第一方差Vi f
其中,i为小于或者等于N的正整数,xi,j f为该当前帧f的第i个该最小单元的第j个像素值,表示该最小单元中该像素值的平均值;根据下列公式计算该当前帧的能量Eglobal
根据下列公式计算该当前预测块的第一能量Eplocal
其中,C=(α*255)2,α∈(0,1)。
结合第三方面或第三方面的第一种至第二种可能的实现方式中的任一种可能的实现方式,在第三方面的第三种可能的实现方式中,该计算模块具体用于:计算Y种候选预测块中每一种候选预测块的拉格朗日乘数,其中Y为大于或者等于2的整数;使用该Y种候选预测块中的第x种候选预测块的拉格朗日乘数,按照率失真优化算法确定该第x种候选预测块的参数信息,其中,x需要取[1,Y]中的每一个整数,该当前预测块的参数信息是指帧间预测时第x种候选预测块的运动矢量信息,或,该当前预测块的参数信息是指帧内预测时第x种候选预测块的预测方向信息;根据该帧间预测时该Y种候选预测块中每一种候选预测块的运动矢量信息,或者,根据该帧内预测时该Y种候选预测块中每一种候选预测块的预测方向信息,通过率失真优化算法从Y种候选预测块中确定出一种候选预测块为目标候选预测块;使用该目标候选预测块划分该当前编码块得到该当前预测块。
结合第三方面的第三种可能的实现方式,在第三方面的第四种可能的实现方式中,该处理模块具体用于:根据该当前预测块的大小和帧间预测时该当前预测块的运动矢量信息,按照帧间预测机制确定该当前预测块的预测信号;或者,根据该当前预测块的大小和帧内预测时该当前预测块的预测方向信息,按照帧内预测机制确定该当前预测块的预测信号;基于该当前预测块的预测信号经过残差运算对该当前预测块进行熵编码,得到该当前预测块的编码结果。
结合第三方面的第四种可能的实现方式,在第三方面的第五种可能的实现方式中,该处理模块具体用于:根据接收到的该当前预测块的视频信号和该当前预测块的预测信号的差得到该当前预测块的残差,该当前预测块的视频信号位于该视频数据中;将该当前预测块的残差进行离散余弦变换DCT处理,获取该当前预测块的DCT变换系数;根据该当前预测块的量化参数Qpnew对该DCT变换系数进行量化处理;将该当前编码块的大小、使用目标候选预测块对当前编码块进行划分的方式、该当前预测块的参数信息和经过量化处理后的该DCT变换系数进行熵编码处理,得到该当前预测块的编码结果。
结合第三方面的第四种或第五种可能的实现方式,在第三方面的第六种可能的实现方式中,该处理模块具体用于:根据该当前预测块的预测信号,确定该当前预测块的第二能量Ep'local;根据已编码的重建帧的重建信号,确定该重建帧的能量E'global;根据该当前预测块的第二能量Ep'local与该重建帧的能量E'global的比值确定该当前预测块的第二缩放因子Fp″;根据下列公式确定量化参数Qpnew
Qpnew=Qp+6×log2Fp″
其中,Fp″为该第二缩放因子,Qp为原始的量化参数;根据该量化参数将该DCT变换系数进行量化处理。
结合第三方面的第六种可能的实现方式,在第三方面的第七种可能的实现方式中,该处理模块具体用于:根据下列公式计算该当前帧f的该当前预测块的第i个该最小单元的第二方差V″i f
其中,x″i,j f为该当前帧f的该当前预测块的第i个该最小单元的第j个像素值,表示该最小单元中该像素值的平均值;根据下列公式确定该当前预测块的第二能量Ep'local
其中,C=(α*255)2,α∈(0,1)。
结合第三方面的第六种或第七种可能的实现方式,在第三方面的第八种可能的实现方式中,该处理模块具体用于:该重建帧包含N'个该最小单元,其中,N'为大于1的正整数;根据下列公式计算该重建帧f'的第i个该最小单元的方差V'i f'
其中,x'i,j f'为该重建帧f'的第i个该最小单元的第j个像素值,表示该最小单元中该像素值的平均值;根据下列公式确定该重建帧的能量E'global
其中,C=(α*255)2,α∈(0,1)。
第四方面,提供了一种解码设备,该解码设备包括:接收模块,用于接收编码端发送的视频码流中的编码信息,该编码信息包括当前编码块的大小、对该当前编码块进行划分的方法、当前预测块的参数信息,该当前预测块的参数信息是指帧间预测时当前预测块的运动矢量信息,或,该当前预测块的参数信息是指帧内预测时当前预测块的预测方向信息;第一确定模块,用于按照对该当前编码块进行划分的方法对该当前编码块的大小进行划分,得到该当前预测块的大小;第二确定模块,用于根据该当前预测块的大小和帧间预测时该当前预测块的运动矢量信息,按照帧间预测机制确定当前预测块的预测信号;或者,根据该当前预测块的大小和帧内预测时该当前预测块的预测方向信息,按照帧内预测机制确定该当前预测块的预测信号;处理模块,用于基于该当前预测块的预测信号经过残差运算对当前预测块进行解码处理,得到该当前预测块的解码结果。
结合第四方面,在第四方面的第一种可能的实现方式中,该处理模块具体用于:根据该当前预测块的预测信号确定该当前预测块的量化参数Qpnew;根据该当前预测块的量化参数Qpnew对量化处理后的离散余弦变换DCT变换系数进行反量化处理,获取该当前预测块的DCT变换系数,该编码信息还包括该量化处理后的DCT变换系数;将该当前预测块的DCT变换系数进行离散余弦反变换IDCT处理,获取该当前预测块的残差;基于该当前预测块的预测信号和该当前预测块的残差之和确定解码结果。
结合第四方面或第四方面的第一种可能的实现方式,在第四方面的第二种可能的实现方式中,该处理模块具体用于:根据该当前预测块的预测信号,确定该当前预测块的能量Ep'local;根据已解码的重建帧的重建信号,确定该重建帧的能量E'global;根据该当前预测块的能量Ep'local与该重建帧的能量E'global的比值确定该当前预测块的缩放因子Fp″;根据下列公式确定该当前预测块的量化参数Qpnew
Qpnew=Qp+6×log2Fp″
其中,Qpnew为该当前预测块的缩放因子,Qp为原始的量化参数。
结合第四方面的第二种可能的实现方式,在第四方面的第三种可能的实现方式中,该处理模块具体用于:确定k*k像素的最小单元,该当前预测块包含L个该最小单元,其中,k和L均为大于1的正整数;根据下列公式计算该当前帧f的该当前预测块的第i个该最小单元的方差V″i f
其中,x″i,j f为该当前帧f的该当前预测块的第i个该最小单元的第j个像素值,表示该最小单元中该像素值的平均值;根据下列公式确定该当前预测块的能量Ep'local
其中,C=(α*255)2,α∈(0,1)。
结合第四方面的第二种或第三种可能的实现方式,在第四方面的第四种可能的实现方式中,该处理模块具体用于:该重建帧包含N'个该最小单元,其中,N'为大于1的正整数;根据下列公式计算该重建帧f'的第i个该最小单元的方差V'i f'
其中,x'i,j f'为该重建帧f'的第i个该最小单元的第j个像素值,表示该最小单元中该像素值的平均值;根据下列公式确定该重建帧的能量E'global
其中,C=(α*255)2,α∈(0,1)。
第五方面,提供了一种通信***该通信***包括如第三方面或第三方面的第一种至第八种可能的实现方式中的任一种可能的实现方式中的编码设备,和如第四方面或第四方面的第一种至第四种可能的实现方式中的任一种可能的实现方式中的的解码设备,该编码设备用于接收视频数据,对该视频数据进行编码处理,得到该视频数据的编码结果,并将该视频数据的编码结果发送给该解码设备;该解码设备用于接收该视频数据的编码结果,并对该视频数据的编码结果进行解码处理,得到该视频数据。
基于上述技术方案,本发明实施例的视频处理方法、编码设备和解码设备,通过确定当前帧的预测块,并计算预测块的拉格朗日乘数,根据预测块的拉格朗日乘数通过率失真优化算法,对视频数据像进行编码处理,可以避免由于预测块的局部特性导致在运动估计时不准确,从而提高了编码压缩效率,达到在主观质量不变的情况下提高编码率,或在相同码率下提高视频主观质量的目的。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例中所需要使用的附图作简单地介绍,显而易见地,下面所描述的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的视频处理方法的示意性流程图。
图2是根据本发明实施例的标准HEVC中帧间预测的预测块的划分的示意图。
图3是根据本发明实施例的标准HEVC中帧内预测的预测块的划分的示意图。
图4是根据本发明实施例的标准HEVC帧内预测的预测方向的示意图。
图5是根据本发明实施例的视频处理方法的另一示意性流程图
图6是根据本发明实施例的BQSquare主观质量对比图。
图7是根据本发明实施例的编码设备的示意性框图。
图8是根据本发明实施例的解码设备的示意性框图。
图9是根据本发明实施例的通信***的示意性框图。
图10是根据本发明实施例的编码设备的另一示意性框图。
图11是根据本发明实施例的解码设备的另一示意性框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明的一部分实施例,而不是全部实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都应属于本发明保护的范围。
应理解,本发明实施例可以用于视频编码标准HEVC或标准H.264/AVC的帧间预测或帧内预测的编码和解码方法中,但本发明并不限于此。
图1示出了根据本发明实施例的视频处理方法100的示意性流程图。图1所示的方法可以用于图像或视频的编码过程中,由编码设备执行。如图1所示,该方法包括:
S110,接收视频数据,该视频数据被划分为多个帧,该多个帧中的每个帧被划分为多个编码块,每个该编码块被划分为至少两个预测块;
S120,计算当前编码块中的当前预测块的拉格朗日乘数LambdaPnew,该当前预测块是该当前编码块内的一段视频信号,该当前编码块位于当前帧中,该当前帧是该多个帧中的一个;
S130,使用该当前预测块的拉格朗日乘数LambdaPnew按照率失真优化算法对该当前预测块进行编码处理,得到该当前预测块的编码结果;
S140,向解码端发送该当前预测块的编码结果。
具体地,编码设备接收到视频数据后,通过符合人眼视觉特效的率失真优化算法确定当前帧的当前预测块,计算该当前预测块的拉格朗日乘数,根据该当前预测块的拉格朗日乘数和率失真优化算法对该当前预测块对视频数据进行编码处理;将编码处理后的结果发送至解码端。
因此,本发明实施例的视频处理方法,通过确定当前帧的当前预测块,并计算当前预测块的拉格朗日乘数,根据当前预测块的拉格朗日乘数通过率失真优化算法,对视频数据像进行编码处理,可以避免由于预测块的局部特性导致在运动估计时不准确,从而提高了编码压缩效率,达到在主观质量不变的情况下提高编码率,或在相同码率下提高视频主观质量的目的。
应理解,本发明实施例可以应用于多种场景中的编码过程中,下面仅以最新的视频编码标准HEVC中利用帧间预测进行编码的方法为例进行具体说明,但本发明并不限于此。
在S110中,编码设备获取视频数据,可选地,编码设备可以通过I/O接口接收视频数据,该视频数据中包括多个帧,每个帧包括多个编码块(Coding Unit,简称“CU”),每个该编码块包括至少一个预测块(Predict Unit,简称“PU”)。例如在标准HEVC中,编码块按照大小可以包括64*64,32*32,16*16和8*8四种,每一种大小的编码块可以划分大小不同的预测块,如图2所示,预测块共有八种划分方法,其中,M表示编码块的大小。编码设备获取的视频数据中包括多个帧,每个帧中可以包括多个大小不同的编码块,每个编码块可以按照不同的划分方法划分为至少一个预测块。
在S120中,编码设备确定当前预测块,并计算当前预测块的拉格朗日乘数LambdaPnew。具体地,编码设备可以通过率失真优化算法确定当前预测块,在标准HEVC中,按照大小不同分别确定四种大小不同的候选编码块,编码块之间不重叠,再将每一种候选编码块如图2所示,按照大小不同分别划分为包括至少两个候选预测块,每一种候选编码块共有七种候选预测块的划分方法,共有28种大小不同的候选预测块。
在本发明实施例中,可选地,可以利用高斯低通滤波器,也可以采用其他方法,先对当前帧的原始信号进行平滑处理,从而可以减小图像信号差异。
取k*k像素的最小单元,当前帧包含N个最小单元,候选编码块包括M个最小单元,候选预测块包含L个该最小单元,其中,k、N、M和L均为大于1的正整数,且满足N>M≥L;通过下列公式(2)计算该当前帧f的第i个最小单元的方差Vi f
其中,xi,j f为当前帧f的第i个最小单元的第j个像素值,表示该最小单元中像素值的平均值。
利用下列公式(3)到(5),分别计算当前帧、每一种候选编码块和每一种候选预测块的能量:
其中,Eglobal为当前帧的能量,Eclocal为候选编码块的能量,Eplocal为候选预测块的能量,C=(α*255)2,α∈(0,1)。
利用下列公式(6)和(7)得到候选编码块和候选预测块的基于视觉特性的缩放因子Fc和Fp:
其中,缩放因子Fc和Fp的取值范围为0到2之间。
利用下列公式(8)和(9),计算拉格朗日乘数:
LambdaCnew=Fc×Lambda (8)
LambdaPnew=Fp×Lambda (9)
其中,LambdaCnew为候选编码块的拉格朗日乘数,LambdaPnew为候选预测块的拉格朗日乘数。
在本发明实施例中,对于标准HEVC帧间预测过程,候选预测块的拉格朗日乘数LambdaPnew用于确定参数信息的计算,该参数信息在帧间预测时,可以包括当前的候选预测块在运动估计时的运动矢量,具体利用预测块确定运动矢量的计算过程与现有技术中利用编码块技术运动矢量的过程类似。将运动矢量应用到率失真优化算法中,得到每一种大小的候选编码块中最优的一种预测块的划分方法;再将每一种候选编码块的拉格朗日乘数LambdaCnew应用到率失真优化算法中,得到最优的编码块大小,从而确定在标准HEVC中的28种候选预测块中一种最优的预测块的划分方法,通过该划分方法划分当前帧和当前编码块,从而得到对应的当前编码块的大小和当前编码上的当前预测块的大小。可选地,可以根据参数信息通过率失真优化算法得到率失真优化代价,选取代价最小时对应的划分方法为最优的划分方法,本发明并不限于此。
在本发明实施例中,确定当前预测块后,该当前预测块对应的第一能量Eplocal、当前预测块对应的第一缩放因子Fp、当前预测块的拉格朗日乘数LambdaPnew和对应的参数信息即可同步确定。
在S130中,编码设备根据该当前预测块的拉格朗日乘数LambdaPnew和率失真优化算法对该当前预测块进行编码处理。具体地,编码设备可以根据确定的当前预测块的参数信息中的当前预测块的运动矢量和当前预测块的大小确定当前预测块的预测信号,该当前预测块的预测信号和当前预测块的原始信号的差值为当前预测块的残差,该当前预测块的原始信号位于编码设备获取的视频数据中。将获得的当前预测块的残差进行离散余弦变换DCT处理,获取当前预测块的DCT变换系数;对该DCT变换系数进行量化处理后,将量化处理后的DCT变换系数以及当前编码块的大小、将当前编码块划分为当前预测块的划分方法以及参数信息一起进行熵编码处理。
在本发明实施例中,可以通过当前预测块的量化参数对DCT变换系数进行量化处理。具体地,可以通过下面的方法确定当前预测块的量化参数。
可选地,可以利用高斯低通滤波器进行滤波,也可以采用其他方法,先对当前帧中确定的当前预测块的预测信号和/或重建帧的重建信号进行平滑处理,从而可以减小图像信号差异。
取k*k像素的最小单元,当前预测块包含L个该最小单元,重建帧包含N'个该最小单元,其中,k、N'和L均为大于1的正整数,且满足N'>L。已编码的重建帧可以是与当前帧相邻的前一帧已经编码的重建帧,也可以是不相邻的任意一个已经编码的重建帧,本发明不限于此。
具体地,可以通过下面公式(10)计算重建帧的最小单元的方差V'i f'
其中,x'i,j f'为该重建帧f'的第i个该最小单元的第j个像素值,表示该最小单元中该像素值的平均值。再通过下列公式(11)计算重建帧的能量E'global
通过下面的公式(12)和(13)确定当前预测块的第二能量Ep'local。具体地,在确定了当前预测块的大小之后,先通过公式(12),确定当前帧f的该当前预测块的第i个该最小单元的第二方差V″i f
其中,x″i,j f为该当前帧f的第i个该最小单元的第j个像素值,表示该最小单元中该像素值的平均值。再通过公式(13)计算当前预测块的第二能量Ep'local
根据当前预测块的第二能量和重建帧的能量确定量化参数(QuantizationParameter,简称“QP”),利用下列公式(14)得到第二缩放因子Fp″:
该第二缩放因子Fp″为该当前预测块的第二能量和该重建帧的能量的比值,根据下列公式(15)确定该当前预测块的量化参数Qpnew
Qpnew=Qp+6×log2Fp″ (15)
在本发明实施例中,具体地,公式(15)可以通过下列公式(16)推导得到:
Qpnew=6×log2(Qstepnew)
=6×log2(Qstep×Fp')
=6×log2Qstep+6×log2Fp'
=Qp+6×log2Fp' (16)
其中,Qp和Qstep为编码器设定的量化参数和量化步长;Qpnew和Qstepnew为当前预测块的量化参数和量化步长。
通过该量化参数Qpnew对DCT变换系数进行量化处理,以便于编码设备将量化结果进行编码处理。
在S140中,编码设备将熵编码处理后的该当前编码块的大小、将当前编码块划分为当前预测块的划分方法、参数信息和量化处理后的该DCT变换系数发送给解码端,以便于解码设备根据接收到的编码信息进行解码。
应理解,在本发明的各种实施例中,上述仅以标准HEVC中利用帧间预测进行编码的方法为例进行具体说明,但本发明并不限于此。例如,对于该标准的帧内预测的方法,同样适用本发明实施例。具体地,帧内预测的编码块按照大小包括64*64,32*32,16*16和8*8四种,每一种大小的编码块可以划分如图3所示的两种预测块大小,每种预测块有包括DC和平面(Planar)在内的共35种帧内预测方向,如图4所示。
在本发明实施例中,可以利用上述方法计算候选编码块的拉格朗日乘数以及候选预测块的拉格朗日乘数,并将候选编码块的拉格朗日乘数以及候选预测块的拉格朗日乘数用于当前帧的编码块划分和预测块划分等模式选择的率失真优化算法中,从而确定当前预测块及其划分方法。利用确定的当前预测块的拉格朗日乘数确定参数信息,此时,该参数信息包括帧内预测方向,根据该参数信息以及当前预测块的大小确定当前预测块的预测信号和残差,并对残差进行DCT变换获取DCT变换系数。对于确定的当前预测块,还可以利用上述方法计算当前预测块和已经编码的重建帧的能量,进而确定量化参数,根据该量化参数对DCT变换系数进行量化处理,编码设备进而将熵编码处理后的该当前编码块、将当前编码块划分为当前预测块的划分方法、该参数细腻系和量化处理后的该DCT变换系数发送给解码端。
可选地,对于标准H.264/AVC同样可以利用上述方法进行帧间预测或帧内预测,从而进行视频编码处理,在此不再赘述。
应理解,在本发明的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
因此,本发明实施例的视频处理方法,通过率失真优化算法确定当前帧的当前预测块,并根据视频的方差计算当前预测块的、当前帧的和已经编码的重建帧的能量,从而根据该当前预测块的能量和该当前帧的能量确定参数信息,进而确定残差,再根据该当前预测块的能量和该重建帧的能量确定量化参数,根据量化参数和参数对视频进行编码处理,而无需将量化参数或者量化参数的变化量进行编码传输,从而节省了比特率。另外,由于利用了视频图像的像素方差计算当前帧的能量和当前预测块的能量,通过计算两者之间的比值得到基于视觉特性的缩放因子来调整率失真优化算法中的拉格朗日乘数。使得在模式选择和运动估计过程中选择的编码参数更加符合人眼的视觉特性,因此本发明实施例还可以避免由于局部特性导致的预测块在运动估计时不准确,从而提高了编码压缩效率,达到在主观质量不变的情况下提高编码率,或在相同码率下提高视频主观质量的目的。
图5示出了根据本发明实施例的视频处理方法200的示意性流程图。图5所示的方法可以用于图像或视频的解码过程中,由解码设备执行。如图5所示,该方法包括:
S210,接收编码端发送的视频码流中的编码信息,该编码信息包括当前编码块的大小、对该当前编码块进行划分的方法、当前预测块的参数信息,该当前预测块的参数信息是指帧间预测时当前预测块的运动矢量信息,或,该当前预测块的参数信息是指帧内预测时当前预测块的预测方向信息;
S220,按照对该当前编码块进行划分的方法对该当前编码块的大小进行划分,得到该当前预测块的大小;
S230,根据该当前预测块的大小和帧间预测时该当前预测块的运动矢量信息,按照帧间预测机制确定当前预测块的预测信号;或者,根据该当前预测块的大小和帧内预测时该当前预测块的预测方向信息,按照帧内预测机制确定该当前预测块的预测信号;
S240,基于该当前预测块的预测信号经过残差运算对当前预测块进行解码处理,得到该当前预测块的解码结果。
因此,本发明实施例的视频处理方法,通过接收编码设备通过视频码流发送的编码信息,根据该编码信息确定当前预测块的预测信号和当前预测块的残差从而确定视频数据。由于通过率失真优化算法确定的当前帧的预测块,是基于人眼的视觉特性而确定的,可以避免由于预测块的局部特性导致在运动估计时不准确,从而提高了编码压缩效率,达到在主观质量不变的情况下提高编码率,或在相同码率下提高视频主观质量的目的。
应理解,本发明实施例可以应用于多种场景中的解码过程中,下面仅以最新的视频编码标准HEVC中利用帧间预测进行解码的方法为例进行具体说明,但本发明并不限于此。
在S210中,解码设备可以通过I/O接口接收编码设备发送的视频码流中的编码信息,该编码信息包括当前编码块的大小、对该当前编码块进行划分的方法、当前预测块的参数信息,当前预测块的参数信息在帧间预测时是指当前预测块的运动矢量信息。
在S220中,解码设备按照对该当前编码块进行划分的方法对当前编码块的大小进行划分,得到该当前预测块的大小。
在S230中,解码设备根据当前预测块的大小和参数信息中的运动矢量,利用帧间预测机制确定当前预测块的预测信号。
在S240中,解码设备基于当前预测块的预测信号经过残差运算对当前预测块进行解码处理,得到该当前预测块的解码结果。具体地,解码设备根据当前预测块的量化参数Qpnew对接收到的编码信息中的量化处理后的DCT变换系数进行反量化处理,获取该当前预测块的DCT变换系数,再将该当前预测块的DCT变换系数进行离散余弦反变换IDCT处理,获取当前预测块的残差。
在本发明实施例中,具体确定当前预测块的量化参数的方法如下。可选地,可以先利用高斯低通滤波器进行滤波,也可以采用其他方法,先对重建帧的重建信号以及当前预测块的预测信号进行平滑处理,从而可以减小图像信号差异。
在本发明实施例中,取k*k像素的最小单元,当前预测块包含L个该最小单元,重建帧包含N'个该最小单元,其中,k、N'和L均为大于1的正整数,且满足N'>L。可选地,重建帧可以是与当前帧相邻的前一帧已经解码的重建帧,也可以是不相邻的任一已经解码的重建帧,本发明不限于此。
具体地,通过公式(10)计算重建帧的最小单元的方差V'i f',其中,x'i,j f'为该重建帧f'的第i个该最小单元的第j个像素值,表示该最小单元中该像素值的平均值。再通过公式(11)计算重建帧的能量E'global
通过公式(12)和(13)确定当前预测块的能量。具体地,通过公式(12),在确定当前预测块之后,确定当前帧f的该当前预测块的第i个该最小单元的方差V″i f,其中,x″i,j f为该当前帧f的第i个该最小单元的第j个像素值,表示该最小单元中该像素值的平均值。再通过公式(13)计算当前预测块的能量Ep'local
根据当前预测块的能量Ep'local和重建帧的能量E'global确定量化参数Qpnew,具体地,利用公式(14)得到缩放因子Fp″,该缩放因子Fp″为该当前预测块的能量Ep'local和该重建帧的能量E'global的比值,再根据公式(15)确定该当前预测块的量化参数Qpnew
在本发明实施例中,解码设备根据该量化参数对DCT变换系数进行反量化处理,获取该当前预测块的DCT变换系数,将该当前预测块的DCT变换系数进行离散余弦反变换IDCT处理,从而得到当前预测块的残差。解码设备根据残差和预测信号进行叠加处理,即可确定视频数据。
应理解,在本发明的各种实施例中,上述仅以标准HEVC中利用帧间预测的解码的方法为例进行具体说明,但本发明并不限于此。例如,对于该标准的帧内预测的方法,同样适用本发明实施例。具体地,解码设备根据接收到的视频码流获得编码信息,该编码信息包括当前编码块的大小、对该当前编码块进行划分的方法、当前预测块的参数信息,该当前预测块的参数信息在帧内预测时是指当前预测块的预测方向信息。根据当前编码块的大小和对该当前编码块进行划分的方法确定当前预测块的大小,根据该当前预测块的大小和该参数信息确定该当前预测块的预测信号。根据当前预测块的量化参数Qpnew对编码信息中的量化处理后的DCT变换系数进行反量化处理,获取该当前预测块的DCT变换系数,将该当前预测块的DCT变换系数进行离散余弦反变换IDCT处理,从而获取该当前预测块的残差;根据该当前预测块的预测信号和该当前预测块的残差确定视频数据。
可选地,对于标准H.264/AVC同样可以利用上述方法进行帧间预测或帧内预测,从而进行视频图像解码处理,在此不再赘述。
应理解,在本发明的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
应理解,在本发明实施例中,“与A相应的B”表示B与A相关联,根据A可以确定B。但还应理解,根据A确定B并不意味着仅仅根据A确定B,还可以根据A和/或其它信息确定B。
另外,本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
因此,本发明实施例的视频处理方法,解码设备通过视频码流接收编码设备发送的通过率失真优化算法确定的编码信息,该编码信息包括当前编码块的大小、对该当前编码块进行划分的方法、参数信息和量化处理后的DCT变换系数,该参数信息包括是指帧间预测时当前预测块的运动矢量信息,或该当前预测块的参数信息是指帧内预测时当前预测块的预测方向信息。解码设备根据该编码信息中的编码块的大小和对该当前编码块进行划分的方法确定当前预测块,根据预测块的大小和参数信息确定当前预测块的预测信号,并根据计算的当前预测块的量化参数Qpnew对量化处理后的DCT变换系数进行反量化处理,获取该当前预测块的DCT变换系数,将该当前预测块的DCT变换系数进行离散余弦反变换IDCT处理,从而获得残差,根据当前预测块的预测信号和残差确定视频数据,而无需将量化参数或者量化参数的变化量进行编码传输,从而节省了比特率。由于通过率失真优化算法确定的当前帧的预测块,是基于人眼的视觉特性而确定的,因此本发明实施例还可以避免由于局部特性导致的预测块在运动估计时不准确,从而提高了编码压缩效率,达到在主观质量不变的情况下提高编码率,或在相同码率下提高视频主观质量的目的。
为了更好的证明本发明实施例相对比现有技术的有益效果,将本发明的实施例实现在最新视频编码标准HEVC的编码器HM 10.0上,对不同分辨率的序列,在低延迟(Lowdelay P,简称“LDP”)的配置下进行了测试,并与HM 10.0方法的性能进行对比。测试结果如表1所示,其中,性能指标BD-rate利用QP为22,27,32和37四个点的结果计算得到,客观性能利用图像峰值信噪比(PNSR)衡量,主观性能利用SSIM衡量。可以看出本方法在主观评价指标BD-rate(SSIM)上有平均11.5%的性能提升,最大可以达到30.3%,也就是说使用本方法与HM 10.0方法相比,在相同主观质量情况下,可以节省最大30.3%的码率。且使用本方法客观评价指标BD-rate(PSNR)上的损失较小。
表1HM 10.0上LDP配置下的算法性能
另外,图6中所示为使用HM 10.0和本方法编码BQSquare序列,在码率相近,均为312.2kbps的情况下的主观质量示意图。可以看出使用本方法得到的编码后的图像(a)的主观视觉效果相比于HM 10.0原来所用的编码方法编码的图像(b)有明显的提升,尤其在BQSquare的水波纹区域,本发明实施例的方法比使用HM 10.0原方法得水波纹区域更清晰。
为了证明本发明实施例“对图像进行平滑处理,减小信号差异”的有益效果,进行了如下测试。
测试方法:将利用高斯滤波进行平滑与不使用平滑处理的方法性能进行对比,对比结果如表2所示。
表2.技术点性能
从表2可以看出,对图像信号进行平滑处理可以减小信号的波动情况,从实验数据上看,降低了6%客观性能的损失,同时提高了0.9%主观性能。
从上述测试可以证明“对图像进行平滑处理,减小信号差异”的必要性和有效性。
因此,本发明实施例的视频处理方法,通过确定当前帧的当前预测块,并计算当前预测块的拉格朗日乘数,根据当前预测块的拉格朗日乘数通过率失真优化算法,对视频数据像进行编码处理,可以避免由于预测块的局部特性导致在运动估计时不准确,从而提高了编码压缩效率,达到在主观质量不变的情况下提高编码率,或在相同码率下提高视频主观质量的目的。
上文中结合图1至图6,详细描述了根据本发明实施例的视频处理方法,下面将结合图7和图8,描述根据本发明实施例的编码设备和解码设备。
图7示出了根据本发明实施例的编码设备300的示意性流程图,该编码设备既可以为用户设备,例如UE等;也可以为网络设备,例如RNC、eNB等。如图7所示,该编码设备300包括:
获取模块310,用于接收视频数据,该视频数据被划分为多个帧,该多个帧中的每个帧被划分为多个编码块,每个该编码块被划分为至少两个预测块;
计算模块320,用于计算当前编码块中的当前预测块的拉格朗日乘数LambdaPnew,该当前预测块是该当前编码块内的一段视频信号,该当前编码块位于当前帧中,该当前帧是该多个帧中的一个;
处理模块330,用于使用该当前预测块的拉格朗日乘数LambdaPnew按照率失真优化算法对该当前预测块进行编码处理,得到该当前预测块的编码结果;
发送模块340,用于向解码端发送该当前预测块的编码结果。
因此,本发明实施例的编码设备,通过确定当前帧的当前预测块,并计算当前预测块的拉格朗日乘数,根据当前预测块的拉格朗日乘数通过率失真优化算法,对视频数据像进行编码处理,可以避免由于预测块的局部特性导致在运动估计时不准确,从而提高了编码压缩效率,达到在主观质量不变的情况下提高编码率,或在相同码率下提高视频主观质量的目的。
应理解,本发明实施例可以应用于多种场景中的编码过程中,下面仅以最新的视频编码标准HEVC中利用帧间预测进行编码的方法为例进行具体说明,但本发明并不限于此。
在本发明实施例中,编码设备的获取模块310获取视频数据,可选地,编码设备可以通过I/O接口接收视频数据,该视频数据中包括多个帧,每个帧包括多个编码块,每个该编码块包括至少一个预测块。例如在标准HEVC中,编码块按照大小可以包括64*64,32*32,16*16和8*8四种,每一种大小的编码块可以划分大小不同的预测块,如图2所示,预测块共有八种划分方法,其中,M表示编码块的大小。编码设备获取的视频数据中包括多个帧,每个帧中可以包括多个大小不同的编码块,每个编码块可以按照不同的划分方法划分为至少一个预测块。
在本发明实施例中,编码设备的计算模块320确定当前预测块,并计算当前预测块的拉格朗日乘数LambdaPnew。具体地,编码设备可以通过率失真优化算法确定当前预测块,在标准HEVC中,按照大小不同分别确定四种大小不同的候选编码块,编码块之间不重叠,再将每一种候选编码块如图2所示,按照大小不同分别划分为包括至少两个候选预测块,每一种候选编码块共有七种候选预测块的划分方法,共有28种大小不同的候选预测块。
在本发明实施例中,可选地,可以利用高斯低通滤波器,也可以采用其他方法,先对当前帧的原始信号进行平滑处理,从而可以减小图像信号差异。
取k*k像素的最小单元,当前帧包含N个最小单元,候选编码块包括M个最小单元,候选预测块包含L个该最小单元,其中,k、N、M和L均为大于1的正整数,且满足N>M≥L;通过公式(2)计算该当前帧f的第i个最小单元的方差Vi f,其中,xi,j f为当前帧f的第i个最小单元的第j个像素值,表示该最小单元中像素值的平均值。
利用下列公式(3)到(5),分别计算当前帧、每一种候选编码块和每一种候选预测块的能量,其中,Eglobal为当前帧的能量,Eclocal为候选编码块的能量,Eplocal为候选预测块的能量,C=(α*255)2,α∈(0,1)。
利用公式(6)和(7)得到候选编码块和候选预测块的基于视觉特性的缩放因子Fc和Fp,其中,缩放因子Fc和Fp的取值范围为0到2之间。
利用公式(8)和(9),计算拉格朗日乘数,其中,LambdaCnew为候选编码块的拉格朗日乘数,LambdaPnew为候选预测块的拉格朗日乘数。
在本发明实施例中,对于标准HEVC帧间预测过程,候选预测块的拉格朗日乘数LambdaPnew用于确定参数信息的计算,该参数信息在帧间预测时,可以包括当前的候选预测块在运动估计时的运动矢量,具体利用预测块确定运动矢量的计算过程与现有技术中利用编码块技术运动矢量的过程类似。将运动矢量应用到率失真优化算法中,得到每一种大小的候选编码块中最优的一种预测块的划分方法;再将每一种候选编码块的拉格朗日乘数LambdaCnew应用到率失真优化算法中,得到最优的编码块大小,从而确定在标准HEVC中的28种候选预测块中一种最优的预测块的划分方法,通过该划分方法划分当前帧和当前编码块,从而得到对应的当前编码块的大小和当前编码上的当前预测块的大小。可选地,可以根据参数信息通过率失真优化算法得到率失真优化代价,选取代价最小时对应的划分方法为最优的划分方法,本发明并不限于此。
在本发明实施例中,计算模块320在确定当前预测块后,该当前预测块对应的第一能量Eplocal、当前预测块对应的第一缩放因子Fp、当前预测块的拉格朗日乘数LambdaPnew和对应的参数信息即可同步计算得到。
在本发明实施例中,编码设备的处理模块330根据计算模块320计算得到的该当前预测块的拉格朗日乘数LambdaPnew和率失真优化算法对该当前预测块进行编码处理。具体地,编码设备的处理模块330可以根据确定的当前预测块的参数信息中的当前预测块的运动矢量和当前预测块的大小确定当前预测块的预测信号,该当前预测块的预测信号和当前预测块的原始信号的差值为当前预测块的残差,该当前预测块的原始信号位于编码设备获取的视频数据中。将获得的当前预测块的残差进行离散余弦变换DCT处理,获取当前预测块的DCT变换系数;对该DCT变换系数进行量化处理后,将量化处理后的DCT变换系数以及当前编码块的大小、将当前编码块划分为当前预测块的划分方法以及参数信息一起进行熵编码处理。
在本发明实施例中,编码设备的处理模块330可以通过当前预测块的量化参数对DCT变换系数进行量化处理。具体地,可以通过下面的方法确定当前预测块的量化参数。可选地,编码设备的处理模块330可以利用高斯低通滤波器进行滤波,也可以采用其他方法,先对当前帧中确定的当前预测块的预测信号和/或重建帧的重建信号进行平滑处理,从而可以减小图像信号差异。
取k*k像素的最小单元,当前预测块包含L个该最小单元,重建帧包含N'个该最小单元,其中,k、N'和L均为大于1的正整数,且满足N'>L。已编码的重建帧可以是与当前帧相邻的前一帧已经编码的重建帧,也可以是不相邻的任意一个已经编码的重建帧,本发明不限于此。
具体地,可以通过公式(10)计算重建帧的最小单元的方差V'i f',其中,x'i,j f'为该重建帧f'的第i个该最小单元的第j个像素值,表示该最小单元中该像素值的平均值。再通过公式(11)计算重建帧的能量E'global;通过公式(12)和(13)确定当前预测块的第二能量。具体地,先通过公式(12),在计算模块320确定当前预测块之后,确定当前帧f的该当前预测块的第i个该最小单元的第二方差V″i f,其中,x″i,j f为该当前帧f的第i个该最小单元的第j个像素值,表示该最小单元中该像素值的平均值。再通过公式(13)计算当前预测块的第二能量Ep'local。根据当前预测块的第二能量和重建帧的能量确定量化参数,利用公式(14)得到第二缩放因子Fp″,该第二缩放因子Fp″为该当前预测块的第二能量和该重建帧的能量的比值,根据公式(15)确定该当前预测块的量化参数Qpnew。通过该量化参数Qpnew对DCT变换系数进行量化处理,以便于编码设备将量化结果进行编码处理。
在本发明实施例中,编码设备将处理模块330处理后该当前编码块的大小、将当前编码块划分为当前预测块的划分方法、参数信息和量化处理后的该DCT变换系数通过发送模块340发送给解码端,以便于解码设备根据接收到的编码信息进行解码。
应理解,在本发明的各种实施例中,上述仅以标准HEVC中利用帧间预测进行编码时利用的编码设备为例进行具体说明,但本发明并不限于此。例如,对于该标准的帧内预测的方法,同样适用本发明实施例。具体地,帧内预测的编码块按照大小包括64*64,32*32,16*16和8*8四种,每一种大小的编码块可以划分如图3所示的两种预测块大小,每种预测块有包括DC和平面(Planar)在内的共35种帧内预测方向,如图4所示。
在本发明实施例中,可以利用计算模块320计算候选编码块的拉格朗日乘数以及候选预测块的拉格朗日乘数,并将候选编码块的拉格朗日乘数以及候选预测块的拉格朗日乘数用于当前帧的编码块划分和预测块划分等模式选择的率失真优化算法中,从而确定当前预测块及其划分方法。利用确定的当前预测块的拉格朗日乘数确定参数信息,此时,该参数信息包括帧内预测方向,通过处理模块330根据该参数信息以及当前预测块的大小确定当前预测块的预测信号和残差,并对残差进行DCT变换获取DCT变换系数。对于确定的当前预测块,还可以利用上述方法计算当前预测块和已经编码的重建帧的能量,进而确定量化参数,根据该量化参数对DCT变换系数进行量化处理,编码设备的发送模块340进而将该当前编码块、将当前编码块划分为当前预测块的划分方法、该参数细腻系和量化处理后的该DCT变换系数发送给解码端。
可选地,对于标准H.264/AVC同样可以利用上述方法进行帧间预测或帧内预测,从而进行视频编码处理,在此不再赘述。
应理解,在本发明的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
因此,本发明实施例的编码设备,通过率失真优化算法确定当前帧的当前预测块,并根据视频的方差计算当前预测块的、当前帧的和已经编码的重建帧的能量,从而根据该当前预测块的能量和该当前帧的能量确定参数信息,进而确定残差,再根据该当前预测块的能量和该重建帧的能量确定量化参数,根据量化参数和参数对视频进行编码处理,而无需将量化参数或者量化参数的变化量进行编码传输,从而节省了比特率。另外,由于利用了视频图像的像素方差计算当前帧的能量和当前预测块的能量,通过计算两者之间的比值得到基于视觉特性的缩放因子来调整率失真优化算法中的拉格朗日乘数。使得在模式选择和运动估计过程中选择的编码参数更加符合人眼的视觉特性,因此本发明实施例还可以避免由于局部特性导致的预测块在运动估计时不准确,从而提高了编码压缩效率,达到在主观质量不变的情况下提高编码率,或在相同码率下提高视频主观质量的目的。
上文中结合图7,详细描述了根据本发明实施例的编码设备300,下面将结合图8,描述根据本发明实施例的解码设备。
图8示出了根据本发明实施例的解码设备400的示意性流程图,该解码设备既可以为用户设备,例如UE等;也可以为网络设备,例如RNC、eNB等。如图8所示,该解码设备400包括:
接收模块410,用于接收编码端发送的视频码流中的编码信息,该编码信息包括当前编码块的大小、对该当前编码块进行划分的方法、当前预测块的参数信息,该当前预测块的参数信息是指帧间预测时当前预测块的运动矢量信息,或,该当前预测块的参数信息是指帧内预测时当前预测块的预测方向信息;
第一确定模块420,用于按照对该当前编码块进行划分的方法对该当前编码块的大小进行划分,得到该当前预测块的大小;
第二确定模块430,用于根据该当前预测块的大小和帧间预测时该当前预测块的运动矢量信息,按照帧间预测机制确定当前预测块的预测信号;或者,根据该当前预测块的大小和帧内预测时该当前预测块的预测方向信息,按照帧内预测机制确定该当前预测块的预测信号;
处理模块440,用于基于该当前预测块的预测信号经过残差运算对当前预测块进行解码处理,得到该当前预测块的解码结果。
因此,本发明实施例的解码设备,通过接收编码设备通过视频码流发送的编码信息,根据该编码信息确定当前预测块的预测信号和当前预测块的残差从而确定视频数据。由于通过率失真优化算法确定的当前帧的预测块,是基于人眼的视觉特性而确定的,可以避免由于预测块的局部特性导致在运动估计时不准确,从而提高了编码压缩效率,达到在主观质量不变的情况下提高编码率,或在相同码率下提高视频主观质量的目的。
应理解,本发明实施例可以应用于多种场景中的解码过程中,下面仅以最新的视频编码标准HEVC中利用帧间预测进行解码的方法为例进行具体说明,但本发明并不限于此。
在本发明实施例中,解码设备的接收模块410接收编码设备发送的视频码流中的编码信息,该编码信息包括当前编码块的大小、对该当前编码块进行划分的方法、当前预测块的参数信息,当前预测块的参数信息在帧间预测时是指当前预测块的运动矢量信息。
在本发明实施例中,解码设备根据接收模块410接收到的当前编码块的大小和对该当前编码块进行划分的方法通过第一确定模块420确定当前预测块的大小。
在本发明实施例中,解码设备的第二确定模块430根据当前预测块的大小和参数信息中的运动矢量,利用帧间预测机制确定当前预测块的预测信号。
在本发明实施例中,解码设备的处理模块440基于第二确定模块430确定的当前预测块的预测信号经过残差运算对当前预测块进行解码处理,得到该当前预测块的解码结果。具体地,解码设备根据当前预测块的量化参数Qpnew对接收到的编码信息中的量化处理后的DCT变换系数进行反量化处理,获取该当前预测块的DCT变换系数,再将该当前预测块的DCT变换系数进行离散余弦反变换IDCT处理,获取当前预测块的残差。
在本发明实施例中,解码设备的处理模块440确定当前预测块的量化参数的方法如下。可选地,可以先利用高斯低通滤波器进行滤波,也可以采用其他方法,先对重建帧的重建信号以及当前预测块的预测信号进行平滑处理,从而可以减小图像信号差异。
在本发明实施例中,取k*k像素的最小单元,当前预测块包含L个该最小单元,重建帧包含N'个该最小单元,其中,k、N'和L均为大于1的正整数,且满足N'>L。可选地,重建帧可以是与当前帧相邻的前一帧已经解码的重建帧,也可以是不相邻的任一已经解码的重建帧,本发明不限于此。
具体地,通过公式(10)计算重建帧的最小单元的方差V'i f',其中,x'i,j f'为该重建帧f'的第i个该最小单元的第j个像素值,表示该最小单元中该像素值的平均值。再通过公式(11)计算重建帧的能量E'global
通过公式(12)和(13)确定当前预测块的能量。具体地,通过公式(12),在确定当前预测块之后,确定当前帧f的该当前预测块的第i个该最小单元的方差V″i f,其中,x″i,j f为该当前帧f的第i个该最小单元的第j个像素值,表示该最小单元中该像素值的平均值。再通过公式(13)计算当前预测块的能量Ep'local
根据当前预测块的能量Ep'local和重建帧的能量E'global确定量化参数Qpnew,具体地,利用公式(14)得到缩放因子Fp″,该缩放因子Fp″为该当前预测块的能量Ep'local和该重建帧的能量E'global的比值,再根据公式(15)确定该当前预测块的量化参数Qpnew
在本发明实施例中,解码设备根据该量化参数对DCT变换系数进行反量化处理,获取该当前预测块的DCT变换系数,将该当前预测块的DCT变换系数进行离散余弦反变换IDCT处理,从而得到当前预测块的残差。解码设备根据残差和预测信号进行叠加处理,即可确定视频数据。
应理解,在本发明的各种实施例中,上述仅以标准HEVC中利用帧间预测的解码的时所用的解码设备为例进行具体说明,但本发明并不限于此。例如,对于该标准的帧内预测的方法,同样适用本发明实施例。具体地,解码设备的接收模块410根据接收到的视频码流获得编码信息,该编码信息包括当前编码块的大小、对该当前编码块进行划分的方法、当前预测块的参数信息,该当前预测块的参数信息在帧内预测时是指当前预测块的预测方向信息。第一确定模块420根据编码块的大小和对该当前编码块进行划分的方法确定当前预测块的大小,解码设备的第二确定模块430根据该当前预测块的大小和该参数信息确定该当前预测块的预测信号。解码设备的处理模块440根据当前预测块的量化参数Qpnew对编码信息中的量化处理后的DCT变换系数进行反量化处理,获取该当前预测块的DCT变换系数,将该当前预测块的DCT变换系数进行离散余弦反变换IDCT处理,从而获取该当前预测块的残差;根据该当前预测块的预测信号和该当前预测块的残差确定视频数据。
可选地,对于标准H.264/AVC同样可以利用上述方法进行帧间预测或帧内预测,从而进行视频解码处理,在此不再赘述。
应理解,在本发明实施例中,“与A相应的B”表示B与A相关联,根据A可以确定B。但还应理解,根据A确定B并不意味着仅仅根据A确定B,还可以根据A和/或其它信息确定B。
另外,本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
因此,本发明实施例的解码设备,解码设备通过视频码流接收编码设备发送的通过率失真优化算法确定的编码信息,该编码信息包括当前编码块的大小、对该当前编码块进行划分的方法、参数信息和量化处理后的DCT变换系数,该参数信息包括是指帧间预测时当前预测块的运动矢量信息,或该当前预测块的参数信息是指帧内预测时当前预测块的预测方向信息。解码设备根据该编码信息中的编码块的大小和对该当前编码块进行划分的方法确定当前预测块,根据预测块的大小和参数信息确定当前预测块的预测信号,并根据计算的当前预测块的量化参数Qpnew对量化处理后的DCT变换系数进行反量化处理,获取该当前预测块的DCT变换系数,将该当前预测块的DCT变换系数进行离散余弦反变换IDCT处理,从而获得残差,根据当前预测块的预测信号和残差确定视频数据,而无需将量化参数或者量化参数的变化量进行编码传输,从而节省了比特率。由于通过率失真优化算法确定的当前帧的预测块,是基于人眼的视觉特性而确定的,因此本发明实施例还可以避免由于局部特性导致的预测块在运动估计时不准确,从而提高了编码压缩效率,达到在主观质量不变的情况下提高编码率,或在相同码率下提高视频主观质量的目的。
如图9所示,本发明实施例还提供了一种通信***500,包括编码设备510和解码设备520。该编码设备用于接收视频数据,对该视频数据进行编码处理,得到该视频数据的编码结果,并将该视频数据的编码结果发送给该解码设备;该解码设备用于接收该视频数据的编码结果,并对该视频数据的编码结果进行解码处理,得到该视频数据。
该编码设备510可以是如图7所示的所示的编码装置300,解码装置520可以是如图8所示的解码装置400。
该编码设备510还可以包括如图7所示的获取模块310,计算模块320,处理模块330,发送模块340,;该解码装置520还可以包括如图8所示的接收模块410,第一确定模块420,第二确定模块430,处理模块440,
根据本发明实施例的通信***,通过编码设备确定当前帧的当前预测块,并计算当前预测块的拉格朗日乘数,根据当前预测块的拉格朗日乘数通过率失真优化算法,对视频数据像进行编码处理并将编码结果发送至解码设备,解码设备根据接收到的编码信息进行解码处理得到视频数据,从而可以避免由于预测块的局部特性导致在运动估计时不准确,从而提高了编码压缩效率,达到在主观质量不变的情况下提高编码率,或在相同码率下提高视频主观质量的目的。
如图10所示,本发明实施例还提供了一种编码设备600,包括处理器610、存储器620和总线***630。其中,处理器610和存储器620通过总线***630相连,该存储器620用于存储指令,该处理器610用于执行该存储器620存储的指令。编码设备600通过I/O接口接收视频数据,该视频数据被划分为多个帧,该多个帧中的每个帧被划分为多个编码块,每个该编码块被划分为至少两个预测块;编码设备600的该存储器620存储程序代码,且处理器610可以调用存储器620中存储的程序代码执行以下操作:
计算当前编码块中的当前预测块的拉格朗日乘数LambdaPnew,该当前预测块是该当前编码块内的一段视频信号,该当前编码块位于当前帧中,该当前帧是该多个帧中的一个;
使用该当前预测块的拉格朗日乘数LambdaPnew按照率失真优化算法对该当前预测块进行编码处理,得到该当前预测块的编码结果;
向解码端发送该当前预测块的编码结果。
因此,本发明实施例的编码设备,通过确定当前帧的当前预测块,并计算当前预测块的拉格朗日乘数,根据当前预测块的拉格朗日乘数通过率失真优化算法,对视频数据像进行编码处理,可以避免由于预测块的局部特性导致在运动估计时不准确,从而提高了编码压缩效率,达到在主观质量不变的情况下提高编码率,或在相同码率下提高视频主观质量的目的。
应理解,在本发明实施例中,该处理器610可以是中央处理单元(CentralProcessing Unit,简称为“CPU”),该处理器610还可以是其他通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
该存储器620可以包括只读存储器和随机存取存储器,并向处理器610提供指令和数据。存储器620的一部分还可以包括非易失性随机存取存储器。例如,存储器620还可以存储设备类型的信息。
该总线***630除包括数据总线之外,还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见,在图中将各种总线都标为总线***630。
在实现过程中,上述方法的各步骤可以通过处理器610中的硬件的集成逻辑电路或者软件形式的指令完成。结合本发明实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器620,处理器610读取存储器620中的信息,结合其硬件完成上述方法的步骤。为避免重复,这里不再详细描述。
可选地,作为一个实施例,处理器610可以调用存储器620中存储的程序代码执行以下操作:确定该当前预测块;计算该当前帧的能量Eglobal和该当前预测块的第一能量Eplocal;根据该当前帧的能量Eglobal和该当前预测块的第一能量Eplocal的比值确定该当前预测块的第一缩放因子Fp,该第一缩放因子Fp的取值范围为0到2之间;使用该第一缩放因子Fp对拉格朗日乘数Lambda进行缩放处理,得到该当前预测块的拉格朗日乘数LambdaPnew
可选地,作为一个实施例,处理器610可以调用存储器620中存储的程序代码执行以下操作:计算Y种候选预测块中每一种候选预测块的拉格朗日乘数,其中Y为大于或者等于2的整数;使用该Y种候选预测块中的第x种候选预测块的拉格朗日乘数,按照率失真优化算法确定该第x种候选预测块的参数信息,其中,x需要取[1,Y]中的每一个整数,该当前预测块的参数信息是指帧间预测时第x种候选预测块的运动矢量信息,或,该当前预测块的参数信息是指帧内预测时第x种候选预测块的预测方向信息;根据该帧间预测时该Y种候选预测块中每一种候选预测块的运动矢量信息,或者,根据该帧内预测时该Y种候选预测块中每一种候选预测块的预测方向信息,通过率失真优化算法从Y种候选预测块中确定出一种候选预测块为目标候选预测块;使用该目标候选预测块划分该当前编码块得到该当前预测块。
可选地,作为一个实施例,处理器610可以调用存储器620中存储的程序代码执行以下操作:根据该当前预测块的大小和帧间预测时该当前预测块的运动矢量信息,按照帧间预测机制确定该当前预测块的预测信号;或者,根据该当前预测块的大小和帧内预测时该当前预测块的预测方向信息,按照帧内预测机制确定该当前预测块的预测信号;基于该当前预测块的预测信号经过残差运算对该当前预测块进行熵编码,得到该当前预测块的编码结果。
可选地,作为一个实施例,处理器610可以调用存储器620中存储的程序代码执行以下操作:根据接收到的该当前预测块的视频信号和该当前预测块的预测信号的差得到该当前预测块的残差,该当前预测块的视频信号位于该视频数据中;将该当前预测块的残差进行离散余弦变换DCT处理,获取该当前预测块的DCT变换系数;根据该当前预测块的量化参数Qpnew对该DCT变换系数进行量化处理;将该当前编码块的大小、使用目标候选预测块对当前编码块进行划分的方式、该当前预测块的参数信息和经过量化处理后的该DCT变换系数进行熵编码处理,得到该当前预测块的编码结果。
可选地,作为一个实施例,处理器610可以调用存储器620中存储的程序代码执行以下操作:根据该当前预测块的预测信号,确定该当前预测块的第二能量Ep'local;根据已编码的重建帧的重建信号,确定该重建帧的能量E'global;根据该当前预测块的第二能量Ep'local与该重建帧的能量E'global的比值确定该当前预测块的第二缩放因子Fp″;根据下列公式确定量化参数Qpnew
Qpnew=Qp+6×log2Fp″
其中,Fp″为该第二缩放因子,Qp为原始的量化参数;根据该量化参数将该DCT变换系数进行量化处理。
应理解,根据本发明实施例的编码设备600可对应于本发明实施例中的编码设备300,并可以对应于执行根据本发明实施例的方法100中的相应主体,并且编码设备600中的各个模块的上述和其它操作和/或功能分别为了实现图1至图4中的各个方法的相应流程,为了简洁,在此不再赘述。
因此,本发明实施例的编码设备,通过确定当前帧的当前预测块,并计算当前预测块的拉格朗日乘数,根据当前预测块的拉格朗日乘数通过率失真优化算法,对视频数据像进行编码处理,可以避免由于预测块的局部特性导致在运动估计时不准确,从而提高了编码压缩效率,达到在主观质量不变的情况下提高编码率,或在相同码率下提高视频主观质量的目的。
如图11所示,本发明实施例还提供了一种解码设备700,包括处理器710、存储器720和总线***730。其中,处理器710和存储器720通过总线***730相连,该存储器720用于存储指令,该处理器710用于执行该存储器720存储的指令。解码设备700通过I/O接口接收编码端发送的视频码流中的编码信息,该编码信息包括当前编码块的大小、对该当前编码块进行划分的方法、当前预测块的参数信息,该当前预测块的参数信息是指帧间预测时当前预测块的运动矢量信息,或,该当前预测块的参数信息是指帧内预测时当前预测块的预测方向信息;解码设备700的存储器720存储程序代码,且处理器710可以调用存储器720中存储的程序代码执行以下操作:
按照对该当前编码块进行划分的方法对该当前编码块的大小进行划分,得到该当前预测块的大小;
根据该当前预测块的大小和帧间预测时该当前预测块的运动矢量信息,按照帧间预测机制确定当前预测块的预测信号;或者,根据该当前预测块的大小和帧内预测时该当前预测块的预测方向信息,按照帧内预测机制确定该当前预测块的预测信号;
基于该当前预测块的预测信号经过残差运算对当前预测块进行解码处理,得到该当前预测块的解码结果。
因此,本发明实施例的解码设备,通过接收编码设备通过视频码流发送的编码信息,根据该编码信息确定当前预测块的预测信号和当前预测块的残差从而确定视频数据。由于通过率失真优化算法确定的当前帧的预测块,是基于人眼的视觉特性而确定的,可以避免由于预测块的局部特性导致在运动估计时不准确,从而提高了编码压缩效率,达到在主观质量不变的情况下提高编码率,或在相同码率下提高视频主观质量的目的。
应理解,在本发明实施例中,该处理器710可以是中央处理单元(CentralProcessing Unit,简称为“CPU”),该处理器710还可以是其他通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
该存储器720可以包括只读存储器和随机存取存储器,并向处理器710提供指令和数据。存储器720的一部分还可以包括非易失性随机存取存储器。例如,存储器720还可以存储设备类型的信息。
该总线***730除包括数据总线之外,还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见,在图中将各种总线都标为总线***730。
在实现过程中,上述方法的各步骤可以通过处理器710中的硬件的集成逻辑电路或者软件形式的指令完成。结合本发明实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器720,处理器710读取存储器720中的信息,结合其硬件完成上述方法的步骤。为避免重复,这里不再详细描述。
可选地,作为一个实施例,处理器710可以调用存储器720中存储的程序代码执行以下操作:根据该当前预测块的预测信号确定该当前预测块的量化参数Qpnew;根据该当前预测块的量化参数Qpnew对量化处理后的离散余弦变换DCT变换系数进行反量化处理,获取该当前预测块的DCT变换系数,该编码信息还包括该量化处理后的DCT变换系数;将该当前预测块的DCT变换系数进行离散余弦反变换IDCT处理,获取该当前预测块的残差;基于该当前预测块的预测信号和该当前预测块的残差之和确定解码结果。
可选地,作为一个实施例,处理器710可以调用存储器720中存储的程序代码执行以下操作:根据该当前预测块的预测信号,确定该当前预测块的能量Ep'local;根据已解码的重建帧的重建信号,确定该重建帧的能量E'global;根据该当前预测块的能量Ep'local与该重建帧的能量E'global的比值确定该当前预测块的缩放因子Fp″;根据下列公式确定该当前预测块的量化参数Qpnew
Qpnew=Qp+6×log2Fp″
其中,Qpnew为该当前预测块的缩放因子,Qp为原始的量化参数。
应理解,根据本发明实施例的解码设备700可对应于本发明实施例中的解码设备400,并可以对应于执行根据本发明实施例的方法200中的相应主体,并且解码设备700中的各个模块的上述和其它操作和/或功能分别为了实现图5中的各个方法的相应流程,为了简洁,在此不再赘述。
因此,本发明实施例的解码设备,通过接收编码设备通过视频码流发送的编码信息,根据该编码信息确定当前预测块的预测信号和当前预测块的残差从而确定视频数据。由于通过率失真优化算法确定的当前帧的预测块,是基于人眼的视觉特性而确定的,可以避免由于预测块的局部特性导致在运动估计时不准确,从而提高了编码压缩效率,达到在主观质量不变的情况下提高编码率,或在相同码率下提高视频主观质量的目的。
另外,本文中术语“***”和“网络”在本文中常被可互换使用。本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的***、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的***、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。

Claims (27)

1.一种视频处理方法,其特征在于,包括:
接收视频数据,所述视频数据被划分为多个帧,所述多个帧中的每个帧被划分为多个编码块,每个所述编码块被划分为至少两个预测块;
计算当前编码块中的当前预测块的拉格朗日乘数LambdaPnew,所述当前预测块是所述当前编码块内的一段视频信号,所述当前编码块位于当前帧中,所述当前帧是所述多个帧中的一个;
使用所述当前预测块的拉格朗日乘数LambdaPnew按照率失真优化算法对所述当前预测块进行编码处理,得到所述当前预测块的编码结果;
向解码端发送所述当前预测块的编码结果;
所述计算当前编码块中的当前预测块的拉格朗日乘数LambdaPnew,包括:
确定所述当前预测块;
计算所述当前帧的能量Eglobal和所述当前预测块的第一能量Eplocal
根据所述当前帧的能量Eglobal和所述当前预测块的第一能量Eplocal的比值确定所述当前预测块的第一缩放因子Fp,所述第一缩放因子Fp的取值范围为0到2之间;
使用所述第一缩放因子Fp对拉格朗日乘数Lambda进行缩放处理,得到所述当前预测块的拉格朗日乘数LambdaPnew
2.根据权利要求1所述的方法,其特征在于,所述计算所述当前帧的能量Eglobal和所述当前预测块的第一能量Eplocal,包括:
确定k*k像素的最小单元,所述当前帧包含N个所述最小单元,所述当前预测块包含L个所述最小单元,其中,k、N和L均为大于1的整数,且满足N>L;
根据下列公式计算所述当前帧f的第i个所述最小单元的第一方差Vi f
<mrow> <msup> <msub> <mi>V</mi> <mi>i</mi> </msub> <mi>f</mi> </msup> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <msup> <mi>k</mi> <mn>2</mn> </msup> </munderover> <msup> <mrow> <mo>(</mo> <msup> <msub> <mi>x</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <mi>f</mi> </msup> <mo>-</mo> <msup> <mover> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>&amp;OverBar;</mo> </mover> <mi>f</mi> </msup> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow>
其中,i为小于或者等于N的正整数,xi,j f为所述当前帧f的第i个所述最小单元的第j个像素值,表示所述最小单元中所述像素值的平均值;
根据下列公式计算所述当前帧的能量Eglobal
<mrow> <msub> <mi>E</mi> <mrow> <mi>g</mi> <mi>l</mi> <mi>o</mi> <mi>b</mi> <mi>a</mi> <mi>l</mi> </mrow> </msub> <mo>=</mo> <mfrac> <mn>1</mn> <mi>N</mi> </mfrac> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <msqrt> <mrow> <mfrac> <mrow> <mn>2</mn> <msup> <msub> <mi>V</mi> <mi>i</mi> </msub> <mi>f</mi> </msup> </mrow> <mrow> <msup> <mi>k</mi> <mn>2</mn> </msup> <mo>-</mo> <mn>1</mn> </mrow> </mfrac> <mo>+</mo> <mi>C</mi> </mrow> </msqrt> </mrow>
根据下列公式计算所述当前预测块的第一能量Eplocal
<mrow> <msub> <mi>Ep</mi> <mrow> <mi>l</mi> <mi>o</mi> <mi>c</mi> <mi>a</mi> <mi>l</mi> </mrow> </msub> <mo>=</mo> <mfrac> <mn>1</mn> <mi>L</mi> </mfrac> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>L</mi> </munderover> <msqrt> <mrow> <mfrac> <mrow> <mn>2</mn> <msup> <msub> <mi>V</mi> <mi>i</mi> </msub> <mi>f</mi> </msup> </mrow> <mrow> <msup> <mi>k</mi> <mn>2</mn> </msup> <mo>-</mo> <mn>1</mn> </mrow> </mfrac> <mo>+</mo> <mi>C</mi> </mrow> </msqrt> </mrow>
其中,C=(α*255)2,α∈(0,1)。
3.根据权利要求2所述的方法,其特征在于,所述确定所述当前预测块,包括:
计算Y种候选预测块中每一种候选预测块的拉格朗日乘数,其中Y为大于或者等于2的整数;
使用所述Y种候选预测块中的第x种候选预测块的拉格朗日乘数,按照率失真优化算法确定所述第x种候选预测块的参数信息,其中,x需要取[1,Y]中的每一个整数,所述当前预测块的参数信息是指帧间预测时第x种候选预测块的运动矢量信息,或,所述当前预测块的参数信息是指帧内预测时第x种候选预测块的预测方向信息;
根据所述帧间预测时所述Y种候选预测块中每一种候选预测块的运动矢量信息,或者,根据所述帧内预测时所述Y种候选预测块中每一种候选预测块的预测方向信息,通过率失真优化算法从Y种候选预测块中确定出一种候选预测块为目标候选预测块;
使用所述目标候选预测块划分所述当前编码块得到所述当前预测块。
4.根据权利要求3所述的方法,其特征在于,所述使用所述当前预测块的拉格朗日乘数LambdaPnew按照率失真优化算法对所述当前预测块进行编码处理,得到所述当前预测块的编码结果,包括:
根据所述当前预测块的大小和帧间预测时所述当前预测块的运动矢量信息,按照帧间预测机制确定所述当前预测块的预测信号;或者,
根据所述当前预测块的大小和帧内预测时所述当前预测块的预测方向信息,按照帧内预测机制确定所述当前预测块的预测信号;
基于所述当前预测块的预测信号经过残差运算对所述当前预测块进行熵编码,得到所述当前预测块的编码结果。
5.根据权利要求4所述的方法,其特征在于,所述基于所述当前预测块的预测信号经过残差运算对所述当前预测块进行熵编码,得到所述当前预测块的编码结果,包括:
根据接收到的所述当前预测块的视频信号和所述当前预测块的预测信号的差得到所述当前预测块的残差,所述当前预测块的视频信号位于所述视频数据中;
将所述当前预测块的残差进行离散余弦变换DCT处理,获取所述当前预测块的DCT变换系数;
根据所述当前预测块的量化参数Qpnew对所述DCT变换系数进行量化处理;
将所述当前编码块的大小、使用目标候选预测块对当前编码块进行划分的方式、所述当前预测块的参数信息和经过量化处理后的所述DCT变换系数进行熵编码处理,得到所述当前预测块的编码结果。
6.根据权利要求5所述的方法,其特征在于,所述根据所述当前预测块的量化参数Qpnew对所述DCT变换系数进行量化处理,具体包括:
根据所述当前预测块的预测信号,确定所述当前预测块的第二能量Ep'local
根据已编码的重建帧的重建信号,确定所述重建帧的能量E'global
根据所述当前预测块的第二能量Ep'local与所述重建帧的能量E'global的比值确定所述当前预测块的第二缩放因子Fp”;
根据下列公式确定量化参数Qpnew
Qpnew=Qp+6×log2Fp”
其中,Fp”为所述第二缩放因子,Qp为原始的量化参数;
根据所述量化参数将所述DCT变换系数进行量化处理。
7.根据权利要求6所述的方法,其特征在于,所述根据所述当前预测块的预测信号,确定所述当前预测块的第二能量Ep'local,包括:
根据下列公式计算所述当前帧f的所述当前预测块的第i个所述最小单元的第二方差
<mrow> <msup> <mi>V</mi> <mrow> <mo>&amp;prime;</mo> <mo>&amp;prime;</mo> </mrow> </msup> <msup> <msub> <mrow></mrow> <mi>i</mi> </msub> <mi>f</mi> </msup> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <msup> <mi>k</mi> <mn>2</mn> </msup> </munderover> <msup> <mrow> <mo>(</mo> <msup> <mi>x</mi> <mrow> <mo>&amp;prime;</mo> <mo>&amp;prime;</mo> </mrow> </msup> <msup> <msub> <mrow></mrow> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <mi>f</mi> </msup> <mo>-</mo> <msup> <mover> <mrow> <msub> <msup> <mi>x</mi> <mrow> <mo>&amp;prime;</mo> <mo>&amp;prime;</mo> </mrow> </msup> <mi>i</mi> </msub> </mrow> <mo>&amp;OverBar;</mo> </mover> <mi>f</mi> </msup> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow>
其中,为所述当前帧f的所述当前预测块的第i个所述最小单元的第j个像素值,表示所述最小单元中所述像素值的平均值;
根据下列公式确定所述当前预测块的第二能量Ep'local
<mrow> <msub> <msup> <mi>Ep</mi> <mo>&amp;prime;</mo> </msup> <mrow> <mi>l</mi> <mi>o</mi> <mi>c</mi> <mi>a</mi> <mi>l</mi> </mrow> </msub> <mo>=</mo> <mfrac> <mn>1</mn> <mi>L</mi> </mfrac> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>L</mi> </munderover> <msqrt> <mrow> <mfrac> <mrow> <mn>2</mn> <msup> <mi>V</mi> <mrow> <mo>&amp;prime;</mo> <mo>&amp;prime;</mo> </mrow> </msup> <msup> <msub> <mrow></mrow> <mi>i</mi> </msub> <mi>f</mi> </msup> </mrow> <mrow> <msup> <mi>k</mi> <mn>2</mn> </msup> <mo>-</mo> <mn>1</mn> </mrow> </mfrac> <mo>+</mo> <mi>C</mi> </mrow> </msqrt> <mo>.</mo> </mrow>
其中,C=(α*255)2,α∈(0,1)。
8.根据权利要求6或7所述的方法,其特征在于,所述根据已编码的重建帧的重建信号,确定所述重建帧的能量E'global,包括:
所述重建帧包含N'个所述最小单元,其中,N'为大于1的正整数;
根据下列公式计算所述重建帧f'的第i个所述最小单元的方差
<mrow> <msup> <mi>V</mi> <mo>&amp;prime;</mo> </msup> <msup> <msub> <mrow></mrow> <mi>i</mi> </msub> <msup> <mi>f</mi> <mo>&amp;prime;</mo> </msup> </msup> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <msup> <mi>k</mi> <mn>2</mn> </msup> </munderover> <msup> <mrow> <mo>(</mo> <msup> <mi>x</mi> <mo>&amp;prime;</mo> </msup> <msup> <msub> <mrow></mrow> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <msup> <mi>f</mi> <mo>&amp;prime;</mo> </msup> </msup> <mo>-</mo> <msup> <mover> <mrow> <msub> <msup> <mi>x</mi> <mo>&amp;prime;</mo> </msup> <mi>i</mi> </msub> </mrow> <mo>&amp;OverBar;</mo> </mover> <msup> <mi>f</mi> <mo>&amp;prime;</mo> </msup> </msup> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow>
其中,为所述重建帧f'的第i个所述最小单元的第j个像素值,表示所述最小单元中所述像素值的平均值;
根据下列公式确定所述重建帧的能量E'global
<mrow> <msub> <msup> <mi>E</mi> <mo>&amp;prime;</mo> </msup> <mrow> <mi>g</mi> <mi>l</mi> <mi>o</mi> <mi>b</mi> <mi>a</mi> <mi>l</mi> </mrow> </msub> <mo>=</mo> <mfrac> <mn>1</mn> <msup> <mi>N</mi> <mo>&amp;prime;</mo> </msup> </mfrac> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <msup> <mi>N</mi> <mo>&amp;prime;</mo> </msup> </munderover> <msqrt> <mrow> <mfrac> <mrow> <mn>2</mn> <msup> <mi>V</mi> <mo>&amp;prime;</mo> </msup> <msup> <msub> <mrow></mrow> <mi>i</mi> </msub> <msup> <mi>f</mi> <mo>&amp;prime;</mo> </msup> </msup> </mrow> <mrow> <msup> <mi>k</mi> <mn>2</mn> </msup> <mo>-</mo> <mn>1</mn> </mrow> </mfrac> <mo>+</mo> <mi>C</mi> </mrow> </msqrt> </mrow>
其中,C=(α*255)2,α∈(0,1)。
9.一种视频处理方法,其特征在于,包括:
接收编码端发送的视频码流中的编码信息,所述编码信息包括当前编码块的大小、对所述当前编码块进行划分的方法、当前预测块的参数信息,所述当前预测块的参数信息是指帧间预测时当前预测块的运动矢量信息,或,所述当前预测块的参数信息是指帧内预测时当前预测块的预测方向信息;
按照对所述当前编码块进行划分的方法对所述当前编码块的大小进行划分,得到所述当前预测块的大小,该当前预测块的大小由基于人眼特性的率失真优化算法确定;
根据所述当前预测块的大小和帧间预测时所述当前预测块的运动矢量信息,按照帧间预测机制确定当前预测块的预测信号;或者,根据所述当前预测块的大小和帧内预测时所述当前预测块的预测方向信息,按照帧内预测机制确定所述当前预测块的预测信号;
基于所述当前预测块的预测信号经过残差运算对当前预测块进行解码处理,得到所述当前预测块的解码结果。
10.根据权利要求9所述的方法,其特征在于,所述基于所述当前预测块的预测信号经过残差运算对当前预测块进行解码处理,得到所述当前预测块的解码结果包括:
根据所述当前预测块的预测信号确定所述当前预测块的量化参数Qpnew
根据所述当前预测块的量化参数Qpnew对量化处理后的离散余弦变换DCT变换系数进行反量化处理,获取所述当前预测块的DCT变换系数,所述编码信息还包括所述量化处理后的DCT变换系数;
将所述当前预测块的DCT变换系数进行离散余弦反变换IDCT处理,获取所述当前预测块的残差;
基于所述当前预测块的预测信号和所述当前预测块的残差之和确定解码结果。
11.根据权利要求10所述的方法,其特征在于,所述根据所述当前预测块的预测信号确定所述当前预测块的量化参数Qpnew,包括:
根据所述当前预测块的预测信号,确定所述当前预测块的能量Ep'local
根据已解码的重建帧的重建信号,确定所述重建帧的能量E'global
根据所述当前预测块的能量Ep'local与所述重建帧的能量E'global的比值确定所述当前预测块的缩放因子Fp”;
根据下列公式确定所述当前预测块的量化参数Qpnew
Qpnew=Qp+6×log2Fp”
其中,Qpnew为所述当前预测块的缩放因子,Qp为原始的量化参数。
12.根据权利要求11所述的方法,其特征在于,所述根据所述当前预测块的预测信号,确定所述当前预测块的能量Ep'local,包括:
确定k*k像素的最小单元,所述当前预测块包含L个所述最小单元,其中,k和L均为大于1的正整数;
根据下列公式计算所述当前帧f的所述当前预测块的第i个所述最小单元的方差
<mrow> <msup> <mi>V</mi> <mrow> <mo>&amp;prime;</mo> <mo>&amp;prime;</mo> </mrow> </msup> <msup> <msub> <mrow></mrow> <mi>i</mi> </msub> <mi>f</mi> </msup> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <msup> <mi>k</mi> <mn>2</mn> </msup> </munderover> <msup> <mrow> <mo>(</mo> <msup> <mi>x</mi> <mrow> <mo>&amp;prime;</mo> <mo>&amp;prime;</mo> </mrow> </msup> <msup> <msub> <mrow></mrow> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <mi>f</mi> </msup> <mo>-</mo> <msup> <mover> <mrow> <msub> <msup> <mi>x</mi> <mrow> <mo>&amp;prime;</mo> <mo>&amp;prime;</mo> </mrow> </msup> <mi>i</mi> </msub> </mrow> <mo>&amp;OverBar;</mo> </mover> <mi>f</mi> </msup> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow>
其中,为所述当前帧f的所述当前预测块的第i个所述最小单元的第j个像素值,表示所述最小单元中所述像素值的平均值;
根据下列公式确定所述当前预测块的能量Ep'local
<mrow> <msub> <msup> <mi>Ep</mi> <mo>&amp;prime;</mo> </msup> <mrow> <mi>l</mi> <mi>o</mi> <mi>c</mi> <mi>a</mi> <mi>l</mi> </mrow> </msub> <mo>=</mo> <mfrac> <mn>1</mn> <mi>L</mi> </mfrac> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>L</mi> </munderover> <msqrt> <mrow> <mfrac> <mrow> <mn>2</mn> <msup> <mi>V</mi> <mrow> <mo>&amp;prime;</mo> <mo>&amp;prime;</mo> </mrow> </msup> <msup> <msub> <mrow></mrow> <mi>i</mi> </msub> <mi>f</mi> </msup> </mrow> <mrow> <msup> <mi>k</mi> <mn>2</mn> </msup> <mo>-</mo> <mn>1</mn> </mrow> </mfrac> <mo>+</mo> <mi>C</mi> </mrow> </msqrt> </mrow>
其中,C=(α*255)2,α∈(0,1)。
13.根据权利要求12所述的方法,其特征在于,所述根据已解码的重建帧的重建信号,确定所述重建帧的能量E'global,包括:
所述重建帧包含N'个所述最小单元,其中,N'为大于1的正整数;
根据下列公式计算所述重建帧f'的第i个所述最小单元的方差
<mrow> <msup> <mi>V</mi> <mo>&amp;prime;</mo> </msup> <msup> <msub> <mrow></mrow> <mi>i</mi> </msub> <msup> <mi>f</mi> <mo>&amp;prime;</mo> </msup> </msup> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <msup> <mi>k</mi> <mn>2</mn> </msup> </munderover> <msup> <mrow> <mo>(</mo> <msup> <mi>x</mi> <mo>&amp;prime;</mo> </msup> <msup> <msub> <mrow></mrow> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <msup> <mi>f</mi> <mo>&amp;prime;</mo> </msup> </msup> <mo>-</mo> <msup> <mover> <mrow> <msub> <msup> <mi>x</mi> <mo>&amp;prime;</mo> </msup> <mi>i</mi> </msub> </mrow> <mo>&amp;OverBar;</mo> </mover> <msup> <mi>f</mi> <mo>&amp;prime;</mo> </msup> </msup> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow>
其中,为所述重建帧f'的第i个所述最小单元的第j个像素值,表示所述最小单元中所述像素值的平均值;
根据下列公式确定所述重建帧的能量E'global
<mrow> <msub> <msup> <mi>E</mi> <mo>&amp;prime;</mo> </msup> <mrow> <mi>g</mi> <mi>l</mi> <mi>o</mi> <mi>b</mi> <mi>a</mi> <mi>l</mi> </mrow> </msub> <mo>=</mo> <mfrac> <mn>1</mn> <msup> <mi>N</mi> <mo>&amp;prime;</mo> </msup> </mfrac> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <msup> <mi>N</mi> <mo>&amp;prime;</mo> </msup> </munderover> <msqrt> <mrow> <mfrac> <mrow> <mn>2</mn> <msup> <mi>V</mi> <mo>&amp;prime;</mo> </msup> <msup> <msub> <mrow></mrow> <mi>i</mi> </msub> <msup> <mi>f</mi> <mo>&amp;prime;</mo> </msup> </msup> </mrow> <mrow> <msup> <mi>k</mi> <mn>2</mn> </msup> <mo>-</mo> <mn>1</mn> </mrow> </mfrac> <mo>+</mo> <mi>C</mi> </mrow> </msqrt> </mrow>
其中,C=(α*255)2,α∈(0,1)。
14.一种编码设备,其特征在于,包括:
获取模块,用于接收视频数据,所述视频数据被划分为多个帧,所述多个帧中的每个帧被划分为多个编码块,每个所述编码块被划分为至少两个预测块;
计算模块,用于计算当前编码块中的当前预测块的拉格朗日乘数LambdaPnew,所述当前预测块是所述当前编码块内的一段视频信号,所述当前编码块位于当前帧中,所述当前帧是所述多个帧中的一个;
处理模块,用于使用所述当前预测块的拉格朗日乘数LambdaPnew按照率失真优化算法对所述当前预测块进行编码处理,得到所述当前预测块的编码结果;
发送模块,用于向解码端发送所述当前预测块的编码结果;
所述计算模块具体用于:
确定所述当前预测块;
计算所述当前帧的能量Eglobal和所述当前预测块的第一能量Eplocal
根据所述当前帧的能量Eglobal和所述当前预测块的第一能量Eplocal的比值确定所述当前预测块的第一缩放因子Fp,所述第一缩放因子Fp的取值范围为0到2之间;
使用所述第一缩放因子Fp对拉格朗日乘数Lambda进行缩放处理,得到所述当前预测块的拉格朗日乘数LambdaPnew
15.根据权利要求14所述的编码设备,其特征在于,所述计算模块具体用于:
确定k*k像素的最小单元,所述当前帧包含N个所述最小单元,所述当前预测块包含L个所述最小单元,其中,k、N和L均为大于1的整数,且满足N>L;
根据下列公式计算所述当前帧f的第i个所述最小单元的第一方差Vi f
<mrow> <msup> <msub> <mi>V</mi> <mi>i</mi> </msub> <mi>f</mi> </msup> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <msup> <mi>k</mi> <mn>2</mn> </msup> </munderover> <msup> <mrow> <mo>(</mo> <msup> <msub> <mi>x</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <mi>f</mi> </msup> <mo>-</mo> <msup> <mover> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>&amp;OverBar;</mo> </mover> <mi>f</mi> </msup> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow>
其中,i为小于或者等于N的正整数,xi,j f为所述当前帧f的第i个所述最小单元的第j个像素值,表示所述最小单元中所述像素值的平均值;
根据下列公式计算所述当前帧的能量Eglobal
<mrow> <msub> <mi>E</mi> <mrow> <mi>g</mi> <mi>l</mi> <mi>o</mi> <mi>b</mi> <mi>a</mi> <mi>l</mi> </mrow> </msub> <mo>=</mo> <mfrac> <mn>1</mn> <mi>N</mi> </mfrac> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <msqrt> <mrow> <mfrac> <mrow> <mn>2</mn> <msup> <msub> <mi>V</mi> <mi>i</mi> </msub> <mi>f</mi> </msup> </mrow> <mrow> <msup> <mi>k</mi> <mn>2</mn> </msup> <mo>-</mo> <mn>1</mn> </mrow> </mfrac> <mo>+</mo> <mi>C</mi> </mrow> </msqrt> </mrow>
根据下列公式计算所述当前预测块的第一能量Eplocal
<mrow> <msub> <mi>Ep</mi> <mrow> <mi>l</mi> <mi>o</mi> <mi>c</mi> <mi>a</mi> <mi>l</mi> </mrow> </msub> <mo>=</mo> <mfrac> <mn>1</mn> <mi>L</mi> </mfrac> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>L</mi> </munderover> <msqrt> <mrow> <mfrac> <mrow> <mn>2</mn> <msup> <msub> <mi>V</mi> <mi>i</mi> </msub> <mi>f</mi> </msup> </mrow> <mrow> <msup> <mi>k</mi> <mn>2</mn> </msup> <mo>-</mo> <mn>1</mn> </mrow> </mfrac> <mo>+</mo> <mi>C</mi> </mrow> </msqrt> </mrow>
其中,C=(α*255)2,α∈(0,1)。
16.根据权利要求15所述的编码设备,其特征在于,所述计算模块具体用于:
计算Y种候选预测块中每一种候选预测块的拉格朗日乘数,其中Y为大于或者等于2的整数;
使用所述Y种候选预测块中的第x种候选预测块的拉格朗日乘数,按照率失真优化算法确定所述第x种候选预测块的参数信息,其中,x需要取[1,Y]中的每一个整数,所述当前预测块的参数信息是指帧间预测时第x种候选预测块的运动矢量信息,或,所述当前预测块的参数信息是指帧内预测时第x种候选预测块的预测方向信息;
根据所述帧间预测时所述Y种候选预测块中每一种候选预测块的运动矢量信息,或者,根据所述帧内预测时所述Y种候选预测块中每一种候选预测块的预测方向信息,通过率失真优化算法从Y种候选预测块中确定出一种候选预测块为目标候选预测块;
使用所述目标候选预测块划分所述当前编码块得到所述当前预测块。
17.根据权利要求16所述的编码设备,其特征在于,所述处理模块具体用于:
根据所述当前预测块的大小和帧间预测时所述当前预测块的运动矢量信息,按照帧间预测机制确定所述当前预测块的预测信号;或者,
根据所述当前预测块的大小和帧内预测时所述当前预测块的预测方向信息,按照帧内预测机制确定所述当前预测块的预测信号;
基于所述当前预测块的预测信号经过残差运算对所述当前预测块进行熵编码,得到所述当前预测块的编码结果。
18.根据权利要求17所述的编码设备,其特征在于,所述处理模块具体用于:
根据接收到的所述当前预测块的视频信号和所述当前预测块的预测信号的差得到所述当前预测块的残差,所述当前预测块的视频信号位于所述视频数据中;
将所述当前预测块的残差进行离散余弦变换DCT处理,获取所述当前预测块的DCT变换系数;
根据所述当前预测块的量化参数Qpnew对所述DCT变换系数进行量化处理;
将所述当前编码块的大小、使用目标候选预测块对当前编码块进行划分的方式、所述当前预测块的参数信息和经过量化处理后的所述DCT变换系数进行熵编码处理,得到所述当前预测块的编码结果。
19.根据权利要求18所述的编码设备,其特征在于,所述处理模块具体用于:
根据所述当前预测块的预测信号,确定所述当前预测块的第二能量Ep'local
根据已编码的重建帧的重建信号,确定所述重建帧的能量E'global
根据所述当前预测块的第二能量Ep'local与所述重建帧的能量E'global的比值确定所述当前预测块的第二缩放因子Fp”;
根据下列公式确定量化参数Qpnew
Qpnew=Qp+6×log2Fp”
其中,Fp”为所述第二缩放因子,Qp为原始的量化参数;
根据所述量化参数将所述DCT变换系数进行量化处理。
20.根据权利要求19所述的编码设备,其特征在于,所述处理模块具体用于:
根据下列公式计算所述当前帧f的所述当前预测块的第i个所述最小单元的第二方差
<mrow> <msup> <mi>V</mi> <mrow> <mo>&amp;prime;</mo> <mo>&amp;prime;</mo> </mrow> </msup> <msup> <msub> <mrow></mrow> <mi>i</mi> </msub> <mi>f</mi> </msup> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <msup> <mi>k</mi> <mn>2</mn> </msup> </munderover> <msup> <mrow> <mo>(</mo> <msup> <mi>x</mi> <mrow> <mo>&amp;prime;</mo> <mo>&amp;prime;</mo> </mrow> </msup> <msup> <msub> <mrow></mrow> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <mi>f</mi> </msup> <mo>-</mo> <msup> <mover> <mrow> <msub> <msup> <mi>x</mi> <mrow> <mo>&amp;prime;</mo> <mo>&amp;prime;</mo> </mrow> </msup> <mi>i</mi> </msub> </mrow> <mo>&amp;OverBar;</mo> </mover> <mi>f</mi> </msup> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> 6
其中,为所述当前帧f的所述当前预测块的第i个所述最小单元的第j个像素值,表示所述最小单元中所述像素值的平均值;
根据下列公式确定所述当前预测块的第二能量Ep'local
<mrow> <msub> <msup> <mi>Ep</mi> <mo>&amp;prime;</mo> </msup> <mrow> <mi>l</mi> <mi>o</mi> <mi>c</mi> <mi>a</mi> <mi>l</mi> </mrow> </msub> <mo>=</mo> <mfrac> <mn>1</mn> <mi>L</mi> </mfrac> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>L</mi> </munderover> <msqrt> <mrow> <mfrac> <mrow> <mn>2</mn> <msup> <mi>V</mi> <mrow> <mo>&amp;prime;</mo> <mo>&amp;prime;</mo> </mrow> </msup> <msup> <msub> <mrow></mrow> <mi>i</mi> </msub> <mi>f</mi> </msup> </mrow> <mrow> <msup> <mi>k</mi> <mn>2</mn> </msup> <mo>-</mo> <mn>1</mn> </mrow> </mfrac> <mo>+</mo> <mi>C</mi> </mrow> </msqrt> <mo>.</mo> </mrow>
其中,C=(α*255)2,α∈(0,1)。
21.根据权利要求19或20所述的编码设备,其特征在于,所述处理模块具体用于:
所述重建帧包含N'个所述最小单元,其中,N'为大于1的正整数;
根据下列公式计算所述重建帧f'的第i个所述最小单元的方差
<mrow> <msup> <mi>V</mi> <mo>&amp;prime;</mo> </msup> <msup> <msub> <mrow></mrow> <mi>i</mi> </msub> <msup> <mi>f</mi> <mo>&amp;prime;</mo> </msup> </msup> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <msup> <mi>k</mi> <mn>2</mn> </msup> </munderover> <msup> <mrow> <mo>(</mo> <msup> <mi>x</mi> <mo>&amp;prime;</mo> </msup> <msup> <msub> <mrow></mrow> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <msup> <mi>f</mi> <mo>&amp;prime;</mo> </msup> </msup> <mo>-</mo> <msup> <mover> <mrow> <msub> <msup> <mi>x</mi> <mo>&amp;prime;</mo> </msup> <mi>i</mi> </msub> </mrow> <mo>&amp;OverBar;</mo> </mover> <msup> <mi>f</mi> <mo>&amp;prime;</mo> </msup> </msup> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow>
其中,为所述重建帧f'的第i个所述最小单元的第j个像素值,表示所述最小单元中所述像素值的平均值;
根据下列公式确定所述重建帧的能量E'global
<mrow> <msub> <msup> <mi>E</mi> <mo>&amp;prime;</mo> </msup> <mrow> <mi>g</mi> <mi>l</mi> <mi>o</mi> <mi>b</mi> <mi>a</mi> <mi>l</mi> </mrow> </msub> <mo>=</mo> <mfrac> <mn>1</mn> <msup> <mi>N</mi> <mo>&amp;prime;</mo> </msup> </mfrac> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <msup> <mi>N</mi> <mo>&amp;prime;</mo> </msup> </munderover> <msqrt> <mrow> <mfrac> <mrow> <mn>2</mn> <msup> <mi>V</mi> <mo>&amp;prime;</mo> </msup> <msup> <msub> <mrow></mrow> <mi>i</mi> </msub> <msup> <mi>f</mi> <mo>&amp;prime;</mo> </msup> </msup> </mrow> <mrow> <msup> <mi>k</mi> <mn>2</mn> </msup> <mo>-</mo> <mn>1</mn> </mrow> </mfrac> <mo>+</mo> <mi>C</mi> </mrow> </msqrt> </mrow>
其中,C=(α*255)2,α∈(0,1)。
22.一种解码设备,其特征在于,包括:
接收模块,用于接收编码端发送的视频码流中的编码信息,所述编码信息包括当前编码块的大小、对所述当前编码块进行划分的方法、当前预测块的参数信息,所述当前预测块的参数信息是指帧间预测时当前预测块的运动矢量信息,或,所述当前预测块的参数信息是指帧内预测时当前预测块的预测方向信息;
第一确定模块,用于按照对所述当前编码块进行划分的方法对所述当前编码块的大小进行划分,得到所述当前预测块的大小,该当前预测块的大小由基于人眼特性的率失真优化算法确定;
第二确定模块,用于根据所述当前预测块的大小和帧间预测时所述当前预测块的运动矢量信息,按照帧间预测机制确定当前预测块的预测信号;或者,根据所述当前预测块的大小和帧内预测时所述当前预测块的预测方向信息,按照帧内预测机制确定所述当前预测块的预测信号;
处理模块,用于基于所述当前预测块的预测信号经过残差运算对当前预测块进行解码处理,得到所述当前预测块的解码结果。
23.根据权利要求22所述的解码设备,其特征在于,所述处理模块具体用于:
根据所述当前预测块的预测信号确定所述当前预测块的量化参数Qpnew
根据所述当前预测块的量化参数Qpnew对量化处理后的离散余弦变换DCT变换系数进行反量化处理,获取所述当前预测块的DCT变换系数,所述编码信息还包括所述量化处理后的DCT变换系数;
将所述当前预测块的DCT变换系数进行离散余弦反变换IDCT处理,获取所述当前预测块的残差;
基于所述当前预测块的预测信号和所述当前预测块的残差之和确定解码结果。
24.根据权利要求22或23所述的解码设备,其特征在于,所述处理模块具体用于:
根据所述当前预测块的预测信号,确定所述当前预测块的能量Ep'local
根据已解码的重建帧的重建信号,确定所述重建帧的能量E'global
根据所述当前预测块的能量Ep'local与所述重建帧的能量E'global的比值确定所述当前预测块的缩放因子Fp”;
根据下列公式确定所述当前预测块的量化参数Qpnew
Qpnew=Qp+6×log2Fp”
其中,Qpnew为所述当前预测块的缩放因子,Qp为原始的量化参数。
25.根据权利要求24所述的解码设备,其特征在于,所述处理模块具体用于:
确定k*k像素的最小单元,所述当前预测块包含L个所述最小单元,其中,k和L均为大于1的正整数;
根据下列公式计算所述当前帧f的所述当前预测块的第i个所述最小单元的方差
<mrow> <msup> <mi>V</mi> <mrow> <mo>&amp;prime;</mo> <mo>&amp;prime;</mo> </mrow> </msup> <msup> <msub> <mrow></mrow> <mi>i</mi> </msub> <mi>f</mi> </msup> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <msup> <mi>k</mi> <mn>2</mn> </msup> </munderover> <msup> <mrow> <mo>(</mo> <msup> <mi>x</mi> <mrow> <mo>&amp;prime;</mo> <mo>&amp;prime;</mo> </mrow> </msup> <msup> <msub> <mrow></mrow> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <mi>f</mi> </msup> <mo>-</mo> <msup> <mover> <mrow> <msub> <msup> <mi>x</mi> <mrow> <mo>&amp;prime;</mo> <mo>&amp;prime;</mo> </mrow> </msup> <mi>i</mi> </msub> </mrow> <mo>&amp;OverBar;</mo> </mover> <mi>f</mi> </msup> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow>
其中,为所述当前帧f的所述当前预测块的第i个所述最小单元的第j个像素值,表示所述最小单元中所述像素值的平均值;
根据下列公式确定所述当前预测块的能量Ep'local
<mrow> <msub> <msup> <mi>Ep</mi> <mo>&amp;prime;</mo> </msup> <mrow> <mi>l</mi> <mi>o</mi> <mi>c</mi> <mi>a</mi> <mi>l</mi> </mrow> </msub> <mo>=</mo> <mfrac> <mn>1</mn> <mi>L</mi> </mfrac> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>L</mi> </munderover> <msqrt> <mrow> <mfrac> <mrow> <mn>2</mn> <msup> <mi>V</mi> <mrow> <mo>&amp;prime;</mo> <mo>&amp;prime;</mo> </mrow> </msup> <msup> <msub> <mrow></mrow> <mi>i</mi> </msub> <mi>f</mi> </msup> </mrow> <mrow> <msup> <mi>k</mi> <mn>2</mn> </msup> <mo>-</mo> <mn>1</mn> </mrow> </mfrac> <mo>+</mo> <mi>C</mi> </mrow> </msqrt> </mrow>
其中,C=(α*255)2,α∈(0,1)。
26.根据权利要求25所述的解码设备,其特征在于,所述处理模块具体用于:
所述重建帧包含N'个所述最小单元,其中,N'为大于1的正整数;
根据下列公式计算所述重建帧f'的第i个所述最小单元的方差
<mrow> <msup> <mi>V</mi> <mo>&amp;prime;</mo> </msup> <msup> <msub> <mrow></mrow> <mi>i</mi> </msub> <msup> <mi>f</mi> <mo>&amp;prime;</mo> </msup> </msup> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <msup> <mi>k</mi> <mn>2</mn> </msup> </munderover> <msup> <mrow> <mo>(</mo> <msup> <mi>x</mi> <mo>&amp;prime;</mo> </msup> <msup> <msub> <mrow></mrow> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <msup> <mi>f</mi> <mo>&amp;prime;</mo> </msup> </msup> <mo>-</mo> <msup> <mover> <mrow> <msub> <msup> <mi>x</mi> <mo>&amp;prime;</mo> </msup> <mi>i</mi> </msub> </mrow> <mo>&amp;OverBar;</mo> </mover> <msup> <mi>f</mi> <mo>&amp;prime;</mo> </msup> </msup> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow>
其中,为所述重建帧f'的第i个所述最小单元的第j个像素值,表示所述最小单元中所述像素值的平均值;
根据下列公式确定所述重建帧的能量E'global
<mrow> <msub> <msup> <mi>E</mi> <mo>&amp;prime;</mo> </msup> <mrow> <mi>g</mi> <mi>l</mi> <mi>o</mi> <mi>b</mi> <mi>a</mi> <mi>l</mi> </mrow> </msub> <mo>=</mo> <mfrac> <mn>1</mn> <msup> <mi>N</mi> <mo>&amp;prime;</mo> </msup> </mfrac> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <msup> <mi>N</mi> <mo>&amp;prime;</mo> </msup> </munderover> <msqrt> <mrow> <mfrac> <mrow> <mn>2</mn> <msup> <mi>V</mi> <mo>&amp;prime;</mo> </msup> <msup> <msub> <mrow></mrow> <mi>i</mi> </msub> <msup> <mi>f</mi> <mo>&amp;prime;</mo> </msup> </msup> </mrow> <mrow> <msup> <mi>k</mi> <mn>2</mn> </msup> <mo>-</mo> <mn>1</mn> </mrow> </mfrac> <mo>+</mo> <mi>C</mi> </mrow> </msqrt> </mrow>
其中,C=(α*255)2,α∈(0,1)。
27.一种通信***,其特征在于,所述通信***包括如权利要求14至21任一项所述的编码设备和如权利要求22至26任一项所述的解码设备,
所述编码设备用于接收视频数据,对所述视频数据进行编码处理,得到所述视频数据的编码结果,并将所述视频数据的编码结果发送给所述解码设备;
所述解码设备用于接收所述视频数据的编码结果,并对所述视频数据的编码结果进行解码处理,得到所述视频数据。
CN201410553229.8A 2014-10-17 2014-10-17 视频处理方法、编码设备和解码设备 Active CN104301724B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201410553229.8A CN104301724B (zh) 2014-10-17 2014-10-17 视频处理方法、编码设备和解码设备
PCT/CN2015/077816 WO2016058357A1 (zh) 2014-10-17 2015-04-29 视频处理方法、编码设备和解码设备
US15/486,475 US10645382B2 (en) 2014-10-17 2017-04-13 Video processing method, encoding device, and decoding device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410553229.8A CN104301724B (zh) 2014-10-17 2014-10-17 视频处理方法、编码设备和解码设备

Publications (2)

Publication Number Publication Date
CN104301724A CN104301724A (zh) 2015-01-21
CN104301724B true CN104301724B (zh) 2017-12-01

Family

ID=52321257

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410553229.8A Active CN104301724B (zh) 2014-10-17 2014-10-17 视频处理方法、编码设备和解码设备

Country Status (3)

Country Link
US (1) US10645382B2 (zh)
CN (1) CN104301724B (zh)
WO (1) WO2016058357A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104301724B (zh) * 2014-10-17 2017-12-01 华为技术有限公司 视频处理方法、编码设备和解码设备
US11272180B2 (en) 2016-07-04 2022-03-08 Sony Corporation Image processing apparatus and method
US10706492B2 (en) * 2017-09-05 2020-07-07 Texas Instruments Incorporated Image compression/decompression in a computer vision system
WO2020084476A1 (en) 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Sub-block based prediction
WO2020084474A1 (en) 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Gradient computation in bi-directional optical flow
CN111436226A (zh) 2018-11-12 2020-07-21 北京字节跳动网络技术有限公司 用于帧间预测的运动矢量存储
CN111193931B (zh) * 2018-11-14 2023-04-07 深圳市中兴微电子技术有限公司 一种视频数据的编码处理方法和计算机存储介质
CN113170171B (zh) 2018-11-20 2024-04-12 北京字节跳动网络技术有限公司 组合帧间帧内预测模式的预测细化
KR20210091161A (ko) 2018-11-20 2021-07-21 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 부분적 위치에 기반한 차분 계산
CN113424538A (zh) 2019-02-14 2021-09-21 北京字节跳动网络技术有限公司 解码器侧细化工具的选择性应用
WO2020177683A1 (en) 2019-03-03 2020-09-10 Beijing Bytedance Network Technology Co., Ltd. Enabling bio based on the information in the picture header
WO2020177755A1 (en) 2019-03-06 2020-09-10 Beijing Bytedance Network Technology Co., Ltd. Usage of converted uni-prediction candidate
CN109889837B (zh) * 2019-03-12 2022-05-27 电子科技大学 最优拉格朗日乘子基准定点标定方法
KR20230169434A (ko) 2019-04-02 2023-12-15 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 디코더 측 움직임 벡터 유도
CN112533000B (zh) * 2020-10-16 2022-08-05 腾讯科技(深圳)有限公司 视频解码方法、装置、计算机可读介质及电子设备
WO2024022377A1 (en) * 2022-07-26 2024-02-01 Douyin Vision Co., Ltd. Using non-adjacent samples for adaptive loop filter in video coding

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101960466A (zh) * 2007-09-11 2011-01-26 彩升集团有限公司 用于误差弹性视频编码的帧间模式生成的比率失真优化
CN103634600A (zh) * 2012-08-22 2014-03-12 中国科学院声学研究所 一种基于ssim评价的视频编码模式选择方法、***
CN103918271A (zh) * 2011-06-01 2014-07-09 王舟 基于结构相似度的感知视频编码方法和***
WO2014120368A1 (en) * 2013-01-30 2014-08-07 Intel Corporation Content adaptive entropy coding for next generation video

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7042943B2 (en) 2002-11-08 2006-05-09 Apple Computer, Inc. Method and apparatus for control of rate-distortion tradeoff by mode selection in video encoders
JP2006157214A (ja) * 2004-11-26 2006-06-15 Victor Co Of Japan Ltd 動画像符号化装置
US8094716B1 (en) 2005-08-25 2012-01-10 Maxim Integrated Products, Inc. Method and apparatus of adaptive lambda estimation in Lagrangian rate-distortion optimization for video coding
US8175150B1 (en) 2007-05-18 2012-05-08 Maxim Integrated Products, Inc. Methods and/or apparatus for implementing rate distortion optimization in video compression
US8238444B2 (en) * 2009-12-15 2012-08-07 National Taiwan University Perceptual-based video coding method
CN102780884B (zh) 2012-07-23 2015-05-06 深圳广晟信源技术有限公司 一种率失真优化方法
WO2014109607A1 (ko) * 2013-01-10 2014-07-17 삼성전자 주식회사 멀티 레이어 비디오 부호화 방법 및 장치, 멀티 레이어 비디오 복호화 방법 및 장치
CN103188496B (zh) * 2013-03-26 2016-03-09 北京工业大学 基于运动矢量分布预测的快速运动估计视频编码方法
CN103607590B (zh) 2013-11-28 2017-04-05 北京邮电大学 基于结构相似度的高效视频编码感知率失真优化方法
CN104052994A (zh) * 2014-04-14 2014-09-17 嘉兴职业技术学院 分级自适应的hevc帧内预测模式快速决策方法
CN103929652B (zh) * 2014-04-30 2017-04-19 西安电子科技大学 视频标准中基于自回归模型的帧内预测快速模式选择方法
CN103997646B (zh) * 2014-05-13 2018-05-01 北京航空航天大学 一种高清视频编码中快速帧内预测模式选择方法
US20150373326A1 (en) * 2014-06-19 2015-12-24 Magnum Semiconductor, Inc. Apparatuses and methods for parameter selection during rate-distortion optimization
CN104301724B (zh) * 2014-10-17 2017-12-01 华为技术有限公司 视频处理方法、编码设备和解码设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101960466A (zh) * 2007-09-11 2011-01-26 彩升集团有限公司 用于误差弹性视频编码的帧间模式生成的比率失真优化
CN103918271A (zh) * 2011-06-01 2014-07-09 王舟 基于结构相似度的感知视频编码方法和***
CN103634600A (zh) * 2012-08-22 2014-03-12 中国科学院声学研究所 一种基于ssim评价的视频编码模式选择方法、***
WO2014120368A1 (en) * 2013-01-30 2014-08-07 Intel Corporation Content adaptive entropy coding for next generation video

Also Published As

Publication number Publication date
US10645382B2 (en) 2020-05-05
CN104301724A (zh) 2015-01-21
US20170223351A1 (en) 2017-08-03
WO2016058357A1 (zh) 2016-04-21

Similar Documents

Publication Publication Date Title
CN104301724B (zh) 视频处理方法、编码设备和解码设备
CN101534436B (zh) 一种视频图像宏块级自适应码率分配方法
CN101778275B (zh) 一种自适应时间域和空间域分辨率框架的图像处理方法
CN101390401B (zh) 借助伪影评价的提高的图像/视频质量
CN108848376A (zh) 视频编码、解码方法、装置和计算机设备
CN109862359A (zh) 基于分层b帧的码率控制方法、装置和电子设备
CN103596004A (zh) Hevc中基于数学统计和分类训练的帧内预测方法及装置
CN103248895B (zh) 一种用于hevc帧内编码的快速模式估计方法
CN108769682A (zh) 视频编码、解码方法、装置、计算机设备和存储介质
CN104994382B (zh) 一种感知率失真的优化方法
CN104320657B (zh) Hevc无损视频编码的预测模式选择方法及相应的编码方法
CN103918262A (zh) 基于结构相似度的码率失真优化感知视频编码方法和***
EP3529986A1 (en) Low complexity mixed domain collaborative in-loop filter for lossy video coding
CN104967845A (zh) 对视频编码的方法和设备及对视频解码的方法和设备
CN106170093B (zh) 一种帧内预测性能提升编码方法
CN111314698A (zh) 一种图像编码处理方法及装置
US20140119456A1 (en) Encoding video into lower resolution streams
CN103442228B (zh) 从h.264/avc标准到hevc标准的快速帧内转码方法及其转码器
CN101674472A (zh) 多视点视频编码的多级码率控制方法
CN109660796A (zh) 一种对视频帧进行编码的方法
Liu et al. A novel rate control scheme for panoramic video coding
CN100493191C (zh) 具有低复杂度噪声消减的视频编码器及视频编码方法
CN106534855B (zh) 一种面向satd的拉格朗日因子计算方法
CN101917618A (zh) 多视点视频编码分层b帧预测结构的计算复杂度控制方法
CN110099274A (zh) 估计体验的视频质量

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant