CN101827267A - 基于视频图像分割技术的码率控制方法 - Google Patents
基于视频图像分割技术的码率控制方法 Download PDFInfo
- Publication number
- CN101827267A CN101827267A CN 201010152501 CN201010152501A CN101827267A CN 101827267 A CN101827267 A CN 101827267A CN 201010152501 CN201010152501 CN 201010152501 CN 201010152501 A CN201010152501 A CN 201010152501A CN 101827267 A CN101827267 A CN 101827267A
- Authority
- CN
- China
- Prior art keywords
- frame
- motion
- gop
- formula
- quantization parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明涉及一种基于视频图像分割技术的码率控制方法。本方法基于现有的视频图像分割技术,对比特数进行了再分配并调整了量化参数。首先利用得到的运动对象分割图计算运动复杂度系数,调整帧级(I帧/P帧)的码率控制方法;然后在进入宏块级码率控制算法后,利用运动对象分割图和纹理分割图计算宏块的运动复杂度,调整宏块的量化参数;最后利用运动模型检测场景切换帧,并相应地调整其量化参数。通过以上基于视频图像分割方法的码率控制算法的调整,使得在低带宽或高带宽中的解码图像质量都有了相应的提高,减小了运动剧烈区域的失真度。
Description
技术领域
本发明涉及了一种基于视频图像分割技术的码率控制方法,利用已有的视频图像分割技术,找出视频中的运动对象,并获得视频纹理分割图像。依据得到的两种不同的视频分割图改进码率控制算法,使改进后的码率控制方法能按照视觉特征分配视频编码比特数,提高视频编码质量。
背景技术
视频编码算法就是利用各种方法减小数据冗余,从而达到对数据的压缩。在现有的视频编解码算法中,已有针对视频时间相关性、空间相关性、时间统计特性的有效压缩方法。如:去除时间相关性冗余采用了运动估计,在编码过程中只保存通过运动估计所得的图像残差值,大大减小了每帧图像之间的冗余;而空间冗余的去除,则利用DCT变换,使每帧的图像信息都集中在低频部分,把包含相关性信息的高频部分滤除;针对视频中数据间的统计特性,则采用各种有效的熵编码来进行压缩。
随着视频压缩技术的不断发展,研究人员越来越注重视觉感知在视频编码过程中的影响。由于视频中运动目标相较于背景吸引了更多的注意力,所以应更多地保留目标运动区域的信息量,减少背景区域的信息量。因此在编码过程中以此为目标,考虑比特数的分配和码率控制。
目前的H.264编码算法中区域比特数分配方法并未考虑人眼视觉特征。基于MAD的编码器为了达到较高的PSNR增益为非重要的区域分配了过多的比特数,但事实上编码器为了增加PSNR所多分配比特数并不一定能提高视频图像的感观质量。以上方法终究不能区分哪些区域是人眼关注度高的区域,并分配更多的比特数;相反关注度低与关注度高的区域并未被区分对待,无法在有限比特数的情况下提高主观质量。
鉴于此,本方法通过利用现有的视频图像分割方法,得到每一帧的运动对象分割图和纹理分割图,依据以上两种分割图像改进码率控制算法。将人眼的视觉特性加入了改进后的码率控制方法,使得在有限比特数的情况下提高了视频的主管质量。
发明内容
本发明的目的是针对已有技术存在的缺陷,提供了一种基于视频图像分割技术的码率控制方法,本改进的码率控制方法能按照视觉特征分配视频编码比特数,提高视频主观质量。
如图1所示,为了改进JVT-G012码率控制算法的不足,本发明提出了一种自适应码率控制方法。该方法基于现有的视频图像分割技术,对比特数进行了再分配并调整了量化参数。首先利用得到的运动对象分割图计算运动复杂度系数,调整帧级(I帧/P帧)的码率控制算法;然后在进入宏块级码率控制算法后,利用运动对象分割图和纹理分割图计算宏块的运动复杂度,调整宏块的量化参数;最后利用运动模型检测场景切换帧,并相应地调整其量化参数。其关键步骤如下:
第一,I帧量化参数的调整
利用现有的各种能够提取出运动对象计算每一帧的运动复杂度,并相应地调整I帧的初始量化参数。减小运动平缓I帧的编码比特数,增加后续运动复杂的P帧的编码比特数,提高视频序列的整体观看质量。依据公式(1)调整I帧的量化参数,其中QPimg(i)为第i个GOP中I帧初始量化参数。xGOP(i)为第i个GOP中所有I帧和P帧的平均运动复杂度,xI(ni,1)和xP(ni,j)分别表示第i个GOP中I帧和第j个P帧的运动复杂度,他们分别由式(2)、(3)和(4)计算得到,其中K为每一个GOP的帧数;Nmotion(ni,j)为第i个GOP中第j帧运动对象所占像素点个数;Nall为每一帧图像中像素点个数。其中α、β、γ为量化参数调节量。
第二,P帧比特数的二次分配
依据现有的能够提取出运动对象二次分配P帧比特数。通过增加运动复杂图像的目标比特数,改进帧层的码率控制效果。利用现有运动模型建立第i个GOP中第j帧的运动复杂度系数xp(ni,j),见式(5),其中Nmotion(ni,j)为第i个GOP第j帧中运动对象所占像素点的个数,Nall为一帧图像中像素点总数。
完成P帧比特数的第一次分配,获到比特数f(ni,j)后,利用式(5)得到的运动复杂度按式(6)对P帧进行进行二次分配,得到比特数f(ni,j)*。经过以上修改后P帧的比特分配算法充分考虑了视频中运动复杂度,使算法更合理。
第三,宏块量化参数的修正
码率控制算法中,在初步确定了宏块层的量化参数后,依据式(7)所得到宏块的运动复杂度系数xmb(n,m)按式(8)和(9)调整量化参数。
式(7)中Nmv_region(n,m)为运动感分割图中第(n,m)个宏块中运动感知对象所占的像素点数;Nmb_all为宏块中像素点的总数。上式由两部分组成,左半部分反映了最终分割出的运动区域所占宏块中像素点的比率;公式的右半部分揭示了当前宏块所在的运动区域离其中心的距离,Nregion(i)表示在运动分割图中第i类纹理分割区域像素点的个数,其中i∈[1,M];Nmv_region(i)表示分割出的运动对象所占第i类纹理分割图像的分割区域像素点的个数。k列举了在当前宏块中运动对象所包含纹理区域的类型,其中k≤M。
由于人眼的注意力集中在运动对象中心,所以依据式(7)得到的运动复杂度系数不仅考虑了宏块的运动情况,同时还考虑了宏块的位置。在获得运动复杂度系数后,利用此系数调整宏块的量化参数,见式(8)。
BasicUnitQP(n,m)=BasicUnitQP(n,m)+ΔQP(n,m) (8)
其中ΔQP(n,m)定义如式(9):
式中α、β、γ、μ为量化参数调节系数,大小由具体实验确定,其取值范围为μ<0,α、β、γ>0,且α>β>γ,|μ|≤γ。按式(10)进一步修改量化参数,确保调整后的量化参数仍在取值范围内:
BasicUnitQP(n,m)=min(max(BasicUnitQP(n,m),18),51) (10)
第四,场景切换帧的检测与量化参数的调整
在场景切换时运动感知对象在位置和外形上都会发生巨大的变化。依据以上原理,利用每一帧所分割出运动对象的变化来检测场景切换。当前一帧运动对象和当前帧运动对象在位置和形状上有较大的变化,同时后一帧比特数突然增大时,可依据式(11)中的参数η判定当前帧为场景切换帧。
η=α1·β1+α2·β2+α3·β3 (11)
上式中的a1,a2,a3为式(12)、(13)和(14)所定义的三个判定因子β1,β2,β3的加权系数,其取值可由具体实验确定。式(12)、(13)和(14)中Numregion(j)为第j帧中运动对象所占纹理分割图的区域类别数;Nmv(j)为运动对象分割部分所占第j帧中像素点的个数;Ncommon(j)为第j帧和其前一帧运动对象公共区域像素点的个数;B(j)是第j帧所分配到的比特数。
由以上定义可以看出判定参数η综合考虑了前后帧运动对象纹理、位置、形状的变化。其中β1通过检测前后帧运动对象纹理的变化,反映运动对象的变化;β2反映了运动对象位置和形状上的变化;β3体现了前后帧所分配比特数的变化,可见只有在当前帧的比特数大于其前一帧时,β3才会增大。得到判定参数后,依据公式(15)调整当前帧的量化参数。其中ρ为阈值,b为量化参数调整量。
根据上述发明构思,本发明采用的技术方案如下:
一种基于视频图像分割技术的码率控制方法,其特征在于具体步骤如下:
(1)输入视频编码帧;
(2)利用视频图像分割方法得到运动对象分割图和纹理图像分割图;
(3)I帧码率控制算法调整:依据所分割出的运动对象计算每一帧的运动复杂度,并相应地调整I帧的初始量化参数;
(4)P帧码率控制算法调整:依据所分割出的运动对象二次分配P帧比特数;
(5)宏块层码率控制算法调整:依据所分割出的运动对象和纹理分割图像计算运动复杂度,调整每帧中宏块的量化参数,实现依据宏块的不同性质所进行的编码策略;
(6)场景切换帧码率控制算法调整:利用所分割出的运动对象和纹理分割图像判定场景切换,调整场景切换帧初始量化参数。
下面对各步骤作详细说明:
(1)利用某种视频图像分割方法得到运动对象分割图和纹理分割图,其过程是:
①利用视频图像处理中的某种视频运动对象分割技术获得每一帧的运动对象,并用参数Mv(i,j)标示当前(i,j)像素点是否位于运动对象上。
②利用视频图像处理技术获得视频纹理图像分割图,将具有相同纹理的部分归入同一区域。这些区域本身都是独立、联通、封闭的,所有区域的集合组成了一帧图像。用参数M记录所有纹理种类数,Region(i,j)表示每一个像素点(i,j)所在纹理区域的序号,其中Region(i,j)∈[1,M]。
(2)调整I帧的量化参数,其过程是:
①依据所分割出的运动对象,按照下式计算I帧的运动复杂度。
式中xI(ni,1)为所求的第i个GOP中I帧的运动复杂度系数;Nmotion(ni,1)为第i个GOP中I帧中分割出的运动对象所占像素点个数;Nall为每一帧图像中像素点总数。
②依据所分割出的运动对象,计算P帧的运动复杂度:
式中xP(ni,j)为所求的第i个GOP中第j个P帧的运动复杂度系数;Nmotion(ni,j)为第i个GOP中第j帧分割出的运动对象所占像素点个数;Nall为每一帧图像像素点总数。
③按照以上两步中得到的I帧和P帧的运动复杂度系数,计算一个GOP中每一帧的平均运动复杂度:
式中xGOP(i)为第i个GOP中所有I帧和P帧的平均运动复杂度系数;xI(ni,1)和xP(ni,j)分别表示第i个GOP中I帧和第j个P帧的运动复杂度;K为每一个GOP的帧数。
④按照GOP中每一帧的运动复杂度系数,调整I帧量化参数:
式中QPimg(i)为第i个GOP中I帧初始量化参数;α、β、γ为量化参数调节量;xGOP(i)和xI(ni,1)由公式(1)和(3)计算得到。
(3)重新分配P帧的目标比特数,其过程如下:
①利用运动模型计算第i个GOP中第j帧的运动复杂度系数:
其中Nmotion(ni,j)为第i个GOP第j帧中运动对象所占像素点的个数,Nall为一帧图像中像素点总数。
②完成P帧比特数的第一次分配,获到比特数f(ni,j)后,利用得到的运动复杂度系数,对P帧进行进行二次分配:
式中f(ni,j)是H.264编码标准中P帧比特数分配算法得到的目标比特数。
(4)调整宏块的量化参数,其过程如下:
①依据所分割出的运动对象和纹理图像,计算一帧中每一个宏块的运动复杂度:
式中Nmv_region(n,m)为运动模型所分割出的第(n,m)个宏块中运动对象所占的像素点数;Nmb_all为宏块中像素点的总数。式(7)由两部分组成,左半部分反映了最终分割出的运动对象所占宏块中像素点的比率;公式的右半部分揭示了当前宏块所在的运动区域离其中心的距离,Nregion(i)表示在运动对象中第i类纹理分割区域像素点的个数;Nmv_region(i)表示运动分割部分所占第i类纹理分割区域像素点的个数。k列举了在当前宏块中运动区域所占纹理区域的类型,其中k≤M。
②依据步骤一所得到的宏块运动复杂度系数,计算决定量化参数调整量:
式中α、β、γ、μ为量化参数调节系数,大小由具体实验确定,其取值范围为μ<0,α、β、γ>0,且α>β>γ,|μ|≤γ。xmb(n,m)为计算所得的每一个宏块的运动复杂度系数。
③依据所得到的量化参数调整量,更新P帧的量化参数:
BasicUnitQP(n,m)=BasicUnitQP(n,m)+ΔQP(n,m)
式中ΔQP(n,m)为公式(8)得到的量化参数调整量,n和m为当前宏块所占图像中位置坐标。
④为了防止调整后的量化参数BasicUnitQP(n,m)超出范围,限定调整后P帧的量化参数:
BasicUnitQP(n,m)=min(max(BasicUnitQP(n,m),18),51)
式中n和m表示当前跳帧宏块位置,即第(n,m)个宏块。
(5)检测场景切换帧,调整其量化参数的过程如下:
①依据运动分割图,计算场景切换帧判定因子β1,β2,β3:
式中Numregion(j)为第j帧中运动对象所占纹理分割图的区域类型数;Nmv(j)为运动对象分割部分所占第j帧中像素点的个数;Ncommon(j)为第j帧和其前一帧运动对象公共区域像素点的个数;B(j)是第j帧所分配到的比特数。
②依据计算得到的判定因子β1,β2,β3,计算场景切换帧判定参数η:
η=α1·β1+α2·β2+α3·β3
式中a1,a2,a3为三个判定因子β1,β2,β3的加权系数,其取值可由具体实验确定。
③得到判定参数后,调整当前帧的量化参数:
式中ρ为阈值,b为量化参数调整量。
本发明与H.264的校验模型JM10.2版本上的码率控制方法相比,具有如下的突出实质性特点和显著优点:本发明能够将分配给GOP的比特数在其帧间进行合理的调整,能够将分配给编码帧的比特数在人眼感兴趣区域和非感兴趣区域之间进行合理的调整,在相同甚至更少的比特数情况下获得更佳的主观视觉质量。
附图说明
图1是本发明的基于视频图像分割技术的码率控制方法流程框图。
图2是JM10.2校验模型和改进后的码率控制算法I帧比特数分布对比图。
图3是JM10.2校验模型和改进后的码率控制算法输入mother-daughter序列码率为256kbps时P帧编码比特数对比。
图4是JM10.2校验模型和改进后的码率控制算法输入foreman序列码率为192kbps时P帧编码比特数对比。
图5是低码率情况下mother-daughter JM10.2校验模型(其中图(a))与改进后的码率控制算法视频(其中图(b))质量比较。
图6是带宽192Kbps,量化参数36,Silent JM10.2校验模型(其中图(a))与改进后的码率控制算法视频(其中图(b))质量比较。
图7带宽256Kbps,量化参数32,foreman序列JM10.2校验模型(其中图(a))与改进后的码率控制算法视频(其中图(b))质量比较。
具体实施方式
本发明的优选实施例结合附图详述如下:
实施例一:
本基于视频图像分割技术的码率控制方法是按图1所示程序框图,在CPU为Athlon x22.0GHz、内存1024M的PC测试平台上编程实现,图2是JM10.2校验模型与本编码算法中I帧所用比特数对比;图3和图4JM10.2校验模型与本编码算法中P帧所用比特数对比;图5~7为JM10.2校验模型与本编码图像的对比。
参见图1,本基于视频图像分割技术的码率控制方法,通过利用已有的视频图像分割方法,分割视频中的运动对象和不同的纹理图像。然后依此运动模型改进帧层和宏块层码率控制算法。最后利用运动对象检测场景切换帧,调整其量化参数。改进后的码率控制方法能按照视觉特征分配视频编码比特数,利用相同甚至更少的比特数获得更佳的主观视觉质量。
其步骤是:
(1)输入视频编码帧;
(2)利用某种视频图像分割方法得到运动对象分割图和纹理分割图;
(3)I帧码率控制算法调整:依据所分割出的运动对象计算每一帧的运动复杂度,并相应地调整I帧的初始量化参数;
(4)P帧码率控制算法调整:依据所分割出的运动对象二次分配P帧比特数;
(5)宏块层码率控制算法调整:依据所分割出的运动对象和纹理分割图像计算运动复杂度,调整每帧中宏块的量化参数,实现依据宏块的不同性质所进行的编码策略;
(6)场景切换帧码率控制算法调整:利用所分割出的运动对象和纹理分割图像判定场景切换,调整场景切换帧初始量化参数;
实施例二:
本实施例与实施例一基本相同,特别之处如下:
上述步骤(2)的运动模型建立过程如下:
①利用视频图像处理中的某种视频运动对象分割技术获得每一帧的运动对象,并用参数Mv(i,j)标示当前(i,j)像素点是否位于运动对象上。
②利用视频图像处理技术获得视频纹理分割图像,将具有相同纹理的部分归入同一区域。这些区域本身都是独立、联通、封闭的,所有区域的集合组成了一帧图像。用参数M记录所有纹理种类数,Region(i,j)表示每一个像素点(i,j)所在纹理区域的序号,其中Region(i,j)∈[1,M]。
上述步骤(3)I帧码率控制算法调整过程如下:
①依据所分割出的运动对象,按照公式(1)计算I帧的运动复杂度。式中xI(ni,1)为第i个GOP中I帧的运动复杂度系数;Nmotion(ni,1)为第i个GOP中I帧中分割出的运动对象所占像素点个数;Nall为每一帧图像中像素点总数。
②依据所分割出的运动对象,按照公式(2)计算P帧的运动复杂度。式中xP(ni,j)为第i个GOP中第j个P帧的运动复杂度;Nmotion(ni,j)为第i个GOP中第j帧中分割出的运动对象所占像素点个数;Nall为每一帧图像中像素点总数。
③按照以上两步中得到的I帧和P帧的运动复杂度系数,按照公式(3)计算一个GOP中每一帧的平均运动复杂度。式中xGOP(i)为第i个GOP中所有I帧和P帧的平均运动复杂度;xI(ni,1)和xP(ni,j)分别表示第i个GOP中I帧和第j个P帧的运动复杂度;K为每一个GOP的帧数。
④按照GOP中每一帧的运动复杂度系数,按公式(4)调整I帧量化参数。式中QPimg(i)为第i个GOP中I帧初始量化参数;α、β、γ为量化参数调节量;xGOP(i)和XI(ni,1)由公式(1)和(3)计算得到。
上述步骤(4)的P帧码率控制算法调整过程如下:
①我们利用运动模型计算第i个GOP中第j帧的运动复杂度系数xp(ni,j),见式(5),其中Nmotion(ni,j)为第i个GOP第j帧中分割出的运动对象所占像素点的个数,Nall为一帧图像中像素点总数。
②完成P帧比特数的第一次分配,获到比特数f(ni,j)后,利用式(5)得到的运动复杂度按式(6)对P帧进行进行二次分配,得到重分配比特数f(ni,j)*。公式(6)中f(ni,j)是H.264编码标准中P帧比特数分配算法得到的目标比特数。
上述步骤(5)的宏块层码率控制算法调整过程如下:
①依据所分割出的运动对象,按照公式(7)计算一帧中每一个宏块的运动复杂度系数。式中Nmv_region(n,m)为所分割出的第(n,m)个宏块中运动对象所占的像素点数;Nmb_all为宏块中像素点的总数。式(7)由两部分组成,左半部分反映了最终分割出的运动对象所占宏块中像素点的比率;公式的右半部分揭示了当前宏块所在的运动区域离其中心的距离,Nregion(i)表示在运动分割对象中第i类纹理分割区域像素点的个数;Nmv_region(i)表示运动分割部分所占第i类纹理分割区域像素点的个数,其中i∈[1,M]。k列举了在当前宏块中运动对象所占纹理区域的类型。
②依据步骤一所得到的宏块运动复杂度系数,按照公式(8)决定量化参数调整量。式中α、β、γ、μ为量化参数调节系数,大小由具体实验确定,其取值范围为μ<0,α、β、γ>0,且α>β>γ,|μ|≤γ。xmb(n,m)为计算所得的每一个宏块的运动复杂度系数。
③依据所得到的量化参数调整量,按照公式(9)更新P帧的量化参数。式中ΔQP(n,m)为公式(8)得到的量化参数调整量,n和m为当前宏块所占图像中位置坐标。
BasicUnitQP(n,m)=BasicUnitQP(n,m)+ΔQP(n,m) (9)
④为了防止调整后的量化参数BasicUnitQP(n,m)超出范围,按照公式(10)限定调整后P帧的量化参数。式中n和m表示当前跳帧宏块位置,即第(n,m)个宏块。
BasicUnitQP(n,m)=min(max(BasicUnitQP(n,m),18),51) (10)
上述步骤(6)场景切换帧的判定以及量化参数的调整过程如下:
①依据运动分割图和纹理分割图,按照公式(11)~(13)计算场景切换帧判定因子,可依据此系数判定当前帧是否为场景切换帧。式中Numregion(j)为第j帧中运动对象所占纹理分割图的区域类型数;Nmv(j)为运动对象分割部分所占第j帧中像素点的个数;Ncommon(j)为第j帧和其前一帧运动对象公共区域像素点的个数;B(j)是第j帧所分配到的比特数。
②依据计算得到的判定因子β1,β2,β3,按照公式(14)计算场景切换帧判定参数η。式中a1,a2,a3为三个判定因子β1,β2,β3的加权系数,其取值可由具体实验确定。
η=α1·β1+α2·β2+α3·β3 (14)
③得到判定参数后,依据公式(15)调整当前帧的量化参数。式中ρ为阈值,b为量化参数调整量。
以下给出输入视频格式为352×288的CIF时的实例,采用JM10.2版本的H.264编码器对标准测试序列进行编码。H.264编码器的配置如下:Baseline Profile,IPPP,每15帧***1个I帧,1个参考帧,带宽设置为256k bps,帧率设置为30fps,初始量化参数设置为32。
采用典型的标准测试序列mother-daughter、Silent和foreman作为输入视频进行测试,图2是原编码模型和基于运动复杂度编码模型的码率控制算法在带宽为192kbps、初始量化参数为36时所得到的15个GOP中I帧的编码比特数分布图。从这两幅图可以看出经过调整后的I帧码率控制算法所用编码比特数的均值小于原模型。图3和图4是在不同码率下P帧在原编码模型和基于运动复杂度编码模型的码率控制算法中P帧的编码比特数分布图,从图上可以看出:经调整后的P帧编码比特数分布较为平缓,而由未经修改的码率控制方法所得到的P帧编码比特数变化剧烈。数据上的剧烈变化反映在视频图像质量上为模糊和清晰的图像的交替出现,大大降低视频序列的感官质量。图5~图6分别为低码率、中码率和高码率三种情况下JM10.2校验模型与本发明的编码图像的对比图,可以看出改进后的码率控制方法在视频图像质量上有明显的提高。
Claims (6)
1.基于视频图像分割技术的码率控制方法,其特征在于具体步骤如下:
(1)输入视频编码帧;
(2)利用视频图像分割方法得到运动对象分割图和纹理图像分割图;
(3)I帧码率控制算法调整:依据所分割出的运动对象计算每一帧的运动复杂度,并相应地调整I帧的初始量化参数;
(4)P帧码率控制算法调整:依据所分割出的运动对象二次分配P帧比特数;
(5)宏块层码率控制算法调整:依据所分割出的运动对象和纹理分割图像计算运动复杂度,调整每帧中宏块的量化参数,实现依据宏块的不同性质所进行的编码策略;
(6)场景切换帧码率控制算法调整:利用所分割出的运动对象和纹理分割图像判定场景切换,调整场景切换帧初始量化参数。
2.根据权利要求1所述的基于视频图像分割技术的码率控制方法,其特征在于所述步骤2中
利用视频图像分割方法得到运动对象分割图和纹理图像分割图的步骤如下:
①利用视频图像处理中的任一种视频运动对象分割技术获得每一帧的运动对象,并用参数Mv(i,j)标示当前(i,j)像素点是否位于运动对象上;
②利用视频图像处理技术获得视频纹理图像分割图,将具有相同纹理的部分归入同一区域;这些区域本身都是独立、联通、封闭的,所有区域的集合组成了一帧图像;用参数M记录所有纹理种类数,Region(i,j)表示每一个像素点(i,j)所在纹理区域的序号,其中Region(i,j)∈[1,M]。
3.根据权利要求1所述的基于视频图像分割技术的码率控制方法,其特征在于所述步骤3中依据所分割出的运动对象计算每一帧的运动复杂度,并相应地调整I帧的初始量化参数的步骤如下:
①依据所分割出的运动对象,按照下列公式(1)计算I帧的运动复杂度;式中xI(ni,1)为第i个GOP中I帧的运动复杂度,Nmotion(ni,1)为第i个GOP中I帧中分割出的运动对象所占像素点个数,Nall为每一帧图像中像素点总数,
②依据所分割出的运动对象,按照下列公式(2)计算P帧的运动复杂度;式中xP(ni,j)为第i个GOP中第j个P帧的运动复杂度,Nmotion(ni,j)为第i个GOP中第j帧中分割出的运动对象所占像素点个数,Nall为每一帧图像中像素点总数,
③按照以上两步中得到的I帧和P帧的运动复杂度系数,按照下列公式(3)计算一个GOP中每一帧的平均运动复杂度;式中xGOP(i)为第i个GOP中所有I帧和P帧的平均运动复杂度,xI(ni,1)和xP(ni,j)分别表示第i个GOP中I帧和第j个P帧的运动复杂度,K为每一个GOP的帧数,
④按照GOP中每一帧的评卷运动复杂度,按下列公式(4)调整I帧量化参数;式中QPimg(i)为第i个GOP中I帧初始量化参数,α、β、γ为量化参数调节量,xGOP(i)和xI(ni,1)由上列公式(1)和(3)计算得到,
4.根据权利要求1所述的基于视频图像分割技术的码率控制方法,其特征在于所述步骤4中依据所分割出的运动对象二次分配P帧比特数的步骤如下:
①利用运动模型计算第i个GOP中第j帧的运动复杂度系数xp(ni,j),按下列公式(5)计算;其中Nmotion(ni,j)为第i个GOP第j帧中运动对象所占像素点的个数,Nall为一帧图像中像素点总数,
②完成P帧比特数的第一次分配,获到比特数f(ni,j)后,利用上列公式(5)得到的运动复杂度,按下列公式(6)对P帧进行进行二次分配,得到重分配比特数f(ni,j)*;下列公式(6)中f(ni,j)是H.264编码标准中P帧比特数分配算法得到的目标比特数。
5.根据权利要求1所述的基于视频图像分割技术的码率控制方法,其特征在于所述步骤5中依据所分割出的运动对象和视频纹理图像计算运动复杂度,调整每帧中宏块的量化参数通过下述步骤实现:
①依据所分割出的运动对象,按照下列公式(7)计算一帧中每一个宏块的运动复杂度。式中Nmv_region(n,m)为运动模型所分割出的第(n,m)个宏块中运动感知对象所占的像素点数,Nmb_all为宏块中像素点的总数;该下列公式(7)由两部分组成:左半部分反映了最终分割出的运动区域所占宏块中像素点的比率;右半部分揭示了当前宏块所在的运动区域离其中心的距离;Nregion(i)表示在运动模型中第i类纹理区域像素点的个数,其中i∈[1,M],Nmv_region(i)表示运动分割部分所占第i类纹理图像分割区域像素点的个数,k列举了在当前宏块中运动区域的类型,
②依据步骤一所得到的宏块运动复杂度系数,按照下列公式(8)决定量化参数调整量;式中α、β、γ、μ为量化参数调节系数,大小由具体实验确定,其取值范围为μ<0,α、β、γ>0,且α>β>γ,|μ|≤γ;xmb(n,m)为计算所得的每一个宏块的运动复杂度系数,
③依据所得到的量化参数调整量,按照下列公式(9)更新P帧的量化参数;式中ΔQP(n,m)为公式(8)得到的量化参数调整量,n和m为当前宏块所占图像中位置坐标,
BasicUnitQP(n,m)=BasicUnitQP(n,m)+ΔQP(n,m);(9)
④为了防止调整后的量化参数BasicUnitQP(n,m)超出范围,按照下列公式(10)限定调整后P帧的量化参数;式中n和m表示当前跳帧宏块位置,即第(n,m)个宏块,
BasicUnitQP(n,m)=min(max(BasicUnitQP(n,m),18),51)。(10)
6.根据权利要求1所述的基于视频图像分割技术的码率控制方法,其特征在于所述步骤6中利用所分割出的运动对象和视频纹理图像来判定场景切换,调整场景切换帧初始量化参数通过以下步骤实现:
①依据运动分割图和纹理分割图,按照下列公式(11)~(13)计算场景切换帧判定因子,依据此系数判定当前帧是否为场景切换帧;式中Numregion(j)为第j帧中运动对象所占纹理分割图像的区域类别数,Nmv(j)为运动对象部分所占第j帧中像素点的个数,Ncommon(j)为第j帧和其前一帧运动对象公共区域像素点的个数,B(j)是第j帧所分配到的比特数,
②依据计算得到的判定因子β1,β2,β3,按照下列公式(14)计算场景切换帧判定参数η;式中a1,a2,a3为三个判定因子β1,β2,β3的加权系数,其取值由具体实验确定,
η=a1·β1+a2·β2+a3·β3;(14)
③得到判定参数后,依据下列公式(15)调整当前帧的量化参数;式中ρ为阈值,b为量化参数调整量,
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201010152501 CN101827267B (zh) | 2010-04-20 | 2010-04-20 | 基于视频图像分割技术的码率控制方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201010152501 CN101827267B (zh) | 2010-04-20 | 2010-04-20 | 基于视频图像分割技术的码率控制方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101827267A true CN101827267A (zh) | 2010-09-08 |
CN101827267B CN101827267B (zh) | 2012-07-04 |
Family
ID=42690930
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN 201010152501 Expired - Fee Related CN101827267B (zh) | 2010-04-20 | 2010-04-20 | 基于视频图像分割技术的码率控制方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101827267B (zh) |
Cited By (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102036074A (zh) * | 2010-12-21 | 2011-04-27 | 汉王科技股份有限公司 | 基于嵌入式设备的码率控制方法及装置 |
CN103179394A (zh) * | 2013-01-21 | 2013-06-26 | 北京航空航天大学 | 一种基于区域视频质量平稳的i帧码率控制方法 |
CN103281532A (zh) * | 2013-05-14 | 2013-09-04 | 深圳市云宙多媒体技术有限公司 | 一种基于运动强度检测的量化调整方法及*** |
CN103327329A (zh) * | 2013-06-09 | 2013-09-25 | 深圳市云宙多媒体技术有限公司 | 一种图像质量跳变的量化调整方法及*** |
CN103391439A (zh) * | 2013-07-18 | 2013-11-13 | 西安交通大学 | 一种基于主动宏块隐藏的h.264/avc码率控制方法 |
CN103517067A (zh) * | 2012-12-14 | 2014-01-15 | 深圳百科信息技术有限公司 | 一种初始量化参数自适应调整方法及*** |
CN104717500A (zh) * | 2013-12-12 | 2015-06-17 | 中国电信股份有限公司 | 一种视频编码码率控制方法和*** |
CN105049850A (zh) * | 2015-03-24 | 2015-11-11 | 上海大学 | 基于感兴趣区域的hevc码率控制方法 |
CN105516720A (zh) * | 2015-12-23 | 2016-04-20 | 天津天地伟业数码科技有限公司 | 一种监控摄像机码流的自适应控制方法 |
CN105825042A (zh) * | 2015-01-27 | 2016-08-03 | 西门子股份公司 | 用于标识放射学数据集的数据*** |
CN106231320A (zh) * | 2016-08-31 | 2016-12-14 | 上海交通大学 | 一种支持多机并行编码的联合码率控制方法及*** |
CN106254868A (zh) * | 2016-08-19 | 2016-12-21 | 浙江宇视科技有限公司 | 视频编码码率控制方法、装置及*** |
CN106604029A (zh) * | 2017-01-03 | 2017-04-26 | 华南理工大学 | 一种基于hevc的运动区域检测的码率控制方法 |
CN108063944A (zh) * | 2017-12-14 | 2018-05-22 | 西北工业大学 | 一种基于视觉显著性的感知码率控制方法 |
CN108174210A (zh) * | 2018-02-09 | 2018-06-15 | 杭州雄迈集成电路技术有限公司 | 一种适用于视频压缩的自适应宏块级码率控制***及控制方法 |
CN108989818A (zh) * | 2017-05-31 | 2018-12-11 | 深圳市中兴微电子技术有限公司 | 一种图像编码参数调整方法及装置 |
WO2019184643A1 (zh) * | 2018-03-28 | 2019-10-03 | 腾讯科技(深圳)有限公司 | 一种视频编码码率控制方法、装置、设备及存储介质 |
CN110519571A (zh) * | 2019-09-19 | 2019-11-29 | 天津英田视讯科技有限公司 | 一种基于场景复杂度动态调整编码器参数的方法 |
CN110708570A (zh) * | 2019-10-21 | 2020-01-17 | 腾讯科技(深圳)有限公司 | 视频的编码码率确定方法、装置、设备及存储介质 |
CN110800297A (zh) * | 2018-07-27 | 2020-02-14 | 深圳市大疆创新科技有限公司 | 视频编码方法及装置、计算机可读存储介质 |
CN110830757A (zh) * | 2018-08-07 | 2020-02-21 | 浙江宇视科技有限公司 | 图像码率处理方法、装置及计算机可读存储介质 |
CN111385576A (zh) * | 2018-12-28 | 2020-07-07 | 北京字节跳动网络技术有限公司 | 视频编码方法、装置、移动终端及存储介质 |
CN113747151A (zh) * | 2021-07-30 | 2021-12-03 | 咪咕文化科技有限公司 | 视频编解码方法、装置、设备及计算机可读存储介质 |
WO2023159965A1 (zh) * | 2022-02-23 | 2023-08-31 | 翱捷科技股份有限公司 | 一种基于视觉感知的码率控制方法及装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030095598A1 (en) * | 2001-11-17 | 2003-05-22 | Lg Electronics Inc. | Object-based bit rate control method and system thereof |
WO2005084035A2 (en) * | 2004-02-06 | 2005-09-09 | Apple Computer, Inc. | Rate and quality controller for h.264/avc video coder and scene analyzer therefor |
US7321624B1 (en) * | 2001-03-16 | 2008-01-22 | Objectvideo, Inc. | Bit-rate allocation system for object-based video encoding |
CN101325711A (zh) * | 2008-07-16 | 2008-12-17 | 上海大学 | 基于时空掩盖效应的自适应码率控制方法 |
CN101534432A (zh) * | 2009-04-09 | 2009-09-16 | 上海广电(集团)有限公司中央研究院 | 基于人眼感知模型的码率控制方法 |
-
2010
- 2010-04-20 CN CN 201010152501 patent/CN101827267B/zh not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7321624B1 (en) * | 2001-03-16 | 2008-01-22 | Objectvideo, Inc. | Bit-rate allocation system for object-based video encoding |
US20030095598A1 (en) * | 2001-11-17 | 2003-05-22 | Lg Electronics Inc. | Object-based bit rate control method and system thereof |
WO2005084035A2 (en) * | 2004-02-06 | 2005-09-09 | Apple Computer, Inc. | Rate and quality controller for h.264/avc video coder and scene analyzer therefor |
CN101325711A (zh) * | 2008-07-16 | 2008-12-17 | 上海大学 | 基于时空掩盖效应的自适应码率控制方法 |
CN101534432A (zh) * | 2009-04-09 | 2009-09-16 | 上海广电(集团)有限公司中央研究院 | 基于人眼感知模型的码率控制方法 |
Non-Patent Citations (3)
Title |
---|
《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY》 19990228 Anthony Vetro etc MPEG-4 Rate Control for Multiple Video Objects 186-199 1-6 第9卷, 第1期 2 * |
《浙江大学学报(工学版)》 20090415 刘云海等 基于运动复杂度的码率控制算法研究 710-715 1-6 第43卷, 第04期 2 * |
《电视技术》 20080930 张锦辉等 基于感知模型的自适应码率控制算法 12-15 1-6 第32卷, 第09期 2 * |
Cited By (41)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102036074A (zh) * | 2010-12-21 | 2011-04-27 | 汉王科技股份有限公司 | 基于嵌入式设备的码率控制方法及装置 |
CN103517067A (zh) * | 2012-12-14 | 2014-01-15 | 深圳百科信息技术有限公司 | 一种初始量化参数自适应调整方法及*** |
CN103517067B (zh) * | 2012-12-14 | 2017-04-19 | 深圳百科信息技术有限公司 | 一种初始量化参数自适应调整方法及*** |
CN103179394A (zh) * | 2013-01-21 | 2013-06-26 | 北京航空航天大学 | 一种基于区域视频质量平稳的i帧码率控制方法 |
CN103179394B (zh) * | 2013-01-21 | 2016-02-17 | 北京航空航天大学 | 一种基于区域视频质量平稳的i帧码率控制方法 |
CN103281532A (zh) * | 2013-05-14 | 2013-09-04 | 深圳市云宙多媒体技术有限公司 | 一种基于运动强度检测的量化调整方法及*** |
CN103327329A (zh) * | 2013-06-09 | 2013-09-25 | 深圳市云宙多媒体技术有限公司 | 一种图像质量跳变的量化调整方法及*** |
CN103327329B (zh) * | 2013-06-09 | 2017-04-12 | 深圳市云宙多媒体技术有限公司 | 一种图像质量跳变的量化调整方法及*** |
CN103391439B (zh) * | 2013-07-18 | 2016-08-10 | 西安交通大学 | 一种基于主动宏块隐藏的h.264/avc码率控制方法 |
CN103391439A (zh) * | 2013-07-18 | 2013-11-13 | 西安交通大学 | 一种基于主动宏块隐藏的h.264/avc码率控制方法 |
CN104717500B (zh) * | 2013-12-12 | 2018-04-06 | 中国电信股份有限公司 | 一种视频编码码率控制方法和*** |
CN104717500A (zh) * | 2013-12-12 | 2015-06-17 | 中国电信股份有限公司 | 一种视频编码码率控制方法和*** |
CN105825042A (zh) * | 2015-01-27 | 2016-08-03 | 西门子股份公司 | 用于标识放射学数据集的数据*** |
CN105049850B (zh) * | 2015-03-24 | 2018-03-06 | 上海大学 | 基于感兴趣区域的hevc码率控制方法 |
CN105049850A (zh) * | 2015-03-24 | 2015-11-11 | 上海大学 | 基于感兴趣区域的hevc码率控制方法 |
CN105516720A (zh) * | 2015-12-23 | 2016-04-20 | 天津天地伟业数码科技有限公司 | 一种监控摄像机码流的自适应控制方法 |
CN105516720B (zh) * | 2015-12-23 | 2019-01-29 | 天地伟业技术有限公司 | 一种监控摄像机码流的自适应控制方法 |
CN106254868A (zh) * | 2016-08-19 | 2016-12-21 | 浙江宇视科技有限公司 | 视频编码码率控制方法、装置及*** |
CN106254868B (zh) * | 2016-08-19 | 2019-08-27 | 浙江宇视科技有限公司 | 视频编码码率控制方法、装置及*** |
CN106231320B (zh) * | 2016-08-31 | 2020-07-14 | 上海交通大学 | 一种支持多机并行编码的联合码率控制方法及*** |
CN106231320A (zh) * | 2016-08-31 | 2016-12-14 | 上海交通大学 | 一种支持多机并行编码的联合码率控制方法及*** |
CN106604029A (zh) * | 2017-01-03 | 2017-04-26 | 华南理工大学 | 一种基于hevc的运动区域检测的码率控制方法 |
CN106604029B (zh) * | 2017-01-03 | 2019-07-12 | 华南理工大学 | 一种基于hevc的运动区域检测的码率控制方法 |
CN108989818A (zh) * | 2017-05-31 | 2018-12-11 | 深圳市中兴微电子技术有限公司 | 一种图像编码参数调整方法及装置 |
CN108063944A (zh) * | 2017-12-14 | 2018-05-22 | 西北工业大学 | 一种基于视觉显著性的感知码率控制方法 |
CN108063944B (zh) * | 2017-12-14 | 2021-07-13 | 西北工业大学 | 一种基于视觉显著性的感知码率控制方法 |
CN108174210A (zh) * | 2018-02-09 | 2018-06-15 | 杭州雄迈集成电路技术有限公司 | 一种适用于视频压缩的自适应宏块级码率控制***及控制方法 |
US11240511B2 (en) | 2018-03-28 | 2022-02-01 | Tencent Technology (Shenzhen) Company Limited | Video encoding code rate control method, apparatus, and device, and storage medium |
US11606564B2 (en) | 2018-03-28 | 2023-03-14 | Tencent Technology (Shenzhen) Company Limited | Video encoding code rate control method, apparatus, and device, and storage medium |
WO2019184643A1 (zh) * | 2018-03-28 | 2019-10-03 | 腾讯科技(深圳)有限公司 | 一种视频编码码率控制方法、装置、设备及存储介质 |
CN110800297A (zh) * | 2018-07-27 | 2020-02-14 | 深圳市大疆创新科技有限公司 | 视频编码方法及装置、计算机可读存储介质 |
CN110800297B (zh) * | 2018-07-27 | 2022-10-04 | 深圳市大疆创新科技有限公司 | 视频编码方法及装置、计算机可读存储介质 |
CN110830757A (zh) * | 2018-08-07 | 2020-02-21 | 浙江宇视科技有限公司 | 图像码率处理方法、装置及计算机可读存储介质 |
CN110830757B (zh) * | 2018-08-07 | 2021-04-20 | 浙江宇视科技有限公司 | 图像码率处理方法、装置及计算机可读存储介质 |
CN111385576A (zh) * | 2018-12-28 | 2020-07-07 | 北京字节跳动网络技术有限公司 | 视频编码方法、装置、移动终端及存储介质 |
CN111385576B (zh) * | 2018-12-28 | 2021-08-10 | 北京字节跳动网络技术有限公司 | 视频编码方法、装置、移动终端及存储介质 |
CN110519571A (zh) * | 2019-09-19 | 2019-11-29 | 天津英田视讯科技有限公司 | 一种基于场景复杂度动态调整编码器参数的方法 |
CN110708570A (zh) * | 2019-10-21 | 2020-01-17 | 腾讯科技(深圳)有限公司 | 视频的编码码率确定方法、装置、设备及存储介质 |
CN113747151A (zh) * | 2021-07-30 | 2021-12-03 | 咪咕文化科技有限公司 | 视频编解码方法、装置、设备及计算机可读存储介质 |
CN113747151B (zh) * | 2021-07-30 | 2024-04-12 | 咪咕文化科技有限公司 | 视频编解码方法、装置、设备及计算机可读存储介质 |
WO2023159965A1 (zh) * | 2022-02-23 | 2023-08-31 | 翱捷科技股份有限公司 | 一种基于视觉感知的码率控制方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN101827267B (zh) | 2012-07-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101827267B (zh) | 基于视频图像分割技术的码率控制方法 | |
CN103002289B (zh) | 面向监控应用的视频恒定质量编码装置及其编码方法 | |
CN103179405B (zh) | 一种基于多级感兴趣区域的多视点视频编码方法 | |
CN106534862B (zh) | 一种视频编码方法 | |
CN101184221A (zh) | 基于视觉关注度的视频编码方法 | |
CN104994382B (zh) | 一种感知率失真的优化方法 | |
CN104539962A (zh) | 一种融合视觉感知特征的可分层视频编码方法 | |
CN104065962B (zh) | 基于视觉注意的宏块层比特分配优化方法 | |
CN104469386B (zh) | 一种基于dof的恰可察觉误差模型的感知立体视频编码方法 | |
CN101601303B (zh) | 对图像进行编码的方法及实现所述方法的装置 | |
CN103079063A (zh) | 一种低码率下视觉关注区域的视频编码方法 | |
CN103124347A (zh) | 利用视觉感知特性指导多视点视频编码量化过程的方法 | |
CN102420988A (zh) | 一种利用视觉特性的多视点视频编码*** | |
CN104221361A (zh) | 视频处理装置、视频处理方法、电视接收机、程序及记录介质 | |
CN102801996B (zh) | 基于jndd模型的快速深度图编码模式选择方法 | |
CN105184759A (zh) | 一种基于直方图紧致性变换的图像自适应增强方法 | |
CN102801997A (zh) | 基于感兴趣深度的立体图像压缩方法 | |
CN102984540A (zh) | 一种基于宏块域失真度估计的视频质量评价方法 | |
CN107454413A (zh) | 一种保留特征的视频编码方法 | |
CN102129682A (zh) | 一种前景背景区域划分方法、*** | |
CN108521572B (zh) | 一种基于像素域jnd模型的残差滤波方法 | |
CN108769696A (zh) | 一种基于Fisher判别式的DVC-HEVC视频转码方法 | |
CN103607589A (zh) | 像素域内基于层次选择性视觉注意力机制的图像jnd阈值计算方法 | |
CN102663682A (zh) | 基于感兴趣区域的自适应图像增强方法 | |
CN103596006A (zh) | 基于视觉冗余度量的图像压缩方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20120704 Termination date: 20150420 |
|
EXPY | Termination of patent right or utility model |