CN104065962A - 基于视觉注意的宏块层比特分配优化方法 - Google Patents

Abstract

本发明提供了基于视觉注意的宏块层比特分配优化方法，其包括以下步骤：步骤1、判断宏块属于前景区域还是背景区域，检测出运动区域；步骤2、使用梯度来检测结构纹理区域；步骤3、宏块层目标比特分配。本发明分析了HVS视觉注意特性的基础上，首先通过参考帧中宏块的运动矢量，结合帧间差分法及当前宏块的位置，提取图像中引起视觉注意的运动区域，然后采用平均梯度检测纹理区域，根据图像中宏块所在区域，优化宏块的目标比特分配。本文提出的算法取得了与JVT-G012算法相当的编码图像质量，减少了视频序列PSNR的波动，使编码图像整体保持了稳定的客观质量，同时也取得较好的编码图像主观质量。

Description

基于视觉注意的宏块层比特分配优化方法

技术领域

本发明属于视频处理技术领域，提供了基于视觉注意的宏块层比特分配优化方法。

背景技术

在H.264/AVC中，通常以客观标准（如峰值信噪比，PSNR）来评价压缩后的视频质量，客观质量评定方法具有速度快、易实行的特点，但其结果往往不太符合人眼的主观视觉感受，只能反应视频大体上的质量情况。视觉心理学研究表明，人类视觉***（HVS）对图像和视频的主观感知受到亮度、对比度、颜色、纹理、运动和位置等多种因素影响，并存在空间、时间和彩色的掩盖效应。在一个复杂的视觉场景中，人眼的注意力迅速被场景中感兴趣的区域所吸引，并优先处理这些信息，这个过程称为视觉注意。对视觉注意机制的研究表明，人眼在观看视频图像时，视觉注意力往往不是均匀分布在整幅图像中，而是集中在其中的某些部分，对这部分的图像失真也更加敏感。因此在视频编码过程中，可以结合HVS的视觉注意机制，对人眼注意力集中的区域分配较多的目标比特，以获得更好的视频质量，而对人眼处理优先级较低，不容易引起注意的区域分配较少的目标比特，提高视频编码效率。

目前已有一些基于HVS特性的视频编码技术，这些编码方法利用视觉心理学和生理学领域取得的成果，通过优化吸引人眼注意力分布区域中宏块的目标比特，提高了编码效率并取得了较好的主观视觉质量。文献H.Li,Z.B.Wang,H.J.Cui,K.Tang,An improved ROI-based rate controlalgorithm for H.264/AVC,IEEE ICSP2(2006)16–20.；Y.Liu,Z.G.Li,Y.C.Soh,M.H.Loke,Conversational video communication ofH.264/AVC with region of interest concern.IEEE ICIP(2006)3129–3132.基于感兴趣区域（region of interest，ROI）进行视频编码，通过对视频图像中对象的肤色、人脸、手部进行检测和跟踪来提取ROI，由于这些方法中的ROI是对特定的视频内容进行提取得到的，其应用场景受到限制。文献Chen ZZ,Han JW,Ngan KN(2006)Dynamic bit allocation for multiple video object coding.IEEETrans Multimed8(6):1117–1124.Yang L,Zhang L,Ma S,Zhao D(2009)A ROI quality adjustable rate control scheme for low bitratevideo coding.Picture Coding Symposium,Chicago,USA,May.06-08.根据视频序列中不同的对象分配目标比特，这种基于对象的编码方法比基于ROI的方法更加灵活，但是要有效地区分并提取视频序列中的不同对象，需要很高的计算复杂度，不适合实时视频编码传输。本章通过分析影响视觉注意的主要因素，提出快速检测视觉注意区域的方法，通过优化在不同区域中宏块的目标比特分配，提高编码图像的主客观质量。

发明内容

本发明的目的在于提供一种H.264/AVC视频编码中基于视觉注意的宏块层比特分配优化方法

为了实现上述目的本发明采用以下技术方案：

基于视觉注意的宏块层比特分配优化方法，其特征在于包括以下步骤：

步骤1、判断宏块属于前景区域还是背景区域，检测出运动区域；

步骤2、使用梯度来检测结构纹理区域；

步骤3、宏块层目标比特分配。

上述技术方案中步骤1具体为：

将视频序列一帧中包含M N个宏块，第t帧中位置坐标为(i，j)的宏块表示为MB(i，j)，其中i＝0…M-1,j＝0…N-1；由摄像机动作引起的背景运动具有很强的时间连续性，因此背景区域中宏块的运动与前一帧中相同位置宏块接近，而相邻帧中前景区域中宏块的运动明显不同。当宏块的运动注意强度MAI超过视觉注意强度阈THm时，该宏块就被视为属于前景区域，反之则属于背景区域；

即运动区域可通过式检测得到：

$\mathrm{MR}(i,j)=\left\{\begin{array}{ccc}1,& \mathrm{if}& {\mathrm{MAI}}_t(i,j)>{\mathrm{TH}}_m\\ 0,& \mathrm{otherwise}& \end{array}\right.$

TH_m为视觉注意强度阈值：

${\mathrm{TH}}_m=\frac{1}{M\×N}\underset{i=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}{\mathrm{MAI}}_t(i,j)$

宏块的运动注意强度：

${\mathrm{MAI}}_t(i,j)=(1-{\mathrm{PI}}_t(i,j))\×(\frac{{\mathrm{MI}}_t(i,j)}{{\mathrm{MI}}_{\mathrm{ave}}}+\frac{{\mathrm{MSE}}_t(i,j)}{{\mathrm{MSE}}_{\mathrm{ave}}}))$

上式中PI_t(i,j)为宏块的位置强度，

${\mathrm{PI}}_t(i,j)=\frac{\sqrt{{(x_{\mathrm{mc}}-x_{\mathrm{pc}})}^2+{(y_{\mathrm{mc}}-y_{\mathrm{pc}})}^2}}{\max }$

式中，(x_mc,y_mc)为当前宏块中心像素的坐标，(x_pc,y_pc)为当前帧中心像素的坐标，max为图像边缘到中心的最大距离；

MI_t(i,j)为宏块的运动强度：

${\mathrm{MI}}_t(i,j)=\sqrt{{\mathrm{MVx}}_{t-1}{(i-j)}^2+{\mathrm{MVy}}_{t-1}{(i,j)}^2};$

式中，MVx_t-1(i,j),MVy_t-1(i,j)分别为前一帧中第（i，j）个宏块的运动向量的水平和垂直分量；

MI_ave为宏块的平均运动强度：

${\mathrm{MI}}_{\mathrm{ave}}=\frac{1}{M\×N}\underset{i=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}{\mathrm{MI}}_t(i,j)$

MSE_t(i,j)为宏块的亮度均方误差：

${\mathrm{MSE}}_t(i,j)=\frac{1}{16\×16}\underset{m=0}{\overset{15}{\mathrm{\Σ}}}\underset{n=0}{\overset{15}{\mathrm{\Σ}}}{[I_t(m,n)-I_{t-1}(m,n)]}^2$

式中，I_t(m,n)和分别为当前帧和前一帧中相同位置宏块中，坐标为（m，n）像素的亮度值；

MSE_ave为宏块的亮度平均差值： ${\mathrm{MSE}}_{\mathrm{ave}}=\frac{1}{M\×N}\underset{i=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}{\mathrm{MSE}}_t(i,j).$

上述技术方案中步骤2具体为：当宏块平均水平垂直梯度值Grad(i,j)大于阈值TH_r时，则将该宏块作为结构纹理区域的宏块,纹理区域通过式得到：

$\mathrm{TR}(i,j)=\left\{\begin{array}{ccc}1,& \mathrm{if}& \mathrm{Grad}(i,j)>{\mathrm{TH}}_r\\ 0,& \mathrm{otherwise}& \end{array}\right.$

宏块平均水平垂直梯度表示为：

$\mathrm{Grad}(i,j)=\frac{1}{16\×15}\left\{\underset{i=0}{\overset{14}{\mathrm{\Σ}}}\underset{j=1}{\overset{15}{\mathrm{\Σ}}}\right|I_{m,n}-I_{m+1,n}|+\underset{i=0}{\overset{15}{\mathrm{\Σ}}}\underset{j=0}{\overset{14}{\mathrm{\Σ}}}|I_{m,n}-I_{m,n+1}\left|\right\}$

式中，(i,j)为宏块的位置坐标，I_(m,n)表示宏块中坐标为（m,n）的像素亮度值；

${\mathrm{TH}}_r=\frac{1}{M\×N}\underset{i=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}\mathrm{Grad}(i,j).$

上述技术方案中，步骤3所述的对宏块层目标比特分配改进如下：

$T_{\mathrm{adjust}}(i,j)=T(i,j)\×\frac{w_c\×N_{\mathrm{mb}}}{\underset{i=1}{\overset{N_{\mathrm{mb}}}{\mathrm{\Σ}}}{w}_i}$

式中，T_adjust(i,j)为当前宏块调整后的目标比特数，N_mb为当前帧中宏块的数量，w_i为宏块的视觉注意权重因子，

$w_i=\left\{\begin{array}{ccc}1,& \mathrm{if}& \mathrm{MR}(i,j)=1\\ 0.75,& \mathrm{if}& \mathrm{MR}(i,j)=0\mathrm{andTR}(i,j)=1\\ 0.25,& \mathrm{if}& \mathrm{MR}(i,j)=0\mathrm{andTR}(i,j)=0\end{array}\right..$

本发明具备的有益效果：

本发明析了HVS视觉注意特性的基础上，首先通过参考帧中宏块的运动矢量，结合帧间差分法及当前宏块的位置，提取图像中引起视觉注意的运动区域，然后采用平均梯度检测纹理区域，根据图像中宏块所在区域，优化宏块的目标比特分配。实验结果表明，本文提出的算法取得了与JVT-G012算法相当的编码图像质量，减少了视频序列PSNR的波动，使编码图像整体保持了稳定的客观质量，同时也取得较好的编码图像主观质量。

附图说明

图1为序列Silent和Coastguard原始帧;

图2帧间差分法的运动区域提取结果;

图3基于运动矢量的运动区域检测结果;

图4运动区域检测算法结果;

图5纹理区域检测结果;

图6Carphone第183帧编码图像的主观质量比较。

具体实施方式：

下面对本发明做进一步的说明：

HVS视觉注意特性：

视觉注意是HVS的一种潜意识过程，同时也是人类最具体的认识过程，它受到两类因素影响：自顶向下（概念驱动）的因素和自底向上（刺激驱动）的因素。前者来自人类复杂的心理过程，受个人知识、兴趣爱好等因素影响，比如基于知识和经验的模式识别，它使人眼直接关注场景中某些对象的特征。后者是指视频场景中与人眼光学属性和视网膜相关的因素，比如颜色、对比度、空间掩蔽、时间掩蔽和对象运动等。目前视觉注意方面的研究，主要是通过建立自底向上的注意力分析模型来表示视觉内容，然而分析每种影响视觉注意因素的计算复杂度非常高，并不适合实时视频编码应用。大量实验表明，视频场景中的对象运动和纹理区域是影响视觉注意力分布的最重要的因素，因此我们主要考虑这两方面因素优化目标比特分配。

运动区域检测：

视频序列的一个主要特性是视频场景中存在不同类型的运动，比如摄像机平移引起背景的移动，对象以不同轨迹的运动或简单随机的运动。在这些场景中，观看者首先会注意那些快速运动或运动轨迹不可预测的对象，这类运动称为“注意的运动”，反之则称为“不注意的运动”，运动的对象吸引了观看者大部分的注意力。视频场景中的运动分为前景运动和背景运动两种，背景运动主要由摄像机的运动引起，如缩放、平移和旋转动作，前景运动指视频中对象的运动。相比背景运动，前景运动更能吸引人眼的注意，人的视觉注意主要受到前景运动的影响，因此运动区域的提取主要考虑对前景运动区域的提取。

如果视频场景中运动区域和静止区域具有相同的客观失真（MSE），但视觉感知到运动区域的失真会更大一些，造成这种现象的原因是当视频中出现运动的对象时，人眼更多地关注于该对象而忽略了静止的对象，也就是说人眼更容易察觉运动对象的失真，因此，有必要为运动区域分配更多的目标比特，以获得更好的主观和客观的编码视频质量。

目前运动区域提取的算法大致可分为两种：帧间差分法和基于运动矢量的方法。帧间差分法使用连续两帧中相同位置宏块的亮度差值检测运动区域，这种方法在静态背景的场景中能有效地检测出运动区域，如图中(a)，但在运动背景的场景中，其检测效果不好，如图中(b)。基于运动矢量的方法使用宏块的运动矢量信息检测运动区域，如图所示，这种方法只能检测出运动强度大于某一阈值的区域，并且运动区域的宏块不连续，当对运动区域和非运动区域分配不同的目标比特时，就会造成不平滑的视觉感受。本文借签以上两种方法计算宏块的运动强度，判断宏块属于前景区域还是背景区域，同时根据处于场景中间的区域比其他区域更能吸引人眼注意力这一HVS的特性，提出运动区域检测方法。

假设视频序列一帧中包含M×N个宏块，第t帧中位置坐标为(i，j)的宏块表示为MB(i，j)，其中i＝0…M-1,j＝0…N-1。

宏块的运动强度表示为：

${\mathrm{MI}}_t(i,j)=\sqrt{{\mathrm{MVx}}_{t-1}{(i-j)}^2+{\mathrm{MVy}}_{t-1}{(i,j)}^2}---(0-1)$

式中，分别为前一帧中第（i，j）个宏块的运动向量的水平和垂直分量。

平均运动强度为：

${\mathrm{MI}}_{\mathrm{ave}}=\frac{1}{M\×N}\underset{i=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}{\mathrm{MI}}_t(i,j)---(0-2)$

宏块的亮度均方误差（MSE）：

${\mathrm{MSE}}_t(i,j)=\frac{1}{16\×16}\underset{m=0}{\overset{15}{\mathrm{\Σ}}}\underset{n=0}{\overset{15}{\mathrm{\Σ}}}{[I_t(m,n)-I_{t-1}(m,n)]}^2---(0-3)$

式中，I_t(m,n)和分别为当前帧和前一帧中相同位置宏块中，坐标为(m,n)像素的亮度值。

平均差值为：

${\mathrm{MSE}}_{\mathrm{ave}}=\frac{1}{M\×N}\underset{i=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}{\mathrm{MSE}}_t(i,j)---(0-4)$

宏块的位置强度为：

${\mathrm{MSE}}_{\mathrm{ave}}=\frac{1}{M\×N}\underset{i=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}{\mathrm{MSE}}_t(i,j)---(0-5)$

式中，(x_mc,y_mc)为当前宏块中心像素的坐标，(x_pc,y_pc)为当前帧中心像素的坐标，max为图像边缘到中心的最大距离。

宏块的运动注意强度为：

${\mathrm{MAI}}_t(i,j)=(1-{\mathrm{PI}}_t(i,j))\×(\frac{{\mathrm{MI}}_t(i,j)}{{\mathrm{MI}}_{\mathrm{ave}}}+\frac{{\mathrm{MSE}}_t(i,j)}{{\mathrm{MSE}}_{\mathrm{ave}}}))---(0-6)$

由摄像机动作引起的背景运动具有很强的时间连续性，因此背景区域中宏块的运动与前一帧中相同位置宏块接近，而相邻帧中前景区域中宏块的运动明显不同。当宏块的MAI超过阈值TH_m时，该宏块就被视为属于前景区域，反之则属于背景区域。

视觉注意强度阈值定义为：

${\mathrm{TH}}_m=\frac{1}{M\×N}\underset{i=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}{\mathrm{MAI}}_t(i,j)---(0-7)$

运动区域可通过式(0-8)检测得到：

$\mathrm{MR}(i,j)=\left\{\begin{array}{ccc}1,& \mathrm{if}& {\mathrm{MAI}}_t(i,j)>{\mathrm{TH}}_m\\ 0,& \mathrm{otherwise}& \end{array}\right.----(0-8)$

通过标准测试序列对运动区域检测算法进行验证，实验结果如图所示，通过结合运动矢量、帧间亮度差值及宏块位置变化，本文的算法在静态背景和运动背景的场景中都能较好地提取运动区域。

纹理区域检测

在视频图像中引起视觉注意的运动对象只占图像的一小部分比例，在背景区域中人眼优 先注意纹理区域。按照视觉选择特性，纹理区域可分为：平滑区域、单一方向边缘组成的结构纹理区域及没有一致边缘方向的随机纹理区域，由于HVS具有视频掩盖效应，随机纹理区域的失真难以被察觉到，而结构纹理区域的失真容易被注意，在编码时相比纹理区域，平滑区域消耗的比特数较少。因此给结构纹理区域分配较多比特，以提高图像视觉质量。基于梯度的边缘检测方法具有效率高，计算复杂度低的特点，本文使用梯度来检测结构纹理区域。

宏块平均水平垂直梯度表示为：

$\mathrm{Grad}(i,j)=\frac{1}{16\×15}\left\{\underset{i=0}{\overset{14}{\mathrm{\Σ}}}\underset{j=1}{\overset{15}{\mathrm{\Σ}}}\right|I_{m,n}-I_{m+1,n}|+\underset{i=0}{\overset{15}{\mathrm{\Σ}}}\underset{j=0}{\overset{14}{\mathrm{\Σ}}}|I_{m,n}-I_{m,n+1}\left|\right\}---(0-9)$

式中，(i,j)为宏块的位置坐标，I_(m,n)表示宏块中坐标为（m,n）的像素亮度值。当宏块的梯度幅值大于阈值TH_r时，则将该宏块作为结构纹理区域的宏块。

${\mathrm{TH}}_r=\frac{1}{M\×N}\underset{i=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}\mathrm{Grad}(i,j)---(0-10)$

纹理区域通过式(0-11)得到：

$\mathrm{TR}(i,j)=\left\{\begin{array}{ccc}1,& \mathrm{if}& \mathrm{Grad}(i,j)>{\mathrm{TH}}_r\\ 0,& \mathrm{otherwise}& \end{array}\right.---(0-11)$

通过标准序列对纹理区域的提取进行验证，实验结果如所示。

宏块层目标比特分配的改进

如本文第二章所述，H.264/AVC的JVT-G012提案中使用分层的码率控制技术，即GOP层、帧层和BU层。如果基本单元为一帧，则BU层与帧层码率控制相同，如果基本单元是宏块，BU层码率控制的目标是为每个宏块分配目标比特，使得总的图像编码的比特数接近其目标值T(i,j)，计算公式为：

$T(i,j)=\frac{f_{\mathrm{rb}}}{N_{\mathrm{ub}}}---(0-12)$

其中，f_rb为剩余比特数，N_ub为未编码的宏块数。

宏块的目标比特包含头比特数和纹理比特数，头比特由编码运动矢量和预测模式所需的比特组成。运动剧烈的宏块需要较多的头比特来表示运动矢量，而且纹理复杂的宏块因其残差能量较大，也需要更多的目标比特。由式(0-12)可知，图像帧中的剩余目标比特被平均分配给帧中的每个宏块，由于运动剧烈和纹理复杂的宏块无法得到更多的目标比特，导致图像中视觉注意区域中宏块的编码质量不符合人眼视觉感受。视频图像的质量最终是由观看者来评价的，在码率控制算法中也应考虑HVS的视觉注意特性，使编码图像具有较好主观视觉质量。

本文结合HVS的视觉注意特性，同时考虑在不同区域间过渡时，视觉的平滑性，对宏块层目标比特分配改进如下：

$T_{\mathrm{adjust}}(i,j)=T(i,j)\×\frac{w_c\×N_{\mathrm{mb}}}{\underset{i=1}{\overset{N_{\mathrm{mb}}}{\mathrm{\Σ}}}{w}_i}---(0-13)$

式中，T_adjust(i,j)为当前宏块调整后的目标比特数，N_mb为当前帧中宏块的数量，w_i为宏块的视觉注意权重因子，可根据主观视觉进行调整，本文实验中取值为：

$w_i=\left\{\begin{array}{ccc}1,& \mathrm{if}& \mathrm{MR}(i,j)=1\\ 0.75,& \mathrm{if}& \mathrm{MR}(i,j)=0\mathrm{andTR}(i,j)=1\\ 0.25,& \mathrm{if}& \mathrm{MR}(i,j)=0\mathrm{andTR}(i,j)=0\end{array}\right.---(0-14)$

实验结果及分析

将本文提出的改进算法写入H.264/AVC参考软件JM10.1中，并将结果与JM10.1码率控制算法进行比较。两种算法都使用一个宏块作为一个BU层，实验选取场景中前景和背景运动及纹理复杂度各不同的QCIF格式标准序列进行测试，其中Akiyo和Salesman序列是静态背景前景运动强度较低，其他序列包含前景和背景运动及复杂纹理，实验参数设置如表1。

表1实验参数设置

帧率	30f/s
		编码模式	IPPP
序列长度	100
		参考帧	5
率失真优化	ON
		运动搜索范围	16×16
搜索类型	全搜索
		熵编码	CABAC

为了比较码率控制算法的性能，序列的编码码率误差为：

$E_{\mathrm{actual}\_t\arg \mathrm{et}}=\frac{|R_{\mathrm{actual}}-R_{t\arg \mathrm{et}}|}{R_{t\arg \mathrm{et}}}\×100\%---(0-15)$

式中，R_actual为实际编码码率，R_target为目标码率。

序列每帧的PSNR方差σ定义为：

$\mathrm{\σ}=\frac{1}{n-1}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{({\mathrm{PSNR}}_i-\stackrel{\‾}{\mathrm{PSNR}})}^2---(0-16)$

式中，n为编码帧数量，为序列平均PSNR。

表2码率控制精度比较

表3编码图像客观质量比较

从表2的实验结果可知，本文算法比G012算法有更高的码率控制精度，码率精度范围在0.05-0.54%内。在表3可以看出，虽然两种算法的总体PSNR增益相当，但是相比G012算法，所有序列的PSNR方差都有所减少，说明视频序列的PSNR波动更小，序列的编码图像质量更加稳定。

本文算法也获得了较好的主观质量，如图6所示为序列Carphone的第183帧编码图像，由于在本文算法中给运动区域和纹理区域分配了更多的目标比特，(a)图中人脸部分明显比(b)图中清晰。

Claims (4)

1.基于视觉注意的宏块层比特分配优化方法，其特征在于包括以下步骤：

步骤1、判断宏块属于前景区域还是背景区域，检测出运动区域；

步骤2、使用梯度来检测结构纹理区域；

步骤3、宏块层目标比特分配。

2.根据权利要求1所述的基于视觉注意的宏块层比特分配优化方法，其特征在于步骤1具体为：

将视频序列一帧中包含MxN个宏块，第t帧中位置坐标为(i，j)的宏块表示为MB(i，j)，其中i＝0…M-1,j＝0…N-1；当宏块的运动注意强度MAI超过视觉注意强度阈THm时，该宏块就被视为属于前景区域，反之则属于背景区域；

即运动区域可通过式检测得到：

$\mathrm{MR}(i,j)=\left\{\begin{array}{ccc}1,& \mathrm{if}& {\mathrm{MAI}}_t(i,j)>{\mathrm{TH}}_m\\ 0,& \mathrm{otherwise}& \end{array}\right.$

TH_m为视觉注意强度阈值：

${\mathrm{TH}}_m=\frac{1}{M\×N}\underset{i=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}{\mathrm{MAI}}_t(i,j)$

宏块的运动注意强度：

${\mathrm{MAI}}_t(i,j)=(1-{\mathrm{PI}}_t(i,j))\×(\frac{{\mathrm{MI}}_t(i,j)}{{\mathrm{MI}}_{\mathrm{ave}}}+\frac{{\mathrm{MSE}}_t(i,j)}{{\mathrm{MSE}}_{\mathrm{ave}}}))$

上式中PI_t(i,j)为宏块的位置强度，

${\mathrm{PI}}_t(i,j)=\frac{\sqrt{{(x_{\mathrm{mc}}-x_{\mathrm{pc}})}^2+{(y_{\mathrm{mc}}-y_{\mathrm{pc}})}^2}}{\max }$

式中，(x_mc,y_mc)为当前宏块中心像素的坐标，(x_pc,y_pc)为当前帧中心像素的坐标，max为图像边缘到中心的最大距离；

MI_t(i,j)为宏块的运动强度：

${\mathrm{MI}}_t(i,j)=\sqrt{{\mathrm{MVx}}_{t-1}{(i-j)}^2+{\mathrm{MVy}}_{t-1}{(i,j)}^2};$

式中，MVx_t-1(i,j),MVy_t-1(i,j)分别为前一帧中第（i，j）个宏块的运动向量的水平和垂直分量；

MI_ave为宏块的平均运动强度：

${\mathrm{MI}}_{\mathrm{ave}}=\frac{1}{M\×N}\underset{i=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}{\mathrm{MI}}_t(i,j)$

MSE_t(i,j)为宏块的亮度均方误差：

${\mathrm{MSE}}_t(i,j)=\frac{1}{16\×16}\underset{m=0}{\overset{15}{\mathrm{\Σ}}}\underset{n=0}{\overset{15}{\mathrm{\Σ}}}{[I_t(m,n)-I_{t-1}(m,n)]}^2$

式中，I_t(m,n)和分别为当前帧和前一帧中相同位置宏块中，坐标为（m，n）像素的亮度值；

MSE_ave为宏块的亮度平均差值： ${\mathrm{MSE}}_{\mathrm{ave}}=\frac{1}{M\×N}\underset{i=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}{\mathrm{MSE}}_t(i,j).$

3.根据权利要求1所述的基于视觉注意的宏块层比特分配优化方法，其特征在于步骤2具体为：当宏块平均水平垂直梯度值Grad(i,j)大于阈值TH_r时，则将该宏块作为结构纹理区域的宏块,纹理区域通过式得到：

$\mathrm{TR}(i,j)=\left\{\begin{array}{ccc}1,& \mathrm{if}& \mathrm{Grad}(i,j)>{\mathrm{TH}}_r\\ 0,& \mathrm{otherwise}& \end{array}\right.$

宏块平均水平垂直梯度表示为： $\mathrm{Grad}(i,j)=\frac{1}{16\×15}\left\{\underset{i=0}{\overset{14}{\mathrm{\Σ}}}\underset{j=1}{\overset{15}{\mathrm{\Σ}}}\right|I_{m,n}-I_{m+1,n}|+\underset{i=0}{\overset{15}{\mathrm{\Σ}}}\underset{j=0}{\overset{14}{\mathrm{\Σ}}}|I_{m,n}-I_{m,n+1}\left|\right\}$ 式中，(i,j)为宏块的位置坐标，I_(m,n)表示宏块中坐标为（m,n）的像素亮度值；

${\mathrm{TH}}_r=\frac{1}{M\×N}\underset{i=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}\mathrm{Grad}(i,j).$

4.根据权利要求1所述的基于视觉注意的宏块层比特分配优化方法，其特征在于，对宏块层目标比特分配改进如下：

$T_{\mathrm{adjust}}(i,j)=T(i,j)\×\frac{w_c\×N_{\mathrm{mb}}}{\underset{i=1}{\overset{N_{\mathrm{mb}}}{\mathrm{\Σ}}}{w}_i}$

式中，T_adjust(i,j)为当前宏块调整后的目标比特数，N_mb为当前帧中宏块的数量，w_i为宏块的视觉注意权重因子，

$w_i=\left\{\begin{array}{ccc}1,& \mathrm{if}& \mathrm{MR}(i,j)=1\\ 0.75,& \mathrm{if}& \mathrm{MR}(i,j)=0\mathrm{andTR}(i,j)=1\\ 0.25,& \mathrm{if}& \mathrm{MR}(i,j)=0\mathrm{andTR}(i,j)=0\end{array}\right..$