CN101917627A - 一种基于自适应灵活宏块次序的视频容错编码方法 - Google Patents

Abstract

本发明公开了一种基于自适应灵活宏块次序的视频容错编码方法，包括：输入一帧图像并编码；提取图像的运动区域，估计运动区域的错误敏感度，决策最优的灵活宏块次序编码模式；计算所有宏块位置的累积帧间差异，当运动区域内宏块位置的累积帧间差异大于指定的刷新阈值时，所述的宏块位置在下一帧时被强制帧内刷新，由此计算得到运动区域的帧内刷新宏块的数量与位置；根据得到的灵活宏块次序编码模式和宏块刷新的计算结果，形成下一帧图像的编码方案；重复上述步骤，直至编码全部结束。本发明的视频容错编码方法既能够满足差异化的网络传输要求，又能够充分发挥FMO本身的容错功能，实现较好的容错效果，且计算资源消耗少。

Description

一种基于自适应灵活宏块次序的视频容错编码方法

技术领域

本发明涉及视频编解码领域，具体涉及一种基于自适应灵活宏块次序(FMO)的视频容错编码方法。

背景技术

随着计算机技术与网络通信技术的快速发展，简单的文本信息形式已不能满足人们的需求，更为丰富的视频信息已经逐渐走进人们日常生活的各个方面。有限的传输带宽和存储空间必然要求对数据量巨大的原始视频进行压缩，因此视频编解码技术与标准已成为多媒体应用中不可或缺的组成部分。现有的视频编解码标准非常依赖于码流的完整性。一旦在传输过程中出现错误就会导致视频解码后的观看质量下降，影响用户感受。因此，在视频编码过程中增强码流抵御错误的能力，即改善码流的容错性，是十分必要的。

灵活宏块次序FMO(Flexible Macroblock Ordering)是H.264/AVC标准采纳的一种非常有效的新容错机制。宏块不再必须是严格依据其在图像中的光栅扫描次序被分配入片中。通过宏块分配图(Macroblock allocation map，MBAmap)，一个宏块可以被分配入任何一个片组中去。FMO机制可以用在视频容错中的原因主要有两个方面。第一个方面是其非常适合于存在差别化传输保护的网络环境。由于可以对宏块进行任意形式的片组分配，因此重要或脆弱的区域就能够被分配在传输相对于可靠的片组中，增强了保护的针对性，提高了保护的效率。另一方面，FMO本身也具备较强的容错功能。因为丢失的宏块可能会被其周边其它没有丢失的宏块所包围，因此利用周边宏块的像素或信息可以有效恢复丢失的宏块，十分有利于解码器的错误恢复算法。

现有利用FMO进行容错编码的方法虽然取得了一定的效果，但仍然存在的问题主要包括：没有考虑传输特性；需要进行第二次编码或采用率失真优化算法，计算量和结构不适合于实际应用；只能在离线编码中进行非实时操作；在关注差别化传输的同时，忽视了发挥FMO本身的容错功能，或者相反。

发明内容

本发明提供了一种基于自适应灵活宏块次序(FMO)的视频容错编码方法，既能够满足差异化的网络传输要求，又能够充分发挥FMO本身的容错功能，实现有效的视频容错；同时，由于主要计算信息来自于编码域，即编码过程中产生的信息，因此计算效率较高。

一种基于自适应灵活宏块次序(FMO)的视频容错编码方法，包括以下步骤：

(1)输入一帧图像并编码；

(2)提取所述的图像的运动区域，估计运动区域的错误敏感度；依据运动区域的错误敏感度，决策最优的灵活宏块次序编码模式；

(3)计算所有宏块位置的累积帧间差异，当运动区域内宏块位置的累积帧间差异大于指定的刷新阈值时，所述的宏块位置在下一帧时被强制帧内刷新，由此计算得到运动区域的帧内刷新宏块的数量与位置；

(4)根据步骤(2)得到的灵活宏块次序编码模式和步骤(3)得到的帧内刷新宏块的数量与位置，形成下一帧图像的编码方案；

(5)重复步骤(2)～(4)，直至编码全部结束。

步骤(2)中，所述的提取所述的图像的运动区域，包括：

(2.1)利用运动搜索产生的帧间差异信息对宏块进行初始运动检测，输入帧和参考帧之间的差异大于运动检测阈值的宏块视为初始运动宏块；

第n帧图像中坐标为(x，y)的宏块的初始运动标识M_initial如式(I)所示：

$M_{\mathrm{initial}}(x,y,n)=\left\{\begin{array}{cc}1,& \mathrm{if}{\mathrm{sad}}_{\mathrm{mv}00}(x,y,n)>[\mathrm{\β}\left(n\right)\×{\mathrm{sad}}_{\mathrm{avg}}\left(n\right)]\\ 0,& \mathrm{otherwise}\end{array}\right.---\left(I\right)$

式(I)中，sad_mv00为16×16运动搜索时获得的在零运动矢量处的SAD(Sum of Absolute Difference)编码信息，反映宏块在输入帧和参考帧之间的差异；sad_avg表示第n帧图像所有宏块sad_mv00的平均值；β(n)为运动检测阈值参数，[β(n)×sad_avg(n)]为运动检测阈值。

当宏块的sad_mv00大于运动检测阈值时，初始运动标识M_initial为1，宏块视为初始运动宏块；反之，初始运动标识M_initial为0，宏块视为非初始运动宏块。

进一步，所述的运动检测阈值随着不同序列的特征和同一序列不同帧的特征进行动态调整，其中，运动检测阈值参数β(n)如式(II)所示：

式(II)中，σ_frame表示第n帧图像所有宏块sad_mv00的标准差；k、σ₀、β_H、β_L、σ_{MA_H}和σ_{MA_L}均为固定值参数；

(2.2)分析宏块的编码比特值，对所述的初始运动宏块进行滤波，确定运动宏块，并确定涵盖所有运动宏块的最小的矩形为运动区域：

计算每个初始运动宏块周边的四个宏块中初始运动宏块的数量N_neb，

对于N_neb值为0或1的初始运动宏块，

其最终运动标识M_final为：

$M_{\mathrm{final}}(x,y,n)=\left\{\begin{array}{cc}1,& \mathrm{if}{B}_{\mathrm{mb}}(x,y,n)\≥[{\mathrm{\λ}}_{\mathrm{filter}}\×B_{\mathrm{avg}}\left(n\right)]\\ 0,& \mathrm{otherwise}\end{array}\right.---\left(\mathrm{III}\right)$

式(III)中，B_mb表示一个宏块的编码比特值，B_avg表示所有N_neb大于1的初始运动宏块编码比特值的平均值；λ_filter为固定值参数，对于N_neb为0和1的初始运动宏块，λ_filter分别设为1.4和0.7。

当宏块的编码比特值大于滤波阈值[λ_filter×B_avg(n)]时，最终运动标识M_final为1，为运动宏块；反之，最终运动标识M_final为0，为非运动宏块。

对于非初始运动宏块和N_neb值大于1的其它初始运动宏块，

M_final＝M_initial

由此，得到所有宏块的M_final值，所有最终运动标识M_final值为1的宏块为运动宏块，涵盖所有运动宏块的最小的矩形为运动区域。

步骤(2)中，所述的运动区域的错误敏感度，是指运动区域在解码器中进行错误恢复的难度，采用如下式(IV)所示的计算式估计：

S_MA(n)＝p(n)×T(n)×σ_mb(n)×σ_frame(n)           (IV)

式(IV)中，p为码流的传输丢包率，较严重的传输丢包会导致较大的错误恢复难度；T为运动区域的纹理复杂度，复杂的纹理会加大错误恢复的难度；σ_mb为运动区域内宏块运动差异，宏块间的运动情况差异越大，错误恢复的难度也会越大；σ_frame为区域运动强度，运动区域的总体运动强度相对于背景越大，错误恢复的难度也会越大(区域运动强度σ_frame与式(II)中σ_frame相同，可以利用之前对第n帧图像所有宏块sad_mv00的标准差的计算结果)。上述分析因素可以适应大多数错误恢复方法的算法特征。式(IV)中结果越大，说明运动区域的错误敏感度越高，即错误恢复难度越大。

所述的运动区域的纹理复杂度T为运动区域中所有宏块的纹理复杂度t_mb的平均值，而一个宏块的纹理复杂度t_mb计算如下式(V)所示：

$t_{\mathrm{mb}}(x,y,n)=\frac{\underset{i,j\∈\mathrm{\Ω}(x,y,n)}{\mathrm{\Σ}}{\mathrm{sad}}_{\mathrm{DC}44}(i,j,x,y,n)}{N_{\mathrm{\Ω}}(x,y,n)}---\left(V\right)$

式(V)中，Ω表示左边和上边的周边像素都完备的4×4块的集合，N_Ω表示这个集合中4×4块的数量，坐标(i，j)表示一个4×4块在其所在宏块中的位置，sad_DC44为模式决策时产生的帧内4×4直流模式的SAD信息，为一个4×4块所有组成像素与周边像素(左边和上边的像素)均值的差异之和，反映该4×4块内部各个像素之间的差异性，差异越大纹理越复杂。

步骤(2)中，所述的依据运动区域的错误敏感度，决策最优的灵活宏块次序编码模式的过程如下：

对非运动区域全部使用单片组编码；

对于运动区域，当运动区域的错误敏感度S_MA大于设定的敏感度阈值S_TH时，采用两个片组的棋盘模式编码；当运动区域的错误敏感度S_MA小于设定的敏感度阈值S_TH时，采用一个片组的平坦模式编码。

步骤(3)中，所述的宏块位置的累积帧间差异由下式(VI)得到：

$D_{\mathrm{acc}}(x,y,n)=\underset{t=n_0}{\overset{n}{\mathrm{\Σ}}}p\left(t\right)\×{\mathrm{sad}}_{\mathrm{mv}00}(x,y,t)---\left(\mathrm{VI}\right)$

式(VI)中，n₀表示宏块位置(x，y)前次进行帧内预测编码时的图像序列号，n₀小于或等于n；p为码流的传输丢包率；

步骤(3)中，所述的指定的刷新阈值D_TH(n)为变值，由下式(VII)计算；

$D_{\mathrm{TH}}\left(n\right)=\frac{C_{\mathrm{IR}}}{{\mathrm{\σ}}_{\mathrm{frame}}\left(n\right)}---\left(\mathrm{VII}\right)$

式(VII)中，C_IR为固定值参数，σ_frame为区域运动强度。对于运动强度大的帧给予更多的刷新数量，以取得更好的自适应性。

本发明中，对于第一帧图像不采用FMO进行编码，从第二帧开始，均是通过对前一帧编码域信息的分析来决定下一帧的容错编码模式。主要计算信息都来自于编码域，也就是编码过程中所产生的信息，避免了多次编码，有效节省了计算资源。

本发明中，在提取运动区域时，采取16×16运动搜索时在零运动矢量处的编码信息SAD(sad_mv00)进行初步运动检测，由于sad_mv00能够反映输入帧和参考帧之间的差异且可以直接从大多数搜索算法中获得，因此可以高效率地检测运动区域；在进行了初步运动检测后，还采用宏块编码比特值对初始运动宏块进行滤波，剔除初始运动宏块中的噪声宏块，除去残余的噪声。由于噪声宏块往往处于孤立位置，因此，通过分析孤立宏块的编码比特值相对于主要运动区域的编码比特值大小，来确定噪声宏块。剔除噪声宏块后的初始运动宏块被确定为运动宏块。本发明是以视频监控场景为基础，将其最核心的运动区域(无论是人还是物体)作为优先传输和重点保护的对象，并确定涵盖所有运动宏块的最小的矩形为运动区域。

本发明中，依据码流的传输丢包率p、运动区域的纹理复杂度T、运动区域内宏块运动差异σ_mb和区域运动强度σ_frame等多个因素评估运动区域的错误敏感度，能适应大多数错误恢复方法的算法特征。此外，在纹理信息的获取时，利用模式决策时产生的帧内4×4直流模式的SAD信息(sad_DC44)，提高了计算效率；而且，运动区域的纹理复杂度T和运动区域内宏块运动差异σ_mb的计算都是限定在运动区域中，降低了计算的复杂度。

本发明中，最优的FMO编码模式的选择充分考虑到运动与非运动区域的区别、以及不同错误敏感度的运动区域的区别。在各种标准FMO类型中，两片组的类型2无疑是非常适合区分运动(前景)与非运动区域(背景)的一种类型，特别适合于对图像不同区域的差别化传输保护。然而，类型2在一些情况下对运动区域的保护并不足够，因为它只采用了一种平坦式的编码方式，也就是单片组编码运动区域。但是该类型具有较好的压缩效率；相反，当采用棋盘式的类型1时，容错能力会显著增强。但是因为相邻宏块之间的信息共享性显著降低，类型1的压缩效率较差。因此，本发明采用了对背景全部使用单片组以提高压缩效率。这一方面是因为背景区域并不是关注的重点区域，另一方面是因为少动的背景相对来说并不容易受到传输错误的影响。而为了能在压缩效率和容错能力之间取得平衡，依据前景的错误敏感度，用一个或两个片组对前景进行编码。本发明中FMO机制可以给解码器提供一个友好的宏块分布结构，因此能够减轻错误蔓延。但是，FMO机制本身并不能完全终止这种错误蔓延，因此，本发明进一步利用帧内宏块刷新机制去增强其容错性，合理计算刷新的位置和数量。

综上所述，本发明的基于自适应灵活宏块次序(FMO)的视频容错编码方法，既能够满足差异化的网络传输要求，又能够充分发挥FMO本身的容错功能，实现有效的视频容错；同时，由于主要计算信息来自于编码域，即编码过程中产生的信息，因此计算效率较高。

附图说明

图1为本发明的流程图；

图2为提取图像的运动区域的流程示意图；

图3为自适应FMO编码模式决策示意图；

图4为Salesman序列的PSNR结果；

图5为Container序列的PSNR结果；

图6为Hall序列的PSNR结果。

具体实施方式

下面结合实施例和附图来详细说明本发明，但本发明并不仅限于此。

如图1所示，一种基于自适应灵活宏块次序(FMO)的视频容错编码方法，包括以下步骤：

(1)输入一帧图像并编码；

对于第一帧图像不采用FMO进行编码，而是采用正常编码方式。

(2)提取所述的图像的运动区域，估计运动区域的错误敏感度；并依据运动区域的错误敏感度，决策最优的灵活宏块次序编码模式；

其中，所述的图像的运动区域的提取，包括：

(2.1)利用运动搜索产生的帧间差异信息对宏块进行初始运动检测，输入帧和参考帧之间的差异大于运动检测阈值的宏块视为初始运动宏块；第n帧图像中坐标为(x，y)的宏块的初始运动标识M_initial如式(I)所示：

$M_{\mathrm{initial}}(x,y,n)=\left\{\begin{array}{cc}1,& \mathrm{if}{\mathrm{sad}}_{\mathrm{mv}00}(x,y,n)>[\mathrm{\β}\left(n\right)\×{\mathrm{sad}}_{\mathrm{avg}}\left(n\right)]\\ 0,& \mathrm{otherwise}\end{array}\right.---\left(I\right)$

式(I)中，sad_mv00为16×16运动搜索时在零运动矢量处的编码信息，反映输入帧和参考帧之间的差异，可以直接从大多数搜索算法中获得；sad_avg表示第n帧图像所有宏块sad_mv00的平均值；β(n)为运动检测阈值参数，[β(n)×sad_avg(n)]为运动检测阈值。

当宏块的sad_mv00大于运动检测阈值时，初始运动标识M_initial为1，宏块视为初始运动宏块；反之，初始运动标识M_initial为0，宏块视为非初始运动宏块。

进一步，所述的运动检测阈值随着不同序列的特征和同一序列不同帧的特征进行动态调整，其中，运动检测阈值参数β(n)如式(II)所示：

式(II)中，σ_frame表示第n帧图像所有宏块sad_mv00的标准差；k、σ₀、β_H、β_L、σ_{MA_H}和σ_{MA_L}均为固定值参数；

(2.2)在进行了初步运动检测后，还要对残余的噪声进行滤波，将一些初始运动宏块剔除出去，因此，利用宏块的编码比特值，对初始运动宏块进行滤波，确定运动宏块，并确定涵盖所有运动宏块的最小的矩形为运动区域：

噪声宏块往往处于孤立位置，因此，先计算每个初始运动宏块周边的四个宏块中初始运动宏块的数量N_neb，找到处于孤立位置的初始运动宏块为孤立宏块，也即：N_neb值为0或1的初始运动宏块；进一步，如果孤立宏块相对于主要运动区域的编码比特值不足够大，孤立宏块就将被认定为噪声宏块。即：

对于N_neb值为0或1的初始运动宏块，

最终运动标识M_final为：

$M_{\mathrm{final}}(x,y,n)=\left\{\begin{array}{cc}1,& \mathrm{if}{B}_{\mathrm{mb}}(x,y,n)\≥[{\mathrm{\λ}}_{\mathrm{filter}}\×B_{\mathrm{avg}}\left(n\right)]\\ 0,& \mathrm{otherwise}\end{array}\right.---\left(\mathrm{III}\right)$

式(III)中，B_mb表示一个宏块的编码比特值，B_avg表示所有N_neb大于1的初始运动宏块编码比特值的平均值；λ_filter为固定值参数，对于N_neb为0和1的初始运动宏块，λ_filter分别设为1.4和0.7。

当宏块的编码比特值大于滤波阈值[λ_filter×B_avg(n)]时，最终运动标识M_final为1，为运动宏块；反之，最终运动标识M_final为0，为噪声宏块(非运动宏块)。

对于非初始运动宏块和N_neb值大于1的其它初始运动宏块，

M_final＝M_initial

由此，得到所有宏块的M_final值，所有最终运动标识M_final值为1的宏块为运动宏块，涵盖所有运动宏块的最小的矩形定义为运动区域。

上述步骤(2.1)和(2.2)为运动区域提取的全部过程，如图2所示。在本实施例中，以视频监控场景为基础，将其最核心的运动区域(无论是人还是物体)作为优先传输和重点保护的对象，最终只有一个运动区域被提取出来并作为前景，所有其它宏块属于背景，即运动区域与前景具有完全相同的含义。

步骤(2)中，所述的运动区域的错误敏感度，是指运动区域在解码器中进行错误恢复的难度，采用如下式(IV)所示的计算式估计：

S_MA(n)＝p(n)×T(n)×σ_mb(n)×σ_frame(n)     (IV)

式(IV)中，p为码流的传输丢包率，较严重的传输丢包会导致较大的错误恢复难度；T为运动区域的纹理复杂度，复杂的纹理会加大错误恢复的难度；σ_mb为运动区域内宏块运动差异，宏块间的运动情况差异越大，错误恢复的难度也会越大；σ_frame为区域运动强度，运动区域的总体运动强度相对于背景越大，错误恢复的难度也会越大(区域运动强度σ_frame与式(II)中σ_frame相同，可以利用之前对第n帧图像所有宏块sad_mv00的标准差的计算结果)。上述分析因素可以适应大多数错误恢复方法的算法特征。式(IV)中结果越大，说明运动区域的错误敏感度越高，即错误恢复难度越大。

所述的运动区域的纹理复杂度T为运动区域中所有宏块的纹理复杂度t_mb的平均值，而一个宏块的纹理复杂度t_mb计算如下式(V)所示：

$t_{\mathrm{mb}}(x,y,n)=\frac{\underset{i,j\∈\mathrm{\Ω}(x,y,n)}{\mathrm{\Σ}}{\mathrm{sad}}_{\mathrm{DC}44}(i,j,x,y,n)}{N_{\mathrm{\Ω}}(x,y,n)}---\left(V\right)$

式(V)中，Ω表示左边和上边像素都完备的4×4块的集合，不考虑左边或上边像素不可获得的少数划分块，如处在图像或片的边界的块；N_Ω表示这个集合中4×4块的数量，坐标(i，j)表示一个4×4块在其所在宏块中的位置，sad_DC44为模式决策时产生的帧内4×4直流模式的SAD信息，为一个4×4块所有组成像素与周边像素(左边和上边)均值的差异之和，反映该4×4块内部各个像素之间的差异性，差异越大纹理越复杂。类似于σ_frame，σ_mb是一个标准差，但是它的计算范围限定在运动区域而不是整个图像。T和σ_mb二者的计算都是限定在运动区域中，以降低计算的复杂度。

步骤(2)中，所述的依据运动区域的错误敏感度，决策最优的灵活宏块次序编码模式的过程如下：

对非运动区域(背景)全部使用单片组编码以提高压缩效率，因为背景区域并不是关注的重点区域，而且少动的背景相对来说并不容易受到传输错误的影响；

对于运动区域，依据运动区域(前景)的错误敏感度，用一个或两个片组对前景进行编码，以便在压缩效率和容错能力之间取得平衡。具体实现以FMO的类型6为基础。当运动区域(前景)的错误敏感度S_MA大于设定的敏感度阈值S_TH时，采用两个片组的棋盘模式编码；当运动区域的错误敏感度S_MA小于设定的敏感度阈值S_TH时，采用一个片组的平坦模式编码，此时与两片组的类型2的结构完全相同。这两种FMO编码模式如图3所示。图中的***数字表示每个宏块所属的片组号，片组的边界用粗线条表示，粗线条内部为提取出的运动区域。

(3)计算所有宏块位置的累积帧间差异，当运动区域内宏块位置的累积帧间差异大于指定的刷新阈值时，所述的宏块位置在下一帧时被强制帧内刷新，由此计算得到运动区域的帧内刷新宏块的数量与位置；

为不显著增加计算量，前述的sad_mv00信息在此将继续被使用；同时，还需要考虑丢包率的因素，因为严重的丢包会导致较严重的错误蔓延。所述的宏块位置的累积帧间差异由下式(VI)得到：

$D_{\mathrm{acc}}(x,y,n)=\underset{t=n_0}{\overset{n}{\mathrm{\Σ}}}p\left(t\right)\×{\mathrm{sad}}_{\mathrm{mv}00}(x,y,t)---\left(\mathrm{VI}\right)$

式(VI)中，所述的指定的刷新阈值D_TH(n)为变值，由下n₀表示宏块位置(x，y)前次进行帧内预测编码时的图像序列号，n₀小于或等于n；p为码流的传输丢包率；

所述的刷新阈值由式(VII)计算；

$D_{\mathrm{TH}}\left(n\right)=\frac{C_{\mathrm{IR}}}{{\mathrm{\σ}}_{\mathrm{frame}}\left(n\right)}---\left(\mathrm{VII}\right)$

式(VII)中，C_IR为固定值参数，σ_frame为区域运动强度。对于运动强度大的帧给予更多的刷新数量，以取得更好的自适应性。

为了节省比特资源，帧内刷新宏块只从更为重要的运动区域中选择。帧内宏块刷新机制可以终止错误蔓延，具有较强的容错能力，可进一步增强FMO机制的容错效果。

(4)根据步骤(2)得到的灵活宏块次序编码模式和步骤(3)得到的宏块刷新的计算结果，形成下一帧图像的编码方案；

(5)重复步骤(2)～(4)，直至编码全部结束。

实验效果：采用本发明方法(AEFMO)对Salesman、Container和Hall三种标准视频序列进行容错编码。与H.264/AVC模型标准参考模型JM15.1中的FMO1方法(H.264/AVC标准中规定的FMO类型1)和FMO2方法(H.264/AVC标准中规定的FMO类型2)进行对比。实验丢包率为10％，固定值参数k、σ₀、β_H、β_L、σ_{MA_H}、σ_{MA_L}、S_TH和C_IR分别设为0.1、100、1.9、1.3、800、300、5×10⁵和2×10⁵。图4为Salesman序列的峰值信噪比(PSNR)实验结果，曲线1、2和3分别表示FMO1、FMO2和AEFMO三种方法的结果。图5为Container序列的峰值信噪比(PSNR)实验结果，曲线1、2和3分别表示FMO1、FMO2和AEFMO三种方法的结果。图6为Hall序列的峰值信噪比(PSNR)实验结果，曲线1、2和3分别表示FMO1、FMO2和AEFMO三种方法的结果。从图4～6中可以看到，本发明相较于FMO1可以提高质量0.03-3.18分贝(dB)，相较于FMO2可以提高质量0.23-5.10分贝(dB)，取得了较好的容错效果。

Claims (8)

1.一种基于自适应灵活宏块次序的视频容错编码方法，其特征在于，包括以下步骤：

(1)输入一帧图像并编码；

(2)提取所述的图像的运动区域，估计运动区域的错误敏感度；依据运动区域的错误敏感度，决策最优的灵活宏块次序编码模式；

(3)计算所有宏块位置的累积帧间差异，当运动区域内宏块位置的累积帧间差异大于指定的刷新阈值时，所述的宏块位置在下一帧时被强制帧内刷新，由此计算得到运动区域的帧内刷新宏块的数量与位置；

(4)根据步骤(2)得到的灵活宏块次序编码模式和步骤(3)得到的帧内刷新宏块的数量与位置，形成下一帧图像的编码方案；

(5)重复步骤(2)～(4)，直至编码全部结束。

2.根据权利要求1所述的视频容错编码方法，其特征在于，所述的步骤(2)中，所述的提取所述的图像的运动区域，包括：

(2.1)利用运动搜索产生的帧间差异信息对宏块进行初始运动检测，输入帧和参考帧之间差异大于运动检测阈值的宏块视为初始运动宏块；

(2.2)分析宏块的编码比特值，对所述的初始运动宏块进行滤波，确定运动宏块，并确定涵盖所有运动宏块的最小的矩形为运动区域。

3.根据权利要求2所述的视频容错编码方法，其特征在于，所述的步骤(2.1)中，所述的运动检测阈值随着不同序列的特征和同一序列不同帧的特征而进行动态调整。

4.根据权利要求2所述的视频容错编码方法，其特征在于，所述的步骤(2.2)中，对所述的初始运动宏块进行滤波的过程如下：

计算每个初始运动宏块周边的四个宏块中初始运动宏块的数量N_neb；

对于N_neb值为0或1的初始运动宏块，其最终的运动标识M_final定义为：

$M_{\mathrm{final}}(x,y,n)=\left\{\begin{array}{cc}1,& \mathrm{if}{B}_{\mathrm{mb}}(x,y,n)\≥[{\mathrm{\λ}}_{\mathrm{filter}}\×B_{\mathrm{avg}}\left(n\right)]\\ 0,& \mathrm{otherwise}\end{array}\right.---\left(\mathrm{III}\right)$

式(III)中，B_mb表示一个宏块的编码比特值，B_avg表示所有N_neb大于1的初始运动宏块编码比特值的平均值；λ_filter为固定值参数，对于N_neb为0和1的初始运动宏块，λ_filter分别设为1.4和0.7；当宏块的编码比特值大于滤波阈值[λ_filter×B_avg(n)]时，最终运动标识M_final为1，为运动宏块；反之，最终运动标识M_final为0，为非运动宏块；

对于非初始运动宏块和N_neb值大于1的其它初始运动宏块，M_final和M_initial的值相等；

由此，得到所有宏块的M_final值，所有M_final值为1的宏块为运动宏块，涵盖所有运动宏块的最小的矩形为运动区域。

5.根据权利要求1所述的视频容错编码方法，其特征在于，所述的步骤(2)中，所述的运动区域的错误敏感度，采用如下式(IV)所示的计算式估计：

S_MA(n)＝p(n)×T(n)×σ_mb(n)×σ_frame(n)             (IV)

式(IV)中，p为码流的传输丢包率，T为运动区域的纹理复杂度，σ_mb为运动区域内宏块运动差异，σ_frame为区域运动强度。

6.根据权利要求5所述的视频容错编码方法，其特征在于，所述的运动区域的纹理复杂度T为运动区域中所有宏块的纹理复杂度t_mb的平均值，而一个宏块的纹理复杂度t_mb计算如下式(V)所示：

$t_{\mathrm{mb}}(x,y,n)=\frac{\underset{i,j\∈\mathrm{\Ω}(x,y,n)}{\mathrm{\Σ}}{\mathrm{sad}}_{\mathrm{DC}44}(i,j,x,y,n)}{N_{\mathrm{\Ω}}(x,y,n)}---\left(V\right)$

式(V)中，Ω表示左边和上边的周边像素完备的4×4块的集合，N_Ω表示这个集合中4×4块的数量，坐标(i，j)表示一个4×4块在其所在宏块中的位置，sad_DC44为一个4×4块所有组成像素与左边和上边的周边像素均值的差异之和。

7.根据权利要求1所述的视频容错编码方法，其特征在于，所述的步骤(2)中，所述的依据运动区域的错误敏感度，决策最优的灵活宏块次序编码模式的过程如下：

对非运动区域全部使用单片组编码；

对于运动区域，当运动区域的错误敏感度S_MA大于设定的敏感度阈值S_TH时，采用两个片组的棋盘模式编码；当运动区域的错误敏感度S_MA小于设定的敏感度阈值S_TH时，采用一个片组的平坦模式编码。

8.根据权利要求1所述的视频容错编码方法，其特征在于，所述的

步骤(3)中，所述的宏块位置的累积帧间差异由下式(VI)得到：

$D_{\mathrm{acc}}(x,y,n)=\underset{t=n_0}{\overset{n}{\mathrm{\Σ}}}p\left(t\right)\×{\mathrm{sad}}_{\mathrm{mv}00}(x,y,t)---\left(\mathrm{VI}\right)$

式(VI)中，

n₀表示宏块位置(x，y)前次进行帧内预测编码时的图像序列号，n₀小于或等于n；p为码流的传输丢包率；

所述的刷新阈值为：

$D_{\mathrm{TH}}\left(n\right)=\frac{C_{\mathrm{IR}}}{{\mathrm{\σ}}_{\mathrm{frame}}\left(n\right)}---\left(\mathrm{VII}\right)$

式(VII)中，C_IR为固定值参数，σ_frame为区域运动强度。

Images