CN103716637A - 基于内容分析的h.264压缩域分层视频加密方法 - Google Patents

Abstract

本发明涉及一种基于内容分析的H.264压缩域分层视频加密方法，步骤包括基于H.264压缩域的视频内容分析、码流分割和不等强度的视频加密三个部分；该方法首先对视频内容进行分析，将视频内容分为运动目标区域和背景区域，进一步，又将背景区域划分为纹理丰富区域和不丰富区域，然后根据分析结果，分别采取不等的加密强度进行保护，以提高视频加密的针对性，在保证加密安全性的同时，大大降低了加密的计算复杂度，能够满足视频加密的实时性需求。

Description

基于内容分析的H.264压缩域分层视频加密方法

技术领域

本发明涉及多媒体信息安全领域，特别涉及一种基于内容分析的H.264压缩域分层视频加密方法。

背景技术

随着信息化技术的发展与经济全球化到来，无论是国防安全、交通安全等涉及公共安全的领域还是住宅安全、人身安全等涉及私人安全领域的问题都成为人们高度关注的重点。视频监控技术作为防治潜在风险，提高安全防范度，确保社会生活稳定的重要手段，得到了前所未有的重视。对于国防、外交等某些特定应用场合的监控信息而言，一经泄漏可能会造成不可弥补的损失，因此需要保证监控视频信息的安全。

视频加密是一种最直接、有效的多媒体信息安全保护手段。由于视频信息的数据量非常庞大，选择性加密就成为目前视频加密的主流方法。与完全加密不同，选择性加密是有选择地对数据中的重要信息进行加密，可以在加密安全性和计算复杂度之间达到折中。选择性视频加密的关键是如何确定视频中的最重要信息，以最小的加密数据量来保证足够的安全性。

通常情况下，视频的内容千差万别，不同的视频所包含的纹理和运动信息存在着很大的区别，如果对纹理与运动特征相差很大的视频序列应用相同的加密机制，很显然会带来问题：一方面，如果采用加密量较小的选择性加密机制，则难以有效保证内容复杂视频的安全性能；另一方面，对于内容简单的视频，通过少量数据的加密就可以保证加密的安全性，如果统一采用安全级别较高的加密机制，则会增加计算处理的额外开销，造成能量和资源的浪费。

对于监控视频数据来说，目标区域的信息远比背景区域的信息更为重要，因此可以对目标区域与背景区域分别采用不等的加密，使得加密更具针对性，在保证目标信息的安全的同时，降低加密所需的计算复杂度。

发明内容

本发明的目的在于利用监控视频的具体特点和安全需求，提出了一种基于内容分析的、适用于H.264压缩码流的分层加密方法，该方法首先对视频内容进行分析，将视频内容分为运动目标区域和背景区域，进一步，又将背景区域划分为纹理丰富区域和不丰富区域，然后根据分析结果，分别采取不等的加密强度进行保护，以提高视频加密的针对性，在保证加密安全性的同时，大大降低了加密的计算复杂度，能够满足视频加密的实时性需求。

为实现上述目的，本发明采用的技术方案为一种基于内容分析的H.264压缩域分层视频加密方法，如图1所示，本发明包括基于H.264压缩域的视频内容分析、码流分割和不等强度的视频加密三个部分。

具体而言，其实现方法通过以下步骤实现的。

S1、基于H.264压缩域的视频内容分析

针对H.264格式的压缩码流特点，以GOP（Group of Pictures）为单位，在压缩域对视频的内容进行分析与归类。

如图2所示，在H.264压缩域提取编码模式、预测模式、运动矢量和预测残差信息，根据这些信息的统计量将视频分为运动目标区域与背景区域；然后，对已被划分为背景区域的码流数据，又进一步划分成纹理丰富区域与纹理不丰富区域。

S1.1运动目标检测

H.264采用了帧内与帧间两种预测模式；帧间8×8、帧间8×4、帧间4×8、帧间4×4和帧内4×4往往被定义为小尺寸预测模式SPM（Small Prediction Mode）。假设第t帧中块B_i,j采用的预测模式为f_PM(t,i,j)，其中i和j分别是块的水平与竖直索引号，t表示帧号，则可以由小尺寸预测模式初步判断各块是否可能属于运动目标；如公式（1）所示，当Mask_PM(t,i,j)=1时，表示块B_i,j是运动目标块，否则为非目标块，属于背景区域。

${\mathrm{Mask}}_{\mathrm{PM}}(t,i,j)=\left\{\begin{array}{c}1,\mathrm{if}{f}_{\mathrm{PM}}(t,i,j)\∈\mathrm{SPM}\\ 0,\mathrm{otherwise}\end{array}\right.---\left(1\right)$

为了进一步提高检测的准确性，本发明利用宏块的ICT系数对视频细节进行判断。首先对所有宏块的ICT（Integer Cosine Transform）系数计算平方和对数运算后，进行直方图均衡，其结果记作f_ICT。然后，以ICT系数最大值的50%为阈值T_ICT，将每个块的f_ICT值与阈值T_ICT进行比较；如公式（2）所示，当Mask_ICT(t,i,j)=1时，表示块B_i,j是运动目标块，否则为非目标块，属于背景区域。

${\mathrm{Mask}}_{\mathrm{ICT}}(t,i,j)=\left\{\begin{array}{c}1,\mathrm{if}{f}_{\mathrm{ICT}}(t,i,j)\≥T_{\mathrm{ICT}}\left(t\right)\\ 0,\mathrm{otherwise}\end{array}\right.---\left(2\right)$

为了获得较为可靠运动目标检测结果，本发明从参考图像中某一相同尺寸的区域进行预测，得到帧间编码宏块的每个分割或子宏块的运动矢量（MV），来表征运动信息；根据各块的MV信息可以判断当前块是否属于运动目标，如公式（3）所示：

${\mathrm{Mask}}_{\mathrm{MV}}(t,i,j)=\left\{\begin{array}{c}1,\mathrm{if}\left|f_{\mathrm{MV}}(t,i,j)\right|\≥{\mathrm{\β}}_{i,j}\·T_{\mathrm{MV}}\\ 0,\mathrm{otherwise}\end{array}\right.---\left(3\right)$

其中f_MV(t,i,j)表示相应宏块的运动矢量值，T_MV是阈值，本发明令其为7.0，而β_i,j是一个加权调整参数。

将ICT特征、预测模式以及运动矢量信息结合起来，可以确定运动目标块位置；如公式（4）所示，当Mask_MO(t,i,j)=1时，表示块B_i,j是运动目标块，否则为非目标块，属于背景区域。

${\mathrm{Mask}}_{\mathrm{MO}}(t,i,j)=\left\{\begin{array}{c}{\mathrm{Mask}}_{\mathrm{MV}}(t,i,j),\mathrm{if\; S}(t,i,j)>0\\ 0,\mathrm{otherwise}\end{array}\right.---\left(4\right)$

为了便于后续的加密操作，本发明将运动目标宏块连接起来，形成运动目标区域，将运动目标对应的宏块记为目标宏块。

S1.2背景区域纹理信息丰富程度的判别

根据H.264编码结构，P帧编码对I帧具有编码依赖性，如果I帧的纹理比较丰富，通常情况下，同一GOP中的后续P帧纹理也会比较丰富。为此，本发明综合利用VLC（Variable Length Coding）码字中包含的非零个数和I帧的编码信息来判断视频纹理信息的丰富程度。首先统计I帧中平均每个4×4块包含的非零个数Ave_CoeffToken_I，用来表示纹理的丰富程度:

$\mathrm{Ave}\_\mathrm{CoeffToken}\_I=\frac{\underset{F}{\mathrm{\Σ}}\underset{B}{\mathrm{\Σ}}\mathrm{CoeffToken}}{B*F}---\left(5\right)$

其中B表示视频帧所包含4×4块的块数目,F表示抽样帧数目。

假设第t帧包含的4×4预测模式总数为SPM_It，SPM_I_ratio定义为：

$\mathrm{SPM}\_I_{\mathrm{ratio}}=\frac{\underset{t}{\overset{F}{\mathrm{\Σ}}}\mathrm{SPM}\_I_t}{F*B}---\left(6\right)$

SPM_I_ratio表示每个帧中采用4×4分块模式的面积占帧面积的比率，反映了码流中纹理丰富的宏块在整个帧中所占的比率。

根据公式（5）和公式（6），本发明提出了一种视频纹理信息丰富程度的判决方法，如公式（7）所示：

$\mathrm{current\; video\; clip}=\left\{\begin{array}{c}\∈T_{\mathrm{com}},\mathrm{if\; SPM}\_I_{\mathrm{ratio}}\≥T_{\mathrm{SPM}}\mathrm{and\; Ave}\_\mathrm{CoeffToken}\_I\≥T_{\mathrm{ICT}}\\ \∈T_{\mathrm{non}-\mathrm{com}},\mathrm{otherwise}\end{array}\right.---\left(7\right)$

其中T_com表示纹理丰富的集合，T_non-com表示纹理不丰富的集合，T_SPM和T_ICT分别代表两种指标的阈值。

S2、H.264码流分割

针对上述的视频内容分析结果，提出了一种H.264压缩码流分割方法。根据内容分析结果，将H.264码流相应地分割为运动目标、纹理复杂部分、纹理不复杂；对于不同部分的码流，将采用不同的强度对其进行加密，一方面保证视频中关键信息的安全，另一方面降低加密所需的计算复杂度。

S3、H.264压缩域视频分层加密策略

针对三个部分的码流，提出了一种基于内容分析的H.264压缩域视频分层加密策略，分别采用不同的强度进行加密，提高了加密的针对性。

在帧层，根据H.264编码结构及监控视频特点，对I帧和P帧分别采用不同的加密机制；在宏块层，根据码流分割结果，采用不等强度的加密方案；在码流比特层，则根据比特敏感度的高低，实现不同强度的加密。

S3.1帧层加密选择策略

H.264以GOP为单元进行编码，GOP的第一帧为I帧，其他帧为P帧或者B帧。根据H.264编码结构的这一特点，P帧是以已编码的I帧或者P帧作为参考，进行预测编码，若I帧发生错误，则误码的扩散会严重影响P帧的重建质量；据此，本发明对码流中的I帧进行了重点加密保护，不区分I帧的内容，即对GOP中的I帧码流都采用一个加密强度进行加密；对P帧，则根据视频内容分析结果分别采用不等的加密强度进行加密。

S3.2宏块层加密选择策略

本发明根据运动目标检测结果，将P帧划分为运动目标区域和背景区域，划分方式见1.1节。对于运动目标区域，由于其往往是监控视频中的感兴趣区域，其重要性优先级非常高，因此本发明对其予以完全加密，以确保目标信息的安全性。

本发明根据纹理信息的丰富程度将背景区域进一步划分成纹理丰富区域和纹理不丰富区域，分别采用不等强度的加密。众所周知，加密强度与加密数据量成正比。为了实现不同强度的加密，本发明采用了一种基于比特层加密选择策略，依据比特敏感度对码流的重要性程度进行优先级排序，然后按照由高到低的顺序分别选择不同数量的码流数据进行加密，以此来控制加密的强度。

S3.3比特层加密选择策略

对于宏块层的编码参数来说，不同类型的编码参数对于视频重建质量的作用是不同的。比特敏感度指的是压缩码流中各种不同类型的编码参数发生比特错误时所引起的平均PSNR（Peak Signal to NoiseRatio）值下降程度。一般情况下，某比特发生误码时所引起的平均PSNR值下降幅度越大，说明该编码参数对视频重建越重要，比特敏感度也就越高，这些数据将被优先加密。因此，本发明根据H.264码流中各编码参数的比特敏感度来确定比特层的加密数据量，实现不等强度的加密。

表1给出的是H.264码流中宏块层的所有编码参数以及比特敏感度较高的编码参数。某些编码参数如MB_Type或CBP一旦被破坏，解码器则无法开始解码过程。除去此类参数，本发明按照对视频重建质量贡献大小，对编码参数的重要性程度进行了排序，最重要的码字赋予最高的加密优先级，使之可以被优先加密，如表1所示。按照表1中给出的加密优先级，用户可根据用实际应用需求确定相应的加密强度，加密数据量越大，加密强度越高。

表1宏块层的所有编码参数以及比特敏感度较高的编码参数

与现有技术相比，本发明具有以下明显的优势和有益效果：

本发明首先利用视频内容和压缩码流中比特重要程度的不同，从三个层次对视频中的不同内容进行加密，视频中最为重要的帧、宏块和比特被重点加密，优先保证这部分内容的安全。同时采用密钥为128的AES算法对提取出的比特进行加密，可以有效保证加密的安全性。最后，将加密后的比特重置到原来的码流中，可以保证加密后的码流能与H.264标准兼容，同时保持视频的压缩比不变。与以往的感知视频加密方法相比，其优势主要表现在：

1、计算复杂度低、执行速度快，能量损耗少，能够满足视频应用的实时性要求；

2、加密更具有针对性，可以有效地保证所有被加密的数据都是视频中重重要的信息的安全，如I帧、目标区域、压缩码流中对视频视觉质量最为重要的数据等；

3、采用AES算法进行加密，具有良好的视觉安全性和密码安全性，能够有效抵抗视觉攻击、取代攻击和穷举攻击。

附图说明

图1为基于内容分析的H.264压缩域分层视频加密方法整体框架。

图2为基于内容分析的视频分类示意图。

具体实施方式

以下将结合附图，对本发明的实施例加以说明。

如图1-2所示，本发明提出的基于内容分析的H.264压缩域分层视频加密方法，该方法具体采用的技术手段包括：

S1对H.264压缩码流进行分析，对于当前GOP中的I帧，采用AES加密算法进行加密；

S2对于当前GOP中的P帧，进行运动目标检测。具体实现过程包括：

S2.1对H.264的压缩码流进行分析，若当前宏块为小尺寸预测模式，记录宏块的帧号、水平与竖直索引号，该宏块则被初步判断为可能的运动目标；

S2.2根据公式（2）对宏块的ICT系数进行统计分析，判断该宏块是否可以进一步确定为运动目标宏块；

S2.3提取宏块的运动矢量信息，按照公式（3）进行统计计算，判断是否为运动目标宏块；

S2.4将步骤S1.1、S1.2以及S1.3的结果结合起来，对该宏块进行判决，判断其为运动目标区域还是背景区域；

S3对于背景区域，按照公式（7），进一步进行视频纹理复杂程度的分析,根据纹理丰富程度的分析结果，将背景区域中的宏块划分为纹理丰富的和纹理不丰富的。

S4对于运动目标区域、纹理丰富区域和纹理不丰富区域对应的H.264码流，进行不等强度的加密。具体实现过程包括：

S4.1根据加密强度，分别从码流中提取出不同数量的比特，采用密钥为128的AES算法对提取出的比特进行加密;

S4.2将加密后的比特重置到原来的码流中，以保证加密后的码流能与H.264标准兼容，同时保持视频的压缩比不变。

重复步骤S1-S3，直到加密完当前H.264码流中的所有编码帧。

Claims (1)

1.一种基于内容分析的H.264压缩域分层视频加密方法，其特征在于：该方法包括基于H.264压缩域的视频内容分析、码流分割和不等强度的视频加密；具体而言，其实现方法通过以下步骤实现的；

S1基于H.264压缩域的视频内容分析；

针对H.264格式的压缩码流特点，以GOP为单位，在压缩域对视频的内容进行分析与归类；

S1.1运动目标检测；

H.264采用了帧内与帧间两种预测模式；假设第t帧中块B_i,j采用的预测模式为f_PM(t,i,j)，其中i和j分别是块的水平与竖直索引号，t表示帧号，则可以由小尺寸预测模式初步判断各块是否可能属于运动目标；

${\mathrm{Mask}}_{\mathrm{PM}}(t,i,j)=\left\{\begin{array}{c}1,\mathrm{if}{f}_{\mathrm{PM}}(t,i,j)\∈\mathrm{SPM}\\ 0,\mathrm{otherwise}\end{array}\right.---\left(1\right)$

其中，当Mask_PM(t,i,j)=1时，表示块B_i,j是运动目标块，否则为非目标块，属于背景区域；

为了进一步提高检测的准确性，本发明利用宏块的ICT系数对视频细节进行判断；首先对所有宏块的ICT系数计算平方和对数运算后，进行直方图均衡，其结果记作f_ICT；然后，以ICT系数最大值的50%为阈值T_ICT，将每个块的f_ICT值与阈值T_ICT进行比较；如公式（2）所示，当Mask_ICT(t,i,j)=1时，表示块B_i,j是运动目标块，否则为非目标块，属于背景区域；

${\mathrm{Mask}}_{\mathrm{ICT}}(t,i,j)=\left\{\begin{array}{c}1,\mathrm{if}{f}_{\mathrm{ICT}}(t,i,j)\≥T_{\mathrm{ICT}}\left(t\right)\\ 0,\mathrm{otherwise}\end{array}\right.---\left(2\right)$

为了获得较为可靠运动目标检测结果，本发明从参考图像中某一相同尺寸的区域进行预测，得到帧间编码宏块的每个分割或子宏块的运动矢量（MV），来表征运动信息；根据各块的MV信息可以判断当前块是否属于运动目标，如公式（3）所示：

${\mathrm{Mask}}_{\mathrm{MV}}(t,i,j)=\left\{\begin{array}{c}1,\mathrm{if}\left|f_{\mathrm{MV}}(t,i,j)\right|\≥{\mathrm{\β}}_{i,j}\·T_{\mathrm{MV}}\\ 0,\mathrm{otherwise}\end{array}\right.---\left(3\right)$

其中f_MV(t,i,j)表示相应宏块的运动矢量值，T_MV是阈值，β_i,j是一个加权调整参数；

将ICT特征、预测模式以及运动矢量信息结合起来，可以确定运动目标块位置；如公式（4）所示，当Mask_MO(t,i,j)=1时，表示块B_i,j是运动目标块，否则为非目标块，属于背景区域；

${\mathrm{Mask}}_{\mathrm{MO}}(t,i,j)=\left\{\begin{array}{c}{\mathrm{Mask}}_{\mathrm{MV}}(t,i,j),\mathrm{if\; S}(t,i,j)>0\\ 0,\mathrm{otherwise}\end{array}\right.---\left(4\right)$

为了便于后续的加密操作，本发明将运动目标宏块连接起来，形成运动目标区域，将运动目标对应的宏块记为目标宏块；

S1.2背景区域纹理信息丰富程度的判别；

根据H.264编码结构，P帧编码对I帧具有编码依赖性，如果I帧的纹理丰富，同一GOP中的后续P帧纹理也会丰富；为此，本发明综合利用VLC码字中包含的非零个数和I帧的编码信息来判断视频纹理信息的丰富程度；首先统计I帧中平均每个4×4块包含的非零个数Ave_CoeffToken_I，用来表示纹理的丰富程度:

$\mathrm{Ave}\_\mathrm{CoeffToken}\_I=\frac{\underset{F}{\mathrm{\Σ}}\underset{B}{\mathrm{\Σ}}\mathrm{CoeffToken}}{B*F}---\left(5\right)$

其中B表示视频帧所包含4×4块的块数目,F表示抽样帧数目；

假设第t帧包含的4×4预测模式总数为SPM_It，SPM_I_ratio定义为，

$\mathrm{SPM}\_I_{\mathrm{ratio}}=\frac{\underset{t}{\overset{F}{\mathrm{\Σ}}}\mathrm{SPM}\_I_t}{F*B}---\left(6\right)$

SPM_I_ratio表示每个帧中采用4×4分块模式的面积占帧面积的比率，反映了码流中纹理丰富的宏块在整个帧中所占的比率；

根据公式（5）和公式（6），本发明提出了一种视频纹理信息丰富程度的判决方法，如公式（7）所示，

$\mathrm{current\; video\; clip}=\left\{\begin{array}{c}\∈T_{\mathrm{com}},\mathrm{if\; SPM}\_I_{\mathrm{ratio}}\≥T_{\mathrm{SPM}}\mathrm{and\; Ave}\_\mathrm{CoeffToken}\_I\≥T_{\mathrm{ICT}}\\ \∈T_{\mathrm{non}-\mathrm{com}},\mathrm{otherwise}\end{array}\right.---\left(7\right)$

其中T_com表示纹理丰富的集合，T_non-com表示纹理不丰富的集合，T_SPM和T_ICT分别代表两种指标的阈值；

S2、H.264码流分割；

针对上述的视频内容分析结果，提出了一种H.264压缩码流分割方法；根据内容分析结果，将H.264码流相应地分割为运动目标、纹理复杂部分、纹理不复杂；对于不同部分的码流，将采用不同的强度对其进行加密，一方面保证视频中关键信息的安全，另一方面降低加密所需的计算复杂度；

S3、H.264压缩域视频分层加密策略；

针对三个部分的码流，提出了一种基于内容分析的H.264压缩域视频分层加密策略，分别采用不同的强度进行加密，提高了加密的针对性；

在帧层，根据H.264编码结构及监控视频特点，对I帧和P帧分别采用不同的加密机制；在宏块层，根据码流分割结果，采用不等强度的加密方案；在码流比特层，则根据比特敏感度的高低，实现不同强度的加密；

S3.1帧层加密选择策略；

H.264以GOP为单元进行编码，GOP的第一帧为I帧，其他帧为P帧或者B帧；根据H.264编码结构的这一特点，P帧是以已编码的I帧或者P帧作为参考，进行预测编码，若I帧发生错误，则误码的扩散会严重影响P帧的重建质量；据此，本发明对码流中的I帧进行了重点加密保护，不区分I帧的内容，即对GOP中的I帧码流都采用一个加密强度进行加密；对P帧，则根据视频内容分析结果分别采用不等的加密强度进行加密；

S3.2宏块层加密选择策略；

本发明根据运动目标检测结果，将P帧划分为运动目标区域和背景区域，划分方式见S1.1节；

本发明根据纹理信息的丰富程度将背景区域进一步划分成纹理丰富区域和纹理不丰富区域，分别采用不等强度的加密；由加密强度与加密数据量成正比，为了实现不同强度的加密，采用一种基于比特层加密选择策略，依据比特敏感度对码流的重要性程度进行优先级排序，然后按照由高到低的顺序分别选择不同数量的码流数据进行加密，以此来控制加密的强度；

S3.3比特层加密选择策略；

对于宏块层的编码参数来说，不同类型的编码参数对于视频重建质量的作用是不同的；比特敏感度指的是压缩码流中各种不同类型的编码参数发生比特错误时所引起的平均PSNR值下降程度；根据H.264码流中各编码参数的比特敏感度来确定比特层的加密数据量，实现不等强度的加密。

Images