CN103997592A - 视频降噪方法和*** - Google Patents

Abstract

本发明提供一种视频降噪方法和***，其方法包括步骤：获取多帧视频图像，对获取的视频图像分别进行分块；根据分块获得的各图像块生成初始矩阵；根据初始矩阵确定初始矩阵对应的均值块；对初始矩阵进行PCA变换获得PCA投影矩阵；根据所述均值块以及各所述图像块得到残差矩阵；分别通过PCA投影矩阵对各图像块的残差矩阵进行降维得到各图像块的特征块；利用特征块进行块匹配得到参考特征块相对于当前特征块的权重值；利用权重值对当前图像块进行加权滤波，用滤波后的图像块组成滤波后的视频图像。采用本发明方案，既可以提高降噪效率，又可以提高降噪效果。

Description

视频降噪方法和***

技术领域

本发明涉及视频技术领域，特别是涉及一种视频降噪方法和***。

背景技术

在视频技术领域，尤其是在视频监控领域，在环境亮度较暗的情况下，监控视频会伴随较多噪点，视觉效果较差。尤其在通过亮度提升对原视频进行增强处理时，视频噪点也会增强，加剧尤为严重，严重影响视觉效果。传统的图像降噪方式，仅针对单幅图像，应用于视频文件降噪效果较差，且计算复杂度较高。近年来，出现了一些的针对视频图像的时空域联合降噪方式，是在时域采用运动估计的方式搜索最匹配的图像块，利用匹配块在相邻帧的视频图像之间的相似度，采用加权平均的方式进行滤波降噪，在空域则利用同一帧内相邻像素的相似性进行滤波降噪。这种方式无论在时域还是空域都需要使用图像块匹配的方式，计算复杂度较高，降噪效率低，不能满足实时视频监控领域实时性的要求，而且由于图像块中噪点的存在，往往引起误匹配，在噪点严重时误匹配率更高，导致降噪效果较差。

发明内容

本发明的目的在于提供一种视频降噪方法和***，提高降噪效率和降噪效果。

本发明的目的通过如下技术方案实现：

一种视频降噪方法，包括步骤：

获取多帧视频图像，对获取的视频图像分别进行分块；

根据所述分块获得的各图像块生成初始矩阵；

根据所述初始矩阵确定所述初始矩阵对应的均值块；

对所述初始矩阵进行PCA变换获得PCA投影矩阵；

根据所述均值块以及各所述图像块得到残差矩阵；

通过所述PCA投影矩阵对所述残差矩阵进行降维得到各所述图像块的特征块；

对所述特征块进行块匹配得到参考特征块相对于当前特征块的权重值，其中，所述当前特征块为待降噪的当前图像块对应的特征块，参考特征块为与所述当前图像块在视频图像中的位置相一致的图像块对应的特征块；

利用所述权重值对所述当前图像块进行加权滤波，用滤波后的图像块组成滤波后的视频图像。

一种视频降噪***，包括步骤：

分块模块，用于获取多帧视频图像，对获取的视频图像分别进行分块；

生成模块，用于根据所述分块获得的各图像块生成初始矩阵；

均值模块，用于根据所述初始矩阵确定所述初始矩阵对应的均值块；

变换模块，用于对所述初始矩阵进行PCA变换获得PCA投影矩阵；

确定模块，用于根据所述均值块以及各所述图像块得到残差矩阵；

降维模块，用于通过所述PCA投影矩阵对所述残差矩阵进行降维得到各所述图像块的特征块；

处理模块，用于对所述特征块进行块匹配得到参考特征块相对于当前特征块的权重值，其中，所述当前特征块为待降噪的当前图像块对应的特征块，参考特征块为与所述当前图像块在视频图像中的位置相一致的图像块对应的特征块；

滤波模块，用于利用所述权重值对所述当前图像块进行加权滤波，用滤波后的图像块组成滤波后的视频图像。

依据上述本发明的方案，其是首先根据对获取的视频图像分别进行分块获得的各图像块生成初始矩阵，再根据所述初始矩阵确定所述初始矩阵对应的均值块以及对所述初始矩阵进行PCA变换获得PCA投影矩阵，并基于所述均值块确定各所述图像块的残差矩阵，以及分别通过所述PCA投影矩阵对残差矩阵进行降维得到各所述图像块的特征块，再对所述特征块进行块匹配得到参考特征块相对于当前特征块的权重值，并利用该权重值对所述当前图像块进行加权滤波，用滤波后的图像块组成滤波后的视频图像，由于是采用先利用PCA的方式对视频图像进行降维并获取特征块，再利用该特征块进行块匹配得到参考特征块相对于当前特征块的权重值，进而基于该权重值实现滤波，PCA的方式削弱了噪点的影响，使得获得权重值更加准确，降低了误匹配的块数量，从而提高了滤波效果，此外，由于仅需要对相同位置的图像块对应的特征块进行块匹配，也提高了降噪的效率。

附图说明

图1为本发明的视频降噪方法实施例的流程示意图；

图2为图1中的步骤S102在其中一个实施例中的细化流程示意图；

图3为图1中的步骤S107在其中一个实施例中的细化流程示意图；

图4为在一个具体实施例中的PCA降维过程示意图；

图5为本发明的视频降噪***实施例的结构示意图；

图6为图5中的生成模块在其中一个实施例中的细化流程示意图；

图7为图5中的处理模块在其中一个实施例中的细化流程示意图。

具体实施方式

下面结合实施例及附图对本发明作进一步阐述，但本发明的实现方式不限于此。

参见图1所示，为本发明的视频降噪方法实施例的流程示意图。如图1所示，本实施例的视频降噪方法包括如下步骤：

步骤S101：获取多帧视频图像，对获取的各视频图像分别进行分块；

视频图像的帧数可以根据实际需要设定，一般以7帧为佳，可以用前后各3帧视频图像来对中间的一帧视频图像做滤波处理，帧数少，降噪效果不明显，帧数过多，在视频图像中的运动区域会产生拖尾；

可以将获取的各帧视频图像存储在缓冲区，便于后续对这些帧的视频图像进行处理，分别将获取的各视频图像划分为分辨率大小一致的图像块，例如，都划分分辨率大小为R×R像素的图像块；

本实施例中的块是均包括其对应的图像数据的；

步骤S102：根据所述分块获得的各图像块生成初始矩阵；

将每个图像块的数据排成一列，则各个图像块的数据就构成了初始矩阵，初始矩阵的行数为一个图像块的数据的个数，初始矩阵的列数为图像块的个数，例如，对于R×R大小的图像块，由于每个像素包括红(R)、绿(G)、蓝(B)三个分量，则初始矩阵相应的行数为3R²，列数为具体选为构成初始矩阵的图像块的个数；

然而，生成初始矩阵的方式也不限于上述提及的方式，例如，还可以是将每个图像块的数据按行排列，在此不予赘述；

同时，初始矩阵中的数据可以是包括所述分块获得的所有图像块的数据，也可以是包括所述分块获得的一部分图像块的数据，为了提高降噪效率，一般是选择只包括一部分图像块的数据的方式，为此，在其中一个实施例中，如图2所示，本步骤的根据所述分块获得的各图像块生成初始矩阵可以具体包括如下步骤：

步骤S1021：从所述分块获得的各图像块中随机选择多个图像块构成图像块样本；

图像块样本中的图像块的个数可以根据实际需要设定，一般以为一帧视频图像可以分成的图像块的个数为佳，图像块样本中的图像块的个数太大则以下进行PCA(Principal Components Analysis，主成分分析)变换实现降维的耗时高，图像块样本中的图像块的个数太小则以下进行PCA变换实现降维的效果差；

步骤S1022：根据所述图像块样本生成所述初始矩阵，该初始矩阵的行数与一个图像块的数据的个数相等，则相应的，该初始矩阵的列数与图像块样本中的图像块的个数相等；

步骤S103：根据所述初始矩阵确定所述初始矩阵对应的均值块；

以初始矩阵中每一列的数据为一个图像块的数据为例，则均值块也对应的为一列数据，数据的大小为初始矩阵中对应行的数据取均值；

步骤S104：对所述初始矩阵进行PCA变换获得PCA投影矩阵；

PCA变换的实现方式为现有方式，在此不予赘述；

经PCA变换后得到的PCA投影矩阵的列数较初始矩阵的列数减少，PCA投影矩阵的列数具体为多少，可以根据实际需要决定，但PCA投影矩阵的列数决定了如下步骤中降维后每个特征块的数据量，则一般应小于上述的一个数据块的数据量，PCA投影矩阵的列数太大则降维效果不明显，PCA投影矩阵的列数太小则会丢失过多数据；

步骤S105：根据所述均值块以及各所述图像块得到残差矩阵；

分别用步骤S101进行分块获得各个图像块减去均值块(对应位置的数据相减)得到各个图像块对应的残差块，再由残差块生成残差矩阵，具体是，每个残差块的数据构成残差矩阵的一列数据，则各个残差块的数据形成了残差矩阵；

步骤S106：通过所述PCA投影矩阵对所述残差矩阵进行降维得到各所述图像块的特征块；

由PCA投影矩阵的转置矩阵与所述残差矩阵(为由多列数据构成的矩阵)相乘可以得到一矩阵，例如称为特征矩阵，可以根据该特征矩阵得到各所述图像块的特征块，特征矩阵中的一列数据为一个图像块的特征块，PCA投影矩阵的转置矩阵与所述残差矩阵相乘后得到一个维度降低的矩阵，矩阵中的每一列数据为对应的图像块的特征块，维度降低是指特征块中的数据量减少；

步骤S107：对所述特征块进行块匹配得到参考特征块相对于当前特征块的权重值，其中，所述当前特征块为待降噪的当前图像块对应的特征块，参考特征块为与所述当前图像块在视频图像中的位置相一致的图像块对应的特征块；

进行块匹配的方式可以采用现有的任意方式实现，在其中一个实施例中，如图3所示，本步骤的对所述特征块进行块匹配得到参考特征块相对于当前特征块的权重值可以具体包括如下步骤：

步骤S1071：确定当前特征块和参考特征块之间的欧几里德距离，其中，所述当前特征块为待降噪的当前图像块对应的特征块，参考特征块为与所述当前图像块在视频图像中的位置相同的图像块的特征块；

例如，当前图像块是视频图像F_k中的一个图像块，视频图像F_l中的另一图像块在视频图像F_l中位置与当前图像块在视频图像F_k中的位置相同，则视频图像F_l中的这一图像块对应的特征块则为参考特征块；

在其中一个实施例中，可以通过如下公式(1)确定当前特征块和参考特征块之间的欧几里德距离；

$d_{k,l}=\underset{i=0}{\overset{Q-1}{\mathrm{\Σ}}}{(I_{i,k}-I_{i,l})}^2---\left(1\right)$

其中，I_i，k和I_i，l分别表示当前特征块和参考特征块块中的数据，i＝0，...，Q-1，Q为当前特征块或者参考特征块块中数据的个数，d_k，l表示所述欧几里德距离；

本实施例中的欧几里德距离可以表征图像块之间的相似度，传统的视频降噪方式采用帧间图像块直接匹配求图像块之间的相似度方式，由于噪点的存在，会对相似度产生干扰，噪点严重的时候，得到的相似度并不准确，最后影响去噪效果，而本实施例采用计算特征值之间的相似度(欧几里德距离)的方式，可抑制噪点对图像块间相似度的计算干扰，从而也可以提高视频去噪效果；

步骤S1072：根据所述欧几里德距离确定参考特征块相对于当前特征块的权重值；

在其中一个实施例中，可以通过如下公式(2)确定参考特征块相对于当前特征块的权重值w_k，l；

$w_{k,l}=e^{\frac{-{d_{k,l}}^2}{{2\mathrm{\σ}}^2}}---\left(2\right)$

其中，σ为噪点的标准差，w_k，l表示所述权重值；

步骤S108：利用所述权重值对所述当前图像块进行加权滤波；

具体的，在其中一个实施例中，可以根据如下的公式(3)对所述当前图像块中的每个像素进行滤波，得到滤波后的像素，再由所述滤波后的像素组成滤波后的图像块；

$J_{p,q,k}^{\′}=\underset{l=0}{\overset{K-1}{\mathrm{\Σ}}}{\mathrm{\ω}}_l\·J_{p,q,l}---\left(3\right)$

其中，J′_p，q，k为滤波后的像素，J_p，q，l为与所述当前图像块在视频图像中的位置相同的图像块中的像素，w_k，l为所述权重值，K为所述获取视频图像的帧数。

步骤S109：用滤波后的图像块组成滤波后的视频图像；

循环执行上述步骤S107～步骤S108，可以对待降噪的视频图像中的各个图像块进行滤波，再用待降噪的视频图像中滤波后的各图像块组成的视频图像，即完成一帧视频图像的滤波，滤波后的视频图像就可以从缓冲区中输出了。

据此，依据上述本实施例的方案，其是首先根据对获取的视频图像分别进行分块获得的各图像块生成初始矩阵，再根据所述初始矩阵确定所述初始矩阵对应的均值块以及对所述初始矩阵进行PCA变换获得PCA投影矩阵，并基于所述均值块确定各所述图像块的残差矩阵，以及分别通过所述PCA投影矩阵对各所述图像块的残差矩阵进行降维得到各所述图像块的特征块，再对所述特征块进行块匹配得到参考特征块相对于当前特征块的权重值，并利用该权重值对所述当前图像块进行加权滤波，得到滤波后的图像块，最后用待降噪的视频图像的滤波后的图像块组成滤波后的视频图像，由于是采用先利用PCA的方式对视频图像进行降维并获取特征块，再利用该特征块进行块匹配得到参考特征块相对于当前特征块的权重值，进而基于该权重值实现滤波，PCA的方式削弱了噪点的影响，使得获得权重值更加准确，从而提高了滤波效果，此外，由于仅需要对相同位置的图像块对应的特征块进行匹配(也即确定二者的权重值)，也提高了降噪的效率。

为了便于理解本发明，下面通过一个具体的示例进行说明，可以结合图3理解该示例的具体过程，但该示例并不构成对本发明的限制。

首先，如图3所示，将K帧M×N大小的视频图像读入缓冲区，每帧图像表示为F_l，l＝0，1，...，K-1，并将降噪缓冲区中的每帧图像F_l进行分块，每个图像块表示为B_n，大小为R×R(如7×7)像素，每个像素包含R、G、B三个分量；

其次，从缓冲区中的所有帧的视频图像对应的图像块中随机选择G个图像块组成3R²×G的矩阵H(矩阵H相当于前述的初始矩阵)，G的值一般取其中，表示对向下取整，即取M·N与R²的商值的整数部分，这样G的值即为一帧中的图像块的个数，相当于选取缓冲区中所有块的数量的

再次，对矩阵H进行PCA变换，得到3R²×Q的PCA投影矩阵P(矩阵P相当于前述的PCA投影矩阵)，Q值一般取其中，表示对向下取整，Q值用于设置降维后一个特征块的维度，原来一个图像块的维度为3R²，降维后为Q，因此Q应小于3R²，Q值太大则降维效果不明显，Q值太小则会丢失有过多的数据，同时计算选择出的G个数据块的均值具体计算过程是对这个3R²×G矩阵H按行方向求均值，则得到一列数据，数据个数为3R²，即为这G个块的均值称为均值块，数据量为3R²；

紧接着，用缓冲区中每一帧视频图像的每个块减去均值块，得到残差块，并组成残差矩阵ΔH，其中，每个残差块的数据用一列表示，所有残差块的数据则组成残差矩阵ΔH，再对残差矩阵ΔH使用PCA投影矩阵进行降维，即T＝P^T×ΔH，T为降维后的块组成的矩阵，这样每个块的数据量由原来的3R²，降低到Q，降维后的块称为特征块t；

然后，对于当前帧的视频图像F_k(相当于前述的当前视频图像)中的图像块块b_k(相当于前述的当前图像块)的特征块(相当于前述的当前特征块)，使用缓冲区中的某一帧的视频图像F_l中对应位置的块b_l的特征块t_l(相当于前述的参考特征块)通过下述步骤进行降噪滤波；

通过上述公式(1)计算当前特征块t_k与参考特征块t_l之间的欧几里德距离，再通过上述的公式(2)确定参考特征块t_l相对于当前特征块t_k的权重值w_k，l，最后通过上述的公式(3)对所述当前图像块中的每个像素进行滤波，得到滤波后的像素，再由所述滤波后的像素组成滤波后的图像块，其中，J′_p，q，k为滤波后的像素，J_p，q，l为与所述当前图像块在视频图像中的位置相同的图像块中的像素，w_k，l为所述权重值，K为所述获取视频图像的帧数；

对当前帧的视频图像F_k中所有图像块B_k进行滤波，最后将滤波后的块B_k′组成滤波后的视频图像F′_k，当前帧的视频图像处理完毕，从缓冲区输出。

根据上述本发明的视频降噪方法，本发明还提供一种视频降噪***，以下就本发明的视频降噪***的实施例进行详细说明。图5中示出了本发明的视频降噪***的实施例的结构示意图。为了便于说明，在图5中只示出了与本发明相关的部分。

如图5所示，本发明实施例的视频降噪***，包括：

分块模块201，用于获取多帧视频图像，对获取的视频图像分别进行分块；

生成模块202，用于根据所述分块获得的各图像块生成初始矩阵；

均值模块203，用于根据所述初始矩阵确定所述初始矩阵对应的均值块；

变换模块204，用于对所述初始矩阵进行PCA变换获得PCA投影矩阵；

确定模块205，用于根据所述均值块以及各所述图像块得到残差矩阵；

降维模块206，用于通过所述PCA投影矩阵对所述残差矩阵进行降维得到各所述图像块的特征块；

处理模块207，用于对所述特征块进行块匹配得到参考特征块相对于当前特征块的权重值，其中，所述当前特征块为待降噪的当前图像块对应的特征块，参考特征块为与所述当前图像块在视频图像中的位置相一致的图像块对应的特征块；

滤波模块208，用于利用所述权重值对所述当前图像块进行加权滤波，用滤波后的图像块组成滤波后的视频图像。

在其中一个实施例中，生成模块202可以进一步包括：

选取单元2021，用于从所述分块获得的各图像块中随机选择多个图像块构成图像块样本；

生成单元2022，用于根据所述图像块样本生成所述初始矩阵。

在其中一个实施例中，处理模块207可以进一步包括：

第一单元2071，用于确定当前特征块和参考特征块之间的欧几里德距离；

第二单元2072，用于根据所述欧几里德距离确定参考特征块相对于当前特征块的权重值。

在其中一个实施例中，第一单元2071可以通过确定当前特征块和参考特征块之间的欧几里德距离，其中，设I_i，k和I_i，l分别表示当前特征块和参考特征块块中的数据，i＝0，...，Q-1，Q为当前特征块或者参考特征块块中数据的个数；

在其中一个实施例中，第二单元2072可以通过确定参考特征块相对于当前特征块的权重值，其中，d_k，l表示所述欧几里德距离。

在其中一个实施例中，滤波模块208可以根据对所述当前图像块中的每个像素进行滤波，得到滤波后的像素，再由所述滤波后的像素组成滤波后的图像块，其中，J′_p，q，k为滤波后的像素，J_p，q，l为与所述当前图像块在视频图像中的位置相同的图像块中的像素，w_k，l为所述权重值，K为所述获取视频图像的帧数。

本发明的视频降噪***与本发明的视频降噪方法一一对应，在上述视频降噪方法的实施例阐述的技术特征及其有益效果均适用于视频降噪***的实施例中，特此声明。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种视频降噪方法，其特征在于，包括步骤：

获取多帧视频图像，对获取的视频图像分别进行分块；

根据所述分块获得的各图像块生成初始矩阵；

根据所述初始矩阵确定所述初始矩阵对应的均值块；

对所述初始矩阵进行PCA变换获得PCA投影矩阵；

根据所述均值块以及各所述图像块得到残差矩阵；

通过所述PCA投影矩阵对所述残差矩阵进行降维得到各所述图像块的特征块；

对所述特征块进行块匹配得到参考特征块相对于当前特征块的权重值，其中，所述当前特征块为待降噪的当前图像块对应的特征块，参考特征块为与所述当前图像块在视频图像中的位置相一致的图像块对应的特征块；

利用所述权重值对所述当前图像块进行加权滤波，用滤波后的图像块组成滤波后的视频图像。

2.根据权利要求1所述的视频降噪方法，其特征在于，所述根据所述分块获得的各图像块生成初始矩阵包括步骤：

从所述分块获得的各图像块中随机选择多个图像块构成图像块样本；

根据所述图像块样本生成所述初始矩阵。

3.根据权利要求1所述的视频降噪方法，其特征在于，所述对所述特征块进行块匹配得到参考特征块相对于当前特征块的权重值包括步骤：

确定所述当前特征块和所述参考特征块之间的欧几里德距离；

根据所述欧几里德距离确定参考特征块相对于当前特征块的权重值。

4.根据权利要求3所述的视频降噪方法，其特征在于：

通过确定当前特征块和参考特征块之间的欧几里德距离，其中，设I_i，k和I_i，l分别表示当前特征块和参考特征块块中的数据，i＝0，...，Q-1，Q为当前特征块或者参考特征块块中数据的个数，d_k，l表示所述欧几里德距离；

通过确定参考特征块相对于当前特征块的权重值，其中w_k，l表示所述权重值。

5.根据权利要求1所述的视频降噪方法，其特征在于，根据对所述当前图像块中的每个像素进行滤波，得到滤波后的像素，再由所述滤波后的像素组成滤波后的图像块，其中，J′_p，q，k为滤波后的像素，J_p，q，l为与所述当前图像块在视频图像中的位置相同的图像块中的像素，w_k，l为所述权重值，K为所述获取视频图像的帧数。

6.一种视频降噪***，其特征在于，包括步骤：

分块模块，用于获取多帧视频图像，对获取的视频图像分别进行分块；

生成模块，用于根据所述分块获得的各图像块生成初始矩阵；

均值模块，用于根据所述初始矩阵确定所述初始矩阵对应的均值块；

变换模块，用于对所述初始矩阵进行PCA变换获得PCA投影矩阵；

确定模块，用于根据所述均值块以及各所述图像块得到残差矩阵；

降维模块，用于通过所述PCA投影矩阵对所述残差矩阵进行降维得到各所述图像块的特征块；

处理模块，用于对所述特征块进行块匹配得到参考特征块相对于当前特征块的权重值，其中，所述当前特征块为待降噪的当前图像块对应的特征块，参考特征块为与所述当前图像块在视频图像中的位置相一致的图像块对应的特征块；

滤波模块，用于利用所述权重值对所述当前图像块进行加权滤波，用滤波后的图像块组成滤波后的视频图像。

7.根据权利要求6所述的视频降噪***，其特征在于，所述生成模块包括：

选取单元，用于从所述分块获得的各图像块中随机选择多个图像块构成图像块样本；

生成单元，用于根据所述图像块样本生成所述初始矩阵。

8.根据权利要求6所述的视频降噪***，其特征在于，所述处理模块包括：

第一单元，用于确定当前特征块和参考特征块之间的欧几里德距离；

第二单元，用于根据所述欧几里德距离确定参考特征块相对于当前特征块的权重值。

9.根据权利要求8所述的视频降噪***，其特征在于：

所述第一单元通过确定当前特征块和参考特征块之间的欧几里德距离，其中，设I_i，k和I_i，l分别表示当前特征块和参考特征块块中的数据，i＝0，...，Q-1，Q为当前特征块或者参考特征块块中数据的个数；

所述第二单元通过确定参考特征块相对于当前特征块的权重值，其中，d_k，l表示所述欧几里德距离。

10.根据权利要求6所述的视频降噪***，其特征在于，所述滤波模块根据对所述当前图像块中的每个像素进行滤波，得到滤波后的像素，再由所述滤波后的像素组成滤波后的图像块，其中，J′_p，q，k为滤波后的像素，J_p，q，l为与所述当前图像块在视频图像中的位置相同的图像块中的像素，w_k，l为所述权重值，K为所述获取视频图像的帧数。