CN104794686B

CN104794686B - 图像平滑方法和图像平滑装置

Info

Publication number: CN104794686B
Application number: CN201410025101.4A
Authority: CN
Inventors: 郑赟; 何源; 孙俊
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2014-01-20
Filing date: 2014-01-20
Publication date: 2018-06-12
Anticipated expiration: 2034-01-20
Also published as: JP2015138553A; US20150206021A1; US9418307B2; CN104794686A; JP6467933B2

Abstract

本发明涉及一种对表示前景或背景的图像进行数据填充以使图像平滑的方法和装置。图像平滑方法包括：以特定粒度将图像划分成多个块；针对多个块中包含空白像素和非空白像素的块，将该块的空白像素的值修改为基于非空白像素的值获得的值，从而获得填充后的块；对填充后的块的像素矩阵进行奇异值分解来获得像素值被平滑的块，其中像素值被平滑的块的像素矩阵的值被计算为所获得的奇异值、左奇异向量和右奇异向量的转置的乘积；以及对于像素值被平滑的块中每个非空白像素，将非空白像素的值恢复为在填充步骤之前非空白像素的初始值，从而获得重构后的块。

Description

图像平滑方法和图像平滑装置

技术领域

本发明涉及图像处理领域，具体涉及对表示前景或背景的图像进行数据填充以使图像平滑的方法和装置。

背景技术

在有些图像处理过程中，有些图像（例如，文档图像）被分为三层图像，即前景图像、背景图像和掩模图像。然后，可以分别基于这三层图像的特性来对这三层图像进行处理，从而实现更好的处理效果。

然而，背景图像和前景图像往往不是光滑图像。例如，背景图像可能不仅包含背景的图像像素，而在背景图像中前景像素位置则包含空白像素。相反，前景图像可能不仅包含前景的图像像素，而在前景图像中背景像素位置则包含空白像素。有些时候，例如，为改进数据压缩效果，需要修改背景图像和/或背景层图像中空白像素的值（也称为填充）以获得平滑的背景图像和平滑的前景图像。

传统上，通常通过利用空白像素区域附近的像素的平均值，在像素域中直接执行图像填充。通过这种方法得到的填充图像不够平滑。

此外，已知基于离散余弦变换（DCT）和小波变换（wavelet transform）的方法，其执行离散余弦变换和小波变换并在频域中填充图像。这种方法通常很慢，并且量化参数会影响填充质量。

因此，期望提出一种能够解决上述问题的技术。

发明内容

在下文中给出关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。

本发明的一个主要目的在于，提供一种对表示前景或背景的图像进行数据填充以使图像平滑的方法和装置。

根据本发明的一个方面，提供了一种对表示前景或背景的图像进行数据填充以使图像平滑的方法，包括：划分步骤，以特定粒度将图像划分成多个块；填充步骤，针对多个块中包含空白像素和非空白像素的块，将块的空白像素的值修改为基于非空白像素的值获得的值，从而获得填充后的块；平滑步骤，对填充后的块的像素矩阵进行奇异值分解来获得像素值被平滑的块，其中像素值被平滑的块的像素矩阵的值被计算为所获得的奇异值、左奇异向量和右奇异向量的转置的乘积；以及重构步骤，对于像素值被平滑的块中每个非空白像素，将非空白像素的值恢复为在填充步骤之前非空白像素的初始值，从而获得重构后的块。

根据本发明的另一个方面，提供了一种对表示前景或背景的图像进行数据填充以使图像平滑的装置，包括：划分部，用于以特定粒度将图像划分成多个块；填充部，用于针对多个块中包含空白像素和非空白像素的块，将块的空白像素的值修改为基于非空白像素的值获得的值，从而获得填充后的块；平滑部，用于对填充后的块的像素矩阵进行奇异值分解来获得像素值被平滑的块，其中像素值被平滑的块的像素矩阵的值被计算为所获得的奇异值、左奇异向量和右奇异向量的转置的乘积；重构部，用于对于像素值被平滑的块中每个非空白像素，将非空白像素的值恢复为在填充部进行填充之前非空白像素的初始值，从而获得重构后的块；以及控制部，用于控制划分部、填充部、平滑部和重构部执行操作。

另外，本发明的实施例还提供了用于实现上述方法的计算机程序。

此外，本发明的实施例还提供了至少计算机可读介质形式的计算机程序产品，其上记录有用于实现上述方法的计算机程序代码。

通过以下结合附图对本发明的最佳实施例的详细说明，本发明的这些以及其他优点将更加明显。

附图说明

参照下面结合附图对本发明实施例的说明，会更加容易地理解本发明的以上和其它目的、特点和优点。附图中的部件只是为了示出本发明的原理。在附图中，相同的或类似的技术特征或部件将采用相同或类似的附图标记来表示。

图1是示出根据本发明的实施例的图像平滑方法的流程图；

图2是示出以特定粒度划分得到的多个块的示例的图；

图3是示出根据本发明的实施例的以特定粒度的整数倍来执行图像平滑的方法的流程图；

图4是示出以特定粒度的整数倍划分得到的多个块的示例的图；

图5是示出根据本发明的一个实施例的图像平滑装置的配置框图；

图6是示出根据本发明的另一个实施例的图像平滑装置的配置框图；

图7是示出根据本发明的又一个实施例的图像平滑装置的配置框图；以及

图8是示出可以用于实施本发明的图像平滑方法和图像平滑装置的计算设备的举例的结构图。

具体实施方式

下面参照附图来说明本发明的实施例。在本发明的一个附图或一种实施方式中描述的元素和特征可以与一个或更多个其它附图或实施方式中示出的元素和特征相结合。应当注意，为了清楚的目的，附图和说明中省略了与本发明无关的、本领域普通技术人员已知的部件和处理的表示和描述。

图1是示出根据本发明的实施例的图像平滑方法100的流程图。

在图1所示的方法中，对表示前景或背景的图像进行数据填充以使图像平滑。其中，表示前景的图像指的是前景层图像，表示背景的图像指的是背景层图像。

如图1所示，在步骤S102中，以特定粒度将图像划分成多个块。

例如，特定粒度可以是4×4像素，这样划分得到的每个块的大小为4×4像素。但是容易理解到，4×4像素仅是示例，根据需要特定粒度可以是其他尺寸的，例如，8×8像素。

图2是示出以特定粒度划分得到的多个块的示例的图，其中，每个块包括若干个像素。其中，划分得到的多个块既包括空白块，又包括非完全空白块（即，包含空白像素和非空白像素的块）。在空白块中，所有像素都是空白，而在非完全空白块中，存在非空白像素也存在空白像素。尽管在图2中未示出，但是应当理解到，还可能存在这样的块，在该块中，只存在非空白像素，这样的块不需要被填充数据。

以背景层图像为例，背景层图像仅包含背景的图像像素，而在背景层图像中前景像素位置是空白像素。在这种情况下，在背景像素位置与前景像素位置交界的位置处可能存在非完全空白块，而在背景像素位置处可能存在非空白块，而在前景像素位置处可能存在空白块。

类似地，前景层图像仅包含前景的图像像素，而在前景层图像中背景像素位置是空白像素。在这种情况下，在前景像素位置与背景像素位置交界的位置处可能存在非完全空白块，而在前景像素位置处可能存在非空白块，而在背景像素位置处可能存在空白块。

在步骤S104中，针对在步骤S102中划分得到的多个块中包含空白像素和非空白像素的块，即非完全空白块，将该块的空白像素的值修改为基于非空白像素的值获得的值，从而获得填充后的块。基于非空白像素的值获得的值例如可以是非空白像素的平均值。但是应当理解到，基于非空白像素的值获得的值不限于平均值，而可以是非空白像素的值和非空白像素的位置的函数。

在步骤S106中，对在步骤S104中获得的填充后的块的像素矩阵进行奇异值分解来获得像素值被平滑的块，其中像素值被平滑的块的像素矩阵的值被计算为所获得的奇异值s、左奇异向量u和右奇异向量v的转置的乘积。

具体而言，假设与填充后的块对应的像素值矩阵为B。左奇异向量u可以被计算为：

假设T=B*B’,

对于i=1:3

u=T*u/norm(u)

结束

其中，B’表示B的转置。i=1:3表示循环次数为3，但是循环次数不限于此，根据需要可以设置其他的循环次数。norm(u)表示左奇异向量u的模。在进行循环时，u的初值是随机的。

奇异值s可以被计算为：

s=sqrt((T*u)(0)/u(0))

其中，sqrt()表示平方根函数。“0”表示相应矩阵的第一个元素。但是应当理解到，不一定取第一个元素的值，而可以取任一个元素的值。

右奇异向量v可以被计算为：

假设T=B’*B,

对于i=1:3

v=T*v/norm(v)

结束

其中，B’表示B的转置。i=1:3表示循环次数为3，但是循环次数不限于此，根据需要可以设置其他的循环次数。norm(v)表示右奇异向量v的模。在进行循环时，v的初值是随机的。

与像素值被平滑的块对应的近似像素值矩阵为B_a=s×u×v’。其中，B_a的下标表示近似（approximate），v’表示右奇异向量v的转置。

在步骤S108中，对于在步骤S106中获得的像素值被平滑的块中每个非空白像素，将非空白像素的值恢复为在填充步骤S104之前非空白像素的初始值，从而获得重构后的块。这是因为，对于在步骤S106中获得的像素值被平滑的块，空白像素和非空白像素的值都被计算为所获得的奇异值、左奇异向量和右奇异向量的转置的乘积。因而，需要恢复非空白像素的初始值，而仅保留空白像素的奇异值分解计算结果。具体而言，将近似像素值矩阵B_a中的非空白像素的值恢复为在填充步骤S104之前非空白像素的初始值，从而获得重构后的块。

在步骤S110中，判断是否满足预定收敛条件。

例如，可以判断两次连续迭代所得到的两个重构后的块的像素的均方差是否小于预定值。如果均方差小于预定值，则认为满足收敛条件，否则认为不满足收敛条件。

如果在步骤S110中判断满足预定收敛条件，则该处理结束。如果在步骤S110中判断不满足预定收敛条件，则返回到步骤S106。在这种情况下，在步骤S106中，对步骤S108中获得的重构的块的像素矩阵进行奇异值分解来获得像素值被平滑的块。

图3是示出根据本发明的实施例的以特定粒度的整数倍来执行图像平滑的方法300的流程图。

图3的处理与图1的处理类似。但是区别在于以特定粒度的整数倍来执行划分步骤，以特定粒度划分出的多个块中的空白块和在图1的处理中得到的重构后的块分别当作空白像素和非空白像素来执行填充步骤、平滑步骤和重构步骤。

如图3所示，在步骤S302中，可以以特定粒度的整数倍将图像划分成多个块。这样得到的块的尺寸是以特定粒度划分得到的块的尺寸的整数倍。

在步骤S304中，将空白块中的像素改为基于在图1的处理中得到的重构后的块中的像素的值获得的值，从而获得填充后的块。

在步骤S306中，对填充后的块的像素矩阵进行奇异值分解来获得像素值被平滑的块。

在步骤S308中，将在图1的处理中得到的重构后的块中的像素恢复为在执行步骤S306之前的初始值，从而得到本次重构后的块。

在步骤S310中，判断是否满足预定收敛条件。例如，可以判断两次连续迭代所得到的两个重构后的块的像素的均方差是否小于预定值。如果均方差小于预定值，则认为满足收敛条件，否则认为不满足收敛条件。

为了对整幅图像进行平滑，可以通过递增预定粒度的整数倍数来执行划分步骤、填充步骤、平滑步骤和重构步骤，直到处理完图像中的所有像素为止。换句话说，通过不断地增大对图像进行划分时所采用粒度来逐级地执行处理。

优选地，可以将图像从原始图像表示空间（例如，RGB空间）转换到YCbCr图像表示空间，然后针对维度Cb和维度Cr中的至少一个维度的图像进行下采样以获得相应维度上的缩小图像。接下来，分别对维度Y的图像、维度Cb的缩小图像和维度Cr的缩小图像进行参照图1至4描述的处理。例如，可以将Cb和Cr维度的图像的分辨率减小到原分辨率的1/2。但是，应当理解到，Cb和Cr维度的图像不一定被缩小到相同的分辨率，而可以根据需要缩小到不同的分辨率。例如，可以将Cb维度的图像缩小到原分辨率的1/2，而将Cr维度的图像缩小到原分辨率的1/4。相比于Y维度的图像而言，Cb维度的图像和Cr维度的图像的重要程度低，因此，即使缩小Cb维度的图像和Cr维度的图像也不会太影响处理质量，而处理速度会大幅度增大。

在结束了参照图1至4描述的处理之后，可以对Cr维度的缩小图像和Cb维度的缩小图像进行上采样以恢复其原始尺寸，然后，可以将恢复原始尺寸的图像从YCbCr图像表示空间转换回原始图像表示空间。

此外，可选地，可以对最终获得的图像进行高斯平滑，从而提高图像的平滑程度。

以上描述了根据本发明的实施例的图像平滑方法。以下将描述根据本发明的实施例的图像平滑装置。应当理解到，针对方法描述的那些内容也适用于相应的图像平滑装置。因此，为了简明起见，将省略重复描述。

图5是示出根据本发明的一个实施例的图像平滑装置500的配置框图。图像平滑装置500通过对表示前景或背景的图像进行数据填充以使图像平滑。

如图5所示，图像平滑装置500包括划分部502、填充部504、平滑部506、重构部508和控制部510。

划分部502在控制部510的控制下以特定粒度将图像划分成多个块。填充部504在控制部510的控制下针对划分部502划分得到的多个块中包含空白像素和非空白像素的块，将块的空白像素的值修改为基于非空白像素的值获得的值，从而获得填充后的块。平滑部506在控制部510的控制下对填充部504填充后的块的像素矩阵进行奇异值分解来获得像素值被平滑的块，其中像素值被平滑的块的像素矩阵的值被计算为所获得的奇异值、左奇异向量和右奇异向量的转置的乘积。对于填充部506获得的像素值被平滑的块中每个非空白像素，重构部508在控制部510的控制下将非空白像素的值恢复为在填充部506进行填充之前非空白像素的初始值，从而获得重构后的块。控制部510控制划分部502、填充部504、平滑部506和重构部508执行操作。

优选地，控制部510可以被配置为控制平滑部506和重构部508迭代地执行操作，直到满足预定收敛条件为止。

例如，控制部510可以判断两次连续迭代所得到的两个重构后的块的像素的均方差是否小于预定值。如果均方差小于预定值，则认为满足收敛条件，否则认为不满足收敛条件。

优选地，控制部510可以被配置为控制划分部502通过将整数倍数的特定粒度当作特定粒度来执行操作，并且控制填充部504、平滑部506和重构部508将以特定粒度划分出的多个块中的空白块和重构后的块分别当作空白像素和非空白像素来执行操作。

优选地，控制部510可以被配置为控制划分部502、填充部504、平滑部506和重构部508通过递增整数倍数来执行操作，直到处理完图像中的所有像素为止。

图6是示出根据本发明的另一个实施例的图像平滑装置500’的配置框图。

图6所示的图像平滑装置500’与图5所示的图像平滑装置500的区别在于，图像平滑装置500’还可以包括第一转换部512、下采样部514、上采样部516和第二转换部518。

第一转换部512可以将图像从原始图像表示空间转换到YCbCr图像表示空间。下采样部514可以针对维度Cb和维度Cr中的至少一个维度的图像进行下采样以获得相应维度上的缩小图像，并将缩小图像发送给划分部502。

控制部510控制划分部502、填充部504、平滑部506和重构部508执行操作。划分部502可以在控制部510的控制下以特定粒度将经下采样部514进行的处理而获得的图像划分成多个块。填充部504可以在控制部510的控制下针对划分部502划分得到的多个块中包含空白像素和非空白像素的块，将块的空白像素的值修改为基于非空白像素的值获得的值，从而获得填充后的块。平滑部506可以在控制部510的控制下对填充部504填充后的块的像素矩阵进行奇异值分解来获得像素值被平滑的块，其中像素值被平滑的块的像素矩阵的值被计算为所获得的奇异值、左奇异向量和右奇异向量的转置的乘积。对于填充部506获得的像素值被平滑的块中每个非空白像素，重构部508可以在控制部510的控制下将非空白像素的值恢复为在填充部506进行填充之前非空白像素的初始值，从而获得重构后的块。

上采样部516可以对经重构部508重构的图像进行上采样以恢复其原始尺寸。第二转换部518可以对恢复原始尺寸的图像从YCbCr图像表示空间转换回原始图像表示空间。

图7是示出根据本发明的又一个实施例的图像平滑装置500”的配置框图。

图7所示的图像平滑装置500”与图5所示的图像平滑装置500的区别在于，图像平滑装置500”还可以包括高斯平滑部520。

高斯平滑部520可以对经重构部508重构的图像进行高斯平滑，从而能够获得平滑程度更高的图像。

以上结合具体实施例描述了本发明的基本原理，但是，需要指出的是，对本领域的普通技术人员而言，能够理解本发明的方法和装置的全部或者任何步骤或者部件，可以在任何计算装置（包括处理器、存储介质等）或者计算装置的网络中，以硬件、固件、软件或者它们的组合加以实现，这是本领域普通技术人员在阅读了本发明的说明的情况下运用他们的基本编程技能就能实现的。

因此，本发明的目的还可以通过在任何计算装置上运行一个程序或者一组程序来实现。所述计算装置可以是公知的通用装置。因此，本发明的目的也可以仅仅通过提供包含实现所述方法或者装置的程序代码的程序产品来实现。也就是说，这样的程序产品也构成本发明，并且存储有这样的程序产品的存储介质也构成本发明。显然，所述存储介质可以是任何公知的存储介质或者将来所开发出来的任何存储介质。

在通过软件和/或固件实现本发明的实施例的情况下，从存储介质或网络向具有专用硬件结构的计算机，例如图8所示的通用计算机800安装构成该软件的程序，该计算机在安装有各种程序时，能够执行各种功能等等。

在图8中，中央处理单元(CPU)801根据只读存储器(ROM)802中存储的程序或从存储部分808加载到随机存取存储器(RAM)803的程序执行各种处理。在RAM803中，也根据需要存储当CPU801执行各种处理等等时所需的数据。CPU801、ROM802和RAM803经由总线804彼此链路。输入/输出接口805也链路到总线804。

下述部件链路到输入/输出接口805：输入部分806（包括键盘、鼠标等等）、输出部分807（包括显示器，比如阴极射线管(CRT)、液晶显示器(LCD)等，和扬声器等）、存储部分808（包括硬盘等）、通信部分809（包括网络接口卡比如LAN卡、调制解调器等）。通信部分809经由网络比如因特网执行通信处理。根据需要，驱动器810也可链路到输入/输出接口805。可拆卸介质811比如磁盘、光盘、磁光盘、半导体存储器等等根据需要被安装在驱动器810上，使得从中读出的计算机程序根据需要被安装到存储部分808中。

在通过软件实现上述系列处理的情况下，从网络比如因特网或存储介质比如可拆卸介质811安装构成软件的程序。

本领域的技术人员应当理解，这种存储介质不局限于图8所示的其中存储有程序、与设备相分离地分发以向用户提供程序的可拆卸介质811。可拆卸介质811的例子包含磁盘(包含软盘(注册商标))、光盘(包含光盘只读存储器(CD-ROM)和数字通用盘(DVD))、磁光盘（包含迷你盘(MD)(注册商标))和半导体存储器。或者，存储介质可以是ROM802、存储部分808中包含的硬盘等等，其中存有程序，并且与包含它们的设备一起被分发给用户。

本发明还提出一种存储有机器可读取的指令代码的程序产品。指令代码由机器读取并执行时，可执行上述根据本发明实施例的方法。

相应地，用于承载上述存储有机器可读取的指令代码的程序产品的存储介质也包括在本发明的公开中。存储介质包括但不限于软盘、光盘、磁光盘、存储卡、存储棒等。

本领域的普通技术人员应理解，在此所例举的是示例性的，本发明并不局限于此。

在本说明书中，“第一”、“第二”以及“第N个”等表述是为了将所描述的特征在文字上区分开，以清楚地描述本发明。因此，不应将其视为具有任何限定性的含义。

作为一个示例，上述方法的各个步骤以及上述设备的各个组成模块和/或单元可以实施为软件、固件、硬件或其组合，并作为相应设备中的一部分。上述装置中各个组成模块、单元通过软件、固件、硬件或其组合的方式进行配置时可使用的具体手段或方式为本领域技术人员所熟知，在此不再赘述。

作为一个示例，在通过软件或固件实现的情况下，可以从存储介质或网络向具有专用硬件结构的计算机（例如图8所示的通用计算机800）安装构成该软件的程序，该计算机在安装有各种程序时，能够执行各种功能等。

在上面对本发明具体实施例的描述中，针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其他实施方式中使用，与其他实施方式中的特征相组合，或替代其他实施方式中的特征。

应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其他特征、要素、步骤或组件的存在或附加。

此外，本发明的方法不限于按照说明书中描述的时间顺序来执行，也可以按照其他的时间顺序地、并行地或独立地执行。因此，本说明书中描述的方法的执行顺序不对本发明的技术范围构成限制。

本发明及其优点，但是应当理解在不超出由所附的权利要求所限定的本发明的精神和范围的情况下可以进行各种改变、替代和变换。而且，本发明的范围不仅限于说明书所描述的过程、设备、手段、方法和步骤的具体实施例。本领域内的普通技术人员从本发明的公开内容将容易理解，根据本发明可以使用执行与在此的相应实施例基本相同的功能或者获得与其基本相同的结果的、现有和将来要被开发的过程、设备、手段、方法或者步骤。因此，所附的权利要求旨在在它们的范围内包括这样的过程、设备、手段、方法或者步骤。

基于以上的说明，可知公开至少公开了以下技术方案：

方案1.一种对表示前景或背景的图像进行数据填充以使图像平滑的方法，包括：

划分步骤，以特定粒度将所述图像划分成多个块；

填充步骤，针对所述多个块中包含空白像素和非空白像素的块，将所述块的空白像素的值修改为基于所述非空白像素的值获得的值，从而获得填充后的块；

平滑步骤，对所述填充后的块的像素矩阵进行奇异值分解来获得像素值被平滑的块，其中所述像素值被平滑的块的像素矩阵的值被计算为所获得的奇异值、左奇异向量和右奇异向量的转置的乘积；以及

重构步骤，对于所述像素值被平滑的块中每个非空白像素，将所述非空白像素的值恢复为在所述填充步骤之前所述非空白像素的初始值，从而获得重构后的块。

方案2.根据方案1所述的方法，还包括：

迭代地执行所述平滑步骤和所述重构步骤，直到满足预定收敛条件为止。

方案3.根据方案1所述的方法，还包括：

将整数倍数的特定粒度当作所述特定粒度来执行所述划分步骤，将以所述特定粒度划分出的多个块中的空白块和所述重构后的块分别当作所述空白像素和所述非空白像素来执行所述填充步骤、所述平滑步骤和所述重构步骤。

方案4.根据方案3所述的方法，还包括：

方案5.根据方案3所述的方法，还包括：

通过递增所述整数倍数来执行所述划分步骤、所述填充步骤、所述平滑步骤和所述重构步骤，直到处理完所述图像中的所有像素为止。

方案6.根据方案2或4所述的方法，其中，所述预定收敛条件是两次连续迭代所得到的两个重构后的块的像素的均方差是否小于预定值。

方案7.根据方案1所述的方法，在所述划分步骤之前，还包括：

第一转换步骤，将所述图像从原始图像表示空间转换到YCbCr图像表示空间；以及

下采样步骤，针对维度Cb和维度Cr中的至少一个维度的图像进行下采样以获得相应维度上的缩小图像。

方案8.根据方案7所述的方法，在所述重构步骤之后，还包括：

上采样步骤，对所述缩小图像进行上采样以恢复其原始尺寸；以及

第二转换步骤，将恢复原始尺寸的图像从所述YCbCr图像表示空间转换回所述原始图像表示空间。

方案9.根据方案1所述的方法，在所述重构步骤之后，还包括：

高斯平滑步骤，对经所述重构步骤重构的图像进行高斯平滑。

方案10.一种对表示前景或背景的图像进行数据填充以使图像平滑的装置，包括：

划分部，用于以特定粒度将所述图像划分成多个块；

填充部，用于针对所述多个块中包含空白像素和非空白像素的块，将所述块的空白像素的值修改为基于所述非空白像素的值获得的值，从而获得填充后的块；

平滑部，用于对所述填充后的块的像素矩阵进行奇异值分解来获得像素值被平滑的块，其中所述像素值被平滑的块的像素矩阵的值被计算为所获得的奇异值、左奇异向量和右奇异向量的转置的乘积；

重构部，用于对于所述像素值被平滑的块中每个非空白像素，将所述非空白像素的值恢复为在所述填充部进行填充之前所述非空白像素的初始值，从而获得重构后的块；以及

控制部，用于控制所述划分部、所述填充部、所述平滑部和所述重构部执行操作。

方案11.根据方案10所述的装置，还包括：

所述控制部被配置为控制所述平滑部和重构部迭代地执行操作，直到满足预定收敛条件为止。

方案12.根据方案10所述的装置，所述控制部被配置为控制所述划分部通过将整数倍数的特定粒度当作所述特定粒度来执行操作，并且控制所述填充部、所述平滑部和所述重构部将以所述特定粒度划分出的多个块中的空白块和所述重构后的块分别当作所述空白像素和所述非空白像素来执行操作。

方案13.根据方案12所述的装置，所述控制部被配置为控制所述平滑部和所述重构部迭代地执行操作，直到满足预定收敛条件为止。

方案14.根据方案12所述的装置，所述控制部被配置为控制所述划分部、所述填充部、所述平滑部和所述重构部通过递增所述整数倍数来执行操作，直到处理完所述图像中的所有像素为止。

方案15.根据方案11或13所述的装置，其中，所述预定收敛条件是两次连续迭代所得到的两个重构后的块的像素的均方差是否小于预定值。

方案16.根据方案10所述的装置，还包括：

第一转换部，用于将所述图像从原始图像表示空间转换到YCbCr图像表示空间；以及

下采样部，用于针对维度Cb和维度Cr中的至少一个维度的图像进行下采样以获得相应维度上的缩小图像，并将所述缩小图像发送给所述划分部。

方案17.根据方案16所述的装置，还包括：

上采样部，用于对经所述重构部重构的图像进行上采样以恢复其原始尺寸；以及

第二转换部，用于对恢复原始尺寸的图像从所述YCbCr图像表示空间转换回所述原始图像表示空间。

方案18.根据方案10所述的装置，还包括：

高斯平滑部，用于对经所述重构部重构的图像进行高斯平滑。

方案19.一种用于实现根据方案1至9中任一项所述的方法的计算机程序。

方案20.一种计算机可读介质形式的计算机程序产品，其上记录有用于实现根据方案1至9中任一项所述的方法的计算机程序代码。

Claims

1.一种对表示前景或背景的图像进行数据填充以使图像平滑的方法，包括：

划分步骤，以特定粒度将所述图像划分成多个块；

重构步骤，对于所述像素值被平滑的块中每个非空白像素，将所述非空白像素的值恢复为在所述填充步骤之前所述非空白像素的初始值，从而获得重构后的块，

其中，所述方法还包括：

将整数倍数的特定粒度当作所述特定粒度来重新执行所述划分步骤，将以所述特定粒度划分出的多个块中的空白块和所述重构后的块分别当作所述空白像素和所述非空白像素来重新执行所述填充步骤、所述平滑步骤和所述重构步骤；以及

通过递增所述整数倍数来重新执行所述划分步骤、所述填充步骤、所述平滑步骤和所述重构步骤，直到处理完所述图像中的所有像素为止。

2.根据权利要求1所述的方法，还包括：

在每次执行完划分步骤、填充步骤、平滑步骤和重构步骤之后，通过将重构后的块当作填充后的块来迭代地执行所述平滑步骤和所述重构步骤，直到满足预定收敛条件为止。

3.根据权利要求2所述的方法，其中，所述预定收敛条件是两次连续迭代所得到的两个重构后的块的像素的均方差是否小于预定值。

4.根据权利要求1所述的方法，在所述划分步骤之前，还包括：

5.根据权利要求4所述的方法，在所述重构步骤之后，还包括：

6.根据权利要求1所述的方法，在所述重构步骤之后，还包括：

7.一种对表示前景或背景的图像进行数据填充以使图像平滑的装置，包括：

划分部，用于以特定粒度将所述图像划分成多个块；

控制部，用于控制所述划分部、所述填充部、所述平滑部和所述重构部执行操作，

其中，所述控制部被配置为：

控制所述划分部通过将整数倍数的特定粒度当作所述特定粒度来重新执行操作，并且控制所述填充部、所述平滑部和所述重构部将以所述特定粒度划分出的多个块中的空白块和所述重构后的块分别当作所述空白像素和所述非空白像素来重新执行操作；以及

控制所述划分部、所述填充部、所述平滑部和所述重构部通过递增所述整数倍数来重新执行操作，直到处理完所述图像中的所有像素为止。