CN101231698A - 分割图像和/或接收表示分割的图像的信号的设备和方法 - Google Patents

Abstract

提供了一种分割图像和/或接收表示分割的图像的信号的设备和方法。一种在图像编码和解码***中使用的设备，所述设备包括：分割单元，将图像划分成一个或多个块，并根据代价最优函数和特征向量将块分割成前景和背景的二值蒙板层，以根据分割的块产生分割图像。

Description

分割图像和/或接收表示分割的图像的信号的设备和方法

技术领域

本发明涉及一种在图像编码和/或解码***中分割图像和/或接收分割的图像的设备和方法，更具体地讲，涉及这样一种设备和方法，该设备和方法将图像划分成块，通过使用代价最优分割和连接分量分类来定义各个块以产生分割图像，并在基于混合光栅内容的编码和/或解码***中接收用于表示分割的图像的信号。

背景技术

在ITU-T T.44中定义的混合光栅内容(MRC)是一种与传统有损图像压缩算法相比可显著提高压缩/质量权衡的有效文档压缩的标准。MRC将图像表示为一组层。在MRC的最基本模式下，将具有文本和画面的混合文档分离成三层：二值蒙板(binary mask)层、前景层和背景层。二值蒙板层表示对每一像素，将前景分配为“1”或将背景分配为“0”。根据ITU-T T.44，推荐将文本和素描(line art)归类为前景层，并将画面归类为背景。

创建二值蒙板层的过程被称为分割。在分割之后，可由合适的编码器对每一层进行压缩，以创建MRC文档。例如，可通过使用JPEG或JPEG 2000来对前景层和背景层压缩，而可通过使用JBIG或JBIG2对二值蒙板层编码。

分割是MRC编码以区分图像中的文本和图形区域的处理，并且创建上述的二值蒙板层。通常，前景层包含文本的颜色，背景层包含图像和图形，二值蒙板层用于表示文本字体的细节。因为二值蒙板层定义字符的形状，并且因为不正确的分割可导致解码图像的失真，所以解码图像的质量严重依赖于分割算法。

尽管分割是MRC编码中的关键步骤，但是标准ITU-T T.44没有定义分割方法。相反，标准ITU-T T.44只定义了MRC文档解码器的结构，所以可以独立地将任何分割算法进行优化以获得最佳性能。

对于在文档压缩中使用的分割，有多种期望的属性。为了示出的目的，解释二值分割，但是还可将多层分割应用于文档压缩。根据应用的需要，所述属性可以重要或不太重要。以下将列出所述期望的属性。

所述属性之一是沿文本和图形边界的分割边缘-一种好的分割将包含文本和图形边缘位置处的过渡。因为期望减小编码的文档的每一像素的总比特，所以即使当以低分辨率和低质量对前景层和背景层编码时，分割中的边缘也考虑精确和高分辨率的文本边缘的编码。

另一属性是空间平滑分割-因为两种原因对所述分割进行空间平滑。首先，可通过二进制图像编码器来更有效地对平滑分割进行编码，从而减小编码的文档中每一像素的总比特。其次，因为前景图像和背景图像在它们接合在一起的位置之间的不一致，所以分割中的伪边缘可导致最终解码文档中的缺陷。

另一属性是被可靠地归类为背景层的图像区域-因为通常对于自然图像的压缩来优化背景层的子采样、数据填充和编码，所以上述属性对于一致地将图像区域归类为背景层是有用的。

另一属性是被可靠地归类为前景层的文本区域-因为通常对于文本字体填充色的压缩来优化前景层的子采样、数据填充和编码，所以上述属性对于一致地将文本区域归类为前景层是有用的。

另一属性是文本和/或图形内容的准确表示。在一些应用中，使用分割层来分析文档的内容。在这些情况下，分割准确表示文档的文本和/或图形内容是有用的。

对于许多MRC应用，由于在一些应用中，适当地将文本标记为前景和只将文本标记为前景提高解码文档的质量并减小比特率(即，编码文档的每一像素的比特数)，所以重要的是，分割在前景平面(即，被标记为“1”的蒙板像素)中仅包含文本，并且文档的所有其他区域应该在背景平面(即，被标记为“0”的蒙板像素)中。然而，传统分割方法产生错误。这些错误可有两种形式。例如，可能将文本错误地分割成背景，以及可能将背景错误地分割成前景。

图1是示出作为二值蒙板的错误分类的示例的传统图像编码设备中二值蒙板中的错误的示图。黑色区域表示标记“1”，白色区域表示标记“0”。在该示例中，大多数文本区域被适当地分割成前景，但因为过度灵敏的边缘检测导致在画面区域中所含的一些边缘也被分割成前景。注意，可通过一组连接分量来描述分割的前景部分，每个连接分量表示在都被标记为前景(即，“1”)的蒙板中的一组相邻像素。通过使用这种特性，一种减小二值蒙板中的错误的方法是去除被错误地归类为前景的连接分量。

发明内容

本发明总体构思提供了一种在图像编码和/或解码***中分割图像的设备和方法。

本发明总体构思还提供了一种在基于混合光栅内容的编码和/或解码***中分割图像的设备和方法。

本发明总体构思还提供了一种在图像编码和/或解码***中使用代价最优函数和/或连接分量分类分割图像的设备和方法。

本发明总体构思还提供了一种在基于混合光栅内容的图像编码和/或解码***中将图像划分成块并定义各个块的设备和方法。

本发明总体构思还提供了一种在基于混合光栅内容的图像编码和/或解码***中将图像划分成块并通过使用连接分量分类定义各个块的设备和方法。

本发明总体构思还提供了一种图像编码和/或解码***，所述***通过使用混合光栅内容以及代价最优函数和连接分量分类中的至少一个来分割图像和/或接收表示分割的图像的信号。

本发明总体构思还提供了一种在图像编码和/或解码***中减小二值蒙板中的误差的方法和设备。

本发明总体构思还提供了一种在图像编码和/或解码***中将二值蒙板层的像素可靠地分类成前景和背景的方法和设备。

本发明总体构思还提供了一种在图像编码和/或解码***中从二值蒙板层可靠地提取文本区域的方法和设备。

本发明总体构思还提供了一种在图像编码和/或解码***中增加提取文本区域的效率并减小检测文本区域和非文本区域的错误的方法和设备。

本发明总体构思的其他方面和/或优点将在下面的描述中被部分地阐述，部分地从描述中将是明显的，或可通过实施本发明总体构思而了解。

可通过提供一种在图像编码和解码***中使用的设备来实现本发明总体构思的以上和/或其他方面，所述设备包括：分割单元，将图像划分成一个或多个块，并根据代价最优函数和各个块的特征向量将图像的块分割成前景和背景的二值蒙板层，以产生分割图像。

分割单元可包括：划分器，将图像划分成一个或多个块，所述一个或多个块被彼此相邻布置，以在第一和第二方向中的至少一个上彼此重叠。

分割单元可包括：划分器，将图像划分成一个或多个块，并且所述一个或多个块中的每一块包括在第一和第二方向的至少一个上与相邻块有一个或多个重叠区域的相同像素。

分割单元可包括：代价最优分割(COS)单元，将各个块定义为分割候选，并根据代价最优函数修改分割候选。

COS单元可包括：第一分割单元，根据块的分类将各个块定义为分割候选；和第二分割单元，根据代价最优函数修改分割候选。

代价最优函数可对应于图像的特征和相邻块之间的分割的一致性。

代价最优函数可对应于块的属性，并且块的属性包括沿文本和图形边界的分割边缘、空间平滑分割、被分类为背景层的图像区域、被分类为前景层的文本区域、文本和/或图形内容的准确表示中的一个。

代价最优函数可对应于在相邻块的重叠区域中的像素之间的误匹配的个数。

代价最优函数可对应于相邻块的重叠区域中的像素的方差。

代价最优函数可对应于相邻块的恒定性。

分割单元可根据代价最优函数修改块，以控制分割图像的图像质量和压缩率。

分割单元可包括：连接分量分类(CCC)单元，根据最初分割图像的特征向量修改最初分割图像，以产生分割图像。

CCC单元可提取相邻块的连接分量，并根据连接分量计算各个块的特征向量。

CCC单元可根据特征向量对图像的块的像素数据进行分类，以修改块的像素数据，从而根据修改的像素数据产生分割图像。

CCC单元可将特征向量与参考向量进行比较，以修改图像的块的像素数据。

CCC单元可根据最初分割图像的相邻区域的特征向量将最初分割图像的区域分类为文本区域和非文本区域，其中，最初分割图像是根据代价最优函数而被分割的。

特征向量包括文本符号向量和非文本符号向量。

分割单元还可根据特征向量修改根据代价最优函数而分割的各个块，以根据修改的块输出分割图像。

分割单元可根据特征向量修改块，以控制分割图像的错误警告概率和正确检测概率。

所述设备还可包括：扫描单元，扫描文档，以产生与图像相应的信号。

所述设备还可包括：打印单元，打印与输出图像相应的信号。

还可通过提供一种在图像编码和解码***中使用的设备来实现本发明总体构思的以上和/或其他方面，所述设备包括：分割单元，将图像划分成一个或多个块，根据代价最优函数将块分割成前景和背景的二值蒙板层，以根据分割的块产生输出图像。

还可通过提供一种在图像编码和解码***中使用的设备来实现本发明总体构思的以上和/或其他方面，所述设备包括：分割单元，将图像划分成一个或多个块，并根据特征向量将块分割成一个或多个前景和以及一个或多个背景的二值蒙板层，以根据分割的块产生分割图像。

还可通过提供一种在图像编码和解码***中使用的设备来实现本发明总体构思的以上和/或其他方面，所述设备包括：解码单元，对从根据代价函数和特征向量的分割图像编码的图像信号解码，以产生解码的图像。

所述设备还可包括：打印单元，在打印介质上打印解码的图像。

还可通过提供一种在图像编码和解码***中使用的设备来实现本发明总体构思的以上和/或其他方面，所述设备包括：分割单元，将图像划分成一个或多个块，并根据代价最优函数和特征向量将块分割成一个或多个前景和一个或多个背景的二值蒙板层，以根据分割的块产生分割图像；和解码单元，对与根据代价函数和特征向量的分割的块形成的分割图像相应的信号解码，以产生解码的图像。

所述设备还可包括：打印单元，在打印介质上打印解码的图像。

所述设备还可包括：扫描单元，扫描文档，以产生与图像相应的信号。

还可通过提供一种图像编码和解码***的方法来实现本发明总体构思的以上和/或其他方面，所述方法包括：将图像划分成一个或多个块；根据代价最优函数和特征向量将块分割成前景和背景的二值蒙板层，以根据分割的块产生分割图像。

还可通过提供一种图像编码和解码***的方法来实现本发明总体构思的以上和/或其他方面，所述方法包括：将图像划分成一个或多个块；根据代价最优函数将块分割成前景和背景的二值蒙板层，以根据分割的块产生分割图像。

还可通过提供一种图像编码和解码***的方法来实现本发明总体构思的以上和/或其他方面，所述方法包括：将图像划分成一个或多个块；根据特征向量将块分割成前景和背景的二值蒙板层，以根据分割的块产生分割图像。

还可通过提供一种图像编码和解码***的方法来实现本发明总体构思的以上和/或其他方面，所述方法包括：对从根据代价函数和特征向量的分割图像编码的图像信号解码，以产生解码的图像；和在打印介质上打印解码的图像。

还可通过提供一种图像编码和解码***的方法来实现本发明总体构思的以上和/或其他方面，所述方法包括：将图像划分成一个或多个块；根据代价最优函数和特征向量将块分割成前景和背景的二值蒙板层，以根据分割的块产生分割图像；和对与根据代价函数和特征向量的分割的块的分割图像相应的信号解码，以产生解码的图像。

还可通过提供一种包含计算机可读代码作为用于执行图像编码和解码***的方法的程序的计算机可读记录介质来实现本发明总体构思的以上和/或其他方面，所述方法包括：将图像划分成一个或多个块；根据代价最优函数和特征向量将块分割成前景和背景的二值蒙板层，以根据分割的块产生分割图像。

还可通过提供一种包含计算机可读代码作为用于执行图像编码和解码***的方法的程序的计算机可读记录介质来实现本发明总体构思的以上和/或其他方面，所述方法包括：将图像划分成一个或多个块；根据代价最优函数将块分割成前景和背景的二值蒙板层，以根据分割的块产生分割图像。

还可通过提供一种包含计算机可读代码作为用于执行图像编码和解码***的方法的程序的计算机可读记录介质来实现本发明总体构思的以上和/或其他方面，所述方法包括：将图像划分成一个或多个块；根据特征向量将块分割成前景和背景的二值蒙板层，以根据分割的块产生分割图像。

还可通过提供一种包含计算机可读代码作为用于执行图像编码和解码***的方法的程序的计算机可读记录介质来实现本发明总体构思的以上和/或其他方面，所述方法包括：对从根据代价函数和特征向量的分割的块的分割图像编码的图像信号解码，以产生解码的图像；和在打印介质上打印解码的图像。

还可通过提供一种包含计算机可读代码作为用于执行图像编码和解码***的方法的程序的计算机可读记录介质来实现本发明总体构思的以上和/或其他方面，所述方法包括：将图像划分成一个或多个块；根据代价最优函数和各个块的特征向量将块分割成前景和背景的二值蒙板层，以根据分割的块产生分割图像；对与根据代价函数和特征向量的分割的块的分割图像相应的信号解码，以产生解码的图像。

还可通过提供一种图像编码和解码***中使用的设备来实现本发明总体构思的以上和/或其他方面，所述设备包括：分割单元，将图像划分成一个或多个块，根据相邻块的误匹配个数将块的相邻像素数据分割成前景和背景的二值蒙板层，并对块的像素数据进行调整，以根据分割的块产生分割图像。

还可通过提供一种图像编码和解码***中使用的设备来实现本发明总体构思的以上和/或其他方面，所述设备包括：分割单元，将图像划分成一个或多个块，并根据各个块的特征向量将块分割成前景和背景的二值蒙板层，以根据分割的块产生分割图像。

附图说明

从下面结合附图对实施例的描述，本发明总体构思的以上和/或其他方面和优点将变得清楚，并更容易理解，其中：

图1是示出传统图像编码设备中二值蒙板中的错误的示图；

图2是示出根据本发明总体构思的实施例的图像编码和/或解码***的框图；

图3是示出根据本发明总体构思的实施例的图2的图像编码和/或解码***的分割单元的框图；

图4是示出根据本发明总体构思的实施例的图像编码和/或解码***的分割单元的方法的流程图；

图5是示出原始图像和图2以及图3的图像编码和/或解码***的分割的图像的示图；

图6是根据本发明总体构思的实施例的图像编码和/或解码***的分割单元的框图；

图7是示出根据本发明总体构思的实施例的图像编码和/或解码***的分割单元的方法的流程图；

图8是示出图2和图6的图像编码和/或解码***的分割单元的特征向量图示的示图；和

图9是示出原始图像、在图2和图6的图像编码和/或解码***的分割单元中形成的最初分割和CCC分割的示图。

具体实施方式

现在将详细阐述本发明总体构思的实施例，其示例在附图中示出，其中，相同的标号始终表示相同的部件。

图2是示出根据本发明总体构思的实施例的图像编码和/或解码***的框图。参照图2，所述图像编码和/或解码***可以是使用在ITU-T T.44中定义的混合光栅内容(MRC)以产生压缩的图像或文档的设备。在MRC编码中，图像被表示为一组层，例如，二值蒙板层、前景层和背景层。二值蒙板层包括一个或多个前景和一个或多个背景，例如，像素值1和0分别表示前景和背景。当前实施例根据稍后将描述的代价最优分割(COS)和连接分量分类(CCC)对二值蒙板层执行分割，以改变或调整二值蒙板层的块的像素值。二值蒙板层的每一像素可具有表示前景像素或背景像素的值，以形成二值蒙板层。可通过前景层来表示二值蒙板层的前景像素，并可通过背景层来表示二值蒙板层的背景像素。

图像编码和/解码***可包括：编码设备210和解码设备270。编码设备210可包括：扫描单元220、分割单元230、编码单元240以及发送单元250和/或接收单元260。解码设备270可包括：发送和/或接收单元260、解码单元271和打印单元272。发送单元和/或接收单元250以及260通过线280(例如，电路、有线网络或无线网络)被连接。分割单元230可包括：划分器231、代价最优分割(COS)单元232和连接分量分类(CCC)单元233。在分割单元230中可选择性地使用COS单元232和CCC单元233。

分割单元230可从扫描单元220或外部装置接收图像数据，以分割图像数据。图像数据可表示页图像或页图像的一部分。扫描单元220可包括用于进给文档的文档进给器和用于扫描所进给的文档以产生信号(例如，图像数据)的扫描仪。

划分器231可将具有多个像素的图像划分成一个或多个块，每一块具有预定数量的像素。相邻块可彼此重叠，以具有相同的像素。即，图像数据的相同像素可被包括在相邻块中。每一像素可具有表示前景或背景像素的值，以形成二值蒙板层。

COS单元232根据代价最优分割(COS)来分割图像数据的块。COS单元232可将各个块定义为用于分割的分割候选，例如，四个分割候选，然后根据全局代价最小化(例如，代价最优分割)来将分割候选确定为最终分割。将各个块的像素分割成前景像素和背景像素，例如，值1或0。分割可以是原始、反转、全前景和全背景。可根据分割将各个块的像素从前景像素改变为背景像素，或将各个块的像素从背景像素改变为前景像素，例如，0到1，或者从1到0。当分别将各个块设置为全前景或全背景时，可将各个块的所有像素设置为前景像素或背景像素。COS单元232产生从具有调整的像素的分割的块形成的分割图像

CCC单元233根据连接分量分类(CCC)处理分割图像或图像数据的分割的块。CCC单元233可从分割图像或分割的块中提取一个或多个连接分量，根据表示各个连接分量的一个或多个属性的特征向量提取连接分量作为文本或非文本，并调整COS单元232的分割图像，从而可根据特征向量来调整分割图像的像素。可从被形成为分割图像的图像的相邻块或相邻区域中提取连接分量。可在划分器231和CCC单元233之间连接传统的分割单元或与COS单元232不同的另一分割单元，以产生分割的图像，从而CCC单元从所述传统的分割单元接收分割图像，并对分割图像执行CCC。

可从COS单元232和/或CCC单元233形成最终分割图像。即，可从像素值被调整或改变的块的分割图像形成最终分割图像。由于相邻块共享像素，所以可不同地改变相邻块共享的像素，调整相邻块的被不同改变的像素，从而组合相邻块，以形成表示最终分割图像的图像。

编码单元240通过使用相应的编码算法对从COS单元232和/或CCC单元233形成的最终分割图像编码，并对背景层和前景层编码，并通过发送和/或接收单元250以及线280将表示二值蒙板层的最终分割图像、背景层和前景层的编码的信号输出到解码设备270或外部装置。

解码单元271从编码设备210或外部装置接收编码的信号，并对表示二值蒙板层、背景层和前景层的信号解码，以再现解码的图像。可在打印单元272中在打印介质上打印再现的图像，并可将再现的图像输出到另一外部装置。打印单元272可以是打印机、传真机、多功能设备等。

图2的图像编码和/或解码***的方法可包括：将图像划分成多个块，并对所述多个块执行COS，以产生根据分割的块而形成的分割图像。所述方法可包括：对分割图像执行CCC，以产生另一最终图像作为二值蒙板层，对包括二值蒙板层以及背景层和前景层的信号编码，发送编码的信号，接收编码的信号，对接收的信号解码以再现图像，和/或在打印介质上打印再现的图像。

图3是示出根据本发明总体构思的实施例的图2的图像编码和/或解码***200的编码设备210的分割单元230的框图。参照图2和图3，分割单元230可包括：划分器231和COS单元232，所述COS单元232包括第一COS单元232a和第二COS单元232b。

在分割单元230中使用分割算法，以执行COS来分割图像数据的块，并为代价函数的最优化阐述分割算法，以执行COS。可将分割算法存储在分割单元230、或者分割单元230或编码设备210的存储器中，可将代价函数存储在分割单元230或编码设备210的控制单元中，并将代价函数应用于COS单元232的第二COS单元232b。在划分器231中将输入图像划分成多个块，并在第一COS单元232a中为各个块定义用于分割的四个可能候选作为最初分割。然后，通过使用全局代价最小化步骤为与输入图像数据相应的整个图像确定各个块的最终分割。所述全局代价最小化步骤表示为支持具有期望属性的分割的代价函数的最小化。将代价函数应用于第二COS单元232b，以对各个块执行COS。

由于当将图像划分成多个块时，相邻块共享像素，所以当将所述块组成为表示最终分割图像的图像时，根据COS将所述像素的值从前景改变为背景，或从背景改变为前景。例如，可同时改变相邻块共享的像素以具有相同的值，并将具有同时改变的共享像素值的相邻块组合成图像作为二值蒙板层。

图4是示出根据本发明总体构思的实施例的图像编码和/或解码***的分割单元的方法的流程图。参照图2至图4，所述方法在不降低编码设备210编码的图像信号的质量的情况下，通过使用用于减小压缩率的代价函数对具有相应分割候选的各个块执行COS。

根据代价最优分割(COS)算法来执行COS，首先在操作410将图像数据划分成重叠的块。在每一块中，将像素分割成前景(“1”)或背景(“0”)像素。通过使用多种不同方法中的任何一种方法独立分割每一块，从而基于局部颜色或边缘特征来分离像素。

在操作420，为各个块定义几个分割类(即，分割候选)。例如，各个块的类可以是作为原始二值分割的“原始”、“反转”、“全前景”和“全背景”。如果块类是“原始”，则保持块的原始二值分割。如果块类是“反转”，则将块中的每一像素的类反转(即，从“1”改变为“0”，或从“0”改变为“1”)。如果将块类设置为“全前景”或“全背景”，则分别将块中的像素设置为全1或全0。一旦确定了每一块的类，则通过将每一分割的块的结果接合在一起来确定最终分割。

在最终分割中，在操作430，基于全局代价函数的最小化来选择每一块的类。代价函数可依据图像的特性和相邻块之间的分割的一致性。通常，设计代价函数，以使当分割具有期望属性(例如，如在传统的成像***中所描述的，沿文本和图形边界的分割边缘、空间平滑分割、被可靠地分类为背景层的图像区域、被可靠地分类为前景层的文本区域和文本和/或图形内容的准确表示)时，代价减小。代价函数的特定设计可依据特定的应用和分割中的期望属性。一旦设计了代价函数，则可使用诸如动态规划(dynamicprogramming)的方法来查找近似或精确地使代价函数最小化的块类。在操作440，通过使用最终分割的块来输出分割的图像。

分割的图像可以是从具有像素的分割的块形成的图像。分割的图像可包括从分割的块的组合形成的文本区域和/或非文本区域。分割的图像和分割图像可被称为分割图像。由于根据COS算法对块进行处理，所以可增加分割的图像的压缩率。

COS算法的优点在于，由于对输入图像没有设置假定或约束，所以可增强在各种图像条件(例如，渐层(gradation)或细线(fine line))下的鲁棒性。另一优点是用于未来改善的代价函数的灵活性。

根据当前实施例，以上描述的设备和方法阐述了根据代价函数的最优化的最终分割。设计代价函数，以使当分割具有期望属性时，代价被减小。编码设备或图像编码和/或解码***的制造商可根据期望的层分离来定义代价函数。由于可通过向原始代价函数公式添加新的项或改变系数来修改代价函数，所以可定制分割算法来控制图像数据的质量和压缩率。根据当前实施例，可通过代价函数的参数的***最优化对特定应用调整分割的特性。

对于最优化，分割算法首先提出每一块的几个分割候选。通过只选择使代价函数最优的一个候选来确定最终分割。还可根据期望的层分离的规定或其他标准来定义分割候选。例如，对于多层分割，可提出更多个分割候选。可根据分割的最佳选择中的一个使用例如动态规划的动态最优化处理。

如上所述，代价最优分割(COS)方法提出了一种有效计算的方法，以在图像编码和/或解码***中对图像数据的MRC编码处理的复杂文档进行准确分割。另外，COS方法分别通过代价函数和最优化方法的选择使得分割的质量和计算速度被分开控制。更准确的分割为较大的MRC文档提供了更好的质量和压缩率。这又使得多功能打印机用较少的比特存储和传输较大的文档。

以下将描述特定的代价函数和相关的最优化过程的示例。作为分割的第一处理，将输入图像划分成重叠块序列O_i，j，其中，i＝1…M，j＝1…N。假定每一块O_i，j是原始RGB或其他颜色轴值的m×m阵列，并选择在水平和垂直方向重叠m/2像素的块。如果输入图像的高和宽不能被m除，则执行零填充。

在构造块序列之后，对每一块O_i，j选择具有最大方差的颜色分量并对每一块渲染灰度图像。通过使用聚类方法将每一块分割成两类。聚类方法通过使用阈值来对O_i，i中的每一像素进行分类，并选择所述阈值以使总子类方差γ² _i，j最小化，其中，通过下面的公式来定义γ² _i，j。

${\mathrm{\γ}}_{i,j}^2=\frac{N_{0,i,j}\×{\mathrm{\σ}}_{0,i,j}^2+N_{1,i,j}\×{\mathrm{\σ}}_{1,i,j}^2}{N_{0,i,j}+N_{1,i,j}}$

其中，N_0，i，j是分类为0的像素个数，N_1，i，j是分类为1的像素个数，σ_0，i，j ²和σ_1，i，j ²是每组内的方差。由向块中的每一像素分配二进制值的C_i，j∈{0，1}^m×m表示结果。

从修改的块分类选择最终分割例如，可对每一块的修改定义四种可能的选择，这四种可能的选择由类S_i，j来指定。类0是原始块，类1是反转版本。如下所示，类2和类3指定块是全背景或全前景。

$s_{i,j}=0\⇒{\tilde{C}}_{i,j}=C_{i,j}$

$s_{i,j}=1\⇒{\tilde{C}}_{i,j}=\⫬C_{i,j}$

$s_{i,j}=2\⇒{\tilde{C}}_{i,j}=\mathrm{All}0$

$S_{i,j}=3\⇒{\tilde{C}}_{i,j}=\mathrm{All}1$

通过使代价函数最小化来选择最佳类。示例性的代价函数如下所示。该示例性的代价函数包含4项。

$f=\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}\{{\mathrm{\λ}}_1\left(V_{i,j}^{\left(1\right)}(s_{i,j-1},s_{i,j})\right)+{\mathrm{\λ}}_2\left(V_{i,j}^{\left(2\right)}(s_{i-1,j},s_{i,j})\right)+{\mathrm{\λ}}_4{V}_{i,j}^{\left(4\right)}\left(s_{i,j}\right)+{\mathrm{\λ}}_5{\mathrm{MSE}}_{i,j}\left(s_{i,j}\right)\}$

其中，V_i，j ⁽¹⁾表示在水平相邻的两块之间的重叠区域中的像素之间误匹配的个数。类似地，V_i，j ⁽²⁾表示在垂直相邻的两块之间的重叠区域中的像素之间的误匹配的个数。通过使这些项最小，可使每一块的分割与相邻块最一致。

下面是用于计算V_i，j ⁽¹⁾和V_i，j ⁽²⁾项的特定项。

H_i，j＝在C_i，j-1的右重叠区域和C_i，j的左重叠区域中的像素之间的误匹配的个数。

V_i，j＝在C_i-1，j的下重叠区域和C_i，j的上重叠区域中的像素之间的误匹配的个数。

R_i，j＝在C_i，j的右重叠区域中的1的个数。

L_i，j＝在C_i，j的左重叠区域中的1的个数。

T_i，j＝在C_i，j的上重叠区域中的1的个数。

B_i，j＝在C_i，j的下重叠区域中的1的个数。

S² _i，j＝在与C_i，j相应的块中灰度级的方差。

通过下面的等式给出函数MSE_i，j(S_i，j)的值：

${\mathrm{MSE}}_{i,j}\left(s_{i,j}\right)=\left\{\begin{array}{ccc}{\mathrm{\γ}}_{i,j}^2& \mathrm{if}& s_{i,j}=0\mathrm{or}{s}_{i,j}=1\\ {\mathrm{\λ}}_6{\mathrm{\σ}}_{i,j}^2& \mathrm{if}& s_{i,j}=2\\ {\mathrm{\σ}}_{i,j}^2& \mathrm{if}& s_{i,j}=3\end{array}\right.$

其中，σ² _i，j是块的总方差，λ是小于1的正常数，γ_i，j如先前在聚类方法中所定义。类2(背景)的MSE的减小的值用于当我们想要向背景分配更多的画面区域时的情况。

V⁽⁴⁾ _i，j表示被分类为前景的像素的个数。这种代价对向前景分配太多像素的分割进行排版(panelize)。

λ₁、λ₂、λ₃、λ₄、λ₅和λ₆的值可被选择为实现特定应用的最好结果的自由参数。我们发现，值λ₁＝1、λ₂＝1、λ₃＝20、λ₄＝1、λ₅＝1和λ₆＝0.25情况很好。

可通过使用先前描述的动态规划来求解代价函数的最小化。可逐行执行代价最优化。在当前行i中，我们假定，已经计算了直到先前行i-1的所有代价。对每一块记录了最佳代价和选择的类。一旦我们达到行的末尾，则可从记录路径跟踪在该行中的类的最佳顺序。可选择的执行可能使块的多行最优化，或者可能正好或迭代地使2维的实际代价函数最小化。

因为由于块重叠导致每一像素的最终输出类不明确，所以通过每一块的中心区域来指定最终输出类。一旦获得二值蒙板，就可将图像分成多层，从而编码器可对每一层进行数据填充，或者编码器可适当地对每一层进行修改。

图5是示出原始图像和通过COS算法的分割结果的示图。在分割结果中，黑色区域指示标记“1”(前景)，白色区域指示标记“0”(背景)。在颜色背景上很好地检测到大的文本和小的文本。另外，将文本区域可靠地分类为前景层，将图像区域可靠地分类为背景层。

图6是根据本发明总体构思的实施例的图像编码和/或解码***200的编码设备210的分割单元230的CCC单元233的框图。

参照图2、图3和图6，CCC单元233包括：提取单元610、计算单元620、分类单元630和输出单元640。根据当前实施例，CCC(连接分量分类)提高分割的准确度，以使分割可在前景区域(即，被标记为“1”的蒙板像素)中仅包含文本，并且文档的所有其他区域都在背景(即，被标记为“0”的蒙板像素)中。

提取单元610从COS单元232提取最初分割或最终分割图像，并在最初分割或最终分割图像中提取每个连接分量。计算单元620计算或提取每个连接分量的特征向量，然后分类单元630根据特征向量将每个连接分量的数据分类为文本分量或非文本分量。文本分量仍然被标记为“1”，并且非文本分量被改变为“0”，从而根据分类的数据形成图像分割，并从输出单元640输出图像分割。最初分割可以是分割的块或从分割的块形成的分割的图像的分割。可从COS单元232输出最初分割。当分割单元230中不包括COS单元232时，还可从外部装置输出最初分割或最终分割图像。提取单元610还可从执行另一分割算法的另一单元接收最初分割或最终分割图像。

图7是示出根据本发明总体构思的实施例的图像编码和/或解码***的分割单元的方法的流程图。

参照图6和图7，在操作710，从最初分割提取连接分量。在操作720，从各个块或各个区域(即，背景区域和前景区域)的连接分量来计算特征向量。在操作730，根据特征向量将连接分量的数据分类为文本分量或非文本分量。所述数据可以是各个块(或最初分割的块或最初分割的图像)的各个像素的值。在操作740，形成分割输出，并将该分割输出输出到图2的编码设备210的编码单元240。

根据当前实施例，CCC单元233通过向来自最初分割的每个连接分量分配特征向量来提高分割的准确度。与传统的单独基于块执行分割的算法相比，当前实施例的CCC单元233利用连接分量的属性。因此，以上连接分量分类方法可结合各种分割算法使用以提高结果分割的准确度。

根据当前实施例，CCC单元233的方法提高了在MRC文档编码中的文档分割算法和应用的准确度。还可将连接分量分类方法用于增加适当检测文本的可能性，并用于减小误检测非文本的可能性。文本的更准确的分割提高了MRC编码文档的质量和压缩率，从而使得用较少的比特存储和传输较大的文档。连接分量分类的另一优点是可以与其他分割算法一起使用，并/或被应用于任何MRC文档分割算法的结果。

为了执行连接分量分类，需要定义N维特征向量。特征向量包含表示连接分量的一个或多个属性的计算值。特征向量的属性需要提供足够信息，以对连接分量准确分类。例如，沿每个连接分量的边界的边缘深度的均值和方差是特征向量分量的可能选择。因为文本符号通常具有明显和一致的边界，所以这些分量有助于识别文本。

一旦对每个连接分量计算了特征向量，则将特征向量分类为文本或非文本，并将相应的连接分量标记为文本或非文本。特征向量分类方法的优点在于，可通过分类器(即，分类的特征向量作为文本和非文本)控制错误警告概率和正确检测概率，所述分类器直接影响结果MRC编码的质量和压缩率。

图8是示出图2和图6的图像编码和/或解码***的分割单元的特征向量图示的示图。参照图8，图示中的每一点对应于一组测试图像的最初分割中的连接分量。该特征向量可仅包括二维，即，(1)沿每个连接分量的边界的边缘深度的均值，(2)沿每个连接分量的边界的边缘深度的方差。红色的图示(示出为灰色区域)表示文本，蓝色图示(示出为暗黑色区域)表示画面分量。根据这些图示(区域)，特征向量在视觉上是可分离的。

图9是示出原始图像、在根据CCC(连接分量分类)的图2和图6的图像编码和/或解码***的分割单元中形成的最初分割和CCC分割。根据当前实施例，从最初分割仅提取文本区域(即，黑色)。特征向量可以是10维，并且可通过使用具有高斯混合模型的最大似然(ML)分类将特征向量分类。

如上所述，图像编码和/或解码***根据代价最优分割和连接分量分类增加分割图像的压缩率和准确度。

如上所述，图像编码和/或解码***可选择性地使用COS单元或传统的分割单元，以向CCC单元提供分割图像。当输入图像仅包括文本时，在图像编码和/或解码***中可以不使用CCC单元。

尽管已经显示和描述了本发明总体构思的一些实施例，但是本领域的技术人员应该理解，在不脱离本发明总体构思的原理和精神的情况下，可对这些实施例进行修改，本发明总体构思的范围在权利要求及其等同物中限定。

Claims (40)

1.一种在图像编码和解码***中使用的设备，包括：

分割单元，将图像划分成一个或多个块，并根据代价最优函数和各个块的特征向量将图像的块分割成前景和背景的二值蒙板层，以产生分割图像。

2.如权利要求1所述的设备，其中，分割单元包括：划分器，将图像划分成一个或多个块，所述一个或多个块被彼此相邻布置，以在第一和第二方向中的至少一个上彼此重叠。

3.如权利要求1所述的设备，其中，分割单元包括：划分器，将图像划分成一个或多个块，并且所述一个或多个块中的每一块包括在第一和第二方向的至少一个上与相邻块有一个或多个重叠区域的相同像素。

4.如权利要求1所述的设备，其中，分割单元包括：代价最优分割单元，将各个块定义为分割候选，并根据代价最优函数修改分割候选，以产生分割的块，从而形成分割图像。

5.如权利要求4所述的设备，其中，代价最优分割单元包括：

第一分割单元，根据块的分类将各个块定义为分割候选；和

第二分割单元，根据代价最优函数修改分割候选。

6.如权利要求1所述的设备，其中，代价最优函数对应于图像的特征和相邻块之间的分割的一致性。

7.如权利要求1所述的设备，其中，代价最优函数对应于块的属性，并且块的属性包括沿文本和图形边界的分割边缘、空间平滑分割、被分类为背景层的图像区域、被分类为前景层的文本区域、文本和/或图形内容的准确表示中的一个。

8.如权利要求1所述的设备，其中，代价最优函数对应于在相邻块的重叠区域中的像素之间的误匹配的个数。

9.如权利要求1所述的设备，其中，代价最优函数对应于相邻块的重叠区域中的像素的方差。

10.如权利要求1所述的设备，其中，代价最优函数对应于相邻块的恒定性。

11.如权利要求1所述的设备，其中，分割单元根据代价最优函数修改块，以控制分割图像的图像质量和压缩率。

12.如权利要求1所述的设备，其中，分割单元包括：连接分量分类单元，根据最初分割图像的特征向量修改图像的块的最初分割图像，以产生分割图像。

13.如权利要求12所述的设备，其中，连接分量分类单元提取相邻块的连接分量，并根据连接分量计算各个块的特征向量。

14.如权利要求13所述的设备，其中，特征向量分类单元根据特征向量对图像的块的像素数据进行分类，以修改块的像素数据，从而根据修改的像素数据产生分割图像。

15.如权利要求14所述的设备，其中，特征向量分类单元将特征向量与参考向量进行比较，以修改图像的块的像素数据。

16.如权利要求12所述的设备，其中，特征向量分类单元根据最初分割图像的相邻区域的特征向量将最初分割图像的区域分类为文本区域和非文本区域，其中，最初分割图像是根据代价最优函数而被分割的。

17.如权利要求1所述的设备，其中，特征向量包括文本符号向量和非文本符号向量。

18.如权利要求1所述的设备，其中，分割单元还根据特征向量修改根据代价最优函数而分割的各个块，以根据修改的块输出分割图像。

19.如权利要求1所述的设备，其中，分割单元根据特征向量修改块，以控制分割图像的错误警告概率和正确检测概率。

20.如权利要求1所述的设备，还包括：

扫描单元，扫描文档，以产生与图像相应的信号。

21.如权利要求1所述的设备，还包括：

打印单元，打印与分割图像相应的信号。

22.一种在图像编码和解码***中使用的设备，包括：

分割单元，将图像划分成一个或多个块，根据代价最优函数将块分割成前景和背景的二值蒙板层，以根据分割的块产生分割图像。

23.一种在图像编码和解码***中使用的设备，包括：

分割单元，将图像划分成一个或多个块，并根据各个块的特征向量将块分割成前景和背景的二值蒙板层，以根据分割的块产生分割图像。

24.一种在图像编码和解码***中使用的设备，包括：

解码单元，对从根据代价函数和特征向量的分割图像编码的图像信号解码，以产生解码的图像。

25.如权利要求24所述的设备，还包括：

打印单元，在一张纸上打印解码的图像。

26.一种在图像编码和解码***中使用的设备，包括：

分割单元，将图像划分成一个或多个块，并根据代价最优函数和各个块的特征向量将块分割成前景和背景的二值蒙板层，以根据分割的块产生分割图像；和

解码单元，对与根据代价函数和图像的块的特征向量形成的分割图像相应的信号解码，以产生解码的图像。

27.如权利要求26所述的设备，还包括：

打印单元，在打印介质上打印解码的图像。

28.如权利要求26所述的设备，还包括：

扫描单元，扫描文档，以产生与图像相应的信号。

29.一种图像编码和解码***的方法，包括：

将图像划分成一个或多个块；

根据代价最优函数和特征向量将块分割成前景和背景的二值蒙板层，以根据分割的块产生分割图像。

30.一种图像编码和解码***的方法，包括：

将图像划分成一个或多个块；

根据代价最优函数将块分割成前景和背景的二值蒙板层，以根据分割的块产生分割图像作为最终二值蒙板层。

31.一种图像编码和解码***的方法，包括：

将图像划分成一个或多个块；

根据各个块的特征向量将块分割成前景和背景的二值蒙板层，以根据分割的块产生分割图像作为最终二值蒙板层。

32.一种图像编码和解码***的方法，包括：

对从根据代价函数和从图像划分的块的特征向量的分割图像编码的图像信号解码，以产生解码的图像；和

在一张纸上打印解码的图像。

33.一种图像编码和解码***的方法，包括：

将图像划分成一个或多个块；

根据代价最优函数和特征向量将块分割成前景和背景的二值蒙板层，以根据分割的块产生分割图像；和

对与根据代价函数和从图像划分的块的特征向量的分割的块的分割图像相应的信号解码，以产生解码的图像。

34.一种包含计算机可读代码作为用于执行图像编码和解码***的方法的程序的计算机可读记录介质，所述方法包括：

将图像划分成一个或多个块；

根据代价最优函数和各个块的特征向量将块分割成前景和背景的二值蒙板层，以根据分割的块产生分割图像。

35.一种包含计算机可读代码作为用于执行图像编码和解码***的方法的程序的计算机可读记录介质，所述方法包括：

将图像划分成一个或多个块；

根据代价最优函数将块分割成前景和背景的二值蒙板层，以根据分割的块产生分割图像。

36.一种包含计算机可读代码作为用于执行图像编码和解码***的方法的程序的计算机可读记录介质，所述方法包括：

将图像划分成一个或多个块；

根据特征向量将块分割成前景和背景的二值蒙板层，以根据分割的块产生分割图像。

37.一种包含计算机可读代码作为用于执行图像编码和解码***的方法的程序的计算机可读记录介质，所述方法包括：

对从根据代价函数和特征向量的分割的块的分割图像编码的图像信号解码，以产生解码的图像；和

在一张纸上打印解码的图像。

38.一种包含计算机可读代码作为用于执行图像编码和解码***的方法的程序的计算机可读记录介质，所述方法包括：

将图像划分成一个或多个块；

根据代价最优函数和各个块的特征向量将块分割成前景和背景的二值蒙板层，以根据分割的块产生分割图像；

对与根据代价函数和特征向量的分割的块形成的分割图像相应的信号解码，以产生解码的图像。

39.一种图像编码和解码***中使用的设备，包括：

分割单元，将图像划分成一个或多个块，根据相邻块的误匹配个数将块的相邻像素数据分割成前景和背景的二值蒙板层，并对块的像素数据进行调整，以根据分割的块产生分割图像。

40.一种图像编码和解码***中使用的设备，包括：

分割单元，将图像划分成一个或多个块，并根据各个块的特征向量将块分割成前景和背景的二值蒙板层，以根据分割的块产生分割图像。

Images