CN101046848A - 图像处理设备和图像处理方法 - Google Patents

图像处理设备和图像处理方法 Download PDF

Info

Publication number
CN101046848A
CN101046848A CNA200710087579XA CN200710087579A CN101046848A CN 101046848 A CN101046848 A CN 101046848A CN A200710087579X A CNA200710087579X A CN A200710087579XA CN 200710087579 A CN200710087579 A CN 200710087579A CN 101046848 A CN101046848 A CN 101046848A
Authority
CN
China
Prior art keywords
image
character
information
input picture
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA200710087579XA
Other languages
English (en)
Other versions
CN101046848B (zh
Inventor
金津知俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN101046848A publication Critical patent/CN101046848A/zh
Application granted granted Critical
Publication of CN101046848B publication Critical patent/CN101046848B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/41—Bandwidth or redundancy reduction
    • H04N1/411—Bandwidth or redundancy reduction for the transmission or storage or reproduction of two-tone pictures, e.g. black and white pictures
    • H04N1/4115—Bandwidth or redundancy reduction for the transmission or storage or reproduction of two-tone pictures, e.g. black and white pictures involving the recognition of specific patterns, e.g. by symbol matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/413—Classification of content, e.g. text, photographs or tables

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Character Discrimination (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

本发明涉及一种图像处理设备和图像处理方法。本发明意图从图像中产生对显示和重复使用二者都最佳的数据。根据输入图像，产生显示前景层的向量数据、非显示前景层的向量数据以及填充了部分输入图像的显示背景层。接下来，产生包括显示前景层、显示背景层以及非显示前景层的电子数据。通过使用多层电子数据，设置显示前景层和显示背景层的组合图像来进行显示，切换显示用层来重复使用。这使得可以提供对显示和重复使用二者都最佳的数据。

Description

图像处理设备和图像处理方法
技术领域
本发明涉及一种用于将文档图像转换为可电子地重复使用数据的技术。
背景技术
近年来，在文档生成中，不仅简单地输入字符，还使用例如装饰字体、自由绘制图片、以及捕获照片等高级功能。
然而，文档的内容越高，为了从头开始生成文档所需要的劳动越多。因此，优选尽可能多地直接重复使用部分预先生成的文档或改变并编辑过的文档。
另外，随着以因特网为代表的网络的广泛使用，文档被电子地散发的机会增加了。然而，电子文档经常以打印在纸上的形式散发。
因此，提出了一种技术，用于即使如上所述手上只有纸文档，也可以从纸文档获得内容，作为可重复使用的数据。例如，日本特开2004-265384号公报公开：当设备电子地读取纸文档时，通过搜索数据库获取与所读取文档的内容匹配的文档，且所获取的文档可以代替所读取的文档数据使用。另外，如果不能在数据库中指定相同的文档，则将所读取文档的图像转换为可简单地重复使用的电子数据。因此，在这种情形下，文档内容也可以重复使用。
存在作为用于将文档图像转换为可简单地重复使用数据的技术的向量化技术(用于转换为向量数据的技术)。例如，日本特许3026592号公报和日本特开2005-346137号公报公开了用于取得二值图像中的连接像素的轮廓来作为函数描述的技术。通过使用这些技术，可以将文档图像中的字符和图形轮廓转换为向量数据。通过在例如文档生成应用程序等软件中使用向量数据，可以容易地以字符为单位改变字符位置和大小，另外，可以容易地进行几何形状改变、涂色等。
另外，在日本特开平06-068301号公报等中公开了用于识别文档图像中的例如字符区域、线画区域、以及自然图像和表格等区域的区域识别技术。
通过使用向量化技术将纸文档转换为可容易地重复使用的向量描述电子数据，与存储纸文档的情形相比，电子数据可以更有效地存储并使用。
然而，当将文档图像转换为适于重复使用的数据时，显示中的数据的外观可能与原始数据的外观不同。因此，当将数据显示在屏幕上或将数据打印时，可能不能获得与原始图像信息等同的信息。
例如，日本特开2004-265384号公报说明：当线画部分的内部轮廓和外部轮廓相互接近时，求平均距离，由线宽为该平均距离的线将线画表示为向量。然而，使用该平均距离作为线宽可能导致与原始图像的显著差别。
当用在日本特许3026592号公报或日本特开2005-346137号公报中公开的向量化技术将图像向量化时，如果连接的像素具有单一的颜色，则可以通过在向量描述中表现一种颜色来再现像素。然而，当连接像素的***和内部具有不同颜色、灰度级或随机颜色时，可能难以提取颜色，而且可能难以描述向量。
如上所述，存在信息提取的限制和向量描述的限制。因此，当将原始图像转换为关注于可重复使用性的向量描述时，可能不能取得对显示和打印来说重要的外观相同性。
另外，当通过使用字符识别技术将字符图像转换为字符代码时，除非被转换的数据包括与输入图像中的字体信息相同的字体信息，否则不能取得外观相同性。具体来说，当通过使用字符代码和字体再现字符图像时，存在再现设备不具有与输入字符图像中的字体信息相同的字体信息的可能性。因此，存在不能取得外观相同性的可能性。另外，在字符识别技术中，由于扫描时噪声的影响以及未在识别字典中学习过的未知字体的影响而发生识别错误。
发明内容
为了解决上述问题，根据本发明的一方面的图像处理设备包括：向量化单元，用于将包括在输入图像中的前景(foreground)图像转换为向量数据；以及产生单元，用于产生多层电子数据，多层电子数据包括：包括输入图像中的第一前景图像的向量数据的第一层，包括输入图像中的背景图像的第二层，以及包括输入图像中的第二前景图像的向量数据的第三层。
根据本发明的另一方面的图像处理方法包括：将包括在输入图像中的前景图像转换为向量数据；以及产生多层电子数据，多层电子数据包括：包括输入图像中的第一前景图像的向量数据的第一层，包括输入图像中的背景图像的第二层，以及包括输入图像中的第二前景图像的向量数据的第三层。
根据本发明，当将图像转换为适于重复使用的向量数据时，可以产生作为适于显示和重复使用的数据的向量数据。
根据下面结合附图的说明，本发明的其它特征和优点将变得明显，其中相同的附图标记表示全部图中相同或相似的部分。
附图说明
包含在说明书中并构成说明书一部分的附图示出了本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是示出本发明的第一～第三实施例的结构的框图。
图2是示出第一实施例的操作的框图。
图3是示出第一实施例中的处理的流程图。
图4是输入图像的示例。
图5是示出二值化期间阈值提取的例子的曲线图。
图6是二值化结果的示例。
图7是区域识别结果的示例。
图8是背景图像的例子的示例。
图9A、9B和9C是区域识别的例子的示例。
图10是输出数据描述的示例。
图11是输出数据结构的示例。
图12是输出数据用的显示应用程序的示例。
图13是输出数据用的重复使用应用程序的示例。
图14是示出第二实施例的操作的框图。
图15是示出第二实施例中的处理的流程图。
图16A、16B和16C是线画向量化的示例。
图17是将字符向量化应用于线画的情形的示例。
图18A、18B和18C是第二实施例中字符向量化的例子的示例。
图19是第二实施例中的输出数据的字符部用的显示应用程序画面的例子的示例。
图20是第二实施例中的输出数据的字符部用的重复使用应用程序画面的例子的示例。
图21A、21B和21C是线画的例子的示例。
图22是第二实施例中的输出数据的线画部分用的显示应用程序画面的示例。
图23是第二实施例中的输出数据的线画部分用的重复使用应用程序画面的例子的示例。
图24是示出第三实施例的操作的框图。
图25是示出第三实施例的处理的流程图。
图26是输出数据描述的例子的示例。
图27是输出数据结构的例子的示例。
图28是第三实施例中的重复使用应用程序画面例子的示例。
图29是包括作为被识别图形的三角、十字、五星、梯形的示例。
具体实施方式
第一实施例
图1是示出使用本发明第一实施例的***的结构的例子的框图。该***包括图像处理设备100。图像处理设备100包括：扫描器101，用于将所读取文档的薄片信息转换为图像数据；CPU(中央处理单元)102，执行用于对图像数据实施根据本发明实施例的处理的电子数据产生程序；存储器103，用于例如执行程序时使用的工作存储器等目的以及临时存储数据；硬盘104，用于存储程序和数据；以及网络接口105，用于将数据输入到外部设备(未示出)或从外部设备输出数据。个人计算机120通过例如LAN(局域网)110等网络连接到图像处理设备100。个人计算机120可以通过使用显示程序121在其屏幕上显示接收到的数据，可以控制不同的编辑应用程序以通过使用重复使用程序122来使用接收到的数据的部分数据。
图2示出第一实施例的操作。电子数据产生器210接收从扫描器101输入的图像200，并根据输入的图像200产生电子数据。由电子数据产生器210产生的电子数据的结构由附图标记220表示。在第一实施例中，CPU 102执行电子数据产生程序，从而实现了由电子数据产生器210执行的每个处理。然而，处理的全部或部分可以由电子电路构成。
附图标记211～218表示的块是由电子数据产生器210执行的处理的示意性表示。区域识别单元211从文档的输入图像识别例如字符、自然图像、以及线画等区域，并将所识别的区域作为区域信息输出。字符区域选择单元212从由区域识别单元211输出的区域信息中选择字符信息。线画区域选择单元213从由区域识别单元211输出的区域信息中选择线画区域信息。二值化单元214将输入的多值彩色或灰色图像转化为单色二值图像。字符向量化单元215从字符区域的二值图像中提取每个字符的轮廓信息，并将其转化为向量描画函数。线画向量化单元216从线画区域中的二值图像中提取线画的线素信息，并将其转化为向量描画函数。前景信息填充单元217通过用与每个字符部附近的像素颜色相同的颜色，在字符区域中填充对应于前景的像素信息(字符信息)来产生具有填充了字符部的图像。背景压缩单元218通过使用填充有前景信息的多值图像(字符部填充图像)作为背景来执行压缩(例如，JPEG压缩)。
由电子数据产生器210产生的电子数据220具有包括如下数据元素信息221～数据元素信息223的分层结构。显示前景层信息221是所产生的电子数据中形成显示前景层的信息，在第一实施例中是由字符向量化单元215产生的向量描画函数组的描述。显示背景层信息222是所产生的电子数据中形成显示背景层的信息，在第一实施例中是由背景压缩单元218产生的压缩了的背景图像数据的描述。非显示前景层信息223是所产生的电子数据中形成非显示前景层的信息，在第一实施例中是由线画向量化单元216产生的向量描画函数的描述。
下面参考图3中所示流程图说明第一实施例的操作。
在步骤S301中，输入由扫描器101扫描的文档的多值图像数据。图像数据基于24位RGB彩色格式。图像数据可以具有16位彩色格式、YCbCr格式或8位灰色格式。在步骤S301中，假设输入了图4中所示的文档。还假设文档上具有黑色字符组401和402、黑色线画403以及自然图像404。还假设灰色背景405画在文档的基底(base)上。
在步骤S302中，二值化单元214通过使用已知的二值化技术将输入的多值图像二值化，以产生单色的二值图像。执行二值化，从而将与文档中的例如字符组、线画和自然图像等的前景相对应的像素显示为黑色，将与背景相对应的其它像素显示为白色。作为这种类型的二值化，存在例如用于获取多值图像的亮度直方图(histogram)并使用从直方图的顶点适当获得的阈值的二值化方法。例如，当根据多值图像生成图5所示的亮度直方图时，通过把亮度中的最高顶点认作背景基底的像素集，并选择底部的亮度值作为阈值，可以得到图6中所示的二值化结果。
在步骤S303中，区域识别单元211使用已知区域识别技术来识别例如字符组、线画和自然图像等区域，并产生区域信息。区域信息包括：在图像中指定区域的四个边的坐标信息以及表示区域类型的属性信息。例如，从图4中所示的输入图像产生图7中所示的四个区域701～704的信息。具体来说，区域701和702是字符区域，区域703是线画区域，区域704是自然图像区域。
区域识别技术包括：直接分析输入的多值图像的技术，基于通过将多值图像二值化得到的二值图像来执行区域分析的技术，以及通过从多值图像产生差分边缘信息等来执行区域分析的技术。
例如，通过使用在步骤S302中产生的二值图像可以执行区域识别。根据日本特开平06-068301号公报中说明的区域识别处理，可以将图像数据分为基于字符、线画、照片等自然图像以及表格等的文档和形状特征进行分类的区域。
首先，通过对二值图像追踪连接的8个黑色像素的轮廓，提取出黑色像素群。对每个面积大的黑色像素群，通过从该群的内部追踪连接的四个白色像素的轮廓，提取出白色像素群。另外，通过从每个具有预定或更大面积的白色像素群的内部再次执行黑色像素轮廓追踪，提取出黑色像素群。
接下来，将得到的黑色像素群按照大小、形状、密度等分类，且如果有必要，在分类之前将得到的黑色像素群分组为例如字符、图画、照片、线以及表格等不同的属性区域。例如，将高宽比接近于1且大小在预定范围内的像素群认作对应于字符的像素群。将对应于字符的像素群彼此接近且可以用良好的行列分组的部分确定为字符区域。在将这些部分排除在外的黑色像素群中，将至少具有扁平水平的像素群单独确定为线区域，将包括各至少具有预定大小的整齐排列度高的矩形白色像素群的黑色像素群所占的范围确定为框和表格区域。在其它无定形的像素群中，将每个具有低黑色像素密度的像素群确定为线画区域，将每个通过将分散有其它像素群和较小像素群的部分分组形成的区域确定为自然图像区域。
图9A示出多值图像。图9B示出根据图9A中的多值图像产生的二值图像。图9C示出通过使用日本特开平06-068301中说明的区域识别处理对图9B中的二值图像执行区域识别得到的结果的例子。在图9C中示出的区域识别的结果中，区域901、903和904被识别为字符区域，区域905被识别为线画区域，区域906被识别为表格区域。
在步骤S304～S309中，将与每个类型的信息相对应的每个提取出的区域依次作为感兴趣的区域进行处理。
在步骤S304中，字符区域选择单元212判断感兴趣的区域是否是字符区域。在步骤S303中产生的区域信息包括作为属性的区域类型。因此，在步骤S304中，字符区域选择单元212只需要判断该属性是否表示字符。如果该属性表示字符，则处理进行到步骤S305。如果该属性不表示字符，则处理前进到步骤S307。
在步骤S305中，字符向量化单元215使用已知的二值图像向量化技术产生感兴趣区域中的字符的字符向量信息。二值图像向量化技术的例子包括日本特许3026592号以及日本特开2005-346137号公报中公开的方法。
根据日本特许3026592号中公开的技术，基于感兴趣的像素和其周围的相邻像素的状态，在执行光栅扫描二值图像的同时，检测水平和垂直的像素间向量。接下来，通过基于两个像素间向量的连接状态提取图像的轮廓，产生称为“轮廓向量”的、使用像素间向量集来描述连接的像素数据的***的信息。根据在日本特开2005-346137号公报中公开的技术，通过用直线或二次或三次贝塞尔(Bezier)曲线近似轮廓向量，产生即使图像大小发生很大改变也可以保证高图像质量的向量描述数据。
经过向量化的字符在二值图像中作为连接的黑色像素集存在。因此，通过使用日本特许3026592号中公开的技术，从每个字符提取出作为形成轮廓的像素之间的向量集的轮廓向量。另外，通过使用日本特开2005-346137号公报中公开的技术，将提取的轮廓向量转换为由直线和曲线函数集表示的向量描述。为了解决输入的多值图像中的字符具有不同于黑色的颜色的情形，优选从多值图像中获取与连接的像素相对应的像素组的颜色，并将这些颜色作为绘制(render)颜色信息添加到向量描述。
在步骤S306中，前景信息填充单元217将多值图像上感兴趣区域中的对应于前景(字符部)的像素改变为具有与***像素的颜色相同的颜色。例如，图8中示出了对图4中的字符区域执行前景填充的结果。
例如，可以如下进行填充。将多值图像上感兴趣区域中的面积分为N×M个像素块，其中N和M表示任意整数。这里，例如，N＝M＝16。接下来，在每个块中，计算除前景中的像素之外的像素的像素值的平均值。在这方面，前景中的像素是与在步骤S302中产生的二值图像上的黑色像素的位置相同的像素。因此，通过获得多值图像中与二值图像中感兴趣区域中的白色像素像对应的像素的像素值，计算出平均值。此后，用与该平均值相等的像素值填充多值图像上与块中的二值图像上的感兴趣块中的黑色像素相对应的像素。
通过对输入的多值图像上的各块执行上述处理，可以产生去除了字符区域中的前景信息的状态下的多值图像。如果在块中不是以得到前景中的像素值之外的像素值的平均值，则可以使用相邻块中的已经得到的平均值。当由于例如扫描时的模糊等原因，多值图像上的字符和背景之间的边界不清楚时，通过在执行上述处理前放大二值图像上的块像素，可以将被处理的区域形成为平坦的背景平面。
在步骤S307中，线画区域选择单元213判断感兴趣的区域是否是线画区域。如果感兴趣的区域是线画区域，则处理进行到步骤S308。如果感兴趣的区域不是线画区域，则处理进行到步骤S309。
在步骤S308中，线画向量化单元216产生感兴趣区域内部的线画向量信息。例如，如日本特开2004-265384号公报中所述，线画向量化单元216可以基于线画部的轮廓执行向量化。在第一实施例中，关于从线画部分得到的向量数据，将相邻的轮廓(例如，外部轮廓和内部轮廓)合为一个，由此将向量数据转化为表示线画的中心线的向量数据(细线化向量数据)。这里，将线画分为以端点和线段为单位的线素，用表示每个线素的中心线的向量数据来表示。
图16A～16C示出将线画转化为表示每个线素的中心线的向量数据的情形的例子。将经过向量化的二值图像(图16A)转化为表示每个线素的中心线的向量数据(图16B)。以线素为单位分割向量数据产生图16C中所示的状态。
另外，与字符向量化相似，当将线画以未改变的形式转化为表示线画的轮廓的向量数据时，将图16A中的图像转化为包括一个外部轮廓和三个内部轮廓的向量数据。该向量数据由如图17中所示的对象表示。因此，不能将该向量数据分割为如图16C所示的线素的组成单位。通过在轮廓向量之间进行填充来表示该向量描述中的每条线，当数据被变形时，需要将每个轮廓向量变形。因此，很难自由地变形数据同时保持每条线的宽度。因此，可以这样说：图16C中的状态更适合在重复使用时处理和编辑。然而，在图16C中所示的线素向量数据中，没有准确地存储线宽信息。因此，从显示质量来看，可以说图17中所示的轮廓向量数据对原始图像更准确。
返回参考图3，在步骤S309中，判断区域信息中的全部区域是否都已经被处理。如果区域信息中的全部区域都已经被处理，则处理进行到步骤S310。如果还有未经处理的区域，则在处理返回到步骤S304前，将未经处理的区域视为感兴趣的区域。
在步骤S310中，用背景压缩单元218压缩用相邻像素的颜色填充了字符部的多值图像，来产生压缩数据。用已知压缩技术进行压缩。这里，使用JPEG(Joint Photographic Experts Group，联合图片专家组)。因为压缩了通过执行填充得到的多值图像，所以与不执行填充的情形相比执行了高度压缩，以便生成小的文件大小。
在步骤S311中，产生输出电子数据220。电子数据220包括：作为图2中所示非显示前景层信息223的在步骤303中产生的线画向量信息，作为图2中所示显示背景层信息222的在步骤S310中产生的压缩的背景数据，以及作为图2中所示显示前景层信息221的在步骤S305中产生的字符向量信息。
电子数据220由图形语言描述，图形语言包括能够描述曲线、直线、填充等作为向量数据的向量描画语言，以及能够描画JPEG图像数据的图像描画语言。
图10用XML(Extensible Markup Language，可扩展标识语言)示出具有分层结构的输出电子数据的语言的例子。参考图10，线画语言信息1001的例子与图2中的非显示前景层信息223相对应。具体来说，线画语言信息1001包括：指定顺序坐标点的元素<path>，以及连接它们的例如曲线和直线的函数类型。压缩代码1002与图2中的显示背景层信息222相对应。具体来说，压缩代码1002包括具有被转化为ASCII(American Standard Code forInformation Interchange，美国信息交换标准码)字符串的压缩后的图像数据的元素<image>。字符向量语言信息1003与图2中的显示前景层信息221相对应。具体来说，与线画的情形类似，字符向量语言信息1003包括：指定顺序坐标点的元素<path>，以及连接它们的例如曲线和直线的函数类型。
如上所述，将由电子数据产生器210产生的电子数据220发送到个人计算机120。接下来，下面说明在个人计算机120中所接收的电子数据用于显示或重复使用目的的情形。
对于显示目的，由个人计算机120执行的显示程序121基于图10中所示的图形语言产生显示用图像数据。图11中示意性示出该情形下的绘制。首先，将线画图形1001绘制在与图11中所示层1101相对应的、一页大小的空白纸上。将图10中所示的背景图像1002绘制为较上层1102。最后，将图10中所示的图形1003绘制为顶层1103。由于层1102是一页大小的图像数据，所以当显示层1102时，层1101上的信息被隐藏而看不见。
图12示出由包括显示程序121的应用程序显示的画面的例子。如上所述，应用程序显示将字符向量信息1003(图10)叠加在背景图像信息1002(图10)上的图像。
对于重复使用的目的，由个人计算机102执行的重复使用程序122产生图10所示的图形语言中的可重复使用的数据。
图13示出由包括重复使用程序122的应用程序显示的画面的例子。该应用程序通过加载电子数据将图像显示在屏幕上。该应用程序具有这样的功能：通过由用户操作鼠标等来选择全部或部分显示图像，传送与所选择区域相对应的图形数据，使其在不同的应用程序等中可重复使用与编辑等。
下面说明将图10中的图形语言数据作为电子数据220的例子输入的情形。在这种情形下，参考图13说明，该应用程序可以与图12的情形类似地显示通过顺序绘制信息1001、信息1002和信息1003产生的画面1301。另外，上述应用程序可以在用于只绘制背景图像信息1002的画面1302的显示以及用于只绘制除背景图像信息1002以外的信息1001和信息1003的画面1303的显示之间切换。在该切换中，可以响应于用户的操作，选择性地显示任一个画面。响应于用户的操作，可以在画面1303上以与每个图像相对应的向量数据为单位(图形数据描述单位)，选择字符组1304、1305和线画1306中的每一个，并将其传送到不同的文档编辑应用程序。
当用户发出指令来选择并重复使用画面1303上的线画1306时，在图10中的图形语言的情形下，从电子数据220提取向量语言信息1003来重复使用。该图形语言是表示将线画分解为线素的状态的向量语言数据。因此，如上所述，不考虑线宽使处理和编辑变得容易。然而，细线化的效果可引起如图16A～16C所示的外观与原始图像数据外观不匹配的情形。
当通过使用参考图12说明的显示应用程序显示电子数据220时，向量语言信息1003的图形语言被压缩代码1002掩藏，实际上显示的是留在背景图像上的线画的图像数据。因此，可以显示接近于对线画扫描的输入图像的信息。
换句话说，根据第一实施例，即使将包括细线化后的线素的向量描述用作线画向量语言，也产生了既适合显示又适合重复使用的数据。
图10中的图形语言只是个例子。因此，可以使用具有相似语言规范的不同的图形描述语言。例如，如果使用例如SVG(ScalableVector Graphics，可缩放向量图形)和PDF(Portable DocumentFormat，便携式文档格式)等语言，可以得到相似的优点。
如上所述，根据第一实施例，从扫描文档的图像中提取通过向量化字符部产生的信息和通过向量化线画部产生的信息。从原始图像提取用***像素填充了前景的字符部的图像，作为背景图像数据。将得到的信息和数据转化为所述的电子数据，从而以给定的顺序绘制非显示前景的线画向量数据、显示背景的背景图像数据以及显示前景的字符向量数据。
在如上所述产生的电子数据中，将每个字符部和每个线画部向量化以适合于编辑使用。尤其是，因为从通过执行细线化得到的图像得到向量化的线画部，所以向量化的线画部有利于处理和编辑使用。另外，当电子数据用于显示使用时，对于线画部，代替用于编辑的细线化的向量描述，显示对应于原始图像的图像信息。因此，保持了显示质量。换句话说，根据第一实施例，可以产生既适合显示又适合重复使用的电子数据。
第二实施例
图14示出本发明第二实施例的操作。与第一实施例相似，第二实施例由图1中举例的结构实现。由用于根据输入图像1400产生电子数据的电子数据产生器1410从扫描器101接收输入图像1400。电子数据产生器1410产生电子数据1430。
由附图标记1411～1420表示的块是根据第二实施例由电子数据产生器1410执行的处理的示意性表示。区域识别单元1411从文档的输入图像中识别例如字符、自然图像和线画等的区域，并将识别的区域作为区域信息输出。字符区域选择单元1412从由区域识别单元1411输出的区域信息选择字符信息。线画区域选择单元1413从由区域识别单元1411输出的区域信息选择线画区域信息。二值化单元1414将输入的多值彩色或灰色图像转换为单色二值图像。字符向量化单元1415从字符区域的二值图像提取每个字符的轮廓信息，并将其转换为向量描画函数。线画向量化单元1416从线画区域中的二值图像提取线画的线素信息，并将其转换为向量描画函数。前景信息填充单元1417通过用与前景的附近的像素颜色相同的颜色填充与前景相对应的像素信息，来产生具有填充的字符部的图像。背景压缩单元1418通过使用具有填充了的前景信息的多值图像作为背景来执行压缩。字符向量表示分类单元1419判定字符区域中的每个字符的向量描画函数的显示前景信息和非显示前景信息如何以字符为单位分类。线画向量表示分类单元1420判定线画区域中的每个线素的向量描画函数的显示前景信息和非显示前景信息如何以线素为单位分类。
由根据第二实施例的电子数据产生器1410产生的电子数据1430具有包括下面的信息1431～1433的数据结构。显示前景层信息1431是产生的电子数据1430中的、形成显示前景层的信息。在第二实施例中，显示前景层信息1431是向量描画函数组，其包括：由字符向量化单元1415产生的各条字符向量信息中、由字符向量表示分类单元1419分类为显示前景的信息，以及由线画向量化单元1416产生的各条线画向量描画信息中、由线画向量表示分类单元1420分类为显示前景的信息。
显示背景层信息1432是产生的电子数据1430中形成显示背景层的信息，是第二实施例中由背景压缩单元1418产生的压缩背景图像数据的描述。
非显示前景层信息1433是产生的电子数据1430中形成非显示前景层的信息。非显示前景层信息1433是向量描画函数组，其包括：由字符向量化单元1415产生的各条字符向量信息中、没有由字符向量表示分类单元1419分类为显示前景的信息，以及由线画向量化单元1416产生的各条线画向量描画信息中、没有由线画向量表示分类单元1420分类为显示前景的信息。
参考图15中所示流程图说明第二实施例的操作。
在步骤S1501中，输入由扫描器101扫描的文档的多值图像数据(彩色或灰度图像)。
在步骤S1502中，二值单元1414通过用已知二值化技术将输入的多值图像二值化来产生单色二值图像。
在步骤S1503中，区域识别单元1411使用已知区域识别技术来识别例如字符组、线画和自然图像等的区域，并产生区域信息。
步骤S1501～S1503与第一实施例的图3中的步骤S301～S303相似。例如，通过输入图4中的彩色图像，可以得到图6中的二值图像和图7中的区域信息。
在步骤S1504～S1506中，将与每个类型的信息相对应的每个提取的区域依次作为感兴趣的区域进行处理。
在步骤S1504中，字符区域选择单元1412判断感兴趣的区域是否是字符区域。如果感兴趣的区域是字符区域，则处理进行到步骤S1505。如果感兴趣的区域不是字符区域，则处理进行到步骤S1510。在步骤S1505中，字符向量化单元1415产生感兴趣的区域中的字符区域的字符向量信息。这里，要向量化的字符作为二值图像中的连接黑色像素集存在。因此，与第一实施例相似，通过使用二值图像向量化技术，将要向量化的字符的轮廓转换为由直线和曲线函数集表示的向量描述。
以包括在感兴趣的字符区域中的各字符为单位，一个字符接一个字符地执行步骤S1506～S1509。这里，各字符的单位是在处理过程中提取的连接像素的单位。作为选择，通过使用不同的已知字符提取技术(例如，用于通过使用直方图分离为字符单位的方法)，可以在将字符区域分为对应于字符的良好矩形区域之后，执行步骤S1505中的字符向量产生。
在步骤S1506中，字符向量表示分类单元1419判定是否要将每个字符的向量信息分类为显示前景信息。如果判断为要将向量信息分类为显示前景信息，则处理进行到步骤S1507。如果判断为不将向量信息分类为显示前景信息，则处理进行到步骤S1509。
在判定中，当在显示图像质量和再现性方面，将一个感兴趣的字符的向量信息与输入的原始图像上相对应的部分的信息相比较时，如果感兴趣的字符的向量信息在显示中略有不同(例如，颜色和形状)，则判定为要将感兴趣的字符的向量信息分类为显示前景信息。
具体来说，由字符向量化单元1415产生的字符向量描述来描述具有单一颜色的外部轮廓和内部轮廓之间区域的填充。因此，分类条件是字符具有单一颜色。可以这样执行字符是否具有单一颜色的判定：从与输入多值图像上的字符中的前景相对应的像素中，即，从与确定为包括在二值图像上的字符部中的黑色像素相对应的位置的全部像素中获取像素值，并判断像素值是否彼此相等。可以通过求出每个RGB成分的方差或色差成分方差，并将方差与阈值比较来进行像素值是否彼此相等的判断。
上述判定是当使用第二实施例中的向量描述方法时的例子。因此，当使用不同的向量描述方法时，使用不同的观点来做出判断。例如，当使用对向量轮廓和内部填充指定了不同颜色的描述时，对轮廓和内部分开获取原始图像上的像素颜色，且如果判断为两种颜色相同，则可以判定为信息是显示前景信息。
参考图15，在步骤S1507中，将在步骤S1506中分类为显示前景的一个字符的向量信息描述添加到显示前景层信息1431。这时，将在上面判定中得到的字符颜色信息添加到向量描述。
在步骤S1508中，前景信息填充单元1417通过将多值图像中的感兴趣像素的前景像素改变为具有与***像素的颜色相同的颜色来进行填充。具体的填充可以与第一实施例中相似地执行。
在步骤S1509中，将在步骤S1506中没有分类为显示前景信息的字符的向量信息描述添加到非显示前景层信息1433。在步骤S1506中的判定过程中基于原始图像得到的多个字符的信息中，可以将主要颜色的信息添加为绘制颜色信息。
在处理进行到步骤S1516之前，对字符区域中的全部字符执行步骤S1506～S1509中的处理。
在步骤S1510中，线画区域选择单元1413判断感兴趣的区域是否是线画区域。如果感兴趣的区域是线画区域，则处理进行到步骤S1511。如果感兴趣的区域不是线画区域，则处理进行到步骤S1516。
在步骤S1511中，线画向量化单元1416产生感兴趣区域中的线画向量信息。如在第一实施例中所述产生线画向量信息。
以包括在感兴趣的线画区域中的线素为单位，一个线素接一个线素地执行步骤S1512～S1515。在步骤S1511中线画向量产生的过程中提取线素的单位。
在步骤S1512中，线画向量表示分类单元1420判定感兴趣的线素的向量信息是否将被分类为显示前景信息。如果判定为要将感兴趣的线素的向量信息分类为显示前景信息，则处理进行到步骤S1513。如果判定为不将感兴趣的线素的向量信息分类为显示前景信息，则处理进行到步骤S1515。
在上面的判定中，当在显示质量和再现性方面将感兴趣的线素的向量信息与输入的原始图像中的对应部分的信息相比较时，如果感兴趣的线素的向量信息在显示(例如，颜色和形状)中略微不同，则判定为要将感兴趣的线素的向量信息分类为显示前景信息。具体来说，由线画向量化单元1416产生的线素向量描述来描述通过使用恒定线宽和单一颜色的绘制。因此，分类条件是原始图像中的线素具有恒定宽度和单一颜色。
可以例如以下面的方式，执行线素是否具有恒定宽度的判断。准备在线素提取过程中产生的、只具有线素的、实现了细线化的二值图像。在线素上设置用于将线素n等分的点，其中n可以是预定整数或可以基于线素的长度确定。接下来，从每个点找到垂直于线素的局部取向的方向。该方向可以被量化为8个方向，即，上、下、左、右和倾斜方向，或可以被分为更小的角度。通过从点沿每个方向搜索二值图像上的像素，找到其像素值从黑变到白的像素的搜索长度。另外，从该点沿相反的方向搜索像素。判断是否将在各点得到的总共2n个搜索长度视为统计常数。如果判断为将2n个搜索长度视为统计常数，则线素具有恒定宽度。此外，将恒定搜索长度的二倍用作线素的线宽。
在线素是否具有单一颜色的判断中，处理在上述判断中使用的线素的实现了细线化的二值图像，以扩展得到宽度一半的次数。对于扩展处理，可以使用已知的技术。例如，对由一个像素接一个像素地沿8个方向执行像素移位形成的图像进行“OR”运算，由此可以生成扩展一个像素的图像。将线素的两端加长执行扩展处理的次数。因此，线素需要被缩短扩展的像素数。通过在扩展后的线素图像和未扩展的二值图像之间执行逻辑乘，可以得到只具有感兴趣的线素的二值图像。此后，关于对应于二值图像上的黑色像素的多值图像上的像素，通过判断它们的像素值的相等来判断线素是否具有单一颜色。
上面的判断是使用第二实施例中线画描述方法的情形的例子。当使用不同方法中的向量描述时，可以执行使用不同观点的判断。
返回参考图15，在步骤S1513中，将被分类为显示前景信息的感兴趣的线素的向量信息添加到显示前景层信息1413。这时，将在判断过程中得到的线宽和线素颜色的信息添加到显示前景层信息1413。
接下来，在步骤S1514中，前景信息填充单元1417通过将多值图像上的感兴趣线素中的前景像素改变为具有与***像素的颜色相同的颜色来执行填充。具体的填充可以与第一实施例中所述的填充相似地执行。对于填充线素，可以使用在线素颜色判断中使用的每个线素的二值图像。
在步骤S1515中，将在步骤S1512中判断为不分类为显示前景信息的感兴趣的线素的向量信息添加到非显示前景层信息1433。
在处理进行到步骤S1516前，对线画区域中的全部线素执行步骤S1512～S1515中的处理。
在步骤S1516中，判断是否已经处理了区域信息的全部区域。如果已经处理了各区域，则处理进行到步骤S1517。如果还剩余未处理的区域，则将该区域处理为感兴趣的区域，处理返回到步骤S1504。
在步骤S1517中，背景压缩单元1418通过压缩填充后的多值图像产生压缩数据。作为压缩方法，使用已知技术。这里，使用JPEG压缩。因为在步骤S1508和S1514中用***像素颜色填充了与显示前景信息相对应的部分，所以与没有实现填充的图像相比，JPEG压缩背景图像被更高的压缩。
在步骤S1518中，产生输出电子数据1430。输出电子数据1430包括：作为图14中的非显示前景层信息1433的、在步骤S1509中添加的非显示字符向量信息以及在步骤S1505中添加的非显示线素向量信息；作为图14中的显示背景层信息1432的、在步骤S1517中产生的压缩背景数据；以及作为图14中的显示前景层信息1431的、在步骤S1507中添加的显示字符向量信息和在步骤S1513中添加的显示线素向量信息。
下面说明将包括字符区域的图18A中所示的多值图像输入到根据上述第二实施例的电子数据产生器1410的情形。
图18A中的字符区域包括四个字符1801、1802、1803和1804。其中，字符1801～1803为绿色，以红色环绕。字符1804是单一的黑色。由二值化单元1414将图18A中的字符区域二值化，从而生成图18B中所示的二值图像。字符向量化单元1415对作为连接像素的字符1805、1806、1807和1808执行字符向量化。字符向量表示分类单元1419从多值图像获取每个连接像素内部的颜色信息。将判断为具有单一颜色的字符1808的字符向量数据分类为显示前景信息。将因为检测到两个颜色而判断为不是单一颜色的字符1805～1807的字符向量数据分类为非显示前景信息。
在这种情形下，如图18C所示，输出电子数据1430具有三层结构，包括：具有像素1808的向量描述的显示前景信息1810，通过使用填充来消除与多值图像上的像素1808相对应的前景信息而得到的显示背景信息1811，以及包括像素1805～1807的向量描述的非显示前景信息1812。
当输出电子数据1430被输入到第一实施例中所述的显示应用程序时，显示图19中所示的画面。显示该画面，其中将图18A中装饰了颜色的三个字符1801～1803绘制为包括在显示前景信息中的图像数据，只将字符1804绘制为背景图像上的字符向量描述，从而外观与原始图像的外观匹配。
另外，在通过将输出电子数据1430输入到第一实施例中所述的重复使用应用程序来切换显示形式，从而显示显示前景信息1810和非显示前景信息1812，不显示显示背景信息1811的情形下，显示图20中所示的画面。在这种情形下，以单一的绿色显示字符1801～1803，以单一的黑色显示字符1804，字符1801～1804处于可以被获取为可简单地重复使用的向量数据的状态。作为字符向量数据的字符1801～1804在编辑应用程序中可重复使用。
如上所述，根据第二实施例，即使将描述单一颜色的向量描述用于包括有很多颜色的字符的图像，也可以产生对于显示和重复使用最佳的电子数据。
下面说明将包括图21A中所示线画区域的多值图像输入到根据第二实施例的电子数据产生器1410的情形。
在图21A中所示的线画中，椭圆2101和直线2102是单一的红色，直线2103内部是棕色，用黑色环绕。通过将多值图像二值化并在线画区域上实现细线化，产生图21B中所示的图像。基于实现细线化的图像，线画向量化单元1416产生具有作为线素的线2101～2103的向量信息。线画向量表示分类单元1420从每个线素提取线宽和线色，由此将与线2101和2102相对应的线素分类为显示前景信息，并基于例如内部填充颜色，将对应于线2103的线素分类为棕色非显示前景信息。
在这种情形下，如图21C中所示，输出电子数据1430具有三层结构，具有：只包括关于对应于线2101和2102的线素的向量描述的显示前景信息2110，通过使用填充来消除多值图像上的线2101和2102的前景信息而取得的显示背景信息2111，以及只包括线2103的向量描述的非显示前景信息2112。
当将输出电子数据1430输入到第一实施例中所述的显示应用程序时，显示图22中所示的画面。显示该画面，将图21A中装饰了颜色的线2103绘制为包括在显示前景信息中的图像数据，将红色椭圆2101和直线2102绘制为背景图像上的线素向量描述，从而外观与原始图像的外观匹配。
当将输出电子数据1430输入到第一实施例中所述的重复使用应用程序时，显示图23中的画面，只显示显示前景信息和非显示前景信息。线画中的全部线素可以被获取为可简单地重复使用的向量数据。
如上所述，根据第二实施例，即使将描述每个单一颜色的向量描述用于包括有很多颜色的线画的线素的图像，也可以产生对显示和重复使用都最佳的电子数据。
如上所述，根据第二实施例，将通过将字符区域向量化得到的信息中的单色字符信息，以及通过将线画区域向量化得到的信息中具有单色和常数线宽的每个线素的信息作为显示前景信息存储。另外，存储通过用***像素填充作为背景信息的、与显示前景信息相对应的(原始图像上的)部分并将填充后的图像压缩得到的图像。此外，在每个字符信息和线画信息中，将没有分类为显示前景信息的信息存储为非显示前景信息。将存储的各条信息转换为包括图形描述的电子数据，所述图形描述用于按给定的顺序绘制非显示前景的向量数据、显示背景的背景图像以及显示前景的向量数据。
因为全部信息是字符和线画区域中的向量数据，所以如上所述产生的电子数据有利于编辑使用。另外，当电子数据用于显示使用时，在字符和线画区域的向量描述中，将与原始图像上的字符和线画区域具有很小差异的字符和线画区域的向量数据用于显示。相反，关于不能根据其显示对应于原始图像的图像信息的字符和线画区域的向量数据，通过使用背景图像不改变地显示原始图像部分。这可以保证显示质量。换句话说，可以产生既适合显示又适合重复使用的电子数据。
第三实施例
图24示出本发明的第三实施例的操作。与第一实施例相似，第三实施例由图1中举例的结构实现。电子数据产生器2410从扫描器101接收输入图像2400，并根据输入图像2400产生电子数据2430。
由附图标记2411～2420表示的块是由电子数据产生器2410执行的处理的示意性表示。区域识别单元2411从文档的输入图像中识别例如字符、自然图像和线画等的区域，并将识别的区域作为区域信息输出。字符区域选择单元2412从由区域识别单元2411输出的区域信息选择字符信息。线画区域选择单元2413从由区域识别单元2411输出的区域信息选择线画区域信息。二值化单元2414将输入的多值彩色或灰色图像转换为单色二值图像。字符向量化单元2415从字符区域的二值图像提取每个字符的轮廓信息，并将其转换为向量描画函数。线画向量化单元2416从线画区域中的二值图像提取线画的线素信息，并将其转换为向量描画函数。前景信息填充单元2417通过用与前景的附近的像素颜色相同的颜色填充与前景相对应的像素信息，来产生具有填充的字符部的图像。背景压缩单元2418用具有填充了的前景信息的多值图像作为背景来执行压缩。字符识别单元2419通过识别字符图像信息来产生字符代码信息。形状识别单元2420通过识别线画图像信息来产生形状代码信息。
由电子数据产生器2410产生的电子数据2430包括下面的数据结构。显示前景层信息2431是产生的电子数据2430中的、形成显示前景层的信息。在第三实施例中，显示前景层信息2431是由字符向量化单元2415产生的字符向量描画函数组。显示背景层信息2432是产生的电子数据2430中形成显示背景层的信息，在第三实施例中是由背景压缩单元2418产生的压缩背景图像数据的描述。非显示前景层信息2433是产生的电子数据2430中形成非显示前景层的信息。在第三实施例中，非显示前景层信息2433是由线画向量化单元2416产生的线画向量描画函数组的描述。非显示含义描述层信息2434是产生的电子数据2430中的非显示用含义描述层。在第三实施例中，非显示含义描述层信息2434包括：由字符识别单元2419产生的字符代码和由形状识别单元2420产生的形状代码的描述。
下面参考图25中所示流程图说明第三实施例的操作。
在步骤S2501中，输入由扫描器101扫描的文档的多值图像数据。
在步骤S2502中，二值化单元2414通过用已知的二值化技术将输入的多值图像二值化来产生单色二值图像。
在步骤S2503中，区域识别单元2411使用已知区域识别技术来识别例如字符组、线画、以及自然图像等区域，并产生区域信息。
在步骤S2504～S2511中，将对应于每种类型的信息的每个提取的区域依次作为感兴趣的区域进行处理。
在步骤S2504中，区域识别单元2411判断感兴趣的区域是否是字符区域。在步骤S2503中产生的区域信息包括其类型作为属性。因此，在步骤S2504中，二值化单元2414只需要判断该属性是否表示字符。如果该属性表示字符，则处理进行到步骤S2505。如果该属性不表示字符，则处理进行到步骤S2508。
在步骤S2502中，字符向量化单元2415对感性趣区域中的字符部产生字符向量信息。
在步骤S2506中，通过使用已知字符识别技术，字符识别单元2419识别区域中的字符图像并产生字符代码。
在步骤S2507中，前景信息填充单元2417将与感兴趣区域中字符部相对应的多值图像上的像素改变为具有与***像素的颜色相同的颜色。
在步骤S2508中，线画区域选择单元2412判断感兴趣的区域是否是线画区域。如果感兴趣的区域是线画区域，则处理进行到步骤S2509。如果感兴趣的区域不是线画区域，则处理进行到步骤S2511。
在步骤S2509中，线画向量化单元2416产生感兴趣区域内部的线画向量信息。与第一实施例中的处理相似地产生线画向量信息。
在步骤S2510中，形状识别单元2420执行形状识别来产生形状代码。
下面说明形状识别的例子。将线画区域中的输入二值图像规范化(normalized)为恒定宽和高。从规范化后的图像中提取边缘信息，并基于该边缘信息提取特征。通过将该特征与由将图29中所示的图形图案规范化并从规范化后的图案中提取特征而预先生成的字典图案相比较，选择出具有最高相似性的特征图案，将其类型输出为形状代码。在这种情形下，对于相同类型的图形，通过将具有相同形状代码以15度为单位旋转的图形图案也注册在字典中，即使旋转过的线画位于输入图像上，也可以将其编码。
该形状识别只是例子。因此，可以使用不同的方法执行形状识别。
在步骤S2511中，如果判断出已经处理了全部区域的区域信息，则处理进行到步骤S2512。如果还剩余未处理的区域，则将该区域处理为感兴趣的区域，处理进行到步骤S2504。
在步骤S2512中，背景压缩单元2418产生多值图像的压缩数据。这里，使用JPEG压缩。
在步骤S2513中，产生电子数据2430。电子数据2430包括：作为非显示含义描述层信息2434的、在步骤S2506中产生的字符识别信息和在步骤S2510中产生的形状识别信息；作为非显示前景层信息2433的、在步骤S2509中产生的线画信息；作为显示背景层信息2432的、在步骤S2512中产生的压缩背景数据；以及作为显示前景层信息2431的、在步骤S2505中产生的字符向量信息。
图26示出以XML格式描述输出电子数据的例子。字符代码和形状代码描述信息2600与非显示含义描述层信息2434相对应。具体来说，在要素<text>中描述的识别字符代码串，以及在要素<shape>中描述的识别形状代码组。线素语言信息2601与非显示前景层信息2433相对应。具体来说，语言信息2601包括指定顺序坐标点的要素<path>和连接它们的例如曲线和直线的函数类型。压缩后的背景图像代码2602与显示背景层信息2432相对应。具体来说，压缩后的背景图像代码2602包括具有被转换为ASCII字符串的压缩后的图像数据的要素<image>。字符向量描述信息2603与显示前景层信息2431相对应。具体来说，字符向量语言信息2603包括指定顺序坐标点的要素<path>和连接它们的例如曲线和直线的函数类型。
将由上述电子数据产生器2410产生的电子数据2430发送到例如图1中的个人计算机120。接下来，下面说明个人计算机120为显示或重复使用的目的使用接收到的电子数据2430的情形。
对于显示目的，由个人计算机120执行的显示程序121根据图26中所示的图形描述产生显示图像数据。图27是由显示程序121进行的绘制的示意性例子。首先，将图26中所示的线画图形2601绘制在对应于层2701的一页大小的空白纸上。接下来，将背景图像2602绘制为层2701上的层2702。最后，将字符图形2603绘制为顶层2703。层2702是具有一页大小的图像数据。因此，在正常的显示中，将层2701和下面的层上的信息全部隐藏使之看不见。另外，尽管在图27中为了方便说明，将非显示含义描述2600的信息示为底层2700，该层的信息实际上不用于显示。
图12示出由包括显示程序的应用程序显示的画面的例子。如上所述，该画面示出将字符向量信息2603叠加在背景图像信息2602上的图像。
对于重复使用目的，由个人计算机120执行的重复使用程序122基于图26中所示的图形描述产生可重复使用数据。
图28示出由包括重复使用程序的应用程序显示的画面的例子。该应用程序具有两种类型的模式，即，图形选择模式和含义描述选择模式。在图形选择模式中，加载包括图形描述的电子数据以显示在画面上。在图形选择模式中，应用程序具有这样的功能：通过由用户操作鼠标等来选择全部或部分信息，传送对应于所选择区域的图形数据，并使之在不同的应用程序等中可重复用于编辑等。在含义描述选择模式下，应用程序具有这样的功能：当加载包括字符或形状代码的电子数据时，基于用户指令，选择画面上的相应区域的代码描述信息，由例如文字处理编辑器等不同的应用程序重复使用。
作为例子，下面说明将图26中所示的数据作为电子数据2430输入的情形。
在图形选择模式下，可以基于用户指令切换三种类型的画面进行显示。这三种类型的画面包括：通过对图26中的数据，按照给定的一个在另一个之上的顺序，绘制图形信息中的2601、2602和2603产生的画面2801；只绘制了由压缩代码2602表示的背景图像信息的画面2802；以及只绘制了除背景图像信息之外的信息2601和2603的画面2803。通过在每个显示的画面上指定字符部或线画部，可以选择对应的图形语言数据，并将其传送到不同的应用程序。
接下来，在含义描述选择模式下的画面2807上，其看上去与画面2801相同。然而，对由用户指定的区域，代替对应的图形描述，选择对应于指定区域的含义描述信息2600的字符代码(数据)。可以相似地将所选数据传送到不同的应用程序。
例如，在图形选择模式下的画面2803上，当由用户选择了线画部2806，并将其传送到不同的应用程序时，传送的是描述信息2601中的线画向量信息。该描述是图25中步骤S2509中产生的图形描述，该图形描述处于通过细线化被分解为线素的状态。因此，对该描述简单地执行例如处理的编辑。相反，由于细线化的影响，外观可能与原始数据的外观不匹配。
当由参考图12说明的显示应用程序显示该区域时，如上所述，由背景图像信息2602隐藏线画向量信息2603的图形描述，并实际显示保留在背景图像上的线画部的图像数据。因此，对于显示中的使用，将与扫描的输入图像接近的信息显示为线画部。
在含义描述选择模式下的画面上，当由用户选择字符部2808并将其传送到不同的应用程序时，传送的是图26中的描述信息中的字符代码信息。因为由图25中的步骤S2506中的字符识别产生了字符代码信息，所以字符代码信息可以由文本编辑器等简单地作为字符使用。然而，如果将字符代码信息用于显示，则由于字体的差别和错误识别，外观可能与由字符代码信息表示的字符的外观不匹配。因此，基于用于由参考图12说明的应用程序来向量化字符轮廓的图形描述2603来描画部分2808，不绘制代码描述信息2600，从而显示接近扫描的输入图像的信息。
图26中的图形描述只是例子。因此，可以使用具有相似描述规范的不同的图形描述语言。例如，即使使用例如SVG或PDF等语言，也可以得到相似的优势。
如上所述，根据第三实施例，从扫描文档的图像提取通过向量化字符部产生的信息和通过向量化线画部产生的信息，并从原始图像提取用***像素填充了前景的字符部的图像作为背景图像数据。此外，提取含义信息，该含义信息包括：通过识别字符部和线画得到的字符和形状代码。将上面的各条信息按给定的顺序转换为包括用于绘制非显示含义描述信息的图形描述信息、非显示前景线画向量、显示背景图像以及显示前景字符向量的电子数据。
由于如上所述产生的电子数据包括通过向量化字符和线画部产生的向量数据，因此所产生的电子数据有利于图形编辑使用，并可以重复使用。由于所产生的电子数据包括通过识别字符和线画部产生的字符和形状代码，因此所产生的电子数据可以被重复用作表示字符和图形的含义的数据。另外，当将产生的电子数据用于显示时，显示与原始图像相同的图像信息。因此，保持了显示质量。此外，电子数据中的含义描述信息部包括：使外观与基于图形描述的表示相匹配的显示图形描述。
换句话说，根据本发明的实施例，可以产生既适合显示又适合重复使用的电子数据。
虽然参考典型实施例说明了本发明，应该理解本发明不局限于公开的典型实施例。所附权利要求的范围符合最宽的解释，从而包括全部变形、等同结构和功能。

Claims (24)

1.一种图像处理设备，包括：
向量化单元，用于将包括在输入图像中的前景图像转换为向量数据；以及
产生单元，用于产生多层电子数据，所述多层电子数据包括：第一层，其包括所述输入图像中的第一前景图像的向量数据；第二层，其包括所述输入图像中的背景图像；以及第三层，其包括所述输入图像中的第二前景图像的向量数据。
2.根据权利要求1所述的图像处理设备，其特征在于：
所述第一前景图像的向量数据适于显示；以及
所述第二前景图像的向量数据适于重复使用。
3.根据权利要求1所述的图像处理设备，其特征在于，以如下方式生成所述背景图像，用从所述输入图像的被向量数据包括在所述第一层中的第一前景图像占据的部分的周边选择的颜色来填充与输入图像的该部分相对应的所述背景图像的部分。
4.根据权利要求1所述的图像处理设备，其特征在于，还包括：
区域提取单元，用于从所述输入图像中提取多个区域；以及
第一识别单元，用于基于由所述区域提取单元提取的区域，识别所述第一前景图像和所述第二前景图像。
5.根据权利要求4所述的图像处理设备，其特征在于，所述第一识别单元将从所述输入图像中提取的字符区域中的字符图像识别为所述第一前景图像，将从所述输入图像中提取的线画区域中的线画图像识别为所述第二前景图像。
6.根据权利要求1所述的图像处理设备，其特征在于，还包括第二识别单元，其用于基于从由所述向量化单元得到的所述向量数据再现的图像和所述输入图像，识别从所述第一前景图像和所述第二前景图像中的哪一个产生所述向量数据。
7.根据权利要求6所述的图像处理设备，其特征在于，检测关于从所述向量数据再现的所述图像的所述输入图像上的颜色，基于所检测到的颜色，所述第二识别单元识别从所述第一前景图像和所述第二前景图像中的哪一个产生所述向量数据。
8.根据权利要求6所述的图像处理设备，其特征在于，基于从所述向量数据再现的所述图像的形状和所述输入图像中对应的形状，所述第二识别单元识别从所述第一前景图像和所述第二前景图像中的哪一个产生所述向量数据。
9.根据权利要求1所述的图像处理设备，其特征在于，还包括字符识别单元，其用于对包括在所述输入图像中的字符图像执行字符识别，
其中，由所述产生单元产生的所述多层电子数据还包括第四层，所述第四层包括由所述字符识别单元执行的所述字符识别的结果。
10.根据权利要求1所述的图像处理设备，其特征在于，还包括形状识别单元，用于对包括在所述输入图像中的线画图像执行形状识别，
其中，由所述产生单元产生的所述多层电子数据还包括第四层，所述第四层包括由所述形状识别单元执行的所述形状识别的结果。
11.根据权利要求1所述的图像处理设备，其特征在于，当由所述产生单元产生的所述多层电子数据用于显示时，所述图像处理设备通过将从包括在所述第一层中的所述向量数据再现的图像叠加在包括在所述第二层中的所述背景图像上来执行显示。
12.根据权利要求1所述的图像处理设备，其特征在于，当由所述产生单元产生的所述多层电子数据用于显示时，基于用户指令，可以选择性地切换：使用所述第一层和所述第二层的显示、使用所述第一层和所述第三层的显示、以及只使用所述第二层的显示。
13.一种图像处理方法，其包括以下步骤：
将包括在输入图像中的前景图像转换为向量数据；以及
产生多层电子数据，所述多层电子数据包括：第一层，其包括所述输入图像中的第一前景图像的向量数据；第二层，其包括所述输入图像中的背景图像；以及第三层，其包括所述输入图像中的第二前景图像的向量数据。
14.根据权利要求13所述的图像处理方法，其特征在于：
所述第一前景图像的向量数据适于显示；以及
所述第二前景图像的向量数据适于重复使用。
15.根据权利要求13所述的图像处理方法，其特征在于，以如下方式生成所述输入图像中的所述背景图像，用从与向量数据包括在所述第一层中的所述第一前景图像对应的所述输入图像的部分的周边选择的颜色填充所述输入图像的该部分。
16.根据权利要求13所述的图像处理方法，其特征在于，还包括以下步骤：
区域提取步骤，从所述输入图像提取多个区域；以及
基于在所述区域提取步骤中提取的所述区域，识别所述第一前景图像和所述第二前景图像。
17.根据权利要求16所述的图像处理方法，其特征在于，在识别所述第一和第二前景图像的所述步骤中，将从所述输入图像提取的字符区域中的字符图像识别为所述第一前景图像，将从所述输入图像提取的线画区域中的线画图像识别为所述第二前景图像。
18.根据权利要求13所述的图像处理方法，其特征在于，还包括以下步骤：基于根据从所述前景图像得到的所述向量数据再现的图像和所述输入图像，识别从所述第一前景图像和所述第二前景图像中的哪一个产生所述向量数据。
19.根据权利要求18所述的图像处理方法，其特征在于，检测关于从所述向量数据再现的所述图像的所述输入图像上的颜色，基于所检测到的颜色，识别从所述第一前景图像和所述第二前景图像中的哪一个产生所述向量数据。
20.根据权利要求18所述的图像处理方法，其特征在于，基于从所述向量数据再现的所述图像的形状和所述输入图像中对应的形状，识别从所述第一前景图像和所述第二前景图像中的哪一个产生所述向量数据。
21.根据权利要求13所述的图像处理方法，其特征在于，还包括对包括在所述输入图像中的字符图像执行字符识别的步骤，
其中，所产生的多层电子数据还包括第四层，所述第四层包括所执行的所述字符识别的结果。
22.根据权利要求13所述的图像处理方法，其特征在于，还包括对包括在所述输入图像中的线画图像执行形状识别的步骤，
其中，所产生的多层电子数据还包括第四层，所述第四层包括所执行的所述形状识别的结果。
23.根据权利要求13所述的图像处理方法，其特征在于，当所产生的电子数据用于显示时，通过将从包括在所述第一层中的所述向量数据再现的图像叠加在包括在所述第二层中的所述背景图像上来执行显示。
24.根据权利要求13所述的图像处理方法，其特征在于，当所产生的电子数据用于显示时，基于用户指令，可以选择性地切换：使用所述第一层和所述第二层的显示、使用所述第一层和所述第三层的显示、以及只使用所述第二层的显示。
CN200710087579XA 2006-03-31 2007-03-30 图像处理设备和图像处理方法 Expired - Fee Related CN101046848B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2006-098003 2006-03-31
JP2006098003A JP4764231B2 (ja) 2006-03-31 2006-03-31 画像処理装置、制御方法、コンピュータプログラム
JP2006098003 2006-03-31

Publications (2)

Publication Number Publication Date
CN101046848A true CN101046848A (zh) 2007-10-03
CN101046848B CN101046848B (zh) 2011-05-04

Family

ID=38222104

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200710087579XA Expired - Fee Related CN101046848B (zh) 2006-03-31 2007-03-30 图像处理设备和图像处理方法

Country Status (4)

Country Link
US (1) US8050499B2 (zh)
EP (1) EP1840797B1 (zh)
JP (1) JP4764231B2 (zh)
CN (1) CN101046848B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102496006A (zh) * 2011-12-05 2012-06-13 北方工业大学 一种空白纸张检测方法
CN105068975A (zh) * 2011-05-23 2015-11-18 成都科创知识产权研究所 图形框快速绘制方法及***
CN105335451A (zh) * 2014-08-15 2016-02-17 宇龙计算机通信科技(深圳)有限公司 取景框中显示数据的处理方法、装置、拍照方法及终端
CN108418998A (zh) * 2017-02-10 2018-08-17 佳能株式会社 用于生成虚拟视点图像的***和方法以及存储介质
CN110248207A (zh) * 2018-03-08 2019-09-17 株式会社理光 图像现实感展示服务器、展示方法和记录介质及展示***
CN110263781A (zh) * 2018-03-12 2019-09-20 精工爱普生株式会社 图像处理装置、图像处理方法以及存储介质

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3925112B2 (ja) * 2001-06-20 2007-06-06 富士ゼロックス株式会社 画像処理装置
JP2006023945A (ja) * 2004-07-07 2006-01-26 Canon Inc 画像処理システム及び画像処理方法
JP2010503101A (ja) * 2006-09-11 2010-01-28 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像のコラージュを生成するための方法及び電子装置
US7911481B1 (en) * 2006-12-14 2011-03-22 Disney Enterprises, Inc. Method and apparatus of graphical object selection
KR101392166B1 (ko) * 2006-12-18 2014-05-08 삼성전자주식회사 휴대용 디스플레이 장치의 이미지 편집 방법, 편집 이미지생성 방법 및 편집된 이미지 저장 방법 및 장치
JP4951373B2 (ja) * 2007-03-13 2012-06-13 株式会社リコー 画像検索装置、画像検索方法、及びコンピュータプログラム
US20090077657A1 (en) * 2007-09-13 2009-03-19 James Williams System and method of managing user roles in an automated workflow process
JP4871822B2 (ja) * 2007-09-20 2012-02-08 キヤノン株式会社 画像符号化装置及びその制御方法
JP4766030B2 (ja) * 2007-10-11 2011-09-07 富士ゼロックス株式会社 画像処理装置及び画像処理プログラム
US8526766B2 (en) * 2007-10-31 2013-09-03 Ctb/Mcgraw-Hill Llc Use of composite bitmapped images in conjunction with display of captured data
US9070319B1 (en) * 2008-03-31 2015-06-30 Adobe Systems Incorporated Selective transformation of overlapping image objects
JP5047051B2 (ja) * 2008-05-02 2012-10-10 キヤノン株式会社 画像処理装置及び画像符号化方法
FR2931966A1 (fr) * 2008-05-30 2009-12-04 Novacyt Procede d'analyse cellulaire d'un prelevement au moyen d'une plaque d'analyse virtuelle
JP5302768B2 (ja) * 2008-06-26 2013-10-02 キヤノン株式会社 画像処理装置及び画像処理方法
JP5121599B2 (ja) 2008-06-30 2013-01-16 キヤノン株式会社 画像処理装置、画像処理方法およびそのプログラムならびに記憶媒体
JP2010026051A (ja) * 2008-07-16 2010-02-04 Seiko Epson Corp 画像表示装置および画像表示装置制御用のプログラム
JP5153676B2 (ja) 2009-02-10 2013-02-27 キヤノン株式会社 画像処理装置、画像処理方法、プログラムおよび記憶媒体
JP5274305B2 (ja) * 2009-02-27 2013-08-28 キヤノン株式会社 画像処理装置、画像処理方法、コンピュータプログラム
JP4821869B2 (ja) * 2009-03-18 2011-11-24 富士ゼロックス株式会社 文字認識装置、画像読取装置、およびプログラム
JP5208043B2 (ja) * 2009-04-16 2013-06-12 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP5328510B2 (ja) * 2009-06-24 2013-10-30 キヤノン株式会社 画像処理装置、画像処理方法、コンピュータプログラム
JP5566257B2 (ja) * 2009-11-04 2014-08-06 新光電気工業株式会社 データ生成方法および画像検査方法
JP5036844B2 (ja) * 2010-04-15 2012-09-26 シャープ株式会社 画像圧縮装置、画像出力装置、画像読取装置、画像圧縮方法、コンピュータプログラム及び記録媒体
KR101405410B1 (ko) * 2010-10-20 2014-06-24 고려대학교 산학협력단 객체 검출 장치 및 시스템
JP2012098935A (ja) * 2010-11-02 2012-05-24 Canon Inc 図形処理装置、図形処理方法、コンピュータプログラム
US8306335B2 (en) * 2011-03-30 2012-11-06 Seiko Epson Corporation Method of analyzing digital document images
JP5979950B2 (ja) * 2012-04-12 2016-08-31 キヤノン株式会社 画像処理装置及びその制御方法、並びにプログラム
US8805068B2 (en) * 2012-12-13 2014-08-12 Microsoft Corporation Automatic classification and color enhancement of a markable surface
US9437131B2 (en) * 2013-07-05 2016-09-06 Visteon Global Technologies, Inc. Driving a multi-layer transparent display
JP6000992B2 (ja) * 2014-01-24 2016-10-05 京セラドキュメントソリューションズ株式会社 文書ファイル生成装置及び文書ファイル生成方法
WO2015160369A1 (en) * 2014-04-14 2015-10-22 Vis-Ujala, Llc Methods and apparatus for monitoring a facility
US9675247B2 (en) * 2014-12-05 2017-06-13 Ricoh Co., Ltd. Alpha-matting based retinal vessel extraction
KR101715504B1 (ko) * 2015-09-16 2017-03-14 성균관대학교산학협력단 색상 코드를 이용하여 otp 인증을 수행하는 방법 및 색상 코드를 이용하는 otp 인증 서버
JP6786874B2 (ja) * 2016-05-20 2020-11-18 日本電気株式会社 針式メータ検出装置、方法およびプログラム
US10448054B2 (en) 2017-01-11 2019-10-15 Groq, Inc. Multi-pass compression of uncompressed data
US10445615B2 (en) * 2017-05-24 2019-10-15 Wipro Limited Method and device for extracting images from portable document format (PDF) documents

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5353393A (en) * 1989-06-14 1994-10-04 Sunwest Trading Corporation Apparatus and method for manipulating scanned documents in a computer aided design system
JP3026592B2 (ja) 1990-10-22 2000-03-27 キヤノン株式会社 輪郭抽出方法及びその装置
JP3454273B2 (ja) * 1992-02-26 2003-10-06 富士ゼロックス株式会社 文書処理装置および方法
US5680479A (en) * 1992-04-24 1997-10-21 Canon Kabushiki Kaisha Method and apparatus for character recognition
US5966135A (en) * 1996-10-30 1999-10-12 Autodesk, Inc. Vector-based geographic data
JPH11327789A (ja) * 1998-03-12 1999-11-30 Ricoh Co Ltd カラー表示装置および電子黒板システム
JP2000089747A (ja) * 1998-09-08 2000-03-31 Dainippon Screen Mfg Co Ltd 画像表示方法及びその装置
JP2000306103A (ja) * 1999-04-26 2000-11-02 Canon Inc 情報処理装置及び方法
ATE244422T1 (de) * 1999-10-12 2003-07-15 Autodesk Inc Geographische karten auf einem persönlichen digitalen assistenten (pda) und server
JP2001209736A (ja) * 2000-01-24 2001-08-03 Link & Share Inc 表示制御装置及び記録媒体
JP4337251B2 (ja) * 2000-09-04 2009-09-30 コニカミノルタビジネステクノロジーズ株式会社 画像処理装置、画像処理方法および画像処理プログラムを記録したコンピュータ読取可能な記録媒体
JP2003046746A (ja) * 2001-07-31 2003-02-14 Canon Inc 画像処理方法及び画像処理装置
US6973213B2 (en) * 2001-10-12 2005-12-06 Xerox Corporation Background-based image segmentation
US7110596B2 (en) 2002-04-25 2006-09-19 Microsoft Corporation System and method facilitating document image compression utilizing a mask
US7110137B2 (en) 2002-04-30 2006-09-19 Microsoft Corporation Mixed raster content files
US7324120B2 (en) * 2002-07-01 2008-01-29 Xerox Corporation Segmentation method and system for scanned documents
JP4251629B2 (ja) * 2003-01-31 2009-04-08 キヤノン株式会社 画像処理システム及び情報処理装置、並びに制御方法及びコンピュータプログラム及びコンピュータ可読記憶媒体
US7391917B2 (en) 2003-02-13 2008-06-24 Canon Kabushiki Kaisha Image processing method
US7403661B2 (en) * 2004-02-12 2008-07-22 Xerox Corporation Systems and methods for generating high compression image data files having multiple foreground planes
JP4371911B2 (ja) * 2004-05-31 2009-11-25 キヤノン株式会社 関数化処理方法及び関数化処理装置
US7873218B2 (en) 2004-04-26 2011-01-18 Canon Kabushiki Kaisha Function approximation processing method and image processing method
US7283674B2 (en) * 2004-06-25 2007-10-16 Xerox Corporation Using graphic objects in MFD scan-to-export function
JP2006023945A (ja) * 2004-07-07 2006-01-26 Canon Inc 画像処理システム及び画像処理方法
DE102004038740A1 (de) * 2004-08-10 2006-02-23 Robert Bosch Gmbh Verfahren zur Darstellung von Karteninformationen
JP5274305B2 (ja) * 2009-02-27 2013-08-28 キヤノン株式会社 画像処理装置、画像処理方法、コンピュータプログラム

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105068975A (zh) * 2011-05-23 2015-11-18 成都科创知识产权研究所 图形框快速绘制方法及***
CN102496006A (zh) * 2011-12-05 2012-06-13 北方工业大学 一种空白纸张检测方法
CN102496006B (zh) * 2011-12-05 2013-07-03 北方工业大学 一种空白纸张检测方法
CN105335451A (zh) * 2014-08-15 2016-02-17 宇龙计算机通信科技(深圳)有限公司 取景框中显示数据的处理方法、装置、拍照方法及终端
CN108418998A (zh) * 2017-02-10 2018-08-17 佳能株式会社 用于生成虚拟视点图像的***和方法以及存储介质
US10699473B2 (en) 2017-02-10 2020-06-30 Canon Kabushiki Kaisha System and method for generating a virtual viewpoint apparatus
CN110248207A (zh) * 2018-03-08 2019-09-17 株式会社理光 图像现实感展示服务器、展示方法和记录介质及展示***
CN110248207B (zh) * 2018-03-08 2021-03-16 株式会社理光 图像现实感展示服务器、展示方法和记录介质及展示***
CN110263781A (zh) * 2018-03-12 2019-09-20 精工爱普生株式会社 图像处理装置、图像处理方法以及存储介质
CN110263781B (zh) * 2018-03-12 2023-08-18 精工爱普生株式会社 图像处理装置、图像处理方法以及存储介质

Also Published As

Publication number Publication date
CN101046848B (zh) 2011-05-04
US20070230810A1 (en) 2007-10-04
JP2007272601A (ja) 2007-10-18
US8050499B2 (en) 2011-11-01
JP4764231B2 (ja) 2011-08-31
EP1840797A2 (en) 2007-10-03
EP1840797B1 (en) 2016-08-17
EP1840797A3 (en) 2011-12-28

Similar Documents

Publication Publication Date Title
CN101046848A (zh) 图像处理设备和图像处理方法
CN1248138C (zh) 图像处理方法与图像处理***
CN1253010C (zh) 图像压缩方法及装置、图像编码装置及图像编码方法
CN1783933A (zh) 图像处理装置及其方法
CN1114888C (zh) 图像处理方法、设备和***
CN100379239C (zh) 用于将图像转换为预定格式的图像处理设备及方法
CN101944179B (zh) 图像处理装置和图像处理方法
CN1174344C (zh) 数字摄像机图像中字符定位的方法及装置
CN1627786A (zh) 图像处理***以及图像处理方法
CN1458791A (zh) 分段分层的图像***
CN1829273A (zh) 图像处理装置及其方法
CN1913573A (zh) 用于图像检索的图像处理设备及其控制方法
CN1667641A (zh) 字符识别方法
CN1029265C (zh) 图形属性双向转换描述文件
CN1617567A (zh) 彩色图像压缩方法和装置
CN1655583A (zh) 生成具有多个前景平面的高压缩图像数据文件的***和方法
CN1719862A (zh) 图像处理***和图像处理方法
CN1719864A (zh) 图像处理***及图像处理方法
CN1859541A (zh) 图像处理设备及其控制方法
JP2006155588A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
CN1925541A (zh) 图像处理装置及其方法
US7126612B2 (en) Image processing apparatus, image processing method, program, and storage medium
JP2011013898A (ja) 画像処理装置、画像処理方法、及び、プログラム
US20110002018A1 (en) Image processing apparatus, image processing method, and storage medium for eliminating blurring of scanned image
JP5159588B2 (ja) 画像処理装置、画像処理方法、コンピュータプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110504