CN101452443A - 逻辑结构模型创建辅助设备和方法,用于其的记录介质 - Google Patents

Abstract

一种用于辅助进行逻辑结构模型创建的方法，该逻辑结构模型存储来自其中描述了分别与组成逻辑结构的多个逻辑元素相关联的字符串的图像的逻辑元素、与所述逻辑元素相关联的字符串、以及逻辑结构，其中提取输入图像中的字符串以及输入图像中的字符串间的逻辑结构；根据提取的字符串和分别与存储在所述逻辑结构模型中的多个逻辑元素相关联的字符串之间的类似程度，选择多个逻辑元素中的逻辑元素；提取与所选择的逻辑元素相关联的字符串以及输入图像中与基于提取的输入图像中的字符串间的逻辑结构的逻辑元素相关联的字符串。

Description

逻辑结构模型创建辅助设备和方法，用于其的记录介质

与相关申请的交叉引用

本申请要求提交于2007年12月6日的日本专利申请No.2007-316318的优先权，通过引用将其整体结合在此。

背景技术

近年来，随着计算机在商业中的使用，许多计算机化文档得以使用。因此，作为用于将书面文档转换为计算机化文档的技术，图像识别技术诸如光学字符读取器或光学字符识别(OCR)的重要性增加了。

日本待审公开No.2006-134106中公开了一种方法，其中希望从书面文档中以图像识别提取的数据的‘标题(heading)’和数据之间的关系，以及‘标题，之间的关系被作为‘逻辑结构’事先记录在‘逻辑结构模型’中，并且有效地、准确地提取与‘标题，相关联的数据，其中在所述书面文档中数据根据预定的格式被输入。

例如，如果文档是‘申请’，诸如‘对象’，‘全名’和‘申请日期’的‘标题，将被包括在内的关系被事先记录为‘逻辑结构模型’。如果可以在以OCR识别的文档中发现这些字符串，可以指出文档是哪种类型的文档。此时，除了‘逻辑结构’的关系之外，还使用其位置关系。在上述申请公开中，公开了一种方法，其中借助于使用‘逻辑结构模型’，通过图像识别从书面文档中提取数据。

然而，即使在具有相同对象的文档中，某些时候使用表示相同概念的不同的单词。例如，对于‘全名’，有时使用不同的表述诸如‘名字’、‘名和姓’、‘你的名字’和‘你的全名’。这表示‘填写文档的人的名字’，并且将被提取的数据具有相同的类型。

因此，在具有不同格式的书面文档中，通过对表示相同概念的单词分组并且记录实际的表达，而同时使用以概念定义的逻辑结构而不是具体的单词作为‘一般逻辑结构模型’，不仅可以处理具有特定格式的书面文档，而且可以处理未知的文档。然而，为了创建‘一般逻辑结构模型’，必须提取具有若干格式的文档的公共概念，并且记录具体的关系和表述。可能难以记录各种格式的文档中的所有标题；即使在具有相同格式的文档中，必须检查作为对象的‘标题，是否存在于已有的‘一般逻辑结构模型’中，并且进一步作为应当考虑记录其概念的元素。另外，存在这样的问题，即，随着记录的单词的增加，除了‘一般逻辑结构模型’的创建者之外，将难以理解其结构。

发明内容

本发明的至少一个实施例提供了用于辅助进行逻辑结构模型的创建的逻辑结构模型创建辅助方法，其从图像存储逻辑元素、与所述逻辑元素相关联的字符串、以及逻辑结构，在所述图像中描述了分别与构成逻辑结构的多个逻辑元素相关的字符串，其中基于输入图像的识别结果，提取输入图像中的字符串和所述输入图像中的字符串之间的逻辑结构，根据提取的所述输入图像中的字符串和分别与存储在所述逻辑结构模型中的多个逻辑元素相关的字符串之间的类似程度，从多个逻辑元素中选择逻辑元素，提取与所选择的逻辑元素相关的字符串以及输入图像中的与基于提取的输入图像中的字符串之间的逻辑结构的逻辑元素相关的字符串，并且作为与所选择的逻辑元素相关联的字符串的候选更新目标，显示提取的字符串。

应当理解，前面的概要描述和后面的详细说明两者仅是示例和解释，并且不是对本发明的限制。

附图说明

将作为例子而不是限制，通过下面的附图描述实施例。

图1是示出了根据本发明的示例实施例的逻辑节点结构的图；

图2是示出了根据本发明的示例实施例的一般逻辑结构模型创建辅助设备的结构的功能方框图；

图3是根据本发明的示例实施例的一般逻辑结构模型的表达的例子的图；

图4是示出了根据本发明的示例实施例的一般逻辑结构模型更新处理过程的流程图；

图5是示出了根据本发明的示例实施例的一般逻辑结构模型和从输入表格获得的逻辑结构之间的抽象表达的例子的逻辑节点结构图；

图6-7是示出了根据本发明的示例实施例的逻辑结构匹配处理过程的流程图；

图8是示出了根据本发明的示例实施例用于确定类似节点的方法的概述的图；

图9是示出了根据本发明的示例实施例用于估计类似逻辑结构的方法的概述的逻辑节点结构图；

图10A是示出了根据本发明的示例实施例的确认屏幕的例子的图，当给节点添加实际表达时(当将实际表达添加到正确的节点时)显示该确认屏幕；

图10B是示出了根据本发明的示例实施例，已将实际表达添加到节点的显示屏幕的例子的图；

图11A是示出了根据本发明的示例实施例的确认屏幕的例子的图，当给节点添加实际表达时(当将实际表达添加到不正确的节点时)显示该确认屏幕；

图11B是示出了根据本发明的示例实施例的管理屏幕的例子的图，显示该管理屏幕以便提示指明将添加实际表达的正确节点；

图11C是示出了根据本发明的示例实施例的确认屏幕的例子的图，当给节点添加实际表达时(当将实际表达添加到正确的节点时)显示该确认屏幕；

图11D是示出了根据本发明的示例实施例，已将实际表达添加到节点的显示屏幕的例子的图；

图12是示出了根据本发明的示例实施例，通过拖拽和放置将实际表达从一个节点移动到另一个节点时的显示屏幕的例子的图；

图13是示出了根据本发明的示例实施例，通过输入多个相同类型的书面表格进行的一般逻辑结构模型创建的例子的图；

图14A-14B是示出了根据本发明的示例实施例，通过输入多个相同类型的书面表格进行的一般逻辑结构模型创建处理过程的流程图。

具体实施方式

在附图中，为了描述清楚，可能夸大尺寸和/或比例。还应当理解，当元件被称为“连接到”另一个元件时，其可以被直接连接或间接连接，即，可能存在中间元件。另外，应当理解，当元件被称为位于两个元件“之间”时，其可能是这两个元件之间的唯一元件，或还存在一个或多个中间元件。全文中类似的附图标记指示类似的元件。

下面将参考附图详细描述逻辑结构模型创建辅助程序、逻辑结构模型创建辅助设备和逻辑结构模型创建辅助方法的示例实施例。注意，在下面的示例实施例中，图像(对其进行图像识别并且从其创建逻辑结构模型)表示这样的图像，其中字符串被描述为组成逻辑结构的多个逻辑元素，并且例如是“表格”。然而，图像不限于“表格”，只要它是其中每个字符串被描述为组成逻辑结构的多个逻辑元素的图像即可。此处应当理解，根术语“组成”及其变体是开放的而非封闭的表述，并且应当理解为分别意味着“包括”及其变体。

另外，在下面的示例实施例中，通过逻辑结构模型创建辅助程序、逻辑结构模型创建辅助设备和逻辑结构模型创建辅助方法创建和更新的逻辑结构模型是‘一般逻辑结构模型’，它是若干类型的表格所共有的逻辑结构模型。

具体地，在下面的示例实施例中，为了描述简单起见，‘一般逻辑结构模型’涉及具有归入‘申请’类别的若干不同类型的格式的表格。一般地，如果表格为相同的类别，虽然布局和项目多少存在不同，但包括的项目和项目之间的关系通常几乎是相同的。因此，对于根据从表格获得的‘标题，估计的每类表格，在使用前切换‘一般逻辑结构模型’。

然而，如果为每个类别的表格准备‘一般逻辑结构模型’，存在给数据库资源带来压力的缺点。因此，可以准备所有表格公共的‘一般逻辑结构模型’。这允许减小，如果不能防止的话，由于准备每个表格的‘一般逻辑结构模型’而带来的对数据库资源的压力，并且允许更有效地管理‘一般逻辑结构模型’。

图1是示出了根据本发明的示例实施例的逻辑节点结构图。如图1所示，(1)首先，对书面输入表格执行图像识别，并且获得输入表格的逻辑结构。此处，应当理解，书面输入表格包括出现在纸之外的介质，例如膜等等上的打印的输入表格。出于讨论的目的，图1假设一个假定的并且非限制性的输入表格，其在图1中被标记为“输入表格”。

根据图1，在从输入表格获得的逻辑结构中，与被标记为“○○申请”的‘标题，相关联的节点作为根节点，在其之下的层中，出现有与被标记为“你的名字”的‘标题，和被标记为“2007年1月1日”的‘标题，相关联的节点。

另外，在与被标记为“你的名字”的‘标题，相关联的节点之下的层中，出现有与被标记为“名”和“姓”的‘标题’相关联的节点。数据“Fujitu”与“名”相关联，并且数据“Taro”与“姓”相关联。

(2)其次，把事先准备的、更新之前的‘一般逻辑结构模型’与在(1)中获得的输入表格的逻辑结构进行比较。在‘一般逻辑结构模型’中，以椭圆表示的节点是抽象逻辑元素，并且具有给定的名称(designation)。另外，与每个逻辑元素相关联并且以矩形表示的元素是与逻辑元素相关联的实际数据(此后称为‘实际表达，)。每个逻辑元素之间的关系组成‘一般逻辑结构模型’的逻辑结构。

例如，“～申请”和“～通知”作为‘实际表达’与逻辑元素“题目”相关联。由于标记为“～申请”的‘实际表达’与作为输入表格的根节点的“XX申请”类似，可以假设与从输入表格获得的逻辑结构类似的逻辑结构出现在逻辑元素“题目”的下层。

因此，当跟随逻辑元素“题目”之下的层时，出现具有名称“全名”的逻辑元素。作为该逻辑元素的名称的“全名”类似于输入表格的逻辑结构中的被标记为“你的名字”的‘标题’。然而，仅有‘实际表达’“全名”与逻辑元素“全名”相关联，并且未记录与输入表格的逻辑结构中的‘标题’“你的名字”相同的‘实际表达’。

另外，当跟随逻辑元素“全名”之下的层时，出现逻辑元素“名”和“姓”，它们与输入表格的逻辑结构中的‘标题’“名”和“姓”匹配。然而，仅有‘实际表达’“姓氏”和“名”分别与逻辑元素‘姓’和‘名’相关联，并且未记录与输入表格的逻辑结构中的‘标题’“姓”和“名”相同的‘实际表达’。类似地，当跟随逻辑元素“题目”之下的其他层时，出现具有名称“申请日期”的逻辑元素。可以假设作为逻辑元素的名称的这个“申请日期”类似于在输入表格的逻辑结构中被标记为“2007年1月1日”的‘标题’。

另外，当跟随逻辑元素“申请日期”之下的层时，可以看到出现了逻辑元素“年”，“月”和“日”。仅有“2006”，“3”和“5”与每个逻辑元素的‘实际表达，相关联。由于当分析输入表格的逻辑结构中的“2007年1月1日”时，“2007年1月1日”可被分解为“2007”，“年”，“1”，“月”，“1”和“日”，可见“2007”，“1”和“1”可能分别是逻辑元素“年”，“月”和“日”的‘实际表达’。2007”，“1”和“1”未被记录为逻辑元素“年”，“月”和“日”的‘实际表达’。

如上所述，虽然输入表格的逻辑结构中的‘标题’当中的某一些相应于‘一般逻辑结构模型’的逻辑元素，如果它们未被记录为逻辑元素名称或‘实际表达’，可能难以使用该‘一般逻辑结构模型’正确地执行输入表格的图像识别；因此，‘标题，必须被记录为‘一般逻辑结构模型’的‘实际表达’。

(3)因此，为了克服上面的缺点，开发了用于辅助进行添加从输入表格获得的‘标题’作为‘一般逻辑结构模型’中的相应的逻辑元素的‘实际表达，的操作的逻辑结构模型创建辅助程序、逻辑结构模型创建辅助设备和逻辑结构模型创建辅助方法。

如(3)中所示，“你的名字”，“名”，“姓”，“2007”，“1”和“1”被分别作为逻辑元素“全名”的‘实际表达’，逻辑元素“名”的‘实际表达’，逻辑元素“姓”的‘实际表达’，逻辑元素“年”的‘实际表达’，逻辑元素“月”的‘实际表达’和逻辑元素“日”的‘实际表达’而添加到‘一般逻辑结构模型’中。

在相关技术中，随着‘一般逻辑结构模型’的逻辑结构变得更为复杂，从‘一般逻辑结构模型，中提取与输入表格的逻辑结构匹配的逻辑结构，并且将‘实际表达，添加到适当的逻辑元素的操作也变得更为困难。相对比而言，不论‘一般逻辑结构模型’的渐增的复杂性如何，相应于图1的本发明的实施例实现了这种难度的减小，并且使得除了‘一般逻辑结构模型’的设计者、作者和管理者之外的人更容易基于输入表格将‘实际表达，添加到‘一般逻辑结构模型’中的适当的逻辑元素。

图2是示出了根据本发明的示例实施例的一般逻辑结构模型创建辅助设备100的结构的功能方框图。图2可以与图1的逻辑节点结构兼容。如图2所示，一般逻辑结构模型创建辅助设备100连接到图像识别处理设备200。

一般逻辑结构模型创建辅助设备100连接到终端设备104，其从输入设备105，例如键盘、鼠标等接收操作指令以便创建或更新一般逻辑结构模型，输出设备106，例如用于显示将被创建或更新的一般逻辑结构模型的显示器，连接于终端设备104。

图像识别处理设备200具有控制单元201和输入/输出接口单元202，输入/输出接口单元202是用于与一般逻辑结构模型创建辅助设备100和扫描仪设备203通信的接口。图像识别处理设备200中的控制单元201具有用于分析输入表格的文档结构的文档结构分析处理单元201a，用于识别书写于输入表格内的字符的字符识别处理单元201b，和用于分析输入表格的逻辑结构，并且将该逻辑结构发送给一般逻辑结构模型创建辅助设备100的逻辑结构分析处理单元201c。另外，图像识别处理设备200连接到用于读取表格的扫描仪设备203。

一般逻辑结构模型创建辅助设备100具有控制单元101，存储单元102和输入/输出接口单元103，输入/输出接口单元103是用于与图像识别处理设备200和终端设备104通信的接口。

控制单元101是控制设备，例如微型计算机，其可以控制整个一般逻辑结构模型创建辅助设备100，并且可以具有逻辑结构管理处理单元101a、类似逻辑结构估计处理单元101b、添加/更新目标显示和确认处理单元101c和逻辑结构模型添加/更新处理单元101d。

逻辑结构管理处理单元101a是用于管理存储在后面描述的一般逻辑结构模型DB(数据库)102a中的一般逻辑结构模型，并且管理输入表格中的‘标题’和从图像识别处理设备200接收的‘标题，的逻辑结构的处理单元。更具体地，接收自输入设备105的来自用户的表格读取指令作为触发器，逻辑结构管理处理单元101a指示图像识别处理设备200通过扫描仪设备203读取和输入表格，分析输入表格的文档结构，识别输入表格中的字符，并且分析输入表格的逻辑结构。另外，逻辑结构管理处理单元101a从图像识别处理设备200接收被分析的输入表格的逻辑结构，并且将其传递给类似逻辑结构估计处理单元101b。

另外，当没有具有类似于从图像识别处理设备200接收的输入表格中的‘标题’和‘标题’的逻辑结构的‘一般逻辑结构模型’被以后面描述的一般逻辑结构模型DB102a记录时，逻辑结构管理处理单元101a创建相应于输入表格的‘标题，和‘标题，的逻辑结构的新‘一般逻辑结构模型’。

类似逻辑结构估计处理单元101b把存储在后面描述的一般逻辑结构模型DB102a中的‘一般逻辑结构模型’的逻辑结构与从逻辑结构管理处理单元101a接收的输入表格的逻辑结构进行比较。

更具体地，从输入表格的逻辑结构中的根节点的‘标题，开始，类似逻辑结构估计处理单元101b搜索后面描述的一般逻辑结构模型DB102a，以便检查是否以‘一般逻辑结构模型，记录了与每个‘标题，类似的逻辑元素的名称，或类似于‘标题，的逻辑元素的‘实际表达’。另外，类似逻辑结构估计处理单元101b确定类似的输入表格的‘标题，的逻辑结构和与‘一般逻辑结构模型’的‘实际表达，相关联的逻辑元素的逻辑结构是否类似。以这种方式，类似逻辑结构估计处理单元101b估计‘一般逻辑结构模型’的逻辑结构中的与输入表格的逻辑结构类似的部分。

添加/更新目标显示和确认处理单元101c使得输出设备106显示‘一般逻辑结构模型，的逻辑结构中的被类似逻辑结构估计处理单元101b估计为与输入表格的逻辑结构类似的部分，以及使用显示屏幕提示用户确认，以便将输入表格中的‘标题’添加到逻辑结构中的每个逻辑元素的‘实际表达’。

更具体地，共同提取‘一般逻辑结构模型’的逻辑结构中的被类似逻辑结构估计处理单元101b估计为与输入表格的逻辑结构类似的部分的逻辑元素的‘实际表达’以及输入表格中的被估计为与逻辑元素相关联的‘标题’，并将它们列出，以便通过图形用户接口(GUI)询问用户是否可以根据列表中的内容更新‘一般逻辑结构模型，中的逻辑元素的‘实际表达’。用户确认GUI上的显示内容，并且通过输入设备105输入关于是否更新‘一般逻辑结构模型’中的逻辑元素的‘实际表达，的指令。

当从用户收到更新‘一般逻辑结构模型’中的逻辑元素的‘实际表达，的指令时，添加/更新目标显示和确认处理单元101c在逻辑结构模型添加/更新处理单元101d上执行对存储在一般逻辑结构模型DB102a中的‘一般逻辑结构模型’中的逻辑元素的‘实际表达，的更新。

注意，当向用户做出关于是否根据其中共同提取并列出了‘一般逻辑结构模型，的逻辑结构中的被类似逻辑结构估计处理单元101b估计为与输入表格的逻辑结构类似的部分的逻辑元素的‘实际表达’以及输入表格中被估计为与该逻辑元素相关联的‘标题’的内容，更新‘一般逻辑结构模型’中的逻辑元素的‘实际表达，的询问时，如果‘一般逻辑结构模型’中的将添加输入表格中的‘标题，的逻辑元素的位置不适合，用户使用输入设备105诸如鼠标将‘标题，拖放到适合的逻辑元素，从而给出修改要添加‘标题，的位置的指令。

存储单元102是存储器，其可以存储DB，并且包括一般逻辑结构模型DB 102a。一般逻辑结构模型DB 102a是存储‘一般逻辑结构模型’的DB。‘一般逻辑结构模型’可以具有分层结构，例如树结构。因此，可以用例如图3所示的可扩展标记语言(XML)格式管理数据。

图3是示出了根据本发明的示例实施例，被表达为XML格式的一般逻辑结构模型的表达的例子的图。在图3中，XML中的“类(class)”相应于‘一般逻辑结构模型’中的逻辑元素。“类名(class name)”是逻辑元素的名称。另外，写于“实例类型(instance type)＝“～””和“/实例”之间的字符串是“实例”，“实例”是抽象概念“类”的具体实现名。注意，“实例类型”指明了作为“类”的具体实现名的“实例”的属性(attr)。由于属性说明之外的字符串不能被记录为“实例”，因此不需要一般逻辑结构模型中的逻辑元素的名称或‘实现值’与输入表格中的‘标题’的比较。

图4是示出了根据本发明的示例实施例的一般逻辑结构模型更新处理过程的流程图。首先，一般逻辑结构模型创建辅助设备100中的逻辑结构管理处理单元101a向图像识别处理设备200发送用于表格的逻辑结构分析的指令信号(步骤S101)。

当图像识别处理设备200中的文档结构分析处理单元201a收到来自一般逻辑结构模型创建辅助设备100中的逻辑结构管理处理单元101a的用于表格的逻辑结构分析的指令信号时(步骤S201为肯定)，处理进入步骤S202，另一方面，当未收到用于表格的逻辑结构分析的指令信号时(步骤S201为否定)，重复步骤S201。

在步骤S202中，图像识别处理设备200中的文档结构分析处理单元201a通过扫描仪设备203接收表格输入。随后，文档结构分析处理单元201a和字符识别处理单元201b执行文档分析(步骤S203)。更具体地，在步骤S203中，文档结构分析处理单元201a分析输入表格的布局(步骤S203a)和表(步骤S203b)，并且字符识别处理单元201b识别输入表格中的字符串(步骤S203c)。

即，对由扫描仪设备203输入图像识别处理设备200的输入表格执行文档结构分析处理，例如布局分析和表分析，并且提取表中的区域，例如，表和图，以及表中的单元位置。此后，通过字符识别处理提取字符串信息。

注意，在字符识别处理过程中执行词素分析，并且将字符串分解为单词级和基本块级。例如，单词‘onamae(名字)’被分为‘o(前缀)’和‘namae(名字)’，并且分别与‘一般逻辑结构模型’中的逻辑元素的名称和实际表达比较。

随后，图像识别处理设备200中的逻辑结构分析处理单元201c使用上述的布局分析结果和字符识别结果，并且使用表中的单元和字符串中的位置关系，来估计逻辑结构(步骤S204)。通过对输入表格执行布局分析和表结构分析，可以掌握节点结构和每个节点的具体数据(‘标题，)。另外，通过利用布局信息，可以估计输入表格的逻辑结构。可以使用已有的技术执行这种处理。

随后，图像识别处理设备200中的逻辑结构分析处理单元201c将步骤S204中的输入表格的逻辑结构的分析结果发送给一般逻辑结构模型创建辅助设备100(步骤S205)。

同时，一般逻辑结构模型创建辅助设备100中的逻辑结构管理处理单元101a从图像识别处理设备200接收表格的逻辑结构分析的结果(步骤S102)。然后，逻辑结构管理处理单元101a确定是否收到了表格的逻辑结构分析的所有结果(步骤S103)。当确定收到了表格的逻辑结构分析的所有结果(步骤S103为肯定)，处理进入步骤S104，另一方面，如果确定未收到表格的逻辑结构分析的所有结果(步骤S103为否定)，处理进入步骤S102。

随后，在步骤S104中，一般逻辑结构模型创建辅助设备100中的类似逻辑结构估计处理单元101b以存储在一般逻辑结构模型DB 102a中的‘一般逻辑结构模型’执行在步骤S102接收的表格的逻辑结构分析的结果的逻辑结构匹配处理(逻辑结构匹配处理；例如见下面图6的讨论)。通过这个处理，可以获得输入表格的基于在步骤S102接收的表格的逻辑结构分析的结果的逻辑结构与‘一般逻辑结构模型’的逻辑结构相匹配的部分，因此，可以发现要将相应的输入表格的逻辑结构中的节点的‘标题，添加到‘一般逻辑结构模型’中的‘实际表达’的部分。

随后，一般逻辑结构模型创建辅助设备100中的添加/更新目标显示和确认处理单元101c使得输出设备106向用户显示确认显示，并且基于响应输入的结果，确定是否修改更新内容(步骤S105)，该更新内容用于将相应的输入表格的逻辑结构中的节点的‘标题’添加到‘一般逻辑结构模型’中的‘实际表达’，并且更新‘实际表达’。

即，当确定修改用于更新‘一般逻辑结构模型’中的‘实际表达，的更新内容时(步骤S105为肯定)，处理进入步骤S106，另一方面，当确定不修改用于更新‘一般逻辑结构模型’中的‘实际表达，的更新内容时(步骤S105为否定)，处理进入步骤S107。

在步骤S106中，一般逻辑结构模型创建辅助设备100中的添加/更新目标显示和确认处理单元101c接收用户对用于更新‘一般逻辑结构模型，中的‘实际表达，的更新内容的修改，并且修改更新内容。当这个处理结束时，处理进入步骤S107。

在步骤S107，根据在步骤S105中确定为不被修改的用于更新‘一般逻辑结构模型’中的‘实际表达，的更新内容或在步骤S106中修改的用于更新‘一般逻辑结构模型’中的‘实际表达，的更新内容，更新‘一般逻辑结构模型’中的‘实际表达’。

接着，在图4的步骤S104的逻辑结构匹配处理的详细描述之前，描述‘一般逻辑结构模型’和从输入表格获得的逻辑结构之间的抽象表达。基于该抽象表达描述逻辑结构匹配处理。图5是示出了一般逻辑结构模型和从输入表格获得的逻辑结构之间的抽象表达的例子的逻辑节点结构图。

首先参考图5的左侧描述一般逻辑结构模型的抽象表达。在图5中，以椭圆围绕的“Cn”(n＝1，2，3，...，8，9，10)是组成‘一般逻辑结构模型，的逻辑元素。“Cn”是逻辑元素的名称。分别与逻辑元素相关联的以矩形围绕的字符串(例如与逻辑元素“C2”相关联的“C2-1”和“C2-2”)是逻辑元素的‘实际表达’。此后，‘实际表达，被抽象表达为“Cn-k”。

然后，每个逻辑元素“Cn”组成一个分层结构，其中如图所示各“Cn”通过实线彼此关联。虽然图中未示出，注意每个逻辑元素“Cn”可被设置为各自的属性值“Cn-T”，作为可被关联的‘实际表达，的字符串的属性的期望值。该属性值“Cn-T”允许基于字符串的属性值，事先从‘实际表达，的添加候选中排除不能明显地与逻辑元素“Cn”相关联的字符串。

接着，将参考图5的右侧描述从输入表格获得的逻辑结构的抽象表达。在图5中，以矩形围绕的串“Dn”(n＝1，2，3，4，5)是组成从输入表格获得的逻辑结构的‘标题’。每个‘标题’“Dn”组成一个分层结构，其中如图所示各“Dn”通过实线彼此相关联。另外，“D6”和“D7”是‘标题’，并且它们中的每一个以虚线与“D4”和“D5”相关联，并且被以矩形围绕，是“D4”和“D5”中的每一个的‘标题’。

注意，逻辑结构中的关系可以具有(假设是树结构)父节点和子节点，或可被表示为一般图的邻接矩阵。然而，为了清楚树的各层的上下关系，例如，总是为子节点设置更大的数字。

基于上述的理解，将描述图4的步骤S104中的逻辑结构匹配处理的细节。图6和7是示出了根据本发明的示例实施例的逻辑结构匹配处理过程的流程图。如图6和7所示，一般逻辑结构模型创建辅助设备100中的类似逻辑结构估计处理单元101b首先确定在所有的“Dn”(n＝1，2，3，4，5)中是否在‘一般逻辑结构模型’中发现了类似的节点(逻辑元素)(步骤S131)。此处，“Dn”的类似节点表示一个逻辑元素，其名称或‘实际表达’类似于‘一般逻辑结构模型’中的“Dn”。

当确定在所有的“Dn”(n＝1，2，3，4，5)中已经在‘一般逻辑结构模型’中发现了类似的节点(逻辑元素)(步骤S131为肯定)，处理进入图7的步骤S141。当未确定在所有的“Dn”(n＝1，2，3，4，5)中在‘一般逻辑结构模型’中发现类似的节点(逻辑元素)(步骤S131为否定)，处理进入步骤S132。

在步骤S132，类似逻辑结构估计处理单元101b选择还未确定其类似节点的“Dn”。然后，类似逻辑结构估计处理单元101b确定是否获得了在步骤S132中选择的“Dn”与所有“Cn”之间的类似程度(步骤S133)。此处，以例如Levenshtein(莱文斯坦)距离获得类似程度，并且Levenshtein距离越小越相类似。注意除了Levenshtein距离之外，任何指示器都是适合的，诸如字符间相关系数，只要其指示字符串(或字符)的类似程度即可。

当确定已经获得了在步骤S132中选择的“Dn”与所有“Cn”之间的类似程度时(步骤S133为肯定)，处理进入步骤S134，另一方面，当未确定获得在步骤S132中选择的“Dn”与所有“Cn”之间的类似程度时(步骤S133为否定)，处理进入步骤S135。

在步骤S134，对于在步骤S132选择的每个“Dn”，类似逻辑结构估计处理单元101b将具有最高类似程度的“Cn”设置给类似节点。当该处理结束时，处理进入步骤S131。

同时，在步骤S135，类似逻辑结构估计处理单元101b选择尚未获得与在步骤S132选择的“Dn”的类似程度的“Cn”。随后，类似逻辑结构估计处理单元101b获得在步骤S132选择的“Dn”与在步骤S135选择的“Cn”之间的类似程度(步骤S136)。

随后，类似逻辑结构估计处理单元101b确定‘实际表达，是否已经与在步骤S135选择的“Cn”相关联(步骤S137)。当确定‘实际表达’已经与在步骤S135选择的“Cn”相关联(步骤S137为肯定)时，处理进入步骤S138，在另一方面，当未确定‘实际表达，与在步骤S135选择的“Cn”相关联(步骤S137为否定)时，处理进入步骤S133。

在步骤S138，类似逻辑结构估计处理单元101b获得在步骤S132选择的“Dn”和作为与在步骤S135选择的“Cn”相关联的‘实际表达’的“Cn-k”中的尚未获得其类似程度的“Cn-k”之间的类似程度。

随后，类似逻辑结构估计处理单元101b确定是否获得了相对于与在步骤S135中选择的“Cn”相关联的所有“Cn-k”的类似程度(步骤S139)。当确定已经获得了相对于与在步骤S135中选择的“Cn”相关联的所有“Cn-k”的类似程度(步骤S139为肯定)时，处理进入步骤S140，另一方面，当未确定获得相对于与在步骤S135中选择的“Cn”相关联的所有“Cn-k”的类似程度(步骤S139为否定)时，处理进入步骤S138。

在步骤S140，类似逻辑结构估计处理单元101b将“Cn”的类似程度设置为在步骤S132选择的“Dn”与在步骤S135选择的“Cn”以及与该“Cn”相关联的所有“Cn-k”之间的类似程度中的最高类似程度。当这个处理结束时，处理进入步骤S133。

同时，在步骤S141，类似逻辑结构估计处理单元101b以类似程度的降序顺序对‘标题，的节点“Dn”分类。随后，类似逻辑结构估计处理单元101b选择具有最高类似程度的‘标题，的节点“Dn”作为‘参考节点’，以及‘一般逻辑结构模型’中相应于该“Dn”的逻辑元素(步骤S142)。

另外，类似逻辑结构估计处理单元101b预先将在‘一般逻辑结构模型’中搜索“Dn”的类似节点的搜索范围限制到以类似程度的降序分类的‘标题，的节点“Dn”中的所希望的等级(例如，第四个位置)(搜索范围设置)，忽略对具有较低类似程度的“Dn”的搜索，以便减少处理时间。

注意，可由用户任意选择在上述步骤S141中选择的‘参考节点’，或者另一个节点可作为‘参考节点，而不使用具有最高类似程度的“Dn”作为‘参考节点’。

随后，类似逻辑结构估计处理单元101b按照‘参考节点，的下层、上层和同层的顺序，在‘一般逻辑结构模型，中搜索相对于‘参考节点，具有次高类似程度的‘标题，的节点“Dn”的类似节点(逻辑元素)(步骤S143)。随后，类似逻辑结构估计处理单元101b确定是否在‘一般逻辑结构模型’中找到相对于‘参考节点’具有次高类似程度的‘标题，的节点“Dn”的类似节点(步骤S144)。

当确定已经在‘一般逻辑结构模型’中找到了相对于‘参考节点’具有次高类似程度的‘标题，的节点“Dn”的类似节点(步骤S144为肯定)时，处理进入步骤S145，另一方面，当未确定在‘一般逻辑结构模型，中找到相对于‘参考节点’具有次高类似程度的‘标题，的节点“Dn”的类似节点(步骤S144为否定)时，处理进入步骤S143。

在步骤S145，类似逻辑结构估计处理单元101b保存作为上次搜索目标的逻辑元素“Cn”和作为此次搜索目标的逻辑元素“Cn”的节点之间的关系(逻辑结构)。随后，类似逻辑结构估计处理单元101b确定是否对所有搜索目标(上述的搜索范围中的“Dn”)完成了‘一般逻辑结构模型’中的类似节点的搜索(步骤S146)。

当确定已经对所有搜索目标(上述的搜索范围中的“Dn”)完成了‘一般逻辑结构模型’中的类似节点的搜索(步骤S146为肯定)时，处理进入步骤S147，另一方面，当未确定对所有搜索目标完成了‘一般逻辑结构模型’中的类似节点的搜索(步骤S146为否定)时，处理进入步骤S143。

在步骤S147，类似逻辑结构估计处理单元101b基于在步骤S145存储的节点之间的关系，确定相应于输入表格的逻辑结构的逻辑结构是否出现在‘一般逻辑结构模型’中。

当确定相应于输入表格的逻辑结构的逻辑结构出现在‘一般逻辑结构模型’中(步骤S147为肯定)时，处理进入步骤S148，另一方面，当未确定相应于输入表格的逻辑结构的逻辑结构出现在‘一般逻辑结构模型，中(步骤S147为否定)时，处理进入步骤S149。

在步骤S148，添加/更新目标显示和确认处理单元101c为用户在输出设备106上显示通过把‘实际表达，添加到‘一般逻辑结构模型，中的逻辑元素而将被进行更新的更新候选，连同‘一般逻辑结构模型’的逻辑元素和逻辑结构，以便确认。在由用户确认之后，逻辑结构添加/更新处理单元101d以上述的更新候选更新‘一般逻辑结构模型’中的逻辑元素的‘实际表达’。当这个处理结束时，处理返回图4的一般逻辑结构模型更新处理。

同时，在步骤S149，添加/更新目标显示和确认处理单元101c在输出设备106上向用户显示消息‘没有相应的逻辑结构’，并且处理返回图4的一般逻辑结构模型更新处理。

注意，当在步骤S149于输出设备106上显示消息‘没有相应的逻辑结构，之后，处理可以不返回图4的一般逻辑结构模型更新处理，可改变‘参考节点’，或可以改变“Dn”的选择准则，其中接着‘参考节点’之后，在‘一般逻辑结构模型’中搜索该“Dn”的类似节点，然后处理可以再次进入步骤S142，以便重新执行处理。

接着，将描述用于确定类似节点的方法的概述，在图6的逻辑结构匹配处理的步骤S132到S140中执行该方法。图8是示出了根据本发明的示例实施例的确定类似节点的方法的概述的图。如图8所示，对于一个“Dn”(它是输入表格中的‘标题，)，获得相对于‘一般逻辑结构模型’中的所有逻辑元素的名称的类似程度。

结果，假设“Dn”和“C1”之间的类似程度为3，“Dn”和“C2”之间的类似程度为2，“Dn”和“C3”之间的类似程度为4。另外，由于“C2-1”和“C2-2”作为‘实际表达，与“C2”相关联，还获得“Dn”，“C2-1”和“C2-2”之间的类似程度。结果，假设“Dn”和“C2-1”之间的类似程度为1，并且“Dn”和“C2-2”之间的类似程度为3。

此处，由于当使用Levenshtein距离作为类似程度时，数值越小约相类似，“Dn”和“C1”之间的类似程度为3，由于与“C2-1”的类似级别，“Dn”和“C2”之间的类似程度为1，并且“Dn”和“C3”之间的类似程度为4。因此，最终确定“Dn”的类似节点是“C2”，并且其类似程度为“1”。

接着，将描述在图7的逻辑结构匹配处理的步骤S141到S146执行的估计类似结构的方法的概述。图9是示出了根据本发明的示例实施例的用于估计类似逻辑结构的方法的概述的图。如图9所示，假设‘一般逻辑结构模型’中的每个逻辑元素“Cn”(n＝1，2，3，...，8，9，10)附近的每个“Dn”(n＝1，2，3，4，5)通过图6的逻辑结构匹配处理的步骤S132到S140的处理作为类似节点相关联。

基于上述的理解，图9示出了用于检查从输入表格获得的逻辑结构中的‘参考节点’之下的逻辑结构是否保持在‘一般逻辑结构模型’中的处理的概述。此处，按类似程度的降序对5个“Dn”(n＝1，2，3，4，5)估计类似逻辑结构。

首先，以具有最高的类似程度的“D2”和相应于“D2”的‘一般逻辑结构模型，中的逻辑元素“C5”作为‘参考节点’，可见与“D2”和“D5”相关联的具有相对于‘参考节点’的次高类似程度的“C9”和“D5”出现在‘参考节点’的下层处。因此，估计“D2”、“D4”和“D5”的逻辑结构与“C5”、“C9”和“C10”的逻辑结构匹配。

接着，保存相应于关于“D4”和“D5”具有次高类似程度的“D3”的“C6”与“C10”之间的节点间关系。最后，保存相应于“D1”的“C1”和“C6”之间的节点间关系(逻辑结构)。可见以这种方式被保存的每个逻辑元素“C5”，“C9”，“C10”，“C6”和“C1”的逻辑结构与输入表格中的‘标题，的逻辑结构匹配。

接着，将参考图10A到12描述在图7的逻辑结构匹配处理的步骤S148中向用户显示在输出设备106的显示屏幕上的显示屏幕的例子。注意，此后假设估计逻辑元素、逻辑元素的名称、以及‘一般逻辑结构模型’中的逻辑元素间的与输入表格中的逻辑结构相匹配的逻辑结构，并且以树结构的方式示出这种估计的结果。

图10A是示出了根据本发明的示例实施例，当将实际表达添加到节点时(当实际表达被添加到正确的节点时)显示的确认屏幕的例子的图。图10B是示出了根据本发明的示例实施例一个显示屏幕的例子的图，其中实际表达已经被添加到节点。在图10A中，在显示屏幕上，当确定‘你的名字’应被作为‘申请人，(逻辑元素)节点的‘实际表达，添加到已有的‘全名，时，显示确认屏幕501以便询问用户是否可实际添加。此时，由于将‘你的名字，添加到‘申请人，节点的‘实际表达，是适合的，用户以鼠标等在操作显示单元501a上点击并且按下“是”。然后，如图10B所示，将‘你的名字’添加到‘申请人，节点的‘实际表达’，并且与已有的‘全名’一起显示。

图11A是示出了根据本发明的示例实施例的确认屏幕的例子的图，当将实际表达添加到节点时(当实际表达被添加到不正确的节点时)显示该确认屏幕。图11B是示出了根据本发明的示例实施例的消息屏幕的例子的图，显示该消息屏幕以便提示指明将添加实际表达的正确节点。图11C是示出了根据本发明的示例实施例的确认屏幕的例子的图，当将实际表达添加到节点时(当实际表达被添加到正确的节点时)显示该确认屏幕。图11D是示出了根据本发明的示例实施例的显示屏幕的例子的图，其中实际表达已经被添加到节点。

在图11A中，在显示屏幕上，当确定‘姓，应当被作为‘申请人，节点(逻辑元素)的‘实际表达，添加到已有的‘全名，时，显示确认屏幕502以便询问用户是否可实际进行添加。此时，由于将‘姓，添加到‘申请人’节点的‘实际表达，不适合，用户以鼠标等在操作显示单元502b上点击并且按下“否”。

然后，如图11B所示，进一步显示消息屏幕503以便提示用户指明将作为‘实际表达，添加‘姓’的节点。用户确定将‘姓’作为‘实际表达’添加到‘姓’节点是适合的，并且以鼠标等点击‘姓，节点。然后，如在图11A中那样，如图11C所示，在显示屏幕上显示确认屏幕504以便询问用户‘姓，是否可被作为‘姓’(逻辑元素)节点的‘实际表达，实际添加到已有的‘姓氏’。此时，由于将‘姓’添加到‘姓’节点的‘实际表达，是适合的，用户以鼠标等在操作显示单元501a上点击并且按下“是”。然后，如图11D所示，‘姓，被添加到‘姓’节点的‘实际表达’，并且被与已有的‘姓氏’一起显示。

注意，在观看显示在输出设备106上的显示屏幕的同时，用户可以在任意时候通过以作为输入设备105的鼠标等拖拽和放置，改变与‘实际表达，相关联的节点(逻辑元素)。图12是示出了根据本发明的示例实施例，当通过拖拽和放置将实际表达从一个节点移动到另一个节点时的显示屏幕的例子的图。

如图12所示，在该显示屏幕上，‘全名，和‘姓，作为‘申请人，节点的‘实际表达，彼此相关联。然而，假设用户确定‘姓，不适合作为‘申请人，节点的‘实际表达’，并且‘姓，适合作为‘姓，(逻辑元素)节点的‘实际表达’。用户可以通过以鼠标拖拽和放置将作为‘实际表达，的‘姓’移动到‘姓’的‘实际表达，的显示部分。

在图1的实施例1中，例如，如上所述，已经描述了存储在一般逻辑结构模型DB 102a中的‘一般逻辑结构模型’的初始状态中的模型。可以通过指定若干具有分层逻辑结构的逻辑元素并且提供名称，手工地创建‘一般逻辑结构模型’的初始状态的模型。

通过输入来自许多表格的信息，填充‘一般逻辑结构模型’的内容，从而提高了估计的逻辑结构的类似程度，以及指明用于‘实际表达，的添加/更新候选的添加节点的准确性。然而，当希望在早期在一定程度上确保识别将被识别的表格的准确性时，手工地创建‘一般逻辑结构模型’有时可能是冗长乏味的工作。

对于某个表格，当获得未填写的一个表格时，一般逻辑结构模型创建辅助设备100可以使用图像识别处理设备200对该表格的逻辑结构分析结果莱创建初始状态的‘一般逻辑结构模型’。由于类名是一种概念，它应被手工输入，然而，可以照原样使用表格中描述的标题的名称。

然而，当仅获得了书面表格时，可以使用根据下面描述的另一个实施例(例如，见图13)的方法，图13示出了根据本发明的示例实施例，通过输入多个相同类型的书面表格进行的一般逻辑结构模型创建的例子。图13的一般逻辑结构模型创建辅助设备的配置可以例如与图2的一般逻辑结构模型创建辅助设备相同，因此，将忽略对它的描述。

在图13中，可以通过输入多个相同类型的书面表格产生一般逻辑结构模型创建。使用多个书面表格以便通过图像识别处理设备200获得逻辑结构。在该逻辑结构中，关于纸张内的位置的信息被设置为将被输出。

此处，对于表格中从开始处起已被填写的部分，即使在多个书面表格中，相同的字符串出现在相同的位置处。当一个坐标和该字符串匹配时，这个部分被假设为‘标题’。另外，写在相同位置(但不总是相同)附近的字符串可被估计为是要填写‘数据’的部分。

虽然图像识别处理设备200可能做出错误的字符识别，但通过使用多个表格的识别结果的匹配程度和频率信息，确定是否存在错误，并且可以提取正确的字符串。即，估计在大部分表格中被识别出的字符串是出现在相同坐标处的字符串当中的正确的字符串。

参考图13，由于相同的字符串“AAAAA”出现在所有表格的相同坐标处，“AAAAA”被认为是‘标题’。另外，虽然“BBBBB”，“GGGGG”和“BBBBB”写在“AAAAA”附近的相同位置，但它们不总是相同的字符串，因此它们被认为是‘数据’。

另外，对于“あああ”，虽然相同的字符串“あああ”出现在两个表格中的相同坐标处，不同的字符串“ああ○”出现在另一个表格中的相同坐标处。由于其中“あああ”被字符识别的表格的数目较多(频率较高)，“ああ○”也被假设为是“あああ”，并且被认为是‘标题’。类似地，对于“DD”，虽然相同的字符串“DD”出现在两个表格中的相同坐标处，不同的字符串“○○”出现在另一个表格的相同坐标处。由于“DD”被字符识别的表格的数目较多(频率较高)，“○○”也被假设为“DD”，并且被认为是‘标题’。

接着，将描述通过输入多个相同类型的书面表格进行的一般逻辑结构模型创建处理。图14A和14B一起是示出了根据本发明的示例实施例，通过输入多个相同类型的书面表格进行的一般逻辑结构模型创建处理过程的流程图。

如图14A和14B所示，首先，一般逻辑结构模型创建辅助设备100中的逻辑结构管理处理单元101a向图像识别处理设备200发送用于表格的逻辑结构分析的指令信号(步骤S111)。

当从一般逻辑结构模型创建辅助设备100中的逻辑结构管理处理单元101a收到用于表格的逻辑结构分析的指令信号时，图像识别处理设备200中的文档结构分析处理单元201a可以执行与图4的步骤S201到步骤S205相同的处理。

注意，由图像识别处理设备200中的字符识别处理单元201b进行的步骤S203c的字符识别用于识别字符(或字符串)，并且获得该字符(或字符串)在输入表格中的坐标。然后，在步骤S205，表格的逻辑结构分析的结果(包括获得的字符(或字符串)在输入表格中的该坐标)被发送到一般逻辑结构模型创建辅助设备100。

一般逻辑结构模型创建辅助设备100中的逻辑结构管理处理单元101a从图像识别处理设备200接收表格的逻辑结构分析结果(步骤S112)。然后，逻辑结构管理处理单元101a将包括在收到的表格逻辑结构分析结果中的字符串与坐标相关联，并且存储得到的数据/信息(步骤S113)。

然后，一般逻辑结构模型创建辅助设备100中的逻辑结构管理处理单元101a确定是否收到了表格的逻辑结构分析的所有结果(步骤S114)。当确定已经收到了表格的逻辑结构分析的所有结果时(步骤S114为肯定)，处理进入步骤S115，另一方面，当未确定收到表格的逻辑结构分析的所有结果时(步骤S114为否定)，处理进入步骤S112。

在步骤S115，一般逻辑结构模型创建辅助设备100中的逻辑结构管理处理单元101a确定是否按用户指令进一步识别表格。当确定进一步识别表格时(步骤S115为肯定)，处理进入步骤S111，在另一方面，当确定不再进一步识别表格时(步骤S115为否定)，处理进入步骤S116。

在步骤S116，一般逻辑结构模型创建辅助设备100中的逻辑结构管理处理单元101a确定在多个识别的表格中相同的字符串是否与相同的坐标相关联。当确定相同的字符串与相同的坐标相关联时(步骤S116为肯定)，处理进入步骤S117，另一方面，当未确定相同的字符串与相同的坐标相关联时(步骤S116为否定)，处理进入步骤S118。

在步骤S117，一般逻辑结构模型创建辅助设备100中的逻辑结构管理处理单元101a将多个识别的表格中的与相同坐标相关联的相同的字符串设置为逻辑元素和逻辑元素的名称。当该处理结束时，处理进入步骤S119。

同时，在步骤S118中，一般逻辑结构模型创建辅助设备100中的逻辑结构管理处理单元101a基于与相同坐标相关联的字符串的频率，将多个识别的表格中具有较高频率的字符串设置为逻辑元素和逻辑元素的名称。当该处理结束时，处理进入步骤S119。

在步骤S119，一般逻辑结构模型创建辅助设备100中的逻辑结构管理处理单元101a确定是否确定了所有逻辑元素和名称。当确定已经确定了所有逻辑元素和名称时(步骤S119为肯定)，处理进入步骤S120，另一方面，当未确定已经确定了所有逻辑元素和名称时(步骤S119为否定)，处理进入步骤S116。

在步骤S120，一般逻辑结构模型创建辅助设备100中的逻辑结构管理处理单元101a根据获得的逻辑元素、名称和逻辑结构创建‘一般逻辑结构模型’。

常规地，为了创建‘一般逻辑结构模型’，必须已经人工地发现表格的逻辑结构。相对比而言，根据本发明的至少一个实施例，由于可以自动从表格提取‘标题’，并且自动地搜索逻辑结构中相应于‘标题，的候选的位置，所以用户仅需要执行确认。通过输入来自许多表格的信息填充‘一般逻辑结构模型’的内容，这从而提高了逻辑结构中相应于估计的‘标题’的候选位置的准确性。结果，还减少了用于确认的时间和费用。

一般逻辑结构模型创建辅助设备100是用于辅助进行将‘实际表达，添加到‘一般逻辑结构模型’中的每个逻辑元素的操作的设备。然而，通过与辅助进行添加‘实际表达，的操作相同的方法，可以辅助进行将‘逻辑元素’添加到‘一般逻辑结构模型’的逻辑结构。也是在这种情况下，与当辅助进行添加‘实际表达，的操作时相类似，可以借助于简单的操作诸如例如GUI上的鼠标操作，辅助进行添加逻辑结构到任意用户选择的位置，以及确定逻辑结构的名称。

另外，关于示例实施例，被描述为自动执行的所有或某些处理可被手工执行，可替换地，被描述为手工执行的所有或某些处理可通过已知的方法自动执行。另外，除非明确地指出，否则可以用任意方式修改上面的实施例中所描述的处理过程、控制过程、具体名称以及包括各种数据和参数的信息。

所示出的每个设备的每个组件是功能概念化的，并且不必然需要被如所示出的那样物理地组成。即，每个设备的分布和集成的具体形式不限于示出的形式，并且它们中的全部或某些可根据各种负载和使用条件来构建、功能地或物理地分布或集成在任意单元内。

更具体地，一般逻辑结构模型创建辅助设备100、终端设备104、图像识别处理设备200和扫描仪设备203可被物理地集成地构建。另外，一般逻辑结构模型创建辅助设备100和图像识别处理设备200可被物理地集成地构建。

另外，每个设备中所执行的每个处理功能中的全部或某些，可以在中央处理单元(CPU)(或微型计算机诸如微处理单元(MPU)或微控制器单元(MCU))中实现，可以通过在CPU(或微型计算机诸如MPU或MCU)中被分析和执行的程序实现，或者通过布线逻辑以硬件方式实现。

根据上述的配置，作为与逻辑元素相关联的字符串的更新候选，显示与存储在逻辑结构模型中的逻辑元素相关联的字符串，以及显示输入图像中的相应于基于从输入图像中提取的输入图像中的字符串间的逻辑结构的逻辑元素的字符串，从而尽力减少当将输入图像中的字符串添加到与逻辑元素相关联的字符串时的工作量。

另外，根据上述的配置，在多个选择的逻辑元素当中，从参考逻辑元素开始，确定分别与分层结构中的上层逻辑元素、下层逻辑元素或同层的逻辑元素相关联的字符串和分别与从输入图像提取的多个逻辑元素相关联的字符串之间的类似程度，并且基于确定结果，估计存储在逻辑结构模型中的逻辑结构与输入图像中的字符串间的逻辑结构之间的类似程度，从而尽力快速地掌握输入图像中的字符串间的逻辑结构。

另外，根据上述的配置，逻辑结构模型包括若干不同类型图像中的每一个的逻辑元素、分别与这些逻辑元素相关联的字符串、以及若干不同图像中的每一个的逻辑结构，从而尽力在一个逻辑结构模型中存储若干不同类型图像中的每一个的逻辑元素、分别与这些逻辑元素相关联的字符串、以及若干不同图像中的每一个的逻辑结构。

另外，根据上述的配置，与逻辑结构模型中的每个逻辑元素相关联的字符串包括逻辑元素的名称和逻辑元素的实际表达，从而即使以不同的表达形式表达字符串，只要字符串具有相同的语义内容，也尽力使得能够实现与相同逻辑元素的关联。

另外，根据从输入图像提取的输入图像中的字符串与存储在逻辑结构模型中的多个逻辑元素的每一个的名称和/或逻辑元素的实际表达之间的类似程度，从根据上述配置的多个逻辑元素中选择逻辑元素，从而即使以不同的表达形式表达字符串，只要字符串具有大体类似的语义内容(如果不是相同的语义内容的话)，也可尽力确定类似的字符串。

另外，根据上述配置，对于多个选择的逻辑元素，根据优先级，确定分别与参考逻辑元素的分层结构中的上层逻辑元素、下层逻辑元素或同层逻辑元素相关联的逻辑元素的名称和/或逻辑元素的实际表达与从输入图像提取的输入图像中的字符串之间的类似程度，并且基于确定结果，估计存储在逻辑结构模型中的逻辑结构与从输入图像中提取的输入图像中的字符串间的逻辑结构之间的类似程度，从而即使以不同的表达形式表达字符串，只要字符串具有大体类似的语义内容(如果不是相同的语义内容的话)，也可尽力确定具有类似逻辑结构的字符串。

另外，根据上述配置，提取与包括在逻辑结构模型的、类似于从输入图像中提取的输入图像中的字符串间的逻辑结构的逻辑结构中的逻辑元素相关联的字符串，以及输入图像中与基于从输入图像中提取的输入图像中的字符串间的逻辑结构的逻辑元素相关联的字符串，从而即使以不同的表达形式表达字符串，由于认为该字符串具有大体类似的语义内容(如果不是相同的语义内容的话)，也可尽力减少当将输入图像中的字符串添加到与已被确定为类似逻辑结构的逻辑元素相关联的字符串时的工作量。

另外，根据上述配置，当基于存储在逻辑结构模型中的逻辑结构与输入图像中的字符串间的逻辑结构之间的类似程度，不存在与存储在逻辑结构模型中的逻辑元素相关联的字符串，以及不存在与从输入图像中提取的输入图像中的字符串相关联的逻辑元素时，显示新逻辑元素作为添加候选，它将被添加到逻辑结构模型以便与输入图像中的字符串相关联，从而尽力减少当将新逻辑元素添加到逻辑结构模型以便与输入图像中的字符串相关联时的工作量。

另外，根据上述配置，接收与逻辑结构模型中的逻辑元素相关联的字符串的更新候选和/或对将被添加到逻辑结构模型的逻辑元素的修改，并且基于修改结果更新逻辑结构模型，从而当用户确认时，可尽力更新字符串和/或将逻辑结构添加到逻辑结构模型。本发明的至少一个实施例可被体现为计算机可读介质，其包括记录在计算机可读介质上的可执行指令。该计算机可读介质是可以存储数据(包括可执行指令)的任意数据存储设备，并且可被计算机***读取，以便给计算机***提供包括在记录数据内的可执行指令用于执行。计算机可读介质的例子包括只读存储器(ROM)、随机访问存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备。计算机可读介质还可以分布在联网计算机***上，从而以分布式方式存储和执行计算机可读代码。

此处已经公开了本发明的示例实施例，并且虽然采用了特定的术语，仅出于一般和说明性意义使用和解释它们，而不是出于限制的目的。因此，本领域的普通技术人员应当理解，可以做出形式和细节上的各种改变，而不脱离权利要求中提出的本发明的精神和范围。

Claims (20)

1.一种计算机可读记录介质，当被计算机读取并执行时使得该计算机执行用于辅助进行逻辑结构模型的创建的逻辑结构模型创建辅助方法，所述逻辑结构模型存储来自其中描述了分别与组成逻辑结构的多个逻辑元素相关联的字符串的图像的逻辑元素、与所述逻辑元素相关联的字符串、以及逻辑结构，所述方法包括：

首先提取输入图像中的字符串以及所述输入图像中的字符串间的逻辑结构；

根据提取的输入图像中的字符串和分别与存储在所述逻辑结构模型中的多个逻辑元素相关联的字符串之间的类似程度，选择多个逻辑元素中的一个；

其次提取与所选择的逻辑元素相关联的字符串以及输入图像中的与基于提取的输入图像中的字符串间的逻辑结构的逻辑元素相关联的字符串；和

显示提取的字符串作为与所选择的逻辑元素相关联的字符串的更新候选。

2.如权利要求1的计算机可读介质，其中，

所述逻辑结构模型的逻辑结构具有分层结构，

所述选择分配优先级顺序，并且根据提取的输入图像中的字符串和分别与存储在逻辑结构模型中的多个逻辑元素相关联的字符串之间的类似程度，选择多个逻辑元素当中的若干逻辑元素，并且使得具有最高优先级的逻辑元素成为参考逻辑元素，

并且所述方法进一步包括：根据优先级针对若干选择的逻辑元素，确定分别与参考逻辑元素的分层结构中上层的逻辑元素、下层的逻辑元素或同层的逻辑元素相关联的字符串和分别与多个提取的逻辑元素相关联的字符串之间的类似程度，并且基于所述确定的结果，估计存储在逻辑结构模型内的逻辑结构和提取的输入图像中的字符串间的逻辑结构之间的类似程度。

3.如权利要求1的计算机可读介质，其中，

逻辑结构模型包括若干不同类型的图像中的每一个的逻辑元素，分别与逻辑元素相关联的字符串，和若干不同图像中的每一个的逻辑结构。

4.如权利要求1的计算机可读介质，其中，

与逻辑结构模型中的每一个逻辑元素相关联的字符串包括逻辑元素的名称和逻辑元素的实际表达，并且为实际表达建立针对字符串的属性的限制条件。

5.如权利要求4的计算机可读介质，其中，

所述选择根据输入图像中提取的字符串与存储在所述逻辑结构模型中的多个逻辑元素中的每一个的名称以及逻辑元素的实际表达中的至少一个之间的类似程度，选择多个逻辑元素中的逻辑元素。

6.如权利要求4的计算机可读介质，其中，

所述估计根据所述优先级针对所述若干选择的逻辑元素，确定分别与参考逻辑元素的分层结构中上层的逻辑元素、下层的逻辑元素或同层的逻辑元素相关联的逻辑元素的名称和/或逻辑元素的实际表达与所述提取的字符串之间的类似程度，并且基于所述确定的结果，估计存储在逻辑结构模型内的逻辑结构与提取的输入图像中的字符串间的逻辑结构之间的类似程度。

7.如权利要求2的计算机可读介质，其中，

所述其次提取用于提取与包括在逻辑结构模型的逻辑结构内的逻辑元素相关联的字符串，对于所述逻辑结构，已经估计了其相对于提取的输入图像中的字符串间的逻辑结构的类似程度，并且提取输入图像中的与基于提取的输入图像中的字符串间的逻辑结构的逻辑元素相关联的字符串。

8.如权利要求1的计算机可读介质，还包括：

当未选择多个逻辑元素中的逻辑元素时，基于估计的存储在逻辑结构模型中的逻辑结构与提取的输入图像中的字符串间的逻辑结构之间的类似程度，作为附加逻辑元素候选，连同添加位置一起显示要被与输入图像中的字符串相关联并且要被添加到逻辑结构模型的逻辑元素。

9.如权利要求1的计算机可读介质，还包括：

接收对更新候选的修改，该更新候选用于与所选择的逻辑元素相关联的字符串，和

执行以下中至少之一：更新与字符串的修改后的更新候选中的逻辑元素相关联的字符串，接收对要被与输入图像中的字符串相关联并且要添加到逻辑结构模型的逻辑元素的名称和添加位置的修改，对它们进行显示，以及以修改后的名称并且在所述添加位置处将逻辑元素添加到所述逻辑结构模型。

10.一种用于辅助进行逻辑结构模型创建的逻辑结构模型创建辅助设备，所述逻辑结构模型存储来自其中描述了分别与组成逻辑结构的多个逻辑元素相关联的字符串的图像的逻辑元素、分别与逻辑元素相关联的字符串、以及逻辑结构，所述设备包括：

存储器，用于存储所述逻辑结构模型；

字符串逻辑结构提取单元，用于基于输入图像的识别结果，存储输入图像中的字符串以及输入图像中的字符串间的逻辑结构；

逻辑元素选择单元，用于根据由所述字符串逻辑结构提取单元提取的输入图像中的字符串和分别与存储在逻辑结构模型中的多个逻辑元素相关联的字符串之间的类似程度，选择多个逻辑元素中的逻辑元素；

字符串提取单元，用于提取与所选择的逻辑元素相关联的字符串，以及输入图像中的与基于由所述字符串逻辑结构提取单元提取的输入图像中的字符串间的逻辑结构的逻辑元素相关联的字符串；和

显示单元，用于显示由所述字符串提取单元提取的字符串，作为与由逻辑元素选择单元选择的逻辑元素相关联的字符串的候选更新目标。

11.如权利要求10的逻辑结构模型创建辅助设备，其中，

存储在逻辑结构模型中的逻辑结构模型的逻辑结构具有分层结构，

所述逻辑元素选择单元分配优先级顺序，并且根据提取的输入图像中的字符串和分别与存储在逻辑结构模型中的多个逻辑元素相关联的字符串之间的类似程度，选择多个逻辑元素中的若干逻辑元素，并且使得具有最高优先级的逻辑元素成为参考逻辑元素，

并且进一步包括，逻辑结构类似度估计单元，用于根据优先级针对由逻辑元素选择单元选择的若干逻辑元素，确定与参考逻辑元素的分层结构中上层的逻辑元素、下层的逻辑元素或同层的逻辑元素相关联的字符串和与多个提取的逻辑元素相关联的字符串之间的类似程度，并且基于所述确定的结果，估计逻辑结构模型的逻辑结构与提取的输入图像中的字符串间的逻辑结构之间的类似程度。

12.如权利要求10的逻辑结构模型创建辅助设备，其中，

逻辑结构模型包括若干不同类型的图像中的每一个的逻辑元素，分别与逻辑元素相关联的字符串，和所述若干不同图像中的每一个的逻辑结构。

13.如权利要求10的逻辑结构模型创建辅助设备，其中，

与逻辑结构模型中的逻辑元素中的每一个相关联的字符串包括逻辑元素的名称和逻辑元素的实际表达，并且为实际表达建立针对字符串的属性的限制条件。

14.如权利要求13的逻辑结构模型创建辅助设备，其中，

所述逻辑元素选择单元根据输入图像中提取的字符串与存储在逻辑结构模型中的多个逻辑元素的名称和/或逻辑元素的实际表达之间的类似程度，选择多个逻辑元素中的逻辑元素。

15.如权利要求13的逻辑结构模型创建辅助设备，其中，

所述逻辑结构类似度估计单元根据优先级针对所述若干选择的逻辑元素，确定与参考逻辑元素的分层结构中上层的逻辑元素、下层的逻辑元素或同层的逻辑元素相关联的逻辑元素的名称和/或逻辑元素的实际表达与所述提取的输入图像的字符串之间的类似程度，并且基于所述确定的结果，估计存储在逻辑结构模型内的逻辑结构与提取的输入图像中的字符串间的逻辑结构之间的类似程度。

16.如权利要求11的逻辑结构模型创建辅助设备，其中，

所述字符串提取单元用于提取与包括在逻辑结构模型的逻辑结构内的逻辑元素相关联的字符串，对于所述逻辑结构，已经估计了其相对于提取的输入图像中的字符串间的逻辑结构的类似程度，并且用于提取输入图像中的与基于提取的字符串间的逻辑结构的逻辑元素相关联的字符串。

17.如权利要求10的逻辑结构模型创建辅助设备，还包括：

附加逻辑元素候选显示单元，当基于存储在逻辑结构模型中的逻辑结构与提取的输入图像中的字符串间的逻辑结构之间的估计的类似程度，未选择存储在逻辑结构模型中的多个逻辑元素中的逻辑元素时，作为附加逻辑元素候选，连同添加位置一起显示要被与输入图像中的字符串相关联并且要被添加到所述逻辑结构模型的逻辑元素。

18.如权利要求10的逻辑结构模型创建辅助设备，还包括：

逻辑结构模型添加/更新单元，用于进行下面操作中的至少之一：

接收对更新候选的修改，该更新候选用于与所述逻辑结构模型中的所选择的逻辑元素相关联的字符串，更新与字符串的修改后的更新候选中的逻辑元素相关联的字符串，接收对要被与输入图像中的字符串相关联并且要被添加到逻辑结构模型的逻辑元素的名称和添加位置的修改，并且以修改后的名称并且在所述添加位置处将所述逻辑元素添加到逻辑结构模型。

19.一种用于辅助进行逻辑结构模型创建的逻辑结构模型创建辅助方法，所述逻辑结构模型存储来自其中描述了分别与组成逻辑结构的多个逻辑元素相关联的字符串的图像的逻辑元素、与逻辑元素相关联的字符串、以及逻辑结构，所述方法包括：

首先基于输入图像的识别结果，提取输入图像中的字符串以及输入图像中的字符串间的逻辑结构；

根据提取的输入图像中的字符串和分别与存储在所述逻辑结构模型中的多个逻辑元素相关联的字符串之间的类似程度，选择多个逻辑元素中的一个；

其次提取与所选择的逻辑元素相关联的字符串以及输入图像中与基于提取的输入图像中的字符串间的逻辑结构的逻辑元素相关联的字符串；和

显示提取的字符串，作为与所选择的逻辑元素相关联的字符串的候选更新目标。

20.如权利要求19的逻辑结构模型创建辅助方法，其中，

存储在所述逻辑结构模型中的逻辑结构具有分层结构，

所述选择分配优先级顺序，并且根据提取的输入图像中的字符串和分别与存储在逻辑结构模型中的多个逻辑元素相关联的字符串之间的类似程度，选择多个逻辑元素中的若干逻辑元素，并且使得具有最高优先级的逻辑元素成为参考逻辑元素，

并且进一步包括，根据优先级针对所述若干选择的逻辑元素，确定分别与参考逻辑元素的分层结构中上层的逻辑元素、下层的逻辑元素或同层的逻辑元素相关联的字符串和分别与多个提取的逻辑元素相关联的字符串之间的类似程度，并且基于所述确定的结果，估计存储在逻辑结构模型内的逻辑结构与提取的输入图像中的字符串间的逻辑结构之间的类似程度。

Images