CN1609846A - 用于识别，锚定和回流数字墨水注释的数字墨水注释方法和*** - Google Patents

Abstract

这里是用于处理数字文档和其中的数字墨水注释的数字墨水注释方法和***。该方法和***保留位于一个文档中的注释位置，以使注释的原始的意图和意向能被保留。这是真的，即使是数字文档被编辑、调整大小、在不同的显示设备上显示或者被修正。数字墨水注释处理方法包括将一个文档中的数字墨水笔划进行自动和人工分组以定义数字墨水注释，根据注释类型将注释分类，将注释锚定于一个文档中的适当区域或者位置。方法进一步包括在一个新文档版面中回流的注释，以使注释符合和适合新的版面，并保留注释的原始意图和意向。数字墨水注释***包括一个分类模块，一个锚定模块，一个回流模块和一个清除模块以实施数字墨水处理方法。

Description

用于识别，锚定和回流数字墨水注释的数 字墨水注释方法和***

技术领域

本发明通常涉及数字文档处理，更具体地说是涉及这样一种处理方法和***，其用于处理在一个这样的数字文档上作出的形式自由的数字墨水注释，以致于当数字文档的版面布局被修改(或者是由于在不同的显示器上对它进行编辑或者显示)时，注释的版面能够相应改变而与之适应。

背景技术

利用笔注释纸张文档在多种商业和教育环境中是一种常见的不可缺少的行为。注释一篇文档是一种在文档上“作标记”或者作评注，注解和备注的行为。这些注解和备注可以是文字的、图案的或者两者都有。

当基于笔的如笔输入计算机，图形输入板PC和个人数字助手(PDAs)那样的计算设备在消费者中变得越来越流行时，注释数字文档的能力变得非常有用和重要。基于笔的计算设备里利用一个电子笔(称为触笔)代替键盘进行输入。用笔进行输入是因为在许多情况下，计算设备太小以致于不能整合一个键盘。此外，在许多情况下，对用户来说笔和记事本一起使用比键盘更加方便。这些基于笔的计算设备通常具有特殊的支持手写识别的操作***，该手写识别可以使用户通过在屏幕或者图形输入板上书写从而替代敲击键盘而与设备进行交互。

如果开考虑基于笔的计算机设备的可行性和有用性，当阅读和注释文档时，多数人仍然喜欢用笔和纸。一个关键原因是笔和纸为读者提供了一种对应于文档内容勾画非结构性的或者形式自由的注释和图画的简单方法。

尽管在注释阶段纸张文档显示出很大的优势，但是数字文档和注释与它们的纸张对手相比更为趋于灵活。例如，相对于纸张文档，数字文档能够更加容易的被编辑和适应以符合不同的显示尺寸。此外，经过注释的纸张文档经常终结于垃圾桶，而数字注释能够存留于一个数字文档的整个生命期。而且，能够更加容易的过滤、组织和共享数字文档和注释。

由于这种灵活性，数字文档能够被用于不同的环境。例如，单个的数字文档能够以多种不同的格式阅读，在各种设备上显示，和以各种视窗尺寸显示。数字文档可以被编辑，与其它文档合并，甚至可以动态地改变它的内容。因此，不像纸张文档，数字文档通常没有一个固定的版面布局。

在考虑在数字文档上的形式自由的数字墨水注释时，固定版面布局的缺少引出了一个显著的技术挑战。每次，数字文档会变为一个新的版面，例如，与之相关联的注释也必须随之改变。换句话说，当一个数据文档在不同的设备上或者以不同的视窗尺寸被编辑和显示时，数字文档的版面布局改变以适应新的情况。任何在数字文档上作的“数字墨水”注释必须同样地被改变(或者“回流”)以适应新的版面布局条件。

为了支持回流形式自由的数字墨水注释，必须解决三个问题：第一，读者生成的注释必须被识别和归类为多种注释类型(例如“下划线”、“圆圈”、“页边评注”)中的一种。其次，每个注释必须被锚定在文档中该注释所属的特定位置，最后，如果将来基本文档的版面布局在某些点上改变，那么在文档中存在的注释必须被适当的回流以使他们能够继续与读者的原始意图保持一致。

过去，很多与数字墨水相关的研究和发展努力集中在笔迹识别上。然而，这里公开的数字墨水注释处理方法和***没有采用笔迹识别。这是因为可以仅仅通过知晓它们是不是手写体(这是一个高级分类任务)来回流数字墨水注释，而不必明确的知道它们说了什么(这是一个细致的识别任务)

最近，几种解决方案已经使用墨水形状识别来支持各种基于略图的交互。这些方案已经使用试探法或者机器学习技术来识别一系列形状和手势。然而，当考虑到它们支持数字墨水注释的用途时，这些解决方案的一个缺陷是它们没有将墨水笔划与如一个基本文档那样的独立的上下文进行绑定，因此不能相应于该上下文中的变化而改变用户的墨水。

这里至少有一种将形状识别应用于数字墨水注释的解决方案，因而利用该方案来使形式自由的墨水注释改变以适应于在浏览情况下的强制性改变(例如改变文档中的字形大小)。这种解决方案最初尝试使用简单的试探法来进行识别，然而这被发现是不够的。随后，这种解决方案依赖于对于识别的机器学习技术，以及用于将墨水笔划的各个部分和独立的上下文特征联系起来的“高位”锚定。该解决方案的一个问题是它不包含人工分类。人工分类应该被包含在一个***中，使得在自动分类，锚定或者回流失败或者不灵活时，能够允许用户进行人工选择。此外，“高位”锚定(例如独立的墨水笔划的各个部分被分别锚定在文档的上下文特征上)对于在该解决方案所关注的浏览条件下改变注释以适应这种强制性改变是适当的，然而，它不足以支持数字墨水注释的完全非强制性的回流，因为一个注释的变换必须考虑到所有包含在注释中的墨水笔划和在一个注释锚定的上下文中的所有特征。

因此，这里就存在一个对于一种能够克服前述问题和局限性的文档处理***和方法的需求。特别的是，每逢一个原始文档被修改后，需要一个***和方法来保存数字墨水注释的意图和视觉含义。

发明概述

这里公开的发明包括一个数字墨水注释处理方法和***，其用于每逢由于原始文档被编辑或者在不同的显示设备上或以不同的窗口尺寸进行显示而导致采用了一个新的版面，保留在一个原始文档中的数字墨水注释的意图和含义。通常，处理方法和过程包括三个主要方面。第一，作为标识一个文档的一个用户，他们的数字墨水笔划被分组以定义一个注释，注释被归类为几种注释“类别”中的一类。这些注释“类别”包括下划线，高亮，页边括号，圆圈，旁注和插图编号或者连接符注释。第二，每个注释必须被锚定在该文档中它周围的上下文上。最后，当基本或者原始文档的版面布局改变后，每个注释必须被变换为与它的上下文的新版面相一致。这个最后一步被称为“回流”文档和注释。这三个方面使这里公开的数字墨水注释***和处理方法能够处理在数字文档中的数字墨水注释，以使得注释能够“跟随”它们所属的文档。即使文档被编辑、调整大小、在不同的显示设备上显示或者被修正，这也是正确的。

通常，数字墨水注释***包括若干组件来处理数字文档和注释，同时保证在一个回流数字文档中注释的正确位置。***包括一个分类模块，一个锚定模块，一个回流模块和一个清除模块。分类模块将数字墨水笔划进行分组来定义一个注释并继而将该注释分类。锚定模块提取该文档的2D版面样本并用强锚定技术来将注释连接(或者说“锚定”)到与该注释关联的数字文档中的一个区域。回流模块用和每个注释相关联的分类和锚定的上下文信息，基于数字文档的变化，来回流或者重新实现注释。回流模块保证每逢任何数字文档被修改的时候，保存用户的原始的意图和含义。清除模块是一个可选组件，其能用于消除用户原始的随手注释并且重新画出注释的规范化的“清除”版本。清除模块通过最初决定它的类型使每个注释风格化。因此，基于分类清除规则，随手注释被转换为风格化的注释。

分类模块封装了处理方法，通过该方法，将在一个数字文档中最近似的墨水笔划分组和分类来定义一个数字墨水注释方法。它通过提取和检查数字墨水笔划的特征来决定一个最初的分组和分类，然后基于对该数字文档中的注释而假定的锚定上下文而对该分组和分类进行精练来完成以上操作。基于精练后的分组和分类结果，可以确定一个更好的对于锚定上下文的评判，等等。经过在分组与分类以及锚定上下文识别间重复的运作，***收敛于与置信度和锚定上下文相关得一个分组和分类。如果分组和分类过程收敛于对于一个特殊注释的分类和/或锚定上下文(例如低于一个特定阈值的)的低置信度评价，那么，就会作出应该采用人工分组的决定，并且咨询用户。

墨水笔划的分组可以是基于笔划的时间顺序，空间排列或者这两者的组合的。数字墨水注释处理方法自动地识别至少六种类型或者类别的数字墨水注释：下划线注释，高亮注释，旁注注释，圆圈注释，页边括号注释和插图编号或者连接符注释。这些分类中每种都有截然不同的特征，其决定期望有哪种类型的锚定上下文，和哪种回流变换会被执行。

一旦注释的墨水笔划被分组、注释被分类，和一个可能的锚定上下文被确定，锚定模块就将注释锚定于它所意指的上下文上。换句话说，注释必须被逻辑地锚定于文档中它所属的一个区域或者一个位置，从而即使文档的版面布局、格式或者内容发生改变，文档中相同的区域或者位置也能被恢复。锚定过程为每个数字墨水注释的分类定义了锚定规则，将这些锚定规则应用于每个数字墨水注释，并为每个注释生成一个逻辑锚定。此外，锚定过程基于文档中注释的上下文来确定锚定的有效性，并基于锚定的有效性来确定是否需要用户参与。例如，如果上下文被确定由于编辑而丢失，注释的锚定就被确定为无效，于是就会咨询用户如何处理被孤立的注释。

如果注释被锚定于其上的文档的版面布局随后改变，但是并没有使得注释的锚定无效，回流模块基于它的分类和它的锚定上下文重新实现注释。回流模块确定数字文档的新的版面布局，然后对应于新版面变换和重新实现注释，并不会丢失任何注释的含义和意图。

此外，数字墨水注释***包括一个用户反馈模块。用户反馈模块提供了一个接口，借此用户能够与***进行交互来提高***的准确度和效率。反馈用户接口是与分类模块，锚定模块，回流模块和清除模块进行通信的。用户也可以在任何时间不顾***的机械特征，而人工执行一个任务(例如分组和分类)。

附图说明

本发明能通过参考以下示出本发明各方面的说明和附图而被进一步理解。其它特征和优点会从随后的与附图相关联的发明详细说明中体现出来，详细说明采用举例的方法示出了当前发明的原理。

现在涉及附图，在其中，相似的附图标记代表相应的部分：

图1是一个方框结构图，示出了一个于此公开的数字墨水注释***和方法相结合的注释环境。

图2A是一个方框结构图，示出了在注释分组，分类和锚定过程中图1所示数字墨水注释***的实施例的细节。

图2B是一个方框结构图，示出了在注释回流过程中图1所示数字墨水注释***100的实施例的细节。

图3是一个方框结构图，示出了图2A所示分类模块的实施例的细节。

图4是一个方框结构图，示出了图2A所示锚定模块的实施例的细节。

图5是一个方框结构图，示出了图2B所示回流模块的实施例的细节。

图6是一个普通流程图，示出了图1，2A和2B中所示数字墨水注释***的数字墨水注释方法的操作过程。

图7是一个详细流程图，示出了图6所示数字墨水注释方法的分类过程的操作。

图8A示出了一个用户通过在文档中生成数字墨水笔划而对一个数字文档进行注释。

图8B示出了注释的人工分组和分类。

图8C示出了利用数字墨水注释方法进行文档和注释的回流。

图9是一个详细流程图，示出了图6所示数字墨水注释方法的锚定分类过程的操作。

图10是一个详细流程图，示出了图6所示数字墨水注释方法的回流分类过程的操作。

图11A示出了一个下划线注释的数字墨水注释方法。

图11B示出了一个高亮注释的数字墨水注释方法。

图11C示出了一个旁注注释的数字墨水注释方法。

图11D示出了一个内嵌圆圈注释的数字墨水注释方法。

图11E示出了一个区域圆圈注释的数字墨水注释方法。

图11F示出了一个页边括号注释的数字墨水注释方法。

图11G示出了一个连接符注释的数字墨水注释方法。

图12示出了数字墨水注释方法和***的一个工作实例的工具栏。

图13示出了一个合适的计算环境的实例，在该环境中图1所示的数字墨水注释方法和***能够被实现。

发明内容

在下面对本发明描述中，通过描述发明能够被实现的特定的实例，提供了对附图的说明，这是其中的一部分。可以理解，在不脱离当前发明范围的情况下，可能采用其它的实施例，和产生结构性的改变。

I.简介

几百年来人们一直用笔和墨水在纸张文档上逐字地进行注释。通常，一个注释是为了评论，解释或者更正而加在文档上的一个注解(文字的或者图形的)或者一个符号。注释是记录一个人对一个文档的想法和印象的自然和直观的用意。此外，注释能被用来指出文档中需要改正的错误。

现有技术允许用户在一个“冻结”的数字文档上生成类似于纸张文档上的笔注释的数字墨水注释。例如，图形输入板PC用户可以利用触笔在屏幕上书写，从而在一个文档的图像(例如一个文档中的标签图像文件格式(TIFF)的图像)上产生一个数字墨水注释。该用户拥有纸张提供给他的所有灵活性，然而他也遭受所有的局限性。真正的“动态”数字文档-例如文字处理文档或者HTML网页-相对与它们的纸张文档(或者文档图像)对手是更加灵活和易变的。例如，动态数字文档能够容易的在视窗里改变大小，或者为了在—个更大或者更小的显示设备上显示而重新改变格式。当前没有技术支持在文档的版面布局改变时，将这些更加灵活的动态数字文档上的注释进行相应的改变。

这里公开的数字墨水注释***和方法支持一个动态数字文档上的数字墨水注释，从而当文档的版面布局改变时，注释能够“跟随”它们所属的文档中的位置。即使是文档被编辑，改变大小，在不同的设备上显示，或者其它方面的改变，该功能都能实现。作为一个实例，假定用户用一个图形输入板PC利用下划线注释在一个网页上的一个单行语句。如果网页随后重新改变格式以在一个更小的PDA显示器上显示，下划线也许不得不被分开到多个文档行中。这就保证了句子的所有部分继续存在下划线注释，并且用户的最终意图也被保留下来。

II.综述

从静态的文档到动态的文档，数字墨水注释***和方法展示了传统的笔和纸注释样式的一个重要的扩展。关于数字墨水注释***和方法，这里至少有三个主要方面。第一个方面是数字墨水注释被自动的或者人工地识别和分类。第二个方面是经过分类的注释继而被锚定于文档中的元件(文本、图像、表格等)上。这就保证了即使文档被改变，其上的注释也会被放在文档的新版面上，从而使用户的原始意图和用意被保留。第三个方面是修改墨水笔划的技术，以使数字墨水注释能够在一个文档在被回流、修改或者两者都进行后能够被正确的显示。

图1是一个方框结构图，示出了一个与这里所展示的数字墨水注释***和方法相结合的注释环境。通常，在注释环境110中实施数字墨水注释处理***100，从而使用户120能够产生一个带有适当流动的注释130的数字文档。数字墨水注释***100通常位于一个计算设备140上。如同下面的第VII节所述，该计算设备140通常包括一个用于以计算机可执行指令的形式实行数字墨水注释方法的处理器(未示出)。

特别地，参考图1，用户120通过一个用户接口150与计算设备140进行交互。用户接口150允许用户120对一个数字文档160进行浏览和交互。此外，用户120能用一个触笔或者笔输入设备在数字文档160上添加形式自由的数字墨水用户注释170。数字文档160和与之关联的用户注释170被送到数字墨水注释***中进行处理。如下面详细解释的，数字墨水注释***100处理数字文档160和用户注释170并输出带有适当流动的注释130的数字文档。其后，似乎其为数字文档160般的对待带有适当流动的注释130的数字文档：用户可以进一步添加注释(或者与文档进行交互，例如删除或者移动现有的注释、编辑文档内容等)，并且将这些命令被提交到数字墨水注释***100中以进行随后的处理。此外，用户120还能够通过用户接口150直接与数字墨水注释***100进行交互，例如控制注释***参数和优先权。

III.***细节

数字墨水注释***100包括若干组件。这些组件使***100能够处理数字文档160和用户注释170并保证用户注释170在一个回流数字文档中的正确定位。

图2A和2B是方框结构图，示出了图1所示数字墨水注释***100的实施例的细节。通常，当用户将新的注释添加到文档中时，数字墨水注释***100处理数字文档160和与之相关联的用户注释170从而产生带有适当流动的注释130的数字文档。带有适当流动的注释130的数字文档随后可以在数字墨水注释***100的范围外通过某个外部的修改方法(例如，文档可以被编辑，或者它可以以不同的窗口尺寸显示)被改变，从而产生一个被修改的经过注释的数字文档135。在这种情况下，被修改的经过注释的数字文档135作为输入被反馈到数字墨水注释***100中，以使它的注释能够被适当的回流以使其跟随到新的文档版面上它们所属的位置，并且生成一个新的带有适当流动的注释130的数字文档。

图2A是一个方框结构图，示出了图1所示数字墨水注释***100的实施例在注释分组，分类和锚定过程中的细节。特别地，图2A所示的数字墨水注释***100包括一个分类模块200和一个锚定模块210，分类模块200将包含用户注释170的数字墨水笔划连同数字文档160一起作为输入，并且将墨水笔划统一进行分组来为每个注释定义分组、分类和上下文的组合230。

锚定模块210利用强锚定技术来连接(或者“锚定”)由分类模块200输出的墨水笔划组和它们与之相关联的锚定上下文(例如，与组关联度最大的数字文档中的区域)。锚定模块210将分类模块200输出的分组、分类和锚定上下文组合230和数字文档160作为输入。对于每个分组，锚定模块210从描述锚定上下文的数字文档160中提取锚定特征，并将这些特征与分组相关联。当处理完所有的分组后，锚定模块210输出带有适当流动的注释130的数字文档。

如图2B所示，带有适当流动的注释130的数字文档可以随后在数字墨水注释***100范围外通过某外部的修改方法被修改，从而产生一个修改过的经过注释的数字文档135。外部修改方法240可以包含任意变化——例如修改文档的内容，或者在不同的显示设备上显示或者以不同的窗口尺寸显示——这会在文档的2D版面上产生变化，但是这也会忽略对注释进行适当的修改。结果，注释可能显得错误，因此必须对其根据文档的新版面进行变换以能够显得“跟随”于它所属的位置。

图2B是一个方框结构图，示出了图1所示的数字墨水注释***100的实施例在注释回流过程中的细节。数字墨水注释***100包括一个回流模块250和一个清除模块260。回流模块250将修改过的经过注释的数字文档135作为输入，并产生一个新的带有适当流动的注释270的数字文档作为输出。这就是说，回流模块250变换和重新实现修改过的经过注释的数字文档135上出现的注释以适应数字文档的新版面。通过对每个独立注释的逻辑锚定特征进行测试以发现其锚定上下文已经被移动到该文档的新版面布局中的哪里，借此实现上述功能。注释(下划线，圆圈，页边评论等)每个不同类型或者分类都有其自己的规则集来控制该类型的注释如何被回流。一旦回流模块250确定注释的锚定上下文移动到什么位置，它就选择用于该注释类型或者类别的适当的回流规则集，然后变换该注释。回流的方式保证了每逢带有适当流动的注释130的数字文档发生改变，用户的原始意图和用户都能被保留下来。

清除模块260是一个可选组件(就如虚线框所指示的)，它用注释的经过形式化了的清除版本来代替用户原始的形式自由的墨水注释。如下面所解释的，一些注释以用户画它们时的状态保存会更好，因此它们通过清除模块260却不会被改变。清除模块260通过初步确定注释的类型和类别而将每个注释风格化。然后，基于注释的特殊类型的清除规格集，注释被变换到一个风格化的形式。

现参考图2A和2B，数字墨水注释***100还包括一个提供了接口的用户反馈模块280，在此用户能够与数字墨水注释***100进行交互。该用户反馈保证了***100的准确性和有效性。反馈用户接口280能够控制分类模块200，锚定模块210，回流模块250和清除模块260的各个方面，并因此允许用户与这些模块的机械函数功能进行交互和取消这些功能。将反馈用户接口280连接到四个模块的虚线示出了用户反馈对于每种情况都是可选的。

通过实例，借助反馈用户接口280，分类模块200能显示一个注释的分组、分类和锚定上下文。用户能检查该信息，可以选择修改它，例如通过改变组成注释的墨水笔划的分组，或者改变注释的分类，或者改变与注释相关联的文档中的区域。用户可以利用反馈用户接口280来修改锚定模块210如何为注释产生逻辑锚定，例如通过改变从数字文档160中提取出来以描述上下文的各种特征的类型。用户可以利用反馈用户接口280来人工的确定当回流一个特殊的注释时，回流模块250应该采用哪种规则集，例如就注释的特殊特征而言，该注释类型的默认回流规则集是否是错误的。最后，用户可以利用反馈用户接口280来人工的确定当显示一个注释的一个形式化了的或者“清除”过的版本时，清除模块260应该采用哪种规则集，例如给定注释的特殊特征，该注释类型的缺省“清除”规则集是否是错误的。通过反馈用户接口280，用户能够与***100进行交互来更好的提高它的准确性、可靠性和有效性。

图3是一个方框结构图，示出了图2A所示分类模块200的实施例的细节。通常，分类模块200利用用户注释170的特征和来自数字文档160的上下文信息对每个注释进行分组和分类，并确定一个适当的锚定上下文，以及输出每个注释的分组、分类，和锚定上下文160的组合230。分类模块200包括一个墨水笔划特征提取模块300；一个分组和分类模块310，其有一个时间修整模块320和一个空间修整模块330；一个锚定上下文识别模块340；一个人工分组、分类和锚定识别模块350。

墨水笔划特征提取模块300测定用户注释170中的墨水笔划的特征。对于一个特殊的墨水笔划，这些特征可以包含，例如，笔划方向角度，笔划的长度，该笔划相对于其它所有笔划的生成时刻，和该笔划相对于其它所有笔划的位置。这些特征都被输入到分组和分类模块310，以统一地确定墨水笔划的正确分组。

分组和分类模块310负责采用一个总体上最佳的方式，把用户注释170中的墨水笔划分组到各个带有适当分类标签和锚定上下文的截然不同的组中。通常，分组和分类模块310利用动态编程来评估包含用户注释170的墨水笔划的所有可能的分组和分类，并且确定能将所有笔划分到截然不同的、包含一切的、没有重叠区域的各个组中的最佳的——或者最可能是正确的——分组和分类。在计算机处理时间方面，评估所有可能的分组和分类综合来说是耗时的，因此基于笔划的时间顺序(利用时间修整模块320)，或者笔划的空间排列(利用空间修整模块320)或者两者都有，动态地编程搜索区域被最先修整。换句活说，仅仅在时间和/或空间上相互接近的笔划分组才被视为分组和分类模块310的动态程序的组件被考虑。该最先修整的理由是在时间和空间上相互间隔的墨水笔划不太可能属于一个组。

基于分组中的笔划生成***识别的注释的一种类型(例如下划线、高亮、圆圈、页边评注、页边条或者连接符)的可能性，为每个由分组和分类模块310进行评估的保留下来的可能的笔划分组指定一个可能性，然后将组群传递到锚定上下文识别模块340。锚定上下文识别模块340继而试图为组群确定最可能的锚定上下文。例如，如果特定组群中的墨水笔划是水平线，且分组和分类模块310已经确定该分组可能代表一个下划线注释，那么锚定上下文识别模块440会在文档中寻找直接位于线上的文字。如果在另一组群中的墨水笔划被确定为最有可能生成一个圆圈注释，锚定上下文识别模块340会寻找被圆圈所围绕的文字。锚定上下文识别模块作出关于其所表征的墨水分组的锚定上下文的最好的推测，指定该锚定上下文是正确的可能性，并将该信息传回分组和分类模块310。

分组和分类模块310接收用于分组的锚定上下文识别信息，将其和它为分组而计算出的原始分类的可能性进行合并，并将合并的值置入它的动态编程子问题解答表中。如果墨水笔划的一个特殊分类有一个不可靠的分类和/或一个不可靠的锚定上下文(例如，在一个最初分类为下划线的墨水笔划的组群中，线上却没有文字)，这就会降低该特殊分组由分组和分类模块310确定，被包含在用户注释170中所有笔划的最终完全分组中的可能性。当分组和分类模块310已经评估完所有可能的分组(这不是最先修整)时，它遍历它的子问题解答表，并选择能涵盖用户注释170中的所有笔划，不重合，并使组合后的分组有最大可能性的分组/分类/锚定上下文组合的集合。该完整的最优分组继而被作为分组、分类，和锚定上下文的组合230输出。

人工分组、分类和锚定识别模块350提供了一个用户接口，用户可以通过它人工地选择一个墨水笔划集，根据已经识别的注释类型列表对其进行分类，并确定它的锚定上下文。如果用户选择采用该接口，或者避开自动分组过程，或者纠正一个自动分组过程中的错误，任何的人工选择结果都被认为比自动过程能够实现得更优越，分组中的墨水笔划随后被自动过程所忽略。

图4是一个方框结构图，示出了图2A所示锚定模块210的实施例的细节。通常，锚定模块210利用分类模块200输出的分组、分类，和锚定上下文组合230来产生将每个笔划的分组和文档中该分组所对应的锚定区域相关联的逻辑锚定，利用这种方法，即使是文档的版面和/或内容被改变，每个分组的锚定区域也能被恢复。锚定模块210包括注释锚定规则400，上下文特征提取模块410，和逻辑锚定生成模块420。

锚定模块210将分类模块200输出的分组、分类，和锚定上下文的组合230和数字文档160作为输入。注释锚定规则400示出了每个截然不同的注释类型是如何被锚定的。例如，下划线注释被锚定于它用下划线标注的文本上，而圆圈被锚定于它所围绕的文本上。上下文特征提取模块410从数字文档160中提取明显的锚定特征，并使它们对于逻辑锚定生成模块420是有效的。对于每个墨水笔划分组，基于该注释类型的分组类别和锚定规则，逻辑锚定生成模块420从那些被提取的特征中选择合适的锚定规则。锚定特征作为分组的逻辑锚定被分配到分组中。分组连同它的类别、它的锚定上下文，和它的逻辑锚定一起被视为一个完整的可回流注释。在逻辑锚定生成模块420完成它的所有分组、分类，和锚定上下文组合230的任务后，完整的可回流注释就为在数字文档160上显示做好准备，并且生成一个带有适当流动注释130的数字文档。

图5是一个方框结构图，示出了图2B所示回流模块250的实施例的细节。通常，回流模块250基于注释的逻辑锚定和它的分类，变换和重新实现在一个修改的被注释过的数字文档135中的每个完整的可回流的注释。回流模块250包括一个版面确定模块500，一个注释变换模块510，和一个重新实现模块520，它输出一个新的带有适当流动注释270的数字文档。

回流模块250将一个修改的被注释过的数字文档135作为输入，该文档自从最后一次在文档上的注释被回流以后便使得自己的版面被修正。对于文档上的每个注释，版面确定模块500利用注释的逻辑锚定恢复注释的锚定上下文，并确定注释的锚定上下文的新版面。一旦新版面被确定，注释变换模块510就被用来变换注释，从而使它们与新版面相一致(例如，它们“跟随”文档中原本试图要移动到的位置)。适应过程对于每个截然不同的注释类型是不同的。对于下划线注释，例如，它包括连接两个或者更多落在同一行文本的下划线墨水笔划的连接操作，以及分离一个在新版面中跨越两行或者更多行文本的下划线墨水笔划的分离操作。对于圆圈注释，它包括仿射变换(平移、旋转、缩放)以使它们能够与它们的锚定上下文档的新版面一致。

IV.操作综述

这里公开的数字墨水注释***100利用一种数字墨水注释方法来处理注释，从而使注释具有动态的可适应性。这就意味着当一个包含注释的文档被修改时，注释能够适应文档的新版面而改变。这种动态适应性保证了每个注释的原始意图和用意能够被保留下来。

数字墨水注释方法包括三个主要特征。第一，对数字墨水注释的墨水笔划进行分组和分类，确定一个合适的锚定上下文。第二，为经过分类的注释生成一个逻辑锚定，该注释可以确定文档中与其相互关联的区域，以这种方式，即使是文档的版面和/或内容被改变，每个分组的锚定区域也能被恢复。锚定注释保证了即使在文档被修改后，注释也能被置于文档中正确的区域。第三，如果文档的版面变化了，经过处理的数字墨水注释被回流或者被重新实现。

图6是一个普通流程图，示出了图1、2A和2B所示数字墨水注释***100的数字墨水注释方法的操作过程。该方法首先要输入一个数字墨水注释和一个数字文档(框600)。然后将数字墨水注释分类，并确定一个锚定上下文(框610)。该分类基于注释的特征和数字文档中的上下文信息被实现。然后，注释被强锚定于数字文档中的一个区域或一个位置(框620)。该锚定是基于注释分类和被确认的锚定上下文。最后，数字墨水注释在数字文档的新版面中被回流。该回流过程基于注释的锚定和注释的分类(框630)。

V.操作细节

图7是一个详细流程图，示出了图6所示数字墨水注释方法的分类过程的操作。过程首先用所有可能的方法对数字文档中的墨水笔划进行分组，根据时间和空间的近似约束对其进行修整，评估每个分组的其包含的墨水笔划的组合符合各个注释类的特征的可能性(框700)。然后，为每个分组/分类组合确定最可能的锚定上下文(框710)。用每个分组/分类/上下文锚定组合(框720)的可能性填充一个动态编程子问题解答表。最后，在所有的子问题(其没有被修整)都被评估后，子问题解答表被遍历以确定墨水笔划的最佳的全部分类，其能够涵盖所有的笔划，不包括重合分组的，并使所有组群的组合可能性最大(框730)。

当一个用户标记数字文档时，该过程对墨水笔划进行分组以定义笔划组成哪种类型的注释。例如，注释可以是一个下划线、圆圈、连接符、页边条、或者页边评论。以与人类对墨水笔划进行分组和定义一个注释相比有着相同等级的强提取级别和相同准确度来进行分组。

将墨水笔划组合到组群中可以基于笔划产生的时间顺序，或者笔划的空间排列，或者两者的组合。这是分组和分类算法的动态编程搜索范围基于时间和空间的近似约束进行修整的另外一种说法。依赖于空间顺序是迅速和简单的。此外，时间分组揭示了一个事实，即在多数注释中使用的墨水笔划是顺次生成的。然而，可能有些时候，笔划的产生是乱序的。例如，当用户返回，并在一个“i”上打点，或者在一个“t”上画叉时。在这种情况下，空间排列变得为分组的更好判据。

由于自然原因数字墨水注释是不明确的，而且不正确的分类会产生令人困惑的现象。例如，如果一个指向文本的水平箭头被错误的分类为下划线，当回流发生时，箭头可能会被分离到多个行中。因此，在一些实施例中，完全自动地分组和分类可能没有灵活性。在这些实施例中，混合方法可以被采用，例如当对一个完整的分组评估出的置信度低于一个特定的阈值时寻求一个用户的帮助。

图8A示出了一个用户通过在文档中生成数字墨水笔划而对一个数字文档进行注释。在该情况下，词语“how”被写在页边，注释所提到的文本被圈出。图8B示出了注释的人工分组和分类。图8C示出了利用数字墨水注释方法进行文档和注释的回流(忽略注释是被自动还是人工地进行分组和分类)。请注意在图8C中，经过回流的文档中的注释与图8A中原始文档中的注释“一致”，因为它被移动——或者说回流——以跟随着文档中它所属的位置。

图9是一个详细流程图，示出了图6所示数字墨水注释方法的逻辑锚定过程的操作。逻辑锚定保证了当文档版面改变时，它的注释能够因此被回流，注释的原始用意和意图能够被保留。例如，如果一个注释被分类为一条下划线，则注释必须保持在下划线所注释的文本的范围内。这就需要取决于注释锚定于其上的文本范围是否被回流，而分离或者连接包含注释的墨水笔划。如果，另一方面，该注释被分类为箭头连接符，则它必须保持从原来出发的位置指向它原来所指的位置。无论如何，在不同情况下，箭头连接符能在回流过程中被延长，旋转和变换。

在注释的墨水笔划被分组以及该注释被分类后，被分类的注释必须被逻辑地锚定在它想指定的内容。换句话说，注释必须被锚定于文档中它所属的一个区域或者位置，从而即使文档的版面、格式或者内容被改变，注释的用意和意图也能够被恢复。

利用笔和纸做的注释被固定在纸张文档上的一个特殊位置的。然而，数字文档中的物理位置在数字文档被回流时就失去了它的意义。取而代之的是，注释必须被锚定在它周围的逻辑上下文(例如注释附近文本的范围)。这由于两种原因而具有挑战性。第一，数组墨水注释常常不提供一个它们应当被锚定于何处的有力的指示。例如，页边的评论可能属于最近位置的文本范围或者在页面的另一面。第二，文件可能在它最初被注释和注释被显示两者之间时被编辑。这就使恢复注释的锚定上下文变得更加困难。

一种实现强锚定的方法是采用复杂的文档内容自动分析。这些强锚定技术是在现有技术中已有的。例如，一种能被数组墨水注释方法所采用的强锚定技术可以在Processings of CHI 2001，pp，285-292，ACM Press 2001中的A.J.Brush，D.Bargeron，A.Gupta和J.J.Cadiz作的题为“数字文档中的强注释定位”的论文中找到。然而，该技术仍然会导致错误，且数组墨水注释方法也包括这样一个措施，如果确定注释的锚定不能从它的逻辑锚定中恢复(如果，例如，逻辑锚定描述的锚定上下文被从文档中删除)，其可用于询问用户以清楚地为一个注释指定锚定。

参考图9，锚定方法首先从被注释的数字文档中提取锚定特征(框900)。其后，基于该各组的分类和锚定上下文和根据针对各个注释类型的锚定规则集而为每个由图7中的分组和分类过程产生的墨水笔划分组选择锚定特征(框910)。这些预注释类型规则在下面会被更加详细的讨论。最后，为每个墨水笔划组群指定适当的锚定特征，以形成完整的可回流注释。在所有的注释都被锚定在一个文档上后，注释就为回流做好准备，从而如果文档版面布局改变，注释能够跟随它们在文档中所属于的位置并且保持它们的可视用意。

图10是一个详细流程图，示出了图6所示数字墨水注释方法的回流分类过程的操作。如果原始文档改变，回流过程基于它们的分类和逻辑锚定重新实现注释以跟随它们在文档中所属于的位置。例如，如果一个句子被下划线注释，句且子所在的栏变窄了，句子也许不得不被回流为比原来占用更多的行数。在该情况下，下划线注释必须被分开并显示出比原始所画的下划线更多的行上。如另外一个例子，如果一个段落被圈起来，且它所在的栏变宽了，那么圈起该段落的圆圈墨水注释必须被拉宽和缩短。

回流过程首先确定一个数字文档的新版面(框1000)。然后，一个数字墨水注释被变换以符合新的版面(框1010)。最后，重新变换后的数字墨水注释在新的文档版面上被重新实现(框1020)。

数字墨水注释方法自动地识别“主动阅读”类型数字墨水注释的六种最普通的类型或者类别，且***是可扩展性的，因此它在将来能够识别更多的注释类型(例如编辑标志)。被自动识别的注释类型包括：下划线注释、高亮注释、旁注或者“页边评注”注释、圆圈注释、边括号注释和插图编号或者“连接符”注释。现在论述用于每个这些注释分类的注释特征、上下文和锚定规则。

为了示出以上所描述的原理，提供图12A-G作为数字墨水注释方法如何能运作的一个例子。在图12A-G中，“A”列代表用户采用数字墨水笔划的数字文档的注释；“B”列代表在一个新的文档版面中的被回流的注释。“C”列代表被清除模块所风格化的“清除”注释。

下划线注释

现参考图11A，下划线注释由一个或者多个近似水平的直线墨水笔划组成。在一个数字文档的上下文中，下划线注释一般会在文本下方发现，特别是一个或者多个文字。

下划线注释中的每个墨水笔划被分别锚定于它所注释的文本的范围内。在该文本范围内的文字和它们的顺序是已知的，并且当且如果在文本的范围在文档中被回流时，该信息被用来控制墨水笔划如何被回流。

在回流过程中，如果在文本的同一行中多个笔划互相邻接，它们就会被结合在一起；且如果一个下划线笔划恰好落在两行或者更多行上，它会被分开，且它的各部分会被移动而恰好保持在原始的被下划线注释的上下文的下方。

高亮注释

现参考图11B，高亮注释的独特特征包含这样地事实，即除了包含一个高亮的笔划很粗并且墨水是半透明的以外，它们很像删除线。换句话说，高亮注释能被近似的看作下划线：除了高亮墨水笔划几乎完全覆盖在它们应该被锚定的文本的范围上之外，用与下划线注释相近似的方式来确定上下文(与下划线注释中的放在文本的行下方不同)。高亮注释的回流规则也同样与下划线注释类似，除了在回流过程中，墨水笔划是在文本范围上，墨水宽大和半透明之外。

旁注注释

现参考图11C，旁注或者页边评注被定义为数字文档中任何在页边或者空白区域的数字墨水笔划，但是却不会是一个连接符。旁注包括绘画，符号(例如“！”和“*”)，和页边或者空白区域中的文本。

用于锚定旁注注释的规则是它们被锚定于它们所水平相邻的文档的任何部分。一条对应于旁注注释的边框顶部的顶部水平线和一条对应于旁注注释的边框底部的底部水平线，被从任何旁注注释被定位的位置投影在文档上。在顶部水平线和底部水平线间的文档内容被认为是旁注注释的锚定上下文。

当文档版面改变时，旁注注释被垂直变换，以使其与它们的锚定上下文维持垂直方向上的居中相邻。例如，假定在一个原始文档中的一个旁注注释被锚定于四行文本上。然后，假定数字文档的版面被修改，以至于四行文本变为了八行文本，在这种情况下，被锚定的旁注被置于与这八行文本相邻的垂直方向上的中央。

圆圈注释

现参考图11D，圆圈注释被分为两类：“内嵌”圆圈和“区域”圆圈。内嵌圆圈通常在一个单文本行周围画圈，区域圆圈通常在多文本的多个局部行或者其它文档内容周围画圈。如果笔划形成一个没有凹度的图形，一组墨水笔划可能被识别为某一类圈，且形成圆圈的墨水笔划组可以取决于它们可能的锚定上下文而被区分为内嵌圆圈和区域圆圈。例如，如果圆圈围绕一个文本行，它就会被标定为一个内嵌圆圈；而如果一个圆圈围绕的文本落在了多于一行上，它就会被标定为一个区域圆圈。

两种类型的圆圈都被锚定于它们用圆圈围绕的文本和其它文档内容。

在回流过程中，内嵌圆圈注释类型通常进行水平变换以跟随它的锚定上下文，直到它的锚定上下文(例如它用圆圈围绕的文本范围)被劈成两行或者更多行。当诸如此的***发生时，圆圈被复制、缩放和变换以使包含原始锚定上下文的两个或者多个文本部分被独立的圈起来。参考图11E，区域圆圈注释被缩放和变换以继续包围它们的锚定上下文，但是它们没有被复制。

页边括号注释

现参考图11F，页边括号注释类似于旁注注释。如果数字墨水的组群在“包围”文档内容的文档页边形成近似垂直的线，则它们被识别为页边括号注释。

与旁注如何被锚定类似，边括号注释被锚定于它们所水平相邻的文档的任何部分。生成顶部和底部水平线，且在项部和底部水平线间的文档内容被认为是页边括号注释的锚定。

不像旁注注释那样，当一个边括号注释锚定于其上的文档范围被回流时，页边括号注释在垂直方向上相应的被变换和缩放，因此页边括号注释表现为延伸以保证将它的全部锚定上下文括起来。

插图编号或者连接符注释

现参考图11G，插图编号或者连接符注释是通过从一个位置到另一个位置将区域链接起来的注释。包含一个插图编号或者连接符注释的墨水笔划的一个特征是它们不是直线的，而是可以有一定的弯曲度。另一个特征是插图编号或者连接符注释与水平方向和垂直方向有一个角度。还有另一个特征是插图编号或者连接符注释的终点邻接于文档的文本或内容，来自于其它注释的数字墨水笔划，或者两者都有。换句话说，插图编号或者连接符注释是将文本或内容与一个注释或其它文本或内容相连接。

插图编号或者连接符注释的锚定规则是基于锚定插图编号的终点的。对于每个终点，最接近该终点的文档内容或者其它自由形式的数字墨水注释被认为是它的锚定上下文。因此，每个插图编号都有两个独立的截然不同的锚定文本。

在回流过程中，插图编号被变换，旋转和缩放以使每个终点与其锚定上下文维持持续的联系。这能从图11G中看到。

VI.工作实例

为了更全面地理解这里公开的数字墨水注释处理方法和***，对一个实施例的运作细节进行介绍。应该注意的是该运作实例仅是这里公开的数字墨水注释处理方法能够被实现的一种方法。

硬件

对于运作实例，数字墨水注释处理方法能在任何运行微软的WindowsXp图形输入板PC版操作***的图形输入板PC硬件上实现运行。这些类型的计算机支持一个被集成到它们的显示屏幕上的笔输入数字转换器，这样可以使计算机能够模拟一个写字板的波形因数。用户利用触笔与计算机进行交互，这就使得用户可以控制光标并直接在屏幕上书写。

软件

在该运作实例中，这里公开的数字墨水注释处理方法和***被具体为一个插件嵌入微软的互联网浏览器(IE)中。该插件(编码命名为“Callisto”)支持一个带笔的IE工具条和一个允许用户用数字墨水标记任何网页的任何部分的高亮工具。数字笔划被保存在用户机器的一个本地缓存中。图12示出了在一个数字文档中辅助对数字注释进行绘制和分类的数字墨水注释方法和***的工具条。

分组，分类和锚定

为了将原始的数字墨水笔划分组和分类到数字注释中，在Callisto中配备的数字墨水注释方法和***允许用户选择自动分组和分类，或者人工分组和分类。根据在第III、IV和V章详细说明的处理方法，如果选择自动分组和分类，那么Callisto软件作出关于对用户的墨水笔划进行分组和分类的自动决定，并且自动地确定注释锚定。

如果选择人工分组和分类，用户首先利用选择工具选择他希望分组在一起的墨水笔划。然后，用户从注释类型的预定列表中选取一个类别。重新来参考图9B，一个用户人工地从注释的预定列表中选取一种注释类型。该注释类型列表包括下划线、高亮、旁注(例如页边评注和符号)、圆圈、页边条和连接符。选择这些注释类型中的一种就会自动的将文档中定选的笔划组群作为一个注释锚定于上下文中。该锚定采用以上第V章概述的规则集来完成。

回流数字注释

经过分组、分类和锚定，每逢IE文档窗口被调整大小，数字墨水注释方法和***自动地回流当前页上的任何注释，以使它们经过在第III，IV和V章中概述的过程而跟随它们各自的锚定上下文。

清除数字注释

除了回流数字注释以保留用户的原始绘制风格之外，经过上面的第III章概述的过程，在用于IE的Callisto插件中配备的数字墨水注释方法和***也能绘制形式化的数字注释“清除”版本。在该运行实例中，数字墨水注释方法和***如下清除注释：数字墨水注释方法和***将下划线注释作为直线段再现，高亮注释作为锚定文本上的半透明的水平矩形，圆作为圆角矩形，页边条作为横跨锚定文本高度的简单的贝塞尔曲线，以及连接符是在锚定上下文的终点间相连接的直线。页边评注和符号不进行解析，保留为用户绘制它们的样子，因为它们通常包含如此多的变量和独立风格，将它们转换为一个可接收的形式化的风格是很困难的。

VII.实施例操作环境

将这里公开的数字墨水注释方法和***设计为在一个计算环境中运行。下面的论述是为了提供一个在其中墨水注释方法和***得以运行的合适计算环境的简短的，概括的描述。

图13示出了一个在其中墨水注释方法和***得以运行的合适计算***环境1300。计算***环境1300仅仅是一个合适的计算环境的一个实例，并不意味着本发明的为使用范围和功能提出任何限制。计算***环境1300也不应该被解释为对于在实施例操作环境1300中示出的任何一个组件或多个组件的组合具有任何依赖性或者需求。

数字墨水注释方法和***可以运作于多种其它通用目的或者特定目的的计算***环境或者结构中。能够适合用于数字墨水注释方法和***的熟知的计算***、环境，和/或结构的实例包括，但不是局限于，个人计算机、服务器计算机、手持、膝上形或者移动计算机或者例如蜂窝电话和PAD的通信设备、多处理器***、基于微处理器的***、机顶盒、可编程消费电子产品、网络PC、袖珍计算机、大型计算机，包括任何以上***和设备的分布式计算机环境，和类似装置。

数字墨水注释方法和***可以在计算机可运行指令的通用上下文中进行表述，例如用一个由计算机执行的程序模块。通常，程序模块包括线程、程序、对象、组件、数据结构等，它执行特殊的任务或者实现特殊的抽象的数据类型。数字墨水注释方法和***也可以在分布式计算环境中实行，在其中，任务由通过通信网络链接的远程处理设备执行。在一个分布式的计算环境中，程序模块可以同时位于本地和包括内存存储设备的远程计算机存储介质上。现参考图13，一个用于执行数字墨水注释方法和***的实例***包括一个计算机1310形式的一个通用目的计算设备(计算机1310是图1所示的计算设备140的一个实例)。

计算机1310的组件可以包括，但不局限于，一个处理单元1320，一个***内存1330，一条将包括***内存在内的各种***组件与处理单元1320耦合的***总线1321。***总线1321可以是几种总线结构的任意一种，其包括内存总线或者内存控制器，***设备总线，和采用各种总线体系结构中的任意一种的本地总线。通过举例，但不是限制，这样的体系结构包括工业标准体系(ISA)总线，微通道结构(MCA)总线，加强型ISA(EISA)总线，视频电子标准协会(VESA)局域总线，和被称为夹层总线的***部件接口(PCI)。

计算机1310通常包括各种类型的计算机可读介质。计算机可读介质可以是任何能被计算机1310访问的可用介质，包括各种易失性和非易失性介质，可移动或者不可移动介质。通过举例，但不是限制，计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括采用任何用于信息存储的方法的技术，例如计算机可读指令，数据结构，程序模块或者其它数据，所实现的易失性和非易失性，可移动或者不可移动介质。

计算机存储介质包括，但不是限制，RAM、ROM、EEPROM、闪存或者其它内存技术、CD-ROM、数字通用光盘(DVD)或者其它光盘存储、磁性盒带、磁带、磁盘存储或者其它磁性存储设备，或者其它任何能用来存储所需信息和可以被计算机1310访问的介质。通信介质通常嵌入计算机可读指令、数据结构、程序模块或者在一个模块化的如一个载波或者其它传输机制那样的数据信号中的其它数据，并且包括任何信息传输介质。

请注意，术语“模块化的数据信号”意思是一个信号，它拥有一个或者多个特征集，或者它以如在信号中编码信息那样的方式而发生改变。通过举例，但不是限制，通信介质包括有线介质，如有线网络或者直接电缆连接，和无线介质，如声学的、RF、红外的或者其它无线介质。以上的任何组合也应该包括在计算机可读介质的范围内。

***内存1330包括以易失性和/或者非易失性内存，例如只读存储器(ROM)1331和随意访问存储器(RAM)1332那样的形式出现的计算机存储介质。一个基本输入/输出***1333(BIOS)，包括一个协助在计算机1310的元件间传递信息的基本线程，例如在启动时，它通常被存储在ROM1331中。RAM1332通常包括可立即访问的，和/或当前被处理模块1320所运行的数据和/或程序模块。通过举例，但不是限制，图13示出了操作***1334，应用程序1335，其它程序模块1336，和程序数据1337。

计算机1310还可以包括其它可移动/不可移动，易失性和/或非易失性计算机存储介质。仅仅通过举例，图13示出了一个从不可移动式的非易失性的磁性介质中读取或者向其写入的硬盘驱动器1341，一个从可移动式的非易失性的磁盘1352中读取或者向其写入的磁盘驱动器1351，和一个从如CD ROM或者其它光学介质那样的可移动式非易失性光盘1356中读取或者向其写入的光盘驱动器1355。

其它能用在实例操作环境中的可移动/不可移动，易失性和/或非易失性计算机存储介质包括，但不是限制于，磁带盒、闪存卡、数字通用光盘、数字视频带、固态RAM、固态ROM，和类似装置。硬盘驱动器1341通常通过一个如接口1340那样的不可移动式内存接口连接在***总线1321上，一个磁盘驱动器1351和光盘驱动器1355通常通过一个如1350那样的可移动式内存接口连接在***总线1321上。

以上讨论的和在图13中示出的驱动器和它们相连的计算机存储介质，提供了用于计算机1310的计算机可读指令、数据结构、程序模块和其它数据的存储。在图13中，例如，硬盘存储驱动器1341被示出为存储操作***1344、应用程序1345，其它程序模块1346和程序数据1347。请注意这些组件能分别与操作***1334相同或者不同，应用程序1335，其它程序模块1336，和程序数据1337。这里，提供不同数量的操作***1344、应用程序1345、其它程序模块1346，和程序数据1337，以至少示出了它们是不同的复本。一个用户可以通过如键盘1362和指示设备1361那样的输入设备，其一般指一个鼠标，轨迹球或者触摸板，将命令和信息输入到计算机1310。

其它输入设备(未示出)可以包括一个话筒，操纵杆，游戏手柄，碟形卫星天线，电波接收器或者一个电视或者广播视频接收器，或者类似装置。这些和其它输入设备经常通过一个耦合在***总线1321上的用户输入接口1360而被连接到处理单元1320，但也可以通过其它接口和总线接口进行连接，例如并行端口，游戏端口和通用串行总线(USB)。一个显示器1391或者其它类型的显示设备也同样通过一个如视频接口1390那样的接口连接到***总线1321上。除了显示器，计算机还可以包括其它***输出设备如扬声器1397和打印机1396，它们可以通过一个输出***接口1395进行连接。

采用与一台或者多台如远程计算机1380那样的远程计算机进行逻辑连接，计算机1310可以运行在一个网络环境中。远程计算机1380可以是个人计算机、服务器、路由器、网络PC、对等设备或者其它通常的网络结点，且通常包括上述的与计算机1310相关的许多或者全部元件，尽管只有一个内存存储设备1381在图13中被示出。图13描述的逻辑连接包括一个局域网(LAN)1371和一个广域网(WAN)1373，但是也可以包括其它网络。这种网络环境在办公室中、企业级计算机网、企业内部互联网和国际互联网中是普遍的。

当应用于一个LAN网络环境中时，计算机1310通过一个网络接口或者适配器1370连接到LAN1371上。当应用于一个WAN网络环境中时，计算机1310通常包括一个调制解调器1372或者其它在WAN1373上建立通信的方法，例如国际互联网。调制解调器1372，其可以是内置的或者外置的，可以通过一个用户输入接口1360或者其它合适的机制连接在***总线1321上。在一个网络化的环境中，所描述的与计算机1310或者其端口相关联的程序模块，可以存储在远程的内存存储器上。通过举例，但不是限制，图13将远程应用程序1385示出为位于内存设备1381中。可以理解，所示的网络连接是范例性的且可以使用其它计算机间建立一个通信连接的方法都是值得赞扬的。

发明的前面的描述是为了示出和描述而提出的。并不是为了详尽的叙述或者将发明限制到所公开的精确的形式。根据上述的说明，很多修改和变化都是可能的。目的是发明的范围不应被发明的该详细描述甚至这里附加的权利要求所限制。

Claims (40)

1.一种用来处理包含数字墨水注释的数字文档的方法，包括：将数字墨水注释分类以生成注释类别；将数字墨水注释锚定于与数字墨水注释相关联的数字文档中的一个区域，以产生一个注释锚定；和在数字文档的一个新的版面上回流数字墨水注释。

2.如权利要求1中所述的方法，其中的数字墨水注释由数字墨水笔划组成，且进一步包括：将用户生成的数字墨水笔划整体进行分组以定义数字墨水注释；和基于分组的数字墨水笔划将数字墨水注释进行分类。

3.如权利要求1中所述的方法，进一步包括基于至少两种不同的标准将数字墨水注释分类。

4.如权利要求3中所述的方法，其中的至少两种标准包括：(a)注释特征；和(b)数字文档中的上下文信息。

5.如权利要求3中所述的方法，进一步包括定义一个确定是否应该咨询用户的注释分类的置信评估。

6.如权利要求5中所述的方法，进一步包括确定置信评估对于注释分类是过低的。

7.如权利要求5中所述的方法，进一步包括确定对数字墨水笔划的一个分组的置信评估低于一个阈值，且应该采用人工分组方法。

8.如权利要求1中所述的方法，进一步包括为数字墨水注释的每个分类定义锚定规则。

9.如权利要求1中所述的方法，进一步包括应用每个数字墨水注释的分类的锚定规则以产生注释锚定。

10.如权利要求1中所述的方法，进一步包括基于在数字文档中用于数字墨水注释的锚定上下文存在或者不存在来确定注释锚定的有效性。

11.如权利要求10中所述的方法，进一步包括基于注释锚定的有效性来确定是否需要一个用户接口。

12.如权利要求1中所述的方法，进一步包括处理数字墨水注释以符合新的版面布局以使原始数字墨水注释的意向和意图被保留下来。

13.如权利要求12中所述的方法，进一步包括将数字墨水注释在一个显示设备上显示以符合新的版面。

14.一个带有计算机可执行指令，以执行权利要求1中所述的方法的计算机可读介质。

15.一种用于处理在一个数字文档中所作的数字墨水笔划的方法，包括：将数字墨水笔划分组以定义一个数字墨水注释；基于注释特性和数字文档中的上下文信息，对数字墨水注释进行分类；将数字墨水注释回流为一个有新的版面布局的数字文档的修改版本，以使数字墨水笔划的意图和意向被保留下来。

16.如权利要求15中所述的方法，进一步包括基于数字墨水笔划的时间顺序将数字墨水笔划进行分组。

17.如权利要求15中所述的方法，进一步包括基于数字墨水笔划的空间顺序将数字墨水笔划进行分组。

18.如权利要求15中所述的方法，进一步包括基于这样一个组合：(a)数字墨水笔划的时间顺序；和(b)数字墨水笔划的空间顺序，将数字墨水笔划进行分组。

19.一个或多个其中带有计算机可读指令的计算机可读介质，当用一个或者多个处理器运行指令时，使一个或者多个处理器执行权利要求15中所述的方法。

20.一个带有计算机可执行程序的计算机可读介质，用于修改数字文档中的数字墨水注释以使其在修改过的数字文档中适应新的版面布局，包括：在数字文档中对数字墨水注释进行分组以定义数字墨水注释；基于注释分类锚定数字墨水注释，以产生带有适当回流注释的数字文档；随后，由外部修改处理修改带有适当回流注释的数字文档，以产生修改过的数字文档，其具有不同于带有适当回流注释的数字文档的新的版面；和回流数字墨水注释以符合修改过数字文档的新版面。

21.如权利要求20中的计算机可读介质，进一步包括基于以下至少一种：(a)数字墨水笔划的时间顺序；和(b)数字墨水笔划的空间顺序，将数字墨水笔划进行分组。

22.如权利要求20中的计算机可读介质，其中数字墨水注释包括用户为了强调特定的内容作评论，或者记录想法和印象而在数字文档中作的主动阅读注释。

23.如权利要求20中的计算机可读介质，其中数字墨水注释包括用来在数字文档中指示错误的编辑注释。

24.一种方法，其用于在具有一个不同于第一版面的第二版面的修改过的数字文档中，从原始的数字文档中回流数字墨水笔划，包括：将数字墨水笔划进行分组以定义一个数字墨水注释；基于注释特性和原始数字文档中的上下文信息，对数字墨水注释进行分类；将数字墨水注释锚定于与数字墨水注释相关联的原始数字文档中的一个区域；确定修改过的数字文档的第二版面；处理数字墨水注释以符合第二版面；和在修改过的数字文档中实施数字墨水注释，以使数字墨水注释符合第二版面，和在修改过的数字文档中，保留相同于原始数字文档中所存在的意向和意图。

25.如权利要求24所述的方法，进一步包括将数字墨水注释归类为下划线注释。

26.如权利要求25所述的方法，进一步包括将下划线注释锚定于被下划线注释的区域中的字符。

27.如权利要求24所述的方法，进一步包括将数字墨水注释归类为高亮注释。

28.如权利要求24所述的方法，进一步包括将数字墨水注释归类为旁注注释。

29.如权利要求28所述的方法，将其中的旁注注释定义为在数字文档的页边或者空白区域的任何数字墨水笔划。

30.如权利要求24所述的方法，进一步包括将数字墨水注释归类为圆圈注释。

31.如权利要求30所述的方法，其中的圆圈注释至少为以下的一种：(a)内嵌圆圈；(b)区域圆圈。

32.如权利要求31所述的方法，其中的内嵌圆圈在一个单行文本周围画圈。

33.如权利要求31所述的方法，其中的区域圆圈在文本的多个局部行或者其它文档内容周围画圈。

34.如权利要求24所述的方法，进一步包括将数字墨水注释归类为边括号注释。

35.如权利要求34所述的方法，其中的页边括号注释被定义为，在数字文档的页边形成大致垂直的线的墨水笔划的组群。

36.如权利要求24所述的方法，进一步包括将数字墨水注释归类为插图编号注释。

37.如权利要求36所述的方法，其中的插图编号注释被定义采用从一个位置到另一个位置的方法分组链接数字文档中的区域的注释。

38.如权利要求36所述的方法，其中的插图编号显示出一些弯度。

39.如权利要求36所述的方法，其中在数字文档中的插图编号与水平方向和垂直方向有一个角度。

40.如权利要求36所述的方法，其中的插图编号邻接于以下至少一种：(a)数字文档的文本；(b)数字文档的内容；(c)来自于其它注释的数字墨水笔划。

Images