CN103294766A - 基于文档图像将文档与笔划进行关联 - Google Patents

Abstract

本文中公开了一种基于文档图像将文档与笔划进行关联的方法及装置。在一个实施例中，该方法包括当显示文档图像时，捕捉书写在屏幕上第一文档图像上的笔划，将所捕捉的笔划的捕捉到的笔划数据与所显示的文档图像的下层图像分块进行关联，确定第二文档图像被显示在屏幕上，确定第二文档图像的一个或多个图像分块或者其部分是否先前已经被关联至捕捉到的笔划数据，以及在确定第二文档图像的一个或多个图像分块或者其部分是否先前已经被关联至捕捉到的笔划数据的结果的基础上，在第二文档图像的图像分块上绘画一个或多个先前捕捉到的笔划或者其部分。

Description

基于文档图像将文档与笔划进行关联

技术领域

本发明的实施例涉及文档图像处理领域；更确切地说，本发明的实施例尤其涉及使用部分文档图像来关联笔划，以使得当文档图像被移动、卷屏或者以其他方式变换时，笔划保留在它们所关联的文档图像的内容中。

背景技术

有许多种使用交互式白板来标记信息的方法。板能够显示白色背景，这使得用户能够使其像普通白板一样绘画。替选地，个人计算机（PC）显示能够被显示在背景上并且用户能够在显示的图像上绘画。

使用诸如SMART科技公司的驱动和SMART的技术，用户能够显示任何背景，包括文字文档、图像、网页、PowerPoint（PPT）演示、视频、整个PC显示或几乎任何其他东西。当用户从SMART

的笔托盘（pen tray）中拿起笔时，SMART驱动捕捉当前屏幕并将其冻结。由用户书写的任何笔划都被覆盖在冻结的屏幕图像上。如果PC被连接至SMART笔记本TM软件，即使正在运行视频，当用户书写时，图像也被冻结。一旦用户通过用户界面指示已经完成绘画，带有笔划的屏幕图像被捕捉和存储并且屏幕被解冻。

当使用微软Word文档工作时，用户可能希望使用笔划标记完整的文档。卷屏文档、标记段落、捕捉屏幕、然后解冻屏幕来再次卷屏是很不方便的。如果笔划能够通过某种方式被放置在文档中，会更加方便。

由于对于Mac和Linux平台的PC有数十万（或者可能是数百万）的应用，以及很多不同的笔划输入技术，因此将笔划输入技术与每个程序集成是复杂的难题。

所需要的是能够与在笔划捕捉***上显示的文档相关联的捕捉笔划而不需要修改用来显示文档的应用的方法。所需要的还有不需要屏幕停止更新或冻结而标记计算机屏幕的方法。

发明内容

本文中公开了一种方法和装置，用以将笔划关联至文档图像。在一个实施例中，该方法包括当显示文档图像时，捕捉书写在屏幕上第一文档图像上的笔划，将所捕捉的笔划的捕捉到的笔划数据与所显示的文档图像的下层图像分块进行关联，确定第二文档图像被显示在屏幕上，确定第二文档图像的一个或多个图像分块或者其部分是否先前已经被关联至捕捉到的笔划数据，以及在确定第二文档图像的一个或多个图像分块或者其部分是否先前已经被关联至捕捉到的笔划数据的结果的基础上，在第二文档图像的图像分块上绘画一个或多个先前捕捉到的笔划或者其部分。

附图说明

从以下给出的具体实施方式和本发明不同实施例的附图，本发明将更加充分地被理解，然而这不应该被用来将本发明限制于特定实施例，而应当仅仅被用来说明和理解。

图1是将笔划与文档图像部分进行关联的***的一个实施例的框图；

图2是表示处理笔划数据的流程图；

图3示出了用以确定是否在覆盖部分文档图像的显示器上重新绘画笔划的过程；

图4A至4L示出了笔划处理的示例；

图5是用以将笔划与文档图像关联的过程的一个实施例的流程图；以及

图6是计算机***的框图。

具体实施方式

本发明的实施例允许用户在屏幕（例如PC屏幕、白板等）上绘画并且注释文档的图像而不冻结屏幕。也就是，本发明的实施例在注释文档时不需要冻结屏幕。这是通过将下层的文档图像与屏幕上形成的笔划进行关联而实现的。使用在本文中所描述的技术，用户能够在部分报告或文本文档上绘画并随后卷屏至文档的不同页面或部分。此后，在屏幕上绘画的笔划变成与他们最初被写入的文档部分相关联。当移动至不同页面时，屏幕上的笔划完全消失，并且当文档被卷屏一点时，标记也被移动至他们最初被绘画的文档部分。如果用户卷屏至不同页面并且标记消失，则随着返回至最初的页面，标记也重新出现在他们的正确位置（即，在他们形成的最初页面的位置上）。

在一个实施例中，在文档图像的基础上，***将文档与笔划进行关联。这种***执行以下操作。首先，***捕捉动态屏幕。可以从模拟或数字视频电缆或者通过类似VNC的应用从远程共享屏幕捕捉动态屏幕。***能够接受被放置在屏幕上的笔划。该笔划可以是由用户放置以注释文档的。在一个实施例中，笔划可以是写的笔划或高亮的笔划。捕捉到笔划之后，***将笔划与每个笔划位置下层的图像分块（patch）进行配对。在一个实施例中，这是使用理光（Ricoh）视频搜索（Ricoh Visual Search(RVS)）执行的。也就是，在一个实施例中，理光视频搜索(RVS)被用来识别与文档所显示的一样的部分，并且当笔划与文档一起被显示时，关联写在文档顶部的笔划，无需知道关于文档任何事情。RVS是众所周知的。对于RVS的更多信息，参见于2010年4月20日授权的美国专利No.7,702,673，名称为“用以产生和使用混合媒体环境的***和方法（System and methods for creation and use of a mixed media environment）”，以及于2011年12月27日授权的美国专利No.8,086,038，名称为“用于分块识别的无形连接特征（Invisible Junction Features for Patch Recognition）”。

因此，如果具有笔划的文档的图像分块（部分）从屏幕消失，则***从屏幕上去除笔划。同样如果图像分块被变换，则笔划也被改变并绘画在屏幕上。例如，如果图像分块被移动至屏幕的不同部分，则笔划也被移动至屏幕上图像分块的新的位置上并且在图像分块边界内的其相同位置上。

相似地，如果分块被旋转或被缩放，则***旋转并缩放笔划并在图像分块上绘画笔划。从而，即使在文档图像中的内容被缩放和移动之后，笔划也能够以相同的方式被移动和缩放，从而使得他们被显示在相对于图像分块的、与笔划被写在图像屏幕上时相同的位置上。也就是，笔划被重新定位和缩放来匹配笔划的最初位置。

此外，最初的文档能够通过图像分块而被重造。也就是，分块可以被用来引导并且最初的文档能够基于带有添加了笔划的所捕捉到的图像而被重造。

***的实施例具有许多优势中的一个或多个。一个优势是笔划的墨迹似乎与操作***中的全部应用结合在一起。此外，屏幕图像仍然是实况（动态）的并且能够被控制。也就是，不发生图像被冻结并且能够被轻易移动、卷屏等。此外，捕捉到的图像和笔划能够被用来重造文档。最后，本文中所描述的技术对任何图像都起作用。例如，其对于在个人计算机（PC）屏幕上的图像或在屏幕上显示的摄像机图像都起作用。

在以下的描述中，详尽地解释很多细节来提供对本发明更加充分的说明。然而，对于本领域技术人员来说，将会很明显的是本发明可以不需要这些特定细节而被实现。在其他实例中，以框图的形式显示了众所周知的结构和设备，为了避免模糊本发明，而不是采用详细显示的形式。

以下详细描述的一些部分用算法和符号表达来呈现在计算机存储器中在数据比特上的操作。这些算法描述和表达是数据处理领域技术人员所使用的方法，以有效地将它们的工作主旨传达给其他本领域技术人员。这里，通常来说，算法被构思为导致所期望结果的步骤的自洽序列。所述步骤是需要物理操纵的物理量。虽然不是必要地，但通常来说，这些量表现为能够被存储、传递、组合、比较、和其他方式***纵的电或磁信号。主要因为通用的原因，实践证明，将这些信号指代为比特（bits）、值(values)、单元(elements)、符号(symbols)、字符(characters)、术语(terms)、数(numbers)等有时是方便的。

然而，应当记住，全部这些和相似术语应当与适当的物理量相关联并且只不过是用在这些量上的方便的标签。除非特别做出与以下讨论明显相反的阐述，否则应当理解为所描述、讨论的通篇所使用的诸如“处理”或“计算”或“算”或“确定”或“显示”等术语，是指计算机***或类似电子计算设备的处理和过程，他们将在计算机***的注册表和存储器中表现为物理（电子）量的数据操纵和变换为计算机***存储器或注册表或其他这种信息存储器、传输或显示设备中相似地表现为物理量的其他数据。

本发明还涉及用以执行本文中操作的装置。该装置可以是为所需目的而特定构造的，或者可以由计算机中存储的计算机程序选择性触发或改装的通用计算机构成。这种计算机程序可以存储在计算机可读存储器介质中，例如但不限制于，包括软盘、光盘、CD-ROM、和磁性光盘、只读存储器（ROM）、随机读取存储器(RAM)、EPROM、EEPROM、磁性或光学卡、或适于存储电子指令、并且每个都连接至计算机***总线的任何类型的介质。

本文中所呈现的算法和显示不是固有地与任何特定计算机或其他装置相关联的。多种通用***都可以根据本文中的技术而被程序使用，或者可以证实构造更专业的装置来执行所需方法步骤是方便的。多种这些***所需的结构将从以下的描述中显现。此外，本发明不参照任何特定的编程语言进行描述。将会理解的是，多种编程语言可以被用来实现如本文中所描述的本发明的教导。

机器可读介质包括用于以机器（例如，计算机）可读的形式存储或传输信息的任何机制。例如，机器可读介质包括只读存储器（“ROM”）；随机读取存储器(“RAM”)；磁盘存储介质；光学存储介质；闪存设备等。

1.概述

如上所述，本发明***的一个实施例使得笔划能够被添加到相同屏幕上作为覆盖文档图像。这些笔划被绘画在屏幕上并且具有与他们关联的很多点和线分段。也就是，分段可以具有线宽、颜色、透明度等。当笔划被添加到屏幕上时，***截取显示在笔划周围的文档图像的特定尺寸区域。例如，***可以算出笔划的最大和最小x和y值，以便为笔划产生边界框并使用该边界框作为区域。本文中将该区域称为图像分块，该区域必须足够大至可以被区分。换句话说，区域的尺寸被选择为在将来某图像分块与其他图像分块进行比较时，该图像分块是可以被区分的。如果区域不能被区分，例如如果区域仅仅是白色背景而没有区分标记，则区域被截取的更大直至其包括可以与文档图像的其他图像分块相区分的足够信息。在一个实施例中，***随后将任一个图像分块，或者在一个实施例中将一组从图像分块中算出的特征和一组点值存储在数据库中。点值指示笔划相对于图像分块的位置。例如，一系列的x-y坐标可以代表笔划的不同部分，并且每个x-y坐标都相对于图像分块的具体点（例如，左下角等）被制定。该材料被存储在数据库中。

***使用存储的图像分块和笔划信息来识别出现在屏幕上的图像页面以及他们是否先前有笔划出现在他们之上。例如，如果文档图像被卷屏，使得新图像分块被呈现在屏幕上，并且在屏幕上显示的图像分块和在数据库中找到的图像分块之间没有匹配，那么***将笔划从屏幕上去除。

如果文档图像继续被卷屏导致图像分块中的一个重新出现在屏幕上（作为被指示为在数据库中具有与该图像分块匹配的图像分块，该图像分块具有与其相关联的笔划），那么***将笔划返回到屏幕上，位于它们相对于图像分块的一些点（例如，左下角）相同的位置上。以这种方式，笔划被重新定位以匹配相对于他们所存在的图像分块的他们最初位置。

图1是用以将文档图像部分与笔划关联的***100的一个实施例的框图。***100可以包括多个部件，包括显示器表面102、控制器106和捕捉***108。在图1中描绘的***100的部件仅仅表示说明目的并且不意欲以任何方式限定发明实施例的范围。替选实施例可以具有比图1中所示的部件更多或更少的部件。

显示器表面102（例如，平板计算机、触屏计算机、交互式白板、苹果iPad、telestrator***等）为***100的用户提供输入和输出界面。作为输入界面，使用户能够提供笔划（也被称为书写或绘画）输入，其随后被转换为数字信息（也被称为笔划的数字表达）。作为输出界面，重新绘画的笔划或文档图像输出的数字信息可以通过控制器106被显示在表面102上，使得信息能够被***100的一个或多个用户看到。***100的一个或多个用户可以通过使用一个或多个书写工具来书写或绘画笔划向***100提供输入。例如，如图1中所示，用户可以使用书写工具在表面102上书写笔划。作为在本应用中使用的术语“笔划”（书写或绘画或书写信息）可以包括能够使用书写工具提供的一个或多个线段、高亮、字符、字母、符号、单词、语句、表格、图画、草图、图解或任何其他类型的输入。作为另一个示例，书写或绘画能够包括以任何语言或格式表达的手写字母、数字或符号。

用户使用书写工具形成的书写笔划被书写捕捉***108捕捉并传递给控制器106，其确定对应笔划的数字信息。数字信息可以随后被传递给显示器表面102用以在其上显示。在一个实施例中，控制器106将这些笔划传递给投影仪，以投射在表面102上。

***100的用户可以使用多种不同的书写工具书写或提供输入。在一个实施例中，书写工具可以是在表面102上不留下可视标记的物理目标。例如，用户可以使用他的手指作为书写工具来在表面102上书写。尽管手指可以在表面102上不留下任何可视标记，但是手指的移动被捕捉并且随后被翻译成数字信息，该数字信息可以随后被显示在表面102上。作为另一个示例，用户可以使用指针或尖笔作为书写工具在表面102上书写笔划，尖笔可以在表面102上不留下任何物理可视标记。用户的笔划被捕捉，对应于笔划的数字信息被确定，并且数字信息随后被显示在表面102上。

在一个实施例中，表面102是诸如电阻触摸***的有源表面，其测量电阻的改变来识别按压屏幕的目标位置。有源表面的其他示例包括环绕有红外LED的玻璃板，其使用“受抑内全反射”（FTIR）使照相机可以捕捉表面上的手指或笔的位置，或者是类似于加利福尼亚州Cupertino苹果公司出品的iPad和iPhone上使用的电容式触摸屏幕。

书写捕捉***108被配置为捕捉用户使用书写工具所形成的笔划（或笔迹）。被书写捕捉***108捕捉的笔划信息可以随后被传递给控制器106以进一步处理。书写捕捉***108可以包含一个或多个部件，使得使用书写工具形成的笔迹能够被捕捉。在一个实施例中，书写捕捉***108可以包括一个或多个传感器，传感器被配置为当用户使用书写工具书写时捕捉书写工具的运动或移动。可以使用不同的技术捕捉运动。根据一种技术，类似eBeam***中的飞行时间（time-of-flight）传感器可以被放置在表面102附近，能够在二维（或三维）平面中捕捉书写工具的运动。捕捉到的运动信息可以随后被传递给控制器106，其可以处理捕捉到的信息来确定用户的笔划（笔迹）并确定与笔划对应的数字信息。

在再一实施例中，书写捕捉***108可以包括一个或多个压力传感器，该压力传感器可以被包含在表面102中，使得表面102对压力敏感。这种压力映射多触摸表面能够由夹在柔性电路之间的力敏感电阻器材料制成（类似于可以从马萨诸塞州南波士顿的TechScan公司获得的材料）。在这种实施例中，表面102可以提供多触摸压力传感表面，该表面在用户触碰表面102的基础上能够捕捉笔划信息。由压力传感器捕捉到的信息可以随后被传递给控制器106用以进一步处理。

在再一实施例中，表面102可以是诸如在苹果的iPad^TM或iPhone^TM中发现的电容耦合输入界面。在这种实施例中，表面102能够提供多触摸输入体验、缩放和平移能力等。在这种实施例中，用户可以使用手指或传导尖笔在表面102上书写笔划并且笔划可以随后被传递给控制器106用以处理和分析。

控制器106担当中心部件用以执行处理，该处理控制并使能***100提供的不同功能。控制器106可以被可操作地连接至***100的一个或多个其他部件并且被配置为控制和/或协调由这些部件执行的功能。例如，控制器106可以被可操作地连接至书写捕捉***108和/或显示器表面102并被配置为接收由书写捕捉***108捕捉到的信息。处理器106可以被配置为处理接收到的信息并确定对应于所接收信息的数字信息。所确定的数字信息随后可以被传递给表面102。在一个实施例中，确定的数字信息被传递给投影仪（未显示）使得其能够被投射在表面102上。

控制器106是典型的基于处理器的计算装置。图6中描绘了控制器106的示例并在以下进行描述。在替选实施例中，控制器106可以是处理器、可编程逻辑设备等。控制器106可以执行一个或多个程序（编码指示），当由控制器106的处理器执行时，其使能由控制器106执行的处理。

在一个实施例中，控制器106能够捕捉显示在表面102上的文档图像或其部分。在一个实施例中，所捕捉的文档图像是来自数字或模拟视频输入的图像，该图像由控制器106或在其控制下被捕捉。在另一实施例中，在表面102上显示的文档图像来自在控制器106上运行的应用。在这种情况中，控制器106将应用的输出发送给表面102用以显示在其上。在一个实施例中，通过控制器106，使用类似VNC或微软远程桌面软件的远程屏幕共享软件从远程计算机捕捉图像并显示在表面102上。

在一个实施例中，控制器106被配置为确定与使用书写工具形成的笔划输入信息相对应的数字信息。在一个实施例中，作为该处理的一部分，控制器106可以被配置为在来自书写捕捉模块108信息的基础上确定笔划信息并随后确定对应于笔划信息的数字信息。在一个实施例中，笔划可以对应于由书写工具从书写工具被使用（即用以书写）直至书写工具不被使用时所产生的数据。例如，在一个实施例中，笔划可以对应于由书写工具从书写工具与表面102接触直至接触被中断或被打断时所产生的数据。笔划可以被认为是用以呈现由用户使用书写工具来输入信息的最基础单元。控制器106可以随后确定对应于笔划信息的数字信息。

在替选实施例中，书写捕捉***108可以自身能够确定笔划信息并将笔划信息传递给控制器106。控制器106可以随后从书写捕捉***108接收的信息中直接确定数字信息。

由控制器106确定的数字信息可以被本地存储在非易失性存储器122。在一个实施例中，由控制器106从书写捕捉***108接收的信息或该信息的一部分也可以被本地存储在存储器122。

因此，控制器106可以接收由书写捕捉***108捕捉的原始传感器数据并随后在原始数据的基础上确定笔划信息，或替选地可以从书写捕捉***108接收笔划信息。控制器106可以随后确定与笔划信息相对应的数字信息。在一些实施例中，数字信息可以从原始传感器数据直接被确定。控制器106可以随后将确定的数字信息传递给表面102用以显示。这可以是直接地通过投影仪，或通过其他机制。在一个实施例中，由传感器106发送给表面102的数字信息是图像数据与包含在其中的笔划信息的组合。

控制器106可以包括提供由控制器106提供的功能的一个或多个模块。这些模块可以用硬件、软件或它们的组合来实现。例如，在一个实施例中，模块可以以软件（程序、编码、指令）实现，当模块被控制器106的处理器执行时，提供了由控制器提供的功能。在一个实施例中，如图1中所描绘的，控制器106包括一个或多个模块以将捕捉到的笔划数据与所显示的文档图像的下层图像分块关联，以确定显示在屏幕上的文档图像已经改变（例如，被移动、卷屏、缩放、部分被阻挡），从而产生新的文档图像，以确定是否新呈现的文档图像的一个或多个图像分块或其部分先前已经被关联至捕捉到的笔划数据，并且在确定是否新呈现的文档图像的一个或多个图像分块或者其部分先前已经被关联至捕捉到的笔划数据的结果的基础上，在新呈现的文档图像的图像分块上绘画一个或多个先前捕捉到的笔划或其部分。

在一个实施例中，控制器106确定笔划数据并将笔划数据与识别笔划数据下层的图像分块的信息一起存储在存储器（例如，数据库）中。在一个实施例中，识别图像分块的信息是图像分块本身。因此，在这种情况下，笔划数据和其关联的笔划下层的图像分块被存储。在另一实施例中，识别图像分块的信息是一组特征点。应注意的是，在一个实施例中，当存储在数据库中时，图像分块或其相关联的特征点不包括包含在他们内部的笔划数据；换句话说，笔划数据和与该图像分块相关联的信息被独立地存储。使用数据库使得当试图确定是否当前被显示的图像分块与先前已经被识别为具有笔划数据的图像分块相匹配时，能够通过控制器106形成查询。

在一个实施例中，控制器106还被配置为将显示的文档图像划分为图像分块。这可以被使用在当文档图像已经被改变（例如移动、卷屏、缩放等）时。控制器106随后使用图像分块来确定是否将笔划数据与笔划数据下层的图像分块进行关联。例如，当笔划被书写在表面102上时，控制器106能够确定笔划周围的图像分块并且此后用笔划数据对一个图像分块编索引。

在一个实施例中，控制器106对当前显示的文档图像的图像分块和与捕捉到的笔划数据一同存储的图像分块进行比较，以确定在当前显示的文档图像的一个或多个图像分块或其部分与当前与捕捉到的笔划数据一同存储的图像分块之间是否存在匹配或至少部分匹配。如果存在匹配，则控制器106对与当前显示的一个图像分块至少部分匹配的那些图像分块显示至少部分先前被捕捉的笔划数据。先前被捕捉的笔划数据的部分可以包含整个笔划，其中与存储的图像部分匹配的当前显示的图像分块的部分包括整个笔划。先前捕捉的笔划数据部分可以仅仅包括一部分笔划数据，其中与当前显示的图像分块匹配的所存储的图像分块的部分仅仅包括所存储的图像分块的笔划的部分。从而，控制器106将笔划显示至这种程度：与当前显示的文档图像的当前显示的图像分块或者其部分相匹配的所存储的图像分块的部分包括捕捉到的笔划数据的部分。如果不存在匹配，那么控制器106将出现在第二文档图像的图像分块的屏幕上的任何笔划都去除。

在一个实施例中，如果控制器106确定当前显示的文档图像的图像分块或其部分与当前存储的具有捕捉到的笔划数据的图像分块至少部分匹配，并且存储图像分块的匹配部分具有笔划数据，那么控制器106还确定是否当前显示的文档图像的图像分块或者其部分和与其匹配的具有笔划数据的所存储的图像分块相比已经被变换。这种变换可以包括图像分块的平移（translate）、图像分块的缩放、旋转、歪斜、变形或立体变换。如果是这样，那么在当前显示的匹配图像分块的屏幕上上绘画被变换的笔划数据之前，控制器106对所捕捉的笔划数据应用相同的变换。

图4A示出了在文档图像上绘画的笔划401-403。当文档图像被向上略微卷屏之后，在显示器102上重新定位笔划401-403以匹配他们相对于文档中文本的最初位置，如同在图4B中所示的那样。图4C示出了当***重新定位并缩放笔划401以匹配其相对于文档图像中文本的最初位置的示例。

图2是表示用以处理笔划数据过程的流程图。该过程由处理逻辑执行，该处理逻辑包括硬件（电路、专用逻辑等）、软件（诸如在通用计算机***或专用机器上运行）或两者的组合。在一个实施例中，该过程是由控制器106执行的。

参照图2，该过程在处理框201开始，其中处理逻辑测试是否笔划已经被绘画。如果不是，则过程维持在处理框201并且重新测试是否笔划已经被绘画。之后，如果笔划已经被绘画，那么过程过渡到处理框202，其中控制器对笔划周围的图像分块编索引。应当注意的是，该操作导致图像分块被识别。对笔划周围的图像分块编索引之后，处理逻辑使得对应于笔划的笔划数据与图像分块相关联（处理框203）。该关联包括指定笔划在图像分块内位置的信息。此后，包括位置信息的笔划数据与图像分块一同被存储在存储器位置（例如，存储器122、数据库等）。

如在图2中所表示的，每次绘画笔划时，笔划周围的图像分块被编索引并且笔划数据被关联至分块。在一个实施例中，表示笔划的整个图像分块和笔划数据被存储在存储器中（例如，数据库）。图4D示出了边界框408中的笔划401和其下层的图像分块406。控制器106识别笔划上的多个位置并将他们表示为（x,y）值。值是相对于图像分块中特定位置取定的。在一个实施例中，图像分块的左下角表示（0,0）值。图4E示出了在图像分块406中的笔划401，一系列（x,y）位置用来表示该笔划。参照图4E，笔划从相对于图像分块左下角具有（0,0）的（x,y）位置的（55,69）的（x,y）位置延伸至（65,168）的（x,y）位置。沿笔划的所有x-y值与图像分块一起被存储。图4F和4G示出了另一个示例，显示了在文档图像的一部分上绘画的高亮笔划（图4F）和与该高亮笔划相关联的（x,y）值（图4G）。

图3示出了用以确定是否在覆盖部分文档图像的显示器上重新绘画笔划的过程。该过程由处理逻辑执行，该处理逻辑包括硬件（电路、专用逻辑等）、软件（诸如在通用计算机***或专用机器上运行）或两者的组合。在一个实施例中，该过程由控制器106执行。

参照图3，该过程开始于***中的处理逻辑确定是否屏幕已经改变（例如，文档图像已经被卷屏、移动、缩放或其他方式被变换）（处理框301）。在一个实施例中，该确定可以通过执行直接比较在时间1和时间2所显示的像素而完成。如果屏幕没有改变，则该过程维持在处理框301并继续检查是否屏幕已经改变。如果屏幕已经改变，则过程过渡到处理框302，其中处理逻辑将屏幕分成区域（例如，图片分块）。图4H示出了在屏幕上的图像被划分为80个图像分块的示例。

将屏幕图像划分为图像分块之后，处理逻辑测试图像分块，来看他们是否与先前存储的具有笔划数据的先前识别的图像分块相匹配。为了这个目的，处理逻辑测试是否更多区域需要被测试，来看他们在数据库中是否具有与具有笔划的图像分块的匹配（处理框303）。如果不是，则过程过渡到处理框301并重复该过程。

如果存在检查匹配的更多区域，则过程过渡到处理框304，其中***中的处理逻辑确定在区域和数据库中的任何图像分块（该图像分块具有与他们相关联的笔划数据）之间存在匹配。也就是，***随后转入用每个分块查询数据库，来看在当前显示的图像分块和已经与笔划数据一起被存储在数据库中的图像分块之间是否存在匹配。在一个实施例中，一些在屏幕上当前显示的图像分块被忽略。这可能是因为他们具有很少或没有区分信息，这些区分信息使得他们能够正确地匹配存储在数据库中的图像分块中的一个。在另一个实施例中，可以通过当图像改变时查看运动向量来加速查询。换句话说，如果用户在文档图像中卷屏来改变被显示的文档图像的一部分，则与卷屏操作相关联的运动向量可以被识别，并帮助选择更有可能与存储在数据库中的分块相匹配的、在屏幕上当前显示分块的子集。可在线访问的OpenCV开源计算机视觉库的运动向量算法可以被用于这个目的。

如果在数据库中没有发现匹配，那么过程过渡回处理框303并且过程继续。如果在区域中的内容与存储在数据库中的一个图像分块之间存在匹配，那么处理逻辑确定是否存储的图像分块的笔划数据的任何部分出现在存储的图像分块部分中，该存储的图像分块部分与匹配于存储的图像分块的区域相匹配（处理框305）。换句话说，处理逻辑确定图像分块的覆盖部分是否被测试以及存储的图像分块是否具有在其内部的笔划数据。这使得***能够确定笔划应当在屏幕上绘画至何种程度，以及相对于当前显示的图像分块将它绘画的位置。

此后，***将笔划绘画在屏幕上（处理框306）并过渡回处理框303，来看在当前显示的文档图像中是否存在更多区域需要被检查与数据库中的图像分块的匹配。

作为示例，图4I示出了可能（至少部分）与具有笔划数据的所存储的图像分块相匹配的图像分块（区域）410-412。如在图4J中所示，图像分块411仅仅重叠了存储的图像分块420的一部分并且重叠的部分不包含笔划数据。在这种情况下，控制器106不在当前显示的图像分块上绘画笔划。在图4K中，图像分块412重叠所存储的图像分块420的一部分并且重叠的部分包含笔划数据。在这种情况下，控制器106使得笔划数据被附加至相匹配的当前显示的图像分块上。在图4L中，图像分块411完全覆盖了包含笔划的所存储的图像分块的一部分。在这种情况下，笔划被绘画在屏幕上相对于当前显示的图像分块内容的其最初的位置上。

在一个实施例中，图像分块的比较是使用诸如那些以上提到的关于RVS的特征点执行的。在这种情况下，笔划与图像分块内的特征点相关联，并且不与图像分块自身的整体相关联。因此，图像分块不必存储在数据库中，而仅仅是将特征点存储在数据库中）。例如，如果笔划被附加到显示器表面，则控制器产生在该笔划周围的边界框并捕捉在边界框内的图像（不包括笔划）。使用这个信息，控制器从图像中算出在该框中的特征点并在数据库中保存特征点信息，其包括特征点的几何结构。随后，控制器将笔划与特征点的集合进行关联，而不是与图像本身进行关联。当控制器将要执行图像分块比较时，控制器从改变的屏幕查看图像分块，算出与该图像分块相关联的特征点，并且随后查询数据库。如果存在匹配的特征点，则控制器获得与那些特征点相关联的笔划并将笔划放置在屏幕上它们正确的位置上。

在一个实施例中，笔划相对于文档图像的特征点或特征点的一些子集的相对位置被存储。这在如下情况下是有帮助的：笔划不位于文档图像中内容的附近（即，笔划处于远离文档图像中任何特征点的位置）。通过使相对位置数据可用，如果控制器将当前显示的文档图像识别为包括那些特征点，那么控制器能够确定笔划应当被绘画在屏幕上的位置。

还应注意，使用特征点可以用于在确定是否屏幕已经改变的时候。代替将屏幕划分为图像分块，控制器可以算出已经改变的图像区域，并仅仅算出已经被改变的图像部分的特征向量或特征点，并查看这些特征点是否被存储在数据库中。

同样，在一个实施例中，控制器能够通过在第一时间（t1）为整个屏幕产生特征点，在第二时间（t2）算出特征点并比较两者，来确定屏幕已经改变，。如果他们不同，则控制器知道屏幕已经改变并且包含新的文档图像或其部分。

图5是将笔划与文档图像相关联的过程的一个实施例的流程图。该过程是由处理逻辑执行的，该处理逻辑可以包含硬件（电路、专用逻辑等）、软件（诸如在通用计算机***或专用机器上运行）或两者的组合。

参照图5，过程开始于当文档图像被显示时，处理逻辑捕捉写在屏幕上第一文档图像上的笔划（处理框501）。接下来，处理逻辑将所捕捉的笔划的捕捉到的笔划数据与显示的文档图像的下层图像分块进行关联（处理框502）。

响应于捕捉至少一个笔划和关联捕捉到的笔划数据，对于每个笔划，处理逻辑对每个笔划周围的文档图像的一个图像分块编索引，并且将一个笔划的笔划数据与一个图像分块或在该图像分块中发现的特征进行关联（处理框503）。

处理逻辑为每个捕捉到的笔划和表示与其相关联的下层图像分块的信息（例如，图像分块本身或在分块中或附近发现的特征）存储数据（处理框504）。

随后，处理逻辑确定第二文档图像被显示在屏幕上（处理框505）。第二文档图像可以包含来自第一文档图像的图像数据。这可以发生在卷屏新页面数量较少的文档的情况下。第二文档图像可以是第一文档图像的修改版本。例如，第二文档可以是全部或部分第一文档图像的平移、缩放或旋转版本。

处理逻辑将新的文档图像任意划分为多个图像分块（处理逻辑506）并确定第二文档图像的一个或多个图像分块或其部分是否先前已经被关联至捕捉到的笔划数据（通过将第二文档图像的图像分块和与捕捉到的笔划数据一起存储的图像分块相比较，来确定第二文档图像的一个或多个图像分块或其部分是否与当前与捕捉到的笔划数据一起存储的图像分块至少部分匹配）（处理框507）。

在一个实施例中，处理逻辑识别已经改变的屏幕部分而不将屏幕划分为图像分块。在该实施例中，处理逻辑能够算出在屏幕改变部分中的特征点或特征向量，并识别这些特征中的哪些已经被关联至笔划数据。

接下来，基于确定第二文档图像的一个或多个图像分块或者其部分是否先前已经被关联至捕捉到的笔划数据的结果，处理逻辑在第二文档图像的图像分块上绘画一个或多个先前被捕捉的笔划或者其部分（处理框508）。

在一个实施例中，处理逻辑根据以下绘画一个或多个先前捕捉的笔划：

如果比较图像分块的结果是匹配，那么对于每个存储的图像分块（该图像分块与当前显示的一个图像分块至少部分匹配），在屏幕上以这样的程度显示至少部分先前捕捉到的笔划数据：与第二文档图像的图像分块或者其部分匹配的所述每个存储的图像分块部分包括捕捉到的笔划数据部分。

如果比较图像分块的结果仅仅是与捕捉的笔划数据先前关联的部分图像分块与第二文档图像的部分图像分块相匹配，那么做出这样的确定：具有笔划数据的、与第二文档图像的一个图像分块的一部分相匹配的图像分块部分是否包括捕捉到的笔划数据，如果是，那么出现在与第二文档图像的图像分块相匹配的图像分块部分中的捕捉到的笔划数据被绘画。

如果比较图像分块的结果是仅仅先前与捕捉的笔划数据相关联的部分图像分块与第二文档图像的部分图像分块匹配，那么作出这样的确定：具有笔划数据的、与第二文档图像的一个图像分块部分相匹配的图像分块部分是否包括捕捉到的笔划数据，以及第二文档图像的一个图像分块是否已经被变换（例如，重新定位、缩放等）；如果是，那么以第二文档图像的那一个图像分块变换相同的方式变换出现在与第二文档图像的那一个图像分块相匹配的图像分块部分中的捕捉到的笔划数据，并且变换后的笔划数据被绘画在屏幕上那一个图像分块上；以及

如果比较图像分块的结果是不匹配，那么出现在屏幕上第二文档图像的图像分块上的任何笔划都被去除。

存在多种选择，例如，这个将笔划与文档图像进行关联的技术可以与文档照相机一起工作，该文档照相机被放置在拍摄文档（该文档位于照相机下方）的照片并产生该文档的图像，并将该文档显示到诸如白板表面的表面上。因此，写在白板上的文本可以被关联至由照相机捕捉的文档。当某个人操纵或改变被放置在照相机下方的文档时，笔划应当如同以上所描述的那样移动、改变、消失或者其他方式被变换。

2、计算机***的示例

图6是用以实现本发明实施例的计算机***600的框图。在一个实施例中，计算机***600可以被用来实现图1中所示并且以上所描述的控制器106。如图6中所示，计算机***600包括处理器602，该处理器通过总线子***604与多个***子***通信。这些***子***可以包括存储子***606（该存储子***包含存储器子***608和文件存储子***610）、用户界面输入设备612、用户界面输出设备614以及网络接口子***616。

总线子***604提供了用以使能计算机***600的不同部件和子***的机制，以按照意图相互通信。尽管总线子***604被示意性显示为单总线，但是总线子***604的替选实施例可以使用多总线。

网络接口子***616向其他计算机***、网络和存储设备提供了接口。网络接口子***616作为接口用以从计算机***600接收来自其他***的数据并向其他***发送数据。例如，IWB***的网络接口子***616可以使控制器能够通过诸如互联网的通信网络与位于远程的其他IWB***通信。

用户界面输入设备612可以包括键盘、诸如鼠标、跟踪球、触摸板的指向设备、或图形输入板、扫描器、条形码扫描器、合成在显示器中的触摸屏幕、诸如声音识别***、麦克风的音频输入装置、以及其他类型的输入设备。通常，使用术语“输入设备”意欲包括用以向计算机***600输入信息的全部可能类型的设备和机制。

用户界面输出设备614可以包括显示子***、打印机、传真机、或者诸如音频输出设备的非视觉显示器等。显示子***可以是阴极射线管（CRT）、诸如液晶显示器（LCD）的平板设备、或投射设备。通常，使用术语“输出设备”意欲包括用以从计算机***600输出信息的全部可能类型的设备和机制。

存储子***606提供了计算机可读存储介质，用以存储提供本发明功能的基本程序和数据结构。在处理器运行时提供本发明功能的软件（程序、代码模块、指令）可以被存储在存储子***606中。这些软件模块或指令可以由处理器602运行。存储子***606还可以提供用以存储根据本发明所使用的数据的存储库。存储子***606可以包括存储器子***608和文件/磁盘存储子***610。

存储器子***608可以包括多个存储器，包括用以在程序运行期间存储指令和数据的主随机读取存储器（RAM）618和当中存储了固定指令的只读存储器（ROM）620。文件存储子***610为程序和数据文件提供了非瞬间持续（非易失性）存储器，并且可以包括硬盘驱动器、软盘驱动器连同相关的可移动介质、光盘只读存储器（CD-ROM）驱动器、光驱、可移动介质盒以及其他类似的存储介质。

计算机***600可以是不同类型的，包括个人计算机、电话、便携计算机、工作站、网络计算机或任何其他数据处理***。由于计算机和网络不断改变的特性，因此，图6中所描绘的计算机***的描述仅仅意欲作为说明计算机***的优选实施例目的的特定示例。比图6中描绘的***具有更多或更少部件的许多其他配置都是可能的。

尽管已经描述了发明的特定实施例，但是不同的改进、变化、替选构造、及等同物也被包含在发明的范围中。以上描述的教导可以被应用于包含能够被启动或重新启动的处理器的任何***。例如，当以上已经描述的实施例使用某个***作为示例时，这不意欲是限定性的。以上描述的和列举在权利要求中的教导还可以由其他计算***实现，该计算***使屏幕上的笔划能够被接受、与文档图像的下层图像分块相匹配、并且随后在在新的文档图像中是否找到图像分块的基础上被重新绘画或去除。

然而，在阅读前文的描述之后，本发明的许多替选和改进无疑对于本领域普通技术人员将变得清楚，应当理解的是，通过说明而显示和描述的任何特定实施例都绝不意欲被认为是限制。因此，涉及的不同实施例的细节不意欲限定权利要求的范围，这些权利要求本身仅记载被认为是本发明要素的那些特征。

本申请基于2012年3月2日递交的美国优先专利申请No.13/411,367，其全部内容以引用的方式被合并入本文中。

Claims (22)

1.一种方法，包括：

当显示文档图像时，捕捉书写在屏幕上第一文档图像上的笔划；

将所捕捉的笔划的捕捉到的笔划数据与所显示的文档图像的下层图像分块进行关联；

确定第二文档图像被显示在所述屏幕上；

确定所述第二文档图像的一个或多个图像分块或者其部分是否先前已经被关联至所述捕捉到的笔划数据；以及

在确定所述第二文档图像的一个或多个图像分块或者其部分是否先前已经被关联至所述捕捉到的笔划数据的结果的基础上，在所述第二文档图像的图像分块上绘画一个或多个先前捕捉到的笔划或者其部分。

2.根据权利要求1所述的方法，其中，确定所述第二文档图像的一个或多个图像分块或者其部分是否先前已经被关联至所述捕捉到的笔划数据包括：

比较所述第二文档图像的图像分块和与捕捉到的笔划数据一起存储的图像分块，以确定所述第二文档图像的一个或多个图像分块或者其部分是否和当前与所述捕捉到的笔划数据一起存储的图像分块至少部分匹配。

3.根据权利要求2所述的方法，还包括：

如果比较图像分块的结果是匹配，则对至少部分匹配当前显示的一个图像分块的每个存储的图像分块，在所述屏幕上以这种程度显示至少部分先前捕捉到的笔划数据：与所述第二文档图像的图像分块或者其部分匹配的所述每个存储的图像分块的一部分包括所述捕捉到的笔划数据的一部分；以及

如果比较图像分块的结果是不匹配，则将出现在所述屏幕上的所述第二文档图像的图像分块上的任何笔划去除。

4.根据权利要求2所述的方法，还包括：

如果比较图像分块的结果仅是先前与捕捉的笔划数据相关联的图像分块的一部分与所述第二文档图像的图像分块的一部分相匹配，则确定先前被识别为具有与其相关联的笔划数据的所述图像分块的所述部分是否包括所述捕捉到的笔划数据，其中所述先前被识别为具有与其相关联的笔划数据的所述图像分块的所述部分与所述第二文档图像的一个图像分块的所述部分匹配；以及

如果是，则绘画出现在所述图像分块的部分中的捕捉到的笔划数据，其中所述图像分块的部分与所述第二文档图像的所述图像分块相匹配。

5.根据权利要求2所述的方法，还包括：

如果比较图像分块的结果仅是先前与捕捉到的笔划数据相关联的图像分块的一部分与所述第二文档图像的图像分块的一部分匹配，则确定先前被识别为具有与其相关联的笔划数据的所述图像分块的所述部分是否包括所述捕捉到的笔划数据，并且确定所述第二文档图像的一个图像分块是否已经被变换，其中所述先前被识别为具有与其相关联的笔划数据的所述图像分块的所述部分与所述第二文档图像的一个图像分块的所述部分匹配；

如果是，则以与所述第二文档图像的所述一个图像分块相同的方式变换出现在所述图像分块的部分中的捕捉到的笔划数据，并且将变换的笔划数据绘画在所述屏幕上的所述一个图像分块上，其中所述图像分块的部分与所述第二文档图像的所述一个图像分块匹配。

6.根据权利要求5所述的方法，其中，变换所述捕捉到的笔划数据或者至少部分所述捕捉到的笔划数据包括：重新定位、缩放、执行由3×3矩阵乘法支持的通用变换、旋转、平移、歪斜或执行立体变换。

7.根据权利要求1所述的方法，还包括：将新的文档图像划分为多个图像分块。

8.根据权利要求1所述的方法，还包括：响应于捕捉至少一个笔划，对所述一个笔划周围的所述文档图像的一个图像分块编索引并且将所述一个笔划的笔划数据关联至所述一个图像分块。

9.根据权利要求1所述的方法，还包括为每个捕捉到的笔划和表示与其相关联的所述下层图像分块的信息存储数据。

10.根据权利要求9所述的方法，其中，表示所述图像分块的所述信息包括所述图像分块本身或与包含在所述图像分块中的信息相关联的特征。

11.一种用以显示文档图像的***，包括：

存储器；以及

与所述存储器耦接的控制器，用以：

将所捕捉的笔划的捕捉到的笔划数据关联至所显示的文档图像的下层图像分块，其中所述捕捉到的笔划被书写在屏幕上第一文档图像上；

确定第二文档图像被显示在所述屏幕上；

确定所述第二文档图像的一个或多个图像分块或者其部分是否先前已经被关联至捕捉到的笔划数据；以及

在确定所述第二文档图像的一个或多个图像分块或者其部分是否先前已经被关联至所述捕捉到的笔划数据的结果的基础上，在所述第二文档图像的图像分块上绘画一个或多个先前捕捉的笔划或者其部分。

12.根据权利要求11所述的***，其中，通过比较所述第二文档图像的图像分块的特征和与捕捉到的笔划数据一起存储的图像分块，以确定所述第二文档图像的一个或多个所述图像分块或者其部分是否和当前与所述捕捉到的笔划数据一起存储的图像分块至少部分匹配，所述控制器确定所述第二文档图像的一个或多个图像分块或者其部分是否先前已经被关联至所述捕捉到的笔划数据。

13.根据权利要求12所述的***，其中控制器是可操作的以使得：

如果比较图像分块的结果是匹配，则对至少部分匹配当前显示的一个图像分块的每个存储的图像分块，在所述屏幕上以这种程度显示至少部分先前捕捉到的笔划数据：与所述第二文档图像的图像分块或者其部分匹配的所述每个存储的图像分块的一部分包括所述捕捉到的笔划数据的一部分；并且

如果比较图像分块的结果是不匹配，则将出现在所述屏幕上的所述第二文档图像的图像分块上的任何笔划去除。

14.根据权利要求12所述的***，其中，控制器是可操作的以使得：

如果比较图像分块的结果仅是先前与捕捉的笔划数据相关联的图像分块的一部分与所述第二文档图像的图像分块的一部分相匹配，则确定先前被识别为具有与其相关联的笔划数据的所述图像分块的所述部分是否包括所述捕捉到的笔划数据，其中所述先前被识别为具有与其相关联的笔划数据的所述图像分块的所述部分与所述第二文档图像的一个图像分块的所述部分匹配；并且

如果是，则绘画出现在所述图像分块的部分中的捕捉到的笔划数据，其中所述图像分块的部分与所述第二文档图像的所述图像分块相匹配。

15.根据权利要求12所述的***，其中，控制器是可以操作的还使得：

如果比较图像分块的结果仅是先前与捕捉到的笔划数据相关联的图像分块的一部分与所述第二文档图像的图像分块的一部分匹配，则确定先前被识别为具有与其相关联的笔划数据的所述图像分块的所述部分是否包括所述捕捉到的笔划数据，并且确定所述第二文档图像的一个图像分块是否已经被变换，其中所述先前被识别为具有与其相关联的笔划数据的所述图像分块的所述部分与所述第二文档图像的一个图像分块的所述部分匹配；并且

如果是，则以与所述第二文档图像的所述一个图像分块相同的方式变换出现在所述图像分块的部分中的捕捉到的笔划数据，并且将变换的笔划数据绘画在所述屏幕上的所述一个图像分块上，其中所述图像分块的部分与所述第二文档图像的所述一个图像分块匹配。

16.根据权利要求15所述的***，其中，如果所述捕捉到的笔划数据已经被重新定位或缩放、旋转、平移、歪斜、立体变换或者使用3×3矩阵乘法被变换，则所述第二文档图像的一个图像分块已经被变换。

17.根据权利要求11所述的***，其中，控制器可以***作以使得：为每个捕捉到的笔划和与其相关联的下层图像分块或在所述下层图像分块中与信息相关联的特征存储数据。

18.一种具有一个或多个计算机可读介质的产品，在所述计算机可读介质上存储有指令，当所述指令由***执行时，使所述***执行包括以下步骤的方法：

当显示文档图像时，捕捉书写在屏幕上第一文档图像上的笔划；

将所捕捉的笔划的捕捉到的笔划数据与被显示的文档图像的下层图像分块进行关联；

确定第二文档图像被显示在所述屏幕上；

确定所述第二文档图像的一个或多个图像分块或者其部分是否先前已经被关联至所述捕捉到的笔划数据；以及

在确定第二文档图像的一个或多个图像分块或者其部分是否先前已经被关联至所述捕捉到的笔划数据的结果基础上，在所述第二文档图像的图像分块上绘画一个或多个先前捕捉的笔划或者其部分。

19.根据权利要求18所述的产品，其中，确定所述第二文档图像的一个或多个图像分块或者其部分是否先前已经被关联至所述捕捉到的笔划数据包括：比较所述第二文档图像的图像分块和与捕捉到的笔划数据一起存储的图像分块，以确定所述第二文档图像的一个或多个图像分块或者其部分是否和当前与所述捕捉到的笔划数据一起存储的图像分块至少部分匹配。

20.根据权利要求19所述的产品，其中，该方法还包括：

如果比较图像分块的结果是匹配，则对至少部分匹配当前显示的一个图像分块的每个存储的图像分块，在所述屏幕上以这种程度显示至少部分先前捕捉到的笔划数据：与所述第二文档图像的图像分块或者其部分匹配的所述每个存储的图像分块的一部分包括所述捕捉到的笔划数据的一部分；以及

如果比较图像分块的结果是不匹配，则将出现在所述屏幕上的所述第二文档图像的图像分块上的任何笔划去除。

21.根据权利要求19所述的产品，其中，该方法还包括：

如果比较图像分块的结果仅是先前与捕捉的笔划数据相关联的图像分块的一部分与所述第二文档图像的图像分块的一部分相匹配，则确定先前被识别为具有与其相关联的笔划数据的所述图像分块的所述部分是否包括所述捕捉到的笔划数据，其中所述先前被识别为具有与其相关联的笔划数据的所述图像分块的所述部分与所述第二文档图像的一个图像分块的所述部分匹配；以及

如果是，则绘画出现在所述图像分块的部分中的捕捉到的笔划数据，其中所述图像分块的部分与所述第二文档图像的所述图像分块相匹配。

22.根据权利要求19所述的产品，其中，该方法还包括：

如果比较图像分块的结果仅是先前与捕捉到的笔划数据相关联的图像分块的一部分与所述第二文档图像的图像分块的一部分匹配，则确定先前被识别为具有与其相关联的笔划数据的所述图像分块的所述部分是否包括捕捉到的笔划数据，并且确定所述第二文档图像的一个图像分块是否已经被变换，其中所述先前被识别为具有与其相关联的笔划数据的所述图像分块的所述部分与所述第二文档图像的一个图像分块的所述部分匹配；以及

如果是，则以与所述第二文档图像的所述一个图像分块相同的方式变换出现在所述图像分块的部分中的捕捉到的笔划数据，并且将变换的笔划数据绘画在所述屏幕上的所述一个图像分块上，其中所述图像分块的部分与所述第二文档图像的所述一个图像分块匹配。

Images