CN105144198A

CN105144198A - 用于便笺识别的***和方法

Info

Publication number: CN105144198A
Application number: CN201480020249.7A
Authority: CN
Inventors: G·A·比勒; K·W·克洛弗; M·W·亨瑞; S·M·琼恩; B·L·林泽; R·D·罗伦兹; D·M·马利; R·J·摩尔; C·E·莫兰; 中山丞; S·D·佩尔森; D·J·波维尔; O·罗宁; G·索玛桑达拉姆; B·J·斯坦凯维兹; D·R·沃尔克
Original assignee: 3M Innovative Properties Co
Current assignee: 3M Innovative Properties Co
Priority date: 2013-04-02
Filing date: 2014-03-31
Publication date: 2015-12-09
Anticipated expiration: 2034-03-31
Also published as: US9378426B2; US9070036B2; CN105144198B; US20140294236A1; EP2981932A4; TW201445337A; EP2981932B1; WO2014165445A1; JP2016525729A; TWI620078B; EP2981932A1; KR101650833B1; US20150262023A1; JP6159015B2; KR20150126723A

Abstract

本发明公开的至少一些方面的特征在于用于便笺识别的***和方法。便笺识别***包括传感器、便笺识别模块和便笺提取模块。传感器被构造成捕集具有一个或多个便笺的场景的视觉表示。便笺识别模块耦合到传感器。便笺识别模块被构造成接收所捕集的视觉表示并从所捕集的视觉表示中确定便笺的一般边界。便笺提取模块被构造成基于便笺的所确定的一般边界从所捕集的视觉表示中提取便笺的内容。

Description

用于便笺识别的***和方法

技术领域

本公开涉及便笺捕集、识别、提取和/或管理工具与***。

背景技术

便笺已广泛用于记录、分享和交流想法与信息。例如，在协作会话过程中(例如集体会话)，参与者在便笺、白板或纸上写下想法，并且然后彼此分享。此外，人们常常整天使用便笺以纪念个人不想忘记的信息或内容。作为附加示例，人们经常使用便笺作为行为或事件的提醒，以在将来采取行为诸如打电话、修订文档或填写工时卡。

在许多情况下，传统上人们会在纸基便笺诸如便笺上写下适当的信息。纸质便笺简单地从粘性背面的纸质便笺的分配器便笺本移除，并且被应用于各种表面，诸如文档、办公桌的顶部、电话等。要么在纸质便笺前面要么在其后面可以写在纸质便笺上的信息与它们的分配器便笺本分离或附接到它们的目标表面。纸质便笺可以从一个表面容易地移动到另一个，诸如在文档之间或在文档和办公桌的顶部之间，它们可以与文档的边缘或边界重叠，它们可以被分层，并且它们可以与它们所附接的物体一起移动。

发明内容

本公开的至少一些方面的特征在于收集便笺内容的方法，该方法包括以下步骤：通过传感器捕集具有多个便笺的场景的视觉表示；通过处理单元从视觉表示中识别多个便笺中的一个；以及通过处理单元提取多个便笺中的一个的内容。

本公开的至少一些方面的特征在于包括传感器、便笺识别模块和便笺提取模块的便笺识别***。传感器被构造成捕集具有多个便笺的场景的视觉表示。便笺识别模块耦合到传感器。便笺识别模块被构造成接收捕集的视觉表示并从捕集的视觉表示中确定多个便笺中的一个的一般边界。便笺提取模块被构造成基于多个便笺中的一个的所确定的一般边界，从捕集的视觉表示中提取多个便笺中的一个的内容。

附图说明

附图并入本说明书中并构成本说明书的一部分，并且它们连同具体实施方式阐明本发明的优点和原理。在附图中，

图1A是示出用户使用在移动设备上的图像捕集设备捕集带有便笺的工作空间的图像的一个示例的表示；

图1B是示出移动设备的一个示例的框图；

图1C示出了便笺识别***的实施例；

图1D示出了便笺管理***的实施例；

图2A-图2C示出了具有标志的便笺的一些示例；

图3A示出了便笺识别***和/或管理***的实施例的流程图；

图3B示出了提取便笺内容的实施例的流程图；

图3C示出了认证便笺的实施例的流程图；

图4A-图4D示出了带有标志的便笺的内容提取过程的示例；

图5A-图5D示出了带有逆向反射标志的多个便笺的内容提取的实施例；

图6示出了便笺识别***的实施例的模块图；

图7A示出了便笺管理***的实施例的流程图；

图7B示出了***如何可以标记便笺的示例；以及

图8示出了便笺管理***的实施例的模块图。

具体实施方式

便笺已广泛用于记录、分享和交流想法与信息。例如，在协作会话过程中(例如集体会话)，参与者在便笺、白板、纸上写下想法，并且然后彼此分享。本公开的至少一些方面涉及捕集多个便笺和提取便笺内容的***和方法。在一些实施例中，便笺中的至少一些包括标志以有利于便笺的识别和提取。在一些情况下，在场景的一种视觉表示中捕集和辨识/识别便笺。场景的视觉表示例如可以是一个或多个便笺和周围环境的数字照片。另外，本公开的至少一些方面涉及管理多个便笺的***和方法，诸如存储和检索便笺、将便笺分类和分组等。在一些情况下，便笺管理***可改善在从大量便笺中捕集和提取便笺内容的效率。此外，便笺管理***可改善在分组和管理便笺的效率。

便笺可包括实物便笺和数字便笺。实物便笺通常是指带有一般边界和可识别内容的对象。实物便笺可包括在对象例如纸、白板或接受输入的其它对象上人们写、画或经由其它类型输入来记入后所得的对象。以举例的方式，实物便笺可包括手写便笺、纸或膜、带有图片的白板、招贴以及标牌。在一些情况下，一个对象可包括若干便笺。例如，若干想法可以被写在一张招贴纸或白板上。在一些具体实施中，为了有利于识别这些便笺，标志(诸如线、标志物、标贴)可以应用于便笺的边缘。实物便笺可以是二维或三维的。实物便笺可具有各种形状和尺寸。例如，实物便笺可以是3英寸×3英寸的便笺；实物便笺可以是26英寸×39英寸的招贴；并且实物便笺可以是三角形金属标牌。在一些情况下，实物便笺具有已知形状和/或尺寸。数字便笺通常是指带有信息和/或想法的数字对象。数字便笺可以使用数字输入来生成。数字输入可包括例如键盘、触摸屏、数字摄像机、数字记录设备、触笔、数字笔等。

在一些情况下，便笺用于协作空间。协作空间通常是指允许一个以上的人彼此分享想法和思想的采集区。协作空间可包括除了采集区域以外的允许一组人远程分享想法和思想的虚拟空间。

图1A示出了便笺识别环境10的示例。在图1A的示例中，环境10包括移动设备15以从工作空间20中捕集和识别更多便笺22中的一个。如本文所述，移动设备为一个或多个软件应用程序提供执行环境，如所描述的，所述软件应用程序可有效地从大量实物便笺诸如来自工作空间20的便笺22的收集中捕集和提取便笺内容。在该示例中，便笺22可以是具有多个参与者的协作集体会话的结果。如所描述的，移动设备15及在其上执行的软件可执行多种便笺相关的操作，包括自动创建代表工作空间20的实物便笺22的数字便笺。

在示例具体实施中，除了其它部件之外，移动设备15包括图像捕集设备18和展示设备28。此外，尽管在图1A中未示出，但是移动设备15可包括一个或多个用于执行软件或固件以提供本文所述的功能的处理器、微处理器、内部存储器和/或数据存储和其它电子电路***。

一般来讲，图像捕集设备18是被构造成捕集代表被定位在其中的工作空间20和便笺22的图像数据的摄像机或其它部件。换句话讲，图像数据捕集环境诸如具有多个可视化便笺的工作空间20的视觉表示。尽管作为移动设备15的摄像机来讨论，但是图像捕集设备18可包括能够捕集图像数据的其它部件，诸如视频记录器、红外摄像机、CCD(电荷耦合器件)阵列、激光扫描器等。此外，捕集的图像数据可包括图像、视频、图像序列(即在时间段内拍摄的和/或按次序拍摄的多个图像)、图像收集等中的至少一个，并且本文使用的术语输入图像是指各种示例类型的图像数据。

展示设备28可包括但不限于电子可寻址的显示器，诸如液晶显示器(LCD)或与移动设备28一起使用的其它类型的显示设备。在一些具体实施中，移动设备15生成内容以在展示设备28上以多种格式例如列表、按行和/或列分组、流程图等显示便笺。在一些情况下，移动设备15通过其它设备诸如平板计算机、投影仪、电子广告牌或其它外部设备可通信用于展示的显示信息。

如本文所述，移动设备15及在其上执行的软件为创建和操纵代表实物便笺22的数字便笺提供平台。例如，一般来讲，移动设备15被构造成处理由图像捕集设备18制备的图像数据以检测和识别被定位在工作空间20内的实物便笺22中的至少一个。在一些示例中，移动设备15被构造成通过确定一个或多个便笺的一般边界来识别一个或多个便笺。在识别便笺后，在内容是便笺22的视觉信息的情况下，移动设备15提取一个或多个便笺中的至少一个的内容。

如下面另外所述，移动设备15可实现用于自动检测和识别实物便笺22以及提取与实物便笺中的每个相关联的信息、内容或其它特性的技术。

在图1A的示例中，移动设备15被示出为移动电话。然而，在其它示例中，移动设备15可以是平板计算机、个人数字助理(PDA)、膝上型计算机、媒体播放器、电子书阅读器、可佩戴的计算设备(例如，手表、眼镜、手套)，或适于执行本文所述的技术的任何其它类型的移动或非移动计算设备。

图1B示出框图，其示出根据本文所述的技术操作的移动设备的示例。为了举例说明，图1B的移动设备将参考图1A的移动设备15进行描述。

在该示例中，移动设备15包括为设备的操作提供核心功能的各种硬件部件。例如，移动设备15包括被构造成根据可执行指令(即程序代码)操作的一个或多个可编程的处理器70，所述可执行指令通常存储于计算机可读介质或数据存储68中，诸如静态的、随机存取存储器(SRAM)设备或闪存设备。I/O76可包括一个或多个设备，诸如键盘、摄像机按钮、电源按钮、音量按钮、主页按钮、返回按钮、菜单按钮，或如在图1A中描述的展示设备28。发射器72和接收器74经由如在图1A中描述的无线通信接口(诸如但不限于高频射频(RF)信号)与其它设备(诸如，如在图1A中描述的云服务器12、计算机***14或其它移动设备16)进行无线通信。移动设备15可包括在图1B中未示出的另外的分立的数字逻辑或模拟电路。

一般来讲，操作***64在处理器70上执行，并且为包括便笺管理应用程序78的一个或多个用户应用程序77(常常称为“应用程序”)提供操作环境。用户应用程序77可例如包括存储于计算机可读存储设备(例如数据存储68)中用于通过处理器70执行的可执行程序代码。作为其它示例，用户应用程序77可包括固件或在一些示例中可以在分立逻辑中实现。

在操作中，移动设备15接收输入图像数据，并且根据本文所述的技术处理该输入图像数据。例如，图像捕集设备18可捕集具有多个便笺的环境诸如具有便笺22的图1A的工作空间20的输入图像。又如，移动设备15可经由接收器74从外部来源诸如云服务器15、计算机***14或移动设备16接收图像数据。一般来讲，移动设备15将图像数据存储于数据存储68中，以用于通过便笺管理应用程序78和/或其它用户应用程序77访问和处理。

如图1B所示，用户应用程序77可调用操作***64的内核函数，以输出用于将信息呈现给移动设备的用户的图形用户界面(GUI)79。如下面另外所述，便笺管理应用程序78可构造并控制GUI79，从而为生成并操纵代表实物便笺22的对应数字便笺提供改善的电子环境。

为了更好地理解本公开，图1C示出便笺识别***100A的实施例。***100A可包括处理单元110、一个或多个便笺120、传感器130和便笺内容仓库140。处理单元110可包括一个或多个处理器、微处理器、计算机、服务器和其它计算设备。传感器130例如图像传感器，被构造成捕集具有一个或多个便笺120的场景的视觉表示。传感器130可包括摄像机、视频记录器、红外摄像机、CCD(电荷耦合器件)阵列、扫描器中的至少一个。视觉表示可包括图像、视频、图像序列(即在时间段内拍摄的和/或按次序拍摄的多个图像)、图像收集等中的至少一个。处理单元110耦合到传感器130并被构造成接收视觉表示。在一些情况下，处理单元110电耦合到传感器130。处理单元110被构造成从视觉表示中识别一个或多个便笺120中的至少一个。在一些实施例中，处理单元110被构造成通过确定一个或多个便笺的一般边界识别一个或多个便笺。在识别便笺后，处理单元110提取便笺的内容。在一些情况下，处理单元110被构造成从具有一个以上的便笺的场景的视觉表示中识别并提取那些便笺的内容。

在一些情况下，处理单元110可执行存储于非暂态计算机可读介质中的软件或固件以实现用于***100A的各种过程(例如，识别便笺、提取便笺等)。便笺内容仓库140可在单个计算机、服务器、存储设备、云服务器等上运行。在一些其它情况下，便笺内容仓库140可在一系列联网的计算机、服务器或设备上运行。在一些具体实施中，便笺内容仓库140包括多层数据存储设备，该多层数据存储设备包括本地层、区域层和中心层。便笺120可包括在协作空间中有序或随机布置的实物便笺，并且传感器130在协作空间中生成便笺120的视觉表示。

在一些实施例中，一个或多个便笺120中的至少一些包括标志，所述标志可有利于便笺的辨识、识别和/或认证。在一些实施例中，标志包括条形码、色块、色码、信托标志、商标徽标、点、孔等中的至少一个。便笺自身的形状和/或颜色可以用作标志以有利于便笺的辨识、识别和/或认证。在一些情况下，标志可包括布置成某些图案的多个要素，例如，在矩形便笺的四个拐角处的信托标志。在一些其它情况下，标志可包括多个要素，其中至少一些要素是可以用于提供认证信息的非可见要素，例如RFID(射频标识)标签。以举例的方式，标志可以使用逆向反射材料、光学变色油墨、有色油墨、红外吸收油墨、荧光油墨、水印、有光泽的材料、闪光材料、多层光学膜、胶态晶体、穿孔标志、结构化色彩、浮动图像、窗口线等中的至少一个制成。在一些实施例中，处理单元110首先从视觉表示中识别在便笺上的标志，确定在视觉表示上的标志的位置，并且然后基于识别的标志提取便笺的内容。在一些情况下，处理单元110基于识别的标志、便笺的已知形状以及在便笺上的标志的已知相对位置提取便笺的内容。在一些具体实施中，处理单元110实时(即，处理在暂态存储中的数据)从视觉表示中提取便笺的内容，而不在非暂态存储中存储视觉表示。

在一些具体实施中，便笺识别***100A可包括展示设备(在图1C中未示出)以向用户示出识别哪些便笺和/或已提取哪些便笺的内容。另外，便笺识别***100A可经由展示设备呈现提取的内容。在一些实施例中，处理单元110可在提取便笺的内容之前认证便笺。如果认证便笺，内容将被提取并存储于便笺内容仓库140中。在一些情况下，处理单元可从便笺上的标志中提取认证信息。在此类情况下，认证信息在标志上可以是可见的或非可见的。例如，在便笺上的标志可包括符号，例如公司徽标、矩阵码、条形码、色码等。又如，在便笺上的标志可包括标签以存储通过合适的阅读器可以检索的信息。例如，标志可包括RFID标签、近场通信(NFC)标签等。

在一些实施例中，传感器130可生成具有若干便笺120的场景的第一视觉表示，例如拍摄带有周围环境的便笺的照片或视频剪辑。便笺中的每个具有标志。处理单元110辨识标志、确定标志的位置并且使用标志的位置以控制传感器130从而生成具有便笺120的场景的第二视觉表示，例如拍摄便笺的放大图像。处理单元110可另外从第二视觉表示中识别并提取便笺的内容。

图1D示出了便笺管理***100B的实施例。在该实施例中，便笺管理***100B包括处理单元110、一个或多个便笺120、一个或多个便笺来源150以及便笺内容仓库140。在一些情况下，***100B包括展示设备160。处理单元110、便笺120和便笺内容仓库140类似于用于如图1A所示的便笺识别***100A的部件。便笺来源150可包括来源以提供实物便笺的内容，诸如具有一个或多个便笺的场景的视觉表示，并可包括来源以提供数字便笺的内容，诸如从键盘输入的数据流。在一些实施例中，便笺管理***100B包括第一来源和第二来源，并且第一来源是具有一个或多个便笺120的场景的视觉表示。第一来源和第二来源由不同设备产生。第二来源包括文本流、图像、视频、文件和数据输入中的至少一个。处理单元110从第一来源中识别便笺中的至少一个并提取便笺的内容，如在便笺识别***100A中所讨论。在一些情况下，处理单元110标记带有类别的便笺。处理单元110可基于其具体形状、颜色、内容和/或便笺的其它信息标记便笺。例如，便笺中的每个组可具有不同颜色(例如红色、绿色、黄色等)。在一些情况下，便笺120可包括具有一个或多个要素的标志，并且处理单元110可基于从标志中提取的信息标记便笺。

在一些实施例中，便笺管理***100B可包括一个或多个展示设备160以向用户示出便笺120的内容。展示设备160可包括但不限于电子可寻址的显示器，诸如液晶显示器(LCD)、平板计算机、投影仪、电子广告牌、蜂窝电话、膝上型计算机等。在一些具体实施中，处理单元110生成内容以在展示设备160上以多种格式例如列表、按行和/或列分组、流程图等显示便笺。

便笺识别***和便笺管理***的各种部件诸如处理单元、图像传感器和便笺内容仓库可经由通信接口通信。通信接口包括但不限于任何有线或无线的短程和远程通信接口。短程通信接口可以是例如局域网(LAN)、符合已知通信标准的接口，所述已知通信标准诸如蓝牙标准、IEEE802标准(例如，IEEE802.11)、紫蜂或类似规范，诸如基于IEEE802.15.4标准的规范，或者其它公共或专有无线协议。远程通信接口可以是例如广域网(WAN)、蜂窝网络接口、卫星通信接口等。通信接口可以是要么在专用计算机网络诸如内联网内，要么在公共计算机网络诸如互联网上。

图2A-图2C示出了具有标志的便笺的一些示例。如图2A所示，在便笺200A上的标志具有两个要素，要素210A和要素220A。要素210A和220A可具有不同尺寸、形状、相对位置和/或材料成分。例如，要素210A是作为用于便笺的标识符的条形码，并且要素220A是可以用于确定便笺的边界的小矩形逆向反射油墨。如图2B所示，在便笺200B上的标志具有四个要素210B、220B、230B和240B。四个要素可具有类似或不同的尺寸、形状和材料成分。标志可以用于识别便笺的尺寸、位置、取向、畸变和其它特性，这可以用于内容提取和增强。如图2C所示，在便笺200C上的标志具有一个要素210C。便笺200C具有非矩形形状。在一些实施例中，要素210C包括标识符，例如以辨识便笺的类型和分组。在一些情况下，标识符是唯一标识符。

图3A示出了便笺识别和/或管理***的实施例的流程图。首先，***捕集多个便笺的视觉表示(步骤310A)。在一些实施例中，便笺是实物便笺并且其对每次捕集一个以上的便笺更有效。接着，***从视觉表示中识别多个便笺中的一个(步骤320A)。例如，***可识别在便笺上的具体标志，并随后确定便笺的一般边界。***提取多个便笺中的一个的内容(步骤330A)。在一些实施例中，在提取内容之前，***可将图像变换应用于视觉表示的至少一部分。在一些其它实施例中，***可应用图像增强或其它图像处理技术以改善提取的内容的质量。在其它实施例中，***可另外从提取的内容中识别文本和附图。

图3B示出了提取便笺内容的实施例的流程图。首先，通过***接收视觉表示(步骤310B)。***从视觉表示中识别在便笺上的标志(步骤320B)。在确定标志的位置和/或形状后，***可以对视觉表示任选地执行几何校正和裁剪(步骤330B)。基于在便笺上的标志的识别的位置和/或形状，在视觉表示上识别便笺的一般边界(步骤340B)。在一些实施例中，***可接收相同一组便笺的两个视觉表示，其中便笺中的每个具有标志。第一视觉表示是使用适于捕集便笺上的标志的光源拍摄的。例如，光源可以是用于使用红外敏感油墨的标志的红外线。在第一视觉表示中识别标志，并且确定标志的位置。第二视觉表示可捕集一组便笺，并且***可基于每个便笺的标志分别确定每个便笺的一般边界。在确定便笺的一般边界后，***提取便笺的内容(步骤350B)。例如，在视觉表示是图像的情况下，***可根据便笺的确定的一般边界裁剪图像。任选地，***可增强便笺的内容(步骤360B)，例如，通过改变对比度、亮度和/或使用其它图像处理技术。在一些情况下，***可更新带有指示其所提取的内容的状态的便笺。

图3C示出了认证便笺的实施例的流程图。首先，从便笺或一堆便笺中获得认证信号(步骤310C)。在一个实施例中，认证信息是便笺上的标志的可视化组成部分(例如全息图)，并且认证信号可以通过从捕集便笺的视觉表示中提取可视化组成部分来获得。在另一个实施例中，认证信息被容纳在便笺上的标志的电子组成部分(例如RFID标签)中，并且认证信号可以使用合适的阅读器(例如RFID阅读器)来获得。接着，***验证认证信号(步骤320C)。如果认证一个或多个便笺，那么***可起动便笺管理应用程序或使用一个或多个便笺(步骤330C)。

图4A-图4D示出了带有标志的便笺的内容提取过程的示例。首先，如图4A所示，捕集便笺410的视觉表示400。便笺410具有标志420，所述标志可以是条形码、色码、矩阵码、色块等。接着，如图4B所示，***确定在视觉表示上的标志的一般边界430并识别标志420。在一些情况下，在视觉表示400中便笺410可以是倾斜的，如图4C所示。在一些其它情况下，可以拍摄带有几何畸变的视觉表示400。***可使用标志420的确定的一般边界或标志420的一部分，以确定对视觉表示400的必要图像变换和校正，以获得便笺内容。图4D示出了***在先前分析和/或图像处理后提取便笺410的内容。

图5A-图5D示出了带有逆向反射标志的多个便笺的内容提取的实施例。便笺识别/管理***接收视觉表示500A，该视觉表示捕集三个便笺510A、并且每个便笺510A具有标志520，该标志具有两个要素-在左上角和较低的底角处的两个逆向反射矩形标签。由于逆向反射材料的光学属性，所以标志520基本上比其余的便笺亮。图5B示出了标志520比便笺510A和背景亮得多。在一些实施例中，***可使用图像处理以将如图5A所示的500A的视觉表示转化为如图5B所示的500B。在一些另选的实施例中，***可生成带有不同光源例如闪光灯的三个便笺510A的另一个视觉表示500B。***可从视觉表示500B中容易地辨识标志520。在辨识标志520后，***可提取便笺510C的内容，如图5C所示。在一些情况下，***可使用图像处理技术(例如，自适应直方图均衡化)以增强提取的内容510D，如图5D所示。

图6示出了便笺识别***600的实施例的模块图。在如所示的实施例中，***600包括便笺捕集模块620、便笺识别模块630和便笺提取模块640。通过一个或多个计算设备(包括但不限于电路、计算机、处理器、处理单元、微处理器和/或平板计算机)可以实现便笺识别***600的各种部件。在一些情况下，在共享计算设备上可以实现便笺识别***600的各种部件。另选地，在多个计算设备上可以实现***600的部件。在一些具体实施中，***600的各种模块和部件可以实现为软件、硬件、固件或它们的组合。在一些情况下，在由计算设备执行的软件或固件中可以实现便笺识别***600的各种部件。另外，***600的各种部件可经由通信接口例如有线或无线接口通信，或经由该通信接口耦合。便笺捕集模块620被构造成捕集多个实物便笺的视觉表示。在一些实施例中，便笺捕集模块620包括图像传感器。便笺识别模块630耦合到便笺捕集模块620，所述便笺识别模块被构造成接收捕集的视觉表示并从捕集的视觉表示中确定多个实物便笺中的一个的一般边界。在一些情况下，便笺识别模块630被构造成创建代表识别的实物便笺的数字便笺。便笺提取模块640被构造成基于多个便笺中的一个的所确定的一般边界，从捕集的视觉表示中提取多个实物便笺中的一个的内容。在一些情况下，便笺提取模块640被构造成将提取的内容与对应数字便笺相关联。

在一些实施例中，便笺识别***600包括被构造成认证多个便笺的便笺认证模块650。在一些情况下，多个便笺中的至少一些具有标志。可以使用标志以有利于便笺的识别、提取和认证。例如，便笺认证模块650可从便笺的标志中获得认证信号，并且基于认证信号验证认证。在一些情况下，便笺认证模块650耦合到便笺识别模块630，并且向便笺识别模块630提供认证信息。在一些实施例中，便笺识别模块630和便笺提取模块640可执行在图3B中和在相关讨论中示出的步骤。

在一些实施例中，便笺识别/管理***可使用多个识别算法以识别便笺并提取便笺的内容，诸如颜色识别、形状识别和图案识别。例如，***可使用色彩空间诸如RGB、HSV、CIELAB等以辨识对应于用于颜色识别的便笺的感兴趣的区域。在一些情况下，在便笺的形状上并且由于分别通过形状识别(例如霍夫变换、形状上下文等)和图案识别算法(例如支撑向量机、互相关、模板匹配等)检测的独特图案的存在，另外区分便笺。这些算法帮助过滤掉在视觉表示或便笺的内容的其它来源中不想要的对象，并且仅留下对应于便笺的感兴趣的那些区域。

在实施例中，便笺可包括使用荧光材料诸如可印刷油墨或可涂覆型染料制成的标志。例如，基准标志诸如徽标可以用荧光油墨印刷在便笺的书写表面上。适当的光源将激发荧光材料。例如，移动手持设备的白色LED(发光二极管)可以能够使用LED输出光谱的显著蓝色波长分量来激发荧光基团。在一个实施例中，荧光染料可以涂覆在便笺的书写表面上或被包含于制作便笺的材料中。在该实施例中，荧光染料不仅可提供贴有商标的产品的验证，而且还可以改善便笺上的书面信息和便笺自身的背景之间的对比度。此类标志可有利于在由图像传感器产生的视觉表示上的便笺识别和分割。就由带有荧光染料的纸制成的便笺而言，捕集的视觉表示可具有较好的可读性。根据激发波长范围和用于荧光材料的荧光波长范围，附加光学装备诸如滤波器可以连同图像传感器(例如摄像机)一起使用以改善检测。

图7A示出了便笺管理***的实施例的流程图。首先，***从多个来源中接收多个便笺(步骤710A)。例如，便笺管理***可从摄像机或智能电话中接收多个便笺的一组图像，并且接收从远程位置拍摄的多个便笺的另一组图像。又如，便笺管理***可接收通过视频记录设备拍摄的多个便笺的视觉表示(例如视频)和经由膝上型计算机输入的便笺的文本流。在一些实施例中，多个来源是从不同设备例如摄像机、扫描仪、计算机等拍摄的便笺内容的来源。然后，***识别多个便笺中的一个(步骤720A)。在一些情况下，***创建代表多个实物便笺中的一个的数字便笺，***提取多个便笺的内容(步骤730A)。在一些情况下，***将提取的内容与代表实物便笺的对应的数字便笺相关联。在一些实施例中，一些便笺包括便笺上的标志(例如色块、色码、条形码等)，并且便笺的一个来源是便笺中的一些的视觉表示。在一些情况下，识别步骤包括从视觉表示中识别便笺上的标志，并且然后基于识别的标志确定便笺的一般边界。在这些情况中的一些情况下，提取步骤包括基于识别的标志、便笺的已知形状以及在便笺上的标志的已知相对位置提取内容。在一些情况下，在提取多个便笺的内容后***可将多个数字便笺中的每个与唯一标识符相关联(步骤740A)。***可用类别标记多个数字便笺中的每个(步骤750A)。下面更详细地讨论标记步骤。另外，在识别便笺之前***可首先认证便笺。任选地，***可将多个便笺的内容呈现在显示器上(步骤760A)。在一些实施例中，***可呈现多个便笺的提取内容，所述便笺带有指示便笺的类别的输出字段。在一些具体实施中，***可将数字便笺的类别信息用于呈现数字便笺(例如在组中的一个类别中示出便笺)。

图7B示出了***如何可以标记数字便笺的示例。在一个实施例中，便笺管理***可基于检测信号标记便笺(步骤710B)。例如，便笺可具有包括条形码的标志；***可读取条形码并且基于条形码标记便笺。在一些情况下，***可基于已识别标志标记便笺(步骤720B)。例如，标志可包括图标、徽标或指示特定组的其它图形符号。***还可基于便笺的内容标记便笺(步骤730B)。在一些情况下，***可基于历史数据和/或预测建模标记便笺(步骤740B)。在一些其它情况下，***可通过用户输入标记便笺(步骤750B)。便笺管理***可使用一种或多种方法以标记便笺。***也可使用在图7B中没有列出的其它方法以标记便笺，例如基于便笺的形状标记便笺。另外，在一些情况下，便笺可以与一个以上的类别相关联。

图8示出了便笺识别***800的模块图。在如所示的实施例中，***800包括一个或多个便笺来源820、便笺识别模块830、便笺提取模块840和便笺标记模块860。通过一个或多个计算设备(包括但不限于电路、计算机、处理器、处理单元、微处理器和/或平板计算机)可以实现便笺管理***800的各种部件。在一些情况下，在共享计算设备上可以实现便笺管理***800的各种部件。另选地，在多个计算设备上可以实现***800的部件。在一些具体实施中，***800的各种模块和部件可以实现为软件、硬件、固件或它们的组合。在一些情况下，在由计算设备执行的软件或固件中可以实现便笺管理***800的各种部件。另外，***800的各种部件可经由通信接口例如有线或无线接口通信，或经由该通信接口耦合。一个或多个便笺来源820被构造成提供多个便笺。在一些实施例中，便笺来源820中的一个是具有一个或多个实物便笺的场景的视觉表示。在一些情况下，便笺来源820包括多个用于提供便笺的不同来源，例如图像、文本流、视频流等。便笺识别模块830耦合到便笺来源820，便笺识别模块被构造成接收视觉表示、从视觉表示中确定实物便笺的一般边界并且创建代表实物便笺的数字便笺。便笺提取模块840被构造成基于多个实物便笺中的一个的确定的一般边界，从视觉表示中提取多个实物便笺中的一个的内容，并且将提取的内容与对应的数字便笺相关联。便笺标记模块860被构造成用类别标记多个数字便笺中的一个。

在一些实施例中，便笺管理***800包括被构造成认证多个便笺的便笺认证模块850。在一些情况下，多个便笺中的至少一些具有标志。可以使用标志以有利于便笺的识别、提取和认证。例如，便笺认证模块850可从便笺的标志中获得认证信号，并且基于认证信号验证该认证。在一些情况下，便笺认证模块850耦合到便笺识别模块830，并且向便笺识别模块830提供认证信息。在一些实施例中，便笺识别模块830和便笺提取模块840可执行在图3B中和在相关讨论中示出的步骤。在一些实施例中，便笺标记模块860可使用在图7B中和在相关讨论中示出的一个或多个标记方法。在一些情况下，便笺可以与一个以上的类别相关联。

在一些实施例中，便笺管理***800可包括便笺展示模块870，其被构造成采集多个数字便笺的内容，并且根据便笺的类别呈现多个便笺中的至少一部分。例如，便笺展示模块870可将多个数字便笺组成具有相同类别的组。又如，便笺展示模块870可添加不同组的数字便笺的连接线和/或箭头。

示例性实施例

实施例1。一种收集便笺的内容的方法，所述方法包括：

通过传感器捕集具有多个实物便笺的场景的视觉表示，实物便笺中的每个具有预定义的边界和在其上的可识别内容；

通过处理单元从视觉表示中识别多个实物便笺中的一个；以及

通过处理单元提取多个实物便笺中的一个的可识别内容。

实施例2。根据实施例1所述的方法，其中多个实物便笺中的至少一个包括标志。

实施例3。根据实施例2所述的方法，其中标志包括条形码、色块、色码、图案、信托标志、商标徽标、点和孔中的至少一个。

实施例4。根据实施例2所述的方法，其中识别步骤包括从视觉表示中识别多个实物便笺中的一个的标志。

实施例5。根据实施例4所述的方法，其中识别步骤包括基于已识别标志识别多个实物便笺中的一个。

实施例6。根据实施例4所述的方法，其中识别步骤包括基于已识别标志、多个实物便笺中的一个的已知形状、以及在多个便笺中的一个上的标志的已知相对位置，来确定多个实物便笺中的一个的一般边界。

实施例7。根据实施例2所述的方法，其中标志包括标识符。

实施例8。根据实施例7所述的方法，其中标识符是唯一标识符。

实施例9。根据实施例1至实施例8中任一项所述的方法，该方法还包括：

创建代表多个实物便笺中的一个的数字便笺；以及

用指示被提取的对应实物便笺的可识别内容的状态更新数字便笺。

实施例10。根据实施例1至实施例9中任一项所述的方法，其中处理单元包括处理器、微处理器、微控制器、计算机和计算设备中的至少一个。

实施例11。根据实施例1至实施例10中任一项所述的方法，该方法还包括：

通过展示设备将提取的内容呈现给用户。

实施例12。根据实施例1至实施例11中任一项所述的方法，其中标志是使用逆向反射材料、光学变色油墨、有色油墨、红外吸收油墨、荧光油墨、水印、有光泽的材料、闪光材料、穿孔标志、结构化色彩、浮动图像和窗口线中的至少一个制成的。

实施例13。根据实施例2所述的方法，其中所述标志包括符号。

实施例14。根据实施例13所述的方法，该方法还包括：

从视觉表示中辨识符号。

实施例15。根据实施例13所述的方法，该方法还包括：

通过处理单元辨识符号，

基于符号通过处理单元认证多个实物便笺中的一个，

其中提取步骤包括如果认证多个实物便笺中的一个，那么提取多个实物便笺中的一个的内容。

实施例16。根据实施例1至实施例15中任一项所述的方法，其中视觉表示为图像或视频。

实施例17。一种便笺识别***，包括：

传感器，所述传感器被构造成捕集具有多个实物便笺的场景的视觉表示，实物便笺中的每个具有预定义的边界和在其上的可识别内容，

耦合到传感器的便笺识别模块，所述便笺识别模块被构造成接收捕集的视觉表示并从捕集的视觉表示中确定多个实物便笺中的一个的一般边界，以及

便笺提取模块，所述便笺提取模块被构造成基于多个实物便笺中的一个的所确定的一般边界，从捕集的视觉表示中提取多个实物便笺中的一个的可识别内容。

实施例18。根据实施例17所述的便笺识别***，其中多个实物便笺中的至少一个包括标志。

实施例19。根据实施例18所述的便笺识别***，其中标志包括条形码、色块、色码、图案、信托标志、商标徽标、点和孔中的至少一个。

实施例20。根据实施例18所述的便笺识别***，其中便笺识别模块还被构造成从视觉表示中识别多个实物便笺中的一个的标志。

实施例21。根据实施例20所述的便笺识别***，其中便笺识别模块还被构造成基于识别标志识别多个实物便笺中的一个。

实施例22。根据实施例20所述的便笺识别***，其中便笺识别模块还被构造成基于识别标志、多个实物便笺中的一个的已知形状、以及在多个实物便笺中的一个上的标志的已知相对位置，来确定多个实物便笺中的一个的一般边界。

实施例23。根据实施例18所述的便笺识别***，其中标志包括标识符。

实施例24。根据实施例23所述的便笺识别***，其中标识符是唯一标识符。

实施例25。根据实施例17至实施例24中任一项所述的便笺识别***，其中便笺提取模块还被构造成创建代表多个实物便笺中的一个的数字便笺，并且用指示被提取的对应实物便笺的可识别内容的状态更新数字便笺。

实施例26。根据实施例17至实施例25中任一项所述的便笺识别***，其中处理单元包括处理器、微处理器、微控制器、计算机和计算设备中的至少一个。

实施例27。根据实施例17至实施例26中任一项所述的便笺识别***，还包括：

被构造成将提取的内容呈现给用户的便笺展示模块。

实施例28。根据实施例17至实施例27中任一项所述的便笺识别***，其中标志是使用逆向反射材料、光学变色油墨、有色油墨、红外吸收油墨、荧光油墨、水印、有光泽的材料、闪光材料、穿孔标志、结构化色彩、浮动图像和窗口线中的至少一个制成的。

实施例29。根据实施例18所述的便笺识别***，其中标志包括符号。

实施例30。根据实施例29所述的便笺识别***，其中标志识别模块还被构造成从视觉表示中辨识符号。

实施例31。根据实施例29所述的便笺识别***，还包括：

被构造成认证便笺的便笺认证模块，

其中便笺识别模块还被构造成辨识符号，

其中便笺认证模块还被构造成基于符号认证多个实物便笺中的一个，以及S

其中便笺提取模块还被构造成如果认证多个实物便笺中的一个，那么提取多个实物便笺中的一个的可识别内容。

实施例32。根据实施例17至实施例31中任一项所述的便笺识别***，其中视觉表示为图像或视频。

本发明不应被认为限于上述特定示例和实施例，因为详细描述此类实施例以有利于说明本发明的各个方面。相反，本发明应被理解为涵盖本发明的所有方面，包括落在如由所附权利要求书及其等同物所定义的本发明的实质和范围内的各种修改、等同过程和替代设备。

Claims

1.一种收集便笺的内容的方法，所述方法包括：

通过传感器捕集具有多个实物便笺的场景的视觉表示，所述实物便笺中的每个具有预定义的边界和在其上的可识别内容；

通过处理单元从所述视觉表示中识别所述多个实物便笺中的一个；以及

通过所述处理单元提取所述多个实物便笺中的所述一个的所述可识别内容。

2.根据权利要求1所述的方法，其中所述多个实物便笺中的至少一个包括标志。

3.根据权利要求2所述的方法，其中所述识别步骤包括从所述视觉表示中识别所述多个实物便笺中的所述一个的所述标志。

4.根据权利要求3所述的方法，其中所述识别步骤包括基于所识别的标志识别所述多个实物便笺中的所述一个。

5.根据权利要求3所述的方法，其中所述识别步骤包括基于所识别的标志、所述多个便笺中的所述一个的已知形状、以及在所述多个便笺中的所述一个上的所述标志的已知相对位置，来确定所述多个实物便笺中的所述一个的一般边界。

6.根据权利要求2所述的方法，其中所述标志包括标识符。

7.根据权利要求6所述的方法，其中所述标识符是唯一标识符。

8.一种便笺识别***，所述便笺识别***包括：

传感器，所述传感器被构造成捕集具有多个实物便笺的场景的视觉表示，所述实物便笺中的每个具有预定义的边界和在其上的可识别内容，

耦合到所述传感器的便笺识别模块，所述便笺识别模块被构造成接收所捕集的视觉表示并从所捕集的视觉表示中确定所述多个实物便笺中的一个的一般边界，以及

便笺提取模块，所述便笺提取模块被构造成基于所述多个实物便笺中的所述一个的所确定的一般边界，从所捕集的视觉表示中提取所述多个实物便笺中的所述一个的所述可识别内容。

9.根据权利要求8所述的便笺识别***，其中所述多个实物便笺中的至少一个包括标志。

10.根据权利要求9所述的便笺识别***，其中所述便笺识别模块还被构造成从所述视觉表示中识别所述多个实物便笺中的所述一个的所述标志。

11.根据权利要求10所述的便笺识别***，其中所述便笺识别模块还被构造成基于所识别的标志识别所述多个实物便笺中的所述一个。

12.根据权利要求10所述的便笺识别***，其中所述便笺识别模块还被构造成基于所识别的标志、所述多个实物便笺中的所述一个的已知形状、以及在所述多个实物便笺中的所述一个上的所述标志的已知相对位置，来确定所述多个实物便笺中的所述一个的所述一般边界。

13.根据权利要求8所述的便笺识别***，所述便笺识别***还包括：

被构造成将所提取的内容呈现给用户的便笺展示模块。

14.根据权利要求9所述的便笺识别***，其中所述标志包括符号。

15.根据权利要求14所述的便笺识别***，所述便笺识别***还包括：

被构造成认证便笺的便笺认证模块，

其中所述便笺识别模块还被构造成辨识所述符号，

其中所述便笺认证模块还被构造成基于所述符号认证所述多个实物便笺中的所述一个，以及

其中所述便笺提取模块还被构造成如果认证所述多个实物便笺中的所述一个，那么提取所述多个实物便笺中的所述一个的所述内容。