CN104254815B - 书写内容的空间上相关的注释的显示方法、装置和*** - Google Patents

书写内容的空间上相关的注释的显示方法、装置和*** Download PDF

Info

Publication number
CN104254815B
CN104254815B CN201280070865.4A CN201280070865A CN104254815B CN 104254815 B CN104254815 B CN 104254815B CN 201280070865 A CN201280070865 A CN 201280070865A CN 104254815 B CN104254815 B CN 104254815B
Authority
CN
China
Prior art keywords
computing device
hand
written
annotation
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201280070865.4A
Other languages
English (en)
Other versions
CN104254815A (zh
Inventor
苏恩·乌克·金
斯特凡·J·马蒂
达维德·迪·琴索
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN104254815A publication Critical patent/CN104254815A/zh
Application granted granted Critical
Publication of CN104254815B publication Critical patent/CN104254815B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/166Editing, e.g. inserting or deleting
    • G06F40/169Annotation, e.g. comment data or footnotes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/166Editing, e.g. inserting or deleting
    • G06F40/171Editing, e.g. inserting or deleting by use of digital ink

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

实例揭示了一种计算装置,其包括用以从电子书写工具接收描述在从显示器离开屏幕的表面上提供的书写内容的手写数据的处理器。此外,所述实例提供所述处理器以分析所述手写数据以确定对应于所述书写内容的一部分的注释。此外,所述实例还揭示了所述计算装置上的显示器,用以在与所述书写内容部分在所述书写表面上的位置空间上相关的位置处呈现所述注释。

Description

书写内容的空间上相关的注释的显示方法、装置和***
背景技术
在如今的技术中,计算装置的用户通常依赖于这些装置来提供反馈以改进其书写能力并且进一步理解其书写。计算装置可以在显示器上提供反馈,例如拼写和语法错误。
附图说明
附图中,相同的元件符号指代相同的组件或块。下面的详细描述参照附图,其中:
图1是计算装置上的实例显示的框图,所述显示包含在与书写内容的一部分在书写表面上的位置空间上相关的位置中呈现的注释;
图2是用以接收描述书写表面上的书写内容的手写数据以分析和在显示器上呈现注释的实例计算装置的框图;
图3是用以基于接收描述在书写表面上提供的书写内容的手写数据来显示注释并且包含与处理器相关联的存储区域以基于存储区域内的关键词的关联来确定注释的实例计算装置的框图;
图4是用以接收描述在书写表面上提供的书写内容的手写数据并且在与书写内容的一部分在书写表面上的位置空间上相关的位置中显示注释的计算装置的框图,其中所述计算装置使用超声三角测量、射频三角测量、红外三角测量和红外点中的至少一者来接收手写数据;以及
图5是在计算装置上执行以接收在书写表面上提供的手写数据、将手写转换成数字数据以分析和显示注释的实例方法的流程图。
具体实施方式
通过在计算装置的显示器上提供对应于用户的手写的反馈,用户可以具有教育和信息体验。一种解决方案是使用依赖于计算装置的书写工具(例如,手写笔)利用显示器向用户提供反馈。计算装置在显示器的屏幕上从用户接收书写,并且使这个屏幕上书写数字化以供在屏幕上显示。然而,这种解决方案不允许用户从显示器离开屏幕手写。
在另一种解决方案中,电子书写工具记录用户的离开屏幕的手写,并且作为响应,计算装置将手写翻译成文本,并且伴随翻译过来的文本显示语法或拼写纠正。在这种解决方案中,用户可能不能够查看与离开屏幕的书写表面上的那个书写部分有关的反馈,进而鼓励他们犯相同的错误。此外,这些解决方案并未提供可以用于进一步在上下文使用中理解词语的显式辅助反馈。举例来说,反馈可能包含给拼写错误的词语加下划线,但是可能无法让用户知道词语的意思。这会限制用户在使用这些类型的解决方案时收获的知识的类型。
为了解决这些问题,本文中揭示的实例实施例提供了一种具有用以从电子书写工具接收手写数据的处理器的计算装置。在从计算装置的显示器离开屏幕的书写表面上提供手写数据,从而使得用户能够从显示器离开屏幕书写。允许用户离开屏幕提供手写数据使得计算装置能够追踪电子书写工具的位置和移动,从而描述在书写表面上提供的书写内容。这进一步允许电子工具无线地连接到计算装置。
此外,处理器分析手写数据以确定对应于书写内容(即,用户的书写)的一部分的注释(即,反馈)。此外,计算装置上的显示器在与书写内容的所述部分在书写表面上的位置空间上相关的位置中在显示器上呈现注释。提供与书写内容的所述部分在书写表面上的位置空间上相关的注释,用户可以立即查看对应于书写内容的所述部分的反馈。这允许用户查看书写中的任何错误,以防止将来发生错误,并且还提供用户的书写的有用的上下文。举例来说,用户可以在其书写中包含词语的缩写,这样,计算装置可以显示词语的完整定义的注释,以辅助用户学习关于所述词语的更多知识,或者验证所述缩写的正确用法。此外,通过在显示器上向计算装置的用户呈现反馈,计算装置分析书写内容,并且随后提供建议如何改进用户的手写的上下文。
在另一实施例中,计算装置可以协调注释与书写表面上的位置,方法是通过确定书写表面的大小,并且翻译所述大小以对应于计算装置的大小。这使得装置能够在与书写内容的所述部分空间上相关的显示器上呈现注释,即使显示器与书写表面之间的大小不同也是如此。举例来说,计算装置上的显示器可以包含手机屏幕,并且因此,这个显示器的大小可能比书写表面小很多。
在另一实施例中,计算装置呈现注释而不呈现手写数据。在这个实施例中,计算装置在显示器上提供注释,而不提供在书写表面上提供的书写内容。这个实施例向用户提供对相对于其手写的纠正和辅助的一种类型的建议。此外,这还允许用户直接集中在反馈上,而不是因为显示器上的书写内容的完整拷贝而分心。
但是,在另一实施例中,注释可以包含用于执行网络搜索的触发器、用于打开应用程序的触发器、链接、词语定义和词语纠正中的至少一者。在这个实施例中,在计算装置上的显示器上呈现的注释作为个人助理操作以辅助用户理解和改进其书写。此外,注释可以预期用户的需要。举例来说,用户可能想要知道关于一个词语的更多知识,并且因此,通过提供链接,装置允许用户跳过自己执行词语搜索的步骤。
总而言之,本文中揭示的实例实施例向用户提供更有价值的教育和信息体验,方法是通过在与书写内容的所述部分在书写表面上的位置空间上相关的位置上呈现注释。注释用显式的方式向用户提供反馈,以改进和理解其书写。此外,实例实施例允许用户提供从显示器离开屏幕的书写,从而使得用户能够自由地进行其书写,而不受连续的线路连接的束缚。
现在参看附图,图1是实例计算装置102的框图,所述计算装置102包含显示器104,所述显示器104在与书写表面106上提供的书写内容的部分108a、108b和108c的位置空间上相关的位置上呈现注释110a、110b和110c。计算装置102的实施例包含客户端装置、个人计算机、台式计算机、膝上型计算机、移动装置、平板或其它适合于包含显示器104以呈现注释110a-110c的计算装置。
显示器104是与计算装置102相关联以呈现注释110a-110c的显示器。显示器104包含用于向用户输出内容的电路和屏幕,所述内容包含注释110a-110c。显示器104的实施例包含计算屏幕、计算监视器、面板、等离子屏幕、液晶显示器(LCD)、薄膜、投影或其它能够呈现注释110a-110c的显示技术。
注释110a-110c被视为提供给用户的反馈,并且在与书写内容的部分108a-108c在书写表面106上的位置在空间上相关的位置中呈现在显示器120上。虽然图1将显示器104描绘为呈现注释110a-110c,但是实施例不应限于这个说明,因为显示器104可以输出任何数目的注释。在一个实施例中,注释110a-110c可以包含用于执行网络搜索的触发器110b、用于打开应用程序的触发器110c、链接110c、词语定义110b和词语纠正110a。在另一实施例中,显示注释110a-110c,但不显示描述书写内容108a-108c的手写数据。举例来说,在这个实施例中,书写表面106顶部的问候语未包含在显示器104上,因为没有对应的注释。就此而言,呈现注释110a-110c而不呈现手写数据,从而使得计算装置102的用户能够集中在改进和理解其书写上。此外,注释110a-110c分别对应于书写内容的部分108a-108c中的每一者。举例来说,靠近显示器104顶部的注释110a对应于也靠近书写表面106的顶部的书写内容的部分108a。
书写表面106是从计算装置102的显示器104离开屏幕的区域,在这个区域中计算装置102的用户可以手写书写内容的部分108a-108c。书写表面106是指用户可以用来使用电子书写工具题写书写内容108a-108c的表面。因此,书写表面可以是(举例来说) 笔记本、纸张或另一供用户在上面物理地书写的材料。或者,书写表面106可以是任何适合于使得用户能够模拟书写的平面表面,例如桌子的表面。
书写表面106上的书写内容的部分108a-108c被视为在书写表面106上提供的用户的书写。具体来说,用户可以利用电子书写工具来创建书写内容的部分108a-108c中的每一者。此外,通过计算装置102接收描述书写内容的部分108a-108c的手写数据。下面的图中对其进行详细解释。书写内容的部分108a-108c可以包含单个书写内容部分,例如108a、组合或108a-108c,或者其可以包含图1中未说明的额外书写内容部分。书写内容的部分108a-108c可以位于书写表面206上的任何区域内。举例来说,书写内容的部分108a可以位于右上角或左下角等。
手写内容的部分108a-108c对应于显示器104上的注释110a-110中的每一者并且与其位置空间上相关。空间上相关是指注释110a-110c中的每一者在显示器102上的位置与对应书写内容的部分108a-108c在书写表面106上的位置之间的显示关系。具体来说,空间关系指定了参考书写内容的部分108a-108c中的每一者的位置如何在显示器104上呈现注释110a-110c。举例来说,书写内容部分108a询问斯蒂芬怎么样,并且书写在靠近书写表面106顶部的位置。因此,纠正书写内容部分108a的语法的注释110a显示在靠近显示器104的顶部的位置中,并且因此与书写内容部分108a的位置在空间上相关。在另一实例中,解释词语RFID并且包含这个词语的定义的链接的注释110b靠近显示器104的中间。注释110b因此显示在与书写内容部分108b的位置在空间上相关的位置中。此外,对应于注释110c的书写内容部分108c在靠近书写表面106的底部的位置中讨论用户要拜访一间办公室的时间。注释110c与这个书写内容部分108c在空间上相关,方法是通过靠近显示器104的底部显示注释110c的位置。
图2是包含处理器216和显示器204的实例计算装置202的框图。计算装置202从电子书写工具212接收描述书写内容208的手写数据214,以在模块218处分析,以便确定注释210。注释210在与书写内容208的部分在书写表面206上的位置空间上相关的位置中呈现在显示器204上。计算装置202可以在结构和功能性上类似于图1的计算装置102。
书写表面206是从计算装置202的显示器204离开屏幕的表面,并且用于供电子书写工具212创建书写内容208。书写表面206可以在结构和功能性上类似于图1的书写表面106。
使用电子书写工具212在书写表面206上提供书写内容208。书写内容208包含用户使用书写工具212提供的书写内容部分。在书写表面206上从显示器204离开屏幕产生书写内容208。因此,用户可以利用电子书写工具212接触书写表面以创建书写内容208。举例来说,如所说明的,用户可以利用电子书写工具212创建以斯蒂芬为地址的便签。
电子书写工具212是用户用来在书写表面206上产生书写内容208的电子装置。此外,电子书写工具212无线地或经由有线连接(例如,电缆)将手写数据214发射到计算装置208。电子书写工具212可以包含用以将指示电子书写工具212的尖端在书写表面206上的位置和移动的信号发射到计算装置202的电路和/或内部电子组件。举例来说,电子书写工具212可以包含用以发射可以由计算装置202检测的超声信号的扬声器。在另一实例中,电子书写工具212可以包含射频(RF)发射器和/或红外(IR)发射器以将信号发射到计算装置202。电子书写工具212的实施例包含数字钢笔、数字铅笔、手写笔、电子书写器具或其它能够在书写表面206上创建书写内容208并且将手写数据214发射到计算装置202的电子书写工具212。
手写数据214描述在书写表面206上提供的书写内容208,并且从电子书写工具212发射到计算装置202。具体来说,手写数据214可以包含当电子书写工具212的尖端接触书写表面206时的坐标。通过接收包含与书写表面206接触的电子书写工具212的尖端的位置和移动的这些坐标,计算装置202将坐标转换成书写内容208或数字文本以在模块218处分析。坐标描述书写表面206上的书写内容208,所述书写表面是从计算装置202的显示器204离开屏幕的。在一个实施例中,电子书写工具212将手写数据214发射到处理器216,所述处理器包含执行三角测量和/或三边测量中的至少一者。在这个实施例中,处理器216通过测量位置与先前已知的参考点之间的角度和/或距离确定电子书写工具212的尖端的位置。在另一实施例中,电子书写工具212通过执行超声三角测量、射频(RF)三角测量、红外(IR)三角测量和红外(IR)点中的至少一者将手写数据214发射到处理器216。图4中更详细地解释这个实施例。
处理器216从电子书写工具212接收手写数据214以在模块218处分析,以确定要在显示器204上呈现的注释210。在一个实施例中,处理器216接收手写数据214的坐标,并且将所述坐标转换成数字文本以供在模块218处分析。处理器216的实施例包含微芯片、芯片组、电子电路、微处理器、半导体、微控制器、中央处理单元(CPU)、图形处理单元(GPU)、视觉处理单元(VPU)或其它能够接收手写数据214以在模块218处分析的可编程装置。
模块218分析从电子书写工具212接收的手写数据214以确定注释210。在一个实施例中,模块218包含将手写数据214转换成数字数据以进行分析。在模块218的另一实施例中,手写数据包含电子书写工具212在书写表面206上的位置和移动的坐标。在这个实施例中,模块218包含将这些坐标转换成文本。模块218的实施例包含可由处理器216执行以分析由电子书写工具212发射的手写数据的一组指令。在另一实施例中,模块218分析手写数据的上下文以确定与书写内容208的所述部分有关的注释210。在另一实施例中,模块218通过分析关键词的手写数据来确定所述注释。接着,一旦辨识了关键词,处理器便可以从使注释210与关键词相关联的存储区域中获得注释210。图3中详细地解释这个实施例。
注释210在与书写内容208的部分的位置空间上相关的位置中呈现在显示器204上。举例来说,书写内容208的部分可以位于右下角,因而对应的注释210将呈现在显示器204上的靠近右下角的位置中。在一个实施例中,当在书写表面206上提供描述书写内容208的手写数据214时,计算装置202上的显示器204实时地呈现注释210。在这个实施例中,在用户在产生书写内容208时,计算装置202呈现立即反馈(即,注释)。注释210可以在结构和功能性上类似于图1中的注释110a-110c。
作为计算装置202的组件中的一者包含的显示器204向计算装置202的用户呈现注释210。显示器204可以在功能性和结构上类似于图1中的显示器104。
图3是实例计算装置302的框图,所述计算装置包含与存储区域320相关联以基于辨识出关键词322而识别注释310以便在显示器304上呈现的处理器316。此外,处理器316通过在模块318处分析从电子书写工具312接收的手写数据而辨识出关键词322。此外,电子书写工具312发射手写数据314,其描述从显示器304的离开屏幕的书写表面306上的书写内容308。计算装置302可以在结构和功能性上分别类似于图1中的计算装置102和图2中的计算装置202。
当电子书写工具312的尖端接触书写表面306时,书写表面306提供书写内容308。电子书写工具312将手写数据314发射到处理器316。书写表面306和书写内容308可以在结构和功能性上类似于图1的书写表面106和书写内容部分108a-108c以及图2的书写表面206和书写内容208。电子书写工具312和手写数据314可以在结构和功能性上类似于图2中的电子书写工具212和手写数据214。
处理器316接收手写数据314以供在模块318处分析以便确定注释310。处理器316可以在结构和功能性上类似于图2中的处理器216。模块318可以在功能性上类似于图2中的模块218。
存储区域320存储和/或维持与注释310相关联的关键词322。更具体来说,处理器316基于文本与存储区域320中的关键词322的关联而确定注释310。处理器316可以与网络上的或驻留在计算装置302上的存储区域320传送关键词322以便获得注释310。举例来说,关键词“一月”可以发信号通知处理器316分析词语的上下文。因此,处理器316可以通过在存储区域320中寻找关键词322“一月”而获得注释310,其可以包含用于打开日历应用程序的触发器。存储区域320可以包含与单个注释310相关联的若干关键词。与前一个实例一致,词语“星期四”或“晚8点”指示日期,并且因此,处理器316可以在存储区域320中寻找这些词语以获得注释310,其可以包含用于打开日历应用程序的触发器。存储区域320的实施例包含本机存储装置、网络存储装置、存储器、存储器缓冲器、快闪存储器、非易失性存储器、易失性存储器、随机存取存储器(RAM)、电可擦除可编程只读存储器(EEPROM)、存储驱动器、压缩光盘只读存储器(CDROM)或其它能够使关键词322与注释310相关联的物理存储装置。
关键词322与注释310在存储区域320内相关联以供处理器316获得注释310。在一个实施例中,关键词322可以包含通用或全局项。举例来说,与日期、时间和/或日程相关联的关键词指示与注释310的关联,以包含用于打开日历应用程序的触发器。在另一实施例中,关键词322可以是根据计算装置302的用户个性化的项。举例来说,用户可能期望关键词322包含一个人的姓名,并且注释310将提供到这个朋友的社交网站的链接。
注释310由处理器316获得,并且呈现在显示器304上与书写内容308的部分在书写表面306上的位置空间上相关的位置中。注释310可以在结构和功能性上类似于图1中的注释110a-110c和图2中的注释210。
显示器304向计算装置302的用户呈现注释310。显示器304可以在结构和功能性上类似于图1中的显示器104和图2中的显示器204。
图4是用于接收手写数据并且执行超声三角测量、射频(RF)三角测量、红外(IR)三角测量和红外(IR)点中的至少一者的实例计算装置400的框图。此外,计算装置400分析手写数据以确定注释并且在显示器上呈现注释。虽然计算装置400包含处理器402和机器可读存储媒体404,但是计算装置还可以包含将适合所属领域的技术人员的其它组件。举例来说,计算装置400可以包含图3中的存储区域320。此外,计算装置400可以在结构和功能性上类似于图1-3中相应的计算装置102、202和302。
处理器402可以取得、解码和执行指令406、408、410、412、414、416、418、420和422。处理器402可以在功能性和结构上类似于图1中的处理器216和图2中的处理器316。具体来说,处理器402执行指令406以接收手写数据,并且进一步执行超声三角测量指令408、射频(RF)三角测量指令410、红外(IR)三角测量指令412和红外(IR)点指令414中的至少一者。处理器402还执行分析手写数据以确定注释指令416、将手写转换成数字数据指令418、协调书写表面以对应于计算装置显示器指令420和在显示器上显示注释指令422。
机器可读存储媒体404可以包含指令406、408、410、412、414、416、418、420和422以供处理器402取出、解码和执行。机器可读存储媒体404可以是电子、磁性、光学、存储器、存储装置、快闪驱动器或其它含有或存储可执行指令的物理装置。因此,机器可读存储媒体404可以包含(举例来说)随机存取存储器(RAM)、电可擦除可编程只读存储器(EEPROM)、存储驱动器、存储器高速缓存、网络存储装置、压缩光盘只读存储器(CDROM)等等。因此,机器可读存储媒体404可以包含可以独立于和/或配合处理器402利用以取出、解码和/或执行机器可读存储媒体404的指令的应用程序和/或固件。应用程序和/或固件可以存储在机器可读存储媒体404上和/或存储在计算装置400的另一位置上。
指令406包含计算装置400从电子书写工具接收手写数据。手写数据包含坐标以指示电子书写工具212的尖端在与书写表面接触时的位置和移动。这允许手写数据描述在书写表面上提供的书写内容。在一个实施例中,指令406进一步包含执行三角测量和/或三边测量中的至少一者以确定电子书写工具的尖端的移动和位置。在另一实施例中,指令406进一步包含用以执行指令408-414中的至少一者的指令。举例来说,计算装置接收手写数据,并且可以执行射频(RF)三角测量指令410。
指令408包含执行超声三角测量。在指令408的这个实施例中,电子书写工具包含发射超声信号的扬声器。计算装置400可以包含例如麦克风等接收器,用以接收所发射的超声信号。此外,计算装置400可以确定所发射的超声信号的时序和/或强度差,以便确定电子书写工具在预定区域(即,书写表面)内的位置和移动。或者,扬声器在计算装置400上,并且接收器在电子书写工具上。
指令410包含执行射频(RF)三角测量。在指令410的这个实施例中,电子书写工具包含射频(RF)发射器,用以将射频(RF)信号发射到计算装置。计算装置400包含接收器,用以接收RF信号,并且可以确定时序、频率和/或强度差以指示电子书写工具在书写表面内的位置和移动。或者,发射器在计算装置400上,并且接收器在电子书写工具上。
指令412包含执行红外(IR)三角测量。在指令412的这个实施例中,电子书写工具包含红外发射器,其发射红外(IR)信号,并且计算装置400包含红外(IR)检测器,用以接收IR信号。此外,在这个实施例中,计算装置400可以确定与IR信号的时序、频率和/或强度的差以进一步确定电子书写工具在书写表面内的移动和位置。或者,发射器在计算装置400上,并且检测器在电子书写工具上。
指令414包含执行红外(IR)点。在指令414的这个实施例中,电子书写工具包含检测书写表面上的IR点的相机。另外,在这个实施例中,IR点可以创建图案,并且这个图案是用于让电子书写工具确定其相对于计算装置400的位置。
指令416包含分析在指令406处接收到的手写数据以确定注释。在一个实施例中,指令416包含分析手写数据,并且进一步包含用以将手写数据转换成数字数据的指令418。在这个实施例中,手写数据可以包含坐标,并且因此,将这些坐标转换成数字数据以供分析。
指令418包含将手写数据转换成数字数据。在指令418的一个实施例中,从电子书写工具接收到的描述书写内容的手写数据包含转换成文本的坐标,并且计算装置400分析所述文本以确定注释。
指令420包含协调书写表面以对应于与计算装置400相关联的显示器。此外,指令420包含计算装置400翻译书写表面的大小以对应于计算装置400上的显示器的大小。这个实施例实现了特定的情境,其中书写表面和计算装置400的显示器具有不同大小,使得注释显示在与书写内容部分的位置空间上相关的位置中,不论大小是否不同。在一个实施例中,指令420可以在指令406之前发生,或者与其同时发生。在另一实施例中,指令420可以与指令416和420同时发生。
指令422包含在计算装置400的显示器上显示在指令416处确定的注释。具体来说,注释显示在与书写内容部分的位置在空间上相关的位置中。
图5是在计算装置上执行以接收手写数据、将手写数据转换成数字数据和分析手写数据以确定要显示的注释的实例方法的流程图。虽然图5是描述为在图1-4中的计算装置102、202、302和400上执行的,但是图5也可以在所属领域的技术人员将明白的其它合适的组件上执行。举例来说,图5可以用机器可读存储媒体(例如,图4中的机器可读存储媒体404)上的可执行指令的形式来实施。
在操作502处,计算装置从电子书写工具接收描述在书写表面上提供的书写内容的手写数据。在操作502的一个实施例中,计算装置接收包含坐标的手写数据,所述坐标指示电子书写工具在接触书写表面时的移动和位置。坐标描述书写表面上的书写内容,所述书写表面是从计算装置的显示器离开屏幕的。在操作502的另一实施例中,电子书写工具发射包含描述书写内容的文本的手写数据。
在操作504处,计算装置将在操作502处接收到的手写数据转换成数字数据。在一个实施例中,手写数据包含坐标,并且因此,计算装置将坐标转换成描述书写内容的数字数据(例如,数字文本)。在另一实施例中,计算装置接收描述书写内容的文本,并且因此将文本转换成数字数据。
在操作506处,计算装置分析在操作504处产生的数字数据以确定对应于在书写表面上提供的书写内容部分的注释。在操作506的一个实施例中,计算装置分析数字数据以辨识关键词。在这个实施例中,计算装置可以与本机存储区域或网络存储区域通信,以基于存储区域内的关键词的关联而确定注释。
在操作508处,计算装置协调书写表面以对应于计算装置上的显示器。具体来说,在操作508处,计算装置翻译计算装置上的显示器的大小以对应于书写表面的大小。在一个实施例中,操作508在操作502处接收手写数据之前发生。在另一实施例中,操作508在操作510处显示注释之前发生。在另一实施例中,操作508可以与操作502、504、506和510同时发生。
在操作510处,计算装置显示在操作508处确定的注释。此外,在操作510处,注释在与书写内容部分在书写表面上的位置空间上相关的位置中呈现在显示器上。
本文中详细描述的实施例向用户提供更有教育和信息价值的体验,方法是通过在与书写内容部分在书写表面上的位置空间上相关的位置上呈现注释。注释用显式的方式向用户提供反馈,以改进和理解其书写。

Claims (15)

1.一种由计算装置执行的用于向用户提供反馈的方法,所述方法包括:
由所述计算装置从电子书写工具接收描述在书写表面上提供的书写内容的手写数据,所述书写表面从所述计算装置的显示器离开屏幕;
由所述计算装置分析所述手写数据;
由所述计算装置基于所述分析产生对应于所述书写内容的一部分的注释;以及
在所述计算装置的所述显示器的一个位置处显示所述注释,其中所述注释的所述位置与所述书写内容的所述部分在所述书写表面上的位置空间上相关,其中在所述计算装置上的所述显示器呈现所述注释而不呈现所述手写数据。
2.根据权利要求1所述的方法,其中接收描述在所述书写表面上提供的书写内容的所述手写数据进一步包括执行三角测量。
3.根据权利要求1所述的方法,其中所述注释包含用于打开应用程序的触发器。
4.根据权利要求1所述的方法,其中分析所述手写数据进一步包括:
将所述手写数据转换成数字数据,以及分析所述数字数据以产生所述注释。
5.根据权利要求1所述的方法,其进一步包括:
通过确定所述书写表面的大小并且翻译所述大小以对应于所述计算装置的所述显示器的大小而协调所述书写表面以对应于所述计算装置的所述显示器。
6.一种用于向用户提供反馈的计算***,其包括:
计算装置,其包括:
显示器;以及
处理器,用以:
由所述计算装置从电子书写工具接收描述在书写表面上提供的书写内容的手写数据,所述书写表面从所述计算装置的所述显示器离开屏幕;以及
由所述计算装置分析所述手写数据;
由所述计算装置基于所分析的手写数据产生对应于所述书写内容的一部分的注释;以及
在所述显示器的一个位置处呈现所述注释,所述注释的所述位置与书写内容的所述部分在所述书写表面上的位置空间上相关,其中在所述计算装置上的所述显示器呈现所述注释而不呈现所述手写数据。
7.根据权利要求6所述的计算***,其进一步包括:
与所述计算装置相关联的用以发射所述手写数据的电子书写工具。
8.根据权利要求6所述的计算***,其中:
为了分析所述手写数据,所述处理器要辨识所述手写数据内的关键词;并且
所述计算装置进一步包括与所述处理器相关联的存储区域,其中所述处理器基于所述存储区域中的所述关键词的关联而产生所述注释。
9.根据权利要求6所述的计算***,其中在所述书写表面上提供描述书写内容的所述手写数据时,所述计算装置实时地呈现所述注释。
10.根据权利要求6所述的计算***,其中为了从所述电子书写工具接收描述在所述书写表面上提供的书写内容的所述手写数据,所述计算***进一步包括用以执行三角测量的指令。
11.一种用于向用户提供反馈的装置,所述装置包括:
用于从电子书写工具接收描述在书写表面上提供的书写内容的手写数据的设备,所述书写表面从所述装置的显示器离开屏幕;
用于分析所述手写数据的设备;
用于基于所述分析以产生对应于所述书写内容的一部分的注释的设备;以及
用于在所述装置的所述显示器的一个位置处显示所述注释的设备,其中所述注释的所述位置与所述书写内容的所述部分在所述书写表面上的位置空间上相关,其中在所述装置上的所述显示器呈现所述注释而不呈现所述手写数据。
12.根据权利要求11所述的装置,其进一步包括:
用于通过确定所述书写表面的大小并且翻译所述大小以对应于所述装置的所述显示器的大小而协调所述书写表面以对应于所述装置的所述显示器的设备。
13.根据权利要求11所述的装置,其中所述用以分析的设备进一步包括用以将所述手写数据转换成数字数据的设备。
14.根据权利要求11所述装置,其中所述用以接收所述手写数据的设备进一步包括用以执行三角测量的设备。
15.根据权利要求11所述的装置,其中所述注释包含词语纠正。
CN201280070865.4A 2012-02-29 2012-02-29 书写内容的空间上相关的注释的显示方法、装置和*** Expired - Fee Related CN104254815B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2012/027089 WO2013130060A1 (en) 2012-02-29 2012-02-29 Display of a spatially-related annotation for written content

Publications (2)

Publication Number Publication Date
CN104254815A CN104254815A (zh) 2014-12-31
CN104254815B true CN104254815B (zh) 2017-09-12

Family

ID=49083099

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280070865.4A Expired - Fee Related CN104254815B (zh) 2012-02-29 2012-02-29 书写内容的空间上相关的注释的显示方法、装置和***

Country Status (7)

Country Link
US (1) US20150100875A1 (zh)
EP (1) EP2820513A4 (zh)
JP (1) JP6141887B2 (zh)
KR (1) KR20140136471A (zh)
CN (1) CN104254815B (zh)
IN (1) IN2014MN01629A (zh)
WO (1) WO2013130060A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10489501B2 (en) * 2013-04-11 2019-11-26 Google Llc Systems and methods for displaying annotated video content by mobile computing devices
KR20160146036A (ko) * 2015-06-11 2016-12-21 삼성전자주식회사 문제 콘텐트 제공 방법 및 디바이스
KR20170126294A (ko) * 2016-05-09 2017-11-17 엘지전자 주식회사 이동 단말기 및 그 제어방법
CA3033109A1 (en) * 2016-08-12 2018-02-15 Magic Leap, Inc. Word flow annotation
US10417515B2 (en) * 2017-01-09 2019-09-17 Microsoft Technology Licensing, Llc Capturing annotations on an electronic display

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1624643A (zh) * 2003-12-03 2005-06-08 微软公司 墨水的缩放文本替换

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4110495B2 (ja) * 1998-10-27 2008-07-02 沖電気工業株式会社 無人契約システム及び顧客端末
AU5463301A (en) * 2000-02-16 2001-08-27 Telefonaktiebolaget Lm Ericsson (Publ) Electronic pen help feedback and information retrieval
US7009594B2 (en) * 2002-10-31 2006-03-07 Microsoft Corporation Universal computing device
US20040139391A1 (en) * 2003-01-15 2004-07-15 Xerox Corporation Integration of handwritten annotations into an electronic original
JP2004252561A (ja) * 2003-02-18 2004-09-09 Mitsui Sumitomo Insurance Co Ltd 記入適否判断装置、記入用紙、及びプログラム
WO2005029391A1 (en) * 2003-08-21 2005-03-31 Microsoft Corporation Electronic ink processing
US8074184B2 (en) * 2003-11-07 2011-12-06 Mocrosoft Corporation Modifying electronic documents with recognized content or other associated data
US8542219B2 (en) * 2004-01-30 2013-09-24 Electronic Scripting Products, Inc. Processing pose data derived from the pose of an elongate object
US7853193B2 (en) * 2004-03-17 2010-12-14 Leapfrog Enterprises, Inc. Method and device for audibly instructing a user to interact with a function
US7284192B2 (en) * 2004-06-24 2007-10-16 Avaya Technology Corp. Architecture for ink annotations on web documents
US20060212430A1 (en) * 2005-03-18 2006-09-21 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Outputting a saved hand-formed expression
US8265382B2 (en) * 2007-05-29 2012-09-11 Livescribe, Inc. Electronic annotation of documents with preexisting content
US20090078473A1 (en) * 2007-09-26 2009-03-26 Digital Pen Systems Handwriting Capture For Determining Absolute Position Within A Form Layout Using Pen Position Triangulation
JP2010108452A (ja) * 2008-10-31 2010-05-13 Pentel Corp 手書き入力システム
US20110320924A1 (en) * 2010-06-23 2011-12-29 Microsoft Corporation Handwritten paper-based input digital record management

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1624643A (zh) * 2003-12-03 2005-06-08 微软公司 墨水的缩放文本替换

Also Published As

Publication number Publication date
US20150100875A1 (en) 2015-04-09
CN104254815A (zh) 2014-12-31
EP2820513A1 (en) 2015-01-07
JP6141887B2 (ja) 2017-06-07
WO2013130060A1 (en) 2013-09-06
IN2014MN01629A (zh) 2015-05-08
KR20140136471A (ko) 2014-11-28
EP2820513A4 (en) 2015-01-21
JP2015516611A (ja) 2015-06-11

Similar Documents

Publication Publication Date Title
US10599923B2 (en) Mobile device utilizing multiple cameras
US9110587B2 (en) Method for transmitting and receiving data between memo layer and application and electronic device using the same
JP5451599B2 (ja) マルチモーダルスマートペンのコンピューティングシステム
US9086798B2 (en) Associating information on a whiteboard with a user
US8265382B2 (en) Electronic annotation of documents with preexisting content
AU2013287433B2 (en) User interface apparatus and method for user terminal
AU2010295574B2 (en) Gesture recognition on computing device
US8374992B2 (en) Organization of user generated content captured by a smart pen computing system
CN104254815B (zh) 书写内容的空间上相关的注释的显示方法、装置和***
EP3155501B1 (en) Accessibility detection of content properties through tactile interactions
US20090167882A1 (en) Electronic device and operation method thereof
US8300252B2 (en) Managing objects with varying and repeated printed positioning information
US20130033461A1 (en) System for notetaking with source document referencing
US20090267923A1 (en) Digital Bookclip
WO2009124200A2 (en) Ink tags in a smart pen computing system
CN101968716A (zh) 电子阅读装置及其添加批注的方法
US20210200418A1 (en) Control method and electronic device
CN109643213A (zh) 用于协同编辑工具的触摸屏用户界面的***和方法
JP5813792B2 (ja) システムおよびデータ提供方法並びに電子機器
KR102125212B1 (ko) 전자 필기 운용 방법 및 이를 지원하는 전자 장치
US20140122490A1 (en) Correlation of Written Notes to Digital Content
US20130033460A1 (en) Method of notetaking using optically imaging pen with source document referencing
JP5284523B1 (ja) 情報処理システム、プログラムおよび情報処理システムの処理方法
US20130033429A1 (en) Method of notetaking with source document referencing
US8971631B2 (en) Data processing system, data processing method, and storage medium

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170912

Termination date: 20190228

CF01 Termination of patent right due to non-payment of annual fee