CN110537164A - 用于内容创建应用的增强的上墨能力 - Google Patents

用于内容创建应用的增强的上墨能力 Download PDF

Info

Publication number
CN110537164A
CN110537164A CN201880026040.XA CN201880026040A CN110537164A CN 110537164 A CN110537164 A CN 110537164A CN 201880026040 A CN201880026040 A CN 201880026040A CN 110537164 A CN110537164 A CN 110537164A
Authority
CN
China
Prior art keywords
ink
write
strokes
word
content creation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880026040.XA
Other languages
English (en)
Inventor
I·米库特尔
G·L·佩龙
N·阿尔巴哈德里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN110537164A publication Critical patent/CN110537164A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/166Editing, e.g. inserting or deleting
    • G06F40/171Editing, e.g. inserting or deleting by use of digital ink
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/32Digital ink
    • G06V30/36Matching; Classification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提供了内容创建应用的增强上墨能力。内容创建应用可以识别墨水书写的词语,并返回该墨水书写的词语的基于文本的版本。通过墨水书写的绘图特征,内容创建应用可以将墨水书写的词语或基于文本的版本发送至墨水绘图服务,该墨水绘图服务托管具有墨水书写的绘图的数据资源。该墨水绘图服务可以使用墨水书写的词语来搜索该数据资源中墨水书写的绘图的标签,且相关的墨水书写的绘图可以被返回至内容创建应用。用户可以选择将该墨水书写的绘图***到内容创建应用的画布界面中。接着,该用户可以像其自己完成该绘图那样来与墨水书写的绘图交互,例如通过修改墨水书写的绘图的任何墨水笔划的颜色或粗细、添加或移除墨水笔划、以及注释墨水书写的绘图。

Description

用于内容创建应用的增强的上墨能力
背景技术
随着开发人员尝试构建为用户创建更容易地将他们的想法传送至数字表示中的方式的软件,开发人员通常针对作为语言学习者的用户(通过文字、讲话、收听、阅读、和书写来学习的人)进行优化。尽管大多数学习者是看得见的,但是许多学习者并不能很好地绘图,并且因此无法以视觉方式来表达他们的想法。
发明内容
提供了用于内容创建应用的增强的上墨能力的墨水书写的绘图特征和墨水绘图服务。该内容创建应用的墨水书写的绘图特征以及墨水绘图服务可以将词语转换为绘图,所述绘图接着能够通过上墨方法被修改。
具有墨水书写的绘图特征的内容创建应用可以通过该内容创建应用的画布界面接收墨水笔划,并且对所述墨水笔划执行墨水分析以识别所述墨水笔划所绘制的墨水书写的词语。该内容创建应用可以通过从墨水绘图服务请求墨水结果而将该墨水书写的词语转换为墨水书写的绘图。所述墨水结果包括具有墨水可修改格式的墨水书写的绘图。当从墨水绘图服务接收到墨水结果时,所述结果可以被该内容创建应用提供给用户以便将墨水书写的绘图***到画布界面中。
提供了该发明内容以用简化的形式引入对以下的具体实施方式中进一步描述的概念的选择。应当理解的是,该发明内容不旨在标识所要求保护主题的关键特征或必要特征,也不旨在帮助确定所要求保护的主题的范围。
附图说明
图1图示了可以在其中实行本发明的各种实施例的示例操作环境。
图2图示了用于增强的上墨的方法的示例过程流程图。
图3A-3C图示了具有示例过程流程的序列图。
图4A-4D和5A-5D图示了在内容创建应用处实行的增强的上墨的示例场景。
图6图示了可以在本文中所描述的某些实施例中使用的计算设备的组件。
图7图示了可以用于实现在本文中所描述的某些方法和服务的计算***的组件。
具体实施方式
提供了用于内容创建应用的增强的上墨能力的墨水书写的绘图特征和墨水绘图服务。该内容创建应用的墨水书写的绘图特征以及墨水绘图服务可以将词语转换为绘图,所述绘图接着能够通过上墨方法被修改。
内容创建应用是用户可以在其中贡献信息的软件应用。如在本文中所使用的,内容创建应用针对视觉内容,其中用户能够以数字形式创建基于文本和/或图像的内容。术语“内容创建应用”在一些情况下可以与“内容创作应用”、“生产力应用”或“内容创作工具”是同义词。由于所描述的***和方法关注于通过其创作内容的应用和工具,因此在这些术语之间并没有差别并且这样的术语可以在本文中可互换地使用。
所描述的墨水书写的绘图特征是用于支持“上墨”或“数字墨水”的任何内容创建应用,是指用户输入的模式,其中触笔或笔(或者甚至是触摸屏或平板上的用户手指)用于以其自然形式捕获笔迹。
内容创建应用可以使用墨水分析器(IA)——在本地或经由服务——从“输入笔”(例如,手写笔、笔、手指,或者可能经由鼠标控制的笔绘图功能)的输入笔划识别手写词语(例如,“墨水书写的词语”),并且确定该墨水书写的词语的基于文本的版本。对于墨水书写的绘图特征而言,墨水书写的词语可以被转换为内容创建应用的画布界面(提供用户已经墨水书写的内容的视觉表示的图形用户界面)中的墨水书写的绘图。该绘图特征与墨水绘图服务通信以实现该转换。该墨水绘图服务管理存储墨水书写的绘图的墨水书写的绘图数据资源。墨水书写的词语的基于文本的版本可以被墨水绘图服务使用以搜索墨水书写的绘图数据资源并且识别与墨水书写的词语相对应的墨水书写的绘图。例如,该墨水绘图服务可以使用墨水书写的词语来搜索数据资源中的墨水书写的绘图的标签,并且相关的墨水书写的绘图可以被返回至内容创建应用。来自墨水绘图服务的结果可以被提供回该内容创建应用,并且用户可以选择将墨水书写的绘图***到画布界面中。
接着,用户可以就像他们自己完成该绘图那样例如通过修改该墨水书写的绘图的任何墨水笔划的颜色或粗细、添加或移除墨水笔划、以及注释该墨水书写的绘图来与该墨水书写的绘图进行交互。
墨水笔划是指数字化器捕获的一组属性和点数据,其表示“标记”的坐标和属性。其可以是在单个笔向下、向上、或移动序列中捕获的一组数据。该组数据可以包括诸如但不限于以下项的参数:笔划的开始、笔划的结束、笔划的压力、笔划(或笔)的倾斜、笔划的方向、沿着笔划的路径的离散坐标之间的笔划的时间和时刻、以及“墨水”的颜色。
数字化器通常提供网格上的一组坐标,所述坐标可以用于将模拟运动转换成离散的坐标值。数字化器可以位于屏幕或表面下方或上方,其捕获手指、笔、或触笔的运动(例如,使用者的手写或画刷笔划)。取决于数字化器的特征,可以收集诸如压力、多个点之间的运动速度、以及运动方向之类的信息。
被识别为形成绘制单位(例如,词语或绘图)的墨水笔划的群组可以被认为被存储在墨水容器的数据结构内。该墨水容器可以包括与词语或绘图相关联的元数据以及该墨水容器中的每个墨水笔划的墨水笔划参数。
利用数字墨水,用户可以像在现实世界中一样容易地控制上墨的词语或上墨的绘制的外观,这是由于墨水笔划的数据结构(和语言)涉及上文引用的参数(例如,坐标、压力等)。通过保持墨水笔划的形式,墨水书写的词语以及墨水书写的绘图处于墨水可修改格式。
与由墨水笔划(及其相关联的参数)组成的墨水书写的绘图相比,静态图像并不处于允许用户修改绘图的格式。静态绘图和图像的示例包括剪切画图像、现成形状(例如,线条、基本形状、箭头、流程图等)、和相机图像。尽管有可能对某些静态绘图进行格式化和/或编辑,但是可用编辑工具和可编辑组件(例如,线条、颜色、角度)可能是受限的。
墨水书写的绘图特征允许对手写(墨水书写)词语的识别,其返回相关的手写(墨水书写)的绘图,并且允许用户搜索、选择、和使用来自相同内容创建应用内的其他用户的社区的手写(墨水书写)的绘图的能力。
在一些另外的实现中,墨水书写的绘图特征给予用户这样的能力,其允许用户修改、编辑、和重新混合从墨水绘图服务取得的墨水内容,并且将经修改的墨水书写的绘图作为他们自己的墨水书写的绘图上传回墨水绘图服务以供社区中其他人使用。
图1图示了可以在其中实行本发明的各种实施例的示例操作环境;并且图2图示了用于增强的上墨的方法的示例过程流程图。
参考图1,示例操作环境可以包括运行具有内容创建应用用户界面(UI)106(包括画布界面)的内容创建应用104的用户设备102、实现墨水绘图服务110的墨水绘图服务器108,以及诸如墨水书写的绘图数据资源112和分析数据资源114之类的一个或多个结构化资源,它们中的每个可以以结构化和半结构化格式来存储数据。内容创建应用104可以包括墨水书写的绘图特征并且执行过程200,如关于图2所描述的。在一些情况下,内容创建应用104包括墨水分析器(IA)116。在一些情况下,内容创建应用104与外部(应用104外部或者甚至用户设备102外部的)IA进行通信。
用户设备102可以被实施为诸如关于图6所描述的***600。墨水绘图服务器108可以被实施为诸如关于图7所描述的***700。
墨水书写的绘图数据资源112可以包含多个墨水书写的绘图。每个墨水书写的绘图可以被存储在墨水书写的容器内并且包括墨水书写的绘图的笔划以及标签(和其相关联的元数据)。存储在墨水书写的容器中的信息包括参数,例如墨水笔划的开始位置、墨水笔划的结束位置、墨水笔划的方向、墨水笔划的压力、墨水笔划的时间、墨水笔划的颜色、墨水笔划的粗细、墨水笔划的位置、以及倾斜。这些和其他参数中的全部或一些可以以任何合适的组合来使用。用户标识符也可以与墨水书写的绘图中的每个相关联。用户标识符例如可以是内容创建应用104的标识符或者内容创建应用104的用户的标识符。另外,可搜索的标签可以与墨水书写的绘图中的每个相关联。用户可以将墨水书写的绘图发布至墨水书写的绘图数据资源112,以使得墨水书写的绘图标记对公众可用。元数据可以包括由用户人工注释的或者由***自动得出的信息,或者其两者。
在一些情况下,存储在墨水书写的绘图数据资源112中的多个墨水书写的绘图中的一个或多个可以是用户生成的。例如,一个或多个墨水书写的绘图可以由用户绘制并且被上传到墨水书写的绘图数据资源112中以用于共享。在一些情况下,内容创建应用104可以识别出用户已经绘制了墨水书写的绘图并且可以主动地地询问用户他们是否想要向墨水绘图服务110贡献墨水书写的绘图。在一些情况下,存储在墨水书写的绘图数据资源112中的多个墨水书写的绘图中的一个或多个可以是计算地生成的。例如,可以使用图形卡来计算地生成墨水书写的绘图以存储在墨水书写的绘图数据资源112中。
用户可以请求将墨水书写的绘图上传或共享至墨水书写的绘图数据资源112。另外地,可以提供围绕用户上传至服务的绘图的通知、评价、游戏化、和奖励。之后将讨论墨水书写的绘图上传的更加详细的讨论。
分析数据资源114可以包含来自多个用户的搜索信息和选择信息。该搜索信息和选择信息可以被分析以形成观点,包括内容创建应用内的全局流行度。该全局流行度例如可以示出针对某些墨水书写的绘图当前最流行的偏好是什么或者在过去三小时期间被选择最多的是哪些墨水书写的绘图。分析数据资源114还可以包含针对墨水书写的绘图中的每个的属性树(attribution tree),这允许查看编辑过该墨水书写的绘图的任何用户的历史。应当理解的是,这些数据集合可以被存储在相同或不同的资源上,或者作为相同数据结构的一部分被存储。此外,应当理解的是,所收集的有关使用、属性的任何信息或者任何其他用户相关数据都将根据用户所提供的许可(以及任何隐私策略)被收集。
该操作环境中的组件(计算***、存储资源等)可以在网络(未示出)上操作或者通过网络彼此通信。该网络可以是但并不局限于蜂窝网络(例如,无线电话)、点对点拨号连接、卫星网络、互联网、局域网(LAN)、广域网(WAN)、Wi-Fi网络、自组织网络,或者它们的组合。这样的网络被广泛用于连接各种类型的网络元件,例如集线器、桥接器、路由器、交换机、服务器、和网关。该网络可以包括一个或多个被连接网络(例如,多网络环境),包括诸如互联网之类的公共网络和/或诸如安全企业私有网络之类的私有网络。如本领域技术人员将会理解的,可以经由一个或多个有线或无线接入网络来提供针对网络的访问。
在一些情况下,往来于组件的通信——例如墨水书写的绘图特征和墨水绘图服务之间的通信——可以经由应用编程接口(API)来实行。API是程序代码组件或硬件组件(下文称作“API实现组件”)所实现的接口,其允许不同的程序代码组件或硬件组件(下文称作“API调用组件”)访问并使用API实现组件所提供的一种或多种功能、方法、过程、数据结构、类和/或其他服务。API能够定义在API调用组件和API实现组件之间传递的一个或多个参数。API通常是用于使得两个或更多个应用能够互相通信的程序指令和标准的集合,并且一般通过互联网而被实现为超文本传输协议(HTTP)请求消息的集合以及根据REST(表述性状态转移)或SOAP(简单对象访问协议)架构的响应消息的指定格式或结构。
参考图1和图2,内容创建应用104可以经由内容创建应用UI 106以及更具体地在一些情况下经由内容创建应用104的画布界面接收来自用户的墨水笔划(205)。
内容创建应用104可以运行IA 116以对所接收的墨水笔划执行墨水分析,从而从所述墨水笔划中识别墨水书写的词语(210)。IA 116可以作为自动化背景过程运行和/或根据用户的命令运行。IA 116可以辨识墨水书写的词语并且确定该墨水书写的词语的基于文本的版本。例如,用户可以在内容创建应用104的UI 106上以墨水书写词语“truck”。接着,内容创建应用104能够运行IA 116。IA 116可以分析墨水笔划并且确定形成词语“truck”的字符串以墨水书写。在一些情况下,IA 116可以被包括在与内容创建应用104不同的服务中。在该情况下,内容创建应用104可以与包括IA 116的不同的服务进行通信以执行墨水分析从而识别墨水书写的词语。
一旦内容创建应用104理解所述墨水笔划标识了墨水书写的词语,则内容创建应用104作为墨水书写的绘图特征的一部分可以与墨水绘图服务110通信以请求墨水结果(215)。该请求可以包括墨水书写的词语的基于文本的版本。在一些情况下,该请求还可以包括时间和用户标识符。墨水绘图服务110可以在对墨水结果进行排名时使用该时间作为因素。例如,墨水绘图服务可以分析所有请求的次数以确定被请求最多的墨水书写的词语是什么。
接着,内容创建应用104可以从墨水绘图服务110接收墨水结果(220)。所述墨水结果包括与墨水书写的词语相关联的至少一个墨水书写的绘图。该至少一个墨水书写的绘图是数字墨水绘图并且因此具有墨水可修改格式。所述墨水结果可以是由墨水绘图服务110基于通过对数据资源114中的搜索信息和选择信息进行分析而形成的观点来排序和分类的。
接着,内容创建应用104可以提供所述墨水结果以便通过内容创建UI106向用户显示。所述墨水结果可以作为一个或多个绘图的缩略图的列表被提供给用户。在一些情况下,所述墨水结果可以针对一个或多个墨水书写的绘图中的每一个以墨水容器的形式被接收。在其他情况下,墨水结果最初可以是缩略图或其他预览格式,并且仅在用户选择了所述结果中的一个(以便***到画布界面中)之后才将该墨水容器提供至应用。
图3A-3C图示了具有示例过程流程的序列图。参考图3A,该序列流程可以在用户300与内容创建应用304的用户界面302交互以输入墨水书写内容时开始(306)。为了输入墨水书写内容(306),用户300可以绘制墨水笔划以在内容创建应用304的画布上形成墨水书写的词语或墨水书写的绘图。内容创建应用304可以接收(308)墨水笔划以及所述墨水笔划的参数,例如压力、颜色、方向、和时间。
内容创建应用304可以包括墨水分析器(IA)310或者与包括IA 310的服务进行通信。在一些情况下,IA 310可以被包括在墨水绘图服务312中。在情况A中,IA 310被包括在内容创建应用304中(或者作为内容创建应用304所调用的IA服务的一部分)。在情况B中,墨水分析器310被包括在墨水绘图服务312(或者被其调用的IA服务)中。
在情况A中,当内容创建应用304接收到墨水笔划时(308),内容创建应用304可以运行IA 310以对所述墨水笔划执行墨水分析(314)从而从所述墨水笔划识别墨水书写的词语(316)。IA 310可以辨识出墨水书写的词语并且将该墨水书写的词语的基于文本的版本返回至内容创建应用304。接着,内容创建应用304可以将针对墨水结果的请求(318)传送至墨水绘图服务312。该请求可以包括IA 310所确定的墨水书写的词语。
在情况B中,当内容创建应用304接收到墨水笔划时(308),内容创建应用304可以将针对墨水结果的请求(320)传送至墨水绘图服务312,但是与情况A不同,该请求包括所述墨水笔划。接着,墨水绘图服务312可以运行IA 310以对所述墨水笔划执行墨水分析(324)从而从所述墨水笔划中识别墨水书写的词语(326)。尽管没有在该序列图中被示出,但是IA所识别的墨水书写的词语也可以被提供给用户。所识别的墨水书写的词语可以在墨水结果之前和/或随墨水结果一起(例如,在操作316之后或操作326之后)向用户示出。在一些情况下,用户可以改变、更新、和/或更正用于获得墨水结果的墨水书写的词语(例如,参见图4D的字段435的描述)。
在任何情况下,墨水绘图服务312管理墨水书写的绘图数据资源328。墨水绘图服务312可以使用所识别的墨水书写的词语来针对墨水结果查询(330)墨水书写的绘图数据资源328。所述墨水结果可以包括与所识别的墨水书写的词语相关联的至少一个墨水书写的绘图。接着,墨水绘图服务312可以将墨水结果(334)提供至内容创建应用304。
内容创建应用304可以通过用户界面302将墨水结果(336)提供给用户。在一些情况下,所述墨水结果可以作为一个或多个墨水书写的绘图的缩略图列表被呈现给用户300。在一些情况下,所识别的墨水书写的词语可以随缩略图列表一起被呈现。接着,用户300可以对一个或多个墨水书写的绘图之一进行选择(338)以***到内容创建应用304的画布中。内容创建应用304可以从用户300接收针对来自墨水结果的墨水书写的绘图的选择(340)。接着,内容创建应用304可以请求从墨水绘图服务312下载(342)所选择的墨水书写的绘图。墨水绘图服务312可以从墨水书写的绘图数据资源328获取所选择的墨水书写的绘图的容器(344)。接着,墨水绘图服务312可以将该墨水容器发送至(346)内容创建应用304。接着,内容创建应用304可以将墨水书写的绘图***到(348)内容创建应用304的画布界面中。
在一些情况下,内容创建应用304可以***该墨水书写的绘图以替代画布界面上的墨水书写的词语。在一些情况下,内容创建应用304可以分析画布以理解该画布的上下文是什么。在***墨水书写的绘图时,内容创建应用304在改变墨水书写的绘图的视觉效果而匹配用户300的画布方面是智能的。例如,如果用户300已经开始书写有关该墨水书写的绘图的笔记,则内容创建应用304可以在该笔记附近或者画布上最后墨水书写的点的位置***该墨水书写的绘图。内容创建应用304可以分析画布主题的元素。例如,如果所有墨水笔划都是蓝色,则内容创建应用304可以***蓝色的墨水书写的绘图(例如,通过将墨水书写的绘图的墨水笔划的颜色参数改变为蓝色)。
在一些情况下,当墨水绘图服务312将墨水结果(334)发送至内容创建应用304时,墨水绘图服务312可以发送墨水容器。在该情况下,内容创建应用304并不需要单独请求从墨水绘图服务312下载墨水书写的绘图。
参考图3A,由于墨水书写的绘图是数字墨水并且处于可修改格式,所以用户300可以通过用户界面302来修改墨水书写的绘图(350)。用户300可以通过以下操作来修改墨水书写的绘图:向墨水书写的绘图添加墨水笔划,从墨水书写的绘图移除墨水笔划,或者改变墨水书写的绘图的墨水笔划的参数,所述参数例如颜色、粗细、方向、起始点、或结束点。内容创建应用304可以接收对墨水书写的绘图的墨水笔划的修改(351),保存经修改的墨水书写的绘图,并且通过用户界面302向用户300显示经修改的墨水绘图(354)。
接着,用户300可以例如通过对绘图的自由形状选择来选择经修改的绘图(356)。在一些情况下,用户300可以选择经修改绘图以上传至墨水书写的绘图数据资源328。内容创建应用304可以接收来自用户300的请求(358),并且接着在被许可时将具有墨水书写的绘图的墨水容器发送(360)至墨水绘图服务312。接着,墨水绘图服务312可以将墨水容器存储在(362)墨水书写的绘图数据资源328中。在一些情况下,墨水绘图服务312可以将该墨水书写的绘图与已经相关联的标签(来自原始的墨水书写的绘图)一起存储。在其他情况下,墨水绘图服务312可以询问用户300他们是否想要保留已经相关联的标签和/或添加新标签。当墨水绘图数据资源328在针对墨水书写的绘图的后续请求中被查询时,墨水书写的绘图和相关联元数据随后可以与其余的存储的墨水书写的绘图一起被包括。
图3C图示了增强的墨水绘图服务312A的场景。参考图3C,用户300可以在内容创建应用304的画布界面(UI 302)中绘图以输入墨水书写内容(364)。内容创建应用304可以接收墨水书写内容的墨水笔划(366)——包括墨水笔划参数,并且将所述墨水笔划发送至(366)墨水绘图服务312A。类似于参考图3A中的场景B所描述的,墨水绘图服务312A随后可以运行IA 310以对所述墨水笔划执行墨水分析(370);然而,对于增强墨水绘图服务而言,当IA 310识别出所述墨水笔划是墨水书写的绘图(而不是墨水书写的词语)时(372),墨水绘图服务可以获得有关该墨水书写的绘图的信息并且将该墨水书写的绘图(374)存储在墨水书写的绘图数据资源328中。
在一些情况下,在将墨水书写的绘图存储在墨水书写的绘图数据资源328之前,墨水绘图服务312A可以通过向内容创建应用304发送请求以要求用户300提供与墨水书写的绘图相关的更多信息(例如,标签)来获得有关墨水书写的绘图的信息。在其他情况下,墨水绘图服务312A可以通过对墨水书写的绘图执行图像分析并且向该墨水书写的绘图自动指定标签来获得有关该墨水书写的绘图的信息。在该情况下,墨水绘图服务312A可以直接连同指定的标签一起存储墨水书写的绘图或者在存储墨水书写的绘图之前从用户300得到确认。
图4A-4D和5A-5D图示了在内容创建应用实施的增强的上墨的示例场景。用户可以在他们的计算设备(例如,被实施为关于图6所描述的***600)上打开内容创建应用400的画布界面405。该计算设备可以是任意计算设备,诸如但并不局限于膝上计算机、台式计算机、平板电脑、个人数字助理、智能电话、智能电视、游戏机、可穿戴设备,等等。
参考图4A,用户可以在不需要键盘的情况下向内容创建应用400的画布界面405上输入墨水书写内容410。墨水书写内容410可以包括墨水书写的词语或墨水书写的绘图。例如,用户可能正在创作有关火山(volcano)的报告。在这种情况下,墨水书写内容410可以包括与火山相关联的手写词语,例如“Types of volcanos”、“composite volcano”、“cindervolcano”和“shield volcano”。
参考图4B,当墨水书写内容410仍然在内容创建应用400的画布界面405上被示出的同时,用户可以决定他们想要帮助绘制关于墨水书写内容410中的墨水书写的词语之一的图片。在该情况下,用户可以选择位于内容创建应用400的工具栏422中的针对墨水书写的绘图功能的命令(415),例如墨水命令420。在一些情况下,内容创建应用400可以显示允许用户接收有关如何使用墨水书写的绘图功能的信息的信息框。
参考图4C,用户可以从墨水书写410选择一个或多个墨水书写的词语以便在针对相关联墨水书写的绘图的查询中使用和/或书写墨水书写的绘图的主题的词语。在图4C的示例中,用户可能已经书写并选择了(425)墨水书写的词语“composite volcano”426。选择425动作可以是诸如触摸、画圈等之类的任何合适的输入。尽管图示了手指作为墨水输入工具,但是可以使用输入笔或手写笔或者其他对象。也可以使用用于发起命令以将墨水书写的词语转换为墨水书写的绘图的其他机制。例如,在一些情况下,选择墨水书写的绘图功能的命令可以使得后续书写的词语在针对相关联墨水书写的绘图的查询中被自动使用而没有单独的选择的步骤。
参考图4D,当用户选择(如图4C所示的)一个或多个墨水书写的词语时,可以显示弹出窗口430,其示出了使用所选择的墨水书写的词语435搜索墨水书写的绘图数据资源的墨水书写的绘图结果440。在图4D的示例中,输入字段438显示了与所选择的墨水书写的词语“composite volcano”相对应的文本435。墨水书写的绘图结果440可以被呈现为缩略图,例如墨水书写的绘图440-1、墨水书写的绘图440-2、墨水书写的绘图440-3、墨水书写的绘图440-4、和墨水书写的绘图440-5。用户可以选择墨水书写的绘图结果440之一以***到内容创建应用400的画布界面405中。所选择的墨水书写的绘图445随后可以被***到画布界面405中。被***到画布界面405中的墨水书写的绘图445是数字的墨水书写的绘图,并且因此是墨水可修改格式(与静态绘图相反)。
根据所图示的实现,墨水书写的绘图445替代墨水书写的词语426被***,这提供了墨水书写的词语被转换为墨水书写的绘图的效果。在一些实现中,墨水书写的绘图可以在用户主动(通过拖拽就位)或被动(按照用户的最后墨水笔划或者***所使用的其他状态)识别用于***的位置被***到画布界面405中。在一些这样的场景中,除了所***的墨水书写的绘图之外还保留(多个)书写词语。例如,用户可能选择了已经在内容410中书写的“composite volcano”,而不是专门书写它们以便如图4C和4D中所反映的那样被转换。
在一些情况下,显示用来获得墨水结果的墨水书写的词语的字段435可以被用户修改。另外,弹出窗口430可以向用户显示替选词语列表。例如,如果词语“volcano”的墨水分析显现了“volume”,则内容创建应用400可以显现三到五个较低置信度的替选词语的列表。因此,如果显示了“volume bar”墨水书写的绘图的列表,则用户可以替代地从替选词语列表中选择词语“volcano”。
参考图5A,有利的是,由于墨水书写的绘图445是数字的墨水书写的绘图,所以一旦墨水书写的绘图445被***到内容创建应用400的画布界面405中,用户就能够如同该用户自行绘制了该墨水书写的绘图那样与墨水书写的绘图445进行交互。用户例如可以通过注释墨水书写的绘图440、添加墨水笔划、移除墨水笔划、或者改变墨水笔划的诸如颜色或粗细之类的参数来修改墨水书写的绘图445。
在图5A的示例中,用户可以针对composite volcano的墨水书写的绘图445添加或修改墨水笔划(505)。针对墨水书写的绘图445的修改可以被内容创建应用400所保存。
参考图5B,用户可以决定共享经修改的墨水书写的绘图,从而其他人可以使用该墨水书写的绘图。在一些情况下,用户可以选择经修改的墨水书写的绘图以便共享。在其他情况下,内容创建应用400可以自动地询问用户他们是否想要共享经修改的墨水书写的绘图。
在图5B的示例中,可以在内容创建应用400的画布(例如,画布界面405)上显示共享窗口510,以询问用户他们是否想要共享他们的绘图。如果用户想要共享他们的墨水书写的绘图,则该用户可以选择用于共享的命令,例如共享命令515。如果用户不想共享他们的墨水书写的绘图,则该用户可以选择不共享的命令,例如“不了,谢谢”命令520。
参考图5C,可以向用户显示共享绘图窗口530。共享绘图窗口530可以包括所要共享的墨水书写的绘图的缩略图。共享绘图窗口530还可以包括标签输入字段540以允许用户录入墨水书写的绘图的标签。
在图5C的示例中,墨水书写的绘图445的缩略图535可以在共享绘图窗口530被中显示。另外,与墨水书写的绘图445相关联的标签545被显示。标签545包括火山标签、绘图标签、和墨水标签。
当用户准备好上传墨水绘图445时,该用户可以选择用于共享的命令(550),例如共享命令555。
在一些实施例中,共享绘图窗口530可以包括用于其他偏好的分区,例如用于针对数字权限管理的偏好。例如,用户可以决定共享他们的墨水书写的绘图,但是可能不想允许其他用户修改他们的墨水书写的绘图。
参考图5D,如果用户已经上传了新的墨水书写的绘图或者上传了经修改的墨水绘图,则在用户打开内容创建应用400时,该用户可以接收到指示所上传的墨水书写的绘图已经被共享了多少次的通知。
在图5D的示例中,可以向用户显示通知窗口560。通知窗口560例如可以向用户通知“来自内容创建应用社区的51个用户已经共享了他们的墨水书写的绘图”。
图6图示了可以在本文中所描述的某些实施例中使用的计算设备的组件;并且图7图示了可以用来实现在本文中所描述的某些方法和服务的计算***的组件。
参考图6,***600可以表示计算设备,例如但不限于个人计算机、阅读器、移动设备、个人数字助理、可穿戴计算机、智能电话、平板计算机、膝上型计算机(笔记本或上网本)、游戏设备或游戏机、娱乐设备、混合计算机、台式计算机、智能电视,或者电子白板或大形状因子触摸屏。由此,关于***600所描述的更多或更少的元件可以被包含以实现特定的计算设备。
***600包括一个或多个处理器的处理***605以根据存储在存储***615上的软件610的指令来转换或操控数据。处理***605的处理器的示例包括通用中央处理器、专用处理器和逻辑设备,以及任意其他类型的处理设备,它们的组合或变型。处理***605可以连同诸如网络连接组件、传感器、视频显示组件的一个或多个其他组件一起作为片上***(SoC)或者被包括在所述SoC之中。
软件610可以在程序指令中被实现,并且当一般地由***600或特别地由处理***605执行时,指导***600或处理***605的一个或多个处理器按照在本文所描述的那样操作,此外还有其他功能。
软件610可以包括操作***以及诸如提供诸如本文所描述的创作体验的生产力应用620的应用程序。设备操作***总体上控制和协调计算设备中的各个组件的功能,为应用提供了与如网络接口的较低层接口进行连接的更为容易的方式。操作***的非限制性示例包括来自微软公司的来自苹果公司的 iOSTM,来自谷歌公司的 OS,以及来自Canonical的Ubuntu的各种Linux OS。
应当注意的是,操作***可以原生地在计算设备上实施以及在原生设备操作***(OS)的顶端运行的软件虚拟层上实施。尽管在图6中并未描绘,但是虚拟化OS层可以被认为是操作***空间内额外的、嵌套的群组,其中每个群组包含OS、应用程序、和API。
存储***615可以包括能够由处理***605读取以及能够存储包括内容创建应用620的软件610的任何计算机可读存储介质。
存储***615可以包括以用于存储信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动的介质,所述信息例如计算机可读指令、数据结构、程序模块、或其他数据。存储***615的存储介质的示例包括随机存取存储器、只读存储器、磁盘、光盘、CD、DVD、闪速存储器、盒式磁带、磁带、磁盘存储或其他磁性存储设备、或者任何其他合适的存储介质。存储介质在任何情况下都不是暂时性传播信号。
存储***615可以被实现为单个存储设备,但是也可以跨处于同一位置或相对于彼此而分布的多个存储设备或子***来实现。存储***615可以包括额外的元件,例如能够与处理***605进行通信的控制器。
所述***可以还包括用户接口***630,所述用户接口***630包括使得在用户与***600之间能够进行通信的输入/输出(I/O)设备和组件。用户接口***630可以包括输入设备,例如鼠标、轨迹板、键盘、用于接收来自于用户的触摸手势的触摸设备、用于检测用户的非触摸手势和其他运动的运动输入设备、用于检测话音的麦克风、以及可以接收用户输入的其他类型的输入设备以及它们相关联的处理元件。在一些实现中,为了包括所描述的墨水特征,用户接口***630至少包括数字化器。基于触摸的用户输入接口635可以包括具有用于数字化器的感应组件的触摸屏和/或表面。在一些情况中,数字输入笔可以替代基于触摸的用户输入接口635使用或者作为其一部分使用。
用户接口***630还可以包括输出设备,例如显示屏、扬声器、针对触觉反馈的触觉设备、以及其他类型的输出设备。在某些情况下,输入和输出设备可以组合在单个设备中,例如描绘图像并且接收来自用户的触摸手势输入的触摸屏显示器。触摸屏(其可以与显示器相关联或者形成显示器的一部分)是被配置为检测触摸的呈现和位置的输入设备。触摸屏可以是电阻式触摸屏、电容式触摸屏、表面声波触摸屏、红外触摸屏、光学成像触摸屏、分散信号触摸屏、声学脉冲识别触摸屏,或者可以利用任何其他触摸屏技术。在一些实施例中,触摸屏是作为透明层被包含在显示器顶层的,以使得用户能够使用一个或多个触摸来与呈现在所述显示器上的对象或其他信息进行交互。
视觉输出可以以多种方式在显示器(未示出)上描绘,呈现图形用户界面元素、文本、图像、视频、通知、虚拟按钮、虚拟键盘、或者可以以视觉形式描绘的任何其他类型的信息。
用户接口***630还可以包括在各种用户输入和输出设备的支持下由OS所执行的用户接口软件和相关联的软件(例如,针对图形芯片和输入设备的)。相关联的软件在使用所定义机制将用户接口硬件事件传输至应用时对OS进行辅助。包括用户接口软件的用户接口***630可以支持图形用户界面、自然用户界面,或者任意其他类型的用户界面。例如,在本文中所描述的内容创建应用620的画布界面可以通过用户接口***630来呈现。
通信接口640可以包括允许通过一个或多个通信网络(未示出)与其他计算***进行通信的通信连接和设备。共同允许***间通信的连接和设备的示例可以包括网络接口卡、天线、功率放大器、RF电路、收发器、以及其他通信电路。所述连接和设备可以通过通信介质(例如金属、玻璃、空气,或者任何其他合适的通信介质)进行通信以与其他计算***或***的网络交换通信。来往于通信接口的传输是由OS控制的,其在必要时向应用通知通信事件。
本文所描述的诸如由本文所描述的墨水绘图服务执行的那些的某些方面可以在诸如图7所示的***上执行。参考图7,***700可以在单个计算设备内实施或者跨在执行程序指令时进行协作的多个计算设备或子***进行分布。***700可以包括一个或多个刀片服务器设备、独立服务器设备、个人计算机、路由器、集线器、交换机、桥接器、防火墙设备、入侵检测设备、大型计算机、连网存储设备,以及其他类型的计算设备。***硬件能够根据诸如对称多处理(SMP)架构或非均匀存储器访问(NUMA)架构之类的任何合适的计算机架构来配置。
***700可以包括处理***710,所述处理***710可以包括从存储***730获取并执行软件720的一个或多个处理器和/或其他电路。处理***710可以在单个处理设备内被实现,但是也可以跨在执行程序指令时进行协作的多个处理设备或子***进行分布。
存储***730可以包括能够由处理***710读取并且能够存储软件720的任何计算机可读存储介质。存储***730可以被实现为单个存储设备,但是也可以跨同在一处或者相对于彼此进行分布的多个存储设备来实施。存储***730可以包括另外的元件,例如能够与处理***710进行通信的控制器。存储***730还可以包括诸如墨水书写的绘图信息之类的数据在其上存储的存储设备和/或子***。
包括墨水绘图服务745的软件720可以以程序指令来实施,并且除其他功能之外,在被作为整体的***700或者尤其由处理***710所执行时指示***700或者处理***710如本文墨水绘图服务(及其各种组件和功能)所描述地进行操作。
***700可以表示软件720可以驻留于其上并且可以从那里分配、传输、下载或者以其他方式被提供至另一个计算***以便部署、执行、或者进一步分配的任何计算***。
在***700包括多个计算设备的实施例中,服务器可以包括促进计算设备间的通信的一个或多个通信网络。例如,所述一个或多个通信网络可以包括促成计算设备间的通信的局域网和广域网。在计算设备之间可以包括一个或多个直接通信链路。此外,在一些情况下,计算设备能够在地理上分布的位置进行安装。在其他情况下,多个计算设备能够被安装在诸如服务器群或办公室之类的单个地理位置处。
可以包括通信接口750,所述通信接口750提供允许***700和其他计算***(未示出)之间通过通信网络或网络集合(未示出)或在空中进行通信的通信连接和设备。
本文关于内容创建应用和/或墨水服务所给出的某些技术可以在计算机可执行指令的一般上下文中进行描述,所述计算机可执行指令例如由一个或多个计算设备所执行的程序模块。通常而言,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等。
可替代地或另外地,可以至少部分地由一个或多个硬件模块(或逻辑组件)来实现本文中所描述的功能、方法、和过程。例如,硬件模块可以包括但不限于,专用集成电路(ASIC)芯片、现场可编程门阵列(FPGA)、片上***(SoC)***、复杂可编程逻辑器件(CPLD)、以及已知的或后来开发的其他可编程逻辑器件。当硬件模块被激活时,硬件模块执行在硬件模块内包括的功能、方法、和过程。
实施例可以被实现为计算机过程、计算***、或者被实现为制品,例如计算机程序产品或计算机可读介质。在本文中所描述的某些方法和过程可以被实现为可以存储在一个或多个存储介质上的软件、代码、和/或数据。本发明的某些实施例预期使用计算机***为形式的机器,其中当执行一组指令时,可以使得***执行在上文中所讨论的方法中的任何一个或多个方法。某些计算机程序产品可以是可以由计算机***读取的并对用于执行计算机过程的指令的计算机程序进行编码的一个或多个计算机可读存储介质。应当理解的是,如在本文中所使用的,术语“存储介质”、“计算机可读存储介质”、或者“计算机可读存储介质”无论如何都不由暂时性传播信号组成。
应当理解的是,本文所描述的示例和实施例仅是出于说明的目的,并且鉴于此的各种修改和变化将被建议给本领域技术人员并且要被包括在本身的精神和界限之内。
尽管已经以特定于结构特征和/或动作的语言对主题进行了描述,但是应当理解的是,在所附权利要求中所定义的主题不一定限于在上文中所描述的具体特征或动作。相反,在上文中所描述的具体特征和动作被公开为实施权利要求的示例并且其他的等同特征和动作旨在处于权利要求的范围之内。

Claims (15)

1.一种用于增强的上墨的方法,包括:
通过内容创建应用的画布界面来接收墨水笔划;
对所述墨水笔划执行墨水分析以识别由所述墨水笔划绘制的墨水书写的词语;
向墨水绘图服务传送针对墨水结果的请求,所述请求包括所述墨水书写的词语;
从所述墨水绘图服务接收所述墨水结果,所述墨水结果包括具有墨水可修改格式的墨水书写的绘图;以及
提供所述墨水结果以供显示。
2.根据权利要求1所述的方法,还包括:
接收用于将所述墨水书写的绘图***到所述画布界面中的选择;以及
在所述画布界面上***所述墨水书写的绘图以替代所述墨水书写的词语。
3.根据权利要求1所述的方法,还包括:
接收对所述墨水书写的绘图的修改;
保存经修改的墨水书写的绘图。
4.根据权利要求3所述的方法,其中,所述修改包括向所述墨水书写的绘图添加一个或多个墨水笔划,移除所述墨水书写的绘图中一个或多个墨水笔划,或者改变所述墨水书写的绘图的至少一个墨水笔划的参数。
5.根据权利要求4所述的方法,其中,所述参数包括颜色、粗细、方向、起始点、或结束点。
6.一种用于内容创建的***,包括:
基于触摸的用户输入接口;
处理***;
网络接口;
一个或多个存储介质;
存储在所述一个或多个存储介质中的至少一个存储介质上的具有墨水书写的绘图特征的内容创建应用,所述内容创建应用当由所述处理***执行时,指导所述处理***进行以下操作:
经由所述基于触摸的用户输入接口、通过所述内容创建应用的画布界面接收墨水笔划;
对所述墨水笔划执行墨水分析以识别由所述墨水笔划绘制的墨水书写的词语;
经由所述网络接口向墨水绘图服务传送针对墨水结果的请求,所述请求包括所述墨水书写的词语;
从所述墨水绘图服务接收所述墨水结果,所述墨水结果包括具有墨水可修改格式的墨水书写的绘图;以及
提供所述墨水结果以供显示。
7.根据权利要求6所述的***,其中,具有所述墨水书写的绘图特征的所述内容创建应用还指导所述处理***进行以下操作:
接收用于将所述墨水书写的绘图***到所述画布界面中的选择;以及
在所述画布界面上***所述墨水书写的绘图以替代所述墨水书写的词语。
8.根据权利要求6所述的***,其中,具有所述墨水书写的绘图特征的所述内容创建应用还指导所述处理***进行以下操作:
接收对所述墨水书写的绘图的修改;
保存经修改的墨水书写的绘图。
9.根据权利要求8所述的***,其中,所述修改包括向所述墨水书写的绘图添加一个或多个墨水笔划,移除所述墨水书写的绘图中一个或多个墨水笔划,或者改变所述墨水书写的绘图的至少一个墨水笔划的参数。
10.根据权利要求9所述的***,其中,所述参数包括颜色、粗细、方向、起始点、或结束点。
11.具有存储在其上的、用于具有墨水书写的绘图特征的内容创建应用的指令的一个或多个计算机可读存储介质,所述指令当由处理***执行时,指导所述处理***至少进行以下操作:
通过所述内容创建应用的画布界面接收墨水笔划;
对所述墨水笔划执行墨水分析以识别由所述墨水笔划绘制的墨水书写的词语;
向墨水绘图服务传送针对墨水结果的请求,所述请求包括所述墨水书写的词语;
从所述墨水绘图服务接收所述墨水结果,所述墨水结果包括具有墨水可修改格式的墨水书写的绘图;以及
提供所述墨水结果以供显示。
12.根据权利要求11所述的介质,还包括指导所述处理***进行以下操作的指令:
接收用于将所述墨水书写的绘图***到所述画布界面中的选择;以及
在所述画布界面上***所述墨水书写的绘图以替代所述墨水书写的词语。
13.根据权利要求11所述的介质,还包括指导所述处理***进行以下操作的指令:
接收对所述墨水书写的绘图的修改;
保存经修改的墨水书写的绘图。
14.根据权利要求13所述的介质,其中,所述修改包括向所述墨水书写的绘图添加一个或多个墨水笔划,移除所述墨水书写的绘图中一个或多个墨水笔划,或者改变所述墨水书写的绘图的至少一个墨水笔划的参数。
15.根据权利要求14所述的介质,其中,所述参数包括颜色、粗细、方向、起始点、或结束点。
CN201880026040.XA 2017-04-18 2018-04-06 用于内容创建应用的增强的上墨能力 Pending CN110537164A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/490,720 US20180300301A1 (en) 2017-04-18 2017-04-18 Enhanced inking capabilities for content creation applications
US15/490,720 2017-04-18
PCT/US2018/026360 WO2018194853A1 (en) 2017-04-18 2018-04-06 Enhanced inking capabilities for content creation applications

Publications (1)

Publication Number Publication Date
CN110537164A true CN110537164A (zh) 2019-12-03

Family

ID=62152623

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880026040.XA Pending CN110537164A (zh) 2017-04-18 2018-04-06 用于内容创建应用的增强的上墨能力

Country Status (4)

Country Link
US (1) US20180300301A1 (zh)
EP (1) EP3612921A1 (zh)
CN (1) CN110537164A (zh)
WO (1) WO2018194853A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021049602A1 (ja) * 2019-09-13 2021-03-18 株式会社ワコム デジタルインク処理システム、方法及びプログラム
US11605187B1 (en) * 2020-08-18 2023-03-14 Corel Corporation Drawing function identification in graphics applications

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006326895A (ja) * 2005-05-24 2006-12-07 Nova:Kk 絵を押すと声の出る学習カード
US20080104020A1 (en) * 2006-10-27 2008-05-01 Microsoft Corporation Handwritten Query Builder
CN101630240A (zh) * 2009-08-18 2010-01-20 深圳雅图数字视频技术有限公司 电子白板设备及其绘图方法
US20110191334A1 (en) * 2010-02-04 2011-08-04 Microsoft Corporation Smart Interface for Color Layout Sensitive Image Search
US20140250120A1 (en) * 2011-11-24 2014-09-04 Microsoft Corporation Interactive Multi-Modal Image Search
CN105683994A (zh) * 2013-10-28 2016-06-15 微软技术许可有限责任公司 针对降低延迟的数字着墨的湿墨纹理引擎

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AUPS020302A0 (en) * 2002-01-31 2002-02-21 Silverbrook Research Pty. Ltd. Methods and systems (npw007)
US7174042B1 (en) * 2002-06-28 2007-02-06 Microsoft Corporation System and method for automatically recognizing electronic handwriting in an electronic document and converting to text
US20130085855A1 (en) * 2011-09-30 2013-04-04 Matthew G. Dyor Gesture based navigation system
JP6109625B2 (ja) * 2013-04-04 2017-04-05 株式会社東芝 電子機器およびデータ処理方法
US11550993B2 (en) * 2015-03-08 2023-01-10 Microsoft Technology Licensing, Llc Ink experience for images

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006326895A (ja) * 2005-05-24 2006-12-07 Nova:Kk 絵を押すと声の出る学習カード
US20080104020A1 (en) * 2006-10-27 2008-05-01 Microsoft Corporation Handwritten Query Builder
CN101630240A (zh) * 2009-08-18 2010-01-20 深圳雅图数字视频技术有限公司 电子白板设备及其绘图方法
US20110191334A1 (en) * 2010-02-04 2011-08-04 Microsoft Corporation Smart Interface for Color Layout Sensitive Image Search
US20140250120A1 (en) * 2011-11-24 2014-09-04 Microsoft Corporation Interactive Multi-Modal Image Search
CN105683994A (zh) * 2013-10-28 2016-06-15 微软技术许可有限责任公司 针对降低延迟的数字着墨的湿墨纹理引擎

Also Published As

Publication number Publication date
WO2018194853A1 (en) 2018-10-25
US20180300301A1 (en) 2018-10-18
EP3612921A1 (en) 2020-02-26

Similar Documents

Publication Publication Date Title
CN106575195B (zh) 移动设备上的改进的拖放操作
EP3183640B1 (en) Device and method of providing handwritten content in the same
US11288031B2 (en) Information processing apparatus, information processing method, and information processing system
CN105453612B (zh) 消息服务提供装置以及经由其提供内容的方法
CN105393200B (zh) 用户接口反馈元素
CN105378599A (zh) 交互式数字显示器
US20140304586A1 (en) Electronic device and data processing method
CA2879057A1 (en) Method and apparatus for controlling application by handwriting image recognition
CN107066426A (zh) 在将数据变换成可消费内容时创建变型
CN104040469A (zh) 在基于笔的计算***中的内容选择
JP5813792B2 (ja) システムおよびデータ提供方法並びに電子機器
CN107209863A (zh) 信息处理装置和程序
CN105723323A (zh) 用于在不同屏幕上显示应用数据的远程控制
CN107122113A (zh) 生成图片的方法及装置
CN105659202A (zh) 探测多悬停点设备的主要悬停点
US11960819B2 (en) Techniques for document creation based on image sections
CN110506264A (zh) 针对实时协作的实况墨水呈现
US20180300541A1 (en) Analog strokes to digital ink strokes
CN107111441A (zh) 多级用户界面
CN110537164A (zh) 用于内容创建应用的增强的上墨能力
KR20180111242A (ko) 채색 가능한 콘텐트를 제공하는 전자 장치 및 그 방법
US10970476B2 (en) Augmenting digital ink strokes
CN105119954B (zh) 文件传输方法、装置及***
US20220114367A1 (en) Communication system, display apparatus, and display control method
KR20160080386A (ko) 메모지와 스티커 기반 스마트 단말의 앱화면 구성 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20191203

WD01 Invention patent application deemed withdrawn after publication