CN110235126A - 通过笔感知式外壳程序捕获笔输入 - Google Patents

通过笔感知式外壳程序捕获笔输入 Download PDF

Info

Publication number
CN110235126A
CN110235126A CN201880008468.1A CN201880008468A CN110235126A CN 110235126 A CN110235126 A CN 110235126A CN 201880008468 A CN201880008468 A CN 201880008468A CN 110235126 A CN110235126 A CN 110235126A
Authority
CN
China
Prior art keywords
ink data
data structure
pen
application program
electronic equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880008468.1A
Other languages
English (en)
Inventor
A·P·维尔马
S·A·贝兰德
O·奥凯
W·M·杰拉奇二世
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN110235126A publication Critical patent/CN110235126A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/171—Editing, e.g. inserting or deleting by use of digital ink
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本文描述的电子设备被配置为增强与在电子设备的触摸屏上使用笔相关联的用户体验。在触摸屏上的笔的接触由持久的、笔感知式外壳程序检测，该持久、笔感知式外壳程序在电子设备的整个操作过程中占据一些或全部的触摸屏用户界面。所检测到的与触摸屏的笔接触被捕获/收集作为笔输入，并被用于执行所述电子设备的功能，或与应用程序共享，以使得该应用程序可基于该笔输入执行功能。用户、或操作***自动地、或两者联合选择被执行的功能或与之共享笔输入的应用程序。通过持久的笔感知式外壳程序自动地捕获笔输入，提供了使用电子设备的笔/触摸屏能力的一种直观的方式。

Description

通过笔感知式外壳程序捕获笔输入
背景技术
电子设备比如个人计算机、笔记本电脑、移动电话等越来越多地配备有触摸屏或类似的界面，使得用户能够通过触笔、笔或笔状装置书写或绘制来提供输入。例如，包括触摸屏作为主要用户界面的平板电脑已成为具有键盘、鼠标等的传统笔记本电脑的流行的替代品。在触摸屏上通过手来绘制或书写的能力提供了相关于可能输入的基本的灵活性。然而，许多现代应用程序的用户界面在正常使用期间很难适应书写和画图功能。
笔或笔状装置典型地要求激活笔输入捕获软件/技术的步骤，比如按下或切换按钮、选择笔输入模式、激活笔兼容的应用程序等。这个预备步骤使用带有电子设备的笔不直观且更不方便，例如，与在纸上使用笔书写相比。为了激活笔兼容模式，应用程序可要求用户去选择一个特定的按钮，或根本不以有用的方式支持笔输入。此外，显示桌面的触摸屏用户界面或没有任何激活的笔兼容的应用程序的默认界面可能不包括处理笔输入的能力。对于现有***，当尝试快速使用该笔/触摸屏的能力时，用户体验可能是笨重的或不愉快的。
发明内容
提供此发明内容是为了介绍一些简化形式的构思选项，其将在下面的具体实施方式中进一步描述。此发明内容不是旨在确定所要求保护的主题的关键特征或必要特征，也不是旨在用于限制所要求保护的主题的范围。
计算机化的方法包括：跨越整个桌面的背景执行持久的外壳程序(shell)，当检测到该笔接触到该背景时，通过该持久的外壳程序捕获笔输入，将该捕获的输入转换为墨水数据结构，并且与应用程序共享该墨水数据结构或基于该墨水数据结构自动地执行功能。
通过参考以下结合附图考虑的具体实施方式，将更容易理解许多伴随特征，因为其变得更好理解。
附图说明
从以下根据附图阅读的具体实施方式中将更好地理解本说明书，其中：
图1示出了根据一个实施例的包括电子设备和相关联的笔的***；
图2示出了根据一个实施例的包括笔感知式外壳程序和墨水数据管理器的电子设备的框图；
图3示出了根据一个实施例的笔/设备接口，操作***，和应用程序间的相互作用的示意图；
图4示出了根据一个实施例的通过笔感知式外壳程序接收笔输入、将笔输入转换为墨水数据结构、并且管理该墨水数据结构的方法的流程图；
图5示出了根据一个实施例的通过笔感知式外壳程序捕获笔输入、将笔输入转换为墨水数据结构、使笔感知应用程序被选择，并且与该所选的笔感知应用程序共享该墨水数据结构的方法的流程图；
图6A-6B示出了根据一个实施例的通过笔感知式外壳程序捕获的笔输入的截屏之前和截屏之后；和
图7以功能框图方式示出了根据一个实施例的计算装置。
在图1至图7中，所述***作为示意图被示出，附图可能不按比例绘制。
具体实施方式
以下结合附图提供的具体实施方式旨在作为多个实施例的描述，而不是为了表示实施例可被构造、实现、或利用的唯一形式。尽管本文中实施例可被描述和阐明为在比如服务器、个人计算机、移动设备等的设备中被实现，但是这仅仅是示例性的实现方式而非限制。如本领域技术人员将理解的，本实施例适用于各种不同类型的计算设备，例如，PC、服务器、笔记本电脑、平板电脑等。
本文使用术语“计算机”、“计算设备”、“移动设备”等指代任何具有处理能力的设备，以致它可以可执行命令。本领域的技术人员将意识到，这种处理能力被包含到许多不同的设备中并且因此该术语“计算机”和“计算设备”的每一个可包括PC、服务器、笔记本电脑、移动电话(包括智能手机)、平板电脑、媒体播放器、游戏主机、个人数字助手、和许多其他设备。
下面所描述的电子设备被配置成增强与在所述电子设备的触摸屏上使用笔相关联的用户体验。在电子设备的整个运作过程中占用触摸屏用户界面的一些或全部的持久的、笔感知式外壳程序(程序)检测笔在触摸屏上的接触。将在该触摸屏上所检测到的笔接触捕获/收集作为笔输入并且用于执行该电子设备的功能或与应用程序共享以便该应用程序可基于该笔输入执行功能。用户或操作***自动地、或两者联合选择与之共享该笔输入的应用程序或要执行的功能。通过该持久的、笔感知式外壳程序自动地获取笔输入，提供了使用电子设备的笔/触摸屏能力的一种直观的方式。本公开提供了包含在支持触摸屏的设备上使用笔或笔式设备的流畅和简单的用户体验。
图1示出了根据一个实施例的包括电子设备102和相关联的笔104的***100。电子设备102和笔(或笔设备)104可以是相关联的或链接的以便电子设备102和笔104相互回应。在一个例子中，笔104可与电子设备102唯一地相关联以致其他笔或类似设备与电子设备102不交互或不同地交互。
电子设备102包括屏幕界面。该屏幕界面可经由(一个或多个)触摸传感器、(一个或多个)压力传感器、(一个或多个)基于电容的传感器等接收输入。该输入可以是形状、表达式、符号、笔迹等。在一个例子中，为了向电子设备102提供输入，笔104可以用来触摸、接触、按压屏幕界面、或以另外的方式与屏幕界面交互。
笔104可包括使得笔104与电子设备102、笔104的用户、或其他电子设备等交互的电子部件。例如，笔104可包括无线通信接口，即使当笔104没有与电子设备102接触时，该无线通信接口也能使得笔104与电子设备102无线地通信(经由WiFi、蜂窝网络、蓝牙、其他射频通信等)。此外，笔104可包括按钮、开关、和/或笔104的用户可用来与笔104和/或笔104的电子部件交互的其他输入接口。此外或作为替代，笔104可包括能够检测笔104的运动、方向、角度、手势等的压力感知器、运动感知器、加速器、陀螺仪传感器等。
在一些例子中，电子设备102检测笔104距电子设备102的接近度。笔104发送、传输、或以其他方式无线地发送信号，电子设备102可接收和解读该信号以确定笔104相对于电子设备102的接近度。例如，笔距电子设备102的接近度的检测可包括解读作为笔接近度指标的来自笔104的无线信号的信号强度。当笔104接近电子设备102时，该无线信号的信号强度可以很强；并且当笔104从电子设备102移开时，该无线信号的信号强度变得较弱。作为替代或额外地，该笔可向电子设备102传输描述笔运动、笔方向、笔角度等的信息，该信息被电子设备102用来进一步确定笔104相对于设备102的位置和/或接近度。
在一个例子中，电子设备102通过至少部分地检测来自笔104的无线信号的信号强度来检测笔104的接近度。笔接近阈值被定义为包括信号强度阈值，以致当超过信号强度阈值时，电子设备102确定笔104在笔接近度阈值内。
图2示出了根据一个实施例的电子设备202的框图，电子设备202包括持久的、笔感知式外壳程序210和墨水数据结构管理器212。电子设备202包括用户界面206、包括感知式外壳程序210和墨水数据结构管理器212的操作***208、(一个或多个)应用程序214、和网络接口216。用户界面206包括输入界面218和输出界面220。
在一个例子中，用户界面206包括触摸屏。输入界面206包括触摸屏的一层或部分，该触摸屏的一层或部分检测在触摸屏上的接触、按压等的位置。触摸屏上无论是由用户的手指、笔、触笔等引起的接触通过输入界面218进行检测并被解读为向用户界面206的输入。输出界面220包括触摸屏的一层或部分，该触摸屏的一层或部分可显示、呈现、或者以其它方式输出信息给电子设备202的用户。输出界面220可显示颜色、形状、字母等以将输出信息传送给电子设备的用户。
可替代或额外地，输入界面218可从如上关于图1所描述的链接到上述电子设备202的笔设备(例如笔104等)接收输入。该笔设备和电子设备202可经由电子设备202的网络接口216进行通信。
输入界面218可包括其他接口，比如键盘、鼠标、开关、按钮、麦克风、摄像头、运动检测器等。输入界面218的这些部件还使用户能够输入信息到电子设备202中。例如，与输入界面218相关联的摄像头可检测用户的手势并且解读该手势作为输入信息的一种形式。例如，该摄像头和输入界面218可与增强现实设备和/或虚拟现实设备相关联。
输出界面220还可包括扬声器、振动部件、投影仪部件等。输出界面220的这些部件使电子设备202能够向用户传送输出信息。例如，输出界面220的振动部件可振动来向电子设备202的用户提供通知。
操作***208是软件部件，其被配置为：执行电子设备202的内核软件操作和提供其上执行其他软件部件的平台。应该理解的是：操作***208根据计算机科学、计算机工程等领域的普通技术人员所理解的典型方法运行。此外操作***208包括笔感知式外壳程序210和墨水数据管理器212。
笔感知式外壳程序210包括可与用户界面206交互的软件，包括接收与笔设备(例如笔104等)或与接触用户界面206的其他对象相关联的笔输入数据。笔感知式外壳程序210可监控输入界面218或输入界面218的一部分以监控笔设备或其他对象的接触。当检测到笔设备的接触时，笔感知式外壳程序210收集该笔设备的接触点由于书写或绘画的移动的形式的笔输入，检测在书写或绘画等期间由于拿起笔并将其放回原位的多次接触。笔感知式外壳程序210还可确定何时完成收集笔输入并且将所收集的笔输入转移到墨水数据管理器212。
在一个例子中，所述笔感知式外壳程序在电子设备的整个运作过程中持续激活的。可选地，笔感知式外壳程序可基于所检测到的笔设备(例如笔104等)与电子设备接近和/或接近度而变为激活的。
在一些例子中，所述笔感知式外壳程序是与操作***相关联的用户级应用程序，并且不是第三方应用程序。
墨水数据管理器212是与操作***208相关联的软件部件，该墨水数据管理器212可从笔感知式外壳程序210接收笔输入，将笔输入转换为墨水数据结构，选择应用程序作为该墨迹数据结构的目的，并且向该所选的应用程序发送该墨水数据结构。在一个例子中，向所选的应用程序发送该墨水数据结构可包括触发要发送到该所选应用程序的笔事件。可替代地或额外地，墨水数据管理器212基于该墨水数据结构可确定要执行的功能。在一些例子中，墨水数据管理器212可以是笔感知式外壳程序210的一部分或以其他形式与笔感知外壳程序210紧密相关联。
在一个例子中，墨水数据结构可包括绘制线、点、符号、字母、表达式等的数据表示。该表示可以是矢量图形、位图、其他图象表示等的形式，并且可包括原始墨水数据、相关联的转录文本(如果有的话)、目标应用程序要执行的动作(如果有的话)、笔感知式外壳程序要执行的事件(如果有的话)、当绘制该墨水时的时间戳等。
通过在用户界面上使用笔设备书写，笔感知式外壳程序210与墨水数据管理器212联合向用户提供对操作***的服务的访问。例如，笔感知式外壳程序210与墨水数据管理器212可使得用户能够通过在用户界面206的笔感知式外壳程序210上书写功能指令来执行该功能指令。此外，通过书写名字、代码、或与应用程序相关联的指令可执行(一个或多个)应用程序214。绘制的图案或书面的文字和/或短语可被解读为与功能和/或应用程序是相关联的，以致在笔感知式外壳程序210上书写或绘制它们可引起该功能被执行，或该应用程序被运行、激活等。
(一个或多个)应用程序214是被安装在电子设备202上的软件部件。在一个例子中，应用程序214使用操作***208作为执行指令和/或向电子设备202的用户提供功能的平台。例如，应用程序214可以是文字处理应用程序、电子邮件应用程序、网页浏览器、消息应用程序、游戏等。需要明白，在不脱离本文描述的范围的情况下，应用程序214可以是本领域普通技术人员已知的任何应用类型。
在一个例子中，应用程序214包括笔事件handler(处理器)部件，该笔事件handler部件被配置为接收、检测由操作***触发的笔事件和/或对该笔事件做出反应(例如从墨水数据管理器212接收墨水数据结构等)。应用程序214的笔事件handler可引起基于所收到的墨水数据结构执行功能、笔兼容控件(control)的激活、用户界面的重绘等。
在一个例子中，应用程序214缺乏解读由墨水数据管理器212发送的墨水数据结构的能力。在这种情况下，墨水数据管理器212可进一步转换该墨水数据结构为应用程序214兼容的形式。应用程序214可包括一个或多个由墨水数据管理器212使用以确定墨水数据结构的兼容格式的应用程序接口(API)。这些API可由墨水数据管理器212调用和/或激活以与应用程序214共享兼容格式的墨水数据结构。
可替代地，应用程序214可被配置为包括处理传入的墨水数据结构的功能。应用程序214可包括一个扩多个接收墨水数据结构作为输入的API，并且为了给应用程序214提供墨水数据结构，墨水数据管理器212可调用该API。在一个例子中，地图应用程序包括基于所收到的墨水数据结构执行的一个或多个默认功能。例如，该地图应用程序可基于对该墨水数据结构的解读，尝试将墨水数据结构解读为地址、十字路口、方向的请求等。
在一个例子中，笔感知式外壳程序210占用用户界面206的全部屏幕并且不显示激活的(一个或多个)应用程序214。例如，仅显示图形“桌面”。笔感知式外壳程序210在用户界面210的任何部分上检测作为笔输入的书写和/或绘制，并且作为检测到的书写和/或绘制的结果，使一项功能被执行和/或应用程序被运行或激活。
在一个替代的例子中，用户界面206在屏幕的一部分上显示激活的、笔识别的、或笔兼容的、能够处理笔输入的应用程序。笔感知式外壳程序210占据没有被笔感知应用程序覆盖的屏幕剩下部分，因为该笔感知应用程序被认为是重叠、或覆盖笔感知式外壳程序210。在被该笔感知应用程序占据的屏幕的部分上的书写和/或绘图由该笔感知应用程序而不是笔感知式外壳程序210处理。然而，在没被该笔感知应用程序占据的屏幕的部分上的书写和/或绘图由笔感知式外壳程序210而不是该笔感知应用程序处理。此外该笔感知应用程序可以只是部分笔感知的，以致被该应用程序占据的用户界面206的一部分可以是非笔感知的。在这种情况下，笔感知式外壳程序210可处理或不处理在该非笔感知的应用程序的部分上的书写和/或绘图。
在一个另外的例子中，用户界面206在屏幕的一部分上显示了一个激活的应用程序，该应用程序无法处理笔输入。笔感知式外壳程序210占据整个屏幕，包括被该激活的应用程序覆盖的屏幕的部分。因为该应用程序不能处理笔输入，笔感知式外壳程序210可以处理在被该激活的应用程序覆盖的屏幕的部分上的书写或/绘画。此外，墨水数据管理器212可将墨水数据结构从在被该应用程序占用的部分中的笔输入转换或以其他方式转变成与应用程序兼容的格式。所转换的墨水数据结构可以以兼容的格式提供给应用程序以供该应用程序使用。
网络接口216提供电子设备202可通过其与其他电子设备、计算设备、接入点等通信的接口。网络接口216可提供对网络通信的一个或多个信道的访问，包括有线网络连接、无线网络连接等。在一些例子中，被描述为电子设备202组成部分的部件反而可位于电子设备202的外部并且经由网络接口216被电子设备202访问。
在一个例子中，电子设备包括用户界面、至少一个处理器、和至少一个包括计算机程序代码的存储器。该计算机程序代码被配置成：与至少一个处理器一起，使电子设备至少执行至少占据所述用户界面的至少一部分的笔感知式外壳程序；当在该用户界面上检测到来自笔设备的接触时，通过笔感知式外壳程序捕获来自笔设备的输入；当该笔感知式外壳程序确定来自该笔设备的输入的捕获完成时，将所捕获的输入转换成墨水数据结构并且基于该墨水数据结构执行功能。
图3示出了根据一个实施例的笔/设备界面(例如用户界面206等)、操作***(例如操作***208等)、和应用程序(例如应用程序214等)间的交互的示意图。该笔/设备接口在302将笔数据发送到操作***。在304，操作***接收该笔数据并且确定该笔是否在被该笔感知式外壳程序占据的界面部分中。如果在，在306，该操作***(例如笔感知式外壳程序210等)捕获笔输入。将该笔输入在308转换成墨水数据结构(例如通过墨水数据管理器212等)。在310，该操作***(例如墨水数据管理器212等)选择用于墨水数据结构目的地的应用程序。在312，该操作***将该墨水数据结构发送到所选的应用程序，或与所选的应用程序共享该墨水数据结构。当接收该墨水数据结构时，所选的应用程序(例如应用程序214等)在314基于所收到的墨水数据结构执行功能。
由所述接口在302发送的笔输入可包括：在该界面上的所述笔接触的位置的坐标或相似表示。所述操作***经由笔感知式外壳程序接收位置表示并且将其与被所述笔感知式外壳程序占据的界面的部分进行比较。该笔感知式外壳程序可占据该界面的全部，或如上所述它可只占据该界面的一部分。在304的比较表明该操作***是否继续所述笔感知式外壳程序输入过程。
在306捕获笔输入可包括当笔接触表面、在表面上移动、暂时从表面抬起以及与表面重新接触等时，在用户界面上收集笔接触位置的数据表示。所捕获的笔输入可包括描述书写和/或绘制笔输入的部分的顺序的顺序数据和/或时序。
在一个例子中，所述应用程序和/或所述操作***可识别笔输入何时完成以便于确定何时将笔输入转换为墨水数据结构。例如，可定义暂停阈值以致当一个激活的笔输入会话已经空闲了超过该暂停阈值的一段时间，该笔输入会话被认为是完成的。被认为是完成的笔输入可引起该笔感知式外壳程序(例如笔感知式外壳程序210等)将所搜集到的笔输入发送到墨水数据管理器(例如墨水数据管理器212等)。替代地或另外地，可由笔的用户绘制定义的符号、按压笔或电子设备上的按钮、双击笔、翻转笔、或其他输入方法来用信号通知笔输入的完成。
当所述笔输入已经被收集，笔感知式外壳程序将笔输入发送到墨水数据管理器用于在308的转换。该笔输入可以被转换为墨水数据结构，该墨水数据结构包括笔输入的绘制的线、点、符号、字母、表达式等的数据表示。该表示可以是矢量图形、位图、其他图像等的形式。
在310中，所述墨水管理器选择用于墨水数据结构目的地的应用程序。可通过向电子设备的用户提供可用的、笔兼容的应用程序的选项以供选择来选择该应用程序(例如应用程序214等)。该电子设备可追踪安装在电子设备上的或以其他方式在电子设备上可用的笔兼容的应用程序，以致笔兼容的应用程序的列表可向用户显示以便选择墨水数据结构目的地应用程序。可在列表、包含与应用程序相关联的图标的窗口中等向用户提供应用程序的选项。该列表可以基于该应用程序的过去使用频率，基于与墨水数据结构的相关性等按字母顺序排序。
在一个例子中，笔兼容的应用程序的列表包括能够处理墨水数据结构的应用程序。此外，该笔关联的应用程序列表可包括不能处理墨水数据结构的应用程序，但是该应用程序可处理墨水数据管理器能够将墨水数据结构转换后的格式的数据。
可替代地或额外地，给电子设备的用户提供可用的、笔兼容的应用程序的子集以供选择。在一个例子中，墨水数据管理器基于过去的使用频率选择应用程序的子集。如果一个应用程序经常与墨水数据结构一起使用，该应用程序在所提供的应用程序子集中可显现作为第一选项或高优先级选项。如果一个应用程序没有和墨水数据结构一起使用过，或很少被选来与墨水数据结构一起使用，该应用程序可作为低优先级选项，或根本不作为一个选项向用户显现。可向用户显示限定数量的最高优先级应用程序以供选择(例如一个应用程序、三个应用程序、六个应用程序等)。此外，可提供“更多应用程序”选项，使用户能够从最初没有显示的较低优先级应用程序中进行选择。
可基于墨水数据结构的上下文来选择所述应用程序的子集。例如，如果墨水数据结构被解读为包括日期和/或时间，该应用程序的子集可包括日历应用程序，可基于墨水数据结构在该日历应用程序上创建约会。如果墨水数据结构被解读为包括地址，该应用程序的子集可包括地图应用程序，用户可使用该地图应用程序基于墨水数据结构找到去该地址方向。此外，如果墨水数据结构包括项目的列表(例如项目符号列表、编号列表等)，该应用程序的子集可包括笔记记录应用程序，其中可基于墨水数据结构创建包括项目列表的新的笔记。
在一个例子中，基于书写/绘制所述墨水数据结构的界面的位置来选择该应用程序的子集。所述墨水数据管理器基于该书写/绘制的墨水数据结构距与(一个或多个)所选应用程序相关联的图标的接近度，选择提供给用户的(一个或多个)应用程序。例如，如果该墨水数据结构被书写/绘制接近与消息应用程序相关联的图标，该应用程序的子集可包括附近的消息应用程序，以致该墨水数据结构的文本可作为消息被发送。
用户可通过选择或以其他方式指明所提供的应用程序(例如用鼠标点击应用程序等)，选择所提供的应用程序作为墨水数据结构的目的地。可替代地，用户可通过将所绘制/书写的墨水数据结构拖拽和放到所提供的应用程序列表或界面的其他区域(例如桌面图标、应用程序窗口等)上的应用程序的图标/表示上，来选择所提供的应用程序。例如，用户在电子设备的用户界面上用笔写下“lunch？”，然后将该消息拖拽到消息应用程序的联系人列表上的联系人条目上。然后，该消息应用程序将包括“lunch？”的消息发送给所选联系人。
可替代地或额外地，在310选择用于墨水数据结构目的地的应用程序可包括通过墨水数据管理器自动地选择应用程序。如上所述墨水数据管理器可基于如上所述的应用程序的定义的优先级和/或可基于如上所述的该墨水数据结构的上下文来选择应用程序。例如，该墨水数据结构可被解读为包括与特别应用程序相关联的关键字、或符号作为上下文。如果该墨水数据结构以关键字“消息”开头，则该墨水数据管理器选择消息应用程序，可利用该消息应用程序发送与该墨水数据结构相关联的消息。符号比如绘制的星星或类似图案可与应用程序比如笔记记录应用程序相关联。例如，当墨水数据结构被解读为包括星星符号时，墨水数据管理器选择相关联的笔记记录应用程序，利用该笔记记录应用程序可将墨水数据结构的文本保存到笔记文件中。
在一个例子中，通过墨水数据管理器在310自动地选择用于墨水数据结构目的地的应用程序包括：基于该墨水数据结构被绘制/书写在界面的位置选择应用程序。该墨水数据管理器基于该绘制/书写的墨水数据距与所选应用程序相关联的图标的接近度来选择应用程序。例如，如果该墨水数据结构被绘制/书写接近与消息应用程序相关联的图标，则该墨水数据管理器选择附近的消息应用程序作为目的地，以致该墨水数据结构的文本可作为消息发送。
在一些例子中，代替基于选择目的地应用程序，或除了选择目的地应用程序之外，所述操作***(例如墨水数据管理器212等)可基于墨水数据结构执行功能。与如上述应用程序的选择一样，用户可从提供的一组功能中选择基于墨水数据结构要执行的功能。可替代地或额外地，如上面关于自动选择的(一个或多个)应用程序所描述的那样，该操作***基于预先定义的(一个或多个)功能定义和/或墨水数据结构的上下文可自动地选择要执行的功能。基于该墨水数据结构选择的要执行的功能可包括打开、保存、关闭、删除、移动、复制文件或以其他方式与文件交互；关闭所述电子设备或以其他形式引起该电子设备进入睡眠模式；与网络连接和/或断开；搜索文件；运行网络搜索；调整电子设备的设置；和/或以其他形式运行指令。在一些例子中，该操作***可保存和/或维护所有进入的墨水数据和基于用户偏好执行的相关功能等的历史。
当一个应用程序(例如应用程序214等)收到墨水数据结构，或基于墨水数据结构的数据的其他格式时，在314该应用程序可基于该墨水数据结构执行功能。该应用程序可包括被定义为与该墨水数据结构相关联的一个或多个功能。例如，消息应用程序可包括发送消息的功能，该消息包括来自所接收到的墨水数据结构的文本。此外，当墨水数据结构包括用于增加联系人的关键字或符号(比如“增加”或加号)时，消息应用程序还包括基于该墨水数据结构的文本将联系人增加到联系人列表的功能。
图4示出了根据一个实施例的通过笔感知式外壳程序接收笔输入、将笔输入转换为墨水数据结构、并且管理墨水数据结构的方法400的流程图。该方法400包括：在402，跨越桌面的背景执行持久的外壳程序；在404，当检测到笔接触背景时，在406通过该持久的外壳程序捕获来自笔的输入；在408，将捕获到的输入转换为墨水数据结构；和在410，与应用程序共享墨水数据结构或基于该墨水数据结构自动地执行功能。
在一些例子中，与应用程序共享所述墨水数据结构包括：选择与之共享该墨水数据结构的应用程序。可由用户从多个提供的应用程序中选择该应用程序和/或基于与该墨水数据结构相关联的文本自动地选择该应用程序。应用程序的用户选择可包括：用户拖拽该墨水数据结构并放到与目标应用程序相关联的图标上。
此外，基于墨水数据结构执行功能可包括基于墨水数据结构确定功能指令并且执行所确定的功能指令。要执行的功能可包括运行应用程序、打开文件、搜索目录、使用互联网搜索引擎搜索、或调整电子设备的设置。
图5示出了根据一个实施例的通过笔感知式外壳程序捕获笔输入、将笔输入转换为墨水数据结构、使笔感知应用程序被选择、并且与所选的笔感知应用程序共享该墨水数据结构的方法。该方法500包括：在502，跨越所述用户界面的至少一部分执行笔感知式外壳程序；当在504在笔感知式外壳程序上检测到笔输入时，在506通过笔感知式外壳程序捕获该笔输入；在508将该笔输入转换为墨水数据结构；在510使应用程序基于与该墨水数据结构相关联的上下文被选择；和在512与所选择的应用程序共享该墨水数据结构。
使应用程序被选择还可包括：通过墨水数据管理器自动地基于在墨水数据结构中的关键字和/或符号选择应用程序，和/或给用户提供多个应用程序以供用户选择。
图6A-6B示出了根据一个实施例的通过笔感知外壳程序602A和602B捕获笔输入608B之前和之后的截屏600A和600B。该截屏600A阐明本文所描述的电子设备的笔感知式外壳程序602A。所示出的界面还包括联系人图标604A和任务栏606A。该联系人图标604A示出了与联系人相关联的图像并且与联系人图标604A与和代表的联系人的一种或多种通信方法相关联。例如，该图标604A可用于经由消息应用程序、电子邮件应用程序等与代表的联系人通信。该任务栏606A示出了与被安装或以其他形式出现在电子设备上的应用程序相关联的图标。在任务栏606A上的应用程序可以是当前激活的、激活但在后台的、可用于执行的等。例如，该任务栏606A可包括应用程序比如网络浏览器、电子邮件应用程序、文字处理或其他办公应用程序、消息应用程序等。该笔感知式外壳程序602A占据所述界面的桌面，以致用户可在该界面上可书写或绘制并且该笔感知式外壳程序602A如本文所描述的可捕获该书写或该绘制(笔输入)。
所述截屏600B示出了已经由所述笔以笔输入608B的形式在其上书写的笔感知式外壳程序602B。该笔输入608B在桌面上以蓝墨水以文字“lunch？”的形式被显示在笔感知式外壳程序602B上。高亮联系人图标604B，看起来比其他联系人图标更大和更不透明。用户将笔输入608B拖拽和放到联系人图标604B，双击联系人图标604B、或以其他方式选择联系人图标604B以便于将包括笔输入608B的文本内容发送到代表的联系人。可替代地，选择任务栏606B的应用程序与笔输入608B相关联。例如，可选择电子邮件应用程序，使得能够创建在标题和/或正文包括笔输入608B的文本的电子邮件草稿。在另外一个例子中，可选择互联网浏览器应用程序使得能够运行关于笔输入608B的文本的互联网搜索并且在所选的互联网浏览器上显示结果。
图7以功能框图的形式示出了根据一个实施例的计算装置718。在一个实施例中，根据说明书所述的一个或多个实施例，计算装置718的部件可被实现为电子设备和/或计算设备的一部分。该计算装置718包括用于处理计算机可执行命令来控制该电子设备的运作的一个或多个处理器719，该处理器可以是微型处理器、控制器或任何适当类型的处理器。包括操作***720的平台软件或任何适当的平台软件可被提供在装置718上使得应用程序软件721能够在设备上被执行。根据一个实施例，执行笔感知式外壳程序、收集笔输入、将笔输入转换为墨水数据结构、和应用程序共享该墨水数据结构或基于墨水数据结构来执行功能可由软件来完成。而且，它经由网络或其他类型的通信链路可从其他计算设备接收关于笔输入、墨水数据结构、墨水数据结构上下文的网络通信。
计算机可执行命令可使用任何可被计算装置718访问的计算机可读介质来提供。计算机可读的介质可包括，例如计算机存储介质比如存储器722和通信介质。计算机存储介质比如储存器722，包括以用于存储诸如计算机可读命令、数据结构、程序模块等信息的任何方法或技术实现的易失性和非易失性,可删除和非可删除介质。计算机存储介质包括但不限于RAM、ROM、EPROM、EEPROM、闪存或其他内存技术、CD-ROM、数字多功能盘(DVD)或其他光学存储器、盒式磁带、盘式磁带、磁盘存储、或其他磁存储设备、或其他任何可用于储存被计算装置访问的信息的非传输介质。相反，在诸如载波或其他传输机制的调制数据信号中，通信介质可体现计算机可读命令、数据结构、程序模块等。如本文定义的，计算机存储介质不包括通信介质。因此，计算机储存介质不应该被解释为传播的信号本身。传播的信号本身不是计算机储存介质的例子。尽管计算机储存介质(储存器722)在计算装置718中被示出，但是本领域的技术人员将理解该储存装置可以是分发的或远程地定位的、并且可经由网络或其他通信链路(例如使用通信接口723)被访问。
计算装置718可包括输入/输出控制器724，该输入/输出控制器724被配置为将信息输出到一个或多个输出设备725，例如显示器或扬声器，其可与所述电子设备分开或一体化。该输入/输出控制器724还可被配置为接收和处理来自一个或多个输入设备726(例如键盘、麦克风、或触摸板)的输入。在一个实施例中，输出设备725还可充当输入设备。这样设备的一个例子可以是触敏显示器。该输入/输出控制器724还可将数据输出到输出设备以外的设备，例如本地连接的打印设备。
通过一个或多个硬件逻辑部件，可以执行本文描述至少部分的功能。根据一个实施例，计算装置718可由被处理器719执行的该程序代码配置以执行所述的操作和功能的实施例。可替代地或额外地，通过一个或多个硬件逻辑部件，可至少部分地执行本文描述的功能。例如，但不限于，可使用的示例类型的硬件逻辑组件包括现场可编程门阵列(FPGA)、应用专用集成电路(ASIC)、程序专用标准产品(ASSP)、片上***(SOC)、复杂可编程逻辑器件(CPLD)、图形处理单元(GPU)。
尽管本实施例的一些可以被描述和被示出为在智能手机、移动电话、或平板电脑中实现，但是他们只是设备的例子而不是限制。如本领域技术人员将意识到的，本实施例适用于各种不同类型的设备中的应用程序，所述设备比如手提和移动设备，比如在笔记本电脑、平板电脑、游戏机主机和游戏机控制器、各种穿戴设备等。
作为替代或附加于本文所描述的其他示例，这样的示例包括以下的任何组合：
一种电子设备，包括：
用户界面；
至少一个处理器；和
至少一个储存器，包括：计算机程序代码，所述至少一个储存器和该计算机程序代码被配置为与该至少一个处理器一起，使得所述电子设备至少：
执行笔感知式外壳程序，该笔感知式外壳程序占据该用户界面的至少一部分；
当在该用户界面上检测到来自笔设备的接触时，通过笔感知式外壳程序捕获来自该笔设备的输入；
当笔感知式外壳程序确定对来自笔设备的所述输入的捕获完成时，将所捕获的输入转换为墨水数据结构；和
基于该墨水数据结构，执行功能。
上述的电子设备，其中基于所述墨水数据结构执行功能包括与应用程序共享该墨水数据结构。
上述的电子设备，其中与应用程序分享该墨水数据结构包括选择与之共享该墨水数据结构的应用程序。
上述的电子设备，其中选择应用程序包括基于与该墨水数据结构相关的上下文选择应用程序。
上述的电子设备，其中选择应用程序包括提供供用户选择的多个应用程序。
上述的电子设备，其中所述多个应用程序是基于一组定义的应用程序。
上述的电子设备，其中所述多个应用程序是基于与所述墨水数据结构相关联的上下文。
上述的电子设备，其中与所述墨水数据结构相关联的上下文包括与至少一个应用程序相关联的关键字或符号中的至少一个。
上述的电子设备，其中所述用户界面被笔兼容的应用程序部分地占据；并且其中所述笔感知式外壳程序占据未被该应用程序占据的用户界面的剩余部分。
上述的电子设备，其中所述用户界面被非笔兼容的应用程序部分地占据；并且其中笔感知式外壳程序占据的用户界面部分包括非笔兼容的应用程序。
一种方法包括：
跨越桌面的背景执行持久的外壳程序；
当检测到笔接触该背景时，通过该持久的外壳程序捕获来自笔的输入；
将该捕获的输入转换为墨水数据结构；和
与应用程序共享该墨水数据结构或基于该墨水数据结构自动地执行功能。
上述方法，其中基于该墨水数据结构执行功能包括基于该墨水数据结构确定功能命令并且执行所确定的功能命令。
上述方法，其中基于该墨水数据结构执行功能包括运行程序、打开文件、搜索目录、使用互联网搜索引擎搜索、或调整所述电子设备的设置中的至少一个。
上述方法，其中与应用程序共享该墨水数据结构包括将所述墨水数据结构的表示拖到与所述应用程序相关联的图标上。
上述方法，其中与应用程序共享该墨水数据结构包括选择与之共享该墨水数据结构的应用程序。
上述方法，其中选择应用程序包括基于与该墨水数据结构相关联的上下文选择应用程序。
上述方法，其中选择应用程序包括提供多个应用程序供用户选择。
具有计算机可执行的指令的一个或多个计算机存储介质，在所述指令被处理器执行时，使得处理器至少：
在至少一部分用户界面上执行笔感知式外壳程序；
当在该笔感知式外壳程序上检测到笔输入时，通过笔感知式外壳程序捕获笔输入；
将该笔输入转换成墨水数据结构；
使得应用程序被选择；
与所选择的应用程序共享该墨水数据结构。
上述的一个或多个计算机存储介质，其使得应用程序被选择包括基于与该墨水数据结构相关联的上下文选择应用程序。
上述的一个或多个计算机存储介质，其使得应用程序被选择包括提供多个应用程序供用户选择。
如本领域技术人员显而易见的，可以扩展或改变本文给出的任何范围或设备值而不丧失所寻求的效果。
尽管用结构特征和/或方法行为专用的语言描述了本发明主题，但是应当理解所附权利要求中定义的主题不必限于上述具体特征或行为。相反，上面描述的特定特征和行为被公开为实现权利要求的示例形式。
应当理解，上述益处和优点可涉及一个实施例或可涉及若干实施例。该实施例不限于解决任何或所有所述问题的那些，或不限于任何或所有所述益处和优点的那些。将进一步理解，对“一个”项目的指代是指那些项目的一个或多个。
本文中示出和描述的实施例以及本文未具体描述但在权利要求的各方案的范围内的实施例构成用于在持久的笔感知式外壳程序上捕获笔输入并基于该笔输入通过与应用程序共享来处理笔输入或基于笔输入执行功能的示例性处理手段。所示出的一个或多个处理器719与存储在存储器722中的计算机程序代码一起构成用于捕获笔输入的示例性处理手段、将笔输入转换为墨水数据结构的示例性处理手段、与应用程序共享该墨水数据结构的示例性处理手段、以及基于该墨水数据结构执行功能的示例性处理手段。
用于本说明书的术语“包括”意指包含其后跟随的(一个或多个)特征或(一个或多个)行为，不排除一个或多个附加特征或行为的存在。

Claims (15)

1.一种电子设备，包括：
用户界面；
至少一个处理器；和
至少一个储存器，包括：计算机程序代码，所述至少一个储存器和所述计算机程序代码被配置为：与所述至少一个处理器一起，使得所述电子设备至少：
执行笔感知式外壳程序，所述笔感知式外壳程序占据所述用户界面的至少一部分；
当在所述用户界面检测到来自笔设备的接触时，通过所述笔感知式外壳程序捕获来自所述笔设备的输入；
当所述笔感知式外壳程序确定对来自所述笔设备的所述输入的所述捕获完成时，将所捕获的输入转换为墨水数据结构；和
基于所述墨水数据结构，执行功能。
2.根据权利要求1所述的电子设备，其中基于所述墨水数据结构执行功能包括：
与应用程序共享所述墨水数据结构。
3.根据权利要求2所述的电子设备，其中与应用程序共享所述墨水数据结构包括：
选择与之共享所述墨水数据结构的应用程序。
4.根据权利要求3所述的电子设备，其中选择应用程序包括：
提供供用户选择的多个应用程序。
5.根据权利要求4所述的电子设备，其中所述多个应用程序是基于一组定义的应用程序的。
6.根据权利要求4所述的电子设备，其中所述多个应用程序是基于与所述墨水数据结构相关联的上下文的。
7.根据权利要求6所述的电子设备，其中与所述墨水数据结构相关联的上下文包括：
与至少一个应用程序相关联的关键字或符号中的至少一个。
8.根据权利要求1所述的电子设备，其中所述用户界面被笔兼容的应用程序部分地占据；和
其中所述笔感知式外壳程序占据未被所述应用程序占据的所述用户界面的剩余部分。
9.根据权利要求1所述的电子设备，其中所述用户界面被非笔兼容的应用程序部分地占据；和
其中被所述笔感知式外壳程序部分占据的所述用户界面的所述部分包括所述非笔兼容的应用程序。
10.一种方法，包括：
跨越桌面的背景执行持久的外壳程序；
当检测到笔接触所述背景时，通过所述持久的外壳程序捕获来自所述笔的输入；
将所捕获的输入转换为墨水数据结构；或
与应用程序共享所述墨水数据结构或基于所述墨水数据结构自动地执行功能。
11.根据权利要求10所述的方法，其中基于所述墨水数据结构执行功能包括：
基于所述墨水数据结构确定功能指令；和
执行所确定的功能指令。
12.根据权利要求10所述的方法，其中基于所述墨水数据结构执行功能包括：运行应用程序、打开文件、搜索目录、使用互联网搜索引擎搜索、或调整所述电子设备的设置中的至少一个。
13.根据权利要求10所述的方法，其中与应用程序共享所述述墨水数据结构包括：将所述述墨水数据结构的表示拖到与所述应用程序相关联的图标上。
14.一个或多个计算机存储介质，具有计算机可执行的命令，在所述命令被处理器执行时，使得所述处理器至少：
跨越用户界面的至少一部分执行笔感知式外壳程序；
当在所述笔感知式外壳程序上检测到笔输入时，通过所述笔感知式外壳程序捕获所述笔输入；
将所述笔输出转换为墨水数据结构；
基于与所述墨水数据结构相关联的上下文，使得应用程序被选择；和
与所选择的应用程序共享所述墨水数据结构。
15.根据权利要求14所述的一个或多个计算机存储介质，其中基于与所述墨水数据结构相关联的上下文，使得应用程序被选择包括：
基于所述墨水数据结构中的关键字或符号中的至少一个选择应用程序。
CN201880008468.1A 2017-01-25 2018-01-19 通过笔感知式外壳程序捕获笔输入 Pending CN110235126A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/415,862 2017-01-25
US15/415,862 US10254858B2 (en) 2017-01-25 2017-01-25 Capturing pen input by a pen-aware shell
PCT/US2018/014300 WO2018140292A1 (en) 2017-01-25 2018-01-19 Capturing pen input by a pen-aware shell

Publications (1)

Publication Number Publication Date
CN110235126A true CN110235126A (zh) 2019-09-13

Family

ID=61581743

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880008468.1A Pending CN110235126A (zh) 2017-01-25 2018-01-19 通过笔感知式外壳程序捕获笔输入

Country Status (4)

Country Link
US (3) US10254858B2 (zh)
EP (1) EP3574413A1 (zh)
CN (1) CN110235126A (zh)
WO (1) WO2018140292A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220161748A (ko) * 2021-05-31 2022-12-07 삼성에스디에스 주식회사 인스턴트 메시징 서비스의 공지 사항 표시 방법 및 그 장치

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6337698B1 (en) * 1998-11-20 2002-01-08 Microsoft Corporation Pen-based interface for a notepad computer
US20040017375A1 (en) * 2002-07-29 2004-01-29 Microsoft Corporation In-situ digital inking for applications
US20040131252A1 (en) * 2003-01-03 2004-07-08 Microsoft Corporation Pen tip language and language palette
US7564995B1 (en) * 2000-03-07 2009-07-21 Apple Inc. Method and apparatus for acquiring and organizing ink information in pen-aware computer systems
US20140250143A1 (en) * 2013-03-04 2014-09-04 Microsoft Corporation Digital ink based contextual search
US20140337804A1 (en) * 2013-05-10 2014-11-13 Microsoft Corporation Symbol-based digital ink analysis

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7096432B2 (en) 2002-05-14 2006-08-22 Microsoft Corporation Write anywhere tool
US20050052700A1 (en) * 2003-09-10 2005-03-10 Andrew Mackenzie Printing digital documents
US7358965B2 (en) 2004-02-18 2008-04-15 Microsoft Corporation Tapping to create writing
US20090043195A1 (en) 2004-10-12 2009-02-12 Koninklijke Philips Electronics, N.V. Ultrasound Touchscreen User Interface and Display
EP1947562A3 (en) 2007-01-19 2013-04-03 LG Electronics Inc. Inputting information through touch input device
US20080292195A1 (en) 2007-05-22 2008-11-27 Vijayasenan Deepu Data Processing System And Method
US9690474B2 (en) 2007-12-21 2017-06-27 Nokia Technologies Oy User interface, device and method for providing an improved text input
US8842076B2 (en) 2008-07-07 2014-09-23 Rockstar Consortium Us Lp Multi-touch touchscreen incorporating pen tracking
US9250768B2 (en) 2012-02-13 2016-02-02 Samsung Electronics Co., Ltd. Tablet having user interface
US20130278537A1 (en) 2012-04-19 2013-10-24 Motorola Mobility, Inc. Touchscreen writing system
US20140298257A1 (en) 2013-04-01 2014-10-02 Cosmic Eagle, Llc User interfaces and associated processes for information resources
US9304612B2 (en) * 2014-03-07 2016-04-05 Lenovo (Singapore) Pte. Ltd. Off-screen input capture for mobile device
US20150331557A1 (en) 2014-05-14 2015-11-19 Microsoft Corporation Selector to coordinate experiences between related applications
KR20160039336A (ko) 2014-10-01 2016-04-11 주식회사 인프라웨어 디지털 잉크 데이터의 렌더링 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6337698B1 (en) * 1998-11-20 2002-01-08 Microsoft Corporation Pen-based interface for a notepad computer
US7564995B1 (en) * 2000-03-07 2009-07-21 Apple Inc. Method and apparatus for acquiring and organizing ink information in pen-aware computer systems
US20040017375A1 (en) * 2002-07-29 2004-01-29 Microsoft Corporation In-situ digital inking for applications
US20040131252A1 (en) * 2003-01-03 2004-07-08 Microsoft Corporation Pen tip language and language palette
US20140250143A1 (en) * 2013-03-04 2014-09-04 Microsoft Corporation Digital ink based contextual search
US20140337804A1 (en) * 2013-05-10 2014-11-13 Microsoft Corporation Symbol-based digital ink analysis

Also Published As

Publication number Publication date
US10254858B2 (en) 2019-04-09
US20190196610A1 (en) 2019-06-27
EP3574413A1 (en) 2019-12-04
US20200249776A1 (en) 2020-08-06
US10627924B2 (en) 2020-04-21
US20180210566A1 (en) 2018-07-26
WO2018140292A1 (en) 2018-08-02
US11360579B2 (en) 2022-06-14

Similar Documents

Publication Publication Date Title
KR102423826B1 (ko) 사용자 단말 장치 및 그의 제어 방법
CN107291356B (zh) 文件传输显示控制方法、装置及相应的终端
US11755273B2 (en) User interfaces for audio media control
US11675476B2 (en) User interfaces for widgets
CN105830422B (zh) 可折叠电子设备及其界面交互方法
WO2021244443A1 (zh) 分屏显示方法、电子设备及计算机可读存储介质
US9411512B2 (en) Method, apparatus, and medium for executing a function related to information displayed on an external device
CN105359121B (zh) 使用接收数据的应用远程操作
KR102330829B1 (ko) 전자 장치에서 증강현실 기능 제공 방법 및 장치
CN111142747B (zh) 群组管理方法及电子设备
CN110083278A (zh) 电子设备及其方法
CN109471692B (zh) 一种显示控制方法及终端设备
KR20180026983A (ko) 전자 장치 및 그 제어 방법
AU2013204564A1 (en) Method and apparatus for processing multiple inputs
JP6378451B2 (ja) アプリケーションに関連付けられた新規メッセージを処理するための方法及び装置
CN110502163A (zh) 终端设备的控制方法及终端设备
CN107577415A (zh) 触摸操作响应方法及装置
JP7393561B2 (ja) 情報展示方法、電子機器及び記憶媒体
WO2020215982A1 (zh) 桌面图标管理方法及终端设备
CN107608550A (zh) 触摸操作响应方法及装置
CN110221761A (zh) 显示方法及终端设备
CN107608551A (zh) 触摸操作响应方法及装置
CN110007822A (zh) 一种界面显示方法及终端设备
KR102117295B1 (ko) 전자 장치의 페어링 방법 및 장치
CN109408072A (zh) 一种应用程序删除方法及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination