CN108139859B - 对触摸显示器快速着墨 - Google Patents

对触摸显示器快速着墨 Download PDF

Info

Publication number
CN108139859B
CN108139859B CN201680056128.7A CN201680056128A CN108139859B CN 108139859 B CN108139859 B CN 108139859B CN 201680056128 A CN201680056128 A CN 201680056128A CN 108139859 B CN108139859 B CN 108139859B
Authority
CN
China
Prior art keywords
data
inking
fast
display
inker
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680056128.7A
Other languages
English (en)
Other versions
CN108139859A (zh
Inventor
A·库马
A·V·巴特
B·文布
M·拉马多斯
A·S·程
J·J·瓦拉维
C·R·干德拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN108139859A publication Critical patent/CN108139859A/zh
Application granted granted Critical
Publication of CN108139859B publication Critical patent/CN108139859B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本文描述了一种用于对触摸显示器快速着墨的装置。用于对触摸显示器快速着墨的***可包括接收触摸输入并生成触摸传感器数据。***可包括图形处理单元(GPU)，该图形处理单元(GPU)包括快速着墨器和显示流水线。GPU可将从触摸传感器数据生成的人类接口设备(HID)数据传送至书写应用存储器和快速着墨器。快速着墨器可将HID数据转换成要通过直接硬件路径发送至显示流水线的着墨数据。书写应用可将HID数据转换成要发送至显示流水线的着墨数据。该***还可包括触摸显示器，用于显示根据由显示流水线接收的着墨数据而标记的像素。

Description

对触摸显示器快速着墨
相关申请的交叉引用
本申请要求2015年10月26日提交的美国专利申请No.14/923,159的提交日权益，该专利申请通过引用纳入于此。
技术领域
本技术一般涉及用于触摸屏上笔/手写笔输入的改善的显示速度。更具体地，本技术涉及修改触摸屏输入数据的路由、使用和效果以改善用于书写和绘画功能的显示速度。
背景技术
具有输入设备层叠在其显示器顶部上的计算设备一般可被叫做触摸屏，或被成为具有触摸显示器。对这些设备的输入可来自物理接触，诸如通过手指按压触摸屏，按压和拖动、点击或与屏幕的其他类似交互。类似地，由于其他触摸输入可包括对手写笔、笔、铅笔或其他接触工具的使用，因此由人进行的物理接触不是必要的。来自手写笔的输入可通过许多手段来操作，这些手段包括但不限于压力感测、电子检测以及归因于使用接触工具的导电性变化。在一些示例中，与触摸屏的实际物理接触对于向触摸屏注册(register)的输入来说可能不是必要的。
附图简述
图1A是用于对触摸显示器快速着墨的印刷电路板(PCB)上的示例片上***(SoC)的框图；
图1B是用于对触摸显示器快速着墨的装置的简化示例的示意图；
图2是示例架构以及对触摸显示器快速着墨的数据流的框图；
图3是描述用于对触摸显示器快速着墨的示例方法的过程流程图；
图4示出设备快速着墨与不对触摸显示器使用快速着墨的效果的示例比较；以及
图5是示出了存储用于使用HDMI进行功率传输的代码的有形、非瞬态计算机可读介质的框图。
在整个公开和附图中使用相同的标号指示相似的组件和特征。100系列的标号涉及最初在图1中给出的特征，200系列的标号涉及最初在图2中给出的特征，以此类推。
实施例的描述
包括对手写笔的使用的书写和绘画可向用户体验增添较平滑书写和着墨体验。先前的手写笔和触摸屏会经历滞后，这种滞后降低了书写感觉，因为显示书写所花费的数字时间与物理笔或铅笔在纸上书写相比是较低响应的。通过创建允许触摸输入在通过CPU或书写应用之前就被显示的硬件连接，响应性可被改善，因为由于相对较少的耗时过程，从触摸到显示的滞后时间被减少了。可被隐藏的等待时间的一个示例是手写笔触摸输入数据要被传达至操作***所花费的时间的等待时间。
与试图每个操作加速要显示的触摸数据不同，本公开呈现了通过使用快速着墨器(fast inker)和至显示流水线的直接硬件路径来简单地一起避开那些操作的技术。与依赖于对笔触或其他输入数据的计算和时间密集预测‘预测’不同，本公开包括可在没有预测方向改变、笔触开端或书写笔触末端的挑战的情况下改善等待时间的技术。的确，用于减少输入与显示之间的滞后时间的预测性解决方案通常可能是不准确的并且可能导致在屏幕上的无意识伪像显示(该无意识伪像显示可看起来像非故意的虚拟墨滴)，该无意识伪像显示污染(dirty)所显示的图像，包括线的拐角周围和笔触的末端。
在以下公开中，阐明了众多具体细节，诸如具体类型的处理器和***配置的示例、具体硬件结构、具体架构和微架构细节、具体寄存器配置、具体指令类型、具体***组件、具体测量/高度、具体处理器流水线阶段和操作等，以便提供对本公开的透彻理解。然而，对本领域普通技术人员显而易见的是，不一定要采用这些具体细节来实施本公开的技术。在其它实例中，未详细描述公知的组件或方法，诸如具体或替代的处理器架构、用于所描述算法的具体逻辑电路/代码、具体固件代码、具体互连操作、具体逻辑配置、具体制造技术和材料、具体编译器实现、代码中算法的具体表达、具体掉电和功率限制技术/逻辑、以及计算机***的其它具体操作细节，以避免不必要地模糊本公开的技术。
尽管参考特定集成电路中(诸如计算平台或微处理器中)的节能和能效描述了以下实施例，但是其它实施例也适用于其它类型的集成电路和逻辑器件。可将本文中所描述的多个实施例的类似技术和教导应用于也可受益于更佳的能效和节能的其他类型的电路或半导体器件。例如，所公开的实施例不限于台式计算机***或超级本TM。并且也可用于其他设备，诸如，手持式设备、平板、其他薄笔记本、片上***(SoC)设备以及嵌入式应用。手持式设备的一些示例包括蜂窝电话、网际协议设备、数字相机、个人数字助理(PDA)、手持式PC。嵌入式应用典型地包括微控制器、数字信号处理器(DSP)、芯片上***、网络计算机(NetPC)、机顶盒、网络集线器、广域网(WAN)交换机、或可执行以下教导的功能和操作的任何其他***。
此外，本文中描述的装置、方法和***不限于物理计算设备，而也可涉及用于节能和能效的软件优化。如可在以下描述中容易变得明显地，本文中描述的方法、装置和***的实施例(不论是关于硬件、固件、软件还是其组合)添加到与性能考虑相平衡的‘绿色技术’未来。
在示例中，触摸集成电路(IC)可收集原始触摸/手写笔传感器数据并经由专用硬件路径将其发送至图形处理单元(GPU)。来自第三方触摸产品供应商的触摸/手写笔算法可在该触摸设备上被执行。这些触摸或手写笔算法可将原始传感器数据转换成描绘触摸点的屏幕坐标。最终经处理的数据可被发送至操作***。在示例中，该架构可允许对数据的附加处理或后处理，该附加处理或后处理允许附加代码段来解释X，Y坐标以及相关联的手写笔事件，诸如提笔、落笔、悬停、下压等等。
在本公开中，后处理架构可使用快速着墨器来实现快速着墨，该快速着墨器在一些情形中是后处理内核。在示例中，显示渲染可发生在GPU上，快速着墨内核可创建单独的覆盖平面，该覆盖平面在应用写入此同一显示器之前对像素进行着色。该覆盖平面可由快速着墨器提供给显示流水线，从而创建基于硬件的并且不依赖于操作***和应用的捷径。
图1A是用于对触摸显示器快速着墨的印刷电路板(PCB)上的示例片上***(SoC)100的框图。SoC 100和PCB 102可以是例如诸如膝上型计算机、台式计算机、超级本、平板计算机、移动设备、移动电话或服务器之类的计算设备的组件。SoC 100可包括：中央处理单元(CPU)104，该中央处理单元(CPU)104被配置为执行所存储的指令；以及存储器设备106，该存储器设备106存储可由CPU 104执行的指令。CPU可通过总线108耦合到存储器设备106。另外，CPU 104还可以是单核处理器、多核处理器、计算簇、或者任意数量的其他配置。进一步，SoC 100可包括多于一个CPU 104。
SoC 100还可包括图形处理单元(GPU)110。如所示，CPU 104可通过总线108耦合至GPU 110。GPU 110可被配置为执行任意数量的图形功能和动作。例如，GPU 110可被配置为呈现或操纵要被显示给SoC 100的用户的图形图像、图形帧、视频等。存储器设备106可包括随机存取存储器(RAM)、只读存储器(ROM)、闪存、或任何其他适当的存储器***。例如，存储器设备106可包括动态随机存取存储器(DRAM)。
CPU 104还可通过总线108连接至输入/输出(I/O)设备接口112，该输入/输出(I/O)设备接口112被配置为与一个或多个I/O设备114连接。I/O设备114可包括例如键盘和指向设备，其中指向设备可包括触摸板或触摸屏等等。I/O设备114可以是包括SoC 100的平台的内置组件，或着可以是从外部连接至包括SoC 100的平台的设备。在实施例中，I/O设备114可以是与I/O设备接口112耦合的键盘或指向设备。
在示例中，I/O设备接口112可包括通过移动高清链路(MHL)接口至SoC 100的连接。虽然I/O设备114可通过MHL接口连接至I/O设备，但是所公开的本技术允许使用用于在HDMI接口上传送信号和功率两者的装置来替换用于此标准的适配器。在一些示例中，MHL接口可使用与SoC 100接口连接的适当的转换适配器来提供40W的功率。在示例中，I/O设备接口112可包括通过C型通用串行总线(USB)至SoC 100的连接。如上所述，目前所公开的技术允许通过除C型接口以外的装置来传送信号和功率，然而，HDMI技术以及C型接口和连接两者可共存而作为至SoC 100的连接。在示例中，C型接口可允许对计算设备或SoC 100的附加输入。在示例中，用于为SoC 100的资源完全提供功率所需的操作电压可包括或超过15-25W，而一些I/O设备接口112在没有附加连接或适配器的情况下可能不能提供此功率量。
CPU 104还可通过总线108链接至显示接口116，该显示接口116被配置为与一个或多个显示设备118连接。显示设备118可包括屏幕，该屏幕为包括SoC 100的平台的内置组件。此类计算设备的示例包括移动计算设备，诸如蜂窝电话、平板、2合1计算机、笔记本计算机等等。显示设备118还可包括外部地连接至SoC 100的计算机监视器、电视机或投影仪等等。在实施例中，显示设备118可以是与显示接口116耦合的显示端口设备。
SoC 100还可与存储设备120耦合。存储设备可以是位于PCB 102上的组件。另外，存储设备120可以是诸如硬驱动器、光驱动器、拇指驱动器、驱动器阵列、或其任意组合之类的物理存储器。存储设备120还可包括远程存储驱动器。SoC 100还可包括网络接口控制器(NIC)122，该网络接口控制器(NIC)122可被配置为通过总线108将SoC 100、PCB 102的各层以及PCB 102的组件连接至网络124。网络124可以是广域网(WAN)、局域网(LAN)或因特网等等。
SoC 100还可被耦合至存储接口126，该存储接口126被配置为连接至至少一个外部存储128。存储接口126可包括用于可充当外部存储128的安全数字卡、外部硬盘驱动器、外部闪存或其他类型的外部数据存储设备的接口。
GPU 110可包括快速着墨器130、显示流水线132以及快速着墨器130与显示流水线132之间的直接硬件路径134。快速着墨器130可以是实现于存储器和GPU 110的处理资源中的模块、内核，集成电路或能够存储和修改数据的任何其他类似资源。快速着墨器130可接收与触摸输入有关的数据并将该数据转换成指示哪些像素应当被着色的格式。显示流水线132可包括用于触摸显示的像素的模块、缓冲器，集成电路或者能够存储像素数据并基于屏幕刷新将此类数据提供给触摸屏的任何其他类似资源。在示例中，显示流水线可采用像素着色、覆盖平面、计算机着色器、固定功能块或存储像素数据并将此数据提供给触摸屏的其他合适装置。显示流水线132可按照指示存储传入着墨数据并且使用此数据来基于请求将可指示显示器上的像素的颜色、值、亮度或外观的信号推送或提供给触摸屏。直接硬件路径134是“直接的”，因为它允许使用GPU 110的资源将数据从快速着墨器130转移到显示流水线。替代地，直接硬件路径134是直接的，因为它允许在不将所转移的数据提供给处理器104、在处理器104上执行的操作***或者单独的存储器106或存储120的情况下将数据从快速着墨器130转移到显示流水线132。
存储器106还可包括用于存储书写应用的数据的书写应用存储器136，该书写应用可基于书写输入数据使用处理器来执行指令。在示例中，书写应用存储器136可从GPU 110接收触摸输入、向该输入分配存储器106或存储120中的存储、将数据转换成用户选定书写风样式并将书写或绘画的最终形式转换至GPU 110和显示流水线132以供在屏幕上显示。
SoC 100还可被耦合至触摸显示接口138以连接至触摸显示器140。触摸显示接口138可以是触摸集成电路，该触摸集成电路从触摸显示器140收集原始触摸或手写笔传感器信息以将此触摸输入发送给GPU 110。触摸显示器140包括触摸传感器，该触摸传感器用于检测无源手写笔的触摸压力，或者检测提供邻近度和定位数据的有源手写笔的存在。不论是何种数据类型，包括压力触摸输入、导电触摸输入、有源手写笔触摸输入或其他类似输入类型，由触摸显示器收集的数据可通过触摸显示接口138来收集并被发送到GPU 110。触摸显示器还可显示存储在显示流水线132中的着墨数据。触摸显示器可接收由显示流水线132推送至它的此数据或者可以以显示刷新的形式请求该数据。
将理解，图1的框图并非旨在指示SoC 100将包括图1中所示的全部组件。相反，SoC100可包括更少的组件或未在图1中例示出的附加组件。此外，各组件可根据任何合适的***架构彼此耦合，这些***架构包括图1所示的***架构或使用数据总线来助益组件之间通信的任何其他合适的***架构。例如，本技术的实施例还可由任何合适的电子设备实现，这些电子设备包括超紧凑形状因子设备，诸如SoC和多芯片模块。
图1B是用于对触摸显示器快速着墨的装置的简化示例的示意图。相同编号的项如图1A中所述。
如上所述，SoC 100可包括用于接收触摸输入的触摸显示器140。此触摸输入可基于多个传感器，这些传感器传送由手写笔进行的触摸的具体坐标。来自触摸显示器140的触摸传感器的此触摸数据可通过触摸显示接口138聚集并被提供至GPU 110。GPU 110可在GPU110中使用各种方法和执行内核来生成人类接口设备(HID)数据，该人类接口设备(HID)数据一般可被存储在书写应用存储器136中并对书写应用存储器136中的数据执行的书写应用使用。在本公开中，GPU 110可同时将HID数据提供给书写应用存储器136和快速着墨器130两者。快速着墨器可以是所谓的后处理内核，因为快速着墨器可执行的处理常常在输入传感器数据至HID数据的初始转换之后被执行。快速着墨器还可保持X,Y坐标的数组集，用于标记触摸输入的特定时间持续期，该特定时间持续期可被称为着墨时间持续期。在示例中，着墨时间持续期可被严格设置为包括由触摸显示器140记录的最后200毫秒(ms)的X,Y坐标。在另一示例中，着墨时间持续期可大于200毫秒。在示例中，着墨时间持续期可小于200毫秒。X,Y坐标的数组集还可包括用于帮助存储由快速着墨器130随时间接收的触摸数据的若干元素。例如，由于快速着墨器130可记录离散时间间隔内的数据，因此数组集中的元素的数目可通过手写笔报告速率来确定。在有源状态的情形中，此手写笔报告速率可由手写笔自身提供，或者如果手写笔或触摸输入来自无源触摸数据输入，则手写笔报告速率包括特定持续时间内摄取的触摸输入的快照。
例如，对于100Hz的手写笔报告速率，每10ms可存在对应于快速着墨器130坐标的元素。在该示例中，用于保持达200ms数据的快速着墨器130触摸输入数据的缓冲器尺寸为20。在示例中，快速着墨器130可包括先进先出(FIFO)缓冲器。在示例中，可基于特定快速着墨器130和缓冲器的策略丢弃200ms之前的坐标。当一些应用或设备等待时间匹配200ms时，并且对于这些设备，当被分析并从书写应用存储器136返回的许多触摸数据可耗费大致200ms来提供更多的永久像素着色数据时，可使用诸如200ms的特定值。此外，可创建不同的其他算法来确定可被用于快速着墨的特定坐标。快速着墨器130可使用触摸输入或HID数据来将X,Y坐标连接成平滑曲线并确定需要被着色的显示像素。该显示像素集可被提供至显示流水线132以便那些所指示的像素可在下一显示刷新周期上被显示。
图2是示例架构200以及对触摸显示器快速着墨的数据流的框图。同样编号的项如图1中所述。
触摸屏设备202可在手写笔204触摸触摸屏的触摸传感器206时记录触摸传感器输入。触摸屏设备202可以是具有触摸屏或类似能力的任何设备。类似地，手写笔可以是包括手指、塑料无源手写笔以及有源手写笔的任何实现。在示例中，有源手写笔可基于某些动作来将电事件信号提供给触摸屏设备202，该某些动作包括由手写笔感测到的触摸或压力。在示例中，手写笔204在位置X,Y处触摸触摸屏设备202的屏幕。
在示例中，触摸传感器206可被布置在触摸屏设备202的屏幕上的触摸传感器206的网格中。触摸传感器206可从手写笔捕捉信号变化。所捕捉的信号可被触摸控制器208读取。在示例中，手写笔以及来自该手写笔的触摸由同一组传感器检测。
由触摸传感器206检测到的原始数据可随后被触摸控制器处理并被发送至诸如片上***、中央处理单元或图形处理单元之类的处理资源以供进一步处理。图2示出进入GPU110的触摸输入首先进入实现于GPU 110上的供应商内核210。用于由GPU 110接收的输入数据的最初处理操作可包括对X,Y坐标的提取以供进行向可被在计算设备上操作的书写软件和其他类似内核使用的人类接口设备(HID)数据的转换。供应商内核210可包括由第三方在GPU 110上实现的或者为图形处理而特别安装的内核。GPU可将HID数据从供应商内核210通过CPU 212发送至驱动器或OS 214，并且通过中间件216将其发送至触摸屏设备的书写应用存储器136。书写应用存储器136可存储并执行书写应用以使得在接收HID数据之际，书写应用存储器可处理该数据并创建笔划数据。书写应用存储器136可使用OS 214接口来更新应用窗口。OS 214还可将由书写应用生成的笔划数据发送至GPU 110以及其中的图形引擎。在示例中，显示流水线132可包括图形引擎的工作并经由显示控制器218来渲染用于触摸屏显示器202的笔划数据或像素数据。
基于所接收的像素数据或笔划数据，显示器可在由显示流水线132提供给显示控制器218的信息指示的X,Y位置处渲染着色。从GPU 110向至书写应用存储器136发送HID数据以及像素数据从书写应用存储器136被转移到显示流水线136并被显示在屏幕上的此综合流和架构无论如何可耗费80ms-120ms。当手写笔可能已移动得足够迅速时，此时间量可表现为滞后，从而在屏幕上书写或绘画时在手写笔204触摸的地方与触摸屏设备202显示经着色像素的地方之间可看到间隙。通过添加快速着墨器130和直接硬件路径134，如图2所示，滞后时间可被减少，从而导致触摸触摸屏设备的更加响应性的体验。在示例中，这些附加物可导致用户更快地看到着色并且如果移动手写笔，则减小触摸位置与经着色像素之间的间隙。
如本文所讨论的，快速着墨器130的附加允许触摸输入依两条路径行进。以上所讨论的触摸输入的第一路径通过GPU 110至书写应用136然后返回以供显示。第二路径可在GPU 110将HID数据提供给快速着墨器130以处理并转换成本文中所讨论的着墨数据时出现。着墨数据可由快速着墨器通过直接路径134而被发送至显示流水线132。如图2所例示的，使用此快速着墨器和直接硬件路径允许显示流水线136在没有通过包括书写应用136的其他元件的延迟的情况下具有着墨数据。虽然在理论上单独地使用快速着墨器路径可快速地显示数据，然而两条路径都被使用，以便于输入传感器数据，以及显示于屏幕上的那些可由触摸屏设备202的元件而非GPU 110来处理。按这种方式，由快速着墨器提供给显示流水线的着墨数据可被非常迅速地显示，同时来自书写应用的稍后抵达的着墨数据也可被显示。使用两条路径的一个益处包括减少的滞后时间，并且还包括基于来自OS 214的指导而更长期地存储书写数据的能力，基于例如来自实现于中间件216中的软件光学文本识别(OCR)而对书写实现附加处理的能力，或者使得书写和绘画可包括来自书写应用存储器136的式样信息和其他类似修改。
图3是描述用于对触摸显示器快速着墨的示例方法的过程流程图。过程流程开始于框302。
在框302处，触摸显示器可接收触摸输入。如本文所讨论的，触摸输入可以来自用于向触摸屏提供触摸输入的手写笔、手指或任何其它合适的实现。
在框304处，可从触摸输入生成触摸传感器数据。这可发生在多个位置，包括触摸IC 208、GPU 110或另一合适的处理资源，诸如具有附接存储器106的处理器104。
在框306处，GPU 110可将从图形处理单元(GPU)110中的触摸传感器数据生成的人类接口设备(HID)数据传送至书写应用存储器136和快速着墨器130。由于快速着墨器130可存在于GPU 110中，因此至快速着墨器130的传输可能不是必要的或者可能根本是不重要的，因为数据早已可被快速着墨器130访问。
在框308处，快速着墨器130可将HID数据转换成着墨数据。这可包括在测量触摸输入数据的每个时间段内从原始传感器数据至坐标系或坐标集合的转变。
在框310处，快速着墨器130可通过截取运送中的下一帧的直接硬件路径134将着墨数据从快速着墨器发送至显示流水线132。直接硬件路径允许显示流水线在没有书写应用存储器、操作***或其他耗时操作的中间元素的情况下具有对应于触摸输入的着墨数据。如本文所使用的，截取运送中的下一帧指的是在显示流水线中运送的要在触摸屏上显示的下一帧。截取此用于显示的下一帧可包括基于从快速着墨器发送的着墨数据对下一帧中的数据的附加、替代或修改。
在框312处，书写应用接收HID输入数据并可将其转换成用于显示屏幕的着墨数据。如本文所使用的，显示屏幕可指数字面板覆盖、对应于触摸显示器的坐标和着墨坐标的存储，或用于流水线数据存储的任何其他结构。在至着墨数据的转换正在发生的同时，可由书写应用存储器添加其它格式上的改变，包括线宽的增加、各种着色颜色变化以及对书写或绘画的其他类似修改。
在框314处，操作***根据来自书写应用存储器的着墨数据构成显示屏幕并将该显示屏幕发送至显示流水线。由于所涉及的额外操作，显示流水线很可能早已具有来自正被书写应用存储器使用的触摸输入的着墨数据。然而，在不再被直接提供给显示流水线132之前，由快速着墨器130提供来自快速着墨器130的着墨数据达有限的持续期。此外，来自快速着墨器130的着墨数据可能不具有由书写应用存储器136施加或通过使用CPU 212、OS214和中间件216的处理而制定的修改。因此，像素显示数据可被来自书写应用存储器136的像素显示数据替换，或者替代地，每个像素显示数据可被存储或甚至显示在与显示流水线132不同的面板上。
在框316处，触摸显示器可显示由显示流水线132基于从快速着墨器130和书写应用存储器136两者接收的着墨数据而标记的像素。
触摸显示器不需要等待两个着墨数据来开始显示来自一个源或另一个源的着墨数据。
在框318处，来自书写应用的较慢着墨图像替换快速着墨图像。如本文所讨论的，这可通过由来自书写应用的较慢着墨图像对快速着墨图像的显式替换来发生。在另一示例中，较慢着墨图像对快速着墨图像的替换可通过快速着墨器在有限时间(例如，200ms)内提供用于特定输入的着墨数据来发生。在此示例中，来自快速着墨器的着墨数据表现为期满或消失，而来自书写应用的较慢着墨图像是存在的。
图4示出针对设备快速着墨与不对触摸显示器使用快速着墨的效果的示例比较400。同样编号的项如图1和图2所述。
图4示出具有触摸屏404的至少一个计算设备402。示出了两个版本，其中第一个是使用标准显示架构和技术406的计算设备402而第二个是使用快速着墨408架构和技术的计算设备402。
使用标准架构和技术406的计算设备402示出手写笔204正通过触摸或与触摸屏的活跃接近度而在触摸屏上书写单词“ink”。由于在该示例中没有快速着墨被使用，因此在书写中可能存在滞后，在此处该滞后通过手写体“k”的底部处的虚线来示出。此虚线示出手写笔204已被跨触摸屏404拖动以提供触摸输入的移动。然而，由于典型架构和技术的使用，触摸屏404显示已花费时间来通过操作***、CPU、书写应用和其他软件和模块过滤的触摸数据。
计算设备402使用快速着墨技术。由于由快速着墨器和至显示流水线136的直接硬件路径实现的显示屏幕上对触摸输入数据的较快显示，在手写笔触摸/移动的位置与正被显示的着墨或经着色像素的位置之间没有出现间隙。
在示例中，计算设备可检测来自与触摸屏电子通信的有源手写笔的提笔或落笔事件。快速着墨器130可检测提笔和落笔事件并相应地作出反应，特别是当这些事件可以是作为供应商内核210的输出的HID数据包的一部分时。在示例中，当落笔事件发生时，快速着墨器可被激活并开始填充与触摸显示器的可显示像素相对应的坐标缓冲器。当提笔事件发生时，快速着墨器130可停止将任何更多数据填充到其坐标缓冲器中。快速着墨器中的旧数据在着墨时间持续期之后清除。例如，快速着墨器缓冲器可在自提笔事件起的200ms之后变为空。当快速着墨器130缓冲器为空时，接下来可能没有事情需要快速着墨器130来做，那么快速着墨器可变成架构中的穿过元件。
在以上所见的示例中，数据前往快速着墨器130和书写应用存储器136两者。书写应用存储器继续将正常着墨数据发送给操作***(OS)着墨基础结构，该操作***(OS)着墨基础结构可将其转换成像素数据以供显示。此‘正常’着墨可最终被显示在触摸显示器上并且可覆写快速着墨像素。在示例中，快速着墨器130的使用可受限于书写时间。实际上，使用知晓设备的当前模式的快速着墨器将避免使快速着墨器130在所有模式中处于活跃状态的一些缺陷。例如，如果快速着墨器130一直是活跃的，则用户可能正使用手写笔指向一些图标、选择图标以及将手写笔用作鼠标。在这些和其他类似情形中，快速着墨器130可能不对当前任务有所帮助。因此，在所检测到的并非用于书写的模式中，快速着墨器130可变成穿过元件。在管理此设置的一个示例中，该模式可由计算设备的应用侧来确定。如果模式可由特定应用程序接口(API)设置，则此API可被书写应用调用来通知快速着墨器130所聚焦的应用窗口具有书写/绘画画布，并且提供该画布的坐标。在另一示例中，还可在中间件中实现此模式控制。在示例中，中间件可经由共享存储器缓冲器将模式传达给快速着墨器。
在示例中，擦除模式可被用于擦除先前通过触摸屏幕生成的数据，或者甚至在屏幕上显示但从未由触摸输入生成的数据。在应用进行活跃书写的同时，用户可按压手写笔上的擦除按钮410，或者在其尾侧开启它以使其表现为擦除器。此事件‘擦除模式’可被反映在快速着墨PPK已访问的HID包中。当擦除模式可被检测到时，所有的着色缓冲器被清除。可以安全地假定，通过人类动作来转换成擦出模式将花费超过200ms，因此可在没有任何担忧的情况下清除缓冲器。书写应用或OS也可将模式改变为擦除模式。这可通过使用如以上所述的用于检测书写模式的相同API来传达给快速着墨。在示例中，对于快速着墨器来说，知晓着墨颜色和笔划宽度以便像素可被用正确颜色上色可能是期望的。这可通过API来传达。
应当注意，可在各种实现中执行本文所描述的技术，这些实现包括其中触摸控制器作出对原始数据的处理、准备HID包并将此数据发送至OS和快速着墨器。此外，HID包(包含X,Y坐标)可替代地被具有快速着墨器130的SoC监听，并且以上所描述的技术可在微控制器中被实现，该微控制器可创建覆盖缓冲器以供图形引擎用于显示。在示例中，微控制器可具有对图形硬件的直接访问使得覆盖缓冲器可被显示器用在下一显示刷新周期中。
图5是示出了存储用于使用HDMI进行功率传输的代码的有形非瞬态计算机可读介质的框图。有形非瞬态计算机可读介质500可由处理器502通过计算机总线504访问。进一步地，有形非瞬态计算机可读介质500可包括被配置成引导处理器502执行本文所述的方法的代码。
有形非瞬态计算机可读介质500可包括触摸数据传送器模块506，用于将触摸数据传送至快速着墨器和书写应用。在示例中，触摸数据传送器模块506可接收原始触摸传感器数据并将其转换成如HID数据，以上所描述的。
有形非瞬态计算机可读介质500可包括快速着墨器模块508，用于将HID数据转换成将通过直接硬件路径发送至显示流水线的着墨数据。在示例中，快速着墨器模块可位于GPU 110上。
有形非瞬态计算机可读介质500可包括书写应用模块510，用于将HID数据转换成将被发送至显示流水线的着墨数据。在示例中，书写应用模块和快速着墨器模块并发动接收触摸HID数据但可在不同的时间发送经转换的着墨数据，快速着墨器通常先发送。
有形非瞬态计算机可读介质500可包括触摸显示流水线处理模块512，用于典型地从书写应用和快速着墨器接收着墨数据。在示例中，显示流水线一接收到着墨数据，该显示流水线就可将着墨数据提供给显示器。在示例中，显示流水线包括用于显示流水线从快速着墨器(与书写应用模块相比)接收的着墨数据的单独覆盖。
有形非瞬态计算机可读介质500可包括HDMI功率管理器模块508，该HDMI功率管理器模块508至少部分地用硬件或电路来具体化，并且包括指令，该指令包括用于指导处理器502的HDMI功率管理136。在示例中，HDMI功率管理器模块508可基于检测到的连接状态和所连接的电子设备的能量请求来通过HDMI将来自计算机可读介质500的功率源202的功率提供给计算设备。
图5的框图并不旨在表示有形非瞬态计算机可读介质500将包括图5中所示的全部组件。进一步地，取决于特定实现的细节，有形非瞬态计算机可读介质500可包括图5中未示出的任意数量的附加组件。
示例
示例1是用于对触摸显示器快速着墨的***。该***包括触摸显示器，用于接收触摸输入并生成触摸传感器数据；图形处理单元(GPU)，包括快速着墨器和显示流水线；GPU用于将从触摸传感器数据生成的人类接口设备(HID)数据传送至书写应用存储器和快速着墨器；快速着墨器用于将HID数据转换成要通过直接硬件路径发送至显示流水线的着墨数据；书写应用存储器用于将HID数据转换成要发送至显示流水线的着墨数据；以及触摸显示器用于基于由显示流水线接收的着墨数据来显示由显示流水线标记的像素。
示例2包括示例1的***，包括或排除任选特征。在该示例中，触摸显示器用于显示基于由显示流水线接收的着墨数据来由显示流水线标记的像素。
示例3包括示例1至2中任一项的***，包括或排除任选特征。在该示例中，***包括存储于所述快速着墨器中的与显示像素相对应的快速着墨坐标数组，该快速着墨器用于将快速着墨坐标数组标记成对应于着墨时间持续期内的HID数据。任选地，***包括发送至显示流水线的着墨数据包括经标记的快速着墨坐标数组；并且着墨时间持续期为至少200毫秒。任选地，***包括快速着墨坐标数组，包括来自着墨时间持续期期间并且处于与接收触摸输入的频率相对应的速率下的HID数据的标记像素。
示例4包括示例1至3中任一项的***，包括或排除任选特征。在该示例中，***包括手写笔，该手写笔用于生成触摸输入以产生HID输入，HID输入包括以下各项中的至少一者：用于指示手写笔何时抵靠触摸显示器放落的落笔事件、用于指示手写笔在触摸显示器上的移动的触摸坐标、以及用于指示手写笔已从触摸显示器提起的提笔事件。任选地，***包括，手写笔提供要传送至快速着墨器的擦除模式事件，并且快速着墨器用于通过清除快速着墨坐标数组来响应擦除模式事件。
示例5包括示例1至4中任一项的***，包括或排除任选特征。在该示例中，***包括，快速着墨器用于从书写应用存储器接收样式信息以附加地基于样式信息将HID数据转换成着墨数据。
示例6包括示例1至5中任一项的***，包括或排除任选特征。在该示例中，***包括快速着墨器的覆盖平面，用于与显示流水线处将从书写应用存储器提供的着墨数据分开地指示从快速着墨器提供至显示流水线的着墨数据。
示例7包括示例1至6中任一项的***，包括或排除任选特征。在该示例中，***包括，显示流水线用于在从书写应用存储器接收显示流水线数据之前从快速着墨器接收着墨数据。
示例8是用于对触摸显示器快速着墨的方法。该方法包括接收触摸显示器的触摸输入；从触摸输入生成触摸传感器数据；将从图形处理单元(GPU)中的触摸传感器数据生成的人类接口设备(HID)数据传送至书写应用存储器和快速着墨器；在快速着墨器中将所述HID数据转换成着墨数据；通过截取运送中的下一帧的直接硬件路径将着墨数据从快速着墨器发送至显示流水线；在书写应用存储器中将HID数据转换成用于显示屏幕的着墨数据；使用操作***从书写应用存储器着墨数据来构成显示屏幕并将显示屏幕发送至所述显示流水线；基于着墨在触摸显示器上显示由显示流水线标记的像素；使用由显示流水线接收的显示屏幕替换所述着墨数据。
示例9包括示例8的方法，包括或排除任选特征。在该示例中，自GPU往返于书写应用存储器来传送HID数据包括将HID数据传递出GPU并传递通过计算机处理单元(CPU)、操作***、驱动器和中间件中的至少一个。
示例10包括示例8至9中任一项的方法，包括或排除任选特征。在该示例中，方法包括将快速着墨坐标数组存储在快速着墨器中以对应于显示像素，快速着墨器用于将快速着墨坐标数组标记成对应于着墨时间持续期内的HID数据。任选地，方法包括示例13的方法，从快速着墨器发送至显示流水线的着墨数据包括经标记的快速着墨坐标数组；并且着墨时间持续期不大于200毫秒。任选地，方法包括，快速着墨坐标数组包括来自所述着墨时间持续期期间并且处于与接收触摸输入的频率相对应的速率下的HID数据的标记像素。
示例11包括示例8至10中任一项的方法，包括或排除任选特征。在该示例中，方法包括使用手写笔生成触摸输入以产生HID输入，HID输入包括以下各项的至少一者：用于指示手写笔何时抵靠触摸显示器放落的落笔事件、用于指示手写笔在触摸显示器上的移动的触摸坐标、以及用于指示手写笔已从触摸显示器提起的提笔事件。任选地，方法包括，手写笔提供要传送至快速着墨器的擦除模式事件，并且快速着墨器用于通过清除快速着墨坐标数组来响应擦除模式事件。
示例12包括示例8至11中任一项的方法，包括或排除任选特征。在该示例中，方法包括在快速着墨器处从书写应用存储器接收样式信息以附加地基于样式信息将HID数据转换成着墨数据。
示例13包括示例8至12中任一项的方法，包括或排除任选特征。在该示例中，方法包括在快速着墨器的覆盖平面上与显示流水线处将从书写应用存储器提供的着墨数据分开地指示从快速着墨器提供至显示流水线的着墨数据。
示例14包括示例8至13中任一项的方法，包括或排除任选特征。在该示例中，方法包括在显示流水线处从书写应用存储器对着墨数据的接收之前发生显示流水线处从快速着墨器对着墨数据的接收。
示例15是用于对触摸显示器快速着墨的装置。该装置包括：图形处理单元(GPU)，该图形处理单元包括快速着墨器和显示流水线；GPU用于将从触摸传感器数据生成的人类接口设备(HID)数据传送至书写应用存储器和快速着墨器；快速着墨器用于将HID数据转换成要通过直接硬件路径发送至显示流水线的着墨数据；以及书写应用存储器用于将HID数据转换成要发送至显示流水线的着墨数据。
示例16包括示例15的设备，包括或排除任选特征。在该示例中，装置包括，自GPU往返于书写应用存储器来传送HID数据包括将HID数据传递出GPU并传递通过计算机处理单元(CPU)、操作***、驱动器和中间件中的至少一个。
示例17包括示例15至16中任一项的装置，包括或排除任选特征。在该示例中，装置包括存储于所述快速着墨器中的与显示像素相对应的快速着墨坐标数组，该快速着墨器用于将快速着墨坐标数组标记成对应于着墨时间持续期内的HID数据。任选地，装置包括权利要求23的装置，发送至显示流水线的着墨数据包括经标记的快速着墨坐标数组；并且着墨时间持续期为至少200毫秒。任选地，装置包括，快速着墨坐标数组包括来自着墨时间持续期期间并且处于与接收触摸输入的频率相对应的速率下的HID数据的标记像素。
示例18包括示例15至17中任一项的装置，包括或排除任选特征。在该示例中，装置包括手写笔，该手写笔用于生成触摸传感器数据以产生HID输入，HID输入包括以下各项的至少一者：用于指示手写笔何时置抵靠触摸显示器放落的落笔事件、用于指示手写笔在触摸显示器上的移动的触摸坐标、以及用于指示手写笔已从触摸显示器提起的提笔事件。任选地，装置包括，手写笔提供要传送至快速着墨器的擦除模式事件，并且快速着墨器用于通过清除快速着墨坐标数组来响应擦除模式事件。
示例19包括示例15至18中任一项的装置，包括或排除任选特征。在该示例中，装置包括，快速着墨器用于从书写应用存储器接收样式信息以附加地基于样式信息将HID数据转换成着墨数据。
示例20包括示例15至19中任一项的装置，包括或排除任选特征。在该示例中，装置包括快速着墨器的覆盖平面，用于与显示流水线处将从书写应用存储器提供的着墨数据分开地指示从快速着墨器提供给显示流水线的着墨数据。
示例21包括示例15至20中任一项的装置，包括或排除任选特征。在该示例中，装置包括，显示流水线用于在从书写应用存储器接收显示流水线数据之前从快速着墨器接收着墨数据。
示例22是一种有形、非瞬态计算机可读介质。该计算机可读介质包括指令，该指令指导处理器来将从触摸传感器数据生成的人类接口设备(HID)数据传送至书写应用存储器和快速着墨器；使用快速着墨器将HID数据转换成要通过直接硬件路径发送至显示流水线的着墨数据；以及使用书写应用存储器将HID数据转换成要发送至显示流水线的着墨数据。
示例23包括示例22的计算机可读介质，包括或排除任选特征。在该示例中，计算机可读介质包括，自GPU往返于书写应用存储器来传送HID数据包括将HID数据传递出GPU并传递通过计算机处理单元(CPU)、操作***、驱动器和中间件中的至少一个。
示例24包括示例22至23中任一项的计算机可读介质，包括或排除任选特征。在该示例中，计算机可读介质包括指令，该指令在由处理器执行时指导处理器来：使存储于所述快速着墨器中的快速着墨坐标数组对应于显示像素，该快速着墨器用于将快速着墨坐标数组标记成对应于着墨时间持续期内的HID数据。任选地，计算机可读介质包括，发送至显示流水线的着墨数据包括经标记的快速着墨坐标数组；并且着墨时间持续期为至少200毫秒。任选地，计算机可读介质包括，快速着墨坐标数组包括来自所述着墨时间持续期期间并且处于与接收触摸输入的频率相对应的速率下的HID数据的标记像素。
示例25包括示例22至24中任一项的计算机可读介质，包括或排除任选特征。在该示例中，计算机可读介质包括指令，该指令在由处理器执行时指导处理器来使用手写笔生成触摸输入以产生HID输入，HID输入包括以下各项的至少一者：用于指示手写笔何时抵靠触摸显示器放落的落笔事件、用于指示手写笔在触摸显示器上的移动的触摸坐标、以及用于指示手写笔已从触摸显示器提起的提笔事件。任选地，计算机可读介质包括，手写笔提供要传送至快速着墨器的擦除模式事件，并且快速着墨器用于通过清除快速着墨坐标数组来响应擦除模式事件。
示例26包括示例22到25中任一项的计算机可读介质，包括或排除任选特征。在该示例中，计算机可读介质包括，快速着墨器用于从书写应用存储器接收样式信息以附加地基于样式信息将HID数据转换成着墨数据。
示例27包括示例22到26中任一项的计算机可读介质，包括或排除任选特征。在该示例中，计算机可读介质包括指令，该指令在由处理器执行时指导处理器来使用快速着墨器的覆盖平面与显示流水线处将从书写应用存储器提供的着墨数据分开地指示从快速着墨器提供给显示流水线的着墨数据。在该示例中，计算机可读介质包括，显示流水线用于在从书写应用存储器接收显示流水线数据之前从快速着墨器接收着墨数据。
示例28是用于对触摸显示器快速着墨的***。该***包括指令，该指令指导处理器来接收触摸输入并生成触摸传感器数据；图形处理单元(GPU)，包括用于生成着墨数据的装置和显示流水线；GPU用于将从触摸传感器数据生成的人类接口设备(HID)数据传送至书写应用存储器和用于生成着墨数据的装置；用于生成着墨数据的装置用于将HID数据转换成要通过直接硬件路径发送至显示流水线的着墨数据；书写应用存储器用于将HID数据转换成要发送至显示流水线的着墨数据；以及用于接收触摸输入并生成触摸传感器数据的装置用于基于由显示流水线接收的着墨数据来显示由显示流水线标记的像素。
示例29包括示例28的***，包括或排除任选特征。在该示例中，***包括，自GPU往返于书写应用存储器来传送HID数据包括将HID数据传递出GPU并传递通过计算机处理单元(CPU)、操作***、驱动器和中间件中的至少一个。
示例30包括示例28至29中任一项的***，包括或排除任选特征。在该示例中，***包括存储于用于生成着墨数据的装置中的与显示像素相对应的快速着墨坐标数组，该用于生成着墨数据的装置用于将快速着墨坐标数组标记成对应于着墨时间持续期内的HID数据。任选地，***包括发送至显示流水线的着墨数据包括经标记的快速着墨坐标数组；并且着墨时间持续期为至少200毫秒。任选地，***包括，快速着墨坐标数组包括所述着墨时间持续期期间并且处于与接收触摸输入的频率相对应的速率下的HID数据的标记像素。
示例31包括示例28至30中任一项的***，包括或排除任选特征。在该示例中，***包括手写笔，该手写笔用于生成触摸输入以产生HID输入，HID输入包括以下各项的至少一者：用于指示手写笔何时抵靠用于接收触摸输入并生成传感器数据的装置放落的落笔事件、用于指示手写笔在用于接收触摸输入并生成传感器数据的装置上的移动的触摸坐标、以及用于指示手写笔已从用于接收触摸输入并生成传感器数据的装置提起的提笔事件。任选地，***包括，手写笔提供要传送至用于生成着墨数据的装置的擦除模式事件，并且用于生成着墨数据的装置用于通过清除快速着墨坐标数组来响应擦除模式事件。
示例32包括示例28至31中任一项的***，包括或排除任选特征。在该示例中，***包括，用于生成着墨数据的装置用于从书写应用存储器接收样式信息以附加地基于样式信息将HID数据转换成着墨数据。
示例33包括示例28至32中任一项的***，包括或排除任选特征。在该示例中，***包括用于生成着墨数据的装置的覆盖平面，用于与显示流水线处将从书写应用存储器提供的着墨数据分开地指示从用于生成着墨数据的装置提供至显示流水线的着墨数据。
示例34包括示例28至33中任一项的***，包括或排除任选特征。在该示例中，***包括，显示流水线用于在从书写应用存储器接收显示流水线数据之前从用于生成着墨数据的装置接收着墨数据。
尽管已参考有限数量的实施例描述了本技术，但是，本领域技术人员将从其中理解很多修改和变型。所附权利要求旨在涵盖落入本技术的真实精神与范围的所有此类修改与变型。
如本文中所使用的模块指的是硬件、软件、和/或固件的任何组合。作为示例，模块包括与非暂态介质相关联的诸如微控制器之类的硬件，该非暂态介质用于存储适于由该微控制器执行的代码。因此，在一个实施例中，对模块的引用是指硬件，该硬件被专门配置成识别和/或执行要保存在非暂态介质上的代码。另外，在另一实施例中，模块的使用是指包括代码的非暂态介质，该代码专门适于由微控制器执行以进行预定操作。并且可推断，在又一实施例中，术语模块(在此示例中)可以指微控制器和非暂态介质的组合。通常，被示为分开的模块边界一般不同，并且潜在地重叠。例如，第一和第二模块可共享硬件、软件、固件、或它们的组合，同时潜在地保留一些独立的硬件、软件或固件。在一个实施例中，术语逻辑的使用包括诸如晶体管、寄存器之类的硬件或诸如可编程逻辑器件之类的其他硬件。
上述方法、硬件、软件、固件或代码的实施例可以经由存储在机器可访问、机器可读、计算机可访问、或计算机可读介质上可由处理元件执行的指令或代码来实现。非暂态机器可访问/可读介质包括提供(即，存储和/或发送)诸如计算机或电子***之类的机器可读形式的信息的任何机制。例如，非暂态机器可访问介质包括：随机存取存储器(RAM)，诸如，静态RAM(SRAM)或动态RAM(DRAM)；ROM；磁或光存储介质；闪存设备；电存储设备；光存储设备；声存储设备；用于保持从暂态(传播)信号(例如，载波、红外信号、数字信号)接收的信息的其他形式的存储设备；等等，这些与可从其接收信息的非暂态介质相区别。
被用于对逻辑进行编程以执行本技术的诸个实施例的指令可被存储在***的存储器(诸如，DRAM、高速缓存、闪存、或其他存储器)中。进一步的，指令可经由网络或通过其他计算机可读介质来分发。因此，机器可读介质可包括用于以机器(诸如，计算机)可读形式存储或发送信息的任何机制，但不限于：软盘、光盘、紧凑盘只读存储器(CD-ROM)、磁光盘、只读存储器(ROM)、随机存取存储器(RAM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、磁卡或光卡、闪存、或在经由互联网通过电、光、声、或其他形式的传播信号(诸如，载波、红外信号、数字信号等)发送信息中所用的有形机器可读存储器。因此，计算机可读介质包括适用于存储或发送机器(例如，计算机)可读形式的电子指令或信息的任何类型的有形机器可读介质。
在上述说明书中，已经参考特定实施例给出了详细描述。然而，可显而易见的是，可对这些实施例作出各种修改和改变，而不背离如所附权利要求所述的本技术的更宽泛精神和范围。相应地，应当认为说明书和附图是说明性的而不是限制性的。此外，实施例和其他语言的上述使用不一定指的是同一实施例或同一示例，而可能指的是不同和独特的实施例，也有可能是同一实施例。

Claims (19)

1.一种用于对触摸显示器快速着墨的***，包括：
触摸显示器，用于接收触摸输入并生成触摸传感器数据；
图形处理单元GPU，包括快速着墨器和显示流水线；
所述GPU用于将从所述触摸传感器数据生成的人类接口设备HID数据传送至书写应用存储器和所述快速着墨器；
所述快速着墨器用于将所述HID数据转换成要通过直接硬件路径发送至所述显示流水线的着墨数据；
所述书写应用存储器用于将所述HID数据转换成要发送至所述显示流水线的着墨数据；
所述触摸显示器用于显示基于由所述显示流水线接收的所述着墨数据而被所述显示流水线标记的像素;以及
存储于所述快速着墨器中的与显示像素相对应的快速着墨坐标数组，所述快速着墨器用于将所述快速着墨坐标数组标记成对应于着墨时间持续期期间并且处于与接收触摸输入的频率相对应的速率下的HID数据的标记像素。
2.如权利要求1所述的***，其特征在于，自所述GPU 往返于所述书写应用存储器来传送HID数据包括将所述HID数据传递出所述GPU并传递通过计算机处理单元CPU、操作***、驱动器和中间件中的至少一个。
3.如权利要求1所述的***，其特征在于，发送至所述显示流水线的所述着墨数据包括所标记的快速着墨坐标数组,并且所述着墨时间持续期为至少200毫秒。
4.如权利要求1所述的***，其特征在于，包括手写笔，所述手写笔用于生成触摸输入以产生HID输入，所述HID输入包括以下各项中的至少一者：用于指示手写笔何时抵靠着所述触摸显示器放落的落笔事件、用于指示所述手写笔在所述触摸显示器上的移动的触摸坐标、以及用于指示所述手写笔已从所述触摸显示器提起的提笔事件。
5.如权利要求4所述的***，其特征在于，所述手写笔提供要传送至所述快速着墨器的擦除模式事件，并且所述快速着墨器用于通过清除所述快速着墨坐标数组来响应擦除模式事件。
6.如权利要求1所述的***，其特征在于，所述快速着墨器用于从所述书写应用存储器接收样式信息以附加地基于所述样式信息将所述HID数据转换成着墨数据。
7.如权利要求1所述的***，其特征在于，包括所述快速着墨器的覆盖平面，所述覆盖平面用于与所述显示流水线处将从所述书写应用存储器提供的着墨数据分开地指示从所述快速着墨器提供至所述显示流水线的着墨数据。
8.如权利要求1所述的***，其特征在于，所述显示流水线用于在从所述书写应用存储器接收显示流水线数据之前从所述快速着墨器接收所述着墨数据。
9.一种用于对触摸显示器快速着墨的方法，包括：
接收对触摸显示器的触摸输入；
从所述触摸输入生成触摸传感器数据；
将从图形处理单元GPU中的所述触摸传感器数据生成的人类接口设备HID数据传送至书写应用存储器和所述快速着墨器；
在所述快速着墨器中将所述HID数据转换成着墨数据；
通过截取运送中的下一帧的直接硬件路径来将所述着墨数据从所述快速着墨器发送至显示流水线；
在所述书写应用存储器中将所述HID数据转换成用于显示屏幕的着墨数据；
使用操作***从书写应用存储器着墨数据来构成所述显示屏幕并将所述显示屏幕发送至所述显示流水线；
基于所述着墨在触摸显示器上显示由所述显示流水线标记的像素；
将快速着墨坐标数组存储在所述快速着墨器中以对应于显示像素，所述快速着墨器用于将所述快速着墨坐标数组标记成与着墨时间持续期和接收触摸输入的频率相对应的HID数据；以及
使用由所述显示流水线接收的所述显示屏幕替换所述着墨数据。
10.如权利要求9所述的方法，其特征在于，自所述GPU往返于所述书写应用存储器来传送HID数据包括将所述HID数据传递出GPU并传递通过计算机处理单元CPU、操作***、驱动器和中间件中的至少一个。
11.如权利要求9所述的方法，其特征在于，从所述快速着墨器发送至所述显示流水线的所述着墨数据包括经标记的快速着墨坐标数组，并且所述着墨时间持续期不大于200毫秒。
12.如权利要求9所述的方法，其特征在于，包括使用手写笔生成触摸输入以产生HID输入，所述HID输入包括以下各项中的至少一者：用于指示手写笔何时抵靠所述触摸显示器放落的落笔事件、用于指示所述手写笔在所述触摸显示器上的移动的触摸坐标、以及用于指示所述手写笔已从所述触摸显示器提起的提笔事件。
13.如权利要求12所述的方法，其特征在于，所述手写笔提供要传送至所述快速着墨器的擦除模式事件，并且所述快速着墨器用于通过清除所述快速着墨坐标数组来响应擦除模式事件。
14.如权利要求9所述的方法，其特征在于，在所述快速着墨器处从所述书写应用存储器接收样式信息以附加地基于所述样式信息将所述HID数据转换成着墨数据。
15.如权利要求9所述的方法，其特征在于，包括在所述快速着墨器的覆盖平面上与所述显示流水线处将从所述书写应用存储器提供的着墨数据分开地指示从所述快速着墨器提供至所述显示流水线的所述着墨数据。
16.如权利要求9所述的方法，其特征在于，在所述显示流水线处从所述书写应用存储器对着墨数据的接收之前发生所述显示流水线处从所述快速着墨器对所述着墨数据的接收。
17.一种用于对触摸显示器快速着墨的装置，包括：
图形处理单元GPU，所述图形处理单元GPU包括快速着墨器和显示流水线；
所述GPU用于将从触摸传感器数据生成的人类接口设备HID数据传送至书写应用存储器和所述快速着墨器；
所述快速着墨器用于将所述HID数据转换成要通过直接硬件路径发送至所述显示流水线的着墨数据
所述书写应用存储器用于将所述HID数据转换成要发送至所述显示流水线的着墨数据；以及
所述快速着墨器用于将快速着墨坐标数组标记成与着墨时间持续期以及接收触摸输入的频率两者的HID数据相对应。
18.如权利要求17所述的装置，其特征在于，自所述GPU往返于所述书写应用存储器来传送HID数据包括将所述HID数据传递出所述GPU并传递通过计算机处理单元CPU、操作***、驱动器和中间件中的至少一个。
19.如权利要求17所述的装置，其特征在于，发送至所述显示流水线的所述着墨数据包括经标记的快速着墨坐标数组，并且所述着墨时间持续期为至少200毫秒。
CN201680056128.7A 2015-10-26 2016-07-08 对触摸显示器快速着墨 Active CN108139859B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/923,159 2015-10-26
US14/923,159 US9753557B2 (en) 2015-10-26 2015-10-26 Fast inking a touch display
PCT/US2016/041540 WO2017074524A1 (en) 2015-10-26 2016-07-08 Fast inking a touch display

Publications (2)

Publication Number Publication Date
CN108139859A CN108139859A (zh) 2018-06-08
CN108139859B true CN108139859B (zh) 2021-06-29

Family

ID=58558541

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680056128.7A Active CN108139859B (zh) 2015-10-26 2016-07-08 对触摸显示器快速着墨

Country Status (4)

Country Link
US (1) US9753557B2 (zh)
CN (1) CN108139859B (zh)
DE (1) DE112016004883T5 (zh)
WO (1) WO2017074524A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10580111B2 (en) * 2018-03-20 2020-03-03 Microsoft Technology Licensing, Llc Display ink rendering during system sleep
CN111399678A (zh) * 2020-03-06 2020-07-10 广州视源电子科技股份有限公司 数据处理方法、装置和***、计算机存储介质及相关设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103823628A (zh) * 2013-12-15 2014-05-28 北京工业大学 结合笔压的毛笔字笔锋模拟方法
WO2014097303A1 (en) * 2012-12-23 2014-06-26 N-Trig Ltd. Touchscreen computing device and method
CN103927535A (zh) * 2014-05-08 2014-07-16 北京汉仪科印信息技术有限公司 一种汉字书写识别方法及装置
CN104199608A (zh) * 2014-08-20 2014-12-10 Tcl通讯（宁波）有限公司 在触摸终端上快速开启记录的方法及触摸终端
CN104216658A (zh) * 2008-06-30 2014-12-17 上海触乐信息科技有限公司 触摸屏上实现手写笔画输入的方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6141020A (en) * 1997-11-12 2000-10-31 S3 Incorporated Opposing directional fill calculators in a graphics processor
US6088701A (en) * 1997-11-14 2000-07-11 3Dfx Interactive, Incorporated Command data transport to a graphics processing device from a CPU performing write reordering operations
US6771269B1 (en) * 2001-01-12 2004-08-03 Ati International Srl Method and apparatus for improving processing throughput in a video graphics system
US8203527B2 (en) 2009-04-24 2012-06-19 Seiko Epson Corporation Minimizing pen stroke capture latency
US8725443B2 (en) 2011-01-24 2014-05-13 Microsoft Corporation Latency measurement
JP6034138B2 (ja) 2012-11-01 2016-11-30 株式会社東芝 電子機器、筆跡表示方法およびプログラム
US8884906B2 (en) * 2012-12-21 2014-11-11 Intel Corporation Offloading touch processing to a graphics processor
KR101582578B1 (ko) * 2014-01-20 2016-01-11 (주)넥셀 그래픽 처리 장치 및 방법
WO2015120073A1 (en) * 2014-02-04 2015-08-13 Tactual Labs Co. Low-latency visual response to input via pre-generation of alternative graphical representations of application elements and input handling on a graphical processing unit
US20160062535A1 (en) * 2014-08-27 2016-03-03 Kabushiki Kaisha Toshiba Electronic apparatus and control method
US9721365B2 (en) * 2014-12-09 2017-08-01 Synaptics Incorporated Low latency modification of display frames

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104216658A (zh) * 2008-06-30 2014-12-17 上海触乐信息科技有限公司 触摸屏上实现手写笔画输入的方法
WO2014097303A1 (en) * 2012-12-23 2014-06-26 N-Trig Ltd. Touchscreen computing device and method
CN103823628A (zh) * 2013-12-15 2014-05-28 北京工业大学 结合笔压的毛笔字笔锋模拟方法
CN103927535A (zh) * 2014-05-08 2014-07-16 北京汉仪科印信息技术有限公司 一种汉字书写识别方法及装置
CN104199608A (zh) * 2014-08-20 2014-12-10 Tcl通讯（宁波）有限公司 在触摸终端上快速开启记录的方法及触摸终端

Also Published As

Publication number Publication date
WO2017074524A1 (en) 2017-05-04
US9753557B2 (en) 2017-09-05
US20170115754A1 (en) 2017-04-27
CN108139859A (zh) 2018-06-08
DE112016004883T5 (de) 2018-08-16

Similar Documents

Publication Publication Date Title
TWI374368B (en) Real-time inking
US8355007B2 (en) Methods for use with multi-touch displays for determining when a touch is processed as a mouse event
US9250780B2 (en) Information processing method and electronic device
US8836653B1 (en) Extending host device functionality using a mobile device
CN105683994B (zh) 针对降低延迟的数字着墨的湿墨纹理引擎
EP2825955B1 (en) Input data type profiles
CN103955339A (zh) 一种终端操作方法及终端设备
US9529463B1 (en) Method and device for reducing latency for rendering and displaying stylus strokes
WO2017173576A1 (zh) 一种显示方法及终端
US10895954B2 (en) Providing a graphical canvas for handwritten input
CN108139859B (zh) 对触摸显示器快速着墨
US8948514B2 (en) Electronic device and method for processing handwritten document
JP6286836B2 (ja) 投影システム、投影装置、投影方法、及び投影プログラム
US10620820B2 (en) Electronic devices having touch-sensing module and method for generating displayed image
TW201407352A (zh) 雙作業系統之運作方法及具有雙作業系統之觸控電子裝置與電腦可讀儲存媒體
WO2022016650A1 (zh) 智能笔图像处理方法、装置及电子设备
CN104956378A (zh) 电子设备和手写文档处理方法
CN112578987A (zh) 屏外交互式触摸一体机及其交互方法
US9501182B2 (en) Mechanism for interpreting touches to a pad cover over a sensor pad at a computing device
US20200042128A1 (en) Electronic whiteboard system, operating method thereof and electronic whiteboard
WO2023015949A1 (zh) 屏幕显示方法和终端设备
JP5256755B2 (ja) 情報処理方法及び情報処理装置
CN109308140B (zh) 电子装置以及显示图像产生方法
WO2017049603A1 (en) Extended user touch input
CN104820489A (zh) 管理低延时直接控制反馈的***和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant