CN109074189A - 用于对输入感测、渲染及显示进行定时以便最小化时延的***和方法 - Google Patents

用于对输入感测、渲染及显示进行定时以便最小化时延的***和方法 Download PDF

Info

Publication number
CN109074189A
CN109074189A CN201780019312.9A CN201780019312A CN109074189A CN 109074189 A CN109074189 A CN 109074189A CN 201780019312 A CN201780019312 A CN 201780019312A CN 109074189 A CN109074189 A CN 109074189A
Authority
CN
China
Prior art keywords
touch
time
input
application
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201780019312.9A
Other languages
English (en)
Inventor
B·罗德里格斯德阿拉霍
R·J·J·柯斯塔
C·福林斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tactual Labs Co
Original Assignee
Tactual Labs Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tactual Labs Co filed Critical Tactual Labs Co
Publication of CN109074189A publication Critical patent/CN109074189A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G06F3/04184—Synchronisation with the driving of the display or the backlighting unit to avoid interferences generated internally
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39—Control of the bit-mapped memory
    • G09G5/393—Arrangements for updating the contents of the bit-mapped memory
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2310/00—Command of the display device
    • G09G2310/06—Details of flat display driving waveforms
    • G09G2310/067—Special waveforms for scanning, where no circuit details of the gate driver are given
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2310/00—Command of the display device
    • G09G2310/08—Details of timing specific for flat panels, other than clock recovery
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/12—Frame memory handling
    • G09G2360/127—Updating a frame memory using a transfer of data from a source area to a destination area

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

所公开的***和方法总体涉及用户对触敏设备的输入领域，更具体地涉及能降低最近输入事件与反映这种输入的渲染帧的显示之间的时延的用户输入***及方法。在一实施例中，用于在触敏设备中降低输入触摸事件与反映输入触摸事件的帧的显示之间的时延的方法包括：估计下一帧刷新的时刻；从操作***接收反映输入触摸事件的触摸数据；确定与输入触摸事件关联的应用；估计应用对所接收到的触摸数据进行处理及渲染的时间；至少部分地基于应用对触摸数据进行处理及渲染所用的估计时间以及下一帧刷新的估计时刻，来确定对应用递送触摸数据将允许应用在下一帧刷新的时刻之前对触摸数据进行处理及渲染的时刻；以及紧接在所确定的时刻之前对应用提供触摸数据。

Description

用于对输入感测、渲染及显示进行定时以便最小化时延的系 统和方法
相关申请的交叉引用
本申请是于2016年2月2日提交的美国临时专利申请第62/290,347号的非临时申请，且要求该临时专利申请的优先权，其全部公开通过引用结合于此。本申请是于2015年11月18日提交的美国专利申请第14/945,083号的部分继续申请，且要求该专利申请的优先权，其全部公开通过引用结合于此，该美国专利申请第14/945,083号本身是于2014年11月18日提交的美国专利申请第62/081,261号的非临时申请，且要求其优先权。此申请包括受版权保护的材料。版权所有者不反对任何人对本专利公开进行影印，就像它出现在专利和商标局文件或记录中，但在别的方面保留所有版权。
技术领域
所披露的***和方法总体涉及用户对触敏设备的输入领域，更具体地涉及能降低最近输入事件与反映这种输入的渲染帧的显示之间的时延的用户输入***及方法。
附图说明
通过下列对如附图所示的各实施例的更加具体的描述，本公开的前述的及其他目标、特征，和优点将变得显而易见，在附图中，各个图中的附图标记表示相同部分。这些附图并不一定是按比例的，而是将重点放在展示本发明的原理上。
图1示出图示现有的双缓冲方案的图。
图2及图3示出图示现有的渲染方法的图。
图4及图5加快加快示出图示通过加快渲染及加快刷新屏幕来降低滞后的方案的实施例的示意图。
图6示出图示被提供有对GUI的渲染进行定时的***的本公开的***和方法的实施例的示意图。
具体实施方式
现在将详细参照本发明的优选实施例，附图中示出了所述优选实施例的示例。以下描述和附图是说明性的，并且不解释为限制性的。描述了众多特定的细节以提供透彻的理解。然而，在某些实例中，不描述公知的或常规的细节以避免使描述变得模糊。在本公开中，对一个实施例或实施例的引用不一定是对同一个实施例的引用，此类引用意味着至少一个实施例。
本说明书中对“实施例”或“所述实施例”的引用意味着结合所述实施例所描述的具体特征、结构或特性包括在本公开的至少一个实施例中。在本说明书中的不同位置出现短语“在一个实施例中”不一定都是指同一个实施例，也不是指与其他实施例互相排斥的单独的或备选实施例。此外，还描述了可由一些实施例呈现而不可由其他实施例呈现的各种特征。类似地，还描述了可能是对于一些实施例但不是对于其他实施例的要求的各种要求。
以下参考用于对输入感测、渲染及显示进行定时以便最小化时延的方法和设备的框图以及操作图示来描述本发明。应该理解，框图或操作图示中的每一个框以及框图或操作图示中的框的组合可以通过模拟或数字硬件和计算机程序指令来实现。这些计算机程序指令可以存储在计算机可读介质上并且被提供至通用计算机、专用计算机、ASIC的处理器或其他可编程数据处理设备，从而使得经由所述计算机的所述处理器或其他可编程数据处理设备执行的这些指令实现在框图或单个操作框或多个框中指定的功能/动作。在某些可选实现方式中，在框中所指出的功能/动作可以不按照操作图示中所标注的顺序出现。例如，可以取决于所涉及的功能/动作，连续示出的两个框实际上可以基本上同时执行，或者这些框有时可以按相反的次序来执行。
交互设备可视为多个部分的组合，包括：输入感测、处理及渲染任务以及输出显示。要求将输入感官(例如手指触摸)转换成视觉响应的流水线并非即刻发生；各动作均会由于各种原因而引入时延，诸如处理信息所需花费的时间，或者在显示器的情况下，显示器用以重绘整个屏幕或其一部分的频率。由此，即使在可能的情况下使这些动作并行执行，***也仅仅与最慢的动作一样快。例如，显示器可能仅每60Hz刷新一次，这意味着如果其它动作在下一刷新周期之前更快(或可获取)，***也被迫等待显示器准备好显示新信息。
本发明的一个目的在于降低该时延(即为用户输入至***与***对该输入的图形响应之间的时间)。本发明的目的还在于通过使输入捕获和处理与显示刷新相同步，使得能够显示最近的输入信息。以往，任何输入信息均被尽可能地处理，且时常迫于等待下一刷新周期。仅这就会引入等待期间，并反映到整个***时延。根据本发明所公开的方法的实施例，该***考虑下一刷新在何时并将此考虑在内以便提供最新事件，以恰好及时进行渲染。
在一实施例中，刷新显示的时刻以及用于对输入传感器进行采样并计算触摸点的时间是已知的。因此，将输入感测延迟并重合到在刷新将要开始时结束。在一实施例中，在最后可能的时刻开始渲染，使得完成该渲染且准备好为下一显示刷新进行输出。该恰好及时的渲染将访问最近的输入事件，由此，所产生的显示将包括具有最小时延量的图形。
在另一实施例中，刷新的时刻以及用于对输入传感器进行采样的时间是未知的，需要事先测量。基于关键时间戳来执行测量，这允许我们确保时间排序及序列。通过测量，输入采样率及显示刷新率变得已知，并且能如上概述那样对图形的渲染进行定时，以便最小化时延。
在另一实施例中，利用外部测量设备及用户输入(或定义为常量)来对这样的测量进行检测。
在另一实施例中，这些测量根据***工作负荷而变化，且这些测量并不精确，而仅仅试图减少对显示的等待。渲染输出所需要的时间是该输出的复杂度与竞争***活动(更复杂的输出通常需要更多时间来进行渲染，CPU或GPU上的竞争活动可能会拖慢渲染等)的函数。在该实施例中，***基于如下数据的一些组合来估计渲染时间：输出复杂度的模型、关键***组件上的竞争活动的知识、渲染先前帧所需要的时间以及渲染过去的类似输出所需要的时间。
在另一实施例中，一旦显示器完成其垂直刷新且有何时的缓冲器可用于渲染时，***便对输出进行渲染。在渲染完成后，***基于由输入传感器附加的输入事件采样来更新该渲染，直到下一垂直刷新为止。例如，***对GUI的视图进行渲染，之后基于附加输入事件来将其进行转换，直到必须显示该渲染的时刻。
图1示出现有的双缓冲方案。在该方案中，显示器在用于显示及渲染的两缓冲器(A&B)之间“翻转”或“交换”。在缓冲器A可见时，设备渲染到缓冲器B中。该***以规定的速率翻转/交换缓冲器，使得缓冲器B当前可见，且可渲染到缓冲器A中。当缓冲器在屏幕外(offscreen)时，该缓冲器被清除且被渲染。
图2及图3示出了现有的渲染方法。利用最近输入数据及应用状态来对该GUI进行渲染。在GUI被渲染时与其最终被显示于屏幕时在应用状态(包括输入)之间存在差异的情况下，会产生时延(滞后)。图3中，渲染A的滞后图示为渲染A的开始与将该渲染A的结果显示在屏幕上的垂直刷新之间的时间。
图4及图5示出了通过更加快渲染及加快刷新屏幕来降低滞后的方案。例如，一个方案可以在它们的***中包括更快的GPU或其它这样的改进，并可以以更快速的刷新率(比如100Hz而不是60Hz)运行它们的显示器。在该方式下，渲染后的图形既更快速地被创建又更快速地为用户显示于屏幕，由此减小了渲染的开始与向用户显示该GUI之间的时间。只要在屏幕的垂直刷新之间有时间用于清除缓冲器和渲染GUI，该方法将会减小滞后，但代价是需要更强大的渲染引擎及更快更昂贵的显示器。
图6示出对GUI的渲染进行定时以使其尽可能在接近垂直刷新时完成的本公开的***及方法的实施例。在这种方式下，渲染可使用最近可获得的用户输入及最近可获得的应用状态来产生经渲染的图像，从而减小滞后。
在一实施例中，提供一种用于在触敏设备中降低触摸数据的获取与相关联的渲染任务的处理之间的时延的***及方法，该触敏设备具有能以触摸采样率产生触摸数据的触摸感测***且具有以刷新率显示帧的显示***。该***估计以下数据中的至少一个：(a)用于从上述触摸感测***对触摸数据进行采样的时间段、(b)根据所采样得到的触摸数据计算触摸事件数据的时间段、以及(c)用于将帧渲染到帧缓冲器的时间段。该***至少部分地基于该估计来确定用于(a)从触摸感测***对触摸数据进行采样、(b)根据所采样得到的触摸数据来计算触摸事件数据、以及(c)将帧渲染到帧缓冲器的时间段Tc。该***确定一时刻Tr，在该时刻Tr，将从帧缓冲器刷新显示***。至少部分地基于Tr及Tc来计算采样开始时刻。触摸感测***的采样被发起以便在采样开始时刻获取采样到的触摸数据。根据采样到的触摸数据来计算触摸事件数据，在时刻Tr之前，反映该触摸事件数据的帧被渲染到帧缓冲器。之后，从该帧缓冲器刷新显示。
在一实施例中，***确定根据采样到的触摸数据来计算触摸事件数据所需要的时间段Tc以及将要从帧缓冲器刷新显示的时刻Tr。触摸感测***被采样以便创建采样到的触摸数据。根据采样到的触摸数据计算触摸事件数据，该计算步骤的开始被推迟，以便在至少与(Tr-Tc)一样早的时刻发生。在时刻Tr前将帧渲染到帧缓冲器，之后从该帧缓冲器刷新显示***。
在一实施例中，提供一种用于在触敏设备中降低触摸数据的获取与相关联的渲染任务的处理之间的时延的方法，该触敏设备具有(a)能以触摸采样率产生触摸数据的触摸感测***、以及(b)以具有刷新同步的刷新率显示帧的显示***。在采样同步时开始对触摸传感器输出的采样，采样到的输出被以采样率置于采样缓冲器。在刷新同步时开始对多个显示缓冲器中的一个缓冲器进行帧渲染，在刷新同步时显示与经渲染的帧对应的显示图像。与用于在采样缓冲器中收集输出的估计时间对应的时间段Tc被确定，与用于根据所收集的输出计算触摸事件数据的估计时间对应的时间段Tm被确定，与用于渲染对应于触摸事件数据的帧的估计时间对应的时间段Tr被确定。基于刷新同步、Tc、Tm及Tr来计算开始时刻，在该开始时刻发起在采样缓冲器中对输出的收集。之后，根据所收集的输出来计算触摸事件数据，对与该触摸事件数据对应的帧进行渲染。
在一实施例中，交换缓冲器期间可用于对由应用渲染后的图像何时准备好由显示器呈现进行估计。在一实施例中，也可以使用其它策略来估计图像可用性；例如用于估计图像可用性的可选策略也可以包括对帧缓冲器(例如，队列、双缓存器、三缓存器(或任何多缓存器方案)、堆栈、散列、堆、链表、双向链表)的基于缓存器的抽象进行监控，但并不局限于此。在一实施例中，可提供具有API的应用，其中，该API允许该应用指定执行渲染所需要的时间，例如，通过指示渲染开始与渲染结束。在一实施例中，可以选择一随机的时间段来作为渲染期间的估计值。
在一实施例中，利用输入采样及/或输出处理的估计来调整调度，由此，例如***中各种处理所花费的时间量可以得到监控，输入采样及/或输出处理的调度可以得到调整以便补偿该时间。在一实施例中，可能产生多个重叠调度，其中生成有多个候选输出并且在给定执行渲染或以其它方式处理输入所花费的特定时间量的情况下选择一个正确的输出。在一实施例中，可对以下中的一个或多个进行监控：采样时间、(操作***、UI框架、应用或其他处理中的一个或多个的)计算时间、渲染、硬件对给定输入进行渲染所需要的时间以及对应用递送输入所需要的时间。在一实施例中，可对例如操作***用于输入及输出处理所花费的时间进行监控并馈送至调度器。
在一实施例中，通过对输入的处理及其效果在屏幕上的显示进行调度来改善***的时延。例如在本机模式下利用操作***且没有固有地提供用于在渲染处***的访问的情况下，这可能是理想的。在给定的处理步骤期间，可通过调度该处理以使其发生在特定的输入后或特定的显示刷新之前(或关于该输入或显示的复现、预定或持续调整的调度时)，从而实现时延的改善。在一实施例中，可跳过输出及/或输入事件。在一实施例中，通过对要递送给应用程序的处理进行调度，从而将来自多个输入帧的输入事件打包在一起。
如上所述，通过执行调度来确定对应用视图的渲染应何时发生。在一实施例中，考虑对何时执行对应用的输入递送以及应当包括哪个采样到的输入的调度，以便确保最近的输入是被处理且其效果被显示于屏幕的输入。在一实施例中，执行对输入的调度。在一实施例中，执行对输出的调度。在一实施例中，执行这两者。由此，在一实施例中，操作***将事件数据(例如触摸事件数据)转发给用于对事件数据向应用的递送进行合并和调度的处理。在一实施例中，该处理可对多个事件进行合并，包括来自多个传感器(其可能或可能不以相似采样频率运行)的事件。在一实施例中，对向应用的递送进行调度可基于用于所合并的事件的输入处理时间和输出处理时间。在一实施例中，在确定所合并的事件超过帧缓冲器切换之前剩余的可用时间的情况下，可以推迟该事件的递送，直到在随后的帧缓冲器切换之前的点(例如，紧接在随后的帧缓冲器切换之前)，但是在递送时仍将包括最近的信息。在一实施例中，在确定所合并的事件超过帧缓冲器切换之前所剩的可用时间的情况下，可跳过所合并的事件中的一个或多个，由此，输入被抽取以便允许在帧缓冲器切换时显示。
在一实施例中，可执行多输入采样的同步(或近似同步)处理。上述处理允许将输入采样从调度处理解耦。由此，在一实施例中，采取对输入的多采样。当一输入要被处理以便修改应用状态的时刻到来时，最近事件被发送至该应用以更新其状态。在一实施例中，为了减轻应用在输出帧之间多次更新其状态的时间，该应用可仅在其适合于执行更新(及渲染)时被告知输入。虽然该策略通过仅对最近事件进行渲染在降低时延方面是有效的，但被跳过的事件可能包含所需的或所期望的信息。由此，在一实施例中，输入事件被排队(或者以其他方式打包/编组)且作为组被递送给该应用(或者以其他方式同时或近似同时地处理)，从而减少应用更新其状态的次数。这种输入事件的递送减少了产生更新的次数，增加了输入事件在针对特定输出方法/处理的正确时刻被递送的可能性。此外，应用可因此接收到与它们原本将没有该排队的益处的情况相同(或基本相同)的输入。
贯穿本公开中，可以使用术语“触摸”、“接触”或其他描述符来描述由传感器检测到用户的手指、指示笔、物体或身体部位的事件或时间段。在一些实施例中，这些检测仅当用户与传感器或传感器包括在其中的设备物理地接触时才发生。在其他实施例中，可以调谐传感器以便允许检测悬停在触摸表面上方的一距离或以其他方式与触摸敏感设备分离的“触摸”。因此，在本说明书中使用暗示对感测的物理接触的依赖性的语言不应该意味着所描述的技术仅应用于那些实施例；事实上，几乎全部的(若不是全部的话)本申请描述的内容将同等地应用于“触摸”和“悬停”传感器。如本申请中使用的，词语“触摸事件”和词“触摸”当用作名词时包括接近触摸和接近触摸事件，或者可使用传感器来识别的任何其它手势。
可以至少部分地在软件中包括所公开的至少一些方面。即，响应于其处理器(诸如微处理器)执行包含在存储器(诸如ROM、易失性RAM、非易失性存储器、缓存或远程存储设备)中的指令序列，可以在专用或通用计算机***或其他数据处理***中实施所述技术。
经执行以便实现实施例的例程可以被实现为操作***、固件、ROM、中间件、服务递送平台、SDK(软件开发工具包)组件、web服务，或其他特定的应用、组件、程序、对象、模块或被称为“计算机程序”的指令序列的一部分。到这些例程的调用接口可作为API(应用编程接口)暴露于软件开发社区下。计算机程序通常包括计算机中的各存储器和存储设备中的各时刻下的一个或多个指令集，所述一个或多个指令集当由计算机中的一个或多个处理器执行时使所述计算机进行执行涉及各方面的元件所必需的操作。
机器可读介质可用于存储软件和数据，所述软件和数据当由数据处理***执行时使所述***执行各种方法。可执行软件和数据可以存储在各个位置处，包括例如，ROM、易失性RAM、非易失性存储器和/或缓存。此软件和/或数据的部分可以存储在这些存储设备中的任何一个存储设备中。进一步地，可从集中式服务器或对等网络获得所述数据和指令。可在不同的时间以及在不同的通信会话中或者在相同的通信会话中从不同的集中式服务器和/或对等网络获得所述数据和指令的不同部分。可以在执行应用之前完整地获取数据和指令。可替代地，当需要执行时，可动态地(仅实时)获得所述数据和指令的部分。因此，不需要所述数据和指令在具体示例的时刻以其整体处于机器可读介质上。
计算机可读介质的示例包括但不限于可记录和不可记录类型的介质，诸如易失性和非易失性存储器设备、只读存储器(ROM)、随机存取存储器(RAM)、闪存设备、软盘以及其他可移动磁盘、磁盘存储介质、光存储介质(例如，压缩盘只读存储器(CD ROM)、数字通用盘(DVD)等)等等。
通常，机器可读介质包括提供(例如，存储)采用机器可访问的形式的信息(例如，计算机、网络设备、个人数字助理、制造工具、具有一个或多个处理器的集合的任何设备等)的任何机制。
在各实施例中，硬件电路可以与软件指令一起使用以便实现技术。因此，所述技术既不限于硬件电路和软件的任何具体组合，也不限于由数据处理***执行的指令的任何特定来源。
以上实施例和偏好用于说明本发明。对于本专利来说，既不必要也不旨在概括或限定每种可能的组合或实施例。本发明人已经公开了足够的信息以准许本领域技术人员实践本发明的至少一个实施例。在不脱离如以下权利要求书中所限定的本发明的范围的情况下，以上描述和附图仅用于说明本发明，并且部件、结构和程序的变化是可能的。例如，在不脱离本发明的情况下，可以按照不同的顺序实践以上所述的元件和/或步骤和/或按照特定顺序的以下权利要求书。因此，虽然已经参照本发明的实施例具体示出和描述了本发明，但是本领域技术人员将理解，在不脱离本发明的精神和范围的情况下，可以对形式和细节做出各种修改。

Claims (2)

1.一种用于在触敏设备中降低输入触摸事件与反映所述输入触摸事件的帧的显示之间的时延的方法，所述触敏设备具有操作***及显示***，该操作***可操作地与对输入触摸事件敏感的触摸感测***相连接，所述显示***以刷新率显示帧，所述方法包括：
估计下一帧刷新的时刻；
从所述操作***接收反映输入触摸事件的触摸数据；
确定与所述输入触摸事件关联的应用；
估计所述应用对所接收到的所述触摸数据进行处理及渲染所用的时间；
至少部分地基于所述应用对所述触摸数据进行处理及渲染所用的估计时间以及所述下一帧刷新的估计时刻，来确定对所述应用递送所述触摸数据将允许所述应用在所述下一帧刷新的时刻之前对所述触摸数据进行处理及渲染的时刻；以及
紧接在所确定的所述时刻之前对所述应用提供所述触摸数据。
2.一种用于在触敏设备中降低最近输入触摸事件与反映所述输入触摸事件的帧的显示之间的时延的方法，所述触敏设备具有操作***及显示***，该操作***可操作地与对输入触摸事件敏感的触摸感测***相连接，所述显示***以刷新率显示帧，所述方法包括：
估计下一帧刷新的时刻；
从所述操作***接收反映与第一应用关联的多个输入触摸事件的触摸数据；
估计所述应用对所接收到的所述触摸数据中的多个输入触摸事件进行处理及渲染所用的时间；
至少部分地基于所述应用对所述触摸数据进行处理及渲染所用的估计时间以及所述下一帧刷新的估计时刻，来确定对所述应用递送所述触摸数据将允许所述应用在所述下一帧刷新的时刻之前对所述触摸数据进行处理及渲染的时刻；以及
紧接在所确定的时刻之前对所述应用提供所述触摸数据。
CN201780019312.9A 2016-02-02 2017-02-02 用于对输入感测、渲染及显示进行定时以便最小化时延的***和方法 Withdrawn CN109074189A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662290347P 2016-02-02 2016-02-02
US62/290,347 2016-02-02
PCT/US2017/016222 WO2017136554A1 (en) 2016-02-02 2017-02-02 System and method for timing input sensing, rendering, and display to minimize latency

Publications (1)

Publication Number Publication Date
CN109074189A true CN109074189A (zh) 2018-12-21

Family

ID=59501044

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780019312.9A Withdrawn CN109074189A (zh) 2016-02-02 2017-02-02 用于对输入感测、渲染及显示进行定时以便最小化时延的***和方法

Country Status (4)

Country Link
JP (1) JP2019505045A (zh)
CN (1) CN109074189A (zh)
DE (1) DE112017000610T5 (zh)
WO (1) WO2017136554A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110971972A (zh) * 2019-11-27 2020-04-07 北京凯视达科技有限公司 用于播放视频的方法和装置、存储介质、电子设备
CN111984181A (zh) * 2020-09-09 2020-11-24 Oppo（重庆）智能科技有限公司 一种画面刷新方法、装置、终端设备及存储介质
CN113867517A (zh) * 2020-06-30 2021-12-31 北京小米移动软件有限公司 触控方法、装置、电子设备和存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103593155A (zh) * 2013-11-06 2014-02-19 华为终端有限公司 显示帧生成方法和终端设备
US20140092150A1 (en) * 2012-10-02 2014-04-03 Nvidia Corporation System, method, and computer program product for modifying a pixel value as a function of a display duration estimate
US20140198052A1 (en) * 2013-01-11 2014-07-17 Sony Mobile Communications Inc. Device and method for touch detection on a display panel
US20150062021A1 (en) * 2013-08-30 2015-03-05 Nvidia Corporation Methods and apparatus for reducing perceived pen-to-ink latency on touchpad devices
CN104820489A (zh) * 2014-01-30 2015-08-05 三星显示有限公司 管理低延时直接控制反馈的***和方法
CN104932754A (zh) * 2008-09-26 2015-09-23 苹果公司 用于触摸输入设备的改进的触摸检测
CN104951129A (zh) * 2014-03-31 2015-09-30 三星显示有限公司 将覆盖数据与视频图像相组合的方法和***及显示***

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8947420B2 (en) * 2011-05-27 2015-02-03 Nokia Corporation Processing image content for content motion or touch input
EP2620843A1 (en) * 2012-01-27 2013-07-31 Research In Motion Limited Electronic device including touch-sensitive display
US9703473B2 (en) * 2013-01-24 2017-07-11 Facebook, Inc. Predicting touch input
US9293119B2 (en) * 2014-01-06 2016-03-22 Nvidia Corporation Method and apparatus for optimizing display updates on an interactive display device
US9354744B2 (en) * 2014-06-09 2016-05-31 Sony Corporation Adaptive touch panel synchronization

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104932754A (zh) * 2008-09-26 2015-09-23 苹果公司 用于触摸输入设备的改进的触摸检测
US20140092150A1 (en) * 2012-10-02 2014-04-03 Nvidia Corporation System, method, and computer program product for modifying a pixel value as a function of a display duration estimate
US20140198052A1 (en) * 2013-01-11 2014-07-17 Sony Mobile Communications Inc. Device and method for touch detection on a display panel
US20150062021A1 (en) * 2013-08-30 2015-03-05 Nvidia Corporation Methods and apparatus for reducing perceived pen-to-ink latency on touchpad devices
CN103593155A (zh) * 2013-11-06 2014-02-19 华为终端有限公司 显示帧生成方法和终端设备
CN104820489A (zh) * 2014-01-30 2015-08-05 三星显示有限公司 管理低延时直接控制反馈的***和方法
CN104951129A (zh) * 2014-03-31 2015-09-30 三星显示有限公司 将覆盖数据与视频图像相组合的方法和***及显示***

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110971972A (zh) * 2019-11-27 2020-04-07 北京凯视达科技有限公司 用于播放视频的方法和装置、存储介质、电子设备
CN113867517A (zh) * 2020-06-30 2021-12-31 北京小米移动软件有限公司 触控方法、装置、电子设备和存储介质
CN111984181A (zh) * 2020-09-09 2020-11-24 Oppo（重庆）智能科技有限公司 一种画面刷新方法、装置、终端设备及存储介质

Also Published As

Publication number Publication date
DE112017000610T5 (de) 2018-10-11
JP2019505045A (ja) 2019-02-21
WO2017136554A1 (en) 2017-08-10

Similar Documents

Publication Publication Date Title
CN107077252B (zh) 用于定时输入感测、渲染和显示以便最小化时延的***和方法
US11068290B2 (en) Systems and methods for providing interactive streaming media
US11064267B2 (en) Systems and methods for providing interactive streaming media
US9612675B2 (en) Emulating pressure sensitivity on multi-touch devices
EP2638452B1 (en) Resolving merged touch contacts
US10972798B2 (en) Display method and device for attached media information
KR20160058117A (ko) 미래 사용자 입력을 예측한 상태 변화에 관한 정보를 사용하는 사용자 입력에 대한 반응을 제공하는 시스템 및 방법
CN104679307B (zh) 一种检测触摸屏幕滑动灵敏度的方法及装置
CN104375862B (zh) 一种进度条展现方法及装置
US8418148B2 (en) Thread execution analyzer
US20120300123A1 (en) Processing image content for content motion or touch input
CN109074189A (zh) 用于对输入感测、渲染及显示进行定时以便最小化时延的***和方法
JP2019502201A (ja) マルチスレッドアクセスのためのソフトウェア定義のｆｉｆｏバッファ
WO2018098960A1 (zh) 一种触屏设备操作方法及触屏设备
US9946398B2 (en) System and method for timing input sensing, rendering, and display to minimize latency
US20170269761A1 (en) Extended user touch input
JP6966999B2 (ja) マルチスレッド処理を調整するためのハードウェアアクセスカウンタとイベント生成
US20190042596A1 (en) Apparatus of continuous profiling for multicore embedded system and method of the same
US11875033B1 (en) Touch-based occlusion for handheld devices
WO2024152820A1 (zh) 一种端到端的时间延迟的检测方法、装置以及设备
JP2015170031A (ja) 対応付け方法、対応付けプログラム及び対応付け装置
JP2021124968A (ja) 情報処理装置、情報処理方法、及びプログラム
JP2016095747A (ja) 操作再現装置、操作再現方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20181221