CN112862659A - 借助于合成器生成一系列帧方法和装置 - Google Patents

借助于合成器生成一系列帧方法和装置 Download PDF

Info

Publication number
CN112862659A
CN112862659A CN202010877249.6A CN202010877249A CN112862659A CN 112862659 A CN112862659 A CN 112862659A CN 202010877249 A CN202010877249 A CN 202010877249A CN 112862659 A CN112862659 A CN 112862659A
Authority
CN
China
Prior art keywords
host processor
buffer
metadata
processing unit
graphics processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010877249.6A
Other languages
English (en)
Other versions
CN112862659B (zh
Inventor
陈泂甫
陈正哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN112862659A publication Critical patent/CN112862659A/zh
Application granted granted Critical
Publication of CN112862659B publication Critical patent/CN112862659B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/006—Details of the interface to the display terminal
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/363—Graphics controllers
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39—Control of the bit-mapped memory
    • G09G5/393—Arrangements for updating the contents of the bit-mapped memory
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2310/00—Command of the display device
    • G09G2310/04—Partial updating of the display screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2350/00—Solving problems of bandwidth in display systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/06—Use of more than one graphics processor to process data before displaying to one or more screens
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/08—Power processing, i.e. workload management for processors involved in display operations, such as CPUs or GPUs
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/10—Display system comprising arrangements, such as a coprocessor, specific for motion video images
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/18—Use of a frame buffer in a display terminal, inclusive of the display panel
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/04—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Generation (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

提供了一种用于借助合成器生成一系列帧方法和装置。该方法可以包括：利用GPU进行全渲染以在彩色缓冲器中生成第一帧，以输出到显示面板并显示在显示面板上。利用GPU在元数据缓冲器中生成至少一个后续帧的一组元数据；利用合成器，根据先前帧信息和至少一个后续帧的一组元数据，合成至少一个后续帧，以在彩色缓冲器中生成至少一个后续帧，并输出至显示面板并显示在显示面板上。根据本发明所提供的借助合成器生成一系列帧方法和装置可以将一些渲染任务从GPU卸载到合成器，以增强电子设备的整体性能。

Description

借助于合成器生成一系列帧方法和装置
相关申请的交叉引用
本发明要求于2019年11月28日提交的申请号为16/698,977的美国专利申请的权益，并且通过引用将其包含在本申请中。
技术领域
本发明涉及图像显示，并且更具体地，涉及用于借助于合成器生成一系列帧以减轻电子设备内的图形处理单元(graphics processing unit，GPU)渲染负担的方法和装置，其中该装置可以包括电子设备的至少一部分(例如一部分或全部)，例如电子设备内的主机处理器、处理电路等。
背景技术
现代游戏通常需要GPU强大的GPU计算能力才能实现美观、完整的场景渲染。更具体地，由于GPU上的某些类型的渲染任务，例如关于片段着色器的每像素处理的渲染任务，可能引入GPU的沉重负担。例如，可以实现目标帧率以进行平滑的图像显示，但是整个***可能遭受高功耗的困扰。对于另一示例，目标帧率可能无法实现，并且图像不能被平滑地显示，从而导致用户体验下降。因此，需要一种新颖的方法和相关的架构来增强电子设备的整体显示性能。
发明内容
本发明的目的是提供一种用于借助合成器生成一系列帧以减轻电子设备内的GPU渲染的负担的方法，并提供诸如电子设备或电子设备内的主机处理器、处理电路等之类的相关装置，以解决上述问题。
本发明的另一个目的是提供一种用于借助合成器生成一系列帧以减轻电子设备内的GPU渲染负担的方法，并提供诸如电子设备或主机处理器之类的相关设备，电子设备内的处理电路等，以增强电子设备的整体性能。
本发明的至少一个实施例提供了一种用于借助于合成器生成一系列帧以减轻电子设备内的GPU渲染负担的方法。该方法可以包括：利用GPU执行全渲染以在彩色缓冲器中生成第一帧，以输出到显示面板并显示在显示面板上，其中，GPU、彩色缓冲器和显示面板位于电子设备中；利用GPU在元数据缓冲器中生成至少一个后续帧的一组元数据，其中，元数据缓冲器位于电子设备中；利用合成器，根据先前帧信息和至少一个后续帧的一组元数据，合成至少一个后续帧，以在所述彩色缓冲器中生成至少一个后续帧，并输出至显示面板并显示在显示面板上。
本发明的至少一个实施例提供了一种主机处理器，其中该主机处理器适用于借助合成器生成一系列帧，以减轻电子设备内的GPU渲染的负担。主机处理器可以包括核心电路，并且包括耦接于核心电路的显示接口电路和总线接口电路。核心电路可以被布置为控制主机处理器，以控制电子设备的操作，其中，在核心电路的控制下，主机处理器执行电子设备的显示控制，以借助于合成器生成一系列帧以减轻GPU渲染的负担。另外，显示接口电路可以被布置为将显示面板耦接于主机处理器，并且总线接口电路可以被布置为通过总线将至少一个组件耦接于主机处理器，其中，所述至少一个组件包括：GPU。例如，主机处理器利用GPU进行全渲染，以在彩色缓冲器中生成第一帧，以输出到显示面板并显示在显示面板上，其中，GPU、彩色缓冲器和显示面板位于电子设备中；主机处理器利用GPU在元数据缓冲器中生成至少一个后续帧的一组元数据，其中，元数据缓冲器位于电子设备中；主机处理器利用合成器根据先前帧信息和至少一个后续帧的一组元数据合成至少一个后续帧，以在彩色缓冲器中生成至少一个后续帧，并输出至显示面板并显示在显示面板上。
根据一些实施例，本发明还提供了一种处理电路，包括上述主机处理器，其中该处理电路还可以包括彩色缓冲器、元数据缓冲器和GPU。例如，彩色缓冲器可以被布置为缓冲帧信息，并且元数据缓冲器可以被布置为缓冲元数据。另外，GPU可以耦接于主机处理器、彩色缓冲器和元数据缓冲器，并且可以被布置为在主机处理器的控制下操作。更具体地，处理电路可以包括被布置为存储用于电子设备的信息的随机存取存储器(random accessmemory，RAM)，其中彩色缓冲器和元数据缓冲器可以在RAM中以不同的缓冲器区域来实现。
根据一些实施例，本发明还提供了一种包括上述主机处理器的电子设备，其中该电子设备可以包括处理电路和显示面板，并且该处理电路可以包括主机处理器、彩色缓冲器、元数据缓冲器和GPU。例如，主机处理器可以被布置为控制电子设备的操作，彩色缓冲器可以被布置为缓冲帧信息，并且元数据缓冲器可以被布置为缓冲元数据。另外，GPU可以耦接于主机处理器、彩色缓冲器和元数据缓冲器，并且可以被布置为在主机处理器的控制下操作。另外，显示面板可以耦接于主机处理器，并且可以被布置为显示信息。更具体地，处理电路可以包括被布置为存储用于电子设备的信息的RAM，其中彩色缓冲器和元数据缓冲器可以用RAM中的不同缓冲器区域来实现。
本发明的方法和相关联的装置(例如，电子设备内的主机处理器、处理电路等)可以适当地控制电子设备的操作，并且更具体地，可以将一些渲染任务从GPU卸载到合成器，以增强电子设备的整体性能。例如，电子设备可以增加帧率(可以以每秒帧数(frame persecond，FPS)为单位进行测量)以实现更好的显示性能。对于另一个示例，电子设备可以以较少的功率操作，而无需降低帧率。另外，实现本发明的实施例将不会大大增加额外的成本，同时解决了相关技术的问题。与常规架构相比，本发明可以实现电子设备的最佳性能，而不会引起任何副作用，或者以不太可能引起副作用的方式。
在阅读了以下在各个附图和图式中示出的优选实施例的详细说明之后，本发明的这些和其他目的无疑对于本领域的普通技术人员将变得显而易见。
附图说明
图1是根据本发明的第一实施例的电子设备的图。
图2是根据本发明的实施例的用于借助合成器生成一系列帧以减轻电子设备内的GPU渲染负担的方法的工作流。
图3示出了根据本发明的实施例的图2所示的方法的架构图。
图4示出了根据本发明的实施例的图2所示的方法的时序流程图。
图5出了根据本发明的实施例的图2所示的方法的低功率控制方案。
图6出了根据本发明的实施例的图2所示的方法的高性能控制方案。
图7示出了根据本发明的实施例的图2所示的方法所涉及的延迟着色。
图8示出了根据本发明的实施例的图2所示的所涉及的运动模糊渲染。
图9是根据本发明另一实施例的电子设备的图。
具体实施方式
在下面的说明书和权利要求中使用某些术语，用以指代特定的组件。如本领域技术人员将理解的，电子设备制造商可以用不同的名称来指代组件。本发明无意区分名称不同但功能相同的组件。在以下描述和权利要求中，术语“包括(include)”和“包含(comprise)”以开放式方式使用，因此应解释为表示“包括但不限于...”。同样，术语“耦接”旨在表示间接或直接的电连接。因此，如果一个设备耦接于另一设备，则该连接可以是通过直接电连接，或者是通过经由其他设备和连接的间接电连接。
图1是根据本发明的第一实施例的电子设备100的图。电子设备的示例可以包括但不限于多功能移动电话、平板计算机、可穿戴设备、多合一计算机和膝上型计算机。如图1所示，电子设备100可以包括处理电路105和耦接于处理电路105的显示面板150，并且处理电路105可以包括总线105B、主机处理器110(例如中央处理单元(central processing unit，CPU))、GPU 120，随机存取存储器(random access memory，RAM)(例如动态RAM(dynamicRAM，DRAM)130)和合成器140，更具体地，主机处理器110可以包括核心电路112、显示接口电路114和总线接口电路116，并且显示面板150可以包括显示接口电路152、显示控制器154和显示模块(例如液晶显示器(liquid crystal display，LCD)模块)156，其中主机处理器110、GPU 120、DRAM 130和合成器140可以通过总线105B彼此耦接，并且显示接口电路114和总线接口电路116可以以图1所示的方式耦接于核心电路112，但是本发明不限于此。根据一些实施例，图1中所示的架构可以改变。例如，诸如LCD模块156的显示模块和触敏模块(未示出)可以被集成到同一模块中以形成触敏显示设备(例如，触摸屏)，并且触敏显示设备可以包括触摸控制器，该触摸控制器用于经由触敏模块执行触摸控制以检测多个用户输入。
处理电路105(例如主机处理器110)和显示面板150可以通过显示接口电路114和显示接口电路152彼此耦接，并且显示接口电路114和显示接口电路152可以用符合特定规范的接口电路实现。例如，特定规范可以是移动工业处理器接口(Mobile IndustryProcessor Interface，MIPI)显示串行接口(Display Serial Interface，DSI)规范，并且显示接口电路114和显示接口电路152可以实现为DSI电路。结果，主机处理器110(例如其中的核心电路112)可以与显示面板150通信，以执行对电子设备100的相关控制。此外，电子设备100可以进一步包括诸如电源管理电路、无线通信电路、存储接口电路等(未示出)的附加电路，以向电子设备100提供执行诸如电源管理、无线通信、存储接口等的相关操作的能力。另外，主机处理器110(例如，其中的核心电路112)可以控制电子设备100的各种操作。例如，在主机处理器110(例如，核心电路112)上运行的某些程序代码112P可以控制电子设备100，以使电子设备100具备各种功能。程序代码112P的示例可以包括但不限于操作***(operating system，OS)、一个或多个驱动器以及一个或多个应用。
根据该实施例，主机处理器110适用于电子设备100的显示控制。更具体地，核心电路112可以被布置为控制主机处理器110，以控制电子设备100的操作。在核心电路112的控制下，主机处理器110可以执行电子设备100的显示控制。例如，主机处理器110(例如，核心电路112)可以将显示接口电路114的刷新率提前设置为目标刷新率，用于默认控制主机处理器110根据目标刷新率将图像输出到显示面板150，并且可以在需要时动态地进行刷新率调整，其中显示接口电路114可以被布置为控制从帧缓冲器向显示面板150输出图像的图像数据的定时，但是本发明不限于此。另外，显示接口电路114和显示接口电路152可以被布置为将显示面板150耦接于主机处理器110，并且将一个或多个命令和图像数据从主机处理器110发送到显示面板150。显示面板150可以显示用于电子设备100的信息(例如，图像数据)。
如图1所示，显示接口电路114可以被布置为将显示面板150耦接于主机处理器110，并且总线接口电路116可以被布置为通过总线105B将至少一个组件耦接于主机处理器110，其中前述至少一个组件可以包括GPU 120、DRAM 130和合成器140，但是本发明不限于此。根据一些实施例，合成器140可以被集成到主机处理器110中，并且更具体地，可以通过在主机处理器110上运行的程序模块来实现。此外，总线接口电路116可以符合特定的通信规范，以允许主机处理器110与上述至少一个组件(例如GPU 120和DRAM 130；以及合成器140，如果合成器140由位于如图1所示的主机处理器110的硬件电路实现)中的任何一个进行通信。例如，GPU 120、DRAM 130和合成器140可以分别在主机处理器110的控制下操作。另外，诸如DRAM 130的RAM可以包括彩色缓冲器132和元数据缓冲器134，其中可以利用诸如DRAM 130的RAM中的不同缓冲器区域来实现彩色缓冲器132和元数据缓冲器134。例如，彩色缓冲器132可以被布置为缓冲帧信息，并且元数据缓冲器134可以被布置为缓冲元数据。
根据一些实施例，当存在需要时，图1中所示的主机处理器110中的电路可以改变。例如，显示接口电路114和总线接口电路116可以通过直接连接彼此耦接。又例如，在主机处理器110内，可以在显示接口电路114和总线接口电路116之间***一个或多个其他组件(例如，用于临时存储要输出到显示面板150的图像数据的帧缓冲器)，显示接口电路114和总线接口电路116可以通过一个或多个其他组件彼此耦接。
图2是根据本发明的实施例的用于借助合成器生成一系列帧以减轻电子设备内的GPU渲染负担的方法的工作流。该方法可以应用于图1所示的电子设备100，更具体地，可以应用于图1所示的架构中的主机处理器110(例如，运行程序代码112P的核心电路112)和相关联的组件(例如，GPU 120、DRAM 130和合成器140)。在核心电路112的控制下，主机处理器110可以借助于合成器140执行电子设备100的显示控制以生成一系列帧，从而减轻GPU 120的GPU渲染的负担。
在步骤S10中，主机处理器110可以利用GPU 120执行全渲染以在彩色缓冲器132中生成第一帧F(N)(例如，符号“N”可以表示整数)，以便输出到显示面板150并显示在显示面板150上，其中，可以将彩色缓冲器132(例如，用于缓冲彩色图像的图像数据的缓冲器)用作图1所示实施例中提到的帧缓冲器的示例。
在步骤S20中，主机处理器110可以利用GPU 120在元数据缓冲器134中生成至少一个后续帧(例如，一个或多个后续帧，例如一个后续帧F(N+1)或多个后续帧(F(N+1)，…，F(N+m))的一组元数据，其中符号“m”可以表示正整数)。例如，上述至少一个后续帧的一组元数据可以包含有关延迟着色(deferred shading)的深度信息、有关延迟着色的法线(normal)信息(例如一个或多个法线向量)、有关延迟着色的漫反射色(diffuse color)信息，以及有关运动模糊渲染的运动向量信息(例如一个或多个运动矢量，更具体地，运动模糊渲染矢量)中的一个或其组合，例如以上信息的至少一部分(例如一部分或全部)。根据该实施例，步骤S20可以包括一些子步骤，例如步骤S21-S24，但是本发明不限于此。
在步骤S21中，主机处理器110可以将索引i的初始值设置为等于1(为简便起见，在图2中标记为“i＝1”)。
在步骤S22中，主机处理器110可以利用GPU 120在元数据缓冲器134中生成后续帧F(N+i)的元数据。
在步骤S23中，主机处理器110可以以诸如1的增量来增加索引i(为简便起见在图2中标记为“i++”)。
在步骤S24中，主机处理器110可以检查索引i是否大于诸如m的预定阈值。如果是，则进入步骤S30。如果否，则进入步骤S22。
在步骤S30中，主机处理器110可利用合成器140根据先前帧信息和前述至少一个后续帧的一组元数据合成前述的至少一个后续帧，以在彩色缓冲器132中生成前述的至少一个后续帧，用于输出到显示面板150并显示在显示面板150上。例如，前述至少一个后续帧的先前帧信息可以包括一系列帧中的前述至少一个后续帧之前的先前帧的帧信息，例如步骤S10中提到的第一帧F(N)的帧信息(例如图像数据)。根据该实施例，步骤S30可以包括一些子步骤，例如步骤S31-S34，但是本发明不限于此。
在步骤S31中，主机处理器110可以将索引j的初始值设置为等于1(为简便起见在图2中标记为“j＝1”)。
在步骤S32中，主机处理器110可以利用合成器140在彩色缓冲器132中合成后续帧F(N+j)，并且更具体地，根据先前帧信息的至少一部分(例如，一部分或全部)和后续帧F(N+j)的元数据合成后续帧F(N+j)，以在彩色缓冲器132中生成后续帧F(N+j)。
在步骤S33中，主机处理器110可以以诸如1的增量来增加索引j(为简便起见在图2中标记为“j++”)。
在步骤S34中，主机处理器110可以检查索引j是否大于诸如m的预定阈值。如果是，则进入步骤S40。如果否，则进入步骤S32。
在步骤S40中，主机处理器110可以以诸如(m+1)的增量增加帧索引N(为简便起见，在图2中标记为“N+＝(m+1)”)，以更新帧索引N。结果，主机处理器110可以在另一次进入步骤S10之后执行类似的操作。
基于图2中所示的工作流，主机处理器110可以利用GPU 120执行全渲染以在彩色缓冲器132中生成另一第一帧，以输出到显示面板150并显示在显示面板150上，并且可以利用GPU 120在元数据缓冲器134中生成至少一个其他后续帧(例如，在另一第一帧之后的一个或多个其他后续帧)的一组元数据，并且可以进一步利用合成器140根据先前的帧信息(例如，另一第一帧的帧信息)和前述至少一个其他后续帧的一组元数据合成上述至少一个其他后续帧，以在彩色缓冲器132中生成前述至少一个其他后续帧，用于输出到显示面板150并显示在显示面板150上。为更好的理解，假设主机处理器110可以在图2所示的工作流中首次进入步骤S10之前将N的初始值设置为零，因此对于主循环(例如，包括步骤S10-S40的循环)中的步骤S10、S20和S30的第一次执行，N＝0；对于主循环中的步骤S10、S20和S30的第二次执行，N＝(1*(m+1))；对于主循环中的步骤S10、S20和S30的第三次执行步骤S10，S20和S30，N＝(2*(m+1))，并且可以通过类推推导重置，但是本发明不限于此。例如，在开始执行图2所示的工作流时，在执行步骤S40的操作之前，第一帧F(N)和后续帧{F(N+1)，…，F(N+m)}可以表示帧{F(0)，F(1)，…，F(m)}；在步骤S40的操作执行一次之后，第一帧F(N)和后续帧{F(N+1)，…，F(N+m)}可以表示帧{F(m+1)，F(m+2)，…，F((2*m+1)}；在执行了两次步骤S40的操作之后，第一帧F(N)和后续帧{F(N+1)，…，F(N+m)}可以表示帧{F((2*m)+2)，F((2*m)+3)，…，F((3*m)+2)}；并且可以通过类推推导重置。
为了更好地理解，该方法可以用图2所示的工作流来说明，但是本发明不限于此。根据一些实施例，可以在图2所示的工作流中添加、删除或改变一个或多个步骤。
根据一些实施例，可以同时执行步骤S10、S20和S30的操作的至少一部分(例如，一部分或全部)。例如，可以在已经从步骤S22的操作获得了该后续帧F(N+j)的元数据之后执行关于合成后续帧F(N+j)的步骤S32的操作，并且可以同时执行关于合成后续帧F(N+j)的步骤S32和关于生成该后续帧F(N+j)的下一帧F(N+j+1)的元数据的步骤S22的操作。又例如，可以同时执行关于生成第一帧F(N+m+1)的步骤S10的操作和关于合成后续帧{F(N+1)，…，F(N+m)}的步骤S32的操作。为简洁起见，在此不再详细重复对这些实施例的类似描述。
另外，在图2所示的工作流中，当需要时，主机处理器110可以将N的初始值设置为零，但是本发明不限于此。根据一些实施例，主机处理器110可以将N的初始值设置为一些其他值中的任何一个。为简洁起见，在此不再详细重复对这些实施例的类似描述。
图3示出了根据本发明的实施例的图2所示的方法的架构图。为了更好的理解，假定可以暂时禁用将一些渲染任务从GPU 120卸载到合成器140的功能，并且如图3的左侧所示，对于繁重的渲染场景，GPU负载很高，但是本发明不限于此。例如，当CPU向GPU 120发送一个或多个命令时，GPU 120可以执行全渲染以在彩色缓冲器132中生成一系列帧中的任何帧的图像数据，并且显示接口电路114可以获得来自彩色缓冲器132的图像数据并将该图像数据发送到显示面板150。如图3的右侧所示，在配备有将一些渲染任务从GPU 120卸载到合成器140的功能的架构中，GPU 120上的一些任务已经被卸载到合成器140。例如，当CPU向GPU 120发送一个或多个命令时，GPU 120可以执行全渲染以在彩色缓冲器13中生成一系列帧的一部分的图像数据，以及包括合成器140、显示接口电路114和存储额外信息(为简便起见，在图2中标记为“额外信息”)的存储器单元(例如存储元数据的元数据缓冲器134)的显示子***可以执行在彩色缓冲器132中生成一系列帧的剩余部分的相关操作。因此，显示接口电路114可以从彩色缓冲器132获得一系列帧中的任何帧的图像数据，并将该图像数据发送到显示面板150。为简便起见，在此不再赘述该实施例的类似描述。
图4示出了根据本发明的实施例的图2所示的方法的时序流程图。为了更好的理解，假定可以暂时禁用将一些渲染任务从GPU 120卸载到合成器140的功能，如图4的左侧所示，GPU 120可以对诸如帧F0、F1、F2等的一系列帧执行全渲染，以分别在彩色缓冲器132中生成帧F0、F1、F2等的图像数据C0、C1、C2等，但是本发明不限于此。如图4的右侧所示，在配备有将一些渲染任务从GPU 120卸载到合成器140的功能的架构中，主机处理器110可以利用GPU 120来执行关于一系列帧的一部分(例如偶数帧F0、F2等)的全渲染，以分别在彩色缓冲器132中生成偶数帧F0、F2等的图像数据C0、C2等。另外，主机处理器110可以利用合成器140根据偶数帧F0、F2的图像数据C0、C2等以及奇数帧F1等的元数据M1等来合成一系列帧的剩余部分(例如奇数帧F1等)，以分别在彩色缓冲器132中生成奇数帧F1等的图像数据C1等，其中主机处理器110可以利用GPU 120在合成奇数帧F1等的操作之前生成奇数帧F1等的元数据M1等。结果，当主机处理器110执行电子设备100的显示控制以生成诸如帧F0、F1、F2等的一系列帧用以显示在显示面板150上时，相对于时间，关于奇数帧F1等的GPU渲染可以减少。为了简洁起见，在此不再赘述该实施例的类似描述。
为了更好地理解，可以将偶数帧F0、F2等作为步骤S10中提到的第一帧F(N)的示例，并且将奇数帧F1等作为前述至少一个后续帧的示例，并且也可将奇数帧F1等作为当m＝1时的后续帧{F(N+1)，…，F(N+m)}的示例，但是本发明不限于此。根据一些实施例，当m＞1时，与图4所示的实施例相比，主机处理器110可以利用合成器140来合成的一系列帧的更多帧。
图5示出了根据本发明的实施例的图2所示的方法的低功率控制方案。例如，如由显示控制信号(例如垂直同步(vertical synchronization，v-sync)信号)指示的，一系列垂直线(例如标记为v0、v1、v2、v3、v4、v5、v6等)可以表示显示周期的各个开始时间点，以及标有帧索引(例如N、N+1等)的插图行可以根据图例指示与帧索引相对应的关联信息(例如，帧、元数据等)，但是本发明不限于此。根据该实施例，主机处理器110可以利用GPU 120通过全渲染以每秒30帧每秒(frame per second，FPS)的帧率生成帧F(N)、F(N+2)、F(N+4)、F(N+6)等，并以30FPS的帧率生成帧F(N+1)、F(N+3)、F(N+5)等的元数据(为简便起见，在图5中标记为“GPU：30+30”)，并且可以利用合成器140以30FPS的帧率合成帧F(N+1)，F(N+3)，F(N+5)等(为简便起见，在图5中标记为“合成器：30”)，并且可以进一步利用显示接口电路114以60FPS的帧率输出一系列帧至显示面板150，例如帧{F(N)，F(N+1)，F(N+2)，F(N+3)，F(N+4)，F(N+5)，F(N+6)，…}(例如GPU全渲染帧F(N)、F(N+2)、F(N+4)、F(N+6)等，以及合成帧F(N+1)、F(N+3)、F(N+5)等)(为简便起见，在图5中标记为“DISP：60”)，以在显示面板150上显示。为简洁起见，在此不再赘述该实施例的类似描述。
为了更好地理解，可以将GPU 120通过全渲染生成的帧F(N)、F(N+2)、F(N+4)、F(N+6)等作为在步骤S10中提到的第一帧F(N)中的示例，以及由合成器140合成的帧F(N+1)、F(N+3)、F(N+5)等可以作为当m＝1时的后续帧{F(N+1)，…，F(N+m)}的示例，但是本发明不限于此。根据一些实施例，当m＞1时，与图5所示的实施例相比，主机处理器110可以利用合成器140来合成一系列帧中的更多帧。
根据一些实施例，主机处理器110可以触发在GPU 120上运行的线程，以利用GPU120在运行在GPU 120上的线程的控制下执行全渲染，以在彩色缓冲器132中生成第一帧F(N)。另外，主机处理器110可以触发在GPU 120上运行的另一线程，以利用GPU 120在运行在GPU 120上的另一线程的控制下在元数据缓冲器134中生成前述至少一个后续帧的一系列元数据。例如，主机处理器110可以将彩色缓冲器132用作在管道(pipeline)内运行线程的GPU 120的下一个阶段，并且可以将元数据缓冲器134用作另一个管道中运行另一个线程的GPU 120的下一个阶段。
图6出了根据本发明的实施例的图2所示的方法的高性能控制方案。例如，如由显示控制信号(例如v-sync信号)指示的，一系列垂直线(例如标记为v0、v1、v2、v3、v4、v5、v6等)可以表示显示周期的各个开始时间点，以及标有帧索引(例如N、N+1等)的插图行可以根据图例指示与帧索引相对应的关联信息(例如命令、帧、元数据等)，但是本发明不限于此。根据该实施例，主机处理器110(例如CPU)可以通过全渲染向GPU 120上运行的线程发送关于以60FPS帧率生成帧F(N)、F(N+2)等的命令，并向GPU 120上运行另一个线程发送关于以60FPS的帧率生成帧F(N+1)、F(N+3)等的元数据的命令(为简洁起见，在图6中标记为“CPU：60”))。例如，主机处理器110可以利用GPU 120通过全渲染以60FPS的帧率生成帧F(N)、F(N+2)、F(N+4)、F(N+6)等，并以60FPS的帧率生成帧F(N+1)、F(N+3)、F(N+5)等的元数据(为了简洁起见，在图6中分别标记为“GPU：60”)，并且可以利用合成器140以60FPS的帧率来合成帧F(N+1)、F(N+3)、F(N+5)等。(为简便起见，在图6中标记为“合成器：60”)，并且可以进一步利用显示接口电路114以120FPS的帧率输出一系列帧至显示面板150，例如帧{F(N)，F(N+1)，F(N+2)，F(N+3)，F(N+4)，F(N+5)，F(N+6)，…}(例如GPU全渲染帧F(N)、F(N+2)、F(N+4)、F(N+6)等，以及合成帧F(N+1)、F(N+3)、F(N+5)等)(为简便起见，在图6中标记为“DISP：120”)，以在显示面板150上显示。为简洁起见，在此不再赘述该实施例的类似描述。
根据一些实施例，合成器140可以执行一种或多种类型的处理。例如，合成器140可以同时执行模糊或解块(de-blocking)以避免伪像。对于另一个示例，合成器140可以将人工智能(artificial intelligence，AI)算法(AI algorithm，ALGO)用于输出帧预测。对于又一个示例，合成器140可以将来自网络流的元数据用于云游戏。为简洁起见，为简洁起见，在此不再赘述这些实施例的类似描述。
图7示出了根据本发明的实施例的图2所示的方法所涉及的延迟着色。例如，前述至少一个后续帧的一组元数据可以包括关于延迟着色的深度信息、关于延迟着色的法线信息(例如一个或多个法向矢量)、关于延迟着色的漫反射色信息等，并且元数据缓冲器134可以包括被布置为分别存储该组元数据的多个辅助缓冲器，例如深度缓冲器、法线缓冲器、漫反射色缓冲器等，其布置为存储关于延迟着色的深度信息、关于延迟着色的法线信息(例如一个或多个法线向量)、关于延迟着色的漫反射色信息等。
根据该实施例，主机处理器110可以利用合成器140根据例如第一帧F(N)的镜面反射强度或镜面反射功率(为简便起见，在图7中标记为“镜面反射强度/功率”)的先前帧信息以及例如分别存储在深度缓冲器、法线缓冲器、漫反射色缓冲器等中的有关延迟着色的深度信息、有关延迟着色的法线信息(例如一个或多个法向矢量)、有关延迟着色的漫反射色信息等的一组元数据来合成上述至少一个后续帧，例如，通过在例如彩色缓冲器132和元数据缓冲器134的缓冲器中编码几何和照明信息，生成延迟的照明结果，以用作彩色缓冲器132中的前述至少一个后续帧(例如后续帧F(N+i))，输出到显示面板150并显示在显示面板150上。为简洁起见，在此不再赘述这些实施例的类似描述。
图8示出了根据本发明的实施例的图2所示的所涉及的运动模糊渲染。例如，除了关于延迟着色的深度信息、关于延迟着色的法线信息(例如一个或多个法线矢量)以及关于延迟着色的漫反射色信息之外，前述至少一个后续帧的一组元数据可以进一步包括关于运动模糊渲染的运动矢量信息(例如，一个或多个运动矢量，并且更具体地，运动模糊渲染矢量)，并且元数据缓冲器134的多个辅助缓冲器可以进一步包括用于存储有关运动模糊渲染的运动矢量信息的运动模糊渲染缓冲器。
根据该实施例，主机处理器110可以利用合成器140根据诸如镜面反射强度或镜面反射率的先前帧信息以及分别在深度缓冲器、法线缓冲器、漫反射色缓冲器、运动模糊渲染缓冲器中的有关延迟着色的深度信息、有关延迟着色的法线信息(例如一个或多个法向矢量)、有关延迟着色的漫反射色信息和有关运动模糊渲染的运动向量信息来合成上述至少一个后续帧，例如，通过在例如彩色缓冲器132和元数据缓冲器134的缓冲器中编码几何和照明信息及运动向量信息，生成延迟的照明结果，以用作彩色缓冲器132中的前述至少一个后续帧(例如后续帧F(N+i))，输出到显示面板150并显示在显示面板150上。为简洁起见，在此不再赘述这些实施例的类似描述。
根据一些实施例，诸如合成器140的专用硬件电路可以执行运动模糊渲染，以减轻GPU 120上的某些任务的负担，但是本发明不限于此。为简洁起见，在此不再赘述这些实施例的类似描述。
根据一些实施例，诸如深度缓冲器、法线缓冲器、漫反射色缓冲器和运动模糊渲染缓冲器之类的多个辅助缓冲器可以利用诸如DRAM 130之类的RAM中的多个缓冲器区域来实现，并且可以被视为用于在DRAM 130中实现元数据缓冲器134的缓冲器的多个子集，但是本发明不限于此。为简洁起见，在此不再详细重复对这些实施例的类似描述。
图9是根据本发明另一实施例的电子设备200的图。与图1所示的架构相比，上述合成器140可以集成到主机处理器110中，并且更具体地，可以利用运行在主机处理器110上的程序模块，例如合成器240来实现。响应于体系结构的改变，一些编号可以相应地改变。例如，上述合成器140、处理电路105和电子设备100可以分别由合成器240、处理电路205和电子设备200代替。为简洁起见，在此不再赘述这些实施例的类似描述。
本领域技术人员将容易地观察到，在保持本发明的教导的同时，可以对装置和方法进行多种修改和变更。因此，以上公开内容应被解释为仅受所附权利要求书的限制。

Claims (24)

1.一种用于借助合成器生成一系列帧方法，该方法包括：
利用图形处理单元执行全渲染以在彩色缓冲器中生成第一帧，以输出到显示面板并显示在所述显示面板上，其中，图形处理单元、彩色缓冲器和所述显示面板位于所述电子设备中；
利用所述图形处理单元在元数据缓冲器中生成至少一个后续帧的一组元数据，其中，所述元数据缓冲器位于电子设备中；以及
利用所述合成器，根据先前帧信息和所述至少一个后续帧的一组元数据，合成所述至少一个后续帧，以在所述彩色缓冲器中生成所述至少一个后续帧，并输出至所述显示面板并显示在所述显示面板上。
2.根据权利要求1所述的方法，其特征在于，所述至少一个后续帧的一组元数据包括关于延迟着色的深度信息、关于所述延迟着色的法线信息、关于所述延迟着色的漫反射色信息和关于运动模糊渲染的运动矢量信息中的一个或组合。
3.根据权利要求1所述的方法，其特征在于，所述至少一个后续帧的所述先前帧信息包括所述一系列帧内的在所述至少一个后续帧之前的先前帧的帧信息。
4.根据权利要求3所述的方法，其特征在于，所述先前帧代表所述第一帧。
5.根据权利要求1所述的方法，其特征在于，所述至少一个后续帧包括多个后续帧。
6.根据权利要求1所述的方法，其特征在于，还包括：
触发在所述图形处理单元上运行的线程，以利用所述图形处理单元在运行在所述图形处理单元上的线程的控制下执行全渲染，以在所述彩色缓冲器中生成第一帧；以及
触发在所述图形处理单元上运行的另一个线程，以利用所述图形处理单元在运行在所述图形处理单元上的另一个线程的控制下，在所述元数据缓冲器中生成所述至少一个后续帧的一组元数据。
7.根据权利要求6所述的方法，其特征在于，还包括：
将所述彩色缓冲器用作在管道中运行所述线程的所述图形处理单元的下一阶段；以及
将所述元数据缓冲器用作另一个管道中运行另一个线程的所述图形处理单元的下一阶段。
8.根据权利要求1所述的方法，其特征在于，所述合成器由在主机处理器上运行的程序模块实现，其中，所述主机处理器和所述图形处理单元位于所述电子设备内的处理电路中。
9.根据权利要求1所述的方法，其特征在于，所述合成器由位于主机处理器外部的硬件电路实现，其中，所述合成器、所述主机处理器和所述图形处理单元位于所述电子设备内的处理电路中。
10.根据权利要求1所述的方法，其特征在于，还包括：
利用所述图形处理单元执行全渲染，以在所述色彩缓冲器中生成另一第一帧，并输出至所述显示面板并显示在所述显示面板上；
利用所述图形处理单元在所述元数据缓冲器中生成至少一个其他后续帧的一组元数据；以及
利用所述合成器根据先前帧信息和所述至少一个其他后续帧的一组元数据合成所述至少一个其他后续帧，以在所述彩色缓冲器中生成所述至少一个其他后续帧，以输出至所述显示面板并显示在所述显示面板上。
11.一种主机处理器，适用于借助合成器生成一系列帧，以减轻电子设备内的图形处理单元渲染的负担，所述主机处理器包括：
核心电路，用于控制所述主机处理器，以控制所述电子设备的操作，其中，在所述核心电路的控制下，所述主机处理器对所述电子设备执行显示控制，以借助所述合成器生成所述一系列帧以减轻所述图形处理单元渲染的负担；
显示接口电路，耦接于所述核心电路，用于将显示面板耦接于主机处理器；以及
总线接口电路，耦接于所述核心电路，用于通过总线将至少一个组件耦接于所述主机处理器，其中，所述至少一个组件包括图形处理单元；
其中：
所述主机处理器利用所述图形处理单元执行全渲染以在彩色缓冲器中生成第一帧，以输出到显示面板并显示在所述显示面板上，其中图形处理单元、彩色缓冲器和所述显示面板位于电子设备中；
所述主机处理器利用所述图形处理单元在元数据缓冲器中生成至少一个后续帧的一组元数据，其中所述元数据缓冲器位于所述电子设备中；以及
所述主机处理器利用所述合成器根据先前帧信息和所述至少一个后续帧的一组元数据合成所述至少一个后续帧，以在所述彩色缓冲器中生成所述至少一个后续帧，并输出至所述显示面板并显示在所述显示面板。
12.根据权利要求11所述的主机处理器，其特征在于，所述至少一个后续帧的一组元数据包括关于延迟着色的深度信息、关于所述延迟着色的法线信息、关于所述延迟着色的漫反射色信息和关于运动模糊渲染的运动矢量信息中的一个或组合。
13.根据权利要求11所述的主机处理器，其特征在于，所述至少一个后续帧的所述先前帧信息包括所述一系列帧内的在所述至少一个后续帧之前的先前帧的帧信息。
14.根据权利要求13所述的主机处理器，其特征在于，所述先前帧代表所述第一帧。
15.根据权利要求11所述的主机处理器，其特征在于，所述至少一个后续帧包括多个后续帧。
16.根据权利要求11所述的主机处理器，其特征在于，所述主机处理器触发在所述图形处理单元上运行的线程，以利用所述图形处理单元在运行在所述图形处理单元上的线程的控制下执行全渲染，以在所述彩色缓冲器中生成第一帧；所述主机处理器触发在所述图形处理单元上运行的另一个线程，以利用所述图形处理单元在运行在所述图形处理单元上的另一个线程的控制下，在所述元数据缓冲器中生成所述至少一个后续帧的一组元数据。
17.根据权利要求16所述的主机处理器，其特征在于，所述主机处理器利用所述彩色缓冲器作为在管道中运行所述线程的所述图形处理单元的下一阶段，并且利用所述元数据缓冲器作为另一个管道中运行另一个线程的所述图形处理单元的下一阶段。
18.根据权利要求11所述的主机处理器，其特征在于，所述合成器由在所述主机处理器上运行的程序模块实现，其中，所述主机处理器和所述图形处理单元位于所述电子设备内的处理电路中。
19.根据权利要求11所述的主机处理器，其特征在于，所述合成器由位于所述主机处理器外部的硬件电路实现，其中，所述合成器、所述主机处理器和所述图形处理单元位于所述电子设备内的处理电路中。
20.根据权利要求11所述的主机处理器，其特征在于，所述彩色缓冲器和所述元数据缓冲器在随机存取存储器中利用不同的缓冲器区域实现。
21.一种处理电路，包括如权利要求11所述的主机处理器，还包括：
所述彩色缓冲器，用于缓冲帧信息；
所述元数据缓冲器，用于缓冲元数据；以及
与所述主机处理器、所述彩色缓冲器和所述元数据缓冲器耦接的所述图形处理单元用于在所述主机处理器的控制下操作。
22.根据权利要求21所述的处理电路，包括：
随机存取存储器，用于存储用于所述电子设备的信息，其中所述彩色缓冲器和所述元数据缓冲器由所述随机接入存储器中的不同缓冲器区域实现。
23.一种电子设备，包括如权利要求11所述的主机处理器，其特征在于，所述电子设备包括：
处理电路，包括：
所述主机处理器，用于控制所述电子设备的所述操作；
所述彩色缓冲器，用于缓冲帧信息；
所述元数据缓冲器，用于缓冲元数据；以及
所述图形处理单元，耦接于所述主机处理器、所述彩色缓冲器和所述元数据缓冲器，用于在所述主机处理器的控制下进行操作；以及
所述显示面板，耦接于所述主机处理器，用于显示信息。
24.根据权利要求23所述的电子设备，其特征在于，所述处理电路包括：
随机存取存储器，用于存储用于所述电子设备的信息，其中所述彩色缓冲器和所述元数据缓冲器由所述随机接入存储器中的不同缓冲器区域实现。
CN202010877249.6A 2018-11-30 2020-08-27 借助于合成器生成一系列帧方法和装置 Active CN112862659B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862773219P 2018-11-30 2018-11-30
US16/698,977 US11200636B2 (en) 2018-11-30 2019-11-28 Method and apparatus for generating a series of frames with aid of synthesizer to offload graphics processing unit rendering in electronic device
US16/698,977 2019-11-28

Publications (2)

Publication Number Publication Date
CN112862659A true CN112862659A (zh) 2021-05-28
CN112862659B CN112862659B (zh) 2024-07-12

Family

ID=70849238

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010877249.6A Active CN112862659B (zh) 2018-11-30 2020-08-27 借助于合成器生成一系列帧方法和装置

Country Status (3)

Country Link
US (1) US11200636B2 (zh)
CN (1) CN112862659B (zh)
TW (1) TWI749756B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114579076A (zh) * 2022-01-30 2022-06-03 荣耀终端有限公司 数据处理方法和相关装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220143667A (ko) * 2020-02-21 2022-10-25 퀄컴 인코포레이티드 지연된 그래픽 프로세싱 유닛 렌더 시간을 보상하기 위한 감소된 디스플레이 프로세싱 유닛 전달 시간
CN112230931B (zh) * 2020-10-22 2021-11-02 上海壁仞智能科技有限公司 适用于图形处理器的二次卸载的编译方法、装置和介质
CN118038780A (zh) * 2022-11-01 2024-05-14 联发科技（新加坡）私人有限公司 改善图形性能的方法及其装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100079445A1 (en) * 2008-09-30 2010-04-01 Apple Inc. Method for reducing graphics rendering failures
CN104134183A (zh) * 2013-05-02 2014-11-05 Arm有限公司 图形处理***
US20170032764A1 (en) * 2015-07-29 2017-02-02 Qualcomm Incorporated Updating image regions during composition
CN109863538A (zh) * 2016-08-26 2019-06-07 奇跃公司 用于虚拟及增强现实显示的连续时间扭曲及双目时间扭曲***和方法
CN109983533A (zh) * 2016-12-13 2019-07-05 高通股份有限公司 用于固定颜色及图案子帧的提取减少
US20190222855A1 (en) * 2018-01-17 2019-07-18 Qualcomm Incorporated Composition based dynamic panel mode switch

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4623199B2 (ja) * 2008-10-27 2011-02-02 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
US8963799B2 (en) * 2011-01-11 2015-02-24 Apple Inc. Mirroring graphics content to an external display
WO2013097163A1 (en) 2011-12-30 2013-07-04 Intel Corporation Selective hardware acceleration in video playback systems
GB2524467B (en) 2014-02-07 2020-05-27 Advanced Risc Mach Ltd Method of and apparatus for generating an overdrive frame for a display
US9407896B2 (en) * 2014-03-24 2016-08-02 Hong Kong Applied Science and Technology Research Institute Company, Limited Multi-view synthesis in real-time with fallback to 2D from 3D to reduce flicker in low or unstable stereo-matching image regions
US10410398B2 (en) 2015-02-20 2019-09-10 Qualcomm Incorporated Systems and methods for reducing memory bandwidth using low quality tiles
US10475150B2 (en) * 2017-09-29 2019-11-12 Intel Corporation GPU minimum latency dispatch for short-duration tasks

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100079445A1 (en) * 2008-09-30 2010-04-01 Apple Inc. Method for reducing graphics rendering failures
CN104134183A (zh) * 2013-05-02 2014-11-05 Arm有限公司 图形处理***
US20170032764A1 (en) * 2015-07-29 2017-02-02 Qualcomm Incorporated Updating image regions during composition
CN109863538A (zh) * 2016-08-26 2019-06-07 奇跃公司 用于虚拟及增强现实显示的连续时间扭曲及双目时间扭曲***和方法
CN109983533A (zh) * 2016-12-13 2019-07-05 高通股份有限公司 用于固定颜色及图案子帧的提取减少
US20190222855A1 (en) * 2018-01-17 2019-07-18 Qualcomm Incorporated Composition based dynamic panel mode switch

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
GÁBOR LIKTOR .ETAL: "Decoupled deferred shading for hardware rasterization", ACM, pages 143 - 150 *
袁璐: "基于立即辐射度的实时全局光照算法", 现代计算机(专业版), no. 02 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114579076A (zh) * 2022-01-30 2022-06-03 荣耀终端有限公司 数据处理方法和相关装置

Also Published As

Publication number Publication date
TW202121220A (zh) 2021-06-01
US11200636B2 (en) 2021-12-14
US20200175644A1 (en) 2020-06-04
TWI749756B (zh) 2021-12-11
CN112862659B (zh) 2024-07-12

Similar Documents

Publication Publication Date Title
CN112862659B (zh) 借助于合成器生成一系列帧方法和装置
US6788309B1 (en) Method and apparatus for generating a video overlay
US8253722B2 (en) Method, medium, and system rendering 3D graphics data to minimize power consumption
CN110688081B (zh) 一种在屏幕上显示数据的方法及显示控制装置
WO2021008427A1 (zh) 图像合成方法、装置、电子设备及存储介质
CN111292236A (zh) 使用交叉分辨率调整而减少中央凹注视渲染中的混叠伪像
US10672367B2 (en) Providing data to a display in data processing systems
US5880741A (en) Method and apparatus for transferring video data using mask data
US12014700B2 (en) Accelerated frame transmission
CN115100993A (zh) 显示帧率的调整方法、装置、应用处理器及电子设备
US20160005379A1 (en) Image Generation
CN107646131B (zh) 用于要显示的图像数据的抖动
US20220122234A1 (en) High dynamic range post-processing device, and display device including the same
EP1701334A2 (en) Method of displaying overlapping windows on a display device and display controller therefor
CN116635929A (zh) 在多显示器***上执行异步存储器时钟改变
US7382376B2 (en) System and method for effectively utilizing a memory device in a compressed domain
US11169683B2 (en) System and method for efficient scrolling
WO2016153665A1 (en) Content adaptive backlight power saving technology
JP2011077970A (ja) 画像処理装置、画像表示システム、電子機器及び画像処理方法
KR20200080926A (ko) 영상 처리 장치 및 그 영상 처리 방법
US9892707B2 (en) Decompressing stored display data every frame refresh
US20230237947A1 (en) Display device and method of driving the same
KR102077146B1 (ko) 그래픽 처리 방법 및 장치
CN115714914A (zh) 用于帧速率控制的芯片组与相关的图像处理方法
KR20220080314A (ko) 디스플레이 패널의 영상 출력을 위한 프레임 버퍼를 포함하는 영상 표시 장치 및 이의 제어 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant