CN109978750B - 执行基于采样的渲染的图形处理器和操作其的方法 - Google Patents

Abstract

提供一种执行基于采样的渲染的图形处理器和操作其的方法。一种操作执行基于采样的渲染的图形处理器的方法涉及通过经由使用具有第一图案的第一候选图对第一帧的一些片段进行着色处理的中间渲染。可通过经由使用具有第二图案的第一候选图对第二帧的一些片段进行着色处理来执行进一步的中间渲染。可对第二帧中的其他片段进行额外地采样，其中，这些其他片段可基于将第一帧的着色处理结果与第二帧的着色处理结果进行比较而确定。通过对额外采样的片段进行着色处理来执行最终渲染。

Description

执行基于采样的渲染的图形处理器和操作其的方法

本申请要求于2017年12月28日提交到韩国知识产权局的第10-2017-0182640号韩国专利申请的权益，该韩国专利申请的公开通过整体引用包含于此。

技术领域

本发明构思总体涉及图形处理，更具体地讲，涉及一种执行基于采样的渲染的图形处理器和操作该图形处理器的方法。

背景技术

渲染***可包括诸如图形处理单元(GPU)的图形处理器，作为用于执行图形操作的装置。GPU可执行用于计算将被渲染的视频帧的片段值(fragment value)的片段着色(shading)处理(其中，片段可对应于像素)。这样的片段着色处理由于它的高复杂性而占用总的图形处理操作的大部分。

用于减少针对给定帧的片段着色处理的量的一种方法是仅对构成帧的多个片段中的一些片段进行着色处理。针对帧的其余片段的颜色值可通过被着色处理的片段之间的插值或者涉及重新使用来自先前帧的像素数据的“对流(advection)”来获得。因为插值或对流是比着色处理简单的处理任务，所以处理的量以这种方式被减少。用这种方法，被着色处理的片段是被称为“采样的”的片段，而其他片段被称为未采样的。当用这种方法减少处理时，如果采样率太低，则渲染质量可能受损。如果采样率太高，则GPU的资源可能无法被有效使用。

发明内容

本发明构思提供一种用于渲染的片段采样方法的图形处理器，该图形处理器能够在减少片段着色处理的量的同时提高着色处理的精确度。

根据本发明构思的一方面，提供一种操作图形处理器的方法，所述方法涉及通过经由使用具有第一图案的第一采样候选图对第一帧的一些片段进行着色处理来执行中间渲染。可通过经由使用具有第二图案的第一采样候选图对第二帧的一些片段进行着色处理来执行进一步的中间渲染。所述方法可对第二帧中的基于将第一帧的着色处理结果与第二帧的着色处理结果进行比较而确定的其他片段进行额外地采样。通过对额外采样的片段进行着色处理来执行最终渲染。

额外地采样的步骤可包括：通过改变第一采样候选图的采样信息来生成第二采样候选图，执行最终渲染的步骤可包括：对通过使用第二采样候选图进行采样的片段进行着色处理。

所述方法还可包括：对第二帧的在对第二帧的中间渲染和最终渲染中未被着色处理的剩余片段执行插值处理。

所述方法还可包括：在对第一帧执行中间渲染之后，通过对第一帧的其他片段进行着色处理来执行最终渲染；对第一帧的在对第一帧的中间渲染和最终渲染中未被着色处理的剩余片段执行插值处理。

第一帧中的通过具有第一图案的第一采样候选图采样的片段的位置可不同于第二帧中的通过具有第二图案的第一采样候选图采样的片段的位置。

所述方法还可包括：选择采样关闭模式、精细采样模式和粗糙采样模式中的任意一种，其中，当选择粗糙采样模式时，通过使用第一帧和第二帧的着色处理结果来对第二帧的所述其他片段进行额外地采样。

所述方法还可包括：将操作模式改变为采样关闭模式；接收第三帧；通过对第三帧的所有片段进行着色处理来执行渲染。

所述方法还可包括：将操作模式改变为精细采样模式；接收第三帧；通过经由使用具有第三图案的第一采样候选图对第三帧的一些片段进行着色处理来执行中间渲染；通过经由使用第三帧的着色处理结果对第三帧的其他片段进行额外地采样和着色处理来执行最终渲染，其中，第三图案具有比第二图案高的采样率。

根据本发明构思的另一方面，提供一种图形处理器，包括：中间渲染处理器，根据采样候选图的采样信息，对当前帧的多个片段中的一些片段执行着色处理；采样候选图修正电路，被配置为：基于先前帧的着色处理结果与当前帧的着色处理结果的比较，改变采样候选图的采样信息，从而生成改变的采样候选图；最终渲染处理器，对当前帧的未被中间渲染处理器着色处理的片段之中的通过改变的采样候选图额外采样的片段执行着色处理。

所述图形处理器还可包括：插值处理器，对未被中间渲染处理器和最终渲染处理器着色处理的片段执行孔洞填补。

所述图形处理器还可包括：采样候选图生成器，根据接收到的图案信息来生成采样候选图。

采样候选图可在对奇数帧的渲染处理中具有第一图案，可在对偶数帧的渲染处理中具有与第一图案不同的第二图案，先前帧可对应于奇数帧，当前帧可对应于偶数帧。

所述图形处理器还可包括：采样图案生成器，根据帧顺序将具有第一图案或第二图案的图案信息提供给采样候选图生成器。

所述图形处理器还可包括：像素提取器，根据先前帧的着色处理结果接收片段值，当具有第二图案的图案信息被提供给采样候选图生成器时，从采样图案生成器接收具有第一图案的图案信息，并将先前帧的与第一图案对应的片段值提供给采样候选图修正电路。

所述图形处理器还可包括：插值准确性确定电路，通过针对当前帧的同一片段将经由插值处理计算的值与经由着色处理计算的值进行比较，执行插值准确性确定，其中，采样候选图生成器根据插值准确性确定的结果来调节采样候选图的采样率。

采样候选图生成器可响应于来自主机的命令来调节采样候选图的采样率。

当采样候选图的采样率小于参考值时，采样候选图修正电路可通过使用先前帧的着色处理结果和当前帧的着色处理结果来修正采样候选图，当采样候选图的采样率大于参考值时，采样候选图修正电路可通过使用当前帧的着色处理结果来修正采样候选图。

根据本发明构思的另一方面，提供一种图形处理器，包括：采样候选图修正电路，被配置为：接收用于针对将被渲染的视频的给定帧选择多个片段中的一些的第一采样候选图，并通过基于所述视频的至少两个帧的着色处理结果的比较来改变第一采样候选图的采样信息，生成第二采样候选图；片段处理器，通过对根据第一采样候选图采样的片段进行着色处理来执行中间渲染处理，并通过对根据第二采样候选图额外采样的片段进行着色处理来执行最终渲染处理。

片段处理器可包括：中间渲染处理器，执行中间渲染处理；最终渲染处理器，执行最终渲染处理。

所述图形处理器还可包括：采样候选图生成器，接收图案信息，并根据图案信息生成第一采样候选图，其中，当第一采样候选图的采样率小于参考值时，采样候选图修正电路通过使用先前帧的着色处理结果和当前帧的着色处理结果来修正第一采样候选图，当第一采样候选图的采样率大于参考值时，采样候选图修正电路通过使用当前帧的着色处理结果来修正第一采样候选图。

采样候选图生成器可响应于来自外部主机的命令来调节第一采样候选图的采样率。

所述图形处理器还可包括：插值准确性确定装置，通过针对当前帧的同一片段将经由插值处理计算的值与经由着色处理计算的值进行比较，执行插值准确性确定，其中，采样候选图生成器根据确定结果来调节第一采样候选图的采样率。

所述图形处理器可从外部主机接收指示采样模式的打开/关闭的采样控制信号，当采样模式对应于关闭时，第一采样候选图可具有用于对所有片段进行采样的采样信息。

所述图形处理器还可包括：光栅化器，将所述多个片段中的一些提供给片段处理器，其中，采样候选图修正电路包括在光栅化器中。

片段处理器可包括多个处理核，可通过所述多个处理核中的一些处理核来执行中间渲染处理，并且可通过所述多个处理核中的一些其他处理核来执行最终渲染处理。

在另一方面，一种存储指令的非暂时性计算机可读记录介质，当所述指令被至少一个处理器执行时，实现用于对视频的帧进行渲染的方法。这里，所述方法可包括：通过对构成当前帧的像素的子集进行着色处理来对当前帧进行中间渲染。基于采样候选图来选择像素的子集，像素的子集包括像素网格的第一位置处的第一像素和像素网格的第二位置处的第二像素。作为中间渲染的结果，第一像素具有第一像素值，第二像素具有第二像素值。所述方法还获得在先前帧到当前帧的渲染中计算的像素的像素值；并且基于先前帧的映射到像素网格的与第一位置和第二位置中的每个接近的第四位置的像素的像素值(i)与第一像素值和/或第二像素值(ii)的比较，确定对当前帧的像素网格的第一位置与第二位置之间的第三位置处的第三像素进行插值处理还是着色处理。

像素网格的第四位置可在第一位置与第二位置之间的中部，第三位置可在第四位置与第一位置或第二位置之间。

当(i)与(ii)的比较产生的差在预定阈值之上时，所述方法可确定对第三像素进行着色处理，当(i)与(ii)的比较产生的差低于预定阈值时，所述方法可确定对第三像素进行插值处理。

像素值可以是颜色值。

所述方法还可包括：使用先前帧在第四位置处的像素值作为针对当前帧在第四位置处的第四像素的渲染值。

先前帧的映射到像素网格的第四位置的像素可以是先前帧中的像素网格的第四位置处渲染的像素。

先前帧的映射到像素网格的第四位置的像素可以是先前帧中的像素网格的除了第四位置之外的位置处渲染的像素，并且可通过使用表示先前帧与当前帧之间的对象运动的运动矢量而被映射到当前帧中的像素网格的第四位置。

附图说明

从下面结合附图的具体实施方式，本发明构思的实施例将被更清楚地理解，其中：

图1是示出根据本发明构思的示例实施例的渲染***的框图；

图2是示出根据图1的实施例的采样候选图修正操作的构思的示图；

图3是示出在图形处理器中处理三维(3D)图形的过程的示图；

图4是示出根据本发明构思的示例实施例的图形处理器的实施示例的框图；

图5A、图5B和图5C是示出在图元中对片段进行着色处理的示例的示图；

图6是示出将采样候选图修正操作应用于图5A、图5B和图5C的实施例的示例的示图；

图7A、图7B和图8是示出通过使用至少两个帧的数据执行采样候选图修正的示例的示图；

图9和图10是示出根据本发明构思的示例实施例的操作图形处理器的方法的流程图；

图11是示出根据本发明构思的示例实施例的图形处理器的实施示例的框图；

图12是示出应用了本发明构思的实施例的图形处理器的整体操作进程的示图；

图13、图14和图15是示出根据本发明构思的各种实施例的各个渲染***的框图；

图16是示出采样模式的可变操作的示例的示图；

图17A示出根据递色技术(dithering technique)跨越四个帧的不同的采样候选图；

图17B示出施加到采样候选图修正装置的并被采样候选图修正装置处理的数据的类型的示例；

图18是示出根据本发明构思的示例实施例的包括存储器装置的移动设备的实施示例的框图。

具体实施方式

在下文中，将参照附图详细描述本发明构思的实施例。

如在此使用的，“片段”对应于图形操作处理的基本单元。片段可以是图元的像素。在下文中，术语片段和像素可被可交换地使用。例如，片段着色可被称为像素着色，片段采样可被称为像素采样。

图1是示出根据本发明构思的示例实施例的渲染***10的框图。渲染***10可包括图形处理器100和存储器101。图形处理器100可在渲染***10中执行图形操作以执行渲染。作为一个示例，图形处理器100可接收三维(3D)对象，并输出二维(2D)渲染的图像作为三维对象的渲染处理结果。图形处理器可由各种类型的处理器来实现，图形处理器的典型示例是如在图1和下面的其他示例中举例的图形处理单元(GPU)。

图形处理器100可被配置为执行基于图块(tile)的渲染，并且出于这个目的，图形处理器100可包括可并行处理图形数据的图形管线。每个图形管线可包括用于图形操作的各种类型的配置，并可由硬件和/或软件来配置。

尽管未在图1中示出，但是渲染***10还可包括用于控制整体的***操作的中央处理器(CPU)，以及用于组件之间的通信的各种类型的总线(诸如，***组件互连(PCI)总线和PCI高速总线)。例如，渲染***10还可包括台式计算机、笔记本计算机、智能电话、个人数字助理(PDA)、便携式多媒体播放器、视频游戏机、电视(TV)机顶盒、平板装置、电子书阅读器或可穿戴装置，但不限于此，并且渲染***10可对应于各种类型的电子***。

图形处理器100可基于各种应用程序接口(API)标准(诸如，开放图形库(OpenGL)、DirectX和统一计算设备架构(CUDA))来接收渲染相关的信息，并可执行各种图形操作(诸如，着色处理和纹理处理)。此外，存储器101可被集成在与图形处理器100相同的半导体芯片中或者可被实现为不同的半导体芯片，并且存储器101可对应于随机存取存储器(诸如，动态随机存取存储器(DRAM)或静态随机存取存储器(SRAM))或者可对应于诸如只读存储器(ROM)、电可擦可编程只读存储器(EEPROM)或闪存的存储器装置。存储器101可存储将被图形处理器100处理的图形数据，或者可存储已被图形处理器100处理的图形数据(例如，帧数据)。

作为一个操作示例，图形处理器100可接收一个顶点或多个顶点，并可通过对接收的顶点进行处理的操作来生成图元。图形处理器100可生成表示图元的片段的集合。图形处理器100可执行片段着色处理以计算片段的值。

片段着色处理可能由于它的高复杂性而占用总的图形操作量的大部分。如前所述，为了降低片段着色的复杂性，可应用通过仅对给定帧(或者，图块/图元)的多个片段中的一些片段执行采样和着色处理并对该帧的其他片段执行“对流”或插值的方法来计算片段值。因为插值和对流均可以比着色处理小的处理器强度，所以处理的量以这种方式被减少。在下文的描述中，被着色处理的片段是被称为“采样的”片段的片段，而具有通过插值或对流确定的值的片段被称为未采样的、非采样的或“导出的”片段。当采样率低时，可通过具有经由实际的着色处理获得的值的采样的片段之间的插值来确定片段的值。在这种情况下，由于通过插值处理计算的片段值可能与片段值的实际值(即，通过着色处理另外可获得的)极为不同，因此可能出现图像质量劣化。

根据本发明构思的示例实施例，图形处理器100可包括采样候选图(SCM)修正装置110和片段处理器120。例如，在图元单元中，图元可包括多个片段，图形处理器100可仅对多个片段中的一些片段进行采样，并选择性地对该一些片段执行着色处理。作为一个示例，具有用于对一些片段进行采样的采样信息的图案的采样候选图(例如，第一采样候选图SCM_1)可在图形处理器100中生成。映射到图案的采样信息的采样的片段的着色处理结果(例如，片段值)可通过基于第一采样候选图SCM_1的着色处理来计算。通过采样候选图未被指定为将被采样的片段的片段可具有通过采样的片段之间的插值获得的片段的值。

根据本发明构思，为了减少由于潜在的不准确的插值的情况导致的图像劣化的出现，采样候选图可被动态地修改。作为一个示例，可以假设，不准确的插值的情况可以是与采样候选图的接近但非相邻的采样位置对应的片段具有差别大于阈值的值的情况。在这种情况下，采样的片段可能是不同对象的片段或者具有显著不同的颜色(或者，亮度)的(应用于单个对象的)纹理的不同部分的片段。在这种情形下，采样的片段之间的插值可针对采样的片段之间的导出的片段产生不准确的值。为此，SCM修正装置110可检测这样的潜在状况，并修正采样候选图，以在将另外导致不准确的插值的片段的位置处添加采样片段。此外，代替或除了仅比较当前帧在接近第二采样位置的第一采样位置处的采样的片段的值之外，SCM修正装置110可通过将当前帧中在第一位置处的采样的片段的片段值与(如在对流方法中)先前帧的映射到当前帧的第一位置和第二位置之间的位置的采样的片段的值进行比较，来检测潜在的状况。下面进一步解释的这种方法可出于选择用于修正采样候选图的额外采样位置的目的引起更准确的边缘检测。

为此，SCM修正装置110可通过修正先前接收的第一采样候选图SCM_1的采样信息，来生成第二采样候选图SCM_2。作为一个实施示例，第一采样候选图SCM_1可包括表示图元、图块或帧中的多个片段之中的将被着色处理的片段(例如，第一片段)的位置的采样信息。第二采样候选图SCM_2可包括表示除第一片段之外的多个片段之中的将被额外着色处理的片段(例如，第二片段)的位置的采样信息。作为一个示例，第二采样候选图SCM_2可包括表示图元、图块或帧中的多个片段之中的第一片段和第二片段的位置的信息。作为另一示例，第二采样候选图SCM_2可以以包括仅表示图元、图块或帧中的多个片段之中的第二片段的位置的信息的形式来实现。

在本发明构思的实施例中，用于渲染的着色处理可由图形处理器100对多个片段顺序地执行两次或更多次，使得基于第一采样候选图SCM_1的着色处理可被指定为中间渲染处理，基于第二采样候选图SCM_2的着色处理可被指定为最终渲染处理。在下面的讨论中，术语“着色处理”和“渲染处理”可被可交换地使用，例如，中间渲染处理可被称为中间着色处理，最终渲染处理可被称为最终着色处理。同时，图形处理器100可包括用于生成第一采样候选图SCM_1的第一SCM生成装置(未示出)。因为SCM修正装置110生成第二采样候选图SCM_2，所以SCM修正装置110可被称为第二SCM生成装置。

根据一个实施例，SCM修正装置110可基于各种类型的信息(例如，片段值Frag_C和片段值Frag_P)来执行修正操作。例如，SCM修正装置110可接收在将被渲染且将通过显示装置显示的视频的当前帧中通过着色处理计算的片段值Frag_C以及在该视频的先前帧中通过着色处理计算的片段值Frag_P，并通过基于Frag_C和Frag_P的操作来执行修正操作。例如，可将Frag_C的值与Frag_P的值进行比较，以确定边缘等是否存在于接近的但非相邻的采样位置之间，使得额外的采样应被***。Frag_P可以是来自先前帧的通过对流可潜在地重新用于当前帧中的非采样的片段的片段值。作为一个示例，如果在先前帧和当前帧二者中渲染的对象的帧间运动是最小的(即，在帧之间存在基本静态的场景)，则可假设在像素网格的共同位置处的片段可在两个帧中具有相同的值Frag_P。在更复杂的情况下，如果对象的帧间运动的量是显著且已知的，则在像素网格的第一位置处的片段的片段值Prag_P可使用运动矢量被映射到当前帧中的像素网格的第二位置。在这种情况下，在先前帧中确定的第一位置处的片段值Frag_P可在当前帧中的第二位置处被重新使用。

第一采样候选图SCM_1的采样信息可具有各种类型的图案。例如，在当前帧中的中间渲染处理中使用的第一采样候选图SCM_1的图案(第一图案)可与在先前帧中的中间渲染处理中使用的第一采样候选图SCM_1的图案(第二图案)不同。(图案中的差异可由于后面讨论的用于减少视觉伪像(visual artifact)的递色技术而导致。)在修正操作中使用的片段值Frag_C和片段值Frag_P可以是通过中间渲染处理计算的值，因此，当考虑至少上面提到的帧之间的基本静态状况的情况时，由Frag_C表示的当前帧中的片段的位置可与修正操作中使用的由Frag_P表示的先前帧中的片段的位置不同。

当第一采样候选图SCM_1由于它的低采样率而具有粗糙的图案时，通过中间渲染处理被计算值的片段之间的间距可相对大。在这种情况下，在对未被执行中间渲染处理的片段执行插值处理之前，可执行上面的采样候选图修正操作，以进一步选择需要最终渲染处理的片段，并且，根据本发明构思的实施例，可使用至少两个帧的片段值，以提高需要最终渲染处理的片段的选择准确性。

例如，根据本发明构思的示例实施例，即使当第一采样候选图SCM_1在任何一个帧中具有粗糙的图案时，采样候选图修正操作也可通过使用当前帧的片段值和先前帧的片段值来执行，因此可基于具有相对短的间距的位置的片段值来执行修正操作。例如，由于可通过使用根据基本精细的图案的片段值来执行采样候选图修正操作，因此需要实际着色处理的片段(诸如，边缘)的选择准确性可被提高。

当第二采样候选图SCM_2根据上面的操作被生成时，第二采样候选图SCM_2和将被处理的图形数据Data可被提供给片段处理器120。片段处理器120可对通过第二采样候选图SCM_2采样的片段执行着色处理，并根据着色处理计算片段值。针对当前帧的帧数据Data_Frame可通过上面的过程被生成，并被存储在存储器101中。

图2是示出根据图1的实施例的采样候选图修正操作的构思的示图。第一采样候选图SCM_1可包括具有预定图案的采样信息。例如，如在图2中所示，可针对多个片段在水平方向上针对每四个片段采样一个片段。可在垂直方向上针对每两行中的一行应用采样，并且从采样的行到采样的行的采样位置可被交错。图2的第一采样候选图SCM_1可被描述为具有针对每4×4大小采样两个片段的图案。图2还示出了第一采样候选图SCM_1的至少一部分可与当前帧(诸如，图块)的一批量像素T_C(Frame_C)相关，并可应用于当前帧(诸如，图块)的该一批量像素T_C(Frame_C)。第二采样候选图SCM_2的至少一部分还可与同一批像素T_C(Frame_C)相关。因此，采样候选图SCM_1的每个着色正方形和每个未着色正方形可被设想为覆盖像素批量T_C(Frame_C)的各个像素。

SCM修正装置110可通过修正第一采样候选图SCM_1的采样信息来生成第二采样候选图SCM_2。此外，根据上面的示例，SCM修正装置110可接收当前帧中的通过着色处理计算的片段值Frag_C和先前帧中的通过着色处理计算的片段值Frag_P。

SCM修正装置110可基于片段值Frag_C和片段值Frag_P来执行操作，并基于此确定对其他片段进行着色处理的必要性。作为一个示例，下面将参照水平方向上的第一位置P0处的片段、第二位置P1处的片段和第三位置P2处的片段，来给出描述。

第一位置P0处的片段的片段值Frag_C(P0)和第二位置P1处的片段的片段值Frag_C(P1)可通过基于针对当前帧的第一采样候选图SCM_1的片段着色处理来计算，然后被提供给SCM修正装置110。(图例Frag_C可被理解为表示不同的位置P0、P1等处的片段值的集合；对于图例Frag_P同样如此。)此外，在先前帧中，可由于递色技术而已经对不同位置处的片段执行着色处理，作为静态的帧对帧(frame-to-frame)状况示例，先前帧的第三位置P2的片段值Frag_P可被提供给SCM修正装置110。根据实施例，通过第一采样候选图SCM_1采样的片段的位置可基于递色而在帧与帧之间变化，因此，在先前帧中的中间渲染处理的片段的位置和在当前帧中的中间渲染处理的片段的位置可彼此不同。此外，即使对象的运动在帧之间是显著的，针对先前帧计算的片段值也可被映射到当前帧的对应位置，使得先前帧片段值仍可在修正采样候选图中有用。

SCM修正装置110可通过使用第一位置P0至第三位置P2的片段的值来执行采样候选图修正操作。例如，可将第一位置P0的片段值Frag_C与第三位置P2的片段值Frag_P进行比较，也可将第二位置P1的片段值Frag_C和第三位置P2的片段值Frag_P进行比较。采样候选图可被修正，使得第一位置P0与第二位置P1之间的片段可根据比较结果被采样。

作为一个示例，采样候选图可基于第一位置P0的片段值Frag_C与第三位置P2的片段值Frag_P之间的比较结果和/或第二位置P1的片段值Frag_C与第三位置P2的片段值Frag_P之间的比较结果进行修正。当片段值Frag_C与片段值Frag_P之间的差在预先定义的阈值之上时，图像改变可很大和/或可存在边缘。在这种情况下，采样候选图可被修正，使得第一位置P0与第二位置P1之间的区域Reg_1中的片段可被采样。(注意，片段值Frag_P(P2)可基于对流用于当前帧的在位置P2处的片段，使得可避免在当前帧中针对位置P2处的片段进行采样。)在另一方面，当片段值Frag_C(P0)与片段值Frag_P(P2)之间的差和片段值Frag_C(P1)与片段值Frag_P(P2)之间的差均低于阈值时，图像改变可很小并且可避免针对区域Reg_1中的在它们之间的所有片段进行采样。例如，基于当前帧的片段值Frag_C和先前帧的片段值Frag_P，可通过着色处理或插值处理(使用如先前讨论的可选择地用于位置P2的对流处理)来计算区域Reg_1中的片段的值。

同时，在图2中，通过使用当前帧的第四位置P3和第五位置P4的片段值Frag_C和先前帧的第六位置P5的片段值Frag_P，可确定是否额外地对区域Reg_2中的片段进行采样。以相似的方式，可确定是否对图2的所有片段执行额外采样。

在上面的实施例中，可通过各种标准来选择将被额外采样的片段。作为一个示例，可执行基于片段值Frag_C和片段值Frag_P的边缘检测算法，采样候选图可根据采样候选图的边缘检测结果来修正。

同时，在图2中示出的示例中，第一位置P0与第二位置P1之间的片段的采样信息可在一个实施例中被一起修正，或者可在可选的实施例中被单独地修正。例如，基于片段值Frag_C(P0)和片段值Frag_P(P2)，第一位置P0与第三位置P2之间的片段的采样信息可被修正或可不被修正。然而，第二位置P1与第三位置P2之间的片段的采样信息可被独立地改变。

图3是示出在图形处理器中处理3D图形的过程的示图。处理3D图形的过程可包括几何转换处理过程、光栅化过程和像素着色处理过程。

在一个***中，应用程序可通过装置驱动器将描述渲染方法的一系列命令和将被渲染的数据一起提供给图形处理器。图形处理器可接收和解释命令，并通过固定硬件或可编程硬件来执行实际渲染。渲染过程可包括各种处理操作。

首先，操作S11可以是生成顶点的操作。顶点可被生成以表示包括在3D图形中的对象。此外，操作S12可以是对生成的顶点进行着色的操作，对顶点进行着色可通过指定操作S11中生成的顶点的位置来执行。此外，操作S13可以是生成图元的操作，图元可以是通过使用至少一个顶点形成的点、线或多边形。作为一个示例，图元可由通过连接顶点形成的三角形来表示。

操作S14可以是对生成的图元执行光栅化的操作，对图元进行光栅化可表示将图元划分为多个片段。片段是用于对图元执行图形处理的基本单元。由于图元仅包括关于相关联的顶点的信息，所以对3D图形的图形处理可通过在光栅化操作中生成顶点之间的片段来执行，其中，片段被投影到与像素网格对应的2D平面，以便于2D图像在由像素组成的平板显示屏上的对应显示。

操作S15可以是对片段进行着色的操作。构成图元的片段可对应于构成图块的像素。像素的颜色可在像素着色中被确定。

操作S16可以是用于确定像素的颜色的纹理化操作。纹理化可以是通过使用作为准备好的图像的纹理来确定像素的颜色的过程。由于计算和确定每个像素的颜色以表示真实世界的各种颜色和图案形状会增加图形处理时间和图形处理所需的数据操作量，因此像素的颜色可通过使用准备好的纹理来确定。例如，可通过以下操作来确定像素的颜色：将对象的表面颜色存储为被称作纹理的单独的2D图像，并根据对象在屏幕上的位置和大小来放大和缩小存储的纹理，或者通过使用具有各种分辨率的纹理来混合纹素值(texel value)。

操作S17可以是测试和混合操作。通过针对图块中的与相同位置对应的像素的诸如深度测试的过程，与一个图块对应的像素值可通过确定将被最终显示的像素值来确定。通过上面的过程生成的多个图块可被混合，以生成与一个帧对应的3D图形。操作S18可以是将通过操作S11至S17生成的帧存储在帧缓冲器中并通过显示装置显示存储在帧缓冲器中的帧的操作。

根据本发明构思的实施例的采样候选图修正操作可在图3的图形处理过程中被执行。根据实施例，在光栅化操作(S14)中，采样候选图生成和修正操作可被执行，以选择将被着色处理的片段。例如，在光栅化操作(S14)中，第一采样候选图SCM_1可根据帧与帧之间变化的图案而被生成；采样候选图修正操作可根据上面的实施例通过使用当前帧的片段值和先前帧的片段值而被执行；通过第二采样候选图SCM_2采样的片段可被提供给执行着色处理的装置(硬件或处理核)。

图4是示出根据本发明构思的示例实施例的图形处理器的实施示例的框图。作为一个示例，图4的图形处理器200可对应于GPU。

参照图4，图形处理器200可包括光栅化器210、着色器核220、纹理处理单元230、像素处理单元240和图块缓冲器250。图形处理器200可通过总线与外部存储器201交换数据。另外，图形处理器200还可包括用于处理3D图形的各种其他组件(未示出)。

作为一个示例，图形处理器200可使用基于图块的渲染(TBR)方法。为了生成与一个帧对应的3D图形，图形处理器200可以使划分为预定大小的多个图块通过光栅化器210、着色器核220和像素处理单元240，并将处理结果存储在图块缓冲器250中。图形处理器200可通过使用由光栅化器210、着色器核220和像素处理单元240构造的多个管线来对构成帧的所有图块执行并行处理。当与一个帧对应的多个图块被处理时，图形处理器200可将存储在图块缓冲器250中的处理结果发送到存储器201的帧缓冲器(未示出)。

光栅化器210可对通过上面的几何转换过程生成的图元执行光栅化。此外，着色器核220可从光栅化器210接收光栅化的图元，并对构成图块的像素(或者，片段)执行上面的像素着色(或者，片段着色)处理。此外，在像素着色过程中，着色器核220可使用通过使用纹理生成的像素值，以生成立体且逼真的3D图形。

同时，着色器核220还可与上面的像素着色处理一起执行顶点着色处理。作为一个示例，当着色器核220执行顶点着色处理时，表示对象的图元可被生成并被输出到光栅化器210。

此外，着色器核220可请求纹理处理单元230输出与像素对应的像素值，纹理处理单元230可输出通过处理准备好的纹理生成的像素值。纹理可被存储在纹理处理单元230内部或外部的预定空间中或者图形处理器200外部的存储器201中。当用于生成由着色器核220请求的像素值的纹理不在纹理处理单元230内部的预定空间中时，纹理处理单元230可从存储器201或纹理处理单元230外部的空间提取并使用纹理。

通过针对一个图块中的与相同位置对应的像素的诸如深度测试的过程，像素处理单元240可通过确定将被最终显示的像素值来确定与一个图块对应的所有像素值。图块缓冲器250可存储与从像素处理单元240接收的一个图块对应的所有像素值。当完成对构成一个帧的所有图块的图形处理过程时，存储在图块缓冲器250中的处理结果可被发送到存储器201的帧缓冲器。

在上面的实施例中，SCM修正装置211可包括在光栅化器210中。作为一个示例，光栅化器210可通过接收预定图案信息来生成第一采样候选图，并且还可通过根据上面的实施例的修正操作来生成第二采样候选图。此外，光栅化器210可接收存储在存储器201中的先前帧的片段值Frag_P，并基于片段值Frag_P执行修正操作。光栅化器210可将多个片段之中的采样的片段选择性地提供给着色器核220。根据实施例，光栅化器210可包括多个硬件单元(例如，处理核)，并且第一采样候选图生成操作和第二采样候选图生成操作可由相同的硬件或由不同的硬件单元来执行。

同时，着色器核220可执行上面的实施例中的中间渲染处理和最终渲染处理。根据实施例，着色器核220可包括多个硬件单元(例如，处理核)，并且中间渲染处理和最终渲染处理可由相同的硬件或由不同的硬件单元来执行。

在下文中，将描述根据本发明构思的实施例的采样和着色处理的具体示例。

图5A、图5B和图5C是共同示出对图元的片段进行着色处理的示例的示图。图5A、图5B和图5C示出候选图修正操作未被执行的示例。

图5A示出作为任意一个图元R的一些片段的4×4大小的片段，其中，可根据预定采样率对图元的片段执行采样。作为一个示例，图5A示出根据相对精细的图案执行的采样，其中，在水平方向和垂直方向上针对每两个片段采样一个片段。可根据具有精细的图案的第一采样候选图对位置P0至位置P3处的片段进行采样，并可对采样的片段执行着色处理。图5B示出在基于图5A中所示的采样对更大批量的片段(诸如，图块)执行着色处理时8×8大小的片段之中的着色处理的片段的位置。

参照图5C，未被执行着色处理的片段的值可通过插值来计算。例如，一个位置处的片段的值可通过基于与该片段邻近的一个或多个片段的值的插值来计算。例如，未执行着色处理的片段(非采样的片段)的值可参考与该片段邻近的片段的值，使用近似值来填补，上面的插值处理可被称为孔洞填补(hole filling)。例如，如在图5C中所示，具有位于未采样的片段的行和未采样的片段的列的坐标的未采样的片段的值可基于位置接近的四个采样的片段的平均值。

图6是示出将采样候选图修正操作应用于图5A、图5B和图5C的实施例的示例的示图。图6示出在不使用先前帧的渲染结果的情况下通过仅使用当前帧的数据来修正采样候选图的示例。

如在图6中所示，片段可根据第一采样候选图以预定速率被采样，采样的片段的值可通过中间着色处理来计算。此外，针对其他未采样的片段，通过采样候选图修正操作，可选择将被额外采样的片段。

采样候选图修正操作可通过使用经由当前帧的中间渲染处理计算的片段的值被执行，例如，可基于第一位置P0的片段值与第二位置P1的片段值之间的差确定是否额外地对第五位置P4的片段进行采样。(如果该差在预先定义的指示位置之间的对象边缘等的阈值之上，则可确定额外地对位置P4的片段进行采样，但如果该差低于该阈值，则不对位置P4处的片段进行采样，当该差等于该阈值时，可确定额外地对位置P4的片段进行采样或者不对位置P4处的片段进行采样。)相似地，可基于第三位置P2的片段值与第四位置P3的片段值之间的差来确定是否额外地对第六位置P5的片段进行采样。图6示出第二行和第四行的所有片段根据上面的方法以4×4大小的片段被采样，并且未被着色处理的其他片段的值可通过孔洞填补处理来计算的情况。

根据在图5A、图5B和图5C中所示的实施例，当在图中的接近的但非相邻的采样的片段之间(诸如，片段位置P2与片段位置P3之间，或者片段位置P2与片段位置P0之间)的片段的值没有改变或逐渐改变时，通过插值处理计算的值可等于或近似于实际值。另一方面，当接近的采样的片段之间的片段的值存在大的改变时，通过插值处理获得的结果的有效性可能是不可靠的。另一方面，在图6中所示的实施例中，由于在中间渲染处理之后没有立即执行孔洞填补，而是可通过采样候选图修正处理来再一次确定未采样的片段是否适合于插值处理，因此渲染处理的质量可相比于图5A、图5B和图5C被进一步提高。

图7A和图7B示出通过使用至少两个帧的数据执行采样候选图修正的示例。在图7A和图7B中，当两个帧的数据被使用时，帧被分类为奇数帧Frame_Odd和偶数帧Frame_Even，每一帧中的第一采样候选图SCM_1的图案被示出。这是向被递色的采样候选图图案提供在时间上连续的帧之间的重复的序列的示例。在其他示例中，诸如后面讨论的图17A的示例，递色图案可跨越三个或更多个帧。例如，当三个或更多个帧的数据被用于候选图修正时，三个或更多个帧的第一采样候选图SCM_1的图案可彼此不同。特别地，当帧之间存在对象的缓慢的运动或最小的运动时，采样候选图递色技术可减少视觉伪像。

参照图7A，第一采样候选图SCM_1的采样率可小于图6的实施例的采样率。作为一个示例，在图7A的示例中，每4×4大小个片段可仅采样两个片段。在奇数帧Frame_Odd的渲染处理中，由于第一采样候选图SCM_1的采样信息具有第一图案，因此在4×4大小的片段之中，位于第二行第三列的片段和位于第四行第一列的片段可被采样。另一方面，在偶数帧Frame_Even的渲染处理中，由于第一采样候选图SCM_1的采样信息具有第二图案，因此在4×4大小的片段之中，位于第二行第一列的片段和位于第四行第三列的片段可被采样。然而，这仅是一个示例，奇数帧Frame_Odd和偶数帧Frame_Even的第一采样候选图SCM_1的图案可根据各种其他方法被设置。例如，如在图7A中，奇数帧Frame_Odd的第一采样候选图SCM_1和偶数帧Frame_Even的第一采样候选图SCM_1可被设置，使得奇数帧Frame_Odd和偶数帧Frame_Even可彼此补偿。

在下文中，将假设当前帧对应于偶数帧Frame_Even来描述本发明构思的操作示例。首先，在偶数帧Frame_Even的处理中，中间渲染处理可根据具有第二图案的第一采样候选图SCM_1来执行，因此与第二图案对应的位置处的片段的值可被计算。此外，在通过使用预先计算的片段的值来修正第一采样候选图SCM_1时，可使用与先前奇数帧Frame_Odd中的第一图案对应的位置处的片段的值以及与通过当前偶数帧Frame_Even的中间渲染处理计算的第二图案对应的位置处的片段的值。

在图7B中示出将在采样候选图修正中使用的奇数帧Frame_Odd的片段值Pv与偶数帧Frame_Even的片段值Pv进行组合的示例。例如，即使在针对一个帧，片段值Pv之间的距离由于片段值的低采样率而相对长时，当两个帧的片段值Pv根据本发明构思的示例实施例被使用时，片段值Pv之间的距离也可被缩短。因此，可更准确地确定为了片段值准确性可能需要实际着色处理的片段，并且可对额外采样的片段执行最终渲染处理。还应注意，在图7B中，来自先前帧的片段值(例如，当当前帧是偶数帧时，奇数帧的片段值F_O PV)可实际用于在当前帧的渲染中的对应位置处的片段。然而，如果在将被渲染的视频中的先前帧与当前帧之间存在对象的运动，则可在将先前帧的片段映射到当前帧时考虑该运动。即使在没有考虑运动的情况下，如果先前帧的图像由于场景改变或快速运动而与当前帧显著不同，则先前帧片段可与当前帧的相近片段显著不同，这可保证对采样候选图的修正。

图8是根据本发明构思的示例实施例的作为其修正的第一采样候选图SCM_1和第二采样候选图SCM_2的示图。图8示出根据图7A和图7B的实施例的在偶数帧Frame_Even中的采样候选图的修正示例。

参照图8，图形处理器可生成具有用于对片段进行中间渲染处理的第一图案的第一采样候选图SCM_1。作为一个示例，与将被采样的片段对应的图案可具有值“1”，与不被采样的片段对应的图案可具有值“0”。

此后，第二采样候选图SCM_2可通过重新估计第一采样候选图SCM_1来生成。作为一个示例，当前帧中的第一位置P0和第二位置P1的片段值和至少一个先前帧中的第一位置P0与第二位置P1之间的片段值可用于确定是否对第一位置P0与第二位置P1之间的区域Reg_1的片段进行采样。图8示出与第一位置P0与第二位置P1之间的区域Reg_1的片段对应的图案被改变并被额外采样的示例。此外，图8示出第三位置P2与第四位置P3之间的区域Reg_2的片段未被采样而第四位置P3与第五位置P4之间的区域Reg_3的片段被额外采样的示例。

根据在图7A、图7B和图8中所示的实施例，由于即使当与上述图6的示例相比采样率小时也通过使用至少两个帧的片段值来修正采样候选图，因此可防止需要实际着色处理的片段的确定准确性的降低。例如，根据图7A、图7B和图8中所示的实施例，处理速度和/或处理资源的利用可通过减少不必执行中间渲染处理的片段的数量而被提高，同时渲染质量的劣化可被最小化。

此外，根据本发明构思的实施例，根据上述图5A、图5B以及图5C至图8的实施例的操作可被选择性地执行。作为一个示例，图形处理器可通过来自主机的控制或通过图形处理器自己的控制来调节第一采样候选图的采样率，从而调节将被着色处理的片段的量。例如，多个渲染处理的帧中的一些可根据图5A、图5B和图5C的示例被处理，其他一些可根据图6的示例被处理，其他一些可根据图7A、图7B和图8的示例被处理。例如，在采样模式下，当第一采样候选图的采样率大于预定参考值时，可应用图6的实施例，当第一采样候选图的采样率小于预定参考值时，可应用图7A、图7B和图8的实施例。当第一采样候选图的采样率等于预定参考值时，可应用图6的实施例或者可应用图7A、图7B和图8的实施例。

可选地，图形处理器可通过来自主机的控制或通过图形处理器自己的控制来设置采样模式的打开/关闭，当采样模式为关闭时，帧(或者，图块或图元)中的所有片段可被着色处理。

图9和图10是示出根据本发明构思的示例实施例的操作图形处理器的各个方法的流程图。

参照图9，可通过根据第一采样候选图SCM_1对帧的多个片段中的一些进行着色来执行中间渲染处理(S21)。此后，可对先前帧的渲染结果(例如，中间渲染结果)和当前帧的渲染结果进行操作，以选择将被额外着色的片段(S22)。此外，可根据操作结果针对包括一个或多个片段的每个区域确定额外的采样是否有必要(S23)。

作为确定的结果，可改变第一采样候选图SCM_1中的与需要额外采样的片段对应的图案的布置(S24)。另一方面，可保持第一采样候选图SCM_1中的与不需要额外的采样的片段对应的图案的值(S25)。此外，可根据通过上面的过程生成的第二采样候选图SCM_2通过对额外的帧进行着色来执行最终渲染处理(S26)。

参照图10，可根据输入到图形处理器的帧来生成(在不同操作模式下或由于对帧之间的图案进行递色)具有不同图案的第一采样候选图SCM_1，并且当接收到第一帧时，可生成具有第一图案的第一采样候选图SCM_1(S31)。可通过使用具有第一图案的第一采样候选图SCM_1来对一些片段执行中间渲染处理(S32)，可通过最终着色和插值操作来对第一帧执行最终渲染处理(S33)。

当接收到第二帧时，可生成具有第二图案的第一采样候选图SCM_1(S34)(针对递色)。此外，可针对第二帧通过使用具有第二图案的第一采样候选图SCM_1对一些片段执行中间渲染处理(S35)，并且可将第一帧中的片段的中间渲染结果与第二帧中的接近的片段的中间渲染结果彼此进行比较(S36)。此外，可基于比较结果通过改变第一采样候选图SCM_1的采样信息来生成第二采样候选图SCM_2(S37)，并且可通过使用第二采样候选图SCM_2来执行最终渲染处理(S38)。

图11是示出根据本发明构思的示例实施例的图形处理器的实施示例的框图。在图11中，为了便于描述，仅示出用于执行采样候选图生成的配置和用于处理渲染的配置；然而，用于图形处理的各种其他配置还可包括在图像处理器中。

参照图11，图形处理器300可包括SCM生成器310、中间渲染处理器320、SCM修正装置330和最终渲染处理器340。根据一个实施例，在图11中所示的组件可包括诸如处理核的硬件。尽管中间渲染处理器320和最终渲染处理器340在图11中被示出为单独的硬件单元，但是根据其他实施例中间渲染处理和最终渲染处理可通过相同的硬件来执行。各种元件310、320、330和340可以是集成电路的部分。

SCM生成器310可接收图案信息Info_Pat，并通过使用图案信息Info_Pat来生成第一采样候选图SCM_1。图案信息Info_Pat可包括表示将被中间渲染处理的多个片段之中的片段的位置的信息。图案信息Info_Pat可从主机提供给图形处理器300。可选地，图形处理器300可将各种图案信息存储在图形处理器300中，图案信息Info_Pat可根据来自主机的命令在图形处理器300中被生成。可选地，作为另一实施例，图形处理器300可确定当前将被渲染的帧的顺序，并根据该帧(例如，基于如上所述的递色方案)来生成具有不同图案的图案信息Info_Pat。

中间渲染处理器320可接收多个片段的数据Data和第一采样候选图SCM_1，并选择性地对与第一采样候选图SCM_1的第一图案对应的帧执行着色处理。中间渲染处理器320的着色处理结果Data_I可被提供给SCM修正装置330，来自中间渲染处理器320的着色处理结果Data_I可包括与第一图案对应的位置的片段值。

SCM修正装置330还可接收先前帧的片段值Frag_P，片段值Farg_P可包括基于具有先前帧中的第二图案的第一采样候选图SCM_1的中间渲染处理结果。SCM修正装置330可通过经由基于先前帧的片段值Frag_P和来自中间渲染处理器320的处理结果的操作改变第一采样候选图SCM_1，来生成第二采样候选图SCM_2。最终渲染处理器340可接收第二采样候选图SCM_2和中间渲染处理器320的着色处理结果Date_I，并通过对未被执行中间渲染处理的片段中的一些进行着色处理来生成最终渲染结果Data_F。

当上面的光栅化器选择性地对将被着色处理的片段进行采样时，SCM生成器310和SCM修正装置330可包括在图11中所示的实施例中的光栅化器中。可选地，中间渲染处理器320和最终渲染处理器340中的每个可被定义为包括用于执行光栅化功能的配置。

图12是示出应用了本发明构思的实施例的图形处理器的整体操作进程的示图。图形处理器可通过应用程序从主机接收渲染数据(或者，图形数据)和命令，其中，渲染数据可包括图元信息和/或纹理信息。图形处理器可通过预渲染过程将数据和命令处理为可渲染形式(S41)。应注意，可根据图形处理器跳过预渲染过程，但是当执行基于图块的渲染时，可在预渲染过程中执行贴图(tiling)处理。

此后，可基于预渲染过程的结果执行计算深度的过程(S42)，可根据计算结果生成深度数据。可根据应用程序或图形处理器来跳过深度计算过程。根据实施例，当包括深度计算过程时，深度数据可用于生成如上讨论的第一采样候选图。

具有预定图案的采样信息可在图形处理器中生成或从主机发送，然后被提供给SCM生成器。作为一个实施示例，采样图案生成器SPG可设置在图形处理器中，其中，采样图案生成器SPG可能够生成不同的图案信息。参照在上面的实施例中描述的示例，采样图案生成器SPG可根据帧的顺序，可选地向SCM生成器提供具有第一图案的图案信息和具有第二图案的图案信息。根据帧的顺序，采样图案生成器SPG可将具有第一图案的图案信息和具有第二图案的图案信息中的一个提供给SCM生成器，并将另一个提供给像素提取器PE。

SCM生成器可生成第一采样候选图，使得可根据接收的采样图案对片段进行采样(S43)，并且可将生成的第一采样候选图提供给中间渲染处理器。根据实施例，SCM生成器可通过进一步使用深度数据来生成第一采样候选图。例如，由于具有大的深度差的片段可能在最终渲染过程中具有不同的值，或者值之间的差很大的概率可能高，因此SCM生成器可基于深度数据调节采样信息。例如，当包括在图元中的多个片段的深度之间的差很大时，第一采样候选图可被生成，使得所有的多个片段可被着色处理。可选地，包括在图元中的多个片段可被分类为多个区域，第一采样候选图可被生成，使得包括在区域中的所有的片段可基于每个区域中的深度差被着色处理。

可通过使用经由上面的过程生成的预渲染结果、深度数据和第一采样候选图来执行中间渲染处理(S44)。根据第一采样候选图，可通过着色处理来计算多个片段的值，而其他片段可对应于未被着色处理的孔洞。

同时，根据本发明构思的实施例，可通过修正第一采样候选图来生成第二采样候选图(S45)。作为一个示例，SCM修正装置可在接收当前帧的中间渲染处理结果的同时还接收从先前帧提取的片段值。在图12中所示的像素提取器PE可接收先前帧的片段值和图案信息，提取与图案信息对应的片段的值，并将该值提供给SCM修正装置。根据上面的示例，SCM修正装置可通过基于先前帧和当前帧的片段值的操作来生成第二采样候选图。

最终渲染处理器340可通过使用中间渲染数据、深度数据和第二采样候选图来执行最终渲染处理(S46)。通过最终渲染处理，可对片段执行额外的着色处理。根据最终渲染处理生成的数据仍可包括孔洞，并且可通过孔洞填补处理来生成最终图像(S47)。

根据上述实施例，从先前帧提取的片段值可用在采样候选图修正过程中，可通过使用在当前帧中着色处理的片段值来执行针对孔洞填补处理的插值操作。此外，根据上面的进程生成的当前帧的最终图像数据可用在下一帧的渲染处理过程中的采样候选图修正过程中。在另一实施例中，可优先于当前帧执行将来(下一)帧的处理，使得在将来帧中计算的片段值可用于针对先前帧如上所述的相同目的(例如，在修正帧方向处理实施例中)。

图13是示出根据本发明构思的另一实施例的渲染***400的框图。渲染***400可包括主机410和图形处理器420。主机410可包括应用411和装置驱动器412。此外，图形处理器420可包括SCM修正装置421、片段处理器422和插值准确性确定装置423。

作为存储在计算机可读介质上的应用程序，应用411可通过装置驱动器412将命令CMD和图形数据DATA提供给图形处理器420。此外，例如，应用411或装置驱动器412可控制与图形处理器420中的渲染处理有关的采样模式，并可将采样控制信号Ctrl_C/F发送到图形处理器420。图形处理器420的插值准确性确定装置423可确定通过插值处理生成的片段值的准确性，并将确定信息Info_A提供给主机410。

当采样控制信号Ctrl_C/F指示采样关闭模式时，图形处理器420可在不执行上面的实施例中的采样操作的情况下，对所有片段执行着色处理。另一方面，当采样控制信号Ctrl_C/F指示采样打开模式时，图形处理器420可根据上面的实施例生成具有预定图案的采样候选图，修正采样候选图，并执行中间渲染处理和最终渲染处理。

插值准确性确定装置423可根据预定时间段确定插值准确性。作为一个示例，插值准确性可针对每一帧或针对多个帧来确定。在后者的情况下，插值准确性可针对每K个帧进行采样，其中，K为预定整数。插值准确性可通过各种方法来确定。作为一个示例，针对相同位置的片段，插值准确性可通过将经由插值生成的片段值Frag_I与经由实际着色处理生成的片段值Frag_R进行比较来确定。当通过插值的片段值Frag_I和通过着色处理的片段值Frag_R之间的差很大时，其可指示需要被着色处理的片段的值可能通过插值来计算，并且渲染处理特性可能很低。

确定信息Info_A可包括各种信息。作为一个示例，插值准确性确定装置423可基于片段值Frag_R和片段值Frag_I来执行比较处理，并基于比较处理来计算插值准确性，以生成确定信息Info_A。可选地，作为另一示例，确定信息Info_A可仅包括基于片段值Frag_R和片段值Frag_I的操作结果，主机410可使用确定信息Info_A来确定插值准确性。主机410可基于确定信息Info_A来生成采样控制信号Ctrl_C/F。

图14是示出根据本发明构思的另一实施例的图形处理器的框图。图14示出图形处理器500内部地确定插值准确性并基于插值准确性调节第一采样候选图的采样率的示例。

参照图14，图形处理器500可包括采样图案生成器510、SCM生成器520、SCM修正装置530、片段处理器540和插值准确性确定装置550。采样图案生成器510可生成具有预定图案的图案信息，并将该图案信息提供给SCM生成器520，SCM生成器520可基于该图案信息生成第一采样候选图。此外，图形处理器500可从主机接收用于控制采样模式的打开/关闭的采样控制信号Ctrl_C/F以及命令CMD和图形数据DATA。

采样图案生成器510可针对每一帧生成具有不同图案的图案信息。根据实施例，采样图案生成器510可生成具有基于来自插值准确性确定装置550的确定信息Info_A调节的采样率的图案信息。例如，当插值准确性相对高(或者大于预定值)时，可确定针对每一帧的相似性很高，因此采样图案生成器510可生成具有减小的采样率的图案信息。另一方面，当插值准确性相对低时，采样图案生成器510可生成具有相对高的采样率的图案信息。

根据实施例，当采样率低时，可通过使用多个帧的片段值来执行采样候选图修正操作。另一方面，当采样率高时，可在不执行采样候选图修正操作的情况下通过插值来执行孔洞填补处理，或者可通过基于当前帧的片段值的采样候选图修正操作来执行最终渲染处理。

图15是示出根据本发明构思的另一实施例的渲染***600的框图。渲染***600可包括主机610和图形处理器620，主机610可包括应用611、装置驱动器612、相似性确定器613和频率特性确定器614。图形处理器620可包括SCM修正装置621和片段处理器622。

根据实施例，主机610可确定将被输出的帧的特性，并基于该特性来控制图形处理器620的采样操作。作为一个示例，相似性确定器613可确定将被图形化处理的多个帧之间的相似性，主机610可基于相似性确定将采样控制信号Ctrl_C/F提供给图形处理器620。采样控制信号Ctrl_C/F可控制采样模式的打开或关闭，并且根据一个实施例，采样控制信号Ctrl_C/F还可包括用于调节采样率的信息。作为一个示例，用于多个帧之间的相似性的程度的阈值标准可被预设并被存储在主机610中，相似性确定器613可基于预设信息来确定当前将被渲染处理的帧相对于先前帧是否具有高的相似性。例如，阈值标准可基于一系列帧之间的运动矢量。如果存在小的运动量，则可认为相似性高，如果运动很快，则可认为相似性低。

频率特性确定器614可确定帧的特性。作为一个示例，频率特性确定器614可确定当前渲染处理的帧或先前渲染处理的帧的特性(例如，边缘分布程度)。当在当前帧或先前帧中存在许多边缘时，在后续帧中存在许多边缘的可能性高。在这种情况下，主机614可将采样控制信号Ctrl_C/F提供给图形处理器620，以关闭采样模式或增加采样率。

图16是示出采样模式的可变操作的示例的示图。在这个示例中，图形处理器可以以各种采样模式进行操作，采样模式可在对多个帧执行渲染处理时进行改变。采样模式的改变可通过主机来控制，或者可通过图形处理器自身来执行。可选地，作为另一示例，采样模式的打开/关闭可通过主机来控制，而采样模式中的采样率可通过图形处理器自身来调节。

当帧的内容极大地改变或在帧中存在许多边缘时，或者当插值处理的片段值与实际着色处理的片段值之间的差很大时(例如，当平均在阈值之上时)，图形处理器可在采样关闭模式(或者，全采样模式)下操作。在这种情况下，可对所有的片段执行着色处理。

此后，采样模式可根据各种标准(诸如，帧之间的相似性增加)被打开，图形处理器可首先在精细采样模式下操作。根据实施例，一些片段可通过具有大的采样率的第一采样候选图被中间着色处理，可对其他片段执行根据上面的实施例的采样候选图修正操作。此外，在精细采样模式下，采样候选图修正操作可通过使用当前渲染处理的帧的片段值来执行。

此外，采样模式可改变为粗糙采样模式。在这种情况下，可通过具有小的采样率的第一采样候选图对一些片段进行中间着色处理，并且可对其他片段执行根据上面的实施例的采样候选图修正操作。此外，根据以上实施例，在粗糙采样模式下，可通过使用根据当前帧和先前帧的着色处理的片段值来执行采样候选图修正操作。

图17A和图17B是示出通过使用三个或更多个帧的数据来执行采样候选图修正操作的示例的示图。图17A和图17B示出使用了四个帧的数据的示例；然而，还可在本发明构思的实施例中使用各种其他数量的帧。

参照图17A，可针对每4×4大小的片段，采样和着色一个片段。此外，四个连续帧的第一采样候选图可具有不同的图案，使得递色方案跨越四个帧，并减少视觉伪像。作为一个示例，第一帧Frame1至第四帧Frame4的第一采样候选图SCM_1可被设置，使得它们的图案彼此不重叠。

参照图17B，采样候选图修正装置110可接收作为当前帧的第四帧Frame4的第一采样候选图SCM_1，并接收第四帧Frame4的中间渲染处理的片段值Frag_4。此外，采样候选图修正装置可使用作为先前帧的第一帧Frame1的片段值Frag_F1至第三帧Frame3的片段值Frag_F3。根据实施例，第一帧Frame1的片段值Frag_F1至第三帧Frame3的片段值Frag_F3可被存储在图形处理器外部的外部存储器中，片段值Frag_F1至片段值Frag_F3可从外部存储器读取，然后被提供给采样候选图修正装置。

图18是示出根据本发明构思的示例实施例的包括存储器装置的移动设备的实施示例的框图。

参照图18，移动设备700可对应于渲染***，并可包括应用处理器710和存储器装置720。应用处理器710可被实现为片上***(SoC)。SoC可包括应用具有预定总线标准的协议的***总线(未示出)，并可包括连接到***总线的各种知识产权(IP)装置。如在图18中所示，作为IP装置的示例，应用处理器710可包括CPU 711、GPU 712、调制解调器处理器713和存储器控制单元714。此外，由于应用处理器710执行调制解调器通信功能，因此应用处理器710可被称为ModAP。

高级RISC机器(ARM)公司的高级微控制器总线架构(AMBA)协议可作为***总线的标准被应用。AMBA协议的总线类型可包括高级高性能总线(AHB)、高级外设总线(APB)、高级可扩展接口(AXI)、AXI4和AXI一致性扩展(ACE)。此外，还可应用其他类型的协议(诸如，索尼公司的u网络(uNetwork)、IBM的核连接(CoreConnect)以及开放核心协议国际合作组织(OCP-IP)的开放核心协议(OCP))。

GPU 712可执行在上面的实施例中描述的渲染处理。因此，GPU 712可包括采样候选图修正装置。一个或多个帧数据Data_Frame可通过存储器控制单元714被存储在存储器装置720中。此外，采样候选图修正装置可通过使用从存储器装置720读取的当前帧的数据和先前帧的数据来执行上面的实施例中的修正操作。

上述的各种装置可以是硬件电路，并形成集成电路的部分。例如，采样候选图(SCM)修正装置110可通过集成电路的至少一个处理元件来实现。因此，具有处理或其他功能的各种装置可以可选地被称为电路。例如，SCM修正装置100、SCM修正装置300或SCM修正装置421、插值准确性确定装置423可分别可选地被称为SCM修正电路100、SCM修正电路300或SCM修正电路421、插值准确性确定电路423。上面讨论的处理器、生成器或驱动器可分别被称为处理器电路、生成器电路和驱动器电路。

根据本发明构思的上述方法可以以硬件、固件或者经由软件或计算机代码的使用来实现，使得在此描述的方法可使用这样的软件被渲染：该软件使用通用计算机或专用处理器而被存储在记录介质上，或者该软件被存储在可编程的或专用的硬件(诸如，ASIC或FPGA)中，其中，计算机代码可被存储在记录介质(诸如，CD ROM、RAM、软盘、硬盘或磁光盘)中，或者计算机代码原始存储在远程记录介质或非暂时性机器可读介质上经由网络被下载并将被存储在本地记录介质上。如在本领域中将理解，计算机、处理器、微处理器控制器或可编程硬件包括存储器组件(例如，RAM、ROM、闪存等)，其中，存储器组件可存储或接收软件或计算机代码，其中，当由计算机访问并执行软件或计算机代码时，处理器或硬件实现在此描述的处理方法。此外，将认识到，当通用计算机访问用于实现在此示出的处理的代码时，代码的执行使得通用计算机转变为用于执行在此描述的处理的专用计算机。

已参照附图描述了本发明构思的示例实施例。尽管在此使用特定术语来描述实施例，但是它们仅用于描述本发明构思的技术想法，并不意图限制在权利要求中描述的本发明构思的范围。因此，本领域普通技术人员将理解，可从中推导出各种变型和其他等同实施例。因此，本发明构思的精神和范围应由权利要求来限定。

虽然已参照本发明构思的实施例具体示出和描述了本发明构思，但是将理解，在不脱离权利要求的精神和范围的情况下，可对其做出形式上和细节上的各种改变。

Claims (25)

1.一种操作图形处理器的方法，所述方法包括：

通过经由使用具有第一图案的第一采样候选图对第一帧的一些片段进行着色处理来执行中间渲染；

通过经由使用具有第二图案的第一采样候选图对第二帧的一些片段进行着色处理来执行中间渲染；

基于将第一帧的着色处理结果与第二帧的着色处理结果进行比较，通过改变具有第二图案的第一采样候选图的采样信息来生成第二采样候选图，来确定第二帧中的将被额外采样的一些其他片段；以及

通过对将被额外采样的一些其他片段进行着色处理来执行最终渲染。

2.如权利要求1所述的方法，其中，

执行最终渲染的步骤包括：对通过使用第二采样候选图被额外采样的一些其他片段进行着色处理。

3.如权利要求1所述的方法，还包括：对第二帧的在对第二帧的中间渲染和最终渲染中未被着色处理的剩余片段执行插值处理。

4.如权利要求1所述的方法，还包括：

在对第一帧执行中间渲染之后，通过对第一帧的一些其他片段进行着色处理来执行最终渲染；

对第一帧的在对第一帧的中间渲染和最终渲染中未被着色处理的剩余片段执行插值处理。

5.如权利要求1所述的方法，其中，第一帧中的通过具有第一图案的第一采样候选图采样的片段的位置不同于第二帧中的通过具有第二图案的第一采样候选图采样的片段的位置。

6.如权利要求1所述的方法，还包括：选择采样关闭模式、精细采样模式和粗糙采样模式中的任意一种，

其中，当选择粗糙采样模式时，通过使用第一帧和第二帧的着色处理结果来对第二帧的所述一些其他片段进行额外地采样。

7.如权利要求6所述的方法，还包括：

将操作模式改变为采样关闭模式；

接收第三帧；

通过对第三帧的所有片段进行着色处理来执行渲染。

8.如权利要求6所述的方法，还包括：

将操作模式改变为精细采样模式；

接收第三帧；

通过经由使用具有第三图案的第一采样候选图对第三帧的一些片段进行着色处理来执行中间渲染；

通过经由使用第三帧的着色处理结果对第三帧的一些其他片段进行着色处理来执行最终渲染，

其中，第三图案具有比第二图案高的采样率。

9.一种图形处理器，包括：

中间渲染处理器，根据采样候选图的采样信息，对当前帧的多个片段中的一些执行着色处理；

采样候选图修正电路，被配置为：基于先前帧的着色处理结果与当前帧的着色处理结果的比较，改变采样候选图的采样信息，从而生成改变的采样候选图；

最终渲染处理器，对当前帧的未被中间渲染处理器着色处理的片段之中的根据改变的采样候选图将被额外采样的片段执行着色处理。

10.如权利要求9所述的图形处理器，还包括：插值处理器，对未被中间渲染处理器和最终渲染处理器着色处理的片段执行孔洞填补。

11.如权利要求9所述的图形处理器，还包括：采样候选图生成器，根据接收到的图案信息来生成采样候选图。

12.如权利要求11所述的图形处理器，其中，

采样候选图在对奇数帧的渲染处理中具有第一图案，在对偶数帧的渲染处理中具有与第一图案不同的第二图案，

先前帧对应于奇数帧，当前帧对应于偶数帧。

13.如权利要求12所述的图形处理器，还包括：采样图案生成器，根据帧顺序将具有第一图案或第二图案的图案信息提供给采样候选图生成器。

14.如权利要求13所述的图形处理器，还包括：像素提取器，根据先前帧的着色处理结果接收片段值，当具有第二图案的图案信息被提供给采样候选图生成器时，从采样图案生成器接收具有第一图案的图案信息，并将先前帧的与第一图案对应的片段值提供给采样候选图修正电路。

15.如权利要求11所述的图形处理器，还包括：插值准确性确定电路，通过针对当前帧的同一片段将经由插值处理计算的值与经由着色处理计算的值进行比较，执行插值准确性确定，

其中，采样候选图生成器根据插值准确性确定的结果来调节采样候选图的采样率。

16.如权利要求11所述的图形处理器，其中，采样候选图生成器响应于来自主机的命令来调节采样候选图的采样率。

17.如权利要求9所述的图形处理器，其中，当采样候选图的采样率小于参考值时，采样候选图修正电路通过使用先前帧的着色处理结果和当前帧的着色处理结果来修正采样候选图，当采样候选图的采样率大于参考值时，采样候选图修正电路通过使用当前帧的着色处理结果来修正采样候选图。

18.一种图形处理器，包括：

采样候选图修正电路，被配置为：接收用于针对将被渲染的视频的给定帧选择多个片段中的一些的第一采样候选图，并通过基于所述视频的至少两个帧的着色处理结果的比较来改变第一采样候选图的采样信息，生成第二采样候选图；

片段处理器，通过对根据第一采样候选图采样的片段进行着色处理来执行中间渲染处理，并通过对根据第二采样候选图额外采样的片段进行着色处理来执行最终渲染处理。

19.如权利要求18所述的图形处理器，其中，片段处理器包括：

中间渲染处理器，执行中间渲染处理；

最终渲染处理器，执行最终渲染处理。

20.如权利要求18所述的图形处理器，还包括：采样候选图生成器，接收图案信息，并根据图案信息生成第一采样候选图，

其中，当第一采样候选图的采样率小于参考值时，采样候选图修正电路通过使用先前帧的着色处理结果和当前帧的着色处理结果来修正第一采样候选图，当第一采样候选图的采样率大于参考值时，采样候选图修正电路通过使用当前帧的着色处理结果来修正第一采样候选图。

21.如权利要求20所述的图形处理器，其中，采样候选图生成器响应于来自外部主机的命令来调节第一采样候选图的采样率。

22.如权利要求20所述的图形处理器，还包括：插值准确性确定装置，通过针对当前帧的同一片段将经由插值处理计算的值与经由着色处理计算的值进行比较，执行插值准确性确定，

其中，采样候选图生成器根据确定结果来调节第一采样候选图的采样率。

23.如权利要求18所述的图形处理器，其中，

所述图形处理器从外部主机接收指示采样模式的打开/关闭的采样控制信号，

当采样模式对应于关闭时，第一采样候选图具有用于对所有片段进行采样的采样信息。

24.如权利要求18所述的图形处理器，还包括：光栅化器，将所述多个片段中的一些提供给片段处理器，

其中，采样候选图修正电路包括在光栅化器中。

25.如权利要求18所述的图形处理器，其中，

片段处理器包括多个处理核，

通过所述多个处理核中的一些处理核来执行中间渲染处理，并且通过所述多个处理核中的一些其他处理核来执行最终渲染处理。