CN102959947A - 画面合成装置及画面合成方法 - Google Patents

Abstract

公开了在对包括运动图像的多个显示图面进行合成时，不对显示结果带来影响而能够进一步得到省电效果的画面合成装置。在该装置中，上层帧合成单元(106)将所输入的显示层合成到第一帧，下层帧合成单元(108)将所输入的显示层合成到第二帧，显示画面合成输出处理单元(112)对第一帧和第二帧进行合成，生成显示画面，合成目的地分配判定单元(105)输入包括将第一帧作为合成目的地候补的第一显示层和将第二帧作为合成目的地候补的第二显示层的多个显示层，基于表示多个显示层中的判定对象显示层和与判定对象显示层对应的判定基准区域之间的位置关系的布局信息、和第一帧及第二帧的合成处理成本，判定将判定对象显示层合成到第一帧和第二帧中的哪个帧。

Description

画面合成装置及画面合成方法

技术领域

本发明涉及对包括运动图像的多个显示图面进行合成的画面合成装置及画面合成方法。

背景技术

近年来，如高质量视频播放、大画面显示及多应用应对等，移动终端装置的功能不断进步。对于移动终端装置，伴随移动终端装置的高功能化，如何省电地处理多个应用中的图画的合成及显示是重要的。

作为对包括运动图像的多个显示图面(显示层)进行合成即画面合成的以往技术，例如已知有专利文献1所公开的技术。专利文献1的技术中分别单独地生成视频图面、背景图面和前景图面。而且，专利文献1的技术中，通过将背景图面、视频图面及前景图面按规定的顺序依次重合，从而生成屏幕图像。此外，“视频图面”由用于显示视频图像(运动图像)的显示层而构成。另外，“背景图面”由用于显示相对于视频图面位于背面侧(下层侧)的背景图像(静止图像)的显示层而构成。另外，前景图面由用于显示相对于视频图面位于表面侧(上层侧)的表面图像(静止图像)的显示层而构成。即，专利文献1的技术中，在与视频图面合成前，将相对于视频图面位于背面侧的显示层事先进行合成(事先合成)从而生成背景图面。另外，专利文献1的技术中，将相对于视频图面位于表面侧的显示层事先合成从而生成前景图面。

这里，与视频图像(运动图像)相比较，背景图面(静止图像)和前景图面(静止图像)的更新频率较少。即，上述以往技术中，没有必要与运动图像图面更新的同时，更新背景图面和前景图面。因此，上述以往技术中的画面合成装置只要在即将输出最终画面之前合成背景图面、运动图像图面及前景图面这三个图面即可。因此，上述以往技术能够减轻生成屏幕图像时的处理负担从而实现节省电力。

专利文献

专利文献1：日本特开2006-301029号公报

上述以往技术中的画面合成装置，在即将输出最终画面之前合成背景图面、运动图像图面及前景图面这三个图面。这时，画面合成装置需要使输出结果不会与如一般的画面合成装置那样从下层层(背面侧的显示层)开始按顺序重复显示层的合成来构成最终画面的情况不同。因此，画面合成装置在进行前景图面(表面侧的显示层)的事先合成时，例如在设定了图像的透过率的情况下，需要保持该透过率的设定值(透过率信息)不变进行事先合成处理。保持透过率的设定值不变进行事先合成处理的处理比一般的透过合成复杂，需要更多的计算量。并且，即使在事先合成后，画面合成装置也要保持透过率信息。因此，对于前景图面的事先合成，画面合成装置需要利用更多的存储器。

另一方面，在背景图面的事先合成中，画面合成装置只要进行用于进行一般的画面显示的合成即可。因此，即使在设定了图像的透过率的情况下，也通过与前景图面相比计算量少的处理实现背景图面的事先合成。并且，在背景图面的事先合成后，不再需要透过率信息。因此，画面合成装置通过利用与前景图面的事先合成结果相比少的存储器来实现背景图面的事先合成。

但是，上述事先合成的计算量的比较是对前景图面和背景图面分配了相同的计算资源的情况下的比较。这里，例如也可以考虑如下构成的画面合成装置等：对于前景图面，为了合成处理计算用而搭载能够进行高速处理的硬引擎，对于背景图面，需要通过软件实现的合成处理的计算处理。在这种装置中，与背景图面的事先合成处理相比，能够以比较少的计算量实现前景图面的事先合成处理。即，在这种装置中，与背景图面的事先合成处理相比，能够以比较低的处理成本来实现前景图面的事先合成处理。

同样，关于存储事先合成结果的存储器，例如也可以考虑以下的构成：对前景图面配置比背景图面速度高的存储器的构成。由此，对于存储事先合成结果的存储器，不是一概地前景图面需要比背景图面多的存储器。即，不是一概地，前景图面的事先合成需要比背景图面多的处理成本。

总之，根据画面合成装置具有的计算资源和存储器资源等的特性，前景图面和背景图面的事先合成中的处理负担的状况会发生变化。此外，上述处理负担例如是计算量和存储器量等处理成本。

对于此，上述以往技术中的画面合成装置只基于显示布局(例如显示层的阶层顺序)进行合成处理。因此，在上述以往技术中，存在如下的问题：没有考虑前景图面和背景图面的事先合成中的处理负担(例如上述处理成本)。因此，在上述以往技术中，会出现不能得到充分的省电效果的情况。

发明内容

本发明的目的在于，提供在对包括运动图像的多个显示图面进行合成时，不对显示结果带来影响而能够进一步得到省电效果的画面合成装置及画面合成方法。

本发明的第一形态的画面合成装置所采用的构成，包括：第一合成单元，将所输入的显示层合成到第一帧；第二合成单元，将所输入的显示层合成到第二帧；合成输出单元，将所述第一帧和所述第二帧进行合成，生成显示画面；判定单元，输入包括将所述第一帧作为合成目的地候补的第一显示层和将所述第二帧作为合成目的地候补的第二显示层的多个显示层，基于表示所述多个显示层中的判定对象显示层和与所述判定对象显示层对应的判定基准区域之间的位置关系的布局信息，和所述第一帧及所述第二帧各自的合成处理成本，判定将所述判定对象显示层合成到所述第一帧和所述第二帧中的哪个帧。

本发明的第二形态的画面合成方法包括如下步骤：将所输入的显示层合成到第一帧；将所输入的显示层合成到第二帧；将所述第一帧和所述第二帧进行合成，生成显示画面；输入包括将所述第一帧作为合成目的地候补的第一显示层和将所述第二帧作为合成目的地候补的第二显示层的多个显示层，基于表示所述多个显示层中的判定对象显示层和与所述判定对象显示层对应的判定基准区域之间的位置关系的布局信息，和所述第一帧及所述第二帧各自的合成处理成本，判定将所述判定对象显示层合成到所述第一帧和所述第二帧中的哪个帧。

发明的效果

本发明在对包括运动图像的多个显示图面进行合成时，不对显示结果带来影响而能够进一步得到省电效果。

附图说明

图1是表示本发明实施方式1的画面合成装置的结构的方框图。

图2是表示一例本发明实施方式1的显示布局的图。

图3是表示本发明实施方式1的目标(object)信息的一例的图。

图4是表示本发明实施方式1的布局信息的一例的图。

图5是表示本发明实施方式1的合成处理成本信息的一例的图。

图6是表示本发明实施方式1的合成目的地分配判定处理的流程图。

图7是表示本发明实施方式1的合成目的地判定基准区域的一例的图。

图8是表示本发明实施方式2的画面合成装置的结构的方框图。

图9是表示本发明实施方式2的合成目的地分配判定处理的流程图。

图10是表示本发明实施方式2的分割后的显示布局的一例的图。

图11是表示本发明实施方式2的分割后的目标信息的一例的图。

图12是表示本发明实施方式2的分割后的布局信息的一例的图。

图13是表示本发明实施方式3的画面合成装置的结构的方框图。

图14是表示本发明实施方式3的可分割目标种类的一例的图。

图15是表示本发明实施方式3的合成目的地分配判定处理的流程图。

图16是表示本发明实施方式4的画面合成装置的结构的方框图。

图17是表示本发明实施方式4的布局信息的一例的图。

图18是表示本发明实施方式4的合成目的地分配判定处理的流程图。

图19是表示本发明实施方式4的显示画面合成输出处理的流程图。

标号说明

100、200、300、400    画面合成装置

101    应用群

102    目标信息缓冲器

103、401    布局信息缓冲器

104    合成处理成本DB

105、201、302、402    合成目的地分配判定单元

106    上层帧合成单元

107    上层帧合成缓冲器

108    下层帧合成单元

109    下层帧合成缓冲器

110    运动图像解码单元

111    运动图像图面缓冲器

112、403    显示画面合成输出处理单元

113    输出画面

301    可分割目标种类DB

具体实施方式

以下，参照附图详细说明本发明的各实施方式。此外，以下所示的实施方式只是一例，***结构、功能块的结构不限于此。

此外，本发明的各实施方式的画面合成装置对包括运动图像的多个显示图面(显示层)进行合成。这时，画面合成装置在包括运动图像的多个显示图面的显示布局中，分别生成视频图面、背景图面和前景图面。其中，“视频图面”是由用于显示运动图像的显示层而构成的运动图像图面。“背景图面”是由用于显示相对于运动图像图面位于背面侧的背景图像的显示层而构成的下层帧。“前景图面”是由用于显示相对于运动图像图面位于表面侧的表面图像的显示层而构成的上层帧。另外，背景图像是位于比运动图像靠下层的位置的图形(graphics)，以下称为下层GFX。另外，表面图像是位于比运动图像靠上层的位置的图形(graphics)，以下称为上层GFX。

总之，本发明的各实施方式的画面合成装置将运动图像以外的显示图面(例如，文本和静止图像等)分配到上层帧和下层帧，按每个帧进行事先合成。而且，画面合成装置通过按顺序将下层帧、运动图像图面和上层帧进行合成，从而生成最终的显示画面。

(实施方式1)

图1表示用于表示本实施方式的画面合成装置100的结构的方框图。

在图1所示的画面合成装置100中，应用群101表示利用画面合成装置100的应用群。例如，应用群101由应用1、应用2、...、应用N等多个应用的集合而构成。

目标信息缓冲器102存储表示应用群101的各应用分别描绘的图像数据及文本等实际的数据的目标信息。目标信息表示各显示层的目标信息即所定义的显示布局中实际显示的显示层的显示内容。

例如，图2表示显示布局中包含的各显示层。另外，图3表示图2所示的各显示层的目标信息。在图2中，对于输出画面整体显示了A、B、C、D层这四个显示层。如图3所示，存储于目标信息缓冲器102中的目标信息由“层名称”、“属性信息”、“格式信息”及“实体地址”构成。其中，“层名称”表示显示层的名称。“属性信息”表示目标的属性。“格式信息”表示目标的格式。“实体地址”表示目标的实体地址。此外、图3所示的“属性信息”中，text表示是文本，image表示是静止图像，movie表示是运动图像。例如，在图3中，A层的目标信息表示：属性信息是image(静止图像)，格式信息是ARGB8888，实体地址是0x00080000。B～D层的目标信息的数据格式与A层相同。

布局信息缓冲器103存储用于应用群101的各应用分别进行描绘的描绘目的地区域的布局信息。描绘目的地区域的布局信息例如是图像数据的坐标信息(表示显示层的区域的信息)及表示显示布局内的多个显示布局之间的阶层顺序的阶层信息等。

例如，图4表示图2所示的显示布局中包含的各显示层的布局信息。如图4所示，存储于布局信息缓冲器103中的布局信息由“层名称”、“最左上端坐标”、“最右下端坐标”及“阶层信息”构成。其中，“层名称”表示显示层的名称。“最左上端坐标”表示显示层的最左上的坐标点。“最右下端坐标”表示显示层的最右下的坐标点。“阶层信息”表示输出画面整体所显示的多个显示层之间的阶层顺序。

此外，作为图4中的坐标表述，将图2所示的输出画面整体的左上端作为原点(0，0)来表述，随着向右方和下方推进其值也增加。另外，在图2所示的显示布局中，将各显示层设为用最左上端坐标和最右下端坐标表示的矩形区域。另外，图4所示的阶层信息表示值越小越位于画面的后面(下层侧)，值越大越位于画面的前面(上层侧)。即，图2所示的显示布局表示从画面的最后面(最下层)开始是B层(阶层信息：1)、A层(阶层信息：2)、C层(阶层信息：3)、D层(阶层信息：4)这一顺序的阶层结构。

合成处理成本DB(DataBase：数据库)104存储表示每个事先合成处理的处理成本的合成处理成本信息。此外，以下，有时将每个事先合成处理的处理成本称为合成处理成本或重叠成本。例如，图5表示在合成处理成本DB104中存储的合成处理成本信息。图5所示的合成处理成本信息由表示合成对象的缓冲器的名称的“合成对象缓冲器名称”及表示合成处理成本的值的“合成处理成本值”构成。此外，图5所示的合成对象缓冲器名称中，FB0表示上层帧合成缓冲器107，FB1表示下层帧合成缓冲器109。另外，图5所示的合成处理成本值表示各缓冲器中合成处理所需的计算时间。总之，在图5中，FB0(上层帧)中的合成处理所需的计算时间(300)比FB1(下层帧)中的合成处理所需的计算时间(200)长。即，在图5中，上层帧的合成处理成本比下层帧的合成处理成本高。

此外，在本实施方式中，作为一例说明合成处理成本DB104保持并使用***设计者事先决定的值的情况。另外，在本实施方式中，该终端例如也可以在刚刚投入终端(画面合成装置100)的电源后的画面描绘等时，分别测量上层帧和下层帧的处理时间。而且，终端也可以将测量结果作为合成处理成本进行登记。

合成目的地分配判定单元105选择上层帧合成缓冲器107和下层帧合成缓冲器109中的任意一个作为应用群101的各应用的描绘内容(显示层)的合成目的地。具体而言，合成目的地分配判定单元105参照目标信息(例如图3)、布局信息(例如图4)及合成处理成本信息(例如图5)。此外，目标信息被存储在目标信息缓冲器102。布局信息被存储在布局信息缓冲器103。合成处理成本信息被存储在合成处理成本DB104。而且，合成目的地分配判定单元105判定应该将用于表示各应用中的描绘内容的显示层利用下层帧进行合成，还是应该利用上层帧进行合成。这时，用于显示运动图像图面的显示层被从成为合成目的地分配判定单元105的合成目的地分配对象的显示层中排除。

上层帧合成单元106将从合成目的地分配判定单元105输入的显示层(成为合成对象的应用的描绘结果)合成到上层帧合成缓冲器107。即，上层帧合成单元106将在合成目的地分配判定单元105中被判定为应该合成到上层帧的显示层(被判定为上层GFX的显示层)合成到上层帧合成缓冲器107。

上层帧合成缓冲器107保持与运动图像相比位于上层的显示层(上层GFX)的合成结果。

下层帧合成单元108将从合成目的地分配判定单元105输入的显示层(成为合成对象的应用的描绘结果)合成到下层帧合成缓冲器109。即，下层帧合成单元108将在合成目的地分配判定单元105中被判定为应该合成到下层帧的显示层(被判定为下层GFX的显示层)合成到下层帧合成缓冲器109。

下层帧合成缓冲器109保持与运动图像相比位于下层的显示图面(下层GFX)的合成结果。

在应用群101中包含具有运动图像播放功能的应用的情况下，运动图像解码单元110对储存在画面合成装置100中的编码视频数据或通过网络传送来的编码视频数据进行解码处理。而且，运动图像解码单元110将解码后的视频数据输出到运动图像图面缓冲器111。

运动图像图面缓冲器111存储从运动图像解码单元110输入的视频数据。

显示画面合成输出处理单元112按以下的顺序从显示画面的背面侧开始进行合成。从显示画面的背面侧开始进行合成的顺序是，下层帧合成缓冲器109保持的下层帧的合成结果、运动图像图面缓冲器111保持的视频数据、上层帧合成缓冲器107保持的上层帧的合成结果这一顺序。由此，生成最终的输出图像(显示画面)。此外，下层帧的合成结果是由在比运动图像的显示层(运动图像层)靠下的下层被事先合成的显示层构成的下层帧(即、背景图面)。另外，视频数据是运动图像层。另外，上层帧的合成结果是由在比运动图像层靠上的上层被事先合成的显示层构成的上层帧(即、前景图面)。而且，显示画面合成输出处理单元112将最终的输出图像输出到输出画面113。

输出画面113提示从显示画面合成输出处理单元112输入的最终的输出图像。

接下来，说明画面合成装置100中的事先合成处理的细节。其中，这里说明对图3所示的目标信息和图2所示的显示布局的事先合成处理。此外，图2所示的显示布局由图4所示的布局信息构成。

图6是用于说明本实施方式的画面合成装置100进行的事先合成处理的流程图。

在图6的步骤(以下称为“ST”)101中，合成目的地分配判定单元105对合成目的地分配判定中使用的参数进行初始化。具体而言，合成目的地分配判定单元105设定运动图像图面(运动图像层，在图2中是B层)的区域信息(例如坐标和阶层信息)，作为成为合成目的地分配判定处理的判定基准的合成目的地判定基准区域的值。

该合成目的地判定基准区域是成为合成目的地分配判定单元105判定将运动图像层以外的对象区域分配到上层帧合成缓冲器107和下层帧合成缓冲器109中的哪个的判定基准的判定参数。例如，运动图像层以外的对象区域在图2中是A、C、D层。具体而言，合成目的地判定基准区域是作为基准层的运动图像层以及应该在比运动图像层靠上的上层进行事先合成的显示层的并集。这里，应该在比运动图像层靠上的上层进行事先合成的显示层是在合成目的地分配判定单元105的判定处理过程中被判定为应该合成到上层帧合成缓冲器107的显示层。

更详细而言，合成目的地判定基准区域是位于基准层和判定对象显示层之间的阶层的显示层中的、被合成到基于阶层顺序的合成目的地候补帧的显示层和基准层的并集。例如，对于位于比基准层靠上的上层的某个判定对象显示层的合成判定基准区域是显示层和基准层的并集的区域。其中，显示层为阶层顺序在基准层和判定对象显示层之间的显示层中的、被合成到基于阶层顺序的合成目的地候补帧(即、上层帧合成缓冲器107)的显示层。

图7表示一例合成目的地判定基准区域。这里，合成目的地判定基准区域用多个区域的集合表示。合成目的地判定基准区域用在1行表示一个区域的区域信息的并集表示。图7所示的合成目的地判定基准区域用最左上端坐标(0，0)、最右下端坐标(200，240)、阶层信息为2的矩形区域与最左上端坐标(200，0)、最右下端坐标(400，100)、阶层信息为3的矩形区域的并集表示。合成目的地分配判定单元105判断合成目的地分配判定对象区域(显示层)是否位于比合成目的地判定基准区域靠前(即、表面侧或上层侧)。另外，合成目的地分配判定单元105判断作为合成目的地分配判定对象的显示层的区域是否具有与合成目的地判定基准区域共同的部分。而且，合成目的地分配判定单元105根据这些判断结果判定用上层帧合成缓冲器107或下层帧合成缓冲器109中的哪个缓冲器合成该显示层。

在图6所示的ST101中，合成目的地分配判定单元105，将运动图像层(图2所示的B层)的区域信息设成初始值，作为合成目的地判定基准区域。其结果，基于图4所示的B层的布局信息，利用最右下端坐标(200，100)、最左上端坐标(800，500)、阶层信息为1这样的区域信息表示合成目的地判定基准区域。

在S T102中，合成目的地分配判定单元105将构成显示布局的多个显示层中的最后面阶层的显示层(最下层(最靠背面侧)的显示层)设定为这次的合成目的地分配判定对象层。在图2中，合成目的地分配判定单元105，设定除了运动图像层(B层)以外的显示层(A、C、D层)中的最后面的显示层即A层(阶层信息：2)作为这次的合成目的地分配判定对象层。

在S T103中，合成目的地分配判定单元105判断这次的合成目的地分配判定对象层和合成目的地判定基准区域中是否存在共同部分。

在这次的合成目的地分配判定对象层和合成目的地判定基准区域中存在共同部分的情况下(ST103：“是”)，合成目的地分配判定单元105进行ST104的处理。在ST104中，合成目的地分配判定单元105判断这次的合成目的地分配判定对象层是否位于成为这次的合成目的地分配判定对象层和合成目的地判定基准区域之间的共同部分的区域的前面。即，合成目的地分配判定单元105判断这次的合成目的地分配判定对象层的阶层信息是否比上述共同部分的合成目的地判定基准区域的阶层信息大。

在这次的合成目的地分配判定对象层位于成为这次的合成目的地分配判定对象层和合成目的地判定基准区域之间的共同部分的区域前面的情况下(ST104：“是”)，合成目的地分配判定单元105进行ST106的处理。即，合成目的地分配判定单元105将这次的合成目的地分配判定对象层判断为是必须利用上层帧合成缓冲器107进行合成的区域，进入ST106的处理。另外，在这次的合成目的地分配判定对象层不位于成为这次的合成目的地分配判定对象层和合成目的地判定基准区域之间的共同部分的区域的前面的情况下(ST104：“否”)，合成目的地分配判定单元105进行ST108的处理。即，合成目的地分配判定单元105将这次的合成目的地分配判定对象层判断为是必须利用下层帧合成缓冲器109进行合成的区域，进入ST108的处理。

这样，在合成目的地分配判定对象层和合成目的地判定基准区域中存在共同部分的情况下(ST103：“是”)，合成目的地分配判定单元105进行ST104的处理。即，合成目的地分配判定单元105在ST104中判断合成目的地分配判定对象层的阶层顺序是合成目的地判定基准区域的上层还是下层。然后，合成目的地分配判定单元105基于判断结果判定合成到上层帧合成缓冲器107和下层帧合成缓冲器109中的哪个缓冲器。

另一方面，在合成目的地分配判定对象层和合成目的地判定基准区域中不存在共同部分的情况下(ST103：“否”)，合成目的地分配判定单元105进行ST105的处理。在ST105中，合成目的地分配判定单元105参照存储于合成处理成本DB104的合成处理成本信息，判断上层帧的合成处理成本是否比下层帧的合成处理成本大。其中，上层帧的合成处理成本被称为上层成本，例如是图5所示的FB0。另外，下层帧的合成处理成本被称为下层成本，例如是图5所示的FB1。

在上层成本在下层成本以下的情况下(ST105：“否”)，合成目的地分配判定单元105判断为合成到上层帧时的合成处理成本小于合成到下层帧时的合成处理成本。而且，合成目的地分配判定单元105将这次的合成目的地分配判定对象层判定为是应该合成到上层帧合成缓冲器107的区域，并进入ST106的处理。另外，在上层成本比下层成本大的情况下(ST105：“是”)，合成目的地分配判定单元105判断为合成到下层帧时的合成处理成本小于合成到上层帧时的合成处理成本。而且，合成目的地分配判定单元105将这次的合成目的地分配判定对象层判定为是应合成到下层帧合成缓冲器109的区域，并进入ST108的处理。

这样，在合成目的地分配判定对象层和合成目的地判定基准区域中不存在共同部分的情况下(ST103：“否”)，合成目的地分配判定单元105进行ST105的处理。在ST105中，合成目的地分配判定单元105将这次的合成目的地分配判定对象层判断为是，只考虑显示结果利用上层帧合成缓冲器107和下层帧合成缓冲器109中的哪个缓冲器都能够进行合成的区域。即，合成目的地分配判定单元105判定为，将这次的合成目的地分配判定对象层合成到上层帧合成缓冲器107和下层帧合成缓冲器109中的合成处理成本比较低的帧。

在这次的合成目的地分配判定对象层位于成为这次的合成目的地分配判定对象层和合成目的地判定基准区域之间的共同部分的区域前面的情况下(ST104：“是”)，合成目的地分配判定单元105进行ST106的处理。同样，在上层成本在下层成本以下的情况下(ST105：“否”)，合成目的地分配判定单元105进行ST106的处理。在ST106中，合成目的地分配判定单元105进行如下的处理：将这次被决定为合成到上层帧合成缓冲器107的对象区域(这次的合成目的地分配判定对象层)的区域信息追加到合成目的地判定基准区域。即，合成目的地分配判定单元105将作为这次的合成目的地分配判定对象的区域(显示层)和这次的合成目的地判定基准区域的并集作为新的合成目的地判定基准区域。

这是考虑了以下的情况：在这次的合成目的地分配判定处理之后进行的合成目的地分配判定处理中的合成目的地分配判定对象层是不具有与这次的合成目的地判定基准区域共同的部分的区域(显示层)的情况。具体而言是为了，合成目的地分配判定单元105在下面的情况将该显示层合成到上层帧合成缓冲器107。所谓下面的情况是，该显示层具有与作为这次合成目的地分配判定对象的区域共同的部分，且位于作为这次合成目的地分配对象的区域前面的情况。即，合成目的地分配判定单元105在下一次的合成目的地分配判定处理中只对没有与新的合成目的地判定基准区域之间的共同部分的显示层进行基于合成处理成本的合成目的地分配判定处理。

在ST107中，上层帧合成单元106将这次的合成目的地分配判定对象层合成到上层帧合成缓冲器107。

另一方面，在这次的合成目的地分配判定对象层不位于成为这次的合成目的地分配判定对象层和合成目的地判定基准区域之间的共同部分的区域前面的情况下(ST104：“否”)，进入ST108的处理。另一方面，在上层成本比下层成本大的情况下(ST105：“是”)进入ST108的处理。在ST108中，下层帧合成单元108将这次的合成目的地分配判定对象层合成到下层帧合成缓冲器109。

在ST109中，合成目的地分配判定单元105判断在这次的合成目的地分配判定对象层前面是否存在应该进行合成处理的显示层。在这次的合成目的地分配判定对象层前面存在应该进行合成处理的显示层的情况下(ST109：“是”)，进入ST110的处理。在ST110中，合成目的地分配判定单元105再次设定紧挨着这次的合成目的地分配判定对象层的、位于前面的显示层作为下一次的合成目的地分配判定对象层。而且，合成目的地分配判定单元105为了进行对该显示层的合成目的地分配判定处理和合成处理而返回到ST103。另一方面，在这次的合成目的地分配判定对象层的前面不存在应该进行合成处理的显示层的情况下(ST109：“否”)，合成目的地分配判定单元105结束处理。

说明一例将图2所示的A层作为对象的合成目的地分配判定处理。A层是阶层顺序比B层(基准层)靠上层的显示层。另外，A层是若只考虑阶层顺序则将上层帧合成缓冲器107作为合成目的地候补的显示层。另外，与A层对应的合成目的地判定基准区域是与B层相同的区域。

这里，在图2中A层具有与B层共同的部分。因此，由于A层位于B层的上层侧，所以合成目的地分配判定单元105判定为，应该将A层合成到上层帧合成缓冲器107。

在下面的情况下，合成目的地分配判定单元105将判定对象显示层(A层)，合成到上层帧合成缓冲器107和下层帧合成缓冲器109中的只考虑阶层顺序时的判定对象显示层的合成目的地候补。所谓下面的情况是，在判定对象显示层(A层)的区域和包括基准层的合成目的地判定基准区域中存在共同部分的情况。此外，这里，只考虑阶层顺序时的判定对象显示层的合成目的地候补为上层帧合成缓冲器107。

另外，说明一例将图2所示的C层作为对象的合成目的地分配判定处理。C层是阶层顺序比B层(基准层)靠上层的显示层。另外，C层是若只考虑阶层顺序则将上层帧合成缓冲器107作为合成目的地候补的显示层。另外，与C层对应的合成目的地判定基准区域是B层(基准层)和A层(阶层顺序在C层和B层之间的显示层，被合成到上层帧合成缓冲器107的显示层)的并集。

这里，在图2中C层没有与合成目的地判定基准区域共同的部分。因此，合成目的地分配判定单元105判定为应该将C层合成到上层帧合成缓冲器107和下层帧合成缓冲器109中的合成处理成本(图5)比较低的下层帧合成缓冲器109。

即，在下面的情况下，合成目的地分配判定单元105将判定对象显示层(C层)合成到上层帧合成缓冲器107和下层帧合成缓冲器109中的合成处理成本比较低的帧。所谓下面的情况是，在判定对象显示层(C层)的区域和包括基准层的合成目的地判定基准区域中不存在共同部分的情况。此外，这里，合成处理成本比较低的帧为下层帧合成缓冲器109。

这样，若只考虑阶层顺序，则C层(阶层信息：3)是应该利用比B层(阶层信息：1)靠上的上层侧的上层帧进行合成的显示层。但是，将C层合成到作为合成处理成本比较低的缓冲器的下层帧合成缓冲器109。即，画面合成装置100能够在下面的情况下选择合成处理成本比较低的缓冲器作为合成目的地缓冲器。所谓下面的情况是：即使是位于比运动图像层靠表面侧(前面)的显示层C，也判断为考虑最终画面的显示画面而不需要一定利用上层帧合成缓冲器107进行合成的情况。

此外，这里，说明与图2所示的B层(基准层)相比阶层顺序是上层的显示层(上述A层和C层等)。但是，不限于此，画面合成装置100也对与B层(显示层)相比阶层顺序是下层的显示层进行同样的处理。即，画面合成装置100对若只是考虑阶层顺序则将下层帧合成缓冲器109作为合成目的地候补的显示层(未图示)进行与上述同样的处理。

这样，画面合成装置100判定将多个显示层中的判定对象显示层合成到上层帧合成缓冲器107和下层帧合成缓冲器109中的哪个缓冲器。这时，画面合成装置100基于布局信息以及上层帧合成缓冲器107和下层帧合成缓冲器109各自的合成处理成本进行上述判定。此外，布局信息表示判定对象显示层和与判定对象显示层对应的判定基准区域之间的位置关系。由此，画面合成装置100不对最终的显示画面带来影响而能够进一步减少画面合成装置100中的合成处理的负担。即，画面合成装置100不使显示布局的阶层顺序发生变化而能够进一步减少画面合成装置100中的合成处理负担。

此外，在本实施方式中，对以下情况进行了说明，即，合成目的地分配判定单元105在进行用于将上层帧合成缓冲器107和下层帧合成缓冲器109的内容进行更新的事先合成处理时进行各层的合成目的地判定的情况。但是，在本实施方式中，也可以具有如下的构成，即，合成目的地分配判定单元105在需要进行各层的合成目的地判定结果的更新的时间点，只先行进行各层的合成目的地判定。需要进行各层的合成目的地判定结果的更新的时间点，例如是各层的布局信息被改变了的时间点。

因此，本实施方式的画面合成装置在对包括运动图像的多个显示图面进行合成时，不对显示结果带来影响而能够进一步得到省电效果。

(实施方式2)

图8是表示本实施方式的画面合成装置200的结构的方框图。此外，在图8中，对与实施方式1(图1)相同的构成元素使用相同的符号，并省略说明。

在图8所示的画面合成装置200中，合成目的地分配判定单元201与实施方式1的合成目的地分配判定单元105同样地，选择应用群101的各应用的描绘内容(显示层)的合成目的地。例如，图8所示的合成目的地分配判定单元201选择上层帧合成缓冲器107和下层帧合成缓冲器109中的任意一方，作为显示层的合成目的地。这时，合成目的地分配判定单元201进一步判定可否分割作为合成目的地分配判定对象的显示层。合成目的地分配判定单元201对判定为能够进行分割的显示层进行分割。而且，合成目的地分配判定单元201根据分割结果将改变后的目标信息登记在目标信息缓冲器102，将改变后的布局信息登记在布局信息缓冲器103。

接下来，说明画面合成装置200中的事先合成处理的细节。此外，这里，与实施方式1同样地，说明对图3所示的目标信息和图2所示的显示布局的事先合成处理。此外，图2所示的显示布局由图4所示的布局信息构成。

图9是用于说明本实施方式的画面合成装置200进行的事先合成处理的流程图。此外，在图9中，对与实施方式1(图6)相同的处理使用相同的标号，并省略说明。

另一方面，在图9所示的ST104中，在这次的合成目的地分配判定对象层位于成为这次的合成目的地分配判定对象层和合成目的地判定基准区域之间的共同部分的区域前面的情况下(ST104：“是”)，进入ST201的处理。在ST201中，与ST105同样地，合成目的地分配判定单元201参照存储于合成处理成本DB104的合成处理成本信息，判断上层成本是否比下层成本大。例如，在ST201中，合成目的地分配判定单元201参照图5所示的合成处理成本信息判断上层成本(例如FB0)是否比下层成本(例如FB1)大。

在上层成本在下层成本以下的情况下(ST201：“否”)，合成目的地分配判定单元201判断为上层帧的合成处理成本小于下层帧的合成处理成本。而且，合成目的地分配判定单元201将这次的合成目的地分配判定对象层判定为是应合成到上层帧合成缓冲器107的区域，并进入ST106的处理。

即，在上层成本在下层成本以下的情况下，合成目的地分配判定单元201进行下面的判断。所谓下面的判断是：不管这次的合成目的地分配判定对象层和合成目的地判定基准区域之间的关系如何(是否存在共同部分)，都将这次的合成目的地分配判定对象层判断为应合成到上层帧合成缓冲器107。

另一方面，在上层成本比下层成本大的情况下(ST201：“是”)，在ST202中，合成目的地分配判定单元201判断在这次的合成目的地分配判定对象层和合成目的地判定基准区域中是否存在共同部分以外的区域。

在这次的合成目的地分配判定对象层和合成目的地判定基准区域中不存在共同部分以外的区域的情况下(ST202：“否”)进入ST106的处理。即，合成目的地分配判定单元201将这次的合成目的地分配判定对象层判断为是必须利用上层帧合成缓冲器107进行合成的区域，进入ST106的处理。

另一方面，在这次的合成目的地分配判定对象层和合成目的地判定基准区域中存在共同部分以外的区域的情况下(ST202：“是”)，进入ST203的处理。在ST203中，合成目的地分配判定单元201将这次的合成目的地分配判定对象层至少分割为上述共同部分的区域和共同部分以外的区域。而且，合成目的地分配判定单元201将与分割后的显示层有关的目标信息和布局信息分别登记到目标信息缓冲器102和布局信息缓冲器103中。另外，合成目的地分配判定单元201再次设定经过分割后的显示层中的上述共同部分的区域作为下一次的合成目的地分配判定对象层。然后，处理返回到ST103的处理。

说明在图2所示的显示布局中，这次的合成目的地分配判定对象层是A层的情况。即，合成目的地判定基准区域成为与图2所示的B层(最右下端坐标为(200，100)、最左上端坐标为(800，500)、阶层信息为1)相同的区域。

在这种情况下，合成目的地分配判定单元201判断为A层具有与合成目的地判定基准区域(与B层相同的区域)共同的部分(ST103：“是”)。另外，合成目的地分配判定单元201判断为A层位于比合成目的地判定基准区域靠前面(上层侧)的位置(ST104：“是”)。由此，合成目的地分配判定单元201判断为必须将A层的至少一部分的区域或全部区域合成到上层帧合成缓冲器107。

因此，合成目的地分配判定单元201参照存储于合成处理成本DB104中的合成处理成本信息(图5)对上层成本和下层成本进行比较(ST201)。在图5中，在上层成本比下层成本大的情况下(ST201：“是”)进入ST202的处理。即，合成到下层帧的合成处理成本小于合成到上层帧的合成处理成本。因此，合成目的地分配判定单元201判断在A层和合成目的地判定基准区域(与B层相同的区域)中是否存在共同部分以外的区域(ST202)。

如图2所示，在A层中存在与B层之间的共同部分的区域和不是与B层共同的区域(共同部分以外的区域)。因此，合成目的地分配判定单元201将A层至少分割成与B层之间的共同部分的区域和与B层之间的共同部分以外的区域(ST203)。这里，用矩形区域表示各显示层。因此，如图10所示，合成目的地分配判定单元201将A层分割为作为与B层之间的共同部分的A2层和作为与B层之间的共同部分以外的区域的A0层及A1层。

而且，合成目的地分配判定单元201如图11所示那样，将与作为A层的分割结果的A0层-A2层有关的目标信息登记到目标信息缓冲器102中以代替A层的目标信息。同样，合成目的地分配判定单元201如图12所示那样，将与作为A层的分割结果的A0层、A1层和A2层有关的布局信息登记到布局信息缓冲器103中以代替A层的布局信息。

而且，合成目的地分配判定单元201对被更新后的布局信息(图12)所示的显示层进行合成目的地分配判定处理。具体而言，合成目的地分配判定单元201首先将图10所示的A2层作为这次的合成目的地分配判定对象层进行合成目的地分配判定处理。接下来，合成目的地分配判定单元201依次将图10所示的A0层和A1层作为合成目的地分配判定对象层进行合成目的地分配判定处理。

由此，将图10所示的A2层(与合成目的地判定基准区域之间的共同部分的区域)判定为是应合成到上层帧合成缓冲器107的区域。另一方面，将图10所示的A0层和A1层(与合成目的地判定基准区域之间的共同部分以外的区域)判定为是应该合成到下层帧合成缓冲器109的区域。

这样，画面合成装置200在下面的情况下对显示层进行分割。所谓下面的情况是：对于该显示层整体，判断为应该合成到上层帧合成缓冲器107的情况(ST103：“是”，ST104：“是”)且上层成本比下层成本大的情况(ST201：“是”)。此外，该显示层被分割成必须利用上层帧合成缓冲器107进行合成的显示层和即使合成到下层帧合成缓冲器109也不会对最终的显示内容带来影响的显示层。另外，必须利用上层帧合成缓冲器107进行合成的显示层例如是与合成目的地判定基准区域之间的共同部分的区域。另外，即使合成到下层帧合成缓冲器109也不会对最终的显示内容带来影响的显示层例如是与合成目的地判定基准区域之间的共同部分以外的区域。

即，画面合成装置200对与合成目的地判定基准区域之间的共同部分的区域，判定合成到上层帧合成缓冲器107和下层帧合成缓冲器109中的哪个缓冲器。这时，画面合成装置200基于阶层顺序是在运动图像层(基准层)的上层还是下层进行上述判定。另一方面，画面合成装置200判定为将与合成目的地判定基准区域之间的共同部分以外的区域合成到上层帧合成缓冲器107和下层帧合成缓冲器109中的合成处理成本较低的帧。

由此，画面合成装置200能够将应该按照阶层顺序决定合成目的地缓冲器的区域抑制到最小限度(即，只是与合成目的地判定基准区域之间的共同部分的区域)。换言之，画面合成装置200能够最大限度地(即，与合成目的地判定基准区域之间的共同部分的区域以外的区域)得到能够按照合成处理成本决定合成目的地缓冲器的区域。由此，画面合成装置200能够对显示布局中的存在显示层之间的阶层顺序限制的区域以外进行考虑了合成处理成本的合成目的地分配判定处理。由此，画面合成装置200能够最大限度地减少合成处理成本。

因此，根据本实施方式，画面合成装置在对包括运动图像的多个显示图面进行合成时，不对显示结果带来影响而能够得到比实施方式1更省电的省电效果。

(实施方式3)

图13是表示本实施方式的画面合成装置300的结构的方框图。此外，在图13中，对与实施方式2(图8)相同的构成元素使用相同的标号，并省略说明。

在图13所示的画面合成装置300中，可分割目标种类DB301存储用于在合成目的地分配判定单元302的合成目的地分配判定处理中判断可否进行显示层的布局分割的信息。这里，可分割目标种类DB301存储表示在合成目的地判定处理中可进行显示层的布局分割的目标种类(即、显示层的显示内容的属性)的信息。例如，图14示出了一例表示可进行显示层的布局分割的目标种类的信息。即，在图14中，在合成目的地分配判定对象显示层的目标信息是静止图像(image)的情况下，能够进行显示层的布局分割处理。

合成目的地分配判定单元302中，与实施方式2的合成目的地分配判定单元201同样地，选择应用群101的各应用的描绘内容(显示层)的合成目的地。例如，在图13中，合成目的地分配判定单元302选择上层帧合成缓冲器107和下层帧合成缓冲器109中的任意一方作为显示层的合成目的地。另外，合成目的地分配判定单元302与实施方式2的合成目的地分配判定单元201同样地，判定可否进行合成目的地分配判定对象的显示层的布局分割。这时，合成目的地分配判定单元302参照可分割目标种类DB301中存储的信息，判定可否进行合成目的地分配判定对象的显示层的布局分割。合成目的地分配判定单元302对判定为能够进行分割的显示层进行分割。而且，合成目的地分配判定单元302根据分割结果将改变后的目标信息登记在目标信息缓冲器102，将改变后的布局信息登记在布局信息缓冲器103。

接下来，说明画面合成装置300中的事先合成处理的细节。此外，这里，与实施方式2同样地，说明对图3所示的目标信息和图2所示的显示布局的事先合成处理。此外，图2所示的显示布局由图4所示的布局信息构成。

图15是用于说明本实施方式的画面合成装置300进行的事先合成处理的流程图。此外，在图15中，对与实施方式2(图9)相同的处理使用相同的标号，并省略说明。

在图15所示的ST202中，在这次的合成目的地分配判定对象层和合成目的地判定基准区域中存在共同部分以外的区域的情况下(ST202：“是”)进入ST301的处理。在ST301中，合成目的地分配判定单元302判断这次的合成目的地分配判定对象层的属性是否包含在存储于可分割目标种类DB301的目标种类中。

在下面的情况下，合成目的地分配判定单元302判断为这次的合成目的地分配判定对象层为可分割，并进入ST203的处理。所谓下面的情况是：这次的合成目的地分配判定对象层的属性包含在存储于可分割目标种类DB301的目标种类中的情况(ST301：“是”)。另一方面，在下面的情况下，合成目的地分配判定单元302判断为这次的合成目的地分配判定对象层为不可分割，并进入ST106的处理。所谓下面的情况是：这次的合成目的地分配判定对象层的属性未包含在存储于可分割目标种类DB301的目标种类中的情况(ST301：“否”)。

说明在图2所示的显示布局中，这次的合成目的地分配判定对象层是A层的情况。即，合成目的地判定基准区域成为与图2所示的B层(最右下端坐标为(200，100)、最左上端坐标为(800，500)、阶层信息为1)相同的区域。

在这种情况下，合成目的地分配判定单元302判断为A层具有与合成目的地判断基准区域(与B层相同的区域)共同的部分(ST103：“是”)。另外，合成目的地分配判定单元302判断为A层位于比合成目的地判定基准区域靠前面(上层侧)的位置(S T104：“是”)。由此，合成目的地分配判定单元302判断为必须将A层的至少一部分的区域或全部区域合成到上层帧合成缓冲器107。

另外，合成目的地分配判定单元302参照存储于合成处理成本DB104中的合成处理成本信息(图5)判断为上层成本比下层成本大(ST201：“是”)。另外，合成目的地分配判定单元302判断为在A层和合成目的地判定基准区域(与B层相同的区域)中存在共同部分以外的区域(ST202：“是”)。

即，合成目的地分配判定单元302需要将图2所示的A层的一部分区域(与合成目的地判定基准区域之间的共同部分)合成到上层帧合成缓冲器107。相对于此，合成目的地分配判定单元302可以将A层的其他区域(与合成目的地判定基准区域之间的共同部分以外的区域)合成到下层帧合成缓冲器109。由此，画面合成装置300能够减少合成处理成本。

但是，这里，合成目的地分配判定单元302判断A层的属性是否包含在存储于可分割目标种类DB301的目标种类中(ST301)。如图3所示，A层的属性信息是image。另外，如图14所示，存储于可分割目标种类DB301的目标种类是image。由此，合成目的地分配判定单元302将A层判断为可分割。而且，合成目的地分配判定单元302与实施方式2(图10)同样地对A层进行布局分割(ST203)。例如，合成目的地分配判定单元302将A层布局分割成与合成目的地判定基准区域之间的共同部分(A2层)和与合成目的地判定基准区域之间的共同部分以外的区域(A0层和A1层)。

接下来，说明在图2所示的显示布局中，这次的合成目的地分配判定对象层是D层的情况。在这种情况下，完成了对图2所示的A层和C层的合成目的地分配判定处理。由此，合成目的地判定基准区域利用图10所示的B层和A2层(A层中与B层之间的共同部分)的并集表示。

与上述的A层的情况同样地，合成目的地分配判定单元302需要将图2所示的D层的一部分区域(与合成目的地判定基准区域之间的共同部分)合成到上层帧合成缓冲器107。相对于此，合成目的地分配判定单元302判断为可以将D层的其他区域(与合成目的地判定基准区域之间的共同部分以外的区域)合成到下层帧合成缓冲器109。由此，画面合成装置300能够减少合成处理成本。

因此，合成目的地分配判定单元302进一步判断D层的属性是否包含在存储于可分割目标种类DB301的目标种类中(ST301)。如图3所示，D层的属性信息是text。另外，如图14所示，存储于可分割目标种类DB301的目标种类是image。因此，合成目的地分配判定单元302将D层判断为不可分割，将D层合成到上层帧合成缓冲器107(ST106、ST107)。

这样，画面合成装置300参照合成目的地分配判定对象显示层的显示内容的属性判断是否对显示层进行分割。而且，在下面的情况下，画面合成装置300与实施方式2同样地对显示层进行布局分割。所谓下面的情况是：判断为可进行该显示层的布局分割的情况。此外，该显示层被布局分割成必须利用上层帧合成缓冲器107进行合成的显示层和即使合成到下层帧合成缓冲器109也不会对最终的显示内容带来影响的显示层。另外，必须利用上层帧合成缓冲器107进行合成的显示层例如是与合成目的地判定基准区域之间的共同部分的区域。另外，即使合成到下层帧合成缓冲器109也不会对最终的显示内容带来影响的显示层例如是与合成目的地判定基准区域之间的共同部分以外的区域。另一方面，在判断为不能进行显示层的布局分割的情况下，画面合成装置300将该显示层整体合成到基于阶层信息选择的合成目的地缓冲器。

画面合成装置300中，例如避免对伴随布局分割的显示内容(目标)的分割处理是复杂的格式(图14中静止图像(image)以外的目标)的显示层，进行布局分割。即，画面合成装置300基于画面合成装置300的特性和每个目标属性的特性等进行显示层的布局分割。

由此，根据本实施方式，画面合成装置在对包括运动图像的多个显示图面进行合成时，考虑显示层的目标属性且不对显示结果带来影响，而能够得到比实施方式1更省电的省电效果。

此外，本实施方式中，说明了画面合成装置300分开实施图15所示的ST103的判断处理和ST202的判断处理的情况。其中，ST103的判断是在这次的合成目的地分配判定对象层和合成目的地判断基准区域中是否存在共同部分的判断。另外，ST202的判断是在这次的合成目的地分配判定对象层和合成目的地判断基准区域中是否也存在共同部分以外的区域的判断。但是，画面合成装置300也可以将这两个判断处理一次进行。而且，画面合成装置300也可以构成为，在需要进行各个处理的时间点(图15中的ST103的处理的时间点，和ST202的处理的时间点)参照该判断结果。

另外，在本实施方式中，说明了可分割目标种类DB301存储可分割的目标种类的情况。但是，可分割目标种类DB301也可以相反地存储不可分割的目标种类。即，合成目的地分配判定单元302也可以基于不可分割的目标种类判断可否进行合成目的地分配判定对象显示层的布局分割。另外，也可以考虑可分割目标种类DB301中存储的可分割目标种类在中途发生变化的情况。有时，例如考虑直到当前时间点为止的处理中被布局分割后的区域的尺寸的合计，和被合成到各帧中的区域尺寸的合计或合成时间的合计等，可分割目标种类在中途发生变化。

另外，本实施方式中的画面合成装置中，说明了使用合成目的地分配判定对象显示层的显示内容的属性作为判断可否分割该显示层时的判断基准。但是，本发明中，也可以使用合成目的地分配判定对象显示层的显示内容的属性，作为该显示层的合成目的地的判定基准。即，画面合成装置也可以基于合成目的地分配判定对象显示层的显示内容的属性，判定将该显示层合成到上层帧合成缓冲器和下层帧合成缓冲器中的哪个缓冲器。例如，根据画面合成装置的结构，在进行向上层帧的合成处理时，能够进行静止图像数据的高速处理、高质量处理。但是，也有时在进行向下层帧的合成处理时，不具有能够进行高速处理、高质量处理的程度的功能和性能。这种情况下，画面合成装置将处理对象的属性是静止图像作为判定基准，选择上层帧作为处理对象的合成目的地。这样，画面合成装置以利用进行对各显示层显示内容的属性更适合的合成处理的帧进行合成的方式，判定各显示层的合成目的地缓冲器。

(实施方式4)

图16是表示本实施方式的画面合成装置400的结构的方框图。此外，在图16中，对与实施方式3(图13)相同的构成元素使用相同的标号，并省略说明。

在图16所示的画面合成装置400中，布局信息缓冲器401存储与实施方式1～3的布局信息缓冲器103相同的布局信息。与布局信息缓冲器103相同的布局信息例如是图像数据的坐标信息(表示显示层的区域的信息)和阶层信息等。另外，布局信息缓冲器401除了存储上述布局信息以外还存储时戳信息，作为布局信息。此外，时戳信息是指定进行后述的显示画面合成输出处理单元403中的各显示层的显示合成处理的定时(显示合成定时)的信息。

例如，如图17所示，存储于布局信息缓冲器401中的布局信息由“层名称”、“最左上端坐标”、“最右下端坐标”、“阶层信息”和“时戳信息”构成。此外，图17中的时戳信息所示的值(图17中“0”)表示指定各显示层的显示合成定时的时戳。另外，在不需要赋予时戳信息的情况下，用表示无信息的符号(连字符(“-”))表示。

合成目的地分配判定单元402中，与实施方式3的合成目的地分配判定单元302同样地，选择应用群101的各应用的描绘内容(显示层)的合成目的地。例如，图16所示的合成目的地分配判定单元402选择上层帧合成缓冲器107和下层帧合成缓冲器109中的任意一方作为显示层的合成目的地。另外，合成目的地分配判定单元402与实施方式3的合成目的地分配判定单元302同样地，参照存储于可分割目标种类DB301的信息，判定可否进行合成目的地分配判定对象显示层的布局分割。

而且，合成目的地分配判定单元402与实施方式3的合成目的地分配判定单元302同样地，对判定为可分割的显示层进行分割。而且，合成目的地分配判定单元402根据分割结果将改变后的目标信息登记在目标信息缓冲器102，将改变后的布局信息登记在布局信息缓冲器103。这时，合成目的地分配判定单元402对分割后的每个显示层赋予用于指示适当的显示合成定时的时戳。合成目的地分配判定单元402将时戳信息作为布局信息登记在布局信息缓冲器401。合成目的地分配判定单元402例如对作为某个显示层的分割结果的多个显示层赋予相同的时戳信息(相同的显示合成定时)。

显示画面合成输出处理单元403在进行合成输出处理时，根据布局信息缓冲器401中存储的布局信息中的时戳信息，生成最终的输出图像。最终的输出图像是，将下层帧合成缓冲器109保持的下层帧的合成结果、运动图像图面缓冲器111保持的视频数据、上层帧合成缓冲器107保持的上层帧的合成结果进行合成所得的图像。而且，显示画面合成输出处理单元112将最终的输出图像输出到输出画面113。

接下来，说明画面合成装置400中的事先合成处理的细节。此外，这里，与实施方式3同样地，说明对图3所示的目标信息和图2所示的显示布局的事先合成处理。

图18是用于说明本实施方式的画面合成装置400进行的事先合成处理的流程图。此外，在图18中，对与实施方式3(图15)相同的处理使用相同的标号，并省略说明。

在图18所示的ST301中，在这次的合成目的地分配判定对象层的属性包含于可分割目标种类DB301所存储的目标种类中的情况下(ST301：“是”)，进入ST401的处理。在ST401中，合成目的地分配判定单元402将这次的合成目的地分配判定对象层至少分割为：与合成目的地判定基准区域之间的共同部分的区域和上述共同部分以外的区域。而且，合成目的地分配判定单元402对全部分割后的显示层赋予相同的时戳。合成目的地分配判定单元402将与分割后的显示层有关的目标信息和布局信息分别登记在目标信息缓冲器102和布局信息缓冲器103中。

由此，即使显示层被分割为多个显示层(区域)，也对分割后的多个显示层赋予全部相同的时戳。另外，合成目的地分配判定单元402再次设定经过分割后的显示层中的上述共同部分的区域，作为下一次的合成目的地分配判定对象。然后，处理返回到ST103的处理。

接下来，说明显示画面合成输出装置403中的显示画面合成输出处理的细节。图19是用于说明显示画面合成输出处理单元403执行的显示画面合成输出处理的流程图。

在图19所示的ST501中，显示画面合成输出处理单元403参照布局信息缓冲器401中存储的布局信息。显示画面合成输出处理单元403基于布局信息判断是否对被合成到上层帧合成缓冲器107的显示层和被合成到下层帧合成缓冲器109的显示层赋予了时戳信息。

在对被合成到上层帧合成缓冲器107的显示层和被合成到下层帧合成缓冲器109的显示层赋予了时戳信息的情况下(ST501：“是”)，进入ST502。在ST502中，显示画面合成输出处理单元403对赋予给被合成到上层帧合成缓冲器107的显示层和被合成到下层帧合成缓冲器109的显示层的时戳信息进行比较。例如，显示画面合成输出处理单元403判断两个时戳信息是否相等。在下面的情况下，显示画面合成输出处理单元403继续ST502的处理(时戳信息的比较处理)。所谓下面的情况是：赋予给被合成到上层帧合成缓冲器107的显示层和被合成到下层帧合成缓冲器109的显示层的时戳信息不相等的情况(ST502：“否”)。

另一方面，在未对被合成到上层帧合成缓冲器107的显示层和被合成到下层帧合成缓冲器109的显示层赋予时戳信息的情况下(ST501：“否”)，进入ST503的处理。另外，在对被合成到上层帧合成缓冲器107的显示层和被合成到下层帧合成缓冲器109的显示层赋予的时戳信息相等的情况下(ST502：“是”)，进入ST503的处理。在ST503中，显示画面合成输出处理单元403从显示画面的背面侧开始进行合成处理。即，显示画面合成输出处理单元403按下层帧的合成结果、视频数据、上层帧的合成结果这一顺序进行合成处理。此外，下层帧的合成结果由下层帧合成缓冲器109保持。另外，视频数据由运动图像图面缓冲器111保持。另外，上层帧的合成结果由上层帧合成缓冲器107保持。而且，输出画面113显示最终的显示画面。

即，在下面的情况下，显示画面合成输出处理单元403判断为应该同时显示的显示层(数据)在上层帧合成缓冲器107和下层帧合成缓冲器109中已经聚齐。所谓下面的情况是：赋予给在各帧中被合成的显示层的时戳信息相等的情况(ST502：“是”)。

接下来，说明例如在图2所示的显示布局中，这次的合成目的地分配判定对象层是A层的情况。即，合成目的地判定基准区域成为与图2所示的B层(最右下端坐标为(200，100)、最左上端坐标为(800，500)、阶层信息为1)相同的区域。

这种情况下，合成目的地分配判定单元402将A层判断为可分割。而且，合成目的地分配判定单元402与实施方式2(图10)同样地对A层进行布局分割(ST401)。例如，合成目的地分配判定单元402将A层布局分割成与合成目的地判定基准区域(B层)之间的共同部分的区域(A2层)和与合成目的地判定基准区域之间的共同部分以外的区域(A0层和A1层)。

而且，合成目的地分配判定单元402在进行对布局信息缓冲器401的布局信息更新时，对作为A层的分割结果的A0、A1、A2层赋予相同的时戳信息。例如，图17中，对作为A层的分割结果的A0、A1、A2层赋予了相同的时戳信息(“0”)。

这里，与实施方式2同样，A0层和A1层(与合成目的地判定基准区域之间的共同部分以外的区域)被合成到下层帧合成缓冲器109。另外，A2层(与合成目的地判定基准区域之间的共同部分的区域)被合成到上层帧合成缓冲器107。

这样，对被合成到上层帧合成缓冲器107的A2层和被合成到下层帧合成缓冲器109的A0层和A1层赋予了时戳信息(ST501：“是”)。另外，在该时戳信息相等的情况下(ST502：“是”)，显示画面合成输出处理单元403进行合成显示处理，以使在同一定时显示A0、A1、A2层(ST503)。

由此，输出画面113能够在同一定时显示原本是一个显示层(A层)的A0、A1、A2层。

这样，与实施方式2相同，画面合成装置400能够最大限度地得到能够根据合成处理成本决定合成目的地的缓冲器的区域(没有与合成目的地判定基准区域之间的共同部分的区域)。由此，画面合成装置400能够最大限度地减少合成处理成本。

另外，画面合成装置400在进行显示层的布局分割时，对分割后的显示层赋予相同的时戳信息。而且，画面合成装置400基于该时戳信息进行最终的显示画面的合成显示处理。由此，即使在为了降低合成处理成本而对显示层进行分割的情况下，画面合成装置400也能够在正确的定时对分割后的显示层进行显示控制。即，画面合成装置400能够在保持显示结果的播放质量的同时，最大限度地降低合成处理成本。

这样，根据本实施方式，画面合成装置在对包括运动图像的多个显示图面进行合成时，不对显示结果带来影响而能够得到比实施方式1更省电的省电效果。

此外，本实施方式中，说明了与实施方式3同样地，画面合成装置400进行下面的处理的情况。所谓下面的处理是：对合成目的地分配判定对象显示层的目标属性信息和可分割目标种类DB301进行比较，判断可否进行该显示层的布局分割。但是，在本实施方式的画面合成装置400中，通过比较目标属性信息而进行的布局分割可否的判断处理不是必须的。例如，本实施方式的画面合成装置400也可以省略该判断处理进行与实施方式2的动作相同的动作。

以上，说明了本发明的各实施方式。

此外，在上述的实施方式中，作为合成处理成本值的一例说明了使用各帧中的合成处理所需的时间的情况(图5)。但是，合成处理成本值不限于各帧中的合成处理所需的时间。例如，合成处理成本值也可以是向各帧的合成处理所需的计算量、合成处理所需的存储器访问时间或存储器访问次数、或根据这些多个值而计算出的数值指标等。

另外，本发明的画面合成装置只要能够选择合成处理成本相对最低的合成对象缓冲器就足够了。由此，合成处理成本值也可以不是数值而是简单地表示合成处理成本的大小关系的信息。另外，在本实施方式中，也可以考虑如下的情况，即，考虑直到当前时间点为止被合成到各帧的显示层(区域)尺寸的合计和合成处理时间的合计等，各缓冲器的合成处理成本值本身或合成处理成本值的大小关系发生变动的情况。另外，在本实施方式中，也存在如下的情况，即根据作为合成处理成本值而使用的指标的内容而需要解释成值越大则合成处理成本越低的的情况。但是，以使根据作为指标而使用的值适当地进行动作的方式，设计本发明的画面合成装置。

另外，本实施方式中，说明了上层帧的合成处理成本比下层帧的合成处理成本高的情况(图5)。但是，本实施方式对于下层帧的合成处理成本比上层帧的合成处理成本高的情况也能够得到同样的效果。另外，在图6、图9、图15和图18中，在ST102，画面合成装置也可以将最前面的阶层(最上层)的显示层设定为最初的合成目的地分配判定对象层。这种情况下，画面合成装置在紧挨着ST108的处理之前进行与ST106的处理相同的处理，来代替图6、图9、图15和图18所示的ST106的处理。这是因为，在下一次以后的合成目的地分配判定处理中，在下面的情况下，将显示层合成到下层帧合成缓冲器109。所谓下面的情况是：即使是不具有与这次的合成目的地判定基准区域共同的部分的区域(该显示层)，也具有与作为这次的合成目的地分配对象的区域共同的部分且位于作为这次的合成目的地分配对象的区域的后面的情况。此外，这种情况下的合成目的地判定基准区域是阶层顺序在判定对象显示层和基准层之间的显示层。另外，合成目的地判定基准区域是被合成到下层帧合成缓冲器109的显示层和基准层的并集。

另外，在本实施方式中，说明了使用运动图像层作为将各显示层的合成目的地决定为上层缓冲器(上层帧合成缓冲器)或下层缓冲器(下层帧合成缓冲器)中的哪个缓冲器时的基准层的情况。但是，本发明中，用于将各显示层的合成目的地决定为上层缓冲器或下层缓冲器中的哪个缓冲器的基准层，不限于运动图像层。在本实施方式中，例如也可以使用按每个帧进行计算描绘的计算机制图画面、和摄像机输入画面等在显示布局内的多个显示层中更新频率最高的显示层，作为基准层。在这种情况下，图1、图8、图13和图16中的运动图像解码单元110作为进行如下处理的功能块而发挥功能，该处理是：进行对象层的描绘处理代替运动图像解码处理的处理。另外，图1、图8、图13和图16中的运动图像图面缓冲器111作为储存对象层的描绘结果的缓冲器而发挥功能。另外，作为将各显示层的合成目的地决定为上层缓冲器和下层缓冲器中的哪个缓冲器的基准的特殊的区域(本实施方式中是运动图像层)，除了仅由一个层构成的情况以外，也可以由多个显示层构成。

另外，本实施方式中说明过的各单元典型地由作为集成电路的LSI(LargeScaleIntegration)来实现。对于这些各单元既可以被单独地集成为单芯片，也可以包含一部分或全部地被集成为单芯片。虽然此处称为LSI，但根据集成程度，可以被称为IC、***LSI、超大LSI、或特大LSI。另外，实现集成电路化的方法不仅限于LSI，也可使用专用电路或通用处理器来实现。本实施方式中，也可以使用可在LSI  制造后编程的FPGA(FieldProgrammableGateArray：现场可编程门阵列)来构成功能块。另外，在本实施方式中，可以使用可重构LSI内部的电路单元的连接和设定的可重构处理器来构成功能块。进而，随着半导体的技术进步或随之派生的其它技术的出现，如果出现能够替代LSI的集成电路化的新技术，本实施方式当然可利用该新技术进行功能块的集成化。本实施方式例如还可以适用生物技术进行集成化。

于2010年7月6日提交的日本专利申请特愿第2010-153987号所包含的说明书、附图以及说明书摘要的公开内容全部引用于本申请。

工业实用性

本发明具有更高的省电性能，作为移动终端的显示合成处理等是有用的。另外，本发明也可以应用于面向电视图像接收设备、视频播放设备等进行运动图像和图形(graphics)的合成的视频设备的用途。

Claims (11)

1.画面合成装置，其中包括：

第一合成单元，将所输入的显示层合成到第一帧；

第二合成单元，将所输入的显示层合成到第二帧；

合成输出单元，将所述第一帧和所述第二帧进行合成，生成显示画面；以及

判定单元，输入包括将所述第一帧作为合成目的地候补的第一显示层和将所述第二帧作为合成目的地候补的第二显示层的多个显示层，基于表示所述多个显示层中的判定对象显示层和与所述判定对象显示层对应的判定基准区域之间的位置关系的布局信息，和所述第一帧及所述第二帧各自的合成处理成本，判定将所述判定对象显示层合成到所述第一帧和所述第二帧中的哪个帧。

2.如权利要求1所述的画面合成装置，

所述合成处理成本是在所述第一帧和所述第二帧的每个帧中，合成处理所需的计算时间、合成处理所需的计算量、合成处理所需的存储器访问时间或合成处理所需的存储器访问次数。

3.如权利要求1所述的画面合成装置，

所述第一显示层是阶层顺序比基准层靠上层的显示层，所述第二显示层是阶层顺序比所述基准层靠下层的显示层，

所述合成输出单元对由在所述基准层的上层被事先合成的显示层构成的所述第一帧、基准层、由在所述基准层的下层被事先合成的显示层构成的所述第二帧进行合成，

在所述判定对象显示层的区域和包含所述基准层的判定基准区域中存在共同部分的情况下，所述判定单元判定为将所述判定对象显示层合成到所述第一合成单元和所述第二合成单元中的、所述判定对象显示层的合成目的地候补帧，

在所述判定对象显示层的区域和所述判定基准区域中没有共同部分的情况下，所述判定单元判定为将所述判定对象显示层合成到所述第一合成单元和所述第二合成单元中的所述合成处理成本比较低的帧。

4.如权利要求3所述的画面合成装置，

所述判定基准区域是位于所述基准层和所述判定对象显示层之间的阶层的显示层中的被合成到合成目的地候补帧的显示层与基准层的并集的区域。

5.如权利要求3所述的画面合成装置，

在所述判定对象显示层的区域和所述判定基准区域中存在共同部分的情况下，所述判定单元将所述判定对象显示层至少分割为作为与所述判定基准区域之间的共同部分的第一区域和所述第一区域以外的第二区域，

所述判定单元判定为将所述第一区域合成到所述第一帧和所述第二帧中的、所述判定对象显示层的合成目的地候补帧，

所述判定单元判定为将所述第二区域合成到所述第一帧和所述第二帧中的、所述合成处理成本比较低的帧。

6.如权利要求5所述的画面合成装置，

所述判定单元还对所述第一区域和所述第二区域赋予相同的时戳，

所述合成输出单元根据所述时戳决定对所述多个显示层进行合成的定时。

7.如权利要求5所述的画面合成装置，

所述判定单元还基于所述判定对象显示层的显示内容的属性判断是否对所述判定对象显示层进行分割。

8.如权利要求1所述的画面合成装置，

所述判定单元还基于所述判定对象显示层的显示内容的属性判定在所述第一帧和所述第二帧中的哪个帧中对所述判定对象显示层进行合成。

9.如权利要求3所述的画面合成装置，

所述基准层是所述多个显示层中更新频率最高的显示层。

10.如权利要求3所述的画面合成装置，

所述基准层是用于显示运动图像的显示层。

11.画面合成方法，包括如下步骤：

将所输入的显示层合成到第一帧；

将所输入的显示层合成到第二帧；

将所述第一帧和所述第二帧进行合成，生成显示画面；以及

输入包括将所述第一帧作为合成目的地候补的第一显示层和将所述第二帧作为合成目的地候补的第二显示层的多个显示层，基于表示所述多个显示层中的判定对象显示层和与所述判定对象显示层对应的判定基准区域之间的位置关系的布局信息，和所述第一帧及所述第二帧各自的合成处理成本，判定将所述判定对象显示层合成到所述第一帧和所述第二帧中的哪个帧。

Images