CN101557475B - 信息处理设备和方法 - Google Patents

Abstract

本发明公开了信息处理设备和方法，以及程序。一种信息处理设备包括：修剪单元，被配置来对多个图像进行用于将图像的一部分修剪出来作为部份图像的修剪处理，以便从所述多个图像的每一个中修剪出部份图像；尺寸校正单元，被配置来校正与由所述修剪单元修剪出的多个部份图像的每个有关的图像尺寸；以及合成单元，被配置来将由所述尺寸校正单元校正了图像尺寸的所述部份图像相连接，以生成合成图像。

Description

信息处理设备和方法

技术领域

本发明涉及信息处理设备和方法以及程序，并且具体而言，涉及可以在较短的延迟下执行更复杂的图像合成处理的信息处理设备和方法以及程序。 

背景技术

迄今为止，存在各种类型的图像处理(例如，日本专利No.3117097和3503168)。例如，日本专利No.3117097公开了一种用于将输入图像映射在诸如多角柱(polygonal column)等的三维形状中的方法。日本专利No.3503168公开了一种用于对图像应用特殊效果，例如放大、缩小、移动、变形等的方法。而且，已经构想出了使用多个图像的各种类型的图像处理(例如，日本专利No.3480648、3700871和4003508)。日本专利No.3503168、3480648和4003508公开了一种所谓的画中画(picture-in-picture)方法，用于在一种状态中显示两个图像，在该状态中，将一个图像适合到(fit into)另一图像的一部份中。而且，日本专利No.3700871公开了用于混合两个图像的比率控制方法。 

发明内容

然而，上述文献未描述更复杂的图像处理方法，例如，从大量(多个***)输入图像中每个输入图像修剪出的部份图像被填入由自由形式曲线围绕的框中，并且例如通过以下处理生成输出图像：使修剪出的图像经受诸如缩小等处理，将修剪出的图像彼此组合，或者将CG(计算机图形)图像叠加在修剪出的图像上或者进一步将另一图像叠加在修剪出的图像上。 

迄今为止，记录和存储的图像数据已经过了这种更复杂的图像处理 (在离线(off-line)状态中)，然而近年来，在图像以实时的方式被广播(例如，实况体育广播)的所谓的实况广播(live broadcasting)中也要求这种复杂的图像处理。即，存在以更短延迟执行更复杂图像处理的需求。 

然而，在使用根据相关技术的离线状态中的编辑处理的方法中，图像数据必须被存储，因此，可能难以满足这种需求。 

而且，在日本专利No.3503168、3480648和4003508公开的设备以及所谓的切换器设备(switcher device)中，仅仅简单的合成处理被执行以使得另一图像嵌入在图像的一部分的矩形区域中。在日本专利No.3700871中公开的设备仅仅控制要叠加的两个图像之间的混合比。因此，如上所述，难以实现更复杂的图像处理。 

此外，还可以想到将在日本专利No.3117097、3503168、3480648、3700871和4003508中公开的方法组合，但是在这种情况中，图像处理的阶段数目增加，从而使由图像处理引起的延迟也增加。因此，认为利用相关技术难以对于实况广播实现更复杂的图像处理。 

通过提供一种能够在较少延迟下执行更复杂的图像合成处理的方法来满足这种需求。 

根据本发明的实施例，一种信息处理设备包括：修剪单元，被配置来对多个图像进行用于将图像的一部分作为部份图像而修剪出来的修剪处理，以便从所述多个图像的每一个中修剪出部份图像；尺寸校正单元，被配置来校正与由所述修剪单元修剪出的多个所述部份图像的每个有关的图像尺寸；以及合成单元，被配置来将由所述尺寸校正单元校正了图像尺寸的所述部份图像相连接(connect)，以生成合成图像。 

所述修剪单元可以利用由第一控制信息指定的修剪方法来对所述部份图像执行修剪，并且，所述尺寸校正单元校正所述部份图像以使之具有由所述第一控制信息指定的图像尺寸，并且，所述合成单元利用由所述第一控制信息指定的连接方法来连接所述部份图像。 

所述信息处理设备还可以包括：CG信息合成单元，被配置来根据由第二控制信息指定的叠加方法将CG(计算机图形)信息叠加在由所述合成单元生成的所述合成图像上，所述第二控制信息用于指定多个图像的叠 加方法。 

所述信息处理设备还可以包括：存储单元，被配置来存储所述第一控制信息和所述第二控制信息；以及读出单元，被配置来从所述存储单元中读出所述第一控制信息和所述第二控制信息，以将所述第一控制信息提供给所述修剪单元、所述尺寸校正单元和所述合成单元，并将所述第二控制信息提供给所述CG信息合成单元。 

所述读出单元可以根据从所述存储单元读出的所述第一控制信息生成部份控制信息，以将多个所生成的部份控制信息提供给所述修剪单元和所述尺寸校正单元，所述部份控制信息是对于所述多个图像的每一个的控制信息，并且，所述修剪单元针对每个图像利用由与每个图像相对应的部份控制信息指定的修剪方法来执行对所述部份图像的修剪，并且，所述尺寸校正单元校正每个部份图像，以使之具有由与每个部份图像相对应的部份控制信息指定的图像尺寸。 

存储在所述存储单元中的所述第一控制信息和所述第二控制信息可以分别利用预定方法被压缩，并且，所述读出单元利用与压缩方法相对应的方法对从所述存储单元读出的所述第一控制信息和所述第二控制信息进行解码，然后提供所述第一控制信息和所述第二控制信息。 

所述存储单元可以针对每个合成模式来管理所述第一控制信息和所述第二控制信息，并且，所述读出单元从所述存储单元读出具有指定合成模式的所述第一控制信息和所述第二控制信息，然后提供所述第一控制信息和所述第二控制信息。 

所述信息处理设备还可以包括：前进(progress)控制指令接受单元，被配置来接受用于控制所述合成模式的前进的前进控制指令，并且，所述读出单元基于由所述前进控制指令接受单元所接受的所述前进控制指令确定对于所述合成模式要处理的位置，并且读出与所述要处理的位置相对应的所述第一控制信息和所述第二控制信息，然后提供所述第一控制信息和所述第二控制信息。 

所述信息处理设备还可以包括：修改指令接受单元，被配置来接受具有所述CG信息的配置的修改指令，并且，所述读出单元基于由所述修改 指令接受单元接受的所述修改指令更新所述第一控制信息和所述第二控制信息。 

所述信息处理设备还可以包括：预处理单元，被配置来对所述多个图像进行预处理，并且，所述修剪单元修剪来自经过所述预处理单元的预处理的所述多个图像的所述部份图像。 

所述预处理单元可以将隔行扫描形式的所述多个图像转换为逐行扫描形式的所述多个图像。 

所述预处理单元可以从所述多个图像的每个检测面部图像，以确定由所述修剪单元修剪出的所述部份图像的中心坐标。 

根据本发明的实施例，一种用于信息处理设备的信息处理方法，包括以下步骤：对多个图像进行用于将图像的一部分作为部份图像修剪出来的修剪处理，以从所述多个图像的每个修剪出部份图像；校正与多个所述修剪出的部份图像的每个有关的图像尺寸；以及连接已校正了图像尺寸的所述部份图像以生成合成图像。 

根据本发明的实施例，一种使处理信息的计算机执行以下步骤的程序：对多个图像进行用于将图像的一部分作为部份图像修剪出来的修剪处理，以从所述多个图像的每个修剪出部份图像；校正与多个所述修剪出的部份图像的每个有关的图像尺寸；以及连接已校正了图像尺寸的所述部份图像以生成合成图像。 

利用上述配置，对多个图像进行用于将图像的一部分作为部份图像修剪出来的修剪处理，以从多个图像的每个修剪出部份图像，校正与多个修剪出的部份图像的每个有关的图像尺寸，以及连接已校正了图像尺寸的部份图像以生成合成图像。 

根据本发明的实施例，图像可以被处理。具体而言，可以在较少延迟下执行更复杂的图像合成处理。 

附图说明

图1是图示出应用了本发明实施例的图像处理***的配置示例的框图； 

图2是图示出应用了本发明实施例的图像合成设备的主要配置示例的框图； 

图3是描述控制信息的示图； 

图4是图示出输入图像合成的示图；

图5是描述图像合成处理流程的示例的流程图； 

图6是掩模信息中的时间变化的示例的示图； 

图7是描述控制信息读出处理流程的示例的流程图； 

图8A至8G是描述合成模式前进方法的示例的示图； 

图9是图示出信息读出控制单元的配置示例的框图； 

图10是描述图像合成处理流程的另一示例的流程图； 

图11是描述控制信息创建工作流程的示例的示图； 

图12A和12B是描述控制信息更新的示例的示图； 

图13是图示出信息读出控制单元的另一配置示例的框图； 

图14是描述图像合成处理流程的又一示例的流程图； 

图15是描述图像合成处理流程的又一示例的图14之后的流程图； 

图16是图示出应用了本发明实施例的图像合成设备的另一配置示例的框图； 

图17是描述图像合成处理流程的又一示例的流程图； 

图18是图示出编码设备的配置示例的框图； 

图19是示意性地描述小波变换的示意图； 

图20A至20C是示意性地图示出小波变换和逆小波变换的流程的示意图； 

图21是图示出画面的结构示例的示意图； 

图22是图示出解码单元的配置示例的框图；以及 

图23是图示出应用了本发明实施例的信息处理信息的配置示例的框图。 

具体实施方式

图1是图示出应用了本发明实施例的图像处理***的配置示例的框 图。在图1中，图像处理***100是这样的***，该***在较少的延迟下执行更复杂的图像合成处理，并且通过例如由因特网代表的网络110与图像合成设备111、切换器112以及切换器控制板113相互连接。 

图像合成设备111是在较少的延迟下执行更复杂的图像合成处理的设备。由图像信息和音频信息组成的图像音频信息(第一输入图像音频信息至第四输入图像音频信息)被输入到图像合成设备111的多个输入***的各个中。图像合成设备111根据控制信息从每条输入图像音频信息的图像信息中修剪出由自由形式曲线(任意曲线)所创建的框(frame)中的部份图像，以将其缩小(或放大)到预定尺寸。图像合成设备111将这些部份图像组合来创建合成图像，并且将其合成图像作为图像信息通过预定的专用线缆等提供给切换器112。图像合成设备111除了图像信息之外，还将与其图像信息相对应的信息(例如，作为用于在切换器112处的图像合成的控制信息的键信息，或者音频信息)通过预定的专用线缆等提供给切换器112。 

切换器112采用第五输入图像音频信息的图像作为背景图像，并且根据键信息将从图像合成设备111提供来的图像(合成图像)叠加在背景图像上。切换器112将合成结果输出为输出图像信息和输出音频信息。 

注意，图像合成设备111的输入***的数目可以是任何数目，只要该数目是两个或更多个。而且，输出***的数目也是可选的。类似地，切换器112的输入***的数目可以是任何数目，只要该数目是两个或更多个，并且输出***的数目也是可选的。为了方便说明，下面将对这样的情况进行描述：图像合成设备111包括四个输入***和一个输出***，而切换器112包括两个输入***和一个输出***。而且，图像合成设备111和切换器112可以输入或输出除了上述的与图像信息相对应的信息之外的信息。 

切换器控制板113是用户接口设备，其包括开关、控制杆等，并且接受来自用户的指令，例如合成模式指定、合成开始指令等等，并且将其信息提供给图像合成设备111或切换器112。图像合成设备111或切换器112根据上述用户指令来执行各种类型的处理。 

图2是图示出应用了本发明实施例的图像合成设备111的主要配置示 例的框图。图2所示的图像合成设备111是组成图1中的图像处理***100的设备，并且如图2所示，包括：信息读出控制单元131、存储单元132、输入单元133、预处理单元134、输入图像处理单元135、合成处理单元136以及键生成单元137。 

信息读出控制单元131读出存储在存储单元132中的信息以对其进行处理，并且在预定定时处将预定信息提供给输入图像处理单元135、合成处理单元136或键生成单元137。例如，信息读出控制单元131将第一部份掩模(mask)信息至第四部份掩模信息提供给输入图像处理单元135的图像修剪单元151-1至151-4以及尺寸校正单元152-1至152-4。而且，例如，信息读出控制单元131将整体掩模信息提供给合成处理单元136的图像合成单元161。此外，信息读出控制单元131例如将具有键信息的CG(计算机图形)信息提供给合成处理单元136的CG合成单元162。而且，信息读出控制单元131例如将音频信息或音频合成信息提供给合成处理单元136的音频合成单元163。此外，例如，信息读出控制单元131将键信息和整体掩模信息提供给键生成单元137。后面将描述每种信息。 

存储单元132例如包括诸如硬盘驱动器、闪存等的存储介质，并且预先存储与合成处理有关的控制信息。输入单元133例如包括诸如开关、按钮等的用户接口，连接到网络110的网络接口，等等。输入单元133接受例如通过用户的输入或网络110从连接到它的另一设备提供来的信息，以将其提供给信息读出控制单元131。 

预处理单元134使每个输入***的输入图像在合成之前经受适当的处理。预处理单元134包括IP转换单元141-1至141-4。当第一输入图像音频信息的图像信息遵循隔行扫描(interlace)形式时，IP转换单元141-1就将其转换为逐行扫描(progressive)形式(执行IP转换)。类似地，IP转换单元141-2使第二输入图像音频信息的图像信息经受IP转换，IP转换单元141-3使第三输入图像音频信息的图像信息经受IP转换，IP转换单元141-4使第四输入图像音频信息的图像信息经受IP转换。 

经过IP转换处理的输入图像音频信息的每一个都被提供给输入图像处理单元135。即，要输入输入图像处理单元135的第一输入图像音频信息 至第四输入图像音频信息的图像信息遵循逐行扫描形式。注意，在预处理单元的输入图像遵循逐行扫描形式的情况下，省略这种IP转换处理。 

如上所述IP转换在预处理中被执行，因此，在输入图像处理单元135、合成处理单元136和键生成单元137中对图像信息执行的每个处理是按帧来执行的。注意，可以进行这样的布置：遵循隔行扫描形式的输入图像不经受IP转换，而经受在输入图像处理单元135、合成处理单元136和键生成单元137中针对每场的每个处理。此后，在不必区分帧和场的情况中，这些将总称为画面。即，在输入图像处理单元135、合成处理单元136和键生成单元137中的每个处理以画面(帧或场)为单位来执行。 

输入图像处理单元135包括图像修剪单元151和尺寸校正单元152。图像修剪单元151从输入图像信息中修剪出利用掩模信息指定的部分。图像修剪单元151包括图像修剪单元151-1至151-4。 

图像修剪单元151-1从第一输入图像音频信息的图像信息的每个画面中，修剪出由从信息读出控制单元131提供来的第一部份掩模信息指定的范围，并将其修剪出的部份图像提供给尺寸校正单元152-1。图像修剪单元151-2从第二输入图像音频信息的图像信息的每个画面中，修剪出由从信息读出控制单元131提供来的第二部份掩模信息所指定的范围，并将其修剪出的部份图像提供给尺寸校正单元152-2。图像修剪单元151-3从第三输入图像音频信息的图像信息的每个画面中，修剪出由从信息读出控制单元131提供来的第三部份掩模信息所指定的范围，并将其修剪出的部份图像提供给尺寸校正单元152-3。图像修剪单元151-4从第四输入图像音频信息的图像信息的每个画面中，修剪出由从信息读出控制单元131提供来的第四部份掩模信息所指定的范围，并将其修剪出的部份图像提供给尺寸校正单元152-4。 

尺寸校正单元152对在图像修剪单元151中修剪出的部份图像的图像尺寸进行校正。更具体而言，尺寸校正单元152校正(缩小或放大)每个部份图像的图像尺寸，以使得由连接起来的部份图像组成的合成图像的图像尺寸变为预定尺寸。 

尺寸校正单元152包括尺寸校正单元152-1至152-4。尺寸校正单元 152-1利用由从信息读出控制单元131提供来的第一部份掩模信息所指定的缩小比率(或放大比率)对在图像修剪单元151-1中修剪出的部份图像的图像尺寸进行校正。尺寸校正单元152-2利用由从信息读出控制单元131提供来的第二部份掩模信息所指定的缩小比率(或放大比率)对在图像修剪单元151-2中修剪出的部份图像的图像尺寸进行校正。尺寸校正单元152-3利用由从信息读出控制单元131提供来的第三部份掩模信息所指定的缩小比率(或放大比率)对在图像修剪单元151-3中修剪出的部份图像的图像尺寸进行校正。尺寸校正单元152-4利用由从信息读出控制单元131提供来的第四部份掩模信息所指定的缩小比率(或放大比率)对在图像修剪单元151-4中修剪出的部份图像的图像尺寸进行校正。 

尺寸校正单元152-1将经过尺寸校正的部份图像提供给合成处理单元136的图像合成单元161。而且，尺寸校正单元152-1将第一输入图像音频信息的音频信息(与要处理的画面相对应部分的音频信息)提供给音频合成单元163。类似地，尺寸校正单元152-2将经过尺寸校正的部份图像提供给合成处理单元136的图像合成单元161，并且将第二输入图像音频信息的音频信息(与要处理的画面相对应部分的音频信息)提供给音频合成单元163。 

类似地，尺寸校正单元152-3将经过尺寸校正的部份图像提供给合成处理单元136的图像合成单元161，并且将第三输入图像音频信息的音频信息(与要处理的画面相对应部分的音频信息)提供给音频合成单元163。类似地，尺寸校正单元152-4将经过尺寸校正的部份图像提供给合成处理单元136的图像合成单元161，并且将第四输入图像音频信息的音频信息(与要处理的画面相对应部分的音频信息)提供给音频合成单元163。 

合成处理单元136执行图像和音频的合成处理。合成处理单元136包括图像合成单元161、CG合成单元162以及音频合成单元163。图像合成单元161根据从信息读出控制单元131提供来的整体掩模信息连接从尺寸校正单元152-1至152-4提供来的部份图像以生成合成图像，并将该合成图像提供给CG合成单元162。CG合成单元162将从信息读出控制单元 131提供来的具有键信息的CG信息叠加在从图像合成单元161提供来的合成图像上，并将其合成图像输出作为输出图像信息。音频合成单元163基于从信息读出控制单元131提供来的音频合成信息对从尺寸校正单元152-1至152-4提供来的音频信息，以及从信息读出控制单元131提供来的音频信息进行合成或选择，以生成输出音频信息，并且将其输出。 

键生成单元137根据从信息读出控制单元131提供来的整体掩模信息更新从信息读出控制单元131提供来的键信息，并且生成用于输出的键信息，即与输出图像信息相对应的键信息，并且将其输出。 

如参考图1所描述的，从图像合成设备111输出的输出音频信息、输出图像信息和输出键信息分别通过专用线缆等被提供给切换器112。 

接下来，将描述每种信息。首先，将参考图3描述控制信息。如图3所示，整体掩模信息171、具有键信息的CG信息174、音频信息176和音频合成信息177被预先存储在图像合成设备111的存储单元132中。 

掩模信息是指示诸如修剪方法、连接方法等的合成方法的控制信息。整体掩模信息171是指示关于整个图像(整个画面)的合成方法的掩模信息。如图3所示，整体掩模信息171包括掩模图像信息172和掩模元信息173。 

掩模图像信息172是指示作为合成结果的合成图像的结构的信息。即，掩模图像信息172关于合成图像的所有像素来指定是否选择哪个输入***的图像作为合成结果。换言之，掩模图像信息172指定部份图像的形状，以及对修剪出的部份图像的连接方法。以像素为单位来执行这种指定，并且掩模图像信息172被构成为位图信息。 

图3示意性地图示出了上述指定的情形(位图)。在图3的示例的情况中，整个图像被分为四个区域，其中，指定第一输入图像音频信息的部份图像的值(例如“1”)被指派到左上区域(区域“1”)中的各个像素，指定第二输入图像音频信息的部份图像的值(例如“2”)被指派到右上区域(区域“2”)中的各个像素，指定第三输入图像音频信息的部份图像的值(例如“3”)被指派到左下区域(区域“3”)中的各个像素。这些值可以是数字字符，或者可以是文本字符或符号等。注意，另一 图像将在另一设备中被叠加在右下区域(区域“5”)，并且指示未指派部份图像的值(例如“5”)被指派到该区域的各个像素。该值可以是数字字符，或者可以是文本字符或符号等。 

这种指定以像素为单位来执行，由此掩模图像信息172可以容易地被指定来修剪具有任意形状的部份图像，并且还可以容易地被指定用于连接复杂形状的部份图像的方法。例如，掩模图像信息172可以容易地被指定来将用作修剪框的区域的边界线设置为自由形式曲线(任意曲线)，并且还可以容易地被指定用于连接按上述自由形式曲线形状修剪出的部份图像的方法。 

掩模元信息173是掩模图像信息172的附加信息，并且包括掩模图像信息172未指示的信息，例如，修剪的圆心角、旋转角、缩小比率等等。 

整体掩模信息171被预先存储在存储单元132中，然而，为了有效使用存储单元132的存储区域(区域确保)，或者为了在读出时有效使用总线带宽(带宽确保)，整体掩模信息171利用预定方法被压缩并以信息量被减少的状态被存储。压缩方法是任意的，例如用行程编码(run lengthcoding)进行压缩。 

如图3所示，信息读出控制单元131包括解码单元181、划分单元182以及保存单元183。当从存储单元132读出整体掩模信息171时，信息读出控制单元131在解码单元181对其进行解码，并在划分单元182为每个输入***生成掩模信息。第一部份掩模信息171-1是关于第一输入***的、仅由与从整体掩模信息171提取的第一输入图像音频信息有关的信息生成的掩模信息(部份掩模信息)。第二部份掩模信息171-2是关于第二输入***的、仅由与从整体掩模信息171提取的第二输入图像音频信息有关的信息生成的掩模信息(部份掩模信息)。第三部份掩模信息171-3是关于第三输入***的、仅由与从整体掩模信息171提取的第三输入图像音频信息有关的信息生成的掩模信息(部份掩模信息)。第四部份掩模信息171-4是关于第四输入***的、仅由与从整体掩模信息171提取的第四输入图像音频信息有关的信息生成的掩模信息(部份掩模信息)。 

划分单元182在划分之前使包括诸如RAM(随机存取存储器)等的 存储区域的保存单元183保存所生成的第一部份掩模信息171-1至第四部份掩模信息171-4，以及整体掩模信息。 

信息读出控制单元131在预定的定时处将第一部份掩模信息171-1至第四部份掩模信息171-4分别提供给输入图像处理单元135的相应输入***。这样，仅适当的信息被提供给每个输入***，因此图像修剪单元151和尺寸校正单元152不必处理不必要的控制信息，因此能够有效地执行每个处理。而且，利用存储单元132，这种部份掩模信息被存储为单个整体掩模信息171，由此可以减少信息量，例如省略冗余信息等。而且，部份掩模信息被存储为单个整体掩模信息171，由此可以提高处理吞吐量，例如减少读出处理和解码处理的次数。 

而且，信息读出控制单元131在预定的定时处将保存在保存单183中的整体掩模信息分别提供给图像合成单元161和键生成单元137。 

具有键信息的CG信息174是这样的信息：作为在将一个图像叠加在另一图像上时所使用的控制信息的键信息被添加到作为图像信息的CG信息。CG信息是例如RGB等的三色的位图。键信息是用于以像素为单位指定是否将另一图像叠加(合成)在哪个部分上的单色(灰阶)位图。键信息是可以用在切换器112中的普通控制信息。 

图3中的图像174A示意性地表示该具有键信息的CG信息174，其中，实心部份是键信息，而另外的阴影图案部份(包括文本“CatchYou！”)是CG信息。 

具有键信息的CG信息174也被预先存储在存储单元132中，然而，为了有效使用存储单元132的存储区域(区域确保)，或者为了在读出时有效使用总线带宽(带宽确保)，具有键信息的CG信息174利用预定方法被压缩并以信息量被减少的状态被存储。例如，具有键信息的CG信息174被转换为4:2:2:4的YCbCrA信号，然后被压缩。该压缩方法是可选的。 

如图3所示，信息读出控制单元131包括解码单元184和提取单元185。当从存储单元132读出具有键信息的CG信息174时，信息读出控制单元131在解码单元184对其进行解码，并在提取单元185中从具有键信 息的CG信息174提取键信息175。图像175A示意性地图示出了键信息175。如与图像174A相比较可以明白的，仅实心部分(即，键信息)被提取出来。 

提取单元185使保存单元183保存所提取的键信息175和作为提取源的具有键信息的CG信息174。 

信息读出控制单元131在预定定时处将保存在保存单元183中的键信息提供给键生成单元137。而且，信息读出控制单元131在预定定时处将保存在保存单元183中的具有键信息的CG信息17提供给CG合成单元162。 

如上所述，仅键信息175从具有键信息的CG信息中被提取出来以提供给键生成单元137，因此，键生成单元137不必处理不必要的控制信息(CG信息)，由此，可以有效地生成用于输出的键信息。而且，键信息175是通过从具有键信息的CG信息174中提取出来而生成的，即，仅具有键信息的CG信息174被存储在存储单元132中，因此，可以减少信息量(可以有效地使用存储区域和总线带宽)。而且，可以通过减少读出处理和解码处理的次数来提高处理吞吐量。 

音频信息176是未包括在输入图像音频信息的每一个中的音频信息，例如是将CG信息叠加在输入图像上时的声音效果等等。音频合成信息177是用于指定每个输入图像音频信息的音频信息的音频合成方法的控制信息。例如，音频合成信息177包括使得各个输入***的音频信息之一被选择，并且进一步与音频信息176合成等等的指令信息。 

当从存储单元132读出音频信息176和音频合成信息177时，信息读出控制单元131使保存单元183保存音频信息176和音频合成信息177，并在预定定时处将它们提供给音频合成单元163。 

如上所述的控制信息被用在图像合成设备111中。注意，这样的控制信息是针对每种合成模式而准备的。合成模式指对输入图像的合成方法。例如，如何处理输入图像、如何连接输入图像，以及怎样叠加何种CG信息以生成合成图像，这些都是可选的。而且，在图像合成设备111中执行的合成处理的长度是任意的，并且可以被应用于一个画面或多个画面(预 定时间段)。而且，在对多个画面执行合成处理的情况中，对于从其合成时间段的开始到结束的所有画面，可以利用彼此完全一样的结构(设计)来合成每个图像，或者可以利用针对每个画面进行了改变的结构来合成每个图像。而且，其改变的方式也是可选的。 

这种合成方法的差异将被称作合成模式。利用用于控制合成方法的控制信息(例如，掩模信息、具有键信息的CG信息，等等)的内容之间的差异来指示这种合成方法的差异。因此，这种控制信息是针对每种合成模式而准备的。而且，在对多个画面执行合成处理，并且使用针对每个画面而改变结构(设计)的合成模式(动态合成模式)的情况中，各个控制信息是针对各个画面而准备的(控制信息的内容针对每个画面而改变，因此，合成图像的结构(设计)是动态改变的)。 

存储单元132总地管理这种用于每种合成模式的多个控制信息。 

接下来，将参考图4描述各个输入***的图像被合成的方法。在图4中，图像191-1指示第一输入图像音频信息的图像信息，图像191-2指示第二输入图像音频信息的图像信息，图像191-3指示第三输入图像音频信息的图像信息，图像191-4指示第四输入图像音频信息的图像信息。 

图像修剪单元151-1根据包括在第一部份掩模信息171-1中的诸如修剪形状、中心坐标等等的信息从图像191-1修剪出部份图像192-1。在图4中，在图像191-1和部份图像192-1之间所指示的在图像191-1内部的黑线指示了部份图像192-1的轮廓，即修剪形状，并且x标记指示其中心点。 

尺寸校正单元152-1根据包括在第一部份掩模信息171-1中的信息对这样修剪出的部份图像192-1的尺寸进行校正(缩小或放大)，以生成图像193-1。在图4的示例中，图像193-1是部份图像192-1的缩小图像。图像193-1被提供给合成处理单元136。 

图像修剪单元151-2根据包括在第二部份掩模信息171-2中的诸如修剪形状、中心坐标等等的信息从图像191-2修剪出部份图像192-2。尺寸校正单元152-2根据包括在第一部份掩模信息171-2中的信息对修剪出的部份图像192-2的尺寸进行校正(缩小或放大)，以生成图像193-2。在图4的示例中，图像193-2是部份图像192-2的缩小图像。图像193-2被提供给 合成处理单元136。 

图像修剪单元151-3根据包括在第三部份掩模信息171-3中的诸如修剪形状、中心坐标等等的信息从图像191-3修剪出部份图像192-3。尺寸校正单元152-3根据包括在第一部份掩模信息171-3中的信息对修剪出的部份图像192-3的尺寸进行校正(缩小或放大)，以生成图像193-3。在图4的示例中，图像193-3是部份图像192-3的缩小图像。图像193-3被提供给合成处理单元136。 

图像修剪单元151-4也根据包括在第四部份掩模信息171-4中的诸如修剪形状、中心坐标等等的信息执行从图像191-4修剪出一图像，但是在图4的示例中，不命令第四部份掩模信息171-4修剪部份图像(见图3中的掩模图像信息172)。因此，图像修剪单元151-4不生成部份图像，并且尺寸校正单元152-4也不执行尺寸校正。 

合成处理单元136合成如此提供的图像193-1至193-3以及来自信息读出控制单元131的具有键信息的CG信息，以生成合成图像194。该合成图像194是这样获得的：如整体掩模信息171的掩模图像信息172所指示的那样连接图像193-1至193-3，并且进一步将具有键信息的CG信息叠加在其上。合成图像194中以实心填充的那部分是键信息。 

如上所述，合成图像194是基于诸如掩模信息等的控制信息从输入图像等生成的。而且，响应于这种合成处理，键生成单元137从整体掩模信息171和键信息175生成用于输出的键信息195。键生成单元137基于整体掩模信息171从键信息175移除部份图像和CG信息部分，以生成用于输出的键信息195。即，键信息195对应于合成图像194。 

将参考图5中的流程图描述这种图像合成处理的流程的示例。 

当开启图像合成设备111的电源或取消其暂停(suspend)状态后，就开始图像合成处理。当开始图像合成处理后，在步骤S101，信息读出控制单元131执行控制信息读出处理，以从存储单元132读出所有合成模式的控制信息，例如整体掩模信息、具有键信息的CG信息174、音频信息176、音频合成信息177等。 

在步骤S102，信息读出控制单元131等待直到合成开始指令被接收到 为止。在步骤S103，当输入单元133接收到由用户操作图像合成设备111而输入的或通过网络110从切换器控制板113提供来的合成模式指定或合成开始指令时，信息读出控制单元131将处理推进到步骤S104。在步骤S104，信息读出控制单元131向各个单元提供将利用保存在保存单元183中的指定合成模式进行处理的画面的控制信息。 

在步骤S105，预处理单元134(IP转换单元141-1至141-4)使每个输入图像经受IP转换。在步骤S106，图像修剪单元151(图像修剪单元151-1至151-4)根据各个部份掩模信息对各个输入图像执行修剪。在步骤S107，尺寸校正单元152(尺寸校正单元152-1至152-4)根据各个部份掩模信息对各个修剪出的图像(修剪出的部份图像)执行尺寸校正。 

在步骤S108，图像合成单元161通过基于整体掩模信息171连接各个修剪出的图像(修剪出的部份图像)而生成合成图像。在步骤S109，CG合成单元162对于合成图像合成具有键信息的CG信息。在步骤S110，音频合成单元163根据所指定的合成模式的音频合成信息177执行音频信息的合成。 

在步骤S111，基于所指定的合成模式的整体掩模信息171从键信息175生成用于输出的键信息195。 

在步骤S112，信息读出控制单元131判定指定合成模式的所有画面是否都已被处理，并在判断出存在未经处理的画面的情况下，更新要处理的画面为下一画面，将处理返回步骤S104，并执行步骤S104中及其后的处理。即，图像合成设备111针对每个画面重复步骤S104至S112的每一个中的处理。 

在步骤S112中判断出指定合成模式的所有画面都已被处理的情况下，信息读出控制单元131将处理推进到步骤S113，并判定是否结束该图像合成处理。在判断出不结束图像合成处理的情况下，信息读出控制单元131将处理返回到步骤S102，并执行步骤S102中及其后的处理。而且，在步骤S113中判断出由于某种原因(例如图像输入被停止、接收用户的指令等)而结束图像处理的情况下，信息读出控制单元131结束该图像合成处理。 

图6图示出了合成模式示例。在图6中，从顶部开始依次示意性地示出了某种合成模式的整体掩模信息，以及从整体掩模信息生成的第一部份掩模信息、第二部份掩模信息、第三部份掩模信息和第四部份掩模信息。注意，在图6中，时间序列从左向右前进。 

如整体掩模信息所示，首先，背景图像显示在整个合成图像上。随着时间的前进，第一输入***的图像信息从左侧向右侧逐渐***合成图像的左上区域。随着时间进一步前进，第二输入***的图像信息从右侧向左侧逐渐***合成图像的右上区域。随着时间进一步前进，第三输入***的图像信息从左侧向右侧逐渐***合成图像的左下区域。 

对于第一部份掩模信息至第四部份掩模信息，阴影部分是不被提取为部份图像的区域，而白色部分是要被提取为部份图像的区域。而且，x标记指示了要提取的部份图像的中心点。 

首先，对于整体掩模信息，当背景图像被指派到整个图像时，对于第一部份掩模信息至第四部份掩模信息中的任一个没有部份图像修剪指令。随后，对于整体掩模信息，当第一输入***的图像信息从左侧向右侧逐渐***时，对于第一部份掩模信息，根据其移动，要修剪的区域从右向左扩展。随后，对于整体掩模信息，当第二输入***的图像信息从右侧向左侧逐渐***时，对于第二部份掩模信息，根据其移动，要修剪的区域从左向右扩展。然后，对于整体掩模信息，当第三输入***的图像信息从左侧向右侧逐渐***时，对于第三部份掩模信息，根据其移动，要修剪的区域从右向左扩展。 

注意，对于整体掩模信息，没有关于第四***图像的合成指令，因此对于第四部份掩模信息，没有修剪指令。 

如上所述，每条控制信息是针对每个画面而准备的，因此，图像合成设备111还可以容易地实现动态合成模式，以使得合成方法针对每个画面而改变。 

接下来，将参考图7中的流程图描述在图5的步骤S101中执行的控制信息读出处理的流程的示例。 

当开始控制信息读出处理后，在步骤S131，信息读出控制单元131选 择要处理的合成模式。利用存储单元132，针对每种合成模式来管理控制信息，因此，信息读出控制单元131读出针对每种合成模式的控制信息。 

当选择要处理的合成模式时，在步骤S132，信息读出控制单元131从存储单元132读出要处理的合成模式的所有整体掩模信息171(关于合成模式的所有画面)。在步骤S133，解码单元181通过预定方法对所有读出的整体掩模信息171进行解码。在步骤S134，划分单元182根据所有整体掩模信息为每个输入***生成部份掩模信息。在步骤S135，保存单元183保存每条部份掩模信息，以及所有整体掩模信息171。 

在步骤S136，信息读出控制单元131从存储单元132读出要处理的合成模式的所有具有键信息的CG信息174(合成模式的所有画面)。在步骤S137，解码单元184按照预定方法对所有读出的具有键信息的CG信息进行解码。在步骤S138，提取单元185从所有具有键信息的CG信息中的每条信息中提取键信息175。在步骤S139，保存单元183保存键信息以及所有具有键信息的CG信息。 

在步骤S140，信息读出控制单元131从存储单元132读出要处理的合成模式的所有音频信息176和音频合成信息177(关于合成模式的所有画面)。在步骤S141，保存单元183保存所有读出的音频信息176和音频合成信息177。 

在步骤S142，信息读出控制单元131判定是否已读出了所有合成模式的控制信息，并且在判断出存在未处理的合成模式的情况下，经处理推进到步骤S143，选择一个未处理的合成模式作为将处理的合成模式。当结束步骤S143中的处理时，信息读出控制单元131将处理返回步骤S132，并重复步骤S132中及其后的处理。即，针对每种处理模式重复执行步骤S132至S143的每个中的处理。 

然后，在判断出所有合成模式的信息都已读出的情况下，信息读出控制单元131结束该信息读出处理，将处理返回图5中的步骤S101，并执行步骤S101中及其后的处理。 

如上所述，所有控制信息被预先读出，因此图像合成设备111在图像合成时可以减少对存储单元132的访问次数，并且因此可以提高合成处理 吞吐量。 

如上所述，图像合成设备111利用部份掩模信息对每个输入***的输入图像执行修剪或尺寸校正以生成部份图像，并且利用整体掩模信息、具有键信息的CG信息、音频合成信息等来合成这些部份图像。因此，利用图像合成设备111，例如如图2所示，可以在较少处理阶段的情况下实现诸如利用自由形式曲线的修剪和连接等的高级图像合成处理，以及动态改变合成模式的结构的复杂合成模式。即，图像合成设备111可以在较短延迟的情况下执行更复杂的图像合成处理。 

将返回图1进行描述。图像处理***100的用户操作诸如切换器控制板113的开关或滑块等的用户接口来输入各种类型的控制指令，例如，针对更复杂图像合成处理的执行开始指令、合成模式指令等，如上所述。切换器控制板113适当地通过网络110将其接受的指令提供给图像合成设备111或切换器112。图像合成设备111在输入单元133接受上述指令，并根据上述指令执行图像合成处理。类似地，切换器112也基于从切换器控制板113提供来的用户指令执行第五输入图像音频信息(背景图像信息)、图像信息、音频信息，和从图像合成设备111提供来的键信息之间的合成。 

因此，图像处理***100利用图像合成设备111，由此与根据相关技术通过布置多个切换器来执行合成处理的情况相比，可以利用较少的处理阶段数来执行更复杂的合成处理。即，图像处理***100可以在较短延迟下执行更复杂的图像合成处理。 

这种图像处理***100例如可以应用于在利用电视广播等进行所谓实况广播时的实时编辑。实况广播利用在尽可能短的延迟下广播所拍摄的图像的技术，其中，拍摄和广播一般同时执行(实时广播)。这种技术例如应用于：来自诸如棒球、足球、网球、高尔夫球、排球等的各种类型的体育比赛的节目广播现场、来自诸如音乐会、节日等的各种类型的活动的节目广播现场、事件或事故的新闻节目广播现场，等等。 

然而，对于实况广播，所拍摄的图像必须在尽可能小的延迟下被广播，因此用于执行编辑的时间受到极大的限制。因此，对于实况广播，一 般执行用于实时地执行简单编辑的实时编辑，例如图像的切换、预定模式的图像处理，等等。 

然而，利用这种简单编辑，难以对所拍摄的图像进行有效的制作。例如，对于足球比赛，当进球得分时，这是比赛令人激动的时刻。因此，对于广播足球比赛的节目(所谓的实况足球广播)，也需要对所拍摄的图像进行制作以调动观众的情感投入。 

迄今为止，例如，通过利用画中画将多个图像集成在一个屏幕中来广播这些图像，多个图像例如是得分的运动员或感兴趣的运动员的特写图像、得分时经理或教练的场面，或者群众的场面等等。 

然而，这种作品必须在较小延迟的情况下来完成，而画中画只是将具有诸如正方形、圆形等简单形状的图像叠加，因此，难以完成更精细的作品，例如，利用自由形式曲线修剪图像、将其修剪出的部份图像连接、合成复杂的CG信息、结构(设计)的动态改变，等等。 

如上所述，图像处理***100(图像合成设备111)可以在例如大约几幅画面的极小延迟下执行更复杂的图像合成处理，因此，通过利用这种实时编辑可以实现具有好的视觉效果和优秀的设计特征的作品。即，例如，对于广播足球比赛的节目，可以利用图像处理***100(图像合成设备111)来执行实时编辑，由此，例如可以在得分等之后立即完成较高吸引力的作品，并且因此，可以对所拍摄的图像进行制作以调动观众的情感投入。 

注意，到此为止虽然描述了图像合成设备111对修剪出的部份图像执行尺寸校正，但是可以进行代替这种尺寸校正而执行或除了这种尺寸校正之外还执行另外的处理(例如，旋转部份图像等)的布置。例如，可以进行这样的布置：其中，旋转角度信息被登记在整体掩模信息171的掩模元信息173中，并且输入图像处理单元135在二维方向或三维方向上根据所述掩模元信息173旋转修剪出的部份图像。因此，图像合成设备111可以生成视觉效果被进一步增强的合成图像。 

而且，输入图像处理单元135可以对部份图像进行除了旋转和尺寸校正之外的其它可选图像处理，例如，对比度调节、降噪、变形、色度调 节、特殊效果，等等。 

此外，图像合成设备111还可以用作简单编辑设备。在这种情况中，基本上只对输入到输入***的图像进行合成来完成合成处理(不执行图像合成设备111的后续阶段中的合成处理)，因而可以省略键生成单元137。 

到此为止描述了根据用户等从预先准备的多种合成模式选出的合成模式来执行图像合成处理。即，在这种情况下，用户仅仅指定所希望的合成模式来指示开始执行处理，而图像合成设备111根据所述指示实现对所指定合成模式的图像的合成。然而，本实施例不限于这种布置，例如，可以进行这样的布置：其中，在合成处理的执行期间，用户控制合成模式的前进速度和前进方向。 

图8A至8G图示出了合成模式前进示例。在图8A至8G中，水平轴表示合成模式(画面)的前进，垂直方向表示时间序列。如图8A所示，将在时间点0到时间点t期间从编号为“0”的画面向编号为“p”的画面前进的合成模式作为基础。 

例如，可以进行这样的布置：其中，当用户指示将合成模式的前进速度加速为两倍时，如图8B所示，合成模式在时间点t/2处前进到编号为“p”的画面。在这种情况中，例如，一次选择相当于一个画面的控制信息，例如针对每个画面而准备的掩模信息等，并且该控制信息被指派给输入图像的连续的各个画面。而且，可以进行这样的布置：其中，当用户指示将合成模式的前进速度延迟为1/2时，如图8C所示，合成模式在时间点t处前进到编号为“p/2”的画面。在这种情况中，例如，相当于一个画面的诸如掩模信息等的控制信息被指派给输入图像的连续两个画面。 

此外，例如，可以进行这样的布置：其中，当用户指示将合成模式的前进方向反向时，如图8D所示，随着时间序列的前进，合成模式从编号为“p”的画面返回到编号为“0”的画面。在这种情况中，例如，对为每个画面准备的诸如掩模信息之类的控制信息的选择顺序被反转。 

而且，例如，可以进行这样的布置：其中，当用户指示在合成模式的前进中跳跃时，如图8E所示，合成模式的前进从编号为“p1”的画面跳 到编号为“p2”的画面(忽略了它们之间的画面)。在这种情况中，例如，编号为“p2”的画面的控制信息被指派给编号为“p1”的画面的控制信息所指派的输入图像的画面之后的画面。 

此外，例如，可以进行这样的布置：其中，当用户指示重复合成模式的前进时，如图8F所示，同一画面的合成处理被重复执行。在这种情况中，例如，同一掩模信息等的控制信息被指派给输入图像的多个画面。 

而且，例如，可以进行这样的布置：其中，当用户指示合成模式任意地前进时，如图8G所示，执行使得合成模式的前进变成自由形式曲线(任意曲线)的合成处理。 

在这种情况中，如图9所示，信息读出控制单元131包括再现画面识别单元301和控制信息提供单元302以及保存单元183。当用户操作切换器控制板113以输入诸如慢速、快进等的速度指定、诸如反向返回、重复等的再现模式制定、诸如跳跃目的地指定等的再现画面指定时，上述指定通过输入单元133被提供给再现画面识别单元301。 

再现画面识别单元301将输入速度指定、再现模式指定或再现画面指定转换为用于指定具有接下来将要处理的合成模式的画面(即，对于合成模式将要处理的位置(画面))的再现画面指定，并且将该再现画面指定提供给控制信息提供单元302。控制信息提供单元302从保存单元183读出由该再现画面指定所指定的画面的控制信息(掩模信息、具有键信息的CG信息，等等)，并且将其提供给输入图像处理单元135和合成处理单元136。即，控制信息是根据用户指定的前进模式来选择并读出的，并且被应用在各个单元中。因此，合成模式根据用户所指定的前进模式前进。即，用户可以实时地自由控制合成模式的前进。 

将参考图10中的流程图描述这种情况中的图像合成处理的流程示例。图10所示的图像合成处理是与图5中的图像合成处理相对应的处理。步骤S301至S303的每个中的处理按照与步骤S101至S103的每个中的处理相同的方式来执行。 

在图10的步骤S304中，输入单元133接受来自用户或切换器控制板113的再现控制指令。在步骤S305，再现画面识别单元301根据再现控制 指令来识别再现画面。在步骤S306，控制信息提供单元302将所指定合成模式的再现画面的控制信息提供给各个单元。 

步骤S307至S315的每个中的处理按照与图5中步骤S105至S113的每个中的处理相同的方式来执行。 

如上所述，图像处理单元100(图像合成设备111)可以根据用户指令实时地控制合成模式的前进。 

注意，上述各种类型的控制信息在图像合成处理之前被预先生成。图11示出了该生成。 

首先，利用预定工具等来执行CG信息的生成(处理331)。根据该处理331，生成CG信息351、键信息352和掩模图像信息353。当结束处理331后，接着执行掩模信息的生成(处理332)。利用该处理332，上述掩模图像信息353以及包括缩小比率361、旋转角度362、中心坐标363等在内的掩模元信息354被合成，由此生成掩模信息355。 

这样生成的CG信息351、键信息352和掩模信息355被记录在图像合成设备111中(处理333)。此时，CG信息351和键信息352被压缩并作为具有键信息的CG信息而存储。而且，通过预定方法将掩模信息355压缩，并存储掩模信息355。 

随后，试探性地采用这种控制信息来执行合成处理，并执行对合成结果的确认(处理334)。在合成结果不令人满意的情况下，执行对参数等的校正(处理335)。当结束校正后，将处理返回到处理331或处理332，并执行该处及其后的处理。 

根据上述的工作流程预先生成这样的控制信息。注意，可以进行这样的布置：其中，用户可以实时地更新这样的控制信息。例如，如图12A和12B所示，可以进行这样的布置：其中，具有键信息的CG信息显示在监视器等上，用户通过操作鼠标或触控笔等对所显示的具有键信息的CG信息进行变形，由此可以更新诸如CG信息等的结构(设计)(即，可以更新合成图像的结构)。例如，当例如如图12A所示那样显示的具有键信息的CG信息371被变形以便像图12B所示的具有键信息的CG信息381那样移动中心部分的位置时，键信息372和掩模信息373(图12A)的结构 也像键信息382和掩模信息383(图12B)那样根据具有键信息的CG信息的改变而改变。 

在这种情况中，为了辅助更新控制信息，具有键信息的CG信息和掩模图像信息不是作为位图而是作为顶点坐标和纹理信息而存储在存储单元132中。随后，当从保存单元183读出这种信息时，信息读出控制单元131实时地对该信息进行渲染(render)以将该信息转换为位图，并将其提供给各个单元。 

即，如图13所示，用于具有键信息的CG信息的渲染信息401、整体掩模信息402、音频信息176和音频合成信息177被存储在存储单元132中。用于具有键信息的CG信息的渲染信息401由定点坐标信息411和纹理信息412构成，并通过后面所述的渲染处理被转换为位图式的具有键信息的CG信息。 

整体掩模信息402包括用于掩模图像信息的渲染信息421和掩模元信息173。用于掩模图像信息的渲染信息421由顶点坐标信息431和纹理信息432构成，并且通过后面描述的渲染处理被转换为位图式的掩模图像信息。 

即，在顶点坐标和纹理信息的情况中，除了这些信息的格式不同之外，所述信息的内容与位图情况中的相同。这种信息被提供给保存单元183并保存在其中。 

用户操作切换器控制板113以输入CG设计修改指令，例如参考图12A和12B所描述的。当获得上述CG设计修改指令时，输入单元133将该CG设计修改指令提供给用于CG修改的坐标信息生成单元451。 

信息读出控制单元131包括用于CG修改的坐标信息生成单元451和实时渲染单元452以及保存单元183。用于CG修改的坐标信息生成单元451基于从输入单元133输入的CG设计修改指令生成对于要处理的画面的设计修改后的坐标信息，并将其提供给实时渲染单元452。当从保存单元183获得要处理的画面的具有键信息的CG信息时，实时渲染单元452根据从用于CG修改的坐标信息生成单元451获得的修改后的坐标信息来执行渲染，以生成位图式的具有键信息的CG信息和键信息。类似地，实 时渲染单元452从保存单元183获取要处理的画面的用于掩模图像信息的渲染信息421，基于从用于CG修改的坐标信息生成单元451获得的修改后的坐标信息来生成位图式的掩模图像信息。实时渲染单元452利用该掩模图像信息来生成整体掩模信息和部份掩模信息。实时渲染单元452将这种所生成的信息提供给各个单元。 

将参考图14和图15描述这种情况中的图像合成处理的流程示例。注意，该流程图与图5中的图像合成处理的流程图相对应。 

图14中的步骤S401至S403的每个中的处理按照与图5中的步骤S101至S103的每个中的处理相同的方式来执行。但是，对于步骤S401中的控制信息读出处理，省略了诸如生成部份掩模信息、提取键信息等处理。 

在图14的步骤S404中，输入单元133接受CG设计修改指令。在步骤S405，用于CG修改的坐标信息生成单元451基于该CG设计修改指令计算要处理的画面的用于CG修改的坐标信息。 

在步骤S406，实时渲染单元452从保存单元183获取用于所指定合成模式的要处理的画面的具有键信息的CG信息的渲染信息。在步骤S407，实时渲染单元452基于各种类型的坐标信息和纹理信息执行渲染以生成位图式的具有键信息的CG信息。另外，实时渲染单元452从所生成的位图式的具有键信息的CG信息提取键信息(位图)。在步骤S408，实时渲染单元452将具有键信息的CG信息和键信息(两者都是位图)提供给各个单元。 

在步骤S409，实时渲染单元452从保存单元183获取用于所指定合成模式的要处理的画面的掩模图像信息421的渲染信息。在步骤S410，实时渲染单元452基于各种坐标信息和纹理信息执行渲染以生成位图式的掩模图像信息。在步骤S411，实时渲染单元452从上述掩模图像信息生成整体掩模信息和部份掩模信息，并且还将各条部份掩模信息以及整体掩模信息适当地提供给各个单元。 

在步骤S412，信息读出控制单元131从保存单元183读出所指定合成模式的要处理画面的音频信息和音频合成信息，以将它们提供给音频合成 单元163。 

图15中的步骤S421至S429的每个中的处理按照与图5中的步骤S105至S113的每个中的处理相同的方式来执行。 

如上所述，图像处理***100(图像合成设备111)可以更新控制信息以使得用户在图像的合成期间修改合成图像的结构。 

注意，到此为止描述了将IP转换作为预处理来执行的情况，然而，该预处理可以是任意处理，只要该处理是对输入图像执行的。例如，如图16所示，可以进行这样的布置：其中，对每个输入图像执行面部检测而非IP转换，并且将检测到的面部图像作为中心来执行图像的修剪。 

在图16中，对于预处理单元141，代替IP转换单元141-1至141-4而设置了面部检测单元501-1至501-4。 

面部检测单元501-1对第一输入图像音频信息的图像信息执行面部检测，并基于检测到的面部图像的位置设置用于修剪的中心坐标。面部检测单元501-1将所设置的中心坐标与第一输入图像音频信息一起提供给图像修剪单元151-1。图像修剪单元151-1利用所述中心坐标来更新从信息读出控制单元131提供来的第一部份掩模信息的中心坐标，并基于更新后的第一部份掩模信息执行部份图像的修剪。 

面部检测单元501-2对第二输入图像音频信息的图像信息执行面部检测，并基于检测到的面部图像的位置设置用于修剪的中心坐标。面部检测单元501-2将所设置的中心坐标与第二输入图像音频信息一起提供给图像修剪单元151-2。图像修剪单元151-2利用所述中心坐标来更新从信息读出控制单元131提供来的第二部份掩模信息的中心坐标，并基于更新后的第二部份掩模信息执行部份图像的修剪。 

面部检测单元501-3对第三输入图像音频信息的图像信息执行面部检测，并基于检测到的面部图像的位置设置用于修剪的中心坐标。面部检测单元501-3将所设置的中心坐标与第三输入图像音频信息一起提供给图像修剪单元151-3。图像修剪单元151-3利用所述中心坐标来更新从信息读出控制单元131提供来的第三部份掩模信息的中心坐标，并基于更新后的第三部份掩模信息执行部份图像的修剪。 

面部检测单元501-4对第四输入图像音频信息的图像信息执行面部检测，并基于检测到的面部图像的位置设置用于修剪的中心坐标。面部检测单元501-4将所设置的中心坐标与第四输入图像音频信息一起提供给图像修剪单元151-4。图像修剪单元151-4利用所述中心坐标来更新从信息读出控制单元131提供来的第四部份掩模信息的中心坐标，并基于更新后的第四部份掩模信息执行部份图像的修剪。 

将参考图17中的流程图描述这种情况中的图像合成处理的流程示例。注意，该流程图与图5中的图像合成处理的流程图相对应。 

图17的步骤S501至S504的每个中的处理按照与图5中的步骤S101至S104的每个中的处理相同的方式来执行。 

在图17的步骤S505中，预处理单元134的面部检测单元501-1至501-4对每个输入图像执行面部检测。在步骤S506，面部检测单元501-1至501-4基于检测结果确定用于修剪的中心坐标。在步骤S507，图像修剪单元151(图像修剪单元151-1至151-4)利用在步骤S506所确定的值来更新每条部份掩模信息(的中心坐标)。 

步骤S508至S515的每个中的处理按照与图5中的步骤S106至S113的每个中的处理相同的方式来执行。 

如上所述，对于预处理单元134，从输入图像检测出面部图像，并且基于所述面部的位置来确定修剪位置，由此输入图像处理单元135可以修剪出具有更合适画面的部份图像。即，图像合成设备111可以进一步提高合成结果(合成图像)的视觉效果。 

注意，到此为止描述了诸如掩模图像信息172或具有键信息的CG信息174之类的位图数据按照预定方法被压缩并存储在存储单元132中。下面将描述这种压缩方法的具体示例。 

首先，描述掩模图像信息172。如在图3中示意性地示出的，掩模图像信息172以像素为单位来指定是否将哪个输入***的图像选择作为合成结果。各个像素的指定顺序可是任意顺序，但是为了简化处理使用光栅扫描方法。即，如图3中示意性地示出的，掩模图像信息172具有使具有相同值的数据更有可能连续(存在许多重复)的特征。 

因此，例如可以通过使掩模图像信息172以字节为单位经受行程编码来有效地对其进行压缩。即，掩模图像信息172通过行程编码而被编码，由此图像合成设备111可以提高存储区域和总线区域的使用效率。 

注意，在行程编码的情况中，指定值和该值继续的长度已足够，因此，压缩后的数据结构变得相对简单。因此，信息读出控制单元131可以高速容易地对掩模图像信息172执行解码处理。 

接下来，描述具有键信息的CG信息174(键信息和CG信息)。CG信息是用于显示的信息，因此一般地，与掩模图像信息172相比所述画面变得复杂。而且，对于合成模式，CG信息频繁地被当作移动图像，并且具有信息更有可能在画面之间改变较大的特征。 

在例如通过利用离散余弦变换或运动向量的压缩编码来对拥有这样的特征的具有键信息的CG信息进行编码的情况中，存在这样的可能性：在合成图像中可能出现诸如所谓的蚊式(mosquito)噪声之类的明显可见的噪声。即，可能降低合成图像的感官(somesthetic)图像质量。 

另一方面，例如，在利用小波变换的压缩编码的情况中，对于合成图像，即使发生信息丢失等，合成图像的分辨率可能下降(所谓的模糊)，这也是难以察觉的。即，不大可能降低合成图像的感官图像质量。 

而且，具有键信息的CG信息174是以画面为单位来处理的，因此帧内编码(intra coding)有助于解码处理，这是合适的。

因此，对于对具有键信息的CG信息174的编码，希望使用利用小波变换的帧内编码方法的压缩编码。然而，在JPEG 2000(联合图像专家组2000)方法的情况中，处理负荷较大。

因此，利用小波变换来以比画面更小的数据为单位执行处理的压缩编码方法被应用于对具有键信息的CG信息174的编码。下面将描述这种压缩编码方法。 

图18是图示出根据该压缩编码的编码设备的配置示例的框图。在图18中，编码***600包括小波变换单元610、用于中间计算的缓冲器单元611、用于系数排序的缓冲器单元612、系数排序单元613、速率控制单元614和熵编码单元615。 

输入到编码设备600的图像数据临时在用于中间计算的缓冲器单元611中缓存。小波变换单元610对缓存在用于中间计算的缓冲器单元611中的图像数据进行小波变换。具体而言，小波变换单元610从用于中间计算的缓冲器单元611中读出图像数据，对其进行分析滤波器的滤波器处理以生成低频分量系数数据和高频分量系数数据，并将生成的系数数据存储在用于中间计算的缓冲器单元611中。小波变换单元610包括水平分析滤波器和垂直分析滤波器，并使图像数据组相对于屏幕的水平方向和垂直方向两者经受分析滤波器处理。小波变换单元610再读出存储在用于中间计算的缓冲器单元611中的低频分量系数数据，并使读出的系数数据经受分析滤波器的滤波器处理，以进一步生成高频分量系数数据和低频分量系数数据。生成的系数数据存储在用于中间计算的缓冲器单元611中。 

小波变换单元610对水平方向和垂直方向的低频分量递归地重复这种处理。对于小波变换，例如如图19中示意性地示出的，将图像数据划分为高空间频带数据和低空间频带(low-spatial-frequency band)数据的处理对于作为划分结果而获取的低空间频带数据被递归地执行。因此，低空间频带数据被缩减到较小区域，由此能够进行有效的压缩编码。 

注意，图19是这样的情况中的示例：将用于将图像数据的最低频分量区域划分为低频分量区域L和高频分量区域H的处理重复三次，并且用于指示经划分的层级的总数的划分级别设为3。在图19中，“L”和“H”分别表示低频分量和高频分量，并且对于“L”和“H”的顺序，在前面的指示水平方向上的划分得到的频带，而在后面的指示垂直方向上的划分得到的频带。而且，“L”和“H”前面的数字指示该区域的层级，其中，低频分量的层级级别越低，则该值越小。 

而且，从图19的示例可以明白，从屏幕的左下区域到左上区域经过了逐步的处理，因此，低频分量被缩减。具体而言，对于图19的示例，屏幕的右下区域被当作包括了最少低频分量(包括最多高频分量)的区域3HH，将屏幕划分为四个区域而获得的左上区域进一步被划分为四个区域，并且在所述四个被划分的区域中，左上区域进一步被划分为四个区域。在最左上角的区域被当作是包括最多低频分量的区域0LL。对低频分 量重复执行转换和划分的原因在于图像的能量集中在低频分量中。 

小波变换单元610如上所述重复小波变换，并在划分级别达到预定级别时，从用于中间计算的缓冲器单元611读出系数数据，并将读出的系数数据写入用于系数排序的缓冲器单元612。 

系数排序单元613按解码时执行逆小波变换的顺序读出写在用于系数排序的缓冲器单元612中的系数数据，并将其提供给熵编码单元615。熵编码单元615利用预定熵编码方法(例如，Huffman编码或算术编码)对提供来的系数数据进行编码。 

熵编码单元615与速率控制单元614同时操作，并被控制以使得输出的压缩编码数据的比特率通常变为某个值。具体而言，速率控制单元614将控制信号提供给熵编码单元615，该控制信号基于来自熵编码单元615的编码数据信息执行控制，以使得在由熵编码单元615压缩和编码的数据的比特率达到目标值时或紧接在达到目标值之前结束熵编码单元615的编码处理。熵编码单元615在根据从速率控制单元614提供来的控制信号结束编码处理后，输出编码数据。 

注意，熵编码单元615对从系数排序单元613读出的系数数据进行第一次量化，并对所获得的量化系数进行信息源编码处理，例如Huffman编码或算术编码等，由此可以预期压缩效率的进一步提高。任何方法可以用作这种量化方法，例如，可以使用一种普通方法，即例如下式(1)所示的，将系数数据W除以量化步长大小Δ的方法。 

量化系数＝W/Δ...(1) 

例如在速率控制单元614中计算此时的量化步长大小Δ。 

注意，小波变换单元610通过将利用小波变换的滤波器处理划分为关于屏幕的垂直方向的每几行中的处理来以逐步方式执行利用小波变换的滤波器处理。行数是基于在图像数据被递归地划分为高频分量和低频分量之后用于生成相当于一行的最低频分量的行数的。 

注意，在下文中，将包括其它子频带在内的用于生成相当于一行的最低频分量(最低频分量的子频带的相当于一行的系数数据)的行的集合称作“分区(或行块)”。这里提及的术语“行”(line)指与小波变换之 前的图像数据相对应的画面或场内，或者在每个子频带内形成的相当于一行的像素数据或系数数据。即，分区(或行块)指对于小波变换之前的原始图像数据，相当于如下行数的像素数据组，所述行数是用于生成小波变换后的最低频分量的子频带的相当于一行的系数数据的，或者指通过对所述像素数据组进行小波变换而获得的每个子频带的系数数据组。 

图20A至20C是这样的示例：其中，通过利用5×3滤波器来对输入图像数据进行利用小波变换的滤波器处理直到划分级别＝2为止。在小波变换单元610中，如图20A中的示例所示，输入图像数据的第一行至第七行在水平方向和垂直方向的每个方向上经受第一滤波器处理(图20A中的In-1)。 

在第一滤波器处理的划分级别＝1的处理中，生成了相当于三行的系数数据，并且如图20B中的示例所示，所述系数数据被排列在在划分级别＝1时形成的区域HH、HL和LH的每个区域中(图20B中的WT-1)。而且，在划分级别＝1时形成的区域LL在划分级别＝2时的水平方向和垂直方向上的滤波器处理中被进一步划分为四个区域。 

在小波变换单元610的第二滤波器处理以及此后的滤波器处理中，滤波器处理按每四行来执行(图20A中的In-2)，生成划分级别＝1时的每两行的系数数据(图20B中的WT-2)，生成划分级别＝2时的每一行的系数数据。如图20B中的示例所示，该系数数据被排列在在划分级别＝1时形成的区域HH、HL和LH的第一滤波器处理中生成的系数数据之后。类似地，在划分级别＝1时的区域LL中，在划分级别＝2的滤波器处理中生成的相当于一行的系数被排列在区域LL中，相当于一行的系数被排列在区域HH、HL和LH的每个中。 

当如图20B所示经过小波变换的数据被解码时，如图20C所示，响应于编码侧的第一至第七行的第一滤波器处理，解码侧的第一合成处理的第一行被输出(图20C中的Out-1)。此后，响应于编码侧的从第二滤波器处理起的第二到最后一次滤波器处理，每四行被输出(图20C中的Out-2等)。接着，响应于编码侧的最后一次滤波器处理，在解码侧输出八行。 

在小波变换单元610中从高频分量侧到低频分量侧生成的系数数据顺 序地存储在用于系数排序的缓冲器单元612中。当在用于系数排序的缓冲器单元612中累积系数数据直到能够对系数数据排序时，系数存储单元613按照用于解码(逆小波变换处理)时的合成处理的顺序对系数数据排序，并从用于系数排序的缓冲器单元612将其读出。读出的系数数据顺序地被提供给熵编码单元615。 

如上所述，编码设备600将一个画面的图像数据划分为多个分区，并且对每个分区执行编码，这在图21中示出。 

图22图示出了在通过这样的方法对具有键信息的CG信息174编码并存储在存储单元132中的情况中的解码单元184的配置示例。 

从存储单元132读出的具有键信息的CG信息174被提供给图22中的解码单元184，其中，熵代码被解码以获取系数数据。系数数据存储在系数缓冲器单元622中。逆小波变换单元623利用存储在系数缓冲器单元622中的系数数据来执行合成滤波器的合成滤波器处理，并将合成滤波器处理的结果再次存储在系数缓冲器单元622中。逆小波变换单元623根据划分级别重复该处理以获得解码图像数据，即基带(未压缩的)具有键信息的CG信息174。 

如上所述，在这种压缩编码方法的情况中，与JPEG 2000的情况相比可以容易地执行解码，由此可以减少解码处理负荷。注意，在这种压缩编码方法的情况中，如上所述在编码时执行对系数的排序，由此进一步减少了解码时的处理负荷。 

注意，例如从压缩效率的角度来看，MPEG(运动图像专家组)更有效。因此，例如在运动小并且数据量大以包括例如100或更多类型的图像的CG信息的情况中，希望利用MPEG执行压缩。然而，在这种情况中，解码单元184也必须处理MPEG。此外，可以将上述各种类型的编码方法按适当方式组合使用。在这种情况中，解码单元184必须处理所有所使用的方法。 

上述处理序列不但可以用硬件来执行还可以用软件来执行。在这种情况中，例如，上述处理序列可以被配置为如图23所示的信息处理***。 

图23是图示出利用程序执行上述处理序列的信息处理***的配置示 例的框图。如图23所示，信息处理***800是用于执行图像编码处理、图像解码处理等、由以下设备构成的***：信息处理设备801、存储设备803、多个录像机(VTR)VTR804-1至VTR804-S，用户利用如下设备对上述设备执行操作输入：鼠标805、键盘806和操作控制器807，它们都通过PCI(***部件互连)总线802连接到信息处理设备801。 

例如，信息处理***800的信息处理设备801允许用户对存储在由RAID(独立磁盘冗余阵列)构成的大容量存储设备803中的运动图像内容进行编码以将所获得的编码数据存储在存储设备803中，从而对存储在存储设备803中的编码数据进行解码以将所获得的解码图像数据(运动图像内容)存储在存储设备803中，或者经由VTR804-1至VTR804-S将编码数据或解码图像数据记录在视频磁带中。而且，信息处理设备801还被布置来将记录在安装在VTR804-1至VTR804-S中的视频磁带中的运动图像内容取出来存储在存储设备803中。此时，信息处理设备801可以对运动图像内容进行编码。 

信息处理设备801包括GPU(图形处理单元)902、XDR-RAM(极速数据率随机存取存储器)903、南桥904、HDD(硬盘驱动器)905、USB(通用串行总线)接口(USB I/F)906和声音输入/输出编解码器907。 

GPU 902经由专用总线911连接到微处理器901。XDR-RAM 903经由专用总线912连接到微处理器901。南桥904经由专用总线连接到微处理器901的I/O控制器944。南桥904还与HDD 905、USB接口906和声音输入/输出编解码器907相连。声音输入/输出编解码器907与扬声器921相连。而且，GPU 902与显示装置922相连。 

而且，南桥904还经由PCI总线802与鼠标805、键盘806、VTR804-1至VTR804-S、存储设备803及操作控制器807相连。 

鼠标805和键盘806接受用户的操作输入，并且经由PCI总线802和南桥904将指示用户的操作输入的信号提供给微处理器901。存储设备803和VTR804-1至VTR804-S被布置来记录或再现预定数据。 

PCI总线802还适当地与驱动器808相连，诸如磁带、光盘、磁光 盘、半导体存储器等的可移除介质811被装载在驱动器808中，并且从其读出的计算机程序适当地被安装在HDD 905中。 

微处理器901由多核配置组成，其中，执行诸如OS(操作***)等的基础程序的通用主CPU(中央处理单元)核941、作为经由内部总线945连接到主CPU核941的多个(在此情况中为8个)RISC(精简指令集计算机)类型信号处理处理器的副CPU核942-1至942-8、对例如具有256兆字节的存储器容量的XDR-RAM 903执行存储器控制的存储器控制器943，以及对南桥904的数据的输入/输出进行管理的I/O(输入/输出)控制器944被集成在一个芯片中，并且例如实现4GHz的操作频率。 

微处理器901在启动时基于存储在HDD 905中的控制程序读出存储在HDD 905中的适当的应用程序并将其装载在XDR-RAM 903中，然后基于该应用程序和操作员(operator)操作执行适当的控制处理。 

例如，在图2所示的图像合成设备111的配置中，由包括在虚线围绕的部份中的处理单元121执行的处理，即诸如IP转换等、信息读出控制处理等的预处理由微处理器901执行，由包括在虚线围绕的部份中的处理单元122执行的处理，即与图像有关的处理(例如，图像的修剪、尺寸校正、各种类型的合成等)由GPU 902执行。 

注意，存储单元132例如由HDD 905、存储设备803、安装了可移除介质811的驱动器808等来实现，并且输入单元133例如由鼠标805、键盘806、USB I/F 906、未示出的网络接口等来实现。而且，在信息读出控制单元131中，由解码单元181、划分单元182、解码单元184和提取单元185执行的每个处理由微处理器901来执行，并且保存单元183由XDR-RAM 903来实现。 

注意，微处理器901包括多个核，因此处理的执行是按适当方式并行化的，由此还可以并行地同时进行多个处理。而且，针对各个处理的核的指定也是可选的。 

在上述处理序列由软件执行的情况中，从网络或记录介质来安装构成所述软件的程序。 

例如如图23所示，这种记录介质不仅由用于将程序与设备主单元分 开地分发给用户而发行的存储所述程序的可移除介质811构成，而且由以嵌入在设备主单元中的状态发行的存储所述程序的HDD 905、存储设备803等构成，其中，可移除介质811由磁盘(包括软盘)、光盘(包括CD-ROM和DVD)、磁光盘(包括MD)、半导体存储器等构成。不用说，记录介质可以是诸如ROM、闪存等的半导体存储器。 

到此为止描述了在微处理器901中设置八个副CPU核，然而本发明不限于此，并且CPU核的数目是可选的。而且，微处理器901不一定由诸如主CPU核和副CPU核之类的多个核构成，而是或者可以由单核(一个核)构成。而且，可以应用多个CPU或者可以应用多个信息处理设备来代替微处理器901(即，用于执行本发明的处理的程序可以在以协同方式操作的多个设备中执行)。 

注意，根据本说明书的各个步骤不仅包括以根据所述顺序的时间顺序执行的处理，而且包括不必以时间顺序执行而是并行或单独执行的处理。 

而且，在本说明书中，术语“***”表示由多个设备构成的装备设备的整体。 

注意，在上述描述中，可以进行这样的布置：其中，被描述为单个设备的配置被分割，并被配置为多个设备。反之，被描述为多个设备的配置可以被集成为单个设备。而且，不用说，除了上述配置之外的配置可以附加到每个设备的配置中。此外，在作为整个***的配置和操作基本上相同的情况中，某个设备的配置的一部份可以包括在另一设备的配置中。即，本发明的实施例不限于上述实施例，并且在不脱离本发明的实质的情况下可以执行各种修改。 

本发明包含与在2008年4月11日向日本专利局提交的日本优先权专利申请JP 2008-103390中公开的主题有关的主题，该申请的全部内容通过引用结合于此。 

本领域技术人员应当明白，可以根据设计要求和其它因素进行各种修改、组合、子组合和变更，只要它们在所附权利要求和其等同物的范围之内。 

Claims (13)

1.一种信息处理设备，包括：

修剪装置，被配置来对多个图像进行用于将图像的一部分修剪出来作为部份图像的修剪处理，以便从所述多个图像的每一个中修剪出部份图像；

尺寸校正装置，被配置来校正与由所述修剪装置修剪出的多个所述部份图像的每个有关的图像尺寸；以及

合成装置，被配置来将由所述尺寸校正装置校正了图像尺寸的所述部份图像相连接，以生成合成图像，

其中，所述修剪装置、所述尺寸校正装置和所述合成装置中的每个处理利用控制信息以画面为单位来执行，并且其中，所述信息处理设备的信息读出控制装置被配置为针对每个画面准备控制信息以实现定义了图像的合成方法的动态合成模式，以使得所述合成方法针对图像的每个画面而改变，并且

其中，所述合成装置被配置为根据用户指令控制所述合成模式的前进速度和前进方向。

2.根据权利要求1所述的信息处理设备，其中，所述修剪装置利用由第一控制信息指定的修剪方法来对所述部份图像执行修剪；

并且其中，所述尺寸校正装置校正所述部份图像以使之具有由所述第一控制信息指定的图像尺寸；

并且其中，所述合成装置利用由所述第一控制信息指定的连接方法来连接所述部份图像。

3.根据权利要求1所述的信息处理设备，还包括：

计算机图形信息合成装置，被配置来根据由第二控制信息指定的叠加方法将计算机图形信息叠加在由所述合成装置生成的所述合成图像上，所述第二控制信息用于指定多个图像的叠加方法。

4.根据权利要求3所述的信息处理设备，还包括：

存储装置，被配置来存储所述第一控制信息和所述第二控制信息；以及

读出装置，被配置来从所述存储装置中读出所述第一控制信息和所述第二控制信息，以将所述第一控制信息提供给所述修剪装置、所述尺寸校正装置和所述合成装置，并将所述第二控制信息提供给所述计算机图形信息合成装置。

5.根据权利要求4所述的信息处理设备，其中，所述读出装置根据从所述存储装置读出的所述第一控制信息生成部份控制信息，以将多个所生成的部份控制信息提供给所述修剪装置和所述尺寸校正装置，所述部份控制信息是对于所述多个图像的每一个的控制信息；

并且其中，所述修剪装置针对每个图像利用由与每个图像相对应的部份控制信息指定的修剪方法来执行对所述部份图像的修剪；

并且其中，所述尺寸校正装置校正每个部份图像，以使之具有由与每个部份图像相对应的部份控制信息指定的图像尺寸。

6.根据权利要求4所述的信息处理设备，其中，存储在所述存储装置中的所述第一控制信息和所述第二控制信息分别利用预定方法被压缩；

并且其中，所述读出装置利用与压缩方法相对应的方法对从所述存储装置读出的所述第一控制信息和所述第二控制信息进行解码，然后提供所述第一控制信息和所述第二控制信息。

7.根据权利要求4所述的信息处理设备，其中，所述存储装置针对各个合成模式来管理所述第一控制信息和所述第二控制信息；

并且其中，所述读出装置从所述存储装置读出具有所指定的合成模式的所述第一控制信息和所述第二控制信息，然后提供所述第一控制信息和所述第二控制信息。

8.根据权利要求7所述的信息处理设备，还包括：

前进控制指令接受装置，被配置来接受用于控制所述合成模式的前进的前进控制指令；

其中，所述读出装置基于由所述前进控制指令接受装置接受的所述前进控制指令确定对于所述合成模式要处理的位置，并且读出与所述要处理的位置相对应的所述第一控制信息和所述第二控制信息，然后提供所述第一控制信息和所述第二控制信息。

9.根据权利要求4所述的信息处理设备，还包括：

修改指令接受装置，被配置来接受具有所述计算机图形信息的配置的修改指令；

其中，所述读出装置基于由所述修改指令接受装置接受的所述修改指令更新所述第一控制信息和所述第二控制信息。

10.根据权利要求1所述的信息处理设备，还包括：

预处理装置，被配置来对所述多个图像进行预处理；

其中，所述修剪装置从经过所述预处理装置的预处理的所述多个图像中修剪出所述部份图像。

11.根据权利要求10所述的信息处理设备，其中，所述预处理装置将隔行扫描形式的所述多个图像转换为逐行扫描形式的所述多个图像。

12.根据权利要求10所述的信息处理设备，其中，所述预处理装置从所述多个图像的每个检测面部图像，以确定由所述修剪装置修剪出的所述部份图像的中心坐标。

13.一种用于信息处理设备的信息处理方法，包括以下步骤：

对多个图像进行用于将图像的一部分修剪出来作为部份图像的修剪处理，以从所述多个图像的每个修剪出部份图像；

校正与多个所述修剪出的部份图像的每个有关的图像尺寸；以及

连接已校正了图像尺寸的所述部份图像以生成合成图像，

其中，所述修剪步骤、所述校正步骤和所述连接步骤中的每个处理利用控制信息以画面为单位来执行，并且其中，针对每个画面准备控制信息以实现定义了图像的合成方法的动态合成模式，以使得所述合成方法针对图像的每个画面而改变，并且

其中，所述连接步骤根据用户指令控制所述合成模式的前进速度和前进方向。

Images