CN102262787A - 图像合成装置 - Google Patents

Abstract

本发明提供一种图像合成装置，其分别设定用作背景图像和前景图像的一组图像。作为背景图像设定具有任意画面风格的绘画风格图像时(S3：是)，取得表示绘画风格图像具有的画面风格种类的画面风格数据、表示绘画风格图像具有的笔触内容的笔触数据(S5)。将前景图像变换为具有与背景图像同样的画面风格、笔触的绘画风格图像(S6)，将变换为绘画风格图像之后的前景图像合成在背景图像上(S7)，并显示合成图像(S8)。在合成图像中，成为前景图像的部分溶入了背景图像中的状态。

Description

图像合成装置

技术领域

本发明涉及在作为背景的图像的一部分上合成作为前景的其他图像的图像合成技术。 

背景技术

以往，例如在JP特开2000-209425号公报中记载了如下的图像合成技术：在作为背景的图像(以下，称为“背景图像”)的一部分上合成作为前景的其他图像(以下，称为“前景图像”)从而生成新的图像时，按照抑制背景图像和前景图像之间的灰度和色调的差异的方式来调整前景图像的灰度和色调。根据JP特开2000-209425号公报所记载的图像合成技术，例如作为背景图像和前景图像即便利用由数字相机在不同的摄影条件下拍摄的被记录为图像数据的摄影图像，作为合成图像也能够获得不协调感较少更加自然的图像。 

但是，在JP特开2000-209425号公报所记载的图像合成技术中，例如无法应对如下这种情况：相对于前景图像是通过摄影取得的摄影图像，背景图像是绘画风格图像的情况，该绘画风格图像是对摄影图像实施了用来确保近似于特定种类绘画的视觉特征也就是画面风格(日本画风格、西洋画风格等)的图像变换处理之后的图像。也就是说，存在即便根据背景图像的灰度和色调来调整前景图像的灰度和色调也无法获得自然的合成图像的问题。 

发明内容

本发明是鉴于这种现有技术中的问题提出的，目的在于即便背景图像和前景图像的某一方是绘画风格图像，作为在背景图像的一部分上合成了前景图像之后的合成图像也可获得不协调感较少更加自然的图像。 

本发明的第1方面所涉及的图像处理装置是一种图像合成装置，其生 成在背景图像的一部分上合成了作为前景图像的与该背景图像不同的图像之后的合成图像，该图像合成装置包括：图像设定单元，分别设定作为所述背景图像、所述前景图像而使用的一组图像；信息取得单元，在生成所述一组图像的其中一方是具有任意画面风格的绘画风格图像的所述合成图像时，取得表示所述一组图像的其中一方具有的画面风格的种类的画面风格信息；图像变换单元，将所述一组图像的另一方变换为具有所述信息取得单元所取得的画面风格信息表示的种类的画面风格的绘画风格图像；合成单元，对作为所述一组图像的其中一方的绘画风格图像、和由所述图像变换单元变换为绘画风格图像之后的所述一组图像的另一方进行合成，生成所述合成图像；和输出单元，输出由所述合成单元所生成的合成图像。 

对于存储了本发明第2方面所涉及的程序的记录介质，使生成在背景图像的一部分上合成了作为与该背景图像不同的图像的前景图像之后的合成图像的图像合成装置具有的计算机作为如下单元发挥功能，这些单元分别是：图像设定单元，分别设定用作所述背景图像、所述前景图像的一组图像；信息取得单元，在生成所述一组图像的其中一方是具有任意画面风格的绘画风格图像的所述合成图像时，取得表示所述一组图像的其中一方具有的画面风格的种类的画面风格信息；图像变换单元，将所述一组图像的另一方变换为具有所述信息取得单元所取得的画面风格信息表示的种类的画面风格的绘画风格图像；和合成单元，对作为所述一组图像的其中一方的绘画风格图像、和由所述图像变换单元变换为绘画风格图像之后的所述一组图像的另一方进行合成，生成所述合成图像。 

附图说明

图1是表示本发明所涉及的各实施方式中通用的数字相框的硬件结构的概略框图。 

图2是表示第1实施方式中的数字相框的功能的主要部分的功能框图。 

图3是表示艺术变换处理中使用的同一颜色的像素所组成的组的扁平度、绘画风格图像中反映出的画笔的粗细之间的关系的说明图。 

图4是表示第1实施方式的合成显示模式中的CPU的处理过程的流程图。 

图5(a)表示艺术变换处理前的素材图像的一例，(b)表示艺术变换处理之后的素材图像的一例，(c)表示合成图像的一例。 

图6表示第2实施方式、第3实施方式中通用的数字相框的功能的主要部分的功能框图。 

图7是表示第2实施方式的合成显示模式中的CPU的处理过程的流程图。

图8是表示合成显示模式中控制部10按照ROM102中存储的合成处理程序102a执行的处理的流程图。 

符号说明： 

1 DPF 

10控制部 

11图像设定部 

12信息取得部 

13图像变换部 

14图像合成部 

15显示控制部 

16存储部 

20操作部 

30显示部 

40存储介质 

101 CPU 

102 ROM 

102a合成处理程序 

103 RAM 

104介质控制器 

201操作按键组 

301显示器 

具体实施方式

以下，对本发明的一实施方式进行说明。后述的各实施方式涉及数字 相框(digital photo frame，以下，称为DPF)，该数字相框具有：显示作为图像数据记录的各种图像的功能、在作为背景的图像的一部分上合成作为前景的其他图像之后进行显示的图像合成功能。 

(实施方式1) 

首先，对第1实施方式进行说明。图1表示使用本发明的各实施方式中通用的DPF1的硬件结构的概略框图。DPF1是由CPU(Central Processing Unit，中央处理器)101控制***整体的结构。CPU101与ROM(Read Only Memory，只读存储器)102、RAM(Random Access memory，随机存取存储器)103、介质控制器104、操作按键组201、显示器301连接。 

ROM102是存储用于使CPU101控制***整体的多种程序和数据的存储器。ROM102中存储的程序中包括合成处理程序102a，该合成处理程序102a使CPU101作为第1实施方式中的图像设定单元、信息取得单元、图像变换单元、合成单元发挥功能。 

RAM103是在CPU101控制DPF1时根据需要暂时存储各种数据的工作用存储器，具体而言是SDRAM(Synchronous dynamic random-access memory，同步动态随机存取存储器)等。 

介质控制器104是控制记录介质40与CPU101之间的数据的输入输出的输入输出接口，该存储介质40装卸自由地安装在设置于DPF1主体的存储卡槽。 

记录介质40是由闪存等组成的非易失性的卡型存储介质。在记录介质40中存储着多个各种的图像数据。

首先，记录介质40中存储着数字相机等通过摄影获得的图像数据。此外，在以下的说明中，将通过摄影而获得的图像称为摄影图像，将表示摄影图像的图像数据称为摄影图像数据。摄影图像数据是通过JPEG(Joint Photographic Expert Group，联合图象专家组)方式被压缩、并且附加了摄影日期时间等附加信息作为静止图像文件存储的图像数据。 

此外，记录介质40中存储表示对摄影图像数据实施艺术(art)变换处理从而新生成的绘画风格图像的图像数据。所谓艺术变换处理是用于在摄影图像中确保各种画面风格的图像变换处理。此外，在以下的说明中，将表示绘画风格图像的图像数据称为绘画风格图像数据。 

绘画风格图像数据是与摄影图像数据同样通过JPEG(Joint Photographic Expert Group)方式被压缩、并且附加了制作日期时间等附加信息作为静止图像文件存储的图像数据。 

此外，在保存绘画风格图像数据的静止图像文件中，在保存附加信息的文件头区域保存着画面风格数据和笔触数据。画面风格数据是表示绘画风格图像所具有的画面风格的种类的数据，笔触数据是表示在绘画风格图像中表现出的笔触内容的数据。 

在此，所谓画面风格是基于能够从图像感觉到的印象而规定的绘画方面的特征，可分为日本画风格、西洋画风格、水彩面风格、水墨画风格、铅笔画风格、梵高(Vincent van Gogh)风格等。此外，所谓笔触是在绘画风格图像中表现出来的画笔的粗细和笔画(stroke)，是作为运笔的细致程度被识别出的特征。因此，即便是具有相同画面风格的绘画风格图像，如果笔触不同，则看起来的印象也不同。 

此外，在记录介质40中存储着表示素材图像的图像数据，该素材图像是以在作为背景图像的任意图像的一部分上作为前景图像进行合成为目的而预先制作的。在以下的说明中，将表示素材图像的图像数据称为素材图像数据。 

素材图像是以任意的装置切出摄影图像的一部分由此得到的图像。此外，素材图像数据例如是对各像素在RGB(红，绿，蓝)等颜色信息以外分配了透过信息(α通道(channel)等)的图像数据，是从摄影图像等中切出的部分成为背景的区域为透过色的图像数据。 

操作按键组201由电源开关和多个操作开关构成。CPU101定时地扫描操作按键组201上的操作按键等的操作状态，由此检测基于规定的按键操作的来自用户的各种指示。 

显示器301由带有背光的彩色液晶显示面板和驱动电路构成，该驱动电路根据从CPU101提供的图像数据等的显示数据驱动彩色液晶显示面板，使图像数据所表现出的图像等显示在彩色液晶显示面板上。 

图2是表示DPF1具有的功能的主要部分的功能框图。DPF1具有控制部10、操作部20、显示部30。控制部10由图像设定部11、信息取得部12、图像变换部13、图像合成部14、显示控制部15、存储部16构成。 

操作部20是检测用户对DPF1的各种指示的功能部分，由图1所示的操作按键组201来实现。 

显示部30显示由记录于记录介质40的摄影图像数据表现出的摄影图像、由其他图像数据表现出的图像，或显示在用户操作DPF1时需要的各种操作画面。显示部30由图1所示的显示器301来实现。 

画面设定部11在后述的合成显示模式中，根据操作部20检测到的来自用户的指示，从记录介质40中作为图像数据存储的图像中分别指定作为背景图像使用的摄影图像或绘画风格图像、以及作为前景图像使用的素材图像。图像设定部11由图1所示的CPU101来实现。 

信息取得部12在图像设定部11设定了任意的绘画风格图像作为背景图像的情况下，取得表示作为背景图像所设定的绘画风格图像的绘画风格图像数据中附加的画面风格识别数据和笔触数据，并提供给图像变换部13。信息取得部12也由图1所示的CPU101来实现。 

图像变换部13针对记录介质40中存储的任意的素材图像数据，实施内容与信息驱动部12提供的画面风格识别数据和笔触数据相对应的艺术变换处理。图像变换部13对素材图像数据实施的艺术变换处理中，对变换后的素材图像数据表现出的绘画风格图像适用与图像设定部11设定为背景图像的绘画风格图像同样的笔触，确保与图像设定部11设定为背景图像的绘画风格图像同样的画面风格。图像变换部13也由图1所示的CPU101来实现。 

图像变换部13中的艺术变换处理例如应用JP特开平10-011569号公报和JP特开2006-031688号公报中公开的技术。具体而言，可采用如下的处理：从构成图像数据的像素中，收集以颜色等为基准相关性较高的像素，并且形成组。然后，针对各个组的像素，对于同一组的像素将颜色置换为该组的代表色。 

在这种处理中，通过改变被收集为一组的像素的相关性的获取方法、以及由同一颜色(代表色)的像素构成的组的基本形状，从而能够对处理后的图像数据表现出的图像带来各种画面风格。 

此外，通过改变由同一颜色(代表色)的像素构成的组的长度(距离)和扁平度(flatness)，从而即便提供给处理后的图像数据的画面风格是相 同的，也能够表现出不同的笔触。 

例如图3所示，如果不改变由同一颜色的像素构成的组的基本形状，而是仅改变扁平度，则能够改变由处理后的图像数据表示的图像(绘画风格图像)中所表现出的画笔的粗细。也就是说，如图3(a)所示，当增大由同一颜色的像素构成的组的扁平度时，画笔***，其结果在图像上能够表现出粗犷的笔触(笔致(touch))。此外，如图3(b)、图3(c)所示，组的扁平度越小，则画笔的粗细会越细，其结果由图像能够表现出更加细腻的笔触(笔致)。 

在本实施方式中，针对多个画面风格的每个画面风格，设定要形成用于艺术变换处理的同一组的像素的相关度、被称为组的基本形状的参数的最佳组合。每个画面风格的参数的最佳组合都记述在存储于ROM102的合成处理程序102a中。此外，按照每个应该表现的笔触内容(运笔的细腻程度)设定由同一颜色(代表色)的像素构成的组的长度(距离)和扁平度这种的参数。此外，与笔触内容相应的参数会因画面风格的种类不同。左右笔触内容的参数也由存储于ROM102的合成处理程序102a记述。 

图像合成部14在表示图像设定部11设定为背景图像的摄影图像的摄影图像数据上，重写合成表示图像设定部11设定为前景图像的素材图像的素材图像数据，从而生成合成图像数据。此外，图像合成部14在表示图像设定部11设定为背景图像的绘画风格图像的摄影图像数据上，合成由图像变换部13实施了艺术变换处理之后的素材图像数据，由此生成合成图像数据。图像合成部14也由图1所示的CPU101来实现。 

显示控制部15将由记录在记录介质40中的任意图像数据表示的画面、由图像合成部14所生成的合成图像数据表示的合成图像显示在显示部30上。显示控制部15也由图1所示的CPU101来实现。 

存储部16暂时存储图像变换部13在艺术变换处理时生成的各种工作用数据、显示控制部15使其显示在显示部30上的各种图像的数据。存储部16由图1所示的RAM103实现。 

接下来，对由以上结构组成的DPF1的动作进行说明。DPF1中，作为通过用户操作操作按键组201的规定操作按键能恰当设定的动作模式准备了合成显示模式。合成显示模式是如下的动作模式：将记录介质40中 作为图像数据记录的任意摄影图像或绘画风格图像设定为背景图像，在背景图像的一部分上作为前景图像合成记录介质40中作为图像数据记录的任意素材图像，之后进行显示。 

以下，对合成显示模式中的DPF1的具体动作进行说明。图4是表示合成显示模式中控制部10(CPU101)按照ROM102中存储的合成处理程序102a执行的处理的流程图。 

在合成显示模式中，首先图像设定部11(CPU101)逐次检测操作按键组201中的操作按键等的操作状态，从而设定应该合成的背景图像和前景图像(步骤S1)。 

在步骤S1的处理中，图像设定部11读出记录介质40中记录的摄影图像或绘画风格图像的图像数据，将由读出的图像数据表现的图像作为选择候补而一览显示在显示部30(显示器301)的画面上。然后，图像设定部11使用户通过规定按键操作选择用作背景图像的图像，将所选择的图像的文件名存储在存储部16(RAM103)中。 

再有，图像设定部11读出记录介质40中存储的素材图像数据，将由读出的图像数据表现的素材图像作为选择候补而一览显示在显示部30(显示器301)的画面上。然后，图像设定部11使用户通过规定按键操作选择用作前景图像的图像，将所选择的素材图像的文件名存储在存储部16(RAM103)中。 

接下来，控制部10确认被设定为背景图像的图像数据中附加的附加信息的内容，由此确认被设定为背景图像的图像数据是否是绘画风格图像数据(步骤S2)。在步骤S2的处理中，如果被设定为背景图像的图像数据中附加了画面风格数据和笔触数据，则控制部10判断是绘画风格图像数据，相反如果没有附加画面风格数据和笔触数据则判断为不是绘画风格图像数据。 

控制部10在判断被设定为背景图像的图像数据不是绘画风格图像数据的情况下(步骤S3：否)，图像合成部14(CPU101)将前景图像(素材图像)合成在背景图像(摄影图像)上(步骤S4)。也就是说，图像合成部14将设定为前景图像的素材图像的图像数据直接合成在被设定为背景图像的摄影图像的图像数据上中从而生成合成图像数据(步骤S4)。 

然后，显示控制部15(CPU101)将图像合成部14生成的合成图像数据发送至显示部30，在显示部30显示在背景图像(摄影图像)的一部分上合成了前景图像(素材图像)之后的合成图像(步骤S8)。然后，控制部10结束合成显示模式下的处理。 

另一方面，控制部10判断为设定为背景图像的图像数据是绘画图像数据的情况下(步骤S3：是)，首先信息取得部12(CPU101)读出绘画风格图像数据中附加的画面风格数据和笔触数据，提供给图像变换部13(CPU101)(步骤S5)。 

接下来，图像变换部13将前景图像(素材图像)变换为具有与背景图像(绘画风格图像)同样的画面风格、以及笔触的绘画风格图像(步骤S6)。也就是说，图像变换部13针对图像设定部11设定为前景图像的素材图像数据，实施应用了与提供的画面风格数据表示的画面风格的种类、提供的笔触数据所表示出的笔触内容相应的参数的艺术变换处理，由此将素材图像数据变换为绘画风格图像数据。 

图5(a)是表示由艺术变换处理前的素材图像数据表现出的素材图像G1的一例，图5(b)是表示对素材图像数据进行艺术变换处理之后的绘画风格图像数据所表现出的素材图像G2的一例。 

接下来，图像合成部14将变换为绘画风格图像之后的前景图像合成到背景图像中(步骤S7)。也就是说，图像合成部14将从素材图像数据变换之后的绘画风格图像数据合成在被设定为背景图像的绘画风格图像的图像数据上，从而生成合成图像数据。 

然后，显示控制部15将图像合成部14生成的合成图像数据发送至显示部30，在显示部30中显示在背景图像(绘画风格图像)的一部分上合成了具有同样的画面风格、笔触的前景图像(其他的绘画风格图像)之后的合成图像(步骤S8)。然后，控制部10结束合成显示模式下的处理。 

图5(c)表示图5(b)中例示的素材图像G2是前景图像时的合成图像G3的一例。 

控制部10通过进行以上所说明的处理，在合成显示模式下DPF1将用户指定的任意的摄影图像和绘画风格图像作为背景图像，在背景图像的一部分上合成用户指定的任意的素材图像作为前景图像，然后进行显示。 

在此，在DPF1中，被用户选择为背景图像的图像是绘画风格图像的情况下，将被用户选择为前景图像的素材图像暂时变换为具有与背景图像即绘画风格图像同样的画面风格的绘画风格图像之后，合成在绘画风格图像上。 

因此，在最终显示的合成图像上，成为前景图像的部分溶入了背景图像之中的状态。也就是说，能够在前景图像和背景图像之间确保外观上的连续性。这样，即便用户所选择的背景图像是绘画风格图像的情况下，作为在背景图像的一部分上合成了前景图像之后的合成图像也能够获得不协调感较少的更加自然的图像。 

并且，在第1实施方式中，背景图像是绘画风格图像的情况下，将作为前景图像的素材图像变换为不仅具有与作为背景图像的绘画风格图像同样的画面风格、并且具有与作为背景图像的绘画风格图像同样的笔触的绘画风格图像。因此，在最终显示的合成图像内的前景图像和背景图像之间，能够确保更高的外观上的连续性。因而，作为在背景图像的一部分上合成了前景图像之后的合成图像，能够获得不协调感更少的更加自然的图像。 

(第1实施方式的变形例) 

在第1实施方式所说明的结构中，作为前景图像使用的素材图像是通过以任意装置切出摄影图像的一部分由此得到的图像。但是，在本发明中，作为前景图像使用的素材图像也可以是是通过切出具有任意画面风格的绘画风格图像的一部分而得到的图像、或者预先变换为具有任意画面风格的绘画风格图像之后的图像。因此，DPF1中也可以采用例如在合成显示模式的动作时控制部10进行以下处理的结构。 

也就是说，控制部10在步骤S2的处理中针对设定为背景图像的图像、和设定为前景图像的素材图像的双方来确认附加信息。然后，在仅设定为背景图像的图像是绘画风格图像的情况下，控制部10进行上述的步骤S5～S8的处理。 

此外，在设定为背景图像的图像和设定为前景图像的素材图像的双方不是绘画风格图像的情况下，设定为背景图像的图像和设定为前景图像的素材图像的双方是绘画风格图像的情况下，控制部10(绘画合成部14) 通过步骤S4的处理将设定为前景图像的素材图像合成在设定为背景图像的图像上。 

此外，也可以采用如下的结构：在仅设定为前景图像的图像是绘画风格图像的情况下，控制部10(图像变换部13)将作为背景图像的摄影图像暂时变换为具有与作为前景图像的绘画风格图像同样的画面风格、以及笔触的绘画风格图像。然后，控制部10(图像合成部14)在变换为绘画风格图像之后的背景图像上合成设定为前景图像的素材图像。 

在DPF1中，采用控制部10进行以上处理的结构的情况下，即便仅用作前景图像的素材图像是绘画风格图像的情况下，也成为前景图像的部分溶入背景图像的状态。因此，即便仅用作前景图像的素材图像是绘画风格图像的情况下，作为合成图像也能够获得不协调感较少的更加自然的图像。 

(第2实施方式) 

接下来，对本发明的第2实施方式进行说明。第2实施方式涉及具有与图1所示的DPF1相同的结构的其他DPF。不过，在第2实施方式的DPF中，ROM102中存储的合成处理程序102a使CPU101作为图像设定单元、信息取得单元、图像变换单元、合成单元、图像设定控制单元发挥功能。 

图6是表示第2实施方式的DPF501具有的功能的主要部分的功能框图。DPF501具有控制部10、操作部20、显示部30。控制部10由图像设定部11、图像设定控制部17、信息取得部12、图像变换部13、图像合成部14、显示控制部15、存储部16构成。 

在第2实施方式中，图像设定部11在后述的合成显示模式中，将记录介质40中作为图像数据存储的任意素材图像根据来自用户的指示设定为前景图像。此外，图像设定部11在后述的合成显示模式中，在记录介质40中作为图像数据存储的多个图像中，将由图像设定控制部17所指示的图像设定为前景图像。 

图像设定控制部17在后述的合成显示模式中，使图像设定部11将同一素材图像设定为前景图像，将记录介质40中作为图像数据存储的多个 绘画风格图像顺次设定为背景图像。图像设定控制部17由图1所示的CPU101来实现。 

此外，对于图像设定部11和图像设定控制部17以外的部分，由于与第1实施方式相同，因此对与图2相同的部分附于相同的符号并省略说明。 

以下，对第2实施方式的DPF501中的合成显示模式下的具体动作进行说明。图7是表示在合成显示模式中控制部10按照ROM102中存储的合成处理程序102a执行的处理的流程图。 

在合成显示模式中，首先图像设定部11逐次检测操作按键组201中的操作按键等的操作状态，从而将任意的素材图像设定为前景图像(步骤S101)。 

在步骤S101的处理中，图像设定部11读出记录介质40中记录的素材图像数据，将由读出的素材图像数据表现的素材图像作为选择候补而一览显示在显示部30的画面上。然后，图像设定部11使用户通过规定的按键操作选择希望的素材图像，将所选择的素材图像的文件名存储在存储部16中。 

接下来，图像设定控制部17(CPU101)使图像设定部11将合成显示模式中的处理开始之后还未被设定为背景图像的绘画风格图像设定为背景图像(步骤S102)。在步骤S102的处理时，图像设定部11将由图像设定控制部17指示的绘画风格图像的文件名存储在存储部16中。 

此外，在步骤S102的处理时，图像设定控制部17按照预先规定的顺序(文件名顺序等)，将记录介质40中作为图像数据记录的各个绘画风格图像顺序决定为处理对象。然后，图像设定部11将图像设定控制部17决定为处理对象的绘画风格图像的文件名存储在存储部16中。此外，步骤S102的处理中存储在存储部16中的绘画风格图像的文件名，每次进行步骤S102的处理都会被顺序地积累，从而作为表示已设定为背景图像的绘画风格图像的信息使用。 

接下来，信息取得部12读出设定为背景图像的绘画风格图像的图像数据中附加的画面风格数据和笔触数据，并提供给图像变换部13(步骤S103)。然后，图像变换部13将前景图像(素材图像)变换为具有与背景图像(绘画风格图像)同样的画面风格以及笔触的绘画风格图像(步骤 S104)。接下来，图像合成部14生成将变换为绘画风格图像之后的前景图像合成在背景图像之上的合成图像数据(步骤S105)。然后，显示控制部15将图像合成部14生成的合成图像数据发送至显示部30，在显示部30中显示在背景图像(绘画风格图像)的一部分上合成了具有同样的画面风格和笔触的前景图像(其他绘画风格图像)之后的合成图像(步骤S106)。 

此外，步骤S103～步骤S106的处理中的信息取得部12、图像变换部13、图像合成部14、显示控制部15的具体处理内容与第1实施方式中的图4所示的步骤S5～步骤S8的处理内容相同。 

接下来，在第2实施方式中，图像设定控制部17判断在记录介质40中作为图像数据记录的多个绘画风格图像中是否存在合成显示模式中的处理开始之后未设定为背景图像的绘画风格图像(步骤S107)。此外，图像设定控制部17通过确认表示在步骤S102的处理中逐次存储在存储部16中的设定完成的绘画风格图像的信息，来进行步骤S107的处理中的判断。 

然后，图像设定控制部17在具有未设定为背景图像的绘画风格图像的情况下(步骤S107：是)，使图像设定部11将未设定为背景图像的新的绘画风格图像顺序设定为背景图像(步骤S102)。进而，信息取得部12、图像变换部13、图像合成部14、显示控制部15反复执行步骤S103～步骤S106的处理。 

通过反复步骤S103～步骤S106的处理，在显示部30顺序显示如下进行变化的合成图像。也就是说，在显示部30依次显示前景图像维持在同一内容的素材图像、仅背景图像顺序切换为不同内容的绘画风格图像的合成图像。同时，在显示部30顺序显示的合成图像中，前景图像具有的画面风格和笔触，每次切换背景图像都顺序变换为与新背景图像具有的画面风格和笔触相同的画面风格和笔触。 

于是，在图像设定控制部17判断为记录介质40中作为图像数据记录的多个绘画风格图像之中没有未设定为背景图像的绘画风格图像的时刻(步骤S107：否)，控制部10结束合成显示模式下的处理。 

在上述的第2实施方式中，能够自动显示作为前景图像使用用户指定的同一素材图像、并且作为背景图像使用彼此不同的绘画风格图像的多种合成图像。并且，在作为前景图像使用的素材图像中确保与用作背景图像 的各个绘画风格图像同样的画面风格和笔触。因此，作为仅背景图像变化的多种合成图像，能够获得不协调感较少的更加自然的图像。 

此外，如第2实施方式所示，即便在自动显示仅将背景图像切换为彼此不同的绘画风格图像的不同的合成图像的结构中，也可以构成为在前景图像中仅确保与作为背景图像的绘画风格图像相同的画面风格。 

此外，在第2实施方式中构成为：图像设定控制部17使图像设定部11仅将记录介质40中作为图像数据记录的绘画风格图像顺序设定为背景图像。但是，在实施本发明时，也可以构成为图像设定控制部17使图像设定部11将记录介质40中作为图像数据记录的绘画风格图像和摄影图像的双方顺序设定为背景图像。 

在图像设定控制部17使图像设定部11将绘画风格图像和摄影图像的双方顺序设定为背景图像的结构中，仅在将绘画风格图像设定为背景图像时，图像变换部13将前景图像变换为具有与背景图像同样的画面风格和笔触的绘画风格图像即可。 

(第3实施方式) 

接下来，接下来对本发明的第3实施方式进行说明。第3实施方式涉及具有与图1所示的DPF1同样的结构，并且与第2实施方式的DPF501同样地具有图6所示的功能的其他DPF。 

在第3实施方式中，图像设定部11在后述的合成显示模式中，将记录介质40中作为图像数据存储的任意的绘画风格图像根据来自用户的指示设定为背景图像。此外，图像设定部11在后述的合成显示模式中，在记录介质40中作为图像数据存储的多个素材图像中，将图像设定控制部17所指示的素材图像设定为前景图像。 

图像设定控制部17在后述的合成显示模式中，使图像设定部11将同一绘画风格图像设定为背景图像，将记录介质40中作为图像数据存储的多个素材图像顺序设定为前景图像。 

以下，对第3实施方式的DPF中的合成显示模式的具体动作进行说明。图8是表示合成显示模式中控制部10按照ROM102中存储的合成处理程序102a执行的处理的流程图。 

在合成显示模式中，首先图像设定部11逐次检测操作按键组201中的操作按键等的操作状态，从而将任意的绘画风格图像设定为背景图像(步骤S201)。 

在步骤S201的处理中，图像设定部11读出记录介质40中存储的多个绘画风格图像数据，将由读出的绘画风格图像数据表现的绘画风格图像作为选择候补而一览显示在显示部30的画面上。然后，图像设定部11使用户通过规定按键操作选择希望的绘画风格图像，将所选择的绘画风格图像的文件名存储在存储部16中。 

接下来，图像设定控制部17使图像设定部11将合成显示模式的处理开始之后尚未设定为前景图像的素材图像设定为前景图像(步骤S202)。在步骤S202的处理时，图像设定部11将由图像设定控制部17指示的素材图像的文件名存储在存储部16中。 

此外，在步骤S202的处理时，图像设定控制部17按照预先规定顺序(文件名顺序等)，将记录介质40中作为图像数据记录的各个素材图像顺序决定为处理对象。然后，图像设定部11将图像设定控制部17决定为处理对象的绘画风格图像的文件名存储在存储部16中。此外，步骤S202的处理中存储在存储部16中的素材图像的文件名，每次进行步骤S202的处理都会被顺序地积累，从而作为表示已设定为前景图像的素材图像的信息使用。 

接下来，信息取得部12读出设定为背景图像的绘画风格图像的图像数据中附加的画面风格数据和笔触数据，并提供给图像变换部13(步骤S203)。然后，图像变换部13将前景图像(素材图像)变换为具有与背景图像(绘画风格图像)同样的画面风格以及笔触的绘画风格图像(步骤S204)。接下来，图像合成部14生成将变换为绘画风格图像之后的前景图像合成在背景图像之上的合成图像数据(步骤S205)。然后，显示控制部15将图像合成部14生成的合成图像数据发送至显示部30，在显示部30中显示在背景图像(绘画风格图像)的一部分上合成了具有同样的画面风格和笔触的前景图像(其他绘画风格图像)之后的合成图像(步骤S206)。 

此外，步骤S203～步骤S206的处理中的信息取得部12、图像变换部13、图像合成部14、显示控制部15的具体处理内容与第1实施方式中的 图4所示的步骤S5～步骤S8的处理内容相同。 

接下来，在第3实施方式中，图像设定控制部17判断在记录介质40中作为图像数据记录的多个素材图像中是否存在合成显示模式中的处理开始之后未设定为前景图像的素材图像(步骤S207)。此外，图像设定控制部17通过确认表示在步骤S202的处理中逐次存储在存储部16中的已设定过的素材图像的信息，来进行步骤S207的处理中的判断。 

然后，图像设定控制部17在具有未设定为前景图像的素材图像的情况下(步骤S207：是)，使图像设定部11将未设定为前景图像的新的素材图像顺序设定为前景图像(步骤S202)。进而，信息取得部12、图像变换部13、图像合成部14、显示控制部15反复执行步骤S203～步骤S206的处理。 

通过反复进行步骤S203～步骤S206的处理，在显示部30顺序显示以下那样变化的合成图像。也就是说，在显示部30顺序显示背景图像维持在同一内容的绘画风格图像、仅前景图像依次切换为不同内容的素材图像的合成图像。同时，在显示部30顺序显示的合成图像中，依次切换的新的前景图像全都确保与背景图像具有的画面风格和笔触相同的画面风格和笔触。 

于是，在图像设定控制部17判断出记录介质40中作为图像数据记录的多个素材图像中已没有未设定为前景图像的素材图像的时刻(步骤S207：否)，控制部10结束合成显示模式下的处理。 

此外，在合成显示模式下处理开始之后第2次以后的步骤S203～步骤S206的处理中，能够省略基于信息取得部12的步骤S203的处理。在省略步骤S203的处理的情况下，在步骤S204的处理中，使图像变换部13进行参数与第1次处理中使用的参数相同的艺术变换处理即可。 

在上述的第3实施方式中，能自动显示背景图像使用用户指定的同一绘画风格图像、并且前景图像使用彼此不同的素材图像的多种合成图像。并且，用作前景图像的各个素材图像中确保与用作背景图像的绘画风格图像相同的绘画风格和笔触。因此，作为仅前景图像变化的多种合成图像，能够获得不协调感较少的更加自然的图像。 

此外，如第3实施方式所示，即便在自动显示仅将前景图像顺序切换 为彼此不同的素材图像的不同的合成图像的结构中，也可以构成为在各个前景图像中仅确保与作为背景图像的绘画风格图像相同的画面风格。 

(第1实施方式～第3实施方式的变形例) 

在此，对第1实施方式、第2实施方式、第3实施方式(以下称为本实施方式)的变形进行说明。在本实施方式中，对表示记录介质40中作为图像数据存储的绘画风格图像具有的画面风格的种类的画面风格数据、表示绘画风格图像中所表现出的笔触的内容的笔触数据保存在保存了绘画风格图像数据的静止图像文件的文件头区域的情况进行了说明。但是，对于图像数据和笔触数据，只要能识别与绘画风格图像数据之间的对应关系，还可以与绘画风格图像数据独立地存储在记录介质40中。 

此外，在本实施方式中，对于图像变换部13进行的艺术变换处理，说明了如下的情况，即：从构成图像数据的像素中收集以颜色等为基准相关性较高的像素，并且形成组，针对各个组的像素，对于同一组的像素将颜色置换为该组的代表色。但是，对于图像变换部13进行的艺术变换处理的基体方法也可以进行适当改变。 

此外，在本实施方式中对将本发明应用于DPF的情况进行了说明，但只要具备在作为背景的图像的一部分上合成作为前景的其他图像的图像合成功能，本发明也能够应用于DPF以外的其他装置中。作为其他装置，例如有数字相机、内置了数字相机的便携电话终端等的任意便携信息终端、通用的个人计算机。 

此外，在本实施方式中，主要说明了显示在背景图像的一部分上合成了作为前景的其他图像的合成图像的结构。但是，本发明中合成图像的输出方式并不限定于显示。因此，本发明还能应用于不具有显示合成图像的功能的打印机等的其他装置。 

Claims (4)

1.一种图像合成装置，其生成在背景图像的一部分上合成了作为与该背景图像不同的图像的前景图像之后的合成图像，该图像合成装置包括：

图像设定单元，分别设定用作所述背景图像、所述前景图像的一组图像；

信息取得单元，在生成所述一组图像的一方是具有任意画面风格的绘画风格图像的所述合成图像时，取得表示所述一组图像的一方具有的画面风格的种类的画面风格信息；

图像变换单元，将所述一组图像的另一方变换为具有由所述信息取得单元所取得的画面风格信息表示的种类的画面风格的绘画风格图像；

合成单元，对作为所述一组图像的一方的绘画风格图像、和由所述图像变换单元变换为绘画风格图像之后的所述一组图像的另一方进行合成，生成所述合成图像；和

输出单元，输出由所述合成单元所生成的合成图像。

2.根据权利要求1所述的图像合成装置，其特征在于，

所述信息取得单元，与所述画面风格信息一起取得笔触信息，该笔触信息表示在作为所述一组图像的一方的绘画风格图像中表现出的笔触的内容，

所述图像变换单元，将所述一组图像的另一方变换为具有由所述信息取得单元所取得的画面风格信息表示的种类的画面风格、并且表现出由所述信息取得单元所取得的笔触信息表示的内容的笔触的绘画风格图像。

3.根据权利要求1所述的图像合成装置，其特征在于，

还具备图像设定控制单元，该图像设定控制单元使所述图像设定单元将同一图像设定为所述前景图像、并且将各自具有任意画面风格的多个绘画风格图像依次设定为所述背景图像，

每当所述图像设定控制单元使所述图像设定单元将新的所述绘画风格图像设定为所述背景图像时，所述信息取得单元取得表示所述绘画风格图像具有的画面风格的种类的画面风格信息，图像变换单元将所述同一图像变换为具有由所述信息取得单元所取得的画面风格信息表示的种类的画面风格的绘画风格图像，所述合成单元对新的所述绘画风格图像和由所述图像变换单元变换为绘画风格图像之后的所述同一图像进行合成，从而生成所述合成图像，所述输出单元输出由所述合成单元生成的合成图像。

4.根据权利要求1所述的图像合成装置，其特征在于，

还具备图像设定控制单元，该图像设定控制单元使所述图像设定单元将具有任意画面风格的同一绘画风格图像设定为所述背景图像、并且将多个图像依次设定为所述前景图像，

所述信息取得单元取得表示所述图像设定控制单元使所述图像设定单元设定为所述背景图像的所述同一绘画风格图像具有的画面风格的种类的画面风格信息，

每当所述图像设定控制单元使所述图像设定单元将新的图像设定为所述前景图像时，图像变换单元将新的图像变换为具有由所述信息取得单元所取得的画面风格信息表示的种类的画面风格的绘画风格图像，所述合成单元对所述同一绘画风格图像和由所述图像变换单元变换为绘画风格图像之后的所述新的图像进行合成，从而生成所述合成图像，所述输出单元输出由所述合成单元生成的合成图像。

Images