CN109076137A - 图像合成装置、图像合成方法及图像合成程序 - Google Patents

Abstract

本发明提供一种图像合成装置、方法及程序，该图像合成装置自动生成被设计成在配置有图像的各页面产生设计上的变化的合成图像。步骤(S14)中图像选择部(103)按已分组的每一组选择素材图像。步骤(S16)中图像配置部(105)将校正之后的素材图像布置于与合成图像的主题对应的模板。步骤(S17)中布局评价值计算部(106)对于将素材图像配置在模板之后的图像计算每一页面的布局评价值。步骤(S18)中，布局评价值周期设定部(107)设定合成图像的每一页面的布局评价值的周期性变动性。步骤(S19)中，重新布局控制部111判定是否需要重选素材图像。当判定为需要时返回到步骤(S14)，进行素材图像的重选、已重选的素材图像的布局、布局评价值的重算。

Description

图像合成装置、图像合成方法及图像合成程序

技术领域

本发明涉及一种图像合成装置、图像合成方法及图像合成程序，尤其涉及一种用于制作基于多个图像的合成图像的图像合成装置、图像合成方法及图像合成程序。

背景技术

专利文献1中有关于评价机构及确定机构的记载，所述评价机构按每一页面计算布局评价值，所述确定机构根据所计算的每一页面的布局评价值按呈现顺序与评价值的顺序不同的顺序确定呈现顺序。

专利文献1中，通过重复如下处理来进行大量生成的临时布局的定量评价，该处理中，对于所获取的模板的图像配置框，任意应用输入图像。该情况下判断图像的亮度或彩度、抖动模糊量等状态，且作为评价量而进行评分。评价量被分为图像单独的评价、图像与插槽(图像配置框)的适合度的评价、布局页面内的平衡的评价这3种。图像单独的评价中判定图像的亮度或彩度、抖动模糊量等状态，并将其进行评分。关于适合度的评价，可举出人物适合度、修整欠缺判定。作为用于对平衡进行评价的评价值，例如可举出图像类似性、像素值分布的变化、对象的变化。作为用于对平衡进行评价的评价值，例如可举出图像类似性、像素值分布的变化、对象的变化。

并且，关于针对用户的布局候选的呈现顺序，与评价值的顺序不同的顺序即呈现顺序与评价值的评分顺序并不完全一致即可，也可以是一部分顺序相同。例如，呈现顺序设为可以有与评价值的顺序一致的部分，如评分顺序为第1～3个的布局候选、第6个布局候选、第8个布局候选……等。将多个评价值整合化，并将其设为每一临时布局的布局评价值。通过使用布局评价顺序和随机数制作布局列表，能够以低成本轻松地提供不同的变化的布局。

专利文献2中有如下内容的记载，即，周期性一一依次选择与布局、背景图像及图像效果这3个项目有关的选择项的多个组合并将其应用于各页面中。另外，还有从与布局、背景图像及图像效果这3个项目有关的选择项的多个组合中随机选择一个组合并将其应用于各页面的记载。

专利文献3中，将多个图像分类为多个组，根据图像解析结果确定各个图像的评价值，并基于评价值或用户操作信息选择图像，配置于规定的布局中。

以往技术文献

专利文献

专利文献1：日本特开2015-053543号公报

专利文献2：日本特开2007-128148号公报

专利文献3：日本特开2014-075778号公报

发明内容

发明要解决的技术课题

专利文献1中，按与布局评价值的顺序不同的顺序确定呈现顺序，但布局评价值本身为整个相册的综合性评价而并不是相册的每一页面的评价，因此有可能成为任何布局的任何页面都是类似设计的单调相册。

专利文献2中，通过周期性地简单排列有序图像的要件(布局、背景图像及图像效果)来实现。因此，有可能制成任何页面都是类似设计的单调相册。

专利文献3中，未考虑到作为所布置的合成图像整体(一本相册)的设计性。并且，根据原始图像的解析结果进行布置，因此并不一定成为考虑到作为合成图像的完成状态的布局、或者印象或气氛协调的合成图像。

如此，若通过上述以往技术文献中所记载的方法进行图像选择及自动布局，则有时会成为单调的图像的排列，但未了解到其解决方法。

用于解决技术课题的手段

本发明是鉴于这种问题点而完成的，其目的在于自动生成被设计成在配置有图像的各页面产生设计上的变化的合成图像。为了解决上述课题，本申请发明的第1方式所涉及的图像合成装置具备：分组部，与多个页面的各页面建立对应而按相关联的每一图像对多个图像进行分组；模板选择部，按多个页面的每一页面选择图像配置用模板；图像选择部，按与多个页面的各页面建立对应而进行了分组的图像的每一组，从组内的图像选择一个或多个图像；合成图像生成部，依照通过模板选择部选择且与多个页面的各页面对应的图像配置用模板，分别对按与多个页面的各页面对应的每一组通过图像选择部选择的图像进行布置，并按每一页面生成合成图像；评价值计算部，按每一页面计算通过合成图像生成部生成的每一页面的合成图像的布局评价值；及控制部，控制通过模板选择部进行的图像配置用模板的选择及通过图像选择部进行的图像的选择中的至少一种选择，以使通过评价值计算部计算的每一页面的布局评价值沿页面的行进具有规律性变化。

根据该方式，由于每一页面的布局评价值沿页面的行进具有规律性变化，因此能够向观看者赋予有变化的生动的印象或气氛。在此，每一页面的布局评价值沿页面的行进具有规律性变化是指，每一页面的布局评价值沿页面的行进发生变动，而且该变动能够根据数学规则来表达。数学规则可举出函数、数列等。

本申请发明的第2方式所涉及的图像合成装置范围设定部，该范围设定部设定对沿页面的行进的布局评价值的规律性变化进行规定的范围，控制部控制图像选择部而对属于图像的组的图像的选择进行重组，并且控制评价值计算部而计算重组之后的每一页面的布局评价值，并进行重复图像的选择的重组和重组之后的每一页面的布局评价值的计算的控制，直至重组之后的每一页面的布局评价值属于范围设定部所设定的范围。

本申请发明的第3方式所涉及的图像合成装置中，根据布置在每一页面的图像配置用模板中的图像的面积比、图像的数量、图像的主要被摄体的表情、图像的主要被摄体的大小、图像的颜色分布及合成图像的颜色分布中的至少一个计算每一页面的布局评价值。

根据该方式，根据布置在每一页面的图像配置用模板中的图像的面积比、图像的数量、图像的主要被摄体的表情、图像的主要被摄体的大小、图像的颜色分布及合成图像的颜色分布中的至少一个计算的每一页面的布局评价值沿页面的行进具有规律性变化，因此能够向观看者赋予有变化的生动的印象或气氛。

本申请发明的第4方式所涉及的图像合成装置中，根据主要被摄体的笑容的程度计算与主要被摄体的表情有关的布局评价值。

根据该方式，根据主要被摄体的笑容的程度计算的每一页面的布局评价值沿页面的行进具有规律性变化，因此能够向观看者赋予有变化的生动的印象或气氛。

本申请发明的第5方式所涉及的图像合成装置中，控制部根据每一页面的布局评价值的变化率进行每一页面的布局评价值是否具有规律性变化的判断，并根据判断的结果控制通过模板选择部进行的图像配置用模板的选择及通过图像选择部进行的图像的选择中的至少一种选择。

本申请发明的第6方式所涉及的图像合成装置中，具备主题设定部，该主题设定部设定合成图像的主题，控制部控制通过模板选择部进行的图像配置用模板的选择及通过图像选择部进行的图像的选择中的至少一种选择，以使将每一页面的布局评价值的规律性变化制作成预先与所设定的主题建立了对应的图案。

根据该方式，由于每一页面的布局评价值沿页面的行进与所设定的主题具有规律性变化，因此能够向观看者赋予有变化的生动的印象或气氛。

本申请发明的第7方式所涉及的图像合成装置中，具备主题推定部，该主题推定部推定合成图像的主题，控制部控制通过模板选择部进行的图像配置用模板的选择及通过图像选择部进行的图像的选择中的至少一种选择，并将每一页面的布局评价值的规律性变化制作成预先与所推定的主题建立了对应的图案。

根据该方式，由于每一页面的布局评价值沿页面的行进和所推定的主题具有规律性变化，因此能够向观看者赋予有变化的生动的印象或气氛。

本申请发明的第8方式所涉及的图像合成装置中，主题推定部根据图像的被摄体的解析推定合成图像的主题。

本申请发明的第9方式所涉及的图像合成装置中，规律性变化包括色彩意象尺度中的基于合成图像的每一页面的颜色分布的每一页面的布局评价值的周期性变动。

本申请发明的第10方式所涉及的图像合成装置中，控制部进行所选择的图像的校正，以使每一页面的布局评价值沿页面的行进具有规律性变化。

本申请发明的第11方式所涉及的图像合成装置中，控制部对图像的亮度、色调、尺寸的变更、模糊及黑白化中的至少一个进行校正。

本申请发明的第12方式所涉及的图像合成装置具备：完成度计算部，根据每一页面的布局评价值计算合成图像的完成度；及完成度输出部，输出完成度。

根据该方式，能够根据完成度向用户显示如下结果，该结果为控制了通过模板选择部进行的图像配置用模板的选择及通过图像选择部进行的图像的选择中的至少一种选择，以使通过评价值计算部计算的每一页面的布局评价值沿页面的行进具有规律性变化的结果。

本申请发明的第13方式所涉及的图像合成装置中，图像配置用模板包括相册的图像配置用模板。

本申请发明的第14方式所涉及的图像合成方法执行如下步骤：与多个页面的各页面建立对应而按相关联的每一图像对多个图像进行分组；按多个页面的每一页面选择图像配置用模板；按与多个页面的各页面建立对应而进行了分组的图像的每一组，从组内的图像选择一个或多个图像；依照所选择且与多个页面的各页面对应的图像配置用模板，分别对按与多个页面的各页面对应的每一组所选择的图像进行布置，并按每一页面生成合成图像；按每一页面计算所生成的每一页面的合成图像的布局评价值；及控制图像配置用模板的选择及图像的选择中的至少一种选择，以使所计算的每一页面的布局评价值沿页面的行进具有规律性变化。

用于使计算机执行该图像合成方法的图像合成程序也包含于本发明的方式。另外，图像合成程序可被记录于各种计算机能够读取的非暂时性有形介质(non-transitorycomputer-readable tangible medium)而提供。

发明效果

根据本发明，由于每一页面的布局评价值沿页面的行进具有规律性变化，因此能够向观看者赋予有变化的生动的印象或气氛。

附图说明

图1为表示图像合成装置的结构的框图。

图2为表示合成图像生成部的详细功能的框图。

图3为表示规定布局评价值的规律性变化的阈值范围的一例的图。

图4为图像合成处理的流程图。

图5为表示属于各组的各素材图像的选择及所选择的各素材图像被布置在模板中的合成图像的一例的图。

图6为表示属于各组的各素材图像的选择的重组和所选择的各素材图像被布置在模板中的合成图像的一例的图。

具体实施方式

图1为表示本发明的实施方式所涉及的图像合成装置1的结构的框图。该图中所示的图像合成装置1为使用由用户上传到服务器的图像或从由用户任意保存了图像的便携式介质等读取的图像，自动制作相册或拼贴打印等合成图像的装置。

合成图像可作为根据图像制作的实际相册或拼贴打印等商品而贩卖，但并不限定于付费的商品，也包括免费提供的商品。

图像合成装置1具备通信部11、存储器12、合成图像生成部13、操作部14及显示部15。图像合成装置1能够由已知的个人计算机或服务器和这些周边设备构成。

图像合成装置1将从个人计算机、智能手机、平板终端等用户终端经由通信部11上传的图像保存到存储器12，或者将保存在存储器12中的图像、合成图像生成部13所制作的相册或拼贴打印等合成图像经由通信部11提供给用户终端。

存储器12由硬盘单元等大容量存储介质构成，且能够以各种图像保存形式保存多个图像，包括以如在线相册那样的相册形式(文件夹形式)的保存，以年月日单位的保存，以及以其他形式的保存。

合成图像生成部13由CPU(Central Processing Unit：中央处理器)构成，并使用保存在存储器12的图像来制作相册或拼贴打印等合成图像，并将其保存到存储器12。

操作部14由触摸面板或键等构成，且从用户接收关于相册的规格等各种操作。

显示部15进行保存在存储器12的图像或合成图像的模板的显示、通过操作部14从该所显示的图像中选择的图像或模板的显示、合成图像生成部13所制作的合成图像的显示等。

图2为表示合成图像生成部13的详细功能的框图。这些功能通过由合成图像生成部13执行存储在存储器12等计算机能够读取的非暂时性有形介质(non-transitorycomputer-readable tangible medium)中的程序而实现。

图像获取部101从存储器12获取成为相册的素材的多个图像即素材图像。

分组部102根据素材图像的附带信息(Exif标签等)对素材图像进行分组。例如，当作为附带信息而记录有摄影日期和时间时，在摄影间隔比较大的素材图像之间对所获取的多个素材图像进行划分而将其分组成多个组。分组中还包括各组的排序及依照该顺序的组与页面的对应建立。

具体而言，例如根据摄影日期和时间，将多个素材图像分组为2月23日的10:00-10:29的组、2月23日的10:30-10:59的组……等，从摄影日期和时间早的顺序，将这些组排序成与模板的第1页面对应的组、与第2页面对应的组等。或者可以将素材图像按附带信息中所包含的位置信息相同或位置信息接近的图像而进行分组。并且，可以利用除了摄影日期和时间或摄影位置以外的附带信息、例如标题、主题、制作者、评论或这些的组合来对图像进行分组。

主题设定部108为设定相册等合成图像的主题的机构。例如，主题设定部108根据规定的主题“婚礼”、“旅行”、“成长记录”等将从操作部14任意选择的主题设定为合成图像的主题。

主题推定部109对素材图像进行解析而推定合成图像的主题。该情况下，根据被摄体的人物的表情、年龄、服饰或携带物品的配色或颜色分布等，将拍摄了素材图像的主题推定为“婚礼”、“旅行”、“成长记录”等。

当主题推定部109无法推定主题，或者即使推定也并不适当时，主题设定部108可以通过用户操作接收主题设定。并且，可以对1个合成图像设定多个主题。例如，可以将合成图像的前半页面设定为婚礼，将后半页面设定为婚礼宴会等的主题。

模板选择部112从存储器12选择与所设定或推定的合成图像的主题对应的合成图像的模板(图像配置用模板)。该模板包括相册或拼贴打印等商品的种类、成为每一页面的素材图像的配置区域的框架的位置及尺寸的信息或框架的设计或框架的外部的背景图像等设计信息。另外，页面包括展开的页面和除了展开的页面以外的各页面。另外，图像配置用模板包括相册的图像配置用模板。

图像选择部103从存储器12读取模板选择部112所选择的模板，并按每一页面选择应配置在所读取的模板中规定的各页面的图像的框架上的素材图像。

例如，若能够配置在“婚礼”主题的相册的某1页面的最大图像数量为8张，且与该页面对应而分组的图像数量为8张，则图像选择部103选择所有的图像。若能够配置在“婚礼”主题的相册的1页面的图像数量为8张，且所分组的图像数量为1张～7张，则图像选择部103选择所有的图像，并且从时间上相邻等其他组选择满足配置图像数量所需的素材图像。

图像校正部104针对图像选择部103所选择的素材图像，对素材图像的亮度或色调进行校正，以使适合模板选择部112所选择的模板中的配置位置的页面的设计信息。其为使素材图像的亮度或色调与配置该素材图像的模板的页面的背景图像统一的校正。图像校正部104可以进行素材图像的黑白化或模糊或尺寸变更，以使适合模板的设计信息。

图像配置部105将图像校正部104所校正的素材图像配置于模板中规定的各页面的图像的框架上，并对素材图像与模板进行合成来制作合成图像。

布局评价值计算部106针对在相册的所对应的页面的模板配置有素材图像的合成图像的各页面，计算布局评价值。

根据配置在1页面内的所有图像的数量、配置在1页面内的所有图像与除了图像以外的部分的面积比、配置在1页面内的所有图像的主要被摄体的表情、该主要被摄体的大小、配置在1页面内的所有图像与模板的合成图像的颜色分布中的至少一个计算该布局评价值。如何定义布局评价值是用户的自由，但一旦被定义的布局评价值直至合成图像的制作结束为止不会变更而一致。

例如，若将配置在1页面内的所有图像的面积的合计设为S1，将1页面内的除了图像以外的背景图像的部分的面积设为S2，则布局评价值为S1/S2。可以将面积比其本身作为布局评价值，但也可以根据面积与阈值的比较将图像与背景图像的面积的平衡作为布局评价值。例如，可以设为如下，即若为0.5＜S1/S2＜0.8则布局评价值＝1，其他情况下布局评价值＝0等。由此，当背景图像占据的比例非常多时，或者配置图像占据的比例非常多时，降低布局评价值。

根据表示各被摄体的笑容的程度的笑容程度的合计来计算与配置在1页面内的所有图像的主要被摄体的表情有关的布局评价值。关于面部区域，能够通过公知的方法计算笑容程度。具体而言，根据模板匹配或机器学习等计算构成面部的眼睛、鼻子及嘴等面部构成部分的轮廓、以及眼头、眼尾、鼻翼、嘴角及唇的位置等面部构成部分的位置等笑容程度的计算中所需要的特征量，并对该特征量进行解析，由此计算笑容程度。笑容程度还能够通过其他的公知方法来计算。

作为主要被摄体的大小，能够利用通过面部检测检测出的面部尺寸。可以将面部尺寸其本身作为布局评价值，也可以将面部尺寸相对于图像的面积的平衡作为布局评价值。

所有图像与模板的合成图像的颜色分布可以是相对于将与色彩有关的数值进行投影的双轴以上的颜色空间，描绘了与合成图像的每一页面的色彩有关的数值的分布的颜色分布。例如，可通过在NIPPON COLOR&DESIGN RESEARCH I NSTITUTE INC.所研发的由WARM，COOL的横轴与SOFT，HARD的纵轴构成的意象尺度等与颜色有关的空间绘制由合成图像的像素构成的配色图案而得到。

与颜色分布有关的布局评价值可通过依赖由主题设定部108设定的相册的主题的计算方法进行计算。例如，当相册的主题为“婚礼”，且在意象尺度的“优雅”的区域绘制有合成图像的配色图案时，设为布局评价值＝1，当在其他区域绘制有合成图像的配色图案时，设为布局评价值＝0。

除此以外，可以检测素材图像中所包含的人的面部(面部区域)的数量、面部的大小、面部朝向、面部的位置等，并根据素材图像中所包含的面部的数量、面部的大小、朝向正面的面部的数量计算布局评价值。或者，可以根据面部区域的亮度、色彩的鲜艳度、曝光不足的程度或过度曝光的程度、模糊抖动的程度等计算布局评价值。

进一步优选布局评价值计算部106计算与主题设定部108所设定的主题或主题推定部109所推定的合成图像的主题对应的布局评价值。

例如，将合成图像的主题设为“旅行”。当意象尺度的“鲜明(clear)”的区域绘制有合成图像的某1个页面的配色图案时，该页面的布局评价值设为“鲜明”的区域的外缘至绘制有该页面的配色图案的坐标为止的最小距离。当在除了“鲜明”以外的区域绘制有该页面的配色图案时，设为该页面的布局评价值＝0。

或者，将合成图像的主题设为“婚礼”。当在意象尺度的“优雅”区域绘制有合成图像的某1个页面的配色图案时，该页面的布局评价值设为“优雅”的区域的外缘至绘制有该页面的配色图案的坐标为止的最小距离。当在除了“优雅”以外的区域绘制有该页面的配色图案时，设为该页面的布局评价值＝0。

布局评价值周期设定部(范围设定部)107设定合成图像的每一页面的布局评价值的周期性变动性。

例如，如图3所示，布局评价值周期设定部107对从布局评价值计算部106所计算的每一页面的布局评价值V₁(1)、V₂(1)、......中取其最大值Vmax的页面Pmax进行特定。然后，布局评价值周期设定部107以取该最大值Vmax的页面Pmax的布局评价值为起点设定如各页面P₁、P₂、......的布局评价值V₁(1)、V₂(1)、......按照页面的行进周期性地上升或下降那样的布局评价值的阈值范围T₁、T₂、......。另外，布局评价值可以是一维参数，也可以是二维以上的参数。阈值范围具有与布局评价值对应的维数，可以是一维参数，也可以是二维参数。

图3的阈值范围T₁、T₂、......的周期性上下移动依照以Vmax为振幅的上限的余弦曲线。但是，这仅为例示，也可以沿正弦曲线、不同的相位或振幅的正弦曲线与余弦曲线的合成波、小波函数的合成等周期性地发生变动的函数设定阈值范围。

并且，可以将规定该规律性变化的每一页面的阈值范围制作成预先与合成图像的主题建立关联的图案。例如，当主题为“旅行”时，将阈值范围设定为布局评价值的最大值与最小值之间的振幅A＝1，当主题为“婚礼”时，将阈值范围设定为布局评价值的最大值与最小值之间的振幅A＝0.8。

重新布局控制部(控制部)111控制图像选择部103、图像配置部105、布局评价值计算部106，对配置于各页面的素材图像进行重组，并将重组之后的每一页面的布局评价值控制在布局评价值周期设定部107所设定的阈值范围T₁、T₂、......。

即，首先重新布局控制部111对每一页面的布局评价值与每一页面的阈值范围进行比较。若每一页面的布局评价值未被控制在相对应的每一页面的阈值范围，则重新布局控制部111判定为需要重选该页面的素材图像(每一页面的布局评价值的变动是单调的或随机的)。另一方面，若每一页面的布局评价值被控制在相对应的每一页面的阈值范围，则重新布局控制部111判定为不需要重选该页面的素材图像(每一页面的布局评价值的变动是周期性的，而不是单调的也不是随机的)。

另外，重新布局控制部111可以根据不同的页面的布局评价值彼此的差异或该差异的变化率等，判定每一页面的布局评价值的变动是单调的还是随机的，而不是根据每一页面的布局评价值与阈值范围的比较。

例如，若某页面A和与该页面相邻的页面B的布局评价值之差的绝对值在规定阈值范围内例如为1以上且小于2，则不进行页面A的素材选择，若这些布局评价值之差在规定范围外，则进行页面A的素材图像的重选。

或者，例如布局评价值彼此的变化率针对任何页面之间都为0或接近0，则能够判定为布局评价值的变动是单调的。并且，若在某页面A/B之间该变化率成为比规定值大的值，而在其他页面B/C之间该变化率为0或接近0，则能够判定为在页面B/C之间布局评价值的变动是随机的。

或者，例如布局评价值彼此的变化率针对任何页面之间都是相同或接近的值，则能够判定为每一页面的布局评价值的变动是周期性的，而不是单调或随机的。

接着，重新布局控制部111控制图像选择部103，从判定为需要重选素材图像的页面的组或时间上与该组相邻等与进行了该页面的素材图像的选择的组不同的组中选择有助于布局评价值的上升或减少的素材图像。若在同一组中存在能够追加选择的剩余的素材图像，则选择其即可，在不存在的情况下，从其他组中选择素材图像即可。

即，重新布局控制部111控制图像选择部103，当页面的布局评价值小于阈值的下限时，从选择了该页面的素材图像的组中排除任意1个素材图像(例如，色调与所选择的模板的背景图像不匹配等最有助于布局评价值的减少的素材图像)。替代该情况，从与该页面对应的组或时间上与该页面的组相邻等其他组中追加选择比被排除的素材图像更有助于布局评价值的上升的素材图像，且设为配置于布局评价值小于阈值的下限的页面的素材图像。

并且，重新布局控制部111控制图像选择部103，当页面的布局评价值大于阈值范围的上限时，从选择了该页面的素材图像的组中排除任意1个素材图像(例如，色调与所选择的模板的背景图像匹配等最有助于布局评价值的上升的素材图像)。替代该情况，从与该页面对应的组或时间上与该页面的组相邻等其他组中追加选择比该被排除的素材图像有助于布局评价值的减少的素材图像，且设为配置于布局评价值大于阈值范围的上限的页面的素材图像。

而且，重新布局控制部111在通过图像选择部103进行的素材图像重选之后控制图像配置部105，在该页面进行除了被排除的素材图像以外的已选择的素材图像和被追加选择的素材图像对模板的重新布置以及合成图像的生成。并且，重新布局控制部111控制布局评价值计算部106，针对重新布置在模板之后的合成图像，对于进行了图像的重选和重新布局的页面进行布局评价值的重算。

重新布局控制部111对重新布局之后的页面的布局评价值V₂(2)、......与阈值范围T₂、T₃、......进行比较，若这些布局评价值V₂(2)、V₃(2)......超出阈值范围T₂、T₃、......，则直至控制在阈值范围T₂、T₃、......内为止，与上述同样地重复进行素材图像的重选、重新配置、布局评价值的重算。若布局评价值V₁(1)、V₂(1)、......或布局评价值V₁(2)、V₂(2)、......在阈值范围T₁、T₂、......内，则不再进行素材图像的重选、重新配置、布局评价值的重算。

当即使从相邻的其他组中追加素材图像，布局评价值也大于阈值范围或小于阈值范围时，还可以从其他组选择素材图像而追加。

并且，可以与素材图像的重选一同或与素材图像的重选单独地由重新布局控制部111控制成由图像校正部104以重选的素材图像的重新配置之后的布局评价值控制在阈值范围的方式进行重选的素材图像的亮度、色调、尺寸的变更、模糊或黑白化、以及这些的全部或一部分的组合。

而且，可以与素材图像的重选一同或与素材图像的重选单独地重复如下操作，即，从与所设定或推定的主题对应的模板中选择未计算布局评价值的未选择的模板，在该模板配置所选择的素材图像或重选的素材图像，并计算布局评价值。例如，通过将模板的框架的面积比设为与阈值范围对应，进行如素材图像的面积比规则性变动的布局。

图3中，布局评价值V₂(1)、V₃(1)、V₅(1)、V₈(1)超出阈值范围T₂、T₃、T₅、T₈，因此进行素材图像的重选和重新配置。由此，布局评价值V₂(1)、V₃(1)、V₅(1)、V₈(1)变成在阈值范围T₂、T₃、T₅、T₈内的布局评价值V₂(2)、V₃(2)、V₅(2)、V₈(2)，且各页面的布局评价值V沿页面P的行进而规则性变化。

素材图像的重选可以基于经由操作部14的任意的用户操作。

完成度输出部110将重新布局之前的合成图像和重新布局之后的合成图像的完成度显示于显示部15。该完成度为基于合成图像的布局评价值确定的数值。例如，完成度为以百分比表示重新布局之前的合成图像及重新布局之后的合成图像的各页面的布局评价值、各页面的布局评价值的平均值、各页面的布局评价值的总和或布局评价值的平均值或总和的理想的上限值与实际布局评价值的平均值或总和之间的比率的数值等，且由完成度计算部113计算。

可以与通过完成度输出部110进行的完成度的输出及呈现一同将重新布局之前的合成图像和重新布局之后的合成图像并列显示于显示部15。

图4为图像合成装置1执行的图像合成处理的流程图。用于使图像合成装置1执行该处理的程序被存储在存储器12等计算机能够读取的非暂时性有形介质(non-transitorycomputer-readable tangible medium)。

S10(主题设定步骤)中，主题设定部108设定合成图像的主题。替代主题设定步骤，也可以执行主题推定部109推定合成图像的主题的步骤(主题推定步骤)。

S11(模板选择步骤)中，模板选择部112从存储器12选择与在S10中设定或推定的合成图像的主题对应的模板。

S12(图像获取步骤)中，图像获取部101从存储器12获取成为相册的素材的多个图像即素材图像。

S13(分组步骤)中，分组部102根据各个附带信息将图像获取部101所获取的素材图像分组为多个组。

S14(图像选择步骤)中，图像选择部103按所分组的每一组，从组中所包含的多个素材图像中选择与能够配置在合成图像的1页面的图像数量相当的素材图像。当无法在组内确保所需要的图像数量时，从相邻的组选择素材图像。

S15(图像校正步骤)中，图像校正部104针对所选择的素材图像，进行颜色调整、裁剪、调整大小等各种校正。

S16(图像配置步骤)中，图像配置部105将校正之后的素材图像布置于与在S10中设定或推定的合成图像的主题对应的模板，并生成合成图像。

S17(布局评价值计算步骤)中，布局评价值计算部106针对将素材图像配置在模板之后的合成图像计算每一页面的布局评价值。

S18(布局评价值周期设定步骤)中，布局评价值周期设定部107设定合成图像的每一页面的布局评价值的周期性变动性。

S19(重选判定步骤)中，重新布局控制部111按合成图像的每一页面判定是否需要素材图像的重选。当判定为需要时返回到S14，针对判定为需要素材图像的重选的页面，进行素材图像的重选、所重选的素材图像的布局、布局评价值的重算。S15可以根据需要而重复进行。S18(布局评价值周期设定步骤)可以不重复进行。并且，可以重复进行素材图像的校正、不同的模板选择。

S20(完成度呈现步骤)中，完成度输出部110将合成图像的完成度输出到显示部15而进行呈现。另外，完成度呈现步骤可以在每次执行S17时重复进行。

图5中例示如下合成图像，该合成图像中针对被分组为组G₁、G₂、G₃、......的各素材图像，从组G₁选择素材图像G₁-I₁，从组G₂选择素材图像G₂-I₃、G₂-I₄、G₂-I₅等，并布置在相对应的页面P₁、P₂、......的模板的框架。在页面P₁、P₂、......的模板的框架布置有这些素材图像的布局评价值为上述的V₁(1)、V₂(1)、......。

图6中例示如下合成图像，该合成图像中针对被分组为组G₁、G₂、G₃、......的各素材图像，从组G₁选择素材图像G₁-I₁，从组G₂选择比已选择的素材图像G₂-I₃、G₂-I₄、G₂-I₅更有助于布局评价值的规则性变动的素材图像G₂-I₂，且在相对应的页面P₁、P₂、......的模板的框架布置有这些素材图像。在页面P₁、P₂、......的模板的框架布置有这些重选之后的素材图像的布局评价值为上述的V₂(2)、......。

并且，如图6所例示，完成度输出部110可以以布置有重选之后的素材图像的状态显示完成度。

通过以上处理制作的合成图像中，依照页面的行进而布局评价值规则性变动，因此能够向观看者赋予有变化的生动而并非单调的印象或气氛。

例如，若主题为“婚礼”，且以与意象尺度的“优雅”的外缘的最小距离计算布局评价值，则重选素材图像或模板，以使配色在意象尺度的“优雅”的区域内规则性变化，由此能够向观看者赋予依照“婚礼”的主题的有变化的生动的印象或气氛。

或者，若主题为“婚礼”，且以被摄体的笑容的程度计算布局评价值，则能够以使观看者容易理解的方式向其赋予如下样子，即在“婚礼”的合成图像中，沿页面的行进，被摄体从紧张到笑容或从笑容到紧张周期性变化的样子。

并且，当根据图像的面积比、图像的数量、图像的主要被摄体的大小、图像的颜色分布计算了布局评价值时，能够向观看者赋予这些沿页面的行进周期性变化的样子。

符号说明

1-图像合成装置，11-通信部，12-存储器，13-合成图像生成部，14-操作部，15-显示部，101-图像获取部，102-分组部，103-图像选择部，104-图像校正部，105-图像配置部，106-布局评价值计算部，107-布局评价值周期设定部，108-主题设定部，109-主题推定部，110-完成度输出部，111-重新布局控制部，112-模板选择部，S10-主题设定步骤，S11-模板选择步骤，S12-图像获取步骤，S13-分组步骤，S14-图像选择步骤，S15-图像校正步骤，S16-图像配置步骤，S17-布局评价值计算步骤，S18-布局评价值周期设定步骤，S19-重选判定步骤，S20-完成度呈现步骤。

Claims (15)

1.一种图像合成装置，其具备：

分组部，与多个页面的各页面建立对应而按相关联的每一图像对多个图像进行分组；

模板选择部，按所述多个页面的每一页面选择图像配置用模板；

图像选择部，按与所述多个页面的各页面建立对应而进行了分组的图像的每一组，从组内的图像选择一个或多个图像；

合成图像生成部，依照通过所述模板选择部选择且与所述多个页面的各页面对应的所述图像配置用模板，分别对按与所述多个页面的各页面对应的每一组通过所述图像选择部选择的图像进行布置，并按每一所述页面生成合成图像；

评价值计算部，按每一所述页面计算通过所述合成图像生成部生成的每一所述页面的合成图像的布局评价值；及

控制部，控制通过所述模板选择部进行的所述图像配置用模板的选择及通过所述图像选择部进行的图像的选择中的至少一种选择，以使得通过所述评价值计算部计算的每一所述页面的布局评价值沿所述页面的行进具有规律性变化。

2.根据权利要求1所述的图像合成装置，其中，

所述图像合成装置具备范围设定部，该范围设定部设定对沿所述页面的行进的布局评价值的规律性变化进行规定的范围，

所述控制部控制所述图像选择部而对属于所述图像的组的图像的选择进行重组，并且控制所述评价值计算部而计算所述重组之后的每一页面的布局评价值，并进行重复所述图像的选择的重组和所述重组之后的每一页面的布局评价值的计算的控制，直至所述重组之后的每一页面的布局评价值属于所述范围设定部所设定的范围。

3.根据权利要求1或2所述的图像合成装置，其中，

根据布置在每一所述页面的图像配置用模板中的图像的面积比、所述图像的数量、所述图像的主要被摄体的表情、所述图像的主要被摄体的大小、所述图像的颜色分布及所述合成图像的颜色分布中的至少一个，计算每一所述页面的布局评价值。

4.根据权利要求3所述的图像合成装置，其中，

根据所述主要被摄体的笑容的程度计算与所述主要被摄体的表情有关的所述布局评价值。

5.根据权利要求1至4中任一项所述的图像合成装置，其中，

所述控制部根据每一所述页面的布局评价值的变化率进行每一所述页面的布局评价值是否具有规律性变化的判断，并根据所述判断的结果，控制通过所述模板选择部进行的所述图像配置用模板的选择及通过所述图像选择部进行的图像的选择中的至少一种选择。

6.根据权利要求1至5中任一项所述的图像合成装置，其中，

所述图像合成装置具备主题设定部，该主题设定部设定所述合成图像的主题，

所述控制部控制通过所述模板选择部进行的所述图像配置用模板的选择及通过所述图像选择部进行的图像的选择中的至少一种选择，以使得将每一所述页面的布局评价值的规律性变化制作成预先与所设定的所述主题建立了对应的图案。

7.根据权利要求1至5中任一项所述的图像合成装置，其中，

所述图像合成装置具备主题推定部，该主题推定部推定所述合成图像的主题，

所述控制部控制通过所述模板选择部进行的所述图像配置用模板的选择及通过所述图像选择部进行的图像的选择中的至少一种选择，并将每一所述页面的布局评价值的规律性变化制作成预先与所推定的所述主题建立了对应的图案。

8.根据权利要求7所述的图像合成装置，其中，

所述主题推定部根据所述图像的被摄体的解析推定所述合成图像的主题。

9.根据权利要求1至8中任一项所述的图像合成装置，其中，

所述规律性变化包括基于颜色分布的每一所述页面的布局评价值的周期性变动，该颜色分布是相对于对与色彩有关的数值进行投影的双轴以上的颜色空间描绘了与所述合成图像的每一页面的色彩有关的数值的分布的颜色分布。

10.根据权利要求1至9中任一项所述的图像合成装置，其中，

所述控制部进行所选择的所述图像的校正，以使得每一所述页面的布局评价值沿所述页面的行进具有规律性变化。

11.根据权利要求10所述的图像合成装置，其中，

所述控制部对所述图像的亮度、色调、尺寸的变更、模糊及黑白化中的至少一个进行校正。

12.根据权利要求1至11中任一项所述的图像合成装置，其中，

所述图像合成装置具备：

完成度计算部，根据每一所述页面的布局评价值计算所述合成图像的完成度；及

完成度输出部，输出所述完成度。

13.根据权利要求1至12中任一项所述的图像合成装置，其中，

所述图像配置用模板包括相册的图像配置用模板。

14.一种图像合成方法，其执行如下步骤：

与多个页面的各页面建立对应而按相关联的每一图像对多个图像进行分组；

按所述多个页面的每一页面选择图像配置用模板；

按与所述多个页面的各页面建立对应而进行了分组的图像的每一组，从组内的图像选择一个或多个图像；

依照所选择的且与所述多个页面的各页面对应的所述图像配置用模板，分别对按与所述多个页面的各页面对应的每一组所选择的图像进行布置，并按每一所述页面生成合成图像；

按每一所述页面计算所生成的每一所述页面的合成图像的布局评价值；及

控制所述图像配置用模板的选择及所述图像的选择中的至少一种选择，以使所计算的每一所述页面的布局评价值沿所述页面的行进具有规律性变化。

15.一种图像合成程序，其用于使计算机执行权利要求14所述的图像合成方法。