JP2017059123A - テンプレート選択システム，テンプレート選択方法，テンプレート選択プログラムおよびそのプログラムを格納した記録媒体 - Google Patents

Abstract

【課題】対象画像をテンプレートに合成した場合に違和感の無い印象となるテンプレートを選択するテンプレート選択システム，テンプレート選択方法，テンプレート選択プログラムおよびそのプログラムを格納した記録媒体を提供する。
【解決手段】対象画像が選択され，選択された対象画像を表す対象画像データが画像合成サーバ20に送信される（ステップ42）。対象画像の印象評価値が算出され（ステップ52），算出された印象評価値との差異がしきい値以下のテンプレートが選択される（ステップ53）。テンプレートに対象画像が合成され（ステップ54），合成画像を表す画像データがスマートフォンに送信される。スマートフォンに表示された合成画像の中から所望の合成画像がユーザによって選択される（ステップ45）。合成画像は，対象画像の印象に近い印象をもつテンプレートが利用されているから，違和感が無い。
【選択図】図６

Description

この発明は，テンプレート選択システム，テンプレート選択方法，テンプレート選択プログラムおよびそのプログラムを格納した記録媒体に関する。

ポスト・カード，電子アルバム，フォトブックなどのようにテンプレートにユーザが対象画像を貼り付け，ユーザの所望の合成画像を生成するものが実現されている。また，合成画像を生成する場合，テンプレートの色味と対象画像の色味とがあまりにも異なると，合成画像に違和感を生じるため，テンプレートの色味を調整するもの(特許文献１)，テンプレートの印象を表す付帯情報にもとづいて，テンプレートと合成する画像とが同様の印象となるように，あらかじめ定められた内容の画像処理を施して合成するもの(特許文献２)などが考えられている。さらに，被写体の感性表現を判定し，その感性表現を利用して画像検索を行うもの(特許文献３)なども考えられている。

さらに，ユーザの好みにもとづいてレイアウトを自動作成するもの(特許文献４，５)，テンプレートをユーザが選択し，レイアウト内に配置された画像の輝度，彩度のような特徴量などにもとづいてレイアウトを選択するもの(特許文献６)，一つの画面上に異なる印象を与えるスライドショーを行うもの(特許文献７)などもある。

特開2013-81208号公報 特許第3808231号 特許第5387103号 特開2014-199641号公報 特開2014-16819号公報 特開2014-16800号公報 特開2010-26614号公報

特許文献１に記載のものでは，テンプレートの色味を変えてしまうので，そのような色味をもつテンプレートをユーザが利用したい場合でも利用できないし，色味しか考慮していないので，色味以外のテンプレートと対象画像との相性が合う合成画像を得ることはできない。特許文献２に記載のものでは，テンプレートと構成する画像とが同様の印象となるように，予め定められた内容の画像処理を施してしまうので，対象画像自体が画像処理前のものと変わってしまう。特許文献３に記載のものは，画像検索を行うものにすぎない。特許文献４および５に記載のものでは，レイアウトを自動作成してしまうので，ユーザの好みのレイアウトが得られるとは限らない。特許文献６に記載のものでは，画像の輝度，彩度などにもとづいてレイアウトが選択されるので，輝度，彩度とは異なった観点からレイアウトを選択できない。特許文献７に記載のものでは，レイアウトを選択することは考えられていない。

この発明は，テンプレートに合成する対象画像の印象に合うテンプレートを選択することを目的とする。

この発明によるテンプレート選択システムは，テンプレートの印象評価値を，複数のテンプレートについて記憶するテンプレート印象評価値記憶部，テンプレートに合成する対象画像の印象評価値を算出する対象画像印象評価値算出部，およびテンプレート印象評価値記憶部に記憶されている複数のテンプレートの印象評価値と対象画像印象評価値算出部によって算出された対象画像の印象評価値との差異が小さい順にテンプレートを選択するテンプレート選択部を備えていることを特徴とする。

この発明は，テンプレート選択方法も提供している。すなわち，この方法は，テンプレート印象評価値記憶部が，テンプレートの印象評価値を，複数のテンプレートについて記憶し，対象画像印象評価値算出部が，テンプレートに合成する対象画像の印象評価値を算出し，テンプレート選択部が，テンプレート印象評価値記憶部に記憶されている複数のテンプレートの印象評価値と対象画像印象評価値算出部によって算出された対象画像の印象評価値との差異が小さい順にテンプレートを選択するものである。

テンプレート選択部は，テンプレート印象評価値記憶部に記憶されている複数のテンプレートの印象評価値のうち対象画像印象評価値算出部によって算出された対象画像の印象評価値との差がしきい値以下の印象評価値をもつテンプレートを選択するようにしてもよい。テンプレート選択部によって選択したテンプレートに上記対象画像を合成して合成画像を生成する対象画像合成部をさらに備えるようにしてもよい。

対象画像合成部によって生成された合成画像を表示装置の表示画面に表示させる第１の表示制御部をさらに備えてもよい。

第１の表示制御部は，たとえば，対象画像合成部によって生成された合成画像に使用されているテンプレートの印象評価値と対象画像の印象評価値との差異が小さい順に，対象画像合成部によって生成された合成画像を表示装置の表示画面に表示させる。

テンプレート選択部によって選択したテンプレートを表示装置の表示画面に表示させる第２の表示制御部をさらに備えてもよい。

第２の表示制御部は，たとえば，差異が小さい順に，テンプレート選択部によって選択したテンプレートを表示装置の表示画面に表示させる。

対象画像に含まれている人物の顔を検出する顔検出部をさらに備えてもよい。この場合，対象画像印象評価値算出部は，たとえば，顔検出部によって検出された人物の顔の印象評価値を算出する。

対象画像印象評価値算出部は，たとえば，顔検出部によって検出された人物の顔から，人物の性別，年齢，表情および顔向きのうち少なくとも１つについて印象評価値を算出する。

対象画像に含まれている人物を検出する人物検出部をさらに備えてもよい。この場合，対象画像印象評価値算出部は，たとえば，人物検出部によって検出された人物の印象評価値を算出する。

対象画像印象評価値算出部は，たとえば，人物検出部によって検出された人物から，人物の躍動感について印象評価値を算出する。

対象画像印象評価値算出部は，たとえば，対象画像について２種類以上の印象評価値をベクトルとして算出し，テンプレート印象評価値記憶部は，テンプレートについて２種類以上の印象評価値をベクトルとして記憶する。この場合，テンプレートにおける差異は，対象画像の印象評価値とテンプレートの印象評価値とのベクトル間距離である。

印象評価値記憶部は，たとえば，テンプレートの色分布データを，複数のテンプレートについて記憶し，かつ色分布データに対応して，テンプレートの印象評価値を記憶する。

色分布データが同一である複数のテンプレートを生成するテンプレート生成部をさらに備えてもよい。印象評価値記憶部は，複数のテンプレートについて色分布データを算出し，かつ色分布データに対応してテンプレートの印象評価値を記憶するようにしてもよい。

対象画像印象評価値算出部は，たとえば，複数の対象画像のそれぞれについて印象評価値を算出し，対象画像印象評価値算出部において算出された複数の対象画像についての複数の印象評価値から，複数の対象画像についての複数の印象評価値の総合評価を表す印象評価総合値を算出する対象画像印象評価総合値算出部をさらに備える。この場合，テンプレート選択部は，たとえば，印象評価値記憶部に記憶されている複数のテンプレートの印象評価値との差異を求める対象である対象画像の印象評価値として，印象評価総合値を用いる。

複数の対象画像のうち，合成する１以上の対象画像の優先順位を受け付ける優先順位受付部をさらに備えてもよい。この場合，対象画像印象評価総合値算出部は，たとえば，優先順位受付部において受け付けられた優先順位が高い対象画像ほど，印象評価値に高い重み付けを与え，対象画像印象評価総合値を算出する。

対象画像が複数ある場合に複数の対象画像のうち，合成する１以上の対象画像の優先順位を受け付ける優先順位受付部をさらに備えてもよい。この場合，対象画像合成部は，たとえば，テンプレート選択部によって選択したテンプレートに，優先順位受付部において受け付けた優先順位にしたがって対象画像を合成する。

対象画像合成部は，たとえば，選択されたテンプレートにおける大きさが大きい画像合成領域に対して，指定された優先順位にしたがって対象画像を合成する。

この発明によると，テンプレートに合成する対象画像の印象評価値が算出される。テンプレートの印象評価値が，複数のテンプレートについて記憶されており，記憶されている複数のテンプレートの印象評価値のうち，算出された対象画像の印象評価値との差異がしきい値以下の印象評価値をもつテンプレートが選択される。選択されたテンプレートの印象と対象画像の印象とは近いので，選択されたテンプレートに対象画像が合成された場合に，統一された印象を有する合成画像が得られるようになる。

画像合成システムの概要を示している。 スマートフォンの電気的構成を示すブロック図である。 画像合成サーバの電気的構成を示すブロック図である。 テンプレートの一例である。 テンプレート印象評価値テーブルの一例である。 画像合成システムの処理手順を示すフローチャートである。 対象画像の一例である。 対象画像印象評価値テーブルの一例である。 スマートフォンの表示画面の一例である。 画像合成システムの処理手順を示すフローチャートである。 スマートフォンの表示画面の一例である。 印象評価値算出処理手順を示すフローチャートである。 対象画像印象評価値テーブルの一例である。 印象評価値算出処理手順を示すフローチャートである。 対象画像印象評価値テーブルの一例である。 色分布テーブルの一例である。 テンプレートの一例である。 対象画像の一例である。 対象画像の一例である。 画像合成システムの処理手順を示すフローチャートである。 合成画像の一例である。 画像合成システムの処理手順を示すフローチャートである。

図１は，この発明の実施例を示すもので，画像合成システムの概要を示している。

この実施例では，対象画像をテンプレートに合成してポスト・カードの合成画像を生成する場合について説明するが，ポスト・カードに限らず，電子アルバム，フォトグッズなど，対象画像をテンプレートに合成して合成画像が生成されるようなシステムすべてについて適用できる。

画像合成システムには，インターネットのようなネットワークを介して互いに通信可能なスマートフォン（多機能携帯電話）１および画像合成サーバ（テンプレート選択システム）20が含まれている。スマートフォン１を利用せずにクライアント・コンピュータなどを利用できるのはいうまでもない。画像合成サーバ20には，画像合成サーバ20において生成された合成画像を表わす画像データからポスト・カードをプリントするためのプリンタ29が接続されている。

図２は，スマートフォン１の電気的構成を示すブロック図である。

スマートフォン１の全体の動作は，ＣＰＵ（Central Processing Unit）２によって統括される。

スマートフォン１には，表示制御装置３によって制御される表示装置４が含まれている。表示装置４の表示画面にはタッチ・パネル５が形成されている。タッチ・パネル５から与えられる指令はＣＰＵ２に入力する。また，スマートフォン１には，カメラ６，データを一時的に記憶するメモリ７および外部装置と接続するための外部インターフェイス８も含まれている。さらに，スマートフォン１には，マイクロフォン９，音声制御装置10およびスピーカ11が含まれている。また，インターネットに接続するための通信装置12，スマートフォン１の位置を検出するためのＧＰＳ（Global Positioning System）受信装置13および時計14もスマートフォン１に含まれている。

図３は，画像合成サーバ20の電気的構成を示すブロック図である。

画像合成サーバ20の全体の動作は，ＣＰＵ21（Central Processing Unit）によって統括される。

画像合成サーバ20には，データを一時的に記憶するメモリ22，コンパクト・ディスク23にアクセスするためのコンパクト・ディスク・ドライブ24およびプリンタ29を接続するためのプリンタＩ／Ｆ（インターフェイス）25が含まれている。また，画像合成サーバ20には，ハードディスク28およびハードディスク28にアクセスするためのハードディスク・ドライブ27も含まれている。

後述する動作を制御するプログラムが格納されているコンパクト・ディスク（記録媒体）23が画像合成サーバ20に装填され，コンパクト・ディスク・ドライブ24によってコンパクト・ディスク23に格納されているプログラムが読み取られる。読み取られたプログラムが画像合成サーバ20にインストールされることにより，画像合成サーバ20は，後述する動作を行う。画像合成サーバ20を制御するプログラム（コンピュータが読み取り可能）は，コンパクト・ディスク23のような記録媒体から読み取られるのではなく，インターネットを介して送信されたものを受信するようにしてもよい。

図４は，テンプレートの一例である。

図４には，テンプレートとして，６つのテンプレートＴ１からＴ６が図示されているが，６つよりも多い（少ない）テンプレートが存在してもよいのはいうまでもない。これらのテンプレートＴ１からＴ６を表す画像データは，画像合成サーバ20のハードディスク28に格納されている。

テンプレートＴ１からＴ６には，それぞれ対象画像（対象画像の一部）を合成する合成領域（貼り付ける領域）31から36が形成されている。合成領域は，一つのテンプレートに一つだけでなく，複数設けられていてもよい。

図５は，テンプレート印象評価値テーブルの一例である。

テンプレート印象評価値は，図５に示すテーブルの形態でメモリ22(テンプレート印象評価値記憶部)に格納されている。

テンプレート印象評価値テーブルには，テンプレートごとに，テンプレートの印象およびテンプレート印象評価値が，複数のテンプレートについて格納されている。印象には，性別(男らしさ)，年齢(若さ)，表情(硬さ)および顔向き(正面向き)の４種類が規定されているが，４種類未満の印象または５種類以上の印象についての印象評価値がテンプレート印象評価値テーブルに格納されていてもよい。

テンプレートの印象評価値は，今までにテンプレートとして利用された場合に，合成領域に合成された対象画像に含まれる画像の人物の性別，年齢，表情および顔向きの統計にもとづいて決定される。実際に対象画像が合成されなくとも，アンケートにもとづいてテンプレートの印象評価値が決定されてもよい。たとえば，男性の対象画像が合成されることが多いテンプレートほど，性別(男らしさ)についてのテンプレートの印象評価値は高くなり，女性の対象画像が合成されることが多いテンプレートほど性別(男らしさ)についてのテンプレートの印象評価値は低くなる。同様に，若い人物の対象画像が合成されることが多いテンプレートほど，年齢(若さ)についてのテンプレートの印象評価値は高くなり，年寄りの人物の対象画像が合成されることが多いテンプレートほど，年齢(若さ)についてのテンプレートの印象評価値は低くなる。表情の硬い人物の対象画像が合成されることが多いテンプレートほど，表情(硬さ)についてのテンプレートの印象評価値は高くなり，表情の柔らかい人物の対象画像が合成されることが多いテンプレートほど，表情(硬さ)についてのテンプレートの印象評価値は低くなる。また，顔の向きが正面を向いている人物の対象画像が合成されることが多いテンプレートほど，顔向き(正面)についてのテンプレートの印象評価値は高くなり，顔の向きが横を向いている人物の対象画像が合成されることが多いテンプレートほど，顔向き(正面)についてのテンプレートの印象評価値は低くなる。図５に示すテンプレート印象評価値テーブルでは，印象評価値の数値(たとえば，テンプレートＴ１についての印象「性別」であればＬ６)は，10段階で規定されており(10段階でなくともよい)，数値が大きいほど，印象評価値が高いものとなる。印象評価値は，０から１の間に規格化してもよいし，特定の印象評価値が高くなる（低くなる）ように重み付けをしてもよい。

図５に示すテンプレート印象評価値テーブルは，性別(男らしさ)，年齢(若さ)，表情(硬さ)および顔向き(正面)の４種類の印象について，それぞれの印象ごとの印象評価値を格納しているから，４種類の印象についての座標軸を考えた場合に，その座標軸における座標値を格納していると考えられ，印象評価値をベクトルとして記憶しているものととらえることができる。

図６は，画像合成システムの処理手順を示すフローチャートである。

ユーザは，スマートフォン１を操作してスマートフォン１に記憶されている多数の画像の中から，テンプレートに合成したい対象画像を選択する(ステップ41)。

図７は，ユーザによって選択された対象画像Ｉ１の一例である。

選択された対象画像Ｉ１を表す対象画像データがスマートフォン１から画像合成サーバ20に送信される(ステップ42)。

スマートフォン１から送信された対象画像データが画像合成サーバ20において受信されると(ステップ51)，対象画像Ｉ１の印象評価値が画像合成サーバ20のＣＰＵ21(対象画像印象評価値算出部)によって算出される(ステップ52)。

図８は，対象画像Ｉ１についての対象画像印象評価価値テーブルの一例である。

テンプレートと同様に，性別(男らしさ)，年齢(若さ)，表情(硬さ)および顔向き(正面)の印象についての印象評価値が算出される。

対象画像についての性別(男性)の印象評価値は，対象画像に人物が含まれている場合には，性別ごとに平均顔をあらかじめ用意しておき，性別ごとの平均顔と対象画像に含まれている人物の顔とのマッチング処理を行い，男性の平均顔との類似度が高いほど性別(男性)の印象評価値を高くする。また，顔だけでなく，人物が着ている服を検出し，たとえば，ブラウスを着ていたり，スカートをはいていれば，性別(男性)の印象評価値を低くし，ネクタイをしていれば性別(男性)の印象評価値を高くする。また，髪の毛を検出し，髪の毛の長さが長ければ，性別(男性)の印象評価値を低くし，髪の毛の長さが短ければ，性別(男性)の印象評価値を高くする。

また，対象画像についての年齢(若さ)の印象評価値は，対象画像に人物が含まれている場合には，年代ごとの平均顔をあらかじめ用意しておき，年代ごとの平均顔と対象画像に含まれている人物の顔とをマッチングし，類似度が最も高い年代を対象画像に含まれている人物の年代とし，年代が若いほど，年齢(若さ)の対象画像印象評価値が高くなり，推定された年代が年を取っているほど，年齢(若さ)の対象画像印象評価値が低くなる。

さらに，対象画像についての表情(硬さ)の印象評価値は，両目が開いているかどうか，口の形が湾曲しているかどうかなどにより算出できる。たとえば，両目が大きく開いていれば表情(硬さ)の印象評価値は高くなり，口の形が湾曲していれば表情(硬さ)の印象評価値は低くなる。

さらに，顔向き(正面)の印象評価値については，目，鼻，口の位置にもとづいて算出できる。両目とも見えていれば顔向きは正面と考えられ，両目のうちいずれか一方の目のみが見えている場合には顔向きは横向きと考えられる。また，鼻または口が顔の中央に近ければ顔向きは正面と考えられ，鼻または口が顔の中央から離れていれば顔向きは横向きと考えられる。

図８に示す対象画像印象評価値テーブルも，図５に示すテンプレート印象評価値テーブルと同様に，４種類の印象評価値のそれぞれを軸とした座標値に対応した印象評価値を格納していると考えられるから，ＣＰＵ21によって対象画像について４種類(２種類以上)の印象評価値をベクトルとして算出しているものとなる。

このようにして，対象画像についての印象評価値がＣＰＵ21によって算出され，算出された印象評価値は対象画像印象評価値テーブルに格納される。印象評価値テーブルは，メモリ22に格納される。

つづいて，メモリ22に記憶されているテンプレート印象評価値テーブルに格納されている複数のテンプレートの印象評価値のうち，算出された対象画像の印象評価値との差異がしきい値以下の印象評価値をもつテンプレートがＣＰＵ21(テンプレート選択部)によって選択される(ステップ53)。差異は，同種類の印象についての対象画像の印象評価値とテンプレートの印象評価値との差分の絶対値の和または積でもよい。たとえば，テンプレートＴ１の印象評価値と対象画像Ｉ１の印象評価値との差異は，和であれば，差異＝｜テンプレートＴ１の性別の印象評価値−対象画像Ｉ１の性別の印象評価値｜＋｜テンプレートＴ１の年齢の印象評価値−対象画像Ｉ１の年齢の印象評価値｜＋｜テンプレートＴ１の表情の印象評価値−対象画像Ｉ１の表情の印象評価値｜＋｜テンプレートＴ１の顔向きの印象評価値−対象画像Ｉ１の顔向きの印象評価値｜＝｜Ｌ６−Ｌ１｜＋｜Ｌ３−Ｌ８｜＋｜Ｌ７−Ｌ３｜＋｜Ｌ８−Ｌ８｜＝Ｌ14となる。他のテンプレートＴ２からＴ６についても同様にして対象画像Ｉ１の印象評価値との差異を算出できる。

また，図５に示すテンプレート印象評価値テーブルに格納されているテンプレートについての印象評価値および対象画像評価値テーブルに格納されている対象画像にいての印象評価値はいずれもベクトルと考えられるから，差異を対象画像の印象評価値とテンプレートの印象評価値とのベクトル間距離としてもよい。その場合のテンプレートＴ１の印象評価値と対象画像Ｉ１の印象評価値との差異は，差異＝√｛(テンプレートＴ１の性別の印象評価値−対象画像Ｉ１の性別の印象評価値)^２＋(テンプレートＴ１の年齢の印象評価値−対象画像Ｉ１の年齢の印象評価値) ^２＋(テンプレートＴ１の表情の印象評価値−対象画像Ｉ１の表情の印象評価値) ^２＋(テンプレートＴ１の顔向きの印象評価値−対象画像Ｉ１の顔向きの印象評価値) ^２｝＝√｛(Ｌ６−Ｌ１) ^２＋(Ｌ３−Ｌ８) ^２＋(Ｌ７−Ｌ３) ^２＋(Ｌ８−Ｌ８) ^２｝＝Ｌ８となる。他のテンプレートＴ２からＴ６についても同様にして対象画像Ｉ１の印象評価値との差異を算出できる。

差異が算出されると，差異が小さい順にテンプレートがＣＰＵ21(テンプレート選択部)によって選択される(ステップ53)。たとえば，テンプレートＴ５と対象画像Ｉ１との印象評価値の差異が一番小さく，その次にテンプレートＴ３と対象画像Ｉ１との印象評価値の差異が小さく，その次にテンプレートＴ４と対象画像Ｉ１との印象評価値との差異が小さかったものとする。すると，ＣＰＵ21(対象画像合成部)によって，選択されたテンプレートＴ５，Ｔ３およびＴ４の合成領域35，33および34に対象画像Ｉ１が合成され，合成画像が生成される(ステップ54)。生成された合成画像を表す合成画像データが画像合成サーバ20からスマートフォン１に送信される(ステップ55)。もっとも，対象画像Ｉ１の印象評価値さの差異がしきい値以下のテンプレートを，単に選択するようにしてもよい。

画像合成サーバ20から送信された合成画像データがスマートフォン１において受信されると(ステップ43)，スマートフォン１の表示画面に，印象評価値の差異の小さい順に合成画像が表示させられる(ステップ44)。画像合成サーバ20からスマートフォン１には合成画像データだけでなく，差異の順序を示すデータまたは差異の値を示すデータおよび表示コマンドが送信されており，そのデータにもとづいて，印象評価値の差異の小さい順にスマートフォン１の表示画面に合成画像が表示されることとなる。画像合成サーバ20からスマートフォン１への合成画像データ，差異の順序を示すデータまたは差異の値を示すデータおよび表示コマンドの送信が合成画像を，ＣＰＵ21(第１の表示制御部)によってスマートフォン１(表示装置)の表示画面に表示させることとなる。

図９は，スマートフォン１の表示画面60の一例である。

表示画面60には，合成画像61，62および63が表示されている。これらの合成画像61，62および63は，合成画像61，62および63を構成するテンプレートＴ５，Ｔ３およびＴ４の印象評価値と対象画像Ｉ１の印象評価値との差異の小さい順に表示されている。合成画像61，62および63は，それぞれ，テンプレートＴ５，Ｔ３およびＴ４に対象画像Ｉ１が合成されたものである。対象画像Ｉ１の印象評価値との差異は，テンプレートＴ５が一番小さいから合成画像61が一番目のおすすめとされ，次にテンプレートＴ３の印象評価値との差異が小さいからテンプレートＴ３が二番目のおすすめとされ，最後にテンプレートＴ４の印象評価値との差異が小さいからテンプレートＴ４が三番目のおすすめとされている。もっとも，差異の小さい順に表示されなくともよい。

ユーザは，表示画面60に表示されている合成画像61，62および63の中から所望の合成画像をタッチすることにより指定する(ステップ45)。すると，指定された合成画像の識別データがスマートフォン１から画像合成サーバ20に送信される(ステップ46)。

スマートフォン１から送信された識別データが画像合成サーバ20において受信されると(ステップ56)，受信した識別データによって特定される合成画像がプリンタ29によってプリントさせられる(ステップ57)。プリントされた合成画像はユーザの自宅に届けられることとなる。

図10および図11は，変形例を示すものである。図10は，画像合成システムの処理手順を示すもので，図６に示すフローチャートに対応するフローチャートである。図10において，図６に示す処理と同一の処理については同一符号を付している。図11は，スマートフォン１の表示画面60の一例である。

ユーザによって，テンプレートに合成する対象画像Ｉ１が選択され(対象画像Ｉ１が選択されたものとする)(ステップ41)，選択された対象画像Ｉ１を表す対象画像データがスマートフォン１から画像合成サーバ20に送信される(ステップ42)。対象画像データが画像合成サーバ20において受信されると(ステップ51)，対象画像Ｉ１の印象評価値が算出され(ステップ52)，対象画像Ｉ１の印象評価値との差異がしきい値以下のテンプレートがＣＰＵ21によって選択される(ステップ53)。図６に示す処理と同様に，テンプレートＴ５，Ｔ３およびＴ４が選択されたものとする。すると，画像合成サーバ20からスマートフォン１に選択されたテンプレートＴ５，Ｔ３およびＴ４をそれぞれ表すテンプレート画像データが画像合成サーバ20からスマートフォン１に送信される(ステップ81)。

画像合成サーバ20から送信されたテンプレート画像データがスマートフォン１において受信されると(ステップ71)，スマートフォン１の表示画面に，印象評価値の差異の小さい順にテンプレート画像が表示させられる(ステップ72)。画像合成サーバ20からスマートフォン１にはテンプレート画像データだけでなく，差異の順序を示すデータまたは差異の値を示すデータおよび表示コマンドが送信されており，そのデータにもとづいて，印象評価値の差異の小さい順にスマートフォン１の表示画面にテンプレート画像が表示されることとなる。画像合成サーバ20からスマートフォン１へのテンプレート画像データ，差異の順序を示すデータまたは差異の値を示すデータおよび表示コマンドの送信が，テンプレート画像を，ＣＰＵ21(第２の表示制御部)によってスマートフォン１(表示装置)の表示画面に表示させるものとなる。

図11は，スマートフォン１の表示画面60の一例である。

表示画面60には，テンプレートＴ５，Ｔ３およびＴ４が表示されている。これらのテンプレートＴ５，Ｔ３およびＴ４は，印象評価値と対象画像Ｉ１の印象評価値との差異の小さい順に表示されている。対象画像Ｉ１の印象評価値との差異は，テンプレートＴ５が一番小さいから合成画像61が一番目のおすすめとされ，次にテンプレートＴ３の印象評価値との差異が小さいからテンプレートＴ３が二番目のおすすめとされ，最後にテンプレートＴ４の印象評価値との差異が小さいからテンプレートＴ４が三番目のおすすめとされている。もっとも，差異の小さい順に表示されなくともよい。

ユーザは，表示画面60に表示されているテンプレートＴ５，Ｔ３およびＴ４の中から所望のテンプレートをタッチすることにより指定する(ステップ73)。すると，指定されたテンプレートの識別データがスマートフォン１から画像合成サーバ20に送信される(ステップ74)。

スマートフォン１から送信された識別データが画像合成サーバ20において受信されると(ステップ82)，受信した識別データによって特定されるテンプレートの合成領域に対象画像Ｉ１が，ＣＰＵ21(対象画像合成部)によって合成させられる(ステップ83)。合成画像がプリンタ29によってプリントさせられる(ステップ84)。プリントされた合成画像はユーザの自宅に届けられることとなる。

対象画像Ｉ１はスマートフォン１に記憶されているから，図11に示すようにテンプレートＴ５，Ｔ３およびＴ４が表示されている場合に，スマートフォン１において，それぞれのテンプレートＴ５，Ｔ３およびＴ４に，選択された対象画像Ｉ１を合成してもよい。すると，スマートフォン１の表示画面60には図９に示すような合成画像61，62および63が表示される。テンプレートＴ５，Ｔ３およびＴ４が表示されるだけでは合成画像61，62および63を想像しにくいが，合成画像61，62および63が表示されるので，テンプレートＴ５，Ｔ３およびＴ４に対象画像Ｉ１が合成された後の画像の様子が一見して把握できるようになる。

図12は，対象画像の印象評価値算出処理手順（図５および図10ステップ52の処理手順）を示すフローチャートである。図13は，対象画像印象評価値テーブルを示すもので，図８に対応する。

上述した処理では，対象画像が選択された場合，その選択された対象画像全体から対象画像の印象評価値が算出されているが，図12に示す処理では選択された対象画像の中から，ＣＰＵ21（顔検出部）によって対象画像に含まれている顔Ａ１（図７参照）が検出され（ステップ91），その検出された顔から顔の印象評価値（性別，年齢，表情および顔向きの少なくとも一つの印象評価値）がＣＰＵ21によって算出される（ステップ92）。顔の印象評価値のうち，性別，年齢については性別ごとの顔の平均顔とのマッチングの類似度にもとづいて算出される。但し，検出された顔にもとづいて印象評価値が算出されるから，対象画像全体から性別，年齢の印象評価値が算出される場合と異なり，対象画像内の人物が着ている洋服などは印象評価値の算出には利用されない。表情および顔向きの印象評価値は，対象画像全体から算出された場合と同じとなろう。もっとも，対象画像全体から表情および顔向きの印象評価値を算出する場合に，顔以外の条件を利用して算出する場合には，顔から表情および顔向きの印象評価値を算出する場合と対象画像全体から表情および顔向きの印象評価値を算出する場合とで異なる印象評価値となろう。

ＣＰＵ21によって印象評価値が算出されると，対象画像印象評価値テーブルが生成される。生成された対象画像印象評価値テーブルに算出された印象評価値が格納される。図13に示す印象評価値テーブルもメモリ22に格納される。

このようにして生成された印象評価値を用いて図６または図10に示すステップ53におけるテンプレート選択処理が行われる。

図14は，対象画像の他の印象評価値算出処理手順（図５および図10ステップ52の処理手順）を示すフローチャートであり，図12に対応する。図15は，対象画像印象評価値テーブルを示すもので，図８および図13に対応する。

図12に示す処理では，対象画像が選択された場合，対象画像の中から顔が検出され，その顔から対象画像の印象評価値が算出されているが，図14に示す処理では選択された対象画像の中から，ＣＰＵ21（人物検出部）によって対象画像に含まれている人物Ａ２（図７参照）が検出され（ステップ93），その検出された人物から人物の印象評価値（性別，年齢，表情，顔向き，躍動感の少なくとも一つの印象評価値）がＣＰＵ21によって算出される（ステップ94）。

躍動感の印象評価値については，あらかじめ多数の人物の画像を抽出し，それぞれの人物のポーズごとに躍動感の印象評価値を算出しておき，対象画像に含まれる人物のポーズとのマッチングを行い，類似したポーズについての躍動感の印象評価値を得ることとなろう。躍動感が算出される場合には，テンプレートについても躍動感の印象評価値が算出されていることとなろう。テンプレートについての躍動感の印象評価値も性別等の印象評価値と同様に，そのテンプレートに合成する対象画像として使用された対象画像の躍動感の印象評価値を利用できる。

また，人物の印象評価値のうち，性別，年齢については性別ごとの顔の平均顔とのマッチングおよび性別ごとに人物が着ている洋服の類似度にもとづいて算出される。表情の印象評価値は対象画像全体から算出された場合と同じとなろう。顔向きの印象評価値は，体全体の向きも利用して算出されることとなろう。たとえば，体全体が前方に向いていれば，顔も正面を向いていると考えられ，体全体が横を向いていれば顔も横向きと考えられる。対象画像全体から算出された場合と同じとなろう。

ＣＰＵ21によって印象評価値が算出されると，対象画像印象評価値テーブルが生成される。生成された対象画像印象評価値テーブルに算出された印象評価値が格納される。図1
に示す印象評価値テーブルもメモリ22に格納される。

このようにして生成された印象評価値を用いて図６または図10に示すステップ53におけるテンプレート選択処理が行われる。

対象画像全体，顔および人物のそれぞれから対象画像についての印象評価値が算出される場合には，対象画像全体，顔および人物の中から少なくとも２つを選択し，それらの印象ごとに印象評価値の平均を算出し，印象評価値の平均を利用して対象画像の印象評価値との差異を算出するようにしてもよい。

図16は，他の実施例を示すもので，色分布テーブル（印象評価価値テーブル）の一例である。

色分布テーブルは，画像合成サーバ20のメモリ22（印象評価値記憶部）に格納されている。

色分布テーブルには，色分布ＩＤ（identification）によって特定される色分布データが格納されている。色分布データは，テンプレートの色分布をＲ（赤），Ｇ（緑）およびＢ（青）によって表したデータである（他の色，たとえば，シアン，マゼンタおよびイエローによって表してもよい）。色分布データに対応して，そのような色分布データをもつテンプレートが有する印象についての印象評価値が色分布テーブルに格納されている。さらに，画像合成サーバ20に格納されているテンプレートのうち，色分布データに対応する色分布（ほぼ同じ色分布と見做せればよい）をもつテンプレート（テンプレートＩＤ）が色分布テーブルに格納されている。たとえば，色分布ＩＤとしてＣ１で特定される色分布データを有するテンプレートとしてテンプレートＴ11およびＴ16が画像合成サーバ20に記憶されていることが分かる。テンプレートＴ11とテンプレートＴ16とは，同じ色分布データをもつが，異なるテンプレートであるから，レイアウト，色の配置などが異なっている。なお，Ｃ１からＣ３の色分布データは，テンプレート中の最も頻度の高い色を示すものであるが，色分布データとして持つべきデータは最も頻度の高い色には限られない。例えば，Ｃ４の色分布データのように，複数の色の出現頻度を規定するものであってもよい。

図16に示すような色分布テーブルを用いて，ユーザによって選択された対象画像の印象評価値との差異がしきい値以下の印象評価値をもつテンプレートを選択できる。たとえば，選択された対象画像の印象評価値と，色分布ＩＤがＣ１の色分布データに対応する印象評価値と，の差異がしきい値以下であれば，選択された対象画像を合成するテンプレートとしてテンプレートＴ11およびＴ16がＣＰＵ21によって選択される。

色分布テーブルに格納されている色分布データが同一である複数のテンプレートを新たに画像合成サーバ20のＣＰＵ21（テンプレート生成部）によって生成してもよい。生成されたテンプレートは，画像合成サーバ20のハードディスク28に格納され，そのテンプレートＩＤも色分布テーブルに格納される。色分布データに対応するテンプレートが画像合成サーバ20に記憶されていない場合には，色分布データに対応してテンプレートＩＤが格納されていなくともよい。テンプレートＩＤが色分布テーブルに格納されていないような色分布データに対応する印象評価値と対象画像の印象評価値とがしきい値以下となる場合には，そのような色分布データをもつテンプレートが画像合成サーバ20のＣＰＵ21によって生成される。また，画像合成サーバ20のＣＰＵ21は，複数のテンプレートについて色分布データを算出し，色分布データに対応してテンプレートの印象評価値を色分布テーブルに記憶するようにしてもよい。この場合，新しいテンプレートをシステムに追加する際に，テンプレートの印象評価値を直接記憶させなくても，色分布データの算出を通じて自動で印象評価値を求め，記憶させることができる。

図17から図21は，他の実施例を示すもので，複数の画像合成領域が規定されているテンプレートに複数の画像を合成するものである。

図17は，テンプレートの一例である。

図17に示すテンプレートＴ10には，複数の画像合成領域121および122が規定されている。これらの画像合成領域121および122に，ユーザによって選択された対象画像が合成される。

図18および図19は，ユーザによって選択された対象画像の一例である。

図18は，赤ん坊の対象画像Ｉ２であり，図19は，子供の対象画像Ｉ３である。

図20は，画像合成システムの処理手順を示すもので，図６に示す処理手順に対応するフローチャートである。

スマートフォン１を用いて，複数の対象画像がユーザによって選択される（ステップ101）。

選択された複数の対象画像Ｉ２およびＩ３のうち，１以上の対象画像の優先順位がユーザによって指定される（ステップ102）。たとえば，対象画像Ｉ２およびＩ３をスマートフォン１の表示画面60に表示し，優先順位にしたがった順序で対象画像Ｉ２およびＩ３をタッチすることにより優先順位が指定される。また，対象画像Ｉ２またはＩ３のいずれか一方のみをタッチすることにより，タッチされた対象画像がタッチされない対象画像よりも優先であるとして優先順位が指定される。すると，スマートフォン１から画像合成サーバ20に選択された複数の画像を表す画像データおよび優先順位を示すデータが送信される（ステップ103）。

スマートフォン１から送信された複数の画像を表す画像データおよび優先順位を示すデータが画像合成サーバ20の通信装置26（優先順位受付部）によって受信されると（ステップ111），受信した複数の対象画像のそれぞれの画像について印象評価値が算出される（ステップ112）。複数の対象画像のそれぞれの画像についての印象評価値との差異がしきい値以下となる印象評価値をもつテンプレートがＣＰＵ21によって選択される（ステップ113）。もっとも，複数の対象画像のそれぞれの画像についての印象評価値の平均を算出し，算出された平均印象評価値との差異がしきい値以下となる印象評価値をもつテンプレートがＣＰＵ21によって選択されるようにしてもよい。

テンプレートが選択されると（図17に示すテンプレートＴ10が選択されたものとする），選択されたテンプレートに対象画像が優先順位にしたがって合成される（ステップ114）。図18に示す赤ん坊の対象画像Ｉ２の方が図19に示す子供の対象画像Ｉ３よりも優先順位が高くなるように指定されたものとする。すると，テンプレートＴ10の画像合成領域121および122のうち，選択されたテンプレートにおける大きさが大きい画像合成領域121に，優先順位の高い赤ん坊の対象画像Ｉ２が合成させられる。子供の対象画像Ｉ３は，画像合成領域121よりも小さい画像合成領域122に合成される（図21参照）。これにより，選択されたテンプレートＴ10における大きさが大きい画像合成領域に対して，指定された優先順位にしたがって対象画像Ｉ２およびＩ３が合成されることとなる。生成された合成画像を表す合成画像データが画像合成サーバ20からスマートフォン１に送信される（ステップ115）。

画像合成サーバ20から送信された合成画像データがスマートフォン１において受信されると（ステップ43），スマートフォン１の表示画面60には，図21に示すように，画像合成領域121に赤ん坊の対象画像Ｉ２が合成され，画像合成領域122に子供の対象画像Ｉ３が合成された合成画像64が表示される。

画像合成領域の大きさの大きい順に優先順位にしたがって対象画像を表示せずに，テンプレートの中心に近い画像合成領域の方が優先順位の高い対象画像を合成する，テンプレートに形成されている複数の画像合成領域のうち，左側にある画像合成領域ほど優先順位の高い対象画像を合成するようにしてもよい。

図22は，他の実施例を示すもので，画像合成システムの処理手順を示すフローチャートである。図22に示す処理は，図20に対応するもので，図20に示す処理と同一の処理については同一符号が付されている。

複数の対象画像が選択され（ステップ101），選択された複数の対象画像のうち，１以上の対象画像の優先順位が指定されると（ステップ102），選択された複数の対象画像を表す画像データおよび優先順位を表すデータがスマートフォン１から画像合成サーバ20に送信される（ステップ103）。

スマートフォン１から送信された複数の対象画像を表す画像データおよび優先順位を表すデータが画像合成サーバ20において受信されると（ステップ111），複数の対象画像のそれぞれの対象画像について印象評価値が算出される（ステップ112）。複数の対象画像についての印象評価値から，複数の対象画像についての複数の印象評価値の総合評価を表す印象評価総合値がＣＰＵ21（対象画像印象評価総合値算出部）によって算出される（ステップ116）。印象評価総合値は，複数の対象画像についての複数の印象評価値の和，積，平均などである。このようにして算出された印象評価総合値との差異がしきい値以下の印象評価値をもつテンプレートがＣＰＵ21によって選択される（ステップ117）。印象評価総合値の算出においては，ユーザによって指定された優先順位が高い対象画像の印象評価値ほど高い重み付けを与えて対象画像印象評価総合値を算出するようにしてもよい。

選択されたテンプレートに，優先順位にしたがって対象画像を合成し合成画像が生成される（ステップ114）。生成された合成画像を表す合成画像データが画像合成サーバ20からスマートフォン１に送信される（ステップ115）。

画像合成サーバ20から送信された合成画像データがスマートフォン１において受信されると（ステップ43），印象評価総合値との差異が小さい印象評価値がテンプレートに利用されている合成画像から順にスマートフォン１の表示画面60に表示される（ステップ121）。

上述の実施例においては，対象画像として人物が含まれているが，風景など人物が含まれていない対象画像が選択されてもよい。人物が含まれていない対象画像について，性別，年齢，表情，顔向きなどの印象評価値を算出する場合には，人物が含まれていない対象画像から印象を受ける男らしさ，女らしさの印象から性別の印象評価値が算出される。たとえば，壮大な風景の対象画像であれば，男らしい対象画像として性別（男らしさ）の印象評価値は高くなり，花畑のようなかわいらしい対象画像であれば，女らしい対象画像として性別（男らしさ）の印象評価値は低くなる。年齢については，若者が好む風景などの対象画像か年寄りが好む風景などの対象画像かどうかにより，印象評価値を算出できる。表情については，対象画像を見たユーザの表情を推定して印象評価値を算出できる。顔向きについては，その対象画像に人物を合成させた場合に正面の顔が合っているか，横向きの顔が合っているかなどにより印象評価値を算出できる。

また，印象については，性別，年齢，表情，顔向きに限らず，かわいい，優しい，さわやか，シックなど他の印象を利用することもできる。さらに，上述の実施例では，対象画像の印象評価値との差異がしきい値以下となる印象評価値をもつテンプレートが選択されているが，差異の逆数などにより対象画像の印象評価値とテンプレートの印象評価値との近似度を算出し，算出された近似度がしきい値以上となるテンプレートが選択されるようにしても，上述した処理と実質的に同じものとなる。

上述の実施例においては，スマートフォン１と画像合成サーバ20との間で通信しながらテンプレートが選択されているが，必ずしも通信する必要は無い。１台のパーソナル・コンピュータ，店頭端末装置などにおいて合成画像を生成する場合でも上述した処理を実現できる。

20 画像合成サーバ（テンプレート選択システム）
21 ＣＰＵ（対象画像印象評価値算出部，テンプレート選択部，対象画像合成部，第１の表示制御部，第２の表示制御部，顔検出部，人物検出部，テンプレート生成部，対象画像印象評価総合値算出部）
22 メモリ（テンプレート印象評価値記憶部）
26 通信装置（優先順位受付部）

Claims (22)

1. テンプレートの印象評価値を，複数のテンプレートについて記憶するテンプレート印象評価値記憶部，
   テンプレートに合成する対象画像の印象評価値を算出する対象画像印象評価値算出部，および
   上記テンプレート印象評価値記憶部に記憶されている複数のテンプレートの印象評価値と上記対象画像印象評価値算出部によって算出された対象画像の印象評価値との差異が小さい順にテンプレートを選択するテンプレート選択部，
   を備えたテンプレート選択システム。
2. 上記テンプレート選択部は，上記テンプレート印象評価値記憶部に記憶されている複数のテンプレートの印象評価値のうち上記対象画像印象評価値算出部によって算出された対象画像の印象評価値との差異がしきい値以下の印象評価値をもつテンプレートを選択する，
   請求項１に記載のテンプレート選択システム。
3. 上記テンプレート選択部によって選択したテンプレートに上記対象画像を合成して合成画像を生成する対象画像合成部，
   をさらに備えた請求項１または２に記載のテンプレート選択システム。
4. 上記対象画像合成部によって生成された合成画像を表示装置の表示画面に表示させる第１の表示制御部，
   をさらに備えた請求項３に記載のテンプレート選択システム。
5. 上記第１の表示制御部は，
   上記対象画像合成部によって生成された合成画像に使用されているテンプレートの印象評価値と上記対象画像の印象評価値との差異が小さい順に，上記対象画像合成部によって生成された合成画像を表示装置の表示画面に表示させる，
   請求項４に記載のテンプレート選択システム。
6. 上記テンプレート選択部によって選択したテンプレートを表示装置の表示画面に表示させる第２の表示制御部，
   をさらに備えた請求項１から５のうち，いずれか一項に記載のテンプレート選択システム。
7. 上記第２の表示制御部は，
   上記差異が小さい順に，上記テンプレート選択部によって選択したテンプレートを表示装置の表示画面に表示させる，
   請求項６に記載のテンプレート選択システム。
8. 上記対象画像に含まれている人物の顔を検出する顔検出部をさらに備え，
   上記対象画像印象評価値算出部は，
   上記顔検出部によって検出された人物の顔の印象評価値を算出する，
   請求項１から７のうち，いずれか一項に記載のテンプレート選択システム。
9. 上記対象画像印象評価値算出部は，
   上記顔検出部によって検出された人物の顔から，上記人物の性別，年齢，表情および顔向きのうち少なくとも１つについて印象評価値を算出する，
   請求項８に記載のテンプレート選択システム。
10. 上記対象画像に含まれている人物を検出する人物検出部をさらに備え，
    上記対象画像印象評価値算出部は，
    上記人物検出部によって検出された人物の印象評価値を算出する，
    請求項１から７のうち，いずれか一項に記載のテンプレート選択システム。
11. 上記対象画像印象評価値算出部は，
    上記人物検出部によって検出された人物から，上記人物の躍動感について印象評価値を算出する，
    請求項10に記載のテンプレート選択システム。
12. 上記対象画像印象評価値算出部は，上記対象画像について２種類以上の印象評価値をベクトルとして算出するものであり，
    上記テンプレート印象評価値記憶部は，テンプレートについて２種類以上の印象評価値をベクトルとして記憶するものであり，
    上記テンプレートにおける上記差異は，対象画像の印象評価値とテンプレートの印象評価値とのベクトル間距離である，
    請求項１から11のうち，いずれか一項に記載のテンプレート選択システム。
13. 上記印象評価値記憶部は，
    テンプレートの色分布データを，複数のテンプレートについて記憶し，かつ上記色分布データに対応して，テンプレートの印象評価値を記憶する，
    請求項１から12のうち，いずれか一項に記載のテンプレート選択システム。
14. 色分布データが同一である複数のテンプレートを生成するテンプレート生成部をさらに備える，請求項13に記載のテンプレート選択システム。
15. 上記印象評価値記憶部は，
    複数のテンプレートについて色分布データを算出し，かつ上記色分布データに対応して，テンプレートの印象評価値を記憶する，
    請求項１から12のうち，いずれか一項に記載のテンプレート選択システム。
16. 上記対象画像印象評価値算出部は，
    複数の対象画像のそれぞれについて印象評価値を算出し，
    上記対象画像印象評価値算出部において算出された複数の対象画像についての複数の印象評価値から，複数の対象画像についての複数の印象評価値の総合評価を表す印象評価総合値を算出する対象画像印象評価総合値算出部をさらに備え，
    上記テンプレート選択部は，
    上記印象評価値記憶部に記憶されている複数のテンプレートの印象評価値との差異を求める対象である対象画像の印象評価値として，上記印象評価総合値を用いる，
    請求項１から15のうち，いずれか一項に記載のテンプレート選択システム。
17. 複数の対象画像のうち，合成する１以上の対象画像の優先順位を受け付ける優先順位受付部をさらに備え，
    上記対象画像印象評価総合値算出部は，
    上記優先順位受付部において受け付けられた優先順位が高い対象画像ほど，印象評価値に高い重み付けを与え，対象画像印象評価総合値を算出するものである，
    請求項16に記載のテンプレート選択システム。
18. 上記対象画像が複数ある場合に複数の上記対象画像のうち，合成する１以上の上記対象画像の優先順位を受け付ける優先順位受付部をさらに備え，
    上記対象画像合成部は，
    上記テンプレート選択部によって選択したテンプレートに，上記優先順位受付部において受け付けた優先順位にしたがって対象画像を合成する，
    請求項３に記載のテンプレート選択システム。
19. 上記対象画像合成部は，
    上記選択されたテンプレートにおける大きさが大きい画像合成領域に対して，指定された優先順位にしたがって対象画像を合成するものである，
    請求項18に記載のテンプレート選択システム。
20. テンプレート印象評価値記憶部が，テンプレートの印象評価値を，複数のテンプレートについて記憶し，
    対象画像印象評価値算出部が，テンプレートに合成する対象画像の印象評価値を算出し，
    テンプレート選択部が，上記テンプレート印象評価値記憶部に記憶されている複数のテンプレートの印象評価値と上記対象画像印象評価値算出部によって算出された対象画像の印象評価値との差異が小さい順にテンプレートを選択する，
    テンプレート選択方法。
21. テンプレート選択システムのコンピュータを制御するコンピュータが読み取り可能なプログラムであって，
    テンプレートの印象評価値を，複数のテンプレートについて記憶させ，
    テンプレートに合成する対象画像の印象評価値を算出させ，
    記憶されている複数のテンプレートの印象評価値と算出された対象画像の印象評価値との差異が小さい順にテンプレートを選択させるようにテンプレート選択システムのコンピュータを制御するプログラム。
22. 請求項21に記載のプログラムを格納した記録媒体。

Images