JP6572054B2 - 画像処理装置、画像処理方法 - Google Patents

Description

本発明は、画像表示技術に関するものである。

従来の画像処理装置では、ユーザインターフェースを構成するＬＣＤ（Liquid Cristal Display）の表示画面に画像データに関する画像を表示し、該表示された画像を指定して画像の編集を行うものがある。フォトアルバムの編集においては、フォトアルバムの各ページに画像スロットが配置されており、その画像スロットに写真を割り当ることにより、所望のレイアウト画像を得ることができる。フォトアルバム作成のためのアプリケーションの中には、ユーザがまず写真画像を指定してその中からフォトアルバムのテンプレートに沿って写真画像を自動で割り当てるものがある。このように、写真画像を手動ではなく自動で割り当てる場合には、ユーザの所望する画像が割り当てられないことがあるため、画像の入替が行えるようにする。特許文献１では、フォトアルバムを作成するためにユーザが指定する複数の画像をグループに分けて、そのグループとフォトアルバムのページを対応付けし、画像スロットの画像を入れ替える場合、そのページに対応するグループから候補画像を表示する。

特許第５４４９４６０号公報

特許文献１では、ユーザが指定する画像の枚数が多い場合、候補画像が多く表示されることになる。また、フォトアルバムの各ページに対して割り当てられた画像を候補画像として表示するため、入れ替え対象の画像スロットの特性を考慮しておらず、画像を選び難いという課題がある。例えば、入れ替えの対象の画像スロットがグレースケールの画像を配置することを想定しているスロットの場合でも、カラーの画像もが候補画像として表示してしまうことになる。また、縦長のスロットに対して横長のスロットが表示されたりすることがある。

本発明はこのような問題に鑑みてなされたものであり、任意の画像を他の画像に置き換える場合において、該他の画像の候補として好適な画像を表示するための技術を提供する。

本発明の一様態は、複数の画像データを含む画像データ群を取得する取得手段と、
前記複数の画像データを複数のグループに分割する分割手段と、
前記複数のグループのうち所定のグループに含まれている画像データ群のうち所定の画像データに基づく画像を、該所定のグループに対応するページのスロットに配置したレイアウト画像を表示画面に表示させるレイアウト表示制御手段と、
前記表示画面に表示された前記所定のグループに対応するページのレイアウト画像において、画像を入れ替える入替対象のスロットを指定する指定手段と、
前記指定手段により指定された入替対象のスロットに配置されている第１画像の撮影日時に基づいて、該第１画像の撮影日時が含まれる所定の時間範囲に含まれる撮影日時の画像を前記第１画像と入れ替える候補画像として含む第１候補画面を表示させる第１の表示制御手段と、
前記所定の時間範囲よりも前の時間範囲と前記所定の時間範囲よりも後の時間範囲のうち、少なくともいずれかの時間範囲に含まれる撮影日時の画像を、前記第１画像と入れ替える候補画像として含む第２候補画面を表示させる第２の表示制御手段と、
ユーザ指示に基づき、前記第１候補画面から前記第２候補画面へ変更する変更手段と、
前記候補画像の中からユーザにより選択された選択候補画像を、前記入替対象のスロットに配置する配置手段と
を備え、
前記所定の時間範囲、及び、前記少なくともいずれかの時間範囲は、前記所定のグループの撮影期間に含まれ、
前記配置手段は、前記第１候補画面に含まれる候補画像がユーザにより選択された場合も、前記第２候補画面に含まれる候補画像がユーザにより選択された場合も、該選択された候補画像を、前記所定のグループに対応するページの前記入替対象のスロットに配置することを特徴とする。

本発明の構成によれば、任意の画像を他の画像に置き換える場合において、該他の画像の候補として好適な画像を表示することができる。

システムの構成例を示すブロック図。 ＰＣ１のハードウェア構成例を示すブロック図。 ソフトウェアモジュール群の構成例を示す図。 ウィンドウ４０１の表示例を示す図。 ＰＣ１が行う処理のフローチャート。 画像の候補を一覧表示させるための処理のフローチャート。 見開きのページの画像と、候補画像を含むウィンドウと、の一例を示す図。 候補画像を含むウィンドウの遷移例を示す図。 アプリケーション８０において図１０の処理を実行する機能部のブロック図。 自動レイアウト処理部９１６を実行することで行う処理のフローチャート。 画像解析情報の一例を示す図。 撮像画像のグループ分けの一例を示す図。 シーン分類基準データの一例を示す図。 ステップＳ１０１０の処理を説明するための図。 ステップＳ１０１７の処理を説明する図。 テンプレート群を示す図。 候補撮像画像の選択方法を説明する図。 候補撮像画像の選択方法を説明する図。

以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載した構成の具体的な実施例の１つである。

［第１の実施形態］
本実施形態では、画像処理装置の一例について説明する。この画像処理装置は、複数の画像データを含む画像データ群を取得し、該取得した画像データ群から選択した画像データに基づく画像をスロットに配置したレイアウト画像を表示画面に表示させる（第１の表示制御）。該表示画面に表示されたレイアウト画像において画像を入れ替える入替対象のスロットを選択し、該選択された入替対象のスロットに配置されている第１画像の撮影日時に基づいて、第１画像と入れ替える候補画像を表示画面に表示させる（第２の表示制御）。

先ず、本実施形態に係るシステムの構成例について、図１のブロック図を用いて説明する。図１に示す如く、本実施形態に係るシステムは、フォトアルバムを作成するユーザが操作するＰＣ（パーソナルコンピュータ）１と、フォトアルバムの注文サイトを提供するＡＢＣ社のサーバであるＰＣ２と、を有している。そして、ＰＣ１とＰＣ２とはインターネットを介して互いにデータ通信が可能なように接続されている。

先ず、ＰＣ１について説明する。ＰＣ１には、アプリケーション８０と、Ｗｅｂブラウザ１４３と、がインストールされている。

アプリケーション８０は、フォトアルバムを作成してＰＣ２にアップロードするための様々な機能を提供するためのアプリケーションである。

Ｗｅｂブラウザ１４３は、ＷＷＷ（ＷｏｒｌｄＷｉｄｅＷｅｂ）を利用する際に用いられるブラウザである。Ｗｅｂブラウザ１４３は、ＰＣ２にアクセスして、ＰＣ１側で作成したフォトアルバムをＰＣ２にアップロードしたり、ＰＣ２が提供する注文サイトを介してフォトアルバムの注文を可能にせしめるための様々な機能を提供するアプリケーションである。

ＰＣ１は、Ｅｔｈｅｒｎｅｔ（登録商標）等のローカルエリアネットワーク（例えば、ユーザの自宅に構築された一般家庭用のホームネットワーク）４に接続されており、このローカルエリアネットワーク４は、上記のインターネットに接続されている。

次に、ＰＣ２について説明する。ＰＣ２には、サーバ機能のアプリケーションであるＷｅｂサーバ９がインストールされており、更にＷｅｂサーバ９には、フォトアルバムの注文サイトであるショッピングサイト１１のアプリケーションが含まれている。

ＰＣ２は、Ｅｔｈｅｒｎｅｔ（登録商標）等のローカルエリアネットワーク（例えば、ＡＢＣ社の社内に構築されたオフィスネットワーク）８に接続されており、このローカルエリアネットワーク８は、上記のインターネットに接続されている。

なお、ＰＣ１、ＰＣ２の何れにもＯＳ（オペレーティングシステム）がインストールされており、ＰＣ１、ＰＣ２の何れにおいても、アプリケーションはこのＯＳ上で動作する。

次に、ＰＣ１のハードウェア構成例について、図２のブロック図を用いて説明する。なお、ＰＣ２のハードウェア構成も図２に示したハードウェア構成と同じであっても良いし、図２に示したハードウェア構成とは異なるハードウェア構成を採用しても構わない。

ＲＡＭ２０１は、ＨＤＤ（ハードディスクドライブ）２０２からロードされたコンピュータプログラムやデータ、通信制御部２０７を介して外部（例えばＰＣ２）から受信したコンピュータプログラムやデータ、を格納するためのエリアを有する。更にＲＡＭ２０１は、ＣＰＵ２０４が各種の処理を実行する際に用いるワークエリアを有する。このようにＲＡＭ２０１は、各種のエリアを適宜提供することができる。

ＨＤＤ２０２は、大容量情報記憶装置の一例であり、ＨＤＤ２０２には、ＯＳや、ＰＣ１が行うものとして後述する各処理をＣＰＵ２０４に実行させるためのコンピュータプログラムやデータが保存されている。このコンピュータプログラムには、上記のアプリケーション８０やＷｅｂブラウザ１４３も含まれている。また、このデータには、後述する処理において既知の情報として説明するものも含まれている。ＨＤＤ２０２に保存されているコンピュータプログラムやデータは、ＣＰＵ２０４による制御に従って適宜ＲＡＭ２０１にロードされ、ＣＰＵ２０４による処理対象となる。

操作部２０３は、キーボードやマウスなどのインターフェースにより構成されており、ユーザが操作することで、各種の操作入力をＣＰＵ２０４に対して入力することができる。

ＣＰＵ２０４は、ＲＡＭ２０１に格納されているコンピュータプログラムやデータを用いて処理を実行することで、ＰＣ１全体の動作制御を行うと共に、ＰＣ１が行うものとして後述する各処理を実行若しくは制御する。

通信制御部２０７は、ローカルエリアネットワーク４及びインターネットを介してＰＣ２とデータ通信を行うためのものである。

表示部２０５は、ＣＲＴや液晶画面などにより構成されており、ＣＰＵ２０４による処理結果を画像や文字なでもって表示することができる。なお、表示部２０５と操作部２０３とを一体化させてタッチパネル画面を構成しても構わない。

ＲＡＭ２０１、ＨＤＤ２０２、操作部２０３、ＣＰＵ２０４、通信制御部２０７、表示部２０５、は何れも、バス２０６に接続されている。

次に、ＰＣ１のＨＤＤ２０２に保存されているソフトウェアモジュール群の構成例について、図３を用いて説明する。なお、図３に示したソフトウェアモジュールはＨＤＤ２０２に保存されているソフトウェアモジュール群の一部を示したものであって、全てではない。また、ＨＤＤ２０２に保存されるソフトウェアモジュール群は、ＰＣ１に搭載されるＯＳや、ＰＣ１の使用環境などに応じて適宜変更される。

モジュール９２は、Ｅｔｈｅｒｎｅｔを制御するＥｔｈｅｒｎｅｔ制御スタックである。モジュール９１は、ＩＰ Ｎｅｔｗｏｒｋを制御するＩＰ Ｎｅｔｗｏｒｋ制御スタックである。モジュール９０は、ネットワーク上のデバイス探索の仕組みを提供するＷＳＤ（Ｗｅｂ Ｓｅｒｖｉｃｅ ｏｎ Ｄｅｖｉｃｅｓ）を制御するＷＳＤ制御スタックである。モジュール８８は、ネットワークのプラグアンドプレイを制御するＰｎＰ−Ｘ制御スタックである。尚、ＰｎＰ−Ｘとは、ネットワーク接続デバイスに対するサポートを提供する、プラグアンドプレイの一連の拡張機能としてＷｉｎｄｏｗｓ８（登録商標）に標準搭載されている機能であるＰｌｕｇ ａｎｄ Ｐｌａｙ Ｅｘｔｅｎｓｉｏｎｓの略称である。モジュール８５は、デバイスドライバ群であり、ＯＳに標準で同梱されている標準ドライバ群８７と、ＩｎｄｅｐｅｎｄｅｎｔＨａｒｄｗａｒｅＶｅｎｄｏｒ（ＩＨＶ）から提供されるＩＨＶ製ドライバ群８６とを含んで構成される。

モジュール８４は、アプリケーション／ＤＤＩインタフェースであり、ＡｐｐｌｉｃａｔｉｏｎＰｒｏｇｒａｍｉｎｇＩｎｔｅｒｆａｃｅ（ＡＰＩ）、ＤｅｖｉｃｅＤｒｉｖｅｒＩｎｔｅｒｆａｃｅ（ＤＤＩ）を含んで構成される。アプリケーション群８２は、上記のアプリケーション８０及びＷｅｂブラウザ１４３を含むアプリケーション群である。

次に、ＰＣ１においてアプリケーション８０を起動し、フォトアルバムの各ページにおいて規定の領域に所望の撮像画像を配置して所望のフォトアルバムを作成する処理について説明する。アプリケーション８０を起動すると、表示部２０５の表示画面には、図４に例示するウィンドウ４０１が表示される。以降、ウィンドウ４０１を含む様々なＧＵＩの表示制御や、ユーザが操作部２０３を操作して該ＧＵＩを用いて行った操作入力に応じた処理等、特に断らない限りは、以降の処理の主体は何れもＣＰＵ２０４であるものとする。

表示領域４０２には、フォトアルバムにおいて見開きのページのサムネイル画像が表示される。表示領域４０２には左から、１ページ目及び２ページ目による見開きのページのサムネイル画像、３ページ目及び４ページ目による見開きのページのサムネイル画像、…、９ページ目及び１０ページ目による見開きのページのサムネイル画像、が表示されている。また、図４では、ユーザが操作部２０３を操作して、３ページ目及び４ページ目による見開きのページのサムネイル画像を指定している。この場合、該サムネイル画像が選択状態となっており（該サムネイル画像に枠４０４が重ねられて表示されている）、表示領域４０３には、該サムネイル画像に対応する「３ページ目及び４ページ目による見開きのページの画像」が表示される。「３ページ目及び４ページ目による見開きのページの画像」には撮像画像を配置可能な領域（写真スロット）４０５ａ〜４０５ｄが設けられており、これらの領域４０５ａ〜４０５ｄには、後述する処理等によって撮像画像が該領域のサイズにリサイズされて配置される。

ここで、領域４０５ａ〜４０５ｄのそれぞれに撮像画像が配置されている状態において、ユーザが操作部２０３を操作して領域４０５ａ〜４０５ｄのうち何れか１つを指定すると、該１つの領域に表示されている撮像画像の代わりに該１つの領域に配置可能な撮像画像の候補が一覧表示される。然るにユーザはこの一覧表示された候補画像のうち所望の候補画像を、操作部２０３を操作して指定することで、該指定された候補画像を該１つの領域に配置させる（画像の入れ替え）ことができる。

そしてユーザが操作部２０３を操作してボタン４０６を指定すると、ＣＰＵ２０４は通信制御部２０７を制御し、作成したフォトアルバムのデータをＰＣ２にアップロードする。

次に、領域４０５ａ〜４０５ｄのそれぞれに撮像画像が配置されている状態において、領域４０５ａ〜４０５ｄのうちユーザが指定した領域に配置可能な画像の候補を一覧表示させるための処理について、図５のフローチャートに従って説明する。

＜ステップＳ１０１＞
ユーザは操作部２０３を操作して、領域４０５ａ〜４０５ｄのうち何れか１つ（入替対象スロット）を指定することで、該領域に配置可能な画像の候補の一覧を表示部２０５に表示させることができる。然るに、ＣＰＵ２０４は、領域４０５ａ〜４０５ｄのうち何れか１つの選択操作を受け付ける。

＜ステップＳ１０２＞
ＣＰＵ２０４は、入替対象スロットに表示中の撮像画像を、該撮像画像の代わりに入替対象スロットに配置可能な撮像画像の候補をＨＤＤ２０２から探すための起点（候補起点画像）に設定する。

＜ステップＳ１０３＞
ＣＰＵ２０４は、候補起点画像の代わりに入替対象スロットに配置可能な撮像画像の候補（候補画像）を、候補起点画像に基づいてＨＤＤ２０２から探す（リストアップする）。本ステップにおける処理の詳細については後述する。

＜ステップＳ１０４＞
ＣＰＵ２０４は、ステップＳ１０３においてリストアップした候補画像を含むウィンドウを表示部２０５に表示させる。このウィンドウについて、図７を用いて説明する。図７（ａ）には、「１ページ目及び２ページ目による見開きのページの画像」が示されており、５００〜５０２が写真スロットである。図７（ｂ）には、「３ページ目及び４ページ目による見開きのページの画像」が示されており、５０３〜５０５が写真スロットである。図７（ｂ）において写真スロット５０３の上に写真スロット５０４、５０５が重なっているが、このように写真スロットの上に更に写真スロットが配置される場合もある。図７（ｃ）には、「５ページ目及び６ページ目による見開きのページの画像」が示されており、５０６〜５０７が写真スロットである。

ここで、図７（ｂ）の「３ページ目及び４ページ目による見開きのページの画像」が表示領域４０３に表示されている状態において、写真スロット５０３に表示されている撮像画像を他の撮像画像に入れ替えるべく、その候補画像を表示させるためにユーザが操作部２０３を操作して、写真スロット５０３を指定したとする。このとき、ステップＳ１０４では、図７（ｄ）に例示するウィンドウが表示部２０５に表示される。

このウィンドウには、写真スロット５０３に配置可能な撮像画像の候補である候補撮像画像６４１〜６４４（ステップＳ１０３で、写真スロット５０３に表示中の撮像画像に基づいてリストアップされた撮像画像）が一覧表示されている。ユーザはこの候補撮像画像６４１〜６４４のうち写真スロット５０３に配置したい所望の１つを操作部２０３を操作することで指定することができる。ここで、ユーザが候補撮像画像６４１〜６４４のうち写真スロット５０３に配置したい所望の１枚を操作部２０３を操作して指定したとする。このときＣＰＵ２０４は、写真スロット５０３に表示中の撮像画像の代わりに、該指定された候補撮像画像を、写真スロット５０３のサイズにリサイズしてから該写真スロット５０３に配置（表示）する。

また、前ボタン５１０は、フォトアルバムの全ページを通して順序づけられた写真スロット順において、現在選択中の写真スロットよりも１つ前の写真スロットに配置された撮像画像に基づく候補画像を表示するためのボタンである。図７（ｄ）の場合、ユーザが操作部２０３を操作して前ボタン５１０を指定すると、ＣＰＵ２０４は、写真スロット５０３よりも１つ前の順序の写真スロットに配置された撮像画像に基づく候補画像を表示する。

また、後ボタン５１１は、フォトアルバムの全ページを通して順序づけられた写真スロット順において、現在選択中の写真スロットよりも１つ後の写真スロットに配置された撮像画像に基づく候補画像を表示するためのボタンである。図７（ｄ）の場合、ユーザが操作部２０３を操作して後ボタン５１１を指定すると、ＣＰＵ２０４は、写真スロット５０３よりも１つ後の順序の写真スロットに配置された撮像画像に基づく候補画像を表示する。

前ボタン５１０や後ボタン５１１を指定すると、ＣＰＵ２０４は、該新たな写真スロットに表示中の撮像画像を候補起点画像とし、該候補起点画像に基づいて新たな候補撮像画像をリストアップする。そしてＣＰＵ２０４は、該リストアップした候補撮像画像をウィンドウ内に一覧表示させる。前ボタン５１０、後ボタン５１１を指定した場合におけるウィンドウ内の候補撮像画像の遷移例を図８に示す。

図８（ａ）のウィンドウは、「１ページ目及び２ページ目による見開きのページの画像」（図７（ａ））（画像１−２と呼称する）において写真スロット５００を選択した場合に表示されるウィンドウである。このウィンドウには、写真スロット５００に表示中の撮像画像に基づいてリストアップされた候補撮像画像６００〜６０３が一覧表示されている。このウィンドウにおいて後ボタン５１１を指定すると、図８（ｂ）に示す如く、写真スロット５０１に表示中の撮像画像に基づいてリストアップされた候補撮像画像６１０〜６１３が一覧表示されたウィンドウが表示される。このウィンドウにおいて前ボタン５１０を指定すると、図８（ａ）のウィンドウに遷移する。一方、図８（ｂ）のウィンドウにおいて後ボタン５１１を指定すると、図８（ｃ）に示す如く、写真スロット５０２に表示中の撮像画像に基づいてリストアップされた候補撮像画像６２０〜６２３が一覧表示されたウィンドウが表示される。このウィンドウにおいて前ボタン５１０を指定すると、図８（ｂ）のウィンドウに遷移する。一方、図８（ｃ）のウィンドウにおいて後ボタン５１１を指定したとする。この場合、図８（ｄ）に示す如く、「３ページ目及び４ページ目による見開きのページの画像」（画像３−４と呼称する）の写真スロット５０３に表示中の撮像画像に基づいてリストアップされた候補撮像画像６３０〜６３３を含むウィンドウが表示される。このウィンドウにおいて前ボタン５１０を指定すると、図８（ｃ）のウィンドウに遷移する。一方、図８（ｄ）のウィンドウにおいて後ボタン５１１を指定すると、図８（ｅ）に示す如く、画像３−４中の写真スロット５０４に表示中の撮像画像に基づいてリストアップされた候補撮像画像６４０〜６４３が一覧表示されたウィンドウが表示される。このウィンドウにおいて前ボタン５１０を指定すると、図８（ｄ）のウィンドウに遷移する。一方、図８（ｅ）のウィンドウにおいて後ボタン５１１を指定すると、図８（ｆ）に示す如く、画像３−４中の写真スロット５０５に表示中の撮像画像に基づいてリストアップされた候補撮像画像６５０〜６５３が一覧表示されたウィンドウが表示される。このウィンドウにおいて前ボタン５１０を指定すると、図８（ｅ）のウィンドウに遷移する。一方、図８（ｆ）のウィンドウにおいて後ボタン５１１を指定したとする。この場合、図８（ｇ）に示す如く、「５ページ目及び６ページ目による見開きのページの画像」（画像５−６と呼称する）の写真スロット５０６に表示中の撮像画像に基づいてリストアップされた候補撮像画像６６０〜６６３を含むウィンドウが表示される。このウィンドウにおいて前ボタン５１０を指定すると、図８（ｆ）のウィンドウに遷移する。一方、図８（ｇ）のウィンドウにおいて後ボタン５１１を指定すると、図８（ｈ）に示す如く、画像５−６中の写真スロット５０７に表示中の撮像画像に基づいてリストアップされた候補撮像画像６７０〜６７３が一覧表示されたウィンドウが表示される。このウィンドウにおいて前ボタン５１０を指定すると、図８（ｇ）のウィンドウに遷移する。

このように、本実施形態では、ユーザが操作部２０３を操作して前ボタン５１０や後ボタン５１１を指定することで、見開きページの画像を跨いだ写真スロットに応じた候補撮像画像の一覧を表示させることができる。

また、前ボタン５１０や後ボタン５１１を指定することにより、表示領域４０３内で選択した写真スロットに表示中の撮像画像と入れ替える候補となる画像として、該写真スロットが属するページ外の写真スロット用の候補撮像画像も表示させることができる。これにより、対象写真スロットに配置可能な撮像画像とは全く異なる撮像画像を該対象写真スロットに配置させることが可能となる。

なお、上記の例では、「フォトアルバムの全ページを通して順序づけられた写真スロット順」が、ページの左上の写真スロット、右上の写真スロット、左下の写真スロット、右下の写真スロット、の順であるとしたが、この順に限るものではない。また、写真スロット５０３のように、ページ全体に割り当てられた写真スロットはそのページの最初の順序としているが、これも一例であって、これに限るものではない。例えば、左上、左下、右上、右下のように他の順番を採用しても構わない。また、上記の例では、ウィンドウ内に表示した候補撮像画像の数を４としたが、この数に限るものではない。

また、上記の例では、前ボタン５１０や後ボタン５１１によって１つ前若しくは１つ後の写真スロットに配置された撮像画像に基づく候補画像を表示していたが、ウィンドウ上で他の写真スロットに配置された撮像画像に基づく候補画像する方法には様々な方法があり、特定の方法に限るものではない。例えば、どれだけ前若しくは後の写真スロットを選択するのかを指定する入力欄を設け、そこに数値を入力するようにしても良い（例えば２つ前の写真スロットを選択する場合には「−２」、２つ後の写真スロットを選択する場合には「２」を入力する）。

図７に戻って、ボタン５２０は、ウィンドウ内に表示されている候補撮像画像以外の撮像画像を表示させるためのボタンである。ユーザが操作部２０３を操作することでこのボタン５２０を指定すると、ＣＰＵ２０４は、フォトアルバムを作成する際に最初にユーザが指定する画像の一覧を表示部２０５に一覧表示させる。

＜ステップＳ１０５＞
ＣＰＵ２０４は、前ボタン５１０（前候補ボタン）が指定されたか否かを判定する。この判定の結果、指定された場合には、処理はステップＳ１０６に進み、指定されていない場合には、処理はステップＳ１０７に進む。

＜ステップＳ１０６＞
ＣＰＵ２０４は、「フォトアルバムの全ページを通して順序づけられた写真スロット順」において、現在候補起点画像となっている写真スロットよりも１つ前の写真スロットに表示されている撮像画像を新たな候補起点画像に設定する。そして処理はステップＳ１０３に戻る。

＜ステップＳ１０７＞
ＣＰＵ２０４は、後ボタン５１１（後候補ボタン）が指定されたか否かを判定する。この判定の結果、指定された場合には、処理はステップＳ１０８に進み、指定されていない場合には、処理はステップＳ１０９に進む。

＜ステップＳ１０８＞
ＣＰＵ２０４は、「フォトアルバムの全ページを通して順序づけられた写真スロット順」において、現在候補起点画像となっている写真スロットよりも１つ後の写真スロットに表示されている撮像画像を新たな候補起点画像に設定する。そして処理はステップＳ１０３に戻る。

＜ステップＳ１０９＞
ＣＰＵ２０４は、表示中のウィンドウ内のそれぞれの候補撮像画像のうち何れか１つをユーザが操作部２０３を操作して選択したか否かを判定する。この判定の結果、選択した場合には、処理はステップＳ１１０に進み、選択していない場合には、ステップＳ１０４に戻る。

＜ステップＳ１１０＞
ＣＰＵ２０４は、入替対象スロットに表示中の撮像画像を、ユーザが操作部２０３を操作して選択した候補撮像画像に置き換えて表示する。

次に、ＣＰＵ２０４がアプリケーション８０を実行することで、図４に例示するようなウィンドウ４０１を生成して表示部２０５に表示させるための処理について説明する。図５の処理、すなわち、写真スロットに表示中の撮像画像に代えて表示する撮像画像の候補を一覧表示させ、そのうちユーザが選択した候補を該写真スロットに表示する処理は、以下に説明する図１０の処理によって生成されたウィンドウに対して行う処理である。

先ず、アプリケーション８０において、図１０のフローチャートに従った処理を実行する機能部について、図９のブロック図を用いて説明する。図９に示す如く、図１０のフローチャートに従った処理は、指定部９０１及び自動レイアウト処理部９１６によって実行される。また、図９に示す如く、自動レイアウト処理部９１６は、複数の機能部により構成されており、該複数の機能部によって自動レイアウト処理部９１６の機能が実現される。なお、図９では、指定部９０１は自動レイアウト処理部９１６とは別個の機能部として示しているが、指定部９０１は自動レイアウト処理部９１６内に含めても構わない。

また、説明上、図９に示した機能部を処理の主体として説明する場合があるが、実際には、該機能部に対応するコンピュータプログラムをＣＰＵ２０４が実行することで該機能部の機能が実現される。

また、後述するそれぞれの機能部の機能は、その一部若しくは全部を他の機能部に任せても構わないし、他の機能部と協調動作を行うことで実現させるようにしても構わない。つまり、複数の機能部によって自動レイアウト処理部９１６の機能が実現されるのであれば、個々の機能部がどのような動作を行うのかについては特定の形態に限らない。

指定部９０１は、「フォトアルバムの作成条件を構成する様々な情報」を取得し、該取得した情報を自動レイアウト処理部９１６に供給する。「フォトアルバムの作成条件を構成する様々な情報」は、例えば、ユーザが操作部２０３を操作して、表示部２０５に表示されたＧＵＩ（グラフィカルユーザインターフェース）上で設定した情報である。ユーザがＧＵＩ上でこれらの情報の設定を行った後で完了指示を入力すると、指定部９０１は、該ＧＵＩ上で設定された「フォトアルバムの作成条件を構成する様々な情報」を取得する。もちろん、予めＧＵＩ上で作成してＨＤＤ２０２に保存した「フォトアルバムの作成条件を構成する様々な情報」を指定部９０１がＨＤＤ２０２から取得するようにしても構わない。設定される条件には、たとえば対象となる画像や主人公のＩＤ、アルバムの見開き数、テンプレート情報、画像補正のＯＮ／ＯＦＦ条件等の指定が含まれる。画像の指定は、たとえば撮影日時など個別の画像データの付随情報や属性情報による指定であってもよいし、デバイスやディレクトリの指定など、画像データを含むファイルシステムの構造に基づく指定であってもよい。なお、本実施形態において、「見開き」とは、たとえば表示においてはひとつの表示用ウィンドウに相当し、印刷においては、異なるシートに印刷された、互いに隣接する１対のページに相当する。

画像取得部９０２は、ＨＤＤ２０２に格納されている撮像画像データ群を読み出す。

画像変換部９０３は、画像取得部９０２が取得したそれぞれの撮像画像データについて、該撮像画像データの縮小画像データ（例えば短辺が４９０画素のサイズを有し、且つ各画素がｓＲＧＢの色情報を有する）を、解析画像として生成する。

画像解析部９０４は、画像変換部９０３が生成したそれぞれの解析画像に対し、特徴量抽出、顔認識、個人認識、表情認識などの解析処理を行うと共に、該解析画像の生成元である撮像画像の付帯情報（例えばExif情報）から該撮像画像の撮像日時を取得する。

画像分類部９０５は、画像取得部９０２が取得した撮像画像群を、画像解析部９０４による解析処理の結果及び撮像日時に基づいて、複数のシーンに分割し、シーン分類する。シーンとは、旅行や日常、結婚式等の撮影シーンのことである。シーンとは、例えば、一つの撮影対象について一時期の撮影機会に撮影された画像の集まりであるということもできる。

入力部９０６は、指定部９０１が取得した情報のうち、主人公を特定する情報（例えば、主人公の識別情報）を取得する。

画像得点部９０７は、画像取得部９０２が取得したそれぞれの撮像画像データに対して得点を求める。

入力部９０８は、指定部９０１が取得した情報のうち、フォトアルバムの見開きの数を取得する。

見開き割当部９０９は、画像分類部９０５によって分類されたそれぞれのグループ若しくは該それぞれのグループに基づいて再編成されたそれぞれのグループ、をフォトアルバムのそれぞれの見開きに割り当てる。

画像選択部９１０は、それぞれの見開きについて、該見開きに割り当てたグループ内のそれぞれの撮像画像について画像得点部９０７が求めた得点に基づいて、該それぞれの撮像画像のうち該見開きにおける写真スロットに配置する撮像画像を選択する。

入力部９１１は、指定部９０１が取得した情報のうち、見開きのレイアウト（見開き内のそれぞれの写真スロットのレイアウト）を表すテンプレート群（それぞれ異なるレイアウトのテンプレート）を取得する。ここでいうところのテンプレートとは、見開きのページの画像である。

画像レイアウト部９１２は、入力部９１１が入力したそれぞれのテンプレートのうち、画像選択部９１０が選択した撮像画像に基づいて１つのテンプレートを選択する。

入力部９１３は、指定部９０１が取得した情報のうち、撮像画像に対する画像補正を実施するか否かを示すフラグ値を取得する。

画像補正部９１４は、入力部９１３が取得したフラグ値が、画像補正を実施することを示す値である場合には、画像選択部９１０が選択した撮像画像に対して、覆い焼き補正、赤目補正、コントラスト補正等の補正処理を施す。もちろん、画像補正部９１４は、入力部９１３が取得したフラグ値が、画像補正を実施しないことを示す値である場合には、補正処理は実行しない。

出力部９１５は、画像レイアウト部９１２が選択したテンプレート上のそれぞれの写真スロットに、該写真スロットに割り当てられた撮像画像を、該写真スロットのサイズにリサイズして配置した「見開きのページの画像」を生成する。そして出力部９１５は、この生成した「見開きのページの画像」をレイアウト情報として出力する。

なお上記の説明では、画像補正や写真スロットに配置する対象となる画像は撮像画像であったが、該撮像画像から生成した解析画像であっても構わない。もちろん、撮像画像から生成した他の画像であっても構わない。

次に、ＣＰＵ２０４が自動レイアウト処理部９１６を実行することで行う処理について、図１０のフローチャートに沿って説明する。

＜ステップＳ１００１＞
画像変換部９０３は、指定された画像群に含まれる画像に順次着目して、着目画像から上記の解析画像を生成する。なお、解析画像は、指定部９０１が取得した情報に含まれている「解析画像の縦横の画素数、画素値の色空間などの生成パラメータ」に基づいて生成される。

＜ステップＳ１００２＞
画像解析部９０４は、ステップＳ１００１で生成された解析画像から特徴量を抽出すると共に、該解析画像の生成元の撮像画像の付帯情報から該撮像画像の撮像日時を取得する。抽出する特徴量には、様々なものを用いることができるが、以下では一例として、ピント量を特徴量として抽出する。

画像中のエッジの検出方法として公知のソーベルフィルタを用いることができる。ソーベルフィルタを用いて画像からエッジを検出し、該検出したエッジの始点と終点の輝度差を始点と終点との間の距離で割ればエッジの傾き（輝度勾配）を算出できる。そして、画像中のエッジの傾きの平均値を算出する。傾きの平均値が大きい画像は、傾きの平均値が小さい画像よりもピントが合っていると考えることが出来る。そこで、この傾きに対してそれぞれ異なる複数の閾値を予め設定し、画像から求めた傾きの平均値がどの閾値以上であるのかを判別することで、該画像におけるピント量を算出することができる。本実施形態では互いに異なる２つの閾値θ１、θ２（θ１＜θ２）を設定し、求めた傾きの平均値ＡがＡ＜θ１であればピント量＝×、θ１≦Ａ＜θ２であればピント量＝△、Ａ≧θ２であれば、ピント量＝○と判別する。ピント量＝○とは、フォトアルバムに採用したいピントの傾きを表す。ピント量＝△とは、許容できるピントの傾きを表す。ピント量＝×とは、許容できない傾きを表す。

＜ステップＳ１００３＞
画像解析部９０４は、ステップＳ１００１で生成された解析画像から人の顔を検出する。画像から顔を検出する技術は公知技術であり、例えば、複数用意した弱識別器から強識別器を作成するAdaboostが挙げられる。本実施形態では、Adaboostにより作成した強識別器により、画像から人の顔を検出する。この顔検出処理により、画像上における人の顔の領域（顔領域（矩形領域））の座標位置及びサイズを取得する。なお、サイズの代わりに、顔の領域の左上隅の座標位置と右下隅の座標位置とを取得するようにしても良い。なお、顔に限らず、犬や猫等の動物、花、食べ物、建物、置物等のオブジェクトを顔の代わりの検出対象としてAdaboostによって強識別器を作成することができる。これにより、顔以外のオブジェクトを検出することができる。

＜ステップＳ１００４＞
画像解析部９０４は、ステップＳ１００３で検出したそれぞれの顔領域に対し、該顔領域内の顔が誰の顔であるのかを認識する処理である個人認識処理を行う。例えば、ＨＤＤ２０２に予め登録されている様々な人の顔の画像について、ステップＳ１００３で検出した顔領域内の画像との類似度を求める。そして、ＨＤＤ２０２に予め登録されている様々な人の顔の画像のうち、閾値以上であって且つ最大の類似度を求めた画像を特定し、該特定した画像と予め関連づけられている識別情報（該画像内の顔を有する個人の識別情報（個人ＩＤ））を取得する。なお、求めた類似度が何れも閾値未満であった場合には、新規の識別情報を発行し、ステップＳ１００３で検出した顔領域内の画像を、該発行した識別情報と関連づけてＨＤＤ２０２に登録する。

なお、本ステップでは、ステップＳ１００３で検出した顔領域内の顔を有する人の識別情報を取得することができるのであれば、どのような個人認識処理を採用しても構わない。

そして画像解析部９０４は、ステップＳ１００２〜Ｓ１００４にて収集した情報を画像解析情報としてＨＤＤ２０２に登録する。画像解析情報の一例を図１１に示す。画像解析情報には、それぞれの撮像画像について、該撮像画像に固有のＩＤ（画像ＩＤ）、該撮像画像の撮像日時、ピント量、該撮像画像から検出した人の顔の数、該撮像画像から検出したそれぞれの人の顔の領域の左上隅及び右下隅の座標位置が含まれている。例えば、画像ＩＤ＝１の撮像画像については、以下のような情報が登録されている。

撮像日時＝「２０１５年７月１日１０時１１分１２秒」
ピント量＝「○」
検出した人の顔の数＝「６」
個人ＩＤ＝１の人の顔の領域の左上隅の座標位置及び右下隅の座標位置
個人ＩＤ＝２の人の顔の領域の左上隅の座標位置及び右下隅の座標位置
個人ＩＤ＝３の人の顔の領域の左上隅の座標位置及び右下隅の座標位置
個人ＩＤ＝４の人の顔の領域の左上隅の座標位置及び右下隅の座標位置
個人ＩＤ＝５の人の顔の領域の左上隅の座標位置及び右下隅の座標位置
個人ＩＤ＝６の人の顔の領域の左上隅の座標位置及び右下隅の座標位置
＜ステップＳ１００５＞
画像取得部９０２が取得した撮像画像群の全てをステップＳ１００１で選択した場合には、処理はステップＳ１００５を介してステップＳ１００６に進む。一方、画像取得部９０２が取得した撮像画像群のうち未選択の撮像画像が残っている場合には、処理はステップＳ１００１に戻る。

＜ステップＳ１００６＞
画像分類部９０５は、ＨＤＤ２０２に登録した画像解析情報から、画像取得部９０２が取得したそれぞれの撮像画像の撮像日時を取得する。そして画像分類部９０５は、該取得したそれぞれの撮像画像の撮像日時に基づいて、画像取得部９０２が取得した撮像画像群（撮像画像データ群）を複数のグループに分割する。

例えば、画像取得部９０２が取得したそれぞれの撮像画像（撮像画像データ）を撮像日時が古い順に見た場合に、Ｎ（Ｎは１以上の整数）番目の撮像画像の撮像日時と、（Ｎ＋１）番目の撮像画像の撮像日時と、の差が１日以上であるとする。このとき、Ｎ番目の撮像画像と（Ｎ＋１）番目の撮像画像との間にグループの境界を設定する。また、撮像日時が古い順においてＮ番目の撮像画像の撮像日時と（Ｎ＋１）番目の撮像画像の撮像日時との差が１６時間以上であれば、Ｎ番目の撮像画像と（Ｎ＋１）番目の撮像画像との間にグループの境界を設定する。また、撮像日時が古い順において隣接する撮像画像間で撮像日時の差が、どの撮像画像間であっても１６時間未満であるとする。この場合、１日で撮像した撮像画像群において最初に撮像した撮像画像の撮像日時と最後に撮像した撮像画像の撮像日時との差が４時間未満であれば、該１日の撮像画像群を１つのグループとする。一方、該１日で撮像した撮像画像群において最初に撮像した撮像画像の撮像日時と最後に撮像した撮像画像の撮像日時との差が４時間以上であった場合、該１日で撮像した撮像画像の枚数が５０枚未満（１日で撮像した撮像画像データの数が５０未満）であれば、該１日の撮像画像群を１つのグループとする。このような撮像画像のグループ分けの一例を図１２（Ａ）に示す。図１２（Ａ）〜（Ｃ）において横軸は撮像日時（左側に向かうほど古く、右側に向かうほど新しい）、縦軸は撮像画像の枚数を示す。図１２（Ａ）では、撮像画像群をグループ１２０１〜１２０８の８個のグループに分割している。図１２（Ａ）において矢印はグループの境界を示している。

＜ステップＳ１００７＞
画像分類部９０５は、ステップＳ１００６で分割したそれぞれのグループのうち１つを着目グループとして選択し、該着目グループがどのシーン分類されるのかを判断する。本実施形態では、グループが、旅行、日常、セレモニーのどのシーンに分類されるのかを判断する。もちろん、シーンの種類はこれらの種類に限るものではない。

本ステップのために、ＨＤＤ２０２には予め、グループがどのシーンに分類されるのかを判断するための基準となるデータ（シーン分類基準データ）が登録されている。シーン分類基準データの作成方法の一例を以下に示す。

例えば、旅行の画像として予め判断されている画像群（旅行画像群）、日常の画像として予め判断されている画像群（日常画像群）、セレモニーの画像として予め判断されている画像群（セレモニー画像群）、のそれぞれの画像群を予め複数用意する。そして、旅行画像群、日常画像群、セレモニー画像群、のそれぞれについて、撮像期間の平均及び標準偏差、撮像枚数の平均及び標準偏差、撮像人数の平均及び標準偏差、を求める。例えば、旅行画像群について、撮像期間の平均及び標準偏差、撮像枚数の平均及び標準偏差、撮像人数の平均及び標準偏差、を求める場合について説明する。

画像群の撮像期間とは、該画像群において最も過去に撮像した画像の撮像日時と最近撮像した画像の撮像日時との差分である。然るに、それぞれの旅行画像群について、該旅行画像群において最も過去に撮像した画像の撮像日時と最近撮像した画像の撮像日時との差分を、該旅行画像群の撮像期間として求め、該それぞれの旅行画像群について求めた撮像期間の平均及び標準偏差を求める。

また、画像群の撮像枚数とは、該画像群を構成する画像の枚数である。然るに、それぞれの旅行画像群について、該旅行画像群を構成する撮像画像の枚数を求め、該それぞれの旅行画像群について求めた撮像画像の枚数の平均及び標準偏差を求める。

また、画像群の撮像人数とは、該画像群を構成するそれぞれの画像に写っている顔の数である。然るに、全ての旅行画像群について、該旅行画像群を構成するそれぞれの撮像画像に写っている顔の数を周知の顔認識などの技術でもって求め、該求めた顔の数の平均及び標準偏差を求める。

日常画像群、セレモニー画像群についても同様にして、撮像期間の平均及び標準偏差、撮像枚数の平均及び標準偏差、撮像人数の平均及び標準偏差、を求める。そして、このようにして旅行画像群、日常画像群、セレモニー画像群のそれぞれについて求めた、撮像期間の平均及び標準偏差、撮像枚数の平均及び標準偏差、撮像人数の平均及び標準偏差、を、シーン分類基準データとしてＨＤＤ２０２に予め登録しておく。シーン分類基準データの一例を図１３に示す。

画像分類部９０５は、着目グループについて、上記と同様にして、撮像期間、撮像枚数、撮像人数の平均を求める。そして、画像分類部９０５は、シーン分類基準データを参照し、着目グループについて、旅行（シーン分類１）についての得点、日常（シーン分類２）についての得点、セレモニー（シーン分類３）についての得点を以下のようにして求める。

シーンｉの撮像期間の得点＝５０−｜１０×（シーンｉの撮像期間の平均−選択グループの撮像期間）／シーンｉの撮像期間の標準偏差｜
シーンｉの撮像枚数の得点＝５０−｜１０×（シーンｉの撮像枚数の平均−選択グループの撮像枚数）／シーンｉの撮像枚数の標準偏差｜
シーンｉの撮像人数の得点＝５０−｜１０×（シーンｉの撮像人数の平均−選択グループの撮像人数の平均）／シーンｉの撮像人数の標準偏差｜
シーンｉの得点＝（シーンｉの撮像期間の得点＋シーンｉの撮像枚数の得点＋シーンｉの撮像人数の得点）／３
ただし、ｉ＝１，２，３
そして画像分類部９０５は、着目グループについて求めたシーン分類１の得点、シーン分類２の得点、シーン分類３の得点、のうち最も高い得点のシーンを、該着目グループのシーンとして決定（分類）する。最も高い得点のシーン分類が複数個ある場合には、予め設定された優先順位において最も高いシーン分類を採用する。例えば、日常＞セレモニー＞旅行の順を予め設定しておく。例えば、図１２（Ａ）のグループ１２０５の撮像期間が３６時間、撮像枚数が３００枚、撮像人数の平均が１．７人であるとする。この場合、図１３のシーン分類基準データを用いると、旅行の得点は４５．３２、日常の得点は１８．３８、セレモニーの得点は−２９．９２となり、グループ１２０５のシーンは旅行に分類される。なお、それぞれのグループがどのシーンに分類されたのかについては、例えば、グループ毎に、分類先のシーンに固有の識別情報を対応付けてＨＤＤ２０２で管理する。

＜ステップＳ１００８＞
ステップＳ１００６で分割したそれぞれのグループの全てをステップＳ１００７で選択した場合には、処理はステップＳ１００９に進む。一方、ステップＳ１００６で分割したそれぞれのグループのうち未選択のグループが残っている場合には、処理はステップＳ１００７に戻る。

＜ステップＳ１００９＞
入力部９０６は、指定部９０１が取得した情報のうち、主人公を特定する情報（ここでは主人公ＩＤとする）を取得する。なお、主人公ＩＤとは、画像取得部９０２が取得した撮像画像群に登場する人のうち主人公としての人に固有のＩＤ（図１１の個人ＩＤ）である。この主人公ＩＤは、ユーザが上記のＧＵＩを用いて指定しても良いし、以下の処理によって、ユーザ操作を介さずに決定しても良い。

例えば、上記のステップＳ１００４の処理によって、それぞれの撮像画像においてどの個人ＩＤを有する人が登場したのかの情報を取得することができる。そのため、画像取得部９０２が取得した撮像画像群におけるそれぞれの人の登場回数、各シーンにおけるそれぞれの人の登場回数、それぞれの人が登場するシーンの個数、等を求めることが可能となる。この様な情報から、それぞれの人のうちその人を主人公とするのかを決定することができる。例えば、画像取得部９０２が取得した撮像画像群が複数のシーンによって構成されている場合には、最も多くのシーンに登場している人の個人ＩＤを主人公ＩＤとする。また、画像取得部９０２が取得した撮像画像群が単一シーンで構成されている場合には、該単一シーンで最も多く登場している人の個人ＩＤを主人公ＩＤとする。

＜ステップＳ１０１０＞
画像得点部９０７は、画像取得部９０２が取得した撮像画像群のうちの１つの着目画像に対して、メイン写真スロット（メインスロット）用の得点及びサブ写真スロット（サブスロット）用の得点を求める。ここで、メイン写真スロット及びサブ写真スロットについて、図１６（Ａ）を用いて説明する。図１６（Ａ）の（１−１）〜（４−４）は、入力部９１１が入力するテンプレート群である。（１−１）のテンプレート１６０１において１６０２〜１６０４は写真スロットであるが、写真スロット１６０２は他の写真スロット１６０３及び１６０４よりもサイズが大きい。このような場合、写真スロット１６０２をメイン写真スロット、写真スロット１６０３及び１６０４をサブ写真スロットとする。そこで、選択画像についてメイン写真スロット用の得点及びサブ写真スロット用の得点を求めるために用いる基準データを、例えば以下のようにして予め作成しておく。

メイン写真スロットに配置する画像として好ましいもの、サブ写真スロットに配置する画像として好ましいもの、は、その画像のシーンによって異なる。メイン写真スロットに配置する画像として好ましい画像の特徴、サブ写真スロットに配置する画像として好ましい画像の特徴、画像のシーン、の関係の一例を図１４（Ａ）に示す。

然るに、メイン写真スロットについて図１４（Ａ）で規定している条件を満たす旅行の画像群、日常の画像群、セレモニーの画像群、サブ写真スロットについて図１４（Ａ）で規定している条件を満たす旅行の画像群、日常の画像群、セレモニーの画像群、を予め用意する。そして、メイン写真スロット用に用意した各シーンの画像群について、該画像群に登場する顔の数、顔の登場位置、顔のサイズ、の平均及び標準偏差を求める。同様にして、サブ写真スロット用に用意した各シーンの画像群について、該画像群に登場する顔の数、顔の登場位置、顔のサイズ、の平均及び標準偏差を求める。このようにしてメイン写真スロット及びサブ写真スロットについて求めた、顔の数、顔の登場位置、顔のサイズ、の平均及び標準偏差を、上記の基準データとしてＨＤＤ２０２に予め登録しておく。

そして画像得点部９０７は、着目画像Ｉに対して、メイン写真スロット用の得点１及びサブ写真スロット用の得点２を、以下のようにして求める。

＜メイン写真スロット用の得点＞
顔数の得点１＝５０−｜１０×（着目画像Ｉのシーンについてメイン写真スロット用に求めた顔数の平均−着目画像Ｉに登場する主人公の顔の数）／着目画像Ｉのシーンについてメイン写真スロット用に求めた顔数の標準偏差｜
顔登場位置の得点１＝５０−｜１０×（着目画像Ｉのシーンについてメイン写真スロット用に求めた顔登場位置の平均−着目画像Ｉに登場する主人公の顔の登場位置）／着目画像Ｉのシーンについてメイン写真スロット用に求めた顔登場位置の標準偏差｜
顔サイズの得点１＝５０−｜１０×（着目画像Ｉのシーンについてメイン写真スロット用に求めた顔サイズの平均−着目画像Ｉに登場する主人公の顔のサイズ）／着目画像Ｉのシーンについてメイン写真スロット用に求めた顔サイズの標準偏差｜
得点１＝（顔数の得点１＋顔登場位置の得点１＋顔サイズの得点１）／３

＜サブ写真スロット用の得点＞
顔数の得点２＝５０−｜１０×（着目画像Ｉのシーンについてサブ写真スロット用に求めた顔数の平均−着目画像Ｉに登場する主人公の顔の数）／着目画像Ｉのシーンについてサブ写真スロット用に求めた顔数の標準偏差｜
顔登場位置の得点２＝５０−｜１０×（着目画像Ｉのシーンについてサブ写真スロット用に求めた顔登場位置の平均−着目画像Ｉに登場する主人公の顔の登場位置）／着目画像Ｉのシーンについてサブ写真スロット用に求めた顔登場位置の標準偏差｜
顔サイズの得点２＝５０−｜１０×（着目画像Ｉのシーンについてサブ写真スロット用に求めた顔サイズの平均−着目画像Ｉに登場する主人公の顔のサイズ）／着目画像Ｉのシーンについてサブ写真スロット用に求めた顔サイズの標準偏差｜
得点２＝（顔数の得点２＋顔登場位置の得点２＋顔サイズの得点２）／３

「着目画像Ｉに登場する主人公の顔」の数については、図１１の画像解析情報の、着目画像Ｉに対応する画像ＩＤの行において、主人公ＩＤに対応する個人ＩＤに左上隅の位置及び右下隅の位置が登録されていれば「１」、登録されていなければ「０」となる。また、「着目画像Ｉに登場する主人公の顔」の登場位置、サイズについては、図１１の画像解析情報の、着目画像Ｉに対応する画像ＩＤの行において、主人公ＩＤに対応する個人ＩＤに登録されている左上隅の位置及び右下隅の位置を参照すれば特定できる。

また、フォトアルバムに使う画像はピントが合っている方が好ましい為、図１１に示すピント＝「○」である撮像画像に対しては更に得点を加算してもよい。それぞれの画像ＩＤに対応する撮像画像について求めた、メイン写真スロット用の得点１及びサブ写真スロット用の得点２の一例を図１４（Ｂ）に示す。

＜ステップＳ１０１１＞
画像取得部９０２が取得した撮像画像群の全てをステップＳ１０１０で処理した場合には、処理はステップＳ１０１２に進む。一方、画像取得部９０２が取得した撮像画像群のうち未処理の撮像画像が残っている場合には、処理はステップＳ１０１０に戻る。

＜ステップＳ１０１２＞
入力部９０８は、指定部９０１が取得した情報のうち、フォトアルバムの見開きの数を取得する。そして見開き割当部９０９は、ステップＳ１００６において分割したグループの数と、入力部９０８が取得した見開きの数と、が同じであるか否かを判定する。この判定の結果、同じである場合には、処理はステップＳ１０１６に進み、同じではない場合には、処理はステップＳ１０１３に進む。例えば、図１２（Ａ）の場合は、グループ分割数＝８であるから、入力部９０８が取得した見開きの数＝８であれば、処理はステップＳ１０１６に進むことになる。

＜ステップＳ１０１３＞
見開き割当部９０９は、ステップＳ１００６において分割したグループの数Ｘ＜入力部９０８が取得した見開きの数Ｙであるか否かを判断する。この判断の結果、Ｘ＜Ｙであれば、処理はステップＳ１０１４に進み、Ｘ≧Ｙであれば、処理はステップＳ１０１５に進む。

＜ステップＳ１０１４＞
見開き割当部９０９は、Ｘ＝Ｙとなるべく、画像取得部９０２が取得した撮像画像群のグループ再分割（サブシーン分割）を行う。以下では具体的な例を挙げてステップＳ１０１４の処理を説明するために、図１２（Ａ）のように、Ｘ＝８となっている状態において、Ｙ＝１０であるケースを例にとる。この場合、図１２（Ｂ）に示す如く、点線で示す部分で図１２（Ａ）のグループ１２０２及び１２０５を分割することで、１０個のグループ１２０１〜１２１０を生成する。この点線の位置（分割基準線）の位置は、例えば、以下のようにして求める。

先ず、図１２（Ａ）のグループ１２０１〜１２０８のそれぞれのグループのうち、撮像画像枚数が多いグループを特定する。Ｘ＝８，Ｙ＝１０の場合、２カ所に分割基準線を設ける必要があるため、グループ１２０１〜１２０８のそれぞれのグループのうち、撮像画像枚数が最も多いグループ及び２番目に多いグループの２つのグループを特定する。図１２（Ａ）の場合、撮像画像枚数が最も多いグループはグループ１２０５であり、２番目に多いグループはグループ１２０１及び１２０２である。ここで、グループ１２０１とグループ１２０２とでは撮像画像枚数は同じであるが、撮像期間がグループ１２０２の方がグループ１２０１よりも長い。然るにこの場合には、グループ１２０２を選択する。然るに、結果として、グループ１２０５及びグループ１２０２のそれぞれを２つのグループに分割する。

先ず、グループ１２０２の分割方法について説明する。図１２（Ａ）においてグループ１２０２には、撮像画像枚数のピークが２つ存在するためのその間の位置を分割基準線の位置とする。次に、グループ１２０５の分割方法について説明する。図１２（Ａ）においてグループ１２０５には、撮像画像枚数のピークが３つ存在するが、分割後の２つのグループ間で撮像画像枚数の差がより小さくなるようにする。したがって、ここでは、３つのピークの間の位置のうち右側の位置を分割基準線の位置とする。なお、ここでは撮影日の違う箇所で分割したが、撮像画像枚数が多い箇所が単一日であった場合は、単一日の中で時間差が最大の箇所で分割する。なお、本ステップにおけるグループ分割方法には様々なグループ分割方法を用いることができ、特定のグループ分割方法に限るものではない。

＜ステップＳ１０１５＞
見開き割当部９０９は、Ｘ＝Ｙとなるべく、画像取得部９０２が取得した撮像画像群のグループ再分割（シーン統合）を行う。以下では具体的な例を挙げてステップＳ１０１５の処理を説明するために、図１２（Ａ）のように、Ｘ＝８となっている状態において、Ｙ＝６であるケースを例にとる。この場合、幾つかのグループを統合して１つのグループとすることでグループ数を減らしてＸ＝Ｙを達成する。図１２（Ｃ）に示す如く、点線で示す部分で図１２（Ａ）のグループ１２０３及び１２０４を統合し、且つ図１２（Ａ）のグループ１２０７及び１２０８を統合することで、６個のグループ１２０１〜１２０６を生成する。この点線の位置（統合基準線）の位置は、例えば、以下のようにして求める。

先ず、図１２（Ａ）のグループ１２０１〜１２０８のそれぞれのグループのうち、撮像画像枚数が少ないグループを特定する。Ｘ＝８，Ｙ＝６の場合、２カ所に統合基準線を設ける必要があるため、グループ１２０１〜１２０８のそれぞれのグループのうち、撮像画像枚数が最も少ないグループ及び２番目に少ないグループの２つのグループを特定する。図１２（Ａ）の場合、撮像画像枚数が最も少ないグループはグループ１２０８であり、２番目に少ないグループはグループ１２０３及び１２０７である。ここで、グループ１２０３とグループ１２０７とでは撮像画像枚数は同じであるが、グループ１２０７は、統合対象となるグループ１２０８と隣接しているため、この場合には、グループ１２０３を選択する。然るに、結果として、グループ１２０３及びグループ１２０８のそれぞれを統合対象とする。

先ず、グループ１２０３の統合方法について説明する。グループ１２０３に隣接するグループ１２０２とグループ１２０４とでは、グループ１２０４の方が撮像期間が短い。そこで、グループ１２０３をグループ１２０４と統合することで、図１２（Ｃ）のグループ１２０３を生成する。

グループ１２０８については隣接しているグループはグループ１２０７のみであるため、グループ１２０８をグループ１２０７と統合することで、図１２（Ｃ）のグループ１２０６を生成する。

なお、本ステップにおけるグループ統合方法には様々なグループ統合方法を用いることができ、特定のグループ統合方法に限るものではない。

＜ステップＳ１０１６＞
見開き割当部９０９は、入力部９０８が取得した見開きの数と同数のグループのそれぞれを、何れかの見開きに割り当てる。どの見開きにどのグループを割り当てるのかについては様々な形態とすることができるが、例えば、より先頭の見開きには、撮像日時（グループ中の任意の撮像画像の撮像日時）がより過去のグループを割り当てる。

＜ステップＳ１０１７＞
画像選択部９１０は先ず、それぞれの見開きのうち未選択の見開きを１つ選択し、該選択した見開きに割り当てられたグループに属する撮像画像群のうち、該見開きにおいて表示対象となる撮像画像を選択する。図４の場合は、４枚の撮像画像を選択する。選択した見開きに割り当てられたグループに属する撮像画像群のうち、該見開きにおいて表示対象となる４枚の撮像画像を選択する処理について、図１５を例にとり説明する。

図１５においてＳｔａｒｔは、選択された見開きに割り当てられたグループ（着目グループ）に属する撮像画像群において最も過去に撮像された撮像画像の撮像日時を表している。Ｅｎｄは、着目グループに属する撮像画像群において最近撮像された撮像画像の撮像日時を表している。然るに、（Ｅｎｄ−Ｓｔａｒｔ）が、着目グループの撮像期間を表している。

先ず、着目グループに属する撮像画像群（図１５（Ａ））から、メイン写真スロットに配置する撮像画像を選択する。メイン写真スロットに配置する撮像画像としては、着目グループに属するそれぞれの撮像画像のうち、メイン写真スロット用の得点が最も高かった撮像画像を選択する。メイン写真スロットに配置する撮像画像として選択された撮像画像を、図１５（Ｂ）において（１）として表している。

次に、サブ写真スロットに配置する撮像画像（３枚）を、着目グループに属する撮像画像群から選択する。画像選択は撮像期間の一部に集中しないように、以下に説明するように撮像期間を細分化する工夫をする。

先ず、サブ写真スロットに配置する１枚目の撮像画像を選択する。そのために先ず、図１５（Ｃ）に示す如く、撮像期間を２つの分割期間に分割する。そして図１５（Ｄ）に示す如く、２つの分割期間のうち、撮像画像（１）が属する分割期間（点線）を省いた残りの分割期間（実線）に属する撮像画像群のうちサブ写真スロット用の得点が最高の撮像画像を、サブ写真スロットに配置する撮像画像として選択する。サブ写真スロットに配置する１枚目の撮像画像として選択された撮像画像を、図１５（Ｄ）において（２）として示している。

次に、サブ写真スロットに配置する２枚目の撮像画像を選択する。そのために先ず、図１５（Ｅ）に示す如く、各分割期間を２つに分割することにより撮像期間を４つの分割期間に分割する。図１５（Ｆ）に示す如く、４つの分割期間のうち撮像画像（１）及び（２）が属する分割期間（点線）を省いた残りの分割期間（実線）に属する撮像画像群のうちサブ写真スロット用の得点が最高の撮像画像をサブ写真スロットに配置する撮像画像として選択する。サブ写真スロットに配置する２枚目の撮像画像として選択された撮像画像を、図１５（Ｆ）において（３）として示している。

次に、サブ写真スロットに配置する３枚目の撮像画像を選択する。サブ写真スロットに配置する撮像画像を上記の４分割した分割期間のうち、撮像画像（１）〜（３）が属していない分割期間Ｇから撮像画像を選択するのであるが、ここで、図１５（Ｇ）に斜線で示す如く、分割期間Ｇには何れの撮像画像も属していないとする。このような場合は、図１５（Ｈ）に示す如く、撮像期間を８つの分割期間に分割する。図１５（Ｉ）に示す如く、各分割期間を２つに分割することにより８つの分割期間とする。８つの分割期間のうち撮像画像（１）〜（３）が属する分割期間（点線）及び分割期間Ｇを省いた残りの分割期間（実線）に属する撮像画像群のうちサブ写真スロット用の得点が最高の撮像画像をサブ写真スロットに配置する撮像画像として選択する。サブ写真スロットに配置する３枚目の撮像画像として選択された撮像画像を、図１５（Ｉ）において（４）として示している。

＜ステップＳ１０１８＞
画像レイアウト部９１２は、画像レイアウトの決定のために、ステップＳ１０７で選択した画像を基にしてテンプレートを選択する。入力部９１１が入力したテンプレート群のうち、着目する見開きに適用するテンプレートを、該着目する見開きについて選択した撮像画像に基づいて選択する。以下では具体例を挙げてステップＳ１０１８における処理を説明するために、入力部９１１は、図１６（Ａ）の（１−１）〜（４−４）の１６枚のテンプレートを入力したとする。なお、ステップＳ１０１７ではメイン写真スロット用に１枚の撮像画像、サブ写真スロット用に２枚の撮像画像を選択しているとする。この場合は、図１６（Ａ）に示すように写真スロットの数が３のテンプレート群を候補とする。ここで、ステップＳ１０１７にて選択した３枚の撮像画像を撮像日時が古いものから順に左から並べると、図１６（Ｂ）に示す如く、縦長（縦向き）の画像１６０６、横長（横向き）の画像１６０７、縦長（縦向き）の画像１６０５であったとする。なお、画像１６０６及び１６０７はサブ写真スロットに配置する撮像画像であり、画像１６０５はメイン写真スロットに配置する撮像画像である。

次に、その候補から、テンプレート内のメインスロットの位置が、着目シーンの選択された画像群におけるメインスロット用画像の時系列的な位置に対応しているテンプレートを選択する。本実施形態では、テンプレートの左上に撮影日時のより古い画像、右下に撮影日時のより新しい画像をレイアウトするものとする。図１６（Ｂ）に示す如く、メイン写真スロットに配置する縦長の画像１６０５の撮像日時が最近であるため、右下に最近の撮像日時の縦長のメイン写真スロット用の画像を配置するレイアウトは、（３−１）〜（３−４）の何れかが候補として残る。

また、撮像日時が最も古い画像は縦長のサブ写真スロット用の画像１６０６であり、左上に最も古い撮像日時の縦長のサブ写真スロット用の画像を配置するレイアウトは、（３−１）、（３−２）の何れかが候補として残る。

また、撮像日時が２番目に古い画像は横長のサブ写真スロット用の画像１６０７であり、左上及び右下以外に２番目に古い撮像日時の横長のサブ写真スロット用の画像を配置するレイアウトは、（３−２）のみである。

然るに、この場合は、（３−２）のレイアウトを、着目する見開きに適用するテンプレートとして選択する。なお、着目する見開きに適用するテンプレートの選択方法は上記の方法に限るものではなく、他の方法を採用しても構わない。

＜ステップＳ１０１９＞
画像補正部９１４は、入力部９１３が取得したフラグ値が、画像補正を実施することを示す値である場合には、ステップＳ１０１７において画像選択部９１０が選択した撮像画像に対して、覆い焼き補正、赤目補正、コントラスト補正等の補正処理を施す。もちろん、画像補正部９１４は、入力部９１３が取得したフラグ値が、画像補正を実施しないことを示す値である場合には、補正処理は実行しない。

＜ステップＳ１０２０＞
出力部９１５は、ステップＳ１０１８で選択したテンプレート上のそれぞれの写真スロットに、該写真スロットに対してステップＳ１０１７で選択された撮像画像を、該写真スロットのサイズにリサイズして配置した「見開きのページの画像」を生成する。そして出力部９１５は、この生成した「見開きのページの画像」をレイアウト情報として出力する。出力先は表示部２０５であっても良いし、ＨＤＤ２０２であっても良い。

＜ステップＳ１０２１＞
ステップＳ１０１７において全ての見開きを選択した場合には、図１０のフローチャートに従った処理は終了する。一方、未選択の見開きが残っている場合には、処理はステップＳ１０１７に戻る。

以上説明した、図１０のフローチャートに従った処理を行うことで、各見開きの写真スロットに撮像画像が配置されたフォトアルバムを作成することができる。次に、図１５に示した画像選択方法でもって選択された４枚の画像がレイアウトされた見開きの画像がウィンドウ４０１の表示領域４０３内に表示されている場合に、ユーザが操作部２０３を操作して任意の写真スロットを指定した場合について説明する。

図１７（Ａ）は、図１５（Ｉ）のように撮像画像（１）〜（４）がメイン写真スロット用及びサブ写真スロット用に選択されており、このような状態において、撮像画像（３）の写真スロットがユーザが操作部２０３を操作して指定した場合を示している。すなわち、図１７（Ａ）では、撮像画像（３）が候補起点画像となっている。撮像画像（３）が候補起点画像となった場合、該候補起点画像の撮像日時の近傍範囲１７０１に属する撮像画像が、候補撮像画像として選択されることになる。ここでいう撮像画像（３）の近傍範囲は、図１５（Ｉ）の撮像画像（３）を含む分割期間に対応する。すなわち、本実施形態では、見開きに対する最後の画像を選択したときの分割期間のうち起点画像を含む分割期間を「近傍範囲」とする。図１７（Ａ）では、近傍範囲１７０１に属する撮像画像のうち撮像画像（５）及び（６）が候補撮像画像として選択されている。なお、撮像画像（５）及び（６）の選択方法には様々な方法を用いることができ、特定の方法に限るものではない。例えば、近傍範囲１７０１に属する撮像画像（撮像画像（３）以外）からランダムに２つを選択しても構わないし、近傍範囲１７０１内で撮像画像（３）の撮像日時から最も遠い２つの撮像画像を選択しても構わない。また、近傍範囲１７０１に属する撮像画像から、撮像画像（３）とは異なる人物が写っている撮像画像や、撮像画像（３）とは異なる構図の撮像画像、を候補撮像画像として選択しても構わない。

なお、ここでは候補撮像画像として２枚の撮像画像を選択する例を示したが、候補撮像画像として選択する撮像画像の枚数は２に限らず、任意の数でも構わない。ここで、図７（ｄ）に示すように４つの候補撮像画像を表示する場合について説明する。本実施形態では、上の２つの候補撮像画像を第１の評価方法でスコアの高いものとし、下の２つの候補撮像画像を第２の評価方法でスコアの高いものとする。これにより、本実施形態では、異なる趣でスコアの高い画像を候補画像として表示することができる。

このように、何れの選択方法を採用しても、候補撮像画像は、候補起点画像と同じ分割期間（撮像日時が比較的近い撮像画像群）から選択されるので、ページ内の時系列を崩すことなくユーザは簡単に画像を入れ替えることが可能となる。

次に、上記の前ボタンや後ボタンを指示することで、候補撮像画像を切り替える場合について説明する。現在、候補撮像画像として撮像画像（５）及び（６）が表示されているとする。このとき、ユーザが操作部２０３を操作して前ボタンを指示すると、図１７（Ｂ）に示す如く、上記の順序において撮像画像（３）よりも前の撮像画像である撮像画像（２）が候補起点画像となる。そして、撮像画像（２）の撮像日時の近傍範囲１７０２（分割期間１７０２）に属する撮像画像が、候補撮像画像として選択されることになる。図１７（Ｂ）では、近傍範囲１７０２に属する撮像画像のうち撮像画像（７）及び（８）が候補撮像画像として選択されている。また現在、候補撮像画像として撮像画像（５）及び（６）が表示されている状態において、ユーザが操作部２０３を操作して後ボタンを指示したとする。このとき、図１７（Ｂ）に示す如く、上記の順序において撮像画像（３）よりも後の撮像画像である撮像画像（１）が候補起点画像となる。そして、撮像画像（１）の撮像日時の近傍範囲１７０３（分割期間１７０３）に属する撮像画像が、候補撮像画像として選択されることになる。図１７（Ｂ）では、近傍範囲１７０３に属する撮像画像のうち撮像画像（９）及び（１０）が候補撮像画像として選択されている。
上述した方法により、任意の画像を他の画像に置き換える場合において、該他の画像の候補として好適な画像を表示することができる。
本実施形態では、画像スロットで現在割り当てられている画像の近傍の画像を候補画像として表示する。これにより、画像をレイアウトする際にスロットに適した画像をユーザが容易に選択することができる。本実施形態では、入替対象スロットの近傍の画像を候補画像として表示する。具体的には、入替対象スロットと同一撮影期間から候補画像を選定して表示する。これにより、ユーザはページ内の時系列を崩すことなく簡単に画像を入れ替えることができる。
さらに、入れ替え候補画像の次の候補を選定して表示する際にも、時間的に前のスロットの近傍範囲から候補画像を選択することにより、ユーザは容易にページ内の時系列を大きく崩すことなく画像を入れ替えることができる。

［第２の実施形態］
以下では、第１の実施形態との差分について重点的に説明し、以下で特に触れない限りは、第１の実施形態と同様であるものとする。第１の実施形態では図１７（Ｂ）に示す如く、候補撮像画像として撮像画像（５）及び（６）が表示されている状態において前ボタンが指示されると、撮像画像（２）が候補起点画像となり、近傍範囲１７０２に属する（撮影期間１７０２に対応する）撮像画像が候補撮像画像として選択される。本実施形態では、図１８に示す如く、候補撮像画像として撮像画像（５）及び（６）が表示されている状態において前ボタンが指示されると、近傍範囲１７０１と近傍範囲１７０２との間の範囲１８０１に属する撮像画像が候補撮像画像として選択される。図１８では、範囲１８０１に属する撮像画像のうち、撮像画像（７’）及び（８’）が、候補撮像画像として選択されている。一方、後候補ボタンを押された場合、実施形態１と同様に、候補画像の選択範囲を撮影期間１７０３とする。これは、撮影期間１８０２に画像がないためであり、撮影期間（ｃ）に画像がある場合は、撮影期間（ｃ）から画像を選定する。すなわち、本実施形態では、入替対象スロットに配置されている画像が属する撮影期間よりも１つ後の撮影期間から、候補画像を選定して表示する。撮影期間からの候補画像の選定方法は、実施形態１と同様であるため、説明を省略する。

次に、領域４０５ａ〜４０５ｄのそれぞれに撮像画像が配置されている状態において、領域４０５ａ〜４０５ｄのうちユーザが指定した領域に配置可能な画像の候補を一覧表示させるための処理について、図６のフローチャートに従って説明する。すなわち、本実施形態では、図５のフローチャートに従った処理を行う代わりに、図６のフローチャートに従った処理を行う点が、第１の実施形態と異なる。

＜ステップＳ１９０１＞
ＣＰＵ２０４は、領域４０５ａ〜４０５ｄのうち何れか１つの選択操作を受け付ける。

＜ステップＳ１９０２＞
ＣＰＵ２０４は、入替対象スロットに表示中の撮像画像の撮像日時の近傍範囲を、抽出時間範囲に設定する。

＜ステップＳ１９０３＞
ＣＰＵ２０４は、候補起点画像の代わりに入替対象スロットに配置可能な撮像画像の候補（候補画像）を、抽出時間範囲に属する撮像画像から探す（リストアップする）。

＜ステップＳ１９０４＞
ＣＰＵ２０４は、ステップＳ１９０３においてリストアップした候補画像を含むウィンドウを表示部２０５に表示させる。

＜ステップＳ１９０５＞
ＣＰＵ２０４は、前ボタン５１０（前候補ボタン）が指定されたか否かを判定する。この判定の結果、指定された場合には、処理はステップＳ１９０６に進み、指定されていない場合には、処理はステップＳ１９０７に進む。

＜ステップＳ１９０６＞
ＣＰＵ２０４は、抽出時間範囲に隣接し且つ日時が過去の時間範囲を、新たな抽出時間範囲に設定する。そして処理はステップＳ１９０３に戻る。

＜ステップＳ１９０７＞
ＣＰＵ２０４は、後ボタン５１１（後候補ボタン）が指定されたか否かを判定する。この判定の結果、指定された場合には、処理はステップＳ１９０８に進み、指定されていない場合には、処理はステップＳ１９０９に進む。

＜ステップＳ１９０８＞
ＣＰＵ２０４は、抽出時間範囲に隣接し且つ日時が新しい時間範囲を、新たな抽出時間範囲に設定する。そして処理はステップＳ１９０３に戻る。

＜ステップＳ１９０９＞
ＣＰＵ２０４は、表示中のウィンドウ内のそれぞれの候補撮像画像のうち何れか１つをユーザが操作部２０３を操作して選択したか否かを判断する。この判断の結果、選択した場合には、処理はステップＳ１９１０に進み、選択していない場合には、ステップＳ１９０４に戻る。

＜ステップＳ１９１０＞
ＣＰＵ２０４は、入替対象スロットに表示中の撮像画像に代えて、ユーザが操作部２０３を操作して選択した候補撮像画像を、該入替対象スロットに表示（配置）する。
本実施形態では、画像スロットで現在割り当てられている画像の近傍の画像を候補画像として表示する。これにより、画像をレイアウトする際にスロットに適した画像をユーザが容易に選択することができる。本実施形態では、入替対象スロットの近傍の画像を候補画像として表示する。具体的には、入替対象スロットと同一撮影区間から候補画像を選定して表示する。これにより、ユーザはページ内の時系列を崩すことなく簡単に画像を入れ替えることができる。さらに、入れ替え候補画像の次の候補を選定して表示する際にも、時間的に隣接する前の撮影期間から候補画像を選択することにより、ユーザは容易にページ内の時系列を大きく崩すことなく画像を入れ替えることができる。

［第３の実施形態］
第１、２の実施形態では上記の通り、図５、６のフローチャートに従った処理は、図１０のフローチャートに従った処理によって生成されたフォトアルバムを使用することを前提としていた。しかし、撮像画像群を撮像日時に基づいて見開きの数と同数のグループに分割し、それぞれの見開きに該グループを割り当てているフォトアルバムであれば良く、他の処理によって生成されたフォトアルバムを使用しても構わない。

また、第１、２の実施形態で説明した、図５、６のフローチャートに従った処理は、フォトアルバムにおいて一覧表示されている撮像画像を他の撮像画像に置き換えるものであった。しかし、撮像画像群を撮像日時に基づいて複数のグループに分割してそのうちの１つのグループに属する撮像画像を表示するようなケースにおいても、図５，６のフローチャートに従った処理を適宜変形すれば、対応することができる。すなわち、この場合、表示中の撮像画像の入れ替え候補を、該表示中の撮像画像が属するグループから選択してユーザに提示することになる。

すなわち、図５、６のフローチャートに従った処理は、何もフォトアルバムを作成してＰＣ２にアップロードするための目的で行うことに限ったものではなく、様々な状況、様々な目的で使用されうるものである。

［第４の実施形態］
ＰＣ１，ＰＣ２の代わりに同等の処理を実現可能な装置であれば、如何なる装置を用いても構わない。例えば、ＰＣ１の代わりに、タブレット端末装置やスマートフォンなどの機器を用いても構わない。

［第５の実施形態］
領域４０５ａ〜４０５ｄのそれぞれは画像だけを配置するものに限らず、テキストを配置するものであっても良い。また、上記の実施形態では、画像や文字などを配置するための領域（領域４０５ａ〜４０５ｄ）をオブジェクトとしている。しかし、単に画像上に表示された人などの被写体をオブジェクトとしても良く、画面上に表示されうるものであれば、如何なるものをオブジェクトとしても構わない。
［第６の実施形態］
図１７の撮像画像（４）や図１８の撮像画像（４）が入れ替え対象の画像として選択された場合のように、次の撮影期間が存在しない場合もある。この場合は、次の撮影期間を指定する為のＵＩ表示を行わない（後ボタン５１１の表示を行わない）など、ユーザの指定を抑制するようにしてもよい。また、ユーザの指定を抑制せず、ユーザの指定があった場合は、Ｓｔａｒｔ側の時間帯から候補画像を表示するようにしてもよい。ここでは、最後の撮影期間の画像が入れ替え対象だった場合を例に挙げて説明したが、逆に、先頭の撮影期間の画像が入れ替え対象だった場合も同様である。
［第７の実施形態］
前ボタン５１０及び後ボタン５１１のうちいずれか一方のみを表示するようにしてもよい。前の撮影期間又は後の撮影期間のみに次候補の画像を表示できる場合であっても、ユーザの利便性は高まる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

２０１：ＲＡＭ ２０２：ＨＤＤ ２０３：操作部 ２０４：ＣＰＵ ２０５：表示部

Claims (7)

1. 複数の画像データを含む画像データ群を取得する取得手段と、
   前記複数の画像データを複数のグループに分割する分割手段と、
   前記複数のグループのうち所定のグループに含まれている画像データ群のうち所定の画像データに基づく画像を、該所定のグループに対応するページのスロットに配置したレイアウト画像を表示画面に表示させるレイアウト表示制御手段と、
   前記表示画面に表示された前記所定のグループに対応するページのレイアウト画像において、画像を入れ替える入替対象のスロットを指定する指定手段と、
   前記指定手段により指定された入替対象のスロットに配置されている第１画像の撮影日時に基づいて、該第１画像の撮影日時が含まれる所定の時間範囲に含まれる撮影日時の画像を前記第１画像と入れ替える候補画像として含む第１候補画面を表示させる第１の表示制御手段と、
   前記所定の時間範囲よりも前の時間範囲と前記所定の時間範囲よりも後の時間範囲のうち、少なくともいずれかの時間範囲に含まれる撮影日時の画像を、前記第１画像と入れ替える候補画像として含む第２候補画面を表示させる第２の表示制御手段と、
   ユーザ指示に基づき、前記第１候補画面から前記第２候補画面へ変更する変更手段と、
   前記候補画像の中からユーザにより選択された選択候補画像を、前記入替対象のスロットに配置する配置手段と
   を備え、
   前記所定の時間範囲、及び、前記少なくともいずれかの時間範囲は、前記所定のグループの撮影期間に含まれ、
   前記配置手段は、前記第１候補画面に含まれる候補画像がユーザにより選択された場合も、前記第２候補画面に含まれる候補画像がユーザにより選択された場合も、該選択された候補画像を、前記所定のグループに対応するページの前記入替対象のスロットに配置することを特徴とする画像処理装置。
2. 前記少なくともいずれかの時間範囲は、前記第２候補画面に含まれる候補画像のうち前記第１画像とは異なる第２画像の撮影日時を含む時間期間、もしくは前記所定の時間範囲と該第２画像の撮影日時を含む時間期間との間の時間期間、であることを特徴とする請求項１に記載の画像処理装置。
3. 前記レイアウト表示制御手段は、
   前記所定のグループに含まれている画像データ群のうち規定の基準を満たす画像データに基づく画像を、前記レイアウト画像における第１スロットに配置し、
   前記所定のグループに含まれている画像データ群のうち前記規定の基準を満たす画像データ、以外の画像データを、前記レイアウト画像において前記第１スロットよりもサイズが小さい第２スロットに配置することを特徴とする請求項１または２に記載の画像処理装置。
4. 複数の画像データを含む画像データ群を取得する取得工程と、
   前記複数の画像データを複数のグループに分割する分割工程と、
   前記複数のグループのうち所定のグループに含まれている画像データ群のうち所定の画像データに基づく画像を、該所定のグループに対応するページのスロットに配置したレイアウト画像を表示画面に表示させるレイアウト表示制御工程と、
   前記表示画面に表示された前記所定のグループに対応するページのレイアウト画像において、画像を入れ替える入替対象のスロットを指定する指定工程と、
   前記指定工程で指定された入替対象のスロットに配置されている第１画像の撮影日時に基づいて、該第１画像の撮影日時が含まれる所定の時間範囲に含まれる撮影日時の画像を前記第１画像と入れ替える候補画像として含む第１候補画面を表示させる第１の表示制御工程と、
   前記所定の時間範囲よりも前の時間範囲と前記所定の時間範囲よりも後の時間範囲のうち、少なくともいずれかの時間範囲に含まれる撮影日時の画像を、前記第１画像と入れ替える候補画像として含む第２候補画面を表示させる第２の表示制御工程と、
   ユーザ指示に基づき、前記第１候補画面から前記第２候補画面へ変更する変更工程と、
   前記候補画像の中からユーザにより選択された選択候補画像を、前記入替対象のスロットに配置する配置工程と
   を備え、
   前記所定の時間範囲、及び、前記少なくともいずれかの時間範囲は、前記所定のグループの撮影期間に含まれ、
   前記配置工程では、前記第１候補画面に含まれる候補画像がユーザにより選択された場合も、前記第２候補画面に含まれる候補画像がユーザにより選択された場合も、該選択された候補画像を、前記所定のグループに対応するページの前記入替対象のスロットに配置することを特徴とする画像処理方法。
5. 前記少なくともいずれかの時間範囲は、前記第２候補画面に含まれる候補画像のうち前記第１画像とは異なる第２画像の撮影日時を含む時間期間、もしくは前記所定の時間範囲と該第２画像の撮影日時を含む時間期間との間の時間期間、であることを特徴とする請求項４に記載の画像処理方法。
6. 前記レイアウト表示制御工程では、
   前記所定のグループに含まれている画像データ群のうち規定の基準を満たす画像データに基づく画像を、前記レイアウト画像における第１スロットに配置し、
   前記所定のグループに含まれている画像データ群のうち前記規定の基準を満たす画像データ、以外の画像データを、前記レイアウト画像において前記第１スロットよりもサイズが小さい第２スロットに配置することを特徴とする請求項４または５に記載の画像処理方法。
7. コンピュータを、請求項１乃至３の何れか１項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。

Images