JP2021026703A - 画像処理装置、制御方法及びプログラム - Google Patents

Abstract

【課題】 配置される画像データの特徴に適したテンプレートを用いてレイアウト画像を生成することを目的とする。【解決手段】 特定された１又は複数の画像データが配置される１又は複数のスロットを少なくとも有するテンプレートを、前記特定された前記１又は複数の画像データの特徴に基づいて新たに生成する第１生成ステップを実行させることを特徴とするプログラムを提供することで課題を解決する。【選択図】図１

Description

本発明は、画像処理装置、制御方法及びプログラムに関する。

画像データをテンプレートに配置することで、レイアウト画像を生成する技術が知られている（例えば、特許文献１参照）。

特開２０１７−１１７４０６号

しかしながら従来、レイアウト画像の生成においては、予め定められたテンプレートが用いられていた。そのため例えば、配置される画像データの特徴に適していないテンプレートが用いられてレイアウト画像が生成されてしまうことがあるという課題があった。

そこで本発明では、配置される画像データの特徴に適したテンプレートを用いてレイアウト画像を生成することを目的とする。

上述の課題を解決するために本発明のプログラムは、画像処理装置のコンピュータに、
１又は複数の画像データを特定する特定ステップと、
前記特定された前記１又は複数の画像データが配置される１又は複数のスロットを少なくとも有するテンプレートを、前記特定された前記１又は複数の画像データの特徴に基づいて新たに生成する第１生成ステップと、
新たに生成された前記テンプレートが有する前記１又は複数のスロットに対して、前記特定された前記１又は複数の画像データを配置することでレイアウト画像を生成する第２生成ステップと、を実行させることを特徴とする。

配置される画像データの特徴に適したテンプレートを用いてレイアウト画像を生成することができる。

印刷システムを示す図である。 画像処理装置のハードウェアの構成を説明するブロック図である。 アルバム作成アプリが提供する入力画面の一例を示す図である。 アルバム作成アプリにより実行される自動レイアウト処理を示すフローチャートである。 アルバム作成アプリが提供する編集画面の一例を示す図である。 アルバム作成アプリにより実行されるテンプレート生成処理を示すフローチャートである。 アルバム作成アプリにより実行されるテンプレートＬ又はテンプレートＲを生成する処理を示すフローチャートである。 アルバム作成アプリにより実行される、縦並びと横並びによるテンプレート生成処理を示すフローチャートである。 スロットの配置方法について説明するための図である。 生成される見開き用テンプレートの一例である。 アルバム作成アプリにより実行される、スロット調整処理を示すフローチャートである。 スロットの調整について説明するための図である。 テンプレートのタイプを説明するための図である。 テンプレートの得点化について説明するための図である。 テンプレートの得点化について説明するための図である。 画像データの配置方法を説明するための図である。 レイアウト画像の得点化について説明するための図である。 アルバム作成アプリにより実行される、編集時の自動レイアウト処理を示すフローチャートである。

以下、添付図面を参照して本発明の好適な実施の形態を詳しく説明する。尚、以下の実施の形態は特許請求の範囲に係る本発明を限定するものでなく、また本実施の形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。

以下の実施形態では、画像処理装置上で、アルバム作成のためのアプリケーションプログラム（以下、「アルバム作成アプリ」ともいう）を動作させ、自動レイアウトを生成するまでの手順について説明する。以下に説明する画像とは、特に断りが無い限り、静止画、動画、動画中のフレーム画像、また、ＳＮＳ（ソーシャル・ネットワーキング・サービス）サーバ上の静止画と動画と動画中のフレーム画像を含む。

（第１実施形態）
図１は、本実施形態の印刷システムを示す図である。この印刷システムには、画像処理装置１００のほかに、画像形成装置２００、ネットワーク３００、外部サーバ４００及び画像形成装置５００が含まれるものとする。

画像処理装置１００は、アルバム作成アプリによってアルバムデータを生成する装置である。本実施形態においてアルバムデータとは、アルバムを注文・制作するためのデータであり、複数のレイアウト情報によって構成されるデータである。レイアウト情報とは、アルバムに含まれる見開きに配置・印刷されるレイアウト画像を印刷するための情報である。本実施形態では、後述の自動レイアウト処理により、アルバムデータやレイアウト情報が、アルバム作成アプリによって自動で生成されうる。なお画像処理装置１００は、例えば、ＰＣ（パーソナルコンピュータ）、スマートフォン、タブレット端末、カメラ、プリンタ等であり、本実施形態ではＰＣとする。

画像形成装置２００は、画像処理装置１００等から受け付ける印刷ジョブに基づいて、記録剤によって記録媒体上に画像を形成する画像形成処理（印刷処理）を実行する。なお、本実施形態では、画像処理装置１００が、生成したレイアウト情報を外部サーバに送信（出力）する形態を説明するが、例えば、画像処理装置１００が、生成したレイアウト情報を印刷ジョブとして画像形成装置２００に送信する形態であっても良い。この場合、レイアウト情報に基づくアルバムは、画像形成装置２００によって作成される。なお画像形成装置２００が利用する印刷方式は特に限定されず、例えば、インクジェット方式や、電子写真方式、熱昇華方式等である。

ネットワーク３００は、画像処理装置１００及び外部サーバ４００と接続しており、両者の間における情報の伝達を行うための通信網である。なお、ネットワーク３００は、有線ネットワークであっても良いし、無線ネットワークであっても良い。

外部サーバ４００は、ネットワーク３００を介して画像処理装置１００から後述のレイアウト情報を受け付ける。すなわち、外部サーバ４００は、アルバムの受注・管理を司るサーバである。外部サーバ４００は、画像処理装置１００を操作するユーザによってアルバム購入・注文手続きが行われたら、受け付けたレイアウト情報に基づくアルバムを、画像形成装置５００に画像形成処理によって作成させる。その後、画像形成装置５００によって作成されたアルバムは、アルバム購入手続きを行ったユーザに届けられる。

図２は、本発明に係る画像処理装置１００のハードウェアの構成を説明するブロック図である。図２において、画像処理装置１００は、ＣＰＵ１０１と、ＲＯＭ１０２と、ＲＡＭ１０３と、ＨＤＤ１０４と、ディスプレイ１０５と、キーボード１０６と、マウス１０７と、データ通信部１０８と、を備えている。これらは、データバス１０９により相互に接続されている。そして、ＣＰＵ１０１や、ＲＯＭ１０２、ＲＡＭ１０３等によって、画像処理装置１００のコンピュータが形成される。

ＣＰＵ（中央演算装置／プロセッサ）１０１は、システム制御部であり、画像処理装置１００全体を制御する。また、ＣＰＵ１０１は、本実施形態で説明する画像処理方法をプログラムに従って実行する。なお、図中のＣＰＵは１つとしたが、これに限定されず、複数備えられていてもよい。

ＲＯＭ１０２には、ＣＰＵ１０１により実行されるプログラムやＯＳ（オペレーティングシステム）が記憶されている。ＲＡＭ１０３は、ＣＰＵ１０１によるプログラムの実行時に、各種情報を一時的に記憶するためのメモリを提供している。ＨＤＤ（ハードディスク）１０４は、画像ファイルや画像解析などの処理結果を保持するデータベースなどを記憶するための記憶媒体である。本実施形態では、ＲＡＭ１０３は、後述するアルバム作成アプリを記憶する。

ディスプレイ１０５（表示部）は、本実施形態のＵＩ（ユーザインターフェイス）や画像のレイアウト結果をユーザに提示する装置である。ディスプレイ１０５は、タッチセンサー機能を備えていても良い。キーボード１０６は、入力装置の１つであり、例えば、ディスプレイ１０５に表示されたＵＩ上に所定の情報を入力するのに用いられる。所定の情報とは、例えば、作成したいアルバムの見開き数やページ数等の情報である。マウス１０７は、入力装置の１つであり、例えば、ディスプレイ１０５に表示されたＵＩ上のボタンをクリックするのに用いられる。なお、例えばユーザが、ディスプレイ１０５に表示されている、アルバム作成アプリに対応するアイコンを、マウス１０７の操作によりダブルクリックすることで、アルバム作成アプリが起動する。

データ通信部１０８（通信部）は、プリンタやサーバなどの外部装置と通信するための装置である。例えば、アルバム作成アプリによって作成されたデータは、データ通信部１０８を介して、画像処理装置１００に接続された不図示のプリンタやサーバに送信される。また、データ通信部１０８は、不図示のサーバやＳＮＳ（ソーシャルネットワーキングサービス）サーバ上の静止画データを受信する。なお、本実施形態では、データ通信部１０８は、ＳＮＳサーバから静止画データを受信するが、動画データも受信しても良い。

データバス１０９は、上述した各部（１０２〜１０８）とＣＰＵ１０１とを接続する。

＜アルバムの自動レイアウト＞
本実施形態におけるアルバム作成アプリが、画像処理装置１００にインストールされると、画像処理装置１００上で動作するＯＳのトップ画面（デスクトップ）上にこのアプリの起動アイコンが表示される。ユーザがディスプレイ１０５に表示されているデスクトップ上の起動アイコンをマウス１０７でダブルクリックすると、ＨＤＤ１０４に保存されているアルバム作成アプリがＲＡＭ１０３にロードされる。そして、ＲＡＭ１０３にロードされたプログラムがＣＰＵ１０１によって実行されて、アルバム作成アプリが起動する。

本実施形態では、アルバム作成アプリは、自動でテンプレートを特定して当該テンプレートに画像を配置することでレイアウト画像を生成する処理である、自動レイアウト処理を実行する。なおレイアウト画像が生成されることで、当該レイアウト画像を出力（表示・印刷）するためのレイアウト情報も生成される。そのため、自動レイアウト処理とは、レイアウト情報を自動生成する処理でもある。しかしながら従来、自動で特定されるテンプレートは、予めアルバム作成アプリ内に保持されているものであり、スロットの形状や大きさ、位置が予め定められているものであったため、配置される画像データに適したものでないことがあるという課題があった。具体的には例えば、配置される画像データのアスペクト比と、テンプレート内のスロットのアスペクト比が大きくことなっており、配置後の画像データの審美性が低下することがあるという課題があった。そこで、本実施形態では、配置される画像データに適したテンプレートを生成する処理を実行する。

また従来、自動レイアウトにあたり、複数のレイアウト情報を生成及び評価し、当該評価に基づいて、実際に使用するレイアウト情報を決定していた。しかしながら従来、レイアウト情報の評価において、レイアウト情報に用いられているテンプレートの評価については考慮されていなかった。そこで本実施形態では、レイアウト情報に用いられているテンプレートの評価を実行する。そして、実際に使用するレイアウト情報の選択にあたり、レイアウト情報に用いられているテンプレートの評価を参照する。

＜アルバム作成アプリが表示する画面＞
図３は、起動したアルバム作成アプリが提供する入力画面３０１の一例を示す図である。入力画面３０１は、ディスプレイ１０５に表示される。ユーザが入力画面３０１を介して、後述するアルバムの作成条件を設定することで、アルバム作成アプリは、ユーザから指定される設定内容を取得する。

入力画面３０１上のパスボックス３０２は、アルバム作成の対象となる画像データ群のＨＤＤ１０４中の保存場所（パス）を示す。フォルダ選択ボタン３０３は、ユーザによるマウス１０７の操作によりクリックされることより、アルバム作成の対象とする画像データ群を含むフォルダをツリー構成でユーザが選択可能に表示する。そして、ユーザにより選択された画像データ群を含むフォルダパスがパスボックス３０２に表示される。なおここでは、アルバム作成の対象となる画像データの指定を、画像データを格納するフォルダを指定することで行う形態を説明したが、この形態に限定されない。フォルダ内の画像データのうち、いずれの画像データをアルバム作成の対象とするかを、ユーザが選択可能な構成としても良い。

見開き数ボックス３０４は、ユーザからのアルバムの見開き数の設定を受け付ける。ユーザは、キーボード１０６を介して見開き数ボックス３０４に直接数字を入力するか、マウス１０７を用いてリストから見開き数ボックスに数字を入力する。なお、見開きとは、アルバムにおいてそれぞれ対向する２ページ分の領域である。ここでは、アルバムに含まれる見開きのうち、テンプレートに画像が配置された画像であるレイアウト画像が印刷される見開きの数（すなわち、本身に含まれる見開きの数）が入力される。

商材指定ボックス３０５は、アルバムデータによって作成されるアルバムに用いられる商材の設定を受け付ける。商材の設定とは具体的には、アルバムのサイズ、アルバムの表紙の用紙種類、アルバムの表紙以外のページの用紙種類等の設定である。また例えば、アルバムデータによって作成されるアルバムの綴じ方の設定を実行可能であっても良い。

作成方法指定ボックス３０６は、アルバムデータの作成方法の設定を受け付ける。本実施形態では、アルバムデータの作成方法として、自動作成と手動作成があるものとする。それぞれの詳細については以下に説明する。

ＯＫボタン３０７は、入力画面３０１において入力された情報に基づいてアルバムデータの生成を開始するためのボタンである。

リセットボタン３０８は、入力画面３０１上の各設定情報をリセットするためのボタンである。

なお、入力画面３０１上では、上述した設定以外の設定を実行可能であっても良い。例えば、動画に関する設定や、画像・動画データの取得先の設定を実行可能であっても良い。また例えば、アルバムの主人公の設定を実行可能であっても良い。主人公が設定された場合、主人公として設定された人物が移っている画像がより多くアルバムに含まれるように制御される。また例えば、アルバムのモードの設定を実行可能であっても良い。アルバムのモードとは、所定のオブジェクトを含む画像を優先してテンプレートにレイアウトするためのモードであり、各モードのアルバムには、各モードに応じたオブジェクトがより多く配置されることになる。このとき設定されるモードとは例えば、「人物」、「動物」、「料理」等のモードである。また図３に示す画面には、例えば、入力されている設定で生成されるレイアウト情報によって表わされるアルバムの完成予想図等を表わす領域が含まれていても良い。

本実施形態では、アルバムデータの作成方法として自動作成が選択された場合、入力画面３０１上で入力された条件に従ってアルバム作成アプリが自動でアルバムデータを作成した後、自動で作成されたアルバムデータの編集画面を表示する。一方、アルバムデータの作成方法として手動作成が選択された場合、画像データが配置されていないアルバムデータの編集画面を表示し、編集画面上でユーザの選択を受け付けてアルバムデータに画像データを配置する。

図５は、アルバム作成アプリが提供する編集画面５０１の一例を示す図である。編集画面５０１は、見開き一覧５０２、見開き表示部５０３、画像一覧５０４、注文ボタン５０５、候補表示領域５０６を有する。

見開き一覧５０２には、選択の候補となる見開きの一覧が表示されている。ユーザは、見開き一覧５０２に含まれる見開きのうちいずれかをマウス１０７でクリックすることで、見開きを選択することができる。

見開き表示部５０３には、見開き一覧５０２から選択された見開きが表示される。なお、自動レイアウト処理が完了することで、選択された見開きに対応するレイアウト画像が生成されている場合は、見開き表示部５０３には、当該レイアウト画像が表示される。

なお、見開き一覧５０２や見開き表示部５０３は、見開きを表示する形態に限定されず、例えば、１ページ分の領域を表示する形態であっても良い。また、見開き一覧５０２や見開き表示部５０３は、見開きを表わす状態と、ページを表わす状態とを切り替えても良い。この場合例えば、見開き一覧５０２や見開き表示部５０３は、表紙や裏表紙については、１ページを表わす状態で表示し、本身については、１つの見開きを表わす状態で表示する。

画像一覧５０４には、パスボックス３０２にて指定されたパスに対応する画像データ（ユーザによって選択された画像データ）のサムネイル画像の一覧が表示される。画像一覧５０４から選択されたサムネイル画像に対応する画像データが、見開き表示部５０３に表示されている見開きに配置される。すなわちユーザは、画像一覧５０４に含まれるサムネイル画像のうちいずれかをマウス１０７でクリックすることで、見開き表示部５０３に表示されている見開きに配置される画像データを指定することができる。なおこのときユーザは複数のサムネイル画像を選択しても良い。また、画像一覧５０４には、パスボックス３０２によってユーザに選択された画像データ以外の画像データのサムネイル画像が追加されても良い。例えば、画像一覧５０４に対して、いずれかのフォルダから画像データがドラック＆ドロップされることで、画像一覧５０４に新たに画像データが追加される。なお画像一覧５０４に画像データが追加された場合、追加された画像データの解析が後述のＳ４０３に説明するようにして行われる。

注文ボタン５０５は、生成したアルバムデータに基づくアルバムを注文するためのボタンである。注文ボタン５０５が押下された場合、所定の注文手続きをユーザが実行した後、外部サーバ４００にアルバムデータが送信される。

候補表示領域５０６は、見開き表示部５０３に表示されている見開きに配置されるレイアウト画像の生成に利用されるテンプレートの候補を表示する領域である。候補表示領域５０６に対する操作の詳細については後述する。

なお図５において、見開き一覧５０２や見開き表示部５０３にはレイアウト画像が表示されていないが、自動レイアウト処理等によって見開きにレイアウト画像が配置された場合、見開き一覧５０２や見開き表示部５０３には、レイアウト画像が表示される。

＜自動レイアウト処理＞
以下ではまず、アルバムデータの作成方法として自動生成が選択されることで実行される自動レイアウト処理について説明する。

図４は、本実施形態に係るアルバム作成アプリにより実行される自動レイアウト処理を示すフローチャートである。図４に示すフローチャートは、例えば、ＣＰＵ１０１がＨＤＤ１０４に格納されたアルバム作成アプリに対応するプログラムをＲＯＭ１０２やＲＡＭ１０３に読み出して実行することにより実現される。また、図４に示すフローチャートは、アルバムデータの作成方法として自動生成が選択されている状態で、ＯＫボタン３０７が操作された場合に開始される。

まず、Ｓ４０１では、ＣＰＵ１０１は、入力画面３０１に対して入力されたアルバム作成条件に関する各種情報を取得する。

Ｓ４０２では、ＣＰＵ１０１は、Ｓ４０１で取得された情報を参照し、パスボックス３０２にて指定されたパスに対応するフォルダに含まれる画像データを取得する。

Ｓ４０３では、ＣＰＵ１０１は、Ｓ４０２で取得された画像データを解析する。具体的には、ＣＰＵ１０１は、特徴量の抽出処理、オブジェクト検出処理、顔検出処理を行う。また、画像データに付随するメタデータ（Ｅｘｉｆ情報）から画像のサイズおよび撮影日時を取得する。

特徴量の抽出処理について説明する。特徴量としては、例えば、画像データにより表される画像のピントが挙げられる。ピントの特徴量を取得するためのエッジの検出方法としては、例えば、一般的なソーベルフィルタが用いられる。ソーベルフィルタでエッジ検出して、エッジの始点と終点の輝度差を始点と終点の距離で割ればエッジの傾き、すなわち輝度勾配が算出可能である。画像中のエッジの平均傾きを算出した結果から、平均傾きが大きい画像は、平均傾きが小さい画像よりもピントが合っているとみなすことができる。そして、傾きに対して異なる値の複数の閾値を設定すれば、どの閾値以上かを判定することにより、ピント量の評価値を出力可能である。本実施形態では、異なる２つの閾値を予め設定しておき、○△×の３段階により、ピント量を判定する。閾値については、アルバムに採用したいピントの傾きが「○」、許容できるピントの傾きが「△」、許容できない傾きが「×」となるようにして、実験等により予め設定される。なお、閾値の設定は、例えば、アルバム作成アプリの作成元等により提供されても良いし、ユーザインタフェース上で設定可能としても良い。また特徴量として本実施形態では、画像データの撮影日時や、画像データにより表される画像のサイズ、アスペクト比等の情報が抽出される。

顔検出処理とオブジェクト検出処理について説明する。ＣＰＵ１０１は、顔検出処理により、Ｓ４０２で取得された画像データが表す画像から人物の顔を検出する。顔検出の処理には、公知の方法を用いることができ、例えば、複数用意した弱識別器から強識別器を作成するＡｄａｂｏｏｓｔが用いられる。本実施形態では、Ａｄａｂｏｏｓｔにより作成した強識別器により人物（オブジェクト）の顔画像が検出される。また、ＣＰＵ１０１は、顔画像を抽出すると共に、検出した顔画像の位置の左上座標値と右下座標値を取得する。この２種類の座標を持つことにより、ＣＰＵ１０１は、顔画像の位置と顔画像のサイズを取得することが可能となる。また、ＣＰＵ１０１は、オブジェクト検出処理により、Ａｄａｂｏｏｓｔにより作成した強識別器により、顔画像以外の所定のオブジェクトを検出する。なお本実施形態では、オブジェクト検出処理において検出されるオブジェクトは、犬や猫等の動物であるものとする。犬や猫等の動物に限らず、花、料理、建物、置物、乗り物等のオブジェクトが検出されても良い。また、Ａｄａｂｏｏｓｔではなく、ディープニュートラルネットワーク等によってオブジェクトが検索されても良い。

なおここで取得された各画像データの画像解析情報は、画像を識別するＩＤ毎に区別してＨＤＤ１０４に記憶される。

Ｓ４０４では、ＣＰＵ１０１は、Ｓ４０２で取得された全ての画像データの解析が終了したか否かを判定する。ＣＰＵ１０１は、ＹＥＳ判定の場合、Ｓ４０５に進み、ＮＯ判定の場合、Ｓ４０２に戻り、まだ解析していない画像データを取得する。

Ｓ４０５では、ＣＰＵ１０１は、画像得点化を実行する。Ｓ４０５における画像得点化とは、画像データ毎に、Ｓ４０３での解析結果に基づいて評価した得点を付与する（スコアリング）処理である。本実施形態において画像得点化は、Ｓ４０３での解析結果に基づいて、複数の観点において行われる。すなわち、本実施形態において画像得点化により、各画像データに対して、複数の点数が付与される。具体的には、本実施形態では、特徴量（特に画質）に基づく得点、顔検出結果に基づく得点の２つの観点における得点が、各画像データに対して付与される。

まず、画質に基づく画像得点化について説明する。本実施形態では例えば、画質に基づく画像得点化において、ピントや画素数等の特徴量が用いられる。具体的には例えば、Ｓ４０３で取得されたピントの特徴量が「○」である画像データに対して付加される得点が、ピントの特徴量が「△」や「×」である画像データに対して付加される得点より高くなるように、画質に基づく得点が付加される。また例えば、画素数が高い画像を表す画像データに対して付加される得点が、画素数が低い画像を表す画像データに対して付加される得点より高くなるように、画質に基づく得点が画像データに対して付加される。なお、画質に基づく画像得点化に用いられる特徴量は、撮影時に使用されたレンズ情報などの撮影情報であっても良いし、アプリケーションに入力される画像の圧縮フォーマットであっても良い。また、画像データに基づいて表示される画像のサイズや解像度、コントラスト等であっても良い。

次に、顔検出結果に基づく画像得点化について説明する。この画像得点化は、Ｓ４０３で人物の顔が検出されたか否かの情報や、Ｓ４０３で検出された顔のサイズの情報等に基づいて行われる。例えば、人物の顔が含まれている画像データに対して付加される得点が、人物の顔が含まれていない画像データに対して付加される得点より高くなるように、得点が画像データに対して付加される。また例えば、人物の顔が占める面積（サイズ）が大きい画像データに対して付加される得点が、人物の顔が占める面積が小さい画像データに対して付加される得点より高くなるように、得点が画像データに対して付加される。また例えば、笑顔の顔が含まれる画像データに対して付加される得点が、笑顔でない顔が含まれる画像データに対して付加される得点より高くなるように、得点が画像データに対して付加される。

次に、オブジェクト検出結果に基づく画像得点化について説明する。この画像得点化は、Ｓ４０３で動物が検出されたか否かの情報や、Ｓ４０３で検出された動物のサイズの情報等に基づいて行われる。例えば、動物が含まれている画像データに対して付加される得点が、動物が含まれていない画像データに対して付加される得点より高くなるように、得点が画像データに対して付加される。また例えば、動物が占める面積（サイズ）が大きい画像データに対して付加される得点が、動物が占める面積が小さい画像データに対して付加される得点より高くなるように、得点が画像データに対して付加される。

Ｓ４０６では、ＣＰＵ１０１は、Ｓ４０２で取得された全ての画像データに対してＳ４０５の画像得点化が終了したか否かを判定する。ＣＰＵ１０１は、ＹＥＳ判定の場合、Ｓ４０７に進む。またＣＰＵ１０１は、ＮＯ判定の場合、Ｓ４０５に戻り、まだ画像得点化が行われていない画像データに対して画像得点化が実行される。

Ｓ４０７では、ＣＰＵ１０１は、Ｓ４０２で取得された画像データを、グループ分けする。なおこのとき生成されるグループの数が、見開き数ボックス３０４に入力された見開き数と同じ数となるように、グループ分けが行われる。このとき具体的にはＣＰＵ１０１は、まず、Ｓ４０２で取得された画像データを、Ｓ４０３の解析により得られた特徴量（撮影日時）に基づいて、撮影日時が早いものから順に並べる。その後ＣＰＵ１０１は、各画像データ間の撮影時間の時間差を取得する。そして、時間差が大きい画像データ間から順に画像データの並びを区切ることで、画像データをグループ分けする。その後ＣＰＵ１０１は、このようにしてグループ化された画像データを、作成対象の各見開きに時系列順に割り当てられる。すなわちＣＰＵ１０１は、より撮影日時が早い画像データを含むグループを、より若いページ番号の見開きに割り当てる。これにより、各見開きにいずれの画像データが配置されるかが特定されることとなる。

Ｓ４０８では、ＣＰＵ１０１は、まだ自動レイアウトが行われていない見開きのうち自動レイアウトの対象となる見開きを特定する。本実施形態では、まだ自動レイアウトが行われていない見開きのうち、より若いページ番号の見開きが特定されるものとする。なおこのときＣＰＵ１０１は、特定された見開きに配置される画像データや、それらの画像データの解析結果等を取得する。

Ｓ４０９では、ＣＰＵ１０１は、Ｓ４０８で特定された見開きの自動レイアウトに用いられるテンプレートを生成する。本処理の詳細を以下に説明する。

図６は、本実施形態に係るアルバム作成アプリにより実行されるテンプレート生成処理を示すフローチャートである。図６に示すフローチャートは、例えば、ＣＰＵ１０１がＨＤＤ１０４に格納されたアルバム作成アプリに対応するプログラムをＲＯＭ１０２やＲＡＭ１０３に読み出して実行することにより実現される。また、図６に示すフローチャートは、Ｓ４０９に対応する処理を示す。

Ｓ６０１では、ＣＰＵ１０１は、Ｓ４０３の解析により得られた特徴量（撮影日時）に基づいて、Ｓ４０８で取得された画像データを撮影日時が早いものから順に並べる。

Ｓ６０２では、ＣＰＵ１０１は、Ｓ６０１で並べられた画像データのアスペクト比を特定して、アスペクト比配列を生成する。アスペクト比配列とは、特定されたアスペクト比をＳ６０１における画像データの並び順と同様にして並べることで得られる値である。本実施形態においてアスペクト比とは、「画像データの表す画像の高さ／画像データの表す画像の幅」であるものとする。なお、それぞれの画像データのアスペクト比がばらついている場合、後述のテンプレート生成処理において、見栄えの良いテンプレートが生成されないことがある。そのためここでＣＰＵ１０１は、各画像データのアスペクト比のばらつきを抑制する処理を行う。具体的にはＣＰＵ１０１は、「画像データの表す画像の短辺の長さ／画像データの表す画像の長辺の長さ」の値が（２／３＋３／４）／２以上１未満の画像データの数Ｎ＿ｌを算出する。またＣＰＵ１０１は、「画像データの表す画像の短辺の長さ／画像データの表す画像の長辺の長さ」の値が（２／３＋３／４）／２未満の画像データの数Ｎ＿ｓを算出する。そしてＣＰＵ１０１は、Ｎ＿ｓ＜＝Ｎ＿ｌの場合、アスペクト比が１未満である画像データのアスペクト比を３／４に置換し、アスペクト比が１より大きい画像データのアスペクト比を４／３に置換する。一方ＣＰＵ１０１は、Ｎ＿ｓ＜＝Ｎ＿ｌでない場合、アスペクト比が１未満である画像データのアスペクト比を２／３に置換し、アスペクト比が１より大きい画像データのアスペクト比を３／２に置換する。なおアスペクト比が１である画像データのアスペクト比はそのまま維持する。これにより例えば、Ｓ４０８で特定された見開きに割り当てられた画像データが５個である場合に、｛１、１、１、４／３、３／４｝等のアスペクト比配列が取得される。

Ｓ６０３では、ＣＰＵ１０１は、まだ特定していないテンプレートタイプを特定する。本実施形態では、図１０（ａ）〜（ｆ）に示すようなタイプのテンプレートが、テンプレート生成処理により生成される。図１０において各テンプレートの中心線は、見開きの中心線に相当する線であり、アルバムの綴じ部に相当する線である。なお図１０には、既にスロットが配置されている形態を示しているが、破線によって示される配置領域にいずれのスロットが配置されるかは、後段の処理により決定される。テンプレート生成処理により生成されるテンプレートには例えば、右ページと左ページに跨ぐようなスロットが配置されうるタイプのテンプレートや、右ページと左ページに跨ぐようなスロットが配置されないタイプのテンプレートが含まれる。また例えば、左ページにはスロットが配置されず、右ページにのみスロットが配置されるタイプのテンプレートが含まれる。また例えば、余白量が多いタイプのテンプレートや、余白量が少ないタイプのテンプレートが含まれる。また例えば、使用される画像データの特徴に基づいて形状が定められるスロットだけでなく、予めサイズや位置、形状が定められている固定スロットを有するタイプのテンプレートが含まれる。本実施形態では、図１０（ａ）〜（ｆ）に示すテンプレートタイプのうち、まだ特定していないテンプレートタイプを特定する。なお図１０に示したテンプレートタイプは一例であり、その他のタイプが特定されても良い。また、アルバム作成条件に基づいて、特定対象のテンプレートタイプを変更して良い。例えば、アルバムの綴じ方が中綴じや合紙綴じである場合、見開きの右ページと左ページに跨ぐ画像があったとしても、当該画像の視認性は低下しない。そのため、アルバムの綴じ方が中綴じや合紙綴じである場合、見開きの右ページと左ページに跨ぐようなスロットがあるタイプのテンプレートが用いられても良い。一方、アルバムの綴じ方が無線綴じや平綴じである場合、見開きの右ページと左ページに跨ぐ画像の視認性は低下するため、見開きの右ページと左ページに跨ぐようなスロットがあるタイプのテンプレートが用いられることは好ましくない。そのため、例えばＣＰＵ１０１は、アルバムの綴じ方が無線綴じや平綴じである場合、見開きの右ページと左ページに跨ぐようなスロットを含みうるテンプレートタイプ（例えば図１０（ｂ）、（ｄ）、（ｅ））が、Ｓ６０３で特定されないように制御する。なおアルバムの綴じ方が中綴じや合紙綴じである場合、全てのテンプレートタイプが、特定対象となる。また、見開きのページ番号に基づいて、特定対象のテンプレートタイプを変更して良い。例えば、アルバムの特定のページには、背景画像が配置されるものとする。そして、背景画像が配置されるページに配置されるテンプレートのタイプは、特定のタイプ（例えば、図１０（ａ）に示すようなタイプ）となるよう制御されるとする。その場合ここでは、特定のタイプのみが特定対象となるように制御されても良い。

Ｓ６０４では、ＣＰＵ１０１は、Ｓ６０２で取得されたアスペクト比配列を、Ｓ６０３で特定されたテンプレートタイプに基づいて分割し、アスペクト比配列Ｌと、アスペクト比配列Ｒとを生成する。なお本実施形態ではテンプレート生成処理において、２つのテンプレート（テンプレートＬとテンプレートＲ）を自動生成し、それらを組み合わせて生成されるテンプレートと、１つのテンプレートのみによって生成されるテンプレートとが生成されうる。前者のテンプレートは例えば、図１０（ａ）に示すタイプのテンプレートであり、後者のテンプレートは例えば、図１０（ｂ）〜（ｆ）に示すタイプのテンプレートである。そして、図１０（ａ）に示すタイプのテンプレートによりレイアウト画像を生成する場合は、Ｓ４０８で特定された見開きに割り当てられた画像データを２組に分割し、一方の組をテンプレートＬに配置しもう一方の組をテンプレートＲに配置することになる。そこでＣＰＵ１０１は、Ｓ６０３にて図１０（ａ）に示すタイプが特定されていた場合、アスペクト比配列を２等分することで分割結果を取得する。すなわち例えば、Ｓ６０２で取得されたアスペクト比配列が、｛１、１、４／３、３／４｝である場合、分割結果として、｛１、１｝であるアスペクト比配列Ｌと、｛４／３、３／４｝であるアスペクト比配列Ｒとを得る。なおこのとき、複数の分割結果が取得されても良い。具体的には例えば、アスペクト比配列を２等分することで得られる分割結果だけでなく、アスペクト比配列を２等分した後、一方のアスペクト比配列から１乃至３つのアスペクト比をもう一方のアスペクト比配列に移すことで得られる分割結果があっても良い。また図１０（ｂ）〜（ｆ）に示すタイプのテンプレートによりレイアウト画像を生成する場合は、Ｓ４０８で特定された見開きに割り当てられた画像データを、１つのテンプレートに全て配置する。そのためＣＰＵ１０１は、Ｓ６０３にて図１０（ｂ）〜（ｆ）に示すタイプが特定されていた場合、アスペクト比配列Ｌに全てのアスペクト比を分配し、アスペクト比配列Ｒにはアスペクト比を分配しないようにして、分割結果を取得する。すなわち例えば、Ｓ６０２で取得されたアスペクト比配列が、｛１、１、４／３、３／４｝である場合、分割結果として、｛１、１、４／３、３／４｝であるアスペクト比配列Ｌを取得し、｛｝であるアスペクト比配列Ｒを取得する。なお主に、アスペクト比配列Ｌは、Ｓ４０８で特定された見開きのうち左ページ用のアスペクト比配列であるが、アスペクト比配列Ｌに基づき生成されるテンプレートが、右ページや、左ページと右ページ両方を含む見開きに配置されることもある。またアスペクト比配列Ｒは、Ｓ４０８で特定された見開きのうち右ページ用のアスペクト比配列である。

Ｓ６０５では、ＣＰＵ１０１は、Ｓ６０４で取得された分割結果のうち、まだテンプレート生成に利用されていないいずれかの分割結果を特定する。

Ｓ６０６では、Ｓ６０５で特定された分割結果に基づき、テンプレートＬを生成する。テンプレートＬとは主に、Ｓ４０８で特定された見開きのうち左ページ用のテンプレートに相当するがこの限りでなく、右ページ用のテンプレートや見開き用のテンプレートに相当することもある。

Ｓ６０７では、ＣＰＵ１０１は、Ｓ６０５で特定された分割結果に基づき、テンプレートＲを生成する。テンプレートＲとは、Ｓ４０８で特定された見開きのうち、右ページ用のテンプレートに相当する。Ｓ６０４とＳ６０５の処理の詳細を以下に説明する。

図７は、本実施形態に係るアルバム作成アプリにより実行されるテンプレートＬ又はテンプレートＲを生成する処理を示すフローチャートである。図７に示すフローチャートは、例えば、ＣＰＵ１０１がＨＤＤ１０４に格納されたアルバム作成アプリに対応するプログラムをＲＯＭ１０２やＲＡＭ１０３に読み出して実行することにより実現される。また、図７に示すフローチャートは、Ｓ６０６やＳ６０７に対応する処理を示す。

Ｓ７０１では、ＣＰＵ１０１は、Ｓ６０５で特定された分割結果のうち一方のアスペクト比配列を取得する。本処理が、Ｓ６０６における処理であれば、アスペクト比配列Ｌが取得され、本処理が、Ｓ６０７における処理であれば、アスペクト比配列Ｒが取得される。

Ｓ７０２では、ＣＰＵ１０１は、Ｓ７０１で取得されたアスペクト比配列に含まれる値の全ての組み合わせを算出し、それぞれの組み合わせに対応する二次元配列を得る。テンプレートＬに配置される画像データの数がＮであるとすると、２＾（Ｎ−１）通りの二次元配列が生成されることとなる。より具体的には例えば、アスペクト比配列Ｌが｛１、１、１｝である場合、｛｛１、１、１｝｝、｛｛１｝、｛１、１｝｝、｛｛１、１｝、｛１｝｝、｛｛１｝、｛１｝、｛１｝｝の４パターンの二次元配列が取得されることとなる。二次元配列に含まれるそれぞれの一次元配列は、テンプレートにおけるそれぞれの列に配置される画像データのアスペクト比に相当する。なお本実施形態では、このとき取得された二次元配列の数だけ、Ｓ７０３〜Ｓ７０６の処理が繰り返される。画像データ数Ｎの数が多いことにより、膨大な数の二次元配列が取得された場合、Ｓ７０３〜Ｓ７０６の処理の繰り返しに多大な時間がかかってしまう。そこで例えば、このとき取得された二次元配列のうち一部を削除し、Ｓ７０３〜Ｓ７０６の処理の繰り返しにかかる時間を削減しても良い。具体的には例えば、少なくとも１つの一次元配列に含まれるアスペクト比の数が│Ｎ／１０│以下である二次元配列を削除しても良い。

Ｓ７０３では、ＣＰＵ１０１は、Ｓ７０２で取得された複数の二次元配列のうち、テンプレート生成にまだ用いていない二次元配列を特定する。

Ｓ７０４では、ＣＰＵ１０１は、Ｓ７０３で取得された二次元配列に基づき、スロットを縦並びで配置することで、テンプレートＬを生成する。本処理の詳細を以下に説明する。

図８（ａ）は、本実施形態に係るアルバム作成アプリにより実行される、縦並びによるテンプレート生成処理を示すフローチャートである。図８（ａ）に示すフローチャートは、例えば、ＣＰＵ１０１がＨＤＤ１０４に格納されたアルバム作成アプリに対応するプログラムをＲＯＭ１０２やＲＡＭ１０３に読み出して実行することにより実現される。また、図８（ａ）に示すフローチャートは、Ｓ７０４に対応する処理を示す。

Ｓ８０１では、ＣＰＵ１０１は、Ｓ７０３で取得された二次元配列のうちｎ番目の一次元配列に含まれる各アスペクト比の各スロットを、上から順に配置することでスロット領域を生成する。なおｎの初期値は１であるため、ここでは１番目の一次元配列に含まれる各アスペクト比の各スロットがスロット領域に配置されることとなる。なお、スロット間には、所定の幅ｄの余白が設けられる。またこのときＣＰＵ１０１は、追加された各スロットの幅が同じになるように、アスペクト比を変えずに、スロットを拡縮する。具体的にはＣＰＵ１０１は、追加された各スロットの幅が予め定められた所定の幅になるようにスロットを拡縮する。例えばＳ７０３で取得された二次元配列が、｛｛４／３、３／４｝、｛４／３、３／４、３／４｝｝であった場合、１番目の一次元配列は、｛４／３、３／４｝であるため、図９（ａ）の（１）に示すようにして、スロット領域にスロットが配置されることとなる。

Ｓ８０２では、ＣＰＵ１０１は、Ｓ７０３で取得された二次元配列に含まれる全ての一次元配列に基づき、スロットの配置が行われたか否かを判定する。ＣＰＵ１０１は、ＹＥＳ判定の場合、Ｓ８０３に進み、ＮＯ判定の場合、Ｓ８０５に進む。

Ｓ８０３では、ＣＰＵ１０１は、ｎの値をインクリメントした後、Ｓ７０３で取得された二次元配列のうちｎ番目の一次元配列に含まれる各アスペクト比の各スロットを、Ｓ８０１で配置したスロットの右隣の列に、上から順に配置する。Ｓ７０３で取得された二次元配列が、｛｛４／３、３／４｝、｛４／３、３／４、３／４｝｝であった場合、２番目の一次元配列は、｛４／３、３／４、３／４｝であるため、図９（ａ）の（２）に示すようにして、スロット領域にスロットが配置されることとなる。

Ｓ８０４では、ＣＰＵ１０１は、Ｓ８０３で追加された列の高さが、Ｓ８０３で追加された列の左隣りの列の高さと同じになるように、Ｓ８０３で追加された列に含まれるスロットの大きさを、アスペクト比を変えずに拡縮する。Ｓ７０３で取得された二次元配列が、｛｛４／３、３／４｝、｛４／３、３／４、３／４｝｝であった場合、このとき、図９（ａ）の（３）に示すようにして、スロット領域にスロットが配置されることとなる。その後ＣＰＵ１０１は、再びＳ８０２に進む。

Ｓ８０５では、ＣＰＵ１０１は、Ｓ８０１〜Ｓ８０４の処理により生成されたスロット領域を、Ｓ６０３で特定されたタイプのテンプレートにおける配置領域に合わせて拡縮する。これにより、図９（ａ）の（４）に示すようにして、スロット領域が拡縮されることとなる。そしてＣＰＵ１０１は、拡縮後のスロット領域を、配置領域に配置する。なお本処理が、テンプレートＬの生成処理における処理である場合は、スロット領域はテンプレートＬの配置領域に合わせて拡縮され、テンプレートＬの配置領域に配置される。一方本処理が、テンプレートＲの生成処理における処理である場合は、スロット領域はテンプレートＲの配置領域に合わせて拡縮され、テンプレートＲの配置領域に配置される。こうして、縦並び配列により、テンプレートＬやテンプレートＲが生成される。

またＣＰＵ１０１は、スロット領域を配置領域に配置して、テンプレートＬやテンプレートＲを生成した後、テンプレートＬやテンプレートＲに含まれるスロットの大きさを調整しても良い。以下に理由を説明する。

例えば、実物のアルバムの作成過程には、レイアウト画像を見開きのサイズより大きい紙に印刷し、印刷後に紙を見開きのサイズに切断する工程が含まれる場合がある。なおこのとき、紙の切断位置には、いくらかの誤差が発生する可能性がある。そのため例えば、スロットがテンプレートの端に沿うように配置されているレイアウト画像が印刷されている見開きの切断において、切断位置が見開きに対して外側にずれた場合、本来無いはずの余白が、スロット内の画像と見開きの端との間に発生してしまう。

また例えば、スロットがテンプレートの端の近辺に位置しており、スロットの端とテンプレートの端の間に幅の狭い余白が発生していると、印刷時にも当然、見開きの端部分に幅の狭い余白が発生する。しかしながら、幅の狭い余白が生じているレイアウト画像は、審美性の点から好ましくない。

このように、スロットの位置によっては、適切でないアルバムが得られてしまう可能性がある。そのため本実施形態では、ＣＰＵ１０１は、スロットの端がテンプレートの端に沿っている場合やスロットの端がテンプレートの端の近くに位置している場合は、スロットの大きさを拡大する。

具体的にはＣＰＵ１０１は、スロット領域を配置領域に配置して、テンプレートＬ（又はテンプレートＲ）を生成した後、図１１に示す処理を実行する。図１１は、本実施形態に係るアルバム作成アプリにより実行される、スロット調整処理を示すフローチャートである。図１１に示すフローチャートは、例えば、ＣＰＵ１０１がＨＤＤ１０４に格納されたアルバム作成アプリに対応するプログラムをＲＯＭ１０２やＲＡＭ１０３に読み出して実行することにより実現される。また、図１１に示すフローチャートは、スロット領域が配置領域に配置された後に開始される。以下では、テンプレートＬが生成された場合の処理について説明するが、テンプレートＲが生成された場合は、テンプレートＬの代わりにテンプレートＲに対して処理が行われるものとする。

Ｓ１１０１では、ＣＰＵ１０１は、生成したテンプレートＬに含まれるスロットのうち、後段の判定処理の対象となっていないスロットを特定する。そしてさらにＣＰＵ１０１は、特定したスロットの、テンプレートＬにおける位置を特定する。

Ｓ１１０２では、ＣＰＵ１０１は、Ｓ１１０１で特定されたスロットのサイズを調整するか否かを判定する。具体的には、テンプレートＬの所定の辺から所定の距離以内に、Ｓ１１０１で特定されたスロットの辺であり所定の辺と略並行の辺である特定の辺が位置するか否かを判定する。なお本実施形態では、特定の辺がテンプレートＬの内側近傍にある場合だけでなく、特定の辺がテンプレートＬの外側近傍にある場合も、スロットのサイズを調整する。ＣＰＵ１０１は、ＹＥＳ判定の場合、Ｓ１１０３に進み、ＮＯ判定の場合、Ｓ１１０４に進む。

Ｓ１１０３では、ＣＰＵ１０１は、Ｓ１１０１で特定されたスロットを調整する。具体的には、スロットの特定の辺の位置を、テンプレート外の領域まで移動させることで、スロットを拡大する。具体的には例えば、生成されたテンプレートＬが図１２（ａ）に示すようなテンプレート１２０１であったとする。その場合、テンプレートＬの端に近い位置に配置されているスロット１２０２やスロット１２０４が拡大され、図１２（ｂ）に示すようなテンプレートが生成される。なお当然、テンプレートＬの端に近い位置に配置されていないスロット１２０３は拡大されない。領域１２０５は、アルバム作成時に生じる切断位置の誤差の大きさを考慮して設定された領域であり、スロットが調整される場合、スロットの特定の辺は、領域１２０５の位置まで移動されることになる。これにより、アルバム作成時に切断位置の誤差が生じたとしても、余白が生じてしまうことを抑制できる。またテンプレート外の領域であっても、スロットが配置されている領域には、印刷が実行されるものとする。なおここではＣＰＵ１０１は、各スロットをひとつの方向にのみ伸ばしているが、スロットがテンプレートの複数の辺に対して近くに位置している場合は、複数の方向にスロットを伸しても良い。

その後ＣＰＵ１０１は処理を終了し、Ｓ７０５に進む。

Ｓ７０５では、ＣＰＵ１０１は、Ｓ７０３で取得された二次元配列に基づき、スロットを横並びで配置することで、テンプレートを生成する。本処理の詳細を以下に説明する。

図８（ｂ）は、本実施形態に係るアルバム作成アプリにより実行される、横並びによるテンプレート生成処理を示すフローチャートである。図８（ｂ）に示すフローチャートは、例えば、ＣＰＵ１０１がＨＤＤ１０４に格納されたアルバム作成アプリに対応するプログラムをＲＯＭ１０２やＲＡＭ１０３に読み出して実行することにより実現される。また、図８（ｂ）に示すフローチャートは、Ｓ７０５に対応する処理を示す。

Ｓ８１１では、ＣＰＵ１０１は、Ｓ７０３で取得された二次元配列のうちｎ番目の一次元配列に含まれる各アスペクト比の各スロットを、左から順に配置することでスロット領域を生成する。なおｎの初期値は１であるため、ここでは１番目の一次元配列に含まれる各アスペクト比の各スロットがスロット領域に配置されることとなる。なお、スロット間には、所定の幅ｄの余白が設けられる。またこのときＣＰＵ１０１は、追加された各スロットの幅が同じになるように、アスペクト比を変えずに、スロットを拡縮する。具体的にはＣＰＵ１０１は、追加された各スロットの幅が予め定められた所定の幅になるようにスロットを拡縮する。Ｓ７０３で取得された二次元配列が、｛｛４／３、３／４｝、｛４／３、３／４、３／４｝｝であった場合、１番目の一次元配列は、｛４／３、３／４｝であるため、図９（ｂ）の（１）に示すようにして、スロット領域にスロットが配置されることとなる。

Ｓ８１２では、ＣＰＵ１０１は、Ｓ７０３で取得された二次元配列に含まれる全ての一次元配列に基づき、スロットの配置が行われたか否かを判定する。ＣＰＵ１０１は、ＹＥＳ判定の場合、Ｓ８１３に進み、ＮＯ判定の場合、Ｓ８１５に進む。

Ｓ８１３では、ＣＰＵ１０１は、ｎの値をインクリメントした後、Ｓ７０３で取得された二次元配列に含まれるアスペクト比のうちｎ番目の一次元配列に含まれる各アスペクト比の各スロットを、Ｓ８１１で配置したスロットの下の行に、左から順に配置する。Ｓ７０３で取得された二次元配列が、｛｛４／３、３／４｝、｛４／３、３／４、３／４｝｝であった場合、２番目の一次元配列は、｛４／３、３／４、３／４｝であるため、図９（ｂ）の（２）に示すようにして、スロット領域にスロットが配置されることとなる。

Ｓ８１４では、ＣＰＵ１０１は、Ｓ８１３で追加された行の幅が、Ｓ８１３で追加された行の上の行の幅と同じになるように、Ｓ８１３で追加された行に含まれるスロットの大きさを、アスペクト比を変えずに拡縮する。Ｓ７０３で取得された二次元配列が、｛｛４／３、３／４｝、｛４／３、３／４、３／４｝｝であった場合、このとき、図９（ｂ）の（３）に示すようにして、スロット領域にスロットが配置されることとなる。その後ＣＰＵ１０１は、再びＳ８１２に進む。

Ｓ８１５では、Ｓ８１１〜Ｓ８１４の処理により生成されたスロット領域を、Ｓ６０３で特定されたタイプのテンプレートの配置領域に合わせて拡縮する。これにより、図９（ｂ）の（４）に示すようにして、スロット領域が拡縮されることとなる。そしてＣＰＵ１０１は、拡縮後のスロット領域を、配置領域に配置する。なお本処理が、テンプレートＬの生成処理における処理である場合は、スロット領域はテンプレートＬの配置領域に合わせて拡縮され、テンプレートＬの配置領域に配置される。一方本処理が、テンプレートＲの生成処理における処理である場合は、スロット領域はテンプレートＲの配置領域に合わせて拡縮され、テンプレートＲの配置領域に配置される。こうして、横並び配列により、テンプレートＬやテンプレートＲが生成される。その後ＣＰＵ１０１は処理を終了し、Ｓ７０６に進む。

なお、本実施形態のようにして、縦並びによる方法と横並びによる方法との両方でテンプレートが生成されることで、スロット列の数がそれぞれ異なる複数のテンプレートと、スロット行がそれぞれ異なる複数のテンプレートとを生成することができる。

Ｓ７０６では、ＣＰＵ１０１は、全ての二次元配列に基づき、テンプレート作成が行われたか否かを判定する。ＣＰＵ１０１は、ＹＥＳ判定の場合、Ｓ７０７に進み、ＮＯ判定の場合、Ｓ７０３に戻り、新たに二次元配列を特定する。

Ｓ７０７では、ＣＰＵ１０１は、Ｓ７０４で生成されたテンプレートとＳ７０５で生成されたテンプレートのうち、重複しているテンプレートがあるか否かを特定する。そして、重複しているテンプレートがある場合、そのうちの一方を削除する。

上述のようにして、テンプレートＬとテンプレートＲが生成された場合、ＣＰＵ１０１は、Ｓ６０８に進む。

Ｓ６０８では、ＣＰＵ１０１は、見開き用のテンプレートを生成する。例えば、ＣＰＵ１０１は、Ｓ６０３で特定されたテンプレートタイプが右ページと左ページに跨ぐようなスロットが配置されないタイプであり、テンプレートＬとテンプレートＲと生成しているとする。その場合、テンプレートＬとテンプレートＲとを結合することで見開き用テンプレートを生成する。このようにして例えば図１０（ａ）に示すような見開き用テンプレートが生成される。このとき、テンプレートＬやテンプレートＲが複数生成されていた場合は、複数のテンプレートＬのそれぞれを、複数のテンプレートＲのそれぞれと結合する。すなわち本処理により、テンプレートＬの数×テンプレートＲの数の分だけ、見開き用のテンプレートが生成されることとなる。

また例えば、Ｓ６０３で特定されたテンプレートタイプが、右ページと左ページに跨ぐようなスロットが配置されうるタイプであり且つ固定スロットを有しないタイプであったとする。また例えば、Ｓ６０３で特定されたテンプレートタイプが、左ページにはスロットが配置されず右ページにのみスロットが配置されるタイプであったとする。その場合、テンプレートＬのみが生成されているため、ＣＰＵ１０１は、テンプレートＬを、見開き用のテンプレートとして生成する。このようにして例えば図１０（ｂ）や（ｃ）、（ｄ）に示すような見開き用テンプレートが生成される。

また例えば、Ｓ６０３で特定されたテンプレートタイプが、固定スロットを有するタイプであったとする。その場合、テンプレートＬのみが生成されているため、ＣＰＵ１０１は、テンプレートＬと固定スロットと結合することで、見開き用のテンプレートを生成する。このようにして例えば図１０（ｅ）や（ｆ）に示すような見開き用テンプレートが生成される。

Ｓ６０９では、ＣＰＵ１０１は、全ての分割結果をテンプレート生成に利用したか否かを判定する。ＣＰＵ１０１は、ＹＥＳ判定の場合、Ｓ６１０に進み、ＮＯ判定の場合、Ｓ６０５に戻り、まだ特定していない分割結果を用いてテンプレート生成を行う。

Ｓ６１０では、ＣＰＵ１０１は、全てのテンプレートタイプを特定したか否かを判定する。ＣＰＵ１０１は、ＹＥＳ判定の場合、処理を終了し、ＮＯ判定の場合、Ｓ６０３に戻り、まだ特定していないテンプレートタイプを特定する。

上述のようにして、テンプレート生成処理が完了した場合、ＣＰＵ１０１は、Ｓ４１０に進む。

Ｓ４１０では、ＣＰＵ１０１は、テンプレート得点化を実行する。テンプレート得点化とは、Ｓ４０９で生成したテンプレートに、得点を付与する（スコアリング）処理である。本処理の詳細を、以下に説明する。本実施形態では、テンプレートにおける余白領域（スロット以外の領域）と、テンプレートに含まれる各スロットに基づいてスコアリングが行われる。

まず本実施形態では、ＣＰＵ１０１は、余白領域に基づくスコアリングを、式（１）を用いて実行する。なお余白領域とは、テンプレートにおけるスロット領域外の領域である。

ここで、ＳＣＯＲＥａは、余白領域に基づく得点であり、ＡＲＥＡｓは、テンプレートが有するスロットの総面積であり、ＴＨＲａｕとＴＨＲａｌは、余白領域に基づく得点を求めるための閾値である。ＡＲＥＡｓがＴＨＲａｕより大きい場合、ＳＣＯＲＥａは、１となる。また、ＡＲＥＡｓがＴＨＲａｌより小さい場合、ＳＣＯＲＥａは、０となる。ＡＲＥＡｓがＴＨＲａｌ以上であり、ＴＨＲａｕ以下である場合は、ＳＣＯＲＥａは、ＡＲＥＡｓが大きいほど１に近い値となり、ＡＲＥＡｓが小さいほど０に近い値となる。すなわち、上述の式により、スロットの総面積が大きい（言い換えれば、余白領域の総面積が少ない）ほど、テンプレートに高得点を付与することができる。

なお余白領域に基づくスコアリングの方法は上述の方法に限定されない。例えば、上述の説明においては、ＣＰＵ１０１は、見開き用のテンプレートに対して点数を付与していた。しかし例えば、評価対象のテンプレートが、テンプレートＬとテンプレートＲを含むものであった場合は、テンプレートＬとテンプレートＲそれぞれに点数を付与し、その平均得点を、見開き用のテンプレートに対して付与しても良い。また、余白領域の位置に応じて、スコアリングを制御しても良い。例えば、テンプレート内部の上部分と下部分に余白があり形状が横長であるテンプレート（例えば、図１３の（Ｅ））と、テンプレート内部の左部分と右部分に余白があり形状が横長であるテンプレート（例えば、図１３の（Ｆ））があるものとする。この場合、それぞれの余白の面積が同じであったとしても、前者のテンプレートにおける余白量より後者のテンプレートにおける余白量の方が多いようにユーザに認識される。そのため、テンプレート内部の左部分と右部分に余白があるテンプレートのスコアリングに用いられるＴＨＲａｕより、テンプレート内部の上部分と下部分に余白があるテンプレートのスコアリングに用いられるＴＨＲａｕの方が大きくなるように制御されても良い。また、テンプレート内部の左部分と右部分に余白があるテンプレートのスコアリングに用いられるＴＨＲａｌより、テンプレート内部の上部分と下部分に余白があるテンプレートのスコアリングに用いられるＴＨＲａｌの方が大きくなるように制御されても良い。これによりテンプレート内部の左部分と右部分に余白があるテンプレートとテンプレート内部の上部分と下部分に余白があるテンプレートの余白の面積が同じであったとしても、前者の得点が後者の得点より低くなるように制御される。

次にＣＰＵ１０１は、スロットに基づくスコアリングを、式（２）及び（３）を用いて実行する。

Ｎｓは、テンプレートが有するスロットの総数であり、ＡＲＥＡｍは、テンプレートが有するスロットのうち最小のスロットの面積である。すなわちＲＡＴＩＯｓは、テンプレートが有するスロットのうち最小のスロットの面積に対する、テンプレートが有するスロットの面積の平均値の倍率である。

ＳＣＯＲＥｇは、スロットに基づく得点であり、ＴＨＲｇｕとＴＨＲｇｌは、スロットに基づく得点を求めるための閾値である。ＲＡＴＩＯｓがＴＨＲｇｕより大きい場合、ＳＣＯＲＥｇは、０となる。また、ＲＡＴＩＯｓがＴＨＲｇｌより小さい場合、ＳＣＯＲＥｇは、１となる。ＲＡＴＩＯｓがＴＨＲｇｌ以上であり、ＴＨＲｇｕ以下である場合は、ＳＣＯＲＥｇは、ＲＡＴＩＯｓが小さいほど１に近い値となり、ＲＡＴＩＯｓが大きいほど０に近い値となる。すなわち、上述の式により、テンプレートが有するスロットのうち最小のスロットの面積とテンプレートが有するスロットの面積の平均値との差が小さいほど、テンプレートに高得点を付与することができる。

その後ＣＰＵ１０１は、ＳＣＯＲＥａとＳＣＯＲＥｇの平均値を算出し、当該平均値を、最終的な得点であるテンプレート得点として、テンプレートに付与する。このようにすることで、複数の観点でテンプレートに対してスコアリングを行うことができる。

例えば、Ｓ４０８において特定された見開きに配置される画像データとしてアスペクト比が２／３の画像を表す画像データが４枚選択されており、図１４（ａ）に示すような６枚のテンプレートがＳ４０９で生成されたものとする。その場合例えば、各テンプレートに付与された各得点は、図１４（ｂ）に示すようにして、ＣＰＵ１０１により管理される。この形態においては、テンプレート（１）及びテンプレート（２）のテンプレート得点が最も高く、テンプレート（６）のテンプレート得点が最も低くなる。

なお、本実施形態では、ＳＣＯＲＥａとＳＣＯＲＥｇの平均値をテンプレート得点としたが、この形態に限定されない。ＳＣＯＲＥａとＳＣＯＲＥｇのうち少なくとも１つに重みを付与し、重みが付与された後のＳＣＯＲＥａとＳＣＯＲＥｇの平均値をテンプレート得点としても良い。また例えば、ＳＣＯＲＥａとＳＣＯＲＥｇのうち点数が低い方をテンプレート得点としても良い。

また、テンプレート得点の算出のために、ＳＣＯＲＥａとＳＣＯＲＥｇ以外の得点が参照されても良い。例えば、スロット間のマージンに応じた得点であるＳＣＯＲＥｍが参照されても良い。ある列のマージンの位置が、隣の列のマージンの位置と近すぎるレイアウト画像は、審美性の点から好ましくない。そのため、テンプレートにおけるマージン間の距離を計算し、その距離に応じて、得点ＳＣＯＲＥｍを付与しても良い。具体的には例えばＣＰＵ１０１は、テンプレートにおけるある列にあるマージンと、その隣の列にあるマージンとの間の距離（例えば図１４（ｃ）の距離１４０１や距離１４０２）を算出する。そしてＣＰＵ１０１は、当該距離の大きさに基づいて、ＳＣＯＲＥｍを付与する。例えばＳＣＯＲＥｍの値は、当該距離が大きいほど大きくなり、当該距離が小さいほど小さくなる。また例えば、図１４（ｃ）のように、複数の距離が算出された場合は、その平均の距離に基づいて、ＳＣＯＲＥｍが計算される。

また例えば、見開きの中心線を跨ぐようにして配置されているスロットの辺の見開きの中心線からの距離に応じた得点であるＳＣＯＲＥｓが参照されても良い。例えば図１５のように、見開きの中心線を跨ぐようにして配置されているスロットの辺が見開きの中心線と近すぎるレイアウト画像は、審美性の点から好ましくない。そのため、見開きの中心線を跨ぐようにして配置されているスロットの辺の見開きの中心線からの距離を計算し、その距離に応じて、テンプレート得点ＳＣＯＲＥｓを付与しても良い。具体的には例えばＣＰＵ１０１は、スロットの辺の見開きの中心線からの距離（例えば図１５の距離１５０１と距離１５０２）を算出する。そしてＣＰＵ１０１は、当該距離の大きさに基づいて、ＳＣＯＲＥｇを付与する。例えばＳＣＯＲＥｇの値は、当該距離が所定の閾値以下であれば小さくなり、当該距離が所定の閾値より大きければ大きくなる。

なおＳＣＯＲＥａとＳＣＯＲＥｇ以外の得点が算出される場合は、算出された全ての得点の平均値がテンプレート得点としてテンプレートに付与される。

なおＳ４１０において、ＣＰＵ１０１は、評価対象のテンプレートのタイプに応じて、評価方法を切り替えても良い。具体的には例えば、評価対象のテンプレートのタイプに応じて、ＳＣＯＲＥａとＳＣＯＲＥｇ、ＳＣＯＲＥｍ、ＳＣＯＲＥｓのうち、いずれの得点を算出するかを切り替えても良い。具体的には例えばＣＰＵ１０１は、見開きの中心線を跨ぐようにしてスロットが配置されていないタイプのテンプレートに対しては、ＳＣＯＲＥａとＳＣＯＲＥｇ、ＳＣＯＲＥｍのみ得点を付与しても良い。そしてＣＰＵ１０１は、見開きの中心線を跨ぐようにしてスロットが配置されているタイプのテンプレートに対しては、全ての得点を付与しても良い。テンプレートのタイプの判定方法を図１３を用いて以下に詳細に説明する。

まずＣＰＵ１０１は、評価対象のテンプレートが有するスロットが、見開きの中心線を跨ぐようにして配置されているか否かを判定する。具体的にはＣＰＵ１０１は、スロットの角の４点が全て左ページと右ページのうち一方に含まれているか否かを判定する。スロットの角の点が全て左ページと右ページのうち一方に含まれている場合、スロットが見開きの中心線を跨ぐようにして配置されていないタイプ（例えば、図１３の（Ａ）、（Ｂ））であることが特定される。一方、スロットの角の点が全て左ページと右ページのうち一方に含まれていない場合、スロットが見開きの中心線を跨ぐようにして配置されているタイプ（例えば、図１３の（Ｃ）〜（Ｆ））であることが特定される。なおスロットが四角以外の多角形である場合には、ＣＰＵ１０１は、４点でなく、多角形の角に対応する全ての点が左ページと右ページのうち一方に含まれているか否かを判定する。

次にＣＰＵ１０１は、評価対象のテンプレートが有するスロットが、テンプレートの端に接しているか否かを判定する。具体的にはＣＰＵ１０１は、スロットの角の点のいずれかがテンプレートの端又はテンプレートの外に位置するか否かを判定する。スロットの角の点のいずれかがテンプレートの端又はテンプレートの外に位置する場合、スロットがテンプレートの端に接しているタイプ（例えば、図１３の（Ｅ）、（Ｆ））であることが特定される。一方、スロットの角の点のいずれかがテンプレートの端又はテンプレートの外に位置しない場合、スロットがテンプレートの端に接していないタイプ（例えば、図１３の（Ａ）〜（Ｄ））であることが特定される。なお本特定結果は、左右に余白があるテンプレートのスコアリングに用いられるＴＨＲａｕと、上下に余白があるテンプレートのスコアリングに用いられるＴＨＲａｕとを異ならせる上述の制御を実行するか否かの判定に用いられる。具体的には例えば、スロットがテンプレートの端に接しているタイプについては当該制御を実行すると判定され、スロットがテンプレートの端に接していないタイプについては当該制御を実行しないと判定される。

Ｓ４１１では、ＣＰＵ１０１は、Ｓ４０９で生成されたテンプレートの中から、１又は複数のテンプレートを、Ｓ４１０により付加された評価（得点）に基づき選択する。本実施形態では、ＣＰＵ１０１は、Ｓ４０９で生成されたテンプレートの中から、予め定められた閾値以上のテンプレート得点を有する全てのテンプレートを選択する。なお、ＣＰＵ１０１は、予め定められた閾値以上のテンプレート得点を有するテンプレートが１つもない場合には、Ｓ４０９で生成されたテンプレートの中から、一番高いテンプレート得点を有するテンプレートを選択する。なおテンプレートの選択方法は、上述の方法に限定されない。上述では閾値は固定の値であるものとしたが例えば、Ｓ４０９で生成されたテンプレートに付与された各テンプレート得点から所定の値を引いた値を、閾値として決定しても良い。また例えば、Ｓ４０９で生成されたテンプレートの中から、テンプレート得点が高いものから順に、所定の数や割合に達するまでテンプレートを選択しても良い。

このときＣＰＵ１０１は、類似するテンプレートが選択されないように制御してもよい。例えば、全てのテンプレートの中から最もテンプレート得点が高いテンプレートｓ１が選択されたとする。その場合、テンプレートｓ１との類似度が高いテンプレートを全て、選択対象のテンプレートから削除する。類似度は例えば、テンプレートが有する各スロットの中心点の座標の平均値に基づいて算出される。例えば、テンプレートｓ１が２つのスロットを有しており、各スロットの中心点の座標が、（１、５）と（３、１１）であったとする。その場合、テンプレートｓにおける平均値Ｐ_ｓ１は、（２、８）となる。また、テンプレートｓ１とテンプレートｓ２との間の類似度は、│Ｐ_ｓ１−Ｐ_ｓ２│として計算される。そして、│Ｐ_ｓ１−Ｐ_ｓ２│が所定の閾値より小さい場合、テンプレートｓ１とテンプレートｓ２との間の類似度が高いものとして判定される。そして、│Ｐ_ｓ１−Ｐ_ｓ２│が所定の閾値より大きい場合、テンプレートｓ１とテンプレートｓ２との間の類似度が低いものとして判定される。このようにしてＣＰＵ１０１は、選択済みのテンプレートとの類似度が高いテンプレートを特定し、削除する。そしてＣＰＵ１０１は、選択済みのテンプレートとの類似度が高いテンプレートが削除された後、新たにテンプレートを選択する。その後もＣＰＵ１０１は、テンプレートを選択する毎に、選択済みのテンプレートとの類似度が高いテンプレートの特定及び削除を行う。このような形態とすることで、いくつかのテンプレートについては、レイアウト画像の生成処理に用いられなくなるため、レイアウト画像の生成処理かかる時間を抑制できる。

Ｓ４１２では、ＣＰＵ１０１は、Ｓ４１１で選択されたテンプレート内の各スロットに対して、Ｓ４０８で特定された見開きに割り当てられた画像データを配置することで、レイアウト画像を生成する。なおこのときＣＰＵ１０１は、Ｓ４１１で複数のテンプレートが選択されていた場合は、Ｓ４１１で選択されたテンプレートのうち、まだ画像データの配置が行われていないいずれかのテンプレートを特定する。そしてＣＰＵ１０１は、このようにして特定されたテンプレートに対して画像データを配置する。画像データの配置方法について、図１６を用いて以下に詳細に説明する。

図１６（Ａ）は、Ｓ４０８で特定された見開きに配置される画像データが表す画像の形状の一例である。図１６（Ｂ）は、画像データの配置が行われるテンプレートの一例である。図１６（Ｃ）は、図１６（Ａ）に対応する各画像データの情報を示すテーブルと、図１６（Ｂ）に対応するテンプレートが有する各スロットの情報を示すテーブルである。各画像データの情報とは例えば、各画像データに割り振られた画像Ｎｏ．や、各画像データのアスペクト比、得点、撮影時間等である。また各スロットの情報とは例えば、各スロットに割り振られたスロットＮｏ．や、各スロットデータのアスペクト比、得点、位置等である。なおスロットの位置に関する情報は、例えば整数で表されるが、テンプレートにおいてより左側に位置するスロットほど若い番号が割り当てられる。まずＣＰＵ１０１は、各テーブルの内容を、アスペクト比に基づいてソートする。なおＣＰＵ１０１は、アスペクト比が同じである行については、撮影時間が早いものや位置Ｎｏ．（ナンバー）が小さいものがより上の行となるように並び順を制御する。これにより例えば、図１６（Ｄ）に示すようなテーブルとなる。その後ＣＰＵ１０１は、各画像データをテーブルにおける行の順番が同じであるスロットに対して配置する。すなわち、図１６（Ｄ）の例では、画像Ｎｏ．が１である画像データがスロットＮｏ．が２のスロットに、画像Ｎｏ．が２である画像データがスロットＮｏ．が１のスロットに、画像Ｎｏ．が３である画像データがスロットＮｏ．が３のスロットに配置される。なおスロットに対する画像データの配置において、画像データの少なくとも１辺がスロットの辺と接するように、画像データは適宜拡縮される。また、拡縮後の画像データの一部がスロットに入りきらない場合、スロットに入りきらない部分がトリミングされる。しかしながら本実施形態においては、スロットの形状は、画像データのアスペクト比に基づいたものになっているため、トリミングされる部分の大きさを抑制できる。結果として例えば、図１６（Ｅ）に示すようなレイアウト画像が生成される。

Ｓ４１３では、ＣＰＵ１０１は、Ｓ４１２で生成されたレイアウト画像の得点化を行う。レイアウト画像の得点化について、図１７を用いて以下に詳細に説明する。

例えば、Ｓ４１２におけるレイアウト画像生成処理において、図１７（Ａ）や（Ｂ）に示すようなテンプレートに対して画像データが配置されたとする。また、Ｓ４０８で特定された見開きに配置される各画像データに関する情報のテーブルがテーブル１７０１であるとする。また、図１７（Ａ）に示すテンプレート１の各スロットに関する情報のテーブルがテーブル１７０２であり、図１７（Ｂ）に示すテンプレート２の各スロットに関する情報のテーブルがテーブル１７０３であるとする。なお各テーブルは、Ｓ４１２の説明で示したようにしてソートされているものとする。レイアウト画像の得点化においてＣＰＵ１０１は、レイアウト画像に配置された画像データに関する情報と、当該画像データが配置されるスロットに関する情報との相関度に基づいて、レイアウト画像の得点を算出する。具体的にはまずＣＰＵ１０１は、各画像データの得点の順位と各スロットの得点の順位との得点相関度や、各画像データの撮影日時の順位と各スロットの位置の順位との位置相関度を算出する。そしてＣＰＵ１０１は、これらの相関度の大きさに基づいて、レイアウト画像の得点を付与する。例えば、レイアウト画像の得点の値は、これらの相関度が大きいほど大きくなり、これらの相関度が小さいほど小さくなる。これは例えば、Ｓ４０８で特定された見開きに配置される各画像データのうち、一番得点の高い画像データが、一番得点の高いスロットに配置されるほうが、レイアウト画像の審美性が高くなるためである。また例えば、Ｓ４０８で特定された見開きに配置される各画像データのうち、一番撮影日時の早い画像データが、一番左側の位置にあるスロットに配置されるほうが、レイアウト画像の審美性が高くなるためである。例えば、図１７に示す例では、テンプレート１が用いられたレイアウト画像における得点相関度とテンプレート２が用いられたレイアウト画像における得点相関度は同じ値となる。しかし、テンプレート１が用いられたレイアウト画像における位置相関度よりテンプレート２が用いられたレイアウト画像における位置相関度の方が高い値となる。そのため、テンプレート１が用いられたレイアウト画像よりテンプレート２が用いられたレイアウト画像の方が、高い得点が付与されることとなる。

Ｓ４１４では、ＣＰＵ１０１は、Ｓ４０９で生成された全てのテンプレートに基づいてレイアウト画像の生成を行ったか否かを判定する。ＣＰＵ１０１は、ＹＥＳ判定の場合、Ｓ４１５に進み、ＮＯ判定の場合、Ｓ４１２に戻り、まだレイアウト画像の生成が行われていないテンプレートを特定し、特定されたテンプレートに基づいてレイアウト画像の生成が実行される。

Ｓ４１５では、ＣＰＵ１０１は、Ｓ４１２で生成された各レイアウト画像の中からＳ４０８で特定された見開きに配置されるレイアウト画像であり、見開き表示部５０３に表示・出力されるレイアウト画像を選択する。本実施形態ではＣＰＵ１０１は、Ｓ４１０で付加された得点とＳ４１３で付加された得点に基づいて、レイアウト画像を選択する。具体的にはＣＰＵ１０１は、Ｓ４１０で付加された得点とＳ４１３で付加された得点との合計値が一番高いレイアウト画像を選択する。例えば、レイアウト画像Ａの生成に利用されたテンプレートの得点（Ｓ４１０で付加された得点）が７０点であり、レイアウト画像Ａの得点（Ｓ４１３で付加された得点）が８０点であるとする。またレイアウト画像Ｂの生成に利用されたテンプレートの得点（Ｓ４１０で付加された得点）が９０点であり、レイアウト画像Ｂの得点（Ｓ４１３で付加された得点）が７０点であるとする。その場合、レイアウト画像Ｂがレイアウト画像Ａより優先的に選択される。なおこの形態に限定されない。例えば、Ｓ４１０で付加された得点とＳ４１３で付加された得点の少なくとも一方に重みを設定し、Ｓ４１０で付加された得点とＳ４１３で付加された得点のいずれかを優先して、本選択が行われても良い。また例えば、Ｓ４１０で付加された得点とＳ４１３で付加された得点の一方のみに基づいて本選択が行われても良い。このようにして、複数のレイアウト画像から、実際に見開きに配置されるレイアウト画像が特定される。

Ｓ４１６では、ＣＰＵ１０１は、全ての見開きを特定することで全ての見開きに対してレイアウト画像を生成したか否かを判定する。ＣＰＵ１０１は、ＹＥＳ判定の場合、Ｓ４１７に進み、ＮＯ判定の場合、Ｓ４０８に戻り、新たな見開きを特定した後、当該見開きに配置されるレイアウト画像を生成する。

Ｓ４１７では、ＣＰＵ１０１は、Ｓ４１５で選択された各レイアウト画像を、編集画面５０１上に表示する。具体的にはＣＰＵ１０１は、見開き一覧５０２に、各見開き及び、各見開きに配置されたレイアウト画像を表示する。そしてＣＰＵ１０１は、見開き一覧５０２からいずれかの見開きが選択された場合は、選択された見開き及び選択された見開きに配置されたレイアウト画像を見開き表示部５０３に拡大表示し、選択された見開きに対する編集操作を受け付け可能な状態にする。その後ＣＰＵ１０１は、処理を終了する。

このような形態とすることで、適切なテンプレートを用いてレイアウト画像を生成することができる。

＜アルバムデータの編集＞
編集画面５０１に対してアルバムデータの編集操作が行われることで実行される自動レイアウト処理について説明する。アルバムデータの作成方法として手動生成が選択された場合や、図４に示す処理が完了した場合等に、編集画面５０１が表示される。編集画面５０１が表示されている状態においては、見開き一覧５０２から選択された見開きに配置されるレイアウト画像を、ユーザは適宜編集可能である。具体的に例えばユーザは、編集操作により、見開き一覧５０２から選択された見開きに配置されるレイアウト画像に対して１又は複数の画像データを追加したり、当該レイアウト画像に既に配置されている１又は複数の画像データを変更したりすることができる。本実施形態では、図４に示す処理においてだけでなく、編集により見開きに配置される画像データが追加された場合にも、自動レイアウトが実行されうる。なお本実施形態では、編集操作により、レイアウト画像に既に配置されている画像データが変更される場合は、自動レイアウト処理は実行されない。すなわち、変更される画像データが配置されていたスロットのサイズや形状、位置は変更されないまま、当該スロットに新たに画像データが配置される。しかしこの形態に限定されず、編集操作により、レイアウト画像に既に配置されている画像データが変更される場合においても、自動レイアウト処理が実行されても良い。すなわち、変更される画像データを除く、既に配置されている画像データと、変更により新たに配置される画像データとに基づいて、新たにテンプレートを生成しなおして、レイアウト画像を生成しても良い。

図１８は、本実施形態に係るアルバム作成アプリにより実行される、編集時の自動レイアウト処理を示すフローチャートである。図１８に示すフローチャートは、例えば、ＣＰＵ１０１がＨＤＤ１０４に格納されたアルバム作成アプリに対応するプログラムをＲＯＭ１０２やＲＡＭ１０３に読み出して実行することにより実現される。また、図１８に示すフローチャートは、編集画面５０１に対してアルバムデータの編集操作が実行された場合に開始される。編集操作とは具体的には例えば、見開き表示部５０３に表示されている見開きに対して配置される画像データを追加する操作である。

Ｓ１８０１では、ＣＰＵ１０１は、入力画面３０１に対して入力されたアルバム作成条件に関する各種情報を取得する。

Ｓ１８０２では、ＣＰＵ１０１は、見開き表示部５０３に表示されている見開きを、編集対象の見開きとして特定する。

Ｓ１８０３では、ＣＰＵ１０１は、編集に用いる画像データを特定する。具体的にはＣＰＵ１０１は、編集操作が受け付けられる前から見開き表示部５０３に表示されている見開きに配置されていた画像データと、編集操作によって新たに追加指示が行われた画像データとを特定する。なお、アルバムデータの作成方法として手動生成が選択されたことにより編集画面が表示された直後においては、見開きにはいずれの画像データも配置されていない。そのため、見開きにいずれの画像データも配置されていない状態において画像データの追加指示が行われた場合は、編集操作によって新たに追加指示が行われた画像データのみが特定される。またＣＰＵ１０１は、ここで特定された画像データの特徴量を取得する。

Ｓ１８０４では、ＣＰＵ１０１は、Ｓ１８０２で特定された見開きの自動レイアウトに用いられるテンプレートを生成する。本処理の詳細は、Ｓ４０９と同様であるが、一部異なる点について以下に説明する。

自動生成が指示されたことに基づいて実行される自動レイアウト処理におけるＳ６０１では、画像データは時系列順に並べられていた。しかし編集操作に基づいて実行される自動レイアウト処理におけるＳ６０１では、ＣＰＵ１０１はまず、見開きに配置されていた画像データを、見開きへの配置順に基づいて並べる。その後ＣＰＵ１０１は、見開きへの配置順に基づいて並べた画像データの後ろに、新たに追加指示が行われた画像データを並べる。なおこの形態に限定されず、自動生成が指示されたことに基づいて実行される自動レイアウト処理と同様、ＣＰＵ１０１は、改めて画像データを時系列順に並べても良い。

Ｓ１８０５では、ＣＰＵ１０１は、ＣＰＵ１０１は、テンプレート得点化を実行する。本処理の詳細は、Ｓ４１０と同様である。

Ｓ１８０６では、ＣＰＵ１０１は、Ｓ１８０４で生成されたテンプレートの中から、１又は複数のテンプレートを、Ｓ１８０５により付加された評価（得点）に基づき選択する。本処理の詳細は、Ｓ４１１と同様である。

Ｓ１８０７では、ＣＰＵ１０１は、Ｓ１８０６で選択されたテンプレート内の各スロットに対して、Ｓ１８０２で特定された見開きに対応する画像データを配置することで、レイアウト画像を生成する。本処理の詳細は、Ｓ４１２と同様である。

Ｓ１８０８では、ＣＰＵ１０１は、Ｓ１８０７で生成されたレイアウト画像の得点化を行う。本処理の詳細は、Ｓ４１３と同様である。

Ｓ１８０９では、ＣＰＵ１０１は、Ｓ１８０４で生成された全てのテンプレートに基づいてレイアウト画像の生成を行ったか否かを判定する。ＣＰＵ１０１は、ＹＥＳ判定の場合、Ｓ１８１０に進み、ＮＯ判定の場合、Ｓ１８０７に戻り、まだレイアウト画像の生成が行われていないテンプレートを特定し、特定されたテンプレートに基づいてレイアウト画像の生成が実行される。

Ｓ１８１０では、ＣＰＵ１０１は、Ｓ１８０７で生成された各レイアウト画像の中からＳ１８０２で特定された見開きに配置されるレイアウト画像を選択する。本処理の詳細は、Ｓ４１５と同様である。

Ｓ１８１１では、ＣＰＵ１０１は、Ｓ１８１０で選択されたレイアウト画像を、見開き表示部５０３に表示する。

このような形態とすることで、編集操作に基づいて実行される自動レイアウト処理においても、適切なテンプレートを用いてレイアウト画像を生成することができる。

また本実施形態では、編集画面５０１は、見開き表示部５０３に表示されているレイアウト画像の編集に使用可能なテンプレートの候補を候補表示領域５０６に表示することができる。そして、ユーザは、当該候補からいずれかを選択することで、見開き表示部５０３に表示されているレイアウト画像を、選択したテンプレートを用いたレイアウト画像に変更することができる。テンプレートの候補として例えば、Ｓ４１２やＳ１８０６で生成されたがＳ４１５やＳ１８０９で選択されなかったレイアウト画像に用いられたテンプレートが表示される。なおこのとき例えば、Ｓ４１２やＳ１８０６で生成されたがＳ４１５やＳ１８０９で選択されなかったレイアウト画像に用いられたテンプレートのうち、得点の高いものから順に表示されても良い。また例えば、Ｓ４１２やＳ１８０６で生成されたがＳ４１５やＳ１８０９で選択されなかったレイアウト画像に用いられたテンプレートから得点が高いものが抽出されても良い。そしれ当該抽出により、得点が高いもののみ表示され得点が低いものが表示されないように制御されても良い。また例えば、Ｓ４１２やＳ１８０６で生成されたがＳ４１５やＳ１８０９で選択されなかったレイアウト画像に用いられたテンプレート以外のテンプレートが表示されても良い。具体的には例えば、ユーザによって選択された画像データの特徴に基づいて自動生成されたテンプレートではなく、アルバム作成アプリが予め保持しているテンプレートが表示されても良い。また例えば、Ｓ４１１において類似度の判定によりいくつかのテンプレートが削除されている場合、候補表示領域５０６には、それらのテンプレートについては表示されないように制御されても良い。これにより候補表示領域５０６に、同じようなテンプレートの候補が複数配置されてしまうことを抑制できる。ユーザは、候補表示領域５０６に表示されているテンプレートからいずれかを選択することで、見開き表示部５０３に表示されている見開きに配置されるレイアウト画像を、選択したテンプレートを用いたものに変更することができる。このときユーザが、Ｓ４１２やＳ１８０６で生成されたがＳ４１５やＳ１８０９で選択されなかったレイアウト画像に用いられたテンプレートを選択して場合は、レイアウト画像は生成済みであるため、ＣＰＵ１０１は、生成済みのレイアウト画像を表示する。しかしユーザが、アルバム作成アプリが予め保持しているテンプレートを選択した場合は、ＣＰＵ１０１は、当該テンプレートを用いた自動レイアウト処理を実行して、レイアウト画像を表示する。

なお候補表示領域５０６には、テンプレートの候補でなく、テンプレートの候補を用いて自動レイアウト処理が行われることで生成されたレイアウト情報（すなわち、レイアウト情報の候補）が表示されても良い。その場合、候補表示領域５０６には、Ｓ４１２やＳ１８０６で生成されたがＳ４１５やＳ１８０９で選択されなかったレイアウト画像が表示されることとなる。

なおユーザは、編集画面５０１の不図示のボタンを押す等の所定の操作を行うことで、編集画面５０１のモードを自動編集モードから手動編集モードに切り替えることができる。自動編集モードは、見開きに対して画像データの追加が行われた場合に、図１８に示す処理が実行され、自動でレイアウト画像が生成されるモードである。手動編集モードとは、見開きに対して画像データの追加が行われた場合に、追加された画像データの配置位置やサイズをユーザが手動で指定することでレイアウト画像が生成されるモードである。ユーザはこれらのモードを切り替えることで、所望する編集方法を選択することができる。

なおこのようにして各見開きに配置されるレイアウト画像が編集された場合、レイアウト情報も、編集後のレイアウト画像を出力するためのものに編集される。ユーザは、編集後に注文ボタン５０５が押下することで、編集後のレイアウト情報に基づくアルバムを注文することができる。

このように、自動レイアウト処理が実行された後にも、ユーザは、適宜アルバムデータやレイアウト情報を編集することができる。

（その他の実施形態）
本発明は上述した実施形態に限定されるものではない。例えば、上述した実施形態では、上述した画像選択処理が、アルバムの自動レイアウト処理に用いられる形態を説明したが、例えば、印刷対象の画像データを自動でユーザに提示する提示機能等に用いられても良い。すなわち、上述した画像選択処理が、当該提示機能を実行するプログラムによって実行されても良い。また、例えば、単葉の印刷物を作成する形態に対しても本発明を適用することができる。この場合、ＣＰＵ１０１は、例えば、上述の実施形態における１つの見開きを１枚の単葉の印刷物とみなして、処理を行えばよい。また、単葉の印刷物には、一般に、１枚の画像データしかレイアウトされないため、単葉の印刷物用のテンプレートには、スロットが１つのみあるものとする。なお、シーン毎の印刷物の枚数を設定可能な構成であれば、ＣＰＵ１０１は、上述の実施形態における１つの見開きを設定された枚数の単葉の印刷物とみなして、処理を行っても良い。

また、上述した実施形態では、テンプレート生成処理において、１つの見開きやページに対して、画像データの特徴に応じた複数のテンプレートが生成されていたが、この形態に限定されない。例えば、１つの見開きやページに対して１つのテンプレートのみが生成される形態であっても良い。その形態においては例えば、テンプレートの得点化は実行されなくても良い。

また、上述した実施形態では、テンプレート生成処理において、スロットの形状が、画像データの特徴に応じて決定されることで、画像データに適したテンプレートが生成されていたが、この形態に限定されない。例えば、テンプレートにおけるスロットの位置やサイズ等が、画像データの特徴に応じて決定されても良い。具体的には例えば、大きなサイズの画像を表す画像データが配置されるスロットが、テンプレートにおける左ページに配置されるように制御することによって、テンプレートが生成されても良い。また、例えば、大きなサイズの画像を表す画像データが配置されるスロットのサイズが、小さなサイズの画像を表す画像データが配置されるスロットのサイズより大きくなるように制御されても良い。

また、上述した実施形態では、自動レイアウト処理におけるレイアウト画像の生成処理において、画像データの特徴に応じて新たに生成されたテンプレートのみが使用されていたが、この形態に限定されない。新たに生成されたテンプレートだけでなく、アルバム作成アプリが予め保持しているテンプレートを用いてレイアウト画像を生成しても良い。

また、上述した実施形態では、画像データの特徴に基づいて複数のテンプレートを生成した後、複数のテンプレートがそれぞれ有するスロットに対して画像データを配置して、複数のレイアウト画像を生成していた。そして、複数のレイアウト画像から、テンプレートの得点に基づいていずれかを特定し、特定したレイアウト画像を表示していた。しかしながらこの形態に限定されず、例えば、レイアウト画像を生成する前に、テンプレートの得点に基づいて１又は複数のテンプレートを特定し、特定したテンプレートのみを用いて１又は複数のレイアウト画像の生成を行っても良い。これにより複数のレイアウト画像が生成された場合、その中からいずれかを、見開き表示部５０３に表示・出力されるレイアウト画像としてＳ４１５に示すようにして特定する。なおこの特定において、テンプレートの点数が参照されても良いし、されなくとも良い（すなわち、レイアウト画像の得点のみが参照されても良い）。

なお、上述した実施形態では、画像データの特徴に基づいて新たに生成されるテンプレートに含まれるスロットが、スロット同士で重ならないように配置されていたが、この形態に限定されず、スロットの一部がスロット同士で重なるようにして配置されても良い。

また、上述した実施形態では、自動レイアウト処理を実行する画像処理装置が、ローカル環境に存在する画像処理装置である形態を説明したが、例えば、ネットワークサーバ上の画像処理装置であってもよい。この場合は、ユーザが当該画像処理装置に画像データをアップロードすることで、当該画像処理装置は自動レイアウト処理を実行可能となる。

上述の実施形態では、画像得点化やテンプレートの得点化、レイアウト画像の得点化等の各評価において、点数を付すことで評価を行っていたが、この形態に限定されない。すなわち、得点を用いずに評価を行っても良く、例えば、評価が高い順に「◎」、「○」、「△」、「×」の評価を付し、付された評価によってシーン分類や画像選択等が行われるような形態であっても良い。

上述した各実施形態は、以下の処理を実行することによっても実現される。すなわち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（ＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。また、プログラムは、１つのコンピュータで実行させても、複数のコンピュータで連動させて実行させるようにしてもよい。また、上記した処理の全てをソフトウェアで実現する必要はなく、処理の一部または全部をＡＳＩＣ等のハードウェアで実現するようにしてもよい。また、ＣＰＵも１つのＣＰＵで全ての処理を行うものに限らず、複数のＣＰＵが適宜連携をしながら処理を行うものとしてもよい。

２０１ 画像処理装置

Claims (29)

1. 画像処理装置のコンピュータに、
   １又は複数の画像データを特定する特定ステップと、
   前記特定された前記１又は複数の画像データが配置される１又は複数のスロットを少なくとも有するテンプレートを、前記特定された前記１又は複数の画像データの特徴に基づいて新たに生成する第１生成ステップと、
   新たに生成された前記テンプレートが有する前記１又は複数のスロットに対して、前記特定された前記１又は複数の画像データを配置することでレイアウト画像を生成する第２生成ステップと、を実行させることを特徴とするプログラム。
2. 新たに生成される前記テンプレートの前記１又は複数のスロットの形状、サイズ、位置のうち少なくとも１つが、前記特定された前記１又は複数の画像データの特徴に基づいて特定されることを特徴とする請求項１に記載のプログラム。
3. 新たに生成される前記テンプレートの前記１又は複数のスロットのアスペクト比が、前記特定された前記１又は複数の画像データのアスペクト比に基づいて特定されることを特徴とする請求項２に記載のプログラム。
4. 新たに生成される前記テンプレートに含まれるスロットの数が、前記特定された前記１又は複数の画像データに含まれる画像データの数に基づいて特定されることを特徴とする請求項２又は３に記載のプログラム。
5. 新たに生成される前記テンプレートの前記１又は複数のスロットのサイズが、前記特定された前記１又は複数の画像データの画像データが表す画像のサイズに基づいて特定されることを特徴とすることを特徴とする請求項２乃至４のいずれか１項に記載のプログラム。
6. 新たに生成される前記テンプレートの前記１又は複数のスロットの位置が、前記特定された前記１又は複数の画像データの画像データが表す画像のサイズに基づいて特定されることを特徴とすることを特徴とする請求項２乃至５のいずれか１項に記載のプログラム。
7. 前記テンプレートは、前記特定された前記１又は複数の画像データの特徴に基づいて新たに複数生成されることを特徴とする請求項１乃至６のいずれか１項に記載のプログラム。
8. 前記レイアウト画像は、２つのページによって構成される見開きに印刷される画像であり、
   新たに生成される複数の前記テンプレートには、前記見開きの中心線に相当する線を跨ぐようにして配置されているスロットを含むタイプのテンプレートと、前記見開きの中心線に相当する線を跨ぐようにして配置されているスロットを含まないタイプのテンプレートと、が含まれることを特徴とする請求項７に記載のプログラム。
9. 新たに生成される複数の前記テンプレートには、前記特定された前記１又は複数の画像データの特徴に基づいていないスロットを含むタイプのテンプレートと、前記特定された前記１又は複数の画像データの特徴に基づいていないスロットを含まないタイプのテンプレートと、が含まれることを特徴とする請求項７又は８に記載のプログラム。
10. 新たに生成される複数の前記テンプレートには、テンプレートの端と接するスロットを含むタイプのテンプレートと、テンプレートの端と接するスロットを含まないタイプのテンプレートと、が含まれることを特徴とする請求項７乃至９のいずれか１項に記載のプログラム。
11. 新たに生成される複数の前記テンプレートには、テンプレート内部の上部分と下部分に余白が生じているタイプのテンプレートと、テンプレート内部の左部分と右部分に余白が生じているタイプのテンプレートと、が含まれることを特徴とする請求項７乃至１０のいずれか１項に記載のプログラム。
12. 新たに生成される複数の前記テンプレートには、所定の数のスロット列を含むテンプレートと、前記所定の数と異なる数のスロット列を含むテンプレートと、が含まれることを特徴とする請求項７乃至１１のいずれか１項に記載のプログラム。
13. 新たに生成される複数の前記テンプレートには、特定の数のスロット行を含むテンプレートと、前記特定の数と異なる数のスロット行を含むテンプレートと、が含まれることを特徴とする請求項７乃至１２のいずれか１項に記載のプログラム。
14. 新たに生成された複数の前記テンプレートがそれぞれ有する前記１又は複数のスロットに対して、前記特定された前記１又は複数の画像データが配置されることで、複数の前記レイアウト画像が生成されることを特徴とする請求項７乃至１３のいずれか１項に記載のプログラム。
15. 新たに生成された複数の前記テンプレートを評価する評価ステップと、
    複数の前記テンプレートの評価に基づいて、複数の前記レイアウト画像のうちいずれかを特定するレイアウト画像特定ステップと、
    前記特定された前記レイアウト画像を出力する出力ステップと、
    をさらに実行させることを特徴とする請求項１４に記載のプログラム。
16. 新たに生成された複数の前記テンプレートのうち１又は複数の前記テンプレートがそれぞれ有する前記１又は複数のスロットに対して、前記特定された前記１又は複数の画像データが配置されることで、１又は複数の前記レイアウト画像が生成されることを特徴とする請求項１乃至４のいずれか１項に記載のプログラム。
17. 新たに生成された複数の前記テンプレートを評価する評価ステップと、
    複数の前記テンプレートの評価に基づいて、複数の前記テンプレートのうち１又は複数の前記テンプレートを特定するテンプレート特定ステップと、
    複数の前記テンプレートの評価に基づいて特定された１又は複数の前記テンプレートがそれぞれ有する前記１又は複数のスロットに対して、前記特定された前記１又は複数の画像データが配置されることで、１又は複数の前記レイアウト画像が生成されることを特徴とする請求項１６に記載のプログラム。
18. 前記生成された１又は複数の前記レイアウト画像のうちいずれかを出力する出力ステップと、をさらに実行させることを特徴とする請求項１７に記載のプログラム。
19. 前記レイアウト画像の出力は、所定の領域への前記レイアウト画像の表示であることを特徴とする請求項１５又は１８に記載のプログラム。
20. 新たに生成された複数の前記テンプレートの評価は、前記スロットに関する特徴、前記スロット以外の領域である余白領域に関する情報、前記スロット間のマージンに関する特徴のうち少なくとも１つに基づいて実行されることを特徴とする請求項１５及び１７乃至１９のいずれか1項に記載のプログラム。
21. 前記生成された前記レイアウト画像に対する編集操作をユーザから受け付ける受け付けステップと、をさらに有することを特徴とする請求項１乃至２０のいずれか１項に記載のプログラム。
22. 前記レイアウト画像に配置されている前記１又は複数の画像データに、前記１又は複数の画像データを追加するための前記編集操作が受け付けられた場合、前記編集操作により追加された前記１又は複数の画像データを含む複数の画像データに基づいて、前記テンプレートが新たに生成され、
    前記編集操作により追加された前記１又は複数の画像データを含む前記複数の画像データに基づいて新たに生成された前記テンプレートが有する前記１又は複数のスロットに対して、前記編集操作により追加された前記１又は複数の画像データを含む前記複数の画像データが配置されることで前記レイアウト画像が新たに生成されることを特徴とする請求項２１に記載のプログラム。
23. 前記レイアウト画像が生成された後に、前記生成された前記レイアウト画像の編集に使用可能な１又は複数のテンプレートを表示する表示ステップと、
    前記生成された前記レイアウト画像に用いられているテンプレートを変更するための前記編集操作が前記ユーザから受け付けられた場合、前記生成された前記レイアウト画像を、前記表示された前記１又は複数のテンプレートのうち前記ユーザから選択されたテンプレートが用いられて生成された前記レイアウト画像に変更する変更ステップと、さらに有することを特徴とする請求項２１又は２２に記載のプログラム。
24. 前記テンプレートは、前記特定された前記１又は複数の画像データの特徴に基づいて新たに複数生成され、
    新たに複数生成された前記テンプレートのうち、前記生成された前記レイアウト画像の生成に用いられなかった１又は複数のテンプレートが、前記生成された前記レイアウト画像の編集に使用可能な１又は複数のテンプレートに含まれることを特徴とする請求項２３に記載のプログラム。
25. 前記プログラムが予め保持しているテンプレートであり、前記特定された前記１又は複数の画像データの特徴に基づいて新たに生成されたテンプレートでない１又は複数のテンプレートが、前記生成された前記レイアウト画像の編集に使用可能な１又は複数のテンプレートに含まれることを特徴とする請求項２３又は２４に記載のプログラム。
26. それぞれ異なる前記１又は複数の画像データが配置されたそれぞれ異なる複数の前記レイアウト画像を生成することで、それぞれ異なる複数の前記レイアウト画像が印刷されたアルバムを作成するためのアルバムデータを生成するアルバムデータ生成ステップと、をさらに実行させることを特徴とする請求項１乃至２２のいずれか１項に記載のプログラム。
27. 前記生成されたアルバムデータにより作成されるアルバムを注文するための処理を実行する注文ステップと、をさらに実行させることを特徴とする請求項２６に記載のプログラム。
28. 画像処理装置であって、
    １又は複数の画像データを特定する特定手段と、
    前記特定された前記１又は複数の画像データが配置される１又は複数のスロットを少なくとも有するテンプレートを、前記特定された前記１又は複数の画像データの特徴に基づいて新たに生成する第１生成手段、
    新たに生成された前記テンプレートが有する前記１又は複数のスロットに対して、前記特定された前記１又は複数の画像データを配置することでレイアウト画像を生成する第２生成手段と、を有することを特徴とする画像処理装置。
29. 画像処理装置の制御方法であって、
    １又は複数の画像データを特定する特定ステップと、
    前記特定された前記１又は複数の画像データが配置される１又は複数のスロットを少なくとも有するテンプレートを、前記特定された前記１又は複数の画像データの特徴に基づいて新たに生成する第１生成ステップと、
    新たに生成された前記テンプレートが有する前記１又は複数のスロットに対して、前記特定された前記１又は複数の画像データを配置することでレイアウト画像を生成する第２生成ステップと、を有することを特徴とする制御方法。

Images