[第1の実施形態]
本実施形態では、画像処理装置において、アルバム作成のためのアプリケーション(以下、「アプリケーション」または単純に「アプリ」ともいう)を動作させ、該アプリケーション上で複数の写真画像が自動でレイアウトされたアルバムを複数作成する。本実施形態では、少なくとも2つのアルバムに共通する見開きと、各アルバムで個別の見開きとを作成する。各アルバムを構成する見開きの合計数(総見開き数と呼ぶ)又はページの合計数(総ページ数と呼ぶ)は、ユーザの指示に従い全アルバムで同一である。但し、アルバム毎の(つまりユーザ毎の)共通見開きと個別見開きとのそれぞれの数は、画像群及び設定に応じて変化する。見開きおよび見開き内に配置される画像は、撮影時間順に並べる。
<画像処理装置のハードウェア構成について>
以下、本実施形態における画像処理装置のハードウェア構成について、図1を用いて説明する。尚、以下では、画像処理装置が情報処理装置(PC)のケースを説明するが、画像処理装置として、スマートフォン等の他の装置を採用してもよい。
図1に示すように、画像処理装置100は、CPU101と、ROM102と、RAM103と、HDD104と、ディスプレイ105と、キーボード106と、マウス107と、データ通信装置108と、を有する。これらの部品は、データバス109により接続されており、相互にデータを送信または受信することができる。
CPU101は、画像処理装置100全体を制御する。また、CPU101は、本実施形態で説明する画像処理方法をプログラムに従って実行する。尚、図1では、画像処理装置が1個のCPUを有するが、画像処理装置は複数のCPUを有してもよい。
ROM102には、CPU101が実行するプログラムが記憶されている。RAM103は、CPU101によるプログラムの実行時に、各種情報を一時的に記憶するためのメモリを提供する。HDD104には、画像ファイルや画像解析等の処理結果を保持するデータベース等が記憶され、本実施形態では、このHDD104に、アルバム作成のためのアプリケーションプログラムが記憶されている。尚、このアプリケーションプログラムについては、図4等を用いて後述する。
ディスプレイ105は、本実施形態のユーザインターフェイス(以下UI)や画像のレイアウト結果を表示して、ユーザに提示するための装置である。ディスプレイ105は、タッチセンサー機能を有してもよい。キーボード106は、画像処理装置100が有する入力装置の1つであり、例えば、ディスプレイ105に表示されたGUI上に所定の情報を入力するために用いられる。本実施形態では、ユーザは、キーボード106を介してアルバムの見開き数を入力する。マウス107は、画像処理装置100が有する入力装置の1つであり、例えば、ディスプレイ105に表示されたGUI上のボタンをクリックして押下するために用いられる。
データ通信装置108は、プリンタやサーバ等の外部装置と通信するための装置である。例えば、自動レイアウトのデータは、データ通信装置108を介して、画像処理装置100に接続されたプリンタやサーバに送信される。データバス109は、上述した各構成要素とCPU101とを接続する。以上が、本実施形態における画像処理装置のハードウェア構成についての内容である。
<画像処理装置のソフトウェア構成について>
以下、本実施形態における画像処理装置のソフトウェア構成、言い換えると、画像処理装置にインストールされているアルバム作成アプリケーションにより実現される機能構成について、図2を用いて説明する。アルバム作成アプリケーションは、ディスプレイ105に表示されているアプリケーションのアイコンがユーザによりマウス107を使ってダブルクリックされることにより起動する。アルバム作成アプリケーションは様々な機能を有するが、以下では主に、本実施形態において特に重要な機能である、自動レイアウト処理部202により提供される自動レイアウト機能を説明する。
図2に示すように、このアプリは、アルバム作成条件設定部201と、自動レイアウト処理部202と、アルバム表示部213と、を有する。「自動レイアウト機能」とは、撮影された写真の画像をその内容や属性に基づいて分類ないし選択した上でレイアウトして、アルバム画像を作成する機能である。作成されたアルバム画像は、ディスプレイ105に表示される。
アルバム作成条件設定部201は、ユーザのマウス操作に応じたアルバム作成条件を、自動レイアウト処理部202に設定する。本実施形態では、アルバム作成条件として、アルバムに使用する画像群、1冊のアルバムあたりの総見開き数、アルバムの商材、アルバムの冊数、及びアルバム毎の主被写体を設定する。画像群の設定は、例えば撮影日時など個別の画像データの付随情報や属性情報を用いて設定してもよいし、デバイスやディレクトリの指定など、画像データが保存されているファイルシステムの構造に基づいて設定してもよい。尚、「見開き」とは、例えば表示においてはひとつの表示用ウィンドウに相当し、印刷においては、異なるシートに印刷された、互いに隣接する1対のページに相当する。ここでは、このような見開きの概念を用いて説明するが、印刷時の単一のページに対して画像をレイアウトする場合でもよい。本実施形態では、「見開き」、「単一のページ」を含め、「ページ」と称するものとする。また、主被写体とは、アルバム中で特に強調してレイアウトする被写体である。例えば特定の個人や、犬や猫、花、料理といった物体のカテゴリ、オブジェクトや画像全体の色味等が挙げられる。ここでは、説明のため人物を主被写体とする。
ここで、本実施形態で作成するアルバムについて、図3を用いて説明する。本実施形態では、アルバム作成条件設定部201により設定されたアルバムの冊数及びアルバム毎の主被写体に基づき、複数の異なるバリエーションのアルバムが作成される。図3の例では、複数の異なるバリエーションのアルバムとして、アルバム1、アルバム2、アルバム3が作成されている。
各アルバムは、複数の異なるバリエーションのアルバム間で同じ画像が同じ配置でレイアウトされている「共通見開き」と、他のアルバムとは異なる画像または配置でレイアウトされている「個別見開き」とで構成される。図3の例では、アルバム1〜アルバム3は夫々、共通見開き302を含む。一方、アルバム1は個別見開き303を含み、アルバム2は個別見開き304を含み、アルバム3は個別見開き305を含む。
画像301は見開きに配置された画像であり、画像301中の文字は画像中に写っている主被写体を表している。図3に示すように、共通見開き302は、複数の主被写体が写っている画像を含むようにレイアウトされている。一方、個別見開き303は主被写体Aが写っている画像を含むといった具合に、個別見開き303〜305は夫々、特定の主被写体が写っている画像を含むようにレイアウトされている。このように、本実施形態で複数のアルバムを作成する場合、該複数のアルバムが夫々、異なる基準で作成された見開きを含む。
画像取得部203は、HDD104に保存されている画像の中から、アルバム作成条件設定部201により設定されたアルバム作成条件を満たす画像群を取得する。ここでいう画像群とは、アルバム作成の際レイアウト候補となる画像群を指す。例えば、撮影日時として、XX年1月1日〜XX年12月31日が指定された場合は、XX年1月1日〜XX年12月31日に撮影された画像全てが、レイアウト候補の画像群に該当する。HDD104に保存されている画像としては、静止画像や、動画から切り出された切り出し画像が挙げられる。静止画像や切り出し画像は、デジタルカメラやスマートデバイス等の撮像デバイスから取得したものである。撮像デバイスは、画像処理装置100が備えていてもよいし、画像処理装置100の外部装置が備えるものであってもよい。尚、撮像デバイスが外部装置である場合は、画像取得部203は、データ通信装置108を介して画像を取得する。また、静止画像や切り出し画像は、外部のネットワークやサーバからデータ通信装置108を介して取得した画像であってもよい。ネットワークやサーバから取得した画像としては、ソーシャルネットワーキングサービス画像(以下、SNS画像)が挙げられる。尚、CPU101はOSのプログラムを実行することで、各画像に対して、画像データに付随するデータを解析し、画像の取得先である保存元を求める。但し、アプリケーションを介してSNSから画像を取得することで、アプリケーション内で該画像の取得先を管理してもよい。尚、画像取得部203が取得する画像は、上述したものに限定されるものではなく、他の種類の画像であってもよい。
画像解析部204は、画像取得部203が取得した画像データを解析する。本実施形態では、画像の特徴量を導出し、画像内のオブジェクト判定、顔検出、検出した顔の表情認識、検出した顔の個人認識を実行する。さらに、画像解析部204は、HDD104から取得した画像データに付随したデータ(例えば、Exif情報)を参照して、撮影日時の情報を取得する。尚、画像解析部204が画像データを解析した結果得られる情報を「解析情報」と呼ぶ。
主被写体設定部205は、アルバム毎に強調する主被写体を設定する。本実施形態では、主被写体設定部205は、アルバム作成条件設定部201から送られた、アルバム毎に強調する主被写体の情報を取得する。
画像得点部208は、アルバム作成条件設定部201により設定されたアルバム作成条件および画像解析部204で導出した解析情報に基づき、各画像に対して得点付けを行う。本実施形態では、レイアウトに適した画像が高得点になるように各画像に対して得点付けを行う。レイアウトに適した画像が高得点になるように得点付けを行う際は、画像の解析情報、画像の分類結果、画像情報、アルバム作成条件を用いる。但し、他の情報を付加的に或いは代替的に用いてもよい。レイアウトに適した画像とは、例えばコントラストが高い、エッジがシャープである、といった審美性が高い画像や、人や動物、建造物などの主題となる被写体(いわゆる主被写体)が大きく写っている画像が挙げられる。さらに、画像得点部208は、主被写体設定部205が設定した主被写体毎の得点付けも行う。例えば、非常に審美性が高い画像であっても、設定した主被写体が写っていない画像については、得点を低くする一方、逆光のような撮影状態の悪い画像であっても、設定した主被写体が大きく写っている画像については、得点を高くする。
シーン分割部206は、画像解析部204で導出した解析情報を用いて、画像取得部203で取得した画像群をシーン毎に分ける。ここでいう「シーン」とは、解析情報に応じてグルーピングした画像のまとまり(サブ画像群)を意味する。例えば、撮影時間の異なる2枚の画像に関し、撮影時間の差が所定の閾値以下の画像を同じシーンと判定したり、写っている人物や背景が同じ画像を同じシーンと判定したりする。
シーン分類部207は、シーン分割部206により得られたシーン毎に該当するカテゴリを判定する。シーンのカテゴリとして、例えば、屋内、屋外といったシチュエーションや、旅行や結婚式といった写真を撮影した時のイベント等が挙げられる。
見開き作成パラメータ生成部209は、主被写体設定部205で設定された主被写体と画像解析部204で導出した解析情報とに基づき、見開きを作成するためのパラメータを複数生成する。ここでいうパラメータとは、見開きの作成基準を決定づける設定値である。このようなパラメータとして、例えば、見開きに使用する画像を選択する際に用いられる、画像得点部208で得られた得点の優先度を決める重みや閾値が挙げられる。これは、主被写体設定部205で設定した主被写体が写っている画像の中から、特定の主被写体のみが写っている画像を優先するのか、或いは、2つ以上の主被写体が写っている画像を優先するのかを選択する設定値である。複数のパラメータを用いることで、アルバム毎の見開きによって、作成基準が変化する。
見開き作成部210は、見開き作成パラメータ生成部209が生成したパラメータに従って、見開きで使用する画像を選択および配置することで、見開きを作成する。
見開き結合部211は、見開き作成部210が作成した見開きを結合する。具体的には、見開き作成部210により作成された各見開きの順番を決定することで、アルバム全体のレイアウトを作成する。
レイアウト情報出力部212は、見開き結合部211が作成したアルバム全体のレイアウトに従って、レイアウト情報を出力する。レイアウト情報は、例えば、所定のレイアウトに従って各画像を配置したビットマップ形式の画像データである。
アルバム表示部213は、レイアウト情報出力部212が出力したレイアウト情報に基づいて、作成したアルバムの画像をディスプレイ105に表示する。
本実施形態におけるアルバム作成アプリケーションのプログラムが、画像処理装置100にインストールされると、画像処理装置100上で動作するOS(オペレーティングシステム)のトップ画面(デスクトップ)上にこのアプリの起動アイコンが表示される。ユーザがディスプレイ105に表示されているデスクトップ上の起動アイコンをマウス107でダブルクリックすると、HDD104に保存されているアルバム作成アプリケーションのプログラムがRAM103にロードされる。そして、RAM103にロードされたプログラムがCPU101によって実行されて、アルバム作成アプリケーションが起動する。以上が、本実施形態における画像処理装置のソフトウェア構成についての内容である。
<GUI画面について>
以下、本実施形態におけるアルバム作成アプリケーションのGUI画面について、図4を用いて説明する。図4は、起動したアルバム作成アプリケーションによって提供され、ディスプレイ105に表示されるGUI画面401を示す図である。ユーザは、GUI画面401を介して、アルバムの作成条件を設定することができる。
GUI画面401は、アルバムに含ませる写真画像の設定部として、パスボックス402及びフォルダ選択ボタン403を有する。パスボックス402は、アルバム作成の対象となる画像群のHDD104中の保存場所(パス)を示すためのボックスである。フォルダ選択ボタン403は、アルバム作成の対象とする画像群を含むフォルダを選択するためのボタンである。ユーザがフォルダ選択ボタン403をマウス107でクリックすると、複数フォルダから構成されるツリーが表示される。そして、アルバム作成の対象とする画像群を含むフォルダをユーザが選択すると、該選択したフォルダのフォルダパスがパスボックス402に表示される。
見開き数ボックス404は、1冊のアルバムにおける総見開き数を指定するためのボックスである。ユーザは、キーボード106を使って見開き数ボックス404に直接数字を入力したり、マウス107を使ってリストから見開き数ボックス404に数字を入力したりすることができる。アルバム数ボックス410は、作成するアルバム冊数を指定するためのボックスである。
主被写体指定部405は、アルバム数ボックス410に入力した数のアルバムそれぞれに対して、強調する主被写体を指定するための要素である。例えば、ユーザはマウス107を用いて、主被写体が写っている画像を主被写体指定部405にドラッグ&ドロップすることで、主被写体を指定することができる。
見開き写真枚数設定部406は、作成するアルバムの各見開きに配置する画像の枚数を設定するためのスライダーバーである。スライダーが「多」側に移動されると、各見開きに配置する画像の枚数が増える。一方、スライダーが「少」側に移動されると、各見開きに配置する画像の枚数が減る。
商材指定部407は、作成するアルバムの商材を設定するための要素である。設定する商材に関する具体的な項目としては、アルバムのサイズ、アルバムの用紙種類を採用することができる。表紙種類や綴じ部の種類を設定してもよい。
OKボタン408は、選択された条件をアルバム作成条件として決定するボタンである。ユーザがOKボタン408をマウス107でクリックすると、アルバム作成条件が確定し、アルバム作成条件設定部201を介して、自動レイアウト処理部202にアルバム作成条件が伝えられる。具体的に説明すると、パスボックス402に入力されているパスの情報は、画像取得部203に伝えられる。また、見開き数ボックス404に入力されている総見開き数の値は、見開き作成部210に伝えられる。アルバム数ボックス410に入力されているアルバム数の値および主被写体指定部405で指定されている主被写体の情報は、見開き作成パラメータ生成部209に伝えられる。
リセットボタン409は、表示画面上の各設定内容をリセットするためのボタンである。以上が、本実施形態におけるアルバム作成アプリケーションのGUI画面についての内容である。
<自動レイアウト処理について>
以下、本実施形態における自動レイアウト処理について、図5(a)を用いて説明する。図5(a)は、本実施形態に係るアルバム作成アプリケーションの自動レイアウトを実行する処理のフローチャートである。尚、図5(a)〜(c)に示すフローチャートは、例えば、CPU101がHDD104に記憶されたプログラムをROM102やRAM103に読み出して実行することにより実現される。
ステップS501において、アルバム作成条件設定部201は、アルバム作成条件を設定する。尚以下では、「ステップS〜」を単純に「S〜」と略記する。本実施形態では、アルバム作成条件として、アルバムに使用する画像群、見開き数、アルバム数、アルバム毎の主被写体、各見開きに配置する画像枚数の多寡、アルバムを作成する商材を設定する(図4参照)。
S502において、画像取得部203は、S501で設定されたアルバムに使用する画像群に関する条件を満たす画像を、HDD104から読み込む。そして、画像取得部203は、読み込んだ画像をRAM103に展開する。
S503において、画像解析部204は、S502でRAM103に展開された画像を解析する。ここで、本ステップの画像解析について、図5(b)を用いて説明する。
S50301において、画像解析部204は、画像取得部203が取得した画像データに対応する撮影日時の情報を取得する。本実施形態では、各画像データに付随するExif情報に基づき、撮影日時の情報を取得する。
S50302において、画像解析部204は、画像取得部203が取得した画像データに対する画質の特徴量を導出する。画質の特徴量としては、例えば、ピント量が挙げられる。ピント量の判別手法として、エッジの検出手法を用いることができ、エッジの検出方法として、公知のソーベルフィルタを用いることができる。ソーベルフィルタで画像のエッジを検出し、エッジの始点と終点との間における輝度差を、始点と終点との間の距離で割ることで輝度勾配、即ちエッジの傾きを算出する。画像中のエッジの平均傾きを算出して、平均傾きが大きい画像は、平均傾きが小さい画像よりもピントが合っているみなすことができる。本実施形態では、算出したエッジの平均傾きの大きさを測るための複数の閾値を設定し、該算出したエッジの傾きが何れの閾値以上か判定することで、許容できるピント量か判定する。具体的には、異なる2つの傾き閾値として、第1の傾き閾値および第2の傾き閾値(尚、第1の傾き閾値>第2の傾き閾値)を設定し、○△×の3段階でピント量を判別する。画像中のエッジの平均傾きが第1の閾値以上であれば、好適なピント量とする(○で表す)。また、画像中のエッジの平均傾きが第1の閾値未満且つ第2の閾値以上であれば、許容できるピント量とし(△で表す)、画像中のエッジの平均傾きが第2の閾値未満であれば許容できないピント量とする(×で表す)。
S50303において、画像解析部204は、画像取得部203が取得した画像データに対し、オブジェクト検出および該検出したオブジェクトの分類を行う。本実施形態では、オブジェクトとして顔を検出する。顔の検出方法として、任意の公知方法を採用することができ、このような公知方法として例えば、複数用意した弱識別器から強識別器を作成するAdaBoostが挙げられる。本実施形態では、AdaBoostにより作成した強識別器を用いて人物の顔を検出する。S50303では、顔を検出すると共に、画像における該検出した顔の領域の左上座標値と右下座標値とを取得する。この2種の座標値を求めることにより、顔の位置および顔のサイズを特定することができる。更に、人物の顔と同様に、犬や猫等の動物と、料理とをそれぞれ検出するAdaBoostも併せて実行することで、人物、動物、料理のオブジェクトを検出すると同時に、画像内のオブジェクトが何か分類することができる。尚、検出対象のオブジェクトは上記のものに限らず、花、建物、置物等であってもよい。また、ここでは、AdaBoostを用いてオブジェクトを分類するケースを説明したが、ディープニューラルネットワークによる画像認識を採用してもよい。
S50304において、画像解析部204は、画像解析部204が検出した顔に対して個人認識を行う。まず、抽出した顔画像と、顔辞書データベースに個人ID毎に保存されている代表顔画像との類似度を導出する。そして、導出した類似度が所定の閾値以上であり且つ最も類似度が高い個人IDを、抽出した顔画像に対応するIDに決定する。つまり、類似度が所定の閾値以上であり且つ最も類似度が高い個人IDに対応する人物が、抽出した顔画像の人物として特定される。尚、個人IDそれぞれに対して導出される類似度の全てが所定の閾値未満の場合、抽出した顔画像の人物を新規の人物とみなし、新規の個人IDを割り振って、顔辞書データベースに登録する。顔辞書データベースは、例えばHDD104に格納されている。
図5(a)の説明に戻る。S504において、画像解析部204は、S501で設定された条件を満たす画像群の全画像に対して、S502からS503の処理が完了したか判定する。本ステップの判定結果が真の場合、S505に進む一方、該判定結果が偽の場合、S502に戻る。
S505において、シーン分割部206は、画像取得部203が取得した画像群に対して、シーン分割を実行する。シーン分割とは、取得した画像群を、複数のサブ画像群に分けることを指す。具体的には、S50301で取得済みの撮影日時の情報を用いて、画像間の撮影日時の時間差に基づいて画像群を複数に分割する。実際の分割の例は以下の通りである。
画像群のうち、最も撮影時間が古い(または新しい)画像に最初に着目し、その次に古い(または新しい)画像との時間差を算出し、該算出した時間差が所定の閾値以上が判定する。このような処理を、着目画像を撮影時間が新しい(或いは古い)ものに順次置き換えながら、全ての画像に対して行う。尚、本実施形態における「分割」とは、2つの画像間を境に撮影時間の新しい方と古い方とで画像群を分割するという意味である。本実施形態では、着目画像の撮影時間とその次に古い(または新しい)画像の撮影時間との間の差分が16時間以上の場合は、画像群を分割して、これらの画像が異なるサブ画像群に属するようにする。尚、分割の際に用いる時間差の閾値は、これに限定されるものではない。図6は、上述したシーン分割方法を用いて、画像群を分割した結果を示している。
また、本実施形態では、撮影日時の情報を用いてシーン分割を行ったが、用いる情報はこれに限らない。例えば、撮影位置の情報を用いて、撮影位置が近い画像同士が同一のシーンに属するように、画像群を分割してもよい。別の例として、個人認識結果を用いてもよい。例えば、卒業アルバムにおいて、あるグループ(クラスや部活等)に所属する生徒の画像を事前にアプリケーションに登録しておくことで、グループに所属する生徒が写っている画像をまとめた画像群を1つのシーン(サブ画像群)としてもよい。さらに別の例として、画像情報以外の情報を用いてもよい。ここでは類似するイベントを1つのシーンとしてまとめる方法を説明する。画像が保存されているフォルダ名や、ソーシャルネットワーキングサービス等で付けたタグ情報を画像に付随するメタ情報として取得する。例えば、「運動会」や「修学旅行」などの検索ワードによって、検索ワードを含むメタ情報を持つ画像群を1つのシーンとする。検索ワードの指定に関しては、アルバム作成条件設定部201を介してアプリケーションに予め組み込まれている検索ワードの中から、ユーザが選択してもよいし、テキストボックスに検索ワードを入力してもよい。
S506において、シーン分類部207は、S505で得たサブ画像群の夫々に対して、シーン分類を行う。尚、以下では、各サブ画像群(各シーン)を「旅行」、「日常」、「セレモニー」の3つカテゴリの何れかに分類する場合を例に挙げて説明するが、分類する項目はこれらに限定されるものではない。
まず、旅行、日常、セレモニーのうち何れに分類されるか予め判定されたサブ画像群を複数取得し、該取得した複数のサブ画像群の夫々についての、撮影の特徴量を取得する。ここで取得する撮影の特徴量とは、例えば、撮影期間、撮影枚数、撮影人数である。撮影期間は、画像群に含まれる画像のうち最も古い画像の撮影時間と最も新しい画像の撮影時間との間の時間差である。撮影枚数は、サブ画像群に含まれる画像の数(つまり写真の枚数)である。撮影人数は、顔が写っている画像における顔の数であり、1つの画像に含まれる顔の数である。そして、複数のサブ画像群に対して、撮影期間の平均値と標準偏差、撮影枚数の平均値と標準偏差、1画像あたりの人数の平均値と標準偏差を求める。尚、本実施形態では、1画像あたりの顔の数が、1画像あたりの人数とする。
図7は、複数のサブ画像群に対して求めた、撮影期間(時間)の平均と標準偏差、撮影枚数の平均と標準偏差、1画像あたりの人数の平均と標準偏差の一例を示す。これらの求めた値は、アルバム作成アプリケーションのプログラムに予め組み込んでおく。つまり、アプリケーションの設計段階で、予め集めた画像を用いた学習によってパラメータを生成し、該生成したパラメータをプログラムに組み込んでおく。アルバム作成アプリケーションが起動された後、ユーザがパスボックス402を介して指定した画像群に対するS505での分割の結果得られたサブ画像群毎に、撮影期間と、撮影枚数と、1画像あたりの人数とのそれぞれの平均値を算出する。そして、シーン毎に、前述したアプリに予め組み込まれたパラメータ(具体的には、各サブ画像群の撮影期間、撮影枚数、撮影人数の特徴量についてのそれぞれの平均値と標準偏差)を用いて、以下の式に従って得点を算出する。
シーン毎且つ特徴量毎の得点=50−|10×(シーン毎且つ特徴量毎の平均値−サブ画像群毎の特徴量)/シーン毎且つ特徴量毎の標準偏差|・・・式(1)
シーン毎の平均得点=(シーン毎の撮影期間の得点+シーン毎の撮影枚数の得点+シーン毎の撮影人数の得点)/特徴量の項目数・・・式(2)
式(1)により、着目サブ画像群の、各シーンおよび各特徴量についての得点が求められる。例えば、旅行シーンについて、撮影期間と、撮影枚数と、撮影人数とのそれぞれの得点が求められる。これらの得点を式(2)により平均化して、旅行シーンに対する得点とする。同様に、日常、セレモニーという他のシーンについても得点が得られる。以上説明した手法により、旅行シーンの平均得点と、日常シーンの平均得点と、セレモニーシーンの平均得点とが、サブ画像群毎に算出される。尚、式(2)における特徴量の項目数は3である。
サブ画像群毎に算出したシーン毎の得点のうち最高点のシーンをそのサブ画像群のシーンとして分類する。2以上のシーンが同点の場合は、既定の優先度に従ってシーン分類を行う。例えば、本実施形態では、日常>セレモニー>旅行の順に優先することが予め決められており、日常の優先度を最も高くする。尚、優先度の順番はこれに限定されるものではなく、また、ユーザが優先度の順番を変更できるようにしてもよい。
図6のサブ画像群(1)〜(8)は、画像群に対するシーン分割により得たサブ画像群を示す。これらサブ画像群のうちサブ画像群(5)について、撮影期間が36時間、撮影枚数が300枚、撮影人数が1.7人であったとする。これに対する旅行の平均得点は45.32、日常の平均得点は18.38、セレモニーの平均得点は−29.92となる結果、サブ画像群(5)のシーンは旅行に分類される。分類したサブ画像群は、シーン識別ができるようにシーンIDを関連付けて管理する。尚、本実施形態では撮影期間、撮影枚数、撮影人数を、撮影の特徴量として採用するケースを説明したが、撮影の特徴量はこれらに限らない。例えば、屋内か屋外かを識別するために、機械学習を用いた画像セグメンテーションにより空が写っているか否か、といったフラグを特徴量として採用してもよい。或いは、セレモニーをさらに細かく分類してもよい。例えば、結婚式と披露宴との何れかに分類する場合、個人認識結果を用いて全画像中で最も多く写っている上位二人を新郎新婦とする。そして、新郎新婦のみが写っている写真が多いシーンを結婚式、新郎新婦以外の人も共に写っている写真が多いシーンを披露宴のように分類してもよい。さらには、特徴量を機械学習によって導出してもよい。例えば、分類したいシーンとそのシーンを表す画像群を用意し、Convolution Neural Network(CNN)を用いて入力を画像、出力をシーン分類結果となる学習を行うことで、シーン分類を行ってもよい。
S507において、主被写体設定部205は、アルバム毎の主被写体を設定する。本実施形態では、アルバム作成条件設定部201から送信された、アルバム毎の主被写体の情報を取得する。ここでは説明のため、2種類のアルバムに対して、アルバム1に主被写体A、アルバム2に主被写体Bを設定したとする。
S508において、画像得点部208は、各画像に対する得点付けを行う。この処理を画像得点化処理と呼ぶ。本ステップで導出する「得点」とは、アルバムへの使用適性を評価するためのパラメータであり、画像データ毎に後述する観点で評価した得点が付けられ、後述の画像選択時に参照される。本実施形態では、画質の良し悪しに加えて、S507で設定した主被写体毎の得点を付ける。まず、S50302で導出した画質の特徴量に応じた得点を付ける。ここでは、ピント量が○(好適)なら1点、△(許容できる)なら0.5点、×(許容できない)なら0点とする。これにより、ピントが合っている画像の得点を高くすることができる。尚、本実施形態では、画質の特徴量としてピント量を採用したが、画質の特徴量はこれに限らない。例えば、画像サイズを用いてもよいし、撮影時に使用したレンズ情報などの撮影情報を用いてもよいし、アプリケーションに入力される画像の圧縮フォーマットを用いてもよい。
画質の特徴量に応じた得点を付けた後、画像得点部208は、設定した主被写体毎の得点を付ける。つまり本実施形態では、1つの画像に対して3種類の得点、具体的には、画質が良いか、主被写体Aが写っているか、主被写体Bが写っているか、という3つの観点で評価した得点が付けられる。主被写体毎の得点付けには、S50303で導出した顔のサイズおよびS50304の個人認識結果を用いることができる。画像中に主被写体が写っていない場合は0点とし、写っている場合は、画像サイズに対して主被写体に設定した個人の顔が占める割合を、主被写体毎の得点とする。尚、本実施形態では、顔サイズを用いて主被写体毎の得点付けを行うが、顔サイズ以外のものを用いてもよい。例えば、主被写体である人の表情を判定し、笑顔であれば加点してもよい。また、人以外を主被写体に設定した場合には、S50303でのオブジェクト検出および分類の結果を用いることで、オブジェクトサイズに応じて同様に得点付けを行う。
S509において、画像得点部208は、画像取得部203が取得した画像群の全画像に対してS508の得点付けが完了したか判定する。本ステップの判定結果が真の場合、S510に進む一方、該判定結果が偽の場合、S508に戻る。
S510において、見開き作成パラメータ生成部209は、アルバム作成条件設定部201からアルバム作成条件を受け取ると共に、主被写体設定部205からアルバム毎の主被写体の情報を受け取って、見開き作成パラメータを生成する。見開き作成パラメータとは、後述する見開きを構成する画像の選択やレイアウトを行う際に使用する設定値のことである。例えば、S508で画像に付けた得点に基づいて見開きに使用する画像を選択する際、画質に応じた得点と各主被写体の得点とのうちどの得点を優先するかを制御する重みや、画像選択の基準となる閾値などを生成する。見開き作成パラメータ生成部209は、見開き作成パラメータとして、全てのアルバムに共通する「共通パラメータ」と、アルバム毎に異なる「個別パラメータ」とを生成する。即ち、見開き作成パラメータ生成部209は、(アルバム数+1)個の見開き生成パラメータを生成する。これにより、見開きを構成する画像および配置が同一の見開きが、複数のアルバムにおいて出現する「共通見開き」と、見開きを構成する画像および配置が特定のアルバムにおいてのみ出現する「個別見開き」とを作成できる。本実施形態では、共通パラメータには、画像に付けられた各得点が均等に評価される重みを設定する。共通パラメータwiを用いた際の、ある画像Iを代表する得点IscoreSを以下の式(3)で表す。
ここで、Iscoreiは画像Iに付けられたi番目の得点、wiは各得点に対する重みを表す。本実施形態では、wi=1/3に設定することで、画質の得点、主被写体Aの得点、主被写体Bの得点を均等に評価する。これにより、画質がよく、且つ、より得点の高い人が多く写っている画像が優先される。
一方、個別パラメータには、アルバム毎の主被写体が写っている画像を優先する重みを設定する。個別パラメータwoを用いた際の、ある画像Iを代表する得点IscoreIを以下の式(4)で表す。
ここで、Iscoreqは画像Iに付けられた画質の得点、Iscoreoは画像Iに付けられた主被写体Oの得点、wqは画質の得点に対する重み、woは主被写体Oに対する重みを表す。本実施形態では、wq=wo=1に設定することで、主被写体が写っている画像のみを評価し、画質と主被写体の大きさにより優先される画像が決まる。尚、本実施形態では見開き作成パラメータとして得点に対する重みを用いたが、見開きパラメータはこれに限らない。例えば、見開きパラメータに、作成する見開き数を含めてもよい。また、IscoreSとIscoreIとは共に主被写体が写っている場合に得点が高くなるように求めたが、これに限らない。風景のような主被写体が全く写っていない画像については、別途画質の得点や、画像情報などに基づいて、得点を算出してもよい。例えば、得点が高い画像との撮影時間の差が小さい画像については、画質の得点を代表得点としてもよい。これにより、主被写体が写っている写真と関連性がある可能性が高い画像にも高得点を付けることができる。
S511において、見開き作成部210は、S510で生成されたパラメータを用いてアルバムの見開きを作成する。ここで、本ステップの見開き作成処理について、図2(b)及び図5(c)を用いて説明する。図2(b)は、見開き作成部210の詳細なブロック図である。図5(c)は、S511における見開き作成の詳細なフローチャートである。
S51101において、見開き作成パラメータ設定部21001は、S510で生成したパラメータのうち1つを読み込む。本実施形態では、アルバム1の個別パラメータ、アルバム2の個別パラメータ、共通パラメータの順に読み込む。
S51102において、見開き候補画像取得部21002は、S508で付けられた得点と、S51101で設定された見開き作成パラメータとに基づき、画像取得部203が取得した全画像群の中から、見開きに使用する候補画像を取得する。本実施形態では、S508で求めた得点と、S51101で設定された見開き作成パラメータとに基づき、式(3)または式(4)に従い、各画像に対する得点付けを再び行う(画像の再得点化)。そして、再得点化の結果得られる得点が所定の閾値以上となる画像を候補画像として取得する。候補画像がない場合は、最も得点が高い画像を候補画像とする。尚、ここでは全画像群から候補画像を取得したが、これに限らない。後述する画像選択処理で既に選ばれた画像は除外してもよい。
S51103において、見開き数設定部21003は、直近のS51101で設定された見開き作成パラメータが個別パラメータか判定する。本ステップの判定結果が真の場合、S51104に進む一方、該判定結果が偽の場合、S51105に進む。
S51103でYESの場合(つまり、直近のS51101で個別パラメータが設定された場合)、S51104において、見開き数設定部21003は、S505で行ったシーン分割結果と、S51102で取得した候補画像とに基づき、見開き数を設定する。本実施形態では、以下の式(5)及び式(6)に従って、見開き数を設定する。
シーン毎の見開き数=ceil(シーン中の候補画像数÷1見開きあたりの最大画像数)・・・式(5)
個別見開き数=Σシーン毎の見開き数・・・式(6)
式(5)及び式(6)により、個別パラメータにより作成される見開き数が求まる。1見開きあたりの最大画像枚数は、見開き写真枚数設定部406を介するユーザ入力に基づいて設定される。尚、個別見開き数がS501で設定される総見開き数以上になる場合、以下の式(7)に従う。
個別見開き数=総見開き数−1・・・式(7)
式(6)及び式(7)により、個別見開き数を総見開き数より1以上小さくすることができる。これにより、個別パラメータと共通パラメータという異なるパラメータで作成された見開きを1アルバム中に混在させることができる。これにより、シーン毎に、主被写体がよく写っている画像数に応じて個別見開き数を設定できる。尚、個別見開き数に対する上限値、下限値を設定してもよい。
一方、S51103でNOの場合(つまり、直近のS51101で共通パラメータが設定された場合)、S51105において、見開き数設定部21003は、以下の式(8)に従って、見開き数を設定する。
共通見開き数=総見開き数−MIN(各アルバムの合計個別見開き数)・・・式(8)
式(8)により、個別見開き数と総見開き数との両方に合わせた共通見開き数を設定できる。
尚、ここでは、候補画像数に応じて見開き数を設定するケースを説明したが、見開き数の設定手法はこれに限らない。例えば、見開き作成パラメータ生成部209がパラメータ内に見開き数を設定し、見開き数設定部21003はパラメータに設定された見開き数を読み込んでもよい。また例えば、見開き作成パラメータ生成部209は、アルバム作成アプリケーションのプログラムに予め組み込んでおいた見開き数を設定してもよいし、ユーザ指定の個別見開きと共通見開きとの比率に基づいて、見開き数を算出してもよい。
S51106において、見開き割当部21004は、S51102で取得した候補画像を、S51104またはS51105で設定した見開き数分のサブ画像群に分割して割り当てる。本実施形態では、候補画像をS50301で取得した撮影時間順に並べ、隣り合う画像間の撮影時間の時間差が大きい場所で分割する。このような処理をS51104またはS51105で設定した見開き数分に分割するまで行う。つまり、(見開き数−1)回の分割を行う。これにより、画像配置基準を撮影時間とする、撮影時間順に画像が並んだアルバムを作成することができる。
S51107において、見開き画像選択部21005は、S51106で処理対象の見開きに割り当てられた候補画像群の中から、レイアウトに使用する画像を選択する。以下、図8を用いて、ある見開きに割り当てられた候補画像群から画像を4枚選択するケースを例に挙げて説明する。尚、ここでは、見開きとは、2ページを指し、最初の見開き及び最後の見開きは、1ページとする。
図8において、(A)は、見開きに割り当てられた候補画像群に含まれる最初の画像から最後の画像のまでの撮影日時の時間差、言い換えれば、候補画像群の撮影期間を示す。図8の(B)を使って、4枚選択する際の1枚目を選択する方法を説明する。図8の(B)に示す候補画像群の撮影期間に撮影された全ての画像のうち、S51102で再得点化した得点が最も高い画像を、1枚目の画像として選択する。そして、2枚目以降の選択では、候補画像群の撮影期間を細分化して画像を選択することにより、候補画像群の撮影期間の一部に選択画像が集中しないようにする。まず、図8の(C)に示すように候補画像群の撮影期間を2分割して、2つの撮影区間(期間)とする。つまり、撮影期間を2等分して2つの撮影区間にする(グループ分けする)。次に、図8の(D)に示すように、1枚目の画像が選ばれていない撮影区間(実線の区間)に属する画像の中から得点が最も高い画像を、2枚目の画像として選択する。次に、図8の(E)に示すように、(D)の各撮影区間をそれぞれ2等分する。図8の(F)において実線で示す撮影区間、即ち、1枚目と2枚目が選ばれていない2つの撮影区間に撮影された画像(2つの撮影区間に対応する画像)のうち得点が最も高い画像を、3枚目の画像として選択する。次に、画像を選択する範囲の撮影区間に画像が存在せず、画像選択できないケースを4枚目の画像選択を例に挙げて説明する。本実施形態では、画像の枚数に関わらず、時間に応じて撮影期間を分割している。従って、分割して得られた撮影区間に画像が存在しない場合がある。例えば、図8の(G)に示すように、まだ画像が選ばれていない撮影区間(斜線で示す撮影区間)から4枚目を選択したいが、この撮影区間には画像が存在しないとする。このような場合は、図8の(H)に示すように、画像を選択済みの各撮影区間をそれぞれ2分割する。次に、図8の(I)に示すように、図中に実線で示す1〜3枚目が選ばれていない撮影区間に撮影された画像の中から得点が最も高い画像を、4枚目の画像として選択する。尚、選択する枚数が4枚から増減した場合についても、前述と同様に画像を選択する。
図5(c)の説明に戻る。S51108において、テンプレート設定部21006は、HDD104に保存されているテンプレートの中から、レイアウトに利用する複数のテンプレートを選択的に設定する。本ステップでは、S501で設定されたアルバム作成条件を満たすデザインのテンプレートが設定される。
S51109において、見開きレイアウト部21007は、処理対象の見開きに対する画像レイアウトを決定する。具体的には、見開きレイアウト部21007は、S51108で設定された複数のテンプレートの中から、S51107で選択された画像をレイアウトするのに適したテンプレートを決定する。ここで、本ステップにおけるテンプレート決定の方法について、図9を用いて説明する。図9は、テンプレート決定に関する機能ブロック図である。
選択画像情報取得部901は、見開き画像選択部21005で選択された画像の枚数と、該画像に関する情報とを取得する。取得する画像情報は、画像の幅と高さ、撮影日時情報、画像得点部208により算出された得点である。テンプレート選択部902は、選択画像枚数と一致するスロット数を持つテンプレートを、テンプレート設定部21006で設定されたテンプレートの中から選択する。選択画像ソート部903は、選択画像を撮影時間順にソートする。テンプレート選択部904は、テンプレート選択部902で選択されたテンプレートの内、メイン画像を配置するメインスロットが撮影時間順に並べたメイン画像の順と一致するテンプレートを選択する。ここで「メイン画像」とは、見開き画像として選択された複数の画像のうち、S51102の再得点化の結果得られる得点が最も得点が高い画像であり、その一方で、該複数の画像のうちメイン画像でない画像を「サブ画像」とする。このテンプレート選択の際、順番に加え、メイン画像のアスペクト比とメイン画像を配置するスロットのアスペクト比も一致していることが選択条件となる。本実施形態では、テンプレートの左上に撮影時間のより古い画像、右下に撮影時間のより新しい画像をレイアウトするものとする。テンプレート選択部905は、テンプレート選択部904で選択されたテンプレートの内、サブ画像を配置するスロットが撮影時間順に並べたサブ画像の順と一致し、画像とスロットのアスペクト比が一致しているテンプレートを選択する。図10は、テンプレート決定処理のフローチャートである。
S1001において、選択画像情報取得部901は、選択画像情報を取得する。本ステップで取得する選択画像情報には、選択画像数が含まれる。ここでは説明のため、選択画像数は3であるものとする。
S1002において、テンプレート選択部902は、選択画像数とスロット数とが一致するテンプレートを選択する。ここでは、S1001で取得した選択画像数3であったと仮定し、スロット数が3のテンプレートが選択されたものとする。以下、本ステップにて、図11に示す(1−1)〜(4−4)のテンプレートが選択されたケースを例に挙げて説明する。
S1003において、選択画像ソート部903は、選択画像を撮影時間順に並べる。ここでは、選択画像を撮影時間順に並べた結果、図11の(A)に示す関係が得られたとする。また、画像1105がメイン画像であり、画像1106及び画像1107がサブ画像とする。
S1004において、テンプレート選択部904は、撮影順に並べた際のメイン画像の配置位置とメイン画像用スロット(メインスロットとする)の配置位置とが一致し、且つ、メイン画像とメインスロットとのアスペクト比が一致するテンプレートを選択する。ここでは、画像1105は、撮影時間が一番新しく且つメインスロット用の画像であるため、図11の(3−1)〜(3−4)のテンプレートが候補となる。
S1005において、テンプレート選択部905は、サブ画像とサブ画像用のスロット(サブスロットとする)とのアスペクト比が一致するテンプレートを選択する。図11の例では、サブスロット用の古い方の画像1106、即ち、左上に配置したい画像が縦画像で、サブスロット用の新しい方の画像1107が横画像である。従って、(3−2)のテンプレートが、選択された3枚の画像に最も適したテンプレートとして決まる。このようにS51109では、レイアウトに用いるテンプレートと、テンプレートの何れのスロットに何れの画像をレイアウトするかを識別できる情報が決定する。
図5(c)の説明に戻る。S51110において、見開きレイアウト部21007は、処理対象の見開き全てに対して、S51107〜S51109の処理が完了したか判定する。本ステップの判定結果が真の場合、S51111に進む一方、該判定結果が偽の場合、S51107に戻る。
S51111において、見開き作成パラメータ設定部21001は、S510で生成された全パラメータに対してS51101〜S51110の処理が完了したか判定する。本ステップの判定結果が真の場合、S512に進む一方、該判定結果が偽の場合、S51101に戻る。
図5(a)の説明に戻る。S512において、見開き結合部211は、見開き作成部210により作成された各見開きに対するアルバム内での見開き番号を決定し、アルバム全体のレイアウトを作成する。本実施形態では、見開き配置基準を見開きに配置された画像の撮影時間とし、画像が撮影時間順になるように見開きを並べる。なお、ページ単位で配置を設定する場合、見開き配置基準に替えてページ配置基準としてもよい。
以下、S512の見開き結合について、図12及び図13を用いて詳細に説明する。図12は、本実施形態における見開き結合部211の詳細な構成を示すブロック図である。図13は、見開き結合部211が実行する処理のフローチャートである。
S1301において、見開き取得部1201は、見開き作成部210により作成された見開きのうち、1つのアルバムに関する見開きを取得する。本実施形態では、例えば本ステップで取得するアルバム1に関する見開きとは、共通パラメータで作成された見開きと、アルバム1の個別パラメータで作成された見開きとを含む。
S1302において、ソート基準値算出部1202は、見開き取得部1201が取得した各見開きに対して、ソートの基準となる値を算出する。本実施形態では、ソートの基準値を見開きに配置された画像の平均撮影時間とする。尚、ソートの基準値は撮影時間に限らない。例えば、見開きに配置された画像の平均撮影位置(緯度経度)としてもよいし、画像枚数でもよいし、色ヒストグラムのように画像解析情報を用いてもよい。
S1303において、ソート部1203は、見開き取得部1201が取得した見開きを、ソート基準値算出部1202が算出したソート基準値に基づいてソートする。本実施形態では、平均撮影時間が早い見開きから昇順に並べる。
S1304において、見開き数調整部1204は、アルバムの見開き数がS501で設定した総見開き数と同じか判定する。本ステップの判定結果が真の場合、S1306に進む。一方、本ステップの判定結果が偽の場合、つまり、S51103で各アルバムの見開き数が総見開き数以上に設定された結果、アルバムの見開き数が総見開き数を超過した場合、S1305に進む。
S1305において、見開き数調整部1204は、見開き取得部1201が取得した見開きのうち、不要な見開きを削除することで、アルバムの見開き数がS501で設定された総見開き数に近づくように調整する。本実施形態では、共通見開きを削除することで見開き数を調整する。具体的には、アルバム内にある共通見開きのうち、ソート基準値算出部1202が算出した見開きの撮影時間が、個別見開きの撮影時間に最も近い共通見開きを削除する。削除した後、S1304に移行する。尚、本実施形態では共通見開きを削除したがこれに限らない。個別見開きを削除することで見開き数の合計を調整してもよい。なお、S1304において、S1301で取得された見開き数が総見開き数に満たないことも考えられる。この場合、S1305において、共通見開き、または個別見開きを追加する処理が実行されてもよい。例えば、個別見開きを追加する場合、見開き結合部211または見開き作成部210は、当該アルバムに対する個別パラメータがS51101で設定されたときにS51102において取得された候補画像を再度取得する。そして、S51007において選択されていなかった画像から、追加される個別見開きに配置する画像(例えば、より得点が高い画像)を選択する。そして、作成された追加の個別見開きに含まれる画像の撮影時間の平均を求め、S1303でソートされた複数の見開きに追加する。例えば、追加後の複数の見開きの順序が平均撮影時間の順序に沿うような位置に、追加の個別見開きを追加する。共通見開きを追加する場合も同様に、見開き結合部211または見開き作成部210は、共通パラメータがS51101で設定されたときにS51102において取得された候補画像から追加の共通見開きを作成、追加する。
S1306において、見開き取得部1201は、全てのアルバムに対してS1301〜S1305の処理が完了したか判定する。本ステップの判定結果が真の場合、S513に進む一方、該判定結果が偽の場合、1301に戻る。これにより、アルバム全体を通して画像を撮影時間順に並べることができる。以上が、本実施形態における自動レイアウト処理についての内容である。
<本実施形態の効果について>
図29は、本実施形態の効果を説明するための図であり、本実施形態で作成される複数のバリエーションのアルバムの例を示す。詳しく説明すると、図29は、被写体A〜C用のアルバムとしてアルバム1〜3が作成され、アルバム1における主被写体は被写体Aに、アルバム2における主被写体は被写体Bに、アルバム3における主被写体は被写体Cに、それぞれ設定されたケースを示す。
ここで、総見開き数が4に設定されているものとする。またアルバム1、アルバム3のそれぞれについて、図5(c)のS51104が実行されたときに、式(5)により個別見開き数が1に設定され、アルバム2についてS51104が実行されたときには、式(5)により個別見開き数が2に設定されたとする。この場合、S51101において共通パラメータが設定され、S51105が実行されたとき、式(8)における「MIN(各アルバムの合計個別見開き数)」は「1」となる。そして、総見開き数が「4」であるため、式(8)により、共通見開き数は3となる。
そのため、図5(a)のS511において、アルバム1〜3について3つの共通見開きが作成され、またアルバム1、3については1つの個別見開き、アルバム2については、2つの個別見開きが作成される。そして、図13のS1301〜S1303により、アルバム1〜3のそれぞれについて、図29に示すように、共通見開きと個別見開きを合わせたアルバムが作成される。アルバム1、3については、見開き数が総見開き数と同じ4であるため、図13のS1304が実行されない。しかし、アルバム2については、見開き数が5であるため、図13のS1304が実行される。
図29は、上記の処理が実行された結果を示しており、共通見開き2901は、取得した見開きの数が総見開き数を超過したため調整された結果(図13のS1304でNO→S1305)、最終的にアルバム2で使われなかった共通見開きを表現している。
図29に示すように、本実施形態で作成されるバリエーションのアルバムに関して、総見開き数は、アルバムに依って変わることがなく、常に同一である。図29の例では、総見開き数は、アルバムに依らず4である。
また、上述ようにアルバムに依って個別見開き数が変わることが許容される。さらに、アルバム毎の個別見開きの位置も変わることが許容される。即ち、図13のS1303では、共通見開き、個別見開きが混在している状態でソートが行われる。そのため、各アルバムの個別見開きの平均撮影時間によって、各アルバムで個別見開きが配置される位置が異なる場合がある。
図29の例では、アルバム1とアルバム3との個別見開き数が1である一方、アルバム2の個別見開き数が2である。各アルバムにおいて、個別見開きは時系列順に並べられる。
また、S1305ではアルバムによって共通見開きの削除が行われるため、アルバムに依って共通見開き数が変わることが許容される。図29の例では、アルバム1とアルバム3との共通見開き数が3である一方、アルバム2の共通見開き数が2である。
即ち、本実施形態によれば、共通見開きの数、並びに、個別見開きの数および位置をアルバム毎に自動で設定することが可能となる。
[第2の実施形態]
本実施形態では、少なくとも2つのアルバムに共通する見開きと、各アルバムで個別の見開きとを作成する。アルバム毎の総見開き数および個別見開き数、並びに、個別見開きの位置は、画像群及び設定に応じて変化する。見開きおよび見開き内に配置される画像は、撮影時間順に並べる。
<自動レイアウト処理について>
以下、本実施形態における自動レイアウト処理について、図14(a)、(b)及び図15(a)〜(c)を用いて説明する。図14(a)、(b)は、本実施形態における自動レイアウト処理に関わる機能構成を示すブロック図である。図15(a)〜(c)は、本実施形態における自動レイアウト処理を説明するためのフローチャートである。尚、前述の実施形態と同じ符号で表す処理に関しては(図5参照)、前述の実施形態の処理と同じであるため、ここでは説明を割愛する。
S1501において、見開き作成部1401は、S510で生成されたパラメータを用いてアルバムの見開きを作成する。ここで、本ステップの見開き作成について、図15(c)を用いて説明する。
S150101において、見開き数設定部140101は、S505で行ったシーン分割結果と、S51102で取得した候補画像とに基づき見開き数を設定する。本実施形態では、以下の式(9)及び式(10)に従って、見開き数を設定する。
シーン毎の見開き数=ceil(シーン中の候補画像数÷1見開きあたりの最大画像数)・・・式(9)
見開き数=Σシーン毎の見開き数・・・式(10)
式(9)及び式(10)により、シーン毎に、主被写体がよく写っている画像数に応じた見開き数を設定できる。
図15(c)と図5(c)における処理の違いとして、図5(c)では、S51105における式(8)により、共通見開き数が個別見開き数を考慮して求められていた。しかし、図15(c)では、共通見開き数についても、式(10)により求められる。
S1502において、見開き結合部1402は、見開き作成部1401により作成された各見開きに対するアルバム内での見開き番号を決定し、アルバム全体のレイアウトを作成する。本実施形態では、見開きに配置された画像の撮影時間に基づき、画像が撮影時間順になるように見開きを並べる。以下、S1502の見開き結合について、図16及び図17を用いて詳細に説明する。図16は、本実施形態における見開き結合部1402の詳細な構成を示すブロック図である。図17は、見開き結合部1402が実行する処理のフローチャートである。
S1301において、見開き取得部1201は、見開き作成部1401により作成された見開きのうち、1つのアルバムに関する見開きを取得する。本実施形態では、例えば本ステップで取得するアルバム1に関する見開きとは、共通パラメータで作成された見開きと、アルバム1の個別パラメータで作成された見開きとを含む。
S1302において、ソート基準値算出部1202は、見開き取得部1201が取得した各見開きに対して、各見開きを代表する撮影時間を算出する。本実施形態では、見開きを代表する撮影時間を、見開きに配置された画像の撮影時間の平均とする。
S1303において、ソート部1203は、見開き取得部1201が取得した見開きを、ソート基準値算出部1202が算出した見開きの撮影時間に基づいてソートする。本実施形態では、見開きを撮影時間が早いものから昇順に並べる。
S1701において、見開き取得部1201は、全てのアルバムに対してS1301〜S1303の処理が完了したか判定する。本ステップの判定結果が真の場合、S513に進む一方、該判定結果が偽の場合、S1301に戻る。これにより、アルバム全体を通して画像を撮影時間順に並べることができる。以上が、本実施形態における自動レイアウト処理についての内容である。
図13と図17の処理の違いは、図17では、図13のS1305における見開き数調整が実行されていない点にある。即ち、本実施形態では、個別見開き、共通見開きがそのまま最終的な見開きに採用される。そのため、アルバム間における個別見開き数の違いにより、総見開き数がアルバムごとに異なることが許容される。
<本実施形態の効果について>
図30は、本実施形態の効果を説明するための図であり、本実施形態で作成される複数のバリエーションのアルバムの例を示す。詳しく説明すると、図30(a)は、被写体A〜B用のアルバムとして、アルバム1〜2が作成され、アルバム1における主被写体は被写体Aに設定され、アルバム2における主被写体は被写体Bに設定されたケースを示している。また図30(b)は、被写体A〜C用のアルバムとして、アルバム1〜3が作成され、アルバム1における主被写体は被写体Aに、アルバム2における主被写体は被写体Bに、アルバム3における主被写体は被写体Cに、夫々設定されたケースを示している。
本実施形態では、作成するバリエーションのアルバムに関し、アルバムに依って総見開き数が変わることを許容する。但し、図30(a)の例では、総見開き数は、アルバムに依らず4であり、図30(b)の例では、総見開き数は、アルバムに依らず3である。
また、アルバムに依って個別見開き数が変わることを許容し、アルバム毎の個別見開きの位置も変わることを許容する。但し、図30(a)の例では、アルバム1とアルバム2との個別見開き数は1であり、図30(b)の例では、アルバム1〜3との個別見開き数は1である。各アルバムにおいて、個別見開きは時系列順に並べられる。
また、共通見開き数は、アルバムに依って変わることがなく、常に同一である。図30(a)に示すように、アルバム1とアルバム2との共通見開き数は3である。また、図30(b)に示すように、アルバム1〜3の共通見開き数は2である。
本実施形態によれば、アルバムの総見開き数、並びに、個別見開きの数および位置をアルバム毎に自動で設定することが可能となる。
[第3の実施形態]
本実施形態では、少なくとも2つのアルバムに共通する見開きと、各アルバムで個別の見開きとを作成する。全てのアルバムに対する共通見開きと個別見開きとの数を揃える。但し、個別見開きの位置は、アルバム毎に画像群及び設定に応じて変化することを許容する。見開きおよび見開き内に配置される画像は、撮影時間順に並べられる。
<自動レイアウト処理について>
以下、本実施形態における自動レイアウト処理について、図18(a)、(b)及び図19(a)〜(c)を用いて説明する。図18(a)、(b)は、本実施形態における自動レイアウト処理に関わる機能構成を示すブロック図である。図19(a)〜(c)は、本実施形態における自動レイアウト処理を説明するためのフローチャートである。尚、前述の実施形態と同じ符号で表す処理に関しては、前述の実施形態と同じ処理であるため、ここでは説明を割愛する。
S1901において、見開き作成部1801は、S510で生成されたパラメータを用いてアルバムの見開きを作成する。ここで、本ステップの見開き作成処理について、図19(c)を用いて説明する。
S190101において、見開き数算出部180101は、S510で生成したパラメータに基づき、各見開き作成パラメータで作成する見開き数を算出し、各見開き作成パラメータを更新する。具体的には、各見開き作成パラメータに該算出した見開き数を設定する。以下、本実施形態における見開き数算出部180101が実行する処理について、図20を用いて説明する。
S2001において、見開き作成パラメータ設定部21001は、S510で生成したパラメータのうち、見開き数を揃えるパラメータの1つを読み込む。本実施形態では、アルバム1の個別パラメータとアルバム2の個別パラメータとを順に読み込む。
S2002において、見開き候補画像取得部21002は、S508で付けられた得点と、S2001で設定された見開き作成パラメータとに基づき、候補画像をS51102と同様の手法で取得する。
S2003において、見開き数算出部180101は、S2002で取得した候補画像に基づいて、個別見開き数候補を算出する。本実施形態では、以下の式(11)に従って、個別見開き数候補を算出する。
個別見開き数候補=ceil(候補画像数÷1見開きあたりの最大画像数)・・・式(11)
式(11)を用いて算出する個別見開き数候補は、候補画像数に応じて増減する。
S2004において、見開き数算出部180101は、見開き数を揃える対象のパラメータ全てに対してS2001〜S2003の処理が完了したか判定する。本ステップの判定結果が真の場合、S2005に進む一方、該判定結果が偽の場合、S2001に戻る。
S2005において、見開き数算出部180101は、S2003で算出した個別見開き数候補群に基づき、見開き数を決定する。本実施形態では、個別見開き数候補のうち最小の見開き数を選択する。これにより、候補画像が少ないパラメータに合わせて同数の個別見開きを作成できる。また、共通パラメータにより作成される共通見開き数は、以下の式(12)に示すように、個別パラメータにより作成する個別見開き数と、S501で設定される総見開き数とに基づいて、従属的に決まる。
共通見開き数=総見開き数−個別見開き数・・・式(12)
S2006において、見開き数算出部180101が、S2005で決定した見開き数を、S510で生成したパラメータに追加して、見開き作成パラメータを更新する。
即ち、S190101(図20)における処理によれば、共通見開き数、個別見開き数が、全てのアルバムで同一になるよう設定される。その上で、図19(c)のS51101以降の処理により、共通見開き、個別見開きが作成される。
また、このように見開きが作成される前に、S190101において個別見開き数と共通見開き数とを調整するので、S512におけるS1304およびS1305のように、見開き作成後の見開き数の調整は不要である。
図19(c)の説明に戻る。S190102において、見開き数設定部180102は、S51101で読み込んだ見開き作成パラメータから、S190101で設定された見開き数を読み込む。
S190103において、見開き割当部180103は、S51102で取得した候補画像を、S190102で設定した見開き数分のサブ画像群に割り当てる。そして、本実施形態ではさらに、この割り当てたサブ画像群の中から、画像得点の平均が高いものから順に、直近のS51101で設定された見開き作成パラメータに含まれる見開き数分のサブ画像群を選択する。
尚、本実施形態では、見開き数を候補画像数に応じて設定したが、見開き数の設定手法はこれに限らない。例えば、アルバム作成アプリケーションのプログラムに予め組み込んでおいた比率によって、個別見開き数と共通見開き数を設定してもよい。具体的には、個別見開き数:共通見開き数=1:4に設定した場合、S501で設定した総見開き数が10であれば、個別見開き数は2、共通見開き数は8にする。また別の例として、S506のシーン分類結果によって見開き数を決めてもよい。例えば、シーン分類結果が結婚式である場合を考える。新郎新婦を主被写体に設定した個別パラメータで2見開き、親族または友人を主被写体に設定した個別パラメータで1見開き、共通パラメータで7見開きの計10見開きのように、シーンに応じた個別見開き数を複数設定してもよい。上記の例においては、見開き数算出部180101が、見開き数に加えて、見開き数に合うように候補画像を取得するための閾値を増減させてもよい。例えば、S2001で取得した見開き作成パラメータでは1枚の候補画像しか取得できないが、見開き数は2以上作成したい場合を考える。見開き候補画像取得部21002が2枚以上の候補画像を取得できるまで、選択の基準となる得点の閾値を下げる。変更した閾値も見開き数と同様にS510で生成したパラメータに追加して、見開き作成パラメータを更新する。これにより、ユーザが要求する見開き数に応じた候補画像を取得できる。以上が、本実施形態における自動レイアウト処理についての内容である。
<本実施形態の効果について>
図31は、本実施形態の効果を説明するための図であり、本実施形態で作成される複数のバリエーションのアルバムの例を示す。詳しく説明すると、図31(a)は、被写体A〜B用のアルバムとして、アルバム1〜2が作成され、アルバム1における主被写体は被写体Aに設定され、アルバム2における主被写体は被写体Bに設定されたケースを示している。また図31(b)は、被写体A〜C用のアルバムとして、アルバム1〜3が作成され、アルバム1における主被写体は被写体Aに、アルバム2における主被写体は被写体Bに、アルバム3における主被写体は被写体Cに、夫々設定されたケースを示している。
本実施形態では、作成するバリエーションのアルバムに関し、総見開き数は、アルバムに依って変わることがなく、常に同一である。図31(a)の例では、総見開き数は、アルバムに依らず3であり、図31(b)の例では、総見開き数は、アルバムに依らず2である。
また、個別見開き数は、アルバムに依って変わることがなく、常に同一である。図31(a)の例では、アルバム1とアルバム2との個別見開き数は2であり、図31(b)の例では、アルバム1〜3との個別見開き数は1である。各アルバムにおいて、個別見開きは時系列順に並べられる。
また、共通見開き数は、アルバムに依って変わることがなく、常に同一である。図31(a)の例では、アルバム1とアルバム2との共通見開き数は1であり、図31(b)の例では、アルバム1〜3の共通見開き数は1である。
即ち、見開き作成前に、S190101において個別見開き数と共通見開き数とが設定され、その上で見開き作成が行われる。よって、個別見開き数、共通見開き数、総見開き数をアルバム間で同一とすることができるとともに、見開き作成後の見開き数調整を不要とすることができる。
[第4の実施形態]
本実施形態では、少なくとも2つのアルバムに共通する見開きと、各アルバムで個別の見開きとを作成する。全てのアルバムに対する共通見開きと個別見開きとの数および位置を揃える。共通見開きおよび見開き内に配置される画像は、撮影時間順に並べる。個別見開きの位置は、撮影時間に依らず、画像により決定する。
<自動レイアウト処理について>
以下、本実施形態における自動レイアウト処理について、図21(a)、(b)及び図22(a)〜(c)を用いて説明する。図21(a)、(b)は、本実施形態における自動レイアウト処理に関わる機能構成を示すブロック図である。図22(a)〜(c)は、本実施形態における自動レイアウト処理を説明するためのフローチャートである。尚、前述の実施形態と同じ符号で表す処理に関しては、前述の実施形態と同じ処理であるため、ここでは説明を割愛する。
S2201において、見開き作成部2101は、S510で生成されたパラメータを用いてアルバムの見開きを作成する。ここで、本ステップの見開き作成処理について、図22(c)を用いて説明する。
S220101において、見開き数設定部210101は、S51101で読み込んだ見開き作成パラメータから、S190101で設定された見開き数を読み込む。即ち、第3の実施形態で説明したように、S190101における処理により、共通見開き数、個別見開き数、総見開き数がアルバム間で同一になるよう設定される。
S220102において、見開き割当部210102は、S51102で取得した候補画像を、S220101で設定した見開き数分のサブ画像群に分割して割り当てる。本実施形態では、直近のS51101で設定された見開き作成パラメータが共通パラメータの場合、候補画像をS50301で取得した撮影時間に基づき分割する。一方、直近のS51101で設定された見開き作成パラメータが個別パラメータの場合、候補画像をS508で付けた得点に基づき分割する。
具体的には、直近のS51101で設定された見開き作成パラメータが共通パラメータの場合、候補画像をS50301で取得した撮影時間順に並べ、隣り合う画像間の時間差が最も大きい場所で分割する。このような分割処理をS220101で設定した見開き数分に分割するまで行う。つまり、(見開き数−1)回の分割を行う。これにより、撮影時間順に画像が並んだアルバムを作成することができる。尚、後述する通り、1つの見開き内では、画像は撮影時間の順に並んでいなくてもよい。
また、直近のS51101で設定された見開き作成パラメータが個別パラメータの場合、得点が高い候補画像から順に各見開きに割り当てる。例えば見開き数が3の場合、候補画像は得点が高い画像から、見開き1、見開き2、見開き3、見開き1、見開き2、・・・のように割り当てる。これにより、各見開きに得点が高い画像が均等に割り当てられる結果、各見開きは時系列によらず、主被写体にとってよい画像をバランスよく配置できる。
図22(a)の説明に戻る。S2202において、見開き結合部2102は、見開き作成部2101により作成された各見開きに対するアルバム内での見開き番号を決定し、アルバム全体のレイアウトを作成する。本実施形態では、撮影時間に基づき作成された共通見開きについては、撮影時間順になるように並べる。一方、得点に基づき作成された個別見開きについては、共通見開きの時間差が大きくなる位置に挿入する。
以下、S2202の見開き結合について、図23及び図24を用いて説明する。図23は、見開き結合部2102の詳細な構成を示すブロック図である。図24は、見開き結合部2102が実行する処理のフローチャートである。
S2401において、見開き取得部2301は、見開き作成部2101により作成された見開きのうち、1つのアルバムに関する見開きを取得する。本実施形態では、例えば本ステップで取得するアルバム1に関する見開きとは、共通パラメータで作成された共通見開きと、アルバム1の個別パラメータで作成された個別見開きとを含む。
S2402において、ソート基準値算出部2302は、見開き取得部2301が取得した各見開きに対して、各見開きを代表する撮影時間を算出する。本実施形態では、見開きを代表する撮影時間を、見開きに配置された画像の撮影時間の平均、最小、最大の3つとする。
S2403において、ソート部2303は、見開き取得部2301が取得した見開きを、ソート基準値算出部2302が求めた見開きの撮影時間に基づきソートする。本実施形態では、共通見開きを、撮影時間の平均が古いものから昇順に並べる。
S2404において、個別見開き挿入部2304は、見開き取得部2301が取得した見開きのうち、個別見開きの見開き番号を決める。本実施形態では、S2403でソートした共通見開きに対して、共通見開き間の撮影時間差が最大の位置に個別見開きを挿入する。N番目の共通見開きと、N+1番目の共通見開きとの撮影時間差は以下の式(13)に従って算出する。
N+1番目の共通見開きの最小撮影時間−N番目の共通見開きの最大撮影時間・・・式(13)
式(13)により、撮影時間差が大きい(即ち、シーンが変わっている可能性が高い)位置に個別見開きを挿入できる。ここで、S190101における処理により、アルバム間において共通見開きの数は同一となっており、また当然に、共通見開きの内容もアルバム間で同一である。そのため、式(13)により求められた撮影時間差により特定される、個別アルバムが挿入される位置も、アルバム間で同一とすることができる。
尚、ここでは、撮影時間差が最大の共通見開き間に全ての個別見開きを挿入するケースを説明したが、個別見開きの挿入手法は、これに限らない。例えば、撮影時間差がi番目に大きい共通見開き間にはi番目の個別見開きを挿入する、というように、ばらばらの位置に個別見開きを入れてもよい。また、全ての共通見開きの前あるいは全ての共通見開きの後のように、時間差に依らず共通見開きが分断されない位置に個別見開きを挿入してもよい。
S2405において、見開き取得部2301は、全てのアルバムに対してS2401〜S2404の処理が完了したか判定する。本ステップの判定結果が真の場合、S513に進む一方、該判定結果が偽の場合、S2401に戻る。これにより、全てのアルバムで同じ見開き番号の位置に共通見開き及び個別見開きを配置できる。以上が、本実施形態における自動レイアウト処理についての内容である。
<本実施形態の効果について>
図32は、本実施形態の効果を説明するための図であり、本実施形態で作成される複数のバリエーションのアルバムの例を示す。詳しく説明すると、図32は、被写体A〜B用のアルバムとして、アルバム1〜2が作成され、アルバム1における主被写体は被写体Aに設定され、アルバム2における主被写体は被写体Bに設定されたケースを示している。
本実施形態では、作成するバリエーションのアルバムに関し、総見開き数は、アルバムに依って変わることがなく、常に同一である。図32の例では、総見開き数は、アルバムに依らず4である。
また、個別見開き数は、アルバムに依って変わることがなく、常に同一である。図32の例では、アルバム1とアルバム2との個別見開き数は1である。各アルバムにおいて、個別見開きは時系列順に並んでいない。
また、共通見開き数は、アルバムに依って変わることがなく、常に同一である。図32の例では、アルバム1とアルバム2との共通見開き数は3である。
ここで、図32は、共通見開きの後に個別見開きを入れる例を示している。ただし、式(13)を用いた、共通見開きの間を個別見開きの挿入位置とする方法を採用した場合、図32に示す3つの共通見開きにおける2つの挿入位置の何れかに、個別見開きが挿入される。
このように本実施形態によれば、アルバムの見開き数および個別見開きの位置を自動で揃えることが可能となる。
[第5の実施形態]
本実施形態では、少なくとも2つのアルバムに共通する見開きと、各アルバムで個別の見開きとを作成する。総見開き数はユーザ指定に従い全アルバムで同一であるが、アルバム毎の共通見開きと個別見開きとのそれぞれの数は、画像群及び設定により変化する。また、共通見開きおよび見開き内に配置される画像は、撮影時間順に並べ、個別見開きの位置は、全てのアルバムで揃える。
<自動レイアウト処理について>
以下、本実施形態における自動レイアウト処理について、図25(a)、(b)及び図26(a)〜(c)を用いて説明する。図25(a)、(b)は、本実施形態における自動レイアウト処理に関わる機能構成を示すブロック図である。図26(a)〜(c)は、本実施形態における自動レイアウト処理を説明するためのフローチャートである。尚、前述の実施形態と同じ符号で表す処理に関しては、前述の実施形態と同じ処理であるため、ここでは説明を割愛する。
S2601において、見開き作成部2501は、S510で生成されたパラメータを用いてアルバムの見開きを作成する。ここで、本ステップの見開き作成処理について、図26(c)を用いて説明する。
S260101において、見開き割当部250101は、S51102で取得した候補画像を、S51103で設定した見開き数分のサブ画像群に分割して割り当てる。本実施形態では、直近のS51101で設定された見開き作成パラメータが共通パラメータの場合、候補画像をS50301で取得した撮影時間に基づき分割する。一方、直近のS51101で設定された見開き作成パラメータが個別パラメータの場合、候補画像をS508で付けた得点に基づき分割する。
具体的には、直近のS51101で設定された見開き作成パラメータが共通パラメータの場合、候補画像をS50301で取得した撮影時間順に並べ、隣り合う画像間の時間差が大きい場所で分割する。このような分割処理をS51103で設定した見開き数分に分割するまで行う。つまり、(見開き数−1)回の分割を行う。これにより、撮影時間順に画像が並んだアルバムを作成することができる。尚、後述する通り、1つの見開き内では、画像は撮影時間の順に並んでいなくてもよい。
また、直近のS51101で設定された見開き作成パラメータが個別パラメータの場合、得点が高い候補画像から順に各見開きに割り当てる。例えば見開き数が3の場合、候補画像は得点が高い画像から、見開き1、見開き2、見開き3、見開き1、見開き2、・・・のように割り当てる。これにより、各見開きに得点が高い画像が均等に割り当てられる結果、各見開きは時系列によらず、主被写体にとってよい画像をバランスよく配置できる。
図26(a)の説明に戻る。S2602において、見開き結合部2502は、見開き作成部2501により作成された各見開きに対するアルバム内での見開き番号を決定し、アルバム全体のレイアウトを作成する。本実施形態では、撮影時間に基づき作成された共通見開きについては、撮影時間順になるように並べる。一方、得点に基づき作成された個別見開きについては、共通見開きの時間差が大きくなる位置に挿入する。
以下、S2602の見開き結合処理について、図27及び図28を用いて説明する。図27は、見開き結合部2502の詳細な構成を示すブロック図である。図28は、見開き結合部2502が実行する処理のフローチャートである。
S260201において、ソート部250201は、見開き取得部1201が取得した見開きのうち共通見開きを、ソート基準値算出部1202が求めたソート基準値に基づきソートする。本実施形態では、共通見開きを撮影時間が早いものから昇順に並べる。
S2804において、見開き数調整部250202は、アルバムの見開き数がS501で設定した総見開き数と同じか判定する。本ステップの判定結果が真の場合、S1306に進む。一方、本ステップの判定結果が偽、つまり、S51103で各アルバムの見開き数が総見開き数以上に設定された結果、アルバムの見開き数が総見開き数を超えた場合、S260202に進む。
S260202において、見開き数調整部250202は、見開き取得部1201が取得した見開きのうち、不要な見開きを削除することで、アルバムの見開き数がS501で設定した総見開き数に近づくように調整する。本実施形態では、共通見開きを削除することで見開き数を調整する。具体的には、まず、アルバム内にある共通見開きのうち、ソート基準値算出部1202が算出した見開きの撮影時間が隣接する共通見開きと最も近い共通見開きを選ぶ。次に、これら隣接する2つの共通見開きのうち、見開き中に配置されている画像の得点の合計が小さい見開きを削除する。削除した後、S2804に移行する。これにより、共通見開きのうち時間が近い(つまり、同じシーンの可能性が高い)見開きから順に削除される。尚、ここでは、撮影時間に基づいて、削除する共通見開きを選ぶケースを説明したが、削除する見開きの選択手法はこれに限らない。画像の得点が小さい共通見開きを選んでもよいし、個別見開きを削除して総見開き数を調整してもよい。
S260203において、個別見開き挿入部250203は、見開き取得部1201が取得した見開きのうち、個別見開きの見開き番号を決める。本実施形態では、S260201でソートした共通見開きに対して、共通見開き間の撮影時間が最大の位置に全ての個別見開きを挿入されるように、見開き番号を決める。N番目の共通見開きと、N+1番目の共通見開きとの間の時間差は式(13)を用いて算出する。尚、本実施形態では時間差が最大となる共通見開き間に全ての個別見開きを挿入したが、個別見開きの挿入手法はこれに限らない。例えば、全ての共通見開きの前あるいは全ての共通見開きの後のように、時間差によらず共通見開きが分断されない位置に個別見開きを挿入してもよい。
S1306において、見開き取得部1201は、全てのアルバムに対してS1301〜S260203の処理が完了したか判定する。本ステップの判定結果が真の場合、S513に進む一方、該判定結果が偽の場合、S1301に戻る。これにより、全てのアルバムにおいて、同じ見開き番号で開始する位置に個別見開きを配置できる。
上述のように、S260201では、共通見開きがソートされるが、個別見開きについてはソートされない。そして、アルバムにより、S260202において共通見開きが削除されるか否か、また削除される数が異なる。従って本実施形態によれば、総見開き数はアルバム間で同一となるが、共通見開き数の数、個別見開き数の数はアルバム間で異なることが起こり得る。また、個別見開きは撮影時間に沿わない順序で配置され得る。
以上が、本実施形態における自動レイアウト処理についての内容である。
<本実施形態の効果について>
図33は、本実施形態の効果を説明するための図であり、本実施形態で作成される複数のバリエーションのアルバムの例を示す。図33は、被写体A〜C用のアルバムとして、アルバム1〜3が作成され、アルバム1における主被写体は被写体Aに、アルバム2における主被写体は被写体Bに、アルバム3における主被写体は被写体Cに、夫々設定されたケースを示している。
本実施形態では、作成するバリエーションのアルバムに関し、総見開き数は、アルバムに依って変わることがなく、常に同一である。図33の例では、総見開き数は、アルバムに依らず4である。
また、アルバムに依って個別見開き数が変わることを許容する。図33の例では、アルバム1とアルバム3との個別見開き数は1である一方、アルバム2の個別見開き数は2である。各アルバムにおいて、個別見開きは、時系列順に並んでいない。
また、アルバムに依って共通見開き数が変わることを許容する。図33の例では、アルバム1とアルバム3との共通見開き数は3である一方、アルバム2の共通見開き数は2である。
本実施形態によれば、アルバムの総見開き数および個別見開きの位置を自動で揃えることが可能となる。
[その他の実施形態]
上述の実施形態では、印刷時の一対のページに相当する見開きに画像をレイアウトする例について説明した。しかしこれに限らず、印刷時の単一のページに画像をレイアウトする場合であってもよい。即ち、画像がレイアウトされるのが、見開き、印刷時の単一のページのいずれの場合であってもよく、画像がページにレイアウトされるものに、上述の実施形態を適用することができる。例えば、上述の実施形態における共通見開き、個別見開きも、見開きである必要はなく、より広い概念として、アルバム間で共通の共通ページ、アルバムごとに個別の個別ページとして読み替えることができる。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。尚、前述した第1〜第6の実施形態について、各実施形態の構成を適宜組み合わせて用いてもよい。