JP6902886B2 - 画像処理装置、方法およびプログラム - Google Patents

Description

本発明は、画像データをレイアウトする画像処理装置、方法およびプログラムに関する。

近年では、デジタルカメラの普及に加え、スマートデバイスの普及及びカメラ性能向上によりユーザの写真撮影枚数が急激に増加しており、撮影された膨大な写真を活用するものとして、写真アルバムが注目されてきている。写真アルバムの作成においては、膨大な写真からアルバムに適した画像を選択し、配置するところまでを自動で行うことや、選択した写真を円形や矩形などにトリミングして配置することで、デザイン性を高めることが求められてきている。特許文献１には、トリミングを行う際に、検出した顔が中心となるようにトリミング位置を設定することが記載されている。

特開２００８−２２５７２０号公報

しかしながら、画像の撮影シーンによっては、顔領域が中心からずれた方が、ユーザが撮影時に考慮した構図に沿ったものとなる場合がある。従って、特許文献１に記載の手法により顔領域が中心となるようなトリミングを行っても、シーンの種類によっては、ユーザに違和感を与えてしまう可能性がある。

本発明の目的は、このような従来の問題点を解決することにある。上記の点に鑑み、本発明は、シーンの種類に応じた適切な位置であるトリミング領域に対してトリミングを行う画像処理装置、方法およびプログラムを提供することを目的とする。

上記課題を解決するため、本発明に係る画像処理装置は、レイアウトの対象となる画像を取得する取得手段と、前記取得手段により取得した画像において、前記画像が表すシーンの種類に応じて、トリミング領域の位置を決定する決定手段と、前記画像において、前記決定手段により決定した位置である前記トリミング領域をトリミングするトリミング手段と、を備え、前記決定手段は、前記画像に含まれる特定のオブジェクトの位置に基づきデフォルトトリミング領域の位置を決定し、前記画像が表すシーンの種類が第１種類の場合は、前記デフォルトトリミング領域の位置から前記第１種類に応じた第１移動量だけ移動させた位置を、前記トリミング領域の位置として決定し、前記画像が表すシーンの種類が前記第１種類と異なる第２種類の場合は、前記デフォルトトリミング領域の位置から、前記第１移動量と異なる、前記第２種類に応じた第２移動量だけ移動させた位置を、前記トリミング領域の位置として決定する、ことを特徴とする。

本発明によれば、シーンの種類に応じた適切な位置であるトリミング領域に対してトリミングを行うことができる。

画像処理装置のハードウェア構成を示すブロック図である。 アルバム作成アプリケーションのソフトウェア構成を示すブロック図である。 アルバム作成アプリケーションのユーザインタフェース画面を示す図である。 アルバム作成アプリケーションの処理を示すフローチャートである。 各画像ごとに記憶される解析情報を示す図である。 シーン分割した結果を示す図である。 シーンごとの平均値と標準偏差を示す図である。 シーンごと、スロットごとについての得点化を説明するための図である。 分割群からの画像の選択を説明するための図である。 画像のレイアウトに用いるテンプレートを示す図である。 トリミング制御に関するブロック図である。 トリミング領域の設定を説明するための図である。 トリミング処理を示すフローチャートである。 トリミング制御に関するブロック図である。 顔を選定する処理を説明するための図である。 トリミング処理を示すフローチャートである。 トリミング制御に関するブロック図である。 トリミング領域の設定を説明するための図である。 顔切れ判定領域を示す図である。 トリミング処理を示すフローチャートである。

以下、添付図面を参照して本発明の実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る本発明を限定するものでなく、また本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。なお、同一の構成要素には同一の参照番号を付して、説明を省略する。

［第１の実施形態］
本実施形態では、ＰＣ（パーソナルコンピュータ）上で、アルバム作成アプリケーションを動作させ、写真アルバムの自動レイアウト生成を行う処理を説明する。

図１は、画像処理装置１００のハードウェアの構成を示すブロック図である。画像処理装置１００として、例えば、汎用的なＰＣが用いられる。ＣＰＵ１０１は、中央演算装置（プロセッサ）であり、写真アルバムの自動レイアウト生成を行うアルバム作成アプリケーションを実行する。図１では、ＣＰＵ１０１は、１つのみが示されているが、複数構成されていても良い。ＲＯＭ１０２は、例えば、ＣＰＵ１０１により実行されるプログラムを記憶する。ＲＡＭ１０３は、例えば、ＣＰＵ１０１によるプログラムの実行時に、各種情報を一時的に記憶するためのメモリとして用いられる。ＨＤＤ（ハードディスク）１０４は、例えば、画像データや（以下、単に画像ともいう）、画像解析などの処理結果を保持するデータベースなどを記憶する記憶媒体である。

ディスプレイ１０５は、本実施形態のユーザインタフェース（ＵＩ）画面や画像のレイアウト結果をユーザに表示する。ディスプレイ１０５は、タッチセンサ機能を備えても良い。キーボード１０６は、例えば、ユーザが、ディスプレイ１０５に表示されたＵＩ画面上でアルバムの見開き数などの設定値を入力するために用いられる。ポインティングデバイス１０７は、ユーザがディスプレイ１０５に表示されたＵＩ上のボタンをクリック等により選択／指定する際に用いられる。データ通信部１０８は、自動レイアウト生成が行われたデータを画像処理装置１００に接続されたプリンタやサーバに送信する。上記の各ブロックは、システムバス１０９を介して相互に接続される。

図２は、アルバム作成アプリケーションの自動レイアウト処理部２１６に関するソフトウェアブロック図である。図２において、アルバム作成条件指定部２０１は、ポインティングデバイス１０７による後述のＵＩ操作に応じて指定されたアルバム作成条件を自動レイアウト処理部２１６に出力する。

画像取得部２０２は、アルバム作成条件指定部２０１で指定された画像群をＨＤＤ１０４から取得する。ＨＤＤ１０４に保存される画像群は、デジタルカメラやスマートデバイスで撮影された静止画像、動画から切り出された切り出し画像、データ通信部１０８を介してソーシャルネットワークやサーバから取得されたＳＮＳ画像、を含む。また、画像取得部２０２は、各画像に付随したデータを解析して取得先を判定する。例えば、ＳＮＳ画像については、アルバム作成アプリケーションを介してＳＮＳから取得され、アルバム作成アプリケーション内で、判定された取得先を管理するようにしても良い。なお、本実施形態では、上記画像種類以外の画像が用いられても良い。

画像変換部２０３は、画像を所望の画素数や色情報の画像に変換する。本実施形態では、画像変換部２０３は、例えば、短辺４２０画素の画素数とｓＲＧＢの色情報の解析画像に変換する。画像解析部２０４は、解析画像に対して、後述の特徴量取得、顔検出、表情認識、個人認識の各処理を実行する。また、画像解析部２０４は、ＨＤＤ１０４から取得した画像に付随したデータ、例えばＥｘｉｆ情報から、撮影日時を取得する。また、画像解析部２０４は、画像データを解析して、特定のオブジェクト、例えば、人物の顔画像を検出する。画像分類部２０５は、画像群に対して、撮影日時情報や枚数、検出した顔情報を用いて、後述のシーン分割、シーン分類を実行する。ここで、シーンとは、旅行や日常、結婚式等の撮影シーンを表す。

画像得点部２０７は、各画像に対して、レイアウトに適した画像が高得点となるような得点付けを行う。後述するが、得点付けの際、画像解析部２０４で取得された情報と、画像分類部２０５で取得された情報とが用いられる。主人公情報入力部２０６は、アルバム作成条件指定部２０１で指定された主人公のＩＤ（識別情報）を画像得点部２０７に入力する。画像得点部２０７は、例えば、主人公情報入力部２０６から入力された主人公のＩＤが含まれる画像の得点をアップする。

見開き割当部２０９は、画像群を分割して各見開きに割り当てる。見開き入力部２０８は、アルバム作成条件指定部２０１で指定されたアルバムの見開き数を見開き割当部２０９に入力する。見開き割当部２０９は、入力された見開き数に応じて画像群を分割し、各見開きに画像群の一部を割り当てる。画像選択部２１０は、見開き割当部２０９で各見開きに割り当てられた画像群の一部から、画像得点部２０７で付与された得点に基づいて、画像を選択する。画像レイアウト部２１２は、画像のレイアウトを決定する。

テンプレート入力部２１１は、アルバム作成条件指定部２０１で指定されたテンプレート情報に応じた複数のテンプレートを画像レイアウト部２１２に入力する。画像レイアウト部２１２は、画像選択部２１０で選択された画像に適したテンプレートを、テンプレート入力部２１１から入力された複数のテンプレートから選択し、画像のレイアウトを決定する。レイアウト情報出力部２１５は、画像レイアウト部２１２で決定された画像のレイアウトに従って、ディスプレイ１０５に表示するためのレイアウト情報を出力する。レイアウト情報は、例えば、選択されたテンプレートに、選択された画像をレイアウトしたビットマップデータである。

画像補正条件入力部２１３は、アルバム作成条件指定部２０１で指定された画像補正のＯＮ／ＯＦＦ条件を画像補正部２１４に入力する。画像補正部２１４は、画像補正条件がＯＮの場合、画像に対して補正を実行し、画像補正条件がＯＦＦの場合、補正を実行しない。なお、画像補正部２１４は、画像変換部２０３から入力された画像に対して、画像補正条件に基づき、補正の実行を制御する。画像変換部２０３から画像補正部２１４に入力される画像の画素数は、画像レイアウト部２１２で決定したレイアウトの各スロットのサイズに合わせて変更可能である。

アルバム作成アプリケーションが画像処理装置１００にインストールされると、画像処理装置１００上で動作するＯＳ（オペレーティングシステム）のトップ画面（デスクトップ）上に起動アイコンが表示される。ユーザがディスプレイ１０５に表示されているデスクトップ上の起動アイコンをポインティングデバイス１０７等でダブルクリックすると、ＨＤＤ１０４に保存されているアルバム作成アプリケーションのプログラムがＲＯＭ１０２にロードされる。そして、ＲＯＭ１０２のプログラムがＣＰＵ１０１によって実行され、アルバム作成アプリケーションが起動する。

図３は、起動したアルバム作成アプリケーションのＵＩ画面３０１であり、ＵＩ画面３０１は、ディスプレイ１０５に表示される。パスボックス３０２は、アルバム作成の対象となる画像群のＨＤＤ１０４中の保存場所（パス）を示すパスボックスである。フォルダ選択ボタン３０３は、例えばユーザによりポインティングデバイス１０７でクリックされると、アルバム作成の対象とする画像群を含むフォルダがツリー構成として選択可能に表示される。ユーザにより選択された画像群を含むフォルダパスが、パスボックス３０２に表示される。

主人公指定アイコン３０４には、異なる顔画像のアイコンが並んで表示され、ポインティングデバイス１０７のクリック操作等により選択される。見開き数ボックス３０５は、見開き数の指定を受け付ける。例えば、ユーザのキーボード１０６操作により見開き数ボックス３０５に直接数字が入力されるか、ポインティングデバイス１０７の操作によりリストから見開き数ボックスに数字が入力される。

テンプレート指定アイコン３０６には、テンプレートのサイズやテンプレートのテイスト（ポップ調やシック調等）を示すアイコンが並んで表示され、ポインティングデバイス１０７のクリック操作等により選択される。チェックボックス３０７は、画像補正のＯＮ／ＯＦＦの指定を受け付ける。ポインティングデバイス１０７等によりチェックされた場合、画像補正がＯＮとなり、チェックされない場合、画像補正がＯＦＦとなる。

ＯＫボタン３０８は、ＵＩ画面３０１上で指定されている状態をアルバム作成条件指定部２０１に出力するためのボタンである。ＯＫボタン３０８が例えばポインティングデバイス１０７でクリックされると、アルバム作成条件指定部２０１により、アルバム作成条件が自動レイアウト処理部２１６に出力される。パスボックス３０２に入力されたパスは、画像取得部２０２に出力される。主人公指定アイコン３０４で選択された主人公のＩＤは、主人公情報入力部２０６に出力される。見開き数ボックス３０５に入力された見開き数は、見開き数入力部２０８に出力される。テンプレート指定アイコン３０６で選択されたテンプレート情報は、テンプレート入力部２１１に出力される。画像補正チェックボックスの画像補正のＯＮ／ＯＦＦ情報は、画像補正条件入力部２１３に出力される。リセットボタン３０９は、ＵＩ画面３０１上の各設定情報をリセットするためのボタンである。

図４は、アルバム作成アプリケーションの自動レイアウト処理部２１６の処理を示すフローチャートである。図４の処理は、例えば、ＣＰＵ１０１がＲＯＭ１０２に記憶されたプログラムをＲＡＭ１０３に読み出して実行することにより実現される。以下、図４を参照しながら、アルバム作成アプリケーションの自動レイアウト生成の処理を説明する。

Ｓ４０１において、画像変換部２０３は、解析画像を生成する。画像変換部２０３は、アルバム作成条件指定部２０１で指定されたＨＤＤ１０４の画像群の各画像を所定の画素数と色情報の解析画像に変換する。本実施形態では、例えば、短辺４２０画素とｓＲＧＢの色情報の解析画像に変換する。

Ｓ４０２において、画像解析部２０４は、画像の特徴量を取得する。画像解析部２０４は、ＨＤＤ１０４から取得された各画像に付随する例えばＥｘｉｆ情報から、撮影日時を取得する。また、画像解析部２０４は、Ｓ４０１で生成された解析画像から特徴量として、例えばピント情報を取得するようにしても良い。ピント情報を取得する場合、画像解析部２０４は、ソーベルフィルタでエッジ検出して、エッジの始点と終点の輝度差を始点と終点の距離で割ることによりエッジの傾きを算出する。そして、画像解析部２０４は、画像中のエッジの平均傾きを算出し、平均傾き大の画像は平均傾き小の画像よりもピントが合っていると判別する。また、傾きに対して異なる値の複数の閾値を設定し、どの閾値以上であるかを判別することでピント量を判別しても良い。例えば、画像解析部２０４は、異なる２つの閾値を設定し、○△×の３段階でピント量を判別する。つまり、アルバムに採用したいピントの傾きを○、許容できるピントの傾きを△、許容できない傾きを×として評価する。閾値は、例えば、実験等により予め設定される。

Ｓ４０３において、画像解析部２０４は、顔検出を実行する。画像解析部２０４は、Ｓ４０１で生成された解析画像から、顔検出を実行する。顔検出には、複数用意された弱識別器からＡｄａｂｏｏｓｔにより作成された強識別器により顔検出が実行される。画像解析部２０４は、顔画像を検出するとともに、検出した顔画像の位置の左上座標値と右下座標値を取得する。画像解析部２０４は、それらの２つの座標から、顔数、顔の位置、顔のサイズを取得する。

Ｓ４０４において、画像解析部２０４は、個人認識を実行する。画像解析部２０４は、Ｓ４０３で検出された顔画像と、顔辞書データベースに個人ＩＤ毎に保存されている代表顔画像との類似性を判定し、類似性が閾値以上で最も類似性が高いＩＤを、検出された顔画像のＩＤとする。なお、類似性が閾値未満の場合、画像解析部２０４は、新規の顔の個人ＩＤとして、検出された顔画像を顔辞書データベースに登録する。

Ｓ４０２〜Ｓ４０４で取得された情報は、図５に示すように各画像を識別する画像ＩＤ毎に区別して保存される。図５に示すように、Ｓ４０２で取得した撮影日時情報とピント情報、Ｓ４０３で検出した顔数と顔の位置情報、が保存される。なお、顔の位置情報は、Ｓ４０４で取得した個人ＩＤ毎に区別して保存される。

Ｓ４０５において、アルバム作成条件指定部２０１で指定されたＨＤＤ１０４の画像群の全画像に対してＳ４０１〜Ｓ４０４の処理が終了したか否かが判定される。終了していないと判定された場合、Ｓ４０１からの処理を繰り返す。終了していると判定された場合、Ｓ４０６に進む。

Ｓ４０６において、画像分類部２０５は、シーン分割を実行する。画像分類部２０５は、Ｓ４０２で取得済みの撮影日時情報から算出した、画像と画像の時間差に基づいて、画像群を複数に分割する。その際、画像間に撮影していない日が存在する場合には、その日を境として分割する。また、撮影日が連続する場合、時間差が１６時間以上空いている場合、その時間差の部分を境として分割する。一方、時間差が１６時間未満の場合、連続する各日の最初の撮影から最後の撮影までの時間差が４時間未満の場合には、それらを纏まりとして分割する。また、４時間以上の場合には、連続する各日の撮影枚数が５０枚未満であれば、それらを纏まりとして分割し、５０枚以上であれば、分割しない。図６（Ａ）は、上記のシーン分割方法で分割した結果を示している。

Ｓ４０７において、画像分類部２０６は、シーンの種類を決定するシーン分類を実行する。本実施形態では、旅行、日常、セレモニーの各シーンに分類する例で説明する。画像分類部２０６は、ユーザが旅行、日常、セレモニーであると予め判定した画像群をそれぞれ複数集める。そして、画像解析部２０４は、各画像群について、特徴量を取得する。ここで、取得する特徴量は、例えば撮影期間、撮影枚数、撮影人数である。撮影期間は、画像群の最初の撮影から最後の撮影までの時間差である。撮影枚数は、画像群中の撮影枚数である。撮影人数は、顔が写っている画像における顔の数である。そして、シーン毎に集めた複数の画像群に対して、撮影期間の平均値と標準偏差、撮影枚数の平均値と標準偏差、１画像あたりの人数の平均値と標準偏差を求める。

図７は、上記で求められた各平均値と標準偏差を示しており、これらの求めた値をアルバム作成アプリケーションのプログラムに予め組み込んでおく。アルバム作成アプリケーションが起動された後、ユーザがパスボックス３０２で指定した画像群のＳ４０６でシーン分割された各分割群について、撮影期間と撮影枚数、撮影人数の平均値を特徴量として算出する。上述の各分割群の特徴量について、図７のシーン毎の平均値と標準偏差を用いて式（１）及び（２）により得点化を行う。

得点＝５０−｜１０×（平均値−特徴量）／標準偏差｜ ・・・（１）
平均得点＝（撮影期間の得点＋撮影枚数の得点＋人数の得点）／特徴量項目数 ・・・（２）
以上によって、各分割群について、旅行、日常、セレモニー毎の平均得点が算出される。そして、分割群毎に最高点のシーンにその分割群を分類することで、その分割群のシーンの種類を決定する。ここで、同点の場合には、優先シーンに分類するとする。例えば、本実施形態では、日常＞セレモニー＞旅行の順に、日常シーンの優先度が最も高く設定されている。図６（Ａ）でシーン分割された後の分割群「５」は、撮影期間が３６時間、撮影枚数が３００枚、撮影人数の平均値が１．７人であったとする。そこで、旅行シーンについての得点が４５．３２、日常シーンについての得点が１８．３８、セレモニーについての得点が−２９．９２となる場合、分割群「５」は旅行シーンに分類される。

Ｓ４０８において、Ｓ４０６で分割された全シーンに対して、Ｓ４０７のシーン分類が終了したか否かを判定する。終了していないと判定された場合、Ｓ４０７に戻る。終了していると判定された場合、Ｓ４０９に進む。

Ｓ４０９において、画像得点化部２０７は、主人公設定を実行する。主人公設定は、ユーザが指定した画像群に対して実行され、自動での実行と手動での実行の２種類がある。自動で主人公を設定する場合、Ｓ４０４において実行された個人認識の結果と、Ｓ４０６において実行されたシーン分割の結果が用いられる。取得した結果から、画像群に登場する各個人ＩＤの回数、各シーンに登場する各個人ＩＤの回数、各個人ＩＤが登場するシーンの回数等を取得することが可能であり、これらの情報から主人公を設定する。本実施形態では、画像群にシーンが複数ある場合、複数のシーンに登場する個人ＩＤが主人公ＩＤとして設定され、画像群が単一シーンで構成される場合、登場回数が多い個人ＩＤが主人公ＩＤとして設定される。

手動で主人公を設定する場合、ユーザにより指定されている主人公設定アイコン３０４の個人ＩＤが、主人公情報入力部２０６を介して画像得点部２０７に出力される。ユーザにより指定された個人ＩＤがある場合には、上記で説明した自動設定の主人公ＩＤは無視され、ユーザにより指定された個人ＩＤが主人公ＩＤとして設定される。

Ｓ４１０において、画像得点化部２０７は、得点化を実行する。図１０は、画像のレイアウトに用いるテンプレート群を示している。テンプレート１００５は１枚のテンプレートを示し、メインスロット１００２はメインスロットを示し、サブスロット１００３と１００４はサブスロットを示している。メインスロット１００２は、テンプレート１００５内でメインとなるスロット（画像をレイアウトする枠）であり、サブスロット１００３及び１００４よりもサイズが大きいという特徴がある。得点化は、メインスロット用の得点とサブスロット用の得点の両方を各画像に対して付与するように行われる。

図８（Ａ）は、旅行、日常、セレモニーの各シーンについて、アルバムに採用する画像の特徴をメインスロットとサブスロットに分けて定義した情報を示す図である。画像得点化部２０７は、図８（Ａ）に示す各シーンのメインスロットとサブスロットの各特徴に適合するとユーザが判定した複数の画像を予め集めておく。画像得点化部２０７は、集めておいた各画像の顔の数、顔の位置、顔のサイズの特徴を収集し、平均値と標準偏差を各シーン各スロット（メインスロットとサブスロット）に対して求め、アルバム作成アプリケーションのプログラムに記憶しておく。ここで、ユーザが指定した画像群の各画像がどのシーンに属するかについては、Ｓ４０７のシーン分類の結果から取得される。注目画像のシーンに対応する予め求めておいた平均値と標準偏差、および注目画像の主人公ＩＤの顔数、顔位置、顔サイズの各特徴量に対して式（３）及び（４）により得点と平均得点を算出する。

得点＝５０−｜１０×（平均値−特徴量）／標準偏差｜ ・・・（３）
平均得点＝（顔数の得点＋顔位置の得点＋顔サイズの得点）／特徴量項目数 ・・・（４）
得点化は、メインスロット用とサブスロット用の両方について行われる。ここで、アルバムに用いられる画像はピントが合っている方が好ましいので、図５に示すピントの特徴量が「○」である画像ＩＤの画像については、得点を所定量、加算するようにしても良い。

図８（Ｂ）は、上記の説明の得点化による得点結果の一例を示しており、各画像ＩＤに対して、メインスロットとサブスロットについての得点化が行われている。

Ｓ４１１において、ユーザにより指定された画像群の全画像に対してＳ４１０の画像得点化が終了したか否かが判定される。終了していないと判定された場合、Ｓ４１０に戻る。終了していると判定された場合、Ｓ４１２に進む。

Ｓ４１２において、画像分類部２０５は、Ｓ４０６でのシーン分割の分割数が見開き数入力部２０８から入力される見開き数と同じであるか否かを判定する。同じでないと判定された場合、Ｓ４１３に進む。同じであると判定された場合、Ｓ４１６に進む。例えば、図６（Ａ）のシーン分割数は８であり、見開き数入力部２０８の入力数が８であれば、Ｓ４１６に進む。

Ｓ４１３において、画像分類部２０５は、Ｓ４０６でのシーン分割の分割数が見開き数入力部２０８から入力される見開き数より少ないか否かを判定する。少なくないと判定された場合、Ｓ４１５に進む。少ないと判定された場合、Ｓ４１４に進む。例えば、図６（Ａ）のシーン分割数は８であり、見開き数入力部２０８の入力数が１０であれば、Ｓ４１４に進む。

Ｓ４１４において、画像分類部２０５は、「シーン分割数＜見開き数」となっている現在の分割されたシーンを更に細分割するサブシーン分割を行う。ここでは、図６（Ａ）のシーン分割数８に対して指定見開き数が１０の場合を一例として説明する。図６（Ｂ）は、図６（Ａ）にサブシーン分割を行った結果を示している。２と３の間の矢印、６と７の間の矢印の箇所で分割したことにより、分割数が１０になっている。

分割の基準は、以下のとおりである。図６（Ａ）の各分割の中で画像枚数が多い分割群を探す。ここでは、分割数を８から１０に２箇所増やすために、画像枚数が多い２箇所を決定する。ここでは、画像枚数が多い方から、まず分割群「５」が決定される。次に、分割「１」と「２」は同じ枚数であるが、分割群「２」の方が最初の画像から最後の画像までの時間差が大きいので、分割群「２」が分割対象として決定される。

分割群「５」と「２」をそれぞれ分割する。まず、分割群「２」の分割を説明する。分割群「２」には、画像枚数の山が２つあり、この２つは、撮影日が異なる。よって、図６（Ｂ）の破線矢印の箇所で分割する。次に、分割群「５」には、画像枚数の山が３つあり、３日間連続している。つまり、撮影日が変わる箇所が２箇所あるが、分割後の枚数差が小さくなるように分割する。よって、図６（Ｂ）の破線矢印の箇所で分割する。

以上のように、分割数を８から１０にする。ここでは、撮影日の異なる箇所で分割したが、画像枚数が多い箇所が単一日である場合には、単一日の中で時間差が最大の箇所で分割する。

Ｓ４１５において、画像分類部２０５は、「シーン分割数＞見開き数」となっている現在の分割されたシーンを統合するシーン統合を行う。ここでは、図６（Ａ）のシーン分割数８に対して指定見開き数が６の場合を一例として説明する。図６（Ｃ）は、図６（Ａ）にシーン統合を行った結果を示している。破線の箇所を統合したことで、分割数が６になっている。

統合の基準は、以下のとおりである。図６（Ａ）の各分割群の中で画像枚数が少ない分割群を探す。ここでは、分割数を８から６に２箇所減らすために、画像枚数が少ない２箇所を決定する。ここでは、画像枚数が少ない方から、まず分割群「８」が決定される。次に、分割群「３」と「７」は同じ枚数であるが、分割群「７」に隣接する分割群「８」が既に統合対象であるので、分割群「３」が統合対象として決定される。

分割群「８」と分割群「３」をそれぞれ統合する。まず、分割群「３」の統合を説明する。分割群「３」の前後の分割群「２」と「４」との時間差を比較すると、分割群「４」の方が時間差が小さいので、分割群「４」に統合する。よって、図６（Ｃ）の破線の箇所で統合する。次に、分割群「８」は、後続する分割群がないので、前段の分割群「７」と統合する。よって、図６（Ｃ）の破線箇所で統合する。

Ｓ４１６において、見開き割当部２０９は、見開き割当を実行する。Ｓ４１２〜Ｓ４１５によって、シーン分割数と指定見開き数は同じ数になっている。よって、撮影日時的に先頭の分割を見開きの先頭に割り当て、後続する分割群を、後続する見開きに順に割り当てていく。

Ｓ４１７において、画像選択部２１０は、画像選択を行う。ここでは、ある見開きに割り当てられた分割群から画像を４枚選択する例を、図９を参照しながら説明する。

図９（Ａ）は、見開きに割り当てられた分割群の撮影日時が最初の画像から最後の画像までの時間差（分割撮影期間）を示している。図９（Ｂ）により、１枚目を選択する方法を説明する。テンプレートには１枚のメインスロット１００２がある。１枚目はメインスロット用の画像を選択する。図９（Ｂ）に示す分割撮影期間に対応する画像のうちＳ４１０で付与したメインスロット用の得点が最高点である画像を選択する。２枚目以降は、サブスロット用の画像を選択する。

画像選択は、分割撮影期間の一部に集中しないように、以下のように、分割撮影期間を細分化するように行われる。まず、図９（Ｃ）のように、分割撮影期間を２分割する。次に、図９（Ｄ）のように１枚目が選ばれていない実線の分割撮影期間から２枚目を選択する。実線の分割撮影期間に対応する画像のうちサブスロット用の得点が最高点の画像を選択する。次に、図９（Ｅ）のように図９（Ｄ）の各分割撮影期間を２分割する。図９（Ｆ）のように１枚目と２枚目が選ばれていない実線の分割撮影期間に対応する画像のうちサブスロット用の得点が最高点の画像を３枚目として選択する。

次に、画像を選択する分割撮影期間に画像が存在せず、画像選択できない例を４枚目の選択を例として説明する。図９（Ｇ）のように、まだ画像が選ばれていない斜線の分割撮影期間から４枚目を選択したいが、この斜線の分割撮影期間には画像が存在しない場合である。そこで、図９（Ｈ）のように各分割撮影期間を２分割する。次に、図９（Ｉ）のように１〜３枚目が選ばれていない実線の分割撮影期間に対応する画像のうちサブスロット用の最高点の画像を４枚目として選択する。

Ｓ４１８において、画像レイアウト部２１２は、画像レイアウトの決定を行う。テンプレート入力部２１１により、指定のテンプレート情報に従ってある見開きに対して図１０のテンプレート１００５〜１００７が入力された例を説明する。入力されたテンプレートのスロット数は３である。選択されている画像３枚を撮影日時について並べると、図１０（Ｂ）であったとする。ここでは、スロット１０１０がメインスロット用であり、スロット１００８と１００９がサブスロット用である。本実施形態では、テンプレートの左上に撮影日時がより古い画像、右下に撮影日時がより新しい画像がレイアウトされる。メインスロット用画像１０１０は撮影日時が一番新しいので、テンプレート１００７が選択された画像に最も適したテンプレートとしてレイアウトが決定される。Ｓ４１８では、どの画像をどのテンプレートのどのスロットにレイアウトするかを識別できる情報が決定される。

Ｓ４１９において、画像補正部２１４は、画像補正を実行する。画像補正条件入力部２１３から画像補正がＯＮで入力された場合、画像補正が実行される。本実施形態では、画像補正として、例えば、覆い焼き補正（輝度補正）、赤目補正、コントラスト補正が行われる。一方、画像補正条件入力部２１３から画像補正がＯＦＦで入力された場合、画像補正は実行されない。例えば、補正する画像の画素数は短辺１２００画素であり、ｓＲＧＢの色空間に変換した画像に対して画像補正のＯＮ／ＯＦＦが設定される。

Ｓ４２０において、レイアウト情報出力部２１５は、レイアウト情報の作成を行う。レイアウト情報出力部２１５は、Ｓ４１８で決定されたテンプレートの各スロットに、Ｓ４１９の処理を介した画像をレイアウトする。このとき、レイアウト情報出力部２１５は、スロットのサイズ情報に合わせてレイアウトする画像を変倍してレイアウトする。レイアウト情報出力部２１５は、テンプレートに画像をレイアウトしたビットマップデータを生成する。

Ｓ４２１において、Ｓ４１７〜Ｓ２０の処理が全ての見開きに対して終了したか否かが判定される。終了していないと判定された場合、Ｓ４１７に戻る。終了していると判定された場合、図４を終了する。

以下、画像を変倍してレイアウトする際のトリミングに関して詳細に説明する。Ｓ４１８で決定されたテンプレートの各スロットに割り当てた画像に対して、トリミング処理が実行される。

図１１は、トリミング制御に関するブロック図である。図１１の各ブロックは、例えば、図２のレイアウト情報出力部２１５内に構成される。以下、選択された図１０のテンプレート１００７のスロットに、画像１０１０をレイアウトするケースについて説明する。

画像取得部１１０１は、画像１００５を取得する。顔情報取得部１１０２は、画像１００５に対して画像解析部２０４により実行された顔検出結果を取得する。取得する顔検出結果は、顔の個数、顔のサイズ（幅、高さ）、顔の位置情報、個人認識されたＩＤ情報を含む。

シーン情報取得部１１０３は、画像１００５に対して画像分類部２０５により実行されたシーン判定結果を取得する。スロット情報取得部１１０４は、Ｓ４１８で決定されたテンプレート内の画像を配置するスロットの情報を取得する。取得するスロットの情報は、スロットの幅、および高さを含む。

トリミング領域初期設定部１１０５は、取得されたスロット情報に基づいて、画像のトリミング領域の暫定位置を設定する。トリミング領域の暫定位置については図１２で後述する。また、トリミング領域初期設定部１１０５は、スロット情報、即ちトリミング領域に基づいて画像の変倍率を算出し、算出した変倍率により画像を変倍する。

図１２は、トリミング領域の設定を説明するための図である。幅１２０１は、変倍後の画像の幅を示し、高さ１２０２は、変倍後の画像の高さを示している。また、中心軸１２０３は、画像の中心軸を示している。

トリミング領域に基づいて画像の変倍率を求める他に、シーンに応じてトリミング領域のサイズを変更し、変更されたトリミング領域のサイズを用いて画像を変倍しても良い。例えば、旅行シーンの場合には、トリミング領域をスロット領域より小さくし、小さく変更されたトリミング領域のサイズを用いて画像を変倍する。そして、変更前のトリミング領域によりトリミングを行うようにすることで、倍率を低くして風景と人物が一緒にトリミングされ易くすることができる。また、日常シーンの場合には、トリミング領域をスロット領域より大きくし、大きく変更されたトリミング領域のサイズを用いて画像を変倍する。そして、変更前のトリミング領域によりトリミングを行うようにすることで、倍率を高くして人物がメインとしてトリミングされ易くすることができる。

幅１２０９は、初期トリミング領域１２０７の幅を示し、高さ１２１０は、初期トリミング領域１２０７の高さを示している。ここでは、トリミング領域は、幅と高さが等しい正方領域とする。初期トリミング領域１２０７は、デフォルトとして暫定的に設定されるトリミング領域の初期設定を示している。初期設定時には、配置する画像に含まれる顔領域が考慮され、つまり、図１２の人物Ａの顔の中心座標が初期トリミング領域１２０７の中心座標となるように、初期トリミング領域１２０７の位置が設定される。

ここでは、画像内に人物が１名写っている場合を例に説明する。中心座標１２０４は、検出された顔の中心座標（Ｆｘ、Ｆｙ）を示している。顔幅１２０５は、検出された顔の幅を示し、顔高さ１２０６は、検出された顔の高さを示している。ここでは、顔幅１２０５と顔高さ１２０６は、同じサイズとする。中心座標１２０４、顔幅１２０５、顔高さ１２０６は、倍率が変更された画像に合わせて変更された値である。

初期トリミング領域１２０７は、検出された顔の中心座標１２０４に対して、初期トリミング領域１２０７の中心位置が重なるように配置される。このように配置すると、初期トリミング領域１２０７が画像領域を超えてしまう場合、画像領域を超えないよう顔の中心座標１２０４とトリミング領域の中心位置の距離とがなるべく短くなるように初期トリミング領域１２０７の位置が調整される。

図１１のトリミング領域移動部１１０６は、判定されたシーン分類結果に応じた移動量分、トリミング領域初期設定部１１０５により設定された初期トリミング領域１２０７を移動する。トリミング領域移動部１１０６には、画像分類部２０５により分類されたシーン分類結果（旅行、日常、結婚式など）が入力される。一般的に、旅行シーンでは行った先の風景や建物と人物を一緒に撮影するケースが多い。そのため、引きで撮影して画像の中心からずれた位置に人物を配置する構図が多い。図１２で説明した初期トリミング領域１２０７により顔を中心としたトリミングを行うと、一緒に撮った風景や建物などが大幅に切れてしまうことになる。その結果、ユーザの意図を反映させたアルバム作成ができず、ユーザの満足度を低下させてしまう。

一方、日常シーンなどの場合、人物がメインで被写体となるケースが多い。そのため、初期トリミング領域１２０７により顔を中心としたトリミングを行った場合でも、ユーザに対して違和感を与えることなくトリミングを行うことができる。結婚式シーンなどの他のシーンの場合には、旅行シーンと日常シーンの間の構図となるようにトリミングを行う。本実施形態では、以上のように、撮影シーンを考慮して、初期トリミング領域１２０７を移動する。その結果、ユーザの意図を反映させたアルバム作成を行うことができる。

以下、初期トリミング領域１２０７の移動を撮影シーンに応じて移動する処理を説明する。本処理においては、図１２の初期トリミング領域１２０７を中心軸１２０３の方向に移動する。まず、検出された顔幅１２０５、顔高さ１２０６の２倍のサイズを顔の中心座標１２０４に対して設定する。以下、そのサイズの領域を顔切れ判定領域とする。ここでは、顔切れ判定領域の設定を顔サイズの定数倍としているが、シーンに応じてサイズを変更するようにしても良い。例えば、旅行シーンの場合、顔以外の風景も入れるようにするために顔切れ判定領域を小さく設定し、それ以外のシーンの場合、大きく設定するようにしても良い。

次に、初期トリミング領域１２０７から顔切れ判定領域までの距離ｄを算出する。図１２では、式（５）により距離ｄを算出する。

ｄ＝Ｆｘ−２×（ＦＷ／２） ・・・（５）
図１２では、横方向の移動のみを説明しているが、縦方向の移動であっても同様に距離ｄが算出可能である。算出された距離ｄに対して、シーンを考慮した移動量を式（６）により算出する。

ｄｓ＝ｄ×Ｒａｔｅ＿ｓ ・・・（６）
Ｒａｔｅ＿ｓはシーンから設定される移動量の重みである。移動量の重みは、旅行シーンの場合には移動量が大きくなるように、また、それ以外のシーンの場合には移動量が小さくなるように設定される。例えば、旅行シーンの移動量の重みは０．８、日常シーンの移動量の重みは０、それ以外のシーンの移動量の重みは０．４と設定される。また、旅行以外のシーンに対して、それぞれ個別の重みを設定するようにしても良い。また、シーン判定時に、信頼度が算出される場合は、その信頼度に応じて移動量ｄｓを調整するようにしても良い。例えば、信頼度が高い場合には、算出した移動量ｄｓをそのまま採用し、信頼度が低い場合は、移動量ｄｓにバイアスをかけて移動量を少なくする。上記のような手順により算出された移動量を用いて、初期トリミング領域１２０７からｄｓ分移動したトリミング領域１２０８を最終的なトリミング領域として決定する。

トリミング処理部１１０７は、トリミング領域移動部１１０６で移動したトリミング領域に基づいて画像をトリミングする。

図１３は、トリミング処理を示すフローチャートである。図１３の処理は、図４のＳ４２０において行われる。

Ｓ１３０１において、画像取得部１１０１は、選択されたテンプレート内の指定スロットにトリミングして配置する画像を取得する。Ｓ１３０２において、顔情報取得部１１０２は、配置する画像内に含まれる顔情報を取得する。

Ｓ１３０３において、シーン情報取得部１１０３は、配置する画像に関するシーンの種類の判定結果を取得する。具体的には、該画像が含まれる画像群（シーン）に対して、Ｓ４０７で決定されたシーンの種類が取得される。Ｓ１３０４において、スロット情報取得部１１０４は、選択されたテンプレート内で画像を配置するスロットの情報を取得する。

Ｓ１３０５において、トリミング領域初期設定部１１０５は、スロット情報に基づいて、配置する画像および顔情報を変倍する。そして、トリミング領域初期設定部１１０５は、配置される画像内の顔位置とトリミング領域（スロット情報）の中心が一致するように初期トリミング領域１２０７を暫定的に設定し、初期トリミング領域１２０７と顔切れ判定領域との距離ｄを算出する。

Ｓ１３０６において、トリミング領域移動部１１０６は、Ｓ１３０３で取得されたシーンの種類の判定結果に応じて、初期トリミング領域１２０７の移動量を変更する。ここでは、旅行シーン、日常シーン、その他のシーンに応じて、初期トリミング領域１２０７の移動量を変更する。

シーン判定結果により日常シーンと判定されている場合、Ｓ１３０７において、トリミング領域と顔切れ判定領域との距離ｄに対して、重みＲａｔｅ＿ｓが例えば０にセットされ、移動量ｄｓが算出される。ここでは、重みＲａｔｅ＿ｓが０であるので、移動量ｄｓは０である。そして、移動量ｄｓに基づいて、初期トリミング領域１２０７が移動され、最終的なトリミング領域が設定される。

シーン判定結果によりその他のシーンと判定されている場合、Ｓ１３０７において、トリミング領域と顔切れ判定領域との距離ｄに対して、重みＲａｔｅ＿ｓが例えば０．４にセットされ、移動量ｄｓが算出される。そして、移動量ｄｓに基づいて、初期トリミング領域１２０７が移動され、最終的なトリミング領域が設定される。

シーン判定結果により旅行シーンと判定されている場合、Ｓ１３０７において、トリミング領域と顔切れ判定領域との距離ｄに対して、重みＲａｔｅ＿ｓが例えば０．８にセットされ、移動量ｄｓが算出される。そして、移動量ｄｓに基づいて、初期トリミング領域１２０７が移動され、最終的なトリミング領域が設定される。

Ｓ１３１０において、トリミング処理部１１０７は、設定されたトリミング領域に基づいて画像をトリミングする。

本実施形態では、画像分類部２０６により行われたシーン分類結果に応じて、トリミング領域を設定する処理について説明した。しかしながら、シーン設定については、他の方法でシーンを設定するようにしても良い。例えば、ユーザ手動によりＵＩ上でシーンを設定するようにしても良い。また、テンプレートにシーン情報を関連付け、ユーザが選んだテンプレートからシーンを設定するようにしても良い。いずれの方法によっても、設定されたシーンに応じて、初期トリミング領域１２０７が移動量ｄｓ分移動し、最終的なトリミング領域が設定される。その結果、ユーザの意図を反映させたアルバム作成を行うことができる。

［第２の実施形態］
第２の実施形態では、画像内に複数個の顔が含まれる場合のトリミング方法について説明する。以下、第１の実施形態と異なる点について説明する。

図１４は、トリミング制御に関するブロック図である。画像取得部１１０１、顔情報取得部１１０２、シーン情報取得部１１０３、スロット情報取得部１１０４、トリミング処理部１１０７については、図１１における説明と同じであるので、その説明を省略する。顔選定部１４０１は、顔情報取得部１１０２により取得された顔の個数、各顔のサイズ、各顔の位置情報、各顔のＩＤ情報を用いて、取得した顔情報に基づいてトリミング領域内に含まれる顔を選定する。

図１５は、顔選定部１４０１により顔を選定する処理を説明するための図である。ここでは、説明のために、顔が２個検出された場合を例として説明する。検出された顔の中心座標から、顔が分布する領域を判定する。ここでは、画像の中心軸１２０３より左側であるか、右側であるかで分布をグループ分けする。グループは、更に詳細に分けるようにしても良い。図１５では、画像の左側に顔が集まっているので、それらの顔を１つのグループとして判定する。本実施形態では、顔選定部１４０１は、この判定されたグループに対して更に、トリミング領域を設定するための顔選定を行う。ここで、グループが複数判定されている場合には、グループ内に含まれる顔数が多いグループが顔選定を行う対象として決定されても良い。もしくは、主人公情報入力部２０６で設定された主人公の顔を含むか否かに応じて、顔選定を行うグループを決定するようにしても良い。

図１５に示すように、人物Ａ、人物Ｂの二人の顔が含まれている。中心座標１５０４は、人物Ａに対して検出された顔中心座標（Ｆａｘ、Ｆａｙ）を表し、顔幅１５０５は、人物Ａの顔幅を表し、顔高さは、人物Ａの顔高さを表す。中心座標１５１１は、人物Ｂに対して検出された顔中心座標（Ｆｂｘ、Ｆｂｙ）を表し、顔幅１５１２は、人物Ｂの顔幅を表し、顔高さ１５１３は、人物Ｂの顔高さを表す。

次に、人物Ａと人物Ｂの各中心座標１５０４、１５１１から画像の中心軸１２０３までの最短距離を算出し、距離が遠い方の顔を選定する。図１５の場合には、人物Ａの顔が選定される。そして、後述する初期トリミング領域１２０７の設定は、この選定された顔に対して行われる。

本実施形態では、グループ内において、中心軸１２０３からより離れた顔を選定しているが、他の方法で選定するようにしても良い。例えば、顔のサイズが大きい方を選定するようにしても良いし、主人公と設定された顔を選定するようにしても良い。また、シーンに応じて選定する方法を変更するようにしても良い。例えば、旅行シーンの際には顔サイズが小さい方を選定し、日常シーンの際には顔サイズが大きい方を選定するようにしても良い。

図１４のトリミング領域初期設定部１４０２は、顔選定部１４０１により選定された顔と、スロット情報取得部１１０４により取得されたスロット情報とに基づいて、初期トリミング領域１２０７の暫定位置を設定する。

図１５において人物Ａの顔が選定されると、トリミング領域初期設定部１４０２は、選定された人物Ａの顔中心座標に対して、初期トリミング領域１２０７の中心位置が重なるように、初期トリミング領域１２０７を配置する。このように配置するとトリミング領域が画像領域を超えてしまう場合、画像領域を超えないよう顔の中心座標と初期トリミング領域１２０７の中心位置との距離がなるべく短くなるように初期トリミング領域１２０７の配置を調整する。

トリミング領域移動部１４０３は、トリミング領域初期設定部１４０２により設定された初期トリミング領域１２０７を、判定されたシーン分類結果に応じて移動する。その際人物Ａの顔幅１５０５、顔高さ１５０６の２倍のサイズが、中心座標１５０４に対する顔切れ判定領域として設定される。その後、トリミング処理部１１０７により、初期トリミング領域１２０７の移動量が制御される。

図１６は、本実施形態におけるトリミング処理を示すフローチャートである。Ｓ１６０１及びＳ１６０２は、Ｓ１３０１及びＳ１３０２における説明と同じであるので、その説明を省略する。Ｓ１６０３において、顔選定部１４０１は、トリミングする画像に含まれる顔情報に基づいて、初期トリミング領域１２０７の設定で用いる顔を選定する。

Ｓ１６０４及びＳ１６０５は、Ｓ１３０３及びＳ１３０４における説明と同じであるので、その説明を省略する。Ｓ１６０６において、トリミング領域初期設定部１４０２は、Ｓ１６０５で取得したスロット情報に基づいて、配置する画像および顔情報を変倍する。そして、トリミング領域初期設定部１４０２は、Ｓ１６０３で選定した顔に基づいて、初期トリミング領域１２０７を暫定的に設定し、初期トリミング領域１２０７と顔切れ判定領域との距離ｄを算出する。Ｓ１６０７〜Ｓ１６１１は、Ｓ１３０６〜Ｓ１３１０における説明と同じであるので、その説明を省略する。

以上のように、本実施形態によれば、複数の顔が画像に含まれていても、所定の条件を満たす顔を選定し、その選定された顔に基づいて、初期トリミング領域１２０７を設定し、また、最終的なトリミング領域を設定することができる。その結果、ユーザの意図を反映させたアルバム作成を行うことができる。

［第３の実施形態］
第３の実施形態では、シーンに応じて初期トリミング領域１２０７の中心位置を移動し、その後、最終的なトリミング領域を設定する方法について説明する。以下、第１および第２の実施形態と異なる点について説明する。

図１７は、トリミング制御に関するブロック図である。画像取得部１１０１、顔情報取得部１１０２、シーン情報取得部１１０３、スロット情報取得部１１０４については、図１１における説明と同じであるので、その説明を省略する。

トリミング領域中心設定部１７０５は、顔情報取得部１１０２により取得した顔情報に基づいて、トリミング領域の中心位置を設定する。ここでは、画像領域内に顔が１つ含まれる場合を説明する。

図１８は、トリミング領域中心設定部１７０５によりトリミング領域を設定する方法を説明するための図である。顔情報取得部１１０２により取得した顔情報から、顔の中心座標１２０４が基準点として取得される。ここで、距離１８０５は、顔の中心座標１２０４から、顔中心と同じ高さとなる中心軸１２０３までの距離を表している。中心１８０６は、シーンに応じた基準点の移動後のトリミング領域の中心を表す。

本実施形態では、距離１８０５で表される距離Ｄをシーン判定結果に応じて変更する。シーンに応じた距離Ｄｓは、式（７）により算出される。

Ｄｓ＝Ｄ×Ｒａｔｅ＿ｓ ・・・（７）
ここで、Ｒａｔｅ＿ｓは、シーンに対応する重みであり、例えば、旅行シーンでは０．８、日常シーンでは０、それ以外のシーンでは０．４と設定される。そして、顔の中心座標１２０４と中心軸１２０３とを結ぶ線上において、顔の中心座標１２０４から、式（７）により算出した距離Ｄｓ分離れた位置を移動後のトリミング領域の中心１８０６と設定する。例えば、日常シーンの場合、Ｒａｔｅ＿ｓ＝０であるので、距離Ｄｓは０となり、移動後のトリミング領域の中心１８０６は、変わらず顔の中心座標１２０４となる。

図１７のトリミング領域中心移動部１７０６は、上記の距離Ｄｓ分の基準点の移動を行う。

トリミング領域設定部１７０７は、トリミング領域中心移動部１７０６による移動後のトリミング領域の中心に基づいて、トリミング領域を設定する。トリミング領域設定部１７０７は、スロット情報取得部１１０４により取得したスロット情報に基づき変倍された画像の短辺に合わせてトリミング領域を設定する。図１８では、画像の短辺が高さ１２０２であり、トリミング領域設定部１７０７は、高さ１２０２に合わせて矩形のトリミング領域を設定する。その際、移動後のトリミング領域の中心１８０６にトリミング領域の中心が重なるように、トリミング領域を設定する。トリミング領域１８０７は、トリミング領域設定部１７０７により設定されたトリミング領域である。

トリミング領域調整部１７０８の動作について説明する。上記のように、トリミング領域設定部１７０７によりトリミング領域を設定した際に、顔領域が切れてしまう場合がある。そのため、図１９に示すように、トリミング領域調整部１７０８は、検出した顔サイズに基づいて、顔切れ判定領域１９０８を設定する。ここでは、顔切れ判定領域１９０８は、検出した顔幅１２０５、顔高さ１２０６の２倍のサイズを設定する。トリミング領域調整部１７０８は、トリミング領域内に顔切れ判定領域１９０８が収まるか否かを判定し、顔切れ判定領域１９０８が収まっていない、即ち、顔切れが発生していると判定された場合は、以下の処理を実行する。

図１９において顔切れが発生すると判定された場合、画像の中央寄りにトリミング領域が設定されているということである。そこで、顔切れ判定領域１９０８において中心軸１２０３から最も離れた端辺と、その端辺から最短距離にあるトリミング領域の端辺とが重なるようにトリミング領域の位置を調整する。その結果、顔切れ判定領域１９０８が収まっている、即ち、顔切れが発生していない状態とすることができる。

上記では、画像内に顔が１つ含まれる場合を説明したが、顔が複数個含まれる場合であっても良い。その際、第２の実施形態で説明した処理により、顔を選定しても良い。つまり、中心軸１２０３から最も離れた顔を基準点として設定しても良い。また、複数の顔の重心位置を算出し、基準点として設定しても良い。また、複数の顔において主人公として指定された顔を基準点として設定しても良い。いずれの方法によっても、基準点がシーンに応じた距離分、移動され、移動後の点を中心としてトリミング領域が設定される。

図２０は、本実施形態におけるトリミング処理を示すフローチャートである。Ｓ２００１〜Ｓ２００４は、Ｓ１３０１〜Ｓ１３０４における説明と同じであるので、その説明を省略する。Ｓ２００５において、トリミング領域中心設定部１７０５は、取得した顔情報から基準点を設定する。Ｓ２００６において、トリミング領域中心移動部１７０６は、取得したシーン判定結果に応じて処理を切り替える。ここでは、旅行シーン、日常シーン、その他のシーンに応じて、処理を切り替える。

日常シーンと判定された場合、Ｓ２００７において、トリミング中心位置移動部１７０６は、顔の中心座標１２０４から中心軸１２０３までの距離Ｄに対して、重みＲａｔｅ＿ｓが例えば０に設定され、式（７）により移動量Ｄｓが算出される。そして、トリミング中心位置移動部１７０６は、顔の中心座標１２０４から距離Ｄｓ分離れた位置に、移動後のトリミング領域の中心を設定する。

その他のシーンと判定された場合、Ｓ２００８において、トリミング中心位置移動部１７０６は、距離Ｄに対して、重みＲａｔｅ＿ｓが例えば０．４に設定され、式（７）により移動量Ｄｓが算出される。そして、トリミング中心位置移動部１７０６は、顔の中心座標１２０４から距離Ｄｓ分離れた位置に、移動後のトリミング領域の中心を設定する。

旅行シーンと判定された場合、Ｓ２００９において、トリミング中心位置移動部１７０６は、距離Ｄに対して、重みＲａｔｅ＿ｓが例えば０．８に設定され、式（７）により移動量Ｄｓが算出される。そして、トリミング中心位置移動部１７０６は、顔の中心座標１２０４から距離Ｄｓ分離れた位置に、トリミング領域の中心を設定する。

Ｓ２０１０において、トリミング領域設定部１７０７は、Ｓ２００４で取得したスロット情報に基づいて、画像の短辺に合わせてトリミング領域のサイズを決定する。トリミング領域設定部１７０７は、決定されたサイズのトリミング領域の中心と、Ｓ２００７〜Ｓ２００９で設定されたトリミング領域の中心とが一致するように、トリミング領域を設定する。

Ｓ２０１１において、トリミング領域調整部１７０８は、Ｓ２０１０で設定したトリミング領域により顔切れが発生しているかを判定する。顔切れが発生していないと判定された場合、図２０の処理を終了する。顔切れが発生していると判定された場合、Ｓ２０１２へ進む。Ｓ２０１２において、トリミング領域調整部１７０８は、上述したように、トリミング領域を調整する。

以上のように、本実施形態によれば、第２の実施形態で説明したような初期トリミング領域を暫定的に設定することなく、最終的なトリミング領域を設定し、ユーザの意図を反映させたアルバム作成を行うことができる。

以上の各実施形態においては、アルバム作成アプリケーションを想定した例により説明したが、お勧め画像を自動選択するような他の画像選択処理に適用されても良い。また、画像処理装置１００は、据え置き型のパーソナルコンピュータであると説明したが、携帯可能なスマートデバイスが画像処理装置１００として用いられても良い。また、各実施形態は、ローカル環境を想定した構成において実行されるばかりでなく、例えば、サーバ内に保存されている画像を利用もしくは画像をアップロードすることにより、実行されても良い。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 画像処理装置： １０１ ＣＰＵ： １０２ ＲＯＭ： １０３ ＲＡＭ： ２１６ 自動レイアウト処理部

Claims (16)

1. レイアウトの対象となる画像を取得する取得手段と、
   前記取得手段により取得した画像において、前記画像が表すシーンの種類に応じて、トリミング領域の位置を決定する決定手段と、
   前記画像において、前記決定手段により決定した位置である前記トリミング領域をトリミングするトリミング手段と、を備え、
   前記決定手段は、
   前記画像に含まれる特定のオブジェクトの位置に基づきデフォルトトリミング領域の位置を決定し、
   前記画像が表すシーンの種類が第１種類の場合は、前記デフォルトトリミング領域の位置から前記第１種類に応じた第１移動量だけ移動させた位置を、前記トリミング領域の位置として決定し、
   前記画像が表すシーンの種類が前記第１種類と異なる第２種類の場合は、前記デフォルトトリミング領域の位置から、前記第１移動量と異なる、前記第２種類に応じた第２移動量だけ移動させた位置を、前記トリミング領域の位置として決定する、
   ことを特徴とする画像処理装置。
2. 前記第１移動量は０であり、前記第２移動量は０ではない値であることを特徴とする請求項１に記載の画像処理装置。
3. 前記デフォルトトリミング領域は、特定のオブジェクトを中心に含むことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記決定手段は、前記シーンの種類に応じて、前記トリミング領域が特定のオブジェクトを含むように前記トリミング領域の位置を決定することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記画像に含まれる複数のオブジェクトから条件を満たすオブジェクトを前記特定のオブジェクトとして特定する特定手段、をさらに備えることを特徴とする請求項４に記載の画像処理装置。
6. 前記条件は、前記特定のオブジェクトの位置に関することを特徴とする請求項５に記載の画像処理装置。
7. 前記条件は、前記特定のオブジェクトの大きさに関することを特徴とする請求項５又は６に記載の画像処理装置。
8. 前記特定のオブジェクトは、人物の顔を含むことを特徴とする請求項４乃至７のいずれか１項に記載の画像処理装置。
9. 前記トリミング手段によりトリミングされた画像をレイアウトするレイアウト手段、をさらに備えることを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 前記レイアウト手段は、前記トリミング手段によりトリミングされた画像を、テンプレート内のスロットにレイアウトすることを特徴とする請求項９に記載の画像処理装置。
11. 前記レイアウトの対象となる画像は、複数の画像から選択されることを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
12. 前記複数の画像を解析することにより、当該複数の画像が表すシーンの種類を判定するシーン判定手段、をさらに備えることを特徴とする請求項１１に記載の画像処理装置。
13. 前記複数の画像の特徴量に基づいて得点化を行う得点化手段、をさらに備え、
    前記シーン判定手段は、前記得点化手段により得点化された得点に基づいて、前記複数の画像が表すシーンの種類を決定する、
    ことを特徴とする請求項１２に記載の画像処理装置。
14. 前記取得手段は、アルバム作成アプリケーションにおいてレイアウトの対象となる画像を取得することを特徴とする請求項１乃至１３のいずれか１項に記載の画像処理装置。
15. 画像処理装置において実行される方法であって、
    レイアウトの対象となる画像を取得する取得工程と、
    前記取得工程において取得した画像において、前記画像が表すシーンの種類に応じて、トリミング領域の位置を決定する決定工程と、
    前記画像において、前記決定工程において決定した位置である前記トリミング領域をトリミングするトリミング工程と、を有し、
    前記決定工程では、
    前記画像に含まれる特定のオブジェクトの位置に基づきデフォルトトリミング領域の位置を決定し、
    前記画像が表すシーンの種類が第１種類の場合は、前記デフォルトトリミング領域の位置から前記第１種類に応じた第１移動量だけ移動させた位置を、前記トリミング領域の位置として決定し、
    前記画像が表すシーンの種類が前記第１種類と異なる第２種類の場合は、前記デフォルトトリミング領域の位置から、前記第１移動量と異なる、前記第２種類に応じた第２移動量だけ移動させた位置を、前記トリミング領域の位置として決定する、
    ことを特徴とする方法。
16. 請求項１乃至１４のいずれか１項に記載の画像処理装置の各手段としてコンピュータを機能させるためのプログラム。

Images