JP7313862B2 - 情報処理装置、方法、及びプログラム - Google Patents

Description

本発明は、複数の画像の中から特定の画像を選択するための情報処理装置、方法、及びプログラムに関する。

動画撮影や連写などにより連続撮影した複数の画像の中から特定の画像を容易に選択したいという要望が存在する。例えば、フォトアルバムを作成する際に、ユーザーが意図する画像を選択するような場合である。

ところで、人物の顔を自動的に検出して、検出された顔を示す枠を表示する技術がある。特許文献１には、複数画像の検出領域の平均的なサイズを検出枠とする方法が開示されている。このように画像内で自動的に検出された特定の領域（人物の顔等）を示す表示を行うことで、ユーザーによる画像選択を容易にすることが考えられる。

特許第４７６９６５３号広報

しかしながら、特許文献１に記載の技術のように顔を自動的に検知して特定の領域とする場合、ユーザーが意図した領域と異なる領域が特定されることがある。例えば、ユーザーが所望の人物について注目している場合であっても、他の人物の顔が特定されることがある。仮にこの場合に、本来ユーザーが注目したい領域でない領域が、本来注目したい領域と同等以上に強調されるように表示されると、ユーザーによる画像選択がむしろ困難になることが考えられる。

本発明は、このような問題に鑑みてなされたものであり、その目的とするところは、複数の画像の中からユーザーが意図する画像を選択しやすくすることにある。

本発明の一実施形態は、複数の画像の中からユーザーが意図する画像を選択するための情報処理装置であって、前記複数の画像のいずれかの画像上でオブジェクトの指定を受け付ける受け付け手段と、前記複数の画像のそれぞれから、前記オブジェクトを検出する検出手段と、前記複数の画像のそれぞれの、前記検出されたオブジェクトに対応する領域を、前記複数の画像のそれぞれにおける他の領域よりも強調されるように表示する表示手段と、前記表示手段による表示の後に、前記ユーザーによる指示に応じて、前記複数の画像のいずれかを選択する選択手段と、を有し、前記表示手段は、前記複数の画像を一覧表示する第一の領域と、前記第一の領域から選択された画像の、前記ユーザーにより前記第一の領域から選択された画像における前記オブジェクトに対応する領域が拡大表示される第二の領域を含む画面を表示し、前記受け付け手段は、前記オブジェクトの検出に失敗した場合に、前記オブジェクトの再設定を受け付け、前記検出手段は、前記オブジェクトの検出に失敗した画像から、前記再設定されたオブジェクトを検出し、前記表示手段は、前記第一の領域において、前記再設定されたオブジェクトが検出された画像に、前記再設定されたオブジェクトが検出されたことを示すマークを表示する、ことを特徴とする情報処理装置である。

本発明によれば、複数の画像の中からユーザーが意図する画像を選択しやすくすることができる。

第一の実施形態におけるフォトアルバム作成／注文システムの構成例を示す図である。 第一の実施形態における情報処理装置のハードウェア構成例を示す図である。 第一の実施形態におけるフォトアルバム作成処理のフローチャートである。 第一の実施形態における商材選択画面の例を示す図である。 第一の実施形態における写真選択画面の例を示す図である。 第一の実施形態における写真選択画面の例を示す図である。 第一の実施形態における写真選択画面の例を示す図である。 第一の実施形態における写真比較画面の例を示す図である。 第一の実施形態における写真比較画面の例を示す図である。 第一の実施形態における写真比較画面の例を示す図である。 第一の実施形態における写真比較画面の例を示す図である。 第二の実施形態における写真比較画面の例を示す図である。 第一の実施形態における写真比較画面の例を示す図である。 第二の実施形態における写真比較画面の例を示す図である。 第二の実施形態における写真比較画面の例を示す図である。 第二の実施形態におけるオブジェクト選択画面の例を示す図である。 第二の実施形態における写真比較画面の例を示す図である。 第一の実施形態におけるオブジェクト追跡処理の全体的なフローチャートである。 第一の実施形態におけるオブジェクト追跡処理の詳細なフローチャートである。 第一の実施形態における追跡結果表示処理の詳細なフローチャートである。 第一の実施形態におけるオブジェクト選択画面の例を示す図である。 第一の実施形態における写真比較画面の例を示す図である。 第一の実施形態における写真比較画面の例を示す図である。 第一の実施形態における写真比較画面の例を示す図である。 第二の実施形態におけるオブジェクト選択画面の例を示す図である。 第一の実施形態における連写写真特定処理の全体的なフローチャートである。 第一の実施形態における連写写真判定処理のフローチャートである。 第一の実施形態における補間処理を説明する図である。

以下、添付図面を参照して、本発明の実施形態を詳しく説明する。なお、以下の実施形態は、特許請求の範囲に係る発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせのすべてが、本発明に必須のものとは限らない。同一の構成要素については、同じ符号を付す。

また、以下の実施形態では、例として、ユーザーが選択した写真を自動的にレイアウトし、フォトアルバム（フォトブック）を生成するシステムについて説明するが、本発明はこれに限定されない。例えば、画像編集アプリケーションにおいて、複数の画像の中からユーザーが所望の画像を選択するために利用することもできる。なお、フォトアルバムを、単にアルバムとも称する。

（第一の実施形態）
図１は、本実施形態におけるフォトアルバム作成／注文のための情報処理システムの構成例を示す。図１に示すように、情報処理システムは、ユーザーが使用する情報処理装置１と、フォトアルバムを作成する会社の情報処理装置２とを有する。情報処理装置１は、例えば、一般的なパーソナルコンピュータ（以下、ＰＣと略す場合がある）とすることができる。情報処理装置２は、例えば、ＰＣサーバーとすることができる。情報処理装置１及び情報処理装置２は、Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ（以下、ＯＳと称する）として、例えば、Ｗｉｎｄｏｗｓ（登録商標）８またはＷｉｎｄｏｗｓＳｅｒｖｅｒ２０１２等がインストールされている。情報処理装置１及び情報処理装置２は、それぞれＥｔｈｅｒｎｅｔ（登録商標）で構成されるネットワーク３、４に接続され、さらに、インターネット９を介して相互に通信可能に接続されている。

情報処理装置１には、フォトアルバム作成アプリケーション（以下、アルバム作成アプリと称する）５がインストールされている。アルバム作成アプリ５は、例えば、Ｗｉｎｄｏｗｓ用の実行可能形式のファイル（＊．ＥＸＥ）で構成される。アルバム作成アプリ５は、情報処理装置１が当該実行可能形式のファイルを実行することにより、動作する。

また、情報処理装置１には、Ｗｅｂブラウザアプリケーション（以下、Ｗｅｂブラウザと称する）６がインストールされている。Ｗｅｂブラウザ６は、ＷｏｒｌｄＷｉｄｅＷｅｂ（以下、ＷＷＷとする）を利用する際に用いられる。

なお、アルバム作成アプリ５は、事前に情報処理装置１にインストールされたものに限定されず、情報処理装置１のＷｅｂブラウザ６上で実行されるＷｅｂアプリケーションでもよい。Ｗｅｂアプリケーションの場合、所定のＷｅｂサイトにアクセスして、プログラムが読み込まれる。

ネットワーク４は、情報処理装置１を使用するユーザーのためのネットワークであり、例えば、一般家庭用のホームネットワークである。

情報処理装置２は、Ｗｅｂサーバーの機能を備えるＷｅｂサーバー７を備え、インターネット９を介して企業（ＡＢＣ社とする）のＷｅｂサイトを提供する。ネットワーク３は、例えば、企業内に構築されたオフィスネットワークである。

ショッピングサイト８は、ＡＢＣ社がユーザー向けにサービスを提供しているショッピングサイトである。ユーザーは、ショッピングサイト８を利用して、フォトアルバムを注文することができる。

図２は、本実施形態における情報処理装置１及び情報処理装置２のハードウェア構成例を表す。図示されるように、情報処理装置は、ＣＰＵ２０４、ＲＯＭ２０８、ＲＡＭ２０１、ＨＤＤ２０２、ＫＢＤ２０３、ＬＣＤ２０５、及びＮＢ２０７を有し、各構成要素がバス２０６により接続されている。

ＣＰＵ（中央演算装置）２０４は、ＲＯＭ２０８またはＨＤＤ２０２に格納された制御プログラムをＲＡＭ２０１に読み出して、実行する。ＣＰＵ２０４は、情報処理装置の全体の動作を制御する制御部である。

ＲＡＭ２０１は、ランダムアクセスメモリであり、ＣＰＵ２０４が制御プログラムを実行する際の一時記憶領域を提供する。

ＲＯＭ２０８は、ＣＰＵ２０４によって実行される制御プログラムを記憶する。

ＨＤＤ（ハードディスクドライブ）２０２は、画像データや画像解析の処理結果などを記憶する記憶部である。ＨＤＤ２０２は、アルバム作成アプリ５やＷｅｂブラウザ６等のプログラムを記憶する。

ＫＢＤ（キーボード）２０３は、イベントボード部である。すなわち、ユーザー操作の入力部である。ＫＢＤ２０３は、マウスなどの他の入力装置を含んでもよい。ユーザーは、アルバム作成アプリ５が提供する各種画面や、Ｗｅｂブラウザ６上でマウスポインタを操作し、クリック動作を行うことより、情報処理装置に対して指示を入力することができる。

ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）２０５は、情報処理装置の表示部である。なお、表示部は、液晶ディスプレイに限定されるものではなく、その他のディスプレイでもよい。

ＮＢ（ネットワークボード）２０７は、通信制御部であって、プリンタやサーバーなどの外部装置と通信するための装置である。

以上、情報処理装置のハードウェア構成例について説明したが、これに限定されるものではない。

図３は、本実施形態におけるフォトアルバム作成処理のフローチャートを示す。フローチャートで示される一連の処理は、ＣＰＵ２０４がＲＯＭ２０８またはＨＤＤ２０２に格納されている制御プログラムをＲＡＭ２０１に展開して実行することにより行われる。あるいはまた、フローチャートにおけるステップの一部または全部の機能をＡＳＩＣや電子回路等のハードウェアで実現してもよい。また、各処理の説明における記号「Ｓ」は、当該フローチャートにおける「ステップ」を意味する。その他のフローチャートについても同様である。

Ｓ３０１において、アルバム作成アプリ５は、アルバムに使用する商材を選択するための商材選択画面を表示し、ユーザーが選択した商材を取得する。

Ｓ３０２において、アルバム作成アプリ５は、アルバムに含める写真を選択するための写真選択画面を表示し、ユーザーが選択した写真の画像データを取得する。例えば、画像データが情報処理装置１の特定のフォルダ内に格納されている場合は、ユーザーはそのフォルダを選択してもよい。

Ｓ３０３において、アルバム作成アプリ５は、ユーザーが選択した写真の画像データから、撮影日時等の情報を取得して、解析を行う。

Ｓ３０４において、アルバム作成アプリ５は、撮影日時等の情報を解析した結果を元にアルバムのページレイアウトを行って、アルバムデータを生成する。

生成されたアルバムデータは、ＬＣＤ２０５に表示される。また、アルバムデータは、インターネット９を介して情報処理装置２に送信される。情報処理装置２は、受信したアルバムデータを使用して印刷データを生成し、印刷装置を利用して印刷を行い、製本された紙媒体のフォトアルバムを生成することができる。

図４は、Ｓ３０１において表示される商材選択画面４０１の例を示す。

モード選択リスト４０２では、ユーザーが人物モード（Ｐｅａｐｌｅ）とペットモード（Ｐｅｔｓ）のいずれかを選択することができる。人物モードでは、ユーザーが選択した写真の中から人物を含む写真が選定され、その写真がアルバムにレイアウトされる。また、ペットモードでは、ユーザーが選択した写真の中からペットを含む写真が選定され、その写真がアルバムにレイアウトされる。図４の例では、人物モード（Ｐｅａｐｌｅ）が選択されている。

サイズ選択リスト４０３では、ユーザーがアルバムのサイズを選択することができる。図４の例では、選択可能な２００×２００ｍｍのサイズとＡ４サイズのうち、Ａ４サイズが選択されている。

アルバム作成アプリ５は、モード選択リスト４０２やサイズ選択リスト４０３で選ばれた情報を元にして、アルバムの完成イメージ４０４を生成する。アルバム作成アプリ５は、ユーザーがモード選択リスト４０２やサイズ選択リスト４０３を選択しなおすと、それにあわせて完成イメージ４０４を変化させる。例えば、図４の状態で、ユーザーがモード選択リスト４０２でペットモードを選択し、サイズ選択リスト４０３で２００×２００ｍｍのサイズを選択しなおすと、完成イメージ４０４は、ペット写真がレイアウトされている正方形の完成イメージに変わる。

ユーザーが、決定（Ｎｅｘｔ）ボタン４０５をクリックすると、商材選択画面４０１上で選択された情報が確定する。

なお、上述した例では、モード選択リスト４０２、及びサイズ選択リスト４０３によって商材を選択したが、これに限定されない。例えば、商材選択画面４０１上で、ユーザーがアルバムのデザインを選択したり、ページ数を指定したりできるようにしてもよい。

図５は、Ｓ３０２において表示される写真選択画面の例を示す。

写真選択画面５０１には、商材選択画面４０１でユーザーが決定ボタン４０５をクリックした後に遷移する。

ユーザーは、領域５０２において、写真の取得先を選ぶことができる。図示されるように、ユーザーは写真の取得先として、例えば、アルバム作成アプリ５を操作しているＰＣ（すなわち、情報処理装置１）のフォルダ、あるいはソーシャル・ネットワーク・サービス（以下、ＳＮＳと称する）を選ぶことができる。ユーザーが領域５０２において「ＰＣ内フォルダ」を選択した場合には、該当ＰＣ内に含まれるフォルダが表示される。図５の例では、選択可能なフォルダとして、「運動会」、「誕生日会」、及び「イタリア旅行」という３つのフォルダ名が表示され、「運動会」のフォルダが選択された状態になっている。

アルバム作成アプリ５は、領域５０２で選択されたフォルダに含まれる写真のサムネイルを領域５０３に一覧で表示する。

ユーザーがソートボタン５１１を選択すると、例えば、写真名、写真サイズ、撮影日時等の所定の基準にしたがって、写真をソートして表示することができる。また、ユーザーがフィルタボタン５１２を選択すると、所定のフィルタ条件に基づいてフィルタリングされた写真のみを表示させることができる。

ユーザーが領域５０３に表示された写真を選択すると、選択された写真のチェックボックス５０４にチェックマークが付く。

ユーザーが追加ボタン５０５を選択すると、領域５０３で選択された写真（すなわち、チェックマークが付いた写真）が、アルバムに使用することが確定した写真として領域５０６に追加される。なお、領域５０３で選択した写真をドラッグアンドドロップすることで、領域５０６に追加することもできる。図５の例では、確定した写真の枚数５０７は、１０枚であることが示されている。

ユーザーは、領域５０６の左右両端に設けられたスクロールボタン５０８をクリックすることで、領域５０６に表示し切れていない確定済みの写真を表示させることができる。図５の例では、領域５０６に５枚の写真しか表示されていないが、残り５枚の写真を表示させるために、スクロールボタン５０８を使用することができる。

写真選択画面５０１において、ユーザーが「次へ」ボタン５０９をクリックすると、写真選択が完了する。すなわち、領域５０６に表示されたサムネイルに対応する写真が、フォトアルバム用の写真として決定される。

ここで、類似した複数の写真（以下、類似写真とも称する）の中から、ユーザーが所望の写真を選択する方法について説明する。類似写真は、ユーザーが写真選択画面５０１においてチェックマークを付けた複数の写真とすることができる。また、類似写真は、連続して撮影された複数の写真である連写写真を含んでもよい。本実施形態におけるアルバム作成アプリ５は、類似写真の中からユーザーが指定したオブジェクトを追跡し、検出したオブジェクトを強調表示することで、ユーザーが所望の写真を選択しやすくすることができる。

図１８は、本実施形態におけるオブジェクト追跡処理のフローチャートを示す。

Ｓ１８０１において、アルバム作成アプリ５は、写真選択画面５０１でユーザーがチェックマークを付けた画像群の中から、ユーザーに画像を選択させる。

図６は、写真選択画面５０１において、ユーザーによって複数の画像にチェックマークが付けられた状態を示す。図６では、領域５０３において複数の画像６０１のチェックボックス５０４にチェックマークが付いている。図５に示した写真選択画面５０１では比較ボタン５１０が無効であったが、チェックボックス５０４においてチェックがされたことに応じて、比較ボタン５１０が有効になる。比較ボタン５１０が有効になった状態で、ユーザーが比較ボタン５１０をクリックすると、チェックマークが付けられた選択画像を比較するための、図８を用いて後述する写真比較画面に遷移する。なお、比較ボタン５１０は、チェックボックス５０４としての１つチェックボックスのみにチェックされているときは無効となり、２つ以上のチェックボックスにチェックされたことに応じて有効になってもよい。この場合、チェックボックスのチェックが外されて、１つのチェックボックスのみにチェックされている状態に戻ると、比較ボタン５１０が再び無効になってもよい。

また、図７は、写真選択画面５０１において、連写写真７０１をまとめてスタック状態で表示している。図７では、連写写真７０１のチェックボックス５０４にチェックマークが付いており、スタック状態でまとめられた複数の写真がユーザーによって選択されている。この状態で、ユーザーが比較ボタン５１０をクリックすると、チェックマークが付けられた連写写真７０１（すなわち、選択画像）を比較するための、図８を用いて後述する写真比較画面に遷移する。

ここで、図７の写真選択画面５０１において、スタック状態でまとめて表示される連写写真７０１を特定するための処理について説明する。

図２６は、連写写真特定処理の全体的なフローチャートを示す。連写写真特定処理は、写真選択画面５０１を表示する際に実施される。

Ｓ２６０１において、アルバム作成アプリ５は、カウンタｃを初期化する（ｃ＝０）。

Ｓ２６０２において、アルバム作成アプリ５は、カウンタｃを、写真選択画面５０１に表示する写真の総枚数Ｚと比較する。カウンタｃが総枚数Ｚ未満であればＳ２６０３に進む。一方、カウンタｃが総枚数Ｚ以上であれば、処理を終了する。

Ｓ２６０３において、アルバム作成アプリ５は、連写写真判定処理を行い、連写写真の枚数ｉを取得する。連写判定処理については後述する。

Ｓ２６０４において、アルバム作成アプリ５は、カウンタｃに対応する写真から始まってｉ枚が連写写真であると判断する。ここでは、カウンタｃが０の場合に対応する写真を、１枚目の写真とする。

Ｓ２６０５において、アルバム作成アプリ５は、カウンタｃを更新する（ｃ＝ｃ＋ｉ）。

次いで、図２７を参照して、Ｓ２６０３における連写写真判定処理について説明する。

Ｓ２７０１において、アルバム作成アプリ５は、連写写真の枚数ｉを初期化する（ｉ＝０）。

Ｓ２７０２において、アルバム作成アプリ５は、カウンタｃに対応する写真のＥｘｉｆ情報から撮影日時ｔ（ｃ）を取得する。なお、カウンタｃが０の場合に対応する写真を、１番目の写真とする。

Ｓ２７０３において、アルバム作成アプリ５は、カウンタｃ+１に対応する写真のＥｘｉｆ情報から撮影日時ｔ（ｃ＋１）を取得する。なお、撮影日時は、ファイル属性から取得してもよい。

Ｓ２７０４において、アルバム作成アプリ５は、前述の２つの写真の撮影日時の差を算出し、あらかじめ設定された閾値Ａと比較する。撮影日時の差が閾値Ａ以下である場合、２つの写真は連写写真と判定してＳ２７０５に進む。一方、撮影日時の差が閾値Ａより大きい場合、２つの写真は連写写真ではないと判定してＳ２７０７に進む。

Ｓ２７０７において、アルバム作成アプリ５は、連写写真の枚数ｉを、カウンタｃに対応する写真からの連写枚数として設定する。

Ｓ２７０５において、アルバム作成アプリ５は、カウンタｃをインクリメントする（ｃ＝ｃ＋１）。

Ｓ２７０６において、アルバム作成アプリ５は、連写写真の枚数ｉをインクリメントする（ｉ＝ｉ＋１）。

Ｓ２７０８において、アルバム作成アプリ５は、カウンタｃを写真の総枚数Ｚと比較する。カウンタｃが写真の総枚数Ｚ未満であれば、Ｓ２７０２に戻り、処理を繰り返す。一方、カウンタｃが写真の総枚数Ｚ以上であれば、Ｓ２７０７に進む。

以上説明したように、本実施形態では、撮影日時の差が特定の時間内に含まれる写真群を連写写真として特定し、図７の写真選択画面５０１において当該写真群をスタック状態でまとめて表示する。

図８は、本実施形態における写真比較画面の例を示す。写真比較画面８００では、図６あるいは図７の写真選択画面５０１で比較ボタン５１０に対する指示があったときに表示される。図６の写真選択画面５０１が表示されている状態で比較ボタン５１０に対する指示があった場合、チェックマークを付けて選択された写真が、領域８０１に並んで一覧表示される。すなわち、アルバム作成アプリ５は、領域８０１に、類似写真を並べて一覧表示する。このとき領域８０１に写真が並ぶ順序は、ユーザーがチェックマークを付けた順番であってもよいし、写真の撮影日時の順番であってもよい。一方、図７の写真選択画面５０１が表示されている状態で比較ボタン５１０に対する指示があった場合、図２６において連続写真と判定されていた複数の画像が一覧表示される。該一覧表示における画像の並び順は、例えば撮影日時に沿った順序である。

また、図８の例では、領域８０１に７枚の写真が表示されているが、この枚数に限定されるものではない。写真の枚数が領域８０１に表示可能な枚数を超えている場合、ユーザーが領域８０１の左右両端に配置されたスクロールボタン８０３をクリックすることで、表示写真がスライドされ、表示し切れていなかった他の写真を表示させることができる。

ユーザーが領域８０１に一覧表示されている写真をクリックすると、クリックされた写真が領域８０４に拡大して表示される。あるいは、領域８０１に一覧表示されている写真をドラッグアンドドロップして、領域８０４に追加してもよい。

図９は、写真比較画面８００において、領域８０１でクリックされた写真９０１が、領域８０４に拡大して表示されている状態を示す。この状態でユーザーが確定ボタン９０２をクリックすると、領域８０４に表示されている写真が、アルバムでの使用が確定した写真として領域８０５に追加される。図９の例では、１枚の画像が確定された状態を示している。確定された画像には、チェックボックス９０４が設けられ、ユーザーがチェックボックス９０４をクリックすると、確定を取り消すことができる。確定を取り消された写真は、領域８０５から削除される。図９の例では、確定ボタン９０２は、領域８０４で拡大表示された写真に設けられているが、領域８０１に並んで表示されている写真のそれぞれに確定ボタンを設けてもよい。

図１８のフローチャートに戻り、Ｓ１８０２において、アルバム作成アプリ５は、領域８０４で拡大表示されている写真において、ユーザーが追跡したいオブジェクトの指定を受け付ける。すなわち、領域８０４に表示された画像上でオブジェクトの指定を受け付ける。

図１０は、領域８０４に拡大表示された写真おいて、追跡対象のオブジェクトとして車が矩形の検出枠により囲まれた矩形領域１００１を示す。図１０の例では、矩形の検出枠をユーザーがマウスなどの入力装置を使用して移動させることで、画像上に矩形領域１００１を設定するが、検出枠の形状やサイズを変えて、矩形領域を設定するようにしてもよい。具体的には、図１３に示すように、矩形の検出枠１３０１のサイズを変えて矩形の検出枠１３０２として設定し、ＯＫボタン１３０３をクリックすることで矩形領域を確定するようにしてもよい。このように、検出枠の形状やサイズは可変である。

さらに、その他の方法として、図２３に示すように、あらかじめ矩形領域２３０２を領域２３０１に表示しておいてもよい。ユーザーは矩形領域２３０２を拡大表示された写真上に移動させた後、矩形領域２３０２の大きさを調整するようにしてもよい。

さらに、別の方法として、図２４に示すように、追跡対象のオブジェクトをユーザーが黒丸などのマーカー２４０１で指定するようにしてもよい。この方法では、マーカー２４０１を含んでいるオブジェクト（ここでは車）が、追跡対象のオブジェクトとして認識される。

図１８のフローチャートに戻り、Ｓ１８０３において、ユーザーが図１０の追跡スタートボタン１００２をクリックすることで、アルバム作成アプリ５は、オブジェクトの追跡処理を行う。図１９は、Ｓ１８０３におけるオブジェクト追跡処理の詳細なフローチャートを示す。オブジェクトの追跡処理は、図６や図７に示した写真選択画面５０１において、チェックボックス５０４にチェックマークが付けられた選択画像から、Ｓ１８０２で指定された追跡領域に含まれるオブジェクトを検出することで行われる。例えば、オブジェクトが人の顔である場合、顔検出技術を用いてオブジェクトを検出することができる。

Ｓ１９０１において、アルバム作成アプリ５は、選択画像の枚数ｘを、あらかじめ設定された閾値ｎと比較して、選択画像の枚数ｘが閾値ｎより大きいかどうか判定する。オブジェクト追跡処理は、選択画像の枚数ｘが多くなるほど処理時間が多くなる可能性がある。そこで、閾値ｎよりも選択画像の枚数ｘが大きい場合には、処理時間を削減するためにＳ１９０２に進む。

Ｓ１９０２において、アルバム作成アプリ５は、領域８０１に並んで表示された選択画像に対して、Ｓ１８０２でオブジェクトを指定した画像の前後ｍ枚ずつをスキップしながらオブジェクトの追跡処理（トラッキング）を行う。具体的には、アルバム作成アプリ５は、比較の対象となっている複数の画像（写真比較画面で一覧表示されている画像）に対して、ｍ枚ずつスキップして複数の画像を抽出する。そして、アルバム作成アプリ５は、該抽出された画像について、Ｓ１８０１で選択された画像における、Ｓ１８０２で指定されたオブジェクトの領域と類似の大きさであり、且つ画像データの内容が類似の領域を特定する。

このとき、トラッキング対象の画像において、上記オブジェクトの領域に類似の類似領域を探索する方法として、種々の方法を用いることができる。例えば所定サイズのブロック（８画素×８画素等）毎に画像間で類似ブロックを探索するブロックマッチング方式により類似領域を探索することが可能である。具体的には、アルバム作成アプリ５は、上記オブジェクトの領域を上記所定サイズのブロックに分割し、トラッキング対象の画像において各ブロックとの類似度が所定値以上のブロックを探索する。例えばブロック内の画素の画素値（輝度値等）の平均値の差分が所定値以内の場合、類似度が所定値以上とみなす。そして、トラッキング対象の画像において、上記オブジェクトの領域と同サイズ（同画素数）の領域であって、上記類似度が所定値以上と判定されたブロックが所定数（もしくは所定割合）以上の領域が、上記オブジェクトの領域に類似の類似領域と判定される。このように判定可能な領域が存在しない場合、該トラッキング対象の画像において、類似領域が存在しない、つまりＳ１８０２で指定されたオブジェクトが検出されなかったと判定される。

なお、類似領域の判定のための比較対象とする画像の選択方法は種々の方法を採用することができる。例えば、アルバム作成アプリ５は、ｍ枚ずつスキップされた抽出されたトラッキング対象の画像のうち、Ｓ１８０１で選択された選択画像に撮影時間順で隣接する画像において類似領域を特定する。そして、Ｓ１９０３によるループ処理により、該類似領域が特定された画像に撮影時間が隣接する別のトラッキング対象の画像において、該特定された類似領域と類似の類似領域を特定する。即ち、トラッキング対象の画像の撮影時間順の順序において、Ｓ１８０１で選択された選択画像を中心に、隣接する画像のオブジェクト領域に類似する類似領域を順々に特定する。この方法によれば、撮影時間が比較的近い画像同志でオブジェクト領域が特定されるため、画像におけるオブジェクトの大きさの変化が比較的少ない。そのため、例えば連続撮影において、撮影装置とオブジェクトの距離が変化した場合や、ズーム等を行いながら連続撮影された場合でも、より精度良くオブジェクトを追跡することができる。

また、Ｓ１９０２のように、オブジェクトの検出を行う対象の画像を一定枚数スキップすることで、検出処理の回数を削減することができる。値ｍは、あらかじめ設定される。選択画像は、撮影日時などの所定の基準にしたがってあらかじめソートしておいてもよい。また、各画像において、オブジェクトが検出されたか否か、すなわち、追跡処理に成功したか否かを保持しておく。

Ｓ１９０３において、アルバム作成アプリ５は、領域８０１に並んで表示された選択画像のうち、オブジェクトを指定した画像の前後の端の画像までトラッキングしたかどうか判定する。すなわち、検出対象の画像が前後の端の画像に到達するまで、Ｓ１９０２の処理を繰り返す。前後の端の画像まで到達すると、Ｓ１９０４に進む。

Ｓ１９０４において、アルバム作成アプリ５は、スキップした画像に対して補間処理を行って、スキップした画像におけるオブジェクトの検出領域を予測する。オブジェクトの追跡を行った２枚の写真の間には、追跡を行っていないｍ枚の画像が存在する。本ステップでは、このｍ枚の画像に対して補間処理を行って、オブジェクトの検出領域を決定する。例えば、オブジェクトの追跡を行った２枚の画像の撮影日時と、オブジェクトが検出された検出領域の位置情報とに基づいて、ｍ枚の画像におけるオブジェクトの検出領域を決定する。

図２８は、Ｓ１９０４で実行される、本実施形態における補間処理を説明する図である。選択画像は、撮影日時の順にしたがって並べられているものとする。また、オブジェクトの追跡を行った始点の画像と終点の画像との間に、スキップされたｍ枚の画像が存在するものとする。

図２８（ａ）は、アルバム作成アプリ５が算出した始点の画像における追跡領域２８０１の基点（Ｘｓ，Ｙｓ）と、終点の画像における追跡領域２８０２の基点（Ｘｅ，Ｙｅ）を示す。アルバム作成アプリ５は、基点間のＸ座標およびＹ座標の差分としてｄｘおよびｄｙを求める。

図２８（ｂ）は、始点の画像と終点の画像の間で３枚の画像がスキップされたことを示す（すなわち、ｍ＝３）。始点の画像の撮影日時をｔｓ、終点の画像の撮影日時をｔｅとする。時間差Ｖは、ｔｅとｔｓの差分である。各画像の撮影日時をｔ０、ｔ１、ｔ２、ｔ３、ｔ４とする。そのため、図２８（ｂ）では、ｔｅがｔ０、ｔｓがｔ４となる。なお、始点の画像から終点の画像までの追跡領域の移動速度は一定であると仮定する。各画像における追跡領域の基点（Ｘ，Ｙ）は、始点の画像の撮影日時からの経過時間に比例して変化する。つまり、始点の画像における追跡領域の基点からのオフセット量は、ｄｘに対して、全体の時間（すなわち、時間差Ｖ）に対する経過時間の割合を乗じたものとなる。例えば、１番目の画像については、経過時間が（ｔ１－ｔ０）なので（ｔ１－ｔ０）／Ｖをｄｘに乗じた結果が、Ｘのオフセットである。Ｙについても同様である。したがって、１番目の写真における追跡領域の基点の位置は、始点の画像における追跡領域の基点の位置（Ｘｓ，Ｙｓ）からのオフセットを加算すればよいので、（Ｘｓ＋オフセットＸ，Ｙｓ＋オフセットＹ）となる。

ｄｘとｄｙを単純にｍで割った変化量は、ｍ枚の画像の撮影日時の間隔が均等である場合は、各画像における追跡領域の基点の位置を求めるために利用することができる。しかし、上述したように補間処理を行うことにより、ｍ枚の画像の撮影日時の間隔が不均等である場合でも、各画像における追跡領域の基点の位置を求めることが可能になる。

図２８（ｃ）は、ｍが３の場合の各画像における追跡領域の基点の位置のオフセット算出式を示す。上述したように、各画像における追跡領域の基点の位置のオフセットを算出することができる。

図１９のフローチャートに戻り、Ｓ１９０１において、選択画像の枚数ｘが閾値ｎ以下の場合には、Ｓ１９０５に進む。

Ｓ１９０５において、アルバム作成アプリ５は、領域８０１に並んで表示された選択画像のうち、Ｓ１８０２でオブジェクトが指定された画像の前後にある画像を１枚ずつトラッキングする。トラッキングの方法は、Ｓ１９０２と同様である。すなわち、アルバム作成アプリ５は、オブジェクトが指定された画像以外の他のすべての選択画像に対して、追跡処理を実行する。また、Ｓ１９０２と同様に、各画像において、オブジェクトが検出されたか否か、すなわち、追跡処理に成功したか否かを保持しておく。

Ｓ１９０６において、アルバム作成アプリ５は、領域８０１に並んで表示された選択画像のうち、オブジェクトを指定した画像の前後にある全ての画像をトラッキングしたかどうか判定する。すなわち、検出対象の画像が前後の端にある画像に到達するまで、Ｓ１９０５の処理を繰り返す。すべての画像に対するトラッキングが終わると、処理を終了する。

以上説明したように、本実施形態におけるオブジェクト追跡処理によると、すべての選択画像において追跡領域を決定することができる。また、選択画像の数が所定の数より多い場合には、一定数の画像については追跡処理をスキップして、補間処理を行って追跡領域を予測して決定することにより、処理時間を削減することができる。

図１８に戻り、Ｓ１８０４において、アルバム作成アプリ５は、オブジェクト追跡処理の追跡結果を表示する。

図２０は、Ｓ１８０４における追跡結果表示処理の詳細なフローチャートを示す。

Ｓ２００１において、アルバム作成アプリ５は、１枚の選択画像についてオブジェクトの追跡（すなわち、オブジェクトの検出）に成功したか否か判定する。追跡に成功した場合には、Ｓ２００６に進む。一方、追跡に失敗した場合は、Ｓ２００２に進む。

Ｓ２００６において、アルバム作成アプリ５は、検出された追跡領域を、写真比較画面８００の領域８０１にトリミングして表示する。図１１は、追跡領域の検出結果を表示する写真比較画面８００の例を示す。写真比較画面８００は、領域８０１に、検出された追跡領域のトリミング画像１１０２を追加して、他のトリミング画像と並べて表示する。ユーザーがトリミング画像１１０２を選択すると、選択されたトリミング画像が、領域１１０３に拡大して表示される。ユーザーが確定ボタン９０２をクリックすると、選択されたトリミング画像に対応する画像が、領域１１０５に追加される。これにより、類似写真（すなわち、選択画像）の中から、ユーザーがアルバムに含めたい写真を決めることができる。また、領域１１０３のボタン１１０４は、トリミング画像の表示を元に戻すためのボタンである。ユーザーがボタン１１０４をクリックすると、写真比較画面８００は、図９の状態に戻り、領域８０１にはトリミングされていない元の大きさの写真９０１が表示される。すなわち、オブジェクトの指定と検出結果がリセットされる。

次いで、Ｓ２００５において、アルバム作成アプリ５は、すべての選択画像の追跡結果を表示し終えたかどうか判定する。

次に、Ｓ２００１でオブジェクトの追跡に失敗したと判定された場合の処理について説明する。

Ｓ２００２において、アルバム作成アプリ５は、オブジェクトの追跡に失敗した写真とともに、オブジェクトの追跡に失敗した旨のメッセージを表示する。

Ｓ２００３において、アルバム作成アプリ５は、オブジェクトの追跡に失敗した写真上で、ユーザーからオブジェクトの再設定を受け付ける。

Ｓ２００４において、アルバム作成アプリ５は、オブジェクトの追跡に失敗した写真において、再設定されたオブジェクトを追跡し（すなわち、再トラッキング）、追跡結果を表示する。通常、選択画像のうちのある画像においてオブジェクトの追跡に失敗すると、それ以降の画像でもオブジェクトの追跡に失敗してしまう。したがって、再トラッキングは、選択画像の中の残りの全ての画像に対して行われる。

図２１は、オブジェクトを再設定するためのオブジェクト選択画面の例を示す。オブジェクト選択画面２１００の領域２１０１には、オブジェクトの追跡に失敗した写真とともに、オブジェクトの追跡に失敗した旨のメッセージが表示される。ユーザーは、オブジェクトを示す追跡領域２１０２を再設定し、確定（ＯＫ）ボタン２１０３をクリックする。ユーザーの操作に応じて、アルバム作成アプリ５は、再設定されたオブジェクトを、オブジェクトの追跡に失敗した残りの写真の中から追跡する。

図２２は、再設定されたオブジェクトの追跡結果を表示する写真比較画面８００の例を示す。領域８０１において、再設定されたオブジェクトが検出された画像には、再設定マーク２２０１が表示される。なお、再設定マーク２２０１の代わりに、例えば、再設定されたオブジェクトが検出された各画像を枠で囲んで表示してもよい。すなわち、再設定されたオブジェクトが検出された画像であることをユーザーが認識できるようにすればよい。

Ｓ２００４における再トラッキングが終了すると、上述したＳ２００５に進む。

このように、図１８のＳ１８０４における追跡結果の表示処理が行われる。

以上説明したように、本実施形態によると、類似写真のそれぞれにおいて、ユーザーが指定したオブジェクトを拡大表示することで、複数の写真の中からユーザーが意図する写真を選択しやすくすることができる。また、類似写真が大量にある場合には、所定の枚数の写真をスキップしてオブジェクトの追跡処理を行うことにより、処理時間を短縮することができる。さらに、スキップした写真は、補間処理により、各写真の撮影日時の間隔が不均等であっても、それぞれの写真の追跡領域を求めることが可能になる。さらに、追跡に失敗した場合には、その旨のメッセージを画面に表示するとともに、ユーザーが再度オブジェクトを指定して、追跡処理を行うことを可能にする。再度追跡処理が行われた写真は、オブジェクトが再設定されたことがユーザーに分かるように表示する。

なお、図１１の例では、画像におけるオブジェクトの領域を他の領域よりも強調するために、領域１１０３において、オブジェクトの領域を拡大表示していた。しかし、強調の方法はこれに限らず、例えば領域１１０３において、画像の全体を表示するとともに、オブジェクトの領域に枠を表示してもよい。或いは、例えば画像の全体を表示するとともに、オブジェクトの領域以外の領域にグレーの半透明のマスク画像を重ねてもよい。即ち、オブジェクトの領域以外の領域を目立たなくすることで、結果として、オブジェクトの領域が強調されてもよい。

また以上の実施形態では、図３のＳ３０４におけるページレイアウト前のＳ３０２における画像選択において、図５に示した表示や、図１１に示したオブジェクト領域の表示が行われる例を示した。しかしこれに限らず、例えば画像の選択や、該画像のテンプレートへのレイアウトが、ユーザーによる操作なしに自動で行われてもよい。そして、自動レイアウトされたアルバムについての編集時に、レイアウト済みの画像と入れ替える画像の選択において、Ｓ３０２における処理により、図５や図１１に示した表示が行われてもよい。

（第二の実施形態）
第二の実施形態では、類似画像の表示に関する別の形態について説明する。具体的には、上述した図１８のフローチャートの各ステップにおいて表示される画面に関する。なお、第一の実施形態と同様の構成及び処理については、説明を省略する。

図１２は、本実施形態における写真比較画面１２００の例を示す。この写真比較画面１２００は、図１８のＳ１８０１で表示される。領域１２０１は、図６または図７の画像選択画面で選択された画像を並べて表示する。領域１２０１の左右両端に配置されたスクロールボタン１２０２をクリックすると、表示画像がスライドされ、表示し切れなかった他の画像が領域１２０１に表示される。領域１２０１において、ユーザーが画像を選択すると、選択した画像が領域１２０３に拡大して表示される。領域１２０３は、ユーザーが選択した２つの画像を並べて拡大表示する。具体的には、領域１２０１で最初に選択した画像が、領域１２０３の左側に表示される。次いで、領域１２０１で別の画像が選択されると、その画像が領域１２０３の右側に表示される。なお、左右の表示順序は逆でもよい。さらに、領域１２０３に２つの画像が表示されている状態で、領域１２０１で次の画像が選択されると、領域１２０３の左右どちらかの画像に入れ替わって拡大表示される。次の画像が左右どちらの画像に入れ替わって拡大表示されるかについては、次のような方法によって決定される。まず、領域１２０３の左右どちらかの画像をユーザーがクリックして選択状態にする。次いで、ユーザーが領域１２０１で画像を選択すると、領域１２０３で選択状態にある画像が、領域１２０１で選択された画像に入れ替わる。このように、本実施形態によると、２枚の画像を並べて拡大表示して、比較することができる。なお、領域１２０３に表示する画像の数は、２枚に限らず、３枚以上としてもよい。

領域１２０３に表示された画像をユーザーがクリックすると、図１８のＳ１８０２に進み、オブジェクト選択画面に遷移する。

図２５は、本実施形態におけるオブジェクト選択画面２５００の例を示す。このオブジェクト選択画面２５００は、図１８のＳ１８０２で表示される。ユーザーは、追跡したいオブジェクトに対して追跡領域２５０１を設定し、ＯＫボタン２５０２をクリックする。その後、図１２の写真比較画面１２００に戻る。

図１２の写真比較画面１２００において、ユーザーが、追跡スタートボタン１２０４をクリックすると、アルバム作成アプリ５は、図１２の選択画像を対象としてオブジェクトの追跡処理を行う。これは図１８のＳ１８０３に対応する。

図１４は、本実施形態における追跡領域の検出結果を表示する写真比較画面１２００の例を示す。この画面は、図１８のＳ１８０４、より具体的には、図２０のＳ２００６において表示される。領域１２０１に表示される各画像では、検出された追跡領域が、検出結果枠１４０３によって示される。また、領域１２０３は、２つの画像で検出された追跡領域１４０２を拡大して表示する。なお、領域１２０１は、拡大前の画像（すなわち、画像全体）を表示するので、ユーザーは画像の全体構図を確認することができる。

図１５は、オブジェクトの追跡に失敗した場合の写真比較画面１２００の例を示す。この画面は、図１８のＳ１８０４、より具体的には、図２０のＳ２００２おいて表示される。領域１２０１では、オブジェクトの追跡に失敗した画像に失敗マーク１５０１を表示する。領域１２０１でオブジェクトの追跡に失敗した画像を選択すると、オブジェクトの追跡に失敗した旨のメッセージが領域１２０３に表示される。ユーザーが再設定ボタン１５０２をクリックすると、オブジェクトの再設定画面に遷移する。

図１６は、オブジェクトを再設定するためのオブジェクト選択画面１６００の例を示す。図１６のオブジェクト選択画面１６００において、ユーザーは追跡領域１６０１を再設定し、確定（ＯＫ）ボタン１６０２をクリックする。次いで、アルバム作成アプリ５は、再設定されたオブジェクトを、再設定前のオブジェクトの追跡に失敗した画像から追跡する。

図１７は、再設定されたオブジェクトの追跡結果を表示する写真比較画面１２００の例を示す。領域１２０１に表示されている画像には、検出結果枠１７０３が表示される。また、再設定されたオブジェクトが検出された画像には、再設定マーク１７０１が表示される。領域１２０３には、検出された追跡領域１７０２が拡大して表示される。

以上説明したように、本実施形態では、追跡領域を拡大して表示するので、ユーザーは、細部の比較をすることができる。さらに、拡大前の写真を同一画面に表示するので、ユーザーは、注目した写真の構図も確認することができる。

以上説明したように、本実施形態によると、類似写真の中から２枚の画像を並べて拡大表示できるので、画像同士が比較しやすくなり、ユーザーによる写真の選択をより容易にすることができる。また、拡大前後の写真を同一画面に表示するので、ユーザーは、写真の全体構図を確認しながら、拡大後の画像を比較することができる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

Claims (15)

1. 複数の画像の中からユーザーが意図する画像を選択するための情報処理装置であって、
   前記複数の画像のいずれかの画像上でオブジェクトの指定を受け付ける受け付け手段と、
   前記複数の画像のそれぞれから、前記オブジェクトを検出する検出手段と、
   前記複数の画像のそれぞれの、前記検出されたオブジェクトに対応する領域を、前記複数の画像のそれぞれにおける他の領域よりも強調されるように表示する表示手段と、
   前記表示手段による表示の後に、前記ユーザーによる指示に応じて、前記複数の画像のいずれかを選択する選択手段と、
   を有し、
   前記表示手段は、前記複数の画像を一覧表示する第一の領域と、前記第一の領域から選択された画像の、前記ユーザーにより前記第一の領域から選択された画像における前記オブジェクトに対応する領域が拡大表示される第二の領域を含む画面を表示し、
   前記受け付け手段は、前記オブジェクトの検出に失敗した場合に、前記オブジェクトの再設定を受け付け、
   前記検出手段は、前記オブジェクトの検出に失敗した画像から、前記再設定されたオブジェクトを検出し、
   前記表示手段は、前記第一の領域において、前記再設定されたオブジェクトが検出された画像に、前記再設定されたオブジェクトが検出されたことを示すマークを表示する、
   ことを特徴とする情報処理装置。
2. 前記表示手段は、
   前記第一の領域において、各画像における前記オブジェクトの検出領域のトリミング画像を一覧表示し、
   前記第二の領域において、前記第一の領域から選択された前記トリミング画像を拡大表示することを特徴とする請求項１に記載の情報処理装置。
3. 前記表示手段は、
   前記第一の領域において、各画像の画像全体を一覧表示し、
   前記第二の領域において、前記第一の領域から選択された画像における前記オブジェクトの検出領域を拡大表示することを特徴とする請求項１に記載の情報処理装置。
4. 前記表示手段は、前記第二の領域において、前記第一の領域から選択された複数の画像における前記オブジェクトの検出領域を並べて拡大表示することを特徴とする請求項３に記載の情報処理装置。
5. 前記表示手段は、前記第一の領域に表示された各画像において、前記オブジェクトの検出領域を示す検出結果枠を表示することを特徴とする請求項３または４に記載の情報処理装置。
6. 前記表示手段は、前記オブジェクトの検出に失敗した場合に、前記オブジェクトの検出に失敗した旨のメッセージを表示することを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
7. 前記検出手段は、所定の数の画像をスキップしながら前記オブジェクトを検出することを特徴とする請求項１乃至６のいずれか１項に記載の情報処理装置。
8. 前記検出手段は、前記スキップした画像の前後にある前記オブジェクトを検出した画像に基づいて補間処理を行って、前記スキップした画像の前記オブジェクトの検出領域を決定することを特徴とする請求項７に記載の情報処理装置。
9. 前記補間処理は、前記スキップした画像の前後にある前記オブジェクトを検出した画像の撮影日時と前記オブジェクトの検出領域の位置情報とに基づいて、前記スキップした画像における前記オブジェクトの検出領域を予測する処理であることを特徴とする請求項８に記載の情報処理装置。
10. 前記複数の画像は、連写写真の画像を含むことを特徴とする請求項１乃至９のいずれか１項に記載の情報処理装置。
11. 前記連写写真の画像は、前記複数の画像の撮影日時に基づいて特定されることを特徴とする請求項１０に記載の情報処理装置。
12. 前記受け付け手段は、画面に表示された検出枠またはマーカーを前記ユーザーが操作することによって特定された前記オブジェクトの指定を受け付けることを特徴とする請求項１乃至１１のいずれか１項に記載の情報処理装置。
13. 前記検出枠は、形状またはサイズが可変であることを特徴とする請求項１２に記載の情報処理装置。
14. コンピュータを請求項１乃至１３のいずれか１項に記載の情報処理装置として機能させるためのプログラム。
15. 複数の画像の中からユーザーが意図する画像を選択するための方法であって、
    前記複数の画像のいずれかの画像上でオブジェクトの指定を受け付ける受け付けステップと、
    前記複数の画像のそれぞれから、前記オブジェクトを検出する検出ステップと、
    前記複数の画像のそれぞれの、前記検出されたオブジェクトに対応する領域を、前記複数の画像のそれぞれにおける他の領域よりも強調されるように表示する表示ステップと、
    前記表示ステップによる表示の後に、前記ユーザーによる指示に応じて、前記複数の画像のいずれかを選択する選択ステップと、
    を含み、
    前記表示ステップにて、前記複数の画像を一覧表示する第一の領域と、前記第一の領域から選択された画像の、前記ユーザーにより前記第一の領域から選択された画像における前記オブジェクトに対応する領域が拡大表示される第二の領域を含む画面を表示し、
    前記受け付けステップにて、前記オブジェクトの検出に失敗した場合に、前記オブジェクトの再設定を受け付け、
    前記検出ステップにて、前記オブジェクトの検出に失敗した画像から、前記再設定されたオブジェクトを検出し、
    前記表示ステップにて、前記第一の領域において、前記再設定されたオブジェクトが検出された画像に、前記再設定されたオブジェクトが検出されたことを示すマークを表示する、
    ことを特徴とする方法。

Images