JP2018101914A - 画像処理装置、画像処理方法、及び、プログラム - Google Patents

Abstract

【課題】 印象の異なる複数の出力用画像を選択することができる技術を提供する。【解決手段】 抽出手段は、第１の条件を満たす画像集合から、第２の条件を更に満たす第１のサブ画像集合と、第３の条件を更に満たす第２のサブ画像集合とを少なくとも含む複数のサブ画像集合を抽出する。類似度算出手段は、第１のサブ画像集合に含まれる画像間の類似度と、第２のサブ画像集合に含まれる画像間の類似度とを算出する。選択手段は、第１のサブ画像集合に含まれる第１の画像と、第２のサブ画像集合に含まれる第２の画像とを含む複数の画像を第１の出力用の画像集合として選択し、第１の画像との間の類似度が閾値より小さい、第１のサブ画像集合に含まれる第３の画像と、第２の画像との間の類似度が閾値より小さい、第３のサブ画像集合に含まれる第４の画像とを含む複数の画像を第２の出力用の画像集合として選択する。【選択図】 図６

Description

本発明は、画像の集合の中から出力用の画像を選択する技術に関する。

近年、デジタルカメラやスマートフォンの普及に伴い、撮影する画像の枚数が非常に多くなってきており、大量の画像を管理するフォトストレージ製品やクラウドサービスが登場してきている。これらの製品やサービスでは、画像を出力するための機能として、日付単位、もしくは結婚式や旅行といったイベント単位の画像集合をスライドショーのような形式で再生する機能が搭載されている。スライドショーは画像一枚あたり数秒程度で表示するため、多くの画像を含む画像集合における全ての画像を表示するには非常に時間がかかる場合があり、表示する画像を画像集合から選択することがある。表示する画像を選択する方法として、特許文献１のように、画像集合から複数のグループに分割し、各グループから画像を解析して得られた評価値に基づいて、評価値の高い画像を自動的に選択する方法がある。

特開２０１４−７５７７８号公報

しかしながら、所定の条件を満たすイベント単位でスライドショーの作成を行う場合、特許文献１の方法で画像を選択すると、一つのイベントに対応する画像集合からは一つのスライドショーしか作成できない。つまり、再生できるスライドショーが少なく、ユーザはスライドショーに飽きてしまう。ユーザが飽きることなく、複数のスライドショーを楽しむためには、少ない数のイベントの画像しか存在しない場合であっても、印象の異なる複数のスライドショーを作成することが求められる。

そこで、本発明の目的は、印象が異なる複数の出力用の画像集合を選択することができる技術を提供することである。

上記課題を解決するために、本発明の画像処理装置は以下の構成を備える。すなわち、第１の条件を満たす画像集合から、第２の条件を更に満たす第１のサブ画像集合と、第３の条件を更に満たす第２のサブ画像集合とを少なくとも含む複数のサブ画像集合を抽出する抽出手段と、前記第１のサブ画像集合に含まれる画像間の類似度と、前記第２のサブ画像集合に含まれる画像間の類似度とを算出する類似度算出手段と、前記第１のサブ画像集合に含まれる第１の画像と、前記第２のサブ画像集合に含まれる第２の画像とを含む複数の画像を第１の出力用の画像集合として選択し、前記第１の画像との間の類似度が閾値より小さい、前記第１のサブ画像集合に含まれる第３の画像と、前記第２の画像との間の類似度が閾値より小さい、前記第３のサブ画像集合に含まれる第４の画像とを含む複数の画像を第２の出力用の画像集合として選択する選択手段とを有する。

本発明によれば、印象の異なる複数が出力用の画像集合を選択することができる技術を提供することができる。

スライドショー作成装置１００（画像処理装置）のハードウェア構成を示すブロック図である。 スライドショー作成装置１００の機能構成を示すブロック図である。 画像管理テーブルを示す図である。 サブイベントテーブルを示す図である。 スライドショー管理テーブルを示す図である。 スライドショーを作成する動作を示すフローチャートである。 実施形態１における画像を選択する動作を示すフローチャートである。 実施形態２における画像を選択する動作を示すフローチャートである。 実施形態３における画像を選択する動作を示すフローチャートである。 実施形態４におけるスライドショーを作成する動作を示すフローチャートである。 実施形態４における初回の閾値を設定する動作を示すフローチャートである。 実施形態４における画像を選択する動作を示すフローチャートである。 実施形態５におけるスライドショーを作成する動作を示すフローチャートである。 実施形態５における画像を選択する動作を示すフローチャートである。

以下、本発明の実施の形態を、添付の図面に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例であり、本発明は以下の実施形態で説明する構成に限定されるものではない。

＜実施形態１＞
まず、図１を用いて、本実施形態に係る画像処理装置のハードウェア構成の一例を説明する。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１は、コンピュータシステムの制御を司る中央演算装置である。ＣＰＵ１０１が、制御プログラムに基づいて、情報の演算や加工、各ハードウェアの制御を実行することにより後述する各機能構成、処理を実現する。

ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０２は、ＣＰＵ１０１の主メモリとして、実行プログラムのロードやプログラム実行に必要なワークメモリとして機能する。ＲＯＭ（Ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）１０３は、ＣＰＵ１０１の動作処理手順を規定する制御プログラムを記録するメモリである。ＲＯＭ１０３には、コンピュータシステムの機器制御を行うシステムプログラムである基本ソフト（ＯＳ：Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）を記録したプログラムＲＯＭとシステムを稼動するために必要な情報などが記録されたデータＲＯＭがある。ＲＯＭ１０３の代わりにＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１０９を用いてもよい。

ＮＥＴＩＦ１０４は、ネットワークインターフェースであり、ネットワーク（不図示）を介して送受信される画像データなどのデータの入出力制御を行う。ＶＲＡＭ１０５は、ビデオＲＡＭであり、表示装置であるディスプレイ１０６の画面に表示される画像を展開する。

ディスプレイ１０６は、表示装置であり、例えば、液晶ディスプレイや液晶ＴＶなどである。

入力コントローラ１０７は、入力装置１０８からの入力信号を制御するコントローラである。

入力装置１０８は、ユーザからの操作指示を受け付けるための外部入力装置であり、例えば、タッチパネル、キーボード、マウス、リモコンなどが挙げられる。ＨＤＤ１０９は、ハードディスクドライブであり、記憶装置である。ＨＤＤ１０９は、アプリケーションプログラムや、画像などのデータ保存用に用いられる。

入力ＩＦ１１０は、ＣＤ（ＤＶＤ）−ＲＯＭドライブ、メモリカードドライブ等の外部装置と接続するためのインタフェースであり、例えば、デジタルカメラで撮影した画像データの読み出しなどに用いられる。入出力バス１１１は、上述した各ユニット間の接続するための入出力バス（アドレスバス、データバス、及び制御バス）である。

次に、図２を用いて、本実施形態に係る画像処理装置であるスライドショー作成装置１００の機能構成について説明する。図２に示す各機能は、例えば、図１に示す各ハードウェアで実現することができる。また、本実施形態では作成するコンテンツとしてスライドショーを扱うが、フォトブックなど画像に関わるコンテンツであれば何でもよい。なお、コンテンツに使用するデータは写真や静止画といった画像のみでなく、動画データも対象としてもよい。つまり、何らかの出力用の画像集合を選択するものであればよい。

データ管理部２０１は、ＨＤＤ１０９に格納されている画像や、スライドショーを作成する時の選択画像を管理する。データ管理部２０１は、例えば、ＨＤＤ１０９等の記録部２０１ａと、それを管理するプログラムを実行するＣＰＵ１０１とで実現することができる。ただし、データ管理部２０１における記録部２０１ａはスライドショー作成装置１００の外部に設けるようにしてもよい。例えば、スライドショー作成装置１００は、ネットワークを介して、外部の記録部２０１ａにアクセスするような構成にしてもよい。

データ管理部２０１の動作の詳細は図３、図４、図５を用いて後述する。なお、図３、図４、図５に示す３つテーブルは各イベントに対応するイベント画像集合ごとに作成される。図３、図４、図５に示す３つテーブルを表す情報は、例えば、ＨＤＤ１０９等の記憶部に格納される。

ここで、イベントとは、例えば、結婚式や、１回の旅行、運動会等である。データ管理部２０１は、ＨＤＤ１０９に格納されている画像を、イベントごとに分けて管理する。例えば、データ管理部２０１は、撮影時刻が所定時間（例えば１日）離れている画像間をイベントの切れ目と判断する。つまり、撮影時刻が所定時間（例えば１日）離れる前の画像集合と、離れた後の画像集合とを別のイベントとして管理する。また、例えば、データ管理部２０１は、ユーザが保存したフォルダごとにイベントを分けて管理してもよい。つまり、同じフォルダに保存されている画像は同じイベントに対応する画像として管理してもよい。また、データ管理部２０１は、画像の撮影日時の分布からＫ平均法などのアルゴリズムでイベントの切れ目（イベントとイベントの境界）を判断してもよい。

または、ユーザによって画像に付されたメタデータが同じであるかを条件としてもよい。例えば、旅行というメタデータが付された画像集合をイベント画像集合とする。そして、その中で国内旅行というメタデータが付された画像集合を第１のサブ画像集合としてもよい。旅行というメタデータが付された画像集合の中で海外旅行というメタデータが付された画像集合を第２のサブ画像集合としてもよい。このように、同じイベントに対応する画像集合とは、撮影時刻、フォルダ、又はメタデータ等に係る所定の条件を満たす画像の集合である。

サブイベント分割部（抽出部）２０２は、データ管理部２０１で管理されるイベント画像集合を、所定の数のサブイベントに分割する。つまり、サブイベント分割部２０２は、データ管理部２０１で管理される各イベント画像集合）から、サブイベントに対応するサブ画像集合を抽出する。

画像類似度算出部（類似度算出部）２０４は、画像の特徴量を用いて、指定された画像のペアの類似度を算出する。例えば、画像類似度算出部２０４は、サブイベントに対応する画像集合に含まれる画像間の類似度を算出する。なお、以下において、算出とはルックアップテーブルを用いた演算結果の導出も含むものとする。

画像選択部（選択部）２０３は、画像類似度算出部２０４で算出した画像間の類似度を用いて、互いに類似していない画像を所定の枚数を選択する。選択した画像をスライドショー管理テーブル５０１に追加する。例えば、画像選択部２０３は、各画像間の類似度が所定の類似度（閾値）よりも低くなるように画像を選択する。このように、画像選択部２０３によって選択された画像集合（第２の画像集合）に含まれる各画像間の類似度は所定の類似度（閾値）よりも低くなる。

スライドショー出力部２０５は、スライドショー管理テーブル５０１に記載された画像で構成されたスライドショーをディスプレイ１０６に表示する。

図３の画像管理テーブル３０１はイベント画像集合ごとに画像を管理するテーブルであり、画像ＩＤ、ファイル名、撮影日時、ＲＧＢ平均値、及び、スコアで構成される。つまり、３つのイベント画像集合があれば、データ管理部２０１によって３つの画像管理テーブル３０１が生成される。

ＲＧＢ平均値は、画像に含まれる全画素のＲ、Ｇ、Ｂの各成分に対し、平均値を算出し、平均値を０から１の間に正規化した値を表す。

スコアは、画像を解析し画質を評価して得られる値で、０から１の間に正規化し、０が低品質、１が高品質を表す。スコアの算出方法は、例えば特許文献１に記載方法のように、検出した顔の向きや大きさ、明るさ、色彩の鮮やかさ、ボケやブレの程度などの画像を解析して得られる値を用いて評価し、スコアを決定する。ＲＧＢ平均値の算出およびスコアの算出するタイミングとしては、例えば各画像がＨＤＤ１０９に保存された時点で行う。

図４のサブイベントテーブル４０１は、サブイベントＩＤと構成画像ＩＤリストで構成され、サブイベントＩＤは各イベントの画像集合を、サブイベント分割部で分割したサブイベントを識別し、各イベント内でユニークな識別子である。つまり、イベントにおける各サブイベントを識別可能なＩＤである。また、図４に示す例では、サブイベント１に対応するサブ画像集合として、Ｉ＿０００１〜Ｉ＿００３０の画像が関連付けられており、サブイベント２に対応するサブ画像集合として、Ｉ＿００３１〜Ｉ＿００５８の画像が関連付けられている。

図５のスライドショー管理テーブル５０１は、スライドショーＩＤと選択画像ＩＤリスト、再生時刻で構成され、各スライドショーを作成した際に選択された画像ＩＤのリスト、および再生した時刻を管理するテーブルである。なお、未再生のスライドショーの時刻は期値である０とする。スライドショーＩＤは各スライドショーを識別可能なＩＤである。また、図４に示す例では、スライドショーＳＳ＿１に対応する画像として、Ｉ＿００１８，Ｉ＿００４３・・・Ｉ＿０２５７，Ｉ＿０２８２の画像が関連付けられている。また、スライドショーＳＳ＿２に対応する画像として、Ｉ＿０００１，Ｉ＿００３３・・・Ｉ＿０２５０，Ｉ＿０２８６の画像が関連付けられている。各スライドショーＩＤに関連付けられた選択画像ＩＤリストの画像集合が、出力用の画像集合となる。図５に示す例では１０個の出力用の画像集合を選択している。

図６は、スライドショー作成装置１００がユーザ等の外部から指定されたイベント画像集合を用いて、スライドショーを複数作成し、表示する動作を示すフローチャートである。

Ｓ６０１では、スライドショーの作成数であるＭをスライドショー作成装置１００の外部から取得する。作成数は、例えば、ユーザによって、マウス、キーボード、又は、タッチパネル等の操作部を通じて指定される。

Ｓ６０２では、一つのスライドショーを構成する画像の枚数であるＮをスライドショー作成装置１００の外部から取得する。画像枚数Ｎは、例えば、ユーザによって、マウス、キーボード、又は、タッチパネル等の操作部を通じて指定される。

Ｓ６０３では、データ管理部２０１は、指定されたイベント画像集合に対応する画像管理テーブル３０１を記録部２０１ａから抽出する。

サブイベント分割部２０２は、抽出された画像管理テーブル３０１に記された画像集合を、Ｎ個のサブ集合であるサブイベントに分割する。サブイベント分割部２０２は、分割したサブイベントに対し撮影時間順にＩＤを付与し、サブイベントテーブル４０１を作成する。

サブイベント分割部２０２は、イベント画像集合に含まれる画像において、撮影時刻が所定時間（例えば１日）離れている画像間をサブイベントの切れ目と判断する。つまり、撮影時刻が所定時間（例えば２時間）離れる前の画像集合と、離れた後の画像集合とを別のサブイベントとする。また、例えば、サブイベント分割部２０２は、１つのサブフォルダに保存された画像を１つのサブイベントの画像集合としてもよい。つまり、同じサブフォルダに保存されている画像は同じサブイベントに対応する画像として管理してもよい。ここで、サブフォルダとはイベント画像集合が保存されたフォルダの下層のフォルダのことである。また、サブイベント分割部２０２は、画像の撮影日時の分布からＫ平均法などのアルゴリズムでサブイベントの切れ目（サブイベントとサブイベントの境界）を判断してもよい。このように、同じサブイベントに対応する画像集合とは、同じイベント画像集合に属する画像の内、撮影時刻又はフォルダ等に係る更なる条件を満たす画像の集合である。

Ｓ６０４では、画像選択部２０３は、サブイベント単位の処理をするサブイベントカウンタＳを設定し、Ｓを１に初期化する。

Ｓ６０５では、画像選択部２０３は、各サブイベントで画像を選択する際に用いる選択画像カウンタＲを設定し、Ｒを０に初期化する。

Ｓ６０６では、画像選択部２０３は、サブイベントテーブル４０１のサブイベントＩＤがＳである行の要素に含まれる画像をランダムで１枚選択する。

Ｓ６０７では、画像選択部２０３は、選択画像カウンタＲを一つ増加する。

Ｓ６０８では、画像選択部２０３は、Ｓ６０６もしくは後述するＳ６１１で選択した画像の画像ＩＤをサブイベントテーブルから除去し、スライドショー管理テーブル５０１のＲ行目の選択画像ＩＤリストに追加する。

Ｓ６０９では、画像選択部２０３は、選択画像カウンタＲがＭ以上かどうかを判断し、Ｍ以上である場合（Ｓ６０９のＹｅｓ）はＳ６１０に進み、Ｍ未満の場合（Ｓ６０９のＮｏ）はＳ６１１に進む。

Ｓ６１０では、画像選択部２０３は、サブイベントカウンタＳを一つ増加する。

Ｓ６１１は、画像選択部２０３による類似していない画像を選択する処理であり、詳細については図７のフローチャートを用いて後述する。

Ｓ６１２では、画像選択部２０３は、サブイベントカウンタＳがスライドショー構成画像枚数Ｎを超えているか判断する。超えている場合（Ｓ６１２のＹｅｓ）はＳ６１３へ進み、超えていない場合（Ｓ６１２のＮｏ）はＳ６０５へ進む。

Ｓ６１３では、スライドショー出力部２０５において、スライドショー管理テーブル５０１の1行目のスライドショーを再生し、ディスプレイ１０６に表示する。つまり、スライドショー出力部２０５は、選択画像ＩＤリストにある画像を順番に所定の時間ずつディスプレイ（表示手段）１０６に表示させる。このように、スライドショー出力部２０５は表示制御手段としても機能する。

以上で、図６のフローチャートを用いたスライドショー作成する処理フローに関する説明を終了する。これによりＮ枚の画像の画像で構成されたスライドショー（出力用の画像集合）がＭ個選択できる。

次に図７の処理フローを用いて、類似していない画像を選択する処理（Ｓ６０８）に関して、説明する。類似していない画像を選択する処理とは、各画像間の類似度が所定の類似度よりも低い画像集合を形成する処理である。

Ｓ７０１では、画像選択部２０３は、スライドショー管理テーブル５０１にＲ行目の選択画像ＩＤリストのＳ番目の画像ＩＤを取得し、ＩＤ Ｑとして保持する。ここで、Ｒが２であり、Ｓが３の場合、Ｉ＿０８８を保持することとなる。

Ｓ７０２では、画像選択部２０３は、画像ＩＤがＱの画像とサブイベントテーブルのＳ行目の構成画像ＩＤに含まれる各画像のＲＧＢ平均値を画像管理テーブル３０１から取得し、２画像間の距離を算出する。この距離が類似度となる。距離の算出の方法は、例えば、画像Ａの平均値（Ｒａ、Ｇａ、Ｂａ）と画像Ｂの平均値（Ｒｂ、Ｇｂ、Ｂｂ）との距離は、√((Ｒｂ-Ｒａ)^2+(Ｇｂ-Ｇａ)^2+(Ｂｂ-Ｂａ)^2 ) で算出できる。

Ｓ７０３では、画像選択部２０３は、Ｓ７０２で算出した距離の中で画像Ｑと最も離れている画像ＩＤを選択する。Ｒが２であり、Ｓが３の場合、サブイベントＩＤ３の構成画像の中から、Ｉ＿０８８の画像と最も類似度が離れている画像を選択する。この際、類似度が所定の閾値より小さい画像を選択するようにしてもよい。図５に示す例では、Ｉ＿０６６が選択され、ＳＳ＿０００３に追加されることとなる。

また、Ｓ７０３において、サブイベントＩＤ３の構成画像の中から複数の画像を選択済みの場合は、画像選択部２０３は、選択済みのどの画像との類似度も所定の閾値より小さい画像をサブイベントＩＤ３の画像集合から選択するようにしてもよい。

以上で、図７のフローチャートを用いた類似していない画像を選択する処理フローに関する説明を終了する。

以上説明したように本実施形態によれば、指定されたイベント画像集合に対し、Ｎ枚の画像で構成されたスライドショーをＭ個作成することができる。各サブイベントから類似していない画像を選択することにより、各スライドショーの印象は異なるものとなるため、視聴者は飽きることなく楽しむことができる。つまり、イベントが１つであっても、印象の異なる複数のスライドショーを作成することができる。

なお、スライドショー数Ｍは、装置の外部から指定されることを想定しているが、イベント画像集合に含まれる画像の総数およびスライドショー構成枚数ＮからＭを算出してもよい。同様にスライドショー構成枚数Ｎに関しても、装置外部からの指定値だけでなく、分割可能なサブイベントの数であってもよい。また、分割したサブイベントに含まれる画像数がＭよりも少ない場合には、画像を繰り返し選択することを許容してもよい。例えば、Ｓ６０８でサブイベントテーブルのＳ行目が空だった場合、スライドショー管理テーブルの１からＲ−１行目に既に追加されたＳ番目の画像ＩＤの各々をサブイベントテーブルのＳ行目に複製し、Ｓ６０８の処理を実行する。

なお、Ｓ６０６において各サブイベントで一つ目の画像を選択する際、ランダムで選択しているが、これに限定することなく、撮影時刻の一番古い画像やスコアが一番良い画像など、他の手法で選択してもよい。

また、Ｓ７０２において既に選択された画像Ｑと距離を算出する際、サブイベントに含まれる全ての画像を対象にしているが、所定のスコアよりも低い画像、すなわち品質の良くない画像を除外してもよい。

また、Ｓ７０３において類似していない画像を選択する際に、ＲＧＢ平均値を特徴量として用いていたが、これに限定することなく、他の特徴量を用いてもよい。例えば、ＲＧＢ平均値をＲＧＢ色空間からＨＳＶ色空間に変換した色相（Ｈ）、彩度（Ｓ）、明度（Ｖ）の値や、輝度やＲＧＢのヒストグラムを算出、輝度の濃淡値を用いてハッシュ値を算出し、特徴量としてもよい。また、使用する特徴量は１種類の値だけでなく、複数の種類の値を組み合わせてもよく、一度に複数の値を用いる方法だけでなく、値を使用する順番を変えて用いてもよい。また、類似度を算出する方法は特徴量空間の距離の差を用いた方法だけでなく、例えば、機械学習を用いるなど方法は限定せず、類似度を算出できればよい。なお、データが動画である場合、例えば先頭フレームの特徴量を使用したり、全フレームの特徴量の平均を使用したり、フレームを所定の値で間引き、間引いたフレームの特徴量を使用したりして、類似度を算出してもよい。

＜実施形態２＞
実施形態１では、サブイベント内で類似していない画像を選択する処理において、１つ前に選択した画像と最も類似していない画像を選択していた。しかしながら、最も類似していない画像を順に選んでいくと、類似した画像同士が選ばれる可能性がある。例えば、２回目に選択した画像と３回目に選択した画像、３回目と４回目に選んだ画像はそれぞれ類似していない。しかし、２回目と４回目に選択した画像は３回目に選択した画像と類似していないが、２回目と４回目に選択した画像同士が類似している可能性がある。この課題に対応するため、本実施形態２では、特徴量空間において選択画像から所定の閾値未満の画像を選択対象画像集合から除外し、選択対象画像集合から画像を選択する。実施形態１における類似しない画像の選択処理（Ｓ６１１）である図７のフローチャートが図８のフローチャートに置き換わったものである。以下に実施形態１との差異について、図８のフローチャートを用いて説明する。なお、他の実施形態と同様な部分については、適宜、説明を省略する。

Ｓ８０１では、画像選択部２０３は、類似度の判定に用いる閾値Ｔを０．３に設定する。

Ｓ８０２では、画像選択部２０３は、Ｓ７０２で算出した距離（類似度）が閾値Ｔ未満の画像ＩＤを抽出する。

Ｓ８０３では、画像選択部２０３は、Ｓ８０２で抽出した画像ＩＤをサブイベントテーブルのＳ行目の構成画像ＩＤのリストから除外する。

Ｓ８０４では、画像選択部２０３は、サブイベントテーブルのＳ行目の構成画像ＩＤのリストからランダムで画像を選択する。

以上で、図８を用いた実施形態２における類似していない画像の選択の処理フローの説明を終了する。

以上説明したように本実施形態によれば、特徴量空間において選択済みの各画像に対し距離が所定の閾値未満の画像、つまり類似している画像は選択対象から外れるため、選択される画像は常に類似していない画像が選択することができる。

なお、Ｓ８０４において、サブイベントテーブルのＳ行目の画像集合から画像を選択する方法としてランダムを採用しているが、これに限定することなく、他の方法であってもよい。例えば、撮影時刻順に選択する方法であっても、スコアの高い画像から選択する方法あってもよい。

なお、サブイベントテーブルの該当行からＳ８０７やＳ８０８において除外画像や選択対象画像がなくなった場合は、サブイベントテーブルに画像を追加してもよい。追加方法は、例えばサブイベントごとに除外画像を管理しておき、サブイベントテーブルに追加する。

なお、Ｓ８０１において設定する閾値Ｔの値は、これに限定することなく他の値であってもよく、また、使用する特徴量が異なれば閾値Ｔは変更となる。

＜実施形態３＞
本発明の実施形態２では、特徴量空間において選択済みの画像と所定の閾値未満の距離の画像を選択対象から除外することにより、類似しない画像を選択していた。しかしながら、選択対象画像集合から所定の範囲の画像を対象外として除外していくと、作成するスライドショー数が多い場合には選択対象画像集合に選択可能な画像が無くなる可能性がある。実施形態２に記載の方法でも選択可能な画像の不足に対応できるが、直前に類似と判定され画像が選ばれることがある。この課題に対応するため、本実施形態３では、作成する毎に閾値の値を減らす制御を行い、選択対象画像集合から選択可能画像が無くなることを防ぐようにするものである。実施形態２における類似しない画像の選択処理（Ｓ６１１）である図８のフローチャートが図９のフローチャートに置き換わったものである。以下に実施形態２との差異について、図９のフローチャートを用いて説明する。なお、他の実施形態と同様な部分については、適宜、説明を省略する。

Ｓ９０１では、画像選択部２０３は、サブイベントテーブル４０１のＳ行目の構成画像ＩＤのリストに含まれる画像を選択対象画像集合として取得する。
Ｓ９０２では、画像選択部２０３は、スライドショー管理テーブル５０１の１行目からＲ行目までの各選択画像ＩＤリストのＳ番目の画像を選択済画像集合として取得する。
Ｓ９０３では、画像選択部２０３は、以下の処理で用いるカウンタＫを設定し、初期値をＲとする。
Ｓ９０４では、画像選択部２０３は、選択済画像集合からリストのＫ番目の画像Ｑを取得する。
Ｓ９０５では、画像選択部２０３は、選択対象画像集合の各画像から画像ＱとＲＧＢ平均値の距離がＴ未満の画像を抽出する。
Ｓ９０６では、画像選択部２０３は、Ｓ９０５で抽出した画像集合を選択対象画像集合から除外する。
Ｓ９０７では、画像選択部２０３は、カウンタＫを一つ減少する。
Ｓ９０８では、画像選択部２０３は、閾値Ｔの値を半分にする。
Ｓ９０９では、画像選択部２０３は、カウンタＫが０以下かを判断する処理であり、０である場合（Ｓ９０９のＹｅｓ）はＳ９１０に進み、０でない場合（Ｓ９０９のＮｏ）はＳ９０４に進む。
Ｓ９１０では、画像選択部２０３は、選択対象画像集合からランダムで画像を１枚選択する。

以上で、図９を用いた実施形態３における類似していない画像の選択の処理フローの説明を終了する。

本実施形態によれば、スライドショーの作成回数を重ねるごとに選択順序が古い画像との類似度の判定に用いる閾値を小さくすることで、選択可能な画像が無くなることを防ぐことができる。これによりスライドショーの作成順番とスライドショーの視聴順番が同じである場合、初回に作成したスライドショーと最後に作成したスライドショーで用いる画像が類似する画像が選択される場合がある。しかし、直前との類似度は低いため、印象が異なる。

なお、Ｓ９０３において閾値を減少する方法は、他の方法であってもよく、選択回数が増えると共に減少すればよく、減少方法は例えば、比例のように法則性を持たせても、また法則性が無くてもよい。

＜実施形態４＞
実施形態３までは、一度に複数のスライドショーを作成する例であった。しかしながら、全てのスライドショーを視聴した場合、スライドショーの追加作成が必要となる。この課題に対応するため、本実施形態では実施形態３までの手法を用いて作成したＰ個のスライドショーが再生済みの状況において、スライドショーを追加作成する処理である。実施形態１における図６のフローチャートを図１０のフローチャートに、実施形態３における図９のフローチャート（Ｓ６１１）を図１２のフローチャート（Ｓ１００４）に置き換えるものである。以下、実施形態３との差異について説明する。

図１０のフローチャートを用いて、Ｎ枚の画像で構成されたＭ個のスライドショーを追加作成する処理フローを説明する。なお、構成画像枚数のＮは、Ｓ６０２のように装置外部から指定されても、スライドショー管理テーブルの各スライドショーの構成画像ＩＤの数から算出してもよい。

Ｓ１００１では、画像選択部２０３は、スライドショー管理テーブル５０１から、作成済みスライドショーの数Ｐと最新のスライドショーの再生時刻の情報を取得する。

Ｓ１００２は、画像選択部２０３は、スライドショー追加作成時の初回の画像選択時に用いる閾値Ｔ１ｓｔを設定する処理であり、処理の詳細は図１１のフローチャートを用いて後述する。

Ｓ１００３では、画像選択部２０３は、選択画像カウンタＲを設定し、Ｐに初期化する。

Ｓ１００４は、画像選択部２０３は、実施例３までのＳ６１１に相当し、類似していない画像を選択する処理であり、処理の詳細については図１２のフローチャートを用いて後述する。

Ｓ１００５では、画像選択部２０３は、カウンタＫがＭ＋Ｐかを判断し、（Ｍ＋Ｐ）以上である場合（Ｓ１００５のＹｅｓ）はＳ６１０に進み、（Ｍ＋Ｐ）未満の場合（Ｓ１００５のＮｏ）はＳ１００４に進む。

Ｓ１００６では、画像選択部２０３は、スライドショー管理テーブルのＰ＋１行目のスライドショーを表示する。

以上で、図１０のフローチャートを用いたスライドショーの追加作成処理について説明を終了する。

次に図１１のフローチャートを用いて、Ｓ１００２の処理であるスライドショー追加作成時における初回の画像選択時に閾値Ｔ１ｓｔを設定する処理フローを説明する。
Ｓ１１０１では、画像選択部２０３は、現在時刻とＳ１００１で取得した再生時刻との時間差Ｈを算出する。

Ｓ１１０２では、画像選択部２０３は、時間差Ｈが1週間未満かどうかを判断し、1週間未満である場合（Ｓ１１０２のＹｅｓ）はＳ１１０３に進み、1週間を超えている場合（Ｓ１１０２はＮｏ）はＳ１１０４に進む。

Ｓ１１０３では、画像選択部２０３は、初回閾値Ｔ１ｓtを０．３に設定する。
Ｓ１１０４では、画像選択部２０３は、時間差Ｈが１カ月未満かどうかを判断し、１か月未満の場合（Ｓ１１０４のＹｅｓ）はＳ１１０５に進み、１か月を超えている場合（Ｓ１１０４のＮｏ）はＳ１１０６に進む。
Ｓ１１０５では、画像選択部２０３は、初回閾値Ｔ１ｓｔを０．２に設定する。
Ｓ１１０６では、画像選択部２０３は、初回閾値Ｔ１ｓｔを０．１に設定する。

以上で、図１１のフローチャートを用いた初回閾値Ｔ１ｓｔを設定する処理について説明を終了する。

次に図１２のフローチャートを用いて、類似していない画像の選択の処理フローについて説明する。

Ｓ１２０１では、画像選択部２０３は、カウンタＫが作成済みスライドショー数Ｐと同数であるか判断する処理であり、同数である場合（Ｓ１２０１のＹｅｓ）はＳ１２０２に進み、同数で無い場合（Ｓ１２０１のＮｏ）はＳ１２０３に進む。
Ｓ１２０２では、画像選択部２０３は、閾値ＴをＳ１００３で取得したＴ１ｓｔに設定する。
Ｓ１２０３では、画像選択部２０３は、閾値Ｔを０．３に設定する。

以上で、図１２のフローチャートを用いて、実施形態４における類似していない画像の選択する処理フローの説明を終了する。

以上説明したように本実施形態によれば、作成したスライドショーを再生し、再生可能なスライドショーが無い場合に追加でスライドショーを作成することができる。さらに再生時刻と現在時刻との時間差を算出することにより、時間差の間隔が大きい場合には、小さい場合に比べ再生したスライドショーの内容を覚えていない可能性が強いため、画像の選択に用いる類似度の閾値を小さくする。これにより、選択可能な画像を増やすことができる。

なお、図１２のフローチャートにおいて、初回閾値を設定する際に用いる時間差の境界値である１週間、および１か月は例であり、他の値でもよく、時間差が大きくなるほど、初回閾値Ｔ１ｓｔが小さくなればよい。同様に初回閾値Ｔ１ｓｔの値も例であり、他の値であってもよく、時間差が大きくなるほど、小さくなればよい。
なお、時間差が例えば１年以上など大きな値となる場合には、再生したスライドショーの内容を忘れている可能性があるため、初回閾値Ｔ１ｓｔを０にしてもよい。また、選択画像管理テーブルを初期化し、実施形態１から実施形態３の手法を用いて、スライドショーを作成してもよい。

＜実施形態５＞
実施形態４までは、類似度の高い画像は作成するスライドショー間で選択しないように制御していた。しかしながら、類似度の低い画像では、画質評価したスコアの低い画像が選ばれる可能性がある。この課題に対応する多、本実施形態では画質評価したスコアが高い画像から選択する処理である。実施形態１における図６のフローチャートが図１３のフローチャートに、図７のフローチャートが図１４に置き換わったものである。以下、実施形態１との差異について説明する。

図１３のフローチャートを用いて、画質評価したスコアを元に画像を選択し、スライドショーを作成する処理フローを説明する。

Ｓ１３０１では、画像選択部２０３は、サブイベントテーブル４０１のＳ番目の行の要素に含まれる画像に対し、画像管理テーブルからスコアを取得し、スコアの一番高い画像を選択する。
Ｓ１３０２は、画像選択部２０３は、スコアと類似度を用いた画像選択処理であり、処理の詳細については図１４のフローチャートを用いて後述する。
以上で、図１３のフローチャートを用いたスライドショー作成処理について説明を終了する。
次に図１４のフローチャートを用いて、スコアと類似度を用いた画像選択（Ｓ１３０２）の処理フローを説明する。

Ｓ１４０１では、画像選択部２０３は、サブイベントテーブル４０１のＳ行目の構成画像ＩＤリストに含まれる画像からスコアの値が最も高い画像Ｇの画像ＩＤを取得する。
Ｓ１４０２では、画像選択部２０３は、画像Ｇと画像ＱのＲＧＢ平均値を用いて、距離Ｄを算出する。
Ｓ１４０３では、画像選択部２０３は、距離Ｄが０．３より大きいか判断し、大きい場合（Ｓ１４０３のＹｅｓ）はＳ１４０４に進み、小さい場合（Ｓ１４０３のＮｏ）はＳ１４０５に進む。
Ｓ１４０４では、画像選択部２０３は、画像Ｇを選択画像にする。
Ｓ１４０５では、画像選択部２０３は、画像Ｇのスコアを０．７５倍に変更、画質Ｇのスコアに対してペナルティをかける。
Ｓ１４０６では、画像選択部２０３は、選択画像集合の中で画像Ｇの変更後のスコアが最も高いスコアであるか判断し、最も高いスコアである場合（Ｓ１４０６のＹｅｓ）はＳ１４０４に進み、そうでない場合（Ｓ１４０６のＮｏ）はＳ１４０７に進む。
Ｓ１４０７では、画像選択部２０３は、選択画像集合の中で最も高いスコアを持つ画像を選択画像にする。

以上で図１４を用いた画質と類似度を用いた画像選択の処理フローについて説明を終了する。

以上説明したように本実施形態によれば、画質を評価したスコアの高い画像から順に選択し、選択画像と類似した画像のスコアにペナルティをかけることにより、画像の品質を保ちつつ、印象の異なるスライドショーを複数作成することができる。

なお、Ｓ１４０５においてスコアに対してペナルティをかける値に関しては例であり、スコアの算出方法によりスコアの分布が異なるため、他の値であってもよい。

（その他の実施形態）
以上、実施形態例を詳述したが、本発明は以上説明した各実施形態に限定されることはなく、本発明の要旨を逸脱しない範囲において種々変更が可能である。例えば、各実施形態を組み合わせたものも本明細書の開示内容に含まれる。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給するようにしてもよい。つまり、上述の実施形態の１以上の機能は、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ等）によっても実現可能である。また、そのプログラムをコンピュータにより読み取り可能な記録媒体に記録して提供してもよい。

２０１ データ管理部
２０２ サブイベント分割部
２０３ 画像選択部
２０４ 画像類似度算出部
２０５ スライドショー出力部

Claims (15)

1. 第１の条件を満たす画像集合から、第２の条件を更に満たす第１のサブ画像集合と、第３の条件を更に満たす第２のサブ画像集合とを少なくとも含む複数のサブ画像集合を抽出する抽出手段と、
   前記第１のサブ画像集合に含まれる画像間の類似度と、前記第２のサブ画像集合に含まれる画像間の類似度とを算出する類似度算出手段と、
   前記第１のサブ画像集合に含まれる第１の画像と、前記第２のサブ画像集合に含まれる第２の画像とを含む複数の画像を第１の出力用の画像集合として選択し、
   前記第１の画像との間の類似度が閾値より小さい、前記第１のサブ画像集合に含まれる第３の画像と、前記第２の画像との間の類似度が閾値より小さい、前記第３のサブ画像集合に含まれる第４の画像とを含む複数の画像を第２の出力用の画像集合として選択する選択手段と
   を有することを特徴とする画像処理装置。
2. 前記類似度算出手段は、前記複数のサブ画像集合それぞれにおいて、当該サブ画像集合に含まれる画像間の類似度を算出し、
   前記選択手段は、
   前記類似度算出手段によって算出された類似度に基づいて、
   各サブ画像集合から少なくとも１つの画像が選択されるように、前記第１の出力用の画像集合の画像と、前記第２の出力用の画像集合の画像を選択する
   ことを特徴とする請求項１記載の画像処理装置。
3. 前記選択手段は、
   前記類似度算出手段によって算出された類似度に基づいて、
   前記第１の出力用の画像集合の画像として各サブ画像集合から選択された画像との間の類似度が閾値より小さい、当該サブ画像集合に含まれる画像を前記第２の出力用の画像集合の画像として選択する
   ことを特徴とする請求項２記載の画像処理装置。
4. 前記条件は、画像の撮影時刻、画像が保持されるフォルダ、又は画像に付されたメタデータに係る条件である
   ことを特徴とする請求項１〜３の何れか１項に記載の画像処理装置。
5. 前記類似度算出手段は、画像の特徴量を用いて、画像間の類似度を算出する
   ことを特徴とする請求項１〜４の何れか１項に記載の画像処理装置。
6. 前記選択手段は、前記出力用の画像集合を作成する順番に応じて、前記閾値を変更する
   ことを特徴とする請求項１〜５の何れか１項に記載の画像処理装置。
7. 前記選択手段は、前記サブ画像集合に含まれる画像数が少ない場合に、異なる出力用の画像集合に同じ画像を選択する
   ことを特徴とする請求項１〜６の何れか１項に記載の画像処理装置。
8. 前記選択手段は、出力用の画像集合を追加で選択する場合、選択済みの出力用の画像集合で選択された画像と類似していない画像を選択する
   ことを特徴とする請求項１〜７の何れか１項に記載の画像処理装置。
9. 前記選択手段は、出力用の画像集合を追加で選択する場合、選択済みの複数の出力用の画像集合が出力された時刻を取得し、その出力された時刻の間隔に応じて、前記閾値を変更する
   ことを特徴とする請求項１〜８の何れか１項に記載の画像処理装置。
10. 前記選択手段は、前記抽出手段によって抽出された前記サブ画像集合の数と同じ数の画像を１つの出力用の画像集合として選択する
    ことを特徴とする請求項１〜９の何れか１項に記載の画像処理装置。
11. 前記選択手段は、出力用の画像集合に含まれる各画像間の類似度が、閾値よりも小さくなるように、出力用の画像集合の画像を選択する
    ことを特徴とする請求項１〜１０の何れか１項に記載の画像処理装置。
12. 前記選択手段によって選択された出力用の画像集合に含まれる各画像を表示手段に表示させる表示制御手段
    を有することを特徴とする請求項１〜１１の何れか１項に記載の画像処理装置。
13. 前記選択手段は、画質に係るスコアの高い画像から選択し、画像を選択すると、選択済みの画像と類似度の高い画像の前記スコアを下げる
    ことを特徴とする請求項１〜１２の何れか１項に記載の画像処理装置。
14. 第１の条件を満たす画像集合から、第２の条件を更に満たす第１のサブ画像集合と、第３の条件を更に満たす第２のサブ画像集合とを少なくとも含む複数のサブ画像集合を抽出する抽出工程と、
    前記第１のサブ画像集合に含まれる画像間の類似度と、前記第２のサブ画像集合に含まれる画像間の類似度とを算出する類似度算出工程と、
    前記第１のサブ画像集合に含まれる第１の画像と、前記第２のサブ画像集合に含まれる第２の画像とを含む複数の画像を第１の出力用の画像集合として選択し、
    前記第１の画像との間の類似度が閾値より小さい、前記第１のサブ画像集合に含まれる第３の画像と、前記第２の画像との間の類似度が閾値より小さい、前記第３のサブ画像集合に含まれる第４の画像とを含む複数の画像を第２の出力用の画像集合として選択する選択工程と
    を有することを特徴とする画像処理方法。
15. コンピュータを、請求項１〜１３の何れか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images