JP6513009B2 - 画像処理装置、画像処理方法、プログラムおよび記録媒体 - Google Patents

Description

本発明は、イベントに対応するタグ情報を、そのイベントで撮影された画像群に含まれる画像に付与する画像処理装置、画像処理方法、プログラムおよび記録媒体に関するものである。

従来、画像解析技術により、画像に存在するオブジェクトを検出し、オブジェクトに対応するタグ情報を各々の画像に自動で付与する技術がある。この技術により画像に付与されたタグ情報は、画像に対応する画像データ等のデジタルデータをネットワーク上のストレージに保存するストレージサービスなどにおいて、画像をタグ情報毎に分類して整理するなどの目的で使われている。

これに対し、このタグ情報を、画像の整理だけでなく、フォトブック（電子アルバム）等の付加価値商材の作成アシスト（商材データの自動作成や、商材に利用する画像の選択アシストなど）に使用することが考えられる。

この場合、従来のタグ情報の付与技術では、画像に存在するオブジェクトから取得できる情報からしか自動でタグ情報の付与ができないため、それ以上の情報が必要な画像整理や付加価値商材の作成アシストなどはできないという新たな問題が生じる。

例えば、ペットの犬の画像を分類したい、ペットの犬の画像を使用して付加価値商材を作りたいという用途や、レストランで食べた料理の画像を分類したい、レストランで食べた画像を使用して付加価値商材を作りたいという用途の場合には、従来のタグ情報の付与技術により、犬や料理が存在する画像に、犬や料理に対応するタグ情報を付与することにより、その用途に対応することができる。

しかし、旅行の画像を分類したい、その画像を使用して付加価値商材を作りたいという用途や、子供の１年間の学校行事の画像を分類したい、その画像を使用して付加価値商材を作りたい、夫婦の結婚式の画像を分類したい、その画像を使用して付加価値商材を作りたいという用途の場合には、各画像に存在するオブジェクトがバラバラであるため、タグ情報もばらばらになり、これらの用途に対応することができない。

つまり、旅行、学校行事、結婚式などのように、画像からは判別することができないイベントの画像を処理する用途では、ユーザが手動で画像群を整理する（まとめる）必要があるという問題があった。

本発明に関連性のある先行技術文献として、特許文献１〜３がある。

特許文献１には、撮影画像（検索対象画像）と、画像ＤＢの各登録画像とを照合し、撮影画像に類似（合致する場合を含む）する上位の所定数の登録画像を抽出し、画像認識処理の結果に基づいて候補名称タグを取得することや、撮影画像の被写体が寺である場合には、撮影画像の被写体に類似（合致）する寺の名称の候補が、候補名称タグとして取得されることが記載されている。

特許文献２には、画像Ａからキーワード「海」が抽出された場合に、画像Ａおよび画像Ａ以外の画像Ｂ、Ｃ、Ｄ、Ｅ、Ｆのメタデータから撮影日時および／または位置情報を取得し、画像Ｂ、Ｃ、Ｄ、Ｅ、Ｆから取得された撮影日時および／または位置情報が、画像Ａから取得された撮影日時および／または位置情報と同一ないし近接する場合、画像Ｂ、Ｃ、Ｄ、Ｅ、Ｆに画像Ａの場合と同じ「海」を割り当てることが記載されている。

特許文献３には、イベント日時とイベント名を持つイベントを管理し、イベント名に紐づくイベント日時に一致または近接した撮影日時データを有する画像に対してイベント名を画像のメタデータとして設定することや、画像の撮影日のうち月日が一致するまたは近辺の画像を検索し、画像の撮影場所が一致するあるいは近接する画像を判定することが記載されている。

特開２０１０−２１８３７２号公報 特開２００９−２７１７５２号公報 特開２０１２−１９４８００号公報

特許文献１，２には、画像に存在するオブジェクトに対応するタグ情報を画像に付与することが記載されているが、イベントに対応するタグ情報を、そのイベントに対応する画像に付与することは記載されていない。オブジェクトに対応するタグ情報は、そのオブジェクトを表すタグ情報であるが、イベントに対応するタグ情報は、そのイベントを表すタグ情報であり、オブジェクトに対応するタグ情報とは異なる。

本発明の目的は、従来技術の問題点を解消し、各々のイベントに対応するタグ情報を、各々のイベントで撮影された画像群に含まれる画像に付与することができる画像処理装置、画像処理方法、プログラムおよび記録媒体を提供することにある。

上記目的を達成するために、本発明は、イベントと、イベントに対応する第１オブジェクトおよび１以上の第１オブジェクトの画像とを関連付けて記憶するイベントテーブルと、
第１オブジェクトの画像および画像群に含まれる画像の解析を行い、画像群の中から、第１オブジェクトに合致する第２オブジェクトが存在する画像のみを検出する画像解析部と、
第２オブジェクトが存在する画像が検出された場合に、イベントテーブルに基づいて、検出された画像に存在する第２オブジェクトに合致する第１オブジェクトに関連付けて記憶されたイベントを検出するイベント検出部と、
画像群に含まれる画像の付帯情報に基づいて、画像群の中から、検出されたイベントに対応するイベント画像群を特定するイベント画像群特定部と、
画像の解析結果に基づいて、検出されたイベントの名称および検出されたイベントと関連性のある名称の少なくとも一方と同じ名称のタグ情報であり、かつ、第１オブジェクトの名称および第１オブジェクトと関連性のある名称の少なくとも一方とは異なる名称のタグ情報を、イベント画像群に含まれる全ての画像に付与するタグ情報付与部とを備える画像処理装置を提供するものである。

ここで、さらに、ユーザにより入力された指示を受け取る指示取得部を備え、
イベントテーブルは、指示に応じて指定されたイベントと、指示に応じて指定された第１オブジェクトおよび第１オブジェクトの画像とを関連付けて記憶することが好ましい。

また、イベント画像群特定部は、付帯情報に含まれる画像の撮影時刻に基づいて、画像群の中から、検出された画像の撮影時刻を含む一定の撮影期間内に含まれる画像群を、イベント画像群として特定し、
タグ情報付与部は、検出されたイベントに対応し、さらに、イベント画像群に含まれる画像であって、一定の撮影期間内に撮影された画像の間で共通する撮影日付に対応するタグ情報をイベント画像群に含まれる画像に付与することが好ましい。

また、一定の撮影期間は、検出された画像の撮影日、および、検出された画像の撮影日を含む一定の日数により決定されることが好ましい。

また、一定の日数は、あらかじめ設定された日数であることが好ましい。

また、一定の日数は、指示に応じて指定された日数であることが好ましい。

また、タグ情報付与部は、検出されたイベントに対応し、さらに、イベント画像群に含まれる画像を代表する撮影場所に対応するタグ情報をイベント画像群に含まれる画像に付与することが好ましい。

また、タグ情報付与部は、イベント画像群に含まれる画像の撮影場所のうち、閾値以上の割合の撮影場所が属する地域名を代表する撮影場所であると判定することが好ましい。

イベントテーブルは、さらに、サブイベントと、サブイベントに対応する第３オブジェクトおよび第３オブジェクトの画像とを関連付けて記憶し、
画像解析部は、さらに、第３オブジェクトおよびイベント画像群に含まれる画像の解析を行い、イベント画像群の中から、第３オブジェクトに合致する第４オブジェクトが存在する画像のみを検出し、
イベント検出部は、第４オブジェクトが存在する画像が検出された場合に、イベントテーブルに基づいて、第４オブジェクトに合致する第３オブジェクトに関連付けて記憶されたサブイベントを検出し、
タグ情報付与部は、検出されたイベントの名称と同じ名称および検出されたイベントと関連性のある名称の少なくとも一方の名称のタグ情報として、検出されたサブイベントの名称と同じ名称および検出されたサブイベントと関連性のある名称の少なくとも一方の名称のタグ情報を、イベント画像群に含まれる全ての画像に付与することが好ましい。

また、イベントテーブルは、指示に応じて指定されたサブイベントと、指示に応じて指定された第３オブジェクトおよび第３オブジェクトの画像とを関連付けて記憶することが好ましい。

イベントテーブルは、さらに、イベントと、イベントの特徴を表すイベント情報とを関連付けて記憶し、
画像解析部は、さらに、画像群の中から、イベント情報に合致する画像を検出し、
イベント検出部は、第２オブジェクトが存在する画像が検出され、かつ、イベント情報に合致する画像が検出された場合に、イベントテーブルに基づいて、第２オブジェクトに合致する第１オブジェクトに関連付けて記憶され、かつ、イベント情報に関連付けて記憶されたイベントを検出することが好ましい。

また、イベントテーブルは、イベントと、指示に応じて指定されたイベント情報とを関連付けて記憶することが好ましい。

また、イベント情報は、画像の撮影日付、画像の撮影場所、画像に存在する人物のうちの少なくとも１つを含むことが好ましい。

また、イベント画像群特定部は、画像群の中から、第２オブジェクトが存在する画像と撮影日が同じ画像を、イベント画像群として特定することが好ましい。

また、イベント画像群特定部は、画像群に含まれる画像を撮影時刻の順序で時系列に並べた場合に、第２オブジェクトが存在する画像を含み、かつ、隣り合う２枚の画像の撮影間隔が閾値以下である一連の画像を、イベント画像群として特定することが好ましい。

また、イベント画像群特定部は、画像群に含まれる画像を撮影時刻の順序で時系列に並べた場合に、第２オブジェクトが存在し、かつ、撮影時刻が異なる２枚の画像の間に含まれる一連の画像を、イベント画像群として特定することが好ましい。

また、本発明は、イベントテーブルが、イベントと、イベントに対応する第１オブジェクトおよび１以上の第１オブジェクトの画像とを関連付けて記憶するステップと、
画像解析部が、第１オブジェクトの画像および画像群に含まれる画像の解析を行い、画像群の中から、第１オブジェクトに合致する第２オブジェクトが存在する画像のみを検出するステップと、
イベント検出部が、第２オブジェクトが存在する画像が検出された場合に、イベントテーブルに基づいて、検出された画像に存在する第２オブジェクトに合致する第１オブジェクトに関連付けて記憶されたイベントを検出するステップと、
イベント画像群特定部が、画像群に含まれる画像の付帯情報に基づいて、画像群の中から、検出されたイベントに対応するイベント画像群を特定するステップと、
タグ情報付与部が、画像の解析結果に基づいて、検出されたイベントの名称および検出されたイベントと関連性のある名称の少なくとも一方と同じ名称のタグ情報であり、第１オブジェクトの名称および第１オブジェクトと関連性のある名称の少なくとも一方とは異なる名称のタグ情報を、イベント画像群に含まれる全ての画像に付与するステップとを含む画像処理方法を提供する。

ここで、イベント画像群を特定するステップは、付帯情報に含まれる画像の撮影時刻に基づいて、画像群の中から、検出された画像の撮影時刻を含む一定の撮影期間内に含まれる画像群を、イベント画像群として特定し、
タグ情報を付与するステップは、検出されたイベントに対応し、さらに、イベント画像群に含まれる画像であって、一定の撮影期間内に撮影された画像の間で共通する撮影日付に対応するタグ情報をイベント画像群に含まれる画像に付与することが好ましい。

また、タグ情報を付与するステップは、検出されたイベントに対応し、さらに、イベント画像群に含まれる画像を代表する撮影場所に対応するタグ情報をイベント画像群に含まれる画像に付与することが好ましい。

さらに、イベントテーブルが、サブイベントと、サブイベントに対応する第３オブジェクトおよび第３オブジェクトの画像と関連付けて記憶するステップと、
画像解析部が、さらに、第３オブジェクトの画像およびイベント画像群に含まれる画像の解析を行い、イベント画像群の中から、第３オブジェクトに合致する第４オブジェクトが存在する画像のみを検出するステップとを含み、
イベントを検出するステップは、第４オブジェクトが存在する画像が検出された場合に、イベントテーブルに基づいて、第４オブジェクトに合致する第３オブジェクトに関連付けて記憶されたサブイベントを検出し、
タグ情報を付与するステップは、検出されたイベントの名称と同じ名称および検出されたイベントと関連性のある名称の少なくとも一方の名称のタグ情報として、検出されたサブイベントの名称と同じ名称および検出されたサブイベントと関連性のある名称の少なくとも一方の名称のタグ情報を、イベント画像群に含まれる全ての画像に付与することが好ましい。

さらに、イベントテーブルが、イベントと、イベントの特徴を表すイベント情報とを関連付けて記憶するステップと、
画像解析部が、さらに、画像群の中から、イベント情報に合致する画像を検出するステップとを含み、
イベントを検出するステップは、第２オブジェクトが存在する画像が検出され、かつ、イベント情報に合致する画像が検出された場合に、イベントテーブルに基づいて、第２オブジェクトに合致する第１オブジェクトに関連付けて記憶され、かつ、イベント情報に関連付けて記憶されたイベントを検出することが好ましい。

また、本発明は、上記に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムを提供する。

また、本発明は、上記に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供する。

本発明では、イベントと、イベントに対応する第１オブジェクトおよびその画像とを関連付けて記憶しておき、画像群の中から、第１オブジェクトに合致する第２オブジェクトが存在する画像を検出し、検出された画像に存在する第２オブジェクトに合致する第１オブジェクトに関連付けて記憶されたイベントを検出し、検出されたイベントに対応するタグ情報を、イベント画像群に含まれる画像に付与する。

これにより、ユーザは、イベントにおいて、そのイベントに関連付けて記憶された第１オブジェクトを撮影するだけで、そのイベントに対応するタグ情報を、そのイベントにおいて撮影されたイベント画像群に含まれる画像に付与することができる。イベントに対応するタグ情報は、例えば、フォトブック（電子アルバム）等の付加価値商材の作成アシストに使用することができる。

本発明に係る画像処理システムの構成を表す一実施形態のブロック図である。 図１に示すサーバの構成を表す一実施形態のブロック図である。 画像処理システムの動作を表す一実施形態のフローチャートである。 図４に続く画像処理システムの動作を表すフローチャートである。 図５に続く画像処理システムの動作を表すフローチャートである。 （A）および（B）は、第１オブジェクトの画像として、「マイカー」および「校舎」を表す一例の概念図である。 （A）および（B）は、「マイカー」および「校舎」が存在する画像を含むイベント画像群を表す一例の概念図である。 旅行のイベント画像群を表す一例の概念図である。 運動会のイベント画像群を表す一例の概念図である。

以下に、添付の図面に示す好適実施形態に基づいて、本発明の画像処理装置、画像処理方法、プログラムおよび記録媒体を詳細に説明する。

図１は、本発明に係る画像処理システムの構成を表す一実施形態のブロック図である。同図に示す画像処理システム１０は、ユーザが所有する画像群の中から、各々のイベントに対応するイベント画像群を特定し、各々のイベントに対応するタグ情報をイベント画像群に含まれる画像に付与するものである。画像処理システム１０は、サーバ１２と、インターネット等のネットワーク１６を介してサーバ１２に接続された１以上のクライアント１４とを備えている。

図２は、図１に示すサーバの構成を表す一実施形態のブロック図である。同図に示すサーバ１２は、本発明の画像処理装置の一例であり、指示取得部１８と、イベントテーブル２０と、画像群取得部２２と、画像解析部２４と、イベント検出部２６と、イベント画像群特定部２８と、タグ情報付与部３０とを備えている。

サーバ１２において、指示取得部１８は、ユーザにより入力された指示を受け取るものである。

指示取得部１８は、ユーザがクライアント１４において入力した各種の指示を、クライアント１４からネットワーク１６を介して取得する。ユーザの指示には、処理対象となる画像を指定する指示、イベントテーブル２０に記憶されるイベント、第１オブジェクト（被写体）およびその画像を指定する指示、イベントテーブル２０に記憶されるサブイベント、第３オブジェクトおよびその画像を指定する指示、画像の撮影期間、サブイベント、イベント情報を指定する指示等が含まれる。

イベントテーブル２０は、イベントと、イベントに対応する第１オブジェクトおよびその１以上の画像とを関連付けて記憶するものである。

イベントは、例えば、旅行、学校行事、誕生日、結婚式等のような、人々にとって一定の意味を有し、ある期間にわたって起こる出来事のことであり、１日で終了する出来事や２日以上にわたる出来事が含まれる。
第１オブジェクトは、例えば、イベントが旅行の場合、自動車であり、イベントが学校行事の場合、校舎であるというように、そのイベントに関連性のあるオブジェクトを自由に設定することができる。

また、イベントに含まれるサブイベントがある場合、イベントテーブル２０は、さらに、サブイベントと、サブイベントに対応する第３オブジェクトおよびその画像とを関連付けて記憶する。

例えば、イベントが学校行事の場合、サブイベントは、学校行事の１つである運動会、入学式、卒業式等の行事である。
第３オブジェクトは、例えば、サブイベントが運動会の場合、赤白帽であるというように、そのサブイベントで撮影された画像に存在するオブジェクトをユーザが自由に設定することができる。

続いて、画像群取得部２２は、ユーザの指示に基づいて、ユーザが所有する画像群を取得するものである。

画像群取得部２２は、本実施形態の場合、ユーザの指示に応じて、ユーザのクライアント１４からネットワーク１６を介してサーバ１２へアップロードされてくる画像群を取得する。

続いて、画像解析部２４は、イベントテーブル２０に記憶された第１オブジェクトの画像および画像群取得部２２が取得した画像群に含まれる画像の解析を行うものである。

画像解析部２４が行う画像解析には、画像に存在する人物および人物以外のオブジェクトの検出の他、画像における人物およびオブジェクトの領域の位置および面積の検出等が含まれる。また、画像解析部２４は、画像解析として、例えば、第１オブジェクトの画像と画像群に含まれる画像とを比較して、画像群の中から、第１オブジェクトに合致する第２オブジェクトが存在する画像を検出する。さらに、画像解析部２４は、画像解析として、第３オブジェクトの画像と画像群に含まれる画像とを比較して、イベント画像群の中から、第３オブジェクトに合致する第４オブジェクトが存在する画像を検出する。

第１オブジェクトが自動車の場合、第２オブジェクトは第１オブジェクトの自動車と合致する自動車であり、第１オブジェクトが校舎の場合、第２オブジェクトは第１オブジェクトの校舎と合致する校舎である。第２オブジェクトは、第１オブジェクトと合致するオブジェクトであればよく、画像におけるオブジェクトの大きさ、位置、向き、画質等は異なっていてもよい。

続いて、イベント検出部２６は、画像解析部２４により第２オブジェクトが存在する画像が検出された場合に、イベントテーブル２０に基づいて、検出された画像に存在する第２オブジェクトに合致する第１オブジェクトに関連付けて記憶されたイベントを検出するものである。

イベント検出部２６は、例えば、画像群の中から、画像解析部２４によりイベントテーブル２０に記憶された第１オブジェクトに合致する第２オブジェクトが存在する画像が検出されたた場合に、イベントテーブル２０に記憶された第１オブジェクトの中から、検出された画像に存在する第２オブジェクトに合致する第１オブジェクトを検出し、検出された第１オブジェクトに関連付けて記憶されているイベントを取得する。

また、イベント検出部２６は、イベント画像群の中から、画像解析部２４により第３オブジェクトに合致する第４オブジェクトが存在する画像が検出された場合に、イベントテーブル２０に基づいて、第４オブジェクトに合致する第３オブジェクトに関連付けて記憶されたサブイベントを検出する。

第３オブジェクトと第４オブジェクトとの関係は、第１オブジェクトと第２オブジェクトとの関係と同様である。例えば、第３オブジェクトが赤白帽の場合、第４オブジェクトは第３オブジェクトの赤白帽と合致する赤白帽である。第４オブジェクトは、第３オブジェクトと合致するオブジェクトであればよく、画像におけるオブジェクトの大きさ、位置、向き、画質等は異なっていてもよい。

続いて、イベント画像群特定部２８は、画像群に含まれる画像の付帯情報に基づいて、画像群の中から、イベント検出部２６により検出されたイベントに対応するイベント画像群を特定するものである。

付帯情報は、例えば、画像のヘッダ情報として画像に付帯されるExif（Exchangeable Image File Format）情報である。付帯情報には、画像の撮影時刻および撮影位置（GPS（Global Positioning System）情報）等の情報が含まれる。

続いて、タグ情報付与部３０は、画像解析部２４による画像の解析結果に基づいて、画像に存在する１以上のオブジェクトに対応する１以上のタグ情報を画像に付与するものである。

タグ情報付与部３０は、例えば、オブジェクトとして「自動車」が画像に存在することが検出された場合、「自動車」のタグ情報を画像に付与する。オブジェクトに対応するタグ情報の名称は、例えば、そのオブジェクトの名称と同じ名称や、そのオブジェクトと関連性のある名称が使用される。また、オブジェクトのタグ情報の名称として、ユーザの指示に応じて指定された任意の名称のタグ情報を画像に付与してもよい。

また、タグ情報付与部３０は、イベント検出部２６により検出されたイベントに対応するタグ情報として、第１オブジェクトに対応するタグ情報とは異なるタグ情報を、イベント画像群に含まれる画像に付与する。また、タグ情報付与部３０は、検出されたイベントに対応するタグ情報として、検出されたサブイベントに対応するタグ情報を、イベント画像群に含まれる画像に付与する。

イベントに対応するタグ情報の名称は、例えば、そのイベントの名称と同じ名称や、そのイベントと関連性のある名称であり、第１オブジェクトに対応するタグ情報の名称とは異なる。例えば、イベントが旅行であり、第１オブジェクトが自動車である場合、イベントに対応するタグ情報の名称は、例えば、イベントの名称と同じ旅行であり、第１オブジェクトの名称である自動車とは異なる。サブイベントの場合も同様である。

一方、クライアント１４は、例えば、PC(パーソナルコンピュータ)、タブレットPC、スマートフォンのように、各々のユーザが所有する端末装置の一例である。クライアント１４は、例えば、キーボード、マウス、タッチパネル等の入力部、液晶ディスプレイ、タッチパネル等の表示部、入力部がユーザから入力された指示を取得する処理および表示部が各種情報を表示する処理等を制御する制御部等を備えている。

なお、サーバ１２およびクライアント１４は、それぞれ、両者の間でネットワーク１６を介して各種データの送受信を行う送受信部を備えているが、本実施形態では、煩雑さを防ぐために送受信部等の記載を省略している。

次に、図３〜図５に示すフローチャートを参照しながら、画像処理システム１０の動作を説明する。

まず、ユーザにより、クライアント１４において、イベントと、イベントに対応する第１オブジェクトおよびその画像を指定する指示が入力される。この指示は、ユーザのクライアント１４からネットワーク１６を介してサーバ１２へ送信される。

ユーザは、本実施形態の場合、イベントとして、「旅行」および「学校行事」の２つを指定する。イベントとして「旅行」を指定する場合、「旅行」に対応する第１オブジェクトおよびその画像として、図６（A）に示すように、「マイカー」およびその１以上の画像を指定する。また、イベントとして「学校行事」を指定する場合、「学校行事」に対応する第１オブジェクトおよびその画像として、図６（B）に示すように、「校舎」およびその１以上の画像を指定する。

サーバ１２では、指示取得部１８により、ユーザのクライアント１４からネットワーク１６を介して送信されてきたユーザの指示が取得される。

続いて、指示取得部１８が取得したユーザの指示に応じて指定されたイベントと、ユーザの指示に応じて指定されたイベントに対応する第１オブジェクトおよびその画像とが関連付けられてイベントテーブル２０に記憶される（ステップS1）。

続いて、ユーザにより、各種のイベントにおいて、画像の撮影が行われる。

ユーザは、各々のイベントにおいて、イベントに関連付けてイベントテーブル２０に記憶された第１オブジェクトの画像を撮影する。イベントが「旅行」の場合には、「旅行」に対応する第１オブジェクトとしてイベントテーブル２０に記憶された「マイカー」を撮影する。また、イベントが「学校行事」の場合には、「学校行事」に対応する第１オブジェクトとしてイベントテーブル２０に記憶された「校舎」を撮影する。

続いて、ユーザにより、クライアント１４において、処理対象となる画像群を指定する指示が入力される。

ユーザは、本実施形態の場合、処理対象となる画像群として、「旅行」および「学校行事」で撮影された画像を含む画像群を指定する。

同様に、指示取得部１８により、ユーザの指示が取得され、指示取得部１８が取得したユーザの指示に基づいて、画像群取得部２２により、ユーザが所有する画像群が取得される（ステップS2）。

続いて、画像解析部２４により、画像解析として、画像群に含まれる画像に存在する人物およびオブジェクトの検出、画像における人物およびオブジェクトの領域の位置および面積の検出が行われる（ステップS3）。

続いて、タグ情報付与部３０により、画像解析部２４による画像の解析結果に基づいて、画像群に含まれる画像に存在するオブジェクトに対応するタグ情報が画像に付与される（ステップS4）。

また、画像解析部２４により、画像解析として、イベントテーブル２０に記憶された第１オブジェクトの画像と画像群に含まれる画像とが比較され、画像群の中から、第１オブジェクトに合致する第２オブジェクトが存在する画像が検出される（ステップS5）。

画像解析部２４は、本実施形態の場合、第１オブジェクトに合致する第２オブジェクトが存在する画像として、画像群の中から、イベントテーブル２０に記憶された「マイカー」に合致する「マイカー」が存在する画像、および、イベントテーブル２０に記憶された「校舎」に合致する「校舎」が存在する画像を検出する。

続いて、画像群の中から、第１オブジェクトに合致する第２オブジェクトが存在する画像が検出されたか否かの確認が行われる。

本実施形態の場合、まず、イベント検出部２６により、画像群の中から、イベントテーブル２０に記憶された「マイカー」に合致する「マイカー」が存在する画像が検出されたか否かの確認が行われる（ステップS6）。

その結果、画像群の中から、イベントテーブル２０に記憶された「マイカー」に合致する「マイカー」が存在する画像が検出されなかった場合（ステップS6でNo）には、ステップS13へ進む。
一方、画像群の中から、イベントテーブル２０に記憶された「マイカー」に合致する「マイカー」が存在する画像が検出された場合（ステップS6でYes）には、イベント検出部２６により、イベントテーブル２０に基づいて、図７（A）に点線で囲んで示すように、検出された画像に存在する「マイカー」に合致する、イベントテーブル２０に記憶された「マイカー」に関連付けて記憶されたイベントとして「旅行」が検出される（ステップS7）。

続いて、イベント画像群特定部２８により、画像群に含まれる画像の付帯情報に基づいて、画像群の中から、図７（A）に実線で囲んで示すように、イベント検出部２６が検出したイベントである「旅行」に対応するイベント画像群として、撮影日付が、2014/3/8の画像群が特定される（ステップS8）。

続いて、タグ情報付与部３０により、図７（A）に示すように、イベント検出部２６が検出したイベントである「旅行」に対応するタグ情報として「旅行」が、イベント画像群特定部２８が特定したイベント画像群に含まれる画像に付与される（ステップS9）。

ここで、イベント画像群特定部２８は、例えば、付帯情報に含まれる画像の撮影時刻に基づいて、画像群の中から、検出された画像の撮影時刻を含む一定の撮影期間内に含まれる画像群を、イベント画像群として特定することができる（ステップS10）。
この場合、タグ情報付与部３０は、検出されたイベントに対応し、さらに、イベント画像群に含まれる画像であって、一定の撮影期間内に撮影された画像の間で共通する撮影日付に対応するタグ情報をイベント画像群に含まれる画像に付与する（ステップS11）。

なお、一定の撮影期間は、検出された画像の撮影日、および、検出された画像の撮影日を含む一定の日数により決定される。また、一定の日数は、あらかじめ画像処理システム１０に設定された日数でもよいし、ユーザの指示に応じて指定された日数でもよい。また、画像の撮影期間は、画像の撮影日から前の一定の日数または後の一定の日数でもよいし、画像の撮影日の前後の一定の日数でもよい。

また、タグ情報付与部３０は、検出されたイベントに対応し、さらに、イベント画像群に含まれる画像を代表する撮影場所に対応するタグ情報をイベント画像群に含まれる画像に付与することができる（ステップS12）。

タグ情報付与部３０は、イベント画像群に含まれる画像の撮影場所のうち、閾値以上の割合の撮影場所が属する地域名を、イベント画像群に含まれる画像を代表する撮影場所であると判定することができる。

例えば、図８に点線で囲んで示すように、検出された画像の撮影時刻（撮影日付）が、2014/8/2であり、イベント画像群に含まれる大半の画像、つまり、イベント画像群に含まれる画像のうち、例えば、自宅で撮影された「マイカー」の画像や、自宅から旅行先までの途中で撮影された画像以外の旅行先で撮影された画像の撮影位置（撮影場所）に対応する緯度および経度が、緯度：XX〜YY、経度：AA〜BBに含まれているとする。

この場合、タグ情報付与部３０は、さらに、2014/8/2±α（αは、撮影時刻の許容値）の撮影期間内に撮影された画像の間で共通する撮影日付である2014/8のタグ情報を「旅行」のイベント画像群に含まれる画像に付与するとともに、緯度：XX〜YY、経度：AA〜BBの撮影場所範囲内で撮影されたイベント画像群に含まれる画像を代表する撮影場所が長野県近隣である場合、「長野」のタグ情報を「旅行」のイベント画像群に含まれる画像に付与する。

その結果、「旅行」のイベント画像群に含まれる画像には、図８に示すように、「2014/8 長野旅行」のタグ情報が付与される。このように、イベントに対応するタグ情報として、「旅行」よりも詳細なタグ情報を付与することが可能である。

続いて、イベント検出部２６により、画像群の中から、イベントテーブル２０に記憶された「校舎」に合致する「校舎」が存在する画像が検出されたか否かの確認が行われる（ステップS13）。

その結果、画像群の中から、イベントテーブル２０に記憶された「校舎」に合致する「校舎」が存在する画像が検出されなかった場合（ステップS13でNo）には、処理を終了する。
一方、画像群の中から、イベントテーブル２０に記憶された「校舎」に合致する「校舎」が存在する画像が検出された場合（ステップS13でYes）には、イベント検出部２６により、イベントテーブル２０に基づいて、図７（B）に点線で囲んで示すように、検出された画像に存在する「校舎」に合致する、イベントテーブル２０に記憶された「校舎」に関連付けて記憶されたイベントとして「学校行事」が検出される（ステップS14）。

続いて、イベント画像群特定部２８により、画像群に含まれる画像の付帯情報に基づいて、画像群の中から、図７（B）に実線で囲んで示すように、イベント検出部２６が検出したイベントである「学校行事」に対応するイベント画像群として、撮影日付が、2014/4/4の画像群が特定される（ステップS15）。

続いて、タグ情報付与部３０により、図７（B）に示すように、イベント検出部２６が検出したイベントである「学校行事」に対応するタグ情報として「学校行事」が、イベント画像群特定部２８が特定したイベント画像群に含まれる画像に付与される（ステップS16）。

続いて、画像解析部２４により、画像解析として、イベントテーブル２０に記憶された第３オブジェクトの画像と画像群に含まれる画像とが比較され、イベント画像群の中から、第３オブジェクトに合致する第４オブジェクトが存在する画像が検出される（ステップS17）。

日本では、運動会では赤白帽をかぶる児童がしばしば見られるので、イベントテーブル２０においては、「赤白帽」に関連付けて「運動会」というサブイベントが関連付けられている。画像解析部２４は、イベント画像群の中から、イベントテーブル２０に記憶された「赤白帽」に合致する「赤白帽」が存在する画像を検出する。

続いて、イベント検出部２６により、イベント画像群の中から、イベントテーブル２０に記憶された「赤白帽」に合致する「赤白帽」が存在する画像が検出されたか否かの確認が行われる（ステップS18）。

その結果、画像群の中から、イベントテーブル２０に記憶された「赤白帽」に合致する「赤白帽」が存在する画像が検出されなかった場合（ステップS18でNo）には、処理を終了する。
一方、画像群の中から、イベントテーブル２０に記憶された「赤白帽」に合致する「赤白帽」が存在する画像が検出された場合（ステップS18でYes）には、イベント検出部２６が、「赤白帽」に合致するサブイベントの検出を行う。すなわち、イベントテーブル２０に基づいて、図９に示すように、「赤白帽」に関連付けて記憶されたサブイベントとして「運動会」が検出される（ステップS19）。

続いて、タグ情報付与部３０により、検出されたイベントに対応するタグ情報として、検出されたサブイベントである「運動会」に対応するタグ情報が、イベント画像群に含まれる画像に付与される（ステップS20）。

例えば、図９に示すように、イベント画像群に含まれる画像の撮影日付が、2014/5/27の場合、タグ情報付与部３０は、撮影日付の2014/5/27、および、サブイベントである「運動会」に対応するタグ情報を、「学校行事」のイベント画像群に含まれる画像に付与する。

その結果、「学校行事」のイベント画像群に含まれる画像には、「学校行事」のタグ情報の代わりに、図９に示すように、「2014/5/27 運動会」のタグ情報が付与される。このように、イベントの代わりにサブイベントに対応するタグ情報を付与することが可能である。

上記のように、画像処理システム１０では、イベントと、イベントに対応する第１オブジェクトおよびその画像とを関連付けて記憶しておき、ユーザが所有する画像群の中から、第１オブジェクトに合致する第２オブジェクトが存在する画像を検出し、検出された画像に存在する第２オブジェクトに合致する第１オブジェクトに関連付けて記憶されたイベントを検出し、検出されたイベントに対応するタグ情報を、イベント画像群に含まれる画像に付与する。

これにより、ユーザは、イベントにおいて、そのイベントに関連付けて記憶された第１オブジェクトを撮影するだけで、そのイベントに対応するタグ情報を、そのイベントにおいて撮影されたイベント画像群に含まれる画像に付与することができる。イベントに対応するタグ情報は、例えば、フォトブック（電子アルバム）等の付加価値商材の作成アシストに使用することができる。

なお、イベントテーブル２０は、さらに、イベントと、イベントの特徴を表すイベント情報とを関連付けて記憶してもよい。

この場合、画像解析部２４は、さらに、画像群の中から、イベント情報に合致する画像を検出し、イベント検出部２６は、第２オブジェクトが存在する画像が検出され、かつ、イベント情報に合致する画像が検出された場合に、イベントテーブル２０に基づいて、第２オブジェクトに合致する第１オブジェクトに関連付けて記憶され、かつ、イベント情報に関連付けて記憶されたイベントを検出する。

また、イベント情報は、例えば、画像の撮影日付、画像の撮影場所、画像に存在する人物のうちの少なくとも１つを含む情報を使用することができる。

イベントが「旅行」である場合、イベント情報として、「旅行」のイベント画像群に含まれる画像の撮影日付が土日、祝日、夏休み期間、冬休み期間である、家族が３名以上写っている画像があること等を例示することができる。また、イベントが「学校行事」である場合、イベント情報として、「学校行事」のイベント画像群に含まれる画像の撮影場所（GPS情報）が学校のある場所である、自分の子供が写っている画像があること等を例示することができる。

このように、イベント情報を利用することにより、各イベントの判定の精度を向上させることができる。

なお、イベントテーブル２０は、イベントと、画像処理システム１０にあらかじめ設定されているイベント情報とを関連付けて記憶してもよいし、イベントと、ユーザの指示に応じて指定されたイベント情報とを関連付けて記憶してもよい。

また、イベントテーブル２０は、画像処理システム１０にあらかじめ設定されているイベントと、第１オブジェクトおよびその画像とを関連付けて記憶してもよいし、指示取得部１８が取得したユーザの指示に応じて指定されたイベントと、ユーザの指示に応じて指定された第１オブジェクトおよびその画像とを関連付けて記憶してもよい。サブイベント、第３オブジェクトおよびその画像についても同様である。

また、画像群取得部２２が処理対象の画像群を取得する場所（クライアント１４上の特定のフォルダ等）があらかじめ決定されている場合、画像群取得部２２は、ユーザの指示に応じてその格納場所に格納された画像群を取得してもよい。

また、ユーザは、イベントに対応する第２オブジェクトが存在する画像を、そのイベントで撮影する最初の画像として撮影してもよいし、最後の画像として撮影してもよいし、イベントの途中で撮影してもよい。また、ユーザは、第２オブジェクトが存在する画像を１枚以上撮影すればよい。ユーザは、例えば、第１オブジェクトが存在する２枚の画像を、イベントで撮影する最初の画像および最後の画像として撮影してもよい。

イベント画像群特定部２８は、画像群の中から、第２オブジェクトが存在する画像と撮影日が同じ画像を、イベント画像群として特定してもよい。また、画像群に含まれる画像を撮影時刻の順序で時系列に並べた場合に、第２オブジェクトが存在する画像を含み、かつ、隣り合う２枚の画像の撮影間隔が閾値以下である一連の画像を、イベント画像群として特定してもよい。さらに、第１オブジェクトが存在する２枚の画像を、イベントで撮影する最初の画像および最後の画像として撮影した場合には、画像群に含まれる画像を撮影時刻の順序で時系列に並べた場合に、第２オブジェクトが存在し、かつ、撮影時刻が異なる２枚の画像の間に含まれる一連の画像を、イベント画像群として特定してもよい。

また、イベント画像群特定部２８は、画像群の中から、第２オブジェクトが存在する画像の撮影場所に基づいて、撮影場所が一定の範囲内にある画像を、イベント画像群として特定してもよい。例えば、イベントテーブルで、イベントとして「仕事」、第１オブジェクトとして「（会社の中庭に植わっている）楡の木」、および第１オブジェクトの画像としてその楡の木の画像を関連付けておいて、画像群に含まれる画像の撮影場所情報が、「楡の木」が存在する画像の撮影場所の周囲の一定の範囲内にある画像を、イベント「仕事」に対応するイベント画像群として特定してもよい。

また、タグ情報付与部３０がオブジェクトに対応するタグ情報を画像に付与することは必須ではなく、あらかじめオブジェクトに対応するタグ情報が付与された画像を含む画像群を使用してもよい。

上記実施形態では、本発明の画像処理装置に相当する全ての機能をサーバ１２側に配置しているが、これに限定されず、例えば、その一部の機能をクライアント１４側に配置してもよいし、全ての機能をクライアント１４側に配置してもよい。

本発明の装置は、装置が備える各々の構成要素を専用のハードウェアで構成してもよいし、各々の構成要素をプログラムされたコンピュータで構成してもよい。
本発明の方法は、例えば、その各々のステップをコンピュータに実行させるためのプログラムにより実施することができる。また、このプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供することもできる。

以上、本発明について詳細に説明したが、本発明は上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。

１０ 画像処理システム
１２ サーバ
１４ クライアント
１６ ネットワーク
１８ 指示取得部
２０ イベントテーブル
２２ 画像群取得部
２４ 画像解析部
２６ イベント検出部
２８ イベント画像群特定部
３０ タグ情報付与部

Claims (23)

1. イベントと、前記イベントに対応する第１オブジェクトおよび１以上の前記第１オブジェクトの画像とを関連付けて記憶するイベントテーブルと、
   前記第１オブジェクトの画像および画像群に含まれる画像の解析を行い、前記画像群の中から、前記第１オブジェクトに合致する第２オブジェクトが存在する画像のみを検出する画像解析部と、
   前記第２オブジェクトが存在する画像が検出された場合に、前記イベントテーブルに基づいて、前記検出された画像に存在する第２オブジェクトに合致する第１オブジェクトに関連付けて記憶されたイベントを検出するイベント検出部と、
   前記画像群に含まれる画像の付帯情報に基づいて、前記画像群の中から、前記検出されたイベントに対応するイベント画像群を特定するイベント画像群特定部と、
   前記画像の解析結果に基づいて、前記検出されたイベントの名称および前記検出されたイベントと関連性のある名称の少なくとも一方と同じ名称のタグ情報であり、かつ、前記第１オブジェクトの名称および前記第１オブジェクトと関連性のある名称の少なくとも一方とは異なる名称のタグ情報を、前記イベント画像群に含まれる全ての画像に付与するタグ情報付与部とを備える画像処理装置。
2. さらに、ユーザにより入力された指示を受け取る指示取得部を備え、
   前記イベントテーブルは、前記指示に応じて指定されたイベントと、前記指示に応じて指定された第１オブジェクトおよび前記第１オブジェクトの画像とを関連付けて記憶する請求項１に記載の画像処理装置。
3. 前記イベント画像群特定部は、前記付帯情報に含まれる画像の撮影時刻に基づいて、前記画像群の中から、前記検出された画像の撮影時刻を含む一定の撮影期間内に含まれる画像群を、前記イベント画像群として特定し、
   前記タグ情報付与部は、前記検出されたイベントに対応し、さらに、前記イベント画像群に含まれる画像であって、前記一定の撮影期間内に撮影された画像の間で共通する撮影日付に対応するタグ情報を前記イベント画像群に含まれる画像に付与する請求項２に記載の画像処理装置。
4. 前記一定の撮影期間は、前記検出された画像の撮影日、および、前記検出された画像の撮影日を含む一定の日数により決定される請求項３に記載の画像処理装置。
5. 前記一定の日数は、あらかじめ設定された日数である請求項４に記載の画像処理装置。
6. 前記一定の日数は、前記指示に応じて指定された日数である請求項４に記載の画像処理装置。
7. 前記タグ情報付与部は、前記検出されたイベントに対応し、さらに、前記イベント画像群に含まれる画像を代表する撮影場所に対応するタグ情報を前記イベント画像群に含まれる画像に付与する請求項３〜６のいずれか一項に記載の画像処理装置。
8. 前記タグ情報付与部は、前記イベント画像群に含まれる画像の撮影場所のうち、閾値以上の割合の撮影場所が属する地域名を前記代表する撮影場所であると判定する請求項７に記載の画像処理装置。
9. 前記イベントテーブルは、さらに、サブイベントと、前記サブイベントに対応する第３オブジェクトおよび前記第３オブジェクトの画像とを関連付けて記憶し、
   前記画像解析部は、さらに、前記第３オブジェクトおよび前記イベント画像群に含まれる画像の解析を行い、前記イベント画像群の中から、前記第３オブジェクトに合致する第４オブジェクトが存在する画像のみを検出し、
   前記イベント検出部は、前記第４オブジェクトが存在する画像が検出された場合に、前記イベントテーブルに基づいて、前記第４オブジェクトに合致する第３オブジェクトに関連付けて記憶されたサブイベントを検出し、
   前記タグ情報付与部は、前記検出されたイベントの名称と同じ名称および前記検出されたイベントと関連性のある名称の少なくとも一方の名称のタグ情報として、前記検出されたサブイベントの名称と同じ名称および前記検出されたサブイベントと関連性のある名称の少なくとも一方の名称のタグ情報を、前記イベント画像群に含まれる全ての画像に付与する請求項２〜８のいずれか一項に記載の画像処理装置。
10. 前記イベントテーブルは、前記指示に応じて指定されたサブイベントと、前記指示に応じて指定された第３オブジェクトおよび前記第３オブジェクトの画像とを関連付けて記憶する請求項９に記載の画像処理装置。
11. 前記イベントテーブルは、さらに、前記イベントと、前記イベントの特徴を表すイベント情報とを関連付けて記憶し、
    前記画像解析部は、さらに、前記画像群の中から、前記イベント情報に合致する画像を検出し、
    前記イベント検出部は、前記第２オブジェクトが存在する画像が検出され、かつ、前記イベント情報に合致する画像が検出された場合に、前記イベントテーブルに基づいて、前記第２オブジェクトに合致する第１オブジェクトに関連付けて記憶され、かつ、前記イベント情報に関連付けて記憶されたイベントを検出する請求項２〜１０のいずれか一項に記載の画像処理装置。
12. 前記イベントテーブルは、前記イベントと、前記指示に応じて指定されたイベント情報とを関連付けて記憶する請求項１１に記載の画像処理装置。
13. 前記イベント情報は、画像の撮影日付、画像の撮影場所、画像に存在する人物のうちの少なくとも１つを含む請求項１１または１２に記載の画像処理装置。
14. 前記イベント画像群特定部は、前記画像群の中から、前記第２オブジェクトが存在する画像と撮影日が同じ画像を、前記イベント画像群として特定する請求項１〜１３のいずれか一項に記載の画像処理装置。
15. 前記イベント画像群特定部は、前記画像群に含まれる画像を撮影時刻の順序で時系列に並べた場合に、前記第２オブジェクトが存在する画像を含み、かつ、隣り合う２枚の画像の撮影間隔が閾値以下である一連の画像を、前記イベント画像群として特定する請求項１〜１３のいずれか一項に記載の画像処理装置。
16. 前記イベント画像群特定部は、前記画像群に含まれる画像を撮影時刻の順序で時系列に並べた場合に、前記第２オブジェクトが存在し、かつ、撮影時刻が異なる２枚の画像の間に含まれる一連の画像を、前記イベント画像群として特定する請求項１〜１３のいずれか一項に記載の画像処理装置。
17. イベントテーブルが、イベントと、前記イベントに対応する第１オブジェクトおよび１以上の前記第１オブジェクトの画像とを関連付けて記憶するステップと、
    画像解析部が、前記第１オブジェクトの画像および画像群に含まれる画像の解析を行い、前記画像群の中から、前記第１オブジェクトに合致する第２オブジェクトが存在する画像のみを検出するステップと、
    イベント検出部が、前記第２オブジェクトが存在する画像が検出された場合に、前記イベントテーブルに基づいて、前記検出された画像に存在する第２オブジェクトに合致する第１オブジェクトに関連付けて記憶されたイベントを検出するステップと、
    イベント画像群特定部が、前記画像群に含まれる画像の付帯情報に基づいて、前記画像群の中から、前記検出されたイベントに対応するイベント画像群を特定するステップと、
    タグ情報付与部が、前記画像の解析結果に基づいて、前記検出されたイベントの名称および前記検出されたイベントと関連性のある名称の少なくとも一方と同じ名称のタグ情報であり、前記第１オブジェクトの名称および前記第１オブジェクトと関連性のある名称の少なくとも一方とは異なる名称のタグ情報を、前記イベント画像群に含まれる全ての画像に付与するステップとを含む画像処理方法。
18. 前記イベント画像群を特定するステップは、前記付帯情報に含まれる画像の撮影時刻に基づいて、前記画像群の中から、前記検出された画像の撮影時刻を含む一定の撮影期間内に含まれる画像群を、前記イベント画像群として特定し、
    前記タグ情報を付与するステップは、前記検出されたイベントに対応し、さらに、前記イベント画像群に含まれる画像であって、前記一定の撮影期間内に撮影された画像の間で共通する撮影日付に対応するタグ情報を前記イベント画像群に含まれる画像に付与する請求項１７に記載の画像処理方法。
19. 前記タグ情報を付与するステップは、前記検出されたイベントに対応し、さらに、前記イベント画像群に含まれる画像を代表する撮影場所に対応するタグ情報を前記イベント画像群に含まれる画像に付与する請求項１８に記載の画像処理方法。
20. さらに、前記イベントテーブルが、サブイベントと、前記サブイベントに対応する第３オブジェクトおよび前記第３オブジェクトの画像と関連付けて記憶するステップと、
    前記画像解析部が、さらに、前記第３オブジェクトの画像および前記イベント画像群に含まれる画像の解析を行い、前記イベント画像群の中から、前記第３オブジェクトに合致する第４オブジェクトが存在する画像のみを検出するステップとを含み、
    前記イベントを検出するステップは、前記第４オブジェクトが存在する画像が検出された場合に、前記イベントテーブルに基づいて、前記第４オブジェクトに合致する第３オブジェクトに関連付けて記憶されたサブイベントを検出し、
    前記タグ情報を付与するステップは、前記検出されたイベントの名称と同じ名称および前記検出されたイベントと関連性のある名称の少なくとも一方の名称のタグ情報として、前記検出されたサブイベントの名称と同じ名称および前記検出されたサブイベントと関連性のある名称の少なくとも一方の名称のタグ情報を、前記イベント画像群に含まれる全ての画像に付与する請求項１７〜１９のいずれか一項に記載の画像処理方法。
21. さらに、前記イベントテーブルが、前記イベントと、前記イベントの特徴を表すイベント情報とを関連付けて記憶するステップと、
    前記画像解析部が、さらに、前記画像群の中から、前記イベント情報に合致する画像を検出するステップとを含み、
    前記イベントを検出するステップは、前記第２オブジェクトが存在する画像が検出され、かつ、前記イベント情報に合致する画像が検出された場合に、前記イベントテーブルに基づいて、前記第２オブジェクトに合致する第１オブジェクトに関連付けて記憶され、かつ、前記イベント情報に関連付けて記憶されたイベントを検出する請求項１７〜２０のいずれか一項に記載の画像処理方法。
22. 請求項１７〜２１のいずれか一項に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラム。
23. 請求項１７〜２１のいずれか一項に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体。

Images