JP2018005843A - 画像処理装置、画像処理方法、プログラムおよび記録媒体 - Google Patents

Abstract

【課題】複数のユーザから収集された複数の画像の中から、フォトアルバムのテーマに合致した画像を選別することができる画像処理装置、画像処理方法、プログラムおよび記録媒体を提供する。【解決手段】本発明の画像処理装置、画像処理方法、プログラムおよび記録媒体においては、情報取得部が、主テーマを構成する２以上のサブテーマに対応する２以上の収集対象画像情報を、複数のユーザのうちの少なくとも一人の第１ユーザから取得する。画像収集部が、複数のユーザの各々が所有する複数の画像を、複数のユーザから収集する。画像選択部が、２以上の収集対象画像情報に基づいて、複数の画像の中から少なくとも一部の画像を選択する。タグ情報付与部が、少なくとも一部の画像の各々に対し、２以上の収集対象画像情報のいずれかに対応するタグ情報を付与する。【選択図】図２

Description

本発明は、複数のユーザから収集された複数の画像の中から、フォトアルバムのテーマに合致した画像を選別してフォトアルバムを作成する画像処理装置、画像処理方法、プログラムおよび記録媒体に関する。

現在、ユーザが所有する複数の画像（画像データ）を、インターネット等を経由して取得し、ユーザから取得した複数の画像を用いてユーザが希望するレイアウトのフォトアルバムを作成するサービスが提供されている。

近年では、一人のユーザが所有する複数の画像だけを用いてフォトアルバムを作成するだけでなく、複数のユーザが所有する複数の画像を用いて１つのフォトアルバムを作成するもの（特許文献１および２参照）が知られている。

また、クライアント端末から画像検索条件を取得し、画像読取装置に保存されている画像群の中から画像検索条件に合致する画像を定期的に検索して収集するもの（特許文献３）、および、クライアント用携帯端末からの要求に応じて、情報提供を要求する情報種別に該当する情報の提供に参加するユーザを検索し、該当するユーザが所有するユーザ用携帯端末に対して、情報提供の要求を送信するもの（特許文献４）等が知られている。

特開２００８−２５７３０８号公報 特開２０１５−０６９４３１号公報 特開２００３−２４８６９９号公報 特開２００８−２４２５５３号公報

特許文献３には、画像検索条件として、ファイル名、作成者名、保存日が例示されているが、フォトアルバムのテーマに合わせて画像を収集することは記載されていない。また、特許文献４には、クライアントからの要求に応じて、情報提供の情報種別に該当するユーザから画像等を収集することは記載されているが、収集された画像等を用いて合成画像等を作成することは記載されていない。

また、複数のユーザが共同で一つのフォトアルバムを作成する場合、様々なユーザから様々な画像を収集するため、作成しようとするフォトアルバムのテーマに合致しない多種多様な画像が収集される。

例えば、結婚式のフォトアルバムを作成する場合であっても、結婚式とは全然関係のない画像が収集される場合がある。また、同一または類似した画像が収集される。例えば、結婚式の場合、複数のユーザが同じ角度から新郎・新婦を撮影するため、複数のユーザから同一または類似した画像が収集される場合がある。また、誰が何の目的のために撮影したのか分からない画像が収集される場合がある。

また、収集された画像は、フォトアルバムを作成する際に撮影日時等によって分類されるが、収集された複数の画像を時系列に並べた場合、撮影日時の情報がない画像は、例えば、時系列の最後の方にまとめて並べられる。

このように、多種多様な画像および撮影日時の情報がない画像等が収集された場合、テーマに合致したストーリー性のあるフォトアルバムを作成することが難しくなるという問題があった。

本発明の第１の目的は、複数のユーザから収集された複数の画像の中から、フォトアルバムのテーマに合致した画像を選別することができる画像処理装置、画像処理方法、プログラムおよび記録媒体を提供することにある。

本発明の第２の目的は、上記第１の目的に加えて、複数のユーザから収集された複数の画像を用いて、テーマに合致したストーリー性のあるフォトアルバムを作成することができる画像処理装置、画像処理方法、プログラムおよび記録媒体を提供することにある。

上記目的を達成するために、本発明は、主テーマを構成する２以上のサブテーマに対応する２以上の収集対象画像情報を、複数のユーザのうちの少なくとも一人の第１ユーザから取得する情報取得部と、
複数のユーザの各々が所有する複数の画像を、複数のユーザから収集する画像収集部と、
２以上の収集対象画像情報に基づいて、複数の画像の中から少なくとも一部の画像を選択する画像選択部と、
少なくとも一部の画像の各々に対し、２以上の収集対象画像情報のいずれかに対応するタグ情報を付与するタグ情報付与部とを備える、画像処理装置を提供する。

ここで、情報取得部は、２以上の収集対象画像情報として、第１ユーザによって設定された２以上の収集対象画像情報を取得することが好ましい。

さらに、複数の主テーマを記憶するテーマ記憶部と、
複数の主テーマの中から第１ユーザによって選択された選択主テーマを構成する２以上の選択サブテーマに対応する２以上の選択収集対象画像情報を生成する収集対象画像情報生成部とを備え、
情報取得部は、２以上の収集対象画像情報として、２以上の選択収集対象画像情報を取得することが好ましい。

また、主テーマは、主テーマに対応する第１キーワードおよび主テーマを構成する２以上のサブテーマに対応する２以上の第２キーワードを含み、
収集対象画像情報生成部は、複数の第１キーワードの中から第１ユーザによって選択された選択第１キーワードに対応する選択主テーマを構成する２以上の選択サブテーマに対応する２以上の選択第２キーワードに対し、第１ユーザによって入力された情報に基づいて２以上の選択収集対象画像情報を生成することが好ましい。

また、情報取得部は、２以上の収集対象画像情報として、２以上の選択収集対象画像情報が第１ユーザによって修正された２以上の修正収集対象画像情報を取得することが好ましい。

また、画像収集部は、複数の画像を同一の共通フォルダに格納し、
さらに、共通フォルダに格納された複数の画像のうち、２以上の収集対象画像情報に対応する画像を、２以上の収集対象画像情報に対応する２以上の個別フォルダに分類する画像分類部を備え、
タグ情報付与部は、個別フォルダに分類された画像に対し、個別フォルダに対応する収集対象画像情報に基づいてタグ情報を付与することが好ましい。

また、画像分類部は、共通フォルダに格納された複数の画像のうち、２以上の収集対象画像情報に対応しない画像を、未分類フォルダに分類し、
タグ情報付与部は、未分類フォルダに分類された画像に対し、２以上の収集対象画像情報に対応する２以上のタグ情報の中から各々のユーザによって選択されたタグ情報を付与することが好ましい。

また、画像収集部は、複数の画像を、２以上の収集対象画像情報に対応する２以上の個別フォルダの中から各々のユーザによって選択された個別フォルダに格納し、
タグ情報付与部は、個別フォルダに格納された画像に対し、個別フォルダに対応する収集対象画像情報に基づいてタグ情報を付与することが好ましい。

また、２以上の個別フォルダは、同一階層のフォルダであることが好ましい。

また、２以上の個別フォルダは、異なる階層のフォルダを含むことが好ましい。

また、画像収集部は、複数の画像を同一の共通フォルダに格納し、
タグ情報付与部は、共通フォルダに格納された画像に対し、２以上の収集対象画像情報に対応する２以上のタグ情報の中から各々のユーザによって選択されたタグ情報を付与することが好ましい。

タグ情報付与部は、さらに、複数の画像の各々に対し、各々の画像に付与されたタグ情報が各々のユーザによって修正された修正タグ情報を付与し直すことが好ましい。

さらに、複数の画像の各々を解析する画像解析部を備え、
タグ情報付与部は、さらに、各々の画像の解析結果に基づいて、各々の画像に対してタグ情報を付与することが好ましい。

また、タグ情報付与部は、各々の画像に写っている人物の解析結果、各々の画像の撮影日時の解析結果および各々の画像の撮影場所の解析結果のうちの少なくとも１つに基づいて、各々の画像に対してタグ情報を付与することが好ましい。

さらに、同一のタグ情報が付与された画像群の中から少なくとも一部の画像を抽出する画像抽出部と、
同一のタグ情報が付与された画像群の中から抽出された少なくとも一部の画像を用いて合成画像を作成する合成画像作成部と、
それぞれ異なるタグ情報が付与された２以上の画像群に対応する２以上の合成画像を含むフォトアルバムを作成するアルバム作成部とを備えることが好ましい。

さらに、複数のエフェクトおよび複数のスタンプのうちの少なくとも一方を記憶する装飾情報記憶部を備え、
合成画像作成部は、装飾情報記憶部に記憶された複数のエフェクトおよび複数のスタンプの中から、画像群に対応するタグ情報に合致するエフェクトおよびスタンプのうちの少なくとも一方を用いて合成画像を作成することが好ましい。

また、本発明は、情報取得部が、主テーマを構成する２以上のサブテーマに対応する２以上の収集対象画像情報を、複数のユーザのうちの少なくとも一人の第１ユーザから取得するステップと、
画像収集部が、複数のユーザの各々が所有する複数の画像を、複数のユーザから収集するステップと、
画像選択部が、２以上の収集対象画像情報に基づいて、複数の画像の中から少なくとも一部の画像を選択するステップと、
タグ情報付与部が、少なくとも一部の画像の各々に対し、２以上の収集対象画像情報のいずれかに対応するタグ情報を付与するステップとを含む、画像処理方法を提供する。

さらに、画像抽出部が、同一のタグ情報が付与された画像群の中から少なくとも一部の画像を抽出するステップと、
合成画像作成部が、同一のタグ情報が付与された画像群の中から抽出された少なくとも一部の画像を用いて合成画像を作成するステップと、
アルバム作成部が、それぞれ異なるタグ情報が付与された２以上の画像群に対応する２以上の合成画像を含むフォトアルバムを作成するステップとを含むことが好ましい。

また、本発明は、上記に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムを提供する。

また、本発明は、上記に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供する。

このように、本発明によれば、複数のユーザから収集された複数の画像の中から、２以上のサブテーマの各々に対応する収集対象画像情報に基づいて、各々のサブテーマに合致した画像を選別してタグ情報を付与することができる。

また、本発明によれば、同一のタグ情報が付与された画像群毎に、同一のタグ情報が付与された画像群の中から抽出された画像を用いて合成画像を作成し、それぞれ異なるタグ情報が付与された画像群を用いて作成された２以上の合成画像を含むフォトアルバムを作成することにより、テーマに合致したストーリー性のあるフォトアルバムを作成することができる。

本発明に係る画像処理装置の構成を表す一実施形態のブロック図である。 図１に示すサーバの構成を表す一実施形態のブロック図である。 図１に示すユーザの端末装置の構成を表す一実施形態のブロック図である。 図１に示す画像処理装置の動作を表す一実施形態のフローチャートである。 図４に続く画像処理装置の動作を表す一実施形態のフローチャートである。 図５に続く画像処理装置の動作を表す一実施形態のフローチャートである。 主テーマに対応する第１キーワードが表示された画面を表す一実施形態の概念図である。 サブテーマに対応する第２キーワードに対する情報を入力するための画面を表す一実施形態の概念図である。 収集対象画像情報の内容を確認するための画面を表す一実施形態の概念図である。 主テーマとして「一般」が選択された場合に、画像選択条件を入力するための画面を表す一実施形態の概念図である。 複数の画像を分類するための個別フォルダおよび未分類フォルダを表す一実施形態の概念図である。 未分類フォルダに分類された画像にタグ情報を付与するための画面を表す一実施形態の概念図である。 ユーザによってアップロードされた画像を格納する個別フォルダを表す一実施形態の概念図である。

以下に、添付の図面に示す好適実施形態に基づいて、本発明の画像処理装置、画像処理方法、プログラムおよび記録媒体を詳細に説明する。

図１は、本発明に係る画像処理装置の構成を表す一実施形態のブロック図である。図１に示す画像処理装置１０は、サーバ１２と、ネットワーク１６を介してサーバ１２に接続された複数のユーザの端末装置（クライアント）１４とを備えている。画像処理装置１０は、複数のユーザの各々の端末装置１４からネットワーク１６を介して各々のユーザが所有する画像を取得し、取得された複数のユーザの複数の画像を用いてフォトアルバムを作成する。

サーバ１２は、端末装置１４からの指示に基づいて、合成画像を作成するための種々のデータ処理を行うものであり、例えば、デスクトップPC（Personal Computer：パーソナルコンピュータ）またはワークステーション等により構成される。

端末装置１４は、サーバ１２に対して各種の指示を与えて種々のデータ処理を行わせるものであり、例えば、スマートフォン、タブレットPCまたはノートPC等により構成される。

ネットワーク１６は、例えば、電話回線またはインターネット回線等であり、有線または無線によってサーバ１２と端末装置１４との間を相互に接続し、双方向の通信が可能である。

図２は、図１に示すサーバの構成を表す一実施形態のブロック図である。同図に示すサーバ１２は、情報取得部１８と、画像収集部２０と、画像解析部２２と、画像選択部２４と、タグ情報付与部２６と、テーマ記憶部２８と、収集対象画像情報生成部３０と、画像分類部３２と、画像抽出部３４と、装飾情報記憶部３６と、合成画像作成部３８と、アルバム作成部４０とを備えている。

情報取得部１８は、フォトアルバムの主テーマを構成する２以上のサブテーマに対応する２以上の収集対象画像情報を、ネットワーク１６を介して、複数のユーザのうちの少なくとも一人の第１ユーザの端末装置１４から取得する。

なお、情報取得部１８は、例えば、第１ユーザが、サーバ１２において、収集対象画像情報を直接入力することにより、ネットワーク１６を経由することなく、第１ユーザから収集対象画像情報を収集することもできる。

主テーマは、フォトアルバム全体のストーリーを表すテーマであり、サブテーマは、フォトアルバム全体のストーリーを構成する２以上のサブストーリーの各々を表すテーマである。

例えば、主テーマが「結婚式」の場合、サブテーマは、「二人の誕生」、「成長」、「出会い」、「その後の顛末」、「結婚式当日の様子」等である。
また、主テーマが「サークルの演奏会」の場合、サブテーマは、「日々の練習風景」、「その後の飲み会」、「合宿」、「ステージリハーサル」、「本番／打ち上げ」等である。

また、収集対象画像情報は、複数のユーザから収集された複数の画像の中から、各々のサブテーマに合致する画像を選別するための条件を表す情報である。
第１ユーザは、例えば、フォトアルバムを作成する際の取りまとめ役となる幹事のユーザである。

続いて、画像収集部２０は、複数のユーザの各々が所有する複数の画像を、ネットワーク１６を介して、複数のユーザの端末装置１４から収集する。

画像収集部２０は、例えば、複数のユーザの端末装置１４から収集した複数の画像を同一の共通フォルダに格納する、あるいは、２以上の収集対象画像情報に対応する２以上の個別フォルダの中から各々のユーザによって選択された個別フォルダに格納する。

なお、画像収集部２０は、例えば、各々のユーザが、サーバ１２において、SD（Secure Digital：セキュア・デジタル）カード等の記憶装置に記憶された各々のユーザが所有する複数の画像を入力することにより、ネットワーク１６を経由することなく、各々のユーザから、各々のユーザが所有する複数の画像を収集することもできる。

続いて、画像解析部２２は、画像収集部２０によって収集された複数のユーザの複数の画像の各々を解析する。

画像解析部２２は、例えば、画像の明るさ、色合い、ボケおよびブレの程度等の画質の解析、画像のサイズの解析の他、Exif（Exchangeable Image File Format：エクスチェンジャブル・イメージ・ファイル・フォーマット）などの画像の付帯情報に含まれる撮影日時、撮影場所等の解析、画像に写っている人物および人物以外の被写体の解析、画像に写っている人物の顔認識、画像のシーンの解析等を行う。

続いて、画像選択部２４は、情報取得部１８によって取得された２以上の収集対象画像情報に基づいて、画像収集部２０によって収集された複数の画像の中から少なくとも一部の画像を選択する。

画像選択部２４は、複数の画像の中から少なくとも一部の画像を自動で選択するが、これに加えて、複数の画像の中から、各々のユーザによって指定された画像を選択することもできる。

続いて、タグ情報付与部２６は、画像選択部２４によって複数の画像の中から選択された少なくとも一部の画像の各々に対し、２以上の収集対象画像情報のいずれかに対応するタグ情報を付与する。

タグ情報は、各々のサブテーマに関連性のある情報であり、画像選択部２４によって各々のサブテーマに合致するとして選択された画像に対して、各々のサブテーマに関連性のあるタグ情報が付与される。

タグ情報付与部２６は、収集対象画像情報に対応するタグ情報を自動で生成することができる。例えば、収集対象画像情報の数に応じて、「１」、「２」、…というタグ情報を自動で生成し、画像選択部２４による画像の選択に寄与した収集対象画像情報に応じて、その「１」、「２」、…というタグ情報を生成して付与する。あるいは、タグ情報付与部２６は、第１ユーザによって設定されたタグ情報を取得して付与してもよい。

続いて、テーマ記憶部２８は、複数の主テーマを記憶する。

テーマ記憶部２８には、主テーマのテンプレートとして、あらかじめ設定された複数種類の異なる主テーマが記憶されている。また、主テーマは、あらかじめ設定された２以上のサブテーマによって構成されている。テーマ記憶部２８に記憶された各々の主テーマは、その主テーマに対応する第１キーワード、および、主テーマを構成する２以上のサブテーマに対応する２以上の第２キーワードを含む。

続いて、収集対象画像情報生成部３０は、テーマ記憶部２８に記憶された複数の主テーマの中から第１ユーザによって選択された選択主テーマを構成する２以上の選択サブテーマに対応する２以上の選択収集対象画像情報を生成する。

続いて、画像分類部３２は、画像収集部２０によって収集された複数の画像が共通フォルダに格納された場合に、共通フォルダに格納された複数の画像のうち、２以上の収集対象画像情報に対応する画像を、２以上の収集対象画像情報に対応する２以上の個別フォルダに分類する。また、画像分類部３２は、共通フォルダに格納された複数の画像のうち、２以上の収集対象画像情報に対応しない画像を、未分類フォルダに分類する。

複数の画像を個別フォルダに分類することにより、タグ情報付与部２６がタグ情報を付与する際に、各々の個別フォルダに対応する収集対象画像情報に基づいて、各々の個別フォルダに分類された画像に対して自動でタグ情報を付与することができる。

続いて、画像抽出部３４は、タグ情報付与部２６によって同一のタグ情報が付与された画像群の中から少なくとも一部の画像を抽出する。

続いて、装飾情報記憶部３６は、複数のエフェクトおよび複数のスタンプのうちの少なくとも一方を記憶する。

エフェクトは、例えば、各種のフィルタリング処理、画像に写っている人物の喜怒哀楽等を表現する画像を追加する処理、画像の周囲を装飾する枠画像を追加する処理等のように、画像を加工して特定の効果を与える処理である。
スタンプは、各種のイラストである。
エフェクトおよびスタンプは、合成画像を作成する場合に使用することができる。

続いて、合成画像作成部３８は、画像抽出部３４によって同一のタグ情報が付与された画像群の中から抽出された少なくとも一部の画像を用いて合成画像を作成する。

合成画像作成部３８は、例えば、各々の画像の解析結果に基づいて、同一のタグ情報が付与された画像群の中から一定数の画像を合成対象画像として抽出し、各々の合成対象画像のサイズおよび合成画像における配置位置等を決定して、一定数の合成対象画像を、合成画像における合成対象画像の配置領域に配置（自動レイアウト）して合成画像を作成する。

続いて、アルバム作成部４０は、合成画像作成部３８によって作成された、それぞれ異なるタグ情報が付与された２以上の画像群に対応する２以上の合成画像を含むフォトアルバムを作成する。

また、アルバム作成部４０は、合成画像をプリントし、製本することにより、紙媒体のフォトアルバム（フォトブック）を作成してもよいし、これに限らず、フォトアルバムとして、テンプレート上に静止画および動画を含む画像を配置し、ディスプレイ上において閲覧する電子アルバムを作成してもよい。さらに、フォトアルバムとして、テンプレートを利用することなく、ユーザから取得された静止画や動画などを含む各種のコンテンツを順次表示するスライドショー（フォトムービー）を作成してもよい。

情報取得部１８、画像収集部２０、画像解析部２２、画像選択部２４、タグ情報付与部２６、テーマ記憶部２８、収集対象画像情報生成部３０、画像分類部３２、画像抽出部３４、装飾情報記憶部３６、合成画像作成部３８およびアルバム作成部４０は、例えば、CPU（Central Processing Unit：中央処理装置）等の制御デバイスが、メモリにロードされたプログラムを実行することにより実現される。また、各部位によって保存されるデータは、例えば、HDD（Hard Disk Drive：ハードディスクドライブ）、SSD（Solid State Drive：ソリッドステートドライブ）、SDカード等の記憶装置に保存される。

次に、図３は、図１に示すユーザの端末装置の構成を表す一実施形態のブロック図である。同図に示すユーザの端末装置１４は、画像表示部４２と、指示入力部４４とを備えている。

端末装置１４において、画像表示部４２は、各種の画像、設定画面、選択画面、確認画面、入力画面、作成画面等を表示するものであり、例えば、液晶ディスプレイ等の表示デバイスによって構成される。

続いて、指示入力部４４は、ユーザによって入力された各種の設定指示、選択指示、確認指示、入力指示、作成指示等を取得するものであり、例えば、キーボードおよびマウス等の入力デバイスによって構成される。

本実施形態の場合、画像表示部４２および指示入力部４４は、タッチパネル等のように、表示デバイスおよび入力デバイスが一体化されたデバイスによって構成される。

図示省略しているが、サーバ１２および端末装置１４は、例えば、サーバ１２と端末装置１４との間で各種データの送受信を行う通信デバイス等である送受信部、各部位の動作を制御するCPU等である制御部等を備えている。

次に、図４ないし図６に示すフローチャートを参照しながら、画像処理装置１０の動作を説明する。

フォトアルバムを作成する場合、まず、第１ユーザは、フォトアルバムのタイトルを決定する（ステップS1）。

第１ユーザは、第１ユーザの端末装置１４において、例えば、「XXくん結婚記念」というように、指示入力部４４を介して、フォトアルバムのタイトルを入力する。

第１ユーザによってフォトアルバムのタイトルが入力されると、情報取得部１８により、第１ユーザの端末装置１４から、ネットワーク１６を介して、フォトアルバムのタイトルの情報が取得される。

続いて、第１ユーザは、フォトアルバムのテーマを決定する。

この場合、第１ユーザは、指示入力部４４を介して、テーマの決定方法として、テーマ記憶部２８に記憶された複数の主テーマの中から１つの主テーマを選択するか、あるいは、第１ユーザ自身が主テーマの情報を設定（入力）するかを切り替えることができる（ステップS2）。

ステップS2において、テーマ記憶部２８に記憶された複数の主テーマの中から１つの主テーマを選択する場合、テーマ記憶部２８に記憶された複数の主テーマに対応する第１キーワードが、第１ユーザの端末装置１４の画像表示部４２に表示される。

本実施形態の場合、図７に示すように、第１キーワードとして、「結婚式」、「国内旅行」、「両親へのプレゼント」、「卒業記念」が表示される。

続いて、第１ユーザは、指示入力部４４を介して、第１ユーザの端末装置１４の画像表示部４２に表示された、「結婚式」、「国内旅行」、「両親へのプレゼント」、「卒業記念」の第１キーワードの中から１つの第１キーワード（選択第１キーワード）を選択する。これにより、テーマ記憶部２８に記憶された複数の主テーマの中から、選択第１キーワードに対応する１つの主テーマ（選択主テーマ）が選択される（ステップS3）。

第１ユーザによって選択第１キーワードが選択されると、選択第１キーワードに対応する選択主テーマを構成する２以上の選択サブテーマに対応する２以上の選択第２キーワードが、第１ユーザの端末装置１４の画像表示部４２に表示される。

選択第１キーワードが「結婚式」の場合、図８に示すように、選択第２キーワードとして、「新郎誕生日」、「新婦誕生日」、「挙式日時」、「披露宴日時」、「出会った日」、「交際スタート」が表示される。

続いて、第１ユーザは、指示入力部４４を介して、「新郎誕生日」、「新婦誕生日」、「挙式日時」、「披露宴日時」、「出会った日」、「交際スタート」の選択第２キーワード、つまり、選択サブテーマに対する情報を入力する（ステップS4）。

第１ユーザによって選択第２キーワードに対する情報が入力されると、収集対象画像情報生成部３０により、選択第２キーワードに対する情報に基づいて、２以上の選択サブテーマに対応する２以上の選択収集対象画像情報が生成される（ステップS5）。

選択収集対象画像情報が生成されると、図９に示すように、選択収集対象画像情報として、「新郎生誕」、「新婦生誕」、「成長」、「出会い」、「交際」、「挙式」、「披露宴」の情報が表示される。

続いて、第１ユーザは、選択収集対象画像情報の内容を確認し、必要に応じて、指示入力部４４を介して、その内容を修正することができる（ステップS6）。
例えば、図９に示す「交際」の「XXX〜XXX」を「XXX〜YYY」に変更した後、「修正」ボタンをタップすることにより、「交際」の選択収集対象画像情報を修正することができる。その他の選択収集対象画像情報についても同様である。

第１ユーザによって選択収集対象画像情報の内容が修正されない場合、情報取得部１８により、２以上の収集対象画像情報として、２以上の選択収集対象画像情報が取得される。第１ユーザによって選択収集対象画像情報の内容が修正された場合、情報取得部１８により、２以上の収集対象画像情報として、２以上の選択収集対象画像情報が第１ユーザによって修正された２以上の修正収集対象画像情報が取得される（ステップS7）。

また、第１ユーザは、図７に示すように、主テーマとして、「一般」を選択することができる。

主テーマとして「一般」が選択された場合、図１０に示すように、画像選択部２４による画像選択条件として、「顔で探す（顔選択）」、「場所で探す（場所選択）」および「日時で探す（日時入力）」が表示される。

第１ユーザによって「顔で探す（顔選択）」が選択された場合、画像選択部２４により、第１ユーザによって選択された顔画像の人物が写っている画像が選択される。また、「場所で探す（場所選択）」が選択された場合、第１ユーザによって選択された場所において撮影された画像が選択される。「日時で探す（日時入力）」が選択された場合、第１ユーザによって入力された日時に撮影された画像が選択される。

このように、第１ユーザは、複数の画像の中から、画像に写っている人物、画像の撮影日時、および、画像の撮影場所の少なくとも１つに基づいて、画像を選択することもできる。

一方、ステップS2において、第１ユーザ自身が主テーマの情報を設定する場合、第１ユーザは、指示入力部４４を介して、主テーマ、および、主テーマを構成する２以上のサブテーマの内容を設定する（ステップS8）。

第１ユーザは、例えば、主テーマとして、「結婚式」を設定し、さらに、主テーマを構成する２以上のサブテーマとして、「二人の生誕」、「成長」、「出会い」、「顛末」、「結婚式当日の様子」を設定する。

続いて、第１ユーザは、指示入力部４４を介して、２以上のサブテーマに対応する２以上の収集対象画像情報を設定する（ステップS9）。

第１ユーザによって収集対象画像情報が設定されると、情報取得部１８により、２以上の収集対象画像情報として、第１ユーザによって設定された２以上の収集対象画像情報が、ネットワーク１６を介して、第１ユーザの端末装置１４から取得される（ステップS10）。

収集対象画像情報が取得されると、フォトアルバムのタイトル、主テーマ、サブテーマ等が、各々のユーザの端末装置１４の画像表示部４２に表示され、画像収集部２０により、各々のユーザに対して画像をアップロードすることがリクエストされる（ステップS11）。

各々のユーザは、各々のユーザの端末装置１４の画像表示部４２に表示された、フォトアルバムのタイトル、主テーマ、サブテーマ等を参照して、フォトアルバムにおいて使用する画像をアップロードする。

この場合、各々のユーザは、指示入力部４４を介して、タグ付け方法として、画像に対してタグ情報を自動で付与する自動タグ付け機能を利用するか、あるいは、自動タグ付け機能を利用しない、つまり、各々のユーザ自身が画像に対してタグ情報を手動で付与するかを切り替えることができる（ステップS12）。

自動タグ付け機能を利用する場合（ステップS12において、YES）、各々のユーザは、指示入力部４４を介して、フォトアルバムにおいて使用する画像を選択し、アップロードの指示を行う（ステップS13）。

各々のユーザによって画像がアップロードされると、画像収集部２０により、複数のユーザの各々が所有する複数の画像が、ネットワーク１６を介して、複数のユーザの端末装置１４から収集され、同一の共通フォルダに格納される（ステップS14）。

続いて、図１１に示すように、画像分類部３２により、共通フォルダに格納された複数の画像のうち、２以上の収集対象画像情報に対応する画像が、２以上の収集対象画像情報、つまり、２以上のタグ情報に対応する２以上の個別フォルダに分類される。また、共通フォルダに格納された複数の画像のうち、２以上の収集対象画像情報に対応しない画像が、未分類フォルダに分類される（ステップS15）。

続いて、タグ情報付与部２６により、個別フォルダに分類された画像に対し、個別フォルダに対応する収集対象画像情報に基づいてタグ情報が付与される（ステップS16）。

また、図１２に示すように、タグ情報付与部２６により、未分類フォルダに分類された画像に対し、２以上の収集対象画像情報に対応する２以上のタグ情報の中から各々のユーザによって選択されたタグ情報が付与される（ステップS17）。

図１２の例の場合、各々のユーザの端末装置１４の画像表示部４２の画面の左側には、２以上の収集対象画像情報に対応する２以上のタグ情報が表示され、その右側には、未分類フォルダに格納された画像が表示されている。各々のユーザは、指示入力部４４を介して、ドラッグ＆ドロップ操作により、２以上のタグ情報の中から、各々の画像に合致するタグ情報を選択してドラッグし、かつ各々の画像の上にドロップすることによって各々の画像にタグ情報を付与することができる。

一方、自動タグ付け機能を利用しない場合（ステップS12において、NO）、さらに、各々のユーザは、指示入力部４４を介して、アップロード方法として、画像を同一の共通フォルダにアップロードするか、あるいは、２以上の収集対象画像情報に対応する２以上の個別フォルダの各々にアップロードするかを切り替えることができる（ステップS18）。

ステップS18において、画像を同一の共通フォルダにアップロードする場合、各々のユーザは、指示入力部４４を介して、フォトアルバムにおいて使用する画像を選択し、アップロードの指示を行う（ステップS19）。

各々のユーザによって画像がアップロードされると、画像収集部２０により、複数のユーザの各々が所有する複数の画像が、ネットワーク１６を介して、複数のユーザの端末装置１４から収集され、同一の共通フォルダに格納される（ステップS20）。

続いて、タグ情報付与部２６により、共通フォルダに格納された画像に対し、同様に、２以上の収集対象画像情報に対応する２以上のタグ情報の中から各々のユーザによって選択されたタグ情報が付与される（ステップS21）。

また、ステップS18において、画像を各々の個別フォルダにアップロードする場合、各々のユーザは、指示入力部４４を介して、２以上の収集対象画像情報の各々に対応する画像、および、画像をアップロードする個別フォルダを選択し、アップロードの指示を行う（ステップS22）。例えば、画像を選択し、図１３に示す所望の個別フォルダの「Upload（アップロード）」ボタンをタップすることにより、選択した画像を、選択した個別フォルダにアップロードすることができる。

各々のユーザによって画像がアップロードされると、図１３に示すように、画像収集部２０により、複数のユーザの各々が所有する複数の画像が、ネットワーク１６を介して、複数のユーザの端末装置１４から収集され、２以上の収集対象画像情報に対応する２以上の個別フォルダの中から各々のユーザによって選択された個別フォルダに格納される（ステップS23）。

続いて、タグ情報付与部２６により、個別フォルダに格納された画像に対し、個別フォルダに対応する収集対象画像情報に基づいてタグ情報が付与される（ステップS24）。

このように、各々のユーザが、各々のユーザによって選択された個別フォルダに画像をアップロードすることにより、タグ情報付与部２６は、個別フォルダに対応する収集対象画像情報に基づいて自動でタグ情報を付与することができる。

なお、２以上の個別フォルダは、同一階層のフォルダでもよいし、あるいは、異なる階層のフォルダ、つまり、２以上の個別フォルダのうちの少なくとも１つの個別フォルダの中に、その少なくとも１つの個別フォルダ以外の少なくとも１つの個別フォルダを含んでいてもよい。

続いて、各々のユーザは、各々の画像に付与されたタグ情報の内容を確認し、必要に応じて、指示入力部４４を介して、各々の画像に付与されたタグ情報を付与し直すことができる（ステップS25）。

各々のユーザによってタグ情報が付与し直されると、タグ情報付与部２６により、複数の画像の各々に対し、各々の画像に付与されたタグ情報が各々のユーザによって修正された修正タグ情報が付与し直される。

なお、タグ情報付与部２６は、各々の画像の解析結果に基づいて、各々の画像に対してタグ情報を付与してもよい。例えば、タグ情報付与部２６は、各々の画像に写っている人物の解析結果、各々の画像の撮影日時の解析結果および各々の画像の撮影場所の解析結果のうちの少なくとも１つに基づいて、各々の画像に対してタグ情報を付与してもよい。

複数の画像において、画像に写っている人物の登場回数が閾値を超えている場合、複数の画像の中から、この人物が写っている画像を選択し、この人物に関連性のあるタグ情報を付与する。同日または一定の期間において撮影された画像の枚数が閾値を超えている場合、同じ場所または一定の範囲内の場所において撮影された画像の枚数が閾値を超えている場合等も同様である。

例えば、結婚式の画像の場合、新郎・新婦のツーショットの画像、新郎・新婦の二人がよく行った場所、店等において撮影された画像を選択してタグ情報を付与する。また、サークルまたはグループの画像の場合、撮影日毎に、画像を選択してタグ情報を付与する。これにより、この日は、飲み会だったとか、花見に行ったとか、合宿に行ったとか、幹事となる第１ユーザが、イベントを思い出すことができる。

各々の画像に対してタグ情報が付与されると、続いて、画像抽出部３４により、同一のタグ情報が付与された画像群毎に、同一のタグ情報が付与された画像群の中から少なくとも一部の画像が抽出される（ステップS26）。

続いて、合成画像作成部３８により、同一のタグ情報が付与された画像群毎に、同一のタグ情報が付与された画像群の中から抽出された少なくとも一部の画像を用いて合成画像が作成される（ステップS27）。

合成画像作成部３８は、画像群に加えて、装飾情報記憶部３６に記憶された複数のエフェクトおよび複数のスタンプの中から、画像群に対応するタグ情報に合致するエフェクトおよびスタンプのうちの少なくとも一方を用いて合成画像を作成してもよい。

例えば、主テーマが「誕生」の場合、赤ちゃんにマッチするエフェクトおよびスタンプを使用する。また、主テーマが「出会い」、「結婚」等の場合、例えば、「おめでとう」というメッセージ等の幸福そうなエフェクト、クラッカー等のスタンプを使用する。

また、合成画像作成部３８は、各々のユーザに対して、装飾情報記憶部３６に記憶された複数のエフェクトおよび複数のスタンプの中から、画像群に対応するタグ情報に合致するエフェクトおよびスタンプのうちの少なくとも一方をリコメンドし、リコメンドされたエフェクトおよびスタンプの中から、各々のユーザによって選択されたエフェクトおよびスタンプのうちの少なくとも一方を用いて合成画像を作成してもよい。

また、合成画像作成部３８は、装飾情報記憶部３６に記憶された複数のエフェクトおよび複数のスタンプの中から、各々のユーザによって選択されたエフェクトおよびスタンプのうちの少なくとも一方を用いて合成画像を作成してもよい。

最後に、アルバム作成部４０により、それぞれ異なるタグ情報が付与された２以上の画像群に対応する２以上の合成画像を含むフォトアルバムが作成される（ステップS28）。

アルバム作成部４０は、例えば、表紙、複数ページの本編ページ等を含む。２以上の合成画像の各々は、各々の本編ページに配置される。また、フォトアルバムのタイトルの情報に基づいて、フォトアルバムのタイトルをフォトアルバムの表紙に記載してもよい。

このように、画像処理装置１０においては、複数のユーザから収集された複数の画像の中から、２以上のサブテーマの各々に対応する収集対象画像情報に基づいて、各々のサブテーマに合致した画像を選別してタグ情報を付与することができる。

また、画像処理装置１０においては、同一のタグ情報が付与された画像群毎に、同一のタグ情報が付与された画像群の中から抽出された画像を用いて合成画像を作成し、それぞれ異なるタグ情報が付与された画像群を用いて作成された２以上の合成画像を含むフォトアルバムを作成することにより、テーマに合致したストーリー性のあるフォトアルバムを作成することができる。

なお、情報取得部１８、画像収集部２０、画像解析部２２、画像選択部２４、タグ情報付与部２６、テーマ記憶部２８、収集対象画像情報生成部３０、画像分類部３２、画像抽出部３４、装飾情報記憶部３６、合成画像作成部３８およびアルバム作成部４０の全てをサーバ１２が備えることは必須ではなく、そのうちの少なくとも１つが、ユーザの端末装置１４内に備えられていてもよい。

本発明の装置は、装置が備える各々の構成要素を専用のハードウェアで構成してもよいし、各々の構成要素をプログラムされたプロセッサおよびプロセッサを備えるコンピュータ等によって構成してもよい。本発明の方法は、例えば、その各々のステップをコンピュータに実行させるためのプログラムにより実施することができる。また、このプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供することもできる。

以上、本発明について詳細に説明したが、本発明は上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。

１０ 画像処理装置
１２ サーバ
１４ 端末装置（クライアント）
１６ ネットワーク
１８ 情報取得部
２０ 画像収集部
２２ 画像解析部
２４ 画像選択部
２６ タグ情報付与部
２８ テーマ記憶部
３０ 収集対象画像情報生成部
３２ 画像分類部
３４ 画像抽出部
３６ 装飾情報記憶部
３８ 合成画像作成部
４０ アルバム作成部
４２ 画像表示部
４４ 指示入力部

Claims (20)

1. 主テーマを構成する２以上のサブテーマに対応する２以上の収集対象画像情報を、複数のユーザのうちの少なくとも一人の第１ユーザから取得する情報取得部と、
   前記複数のユーザの各々が所有する複数の画像を、前記複数のユーザから収集する画像収集部と、
   前記２以上の収集対象画像情報に基づいて、前記複数の画像の中から少なくとも一部の画像を選択する画像選択部と、
   前記少なくとも一部の画像の各々に対し、２以上の収集対象画像情報のいずれかに対応するタグ情報を付与するタグ情報付与部とを備える、画像処理装置。
2. 前記情報取得部は、前記２以上の収集対象画像情報として、前記第１ユーザによって設定された２以上の収集対象画像情報を取得する、請求項１に記載の画像処理装置。
3. さらに、複数の前記主テーマを記憶するテーマ記憶部と、
   前記複数の主テーマの中から前記第１ユーザによって選択された選択主テーマを構成する２以上の選択サブテーマに対応する２以上の選択収集対象画像情報を生成する収集対象画像情報生成部とを備え、
   前記情報取得部は、前記２以上の収集対象画像情報として、前記２以上の選択収集対象画像情報を取得する、請求項１に記載の画像処理装置。
4. 前記主テーマは、前記主テーマに対応する第１キーワードおよび前記主テーマを構成する２以上の前記サブテーマに対応する２以上の第２キーワードを含み、
   前記収集対象画像情報生成部は、複数の前記第１キーワードの中から前記第１ユーザによって選択された選択第１キーワードに対応する選択主テーマを構成する２以上の選択サブテーマに対応する２以上の選択第２キーワードに対し、前記第１ユーザによって入力された情報に基づいて前記２以上の選択収集対象画像情報を生成する、請求項３に記載の画像処理装置。
5. 前記情報取得部は、前記２以上の収集対象画像情報として、前記２以上の選択収集対象画像情報が前記第１ユーザによって修正された２以上の修正収集対象画像情報を取得する、請求項３または４に記載の画像処理装置。
6. 前記画像収集部は、前記複数の画像を同一の共通フォルダに格納し、
   さらに、前記共通フォルダに格納された前記複数の画像のうち、前記２以上の収集対象画像情報に対応する画像を、前記２以上の収集対象画像情報に対応する２以上の個別フォルダに分類する画像分類部を備え、
   前記タグ情報付与部は、前記個別フォルダに分類された画像に対し、前記個別フォルダに対応する収集対象画像情報に基づいて前記タグ情報を付与する、請求項１ないし５のいずれか一項に記載の画像処理装置。
7. 前記画像分類部は、前記共通フォルダに格納された前記複数の画像のうち、前記２以上の収集対象画像情報に対応しない画像を、未分類フォルダに分類し、
   前記タグ情報付与部は、前記未分類フォルダに分類された画像に対し、前記２以上の収集対象画像情報に対応する２以上のタグ情報の中から前記各々のユーザによって選択されたタグ情報を付与する、請求項６に記載の画像処理装置。
8. 前記画像収集部は、前記複数の画像を、前記２以上の収集対象画像情報に対応する２以上の個別フォルダの中から前記各々のユーザによって選択された個別フォルダに格納し、
   前記タグ情報付与部は、前記個別フォルダに格納された画像に対し、前記個別フォルダに対応する収集対象画像情報に基づいて前記タグ情報を付与する、請求項１ないし５のいずれか一項に記載の画像処理装置。
9. 前記２以上の個別フォルダは、同一階層のフォルダである、請求項６ないし８のいずれか一項に記載の画像処理装置。
10. 前記２以上の個別フォルダは、異なる階層のフォルダを含む、請求項６ないし８のいずれか一項に記載の画像処理装置。
11. 前記画像収集部は、前記複数の画像を同一の共通フォルダに格納し、
    前記タグ情報付与部は、前記共通フォルダに格納された画像に対し、前記２以上の収集対象画像情報に対応する２以上のタグ情報の中から前記各々のユーザによって選択されたタグ情報を付与する、請求項１ないし５のいずれか一項に記載の画像処理装置。
12. 前記タグ情報付与部は、さらに、前記複数の画像の各々に対し、前記各々の画像に付与されたタグ情報が前記各々のユーザによって修正された修正タグ情報を付与し直す、請求項１ないし１１のいずれか一項に記載の画像処理装置。
13. さらに、前記複数の画像の各々を解析する画像解析部を備え、
    前記タグ情報付与部は、さらに、前記各々の画像の解析結果に基づいて、前記各々の画像に対して前記タグ情報を付与する、請求項１ないし１２のいずれか一項に記載の画像処理装置。
14. 前記タグ情報付与部は、前記各々の画像に写っている人物の解析結果、前記各々の画像の撮影日時の解析結果および前記各々の画像の撮影場所の解析結果のうちの少なくとも１つに基づいて、前記各々の画像に対して前記タグ情報を付与する、請求項１３に記載の画像処理装置。
15. さらに、同一の前記タグ情報が付与された画像群の中から少なくとも一部の画像を抽出する画像抽出部と、
    前記同一のタグ情報が付与された画像群の中から抽出された少なくとも一部の画像を用いて前記合成画像を作成する合成画像作成部と、
    それぞれ異なる前記タグ情報が付与された２以上の画像群に対応する２以上の前記合成画像を含むフォトアルバムを作成するアルバム作成部とを備える、請求項１ないし１４のいずれか一項に記載の画像処理装置。
16. さらに、複数のエフェクトおよび複数のスタンプのうちの少なくとも一方を記憶する装飾情報記憶部を備え、
    前記合成画像作成部は、前記装飾情報記憶部に記憶された複数のエフェクトおよび複数のスタンプの中から、前記画像群に対応するタグ情報に合致するエフェクトおよびスタンプのうちの少なくとも一方を用いて前記合成画像を作成する、請求項１５に記載の画像処理装置。
17. 情報取得部が、主テーマを構成する２以上のサブテーマに対応する２以上の収集対象画像情報を、複数のユーザのうちの少なくとも一人の第１ユーザから取得するステップと、
    画像収集部が、前記複数のユーザの各々が所有する複数の画像を、前記複数のユーザから収集するステップと、
    画像選択部が、前記２以上の収集対象画像情報に基づいて、前記複数の画像の中から少なくとも一部の画像を選択するステップと、
    タグ情報付与部が、前記少なくとも一部の画像の各々に対し、２以上の収集対象画像情報のいずれかに対応するタグ情報を付与するステップとを含む、画像処理方法。
18. さらに、画像抽出部が、同一の前記タグ情報が付与された画像群の中から少なくとも一部の画像を抽出するステップと、
    合成画像作成部が、前記同一のタグ情報が付与された画像群の中から抽出された少なくとも一部の画像を用いて前記合成画像を作成するステップと、
    アルバム作成部が、それぞれ異なる前記タグ情報が付与された２以上の画像群に対応する２以上の前記合成画像を含むフォトアルバムを作成するステップとを含む、請求項１７に記載の画像処理方法。
19. 請求項１７または１８に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラム。
20. 請求項１７または１８に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体。

Images