JP2006081020A - 電子アルバム表示システム、電子アルバム表示方法、及び電子アルバム表示プログラム - Google Patents

Abstract

【課題】鑑賞者が鑑賞したいと所望する画像を、精度よく自動的に選択して表示する。
【解決手段】電子アルバムに含まれる複数の画像を表示する電子アルバム表示システムであって、複数の画像のそれぞれを、複数のグループに分類して格納している画像格納部と、複数の画像の中から、表示される画像を選択する画像選択部と、画像選択部により選択された画像を表示する画像表示部と、複数の画像に含まれる一の画像が画像表示部により表示されている場合に、鑑賞者による操作を受ける操作部と、操作部が受けた操作に基づいて、一の画像に対する鑑賞者の関心度を検出する関心度検出部と、複数の画像のそれぞれに対する関心度を格納する関心度格納部とを備え、画像選択部は、複数の画像のうち、関心度がより高い画像が含まれるグループに分類されている画像を、画像表示部によって表示されるべき画像として、より高い頻度で選択する。
【選択図】図１

Description

本発明は、電子アルバム表示システム、電子アルバム表示方法、及び電子アルバム表示プログラムに関する。特に本発明は、電子アルバムに含まれる複数の画像を表示する電子アルバム表示システム、電子アルバム表示方法、及び電子アルバム表示プログラムに関する。

従来、複数の画像を表示する表示方法として、当該複数の画像のそれぞれを複数のグループに分類すると共に、それぞれのグループにおけるサンプル画像を表示し、利用者によって選択されたサンプル画像が属するグループ内のサブグループのサンプル画像や、選択された画像に対して特徴が類似する画像を表示する表示方法が提案されている（例えば、特許文献１参照。）。
特開平１０−１６２０２０

しかしながら、特許文献１に記載の表示方法においては、鑑賞者が画像を鑑賞する度に、一覧されたサンプル画像から鑑賞したい画像に類似するサンプル画像を選択する必要がある。このため、画像が分類されているグループが増加するに従って、サンプル画像の内容の把握及び選択に要する作業量が増加することにより、鑑賞者の負担が大きくなると共に、鑑賞したいと所望する画像を的確に指定することが困難になるという問題があった。

そこで本発明は、上記の課題を解決することができる電子アルバム表示システム、電子アルバム表示方法、及び電子アルバム表示プログラムを提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。

上記課題を解決するために、本発明の第１の形態においては、電子アルバムに含まれる複数の画像を表示する電子アルバム表示システムであって、複数の画像のそれぞれを、複数のグループに分類して格納している画像格納部と、複数の画像の中から、表示される画像を選択する画像選択部と、画像選択部により選択された画像を表示する画像表示部と、複数の画像に含まれる一の画像が画像表示部により表示されている場合に、鑑賞者による操作を受ける操作部と、操作部が受けた操作に基づいて、一の画像に対する鑑賞者の関心度を検出する関心度検出部と、複数の画像のそれぞれに対する関心度を格納する関心度格納部とを備え、画像選択部は、複数の画像のうち、関心度がより高い画像が含まれるグループに分類されている画像を、画像表示部によって表示されるべき画像として、より高い頻度で選択する。

操作部は、画像表示部による一の画像の表示時間を指示する表示時間指示操作を受け、関心度検出部は、複数の画像の中で、表示時間指示操作によってより長い表示時間が指示された画像に対して、より高い関心度を検出してもよい。操作部は、一の画像を選択する画像選択操作を受け、関心度検出部は、複数の画像の中で、画像選択操作によってより多く選択された画像に対して、より高い関心度を検出してもよい。鑑賞者の顔画像を撮像する撮像部を更に備え、関心度格納部は、複数の画像のそれぞれに対する関心度を、鑑賞者毎に格納してもよい。

複数の人物の顔画像を格納している顔画像データベースと、顔画像データベースに格納されている顔画像のそれぞれに基づいて、複数の画像のそれぞれを、当該画像に含まれる複数の人物の組み合わせの種類毎のグループに分類して画像格納部に格納させる画像分類部とを更に備えてもよい。操作部は、一の画像に含まれる、少なくとも一部の人物を選択する人物選択操作を受け、関心度検出部は、複数の画像の中で、人物選択操作によってより多く選択された人物が含まれる組み合わせの種類のグループに分類されている画像に対して、より高い関心度を検出してもよい。画像分類部は、複数の画像に含まれる第１の画像及び第２の画像について、当該第１の画像及び当該第２の画像が、撮像日時及び撮像地点の少なくとも一方において、予め定められた基準値より近接している場合には、当該第１の画像及び当該第２の画像のそれぞれに含まれる人物の組み合わせが互いに異なる場合であっても、当該第１の画像及び当該第２の画像を同一のグループに分類してもよい。

また、本発明の第２の形態においては、電子アルバムに含まれる複数の画像を表示する電子アルバム表示方法であって、画像格納部は、複数の画像のそれぞれを、複数のグループに分類して格納しており、当該電子アルバム表示方法は、複数の画像の中から、表示される画像を選択する画像選択段階と、画像表示部が、画像選択段階において選択された画像を表示する画像表示段階と、複数の画像に含まれる一の画像が画像表示部により表示されている場合に、鑑賞者による操作を受ける操作段階と、操作段階において受けた操作に基づいて、一の画像に対する鑑賞者の関心度を検出する関心度検出段階と、複数の画像のそれぞれに対する関心度を格納する関心度格納段階とを備え、画像選択段階は、複数の画像のうち、関心度がより高い画像が含まれるグループに分類されている画像を、画像表示段階において表示されるべき画像として、より高い頻度で選択する。

また、本発明の第３の形態においては、電子アルバムに含まれる複数の画像を表示する電子アルバム表示システムとしてコンピュータを機能させる電子アルバム表示プログラムであって、コンピュータを、複数の画像のそれぞれを、複数のグループに分類して格納している画像格納部と、複数の画像の中から、表示される画像を選択する画像選択部と、画像選択部により選択された画像を表示する画像表示部と、複数の画像に含まれる一の画像が画像表示部により表示されている場合に、鑑賞者による操作を受ける操作部と、操作部が受けた操作に基づいて、一の画像に対する鑑賞者の関心度を検出する関心度検出部と、複数の画像のそれぞれに対する関心度を格納する関心度格納部とを備え、画像選択部は、複数の画像のうち、関心度がより高い画像が含まれるグループに分類されている画像を、画像表示部によって表示されるべき画像として、より高い頻度で選択する電子アルバム表示システムとして機能させる。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた、発明となりうる。

本発明によれば、鑑賞者が鑑賞したいと所望する画像を、精度よく自動的に選択して表示することができる。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、本発明の実施形態に係る電子アルバム表示システム１０の一例を示す。電子アルバム表示システム１０は、電子アルバム再生部２０、画像表示部３０、及び操作部４０を備え、電子アルバムに含まれる複数の画像を表示して、鑑賞者５０に鑑賞させる。例えば、電子アルバム表示システム１０は、当該複数の画像を、所謂スライドショーとして、予め定められた時間間隔で切り替えつつ順次表示してよい。

電子アルバム再生部２０は、電子アルバムに含まれる複数の画像を格納している。ここで、画像とは、静止画像及び動画像の何れであってもよい。そして、電子アルバム再生部２０は、当該複数の画像の中から、表示すべき画像を選択し、選択した画像を画像信号として再生して画像表示部３０に出力する。なお、電子アルバム再生部２０は、例えば、静止画像または動画像を再生可能であるＤＶＤプレイヤー等の映像再生機器であってもよい。画像表示部３０は、例えばテレビ受像機であってよく、電子アルバム再生部２０により選択された画像を示す画像信号を受け取って表示する。操作部４０は、電子アルバムに含まれる複数の画像に含まれる一の画像が画像表示部により表示されている場合に、鑑賞者５０による操作を受ける。ここで、鑑賞者５０による操作とは、例えば、画像表示部３０における画像の表示方法、つまり電子アルバム再生部２０における画像の再生方法を変更する操作であってよい。なお、操作部４０は、例えば、赤外線通信やブルートゥース（登録商標）、無線ＬＡＮ等の無線通信技術を用いて電子アルバム再生部２０との間で通信を行う、リモートコントローラであってよい。

なお、本図に示した電子アルバム表示システム１０は、互いに独立した電子アルバム再生部２０、画像表示部３０、及び操作部４０を備えているが、これに代えて、電子アルバム表示システム１０は、例えばパーソナルコンピュータ（ＰＣ）や、操作パネルを有する映像再生機器等のように、電子アルバム再生部２０、画像表示部３０、及び操作部４０の少なくとも一部が組み合わされた部材を備えていてもよい。

本発明の実施形態に係る電子アルバム表示システム１０は、電子アルバムに含まれるすべての画像を表示するのではなく、一部の画像のみを選択して表示する場合において、以前に画像を表示している時に鑑賞者５０から受けた操作に基づいて、それぞれの画像に対する鑑賞者５０の関心度を検出することにより、鑑賞者５０が鑑賞したいと所望する画像を、精度よく自動的に選択して表示することを目的とする。

図２は、本発明の実施形態に係る電子アルバム表示システム１０の機能構成の一例を示すブロック図である。電子アルバム再生部２０は、画像入力部２００、顔画像データベース２０５、画像分類部２１０、画像格納部２１５、画像選択部２２０、画像処理部２２５、通信部２３０、関心度検出部２３５、撮像部２４０、画像認識部２４５、及び関心度格納部２５０を有する。画像入力部２００は、例えばフラッシュメモリを用いたメモリカードやネットワーク等を介して、電子アルバム再生部２０の外部から、電子アルバムに含まれるべき複数の画像を入力する。そして、画像入力部２００は、入力した複数の画像を、画像分類部２１０に出力する。顔画像データベース２０５は、複数の人物の顔画像を格納している。

画像分類部２１０は、画像入力部２００から受け取った、電子アルバムに含まれるべき複数の画像のそれぞれを、互いに関連性の高い画像が同一のグループに分類されるべく、複数のグループに分類して、画像格納部２１５に格納させる。具体的には、画像分類部２１０は、顔画像データベース２０５に格納されている顔画像のそれぞれに基づいて、画像入力部２００から受け取った、電子アルバムに含まれるべき複数の画像のそれぞれに含まれる複数の人物を識別する。そして、画像分類部２１０は、受け取った複数の画像のそれぞれを、当該画像に含まれる複数の人物の組み合わせの種類毎のグループに分類して、画像格納部２１５に格納させる。画像格納部２１５は、電子アルバムに含まれる複数の画像のそれぞれを、複数のグループに分類して格納している。

画像選択部２２０は、画像格納部２１５に含まれる複数の画像の中から、画像表示部３０によって表示される画像を選択する。そして、画像選択部２２０は、選択した画像を画像処理部２２５に出力する。また、画像選択部２２０は、選択した画像を示す情報を関心度検出部２３５に出力する。画像処理部２２５は、画像選択部２２０によって選択された、画像表示部３０により表示される画像に対して、画像処理を行う。ここで、画像処理とは、例えば、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）の伸張処理や、ＮＴＳＣまたはＰＡＬ等の映像信号への変換処理、もしくは変形処理やエフェクト処理、他の画像との重ね合わせ処理等であってよい。そして、画像処理部２２５は、画像処理を行った画像を画像表示部３０に出力する。そして、画像表示部３０は、画像処理部から受け取った画像を表示して、鑑賞者５０に鑑賞させる。

通信部２３０は、無線通信技術を用いて操作部４０と通信を行う。具体的には、通信部２３０は、操作部４０が受け取った鑑賞者５０による操作を示す情報を、画像選択部２２０及び関心度検出部２３５に出力する。関心度検出部２３５は、操作部４０が鑑賞者５０から受けた操作に基づいて、画像選択部２２０によって選択され、画像表示部３０によって表示されている一の画像に対する鑑賞者５０の関心度を検出する。そして、関心度検出部２３５は、表示されている一の画像を示す情報、及び検出した関心度を関心度格納部２５０に出力する。

撮像部２４０は、例えば電子アルバム再生部２０に設けられたデジタルカメラであり、鑑賞者５０の顔画像を撮像する。そして、撮像部２４０は、撮像した鑑賞者５０の顔画像を、画像認識部２４５に出力する。画像認識部２４５は、撮像部２４０から受け取った鑑賞者５０の顔画像に対して公知の画像認識処理を行うことにより、撮像された画像から鑑賞者５０の顔画像を示す画像を検出すると共に、鑑賞者５０の顔画像における特徴量を抽出する。そして、画像認識部２４５は、抽出した特徴量を、関心度格納部２５０に出力する。関心度格納部２５０は、画像格納部２１５に格納されている複数の画像のそれぞれに対する鑑賞者５０の関心度を、関心度検出部２３５から受け取って格納する。ここで、関心度格納部２５０は、画像認識部２４５から受け取った鑑賞者５０の顔画像における特徴量に基づいて鑑賞者５０を識別することにより、当該複数の画像のそれぞれに対する関心度を、鑑賞者５０毎に格納してよい。

なお、画像選択部２２０は、画像格納部２１５により複数のグループに分類されて格納されている複数の画像のうち、関心度格納部２５０に格納されている、鑑賞者５０の関心度がより高い画像が含まれるグループに分類されている画像を、画像表示部３０によって表示されるべき画像として、より高い頻度で選択する。

本発明の実施形態に係る電子アルバム表示システム１０によれば、電子アルバムの画像を表示した時の鑑賞者５０の操作に基づいて、それぞれの画像に対する鑑賞者５０の関心度を検出することができる。そして、次に電子アルバムの画像を表示する場合において、以前に高い関心を示した画像だけでなく、当該画像に対して、画像に含まれる人物の組み合わせが同一であるといった、互いに高い関連性を示す画像を選択して表示することができる。従って、電子アルバム表示システム１０を用いることにより、鑑賞者５０は、画像の表示中に表示動作を制御するといった操作を行うのみで、電子アルバムに含まれる多数の画像から、鑑賞したいと所望する画像を自動的に選択させて表示させることができる。

図３は、本発明の実施形態に係る顔画像データベース２０５の一例を示す。顔画像データベース２０５は、複数の人物のそれぞれについて、当該人物を識別する人物識別子と、当該人物の顔画像とを対応付けて格納している。ここで、人物識別子は、例えば、顔画像データベース２０５に顔画像が格納される場合に、それぞれの顔画像について一意となるべく定められた値であってよい。

図４は、本発明の実施形態に係る画像分類部２１０における人物の認識結果の一例を示す。例えば、画像分類部２１０は、画像入力部２００から受け取った複数の画像のそれぞれについて、輪郭抽出処理や色分布分析処理等の公知の画像処理を行うことにより、当該画像に含まれる複数の被写体を検出する。そして、画像分類部２１０は、検出したそれぞれの被写体を示す画像から、人物の顔に固有の特徴量を検出することにより、当該被写体が人物である場合に、当該被写体を示す画像から人物の顔を示す部分画像を検出する。そして、画像分類部２１０は、検出した人物の顔を示す部分画像を、図３に示した顔画像データベース２０５に格納されている複数の顔画像のそれぞれと比較することにより、画像入力部２００から受け取ったそれぞれの画像に含まれる複数の人物のそれぞれを識別する。これにより、画像分類部２１０は、図４に示すように、受け取った複数の画像のそれぞれについて、当該画像に含まれる複数の人物を示す複数の人物識別子を検出する。そして、画像分類部２１０は、受け取った複数の画像のそれぞれを、検出した人物識別子の組み合わせが同一である画像が同一のグループに分類されるべく、複数のグループに分類して画像格納部２１５に格納させる。

また、画像分類部２１０は、画像入力部２００から受け取った複数の画像に含まれる第１の画像及び第２の画像について、当該第１の画像及び第２の画像が、撮像日時及び撮像地点の少なくとも一方において、予め定められた基準値より近接している場合には、当該第１の画像及び第２の画像のそれぞれに含まれる人物の組み合わせが互いに異なる場合であっても、当該第１の画像及び第２の画像を同一のグループに分類してもよい。ここで、予め定められた基準値とは、第１の画像及び第２の画像が、例えば旅行中等の、同一のイベントにおいて撮像された画像である場合のように、画像に含まれている人物と、撮像地点の近傍に所在していた人物との総和が互いに同一であると判断される場合の、互いの画像の撮像日時または撮像地点の間の距離における最大値であってよく、鑑賞者５０等によって、例えば１日や１０ｋｍ等として予め定められてよい。

また、画像分類部２１０は、更に、第１の画像及び第２の画像を分類するグループにおける人物の組み合わせを、第１の画像における人物の組み合わせと、第２の画像における人物の組み合わせとの双方を含む組み合わせとしてよい。例えば、第１の画像において、人物の組み合わせが０及び１と検出され（ここで、０及び１は人物識別子を示す）、また、第２の画像において、人物の組み合わせが０及び３と検出された場合、画像分類部２１０は、第１の画像及び第２の画像を分類するグループにおける人物の組み合わせを、０、１、及び３としてよい。

例えば、複数人で旅行して撮像された画像において、ある画像には旅行に参加した人物全員が含まれているが、他の画像には、一部の人物しか含まれていない場合がある。このような場合において、画像に含まれる人物の組み合わせに基づいて厳密に画像を分類すると、当該旅行において撮像された一連の画像が、複数のグループに分類される場合がある。しかしながら、本発明の実施形態に係る電子アルバム表示システム１０によれば、旅行において撮像された一連の画像のように、撮像日時及び撮像地点の少なくとも一方が基準値より近接している場合には、それぞれの画像を同一のグループに分類することができる。従って、鑑賞者５０が、当該旅行において撮像された画像の一部に高い関心を示した場合に、当該画像と同一のグループに分類されている、当該画像に対して高い関連性を示す画像群を表示することができる。

なお、以上の説明において、画像分類部２１０は、人物の顔画像に基づいて、画像入力部２００から受け取った複数の画像のそれぞれを分類しているが、これに代えて、他の方法によって、複数の画像のそれぞれを分類してもよい。例えば、画像分類部２１０は、複数の画像のそれぞれについて、当該画像に含まれる被写体の種類、例えば人物や花、昆虫等を、被写体の種類毎に固有の特徴ベクトルに基づいて検出してもよい。そして、画像分類部２１０は、当該複数の画像のそれぞれを、検出した被写体の種類、または被写体の種類の組み合わせに基づいて、複数のグループに分類してもよい。また、例えば、画像分類部２１０は、複数の画像のそれぞれを、当該画像の撮像期間や撮像地域等の、画像に固有の情報に基づいて複数のグループに分類してもよい。

なお、画像分類部２１０は、画像入力部から受け取った複数の画像のそれぞれを複数のグループに分類する場合において、当該複数の画像のそれぞれを示す画像ファイルを、それぞれのグループに対応するディレクトリに格納することによって、当該複数の画像を分類してよい。また、画像分類部２１０は、これに代えて、複数の画像のそれぞれにおける、人物の認識結果、人物の組み合わせ、被写体の種類、撮像期間、或いは撮像地域等の、分類を示す情報を、Ｅｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ ｉｍａｇｅ ｆｉｌｅ）フォーマット等に基づくタグ情報として当該画像を示す画像ファイルに記録することによって、当該複数の画像を分類してもよい。

図５は、本発明の実施形態に係る画像格納部２１５の一例を示す。画像格納部２１５は、電子アルバムに含まれる複数の画像のそれぞれを、複数のグループ（５００、５１０、・・・）に分類して格納している。そして、画像格納部２１５は、それぞれのグループに対応付けて、画像分類部２１０によって検出された、当該グループにおける人物の組み合わせを示す、複数の人物識別子を格納している。また、画像格納部２１５は、それぞれのグループに対応付けて、画像を示す情報を複数格納している。ここで、画像を示す情報とは、例えば、画像を示す画像データと、当該画像データを識別する画像識別子とを含んでいてよい。なお、画像識別子とは、画像格納部２１５が画像分類部２１０から画像を受け取って格納する場合に、それぞれの画像について一意となるべく定められた値であってよい。以上のようにして、画像格納部２１５は、電子アルバムに含まれる複数の画像のそれぞれを、当該画像に含まれる複数の人物の組み合わせの種類毎のグループに分類して格納している。

本発明の実施形態に係る電子アルバム表示システム１０によれば、画像に含まれる人物の組み合わせ毎に画像を分類することができる。これにより、鑑賞者５０が高い関心を示した画像だけでなく、当該画像に含まれる人物の組み合わせと同一の組み合わせの人物が含まれる、当該画像に対して高い関連性を示す画像を選択して表示することができる。

図６は、本発明の実施形態に係る関心度格納部２５０の一例を示す。関心度格納部２５０は、複数の鑑賞者５０のそれぞれを示す情報、例えば鑑賞者５０の顔画像の特徴量を格納している。そして、関心度格納部２５０は、それぞれの鑑賞者５０を示す情報に対応付けて、画像格納部２１５に格納されている画像のそれぞれを識別する画像識別子と、当該画像に対する当該鑑賞者５０の関心度とを格納している。ここで、関心度格納部２５０は、それぞれの鑑賞者５０について、画像格納部２１５に格納されているすべての画像に対する関心度を格納していてよく、また、一部の画像に対する関心度のみを格納していてもよい。なお、一部の画像に対する関心度のみを格納している場合、画像格納部２１５に格納されている他の画像に対する鑑賞者５０による関心度は、予め定められた標準的な関心度とされてよい。なお、本例において、関心度格納部２５０が格納する関心度は、より大きな値を示す場合に、対応する画像に対して鑑賞者５０がより高い関心を持っていることを示す。

本発明の実施形態に係る電子アルバム表示システム１０によれば、鑑賞者５０毎に関心度を格納することにより、複数の鑑賞者５０が電子アルバムを鑑賞する場合において、何れの鑑賞者５０に対しても、所望の画像を表示することができる。また、撮像した鑑賞者５０の顔画像に基づいて、鑑賞者５０毎の関心度を格納することにより、鑑賞者５０は、電子アルバム表示システム１０に対して自分自身の情報を登録したり、ログイン手続きを行ったりすることなく、自分自身が所望する画像を鑑賞することができる。

図７は、本発明の実施形態に係る電子アルバム表示システム１０における処理の流れの第１の例を示すフローチャートである。本例においては、操作部４０が、表示されている画像の表示時間を指示する操作を受ける場合の例を説明する。まず、撮像部２４０が鑑賞者５０の顔画像を撮像すると共に、画像認識部２４５が、撮像された顔画像を認識して、鑑賞者５０の顔画像における特徴量を抽出する（Ｓ１０００）。

続いて、電子アルバム表示システム１０は、以下の処理を、表示する画像毎に繰り返す（Ｓ１０１０）。まず、画像選択部２２０は、画像格納部２１５に格納されている複数の画像の中から、画像表示部３０によって表示される画像を順次選択する（Ｓ１０２０）。例えば、画像選択部２２０は、抽出された鑑賞者５０の顔画像における特徴量に対応付けて関心度格納部２５０に格納されている関心度が、他の画像における関心度に比べて高い画像を検出し、検出した画像が含まれるグループに分類されている画像のそれぞれを順次選択してよい。また、これに代えて、画像選択部２２０は、多様な方法によって画像を選択してもよい。例えば、画像選択部２２０は、画像格納部２１５に格納されている画像から、任意の画像を順次選択してもよい。また、例えば、画像選択部２２０は、現在から予め定められた期間以内に画像入力部２００によって入力され、画像格納部２１５に格納された画像を順次選択してもよい。また、例えば、画像選択部２２０は、画像格納部２１５に格納されている複数の画像の中で、鑑賞者５０によって指示された期間に撮像されている画像、または鑑賞者５０によって指示された地域で撮像されている画像を順次選択してもよい。また、例えば、画像選択部２２０は、関心度格納部２５０に格納されている関心度が他の画像における関心度に比べて高い画像に対して、更なる他の条件に基づく絞り込みを行うことにより、画像を選択してもよい。ここで、他の条件とは、例えば、鑑賞者５０によって指示された期間に撮像されているか否かであったり、また、鑑賞者５０によって指示された地域で撮像されているか否かであったりしてよい。このように、関心度のみならず、撮像日時や撮像地点等の他の条件に基づいて画像を絞り込んで選択することにより、関心度の高い画像が含まれるグループに多数の画像が分類されている場合であっても、必要以上に多数の画像を表示することなく、鑑賞者５０が鑑賞したいと所望する画像を精度よく選択して表示することができる。

続いて、画像処理部２２５は、当該画像に対して画像処理を行う（Ｓ１０３０）。続いて、画像表示部３０は、当該画像を表示する（Ｓ１０４０）。続いて、操作部４０は、画像表示部３０による当該画像の表示時間を指示する表示時間指示操作を鑑賞者５０から受けたか否かを判定する（Ｓ１０５０）。具体的には、操作部４０は、画像選択部２２０によって順次選択された画像のそれぞれが、予め定められた時間毎に切り替わって表示される場合に、それぞれの画像の表示時間を予め定められた時間より長く変更したり、または短く変更したりする操作を受けたか否かを判定する。ここで、表示時間指示操作とは、例えば、現在表示されている画像を表示し続ける一時停止操作、現在表示されている画像の表示時間を延長する表示時間延長操作、現在表示されている画像の表示を中止して、次の画像を表示させるスキップ操作、及び現在表示されている画像の表示時間を短縮する表示時間短縮操作であってよい。

そして、表示時間指示操作を受けた場合（Ｓ１０５０：Ｙｅｓ）、電子アルバム再生部２０は、当該画像の表示時間を、表示時間指示操作の内容に基づいて変更する（Ｓ１０６０）。続いて、関心度検出部２３５は、操作部４０が鑑賞者５０から受けた表示時間指示操作に基づいて、当該画像に対する鑑賞者５０の関心度を検出する（Ｓ１０７０）。具体的には、関心度検出部２３５は、画像格納部２１５に格納されている複数の画像の中で、操作部４０が受けた表示時間指示操作によってより長い表示時間が指示された画像に対して、より高い関心度を検出する。より具体的には、関心度検出部２３５は、操作部４０が、当該画像について、表示時間をより長くする表示時間指示操作を受けた場合には、表示時間指示操作を受けなかった場合における関心度である基準関心度に対して、より高い関心度を検出する。また、関心度検出部２３５は、操作部４０が、当該画像について、表示時間をより短くする表示時間指示操作を受けた場合には、基準関心度に対して、より低い関心度を検出する。そして、関心度格納部２５０は、当該画像について検出された関心度を格納する。

続いて、電子アルバム表示システム１０は、当該画像の表示を終了するか否かを判定する（Ｓ１０８０）。具体的には、電子アルバム表示システム１０は、当該画像を画像表示部３０に表示させてから、当該画像における表示時間が経過したか否かを判定する。そして、当該画像の表示を終了しない場合（Ｓ１０８０：Ｎｏ）、電子アルバム表示システム１０は、処理をＳ１０５０に戻して、表示時間指示操作を受けたか否かを操作部４０に再度判定させる。一方、当該画像の表示を終了する場合（Ｓ１０８０：Ｙｅｓ）、電子アルバム表示システム１０は、以上の処理を、表示する画像毎に繰り返す（Ｓ１０９０）。

本発明の実施形態に係る電子アルバム表示システム１０によれば、鑑賞者５０が、例えば、最近に撮像して電子アルバム再生部２０に入力した画像や、ランダムに選択された画像等を順次鑑賞しながら、それぞれの画像の表示時間を指示する表示時間指示操作を行うことができる。そして、次に電子アルバムの画像を鑑賞する場合において、以前に、より長い表示時間を指示した画像、及び当該画像と同一のグループに分類されている画像、即ち人物の組み合わせが同一であるといった、当該画像に対して高い関連性を示す画像を選択させて表示させることができる。従って、鑑賞者５０は、電子アルバム表示システム１０を用いることにより、画像の鑑賞中に、より長く鑑賞したいと感じた画像の表示時間を長く指示するのみで、それ以降、電子アルバムに含まれる多数の画像から、当該画像と、当該画像に対して高い関連性を示す画像とを自動的に選択させて、表示させることができる。

図８は、本発明の実施形態に係る電子アルバム表示システム１０における処理の流れの第２の例を示すフローチャートである。本例においては、操作部４０が、表示されている画像を選択する操作を受ける場合の例を説明する。まず、撮像部２４０が、鑑賞者５０の顔画像を撮像すると共に、画像認識部２４５が、撮像された顔画像を認識して、鑑賞者５０の顔画像における特徴量を抽出する（Ｓ１１００）。

続いて、電子アルバム表示システム１０は、以下の処理を、表示する画像毎に繰り返す（Ｓ１１１０）。まず、画像選択部２２０は、画像格納部２１５に格納されている複数の画像の中から、画像表示部３０によって表示される画像を順次選択する（Ｓ１１２０）。続いて、画像処理部２２５は、当該画像に対して画像処理を行う（Ｓ１１３０）。続いて、画像表示部３０は、当該画像を表示する（Ｓ１１４０）。続いて、操作部４０は、当該画像を選択する画像選択操作を受けたか否かを判定する（Ｓ１１５０）。例えば、操作部４０は、鑑賞者５０が、順次表示される複数の画像のうち少なくとも一部の画像について高い関心を持っている旨を示すべく、当該少なくとも一部の画像が表示されている場合に、操作部４０に設けられている「画像選択ボタン」を押下したか否かを判定する。また、操作部４０は、画像を選択する画像選択操作として、当該画像に対して点数や等級を付与することにより、当該画像の評価を行う評価操作を受けてもよい。また、操作部４０は、画像を選択する画像選択操作として、当該画像が画像表示部３０によって表示される場合の表示倍率を増加させる旨を指示する表示倍率指示操作を受けてもよい。

そして、画像選択操作を受けた場合（Ｓ１１５０：Ｙｅｓ）、関心度検出部２３５は、画像選択操作の内容に基づいて、当該画像に対する鑑賞者５０の関心度を検出する（Ｓ１１６０）。具体的には、関心度検出部２３５は、複数の画像の中で、画像選択操作によってより多く選択された画像に対して、より高い関心度を検出する。より具体的には、関心度検出部２３５は、当該画像を識別する画像識別子に対応付けて関心度格納部２５０に格納されている、当該画像の選択回数を増加させる。一方、評価操作を受けた場合には、関心度検出部２３５は、複数の画像の中で、評価操作によってより高い点数や等級で評価された画像に対して、より高い関心度を検出してよい。また、表示倍率指示操作を受けた場合には、関心度検出部２３５は、複数の画像の中で、表示倍率指示操作によってより高い表示倍率が指示された画像に対して、より高い関心度を検出してよい。

続いて、電子アルバム表示システム１０は、当該画像の表示を終了するか否かを判定する（Ｓ１１７０）。当該画像の表示を終了しない場合（Ｓ１１７０：Ｎｏ）、電子アルバム表示システム１０は、処理をＳ１１５０に戻して、画像選択操作を受けたか否かを操作部４０に再度判定させる。一方、当該画像の表示を終了する場合（Ｓ１１７０：Ｙｅｓ）、電子アルバム表示システム１０は、以上の処理を、表示する画像毎に繰り返す（Ｓ１１８０）。

本発明の実施形態に係る電子アルバム表示システム１０によれば、鑑賞者５０が、表示されている画像を選択する画像選択操作や、点数を付与して評価する評価操作を行うことができる。そして、次に電子アルバムの画像を鑑賞する場合において、以前に、より多く選択した画像、またはより高い点数や等級で評価した画像、及び当該画像と同一のグループに分類されている画像を選択させて表示させることができる。従って、鑑賞者５０は、電子アルバム表示システム１０を用いることにより、画像の鑑賞中に、高い関心を持った画像に対して選択を行ったり高い点数や等級で評価したりするのみで、それ以降、電子アルバムに含まれる多数の画像から、当該画像と、当該画像に対して高い関連性を示す画像とを自動的に選択させて、表示させることができる。

図９は、本発明の実施形態に係る電子アルバム表示システム１０における処理の流れの第３の例を示すフローチャートである。本例においては、操作部４０が、表示されている画像に含まれる人物を選択する操作を受ける場合の処理の流れの例を説明する。まず、撮像部２４０が、鑑賞者５０の顔画像を撮像すると共に、画像認識部２４５が、撮像された顔画像を認識して、鑑賞者５０の顔画像における特徴量を抽出する（Ｓ１２００）。

続いて、電子アルバム表示システム１０は、以下の処理を、表示する画像毎に繰り返す（Ｓ１２１０）。まず、画像選択部２２０は、画像格納部２１５に格納されている複数の画像の中から、画像表示部３０によって表示される画像を順次選択する（Ｓ１２２０）。続いて、画像選択部２２０は、当該画像に含まれる一の人物を選択し、当該一の人物を示す領域の情報を、画像処理部２２５に出力する（Ｓ１２３０）。ここで、画像選択部２２０は、画像分類部２１０によって当該画像に含まれる複数の人物のそれぞれが識別された時の結果から、当該一の人物を示す領域の情報を抽出してよい。また、画像選択部２２０は、当該一の人物を識別する人物識別子を、関心度検出部２３５に出力する。続いて、画像処理部２２５は、当該画像において、画像選択部２２０から受け取った当該一の人物を示す領域の周囲に枠を描くべく、画像処理を行う（Ｓ１２４０）。続いて、画像表示部３０は、当該一の人物の周囲に枠が描かれた当該画像を表示する（Ｓ１２５０）。

ここで、操作部４０は、当該一の人物とは異なる他の人物の周囲に枠を描くべき旨を示す枠変更操作を鑑賞者５０から受けたか否かを判定する（Ｓ１２６０）。例えば、操作部４０は、鑑賞者５０が、操作部４０に設けられている「人物変更ボタン」を押下したか否かを判定する。そして、枠変更操作を受けた場合に（Ｓ１２６０：Ｙｅｓ）、操作部４０は、当該一の人物とは異なる他の人物に枠を描くべき旨を、通信部２３０を介して画像選択部２２０に送信し、画像選択部２２０に当該他の人物を選択させると共に、当該他の人物を示す領域の情報を画像処理部２２５に出力させる（Ｓ１２７０）。

一方、枠変更操作を受けていない場合に（Ｓ１２６０：Ｎｏ）、操作部４０は、当該一の人物を選択する人物選択操作を受けたか否かを判定する（Ｓ１２８０）。例えば、操作部４０は、鑑賞者５０が、周囲に枠が表示されている人物について高い関心を持っている旨を示すべく、操作部４０に設けられている「人物選択ボタン」を押下したか否かを判定する。そして、人物選択操作を受けた場合（Ｓ１２８０：Ｙｅｓ）、関心度検出部２３５は、人物選択操作の内容に基づいて、画像格納部２１５に格納されている画像に対する鑑賞者５０の関心度を検出する（Ｓ１２９０）。具体的には、関心度検出部２３５は、画像格納部２１５に格納されている複数の画像の中で、人物選択操作によってより多く選択された人物が含まれる組み合わせの種類のグループに分類されている画像に対して、より高い関心度を検出する。より具体的には、関心度検出部２３５は、画像選択部２２０から予め受け取っている、人物選択操作によって選択された人物を識別する人物識別子を、関心度格納部２５０に出力する。そして、関心度格納部２５０は、画像格納部２１５がそれぞれのグループについて格納している、人物の組み合わせを示す複数の人物識別子に基づいて、選択された人物の人物識別子を含む組み合わせに対応するグループを検出し、検出したグループに分類されている画像に対応付けて格納している関心度を増加させる。また、これに代えて、関心度格納部２５０は、人物毎、即ち人物識別子毎の選択回数を格納しており、画像選択部２２０が、関心度格納部２５０においてより多い選択回数が格納されている人物識別子を含む組み合わせに対応するグループに分類されている画像を、より高い頻度で選択してもよい。

続いて、電子アルバム表示システム１０は、当該画像の表示を終了するか否かを判定する（Ｓ１３００）。当該画像の表示を終了しない場合（Ｓ１３００：Ｎｏ）、電子アルバム表示システム１０は、処理をＳ１２６０に戻して、枠変更操作を受けたか否かを操作部４０に再度判定させる。一方、当該画像の表示を終了する場合（Ｓ１３００：Ｙｅｓ）、電子アルバム表示システム１０は、以上の処理を、表示する画像毎に繰り返す（Ｓ１３１０）。

本発明の実施形態に係る電子アルバム表示システム１０によれば、鑑賞者５０が、表示されている画像に含まれる人物を選択する人物選択操作を行うことができる。そして、次に電子アルバムの画像を鑑賞する場合において、以前に、より多く選択した人物が含まれる画像を自動的に選択させて、表示させることができる。

図１０は、本発明の実施形態に係るコンピュータ１５００のハードウェア構成の一例を示すブロック図である。本発明の実施形態に係るコンピュータ１５００は、ホスト・コントローラ１５８２により相互に接続されるＣＰＵ１５０５、ＲＡＭ１５２０、グラフィック・コントローラ１５７５、及び表示装置１５８０を有するＣＰＵ周辺部と、入出力コントローラ１５８４によりホスト・コントローラ１５８２に接続される通信インターフェイス１５３０、ハードディスクドライブ１５４０、及びＣＤ−ＲＯＭドライブ１５６０を有する入出力部と、入出力コントローラ１５８４に接続されるＲＯＭ１５１０、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０を有するレガシー入出力部とを備える。

ホスト・コントローラ１５８２は、ＲＡＭ１５２０と、高い転送レートでＲＡＭ１５２０をアクセスするＣＰＵ１５０５及びグラフィック・コントローラ１５７５とを接続する。ＣＰＵ１５０５は、ＲＯＭ１５１０及びＲＡＭ１５２０に格納されたプログラムに基づいて動作し、各部の制御を行う。グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等がＲＡＭ１５２０内に設けたフレーム・バッファ上に生成する画像データを取得し、表示装置１５８０上に表示させる。これに代えて、グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。

入出力コントローラ１５８４は、ホスト・コントローラ１５８２と、比較的高速な入出力装置である通信インターフェイス１５３０、ハードディスクドライブ１５４０、ＣＤ−ＲＯＭドライブ１５６０を接続する。通信インターフェイス１５３０は、ネットワークを介して他の装置と通信する。ハードディスクドライブ１５４０は、コンピュータ１５００内のＣＰＵ１５０５が使用するプログラム及びデータを格納する。ＣＤ−ＲＯＭドライブ１５６０は、ＣＤ−ＲＯＭ１５９５からプログラム又はデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供する。

また、入出力コントローラ１５８４には、ＲＯＭ１５１０と、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０の比較的低速な入出力装置とが接続される。ＲＯＭ１５１０は、コンピュータ１５００が起動時に実行するブート・プログラムや、コンピュータ１５００のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ１５５０は、フレキシブルディスク１５９０からプログラム又はデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供する。入出力チップ１５７０は、フレキシブルディスク・ドライブ１５５０や、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。

ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供される電子アルバム表示プログラムは、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５、又はＩＣカード等の記録媒体に格納されて利用者によって提供される。電子アルバム表示プログラムは、記録媒体から読み出され、ＲＡＭ１５２０を介してコンピュータ１５００内のハードディスクドライブ１５４０にインストールされ、ＣＰＵ１５０５において実行される。コンピュータ１５００にインストールされて実行される電子アルバム表示プログラムは、ＣＰＵ１５０５等に働きかけて、コンピュータ１５００を、図１から図９にかけて説明した電子アルバム表示システム１０、または電子アルバム再生部２０として機能させる。

以上に示したプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５の他に、ＤＶＤやＰＤ等の光学記録媒体、ＭＤ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークやインターネットに接続されたサーバシステムに設けたハードディスク又はＲＡＭ等の記憶装置を記録媒体として使用し、ネットワークを介してプログラムをコンピュータ１５００に提供してもよい。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

本発明の実施形態に係る電子アルバム表示システム１０の一例を示す図である。 本発明の実施形態に係る電子アルバム表示システム１０の機能構成の一例を示すブロック図である。 本発明の実施形態に係る顔画像データベース２０５の一例を示す図である。 本発明の実施形態に係る画像分類部２１０における人物の認識結果の一例を示す図である。 本発明の実施形態に係る画像格納部２１５の一例を示す図である。 本発明の実施形態に係る関心度格納部２５０の一例を示す図である。 本発明の実施形態に係る電子アルバム表示システム１０における処理の流れの第１の例を示すフローチャートである。 本発明の実施形態に係る電子アルバム表示システム１０における処理の流れの第２の例を示すフローチャートである。 本発明の実施形態に係る電子アルバム表示システム１０における処理の流れの第３の例を示すフローチャートである。 本発明の実施形態に係るコンピュータ１５００のハードウェア構成の一例を示すブロック図である。

符号の説明

１０ 電子アルバム表示システム、２０ 電子アルバム再生部、３０ 画像表示部、４０ 操作部、５０ 鑑賞者、２００ 画像入力部、２０５ 顔画像データベース、２１０ 画像分類部、２１５ 画像格納部、２２０ 画像選択部、２２５ 画像処理部、２３０ 通信部、２３５ 関心度検出部、２４０ 撮像部、２４５ 画像認識部、２５０ 関心度格納部

Claims (9)

1. 電子アルバムに含まれる複数の画像を表示する電子アルバム表示システムであって、
   前記複数の画像のそれぞれを、複数のグループに分類して格納している画像格納部と、
   前記複数の画像の中から、表示される画像を選択する画像選択部と、
   前記画像選択部により選択された画像を表示する画像表示部と、
   前記複数の画像に含まれる一の画像が前記画像表示部により表示されている場合に、鑑賞者による操作を受ける操作部と、
   前記操作部が受けた操作に基づいて、前記一の画像に対する前記鑑賞者の関心度を検出する関心度検出部と、
   前記複数の画像のそれぞれに対する前記関心度を格納する関心度格納部と
   を備え、
   前記画像選択部は、前記複数の画像のうち、前記関心度がより高い画像が含まれる前記グループに分類されている画像を、前記画像表示部によって表示されるべき画像として、より高い頻度で選択する
   電子アルバム表示システム。
2. 前記操作部は、前記画像表示部による前記一の画像の表示時間を指示する表示時間指示操作を受け、
   前記関心度検出部は、前記複数の画像の中で、前記表示時間指示操作によってより長い表示時間が指示された画像に対して、より高い前記関心度を検出する
   請求項１に記載の電子アルバム表示システム。
3. 前記操作部は、前記一の画像を選択する画像選択操作を受け、
   前記関心度検出部は、前記複数の画像の中で、前記画像選択操作によってより多く選択された画像に対して、より高い前記関心度を検出する
   請求項１に記載の電子アルバム表示システム。
4. 前記鑑賞者の顔画像を撮像する撮像部
   を更に備え、
   前記関心度格納部は、前記複数の画像のそれぞれに対する前記関心度を、前記鑑賞者毎に格納する
   請求項１に記載の電子アルバム表示システム。
5. 複数の人物の顔画像を格納している顔画像データベースと、
   前記顔画像データベースに格納されている顔画像のそれぞれに基づいて、前記複数の画像のそれぞれを、当該画像に含まれる複数の人物の組み合わせの種類毎のグループに分類して前記画像格納部に格納させる画像分類部と
   を更に備える請求項１に記載の電子アルバム表示システム。
6. 前記操作部は、前記一の画像に含まれる、少なくとも一部の人物を選択する人物選択操作を受け、
   前記関心度検出部は、前記複数の画像の中で、前記人物選択操作によってより多く選択された人物が含まれる前記組み合わせの種類の前記グループに分類されている画像に対して、より高い前記関心度を検出する
   請求項５に記載の電子アルバム表示システム。
7. 前記画像分類部は、前記複数の画像に含まれる第１の画像及び第２の画像について、当該第１の画像及び当該第２の画像が、撮像日時及び撮像地点の少なくとも一方において、予め定められた基準値より近接している場合には、当該第１の画像及び当該第２の画像のそれぞれに含まれる人物の前記組み合わせが互いに異なる場合であっても、当該第１の画像及び当該第２の画像を同一のグループに分類する請求項５に記載の電子アルバム表示システム。
8. 電子アルバムに含まれる複数の画像を表示する電子アルバム表示方法であって、
   画像格納部は、前記複数の画像のそれぞれを、複数のグループに分類して格納しており、
   当該電子アルバム表示方法は、
   前記複数の画像の中から、表示される画像を選択する画像選択段階と、
   画像表示部が、前記画像選択段階において選択された画像を表示する画像表示段階と、
   前記複数の画像に含まれる一の画像が前記画像表示部により表示されている場合に、鑑賞者による操作を受ける操作段階と、
   前記操作段階において受けた操作に基づいて、前記一の画像に対する前記鑑賞者の関心度を検出する関心度検出段階と、
   前記複数の画像のそれぞれに対する前記関心度を格納する関心度格納段階と
   を備え、
   前記画像選択段階は、前記複数の画像のうち、前記関心度がより高い画像が含まれる前記グループに分類されている画像を、前記画像表示段階において表示されるべき画像として、より高い頻度で選択する
   電子アルバム表示方法。
9. 電子アルバムに含まれる複数の画像を表示する電子アルバム表示システムとしてコンピュータを機能させる電子アルバム表示プログラムであって、
   前記コンピュータを、
   前記複数の画像のそれぞれを、複数のグループに分類して格納している画像格納部と、
   前記複数の画像の中から、表示される画像を選択する画像選択部と、
   前記画像選択部により選択された画像を表示する画像表示部と、
   前記複数の画像に含まれる一の画像が前記画像表示部により表示されている場合に、鑑賞者による操作を受ける操作部と、
   前記操作部が受けた操作に基づいて、前記一の画像に対する前記鑑賞者の関心度を検出する関心度検出部と、
   前記複数の画像のそれぞれに対する前記関心度を格納する関心度格納部と
   を備え、
   前記画像選択部は、前記複数の画像のうち、前記関心度がより高い画像が含まれる前記グループに分類されている画像を、前記画像表示部によって表示されるべき画像として、より高い頻度で選択する
   電子アルバム表示システムとして機能させる電子アルバム表示プログラム。

Images