JP2010147773A - カメラ - Google Patents

Abstract

【課題】カメラの操作者や画像の撮影者の役割等を考慮しつつ、さらに、プライバシーの保護や画像の検索性を考慮して、最適な画像表示を可能としたカメラを提供すること。
【解決手段】画像の撮影がなされた場合に、画像群決定部１０８は、撮影された画像における特定の顔の有無、顔の数、笑顔度、撮影者等の情報を画像管理ファイルに記録する。カメラ１００の画像を画像表示装置２００に送信するに際し、代表画像選択部１０９は、操作者特定部１１０によってカメラ１００の操作者を特定し、特定した操作者の情報と画像管理ファイルに記録された情報とから、撮影された画像が属する画像群における代表画像を決定する。
【選択図】図１

Description

本発明は、撮影画像の確認技術に関し、撮影画像のダイジェスト表示を行えるカメラに関する。

近年、デジタルカメラの記録容量が増加して、撮影可能なコマ数が増加傾向にある。こうした状況にあって、撮影画像を簡単に他の人に見せられるようにする技術が重要になってきている。例えば、何らかのイベントに参加した人がそのイベントの状況を知らせるべく、そのイベント中に撮影した画像を家族や友人等に見せる場合に、数十枚の画像をすべて見せていては見るのに時間がかかる。また、数十枚の画像の中から一部を選択してから見せる場合には選択に手間がかかることになる。このため、撮影画像を仕分けして管理する方法が模索されている。

このような撮影画像の管理に関する技術として、例えば特許文献１の技術が提案されている。特許文献１の技術は、撮影により得られたデジタル画像データを撮影者毎に仕分けして管理するようにしたものである。
特開２００４−１２０３６８号公報

ここで、特許文献１の技術を適用したとしても、同じ撮影者が多くの写真を撮っていた場合には、結局、大量画像の表示となってしまうおそれがある。また、多くの人が画像の鑑賞者となる可能性もあるので、単純に全ての画像を表示してしまうと、プライバシーの保護の観点からも好ましくない場合もある。

本発明は、上記の事情に鑑みてなされたもので、カメラの操作者や画像の撮影者の役割等を考慮しつつ、さらに、プライバシーの保護や画像の検索性を考慮して、最適な画像表示を可能としたカメラを提供することを目的とする。

上記の目的を達成するために、本発明の第１の態様のカメラは、複数の画像を記録する記録部と、上記記録された複数の画像を当該カメラと異なる画像表示装置に送信する指示をするための操作部と、上記操作部の操作者を特定する操作者特定部と、上記操作者特定部によって特定された操作者と関連する画像を代表画像として上記複数の画像の中から選択する代表画像選択部と、上記選択された代表画像を上記画像表示装置に送信する送信部とを具備することを特徴とする。

本発明によれば、カメラの操作者や画像の撮影者の役割等を考慮しつつ、さらに、プライバシーの保護や画像の検索性を考慮して、最適な画像表示を可能としたカメラを提供することができる。

以下、図面を参照して本発明の実施形態について説明する。
図１は、本発明の一実施形態に係るカメラを有するカメラシステムの構成図である。図１に示すカメラシステムは、デジタルカメラ（以下、単にカメラと記す）１００と、画像表示装置２００とを有している。カメラ１００と画像表示装置２００とは通信自在に構成されている。これにより、カメラ１００で撮影された画像を画像表示装置２００に送信し、送信された画像を画像表示装置２００において再生可能である。

カメラ１００は、制御部１０１と、操作部１０２と、撮像部１０３と、顔検出部１０４と、表示部１０５と、時計部１０６と、記録部１０７と、画像群決定部１０８と、代表画像選択部１０９と、操作者特定部１１０と、通信部１１１とを有している。

制御部１０１は、カメラ用に構成されたＬＳＩ等から構成されており、ユーザによる操作部１０２の操作を受けて図１のカメラ１００内部の各ブロックの制御を行う。また、制御部１０１は、撮像部１０３によって取得された画像に対してホワイトバランス補正等の画像処理や圧縮処理等を施すことも行う。

操作部１０２は、ユーザがカメラ１００の操作を行うための操作部である。操作部１０２には、例えば、ユーザが撮影の実行を指示するためのレリーズ操作部、ユーザが画像の再生を指示するための操作部、ユーザが各種の選択操作を行うための操作部等が含まれる。

撮像部１０３は、図示しない被写体の撮像を行って、被写体の像を画像として取り込み、取り込んだ画像をデジタルデータとして制御部１０１に出力する。顔検出部１０４は、撮像部１０３で取り込まれた画像における被写体（人物）の顔部分を検出する。また、詳細は後述するが、顔検出部１０４は、人物の表情等の特徴も検出可能である。

表示部１０５は、例えばカメラ１００の背面に設けられ、撮像部１０３で撮影された画像や記録部１０７に記録された画像等の各種の画像を表示する。この表示部１０５は、例えば液晶ディスプレイ等から構成されている。また、表示部１０５には、撮像部１０３で逐次得られた画像をリアルタイムに表示させることもできる。このような表示を行うことにより、ユーザは表示部１０５の画像を見てフレーミングを行うことが可能である。

時計部１０６は、撮像部１０３によって撮影がなされた日時等を計時する。記録部１０７は、撮像部１０３によって撮影され、制御部１０１において圧縮された画像が記録される。なお、記録部１０７に記録される画像には、時計部１０６によって計時された撮影日時等の各種の撮影情報も付与される。さらに、記録部１０７には、操作者特定部１１０によるカメラ１００の操作者を特定するためのデータベース（人物の顔画像）や、詳細は後述する画像管理ファイル等も記録される。

画像群決定部１０８は、記録部１０７に記録された画像が属する画像群を決定する。代表画像選択部１０９は、各画像群を代表する画像である代表画像を選択する。画像群決定部１０８及び代表画像選択部１０９の動作の詳細については後述する。

操作者特定部１１０は、画像の撮影がなされた場合や、画像の送信がなされる場合、各種の設定操作がなされた場合等の、何らかのカメラ１００の操作がなされた時に、その操作者を特定する。この操作者特定部１１０は、例えば、カメラ１００の背面に設けられる表示部１０５に隣接して配置された補助的な撮像部を有して構成されている。通常、画像の撮影時に、ユーザは図２（ａ）のようにしてカメラ１００の背面に配された表示部１０５を見ながら撮影を行う。また、何らかの設定操作を行う際にも図２（ｂ）のようにして表示部１０５を見ながら操作を行うことが多い。何れにしても何らかのカメラ１００の操作がなされた場合には、ユーザが表示部１０５のほうを見ている可能性が高い。操作者特定部１１０の撮像部は、表示部１０５に隣接して配置され、ユーザの顔を含む所定範囲１１０ａの画像を取得する。この操作者特定部１１０で得られた画像に写っている顔を顔検出部１０４によって検出し、この検出した顔部分の画像を記録部１０７に予め記録されている人物の顔画像と比較することによって、カメラ１００の操作者を特定する。

通信部１１１は、カメラ１００と画像表示装置２００との通信を行うための通信回路である。カメラ１００と画像表示装置２００との通信方式については特に限定されるものではない。例えば、カメラ１００を、図３のように、画像表示装置２００の通信部２０３に近づけた場合に、赤外線通信等の近距離無線通信によって撮影画像が送信されるものを適用できる。

画像表示装置２００は、例えばテレビジョン受像機（以下、ＴＶと記す）等である。なお、画像を表示できるものであれば、画像表示装置２００はＴＶテレビジョン受像機に限定されるものではない。この画像表示装置２００は、制御部２０１と、表示部２０２と、通信部２０３と、操作部２０４とを有している。

制御部２０１は、画像表示装置２００の各ブロックの制御を行う。表示部２０２は、カメラ１００から送信された画像等の各種の画像を表示する。画像表示装置２００がＴＶである場合には、図示しないアンテナを介して受信された映像を表示部２０２に再生することも可能である。通信部２０３は、例えば図３に示すようにして、カメラ１００からの通信信号を受信するための回路を含んでいる。操作部２０４は、ユーザが画像表示装置２００の操作を行うための操作部である。なお、図１においては、操作部２０４が画像表示装置２００に設けられている例を示している。しかしながら、画像表示装置２００がＴＶである場合には、リモートコントローラ（リモコン）によって遠隔操作可能としても良い。この場合にはリモコンが操作部２０４となる。

近年、ＴＶの薄型化及び大型化が進み、カメラ１００によって撮影された画像を画像表示装置２００が有する大画面の表示部２０２に表示させて鑑賞するような利用シーンが増加してきている。この場合、大画面に多くの画像がやみくもに表示されると、所望の画像を探すのが大変になる。また、カメラ１００で撮影された画像を不用意に画像表示装置２００に表示させると、見られたくない画像まで大画面に映し出されてしまうこともあり得る。これは、プライバシーの保護の観点からも好ましくない。

本実施形態では、カメラの操作者、撮影者、撮影された人物、撮影が行われたシーン等を考慮して記録部１０７の画像を複数の画像群に分類しておき、画像の送信時には分類した画像群のそれぞれの代表画像を選択し、画像表示装置２００にはまずこの代表画像のみを表示させる制御を行う。

図４は、本実施形態に係るカメラの動作を示すフローチャートである。図４の動作はカメラ１００の制御部１０１が司るものである。

図４において、制御部１０１は、カメラ１００の動作モードが撮影モードであるか否かを判定する（ステップＳ１０１）。カメラの動作モードの選択はユーザが操作部１０２を操作することにより行われる。ステップＳ１０１の判定において、カメラの動作モードが撮影モードである場合に、制御部１０１は、撮像部１０３を連続動作させてフレーミング用の画像の取り込みを実行させる。さらに、制御部１０１は、撮像部１０３を介して得られた画像における人物の顔部を顔検出部１０４に検出させる（ステップＳ１０２）。顔検出は、例えば画像中における顔を示す特徴点（眼や鼻等）を検出することで行う。顔検出の実行を指示した後、制御部１０１は、撮像部１０３を介して逐次得られた画像を表示部１０５にリアルタイムに表示させる（ステップＳ１０３）。この表示により、ユーザはフレーミング等を行うことが可能である。

画像表示の後、制御部１０１は、顔検出部１０４によって顔が検出できたか否かを判定する（ステップＳ１０４）。ステップＳ１０４の判定において、顔検出部１０４によって顔が検出できた場合に、制御部１０１は、顔検出部１０４によって検出された顔の位置及び数を記憶する（ステップＳ１０５）。ここで、記憶した顔の位置は撮像部１０３のピント調整や露出の制御に利用することが可能である。一方、ステップＳ１０４の判定において、顔検出部１０４によって顔が検出できなかった場合に、制御部１０１はステップＳ１０５の処理をスキップする。

次に、制御部１０１は、操作部１０２により、撮影実行指示であるレリーズ操作がなされたか否かを判定する（ステップＳ１０６）。ステップＳ１０６の判定において、レリーズ操作がなされていない場合には、処理がステップＳ１０１に戻り、制御部１０１はカメラ１００の動作モードの判定を行う。一方、ステップＳ１０６の判定において、レリーズ操作がなされた場合に、制御部１０１は、操作者特定部１１０を動作させて撮影者（カメラ１００の操作者）を特定する（ステップＳ１０７）。上述したように、撮影者の顔画像は予め記録部１０７に記録されている。撮影者の特定は、操作者特定部１１０によって得られた顔画像と記録部１０７に記録された顔画像とを比較することで行う。なお、撮影者の特定は画像によるものに限るものではない。例えば、撮影者がカメラ１００を保持したときの手の位置等の特徴から判定したり、予め撮影者の指定を行っておくようにしたりしても良い。さらには、レリーズ操作部に指紋検出器を設けて認証する等の各種生体認証技術や個人持ちＩＣタグとの通信を利用しても良い。

撮影者の特定の後、制御部１０１は、撮像部１０３を制御して画像の撮影を実行する。その後、制御部１０１は、撮像部１０３で得られた画像に対して画像処理及び圧縮処理等を施した後、処理後の画像を記録部１０７に記録させる（ステップＳ１０８）。画像の記録後、制御部１０１は、画像管理ファイルを作成（又は更新）する（ステップＳ１０９）。この画像管理ファイルにより、記録部１０７に記録された画像が複数の画像群に分類される。なお、ステップＳ１０９の画像管理ファイルの作成処理の詳細については後で詳しく説明する。

また、ステップＳ１０１の判定において、カメラ１００の動作モードが撮影モードでない場合に、制御部１０１は、カメラ１００の動作モードが再生モードであるか否かを判定する（ステップＳ１１０）。ステップＳ１１０の判定において、カメラ１００の動作モードが再生モードである場合に、制御部１０１は、記録部１０７に記録されている画像のサムネイル画像を表示部１０５に表示させ、このサムネイル画像の中でユーザの操作部１０２の操作によって選択されたサムネイル画像に対応した画像を再生して表示部１０５に拡大表示する（ステップＳ１１１）。画像の再生の後、制御部１０１は、画像の送信指示（例えば、図３のようにしてカメラ１００が画像表示装置２００に近づける操作）がなされたか否かを判定する（ステップＳ１１２）。ステップＳ１１２の判定において、画像の送信指示がなされていない場合に、処理がステップＳ１１０に戻り、制御部１０１はカメラ１００の動作モードの判定を行う。また、ステップＳ１１２の判定において、画像の送信指示がなされた場合に、制御部１０１は、通信部１１１を制御して、現在、表示部１０５に表示されている画像を画像表示装置２００に送信する（ステップＳ１１３）。

また、ステップＳ１１０の判定において、カメラ１００の動作モードが再生モードでない場合に、制御部１０１は、カメラ１００の動作モードが通信モードか否かを判定する（ステップＳ１１４）。ステップＳ１１４の判定において、カメラ１００の動作モードが通信モードでない場合に、処理がステップＳ１０１に戻り、制御部１０１はカメラ１００の動作モードの判定を行う。一方、ステップＳ１１４の判定において、カメラ１００の動作モードが通信モードである場合に、制御部１０１は、画像表示装置２００から特定の画像の送信要求がなされているか否かを判定する（ステップＳ１１５）。ステップＳ１１５の判定において、特定の画像の送信要求がなされている場合に、制御部１０１は、通信部１１１を制御して、画像表示装置２００によって指定された画像を画像表示装置２００に送信する（ステップＳ１１６）。

また、ステップＳ１１５の判定において、特定の画像の送信要求がなされていない場合に、制御部１０１は、詳細は後述する代表画像選択処理を行って、複数の画像群のそれぞれの代表画像を選択する（ステップＳ１１７）。その後、制御部１０１は、記録部１０７に記録された画像の中の代表画像を画像表示装置２００に送信する（ステップＳ１１８）。

次に、本実施形態における画像の分類について説明する。本実施形態では、記録部１０７に記録された画像を、各画像が撮影されたと考えられる行事（シーン）毎に分類する。図５は、カメラ１００によって撮影される画像の撮影枚数をシーン毎に示した図である。図５の例は、６人の撮影者Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆが日付毎に異なる撮影行動を行っている例を示している。図５の例において、運動会の場合には、両親が子供の写真を撮影する場合等が考えられる。このため、図５では、撮影者Ａ（例えば父親）、Ｂ（例えば母親）がカメラ１００を用いた撮影を行った例を示している。また、図５の例において、結婚式の時には一般的にカメラ１００の貸し借りがないと考えられる。したがって、図５では、撮影者Ｃのみがカメラ１００を用いた撮影を行った例を示している。また、外出の際には、撮影者Ａ、Ｄがカメラ１００を用いた撮影を行った例を示している。さらに、キャンプの際には、１台のカメラを皆で使って楽しむケースがある。図５では、例えば撮影者Ａ、Ｄ、Ｅ、Ｆの４人がカメラ１００を用いた撮影を行った例を示している。

このように、状況によって複数の人がカメラ１００を用いた撮影を行うことがある。この場合、例えば、撮影者Ａがカメラ１００を操作して、カメラ１００で撮影された画像を画像表示装置２００に送信して表示させる場合には、自分が撮影していない画像を含む大量の画像が一度に表示されてしまうと目的の画像を見つけるのが困難である。また、代表画像として自分が撮影していない画像を表示させても、その画像がいつ撮影されたものであるか分からない場合があり得る。

本実施形態では、画像表示装置２００に画像の送信がなされるのに先立って、その画像の送信指示をしたカメラ１００の操作者を特定した後、この特定した操作者が撮影した画像や操作者が撮影された画像等のカメラ１００の操作者に関連した代表画像をシーン毎に選択する。そして、カメラ１００から画像表示装置２００への画像の送信は、まず代表画像のみを送信するようにする。これによって、画像表示装置２００には、図６（ａ）に示すようにして、代表画像がまず表示される。なお、この際、画像の検索性を上げるためには撮影日時に合わせて代表画像を並べて表示させる方が良い。

操作者が図６（ａ）のようにして画像表示装置２００に表示された代表画像のうちの何れかを選択すると、その選択された代表画像が属する画像群の画像が全て画像表示装置２００に送信され、送信された画像が図６（ｂ）のようにして一覧表示される。

このように、自分が撮影した画像又は自分が撮影された画像を代表画像として表示させることで、操作者は、それぞれの代表画像がいつどのシーンで撮影されたものであるかを簡単に思い出すことができる。また、自分が撮影した画像又は自分が撮影された画像であればプライバシー上のリスクも少なくなると考えられる。例えば、本実施形態では、家族に関係ないキャンプの写真の全てが、その画像を見たくない人の前で表示されてしまうこともない。

以下、本実施形態における代表画像の選択手法をさらに説明する。本実施形態においては、撮影日時や画像中の被写体の顔のパターン等の各種の情報を画像毎に判別し、判別した情報を画像管理ファイルとして記録しておく。この画像管理ファイルによって記録部１０７に記録された画像の分類情報が管理される。

図７は、本実施形態における画像管理ファイルの作成処理によって作成される画像管理ファイルの一例を示す図である。ここで、画像管理ファイルはシーン毎に１つ作成されるものである。なお、本実施形態では、例として１日に１つのイベントが行われるものと考える。つまり、同じ日付に撮影された画像は全て同一のシーン内で撮影されたものとする。

図７の画像管理ファイルは運動会が行われたときに作成される画像管理ファイルの一例を示している。この場合、画像管理ファイルの「シーン判定」の項目に、当該画像管理ファイルが対応しているシーンを示す情報が記録される。図７では、分かりやすく「運」と記しているが、実際には、運動会であることを示すフラグを記録する。

さらに、図７に示すように、画像管理ファイルには、予めカメラ１００に登録されている顔が画像中に含まれているか否かを示す情報、顔が含まれている場合にはそれぞれの顔の笑顔度（詳細は後述する）を示す情報、顔のアップを含むか否かを示す情報、顔が画像内の中央にあるか否かを示す情報、画像内のトータルの顔数、撮影者分類、及び撮影日時を画像毎に記録する。

図７は、カメラ１００に３人の顔画像（それぞれ顔１、顔２、顔３とする）が登録されている例を示している。画像内に顔１が存在していた場合には、「顔１」の項目に顔１が存在していたことを示す「１」が記録される。また、同様に、画像内に顔２が存在していた場合には、「顔２」の項目に「１」が記録され、画像内に顔３が存在していた場合には、「顔３」の項目に顔３が存在していたことを示す「１」が記録される。

なお、ここでは顔特徴１、２、３の３パターンが判別可能としたが、さらに多くの顔の種別を検出できるようにしても良い。

笑顔度は、各顔がどの程度の笑顔であるのかを数値として示したものである。この笑顔度について説明する。図８は、人物の笑顔と笑顔でないときの顔（困った顔）とを比較して示した図である。なお、図８（ａ）が笑顔を示し、図８（ｂ）が困った顔を示している。図８（ａ）と図８（ｂ）との比較から分かるように、笑顔とそうでないときの顔とにはそれぞれ眼と口元に特徴があることが分かる。本実施形態では、人物の眼と口元の特徴から、画像中の顔がどの程度の笑顔であるかを数値として求める。

図９は、笑顔度Ｒの算出処理の詳細について示すフローチャートである。図９において、まず、顔検出部１０４によって検出された顔部の画像における目部、口部を検出する（ステップＳ２０１）。目部、口部は、顔部の画像の陰影の分布から検出する手法や目部や口部の特徴量を抽出する手法等の周知の手法で検出することが可能である。

ステップＳ２０１において目部、鼻部を検出した後、顔検出部１０４は、両目の瞳を結ぶ直線Ａの上側の白眼部分の面積ＥＡ（図８（ａ）参照）を求める（ステップＳ２０２）。次に、顔検出部１０４は、両目の瞳を結ぶ直線Ａの下側の白眼部分の面積ＥＢ（図８（ａ）参照）を求める（ステップＳ２０３）。ＥＡ及びＥＢを求めた後、顔検出部１０４は、ＥＡとＥＢの差をＥＡとＥＢの和で正規化した値ＲＥを求める（ステップＳ２０４）。ここで、笑顔の場合には図８（ａ）に示すようにＥＢが０に近くなるため、結果ＲＥが大きくなる。逆に笑顔でない顔（困った顔）の場合には図８（ｂ）に示すようにＥＡが０に近くなるため、結果ＲＥが小さくなる。したがって、ＲＥの大小からどの程度の笑顔であるかを判定することが可能である。

ＲＥを求めた後、顔検出部１０４は、口の両端を結ぶ直線Ｂの上側の唇部分の面積ＬＡ（図８（ｂ）参照）を求める（ステップＳ２０５）。次に、顔検出部１０４は、口の両端を結ぶ直線Ｂの下側の唇部分の面積ＬＢ（図８（ｂ）参照）を求める（ステップＳ２０６）。ＬＡ及びＬＢを求めた後、顔検出部１０４は、ＬＢとＬＡの差をＬＡとＬＢの和で正規化した値ＲＬを求める（ステップＳ２０７）。ここで、笑顔の場合には図８（ａ）に示すようにＬＡが０に近くなるため、結果ＲＬが大きくなる。逆に笑顔でない顔の場合には図８（ｂ）に示すようにＬＢが小さくなるため、結果ＲＬが小さくなる。したがって、ＲＬの大小からもどの程度の笑顔であるかを判定することが可能である。

ＲＥ及びＲＬを求めた後、顔検出部１０４はＲＥとＲＬの和である笑顔度Ｒを求める（ステップＳ２０８）。この笑顔度Ｒは大きいほどそのときの表情は笑顔に近いものとなる。さらに、図８（ａ）の符号Ｃで示したように口の端部に影があったり、歯が見えていたりすると笑顔の確率が高い。そこで、顔検出部１０４は口部分に歯（白部分）が検出され、且つ口端部に影があるか否かを判定する（ステップＳ２０９）。ステップＳ２０９の判定において、口部分に歯が検出され、かつ口端部に影がある場合に、顔検出部１０４はＲに１を加算する（ステップＳ２１０）。

一方、ステップＳ２０９の判定において、口部分に歯が検出され、かつ口端部に影がない場合、若しくはステップＳ２１０の後、顔検出部１０４は眉間部分（目の間部分）に符号Ｄで示すような皺があるか否かを判定する（ステップＳ２１１）。皺は例えば、目の間部分の陰影分布から検出できる。ステップＳ２１１の判定において、眉間部分に皺がある場合に、顔検出部１０４はＲから１を減算する（ステップＳ２１２）。即ち、眉間に皺が検出されるような表情では笑顔とは言えないのでステップＳ２１１の判定を行う。

以上のようにして求められる笑顔度Ｒは笑顔に近いほど高い数値となる。この笑顔度Ｒにより、画像に写っている人物の笑顔度を判定することが可能となる。後述する人物登場回数ファイルの作成時（又は更新時）には図９の処理を行って笑顔度Ｒを算出して人物登場回数ファイルの「笑顔度」の項目に記録する。

ここで、再び図７の説明に戻る。図７において、画像内に顔のアップを含むか否かを示す情報は、画像内の顔の中でアップの顔画像が含まれているかを示す情報である。この判定は、例えば、画像中に顔が検出された場合にその顔の面積が画像内の所定の割合を占めているか否かによって行う。また、顔が画像内の中央にあるか否かを示す情報は、画像内の中央部で顔が検出されたかを示す情報である。トータル顔数は、カメラ１００に登録されていない顔を含めた画像内の顔数である。撮影者分類は、図４のステップＳ１０７の撮影者特定処理によって特定された各画像の撮影者を識別するための情報である。

図１０は、画像管理ファイル作成の処理について示すフローチャートである。図１０の処理は画像群決定部１０８が行う。

図１０において、制御部１０１は、操作者特定部１１０において得られた撮影者の画像と新たに記録部１０７に記録した画像中の被写体の画像における顔部分を顔検出部１０４によって検出させる（ステップＳ３０１）。この際、顔検出部１０４は、新たに記録部１０７に記録された画像における上述の笑顔度Ｒの算出、顔の位置の判定、顔がアップであるか否かの判定も行う。

次に、制御部１０１は、新たに記録部１０７に記録した画像が先に記録部１０７に記録した画像と同じ日付に撮影された画像であるか否かを判定する（ステップＳ３０２）。ステップＳ３０２の判定において、新たに記録した画像が先に記録部１０７に記録した画像と同じ日付に撮影された画像でない場合には、そのときのシーンに対応した画像管理ファイルは作成されていない。したがって、この場合に、制御部１０１は、画像群決定部１０８と顔検出部１０４とを制御して、新たに記録した画像の撮影日付に対応した画像管理ファイルを作成させる（ステップＳ３０３）。なお、この時点ではシーン判定を行うことができないので、シーン判定情報については「その他」を示す情報を記録し、笑顔度等の情報はステップＳ３０１で算出されたものを記録する。画像管理ファイルの作成後、制御部１０１は、図１０の処理を終了させる。

一方、ステップＳ３０２の判定において、新たに記録部１０７に記録した画像が先に記録部１０７に記録した画像と同じ日付に撮影された画像である場合には、そのときのシーンに対応した画像管理ファイルは既に作成されていると考えられる。この場合に、制御部１０１は、新たに記録部１０７に記録した画像の撮影日付と同じ日に所定枚数の画像が取得されているか、即ち画像管理ファイルに所定数の画像に関する情報が記録されているか否かを判定する（ステップＳ３０４）。本実施形態の例では、同じ日付に撮影された複数の画像の撮影内容からその撮影がなされたシーンを判定する。したがって、同じ日付に撮影された画像群に所定枚数以上の画像が取得されていない場合には、シーンの判定が行えないとする。この場合に、制御部１０１は、画像群決定部１０８を制御して画像管理ファイルのシーン判定情報に「その他」を示す情報を記録させる（ステップＳ３０５）。

また、ステップＳ３０４の判定において、新たに記録部１０７に記録した画像の撮影日付と同じ日に所定枚数の画像が取得されている場合に、制御部１０１は、画像群決定部１０８によってシーンの判定を実行させる。これを受けて画像群決定部１０８は、画像管理ファイルの「撮影日時」の項目を参照して、同じ日付に撮影された複数の画像の撮影時間がある時間に集中しているか否かを判定する（ステップＳ３０６）。

ステップＳ３０６の判定において、複数の画像の撮影時間が所定時間に集中していない場合に、画像群決定部１０８は、撮影された複数の画像に風景画像（顔の無い画像）が所定枚数よりも多いか否かを判定する（ステップＳ３０７）。ステップＳ３０７の判定において、撮影された複数の画像に風景画像が多い場合に、画像群決定部１０８は当該画像群が旅行時に撮影された画像と判定し、各画像に係る「シーン判定」の項目に「旅行」を示す情報を記録する（ステップＳ３０８）。このような状況は、複数の時間帯（場所）で風景を撮影している状況であると考えられる。また、ステップＳ３０７の判定において、撮影された複数の画像に風景画像が多くない場合に、画像群決定部１０８は当該画像群のシーン判定が不能であると判定する。この場合には、処理がステップＳ３０５に移行し、画像群決定部１０８は、各画像に係る「シーン判定」の項目に「その他」を示す情報を記録する。

また、ステップＳ３０６の判定において、複数の画像の撮影時間が所定時間に集中している場合には、画像中央に顔が多い場合と少ない場合とに分けてシーン判定を行う。この際、画像群決定部１０８は、画像管理ファイルの「中央に顔」の項目を参照して、画像の中央部に顔のある画像が所定枚数未満あるか否かを判定する（ステップＳ３０９）。ステップＳ３０９の判定において、画像の中央部に顔が多い場合は、例えば、自分の子供だけを撮影しようとした状況であり、このような状況は例えば学校行事（ここでは運動会）と考えることができる。このため、画像群決定部１０８は、各画像に係る「シーン判定」の項目に「運動会」を示す情報を記録する（ステップＳ３１０）。勿論、学校行事であると判定するに先立って、特定人物を撮影しているかどうかといった判定を行うようにしても良い。

また、ステップＳ３０９の判定において、画像の中央部に顔が少ない場合は、ランダムに多くの人が撮影される状況であり、このような状況は例えばパーティ等が考えられる。ただし、同じカメラを使って複数の撮影者が撮影するような場合では、単なるパーティではなく特に親しい者の集まり（ここでは宴会とする）であると考えられる。また、フォーマルに近いシーンでは、同じカメラを回して使うようなことは少ないと考えられる。したがって、画像群決定部１０８は、画像管理ファイルの「撮影者分類」の項目を撮影して、当該画像群に含まれる複数の画像が所定数以上の複数の撮影者によって撮影されているか否かを判定する（ステップＳ３１１）。ステップＳ３１１の判定において、当該画像群に含まれる複数の画像が所定数以上の複数の撮影者によって撮影されていない場合に、画像群決定部１０８は、各画像に係る「シーン判定」の項目に「パーティ」を示す情報を記録する（ステップＳ３１２）。また、ステップＳ３１１の判定において、当該画像群に含まれる複数の画像が所定数以上の複数の撮影者によって撮影されている場合に、画像群決定部１０８は、各画像に係る「シーン判定」の項目に「宴会」を示す情報を記録する（ステップＳ３１３）。

以上によって画像群の複数の画像のシーン判定が終了したので、画像群決定部１０８は、新たに記録部１０７に記録した画像に係る「シーン判定」以外の項目に対応した情報を追記することで画像管理ファイルを更新する（ステップＳ３１４）。画像管理ファイルの更新後、制御部１０１は図１０に示す処理を終了させる。

以上、画像管理ファイルの作成の手法について説明したが、画像管理ファイルの作成におけるシーン判定は上述した手法に限定されない。例えば、上述の分類に加え、図１１に示したような、各イベントが起こりうる時間帯を利用して、さらにシーンを細かく分類しても良い。図１１の例は、１日をＴ１〜Ｔ６の時間帯の６つの時間帯に分割したものである。この場合の分類は、例えば、９時頃から３時頃までの撮影が続いた場合には、「学校行事」の中の「運動会」と判定したりする。

次に、図４のステップＳ１１７の代表画像選択処理について説明する。本実施形態では、画像群の中の代表画像を選択するに際し、撮影者が写ったものを代表画像とした方が良いか、又は画像群の主たる被写体が写ったものを代表画像としたほうが良いかを撮影状況によって判別する。図１２は、この判別の代表例を示している。なお、図１２には、図３のような画像の送信操作を行う操作者として誰を想定しているかも記してある。

例えば、一般に、運動会等の学校行事では撮影者より被写体（子供）の方が重要であり、また殆どが被写体の画像であると考えられる。ただし、画像の送信操作を行うのは撮影者である親のみならず、例えば被写体である子供である場合も考えられる。したがって、この場合は、操作者にかかわらず子供（主たる被写体）が写っている画像を代表画像とすることが好ましい。勿論、この場合も、親と子供が一緒に写った写真を代表画像とすることもできる。

また、パーティでは、自分がそこに参加したことを報告したい場合が多く、この場合は、撮影者が写っている画像を代表画像とした方が良い。パーティの場合は主たる撮影者である自分自身があまり写っていないことが多いので、自分自身が写っている画像がいっそう貴重であると考えられる。

また、宴会では、多くの人が面白いシーンを入れ替わり立ち替わり撮影している場合が多く、自分が参加した記録というよりも、自分が見聞きしたものを写した画像を代表画像とすることが好ましい。

なお、図１２において、パーティや宴会では、カメラの操作者はカメラの所有者である場合が多く、それは、主たる撮影者であると考えている。

また、旅行、特に家族旅行の場合には、子供が自分の画像が見たくて、カメラを操作する可能性がある。一方、友人と出かけた旅行の場合には、パーティと同様、主たる撮影者自身が、自分が写った写真を見たいと考えられる。このため、主たる撮影者及び主たる被写体がそれぞれ写っている画像を代表画像とすることが好ましい。

さらに、その他の分類シーンでは、やはり撮影者が見て撮影したものが重要であると考え、主たる被写体が写っている画像を代表画像とすることが好ましい。

図１３は、代表画像選択処理について示すフローチャートである。図１３の例では、図１２に示したシーンに応じた代表画像の選択だけでなく、カメラ１００の操作者と撮影者の関係からも代表画像の選択を行う。なお、図１３の処理は代表画像選択部１０９が行う。

図１３において、制御部１０１は、代表画像選択部１０９に代表画像の選択を実行させる。これを受けて代表画像選択部１０９は、まず操作者特定部１１０を動作させて得られた画像からカメラ１００の操作者を特定する（ステップＳ４０１）。カメラ１００の操作者の特定後、代表画像選択部１０９は、記録部１０７に記録されている最新の画像管理ファイルを読み出す（ステップＳ４０２）。ステップＳ４０２の後、代表画像選択部１０９は、画像管理ファイルを正しく読み出せたか否かを判定する（ステップＳ４０３）。ステップＳ４０３の判定において、記録部１０７に画像管理ファイルが記録されていない等の理由で画像管理ファイルを正しく読み出すことができなかった場合に、代表画像選択部１０９は、画像管理ファイルが正しく読み出せなかった旨を示す情報を例えば表示部１０５に表示させることによって、カメラ１００の操作者に警告する（ステップＳ４０４）。その後、代表画像選択部１０９は、図１３の処理を終了させる。

また、ステップＳ４０３の判定において、画像管理ファイルを正しく読み出すことができた場合に、代表画像選択部１０９は、所定数（例えば３ファイル分）の画像管理ファイルに対して代表画像の選択を行ったか否かを判定する（ステップＳ４０５）。ステップＳ４０５の判定において、３ファイル分に対応した代表画像が選択済みでない場合に、代表画像選択部１０９は、画像管理ファイルを参照して、当該画像群の中にカメラ１００の操作者が撮影者である画像が含まれているか否かを判定する（ステップＳ４０６）。

ステップＳ４０６の判定において、カメラ１００の操作者が撮影者である画像が含まれていない場合、他の人が撮った写真を別の人が鑑賞しようとしている状況である。この場合、代表画像選択部１０９は、画像管理ファイルを参照して、当該画像群の中に、カメラ１００の操作者が撮影された画像（操作者に対応した顔を含む画像）が含まれているか否かを判定する（ステップＳ４０７）。ステップＳ４０７の判定において、カメラ１００の操作者が撮影された画像が含まれていない場合に、代表画像選択部１０９は、代表画像の選択が行えない旨を示す情報を例えば表示部１０５に表示させることによって、カメラ１００の操作者に警告する（ステップＳ４０８）。一方、ステップ４０７の判定において、カメラ１００の操作者が撮影された画像が含まれている場合に、代表画像選択部１０９は、画像群の中のカメラ１００の操作者が撮影された画像を代表画像として選択する（ステップＳ４０９）。なお、操作者が撮影された画像が複数ある場合には、笑顔度が最も高い画像や顔が最もアップの画像等を代表画像として選択する。これは、以後の代表画像の選択時も同様である。

また、ステップＳ４０６の判定において、カメラ１００の操作者が撮影者である画像が含まれている場合、パーティや旅行時等であり、他の人が撮った写真を別の人が鑑賞しようとしている状況である。この場合、代表画像選択部１０９は、画像管理ファイルを参照して、当該画像群の中に、カメラ１００の操作者が撮影された画像が含まれているか否かを判定する（ステップＳ４１０）。ステップＳ４１０の判定において、カメラ１００の操作者が撮影された画像が含まれていない場合に、代表画像選択部１０９は、カメラ１００の操作者が撮影者である画像を代表画像として選択する（ステップＳ４１１）。一方、ステップ４１０の判定において、カメラ１００の操作者が撮影された画像が含まれている場合に、代表画像選択部１０９は、画像管理ファイルを参照して、当該画像群の中に、カメラ１００の操作者と撮影者の両方が写っている画像が含まれているか否かを判定する（ステップＳ４１２）。

ステップＳ４１２の判定において、カメラ１００の操作者と撮影者の両方が写っている画像が含まれている場合に、代表画像選択部１０９は、カメラ１００の操作者と撮影者の両方が写っている画像を代表画像として選択する（ステップＳ４１３）。これは例えば、子供が親と写っている画像等を想定しており、特に学校行事や、家族旅行のシーンで効力を発揮する。

また、ステップＳ４１２の判定において、カメラ１００の操作者と撮影者の両方が写っている画像が含まれていない場合には図１２に示す考え方で分類された画像群の特徴によって代表画像の選択を行う。この場合、代表画像選択部１０９は、当該画像群の中にカメラ１００の操作者が写っている画像が所定枚数以上あるか否かを判定する（ステップＳ４１４）。ステップＳ４１４の判定において、カメラ１００の操作者が写った画像が多い場合には、例えば学校行事の写真を子供が検索する場合等の状況が考えられる。この場合に、代表画像選択部１０９は、カメラ１００の操作者が写った画像を代表画像として選択する。また、ステップＳ４１４の判定において、カメラ１００の操作者が写った画像が多くない場合には、例えばパーティや旅行時であると考えられる。この場合に、代表画像選択部１０９は、画像管理ファイルを参照して当該画像群がパーティ又は旅行時の画像群であるか否かを判定する（ステップＳ４１５）。ステップＳ４１５の判定において、当該画像群がパーティ又は旅行時の画像群である場合に、代表画像選択部１０９は、カメラ１００の操作者が写った画像を代表画像として選択する。一方、ステップＳ４１５の判定において、当該画像群がパーティ又は旅行時の画像群でない場合に、代表画像選択部１０９は、カメラ１００の操作者が撮影者である画像を代表画像として選択する。

以上のように代表画像を選択した後、代表画像選択部１０９は、記録部１０７に記録された画像管理ファイルの中で１つ前の撮影日時に対応した画像管理ファイルを読み出す（ステップＳ４１６）。その後、処理がステップＳ４０２に戻る。その後、ステップＳ４０５の判定において、３ファイル分に対応した代表画像が選択済みとなった場合に、代表画像選択部１０９は、図１３の処理を終了させる。

以上説明したように、本実施形態によれば、カメラ１００に記録された画像を画像表示装置２００に表示させるに先立って、カメラ１００の操作者を特定し、特定した操作者に関連する画像のみをまず代表画像として表示させることにより、検索性とプライバシーの保護の両面を考慮した表示が可能となる。

ここで、図１３の処理においては代表画像を３つのみ選択するようにしているが、代表画像を３つのみとする必要はない。ただし、代表画像を多くしすぎると送信を含む処理時間や画面上で探す時の時間がかかるので、１０グループ分くらいが適当数であると考えられる。

また、図１３のようにして選択された代表画像は、１枚ずつ送信するようにしても、複数の画像を１つのファイルにまとめてから送信するようにしても良い。

さらに、上述の例では、同じカメラで撮影した画像についての分類を中心に説明したが、同様の仕様のカメラを複数使って撮影した結果を、１つのカメラに集めて、みんなで鑑賞するような用途にも本実施形態の手法を応用可能である。

以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。

さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。

本発明の一実施形態に係るカメラを有するカメラシステムの構成図である。 操作者特定部について示した図である。 画像表示装置の通信部の一例について示す図である。 本発明の一実施形態に係るカメラの動作を示すフローチャートである。 カメラによって撮影される画像の撮影枚数をシーン毎に示した図である。 図６（ａ）は代表画像の表示例を示す図であり、図６（ｂ）は画像群の表示例を示す図である。 本発明の一実施形態における画像管理ファイルの作成処理によって作成される画像管理ファイルの一例を示す図である。 図８（ａ）は人物の笑顔の特徴について説明するための図であり、図８（ｂ）は人物の笑顔でないときの特徴について説明するための図である。 笑顔度Ｒの算出処理の詳細について示すフローチャートである。 画像管理ファイル作成の処理について示すフローチャートである。 イベントをそのイベントが起こりうる時間帯に対応付けて示した図である。 代表画像の選択手法の一例を示した図である。 代表画像選択処理について示すフローチャートである。

符号の説明

１００…デジタルカメラ（カメラ）、１０２…操作部、１０３…撮像部、１０４…顔検出部、１０５…表示部、１０６…時計部、１０７…記録部、１０８…画像群決定部、１０９…代表画像選択部、１１０…操作者特定部、１１１…通信部、２００…画像表示装置、２０１…制御部、２０２…表示部、２０３…通信部、２０４…操作部

Claims (5)

1. 複数の画像を記録する記録部と、
   上記記録された複数の画像を当該カメラと異なる画像表示装置に送信する指示をするための操作部と、
   上記操作部の操作者を特定する操作者特定部と、
   上記操作者特定部によって特定された操作者と関連する画像を代表画像として上記複数の画像の中から選択する代表画像選択部と、
   上記選択された代表画像を上記画像表示装置に送信する送信部と、
   を具備することを特徴とするカメラ。
2. 上記操作者と関連する画像は、上記操作者が撮影した画像又は上記操作者が撮影された画像を含むことを特徴とする請求項１に記載のカメラ。
3. 上記複数の画像のそれぞれが撮影された撮影日時を計時する時計部と、
   上記撮影日時から、上記複数の画像のそれぞれが撮影されたシーンを判定し、該判定結果に従って、上記複数の画像をシーン毎に複数の画像群に分類する画像群決定部と、
   をさらに具備し、
   上記代表画像選択部は、上記画像群毎に上記代表画像を選択することを特徴とする請求項１に記載のカメラ。
4. 上記複数の画像のそれぞれの被写体の特徴を判定する特徴判定部をさらに具備し、
   上記画像群決定部は、上記撮影日時に加えて上記被写体の特徴から上記画像群の分類を行うことを特徴とする請求項３に記載のカメラ。
5. 上記画像群決定部は、上記撮影日時に加えて上記複数の画像のうちの少なくとも１つが複数の撮影者によって撮影されたか否かを判定し、該判定結果に従って上記画像群の分類を行うことを特徴とする請求項３に記載のカメラ。

Images