JP2009111571A - 撮像装置、画像インデックス付与方法、画像インデックス付与システム、情報処理装置 - Google Patents

Abstract

【課題】ユーザ操作に基づかない自動撮像を行う装置において、保存された画像の閲覧が効率的に行われるようにしてシステムの有用性を高める。
【解決手段】例えば、画像解析や音声解析、或いは各撮像装置間の位置関係について解析することで、撮像装置のユーザが他の人物と会っているとされる状態にあるか否かを判別する。そしてこの判別の結果に基づき、自動撮像により取り込まれた画像に対するインデックス付与を行う。これにより、自動撮像により取り込まれた画像のうち、重要と考えられる画像に対しインデックスを付すことができ、効率的な画像閲覧が行われるように図ることができる。
【選択図】図３

Description

本発明は、撮像装置として、特に使用者の操作に基づかずに撮像画像データを自動的に取り込むようにされた撮像装置、及び上記撮像画像データに対してインデックスを付すための画像インデックス付与方法に関する。また、撮像装置と情報処理装置とを含んで構成される画像インデックス付与システム、及び情報処理装置に関する。

例えばライフログカメラなどとして、ユーザが装着しているカメラが自動的に定期的な画像撮像を行うことで、ユーザが日常生活で目にする光景を画像データとして記録するカメラが提案されている。このライフログカメラを使用することで、ユーザの行動履歴や思い出などを、画像データとして残すことが可能となる。
また近年、インターネット上では日記風の記録（例えばブログなど）の公開が増加してきているが、上記のようなライフログカメラは、例えばこのようなブログの写真素材の調達用途にも好適となる。

なお、関連する従来技術については下記の特許文献を挙げることができる。
特開２００６−２７０６２７号公報 特開２００７−１３８４３号公報

ここで、上記のように定期的な自動撮像を行うライフログカメラをユーザが装着し日常の行動を行った場合、大量の画像データが撮影・保存されることが想定される。例えば自動撮像として１０秒おきに画像データを取り込むとした場合、単純計算で半日（１２時間）あたり４３２０枚もの画像データが保存されることになる。

このように大量な画像データが保存されてしまうと、ユーザが一日の行動を振り返るとしても、保存画像を順に閲覧することは非常な負担となる。つまり、自動撮像を行う装置において、このように大量に保存される画像の閲覧について何ら工夫が凝らされない場合は、ユーザに効率的に行動履歴を振り返らせることができなくなってしまい、システムの有用性を著しく害するものとなってしまう。

本発明では以上ような点に鑑み、例えばライフログ用途などで自動撮像を行う場合において、膨大な保存量となる画像のうちユーザにとって重要とされる画像が効率的に閲覧されるようにすることを目的とする。
このために本発明では、撮像装置として以下のように構成することとした。
つまり、被写体を撮像して撮像画像データを得る撮像手段と、制御手段とを備える。
そして、上記制御手段は、
上記撮像手段により得られる撮像画像データを使用者の操作に基づかず自動的に取り込む撮像画像自動取込処理と、
入力情報に基づき人と会っていると推定できる状態であるか否かを判別する判別処理と、
上記判別処理により人と会っていると推定できる状態であると判別した場合に、上記撮像画像自動取込処理により取り込まれた上記撮像画像データに対してインデックスが付されるように制御するインデックス付与処理とを実行するものである。

また、上記制御手段による上記判別処理では、上記撮像手段により得られる撮像画像データについての画像解析結果に基づき、人と会っていると推定できる状態であるか否かを判別する。例えば、上記撮像画像データ内に人の顔と推定できる画像が含まれているか否かについての画像解析結果に基づき、人と会っていると推定できる状態であるか否かを判別する。
或いは、上記判別処理では、外部音を収音して得られた収音データについての音声解析結果に基づき人と会っていると推定できる状態であるか否かを判別する。例えば、所定の声紋データが記憶された記憶手段をさらに備え、上記判別処理では、上記収音データ内に上記声紋データと一致するとされるデータ部分が存在するか否かについての音声解析結果に基づき、人と会っていると推定できる状態であるか否かを判別する。
或いは、外部装置との間で近距離無線通信を行う近距離無線通信手段を備えると共に、上記判別処理では、上記近距離無線通信手段による通信可能範囲に他の装置が存在するか否かを判別することで、人と会っていると推定できる状態であるか否かを判別する。

また、本発明では、情報処理装置と、上記情報処理装置との間でデータ通信が可能に構成された複数の撮像装置とを含んで構成される画像インデックス付与システムとして以下のように構成することとした。
つまり、上記情報処理装置は、以下の各処理を実行する情報処理装置側制御手段を備える。
すなわち、データ通信を行って上記撮像装置の所在位置に関する情報を取得する位置情報取得処理と、
上記位置情報取得処理により取得した上記撮像装置の上記所在位置に関する情報に基づき、所定範囲内に他の撮像装置が存在する撮像装置を検索する検索処理と、
上記検索処理による検索の結果、上記所定範囲内に他の撮像装置が存在するとして特定した撮像装置に対して通知を行う通知処理とを実行する情報処理装置側制御手段を備える。
また、上記撮像装置は、被写体を撮像して撮像画像データを得る撮像手段と、撮像装置側制御手段とを備える。
そして、上記撮像装置側制御手段は、
上記撮像手段により得られる撮像画像データを使用者の操作に基づかず自動的に取り込む撮像画像自動取込処理と、
上記情報処理装置側における上記通知処理による通知に基づき、上記撮像画像自動取込処理により自動的に取り込まれた上記撮像画像データに対してインデックスが付されるように制御するインデックス付与処理とを実行する。

また、本発明では情報処理装置として以下のように構成することとした。
すなわち、本発明の情報処理装置は、現在位置を検出する位置検出手段を備え、且つ撮像画像データを使用者の操作に基づかず自動的に取り込むようにされた複数の撮像装置との間でデータ通信が可能に構成された情報処理装置であって、以下の処理を実行する制御手段を備えるものである。
すなわち、上記撮像装置における上記位置検出手段により検出された現在位置情報を取得する位置情報取得処理と、
上記位置情報取得処理により取得した上記位置情報に基づき、所定範囲内に他の撮像装置が存在する撮像装置を検索する検索処理と、
上記検索処理による検索の結果、上記所定範囲内に他の撮像装置が存在するとして特定した撮像装置に対して通知を行う通知処理とを実行する制御手段を備えるものである。

上記本発明によれば、撮像装置を携帯したユーザが人と会っているとされる状態にあるか否かの判別結果に応じて、自動撮像された画像データに対してインデックスを付すことができる。このとき、人と会っているとされる状態であるか否かの判別は、例えば（１）撮像画像データに人の顔に該当する画像が映し出されているか否か、（２）収音音声データに所定の声紋データと一致する部分が検出されたか否か、（３）装置間の位置関係として所定範囲内に他の装置（ユーザ）が存在するか否か、のうち少なくとも何れかの条件成立有無を判別することで行うことができる。
ここで、ユーザの日常生活において、重要な出来事は、ユーザが他の人物と対面している、会話している、又は一緒に行動しているなど、ユーザが他の人物と会っている状態で多く発生すると考えることができる。上記本発明によれば、このように日常生活の中で重要点であると考えられる、ユーザが他の人物と会っているとされる状況下で自動撮像された画像データに対して、インデックスを付与することができる。

本発明によれば、自動撮像を行う撮像装置において、ユーザが他の人物と会っているとされる状況下で撮像された画像データに対してインデックスを付すことができる。このことで、自動撮像により大量に保存される画像データについて、重要とされる部分とそうでない部分とを分別することができる。
すなわち、このようなインデックスの付与によって、自動撮像により大量に保存された画像データを、ユーザに効率的に閲覧させることができ、行動履歴を振り返るにあたってのユーザ負担を効果的に削減することができる。このことで、例えばユーザの日常生活を記録しそれを振り返らせるといったシステムを、より有用性の高いものとして実現することができる。

以下、本発明を実施するための最良の形態（以下、実施の形態とする）について説明する。

＜第１の実施の形態＞
［撮像装置の外観例］

実施の形態の撮像装置１としては、各種の形態が想定されるが、それらの外観例を図１（ａ）（ｂ）（ｃ）に例示する。
先ず、図１（ａ）は、首かけタイプ（吊り下げタイプ）の撮像装置１を示している。この撮像装置１は、例えばストラップを取り付ける部位を持ち、この部位にストラップを取り付けて図示するようにユーザの首にかけることで装着される。ユーザは、撮像装置１が備える撮像レンズ３Ｌがユーザの正面方向を被写体方向として撮像出来るように装着すればよい。
なお、図示していないが、例えば撮像装置１の背面部などに、撮像モニタ用や撮像画像の再生などに用いる表示部が設けられてもよい。

図１（ｂ）は、眼鏡型ディスプレイカメラとした撮像装置１を示している。撮像装置１は、例えば両側頭部から後頭部にかけて半周回するようなフレームの構造の装着ユニットを持ち、図のように両耳殻にかけられることでユーザに装着される。
この撮像装置１は、ユーザが装着した状態において、ユーザの視界方向を被写体方向として撮像するように、前方に向けて撮像レンズ３Ｌが配置されている。
また、図示のような装着状態において、ユーザの両眼の直前、即ち通常の眼鏡におけるレンズが位置する場所に、左眼用と右眼用の一対の表示部５、５が配置される構成とされている。この表示部５には、例えば液晶パネルが用いられ、透過率を制御することで、図のようなスルー状態、即ち透明又は半透明の状態とできる。表示部５がスルー状態とされることで、眼鏡のようにユーザが常時装着していても、通常の生活には支障がない。
なお、表示部５は、両眼に対応して一対設けられる他、片側の眼に対応して１つ設けられる構成も考えられる。
図１（ｃ）は、上記表示部５が設けられない外観例を示している。

図１では、首かけタイプ、或いは眼鏡型などの撮像装置１を挙げたが、ユーザが撮像装置１を装着するための構造は多様に考えられる。例えばヘッドフォン型、ネックバンドタイプ、耳掛け式など、どのような装着ユニットでユーザに装着されるものであってもよい。さらには、例えば通常の眼鏡やバイザー、或いはヘッドフォン等に、クリップなどの取付具で取り付けることでユーザに装着させる形態であってもよい。また必ずしもユーザの頭部に装着されるものでなくてもよい。
また、図１（ａ）の場合、撮像方向をユーザの正面方向としているが、装着時にユーザの後方を撮像するように撮像装置１を首にかけるように装着してもよい。
そして、図１（ｂ）（ｃ）の場合は、撮像方向をユーザの視界方向としているが、装着時にユーザの後方、側方、上方、足下方向などを撮像するように撮像レンズ３Ｌが取り付けられている構成や、撮像方向が同一又は異なる方向とされた複数の撮像系が設けられている構成も考えられる。
さらに、図１（ａ）（ｂ）（ｃ）において、１又は複数の撮像レンズ３Ｌについて、被写体方向を手動又は自動で変更できる撮像方向可変機構を設けてもよい。

なお、動画や静止画撮像を行う撮像装置として、これら図１（ａ）（ｂ）（ｃ）に示す以外の形態も考えられることは言うまでもない。例えば、車に設置可能な撮像装置であって車内や、或いは車外を撮像することが可能な撮像装置１も本実施の形態として想定できる。例えば車室内を撮像するように取り付けられた撮像装置や、車の前方風景、後方風景等を撮像するように取り付けられた撮像装置である。
また、携帯電話機やＰＤＡ（Personal Digital Assistant）、携帯用パーソナルコンピュータなどの機器であって、撮像装置としての機能を備えているものも本実施の形態の撮像装置１として想定できる。
また、これらの各種形態において、例えば外部音声を集音するマイクロフォンを設け、撮像時に、画像データと共に記録する音声信号を得るようにしてもよい。また音声出力を行うスピーカ部やイヤホン部を形成するようにしてもよい。
また、撮像レンズ３Ｌの近辺に、被写体方向への照明を行う発光部を、例えばＬＥＤ（Light Emitting Diode）等により設けたり、静止画撮像のためのフラッシュ発光部を設けることも考えられる。

［撮像装置の内部構成例］

続いて、実施の形態の撮像装置１の内部構成例について説明する。
図２は、撮像装置１の内部構成を示すブロック図である。
図示するようにして撮像装置１は、システムコントローラ２、撮像部３、撮像制御部４、表示部５、表示制御部６、操作入力部７、ストレージ部８、通信部９、画像解析部１０、音声解析部１１、バス１２、音声入力部１３を有する。

システムコントローラ２は、例えばＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、不揮発性メモリ部、インターフェース部を備えたマイクロコンピュータにより構成され、撮像装置１の全体を制御する制御部とされる。このシステムコントローラ２は内部のＲＯＭ等に保持したプログラムに基づいて、各種演算処理やバス１２を介した各部と制御信号等のやりとりを行い、各部に所要の動作を実行させる。

撮像部３は、撮像光学系３ａ、撮像素子部３ｂ、撮像信号処理部３ｃを有する。
撮像部３における撮像光学系３ａには、図１に示した撮像レンズ３Ｌや、絞り、ズームレンズ、フォーカスレンズなどを備えて構成されるレンズ系と、レンズ系に対してフォーカス動作やズーム動作を行わせるための駆動系等が備えられる。
また撮像部３における撮像素子部３ｂには、撮像光学系３ａで得られる撮像光を検出し、光電変換を行うことで撮像信号を生成する固体撮像素子アレイが設けられる。固体撮像素子アレイは、例えばＣＣＤ（Charge Coupled Device）センサアレイや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサアレイとされる。
また撮像部３における撮像信号処理部３ｃは、固体撮像素子によって得られる信号に対するゲイン調整や波形整形を行うサンプルホールド／ＡＧＣ(Automatic Gain Control)回路や、ビデオＡ／Ｄコンバータを備え、デジタルデータとしての撮像画像データを得る。また撮像画像データに対してホワイトバランス処理、輝度処理、色信号処理などを行う。

これらの撮像光学系３ａ、撮像素子部３ｂ、撮像信号処理部３ｃを有する撮像部３により、撮像が行われ、撮像画像データが得られる。
この撮像部３の動作によって得られた画像データは、撮像制御部４で処理される。
撮像制御部４は、システムコントローラ２の制御に従って、撮像画像データを各種の圧縮率で圧縮する画像圧縮処理や、画サイズ変換処理、画像フォーマット変換処理などの処理を行い、また動作状況に応じて、撮像画像データをストレージ部８、表示制御部６、通信部９などへ転送する処理を行う。
また撮像制御部４はシステムコントローラ２の指示に基づいて、撮像部３における撮像のオン／オフ制御、シャッタ処理、撮像光学系３ａのズームレンズ、フォーカスレンズの駆動制御、撮像素子部３ｂの感度やフレームレートの制御、撮像信号処理部３ｃの各処理のパラメータ制御や実行処理の設定なども行う。

撮像装置１においてユーザに対して表示を行う構成としては、表示部５、表示制御部６が設けられる。
この表示部５には、液晶ディスプレイ等の表示パネル部と、該表示パネル部を表示駆動する表示駆動部が設けられる。表示駆動部は、撮像制御部４から供給される画像データを表示パネル部に表示させるための画素駆動回路で構成されている。画素駆動回路は表示パネル部においてマトリクス状に配置されている各画素について、それぞれ所定の水平／垂直駆動タイミングで映像信号に基づく駆動信号を印加し、表示を実行させる。

表示制御部６は、システムコントローラ２の制御に基づいて、表示部５における画素駆動回路を駆動し所定の表示を実行させる。例えば撮像部３で撮像された画像のモニタ表示や、ストレージ部８で再生された画像の表示などが実行される。
またこれらの表示のために、例えば輝度レベル調整、色補正、コントラスト調整、シャープネス（輪郭強調）調整などを行うことができる。また画像データの一部を拡大した拡大画像の生成、或いは縮小画像の生成、ソフトフォーカス、モザイク、輝度反転、画像内の一部のハイライト表示（強調表示）、全体の色の雰囲気の変化などの画像エフェクト処理なども行うことができる。

操作入力部７は、例えばキー、ボタン、ダイヤル等の操作子を有するようにし、例えば、電源オン／オフ操作や、自動撮像に関連する操作のための操作子や、所要の入力操作のための操作子が形成される。また、自動撮像だけでなく、ユーザのシャッタ操作に応じた撮像も可能とする場合は、撮像に関するユーザ操作として例えばシャッタ操作、ズームの操作、露出の設定操作、セルフタイマ操作などに用いる操作子が形成されるようにしてもよい。
操作入力部７は、このような操作子から得られる情報をシステムコントローラ２に供給し、システムコントローラ２はこれらの情報に対応した必要な演算処理や制御を行う。

画像解析部１０は、撮像制御部４から供給される撮像画像データに基づき、撮像装置１のユーザが他の人物と会っていると推定できる状態であるか否かの判別を可能とするための画像解析処理を行う。
この画像解析部１０では、上記撮像画像データ内における人の顔と認識できる（推定できる）データ部分を検出する画像解析処理を行う。この解析処理は、例えば周知の顔認識技術を用いて実現することができる。
また、特にこの場合の画像解析部１０では、通りすがりの人物が検出されてしまうことの防止を図るために、同一の顔と認識できるデータ部分が検出される時間長が所定長以上であることを条件として追加している。すなわち、人の顔と認識できるデータ部分が検出されてから、同一の顔とされるデータ部分が検出される時間長が上記所定長以上となることを以て、人の顔と認識できるデータ部分が検出された旨の検出情報を得るものである。

画像解析部１０は、上記画像解析処理により上記撮像画像データ内に人の顔と認識できるデータ部分が検出されたとした場合には、その旨の検出情報を人検出情報としてシステムコントローラ２に供給する。一方で、人の顔と認識できるデータ部分が検出されていないとした場合は、その旨を表す情報を上記人検出情報としてシステムコントローラ２に供給する。

なお、この場合、画像解析部１０による画像解析は、撮像制御部４経由で供給される動画像による撮像画像データを対象として行うことを前提としているが、例えば自動撮像による取り込みタイミングにて得られた撮像画像データなど、静止画像としての撮像画像データを対象として行ってもよい。

上記のようにして画像解析部１０から供給される人検出情報に基づき、システムコントローラ２は、人と会っているとされる状態であるか否かを判別する。すなわち、上記人検出情報が、上記撮像画像データ中に人の顔と認識できるデータ部分が検出された旨を表すものである場合には、人と会っているとされる状態にあるとの判別結果を得る。一方、上記人検出情報が、上記撮像画像データ中に人の顔と認識できるデータ部分が検出されていない旨を示す場合は、人と会っているとされる状態にはないとの判別結果を得る。

音声解析部１１は、音声入力部１３より入力されるマイク収音データに基づき、人と会っていると推定できる状態にあるか否かについての判別を可能とするための音声解析処理を行う。
ここで、該音声解析部１１による音声解析処理を有効に行うにあたっては、予め、撮像装置１に対して声紋データ（後述する声紋データ８ｂ）が登録されている必要がある。本例の場合、該声紋データ８ｂとしては、撮像装置１を装着する（携帯する）ユーザの声に基づくデータを登録しておく。これは、他の人物と会っているときには、会話によって撮像装置１のユーザ自らが声を発している可能性が非常に高いという点を考慮してのものである。
なお、声紋データ８ｂは、予め他の装置にて生成されたものを取得して格納してもよいし、或いは、音声入力部１３を介して入力されたユーザの声としての音声データを音声解析部１１が解析して生成し、これを格納するように構成することもできる。

上記音声解析部１１による音声解析処理では、音声入力部１３から入力される収音データ中に、上記のように格納された声紋データ８ｂと一致するデータ部分が含まれているか否かについて解析する処理を行う。そして、音声解析部１１は、この音声解析処理の結果、収音データ中に上記声紋データ８ｂと一致するデータ部分が得られたとした場合には、その旨を表す情報を人検出情報としてシステムコントローラ２に供給する。また、一致するデータ部分が得られていないとした場合は、その旨を表す情報を人検出情報としてシステムコントローラ２に供給する。
システムコントローラ２は、このように音声解析部１１から供給される人検出情報に基づき、人と会っているとされる状態であるか否かを判別する。すなわち、上記人検出情報によって収音データ中に声紋データ８ｂと一致するデータ部分が得られた旨を示される場合は、人と会っているとされる状態にあるとの判別結果を得、一方、収音データ中に声紋データ８ｂと一致するデータ部分が得られていない旨を示す場合は人と会っているとされる状態にはないとの判別結果を得る。

ストレージ部８は、撮像画像データその他の各種データの保存に用いられる。
このストレージ部８は、フラッシュメモリなどの固体メモリにより構成されても良いし、例えばＨＤＤ（Hard Disk Drive）により構成されてもよい。
また内蔵の記録媒体ではなく、可搬性の記録媒体、例えば固体メモリを内蔵したメモリカード、光ディスク、光磁気ディスク、ホログラムメモリなどの記録媒体に対応する記録再生ドライブなどとされても良い。
もちろん、固体メモリやＨＤＤ等の内蔵タイプのメモリと、可搬性記録媒体に対する記録再生ドライブの両方が搭載されてもよい。
このストレージ部８は、システムコントローラ２の制御に基づいて、撮像画像データその他の各種データの記録／再生を行う。

この場合のストレージ部８においては、記録領域として、撮像画像データ記録領域８ａが用意される。この撮像画像データ記録領域８ａは、撮像部３で得られた撮像画像データを格納（保存）する領域とされる。例えば定期的な自動撮像として、一定時間間隔で撮像が行われるとすると、その一定時間毎に、撮像画像データが、撮像画像データ記録領域８ａに記録されていくことになる。
なお、この撮像画像データ記録領域８ａとしては、ストレージ部８内における固定的な領域として設定される必要はなく、あくまで本例において、ストレージ部８に撮像画像データが保存されればよいものである。

また、ストレージ部８には、上述した声紋データ８ｂも格納される。なお、声紋データ８ｂの格納場所はストレージ部８に限定されるべきものでなく、他の記憶手段（例えばシステムコントローラ２が備える上述した不揮発性メモリ部など）とされてもよい。

また、本例の場合、ストレージ部８には、撮像画像データに対して付与されるインデックスを管理するための情報としての、インデックスポイント管理情報８ｃが格納される。なお、このインデックスポイント管理情報８ｃについては後述する。

通信部９は、各種の外部機器とデータ通信を行う部位として設けられる。
例えば、図示しないサーバ装置との間でのデータの送受信を行うようにしてもよい。その場合、例えば無線ＬＡＮなどの方式で、ネットワークアクセスポイントに対する近距離無線通信を介してネットワーク通信を行う構成としてもよいし、対応する通信機能を備えたサーバ装置との間で直接無線通信を行うものでもよい。
また、通信部９は、例えばＵＳＢ（Universal Serial Bus）方式等のインターフェイスを用いてパーソナルコンピュータなどの機器と接続し、データの送受信を行うようにしてもよい。
この通信部９により、例えば撮像してストレージ部８に格納した撮像画像データを、パーソナルコンピュータその他の外部機器に転送することができる。従って、ライフログとしての定期的な撮像でストレージ部８に録り貯めた多数の撮像画像データは、この撮像装置１自体で表示部５で再生表示させることができるほか、パーソナルコンピュータ等の外部機器に転送して、それら外部機器側で再生させて表示させることもできる。

また、特に本例の場合、通信部９は、例えばブルートゥースや無線ＬＡＮのアドホックモード（Ｗｉ-Ｆｉ：Wireless Fidelityのアドホックモード）などにより、外部機器との間で直接的に無線データ通信を行うことが可能とされる。
このような外部機器との間で直接的な無線データ通信を可能とするため、通信部９では、外部の無線通信可能な機器を検出する処理を行っている。そして、この検出処理結果を表す情報を、随時システムコントローラ２に供給している。
システムコントローラ２は、このように通信部９から供給される検出情報に基づき、外部に無線通信可能な機器があるか否かを判別することができる。

ここで、上記のようなブルートゥースや無線ＬＡＮのアドホックモードなどによる近距離無線通信において、通信可能範囲内に他の機器が存在する場合、撮像装置１のユーザと該他の機器を携帯する人物は相当に近距離に接近していることになる。すなわち、このような状態は、ユーザが上記他の機器を携帯する人物と会っている可能性が非常に高い。
そこで本例では、このように近距離無線通信による無線通信可能範囲内に他の機器が存在するか否かによっても、撮像装置１のユーザが他の人物と会っているとされる状態にあるか否かを判別するものとしている。

この場合、通信部９が上述の検出処理結果としてシステムコントローラ２に供給する検出情報を人検出情報として扱うことができる。すなわち、該通信部９からの人検出情報によって外部に無線通信可能な機器が検出された旨が示される場合、システムコントローラ２は、ユーザが他の人物と会っているとされる状態にあるとの判別結果を得る。一方、通信部９からの人検出情報によって外部に無線通信可能な機器が存在しない旨が示される場合は、ユーザが他の人物と会っているとされる状態にはないとの判別結果を得る。

なお、この図１に示した撮像装置１の構成はあくまで一例にすぎず、実際に実施される動作例や機能に応じて各種の構成要素の追加や削除は当然に考えられるものである。

［画像インデックスの付与］

実施の形態の撮像装置１は、ライフログ用途に用いる場合、基本的には、ユーザのシャッタ操作に基づかない撮像動作（自動撮像動作）を行う。例えば定期的に自動撮像を行って、撮像画像データをストレージ部８に保存していく。例えば５秒間隔、１０秒間隔、３０秒間隔など、所定の時間間隔で自動撮像を行う。なお、もちろん定期的な撮像ではなく、何らかのトリガ（ユーザのシャッタ操作以外のトリガ）に応じて不定期なタイミングで自動撮像を行ってもよい。さらに、定期的又は不定期の自動撮像実行中に、ユーザがシャッタ操作を行った場合は、その時点で通常に撮像処理を行えばよい。

ここで、先にも述べたように、例えばライフログカメラとして自動撮像を行う撮像装置においては、撮像画像データの保存量が膨大となり、これを閲覧する際のユーザ負担が大きくなる。
この点の改善を図るため、本実施の形態では、自動撮像により取込・保存される撮像画像データのうち、撮像装置１のユーザが他の人物と会っているとされる状態にあるとされる状況下で撮像された画像データに対して、インデックスを付すものとしている。

このような実施の形態としての画像インデックス付与を行うための具体的な動作例について、次の図３、図４を参照して説明する。
図３は、この場合においてインデックスを付すべき条件とされる、人と会っているとされる状態にあるか否かについての判別手法について説明するための図として、それぞれ異なる撮像装置１を装着したユーザＡ、ユーザＢが対面した状態を示している。
この図に示されるように、ユーザが人と会っている状況下では、各人が近接し、また会話が交わされる可能性が非常に高い。このような状態では、撮像装置１による撮像画像には相手のユーザの顔が映し出され、また、会話に伴ってユーザの発した声が検出されることが予想される。さらに、近距離無線通信による通信可能範囲内に他の撮像装置１が検出されることも想定される
なお、この図では一例として、撮像装置１が図１（ａ）に示したような吊り下げタイプとされる場合を示しているが、例えば図１（ｂ）に示したような眼鏡型タイプなどの他のタイプの撮像装置１とされた場合も同様のことが言える。

上記の点を踏まえ、本例では、人と会っているとされる状態であるか否かの判別を行うにあたり、図中の（１）〜（３）として示すような判別を行う。
すなわち、（１）撮像画像データ中に顔と認識できるデータ部分が所定時間以上検出されているか、（２）収音データ中に声紋データ８ｂと一致する音声が検出されたか、（３）通信可能な機器が検出されたか、の各項目についての判別を行うものとしている。

図４は、上記の各項目の判別結果に基づき行われる、撮像画像データに対するインデックス付与の具体例について説明するための図として、自動撮像により取込・保存された撮像画像データと、これに対して付されるインデックスとの関係を模式的に示している。
この図に示されるように、本実施の形態の場合、インデックスとしては、上記による各判別項目ごとに別々のインデックスを付すものとしている。具体的には、先の（１）による判別結果に基づき付されることになる画像解析由来のインデックス、（２）の判別結果に基づき付される音声解析由来のインデックス、さらに（３）の判別結果に基づき付される位置解析由来のインデックスである。

ここで、先の図２においても説明したように、システムコントローラ２に対しては、画像解析部１０、音声解析部１１、通信部９より、それぞれ上記（１）,（２）,（３）による判別項目に対応する人検出情報が入力される。システムコントローラ２は、このように画像解析部１０、音声解析部１１、通信部９からそれぞれ入力される人検出情報を、例えば自動撮像による撮像画像データの取り込みが行われるタイミングごとに取得する。そして、このように取得したそれぞれの項目の人検出情報に基づき、ユーザが他の人物と会っているとされる状態にあるか否かをそれぞれ判別する。
その上で、これらの判別の結果、人と会っているとされる状態であると判別できる項目があった場合は、撮像画像データに対し、その項目に対応するインデックスが付されるように制御を行う。つまり、画像解析部１０からの人検出情報に基づき、人と会っているとされる状態であるとの判別結果を得た場合には、撮像画像データに対して画像解析由来のインデックスが付されるようにし、また音声解析部１１からの人検出情報に基づき人と会っているとされる状態であるとの判別結果を得た場合は、撮像画像データに対して音声解析由来のインデックスが付されるように制御する。また、通信部９からの人検出情報に基づき人と会っているとされる状態であるとの判別結果を得た場合は、位置解析由来のインデックスが付されるように制御する。

この結果、図４に示されるようにして、自動撮像により順次取込・保存される撮像画像データに対しては、人と会っているとされる状態であるとの判別結果が得られた判別項目に対応するインデックスが順次付されていくものとなる。

ここで、本実施の形態において、上記のような撮像画像データに対するインデックスの付与は、システムコントローラ２が、先の図１に示したインデックスポイント管理情報８ｃにより、各インデックスポイントを管理することで実現する。
このインデックスポイント管理情報８ｃは、先に説明した画像解析由来、音声解析由来、位置解析由来の各インデックスを付すべきポイントを管理するための情報となる。図示による説明は省略するが、この場合のインデックスポイント管理情報８ｃとしては、例えば自動撮像により取込・保存された撮像画像データのＩＤごとに、上記画像解析由来、音声解析由来、位置解析由来の各インデックスの有無を表す情報が対応づけられるものとなる。
システムコントローラ２は、上述のようにして自動撮像による撮像画像データの取込・保存が行われるタイミングにて実行した各項目についての判別の結果、人と会っているとされる状態にあるとの判別結果が得られた項目について、その項目のインデックスが有る旨を表す情報を、保存された撮像画像データのＩＤの情報に対応づける。これにより、各判別項目ごとに、インデックスポイントを管理することができる。

上記により説明した本実施の形態としての画像インデックス付与により、撮像装置１のユーザが他の人物と会っていると推定できる状態にあることに応じて、そのタイミングで自動撮像された画像データに対してインデックスを付与することができる。
ここで、先にも述べたように、ユーザの日常生活において重要な出来事は、ユーザが他の人物と対面している、会話している、又は一緒に行動しているなど、ユーザが他の人物と会っている状態で多く発生すると考えることができる。このことを踏まえれば、上記のようにしてユーザが他の人物と会っているとされる状況下で自動撮像された画像データに対してインデックスを付す本実施の形態によれば、日常生活の中で重要とされるシーンを撮影した画像に対して、インデックスを付すということができる。

このような実施の形態のインデックス付与により、自動撮像によって大量に保存される画像データについて、重要とされる部分とそうでない部分とを分別して提示することができる。すなわち、このようなインデックスの付与によって、自動撮像により大量に保存された画像データをユーザに効率的に閲覧させることができ、行動履歴を振り返るにあたってのユーザ負担を効果的に削減することができる。この結果、例えばユーザの日常生活を記録しそれを振り返らせるといったシステムを、より有用性の高いものとして実現することができる。

また、本実施の形態では、上記のようにして人と会っているとされる状態であるか否かを判別するための複数の判別項目に基づく別々のインデックスを付与するものとしているが、これによれば、例えば閲覧時において、これら複数の判別項目のうち任意の項目を指定して画像データの検索を行うことができるなど、画像データの検索の自由度を広げることができる。

［処理動作］

続いて、次の図５のフローチャートにより、上記により説明した第１の実施の形態としての動作を実現するための制御例について説明する。なお、この図５では、システムコントローラ２が内部ＲＯＭに格納したプログラムに基づいて実行する制御処理を示す。
また、この図に示される処理動作は、システムコントローラ２が行う自動撮像のための処理動作として、撮像部３にて得られる撮像画像データを一定間隔おきに取り込み、これをストレージ部８に保存させるための処理が行われるタイミングごとに実行されるものとなる。

図５において、先ずステップＳ１０１では、人検出情報を取得する。すなわち、先に説明した画像解析部１０からの人検出情報、音声解析部１１からの人検出情報、通信部９からの人検出情報を取得する。

そして、続くステップＳ１０２では、先ずは画像解析結果としての、画像解析部１０からの人検出情報に基づき、人と会っているとされる状態であるか否かを判別する。
このステップＳ１０２において、上記画像解析部１０からの人検出情報が、撮像画像データ中に人の顔と認識できるデータ部分が検出された旨を示すものであり、これに応じ人と会っているとされる状態であるとして肯定結果を得た場合は、ステップＳ１０３において、画像解析由来インデックスポイントを登録するための処理を実行する。すなわち、自動撮像により保存された撮像画像データのＩＤと、画像解析由来のインデックス有りを表す情報とが対応づけられるようにして、インデックスポイント管理情報８ｃの情報内容を更新する処理を実行する。
このステップＳ１０３の処理を実行すると、ステップＳ１０４に処理を進める。

一方、上記ステップＳ１０２において、上記画像解析部１０からの人検出情報が、撮像画像データ中に人の顔と認識できるデータ部分が検出されていない旨を示すものであり、人と会っているとされる状態ではないとして否定結果を得た場合は、上記ステップＳ１０３をパスしてそのままステップＳ１０４に処理を進める。

ステップＳ１０４では、音声解析結果としての、音声解析部１１からの人検出情報に基づき、人と会っているとされる状態であるか否かを判別する。
ステップＳ１０４において、上記音声解析部１１からの人検出情報が、収音データ中に声紋データ８ｂと一致するとされるデータ部分が得られている旨を示すものであり、人と会っているとされる状態であるとして肯定結果を得た場合は、ステップＳ１０５において、音声解析由来インデックスポイントを登録するための処理を実行する。すなわち、自動撮像により保存された撮像画像データのＩＤと、音声解析由来のインデックス有りを表す情報とが対応づけられるようにして、インデックスポイント管理情報８ｃの情報内容を更新する。
このステップＳ１０５の処理を実行するとステップＳ１０６に処理を進める。

一方、上記ステップＳ１０４において、上記音声解析部１１からの人検出情報が、収音データ中に声紋データ８ｂと一致するとされるデータ部分が得られていない旨を示すものであり、人と会っているとされる状態ではないとして否定結果を得た場合は、上記ステップＳ１０５をパスしてそのままステップＳ１０６に処理を進める。

ステップＳ１０６では、通信可能機器解析結果としての、通信部９からの人検出情報に基づき、人と会っているとされる状態であるか否かを判別する。上記通信部９からの人検出情報が、外部に通信可能な機器が検出された旨を示すものであり、これに応じ人と会っているとされる状態であるとして肯定結果を得た場合は、ステップＳ１０７において、音声解析由来インデックスポイントを登録するための処理を実行する。すなわち、自動撮像により保存された撮像画像データのＩＤと、位置解析由来のインデックス有りを表す情報とが対応づけられるようにして、インデックスポイント管理情報８ｃの情報内容を更新する。
このステップＳ１０７の処理を実行すると、この図に示す処理動作は終了となる。

一方、上記ステップＳ１０６において、上記通信部９からの人検出情報が通信可能な機器が検出されていない旨を示すものであり、人と会っているとされる状態ではないとして否定結果を得た場合は、上記ステップＳ１０７をパスして処理動作を終了するようにされる。

＜第２の実施の形態＞

続いて、第２の実施の形態について説明する。
第２の実施の形態は、上記により説明した第１の実施の形態としての画像インデックス付与動作について、位置解析の手法を変更したものとなる。具体的に、第２の実施の形態では、携帯電話網（ＷＡＮ）やインターネット網における無線中継器の設置されたエリア情報を利用して、機器間の距離が近接しているか否かを判別し、それによって人と会っているとされる状態にあるか否かを判別するようにしたものである。

このような第２の実施の形態としての動作を実現するにあったては、次の図６に示すようなシステムを構築する。
図６において、第２の実施の形態のシステムとしては、図のように複数の撮像装置１と、複数の基地局３０と、さらにサーバ装置２０とを含んで構成されるものとなる。
先ず、この場合の撮像装置１としては、通信部９が、例えば図のような携帯電話網における無線基地局としての基地局３０との通信を行うことが可能に構成されることになる。なお、インターネット網を利用した通信を行う場合、この基地局３０は無線ＬＡＮのアクセスポイントとなる。
この場合、上記基地局３０は、エリアごとに固定的に設置されるものであり（例えば図中のエリアＡ、エリアＢ）、各基地局３０とその設置エリアは一対一で対応する。
この場合の各撮像装置１は、最寄りの基地局３０を介してネットワーク上の所要の機器（特にこの場合は上記サーバ装置２０）との間で通信を行うようにされている。このように各撮像装置１は最寄りの基地局３０を介して通信を行うことから、各基地局３０では、自エリア内に存在する撮像装置１が把握されている。

サーバ装置２０では、各基地局３０に問い合わせを行って、各撮像装置１と通信可能な状態となっている基地局３０（最寄りの基地局３０）を特定することができる。すなわちこの情報により、各撮像装置１の所在エリアを特定できる。

第２の実施の形態では、このようにしてサーバ装置２０が各撮像装置１の所在エリアの情報を得た上で、同一エリア内に、複数の撮像装置１が存在しているか否かを判別する。そして、このように同一エリア内に複数の撮像装置１が存在する場合には、該当する各撮像装置１に対して、同一エリア内に他の機器が存在する旨の通知を行う。

各撮像装置１では、このようなサーバ装置２０からの通知の有無に基づき、人と会っている状態にあるか否かを判別する。すなわち、同一エリア内に他の撮像装置１が存在すれば、その撮像装置１のユーザは相当に近接していることになるので、これを以て、人と会っているとされる状態にあるとの判別結果を得るものである。

図７は、サーバ装置２０の内部構成例を示している。
このサーバ装置２０は、制御部２１、時刻計時部２２、記憶部２３、通信部２４を有する。
図７において、制御部２１は、サーバ装置２０の全体制御を行う。この制御部２１は、ＣＰＵ、ＲＯＭ、ＲＡＭ、不揮発性メモリ部、インターフェース部などを備えて構成され、例えば上記ＲＯＭなどの記憶手段に格納された動作プログラムに基づいて、サーバ装置２０内の各部の制御を行い、必要な動作を実行させる。

時刻計時部２２は、例えば年：月：日：時：分：秒による現在時刻を計時し、これにより得られる現在時刻情報を制御部２１に出力する。このように時刻計時部２２により計時される現在時刻の情報に基づき、制御部２１は、例えば各種履歴情報の生成など、時刻管理を要する処理を行うことができる。

記憶部２３は、制御部２１の制御に基づいて各種データの記録や再生を行う。
この記憶部２３としては、ＲＡＭ或いはフラッシュメモリなどの固体メモリにより構成されても良いし、例えばＨＤＤにより構成されてもよい。また内蔵の記録媒体ではなく、可搬性の記録媒体、例えば固体メモリを内蔵したメモリカード、光ディスク、光磁気ディスク、ホログラムメモリなどの記録媒体に対応する記録再生ドライブなどとされても良い。また、固体メモリやＨＤＤ等の内蔵タイプのメモリと、可搬性記録媒体に対する記録再生ドライブの両方が搭載されてもよい。

通信部２４は、先の図６に示した基地局３０を介した外部機器（特に撮像装置１）との間でのデータ通信を行うことが可能に構成される。サーバ装置２０における通信部２４としては、基本的には有線でネットワーク接続されて通信を行うものであればよいが、無線によりネットワーク接続する構成とすることもできる。

図８は、上記により説明した第２の実施の形態としての動作を実現するための、サーバ装置２０における制御例をフローチャートにより示している。
なお、この図８では、先の図７にて説明した制御部２１内のＲＯＭに格納されるプログラムに基づき制御部２１が実行する制御処理を示している。
また、この図に示す処理動作は、予め定められた所定周期で繰り返し実行されるものとなる。

図８において、先ずステップＳ２０１では、各機器ごとの所在エリアを確認するための処理を実行する。すなわち、例えば先に説明したようにして各基地局３０への問い合わせを行った結果に基づき、各撮像装置１の所在エリアの情報を得る。
なお、各撮像装置１の所在エリアの情報は、各撮像装置１との通信を行った結果経由された基地局３０の情報を検出することによっても確認できる。

続くステップＳ２０２では、エリアごとに、複数機器があるか否かを判別する。その上で、次のステップＳ２０３では、該当するエリアがあるか否かを判別する。すなわち、上記ステップＳ２０２による判別処理の結果に基づき、複数の撮像装置１が存在するエリアがあるか否かを判別する。
ステップＳ２０３において、該当エリアがあるとして肯定結果が得られた場合は、ステップＳ２０４に進み、該当エリア内の各機器に同エリア内に他の機器がある旨を通知する。すなわち、該当エリア内の各撮像装置１に対して、上記通知が行われるように通信部２４に対する制御を行う。このステップＳ２０４の処理を実行すると、この図に示す処理動作は終了となる。
一方、上記ステップＳ２０３において、該当エリアがないとして否定結果が得られた場合は、図示するようにして上記ステップＳ２０４をパスしてこの図に示す処理動作を終了する。

なお、図示による説明は省略するが、第２の実施の形態の場合の各撮像装置１では、上記のようにしてサーバ装置２０側が行う通知を、先の図５におけるステップＳ１０６にて説明した、通信可能機器解析結果としての人検出情報に代わる情報として取得するようにされる。つまり、この場合の撮像装置１（システムコントローラ２）は、上記サーバ装置２０からの上記通知があった場合には、人と会っているとされる状態であるとの判別結果を得て、位置解析由来のインデックスポイントを登録するための処理を実行する。また、上記通知がなかった場合には、人と会っているとされる状態にはないとの判別結果を得て、位置解析由来のインデックスポイントの登録は行わないようにされる。

＜第３の実施の形態＞

第３の実施の形態は、第２の実施の形態と同様、第１の実施の形態としての動作について、位置解析の手法を変更したものである。具体的に、第３の実施の形態では、現在位置を検出する位置検出手段を設けた撮像装置３１とした上で、該撮像装置３１とデータ通信可能に構成されたサーバ装置４０において、各撮像装置３１から取得した現在位置の情報から、近接した位置に他の撮像装置５０があるか否かを判別することで、人と会っているとされる状態にあるか否かを推定するものである。

図９は、第３の実施の形態における撮像装置３１の内部構成例を示している。
なお、この図９において、既に先の図２にて説明した部分については同一符号を付して説明を省略する。
この図９と先の図２とを比較して分かるように、第３の実施の形態の撮像装置３１は、先の図２に示した撮像装置１の構成に対し、位置検出手段としてのＧＰＳ(Global Positioning System)ユニット１４を追加したものとなる。このＧＰＳユニット１４は、図示されないＧＰＳ衛星からの電波を受信し、現在位置を表す情報として、緯度・経度の情報を得る。そしてこのような緯度・経度による現在位置情報を、システムコントローラ２に出力する。

図１０は、第３の実施の形態のシステムの構成と具体的な動作内容について模式的に示した図である。
この図１０に示されるように、第３の実施の形態のシステムは、複数の撮像装置３１と、ネットワーク３２、及びサーバ装置４０を含んで構成される。
この第３の実施の形態のシステムにおいて、各撮像装置３１は、ＧＰＳユニット１４によって検出された現在位置情報を、ネットワーク３２を介してサーバ装置４０に送信する。この場合、各撮像装置３１からの現在位置情報の送信は、例えば所定の周期で繰り返し行うものとする。

サーバ装置４０は、その内部構成は先の図７に示したサーバ装置２０と同様となる。この場合のサーバ装置４０（制御部２１）では、各撮像装置３１から送信される現在位置情報を取得し、各撮像装置３１ごとに、所定距離内に他の撮像装置３１があるか否かを判別する。そして、所定距離内に他の撮像装置３１がある場合には、その旨を該当する個々の撮像装置３１に対して通知する。

ここで、各撮像装置３１ごとに所定距離内に他の撮像装置３１があるか否かの判別を行うにあたっては、１つの撮像装置３１ごとに、他の撮像装置３１を総当たりさせて所定距離内にあるか否かを判別することになる。
この際、任意の２つの撮像装置３１間の距離は、該距離をDistance、一方の撮像装置３１の現在位置（緯度、経度）をLatA、LonA、他方の撮像装置３１の現在位置をLatB、LonBとしたき、
Distance²＝｛（LatA−LatB）²＋（LonA−LonB）²｝
に基づく演算を行って求める。実距離は、上式で求まる値と比例する。判別基準となる上記「所定距離」の値としては、予めこの式で求まる値に対応させた値を設定しておく。或いは、上記「所定距離」の値としては実距離に対応する値を設定しておき、上式で求まる値に所定の係数を与えることで適切な判別が行われるように図ることもできる。

この場合の撮像装置３１としても、上記のようなサーバ装置４０からの通知を、位置解析結果としての人検出情報に代わる情報として取得する。すなわち、撮像装置３１（システムコントローラ２）は、上記サーバ装置４０からの通知があった場合には、人と会っているとされる状態であるとの判別結果を得て、位置解析由来のインデックスポイントを登録するための処理を実行する。また、上記通知がなかった場合には、人と会っているとされる状態にはないとの判別結果を得て、位置解析由来のインデックスポイントの登録は行わないようにされる。

図１１は、上記により説明した第３の実施の形態としての動作を実現するためにサーバ装置４０にて行われるべき制御例を示すフローチャートである。
なお、この図１１においても、サーバ装置４０の制御部（制御部２１）が内部のＲＯＭ等に格納されるプログラムに基づき実行する制御処理を示している。
また、この図に示す処理動作としても、予め定められた所定周期で繰り返し実行されるものとなる。

図１１において、ステップＳ３０１では、各機器からの現在位置情報が取得される。そして、続くステップＳ３０２では、各機器ごとに、所定距離内に他の機器があるか否かを判別する。すなわち、各撮像装置３１について、例えば先に例示したような手法によって他の個々の撮像装置３１との間の距離を計算し、その結果に基づき、所定距離内に他の撮像装置３１があるか否かを判別する。

次のステップＳ３０３では、所定距離内に他の機器のある機器があるか否かを判別する。上記ステップＳ３０２による各撮像装置３１ごとの判別の結果、所定距離内に他の撮像装置３１があるとされた撮像装置３１があったとして肯定結果が得られた場合は、ステップＳ３０４に進み、該当する機器への通知を行う。すなわち、所定距離内に他の撮像装置３１があるとされた個々の撮像装置３１に対し、その旨を表す通知が行われるようにして通信部２４に対する制御を行う。このステップＳ３０４の処理を実行すると、この図に示す処理動作は終了となる。
一方、上記ステップＳ３０３において、所定距離内に他の撮像装置３１があるとされた撮像装置３１がなかったとして否定結果が得られた場合は、上記ステップＳ３０４をパスしてこの図に示す処理動作を終了する。

［第３の実施の形態の変形例］
ここで、上記による説明では、サーバ装置４０による判別処理が、各撮像装置３１における自動撮像と並行してリアルタイムに行われることを前提としたが、サーバ装置４０による判別は、事後的に行うようにすることもできる。
具体的に、その場合の各撮像装置３１では、定期的に繰り返し現在位置情報を取得する処理は行うが、このように取得した現在位置情報を即座にサーバ装置４０に送信するのではなく、各時点で得られた現在位置情報を例えばストレージ部８などの所定の記憶手段に蓄積していくようにされる。そして、このように蓄積した情報を、サーバ装置４０側からの指示に基づき、サーバ装置４０に対して送信する。

この場合のサーバ装置４０では、このように各撮像装置３１にて蓄積された情報を取得した結果に基づき、各時点ごとに、各撮像装置３１について所定距離内に他の撮像装置３１があるか否かの判別を行う。
ここで、上記のような各撮像装置３１側から取得した蓄積情報に基づき、この場合のサーバ装置４０では、次の図１２に示すような蓄積情報データベースを生成するようにされる。
図１２において、この蓄積情報データベースとしては、各時刻（時点）ｔｍを基準として、各機器とその機器から取得した現在位置位置の情報とを対応づけた情報となる。なお、この蓄積情報データベースについては、例えば記憶部２３にて生成するものとすればよい。

この場合のサーバ装置４０は、この図１２に示したような蓄積情報データベースに基づき、各撮像装置３１について、所定距離内に他の撮像装置３１があるか否かの判別を、各時点ｔｍごとに行う。つまりこの判別を行う結果、サーバ装置４０では、各撮像装置３１ごとの他の撮像装置３１が所定距離内にあったか否かの判別結果を表す情報が、各時点ｔｍごとに得られることになる。

このとき、或る時点ｔｍｎについて行った判別の結果、所定距離内に他の撮像装置３１があるとされた場合は、その撮像装置３１にとっては、該時点ｔｍｎがインデックスを付すべきポイントであることになる。
この場合のサーバ装置４０では、このように或る時点ｔｍｎについて、各撮像装置３１ごとに所定距離内に他の機器があるか否かの判別を行った結果、その時点ｔｍｎにて該当する撮像装置３１があった場合には、その該当する撮像装置３１に通知すべきインデックスポイントとして、時点ｔｍｎを登録する。
このような処理が各時点ｔｍごとに繰り返し行われる結果、サーバ装置４０では、次の図１３に示すような登録情報が生成される。すなわち、各機器（撮像装置３１）ごとに、インデックスが付されるべきポイントを表す時点ｔｍの情報が登録された（対応づけられた）情報が生成されることになる。

サーバ装置４０は、このようにして生成した各撮像装置３１ごとのインデックスポイントの登録情報に基づき、該当する撮像装置３１（つまりインデックスポイントとしての時点ｔｍが対応づけられた撮像装置３１）に対し、インデックスポイントを表す時点ｔｍの情報を通知する。

この場合の撮像装置３１は、このようにサーバ装置４０から通知される時点ｔｍの情報に基づき、自動撮像により保存された撮像画像データに対して位置解析由来のインデックスを付す。具体的に、この場合のシステムコントローラ２は、保存された各撮像画像データの保存時刻（撮影時刻）と上記サーバ装置４０からの時点ｔｍとを照合し、時点ｔｍと一致するとされる撮影時刻情報が対応づけられた撮像画像データのＩＤに対し、位置解析由来のインデックスが有る旨を表す情報が対応づけられるようにしてインデックスポイント管理情報８ｂの情報内容を更新する処理を行う。

図１４は、上記による第３の実施の形態の変形例としての動作を実現するために、サーバ装置４０にて行われるべき制御例をフローチャートにより示している。なお、この図１４においても、サーバ装置４０の制御部（制御部２１）が内部のＲＯＭ等に格納されるプログラムに基づき実行する制御処理を示している。

先ず、ステップＳ４０１では、処理の開始トリガ発生を待機する。つまり、例えば予め定められた所定時刻に至るなど、この図に示す処理を開始すべきとして定められた所定条件の成立を待機する。
そして、開始トリガが発生した場合には、ステップＳ４０２において、各機器の蓄積情報を取得する処理を実行する。すなわち、各撮像装置３１に対して蓄積情報（各現在位置情報とその取得時刻）の送信指示を行い、該送信指示に応じ送信される蓄積情報が例えば記憶部２３等の所要の記憶手段に対して格納されるように制御処理を行う。

続くステップＳ４０３では、蓄積情報データベースの生成処理を実行する。つまり図１２に示したようにして、各時刻（時点）ｔｍを基準として、各機器とその機器から取得した現在位置位置の情報とを対応づけた情報を生成する。

次のステップＳ４０４では、先ずは時点識別値ｎを１にセットする処理を実行する。なお、この時点識別値ｎは、以降の説明からも理解されるように、制御部２１が各時点ｔｍを識別するためにカウントする値となる。

続くステップＳ４０５では、時点ｔｍｎのデータを取得する処理を実行する。つまり、蓄積情報データベース内の時点ｔｍｎが対応づけられたデータ（現在位置情報と機器のＩＤ情報）を取得する処理を実行する。
そして、次のステップＳ４０６において、各機器ごとに、所定距離内に他の機器があったか否かを判別し、さらに次のステップＳ４０７において、所定距離内に他の機器のあった機器があるか否かを判別する。

このステップＳ４０７において、上記ステップＳ４０６による時点ｔｍｎについての各機器ごとの判別の結果から、所定距離内に他の機器のあった機器が存在すると判別されて肯定結果が得られた場合は、ステップＳ４０８に処理を進めて、該当する機器のインデックスポイントとして時点ｔｍｎを登録する処理を実行する。すなわち、先の図１３に示した登録情報において、該当する機器のＩＤに対し、時点ｔｍｎの情報がインデックスポイントとして対応づけられるようにして上記登録情報の内容を更新する処理を実行する。
このステップＳ４０８の処理を実行すると、ステップＳ４０９に処理を進める。
一方、上記ステップＳ４０７において、時点ｔｍｎについての各機器ごとの判別の結果から、所定距離内に他の機器のあった機器が存在しなかったと判別されて否定結果が得られた場合は、上記ステップＳ４０８をパスしてステップＳ４０９に処理を進める。

ステップＳ４０９では、ｎ＝Ｎであるか否かを判別する。ここで、「Ｎ」の値は、各撮像装置３１から取得した蓄積情報内に含まれる時点ｔｍの数（現在位置情報の数）を表す。この「Ｎ」の数値は、例えば先のステップＳ４０３にて蓄積情報データベースを生成する過程で取得することができる。或いは、各撮像装置３１における現在位置情報の取得周期が固定であれば、その周期の情報と、各撮像装置３１からの蓄積情報の取得を行った前回の時刻情報とに基づき計算することもできる。

ステップＳ４０９において、ｎ＝Ｎではない、すなわち未だ全ての時点ｔｍについて判別を行っていないとして否定結果が得られた場合は、ステップＳ４１０に進んでｎの値をインクリメント（ｎ＝ｎ＋１）した後、先のステップＳ４０５に戻るようにされる。
一方、ステップＳ４０９において、ｎ＝Ｎである、すなわち全ての時点ｔｍについて判別を行ったとして肯定結果が得られた場合は、ステップＳ４１１に進む。

ステップＳ４１１では、登録情報に従って、該当機器にインデックスポイントを通知するための処理を実行する。つまり、先のステップＳ４０８の登録処理に伴い生成される登録情報において、インデックスポイントとしての時点ｔｍが対応づけられた撮像装置３１に対し、そのインデックスポイントとしての時点ｔｍの情報が通知されるようにして通信部２４に対する制御を行う。
ステップＳ４１１の処理を実行すると、この図に示される処理動作は終了となる。

なお、第３の実施の形態において、上記による説明では、各撮像装置３１が備える位置検出手段がＧＰＳユニットとされる場合を例示したが、これに代えて、Ｗｉ-Ｆｉや携帯電話会社が提供する位置情報サービスを利用した位置検出手段を備えるようにしてもよい。

また、第３の実施の形態において、実際のシステムを想定した場合には、サーバ装置４０では、各撮像装置３１ごとの総当たりによる距離計算を行うにあたって、膨大な処理負担が生じかねない。例えば、撮像装置３１がｎ個ある場合、距離計算は１／２ｎ（ｎ−１）通り行うことになる。そこで、実際においては、複数のサーバ装置４０を設けて、少なくとも距離計算については分担させて行うようにすることもできる。その場合、予め各サーバ装置４０が受け持つ撮像装置３１をグルーピングしておくことが有効となる。例えば、図１０、図１１を参照して説明したような第３の実施の形態としての手法を採る場合には、撮像装置３１ごとに、取得した現在位置情報を送信すべきサーバ装置４０を複数のサーバ装置４０のうちから予め設定しておくようにすればよい。
或いは、第３の実施の形態の変形例としての手法を採る場合は、各サーバ装置４０ごとに、予め蓄積情報の取得を行うべき撮像装置３１を設定しておくものとすればよい。

また、特に第３の実施の形態の変形例としての手法を採る場合には、サーバ装置４０としての動作を、予め何らかの手法によって選出された撮像装置３１が行うようにすることもできる。その場合、例えば夜中などユーザが外出活動しない時間帯など、撮像装置３１が自動撮像を行っていない状態において、上記選出された撮像装置３１が、他の複数の撮像装置３１から蓄積情報を取得して、先に説明したサーバ装置４０と同様の処理を行って各撮像装置３１にインデックスポイントを通知するものとすればよい。なお確認のために述べておくと、上記選出された撮像装置３１では、自らの蓄積情報も含めて蓄積情報データベースを生成することになる。また、当該選出された撮像装置３１では、自身について登録したインデックスポイントに基づき、画像データに対するインデックス付与を行うことになる。

＜変形例＞

以上、本発明の実施の形態について説明したが、本発明としてはこれまでに説明した具体例に限定されず、多様な変形例が考えられる。
例えば、これまでの説明では、人と会っているとされる状態であるか否かの判別を、画像解析、音声解析、撮像装置間の位置関係の解析の結果に基づき行う場合を例示したが、この他、例えば焦電型などの赤外線センサによる検出信号を利用して行うこともできる。その場合、赤外線センサの検出信号から人の存在が検出されたか否かについて判別した結果に基づき、人と会っているとされる状態であるか否かを判別するものとすればよい。

また、画像解析では、人の顔としてのデータ部分の検出時間長が所定長以上であるという条件も与えるものとしたが、他の条件を与えることも勿論可能である。
例えば、画像内の小さな顔（つまりユーザと離れた位置におり、ユーザと会っていると推定することのできない人物）が検出されてしまうことを防止するために、人の顔と認識できるデータ部分の画像サイズが予め定めた所定サイズ以上であるなどの条件を課すこともできる。具体的に、その場合の画像解析部１０では、人の顔と認識できるデータ部分が検出され、且つそのデータ部分の画像サイズが上記所定サイズ以上であることを以て、人の顔と認識できるデータ部分が検出された旨の人検出情報をシステムコントローラ２に供給するものとすればよい。もちろん、この場合においても検出時間長の条件を加えることもできる。

また、特に第１の実施の形態において、無線通信可能な機器があるか否かの判別により人と会っているとされる状態であるか否かの判別を行うにあたっては、通信可能とされた機器が、撮像装置１であることを条件として追加することもできる。すなわち、通信可能機器が検出され、且つその機器が撮像装置１と特定できた場合に、人と会っているとされる状態であるとの判別結果を得るようにするものである。
これによれば、例えば撮像装置の周囲に無線通信可能機器が多く存在することが想定される場合などにおいて、外部に通信可能な外部機器があることを以てむやみにインデックスが付されてしまうといった事態の防止を図ることができる。

また、これまでの説明では、人と会っているとされる状態であるか否かの判別結果が、自動撮像による撮像画像データの一取込期間内（つまり自動撮像周期が５秒であればその５秒以内）で得られることを前提として説明を行ったが、例えば画像解析として、実施の形態で例示したように顔の検出時間長が所定長以上であることも条件に加える場合などには、判別結果が得られるタイミングが、一取込期間内に間に合わないケースが生じることも考えられ得る。
例えばそのような場合に対応しては、人と会っているとされる状態であるか否かの判別が、どの取込期間内に対応して行われているものであるかの対応をとっておくものとすればよい。これにより、判別結果が対応する取込期間内に間に合わない場合であっても、取込画像ごとの判別結果を適正に管理することができる。

また、これまでの説明では、インデックスとしては、各判別項目ごとに複数種をそれぞれ別々に付す場合を例示したが、インデックスは、例えば判別項目を１つのみとして、１種のみを付すようにもできる。
或いは、これまでで説明した具体例の場合と同様に、複数の判別項目による判別を行った上で、その結果、所定の複数の判別項目で肯定結果が得られたことに応じて、総合的な（最終的な）判別結果を得るようにし、最終的に１種のインデックスのみを付すといったこともできる。具体的には、例えば画像解析に基づく判別処理と、位置解析に基づく判別処理との双方で肯定結果が得られた場合や、或いは音声解析に基づく判別処理と位置解析に基づく判別処理との双方で肯定結果が得られた場合に、人と会っているとされる状態であるとの最終的な判別結果を得て、該判別結果が得られた場合に、１種のインデックスのみを付すといったものである。
ここで、上記のようにして複数の項目による判別結果から総合的な判別結果を得るものとすれば、人と会っているとされる状態であるか否かの判別をより正確に行うことができる。

また、インデックスは、これを付すべきポイントを別途の管理情報（インデックスポイント管理情報８ｃ）を用いて管理するものとしたが、インデックスは、画像データのヘッダに格納するなど、画像データ内（ファイル内）に埋め込むようにして付すことも可能である。
但し、実施の形態で例示したように別途の管理情報で管理すれば、インデックスの検索にあたって画像データをスキャンする処理を不要とでき、その分、高速な検索を行うことができるものとなる。

また、実施の形態では、自動撮像により取込を行う画像データが静止画撮像であることを前提として説明を行ったが、動画撮像を行う撮像装置であっても本発明は適用できる。
例えば、動画撮像を常時継続的に撮像するのではなく、断続的に、一定時間だけ動画撮像を行うような動作方式も考えられる。そのような場合には、取り込まれる各撮像画像データについて、同様に人と会っているとされる状態であるか否かの判別、及び判別結果に基づくインデックス付与を行うものとすればよい。

ここで、撮像画像データとして動画データを想定した場合、連続的なインデックスを付すことが考えられる。つまり、その場合は、人と会っているとされる状態であるか否かを連続的に判別し、該判別により肯定結果が得られたときに、インデックスとしてのマーカのＯＮポイントを設定する。そして、このような連続的な判別により肯定結果が得られる状態が継続する限りは、上記マーカをＯＮとし続け、否定結果が得られたことに応じ、マーカのＯＦＦポイントを設定する。これにより、動画像に対応して時系列方向に連続的なマーカ（インデックス）を付すことができる。

また、これまでの説明では、インデックスについての具体的な用途については言及はしなかったが、例えば以下のような用途が考えられる。
例えば、閲覧時の画像のサーチに用いることが考えられる。或いは、閲覧時に保存画像の代表画像（代表シーン）をピックアップして一覧表示する場合などにおいてサムネイル画像を表示する際には、該サムネイル画像を表示すべき画像をインデックスを用いて選出するなどが考えられる。
また、特に動画像を想定した場合には、インデックスポイントにチャプタを打つなどの用途も考えられる。

本発明の実施の形態としての撮像装置の外観例の説明図である。 実施の形態の撮像装置の内部構成例を示したブロック図である。 第１の実施の形態としての、人と会っているとされる状態にあるか否かについての判別手法について説明するための図である。 撮像画像データに対するインデックス付与の具体例について説明するための図として、自動撮像により取込・保存された撮像画像データと、これに対して付されるインデックスとの関係を模式的に示した図である。 第１の実施の形態としての動作を実現するための制御例について説明するためのフローチャートである。 第２の実施の形態としてのシステム構成と該システムにて行われる動作について模式的に示した図である。 第２の実施の形態としてのサーバ装置の内部構成例を示したブロック図である。 第２の実施の形態としての動作を実現するための制御例について説明するためのフローチャートである。 第３の実施の形態としての撮像装置の内部構成例を示したブロック図である。 第３の実施の形態としてのシステム構成と該システムにて行われる動作について模式的に示した図である。 第３の実施の形態としての動作を実現するための制御例について説明するためのフローチャートである。 第３の実施の形態の変形例としてのシステムで生成される蓄積情報データベースの構造例を示した図である。 第３の実施の形態の変形例としてのシステムで生成されるインデックスポイントについての登録情報の構造例を示した図である。 第３の実施の形態の変形例としての動作を実現するための制御例について説明するためのフローチャートである。

符号の説明

１,３１ 撮像装置、２ システムコントローラ、３ 撮像部、３ａ 撮像光学系、３ｂ 撮像素子部、３ｃ 撮像信号処理部、４ 撮像制御部、５ 表示部、６ 表示制御部、７ 操作入力部、８ ストレージ部、９ 通信部、１０ 画像解析部、１１ 音声解析部、１２ バス、１３ 音声入力部、１４ ＧＰＳユニット、２０,４０ サーバ装置、２１ 制御部、２２ 時刻計時部、２３ 記憶部、２４ 通信部、３０ 基地局、３２ ネットワーク

Claims (12)

1. 被写体を撮像して撮像画像データを得る撮像手段と、
   制御手段を備えると共に、
   上記制御手段は、
   上記撮像手段により得られる撮像画像データを使用者の操作に基づかず自動的に取り込む撮像画像自動取込処理と、
   入力情報に基づき人と会っていると推定できる状態であるか否かを判別する判別処理と、
   上記判別処理により人と会っていると推定できる状態であると判別した場合に、上記撮像画像自動取込処理により取り込まれた上記撮像画像データに対してインデックスが付されるように制御するインデックス付与処理とを実行する、
   ことを特徴とする撮像装置。
2. 上記制御手段による上記判別処理では、
   上記撮像手段により得られる撮像画像データについての画像解析結果に基づき、人と会っていると推定できる状態であるか否かを判別する、
   ことを特徴とする請求項１に記載の撮像装置。
3. 上記判別処理では、
   上記撮像画像データ内に人の顔と推定できる画像が含まれているか否かについての画像解析結果に基づき、人と会っていると推定できる状態であるか否かを判別する、
   ことを特徴とする請求項２に記載の撮像装置。
4. 上記制御手段による上記判別処理では、
   外部音を収音して得られた収音データについての音声解析結果に基づき人と会っていると推定できる状態であるか否かを判別する、
   ことを特徴とする請求項１に記載の撮像装置。
5. 所定の声紋データが記憶された記憶手段をさらに備え、
   上記判別処理では、
   上記収音データ内に上記声紋データと一致するとされるデータ部分が存在するか否かについての音声解析結果に基づき、人と会っていると推定できる状態であるか否かを判別する、
   ことを特徴とする請求項４に記載の撮像装置。
6. 外部装置との間で近距離無線通信を行う近距離無線通信手段を備えると共に、
   上記制御手段による上記判別処理では、
   上記近距離無線通信手段による通信可能範囲に他の装置が存在するか否かについての判別結果に基づき、人と会っていると推定できる状態であるか否かを判別する、
   ことを特徴とする請求項１に記載の撮像装置。
7. 上記制御手段による上記判別処理では、
   人と会っているとされる状態として推定される、予め定められた所定の複数の条件が成立したか否かを判別することで、人と会っていると推定できる状態であるか否かについての最終的な判別結果を得る、
   ことを特徴とする請求項１に記載の撮像装置。
8. 被写体を撮像して得られる撮像画像データを使用者の操作に基づかず自動的に取り込む撮像装置における画像インデックス付与方法であって、
   入力情報に基づき人と会っていると推定できる状態であるか否かを判別する判別手順と、
   上記判別手順により人と会っていると推定できる状態であると判別した場合に、自動的に取り込まれた上記撮像画像データに対してインデックスが付されるように制御するインデックス付与手順と、
   を備えたことを特徴とする画像インデックス付与方法。
9. 情報処理装置と、上記情報処理装置との間でデータ通信が可能に構成された複数の撮像装置とを含んで構成される画像インデックス付与システムであって、
   上記情報処理装置は、
   データ通信を行って上記撮像装置の所在位置に関する情報を取得する位置情報取得処理と、
   上記位置情報取得処理により取得した上記撮像装置の上記所在位置に関する情報に基づき、所定範囲内に他の撮像装置が存在する撮像装置を検索する検索処理と、
   上記検索処理による検索の結果、上記所定範囲内に他の撮像装置が存在するとして特定した撮像装置に対して通知を行う通知処理とを実行する情報処理装置側制御手段を備え、
   上記撮像装置は、
   被写体を撮像して撮像画像データを得る撮像手段と、
   撮像装置側制御手段を備えると共に、
   上記撮像装置側制御手段は、
   上記撮像手段により得られる撮像画像データを使用者の操作に基づかず自動的に取り込む撮像画像自動取込処理と、
   上記情報処理装置側における上記通知処理による通知に基づき、上記撮像画像自動取込処理により自動的に取り込まれた上記撮像画像データに対してインデックスが付されるように制御するインデックス付与処理とを実行する、
   ことを特徴とする画像インデックス付与システム。
10. 上記撮像装置は、無線通信中継器を介して上記情報処理装置との間でデータ通信を行うように構成され、
    上記情報処理装置側制御手段による上記位置情報取得処理では、
    上記撮像装置の所在位置に関する情報を、上記撮像装置についての通信データを中継する上記無線通信中継器から特定されるエリア情報に基づいて取得する、
    ことを特徴とする請求項９に記載の画像インデックス付与システム。
11. 上記撮像装置は、
    現在位置を検出する位置検出手段を備えると共に、
    上記情報処理装置側制御手段による上記位置情報取得処理では、
    上記撮像装置にて検出される上記現在位置の情報を上記所在位置に関する情報として取得する、
    ことを特徴とする請求項９に記載の画像インデックス付与システム。
12. 現在位置を検出する位置検出手段を備え、且つ撮像画像データを使用者の操作に基づかず自動的に取り込むようにされた複数の撮像装置との間でデータ通信が可能に構成された情報処理装置であって、
    上記撮像装置における上記位置検出手段により検出された現在位置情報を取得する位置情報取得処理と、
    上記位置情報取得処理により取得した上記位置情報に基づき、所定範囲内に他の撮像装置が存在する撮像装置を検索する検索処理と、
    上記検索処理による検索の結果、上記所定範囲内に他の撮像装置が存在するとして特定した撮像装置に対して通知を行う通知処理とを実行する制御手段を備える、
    ことを特徴とする情報処理装置。

Images