JP2008263274A - 画像保存処理装置、画像検索装置、画像保存処理方法、画像検索方法、プログラム - Google Patents

Abstract

【課題】大量の撮像画像データから、簡易かつ適切に撮像画像を検索する手法の提供。
【解決手段】撮像時の使用者の生体情報と、撮像画像における被写体情報を撮像画像データに関連づけて保存する。検索の際には生体情報と被写体情報を用いて検索条件を生成し、検索を行う。また、検索時の閲覧者の生体情報も検索条件の生成に用いる。撮像画像における被写体情報とは、例えば撮像画像に撮し込まれてる人の画像に関する情報である。つまり撮像者の感情等と、被写体となった人の表情等を条件とし、さらには検索時のユーザの感情等を加味して、ユーザにとって適切な画像を選択し、表示する。
【選択図】図３

Description

本発明は、撮像画像データに対する画像保存処理装置、画像検索装置、画像保存処理方法、画像検索方法、及びこれらを情報処理装置で実現するプログラムに関する。

特開２００５−２６０８９２号公報 特開２００５−２５０９７７号公報 特開２００４−１７８５９３号公報 特開２００５−１２４９０９号公報 特開２００５−１４１２８１号公報 特開２００５−１２４９０９号公報

上記特許文献１には、心臓の電気信号による感情起伏増幅信号をトリガーとして画像が記録される技術が開示されている。
上記特許文献２には、撮像者の感情（嬉しい、悲しい、楽しい、怒っている、おびえている、寒い、暑い、心地よい、苦しい、めげている等）を撮像した画像に反映させる技術が開示されている。
上記特許文献３には、撮像者の感情情報を取得し、関心度や重要度、趣向の度合いから重要度また感情情報を解析し、画像にタグ付けする技術や示され、特に撮像者の顔画像の解析を行うことが記載されている。
上記特許文献４には、静止画あるいは動画に人間の生体情報あるいは心理状態を付加することが開示されている。
上記特許文献５には、体験を再現するために、テキスト等では表現できない心理状態や生体情報をセンシングすることでコンテンツに付加し、検索に使用する技術が開示されている。
上記特許文献６には、生体情報を使用してコンテンツの検索を行うことが示されている。

近年では、デジタルスチルカメラやビデオカメラの普及により、ユーザが大量に撮像画像を所有するという状況が生まれている。さらに、ライフカメラとして、ユーザがカメラを装着している状態で連続して撮像（常時連続動画撮像や、定期的な静止画撮像など）を行うことで、ユーザの日常生活の行動軌跡の画像を保存するというようなことも想定可能な状況にある。この場合、ユーザはさらに大量の撮像画像データを所有することになる。
このような状況では、大量の撮像画像データから、簡易かつ適切に撮像画像を選択して出力（例えば表示出力）することが重要となる。
そこで本発明では、撮像画像データの保存や、その出力のための検索として好適な技術手法を提供することを目的とする。

本発明の画像保存処理装置は、撮像装置部で撮像された撮像画像データを取得する画像取得手段と、上記画像取得手段で取得する撮像画像データの撮像の際の、上記撮像装置部の使用者の生体情報を取得する生体情報取得手段と、上記画像取得手段で取得した撮像画像データの画像解析結果としての被写体情報を取得する被写体情報取得手段と、上記画像取得手段が取得した撮像画像データと、上記生体情報取得手段が取得した生体情報と、上記被写体情報取得手段が取得した被写体情報とを、関連づけて記録媒体に記録する処理を行う保存処理手段とを備える。
また上記画像取得手段は、一体的に設けられた上記撮像装置部での撮像動作により、撮像画像データを取得する。
或いは上記画像取得手段は、外部の上記撮像装置部での撮像動作による撮像画像データを取得する。
上記生体情報取得手段は、上記生体情報として、生体センサ検出情報を取得する。
また上記生体情報取得手段は、上記生体情報として、上記撮像装置部の使用者の心理情報を、生体センサ検出情報を用いて生成する。
また上記被写体情報取得手段は、撮像画像データ内に人の顔画像が含まれているか否かの画像解析を行い、該画像解析結果としての顔存在情報を、上記被写体情報とする。
また上記被写体情報取得手段は、撮像画像データ内の人の顔画像の画像解析を行い、該画像解析結果としての顔解析結果情報を、上記被写体情報とする。この上記顔解析結果情報とは、例えば表情、性別、年齢層等を示す情報である。

また上記保存処理手段によって、上記生体情報及び上記被写体情報と関連づけられて保存された撮像画像データについて、上記生体情報及び上記被写体情報を用いて検索条件を生成し、該検索条件に基づく検索処理を行う検索処理手段と、上記検索処理手段の検索処理結果の出力処理を行う出力処理手段とをさらに備えるようにする。
また上記検索処理手段は、さらに、検索処理を実行する際に上記生体情報取得手段で取得される生体情報を、検索条件の生成に用いる。

本発明の画像検索装置は、撮像画像データと、上記撮像画像データを撮像した撮像装置部の使用者の撮像の際の生体情報と、上記撮像画像データの画像解析結果としての被写体情報とが関連づけられて保存されている記録媒体に対する検索処理として、上記生体情報及び上記被写体情報を用いて検索条件を生成し、該検索条件に基づく検索処理を行う検索処理手段と、上記検索処理手段の検索処理結果の出力処理を行う出力処理手段とを備える。
また、さらに使用者の生体情報を取得する生体情報取得手段を備え、上記検索処理手段は、さらに、検索処理を実行する際に上記生体情報取得手段で取得される生体情報を、検索条件の生成に用いるようにする。

本発明の画像保存処理方法は、撮像装置部で撮像された撮像画像データを取得する画像取得ステップと、上記画像取得ステップで取得する撮像画像データの撮像の際の、上記撮像装置部の使用者の生体情報を取得する生体情報取得ステップと、上記画像取得ステップで取得した撮像画像データの画像解析結果としての被写体情報を取得する被写体情報取得ステップと、上記画像取得ステップで取得した撮像画像データと、上記生体情報取得ステップで取得した生体情報と、上記被写体情報取得ステップで取得した被写体情報とを、関連づけて記録媒体に記録する処理を行う保存処理ステップとを備える。
また本発明のプログラムは、この画像保存処理方法を情報処理装置に実行させるプログラムである。

本発明の画像検索方法は、撮像画像データと、上記撮像画像データを撮像した撮像装置部の使用者の撮像の際の生体情報と、上記撮像画像データの画像解析結果としての被写体情報とが関連づけられて保存されている記録媒体に対する検索処理として、上記生体情報及び上記被写体情報を用いて検索条件を生成し、該検索条件に基づく検索処理を行う検索処理ステップと、上記検索処理手段の検索処理結果の出力処理を行う出力処理ステップとを備える。
また本発明のプログラムは、この画像検索方法を情報処理装置に実行させるプログラムである。

即ち以上の本発明では、撮像時の使用者の生体情報と、撮像画像における被写体情報を撮像画像データに関連づけて保存する。
そして検索の際には、上記生体情報と被写体情報を用いて検索条件を生成し、検索を行う。また、検索時の生体情報も検索条件の生成に用いる。
撮像画像における被写体情報とは、例えば撮像画像に撮し込まれてる人の画像に関する情報である。すると、撮像者の感情等と、被写体となった人の表情などを条件として、さらには検索時のユーザの感情等を加味して、ユーザにとって適切な画像を選択し、表示することが可能となる。

本発明によれば、撮像時の使用者の生体情報と、撮像画像における被写体情報を撮像画像データに関連づけて保存しておくことで、検索時には上記生体情報と被写体情報を用いた検索が可能となる。さらには検索時のユーザの生体情報（感情等）を加味した検索が可能となる。これによって画像閲覧者にとって好適な画像選択及び表示などが可能となるという効果がある。
特に閲覧者の心理状態を加味して検索条件を適切に設定することで、閲覧者の精神を安定させたり調整させるような画像出力もできる。

以下、本発明の画像保存処理装置、画像検索装置、画像保存処理方法、画像検索方法、プログラムの実施の形態を説明する。
ここでは画像保存処理装置と画像検索装置を兼ね備えた装置例としての撮像装置を挙げて説明する。なお後に変形例、拡張例として述べるが本発明の画像保存処理装置、画像検索装置は、撮像装置以外の機器でも実現できる。
説明は次の順序で行う。
［１．撮像装置の外観例］
［２．撮像装置の構成例］
［３．画像保存処理例Ｉ］
［４．画像保存処理例II］
［５．画像検索処理例Ｉ］
［６．画像検索処理例II］
［７．実施の形態の効果、変形例、拡張例、及びプログラム］

［１．撮像装置の外観例］

実施の形態の撮像装置１としては各種の形態が想定されるが、それらの外観例を図１（ａ）（ｂ）（ｃ）（ｄ）に例示する。
図１（ａ）は、眼鏡型ディスプレイカメラとした撮像装置１を示している。撮像装置１は、例えば両側頭部から後頭部にかけて半周回するようなフレームの構造の装着ユニットを持ち、図のように両耳殻にかけられることでユーザに装着される。
この撮像装置１は、ユーザが装着した状態において、ユーザの視界方向を被写体方向として撮像するように、前方に向けて撮像レンズ３ａが配置されている。
また図示のような装着状態において、ユーザの両眼の直前、即ち通常の眼鏡におけるレンズが位置する場所に、左眼用と右眼用の一対の表示パネル部２ａ、２ａが配置される構成とされている。この表示パネル部２ａには、例えば液晶パネルが用いられ、透過率を制御することで、図のようなスルー状態、即ち透明又は半透明の状態とできる。表示パネル部２ａがスルー状態とされることで、眼鏡のようにユーザが常時装着していても、通常の生活には支障がない。
なお、表示パネル部２ａは、両眼に対応して一対設けられる他、片側の眼に対応して１つ設けられる構成も考えられる。

図１（ｂ）は、同じくユーザが頭部に装着する撮像装置１を示しているが、図１（ａ）のような表示パネル部２ａを備えない構成である。例えば耳殻に掛けられるような装着ユニットによりユーザ頭部に装着される。そしてこの状態でユーザの視界方向を被写体方向として撮像するように、前方に向けて撮像レンズ３ａが配置されている。

これら図１（ａ）（ｂ）では、眼鏡型或いは頭部装着型の装着ユニットによりユーザの頭部に装着される撮像装置１を挙げたが、撮像装置１をユーザが装着するための構造は多様に考えられる。例えばヘッドホン型、ネックバンドタイプ、耳掛け式など、どのような装着ユニットでユーザに装着されるものであってもよい。さらには、例えば通常の眼鏡やバイザー、或いはヘッドホン等に、クリップなどの取付具で取り付けることでユーザに装着させる形態であってもよい。また必ずしもユーザの頭部に装着されるものでなくても良い。
また、撮像方向をユーザの視界方向としているが、装着時にユーザの後方、側方、上方、足下方向などを撮像するように撮像レンズ３ａが取り付けられている構成や、撮像方向が同一又は異なる方向とされた複数の撮像系が設けられている構成も考えらえる。
さらには、１又は複数の撮像レンズ３ａについて、被写体方向を手動又は自動で可変できる撮像方向可変機構を設けても良い。

図１（ｃ）は一般にデジタルスチルカメラとして知られているような形態の撮像装置１を示している。
また図１（ｄ）は一般にビデオカメラとして知られているような形態の撮像装置１を示している。
これら図１（ｃ）（ｄ）のようにユーザが所持して使用する撮像装置１も、本発明の実施の形態の一態様となる。そして図では撮像レンズ３ａしか示していないが、撮像モニタ用のパネル表示部やビューファインダなどの表示デバイスも設けられている。

なお、静止画撮像や動画撮像を行う撮像装置として、これら図１（ａ）（ｂ）（ｃ）（ｄ）に示す以外の形態も考えられることは言うまでもない。例えば携帯電話機やＰＤＡ（Personal Digital Assistant）、携帯用パーソナルコンピュータなどの機器であって、撮像装置としての機能を備えているものも本実施の形態の撮像装置１として想定できる。
また、これらの各種形態において、例えば外部音声を集音するマイクロホンを設け、撮像時に、画像データと共に記録する音声信号を得るようにしてもよい。また音声出力を行うスピーカ部やイヤホン部を形成するようにしても良い。
また撮像レンズ３ａの近辺に、被写体方向への照明を行う発光部を、例えばＬＥＤ（Light Emitting Diode）等により設けたり、静止画撮像のためのフラッシュ発光部を設けることも考えられる。

ところで本実施の形態の撮像装置１としては、撮像動作として手動撮像と自動撮像のいずれか、又は両方が実行可能とされる。
ここでいう「手動撮像」とは、ユーザのシャッタ操作により撮像（撮像画像データの記録）が行われる動作をいう。
一方、「自動撮像」とは、ユーザのシャッタ操作に基づかないで撮像（撮像画像データの記録）が行われる動作をいう。例えば図１（ａ）（ｂ）の撮像装置１をユーザが装着している際に、常時、動画像を撮像する動作や、例えば１秒間隔、数秒間隔、数１０秒間隔などで静止画撮像を行う動作が、自動撮像として想定される。例えばライフカメラとしてユーザの日常生活の軌跡を撮像するような動作である。また定期的な撮像ではなくとも、ユーザ操作以外の何らかのトリガによって撮像が行われる動作も、自動撮像として想定される。例えばユーザの緊張、驚愕等の感情を検出して自動的に撮像を行ったり、外部装置から供給されるトリガ（ユーザのシャッタ操作情報以外のトリガ）によって撮像を行うような動作も自動撮像となる。

［２．撮像装置の構成例］

撮像装置１の構成例を図２で説明する。
システムコントローラ１０は、例えばＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、不揮発性メモリ部、インターフェース部を備えたマイクロコンピュータにより構成され、撮像装置１の全体を制御する制御部とされる。このシステムコントローラ１０は内部のＲＯＭ等に保持したプログラムに基づいて、各種演算処理やバス１３を介した各部と制御信号等のやりとりを行い、各部に所要の動作を実行させる。

撮像部３は、撮像光学系、撮像素子部、撮像信号処理部を有する。
撮像部３における撮像光学系では、図１に示した撮像レンズ３ａや、絞り、ズームレンズ、フォーカスレンズなどを備えて構成されるレンズ系や、レンズ系に対してフォーカス動作やズーム動作を行わせるための駆動系等が備えられる。
また撮像部３における撮像素子部では、撮像光学系で得られる撮像光を検出し、光電変換を行うことで撮像信号を生成する固体撮像素子アレイが設けられる。固体撮像素子アレイは、例えばＣＣＤ（Charge Coupled Device）センサアレイや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサアレイとされる。
また撮像部３における撮像信号処理部では、固体撮像素子によって得られる信号に対するゲイン調整や波形整形を行うサンプルホールド／ＡＧＣ(Automatic Gain Control)回路や、ビデオＡ／Ｄコンバータを備え、デジタルデータとしての撮像画像データを得る。また撮像画像データに対してホワイトバランス処理、輝度処理、色信号処理、ぶれ補正処理などを行う。

これらの撮像光学系、撮像素子部、撮像信号処理部を有する撮像部３により、撮像が行われ、撮像画像データが得られる。
この撮像部３の撮像動作によって得られた画像データは、撮像制御部６で処理される。
撮像制御部６は、システムコントローラ１０の制御に従って、撮像画像データを所定の画像データフォーマットに変換する処理や、変換した撮像画像データを、動作状況に応じて被写体情報生成部１２，ストレージ部１４，通信部１５，表示制御部７へ供給する処理を行う。
また撮像制御部６はシステムコントローラ１０の指示に基づいて、撮像部３における撮像動作のオン／オフ制御、撮像光学系のズームレンズ、フォーカスレンズの駆動制御、撮像素子部の感度やフレームレートの制御、撮像信号処理部の各処理のパラメータ制御や実行処理の設定などを行う。

被写体情報生成部１２は、この撮像装置１が取得した撮像画像データ、つまり撮像部３の撮像による撮像画像データについて画像解析処理を行い、被写体情報を生成する。
特に画像解析処理として、撮像画像内に人の顔が含まれているか否かの解析処理を行う。そして顔画像の有無に応じて、顔画像の存在を示す情報（顔存在情報）としての顔フラグを生成する。
例えば画像内に目、鼻、口等の顔の構成要素とその輪郭の認定により、撮像画像データの画像内に顔画像が存在するか否かを判別できる。

また、顔画像が存在する場合、被写体情報生成部１２は、さらに顔画像の解析処理を行い、その顔解析結果情報も、被写体情報として生成する。顔解析結果情報とは、例えば撮されている人の表情、又は性別、又は年齢層等を示す情報である。
表情、性別、年齢層は、顔画像の解析により或る程度の確率で推定できることが知られている。
顔の表情の判定の処理は各種考えられるが、例えば顔を構成するパーツを抽出し、各パーツに評価値を与えて、表情判定する方式が採用できる。
例えば笑顔を判定する場合、顔を構成するパーツとして、画像から眼、眉、唇の各部分を抽出する。そして例えば眉については、角度を判定する。いわゆる「つり上がり」の状態を低いポイントとし、眉の両端が下がるほど、高いポイントを付与するようにする。また眼については、瞳孔の開き具合を判定し、瞳孔が開いているほど高いポイントを付与するようにする。唇については、両端の角度が下がっているほど低く、逆に両端の角度が上がっているほど高いポイントを付与する。
例えばこのように各パーツに、笑顔判定のポイントを付与し、それらを加算（或いはパーツ毎に重み付けを変えて加算）し、笑顔ポイントとする。この笑顔ポイントが所定値より高ければ「笑顔」と判定できる。
もちろんこれは一例であり、頬の状態や、笑ったときに生じる皺などを判定要素としてもよい。
また、笑顔判定でなく、怒った表情、不機嫌な表情、悲しい表示、平静な表情など、他の表情も、顔を構成する各パーツの画像から推定することが可能である。

生体センサ部４は、ユーザの各種の生体情報を検出する各種センサを備える。例えば血圧センサ、体温センサ、脈拍センサ、脳波センサ、電気反応センサ、皮膚抵抗値センサ、視覚センサ、その他の各種のセンサが想定される。また加速度センサ、角速度センサ、振動センサなども考えられる。

生体情報生成部５は、生体センサ部４の各種センサの検出情報としての生体情報を得る。
生体センサ部４の各種センサで検出される情報（生体センサ検出情報）とは、例えば脈拍数、心拍数、心電図情報、筋電、呼吸情報（例えば呼吸の速さ、深さ、換気量など）、発汗、ＧＳＲ（皮膚電気反応）、血圧、血中酸素飽和濃度、皮膚表面温度、脳波（例えばα波、β波、θ波、δ波の情報）、血流変化、眼の状態などである。
また加速度センサ、角速度センサ、振動センサの検出情報として加速度、角速度、振動の情報は、ユーザの動きを示す生体情報とすることができる。

また、生体情報生成部５は、これらの生体センサ検出情報に基づいてユーザの心理状況を判定し、心理情報を生成し、これを生体情報の１つとすることもできる。
例えば緊張状態、興奮状態、快適状態などに伴う生体センサ検出情報の数値の変動に基づいてユーザの感情（楽しい、おもしろい、うれしい、悲しい、恐ろしい、穏やか、懐かしい、感動、驚愕、興奮、緊張等）を推定することができる。さらに視覚センサによる瞳孔の状態、視線の動きによっても、ユーザの状況を判定できる。また、加速度センサ、振動センサ等によって検出されるユーザの身体の動きを、ユーザ状況の判定に用いても良い。
また、脈拍等が早くなった場合に、緊張や興奮が原因の場合もあれば、ユーザが走っているなど運動したことが原因の場合もある。これらの判別に為に、加速度センサ等の情報を参照するようにすることもできる。
即ち、各種センサの検出情報の１つ或いは複数を用いて、ユーザの感情状態を推定することができる。生体情報生成部５は、このような推定処理を行って、心理情報を生成する。

なお、心理状態を推定するのにはある程度の時間が必要であり、一時的に生体センサ部４の検出情報を取り込むだけでは的確な心理状態を推定できない場合がある。即ち生体から得られる信号としての生体センサ部４の検出情報は時々刻々とその値が変化するものであり、或る瞬間の値を見ただけではどのような心理状態にあるのかがわかりにくい。または継続的な感情の変化によって、心理状態の判定のための閾値を変化させたほうがよい場合もある。
そこで、生体情報生成部５は、常時継続的に生体センサ部４の検出情報を取り込んでいるようにし、時系列的な検出情報の変化も加味して、ユーザの心理情報を生成するようにすることが好適である。

生体センサ部４の各種センサは、例えば眼鏡型の撮像装置１の装着フレーム内側に配置することで、例えばユーザの側頭部や後頭部に接触して、上記各種情報を検知できるようにしてもよいし、撮像装置１の装着フレーム部分とは別体として、身体の所定箇所に装着されるようにしてもよい。例えば腕時計型のユニット等でセンサをユーザの手首などに接触させてもよい。また眼の状態や動き、瞳孔などの状態の検出のためには、ユーザの眼部を撮像するカメラを用いることが考えられる。

また、上記の被写体情報生成部１２や、生体情報生成部５は、マイクロコンピュータやビデオプロセッサとしてのＤＳＰ（Digital Signal Processor）などで構成できる。また、この図２では被写体情報生成部１２や生体情報生成部５をマイクロコンピュータによるシステムコントローラ１０と別ブロックで示しているが、システムコントローラ１０内で起動されるソフトウエアにより被写体情報生成部１２或いは生体情報生成部５としての動作が実現されても良い。

撮像装置１においてユーザに対して表示を行う構成としては、表示部２、表示制御部７が設けられる。
この表示部２は、上述した液晶パネル等による表示パネル部２ａと、表示パネル部２ａを表示駆動する表示駆動部が設けられる。
表示駆動部は、撮像制御部６から供給される画像データを、例えば液晶ディスプレイとされる表示パネル部２ａにおいて表示させるための画素駆動回路で構成されている。画素駆動回路は表示パネル部２ａにおいてマトリクス状に配置されている各画素について、それぞれ所定の水平／垂直駆動タイミングで映像信号に基づく駆動信号を印加し、表示を実行させる。

表示制御部７は、システムコントローラ１０の制御に基づいて、表示部２における画素駆動回路を駆動し、表示パネル部２ａに所定の表示を実行させる。
即ち、撮像部３での撮像モニタとしての表示や、ストレージ部１４に取り込まれた撮像画像データの再生表示、さらには通信部１５で受信したデータの表示、各種キャラクタの表示などを、表示パネル部２ａにおいて実行させる。
またこれらの表示のために、例えば輝度レベル調整、色補正、コントラスト調整、シャープネス（輪郭強調）調整などを行うことができる。また画像データの一部を拡大した拡大画像の生成、或いは縮小画像の生成、ソフトフォーカス、モザイク、輝度反転、画像内の一部のハイライト表示（強調表示）、全体の色の雰囲気の変化などの画像エフェクト処理、撮像画像の分割表示のための画像の分離や合成、キャラクタ画像やイメージ画像の生成及び生成した画像を撮像画像に合成する処理なども行うことができる。
また表示制御部７は、システムコントローラ１０の指示に基づいて表示駆動部を制御し、表示パネル部２ａの各画素の透過率を制御して、スルー状態（透明又は半透明の状態）とすることもできる。

ストレージ部１４は、各種データの保存に用いられる。例えば撮像画像データの保存に用いられる。また撮像画像データに関連づけて、生体情報生成部５で生成される生体情報（生体センサ検出情報や心理情報）を保存したり、被写体情報生成部１２で生成される被写体情報（顔フラグや顔解析結果情報）を保存する。
このストレージ部１４は、ＲＡＭ或いはフラッシュメモリなどの固体メモリにより構成されても良いし、例えばＨＤＤ（Hard Disk Drive）により構成されてもよい。
また内蔵の記録媒体ではなく、可搬性の記録媒体、例えば固体メモリを内蔵したメモリカード、光ディスク、光磁気ディスク、ホログラムメモリなどの記録媒体に対応する記録再生ドライブなどとされても良い。
もちろん、固体メモリやＨＤＤ等の内蔵タイプのメモリと、可搬性記録媒体に対する記録再生ドライブの両方が搭載されてもよい。
このストレージ部１４は、システムコントローラ１０の制御に基づいて、撮像画像データや生体情報、被写体情報等を記録し、保存する。
またシステムコントローラ１０の制御に基づいて、記録したデータを読み出し、システムコントローラ１０や表示制御部７などに供給する。

通信部１５は外部機器との間でのデータの送受信を行う。この通信部１５は、無線ＬＡＮ、ブルートゥースなどの方式で、例えばネットワークアクセスポイントに対する近距離無線通信を介してネットワーク通信を行う構成としても良いし、対応する通信機能を備えた外部機器との間で直接無線通信を行うものでもよい。
また、必ずしも無線通信ではなく、外部機器との間の有線接続により外部機器と通信を行うものでもよい。

この撮像装置１では、ユーザの操作のために操作入力部１１が設けられる。例えば電源オン／オフ、自動撮像／手動撮像の選択操作、手動撮像の場合のシャッタ操作（又は動画記録開始／停止操作）、ズーム／フォーカス等の操作、表示内容の指定操作、さらには後述する検索を指示する操作などのための操作入力が、操作入力部１１により行われる。
操作入力部１１は、例えばキー、ダイヤル等の操作子を有するようにし、キー操作等としてのユーザの操作を検知する構成としてもよいし、或いはユーザの意識的な挙動を検知する構成としても良い。
操作子を設ける場合、例えば、電源オン／オフ操作、撮像系の操作（例えばシャッタ操作、ズーム等の操作や、信号処理の指示操作）、表示関連操作（例えば表示内容の選択や表示調整操作）などに用いる操作子が形成されればよい。

また、操作子としてタッチパッドやタッチパネルを設けても良い。例えば表示部２においてタッチパネルを配し、表示画面上にユーザがタッチすることで操作入力が行われるようにする。
また、画面上でカーソル等のポインタを移動させる操作子として、上記タッチパネルや十字キー、ジョグダイヤル等を備えるようにしてもよい。或いは、加速度センサ、角速度センサ等を内蔵したリモートコントローラにより、ユーザがリモートコントローラを手に持って動かすことで、画面上のカーソル等が移動するような操作が実行可能としても良い。

操作入力部１１は、このようの操作で入力される操作情報をシステムコントローラ１０に供給し、システムコントローラ１０はこれらの操作情報に応じて所要の制御を実行する。

なお、上述のように生体センサ部４を有する場合、システムコントローラ１０が、生体センサ部４の検出情報に基づいてユーザの意識的な操作入力を検知することも考えられる。
例えばユーザが撮像装置１を側面側からコツコツと軽く叩くといったことを、加速度センサ、振動センサ等で検知し、例えば横方向の加速度が一定値を越えたときにシステムコントローラ１０がユーザの操作として認識するようにすることができる。また、加速度センサや角速度センサによりユーザが右側から側部（眼鏡のツルに相当する部分）を叩いたか、左側から側部を叩いたかを検出できるようにすれば、それらを、それぞれ所定の操作として判別することもできる。
またユーザが頭を回す、首を振るなどとすることを加速度センサや角速度センサで検知し、これをシステムコントローラ１０がユーザの操作として認識することができる。
また、撮像装置１の左右の側部（眼鏡のツルに相当する部分）等に圧力センサを配置し、右側部をユーザが指で押したときは望遠方向のズーム操作、左側部をユーザが指で押したときは広角方向のズーム操作などとすることもできる。
また、例えばユーザの意識的な挙動として目の動き（視線方向の変化やまばたき）が考えられるが、ユーザが３回まばたきをしたことを視覚センサにより検知したら、それを特定の操作入力と判断することも考えられる。さらには、生体センサ部４の検出情報によっては、ユーザが撮像装置１を装着したことや外したこと、あるいは特定のユーザが装着したことなども検出可能であり、システムコントローラ１０がその検出に応じて電源オン／オフなどを行うようにしてもよい。
さらにユーザの声を検知するセンサ、唇の動きを検知するセンサなど、他のセンサによって操作入力を検知する構成も考えられる。

以上、撮像装置１の構成を示したが、これは一例にすぎない。実際に実施される動作例や機能に応じて各種の構成要素の追加や削除は当然考えられる。

［３．画像保存処理例Ｉ］

撮像装置１で実行される撮像画像データの保存処理を説明する。図３はシステムコントローラ１０、生体情報生成部５、被写体情報生成部１２で実行される処理を示している。生体情報生成部５、被写体情報生成部１２がシステムコントローラ１０とされるマイクロコンピュータ内で動作するソフトウエアにより形成される場合、この図３の処理はシステムコントローラ１０の処理と考えることができる。なお、このことは後述する図７でも同様である。

システムコントローラ１０はステップＦ１０１で撮像トリガの発生をチェックする。システムコントローラ１０は、撮像装置１において撮像を実行するためい、何らかの信号を撮像トリガ発生として認識する。
例えば手動撮像を行う場合、操作入力部１１を用いたユーザのシャッタ操作、もしくは生体センサ部４で検出されるユーザの意識的な挙動によるシャッタ操作を、撮像トリガと認識する。
自動撮像を行う場合は次のような撮像トリガが考えられる。
例えば図１（ａ）（ｂ）のような撮像装置１をユーザが装着している際に常時継続的な撮像を行う場合、ユーザの装着を生体センサ部４の検出情報で検出したら、それを撮像トリガの発生と判断しても良い。また電源オン操作を撮像トリガの発生と判断してもよい。
定期的に静止画撮像を行う場合、システムコントローラ１０は内部タイマーのカウントにより一定時間が経過するごとに撮像トリガの発生と判断すればよい。
また、ユーザが例えばスポーツ観戦で興奮／熱狂した場合、おもしろい光景を目撃した場合、感動した場合、交通事故等を目撃した場合、好きな人物／有名人等に出会った場合、不安や恐怖を感じた場合、驚いた場合などに、自動的に撮像を行うという自動撮像も考えられる。例えば生体情報生成部５が、生体センサ部４の検出情報を常時監視して、常時ユーザの心理状況を推定するようにし、驚き、興奮、喜び、不安などの心理状況が推定された場合に、それを撮像トリガとしてシステムコントローラ１０に通知するということも想定される。

システムコントローラ１０は、撮像トリガを認識したら、処理をステップＦ１０１からＦ１０２に進め、撮像及び撮像画像データの保存を実行させる制御を行う。なお、以下では撮像動作は静止画撮像を行うものとして説明を続ける。
即ちシステムコントローラ１０は、撮像制御部６に撮像を指示し、撮像部３で得られる撮像画像データの取込、即ち撮像トリガで規定されるタイミングの１フレームの撮像画像データの取込を実行させる。またその撮像画像データをストレージ部１４に転送させるとともに、ストレージ部１４に記録媒体への保存を実行させる。

次にシステムコントローラ１０はステップＦ１０３で、生体情報生成部５に生体情報生成を指示する。生体情報生成部５は、この撮像タイミングにおける生体センサ部４の各センサの検出値（生体センサ検出情報）を、生体情報とする。
また、この時点で推定されるユーザの心理情報も、生体情報とする。
なお上述したように、ユーザの心理状況は、或る瞬間の生体センサ検出情報から推定するより、継続的に生体センサ検出情報を監視し、その変動を考慮しながら推定する方が望ましい。そこで生体情報生成部５は常時、生体センサ検出情報を監視し、また心理状況を推定する処理を継続する。そしてこのステップＦ１０３では、その時点で推定されている心理状況を、撮像時の心理情報として出力することが好適である。

またシステムコントローラ１０はステップＦ１０４で、被写体情報生成部１２に撮像画像データの解析を指示する。そしてステップＦ１０５で、被写体情報生成部１２により被写体情報を生成させる。
即ちシステムコントローラ１０は、撮像制御部６からの撮像画像データを被写体情報生成部１２にも転送させる。被写体情報生成部１２は、システムコントローラ１０の指示に応じて、転送されてきた撮像画像データの解析を行う。まず画像内に顔画像が存在するか否かの解析を行う。
例えば撮像画像データが図４（ａ）（ｂ）のような画像内容であった場合、顔画像の存在が確認される。
また被写体情報生成部１２は、顔画像が存在した場合は、その顔画像を解析し、表情、性別、年齢層の推定処理を行う。
そして被写体情報生成部１２は、このような解析結果に基づいて、被写体情報を生成する。まず、撮像画像データの画像内に顔画像が存在しない場合、被写体情報として、顔フラグ＝オフという情報を生成する。
一方、撮像画像データの画像内に顔画像が存在し、またその顔画像解析を行った場合、被写体情報として、顔フラグ＝オンという情報と、顔解析結果情報を生成する。上述のように顔解析結果情報とは、表情、性別、年齢層の推定情報である。

なお、図４（ａ）のように複数の顔画像の存在が確認された場合、全ての顔画像について顔解析を行って複数の顔画像についてそれぞれ顔解析結果情報を生成してもよいが、例えば代表的な顔画像を推定し、その顔画像の解析を行って顔解析結果情報を得るようにしてもよい。代表的な顔画像とは、画像上での顔画像のサイズ（顔画像がしめる画素数や顔画像の対角線の長さなど）として、最も大きい顔画像としたり、画面内でより中央部に位置する顔画像などとして決めればよい。
また図４（ｂ）のようい遠方に小さく顔画像が認識されたような場合、その小さい顔画像については、顔画像として認識しないようにしてもよい。即ち所定値以下のサイズの顔画像は無視するような解析処理を行っても良い。

次にシステムコントローラ１０は、ステップＦ１０６で、生体情報、被写体情報を撮像画像データに対応させて保存させる。即ち生体情報生成部５で生成された生体情報と、被写体情報生成部１２で生成された被写体情報をストレージ部１４に供給し、これらをストレージ部１４においてステップＦ１０２で記録させた撮像画像データに関連づけされる状態で記録させる。

撮像が行われる際には、以上の処理が実行されることで、撮像画像データ、生体情報（生体センサ検出情報と心理情報）、被写体情報（顔フラグと顔解析結果情報）が関連づけされてストレージ部１４において保存されることになる。
例えば図５は保存形態の例を示しており、１つの撮像画像データＶＤに対して、画像管理情報、生体センサ検出情報、心理情報、顔フラグ、顔解析結果情報が、それぞれ記録された状態を示している。
画像管理情報は、ステップＦ１０２で撮像画像データが記録される際に、共に記録される情報である。例えば撮像日時（年月日時分秒）、画像種別、ファイル形式、圧縮方式、データサイズなどの情報を有する。これは撮像時にシステムコントローラ１０が生成して撮像画像データＶＤとともにストレージ部１４において記録させる。

生体センサ検出情報としては、生体センサ部４の検出値としての心拍数、発汗量、血圧値、体温、皮膚電気反応値、加速度等が記録される。
心理情報としては、楽しい、嬉しい、不安、興奮、緊張、悲しい、平静等の心理の推定結果の情報が記録される。
顔フラグとして、顔画像の存在／非存在に応じてフラグオン／フラグオフの情報が記録される。
顔解析結果情報として、性別、年齢層、表情の推定結果の情報が記録される。

なお、図３の処理では、撮像時に、撮像画像データＶＤとともに生体情報が生成、記録され、図４のように撮像画像データＶＤに関連づけられて生体センサ検出情報と心理情報が記録されるものとしたが、生体情報に関しては、撮像のタイミングとは別に常時記録されるようにしても良い。
例えば生体情報生成部５は、図６のような生体情報を定期的に生成する。この生体情報は日時情報（年月日時分秒）とともに、生体センサ検出情報と心理情報を有するデータ形式とする。そして、定期的に生成した図６の生体情報をストレージ部１４に記録していく。
このように生体情報を日時情報とともに記録しておけば、撮像画像データＶＤと関連づけることができる。
即ち、ストレージ部１４に記録された撮像画像データＶＤについては、画像管理情報内の日時情報に基づいて、対応する（つまり撮像時の）生体情報を判別できるためである。

［４．画像保存処理例II］

ところで上記図３の画像保存処理例Ｉは、撮像時に撮像画像データに対応する生体センサ検出情報、心理情報、顔フラグ、顔解析結果情報を生成して保存するようにした例であるが、心理情報、顔フラグ、顔解析結果情報の生成、保存を実行するのは、撮像時でなくてもよい。図７では、画像保存処理例IIとして、撮像時点より後の時点で、心理情報、顔フラグ、顔解析結果情報の生成、保存を行う処理例を示す。

図７（ａ）は撮像時のシステムコントローラ１０の処理を示している。
システムコントローラ１０は、上述のように撮像トリガを認識したら、処理をステップＦ２０１からＦ２０２に進め、撮像及び撮像画像データの保存を実行させる制御を行う。即ちシステムコントローラ１０は、撮像制御部６に撮像を指示し、撮像部３で得られる撮像画像データの取込、即ち撮像トリガで規定されるタイミングの１フレームの撮像画像データの取込を実行させる。またその撮像画像データをストレージ部１４に転送させるとともに、ストレージ部１４に記録媒体への保存を実行させる。

次にシステムコントローラ１０はステップＦ２０３で、生体情報生成部５に生体情報生成を指示する。この場合、生体情報生成部５は、この撮像タイミングにおける生体センサ部４の各センサの検出値（生体センサ検出情報）を、生体情報とする。
そしてシステムコントローラ１０は、ステップＦ２０４で、生体情報（この場合は生体センサ検出情報のみ）を撮像画像データに対応させて保存させる。即ち生体情報生成部５で生成された生体センサ検出情報をストレージ部１４に供給し、これらをストレージ部１４においてステップＦ２０２で記録させた撮像画像データに関連づけされる状態で記録させる。
なおこの場合、生体センサ検出情報は、この撮像タイミングに至る或る程度の期間における時系列的な変化を含む検出値とすることが望ましい。

システムコントローラ１０は、撮像時以降の時点で図７（ｂ）の処理を行う。例えばストレージ部１４に保存され、まだ心理情報、顔フラグ、顔解析結果情報が保存されていない各撮像画像データを対象として、図７（ｂ）の処理を行う。

まずステップＦ２５１で、ストレージ部１４に、処理対象とする撮像画像データの読み出しを実行させる。
そしてステップＦ２５２で被写体情報に撮像画像解析を指示する。
即ちシステムコントローラ１０は、ストレージ部１４で読み出された撮像画像データを被写体情報生成部１２に転送させる。被写体情報生成部１２は、システムコントローラ１０の指示に応じて、転送されてきた撮像画像データの解析を行う。まず画像内に顔画像が存在するか否かの解析を行う。そして被写体情報生成部１２は、顔画像が存在するか否かの解析結果をシステムコントローラ１０に通知する。

システムコントローラ１０は、顔画像存在の通知を受けたら、処理をステップＦ２５３からＦ２５４に進め、被写体情報生成部１２に被写体情報の生成を指示する。
被写体情報生成部１２は、撮像画像データの画像内に顔画像が存在することに応じて、被写体情報として、顔フラグ＝オンという情報を生成する。また顔画像を解析して顔解析結果情報を生成する。上述のように顔解析結果情報とは、表情、性別、年齢層の推定情報である。

続いてシステムコントローラ１０はステップＦ２５５で、ストレージ部１４から、現在処理対象の撮像画像データに対応する生体センサ検出情報の読み出しを指示する。そしてステップＦ２５６で、生体情報生成部５に、心理情報の生成を指示する。即ちシステムコントローラ１０は、ストレージ部１４で読み出された生体センサ検出情報を生体情報生成部５に転送させる。生体情報生成部５に、システムコントローラ１０の指示に応じて、転送されてきた生体センサ検出情報から、心理状況を推定する処理を行う。

そしてシステムコントローラ１０は、ステップＦ２５７、被写体情報生成部１２で生成された被写体情報（顔フラグ及び顔解析結果情報）と、生体情報生成部５で生成された生体情報（心理情報）を、撮像画像データに対応させて保存させる。即ち生体情報生成部５で生成された生体情報と、被写体情報生成部１２で生成された被写体情報をストレージ部１４に供給し、これらをストレージ部１４において撮像画像データに関連づけされる状態で記録させる。
これによって、例えば図５のように撮像画像データに生体センサ検出情報、心理情報、顔フラグ、顔解析結果情報が関連づけられた保存状態となる。

一方、ステップＦ２５２の撮像画像解析結果として顔画像が存在しないとされた場合、システムコントローラ１０は処理をステップＦ２５８に進め、被写体情報生成部１２に、顔フラグ＝オフという被写体情報を生成させる。
そしてステップＦ２５９で、顔フラグをストレージ部１４に転送させ、現在処理対象としている撮像画像データに対応させて保存させる。

この図７のような処理によっても、撮像画像データに顔画像が含まれていれば、図５のように撮像画像データに生体センサ検出情報、心理情報、顔フラグ、顔解析結果情報が関連づけられた保存状態とすることができる。
なお、生体情報生成部５が、図６のような生体情報を定期的に生成し、ストレージ部１４に記録していくものとする場合、図７（ａ）のステップＦ２０３，Ｆ２０４は、撮像時の処理とは別の独立した処理となる。
また、処理例として、被写体情報の生成／保存と、心理情報の生成／保存を、さらに別々の時点で行うようにすることも考えられる。

［５．画像検索処理例Ｉ］

上述のように撮像画像データに対して生体情報、被写体情報が関連づけられて保存されていることにより、生体情報と被写体情報を用いた検索処理が可能となる。
図８に画像検索処理例Ｉとしてのシステムコントローラ１０の処理を示す。
システムコントローラ１０は、ステップＦ３０１で検索トリガの有無を検知する。
例えばシステムコントローラ１０はユーザの検索開始指示の操作を検索トリガとして認識する。

検索トリガがあったら、システムコントローラ１０は処理をステップＦ３０１からＦ３０２に進め、検索条件入力処理を行う。例えば表示部２に、検索条件入力のための画像表示を行い、ユーザに検索条件を選択させる処理を行う。
この場合、検索条件は、撮像時のユーザの身体や心理の状況を示す生体情報の項目と、被写体情報の項目とにより指定できるようにする。
例えばユーザ自身の身体や心理の状況として、楽しい、嬉しい、不安、興奮、緊張、悲しい、平静等の心理の状態や、元気な状態、疲れている状態、眠たい状態、走っている状態、などを検索条件の候補として提示し、ユーザに選択させるようにする。
また心拍数、発汗量、脳波などを指定して、その数値や状況を検索条件として入力できるようにしてもよい。例えばユーザは、ドキドキした状態として「心拍数が高い」という条件を指定できるようにしてもよい。
また、被写体情報に関しては、笑顔、悲しい顔、怒った顔、通常の顔など、被写体となった人物の表情や、或いは性別、年齢層を、ユーザが選択できるようにする。

そしてユーザが、自身の撮像時の状況に関する指定と、被写体情報に関する指定の入力を行ったら、システムコントローラ１０はステップＦ３０３で、入力に基づいて検索条件を生成する。例えば自身の状況として「楽しい」、被写体に関して「笑顔」「女性」などを検索条件入力としてユーザが指定したら、これらの指定項目を検索条件として設定する。なお、もちろんユーザが指定した条件についてアンド、オア等の指定を行うようにもできる。
そして検索条件を設定したら、システムコントローラ１０はステップＦ３０４で検索処理を行う。つまりストレージ部１４に保存されている撮像画像データについて、生体情報や被写体情報を参照して検索する。
例えば顔フラグ＝オンとされている撮像画像データのうちで、生体センサ検出情報、心理情報、顔解析結果情報を確認し、該当する撮像画像データを抽出する。
上記のように自身の状況が「楽しい」、被写体が「笑顔」「女性」という検索条件がアンド条件とされた場合、心理情報として「楽しい」に該当し、顔解析結果情報として「笑顔」「女性」に該当する撮像画像データを抽出するものとなる。

検索処理を終えたら、システムコントローラ１０はステップＦ３０５で、検索結果表示処理を行う。即ち、表示部２に検索結果表示を実行させる。
例えば該当する撮像画像データが抽出できなければ、該当無しのメッセージ表示を表示部２に実行させる。
また１又は複数の撮像画像データを抽出した場合は、その一覧リスト画像を表示させ、一覧リスト画像に対するユーザの指定によって、１つの撮像画像を表示させたり、例えば撮像日時の時系列の順序で撮像画像を表示させたり、ランダムな順に撮像画像を表示させたりする処理を行う。
もちろん一覧リスト画像を表示させずに、順次、或いはランダムな順に、抽出された撮像画像を表示させてもよい。

［６．画像検索処理例II］

次に、画像検索処理例IIとして、ユーザの検索条件指定の入力を行わない例を図９に示す。
システムコントローラ１０は、ステップＦ４０１で検索トリガの有無を検知する。検索トリガがあったら、システムコントローラ１０は処理をステップＦ４０１からＦ４０２に進み、この検索を行う時点のユーザの心理判定を行う。
このためシステムコントローラ１０は生体情報生成部５に、ユーザの心理情報を生成させる。生体情報生成部５は、システムコントローラ１０の指示に応じて、この時点（もしくはこの時点までの所定期間）の生体センサ部４の検出情報を用いて、ユーザの心理判定の処理を行う。例えば楽しい、嬉しい、不安、興奮、緊張、悲しい、平静等の心理の状態を判定する。そしてその判定結果をシステムコントローラ１０に通知する。

次にシステムコントローラ１０はステップＦ４０３で、検索条件を生成する。この場合、現時点のユーザの心理状況に応じて検索条件を設定する。
この場合、ユーザが気分的に沈んでいる場合は、ユーザの気分が向上するような画像の検索条件を設定したり、ユーザが緊張しているときはユーザがリラックスするような画像の検索条件を設定する。またユーザが興奮しているときは、ユーザが落ち着かせるような画像の検索条件を設定する。また、ユーザが楽しい気分のときは、さらに楽しくさせるような画像の検索条件を設定するなど、検索条件の設定のしかたは多様に考えられる。
例えばユーザの気分を向上させる場合の検索条件としては、撮像時のユーザ自身の状況として「楽しい」「嬉しい」、或いは「興奮」などの条件を選択し、また被写体情報に関して「笑顔」などを選択したり、「悲しい顔」「怒っている顔」などを除外条件として設定する。
また興奮状態のユーザを落ち着かせる場合の検索条件としては、撮像時のユーザ自身の状況として「平静」などの条件を選択したり、或いは脳波の検出値などで落ち着いた状態を示す値を設定する。また被写体情報に関して「通常の表情」などを選択したり、「怒っている」表情などを除外するような検索条件とする。或いは「子供」という年齢層を設定する。

検索条件を設定したら、システムコントローラ１０はステップＦ４０４で検索処理を行う。つまりストレージ部１４に保存されている撮像画像データについて、生体情報や被写体情報を参照して検索する。
検索処理を終えたら、システムコントローラ１０はステップＦ４０５で検索結果表示処理を行い、表示部２に検索結果表示を実行させる。

このような処理によれば、検索時点のユーザの気分等に応じて、撮像画像データが抽出され、表示されることになる。
なお、ステップＦ４０１での検索トリガは、ユーザの検索指示の操作とすればよいが、例えば常時ユーザの心理判定を行い、ユーザの心理が落ち込んだり興奮したりした状態を検出したら、検索トリガ有りと判断するようにしてもよい。

また、ステップＦ４０２では、ユーザ個人の心理判定ではなく、複数の閲覧者のグループ心理の判定を行うということも考えられる。
例えば家族や友人同士などのグループにおいて、各人の生体センサ検出情報や心理情報を取得するようにし、それらからグループ心理を判定する。例えば楽しく盛りあがっている状況、興奮しすぎている状況、しらけている状況、険悪な状況などを判定する。そしてそれに応じて検索条件を設定し、検索及び画像表示を行うようにしてもよい。

［７．実施の形態の効果、変形例、拡張例、及びプログラム］

以上の実施の形態によれば、撮像画像データに対して、その撮像時のユーザの生体情報（生体センサ検出情報と心理情報）と、被写体情報（顔フラグと顔解析結果情報）を関連づけて保存する。そして検索の際には、生体情報と被写体情報を用いて検索条件を生成し、検索を行う。また、検索時のユーザの気分等の生体情報も検索条件の生成に用いる。
これにより、画像閲覧者にとって好適な画像選択及び表示が可能となる。
例えば上記図８の検索処理例Ｉによれば、ユーザが望む状態で撮像された顔写真を閲覧することができる。例えば心拍数が１００以上の状態で記録された女性の顔写真を検索したり、心拍数が６０から８０の間で記録された笑顔の写真のみを抽出するなど、心理状態が興奮していた時の顔写真を表示ということなどが可能である。もちろん生体センサ検出情報、心理情報、顔解析結果情報（表情、年齢層、性別）としての検索条件の指定により、閲覧者であるユーザは、任意の多様な検索を実行できる。

また上記図９の検索処理例IIによれば、閲覧者（一人でも複数でもよい）の検索時の感情等の状況を推定し、心理状態等に応じた画像、例えば落ち込んでいる時には笑顔の写真のように閲覧者の状態を変化させるような画像や、興奮している時には興奮して撮像した笑顔の写真を表示することで，その場の雰囲気を継続させる画像など、を提示することで、閲覧者であるユーザやグループの心理状態を好転あるいは安定させることができる。
特に、閲覧時に神経がたかぶっていたら落ち着いて撮像した画像を表示するようにしたり、悲しい場合に、楽しい気分で撮像した画像や笑顔の画像を表示させることは、一種のフォトセラピーの役割を果たすことができると考えられる。

また特に大量の撮像画像データが保存されている状況を考えると、これらのような本例で述べた検索は特に有用となる。例えば一定時間ごとに自動撮像を行うようにしてユーザの日常生活の行動軌跡を保存するようにし、膨大な記録が行われた場合、後の時点で、いかに見たい画像を検索することができるかということが重要となるが、本例は、この点で適切に画像検索を行うことができる。

本発明は、上記実施の形態に限られず、撮像装置１の構成例や処理例として各種の変形例や拡張例が考えられる。
また本発明の画像保存処理装置、画像検索装置は、撮像装置１以外でも実現できる。
図１０〜図１４により、本発明の画像保存処理装置、画像検索装置となる装置構成例を述べる。
まず図１０は、本発明の画像保存処理装置及び画像検索装置とされる装置５０の構成を機能的に示したものである。上述した撮像装置１も、この装置５０に該当する。
即ち撮像画像取得部５１，生体情報取得部５２、被写体情報取得部５３、保存処理部５４、検索処理部５５、表示処理部５６を備える。

撮像画像取得部５１は、撮像画像データを取得する機能であり、例えば図２の撮像装置１における撮像部３，撮像制御部６である。但し装置５０は、いわゆるカメラとしての機能を持たなくても良い。例えばカメラと接続される装置５０として、カメラから有線又は無線で送信されてくる撮像画像データを受信する受信部も、この撮像画像取得部５１となり得る。
生体情報取得部５２は、ユーザの生体情報を取得する。例えば図２の撮像装置１における生体センサ部４，生体情報生成部５のように生体情報を生成する。ただし、生体情報取得部５２は、生体センサ等を備えず、別体の生体センサや生体情報生成部から生体情報を受信する構成でも良い。
被写体情報取得部５３は、撮像画像取得部５１で取得した撮像画像データの解析を行って、例えば上述した顔フラグや顔解析結果情報等の被写体情報を生成する。なお、上記例では顔画像に関して被写体情報を取得するようにしたが、被写体情報の対象は顔画像に限定されない。
保存処理部５４は、撮像画像取得部５１で取得した撮像画像データと、生体情報取得部５２で取得した生体情報と、被写体情報取得部５３で取得した被写体情報とを関連づけて保存する処理を行う。図２の撮像装置１の場合、システムコントローラ１０のストレージ部１４への保存処理として、この保存処理部５４が実現される。
検索処理部５５は、生体情報や被写体情報を検索条件に利用して撮像画像データの検索処理を行う。図２の撮像装置１の場合、システムコントローラ１０が実行する検索処理として、この検索処理部５４が実現される。
表示処理部５６は、検索処理部５５の検索結果の表示処理を行う。図２の撮像装置１の場合、システムコントローラ１０が表示部２に実行させる表示制御処理として、この表示処理部５４が実現される。

この装置５０は、撮像画像取得部５１，生体情報取得部５２、被写体情報取得部５３、保存処理部５４を備えることで、本発明の画像保存処理装置となる。
また検索処理部５５、表示処理部５６（さらには生体情報取得部５２）を備えることで、本発明の画像検索装置となる。
装置５０は、具体的にはデジタルスチルカメラ、ビデオカメラ等の撮像装置や、撮像装置で撮像された画像の処理を行う画像処理装置、画像ストレージ機器などとして実現される。ここで言う画像処理装置、画像ストレージ機器としては、携帯電話機、ＰＤＡ、パーソナルコンピュータ、ビデオレコーダ、ビデオサーバなどの一つの機能として実現できる。

図１１の装置５０も、本発明の画像保存処理装置及び画像検索装置としての装置５０であるが、これは別体の表示装置３０において検索結果の表示を実行させる構成例を示している。例えば図１（ｂ）のように表示機能を持たない撮像装置１の場合、このような構成により、検索結果表示が可能となる。
表示処理部５６Ａは、検索結果としての撮像画像データを表示装置３０に有線又は無線で送信し、表示装置３０上で表示させる処理を行うことになる。
表示装置３０は、例えば腕時計型の表示装置、携帯型の小型の表示装置、表示パネルを備えた携帯電話機やＰＤＡなどの機器、或いはテレビジョンモニタ、パーソナルコンピュータモニタ等の据置型の表示装置など、あらゆる表示装置が想定される。

図１２は、本発明の画像保存処理装置としての装置５０Ａと、本発明の画像検索装置としての装置６０が別体構成とされる例を示している。
装置５０Ａは、撮像画像取得部５１，生体情報取得部５２、被写体情報取得部５３、保存処理部５４を備えることで、本発明の画像保存処理装置となる。
装置５０Ａは、例えば図３又は図７の処理で、撮像画像取得部５１で取得した撮像画像データと、生体情報取得部５２で取得した生体情報と、被写体情報取得部５３で取得した被写体情報とを関連づけて保存する処理を行う。
そしてこの場合、装置５０Ａは、装置６０に対して保存処理部５４が保存させた撮像画像データと、撮像時の生体情報と、被写体情報とを供給できるものとする。例えば有線通信、又は無線送信、或いは可搬性記録媒体の受け渡しにより、撮像画像データ、撮像時生体情報、被写体情報を装置６０に供給する。
装置６０は、保存処理部６１、検索処理部６２、表示処理部６３を備えることで本発明の画像検索装置となる。保存処理部６１は、装置５０Ａから供給された撮像画像データ、撮像時生体情報、被写体情報を記録媒体に保存する。
そして検索処理部６２は、その記録媒体に保存された撮像画像データについて、撮像時生体情報や被写体情報を検索条件として利用して検索を行う。また表示処理部６３は検索処理部６２の検索結果の表示処理を行う。例えば装置６０は図８の検索処理を行う。
また装置６０側に生体情報取得部６４を備えることで、検索処理部６２は、上記図９の検索処理例IIを実行し、検索時の閲覧者の心理状況等を検索条件に反映させることが可能となる。

この図１２における装置５０Ａは、具体的にはデジタルスチルカメラ、ビデオカメラ等の撮像装置や、撮像装置で撮像された画像の処理を行う画像処理装置、画像ストレージ機器などとして実現される。画像処理装置、画像ストレージ機器としては、携帯電話機、ＰＤＡ、パーソナルコンピュータ、ビデオレコーダ、ビデオサーバなどとして実現できる。
また装置６０Ａは、画像処理装置、画像ストレージ機器として、具体的には携帯電話機、ＰＤＡ、パーソナルコンピュータ、ビデオレコーダ、ビデオサーバなどとして実現される。

図１３は、装置５０Ｂ、６０Ａを示しているが、装置６０Ａとして本発明の画像保存処理装置、及び画像検索装置が実現される例を示している。
この場合、装置５０Ｂは、例えば撮像装置であり、図７（ａ）の処理で、撮像画像取得部５１で取得した撮像画像データと、生体情報取得部５２で取得した生体センサ検出情報を関連づけて保存する処理を行う。
そしてこの場合、装置５０Ｂは、装置６０Ａに対して保存処理部５４が保存させた撮像画像データと、撮像時の生体センサ検出情報とを供給できるものとする。例えば有線通信、又は無線送信、或いは可搬性記録媒体の受け渡しにより、撮像画像データと生体センサ検出情報を装置６０Ａに供給する。
装置６０Ａは、保存処理部６１、検索処理部６２、表示処理部６３、生体情報取得部６４、被写体情報取得部６５を備える。保存処理部６１は、装置５０Ｂから供給された撮像画像データと生体センサ検出情報を記録媒体に保存する。
また生体情報取得部６４、被写体情報取得部６５、及び保存処理部６１は、例えば図７（ｂ）の処理を行って、記録媒体に保存された撮像画像データについて、生体情報（心理情報）や被写体情報（顔フラグ、顔解析結果情報）を生成し、撮像画像データに関連づけて記録媒体に保存する。
そして検索処理部６２は、その記録媒体に保存された撮像画像データについて、撮像時生体情報や被写体情報を検索条件として利用して検索を行う。また表示処理部６３は検索処理部６２の検索結果の表示処理を行う。
この場合、装置６０Ａは、図８又は図９の検索処理を行うことができる。

この図１３における装置６０Ａは、画像処理装置、画像ストレージ機器、画像検索機器として実現できる。具体的には携帯電話機、ＰＤＡ、パーソナルコンピュータ、ビデオレコーダ、ビデオサーバなどとして実現される。
なお、装置５０Ｂ側で画像解析を行って、撮像画像データに顔フラグを関連づけて記憶し、顔フラグも含めて撮像画像データを装置Ｂに供給してもよい。その場合、装置６０Ａ側では、顔フラグがオンとされた撮像画像データに関して被写体情報（顔解析結果情報）を付加する処理を行うようにすればよい。

図１４は、装置５０Ｂ、装置６０Ｂ、装置６０Ｃを示しているが、装置６０Ｂが本発明の画像保存処理装置に該当し、装置６０Ｃが本発明の画像検索装置に該当する例である。装置６０Ｂ、６０Ｃはストレージ部４０にアクセス可能とされているとする。
この場合、装置５０Ｂは、例えば撮像装置であり、図７（ａ）の処理で、撮像画像取得部５１で取得した撮像画像データと、生体情報取得部５２で取得した生体センサ検出情報を関連づけて保存する処理を行う。
そして装置５０Ｂは、装置６０Ｂに対して保存処理部５４が保存させた撮像画像データと、撮像時の生体センサ検出情報とを供給する。例えば有線通信、又は無線送信、或いは可搬性記録媒体の受け渡しにより、撮像画像データと生体センサ検出情報を装置６０Ｂに供給する。
装置６０Ｂは、保存処理部６１、生体情報取得部６４、被写体情報取得部６５を備える。
保存処理部６１は、装置５０Ｂから供給された撮像画像データと生体センサ検出情報を記録媒体に保存する。
また生体情報取得部６４、被写体情報取得部６５、及び保存処理部６１は、例えば図７（ｂ）の処理を行って、記録媒体に保存された撮像画像データについて、生体情報（心理情報）や被写体情報（顔フラグ、顔解析結果情報）を生成し、撮像画像データに関連づけてストレージ部４０に保存する。
装置６０Ｃは、検索処理部６２、表示処理部６３を備える。
検索処理部６２は、ストレージ部４０に保存された撮像画像データについて、撮像時生体情報や被写体情報を検索条件として利用して検索を行う。また表示処理部６３は検索処理部６２の検索結果の表示処理を行う。例えば装置６０Ｃは図８の検索処理を行う。
また装置６０Ｃ側にも生体情報取得部６４を備えることで、検索処理部６２は、上記図９の検索処理例IIを実行し、検索時の閲覧者の心理状況等を検索条件に反映させることが可能となる。

この図１４における装置６０Ｂ、６０Ｃは、画像処理装置、画像ストレージ機器、画像検索機器としての機能を持つ機器、具体的には携帯電話機、ＰＤＡ、パーソナルコンピュータ、ビデオレコーダ、ビデオサーバなどとして実現される。
なお、装置５０Ｂ側で画像解析を行って、撮像画像データに顔フラグを関連づけて記憶し、顔フラグも含めて撮像画像データを装置６０Ｂに供給してもよい。その場合、装置６０Ｂ側では、顔フラグがオンとされた撮像画像データに関して被写体情報（顔解析結果情報）を付加する処理を行うようにすればよい。

なお、図１１〜図１４における機器間の通信は、インターネット、携帯電話通信網、ＰＨＳ通信網、アドホックネットワーク、ＬＡＮなどのネットワークを介した通信とされてもよい。

実施の形態のプログラムは、図３又は図７の画像保存処理を撮像装置やパーソナルコンピュータ、携帯電話機、ＰＤＡ、ビデオサーバ、ビデオレコーダ等におけるマイクロコンピュータ（演算処理装置）に実行させるプログラムである。また実施の形態のプログラムは図８又は図９の画像検索処理をこれらの機器におけるマイクロコンピュータ（演算処理装置）に実行させるプログラムである。
このようなプログラムは、パーソナルコンピュータや、撮像装置等の機器に内蔵されている記録媒体としてのＨＤＤや、ＣＰＵを有するマイクロコンピュータ内のＲＯＭやフラッシュメモリ等に予め記録しておくことができる。
あるいはまた、フレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magnet optical)ディスク、ＤＶＤ(Digital Versatile Disc)、ブルーレイディスク、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
またプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。

本発明の実施の形態の撮像装置の外観例の説明図である。 実施の形態の撮像装置のブロック図である。 実施の形態の画像保存処理例Ｉのフローチャートである。 実施の形態の顔画像を含む撮像画像の説明図である。 実施の形態の撮像画像データの保存形式の説明図である。 実施の形態の生体情報の保存形式の説明図である。 実施の形態の画像保存処理例IIのフローチャートである。 実施の形態の画像検索処理例Ｉのフローチャートである。 実施の形態の画像検索処理例IIのフローチャートである。 本発明の画像保存処理装置と画像検索装置の構成例の説明図である。 本発明の画像保存処理装置と画像検索装置の構成例の説明図である。 本発明の画像保存処理装置と画像検索装置の構成例の説明図である。 本発明の画像保存処理装置と画像検索装置の構成例の説明図である。 本発明の画像保存処理装置と画像検索装置の構成例の説明図である。

符号の説明

１ 撮像装置、２ 表示部、２ａ 表示パネル部、３ 撮像部、４ 生体センサ部、５ 生体情報生成部、６ 撮像制御部、７ 表示制御部、１０ システムコントローラ、１１ 操作入力部、１２ 被写体情報生成部、１４ ストレージ部、１５ 通信部、５１ 撮像画像取得部、５２，６４ 生体情報取得部画像出力部、５３，６５ 被写体情報取得部、５４，６１ 保存処理部、５５，６２ 検索処理部、５６，６３ 表示処理部

Claims (16)

1. 撮像装置部で撮像された撮像画像データを取得する画像取得手段と、
   上記画像取得手段で取得する撮像画像データの撮像の際の、上記撮像装置部の使用者の生体情報を取得する生体情報取得手段と、
   上記画像取得手段で取得した撮像画像データの画像解析結果としての被写体情報を取得する被写体情報取得手段と、
   上記画像取得手段が取得した撮像画像データと、上記生体情報取得手段が取得した生体情報と、上記被写体情報取得手段が取得した被写体情報とを、関連づけて記録媒体に記録する処理を行う保存処理手段と、
   を備えたことを特徴とする画像保存処理装置。
2. 上記画像取得手段は、一体的に設けられた上記撮像装置部での撮像動作により、撮像画像データを取得することを特徴とする請求項１に記載の画像保存処理装置。
3. 上記画像取得手段は、外部の上記撮像装置部での撮像動作による撮像画像データを取得することを特徴とする請求項１に記載の画像保存処理装置。
4. 上記生体情報取得手段は、上記生体情報として、生体センサ検出情報を取得することを特徴とする請求項１に記載の画像保存処理装置。
5. 上記生体情報取得手段は、上記生体情報として、上記撮像装置部の使用者の心理情報を、生体センサ検出情報を用いて生成することを特徴とする請求項１に記載の画像保存処理装置。
6. 上記被写体情報取得手段は、撮像画像データ内に人の顔画像が含まれているか否かの画像解析を行い、該画像解析結果としての顔存在情報を、上記被写体情報とすることを特徴とする請求項１に記載の画像保存処理装置。
7. 上記被写体情報取得手段は、撮像画像データ内の人の顔画像の画像解析を行い、該画像解析結果としての顔解析結果情報を、上記被写体情報とすることを特徴とする請求項１に記載の画像保存処理装置。
8. 上記顔解析結果情報とは、表情、又は性別、又は年齢層を示す情報であることを特徴とする請求項７に記載の画像保存処理装置。
9. 上記保存処理手段によって、上記生体情報及び上記被写体情報と関連づけられて保存された撮像画像データについて、上記生体情報及び上記被写体情報を用いて検索条件を生成し、該検索条件に基づく検索処理を行う検索処理手段と、
   上記検索処理手段の検索処理結果の出力処理を行う出力処理手段と、
   をさらに備えたことを特徴とする請求項１に記載の画像保存処理装置。
10. 上記検索処理手段は、さらに、検索処理を実行する際に上記生体情報取得手段で取得される生体情報を、検索条件の生成に用いることを特徴とする請求項９に記載の画像保存処理装置。
11. 撮像画像データと、上記撮像画像データを撮像した撮像装置部の使用者の撮像の際の生体情報と、上記撮像画像データの画像解析結果としての被写体情報とが関連づけられて保存されている記録媒体に対する検索処理として、上記生体情報及び上記被写体情報を用いて検索条件を生成し、該検索条件に基づく検索処理を行う検索処理手段と、
    上記検索処理手段の検索処理結果の出力処理を行う出力処理手段と、
    を備えたことを特徴とする画像検索装置。
12. さらに使用者の生体情報を取得する生体情報取得手段を備え、
    上記検索処理手段は、さらに、検索処理を実行する際に上記生体情報取得手段で取得される生体情報を、検索条件の生成に用いることを特徴とする請求項１１に記載の画像検索装置。
13. 撮像装置部で撮像された撮像画像データを取得する画像取得ステップと、
    上記画像取得ステップで取得する撮像画像データの撮像の際の、上記撮像装置部の使用者の生体情報を取得する生体情報取得ステップと、
    上記画像取得ステップで取得した撮像画像データの画像解析結果としての被写体情報を取得する被写体情報取得ステップと、
    上記画像取得ステップで取得した撮像画像データと、上記生体情報取得ステップで取得した生体情報と、上記被写体情報取得ステップで取得した被写体情報とを、関連づけて記録媒体に記録する処理を行う保存処理ステップと、
    を備えたことを特徴とする画像保存処理方法。
14. 撮像画像データと、上記撮像画像データを撮像した撮像装置部の使用者の撮像の際の生体情報と、上記撮像画像データの画像解析結果としての被写体情報とが関連づけられて保存されている記録媒体に対する検索処理として、上記生体情報及び上記被写体情報を用いて検索条件を生成し、該検索条件に基づく検索処理を行う検索処理ステップと、
    上記検索処理手段の検索処理結果の出力処理を行う出力処理ステップと、
    を備えたことを特徴とする画像検索方法。
15. 撮像装置部で撮像された撮像画像データを取得する画像取得ステップと、
    上記画像取得ステップで取得する撮像画像データの撮像の際の、上記撮像装置部の使用者の生体情報を取得する生体情報取得ステップと、
    上記画像取得ステップで取得した撮像画像データの画像解析結果としての被写体情報を取得する被写体情報取得ステップと、
    上記画像取得ステップで取得した撮像画像データと、上記生体情報取得ステップで取得した生体情報と、上記被写体情報取得ステップで取得した被写体情報とを、関連づけて記録媒体に記録する処理を行う保存処理ステップと、
    を情報処理装置に実行させるプログラム。
16. 撮像画像データと、上記撮像画像データを撮像した撮像装置部の使用者の撮像の際の生体情報と、上記撮像画像データの画像解析結果としての被写体情報とが関連づけられて保存されている記録媒体に対する検索処理として、上記生体情報及び上記被写体情報を用いて検索条件を生成し、該検索条件に基づく検索処理を行う検索処理ステップと、
    上記検索処理手段の検索処理結果の出力処理を行う出力処理ステップと、
    を情報処理装置に実行させるプログラム。

Images