JP4826485B2 - 画像保存装置、画像保存方法 - Google Patents

Description

本発明は、撮像画像データについての保存処理を行う画像保存装置、及び画像保存方法に関し、特に、取得した撮像画像データについての評価を行い、評価データとともに撮像画像データを保存する装置及び方法に関する。

特開２００５−１２８０９２号公報 特開２００６−３３１２３号公報 特開２００６−２２２４９０号公報 特開２００３−１１０９９９号公報 特開２００５−３０３５１１号公報

上記特許文献１〜３には、カメラの手ブレ防止に関する種々の技術が開示されている。
また上記特許文献４、５には、画像（写真）共有システムや画像（写真）共有サービスの技術が開示されている。

しかしながら、従来のカメラ（ビデオカメラやスチルカメラ）では、撮像してしまったあとの画像については、なんら対策が打たれてなかった。
一般にユーザがカメラで撮像する画像データでは、通常失敗とされる多様な画像が生ずる。例えば画像のボケが生じたり、手ぶれによる影響がでたり、光量不足や逆光などで明るさが適切でなかったり、指やストラップなどの非対称被写体が撮し込まれてしまったり、角度が水平からずれてしまったりなどである。また人を撮像した場合に、被写体となった人がシャッタタイミングで眼をつむってしまったり、表情が悪くなったりして、あまり好ましい撮像画像ではなくなる場合もある。

このように実際の撮像においては多様な状況が生じるが、本発明では撮像された撮像画像データについて、その後、適切かつ便利に取り扱うことができるようにすることを目的とする。

本発明の画像保存装置は、撮像画像データを取得する取得手段と、所定の評価項目について画像評価を行い、評価データを生成し、評価対象の撮像画像データを採用するか否か、又は保存するか否かの画像評価を段階又は点数で行う画像評価手段と、撮像画像データの保存処理を行う保存処理手段と、上記取得手段により評価対象となる撮像画像データが取得された際に、撮像画像データについての評価データを上記画像評価手段に生成させ、撮像画像データと評価データが対応づけられて保存されるように、上記保存処理手段に保存処理を実行させる制御手段と、を備え、上記取得手段は、撮像素子としてＣＣＤセンサ又はＣＭＯＳセンサを用いて構成されている画像撮像を行う撮像部と外部機器と通信を行う通信部を有し、上記撮像部での撮像による撮像画像データを取得するとともに、上記通信部での外部機器と通信により該外部機器による撮像画像データを受信して取得し、上記制御手段は、さらに、上記保存処理手段により保存された撮像画像データについて、対応して保存されている上記評価データに基づいて、撮影の際の位置情報及び日時情報が同じあるいは類似している他の撮像画像データに置き換える置換処理を行う。

また、上記取得手段は、可搬性記録媒体から情報を再生する再生部を有し、上記再生部によって上記可搬性記録媒体の再生を行って撮像画像データを取得する。
上記画像評価手段は、評価対象の撮像画像データについて、ボケ具合、又はブレ具合、又は明暗度合い、又は色合い、又は鮮明度、又は角度ズレ、又は非対称被写体のかぶりの全部又は一部を上記評価項目として画像評価を行う。
また上記画像評価手段は、評価対象の撮像画像データが、人が被写体となっているものであるか否かを判別するとともに、人が被写体となっている場合は、その評価対象の撮像画像データについて、眼の開閉、又は顔の表情、又は顔の向き、又は眼球の色の全部又は一部を上記評価項目として画像評価を行う。
また上記保存処理手段は、記録媒体に対して情報の記録を行う記録部を有し、上記保存処理として、撮像画像データと評価データを対応づけて上記記録媒体に記録する。
また上記保存処理手段は、外部機器と通信を行う通信部を有し、上記保存処理として、撮像画像データと評価データを対応づけて外部機器に送信する。

また上記制御手段は、さらに、上記保存処理手段により保存された撮像画像データについて、対応して保存されている上記評価データに基づいて削除する削除処理を行う。
また上記制御手段は、さらに、上記保存処理手段により保存された撮像画像データについて、対応して保存されている上記評価データに基づいて、他の撮像画像データに置き換える置換処理を行う。
また、さらに画像出力処理を行う画像出力手段を備え、上記制御手段は、さらに、上記保存処理手段により保存された撮像画像データについて、対応して保存されている上記評価データに基づいて、上記画像出力手段により出力させる処理を行う。
また上記画像出力手段は、表示部を有し、上記出力処理として、上記表示部において撮像画像データについての表示出力を行う。
また上記画像出力手段は、外部機器と通信を行う通信部を有し、上記出力処理として、上記通信部により撮像画像データについての外部機器への送信出力を行う。
また上記画像出力手段は、可搬性記録媒体に情報を記録する記録部を有し、上記出力処理として、上記記録部によって上記可搬性記録媒体に撮像画像データを記録する。

本発明の画像保存方法は、評価対象となる撮像画像データを取得するステップと、撮像画像データに対して所定の評価項目について画像評価を行い、評価データを生成し、評価対象の撮像画像データを採用するか否か、又は保存するか否かの画像評価を段階又は点数で行う評価データを生成するステップと、撮像画像データと評価データが対応づけられて保存されるように保存処理を実行するステップと、上記取得するステップにおいて評価対象となる撮像画像データが取得された際に、撮像画像データについての評価データを生成させ、撮像画像データと評価データが対応づけられて保存されるように、保存処理を実行させるステップと、を備え、上記取得するステップにおいて、撮像素子としてＣＣＤセンサ又はＣＭＯＳセンサを用いて構成されている画像撮像を行う撮像部での撮像による撮像画像データを取得するとともに、外部機器と通信を行う通信部での外部機器と通信により該外部機器による撮像画像データを受信して取得し、上記保存処理を実行させるステップにおいては、さらに、上記保存処理を実行するステップにおいて保存された撮像画像データについて、対応して保存されている上記評価データに基づいて、撮影の際の位置情報及び日時情報が同じあるいは類似している他の撮像画像データに置き換える置換処理を行う。

即ち以上の本発明では、例えば撮像したり、或いは外部の撮像装置で撮像した画像データを入力するなどして取得した撮像画像データについて、その画像評価を行って評価データを生成する。評価データは、例えば撮像画像に対するユーザの満足度を示すような評価項目によって評価した値であるとする。例えばボケやブレ、明暗、色合い、鮮明度、角度ズレ、非対称被写体のかぶり、更には被写体の人の表情など、一般にユーザが写真等に対して不満を感じる状態の有無や度合いなどを示すデータとする。このような評価データを撮像画像データに対応づけて保存する。

本発明によれば、取得した撮像画像データについて、ユーザの満足度の基準となる評価データを生成し、評価データとともに撮像画像データを保存する。これにより、保存された撮像画像データを、適切かつ便利に取り扱うことができるという効果がある。
例えば評価の低い撮像画像データを削除したり、内容が類似した他の撮像画像データと置き換えて保存したり、表示出力などを行う際に、評価の高い撮像画像データを選択して出力したりできる。これにより、ユーザにとっての満足度や利便性の向上を実現できる。

以下、本発明の画像保存装置、画像保存方法の実施の形態を説明する。ここでは画像保存装置の例として撮像装置を挙げて説明する。なお、本発明の画像保存装置は、撮像装置以外の機器でも実現できるが、それについては変形例、拡張例として述べる。
説明は次の順序で行う。
［１．撮像装置の外観例］
［２．撮像装置の構成例］
［３．撮像画像評価］
［４．画像保存処理］
［５．画像表示処理］
［６．画像削除処理］
［７．画像置換処理Ｉ］
［８．画像置換処理II］
［９．実施の形態の効果、及び変形例、拡張例］

［１．撮像装置の外観例］

実施の形態の撮像装置１としては、各種の形態が想定されるが、それらの外観例を図１（ａ）（ｂ）（ｃ）（ｄ）に例示する。
図１（ａ）は、眼鏡型ディスプレイカメラとした撮像装置１を示している。撮像装置１は、例えば両側頭部から後頭部にかけて半周回するようなフレームの構造の装着ユニットを持ち、図のように両耳殻にかけられることでユーザに装着される。
この撮像装置１は、ユーザが装着した状態において、ユーザの視界方向を被写体方向として撮像するように、前方に向けて撮像レンズ３ａが配置されている。
また図示のような装着状態において、ユーザの両眼の直前、即ち通常の眼鏡におけるレンズが位置する場所に、左眼用と右眼用の一対の表示パネル部２ａ、２ａが配置される構成とされている。この表示パネル部２ａには、例えば液晶パネルが用いられ、透過率を制御することで、図のようなスルー状態、即ち透明又は半透明の状態とできる。表示パネル部２ａがスルー状態とされることで、眼鏡のようにユーザが常時装着していても、通常の生活には支障がない。
なお、表示パネル部２ａは、両眼に対応して一対設けられる他、片側の眼に対応して１つ設けられる構成も考えられる。

図１（ｂ）は、同じくユーザが頭部に装着する撮像装置１を示しているが、図１（ａ）のような表示パネル部２ａを備えない構成である。例えば耳殻に掛けられるような装着ユニットによりユーザ頭部に装着される。そしてこの状態でユーザの視界方向を被写体方向として撮像するように、前方に向けて撮像レンズ３ａが配置されている。

これら図１（ａ）（ｂ）では、眼鏡型或いは頭部装着型の装着ユニットによりユーザの頭部に装着される撮像装置１を挙げたが、撮像装置１をユーザが装着するための構造は多様に考えられる。例えばヘッドホン型、ネックバンドタイプ、耳掛け式など、どのような装着ユニットでユーザに装着されるものであってもよい。さらには、例えば通常の眼鏡やバイザー、或いはヘッドホン等に、クリップなどの取付具で取り付けることでユーザに装着させる形態であってもよい。また必ずしもユーザの頭部に装着されるものでなくても良い。
また、撮像方向をユーザの視界方向としているが、装着時にユーザの後方、側方、上方、足下方向などを撮像するように撮像レンズ３ａが取り付けられている構成や、撮像方向が同一又は異なる方向とされた複数の撮像系が設けられている構成も考えらえる。
さらには、１又は複数の撮像レンズ３ａについて、被写体方向を手動又は自動で可変できる撮像方向可変機構を設けても良い。

図１（ｃ）は一般にデジタルスチルカメラとして知られているような形態の撮像装置１を示している。
また図１（ｄ）は一般にビデオカメラとして知られているような形態の撮像装置１を示している。
これら図１（ｃ）（ｄ）のようにユーザが所持して使用する撮像装置１も、本発明の実施の形態の一態様となる。そして図では撮像レンズ３ａしか示していないが、撮像モニタ用のパネル表示部やビューファインダなどの表示デバイスも設けられている。

なお、静止画撮像や動画撮像を行う撮像装置として、これら図１（ａ）（ｂ）（ｃ）（ｄ）に示す以外の形態も考えられることは言うまでもない。例えば携帯電話機やＰＤＡ（Personal Digital Assistant）、携帯用パーソナルコンピュータなどの機器であって、撮像装置としての機能を備えているものも本実施の形態の撮像装置１として想定できる。
また、これらの各種形態において、例えば外部音声を集音するマイクロホンを設け、撮像時に、画像データと共に記録する音声信号を得るようにしてもよい。また音声出力を行うスピーカ部やイヤホン部を形成するようにしても良い。
また撮像レンズ３ａの近辺に、被写体方向への照明を行う発光部を、例えばＬＥＤ（Light Emitting Diode）等により設けたり、静止画撮像のためのフラッシュ発光部を設けることも考えられる。

［２．撮像装置の構成例］

撮像装置１の構成例を図２で説明する。
システムコントローラ１０は、例えばＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、不揮発性メモリ部、インターフェース部を備えたマイクロコンピュータにより構成され、撮像装置１の全体を制御する制御部とされる。このシステムコントローラ１０は内部のＲＯＭ等に保持したプログラムに基づいて、各種演算処理やバス１３を介した各部と制御信号等のやりとりを行い、各部に所要の動作を実行させる。

撮像部３は、撮像光学系、撮像素子部、撮像信号処理部を有する。
撮像部３における撮像光学系では、図１に示した撮像レンズ３ａや、絞り、ズームレンズ、フォーカスレンズなどを備えて構成されるレンズ系や、レンズ系に対してフォーカス動作やズーム動作を行わせるための駆動系等が備えられる。
また撮像部３における撮像素子部では、撮像光学系で得られる撮像光を検出し、光電変換を行うことで撮像信号を生成する固体撮像素子アレイが設けられる。固体撮像素子アレイは、例えばＣＣＤ（Charge Coupled Device）センサアレイや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサアレイとされる。
また撮像部３における撮像信号処理部では、固体撮像素子によって得られる信号に対するゲイン調整や波形整形を行うサンプルホールド／ＡＧＣ(Automatic Gain Control)回路や、ビデオＡ／Ｄコンバータを備え、デジタルデータとしての撮像画像データを得る。また撮像画像データに対してホワイトバランス処理、輝度処理、色信号処理、ぶれ補正処理などを行う。

これらの撮像光学系、撮像素子部、撮像信号処理部を有する撮像部３により、撮像が行われ、撮像による画像データが得られる。
この撮像部３の撮像動作によって得られた画像データは、撮像制御部６で処理される。
撮像制御部６は、システムコントローラ１０の制御に従って、撮像画像データを所定の画像データフォーマットに変換する処理や、変換した撮像画像データを、動作状況に応じて画像評価部１２，ストレージ部１４，通信部１５，表示制御部７へ供給する処理を行う。
また撮像制御部６はシステムコントローラ１０の指示に基づいて、撮像部３における撮像動作のオン／オフ制御、撮像光学系のズームレンズ、フォーカスレンズの駆動制御、撮像素子部の感度やフレームレートの制御、撮像信号処理部の各処理のパラメータ制御や実行処理の設定などを行う。

画像評価部１２は、この撮像装置１が取得した撮像画像データ、即ち撮像部３での撮像により得られた撮像画像データについて画像評価を行う。画像評価は、例えば画像解析や各種撮像時の状況などに基づいて、所定の評価項目にそって行う。そして評価結果として評価データを生成する。
画像評価の例については後述する。
なお、撮像装置１が取得できる撮像画像データとしては、外部の撮像装置で撮像された撮像画像データもあり得る。例えば外部の撮像装置で撮像された撮像画像データが、送信され、通信部１５で受信される場合がある。
また外部の撮像装置で撮像された撮像画像データが可搬性記録媒体に記録され、その可搬性記録媒体をストレージ部１４（ストレージ部１４が可搬性記録媒体に対する再生機能を備えている場合）で再生して取得する場合もある。
これらの撮像画像データについても、画像評価部１２において画像評価を行い、評価データが生成される場合もある。

撮像装置１においてユーザに対して表示を行う構成としては、表示部２、表示制御部７が設けられる。
この表示部２は、上述した液晶パネル等による表示パネル部２ａと、表示パネル部２ａを表示駆動する表示駆動部が設けられる。
表示駆動部は、撮像制御部６から供給される画像データを、例えば液晶ディスプレイとされる表示パネル部２ａにおいて表示させるための画素駆動回路で構成されている。画素駆動回路は表示パネル部２ａにおいてマトリクス状に配置されている各画素について、それぞれ所定の水平／垂直駆動タイミングで映像信号に基づく駆動信号を印加し、表示を実行させる。

表示制御部７は、システムコントローラ１０の制御に基づいて、表示部２における画素駆動回路を駆動し、表示パネル部２ａに所定の表示を実行させる。
即ち、撮像部３での撮像モニタとしての表示や、ストレージ部１４に取り込まれた撮像画像データの再生表示、さらには通信部１５で受信したデータの表示、各種キャラクタの表示などを、表示パネル部２ａにおいて実行させる。
またこれらの表示のために、例えば輝度レベル調整、色補正、コントラスト調整、シャープネス（輪郭強調）調整などを行うことができる。また画像データの一部を拡大した拡大画像の生成、或いは縮小画像の生成、ソフトフォーカス、モザイク、輝度反転、画像内の一部のハイライト表示（強調表示）、全体の色の雰囲気の変化などの画像エフェクト処理、撮像画像の分割表示のための画像の分離や合成、キャラクタ画像やイメージ画像の生成及び生成した画像を撮像画像に合成する処理なども行うことができる。
また表示制御部７は、システムコントローラ１０の指示に基づいて表示駆動部を制御し、表示パネル部２ａの各画素の透過率を制御して、スルー状態（透明又は半透明の状態）とすることもできる。

ストレージ部１４は、各種データの保存に用いられる。例えば撮像画像データの保存に用いられる。
このストレージ部１４は、ＲＡＭ或いはフラッシュメモリなどの固体メモリにより構成されても良いし、例えばＨＤＤ（Hard Disk Drive）により構成されてもよい。
また内蔵の記録媒体ではなく、可搬性の記録媒体、例えば固体メモリを内蔵したメモリカード、光ディスク、光磁気ディスク、ホログラムメモリなどの記録媒体に対応する記録再生ドライブなどとされても良い。
もちろん、固体メモリやＨＤＤ等の内蔵タイプのメモリと、可搬性記録媒体に対する記録再生ドライブの両方が搭載されてもよい。
このストレージ部１４は、システムコントローラ１０の制御に基づいて、撮像画像データを記録し、保存する。特に撮像画像データについては、画像評価部１２で生成された評価データと対応づけて記録する。
またシステムコントローラ１０の制御に基づいて、記録したデータを読み出し、システムコントローラ１０や表示制御部７などに供給する。

通信部１５は外部機器との間でのデータの送受信を行う。この通信部１５は、無線ＬＡＮ、ブルートゥースなどの方式で、例えばネットワークアクセスポイントに対する近距離無線通信を介してネットワーク通信を行う構成としても良いし、対応する通信機能を備えた外部機器との間で直接無線通信を行うものでもよい。
また、必ずしも無線通信ではなく、外部機器との間の有線接続により外部機器と通信を行うものでもよい。

また撮像装置１には日時計数部１６や位置検出部１７が設けられる。
日時計数部１６は、いわゆる時計部として、日時（年月日時分秒）を計数し、現在日時情報をシステムコントローラ１０に出力する。システムコントローラ１０は、例えば撮像部３で撮像を行った場合に、その撮像画像データの撮像日時の情報を日時計数部１６から取得する。
位置検出部１７は例えばＧＰＳ受信部とされる。ＧＰＳ受信部は、ＧＰＳ（Global Positioning System）の衛星からの電波を受信し、現在位置としての緯度・経度の情報をシステムコントローラ１０に出力する。
なお、位置検出部１７としては、ＷｉＦｉ（Wireless Fidelity）や携帯電話会社が提供する位置情報サービスを利用するものとしてもよいし、それらやＧＰＳを組み合わせて利用しても良い。

この撮像装置１では、ユーザの操作のために操作入力部１１が設けられる。
操作入力部１１は、例えばキー、ダイヤル等の操作子を有するようにし、キー操作等としてのユーザの操作を検知する構成としてもよいし、或いはユーザの意識的な挙動を検知する構成としても良い。
操作子を設ける場合、例えば、電源オン／オフ操作、撮像系の操作（例えばシャッタ操作、ズーム等の操作や、信号処理の指示操作）、表示関連操作（例えば表示内容の選択や表示調整操作）などに用いる操作子が形成されればよい。
例えば図１（ｃ）（ｄ）のような撮像装置を考えた場合、操作子により各種の操作を行うことが好適である。
一方、図１（ａ）（ｂ）のような頭部に装着する撮像装置の場合、操作子を設けてもよいが、ユーザの挙動を検知して操作入力とみなす構成を採ることが好適にもなる。

ユーザの挙動を検知する構成とする場合は、加速度センサ、角速度センサ、振動センサ、圧力センサ等を設けることが考えられる。
例えばユーザが撮像装置１を側面側からコツコツと軽く叩くといったことを、加速度センサ、振動センサ等で検知し、例えば横方向の加速度が一定値を越えたときにシステムコントローラ１０がユーザの操作として認識するようにすることができる。また、加速度センサや角速度センサによりユーザが右側から側部（眼鏡のツルに相当する部分）を叩いたか、左側から側部を叩いたかを検出できるようにすれば、それらを、それぞれ所定の操作として判別することもできる。
またユーザが頭を回す、首を振るなどとすることを加速度センサや角速度センサで検知し、これをシステムコントローラ１０がユーザの操作として認識することができる。
また、撮像装置１の左右の側部（眼鏡のツルに相当する部分）等に圧力センサを配置し、右側部をユーザが指で押したときは望遠方向のズーム操作、左側部をユーザが指で押したときは広角方向のズーム操作などとすることもできる。

さらには、生体センサとしての構成を備えるようにし、ユーザの生体情報を検出して、操作入力と認識するようにしても良い。生体情報とは、脈拍数、心拍数、心電図情報、筋電、呼吸情報（例えば呼吸の速さ、深さ、換気量など）、発汗、ＧＳＲ（皮膚電気反応）、血圧、血中酸素飽和濃度、皮膚表面温度、脳波（例えばα波、β波、θ波、δ波の情報）、血流変化、眼の状態などである。
そしてシステムコントローラ１０は生体センサの検出情報を、ユーザの操作入力として認識する。例えばユーザの意識的な挙動として目の動き（視線方向の変化やまばたき）が考えられるが、ユーザが３回まばたきをしたことを検知したら、それを特定の操作入力と判断するなどである。さらには、上記生体情報の検知によりユーザが撮像装置１を装着したことや外したこと、あるいは特定のユーザが装着したことなども検出可能であり、システムコントローラ１０がその検出に応じて電源オン／オフなどを行うようにしてもよい。
なお生体センサは、例えば眼鏡型の撮像装置１の装着フレーム内側に配置することで、例えばユーザの側頭部や後頭部に接触して、上記各種情報を検知できるようにしてもよいし、撮像装置１の装着フレーム部分とは別体として、身体の所定箇所に装着されるようにしてもよい。
また眼の状態や動き、瞳孔などの状態の検出のためには、ユーザの眼部を撮像するカメラを用いることが考えられる。

操作入力部２０は、このように操作子、加速度センサ、角速度センサ、振動センサ、圧力センサ、生体センサ等として得られる情報をシステムコントローラ１０に供給し、システムコントローラ１０はこれらの情報によりユーザの操作を検知する。
なお、ユーザの挙動を検出するための構成としては、さらにユーザの声を検知するセンサ、唇の動きを検知するセンサなど、他のセンサが設けられても良い。

以上、撮像装置１の構成を示したが、これは一例にすぎない。実際に実施される動作例や機能に応じて各種の構成要素の追加や削除は当然考えられる。

図３は撮像装置１の動作形態を、外部機器との関連において例示したものである。
図３（ａ）は撮像装置１が単体で動作する場合であり、この場合、撮像装置１では、例えば撮像動作により取得した撮像画像データを、ストレージ部１４に保存する。このとき、画像評価部１２で生成された評価データも対応づけられて保存される。
ストレージ部１４に保存した撮像画像データについては、評価データに基づいて表示出力させることができる。また評価データに基づいて削除したり、他の撮像画像データに置き換えたりすることができる。

図３（ｂ）は撮像装置１が通信部１５により外部機器７０と通信を行う例である。この場合、撮像画像データの保存処理として、撮像画像データと評価データを外部機器７０に送信し、外部機器７０における画像格納部７１に保存させることができる。つまり、撮像装置１が内部のストレージ部１４ではなく（或いはストレージ部１４に加えて）、外部機器に撮像画像データと評価データを保存させる場合である。
また、通信部１５で外部機器７０との通信を行う場合、撮像画像データを外部機器７０から取得するということも想定される。例えば外部機器７０が撮像装置である場合や、外部機器７０が他の撮像装置で撮像した撮像画像データを格納している場合、この外部機器７０から撮像画像データを送信させ、通信部１５で受信する。このように通信部１５で受信した撮像画像データについて、画像評価部１２が評価データを生成し、撮像画像データと評価データを関連づけてストレージ部１４に保存したり、あるいは外部機器に撮像画像データと評価データを関連づけて送信し、画像格納部７１に保存させる動作例が考えられる。
外部機器７０との通信は、無線通信だけでなく、有線通信も想定される。

図３（ｃ）は、撮像装置１の通信部１５が、特にインターネット等のネットワーク６０を介した通信アクセス機能を備えることで、ネットワーク６０で接続される外部機器７０と通信を行う例である。動作例は上記図３（ｂ）の場合と同様に考えられる。
ネットワーク６０とは、インターネットの他に、携帯電話通信網、ＰＨＳ通信網、アドホックネットワーク、ＬＡＮなど、各種考えられる。
また図３（ｂ）（ｃ）における外部機器７０とは、図２のような構成の他の撮像装置１も想定できるし、通信機能を備えたデータサーバ、パーソナルコンピュータ、ビデオプレーヤ、ビデオカメラ、デジタルスチルカメラ、撮像機能を備えた携帯電話機、ＰＤＡなど多様な機器が想定できる。

［３．撮像画像評価］

画像評価部１２における撮像画像データの評価処理の例を述べる。
画像評価部１２は、評価対象の撮像画像データについて、例えば画像解析を行って評価データを生成する。評価データは、例えば撮像画像に対するユーザの満足度を示すような評価項目によって評価した値であるとする。例えば画像のボケやブレ、画像の明暗や色合いや鮮明度、画像の角度ズレ、非対称被写体のかぶりなどについて評価する。また被写体が人である場合（動物等の場合も考えられる）に、その顔部分の解析により、眼の開閉、顔の表情、顔の向き、眼球の色（いわゆるストロボ撮像時の赤目などの具合）などについて評価する。
これらの評価項目による評価データとは、一般にユーザが写真等に対して不満を感じる画像内容／状態の有無や度合いなどを示すデータとなる。言い換えれば、評価データは、ユーザが、上手に撮像できたと感じたり、或いは撮像に失敗したと感じたりすることを示すデータとなる。
なお、評価データをユーザの主観的な基準に基づいて生成してもよい。例えばユーザが主観的な基準としての項目を入力設定し、画像評価部１２がその設定に従って評価データを生成する。
さらには、上記した生体センサを備える場合、撮像画像データをユーザに提示した際に検出される脳波等からユーザの感情（画像に対する満足度）を推定し、その結果として、ユーザの主観に応じた評価データを生成してもよい。

図４，図５，図６は、各種の撮像画像の例を示している。
図４（ａ）は適切に、つまりユーザにとって満足のいく撮像ができた場合の画像の例としている。
図４（ｂ）は、ブレが生じてしまった画像である。
図４（ｃ）は、照度が足りず、全体的に暗い画像となってしまった場合の例である。
図４（ｄ）は、ユーザの指などの非対称被写体が撮像レンズ３ａにかぶってしまった画像の例である。
ここでは例示しないが、焦点がずれてボケが生じた画像や、鮮明度が低い画像、色合いが不適切な画像などが撮像される場合もある。

図５（ａ）は正しい角度で撮像された画像であるが、これに対して図５（ｂ）は角度ズレが生じた画像の例を示している。例えば図１（ａ）（ｂ）のような頭部装着型の撮像装置１において、撮像時（シャッタタイミング）でユーザが首を傾けてしまった場合など、この図５（ｂ）のような角度ズレが生じる。もちろん図１（ｃ）（ｄ）のような撮像装置１でも、ユーザの持ち方によって角度ズレが生じる。

図６は人が被写体となっている場合で、撮像された表情の具合を例示している。図６（ａ）は笑顔の画像が撮像できた場合であるが、図６（ｂ）は眼をつむった画像となった場合、図６（ｃ）は変な表情の画像となってしまった場合を示している。人を被写体として静止画撮像を行う場合、シャッタタイミングと一瞬の表情変化によって、良い表情が撮れなかったという場合は多い。またいわゆる赤目となったり、横を向いてしまったりということもある。例えば乳幼児の顔を撮像する場合などは、好ましい表情を撮ることは難しい。

画像評価部１２は、これらの例のような画像の状況として撮像画像データの画像解析を行い、評価データを生成する。
例えば画像のブレやボケ、鮮明度などは、画像内の輪郭線や焦点状態を検出して判断できる。また角速度センサや振動センサなどを搭載している場合、シャッタタイミングでのそれらのセンサの検出値を保存しておくことで、ブレの判断に用いることができる。
また画像の明暗は、画素全体の輝度情報を演算することで判別できる。色合いについては画面全体の色の傾向を解析する。
指やストラップなどが撮像レンズ３ａにかぶってしまった画像などは、画面上で或る範囲で極端な焦点ボケが生じている部分の有るか否かで判断できる。
角度ズレは、被写体としての建造物、自然物、人などの垂直性、水平性を解析することで判断できる。
人の顔の判断については、画像から顔の部分を抽出して解析を行う。眼の開閉については、瞳の部分の有無で判断できる。表情は、例えば各種の表情のパターンの類型との比較を行ったり、眼や口の形状などから推定する。顔の向きは、眼、鼻、口、耳などの画像上の位置関係や顔の輪郭線などから推定できる。

画像評価部１２はこれらの処理を行って評価データを生成する。
評価データとしては、例えば良好な撮像画像であるか否か、或いは保存すべき撮像画像であるか否かといったＯＫ／ＮＧの別を示すデータとする。又は、評価を３段階以上で示すデータとしても良い。例えば評価データの値を１０段階とし、最も良好と判定されたものを１０、最も良くないと判定されたものを１などとする例である。また評価データの値は点数でもよい。
また評価データは、１つの撮像画像データについて、上記のような各評価項目の評価結果に基づいた総合評価値として１つの評価データ値を生成してもよいし、各評価項目毎にそれぞれ評価データ値を生成してもよい。

［４．画像保存処理］

撮像部３での撮像動作を実行した場合などで撮像画像データを取得した際の画像保存処理を図７に示す。図７はシステムコントローラ１０の制御処理を示している。
評価対象（保存対象）となる撮像画像データが取得されたら、システムコントローラ１０は処理をステップＦ１０１からＦ１０２に進める。撮像画像データが取得された場合とは、撮像部３で撮像動作が実行された場合である。
なお図３（ｂ）（ｃ）のような形態で通信部１５によって外部機器７０から送信されてきた撮像画像データ（他の撮像装置で撮像された画像データ）を受信した場合や、可搬性記録媒体に対する記録再生ドライブが装備されている構成において可搬性記録媒体から撮像画像データが再生された場合なども、ステップＦ１０１で評価対象の撮像画像データの取得と判断されることもある。

例えば撮像部３での撮像動作の実行に応じてステップＦ１０２に進む場合、システムコントローラ１０は、例えば撮像制御部６から画像評価部１２に撮像画像データを転送させ、画像評価部１２に画像評価処理を実行させる。画像評価部１２は、上述したような各種評価項目に沿って撮像画像データの評価を行う。そして評価処理の結果として評価データを生成する。
システムコントローラ１０は、ステップＦ１０３において、画像評価部１２で生成された評価データを取り込む。また保存する撮像画像データについての画像管理情報を生成する。画像管理情報は、例えば撮像画像データのファイル名、画像種別（動画／静止画の別など）、データサイズ、圧縮方式、撮像を行った装置の識別情報などを含む。また日時計数部１６で計数されている日時情報（撮像時の年月日時分秒）や、位置検出部１７で検出される撮像場所としての緯度・経度の情報も含むようにするとよい。また撮像方向が検出できる場合は撮像方向の情報も加える。さらに例えばストレージ部１４に地図データベースが格納されている場合（或いは通信部１５により外部機器の地図データベース等にアクセスできる場合）は、緯度・経度から検索できる撮像場所や被写体の名称（地名、建物名など）を含めるようにしてもよい。

ステップＦ１０４では、システムコントローラ１０はストレージ部１４に撮像画像データの保存処理を実行させる。この場合、評価データと、画像管理情報をストレージ部１４に転送し、撮像画像データとともに記録させる。

保存対象の撮像画像データが取得される毎に、以上のような保存処理が行われることで、例えばストレージ部１４には、図８のような形式で撮像画像データの保存が行われる。
例えばエントリ＃１、＃２・・・＃ｎとして、それぞれ例えば静止画像としての撮像画像データＶＤ１，ＶＤ２・・・ＶＤｎが保存されるが、これらの画像データにそれぞれ対応して、画像管理情報Ｃ１，Ｃ２・・・Ｃｎが記録され、また評価データＥ１，Ｅ２・・・Ｅｎが記録される。
つまり、各撮像画像データについては、評価データが対応づけられて保存される。これにより、保存された撮像画像データについては、評価データに基づいた取り扱いが可能となる。

なお、ここではストレージ部１４に保存する例を述べたが、ステップＦ１０４の保存処理としては、撮像画像データとともに画像管理情報と評価データを、通信部１５から送信出力するという処理を行っても良い。即ち図３（ｂ）（ｃ）のような形態において、外部機器７０の画像格納部７１に、図８のような形式で画像保存を行うようにすることも考えられる。

［５．画像表示処理］

次に、評価データに基づいた取り扱いの一例としての画像表示処理を説明する。
図９は、ストレージ部１４において上記図８のように撮像画像データが保存されている場合に、それらの保存された撮像画像データを表示部３で表示させるためのシステムコントローラ１０の処理を示している。

システムコントローラ１０はステップＦ２０１で表示トリガの発生をチェックする。表示トリガ発生とは、例えばユーザの操作により、保存した画像の表示出力が求められた場合である。或いはシステムコントローラ１０で起動している何らかのアプリケーションプログラムにより保存画像の表示出力の要求が発生した場合も、これに該当する。
表示トリガが発生した場合、システムコントローラ１０は、例えば保存された撮像画像データＶＤ１，ＶＤ２・・・ＶＤｎを順次表示させていく処理を行うが、このために処理をステップＦ２０２に進める。

ステップＦ２０２では、ストレージ部１４において図８のように保存されている各撮像画像データＶＤ（ＶＤ１，ＶＤ２・・・ＶＤｎ）についての評価データＥ（Ｅ１，Ｅ２・・・Ｅｎ）を確認し、それぞれの撮像画像データＶＤについて評価データＥに基づいて表示すべき画像であるか否かを判断し、表示対象とする撮像画像データＶＤを抽出する。即ち、評価データＥの値から、高い評価とされた撮像画像データＶＤのみを抽出する。
抽出方式は多様に考えられる。例えば評価データＥが、ＯＫ／ＮＧの２値を示す情報とされる場合は、評価データＥが「ＯＫ」を示す値の撮像画像データＶＤのみを抽出すればよい。
また評価データＥが、例えば１〜１０の１０段階の値などで評価結果を示すものとされている場合は、例えば評価データＥの値が５以上のものを抽出するなど、所定値を選別値として、評価データＥの値が選別値以上の撮像画像データＶＤを抽出すればよい。またこの場合、ユーザの設定などにより選別値１〜１０の範囲で変更できるようにしてもよい。例えばユーザが良い写真のみを厳選して見たいような場合は、選別値を８など高い値に設定変更する。その場合はシステムコントローラ１０はステップＦ２０２で評価データＥの値が８以上のものを抽出するようにする。またユーザが多少良好でなくてもなるべく多くの撮像画像データＶＤを見たい場合は、選別値を３など低い値に設定変更する。その場合はシステムコントローラ１０はステップＦ２０２で評価データＥの値が３以上のものを抽出する。
また評価データＥが、各評価項目毎に個別に生成されて保存されている場合は、総合的な評価値ではなく、評価項目毎の評価データＥによって抽出をおこなってもよい。例えば抽出処理に用いる評価項目について、ユーザが予め指定できるようにしたり、表示の際に選択できるようにする。ユーザが、ボケやブレのない撮像画像を見たいと思った場合、それらボケやブレについての評価データを抽出処理に用いる評価項目として指定する。その場合、システムコントローラ１０は、ステップＦ２０２で、ボケやブレに関する評価データＥを参照し、その値が良好な撮像画像データＶＤを抽出すればよい。

システムコントローラ１０は、評価データＥに基づいて、表示すべき撮像画像データＶＤを抽出したら、ステップＦ２０３において抽出した撮像画像データＶＤの表示を表示部２において実行させる。
例えば図８のように保存された撮像画像データＶＤ１，ＶＤ２，ＶＤ３，ＶＤ４，ＤＶ５・・・ＶＤｎのうちで、撮像画像データＶＤ３，ＶＤ４についての評価データＥ３，Ｅ４の値が低く、これらが抽出から洩れた場合、つまり撮像画像データＶＤ１，ＶＤ２，ＤＶ５・・・ＶＤｎがステップＦ２０２で抽出された場合は、これらの撮像画像データＶＤ１，ＶＤ２，ＤＶ５・・・ＶＤｎの表示処理を行う。例えばこれらをユーザの操作に応じて順次表示したり、スライドショウ方式で自動的に順次表示したり、縮小画像で一覧表示したりするなどの処理を行う。

［６．画像削除処理］

次に、評価データに基づいた取り扱いの一例としての画像削除処理を説明する。
図１０は、ストレージ部１４において上記図８のように撮像画像データが保存されている場合に、それらの保存された撮像画像データのうちで不要と判断できるものを削除するシステムコントローラ１０の処理を示している。

システムコントローラ１０はステップＦ３０１で削除トリガの発生をチェックする。削除トリガ発生とは、例えばユーザの操作により、保存した画像のうちでユーザの満足度の低いと判断できる画像を削除すべく指示があった場合である。或いはシステムコントローラ１０で起動している何らかのアプリケーションプログラムにより不要画像の削除処理の要求が発生した場合も、これに該当する。
削除トリガが発生した場合、システムコントローラ１０は処理をステップＦ３０２に進める。

ステップＦ３０２では、ストレージ部１４において図８のように保存されている各撮像画像データＶＤ（ＶＤ１，ＶＤ２・・・ＶＤｎ）についての評価データＥ（Ｅ１，Ｅ２・・・Ｅｎ）を確認し、それぞれの撮像画像データＶＤについて評価データＥに基づいて削除すべき画像であるか否かを判断し、削除対象とする撮像画像データＶＤを抽出する。即ち、評価データＥの値から、低い評価とされた撮像画像データＶＤのみを抽出する。
抽出方式は上記の表示処理の場合と同様に多様に考えられる。
例えば評価データＥが、ＯＫ／ＮＧの２値を示す情報とされる場合は、評価データＥが「ＮＧ」を示す値の撮像画像データＶＤのみを抽出すればよい。
また評価データＥが、例えば１〜１０の１０段階の値などで評価結果を示すものとされている場合は、例えば評価データＥの値が４以下のものを抽出するなど、所定値を選別値として、評価データＥの値が選別値以上の撮像画像データＶＤを抽出すればよい。またこの場合、ユーザの設定などにより選別値１〜１０の範囲で変更できるようにしてもよい。例えばユーザが、評価が非常によい画像のみを厳選して残したいような場合は、選別値を８など高い値に設定変更する。その場合はシステムコントローラ１０はステップＦ３０２で評価データＥの値が８以下のものを削除対象として抽出するようにする。またユーザがかなり評価の低いもののみを削除したいとする場合は、選別値を３など低い値に設定変更する。その場合はシステムコントローラ１０はステップＦ３０２で評価データＥの値が３以下のものを抽出する。
また評価データＥが、各評価項目毎に個別に生成されて保存されている場合は、総合的な評価値ではなく、評価項目毎の評価データＥによって抽出をおこなってもよい。例えば抽出処理に用いる評価項目について、ユーザが選択できるようにする。ユーザが、非対称被写体が撮し込まれた撮像画像を削除したいと思った場合、それら非対称被写体の存在（有無や撮し込まれた範囲）についての評価データを抽出処理に用いる評価項目として指定する。その場合、システムコントローラ１０は、ステップＦ３０２で、非対称被写体に関する評価データＥを参照し、その値が低い撮像画像データＶＤを削除対象として抽出すればよい。

システムコントローラ１０は、評価データＥに基づいて、削除すべき撮像画像データＶＤを抽出したら、ステップＦ３０３において抽出した撮像画像データＶＤの削除をストレージ部１４において実行させる。
例えば図８のように保存された撮像画像データＶＤ１，ＶＤ２，ＶＤ３，ＶＤ４，ＤＶ５・・・ＶＤｎのうちで、撮像画像データＶＤ３，ＶＤ４についての評価データＥ３，Ｅ４の値が低く、これらが削除対象として抽出された場合、撮像画像データＶＤ３，ＶＤ４の削除処理が行われ、ストレージ部１４の保存内容は図１１のようになる。保存されている撮像画像データＶＤの数は、削除された画像数ｘを減じたｎ−ｘとなる。

なおステップＦ３０３で削除を行う場合は、削除する撮像画像データを表示部２に表示させて、ユーザに削除許可を求め、ユーザが許諾の操作を行ってから削除を実行するようにすることが好適である。
また、このようなユーザの許可により削除を実行することを考えると、特にユーザ操作等による削除トリガがなくとも、システムコントローラ１０が定期的にステップＦ３０２，Ｆ３０３の処理を行うようなことも考えられる。

［７．画像置換処理Ｉ］

次に、評価データに基づいた取り扱いの一例としての画像置換処理を説明する。
画像置換処理とは、評価データＥに基づいて、評価の低い撮像画像データＶＤを、他の撮像画像データに置き換えて保存する処理である。ここでは、図３（ｂ）（ｃ）のような形態で、外部機器７０の画像格納部７１に格納されている他の撮像画像データに置き換えを行う例を説明する。
図１２は、ストレージ部１４において上記図８のように撮像画像データが保存されている場合に、それらの保存された撮像画像データのうちで評価の低い撮像画像データを、それに類似した他の撮像画像データに置き換えるためのシステムコントローラ１０の処理を示している。また、外部機器７０の処理も並記している。

システムコントローラ１０はステップＦ４０１で置換トリガの発生をチェックする。置換トリガ発生とは、例えばユーザの操作により、保存した画像のうちでユーザの満足度の低いと判断できる画像を他の画像に置き換える指示があった場合である。或いはシステムコントローラ１０で起動している何らかのアプリケーションプログラムにより低評価画像に対する置換処理の要求が発生した場合も、これに該当する。
置換トリガが発生した場合、システムコントローラ１０は処理をステップＦ４０２に進める。

ステップＦ４０２では、ストレージ部１４において図８のように保存されている各撮像画像データＶＤ（ＶＤ１，ＶＤ２・・・ＶＤｎ）についての評価データＥ（Ｅ１，Ｅ２・・・Ｅｎ）を確認し、それぞれの撮像画像データＶＤについて評価データＥに基づいて置換対象とする撮像画像データＶＤを抽出する。即ち、評価データＥの値から、低い評価とされた撮像画像データＶＤを抽出する。抽出方式は上記の画像削除処理の場合と同様に多様に考えられる。

システムコントローラ１０は、評価データＥに基づいて、置換対象の撮像画像データＶＤを抽出したら、ステップＦ４０３以降で、抽出した各撮像画像データＶＤについての置換処理を実行する。
まずシステムコントローラ１０はステップＦ４０３で、置換対象の１つの撮像画像データＶＤについて、置き換える画像データを要求する画像要求データを生成する。この画像要求データには、その撮像画像データＶＤについての画像管理情報Ｃに含まれている日時情報や位置情報も含める。さらには撮像方向や撮像地点の名称などの情報を含むようにしてもよい。また、撮像画像データＶＤ自体も含むようにしてもよい。

画像要求データを生成したら、システムコントローラ１０はステップＦ４０４で画像要求データを通信部１５から外部機器７０に送信させる。
そしてステップＦ４０５，Ｆ４０６で外部機器からの送信を待機する。

外部機器７０側では、撮像装置１からの画像要求データを受信したら、処理をステップＦ４５１からＦ４５２に進め、画像格納部７１に保存している撮像画像データを対象として画像検索を行う。
例えば外部機器７０が撮像装置である場合、画像格納部７１にはその外部機器７０で撮像した撮像画像データが保存されている。また外部機器７０が例えば画像共有サービスシステムなどのサーバ装置である場合、多数の撮像装置で撮られた撮像画像データが保存されている。
外部装置７０では、このような画像格納部７１に保存された撮像画像データのうちで、撮像装置１からの画像要求データに合致する撮像画像データを検索する。つまり置き換えに好適な画像を探す。
撮像装置１からの画像要求データに、撮像の際の位置情報や日時情報が含まれていることから、外部機器７０では、位置情報や日時情報が同じ或いは近い画像を検索する。例えばほぼ同一日時に同一場所で撮られた撮像画像データが存在するか否かを検索する。また、存在しなければ、日時範囲や位置の範囲を広げて検索する。
撮像の際の位置情報や日時情報、さらには撮像方向が一致又は近い画像が存在したら、それを置き換え用の画像とする。
位置情報については、緯度・経度だけでなく、さらに、撮像方向の情報も検索条件に加えてもよいし、地名、建物名などの名称情報を検索条件に加えても良い。
また日時情報については、単に日時が近いというだけでなく、季節や１日のうちの時刻が共通するという条件で検索を行っても良い。
また、画像要求データに、置換対象となった撮像画像データ自体が含まれていた場合、外部機器７０では、位置情報や日時情報が一致又は近い画像が検索されたら、画像内容自体を比較して画像内容の類似性を判断して、似ていれば置き換え用の画像とするようにしてもよい。類似画像の判断は輪郭線（画像エッジ）が近いか否かを基準とすることができる。
また、外部機器７０の画像格納部７１において評価データＥが付加された撮像画像データが保存されている場合、位置や日時の条件で抽出された撮像画像データのうちで評価データＥの値が高いものを選択するようにしてもよい。

画像格納部７１に置き換え用として好適な画像が存在した場合は、外部機器７０の処理はステップＦ４５３からＦ４５４に進み、撮像装置１に対して、その置き換え用として検索された撮像画像データを送信する。
一方、画像格納部７１に置き換え用として好適な画像が存在しなかった場合は、ステップＦ４５３からＦ４５５に進み、撮像装置１に対して、置き換え用の画像が無かったことを示す通知を送信する。

撮像装置１のシステムコントローラ１０は、外部機器７０から置き換え用の撮像画像データが送信されて通信部１５で受信された場合は、処理をステップＦ４０５からＦ４０８に進め、その置換対象の１つの撮像画像データＶＤを、受信した撮像画像データに置き換える処理を行う。つまりストレージ部１４において撮像画像データＶＤの書き換えを実行させる。
一方、外部機器７０から置き換え用の撮像画像データが存在しない旨の通知が送信されて通信部１５で受信された場合は、処理をステップＦ４０６からＦ４０７に進め、置換不能として、今回対象としている撮像画像データＶＤについては書き換えを実行しない。

ステップＦ４０９では、ステップＦ４０２で置換対象として抽出した全ての撮像画像データＶＤについてステップＦ４０３〜Ｆ４０８の処理を終えたか否かを判断する。まだ処理を行っていない置換対象の撮像画像データＶＤが残っていれば、ステップＦ４０３に進み、その撮像画像データＶＤについてステップＦ４０３〜Ｆ４０８の処理を同様に実行する。
置換対象とした全ての撮像画像データＶＤについて、上記の処理を終えたら、図１２の処理を終了する。

例えば図８のように保存された撮像画像データＶＤ１，ＶＤ２，ＶＤ３，ＶＤ４，ＤＶ５・・・ＶＤｎのうちで、撮像画像データＶＤ３，ＶＤ４についての評価データＥ３，Ｅ４の値が低く、これらが置換対象として抽出された場合、撮像画像データＶＤ３，ＶＤ４について、それぞれステップＦ４０３〜Ｆ４０８の処理が行われる。
撮像画像データＶＤ３，ＶＤ４のそれぞれについて、置き換え用の撮像画像データが外部機器７０から送信されてきたとすると、ストレージ部１４の保存内容は図１３のようになる。即ち撮像画像データＶＤ３，ＶＤ４のそれぞれが、送信されたきた撮像画像データＶＤ３new、ＶＤ４newに書き換えられる。またこれに応じて画像管理情報Ｃ３，Ｃ４も、新たな撮像画像データＶＤ３new、ＶＤ４newに対応する画像管理情報Ｃ３new，Ｃ４newに書き換えられる。
評価データについては、置換された画像であることを示す情報ｄｐに更新される。なお、送信されたきた撮像画像データＶＤ３new、ＶＤ４newについて、画像評価部１２で評価データＥを生成し、新たな評価データＥ３new，Ｅ４newを記録するようにしてもよい。或いは、外部機器７０の画像格納部７１において評価データＥが付加された撮像画像データが保存されており、評価データが撮像画像データとともに送信されてくるようにした場合は、その評価データを記録するようにしてもよい。

また図１２の処理例では、外部機器７０側で置き換え用の画像データを選定するようにしたが、撮像装置１で置き換える撮像画像データの選定処理を行うこともできる。例えば位置や日時の条件により抽出された複数の撮像画像データが外部機器７０から撮像装置１に送信されてくるようにし、撮像装置１側で、置換対象となった撮像画像データＶＤと、送信されてきた各撮像画像データの比較処理を行い、輪郭線の類似性などにより、置き換える撮像画像データを選定することもできる。

［８．画像置換処理II］

続いて、評価データに基づいた取り扱いの一例としての画像置換処理の他の例を説明する。この画像置換処理とは、評価データＥに基づいて、評価の低い撮像画像データＶＤを、他の撮像画像データに置き換えて保存する処理であるが、ここでは撮像装置１が内部的に他の撮像画像データに置き換えを行う例を説明する。

この場合、撮像部３では、ユーザがシャッタ操作を行った際に、高速シャッタ機能により複数枚の画像が撮像されるようにするものとする。
例えばユーザの静止画撮像操作としてのシャッタ操作タイミングで、撮像画像データＶＤ１を取り込むとすると、数ｍ秒間隔〜数１００ｍ秒間隔などで、さらに数枚の撮像画像も取り込むようにする。
例えば図１５は、ストレージ部１４において撮像画像データＶＤの保存例を示している。が撮像画像データＶＤ１，ＶＤ２・・・については、上記図８の場合と同様に画像管理情報Ｃ１，Ｃ２・・・や評価データＥ１，Ｅ２・・・を対応させて記録するが、高速シャッタ機能で取り込んだ画像をサブ画像データとして、対応づけて記録する。
例えば撮像画像データＶＤ１に対して、サブ画像データＶＤ１s1、ＶＤ１s2、ＶＤ１s3を保存する。同様に、撮像画像データＶＤ２を撮像して記録する際には、その際に高速シャッタ機能で取り込んだサブ画像データＶＤ２s1、ＶＤ２s2、ＶＤ２s3も記録する。
例えばこのようにほぼ同時的の複数枚のサブ画像データを保存しておくことを前提とすることで、以下のような画像置換処理が可能となる。

図１４は、ストレージ部１４において図１５のように撮像画像データが保存されている場合に、それらの保存された撮像画像データＶＤ１，ＶＤ２・・・ＶＤｎのうちで評価の低い撮像画像データを、他の撮像画像データ（サブ画像データ）に置き換えるためのシステムコントローラ１０の処理を示している。

システムコントローラ１０はステップＦ５０１で、上記図１２のステップＦ４０１と同様に、置換トリガの発生をチェックする。
置換トリガが発生した場合、システムコントローラ１０は処理をステップＦ５０２に進め、置換対象の撮像画像データＶＤを抽出する。即ちストレージ部１４において図１５のように保存されている各撮像画像データＶＤ１，ＶＤ２・・・ＶＤｎについての評価データＥ１，Ｅ２・・・Ｅｎを確認し、それぞれの撮像画像データＶＤについて評価データＥの低い撮像画像データＶＤを置換対象として抽出する。抽出方式は上記の画像削除処理の場合と同様に多様に考えられる。

システムコントローラ１０は、評価データＥに基づいて、置換対象の撮像画像データＶＤを抽出したら、ステップＦ５０３以降で、抽出した各撮像画像データＶＤについての置換処理を実行する。
まずステップＦ５０３で、置換対象とした１つの撮像画像データＶＤに対応されている各サブ画像データについて、画像評価部１２により評価データを生成させる。
例えば撮像画像データＶＤ３が置換対象とされていた場合、サブ画像データＶＤ３s1、ＶＤ３s2、ＶＤ３s3のそれぞれについて評価データを生成させる。
次にステップＦ５０４で、サブ画像データのうちで保存画像として適した評価データ値となったものが存在するかいなかを判断する。
存在しなければ、ステップＦ５０６で、置換処理不能とする。
存在したら、ステップＦ５０５で、画像データＶＤをサブ画像データに書き換える置換処理を行う。

例えば、置換対象とされた撮像画像データＶＤ３についてのサブ画像データＶＤ３s1、ＶＤ３s2、ＶＤ３s3が、どれも撮像画像データＶＤ３と同程度もしくはそれ以下の評価データ値であった場合は、保存に適した画像はないとしてステップＦ５０６で置換不能とされる。
一方、サブ画像データＶＤ３s1、ＶＤ３s2、ＶＤ３s3のうちで、撮像画像データＶＤ３よりも評価データの値が高いものが存在した場合、ステップＦ５０５で置換処理を行う。サブ画像データＶＤ３s1、ＶＤ３s2、ＶＤ３s3のうちの複数が、撮像画像データＶＤ３よりも高い評価データの値であれば、一番高いサブ画像データを置き換え用の画像とすればよい。
但し、サブ画像データＶＤ３s1、ＶＤ３s2、ＶＤ３s3のうちで、撮像画像データＶＤ３よりも高い評価データ値のものが存在しても、その評価データ値が、ステップＦ５０２で置換対象とされる範囲内の値であれば、置き換え用のサブ画像データは存在しないと判断するようにすることも考えられる。

ステップＦ５０７では、ステップＦ５０２で置換対象として抽出した全ての撮像画像データＶＤについてステップＦ５０３〜Ｆ５０６の処理を終えたか否かを判断する。まだ処理を行っていない置換対象の撮像画像データＶＤが残っていれば、ステップＦ５０３に戻り、その撮像画像データＶＤについてステップＦ５０３〜Ｆ５０６の処理を同様に実行する。
置換対象とした全ての撮像画像データＶＤについて、上記の処理を終えたら、ステップＦ５０７からＦ５０８に進み、ステップＦ５０５での置換処理に使用しなかったサブ画像データを削除して図１４の処理を終了する。

例えば図１５のように保存された撮像画像データＶＤ１，ＶＤ２，ＶＤ３，ＶＤ４，ＤＶ５・・・ＶＤｎのうちで、撮像画像データＶＤ３，ＶＤ４についての評価データＥ３，Ｅ４の値が低く、これらが置換対象として抽出された場合、撮像画像データＶＤ３，ＶＤ４について、それぞれステップＦ５０３〜Ｆ５０６の処理が行われる。
撮像画像データＶＤ３，ＶＤ４のそれぞれについて、置き換え用として適したサブ画像データが存在したとすると、ストレージ部１４の保存内容は図１６のようになる。即ち撮像画像データＶＤ３は、より評価データ値の高いサブ画像データＶＤ３s1に書き換えられ、撮像画像データＶＤ４は、より評価データ値の高いサブ画像データＶＤ４s3に書き換えられた状態となっている。評価データＥとしては、ステップＦ５０３で生成されたサブ画像データＶＤ３s1、ＶＤ４s3についての評価データがＥ３new，Ｅ４newとして記録される。
またステップＦ５０８の処理により、サブ画像データや置換対象となった元の撮像画像データＶＤ３，ＶＤ４は削除される。

なお、ステップＦ５０８の削除処理は実行せず、サブ画像データもそのまま保存しておいても良い。
また、図１４の処理では評価データ値の低い撮像画像データＶＤを、置換対象とする例を述べたが、図１５のように保存された全ての撮像画像データＶＤ１，ＶＤ２・・・ＶＤｎを置換対象としてステップＦ５０３〜Ｆ５０６の処理を行ってもよい。すると、全ての撮像画像データＶＤ１，ＶＤ２・・・ＶＤｎが、それぞれサブ画像データと評価データ値を比較し、最も評価データ値の良好な画像データを、主たる撮像画像データＶＤとして残すようにすることができる。

［９．実施の形態の効果、及び変形例、拡張例］

以上の実施の形態によれば、撮像等により取得した撮像画像データについて、ユーザの満足度の基準となる評価データを生成し、評価データとともに撮像画像データを保存する。これにより、保存された撮像画像データを、適切かつ便利に取り扱うことができる。
評価項目については、画像のボケやブレ、画像の明暗や色合いや鮮明度、画像の角度ズレ、非対称被写体のかぶり、眼の開閉、顔の表情、顔の向き、眼球の色などとすることで、通常、ユーザが写真画像に対して感じる満足度／不満度に一致した評価を行うことができる。

そして図８のような画像表示処理によれば、ユーザの満足度／不満度を表した評価データに基づいて、評価の高い撮像画像データのみを選択的に表示するため、ユーザにとっての満足度や利便性の高い表示動作を実現できる。

また図１０のような画像削除処理によれば、例えば評価の低い撮像画像データを不要とみなして削除することができる。特に、撮像操作を頻繁に行うユーザが使用する場合や、図１（ａ）（ｂ）のように装着して常時連続的に画像撮像を行うような撮像装置１を想定した場合などでは、非常に多数の撮像画像データＶＤがストレージ部１４に蓄積されるが、図１０の画像削除処理で、不適切とみなされる画像が削除されることで、保存画像の整理が進み、ユーザにとって好適となる。
例えば、感度不足、シャッタースピード不足、手ブレや振動ブレなどで、ピンボケ画像、ぶれてしまった画像、暗くて見えない画像、表情の悪い画像など、好ましくない画像が撮れたときに、それらの画像が自動的に削除されるので、結果としてユーザの満足のいく画像アルバムが出来ることにもなる。

図１２のような画像置換処理Ｉによれば、評価の低い撮像画像を、他の撮像装置やネットワーク上の画像共有サイトのサーバ装置などの外部機器７０から送信されてくる画像に置き換えることができる。外部機器７０から送信されてくる画像は、撮像場所や日時、さらには撮像方向等が近似した画像であったり、さらに撮像内容が近似した画像などとすることで、置き換えに好適な画像となる。このため撮像装置１のユーザは、例えば自分で撮って失敗したと思うような画像（光景）について、よりよい画像を入手できる。
例えばテーマパークでの写真や、国内外の旅行などの風景写真は、誰かが同じ場所、同じ角度、ほぼ同じ時間などで撮っている場合が多いので、置き換え用に好適な撮像画像が存在することは多く、有用である。

図１４のような画像置換処理IIによれば、評価の低い画像を、自分の撮った一連の画像の中から好適な好ましい画像に置き換えることができ、ユーザの満足感を上げることができる。
例えば人を被写体とした場合、顔の一瞬の表情変化により、なかなか満足のいく撮像を行うことができないが、高速シャッタ機能で撮像した数枚のサブ画像データを保存しておくことで、良い表情の瞬間をとらえる機会も増える。例えば顔の表情に関する評価データに基づいて置き換えを行うことで、満足度の高い撮像画像を得ることができる。
また、高速シャッタ機能で複数枚の撮像画像データを、ほぼ同時的に取り込む場合、各撮像画像データ（サブ画像データ）の取込タイミング毎に、信号処理上で輝度レベルを異なるものとしたり、色合いを変えたり、感度を変更するようにしても良い。またその一連の画像データの取込の期間にフォーカスレンズを僅かに移動させるなどしてもよい。すると、取り込んだ撮像画像データＶＤと、それに対応するサブ画像データのそれぞれは、輝度、色合い、明暗、フォーカスなどの具合が異なるものとなる。このため、これらの評価項目について異なる評価データ値となる複数の画像が保存されることになり、置換処理では、これら輝度、色合い、明暗、フォーカスなどの具合などとして最適なものが選ばれることとなる。

なお、本発明は上記実施の形態に限られず、撮像装置１の構成例や処理例として各種の変形例や拡張例が考えられる。
また、本発明の画像保存装置は、撮像装置１として実現する以外に、多様な装置が想定される。
図１７は、本発明の画像保存装置としての構成要素として、制御手段としてのシステムコントローラ１０と、画像取得部２０と、画像評価部１２と、保存処理部２２と、画像出力部２１を示している。
例えばこのような構成要素を備える各種機器として本発明の画像保存装置を実現できる。

画像取得部２０は、画像評価部１２で評価データを生成し、保存する対象となる撮像画像データを取得する部位であり、上記実施の形態では、撮像部３及び撮像制御部６に相当する。このような撮像機能としての部位以外に、例えば評価処理及び保存処理の対象となる撮像画像データを外部機器７０から受信する通信部１５も、画像取得部２０となり得る。もちろんケーブル接続により外部機器７０からの撮像画像データを受信するものであってもよい。さらに、例えば光ディスク、メモリカードなどの可搬性記録媒体に対して再生を行って、可搬性記録媒体に記録されている撮像画像データを読み出す再生ドライブも、画像取得部２０となり得る。
また画像取得部２０で取得する撮像画像データは、静止画データでもよいし、動画データでもよい。

保存処理部２２は、撮像画像データと評価データを対応させて保存する処理を行う部位であるが、上記実施の形態のストレージ部１４に相当する。
但し、撮像画像データと評価データを外部機器７０に送信して、外部機器７０において保存を実行させるようにする場合、その送信を行う通信部１５は、保存処理部２２に相当することになる。もちろん無線送信、有線送信のいずれでも良い。

画像出力部２１は、上記実施の形態の場合では保存した撮像画像データを表示出力する表示部２が相当する。また、外部のモニタ装置において表示させるために画像信号を出力する出力部も、画像出力部２１となり得る。
また、保存した撮像画像データを外部機器７０に有線又は無線で送信する通信部１５も、画像出力部２１となり得る。
また、保存した撮像画像データを可搬性記録媒体に記録し、可搬性記録媒体によって装置外に持ち出せるようにする記録ドライブも画像出力部２１となり得る。

例えば画像取得部２０、画像出力部２１、保存処理部２２としては、非常に多様な形態が想定される。それらを考慮すると、本発明は、スチルカメラやビデオカメラ等の撮像装置として実現する他、撮像機能のない、モニタ表示装置、通信装置、画像データ保存専用装置などとしても実現できる。

本発明の実施の形態の撮像装置の外観例の説明図である。 実施の形態の撮像装置のブロック図である。 実施の形態の撮像装置の使用形態の説明図である。 撮像画像の各種例の説明図である。 撮像画像の各種例の説明図である。 撮像画像の各種例の説明図である。 実施の形態の画像保存処理のフローチャートである。 実施の形態の撮像画像データの保存状態の説明図である。 実施の形態の画像表示処理のフローチャートである。 実施の形態の画像削除処理のフローチャートである。 実施の形態の削除処理後の撮像画像データの保存状態の説明図である。 実施の形態の画像置換処理Ｉのフローチャートである。 実施の形態の置換処理後の撮像画像データの保存状態の説明図である。 実施の形態の画像置換処理IIのフローチャートである。 実施の形態の置換処理前の撮像画像データの保存状態の説明図である。 実施の形態の置換処理後の撮像画像データの保存状態の説明図である。 本発明の構成要素の説明図である。

符号の説明

１ 撮像装置、２ 表示部、２ａ 表示パネル部、３ 撮像部、６ 撮像制御部、７ 表示制御部、１０ システムコントローラ、１１ 操作入力部、１２ 画像評価部、１４ ストレージ部、１５ 通信部、１６ 日時計数部、１７ 位置検出部、２０ 画像取得部、２１ 画像出力部、２２ 保存処理部

Claims (12)

1. 撮像画像データを取得する取得手段と、
   所定の評価項目について画像評価を行い、評価データを生成し、評価対象の撮像画像データを採用するか否か、又は保存するか否かの画像評価を段階又は点数で行う画像評価手段と、
   撮像画像データの保存処理を行う保存処理手段と、
   上記取得手段により評価対象となる撮像画像データが取得された際に、撮像画像データについての評価データを上記画像評価手段に生成させ、撮像画像データと評価データが対応づけられて保存されるように、上記保存処理手段に保存処理を実行させる制御手段と、
   を備え、
   上記取得手段は、撮像素子としてＣＣＤセンサ又はＣＭＯＳセンサを用いて構成されている画像撮像を行う撮像部と外部機器と通信を行う通信部を有し、上記撮像部での撮像による撮像画像データを取得するとともに、上記通信部での外部機器と通信により該外部機器による撮像画像データを受信して取得し、
   上記制御手段は、さらに、上記保存処理手段により保存された撮像画像データについて、対応して保存されている上記評価データに基づいて、撮影の際の位置情報及び日時情報が同じあるいは類似している他の撮像画像データに置き換える置換処理を行う
   画像保存装置。
2. 上記取得手段は、可搬性記録媒体から情報を再生する再生部を有し、上記再生部によって上記可搬性記録媒体の再生を行って撮像画像データを取得する請求項１に記載の画像保存装置。
3. 上記画像評価手段は、評価対象の撮像画像データについて、ボケ具合、又はブレ具合、又は明暗度合い、又は色合い、又は鮮明度、又は角度ズレ、又は非対称被写体のかぶりの全部又は一部を上記評価項目として画像評価を行う請求項１に記載の画像保存装置。
4. 上記画像評価手段は、評価対象の撮像画像データが、人が被写体となっているものであるか否かを判別するとともに、人が被写体となっている場合は、その評価対象の撮像画像データについて、眼の開閉、又は顔の表情、又は顔の向き、又は眼球の色の全部又は一部を上記評価項目として画像評価を行う請求項１に記載の画像保存装置。
5. 上記保存処理手段は、記録媒体に対して情報の記録を行う記録部を有し、上記保存処理として、撮像画像データと評価データを対応づけて上記記録媒体に記録する請求項１に記載の画像保存装置。
6. 上記保存処理手段は、外部機器と通信を行う通信部を有し、上記保存処理として、撮像画像データと評価データを対応づけて外部機器に送信する請求項１に記載の画像保存装置。
7. 上記制御手段は、さらに、上記保存処理手段により保存された撮像画像データについて、対応して保存されている上記評価データに基づいて削除する削除処理を行う請求項１に記載の画像保存装置。
8. さらに画像出力処理を行う画像出力手段を備え、
   上記制御手段は、さらに、上記保存処理手段により保存された撮像画像データについて、対応して保存されている上記評価データに基づいて、上記画像出力手段により出力させる処理を行う請求項１に記載の画像保存装置。
9. 上記画像出力手段は、表示部を有し、上記出力処理として、上記表示部において撮像画像データについての表示出力を行う請求項８に記載の画像保存装置。
10. 上記画像出力手段は、外部機器と通信を行う通信部を有し、上記出力処理として、上記通信部により撮像画像データについての外部機器への送信出力を行うことを特徴とする請求項８に記載の画像保存装置。
11. 上記画像出力手段は、可搬性記録媒体に情報を記録する記録部を有し、上記出力処理として、上記記録部によって上記可搬性記録媒体に撮像画像データを記録する請求項８に記載の画像保存装置。
12. 評価対象となる撮像画像データを取得するステップと、
    撮像画像データに対して所定の評価項目について画像評価を行い、評価データを生成し、評価対象の撮像画像データを採用するか否か、又は保存するか否かの画像評価を段階又は点数で行う評価データを生成するステップと、
    撮像画像データと評価データが対応づけられて保存されるように保存処理を実行するステップと、
    上記取得するステップにおいて評価対象となる撮像画像データが取得された際に、撮像画像データについての評価データを生成させ、撮像画像データと評価データが対応づけられて保存されるように、保存処理を実行させるステップと、
    を備え、
    上記取得するステップにおいて、撮像素子としてＣＣＤセンサ又はＣＭＯＳセンサを用いて構成されている画像撮像を行う撮像部での撮像による撮像画像データを取得するとともに、外部機器と通信を行う通信部での外部機器と通信により該外部機器による撮像画像データを受信して取得し、
    上記保存処理を実行させるステップにおいては、さらに、上記保存処理を実行するステップにおいて保存された撮像画像データについて、対応して保存されている上記評価データに基づいて、撮影の際の位置情報及び日時情報が同じあるいは類似している他の撮像画像データに置き換える置換処理を行う
    画像保存方法。

Images