(実施例1)
本発明の特徴をよく表す実施例の撮像装置としてのカメラの構成を図に示し詳しく説明する。図1は、本発明の実施例の構成を示す図である。図1において、100はカメラやビデオカメラ等の撮像装置である。10は撮影レンズ、12は絞り機能を備えるシャッターである。
14は光学像を電気信号に変換するCCDやCMOS等の撮像素子、16は撮像素子14のアナログ信号出力をディジタル信号に変換するA/D変換器である。18は撮像素子14、A/D変換器16、D/A変換器26にクロック信号や制御信号を供給するタイミング発生回路であり、メモリ制御回路22及びシステム制御回路50により制御される。
20は画像処理回路であり、A/D変換器16からのデータ或いはメモリ制御回路22からのデータに対して所定の画素補間処理や色変換処理を行う。また、画像処理回路20においては、撮像した画像データを用いて所定の演算処理を行う。そして、得られた演算結果に基づいてシステム制御回路50が露光制御手段40、フォーカス制御手段42に対して制御を行う。また、TTL(スルー・ザ・レンズ)方式のAF(オートフォーカス)処理、AE(自動露出)処理、EF(フラッシュプリ発光)処理を行っている。
さらに、画像処理回路20においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてTTL(スルー・ザ・レンズ)方式のAWB(オートホワイトバランス)処理も行っている。その他、A/D変換器16及びメモリ制御回路22からの入力データに対して被写***置の検出処理としての顔検出処理を行う。また、検出された顔の個数、検出された各顔の大きさ、位置、目の位置等の情報の抽出も行う。
22はメモリ制御回路であり、A/D変換器16、タイミング発生回路18、画像処理回路20、画像表示メモリ24、D/A変換器26、メモリ30、圧縮・伸長回路32を制御する。A/D変換器16のデータが画像処理回路20、メモリ制御回路22を介して、或いはA/D変換器16のデータが直接メモリ制御回路22を介して、画像表示メモリ24或いはメモリ30に書き込まれる。
24は画像表示メモリ、26はD/A変換器、28はTFT LCDなどから成る画像表示部である。画像表示メモリ24に書き込まれた表示用の画像データはD/A変換器26を介して画像表示部28により表示される。画像表示部28を用いて撮像した画像データを逐次表示すれば、電子ファインダー機能を実現することが可能である。また、画像表示部28は、システム制御回路50の指示により任意に表示をON/OFFすることが可能であり、表示をOFFにした場合には撮像装置100の電力消費を大幅に低減することが出来る。
30は撮影した静止画像や動画像を格納するためのメモリである。メモリ30は、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。これにより、複数枚の静止画像を連続して撮影する連射撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ30に対して行うことが可能となる。また、メモリ30はシステム制御回路50の作業領域としても使用することが可能である。
32は適応離散コサイン変換(ADCT)等により画像データを圧縮伸長する圧縮・伸長回路である。圧縮・伸長回路32は、メモリ30に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ30に書き込む。
40は絞り機能を備えるシャッター12を制御する露光制御手段であり、フラッシュ48と連携することによりフラッシュ調光機能も有するものである。42は撮影レンズ10の焦点位置を制御するフォーカス制御手段、44は撮影レンズ10のズーミングを制御するズーム制御手段、46はバリアである保護手段102の動作を制御するバリア制御手段である。
48はフラッシュであり、AF補助光の投光機能、フラッシュ調光機能も有する。
露光制御手段40、フォーカス制御手段42はTTL方式を用いて制御されており、撮像した画像データを画像処理回路20によって演算した演算結果に基づき、システム制御回路50が露光制御手段40、フォーカス制御手段42に対して制御を行う。
50は撮像装置100全体を制御するシステム制御回路、52はシステム制御回路50の動作用の定数、変数、プログラム等を記憶するメモリである。
54はシステム制御回路50でのプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージ等を表示する液晶表示装置、スピーカー等の表示部である。表示部54は、撮像装置100の操作部近辺の視認し易い位置に単数或いは複数個所設置され、例えばLCDやLED、発音素子等の組み合わせにより構成されている。また、表示部54は、その一部の機能が光学ファインダー104内に設置されている。また、表示部54の表示内容のうち、光学ファインダー104内に表示するものとしては、例えば、合焦表示、撮影準備完了表示、手振れ警告表示、記録媒体書き込み動作表示等がある。さらに、表示部54の表示内容のうち、LEDなどに表示するものとしては、例えば、合焦表示、撮影準備完了表示、手振れ警告表示、記録媒体書き込み動作表示等がある。
56は電気的に消去・記録可能な不揮発性メモリであり、例えばEEPROMなどが用いられる。
60、62、64、66及び70は、システム制御回路50の各種の動作指示を入力するための操作手段である。操作手段56は、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。
ここで、これらの操作手段の具体的な説明を行う。60はモードダイアルスイッチで、各機能撮影モードを切り替え設定することができる。
62はシャッタースイッチSW1である。シャッタースイッチSW1は、不図示のシャッターボタンの操作途中でONとなる。ON状態になると、AF処理、AE処理、AWB処理、EF処理等の動作開始を指示する。
64はシャッタースイッチSW2である。シャッタースイッチSW2は、不図示のシャッターボタンの操作完了でONとなる。ON状態となると、撮像素子14から読み出した信号をA/D変換器16、メモリ制御回路22を介してメモリ30に画像データを書き込む露光処理が行われる。また、画像処理回路20やメモリ制御回路22での演算を用いた現像処理、メモリ30から画像データを読み出し、圧縮・伸長回路32で圧縮を行う。圧縮された信号は、記録媒体200或いは210に画像データを書き込まれる。このような記録処理という一連の処理の動作開始を指示するのがシャッタースイッチSW2である。
66は再生モードスイッチで、再生モード、マルチ画面再生・消去モード、PC接続モード等の各機能モードを設定することが出来る。
68は姿勢モードスイッチである。姿勢モードスイッチ68は、カメラ姿勢検知手段106により、撮像装置100の姿勢を検知するトリガーとなる。撮像の際に検知したカメラの姿勢を撮像した画像とともに画像姿勢フラグとして記録媒体に記録される。再生時には読み出した画像姿勢フラグに応じて画像の表示方法を切り替える動作を行う姿勢モードのON/OFFを設定する。
70は各種ボタンやタッチパネル等からなる操作部である。操作部70は、各種機能の選択及び切り替えを設定する選択/切り替えボタンがある。また、画像表示部28のON/OFFを設定する画像表示ON/OFFスイッチ、撮影直後に撮影した画像データを自動再生するクイックレビュー機能を設定するクイックレビューON/OFFスイッチ等がある。
72は電源スイッチで、電源オン、電源オフの各モードを切り替え設定することが出来る。80は電源制御手段である。82はコネクタ、84はコネクタ、86はアルカリ電池やリチウム電池等の一次電池やNiCd電池やNiMH電池、Li電池等の二次電池、ACアダプター等からなる電源手段である。
90及び94はメモリカードやハードディスク等の記録媒体とのインタフェースである。インターフェース90及び94は、92及び96はメモリカードやハードディスク等の記録媒体と接続を行うコネクタ、98はコネクタ92及び或いは96に記録媒体200或いは210が装着されているか否かを検知する記録媒体着脱検知手段である。
さらに、インタフェース90及び94、そしてコネクタ92及び96をPCMCIAカードやCF(コンパクトフラッシュ(登録商標))カード等の規格に準拠している。したがって、各種通信カードを接続することにより、他のコンピュータやプリンタ等の周辺機器との間で画像データや画像データに付属した管理情報を転送し合うことができる。各種通信カードとは、LANカードやモデムカード、USBカード、IEEE1394カード、P1284カード、SCSIカード、PHSなどの通信カード等である。
104は光学ファインダである。
106はカメラ姿勢検知手段であり、撮像装置100の姿勢状態を検出することにより、横位置撮影或いは縦位置撮影のいずれの状態かを検知することが出来る。
108は加速度、角速度の検知手段であり、積分出力を用いることにより、撮像装置100の移動量及び回転角度を求めることが出来る。
110は通信手段で、各種通信機能を有する。例えば、RSに32CやUSB、IEEE1394、P1284、SCSI、モデム、LAN、無線通信である。
112は通信手段110により撮像装置100を他の機器と接続するコネクタ或いは無線通信の場合はアンテナである。
200はメモリカードやハードディスク等の記録媒体である。記録媒体210は、半導体メモリや磁気ディスク等から構成される記録部212、撮像装置100とのインタフェース214、撮像装置100と接続を行うコネクタ216を備えている。
図2乃至図6を参照して、本発明の第1の実施例の動作を説明する。
図2及び図3は第1の実施例の撮像装置100の主ルーチンのフローチャートを示す。
図2及び図3を用いて、撮像装置100の動作を説明する。
まず、電池交換等の電源投入により、システム制御回路50はフラグや制御変数等を初期化し(S101)、画像表示部28の画像表示をOFF状態に初期設定する(S102)。システム制御回路50は、電源スイッチ66の設定位置を判断し、電源スイッチ66が電源OFFに設定されていたならば(S103)、各表示部の表示を終了状態に変更する。電源制御手段80により画像表示部28を含む撮像装置100各部の不要な電源を遮断する等の所定の終了処理を行った後(S104)、S103に戻る。
一方、電源スイッチ66が電源ONに設定されていたならば(S103)、システム制御回路50はモードダイアル60の設定位置を判断する。モードダイアル60が撮影モードに設定されていたならば(S105)、S107に進む。モードダイアル60が再生モードに設定されていたならば(S105)、画像再生処理を実行し(S106)、処理を終えたならばS103に戻る。この画像再生処理S106の詳細は図4を用いて後述する。
システム制御回路50は、電源制御手段80により電源86の残容量や動作情況が撮像装置100の動作、記録媒体200或いは210に問題があるか否かを判断する(S107、S108)。問題があるならば表示部54を用いて画像や音声により所定の警告表示を行った後に(S109)、S103に戻る。
システム制御回路50は操作部70によって顔検出設定がされたか否かを判断し、顔検出ON/OFFの状態を更新する(S110)。顔検出のON/OFF設定は、操作部70に含まれる顔ボタンにて切り換え、もしくは、カメラ設定メニューにて切り換えを行うことが可能である。顔検出の設定状態を更新したらS111に進む。
システム制御回路50は操作部70等によってAFロック(以下AFL)解除に相当する操作がなされたかを判断し(S111)、AFL解除操作がされていなければS113に進む。AFL解除操作がなされている場合は(S111)、システム制御回路50の内部メモリ或いはメモリ52に記憶されるAFLフラグをOFFし(S112)、S113に進む。
システム制御回路50は表示部54を用いて画像や音声により撮像装置100の各種設定状態の表示を行う(S113)。ライブ画像の表示を行う場合は、顔検出処理(S125)によって顔が検出されていれば対応する位置に枠(以下顔枠)を表示する。
システム制御回路50は、顔検出がONになっているか否かを判断し(S124)、顔検出がOFFになっていたら(S124)、S127に進む。顔検出ON/OFFの設定はS110で行ったものである。顔検出がONになっていたならば(S124)、顔検出処理を行う(S125)。被写***置の検出利としての顔検出処理はA/D変換器16及びメモリ制御回路22からの入力データに対して画像処理部20が行う。顔検出処理を終えたならば(S125)、S126に進む。
システム制御回路50は、S125にて抽出した各顔の特徴量を被写体情報としてシステム制御回路50の内部メモリ或いはメモリ52に記憶する(S126)。抽出、記憶する特徴量としては、被写体としての顔の撮像画像における位置がある。その他、撮像画像における顔の大きさ目の位置等である。また、これらの情報を用いて、被写体としての顔に対する目の相対位置や、目の間の距離などを特徴量として利用することもできる。
シャッタースイッチSW1が押されていないならば(S127)、S103に戻る。シャッタースイッチSW1が押されたならば(S127)、S128に進む。
システム制御回路50は、測光処理を行って絞り値及びシャッター時間を決定する(S128)。測光処理に於いて、必要であればフラッシュの設定も行う。また、ホワイトバランス処理も併せて行う。
AE/AWB処理S128を終えたら、システム制御回路50はシステム制御回路50の内部メモリ或いはメモリ52に記憶されるAFLフラグの状態を判断する(S129)。AFLフラグが設定されていれば画像記録のための撮像処理の指示としてのS137に進む。AFLフラグが設定されていなければ(S129)、システム制御回路50はシステム制御回路50或いは内部メモリ52に記憶される最新の顔検出結果を参照し、顔が検出されていれば(S130)、S131に進む。
システム制御回路50は、検出された顔の領域に対応する部分をフォーカスエリアとして指定する。AF動作を行い(S131)、S132に進む。AF動作は、撮影レンズ10のフォーカス位置をずらしながら指定されたフォーカスエリアの画像のコントラストの度合いを抽出する動作である。
システム制御回路50は、S131にて合焦判定OKとなったフォーカスエリアのうち、予め決められたアルゴリズムに従って、1のフォーカスエリア選択する。選択された1のフォーカスエリアを合焦枠として指定し、システム制御回路50の内部メモリ或いはメモリ52に記憶する(S132)。S132におけるシステム制御回路50の内部メモリ或いはメモリ52の記憶は、合焦枠の情報として座標を記憶する。
ここで、S131にて検出された顔に対応する部分をフォーカスエリアとして指定しAF動作を行っている。そのため、システム制御回路50の内部メモリ或いはメモリ52に記憶保存される合焦枠は検出された複数の顔のうちの一部の顔に対応する。すなわち、AF動作を行いユーザが所望する、または所望していると推定される被写体に焦点を合わせている。したがって、被写体情報としての特徴量を記憶するタイミングはS132でもよい。
なお、すべてのフォーカスエリアで合焦判定NGとなった場合は合焦枠情報はクリアされる。
システム制御回路50は、S131にて合焦枠に対応する顔の特徴量をシステム制御回路50の内部メモリ或いはメモリ52に記憶する(S133)。S134では、S126で記憶した特徴量の中から、合焦した顔の特徴量を取得し、合焦顔情報として別途記憶する。合焦した顔が無かった場合は、合焦顔情報はクリアする。
システム制御回路50は現在の撮像装置の状態に関する情報をシステム制御回路50の内部メモリ或いはメモリ52に記憶する(S134)。このタイミングは、AF動作を行いユーザが所望する、または所望していると推定される被写体に焦点を合わせたタイミングである。また、ここでの記憶は、例えば、電子ズーム倍率や、ズーム制御部44から取得したズーム情報(焦点距離、光学ズーム倍率など)をメモリに保存する。
S130で顔が検出されていないと判断された場合は(S131)、S135に進む。なお、S110で顔検出OFFに設定されていた場合もS135に進むことになる。システム制御回路50は、顔検出結果を用いずに予め決められているフォーカスエリアに基づいてAF動作を行う(S135)。そして合焦判定OKとなったフォーカスエリアの中から予め決められたアルゴリズムに従って1つのフォーカスエリアを選択し合焦枠として指定する。そして、合焦枠の情報をシステム制御回路50の内部メモリ或いはメモリ52に記憶する(S136)。なお、すべてのフォーカスエリアで合焦判定NGとなった場合は合焦枠情報は保存せずにクリアする。
なお、シャッタースイッチSW2が押されずに(S137)、さらにシャッタースイッチSW1も解除されたならば(S138)、S103に戻る。また、シャッタースイッチSW2が押されずに(S137)、シャッタースイッチSW1が押されていたならば(S138)、S139に進む。
システム制御回路50は、操作部70に含まれるAFLボタンが押されたか否かを判断し(S139)、AFLボタンが押されていなければS137に戻る。AFLボタンが押されていたならば(S139)、システム制御回路50はシステム制御回路50の内部メモリ或いはメモリ52に記憶されているAFLフラグを有効にした後(S140)、S137に戻る。
シャッタースイッチSW2が押されたならば(S137)、システム制御回路50は、次の処理を行う。すなわち、システム制御回路50は、メモリ30に撮像して得られた画像データを書き込む露光処理を行う。この処理は、撮像素子14、A/D変換器16、画像処理回路20、メモリ制御回路22を介して、或いはA/D変換器から直接メモリ制御回路22を介して行う。また、システム制御回路50は、メモリ30に書き込まれた画像データを読み出して各種処理を行う現像処理からなる撮影処理を行う(S141)。この処理は、メモリ制御回路22そして必要に応じて画像処理回路20を用いて行う。具体的には、撮像素子14から電荷信号を読み出し、A/D変換器16、画像処理回路20、メモリ制御回路22を介して、メモリ30に撮影画像のデータを書き込む。または、A/D変換器16から直接メモリ制御回路22を介して、メモリ30に撮影画像のデータを書き込む。
撮影処理S141を終えたならば、システム制御回路50は現在(記録のための撮像としての撮影が行われるタイミング)の撮像装置の状態に関する情報をシステム制御回路50の内部メモリ或いはメモリ52に記憶する(S142)。このタイミングは、AF動作を行いユーザが所望する、または所望していると推定される被写体に焦点を合わせたタイミングとは異なる。すなわち、AF動作を行ったタイミングから異なるので構図が変わっている可能性がある。また、ここで記憶する情報はS134にて記憶した情報に対応するものである。例えば、電子ズーム倍率や、ズーム制御部44から取得したズーム情報(焦点距離、光学ズーム倍率など)である。S142では、更にS134のタイミングからどれだけ撮像装置が動かされたという情報を取得する。これは、たとえば加速度/角速度検知センサ108などを利用する。後の再生処理でAF動作のタイミング(S134)と撮影のタイミング(S142)で記憶した情報を比較することで特徴量や合焦枠の変換または補正処理を行う。
撮影タイミングの情報を記憶したならば(S142)、クイックレビュー処理を行う(S127)。このクイックレビュー処理の詳細は図5を用いて後述する。
なお、撮影処理S141を終えてから、現在(記録のための撮像としての撮影が行われるタイミング)の撮像装置の状態に関する情報を記憶する(S142)点に関しては、必ずしもこの順番でなくてもよい。このS141の処理とS142の処理とを並行して行ってもよい。また、シャッタスイッチSW2の押下(S137)に応じて、SW2の押下のタイミングでS142の処理を開始してもよい。
クイックレビュー表示S143を終えたならば、システム制御回路50は、メモリ30に書き込まれた撮影画像データを読み出す。そして、メモリ制御回路22そして必要に応じて画像処理回路20を用いて各種画像処理を、また、圧縮・伸長回路32を用いて設定したモードに応じた画像圧縮処理を行う圧縮処理を行う。その後、インタフェース90或いは94、コネクタ92或いは96を介して、メモリカードやコンパクトフラッシュ(登録商標)カード等の記録媒体200或いは210へ画像データの書き込みを行う記録処理を実行する(S144)。また、撮影画像のみでなく、次の情報も併せて記録媒体200或いは210へ書き込む。システム制御回路50の内部メモリ或いはメモリ52にS132またはS136で記憶した合焦枠情報と、S133で記憶した合焦した顔に関する特徴量である。さらに、S134で記憶したAF動作の際の撮像装置の状態に関する情報と、S142で記憶した撮影の際の撮像装置の状態に関する情報も書き込む。
なお、画像表示部28がONの場合は、記録媒体200或いは210へ画像データの書き込みを行っている間、書き込み動作中であることを明示する例えば「BUSY」のような表示を画像表示部28に対して行う。
さらに、表示部54において例えばLEDを点滅させる等の記録媒体書き込み動作表示も併せて行う。
記録処理を終えたならば(S144)、S103に戻る。
図4は、図2のS106における画像再生処理の詳細なフローチャートを示す。
システム制御回路50は、シングル再生モードであるかを判断し(S401)、シングル再生モードであった場合はS403に進む。シングル再生モード/マルチ再生モードの切り換えは操作部70等を用いて行うことができる。
シングル再生モードでなかった場合は(S401)、再生操作に応じた処理を実行し(S402)、処理を終えたならば画像再生処理ルーチンS106を終了する。
シングル再生モードの場合は(S401)、システム制御回路50はピント確認モードであるか否かの判断を行い(S403)、ピント確認モードであればピント確認再生処理S404を実行する。ピント確認モードのON/OFFは操作部70に含まれるボタンにて切り換え、もしくはカメラ設定メニューにて切り換えを行うことが可能である。ピント確認再生処理S404の詳細は図6を用いて後述する。ピント確認再生処理S404を終えたならば画像再生処理ルーチンS106を終了する。
ピント確認モードでない場合は、再生操作に応じた処理を実行し(S402)、処理を終えたならば画像再生処理ルーチンS106を終了する。
図5は、図3のS143におけるクイックレビュー処理の詳細なフローチャートを示す。クイックレビューは、記録のために撮像された直前の画像を撮影者に確認できるように表示する処理である。
システム制御回路50はクイックレビューモードであるか否かの判断を行い(S701)、クイックレビューを行うモードでなければクイックレビュー処理ルーチンS143を終了する。クイックレビューモードのON/OFFは、操作部70に含まれるボタンにて切り換え、もしくはカメラ設定メニューにて切り換えを行うことが可能である。
クイックレビューモードであれば(S701)、システム制御回路50はピント確認モードであるか否かを判断する(S702)。ピント確認モードであればピント確認再生処理S703を行い、処理を終えたならばクイックレビュー処理ルーチンS143を終了する。ピント確認モードのON/OFFは操作部70に含まれるボタンにて切り換え、もしくはカメラ設定メニューにて切り換えを行うことが可能である。ピント確認再生処理S703の詳細は図6を用いて後述する。
ピント確認モードでない場合は(S702)、システム制御回路50は画像表示部28に画像表示メモリ24に書き込まれている撮影した画像の表示用データを表示し(S704)、S705に進む。
システム制御回路50は、表示を終了するか否かを判断し(S705)、表示終了しない場合はS705に戻る。表示を終了するか判断する際には、クイックレビュー時間の経過、操作部70による表示終了指示の有無等を考慮する。操作部70等により画像送り指示があった場合も一度表示を終了し、再生画像ファイルを更新する。
表示を終了すると判断された場合には(S705)、画像表示部28による撮影画像の表示を終了し(S706)、クイックレビュー処理ルーチンS143を終了する。
図6は、図4のS404および図5のS703におけるピント確認再生処理の詳細なフローチャートを示す。S404(再生モード)とS703(レックレビュー)では用いる情報の記憶されている場所が異なるが、処理の流れは同様であるため同一のフローチャートで説明する。
システム制御回路50はS404(再生モード)には画像ファイルに、S703(レックレビュー)にはシステム制御回路50の内部メモリ或いはメモリ52に、合焦顔情報が記憶されているか否かを判断する(S1001)。合焦顔情報が記憶されていればS1002に進む。合焦顔情報とはS133でシステム制御回路50の内部メモリ或いはメモリ52に、S144でファイルに記憶される合焦した被写体情報としての顔の特徴量である。S110で顔検出がOFFに設定された場合や、顔検出がONの場合でもS131で合焦した顔が無かった場合は合焦顔情報は記憶されない。
合焦顔情報が記憶されていた場合には(S1001)、システム制御回路50は画像表示メモリ24に書き込まれている表示用画像データをメモリ制御回路22を介して画像処理部20に入力し、顔検出処理を実行する(S1002)。S404(再生モード)では、再生対象となるファイル中の画像データを予め表示用画像データとして画像表示メモリ24に展開してから上記の処理を行う。S703(クイックレビュー)では直前に撮影した画像の表示用データが画像表示メモリ24に展開されている状態で上記の処理を行う。
顔検出処理を終了したら(S1002)、システム制御回路50はS1002にて顔が検出されたか否かを判断し(S1003)、顔が検出されていればS1004に進む。
システム制御回路50はS1002の顔検出結果から検出された被写体情報としての顔の特徴量を取得する(S1004)。得られた特徴量をAF動作の際の撮像装置の状態情報及び記録のための撮像の際の撮像装置の状態情報を用いて変換する(S1005)。S404(再生モード)ではS144にて画像ファイルに付加情報として書き込まれるAF動作の際の状態情報及び撮影の際の状態情報を用いる。一方、S703(レックレビュー時)ではシステム制御回路50の内部メモリ或いはメモリ52に記憶されているAF動作の際の状態情報及び撮影の際の状態情報を用いる。
顔の特徴量は、S1002において検出された顔が、S131のAF動作において合焦した顔であるか否かの比較判断に用いる。例えばS131のAF動作の後にズーム倍率や、構図を変えて撮影すると(S141)、同じ顔でもAF動作の際と撮影の際とで顔の大きさ等の特徴量が変化してしまう。したがって、ズーム倍率等の撮像装置100に関する情報を用いて特徴量を変換し、特徴量が正しく比較できるようにする必要がある。特徴量の変換に用いるAF動作の際の状態情報や撮影の際の状態情報としては、光学ズーム倍率、電子ズーム倍率の他、加速度センサや角速度センサの出力等が挙げられる。
光学ズーム倍率、電子ズーム倍率を用いることで、撮像装置100のズーム状態に依存する顔の大きさ等の特徴量を利用した比較が可能となる。AF動作の際から撮影の際までの加速度センサや角速度センサの出力の積分値を用いることで、撮像装置100が移動や回転した場合にも顔や目の位置を特徴量として用いた比較が可能となる。この場合には加速度/角速度検知部108からの出力を利用する。なお、撮像装置100の状態に依存しない特徴量で顔の比較判断を行える場合はS1005の変換処理は省くことができる。
特徴量の変換を終えたら(S1005)、システム制御回路50はS1002にて検出された顔を、特徴量が焦点を合わせた顔の特徴量に近い順にソートする(S1006)。焦点を合わせた顔の特徴量は、S404(再生モード)ではS144にて画像ファイルに書き込まれており、S703(クイックレビュー)ではシステム制御回路50の内部メモリ或いはメモリ52に記憶されている。1回の処理において複数の顔に合焦し、合焦した顔の特徴量が複数存在することも考えられる。この場合、合焦した顔のうち予め決められたアルゴリズムにしたがって選択された1つの顔を合焦顔として指定する。なお、合焦した複数の顔について、以下の処理を繰り返し行ってもよい。
システム制御回路50は、S1002で検出された顔の中から、S1006でソートした結果最も特徴量が合焦顔に近かった顔に対応する一部領域を表示する候補として選択しセットする(S1007)。
システム制御回路50は、拡大表示する候補の顔の特徴量と合焦顔の特徴量との差があるしきい値に収まっているか否かを判断する(S1008)。
システム制御回路50は、特徴量の差がしきい値を越える場合には、拡大表示する候補の顔に、合焦顔に最も特徴量が近い顔がセットされているか否かを判断する(S1009)。拡大表示する候補の顔が合焦顔に最も特徴量が近い顔であればS1010に進み、拡大表示する候補の顔が合焦顔に最も特徴量が近い顔でなければS1007に戻る。
システム制御回路50は画像表示部28及び表示部54を用いて警告表示を行う(S1010)。警告表示はS1008によって合焦顔と一致すると考えられる顔が存在しないことをユーザに示すものである。
システム制御回路50はタイムアウト及び操作部70による表示終了指示等により表示を終了すべきか否かを判断する(S1011)。表示を終了すべきであればS1019に進み、表示を終了すべきでなければS1011に戻る。操作部70等により画像送り指示があった場合も一度表示を終了し、再生画像ファイルを更新する。
S1008において拡大表示する候補の顔の特徴量と、合焦顔の特徴量の差が閾値未満であれば、該当する一部領域を表示する。すなわち、システム制御回路50は表示候補の顔を表示部28を用いて拡大表示し(S1012)、S1013に進む。
システム制御回路50はタイムアウト及び操作部70による表示終了指示等により表示を終了すべきか否かを判断する(S1013)。表示を終了すべきであればS1019に進み、表示を終了すべきでなければS1014に進む。操作部70等により画像送り指示があった場合も一度表示を終了し、再生画像ファイルを更新する。
システム制御回路50は操作部70等により次の顔を表示する旨の指示があったか否かを判断し(S1014)、指示がなければS1013に戻り、指示があればS1015に進む。
システム制御回路50は拡大表示する候補の顔がまだ残っているかを判断し(S1015)、残りの候補が存在すればS1016に進み、候補の顔をS1006のソート結果における次の顔に更新してS1008に戻り、候補が無ければS1007に戻る。
S1001において合焦した顔の情報が記憶されていない場合はS1020に進む。即ちS131の顔AF処理が行われなかった場合及び顔AF処理(S131)の際に合焦した顔が無かった場合はS1020に進む。
システム制御回路50はS404(再生モード時)では画像ファイルの付加情報に、S703(クイックレビュー時)ではシステム制御回路50の内部メモリ或いはメモリ52に合焦枠情報が記憶されているか否かを判断する(S1020)。合焦枠情報があれば画像の合焦枠位置に相当する部分を画像表示部28を用いて拡大表示する(S1021)。合焦枠情報が無かったら(S1020)、画像の中央部分を画像表示部28を用いて拡大表示し、S1024に進む。
S1003において顔が検出されなかったと判断された場合はS1023に進み、画像表示部28及び表示部54を用いて合焦した顔が再生画像中に存在しない旨の警告表示を行い(S1023)、S1024に進む。
システム制御回路50はタイムアウト及び操作部70による表示終了指示等により表示を終了すべきか否かを判断し(S1024)、表示を終了すべきであればS1019に進み、表示を終了すべきでなければS1024に戻る。操作部70等により画像送り指示があった場合も一度表示を終了し、再生画像ファイルを更新する。
最後にシステム制御回路50は画像表示部28及び表示部による表示を終了し(S1019)、ピント確認再生処理ルーチンS404及びS703を終了する。
なお、上記フローにおいては、システム制御回路50は検出された被写体情報としての顔の特徴量を撮像装置の状態情報を用いて変換した(S1005)。この点、次のような技術思想でもよい。すなわち、被写体情報としての特徴量を用いない方法である。これは、たとえば、システム制御回路50が、AF動作の際の撮像装置の状態情報と記録のための撮像の際の撮像装置の状態情報との比較に基づいてS1012で拡大表示するものである。AF動作の際の撮像装置からズーム倍率が変わった場合には、それに合わせて撮像後の被写体の大きさを予測し、拡大表示する顔領域を選択するものである。同様に、AF動作の際の撮像装置の位置が変わった場合には、その移動に合わせて撮像後の被写体の位置を予測し、拡大表示する顔領域を選択するものである。ただし、この場合には、上記フローのように被写体情報としての特徴量を利用した技術思想に比較して、拡大画像の適正精度が若干劣る場合がある。
次に、図9乃至図12を参照して、本発明の第1の実施例の画面表示例を説明する。
まず、図2S110にて顔検出をOFFに設定し、通常AF(図3S135)を行った際の画面表示例を示す。
AF処理(図3S135)を行った時点の画像表示部28の画面表示例を図9に示す。画像表示部28にAF処理によって合焦した位置に合焦枠501が表示される。図9では大きい方の顔にピントが合った結果、合焦枠が表示されている。
この状態から撮像装置100の画角(構図)を変えて撮影し、ピント確認再生でなく通常の再生を行った場合(図4S402)、画像表示部28の表示は図10のようになる。図9と比較して図10ではピントを合わせた大きい方の顔が左に移動している。
ここでピント確認再生を行った場合(図4S404)、図6S1021において画像表示部28の画面表示は図12のようになる。画像621は、画像ファイルに記録されている撮影画像を表示するもので、ファイル中のデータを圧縮縮小した画像である。領域623はフォーカス状態を確認する為にファイル中の画像データから切り出す領域に対応する画像表示部28上の領域であり、画像ファイルに付加された合焦枠情報を基にシステム制御回路50によって生成される。画像622は、領域623に対応するデータを画像データから切り出し、画像表示部28上に拡大して表示した画像である。この画像622の表示により、ユーザーは領域623に対応する撮像データが合焦状態にあるものなのかを判断し易くなる。しかし、AF処理時点で図9のように合焦枠が画像中央付近に存在していたため、再生時にも画像中央付近をそのまま拡大表示してしまうと(図6S1021)、図12のように合焦した顔とは違った領域が拡大表示されてしまう。図12における領域623及び拡大画像622は、撮像装置が合焦処理を行った部分と対応せず、ユーザがピント確認すべき領域ではない。
次に、図2S110にて顔検出をONに設定し、顔AF処理(図3S131)を行った場合の画面表示例を示す。
前記の通常AF処理を行った場合と同様、顔AF処理の際(図3S131)の画像表示部28における画面表示は図9のようになる。また、ピント確認再生ではなく通常の再生を行った場合(図4S402)の画像表示部28における画面表示は図10のようになる。
ここでピント確認再生を行った場合(図4S404)、図6S1012において画像表示部28には図11のような画面が表示される。画像521は、画像ファイルに記録されている撮影画像を表示するもので、ファイル中のデータを圧縮縮小した画像である。領域523はフォーカス状態を確認する為にファイル中の画像データから切り出す領域に対応する画像表示部28上の領域である。図6のS1002の顔検出処理によって検出された顔の内、顔AF処理で合焦した顔(図9の大きいほうの顔)に特徴量(例えば顔の大きさ)が一致もしくは十分近いと判断された顔に対応する位置に表示される。画像622は、領域623に対応するデータを画像データから切り出し、画像表示部28上に拡大して表示した画像である。この場合は、図9と図10で合焦した顔の位置が移動している。それでも、画像再生時に図10の画像に対して顔検出処理(図6S1002)を行うことで顔のある位置を正しく拡大表示することが出来る。また、画像中に顔が複数存在しても、顔の大きさ等の特徴量を用いて拡大表示する顔を決定するため、図11において誤って小さいほうの顔が拡大表示されることも回避することが出来る。
(実施例2)
第1の実施例では顔検出設定をOFFにした場合には、撮像装置100が合焦した部分に対応する領域を正しく拡大表示することができない。第2の実施例では顔検出処理を行わない場合に正しく合焦部分を拡大表示することが可能である。図2乃至図5、図8、図7を参照して、本発明の第2の実施例の動作を説明する。
第2の実施例の撮像装置100の主ルーチンのフローチャートは図2及図7の通りである。図2のフローについては第1の実施例の図2と同様である。図7は、実施例1の図3に対応する図である。顔検出を行わないため、図3のS124、S125、S126、S130、およびS131がない。また、実施例1に対する特徴は、図3のS133に対する図7のS150である。
すなわち、システム制御回路50はS136で記憶した合焦枠部分の画像から特徴量を抽出し、システム制御回路50の内部メモリ或いはメモリ52に記憶する(S150)。この特徴量は第1の実施例の顔の特徴量に相当する。特徴量として、色、輝度等を利用することが出来る。
図8は、第2の実施例における、図4のS404および図5のS703におけるピント確認再生処理の詳細なフローチャートを示す。S404(再生モード時)とS703(レックレビュー時)では用いる情報の記憶されている場所が異なるが、処理の流れは同様であるため同一のフローチャートで説明する。
システム制御回路50は、S404(再生モード時)では画像ファイルの付加情報として、S703(レックレビュー時)ではシステム制御回路50の内部メモリ或いはメモリ52に記憶されている合焦枠情報を用いて変換する(S1101)。また、S404(再生モード時)では画像ファイルの付加情報として、S703(レックレビュー時)ではシステム制御回路50の内部メモリ或いはメモリ52に記憶されているAF時情報及び撮影時情報を用いて変換する(S1101)。光学ズーム倍率、電子ズーム倍率に応じて合焦枠サイズを拡大、縮小する処理や、AF時から撮影時までの撮像装置100の移動量、回転角度に応じて画像中の合焦枠の位置を移動させる処理を行う。合焦枠の変換処理を終えたら(S1101)、S1102に進む。
システム制御回路50は、画像データのS1101で変換した後の合焦枠に対応する部分から特徴量の抽出を行う(S1102)。特徴量として色や輝度など、S150で記憶した特徴量に対応する情報を求める。合焦枠部分の特徴量を抽出したら(S1102)、S1103に進む。
システム制御回路50は、合焦枠部分の特徴量とS1102で抽出した特長量の差が閾値に収まっているかを判断する(S1103)。合焦枠部分の特徴量は、S404(再生モード時)では画像ファイルの付加情報として、S703(レックレビュー時)ではシステム制御回路50の内部メモリ或いはメモリ52に記憶されている。。
システム制御回路50は画像表示部28を用いて画像ファイル中の画像データの内、S1101で変換した後の合焦枠に対応する部分を拡大表示する(S1104)。
S1103にて特徴量の差が閾値以上であれば、AF処理時に合焦した部分が撮影された画像中には存在しない旨の警告表示を画像表示部28及び表示部54を用いて行い(S1105)、S1106に進む。
システム制御回路50はタイムアウト及び操作部70による表示終了指示等により表示を終了すべきか否かを判断し(S1106)、表示を終了すべきでなければS1106に戻る。表示を終了すべきであれば画像表示部28及び表示部54による表示の終了処理を行い(S1107)、ピント確認処理ルーチンS404及びS703を終了する。操作部70等により画像送り指示があった場合も一度表示を終了し、再生画像ファイルを更新する。
次に、図9乃至図12を参照して、本発明の第2の実施例の画面表示例を説明する。
AF処理時(図7S135)の画像表示部28における画面表示、及びピント確認再生ではなく通常の再生を行った場合(図4S402)の画像表示部28における画面表示は第1の実施例と同じく図9及び図10のようになる。
ここでピント確認再生を行った場合(図4S404)、図8S1104において画像表示部28には図11のような画面が表示される。画像521は、画像ファイルに記録されている撮影画像を表示するもので、ファイル中のデータを圧縮縮小した画像である。領域523はフォーカス状態を確認する為にファイル中の画像データから切り出す領域に対応する画像表示部28上の領域であり、図8S1101の枠変換処理によって得られた変換後の合焦枠位置に表示される。画像622は、領域623に対応するデータを画像データから切り出し、画像表示部28上に拡大して表示した画像である。この場合は、図9と図10で合焦した顔の位置が移動している。それでも、図8S1101における合焦枠変換処理によってAF処理時から撮影時までの撮像装置100の移動量を用いて合焦枠を左方向に移動することで、図7S135にて合焦した位置を正しく拡大表示することが出来る。
なお、第2の実施例は顔検出を用いないものとして説明したが、顔検出を利用する第1の実施例と組み合わせて実施することも可能である。すなわち、顔検出設定が有効だった場合には第1の実施例の通りの処理を行い、顔検出設定が無効だった場合に第2の実施例に従った処理を行う。この場合、合焦部分の特徴量及びAF時/撮影時の情報として顔検出時とそれ以外の場合で異なる情報を利用してもよい。例えば、顔検出設定が有効だった場合には、合焦した顔の特徴量として顔の大きさ、顔の位置、目の位置などを、AF時及び撮影時の撮像装置の状態に関する情報として光学ズーム倍率、電子ズーム倍率を利用する。一方、顔検出設定が無効だった場合には合焦部分の特徴量として色、輝度などを利用してもよい。また、AF時及び撮影時の撮像装置の状態に関する情報として光学ズーム倍率、電子ズーム倍率、加速度/角速度検知部を利用した移動量及び回転角度を利用してもよい。顔検出をした場合にのみ得られる顔の大きさや位置などの特徴量が、合焦部分を特定する上でより有用である場合に特に有効である。
記録媒体200および210としては、PCMCIAカードやコンパクトフラッシュ(登録商標)等のメモリカード、ハードディスク等で構成してもよい。その他、マイクロDAT、光磁気ディスク、CD−RやCD−RW等の光ディスク、DVD等の相変化型光ディスク等で構成してもよい。
また、記録媒体200及び210は、メモリカードとハードディスク等が一体となった複合媒体であってもよいし、さらに、その複合媒体から一部が着脱可能な構成であってもよい。
上記の実施の形態においては、記録媒体200及び210は、撮像装置100と分離していて任意に接続可能なものとして説明したが、いずれか或いは全ての記録媒体が撮像装置100に固定されていてもよい。
また、撮像装置100に記録媒体200或いは210が、単数或いは複数の任意の個数接続可能な構成であってもよい。
上記の実施の形態に置いては、撮像装置100に記録媒体200及び210が装着する構成として説明したが、記録媒体は単数或いは複数の何れの組み合わせの構成であってもよい。
なお、本発明は、複数の機器から構成されるシステムに適用しても、一つの機器からなる装置に適用してもよい。
また、本発明の目的は、システム或いは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出し実行される。プログラムコートは、前述した実施形態の機能を実現するソフトウェアのコードを記録した記憶媒体(または記録媒体)を、システムあるいは装置に供給されるものである。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでない。たとえば、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込む。書きこまれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行う。その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
なお、本発明は、以上の各実施形態、または、それら技術要素を必要に応じて組み合わせるようにしてもよい。
また、本発明は、特許請求の範囲、または、実施の形態の構成の全部若しくは一部が、1つの装置を形成するものであっても、他の装置と結合するようなものであっても、装置を構成する要素となるようなものであってもよい。