JP4306399B2

JP4306399B2 - デジタルカメラ

Info

Publication number: JP4306399B2
Application number: JP2003351779A
Authority: JP
Inventors: 弘剛野崎; 康之元木; 雅太田
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2003-10-10
Filing date: 2003-10-10
Publication date: 2009-07-29
Anticipated expiration: 2023-10-10
Also published as: JP2005117532A

Description

本発明は、人物の特徴点を識別し、その識別結果に応じて合焦や露出動作をするデジタルカメラに関する。

従来から、指紋あるいは虹彩の特徴点を予め登録しておいてこれと照合することで本人を認証するシステムを初めとして画像データから人物を識別する技術はこれまで多く知られている。特開平９−２５１５３４号公報には目、鼻、口等を抽出して特徴点として登録しこれと入力した画像から抽出した特徴点とを比較して当人として識別する方法が詳細に記述されており、特開平１０−２３２９３４号公報にはこの様にして抽出した特徴点を登録する場合の辞書画像の精度を上げる方法が開示されている。これらの技術をカメラに応用した例を以下に挙げる。

特開２００１−２０１７７９号公報には予めカメラの使用者を参照情報として登録しておき、カメラ使用者がカメラを自分の顔に向けて撮影することで入力した識別情報と一致した場合にのみカメラ動作を可能とするカメラが開示されている。特開２００１−３０９２２５号公報には顔認識アルゴリズムにより認識された顔の座標、寸法、目の位置、頭のポーズ等のデータが画像メモリに画像データとともに記録されるカメラが開示されている。特開２００１−３２６８４１号公報には予め正規の使用者を識別するための識別情報（顔、指紋、掌紋）を記憶しておく画像撮像装置（デジタルカメラ）が開示されている。特開２００２−２３２７６１号公報には撮影した画像に予め読み込んでおいた被写体の識別情報を関連付けて記録する画像記録装置が開示されている。特開２００２−３３３６５２号公報には予め記憶された容貌情報と撮影顔情報を比較し記録信号を発生する撮影装置が開示されている。この容貌情報は優先度とともに記録される。

上述した被写体を識別するという技術をカメラに応用するという発明は、従来から大規模なコンピュータシステムで行われていた技術を単にカメラ単独でも行えるようにしたというものであって、実際にカメラで被写体の識別技術を使用して撮影を行おうとすると従来にないカメラとしての動作シーケンスが必要となってくる。

本発明においては上述した新たな動作シーケンスを取り入れることによりこれまでの被写体識別機能を持ったカメラにおいては達成されていなかった、従来からのカメラの動作に近い使い勝手の良い被写体識別機能を備えたデジタルカメラを提供することを目的とする。

上記問題点の解決のために、請求項１の発明は、被写体像を撮影する撮像手段と、第１の時間間隔で撮像手段から出力された画像データを記憶する第１記憶手段と、前記第１記憶手段に記憶された前記画像データを前記第１の時間間隔で読み出して表示する表示手段と、前記第１記憶手段に記憶された前記画像データを第2の時間間隔で読み出して記録する第２記憶手段と、前記第２記憶手段に記録された前記画像データに基づいて前記被写体の特徴部位を抽出する抽出手段とを備えたことを特徴としている。すなわち、画像表示用に撮像手段から出力される画像データを一旦第２の記憶手段に記憶して、この記憶した画像データを使用して特徴部位を抽出しているので、抽出に当たっては第１の記憶手段の更新の影響を受けることがない。

請求項２の発明は、更に、前記第１記憶手段に前記撮像手段から出力される画像データを記憶する際に、前記表示手段の表示画素数によって決定される所定の画素数となるように前記画像データを間引いて記録するよう指示する指示手段を備えたことを特徴としている。すなわち、第１の記憶手段に記憶される画像データは表示手段の画素数に対応した少ない数の画像データのみ記憶しているのでこの画像データに対する処理は迅速に行われる。請求項３の発明は、更に、前記第２記憶手段に前記第１記憶手段から読み出した画像データを記憶する際に、前記第１記憶手段に記憶されている画像データのうち所定の範囲のみ前記第２記憶手段に記憶するように指示する指示手段を備えたことを特徴としている。これにより抽出する範囲が更に限定されるので抽出動作も迅速に行うことができる。請求項４の発明は、前記第１の時間間隔と前記第２の時間間隔とは等しいことを特徴とし、請求項５の発明は、前記第１の時間間隔は前記第２の時間間隔より短いことを特徴としている。

請求項６の発明は、更に、被写体撮影時の露出演算を行う露出演算手段を備え、前記露出演算手段は前記抽出手段により抽出された特徴部位に対応する被写体に対して露出演算を行うことを特徴としている。請求項７の発明は、前記露出演算手段は、前記抽出手段による抽出動作の終了後に前記撮像素子から出力される画像データに基づいて前記被写体に対する露出演算を行うことを特徴としている。

請求項８の発明は、更に、撮影する画面における色条件を検出する検出手段を備え、前記検出手段は前記抽出手段による抽出動作の終了後に前記撮影画面における色条件を検出することを特徴としている。請求項９の発明は、前記検出手段は、前記抽出手段による抽出動作終了後に前記撮像素子から出力される画像データに基づいて前記撮影画面における色条件を検出することを特徴としている。

請求項１０の発明は、更に、被写体までの距離を演算する距離演算手段を備え、前記距離演算手段は前記抽出手段により抽出された特徴部位に対応する被写体までの距離を演算することを特徴としている。請求項１１の発明は、前記距離演算手段は、前記抽出手段による抽出動作の終了後に前記撮像素子から出力される画像データに基づいて前記特徴部位に対応する被写体までの距離を演算することを特徴としている。

請求項１２の発明は、被写体画像を撮影する撮像手段と、前記撮像手段から所定の時間間隔で出力される画像データから前記被写体の特徴部位を抽出する抽出手段と、被写体までの距離を演算する演算手段と、撮影者の操作に応じて前記撮像素子から出力された画像データに対して、前記抽出手段による前記被写体の特徴部位の抽出終了後に前記距離演算手段に前記被写体までの距離を演算するよう指示する指示手段とを備えたことを特徴としている。すなわち、撮影者によって特徴部位の抽出開始のための操作がされたならば直ちに抽出動作を行い、抽出終了後に抽出した被写体に対して距離演算をしているので確実に距離を演算することができる。請求項１３の発明は、前記指示手段は前記距離演算手段に対して前記所定時間間隔内に複数回前記被写体までの距離を演算するよう指示する事を特徴とし、請求項１４の発明は、更に、前記被写体を撮影する際の露出演算を行う露出演算手段を備え、前記指示手段は前記距離演算手段が被写体までの距離の演算を終了した後に前記露出演算手段に前記被写体に対する露出演算をするように指示することを特徴とし、請求項１５の発明は、更に、撮影する画面における色条件を検出する検出を備え、前記指示手段は前記距離演算手段が被写体までの距離の演算を終了した後に前記検出手段に前記撮影画面における色条件を検出するように指示することを特徴としている。

請求項１６の発明は、所定の時間間隔で被写体の特徴部位を抽出する抽出手段と、被写体撮影時の露出演算を行う露出演算手段と、撮影者の操作に応じて前記撮像素子から出力された画像データに対して、前記抽出手段による前記被写体の特徴部位の抽出終了後に前記露出演算手段に前記被写体に対して露出演算をするように指示する指示手段とを備えたことを特徴としている。すなわち、撮影者によって特徴部位の抽出開始のための操作がされたならば直ちに抽出動作を行い、抽出終了後に抽出した被写体に対して露出演算をしているので確実に露出演算することができる。

請求項１７の発明は、所定の時間間隔で被写体の特徴部位を抽出する抽出手段と、撮影する画面における色条件を検出する検出手段と、撮影者の操作に応じて前記撮像素子から出力された画像データに対して、前記抽出手段の抽出終了後に前記手段に前記撮影画面における色条件を検出するように指示する指示手段とを備えたことを特徴としている。すなわち、撮影者によって特徴部位の抽出開始のための操作がされたならば直ちに抽出動作を行い、抽出終了後に抽出した被写体に対して色条件の検出をしているので確実に色条件の検出をすることができる。

以下、図面を参照して本発明の実施の形態を説明する。図１は、本発明のデジタルカメラについてその主要な機能を説明したブロック図である。撮影レンズ１０１はその焦点距離を連続的に変えるためのズームレンズ、ピントを調整するフォーカスレンズから構成されている。これらのレンズはドライバ１１３により駆動される。ここでドライバ１１３はズームレンズのズーム駆動機構及びその駆動回路と、フォーカスレンズのフォーカス駆動機構及びその駆動回路とを備えていて、それぞれＣＰＵ１１２により制御される。撮影レンズ１０１は撮像素子１０３の撮像面上に被写体像を結像する。撮像素子１０３は撮像面上に結像された被写体像の光強度に応じた電気信号を出力する光電変換撮像素子であり、ＣＣＤ型やＭＯＳ型の固体撮像素子が用いられる。撮像素子１０３は信号取り出しのタイミングをコントロールするドライバ１１５により駆動される。撮影レンズ１０１と撮像素子１０３との間には絞り１０２が設けられている。絞り１０２は、絞り機構とその駆動回路を備えたドライバ１１４により駆動される。固体撮像素子１０３からの撮像信号はアナログ信号処理回路１０４に入力され、アナログ信号処理回路１０４において相関二重サンプリング処理（ＣＤＳ）等の処理が行われる。アナログ信号処理回路１０４で処理された撮像信号は、Ａ／Ｄ変換器１３５によりアナログ信号からデジタル信号に変換される。

Ａ／Ｄ変換された信号はデジタル信号処理回路１０６において輪郭強調、ガンマ補正、ホワイトバランス補正などの種々の画像処理が施される。バッファメモリ１０５は撮像素子１０３で撮像された複数フレーム分のデータを記憶することが出来るフレームメモリであり、Ａ／Ｄ変換された信号は一旦このバッファメモリ１０５に記憶される。デジタル信号処理回路１０６ではバッファメモリ１０５に記憶されたデータを読み込んで上述した各処理を行い、処理後のデータは再びバッファメモリ１０５に記憶される。ＣＰＵ１１２はデジタル信号処理回路１０６およびドライバ１１３〜１１５等と接続され、カメラが動作する際のシーケンス制御を行う。ＣＰＵ１１２のＡＥ演算部１１２１では撮像素子からの画像信号に基づいて露出演算を行い、ＡＷＢ演算部１１２２ではホワイトバランス用パラメータを設定するための演算が行われる。特徴点抽出演算部１１２３では所定のアルゴリズムに則って画像データの中から被写体の形状、位置、サイズ等の特徴点を記憶部１１２７に記憶するとともに検出した顔や眼幅等の大きさとそのときの検出器１２１によって検出したズームレンズの焦点距離とから抽出したそれぞれの人物までのおよその距離も演算し抽出日時とともに記憶部１１２５に記憶する。ここで、図７を用いてこの距離演算方法を説明する。図７は抽出した眼幅を基に人物までの距離を演算する場合を示している。Ａは一般成人の実際の眼幅の平均値、ａは抽出された撮像素子上に結像した眼幅、Ｌは撮像レンズから人物までの距離、ｆはレンズの焦点距離である。この図から次の比例式が容易に導かれる。

Ａ／Ｌ＝ａ／ｆ
ここから、人物までの距離Ｌは、Ｌ＝（Ａ／ａ）・ｆとなる。記憶部１１２５にはこの様にして抽出された特徴点やそれに基づいて演算した特徴点迄の距離が一旦記憶される。それら記憶された特徴点の中からユーザは残しておきたい特徴点を選択して登録することができる。

本実施例におけるデジタルカメラのＡＦ方式はコントラスト法を採用している。このコントラスト方式ＡＦについてここで説明する。この方式において、撮像素子１０３上の像のボケの程度とコントラストの間には相関があり、焦点があったときに像のコントラストが最大になることを利用して焦点あわせを行う。コントラストの大小は撮像信号の高周波成分の大小により評価することが出来る。すなわち、ＡＦ演算部１１２４は不図示のＢＰＦ（バンドパスフィルタ）により撮像信号の高周波成分を抽出し、この絶対値を積分した値を焦点評価値としてこの焦点評価値に基づいてＡＦ演算を行う。ＣＰＵ１１２はＡＦ演算部１１２４の演算結果を用いて撮影レンズ１０１のフォーカスレンズ位置を調整し、合焦動作を行わせる。

ＣＰＵ１１２に接続された操作部材１１６には、カメラの電源をオンオフする電源スイッチ１１６１、レリーズ釦に連動してオンオフする半押しスイッチ１１６２及び全押しスイッチ１１６３、モニタ１０９に表示されるカメラを撮影する際の各種メニュー内容を選択するための設定釦１１６４、再生画像等を更新するアップダウン（Ｕ／Ｄ）釦１１６５等が設けられている。設定釦１１６４では抽出した特徴点に対して名称を付けるためにＵ／Ｄ釦１１６５を併用してアルファベットやひらがな、カタカナ、簡単な漢字等を選択して設定することもできる。Ｕ／Ｄ釦１１６５はそれ以外に、複数抽出された人物から所望の人物を選択したり、撮影時には手動でズームレンズをテレあるいはワイド側に駆動したりするためにも使用される。

被写体輝度が低い場合にはストロボ１１７を発光させる。このストロボにはストロボ使用時に撮影した人物の瞳が赤く撮影されるのを防止あるいは軽減する赤目防止のためや低輝度時に被写体輝度を予め測定するために撮影前に予め補助光を発光するプリ発光機能も備わっている。記憶部１１２５には前述した特徴点情報以外にＡＦ演算の結果から検出される評価値のピーク値や対応するレンズ位置等も記憶される。デジタル信号処理回路１０６で各種処理が施された画像データは、一旦バッファメモリ１０５に記憶された後に、記録・再生信号処理回路１１０を介してメモリカード等の外部記憶媒体１１１に記録される。画像データを記憶媒体１１１に記録する際には、一般的に所定の圧縮形式、例えば、ＪＰＥＧ方式でデータ圧縮が行われる。記録・再生信号処理回路１１０では、画像データを外部記憶媒体１１１に記録する際のデータ圧縮及び外部記憶媒体１１１から再生した圧縮された画像データの伸長処理を行う。

モニタ１０９は撮像された被写体画像を表示したり撮影や再生させる際の各種の設定メニューを表示したりするための液晶（ＬＣＤ）表示装置である。ここでは記憶媒体１１１に記録されている画像データを再生表示する際にも用いられる。モニタ１０９に画像を表示する場合には、バッファメモリ１０５の一部であるＶＲＡＭ１０７に記憶された画像データを読み出し、Ｄ／Ａ変換器１０８によりデジタル画像データをアナログ映像信号に変換する。そして、そのアナログ映像信号を用いてモニタ１０９に画像を表示する。

ここで、特徴点を抽出する際のバッファメモリ１０５とＶＲＡＭ１０７との関係について説明する。モニタ１０９で表示用の画像データを再生する場合には撮像素子からは静止画用の画像データから表示用の画像データに間引いたデータが一定の周期（例えば３０フレーム/秒）で連続して出力される。この画像データに所定の処理を施し、モニタ１０９の縦横画素数に対応した画素数となるように更にデータを間引いてＶＲＡＭ１０７に連続して記録する。このＶＲＡＭ１０７のデータはＤ／Ａ変換器１０８を通してモニタ１０９に表示画像として再生される。このＶＲＡＭ１０７の画像データは特徴点を抽出するためのデータとしても使用する。特徴点を抽出する場合には、まずＶＲＡＭ１０７の画像データをバッファメモリ１０５に所定のタイミングで再度記録する。ここでバッファメモリ１０５にはＶＲＡＭ１０７に記録されているデータのうち中心部の所定の範囲（たとえば縦、横ともに８０％）のみ記録する。図６にこの画面内での範囲の一例を示す。図６において、表示画面内の３名の人物を含んだ一点鎖線で示されるエリアがバッファメモリ１０５に記録される範囲である。この範囲からはみ出た外周部の被写体は主要被写体でない可能性が高く特徴点を抽出しても無意味であり、抽出処理時間を短縮するためにも最初から外周部の被写体を除いた画像データに対してのみ特徴点抽出演算部１１２３で特徴点を抽出する。また、前述した設定釦１１６４を使用して特徴点を抽出動作させるための抽出モードにカメラを設定した場合にはこの様に抽出可能エリアを表示するようにするとユーザが抽出モードに設定されているということを確認できるので好ましい。

また、このようにＶＲＡＭ１０７から再度バッファメモリ１０５に画像データを記録するのは次の理由による。ＣＰＵ１１２の演算処理能力が十分高かったならば前述した３０フレーム/秒のレートで特徴点を抽出することができるがデジタルカメラに採用されているＣＰＵ１１２の演算能力はそこまで高くないことが多い。それ故、ＣＰＵ１１２の演算能力に応じて特徴点抽出演算にあったレートでＶＲＡＭ１０７からバッファメモリ１０５に画像データを再度記録することで特徴点を抽出する事が可能となる。なお、その場合であってももちろんＶＲＡＭ１０５からは通常のレートでモニタ１０９の表示用画像データが出力されているので表示更新のレートが遅くなることはない。なお、ＡＥ演算、ＡＦ演算するための画像データは上述した撮像素子１０３から出力されＶＲＡＭ１０７に間引く前のデータを使用する。

次に図８、図９を使用して特徴点抽出（図では特徴点として顔認識をする場合を示している）、ＡＥ、ＡＦ、ＡＷＢのタイミングについて説明する。図８はカメラ動作開始時から顔認識が可能な場合で、図９は顔認識不可能な場合のタイミングである。両図において横軸目盛りは撮像素子１０３から読み出される周期（たとえば３０フレーム／秒）を基準とした時間軸であり、顔認識処理はここでは２サイクル内で完了するものとしている。ＡＦ演算とＡＥ演算、ＡＦ演算とＡＷＢ演算とは一つのサイクル内でそれぞれシリーズに行われる。

図８においてカメラ動作が開始されるとまず絞りを最小の口径となるように絞り込むとともに、フォーカスレンズをその絞り値に対応した過焦点距離の位置に移動させる。過焦点距離の位置とは無限遠が撮影レンズ１０１の被写界深度に入る一番近い撮影距離のことである。この位置で撮影すると、過焦点距離の１／２の距離から無限遠までのすべてが被写界深度に入る。この初期設定の詳細な内容については図４で後述する。初期設定終了後に撮像素子１０３で露光したデータを使用して時刻ｔ１から顔認識演算を行う。

顔認識が可能であった場合には時刻ｔ２で撮像素子１０３からの動画用に間引いた出力データを使用して認識した顔を含む所定エリアに対してＡＦ演算及びＡＥ演算を行う。このＡＦ演算結果に基づいてフォーカスレンズを駆動するが、一旦合焦したならそれ以降フォーカスレンズの駆動範囲はその合焦位置の前後の所定の範囲に制限される。これにより仮に被写体が動いてＡＦエリアからはずれたとしても急に背景にピントがあったりするのを防ぐことができる。さらに、画面内に複数の被写体がいて、それらが移動している場合などでは抽出した各被写体の大きさや距離が変わることによりＡＦ演算をするための主要被写体が次々に変わってフォーカスレンズが頻繁に動いて煩わしい場合もある。この様な状態を防ぐために顔認識可能である場合には定期的にＡＦ演算をせずに顔認識が不可能になったときにＡＦ演算するようにしてもよい。図８でＡＦ演算の箇所がカッコでくくられているのはこのようにＡＦ演算しない場合もあるということを示している。ＡＦ演算に引き続いてＡＥ演算を行い、ＡＥ演算終了後の時刻ｔ３における撮像素子１０３からの出力を使用して今度はＡＦ演算とＡＷＢ演算を行う。ＡＦ演算は前のサイクルと同様必要に応じて行う。時刻ｔ４からは顔認識演算を行いそれ以降はｔ１からのサイクルと同様の繰り返しとなる。

次に、顔認識不可能の場合を図９に基づいて説明する。初期設定から顔認識終了時刻ｔ２までの内容は図８と同様である。顔認識が不可能であった場合には時刻ｔ２から開始されるＡＦ演算の結果に対してはフォーカスレンズの移動範囲の制限はない。ＡＦ演算に引き続いてＡＥ演算を行う。時刻ｔ３から時刻ｔ５のサイクルは時刻ｔ１から時刻ｔ３までのサイクルと同一である。この様に同一動作を繰り返す理由は、時刻ｔ２と時刻ｔ３の間で行ったＡＦ演算の結果に基づいてフォーカスレンズを移動させ、移動終了後の時刻ｔ４から時刻ｔ５の間で撮像素子１０３で露光した画像データを時刻ｔ５からの顔認識処理に使用するためである。このようにしてフォーカスレンズを移動した後の画像データにおいてもなお顔認識が不可であった場合には時刻ｔ６においてカメラで設定されている撮影モードを判別する。この撮影モードの詳細は後述する。

もし人物に重点を置いた撮影モードに設定されていた場合にはフォーカスレンズを前述した過焦点距離の位置に移動させる。一方、風景に重点を置いた撮影モードに設定されていた場合にはｔ２あるいはｔ４で行ったＡＦ演算と同様にＡＦ演算を行いその結果に基づいた合焦位置にフォーカスレンズを移動させる。ＡＥ演算が終了した時刻ｔ７からのサイクルでは、人物に重点を置いた撮影モードの場合はフォーカスレンズ位置はそのままの所定位置に固定しておき、一方風景に重点を置いた撮影モードの場合には新たにＡＦ演算を行う。その後ＡＷＢ演算が終了したら時刻ｔ８で顔認識演算を行いそれ以降は時刻ｔ５からの処理を繰り返す。途中で被写体が移動するなどして顔認識が可能になった場合には図８の時刻ｔ２以降の処理を繰り返す。逆に抽出の途中で被写体が移動するなどして顔認識が不可能になった場合には図９の時刻ｔ２以降の処理を繰り返す。なお、ここまでの図９の説明でＡＷＢ演算については時刻ｔ７からのサイクルで開始していたがこれはもちろん図８の場合と同様にＡＥ演算が終了した後の時刻ｔ３及び時刻ｔ５からのサイクルにも行うようにしてもよい。

図２〜図５は図８、図９で説明した一連の動作シーケンスをフローチャートにまとめたものである。図２においてまずステップＳ１０１で電源ＳＷ１１６１をオンすることによりデジタルカメラの電源が入れられたことを検出するとステップＳ１０２でデジタルカメラの動作モードが顔認識モードに設定されているかどうか判別する。顔認識モードは例えば設定釦Ｓ１１６４を使用して設定することができる。前述したように、顔認識モードに設定されている場合には図６に示すごとくＬＣＤモニタ１０９に一点鎖線で示す認識可能エリアが表示される。もし顔認識モードに設定されていなかった場合にはステップＳ１０３に進んで通常の撮影動作をするため所定のシーケンスに従ってＡＦ、ＡＥ、ＡＷＢ動作を行う。ステップＳ１０２で顔認識モードに設定されていた場合にはステップＳ１０４に進んで顔認識処理をするに当たっての初期設定を行う。この初期設定の具体例は図４で後述する。

初期設定が終了したらステップＳ１０５で初期設定終了後に露光した画像データを使用して特徴点抽出演算部１１２３によって被写体の特徴点を抽出する。ステップＳ１０６ではＣＰＵ１１２は抽出した特徴点の中から人物の顔が認識できるかどうか判別する。もし顔認識が不可能であった場合にはステップＳ１０７に進み、顔認識が可能の場合にはステップＳ１０８に進む。ステップＳ１０８では撮影者が一旦設定した主要被写体に対して被写体ロックの設定をする。これはそれ以降も被写体を追従して撮影することが容易にできるようにするためである。この被写体ロック設定については図５で詳細に説明する。

ステップＳ１０９ではロックした被写体に対してＡＦする必要があるかどうか判別する。顔認識しない通常の場合はＡＥ演算やＡＷＢ演算の前にＡＦ演算しているが、図８においても説明したように、顔認識されているということはフォーカスレンズが合焦位置あるいは合焦に近い位置にあるということであるのでＡＥやＡＷＢの前に常にＡＦ演算する必要はなく、２ないし３回のＡＥ演算、ＡＷＢ演算を行うサイクルに１回程度ＡＦ演算するようにすれば十分である。あるいはサイクル数とは関係なく前述した焦点評価値が所定値以下だったならば合焦からのずれが大きいとしてＡＦ演算を行うようにしてもよい。このような理由によりもしＡＦの必要がなかったならばステップＳ１１１に進み、ＡＦの必要があったならばステップＳ１１０に進んでフォーカスレンズの移動範囲を限定してＡＦを行う。これは主要被写体が仮に動いたとしても現在の位置から大きくは動いていないであろうという仮定に基づいている。このようにフォーカスレンズの移動範囲を限定することによりもしも主要被写体が移動してＡＦエリアからはずれた場合に、ＡＦ演算結果によって背景に合焦させようとしてフォーカスレンズが極端に大きく移動することを防ぐことができる。ＡＦ演算が終了したなら次に、ステップＳ１１１でＡＥ演算を行い、続いてステップＳ１１２でオートホワイトバランス演算を行い、図３ステップＳ１１８へ進む。なお、図８においても説明したようにステップＳ１１２のＡＷＢ演算の前にＡＦ演算するようにしてもよい
ステップＳ１０６で顔認識が不可能と判別された場合にはステップＳ１０７に進む。ここでは顔認識不可能と判別された後にフォーカスレンズを移動したかどうか判別する。すなわち、フォーカスレンズ移動後も引き続いてステップＳ１０６で顔認識不可能と判断されたのかどうか判別する。もしまだフォーカスレンズを移動する前であったならばステップＳ１１３に進んでＡＦ演算を行い、その後ステップＳ１１４でＡＥ演算し、図３ステップ１１８に進む。もしフォーカスレンズ移動後に再度顔認識不可と判断されたのであったならばステップＳ１１５に進んでここでデジタルカメラに設定されている撮影モードを判別する。ここでいう撮影モードとはポートレートモード、記念写真モード等の人物を重視した撮影モードかあるいは風景モード、夜景モード等の風景を重視した撮影モードのことをいい、これらのいずれの撮影モードに設定されているかを判別する。この設定はモニタ１０９に表示されるメニューを見ながら撮影者が設定ボタン１１６４を操作することで設定される。

もし人物を重視した撮影モードに設定されていた場合にはステップＳ１１６に進み、風景を重視した撮影モードに設定されていた場合にはステップＳ１１１に進む。人物を重視した撮影モードに設定されているにもかかわらずこの様に顔認識が不能となる原因としては、人物がたまたま横や下を向いていたと考えられるので、ステップＳ１１６ではフォーカスレンズの現在位置を判別して、もしフォーカスレンズが過焦点距離の位置にあったならそのままステップＳ１１１に進み、それ以外の位置にあったならばステップＳ１１６で過焦点距離の位置に移動させたのちにステップＳ１１１に進む。なお、過焦点距離の位置は絞り１０２の絞り値や撮影レンズ１０１の焦点距離によって変わってくるため、このステップＳ１１７では過焦点距離の位置の代わりに絞り値によらない固定の位置（例えば撮影距離２ｍ程度）にフォーカスレンズを移動するようにしても良い。また、ステップＳ１０６で顔認識が不可能と判別された場合にここまでの説明では直ちにステップＳ１０７に進むようにしていたがこれのかわりにステップＳ１０５に戻るようにしても良い。すなわち、たまたま被写体が横を向いたりして１回だけの判定では不十分であることも考えられる。それゆえ、顔認識が不可能と判別されたらステップＳ１０５に戻り再度認識の可否の判定を行って、所定回連続して認識不可だったときに最終的に認識不可と判別するようにしても良い。これにより被写体認識の精度を向上させることができる。

ステップＳ１１５で風景撮影モードに設定されていると判別されたならばそのままのフォーカスレンズ位置でステップＳ１１１に進んでＡＥ演算を行い、その後ステップＳ１１２でＡＷＢ演算し、その後図３ステップＳ１１１８に進む。ステップＳ１１８では全押しスイッチ１１６３が押されたかどうか判別する。もし押されていなかったならば図２ステップＳ１０５に戻り、押されたならばステップＳ１１９に進んで被写体を撮影する。その後はステップＳ１２０でカメラの電源がオフされたかどうか判別し、もしオフされていなかったならば、ステップＳ１２１に進んで顔認識モードが変更されていないかどうか判別する。もし顔認識モードに設定されたままであったならば図２ステップＳ１０５に戻り、顔認識モードが変更されていたならば図２ステップ１０３に戻る。ステップＳ１２０でカメラの電源がオフされていたら顔認識モードにおける一連の撮影動作を終了する。

次に図４に基づいて初期設定の具体的内容を説明する。この初期設定においてはフォーカスレンズ位置と絞り位置を設定する。まずステップＳ１５１において絞り１０２をあらかじめ設定されている絞り値に設定する。通常、カメラの動作開始時には絞り１０２は開放または開放に近い位置に設定されている。これは、被写界深度を浅くして特定の被写体に対して合焦動作しやすいようにするためである。それに対して顔認識モードの場合には逆に被写界深度を深くしてできるだけ広い範囲の被写体に対して認識できるようにしてやる必要がある。そのために最小絞り径あるいは最小絞り径近傍に絞り値を設定してやる。次にステップＳ１５２でフォーカスレンズを前述した過焦点距離の位置に移動させる。通常コントラスト法のＡＦ動作においては電源投入時はフォーカスレンズを所定の範囲スキャンして評価値のピークを検出する。これに対して顔認識モードの場合にはＡＦ動作より顔認識動作を優先する。それゆえ、何らかの原因で至近や無限位置にフォーカスレンズが停止してしまっていた場合には人物のピントが大きく外れてしまい顔認識できなくなってしまう恐れがあるからである。この様に過焦点距離の位置にフォーカスレンズを移動させることでカメラ動作の最初から被写体に合焦した画像データを得ることが可能となり顔認識を迅速に行うことが可能となる。この過焦点距離の位置はレンズの焦点距離あるいは絞り値に基づいて演算する必要があり、これが煩わしい場合にはレンズによらないあらかじめ決められた位置に撮影レンズを移動させるようにしても良い。具体的には、０．３〜３ｍ内の固定の位置である。

これで初期設定は終了するがこれらの設定に加えて更にＡＥ演算をするようにしても良い。これは、被写体輝度が明るすぎて撮影データが飛んでいたり、逆に暗すぎて撮影データがつぶれたりした場合には顔認識が不可能となってしまうからである。それゆえ、顔認識動作の前にまずＡＥ演算部１１２１によって被写体輝度を測定して被写体をある程度の明るさになるように絞りあるいはシャッタスピードを調整する。もちろん、この初期設定においてはここに述べた３通りをすべて行う必要はなくこれらのうちから１通りあるいはいくつかの方法を適宜組み合わせて選択するようにしても良い。

次に図５を用いて図２ステップＳ１０８の被写体ロックの詳細について説明する。ステップＳ２０１では認識した被写体を所定の表示方法で識別表示する。図６にこの表示形態の一例を示す。図６において顔内部の細い実線や波線の四角表示が認識された顔であることを示している。ここでは四角の表示のうち波線で示した顔が最大の顔であることを示している。これ以外にも前述した眼幅から被写体までの概略距離を求め、その結果から最短距離にある顔を識別表示するようにしても良い。このように最大の顔を識別表示するか、あるいは最も近い顔を識別表示するかという設定は設定釦１１６４によって行う。

ステップＳ２０２では撮影者が所望する被写体を選択したかどうか判別する。この選択についてはＵ／Ｄ釦１１６５を使用する。もし選択していなかったならばステップＳ２０１に戻り、選択したならばステップＳ２０３で選択した被写体の顔の細い実線表示が波線表示になる。ステップＳ２０４では選択した被写体がロックされたかどうか判別する。具体的には撮影者が被写体を選択後、設定釦１１６４を押すことで選択した被写体がロック状態に設定さる。これにより選択した被写体がＡＦエリアあるいはＡＥエリアとして常に設定され、仮にロックした被写体が移動して他の被写体がより近くあるいはより大きくなったとしてもロックした被写体以外の他の被写体にＡＦエリアあるいはＡＥエリアが移ってしまうことが防止される。

もしロックされていなかった場合にはステップＳ２０２に戻って被写体選択を繰り返す。ロックが終了したならばステップＳ２０５でロックした被写体の四角の波線表示を太い実線表示にすることでロックされていることを識別表示する。ステップＳ２０６ではいったん設定されたロックが解除されたかどうか判別する。ロック解除は設定ボタン１１６４をもう一度押すことで解除される。これにより太い実線表示が波線表示に変わりロックが解除されたことを示す。もしロックが解除されたならばステップＳ２０２に戻り、解除されなかったならこの被写体ロックの処理を終了する。なお、ここでは被写体識別記号を四角い実線、波線、太い実線で表示するようにしたがこれを赤や青等の色を変えて表示したり、四角、三角、丸といったように形状を変えたりあるいはロック被写体を矢印で示すことで区別してもよい。

本発明によるデジタルカメラの構成を示すブロック図である。本発明によるデジタルカメラの動作シーケンスを説明するフローチャートである。本発明によるデジタルカメラの動作シーケンスを説明するフローチャートである。初期設定のシーケンスを説明するフローチャートである。被写体ロックのシーケンスを説明するフローチャートである。撮影条件を設定する時のシーケンスを説明するフローチャートである。レンズの焦点距離と眼幅から人物までの距離を求める説明図である。顔認識可能な場合のＡＦ、ＡＥ、ＡＷＢの動作を説明する図である。顔認識不可能な場合のＡＦ、ＡＥ、ＡＷＢの動作を説明する図である。

符号の説明

１０１撮影レンズ
１０２絞り
１０３撮像素子
１０４アナログ信号処理部
１０５バッファメモリ
１０６デジタル信号処理部
１０８Ｄ／Ａコンバータ
１０９ＬＣＤモニタ
１１０記録・再生信号処理部
１１１外部記憶媒体
１１２ＣＰＵ
１１３レンズ駆動部
１１４絞り駆動部
１１５撮像素子駆動部
１１６操作部材
１１７ストロボ
１２１レンズ位置検出部
１３５Ａ／Ｄコンバータ
１１２１ＡＥ演算部
１１２２ＡＷＢ演算部
１１２３特徴点抽出演算部
１１２４ＡＦ演算部
１１２５記憶部
１１６１電源スイッチ
１１６２半押しスイッチ
１１６３全押しスイッチ
１１６４設定釦
１１６５アップ／ダウン釦

Claims

被写体像を撮影する撮像手段と、
前記撮像手段によって撮影された静止画用の画像データから表示用の画像データに間引いた画像データを、前記撮像手段から一定周期で連続して出力する画像出力手段と、
前記間引いた画像データに所定処理を施し、さらに前記画像データを間引いて記録する画像記録手段と、
前記画像記録手段に記録される画像データを読み出して表示する表示手段と、
前記画像記録手段に記録される画像データに基づいて前記被写体の特徴部位を抽出する抽出手段とを備えたことを特徴とするデジタルカメラ。
前記画像出力手段は、前記撮像手段から前記画像データを３０フレーム/秒の周期で連続して出力することを特徴とする請求項１に記載のデジタルカメラ。