JP4839908B2 - 撮像装置、自動焦点調整方法、およびプログラム - Google Patents

Description

本発明は、撮像装置の視野内の被写体を認識し被写体の動きに追従して合焦する自動合焦技術に関する。

デジタルカメラなどの電子カメラでは、被写体のコントラストのピークを検出して自動的にピントを合わせるコントラスト方式ＡＦ機能（コントラスト方式オートフォーカス（自動合焦）機能）を備えるものがある。このようなＡＦ機能として、撮像時に構図の真ん中に焦点をあわせ、その際、画面中央にＡＦ枠（スポットＡＦエリア）を表示して、ピントを合わせた部分をユーザに知らせる方法（例えば、特許文献１参照）や、複数の焦点検出ゾーン（マルチＡＦエリア）の中でコントラストが所定値よりも高いコントラストゾーンのなかから最も近距離の焦点情報を選択して自動的に対象物に焦点を合わせる、いわゆるマルチフォーカス方式（例えば、特許文献２）がある。

動画像を撮像する際、被写体は必ずしも中央部にあるとは限らないので、上記特許文献１に記載の技術のように中央でピントを合わせようとすると被写体が中央になるようにカメラを移動させる必要が生じるが、動いている被写体を追いかけるのは容易ではない。また、上記特許文献２に記載の技術のようにマルチＡＦエリアのなかから最も近距離の焦点情報を選択して自動的に対象物に焦点を合わせるとしても動いている被写体が必ずしもマルチＡＦエリアに入るとは限らない。これに対し、動画像を撮像する際、被写体は必ずしも中央部にある必要はなく、被写体が移動した場合にも常に一定の大きさの被写体像を得るために、認識した顔画像の大きさによってズーム動作を行なうようにしたものがある（例えば、特許文献３参照）。

特開２０００−９２３５４号 特開平１０−１５３７３５号公報 特開平６−２１１７１８７号公報

仮に、特許文献３に記載の技術とコントラスト方式ＡＦ技術を組み合わせて、動画フレーム中で図１５に示すように顔エリア１５１を検出し、動画撮像中にそのエリアをサンプル領域としてコントラストＡＦを継続したとする（コントラスト方式コンティニュアスＡＦ）。
コントラスト方式ＡＦでは、録画中にある程度はフォーカスレンズを動かして走査（スキャン）しなければコントラストピークを検出することができない（つまり、フォーカスレンズを「遠い方」と「近い方」の間を行き来するように常に動かしていないとコントラストピークを検出できないため常にピントが変化する）ので、この合焦方式により撮像した動画を録画し、再生すると、図１６に示すように再生画像は、ピントが合う（人物１６１−１）→ピントがぼける（人物１６１−２）→ピントが合う（人物１６１−３）→ピントがぼける（人物１６８１−４）→、・・・を繰り返す映像となる。
多くのビデオカメラやデジタルカメラではコントラスト方式ＡＦを採用しているため、上述したような映像になるといった課題があった。

本発明は上記課題を解決するためになされたものであり、撮像装置の視野内の被写体を認識し、コントラスト方式ＡＦとは異なるＡＦ方式によりフォーカスレンズを移動することによりカメラを被写体の動きに追従して合焦させることのできる撮像装置、被写体認識による自動焦点調整方法、およびプログラム記録媒体の提供を目的とする。

上記課題を解決するために、請求項１に記載の発明では、動画を撮像する動画撮像手段と、前記動画撮像手段によって撮像された動画を記録保存する動画記録手段と、前記動画撮像手段によって撮像される動画を表示する動画表示制御手段と、被写体の指標を表示する指標表示手段と、前記動画表示制御手段によって表示される動画像の中の所望の被写体像のサイズと略同じサイズになるように前記指標のサイズを調整するサイズ調整手段と、前記動画撮像手段によって動画を撮像する際に動画表示制御手段によって表示される画像の中から前記サイズ調整手段によってサイズが調整された指標像を検出する指標像検出手段と、前記動画撮像手段によって動画を撮像する際に被写体までの距離を測定する距離測定手段と、前記動画撮像手段によって動画を撮像する際に被写体の特徴データを取得する特徴データ取得手段と、前記動画撮像手段によって動画を撮像する際に該動画撮像手段の撮像範囲における前記指標像のサイズを取得する撮像サイズ取得手段と、前記距離測定手段によって測定された前記被写体までの距離及び前記撮像サイズ取得手段によって取得された前記指標像のサイズを基に前記被写体の実サイズを推計する被写体サイズ推計手段と、前記特徴データ取得手段によって取得された特徴データ及び前記被写体サイズ推計手段によって推計された被写体の実サイズデータを対応付けて記憶する記憶手段と、前記動画撮像手段によって動画を撮像する際に前記特徴データ取得手段によって被写体の特徴データを取得し、合致する特徴データが前記記憶手段によって記憶されている場合は、前記距離測定手段による距離測定に替えて、該特徴データに対応付けて記憶されている実サイズ及び前記撮像サイズ取得手段によって取得された前記指標像のサイズを基に被写体距離を推計する被写体距離推計手段と、前記被写体距離推計手段によって推計された被写体距離及び前記距離測定手段により測定された被写体距離に対応する位置にフォーカスレンズを移動する合焦位置調整制御手段と、を備えたことを特徴とする撮像装置を提供する。
これにより、ユーザは動画撮像撮影時に１回大きさをスルー表示される画像中所望の被写体の画像の大きさと同じ大きさになるように指標のサイズを調整するだけでその被写体の動きに追従してその被写体とカメラとの距離を推計し、フォーカスレンズをその推計距離に応じた位置に移動させるので、コントラスト方式のオートフォーカスの場合のようにレンズ位置を合焦位置に収斂させるためのレンズ走査を必要とせず、動画撮影中にピントがふらつくようなことが生じない。

また、請求項２に記載の発明では、被写体距離推計手段によって推計された被写体距離を含む被写界深度の範囲を示すレンズアドレスが複数存在するときに、該被写体距離が増加したか減少したかを判定する距離増減判定手段を備え、合焦位置調整制御手段は、被写体距離が増加した場合には複数のレンズアドレスに対応する被写界深度の後側被写界深度から被写体距離を差し引いた値が最大の被写界深度に対応するレンズアドレスにフォーカスレンズを移動し、被写体距離が減少した場合には、被写体距離から複数のレンズアドレスに対応する被写界深度の前側被写界深度を差し引いた値が最大の被写界深度に対応するレンズアドレスにフォーカスレンズを移動することを特徴とする請求項１に記載の撮像装置を提供する。
これにより、前側被写界深度と後側被写界深度が少し重複した被写界深度テーブルを用いることにより、ピントの急激な変化が生じないので不自然感がなく、コントラスト方式のオートフォーカスにより動画を撮像する際に生じる「ピントがふらふらする」感じをより低減することができる。

また、請求項３に記載の発明では、動画撮像時に撮像される動画を表示する工程と、被写体の指標を表示する工程と、表示されている動画像の中の所望の被写体像のサイズと略同じサイズになるように前記指標のサイズを調整する工程と、動画を撮像する際に表示される動画像の中から、前記サイズ調整済みの指標を検出する工程と、動画を撮像する際に被写体までの距離を測定する工程と、動画を撮像する際に被写体の特徴データを取得する工程と、動画を撮像する際に撮像素子の撮像範囲における前記指標像のサイズを取得する工程と、測定された前記被写体までの距離及び取得された前記指標像のサイズを基に前記被写体の実サイズを推計する工程と、取得された特徴データ及び推計された被写体の実サイズデータを対応付けて記憶手段に記憶する工程と、動画を撮像する際に被写体の特徴データを取得し、合致する特徴データが前記記憶手段によって記憶されている場合は、前記距離を測定する工程による距離測定に替えて、該特徴データに対応付けて記憶されている実サイズ及び前記指標像のサイズを基に被写体距離を推計する工程と、前記被写体距離を推計する工程によって推計された被写体距離及び前記距離を測定する工程によって測定された被写体距離に対応する位置にフォーカスレンズを移動する工程と、を備えたことを特徴とする自動焦点調整方法を提供する。
これにより、動画撮像撮影時に１回大きさをスルー表示される画像中所望の被写体の画像の大きさと同じ大きさになるように指標のサイズが調整されるとその被写体の動きに追従してその被写体とカメラとの距離を推計し、フォーカスレンズをその推計距離に応じた位置に移動させるので、コントラスト方式のオートフォーカスの場合のようにレンズ位置を合焦位置に収斂させるためのレンズ走査を必要とせず、動画撮影中にピントがふらつくようなことが生じない。

また、請求項４に記載の発明では、コンピュータに、動画を撮像する機能と、撮像された動画を記録保存する機能と、撮像される動画を表示する機能と、被写体の指標を表示する機能と、表示されている動画像の中の所望の被写体像のサイズと略同じサイズになるように前記指標のサイズを調整する機能と、動画を撮像する際に表示される動画の中から、前記サイズ調整済みの指標像を検出する機能と、動画を撮像する際に被写体までの距離を測定する機能と、動画を撮像する際に被写体の特徴データを取得する機能と、動画を撮像する際に撮像素子の撮像範囲における前記指標像のサイズを取得する機能と、測定された前記被写体までの距離及び取得された前記指標像のサイズを基に前記被写体の実サイズを推計する機能と、取得された特徴データ及び推計された被写体の実サイズデータを対応付けて記憶手段に記憶する機能と、動画を撮像する際に被写体の特徴データを取得し、合致する特徴データが前記記憶手段によって記憶されている場合は、前記距離を測定する機能による距離測定に替えて、該特徴データに対応付けて記憶されている実サイズ及び前記指標像のサイズを基に被写体距離を推計する機能と、前記被写体距離を推計する機能によって推計された被写体距離及び前記距離を測定する機能によって測定された被写体距離に対応する位置にフォーカスレンズを移動する機能と、を実行させるプログラムを提供する。
これにより、動画撮像撮影時に１回大きさをスルー表示される画像中所望の被写体の画像の大きさと同じ大きさになるように指標のサイズが調整し、その被写体の動きに追従してその被写体とカメラとの距離を推計し、フォーカスレンズをその推計距離に応じた位置に移動させるので、コントラスト方式のオートフォーカスの場合のようにレンズ位置を合焦位置に収斂させるためのレンズ走査を必要とせず、動画撮影中にピントがふらつくようなことが生じない。

本発明によれば、動画撮像時に被写体の動きに追従したシャープな映像の撮像ができる。

本発明の自動焦点調整方法は、被写体の顔や身長等のサイズを検出し、撮像素子の撮像範囲における被写体のサイズとレンズ焦点距離から推算される「被写体距離」を算定し、この被写体距離に対応する位置にフォーカスレンズを移動させることにより動画撮像時に被写体の動きに追従したシャープな映像の撮像を可能とする。

（実施形態１）
図１は、本発明に係る撮像装置の一実施例としてのデジタルカメラの外観を示す図であり、ここでは主として正面（図１（ａ））及び背面（図１（ｂ））の外観を示す。デジタルカメラ１００は、図１（ａ）に示すように正面側に撮像レンズ（レンズ群）２を有している。また、デジタルカメラ１００の背面には図１（ｂ）に示すように、モードダイアル３、液晶モニタ画面４、カーソルキー５、ＳＥＴキー６、ズームボタン７（Ｗボタン７−１、Ｔボタン７−２）、メニューキー１０等が設けられている。また、上面にはシャッターキー８、電源ボタン９が設けられている。なお、側部には図示されていないが、パーソナルコンピュータ（以下、パソコン）やモデム等の外部装置とＵＳＢケーブルに接続する場合に用いるＵＳＢ端子接続部が設けられている。

図２は、図１に示したデジタルカメラの電子回路構成の一実施例を示すブロック図である。図２（ａ）で、デジタルカメラ１００は、基本モードである撮像モードにおいて、ズームレンズ１２−１を移動させて光学ズーム動作を行わせるズーム駆動部１１−１、フォーカスレンズ１２−２を移動させて合焦動作を行わせるＡＦ駆動部１１−２、ズームレンズ１２−１及びフォーカスレンズ１２−２を含む撮像レンズ２を構成するレンズ光学系１２、撮像素子であるＣＣＤ１３、タイミングジェネレータ（ＴＧ）１４、垂直ドライバ１５、サンプルホールド回路（Ｓ／Ｈ）１６、Ａ／Ｄ変換器１７、カラープロセス回路１８、ＤＭＡ（Direct Memory Access）コントローラ１９、ＤＲＡＭインターフェイス（Ｉ／Ｆ）２０、ＤＲＡＭ２１、制御部２２、ＶＲＡＭコントローラ２３、ＶＲＡＭ２４、デジタルビデオエンコーダ２５、ＬＣＤ２６、データ圧縮・伸張回路２７、メディアコントローラ２８、キー入力部３０、音声処理部３１、認識部３２、人物識データベース３３、および輪郭抽出部３４を備えている。

撮像モードでのモニタリング状態においては、ズーム駆動部１１−１は、光学ズーム指示があると制御部２２からの制御信号に基づいて図示しないズームレンズ駆動モータを駆動してズームレンズ１２−１を光軸に沿って前後に移動させることによりＣＣＤ１３に結像させる画像の倍率そのものを変化させる。
また、ＡＦ駆動部１１−２は図示しないフォーカスレンズ駆動モータを駆動してフォーカスレンズ１２−２を移動させる。
そして、上記撮像レンズ２を構成する光学系１２の撮像光軸後方に配置された撮像素子であるＣＣＤ１３が、タイミングジェネレータ（ＴＧ）１４、垂直ドライバ１５によって走査駆動され、一定周期毎に結像した光像に対応する光電変換出力を１フレーム分出力する。

ＣＣＤ１３は被写体の二次元画像を撮像する固体撮像デバイスであり、典型的には毎秒数十フレームの画像を撮像する。なお、撮像素子はＣＣＤに限定されずＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの固体撮像デバイスでもよい。

この光電変換出力は、アナログ値の信号の状態でＲＧＢの各原色成分毎に適宜ゲイン調整された後に、サンプルホールド回路（Ｓ／Ｈ）１６でサンプルホールドされ、Ａ／Ｄ変換器１７でデジタルデータ（画素）に変換され、カラープロセス回路１８で画像補間処理及びγ補正処理を含むカラープロセス処理が行われて、デジタル値の度信号Ｙ及び色差信号Ｃｂ、Ｃｒが生成され、ＤＭＡ（Direct Memory Access）コントローラ１９に出力される。

ＤＭＡコントローラ１９は、カラープロセス回路１８の出力する輝度信号Ｙ及び色差信号Ｃｂ、Ｃｒ（以下、ＹＵＶデータ）を、同じくカラープロセス回路１８からの複合（composite）同期信号、メモリ書き込みイネーブル信号、及びクロック信号を用いてＤＲＡＭインターフェイス（Ｉ／Ｆ）２０を介してで予め設定された画像サイズに変換された後、１フレーム分のデータが順次バッファメモリとして使用されるＤＲＡＭ２１にＤＭＡ転送され。なお、ＤＭＡコントローラ１９ではオートアイリス（ＡＥ）、ホワイトバランス（ＷＢ）、輪郭強調などの画像の品質向上のための処理も行われる。

静止画モードでの撮像時にＤＲＡＭ２１に格納された１フレーム分のＹＵＶデータはＶＲＡＭコントローラ２３に送られ、そこでビデオ信号に変換された後、ＬＣＤ（液晶表示部）２６によりスルー画像として表示される。

静止画モードでの撮像時にＤＲＡＭ２１に格納された１フレーム分のＹＵＶデータはデータ圧縮・伸張回路２７でＪＰＥＧ方式等によってデータ圧縮後コード化され、ＤＲＡＭ内でファイル化された後、メディアコントローラ２８を介して記録メディア２９に静止画データ（静止画ファイル）として記録される。

動画モードでの撮像時にはＤＲＡＭ２１に格納されたＹＵＶデータは順次データ圧縮・伸張回路２７に送られ、所定の動画記録方式（例えば、Ｍｏｔｉｏｎ−ＪＰＥＧやＭＰＥＧ）のコーデックによりデータ圧縮した後にコード化され、ＤＲＡＭ２１内でファイル化された後、メディアコントローラ２８を介して動画ファイルとして記録メディア２９に記録される。なお、動画撮像のフレームレートはタイミングジェネレータ１４で生成されるタイミング信号によって決まり、コード化されるデータの圧縮率はデータ圧縮・伸張回路２７内の電子化テーブル値によって決定される。

制御部２２は、このデジタルカメラ１００全体の制御動作を司るものであり、ＣＰＵ若しくはＭＰＵ（以下、ＣＰＵ）と、後述するような被写体認識による自動焦点調整プログラムを含む該ＣＰＵで実行される動作プログラムや被写界深度対応テーブル５０（図４）を記憶したフラッシュメモリ等のプログラム格納メモリ、及びワークメモリとして使用されるＲＡＭ等により構成され、上記ＹＵＶデータのＤＲＡＭ２１へのＤＭＡ転送終了後に、このＹＵＶデータをＤＲＡＭインターフェイス２０を介してＤＲＡＭ２１から読出し、ＶＲＡＭコントローラ２３を介してＶＲＡＭ２４に書込む。

制御部２２は、また、キー入力部３０からの状態信号に対応してフラッシュメモリ等のプログラム格納用メモリに格納されている各モードに対応の処理プログラムやメニューデータを取り出して、デジタルカメラ１００の各機能の実行制御、例えば、動画撮像モード時に自動焦点調整機能がオンの場合に行う被写体認識による自動焦点調動作制御や、光学ズーム時のズームレンズの動作制御や、電子ズームや、スルー表示、自動合焦、撮像、記録、及び記録した画像の再生・表示等の実行制御等や機能選択時の機能選択メニューの表示制御、設定画面の表示制御等を行う。

制御部２２は合焦指示に応じてその時点でＣＣＤ１３から取込んでいる１フレーム分のＹＵＶデータのＤＲＡＭ２１へのＤＭＡ転送の終了後、直ちにＣＣＤ１３からのＤＲＡＭ２１への経路を停止し、記録保存の状態に遷移する。

この保存記録の状態では、制御部２２がＤＲＡＭ２１に書込まれている１フレーム分のＹＵＶデータをＤＲＡＭインターフェイス２０を介してＹ、Ｃｂ、Ｃｒの各コンポーネント毎に縦８画素×横８画素の基本ブロックと呼称される単位で読み出してＪＰＥＧ（Joint Photograph cording Experts Group）回路２７に書込み、このデータ圧縮・伸張回路２７でＡＤＣＴ（Adaptive Discrete Cosine Transform：適応離散コサイン変換）、エントロピー符号化方式であるハフマン符号化等の処理によりデータ圧縮する。そして得た符号データを１画像のデータファイルとしてデータ圧縮・伸張回路２７から読出し、メディアコントローラ２８に記録保存する。また、１フレーム分のＹＵＶデータの圧縮処理及びメディアコントローラ２８を介しての記録メディア２９への全圧縮データの書込み終了に伴って、制御部２２はＣＣＤ１３からＤＲＡＭ２１への経路を再び起動する。

また、基本モードである再生モード時には、制御部２２が記録メディ３０に記録されている画像データをメディアコントローラ２８を介してを選択的に読出し、データ圧縮・伸張回路２７で画像撮像モード時にデータ圧縮した手順とまったく逆の手順で圧縮されている画像データを伸張し、伸張した画像データをＶＲＡＭコントローラ２３を介してＶＲＡＭ２４に展開して記憶させた上で、このＶＲＡＭ２４から定期的に読出し、これらの画像データを元にビデオ信号を生成してＬＣＤ２６で再生出力させる。

デジタルビデオエンコーダ２５は、上記ＹＵＶデータをＶＲＡＭコントローラ２３を介してＶＲＡＭ２４から定期的に読み出し、これらのデータを基にビデオ信号を生成して上記ＬＣＤ２６に出力する。

ＬＣＤ２６は、上述したように撮像モード時にはモニタ表示部（電子ファインダ）として機能するもので、デジタルビデオエンコーダ２５からのビデオ信号に基づいた表示を行うことで、その時点でＶＲＡＭコントローラ２３から取込んでいる画像情報に基づく画像をリアルタイムにＬＣＤ２６に表示することになる。また、ＬＣＤ２６には画像だけでなく、必要に応じてデジタルカメラ１００における各種の機能に関する選択や設定を行うためのメニュー画面や設定画面も表示される。

データ圧縮・伸張回路２７は、静止画または動画の再生時には記録メディア２９から読み出された静止画や動画データを伸張し、静止画データや動画像のフレームデータとしてＤＲＡＭ２１に展開する。展開された画像は表示コントローラ２１に送られ、そこでビデオ信号に変換された後、ＬＣＤ２６により再生画像として表示される。

上記データ圧縮・伸張回路２７は複数の圧縮率に対応しており、圧縮率に対応させて記憶するモードには圧縮率の低い高解像度（一般に、高精細、ファイン、ノーマルなどと呼ばれる）に対応するモードと圧縮率の高い低解像度（一般にエコノミーなどと呼ばれる）モードがある。
また、高画素数から低画素数にも対応している。例えば、ＳＸＧＡ（１６００×１２００）、ＸＧＡ（１０２４×７８６）、ＳＶＧＡ（８００×６００）、ＶＧＡ（６４０×４８０）、ＱＶＧＡ（３２０×２４０）等と呼ばれる画素サイズがある。

メディアコントローラ２８は画像記録制御手段に相当し、記録メディア２９に画像データや撮像情報等の書き込み制御および記録メディア２９からの画像データや撮像情報等の読み出し制御を行う。

記録メディア２９は本発明の動画記録手段に相当し、ＤＲＡＭ（フラッシュメモリ）やハードディスク、あるいは着脱可能なメモリカード等の記録媒体からなり、画像データや撮像情報等を保存記録する。

キー入力部３０は、上述したモードダイアル３、カーソルキー５、ＳＥＴキー６、ズームボタン７（Ｗボタン７−１、Ｔボタン７−２）、シャッターキー８、電源ボタン９、およびメニューキー１０と、キーが操作されると操作されたキーの操作信号を生成してＣＰＵ２３に送出するキー処理部（図示せず）等から構成されている。

モードダイアル３は撮像モードや再生モードの選択を行うものである。ユーザはモードダイアル３を操作して、（静止画）通常撮像モード、マクロ撮像モード、連写モード、速写モード、・・、動画撮像モード、・・・等の撮像モードを選択することができる。

カーソルキー５はモード設定やメニュー選択等に際して液晶モニタ画面４に表示されるメニューやアイコン等をカーソルでポイント（指定）する際に操作するキーであり、カーソルキー５の操作によりカーソルを上下又は左右に移動させることができる。また、ＳＥＴキー６はカーソルキー５によってカーソル表示されている項目を選択設定する際にも押されるキーである。またＳＥＴキー６を確認キーとして用いることもできる。

ズームボタン７は、ズーム操作に用いられ、光学ズームの場合はズームボタン７（Ｗボタン７−１またはＴボタン７−２）の操作に対応してズームレンズ（可変焦点距離レンズ）１２−１がワイド側またテレ側に移動されズームボタン７の操作に対応してズーム値が決定され、ズーム値の変化に追従して画角が実際に変化し、液晶モニタ画面４にはワイド（広角）画像又はテレ（望遠）画像が表示される。

シャッターキー８は、撮像時にレリーズ操作を行うもので、２段階のストロークを有しており、１段目の操作（半押し状態）でオートフォーカス（ＡＦ）と自動露出（ＡＥ）を行わせるための合焦指示信号を発生し、２段目の操作（全押し状態）で撮像処理を行うための撮像指示信号を発生する。

音声処理部３１は、動画撮像時においてカメラ本体に内蔵されたマイク（図示せず）に入力した音声をデジタル信号に変換し、データ圧縮後にオーディオデータとしてＤＲＡＭ２１に送る。ＤＲＡＭ２１に送られたオーディオデータはフレームデータとともにストリームデータとして記録メディア２９に順次書き込まれる。また、音声処理部３１は、動画撮像時には、ＤＲＡＭ２１から送られたオーディオデータを復号し、アナログの音声信号に変換した後、カメラ本体に内蔵された内蔵スピーカ（図示せず）から音声出力させる。

認識部３２は、動画の各フレームの画像信号から人物の顔を認識し、認識データベースに登録したり、登録済みの顔との比較を行ない、同一人物の顔を検出する。また、顔は顔画像を区画する矩形領域として取得するようにしてもよい。また、認識部３２を図２（ｂ）に示すように各コマの人物像の顔の特徴データを抽出する特徴抽出部３２−１と、人物データベース３３に登録されている人物の顔の特徴データと認識部３２で認識した顔から抽出した特徴部分を比較する特徴比較部３２−２と、認識部３２で認識した顔が人物データベース３３に登録されていない場合にその顔の特徴データおよび顔のサイズを登録する登録部３２−３とを含むように構成し、登録済みの人物の顔と認識した顔の比較を特徴比較部３２−２で行なうようにしてもよい。なお、上記した顔の検出方法は考え方の一例であってその他公知の方法を用いることもできる。例えば、前述した特許文献３（特開平６−２１７１８７号公報）に記載の顔の認識方法を適宜採用することができる。また、動画中の指定されたコマから顔画像を検出して動画中の指定されたコマから抽出された個人の顔データと比較して人物を特定する方法は、公知の方法、例えば、前述した特許文献１（特開２００４−１４５５６３号公報）を適宜採用することができる。この認識処理のために専用の回路を設けてもよいし、ＣＰＵ２３でこの認識処理用のプログラムを実行させるようにしてもよい。

認識データベース３３は、動画の各フレームの画像信号から抽出した顔の特徴データおよび身長を含む認識データ４０（図３参照）からなる。認識データ４０は例えば図３（ａ）に示すように、顔の特徴データを記憶する特徴データ欄４１と個人の身長（pixels）を記憶した身長欄４３（pixels）を含んでなる。このようにすることにより、後述するように認識された身長がＣＣＤ１３の撮像範囲内に占める高さと、登録済みの身長とＣＣＤ１３のサイズ係数から被写体とカメラとの距離を得ることができる。なお、認識データ４０に身長欄４３に代えて顔の縦サイズを記憶する顔サイズ欄を設けるようにしてもよい。この場合は、認識された顔の縦サイズがＣＣＤ１３の撮像範囲内に占める高さと、登録済みの顔の縦サイズから被写体とカメラとの距離を得ることができる。また、図３（ｂ）に示すように顔の縦サイズ（pixels）を記憶する顔サイズ欄４２を含むようにしてもよい。認識データベース３３は記録メディア２９の所定領域を記録領域として用いるようにしてもよいし、専用のメモリを用いるようにしてもよい。特徴データ欄４１に記憶する特徴データとして、例えば、顔の各部位（目、鼻、口、耳、額顎、・・・等）の位置や、各部位のサイズや、各部位の角度や、顔の各部位間の相対関係等を用いることができる。

輪郭抽出部３４は、認識部３２で認識した顔を基にその人物全体の輪郭を抽出し、輪郭のサイズ情報（高さ、幅）を出力する。人物の輪郭抽出方法は公知の方法（例えば、特開平０７−２７４０６７号公報や特開２００４−２９７２７４号公報に記載の輪郭抽出方法）を適宜採用することができる。

図４はレンズアドレスと被写界深度を対応付けた被写界深度対応テーブルの一実施例を示す図である。被写界深度は被写体にピントを合わせたときにピントの合ったところだけでなくその前後でシャープに写る範囲であり、レンズの焦点距離、絞り、撮像距離によって変化する。被写界深度対応テーブル５０はレンズアドレス５１に前側被写界深度５２と後側被写界深度５３を対応付けてなり、レンズアドレス５１はフォーカスレンズ１２−２の位置を表す指標であり、前側被写界深度５２と後側被写界深度５３は図示の例ではメートル単位で表されている。図示の例で、フォーカスレンズ１２−２のアドレスが「５」のときは「１．５ｍ」〜「２．００ｍ」の間でピントが合うことを意味し、「６」のときは「１．００ｍ」〜「１．５ｍ」の間でピントが合うことを意味し、・・・、フォーカスレンズ１２−２のアドレスが「１０」のときは「０．０５ｍ」〜「０．１５ｍ」の間でピントが合うことを意味する。本実施例では被写界深度対応テーブル５０をＲＯＭ等のプログラム格納メモリに予め格納しておくようにしたが、被写体認識による自動焦点調整プログラムムの定数として自動焦点調整プログラムに含めておくようにしてもよい。

図５は本実施形態に係わる被写体認識による自動焦点調整時の制御動作を示すフローチャートであり、デジタルカメラ１００に被写体認識による自動焦点調整機能（ステップＳ４〜ステップＳ２０に相当）を実現させるためのプログラムを説明するためのものである。以下に示す処理は基本的にＣＰＵが予めフラッシュメモリ等のプログラムメモリに記憶されたプログラムに従って実行する例で説明するが、全ての機能をプログラムメモリに格納する必要はなく、必要に応じて、その一部若しくは全部をネットワークを介して受信して実現するようにしてもよい。以下、図１〜図５に基いて説明する。なお、以下の各フローチャートでは動画撮像モードを例として説明するが、本発明の適用範囲は動画撮像モードに限定されず、例えば、前述した高速連写モードでの連続撮像画像（高速連写画像）の撮像時にも適用できる。

図５で、動画撮像モードが選択されると、制御部２２はその時点のズーム値に対応した焦点距離でＡＥ処理を実行し、光学系１２からの被写体像を基にＣＣＤ１３から画像データを得ると共に自動ホワイトバランス（ＡＷＢ）処理により光源の色に対応したホワイトバランスになるようにカラープロセス回路１８で調整を施した上で、ＤＭＡコントローラ１９及びＤＲＡＭインターフェイス（Ｉ／Ｆ）２０を介してＤＲＡＭ２１にＤＭＡ転送し、ＤＲＡＭ２１に取り込んだ画像データから画素数を間引いた映像データ（ビデオスルー画像データ）でＶＲＡＭ２７を書き換えてＬＣＤ２６にスルー表示する。また、この際、制御部２２は距離推計による自動焦点調整機能選択用のメニューをＬＣＤ２６の画面４の所定領域に表示してユーザに選択を促し、ユーザが距離推計による自動焦点調整機能を選択すると自動焦点調整機能をオンにする（ステップＳ１）。

ユーザがシャッターキー８を全押しすると動画撮像を開始すると共に（ステップＳ２）、自動焦点調整機能がオンか否かを調べ、オンの場合はステップＳ４に進み、そうでない場合は他の処理（例えば、通常の動画撮像処理）に進む（ステップＳ３）。

自動焦点調整機能がオンの場合は、制御部２２は被写体までの距離Ｌの計算用パラメータである、焦点距離ｆ、ＣＣＤ１３のサイズ係数ｎ（つまり、１／ｎインチＣＣＤとして表す場合のｎ）、およびＣＣＤ１３の撮像範囲の高さＹ１（pixels）をセットする。

制御部２２は、認識部３２を制御して現在スルー表示されている画像（つまり、現在ＤＲＡＭ２１に取り込まれている画像データ）中の人物の顔を検出し（ステップＳ５）、検出した顔の特徴データを抽出する（ステップＳ６）。なお、図示していないがステップＳ５で１フレーム分の画像データから顔が検出できない場合（つまり、人物がそのスルー画像のフレームに写っていない場合）は顔が検出されるまで次のフレーム分の画像を取り込んでスルー表示する動作を続けるものとする。また、ステップＳ５は本発明の被写体検出手段に相当する。

次に、制御部２２は認識データベース３３を参照し（ステップＳ７）、上記ステップＳ６で検出した顔の特徴データと認識データベース３３に登録されている認識データの顔の特徴データ４１とを比較し、特徴量の差が所定の閾値以内のとき認識データ登録済みとしてステップＳ１３に進み、そうでない場合はステップＳ９に進む（ステップＳ８）。

認識データが登録されていないときは、制御部２２は輪郭抽出部３４を制御して上記ステップＳ５で検出した顔を含む被写体人物の輪郭を抽出してその人物の身長がＣＣＤ中で占める高さＹ２（pixels）を求め（ステップＳ９）、１回だけコントラスト式オートフォーカスを行ってその被写体人物までの距離Ｘ０を取得し（ステップＳ１０）、上記ステップＳ４で設定したＣＣＤ１３のサイズ係数ｎ、ＣＣＤ１３の撮像範囲の高さＹ１、上記ステップＳ９で取得した高さＹ２、上記ステップＳ１０で取得した距離Ｘ０を基に人物の身長ＬをＬ＝Ｘ０×（Ｙ２／Ｙ１）×ｎとして算出し（ステップＳ１１）、上記ステップＳ６で取得した顔の特徴データと共に認識データを生成して認識データベース３３に登録し、ステップＳ１６に進む（ステップＳ１２）。ここで、ステップＳ９は本発明の撮像サイズ検出手段に相当する。なお、Ｙ１＝４８０ピクセル（pixels）、Ｙ２＝４００ピクセルとし、身長＝１８０ｃｍと算出された場合のＣＣＤ１３の撮像範囲での画像イメージを図６に示す。

認識データが登録済みのときは、制御部２２は認識データベース３３に登録されている身長Ｈ（身長データ４２）を読み出し（ステップＳ１３）、輪郭抽出部３４を制御して上記ステップＳ５で検出した顔を含む被写体人物の輪郭を抽出してその人物の身長がＣＣＤ中で占める高さＹ２を求め（ステップＳ１４）、被写体人物との推計距離Ｌを算定する（ステップＳ１５）。推計距離Ｌは、例えば、ＣＣＤ１３の撮像範囲の高さサイズを４８０ピクセルとしたとき、Ｌ＝｛（Ｈ×ｎ×f）／１１．８｝×（Ｙ２／Ｙ１）として算出できる。ここで、Ｈは実際の身長（＝認識データベースに登録されている身長）、fは焦点距離である。ここで、ステップＳ１４、Ｓ１５は本発明の第１の被写体距離推計手段に相当する。

次に、制御部２２はＡＦ駆動部１１−２を制御して算出された推計距離に該当するレンズステップ位置（＝レンズアドレス（図４参照））までフォーカスレンズ１２−２を移動させてステップＳ２１に進む（ステップＳ１６）。ステップＳ１６は本発明の第１の合焦位置調整制御手段に相当する。

制御部２２は、認識部３２を制御してＣＣＤ１３を介してＤＲＡＭ２１に取り込まれる１フレーム分の画像データ中の人物の顔を検出し、ステップＳ１８に進む（ステップＳ１７）。なお、図示していないがステップＳ１８で１フレーム分の画像データから顔が検出できない場合（つまり、人物がそのスルー画像のフレームに写っていない場合）は顔が検出されるまで次のフレーム分の画像を取り込んでスルー表示する動作を続けるものとする。

制御部２２は、輪郭抽出部３４を制御して上記ステップＳ１７で検出した顔を含む被写体人物の輪郭を抽出してその人物の身長がＣＣＤ中で占める高さＹ２を求め（ステップＳ１８）、被写体人物との推計距離Ｌを算出する（ステップＳ１９）。推計距離Ｌは上記ステップＳ１５の説明で述べたと同様にして算出できる。ここで、ステップＳ１８、Ｓ１９は本発明の第２の被写体距離推計手段に相当する。

次に、制御部２２はＡＦ駆動部１１−２を制御して算出された推計距離Ｌに該当するレンズステップ位置（＝レンズアドレス（図４参照））までフォーカスレンズ１２−２を移動させて（ステップＳ２０）、ＣＣＤ１３を介してＤＲＡＭ２１に取り込んだ画像データから１フレーム分の動画像データを生成し（ステップ２１）、画像バッファに記憶する（ステップＳ２２）。画像バッファとしてＤＲＡＭ２１の所定領域を用いるようにしてもよいし、専用の画像バッファを設けるようにしてもよい。ここで、ステップＳ２０は本発明の第２の合焦位置調整制御手段に相当する。

制御部２２は画像バッファが一杯になったか否かを調べ、一杯になった場合はステップＳ２４に進み、そうでない場合はステップＳ１７に戻る（ステップＳ２３）。

画像バッファが一杯になった場合は、制御部２２はデータ圧縮・伸張回路２７を制御して動画像データの圧縮処理を行うと共に、メディアコントローラ２０を制御して圧縮動画像データを記録メディア２９に記録する（ステップＳ２４）。

制御部２２はキー入力３０からの信号を調べ、ユーザが動画撮像終了操作（例えば、シャッターキー８の全押し）を行った場合は動画撮像を終了し、そうでない場合はステップＳ１７に戻って動画撮像を続行する（ステップＳ２５）。

上記図５のフローチャートに示した動作により、デジタルカメラ１００は人物の顔を認識し、その人物像のＣＣＤ１３の撮像範囲における高さを検出してカメラと被写体人物との推計距離を得てフォーカスレンズを移動させるので、コントラスト方式のオートフォーカスの場合のようにレンズ位置を合焦位置に収斂させるためのレンズ走査を必要とせず、動画撮像中に図１６に示すようにピントがふらつくようなことが生じない。

（変形例１）
上記図５のフローチャートに示した例では、ステップＳ１４若しくはステップＳ１８で抽出した人物の輪郭６１が図７に示すようにフレーム内に収まらない場合は身長を基にした被写体人物との距離Ｌを推計できないこととなる。このような場合には顔６２の縦サイズを基に距離Ｌを推計することができる。この場合、認識データベース３３は図３（ｂ）に示すように、顔の特徴データ４１、顔の縦サイズ４２、および身長４３を含む認識データからなるものとする。

図８は変形例１に係る被写体認識による自動焦点調整時の制御動作を示すフローチャートであり、図８のフローチャートのステップＳ１〜Ｓ１４、Ｓ１６〜Ｓ１８、Ｓ２０〜Ｓ２５の動作は、ステップＳ１１を「・・人物の身長および顔の縦サイズを算出し、」ステップＳ１２で「認識データベースに特徴データと共にステップＳ１１で取得した物の身長および顔の縦サイズを含む認識データを生成して認識データベース３３に登録し、ステップＳ１７に進む」と変更する以外は、図５に示したフローチャートのステップＳ１〜Ｓ１３、Ｓ１６〜Ｓ１８、Ｓ２０〜Ｓ２５の動作と同様である。

図８において、ステップＳ１４（若しくはステップＳ１８）で顔を含む被写体人物の輪郭を抽出してその人物の身長がＣＣＤ中で占める高さＹ２を求めたあと（図５参照）、制御部２２は高さＹ２とフレームの縦サイズを比較し、高さＹ２がフレームの縦サイズを超える場合、つまり、被写体人物の全身像がフレーム内に収まらない場合はステップＳ１５−２に進み、高さＹ２がフレームの縦サイズ以内の場合はステップＳ１５−５に進む（ステップＳ１５−１）。

身長がフレームの縦サイズを超える場合は、制御部２２は認識データ４０から顔の縦サイズｈを読み出し（ステップＳ１５−２）、更に、ＣＣＤ中で顔の縦サイズが占める高さＹ３を検出し（ステップＳ１５−３）、高さＹ３つまり顔サイズを基にして被写体人物との推計距離Ｌを算出し、ステップＳ１６（若しくはステップＳ２０）に進む（ステップＳ１５−４）。推計距離Ｌは、例えば、ＣＣＤ１３の撮像範囲の高さサイズを４８０ピクセルとしたとき、Ｌ＝｛（ｈ×ｎ×f）／１１．８｝×（Ｙ２／Ｙ１）として算出できる。ここで、ｈは実際の顔の縦サイズ（＝認識データベース３３に登録されている顔の縦サイズ）、fは焦点距離である。

身長がフレームの縦サイズ内の場合は、高さＹ２つまり身長を基にして被写体人物との推計距離Ｌを算出し、ステップＳ１６（若しくはステップＳ２０）に進む（ステップＳ１５−５）。この場合の推計距離Ｌは、例えば、ＣＣＤ１３の撮像範囲の高さサイズを４８０ピクセルとしたとき、Ｌ＝｛（Ｈ×ｎ×f）／１１．８｝×（Ｙ２／Ｙ１）として算出できる。ここで、Ｈは実際の身長（＝認識データベース３３に登録されている身長）、fは焦点距離である。ここで、ステップＳ１４、Ｓ１５−１〜Ｓ１５−５は本発明の第１の被写体距離推計手段に相当し、ステップＳ１８、Ｓ１９−１〜Ｓ１９−５の動作はステップＳ１４、Ｓ１５−１〜Ｓ１５−５の動作と同様であり、本発明の第２の被写体距離推計手段に相当する。

上記図８に示したフローチャートの動作により、動画撮像中に被写体人物が近づきすぎてその全身像がフレーム内に収まらなくなったような場合にも被写体人物との距離Ｌを推計できるので、近距離の場合も被写体に追従して合焦させることができる。

上記変形例１では被写体人物が近づきすぎてその全身像がフレーム内に収まらなくなったような場合に認識データ４０に記憶されている顔のサイズを検出するようにしたが、認識データ４０に顔のサイズが登録されていなくても身長が登録されていれば、登録されている身長を基に顔のサイズを得ることができるので、認識された顔のサイズのＣＣＤ１３の撮影範囲内での高さと身長から取得した顔のサイズから被写体人物とカメラとの距離を算出できる。顔のサイズＰは、例えば、登録されている身長をＱとすれば、Ｐ＝Ｑ／Ｒとして得ることができる。ここで、Ｒは係数であり、性別や年齢層、若しくは人種によって異なる値にしてもよい。

（変形例２）
上記図５のフローチャートに示した例では、被写体人物が１人の場合を例としたが、本発明の被写体認識による自動焦点調整方法は被写体人物が複数の場合にも適用することができる。
図９は被写体人物が複数の場合の自動焦点調整方法の説明図であり、複数の人物のうち最もカメラに近い人に選択的に焦点を合わせる例を示す。図９の例で、人物９１、９２、９３のうちカメラとの距離が２ｍで最も近い人物９２に自動的に焦点を合わせるようにする。具体的には図５のフローチャートのステップＳ４で複数の顔を抽出した場合は抽出した人数分ステップＳ５〜Ｓ１５の処理を繰り返してそれぞれの人物とカメラとの距離を求め、ステップＳ１６で算出された最も短い推計距離ｌに該当するレンズステップ位置（＝レンズアドレス（図４参照））までフォーカスレンズ１２−２を移動させてステップＳ２１に進むようにし、ステップＳ１７では上記ステップＳ１６で合焦したカメラに最も近い人物（つまり、モット裳大写しになっている人物）を抽出するようにする。

（変形例３）
上記図９に示した例では複数の人物のうち最もカメラに近い人に選択的に焦点を合わせるようにしたが、複数の人物とカメラとの平均的距離に選択的に焦点を合わせるようにしてもよい。例えば、図１０に示す人物９１、９２、９３の３人とカメラとの距離をそれぞれ２ｍ、３．３ｍ、４．１ｍとするとき、カメラとの距離範囲２ｍ〜４．１ｍができるだけ被写界深度に収まるような位置（＝２．７ｍ）に自動的に焦点を合わせるようにする。具体的には、図５のフローチャートのステップＳ４で複数の顔を抽出した場合は抽出した人数分ステップＳ５〜Ｓ１５の処理を繰り返してそれぞれの人物とカメラとの距離を求め、ステップＳ１５でそれらの距離のうちから更にカメラとの距離範囲（最遠距離と最近距離）を取得し、図４に示したような被写界深度対応テーブル（図４の例では被写界深度対応テーブル５０）を参照して、カメラとの距離範囲が被写界深度に収まるようなレンズアドレスを求め、ステップＳ１６でそのレンズステップ位置（＝レンズアドレス）までフォーカスレンズ１２−２を移動させてステップＳ２１に進むようにし、ステップＳ１７〜Ｓ２５でも同様の動作を繰り返すようにする。このようにすることにより、複数の人物のシャープな映像を撮像することができる。

（変形例４）
上記図５のフローチャートでは、ＣＣＤ１３中で被写体人物の大きさが変化するとそれに基づいて推計距離Ｌを算出し、直ちにステップＳ２０で、算出された推計距離Ｌに該当するレンズステップ位置（＝レンズアドレス）までフォーカスレンズ１２−２を移動させるようにしたが、直ちにはフォーカスレンズ１２−２の移動を行わず、被写界深度から外れそうになった場合に低速でフォーカスレンズの移動を行うようにしてもよい。また、その制御にある程度のヒステリシス特性を持たせるようにしてもよい。

図１１は被写体人物の大きさの変化に伴う被写界深度の変化の説明図であり、図１１（ａ）〜図１１（ｃ）は被写体人物１３１の大きさの変化の例、図１１（ｄ）〜図１１（ｆ）は被写体人物１３１の変化に応じて変化する被写界深度の例を示す。
図１１（ａ）に示すように被写体人物１１１とカメラとの距離Ｌが１．８ｍとすると距離Ｌは図１１（ｄ）に示すように被写界深度２ｍ〜３ｍ内にある。次に、図１１（ｂ）に示すようにカメラ視野内の被写体人物１１１の大きさが変化して距離Ｌ＝２．８ｍになると、距離Ｌは図１１（ｅ）に示すように被写界深度２ｍ〜３ｍの範囲内にあるが被写体人物１３１の大きさがこのまま変化すると被写界深度をはみ出しそうである。そこで、図１１（ｃ）に示すように距離Ｌ＝２．８ｍの時点で距離Ｌを含む次の被写界深度（図１１（ｆ）の被写界深度２．５ｍ〜４．４ｍのレンズステップ位置（＝レンズアドレス）までフォーカスレンズ１２−２を移動させるようにする。

図１２は変形例４に係る被写体認識による自動焦点調整時の制御動作を示すフローチャートであり、図５のステップＳ２０に代えて下記ステップＳ２０−１〜Ｓ２０−５を設けた例である。

図１２において、ステップＳ１９で被写体人物とカメラとの推計距離Ｌが算定されると、制御部２２は被写界深度対応テーブル（例えば、図４の被写界深度対応テーブル５０）を距離Ｌでサーチして、距離Ｌが被写界深度の範囲内（図４の例では前側被写界深度５２と後側被写界深度５３）の間にあるレンズアドレスを取り出す（ステップＳ２０−１）。

制御部２２は被写界深度対応テーブルから取り出したレンズアドレスが複数あるか否かを調べ、複数ある場合はステップＳ２０−６）に進み、１つの場合はステップＳ２０−４に進む（ステップＳ２０−２）。

距離Ｌが複数組の被写界深度の範囲内の間にある場合は、制御部２２は距離Ｌが前回の距離より増加したか減少したかを調べ、増加した場合（つまり、被写体人物との距離が長くなった場合）はステップＳ２０−４に進み、減少した場合（被写体人物との距離が短くなった場合）はステップＳ２０−５に進む（ステップＳ２０−３）。

距離Ｌが前回の距離より増加した場合は、距離Ｌが被写界深度の後側被写界深度（図４参照）と最も離れている被写界深度のレンズアドレスを取り出すものとする（ステップＳ２０−４）。例えば、図１１（ｂ）に示したように距離Ｌ＝２．８の場合、図４の被写界深度対応テーブル５０をサーチすると被写界深度２ｍ〜３ｍ（レンズアドレス＝３）と被写界深度２．５ｍ〜４．４ｍ（レンズアドレス２）の範囲内に距離Ｌ＝２．８が収まる。このような場合、後側被写界深度と距離Ｌの差はレンズアドレス３の場合は△Ｄ３＝３ｍ−２．８ｍ＝０．２ｍとなり、レンズアドレス２の場合は△Ｄ２＝４．４ｍ−２．８ｍ＝１．４ｍとなる。したがって△Ｄ３＜△Ｄ２となり、図１１（ｃ）に示す被写界深度２．５ｍ〜４．４ｍに対応するレンズアドレス２が取得されることなる。

距離Ｌが前回の距離より減少した場合は、距離Ｌが被写界深度の前側被写界深度（図４参照）と最も離れている被写界深度のレンズアドレスを取り出すものとする（ステップＳ２０−５）。例えば、距離Ｌ＝２．８の場合、図４の被写界深度対応テーブル５０をサーチすると被写界深度２ｍ〜３ｍ（レンズアドレス＝３）と被写界深度２．５ｍ〜４．４ｍ（レンズアドレス２）の範囲内に距離Ｌ＝２．８が収まる。このような場合、距離Ｌと前側被写界深度の差はレンズアドレス３の場合は△Ｄ３＝２．８ｍ−２ｍ＝０．８ｍとなり、レンズアドレス２の場合は△Ｄ２＝（２．８−２．５ｍ＝０．３ｍとなる。したがって△Ｄ３＞△Ｄ２となり、被写界深度２．５ｍ〜３ｍに対応するレンズアドレス３が取得されることなる。

制御部２２は、ＡＦ駆動部１１−２を制御して上記ステップＳ２０−１、Ｓ２０−４若しくはステップ２０−５で取得したレンズステップ位置（＝レンズアドレス）までフォーカスレンズ１２−２を移動させてステップＳ２１に進む（ステップＳ２０−６）。

上記図１２のフローチャートに示すように、被写界深度が少し重複した被写界深度テーブルを用いることにより、ピントの急激な変化が生じないので不自然感がなく、コントラスト方式のオートフォーカスにより動画を撮像する際に生じる「ピントがふらふらする」感じ（図１６参照）を低減することができる。

（実施形態２）
上記実施形態１およびその各変形例では人物のみを被写体とし、顔や身体を自動認識してその縦方向のサイズを基にＣＣＤ１３中の被写体人物の縦サイズを求め、それを基に被写体との推計距離Ｌを算出し、算出された推計距離Ｌに該当するレンズステップ位置にフォーカスレンズ１２−２を移動させるようにしたが、本発明はその一部を変更することにより被写体が人物以外の場合にも適用することができる。

図１３は本実施形態による被写体認識方法の説明図である。本実施形態では動画撮像準備時（図５のステップＳ１〜Ｓ１６に相当）にスルー表示される画像中に図示のような枠１３１（被写体サイズ検出用の指標）を表示し、その大きさを変化させて合焦対象とする被写体１３２を枠内収めるようにしたあと被写体１３２までの距離を１回だけ測定し、枠１３１の像の高さを検出する。また、このとき取得した枠１３１の縦サイズＨを被写体１５２の縦サイズとして認識データベース３３に登録し、撮像時の推計距離算出時に用いるようにする。

図１４は本実施形態に係る被写体認識による自動焦点調整時の制御動作を示すフローチャートであり、図５（および図１２）のステップＳ９、Ｓ１０〜Ｓ１２に代えて下記ステップＳ９−１〜Ｓ９−４、およびステップＳ１０〜Ｓ１２を設けた例である。なお、本実施形態では図５（および図１２）のフローチャートのステップＳ１〜Ｓ８、ステップＳ１３〜Ｓ２５とそれら各ステップの説明において「身長」を「枠の縦サイズ」、「被写体人物」を「被写体」、「顔」を「被写体の特定部分」と読み替えるものとする。また、認識データ４０の説明においても「身長」を「枠の縦サイズ」、「被写体人物」を「被写体」、「顔」を「被写体の特定部分」と読み替えるものとする。

図１４において、ステップＳ８で認識データが登録されていないと判定されたときは、制御部２２は枠１３１をＬＤ２６に表示してユーザに大きさを変化させ、所望の被写体を囲むように促す（ステップＳ９−１）。

ユーザはカーソルキー５を用いて枠１３１の大きさを変化させると共にカメラを移動させて枠１３１内に所望被写体１３２が収まるようにするので、制御部２２はキー入力部３０からの信号を調べ、カーソルキー５の操作に応じてＬＣＤ２６に表示される枠１３１の大きさを変化させ（ステップＳ９−２）、確認操作（この例ではＳＥＴキー６の押し下げ）があると（ステップＳ９−３）、制御部２２はその枠の縦サイズがＣＣＤ中で占める高さＹ２（pixels）を求め、ステップＳ１０に進む（ステップＳ９−４）。ステップＳ９−２での枠１３１の拡大／縮小操作は、例えばカーソルキー５を右（＞）操作すると所定分枠１３１を拡大し、カーソルキー５を右（＞）操作すると所定分枠１３１を縮小するようにできる。また、枠１３１が被写体１３２に外接する程度まで拡大／縮小操作することが望ましい。

次に、制御部２２は枠１３１内に存在する被写体に対し１回だけコントラスト式オートフォーカスを行ってその被写体１３２までの距離Ｘ０を取得し、ステップＳ１１に進み（ステップＳ１０）、上記ステップＳ４で設定したＣＣＤ１３のサイズ係数ｎ、ＣＣＤ１３の撮像範囲の高さＹ１、上記ステップＳ９−４で取得したＣＣＤ１３中の被写体像１３２の高さＹ２、上記ステップＳ１０で取得した距離Ｘ０を基に被写体の縦サイズをＬ＝Ｘ０×（Ｙ２／Ｙ１）×ｎとして算出し（ステップＳ１１）、上記ステップＳ６で取得した被写体の特徴データと共に認識データを生成して認識データベース３３に登録し、ステップＳ１６に進む（ステップＳ１２）。これにより、以降のオートフォーカス（つまり、ステップＳ１７〜Ｓ２０のオートフォーカス動作）では被写体１３２の像がＣＣＤ１３中に占める高さＹ２のみが推計距離Ｌの変数となる。

上記図１６のフローチャートに示した動作により、ユーザは動画撮像開始時にスルー表示される画像中所望の被写体の画像を枠で囲むだけでその被写体の動きに追従してその被写体とカメラとの距離を推計し、フォーカスレンズをその推計距離に応じた位置に移動させてピントを合わせることができる。

以上、本発明のいくつかの実施例について説明したが本発明は上記各実施例に限定されるものではなく、種々の変形実施が可能であることはいうまでもない。例えば、撮像装置という用語は、デジタルカメラ等の電子カメラのほかやカメラ付き携帯電話機や撮像機能を有する情報機器、映像機器などにも適用し得るものである。

本発明に係る撮像装置の一実施例としてのデジタルカメラの外観を示す図である。 図１に示したデジタルカメラの電子回路構成の一実施例を示すブロック図である。 認識データベースを構成する認識データの一実施例を示す図である。 レンズアドレスと被写界深度を対応付けた被写界深度対応テーブルの一実施例を示す図である。 実施形態１に係わる被写体認識による自動焦点調整時の制御動作を示すフローチャートである。 ＣＣＤの撮像範囲での画像イメージを示す図である。 人物の大きさがフレーム内に収まらない例を示す図である。 変形例１に係る被写体認識による自動焦点調整時の制御動作を示すフローチャートである。 変形例２に係わる自動焦点調整方法の説明図である。 変形例３に係わる自動焦点調整方法の説明図である。 被写体人物の大きさの変化に伴う被写界深度の変化の説明図である。 変形例４に係る被写体認識による自動焦点調整時の制御動作を示すフローチャートである。 実施形態２に係わる被写体認識方法の説明図である 実施形態２に係る被写体認識による自動焦点調整時の制御動作を示すフローチャートである。 顔エリアをサンプル領域としてコントラストＡＦを行う場合の説明図である。 コントラスト方式ＡＦで撮像した画像のピント状態の説明図である。

符号の説明

１１−２ ＡＦ駆動部
１２−１ ズームレンズ
１２−２ フォーカスレンズ
１３ ＣＣＤ
２１ ＤＲＡＭ
２２ 制御部
２６ ＬＣＤ
２７ データ圧縮・伸張部
２９ メディアコントローラ
３０ 記録メディア
３２ 認識部
３３ 認識データベース
３４ 輪郭抽出部
６１ 被写体人物
６２ 顔
１００ デジタルカメラ
１３１ 被写体
１５１ 枠

Claims (4)

1. 動画を撮像する動画撮像手段と、
   前記動画撮像手段によって撮像された動画を記録保存する動画記録手段と、
   前記動画撮像手段によって撮像される動画を表示する動画表示制御手段と、
   被写体の指標を表示する指標表示手段と、
   前記動画表示制御手段によって表示される動画像の中の所望の被写体像のサイズと略同じサイズになるように前記指標のサイズを調整するサイズ調整手段と、
   前記動画撮像手段によって動画を撮像する際に動画表示制御手段によって表示される画像の中から前記サイズ調整手段によってサイズが調整された指標像を検出する指標像検出手段と、
   前記動画撮像手段によって動画を撮像する際に被写体までの距離を測定する距離測定手段と、
   前記動画撮像手段によって動画を撮像する際に被写体の特徴データを取得する特徴データ取得手段と、
   前記動画撮像手段によって動画を撮像する際に該動画撮像手段の撮像範囲における前記指標像のサイズを取得する撮像サイズ取得手段と、
   前記距離測定手段によって測定された前記被写体までの距離及び前記撮像サイズ取得手段によって取得された前記指標像のサイズを基に前記被写体の実サイズを推計する被写体サイズ推計手段と、
   前記特徴データ取得手段によって取得された特徴データ及び前記被写体サイズ推計手段によって推計された被写体の実サイズデータを対応付けて記憶する記憶手段と、
   前記動画撮像手段によって動画を撮像する際に前記特徴データ取得手段によって被写体の特徴データを取得し、合致する特徴データが前記記憶手段によって記憶されている場合は、前記距離測定手段による距離測定に替えて、該特徴データに対応付けて記憶されている実サイズ及び前記撮像サイズ取得手段によって取得された前記指標像のサイズを基に被写体距離を推計する被写体距離推計手段と、
   前記被写体距離推計手段によって推計された被写体距離及び前記距離測定手段により測定された被写体距離に対応する位置にフォーカスレンズを移動する合焦位置調整制御手段と、
   を備えたことを特徴とする撮像装置。
2. 前記被写体距離推計手段によって推計された被写体距離を含む被写界深度の範囲を示すレンズアドレスが複数存在するときに、該被写体距離が増加したか減少したかを判定する距離増減判定手段を備え、
   前記合焦位置調整制御手段は、被写体距離が増加した場合には前記複数のレンズアドレスに対応する被写界深度の後側被写界深度から被写体距離を差し引いた値が最大の被写界深度に対応するレンズアドレスにフォーカスレンズを移動し、被写体距離が減少した場合には、前記被写体距離から前記複数のレンズアドレスに対応する被写界深度の前側被写界深度を差し引いた値が最大の被写界深度に対応するレンズアドレスにフォーカスレンズを移動することを特徴とする請求項１に記載の撮像装置。
3. 動画撮像時に撮像される動画を表示する工程と、
   被写体の指標を表示する工程と、
   表示されている動画像の中の所望の被写体像のサイズと略同じサイズになるように前記指標のサイズを調整する工程と、
   動画を撮像する際に表示される動画像の中から、前記サイズ調整済みの指標を検出する工程と、
   動画を撮像する際に被写体までの距離を測定する工程と、
   動画を撮像する際に被写体の特徴データを取得する工程と、
   動画を撮像する際に撮像素子の撮像範囲における前記指標像のサイズを取得する工程と、
   測定された前記被写体までの距離及び取得された前記指標像のサイズを基に前記被写体の実サイズを推計する工程と、
   取得された特徴データ及び推計された被写体の実サイズデータを対応付けて記憶手段に記憶する工程と、
   動画を撮像する際に被写体の特徴データを取得し、合致する特徴データが前記記憶手段によって記憶されている場合は、前記距離を測定する工程による距離測定に替えて、該特徴データに対応付けて記憶されている実サイズ及び前記指標像のサイズを基に被写体距離を推計する工程と、
   前記被写体距離を推計する工程によって推計された被写体距離及び前記距離を測定する工程によって測定された被写体距離に対応する位置にフォーカスレンズを移動する工程と、
   を備えたことを特徴とする自動焦点調整方法。
4. コンピュータに、
   動画を撮像する機能と、撮像された動画を記録保存する機能と、撮像される動画を表示する機能と、
   被写体の指標を表示する機能と、
   表示されている動画像の中の所望の被写体像のサイズと略同じサイズになるように前記指標のサイズを調整する機能と、
   動画を撮像する際に表示される動画の中から、前記サイズ調整済みの指標像を検出する機能と、
   動画を撮像する際に被写体までの距離を測定する機能と、
   動画を撮像する際に被写体の特徴データを取得する機能と、
   動画を撮像する際に撮像素子の撮像範囲における前記指標像のサイズを取得する機能と、
   測定された前記被写体までの距離及び取得された前記指標像のサイズを基に前記被写体の実サイズを推計する機能と、
   取得された特徴データ及び推計された被写体の実サイズデータを対応付けて記憶手段に記憶する機能と、
   動画を撮像する際に被写体の特徴データを取得し、合致する特徴データが前記記憶手段によって記憶されている場合は、前記距離を測定する機能による距離測定に替えて、該特徴データに対応付けて記憶されている実サイズ及び前記指標像のサイズを基に被写体距離を推計する機能と、
   前記被写体距離を推計する機能によって推計された被写体距離及び前記距離を測定する機能によって測定された被写体距離に対応する位置にフォーカスレンズを移動する機能と、
   を実行させるプログラム。

Images