JP4420909B2

JP4420909B2 - 撮像装置

Info

Publication number: JP4420909B2
Application number: JP2006154242A
Authority: JP
Inventors: 宏遠藤
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2006-06-02
Filing date: 2006-06-02
Publication date: 2010-02-24
Anticipated expiration: 2026-06-02
Also published as: JP2007325053A; US7751701B2; US20070280662A1

Description

本発明は、画像から検出された人物の顔の情報に基づいてフォーカス調節を行う撮像装置に関する。

デジタルスチルカメラやビデオカメラでは、被写体を撮像するイメージセンサにより得られた画像信号を解析し、画像のコントラストによって鮮鋭な画像を判別して適切なフォーカス位置を検出するコントラスト検出方式を用いたフォーカス調節が行われる。コントラスト検出方式は、検出素子としてイメージセンサを使用できるためにコストが抑えられ、画像の鮮鋭さを判別しているので正確なフォーカス調節が行える。一方、コントラスト検出方式は、フォーカスレンズを移動するたびに画像信号を解析する必要があるために、フォーカス位置の検出に時間がかかる欠点を有している。そこで、被写体の人物の顔を識別し、人物の顔の大きさから被写体距離を推測し、これに基づいてフォーカスレンズの移動範囲を予め絞り込むことで、フォーカス調節に必要な時間を短縮できるようにした撮像装置が知られている（特許文献１参照）。
特開２００６−１８２４６号公報

しかしながら、上記特許文献１に記載の撮像装置では、コントラスト検出方式のフォーカス調節を行う範囲を従来よりも小さくしただけであるため、フォーカス調節に要する時間を十分に短縮できない欠点がある。また、被写界深度を算出し、主要な被写体が被写界深度の内部にいる時はフォーカス調節を行わないことで時間短縮を実現しているが、主要被写体が被写界深度の外部にいる時はコントラスト検出方式によるフォーカス調節を行っており、限られた場合にしか時間を短縮できない欠点がある。

本発明は、上記問題点を考慮してなされたもので、コントラスト検出方式によるフォーカス調節を行わずに従来よりもフォーカス調節の時間短縮が可能な撮像装置を提供することを目的とする。

上記目的を達成するために、本発明の撮像装置では、被写体を撮像する撮像手段と、被写体光量を調節する絞りとフォーカス調節用のフォーカスレンズを有し、焦点距離の変更が可能なズームレンズからなる撮影レンズと、前記撮像手段により得られた画像から人物の顔を識別する顔識別手段と、前記顔識別手段により識別された人物の顔の領域の明るさを被写体輝度として測定する被写体輝度測定手段と、前記撮影レンズの焦点距離と前記顔識別手段により識別された人物の顔のサイズとから被写体距離を算出する被写体距離算出手段と、前記撮影レンズの焦点距離と前記絞りの開口径と前記被写体距離とに基づいて被写界深度を算出する被写界深度算出手段と、前記被写界深度が所定の広さを有するか否かを判定する被写界深度判定手段と、前記被写界深度が前記所定の広さを有していないと判定した時に前記絞りの開口径を前記被写体輝度に対応した開口径よりも小さくしかつ前記開口径の変化分に応じて前記撮像手段の感度を上げた上で前記被写体距離に基づいて前記フォーカスレンズを移動させるとともに、前記被写界深度が所定の広さを有すると判定した時には前記絞りの開口径及び前記撮像手段の感度を維持した上で前記被写体距離に基づいて前記フォーカスレンズを移動させる制御手段と、を備えたことを特徴とする。

前記人物の顔のサイズに基づいて算出される被写体距離を第１の被写体距離とした時、被写体からの情報光と基線長とに基づいて三角測距により第２の被写体距離を算出する第２被写体距離算出手段と、前記第１の被写体距離と前記第２の被写体距離との距離の差が所定範囲内であるか否かを判定する距離判定手段を備え、前記フォーカス調節手段は、前記距離の差が所定範囲内であると判定された際に前記第１の被写体距離に基づいてフォーカス調節を実行し、前記距離の差が所定範囲外であると判定された際に前記第２の被写体距離に基づいてフォーカス調節を実行することを特徴とする。

前記フォーカス調節手段は、動画を記録する動画撮影、又は１回の撮影操作で複数の静止画を記録する連写撮影が行われる間に、前記被写体距離の変化に応じて前記フォーカスレンズを移動することを特徴とする。

本発明によれば、人物の被写体の顔のサイズに基づいて算出された被写体距離に基づいてフォーカス調節を行う際に、算出された被写体距離と絞りの大きさとに基づいて算出される被写界深度が浅い時に絞りを小さくして被写界深度を深くしているから、顔のサイズから算出された被写体距離に誤差がある場合、環境温度によるレンズの焦点距離の変化が大きい場合、レンズ位置の制御誤差がある場合でも、フォーカスレンズが移動した位置で主要な被写体が被写界深度の中に入り、適切なピントで撮影を行える。すなわち、本発明は、フォーカスレンズをサーチ駆動するコントラスト検出方式のフォーカス調節を行う場合に比べ、フォーカス調節に要する時間を短縮できる。

図１において、デジタルカメラ１０は、ズームレンズからなる撮影レンズ１１と、撮影レンズ１１により形成される被写体像を画像信号に変換するＣＣＤイメージセンサ１２とを備えている。撮影レンズ１１は、ズーム倍率の変更時に一部のレンズがズームモータ１３の駆動力により光軸方向に移動する。撮影レンズ１１には、フォーカス調節時に光軸方向に移動するフォーカスレンズ１４と開口径を調節できる可変絞り１５とが設けられている。フォーカスレンズ１４は、フォーカスモータ１６の駆動力が伝達されることにより光軸方向に移動する。可変絞り１５は、アイリスモータ１７の駆動により開口の大きさを連続的に変化させることができ、撮影レンズ１１に入射した被写体光量を調節する。また、可変絞り１５は被写界深度を調節する際に駆動される。

ＣＣＤイメージセンサ１２は、光学的な被写体像を画素ごとの信号電荷として検出し、検出された信号電荷を読み出してアナログの画像信号を生成する。増幅器２０は、ＣＣＤイメージセンサ１２から出力された画像信号を所定のゲインで増幅する。ＣＣＤイメージセンサ１２の感度は、増幅器２０のゲインによって決定する。増幅器２０により増幅された画像信号は画質補正回路２１に送られ、ガンマ補正、ホワイトバランス調節、ノイズ除去等の画質補正処理が行われる。ＡＤコンバータ２２は、画質補正処理がなされたアナログの画像信号をデジタル変換する。バッファメモリ２３は、デジタル変換された画像信号を画像データとして一時的に記憶する。

制御部２５は、デジタルカメラ１０の制御プログラムが記憶されたメモリと、制御プログラムを実行するＣＰＵと、フォーカスモータ１６及びアイリスモータ１７等を駆動するためのドライバ回路と、ＣＣＤイメージセンサ１２を駆動するためのクロックパルスを生成するクロックジェネレータとを含み、デジタルカメラ１０の各部を電気的に制御する。撮影ボタン２６は静止画撮影を行う際又は動画撮影を開始／終了する際に操作される。ズームボタン２７は撮影レンズ１１のズーム倍率を変更する際に操作され、撮影レンズ１１の焦点距離を変化させて撮影倍率を変更する光学ズームが行える。入力操作部２８は、デジタルカメラ１０の設定変更や、撮影と再生の切り替え、再生画像の選択等を行う際に使用される複数種類の入力キーから構成される。

画像圧縮伸張回路２９は、静止画像又は動画像が撮影された際に各画像データをそれぞれ決められたフォーマットで圧縮する。また、記録された画像データが読み出された際に圧縮された画像データを伸張し、再生可能な画像データに変換する。メモリカードインターフェース３０は、デジタルカメラ１０に着脱自在なメモリカード３１に画像データを記録するための制御と、メモリカード３１に記録された画像データを読み出すための制御とを行う。

ストロボ装置３２は、被写体輝度が低い場合にフラッシュ光を発光し、被写体光量を補う。液晶表示装置３３は、ＣＣＤイメージセンサ１２により画像信号に変換された被写体画像を撮影範囲の確認用の画像として表示する電子ビューファインダとして使用される。また、メモリカード３１に記録された画像データを再生画像として表示する。

被写体輝度測定回路３５は、バッファメモリ２３に記憶された画像データに基づき、画像全体又は画像の一部の平均的な明るさを被写体輝度として測定する。可変絞り１５の開口径は測定された被写体輝度に基づいて決定され、可変絞り１５によって被写体光量の調節が不可能な高輝度又は低輝度である場合には、増幅器２０のゲイン調整によって画像の明るさが調節される。

顔検出回路３６は、撮影時に得られる画像から人物の被写体の顔を検出し、画面サイズに対する顔の大きさの比率を算出する。図２に示すように、人物の顔を検出する際には、例えば、人物の両目が存在する領域Ａ１が特定され、人物の両目を検出することによって人物の有無が判断される。人物の両目が存在する領域が特定されると、人物の肌や髪の色とこれらの位置関係から顔の輪郭が特定され、肌色の領域の面積から顔の大きさが求められる。なお、顔の大きさを求める際には、両眼の間隔を測定し、測定された両眼の間隔から顔の大きさを決定することもできる。撮影レンズ１１は、フォーカス調節の可能な被写体距離のほぼ全ての範囲で錯乱円が比較的小さくなるように設計され、フォーカス調節が行われていない状態でも顔検出が行える。

被写体距離算出回路３７は、撮影レンズ１１の焦点距離と人物の顔の大きさとから、人物までの距離を被写体距離として算出する。例えば、人物が同じ位置にいる場合でも、撮影レンズ１１のズーム倍率が変わると顔の大きさは変わる。被写体距離算出回路３７は、撮影レンズ１１の焦点距離と人物の顔の大きさとに対応する被写体距離を算出する。

被写界深度算出回路３８は、算出された被写体距離と、撮影レンズ１１の焦点距離と、可変絞り１５の開口径の大きさの３種類の因子に基づいて被写界深度を算出する。図３に示すように、被写界深度は、算出された被写体距離の位置にフォーカスを合わせた際に、被写体距離の位置を基準としてフォーカスの合っている前後の範囲である。周知のように、同じ位置の被写体に対しては、撮影レンズ１１の焦点距離が長いほど被写界深度は浅くなり、可変絞り１５の開口径が大きいほど被写界深度は浅くなる。また、被写体距離が近くなるほど被写界深度は浅くなる。

被写界深度判定回路３９は、算出された被写界深度が予め決められた基準値よりも深いか浅いかを判定する。判定に用いられる基準値は、例えば、撮影レンズ１１の焦点距離によって異なる。被写界深度の深さを判定することにより、フォーカス調節に必要とされる精度が高いか低いかを判別できる。これは、フォーカスレンズ１４の移動誤差や温度特性による焦点距離の変化、被写体距離の測定誤差等によって正確なフォーカス調節が困難な場合、フォーカス調節に必要な精度が高いと鮮鋭度の高い画像が記録できなくなるためである。すなわち、被写界深度が浅い場合には精密なフォーカス調節が必要になるため、被写界深度を深くしてフォーカス精度を低くするための判定を行っている。

次にデジタルカメラ１０の作用について説明する。デジタルカメラ１０の撮影モードを実行すると、ＣＣＤイメージセンサ１２が駆動し、撮像された被写体の画像が液晶表示装置３３に表示される。撮影ボタン２６が操作されると、撮影準備動作が実行された後、画像の記録が行われる。

撮影準備動作では、人物の顔の検出と、被写体輝度に基づく絞り調節と、顔検出に基づくフォーカス調節とが行われる。顔検出回路３６は、画像から人物の目を検出し、人物の有無を判別する。画像から人物の目が検出された場合、人物の顔の面積が算出され、画像全体に対する顔の面積の比率が求められる。

被写体輝度測定回路３５は、顔検出回路３６により検出された顔の領域の画像データを抽出し、顔の領域の明るさを被写体輝度として測定する。被写体輝度の測定値は制御部２５に送られる。制御部２５は被写体輝度の測定値から可変絞り１５の開口径を決定し、アイリスモータ１７を駆動させる。

なお、顔検出回路３６により人物が検出されなかった場合には、画像全体の明るさから被写体輝度が測定され、可変絞り１５の開口径が決定される。また、フォーカス位置を検出するために画像のコントラストが検出され、最もコントラストの高い画像が得られるようにフォーカスレンズ１４が移動する。

顔検出回路３６により人物の顔が検出されると、被写体距離算出回路３７は、人物の顔の大きさと撮影レンズ１１の焦点距離とから被写体距離を算出する。被写界深度算出回路３８は、算出された被写体距離と、撮影レンズ１１の焦点距離と、可変絞り１５の開口径（Ｆ値）とから被写界深度を算出する。被写界深度判定回路３９は、算出された被写界深度を基準値と比較し、被写界深度の深さを判定する。

被写界深度判定回路３９により被写界深度が深いと判定された場合、制御部２５は、顔の大きさから算出された被写体距離に基づいてフォーカスモータ１６を駆動させ、フォーカスレンズ１４を移動させる。フォーカスレンズ１４が移動すると撮影準備動作が終了し、画像の記録が行われる。

被写界深度判定回路３９により被写界深度が浅いと判定された場合には、被写界深度算出回路３８は、判定用の基準値を満たす被写界深度を得るために必要な可変絞り１５の開口径を算出する。この時に算出される開口径は、被写体輝度によって決定された開口径よりも小さい。制御部２５は、アイリスモータ１７を駆動させ、可変絞り１５の開口径を縮小する。

可変絞り１５の開口径が縮小されると、被写界深度が深くなり、ＣＣＤイメージセンサ１２に入射する被写体光量が減少する。制御部２５は、可変絞り１５の開口径の変化分に応じて増幅器２０のゲインを上げ、ＣＣＤイメージセンサ１２の感度を高くする。これにより、被写体光量の減少による画像の明るさの低下が補正される。制御部２５は、顔の大きさから算出された被写体距離に基づいてフォーカスモータ１６を駆動させ、フォーカスレンズ１４を移動させる。

絞り径の変更による被写界深度の調節とフォーカス調節とが終了すると、ＣＣＤイメージセンサ１２により被写体が撮像され、画像データがメモリカード３１に記録される。記録された画像は、主要な被写体が被写界深度の内部に位置する適切なフォーカス調節がなされた鮮鋭な画像であり、感度調節によって適切な明るさに調節された画像である。

次に第２実施形態について説明する。図５において、デジタルカメラ５０は、被写体に向かって赤外線を投光する赤外線ダイオード５１と、被写体を反射した赤外線を受光して赤外線の受光位置を検出する位置検出センサ５２とを備えている。赤外線ダイオード５１と位置検出センサ５２は制御部５３によって制御される。

デジタルカメラ５０には、撮影画像から検出された人物の顔の大きさに基づいて第１被写体距離を算出する第１被写体距離算出回路５４と、位置検出センサ５２により検出された赤外線の位置に基づいて三角測距により第２被写体距離を算出する第２被写体距離算出回路５５とが設けられている。なお、第１被写体距離算出回路５４はデジタルカメラ１０の被写体距離算出回路３７と同じである。

被写体距離判定回路５６は、第１被写体距離と第２被写体距離とを比較し、２つの距離の差が基準値より小さいか否かを判定する。なお、２つの被写体距離の差の許容範囲としては、例えば、被写体距離の１パーセント以下、又は第１被写体距離をフォーカス位置と仮定して第２被写体距離にフォーカスを合わせた時の錯乱円を求め、その錯乱円がＣＣＤイメージセンサ１２の画素ピッチの２倍以下として定めることができる。

次にデジタルカメラ５０の作用について説明する。図６において、デジタルカメラ５０は、撮影操作を契機として顔検出回路３６により顔検出を行い、画像中の人物の有無を判別する。画像中に人物が存在しない場合、被写体輝度測定回路３５は、画像全体の平均的な明るさを被写体輝度として算出する。赤外線ダイオード５１から赤外線が投光され、被写体を反射した赤外線が位置検出センサ５２により検出される。第２被写体距離算出回路５５は第２被写体距離を算出する。

画像中に人物が存在する場合、顔検出回路３６は顔の大きさを算出する。被写体輝度測定回路３５は、顔の明るさを被写体輝度として算出する。第１被写体距離算出回路５４は、顔の大きさに基づいて第１被写体距離を算出する。赤外線ダイオード５１は赤外線を投光し、被写体を反射した赤外線が位置検出センサ５２により検出される。第２被写体距離算出回路５５は第２被写体距離を算出する。被写体距離判定回路５６は、第１被写体距離と第２被写体距離とを比較し、これらの差を基準値と比較する。第１被写体距離と第２被写体距離の差が大きいと判定された場合、人物の顔が正確に検出されていない又は主要な被写体が人物以外であることになり、三角測距により求められた第２被写体距離に基づいてフォーカス調節が行われ、画像の記録が行われる。

第１被写体距離と第２被写体距離の差が小さいと判定された場合、画像から主要被写体である人物が正確に検出されたことになる。被写界深度算出回路３８は被写界深度を算出し、被写界深度判定回路３９は算出された被写界深度の深さを判定する。被写界深度が深いと判定された場合、フォーカスレンズ１４が第１被写体距離に基づいてフォーカス位置に移動し、画像の記録が行われる。

被写界深度が浅いと判定された場合、可変絞り１５の開口径が縮小され、被写界深度が深くなる。また、ＣＣＤイメージセンサ１２の感度が高くされ、絞り径の縮小によって低下した被写体光量に応じて画像の明るさが補正される。フォーカスレンズ１４は第１被写体距離に基づいてフォーカス位置に移動し、その後に画像の記録が行われる。

このように、デジタルカメラ５０では、明るさの調節とフォーカス調節とが適切に行われることにより主要な被写体が鮮明に記録された画像を得ることができる。

なお、上記デジタルカメラ５０は、赤外線の投光部と受光部の距離を基線長とし、被写体を反射した赤外線を被写体からの情報光として検出することで第２被写体距離を測定するアクティブ測距を行っている。この他に、被写体光を情報光として使用するために、被写体光を受光する２つのセンサを設け、２つのセンサの距離を基線長とし、各センサで検出された被写体光のコントラスト差（位相差）を求めることで第２被写体距離を測定するパッシブ測距を行ってもよい。

なお、以上の実施形態は、１枚の静止画を記録するものである。本発明においては、図７に示すように、１枚の静止画を記録する単写撮影の場合には、従来のコントラスト検出方式に基づくフォーカス調節を行い、移動体を撮影対象とする動画撮影や連写撮影を行う場合のみに顔検出で得られる被写体距離に基づいた素早いフォーカス調節を行うこともできる。これにより、連写撮影された複数の画像の中にフォーカス調節の不十分な画像が生じることを防止することができる。また、動画撮影を行う際に、フォーカス位置の変化を監視するためにレンズを常に動かすウォブリングを行う必要がなくなり、レンズを動かす電力を節約できる。

また、可変絞り１５の開口径を小さくして被写界深度を深くする際に、被写体光量の低下が大きくなる場合には、レンズの焦点距離を短くするワイド側にズーム倍率を変更し、被写界深度を深く調節してもよい。また、レンズの焦点距離の変更や絞り径の変更によって所定の被写界深度が得られない場合には、顔検出によって得られた被写体距離を基準としてフォーカスレンズの移動範囲を予め制限し、制限された範囲内でフォーカスレンズを移動させてコントラスト検出方式によるフォーカス調節を行うようにしてもよい。

デジタルカメラの概略的構成を示すブロック図である。画像から検出された人物の両眼の領域を示す説明図である。被写界深度を示す説明図である。デジタルカメラの動作の流れを示すフローチャートである。第２実施形態のデジタルカメラの概略的構成を示すブロック図である。第２実施形態のデジタルカメラの動作の流れを示すフローチャートである。第３実施形態のデジタルカメラの動作の流れを示すフローチャートである。

符号の説明

１０デジタルカメラ
１１撮影レンズ
１２ＣＣＤイメージセンサ
１３ズームモータ
１４フォーカスレンズ
１５可変絞り
３５被写体輝度測定回路
３６顔検出回路
３７被写体距離算出回路
３８被写界深度算出回路
３９被写界深度判定回路
５０デジタルカメラ
５１赤外線ダイオード
５２位置検出センサ
５３制御部
５４第１被写体距離算出回路
５５第２被写体距離算出回路
５６被写体距離判定回路

Claims

被写体を撮像する撮像手段と、
被写体光量を調節する絞りとフォーカス調節用のフォーカスレンズを有し、焦点距離の変更が可能なズームレンズからなる撮影レンズと、
前記撮像手段により得られた画像から人物の顔を識別する顔識別手段と、
前記顔識別手段により識別された人物の顔の領域の明るさを被写体輝度として測定する被写体輝度測定手段と、
前記撮影レンズの焦点距離と、前記顔識別手段により識別された人物の顔のサイズとから被写体距離を算出する被写体距離算出手段と、
前記撮影レンズの焦点距離と、前記絞りの開口径と、前記被写体距離とに基づいて被写界深度を算出する被写界深度算出手段と、
前記被写界深度が所定の広さを有するか否かを判定する被写界深度判定手段と、
前記被写界深度が前記所定の広さを有していないと判定した時に、前記絞りの開口径を前記被写体輝度に対応した開口径よりも小さくし、かつ前記開口径の変化分に応じて前記撮像手段の感度を上げた上で、前記被写体距離に基づいて前記フォーカスレンズを移動させるとともに、前記被写界深度が所定の広さを有すると判定した時には、前記絞りの開口径、及び前記撮像手段の感度を維持した上で、前記被写体距離に基づいて前記フォーカスレンズを移動させる制御手段と、
を備えたことを特徴とする撮像装置。
前記被写界深度判定手段は、前記被写界深度が前記撮影レンズの焦点距離ごとに予め決められた基準値よりも深いか浅いかを判定することを特徴とする請求項１記載の撮像装置。
前記人物の顔のサイズに基づいて算出される被写体距離を第１の被写体距離とした時、被写体からの情報光と基線長とに基づいて三角測距により第２の被写体距離を算出する第２被写体距離算出手段と、
前記第１の被写体距離と前記第２の被写体距離との距離の差が所定範囲内であるか否かを判定する距離判定手段を備え、
前記フォーカス調節手段は、前記距離の差が所定範囲内であると判定された際に前記第１の被写体距離に基づいてフォーカス調節を実行し、前記距離の差が所定範囲外であると判定された際に前記第２の被写体距離に基づいてフォーカス調節を実行することを特徴とする請求項１又は２記載の撮像装置。
前記フォーカス調節手段は、動画を記録する動画撮影、又は１回の撮影操作で複数の静止画を記録する連写撮影が行われる間に、前記被写体距離の変化に応じて前記フォーカスレンズを移動することを特徴とする請求項１ないし３のいずれかに記載の撮像装置。