JP4953770B2 - 撮像装置 - Google Patents

Description

本発明は撮像装置に関し、特に顔検出技術を利用した合焦制御を行う撮像装置に関する。

従来、デジタルカメラなどの撮像装置においては、オートフォーカス機構が広く用いられている。オートフォーカス機構における合焦位置の検出方法には様々なものが提案されている。代表的な方法としては、例えば、特許文献１に開示されるように、画像信号に含まれる周波数成分（直流成分を除く）が合焦位置で最大になることを利用し、画像信号に含まれる周波数成分の量を評価値として合焦状態を検出する方法が知られている。

なお、このような合焦位置の検出は、通常、撮像画像の部分領域に対して実行される。そして、特許文献２では、合焦位置を検出する領域を決定する方法として、撮像画像に含まれる人物の眼を検出し、検出された眼を含む領域で合焦位置を検出するようにすることが開示されている。

一方、特許文献３及び特許文献４では、撮像画像を複数の領域に分割し、領域の位置に応じて重み付けをして合焦制御を行う場合に、光学系の特性による像の歪みを考慮した重み付け値を用いることが提案されている。

更に、特許文献５では、光学系による像の歪みが生じている場合に、被写体の状態、フォーカシングおよびフレーミングを的確に把握するために、像の歪みを補正した画像を表示する方法が提案されている。

特開平３−１６６８号公報 特開２００５−１２８１５６号公報 特開平５−２５７８９３号 特開平６−２３７４１３号公報 特開平１１−０８８７３２号公報 特開平９−２５１５３４号公報 M.A.Turk and A.P.Pentland, "Face recognition using eigenfaces", Proc. of IEEE Conf. on Computer Vision and Pattern Recognition, pp.586-591, 1991.

撮像装置において、例えば、ビューファインダーに表示するために逐次撮影している画像から被写体の顔領域を検出し、顔領域に対して合焦制御を行う場合を考える。この場合、撮像装置の光学系での歪みが殆どない場合には、撮像画像に歪み補正することなく表示画像として用いることができる。

従って、撮像画像から検出された顔領域を示す枠の位置と、表示画像中の顔領域との対応は適正である。なお、合焦制御を行う領域をユーザに報知するために表示される枠をフォーカス枠、実際の合焦制御に用いられる、フォーカス枠に対応した撮像画像中の領域を合焦制御領域と呼ぶ。

図６は、光学系の歪みが無視できる程度である場合の表示画像とフォーカス枠との例を示す図である。なお、図面において、図６のように画像中に示されるグリッドは、画像の歪みの程度を視覚的に掴みやすくするために付加されたものであり、実際には表示されない。図６では、グリッドで表される正方形に歪みがなく、光学系の歪みが無視できる程度（つまり、歪み補正の必要がない程度）であることを示している。

このような場合、フォーカス枠１１１及び１１２は、表示画像中の顔領域と対応した位置に表示されることはもちろん、表示画像の元となっている撮像画像中の顔領域ともよく対応している。これは、撮像画像から表示画像を生成する際に歪み補正を行っていないことから当然の結果である。

フォーカス枠１１１及び１１２と撮像画像の顔領域との対応が適正であるため、合焦制御領域内の合焦制御では、被写体の顔の位置における合焦評価値が最も高くなる。図８（ａ）が、この状態を表しているものとする。

一方、図７に示すように、光学系の特性により、撮像画像に歪みが生じたとする。図７では、グリッドの変形からたる型歪みが生じていることが分かる。このように一見して判別できるような歪みを有する画像を表示することは好ましくないため、表示画像の生成時に歪み補正が行われる。そして、歪み補正された表示画像に基づいて顔検出処理が行われる。その結果、撮像画像に歪みが生じた場合も、図６と同等の表示がなされ、見かけ上は区別が付かない。しかし、見かけ上フォーカス枠１１１及び１１２が示す領域と、合焦制御領域との関係は、撮像画像に歪みがない場合と異なったものとなる。

つまり、歪み補正後の表示画像における顔領域に対応したフォーカス枠１１１及び１１２の位置は、歪みを有する撮像画像における顔領域に対応したフォーカス枠１１３及び１１４の位置から、歪みに応じた量だけずれることになる。

この結果、フォーカス枠１１１及び１１２に対応した撮像画像中の領域を用いて合焦制御の評価値を求めると、顔とは異なる被写体に合焦するように制御してしまう場合がある。例えば、図７に示す例では、撮像画像中の、フォーカス枠１１１及び１１２に対応する領域内に、背景の家のように高コントラストの被写体が含まれる。そのため、顔領域ではなく、家に焦点が合うように制御してしまう。図８（ｂ）は、焦点制御領域中に含まれる顔以外の画像の影響によって顔とは異なる距離の評価値が高くなった合焦評価値の例を示す。

このように、従来技術では、表示用の画像から検出した顔領域の情報を、そのまま撮像画像に当てはめて焦点制御領域を決定していた。そのため、撮像画像の歪みが無視できる程度で、表示用画像が歪み補正されない場合には問題ないが、歪みが無視できず、表示用画像が歪み補正される場合には、顔領域でない部分に合焦してしまう虞があった。

本発明はこのような従来技術の問題点を解決するためになされたものであり、撮像画像に歪みが生じた場合であっても正しく顔領域に合焦可能な撮像装置を提供することを目的とする。

上述の目的は、光学系により結像された被写体像を画像データに変換する撮像手段と、画像データに反映された光学系による光学歪みを補正し、補正画像データを出力する歪み補正手段と、画像データと補正画像データに対して顔検出処理を行い、検出された顔領域を示す顔領域情報を出力する顔検出手段と、顔検出手段が出力する顔領域情報のうち、画像データに対する顔領域情報に基づいて、画像データの顔領域に含まれる画像データを特定し、当該特定された画像データに基づいて光学系の合焦状態を検出する焦点検出手段と、補正画像データに、補正画像データに対する顔領域情報に基づくフォーカス枠を重畳させて表示装置に表示する表示制御手段とを有することを特徴とする本発明の撮像装置によって達成される。

このような構成により、本発明によれば、撮像画像に歪みが生じた場合であっても正しく顔領域に合焦可能な撮像装置が実現できる。

＜第１の実施形態＞
以下、添付図面を参照して本発明の好適な実施形態について説明する。
図１は、本発明の第１の実施形態に係る撮像装置の一例としてのデジタルカメラ１００の機能構成例を示すブロック図である。

図１において、光学系２は１枚又は複数枚のレンズで構成され、被写体像を結像する。光学系２は、自動焦点制御に用いるフォーカスレンズも備えている。被写体像の光学歪みは、被写体からの光線が光学系２を通過する過程で、光学系２を構成するレンズの収差によって生じる。

モータ４は光学系２のフォーカスレンズを移動させる。撮像素子１０は例えば数百万画素程度の画素数を有する光電変換素子であり、ＣＣＤセンサーやＣＭＯＳセンサーなどが一般に用いられる。光学系２が結像した被写体像を撮像素子１０により画素単位の電気信号（画像信号）に変換する。なお、撮像素子１０には通常カラーフィルターや光学ローパスフィルタ等の周辺部品が設けられるが、本発明とは直接関係ないため説明を省略する。

撮像素子１０から読み出されたアナログ画像信号は、Ａ／Ｄ変換器１２によりデジタル画像データに変換される。

フレームバッファ１４は、ＤＲＡＭやＤＲＡＭの読み書きを制御するメモリコントローラなどで構成される。フレームバッファ１４は、Ａ／Ｄ変換器１２からの画像データや、後述する現像処理部１６からの現像済み画像データを一時的に蓄えるために用いられる。

現像処理部１６は、Ａ／Ｄ変換器１２からのデジタル画像データやフレームバッファ１４で保持されたデジタル画像データに対して現像処理を行う。具体的には、例えばデジタルカメラで一般的に用いられるＪＰＥＧ形式の画像データファイルを生成する前段階のＹＵＶデータを生成する。

歪み補正部１８は、光学系２を構成するレンズの収差によって被写体像及び撮像画像データに生じる光学歪み、例えば糸巻き型やたる型の歪みを補正し、歪みの無い被写体像を表す画像データ（補正画像データ）を出力する。本実施形態において、歪み補正部１８は、フレームバッファ１４に記憶された画像データに対し、読み出し方法を調整することにより画像データに反映された光学歪みを補正する。

顔検出部２０は、現像処理部１６が出力するＹＵＶ形式の画像データ又は、歪み補正部１８が出力する補正画像データに対して顔検出処理を行い、被写体中に含まれる人間の顔の領域（顔領域）を検出する。顔検出部２０における顔検出結果は、顔領域情報（例えば顔領域の位置情報）として表示制御部２２及び測距領域指定部２８へ供給される。表示制御部２２は、顔検出部２０からの顔領域情報に基づき、補正画像データにおける顔領域を示すフォーカス枠を決定し、フォーカス枠の表示データを生成する。フォーカス枠は、例えば顔領域に外接する方形状の枠である。そして、表示制御部２２は、表示部２３に対し、フレームバッファ１４からの画像データもしくは歪み補正部１８からの補正画像データと、フォーカス枠との合成画像データを表示させる。なお、本実施形態においては説明及び理解を容易にするため、常に補正画像データを表示するものとする。

なお、顔検出部２０が検出する顔領域は必ずしも顔全体を含む必要はなく、顔の一部領域であっても良い。なお、一部領域である場合には、少なくとも眼の領域を含むことが好ましい。

表示部２３は、例えばＬＣＤであり、デジタルカメラ１００の各種設定を行うためのユーザインタフェースを表示したり、撮影した画像を再生表示したり、電子ビューファインダーとして機能したりする。なお、表示部２３はテレビジョン受像機やディスプレイモニタの様な外部装置であっても良い。

測距領域指定部２８は、顔検出部２０からの顔領域情報に基づき、撮像画像データ中の、合焦制御に用いる合焦制御領域を決定する。具体的には、測距領域指定部２８は、現像処理部１６が出力するＹＵＶ形式の画像データに対し、顔領域情報が示す顔領域に対応する領域（例えば顔領域に外接する方形状領域）を合焦制御領域として指定する。そして、測距領域指定部２８は、指定した合焦制御領域に関する情報（例えば、合焦制御領域の位置と大きさを表す情報）をフォーカス用評価値取得部３０へ出力する。

フォーカス用評価値取得部３０は、測距領域指定部２８から供給される合焦制御領域に関する情報に基づいて、現像処理部１６から合焦制御領域に対応する輝度（Ｙ）成分データを取得し、この輝度成分データから光学系の合焦状態を示すフォーカス用評価値を算出する。フォーカス用評価値は、合焦制御部３２へ供給される。このフォーカス用評価値取得部３０と合焦制御部３２をあわせて焦点検出部と称する。

合焦制御部３２は、フォーカス用評価値取得部３０からの評価値を受けて、フォーカスモータ駆動部３４を制御し、評価値が最大となる位置を探索する。フォーカスモータ駆動部３４は、合焦制御部３２からの指示によってモータ４を制御し、光学系２に含まれるフォーカスレンズを移動させる。

次に、本実施形態における歪み補正部１８の動作についてさらに説明する。
光学レンズには収差があるため、光学レンズを介して結像される被写体像には光学歪みが発生する。撮像素子は光学系２が結像する被写体像をそのまま画像信号に変換するため、画像信号も被写体像が有する光学歪みの影響を受ける。代表的な光学歪みには、図２（ａ）に示すような「糸まき型歪み」や図２（ｂ）に示すような「たる型歪み」がある。図２は、点線で示した範囲の被写体の像が、光学歪みにより実線の形状で結像されていることを示す。

被写体像の光学歪みは、例えば、被写体像をデジタルデータ化し、歪みに応じて画素データを再配置することで補正することが可能である。
例えば、図３のように、たる型歪みが生じた画像を補正する場合を考える。図３においては、Ａ〜Ｄ点が歪みによりａ〜ｄ点に結像した状態を示している。この場合、実線で示される歪んだ被写体像は、Ａ／Ｄ変換器１２によりデジタル画像データに変換され、フレームバッファ１４に一時記憶される。

歪み補正部１８は、補正後の画像を生成する際、Ａ点の画素としてａ点の画素を、Ｂ点の画素としてｂ点の画素を、Ｃ点の画素としてｃ点の画素を、Ｄ点の画素としてｄ点の画素をそれぞれ読み出すことにより、歪みを補正した画像を生成することができる。なお、歪みによりＡ−Ｂ間の画素数と実際のａ−ｂ間の画素数とが異なる場合、補間や間引きなどにより画素数を合わせることができる。光学歪みを補正する方法については、従来からさまざまな提案がされており、また本発明においてはどのような補正方法も理論上使用可能であるため、これ以上の説明は行わない。

次に、顔検出部２０の動作について説明する。
本実施形態において、人物の顔領域の検出には、公知の顔検出技術を利用できる。
具体的には、非特許文献１に記載されるような、主成分分析による固有顔（eigenface）を用いた方法や、特許文献６に記載されるような、目、鼻、口等の特徴点を利用した方法を利用可能である。これらの方法は、入力画像と複数の標準パターンとのパターンマッチング結果に基づき、入力画像中に人物の顔が含まれているかどうかを判定するものである。

本実施形態では、顔検出部２０に予め人物の顔の標準パターンを保持させておく。そして、顔検出部２０は、フレームバッファ１４のＤＲＡＭに保存されている撮像画像データ又は、歪み補正部１８が出力する補正画像データと、標準パターンとの間でパターンマッチングを行い、人物の顔が含まれるか否かを判定する。人物の顔と判定される領域（顔領域）が検出された場合、顔検出部２０は個々の顔領域についての情報を表示制御部２２及び測距領域指定部２８へ出力する。この、顔領域についての情報は、表示制御部２２及び測距領域指定部２８が顔領域を特定可能な任意の情報であってよいが、例えば顔領域に外接する最小の方形を規定する座標値などであってよい。

次に、本実施形態のデジタルカメラ１００におけるオートフォーカス動作について説明する。
一般に、被写体に人物が含まれる場合、その人物に合焦した撮影が望まれることが多いが、特に人物が撮影範囲の中央にいない場合など、背景に合焦してしまうことがある。そのため、顔検出技術を用い、被写体中の人物の顔に合焦するような合焦制御を行うことで、ユーザの意図に沿った撮影結果を提供できる可能性が高くなると考えられる。

しかし、従来技術の課題として説明したように、従来は表示用画像に対して顔検出を行った結果をそのまま用いて合焦制御領域を指定していた。そのため、表示用画像が歪み補正されている場合には、表示用画像で検出される顔領域と、合焦制御に用いる撮像画像中の顔領域とにずれが生じ、期待される合焦制御結果が得られない場合があった。

このずれを解消するには、合焦制御にも歪み補正後の画像データを使用することが考えられるが、以下の点から望ましくない。１つは、歪み補正を行うと、合焦制御の評価値を求める上で重要な高周波数成分が失われ、合焦精度が低下することである。もう１つは、歪み補正処理は高負荷な処理であるため処理時間がかかり、合焦位置を決定するまでの時間が増加する要因となることである。

そのため、本実施形態では、撮像画像データに対して顔検出する。これにより、撮像画像データが歪んでいる場合でも、合焦制御領域を撮像画像中の顔領域と正しく対応させることができる。また、一方で、フォーカス枠を表示するための顔検出を表示用画像データに対しても行う。

そして、１つの顔検出部２０を用いて両方の顔検出処理を行うため、撮像画像データに対する顔検出処理と、表示用画像データに対する顔検出処理とを時分割処理する。

図４は、デジタルカメラ１００の各部の動作タイミングを説明するためのタイミングチャートである。
図４（ａ）は、Ａ／Ｄ変換器１２が出力するデジタル画像データであり、表示部２３を電子ビューファインダとして機能させるため、３０ｆｐｓ（約３３ｍＳｅｃ間隔）のフレームレートを有する。図４（ｂ）は、Ａ／Ｄ変換器１２の出力するデジタル画像データを現像処理部１６で現像した結果（撮像画像データ）が出力されるタイミングを示す。撮像画像データは、現像処理に要する時間だけデジタル画像データよりも遅れて出力されている。上述のように、撮像画像データはフレームバッファ１４へ一時記憶される。

図４（ｃ）は、撮像画像データをフレームバッファ１４に蓄えてから、歪み補正部１８による歪み補正処理が行われるタイミングを示す。図４（ｃ）に示すように、撮像画像データは、フレームバッファ１４にある程度（ここでは画像の約半分程度）蓄積された時点から歪み補正部１８が読み出しを開始し、歪み補正データを生成する。

図４（ｄ）は、顔検出部２０へ供給されるデータの種別とタイミングを示す。このように、現像処理部１６からの撮像画像データＡｎ（ｎは１以上の整数）と、歪み補正部１８からの補正画像データＢｎを時分割で切り替えて顔検出部２０に入力するタイミングを示している。

本実施形態では、図４（ｄ）に示すように、撮像画像データＡｎと歪み補正後の補正画像データＢｎを、Ａ１、Ｂ２、Ａ４、Ｂ５、Ａ７・・・・と交互に入力している。ここでＡｎとＢｎの入力タイミングが時間的に等間隔にならないのは、歪み補正処理がフレームバッファ１４で撮像画像データを遅延して読み出すこと、歪み補正処理の方が現像処理より時間を要することによる。このように、ＡｎとＢｎとを交互に供給し、顔検出処理すると、撮像画像データに対しても補正画像データに対しても３フレーム毎の顔検出となるが、それぞれの用途に対する顔検出のスピードは１０回／秒となる。このスピードは、フォーカス枠を表示させたり、合焦制御領域の決定を行うためには十分な情報量を与える。

むしろフォーカス枠の表示においては、表示の更新間隔が短いと、例えば手ぶれなどの影響で敏感に表示位置が切り替わり、フォーカス枠が見づらくなる。そのため、時間的なヒステリシスを持たせた、数回／秒の更新で十分である。同様に、顔領域を合焦制御領域とした合焦制御を行う場合も、図８に示したような評価値の山登り法により合焦距離を決定するため、合焦制御領域が頻繁に移動するより、ある程度ゆっくりした移動である方が好ましい。このような理由から、各用途において、顔領域の情報は１０回／秒程度与えられれば十分である。

なお、本実施形態においては、発明の理解及び説明を容易にするため、光学歪みの程度とは関係なく、合焦制御用の顔領域検出と、フォーカス枠表示用の顔領域検出とを行うものとした。このような処理を行っても、実用上問題ないことは上述したとおりであるが、歪み補正が必要ない場合はフォーカス枠表示用の顔領域検出結果を合焦制御領域の決定に用いるように構成しても良い。

歪み補正の要否は、例えば光学系２の特性に応じて、予め歪み補正を行う条件（補正条件）を定めておき、補正条件に合致するか否かによって判定することができる。光学系２の特性としては、例えばレンズの焦点距離（画角）と絞りの関係であってよい。

以上説明したように、本実施形態によれば、顔領域に対して合焦制御を行うことの可能な撮像装置において、合焦制御に用いる顔領域は歪み補正前の画像データから検出する。これにより、被写体像に光学歪みがある場合であっても、正しく顔領域に対して合焦制御を行うことができ、精度良い合焦制御が実現される。

さらに、フォーカス枠を表示するための顔領域は、表示に用いる歪み補正後の画像データから検出することができる。この場合、被写体像に光学歪みがある場合であっても、歪みのない画像データにおける顔領域に対応したフォーカス枠を表示することができる。

また、歪み補正前の画像データに対する顔検出と、歪み補正後の画像データに対する顔検出処理を、１つの顔検出部で時分割的に行うので、回路規模を増大させることがない。また、歪み補正前の画像データに対する顔検出と、歪み補正後の画像データに対する顔検出を、それぞれ離散的なフレームに対して行えばよいので、従来と同様の顔検出部で十分実施可能であり、従来構成に対してごくわずかな設計の変更を行うだけでよい。

＜第２の実施形態＞
図５は、本発明の第２の実施形態に係る撮像装置の一例としてのデジタルカメラ１１０の機能構成例を示すブロック図である。

図５において、図１と同じ構成には同じ参照数字を付してその説明を省略する。本実施形態のデジタルカメラ１１０は、顔検出部を２つ（第１の顔検出部２４と第２の顔検出部２６）を有する点である。第１及び第２の顔検出部２４及び２６の各々は、第１の実施形態における顔検出部２０と同等の構成であって良い。

第１の顔検出部２４は補正画像データに対する顔検出処理を、第２の顔検出部２６は画像データに対する顔検出処理をそれぞれ独立して行う。従って、第１の実施形態では時分割的に行っていた顔検出処理を並列して実行することが可能となり、顔領域情報が、合焦制御用、フォーカス枠表示用ともに撮像素子１０の出力フレームレート（３０ｆｐｓ）と同じスピード３０回／秒で取得可能である。

このように、第１の実施形態と同様、被写体像に光学歪みがある場合であっても、正しく顔領域に対して合焦制御を行うことができる。また、被写体像に光学歪みがある場合であっても、歪みのない画像データにおける顔領域に対応したフォーカス枠を表示することができる。さらに本実施形態では、回路規模は増大するものの、よりきめ細かな処理が可能となり、動きの大きな人物の撮影時などにおいて、追従性に優れた合焦制御を行うことが可能となる。

本発明の第１の実施形態に係る撮像装置の一例としてのデジタルカメラ１００の機能構成例を示すブロック図である。 光学歪みの代表例である糸巻き型歪みとたる型歪みを示す図である。 たる型歪みの補正方法の一例を説明する図である。 本発明の第１の実施形態のデジタルカメラ１００の各部の動作タイミングを説明するためのタイミングチャートである。 本発明の第２の実施形態に係る撮像装置の一例としてのデジタルカメラ１１０の機能構成例を示すブロック図である。 光学系の歪みが無視できる程度である場合の表示画像とフォーカス枠との例を示す図である。 光学系の歪みが無視できない程度である場合の撮像画像中の顔領域と、表示用画像の顔領域とのずれを説明する図である。 図６及び図７の状態における合焦評価値の違いを説明する図である。

Claims (3)

1. 光学系により結像された被写体像を画像データに変換する撮像手段と、
   前記画像データに反映された前記光学系による光学歪みを補正し、補正画像データを出力する歪み補正手段と、
   前記画像データと前記補正画像データに対して顔検出処理を行い、検出された顔領域を示す顔領域情報を出力する顔検出手段と、
   前記顔検出手段が出力する前記顔領域情報のうち、前記画像データに対する顔領域情報に基づいて、前記画像データの前記顔領域に含まれる画像データを特定し、当該特定された画像データに基づいて前記光学系の合焦状態を検出する焦点検出手段と、
   前記補正画像データに、前記補正画像データに対する顔領域情報に基づくフォーカス枠を重畳させて表示装置に表示する表示制御手段とを有することを特徴とする撮像装置。
2. 前記顔検出手段は、前記画像データに対して顔検出処理を行う第１の顔検出部と、前記補正画像データに対して顔検出処理を行う第２の顔検出部とを有することを特徴とする請求項１に記載の撮像装置。
3. 前記顔検出手段は、前記画像データに対する前記顔検出処理と、前記補正画像データに対する前記顔検出処理とを時分割的に行うことを特徴とする請求項１記載の撮像装置。

Images