JP2008028924A

JP2008028924A - 撮像装置及び撮像装置の制御方法

Info

Publication number: JP2008028924A
Application number: JP2006202133A
Authority: JP
Inventors: Eiichiro Ikeda; 栄一郎池田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2006-07-25
Filing date: 2006-07-25
Publication date: 2008-02-07
Anticipated expiration: 2026-07-25
Also published as: JP4871664B2

Abstract

【課題】従来の顔検出を用いた、ＷＢ処理をともなう撮像動作の構成では、顔検出を行う為の処理時間に加え、更に顔検出結果を用いたＷＢ係数算出においてもほぼ同等の時間がかかるため、撮影完了までに非常に時間が掛かってしまうといった、欠点がある。
【解決手段】最新のＷＢゲインを算出したシーンと本撮影のシーンとの変化を検出し、シーン変化が有る場合と無い場合とでＷＢ係数を新たに算出するか否かを切り替えることで、撮影動作の高速化を可能にする。
【選択図】図１

Description

デジタルカメラ及びデジタルビデオカメラのホワイトバランス制御に関する。

デジタルカメラで撮像された画像に対して、適切な色、もしくは撮影者によって意図された色味を出すために行われる、ホワイトバランス（これよりＷＢという）制御がある。

図８は画面を任意の複数ブロックに分割した例を示しており、図９は白検出範囲を示している。

図１０は、被写体として顔のアップを撮影した例を示している。

図８及び図９を用いて、デジタルカメラ等に用いられている従来のＷＢ係数算出回路の動作を説明する。

図８のように、予め画面を任意の複数のブロック（ｍ個）に分割する。次に、上記複数のブロック毎に例えば以下の式を用いて色評価値（Ｃｘ［ｍ］、Ｃｙ［ｍ］）と輝度値Ｙ［ｍ］を算出する。

図９のように、予め様々な光源下で白色被写体を撮影し色評価値を算出することで白検出範囲を設定する。図９に示す白検出範囲に、上記で算出した色評価値が含まれる場合、その色評価値を含むブロックは白であると判定し、白と判定されたブロックの画素値を積分する（これより、この判定処理を白サーチと呼ぶ）。積分された画素値（ｓｕｍＲ、ｓｕｍＧ、ｓｕｍＢ）より、以下の式を用いてＷＢ係数を算出する。

上記したＷＢ係数算出方法では、図１０のように被写体として顔が大きく写っている場合、太陽光下で撮影した人肌領域の色評価値（図９−１）と、タングステン光下で撮影した白色被写体の色評価値（図９−２）がほぼ同じ値となる。そのため、人肌をタングステン光下の白と誤判別し、肌色を白く補正してしまう場合があった。

そこで、顔検出回路にて検出された顔領域を、白検出サーチ対象から外すという提案がされている（特許文献１）。また、背景領域と主被写体領域でそれぞれ異なるＷＢ制御を行うという提案がされている（特許文献２）。

図１１に、上記した特許文献１又は２に記載の従来のＷＢ係数算出の処理構成から推測される撮像装置における撮像動作タイミングを示す。これより本発明の図面における符号は（１５０）のように括弧を付けて示すこととする。図１１において、ユーザーによりシャッターボタンが全押し（これよりＳＷ２という、が押下）されると、本露光が実施され、直ちにセンサーから画像信号が読み出される。なお、本露光とは、撮像装置が記録を目的とした撮影を行うための指示を受けて行われる露光動作のことである。

その後、撮像装置は簡易的に画像信号を現像し、顔検出回路は顔検出を行う。

なお、現像とは撮像素子の出力を、画像として見ることができるデータにする為の画像処理のことである。それに対して、上記した簡易的な現像とは、現像処理にて行う処理のうち、ＷＢ処理を除いた処理のことを意味する。

また、本発明において、顔検出は、ＷＢ処理を行っていない簡易的な現像を行った後の画像信号に対して行っている。

撮像装置は、検出された顔情報を用いて特許文献１或いは２にて開示されている手法にてＷＢ係数を算出し、その後、本現像処理を行い、ＣＦ等の外部記録媒体に撮影画像を記録する。
特開２００３−１８９３２５号公報特開２０００−３０８０６８号公報

図１１の撮像動作タイミングに示すように、本露光後の画像信号（１４９）を用いて、信号読み出し、ブロック積分（１５０）を行う。

その後、顔検出入力用として簡易現像（１５１）を行い、顔検出手段により顔を検出（１５２）する。

次に、顔検出の結果を用いてＷＢ係数を算出（１５３）し、本現像（１５４）を行い、外部記録媒体などへ記録（１５５）する、といった処理手順になっている。

つまり、従来の処理構成では、顔検出を行う為の処理時間に加え、顔検出結果を用いたＷＢ係数算出においてもほぼ同等の時間を要するため、撮影完了までに非常に時間が掛かってしまうといった欠点がある。

上記課題を解決し、目的を達成するために、本発明は、撮影光学系により形成された被写体像を光電変換する撮像素子を備える撮像装置において、前記撮像素子から得られる信号に基づき被写体領域を繰り返し検出する被写体検出手段と、前記被写体検出手段から出力される被写体情報に基づきホワイトバランス係数を算出するホワイトバランス係数算出手段と、ホワイトバランス係数を求める元となったシーンと本露光を行う元となったシーンを比較するシーン変化判定手段とを備え、前記シーンの比較結果に応じて、本露光後に前記ホワイトバランス係数算出手段によってホワイトバランス係数を新たに算出するか否かを切り替えることを特徴とするものである。

上記課題を解決し、目的を達成するために、本発明は、撮影光学系により形成された被写体像を光電変換する撮像素子を備える撮像装置の制御方法において、前記撮像素子から得られる信号に基づき被写体領域を繰り返し検出する被写体検出工程と、前記被写体検出工程から出力される被写体情報に基づきホワイトバランス係数を算出するホワイトバランス係数算出工程と、ホワイトバランス係数を求める元となったシーンと本露光を行う元となったシーンを比較するシーン変化判定工程とを備え、前記シーンの比較結果に応じて、本露光後に前記ホワイトバランス係数算出工程によってホワイトバランス係数を新たに算出するか否かを切り替えることを特徴とするものである。

シーン変化の有無を判定し、その結果に応じてＷＢ係数を新たに算出するか否かを切り替えることで、撮影動作の高速化を可能にする。

以下、本発明の好適な実施形態について、図面を参照して詳細に説明する。

（第１の実施形態）
以下、添付図面を参照して本発明の好適な実施の形態を詳しく説明する。

図１は、本発明における、本発明の撮像装置における撮像動作タイミングを示しており、図２は、信号処理の簡易的なブロック図を示している。

図２において、２０１は撮像レンズ群を通過した被写体像としての光束を電気信号に変換するＣＣＤセンサーやＣＭＯＳセンサー等の撮像素子である。２０２は、撮像素子２０１から得られるアナログ信号出力をデジタル信号に変換するアナログ／デジタル（以下、Ａ／Ｄとする）変換回路である。２０３はＡ／Ｄ変換回路２０２から出力されたデジタル信号を一時記憶するＤＲＡＭなどのバッファメモリ、２０４はバッファメモリ２０３から読み出された画像信号から黒引きを行うオプティカルブラック（これよりＯＢという）減算回路である。

ここで、図４は、撮像素子２０１のブロック分割の一例を示す図である。図４では、エリアを８×８に分割しているが分割の仕方はこれに限られるものではない。

２０５はバッファメモリ２０３から読み出された画像信号に対して、ＯＢ領域の画素積分と図４のように予め設定した任意の小ブロック領域単位で画素積分を行うＯＢブロック積分回路である。２０６はＷＢ制御値を係数化したＷＢ係数を算出するＷＢ係数算出回路である。ＷＢ係数算出回路２０６により算出されるＷＢ係数は撮像装置電源投入時には、予め設定されたＷＢ係数が使用され、現フレーム以前の電子ビューファインダー（これよりＥＶＦという）画像信号で既にＷＢ係数が算出されている場合には、そのＷＢ係数が使用される。

なお、ＥＶＦ画像信号とは、撮像装置の液晶モニタ等の表示部に表示される、撮像素子から得られる信号に各種信号処理を施し生成される画像信号を間引いて生成した信号である。

ここで、ＷＢ係数の設定の一例を図１を用いて説明する。

図１において、ＥＶＦ１０１からＥＶＦ１０５の画像信号現像時には予め設定したＷＢ係数（不図示）が使用される。ＥＶＦ１０６からＥＶＦ１０８の画像信号現像時には、ＷＢ演算１（１２２）の結果を、ＥＶＦ１０９からＥＶＦ１１の画像信号現像時には、ＷＢ演算２（１２３）の結果を使用する。このように画像信号現像時には最新のＷＢ演算結果が用いられる。また、ＷＢ演算の結果はバッファメモリ２０３に記録される。

図２に戻り、２０７は、ＯＢ減算回路２０４から出力されるＲＧＢ各信号にＷＢゲインをかけるＷＢゲイン回路である。２０８はＷＢゲイン回路２０７の出力データに対して所定の画素補間処理や色変換処理を行う、デジタル信号処理回路である。２０９は顔検出を行うための特徴検出回路である。この特徴検出回路２０９は、画像信号の周波数特性から各テクスチャーを検出する不図示のバンドパスフィルタによって検出されたテクスチャー群から目、鼻、口、耳等の被写体の特徴的な部位の候補群の検出を行う。さらに特徴検出回路２０９は検出された特徴情報を記録しておく不図示の特徴検出レジスタを備えている。

なお、本実施形態においては、特徴検出回路２０９を用いて、顔検出を行っている。

図５（ａ）及び（ｂ）は、検出された顔及び目の座標値と、検出結果の信頼度等の顔検出情報について示している。

特徴検出回路２０９では、デジタル信号処理回路２０８より定期的に転送されてくるＥＶＦ画像信号から得られた輝度信号を用いて顔検出を実施し、図５（ｂ）に示すような顔検出情報を不図示の特徴検出レジスタに記録する。

なお、本実施形態においては特徴検出回路２０９にて上述した処理の流れで顔検出を行っているが、この特徴検出回路２０９に公知の顔検出手法をプログラミングして組み込んでもよい。

公知の顔検出技術としては、ニューラルネットワークに代表される学習を用いた手法、目や鼻や口といった形状に特徴のある部位を、画像領域からテンプレートマッチングを用い探し出し類似度が高ければ顔とみなす手法があげられる。

また、他にも、肌の色や目の形といった画像特徴量を検出し統計的解析を用いた手法等、多数提案されており、これらの手法を複数組み合わせて顔認識するのが一般的である。

具体的な例としては特開平２００２−２５１３８０号公報に記載のウェーブレット変換と画像特徴量を利用して顔検出する方法などが挙げられる。

２１０は、画像データ等を保存するためのフラッシュメモリ、マイクロドライブ、ハードディスクなどの外部記録装置である。２１１は、液晶などの表示装置であり、撮像した画像データを逐次表示すればＥＶＦとしての機能を実現できる。

なお、ＷＢ係数乗算後の画像信号はデジタル信号処理回路２０８にてＹＵＶ信号に変換され特徴検出回路２０９、外部記録装置及び表示装置２１１に転送される。

デジタル信号処理回路２０８は、ＹＵＶ信号作成時に、任意の小ブロック単位で算出された輝度積分値、および、撮影時の撮影条件である露出制御値（Ａｖ、Ｔｖ値）を後に説明するシーン変化検出（１３４）に用いるため、バッファメモリ２０３に記憶する。

また、オートフォーカス（これよりＡＦという）の測距情報、ズームポジション等も、同様に、バッファメモリ２０３に記憶する。２１２は、特徴検出回路２０９の出力に基づきシャッター、絞り、フォーカスレンズに対する制御を実行するＣＰＵである。２１３は、ＣＰＵの指示に基づきシャッター、絞り、フォーカスレンズの制御を行うデバイス制御回路である。

これより、シャッターボタンが半押し（これよりＳＷ１という、が押下）される前の撮像動作についての説明を図１を用いて行う。

例えば、表示装置２１１の表示フレームレートが３０ｆｐｓの場合は、３０秒に１回の割合で、以下の撮像動作が行われるとする。

図１におけるＥＶＦ１０１からＥＶＦ１１６は、それぞれＥＶＦの表示期間を示している。

図３に撮像素子の画素加算モード時における信号の読み出し概略について示す。

図３において、Ｒ，Ｂ，Ｇ１，Ｇ２で表されているのは、入射光をその光量に応じた電荷に変換するフォトダイオードである。そして、縦に並ぶフォトダイオードの列の電荷をＲ，Ｂ，Ｇ１，Ｇ２それぞれの色毎に読み出し、垂直方向に転送する。そして、転送されてきた電荷を水平ライン毎に水平に転送し、その電荷をＡ／Ｄ変換回路２０２によってデジタル信号に変換し、バッファメモリ２０３に一時記録する。このようにして、撮像素子の信号の読出しが行われる。

撮像素子２０１を図３に示すような画素加算モード（ＥＶＦ読み出しモード）で駆動し、不図示の電子シャッターを制御することで、被写体に最適な露出条件で画像信号が撮影される。

これよりＥＶＦ１０１の表示期間に行われる信号処理について説明を行う。ＥＶＦ１０１の表示期間において、撮像素子２０１から読み出された画素信号はＡ／Ｄ変換回路２０２で、例えば１０ビットのデジタル信号に変換され、バッファメモリ２０３に一時記録される。バッファメモリ２０３から読み出された画像信号は、ＯＢブロック積分回路２０５にて画素積分が行われる。

また、バッファメモリ２０３から読み出された画像信号は、ＯＢ減算回路２０４によって黒引きが行われ、ＷＢゲイン回路２０７によってＲＧＢ各信号にＷＢゲインがかけられる。並行してＷＢ係数算出回路２０６にて、次フレーム以降に用いるＷＢ係数が算出される。ＷＢ係数乗算後の画像信号は、デジタル信号処理回路２０８にてＹＵＶ信号に変換され、特徴検出回路２０９および表示装置２１１に転送される。

なお、本実施形態では、特徴検出回路２０９は、特徴検出の際に輝度（Ｙ）信号のみ用いるため、デジタル信号処理回路２０８によって変換された画像信号のうちＹ成分の出力のみ特徴検出回路２０９に転送される。

そして、特徴検出回路２０９では、転送されてきた画像信号に対して顔の検出を行う。以上で、ＥＶＦ１０１の表示期間に行われる信号処理についての説明を終る。

次にＥＶＦ１０２の表示期間に行われる信号処理について説明する。

ＥＶＦ１０２の表示期間において、撮像素子２０１から読み出された画像信号には、ＥＶＦ１０１の表示期間において行われた信号処理と同様の処理が施され、ＹＵＶ信号に変換される。

このタイミングでは、ＥＶＦ１０１の表示期間において得られた画像信号を用いて顔検出１（１１７）を実施しているが、ＥＶＦ１０２の表示期間における画像信号現像開始時には、顔検出１が終了しないため、ＷＢ係数の算出はまだ実施しない。

また、ＥＶＦ１０２の表示期間に行われる現像時に用いるＷＢ係数は、ＥＶＦ１０１の表示期間に行われる現像時に用いたＷＢ係数がそのまま使用される。以上で、ＥＶＦ１０２の表示期間に行われる信号処理についての説明を終る。

ＥＶＦ１０３の表示期間に行われる信号処理はＥＶＦ１０２の表示期間に行われる信号処理と同様の処理を行う。

次にＥＶＦ１０４の表示期間に行われる信号処理について説明する。
ＥＶＦ１０４の表示期間において、画像信号が撮像素子２０１から読み出されＹＵＶ信号に現像されるまではＥＶＦ１０２の表示期間に行われる信号処理と同様の処理が行われる。

しかし、画像信号の読み出し終了時のタイミング（１４６）においては、顔検出１（１１７）が完了し、その後、顔情報が顔レジスタに記録される。

よってこのタイミングで、ＥＶＦ１０１の表示期間に得られた画像信号と顔検出１の結果より、ＷＢ演算１（１２２）が開始される。

ここで、顔検出情報を用いたＷＢ係数算出方法の別の例としては、顔領域毎に予め設定された複数の固定ＷＢ係数を用い各顔領域に含まれる画像信号を補正することで複数の補正画像信号を求め、その補正画像信号に基づいて算出するものがある。

また、さらに別の方法としては、上記方法で算出したＷＢ係数と、顔検出を用いない通常のＷＢ係数算出方法により得られるＷＢ係数とを、顔検出情報から算出した加重加算係数を用いて加重加算することでＷＢ係数を算出するものがある。

なお、本発明において、顔検出情報を用いたＷＢ係数の算出方法については論旨ではないので詳しい説明は行わないこととする。以上で、ＥＶＦ１０４の表示期間に行われる信号処理についての説明を終る。

ＥＶＦ１０５の表示期間に行われる信号処理はＥＶＦ１０３の表示期間に行われる信号処理と同様の処理を行う。
次にＥＶＦ１０６の表示期間に行われる信号処理について説明する。

ＥＶＦ１０６の表示期間において、画像信号の読み出しが終了するタイミング（１４８）では、ＷＢ係数算出１（１２２）によって、ＷＢ係数１が算出されている。

そこで、最新のＷＢ係数であるＷＢ係数１をＥＶＦ１０６の表示期間に得られる画像信号生成に使用する。しかし、この時、ＥＶＦ１０１の表示期間に得られる画像信号を生成するときに用いたＷＢ係数と、今回算出されたＷＢ係数１とを比較して急激な変化がみられる場合、画面の色が大幅に変化するという弊害が生じる。よって、ＥＶＦ１０１の表示期間に得られる画像信号を生成するときに用いたＷＢ係数と、今回算出されたＷＢ係数１を任意の加重加算係数で加重加算し新たなＷＢ係数を算出し、これをＥＶＦ１０６の表示期間におけるＷＢ係数とする。

以上、ＥＶＦ１０１〜ＥＶＦ１０６の表示期間に行われる信号処理を、ユーザーによってＳＷ１が押下されるまで繰り返す。

次に、ＳＷ１が押下されてから、シャッターボタンが全押し（これよりＳＷ２という、が押下）されるまでの撮像動作についての説明を図１を用いて行う。

ユーザーによってＳＷ１が押下されると、撮像素子２０１の駆動をＡＦ／自動露出（これよりＡＥという）用に、通常より高速クロックで動作させＡＦ／ＡＥ動作（１２８）を実施する。ＡＦ／ＡＥ動作の詳細については本発明の主眼点ではないため説明を省略する。

ＡＦ／ＡＥ動作（１２８）を行うことで、不図示の測光回路によって本露光条件が算出され、合焦が完了すると、合焦サイン（１２９）が出される。

次に、ＳＷ２が押下されてから撮影画像の記録が行われるまでの動作についての説明を図１を用いて行う。ユーザーによってＳＷ２が押下（１２７）されると、撮像素子２０１は後述する全画素読み出しモードで駆動され、静止画用の本撮影が行われる。ここで、全画素読み出しモードの際の撮像素子の駆動方法について説明する。

図６に３フィールド読み出しを行う撮像素子の読み出しの概念図を示す。撮像素子２０１に蓄積された電気信号は、例えば３フィールド読み出しを行う撮像素子の場合、図６の、６−１、６−２、６−３、といった順番で読み出され、Ａ／Ｄ変換回路２０２によってデジタル信号に変換され、バッファメモリ２０３に一時記録される。このようにして、順次全ての画素について蓄積された電気信号の読み出しが行われる。なお、図１では、１３１から１３３が、上記３フィールド読み出しについての説明に対応している。

第１フィールド読み出し（１３１）が終了次第、ＯＢブロック積分回路２０５にて、ＯＢ値および図４のような予め設定したブロック（Ｙ（３，３）、Ｙ（４，３）、Ｙ（３，４）、Ｙ（４，４））の輝度信号平均値Ｙａｖｅ＿Ｆｒが算出される。

ここで、顔検出結果を用いてＷＢ演算を最適化するわけだが、ＡＥ／ＡＦ処理に比べると、顔検出やＷＢ演算には時間がかかる。その為、前回ＷＢゲインを算出したシーンと本撮影のシーンとの変化を検出（１３４）し、シーン変化がないもしくは少ないものは、最新のＥＶＦ画像信号作成時に用いたＷＢ係数をメモリから読み出し（１３５）、そのまま使用する。

図１によれば、本撮影時に用いるＷＢ係数はＷＢ演算４（１２５）の結果であり、ＷＢ演算４は、顔検出４（１２０）より算出され、顔検出４に用いた画像信号はＥＶＦ１１１の表示期間に得た信号である。つまりＥＶＦ１１１の表示期間に得られる画像信号と本露光画像信号に基づきシーン変化を検出すればよい。

ここで、図７に輝度差分値とシーン変化量の関係を示す。
シーン変化の検出法としては、ＥＶＦ１１１の表示期間に得られる画像信号作成時にバッファメモリ２０３に記録されている予め指定した領域の平均輝度値（Ｙａｖｅ＿Ｆｉ）と、本露光画像における同一座標領域の平均輝度値（Ｙａｖｅ＿Ｆｒ）の輝度差分値ΔＹを算出する。

予め設定された図７に示すような輝度差分値とシーン変化量の関係図を用いて、シーン変化値（ｋ）を算出する。そして、シーン変化値（ｋ）に基づきシーンの変化の有無を判定する。

つまり、本撮影時に用いるＷＢ係数を求めるために用いた画像信号の輝度と、本露光にて得られた画像信号の輝度を比較結果が基準値を越えているかを判定することによって、シーン変化の有無を判定している。

また、被写体の輝度変化分をシーン変化分とし、シーンの変化の有無を判定する方法としては、ＡＥ制御時の被写体測光値の輝度差分値（ΔＢｖ＝Ｂｖ＿ＥＶＦ１１１撮影時−Ｂｖ＿本撮影時）が予め設定した値以上の場合、はシーン変化ありと判定するものがある。

また、さらに別の方法としては、ＡＦ制御値（フォーカスレンズの位置情報）が大きくかわったらシーン変化ありとして判定するものがある。具体的にはＥＶＦ１１１の表示期間におけるＡＦ情報と本撮影時のＡＦ情報を比較することでシーン変化の有無を判定する。また、ズームポジションの差分信号を用いてシーン変化を検出する方法もある。具体的には、ＥＶＦ１１１の表示期間におけるズームポジションと本撮影時のズームポジションの変化量に基づきシーン変化の有無を判定する。また、これらの判定方法を任意に組み合わせてシーン変化の有無を判定しても良い。

次に、シーン変化の有無の判定結果に基づき、ＷＢ係数の算出方法を異ならせる例を示す。

まずは、シーン変化が無いと判定された時のＷＢ係数の算出方法について説明する。

シーン変化の有無の判定を行った結果、シーン変化が無いと判定されたら、ＷＢ演算は行わず、ＥＶＦ１１１の表示期間に得られる画像信号よりＷＢ演算４（１２５）で算出されたＷＢ係数４をバッファメモリ２０３から読み出し（１３５）、これを本露光画像信号のＷＢ係数に適用する。

その後、現像処理（１３６）を行い、外部記録装置２１０に記録（１３７）する。この場合、本露光用ＷＢ係数を算出する手間を省けるため、画像生成時間を大幅に短縮できる。

ここで、シーン変化が無いと判定された場合のもうひとつの例をあげる。現像時に存在する最新の顔検出情報（図１における顔検出５）の結果と、本露光用画像の第１フィールド信号を用いて、ＷＢ係数５の算出（１３８）を行う。その後、現像処理（１３９）を行い、外部記録装置２１０に画像を記録する（１４０）。上記した例は、ＷＢ係数算出の時間はかかるが、撮像素子の分光感度が、ＥＶＦ読み出しモードと静止画読み出しモードで異なる場合があり、ＥＶＦ画像信号作成用に算出されたＷＢ係数をそのまま使用できない場合に有効である。

続いて、シーン変化が有りと判定された時のＷＢ係数の算出方法について説明する。
シーン変化の有無の判定を行った結果、シーン変化が有ると判定されたら、本露光画像信号より顔検出（１４２）を行い、その検出結果と本露光画像信号を用いて新たなＷＢ係数を算出（１４３）する。

その後、ＥＶＦ動作時のＷＢ係数４と算出された新たなＷＢ係数を、シーン変化率（ｋ）を用いて加重加算処理を実施し、本現像用に使用するＷＢ係数５を算出する。
ＷＢＣｏ５＝（１−ｋ）×ＷＢＣｏ４＋ｋ×ＷＢＣｏ５
その後、ＷＢ係数５を用いて本現像処理（１４４）を行い、外部記録装置２１０に画像を記録する（１４５）。本実施形態において、顔検出に用いる画像信号を、例えば３フィールド読み出しを行う撮像素子から得るとする場合、図１に示すように、第１フィールド信号の読み出し（１３１）が終了した時点で、第１フィールド信号から輝度信号を生成する（１４１）。複数フィールド読み出しを行う撮像素子においては、第１フィールド信号のみでＷＢ係数を算出するために必要なＲＧＢ信号が揃うので、全てのフィールド信号の読み出しを待たずに、ＷＢ係数の算出を行うことが可能である。

したがって、３フィールド読み出しを行う撮像素子において、第１フィールド信号のみからＷＢ係数を算出する場合と、全てのフィールド信号からＷＢ係数を算出する場合とを比較すると、前者は後者の３分の１の速度でＷＢ係数の算出を行うことが可能である。

そして、生成された輝度信号を、特徴検出回路２０９の入力とし、顔検出を行う（１４２）ことで、顔検出時間の短縮を図っている。これは、第２、第３フィールドの読み出し（１３２、１３３）を行っている期間に、顔検出用画像の現像（１４１）および顔検出（１４２）を開始させることで、処理を高速化することができる。

また、偶数フィールド読み出しを行う撮像素子の場合、第１フィールドの信号のみではＲＧＢ全色がそろわず色が作成できないため、第１および第２フィールドの信号を用いて特徴検出回路２０９の入力とする。

更に、高速化のために顔検出に色情報を用いない特徴検出回路を使用する場合は、偶数フィールド読み出しを行う撮像素子の場合であっても、第１フィールド画像信号のみから輝度信号を生成して特徴検出回路の入力信号とする。

このように、本実施形態によれば、シーン変化の有無を判定し、その結果に応じてＷＢ係数を新たに算出するか否かを切り替えることで、顔検出用簡易画像作成時間および顔検出時間を短縮することを可能にしている。

本発明の撮像装置における撮像動作タイミングを示す図である。本発明の信号処理簡易ブロック図である。撮像素子の画素加算モード時における信号の読み出し概略図である。撮像素子のブロック分割の一例を示す図である。本発明の第１の実施形態における顔情報を説明するための図である。３フィールド読み出しを行う撮像素子の読み出しの概念図である。輝度差分値とシーン変化量の関係を示す図である。画面を任意の複数ブロックに分割した例を示す図である。白検出範囲を示す図である。被写体として顔のアップを撮影した例を示す図である。従来の撮像装置における撮像動作タイミングを示す図である。

符号の説明

２０１撮像素子
２０２Ａ／Ｄ変換回路
２０３バッファメモリ
２０４ＯＢ減算回路
２０５ＯＢブロック積分回路
２０６ＷＢ係数算出回路
２０７ＷＢゲイン回路
２０８デジタル信号処理回路
２０９特徴検出回路
２１０外部記録装置
２１１表示装置
２１２ＣＰＵ
２１３デバイス制御回路

Claims

撮影光学系により形成された被写体像を光電変換する撮像素子を備える撮像装置において、
前記撮像素子から得られる信号に基づき被写体領域を繰り返し検出する被写体検出手段と、
前記被写体検出手段から出力される被写体情報に基づきホワイトバランス係数を算出するホワイトバランス係数算出手段と、
ホワイトバランス係数を求める元となったシーンと本露光を行う元となったシーンを比較するシーン変化判定手段とを備え、
前記シーンの比較結果に応じて、本露光後に前記ホワイトバランス係数算出手段によってホワイトバランス係数を新たに算出するか否かを切り替えることを特徴とする撮像装置。
前記シーンの比較結果に応じて、撮像素子から得られる信号を読み出した後に行うホワイトバランス処理に用いるホワイトバランス係数として、既に算出されているホワイトバランス係数を用いる、又は本露光の際に得られる画像信号より被写体情報を検出し、該被写体情報に基づきホワイトバランス係数を新たに算出して用いることを特徴とする請求項１に記載の撮像装置。
複数フィールド読み出し可能な撮像素子を備える撮像装置において、前記被写体検出手段は、第１フィールドの信号、或いは第１及び第２フィールドの信号から被写体検出を行うことを特徴とする請求項１に記載の撮像装置。
前記シーン変化判定手段は、撮影画像よりあらかじめ指定した領域の平均輝度値と、本露光画像における同一座標領域の平均輝度値を比較することを特徴とする請求項１に記載の撮像装置。
前記シーン変化判定手段は、最新のホワイトバランス係数を求める元となった画像信号撮影時の被写体測光値と、本露光画像信号撮影時の被写体測光値との差分、又は最新のホワイトバランス係数を求める元となった画像信号撮影時の合焦位置情報と、本露光画像信号撮影時の合焦位置情報との差分、又は最新のホワイトバランス係数を求める元となった画像信号撮影時のレンズズームポジションと、本露光画像信号撮影時のレンズズームポジションとの差分、のうち少なくとも一つを比較することを特徴とする請求項１に記載の撮像装置。
前記シーンの比較結果、シーン変化があるとみなせる場合には、本露光の際に得られる画像信号より被写体情報を検出し、該被写体情報に基づきホワイトバランス係数を新たに算出して用い、シーン変化がないとみなせる場合には、既に算出されているホワイトバランス係数を用いることを特徴とする請求項１に記載の撮像装置。
前記撮像素子の分光感度が、電子ビューファインダーにデータを読み出す際と、静止画データとして読み出す際とで異なる場合は、本露光の際に得られる画像信号の第１フィールド画像から前記ホワイトバランス係数を算出することを特徴とする請求項１、２、５又は６に記載の撮像装置。
撮影光学系により形成された被写体像を光電変換する撮像素子を備える撮像装置の制御方法において、
前記撮像素子から得られる信号に基づき被写体領域を繰り返し検出する被写体検出工程と、
前記被写体検出工程から出力される被写体情報に基づきホワイトバランス係数を算出するホワイトバランス係数算出工程と、
ホワイトバランス係数を求める元となったシーンと本露光を行う元となったシーンを比較するシーン変化判定工程とを備え、
前記シーンの比較結果に応じて、本露光後に前記ホワイトバランス係数算出工程によってホワイトバランス係数を新たに算出するか否かを切り替えることを特徴とする撮像装置の制御方法。
前記シーンの比較結果に応じて、前記撮像素子から得られる信号を現像した後に行うホワイトバランス処理に用いるホワイトバランス係数として、既に算出されているホワイトバランス係数を用いる、又は本露光の際に得られる画像信号より被写体情報を検出し、該被写体情報に基づきホワイトバランス係数を新たに算出して用いることを特徴とする請求項８に記載の撮像装置の制御方法。
複数フィールド読み出し可能な撮像素子を備える撮像装置の制御方法において、前記被写体検出工程は、第１フィールドの信号、或いは第１及び第２フィールドの信号から被写体検出を行うことを特徴とする請求項８に記載の撮像装置の制御方法。
前記シーン変化判定工程は、撮影画像よりあらかじめ指定した領域の平均輝度値と、本露光画像における同一座標領域の平均輝度値を比較することを特徴とする請求項８に記載の撮像装置の制御方法。
前記シーン変化判定工程は、最新のホワイトバランス係数を求める元となった画像信号撮影時の被写体測光値と、本露光画像信号撮影時の被写体測光値との差分、又は最新のホワイトバランス係数を求める元となった画像信号撮影時の合焦位置情報と、本露光画像信号撮影時の合焦位置情報との差分、又は最新のホワイトバランス係数を求める元となった画像信号撮影時のレンズズームポジションと、本露光画像信号撮影時のレンズズームポジションとの差分、のうち少なくとも一つを比較することを特徴とする請求項８に記載の撮像装置の制御方法。
前記シーンの比較結果、シーン変化があるとみなせる場合には、本露光の際に得られる画像信号より被写体情報を検出し、該被写体情報に基づきホワイトバランス係数を新たに算出して用い、シーン変化がないとみなせる場合には、既に算出されているホワイトバランス係数を用いることを特徴とする請求項８に記載の撮像装置の制御方法。
前記撮像素子の分光感度が、電子ビューファインダーにデータを読み出す際と、静止画データとして読み出す際とで異なる場合は、本露光の際に得られる画像信号の第１フィールド画像から前記ホワイトバランス係数を算出することを特徴とする請求項８、９、１２又は１３に記載の撮像装置の制御方法。