JP2010119051A - 撮像装置及び撮像方法 - Google Patents

Abstract

【課題】処理負荷を増やさずにホワイトバランスを補正する画像信号処理が可能な撮像装置を提供すること。
【解決手段】撮像素子より得られた画像信号を複数の第１ブロックに分割する第１分割手段と、第１ブロックをさらにＭ個の第２ブロックに分割する第２分割手段と、演算対象の第２ブロックをフレーム毎に変化させる位置変更手段と、記録前には位置変更手段が変化させた第２ブロックに対して演算処理を実行し、記録時には第１ブロックに対して演算処理を実行する演算手段と、積算手段の、第２ブロックに対する直近Ｍフレームの演算結果および第１ブロックに対する演算結果を用いて画像信号の光源を推定する光源推定手段と、を備える撮像装置が提供される。
【選択図】図１

Description

本発明は、撮像装置及び撮像方法に関する。

デジタルスチルカメラなど、被写体を電子的に撮影する電子的撮像装置においては、照明の光源にかかわらず、白い被写体が白く撮影されるように、ホワイトバランスを補正する画像信号処理（ホワイトバランス補正処理）が、一般的に組み込まれている。ホワイトバランス補正処理は、照明光源によっては、肉眼で観察した被写体像と、撮影された画像との間に色彩上の差異が生じる。この場合に、特に白色の被写体が白く再現されるようにするための補正処理である。例えば、日光などの自然光と、蛍光灯などの人工光とでは、両光源の色温度に相違があり、この結果、撮影された画像の白色再現性に大きな影響を及ぼすこととなる。従って、ホワイトバランス補正処理を施すことにより、撮像装置によって再現される画像に違和感が生じないようにすることができる。

ホワイトバランスの補正は、撮像素子より得られた画像信号を複数のブロックに分割し、分割したブロック毎にＲ（赤色）、Ｇ（緑色）、Ｂ（青色）などの色別積算値を求め、無彩色として制御するか有彩色として処理をするか判断する。そして、無彩色と判断したブロックにおける積算値がＲ＝Ｇ＝Ｂとなるように、ホワイトバランス制御を行うことが一般的である。

ところが、分割したブロックにおいて複数の色が存在することにより混色が発生すると、正しく有彩色・無彩色の判断ができなくなってしまう。そこで、ブロックを細かく分割することで混色の発生を出来るだけ抑えて、ホワイトバランスの判断が正常になされるような技術が開示されている（例えば特許文献１〜４参照）。

特開２００７−３３６１０７号公報 特開２００７−２２８５１６号公報 特開２００６−２１１４４０号公報 特開２００５−１２７６３号公報

しかし、混色の発生を抑えるために、画像信号処理の対象となるブロックを細かく分割すると、その分ホワイトバランス制御の処理時間が長くなり、１フレーム内に処理を終えることができないという問題があった。特に、撮像素子から得られる画像を撮像装置に備えられたモニタに逐次表示するライブビュー時においては、ホワイトバランスゲインの算出時間が延びると、実際に眼で見ているシーンと、モニタにライブビュー表示されているシーンとに時間差が発生してしまう。また、静止画撮影時においても、ホワイトバランス制御の処理時間が長くなると、撮影終了までの時間が長くなってしまうという問題があり、特に短時間で連続して撮影をする場合などでは、次の撮影処理への動作遅延が発生してしまう。さらに、携帯電話他の携帯端末に撮像素子を備えてカメラ機能を持たせる場合には、低消費電力化の観点から処理時間を短縮させることが出来れば良いことは言うまでも無い。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、混色の発生を抑えるために、記録前の段階では画像信号処理の対象となるブロックを細かく分割し、記録時には、記録前の段階における、細かく分割したブロックに対する評価結果を用いることで、処理負荷を増やさずにホワイトバランスを補正する画像信号処理が可能な、新規かつ改良された撮像装置及び撮像方法を提供することにある。

上記課題を解決するために、本発明のある観点によれば、撮像素子より得られた画像信号を複数の第１ブロックに分割する第１分割手段と、第１ブロックをさらにＭ個の第２ブロックに分割する第２分割手段と、演算対象の第２ブロックをフレーム毎に変化させる位置変更手段と、記録前には位置変更手段が変化させた第２ブロックに対して演算処理を実行し、記録時には第１ブロックに対して演算処理を実行する演算手段と、第２ブロックに対する直近Ｍフレームの演算手段の演算結果および第１ブロックに対する演算結果を用いて画像信号の光源を推定する光源推定手段と、を備える撮像装置が提供される。

かかる構成によれば、第１分割手段は撮像素子より得られた画像信号を複数の第１ブロックに分割し、第２分割手段は第１ブロックをさらにＭ個の第２ブロックに分割する。そして、位置変更手段は演算対象の第２ブロックをフレーム毎に変化させ、光源推定手段は、第２ブロックに対する直近Ｍフレームの演算手段の演算結果および第１ブロックに対する演算結果を用いて画像信号の光源を推定する。その結果、記録前の段階では画像信号処理の対象となるブロックを第２ブロックとして細かく分割し、記録時には、記録前の段階における、細かく分割した第２ブロックに対する演算結果と、記録時における第１ブロックに対する演算結果を用いることで、処理負荷を増やさずに画像信号処理ができる。

光源推定手段の光源推定結果を少なくともＭフレーム分記憶する記憶手段と、記憶手段で記憶した第２ブロックに対する直近Ｍフレーム分の光源推定結果および第１ブロックに対する光源推定結果を用いてホワイトバランスを補正するゲインを算出するゲイン算出手段と、をさらに備えていてもよい。

ゲイン算出手段は、第２ブロックに対する直近Ｍフレーム分の光源推定結果を用いて所定の重み係数を決定し、第１ブロックに対する演算結果に当該所定の重み係数を乗じてゲインを算出してもよい。

所定の重み係数は、光源推定手段における光源推定の結果、無彩色であると判断した小ブロックの数が大きいほど大きな係数であってもよい。

また、上記課題を解決するために、本発明の別の観点によれば、撮像素子より得られた画像信号を複数の第１ブロックに分割する第１分割ステップと、第１ブロックをさらにＭ個の第２ブロックに分割する第２分割ステップと、演算対象の第２ブロックをフレーム毎に変化させる位置変更ステップと、記録前には位置変更ステップで変化させた第２ブロックに対して演算処理を実行し、記録時には第１ブロックに対して演算処理を実行する演算ステップと、演算ステップにおける第２ブロックに対する直近Ｍフレームの演算結果および第１ブロックに対する演算結果を用いて画像信号の光源を推定する光源推定ステップと、を備える撮像方法が提供される。

以上説明したように本発明によれば、記録前の段階では、画像信号処理の対象となるブロックを、混色の発生を抑えるために細かく分割し、記録時には、記録前の段階における、細かく分割したブロックに対する評価結果を用いることで、処理負荷を増やさずにホワイトバランスを補正する画像信号処理が可能な、新規かつ改良された撮像装置及び撮像方法を提供することができる。これにより、特に高速連写時には、撮影前の画面表示時と静止画撮影時の時間差の影響を受けることなく、静止画撮影時にホワイトバランス補正の処理負担を軽減できる分、処理時間を短縮することができる。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

まず、本発明の好適な実施の形態について説明する前に、従来技術の問題点について図面を参照しながら説明する。

図１０は、従来のホワイトバランス補正処理におけるブロック分割について説明する説明図である。従来のホワイトバランス補正処理は、図１０に示したように、ＣＣＤやＣＭＯＳ等の撮像素子より取り出された画像信号を、複数のブロックに分割し、分割したそれぞれのブロックに対し、Ｒ、Ｇ、Ｂ各色の画素の積算値（ΣＲ、ΣＧ、ΣＢ）を算出する。このＲ、Ｇ、Ｂ各色の画素の積算値（ΣＲ、ΣＧ、ΣＢ）を算出すると、ブロック毎に、当該ブロックを無彩色として制御するか、または有彩色として処理をするか等を判断し、適切なホワイトバランスゲイン（Ｋｒ、Ｋｇ、Ｋｂ）を算出するという方法が一般的である。

ここで、分割したブロック内に複数の色が混在する場合には、混色が発生しホワイトバランス補正処理を正しく判断することができなくなる。また、分割するブロックの面積を大きくすると、混色が発生する頻度が高くなる。

図１１は、ホワイトバランス補正処理の対象となる、ＣＣＤやＣＭＯＳ等の撮像素子より取り出された画像信号から得られる画像の一例を示す説明図であり、図１２は、図１１に示した画像が得られる画像信号を横４ブロック×縦３ブロックに分割した場合を示す説明図であり、図１３は、図１１に示した画像が得られる画像信号を横１２ブロック×縦９ブロックに分割した場合を示す説明図である。通常のホワイトバランス補正処理においては、画像中の赤い花びらの部分及び緑の葉の部分は光源とは見なされずに有彩色と判断される。しかし、各ブロックでの積算処理時に、ブロック内で赤色と緑色が混在していると、混色が発生し、（赤色と緑色が混ざって）黄色の被写体であると誤判断される。この黄色の被写体が、タングステン光などの光源と同じカラーバランスであった場合、光源色（無彩色）と判断されてしまい、ホワイトバランスを誤って判断してしまう。そこで、混色の発生頻度を減らすために、ブロックの数を多くしてブロックの面積を減らす手法がある。

図１４は、画像信号を横４ブロック×縦３ブロックに分割した場合に、混色によって黄色い被写体であると誤って判断されたブロックの配置を示す説明図であり、図１５は、画像信号を横１２ブロック×縦９ブロックに分割した場合に、混色によって黄色い被写体であると誤って判断されたブロックの配置を示す説明図である。

図１４および図１５に示した場合では、４×３に分割した場合には８３％のブロックが黄色い被写体であると誤判断されたのに対し、１２×９に分割した場合には２８％が黄色い被写体であると誤判断されている。このように、ブロックの数を多くして、１ブロックあたりの面積を小さくすることで混色の発生頻度を抑えることができる。

しかし、ブロックの数を多くすると、１度に処理を行わなければならないデータ数が増え、ホワイトバランスゲインを算出するまでの処理時間が増大してしまい、１フレーム内に処理を終えることができなくなってしまうという問題があった。特に、撮像素子から得られる画像を撮像装置に備えられたモニタに逐次表示するライブビュー時においては、ホワイトバランスゲインの算出時間が延びると、実際に眼で見ているシーンと、モニタにライブビュー表示されているシーンとに時間差が生じてしまう。

また、静止画撮影時においても、ホワイトバランス制御の処理時間が長くなると、撮影終了までの時間が長くなってしまうという問題があり、特に短時間で連続して撮影をする場合などでは、次の撮影処理への動作遅延が発生してしまう。さらに、携帯電話他の携帯端末に撮像素子を備えてカメラ機能を持たせる場合には、低消費電力化の観点から処理時間を短縮させることが出来れば良いことは言うまでも無い。

そこで、以下で説明する本発明の好適な実施形態においては、混色の発生頻度を抑えるためにブロックの面積を小さくしながらも、処理時間の増大を抑えることを特徴とする撮像装置および画像処理方法について説明する。

まず、本発明の一実施形態にかかる撮像装置の構成について説明する。図１は、本発明の一実施形態にかかる撮像装置１００の構成について示す説明図である。以下、図１を用いて本発明の一実施形態にかかる撮像装置１００の構成について説明する。

図１に示したように、本発明の一実施形態に係る撮像装置１００は、ズームレンズ１０２と、絞り１０４と、フォーカスレンズ１０６と、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ）素子１０８と、アンプ一体型のＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）回路１１０と、Ａ／Ｄ変換器１１２と、画像入力コントローラ１１４と、画像信号処理部１１６と、圧縮処理部１２０と、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）ドライバ１２２と、ＬＣＤ１２４と、タイミングジェネレータ１２６と、モータドライバ１４２ａ、１４２ｂ、１４２ｃと、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１２８と、操作部１３２と、メモリ１３４と、ＶＲＡＭ（Ｖｉｄｅｏ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３６と、メディアコントローラ１３８と、記録メディア１４０とを含む。

ズームレンズ１０２と、絞り１０４と、フォーカスレンズ１０６と、ＣＣＤ素子１０８とで露光部を構成する。本実施形態ではＣＣＤ素子１０８を用いて露光部を構成しているが、本発明は係る例に限定されず、ＣＣＤ素子の代わりにＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）素子を用いてもよい。ＣＭＯＳ素子は、ＣＣＤ素子よりも高速に被写体の映像光を電気信号に変換できるので、被写体を撮影してから画像を記録するまでの時間を短縮することができる。

ズームレンズ１０２は、光軸方向に前後して移動させることで焦点距離が連続的に変化するレンズであり、被写体の大きさを変化して撮影する。絞り１０４は、画像を撮影する際に、ＣＣＤ素子１０８に入ってくる光量の調節を行う。フォーカスレンズ１０６は、光軸方向に前後して移動させることで被写体のピントを調節するものである。

モータドライバ１４２ａ、１４２ｂ、１４２ｃはズームレンズ１０２、絞り１０４およびフォーカスレンズ１０６を動作させるモータの制御を行う。モータドライバ１４２ａ、１４２ｂ、１４２ｃを介してズームレンズ１０２、絞り１０４およびフォーカスレンズ１０６を動作させることで、被写体の大きさや光の量、ピントの調節を行う。

ＣＣＤ素子１０８は、ズームレンズ１０２、絞り１０４およびフォーカスレンズ１０６から入射された光を電気信号に変換するための素子である。本実施形態においては電子シャッタによって入射光を制御して、電気信号を取り出す時間を調節しているが、メカシャッタを用いて入射光を制御して、電気信号を取り出す時間を調節してもよい。

ＣＤＳ回路１１０は、ＣＣＤ素子１０８から出力された電気信号の雑音を除去する、サンプリング回路の一種であるＣＤＳ回路と、雑音を除去した後に電気信号を増幅するアンプとが一体となった回路である。本実施形態ではＣＤＳ回路とアンプとが一体となった回路を用いて撮像装置１００を構成しているが、ＣＤＳ回路とアンプとを別々の回路で構成してもよい。

Ａ／Ｄ変換器１１２は、ＣＣＤ素子１０８で生成された電気信号をデジタル信号に変換して、画像の生データを生成するものである。

画像信号処理部１１６は、Ａ／Ｄ変換器１１２で生成された画像の生データに対する各種信号処理を行う回路である。

圧縮処理部１２０は、画像信号処理部１１６で信号処理が施されたデータを、適切な形式の画像データに圧縮する圧縮処理を行う。画像の圧縮形式は可逆形式であっても非可逆形式であってもよい。適切な形式の例として、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）形式やＪＰＥＧ２０００形式に変換してもよい。

ＬＣＤ１２４は、撮影操作を行う前のライブビュー表示や、撮像装置１００の各種設定画面や、撮影した画像の表示等を行う。画像データや撮像装置１００の各種情報のＬＣＤ１２４への表示は、ＬＣＤドライバ１２２を介して行われる。

タイミングジェネレータ１２６は、ＣＣＤ素子１０８にタイミング信号を入力する。タイミングジェネレータ１２６からのタイミング信号によりシャッタ速度が決定される。つまり、タイミングジェネレータ１２６からのタイミング信号によりＣＣＤ素子１０８の駆動が制御され、ＣＣＤ素子１０８が駆動する時間内に被写体からの映像光を入射することで、画像データの基となる電気信号が生成される。

ＣＰＵ１２８は、ＣＣＤ素子１０８やＣＤＳ回路１１０などに対して信号系の命令を行ったり、操作部１３２の操作に対する操作系の命令を行ったりする。本実施形態においては、ＣＰＵを１つだけ含んでいるが、本発明においては信号系の命令と操作系の命令とを別々のＣＰＵやＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）で行うようにしてもよい。

操作部１３２は、撮影モード選択部としての機能を含み、撮像装置１００の操作を行ったり、撮影時の各種の設定を行ったりするための部材が配置されている。操作部１３２に配置される部材には、電源ボタン、撮影モードや撮影ドライブモードの選択および効果パラメータの設定を行う十字キーおよび選択ボタン、撮影操作を開始するシャッタボタン等が配置される。

メモリ１３４は、撮影した画像や画像信号処理部１１６で信号処理が施された画像を一時的に記憶するものである。メモリ１３４は、複数の画像を記憶できるだけの記憶容量を有している。メモリ１３４への画像の読み書きは画像入力コントローラ１１４によって制御される。

ＶＲＡＭ１３６は、ＬＣＤ１２４に表示する内容を保持するものであり、ＬＣＤ１２４の解像度や最大発色数はＶＲＡＭ１３６の容量に依存する。

記録メディア１４０は、撮影した画像を記録するものである。記録メディア１４０への入出力は、メディアコントローラ１３８によって制御される。記録メディア１４０には、フラッシュメモリにデータを記録するカード型の記憶装置であるメモリカードを用いることができる。

以上、図１を用いて本発明の一実施形態にかかる撮像装置１００の構成について説明した。次に、本発明の一実施形態にかかる撮像装置１００に含まれる、画像信号処理部１１６の構成について説明する。

図２は、本発明の一実施形態にかかる撮像装置１００に含まれる、画像信号処理部１１６の構成について説明する説明図である。以下、図２を用いて、本発明の一実施形態にかかる撮像装置１００に含まれる、画像信号処理部１１６の構成について説明する。

図２に示したように、本発明の一実施形態にかかる画像信号処理部１１６は、イメージフロントプロセス処理部１５２と、画像評価部１５４と、ホワイトバランスゲイン算出部１５６と、ホワイトバランス補正部１５８と、デモザイク処理部１６０と、色補正処理部１６２と、ガンマ補正処理部１６４と、を含んで構成される。

イメージフロントプロセス処理部１５２は、ＣＣＤ素子１０８で光電変換され、Ａ／Ｄ変換器でデジタル信号に変換された画像信号に対して、欠陥画素補正や黒レベル補正などのイメージフロントプロセス処理を実行するものである。イメージフロントプロセス処理部１５２でイメージフロントプロセス処理が施された画像信号は、画像評価部１５４およびホワイトバランス補正部１５８に送られる。

画像評価部１５４は、イメージフロントプロセス処理部１５２でイメージフロントプロセス処理が施された画像信号に対して、ホワイトバランスゲイン算出部１５６でホワイトバランスを補正するためのホワイトバランスゲインを算出するために、画像評価処理を実行するものである。画像評価部１５４では、イメージフロントプロセス処理が施された画像信号を複数のブロックに分割し、分割したそれぞれのブロックに対してＲＧＢ画素の積算値（ΣＲ、ΣＧ、ΣＢ）を求めたり、ＲＧＢ画素の積算値に基づいて光源を推定したりする。画像評価部１５４の構成については後に詳述する。画像評価部１５４での画像評価処理の結果はホワイトバランスゲイン算出部１５６に送られる。

ホワイトバランスゲイン算出部１５６は、画像評価部１５４での画像評価処理の結果に基づいて、ホワイトバランスゲイン（Ｋｒ、Ｋｇ、Ｋｂ）を算出するものである。ホワイトバランスゲイン算出部１５６で算出されたホワイトバランスゲインはホワイトバランス補正部１５８に送られる。

ホワイトバランス補正部１５８は、イメージフロントプロセス処理部１５２でイメージフロントプロセス処理が施された画像信号に対して、ホワイトバランスゲイン算出部１５６で算出されたホワイトバランスゲインを掛けるものである。ホワイトバランス補正部１５８で、画像信号にホワイトバランスゲインを掛けることで、画像信号に対するホワイトバランス補正処理を実行することができる。ホワイトバランス補正処理が施された画像信号はデモザイク処理部１６０に送られる。

デモザイク処理部１６０は、ホワイトバランス補正処理が施された画像信号に対して色補完処理（デモザイク処理）を施すものである。ホワイトバランス補正処理が施された画像信号に対して、デモザイク処理部１６０でデモザイク処理を施すことでカラー画像を生成することができるが、デモザイク処理の詳細については本発明とは直接の関係は無いので詳細な説明は省略する。デモザイク処理が施された画像信号は、色補正処理部１６２に送られる。

色補正処理部１６２は、デモザイク処理部１６０で補完処理（デモザイク処理）が施された画像信号に対して色補正処理を施すものである。色補正処理部１６２で色補正処理を施すことで適切なカラー画像を生成することができるが、色補正処理の詳細については本発明とは直接の関係は無いので詳細な説明は省略する。色補正処理が施された画像信号は、ガンマ補正処理部１６４に送られる。

ガンマ補正処理部１６４は、色補正処理部１６２で色補正処理が施された画像信号に対してガンマ補正処理を施すものである。ガンマ補正処理の詳細については本発明とは直接の関係は無いので詳細な説明は省略する。ガンマ補正処理が施された画像信号は、圧縮処理部１２０に送られて圧縮処理が施されたり、記録メディア１４０に記録されたり、ＬＣＤ１２４に表示されたりする。

以上、本発明の一実施形態にかかる画像信号処理部１１６の構成について説明した。次に、本発明の一実施形態にかかる画像信号処理部１１６に含まれる、画像評価部１５４の構成について説明する。

図３は、本発明の一実施形態にかかる画像信号処理部１１６に含まれる、画像評価部１５４の構成について説明する説明図である。以下、図３を用いて、本発明の一実施形態にかかる画像信号処理部１１６に含まれる、画像評価部１５４の構成について説明する。

図３に示したように、本発明の一実施形態にかかる画像評価部１５４は、第１ブロック分割部１７２と、第２ブロック分割部１７４と、ブロック位置変更部１７６と、積算処理部１７８と、記憶部１８０と、光源推定部１８２と、を含んで構成される。

第１ブロック分割部１７２は、画像評価部１５４に送られる画像信号を所定のサイズのブロック（大ブロック）に分割するものである。第１ブロック分割部１７２は、画像信号を例えば上述したように、横４ブロック×縦３ブロックに分割してもよく、横１２ブロック×縦９ブロックに分割してもよい。もちろん、分割数はこれらの例に限られないことは言うまでも無い。また、分割する際の大ブロックの形状は、正方形であってもよく、長方形であってもよく、その他の形状であってもよい。

第２ブロック分割部１７４は、第１ブロック分割部１７２が分割した各大ブロックを、さらに所定のサイズのブロック（小ブロック）に分割するものである。例えば、第１ブロック分割部１７２で、画像信号を横４ブロック×縦３ブロックの大ブロックに分割し、さらにそれぞれの大ブロックに対して、第２ブロック分割部１７４において横３ブロック×縦３ブロックの小ブロックに分割する。もちろん、分割数はかかる例に限られないことは言うまでも無い。また、分割する際の小ブロックの形状は、正方形であってもよく、長方形であってもよく、その他の形状であってもよい。なお、以下の説明においては、１つの大ブロックを横３ブロック×縦３ブロックの９つの小ブロックに分割したものとして説明する。

図４は、第２ブロック分割部１７４において、１つの大ブロックを横３ブロック×縦３ブロックの小ブロックに分割した場合について示す説明図である。図４では、説明の便宜上、小ブロックにＡ〜Ｉのアルファベットを付して示している。

ブロック位置変更部１７６は、撮像処理の前の段階（撮像装置１００への記録前の段階）では後述の積算処理部１７８の処理対象の小ブロックをフレームごとに変更し、撮像処理の段階（撮像装置１００へ記録する段階）では、積算処理部１７８の処理対象の大ブロックを指定するものである。例えば、第２ブロック分割部１７４で１つの大ブロックを図４のように横３ブロック×縦３ブロックの９つの小ブロックに分割すると、撮像処理の前の段階では、ブロック位置変更部１７６は、フレーム毎にＡ〜Ｉの小ブロックから１つの小ブロックをサイクリックに選択する。

図５は、撮像処理の前の段階での、ブロック位置変更部１７６におけるブロック位置の変更処理を説明する説明図である。図５では、第２ブロック分割部１７４で分割したＡ〜Ｉの小ブロックから、処理対象の小ブロックをフレーム毎に、変化させている例を示している。なお、図５では、小ブロックを、Ａ→Ｅ→Ｇ→Ｃ→Ｈ→Ｆ→Ｂ→Ｄ→Ｉ→Ａ→・・・、の順に変化させている場合について示している。もちろん、順番は図５に示したものに限られないことは言うまでも無い。また、本実施形態では、ブロック位置変更部１７６は小フレームをサイクリックに変化させているが、本発明では積算処理部１７８の処理対象となる小ブロックをランダムに変更してもよい。

そして、撮影者が撮像装置１００の操作部１３２を操作して撮像処理を実行すると、ブロック位置変更部１７６は積算処理部１７８の処理対象の大ブロックを指定する。図６は、撮像処理の前後での、ブロック位置変更部１７６におけるブロック位置の変更処理を説明する説明図である。撮像処理の前の段階では、ブロック位置変更部１７６は、第２ブロック分割部１７４で分割したＡ〜Ｉの小ブロックから、処理対象となる小ブロックをフレーム毎に変化させており、撮像処理が開始されると、ブロック位置変更部１７６は、処理対象となる大ブロックＪを指定している。

積算処理部１７８は、ブロック位置変更部１７６によって指定された小ブロックまたは大ブロックに含まれているＲ、Ｇ、Ｂそれぞれの色の画素に対して、ホワイトバランスゲインを求めるための、小ブロックにおけるＲＧＢ画素の積算値ΣＲ、ΣＧ、ΣＢおよび大ブロックにおけるＲＧＢ画素の積算値ΣＲ２、ΣＧ２、ΣＢ２を求めるものである。ＲＧＢ画素の積算値ΣＲ、ΣＧ、ΣＢ、ΣＲ２、ΣＧ２、ΣＢ２を求めることで、当該小ブロックまたは大ブロックにおける彩色を判定することができる。積算処理部１７８において求められたＲＧＢ画素の積算値ΣＲ、ΣＧ、ΣＢ、ΣＲ２、ΣＧ２、ΣＢ２や、当該小ブロックまたは大ブロックにおける彩色の判定結果は、記憶部１８０に一時的に記憶しても良い。そして、積算処理部１７８において求められたＲＧＢ画素の積算値ΣＲ、ΣＧ、ΣＢ、ΣＲ２、ΣＧ２、ΣＢ２は、光源推定部１８２に送られて、光源推定部１８２における光源推定処理に用いられる。

光源推定部１８２は、積算処理部１７８で求められたＲＧＢ画素の積算値ΣＲ、ΣＧ、ΣＢ、ΣＲ２、ΣＧ２、ΣＢ２を用いて、光源を推定する光源推定処理を実行するものである。光源推定部１８２における光源推定処理の結果は記憶部１８０に一時的に記憶しても良い。光源推定部１８２における光源推定処理の結果は、ホワイトバランスゲイン算出部１５６に送られて、ホワイトバランスゲインの算出に用いられる。

図７は、光源推定部１８２で光源を推定する際の評価対象のブロックとフレームとの関係の一例について説明する説明図である。図７に示した例は、撮像処理の前の段階で取得した直近９フレーム分の小ブロック（Ａ〜Ｉ）の光源推定結果と、撮像処理の段階で取得した１フレーム分の大フレーム（Ｊ）光源推定結果を用いて、光源推定処理を実行する場合を示したものである。

なお、本実施形態では、光源推定部１８２を画像評価部１５４に含めた構成について説明したが、本発明はかかる例に限定されないことは言うまでも無い。例えば、光源推定部１８２の機能をホワイトバランスゲイン算出部１５６に含めるようにしてもよい。

以上、本発明の一実施形態にかかる画像信号処理部１１６に含まれる、画像評価部１５４の構成について説明した。次に、本発明の一実施形態にかかる撮像方法について説明する。

図８は、本発明の一実施形態にかかる撮像方法について説明する流れ図である。以下、図８を用いて本発明の一実施形態にかかる撮像方法について説明する。

まず、ブロック位置変更部１７６において、ホワイトバランスの評価対象となる小ブロックを選択する（ステップＳ１０２）。上述したように、ブロック位置変更部１７６が選択するホワイトバランスの評価対象となる小ブロックは、１フレーム毎に変化させる。

上記ステップＳ１０２で、ブロック位置変更部１７６がホワイトバランスの評価対象となる小ブロックを選択すると、当該小ブロックにおけるＲＧＢ画素の積算値ΣＲ、ΣＧ、ΣＢを積算処理部１７８で算出する（ステップＳ１０４）。ステップＳ１０４でＲＧＢ画素の積算値ΣＲ、ΣＧ、ΣＢを積算処理部１７８で算出すると、次に、光源推定部１８２において、ＲＧＢ画素の積算値ΣＲ、ΣＧ、ΣＢを用いて、当該小ブロックの彩色を判定する（ステップＳ１０６）。

上記ステップＳ１０６において、ＲＧＢ画素の積算値ΣＲ、ΣＧ、ΣＢを用いて、当該小ブロックの彩色を光源推定部１８２で判定すると、続いて、当該小ブロックの彩色判定結果を用いて、当該小ブロックの光源を光源推定部１８２で推定し、当該小ブロックが有彩色であるか無彩色であるかを判断する（ステップＳ１０８）。有彩色であるか無彩色であるかの情報は、２値であってもよいし、３段階以上の値であってもよい。そして、ステップＳ１０８で当該小ブロックの光源を光源推定部１８２で推定すると、推定結果を記憶部１８０に記憶する（ステップＳ１１０）。

上記ステップＳ１１０で、光源の推定結果が記憶部１８０に記憶されると、記憶部１８０に記憶された推定結果を用いて、ホワイトバランスゲインを算出する。まず、ホワイトバランスゲイン算出部１５６は、記憶部１８０に記憶された直近のフレームにおける推定結果を読み出す（ステップＳ１１２）。本実施形態では、１つの大ブロックを９つの小ブロックに分割しているので、ステップＳ１１２では、ホワイトバランスゲイン算出部１５６は、直近９フレーム分の推定結果を記憶部１８０から読み出す。

上記ステップＳ１１２で、記憶部１８０に記憶された直近のフレームにおける推定結果を読み出すと、ホワイトバランスゲイン算出部１５６は、読み出した推定結果を加重平均する（ステップＳ１１４）。ここでは、加重平均の一例を説明する。評価フレームをｆ、各フレームで無彩色として扱うブロックの数をｎ、無彩色として扱うブロックのＲＧＢ積算値をｒ、ｇ、ｂとすると、９フレーム分のカラーバランスＣｒ、Ｃｇ、Ｃｂは、以下の数式１で求めることができる。

上記数式１のように９フレーム分のカラーバランスＣｒ、Ｃｇ、Ｃｂを求めると、続いてホワイトバランスゲイン算出部１５６は、求めたカラーバランスＣｒ、Ｃｇ、Ｃｂを用いて、画像信号に対するホワイトバランスゲインを算出する（ステップＳ１１６）。ホワイトバランスゲインＫｒ、Ｋｇ、Ｋｂは、以下の数式２で求めることができる。

なお、上記数式２は、カラーバランスＣｒ、Ｃｇ、Ｃｂの中でＣｇの値が最も大きい場合の算出式であり、その他の色の値が大きい場合にはその色のホワイトバランスゲインが１となるように上記数式を適宜変更する。

上記ステップＳ１１６でホワイトバランスゲインを算出すると、続いて、撮影者による撮影動作が実行されたかどうかを判定する（ステップＳ１１８）。撮影者による撮影動作は、操作部１３２に含まれるシャッタボタンの押下であってもよい。また、撮影者による撮影動作が実行されたかどうかは、ＣＰＵ１２８で判定してもよい。

上記ステップＳ１１８の判定の結果、撮影者によって撮影動作が実行されていないと判定された場合には、上記ステップＳ１０２に戻り、ブロック位置変更部１７６において、ホワイトバランスの評価対象となる小ブロックを選択する。一方、上記ステップＳ１１８の判定の結果、撮影者によって撮影動作が実行されたと判定された場合には、ブロック位置変更部１７６は、ホワイトバランスの評価対象となる大ブロックを選択する（ステップＳ１２０）。

上記ステップＳ１２０で、ブロック位置変更部１７６によってホワイトバランスの評価対象となる大ブロックが選択されると、続いて当該大ブロックにおけるＲＧＢ画素の積算値ΣＲ２、ΣＧ２、ΣＢ２を積算処理部１７８で算出する（ステップＳ１２２）。ＲＧＢ画素の積算値ΣＲ２、ΣＧ２、ΣＢ２を積算処理部１７８で算出すると、続いて光源推定部１８２において、当該大ブロックにおけるＲＧＢ画素の積算値ΣＲ２、ΣＧ２、ΣＢ２を用いて、当該大ブロックの彩色を判定する（ステップＳ１２４）。

上記ステップＳ１２４で、光源推定部１８２によって大ブロックの彩色を判定すると、続いて、上記ステップＳ１１０で記憶部１８０に記憶した小ブロックの光源推定結果を、直近９フレーム分読み出す（ステップＳ１２６）。そして、ステップＳ１２６で読み出した直近９フレーム分の光源推定結果を用いて、ホワイトバランスゲイン算出部１５６でホワイトバランスゲインを算出する。

ホワイトバランスゲイン算出部１５６でホワイトバランスゲインを算出するには、まず大ブロックの演算処理結果に対する重みを決定する（ステップＳ１２８）。大ブロックの演算処理結果に対する重みは、無彩色であると判断した小ブロックの数の大小によって決定してもよい。図９は、無彩色であると判断した小ブロックの数と、大ブロックの演算処理結果に対する重み係数との関係の一例をグラフで示す説明図である。図９に示したグラフでは、横軸に無彩色であると判断した小ブロックの数を、縦軸に大ブロックの演算処理結果に対する重み係数を、それぞれ表している。そして、図９に示した例では、無彩色であると判断した小ブロックの数が増えると、２次関数的に重み係数を大きくしている場合を表している。もちろん、無彩色であると判断した小ブロックの数と、重み係数との関係は、図９に示した例に限られないことはいうまでもない。

図９に示したグラフを用いて説明すると、無彩色であると判断した小ブロックが最大の９つである場合には、重み係数を最大の１．０としている。また、無彩色であると判断した小ブロックが８つである場合には、重み係数を０．７５としており、無彩色であると判断した小ブロックが７つである場合には、重み係数を０．５としている。このように、静止画撮影時において、大ブロックが無彩色であるかどうかの信頼度を表す重み係数を適用することで、混色が発生する可能性の高い大ブロックにおいては、当該大ブロックに対する演算処理結果の影響度を下げて、誤判断を低減することができる。

上記ステップＳ１２８で大ブロックの演算処理結果に対する重みを決定すると、決定した重みを用いて、上記ステップＳ１２０で選択した大ブロックにおける光源を推定する（ステップＳ１３０）。そして、ステップＳ１３０で推定した光源の情報を用いて、ホワイトバランスゲイン算出部１５６でホワイトバランスゲインを算出する（ステップＳ１３２）。撮像装置１００は、算出したホワイトバランスゲインをホワイトバランス補正部１５８で適用することで、ホワイトバランスを補正する。

以上、図８を用いて本発明の一実施形態にかかる撮像方法について説明した。このように、撮影前の時点では複数フレームにまたがって、位置が異なる小ブロックに対する信号処理を実行し、撮影時には、直前のフレームにおける小ブロックに対する信号処理の結果と、撮影動作実行時点での大ブロックに対する信号処理の結果とを用いる事で、１フレームあたりの処理負荷を増加させることなく、より小さいブロック分割が行うことが可能となり、混色発生を抑制することができる。

以上説明したように、本発明の一実施形態によれば、記録前の段階では、画像信号処理の対象となるブロックを、混色の発生を抑えるために小ブロックとして細かく分割し、記録時には、複数の小ブロックからなる大ブロックに対する評価結果と、記録前の直近のフレームにおける細かく分割した小ブロックに対する評価結果を用いることで、処理負荷を増やさずにホワイトバランスを補正する画像信号処理を実行することが可能となる。また、ホワイトバランスを補正するゲインは、撮影時の画素の積算値を元に算出し、過去のフレームにおいて算出したデータは重み係数の決定にのみ使用されるため、ブロックを細かく分割した際に生じる、評価データの算出の遅延による弊害は発生しなくなる。そして、特に複数の静止画を短時間で連続して撮影する高速連写時には、撮影前の画面表示時と静止画撮影時の時間差の影響を受けることなく、静止画撮影時にホワイトバランス補正の処理負担を軽減できる分、処理時間を短縮することができる。

なお、上述した撮像装置１００の動作は、撮像装置１００の内部にコンピュータプログラムを記憶させ、当該コンピュータプログラムをＣＰＵ１２８が読み出して順次実行することによってなされるようにしてもよい。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

本発明は、撮像装置及び画像処理方法に適用可能であり、特に被写体を電子的に撮影する電子的撮像装置及び電子的撮像装置を用いた及び画像処理方法に適用可能である。

本発明の一実施形態にかかる撮像装置１００の構成について示す説明図である。 画像信号処理部１１６の構成について説明する説明図である。 画像評価部１５４の構成について説明する説明図である。 １つの大ブロックを横３ブロック×縦３ブロックの小ブロックに分割した場合について示す説明図である。 撮像処理の前の段階での、ブロック位置変更部１７６におけるブロック位置の変更処理を説明する説明図である。 撮像処理の前後での、ブロック位置変更部１７６におけるブロック位置の変更処理を説明する説明図である。 光源推定部１８２で光源を推定する際の評価対象のブロックとフレームとの関係の一例について説明する説明図である。 本発明の一実施形態にかかる撮像方法について説明する流れ図である。 無彩色であると判断した小ブロックの数と、小ブロックの光源推定結果に対する重みとの関係の一例をグラフで示す説明図である。 従来のホワイトバランス補正処理におけるブロック分割について説明する説明図である。 ホワイトバランス補正処理の対象となる、ＣＣＤやＣＭＯＳ等の撮像素子より取り出された画像信号から得られる画像の一例を示す説明図である。 図１１に示した画像が得られる画像信号を横４ブロック×縦３ブロックに分割した場合を示す説明図である。 図１１に示した画像が得られる画像信号を横１２ブロック×縦９ブロックに分割した場合を示す説明図である。 画像信号を横４ブロック×縦３ブロックに分割した場合の混色の発生の一例を示す説明図である。 画像信号を横１２ブロック×縦９ブロックに分割した場合の混色の発生の一例を示す説明図である。

符号の説明

１００ 撮像装置
１０２ ズームレンズ
１０４ 絞り
１０６ フォーカスレンズ
１０８ ＣＣＤ素子
１１０ ＣＤＳ回路
１１２ Ａ／Ｄ変換器
１１４ 画像入力コントローラ
１１６ 画像信号処理部
１２０ 圧縮処理部
１２２ ＬＣＤドライバ
１２４ ＬＣＤ
１２６ タイミングジェネレータ
１２８ ＣＰＵ
１３２ 操作部
１３４ メモリ
１３８ メディアコントローラ
１４０ 記録メディア
１４２ａ、１４２ｂ、１４２ｃ モータドライバ
１５２ イメージフロントプロセス処理部
１５４ 画像評価部
１５６ ホワイトバランスゲイン算出部
１５８ ホワイトバランス補正部
１６０ デモザイク処理部
１６２ 色補正処理部
１６４ ガンマ補正処理部
１７２ 第１ブロック分割部
１７４ 第２ブロック分割部
１７６ ブロック位置変更部
１７８ 積算処理部
１８０ 記憶部
１８２ 光源推定部

Claims (5)

1. 撮像素子より得られた画像信号を複数の第１ブロックに分割する第１分割手段と、
   前記第１ブロックをさらにＭ個の第２ブロックに分割する第２分割手段と、
   演算対象の前記第２ブロックをフレーム毎に変化させる位置変更手段と、
   記録前には前記位置変更手段が変化させた前記第２ブロックに対して演算処理を実行し、記録時には前記第１ブロックに対して演算処理を実行する演算手段と、
   前記演算手段の、前記第２ブロックに対する直近Ｍフレームの演算結果および前記第１ブロックに対する演算結果を用いて前記画像信号の光源を推定する光源推定手段と、
   を備える撮像装置。
2. 前記光源推定手段の光源推定結果を少なくともＭフレーム分記憶する記憶手段と、
   前記記憶手段で記憶した前記第２ブロックに対する直近Ｍフレーム分の光源推定結果および前記第１ブロックに対する光源推定結果を用いてホワイトバランスを補正するゲインを算出するゲイン算出手段と、
   をさらに備える、請求項１に記載の撮像装置。
3. 前記ゲイン算出手段は、前記第２ブロックに対する直近Ｍフレーム分の光源推定結果を用いて所定の重み係数を決定し、前記第１ブロックに対する演算結果に前記所定の重み係数を乗じてゲインを算出する、請求項２に記載の撮像装置。
4. 前記所定の重み係数は、前記光源推定手段における光源推定の結果、無彩色であると判断した小ブロックの数が大きいほど大きな係数である、請求項３に記載の撮像装置。
5. 撮像素子より得られた画像信号を複数の第１ブロックに分割する第１分割ステップと、
   前記第１ブロックをさらにＭ個の第２ブロックに分割する第２分割ステップと、
   演算対象の前記第２ブロックをフレーム毎に変化させる位置変更ステップと、
   記録前には前記位置変更ステップで変化させた前記第２ブロックに対して演算処理を実行し、記録時には前記第１ブロックに対して演算処理を実行する演算ステップと、
   前記演算ステップにおける前記第２ブロックに対する直近Ｍフレームの演算結果および前記第１ブロックに対する演算結果を用いて前記画像信号の光源を推定する光源推定ステップと、
   を備える撮像方法。
   

Images