JP5593683B2

JP5593683B2 - 撮像装置

Info

Publication number: JP5593683B2
Application number: JP2009263591A
Authority: JP
Inventors: 貴志皆川
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2009-11-19
Filing date: 2009-11-19
Publication date: 2014-09-24
Anticipated expiration: 2029-11-19
Also published as: JP2011109496A

Description

本発明は、画像を生成する撮像装置に関する。

固体撮像素子を使用する撮像装置では、レンズによって結像された像に撮像素子のサンプリング周波数と同程度以上の高周波成分が含まれていると、モアレによって発生する偽色のため、撮像した画像が劣化するという現象が起こる。そのため、レンズのピントをずらすことによって偽色を除去し、ピントがずれることによるＳＮ比の低下を補填するために露光時間を長くする撮像装置が知られている（例えば、特許文献１など）。

特開平８−１４９３５８号公報

しかしながら、上述した特許文献１に開示された撮像装置では、ピントをずらして撮像するため画像のボケは改善されない。

そこで、本発明の撮像装置は、解像度を維持しつつ、偽色が除去された画像を取得することを目的とする。

本発明の撮像装置は、画像を取得する撮像部と、前記画像を複数のブロックに分割し、前記ブロック毎の色差信号を算出する色差信号算出部と、焦点状態が異なる２つの画像を第１画像、第２画像としたときに、これら第１画像と第２画像とにおいて対応する前記ブロック毎の色差信号の差分に基づいて、いずれか一方の画像から偽色が発生した領域を検出し、他方の画像から前記偽色が発生した領域に対応する領域を検出する検出部と、前記差分に基づく係数を用いて、前記偽色が発生した領域の色差信号と、前記対応する領域の色差信号とを混合した色差信号を、前記偽色が発生した領域の色差信号に置換する偽色補正部とを備える。

なお、前記第１画像は合焦状態で前記撮像部により取得された画像、前記第２画像は非合焦状態で前記撮像部により取得された画像からなり、前記偽色が発生した領域は、前記第１画像に形成されても良い。

また、前記撮像部は、前記２つの画像とは焦点状態が異なる第３画像を取得し、前記検出部は、補正後の前記第１画像の色差信号と、前記第３画像の色差信号との差分に基づいて、補正後の前記第１画像から偽色を補正しきれなかった領域を検出しても良い。

また、前記係数は、前記偽色が発生した領域の色差信号と、前記対応する領域の色差信号との割合を示す混合比であっても良い。
本発明の他の撮像装置は、焦点状態がそれぞれ異なる第１画像、第２画像、第３画像を取得する撮像部と、画像の色差信号を算出する色差信号算出部と、前記第１画像及び前記第２画像の色差信号の差分に基づいて、前記第１画像または前記第２画像のいずれか一方の画像から偽色が発生した領域を検出し、前記第１画像または前記第２画像の他方の画像から前記偽色が発生した領域に対応する領域を検出する検出部と、前記差分に基づく係数を用いて、前記偽色が発生した領域の色差信号と、前記対応する領域の色差信号とを混合した色差信号を、前記偽色が発生した領域の色差信号に置換する偽色補正部とを備える。そして、前記検出部は、前記偽色補正部によって補正された前記一方の画像の色差信号と、前記第３画像の色差信号との差分に基づいて、補正後の前記一方の画像から偽色を補正しきれなかった領域を検出する。
本発明の他の撮像装置は、画像を取得する撮像部と、前記画像の色差信号を算出する色差信号算出部と、焦点状態が異なる２つの画像を第１画像、第２画像としたときに、これら第１画像及び第２画像の色差信号の差分に基づいて、いずれか一方の画像から偽色が発生した領域を検出し、他方の画像から前記偽色が発生した領域に対応する領域を検出する検出部と、前記差分に基づく係数を用いて、前記偽色が発生した領域の色差信号と、前記対応する領域の色差信号とを混合した色差信号を、前記偽色が発生した領域の色差信号に置換する偽色補正部とを備える。そして、前記係数は、前記偽色が発生した領域の色差信号と、前記対応する領域の色差信号との割合を示す混合比であって、前記混合した色差信号に少なくとも前記偽色が発生した領域の色差信号が含まれるような混合比である。

本発明の撮像装置によれば、解像度を維持しつつ、偽色が除去された画像を取得することができる。

本発明の実施形態における撮像装置１０の構成を示すブロック図である。画像の例を示す図である。撮像装置１０における撮像時の流れを示すフローチャートである。（ａ）偽色が発生した画像Ａの例を示す図である。（ｂ）画像ＡをブロックＢｌ_Ａ毎に分割した例を示す図である。ＬＵＴ２５の一例である。補正マップ５０、補正マップ５１、補正マップ５２の一例を示す図である。画像Ａ、画像Ｂ、補正後の画像Ａ’の例を示す図である。差分Ｓと、合焦レンズ位置からのフォーカスレンズ２４の移動量との関係を示す図である。

以下、本発明の実施形態について説明する。図１は、本発明の実施形態における撮像装置１０の構成を示すブロック図である。

図１に示すように、撮像装置１０は、撮像光学系１１、撮像素子１２、Ａ／Ｄ変換部１３、レンズ駆動部１４、バッファメモリ１５、表示部１６、フラッシュＲＡＭ１７、記録Ｉ／Ｆ部１８、記録媒体１９、操作部２０、ＣＰＵ２１、バス２２を備える。

撮像光学系１１は、撮像レンズ２３や、フォーカスレンズ２４、不図示のズームレンズなどを備えている。撮像レンズ２３は、撮像素子１２の結像面に被写体像を結像する。フォーカスレンズ２４は、焦点調節の際に光軸Ｌに沿って微小移動する。なお、この撮像光学系１１は、レンズ駆動部１４によって駆動制御される。撮像素子１２は、撮像光学系１１を通過した被写体光を光電変換し、Ｒ、Ｇ、Ｂの各色に対応するアナログ画像信号を出力する。撮像素子１２から出力される画像信号は、Ａ／Ｄ変換部１３に入力される。Ａ／Ｄ変換部１３は、撮像素子１２から出力されるアナログの画像信号をデジタルの画像信号に変換する。なお、このデジタルの画像信号は、１コマにまとめられ、画像データとしてバッファメモリ１５に記録される。バッファメモリ１５は、後述する画像処理部２８による画像処理の前工程や後工程で画像データを一時的に記録する。

表示部１６は、各種の画像を表示する。表示部１６に表示される各種の画像は、撮像により取得した画像、記録媒体１９に記録された画像、メニュー画像等を含む。フラッシュＲＡＭ１７は、ファームウェアや後述するＬＵＴ２５を備える。記録Ｉ／Ｆ部１８は、記録媒体１９を接続するためのコネクタを備えている。この記録Ｉ／Ｆ部１８と記録媒体１９とが接続されることにより、記録媒体１９に対してデータの書き込み／読み出しを実行する。操作部２０は、レリーズ釦２６、十字キー２７等を有する。レリーズ釦２６は、撮像時にユーザにより操作される。十字キー２７は、上記のメニュー画像等で操作される。なお、レリーズ釦２６及び十字キー２７の状態はＣＰＵ２１により検知され、検知された釦やキーの状態に基づいたシーケンスが実行される。

ＣＰＵ２１は、所定のシーケンスプログラムにしたがって、撮像装置１０の統括的な制御を行うとともに、撮像時に必要となる各種演算（ＡＦ、ＡＥ等）を実行する。また、ＣＰＵ２１は、画像処理部２８を備える。画像処理部２８は、バッファメモリ１５に記録された画像データに対して画像処理を施す。なお、この画像処理としては、周知のホワイトバランス調整、色補間、階調変換処理、輪郭強調処理等が挙げられる。また、画像処理部２８は、ＪＰＥＧ（Joint Photographic Experts Group）形式等で圧縮する処理や、圧縮された上記のデータを伸長復元する処理をも実行する。また、画像処理部２８は、画像を構成する画素の色差成分を示す色差信号（Ｃｂ信号、Ｃｒ信号）、及び輝度成分を示す輝度信号を算出する。

図２は、画像の例を示す図である。なお、画像の横方向の座標をＸ、縦方向の座標をＹとする。また、横座標Ｘ、縦座標Ｙにおける画素を画素Ｐとする。画像処理部２８は、図２に示すように、横４画素×縦４画素から構成されるブロックに画像を分割する。画像が横α個×縦β個のブロックに分割されたとき、横座標ｉ、縦座標ｊにおけるブロックをブロックＢｌとする。ブロックＢｌを構成する画素の座標は、（４ｉ＋ｍ，４ｊ＋ｎ）と表される。なお、ｍ＝１〜４、ｎ＝１〜４である。

さらに、画像処理部２８は、検出部２９、偽色補正部３０の機能を備える。周知のように、モアレに起因する偽色は、撮像光学系１１によって結像された像に撮像素子１２のサンプリング周波数と同程度以上の高周波成分が含まれている場合に発生する現象である。そのため、合焦状態のときに発生していた偽色は、非合焦状態になると除去される。

そこで、検出部２９は、焦点状態が異なる２枚の画像を構成する画素の色差信号の差分に基づいて、合焦状態である画像から、偽色が発生したブロックを検出する。また、検出部２９は、非合焦状態である画像から、偽色が発生したブロックに対応するブロックを検出する。偽色補正部３０は、偽色が発生したブロックを構成する画素の色差信号と、対応するブロックを構成する画素の色差信号とを画素毎に混合する。そして、偽色補正部３０は、混合した色差信号を、偽色が発生したブロックを構成する画素の色差信号と置き換える。検出部２９及び偽色補正部３０の詳細については後述する。

バス２２は、バッファメモリ１５、表示部１６、フラッシュＲＡＭ１７、ＣＰＵ２１、記録Ｉ／Ｆ部１８を相互に接続することにより、データや信号の出入力を実行する。

図３は、撮像装置１０における撮像時の流れを示すフローチャートである。なお、図３のフローチャートは、レリーズ釦２６が全押しされたことを契機に実行される。

ステップＳ１０１は、画像Ａを撮像する処理である。レンズ駆動部１４は、フォーカスレンズ２４を合焦状態となる位置（合焦レンズ位置）まで移動させる。撮像素子１２は、合焦状態である画像Ａを撮像する。そして、画像処理部２８は、画像Ａにホワイトバランス調整、色補間などを行う。

ステップＳ１０２は、フォーカスレンズ２４を移動する処理である。まず、ＣＰＵ２１は、上記の合焦レンズ位置に基づいて、フォーカスレンズ２４の移動量を決定する。例えば、ＣＰＵ２１は、予め設定された所定の値を移動量とする。また、ＣＰＵ２１は、フォーカスレンズ２４の移動量と、偽色の有無との関係がわかっている場合は、その関係に基づいて移動量を算出しても良い。次に、レンズ駆動部１４は、ＣＰＵ２１により算出された移動量に基づいて、フォーカスレンズ２４を移動させる。なお、フォーカスレンズ２４の移動方向は、前後方向（図１の光軸Ｌの左右方向）のいずれでも良い。

ステップＳ１０３は、画像Ｂを撮像する処理である。撮像素子１２は、非合焦状態である画像Ｂを撮像する。そして、画像処理部２８は、画像Ｂにホワイトバランス調整、色補間などを行う。なお、画像Ａと画像Ｂとは、撮像時のフォーカスレンズ２４の位置は異なるが、その他の撮像条件及び構図は同じである。

ステップＳ１０４は、画像Ａ、画像Ｂを構成する画素の色差信号を算出する処理である。画像処理部２８は、画像Ａ、画像Ｂを構成する画素のＣｂ信号、Ｃｒ信号、輝度信号を算出する。画像Ａの横座標Ｘ、縦座標Ｙにおける画素Ｐ_ＡのＣｂ信号、Ｃｒ信号、輝度信号を、Ｃｂ_Ａ（Ｘ，Ｙ）、Ｃｒ_Ａ（Ｘ，Ｙ）、Ｙ_Ａ（Ｘ，Ｙ）とする。また、画像Ｂの横座標Ｘ、縦座標Ｙにおける画素Ｐ_ＢのＣｂ信号、Ｃｒ信号、輝度信号を、Ｃｂ_Ｂ（Ｘ，Ｙ）、Ｃｒ_Ｂ（Ｘ，Ｙ）、Ｙ_Ｂ（Ｘ，Ｙ）とする。

ステップＳ１０５は、各ブロックの平均値を算出する処理である。まず、画像処理部２８は、横４画素×縦４画素から構成されるブロックに、画像Ａ、画像Ｂを分割する。図４（ａ）は、偽色が発生した画像Ａの例を示す図である。図４（ｂ）は、画像ＡをブロックＢｌ_Ａ毎に分割した例を示す図である。

画像処理部２８は、ブロックＢｌ_Ａを構成する画素Ｐ_ＡのＣｂ_Ａ（Ｘ，Ｙ）の平均値と、Ｃｒ_Ａ（Ｘ，Ｙ）の平均値との和に１／２を乗じる。以下、求められた値を平均値Ｄ_Ａ（ｉ，ｊ）とする。また、画像処理部２８は、ブロックＢｌ_Ｂを構成する画素Ｐ_ＢのＣｂ_Ｂ（Ｘ，Ｙ）の平均値と、Ｃｒ_Ｂ（Ｘ，Ｙ）の平均値との和に１／２を乗じる。以下、求められた値を平均値Ｄ_Ｂ（ｉ，ｊ）とする。

ステップＳ１０６は、各ブロックの平均値の差分を算出する処理である。画像処理部２８は、下記の式を用いて、各ブロックの平均値の差分を算出する。以下、平均値Ｄ_Ａ（ｉ，ｊ）と平均値Ｄ_Ｂ（ｉ，ｊ）との差分を差分Ｓと称する。

差分Ｓ＝｜平均値Ｄ_Ａ（ｉ，ｊ）−平均値Ｄ_Ｂ（ｉ，ｊ）｜
ステップＳ１０７は、補正対象ブロックがあるか否かを判定する処理である。検出部２９は、下記の式を満たすブロックＢｌ_Ａがあるか否かを判定する。

差分Ｓ＞Ｔｈ１、かつ平均値Ｄ_Ａ（ｉ，ｊ）＜Ｔｈ２
なお、Ｔｈ１、Ｔｈ２は、それぞれ異なる閾値である。例えば、差分Ｓが大きいブロックＢｌ_Ａを補正対象とする場合は、Ｔｈ１が大きくなるように設定されている。また、無彩色に近いブロックＢｌ_Ａを補正対象とする場合は、Ｔｈ２が小さくなるように設定されている。これは、無彩色に近いブロックＢｌ_Ａほど偽色が目立ちやすいためである。検出部２９は、補正対象ブロックがあると判定した場合（ステップＳ１０７の判定がＹＥＳとなる場合）には、ステップＳ１０８に進む。一方、検出部２９は、補正対象ブロックがないと判定した場合（ステップＳ１０７の判定がＮＯとなる場合）には、後述するステップＳ１１１に進む。

ここで、偽色補正部３０について説明する。偽色補正部３０は、差分Ｓに応じた混合比で、画素Ｐ_Ａ毎に、Ｃｂ_Ａ（Ｘ，Ｙ）とＣｂ_Ｂ（Ｘ，Ｙ）とを混合し、Ｃｂ’_Ａ（Ｘ，Ｙ）を得るとともに、Ｃｒ_Ａ（Ｘ，Ｙ）とＣｂ_Ｂ（Ｘ，Ｙ）とを混合し、Ｃｒ’_Ａ（Ｘ，Ｙ）を得る。そして、偽色補正部３０は、Ｃｂ’_Ａ（Ｘ，Ｙ）、Ｃｒ’_Ａ（Ｘ，Ｙ）を、画素Ｐ_Ａの補正後のＣｂ信号、Ｃｒ信号とする。これにより、偽色が発生していたＣｂ_Ａ（Ｘ，Ｙ）、Ｃｂ_Ｂ（Ｘ，Ｙ）を、Ｃｂ’_Ａ（Ｘ，Ｙ）、Ｃｒ’_Ａ（Ｘ，Ｙ）に補正することができる。以下、Ｃｂ_Ａ（Ｘ，Ｙ）又はＣｒ_Ａ（Ｘ，Ｙ）の割合を１とした混合比を算出する例を示す。

ステップＳ１０８は、混合比を算出する処理である。偽色補正部３０は、ＬＵＴ２５を用いて、画像Ａを構成するブロックＢｌ_Ａ毎に、差分Ｓに対応する混合比を算出する。図５の曲線４０は、ＬＵＴ２５の一例である。なお、横軸は、差分Ｓであり、縦軸は、混合比である。図５に示すように、曲線４０は、差分Ｓが０である場合、混合比が１となるように設定され、差分Ｓが大きいほど、混合比が０に近づくように設定されている。なお、偽色補正部３０は、混合比が１である場合は、偽色が発生していないため、混合しない。また、偽色補正部３０は、混合比が０である場合は、偽色の度合いが大きいため、Ｃｂ_Ａ（Ｘ，Ｙ）とＣｂ_Ｂ（Ｘ，Ｙ）とを置き換えるとともに、Ｃｂ_Ｂ（Ｘ，Ｙ）とＣｒ_Ｂ（Ｘ，Ｙ）とを置き換える。

なお、曲線４０は一例であり、混合比は、ステップＳ１０７で述べたＴｈ１や、撮像素子１２の特性に合わせて、撮像装置１０の機種毎に設定されることが好ましい。例えば、差分Ｓが大きいブロックＢｌ_Ａのみを補正したい場合は、混合比を曲線４１のように設定する。一方、差分Ｓが小さいブロックＢｌ_Ａを補正したい場合は、混合比を曲線４２のように設定する。

ステップＳ１０９は、補正マップを生成する処理である。まず、偽色補正部３０は、ブロックＢｌ_Ａ毎に、ステップＳ１０７で算出した混合比を示す補正マップ５０を生成する（図６参照）。次に、偽色補正部３０は、ブロックＢｌ_Ａを構成する画素数（本実施形態では、４×４）を補正マップ５０に掛けて、補正マップ５０を拡大し、画素Ｐ_Ａ毎の混合比を示す補正マップ５１を生成する。このとき、偽色補正部３０は、図６に示すように、同じブロックＢｌ_Ａを構成する画素Ｐ_Ａは同じ混合比になるように補正マップ５０を拡大する。さらに、偽色補正部３０は、補正マップ５１に公知のローパスフィルタ処理を施し、画素Ｐ_Ａの境界を目立たなくしたものを、最終的な補正マップ５２として生成する（図６参照）。なお、図６において、Ｍ（Ｘ，Ｙ）は、補正マップ５２上の横座標Ｘ、縦座標Ｙにおける混合比である。

ステップＳ１１０は、画像Ａに発生した偽色を補正する処理である。偽色補正部３０は、ステップＳ１０８で生成した補正マップ５２を用いて、画像Ａを構成する画素Ｐ_Ａ毎に、Ｃｂ_Ａ（Ｘ，Ｙ）と、Ｃｂ_Ｂ（Ｘ，Ｙ）とを混合し、Ｃｂ’_Ａ（Ｘ，Ｙ）を得る。Ｃｂ’_Ａ（Ｘ，Ｙ）は、下記の式で表される。

Ｃｂ’_Ａ（Ｘ，Ｙ）＝Ｃｂ_Ａ（Ｘ，Ｙ）×Ｍ（Ｘ，Ｙ）＋Ｃｂ_Ｂ（Ｘ，Ｙ）×（１−Ｍ）（Ｘ，Ｙ）
また、偽色補正部３０は、同様に、ステップＳ１０８で生成した補正マップ５２を用いて、画像Ａを構成する画素Ｐ_Ａ毎に、Ｃｒ_Ａ（Ｘ，Ｙ）と、Ｃｒ_Ｂ（Ｘ，Ｙ）とを混合し、Ｃｒ’_Ａ（Ｘ，Ｙ）を得る。Ｃｒ’_Ａ（Ｘ，Ｙ）は、下記の式で表される。

Ｃｒ’_Ａ（Ｘ，Ｙ）＝Ｃｒ_Ａ（Ｘ，Ｙ）×Ｍ（Ｘ，Ｙ）＋Ｃｒ_Ｂ（Ｘ，Ｙ）×（１−Ｍ）（Ｘ，Ｙ）
その後、ＣＰＵ２１は、ステップＳ１０２に戻り、ステップＳ１０６で算出した差分Ｓに基づいて、フォーカスレンズ２４の移動量を算出する。そして、撮像素子１２は、画像Ｂ_２を撮像する。検出部２９は、上記と同様の処理を行い、補正後の画像Ａ’から偽色が補正しきれなかったブロックを検出し、画像Ｂ_２から、偽色が補正しきれなかったブロックに対応するブロックを検出する。偽色補正部３０は、偽色が補正しきれなかったブロックを構成する画素のＣｂ信号、Ｃｒ信号と、対応するブロックを構成する画素のＣｂ信号、Ｃｒ信号とを混合する。

このように、ＣＰＵ２１は、フォーカスレンズ２４の移動量を変化させながら、ステップＳ１０７で検出部２９により補正対象ブロックがないと判定されるまで、ステップＳ１０２からステップＳ１１０の処理を繰り返す。

ステップＳ１１１は、圧縮、記録する処理である。画像処理部２８は、偽色を補正した場合には、補正後の画像Ａ’を構成する画素Ｐ_Ａ毎に、Ｃｂ’_Ａ（Ｘ，Ｙ）とＣｒ’_Ａ（Ｘ，Ｙ）とＹ（Ｘ，Ｙ）とを合成する。そして、画像処理部２８は、これらの信号を合成した画素から構成される画像Ａ’に圧縮処理を施し、記録媒体１９に記録する。一方、画像処理部２８は、偽色を補正していない場合には、ステップＳ１０１で撮像した画像Ａに圧縮処理を施し、記録媒体１９に記録する。

図７は、画像Ａ、画像Ｂ、補正後の画像Ａ’の例を示す図である。図７に示すように、画像Ａ、画像Ｂは、白地に複数の黒い直線が描かれた被写体を撮像した画像である。また、画素Ｐ_Ａ１、画素Ｐ_Ｂ１は、白地上の任意の画素である。画素Ｐ_Ａ１は、偽色が発生し、輝度信号＝２５５、Ｃｂ信号＝１０、Ｃｒ信号＝０である。一方、画素Ｐ_Ｂ１は、偽色が発生せず、輝度信号＝２００、Ｃｂ信号＝０、Ｃｒ信号＝０である。偽色補正部３０は、ステップＳ１０９で生成した補正マップ５２を用いて、画素Ｐ_Ａ１のＣｂ信号、Ｃｒ信号と、画素Ｐ_Ｂ１のＣｂ信号、Ｃｒ信号とを混合する。例えば、補正後の画素Ｐ’_Ａ１は、輝度信号＝２５５、Ｃｂ信号＝１０、Ｃｒ信号＝０と表される。このように、偽色補正部３０は、偽色が発生した画素Ｐ_Ａ１の色を、本来の白色に補正することができる。

以上説明したように、本実施形態の撮像装置１０は、合焦状態である画像Ａと、非合焦状態である画像Ｂとを撮像する。そして、撮像装置１０は、画像Ａから検出し、偽色が発生したブロックＢｌ_Ａを構成する画素Ｐ_Ａの色差信号と、画像Ｂから検出したブロックＢｌ_Ｂを構成する画素Ｐ_Ｂの色差信号とを混合した色差信号を、ブロックＢｌ_Ａを構成する画素Ｐ_Ａの色差信号と置き換える。

したがって、本実施形態の撮像装置１０によれば、解像度を維持しつつ、偽色が除去された画像を取得することができる。また、撮像装置１０は、補正マップ５２を用いて画素Ｐ_Ａ毎に色差信号を混合するため、色差信号を混合した画素Ｐ_Ａと、混合していない画素Ｐ_Ａとの境界が目立たなくなり、より自然な画像を得ることができる。

なお、撮像素子１２は、合焦レンズ位置からフォーカスレンズ２４を移動させて画像Ｂを撮像する。そのため、画像Ｂの模様部分が消えてしまう。しかし、画像処理部２８は、ブロックＢｌ_Ａを構成する画素の色差信号の平均値と、ブロックＢｌ_Ｂを構成する画素の色差信号の平均値とを算出した上で、差分Ｓを求めるため、偽色ではない模様部分のブロックを構成する画素の色差信号の平均値は変わらず、その部分は、補正されない。すなわち、本実施形態の撮像装置１０によれば、あくまでも偽色が発生したブロックＢｌ_Ａを構成する画素の色差信号のみを補正することができる。

また、上記の実施形態では、撮像時に偽色を補正する例を示したが、これに限定する必要はなく、撮影モードに偽色を補正する偽色補正モードを設けても良い。そして、ユーザによって偽色補正モードが選択された場合のみ、図３のフローチャートの処理を行えば良い。

また、予め記録媒体１９に合焦状態である画像Ａと、非合焦状態である画像Ｂとが記録されている場合は、再生時に図３のフローチャートのステップＳ１０４からステップＳ１１１の処理を行っても良い。

また、上記の実施形態では、ステップＳ１０７で検出部２９により補正対象ブロックがないと判定されるまで複数回の撮像を行って補正する例を示したが、偽色が低減されていれば良いので、補正する回数を１回にしても良い。これにより、処理時間を短縮することができる。

また、差分Ｓが最大となるまで、フォーカスレンズ２４を移動させても良い。図８は、差分Ｓと、合焦レンズ位置からのフォーカスレンズ２４の移動量との関係を示す図である。なお、横軸は、フォーカスレンズ２４の移動量であり、縦軸は、差分Ｓである。また、画像Ｂ_５、画像Ｂ_６は、画像Ｂ_２を撮像した後に、さらにフォーカスレンズ２４を移動させて撮像した画像である。図８に示すように、画像Ｂ_６において差分Ｓが最大となるため、このとき偽色は最小となる。したがって、ＣＰＵ２１は、画像Ｂ_６を用いて偽色を補正するまで、ステップＳ１０２からステップＳ１１０の処理を繰り返しても良い。

また、ステップＳ１０２では、所定の量を移動量とする例を示したが、これに限らない。例えば、ＣＰＵ２１は、画像Ａを撮像する前に撮像した複数のスルー画像に基づいて、差分Ｓとフォーカスレンズ２４の移動量との関係を予め求めておき、移動量を算出しても良い。

また、上記の実施形態では、ステップＳ１０５で、各ブロックを構成する画素のＣｂ信号の平均値と、Ｃｒ信号の平均値とを算出する例を示したが、これに限らない。例えば、各ブロックを構成する画素のＣｂ信号の積算値と、Ｃｒ信号の積算値とを算出しても良い。

また、上記の実施形態では、ステップＳ１０８で、ブロック毎に１つの混合比を算出する例を示したが、これに限らない。例えば、Ｃｂ信号、Ｃｒ信号のそれぞれに対応する混合比を算出しても良い。また、Ｃｂ信号、Ｃｒ信号の２乗和や絶対値和を用いて混合比を算出しても良い。

また、上記の実施形態では、縦４画素×横４画素から構成されるブロックの例を示したが、これに限らない。例えば、縦８画素×横８画素から構成されるブロックでも良いし、縦１６画素×横１６画素から構成されるブロックでも良い。

また、上記の実施形態では、撮像装置１０を例に挙げて説明したが、これに限らない。例えば、図１に示した以外の構成を有する撮像装置にも本発明を同様に適用することができる。また、図１に示す機能や、図３に示すフローチャートの流れをプログラムとしてコンピュータ読み取り可能な記録媒体に記録し、プログラムをコンピュータにて実行するようにしても良い。

１０…撮像装置、１２…撮像素子、１４…レンズ駆動部、２１…ＣＰＵ、２４…フォーカスレンズ、２５…ＬＵＴ、２９…検出部、３０…偽色補正部

Claims

画像を取得する撮像部と、
前記画像を複数のブロックに分割し、前記ブロック毎の色差信号を算出する色差信号算出部と、
焦点状態が異なる２つの画像を第１画像、第２画像としたときに、これら第１画像と第２画像とにおいて対応する前記ブロック毎の色差信号の差分に基づいて、いずれか一方の画像から偽色が発生した領域を検出し、他方の画像から前記偽色が発生した領域に対応する領域を検出する検出部と、
前記差分に基づく係数を用いて、前記偽色が発生した領域の色差信号と、前記対応する領域の色差信号とを混合した色差信号を、前記偽色が発生した領域の色差信号に置換する偽色補正部と
を備える撮像装置。
請求項１に記載の撮像装置において、
前記第１画像は合焦状態で前記撮像部により取得された画像、前記第２画像は非合焦状態で前記撮像部により取得された画像からなり、
前記偽色が発生した領域は、前記第１画像に形成される
ことを特徴とする撮像装置。
請求項２に記載の撮像装置において、
前記撮像部は、前記２つの画像とは焦点状態が異なる第３画像を取得し、
前記検出部は、補正後の前記第１画像の色差信号と、前記第３画像の色差信号との差分に基づいて、補正後の前記第１画像から偽色を補正しきれなかった領域を検出する
ことを特徴とする撮像装置。
請求項１から請求項３のいずれか１項に記載の撮像装置において、
前記係数は、前記偽色が発生した領域の色差信号と、前記対応する領域の色差信号との割合を示す混合比である
ことを特徴とする撮像装置。
焦点状態がそれぞれ異なる第１画像、第２画像、第３画像を取得する撮像部と、
画像の色差信号を算出する色差信号算出部と、
前記第１画像及び前記第２画像の色差信号の差分に基づいて、前記第１画像または前記第２画像のいずれか一方の画像から偽色が発生した領域を検出し、前記第１画像または前記第２画像の他方の画像から前記偽色が発生した領域に対応する領域を検出する検出部と、
前記差分に基づく係数を用いて、前記偽色が発生した領域の色差信号と、前記対応する領域の色差信号とを混合した色差信号を、前記偽色が発生した領域の色差信号に置換する偽色補正部とを備え、
前記検出部は、前記偽色補正部によって補正された前記一方の画像の色差信号と、前記第３画像の色差信号との差分に基づいて、補正後の前記一方の画像から偽色を補正しきれなかった領域を検出する
ことを特徴とする撮像装置。
画像を取得する撮像部と、
前記画像の色差信号を算出する色差信号算出部と、
焦点状態が異なる２つの画像を第１画像、第２画像としたときに、これら第１画像及び第２画像の色差信号の差分に基づいて、いずれか一方の画像から偽色が発生した領域を検出し、他方の画像から前記偽色が発生した領域に対応する領域を検出する検出部と、
前記差分に基づく係数を用いて、前記偽色が発生した領域の色差信号と、前記対応する領域の色差信号とを混合した色差信号を、前記偽色が発生した領域の色差信号に置換する偽色補正部とを備え、
前記係数は、前記偽色が発生した領域の色差信号と、前記対応する領域の色差信号との割合を示す混合比であって、前記混合した色差信号に少なくとも前記偽色が発生した領域の色差信号が含まれるような混合比である
ことを特徴とする撮像装置。