JP4777038B2

JP4777038B2 - 撮像装置および画像処理方法

Info

Publication number: JP4777038B2
Application number: JP2005305951A
Authority: JP
Inventors: 典央根岸
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2004-10-22
Filing date: 2005-10-20
Publication date: 2011-09-21
Anticipated expiration: 2025-10-20
Also published as: JP2006148881A

Description

本発明は、色シェーディング補正を行うことで画像の品質を向上させる撮像装置および画像処理方法に関するものである。

図１、図２にて、従来の色シェーディング補正例を説明する。

図１に、従来例の撮像装置のブロック図を示す。１０１がレンズ・絞りからなる光学系、１０２がメカニカルシャッタ（メカシャッタと図示する）、１０３が固体撮像素子、１０４がＣＤＳ、１０５がＡ／Ｄ変換器、１０６が信号処理部、１０７がメモリ部、１０８がフレームメモリ部、１０９がメディア、１１０が圧縮／伸張処理部、１１１がストロボ発光部（ストロボと図示する）、１１２がストロボ駆動部、１１３が光学系駆動部、１１４がメカシャッタ駆動部（シャッタ駆動部と図示する）、１１５が撮像駆動部、１１６がタイミング信号発生器、１１７がシステム制御部、１１８が表示用信号処理部、１１９が画像表示装置、１２０が操作部である。

信号処理部１０６は、固体撮像素子１０３の各画素毎に出力される画像データに対し、各種の補正・記録用の信号処理を施す前処理部および記録信号処理部が含まれている。メモリ１０７は、色シェーディング補正係数、輝度シェーディング補正係数が格納してあり、信号処理部１０６によって適宜必要なデータが読み出される。フレームメモリ部１０８は、ディジタル信号に変換された固体撮像素子１０３からの信号や、信号処理部１０６で画像信号処理されたカラー画像を一時的に記憶しておくことができる。画像表示装置１１９は、撮影前の構図決めや、撮影された後の画像の確認に使用されるもので、電子ビューファインダーや液晶ディスプレイが用いられる。

光学系駆動部１１３、メカシャッタ駆動部１１４、撮像駆動部１１５では、それぞれ定電圧やドライブ能力を強化させたパルスを供給することで、光学系１０１、メカニカルシャッタ１０２および固体撮像素子１０３を動作させる。タイミング信号発生部１１６では基準駆動信号をメカシャッタ駆動部と撮像駆動部に供給している。ストロボ駆動部１１２では、システム制御部１１７からの制御信号に応じてストロボ発光部１１１に発光を促す駆動信号を出力する。システム制御部１１７では、固体撮像装置の電源の投入、撮影前の画像表示の指示、撮影の指示などの操作部１２０から指令に対し、撮像装置全体を制御する。

メモリ１０７に格納されている色シェーディング補正係数（Ｃｒ、Ｃｇ，Ｃｂ）は撮像装置が、予め無彩色・輝度一様・一定色温度の被写体を撮影し、出力データとして得られた画像が無彩色となるように、基準となる領域のＲ０，Ｇ０，Ｂ０の値と、画像上の各領域のＲ，Ｇ，Ｂの値から以下のように算出する。
Ｃｒ＝（Ｒ／Ｒ０）
Ｃｇ＝（Ｇ／Ｇ０）
Ｃｂ＝（Ｂ／Ｂ０）
色シェーディング補正係数は画像を幾つかの領域に分割し、それぞれの領域において値を持つ。メモリ１０７に格納されている色シェーデイング補正係数（Ｃｒ、Ｃｇ，Ｃｂ）の例を図１０に示す。図１０は画像中心部に比べ画像周辺部がＢの値が低く出力された画像の色シェーディング補正係数であり、中央の領域を基準領域としてある。

メモリ１０７に格納されている輝度シェーディング補正係数Ｙｇは撮像装置が、予め無彩色・輝度一様・一定色温度の被写体を撮影し、出力データとして得られた画像が輝度一様となるように基準となる領域の輝度値ｙ０と画像上の各領域の、輝度値ｙから以下のように算出する。
Ｙｇ＝（ｙ／ｙ０）
輝度シェーディング補正係数Ｙｇは画像を幾つかの領域に分割し、それぞれの領域において値を持つ。メモリ１０７に格納されている輝度シェーディング補正係数Ｙｇの例を図１１に示す。図１１は画像中心部に比べ画像周辺部の輝度値が低く出力された画像の輝度シェーディング補正係数であり、中央の領域を基準領域としてある。

図２に従来例の画像信号処理部の詳細を示す。２０１がホワイトバランス処理部（ＷＢ処理部と記述）、２０２が色シェーディング補正処理部、２０３が輝度・色分離処理部、２０４が色処理部、２０５が輝度シェーディング補正処理部、そして２０６が輝度処理部である。

Ａ／Ｄ変換器１０５にてＡＤ変換処理された入力画像信号（Ｒ１，Ｇ１，Ｂ１）は、ホワイトバランス処理部２０１にて次式のようにホワイトバランス処理が行われ、その出力信号（Ｒ２，Ｇ２，Ｂ２）が色シェーディング補正処理部２０２に送られる。（ＲＷＢ／ＧＷＢ，ＢＷＢ／ＧＷＢはホワイトバランス係数）
（Ｒ２，Ｇ２，Ｂ２）＝（Ｒ１・ＧＷＢ／ＲＷＢ，Ｇ１，Ｂ１・ＧＷＢ／ＢＷＢ）
また、色シェーディング補正係数（Ｃｇ，Ｃｒ，Ｃｂ）がメモリ１０７から読みだされ、色シェーディング補正処理部２０２に送られる。色シェーディング補正処理部２０２では入力画像信号（Ｒ２，Ｇ２，Ｂ２）に対し、以下の式のように色シェーディング補正処理が施される。（Ｒ３，Ｇ３，Ｂ３は色シェーディング補正部からの出力画像信号）
（Ｒ３，Ｇ３，Ｂ３）＝（Ｒ２・Ｃｒ，Ｇ２・Ｃｇ，Ｂ２・Ｃｂ）
その後、輝度・色分離処理部２０３にて輝度と色差信号の分離処理を行い、色処理部２０４にて色処理を行い、色信号が作成される。輝度シェーディング補正処理部２０５、輝度処理部２０６にてそれぞれ輝度シェーディング補正処理、輝度処理を行い輝度信号が作成される。これら色信号、輝度信号を合成してフレームメモリ部１０８に保存する。

輝度シェーディング補正はホワイトバランス処理、色シェーディング補正処理を行った画像信号に対し、メモリ１０７から読み出した輝度シェーディング補正係数を輝度シェーディング補正処理部２０５にて乗じることにより行う。

また、ホワイトバランス処理された信号に基づき補正量を算出する補正量算出手段を備え、この補正量により色シェーディング補正することを特徴とする内視鏡装置などがある。（例えば、特許文献１）
特開平１１−２４４２３０号公報

しかしながら、撮像装置の中には、撮像素子の表面をマイクロレンズで覆い、入射光を効率よくホトダイオードへと集めるように構成されているものがある。このマイクロレンズは通常の光学レンズと同様に色収差があり、色シェーディングの原因となる。この色収差は入射する光の波長によって異なるため、被写体の光源色により変化する。そのため、従来の補正方法では光源色により色シェーディングが残ってしまう。

また、この色収差起因の色シェーディングを補正するためには、光源色に応じて色シェーディング補正係数をもつという方法が考えられるが、様々な光源色に応じて色シェーディング補正係数を持つとなるとデータ量が膨大となるため、データ量を削減するためには何らかの工夫が必要となる。

色シェーディング補正を行う場合、画像信号データにゲインを乗じることになるのでノイズの増加が問題となる。さらに、色シェーディング補正処理だけでなくホワイトバランス処理部においても、ゲインを乗じることとなるため、双方において乗じられるゲインの積の値が大きければ大きいほど、補正領域に含まれるノイズを強調することとなる。そこでホワイトバランス処理部と色シェーディング補正処理の両方で乗じられるゲインの値の積を低く抑える必要がある。

上記課題を解決するため、本願発明は、画像の領域に応じた色シェーディング補正係数を掛けることで、前記画像の色の値を補正する色シェーディング補正手段と、前記画像の色温度を算出し、前記色温度の変化に応じて、前記色シェーディング補正係数を変化させる制御手段を有し、前記制御手段は、前記色温度が第１の色温度であるときのＲの前記色シェーディング補正係数を、前記色温度が前記第１の色温度よりも低い第２の色温度であるときよりも小さく設定し、前記色温度が前記第１の色温度であるときのＢの前記色シェーディング補正係数を、前記第２の色温度であるときよりも大きく設定することを特徴とする撮像装置を提供するものである。

また、上記課題を解決するため、本願発明は、画像の領域に応じた色シェーディング補正係数を掛けることで、前記画像の色の値を補正する色シェーディング補正手段と、前記画像のホワイトバランス係数を算出し、前記ホワイトバランス係数の変化に応じて、前記色シェーディング補正係数を変化させる制御手段を有し、前記制御手段は、前記ホワイトバランス係数が第１のホワイトバランス係数であるときのＲの前記色シェーディング補正係数を、前記ホワイトバランス係数が前記第１のホワイトバランス係数よりもＲ／Ｇが大きく、かつ、Ｂ／Ｇが小さい第２のホワイトバランス係数であるときよりも小さく設定し、前記ホワイトバランス係数が前記第１のホワイトバランス係数であるときのＢの前記色シェーディング補正係数を、前記第２のホワイトバランス係数であるときよりも大きく設定することを特徴とする撮像装置を提供するものである。
また、上記と同様の機能を達成するための画像処理方法を提供するものである。

本発明によれば、シェーディング特性とＳ／Ｎ特性とを考慮した最適な補正を行うことことが可能になり画像品質を向上させることができる。

以下、本発明の実施例を図面に基づいて詳細に説明する。

図１、図３、図４、図５および図６を用いて、本実施例を説明する。

第１実施例の撮像装置のブロック図を図１に示す。従来例と同様の構成をとり、信号処理部１０６以外は同様の動作を行う。

また、メモリ１０７には、従来例と同様に、基準色温度（ｔ０）である基準光源（Ｂ光源）を撮影して算出した基準光源の色シェーデイング補正係数（Ｃｒ０，Ｃｇ０，Ｃｂ０）および基準光源の輝度シェーディング補正係数（Ｙｇ）が格納されている。

図３に第１実施例の信号処理部１０６の詳細を示す。３０１がホワイトバランス処理部（ＷＢ処理部と記述）、３０２が色シェーディング補正処理部、３０３が制御部、３０４がゲイン乗算回路、３０５が輝度・色分離処理部、３０６が色処理部、３０７が輝度シェーディング補正処理部、そして３０８が輝度処理部である。

Ａ／Ｄ変換器１０５にてＡＤ変換処理された入力画像信号（Ｒ１，Ｇ１，Ｂ１）は、ホワイトバランス処理部３０１にて次式のようにホワイトバランス処理が行われ、その出力信号（Ｒ２，Ｇ２，Ｂ２）は色シェーディング補正処理部３０２に送られる。
（Ｒ２，Ｇ２，Ｂ２）＝（Ｒ１・ＧＷＢ／ＲＷＢ，Ｇ１，Ｂ１・ＧＷＢ／ＢＷＢ）
このとき得られたホワイトバランス係数（ＲＷＢ／ＧＷＢ，ＢＷＢ／ＧＷＢ）は制御部３０３に送られる。制御部では送られてきたホワイトバランス係数から被写体の色温度ｔを算出し、この被写体の色温度に応じた色シェーディング補正係数調整値（Ｇｒｔ，Ｇｇｔ，Ｇｂｔ）を算出し、ゲイン乗算回路３０４に送る。また、メモリ１０７から、基準光源の色シェーディング補正係数（Ｃｒ０，Ｃｇ０，Ｃｂ０）をゲイン乗算回路３０４に読み出す。ゲイン乗算回路３０４では、色シェーディング補正係数調整値（Ｇｒｔ，Ｇｇｔ，Ｇｂｔ）と基準光源の色シェーディング補正係数（Ｃｒ０，Ｃｇ０，Ｃｂ０）を用いて下記に示す演算を行い、被写体の光源に対応した補正係数（Ｃｇｔ，Ｃｒｔ，Ｃｂｔ）を色シェーディング補正処理部３０２に送る。

なお、シェーディング補正係数の最大値をＣｍａｘとし、Ｃｒｔ、Ｃｇｔ、Ｃｂｔの何れもＣｍａｘ以上の値をとるときは、値をＣｍａｘとする。
Ｃｒｔ＝Ｃｒ０×Ｇｒｔ
Ｃｇｔ＝Ｃｇ０×Ｇｇｔ
Ｃｂｔ＝Ｃｂ０×Ｇｂｔ
色シェーディング補正係数調整値（Ｇｒｔ，Ｇｇｔ，Ｇｂｔ）は、被写体色温度による色シェーディングの目立ち方に依存して、例えば、以下のように算出される。全く色シェーディング補正を行わない場合は、（Ｇｒｔ，Ｇｇｔ，Ｇｂｔ）＝（１，１，１）とする。
Ｇｒｔ＝１−α（ｔ−ｔ０）／ｔ０
Ｇｇｔ＝１
Ｇｂｔ＝１＋α（ｔ−ｔ０）／ｔ０
ただし、α：正の定数とする。

色シェーディング補正処理部３０２では入力画像信号（Ｒ２，Ｇ２，Ｂ２）に対し、以下の式のように色シェーディング補正処理を施し、出力信号として（Ｒ３，Ｇ３，Ｂ３）を得る。
（Ｒ３，Ｇ３，Ｂ３）＝（Ｒ２・（Ｃｒｔ＋１），Ｇ２・（Ｃｇｔ＋１），Ｂ２・（Ｃｂｔ＋１））
その後、３０５輝度・色分離処理部にて輝度信号と色差信号の分離処理が行われ、色処理部３０６にて色処理を行い、色信号が作成される。輝度シェーディング補正処理部３０７、輝度処理部３０８にてそれぞれ輝度シェーディング補正処理、輝度処理を行い輝度信号が作成される。これら色信号、輝度信号を合成してフレームメモリ部１０８に保存する。

輝度シェーディング補正はホワイトバランス処理、色シェーディング補正処理を行った画像信号に対し、メモリ１０７から読み出した輝度シェーディング補正係数を輝度シェーディング処理部３０７にて乗じることにより行う。

図４に色温度ｔと、色シェーディング補正係数調整値（Ｇｒｔ，Ｇｇｔ，Ｇｂｔ）の関係を示す。Ｃｇｔ係数に対する調整値（Ｇｇｔ）は一定（Ｇｇｔ＝１）とし、高色温度下では、Ｃｒｔ係数に対する調整値（Ｇｒｔ）を小さく（１＞Ｇｒｔ）し、Ｂ信号に対する調整値を大きく（Ｇｂｔ＞１）する。低色温度下では、Ｃｂｔ係数に対する調整値（Ｇｂｔ）を小さく（１＞Ｇｂｔ）し、Ｒ信号に対する調整値Ｇｒｔを大きく（Ｇｒｔ＞１）する。

色温度ｔに対する色シェーディング補正係数調整値（Ｇｒｔ，Ｇｇｔ，Ｇｂｔ）の関係の他の例を図５，６に示す。

図５は、色温度が低いときには、色シェーディングが目立たない撮像装置に対応した場合であり、色温度が低くなるほど徐々に色シェーディング補正の補正度合が下がるように色シェーディング補正係数調整値を１に近づけている。

図６は、色温度が高いときには、色シェーディングが目立たない撮像装置に対応した場合であり、色温度が高くなるほど徐々に色シェーディング補正の補正度合が下がるように色シェーディング補正係数調整値を１に近づけている。これ以外にもセンサや光学系により色シェーディングの発生形態が異なる為、様々な形態にて色温度に応じた色シェーディング補正係数調整値（Ｇｒｔ，Ｇｇｔ，Ｇｂｔ）の制御方法が考えられる。

実施例１ではさまざまな光源下での色温度に対応した、色シェーディング補正係数調整値（Ｇｒｔ，Ｇｇｔ，Ｇｂｔ）を切り換えたものとなっているが、実施例２においては、色温度ではなくホワイトバランス係数ＲＷＢ／ＧＷＢ、ＢＷＢ／ＧＷＢに応じて色シェーデイング補正係数調整値（ＧｒＷＢ，ＧｇＷＢ，ＧｂＷＢ）を切り換える。この場合の例を図１、図３、図７、図８および図９を用いて説明する。

図１および図３の構成は実施例１と同様であるので、構成要素についての説明は省略する。

図７、図８、図９においてＲ０、Ｇ０、Ｂ０は基準光源（Ｂ光源）下での各色の出力値であり、Ｒ０／Ｇ０、Ｇ０／Ｂ０はそのときのホワイトバランス係数である。

色シェーディング補正係数調整値（ＧｒＷＢ，ＧｇＷＢ，ＧｂＷＢ）は、ホワイトバランスに依存して、例えば、以下のように算出される。算出された色シェーディング補正係数調整値（ＧｒＷＢ，ＧｇＷＢ，ＧｂＷＢ）は、予めメモリ１０７に格納されている。全く色シェーディング補正を行わない場合は、（ＧｒＷＢ，ＧｇＷＢ，ＧｂＷＢ）＝（１，１，１）とする。
ＧｒＷＢ＝１−α・（ＲＷＢ／ＧＷＢ−Ｒ０／Ｇ０）
ＧｇＷＢ＝１
ＧｂＷＢ＝１＋α・（ＢＷＢ／ＧＷＢ−Ｂ０／Ｇ０）
ただし、α：正の定数とする。

図７ではＣｇＷＢ係数に対する調整値（ＧｇＷＢ）は一定（ＧｇＷＢ＝１）とし、ＲＷＢ／ＧＷＢ＞Ｒ０／Ｇ０かつＢＷＢ／ＧＷＢ＜Ｂ０／Ｇ０では、ＣｒＷＢ係数に対する調整値（ＧｒＷＢ）を大きく（１＜ＧｒＷＢ）し、Ｂ信号に対する調整値（ＧｂＷＢ＜１）を小さくする。ＲＷＢ／ＧＷＢ＜Ｒ０／Ｇ０かつＢＷＢ／ＧＷＢ＞Ｂ０／Ｇ０では、ＣｂＷＢ係数に対する調整値（ＧｂＷＢ）を大きく（１＜ＧｂＷＢ）し、Ｒ信号に対する調整値ＧｒＷＢを小さく（ＧｒＷＢ＜１）する。

図８では、ＲＷＢ／ＧＷＢ＞Ｒ０／Ｇ０かつＢＷＢ／ＧＷＢ＜Ｂ０／Ｇ０のときには、色シェーディングが目立たない撮像装置に対応した場合であり、ＲＷＢ／ＧＷＢの値がＲ０／Ｇ０より大きくなり、かつＢＷＢ／ＧＷＢの値がＢ０／Ｇ０より小さくなるほど、徐々に色シェーディング補正の補正度合が下がるように色シェーディング補正係数調整値を１に近づけている。

図９では、ＲＷＢ／ＧＷＢ＜Ｒ０／Ｇ０かつＢＷＢ／ＧＷＢ＞Ｂ０／Ｇ０のときには、色シェーディングが目立たない撮像装置に対応した場合であり、ＲＷＢ／ＧＷＢの値がＲ０／Ｇ０より小さくなり、かつＢＷＢ／ＧＷＢの値がＢ０／Ｇ０より大きくなるほど、徐々に色シェーディング補正の補正度合が下がるように色シェーディング補正係数調整値を１に近づけている。本実施例ではＢ光源を基準光源としたが、他の色温度の光源を基準光源としても良い。

実施例・従来例における撮像装置の概略を示す図である。従来例における信号処理部を示す図である。実施例における信号処理部を示す図である。実施例における色シェーディングの調整値例である。実施例における色シェーディングの調整値例である。実施例における色シェーディングの調整値例である。実施例における色シェーディングの調整値例である。実施例における色シェーディングの調整値例である。実施例における色シェーディングの調整値例である。実施例・従来例における色シェーディング補正係数の例である。実施例・従来例における輝度シェーディング補正係数の例である。

符号の説明

１０１光学系
１０２メカシャッタ
１０３固体撮像素子
１０４ＣＤＳ
１０５Ａ／Ｄ変換器
１０６信号処理部
１０７メモリ部
１０８フレームメモリ部
１０９メディア
１１０圧縮／伸張処理部
１１１ストロボ発光部
１１２ストロボ駆動部
１１３光学系駆動部
１１４メカシャッタ駆動部
１１５撮像駆動部
１１６タイミング信号発生器
１１７システム制御部
１１８表示用信号処理部
１１９画像表示装置
１２０操作部
２０１ホワイトバランス処理部
２０２色シェーディング補正処理部
２０３輝度・色分離処理部
２０４色処理部
２０５輝度シェーディング処理部
２０６輝度処理部
３０１ホワイトバランス処理部
３０２色シェーディング補正処理部
３０３制御部
３０４ゲイン乗算回路
３０５輝度・色分離処理部
３０６色処理部
３０７輝度シェーディング処理部
３０８輝度処理部

Claims

画像の領域に応じた色シェーディング補正係数を掛けることで、前記画像の色の値を補正する色シェーディング補正手段と、
前記画像の色温度を算出し、前記色温度の変化に応じて、前記色シェーディング補正係数を変化させる制御手段を有し、
前記制御手段は、前記色温度が第１の色温度であるときのＲの前記色シェーディング補正係数を、前記色温度が前記第１の色温度よりも低い第２の色温度であるときよりも小さく設定し、前記色温度が前記第１の色温度であるときのＢの前記色シェーディング補正係数を、前記第２の色温度であるときよりも大きく設定することを特徴とする撮像装置。
前記色温度が基準色温度のときの基準の色シェーディング補正係数を記憶するメモリを有し、
前記制御手段は、算出された前記色温度と前記基準色温度の差分に応じて、前記メモリに記憶された前記基準の色シェーディング補正係数を調整して前記色シェーディング補正係数を求めることを特徴とする請求項１に記載の撮像装置。
前記色シェーディング補正係数には予め上限値が設定されていることを特徴とする請求項１または２に記載の撮像装置。
画像の領域に応じた色シェーディング補正係数を掛けることで、前記画像の色の値を補正する色シェーディング補正手段と、
前記画像のホワイトバランス係数を算出し、前記ホワイトバランス係数の変化に応じて、前記色シェーディング補正係数を変化させる制御手段を有し、
前記制御手段は、前記ホワイトバランス係数が第１のホワイトバランス係数であるときのＲの前記色シェーディング補正係数を、前記ホワイトバランス係数が前記第１のホワイトバランス係数よりもＲ／Ｇが大きく、かつ、Ｂ／Ｇが小さい第２のホワイトバランス係数であるときよりも小さく設定し、前記ホワイトバランス係数が前記第１のホワイトバランス係数であるときのＢの前記色シェーディング補正係数を、前記第２のホワイトバランス係数であるときよりも大きく設定することを特徴とする撮像装置。
画像の領域に応じた色シェーディング補正係数を掛けることで、前記画像の色の値を補正する色シェーディング補正工程と、
前記画像の色温度を算出し、前記色温度の変化に応じて、前記色シェーディング補正係数を変化させる制御工程を有し、
前記制御工程において、前記色温度が第１の色温度であるときのＲの前記色シェーディング補正係数を、前記色温度が前記第１の色温度よりも低い第２の色温度であるときよりも小さく設定し、前記色温度が前記第１の色温度であるときのＢの前記色シェーディング補正係数を、前記第２の色温度であるときよりも大きく設定することを特徴とする画像処理方法。
画像の領域に応じた色シェーディング補正係数を掛けることで、前記画像の色の値を補正する色シェーディング補正工程と、
前記画像のホワイトバランス係数を算出し、前記ホワイトバランス係数の変化に応じて、前記色シェーディング補正係数を変化させる制御工程を有し、
前記制御工程において、前記ホワイトバランス係数が第１のホワイトバランス係数であるときのＲの前記色シェーディング補正係数を、前記ホワイトバランス係数が前記第１のホワイトバランス係数よりもＲ／Ｇが大きく、かつ、Ｂ／Ｇが小さい第２のホワイトバランス係数であるときよりも小さく設定し、前記ホワイトバランス係数が前記第１のホワイトバランス係数であるときのＢの前記色シェーディング補正係数を、前記第２のホワイトバランス係数であるときよりも大きく設定することを特徴とする画像処理方法。