JP2012156882A - 固体撮像装置 - Google Patents
固体撮像装置 Download PDFInfo
- Publication number
- JP2012156882A JP2012156882A JP2011015597A JP2011015597A JP2012156882A JP 2012156882 A JP2012156882 A JP 2012156882A JP 2011015597 A JP2011015597 A JP 2011015597A JP 2011015597 A JP2011015597 A JP 2011015597A JP 2012156882 A JP2012156882 A JP 2012156882A
- Authority
- JP
- Japan
- Prior art keywords
- color
- correction
- shading
- center
- correction coefficient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Color Television Image Signal Generators (AREA)
Abstract
【課題】色シェーディングの現象に対して適切な補正を行う。
【解決手段】2色以上のカラーフィルタを有する撮像素子と、カラーフィルタの色ごとのシェーディングの中心座標を算出する各色中心座標算出手段と、前記各色中心座標算出手段で算出した各色の中心座標から各色の画面周囲まで放射方向のシェーディング補正係数を算出する放射方向シェーディング補正係数算出手段と、を有し、
前記各色中心座標算出手段で算出した各色中心座標と、前記放射方向シェーディング補正係数算出手段で算出した放射方向シェーディング補正係数から、撮影画像をシェーディング補正する。
【選択図】図1
【解決手段】2色以上のカラーフィルタを有する撮像素子と、カラーフィルタの色ごとのシェーディングの中心座標を算出する各色中心座標算出手段と、前記各色中心座標算出手段で算出した各色の中心座標から各色の画面周囲まで放射方向のシェーディング補正係数を算出する放射方向シェーディング補正係数算出手段と、を有し、
前記各色中心座標算出手段で算出した各色中心座標と、前記放射方向シェーディング補正係数算出手段で算出した放射方向シェーディング補正係数から、撮影画像をシェーディング補正する。
【選択図】図1
Description
本発明は、CCD型イメージセンサやCMOS型イメージセンサなどの固体撮像素子を用いたデジタルカメラや携帯型電子情報機器用カメラなどの固体撮像装置において、固体撮像装置による撮像画像データに対して色シェーディング補正を行うための固体撮像装置の色シェーディング補正装置、このシェーディング補正装置を備えた固体撮像装置、およびこの固体撮像装置の色シェーディング補正方法に関する。
デジタルカメラの小型化に伴って、それに搭載されるカメラモジュールの小型化および低背化が進んでいる。カメラモジュールの低背化を実現するために、カメラモジュールのレンズ(光学系)とイメージセンサ(固体撮像素子)が近接して配置されることによって、色シェーディングと呼ばれる現象が顕著に見られるようになってきている。
この問題を解決するために、特許文献1では予め各色の色シェーディングの補正値を、画素毎に2次元直行配列で補正テーブルで記憶しておき、撮影時に記録しておいた補正値を読み出して撮影画像の色シェーディング補正を行う。
また、特許文献2では予め色毎に標準的とされる補正曲線を記憶しておき、工程などで均一輝度面を撮影した際に、補正の強さや補正位置などの補正係数を求める。
実際の撮影時には、予め記録した標準補正曲線と、工程などで求めた補正係数を用いて補正を行う。
しかしながら従来例の方法には、以下の課題がある。
特許文献1では、1画素毎の補正値を保持しなければならず、多くのメモリが必要になるという課題がある。さらに、色シェーディングは撮影条件によっても発生量が変化するため、各撮影条件毎に適切な補正を行うと、更に多くのメモリが必要となる。
特許文献2では、予め記録してある補正係数に対して、補正の強さや、撮影画像内の補正開始座標を変化させて色シェーディングの補正を行っている。しかしながら、レンズや撮像素子の製造バラつき、組立てバラつき等によって色シェーディングの形状もばらつくため、予め記録した補正係数の補正の強さや補正開始座標を変化させるだけでは、色シェーディングのバラつきを十分補正できないという課題がある。
本発明に係る固体撮像装置は、
2色以上のカラーフィルタを有する撮像素子と、
カラーフィルタの色ごとのシェーディングの中心座標を算出する各色中心座標算出手段と、前記各色中心座標算出手段で算出した各色の中心座標から各色の画面周囲まで放射方向のシェーディング補正係数を算出する放射方向シェーディング補正係数算出手段と、を有し、
前記各色中心座標算出手段で算出した各色中心座標と、前記放射方向シェーディング補正係数算出手段で算出した放射方向シェーディング補正係数から、撮影画像をシェーディング補正することを特徴とする。
2色以上のカラーフィルタを有する撮像素子と、
カラーフィルタの色ごとのシェーディングの中心座標を算出する各色中心座標算出手段と、前記各色中心座標算出手段で算出した各色の中心座標から各色の画面周囲まで放射方向のシェーディング補正係数を算出する放射方向シェーディング補正係数算出手段と、を有し、
前記各色中心座標算出手段で算出した各色中心座標と、前記放射方向シェーディング補正係数算出手段で算出した放射方向シェーディング補正係数から、撮影画像をシェーディング補正することを特徴とする。
本発明によると、予め均一輝度面を撮影し、その撮影画像から、カラーフィルタの色毎に色シェーディングの補正中心座標と像高0割から10割までの色シェーディングの補正曲線を算出する。
色ごとの補正中心座標と補正曲線のデータを保持しておけば良くデータ量は少量に抑えることができる。
また、レンズや撮像素子、くみたて等に起因するバラつきが含まれた撮影画像から色シェーディングの補正中心や補正曲線を求めるため、撮像装置毎の色シェーディングのバラつきにも対応できる。
[実施例1]
図1は、本発明の一実施形態に係る固体撮像装置を表す回路図である。鏡筒101は、レンズ群102、104や絞り103など、光学撮像素子105に結像するための光学素子で構成された、光学ユニットである。撮像素子105は2色以上のカラーフィルタを有する撮像素子であり、本発明ではRGB3色のカラーフィルタを有する撮像素子を想定する。AD変換部106は撮像素子105から出力されたアナログ電気信号をデジタル信号へ変換する変換部である。シェーディング補正部107はAD変換された画像データに対し、色シェーディングの補正を行う補正ブロックである。画像処理部108は色シェーディング補正された画像データに対し、各種補正を行ったり、保存する形式に変換したりするブルックである。RAM109は処理された画像データを保存したり、シェーディング補正部で使用するシェーディング補正値を保持したりする記憶部である。CPU110はズーム制御部111、露出演算部112、フォーカス制御部113、色温度推定部114などを有する制御ブロックである。レンズ駆動部115はCPU110からの制御信号を入力することで、鏡筒101を制御する制御部である。
図1は、本発明の一実施形態に係る固体撮像装置を表す回路図である。鏡筒101は、レンズ群102、104や絞り103など、光学撮像素子105に結像するための光学素子で構成された、光学ユニットである。撮像素子105は2色以上のカラーフィルタを有する撮像素子であり、本発明ではRGB3色のカラーフィルタを有する撮像素子を想定する。AD変換部106は撮像素子105から出力されたアナログ電気信号をデジタル信号へ変換する変換部である。シェーディング補正部107はAD変換された画像データに対し、色シェーディングの補正を行う補正ブロックである。画像処理部108は色シェーディング補正された画像データに対し、各種補正を行ったり、保存する形式に変換したりするブルックである。RAM109は処理された画像データを保存したり、シェーディング補正部で使用するシェーディング補正値を保持したりする記憶部である。CPU110はズーム制御部111、露出演算部112、フォーカス制御部113、色温度推定部114などを有する制御ブロックである。レンズ駆動部115はCPU110からの制御信号を入力することで、鏡筒101を制御する制御部である。
次に、本発明で補正する色シェーディングの現象について説明する。図2は、色シェーディングの現象の説明図である。色シェーディングは画面の位置に応じて、色毎に感度が異なる現象である。例えば、色シェーディングの発生しない理想的な撮像装置で均一輝度面を撮影すると、 各領域でRGBの色比は常に一定になる(201)。それに対して、色シェーディングが発生する撮像装置で均一輝度面を撮影すると、画面内の上下や左右の領域で色比が異なったり(202)、像高毎に色比が異なったりして(203)、画面内の一部が着色することがある。201〜203において、図上の破線のRGBの出力値を比較すると204〜206のようになる。204は画像201の水平出力分布である。横軸が画素の位置で縦軸はその画素の出力値である。画面中央にRGBの出力最大値が揃っている。また、204によると、画面中央から画面周辺に向かってRGBの出力が低下しているが、このときのRGBの出力比率、つまり色比は一定である。それに対して、画像202の水平出力分布205は画面内でRGBの出力最大値が別の位置に存在している。また、RGBの出力比率も画面の場所によって異なっている。同様に、画像203の水平出力分布206はRGBの出力最大値は同じ位置にあるが、画面中央と画面周辺でRGBの出力比率が異なっている。このように、画面内の色毎の感度が異なることで、均一輝度面を撮影しても画面内の色毎の出力比率が異なり、画面内の領域ごとに着色が発生する。また、204〜206では現象の説明のため、水平出力分布を比較したが、実際には207に示すように色毎の出力最大値は画面内の2次元平面内に発生するため、画面中央付近の水平出力分布だけでは各色の出力最大値を求めることはできない。
次に、色シェーディングの発生メカニズムについて説明する。図3は波長の異なる光が画素へ入射したときの、光の経路を示している。a)はCCD、b)は表面照射型CMOS、c)は裏面照射型CMOSセンサの画素に対して、波長の異なる光が垂直に入射したときの光の経路を模式的に示している。また、d)はCCD、e)は表面照射型CMOS、f)は裏面照射型CMOSセンサの画素に対して、波長の異なる光が斜めに入射したときの光の経路を模式的に示している。また、301はマイクロレンズ、302は長波長の光を透過するカラーフィルタ、303は短波長の光を透過するカラーフィルタ、304はPD(フォトダイオード)、305は転送トランジスタ、306は配線槽、307は遮光膜である。
一般的に、撮像装置の構成上、像高間で光線入射角度が大きく変化する場合は、PD304を受光しやすくする目的で、像高毎に応じて、PDとマイクロレンズの相対位置を変化させる。d)〜f)でも光線入射角度が変化した場合を想定して、a)〜c)よりもマイクロレンズ301とカラーフィルタ302、303の位置を移動している。ここで、a)〜c)に示すように、所望の位置にマイクロレンズ301やカラーフィルタ302、303が配置された場合、画素に対して垂直方向から光線を入射すると、波長に関係なくPDが光を受光できる。それに対して斜め方向から光線が入射するときは、CCDではd)より波長の長い光は転送トランジスタ305にケラレることがわかる。また、表面照射型CMOSではe)より波長の長い光が配線層306にケラレることがわかる。また、裏面照射型CMOSではf)より波長の長い光が遮光膜306にケラレることがわかる。
以上に示すように、光線の入射角度が変化した際の、画素の構造物によるケラレの発生量は光の波長によって異なる。これは、光線入射角度に応じて、波長ごとの感度が異なることを示している。実際には、像高に応じて光線入射角度が異なるため、画面中央部と比較して、周辺部では波長の長い光は、画素内の構造物によってケラれることが多くなり、感度が低下する。そのため、像高によって色比が異なる色シェーディングが発生する。
色シェーディングの発生は、マイクロレンズやカラーフィルタの位置ずれによっても発生する。ここでは、マイクロレンズの位置ずれによる色シェーディングの発生について説明する。
図4は図3の構成でマイクロレンズの位置が所望の位置より左にずれた場合の光の経路の模式図である。a)はCCD、b)は表面照射型CMOS、c)は裏面照射型CMOSセンサの画素に対して、波長の異なる光が垂直に入射したときの光の経路を模式的に示している。また、d)はCCD、e)は表面照射型CMOS、f)は裏面照射型CMOSセンサの画素に対して、波長の異なる光が左斜めから入射したときの光の経路を模式的に示している。同様に、g)はCCD、h)は表面照射型CMOS、i)は裏面照射型CMOSセンサの画素に対して、波長の異なる光が右斜めから入射したときの光の経路を模式的に示している。破線部401は画素の構造物によってケラレた光で、実線部402はPDが感光した光である。a)〜c)、d)〜f)、g)〜i)をそれぞれ比較すると、光線入射方向とマイクロレンズのずれた方向によって、PDが受光する光の量が色毎に異なる。このため、マイクロレンズの位置が所望の位置と異なる場合、マイクロレンズの変位量と光線入射角度の影響で色比が位置によって異なり、色シェーディングが発生する。
次に、カラーフィルタの位置ずれによる色シェーディングの発生について説明する。図5は図3の構成でカラーフィルタの位置が所望の位置より左にずれた場合の光の経路の模式図である。a)はCCD、b)は表面照射型CMOS、c)は裏面照射型CMOSセンサの画素に対して、波長の異なる光が垂直に入射したときの光の経路を模式的に示している。また、d)はCCD、e)は表面照射型CMOS、f)は裏面照射型CMOSセンサの画素に対して、波長の異なる光が左斜めから入射したときの光の経路を模式的に示している。同様に、g)はCCD、h)は表面照射型CMOS、i)は裏面照射型CMOSセンサの画素に対して、波長の異なる光が右斜めから入射したときの光の経路を模式的に示している。d)〜f)では、長波長側のマイクロレンズを透過した光の一部が、隣接する短波長側のカラーフィルタを透過して、再び長波長側の画素に入射している。これは異なる色の光が同じ画素へ入射したことになり、光学的な混色を発生する。g)〜i)では、2色のカラーフィルタを通過する経路が発生する。このため、カラーフィルタの位置が所望の位置と異なると、カラーフィルタの変位方向と光入射方向の差により画面の位置によって混色量が異なり、色シェーディングが発生する。前述のように、色シェーディングの代表例として、主光線入射角度の変化によるケラレ量が波長ごとに異なる現象と、画素内のマイクロレンズやカラーフィルタが所望の位置からずれ、ケラレ量が異なる現象の2通りが挙げられる。これらの要因によって発生した色シェーディングは、図2に示すように、色ごと最大出力位置が異なり、最大出力位置から周辺にかけての色の低下量も異なる。
次に本発明である、これらシェーディングを補正する方法を説明する。本発明の補正方法は、色毎の中心出力位置を補正中心として、図6は本発明で提案した色シェーディングの補正方法を示している。601は均一輝度面を撮影した際に、色シェーディングが発生した画像である。601の破線上における、色毎の出力分布は602のとおりである。602は水平方向の位置が変化するとRGBの色比が異なっており、この分布からも色シェーディングが発生していることが解る。ここで、画面全ての位置で色比が一定値であれば色シェーディングは発生しない。そこで、入力された画像の画素毎の出力値を色毎に最大出力位置の出力値になるようにゲインをかけて補正を行うと、603に示すように、位置に関係なく一定の出力が得られる。均一輝度面の各色の出力値が位置に関係なく一定になっているため、位置によって色比の変化も無くなり、発生していた色シェーディングも補正される。
次に具体的な補正中心の算出方法を示す。図7は補正中心の求め方の手順である。本実施例では、任意の閾値以上の出力値の画素の重心を求めて、その重心位置を補正中心とする。まず、出力の閾値を決定する。均一輝度面を撮影した際に、ある色の出力分布が図7a)のようになっていたとする。この図7a)の、画面周囲の出力値から最も高い値を求め、その値を閾値とする。ここでは、図7a)の画面周囲は破線で示した位置である。この画面周囲701上画素の出力値のうち、最も高い出力値を閾値Tに設定する。この図7a)の場合は、701上で最も高い出力値は、702の位置だったため、702の出力値を閾値Tに設定する。次に画面内の出力座標より、閾値Tを超える画素の座標の座標平均値を求める。ここで、図7a)で求めた閾値T以上の出力の画素分布が図7b)703の領域となったとすると、領域703内の画素がn個のとき、式(1)、(2)で求められたn個の座標の平均値である、座標(cx、cy)を補正中心とする。
cx=1/n*Σxi…(1)
cy=1/n*Σyi…(2)
次に具体的な補正曲線の算出方法を示す。図8はある色のシェーディング画像から補正曲線を求める方法を示している。a)は色シェーディングの発生した画像である。a)のAがシェーディングの最大出力位置、A'が最大出力位置からの像高10割の位置である。ここで像高10割の位置は、画面内で最大出力位置から最も離れた位置のことである。そのため、A-A'の出力分布から補正曲線を求めて、Aを中心に像高毎に補正を行えば画面内全てにおいて出力最大値と等しい出力が得られる。これを色毎に行うことで、色毎に画面内の出力が等しくなる。これは見掛け上、色毎に画面内の感度が等しくなったことと同じであり、画面内の色比も等しくなり、色シェーディングは除去される。次に補正曲線を求める。補正曲線は最大出力値と出力分布の商であり、像高毎に求められる。また、同じ像高の出力値と補正値の積は出力最大値となる。
cy=1/n*Σyi…(2)
次に具体的な補正曲線の算出方法を示す。図8はある色のシェーディング画像から補正曲線を求める方法を示している。a)は色シェーディングの発生した画像である。a)のAがシェーディングの最大出力位置、A'が最大出力位置からの像高10割の位置である。ここで像高10割の位置は、画面内で最大出力位置から最も離れた位置のことである。そのため、A-A'の出力分布から補正曲線を求めて、Aを中心に像高毎に補正を行えば画面内全てにおいて出力最大値と等しい出力が得られる。これを色毎に行うことで、色毎に画面内の出力が等しくなる。これは見掛け上、色毎に画面内の感度が等しくなったことと同じであり、画面内の色比も等しくなり、色シェーディングは除去される。次に補正曲線を求める。補正曲線は最大出力値と出力分布の商であり、像高毎に求められる。また、同じ像高の出力値と補正値の積は出力最大値となる。
補正曲線は式(1)で求められる。
y(x)=a/f(x)‥‥‥‥‥‥‥(1)
x:像高
f(x):出力分布
a:最大出力値
y:補正曲線
出力分布b)の補正曲線はc)のようになる。
x:像高
f(x):出力分布
a:最大出力値
y:補正曲線
出力分布b)の補正曲線はc)のようになる。
以上により、補正曲線c)が求められ。出力分布b)との積は、補正出力d)のように一定値となる。この手順で補正曲線を色毎に算出する。また、上記例ではA-A'間の出力値のみで補正曲線を求めたが、ノイズなどによる誤差も考慮して、複数の評価領域から補正曲線を導出する例をe)〜h)に示す。e)は補正中心Bから像高10割のB''''のほかに、B'、B''、B'''も補正曲線の評価領域としている。補正中心BからB'〜B''''への出力分布をf)に示す。ここで、各出力分布はノイズも含んだ誤差があるため、それらの平均を求めると、g)のようになる。g)に示すように、B'やB''などは像高値が10割に満たない。つまり、g)のB-B'間では、e)のB-B'〜B-B''''の4本の出力分布の平均となっているが、g)のB'-B''では、B-B''〜B-B''''の3本の出力分布の平均になる。同様にg)のB''-B'''では、B-B'''〜B-B''''の2本の出力分布の平均になり、g)のB'''-B''''間では、B-B''''の出力分布のみになる。そのため、出力分布の平均値を求める際に、対象となる出力分布曲線の本数が変わる箇所で段差が発生する。そこで切り替わりの箇所で、近似曲線を求めたり、重みを変えたりするなど、曲線を滑らかにする処理をしたものがh)である。この出力分布の平均曲線より、前述の例と同様にi)に示すような補正曲線を求めこれを実画像に対して補正することで、j)に示すように補正が行われる。
次に撮像装置が画像を撮影した際の、撮影から補正終了までのアルゴリズムを図9に示す。
まず、撮影を行った後(901)、撮像素子105の信号値がAD変換部106に変換されてシェーディング補正部107に入力される(902)。
次に、予め記録しておいた色シェーディングの色毎の中心座標と色毎の補正曲線を読み出し(903)、色毎に色シェーディング補正を行う(904)。
次に、色毎の補正中心と補正曲線を用いた補正方法について説明する。ここでは、図9の904で行っている補正について図10を用いて説明する。a)は画面の左右で色比の異なる色シェーディングの発生した画像である。ここでは、a)の画像を補正する方法を説明する。この画像はR、Gr、Gb、Bの4色のカラーフィルタをもつ撮像素子で撮影されたとすると、色毎の画像が4つあり、それぞれb)〜e)のようになる。これら4色の画像には、それぞれ予め求められ補正中心と補正曲線がある。b)〜e)の補正中心を1001〜1004とする。これら補正中心を中心として、出力値に対して像高に応じてゲインをかける補正を行う。なお、このときのゲイン量は、予め像高毎のゲイン値を記録した補正曲線を用いる。補正中心1001〜1004を中心に、補正曲線に基づいて像高毎に補正を行うと、f)〜i)に示すように各色のシェーディングが補正される。それらシェーディングの補正された画像をa)と同様に合成することで、j)のような色シェーディングの補正された画像になる。以上に示す通り、実施例1では色シェーディングの発生メカニズムと色シェーディングの補正方法を説明した。
実施例1で紹介した方法によると、画面内の色毎の感度差を補正し、色シェーディングの発生を抑制できる。
[実施例2]
実施例2では、撮影条件の変化によって発生する色シェーディングの補正について説明する。色シェーディングは画面内の位置に応じて、色毎の感度が変わる現象である。感度ばらつきの要因として、光線入射角度と光線の波長によって、画面内のケラレ量が異なることを説明した。この光線入射角度は、レンズ群102や104の間隔を変更するズーム動作や、絞り103を変化する絞り動作によって、状態によって変化する。
実施例2では、撮影条件の変化によって発生する色シェーディングの補正について説明する。色シェーディングは画面内の位置に応じて、色毎の感度が変わる現象である。感度ばらつきの要因として、光線入射角度と光線の波長によって、画面内のケラレ量が異なることを説明した。この光線入射角度は、レンズ群102や104の間隔を変更するズーム動作や、絞り103を変化する絞り動作によって、状態によって変化する。
図11は焦点距離や、絞りを変更したときの光線入射角度の変化を示した模式図である。a)は焦点距離最短で絞り開放動作の光線経路を示しており、b)はa)から絞りを絞った状態、c)はa)の焦点距離を長くした状態を示している。また、1101は光線経路、1102と1104はレンズ、1103は絞り、1105は撮像素子を示している。a)、b)、c)を比較すると、焦点距離や絞りの状態に応じて、光線入射角度が変化していることがわかる。よって、焦点距離や絞りに応じて、色シェーディングの補正中心や補正曲線を変更する必要がある。また、光の波長に関しても、カラーフィルタの透過率分光特性の範囲内で波長ごとに分別されるが、透過率分光も幅があるため、その中でケラれやすい波長とケラレにくい波長がある。そのため、補正中心と補正曲線を求める際に使用した光源の分光特性と、実際の撮影時の光源の分光特性が異なると、所望の補正ができないことがある。
図12は異なる波長の光が入射したCCDの画素の断面図を示している。1201はカラーフィルタ、1202は転送トランジスタ、1203は波長の短い入射光、1204は波長の長い入射光、1205はマイクロレンズ、1206はPDである。カラーフィルタ1101の透過率分光特性は一定の幅を持つため、カラーフィルタ1201の透過率分光範囲内であれば、波長の異なる入射光1203と1204は両方ともカラーフィルタ1201を透過し、PD1206が受光する。このとき、遮光物となっている転送トランジスタ1202と、入射光1203、1204の間隔を比較すると、波長の短い入射光1203の方が遮光物との間隔が広く、ケラレにくいことが解る。実施例1でも説明したが、波長によって構造物によるケラレ易さが異なるため、同じカラーフィルタを透過した光でも、波長によってはケラレ易さが異なる。つまり、入射光1203と入射光1204では、a)のような撮像面に垂直に入射した場合にはケラレることはないが、光線入射角度が変化した場合、入射光1203ではb)に示すようにケラレることはないが、入射光1204ではc)に示すように一部の入射光がケラレる。これは、入射光の分光特性によって、同色画素の画面中央付近で同じ出力を示していても、画面周辺での出力低下量が異なることを示している。それに伴い、入射光の分光特性によって補正中心や補正曲線を変更する必要がある。そこで、本実施例では、色シェーディングの補正中心と補正曲線を焦点距離、絞り、光源毎に求めておき、記憶しておく。そして、実際の撮影時には予め求めた補正パラメータを用いて補正を行う。
図13にある色の補正値の所持の方法の例を示す。ここでは、絞り値がAv3〜7まで、焦点距離は35〜350mmまで設定でき、色温度は蛍光灯と白熱灯を推定できる撮像装置を考える。
a)は蛍光灯環境下の補正中心のテーブルである。絞り値と焦点距離ごとに、補正中心座標をテーブルに記録している。
b)は蛍光灯環境下の補正曲線のテーブルである。絞り値と焦点距離ごとに、補正曲線をテーブルを記録している。
c)は白熱灯環境下の補正中心のテーブルである。絞り値と焦点距離ごとに、補正中心座標をテーブルに記録している。
d)は白熱灯環境下の補正曲線のテーブルである。絞り値と焦点距離ごとに、補正曲線をテーブルを記録している。
また、補正テーブルは光源ごとに作成する。実際に補正を行う際には、ホワイトバランスの導出に使用する、色温度推定部114の推定結果より、a)b)とc)d)のどちらのテーブルを使用するかを選択する。
なお、色温度推定部114の動作については
なお、a)〜d)の補正値は実施例1の方法で各撮影条件毎に求める。
なお、a)〜d)の補正値は実施例1の方法で各撮影条件毎に求める。
また、図13では、絞り値がAv4、5、6を閾値として、焦点距離が50、100、200mmを閾値として、補正値を切り替えている。これは一例であり、例えば、絞り値がAv4.3のように、閾値Av4と5の中間値のときは、前後の閾値にある補正値の中間値を用いてもよい。
実施例2の色シェーディングの補正フローを図14に示す。
撮影前に焦点距離を決定する(1401)。ズーム制御部111で任意の焦点距離を設定し、CPU110からレンズ制御部115へ焦点距離情報を送信する。レンズ制御部115は焦点距離情報に従い、鏡筒101を制御する。
次に、絞り値を決定する(1402)。絞り値は任意の値を入力しても、露出演算部112より算出された露出条件を入力しても、どちらでもよい。決定した露出条件の絞り値を、CPU110からレンズ制御部115へ送信する。レンズ制御部115は焦点距離情報に従い、鏡筒101を制御する。
次に、光源の色温度を推定する(1403)。光源は色温度推定部114より推定する。ここで、光源の推定方法について図15を用いて説明する。撮影画像をa)とする。撮影画像a)はRGBの色信号で構成されていて、複数の色信号の集まりをブロックとしている。次に以下の算出式(1)、(2)を用いて、撮影画像a)内のブロック毎に色評価値(Cx[i]、Cy[i])を求める。
Cx[i] =(R[i]−B[i])/ Y[i] × 1024・・・・・・・・・(1)
Cy[i] =(R[i] + B[i]−2G[i])/ Y[i] × 1024 ・・・(2)
(ただし、iはブロックの番号、R[i],G[i],B[i]はブロックiに含まれるRGB画素の平値、Y[i] = R[i] + 2G[i] + B[i])
次に、求めた色評価値Cx、Cy値をブロック毎にb)のグラフにプロットする。そして、1501の枠より内側にプロットされたものに関してCx座標、Cy座標の平均値を求める。求められた平均値の座標から光源の種類を推定する。例えば、b)のAの領域では日陰、Bの領域では白熱灯、Cの領域では蛍光灯、といったようになる。
Cy[i] =(R[i] + B[i]−2G[i])/ Y[i] × 1024 ・・・(2)
(ただし、iはブロックの番号、R[i],G[i],B[i]はブロックiに含まれるRGB画素の平値、Y[i] = R[i] + 2G[i] + B[i])
次に、求めた色評価値Cx、Cy値をブロック毎にb)のグラフにプロットする。そして、1501の枠より内側にプロットされたものに関してCx座標、Cy座標の平均値を求める。求められた平均値の座標から光源の種類を推定する。例えば、b)のAの領域では日陰、Bの領域では白熱灯、Cの領域では蛍光灯、といったようになる。
次に、撮影を行い(1504)、撮影画像を色シェーディング補正部へ入力する(1505)。
次に1501〜1503で求めた撮影条件より、補正係数を決定する(1506)。
次に、決定した補正係数を読み出し(1507)、色毎に色シェーディングを補正し(1308)、次の補正ブロックへ補正した画像を出力する。補正方法については実施例1で図10を用いて説明したとおりである。
以上に示す通り、実施例2では撮影条件が変化したときの色シェーディングの発生メカニズムと色シェーディングの補正方法を説明した。
実施例2で紹介した方法によると、撮影条件を変更した場合でも、シェーディングを補正できる。
[実施例3]
実施例1では、色シェーディングの補正中心は均一輝度面を撮影した際に、色ごとの出力値が最も高い領域であると定義した。一方、補正中心はその位置の精度は高いことが望ましいが、鏡筒の構成によっては、ノイズなどの影響で補正中心が正確に求められないことがある。また、補正中心の座標の誤差が大きいと、補正曲線が正確に求まらなかったり、補正中心座標の誤差が大きい状態で補正することによって新たな色ムラが発生したりする懸念がある。そこで実施例3では、実施例1、実施例2で説明した色シェーディング補正中心算出方法よりも、より精度の高い色シェーディングの補正中心の求め方について示す。
実施例1では、色シェーディングの補正中心は均一輝度面を撮影した際に、色ごとの出力値が最も高い領域であると定義した。一方、補正中心はその位置の精度は高いことが望ましいが、鏡筒の構成によっては、ノイズなどの影響で補正中心が正確に求められないことがある。また、補正中心の座標の誤差が大きいと、補正曲線が正確に求まらなかったり、補正中心座標の誤差が大きい状態で補正することによって新たな色ムラが発生したりする懸念がある。そこで実施例3では、実施例1、実施例2で説明した色シェーディング補正中心算出方法よりも、より精度の高い色シェーディングの補正中心の求め方について示す。
図16は本実施例の説明図である。まず、撮影した被写体を1601とした場合、被写体1601から4つの領域1602〜1605の出力値を求める。ここで領域1602〜1605は、領域中心1406からそれぞれ等間隔の位置ある。また、1602と1605を結ぶ軸を1607とし、同様に1603と1604を結ぶ軸を1608とする。領域中心1606は、軸1607と軸1608の交点である。
次に、領域ごとの出力値を比較する。同じ軸1607上の2領域と、軸1608上の2領域の出力値を比較する。図16の場合は、1602と1605、1603と1604を比較する。そして、出力値の大きい方向へ領域中心1606を移動する。移動方向は、領域1602と1605を比較したときには軸1607上を移動する。
同様に、領域1603と1604を比較したときには軸1608上を移動する。例えば、軸1607上の領域1602と1605を比較して、領域1605のほうが出力値が大きかった場合、領域中心1606を領域1405の方向へ移動する。このとき、図16b)に示すように、領域1602〜1605も領域中心1606と同じ量移動する。
同様に、軸1608上の領域に対しても同様の処理を行う。このとき、領域1602〜1605や、補正中心1606、軸1607、1608の適切な移動量は任意の値でよい。
図17に本実施例の補正中心の求め方のフローを示す。なお、ここで領域1602〜1605と軸1607、1608は領域中心1606の位置によって相対的に決まっている。
つまり、領域1606が移動すると、領域1602〜1605と軸1607、1608も連動して移動するものとする。
最初に均一輝度面の撮影画像を取得し(1701)、画面内の任意の位置に領域中心1606を設定する(1702)。
次に、領域1602と1605の出力値を取得し(1703)、出力値を比較する(1704)。
そして、領域1602の出力値が大きければ、軸1607上の領域1602方向に、領域中心1606を任意の距離移動する(1705)。
また、領域1605の出力値が大きければ、軸1607上の領域1605方向に、領域中心1606を任意の距離移動する(1706)。
また、領域1602と1605の出力値が等しければ、移動はしない(1707)。
次に、領域1603と1604の出力値を取得し(1708)、出力値を比較する(1709)。
次に、領域1603と1604の出力値を取得し(1708)、出力値を比較する(1709)。
そして、領域1603の出力値が大きければ、軸1608上の領域1603方向に、領域中心1606を任意の距離移動する(1710)。
また、領域1404の出力値が大きければ、軸1608上の領域1604方向に、領域中心1606を任意の距離移動する(1711)。
また、領域1603と1604の出力値が等しければ、移動はしない(1712)。
次に、領域1602と1605、領域1603と1604の出力値を取得し(1713)、出力値を比較する(1714)。
ここで、比較した領域の出力値が等しければ、領域中心1606の座標を補正中心座標とする。
また、比較した領域の出力値が等しくなければ、フロー1703からの処理をくりかえす。
以上に示す通り、実施例3では色シェーディングの補正中心の求め方について説明した。
実施例3で紹介した方法によると、最大出力位置付近にノイズが多い場合でも、精度よく補正中心を求めることができる。
[実施例4]
実施例4では、楕円形状の色シェーディングの補正について説明する。
実施例4では、楕円形状の色シェーディングの補正について説明する。
色シェーディングの変化をカラーフィルタの色毎に分けると、各色の最大出力位置を中心に、出力が同心円状に変化する。このとき、同心円の形状は真円ではなく、楕円形状になることがある。この現象は画素の開口部や遮光物の形状に依存しており、開口部の形状が上下方向と左右方向で異なる場合や、画素周囲の遮光物が上下左右に均等に配置されていない場合に発生する。
この現象について図18を用いて説明する。a)は開口部1801の縦横の長さが異なる画素の平面図である。開口部1801には転送トランジスタ1802が隣接している。また、このPD1801に対して、光線が垂直に入射した場合のA-A'の断面図をb)、B-B'の断面図をc)に示す。また、光線が斜めに入射した場合の断面図A−A’をd)、断面図B−B’をe)に示す。ここで、b)とc)は入射光がケラれることなくPDに入射しているが、それに対して、光線が斜めに入射したd)とe)を比較したところ、d)は一部の光がケラれており、e)はケラれていない。つまり、同じ角度で光が入射しても、画素の構造によって、水平方向と垂直方向でケラレ量が異なるため、光線の入射方向によって色毎に感度が変化することがある。そのため、光線入射方向によって色シェーディング量も変化し、楕円形状の色シェーディングが発生する。図18で説明した画素構造の色シェーディングが発生した場合、そのシェーディングは最大出力位置を中心とした同心円で、円の形状が楕円になることが分かっている。
図19a)に同心円状に発生したシェーディングを、b)にa)の出力を等高線で結んだ図を示す。図19b)のような楕円形状のシェーディングに対して真円形状の色シェーディング補正を行うと、適切な補正が行われないため、このような楕円形状のシェーディングに対しては楕円形状の補正を行う必要がある。
次に本実施例で扱う楕円形状のシェーディング補正の方法を示す。まず、実施例1の方法で補正中心と、補正曲線を求める。ここで、今回扱うシェーディングの形状が楕円であるため、シェーディングの出力曲線が最大出力位置からの方向によって異なる。c)はb)の等高線上に出力中心位置を中心とした円を一点鎖線で描いたものである。シェーディングの形状が真円であれば、c)の一点鎖線上の出力値は全て等しいが、シェーディングの形状が楕円であるため、c)の一点鎖線上の出力値は位置によって異なり、その変化は光線の入射方向に依存する。ここで、補正中心から任意の出力等高線までの距離のうち、最も短い距離と最も長い距離を求め、それぞれを、最短半径、最長半径と呼ぶ。楕円の最短半径と最長半径は、補正中心を起点に90°の差があり、0から90°までの範囲内では、半径は最短半径と最長半径の間の長さを推移している。そこで、最短半径と最長半径の比率から角度に応じて補正値を変更することで、楕円形状の色シェーディングを補正する。まず、a)の画像に対して、d)に示すように補正中心1901、評価領域1902、1903を指定する。このとき、評価領域1902、1903はそれぞれ補正中心から等距離離れていて、評価領域1902、1903は一定の角度の差がある。この補正中心と評価領域との間隔を間隔1904、評価領域1902と1903の間隔角度を角度1905とする。そして、評価領域1902と1903の出力値を比較して、出力値の大きい方向へ補正中心1901を中心とした、回転移動をする。e)は評価領域1902、1903を回転した後の状態である。この評価領域の比較と回転を何度か繰り返すと、評価領域1902と1903の値が等しい箇所で安定する。
次に楕円の最長半径と最短半径を求める。まず、角度1905の2等分線と、補正中心1901を通る2等分線の垂線を求める。このとき、2等分線を軸1906、垂線を軸1907とする。ここで求まった軸1906、軸1907上に最長半径と最短半径が存在する。次に補正中心1901から等距離で軸1906と軸1907上の領域1908、1909の出力を比較する。ここで、領域1908のほうが出力値が大きい場合は、軸1907上に最長半径があり、軸1906上に最短半径がある。また、領域1909のほうが、出力値が大きい場合は、軸1906上に最長半径があり、軸1907上に最短半径がある。f)の例では、領域1909のほうが、出力値が大きいため、軸1906上に最長半径があり、軸1907上に最短半径がある。ここで、補正中心1901と領域1909の距離を最長半径としたときの、最短半径を求める。領域1908の出力を領域1909の出力と比較する。領域1908のほうが、出力が小さい場合は、軸1906上で補正中心の有る方向へ領域1908を移動する。また、領域1908のほうが、出力が大きい場合は、軸1906上で補正中心の無い方向へ領域1908を移動する。これを繰り返して、領域1908と1909の出力が等しくなった位置と、補正中心の位置との距離が最短半径となる。
次に、補正曲線にかける重み値を算出する。シェーディングの形状が楕円であるため、同じ像高でも補正中心からの角度が異なると、補正中心からの距離が異なる。まず、補正中心と像高10割の点が通る軸1910と軸1910上の領域1911をg)のように求める。
次に、最短半径を求めた方法と同様に、領域1911を領域1909と比較して、領域1909と等しい出力となる位置を軸1710上で走査する。領域1911の出力が領域1909と等しくなった位置と、補正中心との距離を基準半径とする。
次に楕円の式を用いて、補正曲線の像高を変換する。
r^2=(x-cx)^2/a^2+(y-cy)^2/b^2
r:像高
cx:補正中心x座標
cy:補正中心y座標
a:楕円比(最短半径/基準半径)
b:楕円比(最長半径/基準半径)
上記の式に求める座標x,yを代入すると像高rが算出できる。
r:像高
cx:補正中心x座標
cy:補正中心y座標
a:楕円比(最短半径/基準半径)
b:楕円比(最長半径/基準半径)
上記の式に求める座標x,yを代入すると像高rが算出できる。
像高rを算出したら、補正曲線から求める座標の補正値を得て補正を行う。
本実施例では、楕円形状の補正について説明を行った。
本実施例の方法によると、楕円形状の色シェーディングも補正可能である。
[実施例5]
実施例1では、色シェーディングの発生原理とその補正方法を説明した。補正後は、図Eに示すように、均一輝度面を撮影した場合に出力も均一な画像に補正される。しかしながら、周辺光量落ちのない画像になるため、実際の画像と比較して不自然になる。また、像高値が大きいほど補正量も大きくなり、それに伴いノイズも目立つ。
実施例1では、色シェーディングの発生原理とその補正方法を説明した。補正後は、図Eに示すように、均一輝度面を撮影した場合に出力も均一な画像に補正される。しかしながら、周辺光量落ちのない画像になるため、実際の画像と比較して不自然になる。また、像高値が大きいほど補正量も大きくなり、それに伴いノイズも目立つ。
そこで、本実施例では、実施例1の補正後に周辺の出力値を下げて自然な周辺光量落ちの画像を撮影し、像高値の高い領域のノイズも目立たなくする。この処理を光量落ち補正という。光量落ち補正は実施例1の補正と同様に補正中心と補正曲線を用いて行う。補正中心は光学中心や実画像の中心など、任意の場所に設定する。また、補正曲線は周辺が暗くならない値を設定する。
次に、具体的な処理の方法を、図18を用いて説明する。図20a)は補正前の画面、b)は実施例1の補正を行った画面、c)は本実施例の光量落ち補正を行った画面である。
a)−1の画面の破線上の色毎の出力分布はa)−2に示している。また、a)−3〜a)−5は色毎のシェーディングを示している。a)の画像が入力されると、実施例1の補正を行い、b)の画像が出力される。
次に、光量落ち補正を行う。まず、光量落ち補正の補正値を求める。光量落ち補正の補正値は、光量落ち補正の補正中心と補正曲線で、それぞれ、光量落ち補正中心、光量落ち補正曲線という。まず、光量落ち補正中心を求める。ここでは、光量落ち補正中心を実画像中心座標とする。
次に、光量落ち補正曲線を求める。光量落ち補正曲線はどのような方法で求めてもよいが、ここでは実施例1で補正したGの補正曲線から導くことにする。実施例1の補正曲線は光学特性によって低下した出力に対して、ゲインを掛けることで、入力された画像の出力値を補正していた。したがって、補正曲線の逆数を掛ければ、実画像中心から光量落ちしたときの画像となる。また、そのまま光量落ち補正を行うと、像高値の大きい領域は光量落ちが大きくなる場合がある。そのため、必要に応じて光量落ち補正曲線の補正量を小さくしてもよい。また、補正曲線はGの出力値から求めたが、RとBの補正曲線はGの補正曲線に定数を掛けて求める。これは、色比を一定にした補正曲線を用いることで、光量落ち補正を行うことによる色シェーディングの発生を防ぐためである。
以上、実施例5で説明した方法によると、実施例1の補正によって周辺光量落ちの不自然になった画像に対して、自然に周辺光量落ちした画像になるよう補正できる。
また、実施例5の補正を行うことで、実施例1の補正によって強調された像高の高い領域のノイズも見かけ上軽減できる。
101 鏡筒
102 レンズ群
102 レンズ群
Claims (9)
- 2色以上のカラーフィルタを有する撮像素子と、
カラーフィルタの色ごとのシェーディングの中心座標を算出する各色中心座標算出手段と、前記各色中心座標算出手段で算出した各色の中心座標から各色の画面周囲まで放射方向のシェーディング補正係数を算出する放射方向シェーディング補正係数算出手段と、を有し、
前記各色中心座標算出手段で算出した各色中心座標と、前記放射方向シェーディング補正係数算出手段で算出した放射方向シェーディング補正係数から、撮影画像をシェーディング補正することを特徴とする固体撮像装置。 - カラーフィルタの色ごと中心座標は、カラーフィルタの色ごとの最大出力値座標であることを特徴とする請求項1に記載の固体撮像装置。
- カラーフィルタの色ごと中心座標は、光学的中心座標を含まない、3か所以上の領域の出力値から算出することを特徴とする請求項1に記載の固体撮像装置。
- カラーフィルタの色ごと放射方向のシェーディング補正係数は、色ごとの中心座標から1本以上の放射方向の出力分布から算出することを特徴とする請求項1に記載の固体撮像装置。
- 鏡筒部を有し、絞り量に応じて、カラーフィルタの色ごとのシェーディングの中心座標と、カラーフィルタの色ごと中心座標から画面周囲まで放射方向のシェーディング補正係数を変更することを特徴とする請求項1に記載の固体撮像装置。
- 鏡筒部を有し、焦点距離に応じて、カラーフィルタの色ごとのシェーディングの中心座標と、カラーフィルタの色ごと中心座標から画面周囲まで放射方向のシェーディング補正係数を変更することを特徴とする請求項1に記載の固体撮像装置。
- 被写体の色温度を算出する色温度算出部を有し、被写体の色温度に応じて、カラーフィルタの色ごとのシェーディングの中心座標と、カラーフィルタの色ごと中心座標から画面周囲まで放射方向のシェーディング補正係数を変更することを変更することを特徴とする請求項1に記載の固体撮像装置。
- 色毎のシェーディングの形状を判定する手段を有し、シェーディングの形状が真円出ない場合は、楕円形状か否かを判定し、シェーディングが楕円形状の場合は、楕円形状の補正を行うことを特徴とする請求項1に記載の個体撮像装置。
- 2色以上のカラーフィルタを有する撮像素子と、
カラーフィルタの色ごとのシェーディングの中心座標を算出する各色中心座標算出手段と、前記各色中心座標算出手段で算出した各色の中心座標から各色の画面周囲まで放射方向のシェーディング補正係数を算出する放射方向シェーディング補正係数算出手段と、を有し、
前記各色中心座標算出手段で算出した各色中心座標と、前記放射方向シェーディング補正係数算出手段で算出した放射方向シェーディング補正係数から、撮影画像をシェーディング補正した後に、
任意の座標を中心に、
上記中心座標から放射方向へ、像高に応じて輝度信号を下げる補正を行うことを特徴とする固体撮像装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011015597A JP2012156882A (ja) | 2011-01-27 | 2011-01-27 | 固体撮像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011015597A JP2012156882A (ja) | 2011-01-27 | 2011-01-27 | 固体撮像装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012156882A true JP2012156882A (ja) | 2012-08-16 |
Family
ID=46838130
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011015597A Pending JP2012156882A (ja) | 2011-01-27 | 2011-01-27 | 固体撮像装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2012156882A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015122669A (ja) * | 2013-12-24 | 2015-07-02 | キヤノン株式会社 | 画像処理装置、その制御方法およびプログラム |
EP3428850A1 (en) | 2017-07-13 | 2019-01-16 | Fujitsu Limited | Image processing apparatus and image processing method |
CN112268878A (zh) * | 2020-08-19 | 2021-01-26 | 西安空间无线电技术研究所 | 一种金刚石内同方向色心的高效确认方法及*** |
-
2011
- 2011-01-27 JP JP2011015597A patent/JP2012156882A/ja active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015122669A (ja) * | 2013-12-24 | 2015-07-02 | キヤノン株式会社 | 画像処理装置、その制御方法およびプログラム |
EP3428850A1 (en) | 2017-07-13 | 2019-01-16 | Fujitsu Limited | Image processing apparatus and image processing method |
US10825144B2 (en) | 2017-07-13 | 2020-11-03 | Fujitsu Limited | Image processing apparatus and image processing method |
CN112268878A (zh) * | 2020-08-19 | 2021-01-26 | 西安空间无线电技术研究所 | 一种金刚石内同方向色心的高效确认方法及*** |
CN112268878B (zh) * | 2020-08-19 | 2022-10-14 | 西安空间无线电技术研究所 | 一种金刚石内同方向色心的高效确认方法及*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101442313B1 (ko) | 카메라 센서 교정 | |
CN103444185B (zh) | 彩色摄像元件及摄像装置 | |
US8102459B2 (en) | Image pickup apparatus | |
JP5619294B2 (ja) | 撮像装置及び合焦用パラメータ値算出方法 | |
JP5572765B2 (ja) | 固体撮像素子、撮像装置、及び合焦制御方法 | |
JP5629832B2 (ja) | 撮像装置及び位相差画素の感度比算出方法 | |
CN103444184B (zh) | 彩色摄像元件及摄像装置 | |
JP2012141585A (ja) | 撮像装置 | |
JP5547338B2 (ja) | カラー撮像素子、撮像装置、及び撮像プログラム | |
JP5591851B2 (ja) | 固体撮像装置および携帯情報端末 | |
JP5539585B2 (ja) | カラー撮像素子、撮像装置、及び撮像プログラム | |
CN107960120B (zh) | 图像处理设备、摄像设备、图像处理方法和存储介质 | |
JP5539584B2 (ja) | カラー撮像素子、撮像装置、及び撮像プログラム | |
CN104641276B (zh) | 摄像装置及信号处理方法 | |
JP2012252280A (ja) | 撮像装置 | |
JP2012156882A (ja) | 固体撮像装置 | |
CN103460702B (zh) | 彩色摄像元件及摄像装置 | |
CN113596431A (zh) | 图像处理设备、摄像设备、图像处理方法和存储介质 | |
JP2015128226A (ja) | 撮像装置、その制御方法及びプログラム | |
JP2021082931A (ja) | 撮像素子及び撮像装置 | |
JP2020003686A (ja) | 焦点検出装置、撮像装置および交換レンズ装置 |