JP2010103642A - シェーディング補正装置 - Google Patents
シェーディング補正装置 Download PDFInfo
- Publication number
- JP2010103642A JP2010103642A JP2008271297A JP2008271297A JP2010103642A JP 2010103642 A JP2010103642 A JP 2010103642A JP 2008271297 A JP2008271297 A JP 2008271297A JP 2008271297 A JP2008271297 A JP 2008271297A JP 2010103642 A JP2010103642 A JP 2010103642A
- Authority
- JP
- Japan
- Prior art keywords
- correction coefficient
- shading correction
- color shading
- color
- red
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
Abstract
【課題】簡易な構成で効率の良い色シェーディング補正を精度良く行うシェーディング補正装置を得ること。
【解決手段】画像領域上の所定の位置毎に色シェーディング補正を行う補正係数を記憶しておく赤色用補正係数レジスタ11Rおよび青色用補正係数レジスタ11Bと、映像信号内の画素のうち補正係数が設定されていない画素位置の補正係数を補間処理によって算出する線形補間部15と、を備え、補正係数は、赤色用または青色用の補正係数であって赤色画素または青色画素に隣接する緑色画素の画素値を基準にした補正係数であり、赤色または青色の映像信号を出力する際には補間処理によって算出した補正係数によって色シェーディング補正を行なって映像信号を出力し、緑色の映像信号を出力する際には緑色への色シェーディング補正を行なうことなく映像信号を出力する。
【選択図】 図3
【解決手段】画像領域上の所定の位置毎に色シェーディング補正を行う補正係数を記憶しておく赤色用補正係数レジスタ11Rおよび青色用補正係数レジスタ11Bと、映像信号内の画素のうち補正係数が設定されていない画素位置の補正係数を補間処理によって算出する線形補間部15と、を備え、補正係数は、赤色用または青色用の補正係数であって赤色画素または青色画素に隣接する緑色画素の画素値を基準にした補正係数であり、赤色または青色の映像信号を出力する際には補間処理によって算出した補正係数によって色シェーディング補正を行なって映像信号を出力し、緑色の映像信号を出力する際には緑色への色シェーディング補正を行なうことなく映像信号を出力する。
【選択図】 図3
Description
本発明は、映像信号のシェーディング補正を行うシェーディング補正装置に関するものである。
近年、デジタルスチルカメラや携帯電話等に搭載されるCCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の固体撮像素子であるイメージセンサは、電子機器本体の小型化に伴って、小型化および低背化が求められている。特に低背化が進むと、光学系とイメージセンサとの距離が縮まるので、イメージセンサの周辺部では入射光の入射角が中央部に比べて小さくなる。光にはレンズや赤外光カットフィルタ等を通過する際の屈折率が、光の波長に比例して高くなる性質がある。このため、イメージセンサへの入射光の入射角が小さくなると、光の波長によって光の結像する位置が変わってくることとなる。その結果、イメージセンサからの出力映像に色シェーディングが発生し、イメージセンサの周辺部で色つきが見られるようになる。
このため、特許文献1に記載のシェーディング補正装置は、イメージセンサの座標(x,y)に対応した補正係数を以下に示すN次(Nは2以上の整数)の曲面関数で色毎に近似することによって、色シェーディングを補正していた。N次の曲面関数:f(x,y)=a01×y+a02×y2+a10×x+a11×xy+a12×xy2+a20×x2+a21×x2y+a22×x2y2+・・・+aN-1N-1×xN-1yN-1。
また、特許文献2に記載のシェーディング補正装置は、補正処理単位(ブロック)内の画像を補正するためのブロック補正値のうち、一部のブロックのブロック補正値を記憶しておき、このブロック補正値に基づいて他のブロックのブロック補正値を算出している。そして、記憶しておいたブロック補正値と算出したブロック補正値とに基づいて、画像を構成する画素の輝度値を補正している。
また、特許文献2に記載のシェーディング補正装置は、補正処理単位(ブロック)内の画像を補正するためのブロック補正値のうち、一部のブロックのブロック補正値を記憶しておき、このブロック補正値に基づいて他のブロックのブロック補正値を算出している。そして、記憶しておいたブロック補正値と算出したブロック補正値とに基づいて、画像を構成する画素の輝度値を補正している。
しかしながら、画素の小型化に伴って、画素のレイアウト起因で生じる色シェーディングが問題となってきている。上記特許文献1では、N次の曲面関数で表現できる補正しか行えず、画素レイアウト起因で生じる色むらを精度良く補正することはできなかった。
また、上記特許文献2では、画素の輝度値を補正しているに過ぎず、色シェーディングを効率良く補正することはできなかった。さらに、色シェーディングを行うと、例えば赤、緑、青、緑といった4色分の補正値を記憶しておかなければならず、回路構成が大きくなるという問題があった。
本発明は、簡易な構成で効率の良い色シェーディング補正を精度良く行うシェーディング補正装置を得ることを目的とする。
本願発明の一態様によれば、画面上に表示される画像領域上の所定位置に設定されて各位置に応じた映像信号の色シェーディング補正を行う補正係数を、前記位置毎に色シェーディング補正係数として出力する補正係数出力部と、前記映像信号内の画素のうち前記色シェーディング補正係数が設定されていない画素位置の色シェーディング補正に用いる色シェーディング補正係数を、前記補正係数出力部からの色シェーディング補正係数を用いた補間処理によって算出する補正係数補間部と、を備え、前記補正係数出力部が出力する色シェーディング補正係数は、色シェーディング補正対象となる第1の色への色シェーディング補正係数であって、且つ前記第1の色の画素に隣接する第2の色の画素値に応じた色シェーディング補正係数であり、前記第1の色の映像信号を出力する際には、前記補正係数補間部が前記第1の色への色シェーディング補正係数を補間処理によって算出するとともに算出した色シェーディング補正係数によって前記第1の色への色シェーディング補正を行って前記第1の色の映像信号を出力し、かつ前記第2の色の映像信号を出力する際には前記第2の色への色シェーディング補正を行うことなく前記第2の色の映像信号を出力することを特徴とするシェーディング補正装置が提供される。
この発明によれば、簡易な構成で効率の良い色シェーディング補正を精度良く行うことが可能になるという効果を奏する。
以下に、本発明に係るシェーディング補正装置の実施の形態を図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。
(第1の実施の形態)
図1は、本発明の第1の実施の形態に係るシェーディング補正装置を備えた撮像装置の構成を示すブロック図である。撮像装置1は、映像を撮像するとともに映像信号を色シェーディング補正や輝度シェーディング補正して映像出力する装置であり、レンズ2、撮像素子3、A/D変換部4、色シェーディング補正部10、輝度シェーディング補正部5、出力部6を備えている。
図1は、本発明の第1の実施の形態に係るシェーディング補正装置を備えた撮像装置の構成を示すブロック図である。撮像装置1は、映像を撮像するとともに映像信号を色シェーディング補正や輝度シェーディング補正して映像出力する装置であり、レンズ2、撮像素子3、A/D変換部4、色シェーディング補正部10、輝度シェーディング補正部5、出力部6を備えている。
撮像装置1は、撮像素子3、A/D変換部4、色シェーディング補正部10、輝度シェーディング補正部5、出力部6によってイメージセンサを構成している。そして、撮像装置1は、イメージセンサの画像処理部として色シェーディング補正部10を有している。
本実施の形態の色シェーディング補正部10は、色シェーディングを低減するための補正値(以下、色シェーディング補正係数という)を画面上に所定の間隔で配置するとともに、色シェーディング補正係数のない領域の色シェーディング補正係数を近傍の色シェーディング補正係数を用いた線形補間処理によって生成する。また、色シェーディング補正部10は、赤色と緑色の着色状態の比や青色と緑色の着色状態の比が1対1に近づくよう赤色や青色の画素を色シェーディング補正する。このため、色シェーディング補正部10は、緑色に対する赤色の色シェーディング補正と、緑色に対する青色の色シェーディング補正を行う。なお、本実施の形態では、緑色が特許請求の範囲に記載の第2の色に対応し、赤色と青色が特許請求の範囲に記載の第1の色に対応する。
レンズ2は、撮像装置1の外部から光を集光し、集光した光を集光光51として撮像素子3に送る。撮像素子3は、レンズ2からの集光光51をアナログ信号52に変換してA/D変換部4に送る。A/D変換部4は、撮像素子3からのアナログ信号52をデジタルの映像信号53に変換して色シェーディング補正部10に送る。
色シェーディング補正部10は、A/D変換部4からの映像信号53を色シェーディング補正するとともに、色シェーディング補正した信号を色シェーディング補正後映像信号54として輝度シェーディング補正部5に送る。
輝度シェーディング補正部5は、色シェーディング補正部10からの色シェーディング補正後映像信号54を輝度シェーディング補正するとともに、輝度シェーディングした信号を輝度シェーディング補正後映像信号55として出力部6に送る。出力部6は、色シェーディング補正および輝度シェーディング補正が行われた映像信号を出力する。
つぎに、撮像装置1の動作手順について説明する。撮像装置1の外部から入光してくる光はレンズ2で集光されて撮像素子3に送られる。撮像素子3は、ベイヤー配列の色フィルタ配列を有したm×n画素(mとnは自然数)の撮像素子で集光光51の光学像を光電変換し、画素毎にアナログ信号52を生成する。図2は、ベイヤー配列を示す図である。同図に示すように、ベイヤー配列101では、Y軸(縦方向)の偶数段目には、X軸方向(横方向)に緑、赤、緑、赤、・・・の順番で並ぶ色フィルタが配置され、Y軸の奇数段目には、X軸方向に青、緑、青、緑、・・・の順番で並ぶ色フィルタが配置されている。
撮像素子3で生成されたアナログ信号52は、A/D変換部4でデジタルの映像信号に変換される。そして、映像信号は色シェーディング補正部10で色シェーディング補正され、さらに輝度シェーディング補正部5で輝度シェーディング補正される。色シェーディング補正および輝度シェーディング補正が行われた映像信号は出力部6から出力される。
色シェーディング補正部10に入力される映像信号53には色シェーディングが含まれている。色シェーディングは、一様な輝度を持った被写体を撮影した際に、色が不均一に着色する状態(色むら)である。この着色を低減するには、その着色をキャンセルするような色シェーディング補正係数を映像信号53に積算すればよい。本実施の形態の色シェーディング補正部10は、映像信号53の各座標で、隣接する緑色画素の画素値を基準にして赤色および青色に色シェーディング補正係数を掛ける。このとき、色シェーディング補正部10は、赤色と緑色の着色状態の比が1対1に近づくよう赤色の画素を色シェーディング補正するとともに、青色と緑色の着色状態の比が1対1に近づくよう青色の画素を色シェーディング補正する。これにより、色シェーディング補正部10は、映像信号53の色シェーディングを低減する。
ここで、色シェーディング補正部10の詳細な構成について説明する。図3は、色シェーディング補正部の構成を示すブロック図である。色シェーディング補正部10は、赤色用補正係数レジスタ11R、青色用補正係数レジスタ11B、アドレスカウンタ12、HVカウンタ13、セレクタ14a,14b,14c,14d,17、線形補間部15、掛算器(積算器)16を有している。なお、ここでの赤色用補正係数レジスタ11R、青色用補正係数レジスタ11Bが特許請求の範囲に記載の補正係数出力部に対応する。また、ここでの線形補間部15が特許請求の範囲に記載の補正係数補間部に対応する。
アドレスカウンタ12は、図示しないタイミング制御回路からの指示に従って、シェーディング補正の対象となる画素の位置(後述の格子の位置)を順番に生成する。本実施の形態では、色シェーディングを低減するための色シェーディング補正係数を画面上(画素領域)に所定の間隔で配置しておく。この色シェーディング補正係数の配置間隔によって構成される各格子が、色シェーディング補正処理(補間処理)の単位となる。したがって、色シェーディング補正部10は、各格子を構成する4つの格子点に設定される4つの色シェーディング補正係数を用いて格子点内の色シェーディング補正係数を算出(補間)する。
図4は、画素領域と色シェーディング補正係数の配置間隔を説明するための図である。画素領域21では、X軸方向に対応するi方向にq(qは自然数)画素毎の間隔で色シェーディング補正係数Vijが配置され、Y軸方向に対応するj方向にp(pは自然数)画素毎の間隔で色シェーディング補正係数が配置される。図4では、各格子を構成する格子点を格子点Lijとして示しており、この格子点Lij上に色シェーディング補正係数が設定されている。色シェーディング補正係数の配置位置で構成される格子は、i方向のサイズがq画素であり、j方向のサイズがp画素である。なお、映像信号53は、ベイヤー配列なので、pとqは2の倍数になるよう選んでおく。
i方向のq画素やj方向のp画素は、例えば128画素である。例えば、128画素の間隔で色シェーディング補正係数を配置することによって、画素領域21内の全ての領域に色シェーディング補正係数を配置する。このとき、画素領域21のi方向のサイズやj方向のサイズが128画素の倍数で無ければ、画素領域21の外側(右端や下端)にも色シェーディング補正係数が設定される。
アドレスカウンタ12は、格子点を選択するためのカウンタであり、色シェーディング補正係数の位置として格子点Lijの位置を示すiやjを順番に生成して、赤色用補正係数レジスタ11Rや青色用補正係数レジスタ11Bに送る。
HVカウンタ13は、画素の座標を決定するカウンタであり、図示しないタイミング制御回路からの指示に従って、シェーディング補正の対象となる画素の座標を順番に生成する。HVカウンタ13は、アドレスカウンタ12によって選択された格子点Lijを原点とした座標(x,y)を順番に生成する。換言すると、HVカウンタ13は、格子点Lijを左上の格子点とした格子内での座標(x,y)を順番に生成する。HVカウンタ13は、生成した座標(x,y)をセレクタ14a〜14d、線形補間部15、セレクタ17に送る。
赤色用補正係数レジスタ11Rは、赤色の画素に用いる色シェーディング補正係数を記憶しておくレジスタである。赤色用補正係数レジスタ11Rは、アドレスカウンタ12から送られてくる格子点Lijの番号であるiとjを入力し、iとjに対応する色シェーディング補正係数を出力する。具体的には、赤色用補正係数レジスタ11Rは、iとjに対応する色シェーディング補正係数として、Rij、Ri+1j、Rij+1、Ri+1j+1を出力する。Rij、Ri+1j、Rij+1、Ri+1j+1は、それぞれ格子点Lij,Li+1j,Lij+1,Li+1j+1上に設定されている色シェーディング補正係数である。赤色用補正係数レジスタ11RからのRij、Ri+1j、Rij+1、Ri+1j+1は、それぞれセレクタ14a,14b,14c,14dに送られる。
青色用補正係数レジスタ11Bは、青色の画素に用いる色シェーディング補正係数を記憶しておくレジスタである。青色用補正係数レジスタ11Bは、アドレスカウンタ12から送られてくる格子点Lijの番号であるiとjを入力し、iとjに対応する色シェーディング補正係数を出力する。具体的には、青色用補正係数レジスタ11Bは、iとjに対応する色シェーディング補正係数として、Bij、Bi+1j、Bij+1、Bi+1j+1を出力する。Bij、Bi+1j、Bij+1、Bi+1j+1は、それぞれ格子点Lij,Li+1j,Lij+1,Li+1j+1上に設定されている色シェーディング補正係数である。青色用補正係数レジスタ11BからのBij、Bi+1j、Bij+1、Bi+1j+1は、それぞれセレクタ14a,14b,14c,14dに送られる。
本実施の形態では、図4に示した画素領域(画像領域)21に対して垂直方向にp画素間隔、水平方向にq画素間隔で格子点を配置した格子を割り当てておく。そして、赤色用補正係数レジスタ11Rと青色用補正係数レジスタ11Bが、格子の各格子点に割り当てられた色シェーディング補正係数を保存しておく。
セレクタ14aは、赤色用補正係数レジスタ11RからのRijと青色用補正係数レジスタ11BからのBijを入力するとともに、HVカウンタ13からの座標(x,y)を入力する。セレクタ14aは、yが偶数の場合に、色シェーディング補正係数VijとしてRijを選択し線形補間部15に送る。また、セレクタ14aは、yが奇数の場合に、色シェーディング補正係数VijとしてBijを選択し線形補間部15に送る。
同様に、セレクタ14b,14c,14dは、それぞれ赤色用補正係数レジスタ11RからのRi+1j、Rij+1、Ri+1j+1と、青色用補正係数レジスタ11BからのBi+1j、Bij+1、Bi+1j+1を入力するとともに、HVカウンタ13からの座標(x,y)を入力する。セレクタ14b,14c,14dは、それぞれyが偶数の場合に、色シェーディング補正係数Vi+1j,Vij+1,Vi+1j+1としてRi+1j、Rij+1、Ri+1j+1を選択し線形補間部15に送る。また、セレクタ14b,14c,14dは、yが奇数の場合に、色シェーディング補正係数Vi+1j,Vij+1,Vi+1j+1としてBi+1j、Bij+1、Bi+1j+1を選択し線形補間部15に送る。
線形補間部15は、セレクタ14a〜14dから送られてくる色シェーディング補正係数を入力するとともに、HVカウンタ13から送られてくる座標(x,y)を入力する。線形補間部15は、セレクタ14a〜14dから送られてくる色シェーディング補正係数を用いて座標(x,y)に応じた色シェーディング補正係数を生成する。線形補間部15は、HVカウンタ13から送られてくる座標(x,y)が格子点の座標であれば、セレクタ14a〜14dから送られてくる色シェーディング補正係数をそのまま色シェーディング補正係数に設定する。例えば、HVカウンタ13から送られてくる座標(x,y)が、原点であれば、線形補間部15は、セレクタ14aから送られてくる色シェーディング補正係数を色シェーディング補正係数に設定する。
一方、線形補間部15は、HVカウンタ13から送られてくる座標(x,y)が格子点の座標でなければ、セレクタ14a〜14dから送られてくる色シェーディング補正係数を用いて色シェーディング補正係数を生成する。換言すると、線形補間部15は、色シェーディング補正係数が設定されていない領域の画素に対して、この画素の最近傍の格子点(画素が含まれている格子を構成する4つの格子点)に与えられた色シェーディング補正係数Vi+1j,Vij+1,Vi+1j+1を用いて色シェーディング補正係数を生成する。このとき、線形補間部15は、線形補間を用いて色シェーディング補正係数を生成する。
図5は、線形補間に用いる格子点を説明するための図である。座標(x,y)が格子点Lij,Li+1j,Lij+1,Li+1j+1内に存在する場合、線形補間部15は、各格子点Lij,Li+1j,Lij+1,Li+1j+1に設定されている色シェーディング補正係数を用いて座標(x,y)の色シェーディング補正係数Axyを生成する。具体的には、線形補間部15は、各格子点Lij,Li+1j,Lij+1,Li+1j+1に設定されている色シェーディング補正係数Vi+1j,Vij+1,Vi+1j+1を用いて色シェーディング補正係数Axyを生成する。線形補間部15は、例えば以下に示す式(1)によって、格子点Lijを原点とした座標(x、y)での色シェーディング補正係数Axyを算出する。
掛算器16は、線形補間部15が生成した色シェーディング補正係数Axyを映像信号53に掛ける(色シェーディング補正係数Axyに映像信号53を乗算して積算する)回路などである。掛算器16は、積算結果をセレクタ17に送る。
セレクタ17は、掛算器16から送られてくる積算結果と、映像信号53と、HVカウンタ13からの座標(x,y)と、を入力する。セレクタ17は、座標(x,y)に基づいて、掛算器16からの積算結果または映像信号53の何れかを選択し、色シェーディング補正後映像信号54として出力する。セレクタ17は、座標(x,y)が緑色の画素位置を示す場合に映像信号53を選択して出力する。また、セレクタ17は、座標(x,y)が青色または赤色の画素位置を示す場合に掛算器16からの積算結果を選択して出力する。
つぎに、色シェーディング補正部10の動作手順について説明する。色シェーディング補正部10に映像信号53が入力されると、アドレスカウンタ12は、映像信号53の画素の位置に対応する格子の位置(iとj)を生成する。ここでのiとjは、画素が含まれている格子の左上の格子点Lijの番号である。アドレスカウンタ12は、生成したiとjを赤色用補正係数レジスタ11Rと青色用補正係数レジスタ11Bに送る。
また、HVカウンタ13は、映像信号53の画素の座標(x,y)を生成する。ここでの座標(x,y)は、アドレスカウンタ12によって選択された格子点Lijを原点とした座標である。HVカウンタ13は、生成した座標(x,y)をセレクタ14a〜14d、線形補間部15、セレクタ17に送る。
HVカウンタ13およびアドレスカウンタ12は、映像信号53の各段で左側から右側に向かって画素の格子位置(iとj)、画素の座標(x,y)を生成する。HVカウンタ13およびアドレスカウンタ12は、1段分の格子位置や1段分の座標の生成を全て終えると、この段よりも1段下の格子位置や座標の生成を行う。これにより、HVカウンタ13およびアドレスカウンタ12は、映像信号53の上段から下段に向かって画素の格子位置、画素の座標を生成する。
ここで、HVカウンタ13およびアドレスカウンタ12の動作タイミング(信号の生成タイミング)について説明する。図6は、HVカウンタおよびアドレスカウンタのタイミングチャートである。アドレスカウンタ12は、j段目の格子位置としてj=0を生成する。このとき、アドレスカウンタ12は、i列目の格子位置としてi=0、1、2、3の順番でiの値を生成する。最後のiまで生成すると、HVカウンタ13は、j段目の格子位置としてj=1を生成する。そして、アドレスカウンタ12は、i列目の格子位置としてi=0、1、2、3、・・・の順番でiの値を生成する。この後、HVカウンタ13は、j段目の格子位置としてj=2、3、4、・・・の順番でjの値を生成するとともに、各jの値に対してi=0、1、2、3、・・・の順番でiの値を生成する処理を繰り返す。
換言すると、(i,j)は、(0,0)、(1,0)、(2,0)、(3,0)、・・・の順番で、j=0段目の格子位置が赤色用補正係数レジスタ11Rと青色用補正係数レジスタ11Bに送られる。j=0段目の格子位置が全て赤色用補正係数レジスタ11Rと青色用補正係数レジスタ11Bに送られると、j=1段目の格子位置が赤色用補正係数レジスタ11Rと青色用補正係数レジスタ11Bに送られる。j=1段目の格子位置では、(i,j)が、(0,1)、(1,1)、(2,1)、(3,1)、・・・の順番で、赤色用補正係数レジスタ11Rと青色用補正係数レジスタ11Bに送られる。j=1段目の格子位置が全て赤色用補正係数レジスタ11Rと青色用補正係数レジスタ11Bに送られると、j=2段目、j=3段目の順番で格子位置が赤色用補正係数レジスタ11Rと青色用補正係数レジスタ11Bに送られる。
HVカウンタ13は、アドレスカウンタ12が(i,j)を生成すると、この(i,j)の格子内での座標(x,y)を生成する。HVカウンタ13は、y段目の座標(画素)としてy=0を生成する。このとき、HVカウンタ13は、x列目の座標としてx=0、1、2、3、・・・の順番でxの値を生成する。最後のxまで生成すると、HVカウンタ13は、y段目の座標としてy=1を生成する。そして、HVカウンタ13は、x列目の座標としてx=0、1、2、3、・・・の順番でxの値を生成する。この後、HVカウンタ13は、y段目の座標としてy=2、3,4・・・の順番でyの値を生成するとともに、各yの値に対してx=0、1、2、3、・・・の順番でxの値を生成する処理を繰り返す。
換言すると、(x,y)は、(0,0)、(1,0)、(2,0)、(3,0)、・・・の順番で、y=0段目の座標がセレクタ14a〜14d、線形補間部15、セレクタ17に送られる。y=0段目の座標が全てセレクタ14a〜14dなどに送られると、y=1段目の座標がセレクタ14a〜14dなどに送られる。y=1段目の座標では、(x,y)が、(0,1)、(1,1)、(2,1)、(3,1)、・・・の順番で、セレクタ14a〜14dなどに送られる。y=1段目の座標が全てセレクタ14a〜14dなどに送られると、y=2段目、y=3段目の順番で座標がセレクタ14a〜14dなどに送られる。
この後、赤色用補正係数レジスタ11Rは、アドレスカウンタ12から送られてくるiとjに対応する色シェーディング補正係数を出力する。具体的には、赤色用補正係数レジスタ11Rは、Rij、Ri+1j、Rij+1、Ri+1j+1を出力する。赤色用補正係数レジスタ11RからのRij、Ri+1j、Rij+1、Ri+1j+1は、それぞれセレクタ14a,14b,14c,14dに送られる。
このとき、青色用補正係数レジスタ11Bは、アドレスカウンタ12から送られてくるiとjに対応する色シェーディング補正係数を出力する。具体的には、青色用補正係数レジスタ11Bは、Bij、Bi+1j、Bij+1、Bi+1j+1を出力する。青色用補正係数レジスタ11BからのBij、Bi+1j、Bij+1、Bi+1j+1は、それぞれセレクタ14a,14b,14c,14dに送られる。
セレクタ14a〜14dは、図2に示したベイヤー配列101と座標(x,y)に基づいて、赤色用補正係数レジスタ11Rからの色シェーディング補正係数または青色用補正係数レジスタ11Bからの色シェーディング補正係数の何れかを選択する。セレクタ14a〜14dは、yの最下位ビットが「0」の場合に赤色用補正係数レジスタ11Rからの色シェーディング補正係数を選択し、yの最下位ビットが「1」の場合に青色用補正係数レジスタ11Bからの色シェーディング補正係数を選択する。
具体的には、セレクタ14a〜14dは、yが偶数の場合に、色シェーディング補正係数Vij,Vi+1j,Vij+1,Vi+1j+1としてそれぞれRij、Ri+1j、Rij+1、Ri+1j+1を選択する。また、セレクタ14a〜14dは、yが奇数の場合に、色シェーディング補正係数Vi+1j,Vij+1,Vi+1j+1としてそれぞれBi+1j、Bij+1、Bi+1j+1を選択する。セレクタ14a〜14dは、選択した色シェーディング補正係数を線形補間部15に送る。
なお、セレクタ14a〜14dは、xが奇数であって且つyが偶数の場合に赤色用補正係数レジスタ11Rからの色シェーディング補正係数を選択してもよい。また、セレクタ14a〜14dは、xが偶数であって且つyが奇数の場合に青色用補正係数レジスタ11Bからの色シェーディング補正係数を選択してもよい。
線形補間部15は、セレクタ14a〜14dから送られてくる色シェーディング補正係数を用いて座標(x,y)に応じた色シェーディング補正係数を生成する。線形補間部15は、HVカウンタ13から送られてくる座標(x,y)が格子点の座標であれば、セレクタ14a〜14dから送られてくる色シェーディング補正係数をそのまま色シェーディング補正係数に設定する。
具体的には、線形補間部15は、HVカウンタ13から送られてくる座標(x,y)が、格子点Lij(原点)であればセレクタ14aから送られてくる色シェーディング補正係数を色シェーディング補正係数に設定する。また、線形補間部15は、HVカウンタ13から送られてくる座標(x,y)が、格子点Li+1j(q,0)であればセレクタ14bから送られてくる色シェーディング補正係数を色シェーディング補正係数に設定する。また、線形補間部15は、HVカウンタ13から送られてくる座標(x,y)が、格子点Lij+1(0,p)であればセレクタ14cから送られてくる色シェーディング補正係数を色シェーディング補正係数に設定する。また、線形補間部15は、HVカウンタ13から送られてくる座標(x,y)が、格子点Li+1j+1(q,p)であればセレクタ14dから送られてくる色シェーディング補正係数を色シェーディング補正に用いる色シェーディング補正係数に設定する。
また、線形補間部15は、HVカウンタ13から送られてくる座標(x,y)が格子点以外の座標(格子内の座標)であれば、セレクタ14a〜14dから送られてくる色シェーディング補正係数を用いて色シェーディング補正係数を生成する。このとき、線形補間部15は、線形補間を用いて色シェーディング補正係数を生成する。具体的には、線形補間部15は、上述した式(1)によって、座標(x、y)での色シェーディング補正係数Axyを算出する。線形補間部15は、算出した色シェーディング補正係数Axyを掛算器16に送る。
そして、掛算器16は、線形補間部15が生成した色シェーディング補正係数Axyを映像信号53に掛けるとともに、積算結果をセレクタ17に送る。セレクタ17は、座標(x,y)に基づいて、掛算器16からの積算結果または映像信号53の何れかを選択し、色シェーディング補正後映像信号54として出力する。セレクタ17は、座標(x,y)が緑色の画素位置を示す場合に映像信号53を選択して出力する。また、セレクタ17は、座標(x,y)が青色または赤色の画素位置を示す場合に掛算器16からの積算結果を選択して出力する。具体的には、セレクタ17は、xの最下位ビットが「0」の場合に映像信号53を選択し、xの最下位ビットが「1」の場合に掛算器16の出力を選択する。これにより、セレクタ17は、色シェーディング補正後映像信号54を出力する。
このように、色シェーディング補正部10は、画面上に色シェーディング補正係数を所定の間隔で配置し、色シェーディング補正係数のない領域では近傍の色シェーディング補正係数から補間処理で色シェーディング補正係数を生成するので、小さな記憶領域で色シェーディング補正係数を記憶することが可能となる。このため、全ての色シェーディング補正係数を記憶する場合よりも、赤色用補正係数レジスタ11Rや青色用補正係数レジスタ11Bの保存容量を減らすことができる。また、関数近似で色シェーディング補正係数を与える場合よりも自由度の高い色シェーディング補正係数を設定することができるので精度良く色シェーディング補正を行うことが可能となる。
なお、本実施の形態では、映像信号がベイヤー配列である場合について説明したが、映像信号にデモザイキング等を施して映像信号をRGB信号やYUV信号にしてもよい。また、本実施の形態では、補正係数の記憶に赤色用補正係数レジスタ11Rや青色用補正係数レジスタ11Bなどのレジスタを用いたが、レジスタの代わりにメモリを用いてもよい。
また、本実施の形態では、線形補間部15が線形補間によって色シェーディング補正係数を生成する場合について説明したが、線形補間部15が高次の補間アルゴリズムによって色シェーディング補正係数を生成してもよい。また、本実施の形態では、各画素に1色が割り当てられる場合について説明したが、各画素に3色を割り当ててもよい。この場合、映像信号53は、RGBの3本となる。
このように第1の実施の形態によれば、赤色用補正係数レジスタ11Rや青色用補正係数レジスタ11Bで格子点毎の色シェーディング補正係数を記憶しておくので、色シェーディング補正係数の分布形状を自由に選択して設定できる。したがって、色シェーディングによる色分布に対して柔軟な色シェーディング補正を行うことが可能となる。また、線形補間部15が線形補間にて色シェーディング補正係数を生成するので、赤色用補正係数レジスタ11Rおよび青色用補正係数レジスタ11Bの記憶容量を削減できる。また、線形補間によって色シェーディング補正係数を生成するので、容易に色シェーディング補正係数を生成することが可能となる。
また、緑色に対する赤色用の色シェーディング補正係数と、緑色に対する青色用の色シェーディング補正係数を記憶しておけばよく、緑色用の色シェーディング補正係数を記憶しておく必要がないので、小さな回路で色シェーディング補正係数を記憶できる。したがって、簡易な構成で効率の良い色シェーディング補正を精度良く行うことが可能となる。
(第2の実施の形態)
つぎに、図7および図8を用いてこの発明の第2の実施の形態について説明する。第2の実施の形態では、色シェーディング補正係数を演算処理によって生成し、生成した色シェーディング補正係数を用いて映像信号53の色シェーディング補正を行う。このため、色シェーディング補正係数の代わりに、各格子点の左側に隣接する格子点の色シェーディング補正係数との差分を保存しておく。また、最左端の格子点の色シェーディング補正係数は、差分でないそのままの値を保存しておく。
つぎに、図7および図8を用いてこの発明の第2の実施の形態について説明する。第2の実施の形態では、色シェーディング補正係数を演算処理によって生成し、生成した色シェーディング補正係数を用いて映像信号53の色シェーディング補正を行う。このため、色シェーディング補正係数の代わりに、各格子点の左側に隣接する格子点の色シェーディング補正係数との差分を保存しておく。また、最左端の格子点の色シェーディング補正係数は、差分でないそのままの値を保存しておく。
図7は、第2の実施の形態に係るシェーディング補正装置が備える補正係数生成部の構成を示すブロック図である。本実施の形態の色シェーディング補正部10は、第1の実施の形態の赤色用補正係数レジスタ11Rと青色用補正係数レジスタ11Bの代わりに、補正係数生成部30Rと補正係数生成部30Bを有している。
補正係数生成部30Rは、赤色用最左端補正係数レジスタ31Rと、赤色用差分補正係数レジスタ32Rと、赤色用補正係数演算部33Rと、を含んで構成されている。また、補正係数生成部30Bは、青色用最左端補正係数レジスタ31Bと、青色用差分補正係数レジスタ32Bと、青色用補正係数演算部33Bと、を含んで構成されている。なお、ここでの赤色用最左端補正係数レジスタ31R、青色用最左端補正係数レジスタ31Bが特許請求の範囲に記載の補正係数記憶部に対応する。また、ここでの赤色用差分補正係数レジスタ32R、青色用差分補正係数レジスタ32Bが特許請求の範囲に記載の差分記憶部に対応する。また、ここでの赤色用補正係数演算部33R、青色用補正係数演算部33Bが特許請求の範囲に記載の補正係数算出部に対応している。
赤色用最左端補正係数レジスタ31Rは、赤色の画素に用いる色シェーディング補正係数のうち画素領域内の最左端(i=0)の色シェーディング補正係数を記憶しておくレジスタである。赤色用最左端補正係数レジスタ31Rは、アドレスカウンタ12から送られてくるjを入力し、jに対応する色シェーディング補正係数を出力する。具体的には、赤色用最左端補正係数レジスタ31Rは、i=0および各jに対応する色シェーディング補正係数として、R’0j、R’0j+1を出力する。R’0j、R’0j+1は、それぞれ格子点L0j,L0j+1上に設定されている色シェーディング補正係数である。赤色用最左端補正係数レジスタ31RからのR’0j、R’0j+1は、赤色用補正係数演算部33Rに送られる。
赤色用差分補正係数レジスタ32Rは、隣接する格子点(左側の格子点)に設定される赤色用の色シェーディング補正係数と各格子点に設定される赤色用の色シェーディング補正係数との差分値を赤色用差分補正係数として記憶しておくレジスタである。赤色用差分補正係数レジスタ32Rは、画素領域内の最左端以外(i≠0)の格子に設定する赤色用差分補正係数を記憶しておく。赤色用差分補正係数レジスタ32Rは、アドレスカウンタ12から送られてくるiとjを入力し、iとjに対応する赤色用差分補正係数を出力する。具体的には、赤色用差分補正係数レジスタ32Rは、iおよびjに対応する赤色用差分補正係数として、R’i+1j、R’i+1j+1を出力する。R’i+1j、R’i+1j+1は、それぞれ格子点Li+1j,Li+1j+1上に設定されている赤色用差分補正係数である。赤色用差分補正係数レジスタ32RからのR’i+1j、R’i+1j+1は、赤色用補正係数演算部33Rに送られる。
赤色用補正係数演算部33Rは、赤色用最左端補正係数レジスタ31Rが記憶している最左端の色シェーディング補正係数と赤色用差分補正係数レジスタ32Rが記憶している赤色用差分補正係数とを用いて、各格子点に設定される色シェーディング補正係数を算出する。赤色用補正係数演算部33Rは、i=0の格子点に設定する色シェーディング補正係数として赤色用最左端補正係数レジスタ31Rが記憶している最左端の色シェーディング補正係数を出力する。また、赤色用補正係数演算部33Rは、i=1の格子点に設定する色シェーディング補正係数を算出する場合には、最左端の色シェーディング補正係数に、i=1に対応する赤色用差分補正係数を加算して出力する。これにより、赤色用補正係数演算部33Rは、第1の実施の形態の赤色用補正係数レジスタ11Rと同様にRij、Ri+1j、Rij+1、Ri+1j+1を出力する。
また、青色用最左端補正係数レジスタ31B、青色用差分補正係数レジスタ32B、青色用補正係数演算部33Bは、それぞれ赤色用最左端補正係数レジスタ31R、赤色用差分補正係数レジスタ32R、赤色用補正係数演算部33Rと同様の構成を有している。
すなわち、青色用最左端補正係数レジスタ31Bは、青色の画素に用いる色シェーディング補正係数のうち画素領域内の最左端(i=0)の色シェーディング補正係数を記憶しておくレジスタである。青色用最左端補正係数レジスタ31Bは、アドレスカウンタ12から送られてくるjを入力し、jに対応する色シェーディング補正係数を出力する。具体的には、青色用最左端補正係数レジスタ31Bは、i=0および各jに対応する色シェーディング補正係数として、B’0j、B’0j+1を出力する。B’0j、B’0j+1は、それぞれ格子点L0j,L0j+1上に設定されている色シェーディング補正係数である。青色用最左端補正係数レジスタ31BからのB’0j、B’0j+1は、青色用補正係数演算部33Bに送られる。
青色用差分補正係数レジスタ32Bは、隣接する格子点(左側の格子点)に設定される青色用の色シェーディング補正係数と各格子点に設定される青色用の色シェーディング補正係数との差分値を青色用差分補正係数として記憶しておくレジスタである。青色用差分補正係数レジスタ32Bは、画素領域内の最左端以外(i≠0)の格子に設定する青色用差分補正係数を記憶しておく。青色用差分補正係数レジスタ32Bは、アドレスカウンタ12から送られてくるiとjを入力し、iとjに対応する青色用差分補正係数を出力する。具体的には、青色用差分補正係数レジスタ32Bは、iおよびjに対応する青色用差分補正係数として、B’i+1j、B’i+1j+1を出力する。B’i+1j、B’i+1j+1は、それぞれ格子点Li+1j,Li+1j+1上に設定されている青色用差分補正係数である。青色用差分補正係数レジスタ32BからのB’i+1j、B’i+1j+1は、青色用補正係数演算部33Bに送られる。
青色用補正係数演算部33Bは、青色用最左端補正係数レジスタ31Bが記憶している最左端の色シェーディング補正係数と青色用差分補正係数レジスタ32Bが記憶している青色用差分補正係数とを用いて、各格子点に設定される色シェーディング補正係数を算出する。青色用補正係数演算部33Bは、i=0の格子点に設定する色シェーディング補正係数として青色用最左端補正係数レジスタ31Bが記憶している最左端の色シェーディング補正係数を出力する。また、青色用補正係数演算部33Bは、i=1の格子点に設定する色シェーディング補正係数を算出する場合には、最左端の色シェーディング補正係数に、i=1に対応する青色用差分補正係数を加算して出力する。これにより、青色用補正係数演算部33Bは、第1の実施の形態の青色用補正係数レジスタ11Bと同様にBij、Bi+1j、Bij+1、Bi+1j+1を出力する。
つぎに、補正係数生成部30Rと補正係数生成部30Bの動作手順について説明する。なお、補正係数生成部30Rと補正係数生成部30Bは、同様の動作手順によって動作するので、ここでは補正係数生成部30Rの動作手順について説明する。
図8は、補正係数生成部の動作手順を示すフローチャートである。赤色用最左端補正係数レジスタ31Rにアドレスカウンタ12から送られてくるjが入力されると、赤色用最左端補正係数レジスタ31Rは、jに対応する色シェーディング補正係数を赤色用補正係数演算部33Rに送る。具体的には、赤色用最左端補正係数レジスタ31Rは、色シェーディング補正係数として、R’0j、R’0j+1を出力する。
また、赤色用差分補正係数レジスタ32Rにアドレスカウンタ12から送られてくるiとjが入力されると、赤色用差分補正係数レジスタ32Rは、iとjに対応する赤色用差分補正係数を赤色用補正係数演算部33Rに送る。アドレスカウンタ12から送られてくるiがi=0の場合(ステップS10、Yes)、赤色用差分補正係数レジスタ32Rはi=0に対応する赤色用差分補正係数を出力せず、i=1に対応する赤色用差分補正係数としてR’i+1j、R’i+1j+1を出力する。
赤色用補正係数演算部33Rは、i=0の場合の色シェーディング補正係数として赤色用最左端補正係数レジスタ31Rが記憶している最左端の色シェーディング補正係数と、この最左端の色シェーディング補正係数にi=1の赤色用差分補正係数を加算した色シェーディング補正係数を出力する。これにより、i=0の場合、赤色用補正係数演算部33Rは、格子点L0j,L0j+1,L1j,L1j+1上に設定される色シェーディング補正係数を出力する。具体的には、赤色用補正係数演算部33Rは、Rij=R’0j、Rij+1=R’0j+1、Ri+1j=(R’0j)+(R’i+1j)、Ri+1j+1=(R’0j+1)+(R’i+1j+1)を出力する(ステップS20)。
この後、赤色用補正係数演算部33Rは、左側に隣接する格子点の色シェーディング補正係数としてC0=RijとC1=Rij+1を設定する(ステップS30)。ここでのRijとRij+1は、i=1の場合の色シェーディング補正係数である。つぎに、赤色用差分補正係数レジスタ32Rにアドレスカウンタ12からのiとjが入力されると、赤色用差分補正係数レジスタ32Rはiとjに対応する赤色用差分補正係数を赤色用補正係数演算部33Rに送る。アドレスカウンタ12から送られてくるiがi≠0の場合(ステップS10、No)、赤色用差分補正係数レジスタ32Rはi+1に対応する赤色用差分補正係数を出力する。
赤色用補正係数演算部33Rは、左側に隣接する格子点の色シェーディング補正係数と、この色シェーディング補正係数にi+1の赤色用差分補正係数を加算した色シェーディング補正係数を出力する。換言すると、赤色用補正係数演算部33Rは、差分で保存された色シェーディング補正係数を、隣接する格子点の色シェーディング補正係数と赤色用差分補正係数との和を取ることで復元し出力する。これにより、赤色用補正係数演算部33Rは、格子点Lij,Lij+1,Lij,Lij+1上に設定される色シェーディング補正係数を出力する。具体的には、赤色用補正係数演算部33Rは、Rij=C0、Rij+1=C1、Ri+1j=C0+(R’i+1j)、Ri+1j+1=C1+(R’i+1j+1)を出力する(ステップS40)。
そして、赤色用補正係数演算部33Rは、左側に隣接する格子点の色シェーディング補正係数として新たなC0=Rijと新たなC1=Rij+1を設定する(ステップS30)。ここでのRijとRij+1は、i+1の場合の色シェーディング補正係数である。
この後、赤色用補正係数演算部33Rは、ステップS40とステップS30の処理を繰り返す。そして、赤色用補正係数演算部33Rが最後のiに対応する色シェーディング補正係数を出力すると、補正係数生成部30Rは次のjに対してステップS10〜S40の処理を繰り返す。
なお、本実施の形態では、左側の隣接格子点の色シェーディング補正係数との差分を赤色用差分補正係数として保存したが、上側の隣接格子点、下側の隣接格子点または右側の隣接格子点の色シェーディング補正係数との差分を保存してもよい。
このように第2の実施の形態によれば、格子が隣接する場合の色シェーディング補正係数には相関があるので、隣接格子間での色シェーディング補正係数の差分を記憶しておくことにより、記憶しておく情報量が少なくすることができる。したがって、色シェーディング補正に用いる情報として保存しておく情報のビット数を少なくでき、その結果、小さな回路で色シェーディング補正を行うことが可能となる。
(第3の実施の形態)
つぎに、図9を用いてこの発明の第3の実施の形態について説明する。映像信号53の色シェーディングは色温度に依存して変化する。したがって、第3の実施の形態では、色シェーディング補正の精度を上げるため、色シェーディング補正係数を色温度に比例して変化させる。
つぎに、図9を用いてこの発明の第3の実施の形態について説明する。映像信号53の色シェーディングは色温度に依存して変化する。したがって、第3の実施の形態では、色シェーディング補正の精度を上げるため、色シェーディング補正係数を色温度に比例して変化させる。
図9は、第3の実施の形態に係る色シェーディング補正部の構成を示すブロック図である。図9の各構成要素のうち図3に示す第1の実施の形態の色シェーディング補正部10と同一機能を達成する構成要素については同一番号を付しており、重複する説明は省略する。
本実施の形態の色シェーディング補正部40は、赤色用補正係数レジスタ11R、青色用補正係数レジスタ11B、アドレスカウンタ12、HVカウンタ13、線形補間部15、掛算器16、セレクタ17に加えて、赤色用色温度依存係数レジスタ41R、青色用色温度依存係数レジスタ41B、掛算器42a〜42d,44a〜44d、足算器43a〜43d,45a〜45dを有している。なお、ここでの赤色用色温度依存係数レジスタ41R、青色用色温度依存係数レジスタ41B、掛算器42a〜42d,44a〜44d、足算器43a〜43d,45a〜45dが特許請求の範囲に記載の補正部に対応する。
また、本実施の形態のシェーディング補正部10は、図1に示した構成要素に加えて、色温度検出部7を備えている。色温度検出部7は、A/D変換部4と色シェーディング補正部40に接続されている。色温度検出部7は、A/D変換部4から送られてくる映像信号53を入力し、映像信号53に応じた色温度Tを検出して色シェーディング補正部40に出力する。
本実施の形態のアドレスカウンタ12は、赤色用色温度依存係数レジスタ41R、青色用色温度依存係数レジスタ41B、赤色用補正係数レジスタ11R、青色用補正係数レジスタ11Bに格子点Lijの位置を示すiやjを送る。
赤色用色温度依存係数レジスタ41Rは、赤色用の色シェーディング補正係数を色温度Tに応じて変化させるための色温度依存係数(赤色用)を記憶しておくレジスタである。赤色用色温度依存係数レジスタ41Rは、アドレスカウンタ12から送られてくるiとjを入力し、iとjに対応する色温度依存係数を出力する。具体的には、赤色用色温度依存係数レジスタ41Rは、iとjに対応する色温度依存係数として、Tij、Ti+1j、Tij+1、Ti+1j+1を出力する。Tij、Ti+1j、Tij+1、Ti+1j+1は、それぞれ格子点Lij,Li+1j,Lij+1,Li+1j+1上に設定されている色温度依存係数である。赤色用色温度依存係数レジスタ41RからのTij、Ti+1j、Tij+1、Ti+1j+1は、それぞれ掛算器42a,42b,42c,42dに送られる。
掛算器42aは、赤色用色温度依存係数レジスタ41RからのTijと色温度検出部7から送られてくる色温度Tとを積算して、積算結果を足算器43aに送る。同様に、掛算器42b,42c,42dは、それぞれ赤色用色温度依存係数レジスタ41RからのTi+1j、Tij+1、Ti+1j+1と色温度検出部7から送られてくる色温度Tとを積算して、積算結果をそれぞれ足算器43b,43c,43dに送る。
足算器43aは、掛算器42aからの積算結果に赤色用補正係数レジスタ11RからのR’ijを加算して、加算結果をセレクタ14aへ送る。同様に、足算器43b,43c,43dは、それぞれ掛算器42b,42c,42dからの積算結果に赤色用補正係数レジスタ11RからのR’i+1j、R’ij+1、R’i+1j+1を加算して、それぞれの加算結果をセレクタ14b,14c,14dに送る。
青色用色温度依存係数レジスタ41Bは、青色用の色シェーディング補正係数を色温度Tに応じて変化させるための色温度依存係数(青色用)を記憶しておくレジスタである。青色用色温度依存係数レジスタ41Bは、アドレスカウンタ12から送られてくるiとjを入力し、iとjに対応する色温度依存係数を出力する。具体的には、青色用色温度依存係数レジスタ41Bは、iとjに対応する色温度依存係数として、T’ij、T’i+1j、T’ij+1、T’i+1j+1を出力する。T’ij、T’i+1j、T’ij+1、T’i+1j+1は、それぞれ格子点Lij,Li+1j,Lij+1,Li+1j+1上に設定されている色温度依存係数である。青色用色温度依存係数レジスタ41BからのT’ij、T’i+1j、T’ij+1、T’i+1j+1は、それぞれ掛算器44a,44b,44c,44dに送られる。
掛算器44aは、青色用色温度依存係数レジスタ41BからのT’ijと色温度検出部7から送られてくる色温度T’とを積算して、積算結果を足算器45aに送る。同様に、掛算器44b,44c,44dは、それぞれ青色用色温度依存係数レジスタ41BからのT’i+1j、T’ij+1、T’i+1j+1と色温度検出部7から送られてくる色温度T’とを積算して、積算結果をそれぞれ足算器45b,45c,45dに送る。
足算器45aは、掛算器44aからの積算結果に青色用補正係数レジスタ11BからのB’ijを加算して、加算結果をセレクタ14aへ送る。同様に、足算器45b,45c,45dは、それぞれ掛算器44b,44c,44dからの積算結果に青色用補正係数レジスタ11BからのB’i+1j、B’ij+1、B’i+1j+1を加算して、それぞれの加算結果をセレクタ14b,14c,14dに送る。
本実施の形態では、掛算器42a〜42dがTij、Ti+1j、Tij+1、Ti+1j+1と色温度Tとを積算するとともに、足算器43a〜43dが、積算結果にR’ij、R’i+1j、R’ij+1、R’i+1j+1を加算している。そして、足算器43a〜43dが、加算結果を格子点Lij,Li+1j,Lij+1,Li+1j+1上の色シェーディング補正係数(Rij、Ri+1j、Rij+1、Ri+1j+1)としてセレクタ14a〜14dに入力している。換言すると、本実施の形態では、式(2)によって、格子点Lijでの赤色用の色シェーディング補正係数Rijを定義している。
また、本実施の形態では、掛算器44a〜44dがT’ij、T’i+1j、T’ij+1、T’i+1j+1と色温度T’とを積算するとともに、足算器45a〜45dが、積算結果にB’ij、B’i+1j、B’ij+1、B’i+1j+1を加算している。そして、足算器45a〜45dが、加算結果を格子点Lij,Li+1j,Lij+1,Li+1j+1上の色シェーディング補正係数(Bij、Bi+1j、Bij+1、Bi+1j+1)としてセレクタ14a〜14dに入力している。換言すると、本実施の形態では、式(3)によって、格子点Lijでの青色用の色シェーディング補正係数Bijを定義している。
なお、本実施の形態では、色シェーディング補正係数を色温度に応じて変化させる方法を第1の実施の形態の色シェーディング補正に適用する場合について説明したが、本実施の形態の色シェーディング補正を、第2の実施の形態の色シェーディング補正に適用してもよい。
また、本実施の形態では、色シェーディング補正係数の色温度依存性を1次式で近似する場合について説明したが、色シェーディング補正係数の色温度依存性を2次式以上で近似してもよい。
このように第3の実施の形態によれば、色シェーディング補正係数を色温度に応じて変化させるので、色温度に依存して変化する色シェーディングを簡易な構成で精度良く補正することが可能となる。したがって、色温度変化に頑健な色シェーディング補正を行うことが可能となる。
(第4の実施の形態)
つぎに、図10を用いてこの発明の第4の実施の形態について説明する。第4の実施の形態では、線形補間部15の代わりに、補間部とCPU(Central Processing Unit)を用いて色シェーディング補正を行う。
つぎに、図10を用いてこの発明の第4の実施の形態について説明する。第4の実施の形態では、線形補間部15の代わりに、補間部とCPU(Central Processing Unit)を用いて色シェーディング補正を行う。
図10は、第4の実施の形態に係る色シェーディング補正部の構成を示すブロック図である。図10の各構成要素のうち図3に示す第1の実施の形態の色シェーディング補正部10と同一機能を達成する構成要素については同一番号を付しており、重複する説明は省略する。
本実施の形態の色シェーディング補正部10は、赤色用補正係数レジスタ11R、青色用補正係数レジスタ11B、アドレスカウンタ12、HVカウンタ13、セレクタ14a,14b,14c,14d,17、掛算器16に加えて、補間部18を有している。
また、本実施の形態のシェーディング補正部10は、図3に示した構成要素に加えて、CPU8を備えている。CPU8は、高次の補間アルゴリズムを行うソフトウェアによって色シェーディング補正係数の補間計算を実行する。CPU8は、色シェーディング補正係数の補間計算を行うコンピュータプログラムである補間計算プログラムを用いて、色シェーディング補正係数の補間計算を行う。CPU8は、色シェーディング補正部10の外側に配置されており、補間部18に接続されている。CPU8は、補間部18から格子点の色シェーディング補正係数を受信するとともに、色シェーディング補正係数の補間計算結果を補間部18に送る。
つぎに、色シェーディング補正部10の動作手順について説明する。なお、色シェーディング補正部10の動作手順のうち第1の実施の形態で説明した動作手順と同様の動作を行う処理については、その説明を省略する。
セレクタ14a〜14dは、色シェーディング補正係数Vij,Vi+1j,Vij+1,Vi+1j+1を補間部18に送る。補間部18は、セレクタ14a〜14dの色シェーディング補正係数Vij,Vi+1j,Vij+1,Vi+1j+1と、HVカウンタ13からのx、yをCPU8に送る。CPU8は、高次の補間アルゴリズムによって、格子内での色シェーディング補正係数の補間計算を行う。ここでの高次の補間アルゴリズムとしては、例えばスプライン関数やバイキューブリック補間等が選択されて用いられる。このとき、CPU8は、セレクタ14a〜14dから送られてくる色シェーディング補正係数を用いて座標(x,y)に応じた色シェーディング補正係数を算出する。そして、CPU8は、算出した色シェーディング補正係数を補間部18に送る。この後、補間部18は、色シェーディング補正係数Axyを掛算器16に送る。
なお、本実施の形態では、CPU8と補間部18を用いた色シェーディング補正を第1の実施の形態の色シェーディング補正に適用する場合について説明したが、本実施の形態の色シェーディング補正を、第2または第3の実施の形態の色シェーディング補正に適用してもよい。
また、本実施の形態では、CPU8が高次の補間アルゴリズムによって、格子内での色シェーディング補正係数の補間計算を行う場合について説明したが、CPU8は線形補間アルゴリズムによって、格子内での色シェーディング補正係数の補間計算を行ってもよい。
このように第4の実施の形態によれば、ソフトウェアによって補間処理方法を選択できるので、色シェーディング補正係数の補間方法を任意に選ぶことができ、この結果、簡易な構成で効率の良い色シェーディング補正を精度良く行うことが可能となる。また、高次の補間アルゴリズムを用いて色シェーディング補正を行うので、線形補間よりも精度のよい色シェーディング補正を実現できる。
1 撮像装置、7 色温度検出部、8 CPU、10、40 色シェーディング補正部、11B 青色用補正係数レジスタ、11R 赤色用補正係数レジスタ、14a,14b,14c,14d,17 セレクタ、15 線形補間部、16 掛算器、18 補間部、31B 青色用最左端補正係数レジスタ、31R 赤色用最左端補正係数レジスタ、32B 青色用差分補正係数レジスタ、32R 赤色用差分補正係数レジスタ、33B 青色用補正係数演算部、33R 赤色用補正係数演算部、41B 青色用色温度依存係数レジスタ、41R 赤色用色温度依存係数レジスタ、53 映像信号、Lij 格子点
Claims (5)
- 画面上に表示される画像領域上の所定位置に設定されて各位置に応じた映像信号の色シェーディング補正を行う補正係数を、前記位置毎に色シェーディング補正係数として出力する補正係数出力部と、
前記映像信号内の画素のうち前記色シェーディング補正係数が設定されていない画素位置の色シェーディング補正に用いる色シェーディング補正係数を、前記補正係数出力部からの色シェーディング補正係数を用いた補間処理によって算出する補正係数補間部と、
を備え、
前記補正係数出力部が出力する色シェーディング補正係数は、色シェーディング補正対象となる第1の色への色シェーディング補正係数であって、且つ前記第1の色の画素に隣接する第2の色の画素値に応じた色シェーディング補正係数であり、前記第1の色の映像信号を出力する際には、前記補正係数補間部が前記第1の色への色シェーディング補正係数を補間処理によって算出するとともに算出した色シェーディング補正係数によって前記第1の色への色シェーディング補正を行って前記第1の色の映像信号を出力し、かつ前記第2の色の映像信号を出力する際には前記第2の色への色シェーディング補正を行うことなく前記第2の色の映像信号を出力することを特徴とするシェーディング補正装置。 - 前記補正係数出力部は、
色シェーディング補正係数として少なくとも1つの色シェーディング補正係数を記憶する補正係数記憶部と、
各位置に設定する色シェーディング補正係数と前記各位置の隣接位置に設定する色シェーディング補正係数との差分を、差分補正係数として記憶する差分記憶部と、
前記補正係数記憶部が記憶する色シェーディング補正係数および前記差分記憶部が記憶する差分補正係数を用いて、前記画像領域上の各位置での色シェーディング補正係数を算出する補正係数算出部と、
を有し、
前記補正係数出力部は、前記補正係数算出部で算出した色シェーディング補正係数を出力することを特徴とする請求項1に記載のシェーディング補正装置。 - 前記補正係数出力部は、
出力する色シェーディング補正係数を、前記映像信号から検出した色温度に応じた値に補正する補正部をさらに有することを特徴とする請求項1または2に記載のシェーディング補正装置。 - 前記補正係数補間部は、線形補間処理によって前記色シェーディング補正係数を算出することを特徴とする請求項1〜3のいずれか1つに記載のシェーディング補正装置。
- 外部配置されたCPUが、前記映像信号内の画素のうち前記色シェーディング補正係数が設定されていない画素位置の色シェーディング補正に用いる色シェーディング補正係数を、前記補正係数出力部からの色シェーディング補正係数を用いた高次の補間アルゴリズムによって算出するとともに、
前記補正係数補間部は、算出した色シェーディング補正係数を用いて前記第1の色への色シェーディング補正を行なうことを特徴とする請求項1〜3のいずれか1つに記載のシェーディング補正装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008271297A JP2010103642A (ja) | 2008-10-21 | 2008-10-21 | シェーディング補正装置 |
US12/556,741 US8330838B2 (en) | 2008-10-21 | 2009-09-10 | Shading correcting device and imaging apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008271297A JP2010103642A (ja) | 2008-10-21 | 2008-10-21 | シェーディング補正装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010103642A true JP2010103642A (ja) | 2010-05-06 |
Family
ID=42108351
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008271297A Pending JP2010103642A (ja) | 2008-10-21 | 2008-10-21 | シェーディング補正装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US8330838B2 (ja) |
JP (1) | JP2010103642A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015053057A (ja) * | 2013-09-09 | 2015-03-19 | メディアテック シンガポール ピーティーイー エルティーディー | イメージのカラーアーチファクトを補正する方法と関連装置 |
JP2015087570A (ja) * | 2013-10-31 | 2015-05-07 | リコーイメージング株式会社 | レンズ、撮像装置、及び光量低下補正方法 |
KR20160011167A (ko) * | 2014-07-21 | 2016-01-29 | 삼성전자주식회사 | 이미징 시스템 및 이미지 안티-쉐이딩 보정 방법 |
WO2018061487A1 (ja) * | 2016-09-27 | 2018-04-05 | ソニーセミコンダクタソリューションズ株式会社 | 撮像素子および撮像装置 |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8907991B2 (en) * | 2010-12-02 | 2014-12-09 | Ignis Innovation Inc. | System and methods for thermal compensation in AMOLED displays |
US9743057B2 (en) * | 2012-05-31 | 2017-08-22 | Apple Inc. | Systems and methods for lens shading correction |
US10198797B2 (en) * | 2015-09-09 | 2019-02-05 | Ichikawa Soft Laboratory Co., Ltd. | Apparatus correcting shading without taking optical characteristics into consideration and method thereof |
CN114363480B (zh) * | 2020-09-29 | 2023-09-26 | 合肥君正科技有限公司 | 一种基于色温和照度的自适应镜头阴影校正方法及*** |
CN115499631A (zh) * | 2022-09-09 | 2022-12-20 | 北京紫光展锐通信技术有限公司 | 一种图像处理方法、装置、芯片及模组设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002218298A (ja) * | 2001-01-17 | 2002-08-02 | Canon Inc | 撮像装置、シェーディング補正方法、及び記憶媒体 |
JP2006074357A (ja) * | 2004-09-01 | 2006-03-16 | Matsushita Electric Ind Co Ltd | 画像入力装置 |
JP2006121612A (ja) * | 2004-10-25 | 2006-05-11 | Konica Minolta Photo Imaging Inc | 撮像装置 |
JP2007520179A (ja) * | 2004-02-02 | 2007-07-19 | ゾラン コーポレイション | 外挿法によって画像フィールドデータを修正する手法 |
JP2008177794A (ja) * | 2007-01-17 | 2008-07-31 | Sharp Corp | 撮像装置の色シェーディング補正装置、撮像装置および撮像装置の色シェーディング補正方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0879773A (ja) | 1994-08-31 | 1996-03-22 | Sony Corp | シェーディング補正装置 |
US6836572B2 (en) * | 1998-06-01 | 2004-12-28 | Nikon Corporation | Interpolation processing apparatus and recording medium having interpolation processing program recorded therein |
JP2006148213A (ja) * | 2004-11-16 | 2006-06-08 | Matsushita Electric Ind Co Ltd | 映像処理装置 |
JP4394018B2 (ja) | 2005-03-04 | 2010-01-06 | パナソニック株式会社 | シェーディング補正装置、シェーディング補正方法 |
JP5022700B2 (ja) * | 2006-12-27 | 2012-09-12 | 株式会社東芝 | 超音波診断装置 |
US7787786B2 (en) * | 2006-12-29 | 2010-08-31 | Kabushiki Kaisha Toshiba | Image forming apparatus and image adjusting method involving fluctuation-information acquiring unit and control unit that forms gradation pattern |
-
2008
- 2008-10-21 JP JP2008271297A patent/JP2010103642A/ja active Pending
-
2009
- 2009-09-10 US US12/556,741 patent/US8330838B2/en not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002218298A (ja) * | 2001-01-17 | 2002-08-02 | Canon Inc | 撮像装置、シェーディング補正方法、及び記憶媒体 |
JP2007520179A (ja) * | 2004-02-02 | 2007-07-19 | ゾラン コーポレイション | 外挿法によって画像フィールドデータを修正する手法 |
JP2006074357A (ja) * | 2004-09-01 | 2006-03-16 | Matsushita Electric Ind Co Ltd | 画像入力装置 |
JP2006121612A (ja) * | 2004-10-25 | 2006-05-11 | Konica Minolta Photo Imaging Inc | 撮像装置 |
JP2008177794A (ja) * | 2007-01-17 | 2008-07-31 | Sharp Corp | 撮像装置の色シェーディング補正装置、撮像装置および撮像装置の色シェーディング補正方法 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015053057A (ja) * | 2013-09-09 | 2015-03-19 | メディアテック シンガポール ピーティーイー エルティーディー | イメージのカラーアーチファクトを補正する方法と関連装置 |
JP2015087570A (ja) * | 2013-10-31 | 2015-05-07 | リコーイメージング株式会社 | レンズ、撮像装置、及び光量低下補正方法 |
KR20160011167A (ko) * | 2014-07-21 | 2016-01-29 | 삼성전자주식회사 | 이미징 시스템 및 이미지 안티-쉐이딩 보정 방법 |
KR102335108B1 (ko) * | 2014-07-21 | 2021-12-06 | 삼성전자 주식회사 | 이미징 시스템 및 이미지 안티-쉐이딩 보정 방법 |
WO2018061487A1 (ja) * | 2016-09-27 | 2018-04-05 | ソニーセミコンダクタソリューションズ株式会社 | 撮像素子および撮像装置 |
Also Published As
Publication number | Publication date |
---|---|
US8330838B2 (en) | 2012-12-11 |
US20100097504A1 (en) | 2010-04-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2010103642A (ja) | シェーディング補正装置 | |
JP5128207B2 (ja) | 画像処理装置及び画像処理方法、画像処理プログラム | |
CN103563361B (zh) | 图像处理设备和方法以及成像设备 | |
JP5036421B2 (ja) | 画像処理装置、画像処理方法、プログラムおよび撮像装置 | |
JP5840008B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP5709131B2 (ja) | 画像処理システム | |
JP4361991B2 (ja) | 画像処理装置 | |
JP4649171B2 (ja) | 倍率色収差補正装置、倍率色収差補正方法及び倍率色収差補正プログラム | |
US8189080B2 (en) | Orientation-based approach for forming a demosaiced image, and for color correcting and zooming the demosaiced image | |
JP5268321B2 (ja) | 画像処理装置及び画像処理方法、画像処理プログラム | |
JP2004229055A (ja) | 画像処理装置 | |
JP3729842B1 (ja) | 画素信号処理装置及び方法 | |
JP5036524B2 (ja) | 画像処理装置、画像処理方法、プログラムおよび撮像装置 | |
JP2004193911A (ja) | 画像処理装置および画像処理方法、デジタルスチルカメラ | |
JP2022183102A (ja) | イメージ信号プロセッサを含むイメージセンサ及びその動作方法 | |
US9483713B2 (en) | Image processing device, image processing method, and imaging device | |
US9286535B2 (en) | Image processing device, image processing method, and imaging device | |
JP7414430B2 (ja) | 画像処理方法、画像処理装置、撮像装置、画像処理システム、プログラム、および、記憶媒体 | |
WO2015083502A1 (ja) | 画像処理装置、該方法および該プログラム | |
JP5761979B2 (ja) | ノイズ除去システムおよび撮像装置 | |
JP5278421B2 (ja) | 撮像装置 | |
JP3711402B2 (ja) | 撮像装置及びカラー撮像信号の処理方法 | |
WO2015083499A1 (ja) | 画像処理装置、該方法および該プログラム | |
JP2009017583A (ja) | 画像処理装置 | |
JP2006229299A (ja) | 画素信号処理装置及び方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110311 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120426 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120515 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20120918 |