JP2006148213A - 映像処理装置 - Google Patents

Abstract

【課題】 周辺光量落ちシェーディングとダークシェーディングとを独立に補正することができ、より少ないブロックから各ブロックの補正値を精度良く補間することができる映像信号処理装置を提供すること。
【解決手段】 被写体を撮像する撮像素子２と、撮像素子２から生成された画像を構成する複数のブロックと対応した補正値を記憶するブロック補正値記憶部５ｃと、画像に含まれる対象画素の周辺に存在するブロックと対応した補正値を補間して補正ゲインを算出する補正ゲイン補間部５ｄと、補正ゲイン補間部５ｄによって算出された補正ゲインに基づいて画像に対するダークシェーディングの補正を行うダークシェーディング補正部５ｅと、補正ゲイン補間部５ｄによって算出された補正ゲインに基づいて画像に対する周辺光量落ちシェーディングの補正を行う周辺光量落ちシェーディング補正部５ｆとを備えて構成する。
【選択図】 図１

Description

本発明は、映像信号に対してシェーディング補正を行う映像処理装置に関する。

従来の映像信号処理装置におけるシェーディング補正に関する技術としては、図１４および図１５に示すように被写体を撮像する撮像素子によって撮像された画像をブロックＢｋに分割し、分割されたブロックＢｋ毎に１つずつ設定された光量補正データＰｃを補正値テーブル部２１１ｇから読み出すとともに、補正値生成部２１１ｈが各対象画素の位置に応じて光量補正データＰｃを重み付け演算して対象画素毎の補正値を生成し、周辺光量落ち補正部２１１ｅが、生成された補正値に基づいて各画素毎に周辺光量落ち補正するものが知られている（例えば、特許文献１参照。）。

また、従来の映像信号処理装置は、ブロックＢｋ毎の光量補正データＰｃから各画素の補正ゲインを算出するが、この補正ゲインの算出方法として、図１６に示すように対象画素Ｐｘの属するブロックＢｋと、当該対象画素Ｐｘの近傍で横方向、縦方向及び斜め方向に隣接する３つのブロックＢｋとの４つのブロックＦ１〜Ｆ４の基準光量補正データＰｃ１〜Ｐｃ４を距離で重み付けをする４点線形補間法を用いる。
特開２００１−２７５０２９号公報（第１１−１４頁、第５・９・１０図）

しかしながら、上述の従来の映像信号処理装置は、周辺光量落ちシェーディングに対する補正のみを対象としているが、撮像素子からの映像信号には、周辺光量落ちシェーディングに加えて撮像素子の特性により生じる光量に依存しないダークシェーディングが存在するため、ダークシェーディングに対する補正を行っていないという問題がある。

また、上述の従来の映像信号処理装置が使用する４点線形補間法は、画像処理における補間方法の中では一般的に補間の精度が悪く、従来の映像信号処理装置を実用化する際には、一画面のブロックを細かく分割して補間によるブロック境界を目立たなくしているが、ブロック数とブロックに対応する補正値とを記憶するメモリ量を多くする必要があり、少ない記憶データ量から補正ができるというブロック分割によるシェーディング補正の利点が損なわれる問題がある。

本発明は、従来の問題を解決するためになされたもので、周辺光量落ちシェーディングとダークシェーディングとを独立に補正することができる映像信号処理装置を提供することを目的とする。また、より少ないブロックから各ブロックの補正値を精度良く補間し、補間した値から各画素に対する補正ゲインを算出する２段階の補間を行うことができ、複数のシェーディングの補正を行うことによる回路の規模を抑えながら、複数のシェーディング補正を共用することができる映像信号処理装置を提供することも目的とする。

本発明の映像信号処理装置は、被写体を撮像する撮像素子と、前記撮像素子から生成された画像を構成する複数のブロックと対応した補正値を記憶するブロック補正値記憶部と、前記画像に含まれる対象画素の周辺に存在する前記ブロックと対応した補正値を補間して補正ゲインを算出する補正ゲイン補間部と、前記補正ゲイン補間部によって算出された補正ゲインに基づいて前記画像に対するダークシェーディングの補正を行うダークシェーディング補正部と、前記補正ゲイン補間部によって算出された補正ゲインに基づいて前記画像に対する周辺光量落ちシェーディングの補正を行う周辺光量落ちシェーディング補正部とを備えた構成を有している。

この構成により、１ブロック毎に記憶する補正値から各画素の補正ゲインを補間して算出するため、記憶する補正値のデータ量を削減でき、また、周辺光量落ちシェーディングとダークシェーディングの補正部を独立に持つため、２種類のシェーディングを独立に補正することができる。

本発明の映像信号処理装置の前記補正ゲイン補間部は、前記対象画素を含む隣り合う４つの前記ブロックと対応する補正値に基づいて４点線形補間を行って補正ゲインを算出する第１の補正ゲイン算出機能と、前記第１の補正ゲイン算出部が算出した補正ゲインとなる補間値に基づいて再補間を行い補正ゲインを算出する第２の補正ゲイン算出機能の２つの補正ゲイン算出機能を備えた構成を有している。

この構成により、４点線形補間を行って補間値を算出し、算出した補間値に基づいて補正ゲインを算出する２段階の補間を行うため、従来用いられている４点線形補間だけによる補正値の補間に比べ補間の精度が向上し、ブロック境界を目立たなくすることができることにより、従来に比べブロック数を削減し記憶データ量を少なくすることができる。

本発明の映像信号処理装置の前記ブロック補正値記憶部は、前記ダークシェーディングおよび前記周辺光量落ちシェーディングの各補正と対応した補正値を前記ブロック毎に記憶する構成を有している。

この構成により、ダークシェーディングおよび周辺光量落ちシェーディングの各補正と対応した補正値を前記ブロック毎に記憶するため、各種のシェーディングの特性に応じて、各シェーディング毎に異なる補正値を独立して記憶できる。

本発明の映像信号処理装置の前記補正ゲイン補間部は、前記ブロック補正値記憶部が記憶した前記各補正と対応した補正値に基づいて前記各補正と対応した補正ゲインを算出する構成を有している。

この構成により、各シェーディングの補正と対応した補正値に基づいて各補正と対応した補正ゲインを算出するため、それぞれのシェーディング補正値の補間に個別の補正ゲイン補間部を設けることなく、それぞれのシェーディングと独立して補正ゲインを補間でき、それぞれのシェーディングの補正を１つの回路で共用して実現できることから、複数のシェーディング補正に対応することに伴う回路規模の増加を抑えることができる。

本発明の映像信号処理装置の前記撮像素子は、画素毎に異なる色フィルタを有し、前記色フィルタが規則性をもった順番で配置されている構成を有している。

この構成により、前記撮像素子からは、画像毎に異なる色フィルタを通った信号が規則性をもった順番で順次に出力されるため、それぞれが互いに異なるタイミングで出力された画素の特性に応じた補正ができる。

本発明の映像信号処理装置の前記ブロック補正値記憶部は、前記色フィルタと対応した補正値を前記ブロック毎に記憶する構成を有している。

この構成により、色フィルタと対応した補正値を前記ブロック毎に記憶するため、各色フィルタのシェーディング特性に応じて、各色フィルタ毎に異なる補正値を独立して記憶できる。

本発明の映像信号処理装置の前記補正ゲイン補間部は、前記ブロック補正値記憶部が記憶した前記色フィルタと対応した補正値に基づいて補正ゲインを算出する構成を有している。

この構成により、色フィルタと対応した補正値に基づいて補正ゲインを算出するため、色フィルタと対応した補正値の補間に個別の補正ゲイン補間部を設けることなく、それぞれの色フィルタと対応した補正ゲインを独立して補間できる。

本発明の映像信号処理装置の前記ダークシェーディング補正部および前記周辺光量落ちシェーディング補正部は、前記補正ゲイン補間部によって算出された前記色フィルタに対応した補正ゲインに基づいて色シェーディングを補正する構成を有している。

この構成により、色フィルタで独立した補正ゲインを用いて対応する画素のシェーディング補正ができるため、色シェーディングの補正ができる。

本発明の映像信号処理装置の前記ブロック補正値記憶部は、前記補正値を受信し、記憶している補正値から受信された補正値に書き換える通信手段を有する構成を有している。

この構成により、補正値を受信し、記憶している補正値から受信された補正値に書き換えるため、補正できるシェーディング特性が一意に決定されず、シェーディング特性に応じて、最も適切な補正値を各ブロック毎に記憶して補正を行うことができる。

本発明の映像信号処理装置の前記補正ゲイン補間部は、前記撮像素子が生成する画像のサイズに応じて前記ブロックのサイズを調整し、調整したサイズに応じて前記補正ゲインを算出する構成を有している。

この構成により、画像のサイズに応じてブロックのサイズを調整するため、一画面の大きさによらず補正を行うことができ、また、一画面の大きさの変更により記憶する補正値を更新することなく補正を行うことができる。

本発明の映像信号処理装置の前記補正ゲイン補間部は、任意に設定した領域に応じて補間方法を切替えて前記補正ゲインを算出する構成を有している。

この構成により、一画面中の各領域において複数の補間方法の中から対象の領域に適した補間をした補間ゲインを算出することができる。

本発明の映像信号処理装置の前記ブロック補正値記憶部は、ブロック補正値を記憶していないブロックに対し、前記ブロックの周辺に存在するブロックと対応した補正値に基づいて、記憶していないブロックのブロック補正値を算出する構成を有している。

この構成により、ブロック補正値記憶部が記憶する補正値の数を減らすことによるデータ量の削減や、ブロック補正値記憶部が記憶する補正値を書き換えるときにデータ転送量を削減することができる。

本発明の映像信号処理装置の前記補正ゲイン補間部は、前記撮像素子が画素の間引きを行って画像を生成するのに応じて、前記ブロックと対応した補正値を補間して補正ゲインを算出する構成を有している。

この構成により、前記撮像素子が画素の間引きを行っているときのブロックと対応した補正値を補間して補正ゲインを算出するため、前記撮像素子の前記間引きの有無に依らず同一の補正値を用いることでデータ量の削減ができる。

本発明の映像信号処理装置の前記補正ゲイン補間部は、前記撮像素子の光軸ずれに対して、補間するための各画素の水平垂直位置を調整し、調整した水平垂直位置に基づいて前記ブロック補正値記憶装置が記憶した補正値を補間する構成を有している。

この構成により、撮像素子の光軸ずれに対して、撮像素子固有のブロック補正値を記憶する必要がなくなり、水平垂直位置だけを調整することで光軸ずれに対応することができる。

本発明は、周辺光量落ちシェーディングとダークシェーディングとを含む複数のシェーディング補正を独立に行うことができ、また、より少ないブロックから各ブロックの補正値を精度良く補間し、補間した値から各画素に対する補正ゲインを算出する２段階の補間を行うことができ、複数のシェーディングの補正を行うことによる回路の規模を抑えながら、複数のシェーディング補正を共用することができる映像信号処理装置を提供するものである。

以下、本発明の実施の形態に係る映像信号処理装置について、図面を用いて説明する。

本発明の実施の形態に係る映像信号処理装置の装置構成図を図１に示す。図１に示した映像信号処理装置は、光を集光してフォーカス調整を行い被写体を結像するためのレンズ１と、レンズ１から集光された光を電気信号に変換する撮像素子２と、撮像素子２によって変換された電気信号に対してノイズ除去およびゲイン調整を行うアナログ前処理部３と、アナログ前処理部３によって処理された信号をデジタル信号に変換するＡ／Ｄ変換器４と、Ａ／Ｄ変換器４によって変換されたデジタル信号に対してシェーディング補正を行うシェーディング補正回路５と、シェーディング補正回路５によって補正された信号に対してホワイトバランス制御を行うＷＢ回路６と、ＷＢ回路６によってホワイトバランス制御された信号に対してガンマ補正を行うγ補正回路７と、γ補正回路７によってガンマ補正された信号に対して輝度信号処理と色差信号処理を行うＹ／Ｃ処理回路８とによって構成される。

なお、撮像素子２は、画素毎に異なる色フィルタを有する。ここで、撮像素子２が規則性をもった順番で順次に信号を出力する様子の一例を図２を参照して説明する。図２（Ａ）は、撮像素子２の色フィルタの配列を示したものであり、ＲはＲｅｄ、ＧはＧｒｅｅｎ、ＢはＢｌｕｅの色フィルタが配置されたものである。このような色フィルタ配列を持つ全画素読出し方式の撮像素子の場合、撮像素子２から出力される信号は、図２（Ｂ）に示すように、緑（Ｇ）、青（Ｂ）、緑（Ｇ）、青（Ｂ）の順で繰り返して読み出すラインと、赤（Ｒ）、緑（Ｇ）、赤（Ｒ）、緑（Ｇ）の順で繰り返して読み出すラインとが交互に出力される。

また、撮像素子２は、画像から全ての画素の信号を読み出すようにしてもよいが、全ての画素の信号を読み出さなくてもよい。撮像素子２が画素の間引きを行って画像を生成する間引き駆動モードで駆動しているときには、例えば、図２（Ｃ）に示すように、撮像素子２が、数ラインおきにラインを読み出すなどして画素の間引きを行う。

また、図１に示したように、シェーディング補正回路５は、デジタル信号で表される画像を構成する画素のうち補正の対象となる対象画素の座標位置を表すＨＶカウンタ５ａと、対象画素がどの色フィルタに該当するかを選択する色フィルタ選択部５ｂと、画像を構成する複数のブロックと対応した補正値を記憶するブロック補正値記憶部５ｃと、画像に含まれる対象画素の周辺に存在するブロックと対応した補正値を補間して補正ゲインを算出する補正ゲイン補間部５ｄと、補正ゲイン補間部５ｄによって算出された補正ゲインに基づいて画像に対するダークシェーディングの補正を行うダークシェーディング補正部５ｅと、補正ゲイン補間部５ｄによって算出された補正ゲインに基づいて画像に対する周辺光量落ちシェーディングの補正を行う周辺光量落ちシェーディング補正部５ｆとによって構成される。

以上のように構成された映像信号処理装置について、その動作を図面を参照して説明する。図３は、本発明の実施の形態における画像をブロックに分割した状態の一例について説明するための図である。

まず、図３に示すように、１画面に表示される画像を水平方向に８ブロック、垂直方向に６ブロック、合計４８個のブロックに分割している。ブロック補正値記憶部５ｃは、分割したブロックの１つずつに補正値を記憶している。例えば、１つのブロック当たりダークシェーディングと周辺光量落ちシェーディングとの２種類のシェーディングについて各色フィルタ毎に補正値を１つずつ必要とし、色フィルタの種類をＲ、Ｇｒ、Ｂ、Ｇｂの４種類とすれば、ブロック補正値記憶部５ｃは、合計で４８×４×２＝３８４個の補正値を記憶することになる。図３に示した例では、各ブロックＢ_ijの中央を補正の基準点Ｃ_ijとし、ブロック補正値記憶部５ｃが記憶する補正値Ｃ_ijは、予め実測に基づいて決められた値である。

なお、ブロック補正値記憶部５ｃは、撮像条件の違いによりシェーディング特性が変化した場合、利用者が入力した補正値を受信し、記憶している補正値から受信された補正値に書き換える通信手段（図示していない）を有するため、補正値は、一意に固定されずシェーディング特性に応じて任意にブロック補正値記憶部５ｃに記憶させることができる。また、撮像素子２が間引き駆動モードで駆動しているときには、補正ゲイン補間部５ｄが間引き駆動に合わせて補正値の補間を行い補正ゲインを求めるため、ブロック補正値記憶部５ｃは、撮像素子２の間引き駆動に合わせた補正値を記憶する必要はない。

図４は、本発明の実施の形態における補間に用いるためのブロックに対応する補正値を選択する処理を示した図である。上述したように、ブロック補正値記憶部５ｃは、ダークシェーディング用ブロック補正値５０と周辺光量落ちシェーディング用ブロック補正値５１に対応させて各色フィルタ毎に４８個ずつの補正値を記憶している。ＨＶカウンタ５ａは、Ａ／Ｄ変換器４によって順次出力される画素データをカウントすることにより、現在処理している対象画素の位置を保持し、色フィルタ選択部５ｂは、Ａ／Ｄ変換器４によって出力される現時点の画素データに対応する色フィルタから少なくとも１つの種類を選択する。

ブロック補正値記憶部５ｃは、ＨＶカウンタ５ａが保持している対象画素の周辺に存在する４つのブロックを決定し、決定した４つのブロックと対応した補正値を３８４個の補正値の中から選択し、選択した補正値の中からダークシェーディング用ブロック補正値５０または周辺光量落ちシェーディング用ブロック補正値５１のうち何れかと対応する補正値をさらに選択し、選択した何れかと対応する補正値の中から色フィルタ選択部５ｂが選択した色フィルタと対応する補正値をさらに選択する。なお、ダークシェーディング用ブロック補正値５０または周辺光量落ちシェーディング用ブロック補正値５１のうち何れかと対応する補正値は、異なるタイミングで選択され切替えられる。ここで、ブロック補正値記憶部５ｃが選択した補正値を、４つのブロックと対応したブロック補正値Ａ、Ｂ、Ｃ、Ｄとし、ブロック補正値記憶部５ｃは、選択したブロック補正値Ａ、Ｂ、Ｃ、Ｄを補正ゲイン補間部５ｄに出力する。

次に、補正ゲイン補間部５ｄは、ブロック補正値Ａ、Ｂ、Ｃ、Ｄを用いて２段階の補間を行う。図５は、本発明の実施の形態におけるブロック補正値を用いた第１段階の補間について説明するための図である。まず、第１段階の補間としては、補正ゲイン補間部５ｄは、補正値Ａ、Ｂ、Ｃ、Ｄと対応するブロック、例えば、対象画素となる点Ｈ_xyが属するブロックＢ_ijと隣接する上下左右斜めのうち対象画素に距離が近い３つのブロックとの合計４ブロックを特定する。ここで、補正ゲイン補間部５ｄは、ブロックＢ_ij内の任意の点Ｈ_xyについて、特定した４ブロックに対応する各補正値を４点線形補間することにより補正ゲインＨ_xyを算出する。

ところで、図６に示すように、第１段階の補間において４点線形補間によって補間できない画像の端部周辺の領域が存在する。図７は、第１段階の補間における画像の端部周辺の領域の補間処理について説明するための図である。図７に示したように、補正ゲイン補間部５ｄは、画像の端部周辺の領域に対する補正ゲインの算出において２点の線形補間を行って補正ゲインＨ_xyを算出するか、または、ブロック補正値をそのまま補正ゲインＨ_xyとする。

引き続き、一般的な４点線形の補間の方法について図８を参照して説明する。図８に示すように、４つのブロック補正値Ａ、Ｂ、Ｃ、Ｄと対応する画像内の点で囲まれた領域の一辺の長さを長さＲａｎｇｅとし、囲まれた四角形領域の中にある任意の点Ｈ（ｐ，ｑ）を補正ゲインとなる補間値Ｈとすれば、補間値Ｈは（１）式で求まる。

しかし、（１）式で補間値Ｈを求める方法を用いて、周辺光量落ちシェーディングとダークシェーディングの両方の補正ゲインを同時に求めるには、補間値Ｈを算出するための補間回路が、周辺光量落ちシェーディング用の補間回路およびダークシェーディング用の補間回路の２つ必要となる。

そこで、本発明の実施の形態では、差分値を用いた４点線形補間法を行う。図９は、差分値を用いた４点線形補間法について説明するための図である。まず、補正ゲイン補間部５ｄは、図９に示すブロック補正値Ａ、Ｃと対応する画像内の点を結ぶ線上にある任意の点Ｈ_０（０，ｑ）の補間値Ｈ_０を（２）式で求める。

また、任意の点Ｈ_ｐ（ｐ，ｑ）の補間値と点Ｈ_ｐ＋１（ｐ＋１，ｑ）の補間値との差分値をＨＳとすれば、補正ゲイン補間部５ｄは、差分値ＨＳを（３）式で求める。

（３）式で求めた差分値ＨＳを用いて、補正ゲイン補間部５ｄは、任意の点Ｈ_ｐ（ｐ，ｑ）の補間値Ｈ_ｐを（４）式で求める。

ここで、任意の点Ｈ_ｐの補間値を求めるために必要な補間値Ｈ_０および差分値ＨＳは、ブロック補正値Ａ，Ｂ，Ｃ，Ｄに関わる領域において、各水平ラインで一度だけ算出すればよいため、周辺光量落ちシェーディングとダークシェーディングの両方の補正ゲインを求めるための数式となる（２）式および（３）式を計算する回路が共用できる。また、（２）式、（３）式、および（４）式で４点線形補間を実現した場合、（１）式で実現した場合と比べ、乗算器、除算器が少なくできるため、回路規模の削減ができる。

次に、補正ゲイン補間部５ｄは、第１段階の補間で求めた補間値Ｈを用いて第２段階の補間を行う。図１０は、第２段階の補間方法について説明するための図である。図１０に示したように、補正ゲイン補間部５ｄは、任意の点（ｘ，ｙ）に対する補正ゲインＧ_xyを算出するため、第１段階の補間で求めた補間値Ｈ_ｐの中から、任意の点（ｘ，ｙ）の周囲の１６点の補間値を抽出する。なお、図１０に示したＲａｎｇｅは１ブロックの一辺の長さである。補正ゲイン補間部５ｄは、抽出した１６点の補間値を平均した平均値を任意の点（ｘ，ｙ）に対する補正ゲインＧ_xyとして算出する。以上のように、補正ゲイン補間部５ｄは、第２段階の補間で補正ゲインＧ_xyを各画素（ｘ，ｙ）に対する補正ゲインとして決定する。

ところで、図１１に示すように、第２段階の補間ができない画像の端部周辺の領域が存在する。補正ゲイン補間部５ｄは、図１１に示したように、画像の端部周辺の領域に対する補正ゲインの算出において、第１段階の補間で得られた補正ゲインＨ_xyを補正ゲインＧ_xyとして決定する。

なお、撮像素子２が間引き駆動モードで駆動しているときには、補正ゲイン補間部５ｄは、ブロック補正値記憶部５ｃが記憶している間引き駆動に合わせた補正値を補間して画面に表示される画像に対する補正ゲインを算出する。また、補正ゲイン補間部５ｄは、撮像素子２が生成する画像のサイズに応じてブロックのサイズを調整し、調整したサイズに応じて補正ゲインを算出する。

図１２は、補正ゲインを用いたシェーディング補正に係る構成図である。補正ゲイン補間部５ｄによって算出されたダークシェーディング補正ゲインは、ダークシェーディング補正部５ｅにおける補正処理に用いられ、補正ゲイン補間部５ｄによって算出された周辺光量落ちシェーディング補正ゲインは、周辺光量落ちシェーディング補正部５ｆにおける補正処理に用いられる。なお、ダークシェーディング補正部５ｅは、加算／減算器５００を有し、周辺光量落ちシェーディング補正部５ｆは、乗算器５０１、ビットシフト器５０２、および加算器５０３を有している。

まず、加算／減算器５００は、補正ゲイン補間部５ｄによって算出されたダークシェーディング補正ゲインと、Ａ／Ｄ変換器４によって出力された画素データとを加算または減算することにより、ダークシェーディングの補正を行う。

次に、乗算器５０１は、ダークシェーディング補正部５ｅによって補正された画素データと、補正ゲイン補間部５ｄによって算出された周辺光量落ちシェーディング補正ゲインとを乗算し、ビットシフト器５０２は、乗算器５０１によって乗算された画素データのビットシフトを行う。さらに、加算器５０３は、ダークシェーディング補正部５ｅによって補正された画素データと、ビットシフト器５０２によってビットシフトされた画素データとを加算することにより、周辺光量落ちシェーディングの補正を行う。

ところで、本発明の実施の形態に係る映像信号処理装置においては、撮像素子２の光軸ずれが生ずることがある。ここでの光軸ずれとは、シェーディングの位置であり、レンズ１の位置ずれによって、図１３に示すように、シェーディングの形自体は変わらずに位置だけがずれることがある。補正ゲイン補間部５ｄは、このような光軸ずれに対して画素の水平垂直位置を調整した補正ゲインを算出することができる。例えば、補正ゲイン補間部５ｄは、図５に示したように、ブロックＢの位置を固定とし、補正値Ｃを適用する範囲の実線で示したブロックの位置を調整することにより、水平垂直位置を調整する。これにより、画像全体のブロック位置が調整され、補正値を変えることなく光軸ずれに対応できる。

以上説明したように、本発明の実施の形態に係る映像信号処理装置は、１ブロック毎に記憶する補正値から各画素の補正ゲインを補間して算出するため、記憶する補正値のデータ量を削減でき、また、周辺光量落ちシェーディングとダークシェーディングの補正部を独立に持つため、２種類のシェーディングを独立に補正することができる。

また、本発明の実施の形態に係る映像信号処理装置は、４点線形補間を行って補間値を算出し、算出した補間値に基づいて補正ゲインを算出する２段階の補間を行うため、従来用いられている４点線形補間だけによる補正値の補間に比べ補間の精度が向上し、ブロック境界を目立たなくすることができることにより、従来に比べブロック数を削減し記憶データ量を少なくすることができる。

また、本発明の実施の形態に係る映像信号処理装置は、各シェーディングの補正と対応した補正値に基づいて各補正と対応した補正ゲインを算出するため、それぞれのシェーディング補正値の補間に個別の補正ゲイン補間部を設けることなく、それぞれのシェーディングが独立して補正ゲインを補間でき、それぞれのシェーディングの補正を１つの回路で共用して実現できることから、複数のシェーディング補正に対応することに伴う回路の規模を抑えることができる。

なお、本発明の実施の形態では、１画面に表示される画像を４８個のブロックに分割する例について説明したが、本発明では、その他のブロック分割数についても同様に実施可能である。また、撮像素子２を４種類の色フィルタで構成する例について説明したが、本発明では、その他の色フィルタで構成された場合についても同様に実施可能である。

以上のように、本発明に係る映像信号処理装置は、周辺光量落ちシェーディングとダークシェーディングとを独立に補正することができ、また、各画素に対する補正ゲインの算出に２段階の補間を行うことで、より少ないブロックから各ブロックの補正値を精度良く補間して補正ゲインを求めることができ、複数のシェーディングの補正を行うことによる回路の規模を抑えながら、複数のシェーディング補正を共用することができることにより、映像信号に対してシェーディング補正を行う映像処理装置等として有用である。

本発明の実施の形態に係る映像信号処理装置の装置構成図 撮像素子が規則性をもった順番で順次に信号を出力する様子の一例を示す図 本発明の実施の形態における画像をブロックに分割した状態の一例について説明するための図 本発明の実施の形態における補間に用いるためのブロックに対応する補正値を選択する処理を示した図 本発明の実施の形態におけるブロック補正値を用いた第１段階の補間について説明するための図 本発明の実施の形態における第１段階の補間において４点線形補間によって補間できない画像の端部周辺の領域の存在を示す図 本発明の実施の形態における第１段階の補間における画像の端部周辺の領域の補間処理について説明するための図 一般的な４点線形の補間の方法について説明するための図 本発明の実施の形態における差分値を用いた４点線形補間法について説明するための図 本発明の実施の形態における第２段階の補間方法について説明するための図 本発明の実施の形態における第２段階の補間ができない画像の端部周辺の領域の存在を示す図 本発明の実施の形態における補正ゲインを用いたシェーディング補正に係る構成図 光軸ずれについて説明するための図 従来の映像信号処理装置のブロック図 従来の映像信号処理装置の画像を複数のブロックに分割した状態の説明図 従来の映像信号処理装置のブロック補正値補間方法の説明図

符号の説明

１ レンズ
２ 撮像素子
３ アナログ前処理部
４ Ａ／Ｄ変換器
５ シェーディング補正回路
５ａ ＨＶカウンタ
５ｂ 色フィルタ選択部
５ｃ ブロック補正値記憶部
５ｄ 補正ゲイン補間部
５ｅ ダークシェーディング補正部
５ｆ 周辺光量落ちシェーディング補正部
６ ＷＢ回路
７ γ補正回路
８ Ｙ／Ｃ処理回路
５０ ダークシェーディング用ブロック補正値
５１ 周辺光量落ちシェーディング用ブロック補正値
２１１ｅ 周辺光量落ち補正部
２１１ｇ 補正値テーブル部
２１１ｈ 補正値生成部
５００ 加算／減算器
５０１ 乗算器
５０２ ビットシフト器
５０３ 加算器

Claims (14)

1. 被写体を撮像する撮像素子と、
   前記撮像素子から生成された画像を構成する複数のブロックと対応した補正値を記憶するブロック補正値記憶部と、
   前記画像に含まれる対象画素の周辺に存在する前記ブロックと対応した補正値を補間して補正ゲインを算出する補正ゲイン補間部と、
   前記補正ゲイン補間部によって算出された補正ゲインに基づいて前記画像に対するダークシェーディングの補正を行うダークシェーディング補正部と、
   前記補正ゲイン補間部によって算出された補正ゲインに基づいて前記画像に対する周辺光量落ちシェーディングの補正を行う周辺光量落ちシェーディング補正部とを備えたことを特徴とする映像信号処理装置。
2. 前記補正ゲイン補間部は、前記対象画素を含む隣り合う４つの前記ブロックと対応する補正値に基づいて４点線形補間を行って補正ゲインを算出する第１の補正ゲイン算出機能と、前記第１の補正ゲイン算出機能で算出した補正ゲインとなる補間値に基づいて再補間を行い補正ゲインを算出する第２の補正ゲイン算出機能の２つの補正ゲイン算出機能を有することを特徴とする請求項１に記載の映像信号処理装置。
3. 前記ブロック補正値記憶部は、前記ダークシェーディングおよび前記周辺光量落ちシェーディングの各補正と対応した補正値を前記ブロック毎に記憶することを特徴とする請求項１または請求項２に記載の映像信号処理装置。
4. 前記補正ゲイン補間部は、前記ブロック補正値記憶部が記憶した前記各補正と対応した補正値に基づいて前記各補正と対応した補正ゲインを算出することを特徴とする請求項１から請求項３までの何れかに記載の映像信号処理装置。
5. 前記撮像素子は、画素毎に異なる色フィルタを有し、前記色フィルタが規則性をもった順番で配置されていることを特徴とする請求項１から請求項４までの何れかに記載の映像信号処理装置。
6. 前記ブロック補正値記憶部は、前記色フィルタと対応した補正値を前記ブロック毎に記憶することを特徴とする請求項５に記載の映像信号処理装置。
7. 前記補正ゲイン補間部は、前記ブロック補正値記憶部が記憶した前記色フィルタと対応した補正値に基づいて補正ゲインを算出することを特徴とする請求項６に記載の映像信号処理装置。
8. 前記ダークシェーディング補正部および前記周辺光量落ちシェーディング補正部は、前記補正ゲイン補間部によって算出された前記色フィルタに対応した補正ゲインに基づいて色シェーディングを補正することを特徴とする請求項１から請求項７までの何れかに記載の映像信号処理装置。
9. 前記ブロック補正値記憶部は、前記補正値を受信し、記憶している補正値から受信された補正値に書き換える通信手段を有することを特徴とする請求項１から請求項８までの何れかに記載の映像信号処理装置。
10. 前記補正ゲイン補間部は、前記撮像素子が生成する画像のサイズに応じて前記ブロックのサイズを調整し、調整したサイズに応じて前記補正ゲインを算出することを特徴とする請求項１から請求項９までの何れかに記載の映像信号処理装置。
11. 前記補正ゲイン補間部は、任意に設定した領域に応じて補間方法を切替えて前記補正ゲインを算出することを特徴とする請求項１から請求項１０までの何れかに記載の映像信号処理装置。
12. 前記ブロック補正値記憶部は、ブロック補正値を記憶していないブロックに対し、前記ブロックの周辺に存在するブロックと対応した補正値に基づいて、記憶していないブロックのブロック補正値を算出することを特徴とする請求項１から請求項１１までの何れかに記載の映像信号処理装置。
13. 前記補正ゲイン補間部は、前記撮像素子が画素の間引きを行って画像を生成するのに応じて、前記ブロックと対応した補正値を補間して補正ゲインを算出することを特徴とする請求項１から請求項１２までの何れかに記載の映像信号処理装置。
14. 前記補正ゲイン補間部は、前記撮像素子の光軸ずれに対して、補間するための各画素の水平垂直位置を調整し、調整した水平垂直位置に基づいて前記ブロック補正値記憶装置が記憶した補正値を補間することを特徴とする請求項１に記載の映像信号処理装置。