JP2007195114A - 撮像装置 - Google Patents

Abstract

【課題】シェーディング補正のための処理時間を短縮化し、補正処理に使用する補正データの記憶容量を削減する撮像装置を提供する。
【解決手段】光電変換を行う受光手段、電気信号を入力する入力手段、シェーディング補正を行う補正手段を備える撮像装置であって、補正手段は、Ｙ（ｘｒ、ｙ０）のＹデータについて、ｘｃ線を中心に線対称にシェーディング補正する。すなわち、Ｙ（ｘｒ、ｙ０）と左右対称に位置するＹ（ｘｌ、ｙ０）のＹデータに、これに対応するａｄｊ（ｘｌ，ｙｏ）の補正係数を乗じて補正処理を行う。
【選択図】図６

Description

本発明は、撮像装置に関し、特に画像信号のシェーディング補正処理を行う撮像装置に関するものである。

一般に、デジタルカメラ等の撮像装置において取得される画像中においては、シェーディングと呼ばれる周辺光量の低下現象が発生する。このシェーディングは、レンズユニット光学特性によるもので、図３に示すように、レンズユニットの中心を基準にすると、放射状に中心から離れるにつれて光量が落ちる現象である。これは特に広角系レンズで著しい傾向があり、画像を見ると中心付近に比べて周辺は暗く見える。

また、周辺が暗くなる要因として、撮像素子に起因するものがある。撮像素子は、ＰＤセルが多数並べられたものであるが、その感度を上げるため各ＰＤセル上にそれぞれマイクロレンズが配置されており、集光性を向上させている。撮像素子の中心付近ではマイクロレンズの位置はＰＤセルの位置と中心がほぼ一致しているが、撮像素子の周辺部分のＰＤセルでは入射角が大きくなるため、図４に示すように、ＰＤセルとマイクロレンズの中心位置はずらしてあり、開口量が相対的に小さくなる。このため輝度が一様な照明を使用した場合でも周辺光量が小さくなる。

さらに、マイクロレンズはＰＤセルの製造後に貼り付けるため、貼り合わせ位置の誤差が必然的に発生する。ＰＤセルはマイクロレンズによって感度を向上させているため、マイクロレンズの位置ずれはＰＤセルの感度低下につながる。図４の周辺部では、図示するように、ＰＤセルとマイクロレンズの中心位置をあらかじめずらしているが、これにマイクロレンズの貼り合わせずれによる光量低下が重畳されると、中心付近では光量低下は比較的少ないものの、周辺部では特に水平方向のマイクロレンズの貼り合わせずれによる光量低下が大きいことが容易に想像できる。

また、図４から分かるように、デジタルカメラで使用される正方画素のイメージャでは、画素ピッチが水平及び垂直とも同じであるが、垂直方向に転送路や金属配線が配置されているため、ＰＤセルは垂直方向に長くなっており、ＰＤセルの形状は縦長になる。このためマイクロレンズの張り合わせずれの影響は、垂直方向より水平方向の方が大きい。

上記のようなシェーディング特性を改善するため、シェーディング補正が行われている。シェーディング補正の方法は、補正式により各画素の輝度値を補正するものや、参照テーブルを有して各画素に対応する補正係数を記憶しておき、参照テーブルを参照して各画素に対応する補正係数を乗算するもの等がある。近年では、撮像装置の画素数が増大することで画像サイズが巨大化しているため、シェーディング補正のために、補正式を生成するための係数を読み出して乗算を各画素について繰り返すと、演算時間が膨大になり、補正処理の時間が長くなる傾向が見られる。また、参照テーブルに各画素に対応する補正係数を記憶しておく場合は、図６に示すように、画像の画素数に比例した記憶容量が必要になり、コスト増大の要因となってしまう。

これに対して、例えば特許文献１では、撮影設定条件によりシェーディング補正を行うか否かを切り替えることで、補正システムの簡略化と補正データの削減を可能とするとともに、演算時間の増大による連写間隔の拡大や、消費電力の増大による撮影枚数の減少を防ぐことのできる撮像装置が開示されている。
特開２００６−１３８８７号公報

特許文献１で開示された発明は、ズーム位置、絞り、フォーカス位置等の撮影設定条件に基づいてシェーディング補正の実施を切り替える手段を有するもので、撮影設定条件に対応した補正データが記憶回路に格納されるため、補正データの削減が実現できるとは必ずしもいえない。また、このことから、補正処理時間を短縮できるとは考えにくい。

また、上述したように、シェーディングには、中心領域と周辺領域の入射光量の差や、垂直方向と水平方向におけるマイクロレンズ貼り合わせ位置ずれの影響の違いがレンズユニットの特性から現れるが、これらの特徴をうまく活かすことがよりシンプルで低コストな構成を実現するうえでは望ましい。

そこで、本発明は、シェーディング補正のための処理時間を短縮化し、補正処理に使用する補正データの記憶容量を削減する撮像装置を提供することを目的とする。

かかる目的を達成するために、請求項１記載の発明は、被写体画像の光信号を電気信号に変換する受光手段と、前記受光手段により変換された電気信号を画像信号として入力する入力手段と、前記入力手段により入力された画像信号にシェーディング補正処理を行う補正手段とを備える撮像装置であって、前記補正手段は、前記入力手段により入力された画像信号に対して、水平方向に線対称にシェーディング補正処理を行うことを特徴とする。

本請求項記載の発明は、受光手段と、入力手段と、補正手段とを有し、補正手段は、入力された画像信号に対し、水平方向に線対称にシェーディング補正を行う。例えば、ある画像信号にシェーディング補正を施す場合、その画像信号のアドレスと中心線に対して左右に線対象に位置するアドレスの画像信号について補正処理を行う。このため、左右の領域で異なる補正データを保持する必要がなく、補正データを記憶するための記憶容量を削減することができるとともに、シェーディング補正の処理時間を短縮することが可能となる。

また、請求項２記載の発明は、請求項１記載の撮像装置において、前記補正手段は、水平方向に片側半分の領域についてのみシェーディング補正処理を行い、かつ、前記片側半分とは反対側の領域に位置する前記画像信号に対して水平方向に線対称にシェーディング補正処理を行うことを特徴とする。

また、請求項３記載の発明は、請求項１又は２に記載の撮像装置において、前記補正手段は、前記入力手段により入力された画像信号の中央の領域についてはシェーディング補正処理を行わないことを特徴とする。

また、請求項４記載の発明は、請求項１から３のいずれか１項に記載の撮像装置において、前記入力手段により入力された画像信号の垂直方向については同じ補正量でシェーディング補正処理を行うことを特徴とする。

また、請求項５記載の発明は、請求項１から４のいずれか１項に記載の撮像装置において、シェーディング補正処理に用いる補正係数の参照テーブルを記憶する記憶手段を有し、前記補正手段は、前記参照テーブルを参照し、前記入力手段により入力された画像信号に対応する補正係数を乗じてシェーディング補正処理を行うことを特徴とする。

また、請求項６記載の発明は、請求項５に記載の撮像装置において、前記記憶手段は、水平方向に片側半分の領域に位置する画像信号に対応する補正係数の参照テーブルを記憶し、前記補正手段は、前記片側半分の領域とは反対側の領域の画像信号に対してシェーディング補正処理を行う場合、前記中心線に対して前記反対側の領域の画像信号と対称に位置する前記片側半分の領域の画像信号に対応する補正係数を用いることを特徴とする。

本発明によれば、シェーディング補正のための処理時間を短縮化し、補正処理に使用する補正データの記憶容量を削減する撮像装置が実現される。

まず、図を参照しながら、本発明の実施形態における撮像装置の構成について説明する。

図１は、本実施形態の撮像装置の概略構成を示す図である。本実施形態の撮像装置は、撮像素子１、Ｓ／Ｈ回路２、Ａ／Ｄ回路３、画像データコントローラ４、メモリ５、表示装置６、圧縮伸長回路７、画像記録メディア８、タイミング発生回路９、システムコントローラ１０、ＥＥＰＲＯＭ１１、操作スイッチ１２、シャッタ駆動回路１３、シャッタ機構１４及びレンズユニット１５から構成される。

被写体からレンズユニット１５に入射した光は、撮像素子１上に像を形成する。撮像素子１では、光電変換作用により入射光量に応じた電荷が転送出力され、光信号を電気信号に変換する。

シャッタ機構１４では、撮像素子１に入射する光信号の光量とタイミングを制御する。具体的には、操作スイッチ１２からの操作状態に応じて開閉信号がシャッタ駆動回路１３に出力され、その開閉信号に応じて露光及び遮光状態の設定が行われる。開閉信号は、画像データコントローラ４に接続されたシステムコントローラ１０により生成される。

撮像素子１で光電変換された電気信号は、Ｓ／Ｈ回路２に入力されサンプルホールドされて各画素に対応したアナログ信号を得る。Ｓ／Ｈ回路２は、サンプルホールド回路で、転送出力された電荷を画像データのままアナログ出力する。そして、Ｓ／Ｈ回路２で出力されたアナログ信号は、Ａ／Ｄ回路３に入力されてデジタル信号に変換される。Ａ／Ｄ回路３は、アナログ／デジタル変換回路である。

Ａ／Ｄ回路３で変換されたデジタル信号は、画像データコントローラ４において画像データの補正処理が行われ、圧縮伸長回路７で符号化された後に画像記録メディア８に出力され、画像データとして保存される。この作業のために必要な一時的な記憶場所として、半導体メモリ等のメモリ５が使用される。

画像データコントローラ４は、撮像素子１により取得された画像データの補正処理、すなわち補間処理や色処理あるいは階調制御やエッジ強調等の処理を行う機能を備えており、後述するようにシェーディング補正を行う。また、画像データコントローラ４には、入力側にＡ／Ｄ回路３、出力側に表示装置６が接続され、メモリ５、圧縮伸長回路７、タイミング発生回路９及びシステムコントローラ１０は入出力可能に接続されている。

システムコントローラ１０は撮像装置全体の動作等を制御し、システムを最適に動作させるために必要な設定値や制御項目等のデータはＥＥＰＲＯＭ１１に保存されている。これらの保存データは、システムコントローラ１０が必要に応じてＥＥＰＲＯＭ１１から読み出し、各モジュールの設定や演算等に用いられる。また、シェーディング補正に必要な参照データや演算のための係数等も含まれる。

操作スイッチ１２は、撮像装置のユーザが撮像装置を操作するためのもので、レリーズスイッチや電源スイッチ、記録及び再生動作の切換等がこのスイッチに含まれる。

撮像素子１、Ｓ／Ｈ回路２、Ａ／Ｄ回路３及び画像データコントローラ４は、それぞれが同期して動作する必要があり、これらを同期させるための信号はタイミングパルス発生回路９で生成され、それぞれに供給される。

また、撮像中の画像や撮像して保存された画像は、表示装置用のインタフェースに送られ、表示装置６に表示するための信号形式に変換され表示される。

次に、本実施形態の撮像装置におけるシェーディング補正処理について、図を参照して説明する。

図２は、本実施形態の撮像装置が行う一連の信号処理を示した図である。シェーディング補正は、画像データコントローラ４での一連の信号処理の中で行われる。

まず、Ａ／Ｄ回路３による変換後のデジタルデータ（ＲＡＷデータ）は、補間処理を行いＲＧＢ形式のデジタル信号に変換される（ＲＢＧ変換２１）。次に、ガンマ変換を行い（γ変換２２）、輝度信号と色差信号に分離し（ＹＣｂＣｒ変換２３）、輝度信号のみシェーディング補正を行う（シェーディング補正２５）。そして、シェーディング補正された輝度信号は、その画素に対応する色差信号とともに圧縮処理がなされ（圧縮処理２４）、画像記録メディアに記録される（記録メディア２６）。

図３は、シェーディングの特性を示したものである。一般的に、デジタルカメラ等で使用される撮像素子は、アスペクト比が４：３のものが使用されているため、長手方向を水平方向とした場合、垂直方向は画像の中心から端までの距離が小さく、また図４で説明したように、撮像素子におけるマイクロレンズとＰＤセルの貼り合わせずれの影響は垂直方向の方が小さいことから、垂直方向のシェーディング量は比較的小さい。よって、垂直方向のシェーディング補正は行わず、水平方向のみシェーディング補正を行えばよい。

図５は、撮像された画像データを示したものである。上述したように、撮像された画像は、デジタル信号に変換された後、ＹＣｂＣｒ変換により輝度信号と色差信号に分離され、この輝度信号がシェーディング補正の対象となる。輝度信号は、画像の画素数と略同じ数だけ存在し、図５の例ではｘ（ｍ＋１）＊ｙ（ｎ＋１） 個となる。この画素数のシェーディング補正を行うためには、少なくとも画素数と同じ数の演算回数が必要となる。

レンズユニットのシェーディング特性は、先に述べたように、中心から放射状に周辺に向かって光量が減少することから、光量の低下度合いは中心からの距離に比例することが分かる。また、撮像素子は、中心からの距離によって入射角が大きくなる。このように、いずれも画像の中心に対して水平方向に左右対称なシェーディング特性を有することが分かり、画像の中心からの距離に依存するシェーディング補正を行えばよいことが分かる。

本実施形態の撮像装置では、上記の性質を利用して、補正手段である画像データコントローラ４は、中心に対して水平方向に左右対称なシェーディング補正処理を行うものとしている。これにより、補正に必要な演算量を大幅に削減することが可能となる。

図６は、輝度信号のデータ（Ｙデータ）及びこれに対応する補正係数を示したものである。ｘｃ線を水平方向に直交する中心線とすると、例えばＹ（ｘｒ，ｙ０）に位置するＹデータについては、左右対称に位置するＹ（ｘｌ、ｙ０）のＹデータをシェーディング補正すればよいため、ａｄｊ（ｘｒ，ｙ０）の左右対象に位置するａｄｊ（ｘｌ，ｙ０）の補正係数を用いれば足り、ａｄｊ（ｘ０，ｙ０）からａｄｊ（ｘｃ，ｙｎ）までの領域の補正係数をデータとして保持すればよい。つまり、補正係数は参照テーブルに記憶した場合であるが、上記のように、シェーディング補正処理が水平方向に左右対称に施されるため、使用される補正係数は片側半分だけあればよく、参照テーブルに必要なメモリ容量は同様に半分となり、大幅に削減されることになる。

図８は、本実施形態の撮像装置におけるシェーディング補正処理の流れを示すフローチャートである。ここでは図６の参照テーブルに示すとおり、ｘ０〜ｘｃまで水平方向にｘ（ｃ＋１）個の補正係数を有するものとしている。

ｘのアドレスが中心ｘｃより小さい場合は（ステップＳ８０１／ＹＥＳ）、そのアドレスに相当する補正係数をそのＹデータの補正係数とする（ステップＳ８０２）。逆に、ｘのアドレスが中心のアドレスｘｃより大きい場合は（ステップＳ８０１／ＮＯ）、中心からそのアドレスまで同じ距離の、中心と反対側のアドレス（ｘｍ−ｘ）にある補正係数をＹデータの補正係数として使用する（ステップＳ８０３）。こうして得られた補正係数をＹデータに乗算してシェーディング補正結果を求める（ステップＳ８０４）。以下、ｘアドレスに１加算して変化させ、全アドレスのシェーディング補正を行っていく（ステップＳ８０５）。

上記のフローに従ってシェーディング補正処理を行う場合、参照テーブルに必要な補正係数の数は画像の画素数の半分で済み、またその演算回数は水平方向の全画素のシェーディング補正を行う場合に比べて半減することが分かる。

また、中心付近の光量落ちが少ない部分はシェーディング補正を行わず、光量落ちの大きい周辺部のみシェーディング補正を行うことで、演算回数を減らしてシェーディング補正処理にかかる時間を短縮することも可能である。これは、先に述べたとおり、図３の左側の図からわかるように、画像の中心付近は光量落ちが小さく、中心からの距離が大きくなるにつれて光量落ちの程度が加速しているため、この特性を利用して上記のように補正処理を行うものである。

図９は、本実施形態の撮像装置における上記動作の流れを示したフローチャートである。ここでは、図６の参照テーブルに示すとおり、ｘ方向のアドレスが中心付近のｘｌ〜ｘｒの間のＹデータ、つまり合計で（ｘｒ−ｘｌ）個のＹデータはシェーディング補正を行わない。

ｘアドレスがｘｌより小さい場合は（ステップＳ９０１／ＹＥＳ）、そのアドレスに対応する補正係数をそのＹデータの補正係数として使用する（ステップＳ９０２）。一方、ｘアドレスがｘｌより大きく（ステップＳ９０１／ＮＯ）ｘｒより大きい場合は（ステップＳ９０３／ＹＥＳ）、中心と左右対称に位置する（ｘｍ−ｘ）のアドレスにある補正係数を使用してそのＹデータの補正係数とする（ステップＳ９０４）。なお、ｘアドレスがｘｌより大きく（ステップＳ９０１／ＮＯ）ｘｒより小さい場合には（ステップＳ９０３／ＮＯ）、Ｙデータが中央付近の領域に位置すると判断し、シェーディング補正は行わずに、ｘアドレスを加算していく（Ｓ９０６）。次に、求められた補正係数をＹデータに乗算し、シェーディング補正後の輝度値を求める（ステップＳ９０５）。以降は、ｘアドレスを加算して変化させ、全アドレスのシェーディング補正を行っていく（ステップＳ９０６）。

上記のフローに従ってシェーディング補正処理を行う場合は、参照テーブルに必要な補正係数の数が画像の画素数の半分よりさらに少なくて済み、またその演算回数も同様にさらに少なくなるため、シェーディング補正の処理時間がより短縮化され、補正データの記憶容量もより削減可能となることがわかる。

また、垂直方向のシェーディング補正を行わずに水平方向のみ行うことで、補正データの記憶容量をさらに削減することも可能である。これは、先に述べたとおり、図４に示すように、ＰＤセルの形状が縦長となっていることからマイクロレンズの貼り合わせずれの影響は水平方向の方がより大きいため、この現象を利用して上記のように補正処理を行うものである。

図７は、上記のように、水平方向のみシェーディング補正を行う場合の補正係数を示したものである。上段の図は従来と同様に水平方向は全画素のシェーディング補正を行う場合で、中段の図は中心線に対して左右対称にシェーディング補正を行う場合を示し、下段の図は光量落ちの大きい周辺部のみに対して左右対称にシェーディング補正を行う場合である。このように、シェーディング補正で使用する補正係数の数が画像の画素数より少なくて済み、参照テーブルに必要なメモリ容量を大幅に削減することが可能となる。

なお、上述する実施形態は、本発明の好適な実施形態であり、上記実施形態のみに本発明の範囲を限定するものではなく、本発明の要旨を逸脱しない範囲において種々の変更を施した形態での実施が可能である。

上記の実施形態によれば、水平方向の中心線に対して左右対称にシェーディング補正を行うことから、補正にかかる演算回数が略半分に削減でき、処理に必要な時間を短縮できる。

また、上記の実施形態によれば、中央付近の領域のシェーディング補正は行わないことで、補正にかかる演算回数を大きく削減でき、処理に必要な時間を大幅に短縮できる。

また、上記の実施形態によれば、垂直方向のシェーディング補正を同じ補正値とすることで、補正にかかる演算回数を削減でき、処理に必要な時間を短縮できる。

また、上記の実施形態によれば、参照テーブルに補正係数を記憶しておくことで、補正にかかる演算回数を削減でき、処理に必要な時間を短縮できる。

また、上記の実施形態よれば、参照テーブルに記憶する補正係数を削減することで、記憶に必要なメモリ容量を削減できる。

本発明の実施形態に係る撮像装置の概略構成図である。 本発明の実施形態に係る撮像装置における一連の信号処理を示す図である。 シェーディングの特性を示す説明図である。 撮像素子の構造を示す説明図である。 撮像された画像データを示す概念図である。 本発明の実施形態に係る撮像装置における画像データ及び補正データを示す概念図である。 本発明の実施形態に係る撮像装置における補正データを示す概念図である。 本発明の実施形態に係る撮像装置におけるシェーディング補正の流れを示すフローチャートである。 本発明の実施形態に係る撮像装置におけるシェーディング補正の流れを示すフローチャートである。

符号の説明

１ 撮像素子
２ Ｓ／Ｈ回路
３ Ａ／Ｄ回路
４ 画像データコントローラ
５ メモリ
６ 表示装置
７ 圧縮伸長回路
８ 画像記録メディア
９ タイミング発生回路
１０ システムコントローラ
１１ ＥＥＰＲＯＭ
１２ 操作スイッチ
１３ シャッタ駆動回路
１４ シャッタ機構
１５ レンズユニット

Claims (6)

1. 被写体画像の光信号を電気信号に変換する受光手段と、
   前記受光手段により変換された電気信号を画像信号として入力する入力手段と、
   前記入力手段により入力された画像信号にシェーディング補正処理を行う補正手段とを備える撮像装置であって、
   前記補正手段は、前記入力手段により入力された画像信号に対して、水平方向に線対称にシェーディング補正処理を行うことを特徴とする撮像装置。
2. 前記補正手段は、水平方向に片側半分の領域についてのみシェーディング補正処理を行い、かつ、前記片側半分とは反対側の領域に位置する前記画像信号に対して水平方向に線対称にシェーディング補正処理を行うことを特徴とする請求項１記載の撮像装置。
3. 前記補正手段は、前記入力手段により入力された画像信号の中央の領域についてはシェーディング補正処理を行わないことを特徴とする請求項１又は２に記載の撮像装置。
4. 前記補正手段は、前記入力手段により入力された画像信号の垂直方向については同じ補正量でシェーディング補正処理を行うことを特徴とする請求項１から３のいずれか１項に記載の撮像装置。
5. シェーディング補正処理に用いる補正係数の参照テーブルを記憶する記憶手段を有し、
   前記補正手段は、前記参照テーブルを参照し、前記入力手段により入力された画像信号に対応する補正係数を乗じてシェーディング補正処理を行うことを特徴とする請求項１から４のいずれか１項に記載の撮像装置。
6. 前記記憶手段は、水平方向に片側半分の領域に位置する前記画像信号に対応する補正係数の参照テーブルを記憶し、
   前記補正手段は、前記片側半分の領域とは反対側の領域の画像信号に対してシェーディング補正処理を行う場合、前記中心線に対して前記反対側の領域の画像信号と対称に位置する前記片側半分の領域の画像信号に対応する補正係数を用いることを特徴とする請求項５に記載の撮像装置。

Images