JP2006345388A - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP2006345388A JP2006345388A JP2005170934A JP2005170934A JP2006345388A JP 2006345388 A JP2006345388 A JP 2006345388A JP 2005170934 A JP2005170934 A JP 2005170934A JP 2005170934 A JP2005170934 A JP 2005170934A JP 2006345388 A JP2006345388 A JP 2006345388A
- Authority
- JP
- Japan
- Prior art keywords
- shading correction
- image
- correction data
- data
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Studio Devices (AREA)
Abstract
【課題】 シェーディング補正のための専用ハードウェアを別途に設けることなく、高速で且つ安価にシェーディング補正を行う。
【解決手段】 撮像装置は、CCD固体撮像素子3から出力される撮像信号をアナログ−ディジタル変換するA/D変換器6を含むフロントエンド信号処理部31、ディジタル変換された撮像信号を輝度と色の情報に分離したカラー画像信号に変換するYUV変換部12および前記カラー画像信号を保存するRAM17を具備する。撮像装置は、さらに、前記カラー画像信号と同等の形式にてシェーディング補正データを記憶するRAM17およびROM16と、カラー画像信号と同等の形式にてRAM17とROM16に記憶されたシェーディング補正データと前記カラー画像信号の各データとの間での画素毎の乗算によってシェーディング補正を行う画素演算部14およびCPR15と、を備える。
【選択図】 図1
【解決手段】 撮像装置は、CCD固体撮像素子3から出力される撮像信号をアナログ−ディジタル変換するA/D変換器6を含むフロントエンド信号処理部31、ディジタル変換された撮像信号を輝度と色の情報に分離したカラー画像信号に変換するYUV変換部12および前記カラー画像信号を保存するRAM17を具備する。撮像装置は、さらに、前記カラー画像信号と同等の形式にてシェーディング補正データを記憶するRAM17およびROM16と、カラー画像信号と同等の形式にてRAM17とROM16に記憶されたシェーディング補正データと前記カラー画像信号の各データとの間での画素毎の乗算によってシェーディング補正を行う画素演算部14およびCPR15と、を備える。
【選択図】 図1
Description
本発明は、ディジタルスティルカメラ等の画像入力機器を含む電子的な撮像装置に係り、特に光学レンズ特性であるシェーディングを専用の特別な装置を用いることなく、高速に補正する撮像装置に関するものである。
ディジタルカメラのようなカメラの小型化などに伴って、画像の周辺部分の光量が落ちてしまう、いわゆるシェーディングの問題に一層留意する必要が生じている。このようなシェーディングを光学的に補正するためには、一般に、レンズ枚数を増加させたり、光学系全体のサイズを拡大することなどが必要になり、著しいコストの上昇を招くことになってしまう。
そのため、比較的コストをかけずにシェーディングを補正するためには、シェーディングを電気的に補正する必要がある。従来の多くのシステムでは、専用の処理部を用いて信号処理を行うか、CPU(中央処理ユニット)が画像データを読み出して加工するソフトウェア処理を行うかしていた。前者、すなわち専用の処理部によって信号を処理する手法は、シェーディング補正の信号処理のための専用の処理部にコストがかかり、結局コストの上昇を招いてしまうという問題がある。一方、後者、すなわちCPUによるソフトウェア処理は、シェーディング補正のための画像処理に長時間を要し、処理時間が長くかかってしまうという問題がある。
そのため、比較的コストをかけずにシェーディングを補正するためには、シェーディングを電気的に補正する必要がある。従来の多くのシステムでは、専用の処理部を用いて信号処理を行うか、CPU(中央処理ユニット)が画像データを読み出して加工するソフトウェア処理を行うかしていた。前者、すなわち専用の処理部によって信号を処理する手法は、シェーディング補正の信号処理のための専用の処理部にコストがかかり、結局コストの上昇を招いてしまうという問題がある。一方、後者、すなわちCPUによるソフトウェア処理は、シェーディング補正のための画像処理に長時間を要し、処理時間が長くかかってしまうという問題がある。
このように、シェーディングを電気的に補正する従来のいくつかの例について具体的に説明する。例えば、特許文献1(特開昭62−130074号)には、予め基準被写体を撮像し、ディジタル値に変換して記憶し、これに基づいてシェーディング補正のための補正係数を求めて記憶しておき、任意の画像の撮像時に、前記補正係数を撮像信号と同期して読み出し、乗算型ディジタル−アナログ変換手段により、前記補正係数を撮像信号に乗算し、シェーディング補正されたアナログ撮像信号を得て、ディジタル化および記憶に供することが示されている。この特許文献1の技術においては、撮影に直接必要のない専用のハードウェアからなる乗算型ディジタル−アナログ変換手段を別途に設ける必要がある。
また、特許文献2(特開2003−87653号)には、ストロボ撮影時の配光ムラを補正するための光量分布補正テーブルにシェーディング補正特性を付加して記憶しておき、ストロボ撮影時に光量分布補正テーブルによって撮像データを補正することが記載されている。この場合、光量分布補正テーブルによる撮像データの補正を行うシステムとしては、撮像アナログ信号を、アナログ−ディジタル変換する前に、光量分布補正テーブルに従って利得が制御されるAGC(自動利得制御)回路によって制御するシステムと、撮像アナログ信号をアナログ−ディジタル変換した後に、DSP(ディジタルシグナルプロセッサ)部分において、光量分布補正テーブルに従って画素毎の可変利得制御を行うシステムとが示されている。AGC回路によって、アナログ的に補正をする場合には、画像転送時に各画素に対応して利得を設定することができるようなAGC回路が必要となる。
また、特許文献2(特開2003−87653号)には、ストロボ撮影時の配光ムラを補正するための光量分布補正テーブルにシェーディング補正特性を付加して記憶しておき、ストロボ撮影時に光量分布補正テーブルによって撮像データを補正することが記載されている。この場合、光量分布補正テーブルによる撮像データの補正を行うシステムとしては、撮像アナログ信号を、アナログ−ディジタル変換する前に、光量分布補正テーブルに従って利得が制御されるAGC(自動利得制御)回路によって制御するシステムと、撮像アナログ信号をアナログ−ディジタル変換した後に、DSP(ディジタルシグナルプロセッサ)部分において、光量分布補正テーブルに従って画素毎の可変利得制御を行うシステムとが示されている。AGC回路によって、アナログ的に補正をする場合には、画像転送時に各画素に対応して利得を設定することができるようなAGC回路が必要となる。
また、DSP部分において、ディジタル的に補正をする場合も、画像処理時に各画素に対応した補正データを設定して可変利得制御を行うための専用構成が必要である。CPUが補正データを設定するのであれば、処理速度が非常に遅くなるおそれがある。
特許文献3(特開2001−197369号)には、シェーディング補正データを圧縮して記憶し、これを読み出して伸長して画像データから減算する補正演算に供することが示されている。この場合、補正演算をディジタル的に行う構成と、ディジタル−アナログ変換してからアナログ的に補正演算を行った後にアナログ−ディジタル変換する構成とが示されている。この特許文献3に示された構成では、シェーディング補正データを圧縮して記憶し、伸長して補正に供することが示されていると共に、補正演算を基本的にアナログ演算で行っており、シェーディング補正のために画像データから補正データを減算するために専用の補正演算回路を別途に設ける必要がある。
特許文献4(特開2000−41179号)には、レンズの絞り値、ズーム位置およびレンズの種類に対応するシェーディング補正データを記憶しておき、光学系から制御信号を得て、記憶されたシェーディング補正データを選択して、撮像信号に乗算することが開示されている。この場合、レンズの絞り値、ズーム位置およびレンズの種類に対応して予め記憶した複数種のシェーディング補正データを光学系からの制御信号に応じて選択的に使用することに特徴があり、個々のシェーディング補正データの記憶形態については、さほど言及されておらず、レンズの絞り値、ズーム位置およびレンズの種類以外の条件についても言及されていない。
特許文献3(特開2001−197369号)には、シェーディング補正データを圧縮して記憶し、これを読み出して伸長して画像データから減算する補正演算に供することが示されている。この場合、補正演算をディジタル的に行う構成と、ディジタル−アナログ変換してからアナログ的に補正演算を行った後にアナログ−ディジタル変換する構成とが示されている。この特許文献3に示された構成では、シェーディング補正データを圧縮して記憶し、伸長して補正に供することが示されていると共に、補正演算を基本的にアナログ演算で行っており、シェーディング補正のために画像データから補正データを減算するために専用の補正演算回路を別途に設ける必要がある。
特許文献4(特開2000−41179号)には、レンズの絞り値、ズーム位置およびレンズの種類に対応するシェーディング補正データを記憶しておき、光学系から制御信号を得て、記憶されたシェーディング補正データを選択して、撮像信号に乗算することが開示されている。この場合、レンズの絞り値、ズーム位置およびレンズの種類に対応して予め記憶した複数種のシェーディング補正データを光学系からの制御信号に応じて選択的に使用することに特徴があり、個々のシェーディング補正データの記憶形態については、さほど言及されておらず、レンズの絞り値、ズーム位置およびレンズの種類以外の条件についても言及されていない。
特許文献5(特開2002−218298号)には、画素に対応するシェーディング補正係数を記憶しておき、各画素毎に対応させて、撮像データの輝度データにシェーディング補正係数を乗算することが開示されている。この特許文献5には、さらに、記憶されたシェーディング補正係数を光学系の種々の条件に対応して補正して、撮像データにおける画素毎の輝度データとの補正演算に供することおよび特定波長領域を透過させない色フィルタが、撮像レンズと撮像素子との間に設けられている場合には、対応するシェーディング補正係数を、色フィルタによって影響を受ける画素と受けない画素とに分けて記憶して、色シェーディングの補正を可能とすることも示されている。この場合、撮影レンズの交換にかかわりなくシェーディング補正を行い、色シェーディングの補正も行うことに特徴があり、シェーディング補正係数は、水平方向と垂直方向について各2種類程度ずつ記憶されているに過ぎず、補間演算によって画素マトリクスに対応させている。
通常のディジタルカメラ等の撮像装置においては、画像情報を処理するために、画像の圧縮/伸張機能と、画像の拡大/縮小機能と、画像をフレームデータ等と合成処理するための画素間演算機能とが搭載されている。これら各機能は、それぞれ高速処理が可能である。これら通常搭載されている機能を適切に流用すれば、シェーディング補正のための専用ハードウェアを要することなく、高速で且つ安価にシェーディング補正を行うことが可能となると考えられる。
本発明は、上述した事情に鑑みてなされたもので、シェーディング補正のための専用ハードウェアを別途に設けることなく、高速で且つ安価にシェーディング補正を行うことを可能とする撮像装置を提供することを目的としている。
本発明の請求項1の目的は、特に、シェーディング補正演算に供されるシェーディング補正データの形式を工夫して、画素間演算機能をシェーディング補正に流用し、特別なハードウェアを必要とせずに、高速で且つ安価なシェーディング補正を可能とする撮像装置を提供することにある。
本発明の請求項2の目的は、特に、輝度信号のみをシェーディング補正演算に供するようにして、シェーディング補正データの容量およびシェーディング補正の演算量を抑制し、記憶容量の削減および処理時間の短縮を可能とする撮像装置を提供することにある。
本発明は、上述した事情に鑑みてなされたもので、シェーディング補正のための専用ハードウェアを別途に設けることなく、高速で且つ安価にシェーディング補正を行うことを可能とする撮像装置を提供することを目的としている。
本発明の請求項1の目的は、特に、シェーディング補正演算に供されるシェーディング補正データの形式を工夫して、画素間演算機能をシェーディング補正に流用し、特別なハードウェアを必要とせずに、高速で且つ安価なシェーディング補正を可能とする撮像装置を提供することにある。
本発明の請求項2の目的は、特に、輝度信号のみをシェーディング補正演算に供するようにして、シェーディング補正データの容量およびシェーディング補正の演算量を抑制し、記憶容量の削減および処理時間の短縮を可能とする撮像装置を提供することにある。
本発明の請求項3の目的は、特に、輝度信号および色信号をシェーディング補正演算に供するようにして、いわゆる色シェーディングをも補正し、一層高画質を得ることを可能とする撮像装置を提供することにある。
本発明の請求項4の目的は、特に、シェーディング補正を行うか否かを、選択的に切換えて、シェーディングを補正するか、シェーディングは補正せずに、例えば中央部等について良好な画質を得るかを、撮影条件に基づいて、選択し得る撮像装置を提供することにある。
本発明の請求項5の目的は、特に、シェーディング補正を輝度について行うか輝度と色の両方について行うかを、選択的に切換えて、輝度のみについてのシェーディング補正を行うか、輝度と色との両方についてのシェーディング補正を行うかを、撮影条件に基づいて、選択し得る撮像装置を提供することにある。
本発明の請求項6の目的は、特に、高速連続撮影か否かに応じてシェーディング補正を選択的に切り換え、すなわち速度優先か画質優先かに応じてシェーディング補正動作を変更し得る撮像装置を提供することにある。
本発明の請求項4の目的は、特に、シェーディング補正を行うか否かを、選択的に切換えて、シェーディングを補正するか、シェーディングは補正せずに、例えば中央部等について良好な画質を得るかを、撮影条件に基づいて、選択し得る撮像装置を提供することにある。
本発明の請求項5の目的は、特に、シェーディング補正を輝度について行うか輝度と色の両方について行うかを、選択的に切換えて、輝度のみについてのシェーディング補正を行うか、輝度と色との両方についてのシェーディング補正を行うかを、撮影条件に基づいて、選択し得る撮像装置を提供することにある。
本発明の請求項6の目的は、特に、高速連続撮影か否かに応じてシェーディング補正を選択的に切り換え、すなわち速度優先か画質優先かに応じてシェーディング補正動作を変更し得る撮像装置を提供することにある。
本発明の請求項7の目的は、特に、シェーディング補正演算に供されるシェーディング補正データの形式を工夫して、画像縮小/拡大機能をシェーディング補正に流用し、特別なハードウェアを必要とせずに、シェーディング補正データの記憶容量を実質的に削減し、安価でしかも処理速度の向上をも期待し得る撮像装置を提供することにある。
本発明の請求項8の目的は、特に、シェーディング補正演算に供されるシェーディング補正データを小容量化して、記憶容量を削減し、安価でしかも処理速度の向上をも期待し得る撮像装置を提供することにある。
本発明の請求項9の目的は、特に、特性値を記憶し、近似的にシェーディング補正データを作成して演算に供するようにして、実質的な記憶容量を一層削減し、安価でしかも処理速度の向上をも期待し得る撮像装置を提供することにある。
本発明の請求項10の目的は、特に、画像圧縮機能を流用してシェーディング補正演算に供されるシェーディング補正データを圧縮し小容量化して記憶するようにし、記憶容量を削減して、安価に構成し得る撮像装置を提供することにある。
本発明の請求項11の目的は、特に、シェーディング補正演算に供されるシェーディング補正データの高周波成分を除去して、画素単位の感度差やノイズ成分の影響を除去し、シェーディング補正データの拡大/縮小利用に対する汎用性を高め得る撮像装置を提供することにある。
本発明の請求項12の目的は、特に、撮像レンズのズーム位置、フォーカス位置、像高および絞り量の少なくとも1つに応じたシェーディング補正データの加工を、シェーディング補正データが縮小/圧縮されて画素数が少ない状態で行い、シェーディング補正データの加工の、計算量を低減し高速化を可能とする撮像装置を提供することにある。
本発明の請求項8の目的は、特に、シェーディング補正演算に供されるシェーディング補正データを小容量化して、記憶容量を削減し、安価でしかも処理速度の向上をも期待し得る撮像装置を提供することにある。
本発明の請求項9の目的は、特に、特性値を記憶し、近似的にシェーディング補正データを作成して演算に供するようにして、実質的な記憶容量を一層削減し、安価でしかも処理速度の向上をも期待し得る撮像装置を提供することにある。
本発明の請求項10の目的は、特に、画像圧縮機能を流用してシェーディング補正演算に供されるシェーディング補正データを圧縮し小容量化して記憶するようにし、記憶容量を削減して、安価に構成し得る撮像装置を提供することにある。
本発明の請求項11の目的は、特に、シェーディング補正演算に供されるシェーディング補正データの高周波成分を除去して、画素単位の感度差やノイズ成分の影響を除去し、シェーディング補正データの拡大/縮小利用に対する汎用性を高め得る撮像装置を提供することにある。
本発明の請求項12の目的は、特に、撮像レンズのズーム位置、フォーカス位置、像高および絞り量の少なくとも1つに応じたシェーディング補正データの加工を、シェーディング補正データが縮小/圧縮されて画素数が少ない状態で行い、シェーディング補正データの加工の、計算量を低減し高速化を可能とする撮像装置を提供することにある。
請求項1に記載した本発明に係る撮像装置は、上述した目的を達成するために、
光電変換を行う光電変換素子を2次元的に配置してなる撮像素子と、
前記撮像素子を駆動するためのパルスを発生させる駆動パルス発生手段と、
前記撮像素子から出力される撮像信号のアナログ−ディジタル変換を行う信号変換手段と、
ディジタル変換された撮像信号を輝度と色の情報に分離したカラー画像信号に変換する画像処理手段と、
前記カラー画像信号を保存する画像保存手段と
を具備する撮像装置において、
前記カラー画像信号と同等の形式を有するシェーディング補正データを記憶する補正データ記憶手段と、
前記カラー画像信号と同等の形式を有して前記補正データ記憶手段に記憶されたシェーディング補正データと前記カラー画像信号の各データとの間で画素毎に乗算することによってシェーディング補正を行う画素演算手段と、
をさらに備えることを特徴としている。
光電変換を行う光電変換素子を2次元的に配置してなる撮像素子と、
前記撮像素子を駆動するためのパルスを発生させる駆動パルス発生手段と、
前記撮像素子から出力される撮像信号のアナログ−ディジタル変換を行う信号変換手段と、
ディジタル変換された撮像信号を輝度と色の情報に分離したカラー画像信号に変換する画像処理手段と、
前記カラー画像信号を保存する画像保存手段と
を具備する撮像装置において、
前記カラー画像信号と同等の形式を有するシェーディング補正データを記憶する補正データ記憶手段と、
前記カラー画像信号と同等の形式を有して前記補正データ記憶手段に記憶されたシェーディング補正データと前記カラー画像信号の各データとの間で画素毎に乗算することによってシェーディング補正を行う画素演算手段と、
をさらに備えることを特徴としている。
請求項2に記載した本発明に係る撮像装置は、請求項1の撮像装置であって、
前記画素演算手段は、前記カラー画像信号の輝度信号のみに対してシェーディング補正演算を行う画素間演算手段であることを特徴としている。
請求項3に記載した本発明に係る撮像装置は、請求項1の撮像装置であって、
前記画素演算手段は、前記カラー画像信号の輝度信号および色信号の両情報に対してシェーディング補正演算を行う画素間演算手段であることを特徴としている。
請求項4に記載した本発明に係る撮像装置は、請求項1〜請求項3のいずれか1項の撮像装置であって、
シェーディング補正を行うか否かを、撮影条件に基づいて選択的に切り替える手段を含むことを特徴としている。
請求項5に記載した本発明に係る撮像装置は、上述した目的を達成するために、
前記撮像素子から出力された撮像信号を、輝度情報と色情報に分離したカラー画像信号に対してシェーディング補正を行う手段を具備する撮像装置において、
輝度情報のみを補正する補正処理と、輝度情報および色情報の両方を補正する補正処理とを選択的に切換えて補正処理を行う補正処理手段を備えることを特徴としている。
前記画素演算手段は、前記カラー画像信号の輝度信号のみに対してシェーディング補正演算を行う画素間演算手段であることを特徴としている。
請求項3に記載した本発明に係る撮像装置は、請求項1の撮像装置であって、
前記画素演算手段は、前記カラー画像信号の輝度信号および色信号の両情報に対してシェーディング補正演算を行う画素間演算手段であることを特徴としている。
請求項4に記載した本発明に係る撮像装置は、請求項1〜請求項3のいずれか1項の撮像装置であって、
シェーディング補正を行うか否かを、撮影条件に基づいて選択的に切り替える手段を含むことを特徴としている。
請求項5に記載した本発明に係る撮像装置は、上述した目的を達成するために、
前記撮像素子から出力された撮像信号を、輝度情報と色情報に分離したカラー画像信号に対してシェーディング補正を行う手段を具備する撮像装置において、
輝度情報のみを補正する補正処理と、輝度情報および色情報の両方を補正する補正処理とを選択的に切換えて補正処理を行う補正処理手段を備えることを特徴としている。
請求項6に記載した本発明に係る撮像装置は、請求項4または請求項5の撮像装置であって、
高速で連続撮影が必要であるか否かに基づいて、前記補正処理の選択切り替えを行う手段を含むことを特徴としている。
請求項7に記載した本発明に係る撮像装置は、請求項1〜請求項3のいずれか1項の撮像装置であって、
画像データに拡大および縮小の少なくとも一方の処理を施して、保存するカラー画像のサイズを変更するための画像サイズ変更手段と、
前記画像サイズ変更手段に基づく補正対象のカラー画像の保存サイズに合せてシェーディング補正データを拡大または縮小処理をして、前記画素演算手段によるシェーディング補正演算に供するための手段と
をさらに有することを特徴としている。
高速で連続撮影が必要であるか否かに基づいて、前記補正処理の選択切り替えを行う手段を含むことを特徴としている。
請求項7に記載した本発明に係る撮像装置は、請求項1〜請求項3のいずれか1項の撮像装置であって、
画像データに拡大および縮小の少なくとも一方の処理を施して、保存するカラー画像のサイズを変更するための画像サイズ変更手段と、
前記画像サイズ変更手段に基づく補正対象のカラー画像の保存サイズに合せてシェーディング補正データを拡大または縮小処理をして、前記画素演算手段によるシェーディング補正演算に供するための手段と
をさらに有することを特徴としている。
請求項8に記載した本発明に係る撮像装置は、請求項7の撮像装置であって、
前記補正データ記憶手段は、シェーディング補正データを、前記撮像素子の画素数よりも少ない画素数分のデータとして記憶しており、且つ
前記撮像装置は、対象カラー画像の保存サイズに合せてシェーディング補正データを拡大処理した後に、当該画像のシェーディング補正演算に供するための手段を含むことを特徴としている。
請求項9に記載した本発明に係る撮像装置は、請求項7の撮像装置であって、
前記補正データ記憶手段は、シェーディング補正データを作成するための特性値を記憶しており、且つ
前記撮像装置は、前記特性値から補間近似して作成したシェーディング補正データを拡大または縮小してシェーディング補正演算に供するための手段を含むことを特徴としている。
請求項10に記載した本発明に係る撮像装置は、請求項7または請求項8の撮像装置であって、
前記補正データ記憶手段の記憶に供するシェーディング補正データを画像データとして圧縮する画像圧縮手段と、
前記補正データ記憶手段から読み出した圧縮された画像データとしてのシェーディング補正データを伸長してシェーディング補正に供する画像伸張手段と
をさらに具備することを特徴としている。
前記補正データ記憶手段は、シェーディング補正データを、前記撮像素子の画素数よりも少ない画素数分のデータとして記憶しており、且つ
前記撮像装置は、対象カラー画像の保存サイズに合せてシェーディング補正データを拡大処理した後に、当該画像のシェーディング補正演算に供するための手段を含むことを特徴としている。
請求項9に記載した本発明に係る撮像装置は、請求項7の撮像装置であって、
前記補正データ記憶手段は、シェーディング補正データを作成するための特性値を記憶しており、且つ
前記撮像装置は、前記特性値から補間近似して作成したシェーディング補正データを拡大または縮小してシェーディング補正演算に供するための手段を含むことを特徴としている。
請求項10に記載した本発明に係る撮像装置は、請求項7または請求項8の撮像装置であって、
前記補正データ記憶手段の記憶に供するシェーディング補正データを画像データとして圧縮する画像圧縮手段と、
前記補正データ記憶手段から読み出した圧縮された画像データとしてのシェーディング補正データを伸長してシェーディング補正に供する画像伸張手段と
をさらに具備することを特徴としている。
請求項11に記載した本発明に係る撮像装置は、請求項7〜請求項10のいずれか1項の撮像装置であって、
シェーディング補正を行う前およびシェーディング補正データの拡大または縮小処理時の少なくとも一方に、シェーディング補正データに対してフィルタ処理を施し、シェーディング補正データの高周波数成分を除去する画像フィルタ手段をさらに有することを特徴としている。
請求項12に記載した本発明に係る撮像装置は、請求項7〜請求項11のいずれか1項の撮像装置であって、
シェーディング補正データの画素数が少ないときに、撮像レンズのズーム位置、フォーカス位置、像高および絞り量の少なくとも1つに応じて、シェーディング補正データを加工する手段をさらに含むことを特徴としている。
シェーディング補正を行う前およびシェーディング補正データの拡大または縮小処理時の少なくとも一方に、シェーディング補正データに対してフィルタ処理を施し、シェーディング補正データの高周波数成分を除去する画像フィルタ手段をさらに有することを特徴としている。
請求項12に記載した本発明に係る撮像装置は、請求項7〜請求項11のいずれか1項の撮像装置であって、
シェーディング補正データの画素数が少ないときに、撮像レンズのズーム位置、フォーカス位置、像高および絞り量の少なくとも1つに応じて、シェーディング補正データを加工する手段をさらに含むことを特徴としている。
本発明によれば、シェーディング補正のための専用ハードウェアを別途に設けることなく、高速で且つ安価にシェーディング補正を行うことを可能とする撮像装置を提供することができる。
すなわち本発明の請求項1の撮像装置によれば、
光電変換を行う光電変換素子を2次元的に配置してなる撮像素子と、
前記撮像素子を駆動するためのパルスを発生させる駆動パルス発生手段と、
前記撮像素子から出力される撮像信号のアナログ−ディジタル変換を行う信号変換手段と、
ディジタル変換された撮像信号を輝度と色の情報に分離したカラー画像信号に変換する画像処理手段と、
前記カラー画像信号を保存する画像保存手段と
を具備する撮像装置において、
前記カラー画像信号と同等の形式を有するシェーディング補正データを記憶する補正データ記憶手段と、
カラー画像信号と同等の形式を有して前記補正データ記憶手段に記憶されたシェーディング補正データと前記カラー画像信号の各データとの間で画素毎に乗算することによってシェーディング補正を行う画素演算手段と、
をさらに備えることにより、特に、シェーディング補正演算に供されるシェーディング補正データの形式を工夫して、画素間演算機能をシェーディング補正に流用し、特別なハードウェアを必要とすることなく、高速で且つ安価なシェーディング補正が可能となる。
すなわち本発明の請求項1の撮像装置によれば、
光電変換を行う光電変換素子を2次元的に配置してなる撮像素子と、
前記撮像素子を駆動するためのパルスを発生させる駆動パルス発生手段と、
前記撮像素子から出力される撮像信号のアナログ−ディジタル変換を行う信号変換手段と、
ディジタル変換された撮像信号を輝度と色の情報に分離したカラー画像信号に変換する画像処理手段と、
前記カラー画像信号を保存する画像保存手段と
を具備する撮像装置において、
前記カラー画像信号と同等の形式を有するシェーディング補正データを記憶する補正データ記憶手段と、
カラー画像信号と同等の形式を有して前記補正データ記憶手段に記憶されたシェーディング補正データと前記カラー画像信号の各データとの間で画素毎に乗算することによってシェーディング補正を行う画素演算手段と、
をさらに備えることにより、特に、シェーディング補正演算に供されるシェーディング補正データの形式を工夫して、画素間演算機能をシェーディング補正に流用し、特別なハードウェアを必要とすることなく、高速で且つ安価なシェーディング補正が可能となる。
また、本発明の請求項2の撮像装置によれば、請求項1の撮像装置において、
前記画素演算手段は、カラー画像信号の輝度信号のみに対してシェーディング補正演算を行う画素間演算手段であることにより、特に、輝度信号のみをシェーディング補正演算に供するようにして、シェーディング補正データの容量およびシェーディング補正の演算量を抑制し、記憶容量の削減および処理時間を短縮することが可能となる。
本発明の請求項3の撮像装置によれば、請求項1の撮像装置において、
前記画素演算手段は、カラー画像信号の輝度信号および色信号の両情報に対してシェーディング補正演算を行う画素間演算手段であることにより、特に、輝度信号および色信号をシェーディング補正演算に供するようにして、いわゆる色シェーディングをも補正し、一層高画質を得ることが可能となる。
本発明の請求項4の撮像装置によれば、請求項1〜請求項3のいずれか1項の撮像装置において、
シェーディング補正を行うか否かを、撮影条件に基づいて選択的に切り替える手段を含むことにより、特に、シェーディング補正を行うか否かを、選択的に切換えて、シェーディングを補正するか、シェーディングは補正せずに、例えば中央部等について良好な画質を得るかを、撮影条件に基づいて、選択することが可能となる。
前記画素演算手段は、カラー画像信号の輝度信号のみに対してシェーディング補正演算を行う画素間演算手段であることにより、特に、輝度信号のみをシェーディング補正演算に供するようにして、シェーディング補正データの容量およびシェーディング補正の演算量を抑制し、記憶容量の削減および処理時間を短縮することが可能となる。
本発明の請求項3の撮像装置によれば、請求項1の撮像装置において、
前記画素演算手段は、カラー画像信号の輝度信号および色信号の両情報に対してシェーディング補正演算を行う画素間演算手段であることにより、特に、輝度信号および色信号をシェーディング補正演算に供するようにして、いわゆる色シェーディングをも補正し、一層高画質を得ることが可能となる。
本発明の請求項4の撮像装置によれば、請求項1〜請求項3のいずれか1項の撮像装置において、
シェーディング補正を行うか否かを、撮影条件に基づいて選択的に切り替える手段を含むことにより、特に、シェーディング補正を行うか否かを、選択的に切換えて、シェーディングを補正するか、シェーディングは補正せずに、例えば中央部等について良好な画質を得るかを、撮影条件に基づいて、選択することが可能となる。
本発明の請求項5の撮像装置によれば、
前記撮像素子から出力された撮像信号を、輝度情報と色情報に分離したカラー画像信号に対してシェーディング補正を行う手段を具備する撮像装置において、
輝度情報のみを補正する補正処理と、輝度情報および色情報の両方を補正する補正処理とを選択的に切換えて補正処理を行う補正処理手段を備えることにより、特に、シェーディング補正を輝度について行うか輝度と色の両方について行うかを、選択的に切換えて、輝度のみについてのシェーディング補正を行うか、輝度と色との両方についてのシェーディング補正を行うかを、撮影条件に基づいて、選択することが可能となる。
本発明の請求項6の撮像装置によれば、請求項4または請求項5の撮像装置において、
高速で連続撮影が必要であるか否かに基づいて、前記補正処理の選択切り替えを行う手段を含むことにより、特に、高速連続撮影か否かに応じてシェーディング補正を選択的に切り換え、すなわち速度優先か画質優先かに応じてシェーディング補正動作を変更することが可能となる。
前記撮像素子から出力された撮像信号を、輝度情報と色情報に分離したカラー画像信号に対してシェーディング補正を行う手段を具備する撮像装置において、
輝度情報のみを補正する補正処理と、輝度情報および色情報の両方を補正する補正処理とを選択的に切換えて補正処理を行う補正処理手段を備えることにより、特に、シェーディング補正を輝度について行うか輝度と色の両方について行うかを、選択的に切換えて、輝度のみについてのシェーディング補正を行うか、輝度と色との両方についてのシェーディング補正を行うかを、撮影条件に基づいて、選択することが可能となる。
本発明の請求項6の撮像装置によれば、請求項4または請求項5の撮像装置において、
高速で連続撮影が必要であるか否かに基づいて、前記補正処理の選択切り替えを行う手段を含むことにより、特に、高速連続撮影か否かに応じてシェーディング補正を選択的に切り換え、すなわち速度優先か画質優先かに応じてシェーディング補正動作を変更することが可能となる。
本発明の請求項7の撮像装置によれば、請求項1〜請求項3のいずれか1項の撮像装置において、
画像データに拡大および縮小の少なくとも一方の処理を施して、保存するカラー画像のサイズを変更するための画像サイズ変更手段と、
画像サイズ変更手段に基づく補正対象のカラー画像の保存サイズに合せてシェーディング補正データを拡大または縮小処理をして、前記画素演算手段によるシェーディング補正演算に供するための手段と
をさらに有することにより、特に、シェーディング補正演算に供されるシェーディング補正データの形式を工夫して、画像縮小/拡大機能をシェーディング補正に流用し、特別なハードウェアを必要とせずに、シェーディング補正データの記憶容量を実質的に削減し、安価でしかも処理速度の向上をも期待することが可能となる。
本発明の請求項8の撮像装置によれば、請求項7の撮像装置において、
前記補正データ記憶手段は、シェーディング補正データを、前記撮像素子の画素数よりも少ない画素数分のデータとして記憶しており、且つ
前記撮像装置は、対象カラー画像の保存サイズに合せてシェーディング補正データを拡大処理した後に、当該画像のシェーディング補正演算に供するための手段を含むことにより、特に、シェーディング補正演算に供されるシェーディング補正データを小容量化して、記憶容量を削減し、安価でしかも処理速度の向上をも期待することが可能となる。
画像データに拡大および縮小の少なくとも一方の処理を施して、保存するカラー画像のサイズを変更するための画像サイズ変更手段と、
画像サイズ変更手段に基づく補正対象のカラー画像の保存サイズに合せてシェーディング補正データを拡大または縮小処理をして、前記画素演算手段によるシェーディング補正演算に供するための手段と
をさらに有することにより、特に、シェーディング補正演算に供されるシェーディング補正データの形式を工夫して、画像縮小/拡大機能をシェーディング補正に流用し、特別なハードウェアを必要とせずに、シェーディング補正データの記憶容量を実質的に削減し、安価でしかも処理速度の向上をも期待することが可能となる。
本発明の請求項8の撮像装置によれば、請求項7の撮像装置において、
前記補正データ記憶手段は、シェーディング補正データを、前記撮像素子の画素数よりも少ない画素数分のデータとして記憶しており、且つ
前記撮像装置は、対象カラー画像の保存サイズに合せてシェーディング補正データを拡大処理した後に、当該画像のシェーディング補正演算に供するための手段を含むことにより、特に、シェーディング補正演算に供されるシェーディング補正データを小容量化して、記憶容量を削減し、安価でしかも処理速度の向上をも期待することが可能となる。
本発明の請求項9の撮像装置によれば、請求項7の撮像装置において、
前記補正データ記憶手段は、シェーディング補正データを作成するための特性値を記憶しており、且つ
前記撮像装置は、前記特性値から補間近似して作成したシェーディング補正データを拡大または縮小してシェーディング補正演算に供するための手段を含むことにより、特に、特性値を記憶し、近似的にシェーディング補正データを作成して演算に供するようにして、実質的な記憶容量を一層削減し、安価でしかも処理速度の向上をも期待することが可能となる。
本発明の請求項10の撮像装置によれば、請求項7または請求項8の撮像装置において、
前記補正データ記憶手段の記憶に供するシェーディング補正データを画像データとして圧縮する画像圧縮手段と、
前記補正データ記憶手段から読み出した圧縮された画像データとしてのシェーディング補正データを伸長してシェーディング補正に供する画像伸張手段と
をさらに具備することにより、特に、画像圧縮機能を流用してシェーディング補正演算に供されるシェーディング補正データを圧縮し小容量化して記憶するようにし、記憶容量を削減して、安価に構成することが可能となる。
前記補正データ記憶手段は、シェーディング補正データを作成するための特性値を記憶しており、且つ
前記撮像装置は、前記特性値から補間近似して作成したシェーディング補正データを拡大または縮小してシェーディング補正演算に供するための手段を含むことにより、特に、特性値を記憶し、近似的にシェーディング補正データを作成して演算に供するようにして、実質的な記憶容量を一層削減し、安価でしかも処理速度の向上をも期待することが可能となる。
本発明の請求項10の撮像装置によれば、請求項7または請求項8の撮像装置において、
前記補正データ記憶手段の記憶に供するシェーディング補正データを画像データとして圧縮する画像圧縮手段と、
前記補正データ記憶手段から読み出した圧縮された画像データとしてのシェーディング補正データを伸長してシェーディング補正に供する画像伸張手段と
をさらに具備することにより、特に、画像圧縮機能を流用してシェーディング補正演算に供されるシェーディング補正データを圧縮し小容量化して記憶するようにし、記憶容量を削減して、安価に構成することが可能となる。
本発明の請求項11の撮像装置によれば、
請求項11に記載した本発明に係る撮像装置は、請求項7〜請求項10のいずれか1項の撮像装置において、
シェーディング補正を行う前およびシェーディング補正データの拡大または縮小処理時の少なくとも一方に、シェーディング補正データに対してフィルタ処理を施し、シェーディング補正データの高周波数成分を除去する画像フィルタ手段をさらに有することにより、特に、シェーディング補正演算に供されるシェーディング補正データの高周波成分を除去して、画素単位の感度差やノイズ成分の影響を除去し、シェーディング補正データの拡大/縮小利用に対する汎用性を高めることが可能となる。
本発明の請求項12の撮像装置によれば、請求項7〜請求項11のいずれか1項の撮像装置において、
シェーディング補正データの画素数が少ないときに、撮像レンズのズーム位置、フォーカス位置、像高および絞り量の少なくとも1つに応じて、シェーディング補正データを加工する手段をさらに含むことにより、特に、撮像レンズのズーム位置、フォーカス位置、像高および絞り量の少なくとも1つに応じたシェーディング補正データの加工を、シェーディング補正データが縮小/圧縮されて画素数が少ない状態で行い、シェーディング補正データの加工の、計算量を低減し高速化することが可能となる。
請求項11に記載した本発明に係る撮像装置は、請求項7〜請求項10のいずれか1項の撮像装置において、
シェーディング補正を行う前およびシェーディング補正データの拡大または縮小処理時の少なくとも一方に、シェーディング補正データに対してフィルタ処理を施し、シェーディング補正データの高周波数成分を除去する画像フィルタ手段をさらに有することにより、特に、シェーディング補正演算に供されるシェーディング補正データの高周波成分を除去して、画素単位の感度差やノイズ成分の影響を除去し、シェーディング補正データの拡大/縮小利用に対する汎用性を高めることが可能となる。
本発明の請求項12の撮像装置によれば、請求項7〜請求項11のいずれか1項の撮像装置において、
シェーディング補正データの画素数が少ないときに、撮像レンズのズーム位置、フォーカス位置、像高および絞り量の少なくとも1つに応じて、シェーディング補正データを加工する手段をさらに含むことにより、特に、撮像レンズのズーム位置、フォーカス位置、像高および絞り量の少なくとも1つに応じたシェーディング補正データの加工を、シェーディング補正データが縮小/圧縮されて画素数が少ない状態で行い、シェーディング補正データの加工の、計算量を低減し高速化することが可能となる。
以下、本発明に係る実施の形態に基づき、図面を参照して本発明の撮像装置を詳細に説明する。
図1は、本発明の一つの実施の形態に係るディジタルカメラのシステム構成を示している。
図1に示すディジタルカメラは、
撮影レンズ系1、メカニカルシャッタ2、CCD(電荷結合素子)固体撮像素子3、CDS(相関2重サンプリング)回路4、AGC(自動利得制御)回路5、A/D(アナログ−ディジタル)変換器6、タイミング発生器(TG)7、CCDインタフェース(CCD−I/F)8、メモリコントローラ9、ディスプレイインタフェース(ディスプレイI/F)10、JPEG処理部11、YUV変換部12、リサイズ処理部13、画素間演算部14、CPU(中央制御部)15、ROM(リードオンリメモリ)16、RAM(ランダムアクセスメモリ)(SDRAM)17、ディスプレイ18、モータドライバ19、操作部20、ストロボモジュール21およびメモリカード22を具備している。CDS回路4、AGC回路5、A/D変換器6およびタイミング発生器7は、フロントエンド(F/E)の信号処理部31を構成し、ディジタル信号処理IC(集積回路)32には、CCDインタフェース8、メモリコントローラ9、ディスプレイインタフェース10、JPEG処理部11、YUV変換部12、リサイズ処理部13および画素間演算部14が搭載される。
図1は、本発明の一つの実施の形態に係るディジタルカメラのシステム構成を示している。
図1に示すディジタルカメラは、
撮影レンズ系1、メカニカルシャッタ2、CCD(電荷結合素子)固体撮像素子3、CDS(相関2重サンプリング)回路4、AGC(自動利得制御)回路5、A/D(アナログ−ディジタル)変換器6、タイミング発生器(TG)7、CCDインタフェース(CCD−I/F)8、メモリコントローラ9、ディスプレイインタフェース(ディスプレイI/F)10、JPEG処理部11、YUV変換部12、リサイズ処理部13、画素間演算部14、CPU(中央制御部)15、ROM(リードオンリメモリ)16、RAM(ランダムアクセスメモリ)(SDRAM)17、ディスプレイ18、モータドライバ19、操作部20、ストロボモジュール21およびメモリカード22を具備している。CDS回路4、AGC回路5、A/D変換器6およびタイミング発生器7は、フロントエンド(F/E)の信号処理部31を構成し、ディジタル信号処理IC(集積回路)32には、CCDインタフェース8、メモリコントローラ9、ディスプレイインタフェース10、JPEG処理部11、YUV変換部12、リサイズ処理部13および画素間演算部14が搭載される。
撮影レンズ系1は、被写体光学像をCCD固体撮像素子3の受光面上に結像させるための光学系である。メカニカルシャッタ2は、撮影レンズ系1とCCD固体撮像素子3との間の光路上に介挿されて、光路を開閉し、CCD固体撮像素子3の露光を制限する。CCD固体撮像素子3は、露光状態で受光面に入射される光学像を電気信号に変換して一時保持し、画像データを転送出力する。
CDS回路4、AGC回路5、A/D変換器6およびタイミング発生器7は、CCD固体撮像素子3からの出力信号をフロントエンドにおいて処理する信号処理部31を構成する。CDS回路4は、CCD固体撮像素子3の出力画像信号を相関2重サンプリングする。AGC回路5は、CDS回路4の相関2重サンプリング出力を、自動利得制御して所用の信号レベルに調整する。A/D変換器6は、AGC回路5のアナログ出力をディジタルデータに変換する。タイミング発生器7は、ディジタル信号処理IC32のCCDインタフェース8から与えられる同期駆動信号であるVD信号(垂直同期駆動信号)およびHD信号(水平同期駆動信号)に応動し、且つCPU15と連携して、CCD固体撮像素子3、CDS回路4、AGC回路5およびA/D変換器6にタイミング信号を与え、これらを適正に同期させる。
CDS回路4、AGC回路5、A/D変換器6およびタイミング発生器7は、CCD固体撮像素子3からの出力信号をフロントエンドにおいて処理する信号処理部31を構成する。CDS回路4は、CCD固体撮像素子3の出力画像信号を相関2重サンプリングする。AGC回路5は、CDS回路4の相関2重サンプリング出力を、自動利得制御して所用の信号レベルに調整する。A/D変換器6は、AGC回路5のアナログ出力をディジタルデータに変換する。タイミング発生器7は、ディジタル信号処理IC32のCCDインタフェース8から与えられる同期駆動信号であるVD信号(垂直同期駆動信号)およびHD信号(水平同期駆動信号)に応動し、且つCPU15と連携して、CCD固体撮像素子3、CDS回路4、AGC回路5およびA/D変換器6にタイミング信号を与え、これらを適正に同期させる。
ディジタル信号処理IC32は、CPU15の制御に基づき、信号処理部31のA/D変換器6を介して与えられるディジタル画像データをRAM17へ格納するとともに、圧縮およびYUV変換等の所要の信号処理を行い、当該信号処理IC32内で処理されたデータのRAM17への格納、A/D変換器6から与えられまたはRAM17から取り出された画像データ等のディスプレイ18への表示、A/D変換器6から与えられまたはRAM17から取り出されたディジタル画像データの圧縮処理、ならびにYUV変換およびリサイズ処理等の処理を行う。
CCDインタフェース8は、信号処理部31のA/D変換器6から与えられるディジタル画像データを受けて、メモリコントローラ9を介してRAM17に格納する。メモリコントローラ9は、CPU15の制御に基づき、CCDインタフェース8を介して与えられる原RGB(RAW−RGB)データ、YUV変換部12でYUV変換されたYUVデータおよびJPEG処理部11でJPEG(Joint Photographic Experts Group)方式にて圧縮されたJPEGデータ等のRAM17への書き込みならびにこれらのデータおよびプログラムデータ等のRAM17からの読み出しを制御する。
CCDインタフェース8は、信号処理部31のA/D変換器6から与えられるディジタル画像データを受けて、メモリコントローラ9を介してRAM17に格納する。メモリコントローラ9は、CPU15の制御に基づき、CCDインタフェース8を介して与えられる原RGB(RAW−RGB)データ、YUV変換部12でYUV変換されたYUVデータおよびJPEG処理部11でJPEG(Joint Photographic Experts Group)方式にて圧縮されたJPEGデータ等のRAM17への書き込みならびにこれらのデータおよびプログラムデータ等のRAM17からの読み出しを制御する。
ディスプレイインタフェース10は、RAM17から読み出された画像データをディスプレイ18に表示させる。なお、このディスプレイインタフェース10から外部のTV(テレビジョン)等に表示させるためのTV出力を出力するようにしても良い。JPEG処理部11は、A/D変換器6から与えられまたはRAM17から取り出された画像データ等を、JPEG方式にて圧縮する。YUV変換部12は、A/D変換器6から与えられまたはRAM17から取り出された画像データを、CPU15から与えられるオートホワイトバランス(AWB)制御値に従ってYUV変換する。リサイズ処理部13は、A/D変換器6から与えられまたはRAM17から取り出された画像データを、リサイズする。画素間演算部14は、A/D変換器6から与えられまたはRAM17から取り出された画像データについて、CPU15の制御に従って画素間での所要の演算を行う。すなわち、メモリコントローラ9は、A/D変換器6から与えられた画像データを、RAM17へ格納し、且つRAM17から画像データを取り出して、ディスプレイインタフェース10を介してディスプレイ18への表示に供するとともに、RAM17から画像データを取り出して、JPEG処理部11によるJPEG方式の圧縮処理、YUV変換部12によるYUV変換、リサイズ処理部13によるリサイズ処理ならびにこれら圧縮、YUV変換およびリサイズの処理後のデータのRAM17への書き込みに供する。さらには、メモリコントローラ9は、RAM17からデータを取り出してメモリカード22への書き込みに供する。
ROM16は、CPU15の動作プログラムおよびデータ等を格納している。RAM17は、例えばSDRAM(シンクロナス・ダイナミック・ランダム・アクセス・メモリ)等の半導体メモリであり、既に述べた、原RGBデータ、YUV変換されたYUVデータ、JPEG圧縮されたJPEGデータ、ならびにCPU15の動作プログラムおよびデータ等をそれぞれ格納するために用いられる。CPU15は、ROM16およびRAM17の少なくとも一方から読み出したプログラムおよびデータを用いて撮影動作に係る各種の処理を実行し、処理に伴う一時的なデータをメモリコントローラ9を介してRAM17に格納する。したがって、メモリコントローラ9は、先に述べた機能に加えて、ROM16およびRAM17の少なくとも一方からプログラムを取り出して実行に供すべくCPU15に供給する機能、ならびに各種の処理に伴いCPU15から与えられ得る一時的なデータをRAM17に書き込む機能をも有する。
ディスプレイ18は、液晶表示装置等の画像表示可能な表示装置であり、A/D変換器6から供給され、またはRAM17から取り出され、ディスプレイインタフェース10を介して与えられる画像データ等を表示し、さらには、所要の情報を表示する。モータドライバ19は、CPU15の制御に基づいて、フォーカシングおよびズーミング等のために撮影レンズ系1のレンズ駆動モータ(図示せず)を駆動し、且つシャッタ開閉動作のためにタイミング発生器7と連動してメカニカルシャッタ2のシャッタ駆動モータ(図示せず)を駆動する。操作部20は、撮影を指令するためのレリーズスイッチ、各モードを切換えるためのモードスイッチ、ならびにその他のスイッチ、キー、レバーおよびダイヤル等の少なくとも一部の操作手段を含み、当該ディジタルカメラに対する動作指示、設定指示および選択指示等の情報をCPU15に与えるための操作を行う。
ディスプレイ18は、液晶表示装置等の画像表示可能な表示装置であり、A/D変換器6から供給され、またはRAM17から取り出され、ディスプレイインタフェース10を介して与えられる画像データ等を表示し、さらには、所要の情報を表示する。モータドライバ19は、CPU15の制御に基づいて、フォーカシングおよびズーミング等のために撮影レンズ系1のレンズ駆動モータ(図示せず)を駆動し、且つシャッタ開閉動作のためにタイミング発生器7と連動してメカニカルシャッタ2のシャッタ駆動モータ(図示せず)を駆動する。操作部20は、撮影を指令するためのレリーズスイッチ、各モードを切換えるためのモードスイッチ、ならびにその他のスイッチ、キー、レバーおよびダイヤル等の少なくとも一部の操作手段を含み、当該ディジタルカメラに対する動作指示、設定指示および選択指示等の情報をCPU15に与えるための操作を行う。
ストロボモジュール21は、CPU15の制御に基づいて、ストロボを発光し、被写体の照明に供する。ストロボを発光させるか否かは、動作モードおよび被写体光量の少なくとも一方に応じて決定される。メモリカード22は、いわゆるフラッシュメモリのような半導体不揮発性メモリを内蔵するスモールカードなどと称される小型のICメモリ式記録媒体であり、当該ディジタルスティルカメラに対して着脱可能な外部記録媒体として用いられ、例えばディジタルスティルカメラに設けられたスロットに脱離可能に装着されて用いられる。このメモリカード22には、例えば、CPU15の制御により、RAM17内のJPEG方式等で圧縮された画像データをメモリコントローラ9を介してRAM17から取り出して、撮影結果として保存する。
上述のような構成において、まず、この種のディジタルスティルカメラの基本動作の概要を説明する。この基本動作は、従来のディジタルスティルカメラと本質的に同様である。
上述のような構成において、まず、この種のディジタルスティルカメラの基本動作の概要を説明する。この基本動作は、従来のディジタルスティルカメラと本質的に同様である。
図1において、撮影レンズ系1により結像される被写体光学像が、CCD固体撮像素子3の受光面で露光されたデータは、電気信号からなるアナログ画像信号に変換されて、CCD固体撮像素子3から出力される。このアナログ画像信号は、CDS回路4、AGC回路5、A/D変換器6およびタイミング発生器7で構成されるフロントエンドの信号処理部31でディジタル信号に変換される。CDS回路4では、CCD固体撮像素子3の出力から有効なアナログ画像信号のみが取り出される。AGC回路5では、このアナログ画像信号を増幅する。そしてA/D変換器6では、アナログ画像信号をディジタル画像データに変換している。これら各部は、タイミング発生器7のタイミング信号に応動して動作し、所要の動作タイミングを同期させるように制御されている。
ディジタルデータに変換されたRGB形式の画像信号(以下、「RGBデータ」と称する)は、ディジタル信号処理IC32のCCDインタフェース8を介して取り込まれ、メモリコントローラ9によりRAM17に書き込まれる。このときCCDインタフェース8は、画面を水平方向と垂直方向とにそれぞれ16分割した256個のエリアに対して、R、GおよびBの各色のそれぞれのデータ値の積分値が算出される。CPU15は、これを読み出して、自動露出(AE)制御やオートホワイトバランス制御のための演算を行う。
ディジタルデータに変換されたRGB形式の画像信号(以下、「RGBデータ」と称する)は、ディジタル信号処理IC32のCCDインタフェース8を介して取り込まれ、メモリコントローラ9によりRAM17に書き込まれる。このときCCDインタフェース8は、画面を水平方向と垂直方向とにそれぞれ16分割した256個のエリアに対して、R、GおよびBの各色のそれぞれのデータ値の積分値が算出される。CPU15は、これを読み出して、自動露出(AE)制御やオートホワイトバランス制御のための演算を行う。
書き込まれたRGBデータは、CPU15の制御に基づき、メモリコントローラ9によって読み出され、YUV変換部12によってYUVデータに変換されてRAM17に書き戻される。YUV変換部12には、ホワイトバランスを調整するためのR、GおよびBそれぞれに対する乗算器が設けられており、CPU15は、上述したR、GおよびBの積分値に基づいてホワイトバランス演算を行った結果より、乗算係数を設定してホワイトバランスを調整する。さらに、γ(ガンマ)テーブル等と称される階調変換テーブルによって階調変換が行われる。
このようなYUVデータをディスプレイインタフェース10が読み出して、TVや液晶モニタ等のディスプレイ(表示装置)18に供給され表示が行われる。
操作部20の操作などによって、撮影モードに設定すると、静止画撮影に先立って、CCD固体撮像素子3で捉えられている画像を、ディスプレイ18に随時表示するスルー画面の表示を行うライブビューモードが動作する。このライブビューモードは、CCD固体撮像素子3の読み出しサイクルに合わせて、例えば1/30秒等毎に画面更新が繰り返し行われる。
このようなYUVデータをディスプレイインタフェース10が読み出して、TVや液晶モニタ等のディスプレイ(表示装置)18に供給され表示が行われる。
操作部20の操作などによって、撮影モードに設定すると、静止画撮影に先立って、CCD固体撮像素子3で捉えられている画像を、ディスプレイ18に随時表示するスルー画面の表示を行うライブビューモードが動作する。このライブビューモードは、CCD固体撮像素子3の読み出しサイクルに合わせて、例えば1/30秒等毎に画面更新が繰り返し行われる。
このライブビューモードでは、前述したエリア毎のRGB積算値を周期的に読み出して自動露出制御を行っている。画面を複数に分割した各エリアからそれぞれ読み出されるR、GおよびBの各色の積分値から画面の明るさや被写体の分布などを検出して、次のライブビュー画面や静止画露光用の露光量制御データを算出している。その制御データに基づき、タイミング発生器7によってCCD固体撮像素子3に入力する電子シャッタの時間制御や、メカニカル絞り(図示されていない)の開口制御などを行う。
同時に自動ホワイトバランス制御も、R、GおよびBの各色の積分値およびそれぞれの大小関係から各エリアの色合いと、そのエリアの画面内位置情報から光源色(色温度)の特定などを行って、ホワイトバランス制御値(R、GおよびBの各色の乗算器の係数)を決定する。この制御値は、連続的に更新されているライブビュー画面の次のYUV変換時に設定を変更する。この制御により、光源色が変わるなどの撮影環境が変化してもホワイトバランスを自動的に合わせるようにしている。
同時に自動ホワイトバランス制御も、R、GおよびBの各色の積分値およびそれぞれの大小関係から各エリアの色合いと、そのエリアの画面内位置情報から光源色(色温度)の特定などを行って、ホワイトバランス制御値(R、GおよびBの各色の乗算器の係数)を決定する。この制御値は、連続的に更新されているライブビュー画面の次のYUV変換時に設定を変更する。この制御により、光源色が変わるなどの撮影環境が変化してもホワイトバランスを自動的に合わせるようにしている。
この場合、ズームレンズからなる撮影レンズ系1は、CPU15がモータドライバ19に対してモータ駆動制御を行うことによって焦点距離の変更が行われる。操作部20からユーザのズーム倍率変更指示が操作入力されると、CPU15はその指示に応じてモータドライバ19を駆動する。なお、ズーム駆動をパルスモータで行う場合は、駆動パルス数によってズーム位置を検出することができ、特別な位置検出回路を追加しなくても位置検出が可能となる。しかしながら、図示していないが別途にズーム位置検出装置を設けて、ズーム位置を検出するようにしても良い。
ユーザが、操作部20より静止画撮影指示を入力すると、撮影に先立って、オートフォーカシング(AF:自動合焦調整)動作が行われる。
オートフォーカシングは、モータドライバ19を用いてフォーカシング(合焦調整)用レンズを駆動する。CCDインタフェース8には、画面内の指定範囲についてのハイパスフィルタ出力の積分結果を、合焦評価値(以下、「AF評価値」と称する)を、フレーム毎に出力する機能があり、撮影レンズ系1のフォーカシング用レンズを移動しながらAF評価値を取得して、いわゆる山登り制御を実施して合焦位置を検出する。
ユーザが、操作部20より静止画撮影指示を入力すると、撮影に先立って、オートフォーカシング(AF:自動合焦調整)動作が行われる。
オートフォーカシングは、モータドライバ19を用いてフォーカシング(合焦調整)用レンズを駆動する。CCDインタフェース8には、画面内の指定範囲についてのハイパスフィルタ出力の積分結果を、合焦評価値(以下、「AF評価値」と称する)を、フレーム毎に出力する機能があり、撮影レンズ系1のフォーカシング用レンズを移動しながらAF評価値を取得して、いわゆる山登り制御を実施して合焦位置を検出する。
オートフォーカシングに続いて、静止画撮影用の露光と、露光した静止画画像のRAM17への取り込みが行われる。
この時点では、静止画画像は、CCD固体撮像素子3から出力されたRGBデータである。RAM17に取り込まれたRGBデータは、YUV変換部12でYUVデータに変換され、RAM17に書き戻される。例えば、300万画素のCCD固体撮像素子では、変換されたYUVデータのサイズは2048×1536画素となる。このサイズのYUVデータを主画像YUVデータと称することにする。
次に主画像YUVデータと共に記録する縮小画像であるサムネイル画像の作成を行う。サムネイル画像のサイズは、例えば160×120画素である。主画像YUVデータは、メモリコントローラ9に読み出されて、リサイズ処理部13に送られ、縮小されたサムネイル画像が、SDRAMに書き戻される。
このリサイズ処理部13では、縮小と拡大の画像サイズ変換が可能である。縮小時には、ローパスフィルタをかけた結果を間引きサンプリングする。拡大時には、隣接画素間を線形補間し、画素間をサンプリングした後にローパスフィルタ処理をする。
この時点では、静止画画像は、CCD固体撮像素子3から出力されたRGBデータである。RAM17に取り込まれたRGBデータは、YUV変換部12でYUVデータに変換され、RAM17に書き戻される。例えば、300万画素のCCD固体撮像素子では、変換されたYUVデータのサイズは2048×1536画素となる。このサイズのYUVデータを主画像YUVデータと称することにする。
次に主画像YUVデータと共に記録する縮小画像であるサムネイル画像の作成を行う。サムネイル画像のサイズは、例えば160×120画素である。主画像YUVデータは、メモリコントローラ9に読み出されて、リサイズ処理部13に送られ、縮小されたサムネイル画像が、SDRAMに書き戻される。
このリサイズ処理部13では、縮小と拡大の画像サイズ変換が可能である。縮小時には、ローパスフィルタをかけた結果を間引きサンプリングする。拡大時には、隣接画素間を線形補間し、画素間をサンプリングした後にローパスフィルタ処理をする。
サムネイルYUVデータおよび主画像YUVデータは、再度読み出されてJPEG処理部11においてJPEG圧縮され、RAM17に書き戻される。JPEG圧縮されたデータに、RAM17にて、ヘッダデータなどが付加されてJPEG画像ファイルとしてから、CPU15によってメモリカード22に転送保存される。ここでは、JPEG処理部11による圧縮としたが、画像ファイルを記録するにあたっては、特にJPEG圧縮に限定するわけではなく、2値変換して記録するカメラであれば、MMR圧縮、非圧縮のYUV記録、あるいはJPEG2000圧縮等のファイル形式のいずれを用いても良い。
ディジタルカメラとしての撮影動作制御プログラム、外部との通信プログラム、その他鏡胴メカニズム特性、CCD固体撮像素子の感度および撮影レンズ系1のレンズ特性のような個体毎のばらつきを補正する個体特性データなどは、全て、書き換え可能なROM16内に保存されており、後述するシェーディング補正データも、このROM16に保存されている。CPU15は、起動時に、このROM16のプログラムおよびデータを、RAM17に読み出して利用している。
画素間演算部14は、2種類の画像データに対する四則演算、ビットシフトおよび定数乗算等を行うことができる。最近の電子カメラでは、予め用意してあるフレームデータを撮影画像に合成したり、特定の透過率で2つの画像を重ね合わせたりする画素間演算機能を持っていることが多くなっており、このため画素間演算部14が設けられている。
ディジタルカメラとしての撮影動作制御プログラム、外部との通信プログラム、その他鏡胴メカニズム特性、CCD固体撮像素子の感度および撮影レンズ系1のレンズ特性のような個体毎のばらつきを補正する個体特性データなどは、全て、書き換え可能なROM16内に保存されており、後述するシェーディング補正データも、このROM16に保存されている。CPU15は、起動時に、このROM16のプログラムおよびデータを、RAM17に読み出して利用している。
画素間演算部14は、2種類の画像データに対する四則演算、ビットシフトおよび定数乗算等を行うことができる。最近の電子カメラでは、予め用意してあるフレームデータを撮影画像に合成したり、特定の透過率で2つの画像を重ね合わせたりする画素間演算機能を持っていることが多くなっており、このため画素間演算部14が設けられている。
ここで、ディジタルカメラにおいては、CCD固体撮像素子3の各画素前に装着されている各画素に受光した光を集めるための集光レンズや撮影レンズ系1の特性により、均一輝度の被写体を撮影した場合でも、撮影後の画像の明るさが均一とならないシェーディングと称される現象が発生する。このシェーディング現象は、通常、画面の中心部よりも周辺部のほうが暗くなる形であらわれる。
本発明では、このシェーディングを補正するために、画像データと同じ形式としたシェーディングを補正するためのデータ(以下、「シェーディング補正データ」と称する)を使用し、画素間演算部14の機能を利用してシェーディング補正を行う。すなわち、RAM17が、CPU15の制御に基づき、カラー画像信号と同等の形式を有するシェーディング補正データを記憶する補正データ記憶手段として機能する。また、画素間演算部14が、CPU15の制御に基づき、カラー画像信号と同等の形式で補正データ記憶手段に記憶されたシェーディング補正データとカラー画像信号の各データとの間で画素毎に乗算することによってシェーディング補正を行う画素演算手段として機能する。例えば、画像データが8ビットのYUV形式である場合、シェーディング補正データも、8ビットのYUV形式とする。
本発明では、このシェーディングを補正するために、画像データと同じ形式としたシェーディングを補正するためのデータ(以下、「シェーディング補正データ」と称する)を使用し、画素間演算部14の機能を利用してシェーディング補正を行う。すなわち、RAM17が、CPU15の制御に基づき、カラー画像信号と同等の形式を有するシェーディング補正データを記憶する補正データ記憶手段として機能する。また、画素間演算部14が、CPU15の制御に基づき、カラー画像信号と同等の形式で補正データ記憶手段に記憶されたシェーディング補正データとカラー画像信号の各データとの間で画素毎に乗算することによってシェーディング補正を行う画素演算手段として機能する。例えば、画像データが8ビットのYUV形式である場合、シェーディング補正データも、8ビットのYUV形式とする。
図2を参照して本発明のシェーディング補正について説明する。
この場合、画像データは、8ビットデータ(RGB形式では、R、GおよびBそれぞれが8ビットで表現され、YUV形式では、Y、UおよびVそれぞれが、8ビットで表現される)で構成される。
図2(a)は、画面全体が均等輝度の被写体を撮影した画面である。図2(b)は、図2(a)の画面の中央太い点線ライン上の明るさ(輝度Y)である。この例では、画面の外側に行くほど明るさが下がってしまっている。また図2(b)の中心付近にある黒点は、輝度が最大値になっている部分である。通常レンズの中心と画面の中心が一致していれば、明るさのピークは中央になるが、組み付けなどの誤差によって中心をずれてしまうことがある。図2(c)は画面中央の太い点線ライン上の補正データである。カメラは、各水平ラインに対して同様の補正データを持っており、つまり各画素に対応した補正データを画像データと同様の形式で作成した2次元補正データテーブルをROM16内に保持している。この2次元補正データテーブルは、画像データと同じ形式であるので、この場合は、0から255の値を持つ8ビットのデータである。
この場合、画像データは、8ビットデータ(RGB形式では、R、GおよびBそれぞれが8ビットで表現され、YUV形式では、Y、UおよびVそれぞれが、8ビットで表現される)で構成される。
図2(a)は、画面全体が均等輝度の被写体を撮影した画面である。図2(b)は、図2(a)の画面の中央太い点線ライン上の明るさ(輝度Y)である。この例では、画面の外側に行くほど明るさが下がってしまっている。また図2(b)の中心付近にある黒点は、輝度が最大値になっている部分である。通常レンズの中心と画面の中心が一致していれば、明るさのピークは中央になるが、組み付けなどの誤差によって中心をずれてしまうことがある。図2(c)は画面中央の太い点線ライン上の補正データである。カメラは、各水平ラインに対して同様の補正データを持っており、つまり各画素に対応した補正データを画像データと同様の形式で作成した2次元補正データテーブルをROM16内に保持している。この2次元補正データテーブルは、画像データと同じ形式であるので、この場合は、0から255の値を持つ8ビットのデータである。
この実施の形態では、中央値近傍の128を1倍とした。これにより乗算係数である補正データが表現できる倍率は、最大255/128倍となり、倍率の最小ステップが1/128倍となる。
すなわち、図2(a)のような均一な被写体を撮影したときに最も明るくなる個所(図における黒い点)を基準として、補正データテーブルのその画素位置に対応する補正データ値を128とする。その他の画素位置に対応する補正データは、各画素の補正前の輝度値(Yデータ)を何倍すれば、黒点の輝度値と同じ値になるか、つまり黒点の輝度値を基準とした補正係数を算出する。
補正処理時は、各画素の輝度値と各画素に対応した補正データとを乗算した後に、128で割り算を行う。なお補正後に、輝度値が255を超えた場合には、255に置き換えるリミット処理が行われる。この補正処理は、圧縮前のYデータについて行われる。すなわち、次のような値である:
(補正後Yデータ)={(補正前Yデータ)×(補正データ)/128}
ここでは輝度Yについてのみの補正の説明をしたが、色差UまたはVについても同様の補正を行うことができる。
すなわち、図2(a)のような均一な被写体を撮影したときに最も明るくなる個所(図における黒い点)を基準として、補正データテーブルのその画素位置に対応する補正データ値を128とする。その他の画素位置に対応する補正データは、各画素の補正前の輝度値(Yデータ)を何倍すれば、黒点の輝度値と同じ値になるか、つまり黒点の輝度値を基準とした補正係数を算出する。
補正処理時は、各画素の輝度値と各画素に対応した補正データとを乗算した後に、128で割り算を行う。なお補正後に、輝度値が255を超えた場合には、255に置き換えるリミット処理が行われる。この補正処理は、圧縮前のYデータについて行われる。すなわち、次のような値である:
(補正後Yデータ)={(補正前Yデータ)×(補正データ)/128}
ここでは輝度Yについてのみの補正の説明をしたが、色差UまたはVについても同様の補正を行うことができる。
図3に、輝度Yだけを補正した場合と、色(色差U、V)を補正した場合との関係を示している。破線上の点(1)〜点(5)は、赤い被写体を、明るさを変えながら撮影した場合の色差Vの変化を示したものである。同じ色の被写体の場合、明るさが大きくなるにつれてVの値が大きくなっていることがわかる。
これに対して、点(2)部分について、輝度Yだけ点(3)の位置までを補正すると、点(5)となる。つまり明るさだけを明るくした点(5)は、被写体が明るくなったときの色合いに相当する点(3)と比べて、結果的に見た目の色合いが薄くなってしまう。
したがって、色差を補正して、図3の点(5)が点(3)の位置になるような乗算補正をすれば、より正確に補正することができる。但し、このようにすると処理の時間が長くなってしまう。
そこで、このような方法に対して、撮影モードによって切り換えるという方法が考えられる。例えば、連写等のように連続的に高速で撮影を行う必要がある場合には、人間の目が敏感な輝度のみの補正を行うようにする。一方、連写がオフのとき、マクロ撮影のとき、またはセルフタイマ撮影等のように高速繰り返し撮影が必要とならない撮影モードでは、色差の補正をも行うようにする。つまり、撮影モードが、高速処理が必要かどうかで、シェーディング補正処理を切り換える。
これに対して、点(2)部分について、輝度Yだけ点(3)の位置までを補正すると、点(5)となる。つまり明るさだけを明るくした点(5)は、被写体が明るくなったときの色合いに相当する点(3)と比べて、結果的に見た目の色合いが薄くなってしまう。
したがって、色差を補正して、図3の点(5)が点(3)の位置になるような乗算補正をすれば、より正確に補正することができる。但し、このようにすると処理の時間が長くなってしまう。
そこで、このような方法に対して、撮影モードによって切り換えるという方法が考えられる。例えば、連写等のように連続的に高速で撮影を行う必要がある場合には、人間の目が敏感な輝度のみの補正を行うようにする。一方、連写がオフのとき、マクロ撮影のとき、またはセルフタイマ撮影等のように高速繰り返し撮影が必要とならない撮影モードでは、色差の補正をも行うようにする。つまり、撮影モードが、高速処理が必要かどうかで、シェーディング補正処理を切り換える。
したがって、CPU15および操作部20により、シェーディング補正を行うか否かを、撮影条件に基づいて選択的に切り替える手段を構成し、また、輝度情報のみを補正する補正処理と、輝度情報および色情報の両方を補正する補正処理とを選択的に切換えて補正処理を行う補正処理手段をも構成することができる。
この場合、補正にあたっては、色差U、Vも8ビットデータであるので、輝度Yの補正と同様に8ビットの乗算用補正データを作成すれば、上述と同様の演算処理で補正することが可能である。
ここで、補正テーブルの作成方法について説明する。
ディジタルカメラ等のカメラの製造工程において、シェーディングの影響が最大になるようなズーム位置と絞り径に設定して、輝度均一の面光源を撮影する。一般的には、焦点距離は、最も短い広角端、絞りは最大径の場合が、最もシェーディングの影響を受けることが多い。
撮影し、サムネイル画像を作成した後に、RAM17上にあるサムネイル画像のYデータの最大値を見出す。次に、各画素に対して、最大値と同じにするための係数を計算し、各画素の位置に対応する2次元シェーディング補正データとしてROM16に保存する。これを基準補正データとする。
この場合、補正にあたっては、色差U、Vも8ビットデータであるので、輝度Yの補正と同様に8ビットの乗算用補正データを作成すれば、上述と同様の演算処理で補正することが可能である。
ここで、補正テーブルの作成方法について説明する。
ディジタルカメラ等のカメラの製造工程において、シェーディングの影響が最大になるようなズーム位置と絞り径に設定して、輝度均一の面光源を撮影する。一般的には、焦点距離は、最も短い広角端、絞りは最大径の場合が、最もシェーディングの影響を受けることが多い。
撮影し、サムネイル画像を作成した後に、RAM17上にあるサムネイル画像のYデータの最大値を見出す。次に、各画素に対して、最大値と同じにするための係数を計算し、各画素の位置に対応する2次元シェーディング補正データとしてROM16に保存する。これを基準補正データとする。
次に、全焦点距離を、例えば5等分した各ズーム位置と、各絞り径で同様の撮影を行って、ズーム位置毎のシェーディング補正データを作成する。これらを全てROM16に保存するようにしてもよいが、基準シェーディング補正データから、各ズーム位置のシェーディング補正データに変換するための変換係数を、求めて保存するようにしてもよい。
例えば、どのズーム位置と絞り径でも、図4(a)のように、周辺での輝度の低下を2次関数で表現できるような滑らかなものである場合には、基準補正テーブルの最大値と、各テーブルの最大値を比較して係数を算出して、テーブル加工係数データとして保存することができる。
しかしながら、焦点距離が短い広角側では図4(b)のような形状で、焦点距離が長い望遠側では図4(a)のようになる場合には、図4(c)のように画面領域をエリア分割してテーブル加工係数を作成する必要がある。なお、通常の場合、変曲点は中心付近ではなく、図4(b)のように中心から離れた部分にあるので、画面分割は、図4(c)のように中心から離れるにつれて細かくする。
例えば、どのズーム位置と絞り径でも、図4(a)のように、周辺での輝度の低下を2次関数で表現できるような滑らかなものである場合には、基準補正テーブルの最大値と、各テーブルの最大値を比較して係数を算出して、テーブル加工係数データとして保存することができる。
しかしながら、焦点距離が短い広角側では図4(b)のような形状で、焦点距離が長い望遠側では図4(a)のようになる場合には、図4(c)のように画面領域をエリア分割してテーブル加工係数を作成する必要がある。なお、通常の場合、変曲点は中心付近ではなく、図4(b)のように中心から離れた部分にあるので、画面分割は、図4(c)のように中心から離れるにつれて細かくする。
このようにして作成した変換係数は、各8ビットのデータであるから、JPEG圧縮して保存しても良い。JPEGデータとして保存することで、保存するデータ量をより少なくすることができ、しかもデータ使用時における読み出し量が少なくなることから、高速化が可能になる。
このようにして、製造工程において、1台ずつ、各カメラに対してテーブルを作成するようにすれば、図2(b)のように、組付け精度が低いために、左右および上下の明るさ分布が違っていても問題なくなり、組付け精度の基準を緩和することができ、製造コストを低減することが可能となる。
また、個体間のばらつきがほとんどないような場合には、予め作成しておいた補正テーブルおよび加工係数によってテーブルを作成するようにしてもよい。
さらに、ROM16のサイズが小さいなどの理由で、テーブルデータとして保持できない場合には、図5に示すようにシェーディング特性を直線近似し、直線式の係数をROM16に保存して、シェーディング補正時に、この式から補正係数を算出して補正するようにしても良い。
このようにして、製造工程において、1台ずつ、各カメラに対してテーブルを作成するようにすれば、図2(b)のように、組付け精度が低いために、左右および上下の明るさ分布が違っていても問題なくなり、組付け精度の基準を緩和することができ、製造コストを低減することが可能となる。
また、個体間のばらつきがほとんどないような場合には、予め作成しておいた補正テーブルおよび加工係数によってテーブルを作成するようにしてもよい。
さらに、ROM16のサイズが小さいなどの理由で、テーブルデータとして保持できない場合には、図5に示すようにシェーディング特性を直線近似し、直線式の係数をROM16に保存して、シェーディング補正時に、この式から補正係数を算出して補正するようにしても良い。
次に、撮影時における利用方法を説明する。
撮影時は、主画像とサムネイル画像のYUVデータを作成する。これらをJEPG圧縮する前に、シェーディング補正を行う。
撮影モードが起動されると、CPU15は、ROM16から基準補正テーブルをRAM17に読み出す。操作部20より撮影開始指示が入力されると、自動露出制御処理により撮影時の絞り径が決定し、露光処理が開始される。CPU15は、現在のズーム位置と絞り径から、加工係数を読み出し、露光および原RGBデータのRAM17への転送と並行して、読み出した加工係数から、基準補正テーブルを加工し、現在のズーム位置および絞り位置に応じた補正データを作成する。この加工では、1倍以下にならないようにする必要があるため、例えば最小値を128とし、128以下になった場合は、128に置き換えるリミット処理を行う。
作成されたシェーディング補正データは、記録する主画像のサイズに合せたサイズにリサイズ処理部13で変換する。なお、リサイズ処理部13でのサイズ拡大処理では、ローパスフィルタ処理も行っている。
撮影時は、主画像とサムネイル画像のYUVデータを作成する。これらをJEPG圧縮する前に、シェーディング補正を行う。
撮影モードが起動されると、CPU15は、ROM16から基準補正テーブルをRAM17に読み出す。操作部20より撮影開始指示が入力されると、自動露出制御処理により撮影時の絞り径が決定し、露光処理が開始される。CPU15は、現在のズーム位置と絞り径から、加工係数を読み出し、露光および原RGBデータのRAM17への転送と並行して、読み出した加工係数から、基準補正テーブルを加工し、現在のズーム位置および絞り位置に応じた補正データを作成する。この加工では、1倍以下にならないようにする必要があるため、例えば最小値を128とし、128以下になった場合は、128に置き換えるリミット処理を行う。
作成されたシェーディング補正データは、記録する主画像のサイズに合せたサイズにリサイズ処理部13で変換する。なお、リサイズ処理部13でのサイズ拡大処理では、ローパスフィルタ処理も行っている。
300万画素の2048×1536画素で記録する場合には、補正テーブルも同じサイズに拡大する。CCD固体撮像素子3のサイズが300万画素であっても、主画像記録サイズが640×480画素であれば、補正テーブルも640×480画素に拡大し、記録する主画像が作成されてからシェーディング補正を行う。シェーディング補正後のYUVデータを縮小してサムネイル画像を作成し、それぞれをJPEG圧縮して、画像ファイルとして保存する。
なお、ここでは、サムネイルサイズのシェーディング補正データから作成した主画像用の補正データにより、主画像に対してシェーディング補正を行った後に、補正後の主画像からサムネイルを作成するようにしたが、主画像とサムネイルのそれぞれに対してシェーディング補正を実行してもよい。主画像を縮小してサムネイルを作成しないシステムにおいては、主画像は拡大したシェーディング補正データによって補正を実行し、サムネイルに対しては、拡大していないシェーディング補正データを乗算することでそれぞれの画像に対してシェーディング補正をするようにしても良い。
なお、ここでは、サムネイルサイズのシェーディング補正データから作成した主画像用の補正データにより、主画像に対してシェーディング補正を行った後に、補正後の主画像からサムネイルを作成するようにしたが、主画像とサムネイルのそれぞれに対してシェーディング補正を実行してもよい。主画像を縮小してサムネイルを作成しないシステムにおいては、主画像は拡大したシェーディング補正データによって補正を実行し、サムネイルに対しては、拡大していないシェーディング補正データを乗算することでそれぞれの画像に対してシェーディング補正をするようにしても良い。
上述したように、縮小した補正テーブルを持ち、それを拡大して利用することには、いくつかの利点がある。
第一に、テーブル作成時にリサイズ処理部13で縮小を行う際に、ローパスフィルタ処理が行われるため、CCD固体撮像素子3の画素単位の感度差やノイズが平均化され、隣接する補正係数間の差による影響が少ない滑らかな係数テーブルの作成が可能であるため、ノイズや画素単位の感度差を排除した滑らかなテーブルを作成することができる。また、シェーディング補正実行時に、同様にローパスフィルタ処理をすることで、より滑らかなシェーディング補正データとなり、画素単位の感度差の影響を受けないので、厳密な位置合せが不要になり、テーブル作成時の画素数と異なるサイズの画像に対しても、同じテーブルを使用することが可能となる。
上述においては、ノイズや画素単位の感度差を排除するために、ローパスフィルタ処理をおこなうものとしたが、このローパスフィルタに特に限定しなくても良い。目的は光学特性以外のノイズを除去するものであるから、メディアンフィルタなどのフィルタ手段を使うことも可能である。
第一に、テーブル作成時にリサイズ処理部13で縮小を行う際に、ローパスフィルタ処理が行われるため、CCD固体撮像素子3の画素単位の感度差やノイズが平均化され、隣接する補正係数間の差による影響が少ない滑らかな係数テーブルの作成が可能であるため、ノイズや画素単位の感度差を排除した滑らかなテーブルを作成することができる。また、シェーディング補正実行時に、同様にローパスフィルタ処理をすることで、より滑らかなシェーディング補正データとなり、画素単位の感度差の影響を受けないので、厳密な位置合せが不要になり、テーブル作成時の画素数と異なるサイズの画像に対しても、同じテーブルを使用することが可能となる。
上述においては、ノイズや画素単位の感度差を排除するために、ローパスフィルタ処理をおこなうものとしたが、このローパスフィルタに特に限定しなくても良い。目的は光学特性以外のノイズを除去するものであるから、メディアンフィルタなどのフィルタ手段を使うことも可能である。
第二に、ROM16に持つべきテーブルサイズを小さくすることができる。このためROM16の容量削減によるコストダウンを実現することが可能となる。
第三に、データ読み出し量を少なくすることができる。これは記録時の処理時間の短縮化を実現することができる。
第四に、ズーム位置や絞り径によって補正テーブルを加工するときのデータ量を少なくすることができる。計算量を少なくすることによって、処理の高速化を実現することができる。
第五に、記録画素数に合せて補正量を変えることができる。毎回全画素に補正をする必要がないために、記録画素数が少ないときは、補正時間を短くすることができる。
したがって、特許請求の範囲の各請求項に対応する作用効果は、次のようになる。
第三に、データ読み出し量を少なくすることができる。これは記録時の処理時間の短縮化を実現することができる。
第四に、ズーム位置や絞り径によって補正テーブルを加工するときのデータ量を少なくすることができる。計算量を少なくすることによって、処理の高速化を実現することができる。
第五に、記録画素数に合せて補正量を変えることができる。毎回全画素に補正をする必要がないために、記録画素数が少ないときは、補正時間を短くすることができる。
したがって、特許請求の範囲の各請求項に対応する作用効果は、次のようになる。
請求項1の構成では、シェーディング補正データを画像データと同等の形式にすることにっよって、画素間演算機能をシェーディング補正データの処理に利用することができるため、特別なハードウェアを別途に設ける必要なしに、高速でシェーディング補正することが可能となる。
請求項2の構成では、輝度信号のみに対して補正を行うようにしたことによって、処理時間の短縮を可能とし、補正データを保持するメモリを削減してコストダウンを達成することが可能となる。
請求項3の構成では、輝度と色の両方を補正するようにしたことによって、より高画質を達成するシェーディング補正が可能となる。
請求項4の構成では、補正を行うかどうかを選択することが可能であり、画質優先か否かの目的に対応させて動作を変えることが可能となる。
請求項5の構成では、輝度のみの補正か、輝度と色の両方の補正かを選択することが可能であり、画質優先か否かの所望の目的に対応させて動作を変えることが可能となる。
請求項6の構成では、速度優先か画質優先かの所望の目的に対応させて動作を変えることが可能となる。
請求項2の構成では、輝度信号のみに対して補正を行うようにしたことによって、処理時間の短縮を可能とし、補正データを保持するメモリを削減してコストダウンを達成することが可能となる。
請求項3の構成では、輝度と色の両方を補正するようにしたことによって、より高画質を達成するシェーディング補正が可能となる。
請求項4の構成では、補正を行うかどうかを選択することが可能であり、画質優先か否かの目的に対応させて動作を変えることが可能となる。
請求項5の構成では、輝度のみの補正か、輝度と色の両方の補正かを選択することが可能であり、画質優先か否かの所望の目的に対応させて動作を変えることが可能となる。
請求項6の構成では、速度優先か画質優先かの所望の目的に対応させて動作を変えることが可能となる。
請求項7の構成では、シェーディング補正データを画像データと同等の形式とするので、画像縮小拡大機能をシェーディング補正データに利用することができ、特別なハードウェアを別途に設ける必要なしに補正対象となる画像に合せてシェーディング補正データを拡大縮小することが可能になる。このことによって、シェーディング補正データを記録画素数毎に記憶しておく必要がなくなり、記憶メモリの削減によりコストを低減し、常に撮像素子の画素数と同じ数の画素の処理を行う必要がなくなり、処理速度を向上させることができる。
請求項8の構成では、縮小したシェーディング補正データを拡大して使うものとしたことで、シェーディング補正データ記憶メモリの削減によりコストを低減し、記憶メモリの削減によるコストダウンと、常に撮像素子の画素数と同じ数の画素の処理を行う必要がなくなり、処理速度を向上させることができる。
請求項9の構成では、光学特性の測定値を保持していて、その値から近似によってシェーディング補正データを作成することによって、よりメモリの削減ができる。さらに近似によるシェーディング補正データが縮小サイズであれば、近似演算自体の計算量も少なくすることができるため、高速化が期待できる。
請求項8の構成では、縮小したシェーディング補正データを拡大して使うものとしたことで、シェーディング補正データ記憶メモリの削減によりコストを低減し、記憶メモリの削減によるコストダウンと、常に撮像素子の画素数と同じ数の画素の処理を行う必要がなくなり、処理速度を向上させることができる。
請求項9の構成では、光学特性の測定値を保持していて、その値から近似によってシェーディング補正データを作成することによって、よりメモリの削減ができる。さらに近似によるシェーディング補正データが縮小サイズであれば、近似演算自体の計算量も少なくすることができるため、高速化が期待できる。
請求項10の構成ででは、シェーディング補正データを画像データと同等の形式とするので、画像圧縮をするための圧縮手段をシェーディング補正データの処理に利用することが可能となり、JPEGで圧縮して保存しておくことにより、さらに補正データ記憶用のメモリを削減することができる。
請求項11の構成ででは、シェーディング補正データに高周波成分除去フィルタ処理を行うことによって、画素単位の感度差やノイズ成分を除去することができ、画素単位の厳密な位置合せが不要となるので、シェーディング補正データを拡大または縮小して利用する際に同じ補正データを使うことが可能となる。
請求項12の構成では、縮小した小さいシェーディング補正データについて加工を行うため、計算量を少なくすることが可能となり、計算を高速化することができる。
請求項11の構成ででは、シェーディング補正データに高周波成分除去フィルタ処理を行うことによって、画素単位の感度差やノイズ成分を除去することができ、画素単位の厳密な位置合せが不要となるので、シェーディング補正データを拡大または縮小して利用する際に同じ補正データを使うことが可能となる。
請求項12の構成では、縮小した小さいシェーディング補正データについて加工を行うため、計算量を少なくすることが可能となり、計算を高速化することができる。
1 撮影レンズ系
2 メカニカルシャッタ
3 CCD(電荷結合素子)固体撮像素子
4 CDS(相関2重サンプリング)回路
5 AGC(自動利得制御)回路
6 A/D(アナログ−ディジタル)変換器
7 タイミング発生器(TG)
8 CCDインタフェース(CCD−I/F)
9 メモリコントローラ
10 ディスプレイインタフェース(ディスプレイI/F)
11 JPEG処理部
12 YUV変換部
13 リサイズ処理部
14 画素間演算部
15 CPU(中央制御部)
16 ROM(リードオンリメモリ)
17 RAM(ランダムアクセスメモリ)
18 ディスプレイ
19 モータドライバ
20 操作部
21 ストロボモジュール
22 メモリカード
31 フロントエンド(F/E)信号処理部
32 ディジタル信号処理IC(集積回路)
2 メカニカルシャッタ
3 CCD(電荷結合素子)固体撮像素子
4 CDS(相関2重サンプリング)回路
5 AGC(自動利得制御)回路
6 A/D(アナログ−ディジタル)変換器
7 タイミング発生器(TG)
8 CCDインタフェース(CCD−I/F)
9 メモリコントローラ
10 ディスプレイインタフェース(ディスプレイI/F)
11 JPEG処理部
12 YUV変換部
13 リサイズ処理部
14 画素間演算部
15 CPU(中央制御部)
16 ROM(リードオンリメモリ)
17 RAM(ランダムアクセスメモリ)
18 ディスプレイ
19 モータドライバ
20 操作部
21 ストロボモジュール
22 メモリカード
31 フロントエンド(F/E)信号処理部
32 ディジタル信号処理IC(集積回路)
Claims (12)
- 光電変換を行う光電変換素子を2次元的に配置してなる撮像素子と、
前記撮像素子を駆動するためのパルスを発生させる駆動パルス発生手段と、
前記撮像素子から出力される撮像信号のアナログ−ディジタル変換を行う信号変換手段と、
ディジタル変換された撮像信号を輝度と色の情報に分離したカラー画像信号に変換する画像処理手段と、
前記カラー画像信号を保存する画像保存手段と
を具備する撮像装置において、
前記カラー画像信号と同等の形式を有するシェーディング補正データを記憶する補正データ記憶手段と、
前記カラー画像信号と同等の形式を有して前記補正データ記憶手段に記憶されたシェーディング補正データと前記カラー画像信号の各データとの間で画素毎に乗算することによってシェーディング補正を行う画素演算手段と、
をさらに備えることを特徴とする撮像装置。 - 前記画素演算手段は、前記カラー画像信号の輝度信号のみに対してシェーディング補正演算を行う画素間演算手段であることを特徴とする請求項1に記載の撮像装置。
- 前記画素演算手段は、前記カラー画像信号の輝度信号および色信号の両情報に対してシェーディング補正演算を行う画素間演算手段であることを特徴とする請求項1に記載の撮像装置。
- シェーディング補正を行うか否かを、撮影条件に基づいて選択的に切り替える手段を含むことを特徴とする請求項1〜請求項3のいずれか1項に記載の撮像装置。
- 前記撮像素子から出力された撮像信号を、輝度情報と色情報に分離したカラー画像信号に対してシェーディング補正を行う手段を具備する撮像装置において、
輝度情報のみを補正する補正処理と、輝度情報および色情報の両方を補正する補正処理とを選択的に切換えて補正処理を行う補正処理手段を備えることを特徴とする撮像装置。 - 高速で連続撮影が必要であるか否かに基づいて、前記補正処理の選択切り替えを行う手段を含むことを特徴とする請求項4または請求項5に記載の撮像装置。
- 画像データに拡大および縮小の少なくとも一方の処理を施して、保存するカラー画像のサイズを変更するための画像サイズ変更手段と、
前記画像サイズ変更手段に基づく補正対象のカラー画像の保存サイズに合せてシェーディング補正データを拡大または縮小処理をして、前記画素演算手段によるシェーディング補正演算に供するための手段と
をさらに有することを特徴とする請求項1〜請求項3のいずれか1項に記載の撮像装置。 - 前記補正データ記憶手段は、シェーディング補正データを、前記撮像素子の画素数よりも少ない画素数分のデータとして記憶しており、且つ
前記撮像装置は、対象カラー画像の保存サイズに合せてシェーディング補正データを拡大処理した後に、当該画像のシェーディング補正演算に供するための手段を含むことを特徴とする請求項7に記載の撮像装置。 - 前記補正データ記憶手段は、シェーディング補正データを作成するための特性値を記憶しており、且つ
前記撮像装置は、前記特性値から補間近似して作成したシェーディング補正データを拡大または縮小してシェーディング補正演算に供するための手段を含むことを特徴とする請求項7に記載の撮像装置。 - 前記補正データ記憶手段の記憶に供するシェーディング補正データを画像データとして圧縮する画像圧縮手段と、
前記補正データ記憶手段から読み出した圧縮された画像データとしてのシェーディング補正データを伸長してシェーディング補正に供する画像伸張手段と
をさらに具備することを特徴とする請求項7または請求項8に記載の撮像装置。 - シェーディング補正を行う前およびシェーディング補正データの拡大または縮小処理時の少なくとも一方に、シェーディング補正データに対してフィルタ処理を施し、シェーディング補正データの高周波数成分を除去する画像フィルタ手段をさらに有することを特徴とする請求項7〜請求項10のいずれか1項に記載の撮像装置。
- シェーディング補正データの画素数が少ないときに、撮像レンズのズーム位置、フォーカス位置、像高および絞り量の少なくとも1つに応じて、シェーディング補正データを加工する手段をさらに含むことを特徴とする請求項7〜請求項11のいずれか1項に記載の撮像装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005170934A JP2006345388A (ja) | 2005-06-10 | 2005-06-10 | 撮像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005170934A JP2006345388A (ja) | 2005-06-10 | 2005-06-10 | 撮像装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006345388A true JP2006345388A (ja) | 2006-12-21 |
Family
ID=37641979
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005170934A Pending JP2006345388A (ja) | 2005-06-10 | 2005-06-10 | 撮像装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2006345388A (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010015548A (ja) * | 2008-06-06 | 2010-01-21 | Nikon Corp | 被写体追跡装置、およびカメラ |
JP2010157015A (ja) * | 2008-12-26 | 2010-07-15 | Nikon Corp | 画像マッチング装置、およびカメラ |
US8031935B2 (en) | 2006-03-20 | 2011-10-04 | Ricoh Company, Ltd. | Method for removing color noise and image-capturing device that uses this method |
US8131068B2 (en) | 2008-06-06 | 2012-03-06 | Nikon Corporation | Image matching device and camera |
JP2012529065A (ja) * | 2009-06-01 | 2012-11-15 | バイオ−ラッド ラボラトリーズ,インコーポレイティド | 生体試料/化学試料用画像形成デバイスの較正 |
JP2013106131A (ja) * | 2011-11-11 | 2013-05-30 | Hitachi Consumer Electronics Co Ltd | 画像処理装置 |
JP2014013957A (ja) * | 2012-07-03 | 2014-01-23 | Canon Inc | 撮像装置及び撮像装置の制御方法 |
-
2005
- 2005-06-10 JP JP2005170934A patent/JP2006345388A/ja active Pending
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8031935B2 (en) | 2006-03-20 | 2011-10-04 | Ricoh Company, Ltd. | Method for removing color noise and image-capturing device that uses this method |
US8639027B2 (en) | 2006-03-20 | 2014-01-28 | Ricoh Company, Ltd. | Method for removing color noise and image-capturing device that uses this method |
JP2010015548A (ja) * | 2008-06-06 | 2010-01-21 | Nikon Corp | 被写体追跡装置、およびカメラ |
JP4565273B2 (ja) * | 2008-06-06 | 2010-10-20 | 株式会社ニコン | 被写体追跡装置、およびカメラ |
US8131068B2 (en) | 2008-06-06 | 2012-03-06 | Nikon Corporation | Image matching device and camera |
JP2010157015A (ja) * | 2008-12-26 | 2010-07-15 | Nikon Corp | 画像マッチング装置、およびカメラ |
JP4661957B2 (ja) * | 2008-12-26 | 2011-03-30 | 株式会社ニコン | 画像マッチング装置、およびカメラ |
JP2012529065A (ja) * | 2009-06-01 | 2012-11-15 | バイオ−ラッド ラボラトリーズ,インコーポレイティド | 生体試料/化学試料用画像形成デバイスの較正 |
US8913127B2 (en) | 2009-06-01 | 2014-12-16 | Bio-Rad Laboratories, Inc. | Calibration of imaging device for biological/chemical samples |
JP2013106131A (ja) * | 2011-11-11 | 2013-05-30 | Hitachi Consumer Electronics Co Ltd | 画像処理装置 |
JP2014013957A (ja) * | 2012-07-03 | 2014-01-23 | Canon Inc | 撮像装置及び撮像装置の制御方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6882754B2 (en) | Image signal processor with adaptive noise reduction and an image signal processing method therefor | |
JP5123137B2 (ja) | 撮像装置および撮像方法 | |
JP5983616B2 (ja) | 撮像装置、撮像方法及びプログラム | |
JP2007180631A (ja) | 撮像装置および撮影方法 | |
JP2007251860A (ja) | 画像データのカラーノイズ除去方法及びこの方法を用いた撮像装置 | |
JP5780764B2 (ja) | 撮像装置 | |
JP5223686B2 (ja) | 撮像装置および撮像方法 | |
JP2006345388A (ja) | 撮像装置 | |
JP2005347811A (ja) | ホワイトバランス補正装置及びホワイトバランス補正方法、プログラム、電子カメラ装置 | |
JP2008148180A (ja) | 撮像装置、画像処理装置、および方法、並びにコンピュータ・プログラム | |
JP3733828B2 (ja) | 電子カメラ | |
JP2004328117A (ja) | ディジタルカメラおよび撮像制御方法 | |
US7925149B2 (en) | Photographing apparatus and method for fast photographing capability | |
JP2008053931A (ja) | 撮像装置 | |
JP4160664B2 (ja) | オートフォーカス装置、カメラ、および合焦位置決定方法 | |
JP2006253970A (ja) | 撮像装置、シェーディング補正データ作成方法およびプログラム | |
JP2007180718A (ja) | 撮像装置、撮像システムおよび撮像方法 | |
JP2002207162A (ja) | デジタルカメラ | |
JP2007013270A (ja) | 撮像装置 | |
JP5310331B2 (ja) | 撮像装置および撮像方法 | |
JP4335648B2 (ja) | デジタルカメラ及びデジタルカメラの撮像方法 | |
JP2007013269A (ja) | 撮像装置 | |
JP3947912B2 (ja) | 画像信号処理装置 | |
JP2005269339A (ja) | 広ダイナミックレンジ固体撮像素子の色シェーディング補正方法および固体撮像装置 | |
JP3822486B2 (ja) | 電子カメラおよび信号処理方法 |