JP3965555B2 - 画像処理装置および方法、プログラム、並びに記録媒体 - Google Patents
画像処理装置および方法、プログラム、並びに記録媒体 Download PDFInfo
- Publication number
- JP3965555B2 JP3965555B2 JP2002025318A JP2002025318A JP3965555B2 JP 3965555 B2 JP3965555 B2 JP 3965555B2 JP 2002025318 A JP2002025318 A JP 2002025318A JP 2002025318 A JP2002025318 A JP 2002025318A JP 3965555 B2 JP3965555 B2 JP 3965555B2
- Authority
- JP
- Japan
- Prior art keywords
- color
- sensitivity
- image
- balance information
- color balance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 62
- 238000012545 processing Methods 0.000 title claims description 58
- 230000035945 sensitivity Effects 0.000 claims description 378
- 238000012937 correction Methods 0.000 claims description 29
- 238000004364 calculation method Methods 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 18
- 239000003086 colorant Substances 0.000 claims description 17
- 230000015572 biosynthetic process Effects 0.000 claims description 13
- 238000003786 synthesis reaction Methods 0.000 claims description 13
- 238000003672 processing method Methods 0.000 claims description 2
- 238000004590 computer program Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 39
- 230000000875 corresponding effect Effects 0.000 description 28
- 239000002131 composite material Substances 0.000 description 21
- 238000003384 imaging method Methods 0.000 description 18
- 238000007796 conventional method Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 14
- 230000003287 optical effect Effects 0.000 description 14
- 238000012546 transfer Methods 0.000 description 11
- 230000002194 synthesizing effect Effects 0.000 description 8
- 239000000203 mixture Substances 0.000 description 7
- 230000008859 change Effects 0.000 description 5
- 230000004044 response Effects 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 238000002834 transmittance Methods 0.000 description 4
- 230000004888 barrier function Effects 0.000 description 3
- 230000002596 correlated effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 229910021420 polycrystalline silicon Inorganic materials 0.000 description 2
- 229920005591 polysilicon Polymers 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置および方法、プログラム、並びに記録媒体に関し、例えば、単板式CCDイメージセンサ等を用いて取得した画像信号から、広ダイナミックレンジのカラー画像信号を生成する場合に用いて好適な画像処理装置および方法、プログラム、並びに記録媒体に関する。
【０００２】
【従来の技術】
CCD(Charge Coupled Device)やCMOS(Complementary Mental-Oxide Semiconductor)等のような固体撮像素子が、ビデオカメラやディジタルスチルカメラ等の撮像装置、ＦＡ(Factory Automation)の分野における部品検査装置、およびＭＥ(Medical Electronics)の分野における電子内視鏡等の光計測装置に幅広く利用されている。
【０００３】
従来、固体撮像素子を用いた撮像装置および光計測機器のダイナミックレンジを向上させるために、画素毎に異なる感度で計測した光強度信号を合成する方法が知られている。以下、そのような第１乃至第４の従来方法について説明する。
【０００４】
第１の従来方法としては、光学的に複数の透過率の異なる光軸に分岐させた入射光をそれぞれの光軸上に配置させた固体撮像素子で計測する方法を挙げることができる。この方法は、特開平８−２２３４９１号公報等に開示されている。しかしながら、第１の方法では、複数の固体撮像素子および光を分岐させる複雑な光学系が必要となるので、省コスト化や省スペース化の面で不利である問題があった。
【０００５】
第２の従来方法としては、１つの固体撮像素子を用い、その露光時間を複数に分割して複数枚の画像を撮像した後、それらを合成する方法を挙げることができる。この方法は、特開平８−３３１４６１号公報等に開示されている。しかしながら、第２の方法では、異なる感度で計測された情報は異なる時刻に撮像されたものであり、かつ、異なる時間幅で撮像されているので、光強度が時々刻々と変化するような動的なシーンを正しく撮像できないという問題があった。
【０００６】
第３の従来方法としては、１つの固体撮像素子を用い、固体撮像素子の撮像面で互いに隣接する複数の受光素子を１組として、受光素子の１組を出力画像の１画素に対応させるようにし、１組を構成する複数の受光素子の感度をそれぞれ異なるように設定して撮像する方法を挙げることができる。この方法は、米国特許第５７８９７３７号公報等に開示されている。固体撮像素子を構成する受光素子のそれぞれの感度を変化させる方法としては、各受光素子を透過率の異なるフィルタで覆う方法がある。また、特開２０００−６９４９１号公報には、第３の従来方法をカラー画像に適応する技術が開示されている。
【０００７】
第３の従来方法によれば、第１の従来方法において問題であった省コスト化や省スペース化の面で有利となる。また、第２の従来方法において問題であった動的シーンを正しく撮像できないことを解決することができる。しかしながら、第３の従来方法では、隣接する複数の受光素子を１組として出力画像の１画素に対応させるので、出力画素の解像度を確保するためには、出力画像の画素数の数倍の受光素子から成る撮像素子が必要であり、ユニットセルサイズが大きくなる課題があった。
【０００８】
第４の従来方法としては、通常のダイナミックレンジを有する撮像素子に、出力画像の１画素に対応する１つの受光素子毎、その露出が異なるような仕組みを施して撮像し、得られた画像信号に所定の画像処理を施して広ダイナミックレンジの画像信号を生成する方法を挙げることができる。受光素子毎の露出が異なるような仕組みは、受光素子毎に光の透過率や開口率を変えたりすることによって、空間的な感度のパターンをつくることにより実現する。この方法は、文献「S.K.Nayar and T.Mitsunaga,"High Dynamic Range Imaging:Spatially Varying Pixel Exposures",Proc. of Computer Vision and Pattern Recognition 2000,Vol.1,pp.472-479,June,2000」に開示されている。
【０００９】
第４の従来方法では、各受光素子は１種類の感度だけを有する。よって、撮像された画像の各画素は本来の撮像素子が有するダイナミックレンジの情報だけしか取得することができないが、得られた画像信号に所定の画像処理を施し、全ての画素の感度が均一になるようにすることによって、結果的にダイナミックレンジが広い画像を生成することができる。また、全ての受光素子が同時に露光するので、動きのある被写体を正しく撮像することができる。さらに、１つの受光素子が出力画像の１画素に対応しているので、ユニットセルサイズが大きくなる問題も生じない。
【００１０】
【発明が解決しようとする課題】
上述したように、第４の従来方法は、第１乃至第３の従来方法の問題を解決することが可能である。しかしながら、第４の従来方法は、ダイナミックレンジが広いモノクロ画像を生成することを前提としたものであり、ダイナミックレンジが広いカラー画像を生成することについては、その技術が確立されていない課題があった。具体的には、画素毎に色や感度が異なる画像を元に、全ての画素が全ての色成分を有し、かつ、感度を均一化する技術は確立されていない課題があった。
【００１１】
したがって、第４の従来技術をカラー画像に適用する場合における色バランスの補正方法についても確立されていない課題があった。
【００１２】
また、第４の従来技術の応用として、撮像する画像の各画素の対応する撮像素子の感度の違いを、撮像素子の読み出しタイミングを変えることで実現する場合において、動きのある被写体を撮像した場合、低感度の画素と高感度の画素とに露出時間が異なることに起因する情報差が発生してしまい、それを局所的に処理すると動きのある被写体のブレ部分にノイズが残ってしまう課題があった。
【００１３】
本発明はこのような状況に鑑みてなされたものであり、画素毎に色や感度が異なる色・感度モザイク画像を元にして、各画素の感度特性が均一化されており、かつ、各画素が色バランスの調整された全ての色成分を有し、かつ、ノイズが抑制された復元画像を生成できるようにすることを目的とする。
【００１４】
【課題を解決するための手段】
本発明の画像処理装置は、色・感度モザイク画像に対応する色バランス情報を算出する色バランス情報算出手段と、色バランス情報に基づき、色・感度モザイク画像の色バランスを補正する補正手段とを含み、色バランス情報算出手段は、色・感度モザイク画像を構成する画素の感度特性毎に色成分に注目して感度別色バランス情報を算出し、算出した複数の感度別色バランス情報を合成して、色・感度モザイク画像に対応する色バランス情報を算出することを特徴とする。
【００２３】
本発明の画像処理装置は、色・感度モザイク画像の色成分と感度特性の配列を示す色・感度モザイクパターン情報に基づき、補正手段によって色バランスが補正された色・感度モザイク画像を元にして、各画素の感度特性が均一であって、かつ、各画素の単一の色成分を有する感度別色画像を生成する感度別色画像生成手段と、感度別色画像生成手段によって生成された、同一の色成分を有し、感度特性が異なる複数の感度別色画像を合成して広ダイナミックレンジの色画像を生成する合成手段とをさらに含むことができる。
【００２４】
前記感度別色画像生成手段は、補正手段によって色バランスが補正された色・感度モザイク画像を構成する全ての画素のうち、同一の感度特性を有し、かつ、同一の色成分を有する画素を用いた補間処理によって感度別色画像を生成するようにすることができる。
【００２５】
前記合成手段は、複数の感度別色画像の対応する画素同士を加算して加算画像を生成する加算手段と、加算画像を構成する画素の感度特性を補償する感度特性補償手段とを含むようにすることができる。
【００２６】
本発明の画像処理方法は、色・感度モザイク画像に対応する色バランス情報を算出する色バランス情報算出ステップと、色バランス情報に基づき、色・感度モザイク画像の色バランスを補正する補正ステップとを含み、色バランス情報算出ステップは、色・感度モザイク画像を構成する画素の感度特性毎に色成分に注目して感度別色バランス情報を算出し、算出した複数の感度別色バランス情報を合成して、色・感度モザイク画像に対応する色バランス情報を算出することを特徴とする。
【００２７】
本発明の記録媒体のプログラムは、色・感度モザイク画像に対応する色バランス情報を算出する色バランス情報算出ステップと、色バランス情報に基づき、色・感度モザイク画像の色バランスを補正する補正ステップとを含み、色バランス情報算出ステップは、色・感度モザイク画像を構成する画素の感度特性毎に色成分に注目して感度別色バランス情報を算出し、算出した複数の感度別色バランス情報を合成して、色・感度モザイク画像に対応する色バランス情報を算出する処理をコンピュータに実行させることを特徴とする。
【００２８】
本発明のプログラムは、色・感度モザイク画像に対応する色バランス情報を算出する色バランス情報算出ステップと、色バランス情報に基づき、色・感度モザイク画像の色バランスを補正する補正ステップとを含み、色バランス情報算出ステップは、色・感度モザイク画像を構成する画素の感度特性毎に色成分に注目して感度別色バランス情報を算出し、算出した複数の感度別色バランス情報を合成して、色・感度モザイク画像に対応する色バランス情報を算出する処理をコンピュータに実行させることを特徴とする。
【００３０】
本発明においては、色・感度モザイク画像に対応する色バランス情報が算出され、算出された色バランス情報に基づき、色・感度モザイク画像の色バランスが補正される。なお、色バランス情報算出では、色・感度モザイク画像を構成する画素の感度特性毎に色成分に注目して感度別色バランス情報が算出され、算出された複数の感度別色バランス情報が合成されて、色・感度モザイク画像に対応する色バランス情報が算出される。
【００３１】
【発明の実施の形態】
図１は、本発明の一実施の形態であるディジタルスチルカメラの構成例を示している。当該ディジタルスチルカメラは、大別して光学系、信号処理系、記録系、表示系、および制御系から構成される。
【００３２】
光学系は、被写体の光画像を集光するレンズ１、光画像の光量を調整する絞り２、および、集光された光画像を光電変換して電気信号に変換するCCDイメージセンサ４から構成される。
【００３３】
信号処理系は、CCDイメージセンサ４からの電気信号をサンプリングすることによってノイズを低減させる相関２重サンプリング回路(CDS:Correlated Double Sampling)５、相関２重サンプリング回路５が出力するアナログ信号をディジタル信号に変換するＡ／Ｄコンバータ６、Ａ／Ｄコンバータ６から入力されるディジタル信号に所定の画像処理を施す画像処理部７から構成される。なお、画像処理部７が実行する処理の詳細については後述する。
【００３４】
記録系は、画像処理部７が処理した画像信号を符号化してメモリ９に記録し、また、読み出して復号し、画像処理部７に供給するCODEC(Compression/Decompression)８、および、画像信号を記憶するメモリ９から構成される。
【００３５】
表示系は、画像処理部７が処理した画像信号をアナログ化するＤ／Ａコンバータ１０、アナログ化された画像信号を後段のディスプレイ１２に適合する形式のビデオ信号にエンコードするビデオエンコーダ１１、および、入力されるビデオ信号に対応する画像を表示することによってファインダとして機能するLCD(Liquid Crystal Display)等よりなるディスプレイ１２から構成される。
【００３６】
制御系は、CCDイメージセンサ４乃至画像処理部７の動作タイミングを制御するタイミングジェネレータ（ＴＧ）３、ユーザによるシャッタ操作やその他のコマンドを入力するための操作入力部１３、および、ドライブ１５を制御して磁気ディスク１６、光ディスク１７、光磁気ディスク１８、または半導体メモリ１９に記憶されている制御用プログラムを読み出し、読み出した制御用プログラム、操作入力部１３から入力されるユーザからのコマンド等に基づいてディジタルスチルカメラの全体を制御するCPU(Central Processing Unit)などよりなる制御部１４から構成される。
【００３７】
当該ディジタルスチルカメラにおいて、被写体の光学画像（入射光）は、レンズ１および絞り２を介してCCDイメージセンサ４に入射され、CCDイメージセンサ４によって光電変換されて電気信号となる。得られた電気信号は、相関２重サンプリング回路５によってノイズ成分が除去され、Ａ／Ｄコンバータ６によってディジタル化された後、画像処理部７が内蔵する画像メモリに一時格納される。
【００３８】
なお、通常の状態では、タイミングジェネレータ３による信号処理系に対する制御により、画像処理部７が内蔵する画像メモリには、一定のフレームレートで絶えず画像信号が上書きされるようになされている。画像処理部７が内蔵する画像メモリの画像信号は、Ｄ／Ａコンバータ１０によってアナログ信号に変換され、ビデオエンコーダ１１によってビデオ信号に変換されて対応する画像がディスプレイ１２に表示される。
【００３９】
ディスプレイ１２は、当該ディジタルスチルカメラのファインダの役割も担っている。ユーザが操作入力部１３に含まれるシャッタボタンを押下した場合、制御部１４は、タイミングジェネレータ３に対し、シャッタボタンが押下された直後の画像信号を保持するように、すなわち、画像処理部７の画像メモリに画像信号が上書きされないように信号処理系を制御する。画像処理部７の画像メモリに保持された画像データは、CODEC８によって符号化されてメモリ９に記録される。以上のようなディジタルスチルカメラの動作によって、１枚の画像データの取り込みが完了する。
【００４０】
次に、当該ディジタルスチルカメラの動作の概要について、図２を参照して説明する。当該ディジタルスチルカメラは、CCDイメージセンサ４を中心とする光学系の撮像処理によって、被写体を画素毎に異なる色と感度で撮像し、色と感度がモザイク状になった画像（以下、色・感度モザイク画像と記述し、その詳細は後述する）を得る。その後、画像処理部７を中心とする信号処理系により、撮像処理によって得られた色・感度モザイク画像を元に、各画素が全ての色成分を有し、かつ、均一の感度を有する広ダイナミックレンジ画像を生成される。以下、色・感度モザイク画像を元にして、各画素が全ての色成分を有し、かつ、均一の感度を有する広ダイナミックレンジ画像を生成する信号処理系の処理を、デモザイク処理とも記述する。
【００４１】
例えば、当該ディジタルスチルカメラによって図３に示すような被写体を撮影した場合、撮像処理により、図４に示すような色・感度モザイク画像が得られ、画像処理により、各画素が全ての色成分と均一の感度を有する広ダイナミックレンジ画像に変換される。すなわち、図４に示す色・感度モザイク画像を元にして図３に示す被写体の本来の色を広ダイナミックレンジで復元する。
【００４２】
次に、光学系の撮像処理によって得る色・感度モザイク画像の、画素の色成分および感度の配列パターン（以下、色・感度モザイクパターンと記述する）Ｐ１乃至Ｐ１４を図５乃至図１８に示す。
【００４３】
色・感度モザイクパターンを構成する色の組み合わせとしては、Ｒ（赤）、Ｇ（緑）、およびＢ（青）からなる３色の組合せの他、Ｙ（黄）、Ｍ（マゼンタ）、Ｃ（シアン）、およびＧ（緑）からなる４色の組合せ等が考えられる。感度の段階としては、Ｓ０およびＳ１から成る２段階の他、感度Ｓ２を追加した３段階、さらに、感度Ｓ３を追加した４段階等とすることができる。なお、色の種類や組み合わせおよび感度の段階は任意であり、上述した例に限定されるものではない。
【００４４】
図５乃至図１８においては、１マス目が１画素に対応しており、英文字がその色を示し、英文字の添え字として数字がその感度を示している。例えば、Ｇ0と表示された画素は、色がＧ（緑）であって、感度がＳ０であることを示している。また、感度については、数字が大きいほどより高感度である、すなわち、Ｓ０よりもＳ１の方が高感度である。
【００４５】
色・感度モザイクパターンＰ１乃至Ｐ１４は、以下に示す第１乃至第４の特徴によって分類することができる。
【００４６】
第１の特徴は、同一の色および感度を有する画素に注目した場合、それらが格子状に配列されており、かつ、感度に拘わらず同一の色を有する画素に注目した場合、それらが格子状に配列されていることである。第１の特徴について、図５に示す色・感度モザイクパターンＰ１を参照して説明する。
【００４７】
図５の色・感度モザイクパターンＰ１において、感度に拘わらず色がＲである画素に注目した場合、図面を右回りに４５度だけ回転させた状態で見れば明らかなように、それらは、水平方向には２1/2の間隔で、垂直方向には２3/2の間隔で格子状の配置されている。また、感度に拘わらず色がＢである画素に注目した場合、それらも同様に配置されている。感度に拘わらず色がＧである画素に注目した場合、それらは、水平方向および垂直方向に２1/2の間隔で格子状の配置されている。
【００４８】
なお、第１の特徴は、図５に示す色・感度モザイクパターンＰ１の他、色・感度モザイクパターンＰ２，Ｐ４，Ｐ６，Ｐ８，Ｐ９，Ｐ１０，Ｐ１１，Ｐ１３にも共通である。
【００４９】
第２の特徴は、同一の色および感度を有する画素に注目した場合、それらが格子状に配列されており、かつ、色に拘わらず同一の感度を有する画素に注目した場合、それらが格子状に配列されており、かつ、任意の画素に注目した場合、その画素とその上下左右に位置する４画素の合計５画素が有する色の中に、当該色・感度モザイクパターンに含まれる全ての色が含まれることである。
【００５０】
なお、第２の特徴は、図７に示す色・感度モザイクパターンＰ３の他、色・感度モザイクパターンＰ５，Ｐ７，Ｐ８，Ｐ９，Ｐ１２，Ｐ１４にも共通である。
【００５１】
第３の特徴は、第１の特徴を有しており、さらに、３種類の色が用いられていて、それらがベイヤ(Bayer)配列をなしていることである。第３の特徴について、図６に示す色・感度モザイクパターンＰ２を参照して説明する。
【００５２】
図６の色・感度モザイクパターンＰ２において、感度に拘わらず色がＧである画素に注目した場合、それらは１画素だけ間隔を空けて市松状に配置されている。感度に拘わらず色がＲである画素に注目した場合、それらは１ラインだけ間隔を空けて配置されている。また、感度に拘わらず色がＢである画素に注目した場合も同様に、１ラインだけ間隔を空けて配置されている。したがって、このパターンＰ２は、画素の色だけに注目すれば、ベイヤ配列をなしている。
【００５３】
なお、第３の特徴は、図６の色・感度モザイクパターンＰ２の他、色・感度モザイクパターンＰ１０，Ｐ１１にも共通である。
【００５４】
第４の特徴は、第２の特徴を有しており、さらに、同一の感度を有する画素に注目した場合、それらの配列がベイヤ配列をなしていることである。第４の特徴について、図７に示す色・感度モザイクパターンＰ３を参照して説明する。
【００５５】
図７の色・感度モザイクパターンＰ３において、感度Ｓ０の画素だけに注目した場合、図面を斜め４５度だけ回転させて見れば明らかなように、それらは２1/2の間隔を空けてベイヤ配列をなしている。また、感度Ｓ１の画素だけに注目した場合も同様に、それらはベイヤ配列をなしている。
【００５６】
なお、第４の特徴は、図７の色・感度モザイクパターンＰ３の他、色・感度モザイクパターンＰ５，Ｐ１２にも共通である。
【００５７】
ところで、以下、図５乃至図１８に示した色・感度モザイクパターンＰ１乃至Ｐ１４に関連し、画素の感度に拘わらず色の配列だけに注目して「色のモザイク配列」と記述する。また、色に拘わらず感度の配列だけに注目して「感度のモザイク配列」と記述する。
【００５８】
次に、CCDイメージセンサ４において上述した色・感度モザイクパターンを実現する方法について説明する。
【００５９】
色・感度モザイクパターンのうち、色のモザイク配列については、CCDイメージセンサ４の受光素子の上面に、画素毎に異なる色の光だけを透過させるオンチップカラーフィルタ２２（図１９）を配置することによって実現する。
【００６０】
また、色・感度モザイクパターンのうち、感度のモザイク配列については、光学的な方法、または電子的な方法によって実現する。
【００６１】
感度のモザイク配列を光学的に実現する方法について説明する。図１９は、CCDイメージセンサ４の受光素子の断面を示している。受光素子の上部表面には、オンチップレンズ２１が配置されている。オンチップレンズ２１は、図面上方から入射される光がフォトダイオード（ＰＤ）２３に集光されるようになされている。オンチップカラーフィルタ２２は、入射光の色を制限する（特定の波長帯域だけを透過させる）。受光素子の下部には、ウェハ中にフォトダイオード２３が形成されている。フォトダイオード２３は、入力された光量に対応して電荷を生じる。フォトダイオード２１の両脇には、垂直レジスタ２６が形成されている。垂直レジスタ２６の上部には、垂直レジスタ２１を駆動する垂直レジスタ駆動電極２５が配線されている。
【００６２】
垂直レジスタ２６は、フォトダイオード２３で生じた電荷を転送する領域である。垂直レジスタ２６と垂直レジスタ駆動電極２５は、そこで電荷が生じないように、シールド２４によって遮光されている。シールド２４は、フォトダイオード２３の上部だけが開口しており、その開口部分を入射光が通過してフォトダイオード２３に到達するようになされている。
【００６３】
以上説明したように構成されるCCDイメージセンサ４は、下記の方法によって各受光素子の感度を変えることができる（フォトダイオード２３に対する入射光量を変化させることができる）。
【００６４】
例えば、図２０に示すように、隣接する受光素子の一方にはオンチップレンズ２１を設け、他方にはオンチップレンズ２１を設けないことにより、隣接する受光素子でそれぞれ集光される光量を変化させることができる。また、例えば図２１に示すように、オンチップカラーフィルタ２２の上方（または下方）にオンチップニュートラルデンシティ（ＮＤ）フィルタ３１を設置することにより、光の透過率を変えることができる。また、例えば図２２に示すように、隣接する受光素子のシールド２４の開口部分の面積を、一方を広く、他方を狭くすることにより、フォトダイオード２３に対する入射光量を変化させることができる。
【００６５】
次に、感度のモザイク配列を電子的に実現する２種類の方法について説明する。
【００６６】
第１の方法は、例えば、隣接する２つの受光素子（第1および第2の受光素子）に対し、制御のタイミングを違えることによって２つの受光素子を異なる感度に設定する方法である。第１の方法について、図２３を参照して説明する。
【００６７】
図２３Ａは、CCDイメージセンサ４の露光期間を示している。図２３Ｂは、電荷掃き出しを指令するパルス電圧のタイミングを示している。図２３Ｃは、電荷転送を指令する制御電圧が与えられるタイミングを示している。図２３Ｄは、第１の受光素子に対し、電荷読み出しを指令するパルス電圧のタイミングを示している。図２３Ｅは、電荷掃き出しパルス電圧および電荷読み出しパルス電圧が与えられることに対応して第１の受光素子に蓄積される電荷量の変化を示している。図２３Ｆは、第２の受光素子に対し、電荷読み出しを指令するパルス電圧のタイミングを示している。図２３Ｇは、電荷掃き出しパルス電圧および電荷読み出しパルス電圧が与えられることに対応して第２の受光素子に蓄積される電荷量の変化を示している。
【００６８】
感度のモザイク配列を電子的に実現する第１の方法において、電荷掃き出しパルス電圧は、第１および第２の受光素子に対し共通して、露光期間以外においては、フォトダイオード２３から電荷を掃き出しさせる（リセットさせる）ように供給され、露光期間中においては、所定のタイミングで１回だけ電荷をリセットするために供給される。
【００６９】
電荷転送電圧は、露光期間以外においては、第１および第２の受光素子に対し共通して垂直レジスタ２６に電荷を転送させるための波形電圧が供給され、露光期間中においては、垂直レジスタ２６からの電荷の転送が停止されるように電荷転送電圧は供給されない。
【００７０】
電荷読み出しパルス電圧は、各受光素子に対して異なるタイミングで供給される。第１の受光素子に対しては、露光期間中の電荷掃き出しパルス電圧の供給タイミング（図２３Ｂ）の直前に、１回目の電荷読み出しパルス電圧が供給され、露光期間中の終了の直前に２回目の電荷読み出しパルス電圧が供給される。
【００７１】
その結果、第１の受光素子からは、１回目および２回目の電荷読み出しパルス電圧の供給タイミングのそれぞれにおける第１の受光素子の蓄積電荷量が垂直レジスタ２６に読み出される。なお、露光期間中は垂直レジスタ２６の電荷の転送は停止されているので、それら２回の読み出し電荷量が垂直レジスタ２６の中で加算され、露光期間終了後に同じフレームのデータとして垂直レジスタ２６から転送されるようになされている。
【００７２】
一方、第２の受光素子に対しては、露光期間中の電荷掃き出しパルス電圧の供給タイミングの直前に１回だけ電荷読み出しパルス電圧が供給される。その結果、第２の受光素子からは、１回だけの電荷読み出しパルス電圧の供給タイミングにおける第２の受光素子の蓄積電荷量が垂直レジスタ２６に読み出される。なお、露光期間中は垂直レジスタ２３の電荷の転送は停止されているので、第２の受光素子から読み出された蓄積電荷は、露光期間終了後に、第１の受光素子から読み出された蓄積電荷と同じフレームのデータとして垂直レジスタ２６から転送されるようになされている。
【００７３】
以上のように、第１の受光素子に対する制御タイミングと、第２の受光素子とに対する制御タイミングとが異なるようすることにより、同じ露光期間中に第１の受光素子殻読み出される蓄積電荷量と、第２の受光素子から読み出される蓄積電荷量、すなわち感度が異なるように設定することができる。
【００７４】
しかしながら、感度のモザイク配列を電子的に実現する第１の方法では、受光素子によっては露光期間中の全域にわたる被写体の情報を計測できないことが短所である。
【００７５】
次に、感度のモザイク配列を電子的に実現する第２の方法について、図２４を参照して説明する。図２４Ａ乃至図２４Ｇはそれぞれ、図２３Ａ乃至図２３Ｇと同様に、CCDイメージセンサ４の露光期間、電荷掃き出しを指令するパルス電圧のタイミング、電荷転送を指令する制御電圧が与えられるタイミング、第１の受光素子に対して電荷読み出しを指令するパルス電圧のタイミング、電荷掃き出しパルス電圧および電荷読み出しパルス電圧が与えられることに対応して第１の受光素子に蓄積される電荷量の変化、第２の受光素子に対する電荷読み出しを指令するパルス電圧のタイミング、電荷掃き出しパルス電圧および電荷読み出しパルス電圧が与えられることに対応して第２の受光素子に蓄積される電荷量の変化を示している。
【００７６】
感度のモザイク配列を電子的に実現する第２の方法においては、露光期間中において、電荷掃き出しパルス電圧および電荷読み出しパルス電圧が複数回繰り返して供給される。
【００７７】
すなわち、電荷掃き出しパルス電圧については、第１および第２の受光素子の双方に対し、露光期間中において、１回目の電荷掃き出しパルス電圧と２回目の電荷掃き出しパルス電圧の組が複数回供給される。電荷読み出しパルス電圧については、第１の受光素子に対しては、１回目および２回目の電荷掃き出しパルス電圧の組毎に、１回目の電荷掃き出しパルス電圧の直前に１回目の電荷読み出しパルス電圧が供給され、２回目の電荷掃き出しパルス電圧の直前に２回目の電荷読み出しパルス電圧が供給される。一方、第２の受光素子に対しては、電荷掃き出しパルス電圧の組毎に、１回目の電荷掃き出しパルス電圧の直前に１回だけ電荷読み出しパルス電圧が供給される。
【００７８】
その結果、第１の受光素子からは、１回目および２回目の電荷掃き出しパルス電圧の組毎に、１回目の電荷読み出しパルス電圧の供給タイミングにおける第１の受光素子の蓄積電荷量と、２回目の電荷読み出しパルス電圧の供給タイミングにおける第１の受光素子の蓄積電荷量が読み出される。なお、露光期間中は、垂直レジスタ２６の電荷の転送が停止されているので、これら組毎に２回ずつ読み出された電荷量は、垂直レジスタ２６で加算される。第２の受光素子からは、１回目および２回目の電荷掃き出しパルス電圧の組毎に１回だけ供給される電荷読み出しパルス電圧の供給タイミングにおける第２の受光素子の蓄積電荷量が読み出される。これら組ごとに１回ずつ読み出された電荷量は、垂直レジスタ２６の中で加算される。
【００７９】
以上のように、感度のモザイク配列を電子的に実現する第２の方法では、露光期間において電荷の読み出しを複数に亘って繰り返すことになるので、露光期間中の全域にわたる被写体の情報を計測することが可能となる。すなわち、第２の方法は、上述した第１の方法の短所を解決することが可能である。
【００８０】
なお、上述した感度のモザイク配列を電子的に実現する第１および第２の方法に関連し、一般的に、CCDイメージセンサ４の読み出し制御は、水平ライン毎に配線される垂直レジスタ駆動電極２５に印加される。例えば、図５に示した色・感度モザイクパターンＰ１のように、水平ライン毎に感度が変わるような感度のモザイク配列を実現するためには、その電極構造を利用すればよいので、ラインごとに異なる読み出しパルス電圧が印加されるように若干の改良をおこなえばよい。さらに、３相駆動の垂直レジスタを持つプログレッシブスキャンのCCDイメージセンサにおいては、その電極構造を工夫することによって、２段階感度による任意のモザイク配列を電子的に実現できる。
【００８１】
図２５は、２段階の感度のモザイク配列を実現するために用いる電極配線による垂直転送用ポリシリコン電極の第１の電極構造を示している。図２６は、図２５の図中の線分ａａ’におけるCCDイメージセンサの断面図を示している。第１相垂直レジスタ駆動電極４２および第２相垂直レジスタ駆動電極４３は、同じ水平ライン上で隣接する画素の電極と連結しているので、同一水平ライン上の電極は同期して駆動される。一方、第３相垂直レジスタ駆動電極４４は、同じ垂直ライン上で隣接する画素の電極と連結しているので、同一垂直ライン上の電極は同期して駆動される。また、第２相垂直レジスタ駆動電極４３および第３相垂直レジスタ駆動電極４４は、対応するフォトダイオ−ド２３に隣接する読み出しゲ−ト４１上にもかかるようになされている。
【００８２】
したがって、第２相垂直レジスタ駆動電極４３、または第３相垂直レジスタ駆動電極４４に読み出しパルスを印加した場合、読み出しゲ−ト４１のバリアを一時的に取り除き、対応するフォトダイオ−ド２３に蓄積されている電荷を垂直レジスタ２６に転送することが可能である。以下、図２５および図２６に示した電極構造をＯＲ型の電極構造と記述する。
【００８３】
図２７は、２段階の感度を有する感度のモザイク配列を実現するために用いる電極配線による垂直転送用ポリシリコン電極の第２の電極構造を示している。図２７の図中の線分ａａ’におけるCCDイメージセンサの断面も、図２６に示した断面図と同様である。すなわち、第２の電極構造においても、第１の電極構造と同様に、第１相垂直レジスタ駆動電極４２および第２相垂直レジスタ駆動電極４３は、同じ水平ライン上で隣接する画素の電極と連結しているので、同一水平ライン上の電極は同期して駆動される。第３相垂直レジスタ駆動電極４４は、第１の電極構造と同様に、同じ垂直ライン上で隣接する画素の電極と連結しているので、同一垂直ライン上の電極は同期して駆動される。
【００８４】
しかしながら、第３相垂直レジスタ駆動電極４４が対応するフォトダイオ−ド２３に隣接する読み出しゲート４１上において、当該フォトダイオ−ド２３の辺縁部分に沿って配置され、次いでそれに隣接するように第２相垂直レジスタ駆動電極４３の細長く加工された部分が読み出しゲート４１にかかるようになされている点が第１の電極構造と異なる。
【００８５】
したがって、第２相垂直レジスタ駆動電極４３および第３相垂直レジスタ駆動電極４４のうち、一方だけに読み出しパルスを印加した場合、読み出しゲ−ト４１のバリアを取り除くことができない。読み出しゲ−ト４１のバリアを取り除き、フォトダイオ−ド２３に蓄積されている電荷を垂直レジスタ２６に転送するためには、第２相垂直レジスタ駆動電極４３と第３相垂直レジスタ駆動電極４４に同時に読み出しパルスを印加する必要がある。以下、図２７に示した電極構造をAND型の電極構造と記述する。
【００８６】
以上説明したＯＲ型の電極構造とAND型の電極構造を１つのCCDイメージセンサ内で組み合わせて用いることにより、２段階感度による任意のモザイク配列を実現することができる。例えば、図５に示した色・感度モザイクパターンＰ１のうち、感度のモザイク配列を実現するためには、図２８に示すようにＯＲ型の電極構造とAND型の電極構造を組み合わせればよい。
【００８７】
図５と図２８を比較すれば明らかなように、２段階の感度Ｓ０，Ｓ１のうち、低感度Ｓ０の画素にはAND型の電極構造を採用し、高感度Ｓ１の画素にはＯＲ型の電極構造を採用するようにする。このように、ＯＲ型とAND型の電極構造を組み合わせて構成したCCDイメージセンサ４に対し、その第２相垂直レジスタ駆動電極４３に読み出しパルス電圧を印加すれば、ＯＲ型の画素だけで電荷読み出しがおこなわれ、第２相垂直レジスタ駆動電極４３および第３相垂直レジスタ駆動電極４４に同時に読みだしパルス電圧を印加すれば、ＯＲ型とAND型の両方、すなわち全ての画素で電荷読み出しがおこなわれることになる。
【００８８】
なお、第２相垂直レジスタ駆動電極４３、および第３相垂直レジスタ駆動電極４４に対するパルス電圧の供給タイミングは、図２４（図２３でもよい）に示した制御タイミングのうち、同図Ｄの１回目の電荷読み出しパルス電圧の供給タイミングと、同図Ｆの電荷読み出しパルス電圧の供給タイミングにおいて、第２相垂直レジスタ駆動電極４３および第３相垂直レジスタ駆動電極４４の両方を駆動し、同図Ｄの２回目の電荷読み出しパルス電圧の供給タイミングにおいて第２相垂直レジスタ駆動電極４３だけを駆動するようにすれば、ＯＲ型の電極構造の画素は高感度Ｓ１となり、AND型の電極構造の画素は低感度Ｓ０となる。
【００８９】
同様に、２段階の感度を有するその他の感度のモザイク配列も、ＯＲ型の電極構造とAND型の電極構造を組み合わせることによって実現することができる。
【００９０】
例えば、図６に示した色・感度モザイクパターンＰ２のうち、感度のモザイクパターンを実現するためには、ＯＲ型とAND型を図２９に示すように組み合わせればよい。図７に示した色・感度モザイクパターンＰ３のうち、感度のモザイクパターンを実現するためには、ＯＲ型とAND型を図３０に示すように組み合わせればよい。図８に示した色・感度モザイクパターンＰ４のうち、感度のモザイクパターンを実現するためには、ＯＲ型とAND型を図３１に示すように組み合わせればよい。図９に示した色・感度モザイクパターンＰ５のうち、感度のモザイクパターンを実現するためには、ＯＲ型とAND型を図３２に示すように組み合わせればよい。
【００９１】
次に、図３３は、入力される色・感度モザイク画像を元にして、各画素が全ての色成分を有し、かつ、感度が均一である広ダイナミックレンジ画像を生成するデモザイク処理を実行する画像処理部７の構成例を示している。
【００９２】
なお、図３３においては、色・感度モザイクパターンＰ１の色・感度モザイク画像が入力されるように図示されているが、入力する色・感度モザイク画像の色・感度モザイクパターンは任意である。
【００９３】
また、画像処理部７を構成する各部には、入力される色・感度モザイク画像の色・感度モザイクパターンを示す情報が供給されているものとする。
【００９４】
また、図３３においては、出力結果としての各画素が全ての色成分を有し、かつ、感度が均一である広ダイナミックレンジ画像を、各画素の感度が均一である広ダイナミックレンジの３種類の色画像として示している。
【００９５】
色バランス補正部６１は、入力される色・モザイク画像の色バランスを補正して、補正済みの色・モザイク画像を感度別色画像生成部６２に出力する。ここで、色バランスを補正する処理とは、一般にホワイトバランス処理と呼ばれている処理であり、各色の平均を算出して用いてもよいし、既存の統計情報を用いてもよい。
【００９６】
図３４は、色バランス補正部６１の第１の構成例を示している。色バランス算出部７１は、入力される色・感度モザイク画像の全体から１つの色バランス情報を算出する。その方法は、各色の平均を算出して用いてもよいし、既存の統計情報を用いてもよい。色バランス調整部７２は、色バランス算出部７１によって算出される色バランス情報に基づき、入力される色・感度モザイク画像の色バランスを補正する。色バランス補正済みの色・感度モザイク画像は、感度別色画像生成部６２に供給される。
【００９７】
図３５は、色バランス補正部６１の第２の構成例を示している。感度別色バランス算出部８１は、入力される色・感度モザイク画像の感度毎の色バランス情報を算出する。その方法は、各感度について、各色の平均を算出して用いてもよいし、既存の統計情報を用いてもよい。図３５の場合、感度Ｓ０の色バランス情報と、感度Ｓ１の色バランス情報が算出される。
【００９８】
感度別色バランス情報合成部８２は、感度別色バランス算出部８１によって算出される感度別の色バランス情報を合成して１つの色バランス情報を生成する。色バランス調整部８３は、感度別色バランス情報合成部８２によって生成される色バランス情報に基づき、入力される色・感度モザイク画像の色バランスを補正する。色バランス補正済みの色・感度モザイク画像は、感度別色画像生成部６２に供給される。
【００９９】
図３３に戻る。感度別色画像生成部６２は、入力される色バランス補正済みの色・感度モザイク画像のうち、同一の感度および色成分を有する画素を用いた補間によって感度別色画像を生成する。いまの場合、例えば、色バランス補正済みの色・感度モザイク画像のうちの感度Ｓ０でＲ成分の画素だけに注目して、補間により、感度Ｓ０でＲ成分の画素だけで構成される感度別色画像Ｒ０を生成する。同様に、感度Ｓ１でＲ成分の画素だけで構成される感度別色画像Ｒ１、感度Ｓ０でＧ成分の画素だけで構成される感度別色画像Ｇ０、感度Ｓ１でＧ成分の画素だけで構成される感度別色画像Ｇ１、感度Ｓ０でＢ成分の画素だけで構成される感度別色画像Ｂ０、および、感度Ｓ１でＢ成分の画素だけで構成される感度別色画像Ｂ１を生成する。なお、補間以外の方法によって、感度別色画像を生成するようにしてもよい。
【０１００】
画像合成部６３Ｒは、感度別色画像生成部６２によって生成される感度別色画像Ｒ０，Ｒ１の対応する画素対を合成して広ダイナミックレンジの色画像Ｒを生成する。
【０１０１】
図３６は、画像合成部６３Ｒの構成例を示している。加算部９１は、感度別色画像生成部６２によって生成される感度別色画像Ｒ０，Ｒ１の同一座標の画素対を加算することによって加算画像を生成し、合成感度補償部９２に出力する。合成感度補償部９２は、合成感度補償関数を導出し、加算画像の画素（Ｒ0＋Ｒ1）に対して、導出する合成感度補償関数を用いて感度補償を施して広ダイナミックレンジの色画像Ｒを生成する。
【０１０２】
ここで、合成感度補償部推定部９２が導出する合成感度補償関数について、図３７乃至図３９を参照して説明する。図３７において、横軸は入射光の強度、縦軸は画素値を示しており、線ａ，ｂは、それぞれ、感度Ｓ０，Ｓ１の画素の感度特性を示している。同図において、高い方の感度Ｓ１（線ｂ）は、低い方の感度Ｓ０（線ａ）に対して４倍の感度を有している。
【０１０３】
合成感度補償部９２の前段である加算部９１においては、図３７の特性曲線ａに示すような感度特性で取得された画素Ｒ0と、同図の特性曲線ｂに示すような感度特性で取得された感度Ｓ１の画素Ｒ1が加算されている。従って、それらの加算値Ｒ0＋Ｒ1は、特性曲線ａと特性曲線ｂを合成した、図３８の特性曲線ｃが示す感度特性を有することになる。
【０１０４】
したがって、加算画像の画素（Ｒ0＋Ｒ1）は、広ダイナミックレンジではあるが、その感度特性は、図３８の特性曲線ｃのように非線形（折れ線）となっている。そこで、非線形である加算画像の画素（Ｒ0＋Ｒ1）の感度特性が線形となるように補償するために、加算画像の画素（Ｒ0＋Ｒ1）に、特性曲線ｃの逆特性曲線ｄ（図３９）を合成感度補償関数として導出する。
【０１０５】
なお、合成感度補償部９２が処理毎に合成感度補償関数を導出するのではなく、合成感度補償関数を合成感度補償部９２に予め供給するようにしてもよい。また、合成感度補償関数の代わりに、ルックアップテーブルを用いるようにしてもよい。
【０１０６】
図３３に戻る。画像合成部６３Ｇは、感度別色画像生成部６２によって生成される感度別色画像Ｇ０，Ｇ１の対応する画素対を合成して広ダイナミックレンジの色画像Ｇを生成する。画像合成部６３Ｂは、感度別色画像生成部６２によって生成される感度別色画像Ｂ０，Ｂ１の対応する画素対を合成して広ダイナミックレンジの色画像Ｂを生成する。なお、画像合成部６３Ｇ，６３Ｒの構成例は、図３６に示した画像合成部６３Ｒの構成例と同様であるので、その説明は省略する。
【０１０７】
次に、画像処理部７によるデモザイク処理について、図４０のフローチャートを参照して説明する。
【０１０８】
なお、既に画像処理部７には、色・感度モザイク画像と、色・感度モザイク画像の色・感度モザイクパターンを示す情報が供給されているものとする。
【０１０９】
ステップＳ１において、色バランス補正部６１は、供給された色・モザイク画像の色バランスを補正する。具体的には、図４１または図４２のフローチャートに示す動作により、供給された色・モザイク画像の色バランスを補正する。その後、色バランス補正部６１は、色バランス補正済みの色・感度モザイク画像を、感度別色画像生成部６２に供給する。
【０１１０】
図４１のフローチャートは、色バランス補正部６１の第１の構成例に対応する動作を示している。ステップＳ１１において、色バランス算出部７１は、入力された色・感度モザイク画像の全体から１つの色バランス情報を算出する。ステップＳ１２において、色バランス調整部７２は、色バランス算出部７１によって算出された色バランス情報に基づき、入力された色・感度モザイク画像の色バランスを調整する。
【０１１１】
図４２のフローチャートは、色バランス補正部６１の第２の構成例に対応する動作を示している。ステップＳ２１において、感度別色バランス算出部８１は、入力された色・感度モザイク画像のうち、感度Ｓ０の画素に基づいて感度Ｓ０の色バランス情報を生成し、感度Ｓ１の画素に基づいて感度Ｓ１の色バランス情報を生成する。ステップＳ２２において、感度別色バランス情報合成部８２は、感度別色バランス算出部８１によって算出された、感度Ｓ０の色バランス情報、および感度Ｓ１の色バランス情報を合成して１つの色バランス情報を生成する。ステップＳ２３において、色バランス調整部８３は、感度別色バランス情報合成部８２によって生成された色バランス情報に基づき、入力された色・感度モザイク画像の色バランスを補正する。
【０１１２】
図４０に戻る。ステップＳ２において、感度別色画像生成部６２は、色バランス補正部６１から供給された色バランス補正済みの色・感度モザイク画像に基づいて感度別色画像を生成する。
【０１１３】
ステップＳ３において、画像合成部６３Ｒは、感度別色画像生成部６２によって生成された感度別色画像Ｒ０，Ｒ１の対応する画素対を合成して広ダイナミックレンジの色画像Ｒを生成する。画像合成部６３Ｇは、感度別色画像生成部６２によって生成された感度別色画像Ｇ０，Ｇ１の対応する画素対を合成して広ダイナミックレンジの色画像Ｇを生成する。画像合成部６３Ｂは、感度別色画像生成部６２によって生成された感度別色画像Ｂ０，Ｂ１の対応する画素対を合成して広ダイナミックレンジの色画像Ｂを生成する。
【０１１４】
ステップＳ３の画像合成部６３Ｒによる、広ダイナミックレンジの色画像Ｒを生成する処理について、図４３を参照して説明する。ステップＳ３１において、加算部９１は、感度別色画像生成部６２によって生成された感度別色画像Ｒ０，Ｒ１の同一座標の画素対を加算して加算画像を生成し、合成感度補償部９２に出力する。ステップＳ３２において、合成感度補償部９２は、合成感度補償関数を導出する。なお、加算部９１によるステップＳ３１の処理と、合成感度補償部９２によるステップＳ３２の処理は、平行して同時に実行するようにしてもよい。
【０１１５】
ステップＳ３３において、合成感度補償部９２は、加算画像の画素（Ｒ0＋Ｒ1）に対し、導出した合成感度補償関数を用いて感度補償を施すことによって、広ダイナミックレンジの色画像Ｒを生成する。
【０１１６】
なお、画像合成部６３Ｇ，６３Ｂのそれぞれによる、広ダイナミックレンジの色画像Ｇ，Ｂを生成する処理も同様である。
【０１１７】
図４０に戻る。以上、画像処理部７によるデモザイク処理の説明を終了する。
【０１１８】
以上のように、画像処理部７によれば、色・感度モザイク画像を元にして、全ての画素に対し、全色を均一な感度で復元することが可能となる。これにより、広ダイナミックレンジ画像を生成することが可能となる。
【０１１９】
また、特に、感度別色画像を生成した後に色別画像を生成することにより、撮像素子が露出時間を変更することで感度を変える方式の場合に発生する動きのある被写体のブレ部分のノイズを緩和することができ、動被写体のブレ部分の再現性を向上させることが可能となる。
【０１２０】
さらに、色・感度モザイク画像の全ての画素に対して、１つの色バランス情報を用いて補正を行うことにより、適正な色バランス補正を施すことが可能となる。
【０１２１】
なお、上述したように、画像処理部７によるデモザイク処理は任意の色・感度モザイクパターンを有する色・感度モザイク画像に対して施すことが可能であるが、特に、色・感度モザイクパターンＰ１の色・感度モザイク画像を処理対象とする場合において上述した効果を奏することができる。
【０１２２】
また、本発明は、本実施の形態のようなディジタルスチルカメラの他、画像処理を実施するあらゆる機器に適用することが可能である。
【０１２３】
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【０１２４】
この記録媒体は、図１に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク１６（フロッピディスクを含む）、光ディスク１７（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク１８（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリ１９などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているROMやハードディスクなどで構成される。
【０１２５】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１２６】
【発明の効果】
以上のように、本発明によれば、画素毎に色や感度が異なる色・感度モザイク画像を元にして、各画素の感度特性が均一化されており、かつ、各画素が色バランスの調整された全ての色成分を有し、かつ、ノイズが抑制された復元画像を生成することが可能となる。
【図面の簡単な説明】
【図１】本発明を適用したディジタルスチルカメラの構成例を示すブロック図である。
【図２】ディジタルスチルカメラの動作の概要を説明する図である。
【図３】被写体の一例を示す図である。
【図４】図３に対応する色・感度モザイク画像の一例を示す図である。
【図５】色・感度モザイクパターンＰ１を示す図である。
【図６】色・感度モザイクパターンＰ２を示す図である。
【図７】色・感度モザイクパターンＰ３を示す図である。
【図８】色・感度モザイクパターンＰ４を示す図である。
【図９】色・感度モザイクパターンＰ５を示す図である。
【図１０】色・感度モザイクパターンＰ６を示す図である。
【図１１】色・感度モザイクパターンＰ７を示す図である。
【図１２】色・感度モザイクパターンＰ８を示す図である。
【図１３】色・感度モザイクパターンＰ９を示す図である。
【図１４】色・感度モザイクパターンＰ１０を示す図である。
【図１５】色・感度モザイクパターンＰ１１を示す図である。
【図１６】色・感度モザイクパターンＰ１２を示す図である。
【図１７】色・感度モザイクパターンＰ１３を示す図である。
【図１８】色・感度モザイクパターンＰ１４を示す図である。
【図１９】 CCDイメージセンサ４の受光素子の断面を示す図である。
【図２０】感度のモザイク配列をオンチップレンズ２１の有無に実現する方法を説明するための図である。
【図２１】感度のモザイク配列をオンチップＮＤフィルタ３１の有無によって実現する方法を説明するための図である。
【図２２】感度のモザイク配列をシールド２４の開口部分の面積の広狭によって実現する方法を説明するための図である。
【図２３】感度のモザイク配列を電子的に実現する第１の方法を説明するための図である。
【図２４】感度のモザイク配列を電子的に実現する第２の方法を説明するための図である。
【図２５】ＯＲ型の電極構造を示す図である。
【図２６】ＯＲ型の電極構造の断面を示す図である。
【図２７】 AND型の電極構造を示す図である。
【図２８】色・感度モザイクパターンＰ１を実現するためのＯＲ型の電極構造とAND型の電極構造の組み合わせを示す図である。
【図２９】色・感度モザイクパターンＰ２を実現するためのＯＲ型の電極構造とAND型の電極構造の組み合わせを示す図である。
【図３０】色・感度モザイクパターンＰ３を実現するためのＯＲ型の電極構造とAND型の電極構造の組み合わせを示す図である。
【図３１】色・感度モザイクパターンＰ４を実現するためのＯＲ型の電極構造とAND型の電極構造の組み合わせを示す図である。
【図３２】色・感度モザイクパターンＰ５を実現するためのＯＲ型の電極構造とAND型の電極構造の組み合わせを示す図である。
【図３３】画像処理部７の構成例を示すブロック図である。
【図３４】図３３の色バランス補正部６１の第１の構成例を示すブロック図である。
【図３５】図３３の色バランス補正部６１の第２の構成例を示すブロック図である。
【図３６】図３３の画像合成部６３Ｒの構成例を示すブロック図である。
【図３７】合成感度補償部９２によって導出される合成感度補償関数について説明するための図である。
【図３８】合成感度補償部９２によって導出される合成感度補償関数について説明するための図である。
【図３９】合成感度補償部９２によって導出される合成感度補償関数を示す図である。
【図４０】画像処理部７によるデモザイク処理を説明するフローチャートである。
【図４１】図３４に示した色バランス補正部６１の第１の構成例による動作を説明するフローチャートである。
【図４２】図３５に示した色バランス補正部６１の第１の構成例による動作を説明するフローチャートである。
【図４３】画像合成部６３Ｒによる色画像合成処理を説明するフローチャートである。
【符号の説明】
７ 画像処理部， １４ 制御部， １６ 磁気ディスク， １７ 光ディスク， １８ 光磁気ディスク， １９ 半導体メモリ， ６１ 色バランス補正部， ６２ 感度別色画像生成部， ６３Ｒ，６３Ｇ，６３Ｂ 画像合成部， ７１ 色バランス算出部， ７２ 色バランス調整部， ８１ 感度別色バランス算出部， ８２ 感度別色バランス情報合成部， ８３ 色バランス調整部，９１ 加算部， ９２ 合成感度補償部
【発明の属する技術分野】
本発明は、画像処理装置および方法、プログラム、並びに記録媒体に関し、例えば、単板式CCDイメージセンサ等を用いて取得した画像信号から、広ダイナミックレンジのカラー画像信号を生成する場合に用いて好適な画像処理装置および方法、プログラム、並びに記録媒体に関する。
【０００２】
【従来の技術】
CCD(Charge Coupled Device)やCMOS(Complementary Mental-Oxide Semiconductor)等のような固体撮像素子が、ビデオカメラやディジタルスチルカメラ等の撮像装置、ＦＡ(Factory Automation)の分野における部品検査装置、およびＭＥ(Medical Electronics)の分野における電子内視鏡等の光計測装置に幅広く利用されている。
【０００３】
従来、固体撮像素子を用いた撮像装置および光計測機器のダイナミックレンジを向上させるために、画素毎に異なる感度で計測した光強度信号を合成する方法が知られている。以下、そのような第１乃至第４の従来方法について説明する。
【０００４】
第１の従来方法としては、光学的に複数の透過率の異なる光軸に分岐させた入射光をそれぞれの光軸上に配置させた固体撮像素子で計測する方法を挙げることができる。この方法は、特開平８−２２３４９１号公報等に開示されている。しかしながら、第１の方法では、複数の固体撮像素子および光を分岐させる複雑な光学系が必要となるので、省コスト化や省スペース化の面で不利である問題があった。
【０００５】
第２の従来方法としては、１つの固体撮像素子を用い、その露光時間を複数に分割して複数枚の画像を撮像した後、それらを合成する方法を挙げることができる。この方法は、特開平８−３３１４６１号公報等に開示されている。しかしながら、第２の方法では、異なる感度で計測された情報は異なる時刻に撮像されたものであり、かつ、異なる時間幅で撮像されているので、光強度が時々刻々と変化するような動的なシーンを正しく撮像できないという問題があった。
【０００６】
第３の従来方法としては、１つの固体撮像素子を用い、固体撮像素子の撮像面で互いに隣接する複数の受光素子を１組として、受光素子の１組を出力画像の１画素に対応させるようにし、１組を構成する複数の受光素子の感度をそれぞれ異なるように設定して撮像する方法を挙げることができる。この方法は、米国特許第５７８９７３７号公報等に開示されている。固体撮像素子を構成する受光素子のそれぞれの感度を変化させる方法としては、各受光素子を透過率の異なるフィルタで覆う方法がある。また、特開２０００−６９４９１号公報には、第３の従来方法をカラー画像に適応する技術が開示されている。
【０００７】
第３の従来方法によれば、第１の従来方法において問題であった省コスト化や省スペース化の面で有利となる。また、第２の従来方法において問題であった動的シーンを正しく撮像できないことを解決することができる。しかしながら、第３の従来方法では、隣接する複数の受光素子を１組として出力画像の１画素に対応させるので、出力画素の解像度を確保するためには、出力画像の画素数の数倍の受光素子から成る撮像素子が必要であり、ユニットセルサイズが大きくなる課題があった。
【０００８】
第４の従来方法としては、通常のダイナミックレンジを有する撮像素子に、出力画像の１画素に対応する１つの受光素子毎、その露出が異なるような仕組みを施して撮像し、得られた画像信号に所定の画像処理を施して広ダイナミックレンジの画像信号を生成する方法を挙げることができる。受光素子毎の露出が異なるような仕組みは、受光素子毎に光の透過率や開口率を変えたりすることによって、空間的な感度のパターンをつくることにより実現する。この方法は、文献「S.K.Nayar and T.Mitsunaga,"High Dynamic Range Imaging:Spatially Varying Pixel Exposures",Proc. of Computer Vision and Pattern Recognition 2000,Vol.1,pp.472-479,June,2000」に開示されている。
【０００９】
第４の従来方法では、各受光素子は１種類の感度だけを有する。よって、撮像された画像の各画素は本来の撮像素子が有するダイナミックレンジの情報だけしか取得することができないが、得られた画像信号に所定の画像処理を施し、全ての画素の感度が均一になるようにすることによって、結果的にダイナミックレンジが広い画像を生成することができる。また、全ての受光素子が同時に露光するので、動きのある被写体を正しく撮像することができる。さらに、１つの受光素子が出力画像の１画素に対応しているので、ユニットセルサイズが大きくなる問題も生じない。
【００１０】
【発明が解決しようとする課題】
上述したように、第４の従来方法は、第１乃至第３の従来方法の問題を解決することが可能である。しかしながら、第４の従来方法は、ダイナミックレンジが広いモノクロ画像を生成することを前提としたものであり、ダイナミックレンジが広いカラー画像を生成することについては、その技術が確立されていない課題があった。具体的には、画素毎に色や感度が異なる画像を元に、全ての画素が全ての色成分を有し、かつ、感度を均一化する技術は確立されていない課題があった。
【００１１】
したがって、第４の従来技術をカラー画像に適用する場合における色バランスの補正方法についても確立されていない課題があった。
【００１２】
また、第４の従来技術の応用として、撮像する画像の各画素の対応する撮像素子の感度の違いを、撮像素子の読み出しタイミングを変えることで実現する場合において、動きのある被写体を撮像した場合、低感度の画素と高感度の画素とに露出時間が異なることに起因する情報差が発生してしまい、それを局所的に処理すると動きのある被写体のブレ部分にノイズが残ってしまう課題があった。
【００１３】
本発明はこのような状況に鑑みてなされたものであり、画素毎に色や感度が異なる色・感度モザイク画像を元にして、各画素の感度特性が均一化されており、かつ、各画素が色バランスの調整された全ての色成分を有し、かつ、ノイズが抑制された復元画像を生成できるようにすることを目的とする。
【００１４】
【課題を解決するための手段】
本発明の画像処理装置は、色・感度モザイク画像に対応する色バランス情報を算出する色バランス情報算出手段と、色バランス情報に基づき、色・感度モザイク画像の色バランスを補正する補正手段とを含み、色バランス情報算出手段は、色・感度モザイク画像を構成する画素の感度特性毎に色成分に注目して感度別色バランス情報を算出し、算出した複数の感度別色バランス情報を合成して、色・感度モザイク画像に対応する色バランス情報を算出することを特徴とする。
【００２３】
本発明の画像処理装置は、色・感度モザイク画像の色成分と感度特性の配列を示す色・感度モザイクパターン情報に基づき、補正手段によって色バランスが補正された色・感度モザイク画像を元にして、各画素の感度特性が均一であって、かつ、各画素の単一の色成分を有する感度別色画像を生成する感度別色画像生成手段と、感度別色画像生成手段によって生成された、同一の色成分を有し、感度特性が異なる複数の感度別色画像を合成して広ダイナミックレンジの色画像を生成する合成手段とをさらに含むことができる。
【００２４】
前記感度別色画像生成手段は、補正手段によって色バランスが補正された色・感度モザイク画像を構成する全ての画素のうち、同一の感度特性を有し、かつ、同一の色成分を有する画素を用いた補間処理によって感度別色画像を生成するようにすることができる。
【００２５】
前記合成手段は、複数の感度別色画像の対応する画素同士を加算して加算画像を生成する加算手段と、加算画像を構成する画素の感度特性を補償する感度特性補償手段とを含むようにすることができる。
【００２６】
本発明の画像処理方法は、色・感度モザイク画像に対応する色バランス情報を算出する色バランス情報算出ステップと、色バランス情報に基づき、色・感度モザイク画像の色バランスを補正する補正ステップとを含み、色バランス情報算出ステップは、色・感度モザイク画像を構成する画素の感度特性毎に色成分に注目して感度別色バランス情報を算出し、算出した複数の感度別色バランス情報を合成して、色・感度モザイク画像に対応する色バランス情報を算出することを特徴とする。
【００２７】
本発明の記録媒体のプログラムは、色・感度モザイク画像に対応する色バランス情報を算出する色バランス情報算出ステップと、色バランス情報に基づき、色・感度モザイク画像の色バランスを補正する補正ステップとを含み、色バランス情報算出ステップは、色・感度モザイク画像を構成する画素の感度特性毎に色成分に注目して感度別色バランス情報を算出し、算出した複数の感度別色バランス情報を合成して、色・感度モザイク画像に対応する色バランス情報を算出する処理をコンピュータに実行させることを特徴とする。
【００２８】
本発明のプログラムは、色・感度モザイク画像に対応する色バランス情報を算出する色バランス情報算出ステップと、色バランス情報に基づき、色・感度モザイク画像の色バランスを補正する補正ステップとを含み、色バランス情報算出ステップは、色・感度モザイク画像を構成する画素の感度特性毎に色成分に注目して感度別色バランス情報を算出し、算出した複数の感度別色バランス情報を合成して、色・感度モザイク画像に対応する色バランス情報を算出する処理をコンピュータに実行させることを特徴とする。
【００３０】
本発明においては、色・感度モザイク画像に対応する色バランス情報が算出され、算出された色バランス情報に基づき、色・感度モザイク画像の色バランスが補正される。なお、色バランス情報算出では、色・感度モザイク画像を構成する画素の感度特性毎に色成分に注目して感度別色バランス情報が算出され、算出された複数の感度別色バランス情報が合成されて、色・感度モザイク画像に対応する色バランス情報が算出される。
【００３１】
【発明の実施の形態】
図１は、本発明の一実施の形態であるディジタルスチルカメラの構成例を示している。当該ディジタルスチルカメラは、大別して光学系、信号処理系、記録系、表示系、および制御系から構成される。
【００３２】
光学系は、被写体の光画像を集光するレンズ１、光画像の光量を調整する絞り２、および、集光された光画像を光電変換して電気信号に変換するCCDイメージセンサ４から構成される。
【００３３】
信号処理系は、CCDイメージセンサ４からの電気信号をサンプリングすることによってノイズを低減させる相関２重サンプリング回路(CDS:Correlated Double Sampling)５、相関２重サンプリング回路５が出力するアナログ信号をディジタル信号に変換するＡ／Ｄコンバータ６、Ａ／Ｄコンバータ６から入力されるディジタル信号に所定の画像処理を施す画像処理部７から構成される。なお、画像処理部７が実行する処理の詳細については後述する。
【００３４】
記録系は、画像処理部７が処理した画像信号を符号化してメモリ９に記録し、また、読み出して復号し、画像処理部７に供給するCODEC(Compression/Decompression)８、および、画像信号を記憶するメモリ９から構成される。
【００３５】
表示系は、画像処理部７が処理した画像信号をアナログ化するＤ／Ａコンバータ１０、アナログ化された画像信号を後段のディスプレイ１２に適合する形式のビデオ信号にエンコードするビデオエンコーダ１１、および、入力されるビデオ信号に対応する画像を表示することによってファインダとして機能するLCD(Liquid Crystal Display)等よりなるディスプレイ１２から構成される。
【００３６】
制御系は、CCDイメージセンサ４乃至画像処理部７の動作タイミングを制御するタイミングジェネレータ（ＴＧ）３、ユーザによるシャッタ操作やその他のコマンドを入力するための操作入力部１３、および、ドライブ１５を制御して磁気ディスク１６、光ディスク１７、光磁気ディスク１８、または半導体メモリ１９に記憶されている制御用プログラムを読み出し、読み出した制御用プログラム、操作入力部１３から入力されるユーザからのコマンド等に基づいてディジタルスチルカメラの全体を制御するCPU(Central Processing Unit)などよりなる制御部１４から構成される。
【００３７】
当該ディジタルスチルカメラにおいて、被写体の光学画像（入射光）は、レンズ１および絞り２を介してCCDイメージセンサ４に入射され、CCDイメージセンサ４によって光電変換されて電気信号となる。得られた電気信号は、相関２重サンプリング回路５によってノイズ成分が除去され、Ａ／Ｄコンバータ６によってディジタル化された後、画像処理部７が内蔵する画像メモリに一時格納される。
【００３８】
なお、通常の状態では、タイミングジェネレータ３による信号処理系に対する制御により、画像処理部７が内蔵する画像メモリには、一定のフレームレートで絶えず画像信号が上書きされるようになされている。画像処理部７が内蔵する画像メモリの画像信号は、Ｄ／Ａコンバータ１０によってアナログ信号に変換され、ビデオエンコーダ１１によってビデオ信号に変換されて対応する画像がディスプレイ１２に表示される。
【００３９】
ディスプレイ１２は、当該ディジタルスチルカメラのファインダの役割も担っている。ユーザが操作入力部１３に含まれるシャッタボタンを押下した場合、制御部１４は、タイミングジェネレータ３に対し、シャッタボタンが押下された直後の画像信号を保持するように、すなわち、画像処理部７の画像メモリに画像信号が上書きされないように信号処理系を制御する。画像処理部７の画像メモリに保持された画像データは、CODEC８によって符号化されてメモリ９に記録される。以上のようなディジタルスチルカメラの動作によって、１枚の画像データの取り込みが完了する。
【００４０】
次に、当該ディジタルスチルカメラの動作の概要について、図２を参照して説明する。当該ディジタルスチルカメラは、CCDイメージセンサ４を中心とする光学系の撮像処理によって、被写体を画素毎に異なる色と感度で撮像し、色と感度がモザイク状になった画像（以下、色・感度モザイク画像と記述し、その詳細は後述する）を得る。その後、画像処理部７を中心とする信号処理系により、撮像処理によって得られた色・感度モザイク画像を元に、各画素が全ての色成分を有し、かつ、均一の感度を有する広ダイナミックレンジ画像を生成される。以下、色・感度モザイク画像を元にして、各画素が全ての色成分を有し、かつ、均一の感度を有する広ダイナミックレンジ画像を生成する信号処理系の処理を、デモザイク処理とも記述する。
【００４１】
例えば、当該ディジタルスチルカメラによって図３に示すような被写体を撮影した場合、撮像処理により、図４に示すような色・感度モザイク画像が得られ、画像処理により、各画素が全ての色成分と均一の感度を有する広ダイナミックレンジ画像に変換される。すなわち、図４に示す色・感度モザイク画像を元にして図３に示す被写体の本来の色を広ダイナミックレンジで復元する。
【００４２】
次に、光学系の撮像処理によって得る色・感度モザイク画像の、画素の色成分および感度の配列パターン（以下、色・感度モザイクパターンと記述する）Ｐ１乃至Ｐ１４を図５乃至図１８に示す。
【００４３】
色・感度モザイクパターンを構成する色の組み合わせとしては、Ｒ（赤）、Ｇ（緑）、およびＢ（青）からなる３色の組合せの他、Ｙ（黄）、Ｍ（マゼンタ）、Ｃ（シアン）、およびＧ（緑）からなる４色の組合せ等が考えられる。感度の段階としては、Ｓ０およびＳ１から成る２段階の他、感度Ｓ２を追加した３段階、さらに、感度Ｓ３を追加した４段階等とすることができる。なお、色の種類や組み合わせおよび感度の段階は任意であり、上述した例に限定されるものではない。
【００４４】
図５乃至図１８においては、１マス目が１画素に対応しており、英文字がその色を示し、英文字の添え字として数字がその感度を示している。例えば、Ｇ0と表示された画素は、色がＧ（緑）であって、感度がＳ０であることを示している。また、感度については、数字が大きいほどより高感度である、すなわち、Ｓ０よりもＳ１の方が高感度である。
【００４５】
色・感度モザイクパターンＰ１乃至Ｐ１４は、以下に示す第１乃至第４の特徴によって分類することができる。
【００４６】
第１の特徴は、同一の色および感度を有する画素に注目した場合、それらが格子状に配列されており、かつ、感度に拘わらず同一の色を有する画素に注目した場合、それらが格子状に配列されていることである。第１の特徴について、図５に示す色・感度モザイクパターンＰ１を参照して説明する。
【００４７】
図５の色・感度モザイクパターンＰ１において、感度に拘わらず色がＲである画素に注目した場合、図面を右回りに４５度だけ回転させた状態で見れば明らかなように、それらは、水平方向には２1/2の間隔で、垂直方向には２3/2の間隔で格子状の配置されている。また、感度に拘わらず色がＢである画素に注目した場合、それらも同様に配置されている。感度に拘わらず色がＧである画素に注目した場合、それらは、水平方向および垂直方向に２1/2の間隔で格子状の配置されている。
【００４８】
なお、第１の特徴は、図５に示す色・感度モザイクパターンＰ１の他、色・感度モザイクパターンＰ２，Ｐ４，Ｐ６，Ｐ８，Ｐ９，Ｐ１０，Ｐ１１，Ｐ１３にも共通である。
【００４９】
第２の特徴は、同一の色および感度を有する画素に注目した場合、それらが格子状に配列されており、かつ、色に拘わらず同一の感度を有する画素に注目した場合、それらが格子状に配列されており、かつ、任意の画素に注目した場合、その画素とその上下左右に位置する４画素の合計５画素が有する色の中に、当該色・感度モザイクパターンに含まれる全ての色が含まれることである。
【００５０】
なお、第２の特徴は、図７に示す色・感度モザイクパターンＰ３の他、色・感度モザイクパターンＰ５，Ｐ７，Ｐ８，Ｐ９，Ｐ１２，Ｐ１４にも共通である。
【００５１】
第３の特徴は、第１の特徴を有しており、さらに、３種類の色が用いられていて、それらがベイヤ(Bayer)配列をなしていることである。第３の特徴について、図６に示す色・感度モザイクパターンＰ２を参照して説明する。
【００５２】
図６の色・感度モザイクパターンＰ２において、感度に拘わらず色がＧである画素に注目した場合、それらは１画素だけ間隔を空けて市松状に配置されている。感度に拘わらず色がＲである画素に注目した場合、それらは１ラインだけ間隔を空けて配置されている。また、感度に拘わらず色がＢである画素に注目した場合も同様に、１ラインだけ間隔を空けて配置されている。したがって、このパターンＰ２は、画素の色だけに注目すれば、ベイヤ配列をなしている。
【００５３】
なお、第３の特徴は、図６の色・感度モザイクパターンＰ２の他、色・感度モザイクパターンＰ１０，Ｐ１１にも共通である。
【００５４】
第４の特徴は、第２の特徴を有しており、さらに、同一の感度を有する画素に注目した場合、それらの配列がベイヤ配列をなしていることである。第４の特徴について、図７に示す色・感度モザイクパターンＰ３を参照して説明する。
【００５５】
図７の色・感度モザイクパターンＰ３において、感度Ｓ０の画素だけに注目した場合、図面を斜め４５度だけ回転させて見れば明らかなように、それらは２1/2の間隔を空けてベイヤ配列をなしている。また、感度Ｓ１の画素だけに注目した場合も同様に、それらはベイヤ配列をなしている。
【００５６】
なお、第４の特徴は、図７の色・感度モザイクパターンＰ３の他、色・感度モザイクパターンＰ５，Ｐ１２にも共通である。
【００５７】
ところで、以下、図５乃至図１８に示した色・感度モザイクパターンＰ１乃至Ｐ１４に関連し、画素の感度に拘わらず色の配列だけに注目して「色のモザイク配列」と記述する。また、色に拘わらず感度の配列だけに注目して「感度のモザイク配列」と記述する。
【００５８】
次に、CCDイメージセンサ４において上述した色・感度モザイクパターンを実現する方法について説明する。
【００５９】
色・感度モザイクパターンのうち、色のモザイク配列については、CCDイメージセンサ４の受光素子の上面に、画素毎に異なる色の光だけを透過させるオンチップカラーフィルタ２２（図１９）を配置することによって実現する。
【００６０】
また、色・感度モザイクパターンのうち、感度のモザイク配列については、光学的な方法、または電子的な方法によって実現する。
【００６１】
感度のモザイク配列を光学的に実現する方法について説明する。図１９は、CCDイメージセンサ４の受光素子の断面を示している。受光素子の上部表面には、オンチップレンズ２１が配置されている。オンチップレンズ２１は、図面上方から入射される光がフォトダイオード（ＰＤ）２３に集光されるようになされている。オンチップカラーフィルタ２２は、入射光の色を制限する（特定の波長帯域だけを透過させる）。受光素子の下部には、ウェハ中にフォトダイオード２３が形成されている。フォトダイオード２３は、入力された光量に対応して電荷を生じる。フォトダイオード２１の両脇には、垂直レジスタ２６が形成されている。垂直レジスタ２６の上部には、垂直レジスタ２１を駆動する垂直レジスタ駆動電極２５が配線されている。
【００６２】
垂直レジスタ２６は、フォトダイオード２３で生じた電荷を転送する領域である。垂直レジスタ２６と垂直レジスタ駆動電極２５は、そこで電荷が生じないように、シールド２４によって遮光されている。シールド２４は、フォトダイオード２３の上部だけが開口しており、その開口部分を入射光が通過してフォトダイオード２３に到達するようになされている。
【００６３】
以上説明したように構成されるCCDイメージセンサ４は、下記の方法によって各受光素子の感度を変えることができる（フォトダイオード２３に対する入射光量を変化させることができる）。
【００６４】
例えば、図２０に示すように、隣接する受光素子の一方にはオンチップレンズ２１を設け、他方にはオンチップレンズ２１を設けないことにより、隣接する受光素子でそれぞれ集光される光量を変化させることができる。また、例えば図２１に示すように、オンチップカラーフィルタ２２の上方（または下方）にオンチップニュートラルデンシティ（ＮＤ）フィルタ３１を設置することにより、光の透過率を変えることができる。また、例えば図２２に示すように、隣接する受光素子のシールド２４の開口部分の面積を、一方を広く、他方を狭くすることにより、フォトダイオード２３に対する入射光量を変化させることができる。
【００６５】
次に、感度のモザイク配列を電子的に実現する２種類の方法について説明する。
【００６６】
第１の方法は、例えば、隣接する２つの受光素子（第1および第2の受光素子）に対し、制御のタイミングを違えることによって２つの受光素子を異なる感度に設定する方法である。第１の方法について、図２３を参照して説明する。
【００６７】
図２３Ａは、CCDイメージセンサ４の露光期間を示している。図２３Ｂは、電荷掃き出しを指令するパルス電圧のタイミングを示している。図２３Ｃは、電荷転送を指令する制御電圧が与えられるタイミングを示している。図２３Ｄは、第１の受光素子に対し、電荷読み出しを指令するパルス電圧のタイミングを示している。図２３Ｅは、電荷掃き出しパルス電圧および電荷読み出しパルス電圧が与えられることに対応して第１の受光素子に蓄積される電荷量の変化を示している。図２３Ｆは、第２の受光素子に対し、電荷読み出しを指令するパルス電圧のタイミングを示している。図２３Ｇは、電荷掃き出しパルス電圧および電荷読み出しパルス電圧が与えられることに対応して第２の受光素子に蓄積される電荷量の変化を示している。
【００６８】
感度のモザイク配列を電子的に実現する第１の方法において、電荷掃き出しパルス電圧は、第１および第２の受光素子に対し共通して、露光期間以外においては、フォトダイオード２３から電荷を掃き出しさせる（リセットさせる）ように供給され、露光期間中においては、所定のタイミングで１回だけ電荷をリセットするために供給される。
【００６９】
電荷転送電圧は、露光期間以外においては、第１および第２の受光素子に対し共通して垂直レジスタ２６に電荷を転送させるための波形電圧が供給され、露光期間中においては、垂直レジスタ２６からの電荷の転送が停止されるように電荷転送電圧は供給されない。
【００７０】
電荷読み出しパルス電圧は、各受光素子に対して異なるタイミングで供給される。第１の受光素子に対しては、露光期間中の電荷掃き出しパルス電圧の供給タイミング（図２３Ｂ）の直前に、１回目の電荷読み出しパルス電圧が供給され、露光期間中の終了の直前に２回目の電荷読み出しパルス電圧が供給される。
【００７１】
その結果、第１の受光素子からは、１回目および２回目の電荷読み出しパルス電圧の供給タイミングのそれぞれにおける第１の受光素子の蓄積電荷量が垂直レジスタ２６に読み出される。なお、露光期間中は垂直レジスタ２６の電荷の転送は停止されているので、それら２回の読み出し電荷量が垂直レジスタ２６の中で加算され、露光期間終了後に同じフレームのデータとして垂直レジスタ２６から転送されるようになされている。
【００７２】
一方、第２の受光素子に対しては、露光期間中の電荷掃き出しパルス電圧の供給タイミングの直前に１回だけ電荷読み出しパルス電圧が供給される。その結果、第２の受光素子からは、１回だけの電荷読み出しパルス電圧の供給タイミングにおける第２の受光素子の蓄積電荷量が垂直レジスタ２６に読み出される。なお、露光期間中は垂直レジスタ２３の電荷の転送は停止されているので、第２の受光素子から読み出された蓄積電荷は、露光期間終了後に、第１の受光素子から読み出された蓄積電荷と同じフレームのデータとして垂直レジスタ２６から転送されるようになされている。
【００７３】
以上のように、第１の受光素子に対する制御タイミングと、第２の受光素子とに対する制御タイミングとが異なるようすることにより、同じ露光期間中に第１の受光素子殻読み出される蓄積電荷量と、第２の受光素子から読み出される蓄積電荷量、すなわち感度が異なるように設定することができる。
【００７４】
しかしながら、感度のモザイク配列を電子的に実現する第１の方法では、受光素子によっては露光期間中の全域にわたる被写体の情報を計測できないことが短所である。
【００７５】
次に、感度のモザイク配列を電子的に実現する第２の方法について、図２４を参照して説明する。図２４Ａ乃至図２４Ｇはそれぞれ、図２３Ａ乃至図２３Ｇと同様に、CCDイメージセンサ４の露光期間、電荷掃き出しを指令するパルス電圧のタイミング、電荷転送を指令する制御電圧が与えられるタイミング、第１の受光素子に対して電荷読み出しを指令するパルス電圧のタイミング、電荷掃き出しパルス電圧および電荷読み出しパルス電圧が与えられることに対応して第１の受光素子に蓄積される電荷量の変化、第２の受光素子に対する電荷読み出しを指令するパルス電圧のタイミング、電荷掃き出しパルス電圧および電荷読み出しパルス電圧が与えられることに対応して第２の受光素子に蓄積される電荷量の変化を示している。
【００７６】
感度のモザイク配列を電子的に実現する第２の方法においては、露光期間中において、電荷掃き出しパルス電圧および電荷読み出しパルス電圧が複数回繰り返して供給される。
【００７７】
すなわち、電荷掃き出しパルス電圧については、第１および第２の受光素子の双方に対し、露光期間中において、１回目の電荷掃き出しパルス電圧と２回目の電荷掃き出しパルス電圧の組が複数回供給される。電荷読み出しパルス電圧については、第１の受光素子に対しては、１回目および２回目の電荷掃き出しパルス電圧の組毎に、１回目の電荷掃き出しパルス電圧の直前に１回目の電荷読み出しパルス電圧が供給され、２回目の電荷掃き出しパルス電圧の直前に２回目の電荷読み出しパルス電圧が供給される。一方、第２の受光素子に対しては、電荷掃き出しパルス電圧の組毎に、１回目の電荷掃き出しパルス電圧の直前に１回だけ電荷読み出しパルス電圧が供給される。
【００７８】
その結果、第１の受光素子からは、１回目および２回目の電荷掃き出しパルス電圧の組毎に、１回目の電荷読み出しパルス電圧の供給タイミングにおける第１の受光素子の蓄積電荷量と、２回目の電荷読み出しパルス電圧の供給タイミングにおける第１の受光素子の蓄積電荷量が読み出される。なお、露光期間中は、垂直レジスタ２６の電荷の転送が停止されているので、これら組毎に２回ずつ読み出された電荷量は、垂直レジスタ２６で加算される。第２の受光素子からは、１回目および２回目の電荷掃き出しパルス電圧の組毎に１回だけ供給される電荷読み出しパルス電圧の供給タイミングにおける第２の受光素子の蓄積電荷量が読み出される。これら組ごとに１回ずつ読み出された電荷量は、垂直レジスタ２６の中で加算される。
【００７９】
以上のように、感度のモザイク配列を電子的に実現する第２の方法では、露光期間において電荷の読み出しを複数に亘って繰り返すことになるので、露光期間中の全域にわたる被写体の情報を計測することが可能となる。すなわち、第２の方法は、上述した第１の方法の短所を解決することが可能である。
【００８０】
なお、上述した感度のモザイク配列を電子的に実現する第１および第２の方法に関連し、一般的に、CCDイメージセンサ４の読み出し制御は、水平ライン毎に配線される垂直レジスタ駆動電極２５に印加される。例えば、図５に示した色・感度モザイクパターンＰ１のように、水平ライン毎に感度が変わるような感度のモザイク配列を実現するためには、その電極構造を利用すればよいので、ラインごとに異なる読み出しパルス電圧が印加されるように若干の改良をおこなえばよい。さらに、３相駆動の垂直レジスタを持つプログレッシブスキャンのCCDイメージセンサにおいては、その電極構造を工夫することによって、２段階感度による任意のモザイク配列を電子的に実現できる。
【００８１】
図２５は、２段階の感度のモザイク配列を実現するために用いる電極配線による垂直転送用ポリシリコン電極の第１の電極構造を示している。図２６は、図２５の図中の線分ａａ’におけるCCDイメージセンサの断面図を示している。第１相垂直レジスタ駆動電極４２および第２相垂直レジスタ駆動電極４３は、同じ水平ライン上で隣接する画素の電極と連結しているので、同一水平ライン上の電極は同期して駆動される。一方、第３相垂直レジスタ駆動電極４４は、同じ垂直ライン上で隣接する画素の電極と連結しているので、同一垂直ライン上の電極は同期して駆動される。また、第２相垂直レジスタ駆動電極４３および第３相垂直レジスタ駆動電極４４は、対応するフォトダイオ−ド２３に隣接する読み出しゲ−ト４１上にもかかるようになされている。
【００８２】
したがって、第２相垂直レジスタ駆動電極４３、または第３相垂直レジスタ駆動電極４４に読み出しパルスを印加した場合、読み出しゲ−ト４１のバリアを一時的に取り除き、対応するフォトダイオ−ド２３に蓄積されている電荷を垂直レジスタ２６に転送することが可能である。以下、図２５および図２６に示した電極構造をＯＲ型の電極構造と記述する。
【００８３】
図２７は、２段階の感度を有する感度のモザイク配列を実現するために用いる電極配線による垂直転送用ポリシリコン電極の第２の電極構造を示している。図２７の図中の線分ａａ’におけるCCDイメージセンサの断面も、図２６に示した断面図と同様である。すなわち、第２の電極構造においても、第１の電極構造と同様に、第１相垂直レジスタ駆動電極４２および第２相垂直レジスタ駆動電極４３は、同じ水平ライン上で隣接する画素の電極と連結しているので、同一水平ライン上の電極は同期して駆動される。第３相垂直レジスタ駆動電極４４は、第１の電極構造と同様に、同じ垂直ライン上で隣接する画素の電極と連結しているので、同一垂直ライン上の電極は同期して駆動される。
【００８４】
しかしながら、第３相垂直レジスタ駆動電極４４が対応するフォトダイオ−ド２３に隣接する読み出しゲート４１上において、当該フォトダイオ−ド２３の辺縁部分に沿って配置され、次いでそれに隣接するように第２相垂直レジスタ駆動電極４３の細長く加工された部分が読み出しゲート４１にかかるようになされている点が第１の電極構造と異なる。
【００８５】
したがって、第２相垂直レジスタ駆動電極４３および第３相垂直レジスタ駆動電極４４のうち、一方だけに読み出しパルスを印加した場合、読み出しゲ−ト４１のバリアを取り除くことができない。読み出しゲ−ト４１のバリアを取り除き、フォトダイオ−ド２３に蓄積されている電荷を垂直レジスタ２６に転送するためには、第２相垂直レジスタ駆動電極４３と第３相垂直レジスタ駆動電極４４に同時に読み出しパルスを印加する必要がある。以下、図２７に示した電極構造をAND型の電極構造と記述する。
【００８６】
以上説明したＯＲ型の電極構造とAND型の電極構造を１つのCCDイメージセンサ内で組み合わせて用いることにより、２段階感度による任意のモザイク配列を実現することができる。例えば、図５に示した色・感度モザイクパターンＰ１のうち、感度のモザイク配列を実現するためには、図２８に示すようにＯＲ型の電極構造とAND型の電極構造を組み合わせればよい。
【００８７】
図５と図２８を比較すれば明らかなように、２段階の感度Ｓ０，Ｓ１のうち、低感度Ｓ０の画素にはAND型の電極構造を採用し、高感度Ｓ１の画素にはＯＲ型の電極構造を採用するようにする。このように、ＯＲ型とAND型の電極構造を組み合わせて構成したCCDイメージセンサ４に対し、その第２相垂直レジスタ駆動電極４３に読み出しパルス電圧を印加すれば、ＯＲ型の画素だけで電荷読み出しがおこなわれ、第２相垂直レジスタ駆動電極４３および第３相垂直レジスタ駆動電極４４に同時に読みだしパルス電圧を印加すれば、ＯＲ型とAND型の両方、すなわち全ての画素で電荷読み出しがおこなわれることになる。
【００８８】
なお、第２相垂直レジスタ駆動電極４３、および第３相垂直レジスタ駆動電極４４に対するパルス電圧の供給タイミングは、図２４（図２３でもよい）に示した制御タイミングのうち、同図Ｄの１回目の電荷読み出しパルス電圧の供給タイミングと、同図Ｆの電荷読み出しパルス電圧の供給タイミングにおいて、第２相垂直レジスタ駆動電極４３および第３相垂直レジスタ駆動電極４４の両方を駆動し、同図Ｄの２回目の電荷読み出しパルス電圧の供給タイミングにおいて第２相垂直レジスタ駆動電極４３だけを駆動するようにすれば、ＯＲ型の電極構造の画素は高感度Ｓ１となり、AND型の電極構造の画素は低感度Ｓ０となる。
【００８９】
同様に、２段階の感度を有するその他の感度のモザイク配列も、ＯＲ型の電極構造とAND型の電極構造を組み合わせることによって実現することができる。
【００９０】
例えば、図６に示した色・感度モザイクパターンＰ２のうち、感度のモザイクパターンを実現するためには、ＯＲ型とAND型を図２９に示すように組み合わせればよい。図７に示した色・感度モザイクパターンＰ３のうち、感度のモザイクパターンを実現するためには、ＯＲ型とAND型を図３０に示すように組み合わせればよい。図８に示した色・感度モザイクパターンＰ４のうち、感度のモザイクパターンを実現するためには、ＯＲ型とAND型を図３１に示すように組み合わせればよい。図９に示した色・感度モザイクパターンＰ５のうち、感度のモザイクパターンを実現するためには、ＯＲ型とAND型を図３２に示すように組み合わせればよい。
【００９１】
次に、図３３は、入力される色・感度モザイク画像を元にして、各画素が全ての色成分を有し、かつ、感度が均一である広ダイナミックレンジ画像を生成するデモザイク処理を実行する画像処理部７の構成例を示している。
【００９２】
なお、図３３においては、色・感度モザイクパターンＰ１の色・感度モザイク画像が入力されるように図示されているが、入力する色・感度モザイク画像の色・感度モザイクパターンは任意である。
【００９３】
また、画像処理部７を構成する各部には、入力される色・感度モザイク画像の色・感度モザイクパターンを示す情報が供給されているものとする。
【００９４】
また、図３３においては、出力結果としての各画素が全ての色成分を有し、かつ、感度が均一である広ダイナミックレンジ画像を、各画素の感度が均一である広ダイナミックレンジの３種類の色画像として示している。
【００９５】
色バランス補正部６１は、入力される色・モザイク画像の色バランスを補正して、補正済みの色・モザイク画像を感度別色画像生成部６２に出力する。ここで、色バランスを補正する処理とは、一般にホワイトバランス処理と呼ばれている処理であり、各色の平均を算出して用いてもよいし、既存の統計情報を用いてもよい。
【００９６】
図３４は、色バランス補正部６１の第１の構成例を示している。色バランス算出部７１は、入力される色・感度モザイク画像の全体から１つの色バランス情報を算出する。その方法は、各色の平均を算出して用いてもよいし、既存の統計情報を用いてもよい。色バランス調整部７２は、色バランス算出部７１によって算出される色バランス情報に基づき、入力される色・感度モザイク画像の色バランスを補正する。色バランス補正済みの色・感度モザイク画像は、感度別色画像生成部６２に供給される。
【００９７】
図３５は、色バランス補正部６１の第２の構成例を示している。感度別色バランス算出部８１は、入力される色・感度モザイク画像の感度毎の色バランス情報を算出する。その方法は、各感度について、各色の平均を算出して用いてもよいし、既存の統計情報を用いてもよい。図３５の場合、感度Ｓ０の色バランス情報と、感度Ｓ１の色バランス情報が算出される。
【００９８】
感度別色バランス情報合成部８２は、感度別色バランス算出部８１によって算出される感度別の色バランス情報を合成して１つの色バランス情報を生成する。色バランス調整部８３は、感度別色バランス情報合成部８２によって生成される色バランス情報に基づき、入力される色・感度モザイク画像の色バランスを補正する。色バランス補正済みの色・感度モザイク画像は、感度別色画像生成部６２に供給される。
【００９９】
図３３に戻る。感度別色画像生成部６２は、入力される色バランス補正済みの色・感度モザイク画像のうち、同一の感度および色成分を有する画素を用いた補間によって感度別色画像を生成する。いまの場合、例えば、色バランス補正済みの色・感度モザイク画像のうちの感度Ｓ０でＲ成分の画素だけに注目して、補間により、感度Ｓ０でＲ成分の画素だけで構成される感度別色画像Ｒ０を生成する。同様に、感度Ｓ１でＲ成分の画素だけで構成される感度別色画像Ｒ１、感度Ｓ０でＧ成分の画素だけで構成される感度別色画像Ｇ０、感度Ｓ１でＧ成分の画素だけで構成される感度別色画像Ｇ１、感度Ｓ０でＢ成分の画素だけで構成される感度別色画像Ｂ０、および、感度Ｓ１でＢ成分の画素だけで構成される感度別色画像Ｂ１を生成する。なお、補間以外の方法によって、感度別色画像を生成するようにしてもよい。
【０１００】
画像合成部６３Ｒは、感度別色画像生成部６２によって生成される感度別色画像Ｒ０，Ｒ１の対応する画素対を合成して広ダイナミックレンジの色画像Ｒを生成する。
【０１０１】
図３６は、画像合成部６３Ｒの構成例を示している。加算部９１は、感度別色画像生成部６２によって生成される感度別色画像Ｒ０，Ｒ１の同一座標の画素対を加算することによって加算画像を生成し、合成感度補償部９２に出力する。合成感度補償部９２は、合成感度補償関数を導出し、加算画像の画素（Ｒ0＋Ｒ1）に対して、導出する合成感度補償関数を用いて感度補償を施して広ダイナミックレンジの色画像Ｒを生成する。
【０１０２】
ここで、合成感度補償部推定部９２が導出する合成感度補償関数について、図３７乃至図３９を参照して説明する。図３７において、横軸は入射光の強度、縦軸は画素値を示しており、線ａ，ｂは、それぞれ、感度Ｓ０，Ｓ１の画素の感度特性を示している。同図において、高い方の感度Ｓ１（線ｂ）は、低い方の感度Ｓ０（線ａ）に対して４倍の感度を有している。
【０１０３】
合成感度補償部９２の前段である加算部９１においては、図３７の特性曲線ａに示すような感度特性で取得された画素Ｒ0と、同図の特性曲線ｂに示すような感度特性で取得された感度Ｓ１の画素Ｒ1が加算されている。従って、それらの加算値Ｒ0＋Ｒ1は、特性曲線ａと特性曲線ｂを合成した、図３８の特性曲線ｃが示す感度特性を有することになる。
【０１０４】
したがって、加算画像の画素（Ｒ0＋Ｒ1）は、広ダイナミックレンジではあるが、その感度特性は、図３８の特性曲線ｃのように非線形（折れ線）となっている。そこで、非線形である加算画像の画素（Ｒ0＋Ｒ1）の感度特性が線形となるように補償するために、加算画像の画素（Ｒ0＋Ｒ1）に、特性曲線ｃの逆特性曲線ｄ（図３９）を合成感度補償関数として導出する。
【０１０５】
なお、合成感度補償部９２が処理毎に合成感度補償関数を導出するのではなく、合成感度補償関数を合成感度補償部９２に予め供給するようにしてもよい。また、合成感度補償関数の代わりに、ルックアップテーブルを用いるようにしてもよい。
【０１０６】
図３３に戻る。画像合成部６３Ｇは、感度別色画像生成部６２によって生成される感度別色画像Ｇ０，Ｇ１の対応する画素対を合成して広ダイナミックレンジの色画像Ｇを生成する。画像合成部６３Ｂは、感度別色画像生成部６２によって生成される感度別色画像Ｂ０，Ｂ１の対応する画素対を合成して広ダイナミックレンジの色画像Ｂを生成する。なお、画像合成部６３Ｇ，６３Ｒの構成例は、図３６に示した画像合成部６３Ｒの構成例と同様であるので、その説明は省略する。
【０１０７】
次に、画像処理部７によるデモザイク処理について、図４０のフローチャートを参照して説明する。
【０１０８】
なお、既に画像処理部７には、色・感度モザイク画像と、色・感度モザイク画像の色・感度モザイクパターンを示す情報が供給されているものとする。
【０１０９】
ステップＳ１において、色バランス補正部６１は、供給された色・モザイク画像の色バランスを補正する。具体的には、図４１または図４２のフローチャートに示す動作により、供給された色・モザイク画像の色バランスを補正する。その後、色バランス補正部６１は、色バランス補正済みの色・感度モザイク画像を、感度別色画像生成部６２に供給する。
【０１１０】
図４１のフローチャートは、色バランス補正部６１の第１の構成例に対応する動作を示している。ステップＳ１１において、色バランス算出部７１は、入力された色・感度モザイク画像の全体から１つの色バランス情報を算出する。ステップＳ１２において、色バランス調整部７２は、色バランス算出部７１によって算出された色バランス情報に基づき、入力された色・感度モザイク画像の色バランスを調整する。
【０１１１】
図４２のフローチャートは、色バランス補正部６１の第２の構成例に対応する動作を示している。ステップＳ２１において、感度別色バランス算出部８１は、入力された色・感度モザイク画像のうち、感度Ｓ０の画素に基づいて感度Ｓ０の色バランス情報を生成し、感度Ｓ１の画素に基づいて感度Ｓ１の色バランス情報を生成する。ステップＳ２２において、感度別色バランス情報合成部８２は、感度別色バランス算出部８１によって算出された、感度Ｓ０の色バランス情報、および感度Ｓ１の色バランス情報を合成して１つの色バランス情報を生成する。ステップＳ２３において、色バランス調整部８３は、感度別色バランス情報合成部８２によって生成された色バランス情報に基づき、入力された色・感度モザイク画像の色バランスを補正する。
【０１１２】
図４０に戻る。ステップＳ２において、感度別色画像生成部６２は、色バランス補正部６１から供給された色バランス補正済みの色・感度モザイク画像に基づいて感度別色画像を生成する。
【０１１３】
ステップＳ３において、画像合成部６３Ｒは、感度別色画像生成部６２によって生成された感度別色画像Ｒ０，Ｒ１の対応する画素対を合成して広ダイナミックレンジの色画像Ｒを生成する。画像合成部６３Ｇは、感度別色画像生成部６２によって生成された感度別色画像Ｇ０，Ｇ１の対応する画素対を合成して広ダイナミックレンジの色画像Ｇを生成する。画像合成部６３Ｂは、感度別色画像生成部６２によって生成された感度別色画像Ｂ０，Ｂ１の対応する画素対を合成して広ダイナミックレンジの色画像Ｂを生成する。
【０１１４】
ステップＳ３の画像合成部６３Ｒによる、広ダイナミックレンジの色画像Ｒを生成する処理について、図４３を参照して説明する。ステップＳ３１において、加算部９１は、感度別色画像生成部６２によって生成された感度別色画像Ｒ０，Ｒ１の同一座標の画素対を加算して加算画像を生成し、合成感度補償部９２に出力する。ステップＳ３２において、合成感度補償部９２は、合成感度補償関数を導出する。なお、加算部９１によるステップＳ３１の処理と、合成感度補償部９２によるステップＳ３２の処理は、平行して同時に実行するようにしてもよい。
【０１１５】
ステップＳ３３において、合成感度補償部９２は、加算画像の画素（Ｒ0＋Ｒ1）に対し、導出した合成感度補償関数を用いて感度補償を施すことによって、広ダイナミックレンジの色画像Ｒを生成する。
【０１１６】
なお、画像合成部６３Ｇ，６３Ｂのそれぞれによる、広ダイナミックレンジの色画像Ｇ，Ｂを生成する処理も同様である。
【０１１７】
図４０に戻る。以上、画像処理部７によるデモザイク処理の説明を終了する。
【０１１８】
以上のように、画像処理部７によれば、色・感度モザイク画像を元にして、全ての画素に対し、全色を均一な感度で復元することが可能となる。これにより、広ダイナミックレンジ画像を生成することが可能となる。
【０１１９】
また、特に、感度別色画像を生成した後に色別画像を生成することにより、撮像素子が露出時間を変更することで感度を変える方式の場合に発生する動きのある被写体のブレ部分のノイズを緩和することができ、動被写体のブレ部分の再現性を向上させることが可能となる。
【０１２０】
さらに、色・感度モザイク画像の全ての画素に対して、１つの色バランス情報を用いて補正を行うことにより、適正な色バランス補正を施すことが可能となる。
【０１２１】
なお、上述したように、画像処理部７によるデモザイク処理は任意の色・感度モザイクパターンを有する色・感度モザイク画像に対して施すことが可能であるが、特に、色・感度モザイクパターンＰ１の色・感度モザイク画像を処理対象とする場合において上述した効果を奏することができる。
【０１２２】
また、本発明は、本実施の形態のようなディジタルスチルカメラの他、画像処理を実施するあらゆる機器に適用することが可能である。
【０１２３】
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【０１２４】
この記録媒体は、図１に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク１６（フロッピディスクを含む）、光ディスク１７（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク１８（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリ１９などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているROMやハードディスクなどで構成される。
【０１２５】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１２６】
【発明の効果】
以上のように、本発明によれば、画素毎に色や感度が異なる色・感度モザイク画像を元にして、各画素の感度特性が均一化されており、かつ、各画素が色バランスの調整された全ての色成分を有し、かつ、ノイズが抑制された復元画像を生成することが可能となる。
【図面の簡単な説明】
【図１】本発明を適用したディジタルスチルカメラの構成例を示すブロック図である。
【図２】ディジタルスチルカメラの動作の概要を説明する図である。
【図３】被写体の一例を示す図である。
【図４】図３に対応する色・感度モザイク画像の一例を示す図である。
【図５】色・感度モザイクパターンＰ１を示す図である。
【図６】色・感度モザイクパターンＰ２を示す図である。
【図７】色・感度モザイクパターンＰ３を示す図である。
【図８】色・感度モザイクパターンＰ４を示す図である。
【図９】色・感度モザイクパターンＰ５を示す図である。
【図１０】色・感度モザイクパターンＰ６を示す図である。
【図１１】色・感度モザイクパターンＰ７を示す図である。
【図１２】色・感度モザイクパターンＰ８を示す図である。
【図１３】色・感度モザイクパターンＰ９を示す図である。
【図１４】色・感度モザイクパターンＰ１０を示す図である。
【図１５】色・感度モザイクパターンＰ１１を示す図である。
【図１６】色・感度モザイクパターンＰ１２を示す図である。
【図１７】色・感度モザイクパターンＰ１３を示す図である。
【図１８】色・感度モザイクパターンＰ１４を示す図である。
【図１９】 CCDイメージセンサ４の受光素子の断面を示す図である。
【図２０】感度のモザイク配列をオンチップレンズ２１の有無に実現する方法を説明するための図である。
【図２１】感度のモザイク配列をオンチップＮＤフィルタ３１の有無によって実現する方法を説明するための図である。
【図２２】感度のモザイク配列をシールド２４の開口部分の面積の広狭によって実現する方法を説明するための図である。
【図２３】感度のモザイク配列を電子的に実現する第１の方法を説明するための図である。
【図２４】感度のモザイク配列を電子的に実現する第２の方法を説明するための図である。
【図２５】ＯＲ型の電極構造を示す図である。
【図２６】ＯＲ型の電極構造の断面を示す図である。
【図２７】 AND型の電極構造を示す図である。
【図２８】色・感度モザイクパターンＰ１を実現するためのＯＲ型の電極構造とAND型の電極構造の組み合わせを示す図である。
【図２９】色・感度モザイクパターンＰ２を実現するためのＯＲ型の電極構造とAND型の電極構造の組み合わせを示す図である。
【図３０】色・感度モザイクパターンＰ３を実現するためのＯＲ型の電極構造とAND型の電極構造の組み合わせを示す図である。
【図３１】色・感度モザイクパターンＰ４を実現するためのＯＲ型の電極構造とAND型の電極構造の組み合わせを示す図である。
【図３２】色・感度モザイクパターンＰ５を実現するためのＯＲ型の電極構造とAND型の電極構造の組み合わせを示す図である。
【図３３】画像処理部７の構成例を示すブロック図である。
【図３４】図３３の色バランス補正部６１の第１の構成例を示すブロック図である。
【図３５】図３３の色バランス補正部６１の第２の構成例を示すブロック図である。
【図３６】図３３の画像合成部６３Ｒの構成例を示すブロック図である。
【図３７】合成感度補償部９２によって導出される合成感度補償関数について説明するための図である。
【図３８】合成感度補償部９２によって導出される合成感度補償関数について説明するための図である。
【図３９】合成感度補償部９２によって導出される合成感度補償関数を示す図である。
【図４０】画像処理部７によるデモザイク処理を説明するフローチャートである。
【図４１】図３４に示した色バランス補正部６１の第１の構成例による動作を説明するフローチャートである。
【図４２】図３５に示した色バランス補正部６１の第１の構成例による動作を説明するフローチャートである。
【図４３】画像合成部６３Ｒによる色画像合成処理を説明するフローチャートである。
【符号の説明】
７ 画像処理部， １４ 制御部， １６ 磁気ディスク， １７ 光ディスク， １８ 光磁気ディスク， １９ 半導体メモリ， ６１ 色バランス補正部， ６２ 感度別色画像生成部， ６３Ｒ，６３Ｇ，６３Ｂ 画像合成部， ７１ 色バランス算出部， ７２ 色バランス調整部， ８１ 感度別色バランス算出部， ８２ 感度別色バランス情報合成部， ８３ 色バランス調整部，９１ 加算部， ９２ 合成感度補償部
Claims (7)
- 各画素が複数の色成分のうちのいずれかの色成分を有し、かつ、光強度に対する複数の感度特性のうちのいずれかの感度特性を有する色・感度モザイク画像を元にして、各画素の感度特性が均一化されており、かつ、各画素が前記複数の色成分を有する復元画像を生成する画像処理装置において、
前記色・感度モザイク画像に対応する色バランス情報を算出する色バランス情報算出手段と、
前記色バランス情報に基づき、前記色・感度モザイク画像の色バランスを補正する補正手段とを含み、
前記色バランス情報算出手段は、前記色・感度モザイク画像を構成する画素の感度特性毎に色成分に注目して感度別色バランス情報を算出し、算出した複数の前記感度別色バランス情報を合成して、前記色・感度モザイク画像に対応する前記色バランス情報を算出する
ことを特徴とする画像処理装置。 - 前記色・感度モザイク画像の色成分と感度特性の配列を示す色・感度モザイクパターン情報に基づき、前記補正手段によって色バランスが補正された前記色・感度モザイク画像を元にして、各画素の感度特性が均一であって、かつ、各画素の単一の色成分を有する感度別色画像を生成する感度別色画像生成手段と、
前記感度別色画像生成手段によって生成された、同一の色成分を有し、感度特性が異なる複数の前記感度別色画像を合成して広ダイナミックレンジの色画像を生成する合成手段と
をさらに含むことを特徴とする請求項１に記載の画像処理装置。 - 前記感度別色画像生成手段は、前記補正手段によって色バランスが補正された前記色・感度モザイク画像を構成する全ての画素のうち、同一の感度特性を有し、かつ、同一の色成分を有する画素を用いた補間処理によって前記感度別色画像を生成する
ことを特徴とする請求項２に記載の画像処理装置。 - 前記合成手段は、
前記複数の前記感度別色画像の対応する画素同士を加算して加算画像を生成する加算手段と、
前記加算画像を構成する画素の感度特性を補償する感度特性補償手段とを含む
ことを特徴とする請求項２に記載の画像処理装置。 - 各画素が複数の色成分のうちのいずれかの色成分を有し、かつ、光強度に対する複数の感度特性のうちのいずれかの感度特性を有する色・感度モザイク画像を元にして、各画素の感度特性が均一化されており、かつ、各画素が前記複数の色成分を有する復元画像を生成する画像処理装置の画像処理方法において、
前記色・感度モザイク画像に対応する色バランス情報を算出する色バランス情報算出ステップと、
前記色バランス情報に基づき、前記色・感度モザイク画像の色バランスを補正する補正ステップとを含み、
前記色バランス情報算出ステップは、前記色・感度モザイク画像を構成する画素の感度特性毎に色成分に注目して感度別色バランス情報を算出し、算出した複数の前記感度別色バランス情報を合成して、前記色・感度モザイク画像に対応する前記色バランス情報を算出する
ことを特徴とする画像処理方法。 - 各画素が複数の色成分のうちのいずれかの色成分を有し、かつ、光強度に対する複数の感度特性のうちのいずれかの感度特性を有する色・感度モザイク画像を元にして、各画素の感度特性が均一化されており、かつ、各画素が前記複数の色成分を有する復元画像を生成するコンピュータの制御用のプログラムであって、
前記色・感度モザイク画像に対応する色バランス情報を算出する色バランス情報算出ステップと、
前記色バランス情報に基づき、前記色・感度モザイク画像の色バランスを補正する補正ステップとを含み、
前記色バランス情報算出ステップは、前記色・感度モザイク画像を構成する画素の感度特性毎に色成分に注目して感度別色バランス情報を算出し、算出した複数の前記感度別色バランス情報を合成して、前記色・感度モザイク画像に対応する前記色バランス情報を算出する
ことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。 - 各画素が複数の色成分のうちのいずれかの色成分を有し、
かつ、光強度に対する複数の感度特性のうちのいずれかの感度特性を有する色・感度モザイク画像を元にして、各画素の感度特性が均一化されており、かつ、各画素が前記複数の色成分を有する復元画像を生成するコンピュータの制御用のプログラムであって、
前記色・感度モザイク画像に対応する色バランス情報を算出する色バランス情報算出ステップと、
前記色バランス情報に基づき、前記色・感度モザイク画像の色バランスを補正する補正ステップとを含み、
前記色バランス情報算出ステップは、前記色・感度モザイク画像を構成する画素の感度特性毎に色成分に注目して感度別色バランス情報を算出し、算出した複数の前記感度別色バランス情報を合成して、前記色・感度モザイク画像に対応する前記色バランス情報を算出する
ことを特徴とする処理をコンピュータに実行させるプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002025318A JP3965555B2 (ja) | 2002-02-01 | 2002-02-01 | 画像処理装置および方法、プログラム、並びに記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002025318A JP3965555B2 (ja) | 2002-02-01 | 2002-02-01 | 画像処理装置および方法、プログラム、並びに記録媒体 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007061368A Division JP4645607B2 (ja) | 2007-03-12 | 2007-03-12 | 画像処理装置および方法、プログラム、並びに記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003230158A JP2003230158A (ja) | 2003-08-15 |
| JP3965555B2 true JP3965555B2 (ja) | 2007-08-29 |
Family
ID=27747505
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002025318A Expired - Fee Related JP3965555B2 (ja) | 2002-02-01 | 2002-02-01 | 画像処理装置および方法、プログラム、並びに記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3965555B2 (ja) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4207736B2 (ja) | 2003-10-01 | 2009-01-14 | ソニー株式会社 | 固体撮像装置 |
| JP4501070B2 (ja) * | 2003-10-23 | 2010-07-14 | ソニー株式会社 | 画像処理装置および画像処理方法、並びに、プログラム |
| WO2005069376A1 (ja) * | 2004-01-15 | 2005-07-28 | Matsushita Electric Industrial Co.,Ltd. | 固体撮像装置、固体撮像装置の製造方法及びこれを用いたカメラ |
| JP4717371B2 (ja) * | 2004-05-13 | 2011-07-06 | オリンパス株式会社 | 画像処理装置および画像処理プログラム |
| US7940311B2 (en) * | 2007-10-03 | 2011-05-10 | Nokia Corporation | Multi-exposure pattern for enhancing dynamic range of images |
| CN102224736A (zh) * | 2009-02-03 | 2011-10-19 | 松下电器产业株式会社 | 摄像装置 |
| JP5503522B2 (ja) | 2010-01-20 | 2014-05-28 | キヤノン株式会社 | 撮像装置、撮像装置の制御方法 |
| JP5753395B2 (ja) * | 2011-02-09 | 2015-07-22 | キヤノン株式会社 | 撮像装置 |
| JP6029430B2 (ja) | 2012-11-20 | 2016-11-24 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
| CN111953901B (zh) * | 2015-09-30 | 2022-06-17 | 株式会社尼康 | 摄像装置 |
-
2002
- 2002-02-01 JP JP2002025318A patent/JP3965555B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003230158A (ja) | 2003-08-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4019417B2 (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
| JP5007767B2 (ja) | 画像処理装置および方法 | |
| US5543837A (en) | Dual-type imaging device having multiple light sensitive elements | |
| JP4228699B2 (ja) | 撮像装置、および撮像素子 | |
| US20070076269A1 (en) | Imaging unit and image sensor | |
| US20080218598A1 (en) | Imaging method, imaging apparatus, and driving device | |
| EP3618430B1 (en) | Solid-state image capturing device and electronic instrument | |
| JP3704238B2 (ja) | 撮像装置 | |
| JP5128726B1 (ja) | 固体撮像素子および当該素子を備える撮像装置 | |
| JP4094364B2 (ja) | 固体撮像装置およびその測光方法 | |
| JP2001285885A (ja) | 固体撮像装置および信号処理方法 | |
| JP3965555B2 (ja) | 画像処理装置および方法、プログラム、並びに記録媒体 | |
| JP5607265B2 (ja) | 撮像装置、撮像装置の制御方法、及び制御プログラム | |
| JP2007135200A (ja) | 撮像方法および撮像装置並びに駆動装置 | |
| JP2006129418A (ja) | 電荷転送型固体撮像素子の駆動方法及び撮像方法並びに撮像装置 | |
| JP4317117B2 (ja) | 固体撮像装置および撮像方法 | |
| JP4645607B2 (ja) | 画像処理装置および方法、プログラム、並びに記録媒体 | |
| JP4279562B2 (ja) | 固体撮像装置の制御方法 | |
| JP4243462B2 (ja) | 固体撮像装置および受光素子の感度対応出力調整方法 | |
| JP3967500B2 (ja) | 固体撮像装置および信号読出し方法 | |
| JP3738654B2 (ja) | デジタルカメラ | |
| JP2004172858A (ja) | 撮像装置および撮像方法 | |
| JP3490748B2 (ja) | 測光装置 | |
| JP4482781B2 (ja) | 撮像装置および方法 | |
| JPH06225204A (ja) | スチルビデオカメラ |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041201 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061226 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070109 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070312 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070502 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070515 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100608 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100608 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110608 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110608 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120608 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120608 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130608 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |