JP2003230158A - 画像処理装置および方法、プログラム、並びに記録媒体 - Google Patents
画像処理装置および方法、プログラム、並びに記録媒体Info
- Publication number
- JP2003230158A JP2003230158A JP2002025318A JP2002025318A JP2003230158A JP 2003230158 A JP2003230158 A JP 2003230158A JP 2002025318 A JP2002025318 A JP 2002025318A JP 2002025318 A JP2002025318 A JP 2002025318A JP 2003230158 A JP2003230158 A JP 2003230158A
- Authority
- JP
- Japan
- Prior art keywords
- color
- sensitivity
- image
- pixel
- sensitivity mosaic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims description 76
- 238000000034 method Methods 0.000 title claims description 63
- 230000035945 sensitivity Effects 0.000 claims abstract description 470
- 230000002194 synthesizing effect Effects 0.000 claims description 36
- 238000012937 correction Methods 0.000 claims description 23
- 230000008569 process Effects 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000003672 processing method Methods 0.000 claims description 6
- 230000001419 dependent effect Effects 0.000 claims 1
- 230000008929 regeneration Effects 0.000 abstract 1
- 238000011069 regeneration method Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 39
- 230000000875 corresponding effect Effects 0.000 description 25
- 238000007796 conventional method Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 14
- 230000003287 optical effect Effects 0.000 description 14
- 238000012546 transfer Methods 0.000 description 12
- 239000003086 colorant Substances 0.000 description 10
- 239000002131 composite material Substances 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 5
- 239000000203 mixture Substances 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000002596 correlated effect Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 238000002834 transmittance Methods 0.000 description 4
- 230000004888 barrier function Effects 0.000 description 3
- 238000010408 sweeping Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 229910021420 polycrystalline silicon Inorganic materials 0.000 description 2
- 229920005591 polysilicon Polymers 0.000 description 2
- 101000795655 Canis lupus familiaris Thymic stromal cotransporter homolog Proteins 0.000 description 1
- 102100033040 Carbonic anhydrase 12 Human genes 0.000 description 1
- 101000867855 Homo sapiens Carbonic anhydrase 12 Proteins 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
Abstract
感度特性が均一化されており、かつ、各画素が色バラン
スの調整された全ての色成分を有し、かつ、ノイズが抑
制された復元画像を生成する。 【解決手段】 ステップS1において、色バランス補正
部は、供給された色・モザイク画像の色バランスを補正
する。ステップS2において、感度別色画像生成部は、
色バランス補正部から供給された色バランス補正済みの
色・感度モザイク画像に基づいて感度別色画像を生成す
る。ステップS3において、画像合成部は、感度別色画
像生成部によって生成された、感度特性が異なり、同一
の色成分を有する2枚の感度別色画像の対応する画素対
を合成して広ダイナミックレンジの色画像を生成する。
Description
び方法、プログラム、並びに記録媒体に関し、例えば、
単板式CCDイメージセンサ等を用いて取得した画像信号
から、広ダイナミックレンジのカラー画像信号を生成す
る場合に用いて好適な画像処理装置および方法、プログ
ラム、並びに記録媒体に関する。
plementary Mental-Oxide Semiconductor)等のような固
体撮像素子が、ビデオカメラやディジタルスチルカメラ
等の撮像装置、FA(Factory Automation)の分野におけ
る部品検査装置、およびME(Medical Electronics)の
分野における電子内視鏡等の光計測装置に幅広く利用さ
れている。
び光計測機器のダイナミックレンジを向上させるため
に、画素毎に異なる感度で計測した光強度信号を合成す
る方法が知られている。以下、そのような第1乃至第4
の従来方法について説明する。
透過率の異なる光軸に分岐させた入射光をそれぞれの光
軸上に配置させた固体撮像素子で計測する方法を挙げる
ことができる。この方法は、特開平8−223491号
公報等に開示されている。しかしながら、第1の方法で
は、複数の固体撮像素子および光を分岐させる複雑な光
学系が必要となるので、省コスト化や省スペース化の面
で不利である問題があった。
素子を用い、その露光時間を複数に分割して複数枚の画
像を撮像した後、それらを合成する方法を挙げることが
できる。この方法は、特開平8−331461号公報等
に開示されている。しかしながら、第2の方法では、異
なる感度で計測された情報は異なる時刻に撮像されたも
のであり、かつ、異なる時間幅で撮像されているので、
光強度が時々刻々と変化するような動的なシーンを正し
く撮像できないという問題があった。
素子を用い、固体撮像素子の撮像面で互いに隣接する複
数の受光素子を1組として、受光素子の1組を出力画像
の1画素に対応させるようにし、1組を構成する複数の
受光素子の感度をそれぞれ異なるように設定して撮像す
る方法を挙げることができる。この方法は、米国特許第
5789737号公報等に開示されている。固体撮像素
子を構成する受光素子のそれぞれの感度を変化させる方
法としては、各受光素子を透過率の異なるフィルタで覆
う方法がある。また、特開2000−69491号公報
には、第3の従来方法をカラー画像に適応する技術が開
示されている。
において問題であった省コスト化や省スペース化の面で
有利となる。また、第2の従来方法において問題であっ
た動的シーンを正しく撮像できないことを解決すること
ができる。しかしながら、第3の従来方法では、隣接す
る複数の受光素子を1組として出力画像の1画素に対応
させるので、出力画素の解像度を確保するためには、出
力画像の画素数の数倍の受光素子から成る撮像素子が必
要であり、ユニットセルサイズが大きくなる課題があっ
た。
ックレンジを有する撮像素子に、出力画像の1画素に対
応する1つの受光素子毎、その露出が異なるような仕組
みを施して撮像し、得られた画像信号に所定の画像処理
を施して広ダイナミックレンジの画像信号を生成する方
法を挙げることができる。受光素子毎の露出が異なるよ
うな仕組みは、受光素子毎に光の透過率や開口率を変え
たりすることによって、空間的な感度のパターンをつく
ることにより実現する。この方法は、文献「S.K.Nayar
and T.Mitsunaga,"High Dynamic Range Imaging:Spatia
lly Varying Pixel Exposures",Proc. of Computer Vis
ion and Pattern Recognition 2000,Vol.1,pp.472-479,
June,2000」に開示されている。
の感度だけを有する。よって、撮像された画像の各画素
は本来の撮像素子が有するダイナミックレンジの情報だ
けしか取得することができないが、得られた画像信号に
所定の画像処理を施し、全ての画素の感度が均一になる
ようにすることによって、結果的にダイナミックレンジ
が広い画像を生成することができる。また、全ての受光
素子が同時に露光するので、動きのある被写体を正しく
撮像することができる。さらに、1つの受光素子が出力
画像の1画素に対応しているので、ユニットセルサイズ
が大きくなる問題も生じない。
の従来方法は、第1乃至第3の従来方法の問題を解決す
ることが可能である。しかしながら、第4の従来方法
は、ダイナミックレンジが広いモノクロ画像を生成する
ことを前提としたものであり、ダイナミックレンジが広
いカラー画像を生成することについては、その技術が確
立されていない課題があった。具体的には、画素毎に色
や感度が異なる画像を元に、全ての画素が全ての色成分
を有し、かつ、感度を均一化する技術は確立されていな
い課題があった。
に適用する場合における色バランスの補正方法について
も確立されていない課題があった。
する画像の各画素の対応する撮像素子の感度の違いを、
撮像素子の読み出しタイミングを変えることで実現する
場合において、動きのある被写体を撮像した場合、低感
度の画素と高感度の画素とに露出時間が異なることに起
因する情報差が発生してしまい、それを局所的に処理す
ると動きのある被写体のブレ部分にノイズが残ってしま
う課題があった。
ものであり、画素毎に色や感度が異なる色・感度モザイ
ク画像を元にして、各画素の感度特性が均一化されてお
り、かつ、各画素が色バランスの調整された全ての色成
分を有し、かつ、ノイズが抑制された復元画像を生成で
きるようにすることを目的とする。
装置は、色・感度モザイク画像の色成分と感度特性の配
列を示す色・感度モザイクパターン情報に基づき、色・
感度モザイク画像を元にして、各画素の感度特性が均一
であって、かつ、各画素の単一の色成分を有する感度別
色画像を生成する感度別色画像生成手段と、感度別色画
像生成手段によって生成された、同一の色成分を有し、
感度特性が異なる複数の感度別色画像を合成して広ダイ
ナミックレンジの色画像を生成する合成手段とを含むこ
とを特徴とする。
ザイク画像を構成する全ての画素のうち、同一の感度特
性を有し、かつ、同一の色成分を有する画素を用いた補
間処理によって感度別色画像を生成するようにすること
ができる。
応する画素同士を加算して加算画像を生成する加算手段
と、加算画像を構成する画素の感度特性を補償する感度
特性補償手段とを含むようにすることができる。
モザイク画像の色成分と感度特性の配列を示す色・感度
モザイクパターン情報に基づき、色・感度モザイク画像
を元にして、各画素の感度特性が均一であって、かつ、
各画素の単一の色成分を有する感度別色画像を生成する
感度別色画像生成ステップと、感度別色画像生成ステッ
プの処理で生成された、同一の色成分を有し、感度特性
が異なる複数の感度別色画像を合成して広ダイナミック
レンジの色画像を生成する合成ステップとを含むことを
特徴とする。
色・感度モザイク画像の色成分と感度特性の配列を示す
色・感度モザイクパターン情報に基づき、色・感度モザ
イク画像を元にして、各画素の感度特性が均一であっ
て、かつ、各画素の単一の色成分を有する感度別色画像
を生成する感度別色画像生成ステップと、感度別色画像
生成ステップの処理で生成された、同一の色成分を有
し、感度特性が異なる複数の感度別色画像を合成して広
ダイナミックレンジの色画像を生成する合成ステップと
を含むことを特徴とする。
ザイク画像の色成分と感度特性の配列を示す色・感度モ
ザイクパターン情報に基づき、色・感度モザイク画像を
元にして、各画素の感度特性が均一であって、かつ、各
画素の単一の色成分を有する感度別色画像を生成する感
度別色画像生成ステップと、感度別色画像生成ステップ
の処理で生成された、同一の色成分を有し、感度特性が
異なる複数の感度別色画像を合成して広ダイナミックレ
ンジの色画像を生成する合成ステップとをコンピュータ
に実行させることを特徴とする。
モザイク画像に対応する色バランス情報を算出する色バ
ランス情報算出手段と、色バランス情報に基づき、色・
感度モザイク画像の色バランスを補正する補正手段とを
含むことを特徴とする。
モザイク画像を構成する画素の感度特性に拘わらず色成
分に注目して、色・感度モザイク画像に対応する色バラ
ンス情報を算出するようにすることができる。
モザイク画像を構成する画素の感度特性毎に色成分に注
目して感度別色バランス情報を算出し、算出した複数の
感度別色バランス情報を合成して、色・感度モザイク画
像に対応する色バランス情報を算出するようにすること
ができる。
モザイク画像の色成分と感度特性の配列を示す色・感度
モザイクパターン情報に基づき、補正手段によって色バ
ランスが補正された色・感度モザイク画像を元にして、
各画素の感度特性が均一であって、かつ、各画素の単一
の色成分を有する感度別色画像を生成する感度別色画像
生成手段と、感度別色画像生成手段によって生成され
た、同一の色成分を有し、感度特性が異なる複数の感度
別色画像を合成して広ダイナミックレンジの色画像を生
成する合成手段とをさらに含むことができる。
よって色バランスが補正された色・感度モザイク画像を
構成する全ての画素のうち、同一の感度特性を有し、か
つ、同一の色成分を有する画素を用いた補間処理によっ
て感度別色画像を生成するようにすることができる。
応する画素同士を加算して加算画像を生成する加算手段
と、加算画像を構成する画素の感度特性を補償する感度
特性補償手段とを含むようにすることができる。
モザイク画像に対応する色バランス情報を算出する色バ
ランス情報算出ステップと、色バランス情報に基づき、
色・感度モザイク画像の色バランスを補正する補正ステ
ップとを含むことを特徴とする。
色・感度モザイク画像に対応する色バランス情報を算出
する色バランス情報算出ステップと、色バランス情報に
基づき、色・感度モザイク画像の色バランスを補正する
補正ステップとを含むことを特徴とする。
ザイク画像に対応する色バランス情報を算出する色バラ
ンス情報算出ステップと、色バランス情報に基づき、色
・感度モザイク画像の色バランスを補正する補正ステッ
プとをコンピュータに実行させることを特徴とする。
並びにプログラムにおいては、色・感度モザイク画像の
色成分と感度特性の配列を示す色・感度モザイクパター
ン情報に基づき、色・感度モザイク画像を元にして、各
画素の感度特性が均一であって、かつ、各画素の単一の
色成分を有する感度別色画像が生成され、生成された同
一の色成分を有し、感度特性が異なる複数の感度別色画
像を合成して広ダイナミックレンジの色画像が生成され
る。
並びにプログラムにおいては、色・感度モザイク画像に
対応する色バランス情報が算出され、算出された色バラ
ンス情報に基づき、色・感度モザイク画像の色バランス
が補正される。
あるディジタルスチルカメラの構成例を示している。当
該ディジタルスチルカメラは、大別して光学系、信号処
理系、記録系、表示系、および制御系から構成される。
ズ1、光画像の光量を調整する絞り2、および、集光さ
れた光画像を光電変換して電気信号に変換するCCDイメ
ージセンサ4から構成される。
の電気信号をサンプリングすることによってノイズを低
減させる相関2重サンプリング回路(CDS:Correlated Do
ubleSampling)5、相関2重サンプリング回路5が出力
するアナログ信号をディジタル信号に変換するA/Dコ
ンバータ6、A/Dコンバータ6から入力されるディジ
タル信号に所定の画像処理を施す画像処理部7から構成
される。なお、画像処理部7が実行する処理の詳細につ
いては後述する。
号を符号化してメモリ9に記録し、また、読み出して復
号し、画像処理部7に供給するCODEC(Compression/Deco
mpression)8、および、画像信号を記憶するメモリ9か
ら構成される。
号をアナログ化するD/Aコンバータ10、アナログ化
された画像信号を後段のディスプレイ12に適合する形
式のビデオ信号にエンコードするビデオエンコーダ1
1、および、入力されるビデオ信号に対応する画像を表
示することによってファインダとして機能するLCD(Liqu
id Crystal Display)等よりなるディスプレイ12から
構成される。
処理部7の動作タイミングを制御するタイミングジェネ
レータ(TG)3、ユーザによるシャッタ操作やその他
のコマンドを入力するための操作入力部13、および、
ドライブ15を制御して磁気ディスク16、光ディスク
17、光磁気ディスク18、または半導体メモリ19に
記憶されている制御用プログラムを読み出し、読み出し
た制御用プログラム、操作入力部13から入力されるユ
ーザからのコマンド等に基づいてディジタルスチルカメ
ラの全体を制御するCPU(Central Processing Unit)など
よりなる制御部14から構成される。
写体の光学画像(入射光)は、レンズ1および絞り2を
介してCCDイメージセンサ4に入射され、CCDイメージセ
ンサ4によって光電変換されて電気信号となる。得られ
た電気信号は、相関2重サンプリング回路5によってノ
イズ成分が除去され、A/Dコンバータ6によってディ
ジタル化された後、画像処理部7が内蔵する画像メモリ
に一時格納される。
レータ3による信号処理系に対する制御により、画像処
理部7が内蔵する画像メモリには、一定のフレームレー
トで絶えず画像信号が上書きされるようになされてい
る。画像処理部7が内蔵する画像メモリの画像信号は、
D/Aコンバータ10によってアナログ信号に変換さ
れ、ビデオエンコーダ11によってビデオ信号に変換さ
れて対応する画像がディスプレイ12に表示される。
ルカメラのファインダの役割も担っている。ユーザが操
作入力部13に含まれるシャッタボタンを押下した場
合、制御部14は、タイミングジェネレータ3に対し、
シャッタボタンが押下された直後の画像信号を保持する
ように、すなわち、画像処理部7の画像メモリに画像信
号が上書きされないように信号処理系を制御する。画像
処理部7の画像メモリに保持された画像データは、CODE
C8によって符号化されてメモリ9に記録される。以上
のようなディジタルスチルカメラの動作によって、1枚
の画像データの取り込みが完了する。
の概要について、図2を参照して説明する。当該ディジ
タルスチルカメラは、CCDイメージセンサ4を中心とす
る光学系の撮像処理によって、被写体を画素毎に異なる
色と感度で撮像し、色と感度がモザイク状になった画像
(以下、色・感度モザイク画像と記述し、その詳細は後
述する)を得る。その後、画像処理部7を中心とする信
号処理系により、撮像処理によって得られた色・感度モ
ザイク画像を元に、各画素が全ての色成分を有し、か
つ、均一の感度を有する広ダイナミックレンジ画像を生
成される。以下、色・感度モザイク画像を元にして、各
画素が全ての色成分を有し、かつ、均一の感度を有する
広ダイナミックレンジ画像を生成する信号処理系の処理
を、デモザイク処理とも記述する。
って図3に示すような被写体を撮影した場合、撮像処理
により、図4に示すような色・感度モザイク画像が得ら
れ、画像処理により、各画素が全ての色成分と均一の感
度を有する広ダイナミックレンジ画像に変換される。す
なわち、図4に示す色・感度モザイク画像を元にして図
3に示す被写体の本来の色を広ダイナミックレンジで復
元する。
感度モザイク画像の、画素の色成分および感度の配列パ
ターン(以下、色・感度モザイクパターンと記述する)
P1乃至P14を図5乃至図18に示す。
組み合わせとしては、R(赤)、G(緑)、およびB
(青)からなる3色の組合せの他、Y(黄)、M(マゼ
ンタ)、C(シアン)、およびG(緑)からなる4色の
組合せ等が考えられる。感度の段階としては、S0およ
びS1から成る2段階の他、感度S2を追加した3段
階、さらに、感度S3を追加した4段階等とすることが
できる。なお、色の種類や組み合わせおよび感度の段階
は任意であり、上述した例に限定されるものではない。
画素に対応しており、英文字がその色を示し、英文字の
添え字として数字がその感度を示している。例えば、G
0と表示された画素は、色がG(緑)であって、感度が
S0であることを示している。また、感度については、
数字が大きいほどより高感度である、すなわち、S0よ
りもS1の方が高感度である。
は、以下に示す第1乃至第4の特徴によって分類するこ
とができる。
る画素に注目した場合、それらが格子状に配列されてお
り、かつ、感度に拘わらず同一の色を有する画素に注目
した場合、それらが格子状に配列されていることであ
る。第1の特徴について、図5に示す色・感度モザイク
パターンP1を参照して説明する。
いて、感度に拘わらず色がRである画素に注目した場
合、図面を右回りに45度だけ回転させた状態で見れば
明らかなように、それらは、水平方向には21/2の間隔
で、垂直方向には23/2の間隔で格子状の配置されてい
る。また、感度に拘わらず色がBである画素に注目した
場合、それらも同様に配置されている。感度に拘わらず
色がGである画素に注目した場合、それらは、水平方向
および垂直方向に21/2の間隔で格子状の配置されてい
る。
モザイクパターンP1の他、色・感度モザイクパターン
P2,P4,P6,P8,P9,P10,P11,P1
3にも共通である。
る画素に注目した場合、それらが格子状に配列されてお
り、かつ、色に拘わらず同一の感度を有する画素に注目
した場合、それらが格子状に配列されており、かつ、任
意の画素に注目した場合、その画素とその上下左右に位
置する4画素の合計5画素が有する色の中に、当該色・
感度モザイクパターンに含まれる全ての色が含まれるこ
とである。
モザイクパターンP3の他、色・感度モザイクパターン
P5,P7,P8,P9,P12,P14にも共通であ
る。
さらに、3種類の色が用いられていて、それらがベイヤ
(Bayer)配列をなしていることである。第3の特徴につ
いて、図6に示す色・感度モザイクパターンP2を参照
して説明する。
いて、感度に拘わらず色がGである画素に注目した場
合、それらは1画素だけ間隔を空けて市松状に配置され
ている。感度に拘わらず色がRである画素に注目した場
合、それらは1ラインだけ間隔を空けて配置されてい
る。また、感度に拘わらず色がBである画素に注目した
場合も同様に、1ラインだけ間隔を空けて配置されてい
る。したがって、このパターンP2は、画素の色だけに
注目すれば、ベイヤ配列をなしている。
イクパターンP2の他、色・感度モザイクパターンP1
0,P11にも共通である。
さらに、同一の感度を有する画素に注目した場合、それ
らの配列がベイヤ配列をなしていることである。第4の
特徴について、図7に示す色・感度モザイクパターンP
3を参照して説明する。
いて、感度S0の画素だけに注目した場合、図面を斜め
45度だけ回転させて見れば明らかなように、それらは
21/ 2の間隔を空けてベイヤ配列をなしている。また、
感度S1の画素だけに注目した場合も同様に、それらは
ベイヤ配列をなしている。
イクパターンP3の他、色・感度モザイクパターンP
5,P12にも共通である。
色・感度モザイクパターンP1乃至P14に関連し、画
素の感度に拘わらず色の配列だけに注目して「色のモザ
イク配列」と記述する。また、色に拘わらず感度の配列
だけに注目して「感度のモザイク配列」と記述する。
した色・感度モザイクパターンを実現する方法について
説明する。
ザイク配列については、CCDイメージセンサ4の受光素
子の上面に、画素毎に異なる色の光だけを透過させるオ
ンチップカラーフィルタ22(図19)を配置すること
によって実現する。
感度のモザイク配列については、光学的な方法、または
電子的な方法によって実現する。
法について説明する。図19は、CCDイメージセンサ4
の受光素子の断面を示している。受光素子の上部表面に
は、オンチップレンズ21が配置されている。オンチッ
プレンズ21は、図面上方から入射される光がフォトダ
イオード(PD)23に集光されるようになされてい
る。オンチップカラーフィルタ22は、入射光の色を制
限する(特定の波長帯域だけを透過させる)。受光素子
の下部には、ウェハ中にフォトダイオード23が形成さ
れている。フォトダイオード23は、入力された光量に
対応して電荷を生じる。フォトダイオード21の両脇に
は、垂直レジスタ26が形成されている。垂直レジスタ
26の上部には、垂直レジスタ21を駆動する垂直レジ
スタ駆動電極25が配線されている。
3で生じた電荷を転送する領域である。垂直レジスタ2
6と垂直レジスタ駆動電極25は、そこで電荷が生じな
いように、シールド24によって遮光されている。シー
ルド24は、フォトダイオード23の上部だけが開口し
ており、その開口部分を入射光が通過してフォトダイオ
ード23に到達するようになされている。
ジセンサ4は、下記の方法によって各受光素子の感度を
変えることができる(フォトダイオード23に対する入
射光量を変化させることができる)。
光素子の一方にはオンチップレンズ21を設け、他方に
はオンチップレンズ21を設けないことにより、隣接す
る受光素子でそれぞれ集光される光量を変化させること
ができる。また、例えば図21に示すように、オンチッ
プカラーフィルタ22の上方(または下方)にオンチッ
プニュートラルデンシティ(ND)フィルタ31を設置
することにより、光の透過率を変えることができる。ま
た、例えば図22に示すように、隣接する受光素子のシ
ールド24の開口部分の面積を、一方を広く、他方を狭
くすることにより、フォトダイオード23に対する入射
光量を変化させることができる。
する2種類の方法について説明する。
光素子(第1および第2の受光素子)に対し、制御のタイ
ミングを違えることによって2つの受光素子を異なる感
度に設定する方法である。第1の方法について、図23
を参照して説明する。
期間を示している。図23Bは、電荷掃き出しを指令す
るパルス電圧のタイミングを示している。図23Cは、
電荷転送を指令する制御電圧が与えられるタイミングを
示している。図23Dは、第1の受光素子に対し、電荷
読み出しを指令するパルス電圧のタイミングを示してい
る。図23Eは、電荷掃き出しパルス電圧および電荷読
み出しパルス電圧が与えられることに対応して第1の受
光素子に蓄積される電荷量の変化を示している。図23
Fは、第2の受光素子に対し、電荷読み出しを指令する
パルス電圧のタイミングを示している。図23Gは、電
荷掃き出しパルス電圧および電荷読み出しパルス電圧が
与えられることに対応して第2の受光素子に蓄積される
電荷量の変化を示している。
1の方法において、電荷掃き出しパルス電圧は、第1お
よび第2の受光素子に対し共通して、露光期間以外にお
いては、フォトダイオード23から電荷を掃き出しさせ
る(リセットさせる)ように供給され、露光期間中にお
いては、所定のタイミングで1回だけ電荷をリセットす
るために供給される。
は、第1および第2の受光素子に対し共通して垂直レジ
スタ26に電荷を転送させるための波形電圧が供給さ
れ、露光期間中においては、垂直レジスタ26からの電
荷の転送が停止されるように電荷転送電圧は供給されな
い。
対して異なるタイミングで供給される。第1の受光素子
に対しては、露光期間中の電荷掃き出しパルス電圧の供
給タイミング(図23B)の直前に、1回目の電荷読み
出しパルス電圧が供給され、露光期間中の終了の直前に
2回目の電荷読み出しパルス電圧が供給される。
および2回目の電荷読み出しパルス電圧の供給タイミン
グのそれぞれにおける第1の受光素子の蓄積電荷量が垂
直レジスタ26に読み出される。なお、露光期間中は垂
直レジスタ26の電荷の転送は停止されているので、そ
れら2回の読み出し電荷量が垂直レジスタ26の中で加
算され、露光期間終了後に同じフレームのデータとして
垂直レジスタ26から転送されるようになされている。
間中の電荷掃き出しパルス電圧の供給タイミングの直前
に1回だけ電荷読み出しパルス電圧が供給される。その
結果、第2の受光素子からは、1回だけの電荷読み出し
パルス電圧の供給タイミングにおける第2の受光素子の
蓄積電荷量が垂直レジスタ26に読み出される。なお、
露光期間中は垂直レジスタ23の電荷の転送は停止され
ているので、第2の受光素子から読み出された蓄積電荷
は、露光期間終了後に、第1の受光素子から読み出され
た蓄積電荷と同じフレームのデータとして垂直レジスタ
26から転送されるようになされている。
御タイミングと、第2の受光素子とに対する制御タイミ
ングとが異なるようすることにより、同じ露光期間中に
第1の受光素子殻読み出される蓄積電荷量と、第2の受
光素子から読み出される蓄積電荷量、すなわち感度が異
なるように設定することができる。
的に実現する第1の方法では、受光素子によっては露光
期間中の全域にわたる被写体の情報を計測できないこと
が短所である。
する第2の方法について、図24を参照して説明する。
図24A乃至図24Gはそれぞれ、図23A乃至図23
Gと同様に、CCDイメージセンサ4の露光期間、電荷掃
き出しを指令するパルス電圧のタイミング、電荷転送を
指令する制御電圧が与えられるタイミング、第1の受光
素子に対して電荷読み出しを指令するパルス電圧のタイ
ミング、電荷掃き出しパルス電圧および電荷読み出しパ
ルス電圧が与えられることに対応して第1の受光素子に
蓄積される電荷量の変化、第2の受光素子に対する電荷
読み出しを指令するパルス電圧のタイミング、電荷掃き
出しパルス電圧および電荷読み出しパルス電圧が与えら
れることに対応して第2の受光素子に蓄積される電荷量
の変化を示している。
2の方法においては、露光期間中において、電荷掃き出
しパルス電圧および電荷読み出しパルス電圧が複数回繰
り返して供給される。
ては、第1および第2の受光素子の双方に対し、露光期
間中において、1回目の電荷掃き出しパルス電圧と2回
目の電荷掃き出しパルス電圧の組が複数回供給される。
電荷読み出しパルス電圧については、第1の受光素子に
対しては、1回目および2回目の電荷掃き出しパルス電
圧の組毎に、1回目の電荷掃き出しパルス電圧の直前に
1回目の電荷読み出しパルス電圧が供給され、2回目の
電荷掃き出しパルス電圧の直前に2回目の電荷読み出し
パルス電圧が供給される。一方、第2の受光素子に対し
ては、電荷掃き出しパルス電圧の組毎に、1回目の電荷
掃き出しパルス電圧の直前に1回だけ電荷読み出しパル
ス電圧が供給される。
および2回目の電荷掃き出しパルス電圧の組毎に、1回
目の電荷読み出しパルス電圧の供給タイミングにおける
第1の受光素子の蓄積電荷量と、2回目の電荷読み出し
パルス電圧の供給タイミングにおける第1の受光素子の
蓄積電荷量が読み出される。なお、露光期間中は、垂直
レジスタ26の電荷の転送が停止されているので、これ
ら組毎に2回ずつ読み出された電荷量は、垂直レジスタ
26で加算される。第2の受光素子からは、1回目およ
び2回目の電荷掃き出しパルス電圧の組毎に1回だけ供
給される電荷読み出しパルス電圧の供給タイミングにお
ける第2の受光素子の蓄積電荷量が読み出される。これ
ら組ごとに1回ずつ読み出された電荷量は、垂直レジス
タ26の中で加算される。
的に実現する第2の方法では、露光期間において電荷の
読み出しを複数に亘って繰り返すことになるので、露光
期間中の全域にわたる被写体の情報を計測することが可
能となる。すなわち、第2の方法は、上述した第1の方
法の短所を解決することが可能である。
的に実現する第1および第2の方法に関連し、一般的
に、CCDイメージセンサ4の読み出し制御は、水平ライ
ン毎に配線される垂直レジスタ駆動電極25に印加され
る。例えば、図5に示した色・感度モザイクパターンP
1のように、水平ライン毎に感度が変わるような感度の
モザイク配列を実現するためには、その電極構造を利用
すればよいので、ラインごとに異なる読み出しパルス電
圧が印加されるように若干の改良をおこなえばよい。さ
らに、3相駆動の垂直レジスタを持つプログレッシブス
キャンのCCDイメージセンサにおいては、その電極構造
を工夫することによって、2段階感度による任意のモザ
イク配列を電子的に実現できる。
実現するために用いる電極配線による垂直転送用ポリシ
リコン電極の第1の電極構造を示している。図26は、
図25の図中の線分aa’におけるCCDイメージセンサ
の断面図を示している。第1相垂直レジスタ駆動電極4
2および第2相垂直レジスタ駆動電極43は、同じ水平
ライン上で隣接する画素の電極と連結しているので、同
一水平ライン上の電極は同期して駆動される。一方、第
3相垂直レジスタ駆動電極44は、同じ垂直ライン上で
隣接する画素の電極と連結しているので、同一垂直ライ
ン上の電極は同期して駆動される。また、第2相垂直レ
ジスタ駆動電極43および第3相垂直レジスタ駆動電極
44は、対応するフォトダイオ−ド23に隣接する読み
出しゲ−ト41上にもかかるようになされている。
43、または第3相垂直レジスタ駆動電極44に読み出
しパルスを印加した場合、読み出しゲ−ト41のバリア
を一時的に取り除き、対応するフォトダイオ−ド23に
蓄積されている電荷を垂直レジスタ26に転送すること
が可能である。以下、図25および図26に示した電極
構造をOR型の電極構造と記述する。
ザイク配列を実現するために用いる電極配線による垂直
転送用ポリシリコン電極の第2の電極構造を示してい
る。図27の図中の線分aa’におけるCCDイメージセ
ンサの断面も、図26に示した断面図と同様である。す
なわち、第2の電極構造においても、第1の電極構造と
同様に、第1相垂直レジスタ駆動電極42および第2相
垂直レジスタ駆動電極43は、同じ水平ライン上で隣接
する画素の電極と連結しているので、同一水平ライン上
の電極は同期して駆動される。第3相垂直レジスタ駆動
電極44は、第1の電極構造と同様に、同じ垂直ライン
上で隣接する画素の電極と連結しているので、同一垂直
ライン上の電極は同期して駆動される。
極44が対応するフォトダイオ−ド23に隣接する読み
出しゲート41上において、当該フォトダイオ−ド23
の辺縁部分に沿って配置され、次いでそれに隣接するよ
うに第2相垂直レジスタ駆動電極43の細長く加工され
た部分が読み出しゲート41にかかるようになされてい
る点が第1の電極構造と異なる。
43および第3相垂直レジスタ駆動電極44のうち、一
方だけに読み出しパルスを印加した場合、読み出しゲ−
ト41のバリアを取り除くことができない。読み出しゲ
−ト41のバリアを取り除き、フォトダイオ−ド23に
蓄積されている電荷を垂直レジスタ26に転送するため
には、第2相垂直レジスタ駆動電極43と第3相垂直レ
ジスタ駆動電極44に同時に読み出しパルスを印加する
必要がある。以下、図27に示した電極構造をAND型の
電極構造と記述する。
電極構造を1つのCCDイメージセンサ内で組み合わせて
用いることにより、2段階感度による任意のモザイク配
列を実現することができる。例えば、図5に示した色・
感度モザイクパターンP1のうち、感度のモザイク配列
を実現するためには、図28に示すようにOR型の電極
構造とAND型の電極構造を組み合わせればよい。
に、2段階の感度S0,S1のうち、低感度S0の画素
にはAND型の電極構造を採用し、高感度S1の画素には
OR型の電極構造を採用するようにする。このように、
OR型とAND型の電極構造を組み合わせて構成したCCDイ
メージセンサ4に対し、その第2相垂直レジスタ駆動電
極43に読み出しパルス電圧を印加すれば、OR型の画
素だけで電荷読み出しがおこなわれ、第2相垂直レジス
タ駆動電極43および第3相垂直レジスタ駆動電極44
に同時に読みだしパルス電圧を印加すれば、OR型とAN
D型の両方、すなわち全ての画素で電荷読み出しがおこ
なわれることになる。
および第3相垂直レジスタ駆動電極44に対するパルス
電圧の供給タイミングは、図24(図23でもよい)に
示した制御タイミングのうち、同図Dの1回目の電荷読
み出しパルス電圧の供給タイミングと、同図Fの電荷読
み出しパルス電圧の供給タイミングにおいて、第2相垂
直レジスタ駆動電極43および第3相垂直レジスタ駆動
電極44の両方を駆動し、同図Dの2回目の電荷読み出
しパルス電圧の供給タイミングにおいて第2相垂直レジ
スタ駆動電極43だけを駆動するようにすれば、OR型
の電極構造の画素は高感度S1となり、AND型の電極構
造の画素は低感度S0となる。
度のモザイク配列も、OR型の電極構造とAND型の電極
構造を組み合わせることによって実現することができ
る。
ターンP2のうち、感度のモザイクパターンを実現する
ためには、OR型とAND型を図29に示すように組み合
わせればよい。図7に示した色・感度モザイクパターン
P3のうち、感度のモザイクパターンを実現するために
は、OR型とAND型を図30に示すように組み合わせれ
ばよい。図8に示した色・感度モザイクパターンP4の
うち、感度のモザイクパターンを実現するためには、O
R型とAND型を図31に示すように組み合わせればよ
い。図9に示した色・感度モザイクパターンP5のう
ち、感度のモザイクパターンを実現するためには、OR
型とAND型を図32に示すように組み合わせればよい。
イク画像を元にして、各画素が全ての色成分を有し、か
つ、感度が均一である広ダイナミックレンジ画像を生成
するデモザイク処理を実行する画像処理部7の構成例を
示している。
クパターンP1の色・感度モザイク画像が入力されるよ
うに図示されているが、入力する色・感度モザイク画像
の色・感度モザイクパターンは任意である。
入力される色・感度モザイク画像の色・感度モザイクパ
ターンを示す情報が供給されているものとする。
の各画素が全ての色成分を有し、かつ、感度が均一であ
る広ダイナミックレンジ画像を、各画素の感度が均一で
ある広ダイナミックレンジの3種類の色画像として示し
ている。
モザイク画像の色バランスを補正して、補正済みの色・
モザイク画像を感度別色画像生成部62に出力する。こ
こで、色バランスを補正する処理とは、一般にホワイト
バランス処理と呼ばれている処理であり、各色の平均を
算出して用いてもよいし、既存の統計情報を用いてもよ
い。
構成例を示している。色バランス算出部71は、入力さ
れる色・感度モザイク画像の全体から1つの色バランス
情報を算出する。その方法は、各色の平均を算出して用
いてもよいし、既存の統計情報を用いてもよい。色バラ
ンス調整部72は、色バランス算出部71によって算出
される色バランス情報に基づき、入力される色・感度モ
ザイク画像の色バランスを補正する。色バランス補正済
みの色・感度モザイク画像は、感度別色画像生成部62
に供給される。
構成例を示している。感度別色バランス算出部81は、
入力される色・感度モザイク画像の感度毎の色バランス
情報を算出する。その方法は、各感度について、各色の
平均を算出して用いてもよいし、既存の統計情報を用い
てもよい。図35の場合、感度S0の色バランス情報
と、感度S1の色バランス情報が算出される。
別色バランス算出部81によって算出される感度別の色
バランス情報を合成して1つの色バランス情報を生成す
る。色バランス調整部83は、感度別色バランス情報合
成部82によって生成される色バランス情報に基づき、
入力される色・感度モザイク画像の色バランスを補正す
る。色バランス補正済みの色・感度モザイク画像は、感
度別色画像生成部62に供給される。
は、入力される色バランス補正済みの色・感度モザイク
画像のうち、同一の感度および色成分を有する画素を用
いた補間によって感度別色画像を生成する。いまの場
合、例えば、色バランス補正済みの色・感度モザイク画
像のうちの感度S0でR成分の画素だけに注目して、補
間により、感度S0でR成分の画素だけで構成される感
度別色画像R0を生成する。同様に、感度S1でR成分
の画素だけで構成される感度別色画像R1、感度S0で
G成分の画素だけで構成される感度別色画像G0、感度
S1でG成分の画素だけで構成される感度別色画像G
1、感度S0でB成分の画素だけで構成される感度別色
画像B0、および、感度S1でB成分の画素だけで構成
される感度別色画像B1を生成する。なお、補間以外の
方法によって、感度別色画像を生成するようにしてもよ
い。
62によって生成される感度別色画像R0,R1の対応
する画素対を合成して広ダイナミックレンジの色画像R
を生成する。
している。加算部91は、感度別色画像生成部62によ
って生成される感度別色画像R0,R1の同一座標の画
素対を加算することによって加算画像を生成し、合成感
度補償部92に出力する。合成感度補償部92は、合成
感度補償関数を導出し、加算画像の画素(R0+R1)に
対して、導出する合成感度補償関数を用いて感度補償を
施して広ダイナミックレンジの色画像Rを生成する。
する合成感度補償関数について、図37乃至図39を参
照して説明する。図37において、横軸は入射光の強
度、縦軸は画素値を示しており、線a,bは、それぞ
れ、感度S0,S1の画素の感度特性を示している。同
図において、高い方の感度S1(線b)は、低い方の感
度S0(線a)に対して4倍の感度を有している。
1においては、図37の特性曲線aに示すような感度特
性で取得された画素R0と、同図の特性曲線bに示すよ
うな感度特性で取得された感度S1の画素R1が加算さ
れている。従って、それらの加算値R0+R1は、特性曲
線aと特性曲線bを合成した、図38の特性曲線cが示
す感度特性を有することになる。
は、広ダイナミックレンジではあるが、その感度特性
は、図38の特性曲線cのように非線形(折れ線)とな
っている。そこで、非線形である加算画像の画素(R0
+R1)の感度特性が線形となるように補償するため
に、加算画像の画素(R0+R1)に、特性曲線cの逆特
性曲線d(図39)を合成感度補償関数として導出す
る。
感度補償関数を導出するのではなく、合成感度補償関数
を合成感度補償部92に予め供給するようにしてもよ
い。また、合成感度補償関数の代わりに、ルックアップ
テーブルを用いるようにしてもよい。
別色画像生成部62によって生成される感度別色画像G
0,G1の対応する画素対を合成して広ダイナミックレ
ンジの色画像Gを生成する。画像合成部63Bは、感度
別色画像生成部62によって生成される感度別色画像B
0,B1の対応する画素対を合成して広ダイナミックレ
ンジの色画像Bを生成する。なお、画像合成部63G,
63Rの構成例は、図36に示した画像合成部63Rの
構成例と同様であるので、その説明は省略する。
について、図40のフローチャートを参照して説明す
る。
ザイク画像と、色・感度モザイク画像の色・感度モザイ
クパターンを示す情報が供給されているものとする。
61は、供給された色・モザイク画像の色バランスを補
正する。具体的には、図41または図42のフローチャ
ートに示す動作により、供給された色・モザイク画像の
色バランスを補正する。その後、色バランス補正部61
は、色バランス補正済みの色・感度モザイク画像を、感
度別色画像生成部62に供給する。
正部61の第1の構成例に対応する動作を示している。
ステップS11において、色バランス算出部71は、入
力された色・感度モザイク画像の全体から1つの色バラ
ンス情報を算出する。ステップS12において、色バラ
ンス調整部72は、色バランス算出部71によって算出
された色バランス情報に基づき、入力された色・感度モ
ザイク画像の色バランスを調整する。
正部61の第2の構成例に対応する動作を示している。
ステップS21において、感度別色バランス算出部81
は、入力された色・感度モザイク画像のうち、感度S0
の画素に基づいて感度S0の色バランス情報を生成し、
感度S1の画素に基づいて感度S1の色バランス情報を
生成する。ステップS22において、感度別色バランス
情報合成部82は、感度別色バランス算出部81によっ
て算出された、感度S0の色バランス情報、および感度
S1の色バランス情報を合成して1つの色バランス情報
を生成する。ステップS23において、色バランス調整
部83は、感度別色バランス情報合成部82によって生
成された色バランス情報に基づき、入力された色・感度
モザイク画像の色バランスを補正する。
度別色画像生成部62は、色バランス補正部61から供
給された色バランス補正済みの色・感度モザイク画像に
基づいて感度別色画像を生成する。
は、感度別色画像生成部62によって生成された感度別
色画像R0,R1の対応する画素対を合成して広ダイナ
ミックレンジの色画像Rを生成する。画像合成部63G
は、感度別色画像生成部62によって生成された感度別
色画像G0,G1の対応する画素対を合成して広ダイナ
ミックレンジの色画像Gを生成する。画像合成部63B
は、感度別色画像生成部62によって生成された感度別
色画像B0,B1の対応する画素対を合成して広ダイナ
ミックレンジの色画像Bを生成する。
広ダイナミックレンジの色画像Rを生成する処理につい
て、図43を参照して説明する。ステップS31におい
て、加算部91は、感度別色画像生成部62によって生
成された感度別色画像R0,R1の同一座標の画素対を
加算して加算画像を生成し、合成感度補償部92に出力
する。ステップS32において、合成感度補償部92
は、合成感度補償関数を導出する。なお、加算部91に
よるステップS31の処理と、合成感度補償部92によ
るステップS32の処理は、平行して同時に実行するよ
うにしてもよい。
92は、加算画像の画素(R0+R1)に対し、導出した
合成感度補償関数を用いて感度補償を施すことによっ
て、広ダイナミックレンジの色画像Rを生成する。
れによる、広ダイナミックレンジの色画像G,Bを生成
する処理も同様である。
デモザイク処理の説明を終了する。
・感度モザイク画像を元にして、全ての画素に対し、全
色を均一な感度で復元することが可能となる。これによ
り、広ダイナミックレンジ画像を生成することが可能と
なる。
色別画像を生成することにより、撮像素子が露出時間を
変更することで感度を変える方式の場合に発生する動き
のある被写体のブレ部分のノイズを緩和することがで
き、動被写体のブレ部分の再現性を向上させることが可
能となる。
素に対して、1つの色バランス情報を用いて補正を行う
ことにより、適正な色バランス補正を施すことが可能と
なる。
るデモザイク処理は任意の色・感度モザイクパターンを
有する色・感度モザイク画像に対して施すことが可能で
あるが、特に、色・感度モザイクパターンP1の色・感
度モザイク画像を処理対象とする場合において上述した
効果を奏することができる。
ィジタルスチルカメラの他、画像処理を実施するあらゆ
る機器に適用することが可能である。
ウェアにより実行させることもできるが、ソフトウェア
により実行させることもできる。一連の処理をソフトウ
ェアにより実行させる場合には、そのソフトウェアを構
成するプログラムが、専用のハードウェアに組み込まれ
ているコンピュータ、または、各種のプログラムをイン
ストールすることで、各種の機能を実行することが可能
な、例えば汎用のパーソナルコンピュータなどに、記録
媒体からインストールされる。
ピュータとは別に、ユーザにプログラムを提供するため
に配布される、プログラムが記録されている磁気ディス
ク16(フロッピディスクを含む)、光ディスク17
(CD-ROM(Compact Disc-Read Only Memory)、DVD(Digit
al Versatile Disc)を含む)、光磁気ディスク18(M
D(Mini Disc)を含む)、もしくは半導体メモリ19な
どよりなるパッケージメディアにより構成されるだけで
なく、コンピュータに予め組み込まれた状態でユーザに
提供される、プログラムが記録されているROMやハード
ディスクなどで構成される。
されるプログラムを記述するステップは、記載された順
序に従って時系列的に行われる処理はもちろん、必ずし
も時系列的に処理されなくとも、並列的あるいは個別に
実行される処理をも含むものである。
に色や感度が異なる色・感度モザイク画像を元にして、
各画素の感度特性が均一化されており、かつ、各画素が
色バランスの調整された全ての色成分を有し、かつ、ノ
イズが抑制された復元画像を生成することが可能とな
る。
成例を示すブロック図である。
る図である。
示す図である。
る。
る。
る。
る。
る。
る。
る。
る。
る。
ある。
ある。
ある。
ある。
ある。
す図である。
の有無に実現する方法を説明するための図である。
タ31の有無によって実現する方法を説明するための図
である。
分の面積の広狭によって実現する方法を説明するための
図である。
の方法を説明するための図である。
の方法を説明するための図である。
めのOR型の電極構造とAND型の電極構造の組み合わせ
を示す図である。
めのOR型の電極構造とAND型の電極構造の組み合わせ
を示す図である。
めのOR型の電極構造とAND型の電極構造の組み合わせ
を示す図である。
めのOR型の電極構造とAND型の電極構造の組み合わせ
を示す図である。
めのOR型の電極構造とAND型の電極構造の組み合わせ
を示す図である。
る。
例を示すブロック図である。
例を示すブロック図である。
ロック図である。
感度補償関数について説明するための図である。
感度補償関数について説明するための図である。
感度補償関数を示す図である。
るフローチャートである。
の構成例による動作を説明するフローチャートである。
の構成例による動作を説明するフローチャートである。
明するフローチャートである。
ク, 17 光ディスク, 18 光磁気ディスク,
19 半導体メモリ, 61 色バランス補正部, 6
2 感度別色画像生成部, 63R,63G,63B
画像合成部,71 色バランス算出部, 72 色バラ
ンス調整部, 81 感度別色バランス算出部, 82
感度別色バランス情報合成部, 83 色バランス調
整部,91 加算部, 92 合成感度補償部
Claims (15)
- 【請求項1】 各画素が複数の色成分のうちのいずれか
の色成分を有し、かつ、光強度に対する複数の感度特性
のうちのいずれかの感度特性を有する色・感度モザイク
画像を元にして、各画素の感度特性が均一化されてお
り、かつ、各画素が前記複数の色成分を有する復元画像
を生成する画像処理装置において、 前記色・感度モザイク画像の色成分と感度特性の配列を
示す色・感度モザイクパターン情報に基づき、前記色・
感度モザイク画像を元にして、各画素の感度特性が均一
であって、かつ、各画素の単一の色成分を有する感度別
色画像を生成する感度別色画像生成手段と、 前記感度別色画像生成手段によって生成された、同一の
色成分を有し、感度特性が異なる複数の前記感度別色画
像を合成して広ダイナミックレンジの色画像を生成する
合成手段とを含むことを特徴とする画像処理装置。 - 【請求項2】 前記感度別色画像生成手段は、前記色・
感度モザイク画像を構成する全ての画素のうち、同一の
感度特性を有し、かつ、同一の色成分を有する画素を用
いた補間処理によって前記感度別色画像を生成すること
を特徴とする請求項1に記載の画像処理装置。 - 【請求項3】 前記合成手段は、 前記複数の前記感度別色画像の対応する画素同士を加算
して加算画像を生成する加算手段と、 前記加算画像を構成する画素の感度特性を補償する感度
特性補償手段とを含むことを特徴とする請求項1に記載
の画像処理装置。 - 【請求項4】 各画素が複数の色成分のうちのいずれか
の色成分を有し、かつ、光強度に対する複数の感度特性
のうちのいずれかの感度特性を有する色・感度モザイク
画像を元にして、各画素の感度特性が均一化されてお
り、かつ、各画素が前記複数の色成分を有する復元画像
を生成する画像処理装置の画像処理方法において、 前記色・感度モザイク画像の色成分と感度特性の配列を
示す色・感度モザイクパターン情報に基づき、前記色・
感度モザイク画像を元にして、各画素の感度特性が均一
であって、かつ、各画素の単一の色成分を有する感度別
色画像を生成する感度別色画像生成ステップと、 前記感度別色画像生成ステップの処理で生成された、同
一の色成分を有し、感度特性が異なる複数の前記感度別
色画像を合成して広ダイナミックレンジの色画像を生成
する合成ステップとを含むことを特徴とする画像処理方
法。 - 【請求項5】 各画素が複数の色成分のうちのいずれか
の色成分を有し、かつ、光強度に対する複数の感度特性
のうちのいずれかの感度特性を有する色・感度モザイク
画像を元にして、各画素の感度特性が均一化されてお
り、かつ、各画素が前記複数の色成分を有する復元画像
を生成するためのプログラムであって、 前記色・感度モザイク画像の色成分と感度特性の配列を
示す色・感度モザイクパターン情報に基づき、前記色・
感度モザイク画像を元にして、各画素の感度特性が均一
であって、かつ、各画素の単一の色成分を有する感度別
色画像を生成する感度別色画像生成ステップと、 前記感度別色画像生成ステップの処理で生成された、同
一の色成分を有し、感度特性が異なる複数の前記感度別
色画像を合成して広ダイナミックレンジの色画像を生成
する合成ステップとを含むことを特徴とするコンピュー
タが読み取り可能なプログラムが記録されている記録媒
体。 - 【請求項6】 各画素が複数の色成分のうちのいずれか
の色成分を有し、かつ、光強度に対する複数の感度特性
のうちのいずれかの感度特性を有する色・感度モザイク
画像を元にして、各画素の感度特性が均一化されてお
り、かつ、各画素が前記複数の色成分を有する復元画像
を生成するコンピュータに、 前記色・感度モザイク画像の色成分と感度特性の配列を
示す色・感度モザイクパターン情報に基づき、前記色・
感度モザイク画像を元にして、各画素の感度特性が均一
であって、かつ、各画素の単一の色成分を有する感度別
色画像を生成する感度別色画像生成ステップと、 前記感度別色画像生成ステップの処理で生成された、同
一の色成分を有し、感度特性が異なる複数の前記感度別
色画像を合成して広ダイナミックレンジの色画像を生成
する合成ステップとを実行させるプログラム。 - 【請求項7】 各画素が複数の色成分のうちのいずれか
の色成分を有し、かつ、光強度に対する複数の感度特性
のうちのいずれかの感度特性を有する色・感度モザイク
画像を元にして、各画素の感度特性が均一化されてお
り、かつ、各画素が前記複数の色成分を有する復元画像
を生成する画像処理装置において、 前記色・感度モザイク画像に対応する色バランス情報を
算出する色バランス情報算出手段と、 前記色バランス情報に基づき、前記色・感度モザイク画
像の色バランスを補正する補正手段とを含むことを特徴
とする画像処理装置。 - 【請求項8】 前記色バランス情報算出手段は、前記色
・感度モザイク画像を構成する画素の感度特性に拘わら
ず色成分に注目して、前記色・感度モザイク画像に対応
する前記色バランス情報を算出することを特徴とする請
求項7に記載の画像処理装置。 - 【請求項9】 前記色バランス情報算出手段は、前記色
・感度モザイク画像を構成する画素の感度特性毎に色成
分に注目して感度別色バランス情報を算出し、算出した
複数の前記感度別色バランス情報を合成して、前記色・
感度モザイク画像に対応する前記色バランス情報を算出
することを特徴とする請求項7に記載の画像処理装置。 - 【請求項10】 前記色・感度モザイク画像の色成分と
感度特性の配列を示す色・感度モザイクパターン情報に
基づき、前記補正手段によって色バランスが補正された
前記色・感度モザイク画像を元にして、各画素の感度特
性が均一であって、かつ、各画素の単一の色成分を有す
る感度別色画像を生成する感度別色画像生成手段と、 前記感度別色画像生成手段によって生成された、同一の
色成分を有し、感度特性が異なる複数の前記感度別色画
像を合成して広ダイナミックレンジの色画像を生成する
合成手段とをさらに含むことを特徴とする請求項7に記
載の画像処理装置。 - 【請求項11】 前記感度別色画像生成手段は、前記補
正手段によって色バランスが補正された前記色・感度モ
ザイク画像を構成する全ての画素のうち、同一の感度特
性を有し、かつ、同一の色成分を有する画素を用いた補
間処理によって前記感度別色画像を生成することを特徴
とする請求項10に記載の画像処理装置。 - 【請求項12】 前記合成手段は、 前記複数の前記感度別色画像の対応する画素同士を加算
して加算画像を生成する加算手段と、 前記加算画像を構成する画素の感度特性を補償する感度
特性補償手段とを含むことを特徴とする請求項10に記
載の画像処理装置。 - 【請求項13】 各画素が複数の色成分のうちのいずれ
かの色成分を有し、かつ、光強度に対する複数の感度特
性のうちのいずれかの感度特性を有する色・感度モザイ
ク画像を元にして、各画素の感度特性が均一化されてお
り、かつ、各画素が前記複数の色成分を有する復元画像
を生成する画像処理装置の画像処理方法において、 前記色・感度モザイク画像に対応する色バランス情報を
算出する色バランス情報算出ステップと、 前記色バランス情報に基づき、前記色・感度モザイク画
像の色バランスを補正する補正ステップとを含むことを
特徴とする画像処理方法。 - 【請求項14】 各画素が複数の色成分のうちのいずれ
かの色成分を有し、かつ、光強度に対する複数の感度特
性のうちのいずれかの感度特性を有する色・感度モザイ
ク画像を元にして、各画素の感度特性が均一化されてお
り、かつ、各画素が前記複数の色成分を有する復元画像
を生成するためのプログラムであって、 前記色・感度モザイク画像に対応する色バランス情報を
算出する色バランス情報算出ステップと、 前記色バランス情報に基づき、前記色・感度モザイク画
像の色バランスを補正する補正ステップとを含むことを
特徴とするコンピュータが読み取り可能なプログラムが
記録されている記録媒体。 - 【請求項15】 各画素が複数の色成分のうちのいずれ
かの色成分を有し、かつ、光強度に対する複数の感度特
性のうちのいずれかの感度特性を有する色・感度モザイ
ク画像を元にして、各画素の感度特性が均一化されてお
り、かつ、各画素が前記複数の色成分を有する復元画像
を生成するコンピュータに、 前記色・感度モザイク画像に対応する色バランス情報を
算出する色バランス情報算出ステップと、 前記色バランス情報に基づき、前記色・感度モザイク画
像の色バランスを補正する補正ステップとを実行させる
プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002025318A JP3965555B2 (ja) | 2002-02-01 | 2002-02-01 | 画像処理装置および方法、プログラム、並びに記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002025318A JP3965555B2 (ja) | 2002-02-01 | 2002-02-01 | 画像処理装置および方法、プログラム、並びに記録媒体 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007061368A Division JP4645607B2 (ja) | 2007-03-12 | 2007-03-12 | 画像処理装置および方法、プログラム、並びに記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003230158A true JP2003230158A (ja) | 2003-08-15 |
JP3965555B2 JP3965555B2 (ja) | 2007-08-29 |
Family
ID=27747505
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002025318A Expired - Fee Related JP3965555B2 (ja) | 2002-02-01 | 2002-02-01 | 画像処理装置および方法、プログラム、並びに記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3965555B2 (ja) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005110104A (ja) * | 2003-10-01 | 2005-04-21 | Sony Corp | 固体撮像装置 |
JP2005151549A (ja) * | 2003-10-23 | 2005-06-09 | Sony Corp | 画像処理装置および画像処理方法、並びに、プログラム |
WO2005069376A1 (ja) * | 2004-01-15 | 2005-07-28 | Matsushita Electric Industrial Co.,Ltd. | 固体撮像装置、固体撮像装置の製造方法及びこれを用いたカメラ |
WO2005112470A1 (ja) * | 2004-05-13 | 2005-11-24 | Olympus Corporation | 画像処理装置および画像処理プログラム |
WO2010089830A1 (ja) * | 2009-02-03 | 2010-08-12 | パナソニック株式会社 | 撮像装置 |
JP2010539745A (ja) * | 2007-10-03 | 2010-12-16 | ノキア コーポレイション | 画像のダイナミック・レンジを改善するためのマルチ露光パターン |
WO2011089869A1 (ja) * | 2010-01-20 | 2011-07-28 | キヤノン株式会社 | 撮像装置、撮像装置の制御方法 |
JP2012169705A (ja) * | 2011-02-09 | 2012-09-06 | Canon Inc | 撮像装置 |
US9092880B2 (en) | 2012-11-20 | 2015-07-28 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
JP2020039130A (ja) * | 2015-09-30 | 2020-03-12 | 株式会社ニコン | 撮像装置 |
-
2002
- 2002-02-01 JP JP2002025318A patent/JP3965555B2/ja not_active Expired - Fee Related
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7932943B2 (en) | 2003-10-01 | 2011-04-26 | Sony Corporation | Solid state imaging device |
JP2005110104A (ja) * | 2003-10-01 | 2005-04-21 | Sony Corp | 固体撮像装置 |
US7714916B2 (en) | 2003-10-01 | 2010-05-11 | Sony Corporation | Solid-state imaging device |
JP2005151549A (ja) * | 2003-10-23 | 2005-06-09 | Sony Corp | 画像処理装置および画像処理方法、並びに、プログラム |
JP4501070B2 (ja) * | 2003-10-23 | 2010-07-14 | ソニー株式会社 | 画像処理装置および画像処理方法、並びに、プログラム |
WO2005069376A1 (ja) * | 2004-01-15 | 2005-07-28 | Matsushita Electric Industrial Co.,Ltd. | 固体撮像装置、固体撮像装置の製造方法及びこれを用いたカメラ |
US7759679B2 (en) | 2004-01-15 | 2010-07-20 | Panasonic Corporation | Solid-state imaging device, manufacturing method of solid-state imaging device, and camera employing same |
US8259202B2 (en) | 2004-05-13 | 2012-09-04 | Olympus Corporation | Image processing device and image processing program for acquiring specific color component based on sensitivity difference between pixels of an imaging device |
WO2005112470A1 (ja) * | 2004-05-13 | 2005-11-24 | Olympus Corporation | 画像処理装置および画像処理プログラム |
JP2010539745A (ja) * | 2007-10-03 | 2010-12-16 | ノキア コーポレイション | 画像のダイナミック・レンジを改善するためのマルチ露光パターン |
EP2193656B1 (en) * | 2007-10-03 | 2016-04-13 | Nokia Technologies Oy | Multi-exposure pattern for enhancing dynamic range of images |
WO2010089830A1 (ja) * | 2009-02-03 | 2010-08-12 | パナソニック株式会社 | 撮像装置 |
WO2011089869A1 (ja) * | 2010-01-20 | 2011-07-28 | キヤノン株式会社 | 撮像装置、撮像装置の制御方法 |
JP2011172211A (ja) * | 2010-01-20 | 2011-09-01 | Canon Inc | 撮像装置、撮像装置の制御方法 |
US8466993B2 (en) | 2010-01-20 | 2013-06-18 | Canon Kabushiki Kaisha | Image sensing using solid-state image sensing elements |
JP2012169705A (ja) * | 2011-02-09 | 2012-09-06 | Canon Inc | 撮像装置 |
US9092880B2 (en) | 2012-11-20 | 2015-07-28 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
JP2020039130A (ja) * | 2015-09-30 | 2020-03-12 | 株式会社ニコン | 撮像装置 |
Also Published As
Publication number | Publication date |
---|---|
JP3965555B2 (ja) | 2007-08-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4019417B2 (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
JP5007767B2 (ja) | 画像処理装置および方法 | |
JP4228699B2 (ja) | 撮像装置、および撮像素子 | |
US5543837A (en) | Dual-type imaging device having multiple light sensitive elements | |
EP3618430B1 (en) | Solid-state image capturing device and electronic instrument | |
JP3704238B2 (ja) | 撮像装置 | |
JP2002209223A (ja) | 画像処理装置および方法、並びに記録媒体 | |
TW200904204A (en) | Methods, systems and apparatuses for high-quality green imbalance compensation in images | |
JP2001285885A (ja) | 固体撮像装置および信号処理方法 | |
JP2004056422A (ja) | 固体撮像装置およびその測光方法 | |
JP3965555B2 (ja) | 画像処理装置および方法、プログラム、並びに記録媒体 | |
JP5607265B2 (ja) | 撮像装置、撮像装置の制御方法、及び制御プログラム | |
JPH09238355A (ja) | 撮像デバイスのラインノイズ除去方法及びそれを用いたラインノイズ除去装置 | |
JP4317117B2 (ja) | 固体撮像装置および撮像方法 | |
JP2009021985A (ja) | 撮像装置及び撮像装置の駆動方法 | |
JP4645607B2 (ja) | 画像処理装置および方法、プログラム、並びに記録媒体 | |
JP4279562B2 (ja) | 固体撮像装置の制御方法 | |
JP2004172859A (ja) | 撮像装置および撮像方法 | |
JP2004172858A (ja) | 撮像装置および撮像方法 | |
JP3490748B2 (ja) | 測光装置 | |
JP4482781B2 (ja) | 撮像装置および方法 | |
JP2013090106A (ja) | 撮像装置及び撮像装置の制御方法 | |
JPH06225204A (ja) | スチルビデオカメラ | |
JP2010245858A (ja) | 画像処理装置、画像処理方法および画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041201 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061226 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070109 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070312 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070502 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070515 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100608 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100608 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110608 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110608 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120608 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120608 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130608 Year of fee payment: 6 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |