JP3861808B2 - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP3861808B2 JP3861808B2 JP2002375423A JP2002375423A JP3861808B2 JP 3861808 B2 JP3861808 B2 JP 3861808B2 JP 2002375423 A JP2002375423 A JP 2002375423A JP 2002375423 A JP2002375423 A JP 2002375423A JP 3861808 B2 JP3861808 B2 JP 3861808B2
- Authority
- JP
- Japan
- Prior art keywords
- color
- signal
- processing unit
- filter
- linear matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Color Television Image Signal Generators (AREA)
- Facsimile Image Signal Circuits (AREA)
- Image Processing (AREA)
- Processing Of Color Television Signals (AREA)
- Color Image Communication Systems (AREA)
Description
【発明の属する技術分野】
本発明は、被写体を撮像する撮像装置及び方法に関し、特に撮像感度に対して好適に撮像を行なう撮像装置及び方法に関する。
【0002】
【従来の技術】
近年、コンシューマ向けの画像撮像装置(ディジタルカメラ、カラースキャナ等)および画像処理ソフトウェアが普及しており、当該画像撮像装置により被写体を撮像して生成した画像を画像処理ソフトウェアにより自ら編集するユーザが増加している。また、画像撮像装置により撮像された画像の画質に対する要求も高くなってきており、画像撮像装置を購入する際の主要な条件として、画質がよいことを挙げるユーザの割合が増えてきている。ここで、画像撮像装置の一般的な構成について以下に述べる。
【0003】
画像撮像装置は、例えば、図1に示すようなRGBの3原色のカラーフィルタ1が用いられている。この例では、図1の一点鎖線で示すように、緑色(G)の光のみを透過するGフィルタが2個、赤(R)の光のみを透過するRフィルタが1個、および青(B)の光のみを透過するBフィルタが1個の、合計4個を最小単位として、いわゆるベイヤー配列(Bayer配列)により、カラーフィルタ1が構成される。
【0004】
図2は、RGBカラーフィルタ1を有するCCD(Charge Coupled Device)撮像素子により取得されたRGB信号に対して各種の処理を施す信号処理部11の構成例を示すブロック図である。
【0005】
オフセット補正処理部21は、CCD撮像素子により取得された信号に所定の処理を施すフロントエンド13から供給されてきた画像信号に含まれるオフセット成分を除去し、得られた画像信号をホワイトバランス補正処理部22に出力する。ホワイトバランス補正処理部22は、オフセット補正処理部21から供給されてきた画像信号の色温度、およびカラーフィルタ1の各フィルタの感度の違いに基づいて、各色のバランスを補正する。ホワイトバランス補正処理部22により補正が施され、取得された色信号はガンマ補正処理部23に出力される。ガンマ補正処理部23は、ホワイトバランス補正処理部22から供給されてきた信号に対してガンマ補正を行い、取得した信号を垂直方向同時化処理部24に出力する。垂直方向同時化処理部24にはディレイ素子が設けられており、ガンマ補正処理部23から供給されてきた信号の垂直方向の時間のずれが同時化される。
【0006】
RGB信号生成処理部25は、垂直方向同時化処理部24から供給されてきた色信号を、同一空間の位相に補間する補間処理、信号のノイズ成分を除去するノイズ除去処理、信号帯域を制限するフィルタリング処理、および信号帯域の高域成分を補正する高域周波数補正処理等を行い、得られたRGB信号を、輝度信号生成処理部26、および色差信号生成処理部27に出力する。
【0007】
輝度信号生成処理部26は、RGB信号生成処理部25から供給されてきたRGB信号を所定の合成比で合成し、輝度信号(Y)を生成する。色差信号生成処理部27も同様に、RGB信号生成処理部25から供給されてきたRGB信号を所定の合成比で合成し、色差信号(Cb,Cr)を生成する。輝度信号生成処理部26により生成された輝度信号(Y)、および色差信号生成処理部27により生成された色差信号(Cb,Cr)は、例えば、信号処理部11の外部に設けられているモニタに出力される。
【0008】
このように、元信号に対してガンマ処理を施してから線形変換によって画像処理(リニアマトリクス処理)を行うことが一般的に行われている。
【0009】
上述したような画像撮像装置は、被写体を撮像し画像を生成したとき、観察時の視環境によって見え方が異なるために、所望の色で再現されない場合がある。これは、撮像時の光源(以下、撮像光源という。)と観察時の光源(以下、観察光源という。)の演色性が大きく異なる場合に生じる現象である。そこで、撮像光源と演色性の異なる観察光源で画像が再現される場合でも、良好に色再現する方法が提案されている(例えば、特許文献1参照。)。
【0010】
また、図3に分光感度の特性を示す。図3の曲線L1は、Rの分光感度を示し、曲線L2は、Gの分光感度を示し、曲線L3は、Bの分光感度を示している。
【0011】
【特許文献1】
特開2002−142231号公報
【0012】
【発明が解決しようとする課題】
一方、上述したような画像撮像装置に、リニアマトリクス処理の追加、更に撮像素子のカラーフィルタの追加を行うことにより、色再現性を劇的に向上させることができる。その際、使用するリニアマトリクスの係数を単に色差が最小になるように決定すると、ノイズを従来よりも増長させてしまうことがある。
【0013】
本発明は、上述したような実情に鑑みて提案されたものであり、撮像する環境や条件等に応じて色再現性とノイズ低減性を考慮した係数を用いたリニアマトリクス処理を行なうことが可能な撮像装置及び撮像方法を提供することを目的とする。
【0014】
【課題を解決するための手段】
本発明に係る撮像装置は、上述の課題を解決するために、分光特性の異なるカラーフィルタによりなっており、被写体を撮像する撮像素子部を有し、該撮像素子部で撮像した画像にマトリクス変換処理を行って色補正を行う撮像装置において、色再現性指標ΔE(M)とノイズ低減性指標σN(M)とから評価指数EEV(M)を以下の条件により導出し、導出された上記評価指数EEV(M)に基づいてマトリクス係数を決定し、決定された上記マトリクス係数に基づいて上記撮像素子部で撮像した画像にマトリクス変換処理を行うマトリクス変換処理手段を備える。
(条件)
EEV(M)=√{(wc・ΔE(M)) 2 +(wn・σN(M)) 2 }
但し、EEV(M):評価指数、ΔE(M):色再現性指標、σN(M):ノイズ低減性指標、wc:色再現性に対する重み係数、wn:ノイズ低減性に対する重み係数
【0016】
【発明の実施の形態】
図5は、本発明を適用した撮像装置の構成例を示すブロック図である。
【0017】
図5に示す撮像装置は、CCD(Charge Coupled Device)等よりなる画像センサ45の前面(レンズ42に対向する面)に、4種類の色(光)を識別するカラーフィルタが設けられている。なお、撮像装置では、図5の画像センサ45に設けられるカラーフィルタを図6に示す4色カラーフィルタ61とする。
【0018】
4色カラーフィルタ61は、図6の一点鎖線で示すように、赤の光のみを透過するRフィルタ、青の光のみを透過するBフィルタ、第1の波長帯域の緑色の光のみを透過するG1フィルタ、およびG1フィルタと相関が高い、第2の波長帯域の緑色の光のみを透過するG2フィルタの、合計4個のフィルタを最小単位として構成される。また、G1フィルタとG2フィルタは、その最小単位内において、互いに対角する位置に配置されている。
【0019】
後に詳述するように、画像センサ45により取得される画像の色を4種類とし、取得される色情報を増やすことにより、3種類の色(RGB)のみが取得される場合と較べて、より正確に色を表現することができ、眼で違うものに見える色は違う色に、同じものに見える色は同じ色に、それぞれ再現すること(「色の判別性」)を向上させることができる。
【0020】
なお、図7に示される視感度曲線から分かるように、人間の眼は輝度に敏感である。従って、図6に示す4色カラーフィルタ61においては、より正確な輝度情報を取得することにより、輝度の階調を上げることができ、かつ、眼の見え方に近い画像を再現することができるように、視感度曲線に近い分光感度特性を有するG2のカラーフィルタが追加されている(図1のR,G,Bに対応するR,G1,Bのフィルタに対して、新たに決定された緑G2フィルタが追加されている)。
【0021】
また、4色カラーフィルタ61を決定する際に使用されるフィルタ評価係数として、例えば、「色再現性」と「ノイズ低減性」の両方を考慮した係数であるUMG(Unified Measure of Goodness)が用いられている。
【0022】
UMGを用いた評価においては、評価対象のフィルタが単にルータ条件を満たしているだけでは、その評価値は高くならず、それぞれのフィルタの分光感度分布の重なりも考慮される。従って、qファクタ、μファクタ、またはFOM(Figure of Merit)を利用して評価されたカラーフィルタの場合と比較して、ノイズをより低減させることができる。すなわち、UMGを用いた評価により、それぞれのフィルタの分光感度特性が、ある程度の重なりを有するが、図4のRの特性とGの特性のようにほぼ全てが重なるものではないフィルタが選択されるため、色の分離のため、それぞれの色信号を増幅する場合であっても、増幅率をそれ程大きくする必要がなく、それに伴ってノイズ成分が増幅されることが抑制される。
【0023】
図8は、各フィルタ評価係数の特徴を示す図である。なお、図8は、各評価係数に対して、一度に評価できるフィルタの数、物体の分光反射率が考慮されているか否か、およびノイズの低減が考慮されているか否かに関する事項を示すものである。
【0024】
図8に示すように、qファクタ(q-factor)は、一度に評価できるフィルタの数が「1個」のみであり、物体の分光反射率と、ノイズの低減が考慮されていない。また、μファクタ(μ-factor)は、一度に複数のフィルタを評価することができるものの、物体の分光反射率とノイズの低減は考慮されていない。さらに、FOMは、一度に複数のフィルタを評価することができ、物体の分光反射率が考慮されているものの、ノイズの低減が考慮されていない。
【0025】
これに対して、4色カラーフィルタ61を決定する際に使用されるUMGは、一度に複数のフィルタを評価することができ、物体の分光反射率が考慮され、かつ、ノイズの低減も考慮されている。
【0026】
なお、qファクタについては「H.E.J.Neugebauer "Quality Factor for Filters Whose Spectral Transmittances are Different from Color Mixture Curves, and Its Application to Color Photography" JOURNAL OF THE OPTICAL SOCIETY OF AMERICA, VOLUME 46, NUMBER 10」にその詳細が開示されており、μファクタについては「P.L.Vora and H.J.Trussell, "Measure of Goodness of a set of color-scanning filters", JOURNAL OF THE OPTICAL SOCIETY OF AMERICA, VOLUME 10, NUMBER 7」にその詳細が開示されている。また、FOMについては「G.Sharma and H.J.Trussell, "Figures of Merit for Color Scanners", IEEE TRANSACTION ON IMAGE PROCESSING, VOLUME 6」にその詳細が開示されており、UMGについては「S.Quan, N.Ohta, and N.Katoh, "Optimal Design of Camera Spectral Sensitivity Functions Based on Practical Filter Components", CIC, 2001」にその詳細が開示されている。
【0027】
図5の説明に戻る。マイクロコンピュータ41は、所定の制御プログラムに従って全体の動作を制御する。例えば、マイクロコンピュータ41は、絞り43による露光制御、シャッター44の開閉制御、TG(Timing Generator)46の電子シャッターの制御、フロントエンド47でのゲインコントロール、カメラシステムLSI(Large Scale Integrated Circuit)48のモード制御、パラメータ制御等を行う。
【0028】
絞り43は、レンズ42により集光された光の通過(絞り)を調整し、画像センサ45により取り込まれる光量を制御する。シャッター44は、マイクロコンピュータ41の指示に基づいて、レンズ42により集光された光の通過を制御する。
【0029】
画像センサ45は、さらに、CCDやCMOS(Complementary Metal Oxide Semiconductor)により構成される撮像素子を有し、その撮像素子の前面に形成する4色カラーフィルタ61を介して入射された光を電気信号に変換し、4種類の色信号(R信号,G1信号,G2信号,B信号)をフロントエンド47に出力する。画像センサ45には、図6の4色カラーフィルタ61が設けられ、レンズ42を介して入射された光から、R,G1,G2,Bのそれぞれの帯域の波長の成分が抽出される。なお、その詳細については、図15を参照して後述する。
【0030】
フロントエンド47は、画像センサ45から供給されてきた色信号に対して、ノイズ成分を除去するための相関二重サンプリング処理、ゲインコントロール処理、およびディジタル変換処理等を施す。フロントエンド47により各種の処理が施され、得られた画像データは、カメラシステムLSI48に出力される。
【0031】
カメラシステムLSI48は、後に詳述するように、フロントエンド47から供給されてきた画像データに対して各種の処理を行い、例えば、輝度信号および色信号を生成して画像モニタ50に出力し、信号に対応する画像を表示させる。
【0032】
画像メモリ49は、例えば、DRAM(Dynamic Random Access Memory)やSDRAM(Synchronous Dynamic Random Access Memory)などにより構成され、カメラシステムLSI48が各種の処理を行う際に適宜利用される。半導体メモリ、ディスク等により構成される外部記憶媒体51は、例えば、図5の撮像装置に対して着脱可能に構成され、カメラシステムLSI48によりJPEG(Joint Photographic Expert Group)フォーマットで圧縮された画像データが記憶される。
【0033】
画像モニタ50は、例えば、LCD(Liquid Crystal Display)などにより構成され、撮影された画像や各種のメニュー画面等を表示する。
【0034】
図9は、図5に示すカメラシステムLSI48の構成例を示すブロック図である。カメラシステムLSI48を構成する各ブロックは、マイクロコンピュータインタフェース(I/F)73を介して、図5に示すマイクロコンピュータ41により制御される。
【0035】
信号処理部71は、フロントエンド47から供給されてきた4種類の色情報に対して、補間処理、フィルタリング処理、マトリクス演算処理、輝度信号生成処理、色差信号生成処理等の各種の処理を行い、例えば、生成した画像信号をモニタインタフェース77を介して画像モニタ50に出力する。
【0036】
画像検波部72は、フロントエンド47の出力に基づいて、オートフォーカス、オートエキスポージャー、オートホワイトバランス等の検波処理を行い、その結果を、適宜、マイクロコンピュータ41に出力する。
【0037】
メモリコントローラ75は、処理ブロック間同士のデータの送受信、または、所定の処理ブロックと画像メモリ49との間のデータの送受信を制御し、例えば、信号処理部71から供給されてきた画像データをメモリインタフェース74を介して画像メモリ49に出力し、記憶させる。
【0038】
画像圧縮・解凍部76は、例えば、信号処理部71から供給されてきた画像データをJPEGフォーマットで圧縮し、得られたデータをマイクロコンピュータインタフェース73を介して外部記憶媒体51に出力し、記憶させる。画像圧縮・解凍部76は、また、外部記憶媒体51から読み出された圧縮データを解凍(伸張)し、モニタインタフェース77を介して画像モニタ50に出力する。
【0039】
図10は、図9に示す信号処理部71の詳細な構成例を示すブロック図である。信号処理部71を構成する各ブロックは、マイクロコンピュータインタフェース73を介して、マイクロコンピュータ41により制御される。
【0040】
オフセット補正処理部91は、フロントエンド47から供給されてきた画像信号に含まれるノイズ成分(オフセット成分)を除去し、得られた画像信号をホワイトバランス補正処理部92に出力する。ホワイトバランス補正処理部92は、オフセット補正処理部91から供給されてきた画像信号の色温度、および4色カラーフィルタ61の各フィルタの感度の違いに基づいて、各色のバランスを補正する。ホワイトバランス補正処理部92により補正が施され、取得された色信号は、垂直方向同時化処理部93に出力される。垂直方向同時化処理部93にはディレイ素子が設けられており、ホワイトバランス補正処理部92から出力されてきた信号(以下、RG1G2B信号という。)の垂直方向の時間のずれが同時化(補正)される。
【0041】
信号生成処理部94は、垂直方向同時化処理部93から供給されてきたRG1G2B信号の最小単位の2×2画素の色信号を、同一空間の位相に補間する補間処理、信号のノイズ成分を除去するノイズ除去処理、信号帯域を制限するフィルタリング処理、および信号帯域の高域成分を補正する高域周波数補正処理等を行い、得られたRG1G2B信号を、リニアマトリクス処理部95に出力する。
【0042】
リニアマトリクス処理部95は、所定のリニアマトリクス係数M(3×4の行列)に基づいて式(1)によるRG1G2B信号の演算を行ない、3色のRGB信号を生成する。
【0043】
【数1】
【0044】
リニアマトリクス処理部95により生成されたR信号は、ガンマ補正処理部96−1に出力され、G信号は、ガンマ補正処理部96−2に出力され、B信号は、ガンマ補正処理部96−3に出力される。
【0045】
ガンマ補正処理部96−1乃至96−3は、リニアマトリクス処理部95から出力されてきたRGB信号のそれぞれの信号に対してガンマ補正を行い、取得されたRGB信号を輝度(Y)信号生成処理部97および色差(C)信号生成処理部98に出力する。
【0046】
輝度信号生成処理部97は、ガンマ補正処理部96−1乃至96−3から供給されてきたRGB信号を、例えば、式(2)に従って、所定の合成比で合成し、輝度信号(Y)を生成する。
Y=0.2126R+0.7152G+0.0722B・・・(2)
色差信号生成処理部98も同様に、ガンマ補正処理部96−1乃至96−3から供給されてきたRGB信号を所定の合成比で合成して色差信号(C)を生成し、帯域制限間引き処理部99に出力する。帯域制限間引き処理部99は、色差信号(C)に基づき色差信号(Cb,Cr)を生成する。なお、単板2×2色コーディングによって得られた信号には、一般的に色情報の帯域が輝度信号ほど存在しない。したがって、帯域制限間引き処理部99は、色差信号生成処理部98から供給された色差信号(C)を帯域制限処理と間引き処理を行なうことで色情報データを削減することで色差信号(Cb,Cr)を生成する。
【0047】
輝度信号生成処理部97により生成された輝度信号(Y)、および色差信号生成処理部98により生成された色差信号(C)又は帯域制限間引き処理部99により生成された色差信号(Cb,Cr)は、例えば、図9に示すモニタインタフェース77を介して画像モニタ50に出力される。
【0048】
以上のような構成を有する撮像装置において、画像の撮影が指示された場合、マイクロコンピュータ41は、TG46を制御し、画像センサ45により画像を取り込ませる。すなわち、画像センサ45を構成するCCD等の撮像素子(以下、CCD撮像素子という。)の前面に形成されている4色カラーフィルタ61により4色の光が透過され、透過された光がCCD撮像素子により取り込まれる。CCD撮像素子により取り込まれた光は、4色の色信号に変換され、それがフロントエンド47に出力される。
【0049】
フロントエンド47は、画像センサ45から供給されてきた色信号に対して、ノイズ成分を除去するための相関二重サンプリング処理、ゲインコントロール処理、およびディジタル変換処理等を施し、得られた画像データをカメラシステムLSI48に出力する。
【0050】
カメラシステムLSI48の信号処理部71においては、オフセット補正処理部91により色信号のオフセット成分が除去され、ホワイトバランス補正処理部92により、画像信号の色温度、および4色カラーフィルタ61の各フィルタの感度の違いに基づいて、各色のバランスが補正される。
【0051】
また、垂直方向同時化処理部93により、ホワイトバランス補正処理部92により補正された信号の垂直方向の時間のずれが同時化(補正)され、信号生成処理部94により、垂直方向同時化処理部93から供給されてきたRG1G2B信号の最小単位の2×2画素の色信号を、同一空間の位相に補間する補間処理、信号のノイズ成分を除去するノイズ除去処理、信号帯域を制限するフィルタリング処理、および信号帯域の高域成分を補正する高域周波数補正処理等が行われる。
【0052】
さらに、リニアマトリクス処理部95においては、信号生成処理部94により生成された信号(RG1G2B信号)が、所定のリニアマトリクス係数M(3×4の行列)に基づいて変換され、3色のRGB信号が生成される。リニアマトリクス処理部95により生成されたR信号は、ガンマ補正処理部96−1に出力され、G信号は、ガンマ補正処理部96−2に出力され、B信号は、ガンマ補正処理部96−3に出力される。
【0053】
ガンマ補正処理部96−1乃至96−3により、リニアマトリクス処理部95の処理により得られたRGB信号のそれぞれの信号に対してガンマ補正が行われ、取得されたRGB信号が輝度信号生成処理部97および色差信号生成処理部98に出力される。輝度信号生成処理部97、および色差信号生成処理部98においては、ガンマ補正処理部96−1乃至96−3から供給されてきたR信号、G信号、B信号のそれぞれの信号が所定の合成比で合成され、輝度信号(Y)および色差信号(C)が生成される。輝度信号生成処理部97により生成された輝度信号(Y)、および色差信号生成処理部98により生成された色差信号(C)は、図9の画像圧縮・解凍部76に出力され、例えば、JPEGフォーマットで圧縮される。圧縮され、得られた画像データは、マイクロコンピュータインタフェース73を介して外部記憶媒体51に出力され、記憶される。
【0054】
以上のように、1つの画像データが4種類の色信号に基づいて形成されるため、その再現性は、人間の眼の見えにより近いものとなる。
【0055】
一方、外部記憶媒体51に記憶されている画像データの再生(表示)が指示されたとき、マイクロコンピュータ41により、外部記憶媒体51に記憶されている画像データが読み出され、それがカメラシステムLSI48の画像圧縮・解凍部76に出力される。画像圧縮・解凍部76においては、圧縮されている画像データが伸張され、モニタインタフェース77を介して、得られたデータに対応する画像が画像モニタ50に表示される。
【0056】
次に、図11に示すフローチャートを参照して、以上のような構成を有する撮像装置を作成する処理(手順)について説明する。
【0057】
ステップS1において、図5に示す画像センサ45に設けられる4色カラーフィルタ61の分光感度特性を決定する4色カラーフィルタ決定処理が行われ、ステップS2において、図10に示すリニアマトリクス処理部95に設定されるマトリクス係数Mを決定するリニアマトリクス係数M決定処理が行われる。ステップS1において実行される4色カラーフィルタ決定処理の詳細については、図12に示すフローチャートを参照して、また、ステップS2において実行されるリニアマトリクス係数M決定処理の詳細については、図16に示すフローチャートを参照して、それぞれ後述する。
【0058】
4色カラーフィルタ61が決定され、マトリクス係数が決定された後、ステップS3において、図10に示す信号処理部71が作成され、ステップS4に進み、図9に示すカメラシステムLSI48が作成される。また、ステップS5において、図5に示すような撮像装置(例えば、ディジタルカメラ)の全体が作成される。ステップS6において、ステップS5で作成された撮像装置の画質(「色再現性」、「色判別性」)の評価が行われ、処理が終了される。
【0059】
ここで、「色再現性」、「色判別性」などを評価する際に参照される物体色について説明する。物体色は、「物体の分光反射率」、「標準照明の分光エネルギー分布」、および「物体を感知するセンサ(カラーフィルタ)の分光感度分布(特性)」の積を可視光領域(例えば、400乃至700nm)の範囲で積分した値によって算出される。すなわち、式(3)により物体色が算出される。
【0060】
【数2】
【0061】
例えば、所定の物体を眼で観察する場合、式(3)の「センサの分光感度特性」が等色関数で表され、その物体の物体色は、X,Y,Zの三刺激値で表される。具体的には、Xの値は式(4−1)で算出され、Yの値は式(4−2)で算出され、Zの値は式(4−3)で算出される。なお、式(4−1)乃至(4−3)における定数kの値は式(4−4)で算出される。
【0062】
【数3】
【0063】
また、ディジタルカメラなどの撮像装置により、所定の物体の画像を取り込む場合、式(3)の「センサの分光感度特性」がカラーフィルタの分光感度特性で表され、その物体の物体色は、フィルタの数の色値(例えば、RGBフィルタ(3種類)の場合はRGB値(3値))の物体色が算出される。撮像装置に、3種類の色を検出するRGBフィルタが設けられている場合、具体的には、Rの値は式(5−1)で算出され、Gの値は式(5−2)で算出され、Bの値は式(5−3)で算出される。また、式(5−1)における定数krの値は式(5−4)で算出され、式(5−2)における定数kgの値は式(5−5)で算出され、式(5−3)における定数kbの値は式(5−6)で算出される。
【0064】
【数4】
【0065】
次に、図12に示すフローチャートを参照して、図11に示すステップS1で行われる4色カラーフィルタ決定処理について説明する。
【0066】
なお、4色カラーフィルタの決定方法としては様々な方法があるが、例えば、RGBフィルタを基調として(既存の(図1)Gフィルタの一方をG1フィルタとして)、G1フィルタを透過する色と相関の高い色を透過するG2フィルタを選択し、それを追加して4色カラーフィルタを決定する処理について説明する。
【0067】
ステップS21において、UMG値を算出するために使用されるカラーターゲットが選択される。例えば、ステップS21において、現存する色を代表するカラーパッチを多く含み、かつ、人間の記憶色(肌色、植物の緑、空の青等)を重視したカラーパッチを多く含むカラーターゲットが選択される。カラーターゲットとしては、例えば、IT8.7,Macbeth Color Checker,GretagMacbeth DigitalCamera Color Checker,CIE,Color Bar等がある。
【0068】
また、目的に応じて、SOCS(Standard Object Color Spectra Database)などのデータから、標準となりうるカラーパッチを作成し、それを使用するようにしてもよい。なお、SOCSについては「田島譲二, "標準物体色分光データベース(SOCS)による統計的色再現評価", カラーフォーラムJAPAN 99」にその詳細が開示されている。以下、Macbeth Color Checkerがカラーターゲットとして選択された場合について説明する。
【0069】
ステップS22において、G2フィルタの分光感度特性が決定される。分光感度特性として、実存する材料から作成可能なものを使用するようにしてもよいし、図13に示すようなcubic spline曲線(3次スプライン関数)で仮想曲線C(λ)を想定し、仮想曲線C(λ)のピーク値λ0、値w(w1とw2の和を2で除算した値)、値Δw(w1からw2を減算した値を2で除算した値)を、図中に示す範囲で変化させたものを使用するようにしてもよい。なお、w,Δwの値は、半値幅の値に基づく値とされる。λ0,w,Δwの変化の方法は、例えば、5nm刻みとする。仮想曲線C(λ)は、それぞれの範囲において、下式(6−1)乃至(6−5)で表される。
【0070】
【数5】
【0071】
なお、この例では、フィルタG2のみが追加されるが、図1に示すフィルタ(R,G,G,B)のRフィルタとBフィルタのみを使用し、残りの2つのG1,G2フィルタを、緑色付近の上式(6−1)乃至(6−5)の仮想曲線として定義することも可能である。また、同様に、RとGのみ、GとBのみを、図1に示すフィルタから使用するようにしてもよい。さらに、4色のフィルタのうち、3色を仮想曲線、または4色とも仮想曲線として定義することも可能である。
【0072】
ステップS23において、追加するフィルタ(G2フィルタ)と、現存のフィルタ(Rフィルタ,G1フィルタ,Bフィルタ)が組み合わされ、4色カラーフィルタの最小単位(セット)が作成される。また、ステップS24において、ステップS23で作成された4色カラーフィルタに対して、フィルタ評価係数としてUMGが用いられ、UMG値が算出される。
【0073】
図8を参照して説明したように、UMGを用いた場合、4色のそれぞれのカラーフィルタに対して一度で評価を行うことができる。また、物体の分光反射率を考慮して評価が行われるだけでなく、ノイズの低減性をも考慮して評価が行われる。UMGを用いた評価においては、それぞれのフィルタの分光感度特性に、適度な重なりがあるフィルタに対して高い評価が示されるため、例えば、Rの特性とGの特性が広い波長帯域にわたって重複する特性を有するフィルタ(それぞれの色信号を分離した際、ノイズが増幅されるフィルタ)に対して、高い評価が示されるということを抑制することができる。
【0074】
図14は、3色カラーフィルタにおいて算出されるUMG値の例を示す図である。例えば、RGBの特性がそれぞれ重複しない図14Aに示すような特性のフィルタにおいては、「0.7942」のUMG値が算出され、Rの特性とGの特性が広い波長帯域にわたって重複する図14Bに示すような特性のフィルタにおいては、「0.8211」のUMG値が算出される。また、RGBのそれぞれの特性が適度に重なる図14Cに示すような特性を有するフィルタにおいては、「0.8879」のUMG値が算出される。すなわち、RGBのそれぞれの特性が適度に重なる、図14Cに示すような特性を有するフィルタに対して最も高い評価が示される。このことは、4色カラーフィルタにおいても同様である。なお、図14Aに示す曲線L31、図14Bに示す曲線L41、および図14Cに示す曲線L51はRの分光感度を表し、図14Aに示す曲線L32、図14Bに示す曲線L42、および図14Cに示す曲線L52はGの分光感度を表し、図14Aに示す曲線L33、図14Bに示す曲線L43、および図14Cに示す曲線L53はBの分光感度を表している。
【0075】
ステップS25において、ステップS24で算出されたUMG値が、所定の閾値である「0.95」以上であるか否かが判定され、「0.95」未満であると判定された場合、ステップS26に進み、作成された4色カラーフィルタが却下される(使用されない)。ステップS26において、4色カラーフィルタが却下された場合、その後、処理は終了される(図11に示すステップS2以降の処理は実行されない)。
【0076】
一方、ステップS25において、ステップS24で算出されたUMG値が「0.95」以上であると判定された場合、ステップS27において、その4色カラーフィルタが、ディジタルカメラで使用される候補のフィルタとされる。
【0077】
ステップS28において、ステップS27で候補のフィルタとされた4色カラーフィルタが、現存する材料、染料で実現可能であるか否かが判定される。材料、染料等が取得困難である場合、実現不可能であると判定され、ステップS26に進み、その4色カラーフィルタが却下される。
【0078】
一方、ステップS28において、材料、染料等が取得可能であり、実現可能であると判定された場合、ステップS29に進み、作成された4色カラーフィルタが、ディジタルカメラにおいて使用されるフィルタとして決定される。その後、図11に示すステップS2以降の処理が実行される。
【0079】
図15は、ステップS29において決定された4色カラーフィルタの分光感度特性の例を示す図である。
【0080】
図15において、曲線L61はRの分光感度を表し、曲線L62はG1の分光感度を表している。また、曲線L63はG2の分光感度を表し、曲線L64はBの分光感度を表している。図15に示すように、G2の分光感度曲線(曲線L63)は、G1の分光感度曲線(曲線L62)に対して相関が高い。また、Rの分光感度、G(G1,G2)の分光感度、およびBの分光感度は、それぞれ適度な範囲において重複している。
【0081】
以上のようにして決定された4色カラーフィルタを利用することにより、特に、「色再現性」のうちの「色の判別性」を改善させることができる。
【0082】
なお、光の利用効率の観点から、以上のように、現存するRGBフィルタのGフィルタと相関の高いフィルタを、追加するフィルタ(G2フィルタ)とすることが好ましい。この場合、追加するフィルタの分光感度曲線のピーク値は、経験的に495乃至535nmの範囲(現存するGフィルタの分光感度曲線のピーク値の近傍)にあることが望ましい。
【0083】
また、現存するGフィルタと相関の高いフィルタを追加する場合、図1に示す最小単位(R,G,G,B)を構成する2つのGフィルタのいずれか一方を追加色のフィルタにするだけで4色カラーフィルタを作成することができるため、作成の行程に大きな変更を加える必要がない。
【0084】
以上のようにして4色カラーフィルタが作成され、それがディジタルカメラに設けられた場合、図10に示す信号処理装置71には4種類の色信号が信号生成処理部94から供給されるため、リニアマトリクス処理部95において、4色(R,G1,G2,B)の信号から3色(R,G,B)の信号を生成する変換処理が行われる。この変換処理は、輝度リニアな(輝度値を線形的な変換により表すことができる)入力信号値に対するマトリクス処理であるため、以下、リニアマトリクス処理部95において行われる変換処理を、適宜、リニアマトリクス処理と称する。
【0085】
次に、図16に示すフローチャートを参照して、図11に示すステップS2において実行される、リニアマトリクス係数M決定処理について説明する。なお、リニアマトリクス係数M決定処理において使用されるカラーターゲットはMacbeth Color Checkerとし、また、使用される4色カラーフィルタは図15に示す分光感度特性を有するものとする。
【0086】
ステップS41において、例えば、CIE(Commision Internationale del'Eclairange)において標準光源とされている一般的な昼光D65(照明光L(λ))が照明光として選択される。なお、照明光は、画像処理装置が頻繁に使用されることが予想される環境の照明光等に変更してもよい。また、想定される照明環境が複数ある場合、リニアマトリクスを複数用意することも考えられる。以下、照明光として昼光D65が選択された場合について説明する。
【0087】
ステップS42において、リファレンス値(参照値)Xr,Yr,Zrが算出される。具体的には、リファレンス値Xrは式(7−1)により算出され、Yrは式(7−2)により算出され、Zrは式(7−3)により算出される。
【0088】
【数6】
【0089】
また、定数kは式(8)により算出される。
【0090】
【数7】
【0091】
例えば、カラーターゲットがMacbeth Color Checkerの場合、24色分のリファレンス値が算出される。
【0092】
次に、ステップS43において、4色カラーフィルタの出力値Rf,G1f,G2f,Bfが算出される。具体的には、Rfは式(9−1)により算出され、G1fは式(9−2)により算出され、G2fは式(9−3)により算出され、Bfは式(9−4)により算出される。
【0093】
【数8】
【0094】
また、定数krは式(10−1)により算出され、定数kg1は式(10−2)により算出され、定数kg2は式(10−3)により算出され、定数kbは式(10−4)により算出される
【0095】
【数9】
【0096】
例えば、カラーターゲットがMacbeth Color Checkerの場合は、24色分の出力値Rf,G1f,G2f,Bfが算出される。
【0097】
ステップS44において、ステップS43で算出されたフィルタ出力値を、ステップS42で算出されたリファレンス値(XYZref)に近似させる変換を行うマトリクスが、例えば、XYZ色空間における誤差最小二乗法により算出される。
【0098】
例えば、算出される、3×4のマトリクスを式(11)で表されるAとした場合、マトリクス変換(XYZexp)は、次の式(12)で表される。
【0099】
【数10】
【0100】
また、リファレンス値に対するマトリクス変換(式(12))の誤差の2乗(E2)は、次の式(13)で表され、これに基づいてリファレンス値に対するマトリクス変換の誤差を最小にするマトリクスAが算出される。
【0101】
【数11】
【0102】
また、誤差最小二乗法で使用する色空間を、XYZ色空間以外のものに変更するようにしてもよい。例えば、人間の知覚に対して均等なLab,Luv,Lch色空間(知覚均等色空間)に変換した後に同様の演算を行うことにより、知覚的な誤差の少ない色の再現を可能にするリニアマトリクスを算出することができる。なお、これらの色空間の値は、XYZ値から非線形な変換によって算出されるため、誤差最小二乗法においても非線形な計算アルゴリズムが使用される。
【0103】
上述したような演算により、例えば、図15に示す分光感度特性を有するフィルタに対するマトリクス係数として式(14)で表されるものが算出される。
【0104】
【数12】
【0105】
ステップS45において、リニアマトリクスが決定される。例えば、作成される最終のRGB画像データが次の式(15)で表されるとした場合、リニアマトリクス(LinearM)は、以下のようにして算出される。
【0106】
RGBout=[R0,G0,B0]t・・・(15)
すなわち、照明光がD65である場合、sRGB色空間をXYZ色空間に変換する変換式はITU-R709.BTマトリクスを含む式(16)で表され、そのITU-R709.BTマトリクスの逆マトリクスにより式(17)が算出される。
【0107】
【数13】
【0108】
式(12)のマトリクス変換式、式(15)および式(17)のITU-R709.BTマトリクスの逆マトリクスにより、式(18)が算出される。式(18)の右辺には、ITU-R709.BTマトリクスの逆マトリクスと、上述したマトリクスAを乗算した値としてのリニアマトリクスが含まれる。
【0109】
【数14】
【0110】
すなわち、3×4のリニアマトリクス(LinearM)は式(19−1)により表され、例えば、式(14)のマトリクス係数が用いられる、図15に示す分光分布特性を有する4色カラーフィルタに対するリニアマトリクスは、式(19−2)により表される。
【0111】
【数15】
【0112】
以上のようにして算出されたリニアマトリクスが、図10に示すリニアマトリクス処理部95に与えられる。これにより、輝度を線形変換により表すことができる信号(R,G1,G2,B)に対してマトリクス処理を行うことができるので、図2に示す信号処理部11における処理のように、ガンマ処理を施した後に得られる信号に対してマトリクス処理を行う場合に較べて、色彩工学的に、より忠実な色を再現させることができる。
【0113】
次に、図11に示すステップS6において行われる評価について説明する。
【0114】
以上のようにして作成された、例えば、図15に示す分光感度特性を有する4色カラーフィルタが設けられた撮像装置の色再現性と、図1に示す3色カラーフィルタが設けられる画像処理装置の色再現性を比較した場合、以下のような差が現れる。
【0115】
例えば、マクベスチャートを2種類の画像入力装置(4色カラーフィルタが設けられる撮像装置と、3色カラーフィルタが設けられる撮像装置)で撮像したときの出力値とリファレンス値とのLab色空間における色差が次の式(20)によりそれぞれ算出される。
【0116】
【数16】
【0117】
L1−L2は2つの試料の明度差であり、a1−a2、b1−b2は2つの試料の色相・彩度の成分差を表している。
【0118】
図17は、式(20)による算出結果を示す図である。図17に示すように、3色カラーフィルタが設けられる撮像装置の場合は色差が「3.32」であるのに対して、4色カラーフィルタが設けられる撮像装置の場合は「1.39」であり、「色の見え方」は4色カラーフィルタが設けられた撮像装置の方が優れている(色差が小さい)。
【0119】
図18においては、物体R1のR値が「49.4」、G値が「64.1」、B値が「149.5」とされ、物体R2のR値が「66.0」、G値が「63.7」、B値が「155.6」とされている。従って、4色カラーフィルタにおいては、物体R1と物体R2のRGB値はそれぞれ異なる値となり、眼で見た場合と同様に、それぞれの物体の色が識別されている。すなわち、4種類の色を識別できるフィルタを設けることにより、「色の判別性」が改善されている。
【0120】
以上においては、4色カラーフィルタ61は、図6に示すように、G1フィルタの左右にBフィルタが設けられるとともに、G2フィルタの左右にRフィルタが設けられるような配列により構成されるとしたが、図19に示すような配列により構成されるようにしてもよい。図19に示す4色カラーフィルタ61においては、G1フィルタの左右にRフィルタが設けられるとともに、G2フィルタの左右にBフィルタが設けられている。4色カラーフィルタ61をこのように構成することによっても、図6に示すものと同様に、「色の判別性」、「色の再現性」および「ノイズの低減性」を向上させることができる。
【0121】
ところで、色差(ΔE値)を最小にするように、リニアマトリクス係数Mを決定した場合、もしも、画像センサ45の前段部に形成されているカラーフィルタの分光感度が図4に示すように重なっているときには、式(21)のようにリニアマトリクス係数Mの差が大きくなってしまう。
【0122】
【数17】
【0123】
撮像素子の出力信号には、微小なノイズ成分が含まれているため、このようなリニアマトリクス係数Mを使用して色分離処理を行なうと、微小なノイズ成分も増幅されてしまう。したがって、リニアマトリクス係数Mの差が大きくならないように、色再現性よりもノイズ低減性を考慮する必要が生じる。しかし、当該撮像装置により実際に被写体を撮像するときに、撮像するシーンや環境により、色再現性よりもノイズ低減性を重視してリニアマトリクス係数Mを決定し、適応的にリニアマトリクス処理を行なった方が画質の向上を図れる場合や、逆に、ノイズ低減性よりも色再現性を重視してリニアマトリクス係数Mを決定し、適応的にリニアマトリクス処理を行なった方が画質の向上を図れる場合がある。また、撮像装置の使用の用途は、ユーザごとに異なるため、リニアマトリクス係数Mの決定をユーザが任意に行ないたい場合がある。
【0124】
そこで、本願発明に係る撮像装置では、上述したような問題点を解決するために、図20に示すフローチャートにしたがってリニアマトリクス係数Mを決定する。
【0125】
まず、使用するチャート及び照明光の決定を行ない(ステップS50)、つぎに色再現性指標ΔE(M)の定義を行ない(ステップS51)、つぎにノイズ低減性指標σN(M)の定義を行ない(ステップS52)、つぎに評価指数EEV(M)(Error Evaluation Value)の定義を行ない(ステップS53)、そして、評価指数EEV(M)に基づきリニアマトリクス係数Mを決定する(ステップS54)。なお、ステップ5では、評価指数EEV(M)の係数を撮像条件等により適応的に変化させ、対応するリニアマトリクス係数Mを決定する。以下に、各ステップの詳細について説明する。
【0126】
使用するチャート及び照明光の決定(ステップS50)について説明する。リニアマトリクス係数Mを決定するためには、カラーチャートと、当該カラーチャートを照明する光源を決める必要がある。カラーチャートとしては、Macbeth Color Checker, Digital Camera Color Checker, IT8.7等の複数の均一な色平面を持つカラーパッチから成る様々な反射チャート又は透過チャートが考えられる。照明光としては、撮像装置がよく使用される環境の光に近い分光感度を持つもの(例えばD55や光源等)が考えられる。なお、撮像装置は、ユーザの使用目的により様々な光源下で用いられることが考えられるので、照明光としては、よく使用される環境の光のみに限定されるものではない。
【0127】
つぎに、色再現性指標ΔE(M)の定義(ステップS51)について説明する。色再現性は、目標色と撮像装置のリニアマトリクス処理部95でリニアマトリクス処理が行なわれた信号値が示す色(以下、出力色という。)との差で定義される。なお、色の値としては、RGB値、YCbCr値又はXYZ値等様々考えられるが、人間の眼の見えに対して知覚が均等な色空間の値(L*a*b*値、L*u*v*値等)を用いて定義する方が、より色の差を正確に示すことが可能となる。例えば、カラーチャート中のk番目のカラーパッチの目標色をLabref_k(L*ref_k, a*ref_k, b*ref_k)とし、撮像装置の出力色をL*a*b*shot_k(L*shot_k, a*shot_k, b*shot_k)とすると、このパッチの色差ΔEkは式(22)のようになる。
【0128】
【数18】
【0129】
また、色再現性指標ΔE(M)としては、カラーチャートの各パッチの平均ΔE値や、各パッチに重み付けを行ってある特定色の色再現性を重視した値等が考えられる。
【0130】
【数19】
【0131】
ただし、wkは、各パッチに対する重み付け係数を示し、TotalPatchNumは、カラーパッチの総数を示す。
【0132】
また、実際には撮像装置の出力色には、リニアマトリクス処理が施されているので、L*a*b*shot_kは、リニアマトリクス係数Mの関数値となり、したがってΔEk、ΔEもMの関数値となる。
【0133】
【数20】
【0134】
つぎに、ノイズ低減性指標σN(M)の定義(ステップS52)について説明する。ノイズ低減性指標σN(M)は、撮像装置のリニアマトリクス処理部95でリニアマトリクス処理が行なわれた信号値の標準偏差で定義する。信号値としては、RGB値、YCbCr値又はXYZ値等様々考えられるが、人間の眼の見えに対して知覚が均等な色空間の値(L*a*b*値、L*u*v*値)等を用いて信号値を定義する方が、より人が感じるノイズ感と相関のあるノイズ値σNkを得ることが可能となる。なお、ノイズ値は、信号値の色空間に対応して、色空間の各成分の標準偏差となる。例えば、RGB空間の場合には、ノイズ値は、σR,σG,σBとなり、XYZ空間の場合には、ノイズ値は、σX,σY,σZとなる。ノイズ低減性指標σN(M)の定義では、これらのノイズ値を使って1つのノイズ指標を決定する。例えば、あるカラーパッチを照明光下で撮像した場合、L*a*b*空間のノイズ値σNkは、明度ノイズをσL*k、色ノイズをσa*k,σb*kとし、これらの値から例えば式(25)のような明度及び色ノイズを考慮したものとして定義される。
【0135】
【数21】
【0136】
ただし、wL* k、wa* k、wb* kは、各標準偏差値への重み付け係数を示し、人間の眼が感じるノイズ感との相関で適切に設定されるものである。なお、ノイズ値σNkとしては、他の色空間の分散値を使ったもの等様々考えられる。ノイズ低減性指標σN(M)としては、カラーチャートの各パッチの平均σN値や、各パッチに重み付けを行ってある特定色のノイズ低減性を重視した値等が考えられる。
【0137】
【数22】
【0138】
実際には、撮像装置の信号値には、リニアマトリクス処理が施されているので、σNk及びσNはリニアマトリクス係数Mの関数値となる。
【0139】
【数23】
【0140】
つぎに、評価指数EEV(M)の定義(ステップS53)について説明する。上述したステップS51及びステップS52の定義により、リニアマトリクス係数Mの関数値である色再現性指標ΔE(M)及びノイズ低減性指標σN(M)の二値を考慮した評価指数EEV(Error Evaluation Value)(M)を式(28)の様に定義する。
【0141】
【数24】
【0142】
ただし、h, I, j, k, l, は、関数を示し、wcは、色差に対する重み付け係数を示し, wnは、ノイズ値に対する重み付け係数を示す。wcとwnを変化させて、評価指数EEV(M)が最小となるようにリニアマトリクス係数Mを決定することにより、色再現性及びノイズ低減性の双方を考慮したリニアマトリクス係数Mの決定が可能となる。なお、色再現性を重視したい場合は、wc>wnとし、ノイズ低減性を重視したい場合は、wc < wnと重み付けを設定すれば良い。
【0143】
つぎに、リニアマトリクス係数Mを決定する手段(ステップS54)について説明する。ステップS53により定義した評価指数EEV(M)に誤差最小二乗法を適用してリニアマトリクス係数Mを決定する。なお、ステップS54では、wc及びwnを適当に定めて、例えばNewton法、Steepest Descent法又はConjugate Gradient法等を回帰アルゴリズムとして使用して誤差最小二乗法を適用し、リニアマトリクス係数Mを決定する。
【0144】
また、ステップS54では、撮像装置により被写体を撮像するときの環境や条件等によりステップS53で定義した評価指数EEV(M)の色差に対する重み付け係数wc及びノイズ値に対する重み付け係数 wnを適応的に変化させ、誤差最小二乗法によりリニアマトリクス係数Mを決定する。図21に、色再現性指標ΔE(M)を変化させたときのノイズ値低減性指標σN(M)の変化の様子を示す。図21に示すように、一つの撮像素子においても、リニアマトリクス係数Mによって色再現性指標ΔE(M)とノイズ低減性指標σN(M)のトレードオフが存在する。この結果を用いて、様々な撮像環境及び条件等に応じて適応的にリニアマトリクス係数Mを決定する。また、あらかじめいくつかのリニアマトリクス係数Mのセットを用意し、ユーザが必要に応じてリニアマトリクス係数Mを選択して色再現性指標ΔE(M)及びノイズ低減性指標σN(M)を調節することも可能である。
【0145】
ここで、撮像装置が図22に示すような特性の4色カラーフィルターよりなるCCD撮像素子を有している場合に、上述したステップS50〜ステップS54にしたがってリニアマトリクス係数Mを決定する具体例について述べる。
【0146】
まず、使用するチャート及び照明光を決定する(ステップS50)。カラーチャートは、Macbeth Color Checker(24色のカラーパッチを含む)を使用し、照明光は、D55光源(CIEで定義される5500kの標準昼光)を使用する。なお、それぞれの分光データは、例えば、分光放射輝度計を用いて測定されているものとする。
【0147】
つぎに、色再現性指標ΔE(M)の定義を行なう(ステップS51)。目標色を人間の眼の見えとし、Lab空間での色差ΔEを指標とする。一般的に物体色は、「物体の分光反射率」と「照明の分光エネルギー分布」と「物体を感知するセンサの分光感度分布」との積を可視光領域vis(通常400nm〜700nm)の範囲で積分した値によって式(29)のように定義される。
物体色=∫vis(物体の分光反射率)・(照明の分光輝度)・(物体を感知するセンサの分光感度)・・・(29)
さらに、人間の眼の分光感度を表す等色関数を用いると、カラーチャートのk番目のパッチの目標色XYZref_k(Xref_k, Yref_k, Zref_k)は、式(29)を用いて式(30)のように表すことができる。
【0148】
【数25】
【0149】
また、通常は、式(31)を使用してXYZ空間の色をL*a*b*空間の色に変換する。
【0150】
【数26】
【0151】
ただし、(Xn、Yn、Zn)は、完全拡散反射面(白点)のXYZ値を示している。
【0152】
そして、目標色XYZref_kを式(31)を用いてL*a*b*ref_k(L*ref_k, a*ref_k, b*ref_k)に変換する。
【0153】
また、CCD撮像素子から出力される信号値であるrawデータRGBXraw_k(Rraw_k, Graw_k, Braw_k, Xraw_k)は、式(29)を用いると式(32)のようになる。
【0154】
【数27】
【0155】
撮像装置は、リニアマトリクス処理部95でrawデータRGBXraw_k(Rraw_k, Graw_k, Braw_k, Xraw_k)をリニアマトリクス係数M(m0〜m11)を用いてリニアマトリクス処理をするので、リニアマトリクス処理後の撮像データは式(33)のようになる。
【0156】
【数28】
【0157】
そして、上記RGBcam_kをXYZ値に変換する。なお、変換には、式(34)に示すように、一般的に使用されている709系マトリクスM709を使用する。
【0158】
【数29】
【0159】
つぎに、式(34)を用いて、Xcam_k、Ycam_k、及びZcam_kを求める。
【0160】
【数30】
【0161】
また、式(31)を用いてL*a*b*値(L*a*b*cam_k(L*cam_k, a*cam_k, b*cam_k))に変換し、カラーチャートのk番目のパッチの色差ΔEkを式(36)のように定義する。
【0162】
【数31】
【0163】
なお、ΔEkは、L*a*b*cam_kの値を使用しているので、リニアマトリクス係数Mの関数値でもあるので、ΔEk(M)と表すことができる。色再現性指標ΔE(M)は、式(37)に示すように、各カラーパッチの色差の平均値として定義する。
【0164】
【数32】
【0165】
つぎに、ノイズ低減性指標σN(M)の定義を行なう(ステップS52)。なお、ここでは、撮像装置のリニアマトリクス処理部95によるリニアマトリクス処理後の信号値に含まれているσL(M)成分に基づきノイズ低減性指標σN(M)を定義する。
【0166】
一般的にCCD撮像素子自体が出力する信号CV_CCDに含まれているノイズNoise_rawは、式(38)のように定義される。
【0167】
【数33】
【0168】
なお、ShotNoiseCoefとDarkNoiseは、CCD撮像素子のデバイス特性によって決まる値である。DarkNoiseは、信号値に依存しないノイズ成分(Fixed Pattern Noise等)を表し、ShotNoiseは、信号値に依存するノイズ成分(Sensor Dark Noise, Photon Shot Noise等)を表す。
【0169】
式(31)を使用すると、評価する撮像装置のk番目のカラーパッチのrawデータに含まれているノイズ成分は式(39)のように定義される。
【0170】
【数34】
【0171】
また、文献(P.D.Burns and R.S.Berns, "Error Propagation Analysis in Color Measurement and Imaging", Color Research and Application, 1997)には、以下に示すようなノイズ伝搬理論が記載されている。
【0172】
所定の入力信号X'=[x1,x2,・・・,xn]が、(m×n)マトリクスAによって、Y'=[y1,y2,・・・,ym]に線形変換されるとすると、式(40)のように表される。
Y'=A・X'・・・(40)
いま、入力信号X'の分散共分散行列Σxが、式(41)に示すようになると、対角成分が入力信号のNoise分散値となる。
【0173】
【数35】
【0174】
もし、入力信号値同士の相関がなければ、行列成分中の共分散成分(すなわち非対角成分)は0となる。このとき、出力信号Yの分散共分散行列Σyは、式(42)のように定義される。
Σy=A・ΣxA'・・・(42)
なお、式(42)は、線形変換で変換することができる色空間同士での、Noise分散値の伝搬理論式となる。
【0175】
また、撮像装置のリニアマトリクス処理部95によるリニアマトリクス処理後の信号RGBcam_kをL*a*b*cam_kに変換するためには、RGB空間からXYZ空間への変換処理(以下、RGB→XYZ変換処理という。)を行ない、その後、XYZ空間からL*a*b*空間への変換処理(以下、XYZ→L*a*b*変換処理という。)を行なう必要がある。RGB→XYZ変換処理は、式(34)に示す709系マトリクスM709を使用して線形変換を行なうことができるが、XYZ→L*a*b*変換処理は、式(31)に示すように非線形変換を行なう必要がある。しかし、XYZ→L*a*b*変換処理は、ノイズ量が微小量であることから、JacobianマトリクスJL*a*b*_kを使用して線形近似することができ、RGB→XYZ変換処理と同様に線形変換により行なうことができる。
【0176】
リニアマトリクス後の信号値をXYZ値に変換した値をXYZcam_k(Xcam_k,Ycam_k,Zcam_k)とすると、式(43)のように表すことができる。
JL*a*b*_k=J0D(XYZcam_k)・・・(43)
ただし、J0は、式(44)とする。
【0177】
【数36】
【0178】
したがって、CCD撮像素子から出力されるrawデータをLab値に線形変換するための近似マトリクスMtotal_kは式(46)のようになる。
【0179】
【数37】
【0180】
式(46)のマトリクスと式(42)に示したノイズ伝搬理論の式を適用すると、k番目のカラーパッチにおける明度ノイズσLkは、式(47)で計算することができる。
【0181】
【数38】
【0182】
したがって、式(47)より式(48)を導き出すことができる。
【0183】
【数39】
【0184】
なお、式(48)は、リニアマトリクス係数Mの関数なのでσL*k(M)で表すことができる。ノイズ低減性指標σN(M)は、カラーパッチの各明度ノイズの平均値なので式(49)のように定義することができる。
【0185】
【数40】
【0186】
つぎに、上述のように定義した色再現性指標ΔE(M)及びノイズ低減性指標σN(M)を考慮した評価指数EEV(M)を式(50)のように定義する(ステップS53)。なお、EEVは、Error Evaluation Valueの略である。
【0187】
【数41】
【0188】
つぎに、式(50)を誤差最小二乗法によって解き、リニアマトリクス係数Mを決定する。例えば、wc=1としwn=2とすると評価指数EEV(M)は、式(51)となる。
【0189】
【数42】
【0190】
式(51)を誤差最小二乗法を用いて解き、リニアマトリクス係数Mを式(52)のように決定する(ステップS54)。
【0191】
【数43】
【0192】
一方、wc=1としwn=0とした、すなわち色再現性だけを追い込んだ色差最小マトリクスは式(53)のようになる。
【0193】
【数44】
【0194】
式(52)と、式(53)を比較すると、明らかに式(53)の係数の方が係数間の大小差が大きく、ノイズを増長するマトリクスであることが確認できる。
【0195】
ここで、撮像装置のISO感度の設定に基づきリニアマトリクス係数Mを適応的に決定する具体例について述べる。撮像装置では、ISO感度の設定に基づいてCCD撮像素子から入力される信号(以下、入力信号という。)を増幅又は減衰させる。撮像装置のISO感度の設定をISO100からISO200に変更したときには、入力信号は、例えば、ISO100のときの2倍に増幅されて撮像装置に入力される。しかし、撮像装置では、ISO感度の設定状態にかかわらず全ての入力信号に対して同一のリニアマトリクス係数Mを使用してリニアマトリクス処理を行なうため、ISO感度の設定が高い場合には、入力信号の増幅に伴い、入力信号に含まれているノイズ成分も一緒に増幅されてしまう。したがって、ISO感度の設定を高くして高解像度の画像を得ようとしても、増幅されたノイズ成分が含まれている画像が生成されてしまう。
【0196】
そこで、本願発明に係る撮像装置では、ISO感度の設定に基づき増幅又は減衰される入力信号に含まれているノイズ成分の低減性を考慮してリニアマトリクス係数Mを決定し、当該リニアマトリクス係数Mを使用してリニアマトリクス処理を行なう。例えば、表1に示すように、ノイズ低減性に対する重み係数(wn)をISO感度の設定に応じて変化できるようにし、wc及びwnを式(50)に代入してISO感度の設定ごとのリニアマトリクス係数Mを決定する。したがって、撮像装置は、ISO感度の設定状態に基づいて決定されたリニアマトリクス係数Mを用いてリニアマトリクス処理を行なうことができるので、ISO感度の設定を高くしても、それに伴いノイズ成分が増幅することがなく、高解像度の画像を得ることが可能となる。
【0197】
【表1】
【0198】
ここで、撮像装置により被写体を撮像する環境に基づきリニアマトリクス係数Mを適応的に決定する例について述べる。例えば、夜景等の被写体を撮像装置により撮像した場合には、生成された画像の大半を暗い部分(暗部)が占めることがあり、その暗部にノイズが生じていると非常に目立ってしまう。このような場合には、色再現性よりもノイズ成分の低減性を考慮した方が良い。
【0199】
そこで、本発明に係る撮像装置では、被写体を撮像するシーンに基づきノイズ低減性と色再現性を考慮してリニアマトリクス係数Mを決定し、当該リニアマトリクス係数Mを使用してリニアマトリクス処理を行なう。例えば、図23のヒストグラムに示すように、撮像装置の輝度ダイナミックレンジの半分以下の領域に、生成した画像の輝度成分の70%以上が含まれているようなときには、ノイズ低減性を重視してリニアマトリクス係数Mを決定し、それ以外のときには色再現性及びノイズ低減性を考慮してリニアマトリクス係数Mを決定する。具体的には、表2に示すように、ノイズ低減性に対する重み係数(wn)を撮像シーンに応じて変化できるようにし、wc及びwnを式(50)に代入して、撮像シーンごとにリニアマトリクス係数Mを決定する。したがって、撮像装置は、撮像シーンに基づいて決定されたリニアマトリクス係数Mを用いてリニアマトリクス処理を行なうことができるので、生成された画像の大半を暗部が占めても、ノイズ成分を目立たなくすることが可能である。
【0200】
【表2】
【0201】
ここで、撮像装置を使用するユーザの要求に基づきリニアマトリクス係数Mを適応的に決定する具体例について述べる。撮像装置で被写体を撮影して生成した画像は、ユーザの使用用途によって、色再現性よりもノイズが少ないことが要求されることが多々ある。使用用途は撮像装置の製作会社には分からない事で、ユーザだけが知っている事実である。
【0202】
そこで、本願発明に係る撮像装置では、ユーザが意図的する条件に基づきリニアマトリクス係数Mを決定し、当該リニアマトリクス係数Mを使用してリニアマトリクス処理を行なう。例えば、表3に示すように、ノイズ低減性に対する重み係数(wn)をノイズ量調節変数に応じて変化できるようにし、wn及びwcを式(50)に代入して、ノイズ量調整変数ごとにリニアマトリクス係数Mを決定し、決定したリニアマトリクス係数Mを記憶しておき、ユーザがノイズ量調節変数を当該撮像装置のインターフェースを通して変化させたときに、所定のリニアマトリクス係数Mを決定し、当該リニアマトリクス係数Mを使用してリニアマトリクス処理を行なう。したがって、撮像装置は、ユーザの要求に応じて決定されたリニアマトリクス係数Mを用いてリニアマトリクス処理を行なうことができるので、ユーザの使用状況に応じたノイズ量調節を行なうことが可能である。
【0203】
【表3】
【0204】
なお、表3では、ノイズ量調節変数の数値が大きくなればなるほどノイズ量が減ることを意味している。また、撮像前にノイズ量調節変数の設定を行なわず、撮像装置の撮像開始ボタンを押圧したときに、いくつかのリニアマトリクス係数Mを使用したリニアマトリクス処理後の画像が複数個メモリに保存されるようにしても良い。
【0205】
このように構成された撮像装置は、図12に示すフローチャートに従って画像センサ45の前段部に形成される4色カラーフィルタ61が決定されるので、「色再現性」のうちの「色の判別性」を改善させることができ、また、信号処理部71で輝度を線形変換により表すことができる信号(R,G1,G2,B)に対してマトリクス処理を行うので、図2に示す信号処理部11における処理のように、ガンマ処理を施した後に得られる信号に対してマトリクス処理を行う場合に較べて、色彩工学的に、より忠実な色を再現することができ、さらに、信号処理部71のリニアマトリクス処理部95で行なうリニアマトリクス処理において、リニアマトリクス係数Mの決定を撮像条件等に応じて決定するので、撮像画像の色再現性及びノイズの低減性を向上させることができる。
【0206】
【発明の効果】
以上詳細に説明したように、本発明に係る撮像装置は、人間の眼の見え方に対して忠実な色の再現を表す色再現値と人間が感じるノイズ感を表すノイズ値を調整する調整部と、上記調整部の調整に基づきマトリクス係数を決定するマトリクス係数決定部と、上記マトリクス係数に基づき当該撮像装置に備えられている撮像素子部で撮像した画像にマトリクス変換処理を行なうマトリクス変換処理部とを備えるので、撮像環境及び条件に応じて適応的にリニアマトリクス係数Mを決定し、当該リニアマトリクス係数Mを使用してリニアマトリクス処理を行なうことができる。
【0207】
また、本発明に係る撮像方法は、分光特性の異なるカラーフィルタによりなっており、人間の眼の見え方に対して忠実な色の再現を表す色再現値と人間が感じるノイズ感を表すノイズ値を調整する第1のステップと、上記第1のステップの調整に基づきマトリクス係数を決定する第2のステップと、上記マトリクス係数に基づき被写体を撮像する撮像素子部で撮像した画像にマトリクス変換処理を行なう第3のステップとを有するので、撮像環境及び条件に応じて適応的にリニアマトリクス係数Mを決定し、当該リニアマトリクス係数Mを使用してリニアマトリクス処理を行なうことができる。
【図面の簡単な説明】
【図1】従来のRGBカラーフィルタの例を示す図である。
【図2】従来の撮像装置に設けられる信号処理部の構成例を示すブロック図である。
【図3】分光感度特性の例を示す図である。
【図4】分光感度特性の他の例を示す図である。
【図5】本発明を適用した撮像装置の構成例を示すブロック図である。
【図6】本発明を適用した撮像装置に設けられる4色カラーフィルタの例を示す図である。
【図7】視感度曲線の例を示す図である。
【図8】評価係数の特徴を示す図である。
【図9】本発明を適用した撮像装置が備えるカメラシステムLSIの構成例を示すブロック図である。
【図10】図9の信号処理部の構成例を示すブロック図である。
【図11】画像処理装置の作成処理を説明するフローチャートである。
【図12】図11のステップS1の4色カラーフィルタ決定処理の詳細を説明するフローチャートである。
【図13】仮想曲線の例を示す図である。
【図14】フィルタ毎のUMG値の例を示す図である。
【図15】4色カラーフィルタの分光感度特性の例を示す図である。
【図16】図11のステップS2のリニアマトリクス決定処理の詳細を説明するフローチャートである。
【図17】色差の評価結果の例を示す図である。
【図18】4色カラーフィルタによる所定の物体の色度を示す図である。
【図19】本発明を適用した撮像装置に設けられる4色カラーフィルタの他の例を示す図である。
【図20】適応的にリニアマトリクス係数Mの決定を示すフローチャートである。
【図21】色再現性指標を変化させたときのノイズ低減性指標の変化の様子を示す図である。
【図22】4色カラーフィルタの分光感度特性の例を示す図である。
【図23】画像のヒストグラムを示す図である。
【符号の説明】
45 画像センサ、61 4色カラーフィルタ、71 信号処理部、91 オフセット補正処理部、92 ホワイトバランス補正処理部、93 垂直方向同時化処理部、94 信号生成処理部、95 リニアマトリクス処理部、96−1,96−2,96−3 ガンマ補正処理部、97 輝度信号生成処理部、98 色差信号生成処理部、99 帯域制限間引き処理部
Claims (1)
- 分光特性の異なるカラーフィルタによりなっており、被写体を撮像する撮像素子部を有し、該撮像素子部で撮像した画像にマトリクス変換処理を行って色補正を行う撮像装置において、
色再現性指標ΔE(M)とノイズ低減性指標σN(M)とから評価指数EEV(M)を以下の条件により導出し、導出された上記評価指数EEV(M)に基づいてマトリクス係数を決定し、決定された上記マトリクス係数に基づいて上記撮像素子部で撮像した画像にマトリクス変換処理を行うマトリクス変換処理手段を備えることを特徴とする撮像装置。
(条件)
EEV(M)=√{(wc・ΔE(M)) 2 +(wn・σN(M)) 2 }
但し、EEV(M):評価指数、ΔE(M):色再現性指標、σN(M):ノイズ低減性指標、wc:色再現性に対する重み係数、wn:ノイズ低減性に対する重み係数
Priority Applications (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002375423A JP3861808B2 (ja) | 2002-12-25 | 2002-12-25 | 撮像装置 |
CN2003801076614A CN1732694B (zh) | 2002-12-25 | 2003-12-02 | 图像拾取装置和方法 |
PCT/JP2003/015437 WO2004059987A1 (ja) | 2002-12-25 | 2003-12-02 | 撮像装置及び方法 |
KR1020057012037A KR20050088335A (ko) | 2002-12-25 | 2003-12-02 | 촬상 장치 및 방법 |
EP03813977A EP1578139A4 (en) | 2002-12-25 | 2003-12-02 | PICTURE DEVICE AND METHOD |
US10/540,404 US7489346B2 (en) | 2002-12-25 | 2003-12-02 | Image pick-up device and image pick-up method adapted with image pick-up sensitivity |
TW092134391A TWI225940B (en) | 2002-12-25 | 2003-12-05 | Image taking apparatus and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002375423A JP3861808B2 (ja) | 2002-12-25 | 2002-12-25 | 撮像装置 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2004208079A JP2004208079A (ja) | 2004-07-22 |
JP2004208079A5 JP2004208079A5 (ja) | 2005-03-17 |
JP3861808B2 true JP3861808B2 (ja) | 2006-12-27 |
Family
ID=32677336
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002375423A Expired - Lifetime JP3861808B2 (ja) | 2002-12-25 | 2002-12-25 | 撮像装置 |
Country Status (7)
Country | Link |
---|---|
US (1) | US7489346B2 (ja) |
EP (1) | EP1578139A4 (ja) |
JP (1) | JP3861808B2 (ja) |
KR (1) | KR20050088335A (ja) |
CN (1) | CN1732694B (ja) |
TW (1) | TWI225940B (ja) |
WO (1) | WO2004059987A1 (ja) |
Families Citing this family (38)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060164533A1 (en) * | 2002-08-27 | 2006-07-27 | E-Phocus, Inc | Electronic image sensor |
JP4501634B2 (ja) | 2004-10-29 | 2010-07-14 | 富士フイルム株式会社 | マトリクス係数決定方法及び画像入力装置 |
EP1833264B1 (en) | 2004-12-17 | 2012-11-07 | Nikon Corporation | Image processing method |
JP4859502B2 (ja) * | 2005-03-30 | 2012-01-25 | Hoya株式会社 | 撮像装置 |
US7864235B2 (en) | 2005-03-30 | 2011-01-04 | Hoya Corporation | Imaging device and imaging method including generation of primary color signals |
JP4293174B2 (ja) * | 2005-09-28 | 2009-07-08 | ソニー株式会社 | 撮像装置および画像処理装置 |
JP2007103401A (ja) * | 2005-09-30 | 2007-04-19 | Matsushita Electric Ind Co Ltd | 撮像装置及び画像処理装置 |
KR100721543B1 (ko) * | 2005-10-11 | 2007-05-23 | (주) 넥스트칩 | 통계적 정보를 이용하여 노이즈를 제거하는 영상 처리 방법및 시스템 |
KR101147084B1 (ko) | 2005-12-20 | 2012-05-17 | 엘지디스플레이 주식회사 | 액정 표시장치의 구동장치 및 구동방법 |
JP4983093B2 (ja) * | 2006-05-15 | 2012-07-25 | ソニー株式会社 | 撮像装置および方法 |
TWI400667B (zh) * | 2006-09-06 | 2013-07-01 | Magic Pixel Inc | 色彩補插方法及應用其之影像處理裝置 |
JP4874752B2 (ja) * | 2006-09-27 | 2012-02-15 | Hoya株式会社 | デジタルカメラ |
TWI318536B (en) * | 2006-09-29 | 2009-12-11 | Sony Taiwan Ltd | A method of color matching applied on the image apparatus |
US7847830B2 (en) * | 2006-11-21 | 2010-12-07 | Sony Ericsson Mobile Communications Ab | System and method for camera metering based on flesh tone detection |
US8532428B2 (en) * | 2007-02-27 | 2013-09-10 | Nec Corporation | Noise reducing apparatus, noise reducing method, and noise reducing program for improving image quality |
US8108211B2 (en) | 2007-03-29 | 2012-01-31 | Sony Corporation | Method of and apparatus for analyzing noise in a signal processing system |
US8711249B2 (en) | 2007-03-29 | 2014-04-29 | Sony Corporation | Method of and apparatus for image denoising |
US9285670B2 (en) * | 2007-09-14 | 2016-03-15 | Capso Vision, Inc. | Data communication between capsulated camera and its external environments |
JP5080934B2 (ja) * | 2007-10-22 | 2012-11-21 | キヤノン株式会社 | 画像処理装置及び方法、及び撮像装置 |
JP5178226B2 (ja) * | 2008-02-08 | 2013-04-10 | オリンパス株式会社 | 画像処理装置および画像処理プログラム |
JP4735994B2 (ja) * | 2008-08-27 | 2011-07-27 | ソニー株式会社 | 撮像装置及び方法、プログラム、並びに記録媒体 |
US20110075935A1 (en) | 2009-09-25 | 2011-03-31 | Sony Corporation | Method to measure local image similarity based on the l1 distance measure |
KR101129220B1 (ko) * | 2009-11-03 | 2012-03-26 | 중앙대학교 산학협력단 | 레인지 영상의 노이즈 제거장치 및 방법 |
JP5460276B2 (ja) * | 2009-12-04 | 2014-04-02 | キヤノン株式会社 | 撮像装置及び撮像システム |
JP5308375B2 (ja) * | 2010-02-25 | 2013-10-09 | シャープ株式会社 | 信号処理装置、固体撮像装置、電子情報機器、信号処理方法、制御プログラムおよび記録媒体 |
JP2012010276A (ja) * | 2010-06-28 | 2012-01-12 | Sony Corp | 画像処理装置、画像処理方法及び画像処理プログラム |
US8731281B2 (en) * | 2011-03-29 | 2014-05-20 | Sony Corporation | Wavelet transform on incomplete image data and its applications in image processing |
JP2012253727A (ja) * | 2011-06-07 | 2012-12-20 | Toshiba Corp | 固体撮像装置及びカメラモジュール |
JP5954661B2 (ja) * | 2011-08-26 | 2016-07-20 | パナソニックIpマネジメント株式会社 | 撮像素子、及び撮像装置 |
US8780225B2 (en) * | 2011-10-12 | 2014-07-15 | Apple Inc. | Use of noise-optimized selection criteria to calculate scene white points |
US8654210B2 (en) | 2011-10-13 | 2014-02-18 | Canon Kabushiki Kaisha | Adaptive color imaging |
JP5895569B2 (ja) * | 2012-02-08 | 2016-03-30 | ソニー株式会社 | 情報処理装置、情報処理方法およびコンピュータプログラム |
US9531922B2 (en) * | 2013-10-30 | 2016-12-27 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and computer readable storage medium for improving sharpness |
JP2015180045A (ja) * | 2014-02-26 | 2015-10-08 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP6013382B2 (ja) * | 2014-02-27 | 2016-10-25 | 富士フイルム株式会社 | 内視鏡システム及びその作動方法 |
CN104902153B (zh) * | 2015-05-25 | 2017-11-28 | 北京空间机电研究所 | 一种多光谱相机色彩校正方法 |
WO2020221731A1 (en) * | 2019-04-30 | 2020-11-05 | Signify Holding B.V. | Luminance distribution determination |
EP3896967A1 (en) | 2020-04-17 | 2021-10-20 | Leica Microsystems CMS GmbH | Digital imaging device and method for generating a digital color image |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0815338B2 (ja) * | 1984-08-13 | 1996-02-14 | 株式会社日立製作所 | カラービデオカメラ |
JP3263924B2 (ja) | 1990-09-14 | 2002-03-11 | ソニー株式会社 | カラー撮像装置 |
US5668596A (en) * | 1996-02-29 | 1997-09-16 | Eastman Kodak Company | Digital imaging device optimized for color performance |
JP3750830B2 (ja) * | 1996-08-30 | 2006-03-01 | ソニー株式会社 | 撮像装置における色補正装置 |
JP3880276B2 (ja) * | 2000-03-03 | 2007-02-14 | 三菱電機株式会社 | 撮像装置 |
JP4064038B2 (ja) * | 2000-06-09 | 2008-03-19 | 富士フイルム株式会社 | 固体撮像素子を用いた画像取得装置および画像取得方法並びにその方法を実行するためのプログラムを記録した記録媒体 |
JP4534340B2 (ja) | 2000-10-31 | 2010-09-01 | ソニー株式会社 | 色再現補正装置 |
US6822657B2 (en) * | 2001-08-10 | 2004-11-23 | Agilent Technologies, Inc. | Method and apparatus for improving image quality in digital cameras |
JP2003235050A (ja) * | 2002-02-12 | 2003-08-22 | Nikon Corp | 画像処理装置、画像処理プログラム、および画像処理方法 |
US7053935B2 (en) * | 2002-02-21 | 2006-05-30 | Eastman Kodak Company | Apparatus and method for accurate electronic color capture and reproduction |
JP2003284084A (ja) * | 2002-03-20 | 2003-10-03 | Sony Corp | 画像処理装置および方法、並びに画像処理装置の製造方法 |
-
2002
- 2002-12-25 JP JP2002375423A patent/JP3861808B2/ja not_active Expired - Lifetime
-
2003
- 2003-12-02 KR KR1020057012037A patent/KR20050088335A/ko not_active Application Discontinuation
- 2003-12-02 EP EP03813977A patent/EP1578139A4/en not_active Ceased
- 2003-12-02 WO PCT/JP2003/015437 patent/WO2004059987A1/ja active Application Filing
- 2003-12-02 CN CN2003801076614A patent/CN1732694B/zh not_active Expired - Fee Related
- 2003-12-02 US US10/540,404 patent/US7489346B2/en not_active Expired - Fee Related
- 2003-12-05 TW TW092134391A patent/TWI225940B/zh not_active IP Right Cessation
Also Published As
Publication number | Publication date |
---|---|
JP2004208079A (ja) | 2004-07-22 |
TWI225940B (en) | 2005-01-01 |
EP1578139A4 (en) | 2006-05-03 |
CN1732694A (zh) | 2006-02-08 |
EP1578139A1 (en) | 2005-09-21 |
US7489346B2 (en) | 2009-02-10 |
KR20050088335A (ko) | 2005-09-05 |
US20060082665A1 (en) | 2006-04-20 |
WO2004059987A1 (ja) | 2004-07-15 |
CN1732694B (zh) | 2012-11-14 |
TW200424569A (en) | 2004-11-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3861808B2 (ja) | 撮像装置 | |
EP1487219A1 (en) | Image processing device, image processing method, and image processing device manufacturing method | |
TWI255645B (en) | Image pickup device | |
JP4265546B2 (ja) | 撮像装置、画像処理装置および画像処理方法 | |
Ramanath et al. | Color image processing pipeline | |
US8803994B2 (en) | Adaptive spatial sampling using an imaging assembly having a tunable spectral response | |
WO2010053029A1 (ja) | 画像入力装置 | |
JP2007259344A (ja) | 撮像装置および画像処理方法 | |
US7053935B2 (en) | Apparatus and method for accurate electronic color capture and reproduction | |
JP2009105576A (ja) | 画像処理装置及び方法、及び撮像装置 | |
US9060159B2 (en) | Image processing device and method, and imaging device | |
JP4874752B2 (ja) | デジタルカメラ | |
US20080225135A1 (en) | Imaging Device Element | |
WO2007148576A1 (ja) | 撮像システム及び撮像プログラム | |
JP2005278213A (ja) | 製造方法 | |
JP4285587B2 (ja) | 撮像素子 | |
JP3863773B2 (ja) | 画像撮影方法および装置 | |
JP2007097202A (ja) | 画像処理装置 | |
JP2014042138A (ja) | 画像処理装置、コンピュータプログラム、およびデジタルカメラ | |
JP4298595B2 (ja) | 撮像装置及びその信号処理方法 | |
JP2007267404A (ja) | 画像処理装置の製造方法 | |
JP2005323141A (ja) | 撮像装置、カメラ、及び信号処理方法 | |
JP7203441B2 (ja) | 画像生成装置及び撮像装置 | |
JP5104452B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
KR20050006424A (ko) | 색신호 처리방법 및 그 방법을 사용하는 촬상장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040419 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040419 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051108 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060106 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060905 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060918 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091006 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101006 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111006 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121006 Year of fee payment: 6 |