JP3976562B2 - 色補正マトリクス決定方法および装置 - Google Patents
色補正マトリクス決定方法および装置 Download PDFInfo
- Publication number
- JP3976562B2 JP3976562B2 JP2001379113A JP2001379113A JP3976562B2 JP 3976562 B2 JP3976562 B2 JP 3976562B2 JP 2001379113 A JP2001379113 A JP 2001379113A JP 2001379113 A JP2001379113 A JP 2001379113A JP 3976562 B2 JP3976562 B2 JP 3976562B2
- Authority
- JP
- Japan
- Prior art keywords
- matrix
- light source
- image data
- color
- color correction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Processing Of Color Television Signals (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、色補正マトリクス決定方法および装置に係り、特に、デジタルカメラ等のカラー画像撮像系における画像変換で用いる色補正マトリクスを決定する技術に関する。
【０００２】
【従来の技術】
デジタルカメラ等のカラー画像撮像系では、通常、ＣＣＤセンサ等のイメージセンサによって撮影シーンを光電的に読み取り、撮像したカラー画像を液晶ディスプレイ等のモニタに表示している。
このようにデジタルカメラは、出力画像を最終的にモニタ出力用のＲＧＢ信号として出力したり、あるいはＪＰＥＧ圧縮を行って輝度色差信号（ＹＣＣ）として出力する。モニタ出力用のＲＧＢ信号として出力する場合、出力すべきＲＧＢ信号は規格で決められている。しかし、デジタルカメラで用いているＣＣＤは、様々な種類があるため、そのＣＣＤのＲＧＢ信号をモニタのＲＧＢ信号に画像変換しなければならない。
【０００３】
例えば、図６に従来のデジタルカメラの色処理系の一構成例を示す。
図６に示すデジタルカメラの色処理系は、ＣＣＤ８０から読み取られた画像データに対して、ホワイトバランス補正を行うホワイトバランス回路８４およびγ補正を行うγ回路８６を挟んで、２つの色補正マトリクス、第１マトリクス（リニア・マトリクスＬ−ＭＴＸ）８２、および第２マトリクス（クロマ・マトリクスＣ−ＭＴＸ）８８が設置されている。
【０００４】
このように、図６に示す従来のデジタルカメラにおける色処理系では、２つの色補正マトリクスを持ち、ＣＣＤ８０からの画像データに対して、第１マトリクス（Ｌ−ＭＴＸ）８２を掛け、ホワイトバランス補正およびγ補正を行った後、再度マトリクス（Ｃ−ＭＴＸ８８）を掛け、ＣＣＤ８０のＲＧＢ信号を、ＩＴＵ−Ｒ（International Telecommunication Union-Radio communication sector) によって規定されたＨＤＴＶの推奨規格であるＢＴ７０９のＲＧＢ信号に変換している。ここで、撮影光源の色味を取り除くホワイトバランス補正は、一般に、特定の色空間上のゲイン調整で実現される。
【０００５】
【発明が解決しようとする課題】
しかしながら、ゲイン調整によるホワイトバランス補正は、多くの場合、適切な結果を与えるが、光源によっては光源の色味を完全に取り除くことが出来ず、例えば、蛍光灯の下で撮影された肌色は、ホワイトバランス補正後もシアングリーン味が残って、太陽光（昼光）下で観察される肌色のような色再現にはならないという問題がある。これを光源依存性と言う。
【０００６】
基準光源Ｐ0(λ) 下で得られる三刺激値ＸＹＺを、撮影光源Ｐ（λ）下で得られる撮像系露光量の線型結合により、次の式（１）のように近似する。
【数１】
【０００７】
ここで、式（１）において、記号（ｕ，ｖ）は、内積（ｕ，ｖ）＝∫ｕ（λ）ｖ（λ）ｄλを表し、記号ｕｖ（λ）は、分光積ｕｖ（λ）＝ｕ（λ）ｖ（λ）を表すものとする。また、ｘ、ｙ、ｚのバー（￣）は等色関数を表し、係数Ｃij（ｉ，ｊ＝１〜３）は、Ｃ−ＭＴＸ８８の係数であり、ｈ（λ）は、被写体分光反射率である。また、撮像系分光感度ｒ（λ）、ｇ（λ）、ｂ（λ）は、ＣＣＤ分光感度Ｒ（λ）、Ｇ（λ）、Ｂ（λ）およびＬ−ＭＴＸ８２の係数Ｌijを用いて、次の式（２）〜（４）により規定される。
ｒ（λ）＝Ｌ11・Ｒ（λ）＋Ｌ12・Ｇ（λ）＋Ｌ13・Ｂ（λ） ・・・（２）
ｇ（λ）＝Ｌ21・Ｒ（λ）＋Ｌ22・Ｇ（λ）＋Ｌ23・Ｂ（λ） ・・・（３）
ｂ（λ）＝Ｌ31・Ｒ（λ）＋Ｌ32・Ｇ（λ）＋Ｌ33・Ｂ（λ） ・・・（４）
【０００８】
また、図６に示すデジタルカメラの色処理系におけるＣＣＤ８０として、図５（ａ）に実線でオリジナルと表示したグラフの表す分光感度を有するタイプ１のＣＣＤと、図５（ｂ）に実線でオリジナルと表示したグラフの表す分光感度を有するタイプ２のＣＣＤを用いた２つのシステムを考える。
各タイプ１、２の場合について、Ｌ−ＭＴＸ８２を単位行列とし、光源をＡ光源（タングステン）、基準光源Ｄ５５、Ｆ４（蛍光灯）とし、被写体をＮＣＳチャートとして撮像を行い、前記式（１）によりＣ−ＭＴＸ８８を各光源について最適化した結果を表１に示す。
【表１】
【０００９】
表１が示すように、タイプ１、タイプ２いずれも、各光源、すなわち、光源、Ｄ５５、Ｆ４によってＣ−ＭＴＸ８８は変わっており、Ｃ−ＭＴＸ８８は、光源依存性を有していることがわかる。
しかし、実際の機器では、基準光源に対して、最適化されたＣ−ＭＴＸ８８がすべての光源に対して固定的に用いられており、Ｃ−ＭＴＸ８８の固定化がデジタルカメラの光源依存性の一因となっているという問題がある。
【００１０】
また、図６に示すデジタルカメラの色処理系では、色補正マトリクスを２つ（第１マトリクス（Ｌ−ＭＴＸ８２）および第２マトリクス（Ｃ−ＭＴＸ８８））有しており、この２つのマトリクスを掛け合わせた場合の特性が、一意に決定されるが、各マトリクスをどのように決定するかという点に関しては、任意性がある。
しかし、従来、Ｌ−ＭＴＸ８２とＣ−ＭＴＸ８８の各マトリクスの役割分担が不明なため、このように色補正マトリクスを２つ備えていることの特徴を活かしきれていないという問題がある。
【００１１】
本発明は、前記従来の問題に鑑みてなされたものであり、例えば、デジタルカメラ等のように、ＣＣＤで撮像した画像データをモニタ出力用画像データに変換する際の、ホワイトバランス補正回路を挟んで第１マトリクスおよび第２マトリクスの２つの色補正マトリクスを有する色処理系において、色補正マトリクスを２つ備えていることの特徴を活かし、第１マトリクスをうまく決定することにより、第２マトリクスの光源依存性を解消することのできる色補正マトリクス決定方法および装置を提供することを課題とする。
【００１２】
【課題を解決するための手段】
前記課題を解決するために、本発明の第１の態様は、入力画像データを出力画像データに変換する、ホワイトバランス補正回路を挟んで第１マトリクスおよび第２マトリクスの２つの色補正マトリクスを有する色処理系において、前記色補正マトリクスを決定する色補正マトリクス決定方法であって、複数の光源の各光源下で同一の被写体を撮影して得られた撮影画像データを入力画像データとして入力し、該入力された撮影画像データに基づいて、全ての前記各光源に対して固定的に用いられる前記第２マトリクスの光源依存性を解消するように前記第１マトリクスを決定することを特徴とする色補正マトリクス決定方法を提供するものである。
【００１３】
また、前記複数の光源の各光源下での前記撮影画像データの各光源毎の平均色差を算出し、算出された前記複数の光源の各光源毎の平均色差の最大値が最小になるように前記第１マトリクスを決定するようにしたことが好ましい。
さらに、前記複数の光源の各光源下での前記撮影画像データの各光源毎の平均色差を算出し、算出された前記複数の光源の各光源毎の平均色差の平均値が最小になるように前記第１マトリクスを決定するようにしたことが好ましい。
【００１４】
また、前記第１マトリクスを｛Ｌ ij （ｉ，ｊ＝１〜３）｝とし、前記複数の光源の各光源下での前記撮影画像データのうち基準光源をＰ 0 、その他の光源をＰ k （ｋは光源の種類を表す）とし、ｒ（λ）、ｇ（λ）、ｂ（λ）をそれぞれ、前記入力画像データの入力分光感度Ｒ（λ）、Ｇ（λ）、Ｂ（λ）および前記第１マトリクス｛Ｌ ij ｝とから、次式
ｒ（λ）＝Ｌ 11 ・Ｒ（λ）＋Ｌ 12 ・Ｇ（λ）＋Ｌ 13 ・Ｂ（λ）
ｇ（λ）＝Ｌ 21 ・Ｒ（λ）＋Ｌ 22 ・Ｇ（λ）＋Ｌ 23 ・Ｂ（λ）
ｂ（λ）＝Ｌ 31 ・Ｒ（λ）＋Ｌ 32 ・Ｇ（λ）＋Ｌ 33 ・Ｂ（λ）
で規定される実効的な入力分光感度とするとき、次式
ｍａｘ k ｛｜ log （Ｐ k ,r ） /( Ｐ 0 ,r) − log （Ｐ k ,g ） /( Ｐ 0 ,g) ｜
＋｜ log （Ｐ k ,g ） /( Ｐ 0 ,g) − log （Ｐ k ,b ） /( Ｐ 0 ,b) ｜）
を最小化するようにして、前記第１マトリクスを決定するようにしたことが好ましい。
【００１５】
また、前記第１マトリクスを｛Ｌ ij （ｉ，ｊ＝１〜３）｝とし、前記複数の光源の各光源下での前記撮影画像データのうち基準光源をＰ 0 、その他の光源をＰ k （ｋは光源の種類を表す）とし、ｒ（λ）、ｇ（λ）、ｂ（λ）をそれぞれ、前記入力画像データの入力分光感度Ｒ（λ）、Ｇ（λ）、Ｂ（λ）および前記第１マトリクス｛Ｌ ij ｝とから、次式
ｒ（λ）＝Ｌ 11 ・Ｒ（λ）＋Ｌ 12 ・Ｇ（λ）＋Ｌ 13 ・Ｂ（λ）
ｇ（λ）＝Ｌ 21 ・Ｒ（λ）＋Ｌ 22 ・Ｇ（λ）＋Ｌ 23 ・Ｂ（λ）
ｂ（λ）＝Ｌ 31 ・Ｒ（λ）＋Ｌ 32 ・Ｇ（λ）＋Ｌ 33 ・Ｂ（λ）
で規定される実効的な入力分光感度とするとき、次式
Σ k ｛｜ log （Ｐ k ,r ） /( Ｐ 0 ,r) − log （Ｐ k ,g ） /( Ｐ 0 ,g) ｜
＋｜ log （Ｐ k ,g ） /( Ｐ 0 ,g) − log （Ｐ k ,b ） /( Ｐ 0 ,b) ｜｝
を最小化するようにして、前記第１マトリクスを決定するようにしたことが好ましい。
【００１６】
また、前記第１マトリクスはリニアマトリクスであり、前記第２マトリクスはクロママトリクスであることが好ましい。
また、同様に前記課題を解決するために、本発明の第２の態様は、入力画像データを出力画像データに変換する、ホワイトバランス補正回路を挟んで第１マトリクスおよび第２マトリクスの２つの色補正マトリクスを有する色処理法であって、前記第１マトリクスが上述の色補正マトリクス決定方法により決定されることを特徴とする色処理方法を提供する。
【００１７】
また、同様に前記課題を解決するために、本発明の第３の態様は、入力画像データを出力画像データに変換する、ホワイトバランス補正回路を挟んで第１マトリクスおよび第２マトリクスの少なくとも２つの色補正マトリクスを有する色処理系において、前記色補正マトリクスを決定する色補正マトリクス決定装置であって、複数の光源の各光源下で同一の被写体を撮影して得られた撮影画像データを入力画像データとして入力する手段と、該入力された撮影画像データに基づいて、全ての前記各光源に対して固定的に用いられる前記第２マトリクスの光源依存性を解消するように前記第１マトリクスを決定する手段と、を備えたことを特徴とする色補正マトリクス決定装置を提供する。
【００１８】
また、前記入力された前記複数の光源の各光源下での前記撮影画像データに基づいて前記第１マトリクスを決定する手段は、前記撮影画像データの光源毎の平均色差を算出する手段と、前記平均色差の最大値を算出する手段と、前記平均色差の最大値を最小にするように前記第１マトリクスを決定する手段とを含むことが好ましい。
さらに、前記入力された前記複数の光源の各光源下での前記撮影画像データに基づいて前記第１マトリクスを決定する手段は、前記撮影画像データの光源毎の平均色差を算出する手段と、前記平均色差の平均値を算出する手段と、前記平均色差の平均値を最小にするように前記第１マトリクスを決定する手段とを含むことが好ましい。
また、前記第１マトリクスはリニアマトリクスであり、前記第２マトリクスはクロママトリクスであることが好ましい。
【００１９】
また、同様に前記課題を解決するために、本発明の第４の態様は、入力画像データを出力画像データに変換する、ホワイトバランス補正回路を挟んで第１マトリクスおよび第２マトリクスの２つの色補正マトリクスを有する色処理法であって、前記第１マトリクスが上述の色補正マトリクス決定方法により決定されることを特徴とする色処理装置を提供する。
【００２０】
本発明において、「光源の範囲」とは、光源の発光波形に関するクラスを意味し、具体的には、黒体放射に従う光源なのか、蛍光灯であるのか、また、蛍光灯であっても、通常（普通）形か、高演色形か、三波長形かなどの発光波形に関するクラスを指し、「光源の範囲を入力する」とは、どのような発光波形のクラスの光源に属するのかを入力することを意味する。
【００２１】
また、本発明において、「入力分光感度」とは、入力画像が、デジタルスチルカメラ（ＤＳＣ）やスキャナ等の画像入力装置により入力された画像であれば、画像入力装置の分光感度を指す。なお、スキャナの場合には、読取素子（ＣＣＤ等）の分光感度（含フィルタ）によるデータが使われることが多いので、
入力分光感度＝装置分光感度
＝素子分光感度
となる。しかし、ＤＳＣの場合には、色補正マトリクスを組み合わせることが多いので、
入力分光感度＝装置分光感度
＝素子分光感度×マトリクス
と表すことができる。従って、ＤＳＣの場合には、素子分光感度そのものではなく、素子分光感度と色補正マトリクスの組み合わせである点を考慮し、「組み合わせ」を強調する目的で「実効的な入力分光感度」と記載するが、上述したように、装置分光感度という意味では、「入力分光感度」と「実効的な入力分光感度」とは、同じ意味である。
【００２２】
なお、本発明において、素子分光感度および色補正マトリクスが、共に不明であるＤＳＣ、もしくは、入手できないＤＳＣの場合には、入力分光感度は定義できないが、民生用ＤＳＣは、建前上、ＢＴ７０９規格に準拠することになっているので、ＢＴ７０９規格で代用しても良い。
この場合には、以下のように表すことができる。
入力分光感度＝ＢＴ７０９規格分光感度
【００２３】
また、本発明において、「撮像素子によらない入力画像データ」とは、入力画像が、ＣＧ（コンピュータグラフィクス）画像のように、テレビモニタ上で制作された画像である場合には、下記の定義を使うことができない。
入力分光感度＝装置分光感度
この場合には、下記のように、モニタの原色（蛍光体）に対応する等色関数を入力分光感度とすることができる。
入力分光感度＝モニタの原色に対応する等色関数
なお、原色が不明の場合には、例えば、
家庭用テレビならば、下記のように、ＮＴＳＣ規格で、
入力分光感度＝ＮＴＳＣ規格分光感度
ハイビジョンならば、下記のように、ＢＴ７０９規格で、代用することができる。
入力分光感度＝ＢＴ７０９規格分光感度
【００２４】
また、本発明において、「出力画像データ」とは、画像入力装置（ＤＳＣやスキャナ）が出力する画像データを指す。
【００２５】
【発明の実施の形態】
以下、本発明の色補正マトリクス決定方法および装置について、添付の図面に示される好適実施形態を基に詳細に説明する。
本実施形態は、図６に示すように、ホワイトバランス補正回路を挟んで２つの色補正マトリクス、すなわち第１マトリクス（Ｌ−ＭＴＸ）および第２マトリクス（Ｃ−ＭＴＸ）を有するデジタルカメラ等の色処理系において、第２マトリクスの光源依存性を解消するように、第１マトリクスをうまく決定しようとするものである。なお、図６では、γ回路が第２マトリクスの前に設置されているが、この順番は特に限定されるものではなく、第１マトリクスおよび第２マトリクスがホワイトバランス補正回路を挟んで設置されていればよい。
【００２６】
図１は、本発明の第１実施形態に係る色補正マトリクス決定装置の概略構成を示すブロック図である。
図１に示すように、第１実施形態の色補正マトリクス決定装置１０は、光源１２の下で、被写体としてＮＣＳチャート１４をＣＣＤ１６によって撮像して得られた画像データを入力し、これから第２マトリクス（Ｃ−ＭＴＸ）の光源依存性を解消するように第１マトリクス（Ｌ−ＭＴＸ）を決定するものであり、光源毎の平均色差算出手段１８、第１マトリクス（Ｌ−ＭＴＸ）設定手段２０、平均色差の最大値算出手段２２および最大値比較手段２４を含んで構成されている。
【００２７】
ＮＣＳチャート１４の撮像においては、光源１２を様々に変えて複数種類の光源の下で撮像が行われる。光源１２の種類としては、例えば、Ａ光源、Ｃ光源、Ｄ５５、Ｆ４等の光源が例示される。
このように、光源１２を変えてＣＣＤ１６で撮像を行うことによって、光源の範囲が、色補正マトリクス決定装置１０に入力される。
なお、本実施形態では、このようにＣＣＤで被写体を撮像して画像を入力しているが、撮像素子はＣＣＤに限定されるものではなく、ＣＣＤ以外にも、ＣＭＯＳやフォトマルチプライヤ（光電子増倍管）等も好適に利用することができる。
さらに、本発明は、このように撮像素子を用いて被写体を撮像して得られた画像データの他、印刷原稿をスキャナによって収録して得られた画像データに対しても適用可能である。
【００２８】
光源毎の平均色差算出手段１８は、入力された画像データから、各光源毎に平均色差を算出する。このとき、第１マトリクス（Ｌ−ＭＴＸ）設定手段２０により設定されたマトリクス係数｛Ｌij｝を用いて平均色差の計算が行われる。
算出された光源毎の平均色差は平均色差の最大値算出手段２２へ送られる。最大値算出手段２２は、平均色差の中から最大のものを算出する。光源毎の平均色差の最大値は、最大値比較手段２４に送られる。最大値比較手段２４は、送られた最大値を、それ以前の最大値のうちで一番小さいものと比較する。
【００２９】
新たに送られた最大値が、以前の最大値のうち最小のものより小さい場合には、最大値比較手段２４は、第１マトリクス設定手段２０に信号を送る。第１マトリクス設定手段２０では、第１マトリクスを設定し直して新しい第１マトリクスを平均色差算出手段１８に送り、再度光源毎の平均色差を算出し前と同様のことを繰り返し、平均色差の最大値がもうこれ以上小さくならないとなったところで、そのとき設定されている第１マトリクスが求めるものであるとしてマトリクスを決定する。
【００３０】
以下、本実施形態における作用を図２のフローチャートに沿って説明する。
なお、図２のフローチャートは、各種光源１２の下で被写体（ＮＣＳチャート１４）をＣＣＤ１６で撮像し、撮像した画像データを色補正マトリクス決定装置１０に入力した後のマトリクス決定の手順を示すものである。
まず、ステップ１００において、第１マトリクス（Ｌ−ＭＴＸ）設定手段２０により、第１マトリクスを設定し、これを平均色差算出手段１８に送る。
ステップ１１０において、平均色差算出手段１８で、光源毎の平均色差を算出する。
【００３１】
次に、ステップ１２０において、最大値算出手段２２で、上で算出された光源毎の平均色差の中から最大のものＭk を算出する。
ステップ１３０において、最大値比較手段２４において、いま求めた平均色差の最大値Ｍk と以前求めた平均色差の最大値中最小のものＭ0 とを比較する。
ステップ１４０において、Ｍk ＜Ｍ0 と判断された場合には、ステップ１５０において、このＭk を新たに最大値中の最小値Ｍ0 として設定し、ステップ１００に戻る。そして、いま計算に使用された第１マトリクスをメモリに記憶しておいて、第１マトリクスを設定し直して、再度いままでと同じ演算を繰り返す。そして、ステップ１４０において、もうこれ以上平均色差の最大値の最小値Ｍ0 が小さくならなくなったところで、ステップ１６０において、そのときメモリに記憶されている第１マトリクスが第２マトリクスの光源依存性を解消するために最適化されたマトリクスであるとして決定する。
【００３２】
次に、本発明の第２実施形態について説明する。
前述した第１実施形態では、第１マトリクスを決定するに当たり、光源毎の平均色差の最大値を最小とするようにして第１マトリクスを最適化したが、本実施形態は、光源毎の平均色差の平均値を最小とするようにして第１マトリクスを最適化するものである。
【００３３】
図３に本実施形態の色補正マトリクス決定装置３０の概略構成を示す。
図３に示すように、本実施形態の色補正マトリクス決定装置３０は、光源１２の下で被写体であるＮＣＳチャート１４をＣＣＤ１６で撮像した画像データを入力し、この画像データから光源毎の平均色差を算出する平均色差算出手段３２、第１マトリクス（Ｌ−ＭＴＸ）設定手段３４、光源毎の平均色差からその平均値を算出する平均色差平均値算出手段３６および、この平均値の最小値を算出するために平均値を比較する平均値比較手段３８とを含んで構成される。
【００３４】
また、図４に本実施形態の処理の流れを示す。
本実施形態は、光源毎の平均色差の最大値の代わりに光源毎の平均色差の平均値を使うことを除けば、略前記第１実施形態と同様である。すなわち、複数の光源１２の下でＣＣＤ１６によりＮＣＳチャート１４を撮像した画像データを入力した後、ステップ２００において、第１マトリクス（Ｌ−ＭＴＸ）を設定し、これを用いてステップ２１０において光源毎の平均色差を算出し、ステップ２２０において、光源毎の平均色差の平均値Ａk を算出する。
【００３５】
ステップ２３０で、平均値の中から最小のものを選びだすために、それ以前の平均値の中で最小のものＡ0 と比較し、ステップ２４０で、Ａk ＜Ａ0 の場合には、ステップ２５０でＡk を新たにＡ0 として、ステップ２００に戻り、第１マトリクスを設定し直して、平均値が最小となるようにして、第１マトリクスを最適化する。このようにして、ステップ２６０において、第１マトリクスが決定される。
【００３６】
このように、第１マトリクスを最適化して決定するに当たり、光源毎の平均色差の最大値を最小とするようにしてもよいし、光源毎の平均色差の平均値を最小とするようにしてもよい。これについては、後で式を用いてより詳しく説明することとする。
【００３７】
次に、より具体的な実施例について説明する。
図５（ａ）に実線で示すような分光感度を有するタイプ１のＣＣＤと、図５（ｂ）に実線で示すような分光感度を有するタイプ２のＣＣＤを用いて、表２に示すような１８種類の光源の下で、ＮＣＳチャートを撮像した。
タイプ１およびタイプ２の各ＣＣＤによって撮像して得られた画像データにより算出した各光源毎の平均色差を、表２のオリジナルと書かれた欄に示す。
【表２】
【００３８】
表２に示すように、タイプ１の場合には、オリジナルの平均色差はＡ光源の場合に２１．５３で最大値となり、また平均色差の平均値は１１．７７である。
一方、タイプ２の場合には、オリジナルの平均色差はＦ４光源の場合に１５．４４で最大値となり、また平均色差の平均値は７．６３である。
ここで、上で説明した第１実施形態の方法で、表２に示す光源毎の平均色差の中、最大のものが最小となるようにして、第１マトリクスを最適化する。
タイプ１およびタイプ２について、それぞれ第１マトリクスを最適化した場合の各光源毎の平均色差およびその最大値と平均値を表２の「最適化」と書かれた欄に示す。タイプ１の場合には、最適化した後もやはりＡ光源の場合に平均色差が最大となったが、タイプ２の場合には、最適化前はＦ４光源で最大であったものがＡ光源で最大となった。
【００３９】
このように、平均色差の最大値を最小にするように第１マトリクスを最適化した結果、表２の最下段の数値が示すように、平均色差の平均値も、タイプ１およびタイプ２それぞれについて、大幅に改善された。
また、最適化された第１マトリクスの結果を表３に示す。
【表３】
【００４０】
なお、このように第１マトリクスを最適化した結果、タイプ１およびタイプ２の各ＣＣＤについて、その分光感度がそれぞれ図５（ａ）および図５（ｂ）に破線で示すように最適化された。
このようにして、第１マトリクス（Ｌ−ＭＴＸ）を最適化して、第２マトリクス（Ｃ−ＭＴＸ）を例えば表１に示す標準光源Ｄ５５に対する係数値で固定して用いることができ、これで光源依存性が抑制される。これにより、第１マトリクスを光源依存性の改善に使用し、第２マトリクスは、本来の意味での色変換（ＣＣＤのＲＧＢからＢＴ７０９のＲＧＢへの色変換）に使用することができ、２つの色補正マトリクスの役割分担をはっきりと分けることができ、色補正マトリクスを２つ有するという特徴を活かすことができる。
【００４１】
次に、第２マトリクスを固定化することに起因する色再現誤差について説明する。被写体分光反射率ｈ（λ）に対して、基準光源Ｐ0(λ) 下の露光量から計算される三刺激値をＸ、Ｙ、Ｚとし、撮影光源Ｐ（λ）下の露光量から計算される三刺激値をＸ’、Ｙ’、Ｚ’とすると、色変換係数の固定化に起因するΔａ* は、次の式（５）で評価できる。
【数２】
【００４２】
また、同様に、色変換係数の固定化に起因するΔｂ* は、次の式（６）で評価できる。
【数３】
【００４３】
従って、適当な定数を用いれば、色再現誤差は、次の式（７）で評価することができる。
【数４】
【００４４】
ところで、通常デジタルカメラの場合には、ＡＥ（オートエクスポージャ）機構があり、明るさを調整しているため、Ｌ* は実質的にキャンセルされているため、ΔＥについては、Δａ* とΔｂ* のみを考えればよく、ΔＥは次の式（８）で与えられる。
ΔＥ＝｛（Δａ* ）2 ＋ （Δｂ* ）2 ｝1/2 ・・・（８）
これにより、式（７）の右辺を最小化すれば、色差ΔＥを最小化することができる。
【００４５】
なお、式（７）からわかるように、この式には被写体ｈ（λ）が入っておらず、ＮＣＳチャートのような特定のチャート等の被写体を撮像する必要はなく、光源の範囲を入力するのみで、式（７）の右辺を最小とするように最適化することで、第１マトリクスを決定することができる。
【００４６】
実際には、式（７）の右辺について、複数の光源Ｐk （ｋは光源の種類を表す）中の最大値ｍａｘk をとって、
ｍａｘk ｛｜log （Ｐk ,r)/(Ｐ0,r)−log （Ｐk ,g)/(Ｐ0,g)｜＋｜log （Ｐk ,g)/(Ｐ0,g)−log （Ｐk ,b)/(Ｐ0,b)｜｝
を最小化するようにして、前記第１マトリクスを決定するようにすればよい。
あるいは、式（７）の右辺の平均値を最小化するようにしてもよい。右辺の平均値を最小化することと、各光源Ｐk についての和を最小化することとは同値であるので、次の和Σk 、
Σk ｛｜log （Ｐk ,r)/(Ｐ0,r)−log （Ｐk ,g)/(Ｐ0,g)｜＋｜log （Ｐk ,g)/(Ｐ0,g)−log （Ｐk ,b)/(Ｐ0,b)｜｝
を最小化するようにして、前記第１マトリクスを決定するようにしてもよい。
なお、上記各実施形態のようにＣＣＤ等の撮像素子を用いて画像データを入力する場合には、上記式におけるｒ、ｇ、ｂは、前記式（２）〜（４）によって規定される撮像系分光感度を表すが、撮像素子によらない入力画像データの場合には、これらｒ、ｇ、ｂは実効的な入力分光感度を表すものとする。
【００４７】
以上説明したように、本実施形態によれば、色補正マトリクスを２つ備えていることの特徴を活かしたマトリクス決定方法を実行することが可能となった。また、光源の範囲を入力するのみで第２マトリクスの光源依存性を解消することができるように第１マトリクスを決定することができるようになった。
【００４８】
以上、本発明の色補正マトリクス決定方法および装置について詳細に説明したが、本発明は、以上の実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、各種の改良や変更を行ってもよいのはもちろんである。
【００４９】
【発明の効果】
以上説明した通り、本発明によれば、色補正マトリクスを２つ備えていることの特徴を活かしたマトリクス決定方法を提供し、第２マトリクスの光源依存性を解消することができるように第１マトリクスを決定することが可能となる。
【図面の簡単な説明】
【図１】 本発明の第１実施形態に係る色補正マトリクス決定装置の概略構成を示すブロック図である。
【図２】 第１実施形態の処理の流れを示すフローチャートである。
【図３】 本発明の第２実施形態に係る色補正マトリクス決定装置の概略構成を示すブロック図である。
【図４】 第２実施形態の処理の流れを示すフローチャートである。
【図５】 （ａ）、（ｂ）は、それぞれ本実施例で用いるタイプ１、タイプ２のＣＣＤの分光感度を示す線図である。
【図６】 従来のデジタルカメラの２つの色補正マトリクスを有する色処理系の構成例を示すブロック図である。
【符号の説明】
１０、３０ 色補正マトリクス決定装置
１２ 光源
１４ ＮＣＳチャート
１６ ＣＣＤ
１８、３２ 光源毎の平均色差算出手段
２０、３４ 第１マトリクス（Ｌ−ＭＴＸ）設定手段
２２ 平均色差の最大値算出手段
２４ 最大値比較手段
３６ 平均色差の平均値算出手段
３８ 平均値比較手段
【発明の属する技術分野】
本発明は、色補正マトリクス決定方法および装置に係り、特に、デジタルカメラ等のカラー画像撮像系における画像変換で用いる色補正マトリクスを決定する技術に関する。
【０００２】
【従来の技術】
デジタルカメラ等のカラー画像撮像系では、通常、ＣＣＤセンサ等のイメージセンサによって撮影シーンを光電的に読み取り、撮像したカラー画像を液晶ディスプレイ等のモニタに表示している。
このようにデジタルカメラは、出力画像を最終的にモニタ出力用のＲＧＢ信号として出力したり、あるいはＪＰＥＧ圧縮を行って輝度色差信号（ＹＣＣ）として出力する。モニタ出力用のＲＧＢ信号として出力する場合、出力すべきＲＧＢ信号は規格で決められている。しかし、デジタルカメラで用いているＣＣＤは、様々な種類があるため、そのＣＣＤのＲＧＢ信号をモニタのＲＧＢ信号に画像変換しなければならない。
【０００３】
例えば、図６に従来のデジタルカメラの色処理系の一構成例を示す。
図６に示すデジタルカメラの色処理系は、ＣＣＤ８０から読み取られた画像データに対して、ホワイトバランス補正を行うホワイトバランス回路８４およびγ補正を行うγ回路８６を挟んで、２つの色補正マトリクス、第１マトリクス（リニア・マトリクスＬ−ＭＴＸ）８２、および第２マトリクス（クロマ・マトリクスＣ−ＭＴＸ）８８が設置されている。
【０００４】
このように、図６に示す従来のデジタルカメラにおける色処理系では、２つの色補正マトリクスを持ち、ＣＣＤ８０からの画像データに対して、第１マトリクス（Ｌ−ＭＴＸ）８２を掛け、ホワイトバランス補正およびγ補正を行った後、再度マトリクス（Ｃ−ＭＴＸ８８）を掛け、ＣＣＤ８０のＲＧＢ信号を、ＩＴＵ−Ｒ（International Telecommunication Union-Radio communication sector) によって規定されたＨＤＴＶの推奨規格であるＢＴ７０９のＲＧＢ信号に変換している。ここで、撮影光源の色味を取り除くホワイトバランス補正は、一般に、特定の色空間上のゲイン調整で実現される。
【０００５】
【発明が解決しようとする課題】
しかしながら、ゲイン調整によるホワイトバランス補正は、多くの場合、適切な結果を与えるが、光源によっては光源の色味を完全に取り除くことが出来ず、例えば、蛍光灯の下で撮影された肌色は、ホワイトバランス補正後もシアングリーン味が残って、太陽光（昼光）下で観察される肌色のような色再現にはならないという問題がある。これを光源依存性と言う。
【０００６】
基準光源Ｐ0(λ) 下で得られる三刺激値ＸＹＺを、撮影光源Ｐ（λ）下で得られる撮像系露光量の線型結合により、次の式（１）のように近似する。
【数１】
ここで、式（１）において、記号（ｕ，ｖ）は、内積（ｕ，ｖ）＝∫ｕ（λ）ｖ（λ）ｄλを表し、記号ｕｖ（λ）は、分光積ｕｖ（λ）＝ｕ（λ）ｖ（λ）を表すものとする。また、ｘ、ｙ、ｚのバー（￣）は等色関数を表し、係数Ｃij（ｉ，ｊ＝１〜３）は、Ｃ−ＭＴＸ８８の係数であり、ｈ（λ）は、被写体分光反射率である。また、撮像系分光感度ｒ（λ）、ｇ（λ）、ｂ（λ）は、ＣＣＤ分光感度Ｒ（λ）、Ｇ（λ）、Ｂ（λ）およびＬ−ＭＴＸ８２の係数Ｌijを用いて、次の式（２）〜（４）により規定される。
ｒ（λ）＝Ｌ11・Ｒ（λ）＋Ｌ12・Ｇ（λ）＋Ｌ13・Ｂ（λ） ・・・（２）
ｇ（λ）＝Ｌ21・Ｒ（λ）＋Ｌ22・Ｇ（λ）＋Ｌ23・Ｂ（λ） ・・・（３）
ｂ（λ）＝Ｌ31・Ｒ（λ）＋Ｌ32・Ｇ（λ）＋Ｌ33・Ｂ（λ） ・・・（４）
【０００８】
また、図６に示すデジタルカメラの色処理系におけるＣＣＤ８０として、図５（ａ）に実線でオリジナルと表示したグラフの表す分光感度を有するタイプ１のＣＣＤと、図５（ｂ）に実線でオリジナルと表示したグラフの表す分光感度を有するタイプ２のＣＣＤを用いた２つのシステムを考える。
各タイプ１、２の場合について、Ｌ−ＭＴＸ８２を単位行列とし、光源をＡ光源（タングステン）、基準光源Ｄ５５、Ｆ４（蛍光灯）とし、被写体をＮＣＳチャートとして撮像を行い、前記式（１）によりＣ−ＭＴＸ８８を各光源について最適化した結果を表１に示す。
【表１】
表１が示すように、タイプ１、タイプ２いずれも、各光源、すなわち、光源、Ｄ５５、Ｆ４によってＣ−ＭＴＸ８８は変わっており、Ｃ−ＭＴＸ８８は、光源依存性を有していることがわかる。
しかし、実際の機器では、基準光源に対して、最適化されたＣ−ＭＴＸ８８がすべての光源に対して固定的に用いられており、Ｃ−ＭＴＸ８８の固定化がデジタルカメラの光源依存性の一因となっているという問題がある。
【００１０】
また、図６に示すデジタルカメラの色処理系では、色補正マトリクスを２つ（第１マトリクス（Ｌ−ＭＴＸ８２）および第２マトリクス（Ｃ−ＭＴＸ８８））有しており、この２つのマトリクスを掛け合わせた場合の特性が、一意に決定されるが、各マトリクスをどのように決定するかという点に関しては、任意性がある。
しかし、従来、Ｌ−ＭＴＸ８２とＣ−ＭＴＸ８８の各マトリクスの役割分担が不明なため、このように色補正マトリクスを２つ備えていることの特徴を活かしきれていないという問題がある。
【００１１】
本発明は、前記従来の問題に鑑みてなされたものであり、例えば、デジタルカメラ等のように、ＣＣＤで撮像した画像データをモニタ出力用画像データに変換する際の、ホワイトバランス補正回路を挟んで第１マトリクスおよび第２マトリクスの２つの色補正マトリクスを有する色処理系において、色補正マトリクスを２つ備えていることの特徴を活かし、第１マトリクスをうまく決定することにより、第２マトリクスの光源依存性を解消することのできる色補正マトリクス決定方法および装置を提供することを課題とする。
【００１２】
【課題を解決するための手段】
前記課題を解決するために、本発明の第１の態様は、入力画像データを出力画像データに変換する、ホワイトバランス補正回路を挟んで第１マトリクスおよび第２マトリクスの２つの色補正マトリクスを有する色処理系において、前記色補正マトリクスを決定する色補正マトリクス決定方法であって、複数の光源の各光源下で同一の被写体を撮影して得られた撮影画像データを入力画像データとして入力し、該入力された撮影画像データに基づいて、全ての前記各光源に対して固定的に用いられる前記第２マトリクスの光源依存性を解消するように前記第１マトリクスを決定することを特徴とする色補正マトリクス決定方法を提供するものである。
【００１３】
また、前記複数の光源の各光源下での前記撮影画像データの各光源毎の平均色差を算出し、算出された前記複数の光源の各光源毎の平均色差の最大値が最小になるように前記第１マトリクスを決定するようにしたことが好ましい。
さらに、前記複数の光源の各光源下での前記撮影画像データの各光源毎の平均色差を算出し、算出された前記複数の光源の各光源毎の平均色差の平均値が最小になるように前記第１マトリクスを決定するようにしたことが好ましい。
【００１４】
また、前記第１マトリクスを｛Ｌ ij （ｉ，ｊ＝１〜３）｝とし、前記複数の光源の各光源下での前記撮影画像データのうち基準光源をＰ 0 、その他の光源をＰ k （ｋは光源の種類を表す）とし、ｒ（λ）、ｇ（λ）、ｂ（λ）をそれぞれ、前記入力画像データの入力分光感度Ｒ（λ）、Ｇ（λ）、Ｂ（λ）および前記第１マトリクス｛Ｌ ij ｝とから、次式
ｒ（λ）＝Ｌ 11 ・Ｒ（λ）＋Ｌ 12 ・Ｇ（λ）＋Ｌ 13 ・Ｂ（λ）
ｇ（λ）＝Ｌ 21 ・Ｒ（λ）＋Ｌ 22 ・Ｇ（λ）＋Ｌ 23 ・Ｂ（λ）
ｂ（λ）＝Ｌ 31 ・Ｒ（λ）＋Ｌ 32 ・Ｇ（λ）＋Ｌ 33 ・Ｂ（λ）
で規定される実効的な入力分光感度とするとき、次式
ｍａｘ k ｛｜ log （Ｐ k ,r ） /( Ｐ 0 ,r) − log （Ｐ k ,g ） /( Ｐ 0 ,g) ｜
＋｜ log （Ｐ k ,g ） /( Ｐ 0 ,g) − log （Ｐ k ,b ） /( Ｐ 0 ,b) ｜）
を最小化するようにして、前記第１マトリクスを決定するようにしたことが好ましい。
【００１５】
また、前記第１マトリクスを｛Ｌ ij （ｉ，ｊ＝１〜３）｝とし、前記複数の光源の各光源下での前記撮影画像データのうち基準光源をＰ 0 、その他の光源をＰ k （ｋは光源の種類を表す）とし、ｒ（λ）、ｇ（λ）、ｂ（λ）をそれぞれ、前記入力画像データの入力分光感度Ｒ（λ）、Ｇ（λ）、Ｂ（λ）および前記第１マトリクス｛Ｌ ij ｝とから、次式
ｒ（λ）＝Ｌ 11 ・Ｒ（λ）＋Ｌ 12 ・Ｇ（λ）＋Ｌ 13 ・Ｂ（λ）
ｇ（λ）＝Ｌ 21 ・Ｒ（λ）＋Ｌ 22 ・Ｇ（λ）＋Ｌ 23 ・Ｂ（λ）
ｂ（λ）＝Ｌ 31 ・Ｒ（λ）＋Ｌ 32 ・Ｇ（λ）＋Ｌ 33 ・Ｂ（λ）
で規定される実効的な入力分光感度とするとき、次式
Σ k ｛｜ log （Ｐ k ,r ） /( Ｐ 0 ,r) − log （Ｐ k ,g ） /( Ｐ 0 ,g) ｜
＋｜ log （Ｐ k ,g ） /( Ｐ 0 ,g) − log （Ｐ k ,b ） /( Ｐ 0 ,b) ｜｝
を最小化するようにして、前記第１マトリクスを決定するようにしたことが好ましい。
【００１６】
また、前記第１マトリクスはリニアマトリクスであり、前記第２マトリクスはクロママトリクスであることが好ましい。
また、同様に前記課題を解決するために、本発明の第２の態様は、入力画像データを出力画像データに変換する、ホワイトバランス補正回路を挟んで第１マトリクスおよび第２マトリクスの２つの色補正マトリクスを有する色処理法であって、前記第１マトリクスが上述の色補正マトリクス決定方法により決定されることを特徴とする色処理方法を提供する。
【００１７】
また、同様に前記課題を解決するために、本発明の第３の態様は、入力画像データを出力画像データに変換する、ホワイトバランス補正回路を挟んで第１マトリクスおよび第２マトリクスの少なくとも２つの色補正マトリクスを有する色処理系において、前記色補正マトリクスを決定する色補正マトリクス決定装置であって、複数の光源の各光源下で同一の被写体を撮影して得られた撮影画像データを入力画像データとして入力する手段と、該入力された撮影画像データに基づいて、全ての前記各光源に対して固定的に用いられる前記第２マトリクスの光源依存性を解消するように前記第１マトリクスを決定する手段と、を備えたことを特徴とする色補正マトリクス決定装置を提供する。
【００１８】
また、前記入力された前記複数の光源の各光源下での前記撮影画像データに基づいて前記第１マトリクスを決定する手段は、前記撮影画像データの光源毎の平均色差を算出する手段と、前記平均色差の最大値を算出する手段と、前記平均色差の最大値を最小にするように前記第１マトリクスを決定する手段とを含むことが好ましい。
さらに、前記入力された前記複数の光源の各光源下での前記撮影画像データに基づいて前記第１マトリクスを決定する手段は、前記撮影画像データの光源毎の平均色差を算出する手段と、前記平均色差の平均値を算出する手段と、前記平均色差の平均値を最小にするように前記第１マトリクスを決定する手段とを含むことが好ましい。
また、前記第１マトリクスはリニアマトリクスであり、前記第２マトリクスはクロママトリクスであることが好ましい。
【００１９】
また、同様に前記課題を解決するために、本発明の第４の態様は、入力画像データを出力画像データに変換する、ホワイトバランス補正回路を挟んで第１マトリクスおよび第２マトリクスの２つの色補正マトリクスを有する色処理法であって、前記第１マトリクスが上述の色補正マトリクス決定方法により決定されることを特徴とする色処理装置を提供する。
【００２０】
本発明において、「光源の範囲」とは、光源の発光波形に関するクラスを意味し、具体的には、黒体放射に従う光源なのか、蛍光灯であるのか、また、蛍光灯であっても、通常（普通）形か、高演色形か、三波長形かなどの発光波形に関するクラスを指し、「光源の範囲を入力する」とは、どのような発光波形のクラスの光源に属するのかを入力することを意味する。
【００２１】
また、本発明において、「入力分光感度」とは、入力画像が、デジタルスチルカメラ（ＤＳＣ）やスキャナ等の画像入力装置により入力された画像であれば、画像入力装置の分光感度を指す。なお、スキャナの場合には、読取素子（ＣＣＤ等）の分光感度（含フィルタ）によるデータが使われることが多いので、
入力分光感度＝装置分光感度
＝素子分光感度
となる。しかし、ＤＳＣの場合には、色補正マトリクスを組み合わせることが多いので、
入力分光感度＝装置分光感度
＝素子分光感度×マトリクス
と表すことができる。従って、ＤＳＣの場合には、素子分光感度そのものではなく、素子分光感度と色補正マトリクスの組み合わせである点を考慮し、「組み合わせ」を強調する目的で「実効的な入力分光感度」と記載するが、上述したように、装置分光感度という意味では、「入力分光感度」と「実効的な入力分光感度」とは、同じ意味である。
【００２２】
なお、本発明において、素子分光感度および色補正マトリクスが、共に不明であるＤＳＣ、もしくは、入手できないＤＳＣの場合には、入力分光感度は定義できないが、民生用ＤＳＣは、建前上、ＢＴ７０９規格に準拠することになっているので、ＢＴ７０９規格で代用しても良い。
この場合には、以下のように表すことができる。
入力分光感度＝ＢＴ７０９規格分光感度
【００２３】
また、本発明において、「撮像素子によらない入力画像データ」とは、入力画像が、ＣＧ（コンピュータグラフィクス）画像のように、テレビモニタ上で制作された画像である場合には、下記の定義を使うことができない。
入力分光感度＝装置分光感度
この場合には、下記のように、モニタの原色（蛍光体）に対応する等色関数を入力分光感度とすることができる。
入力分光感度＝モニタの原色に対応する等色関数
なお、原色が不明の場合には、例えば、
家庭用テレビならば、下記のように、ＮＴＳＣ規格で、
入力分光感度＝ＮＴＳＣ規格分光感度
ハイビジョンならば、下記のように、ＢＴ７０９規格で、代用することができる。
入力分光感度＝ＢＴ７０９規格分光感度
【００２４】
また、本発明において、「出力画像データ」とは、画像入力装置（ＤＳＣやスキャナ）が出力する画像データを指す。
【００２５】
【発明の実施の形態】
以下、本発明の色補正マトリクス決定方法および装置について、添付の図面に示される好適実施形態を基に詳細に説明する。
本実施形態は、図６に示すように、ホワイトバランス補正回路を挟んで２つの色補正マトリクス、すなわち第１マトリクス（Ｌ−ＭＴＸ）および第２マトリクス（Ｃ−ＭＴＸ）を有するデジタルカメラ等の色処理系において、第２マトリクスの光源依存性を解消するように、第１マトリクスをうまく決定しようとするものである。なお、図６では、γ回路が第２マトリクスの前に設置されているが、この順番は特に限定されるものではなく、第１マトリクスおよび第２マトリクスがホワイトバランス補正回路を挟んで設置されていればよい。
【００２６】
図１は、本発明の第１実施形態に係る色補正マトリクス決定装置の概略構成を示すブロック図である。
図１に示すように、第１実施形態の色補正マトリクス決定装置１０は、光源１２の下で、被写体としてＮＣＳチャート１４をＣＣＤ１６によって撮像して得られた画像データを入力し、これから第２マトリクス（Ｃ−ＭＴＸ）の光源依存性を解消するように第１マトリクス（Ｌ−ＭＴＸ）を決定するものであり、光源毎の平均色差算出手段１８、第１マトリクス（Ｌ−ＭＴＸ）設定手段２０、平均色差の最大値算出手段２２および最大値比較手段２４を含んで構成されている。
【００２７】
ＮＣＳチャート１４の撮像においては、光源１２を様々に変えて複数種類の光源の下で撮像が行われる。光源１２の種類としては、例えば、Ａ光源、Ｃ光源、Ｄ５５、Ｆ４等の光源が例示される。
このように、光源１２を変えてＣＣＤ１６で撮像を行うことによって、光源の範囲が、色補正マトリクス決定装置１０に入力される。
なお、本実施形態では、このようにＣＣＤで被写体を撮像して画像を入力しているが、撮像素子はＣＣＤに限定されるものではなく、ＣＣＤ以外にも、ＣＭＯＳやフォトマルチプライヤ（光電子増倍管）等も好適に利用することができる。
さらに、本発明は、このように撮像素子を用いて被写体を撮像して得られた画像データの他、印刷原稿をスキャナによって収録して得られた画像データに対しても適用可能である。
【００２８】
光源毎の平均色差算出手段１８は、入力された画像データから、各光源毎に平均色差を算出する。このとき、第１マトリクス（Ｌ−ＭＴＸ）設定手段２０により設定されたマトリクス係数｛Ｌij｝を用いて平均色差の計算が行われる。
算出された光源毎の平均色差は平均色差の最大値算出手段２２へ送られる。最大値算出手段２２は、平均色差の中から最大のものを算出する。光源毎の平均色差の最大値は、最大値比較手段２４に送られる。最大値比較手段２４は、送られた最大値を、それ以前の最大値のうちで一番小さいものと比較する。
【００２９】
新たに送られた最大値が、以前の最大値のうち最小のものより小さい場合には、最大値比較手段２４は、第１マトリクス設定手段２０に信号を送る。第１マトリクス設定手段２０では、第１マトリクスを設定し直して新しい第１マトリクスを平均色差算出手段１８に送り、再度光源毎の平均色差を算出し前と同様のことを繰り返し、平均色差の最大値がもうこれ以上小さくならないとなったところで、そのとき設定されている第１マトリクスが求めるものであるとしてマトリクスを決定する。
【００３０】
以下、本実施形態における作用を図２のフローチャートに沿って説明する。
なお、図２のフローチャートは、各種光源１２の下で被写体（ＮＣＳチャート１４）をＣＣＤ１６で撮像し、撮像した画像データを色補正マトリクス決定装置１０に入力した後のマトリクス決定の手順を示すものである。
まず、ステップ１００において、第１マトリクス（Ｌ−ＭＴＸ）設定手段２０により、第１マトリクスを設定し、これを平均色差算出手段１８に送る。
ステップ１１０において、平均色差算出手段１８で、光源毎の平均色差を算出する。
【００３１】
次に、ステップ１２０において、最大値算出手段２２で、上で算出された光源毎の平均色差の中から最大のものＭk を算出する。
ステップ１３０において、最大値比較手段２４において、いま求めた平均色差の最大値Ｍk と以前求めた平均色差の最大値中最小のものＭ0 とを比較する。
ステップ１４０において、Ｍk ＜Ｍ0 と判断された場合には、ステップ１５０において、このＭk を新たに最大値中の最小値Ｍ0 として設定し、ステップ１００に戻る。そして、いま計算に使用された第１マトリクスをメモリに記憶しておいて、第１マトリクスを設定し直して、再度いままでと同じ演算を繰り返す。そして、ステップ１４０において、もうこれ以上平均色差の最大値の最小値Ｍ0 が小さくならなくなったところで、ステップ１６０において、そのときメモリに記憶されている第１マトリクスが第２マトリクスの光源依存性を解消するために最適化されたマトリクスであるとして決定する。
【００３２】
次に、本発明の第２実施形態について説明する。
前述した第１実施形態では、第１マトリクスを決定するに当たり、光源毎の平均色差の最大値を最小とするようにして第１マトリクスを最適化したが、本実施形態は、光源毎の平均色差の平均値を最小とするようにして第１マトリクスを最適化するものである。
【００３３】
図３に本実施形態の色補正マトリクス決定装置３０の概略構成を示す。
図３に示すように、本実施形態の色補正マトリクス決定装置３０は、光源１２の下で被写体であるＮＣＳチャート１４をＣＣＤ１６で撮像した画像データを入力し、この画像データから光源毎の平均色差を算出する平均色差算出手段３２、第１マトリクス（Ｌ−ＭＴＸ）設定手段３４、光源毎の平均色差からその平均値を算出する平均色差平均値算出手段３６および、この平均値の最小値を算出するために平均値を比較する平均値比較手段３８とを含んで構成される。
【００３４】
また、図４に本実施形態の処理の流れを示す。
本実施形態は、光源毎の平均色差の最大値の代わりに光源毎の平均色差の平均値を使うことを除けば、略前記第１実施形態と同様である。すなわち、複数の光源１２の下でＣＣＤ１６によりＮＣＳチャート１４を撮像した画像データを入力した後、ステップ２００において、第１マトリクス（Ｌ−ＭＴＸ）を設定し、これを用いてステップ２１０において光源毎の平均色差を算出し、ステップ２２０において、光源毎の平均色差の平均値Ａk を算出する。
【００３５】
ステップ２３０で、平均値の中から最小のものを選びだすために、それ以前の平均値の中で最小のものＡ0 と比較し、ステップ２４０で、Ａk ＜Ａ0 の場合には、ステップ２５０でＡk を新たにＡ0 として、ステップ２００に戻り、第１マトリクスを設定し直して、平均値が最小となるようにして、第１マトリクスを最適化する。このようにして、ステップ２６０において、第１マトリクスが決定される。
【００３６】
このように、第１マトリクスを最適化して決定するに当たり、光源毎の平均色差の最大値を最小とするようにしてもよいし、光源毎の平均色差の平均値を最小とするようにしてもよい。これについては、後で式を用いてより詳しく説明することとする。
【００３７】
次に、より具体的な実施例について説明する。
図５（ａ）に実線で示すような分光感度を有するタイプ１のＣＣＤと、図５（ｂ）に実線で示すような分光感度を有するタイプ２のＣＣＤを用いて、表２に示すような１８種類の光源の下で、ＮＣＳチャートを撮像した。
タイプ１およびタイプ２の各ＣＣＤによって撮像して得られた画像データにより算出した各光源毎の平均色差を、表２のオリジナルと書かれた欄に示す。
【表２】
表２に示すように、タイプ１の場合には、オリジナルの平均色差はＡ光源の場合に２１．５３で最大値となり、また平均色差の平均値は１１．７７である。
一方、タイプ２の場合には、オリジナルの平均色差はＦ４光源の場合に１５．４４で最大値となり、また平均色差の平均値は７．６３である。
ここで、上で説明した第１実施形態の方法で、表２に示す光源毎の平均色差の中、最大のものが最小となるようにして、第１マトリクスを最適化する。
タイプ１およびタイプ２について、それぞれ第１マトリクスを最適化した場合の各光源毎の平均色差およびその最大値と平均値を表２の「最適化」と書かれた欄に示す。タイプ１の場合には、最適化した後もやはりＡ光源の場合に平均色差が最大となったが、タイプ２の場合には、最適化前はＦ４光源で最大であったものがＡ光源で最大となった。
【００３９】
このように、平均色差の最大値を最小にするように第１マトリクスを最適化した結果、表２の最下段の数値が示すように、平均色差の平均値も、タイプ１およびタイプ２それぞれについて、大幅に改善された。
また、最適化された第１マトリクスの結果を表３に示す。
【表３】
なお、このように第１マトリクスを最適化した結果、タイプ１およびタイプ２の各ＣＣＤについて、その分光感度がそれぞれ図５（ａ）および図５（ｂ）に破線で示すように最適化された。
このようにして、第１マトリクス（Ｌ−ＭＴＸ）を最適化して、第２マトリクス（Ｃ−ＭＴＸ）を例えば表１に示す標準光源Ｄ５５に対する係数値で固定して用いることができ、これで光源依存性が抑制される。これにより、第１マトリクスを光源依存性の改善に使用し、第２マトリクスは、本来の意味での色変換（ＣＣＤのＲＧＢからＢＴ７０９のＲＧＢへの色変換）に使用することができ、２つの色補正マトリクスの役割分担をはっきりと分けることができ、色補正マトリクスを２つ有するという特徴を活かすことができる。
【００４１】
次に、第２マトリクスを固定化することに起因する色再現誤差について説明する。被写体分光反射率ｈ（λ）に対して、基準光源Ｐ0(λ) 下の露光量から計算される三刺激値をＸ、Ｙ、Ｚとし、撮影光源Ｐ（λ）下の露光量から計算される三刺激値をＸ’、Ｙ’、Ｚ’とすると、色変換係数の固定化に起因するΔａ* は、次の式（５）で評価できる。
【数２】
また、同様に、色変換係数の固定化に起因するΔｂ* は、次の式（６）で評価できる。
【数３】
従って、適当な定数を用いれば、色再現誤差は、次の式（７）で評価することができる。
【数４】
ところで、通常デジタルカメラの場合には、ＡＥ（オートエクスポージャ）機構があり、明るさを調整しているため、Ｌ* は実質的にキャンセルされているため、ΔＥについては、Δａ* とΔｂ* のみを考えればよく、ΔＥは次の式（８）で与えられる。
ΔＥ＝｛（Δａ* ）2 ＋ （Δｂ* ）2 ｝1/2 ・・・（８）
これにより、式（７）の右辺を最小化すれば、色差ΔＥを最小化することができる。
【００４５】
なお、式（７）からわかるように、この式には被写体ｈ（λ）が入っておらず、ＮＣＳチャートのような特定のチャート等の被写体を撮像する必要はなく、光源の範囲を入力するのみで、式（７）の右辺を最小とするように最適化することで、第１マトリクスを決定することができる。
【００４６】
実際には、式（７）の右辺について、複数の光源Ｐk （ｋは光源の種類を表す）中の最大値ｍａｘk をとって、
ｍａｘk ｛｜log （Ｐk ,r)/(Ｐ0,r)−log （Ｐk ,g)/(Ｐ0,g)｜＋｜log （Ｐk ,g)/(Ｐ0,g)−log （Ｐk ,b)/(Ｐ0,b)｜｝
を最小化するようにして、前記第１マトリクスを決定するようにすればよい。
あるいは、式（７）の右辺の平均値を最小化するようにしてもよい。右辺の平均値を最小化することと、各光源Ｐk についての和を最小化することとは同値であるので、次の和Σk 、
Σk ｛｜log （Ｐk ,r)/(Ｐ0,r)−log （Ｐk ,g)/(Ｐ0,g)｜＋｜log （Ｐk ,g)/(Ｐ0,g)−log （Ｐk ,b)/(Ｐ0,b)｜｝
を最小化するようにして、前記第１マトリクスを決定するようにしてもよい。
なお、上記各実施形態のようにＣＣＤ等の撮像素子を用いて画像データを入力する場合には、上記式におけるｒ、ｇ、ｂは、前記式（２）〜（４）によって規定される撮像系分光感度を表すが、撮像素子によらない入力画像データの場合には、これらｒ、ｇ、ｂは実効的な入力分光感度を表すものとする。
【００４７】
以上説明したように、本実施形態によれば、色補正マトリクスを２つ備えていることの特徴を活かしたマトリクス決定方法を実行することが可能となった。また、光源の範囲を入力するのみで第２マトリクスの光源依存性を解消することができるように第１マトリクスを決定することができるようになった。
【００４８】
以上、本発明の色補正マトリクス決定方法および装置について詳細に説明したが、本発明は、以上の実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、各種の改良や変更を行ってもよいのはもちろんである。
【００４９】
【発明の効果】
以上説明した通り、本発明によれば、色補正マトリクスを２つ備えていることの特徴を活かしたマトリクス決定方法を提供し、第２マトリクスの光源依存性を解消することができるように第１マトリクスを決定することが可能となる。
【図面の簡単な説明】
【図１】 本発明の第１実施形態に係る色補正マトリクス決定装置の概略構成を示すブロック図である。
【図２】 第１実施形態の処理の流れを示すフローチャートである。
【図３】 本発明の第２実施形態に係る色補正マトリクス決定装置の概略構成を示すブロック図である。
【図４】 第２実施形態の処理の流れを示すフローチャートである。
【図５】 （ａ）、（ｂ）は、それぞれ本実施例で用いるタイプ１、タイプ２のＣＣＤの分光感度を示す線図である。
【図６】 従来のデジタルカメラの２つの色補正マトリクスを有する色処理系の構成例を示すブロック図である。
【符号の説明】
１０、３０ 色補正マトリクス決定装置
１２ 光源
１４ ＮＣＳチャート
１６ ＣＣＤ
１８、３２ 光源毎の平均色差算出手段
２０、３４ 第１マトリクス（Ｌ−ＭＴＸ）設定手段
２２ 平均色差の最大値算出手段
２４ 最大値比較手段
３６ 平均色差の平均値算出手段
３８ 平均値比較手段
Claims (12)
- 入力画像データを出力画像データに変換する、ホワイトバランス補正回路を挟んで第１マトリクスおよび第２マトリクスの２つの色補正マトリクスを有する色処理系において、前記色補正マトリクスを決定する色補正マトリクス決定方法であって、
複数の光源の各光源下で同一の被写体を撮影して得られた撮影画像データを入力画像データとして入力し、該入力された撮影画像データに基づいて、全ての前記各光源に対して固定的に用いられる前記第２マトリクスの光源依存性を解消するように前記第１マトリクスを決定することを特徴とする色補正マトリクス決定方法。 - 前記複数の光源の各光源下での前記撮影画像データの各光源毎の平均色差を算出し、算出された前記複数の光源の各光源毎の平均色差の最大値が最小になるように前記第１マトリクスを決定するようにした請求項１に記載の色補正マトリクス決定方法。
- 前記複数の光源の各光源下での前記撮影画像データの各光源毎の平均色差を算出し、算出された前記複数の光源の各光源毎の平均色差の平均値が最小になるように前記第１マトリクスを決定するようにした請求項１に記載の色補正マトリクス決定方法。
- 前記第１マトリクスを｛Ｌij（ｉ，ｊ＝１〜３）｝とし、前記複数の光源の各光源下での前記撮影画像データのうち基準光源をＰ0、その他の光源をＰk（ｋは光源の種類を表す）とし、ｒ（λ）、ｇ（λ）、ｂ（λ）を、それぞれ前記入力画像データの入力分光感度Ｒ（λ）、Ｇ（λ）、Ｂ（λ）および前記第１マトリクス｛Ｌij｝とから、
次式
ｒ（λ）＝Ｌ11・Ｒ（λ）＋Ｌ12・Ｇ（λ）＋Ｌ13・Ｂ（λ）
ｇ（λ）＝Ｌ21・Ｒ（λ）＋Ｌ22・Ｇ（λ）＋Ｌ23・Ｂ（λ）
ｂ（λ）＝Ｌ31・Ｒ（λ）＋Ｌ32・Ｇ（λ）＋Ｌ33・Ｂ（λ）
で規定される実効的な入力分光感度とするとき、
次式
ｍａｘk｛｜log（Ｐk,r）/(Ｐ0,r)−log（Ｐk,g）/(Ｐ0,g)｜
＋｜log（Ｐk,g）/(Ｐ0,g)−log（Ｐk,b）/(Ｐ0,b)｜）
を最小化するようにして、前記第１マトリクスを決定するようにした請求項１に記載の色補正マトリクス決定方法。 - 前記第１マトリクスを｛Ｌij（ｉ，ｊ＝１〜３）｝とし、前記複数の光源の各光源下での前記撮影画像データのうち基準光源をＰ0、その他の光源をＰk（ｋは光源の種類を表す）とし、ｒ（λ）、ｇ（λ）、ｂ（λ）をそれぞれ、前記入力画像データの入力分光感度Ｒ（λ）、Ｇ（λ）、Ｂ（λ）および前記第１マトリクス｛Ｌij｝とから、
次式
ｒ（λ）＝Ｌ11・Ｒ（λ）＋Ｌ12・Ｇ（λ）＋Ｌ13・Ｂ（λ）
ｇ（λ）＝Ｌ21・Ｒ（λ）＋Ｌ22・Ｇ（λ）＋Ｌ23・Ｂ（λ）
ｂ（λ）＝Ｌ31・Ｒ（λ）＋Ｌ32・Ｇ（λ）＋Ｌ33・Ｂ（λ）
で規定される実効的な入力分光感度とするとき、
次式
Σk｛｜log（Ｐk,r）/(Ｐ0,r)−log（Ｐk,g）/(Ｐ0,g)｜
＋｜log（Ｐk,g）/(Ｐ0,g)−log（Ｐk,b）/(Ｐ0,b)｜｝
を最小化するようにして、前記第１マトリクスを決定するようにした請求項１に記載の色補正マトリクス決定方法。 - 前記第１マトリクスはリニアマトリクスであり、前記第２マトリクスはクロママトリクスである請求項１〜５のいずれかに記載の色補正マトリクス決定方法。
- 入力画像データを出力画像データに変換する、ホワイトバランス補正回路を挟んで第１マトリクスおよび第２マトリクスの２つの色補正マトリクスを有する色処理法であって、
前記第１マトリクスが請求項１〜６に記載の色補正マトリクス決定方法により決定されることを特徴とする色処理方法。 - 入力画像データを出力画像データに変換する、ホワイトバランス補正回路を挟んで第１マトリクスおよび第２マトリクスの少なくとも２つの色補正マトリクスを有する色処理系において、前記色補正マトリクスを決定する色補正マトリクス決定装置であって、
複数の光源の各光源下で同一の被写体を撮影して得られた撮影画像データを入力画像データとして入力する手段と、
該入力された撮影画像データに基づいて、全ての前記各光源に対して固定的に用いられる前記第２マトリクスの光源依存性を解消するように前記第１マトリクスを決定する手段と、
を備えたことを特徴とする色補正マトリクス決定装置。 - 前記入力された前記複数の光源の各光源下での前記撮影画像データに基づいて前記第１マトリクスを決定する手段は、前記撮影画像データの光源毎の平均色差を算出する手段と、前記平均色差の最大値を算出する手段と、前記平均色差の最大値を最小にするように前記第１マトリクスを決定する手段とを含む請求項８に記載の色補正マトリクス決定装置。
- 前記入力された前記複数の光源の各光源下での前記撮影画像データに基づいて前記第１マトリクスを決定する手段は、前記撮影画像データの光源毎の平均色差を算出する手段と、前記平均色差の平均値を算出する手段と、前記平均色差の平均値を最小にするように前記第１マトリクスを決定する手段とを含む請求項８に記載の色補正マトリクス決定装置。
- 前記第１マトリクスはリニアマトリクスであり、前記第２マトリクスはクロママトリクスである請求項８〜１０のいずれかに記載の色補正マトリクス決定装置。
- 入力画像データを出力画像データに変換する、ホワイトバランス補正回路を挟んで第１マトリクスおよび第２マトリクスの２つの色補正マトリクスを有する色処理法であって、
前記第１マトリクスが請求項８〜１１に記載の色補正マトリクス決定方法により決定されることを特徴とする色処理装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001379113A JP3976562B2 (ja) | 2001-08-22 | 2001-12-12 | 色補正マトリクス決定方法および装置 |
| US10/225,537 US7265781B2 (en) | 2001-08-22 | 2002-08-22 | Method and apparatus for determining a color correction matrix by minimizing a color difference maximum or average value |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001-251266 | 2001-08-22 | ||
| JP2001251266 | 2001-08-22 | ||
| JP2001379113A JP3976562B2 (ja) | 2001-08-22 | 2001-12-12 | 色補正マトリクス決定方法および装置 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2003143429A JP2003143429A (ja) | 2003-05-16 |
| JP2003143429A5 JP2003143429A5 (ja) | 2005-04-07 |
| JP3976562B2 true JP3976562B2 (ja) | 2007-09-19 |
Family
ID=26620773
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001379113A Expired - Fee Related JP3976562B2 (ja) | 2001-08-22 | 2001-12-12 | 色補正マトリクス決定方法および装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3976562B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4670654B2 (ja) * | 2006-01-23 | 2011-04-13 | ソニー株式会社 | 撮像装置および画像処理方法 |
-
2001
- 2001-12-12 JP JP2001379113A patent/JP3976562B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003143429A (ja) | 2003-05-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7265781B2 (en) | Method and apparatus for determining a color correction matrix by minimizing a color difference maximum or average value | |
| US6995791B2 (en) | Automatic white balance for digital imaging | |
| US5668596A (en) | Digital imaging device optimized for color performance | |
| EP0757473B1 (en) | Image processing apparatus and method | |
| US7102669B2 (en) | Digital color image pre-processing | |
| KR101388130B1 (ko) | 화상처리장치 및 화상처리방법 | |
| JP2004173010A (ja) | 撮像装置、画像処理装置、画像記録装置、画像処理方法、プログラム及び記録媒体 | |
| JP4501634B2 (ja) | マトリクス係数決定方法及び画像入力装置 | |
| US20060109358A1 (en) | System on a chip camera system employing complementary color filter | |
| JP2009520405A (ja) | デジタル撮像システム用の自動カラーバランス方法および装置 | |
| JP2005210526A (ja) | 画像処理装置、撮像装置、画像処理方法、画像データ出力方法、画像処理プログラム及び画像データ出力プログラム | |
| US7409082B2 (en) | Method, apparatus, and recording medium for processing image data to obtain color-balance adjusted image data based on white-balance adjusted image data | |
| JP4677699B2 (ja) | 画像処理方法、画像処理装置、撮影装置評価方法、画像情報保存方法および画像処理システム | |
| JP2005210495A (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
| US6507667B1 (en) | Color digital imaging apparatus having a rule-based hue-shift processor | |
| JP4752421B2 (ja) | 画像レタッチ方法、画像レタッチ装置及び画像レタッチプログラム | |
| JP3863773B2 (ja) | 画像撮影方法および装置 | |
| JP2002109523A (ja) | 撮像装置、光学フィルタ群および画像データ変換装置 | |
| CN1964438A (zh) | 数字相机及其修正亮度的方法 | |
| US20040119860A1 (en) | Method of colorimetrically calibrating an image capturing device | |
| JP3976562B2 (ja) | 色補正マトリクス決定方法および装置 | |
| KR101137611B1 (ko) | 이미지 데이터 변환 절차를 효과적으로 수행하는 시스템 및 방법 | |
| JPH11113005A (ja) | 撮像装置 | |
| JP2006203571A (ja) | 撮像装置、画像処理装置及び画像記録装置 | |
| JP4479429B2 (ja) | 撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040317 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040601 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060531 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060711 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060911 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061214 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070320 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070517 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070612 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070619 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100629 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100629 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110629 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110629 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120629 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |