JP4534340B2

JP4534340B2 - 色再現補正装置

Info

Publication number: JP4534340B2
Application number: JP2000332972A
Authority: JP
Inventors: 直哉加藤
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2000-10-31
Filing date: 2000-10-31
Publication date: 2010-09-01
Anticipated expiration: 2020-10-31
Also published as: JP2002142231A; EP1331828B1; US20030113014A1; US7227571B2; KR20020067587A; EP1331828A4; WO2002037863A1; DE60138126D1; KR100843821B1; EP1331828A1

Description

【０００１】
本発明は、色再現補正装置に関する。特に、同一の視環境下または異なる視環境下において、所望の演色性で画像の色再現を行うための補正装置に関する。
【０００２】
【従来の技術】
従来、カメラ等の画像入力装置により撮像された像が観察時の視環境によって見え方が異なり、所望の色で再現されない場合があることが知られている。これは、撮像時の光源（以下、撮像光源という）と観察時の光源（以下、観察光源という）の演色性が大きく異なる場合などにみられる。例えば、日光系の光源であるＤ６５光源下で撮像された像が高効率型蛍光灯系の光源であるＦ５光源下で観察された場合に、再現される色は大きく異なってしまうということがある。
【０００３】
また、同一系統の光源については、撮像された白色を白色として再現させるためのホワイトバランスと呼ばれる補正を施すことによって、同一系統の光源間で色再現が良好にできることも知られている。ここで、撮像光源の推定が正確になされる必要があることは言うまでもない。そして、従来は、色再現補正としてホワイトバランスが施されている。
【０００４】
一方、日光系の光源は演色性が高く、蛍光灯系の光源は演色性が低いことが知られているが、蛍光灯系の光源下で撮像された像を日光系の光源の演色性で再現したいという要求もある。
【０００５】
【発明が解決しようとする課題】
しかしながら、ホワイトバランスは無彩色を無彩色として再現するための補正であることから、撮像光源と観察光源の演色性が大きく異なる場合は、ホワイトバランスのみによる色再現補正では有彩色を良好に色再現できないという問題がある。
【０００６】
また、撮像光源と観察光源毎に色再現補正を行うための補正係数を用意するのでは、大変煩雑な処理を要するという問題がある。
【０００７】
本発明は、上述の課題に鑑みてなされたもので、その目的とするところは、撮像光源と演色性の異なる観察光源で画像が再現される場合でも、良好で簡易に色再現できる色再現補正装置を提供することにある。
【０００８】
上記課題を解決するために、本発明の色再現補正装置は、撮像した画像の画像データと、撮像光源についての推定結果の情報である撮像光源の種類についての情報と、撮像光源の色度点データを含む情報とを出力する画像入力装置から、色度点データを受取り、ホワイトバランス用補正行列データを生成するホワイトバランス行列生成部と、画像入力装置から撮像光源の種類についての情報を受取り、撮像光源の種類についての情報に基づいて撮像光源の光源系統を示す撮像光源系統を決定すると共に、別途入力される観察光源の種類についての情報に基づいて観察光源の光源系統を示す観察光源系統を決定する光源系統決定部と、所定の等色関数データ、光源系統決定部で決定された撮像光源系統と観察光源系統との分光特性データ、所定の被撮像物の光学特性データおよびホワイトバランス用補正行列データを用いて、被撮像物の光学特性を反映した変換行列データを生成する変換行列生成部と、変換行列データを用いて、画像データに対して色再現補正を行う色補正処理部と、観察光源の種類についての情報を光源系統決定部に供給すると共に、変換行列生成部が生成する変換行列データを色補正処理部に供給する制御部とを有する。
【００１２】
【発明の実施の形態】
実施の形態１．
図１は、本発明に係る一実施の形態の色再現補正装置１００の全体構成を示す図である。図１において、色再現補正装置１００は、操作部１１０、制御部１２０、ホワイトバランス行列生成部１３０、光源系統決定部１４０、変換行列生成部１５０、記憶部１６０および色補正処理部１７０から構成される。制御部１２０は、他の全ての構成部と接続される。
【００１３】
以下に、上記各構成部の動作について説明する。以下の説明では、色再現補正装置１００には、公知の光源推定技術を用いて撮像光源を推定した結果、得られた推定光源データおよび推定された光源についての色度点データが外部から入力されることを前提とする。また、色再現補正装置１００には、画像データも外部から入力されるものとする。
操作部１１０には、色再現補正を行うのに必要な設定等を行うためのメニュー画面が表示され、キー等を用いてその設定がされる。また、操作部１１０には、処理の開始・停止等の指示、データの入力、その他の入力がなされる。さらに、各構成部での処理の状態や処理結果等が表示される。操作部１１０の出力は、制御部１２０に、または、制御部１２０を介して各構成部に伝達される。
【００１４】
制御部１２０は、操作部１１０から出力される設定、指示、データ等に応じて各処理部に所定の指示やデータ等を出力し、各構成部から制御部１２０に出力される信号に応じて他の構成部に指示やデータ等を出力する等の処理を行う。例えば、後述する変換行列生成部１５０からの要求により後述する記憶部１６０からデータを読み出し、変換行列生成部１５０に出力したり、変換行列生成部１５０が出力した結果を色補正処理部１７０に出力したりする等の処理を行う。また、上記の光源推定の結果がホワイトバランス行列生成部１３０および光源系統決定部１４０に入力される都度、以下の各部を制御して色再現補正用の変換行列を作成して更新し、更新した変換行列を用いて色再現補正を行うように制御する。
【００１５】
ホワイトバランス行列生成部１３０は、制御部１２０からの指示に従って、推定された光源についての色度点データ（Ｒ_w、Ｇ_w、Ｂ_w）を受取り、以下の式（１）に基づいてホワイトバランス用の補正行列Ｍ_WBを生成する。
【数１】

ここで、Ｒ_w、Ｇ_w、Ｂ_wは、各々、推定された光源についての色度点のＲ、Ｇ、Ｂ成分を示すことは言うまでもない。
【００１６】
光源系統決定部１４０は、制御部１２０からの指示に従って、外部から入力される推定光源データを受取り、推定された光源の種類についての情報と制御部１２０を介して得られる観察光源の種類についての情報とのに基づいて、撮像光源と観察光源との光源系統を決定する。
上記の光源系統として、例えば、Ｄ系(日光系)、ＦＢ系(高効率型蛍光灯系)、ＦＰ系(３波長型蛍光灯系)およびＡ系(白熱灯(黒体放射)系)等がある。各系統は、さらに、
Ｄ系(日光系)：CIE/D50(5003K)、D55(5503K)、D65(6504K)、D75(4504K)等、
ＦＥ系(高効率型蛍光灯系)：CIE/F1(6430K)、F2(4240K)、F3(3450K)、F4(2940K)、F5(6350K)、F6(4150K)等、
ＦＰ系（３波長型蛍光灯系）：CIE/F10(5000K)、F11(4000K)、F12(3000K)等、
Ａ系（白熱灯（黒体放射）系）：CIE/A(2856K)等
のように分類される。
【００１７】
変換行列生成部１５０は、制御部１２０の指示に従って、ホワイトバランス行列生成部１３０から補正行列Ｍ_WBを受取り、光源系統決定部１４０から撮像光源と観察光源との光源系統の情報を受け取る。また、後述する記憶部１６０から、等色関数のデータＳ、撮像光源と観察光源の光源系統の各光源分光特性データＬm、Ｌn、および被撮像体の分光反射率について主成分分析して得られた固有行列データＢ等を受取り、下式（２）に基づいて行列Ａを計算する。
【数２】

ここで、Ｌは光源の分光特性データであり、光源が撮像光源の場合はＬとしてＬmが用いられ、観察光源の場合はＬnが用いられる。以下、この行列Ａを係数行列Ａという。生成された係数行列Ａは制御部１２０経由で記憶部１６０に格納され、その後の処理において、このように格納された係数行列Ａが以下の処理を行う際に用いられるのでも良い。
【００１８】
等色関数のデータには、CIE/1931等がある。ここでは、等色関数として、例えば、CIE1931等色関数Ｓ=（x(λ)、y(λ)、z(λ)）を用いる。その際、x(λ)、y(λ)、z(λ)は、波長λ=[λ₁,λ₂, … λ_N]における各x、y、ｚ成分のデータを並べて、
【数３】

のように表すことができる。ここで、^t は行列の転置を意味する。
【００１９】
光源分光特性データＬも、波長λ=[λ₁,λ₂, … λ_N]におけるデータを並べて、以下に示す(Ｎ×Ｎ)の対角行列で表すことができる。
【数４】

【００２０】
固有行列Ｂは、主成分分析において得られた固有ベクトルのうち、寄与の大きい方から所定の個数Ｑ、以下のように並べたものである。
【数５】

ここで、固有ベクトルＢ _k（ｋは１からＱまでのいずれかの整数）は、Ｎ次元の列ベクトルであり、ベクトルの個数Ｑは、例えば、操作部５１０から指定することもできる。図２に、固有ベクトルＢ _kの一例を示す。図の横軸は、波長（単位ｎｍ）であり、縦軸は、その波長でのベクトルの値である。この例では、寄与の大きい順番にベクトルを３つ（ＰＣ１、ＰＣ２、ＰＣ３）、すなわち、ベクトルの個数Ｑが３の場合を示す。
【００２１】
変換行列生成部１５０は、ホワイトバランス行列生成部１３０から受け取った補正行列Ｍ_WBと上記の係数行列Ａ（計算で生成されたものでも記憶部１６０に格納されていたものでも良い）を用い、以下の式（３）に基づいて変換行列Ｍ_m→_nを生成する。
【数６】

ここで、Ａ_mは撮像光源についての係数行列であり、Ａ_nは観察光源についての係数行列である。
【００２２】
例えば、光源の系統「m」が上記のＦＥ系統であり、光源の系統「n」がＤ系統である場合の式（３）および式（１）の計算例は、以下のように表される。
【数７】

この例に示されるように、Ｍ_FE→_Dは、単位行列から大幅にずれることが分かる。
【００２３】
同様に、光源の系統「n」がＤ系統で、光源の系統「m」が上記のＦＰ系統、Ａ系統の場合のＭ_m→_nの計算例は、以下のように表される。
【数８】

【００２４】
記憶部１６０は、制御部１２０からの制御に従って所定の情報を格納する。記憶される情報としては、制御部１２０に入力される入力情報のうち、例えば、等色関数のデータＳ、光源系統の光源分光特性データＬ、固有行列データＢ、操作部１１０におけるメニュー画面での設定内容、ホワイトバランス行列生成部１３０で生成されたホワイトバランス用の補正行列Ｍ_WB、光源系統決定部１４０で決定された撮像光源と観察光源との光源系統の情報、変換行列生成部１５０で生成された係数行列Ａおよび変換行列Ｍ_m→_n等の所定の定数やデータが含まれる。なお、他のデータを記憶されるデータから排除するものでないことは言うまでもない。
【００２５】
色補正処理部１７０は、外部から入力された画像データに対し、変換行列生成部１５０で生成された変換行列を用いて色再現補正処理を行い、色再現補正後の画像データを出力する。色補正処理部１７０での処理は、操作部１１０からの指示に基づいた制御部１２０の制御に従って行われる。この色再現補正処理は、以下の式で示されるような変換に基づいて行われる。
【数９】

ここで、f^Rm、f^Gm、f^Bmは、各々、色再現補正前の画像データ（光源「m」）におけるＲ、Ｇ、Ｂ信号成分のデータであり、f^Rn、f^Gn、f^Bnは、各々、色再現補正後の画像データ（光源「n」）におけるＲ、Ｇ、Ｂ信号成分のデータである。
【００２６】
以下に、実施の形態１に係る色再現補正方法における処理の流れを説明する。図３は、本発明の実施の形態１に係る色再現補正方法における変換行列を生成するための処理の流れを示すフローチャートである。図３において、ステップＳ３１０で、制御部１２０は、ホワイトバランス行列生成部１３０および光源系統決定部１４０に光源推定で得られたデータが新たに入力されたか否かを判断する。光源推定結果のデータが新たに入力されたと判断した場合は、処理はステップＳ３２０に進み、新たに入力されていないと判断した場合は、ステップＳ３８０に移る。ステップＳ３２０で、制御部１２０は、ホワイトバランス行列生成部１３０および光源系統決定部１４０に新たに入力されたデータと、記憶部１６０に保存されている過去に入力されたデータとを比較し、新たに入力されたデータが変更されているか否かを判断する。新たに入力されたデータが更新されたと判断した場合は、処理はステップＳ３３０に移り、更新されていないと判断した場合は、処理はステップＳ３８０に移る
【００２７】
ステップＳ３３０で、制御部１２０は、新たに入力されたデータを記憶部１６０に格納する。このデータ格納は、過去のデータを新たに入力されたデータに置き換える格納でも良い。ステップＳ３４０で、制御部１２０は、係数行列Ａが記憶部１６０に格納されているか否かを判断し、格納されていると判断した場合は、処理はステップＳ３５０に進み、格納されていないと判断した場合は、処理はステップＳ３６０に移る。
【００２８】
ステップＳ３４０で、係数行列Ａが記憶部１６０に格納されていると判断した場合は、制御部１２０は、ステップＳ３５０で、記憶部１６０から係数行列Ａを取り込んで変換行列生成部１５０に出力する。ステップＳ３４０で、格納されていないと判断した場合は、制御部１２０は、ステップＳ３６０で、記憶部１６０から等色関数データＳ、撮像光源と観察光源の光源系統の各光源分光特性データＬm、Ｌn、および固有行列データＢ等を受取り、上記の式（２）に基づいて行列Ａを計算する。ここで、光源分光特性データは、光源系統決定部１４０が決定した光源についてのものであることは言うまでもない。なお、ここで形成した係数行列Ａを記憶部１６０に格納するのでも良い。
【００２９】
ステップＳ３７０で、変換行列生成部１５０は、制御部１２０の制御に従って、ホワイトバランス行列生成部１３０から補正行列Ｍ_WBを受取り、ステップＳ３５０またはステップＳ３６０で得られた係数行列Ａとこのホワイトバランス用の補正行列Ｍ_WBとを用いて変換行列Ｍ_m→_nを生成し、制御部１２０に出力する。制御部１２０は、この変換行列Ｍ_m→_nを記憶部１６０に記憶するのでも良い。最後に、ステップＳ３８０で、制御部１２０は、操作部１１０からの指示等の所定の情報をもとに処理を終了すべきか否かを判断し、終了すると判断した場合は、処理を終了し、終了しないと判断した場合は、処理はステップＳ３１０に移り、上記の処理を繰り返す。
【００３０】
図４は、本実施の形態１に係る色再現補正方法における色再現補正処理の流れを示すフローチャートである。図３において、ステップＳ４１０で、制御部１２０はあらかじめ決められた変換行列Ｍ_m→_nを記憶部１６０から取り込む等の所定の初期設定を行う。ステップＳ４２０で、色補正処理部１７０は、制御部１２０の制御に従って外部から画像データの取り込みを行う。所定量の画像データを取り込んだ後、ステップＳ４３０で、上記の式（８）に基づいて色再現補正を行い、色再現補正後の画像データを外部に出力する。
【００３１】
ステップＳ４４０で、制御部１２０は、操作部１１０からの指示等の所定の情報をもとに処理を終了すべきか否かを判断し、終了すると判断した場合は、処理を終了し、終了しないと判断した場合は、処理はステップＳ４５０に移る。ステップＳ４５０で、制御部１２０は、変換行列生成部１５０が変換行列Ｍ_m→_nを生成したか否かを判断する。なお、この判断は、１６０に格納されている変換行列Ｍ_m→_nをもとに行うのでも良い。変換行列Ｍ_m→_nが更新されたと判断した場合は、処理はステップＳ４６０に進み、更新された変換行列Ｍ_m→_nを取り込んでステップＳ４２０以降の処理を繰り返す。更新されていないと判断した場合は、処理はステップＳ４２０に移り、ステップＳ４２０以降の処理を繰り返す。
【００３２】
以上説明したように、本実施の形態１によれば、観察光源または観察したい演色性に応じて変換行列Ｍ_m→_nを作成し、この変換行列Ｍ_m→_nを用いて画像データを補正することにしたので、実際の観察光源環境や所望の演色性が想定された当初のものと異なる場合でも、実際の観察光源環境において画像を良好に色再現できると共に、所望の演色性で色再現可能な色再現補正方法および装置が実現できる。
【００３３】
また、主成分分析によって得られた固有ベクトルの中から寄与の大きいものを所定数、変換行列Ｍ_m→_nの生成に用い、その変換行列Ｍ_m→_nを用いて色再現補正をすることにしたので、煩雑で大量の記憶容量を要する変換行列Ｍ_m→_nの生成処理を簡易に行うことができる。
【００３４】
また、色変換技術とホワイトバランス技術とを組み合わせることで、同一光源系統内で複数の変換行列Ｍ_m→_nを生成する処理を除去することができ、変換行列Ｍ_m→_n作成に要する処理を削減することが可能となる。
【００３５】
実施の形態２．
上記、実施の形態１における色再現補正方法および装置は、所定の観察光源用の画像データに変換するものであった。しかし、ある光源下で物体を見たときに見える色をそのまま再現する（以下、色の見えの保持という）ことを目的とする場合もある。すなわち、低演色性の光源を用いて撮像された画像であっても、そのままの色で再現することを目的とする場合もある。そのため、特定の変換行列Ｍ_m→_nのみを用いるのではなく、変換行列Ｍ_m→_nと単位行列とに重み付けして組み合わせて用いる方法は、上記の色の見えの保持に有効である。本実施の形態２では、変換行列Ｍ_m→_nと単位行列とに所定の重み付けしたものを組み合わせて色再現補正する方法および装置について記載する。
【００３６】
図５は、実施の形態２に係る色再現補正装置１００の全体構成を示す図であり、その構成は、実施の形態１において示したものに、重み付き変換行列生成部１８０を追加したものである。
【００３７】
実施の形態２において、操作部１１０は、実施の形態１に示された設定に加え、所定の表示をし、重み付き変換行列Ｍ_m→_n ^compを生成するか否かの入力を待つ。生成するとされた場合には、変換行列Ｍ_m→_n毎の重み係数についての入力も待つ。または、それらの重み係数をあらかじめ記憶部１６０に格納しておき、その中から選択させることも可能であり、他の方法を排除するものではない。入力があった場合にその情報を制御部１２０に出力し、制御部１２０では、この情報に基づいて各部の制御を行うと共に、この変換行列Ｍ_m→_n毎の重み係数についての情報を重み付き変換行列生成部１８０に出力する。なお、その重み係数を記憶部１６０に格納するのでも良い。重み付き変換行列Ｍ_m→_n ^compを計算するとされた場合、重み付き変換行列生成部１８０は、変換行列Ｍ_m→_n毎にその変換行列Ｍ_m→_nの重み係数および、それと同じサイズの単位行列の重み係数を決定する。そして、それらの行列と重み係数との積和をとり重み付き変換行列Ｍ_m→_n ^compを計算し、制御部１２０に出力する。
【００３８】
図６は、本実施の形態２に係る色再現補正方法における色再現補正処理で用いる重み付き変換行列Ｍ_m→_n ^compを生成するための処理の流れを示すフローチャートである。以下に、図６を参照して、重み付き変換行列Ｍ_m→_n ^compを生成するための処理の流れを説明する。なお、この重み付き変換行列Ｍ_m→_n ^compを用いた場合の色再現補正処理の流れを示すフローチャートは、図４に示されるものと同じである。以下の説明では、実施の形態１で用いた図３の処理と同一の処理については同一の参照番号を付し、それらの説明を省略する。
【００３９】
図６において、ステップＳ６０１で、制御部１２０は、設定された重み係数Ｋ（以下、目標係数という）が０か否かを判断し、Ｋが０と判断した場合は、処理はステップＳ６０２に移り、０でないと判断した場合は、処理はステップＳ３１０に移る。ステップＳ６０２で、重み付き変換行列生成部１８０は、重み付き変換行列Ｍ_m→_n ^compに単位行列を設定し、制御部１２０に出力し、処理を終了する。この単位行列は、以下の処理によって変更されないものとする。
【００４０】
制御部１２０がＫは０でないと判断した場合は、実施の形態１で示したステップＳ３１０からＳ３６０迄の処理を行い、変換行列生成部１５０は、ステップＳ６７０で、制御部１２０の制御に従って、ホワイトバランス行列生成部１３０から補正行列Ｍ_WBを受取り、ステップＳ３５０またはステップＳ３６０で得られた係数行列Ａとこのホワイトバランス用の補正行列Ｍ_WBとを用いて変換行列Ｍ_m→_nを生成する。なお、本実施の形態２では、変換行列Ｍ_m→_nを制御部１２０に出力しない。したがって、この変換行列Ｍ_m→_nは記憶部１６０に格納されない。ステップＳ６７１で上記の目標値を用いて、以下の式（９）に基づいて重み付き変換行列Ｍ_m→_n ^compを計算する。
【数１０】

ここで、ＩはＭ_m→_nと同じサイズの単位行列であり、Ｋが１のときは、光源を変更する場合の変換行列Ｋ・Ｍ_m→_nが得られ、Ｋが０のときは、色の見えの保持を行う場合の変換行列（すなわち、単位行列Ｉ）が得られる。
【００４１】
最後に、ステップＳ３８０で、制御部１２０は、操作部１１０からの指示等の所定の情報をもとに処理を終了すべきか否かを判断し、終了すると判断した場合は、処理を終了し、終了しないと判断した場合は、処理はステップＳ３１０に移り、上記の処理を繰り返す。
【００４２】
以上説明したように、本実施の形態２によれば、変換行列Ｍ_m→_nと単位行列に目標係数Ｋを介して重み付けし、それらの和をとって重み付き変換行列Ｍ_m→_n ^compを生成することにしたので、観察光源を変更せずに色の見えの保持を行うというユーザの要望にも対応可能となった。
【００４３】
実施の形態３．
上記、実施の形態１における色再現補正方法および装置は、変換行列Ｍ_m→_nを生成するのに主成分分析で得られた固有行列を用いていた。したがって、その固有行列は、主成分分析で用いられるデータの特徴に依存し、そのデータの統計性に偏りがある場合は、統計性を良好に反映しないことが考えられる。そのような場合は、観測データを用いて変換行列を生成するのでなく、カラーパッチ等の、色空間で色が均等に分布するような被撮像体について測色し、そのデータを用いて後述する方法で変換行列を生成するのが色再現性を向上するのに適している。本実施の形態３では、色空間において色が均等に分布する被撮像物の測色結果をもとに、誤差最小二乗法に基づいて色再現補正する方法および装置について記載する。
【００４４】
図７は、実施の形態３に係る色再現補正装置の全体構成を示す図であり、その構成は、実施の形態１において示したものに、相関処理部１９０を追加したものである。なお、相関処理部１９０は、必要に応じて着脱可能とすることもできる。
本実施の形態３において、上記の「色空間において色が均等に分布する被撮像物」として、例えば、カラーパッチを用い、CIE 13.3の基本８色、CIE 13.3で定義されている全てを含む１４色、GretagMacbeth ColorCheckerの２４色等を測色する。
【００４５】
操作部１１０は、実施の形態１に示された設定に加えて所定の表示をし、カラーパッチの測色結果を用いた補正を行うか否かの入力を待つ。入力があった場合にその情報を制御部１２０に出力し、制御部１２０では、この情報に基づいて各部の制御を行うと共に、必要な場合には操作部１１０を介して測色するカラーパッチやその色の種類等をユーザに選択させる。記憶部１６０は、測色すべきカラーパッチや色の種類に関する情報をあらかじめ記憶しておき、制御部１２０からの制御によりその情報を相関処理部１９０に出力する。
【００４６】
相関処理部１９０は、制御部１２０の制御に従って、カラーパッチを測色し、測色で得られた結果から分光反射係数の相関行列Ｋrrを生成する。さらに、以下に述べる式（１２）に基づいて行列Ｐ_A を生成し、制御部１２０に出力する。
【００４７】
変換行列生成部１５０は、制御部１２０を介して行列Ｐ_Aを受取り、以下の式に基づいて変換行列Ｍ_m→_n ^corを生成する。
【数１１】

変換行列生成部１５０で計算された変換行列Ｍ_m→_n ^corは、制御部１２０を経由して色補正処理部１７０に出力される。色補正処理部１７０では、入力された画像データに対して変換行列Ｍ_m→_n ^corを用いて色再現補正を行う。
【００４８】
図８は、本実施の形態３に係る色再現補正方法における色再現補正処理で用いる、測色データを用いて変換行列Ｍ_m→_n ^corを生成するための処理の流れを示すフローチャートである。以下に、図８を参照して、測色データを用いて変換行列Ｍ_m→_n ^corを生成するための処理の流れを説明する。なお、この、測色データを用いて生成した変換行列Ｍ_m→_n ^corを用いた場合の色再現補正処理の流れを示すフローチャートは、図４に示されるものと同じである。以下の説明では、実施の形態１で用いた図３の処理と同一の処理については同一の参照番号を付し、それらの説明を省略する。
【００４９】
図８において、ステップＳ８０１で、制御部１２０は、カラーパッチの測色データを用いて生成した分光反射率の共分散行列Ｋrrが記憶部１６０に格納されているか否かを判断する。共分散行列Ｋrrが格納されていると判断した場合は、処理はステップＳ３１０に進み、共分散行列Ｋrrが格納されていないと判断した場合は、処理はステップＳ８０２に移る。ステップＳ８０２で、相関処理部１９０は、カラーパッチを測色し、その後、ステップＳ８０３で、上記の共分散行列Ｋrrを生成する。なお、ここで生成された共分散行列Ｋrrを記憶部１６０に格納しておくのでも良い。ステップＳ８０３の処理が完了すると、処理はステップＳ３１０に進む。ステップＳ３１０以降のステップでは、実施の形態１で示した処理と同様の処理がなされる。
【００５０】
なお、ステップＳ３４０で、制御部１２０は、係数行列Ｑが記憶部１６０に格納されているか否かを判断し、格納されていないと判断した場合は、制御部１２０は、ステップＳ８６０で、記憶部１６０から等色関数データＳ、撮像光源および観察光源の光源系統の各光源分光特性データＬm、Ｌn等を受取り、上記の式（１２）に基づいて行列Ｐ_Aを計算する。そして、その結果を用い、上記の式（１１）に基づいて係数行列Ｑを計算する。ここで、光源分光特性データは、光源系統決定部１４０が決定した光源についてのものであることは言うまでもない。なお、ここで形成した係数行列Ｑを記憶部１６０に格納するのでも良い。ステップＳ８６０以降のステップでの処理は実施の形態１に記載したものと同じである。なお、上記の共分散行列Ｋrrの計算の方法としては、例えば、カラーパッチの測色結果の各色成分データについての共分散を計算し、それに対して等色関数データＳと光源分光特性データＬを用いて変換する方法等がある。共分散行列Ｋrrの計算方法は公知であり、その説明を省略する。
【００５１】
以上説明したように、本実施の形態３によれば、色空間で色が均等に分布する被撮像体を測色して得られた結果を用い、誤差最小法に基づいて変換行列Ｍ_m→_nを生成することにしたので、統計の偏りによる誤差を低減する色再現補正を実現できる。
【００５２】
以上説明したように、本発明によれば、観察光源または観察したい演色性に応じて変換行列Ｍm→nを作成し、この変換行列Ｍm→nを用いて画像データを補正することにしたので、実際の観察光源環境や所望の演色性が想定された当初のものと異なる場合でも、実際の観察光源環境において画像を良好に色再現できると共に、所望の演色性で色再現可能な色再現補正装置が実現できる。
【００５３】
また、本発明によれば、主成分分析によって得られた固有ベクトルの中から寄与の大きいものを所定数、変換行列Ｍ_m→_nの生成に用い、その変換行列Ｍ_m→_nを用いて色再現補正をすることにしたので、煩雑で大量の記憶容量を要する変換行列Ｍ_m→_nの生成処理を簡易に行うことができる。
【００５４】
また、本発明によれば、色変換技術とホワイトバランス技術とを組み合わせることで、同一光源系統内で複数の変換行列Ｍ_m→_nを生成する処理を除去することができ、変換行列Ｍ_m→_n作成に要する処理を削減することが可能となる。
【００５５】
また、本発明によれば、変換行列Ｍ_m→_nと単位行列に目標係数Ｋを介して重み付けし、それらの和をとって重み付き変換行列Ｍ_m→_n ^compを生成することにしたので、観察光源を変更せずに色の見えの保持を行うというユーザの要望にも対応可能となった。
【００５６】
また、本発明によれば、色空間で色が均等に分布する被撮像体を測色して得られた結果を用い、誤差最小法に基づいて変換行列Ｍ_m→_nを生成することにしたので、統計の偏りによる誤差を低減する色再現補正を実現できる。
【図面の簡単な説明】
【図１】本発明の実施の形態１に係る色再現補正装置の全体構成を示す図である。
【図２】主成分分析において得られる固有ベクトルのうち、寄与の大きいベクトル３つを一例として示す図である。
【図３】実施の形態１に係る色再現補正方法における色再現補正処理で用いる変換行列を生成するための処理の流れを示すフローチャートである。
【図４】実施の形態１に係る色再現補正方法における色再現補正処理の流れを示すフローチャートである。
【図５】実施の形態２に係る色再現補正装置の全体構成を示す図である。
【図６】実施の形態２に係る重み付き変換行列を生成するための処理の流れを示すフローチャートである。
【図７】実施の形態３に係る色再現補正装置の全体構成を示す図である。
【図８】実施の形態３に係る測色データを用いて変換行列を生成するための処理の流れを示すフローチャートである。
【符号の説明】
１００…色再現補正装置、１１０…操作部、１２０…制御部、１３０…ホワイトバランス行列生成部、１４０…光源系統決定部、１５０…変換行列生成部、１６０…記憶部、１７０…色補正処理部、１８０…重み付き変換行列生成部、１９０…相関処理部

Claims

撮像した画像の画像データと、撮像光源についての推定結果の情報である前記撮像光源の種類についての情報と、前記撮像光源の色度点データを含む情報とを出力する画像入力装置から、前記色度点データを受取り、ホワイトバランス用補正行列データを生成するホワイトバランス行列生成部と、
前記画像入力装置から前記撮像光源の種類についての情報を受取り、前記撮像光源の種類についての情報に基づいて前記撮像光源の光源系統を示す撮像光源系統を決定すると共に、別途入力される観察光源の種類についての情報に基づいて前記観察光源の光源系統を示す観察光源系統を決定する光源系統決定部と、
所定の等色関数データ、前記光源系統決定部で決定された前記撮像光源系統と前記観察光源系統との分光特性データ、所定の被撮像物の光学特性データおよび前記ホワイトバランス用補正行列データを用いて、被撮像物の光学特性を反映した変換行列データを生成する変換行列生成部と、
前記変換行列データを用いて、前記画像データに対して色再現補正を行う色補正処理部と、
前記観察光源の種類についての情報を前記光源系統決定部に供給すると共に、前記変換行列生成部が生成する前記変換行列データを前記色補正処理部に供給する制御部とを有する色再現補正装置。