JP2004177396A - Image forming method - Google Patents

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image forming method for estimating the kinds of photographing light sources including fluorescent lamps, namely the kinds of light sources, and performing proper image processing, based on the estimated result. <P>SOLUTION: In the image forming method, a color temperature(including the types of fluorescent lamps) for minimizing a difference between sensor output value data being recorded a known color temperature (including the types of fluorescent lamps) and sensor output value data by the color temperature (including the types of fluorescent lamps) of the light source for illuminating the subject being prepared in a plurality of numbers is set to be the types of the photographing light sources. Then, by a color conversion method defined by the sensor output obtained by the estimated kind of the light source, and a sensor output obtained by a desired type of the light source, a sensor output value obtained by the estimated kind of the light source is used, thus achieving an image formation method for achieving appropriate image processing, based on the estimation result of the type of the photographing light source, namely the type of the light source. <P>COPYRIGHT: (C)2004,JPO

Description

【０００１】
【発明の属する技術分野】
本発明は、画像形成方法に関し、より具体的には、人口光源（例えば、ＣＩＥで規定している１２種類の蛍光灯）を含む撮影光源の種類を推定し、この結果に基づいて適正な画像処理を施すことを可能とした画像形成方法に関する。
【０００２】
【従来の技術】
フィルム画像を印画紙等の複写感材へ焼付けるときの焼付露光量は、フィルムが撮影時に被写体から受けた光量によって決定され、１コマ毎に異っている。色再現性の良好なプリントを得るためには、撮影条件に応じた焼付露光量の補正が必要となる。このため、一般に、カラー原画から複写感材へカラー画像を再現するときの露光量は、色素フィルタや蒸着フィルタで構成された色分解フィルタを備えた測光装置を用いて赤（Ｒ），緑（Ｇ），青（Ｂ）光の積算透過濃度を測定し、Ｒ，Ｇ，Ｂ光各々について決定することによって、グレイバランスを定めている。
【０００３】
しかしながら、背景等のカラーフェリアや現像条件等によって撮影光質情報が変化することがあるため、光質を正確に推定することができず、被写体照明光の光質の変化によって色再現性が悪化することがある。これは、写真フィルム上の何れの位置がグレイであるかの判断ができないためである。
この写真フィルム上にあるグレイを検出するのに最も有効な方法は、撮影光源の色温度を推定することである。
【０００４】
ここで問題になるのは、室内撮影の場合には、蛍光灯下での撮影が多いことであり、周知のように、蛍光灯はそれ以外の一般的な光源とは異なり、上述のような色温度検出によっては、光源種を適正に推定できないということである。
【０００５】
この問題を解消しようとして、従来から種々の提案がなされているが、未だに完全な（少なくとも、実用上、十分な精度を持つの意）対応方法は見出されてはいない。
【０００６】
【発明が解決しようとする課題】
本発明は、上記事情に鑑みてなされたものであり、その目的とするところは、蛍光灯を含めた撮影光源の種類、すなわち光源種を推定し、この結果に基づいて適正な画像処理を施すことを可能とした画像形成方法を提供することにある。
【０００７】
なお、本発明は、特願平６−２５３６５６号（特開平８−１２２１５７号公報参照、以下、先願という）により提案された、「色温度推定方法、色温度推定装置、及び露光量決定方法」を改良した、蛍光灯を含めた撮影光源の種類を識別可能とした光源種の識別方法を用いて、この方法により識別した撮影光源の種類に基づいて、適正な画像処理を施すことを可能としたものということができるものである。
【０００８】
【課題を解決するための手段】
上記目的を達成するため、本発明に係る画像形成方法は、入力画像の画像データを読み取って、これに必要な補正を加える画像形成方法であって、撮像系を構成するセンサとして、一般的なカラー画像の解析に用いられるＲ，Ｇ，Ｂ３色に対応する分光感度を有するセンサに加えて、前記Ｒ，Ｇ，Ｂ３色に対応する分光感度と重複しない分光感度を有する第４のセンサＸを配して、これらＲ，Ｇ，Ｂ，Ｘ４つのセンサから得た情報を用いて光源種を推定し、上記推定された光源種で得られるセンサ出力と所望の光源種で得られるセンサ出力とから定義される色変換方法により、上記推定された光源種で得られるセンサ出力値を用いることを特徴とするものである。
【０００９】
ここで、前記第４のセンサＸとしては、前記Ｒセンサの有する吸収のピークよりも３０ｎｍ以上長波側で、かつ、７００ｎｍ以下の領域に吸収のピークを有するもの、または、前記ＧセンサとＢセンサの中間に吸収のピークを有し、かつ、５００ｎｍ〜５２０ｎｍの領域に吸収のピークを有するものを用いることが可能である。
【００１０】
また、ここで、前記色変換方法は、前記入力画像中のグレイ部分もしくはこれに準ずる部分に関し、その推定された光源種に対応するセンサ出力Ｅｉｊ^ZEが、基準光源に対応するセンサ出力Ｅｉｊ^Z0となるように補正するものであることを特徴とする。

である。
【００１１】
また、前記センサ出力Ｅｉｊ^ZE→Ｅｉｊ^Z0の補正は、
【数４】

となるような係数行列Ａ，Ｃを求めるものであることを特徴とする。
ここで、係数行列Ｃは０であってもよい。
【００１２】
前記センサ出力Ｅｉｊ^ZE→Ｅｉｊ^Z0の補正は、
【数５】

となるような係数行列Ａ，Ｃを求めるものであることを特徴とする請求項５に記載の画像形成方法。
ここで、係数行列Ｃは０であってもよい。
【００１３】
また、前記センサ出力Ｅｉｊ^ZE→Ｅｉｊ^Z0の補正は、
【数６】

となるような係数行列Ａ，Ｃを求めるものであることを特徴とする。
ここで、係数行列Ｃは０であってもよい。
【００１４】
なお、前記Ｒ，Ｇ，Ｂ，Ｘ４つのセンサから得た情報を用いての光源種の識別は、色温度が既知の黒体放射に基づく光源および分光エネルギー分布が規定されている蛍光灯の分光エネルギー分布、測光系の分光感度分布並びに予め定めた前記４つのセンサ出力信号関数の１次結合で表わした分光反射率分布の積の積和または積分値で定められる基準値を求め、色温度もしくは蛍光灯種別推定対象光源からの反射光の少なくとも一部を前記各センサにより信号として測定し、前記基準値とこの各センサによる測定値との差が最小となる分光反射率分布を黒体放射光源の色温度毎並びに蛍光灯種別毎に求め、さらにここで求めた分光反射率の最大値が１.０を越えた異常成分の和を評価値として求め、この評価値の最小値に対応する黒体放射光源の色温度もしくは蛍光灯種別を前記光源種の識別結果とするものである。
【００１５】
本発明に係る画像形成方法は、これを組み込んだ写真プリンタとして構成することが可能である。
【００１６】
具体的には、本発明に係る画像形成方法を適用した写真プリンタは、前記光源種の識別装置により推定した光源種に応じて、例えば予め用意された露光補正アルゴリズムを選択し、これに基づいて補正した露光量による露光を行って写真プリントを得るものである。
【００１７】
【発明の実施の形態】
以下、本発明に係る画像形成方法の基礎となる、蛍光灯を含む光源種の推定方法について説明した後、本発明の実施の形態を詳細に説明する。
なお、以下に説明する光源種の推定方法は、光源類似度の指標を基準とする方法であり、ここでは、Ｒ，Ｇ，Ｂの３原色に対応させて設けた３個のセンサに加えて、適宜の波長域に吸収のピークを有する第４のセンサ（本明細書中では、これを、Ｘセンサという）を配して、このＲ，Ｇ，ＢおよびＸの４つのセンサを用いて、光源および被写体に関する先見情報なしに、撮像手段（カラーネガフィルム，ＤＳＣ：デジタルスチルカメラ等）からのセンサ信号だけから、撮影光源を推定しようとするものである。
【００１８】
ここで説明する蛍光灯を含む光源種の推定方法においては、色温度Ｔ＝５５００Ｋの黒体放射に対して、反射率１.０の白色の信号値がＳ_b＝Ｓ_g＝Ｓ_r＝１.０となるようにセンサ出力を調整し、また、任意の光源に対して白色信号のＧ信号が一定（Ｓ_g＝１.０）となるようにセンサの露光量調整を行う。
以上の条件の下で、マクベスチャートＮo.１９の白色の信号値を、ＣＩＥ蛍光灯１２種（Ｆ１〜Ｆ１２），黒体放射光源４種（Ｔ＝３０００Ｋ，５０００Ｋ，７０００Ｋ，９０００Ｋ）について求めた。
【００１９】
また、ここでは、上述の信号値を基に光源の色温度を推定するとともに、上記１２種の蛍光灯（現状では、上記Ｆ１〜Ｆ１２）をも含めて識別可能としようとするものである。図１に、上述の、ＣＩＥにより規定されている１２種類の蛍光灯（Ｆ１〜Ｆ１２）の概略の特性を、また、図２に、色温度Ｔの黒体放射光源の特性を示した。なお、被写体の分光反射率は、下記の式（４）に示すように固有ベクトル（例を、図３に示す）の加重和で近似できると仮定する。
【００２０】
【数７】

【００２１】
この仮定により、被写体の分光反射率には奇想天外なもの（例えば、ギザギザな反射率）は論外にして、現実にありそうな分光反射率の変化のスムーズなものだけを対象にすることができる。なお、図３に示した固有ベクトルは、マクベスチャート２４色を主成分分析して求めたものである。
【００２２】
さて、前述の光源類似度の指標についてであるが、ある光源のセンサ信号値を基準として、他の光源のセンサ信号値がこれに近いか否かの指標として、下記の式（５）で定義されるΔ_b，Δ_r，Δ_xを用いることとする。
【００２３】
【数８】

【００２４】
上述の式（５）中において、Δ_b，Δ_r，Δ_xは基準光源のセンサ信号（Δ_b ⁰，Δ_r ⁰，Δ_x ⁰ ）と他光源のセンサ信号（Δ_b，Δ_r，Δ_x ）との対数信号差を示している。一例として、ＣＩＥ蛍光灯Ｆ８を基準光源とした場合について、Δ_bとΔ_rをプロットしたもの（３信号系）を、図４に示す。
【００２５】
図４において、原点は基準のＣＩＥ蛍光灯Ｆ８であり、原点からの距離が大きいほど、基準光源（Ｆ８）と他光源との類似度は小さいことになる。
４信号系では、図４の紙面に垂直方向の成分Δ_x が加わる。三次元空間における原点との距離Ｌにより、４信号系における基準光源（Ｆ８）と他光源との類似度（下記の式（６）参照）が評価できる。
【００２６】
【数９】

【００２７】
式（６）中のＬに添字を付けてＬｉ（ｊ）と表記し、基準光源がｉのときの他光源ｊとの距離を示すことにする。例えば、基準光源と他光源がともにＣＩＥ蛍光灯（１２種）とすれば、Ｌｉ（ｊ）は各基準光源毎に１１個存在することになる。そこで、その１１個の中の最小値をＬ（ｉ）_min とし、下記の式（７）によりＬ_min を計算する。
【００２８】
【数１０】

【００２９】
ここで、Ｌ_min はＣＩＥ蛍光灯１２種間の平均最小距離であり、この値が小さいほど、蛍光灯同士の類似度が大きいことを意味し、誤認を起こしやすいことになる。
【００３０】
図５は、前述のＸセンサ（第４のセンサ）の分光感度のピーク位置（波長）を変化させた場合の、上記ＣＩＥ蛍光灯１２種間の平均最小距離Ｌ_min の動きを示している。図５に示したように、Ｘセンサのピーク波長６７５ｎｍ付近で上記Ｌ_min が最大になることが判る。すなわち、ＣＩＥ蛍光灯（１２種）同士をなるべく誤認しないようにするためには、第４のセンサのピーク波長は、６７５ｎｍ付近に設定するのがよいことになる。
【００３１】
また、蛍光灯と黒体放射光源との類似度についても、同様の方法で調べた結果を、図６に示す。図６に示す結果では、第４のセンサの分光感度のピーク位置が長波長になるほど、平均最小距離Ｌ_min が大きくなり、蛍光灯と黒体放射光源との誤認は生じ難くなることが判る。
【００３２】
以上の結果から、第４のセンサの分光感度のピーク位置は６８０ｎｍ付近に設定するのが最適といえる。
図７に、この場合の各センサの分光感度特性をまとめた。
【００３３】
以下、よリ具体的に説明する。
ここでは、光源データとして、ＣＩＥ蛍光灯１２種と黒体放射光源４種（いずれも、前述）を対象とし、光源推定プログラムとして、前述の先願に示したものを用いた。なお、センサ分光感度対は、３信号系，４信号系（Ｘセンサのピーク波長６４５ｎｍ），４信号系（Ｘセンサのピーク波長６７５ｎｍ）の三つで比較した。
【００３４】
また、上述の、先願に係る光源推定プログラムは、簡単にいえば、入力画像に対して、その画像がある光源（仮想光源）下で作成されたものと仮定し、各画素の分光反射率を再生した場合、仮想光源が実際に撮影に用いられた光源（実写光源という）と違っていると、分光反射率に異常（反射率１.０を越える）が観測されることを利用して、反射率異常が最小となる光源を、実写光源と推定するものである。
【００３５】
ここでは、Ｒ，Ｇ，Ｂの３原色に対応させて設けた３個のセンサ（３信号系の場合）に加えて、第４のセンサとして６４５ｎｍ（４信号系の場合の▲１▼），６８０ｎｍ（４信号系の場合の▲２▼）に吸収のピークを有するセンサを配して，これらのセンサを用いるものとする。
【００３６】
一般的に、ある色温度の黒体放射光源またはある種類の蛍光灯で照明された被写体を撮影した場合のセンサ出力信号Ｅ_ij ^Z は、下記の式（８）で表わすことができる。なお、ここで、Ｚは色温度Ｔの黒体放射光源またはある種類の蛍光灯を示す。
【００３７】
【数１１】

【００３８】
ここで、上記センサ信号Ｅ_ij ^Z は、二つの未知な変量Ｐ^Z（λ）とρ_i（λ）を含む積分値であり、センサ信号Ｅ_ij ^Z を与えるＰ^Z（λ）とρ_i（λ）の可能な組み合わせは、多数考えられる。従って、一般には、光源Ｐ^Z（λ）を特定することは不可能であるが、可能な組み合わせの中には、数学的には矛盾しないが物理的に矛盾するものも多数含まれると考えられ、それらを除くと光源の推定が、ある精度内で可能になる。
【００３９】
なお、上記式（８）中の被写体の分光反射率分布ρ_i（λ）は、データを得るための情報形態によってｉが定まる。すなわち、被写体を撮影したときの撮影画像を想定すると、その撮影画像を多数に分割した各々の画素から情報を得ることができるので、ｉ番目の画素に対応する被写体の分光反射率分布がρ_i（λ）となる。
【００４０】
前記式（４）を式（８）に代入し、Ｐ^Z（λ）をＰ（Ｔ；λ）と表記し直すと、センサ信号Ｅ_ij ^Z は、下記の式（９）となる。
【００４１】
【数１２】

【００４２】
ここでは、この条件で、光源と被写体の可能な組み合わせを求めるために、未知数の一つである色温度Ｔを固定して被写体の分光反射率を復元する。このため、加重係数α_ikに初期値を与え、式（９）の右辺の積分値がセンサ信号Ｅ_ij ^Z に一致するまで、加重係数α_ikの最適化計算を繰り返した。収束した加重係数α_ikを用いることにより、式（４）から被写体の分光反射率が復元することができる。
【００４３】
この一例を、図８に示す。この例では、センサ信号Ｅ_ij ^Z をＥ_B＝Ｅ_G＝Ｅ_R＝Ｅ_X＝０.６とし、色温度を、Ｔ＝３０００Ｋ，５０００Ｋ，７０００Ｋ，９０００Ｋと変化させている。Ｔ＝３０００Ｋと９０００Ｋでは、分光反射率の一部が反射率１.０を超えており、前述の物理的に矛盾したデータ（反射率異常）になっている。これから、撮影光源の色温度が、３０００Ｋまたは９０００Ｋである可能性は低いということができる。
【００４４】
上述のように、分光反射率の復元データは、色温度の推定に利用することができると考えられる。また、この際に用いる推定に寄与する評価値も、幾つか考えられる。ここでは、その一つとして、分光反射率ρ_i（λ）は０≦ρ_i（λ）≦１.０であるという事実を重視して、分光反射率ρ_i（λ）が１.０を越える程度が強いほど「真の色温度」からのずれが大きいと考えて、式（１０）に示すような評価値ｖを導入した。
【００４５】
【数１３】

【００４６】
この評価値ｖは、色温度Ｔの関数となるが、それを多くの画素について集計したものをＶとする。ここで、Ｖは下記の式（１１）で表わされる。なお、ここで、ρ_i（λ）^maxはρ_i（λ）の最大値を示すものとする。
【００４７】
【数１４】

【００４８】
図９に、上述の色温度の変化に対応する評価値Ｖの変化の模式的な一例を示した。図９は光源種が色温度５０００Ｋの黒体放射光源の場合を示すものであり、図中のＵ字状曲線の底に対応する部分は、前述の、被写体の分光反射率が反射率１.０を超える確率が最も小さい部分と言えるので、これに対応する色温度を、撮影光源の色温度と推定（識別）することができる。
【００４９】
図１０には、光源種が蛍光灯Ｆ１である場合を例示している。蛍光灯を含めた光源種識別を行う場合には、前述の式（１１）の評価値Ｖを黒体放射光源の色温度および蛍光灯光源種の種別（１２種）に対して計算し、Ｕ字状ないしＶ字状の曲線の最小値に対応する色温度もしくは蛍光灯の種類を、撮影光源の光源種と推定する。図１０では、最小値に対応する光源種は、蛍光灯Ｆ１と読み取れる。
【００５０】
図１１は、ここでの光源種の識別動作の流れを示すフローチャートである。なお、ここでは、カラーネガフィルムを濃度測定して、その結果に基づいて撮影光源の種類を識別する場合を例に挙げる。
【００５１】
ステップ１２：事前準備として、ここでは、種々の光源種（前述のように、蛍光灯種別を含む）を仮定し、測定対象カラーネガフィルムについて、加重係数α_ikに任意の４つの数値対を与えることにより分光反射率を復元し（式（４））、式（８）によってＥ_ij ^Z を計算してメモリに蓄積しておく。これを繰り返すことにより、（α_ik対Ｅ_ij ^Z ）のデータ対を構成できる。この計算結果は、テーブル化しておいてもよい。
【００５２】
ステップ１４：実際の動作では、未知の光源種におけるカラーネガフィルムの測光データ（Ｅ_ij ⁰ ）を得て、次の式（１２）に示すように、データＥ_ij ⁰ とセンサ出力値Ｅ_ij ^Z との差ΔＥを最小にする分光反射率（すなわちα_ik）を求める。これは、前述の、蓄積されている多数のＥ_ij ^Z を用いることによって実行できる。
【００５３】
【数１５】

【００５４】
ステップ１６：ΔＥを最小にする分光反射率に対して評価値Ｖを計算し、評価値Ｖの最小値に対応する光源種を撮影光源と推定する。
【００５５】
表１に、３信号系，４信号系の▲１▼（Ｘ１センサを用いた場合），４信号系の▲２▼（Ｘ２センサを用いた場合）とにおける、各種の光源種に対応して評価値Ｖが最小値となった点を示した。
【００５６】
【表１】

【００５７】
この表１は、ある光源種が、本実施形態に係る光源種の識別方法によってどのように識別されたかを、従来の方法、すなわちＲ，Ｇ，Ｂの３センサのみを用いた３信号系の場合との対比の形で示しているものである。光源種が蛍光灯Ｆ１〜Ｆ１２である場合における識別結果の欄を見れば判るように、殆どの光源種が正しく識別されているということを示しているものである。
【００５８】
また、例えば、黒体放射５０００Ｋという色温度が、３信号系の場合（表１中では、３ｃｈ入力と示されている）では４４１９ｋであるのに対して、Ｘ１センサを用いた場合（表１中では、４ｃｈ入力（６４５ｎｍ）と示されている）では４５１０Ｋとなっており、さらに、Ｘ２センサを用いた場合（表１中では、４ｃｈ入力（６７５ｎｍ）と示されている）では、４５４１Ｋとなっている点からも判るように、色温度の推定においても精度が向上する効果が得られている。
【００５９】
すなわち、この、先願に係る光源推定プログラムによれば、第４のセンサを導入したことにより、未知の光源種におけるカラーネガフィルムの測光データ（Ｅ_ij ⁰ ）を得た場合に、そのカラーネガフィルムの撮影に用いられた光源の種別を、蛍光灯の種別までを含めて、適確に識別することが可能になるという効果が得られる。
【００６０】
以下、上述のような光源推定プログラムにより、前述の、Ｒ，Ｇ，Ｂ，Ｘ４つのセンサを用いて識別（推定）した光源種に基づいて、入力画像データを、色バランスの取れた画像として再現する画像形成方法について説明する。
【００６１】
上記光源推定プログラムにより推定（識別）された光源種をＺＥ、再現したい光源種をＺ０とする。上記Ｚ０は、昼光撮影用のフィルムを用いる撮影の場合には、昼光光源で撮影するのが設計に合致し、色バランスの良好な画像が得られる。ここでは、例えば、約５５００Ｋの黒体放射の光源を再現したい光源を、上記Ｚ０とする。
【００６２】
撮影光源Ｚに対応するセンサ出力Ｅｉｊ^Zは、前述の式（８），（９）で与えられ、これも前述の、事前準備ステップ（段落００５１参照）において、種々の光源Ｚ毎にテーブル化されて、メモリに蓄積されているものとする。
【００６３】
また、ここでは、推定された光源種ＺＥに対し、各色分光感度毎のセンサ出力Ｅｉｊ^ZE（ｊ＝Ｒ，Ｇ，Ｂ，Ｘ）が得られるとする。
一方、再現したい光源種Ｚ０に対しては、上述のテーブルを参照することにより、各色分光感度毎のセンサ出力Ｅｉｊ^Z0（ｊ＝Ｒ，Ｇ，Ｂ，Ｘ）が得られるとする。
【００６４】
上述のような状況下で、入力画像中のグレイ部（あるいは、ＬＡＴＤ的に考えた平均的な部分）ｉについて、センサ出力Ｅｉｊ^ZE（ｊ＝Ｒ，Ｇ，Ｂ，Ｘ）がセンサ出力Ｅｉｊ^Z0（ｊ＝Ｒ，Ｇ，Ｂ，Ｘ）となるような係数行列を求める。
【００６５】
【数１６】

【００６６】
より具体的には、下記の通りである。
【数１７】

ここで、係数Ｃは０であってもよい。
【００６７】
また、上式の要素数は、最低で３色でもよく、通常の撮影に利用される、感度がＲ，Ｇ，Ｂの３色の場合には、Ｘの項は考慮しなくてもよい。
係数行列Ａが対角行列であるこの場合は、光源種の違いに合わせて、それぞれの色の分光感度の感度比を調節したことになり、すなわち、グレイのバランスを調整したことになる。
【００６８】
上記変換処理によって、取得画像（すなわち、光源種ＺＥでの画像）から、バランス調整された画像（すなわち、光源種Ｚ０での画像）が計算される。
実際にこれを画像として出力するためには、上記バランス調整された画像の信号に対し、各種の色信号処理等を実施してもよい。
【００６９】
例えば、適正な出力を得るための、装置に依存した色信号変換が例示される。また、上述のバランス調整された画像信号を対数処理して露光濃度として扱い、優れた色再現を有する感光材料によるプリント作製に供するための濃度信号に変換してもよい。なお、これらの適宜の組み合わせも有効である。
【００７０】
また、上述の説明においては、感光材料（カラーネガフィルム）を撮影材料として用いた例を説明したが、本発明はこれに限定されるものではなく、いわゆるデジタルカメラ（ＤＳＣ）の分光感度特性に付いても、全く同様に扱うことが可能である。
【００７１】
前述の変換式では、係数行列Ａが対角行列である場合を説明したが、本発明においては、係数行列Ａが非対角成分を持つような色変換の実施も含まれる（下記式（３）参照）。
【００７２】
【数１８】

【００７３】
このためには、マクベスカラーチェッカに例示される豊富な色を含むデータについて、係数行列Ａ，Ｃを求めればよく、後段の処理は、上記実施例の場合と同様に行えばよい。この場合の効果としては、グレイ部以外の他の色についても色合わせが可能となることが挙げられる。
【００７４】
また、色修正として、ここでは、信号の線形変換を行う場合を例に挙げたが、いわゆる、２次以上の信号成分を考慮した変換行列を用いることなども、本発明に係る画像形成方法の範囲内で実施することが可能である。
さらに、撮影光源の雰囲気を残すために、式（１）で得られたセンサ出力Ｅｉｊ^Z0（ｊ＝Ｒ，Ｇ，Ｂ，Ｘ）と、撮像光源のセンサ出力Ｅｉｊ^ZE（ｊ＝Ｒ，Ｇ，Ｂ，Ｘ）の内分操作を行うことが有効な場合もあり、これも、本発明に係る画像形成方法の範囲内で実施することが可能である。
【００７５】
なお、上記実施形態は本発明の一例を示したものであり、本発明はこれに限定されるものではなく、本発明の要旨を逸脱しない範囲内で、適宜の変更・改良を行ってもよいことはいうまでもないことである。
【００７６】
例えば、前述の色変換処理としては、本出願人の先願に係る特願平９−３３８６３９号「画像処理方法および装置」（特開平１１−１７７８３２号公報参照）、特願平１０−３１１０９０号「色補正方法および装置」（特開２０００−１３７３０５号公報参照）等、各種の処理を適用することが可能である。
【００７７】
【発明の効果】
以上、詳細に説明したように、本発明に係る画像生成方法によれば、光源種識別対象の光源からの反射光の少なくとも一部を用いて、光源種の識別（推定）を行った後に、この推定された光源種と所望（基準）の光源種で得られるセンサ出力から定義される色変換方法に基づいて、画像データの変換を行うようにしたので、撮影光源の種類、すなわち光源種の推定結果に基づく適正な画像処理を施すことを可能とした画像形成方法を実現できるという顕著な効果が得られるものである。
【図面の簡単な説明】
【図１】（ａ）〜（ｄ）は、ＣＩＥに規定される１２種類の蛍光灯（Ｆ１〜Ｆ１２）の概略特性を示す図である。
【図２】色温度Ｔの黒体放射の概念を説明する図である。
【図３】被写体の固有ベクトルの分光分布を例示する図である。
【図４】本発明の原理である光源類似度の指標についての説明図である。
【図５】実施形態に係るＸセンサの分光感度のピーク位置（波長）を変化させた場合の蛍光灯間の平均最小距離の動きを示す説明図である。
【図６】同、蛍光灯と黒体放射光源とを含めた場合の類似度の変化を示す説明図である。
【図７】実施形態において用いたＲ，Ｇ，ＢおよびＸの各センサの分光感度を例示した図である。
【図８】被写体の分光反射率を復元した状況を例示する図である。
【図９】一実施形態における、色温度Ｔと評価値Ｖとの関係を例示する図である。
【図１０】実施形態における、色温度Ｔおよび１２種類の蛍光灯と評価値Ｖとの関係を例示する図である。
【図１１】実施形態における光源種の識別動作の流れを示すフローチャートである。
【符号の説明】
１２，１４，１６ 処理ステップ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image forming method. More specifically, the present invention estimates the type of imaging light source including artificial light sources (for example, 12 types of fluorescent lamps stipulated by CIE), and determines an appropriate image based on the result. The present invention relates to an image forming method capable of performing processing.
[0002]
[Prior art]
The amount of exposure for printing when a film image is printed on a copy-sensitive material such as photographic paper is determined by the amount of light received from the subject when the film is photographed, and is different for each frame. In order to obtain a print with good color reproducibility, it is necessary to correct the printing exposure amount according to the photographing conditions. For this reason, in general, the exposure amount when reproducing a color image from a color original image to a copy light-sensitive material is determined by using a photometric device equipped with a color separation filter composed of a dye filter and a vapor deposition filter. The gray balance is determined by measuring the integrated transmission density of G) and blue (B) light and determining each of the R, G, and B light.
[0003]
However, since the photographic light quality information may change depending on the color feria such as the background and development conditions, the light quality cannot be estimated accurately, and the color reproducibility deteriorates due to the change in the light quality of the subject illumination light. There are things to do. This is because it cannot be determined which position on the photographic film is gray.
The most effective way to detect gray on this photographic film is to estimate the color temperature of the photographic light source.
[0004]
The problem here is that in indoor shooting, shooting under fluorescent lamps is often performed. As is well known, fluorescent lamps differ from other general light sources as described above. This means that the type of light source cannot be estimated properly depending on the color temperature detection.
[0005]
Various proposals have heretofore been made to solve this problem, but a perfect response method has not yet been found (at least it has sufficient accuracy for practical use).
[0006]
[Problems to be solved by the invention]
The present invention has been made in view of the above circumstances, and an object of the present invention is to estimate the type of photographing light source including a fluorescent lamp, that is, the light source type, and to perform appropriate image processing based on the result. An object of the present invention is to provide an image forming method that makes it possible.
[0007]
The present invention proposes a “color temperature estimation method, a color temperature estimation device, and an exposure amount determination method” proposed by Japanese Patent Application No. 6-253656 (see Japanese Patent Application Laid-Open No. 8-122157, hereinafter referred to as a prior application). Using the light source type identification method that makes it possible to identify the type of imaging light source including fluorescent lamps, it is possible to perform appropriate image processing based on the type of imaging light source identified by this method It can be said that.
[0008]
[Means for Solving the Problems]
In order to achieve the above object, an image forming method according to the present invention is an image forming method that reads image data of an input image and applies necessary corrections to the image data, and is generally used as a sensor constituting an imaging system. In addition to sensors having spectral sensitivities corresponding to R, G, B3 colors used for color image analysis, a fourth sensor X having spectral sensitivities that do not overlap with the spectral sensitivities corresponding to the R, G, B3 colors is provided. The light source type is estimated using information obtained from these four R, G, B, and X sensors, and the sensor output obtained from the estimated light source type and the sensor output obtained from the desired light source type are used. The sensor output value obtained by the estimated light source type is used according to the defined color conversion method.
[0009]
Here, as the fourth sensor X, a sensor having an absorption peak at a wavelength longer than 30 nm and 700 nm or less from the absorption peak of the R sensor, or the G sensor and the B sensor. It is possible to use those having an absorption peak in the middle of the region and an absorption peak in the region of 500 nm to 520 nm.
[0010]
Here, in the color conversion method, the sensor output Eij ^ZE corresponding to the estimated light source type is the sensor output Eij ^Z0 corresponding to the reference light source with respect to the gray portion in the input image or a portion equivalent thereto. It is what correct | amends so that it may become.

It is.
[0011]
The sensor output Eij ^ZE → Eij ^Z0 is corrected as follows:
[Expression 4]

It is characterized in that coefficient matrices A and C are obtained as follows.
Here, the coefficient matrix C may be zero.
[0012]
The sensor output Eij ^ZE → Eij ^Z0 is corrected as follows:
[Equation 5]

6. The image forming method according to claim 5, wherein the coefficient matrices A and C are calculated as follows.
Here, the coefficient matrix C may be zero.
[0013]
The sensor output Eij ^ZE → Eij ^Z0 is corrected as follows:
[Formula 6]

It is characterized in that coefficient matrices A and C are obtained as follows.
Here, the coefficient matrix C may be zero.
[0014]
The identification of the light source type using the information obtained from the R, G, B, and X sensors is based on the light source based on the black body radiation whose color temperature is known and the spectrum of the fluorescent lamp in which the spectral energy distribution is defined. A reference value defined by the product sum or integral value of the product of the energy distribution, the spectral sensitivity distribution of the photometric system and the spectral reflectance distribution represented by the linear combination of the four sensor output signal functions determined in advance is obtained. At least a part of the reflected light from the fluorescent lamp type estimation target light source is measured as a signal by each sensor, and a spectral reflectance distribution in which the difference between the reference value and the measured value by each sensor is minimized is a black body radiation light source. For each color temperature and fluorescent lamp type, the sum of the abnormal components whose maximum spectral reflectance calculated here exceeds 1.0 is obtained as an evaluation value, and black corresponding to the minimum value of the evaluation value is obtained. Body radiation source The color temperature or fluorescent lamp type is used as the identification result of the light source type.
[0015]
The image forming method according to the present invention can be configured as a photographic printer incorporating the image forming method.
[0016]
Specifically, the photographic printer to which the image forming method according to the present invention is applied selects, for example, an exposure correction algorithm prepared in advance according to the light source type estimated by the light source type identification device, and based on this A photographic print is obtained by performing exposure with the corrected exposure amount.
[0017]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, after describing a method for estimating a light source type including a fluorescent lamp, which is the basis of an image forming method according to the present invention, an embodiment of the present invention will be described in detail.
The light source type estimation method described below is based on a light source similarity index, and here, in addition to the three sensors provided corresponding to the three primary colors of R, G, and B. A fourth sensor having an absorption peak in an appropriate wavelength range (in the present specification, this is referred to as an X sensor), and using these four sensors R, G, B, and X, The photographic light source is to be estimated from only the sensor signal from the imaging means (color negative film, DSC: digital still camera, etc.) without foreseeing information about the light source and the subject.
[0018]
In the light source type estimation method including the fluorescent lamp described here, the white signal value of reflectance 1.0 is S _b = S _g = S _r = 1 with respect to the black body radiation having the color temperature T = 5500K. The sensor output is adjusted so as to be 0.0, and the exposure amount of the sensor is adjusted so that the white signal G signal is constant (S _g = 1.0) with respect to an arbitrary light source.
Under the above conditions, the white signal value of Macbeth chart No. 19 was determined for 12 types of CIE fluorescent lamps (F1 to F12) and 4 types of black body radiation light sources (T = 3000K, 5000K, 7000K, 9000K). .
[0019]
In addition, here, the color temperature of the light source is estimated based on the above-described signal value, and the above-mentioned 12 types of fluorescent lamps (currently, the above F1 to F12) are to be identified. FIG. 1 shows the general characteristics of the above-described 12 types of fluorescent lamps (F1 to F12) defined by the CIE, and FIG. 2 shows the characteristics of a black body radiation light source having a color temperature T. It is assumed that the spectral reflectance of the subject can be approximated by a weighted sum of eigenvectors (for example, shown in FIG. 3) as shown in the following equation (4).
[0020]
[Expression 7]

[0021]
With this assumption, it is possible to target only the smooth change of the spectral reflectance that seems to be real, while the spectral reflectance of the subject is out of the question (for example, jagged reflectance). . Note that the eigenvectors shown in FIG. 3 are obtained by principal component analysis of 24 colors of Macbeth chart.
[0022]
Now, with respect to the above-mentioned light source similarity index, the following equation (5) is used as an index as to whether or not the sensor signal value of another light source is close to this, based on the sensor signal value of a certain light source. Let Δ _b , Δ _r , and Δ _x be used.
[0023]
[Equation 8]

[0024]
During the above equation _{(5), Δ b, Δ} r, Δ x sensor signal of the reference light source ^{_{(Δ b 0, Δ r 0}} , Δ x 0) and other light sources of the sensor signal (Δ _b, Δ _r, Δ _x ) is the logarithmic signal difference. As an example, FIG. 4 shows a plot of Δ _b and Δ _r (3-signal system) when the CIE fluorescent lamp F8 is used as a reference light source.
[0025]
In FIG. 4, the origin is the reference CIE fluorescent lamp F8, and the greater the distance from the origin, the smaller the similarity between the reference light source (F8) and the other light sources.
The 4 signal system, applied in the vertical direction component delta _x in the plane of FIG. Based on the distance L from the origin in the three-dimensional space, the similarity between the reference light source (F8) and other light sources in the four-signal system (see the following formula (6)) can be evaluated.
[0026]
[Equation 9]

[0027]
A subscript is added to L in Equation (6) to denote Li (j), which indicates the distance from another light source j when the reference light source is i. For example, if the reference light source and the other light source are both CIE fluorescent lamps (12 types), 11 Li (j) exist for each reference light source. Therefore, the minimum value among the 11 is L (i) _min, and L _min is calculated by the following equation (7).
[0028]
[Expression 10]

[0029]
Here, L _min is the average minimum distance between the 12 types of CIE fluorescent lamps, and the smaller this value, the greater the degree of similarity between the fluorescent lamps, and the more likely to be misidentified.
[0030]
FIG. 5 shows the movement of the average minimum distance L _min between the 12 types of CIE fluorescent lamps when the spectral sensitivity peak position (wavelength) of the X sensor (fourth sensor) is changed. As shown in FIG. 5, it can be seen that the L _min is maximized in the vicinity of the X sensor peak wavelength of 675 nm. That is, in order to avoid misidentifying the CIE fluorescent lamps (12 types) as much as possible, the peak wavelength of the fourth sensor should be set to around 675 nm.
[0031]
Further, the similarity between the fluorescent lamp and the black body radiation source is also shown in FIG. From the results shown in FIG. 6, it can be seen that as the peak position of the spectral sensitivity of the fourth sensor becomes longer, the average minimum distance _Lmin becomes larger, and misidentification between the fluorescent lamp and the blackbody radiation source is less likely to occur.
[0032]
From the above results, it can be said that it is optimal to set the peak position of the spectral sensitivity of the fourth sensor around 680 nm.
FIG. 7 summarizes the spectral sensitivity characteristics of each sensor in this case.
[0033]
This will be described in detail below.
Here, as the light source data, 12 types of CIE fluorescent lamps and 4 types of black body radiation light sources (both described above) were used, and the light source estimation program shown in the previous application was used. The sensor spectral sensitivity pairs were compared for three signal systems, four signal systems (X sensor peak wavelength 645 nm), and four signal systems (X sensor peak wavelength 675 nm).
[0034]
In addition, the light source estimation program according to the prior application described above is simply assumed that the input image is created under a certain light source (virtual light source), and the spectral reflectance of each pixel is assumed. If the virtual light source is different from the light source actually used for shooting (referred to as the “real-shot light source”), an abnormality (exceeding a reflectance of 1.0) is observed in the spectral reflectance. The light source that minimizes the reflectance anomaly is estimated as a real light source.
[0035]
Here, in addition to the three sensors (corresponding to the three-signal system) provided corresponding to the three primary colors of R, G, and B, the fourth sensor is 645 nm ((1) in the case of the four-signal system), Sensors having an absorption peak are arranged at 680 nm (2 in the case of a four-signal system), and these sensors are used.
[0036]
In general, the sensor output signal E _ij ^Z when a subject illuminated with a black body radiation source having a certain color temperature or a certain type of fluorescent lamp is photographed can be expressed by the following equation (8). Here, Z indicates a black body radiation source having a color temperature T or a kind of fluorescent lamp.
[0037]
## EQU11 ##

[0038]
Here, the sensor signal E _ij ^Z is an integrated value including two unknown variables P ^Z (λ) and ρ _i (λ), and P ^Z (λ) and ρ _i (giving the sensor signal E _ij ^Z ). Many possible combinations of λ) are possible. Therefore, in general, it is impossible to specify the light source P ^Z (λ), but it is considered that there are many possible combinations that are not mathematically contradictory but physically contradictory. If they are excluded, the light source can be estimated within a certain accuracy.
[0039]
Note that _{i in} the spectral reflectance distribution ρ _i (λ) of the subject in the above formula (8) is determined by the information form for obtaining data. That is, assuming a photographed image when a subject is photographed, information can be obtained from each pixel obtained by dividing the photographed image into a large number, so that the spectral reflectance distribution of the subject corresponding to the i-th pixel is ρ _i. (Λ).
[0040]
When the equation (4) is substituted into the equation (8) and P ^Z (λ) is rewritten as P (T; λ), the sensor signal E _ij ^Z becomes the following equation (9).
[0041]
[Expression 12]

[0042]
Here, in order to obtain possible combinations of the light source and the subject under this condition, the color temperature T, which is one of the unknowns, is fixed and the spectral reflectance of the subject is restored. Thus, it is given an initial value to a weighting factor alpha _ik, until the integral value of the right side of the equation (9) matches the sensor signal E _ij ^Z, repeated optimization calculation of the weighting coefficients alpha _ik. By using the converged weighting coefficient α _ik , the spectral reflectance of the subject can be restored from the equation (4).
[0043]
An example of this is shown in FIG. In this example, the sensor signal E _ij ^{Z is set} to E _B = E _G = E _R = E _X = 0.6, and the color temperature is changed to T = 3000K, 5000K, 7000K, and 9000K. At T = 3000K and 9000K, a part of the spectral reflectance exceeds the reflectance of 1.0, which is the physically inconsistent data (reflectance abnormality) described above. From this, it can be said that the possibility that the color temperature of the photographing light source is 3000K or 9000K is low.
[0044]
As described above, it is considered that the spectral reflectance restoration data can be used for estimating the color temperature. Several evaluation values that contribute to the estimation used at this time are also conceivable. Here, as one of them, emphasizing the fact that the spectral reflectance ρ _i (λ) is 0 ≦ ρ _i (λ) ≦ 1.0, the spectral reflectance ρ _i (λ) is set to 1.0. Considering that the deviation from the “true color temperature” increases as the degree of excess increases, an evaluation value v as shown in Expression (10) is introduced.
[0045]
[Formula 13]

[0046]
This evaluation value v is a function of the color temperature T, and V is a summation of many pixels. Here, V is represented by the following formula (11). Here, ρ _i (λ) ^max represents the maximum value of ρ _i (λ).
[0047]
[Expression 14]

[0048]
FIG. 9 shows a schematic example of a change in the evaluation value V corresponding to the change in the color temperature described above. FIG. 9 shows a case where the light source type is a black body radiation light source having a color temperature of 5000 K. In the portion corresponding to the bottom of the U-shaped curve in the figure, the above-described spectral reflectance of the subject has a reflectance of 1. Since it can be said that the probability of exceeding 0 is the smallest, the color temperature corresponding to this can be estimated (identified) as the color temperature of the imaging light source.
[0049]
FIG. 10 illustrates a case where the light source type is the fluorescent lamp F1. When identifying the light source type including the fluorescent lamp, the evaluation value V of the above-described equation (11) is calculated with respect to the color temperature of the black body radiation light source and the type (12 types) of the fluorescent light source type. The color temperature or fluorescent lamp type corresponding to the minimum value of the letter-shaped or V-shaped curve is estimated as the light source type of the photographing light source. In FIG. 10, the light source type corresponding to the minimum value can be read as the fluorescent lamp F1.
[0050]
FIG. 11 is a flowchart showing the flow of the light source type identification operation here. Here, an example is given in which the density of a color negative film is measured, and the type of photographing light source is identified based on the result.
[0051]
Step 12: As a preparatory step, here, assuming various light source types (including the type of fluorescent light as described above), for the color negative film to be measured, give arbitrary four numerical pairs to the weighting coefficient α _ik The spectral reflectance is restored by (Equation (4)), and E _ij ^Z is calculated by Equation (8) and stored in the memory. By repeating this, a data pair of (α _ik vs. E _ij ^Z ) can be constructed. The calculation results may be tabulated.
[0052]
Step 14: In actual operation, photometric data (E _ij ⁰ ) of a color negative film for an unknown light source type is obtained, and data E _ij ⁰ and sensor output value E _ij ^Z are obtained as shown in the following equation (12). Spectral reflectance (ie, α _ik ) that minimizes the difference ΔE between the two is obtained. This can be done by using the large number of stored E _ij ^Z as described above.
[0053]
[Expression 15]

[0054]
Step 16: An evaluation value V is calculated for the spectral reflectance that minimizes ΔE, and a light source type corresponding to the minimum value of the evaluation value V is estimated as an imaging light source.
[0055]
Table 1 shows the correspondence to various light source types in (3) and (4) signal system (1) (when using X1 sensor) and (4) signal system (2) (when using X2 sensor). The point at which the evaluation value V became the minimum value is shown.
[0056]
[Table 1]

[0057]
This table 1 shows how a certain light source type is identified by the light source type identification method according to the present embodiment, in a conventional method, that is, a three-signal system using only three sensors of R, G, and B. It is shown in the form of contrast with the case. As can be seen from the identification result column when the light source types are fluorescent lamps F1 to F12, this indicates that most of the light source types are correctly identified.
[0058]
Also, for example, the color temperature of black body radiation 5000K is 4419k in the case of a three-signal system (shown as 3ch input in Table 1), whereas when the X1 sensor is used (Table 1). In the case of 4ch input (indicated as 645nm), it is 4510K, and in the case of using the X2 sensor (indicated in Table 1 as 4ch input (675nm)), it is 4541K. As can be seen from the above, the effect of improving the accuracy is also obtained in the estimation of the color temperature.
[0059]
That is, according to the light source estimation program according to the prior application, when the photometric data (E _ij ⁰ ) of a color negative film for an unknown light source type is obtained by introducing the fourth sensor, the color negative film There is an effect that it is possible to accurately identify the type of the light source used for photographing including the type of the fluorescent lamp.
[0060]
The input image data is reproduced as a color balanced image based on the light source type identified (estimated) using the above-described four R, G, B, and X sensors by the light source estimation program as described above. An image forming method will be described.
[0061]
The light source type estimated (identified) by the light source estimation program is ZE, and the light source type to be reproduced is Z0. In the case of shooting using a film for daylight shooting, Z0 matches the design of shooting with a daylight light source, and an image with a good color balance can be obtained. Here, for example, a light source that is desired to reproduce a light source of about 5500K blackbody radiation is referred to as Z0.
[0062]
The sensor output Eij ^Z corresponding to the photographic light source Z is given by the above-described equations (8) and (9), and this is also tabulated for each of the various light sources Z in the above-mentioned preparatory step (see paragraph 0051). And stored in the memory.
[0063]
Here, it is assumed that sensor outputs Eij ^ZE (j = R, G, B, X) for each color spectral sensitivity are obtained for the estimated light source type ZE.
On the other hand, for the light source type Z0 to be reproduced, the sensor output Eij ^Z0 (j = R, G, B, X) for each color spectral sensitivity is obtained by referring to the above table.
[0064]
Under the above situation, the sensor output Eij ^ZE (j = R, G, B, X) becomes the sensor output Eij ^{Z0 for} the gray portion (or the average portion considered in LATD) i in the input image. A coefficient matrix such that (j = R, G, B, X) is obtained.
[0065]
[Expression 16]

[0066]
More specifically, it is as follows.
[Expression 17]

Here, the coefficient C may be zero.
[0067]
The number of elements in the above equation may be at least three colors. If the sensitivity is three colors of R, G, and B that are used for normal photographing, the term of X need not be considered.
In this case, where the coefficient matrix A is a diagonal matrix, the sensitivity ratio of the spectral sensitivities of the respective colors is adjusted according to the difference in the type of light source, that is, the gray balance is adjusted.
[0068]
By the conversion process, a balance-adjusted image (that is, the image with the light source type Z0) is calculated from the acquired image (that is, the image with the light source type ZE).
In order to actually output this as an image, various color signal processing or the like may be performed on the signal of the balance-adjusted image.
[0069]
For example, device-dependent color signal conversion for obtaining an appropriate output is exemplified. Also, the above-balanced image signal may be logarithmically processed and treated as an exposure density, and converted to a density signal for use in printing with a photosensitive material having excellent color reproduction. An appropriate combination of these is also effective.
[0070]
In the above description, an example in which a photosensitive material (color negative film) is used as a photographing material has been described. However, the present invention is not limited to this, and is attached to the spectral sensitivity characteristics of a so-called digital camera (DSC). However, it can be handled in exactly the same way.
[0071]
In the above conversion formula, the case where the coefficient matrix A is a diagonal matrix has been described. However, the present invention also includes color conversion in which the coefficient matrix A has a non-diagonal component (the following formula (3) )reference).
[0072]
[Expression 18]

[0073]
For this purpose, the coefficient matrices A and C may be obtained for data including abundant colors exemplified by the Macbeth color checker, and the subsequent processing may be performed in the same manner as in the above embodiment. As an effect in this case, it is possible to perform color matching for colors other than the gray portion.
[0074]
Further, here, as an example of color correction, a case where linear conversion of a signal is performed has been described as an example. It is possible to implement within the range.
Further, in order to leave the atmosphere of the imaging light source, the sensor output Eij ^Z0 (j = R, G, B, X) obtained by the expression (1) and the sensor output Eij ^ZE (j = R, G, X) of the imaging light source are obtained. B, X) may be effective in some cases, and this can also be carried out within the scope of the image forming method according to the present invention.
[0075]
The above embodiment shows an example of the present invention, and the present invention is not limited to this, and appropriate changes and improvements may be made without departing from the scope of the present invention. It goes without saying.
[0076]
For example, as the above-described color conversion processing, Japanese Patent Application No. 9-338639 “Image Processing Method and Apparatus” (Japanese Patent Application Laid-Open No. 11-177732) and Japanese Patent Application No. 10-311090 related to the prior application of the present applicant. Various processes such as “color correction method and apparatus” (see JP 2000-137305 A) can be applied.
[0077]
【The invention's effect】
As described above in detail, according to the image generation method according to the present invention, after performing identification (estimation) of the light source type using at least a part of the reflected light from the light source of the light source type identification target, Since the image data conversion is performed based on the color conversion method defined from the sensor output obtained from the estimated light source type and the desired (reference) light source type, the type of photographing light source, that is, the light source type It is possible to obtain a remarkable effect that it is possible to realize an image forming method capable of performing appropriate image processing based on the estimation result.
[Brief description of the drawings]
FIGS. 1A to 1D are diagrams showing schematic characteristics of 12 types of fluorescent lamps (F1 to F12) defined by CIE.
FIG. 2 is a diagram for explaining the concept of black body radiation at a color temperature T;
FIG. 3 is a diagram illustrating a spectral distribution of an eigenvector of a subject.
FIG. 4 is an explanatory diagram of a light source similarity index that is the principle of the present invention.
FIG. 5 is an explanatory diagram showing the movement of the average minimum distance between fluorescent lamps when the peak position (wavelength) of the spectral sensitivity of the X sensor according to the embodiment is changed.
FIG. 6 is an explanatory diagram showing a change in similarity when a fluorescent lamp and a black body light source are included.
FIG. 7 is a diagram illustrating spectral sensitivities of R, G, B, and X sensors used in the embodiment.
FIG. 8 is a diagram illustrating a situation where the spectral reflectance of a subject is restored.
FIG. 9 is a diagram illustrating a relationship between a color temperature T and an evaluation value V in an embodiment.
FIG. 10 is a diagram illustrating the relationship between a color temperature T, 12 types of fluorescent lamps, and an evaluation value V in the embodiment.
FIG. 11 is a flowchart showing a flow of a light source type identification operation in the embodiment.
[Explanation of symbols]
12, 14, 16 processing steps

Claims (7)

入力画像の画像データを読み取って、これに必要な補正を加える画像形成方法であって、
撮像系を構成するセンサとして、一般的なカラー画像の解析に用いられるＲ，Ｇ，Ｂ３色に対応する分光感度を有するセンサに加えて、前記Ｒ，Ｇ，Ｂ３色に対応する分光感度と重複しない分光感度を有する第４のセンサＸを配して、
これらＲ，Ｇ，Ｂ，Ｘ４つのセンサから得た情報を用いて光源種を推定し、
上記推定された光源種で得られるセンサ出力と所望の光源種で得られるセンサ出力とから定義される色変換方法により、上記推定された光源種で得られるセンサ出力値を用いることを特徴とする画像形成方法。An image forming method for reading image data of an input image and adding necessary corrections thereto,
In addition to sensors having spectral sensitivities corresponding to R, G, B3 colors used for general color image analysis as sensors constituting the imaging system, they overlap with the spectral sensitivities corresponding to the R, G, B3 colors. A fourth sensor X having a spectral sensitivity that is not
Using the information obtained from these four R, G, B, and X sensors, the light source type is estimated,
A sensor output value obtained with the estimated light source type is used by a color conversion method defined by a sensor output obtained with the estimated light source type and a sensor output obtained with a desired light source type. Image forming method. 前記第４のセンサＸとして、前記Ｒセンサの有する吸収のピークよりも３０ｎｍ以上長波側で、かつ、７００ｎｍ以下の領域に吸収のピークを有するものを用いることを特徴とする請求項１に記載の画像形成方法。2. The sensor according to claim 1, wherein the fourth sensor X is one having an absorption peak in a region longer than 30 nm and 700 nm or less than the absorption peak of the R sensor. Image forming method. 前記第４のセンサＸとして、前記ＧセンサとＢセンサの中間に吸収のピークを有し、かつ、５００ｎｍ〜５２０ｎｍの領域に吸収のピークを有するものを用いることを特徴とする請求項１に記載の画像形成方法。2. The sensor having an absorption peak in the middle of the G sensor and the B sensor and having an absorption peak in a region of 500 nm to 520 nm is used as the fourth sensor X. Image forming method. 前記色変換方法は、前記入力画像中のグレイ部分もしくはこれに準ずる部分に関し、その推定された光源種に対応するセンサ出力Ｅｉｊ^ZEが、基準光源に対応するセンサ出力Ｅｉｊ^Z0となるように補正するものであることを特徴とする請求項１〜３のいずれか１項に記載の画像形成方法。

The color conversion method corrects the sensor output Eij ^ZE corresponding to the estimated light source type to the sensor output Eij ^Z0 corresponding to the reference light source with respect to the gray portion in the input image or a portion equivalent thereto. The image forming method according to claim 1, wherein the image forming method is one.

前記センサ出力Ｅｉｊ^ZE→Ｅｉｊ^Z0の補正は、

となるような係数行列Ａ，Ｃを求めるものであることを特徴とする請求項４に記載の画像形成方法。
ここで、係数行列Ｃは０であってもよい。The sensor output Eij ^ZE → Eij ^Z0 is corrected as follows:

5. The image forming method according to claim 4, wherein the coefficient matrices A and C are calculated as follows.
Here, the coefficient matrix C may be zero. 前記センサ出力Ｅｉｊ^ZE→Ｅｉｊ^Z0の補正は、

となるような係数行列Ａ，Ｃを求めるものであることを特徴とする請求項５に記載の画像形成方法。
ここで、係数行列Ｃは０であってもよい。The sensor output Eij ^ZE → Eij ^Z0 is corrected as follows:

6. The image forming method according to claim 5, wherein the coefficient matrices A and C are calculated as follows.
Here, the coefficient matrix C may be zero. 前記センサ出力Ｅｉｊ^ZE→Ｅｉｊ^Z0の補正は、

となるような係数行列Ａ，Ｃを求めるものであることを特徴とする請求項５に記載の画像形成方法。
ここで、係数行列Ｃは０であってもよい。The sensor output Eij ^ZE → Eij ^Z0 is corrected as follows:

6. The image forming method according to claim 5, wherein the coefficient matrices A and C are calculated as follows.
Here, the coefficient matrix C may be zero.

Images