JP3903083B2 - 画像処理装置、方法及び記録媒体 - Google Patents
画像処理装置、方法及び記録媒体 Download PDFInfo
- Publication number
- JP3903083B2 JP3903083B2 JP06496299A JP6496299A JP3903083B2 JP 3903083 B2 JP3903083 B2 JP 3903083B2 JP 06496299 A JP06496299 A JP 06496299A JP 6496299 A JP6496299 A JP 6496299A JP 3903083 B2 JP3903083 B2 JP 3903083B2
- Authority
- JP
- Japan
- Prior art keywords
- color
- image
- highlight
- original image
- light source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/6027—Correction or control of colour gradation or colour contrast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/40—Picture signal circuits
- H04N1/40056—Circuits for driving or energising particular reading heads or original illumination means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/40—Picture signal circuits
- H04N1/407—Control or modification of tonal gradation or of extreme levels, e.g. background level
- H04N1/4072—Control or modification of tonal gradation or of extreme levels, e.g. background level dependent on the contents of the original
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Control Of Exposure In Printing And Copying (AREA)
- Processing Of Color Television Signals (AREA)
- Color Image Communication Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は画像処理装置、方法及び記録媒体に係り、特に、被写体が撮影記録されることで形成された原画像を表す画像データに対し、少なくとも被写体の撮影記録時の光源に起因する原画像の色バランス偏倚を補正する画像処理方法、該画像処理方法を適用可能な画像処理装置、及びコンピュータを前記画像処理装置として機能させるためのプログラムが記録された記録媒体に関する。
【０００２】
【従来の技術及び発明が解決しようとする課題】
カメラ等によって被写体が撮影記録された写真フィルムに対して現像等の処理を行うことで写真フィルム上に可視化される画像（写真フィルムに撮影記録された画像）の色バランスは、写真フィルムそのものの特性や現像処理における処理条件等（以下、これらをフィルム特性と総称する）の影響を受け、撮影時の被写体の色バランスに対して偏倚している。このため、写真フィルムに撮影記録された画像を印画紙等の記録材料に記録したり、ディスプレイ等の表示手段に表示するにあたっては、記録材料に記録される画像や表示手段に表示される画像（以下、これらを出力画像と総称する）の色バランスが撮影時の被写体の色バランスに一致するように（撮影時の被写体のグレーの部分が出力画像上でグレーとして再現されるように）出力画像の色バランスを補正する必要がある。
【０００３】
出力画像の色バランス補正方法の一例として、写真フィルムに撮影記録された画像（原画像）のハイライトに相当する画素（例えばネガ画像では最大濃度の画素、ポジ画像では最小濃度の画素）の色を白、原画像のシャドーに相当する画素（例えばネガ画像では最小濃度の画素、ポジ画像では最大濃度の画素）の色を黒と仮定して、撮影時の被写体のグレー部分の原画像上での色バランスを表すグレーバランスを推定し、推定したグレーバランスを基準として出力画像の色バランスを補正する方法が知られている。この方法では、原画像からハイライトに相当する画素及びシャドーに相当する画素を各々抽出し、グレーバランスを表すグレー軸として、例えばＲＧＢ濃度座標上での双方の画素に対応する点を直線で結んだ軸を求めている。
【０００４】
しかし、上記の補正方法では、例えばストロボを使用して人物を撮影した画像において人物の顔の頬の部分（肌色の部分）がハイライトとなっている等のように、原画像中のハイライトに相当する画素の色が白でない場合に、適正なグレーバランスを表すグレー軸を求めることができず（シャドーについても同様）、出力画像の色バランスが前記ハイライトに相当する画素の色の補色の色に偏倚する（ハイライトフェリアという）。上記のようなハイライトフェリアの生じ易い原画像の出現頻度は比較的高く、適正な色バランスの出力画像が得られる確率が低いという問題があった。
【０００５】
また、エバンスの理論に基づき、各成分色（例えばＲ，Ｇ，Ｂ）毎のＬＡＴＤ（積算透過濃度）が一定の画像を、色バランスが撮影時の被写体の色バランスに一致している画像（グレーバランスがとれている画像）とみなし、原画像の各成分色（例えばＲ，Ｇ，Ｂ）毎のＬＡＴＤ（積算透過濃度）を測定し、出力画像の各成分色毎のＬＡＴＤが一定となるように出力画像の色バランスを補正する方法も知られている。
【０００６】
しかし、上記の補正方法では非グレーかつ略一定の色相の領域（例えば緑の芝生や青い空・海に対応する領域等）が原画像中の比較的広い面積を占めていた場合に、出力画像の各成分色毎のＬＡＴＤが一定となるように補正することで、出力画像の色バランスが前記領域の色の補色の色に偏倚する（カラーフェリアという）。上記のようなカラーフェリアの生じ易い原画像の出現頻度も比較的高いので、前述した補正方法と同様に適正な色バランスの出力画像が得られる確率が低いという問題があった。
【０００７】
また、特開平９−８３８２５号公報には、原画像を表す画像データＤＲ，ＤＧ，ＤＢから低彩度画素に関する画像データＤＲ’，ＤＧ’，ＤＢ’を取得し、画像データＤＲ’，ＤＧ’，ＤＢ’の各々におけるシャドー点ＤＲｓ，ＤＧｓ，ＤＢｓ及びハイライト点ＤＲｈ，ＤＧｈ，ＤＢｈを求め、画素毎に対応している画像データの組（ＤＲ’，ＤＧ’）の一方の同一値毎に他方を平均してなる画像データ（ＤＲ”，ＤＧ”）の集合を求め、画像データ（ＤＲ”，ＤＧ”）の集合とシャドー点（ＤＲｓ，ＤＧｓ）及びハイライト点（ＤＲｈ，ＤＧｈ）からこれら２色の濃度間の関係を求め、この関係に基づいて画像データＤＲとＤＧの少なくとも一方をその全域に亘って他方と等しくなるように線形変換する技術が開示されている。
【０００８】
上記公報に記載の技術では、原画像を表す画像データから高彩度の画素のデータを演算対象から除外することで、原画像がカラーフェリアの生じ易い画像であった場合の影響を軽減しようとしており、高彩度の画素に加え、該高彩度の画素に隣接しかつ前記高彩度画素との色相差が所定値以内の画素も演算対象から除外している。しかし、実際にはカラーフェリアの生じ易い原画像に対して上記処理を行ったとしても、原画像中の比較的広い面積を占めている非グレーかつ略一定の色相の領域の画素のうち、演算対象から除外されずに残っている画素も多い。従って、原画像がカラーフェリアの生じ易い画像であった場合、出力画像に対する色バランスの補正精度が充分でないという問題があった。
【０００９】
また、蛍光灯やタングステン灯等のような異種光源で照明されたシーンを写真フィルムに撮影記録することで得られる画像（異種光源シーンの画像）の色バランスは、前記異種光源による照明光の分光分布が昼光等の一般的な光源の分光分布と大きく相違していることの影響を受け、被写体本来の色バランス（昼光等の一般的な光源で照明したときの色バランス）に対して特定の色に偏倚することが知られている。異種光源シーンの画像は、前述のハイライトフェリアの生じ易い画像と同様に、原画像中のハイライトに相当する画素の色が白以外の色（光源種に応じた特定の色）になる。
【００１０】
しかし、異種光源シーンの画像から適正な色バランスの出力画像（被写体が本来の色バランスで再現された出力画像）を得るためには、ハイライトに相当する画素の色を白（グレイ）とみなして色バランスを補正する必要があるのに対し、ハイライトフェリアの生じ易い画像から適正な色バランスの出力画像を得るためには、ハイライトに相当する画素の色が保存されるように（ハイライトに相当する画素の色を非グレイとみなして）色バランスを補正する必要があり、色バランスの適正な補正方向が全く異なっている。
【００１１】
従来の色バランス補正では上記について何ら考慮されておらず、原画像の画像内容（カラーフェリアの生じ易い画像か否か、ハイライトフェリアの生じ易い画像か否か等）に拘わらずフィルム特性による原画像の色バランス偏倚を高精度に補正することと、撮影時の光源に起因する原画像の色バランス偏倚を高精度に補正することの双方を満足する色バランス補正は見当たらない。
【００１２】
また、上述した従来の色バランス補正に関する問題は、デジタルスチルカメラによって被写体が撮影記録されて成る原画像（被写体が撮影されることで画像データとして情報記録媒体に記録された原画像）に対して色バランス補正を行う場合にも共通する問題である。すなわち、デジタルスチルカメラによって被写体が撮影されることで情報記録媒体に記録された画像データが表す原画像の色バランスは、デジタルカメラの光電変換素子の特性の影響を受けて撮影時の被写体の色バランスに対して偏倚すると共に、撮影時の光源の影響を受けて被写体本来の色バランスに対して偏倚する。
【００１３】
本発明は上記事実を考慮して成されたもので、撮影記録時の光源に起因する原画像の色バランス偏倚を高精度に補正することができる画像処理装置を得ることが第１の目的である。
【００１４】
また本発明は、被写体が撮影記録されて成る原画像に対し、撮影記録特性に起因する色バランスの偏倚、及び撮影記録時の光源に起因する色バランス偏倚を各々高精度に補正することができる画像処理装置、方法及び記録媒体を得ることが第２の目的である。
【００１５】
【課題を解決するための手段】
第１の目的を達成するために請求項１記載の発明に係る画像処理装置は、被写体が撮影記録されることで形成された原画像を表す画像データに基づいて、原画像中のハイライト部の色を表すハイライト色ベクトル、及び、前記ハイライト色ベクトルと原画像を構成する各要素の色を表す色ベクトルとの成す角度の余弦を求める演算手段と、前記演算手段によって求められた前記ハイライト色ベクトル及び前記角度の余弦の最小値に基づき、前記被写体の撮影記録時の光源に起因する原画像の色バランス偏倚度を、前記ハイライト色ベクトルの大きさが第１所定値未満又は前記角度の余弦の最小値が第２所定値未満のときには前記光源に起因する色バランス偏倚度が０となり、前記ハイライト色ベクトルの大きさが第１所定値以上かつ前記角度の余弦の最小値が第２所定値以上のときに、前記角度の余弦の最小値が大きくなるに従って前記光源に起因する色バランス偏倚度が増大すると共に、前記ハイライト色ベクトルの大きさが大きくなるに従って前記光源に起因する色バランス偏倚度が増大するように設定する設定手段と、前記設定手段によって設定された前記光源に起因する色バランス偏倚度に基づき、前記ハイライト部の色に応じて画像データの色バランスを補正する補正手段と、を含んで構成されている。
【００１６】
被写体が撮影記録されることで形成される原画像（カメラによって被写体が撮影記録された写真フィルムに対して現像等の処理を行うことで写真フィルム上に可視化される画像（写真フィルムに撮影記録された画像）、或いはデジタルスチルカメラによって被写体が撮影されることで情報記録媒体に記録された画像データが表す画像（デジタルスチルカメラによって撮影記録された画像))は、被写体の撮影記録時の光源が異種光源であった場合に該光源の影響を受けて色バランスが偏倚するが、本願発明者は、このとき原画像中のハイライト部の色が、光源種に対応する特定の色相かつ高彩度の色になると共に、原画像中の非ハイライト部の色についても、前記特定の色相を帯びた色になることに着目して請求項１の発明を成すに至った。
【００１７】
上記に基づき請求項１記載の発明に係る演算手段は、原画像を表す画像データ（写真フィルムに撮影記録された画像を読み取ることで得られた画像データ、或いはデジタルスチルカメラによって情報記録媒体に記録された画像データ（撮影記録された画像を表す画像データ))に基づいて、原画像中のハイライト部の色を表すハイライト色ベクトル、及び、前記ハイライト色ベクトルと原画像を構成する各要素（単一の画素であっても複数の画素から成る画素群であってもよい）の色を表す色ベクトルとの成す角度の余弦を求め（原画像の非ハイライト部に対応する各要素についてのみ前記角度の余弦を求めてもよいし、原画像の全領域に対応する要素について各々前記角度の余弦を求めてもよい）、設定手段は、ハイライト色ベクトル及び角度の余弦の最小値に基づき、被写体の撮影記録時の光源に起因する原画像の色バランス偏倚度を、ハイライト色ベクトルの大きさが第１所定値未満又は前記角度の余弦の最小値が第２所定値未満のときには光源に起因する色バランス偏倚度が０となり、ハイライト色ベクトルの大きさが第１所定値以上かつ前記角度の余弦の最小値が第２所定値以上のときに、前記角度の余弦の最小値が大きくなるに従って光源に起因する色バランス偏倚度が増大すると共に、ハイライト色ベクトルの大きさが大きくなるに従って光源に起因する色バランス偏倚度が増大するように設定する。
【００１９】
上記のように原画像中のハイライト部の色を表すハイライト色ベクトル、及び、ハイライト色ベクトルと原画像を構成する各要素の色を表す色ベクトルとの成す角度の余弦を用いることで、設定手段は、被写体の撮影記録時の光源に起因する原画像の色バランス偏倚度が正確に反映されるように、光源に起因する色バランス偏倚度を設定することができる。そして補正手段は、設定手段によって設定された光源に起因する色バランス偏倚度に基づき、原画像中のハイライト部の色に応じて画像データの色バランスを補正するので、撮影記録時の光源に起因する原画像の色バランス偏倚を高精度に補正することができる。
【００２０】
第２の目的を達成するために請求項２記載の発明に係る画像処理装置は、一定の条件で被写体が撮影記録されて成る複数の原画像の画像データに基づいて処理対象の原画像におけるグレーバランスを推定し、推定したグレーバランスを基準として処理対象の原画像の画像データを規格化する規格化手段と、処理対象の原画像の画像データに基づいて、処理対象の原画像中のハイライト部の色を表すハイライト色ベクトル、及び、前記ハイライト色ベクトルと原画像を構成する各要素の色を表す色ベクトルとの成す角度の余弦を求める演算手段と、前記演算手段によって求められた前記ハイライト色ベクトル及び前記角度の余弦の最小値に基づき、前記被写体の撮影記録時の光源に起因する処理対象の原画像の色バランス偏倚度を、前記ハイライト色ベクトルの大きさが第１所定値未満又は前記角度の余弦の最小値が第２所定値未満のときには前記光源に起因する色バランス偏倚度が０となり、前記ハイライト色ベクトルの大きさが第１所定値以上かつ前記角度の余弦の最小値が第２所定値以上のときに、前記角度の余弦の最小値が大きくなるに従って前記光源に起因する色バランス偏倚度が増大すると共に、前記ハイライト色ベクトルの大きさが大きくなるに従って前記光源に起因する色バランス偏倚度が増大するように設定する設定手段と、前記設定手段によって設定された前記光源に起因する色バランス偏倚度に基づき、前記ハイライト部の色に応じて処理対象の原画像の画像データの色バランスを補正する補正手段と、を含んで構成されている。
【００２１】
請求項２記載の発明に係る規格化手段は、一定の条件（例えばカメラによって同一の写真フィルムに撮影記録された、デジタルスチルカメラによって同一の情報記録媒体に画像データが記録された、或いは同一のデジタルスチルカメラによって撮影記録された等）で被写体が撮影記録されて成る複数の原画像の画像データに基づいて処理対象の原画像におけるグレーバランスを推定し、推定したグレーバランスを基準として処理対象の原画像の画像データを規格化する。上記のように、複数の原画像の画像データを用いることで、例えば処理対象の原画像、或いは複数の原画像のうちの一部の原画像がカラーフェリアの生じ易い画像やハイライトフェリアの生じ易い画像であったとしても、複数の原画像全体では個々の原画像の画像内容のばらつきが平均化され、複数の原画像についての撮影記録特性を精度良く推定できる。
【００２２】
なお本発明において、撮影記録特性は被写体の各成分色毎の濃度（又は輝度）と画像データ上での各成分色毎の濃度との関係を表す特性を意味し、前記関係に応じて変動するグレーバランスを表している。この撮影記録特性は、カメラによって写真フィルムに画像を撮影記録する態様においてはフィルム特性、デジタルスチルカメラによって情報記録媒体に画像データを記録する態様においては光電変換素子の特性等に応じて定まる。
【００２３】
複数の原画像は一定の条件で撮影記録されているので、撮影記録特性も同一又は類似しており、複数の原画像の画像データを用いることで、撮影記録特性に応じて偏倚する処理対象の原画像におけるグレーバランスを精度良く推定することができ、推定したグレーバランスを基準として処理対象の原画像の画像データを規格化することで、撮影記録特性に起因する処理対象の原画像の色バランス（グレーバランス）の偏倚を精度良く補正することができる。
【００２４】
なお、規格化手段による処理対象の原画像の画像データの規格化は、具体的には、例えば複数の原画像の画像データに基づいて、各原画像から被写体のグレーの部分に対応する画素である可能性の高いグレー候補画素を各々抽出し、各原画像から各々抽出したグレー候補画素から成るグレー候補画素群の所定の座標上での分布に基づいて行うことが好ましい。上記において、グレー候補画素群は複数の原画像から各々抽出したグレー候補画素から構成されているので、グレー候補画素群の所定の座標上での分布は複数の原画像についての撮影記録特性を高精度に表しており、前記分布を用いることで処理対象の原画像におけるグレーバランスを精度良く推定することができ、撮影記録特性に起因する処理対象の原画像の色バランスの偏倚を精度良く補正することができる。
【００２５】
また、個々の原画像からのグレー候補画素の抽出は、具体的には、例えば個々の原画像のハイライト及びシャドーの色を基準にして前記原画像中の高彩度の画素を判断し、判断した高彩度の画素を除外することで行うことができる。また、画像中で高彩度の画素に隣接した位置に存在する画素のうち、前記高彩度の画素と色相（又は色相及び彩度）が近似している画素も高彩度の画素と判断するようにしてもよい。上記により、カラーフェリアの原因になると推定される画素の殆どを高彩度の画素として除外することができる。
【００２６】
また、グレー候補画素群の所定の座標上での分布に基づく処理対象の原画像の画像データの規格化は、グレー候補画素群の所定の座標上での分布のうち前記処理対象の原画像の濃度域内における分布を線形近似することで、処理対象の原画像におけるグレーバランスを表すグレー軸を推定し、推定したグレー軸を基準として処理対象の原画像の画像データの規格化を行うことが好ましい。
【００２７】
個々の原画像の濃度域は不定であるので、複数の原画像全体としての濃度域は一般に広範な濃度域に亘っており、これに伴って複数の原画像についての撮影記録特性についても広範な濃度域に跨っている。また、撮影記録特性はフィルム特性又は光電変換素子の特性等に応じて定まるので非線形な特性を有している。一方、個々の原画像の濃度域は撮影記録特性の濃度域に比較して明らかに小さく、規格化手段による規格化（グレーバランスの補正）にあたって個々の原画像毎に必要とされる撮影記録特性（グレーバランス情報）は、撮影記録特性の全濃度域のうちの一部の濃度域（個々の原画像の濃度域）に過ぎない。
【００２８】
従って、前述のようにグレー候補画素群の所定の座標上での分布のうち処理対象の原画像の濃度域内における分布を線形近似することで、処理対象の原画像におけるグレーバランスを表すグレー軸を推定することにより、処理対象の原画像の規格化（グレーバランス補正）に必要とされる濃度域におけるグレーバランス（グレー軸）を簡易な処理によって精度良く推定できる。
【００２９】
ところで、規格化手段が上述した規格化を行うことで、撮影記録特性に起因する処理対象の原画像の色バランスの偏倚は精度良く補正できるものの、撮影記録時の光源に起因する色バランスの偏倚は撮影記録特性とは無関係であるので、蛍光灯やタングステン灯等の異種光源を用いて撮影記録された原画像については、例えば複数の原画像の全てが同一種の異種光源を用いて撮影記録された等の特殊な場合を除き、規格化手段による規格化を行っても撮影記録時の光源に起因する色バランスの偏倚は補正されずに残っている。
【００３０】
このため請求項２の発明では、演算手段は、処理対象の原画像の画像データに基づいて、処理対象の原画像中のハイライト部の色を表すハイライト色ベクトル、及び、ハイライト色ベクトルと原画像を構成する各要素の色を表す色ベクトルとの成す角度の余弦を求め、設定手段は、ハイライト色ベクトル及び前記角度の余弦の最小値に基づき、被写体の撮影記録時の光源に起因する処理対象の原画像の色バランス偏倚度を、ハイライト色ベクトルの大きさが第１所定値未満又は前記角度の余弦の最小値が第２所定値未満のときには光源に起因する色バランス偏倚度が０となり、ハイライト色ベクトルの大きさが第１所定値以上かつ前記角度の余弦の最小値が第２所定値以上のときに、前記角度の余弦の最小値が大きくなるに従って光源に起因する色バランス偏倚度が増大すると共に、ハイライト色ベクトルの大きさが大きくなるに従って光源に起因する色バランス偏倚度が増大するように設定する。これにより、請求項１の発明と同様に、被写体の撮影記録時の光源に起因する処理対象の原画像の色バランス偏倚度が正確に反映されるように、光源に起因する色バランス偏倚度を設定することができる。
【００３１】
そして補正手段は、設定手段によって設定された光源に起因する色バランス偏倚度に基づき、処理対象の原画像中のハイライト部の色に応じて画像データの色バランスを補正するので、撮影記録時の光源に起因する原画像の色バランス偏倚を高精度に補正することができる。従って、請求項２の発明によれば、被写体が撮影記録されて成る原画像に対し、撮影記録特性に起因する色バランスの偏倚、及び撮影記録時の光源に起因する色バランス偏倚を各々高精度に補正することができる。
【００３２】
請求項３記載の発明は、請求項２の発明において、演算手段は、規格化手段による規格化前の画像データに基づき処理対象の原画像のハイライト及びシャドーの色を基準にして判断された処理対象の原画像中の高彩度の画素以外の画素のデータを用いて処理対象の原画像中のハイライト部を抽出し、抽出したハイライト部の色を表すハイライト色ベクトルを求め、前記規格化手段による規格化後の処理対象の原画像の画像データに基づいて、前記ハイライト色ベクトルと原画像を構成する各要素の色を表す色ベクトルとの成す角度の余弦を求めることを特徴としている。
【００３３】
処理対象の原画像中のハイライト部の色を表すハイライト色ベクトルを求めるにあたっては、処理対象の画像中のハイライト部と無関係の高彩度の画素を除外してハイライト部を抽出する必要があるが、異種光源を用いて撮影記録された原画像は、原画像中のハイライト部の色が光源種に対応する特定の色相かつ高彩度の色になるので、例えば複数の画像についての撮影記録特性を基準として単に高彩度の画素を判断して除外したとすると、処理対象の原画像中のハイライト部に対応する画素も高彩度の画素として除外される可能性がある。
【００３４】
これに対し請求項３の発明では、規格化手段による規格化前の（複数の原画像の画像データに基づき撮影記録特性に起因する色バランス偏倚を補正する前の）画像データに基づき、処理対象の原画像のハイライト及びシャドーの色を基準にして判断された処理対象の原画像中の高彩度の画素以外の画素のデータを用いて、処理対象の原画像中のハイライト部を抽出し、抽出したハイライト部の色を表すハイライト色ベクトルを求めているので、ハイライト部に対応する画素が高彩度の画素として除外されることはなく、処理対象の原画像中のハイライト部を確実に抽出することができ、ハイライト部の色を正確に表すハイライト色ベクトルを得ることができる。
【００３５】
なお、抽出したハイライト部の色を求めるにあたっては、規格化手段による規格化後の処理対象の原画像の画像データ（撮影記録特性に起因する色バランス偏倚が補正された画像データ）を用いることが好ましい。
【００３６】
また、請求項３の発明では、規格化手段による規格化後の処理対象の原画像の画像データ、すなわち複数の原画像の画像データに基づき撮影記録特性に起因する色バランス偏倚が補正された画像データ（異種光源を使用して被写体が撮影記録された原画像については、ハイライト部を含む画像各部の色バランスが、前記光源の影響を受けて特定の色相に偏倚した画像を表す画像データとなる）に基づいて、ハイライト色ベクトルと原画像を構成する各要素の色を表す色ベクトルとの成す角度の余弦を求めているので、ハイライト色ベクトルと原画像を構成する各要素の色を表す色ベクトルとの成す角度の余弦を正確に求めることができる。
【００３７】
なお、原画像を構成する要素としては、請求項４に記載したように、処理対象の原画像中の全ての画素を用いてもよいし、処理対象の原画像中の全ての画素のうち被写体のグレーの部分に対応する画素である可能性の高いグレー候補画素を用いてもよい。特に被写体のグレーの部分に対応する画素である可能性の高いグレー候補画素を用いた場合には、光源色による影響以上に被写体の色の影響を受けた画素が原画像中に存在していた場合にも、該画素の影響を受けることなく、被写体の撮影記録時の光源に起因する処理対象の原画像の色バランス偏倚度を正確に判断することができる。
【００４０】
請求項５記載の発明は、請求項２の発明において、前記補正手段は、前記複数の原画像のうち類似のシーンが撮影記録されることで形成された原画像を判断し、類似のシーンが撮影記録されることで形成された原画像については同一又は近似した補正量で画像データの色バランスを補正することを特徴としている。
【００４１】
請求項５記載の発明では、複数の原画像のうち類似のシーンが撮影記録されることで形成された原画像（例えば同一種の光源で撮影記録されたと推定されるハイライト部の色が略同一の原画像等）を判断し、類似のシーンが撮影記録されることで形成された原画像については同一又は近似した補正量で画像データの色バランスを補正するので、補正手段による補正を経た画像データを画像の出力（記録材料への画像の記録や、表示手段への画像の表示等）に用いる場合に、類似したシーンが撮影記録されることで形成された原画像に対応する出力画像の仕上がりを同一又は近似させることができる。
【００４２】
請求項６記載の発明に係る画像処理方法は、一定の条件で被写体が撮影記録されて成る複数の原画像の画像データに基づいて処理対象の原画像におけるグレーバランスを推定し、推定したグレーバランスを基準として処理対象の原画像の画像データを規格化し、処理対象の原画像の画像データに基づいて、処理対象の原画像中のハイライト部の色を表すハイライト色ベクトル、及び、前記ハイライト色ベクトルと原画像を構成する各要素の色を表す色ベクトルとの成す角度の余弦を求め、前記演算手段によって求められた前記ハイライト色ベクトル及び前記角度の余弦の最小値に基づき、前記被写体の撮影記録時の光源に起因する処理対象の原画像の色バランス偏倚度を、前記ハイライト色ベクトルの大きさが第１所定値未満又は前記角度の余弦の最小値が第２所定値未満のときには前記光源に起因する色バランス偏倚度が０となり、前記ハイライト色ベクトルの大きさが第１所定値以上かつ前記角度の余弦の最小値が第２所定値以上のときに、前記角度の余弦の最小値が大きくなるに従って前記光源に起因する色バランス偏倚度が増大すると共に、前記ハイライト色ベクトルの大きさが大きくなるに従って前記光源に起因する色バランス偏倚度が増大するように設定し、前記設定手段によって設定された前記光源に起因する色バランス偏倚度に基づき、前記ハイライト部の色に応じて処理対象の原画像の画像データの色バランスを補正するので、請求項２の発明と同様に、被写体が撮影記録されて成る原画像に対し、撮影記録特性に起因する色バランスの偏倚、及び撮影記録時の光源に起因する色バランス偏倚を各々高精度に補正することができる。
【００４３】
請求項７記載の発明に係る記録媒体は、コンピュータを、一定の条件で被写体が撮影記録されて成る複数の原画像の画像データに基づいて処理対象の原画像におけるグレーバランスを推定し、推定したグレーバランスを基準として処理対象の原画像の画像データを規格化する規格化手段、被写体が撮影記録されることで形成された原画像を表す画像データに基づいて、原画像中のハイライト部の色を表すハイライト色ベクトル、及び、前記ハイライト色ベクトルと原画像を構成する各要素の色を表す色ベクトルとの成す角度の余弦を求める演算手段、前記演算手段によって求められた前記ハイライト色ベクトル及び前記角度の余弦の最小値に基づき、前記被写体の撮影記録時の光源に起因する原画像の色バランス偏倚度を、前記ハイライト色ベクトルの大きさが第１所定値未満又は前記角度の余弦の最小値が第２所定値未満のときには前記光源に起因する色バランス偏倚度が０となり、前記ハイライト色ベクトルの大きさが第１所定値以上かつ前記角度の余弦の最小値が第２所定値以上のときに、前記角度の余弦の最小値が大きくなるに従って前記光源に起因する色バランス偏倚度が増大すると共に、前記ハイライト色ベクトルの大きさが大きくなるに従って前記光源に起因する色バランス偏倚度が増大するように設定する設定手段、及び、前記設定手段によって設定された前記光源に起因する色バランス偏倚度に基づき、前記ハイライト部の色に応じて画像データの色バランスを補正する補正手段として機能させるためのプログラムが記録されている。
【００４４】
請求項７記載の発明に係る記録媒体には、コンピュータを上記の規格化手段、演算手段、設定手段及び補正手段として機能させるためのプログラム、すなわち請求項２に記載の画像処理装置として機能させるためのプログラムが記録されているので、コンピュータが前記記録媒体に記録されたプログラムを読み出して実行することにより、請求項２の発明と同様に、被写体が撮影記録されて成る原画像に対し、撮影記録特性に起因する色バランスの偏倚、及び撮影記録時の光源に起因する色バランス偏倚を各々高精度に補正することができる。
【００４５】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態の一例を詳細に説明する。図１には、本発明が適用された画像処理システム１０が示されている。画像処理システム１０は、フィルムスキャナ１２、画像処理装置１４及びプリンタ１６が直列に接続されて構成されている。
【００４６】
フィルムスキャナ１２は、写真フィルム２６（例えばネガフィルムやリバーサルフィルム）等の写真感光材料（以下単に写真フィルムと称する）に記録されているフィルム画像（被写体を撮影後、現像処理されることで可視化されたネガ画像又はポジ画像：本発明の原画像に相当）を読み取り、該読み取りによって得られた画像データを出力するものであり、光源２０から射出され光拡散ボックス２２によって光量むらが低減された光が、フィルムキャリア２４にセットされている写真フィルム２６に照射され、写真フィルム２６を透過した光がレンズ２８を介してラインＣＣＤセンサ３０（エリアＣＣＤセンサでもよい）の受光面上に結像されるように構成されている。
【００４７】
フィルムキャリア２４は、写真フィルム２６上のフィルム画像が記録されている箇所が、光源２０からの射出光の光軸上に順に位置するように写真フィルム２６を搬送する。これにより、写真フィルム２６に記録されているフィルム画像がＣＣＤセンサ３０によって順に読み取られ、ＣＣＤセンサ３０からはフィルム画像に対応する信号が出力される。ＣＣＤセンサ３０から出力された信号はＡ／Ｄ変換器３２によってデジタルの画像データに変換されて画像処理装置１４に入力される。
【００４８】
画像処理装置１４のラインスキャナ補正部３６は、入力されたスキャンデータ（フィルムスキャナ１２から入力されるＲ、Ｇ、Ｂのデータ）から各画素毎に対応するセルの暗出力レベルを減ずる暗補正、暗補正を行ったデータを濃度値を表すデータに対数変換する濃度変換、写真フィルム２６を照明する光の光量むらに応じて濃度変換後のデータを補正するシェーディング補正、該シェーディング補正を行ったデータのうち入射光量に対応した信号が出力されないセル（所謂欠陥画素）のデータを周囲の画素のデータから補間して新たに生成する欠陥画素補正の各処理を順に行う。ラインスキャナ補正部３６の出力端はＩ／Ｏコントローラ３８の入力端に接続されており、ラインスキャナ補正部３６で前記各処理が施されたデータはスキャンデータとしてＩ／Ｏコントローラ３８に入力される。
【００４９】
Ｉ／Ｏコントローラ３８の入力端は、イメージプロセッサ４０のデータ出力端にも接続されており、イメージプロセッサ４０からは画像処理（詳細は後述）が行われた画像データが入力される。また、Ｉ／Ｏコントローラ３８の入力端はパーソナルコンピュータ４２にも接続されている。パーソナルコンピュータ４２は拡張スロット（図示省略）を備えており、この拡張スロットには、メモリカードやＣＤ−Ｒ等の情報記憶媒体に対してデータの読出し／書込みを行うドライバ（図示省略）や、他の情報処理機器と通信を行うための通信制御装置が接続される。拡張スロットを介して外部からファイル画像データが入力された場合、入力されたファイル画像データはＩ／Ｏコントローラ３８へ入力される。
【００５０】
Ｉ／Ｏコントローラ３８の出力端は、イメージプロセッサ４０のデータ入力端、オートセットアップエンジン４４、パーソナルコンピュータ４２に各々接続されており、更にＩ／Ｆ回路５４を介してプリンタ１６に接続されている。Ｉ／Ｏコントローラ３８は、入力された画像データを、出力端に接続された前記各機器に選択的に出力する。
【００５１】
本実施形態では、写真フィルム２６に記録されている個々のフィルム画像に対し、フィルムスキャナ１２において異なる解像度で２回の読み取りを行う。１回目の比較的低解像度での読み取り（以下、プレスキャンという）では、フィルム画像の濃度が非常に低い場合（例えばネガフィルムにおける露光アンダのネガ画像）にも、ＣＣＤセンサ３０で蓄積電荷の飽和が生じないように決定した読取条件（写真フィルム２６に照射する光のＲ、Ｇ、Ｂの各波長域毎の光量、ＣＣＤセンサ３０の電荷蓄積時間）で写真フィルム２６の全面の読み取りが行われる。このプレスキャンによって得られたデータ（プレスキャンデータ）は、Ｉ／Ｏコントローラ３８からオートセットアップエンジン４４へ入力される。
【００５２】
オートセットアップエンジン４４は、ＣＰＵ４６、ＲＡＭ４８（例えばＤＲＡＭ）、ＲＯＭ５０（例えば記憶内容を書換え可能なＲＯＭ）、入出力ポート５２を備え、これらがバスを介して互いに接続されて構成されている。オートセットアップエンジン４４は、Ｉ／Ｏコントローラ３８から入力されたプレスキャンデータに基づいてフィルム画像のコマ位置を判定し、写真フィルム２６上のフィルム画像記録領域に対応するデータ（プレスキャン画像データ）を抽出する。また、プレスキャン画像データに基づいて、フィルム画像のサイズを判定すると共に濃度等の画像特徴量を演算し、プレスキャンを行った写真フィルム２６に対し、フィルムスキャナ１２が比較的高解像度での再度の読み取り（以下、ファインスキャンという）を行う際の読取条件を決定する。そしてコマ位置及び読取条件をフィルムスキャナ１２に出力する。
【００５３】
また、オートセットアップエンジン４４は、プレスキャン画像データに基づいて、フィルム画像中の主要部（例えば人物の顔に相当する領域（顔領域))の抽出を含む画像特徴量の演算を行い、フィルムスキャナ１２がファインスキャンを行うことによって得られる画像データ（ファインスキャン画像データ）に対する各種の画像処理の処理条件を演算により自動的に決定し（セットアップ演算）、決定した処理条件をイメージプロセッサ４０へ出力する。
【００５４】
パーソナルコンピュータ４２には、ディスプレイ、キーボード、及びマウスが接続されている（何れも図示省略）。パーソナルコンピュータ４２は、オートセットアップエンジン４４からプレスキャン画像データを取込むと共に、オートセットアップエンジン４４によって決定された画像処理の処理条件を取込み、取り込んだ処理条件に基づき、ファインスキャン画像データを対象としてイメージプロセッサ４０で行われる画像処理と等価な画像処理をプレスキャン画像データに対して行ってシミュレーション画像データを生成する。
【００５５】
そして、生成したシミュレーション画像データを、ディスプレイに画像を表示するための信号に変換し、該信号に基づいてディスプレイにシミュレーション画像を表示する。また、表示されたシミュレーション画像に対しオペレータによって画質等の検定が行われ、検定結果として処理条件の修正を指示する情報がキーボードを介して入力されると、該情報をオートセットアップエンジン４４へ出力する。これにより、オートセットアップエンジン４４では画像処理の処理条件の再演算等の処理が行われる。
【００５６】
一方、フィルムスキャナ１２でフィルム画像に対してファインスキャンが行われることによってＩ／Ｏコントローラ３８に入力された画像データ（ファインスキャン画像データ）は、Ｉ／Ｏコントローラ３８からイメージプロセッサ４０へ入力される。イメージプロセッサ４０は、階調変換や色変換を含む濃度・色変換処理、画素密度変換処理、画像の超低周波輝度成分の階調を圧縮するハイパートーン処理、粒状を抑制しながらシャープネスを強調するハイパーシャープネス処理等の各種の画像処理を行う画像処理回路を各々備えており、入力された画像データに対し、オートセットアップエンジン４４によって各画像毎に決定されて通知された処理条件に従って種々の画像処理を行う。
【００５７】
イメージプロセッサ４０で実行可能な画像処理としては、上記以外に、例えば画像全体又は一部分（例えば人物の顔に相当する領域）に対するシャープネス補正又はソフトフォーカス処理や、画調を意図的に変更する画像処理（出力画像をモノトーンに仕上げる画像処理、出力画像をポートレート調に仕上げる画像処理、出力画像をセピア調に仕上げる画像処理等）や、画像を加工する画像処理（例えば原画像中に存在する人物を主画像上で細身に仕上げるための画像処理、赤目を修正する画像処理等）や、ＬＦ（レンズ付きフィルム）によって撮影された画像に対し、ＬＦのレンズの歪曲収差、倍率色収差に起因する画像の幾何学的歪み、色ずれ、ＬＦのレンズの周辺減光に起因する画像の周縁部の明度低下、ＬＦのレンズの特性に起因する画像の鮮鋭度の低下等のように、ＬＦのレンズの特性に起因する出力画像の画質の低下を補正する各種のＬＦ収差補正処理等が挙げられる。
【００５８】
イメージプロセッサ４０で画像処理が行われた画像データを印画紙への画像の記録に用いる場合には、イメージプロセッサ４０で画像処理が行われた画像データは、Ｉ／Ｏコントローラ３８からＩ／Ｆ回路５４を介し記録用画像データとしてプリンタ１６へ出力される。また、画像処理後の画像データを画像ファイルとして外部へ出力する場合は、Ｉ／Ｏコントローラ３８からパーソナルコンピュータ４２に画像データが出力される。これにより、パーソナルコンピュータ４２では、外部への出力用としてＩ／Ｏコントローラ３８から入力された画像データを、拡張スロットを介して画像ファイルとして外部（前記ドライバや通信制御装置等）に出力する。
【００５９】
プリンタ１６は、画像メモリ５８、Ｒ，Ｇ，Ｂのレーザ光源６０、該レーザ光源６０の作動を制御するレーザドライバ６２を備えている。画像処理装置１４から入力された記録用画像データは画像メモリ５８に一旦記憶された後に読み出され、レーザ光源６０から射出されるＲ，Ｇ，Ｂのレーザ光の変調に用いられる。レーザ光源６０から射出されたレーザ光は、ポリゴンミラー６４、ｆθレンズ６６を介して印画紙６８上を走査され、印画紙６８に画像が露光記録される。画像が露光記録された印画紙６８は、プロセッサ部１８へ送られて発色現像、漂白定着、水洗、乾燥の各処理が施される。これにより、印画紙６８に露光記録された画像が可視化される。
【００６０】
次に本実施形態の作用を説明する。本実施形態に係る濃度・色変換条件演算処理は、請求項６の発明に係る画像処理方法が適用された処理であり、オートセットアップエンジン４４のＣＰＵ４６により、濃度・色変換条件演算プログラムが実行されることにより実現される。濃度・色変換条件演算プログラムは、その他の処理をＣＰＵ４６で実行させるためのプログラムと共に、当初は、情報記憶媒体７２（図１参照）に記憶されている。なお、図１では情報記憶媒体７２をフロッピー（登録商標）ディスクとして示しているが、ＣＤ−ＲＯＭやメモリカード等の他の情報記憶媒体で構成してもよい。
【００６１】
パーソナルコンピュータ４２に接続された情報読出装置（図示省略）に情報記憶媒体７２が装填され、情報記憶媒体７２から画像処理装置１４へのプログラムの移入（インストール）が指示されると、情報読出装置によって情報記憶媒体７２から濃度・色変換条件演算プログラム等が読み出され、記憶内容を書換え可能なＲＯＭ５０に記憶される。
【００６２】
そして、濃度・色変換条件演算処理を実行すべきタイミング（スキャナ１２から画像処理装置１４にプレスキャンデータが入力され、オートセットアップエンジン４４において、プレスキャンデータからの画像データ（プレスキャン画像データ）の切り出し等の処理を完了したタイミング）が到来すると、ＲＯＭ５０から濃度・色変換条件演算プログラムが読み出され、濃度・色変換条件演算プログラムがＣＰＵ４６によって実行される。これにより、オートセットアップエンジン４４は請求項１及び請求項２の発明に係る画像処理装置として機能する。このように、濃度・色変換条件演算プログラム等を記憶している情報記憶媒体７２は請求項７に記載の記録媒体に対応している。
【００６３】
濃度・色変換条件演算処理は、イメージプロセッサ４０で実行される濃度・色変換処理における処理条件を、単一の写真フィルム２６に記録された各フィルム画像について各々演算する処理である。濃度・色変換処理は、詳しくはグレーバランス補正（撮影記録特性に起因する色バランス偏倚の補正に対応）と異種光源補正（撮影記録時の光源に起因する画像の色バランス偏倚の補正に対応）の２種類の補正を行う。このため濃度・色変換条件演算処理では、各フィルム画像について、グレーバランス補正における処理条件（グレーバランス補正条件）と異種光源補正における処理条件（異種光源補正条件）を各々演算する。
【００６４】
以下、濃度・色変換条件演算の詳細について図２のフローチャートを参照して説明する。なお、以下では一例として、写真フィルム２６としてのネガフィルムに記録されたネガ画像に対して色・濃度変換条件を演算する場合を説明する。
【００６５】
ステップ１６０では、グレーバランス補正条件を各フィルム画像について各々演算するグレーバランス補正条件演算処理を行う。この処理については図３のフローチャートを参照して説明する。ステップ１６０では、処理対象のフィルム画像のプレスキャン画像データを取り込む。なお、プレスキャン画像データはフィルム画像の全ての画素の各成分色（Ｒ，Ｇ，Ｂ）毎の濃度値を表すデータである。次のステップ１６２では、取り込んだプレスキャン画像データが表すフィルム画像の各画素の濃度値に基づいて、各成分色毎に最大濃度Ｄjmax 及び最小濃度Ｄjmin （ｊはＲ，Ｇ，Ｂの何れかを表す）を演算する。
【００６６】
ステップ１６４では、プレスキャン画像データから各成分色毎に求めた最大濃度Ｄjmax 及び最小濃度Ｄjmin に基づいて、各成分毎の最大濃度（Ｄrmax ，Ｄgmax ，Ｄbmax ）を仮のハイライト点の濃度、各成分毎の最小濃度（Ｄrmin ，Ｄgmin ，Ｄbmin ）を仮のシャドー点の濃度とし、フィルム画像の各画素の濃度値を各成分色毎に規格化する。この規格化は次式を用いて行うことができる。
Ｄj'＝１００×（Ｄj −Ｄjmin）／（Ｄjmax −Ｄjmin）
但し、Ｄjは演算対象画素の成分色ｊの濃度値、Ｄj'は成分色ｊの規格化濃度値である。
【００６７】
次のステップ１６６では、規格化後の画像データを用いて各画素の彩度を演算し、フィルム画像中の高彩度の画素を抽出する。例として図５（Ａ）に示すように、Ｒ濃度Ｄｒ、Ｇ濃度Ｄｇ、Ｂ濃度Ｄｂを座標軸とする３次元濃度座標（ＲＧＢ濃度座標）によって規定されるＲＧＢ濃度空間に対し、原点（０，０，０）及びＲＧＢ濃度空間内の点（１，１，１）を各々通る直線Ｑに垂直で、かつ原点（０，０，０）を含む平面ψ（Ｒ＋Ｇ＋Ｂ＝０の平面）を設定し、各画素の各成分色毎の規格化濃度値（Ｄr'，Ｄg'，Ｄb'）に対応するＲＧＢ濃度座標上での各画素の濃度点を平面ψ上に写像する。
【００６８】
そして平面ψ上に、図５（Ｂ）に示すｘｙ直交座標を設定する。或る画素の規格化濃度値に対応する濃度点の平面ψ上への写像位置が点Ｐであるとすると、前記画素の色相はｘｙ座標の原点及び点Ｐを通る直線とｘ軸の成す角θ（色相角θという）に対応し、前記画素の彩度はｘｙ座標の原点と点Ｐとの距離に対応している。なお参考までに、画素の明度は各成分色毎の規格化濃度に基づき「明度＝（Ｄr'＋Ｄg'＋Ｄb'）／３」等の演算式によって求めることができる。
【００６９】
従って、各画素毎に、規格化濃度値に対応する濃度点の平面ψ上への写像位置（点Ｐの位置）を求め、図５（Ｃ）にも示すように、ｘｙ座標の原点と点Ｐとの距離を彩度の閾値Ｌthと比較することで高彩度画素か否かを判定することができ、原点と点Ｐとの距離が彩度の閾値Ｌthよりも大きい画素を高彩度画素として抽出することができる。
【００７０】
次のステップ１６８では、ステップ１６６で抽出した特定の高彩度画素の色相を、フィルム画像上で前記特定の高彩度画素の近傍に存在する８個の画素（所謂８近傍の画素）の色相と各々比較し、特定の高彩度画素の近傍に存在している８画素の中に特定の高彩度画素と色相が近似している画素が有れば、該画素を高彩度画素と判定することを、ステップ１６６で抽出した全ての高彩度画素について各々行う。
【００７１】
ステップ１７０では、ステップ１６８の処理によって高彩度画素と判定した画素の数が増加したか否か判定する。ステップ１７０の判定が肯定された場合にはステップ１６８へ戻り、新たに高彩度画素と判定した画素を対象として、近傍に存在している画素（既に高彩度画素と判定されている画素を除く）との色相を比較し、近傍に存在している各画素のうち色相が近似している画素を高彩度画素と判定する。このステップ１６８はステップ１７０の判定が否定される迄繰り返される。ステップ１７０の判定が否定されるとステップ１７２へ移行し、高彩度画素と判定された画素を除外し、高彩度画素と判定されなかった画素のみをグレー候補画素と認定する。そして、グレー候補画素と認定した画素を記憶する。
【００７２】
例えばフィルム画像が高彩度の画素を多数含んだ画像（例えばカラーフェリアの生じ易い画像）であった場合、ＲＧＢ濃度座標上でフィルム画像の各画素に対応する位置に点をプロットしたときの点の分布（以下、単に「ＲＧＢ濃度座標上での画素の分布」という）は、例として図６（Ａ）及び（Ｂ）に示すように、グレーバランスを表すと推定される画素の集合（図６（Ａ）及び（Ｂ）における「グレー候補画素の集合」）の周囲の若干離れた位置に、高彩度の画素の集合が現れる分布となる。
【００７３】
しかし、上記処理を行うことで、フィルム画像中にカラーフェリアの原因となる可能性の高い領域、すなわち高彩度の画素を含む特定の色相の領域が含まれていた場合にも、該領域の殆どの画素（図６（Ａ）及び（Ｂ）に示した「高彩度の画素の集合」に対応する画素）を高彩度画素として除外することができ、グレー候補画素と認定した画素の中に、被写体のグレーの部分に対応する画素（グレーバランスを表す画素）が高い割合で含まれることになる。
【００７４】
次のステップ１７４では、プレスキャン画像データから、各成分色毎に、グレー候補画素中のハイライト点濃度Ｄｈj(最大濃度）及びシャドー点濃度Ｄｓj(最小濃度）を各々抽出する。なお、各成分色毎にダイナミックレンジＩＲ＝（Ｄｈr−Ｄｓr）、ＩＧ＝（Ｄｈg−Ｄｓg）、ＩＢ＝（Ｄｈb−Ｄｓb）を求め、各成分色毎のダイナミックレンジの差（ＩＲ−ＩＧ）、（ＩＧ−ＩＢ）、（ＩＢ−ＩＲ）を演算し、ダイナミックレンジの差が所定の許容値を越えた場合にはダイナミックレンジＩＲ，ＩＧ，ＩＢが互いに等しくなるようにハイライト点濃度（Ｄｈr，Ｄｈg，Ｄｈb）の何れかを修正するようにしてもよい。
【００７５】
ステップ１７６では、グレー候補画素から各成分色毎に求めたハイライト点濃度Ｄｈj及びシャドー点濃度Ｄｓj に基づいて、各成分毎のハイライト点濃度（Ｄｈr，Ｄｈg，Ｄｈb）をハイライト点の濃度、各成分毎のシャドー点濃度（Ｄｓr，Ｄｓg，Ｄｓb）をシャドー点の濃度とし、ＲＧＢ濃度座標上でハイライト点に対応する濃度点とシャドー点に対応する濃度点とを結ぶ軸を設定する（図６（Ｃ）参照）。
【００７６】
写真フィルムは、鮮やかな発色を実現するために、露光量が同一であってもグレー露光より多色露光の方が硬調に仕上がるように感光層が設計されていることが一般的であり（所謂重層効果）、フィルム画像中の被写体のグレーの部分に対応する画像領域よりも、被写体の非グレー色の部分（例えば赤等）に対応する画像領域の方が最大濃度が高くなる可能性がある。
【００７７】
上記に基づき本実施形態では、ステップ１６２で求めた最大濃度Ｄjmax 及び最小濃度Ｄjmin に基づいて画像データを規格化し（ステップ１６４）、高彩度画素を除去（ステップ１６６〜ステップ１７２）した後に、プレスキャン画像データからハイライト点濃度及びシャドー点濃度を求め（ステップ１７４）、ハイライト点濃度及びシャドー点濃度に基づいてハイライト−シャドー軸を設定している（ステップ１７６）。上記のように最大濃度Ｄjmax 及び最小濃度Ｄjmin を用いてハイライト−シャドー軸を設定することなく、ハイライト点濃度及びシャドー点濃度を求めてハイライト−シャドー軸を設定することで、ハイライトフェリアの発生を抑制することができる。
【００７８】
次のステップ１７８では、グレー候補画素の各々について、ＲＧＢ濃度座標上での対応する点の位置を各々求めると共に、求めた位置と前記ハイライト−シャドー軸との距離（濃度空間内における幾何学距離：ハイライト−シャドー軸との濃度差に相当）を各々演算し、ＲＧＢ濃度座標上での対応する点の位置とハイライト−シャドー軸との距離（濃度差）が大きくなるに従って重みが小さくなるように（前記距離（濃度差）が小さくなるに従って重みが大きくなるように）、各グレー候補画素に対して重みを各々設定する。そして設定した重みを記憶する。
【００７９】
ステップ１８０では、同一の写真フィルム２６に記録された全てのフィルム画像に対して上記処理を行ったか否か判定する。判定が否定された場合にはステップ１６０に戻り、ステップ１６０〜ステップ１７８の処理を繰り返す。これにより、同一の写真フィルム２６に記録されている全てのフィルム画像からグレー候補画素が各々抽出され、抽出された全てのグレー候補画素に対して各々重みが設定されることになる。
【００８０】
ステップ１８０の判定が肯定されるとステップ１８２へ移行し、ステップ１８２以降で、同一の写真フィルム２６に記録された複数のフィルム画像から各々抽出したグレー候補画素から成るグレー候補画素群（図７（Ａ）参照）に基づいて、処理対象のフィルム画像（同一の写真フィルム２６に記録された複数のフィルム画像のうちの１つ）のグレーバランスを表すグレー軸を線形近似によって求める。
【００８１】
すなわち、ステップ１８２では処理対象のフィルム画像の濃度域（ステップ１６２で演算した最大濃度Ｄjmax 及び最小濃度Ｄjmin ）を取り込む。次のステップ１８４では、グレー候補画素群を構成する各グレー候補画素のうち、先のステップ１８２で取り込んだ処理対象のフィルム画像の濃度域（最大濃度Ｄjmax から最小濃度Ｄjmin に至る濃度範囲）に対応するグレー候補画素のデータを抽出する。
【００８２】
写真フィルムに記録される複数のフィルム画像の各々の濃度域は不定であるので、複数のフィルム画像から各々抽出したグレー候補画素から成るグレー候補画素群のＲＧＢ濃度座標上での分布は、写真フィルム２６の発色濃度域（一般に濃度値で３．０に近い広さ）に対応する広がりをもっている。一方、写真フィルムに記録される個々のフィルム画像の濃度域は濃度値で１．０程度である。従ってステップ１８４により、図７（Ｂ）に「グレー軸推定対象の画像の濃度域」として一例を示すように、グレー候補画素群の全濃度域のうちの一部の濃度域内のグレー候補画素のデータのみが抽出される。
【００８３】
次のステップ１８６では、ステップ１８４でデータを抽出したグレー候補画素の重みを表すデータを取り込み、ステップ１８８では、写真フィルムに記録されたフィルム画像の数と対応されて予め設定されたグレー軸の傾きの許容範囲のうち、処理対象の写真フィルム２６に記録されたフィルム画像の数に対応するグレー軸の傾きの許容範囲を取り込む。なお、このグレー軸の傾きの許容範囲は、フィルム画像の数が少なくなるに伴って許容範囲が小さくなるように設定されている。
【００８４】
そしてステップ１９０では、ステップ１８４で抽出したグレー候補画素のデータ及びステップ１８６で抽出した各グレー候補画素の重みに基づいて、抽出したグレー候補画素のＲＧＢ濃度座標上における分布を、各グレー候補画素に付された重みも考慮して線形近似し、傾きが、ステップ１８８で取り込んだ許容範囲内となるように処理対象のフィルム画像のグレー軸を推定演算する。このグレー軸の推定演算は、請求項２に記載の規格化手段によるグレーバランスの推定に対応している。
【００８５】
なお、線形近似は、例えば線形重回帰分析等に利用される最小２乗法等の手法を適用し、予測誤差の平方和が最小となるように行うことができる。この場合、グレー軸の傾きを許容範囲内とすることは、例えば最小２乗法等による演算に際し、グレー軸を規定する変数のうちのグレー軸の傾きを規定する変数の値を、前記許容範囲に対応する数値範囲内の値に制限する条件式を連立方程式に加える等によって実現できる。
【００８６】
また、各グレー候補画素の重みを反映した線形近似は、例えば重みの大きい画素についてはＲＧＢ濃度空間内の略同一の位置に存在するグレー候補画素の数がデータ上で増加するようにグレー候補画素のデータを変換し（例えば１画素のデータを１００画素のデータに変換する等）、重みが小さい画素についてはＲＧＢ濃度空間内の略同一の位置に存在するグレー候補画素の数がデータ上で減少するようにグレー候補画素のデータを変換し（たとえば１００画素のデータを１画素のデータに変換する等）、変換後のグレー候補画素のデータを用いて線形近似を行うことで実現できる。
【００８７】
また、線形近似は３次元空間（ＲＧＢ濃度空間）上で行ってもよいし、複数の２次元空間（例えばＲ−Ｇ，Ｇ−Ｂ，Ｂ−Ｒの各濃度空間)上で行ってもよい。例えばＲＧＢ濃度空間上での線形近似によるグレー軸の推定は、処理対象のフィルム画像の濃度域として特定の成分色についてのフィルム画像の濃度域、或いはＲＧＢ平均濃度についてのフィルム画像の濃度域を用い、該濃度域内に存在するグレー候補画素のＲＧＢ濃度空間上での分布を線形近似することで行うことができる。
【００８８】
また、Ｒ−Ｇ，Ｇ−Ｂ，Ｂ−Ｒの各濃度空間上での線形近似によるグレー軸の推定は、例えばＲ−Ｇ濃度空間についてはフィルム画像のＲの濃度域内に存在するグレー候補画素の分布を線形近似し、Ｇ−Ｂ濃度空間についてはフィルム画像のＧの濃度域内に存在するグレー候補画素の分布を線形近似し、Ｂ−Ｒ濃度空間についてはフィルム画像のＢの濃度域内に存在するグレー候補画素の分布を線形近似し、各空間上での線形近似によって得られた３本の軸の重心に相当する軸をグレー軸として演算することができる。
【００８９】
次のステップ１９２では、処理対象のフィルム画像のグレー軸を推定演算した結果に基づいて、撮影記録時の被写体のグレーの部分が出力画像上でグレーとして再現されるように、ファインスキャン画像データに対するグレーバランス補正処理の処理条件（グレーバランス補正条件：具体的にはグレーバランス補正処理を行うためのＬＵＴ（ルックアップテーブル）に設定する変換データ）を設定する。なお、上記のグレーバランス補正条件は、請求項２に記載の規格化手段における「推定したグレーバランスを基準として処理対象の原画像の画像データを規格化する」ための条件に相当する。
【００９０】
上記のグレーバランス補正条件は、例えば推定演算したグレー軸が表すグレーバランスのうちのＧ濃度ＤｇとＲ濃度Ｄｒとの関係（グレー軸をＧ濃度及びＲ濃度を座標軸とする２次元濃度座標に投影した結果に相当）がＤｇ＝αrg・Ｄｒ＋βrgで表され、Ｇ濃度ＤｇとＢ濃度Ｄｂとの関係（グレー軸をＧ濃度及びＢ濃度を座標軸とする２次元濃度座標に投影した結果に相当）がＤｇ＝αbg・Ｄｂ＋βbgで表されるとすると、例えばＧ濃度Ｄｇは無変換とし、Ｒ濃度ＤｒについてはＤｒ＝αrg・Ｄｒ＋βrgなる変換式に従って変換され、Ｂ濃度ＤｂについてはＤｂ＝αbg・Ｄｂ＋βbgなる変換式に従って変換されるように設定することができる。
【００９１】
次のステップ１９４では、同一の写真フィルム２６に記録された全てのフィルム画像に対して上記処理（グレー軸の推定演算及び濃度・色変換処理の処理条件の設定）を行ったか否か判定する。判定が否定された場合にはステップ１８２に戻り、全てのフィルム画像に対してステップ１８２〜ステップ１９２の処理を繰り返す。これにより、同一の写真フィルム２６に記録された全てのフィルム画像に対し、個々のフィルム画像を単位として、グレーバランスを表すグレー軸が各々推定演算され、グレーバランス補正条件が各々設定されることになる。
【００９２】
先に説明したステップ１６０〜ステップ１７２におけるグレー候補画素の抽出精度には限度があり、例えば処理対象のフィルム画像がカラーフェリアやハイライトフェリアの生じ易い画像であった場合には、グレー候補画素として適正な画素（グレーバランスを表す画素）が抽出されない場合もある。
【００９３】
これに対して本実施形態では、同一の写真フィルム２６に記録された複数のフィルム画像からグレー候補画素を各々抽出し、グレーバランスの推定に際し、前記複数のフィルム画像から各々抽出したグレー候補画素から成るグレー候補画素群を用いている。グレー候補画素群は複数のフィルム画像から各々抽出したグレー候補画素から構成されているので、グレー候補画素群全体では複数のフィルム画像の画像内容のばらつきが平均化され、特定のフィルム画像からグレー候補画素として適正な画素が抽出されなかった場合にも、前記適正な画素が抽出されなかったことによる影響が軽減される。
【００９４】
従って、グレー候補画素群のＲＧＢ濃度座標上での分布は、全体として、写真フィルム２６の発色濃度域の全域におけるグレーバランス（写真フィルム２６に記録された各フィルム画像上でのグレーバランス）を精度良く表しており、このグレー候補画素群を用いてグレーバランスを推定することで、同一の写真フィルムに記録された各フィルム画像上でのグレーバランスを各々高い精度で推定することができ、フィルム特性に起因するフィルム画像の色バランス偏倚が補正されるように（撮影記録時の被写体のグレーの部分がグレーとして再現されるように）画像データを変換できる適正なグレーバランス補正条件を得ることができる。
【００９５】
また、グレー候補画素群のＲＧＢ濃度座標上での分布が表している、写真フィルム２６の発色濃度域の全域におけるグレーバランスは、フィルム特性等が反映され、図７（Ａ）に破線で示すようにＲＧＢ濃度座標上で曲線として表される：図７（Ａ）に破線で示す「実際のグレーバランスを表す特性曲線」を参照）。
【００９６】
これに対して本実施形態では、個々のフィルム画像を単位として、グレー候補画素群のＲＧＢ濃度座標上での分布を、個々のフィルム画像の濃度域内（写真フィルム２６の発色濃度域よりも大幅に狭い濃度域内）で各々線形近似することでグレーバランスを表すグレー軸を推定演算しているので、高次の非線形近似によってグレーバランスを表す特性曲線を求める場合と比較して、処理が非常に簡単になると共に、各フィルム画像毎に充分に高くかつ安定した推定精度でグレーバランスを推定することができ、グレーバランスを精度良く表すグレー軸に基づいて適正なグレーバランス補正条件を得ることができる。
【００９７】
ステップ１９４の判定が肯定されるとグレーバランス補正条件演算処理を終了し、濃度・色補正条件演算処理（図２）のステップ１０２へ移行する。ステップ１０２以降では異種光源補正条件を各フィルム画像毎に各々演算する。
【００９８】
すなわち、ステップ１０２では処理対象の特定フィルム画像の画像データ（プレスキャン画像データ）を取り込むと共に、先に説明したグレーバランス補正条件演算処理によって演算されたグレーバランス補正条件のうち、前記特定フィルム画像に対して設定されたグレーバランス補正条件を取り込み、取り込んだグレーバランス補正条件に従って、取り込んだ特定フィルム画像のプレスキャン画像データを変換することで画像データの規格化（グレーバランス補正）を行う。
【００９９】
この画像データの規格化により、フィルム特性（撮影記録特性）に起因する色バランスの偏倚が補正された画像データが得られる。なお、ステップ１０２は先に説明したグレーバランス補正条件演算処理と共に請求項２に記載の規格化手段に対応している。
【０１００】
ステップ１０４では、先のグレーバランス補正条件演算処理（のステップ１７２）において、特定フィルム画像から抽出されたグレー候補画素のデータを取り込み、次のステップ１０６では、取り込んだグレー候補画素のデータを対象として、特定フィルム画像中のハイライト部に対応すると推定される画素（ハイライト画素）を複数抽出する。
【０１０１】
このハイライト画素の抽出は、例えば各画素について各成分色毎の濃度の平均値（３色平均濃度）を各々演算して３色平均濃度のヒストグラムを作成し、高濃度側からの累積頻度が所定値に達する迄の区間に属する画素を抽出することで行うことができる。また、ハイライト画素として抽出する画素を、フィルム画像上で互いに近接した位置に存在している画素に制限してもよい。
【０１０２】
なお、異種光源を用いて撮影記録されたフィルム画像については、フィルム画像中のハイライト部の色が、撮影記録時に使用された光源種に対応する特定の色相かつ高彩度の色となるが、グレー候補画素は、該フィルム画像の最大濃度Ｄjmax 及び最小濃度Ｄjmin を基準として規格化を行って抽出しているので、異種光源を用いて撮影記録されたフィルム画像であっても、ステップ１０４で取り込んだグレー候補画素のデータの中に、実際のハイライトに相当する画素のデータが含まれている。
【０１０３】
ステップ１０８では、ステップ１０２における規格化によって得られた特定フィルム画像の規格化後の画像データから、ステップ１０６で抽出した複数のハイライト画素のデータを各々抽出する。そしてステップ１１０では、規格化後の画像データから抽出した複数のハイライト画素のデータに基づき、撮影記録時の光源の色を表す光源色データとして、複数のハイライト画素の各成分色毎の平均濃度を演算する。光源色データは規格化後の画像データから求めているので、フィルム特性に起因する色バランスの偏倚は補正されており、光源色データが表す色は、被写体の撮影記録に用いた光源の光源色（前記光源による照明光の色味）を精度良く表している。
【０１０４】
ステップ１１２では、ステップ１１０で演算した光源色データに基づいて、処理対象の特定フィルム画像のハイライト部の色相及び彩度を表すハイライト色ベクトルＨＬを求める。このハイライト色ベクトルＨＬは、例えば先に説明したグレーバランス補正条件演算処理(図３）のステップ１６６と同様に、光源色データが表すハイライト部の各成分色毎の平均濃度に対応するＲＧＢ濃度座標上での濃度点を平面ψ上に写像し、例として図８に示すように、平面ψ上に設定したｘｙ直交座標の原点（ＲＧＢ濃度座標の原点と同一の位置に位置している）から前記濃度点の平面ψ上への写像位置ＰHLへ向かうベクトルをハイライト色ベクトルＨＬとすることで求めることができる。ハイライト色ベクトルＨＬは、ｘ軸の成す角度（色相角）がハイライト部の平均的な色相を表し、ベクトルの大きさ（長さ）Ｈがハイライト部の平均的な彩度を表している。
【０１０５】
次のステップ１１４では、ステップ１１２で求めたハイライト色ベクトルＨＬに基づいて、処理対象の特定フィルム画像の撮影記録時の光源色が明らかに非グレーか否か判定する。平面ψ上に設定したｘｙ直交座標の原点は、グレーバランス補正条件演算処理によって演算されたグレーバランスを表しており、グレー（中性色）に対する光源色の偏倚度合いはｘｙ直交座標の原点と写像位置ＰHLとの距離に正比例する。従ってステップ１１４の判定は、例えばハイライト色ベクトルの大きさＨが所定値以上か否かを判断することで行うことができる。
【０１０６】
ステップ１１４の判定が否定された場合には、処理対象の特定フィルム画像は異種光源を用いて撮影記録された画像ではないと判断できるので、該特定フィルム画像に対する色バランス補正量Ｃ（詳細は後述）に０を設定し、ステップ１２８へ移行する。またステップ１１４の判定が肯定された場合、処理対象の特定フィルム画像は、異種光源を用いて撮影記録された画像である可能性がある。このため、ステップ１１６以降で処理対象の特定フィルム画像中のハイライト部の色と特定フィルム画像の全画素（特定フィルム画像を構成する各要素に相当）の色との相関を求める。
【０１０７】
すなわち、ステップ１１６ではステップ１０２における規格化によって得られた特定フィルム画像の規格化後の画像データから単一の画素（特定画素）のデータを取り込み、先のステップ１１２と同様に色ベクトルＣＰ（図８参照）を演算する。ステップ１１８では、ハイライト色ベクトルＨＬと特定画素の色ベクトルＣＰの成す角度（色相角差）を表す物理量として、ハイライト色ベクトルＨＬと特定画素の色ベクトルＣＰの色相角差の余弦（内積）ＣＯＳを次式に従って演算し、演算結果を記憶する。
ＣＯＳ＝ＨＬ・ＣＰ／｜ＨＬ｜｜ＣＰ｜
【０１０８】
ステップ１２０では、処理対象の特定フィルム画像中の全ての画素に対してついてステップ１１６、１１８の処理を行ったか否か判定する。判定が否定された場合にはステップ１１６に戻り、ステップ１２０の判定が肯定される迄ステップ１１６〜ステップ１２０を繰り返す。そしてステップ１２０の判定が肯定されるとステップ１２２へ移行する。
【０１０９】
色相がハイライト部と大きく相違している画素の色ベクトルＣＰは、図８に「ハイライト色ベクトルとの色相角差：大」の色ベクトルＣＰとして示すように、平面ψ（２次元色座標）上でのハイライト色ベクトルＨＬとの成す角度が大きくなり、色相角差の余弦ＣＯＳは符号が負になるか、或いは符号が正の場合にも小さな値となる（色相角差の余弦ＣＯＳ≪１）。
【０１１０】
また色相がハイライト部と近似している画素の色ベクトルＣＰは、図８に「ハイライト色ベクトルとの色相角差：小」の色ベクトルＣＰとして示すように、平面ψ上でのハイライト色ベクトルＨＬとの成す角度が小さくなり、色相角差の余弦ＣＯＳは「１」に近い値となる。
【０１１１】
異種光源を用いて撮影記録されたフィルム画像は、前記光源の影響を受け、フィルム画像中のハイライト部の色が、光源種に対応する特定の色相かつ高彩度の色になると共に、フィルム画像中の非ハイライト部の色についても、ハイライト部と同一の特定の色相を帯びた色になる。従って、フィルム画像中の全ての画素についての色相角差の余弦ＣＯＳの演算結果に基づき、色相角差の余弦ＣＯＳの値が小さい側からの累積ヒストグラムを作成したとすると、異種光源を用いて撮影されたフィルム画像については、一例として図９にも示すように、殆どの画素は色相角差の余弦ＣＯＳが「１」に近い値となり、色相角差の余弦ＣＯＳの最小値も比較的高い値となる（図９の例では「０．６」程度の値）。
【０１１２】
一方、カラーフェリアの生じ易いフィルム画像は、一定の色相の領域が画像中の広い面積を占めているので、該一定の色相の領域内にフィルム画像中のハイライト部が存在していた場合には、上記と同様に多数の画素について色相角差の余弦ＣＯＳが「１」に近い値となる。しかし図１０及び図１１には、互いに異なるフィルム画像（何れもカラーフェリアの生じ易いフィルム画像）から求めた色相角差の余弦ＣＯＳの累積ヒストグラムを各々示すが、これらの図からも明らかなように、昼光等の一般的な光源を用いて撮影記録されたフィルム画像は、カラーフェリアの生じ易い画像内容であったとしても、異種光源を用いて撮影記録された画像と比較して、色相角差の余弦ＣＯＳの最小値が明らかに小さな値となる（図１０の例では「−１」程度、図１１の例でも「−０．４」程度の値）。
【０１１３】
またハイライトフェリアの生じ易いフィルム画像についても、上記と同様に、異種光源を用いて撮影記録された画像と比較して、色相角差の余弦ＣＯＳの最小値が明らかに小さな値となることは言うまでもない。
【０１１４】
上記に基づきステップ１２２では、フィルム画像中のハイライト部の色と原画像を構成する各要素の色との相関を表す物理量（色相角相関Ｔ）として、全ての画素について演算した色相角差の余弦ＣＯＳの最小値を抽出する。なお、ステップ１０４〜ステップ１２２は請求項１及び請求項２に記載の演算手段に対応しており、詳しくは請求項３，４に記載の演算手段にも各々対応している。
【０１１５】
そしてステップ１２４では、ハイライト色ベクトルの大きさＨ及び色相角相関Ｔに基づいて異種光源度αを演算する。なお異種光源度αは、例えば図１２に示すようなハイライト色ベクトルの大きさＨ及び色相角相関Ｔと異種光源度αの関係を示すマップを用いて演算することができる。ステップ１２４は請求項１及び請求項２に記載の設定手段に対応しており、異種光源度αは本発明の色バランス偏倚度に対応している。
【０１１６】
図１２に示したマップは、色相角相関Ｔが所定値未満（図１２では一例として０．２未満）のときにはハイライト色ベクトルＨＬの大きさＨに拘わらず異種光源度αの値が「０」になり、ハイライト色ベクトルの大きさＨが所定値未満（図１２では一例として０．１５未満）のときにも色相角相関Ｔの値に拘わらず異種光源度αの値が「０」になるように定められているので、昼光等の一般的な光源を用いて撮影記録されたフィルム画像については、カラーフェリア或いはハイライトフェリアの生じ易い画像であっても、異種光源度α＝０と設定される。
【０１１７】
本実施形態に係る異種光源度αは、撮影記録時の光源に起因するフィルム画像の色バランスの偏倚の度合いを表しており、後述するように、異種光源補正における補正量を異種光源度αの値に応じて決定しているので、昼光等の一般的な光源を用いて撮影記録されたフィルム画像に対しては異種光源補正は実質的に行なわれず、異種光源補正によって逆に出力画像の画質が低下することはない。
【０１１８】
また、図１２に示したマップは、色相角相関Ｔが所定値（例えば０．２）以上で、かつハイライト色ベクトルＨＬの大きさＨも所定値（例えば０．１５）以上のときには、色相角相関Ｔの値が大きくなるに伴って異種光源度αの値が増加し、ハイライト色ベクトルＨＬの大きさＨが大きくなるに伴って異種光源度αの値が増加するように定められている。従って、異種光源を用いて撮影記録されたフィルム画像については、撮影記録時の光源に起因するフィルム画像の色バランスの偏倚の度合いに応じた補正量で異種光源補正が行なわれることになる。
【０１１９】
次のステップ１２６では、ステップ１２４で求めた異種光源度αに基づいて、ハイライト色ベクトルＨＬが表す色バランス偏倚に応じた色バランス補正量Ｃを次式に従って演算する。
Ｃ＝αＨＬ
ステップ１２８では、同一の写真フィルムに記録された全てのフィルム画像に対してステップ１０２以降の処理を行ったか否か判定する。判定が否定された場合にはステップ１０２に戻り、全てのフィルム画像に対してステップ１０２以降の処理を繰り返す。これにより、同一の写真フィルムに記録された全てのフィルム画像に対して異種光源度αが各々設定されることになる。
【０１２０】
全てのフィルム画像に対して異種光源度αを設定すると、ステップ１２８の判定が肯定されてステップ１３０へ移行し、各フィルム画像から各々求めたハイライト色ベクトルＨＬを互いに比較する。そして次のステップ１３２において、ハイライト色ベクトルＨＬが近似している（例えば色相角差が所定角度以下でかつ大きさＨの差が所定値以下）フィルム画像群が有るか否か判定する。判定が否定された場合にはステップ１３８へ移行する。
【０１２１】
一方、ハイライト色ベクトルＨＬが近似しているフィルム画像群が有った場合には、該フィルム画像群を構成する各フィルム画像は、同一種の光源を使用して撮影記録されたフィルム画像であると判断できる。このため、ステップ１３２の判定が肯定された場合にはステップ１３４へ移行し、ハイライト色ベクトルＨＬが近似しているフィルム画像群に対し、該フィルム画像群を構成する個々のフィルム画像の色バランス補正量Ｃの平均値を演算する。
【０１２２】
そして、次のステップ１３６では、ステップ１３４で演算した色バランス補正量Ｃの平均値を、前記フィルム画像群を構成する各フィルム画像に対する色バランス補正量として各々設定する。これにより、ハイライト色ベクトルＨＬが近似しているフィルム画像については同一の補正量で色バランスが補正されることになり、各フィルム画像に対応する出力画像の色バランスを近似させることができる。
【０１２３】
なお、ハイライト色ベクトルＨＬが近似しているフィルム画像群が複数群有ると判断した場合には、個々のフィルム画像群毎に色バランス補正量Ｃの平均値を各々演算し（ステップ１３４）、演算した色バランス補正量Ｃの平均値を、対応するフィルム画像群を構成するフィルム画像のみに各々設定する（ステップ１３６）。
【０１２４】
そしてステップ１３８では、各フィルム画像毎に、設定した色バランス補正量Ｃに基づいて、ファインスキャン画像データに対する異種光源補正処理の処理条件（異種光源補正条件：具体的には異種光源補正処理を行うためのＬＵＴ（ルックアップテーブル）に設定する変換データ）を設定し、濃度・色補正条件演算処理を終了する。なお、上述した濃度・色補正条件演算処理のうち、ステップ１２６以降の処理は請求項１及び請求項２に記載の補正手段に対応しており、更にステップ１３２〜ステップ１３６は請求項５に記載の補正手段に対応している。
【０１２５】
上記の濃度・色補正条件演算処理により、昼光等の一般的な光源を用いて撮影記録されたフィルム画像については実質的に無補正となり、異種光源を用いて撮影記録されたフィルム画像については先に設定した補正量Ｃで異種光源補正が行なわれるように、各フィルム画像に対する異種光源補正条件が各々設定されることになる。濃度・色変換条件演算処理によって各フィルム画像毎に設定した濃度・色変換条件（グレーバランス補正条件及び異種光源補正条件）は、オートセットアップエンジン４４から、ファインスキャン画像データに対して濃度・色変換処理を行うイメージプロセッサ４０へ出力される。
【０１２６】
フィルムスキャナ１２において、写真フィルム２６に記録された各フィルム画像に対してファインスキャンが行なわれることで、画像処理部１４のイメージプロセッサ４０にファインスキャン画像データが入力されると、イメージプロセッサ４０では、図４のフローチャートに示される画像処理が行われる。なお、図４ではイメージプロセッサで行なわれる画像処理を便宜的にフローチャートで示しているが、該画像処理は実際には画像処理回路等のハードウェアによって実現される。
【０１２７】
イメージプロセッサ４０は、まずＬＵＴ等を用い、ファインスキャン画像データが表すフィルム画像の平均濃度が、同一のフィルム画像のプレスキャン画像データが表すフィルム画像の平均濃度と一致するように、入力されたファインスキャン画像データを補正するプレ・ファインスキャン間補正を行う（ステップ２１０）。次に、ＬＵＴやマトリクス演算回路（ＭＴＸ）等を用い、フィルムスキャナ１２の機差（例えばラインＣＣＤセンサ３０の分光感度の素子単位でのばらつき等）を補正するスキャナキャリブレーションを行う（ステップ２１２）。
【０１２８】
そしてイメージプロセッサ４０は、プレ・ファインスキャン間補正及びスキャナキャリブレーションを経たファインスキャン画像データを、該画像データに対応するグレーバランス補正条件を設定したグレーバランス補正用のＬＵＴに入力することでグレーバランス補正を行い（ステップ２１４）、グレーバランス補正用のＬＵＴから出力された画像データを、該画像データに対応する異種光源補正条件を設定した異種光源補正用のＬＵＴに入力することで異種光源補正を行う（ステップ２１６）。
【０１２９】
なお、ステップ２１４におけるグレーバランス補正は、請求項２に記載の規格化手段によるファインスキャン画像データに対する規格化に対応しており、ステップ２１６における異種光源補正は、請求項１及び請求項２に記載の補正手段によるファインスキャン画像データに対する色バランス補正に対応している。
【０１３０】
これにより、フィルム特性に起因する色バランスの偏倚、及び撮影記録時の光源に起因する色バランスの偏倚が各々高精度に補正され、処理対象のフィルム画像がカラーフェリアの生じ易い画像である場合や、ハイライトフェリアの生じ易い画像である場合、或いは蛍光灯やタングステン灯等の異種光源で撮影記録された画像である場合にも、被写体のグレーの部分（昼光等の一般的な光源による照明下でグレーに見える部分）が画像データ上でグレーとなるように、ファインスキャン画像データを変換することができる。
【０１３１】
上記のようにして濃度・色補正処理（グレーバランス補正及び異種光源補正）を行うと、イメージプロセッサ４０はハイパートーン処理やハイパーシャープネス処理等の他の画像処理を行う（ステップ２１８）。そして、上記の画像処理を経た画像データ（出力画像データ）は、例えばイメージプロセッサ４０からプリンタ１６へとして出力されて印画紙６８への画像の記録に用いられたり、或いはＣＤ−Ｒ等の情報記憶媒体に格納される。
【０１３２】
なお、上記ではフィルム画像中の全ての画素について色相角差の余弦ＣＯＳを各々演算し、色相角相関Ｔを求めていたが、本発明はこれに限定されるものではなく、フィルム画像中の全画素のうちのグレー候補画素についてのみ、色相角差の余弦ＣＯＳを各々演算して色相角相関Ｔを求めるようしてもよい。また、フィルム画像中の非ハイライト部に相当する画素についてのみ色相角差の余弦ＣＯＳを演算するようにしてもよいし、フィルム画像中の非ハイライト部に相当する画素のうちのグレー候補画素についてのみ色相角差の余弦ＣＯＳを演算するようにしてもよい。
【０１３３】
また、上記では個々のフィルム画像に対し、比較的低解像度での読み取り（プレスキャン）と比較的高解像度での読み取り（ファインスキャン）の２回の読み取りを行い、プレスキャンによって得られた低解像度画像データを用いて濃度・色変換条件の設定を行っていたが、これに限定されるものではなく、例えばプレスキャンによって得られた画像データはファインスキャン時の読取条件の決定にのみ用いてもよいし、フィルム画像に対してファインスキャンに相当する解像度での単一回の読み取りのみを行うようにしてもよい。この場合、濃度・色変換条件の設定は、ファインスキャンによって得られた高解像度画像データに対して画素の間引きや統合等の処理を行って低解像度画像データを生成し、生成した低解像度画像データを用いることで行うことができる。
【０１３４】
また、上記では写真フィルムに撮影記録されたフィルム画像を原画像とし、原画像を表す画像データとして、前記フィルム画像を読み取ることで得られたスキャン画像データを用いていたが、本発明は上記に限定されるものではなく、デジタルスチルカメラによって撮影記録された画像（情報記録媒体に記録された画像データが表す画像を原画像とし、原画像を表す画像データとして、デジタルスチルカメラによって前記情報記録媒体に記録された画像データを用いてもよい。
【０１３５】
以上、本発明の実施形態について詳細に説明したが、本実施形態は、特許請求の範囲に記載した事項の実施態様以外に、以下に記載する事項の実施態様を含んでいる。
【０１３６】
（１）前記規格化手段は、前記複数の原画像の画像データに基づいて、各原画像から被写体のグレーの部分に対応する画素である可能性の高いグレー候補画素を各々抽出し、各原画像から各々抽出したグレー候補画素から成るグレー候補画素群の所定の座標上での分布に基づいて処理対象の原画像の画像データの規格化を行うことを特徴とする請求項１記載の画像処理装置。
【０１３７】
（２）前記規格化手段は、前記原画像のハイライト及びシャドーの色を基準にして前記原画像中の高彩度の画素を判断し、判断した高彩度の画素を除外することでグレー候補画素を抽出することを特徴とする（１）記載の画像処理装置。
【０１３８】
（３）前記規格化手段は、前記グレー候補画素群の所定の座標上での分布のうち前記処理対象の原画像の濃度域内における分布を線形近似することで、前記処理対象の原画像におけるグレーバランスを表すグレー軸を推定し、推定したグレー軸を基準として前記処理対象の原画像の画像データの規格化を行うことを特徴とする（１）記載の画像処理装置。
【０１３９】
【発明の効果】
以上説明したように本発明は、被写体が撮影記録されることで形成された原画像中のハイライト部の色を表すハイライト色ベクトル、及び、ハイライト色ベクトルと原画像を構成する各要素の色を表す色ベクトルとの成す角度の余弦を求め、ハイライト色ベクトル及び前記角度の余弦に基づいて撮影記録時の光源に起因する原画像の色バランス偏倚度を設定し、前記色バランス偏倚度に基づき、ハイライト部の色に応じて画像データの色バランスを補正するので、撮影記録時の光源に起因する原画像の色バランス偏倚を高精度に補正することができる、という優れた効果を有する。
【０１４０】
また本発明は、一定の条件で被写体が撮影記録されて成る複数の原画像の画像データから処理対象の原画像におけるグレーバランスを推定して処理対象の原画像の画像データを規格化し、処理対象の原画像中のハイライト部の色を表すハイライト色ベクトル、及び、ハイライト色ベクトルと原画像を構成する各要素の色を表す色ベクトルとの成す角度の余弦を求め、ハイライト色ベクトル及び前記角度の余弦に基づいて撮影記録時の光源に起因する処理対象の原画像の色バランス偏倚度を判断し、前記色バランス偏倚度に基づき、ハイライト部の色に応じて処理対象の原画像の画像データの色バランスを補正するので、被写体が撮影記録されて成る原画像に対し、撮影記録特性に起因する色バランスの偏倚、及び撮影記録時の光源に起因する色バランス偏倚を各々高精度に補正することができる、という優れた効果を有する。
【図面の簡単な説明】
【図１】 本実施形態に係る画像処理システムの概略構成図である。
【図２】 本実施形態に係る濃度・色変換条件設定処理の内容を示すフローチャートである。
【図３】 グレーバランス補正条件演算処理の内容を示すフローチャートである。
【図４】 イメージプロセッサで実行される画像処理の内容を便宜的に示すフローチャートである。
【図５】 （Ａ）乃至（Ｃ）はフィルム画像中の高彩度画素の抽出を説明するための概念図である。
【図６】 （Ａ）及び（Ｂ）は高彩度の画素を多数含む画像、（Ｃ）は前記画像から高彩度画素を除外した後の、ＲＧＢ濃度座標上における各画素のデータの分布の一例を示す概念図である。
【図７】 （Ａ）は複数の画像から各々抽出したグレー候補画素から成るグレー候補画素群のＲＧＢ濃度座標上における分布の一例を示す概念図、（Ｂ）は（Ａ）に示したグレー候補画素群からの特定の画像のグレー軸の推定を説明するための概念図である。
【図８】 ハイライト色ベクトルＨＬ及び特定画素の色ベクトルＣＰの一例を示す概念図である。
【図９】 異種光源を用いて撮影記録されたフィルム画像から求めた、ハイライト色ベクトルと各画素の色ベクトルの成す角度の余弦（内積）ＣＯＳの累積ヒストグラムの一例を示す線図である。
【図１０】 カラーフェリアの生じ易いフィルム画像から求めた、ハイライト色ベクトルと各画素の色ベクトルの成す角度の余弦（内積）ＣＯＳの累積ヒストグラムの一例を示す線図である。
【図１１】 カラーフェリアの生じ易いフィルム画像から求めた、ハイライト色ベクトルと各画素の色ベクトルの成す角度の余弦（内積）ＣＯＳの累積ヒストグラムの他の例を示す線図である。
【図１２】 色相角相関Ｔとハイライト色ベクトルの大きさＨから異種光源度αを求めるための異種光源判定テーブルの一例を示す線図である。
【符号の説明】
１０ 画像処理システム
１４ 画像処理装置
２６ 写真フィルム
４０ イメージプロセッサ
４４ オートセットアップエンジン
７２ 情報記憶媒体
【発明の属する技術分野】
本発明は画像処理装置、方法及び記録媒体に係り、特に、被写体が撮影記録されることで形成された原画像を表す画像データに対し、少なくとも被写体の撮影記録時の光源に起因する原画像の色バランス偏倚を補正する画像処理方法、該画像処理方法を適用可能な画像処理装置、及びコンピュータを前記画像処理装置として機能させるためのプログラムが記録された記録媒体に関する。
【０００２】
【従来の技術及び発明が解決しようとする課題】
カメラ等によって被写体が撮影記録された写真フィルムに対して現像等の処理を行うことで写真フィルム上に可視化される画像（写真フィルムに撮影記録された画像）の色バランスは、写真フィルムそのものの特性や現像処理における処理条件等（以下、これらをフィルム特性と総称する）の影響を受け、撮影時の被写体の色バランスに対して偏倚している。このため、写真フィルムに撮影記録された画像を印画紙等の記録材料に記録したり、ディスプレイ等の表示手段に表示するにあたっては、記録材料に記録される画像や表示手段に表示される画像（以下、これらを出力画像と総称する）の色バランスが撮影時の被写体の色バランスに一致するように（撮影時の被写体のグレーの部分が出力画像上でグレーとして再現されるように）出力画像の色バランスを補正する必要がある。
【０００３】
出力画像の色バランス補正方法の一例として、写真フィルムに撮影記録された画像（原画像）のハイライトに相当する画素（例えばネガ画像では最大濃度の画素、ポジ画像では最小濃度の画素）の色を白、原画像のシャドーに相当する画素（例えばネガ画像では最小濃度の画素、ポジ画像では最大濃度の画素）の色を黒と仮定して、撮影時の被写体のグレー部分の原画像上での色バランスを表すグレーバランスを推定し、推定したグレーバランスを基準として出力画像の色バランスを補正する方法が知られている。この方法では、原画像からハイライトに相当する画素及びシャドーに相当する画素を各々抽出し、グレーバランスを表すグレー軸として、例えばＲＧＢ濃度座標上での双方の画素に対応する点を直線で結んだ軸を求めている。
【０００４】
しかし、上記の補正方法では、例えばストロボを使用して人物を撮影した画像において人物の顔の頬の部分（肌色の部分）がハイライトとなっている等のように、原画像中のハイライトに相当する画素の色が白でない場合に、適正なグレーバランスを表すグレー軸を求めることができず（シャドーについても同様）、出力画像の色バランスが前記ハイライトに相当する画素の色の補色の色に偏倚する（ハイライトフェリアという）。上記のようなハイライトフェリアの生じ易い原画像の出現頻度は比較的高く、適正な色バランスの出力画像が得られる確率が低いという問題があった。
【０００５】
また、エバンスの理論に基づき、各成分色（例えばＲ，Ｇ，Ｂ）毎のＬＡＴＤ（積算透過濃度）が一定の画像を、色バランスが撮影時の被写体の色バランスに一致している画像（グレーバランスがとれている画像）とみなし、原画像の各成分色（例えばＲ，Ｇ，Ｂ）毎のＬＡＴＤ（積算透過濃度）を測定し、出力画像の各成分色毎のＬＡＴＤが一定となるように出力画像の色バランスを補正する方法も知られている。
【０００６】
しかし、上記の補正方法では非グレーかつ略一定の色相の領域（例えば緑の芝生や青い空・海に対応する領域等）が原画像中の比較的広い面積を占めていた場合に、出力画像の各成分色毎のＬＡＴＤが一定となるように補正することで、出力画像の色バランスが前記領域の色の補色の色に偏倚する（カラーフェリアという）。上記のようなカラーフェリアの生じ易い原画像の出現頻度も比較的高いので、前述した補正方法と同様に適正な色バランスの出力画像が得られる確率が低いという問題があった。
【０００７】
また、特開平９−８３８２５号公報には、原画像を表す画像データＤＲ，ＤＧ，ＤＢから低彩度画素に関する画像データＤＲ’，ＤＧ’，ＤＢ’を取得し、画像データＤＲ’，ＤＧ’，ＤＢ’の各々におけるシャドー点ＤＲｓ，ＤＧｓ，ＤＢｓ及びハイライト点ＤＲｈ，ＤＧｈ，ＤＢｈを求め、画素毎に対応している画像データの組（ＤＲ’，ＤＧ’）の一方の同一値毎に他方を平均してなる画像データ（ＤＲ”，ＤＧ”）の集合を求め、画像データ（ＤＲ”，ＤＧ”）の集合とシャドー点（ＤＲｓ，ＤＧｓ）及びハイライト点（ＤＲｈ，ＤＧｈ）からこれら２色の濃度間の関係を求め、この関係に基づいて画像データＤＲとＤＧの少なくとも一方をその全域に亘って他方と等しくなるように線形変換する技術が開示されている。
【０００８】
上記公報に記載の技術では、原画像を表す画像データから高彩度の画素のデータを演算対象から除外することで、原画像がカラーフェリアの生じ易い画像であった場合の影響を軽減しようとしており、高彩度の画素に加え、該高彩度の画素に隣接しかつ前記高彩度画素との色相差が所定値以内の画素も演算対象から除外している。しかし、実際にはカラーフェリアの生じ易い原画像に対して上記処理を行ったとしても、原画像中の比較的広い面積を占めている非グレーかつ略一定の色相の領域の画素のうち、演算対象から除外されずに残っている画素も多い。従って、原画像がカラーフェリアの生じ易い画像であった場合、出力画像に対する色バランスの補正精度が充分でないという問題があった。
【０００９】
また、蛍光灯やタングステン灯等のような異種光源で照明されたシーンを写真フィルムに撮影記録することで得られる画像（異種光源シーンの画像）の色バランスは、前記異種光源による照明光の分光分布が昼光等の一般的な光源の分光分布と大きく相違していることの影響を受け、被写体本来の色バランス（昼光等の一般的な光源で照明したときの色バランス）に対して特定の色に偏倚することが知られている。異種光源シーンの画像は、前述のハイライトフェリアの生じ易い画像と同様に、原画像中のハイライトに相当する画素の色が白以外の色（光源種に応じた特定の色）になる。
【００１０】
しかし、異種光源シーンの画像から適正な色バランスの出力画像（被写体が本来の色バランスで再現された出力画像）を得るためには、ハイライトに相当する画素の色を白（グレイ）とみなして色バランスを補正する必要があるのに対し、ハイライトフェリアの生じ易い画像から適正な色バランスの出力画像を得るためには、ハイライトに相当する画素の色が保存されるように（ハイライトに相当する画素の色を非グレイとみなして）色バランスを補正する必要があり、色バランスの適正な補正方向が全く異なっている。
【００１１】
従来の色バランス補正では上記について何ら考慮されておらず、原画像の画像内容（カラーフェリアの生じ易い画像か否か、ハイライトフェリアの生じ易い画像か否か等）に拘わらずフィルム特性による原画像の色バランス偏倚を高精度に補正することと、撮影時の光源に起因する原画像の色バランス偏倚を高精度に補正することの双方を満足する色バランス補正は見当たらない。
【００１２】
また、上述した従来の色バランス補正に関する問題は、デジタルスチルカメラによって被写体が撮影記録されて成る原画像（被写体が撮影されることで画像データとして情報記録媒体に記録された原画像）に対して色バランス補正を行う場合にも共通する問題である。すなわち、デジタルスチルカメラによって被写体が撮影されることで情報記録媒体に記録された画像データが表す原画像の色バランスは、デジタルカメラの光電変換素子の特性の影響を受けて撮影時の被写体の色バランスに対して偏倚すると共に、撮影時の光源の影響を受けて被写体本来の色バランスに対して偏倚する。
【００１３】
本発明は上記事実を考慮して成されたもので、撮影記録時の光源に起因する原画像の色バランス偏倚を高精度に補正することができる画像処理装置を得ることが第１の目的である。
【００１４】
また本発明は、被写体が撮影記録されて成る原画像に対し、撮影記録特性に起因する色バランスの偏倚、及び撮影記録時の光源に起因する色バランス偏倚を各々高精度に補正することができる画像処理装置、方法及び記録媒体を得ることが第２の目的である。
【００１５】
【課題を解決するための手段】
第１の目的を達成するために請求項１記載の発明に係る画像処理装置は、被写体が撮影記録されることで形成された原画像を表す画像データに基づいて、原画像中のハイライト部の色を表すハイライト色ベクトル、及び、前記ハイライト色ベクトルと原画像を構成する各要素の色を表す色ベクトルとの成す角度の余弦を求める演算手段と、前記演算手段によって求められた前記ハイライト色ベクトル及び前記角度の余弦の最小値に基づき、前記被写体の撮影記録時の光源に起因する原画像の色バランス偏倚度を、前記ハイライト色ベクトルの大きさが第１所定値未満又は前記角度の余弦の最小値が第２所定値未満のときには前記光源に起因する色バランス偏倚度が０となり、前記ハイライト色ベクトルの大きさが第１所定値以上かつ前記角度の余弦の最小値が第２所定値以上のときに、前記角度の余弦の最小値が大きくなるに従って前記光源に起因する色バランス偏倚度が増大すると共に、前記ハイライト色ベクトルの大きさが大きくなるに従って前記光源に起因する色バランス偏倚度が増大するように設定する設定手段と、前記設定手段によって設定された前記光源に起因する色バランス偏倚度に基づき、前記ハイライト部の色に応じて画像データの色バランスを補正する補正手段と、を含んで構成されている。
【００１６】
被写体が撮影記録されることで形成される原画像（カメラによって被写体が撮影記録された写真フィルムに対して現像等の処理を行うことで写真フィルム上に可視化される画像（写真フィルムに撮影記録された画像）、或いはデジタルスチルカメラによって被写体が撮影されることで情報記録媒体に記録された画像データが表す画像（デジタルスチルカメラによって撮影記録された画像))は、被写体の撮影記録時の光源が異種光源であった場合に該光源の影響を受けて色バランスが偏倚するが、本願発明者は、このとき原画像中のハイライト部の色が、光源種に対応する特定の色相かつ高彩度の色になると共に、原画像中の非ハイライト部の色についても、前記特定の色相を帯びた色になることに着目して請求項１の発明を成すに至った。
【００１７】
上記に基づき請求項１記載の発明に係る演算手段は、原画像を表す画像データ（写真フィルムに撮影記録された画像を読み取ることで得られた画像データ、或いはデジタルスチルカメラによって情報記録媒体に記録された画像データ（撮影記録された画像を表す画像データ))に基づいて、原画像中のハイライト部の色を表すハイライト色ベクトル、及び、前記ハイライト色ベクトルと原画像を構成する各要素（単一の画素であっても複数の画素から成る画素群であってもよい）の色を表す色ベクトルとの成す角度の余弦を求め（原画像の非ハイライト部に対応する各要素についてのみ前記角度の余弦を求めてもよいし、原画像の全領域に対応する要素について各々前記角度の余弦を求めてもよい）、設定手段は、ハイライト色ベクトル及び角度の余弦の最小値に基づき、被写体の撮影記録時の光源に起因する原画像の色バランス偏倚度を、ハイライト色ベクトルの大きさが第１所定値未満又は前記角度の余弦の最小値が第２所定値未満のときには光源に起因する色バランス偏倚度が０となり、ハイライト色ベクトルの大きさが第１所定値以上かつ前記角度の余弦の最小値が第２所定値以上のときに、前記角度の余弦の最小値が大きくなるに従って光源に起因する色バランス偏倚度が増大すると共に、ハイライト色ベクトルの大きさが大きくなるに従って光源に起因する色バランス偏倚度が増大するように設定する。
【００１９】
上記のように原画像中のハイライト部の色を表すハイライト色ベクトル、及び、ハイライト色ベクトルと原画像を構成する各要素の色を表す色ベクトルとの成す角度の余弦を用いることで、設定手段は、被写体の撮影記録時の光源に起因する原画像の色バランス偏倚度が正確に反映されるように、光源に起因する色バランス偏倚度を設定することができる。そして補正手段は、設定手段によって設定された光源に起因する色バランス偏倚度に基づき、原画像中のハイライト部の色に応じて画像データの色バランスを補正するので、撮影記録時の光源に起因する原画像の色バランス偏倚を高精度に補正することができる。
【００２０】
第２の目的を達成するために請求項２記載の発明に係る画像処理装置は、一定の条件で被写体が撮影記録されて成る複数の原画像の画像データに基づいて処理対象の原画像におけるグレーバランスを推定し、推定したグレーバランスを基準として処理対象の原画像の画像データを規格化する規格化手段と、処理対象の原画像の画像データに基づいて、処理対象の原画像中のハイライト部の色を表すハイライト色ベクトル、及び、前記ハイライト色ベクトルと原画像を構成する各要素の色を表す色ベクトルとの成す角度の余弦を求める演算手段と、前記演算手段によって求められた前記ハイライト色ベクトル及び前記角度の余弦の最小値に基づき、前記被写体の撮影記録時の光源に起因する処理対象の原画像の色バランス偏倚度を、前記ハイライト色ベクトルの大きさが第１所定値未満又は前記角度の余弦の最小値が第２所定値未満のときには前記光源に起因する色バランス偏倚度が０となり、前記ハイライト色ベクトルの大きさが第１所定値以上かつ前記角度の余弦の最小値が第２所定値以上のときに、前記角度の余弦の最小値が大きくなるに従って前記光源に起因する色バランス偏倚度が増大すると共に、前記ハイライト色ベクトルの大きさが大きくなるに従って前記光源に起因する色バランス偏倚度が増大するように設定する設定手段と、前記設定手段によって設定された前記光源に起因する色バランス偏倚度に基づき、前記ハイライト部の色に応じて処理対象の原画像の画像データの色バランスを補正する補正手段と、を含んで構成されている。
【００２１】
請求項２記載の発明に係る規格化手段は、一定の条件（例えばカメラによって同一の写真フィルムに撮影記録された、デジタルスチルカメラによって同一の情報記録媒体に画像データが記録された、或いは同一のデジタルスチルカメラによって撮影記録された等）で被写体が撮影記録されて成る複数の原画像の画像データに基づいて処理対象の原画像におけるグレーバランスを推定し、推定したグレーバランスを基準として処理対象の原画像の画像データを規格化する。上記のように、複数の原画像の画像データを用いることで、例えば処理対象の原画像、或いは複数の原画像のうちの一部の原画像がカラーフェリアの生じ易い画像やハイライトフェリアの生じ易い画像であったとしても、複数の原画像全体では個々の原画像の画像内容のばらつきが平均化され、複数の原画像についての撮影記録特性を精度良く推定できる。
【００２２】
なお本発明において、撮影記録特性は被写体の各成分色毎の濃度（又は輝度）と画像データ上での各成分色毎の濃度との関係を表す特性を意味し、前記関係に応じて変動するグレーバランスを表している。この撮影記録特性は、カメラによって写真フィルムに画像を撮影記録する態様においてはフィルム特性、デジタルスチルカメラによって情報記録媒体に画像データを記録する態様においては光電変換素子の特性等に応じて定まる。
【００２３】
複数の原画像は一定の条件で撮影記録されているので、撮影記録特性も同一又は類似しており、複数の原画像の画像データを用いることで、撮影記録特性に応じて偏倚する処理対象の原画像におけるグレーバランスを精度良く推定することができ、推定したグレーバランスを基準として処理対象の原画像の画像データを規格化することで、撮影記録特性に起因する処理対象の原画像の色バランス（グレーバランス）の偏倚を精度良く補正することができる。
【００２４】
なお、規格化手段による処理対象の原画像の画像データの規格化は、具体的には、例えば複数の原画像の画像データに基づいて、各原画像から被写体のグレーの部分に対応する画素である可能性の高いグレー候補画素を各々抽出し、各原画像から各々抽出したグレー候補画素から成るグレー候補画素群の所定の座標上での分布に基づいて行うことが好ましい。上記において、グレー候補画素群は複数の原画像から各々抽出したグレー候補画素から構成されているので、グレー候補画素群の所定の座標上での分布は複数の原画像についての撮影記録特性を高精度に表しており、前記分布を用いることで処理対象の原画像におけるグレーバランスを精度良く推定することができ、撮影記録特性に起因する処理対象の原画像の色バランスの偏倚を精度良く補正することができる。
【００２５】
また、個々の原画像からのグレー候補画素の抽出は、具体的には、例えば個々の原画像のハイライト及びシャドーの色を基準にして前記原画像中の高彩度の画素を判断し、判断した高彩度の画素を除外することで行うことができる。また、画像中で高彩度の画素に隣接した位置に存在する画素のうち、前記高彩度の画素と色相（又は色相及び彩度）が近似している画素も高彩度の画素と判断するようにしてもよい。上記により、カラーフェリアの原因になると推定される画素の殆どを高彩度の画素として除外することができる。
【００２６】
また、グレー候補画素群の所定の座標上での分布に基づく処理対象の原画像の画像データの規格化は、グレー候補画素群の所定の座標上での分布のうち前記処理対象の原画像の濃度域内における分布を線形近似することで、処理対象の原画像におけるグレーバランスを表すグレー軸を推定し、推定したグレー軸を基準として処理対象の原画像の画像データの規格化を行うことが好ましい。
【００２７】
個々の原画像の濃度域は不定であるので、複数の原画像全体としての濃度域は一般に広範な濃度域に亘っており、これに伴って複数の原画像についての撮影記録特性についても広範な濃度域に跨っている。また、撮影記録特性はフィルム特性又は光電変換素子の特性等に応じて定まるので非線形な特性を有している。一方、個々の原画像の濃度域は撮影記録特性の濃度域に比較して明らかに小さく、規格化手段による規格化（グレーバランスの補正）にあたって個々の原画像毎に必要とされる撮影記録特性（グレーバランス情報）は、撮影記録特性の全濃度域のうちの一部の濃度域（個々の原画像の濃度域）に過ぎない。
【００２８】
従って、前述のようにグレー候補画素群の所定の座標上での分布のうち処理対象の原画像の濃度域内における分布を線形近似することで、処理対象の原画像におけるグレーバランスを表すグレー軸を推定することにより、処理対象の原画像の規格化（グレーバランス補正）に必要とされる濃度域におけるグレーバランス（グレー軸）を簡易な処理によって精度良く推定できる。
【００２９】
ところで、規格化手段が上述した規格化を行うことで、撮影記録特性に起因する処理対象の原画像の色バランスの偏倚は精度良く補正できるものの、撮影記録時の光源に起因する色バランスの偏倚は撮影記録特性とは無関係であるので、蛍光灯やタングステン灯等の異種光源を用いて撮影記録された原画像については、例えば複数の原画像の全てが同一種の異種光源を用いて撮影記録された等の特殊な場合を除き、規格化手段による規格化を行っても撮影記録時の光源に起因する色バランスの偏倚は補正されずに残っている。
【００３０】
このため請求項２の発明では、演算手段は、処理対象の原画像の画像データに基づいて、処理対象の原画像中のハイライト部の色を表すハイライト色ベクトル、及び、ハイライト色ベクトルと原画像を構成する各要素の色を表す色ベクトルとの成す角度の余弦を求め、設定手段は、ハイライト色ベクトル及び前記角度の余弦の最小値に基づき、被写体の撮影記録時の光源に起因する処理対象の原画像の色バランス偏倚度を、ハイライト色ベクトルの大きさが第１所定値未満又は前記角度の余弦の最小値が第２所定値未満のときには光源に起因する色バランス偏倚度が０となり、ハイライト色ベクトルの大きさが第１所定値以上かつ前記角度の余弦の最小値が第２所定値以上のときに、前記角度の余弦の最小値が大きくなるに従って光源に起因する色バランス偏倚度が増大すると共に、ハイライト色ベクトルの大きさが大きくなるに従って光源に起因する色バランス偏倚度が増大するように設定する。これにより、請求項１の発明と同様に、被写体の撮影記録時の光源に起因する処理対象の原画像の色バランス偏倚度が正確に反映されるように、光源に起因する色バランス偏倚度を設定することができる。
【００３１】
そして補正手段は、設定手段によって設定された光源に起因する色バランス偏倚度に基づき、処理対象の原画像中のハイライト部の色に応じて画像データの色バランスを補正するので、撮影記録時の光源に起因する原画像の色バランス偏倚を高精度に補正することができる。従って、請求項２の発明によれば、被写体が撮影記録されて成る原画像に対し、撮影記録特性に起因する色バランスの偏倚、及び撮影記録時の光源に起因する色バランス偏倚を各々高精度に補正することができる。
【００３２】
請求項３記載の発明は、請求項２の発明において、演算手段は、規格化手段による規格化前の画像データに基づき処理対象の原画像のハイライト及びシャドーの色を基準にして判断された処理対象の原画像中の高彩度の画素以外の画素のデータを用いて処理対象の原画像中のハイライト部を抽出し、抽出したハイライト部の色を表すハイライト色ベクトルを求め、前記規格化手段による規格化後の処理対象の原画像の画像データに基づいて、前記ハイライト色ベクトルと原画像を構成する各要素の色を表す色ベクトルとの成す角度の余弦を求めることを特徴としている。
【００３３】
処理対象の原画像中のハイライト部の色を表すハイライト色ベクトルを求めるにあたっては、処理対象の画像中のハイライト部と無関係の高彩度の画素を除外してハイライト部を抽出する必要があるが、異種光源を用いて撮影記録された原画像は、原画像中のハイライト部の色が光源種に対応する特定の色相かつ高彩度の色になるので、例えば複数の画像についての撮影記録特性を基準として単に高彩度の画素を判断して除外したとすると、処理対象の原画像中のハイライト部に対応する画素も高彩度の画素として除外される可能性がある。
【００３４】
これに対し請求項３の発明では、規格化手段による規格化前の（複数の原画像の画像データに基づき撮影記録特性に起因する色バランス偏倚を補正する前の）画像データに基づき、処理対象の原画像のハイライト及びシャドーの色を基準にして判断された処理対象の原画像中の高彩度の画素以外の画素のデータを用いて、処理対象の原画像中のハイライト部を抽出し、抽出したハイライト部の色を表すハイライト色ベクトルを求めているので、ハイライト部に対応する画素が高彩度の画素として除外されることはなく、処理対象の原画像中のハイライト部を確実に抽出することができ、ハイライト部の色を正確に表すハイライト色ベクトルを得ることができる。
【００３５】
なお、抽出したハイライト部の色を求めるにあたっては、規格化手段による規格化後の処理対象の原画像の画像データ（撮影記録特性に起因する色バランス偏倚が補正された画像データ）を用いることが好ましい。
【００３６】
また、請求項３の発明では、規格化手段による規格化後の処理対象の原画像の画像データ、すなわち複数の原画像の画像データに基づき撮影記録特性に起因する色バランス偏倚が補正された画像データ（異種光源を使用して被写体が撮影記録された原画像については、ハイライト部を含む画像各部の色バランスが、前記光源の影響を受けて特定の色相に偏倚した画像を表す画像データとなる）に基づいて、ハイライト色ベクトルと原画像を構成する各要素の色を表す色ベクトルとの成す角度の余弦を求めているので、ハイライト色ベクトルと原画像を構成する各要素の色を表す色ベクトルとの成す角度の余弦を正確に求めることができる。
【００３７】
なお、原画像を構成する要素としては、請求項４に記載したように、処理対象の原画像中の全ての画素を用いてもよいし、処理対象の原画像中の全ての画素のうち被写体のグレーの部分に対応する画素である可能性の高いグレー候補画素を用いてもよい。特に被写体のグレーの部分に対応する画素である可能性の高いグレー候補画素を用いた場合には、光源色による影響以上に被写体の色の影響を受けた画素が原画像中に存在していた場合にも、該画素の影響を受けることなく、被写体の撮影記録時の光源に起因する処理対象の原画像の色バランス偏倚度を正確に判断することができる。
【００４０】
請求項５記載の発明は、請求項２の発明において、前記補正手段は、前記複数の原画像のうち類似のシーンが撮影記録されることで形成された原画像を判断し、類似のシーンが撮影記録されることで形成された原画像については同一又は近似した補正量で画像データの色バランスを補正することを特徴としている。
【００４１】
請求項５記載の発明では、複数の原画像のうち類似のシーンが撮影記録されることで形成された原画像（例えば同一種の光源で撮影記録されたと推定されるハイライト部の色が略同一の原画像等）を判断し、類似のシーンが撮影記録されることで形成された原画像については同一又は近似した補正量で画像データの色バランスを補正するので、補正手段による補正を経た画像データを画像の出力（記録材料への画像の記録や、表示手段への画像の表示等）に用いる場合に、類似したシーンが撮影記録されることで形成された原画像に対応する出力画像の仕上がりを同一又は近似させることができる。
【００４２】
請求項６記載の発明に係る画像処理方法は、一定の条件で被写体が撮影記録されて成る複数の原画像の画像データに基づいて処理対象の原画像におけるグレーバランスを推定し、推定したグレーバランスを基準として処理対象の原画像の画像データを規格化し、処理対象の原画像の画像データに基づいて、処理対象の原画像中のハイライト部の色を表すハイライト色ベクトル、及び、前記ハイライト色ベクトルと原画像を構成する各要素の色を表す色ベクトルとの成す角度の余弦を求め、前記演算手段によって求められた前記ハイライト色ベクトル及び前記角度の余弦の最小値に基づき、前記被写体の撮影記録時の光源に起因する処理対象の原画像の色バランス偏倚度を、前記ハイライト色ベクトルの大きさが第１所定値未満又は前記角度の余弦の最小値が第２所定値未満のときには前記光源に起因する色バランス偏倚度が０となり、前記ハイライト色ベクトルの大きさが第１所定値以上かつ前記角度の余弦の最小値が第２所定値以上のときに、前記角度の余弦の最小値が大きくなるに従って前記光源に起因する色バランス偏倚度が増大すると共に、前記ハイライト色ベクトルの大きさが大きくなるに従って前記光源に起因する色バランス偏倚度が増大するように設定し、前記設定手段によって設定された前記光源に起因する色バランス偏倚度に基づき、前記ハイライト部の色に応じて処理対象の原画像の画像データの色バランスを補正するので、請求項２の発明と同様に、被写体が撮影記録されて成る原画像に対し、撮影記録特性に起因する色バランスの偏倚、及び撮影記録時の光源に起因する色バランス偏倚を各々高精度に補正することができる。
【００４３】
請求項７記載の発明に係る記録媒体は、コンピュータを、一定の条件で被写体が撮影記録されて成る複数の原画像の画像データに基づいて処理対象の原画像におけるグレーバランスを推定し、推定したグレーバランスを基準として処理対象の原画像の画像データを規格化する規格化手段、被写体が撮影記録されることで形成された原画像を表す画像データに基づいて、原画像中のハイライト部の色を表すハイライト色ベクトル、及び、前記ハイライト色ベクトルと原画像を構成する各要素の色を表す色ベクトルとの成す角度の余弦を求める演算手段、前記演算手段によって求められた前記ハイライト色ベクトル及び前記角度の余弦の最小値に基づき、前記被写体の撮影記録時の光源に起因する原画像の色バランス偏倚度を、前記ハイライト色ベクトルの大きさが第１所定値未満又は前記角度の余弦の最小値が第２所定値未満のときには前記光源に起因する色バランス偏倚度が０となり、前記ハイライト色ベクトルの大きさが第１所定値以上かつ前記角度の余弦の最小値が第２所定値以上のときに、前記角度の余弦の最小値が大きくなるに従って前記光源に起因する色バランス偏倚度が増大すると共に、前記ハイライト色ベクトルの大きさが大きくなるに従って前記光源に起因する色バランス偏倚度が増大するように設定する設定手段、及び、前記設定手段によって設定された前記光源に起因する色バランス偏倚度に基づき、前記ハイライト部の色に応じて画像データの色バランスを補正する補正手段として機能させるためのプログラムが記録されている。
【００４４】
請求項７記載の発明に係る記録媒体には、コンピュータを上記の規格化手段、演算手段、設定手段及び補正手段として機能させるためのプログラム、すなわち請求項２に記載の画像処理装置として機能させるためのプログラムが記録されているので、コンピュータが前記記録媒体に記録されたプログラムを読み出して実行することにより、請求項２の発明と同様に、被写体が撮影記録されて成る原画像に対し、撮影記録特性に起因する色バランスの偏倚、及び撮影記録時の光源に起因する色バランス偏倚を各々高精度に補正することができる。
【００４５】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態の一例を詳細に説明する。図１には、本発明が適用された画像処理システム１０が示されている。画像処理システム１０は、フィルムスキャナ１２、画像処理装置１４及びプリンタ１６が直列に接続されて構成されている。
【００４６】
フィルムスキャナ１２は、写真フィルム２６（例えばネガフィルムやリバーサルフィルム）等の写真感光材料（以下単に写真フィルムと称する）に記録されているフィルム画像（被写体を撮影後、現像処理されることで可視化されたネガ画像又はポジ画像：本発明の原画像に相当）を読み取り、該読み取りによって得られた画像データを出力するものであり、光源２０から射出され光拡散ボックス２２によって光量むらが低減された光が、フィルムキャリア２４にセットされている写真フィルム２６に照射され、写真フィルム２６を透過した光がレンズ２８を介してラインＣＣＤセンサ３０（エリアＣＣＤセンサでもよい）の受光面上に結像されるように構成されている。
【００４７】
フィルムキャリア２４は、写真フィルム２６上のフィルム画像が記録されている箇所が、光源２０からの射出光の光軸上に順に位置するように写真フィルム２６を搬送する。これにより、写真フィルム２６に記録されているフィルム画像がＣＣＤセンサ３０によって順に読み取られ、ＣＣＤセンサ３０からはフィルム画像に対応する信号が出力される。ＣＣＤセンサ３０から出力された信号はＡ／Ｄ変換器３２によってデジタルの画像データに変換されて画像処理装置１４に入力される。
【００４８】
画像処理装置１４のラインスキャナ補正部３６は、入力されたスキャンデータ（フィルムスキャナ１２から入力されるＲ、Ｇ、Ｂのデータ）から各画素毎に対応するセルの暗出力レベルを減ずる暗補正、暗補正を行ったデータを濃度値を表すデータに対数変換する濃度変換、写真フィルム２６を照明する光の光量むらに応じて濃度変換後のデータを補正するシェーディング補正、該シェーディング補正を行ったデータのうち入射光量に対応した信号が出力されないセル（所謂欠陥画素）のデータを周囲の画素のデータから補間して新たに生成する欠陥画素補正の各処理を順に行う。ラインスキャナ補正部３６の出力端はＩ／Ｏコントローラ３８の入力端に接続されており、ラインスキャナ補正部３６で前記各処理が施されたデータはスキャンデータとしてＩ／Ｏコントローラ３８に入力される。
【００４９】
Ｉ／Ｏコントローラ３８の入力端は、イメージプロセッサ４０のデータ出力端にも接続されており、イメージプロセッサ４０からは画像処理（詳細は後述）が行われた画像データが入力される。また、Ｉ／Ｏコントローラ３８の入力端はパーソナルコンピュータ４２にも接続されている。パーソナルコンピュータ４２は拡張スロット（図示省略）を備えており、この拡張スロットには、メモリカードやＣＤ−Ｒ等の情報記憶媒体に対してデータの読出し／書込みを行うドライバ（図示省略）や、他の情報処理機器と通信を行うための通信制御装置が接続される。拡張スロットを介して外部からファイル画像データが入力された場合、入力されたファイル画像データはＩ／Ｏコントローラ３８へ入力される。
【００５０】
Ｉ／Ｏコントローラ３８の出力端は、イメージプロセッサ４０のデータ入力端、オートセットアップエンジン４４、パーソナルコンピュータ４２に各々接続されており、更にＩ／Ｆ回路５４を介してプリンタ１６に接続されている。Ｉ／Ｏコントローラ３８は、入力された画像データを、出力端に接続された前記各機器に選択的に出力する。
【００５１】
本実施形態では、写真フィルム２６に記録されている個々のフィルム画像に対し、フィルムスキャナ１２において異なる解像度で２回の読み取りを行う。１回目の比較的低解像度での読み取り（以下、プレスキャンという）では、フィルム画像の濃度が非常に低い場合（例えばネガフィルムにおける露光アンダのネガ画像）にも、ＣＣＤセンサ３０で蓄積電荷の飽和が生じないように決定した読取条件（写真フィルム２６に照射する光のＲ、Ｇ、Ｂの各波長域毎の光量、ＣＣＤセンサ３０の電荷蓄積時間）で写真フィルム２６の全面の読み取りが行われる。このプレスキャンによって得られたデータ（プレスキャンデータ）は、Ｉ／Ｏコントローラ３８からオートセットアップエンジン４４へ入力される。
【００５２】
オートセットアップエンジン４４は、ＣＰＵ４６、ＲＡＭ４８（例えばＤＲＡＭ）、ＲＯＭ５０（例えば記憶内容を書換え可能なＲＯＭ）、入出力ポート５２を備え、これらがバスを介して互いに接続されて構成されている。オートセットアップエンジン４４は、Ｉ／Ｏコントローラ３８から入力されたプレスキャンデータに基づいてフィルム画像のコマ位置を判定し、写真フィルム２６上のフィルム画像記録領域に対応するデータ（プレスキャン画像データ）を抽出する。また、プレスキャン画像データに基づいて、フィルム画像のサイズを判定すると共に濃度等の画像特徴量を演算し、プレスキャンを行った写真フィルム２６に対し、フィルムスキャナ１２が比較的高解像度での再度の読み取り（以下、ファインスキャンという）を行う際の読取条件を決定する。そしてコマ位置及び読取条件をフィルムスキャナ１２に出力する。
【００５３】
また、オートセットアップエンジン４４は、プレスキャン画像データに基づいて、フィルム画像中の主要部（例えば人物の顔に相当する領域（顔領域))の抽出を含む画像特徴量の演算を行い、フィルムスキャナ１２がファインスキャンを行うことによって得られる画像データ（ファインスキャン画像データ）に対する各種の画像処理の処理条件を演算により自動的に決定し（セットアップ演算）、決定した処理条件をイメージプロセッサ４０へ出力する。
【００５４】
パーソナルコンピュータ４２には、ディスプレイ、キーボード、及びマウスが接続されている（何れも図示省略）。パーソナルコンピュータ４２は、オートセットアップエンジン４４からプレスキャン画像データを取込むと共に、オートセットアップエンジン４４によって決定された画像処理の処理条件を取込み、取り込んだ処理条件に基づき、ファインスキャン画像データを対象としてイメージプロセッサ４０で行われる画像処理と等価な画像処理をプレスキャン画像データに対して行ってシミュレーション画像データを生成する。
【００５５】
そして、生成したシミュレーション画像データを、ディスプレイに画像を表示するための信号に変換し、該信号に基づいてディスプレイにシミュレーション画像を表示する。また、表示されたシミュレーション画像に対しオペレータによって画質等の検定が行われ、検定結果として処理条件の修正を指示する情報がキーボードを介して入力されると、該情報をオートセットアップエンジン４４へ出力する。これにより、オートセットアップエンジン４４では画像処理の処理条件の再演算等の処理が行われる。
【００５６】
一方、フィルムスキャナ１２でフィルム画像に対してファインスキャンが行われることによってＩ／Ｏコントローラ３８に入力された画像データ（ファインスキャン画像データ）は、Ｉ／Ｏコントローラ３８からイメージプロセッサ４０へ入力される。イメージプロセッサ４０は、階調変換や色変換を含む濃度・色変換処理、画素密度変換処理、画像の超低周波輝度成分の階調を圧縮するハイパートーン処理、粒状を抑制しながらシャープネスを強調するハイパーシャープネス処理等の各種の画像処理を行う画像処理回路を各々備えており、入力された画像データに対し、オートセットアップエンジン４４によって各画像毎に決定されて通知された処理条件に従って種々の画像処理を行う。
【００５７】
イメージプロセッサ４０で実行可能な画像処理としては、上記以外に、例えば画像全体又は一部分（例えば人物の顔に相当する領域）に対するシャープネス補正又はソフトフォーカス処理や、画調を意図的に変更する画像処理（出力画像をモノトーンに仕上げる画像処理、出力画像をポートレート調に仕上げる画像処理、出力画像をセピア調に仕上げる画像処理等）や、画像を加工する画像処理（例えば原画像中に存在する人物を主画像上で細身に仕上げるための画像処理、赤目を修正する画像処理等）や、ＬＦ（レンズ付きフィルム）によって撮影された画像に対し、ＬＦのレンズの歪曲収差、倍率色収差に起因する画像の幾何学的歪み、色ずれ、ＬＦのレンズの周辺減光に起因する画像の周縁部の明度低下、ＬＦのレンズの特性に起因する画像の鮮鋭度の低下等のように、ＬＦのレンズの特性に起因する出力画像の画質の低下を補正する各種のＬＦ収差補正処理等が挙げられる。
【００５８】
イメージプロセッサ４０で画像処理が行われた画像データを印画紙への画像の記録に用いる場合には、イメージプロセッサ４０で画像処理が行われた画像データは、Ｉ／Ｏコントローラ３８からＩ／Ｆ回路５４を介し記録用画像データとしてプリンタ１６へ出力される。また、画像処理後の画像データを画像ファイルとして外部へ出力する場合は、Ｉ／Ｏコントローラ３８からパーソナルコンピュータ４２に画像データが出力される。これにより、パーソナルコンピュータ４２では、外部への出力用としてＩ／Ｏコントローラ３８から入力された画像データを、拡張スロットを介して画像ファイルとして外部（前記ドライバや通信制御装置等）に出力する。
【００５９】
プリンタ１６は、画像メモリ５８、Ｒ，Ｇ，Ｂのレーザ光源６０、該レーザ光源６０の作動を制御するレーザドライバ６２を備えている。画像処理装置１４から入力された記録用画像データは画像メモリ５８に一旦記憶された後に読み出され、レーザ光源６０から射出されるＲ，Ｇ，Ｂのレーザ光の変調に用いられる。レーザ光源６０から射出されたレーザ光は、ポリゴンミラー６４、ｆθレンズ６６を介して印画紙６８上を走査され、印画紙６８に画像が露光記録される。画像が露光記録された印画紙６８は、プロセッサ部１８へ送られて発色現像、漂白定着、水洗、乾燥の各処理が施される。これにより、印画紙６８に露光記録された画像が可視化される。
【００６０】
次に本実施形態の作用を説明する。本実施形態に係る濃度・色変換条件演算処理は、請求項６の発明に係る画像処理方法が適用された処理であり、オートセットアップエンジン４４のＣＰＵ４６により、濃度・色変換条件演算プログラムが実行されることにより実現される。濃度・色変換条件演算プログラムは、その他の処理をＣＰＵ４６で実行させるためのプログラムと共に、当初は、情報記憶媒体７２（図１参照）に記憶されている。なお、図１では情報記憶媒体７２をフロッピー（登録商標）ディスクとして示しているが、ＣＤ−ＲＯＭやメモリカード等の他の情報記憶媒体で構成してもよい。
【００６１】
パーソナルコンピュータ４２に接続された情報読出装置（図示省略）に情報記憶媒体７２が装填され、情報記憶媒体７２から画像処理装置１４へのプログラムの移入（インストール）が指示されると、情報読出装置によって情報記憶媒体７２から濃度・色変換条件演算プログラム等が読み出され、記憶内容を書換え可能なＲＯＭ５０に記憶される。
【００６２】
そして、濃度・色変換条件演算処理を実行すべきタイミング（スキャナ１２から画像処理装置１４にプレスキャンデータが入力され、オートセットアップエンジン４４において、プレスキャンデータからの画像データ（プレスキャン画像データ）の切り出し等の処理を完了したタイミング）が到来すると、ＲＯＭ５０から濃度・色変換条件演算プログラムが読み出され、濃度・色変換条件演算プログラムがＣＰＵ４６によって実行される。これにより、オートセットアップエンジン４４は請求項１及び請求項２の発明に係る画像処理装置として機能する。このように、濃度・色変換条件演算プログラム等を記憶している情報記憶媒体７２は請求項７に記載の記録媒体に対応している。
【００６３】
濃度・色変換条件演算処理は、イメージプロセッサ４０で実行される濃度・色変換処理における処理条件を、単一の写真フィルム２６に記録された各フィルム画像について各々演算する処理である。濃度・色変換処理は、詳しくはグレーバランス補正（撮影記録特性に起因する色バランス偏倚の補正に対応）と異種光源補正（撮影記録時の光源に起因する画像の色バランス偏倚の補正に対応）の２種類の補正を行う。このため濃度・色変換条件演算処理では、各フィルム画像について、グレーバランス補正における処理条件（グレーバランス補正条件）と異種光源補正における処理条件（異種光源補正条件）を各々演算する。
【００６４】
以下、濃度・色変換条件演算の詳細について図２のフローチャートを参照して説明する。なお、以下では一例として、写真フィルム２６としてのネガフィルムに記録されたネガ画像に対して色・濃度変換条件を演算する場合を説明する。
【００６５】
ステップ１６０では、グレーバランス補正条件を各フィルム画像について各々演算するグレーバランス補正条件演算処理を行う。この処理については図３のフローチャートを参照して説明する。ステップ１６０では、処理対象のフィルム画像のプレスキャン画像データを取り込む。なお、プレスキャン画像データはフィルム画像の全ての画素の各成分色（Ｒ，Ｇ，Ｂ）毎の濃度値を表すデータである。次のステップ１６２では、取り込んだプレスキャン画像データが表すフィルム画像の各画素の濃度値に基づいて、各成分色毎に最大濃度Ｄjmax 及び最小濃度Ｄjmin （ｊはＲ，Ｇ，Ｂの何れかを表す）を演算する。
【００６６】
ステップ１６４では、プレスキャン画像データから各成分色毎に求めた最大濃度Ｄjmax 及び最小濃度Ｄjmin に基づいて、各成分毎の最大濃度（Ｄrmax ，Ｄgmax ，Ｄbmax ）を仮のハイライト点の濃度、各成分毎の最小濃度（Ｄrmin ，Ｄgmin ，Ｄbmin ）を仮のシャドー点の濃度とし、フィルム画像の各画素の濃度値を各成分色毎に規格化する。この規格化は次式を用いて行うことができる。
Ｄj'＝１００×（Ｄj −Ｄjmin）／（Ｄjmax −Ｄjmin）
但し、Ｄjは演算対象画素の成分色ｊの濃度値、Ｄj'は成分色ｊの規格化濃度値である。
【００６７】
次のステップ１６６では、規格化後の画像データを用いて各画素の彩度を演算し、フィルム画像中の高彩度の画素を抽出する。例として図５（Ａ）に示すように、Ｒ濃度Ｄｒ、Ｇ濃度Ｄｇ、Ｂ濃度Ｄｂを座標軸とする３次元濃度座標（ＲＧＢ濃度座標）によって規定されるＲＧＢ濃度空間に対し、原点（０，０，０）及びＲＧＢ濃度空間内の点（１，１，１）を各々通る直線Ｑに垂直で、かつ原点（０，０，０）を含む平面ψ（Ｒ＋Ｇ＋Ｂ＝０の平面）を設定し、各画素の各成分色毎の規格化濃度値（Ｄr'，Ｄg'，Ｄb'）に対応するＲＧＢ濃度座標上での各画素の濃度点を平面ψ上に写像する。
【００６８】
そして平面ψ上に、図５（Ｂ）に示すｘｙ直交座標を設定する。或る画素の規格化濃度値に対応する濃度点の平面ψ上への写像位置が点Ｐであるとすると、前記画素の色相はｘｙ座標の原点及び点Ｐを通る直線とｘ軸の成す角θ（色相角θという）に対応し、前記画素の彩度はｘｙ座標の原点と点Ｐとの距離に対応している。なお参考までに、画素の明度は各成分色毎の規格化濃度に基づき「明度＝（Ｄr'＋Ｄg'＋Ｄb'）／３」等の演算式によって求めることができる。
【００６９】
従って、各画素毎に、規格化濃度値に対応する濃度点の平面ψ上への写像位置（点Ｐの位置）を求め、図５（Ｃ）にも示すように、ｘｙ座標の原点と点Ｐとの距離を彩度の閾値Ｌthと比較することで高彩度画素か否かを判定することができ、原点と点Ｐとの距離が彩度の閾値Ｌthよりも大きい画素を高彩度画素として抽出することができる。
【００７０】
次のステップ１６８では、ステップ１６６で抽出した特定の高彩度画素の色相を、フィルム画像上で前記特定の高彩度画素の近傍に存在する８個の画素（所謂８近傍の画素）の色相と各々比較し、特定の高彩度画素の近傍に存在している８画素の中に特定の高彩度画素と色相が近似している画素が有れば、該画素を高彩度画素と判定することを、ステップ１６６で抽出した全ての高彩度画素について各々行う。
【００７１】
ステップ１７０では、ステップ１６８の処理によって高彩度画素と判定した画素の数が増加したか否か判定する。ステップ１７０の判定が肯定された場合にはステップ１６８へ戻り、新たに高彩度画素と判定した画素を対象として、近傍に存在している画素（既に高彩度画素と判定されている画素を除く）との色相を比較し、近傍に存在している各画素のうち色相が近似している画素を高彩度画素と判定する。このステップ１６８はステップ１７０の判定が否定される迄繰り返される。ステップ１７０の判定が否定されるとステップ１７２へ移行し、高彩度画素と判定された画素を除外し、高彩度画素と判定されなかった画素のみをグレー候補画素と認定する。そして、グレー候補画素と認定した画素を記憶する。
【００７２】
例えばフィルム画像が高彩度の画素を多数含んだ画像（例えばカラーフェリアの生じ易い画像）であった場合、ＲＧＢ濃度座標上でフィルム画像の各画素に対応する位置に点をプロットしたときの点の分布（以下、単に「ＲＧＢ濃度座標上での画素の分布」という）は、例として図６（Ａ）及び（Ｂ）に示すように、グレーバランスを表すと推定される画素の集合（図６（Ａ）及び（Ｂ）における「グレー候補画素の集合」）の周囲の若干離れた位置に、高彩度の画素の集合が現れる分布となる。
【００７３】
しかし、上記処理を行うことで、フィルム画像中にカラーフェリアの原因となる可能性の高い領域、すなわち高彩度の画素を含む特定の色相の領域が含まれていた場合にも、該領域の殆どの画素（図６（Ａ）及び（Ｂ）に示した「高彩度の画素の集合」に対応する画素）を高彩度画素として除外することができ、グレー候補画素と認定した画素の中に、被写体のグレーの部分に対応する画素（グレーバランスを表す画素）が高い割合で含まれることになる。
【００７４】
次のステップ１７４では、プレスキャン画像データから、各成分色毎に、グレー候補画素中のハイライト点濃度Ｄｈj(最大濃度）及びシャドー点濃度Ｄｓj(最小濃度）を各々抽出する。なお、各成分色毎にダイナミックレンジＩＲ＝（Ｄｈr−Ｄｓr）、ＩＧ＝（Ｄｈg−Ｄｓg）、ＩＢ＝（Ｄｈb−Ｄｓb）を求め、各成分色毎のダイナミックレンジの差（ＩＲ−ＩＧ）、（ＩＧ−ＩＢ）、（ＩＢ−ＩＲ）を演算し、ダイナミックレンジの差が所定の許容値を越えた場合にはダイナミックレンジＩＲ，ＩＧ，ＩＢが互いに等しくなるようにハイライト点濃度（Ｄｈr，Ｄｈg，Ｄｈb）の何れかを修正するようにしてもよい。
【００７５】
ステップ１７６では、グレー候補画素から各成分色毎に求めたハイライト点濃度Ｄｈj及びシャドー点濃度Ｄｓj に基づいて、各成分毎のハイライト点濃度（Ｄｈr，Ｄｈg，Ｄｈb）をハイライト点の濃度、各成分毎のシャドー点濃度（Ｄｓr，Ｄｓg，Ｄｓb）をシャドー点の濃度とし、ＲＧＢ濃度座標上でハイライト点に対応する濃度点とシャドー点に対応する濃度点とを結ぶ軸を設定する（図６（Ｃ）参照）。
【００７６】
写真フィルムは、鮮やかな発色を実現するために、露光量が同一であってもグレー露光より多色露光の方が硬調に仕上がるように感光層が設計されていることが一般的であり（所謂重層効果）、フィルム画像中の被写体のグレーの部分に対応する画像領域よりも、被写体の非グレー色の部分（例えば赤等）に対応する画像領域の方が最大濃度が高くなる可能性がある。
【００７７】
上記に基づき本実施形態では、ステップ１６２で求めた最大濃度Ｄjmax 及び最小濃度Ｄjmin に基づいて画像データを規格化し（ステップ１６４）、高彩度画素を除去（ステップ１６６〜ステップ１７２）した後に、プレスキャン画像データからハイライト点濃度及びシャドー点濃度を求め（ステップ１７４）、ハイライト点濃度及びシャドー点濃度に基づいてハイライト−シャドー軸を設定している（ステップ１７６）。上記のように最大濃度Ｄjmax 及び最小濃度Ｄjmin を用いてハイライト−シャドー軸を設定することなく、ハイライト点濃度及びシャドー点濃度を求めてハイライト−シャドー軸を設定することで、ハイライトフェリアの発生を抑制することができる。
【００７８】
次のステップ１７８では、グレー候補画素の各々について、ＲＧＢ濃度座標上での対応する点の位置を各々求めると共に、求めた位置と前記ハイライト−シャドー軸との距離（濃度空間内における幾何学距離：ハイライト−シャドー軸との濃度差に相当）を各々演算し、ＲＧＢ濃度座標上での対応する点の位置とハイライト−シャドー軸との距離（濃度差）が大きくなるに従って重みが小さくなるように（前記距離（濃度差）が小さくなるに従って重みが大きくなるように）、各グレー候補画素に対して重みを各々設定する。そして設定した重みを記憶する。
【００７９】
ステップ１８０では、同一の写真フィルム２６に記録された全てのフィルム画像に対して上記処理を行ったか否か判定する。判定が否定された場合にはステップ１６０に戻り、ステップ１６０〜ステップ１７８の処理を繰り返す。これにより、同一の写真フィルム２６に記録されている全てのフィルム画像からグレー候補画素が各々抽出され、抽出された全てのグレー候補画素に対して各々重みが設定されることになる。
【００８０】
ステップ１８０の判定が肯定されるとステップ１８２へ移行し、ステップ１８２以降で、同一の写真フィルム２６に記録された複数のフィルム画像から各々抽出したグレー候補画素から成るグレー候補画素群（図７（Ａ）参照）に基づいて、処理対象のフィルム画像（同一の写真フィルム２６に記録された複数のフィルム画像のうちの１つ）のグレーバランスを表すグレー軸を線形近似によって求める。
【００８１】
すなわち、ステップ１８２では処理対象のフィルム画像の濃度域（ステップ１６２で演算した最大濃度Ｄjmax 及び最小濃度Ｄjmin ）を取り込む。次のステップ１８４では、グレー候補画素群を構成する各グレー候補画素のうち、先のステップ１８２で取り込んだ処理対象のフィルム画像の濃度域（最大濃度Ｄjmax から最小濃度Ｄjmin に至る濃度範囲）に対応するグレー候補画素のデータを抽出する。
【００８２】
写真フィルムに記録される複数のフィルム画像の各々の濃度域は不定であるので、複数のフィルム画像から各々抽出したグレー候補画素から成るグレー候補画素群のＲＧＢ濃度座標上での分布は、写真フィルム２６の発色濃度域（一般に濃度値で３．０に近い広さ）に対応する広がりをもっている。一方、写真フィルムに記録される個々のフィルム画像の濃度域は濃度値で１．０程度である。従ってステップ１８４により、図７（Ｂ）に「グレー軸推定対象の画像の濃度域」として一例を示すように、グレー候補画素群の全濃度域のうちの一部の濃度域内のグレー候補画素のデータのみが抽出される。
【００８３】
次のステップ１８６では、ステップ１８４でデータを抽出したグレー候補画素の重みを表すデータを取り込み、ステップ１８８では、写真フィルムに記録されたフィルム画像の数と対応されて予め設定されたグレー軸の傾きの許容範囲のうち、処理対象の写真フィルム２６に記録されたフィルム画像の数に対応するグレー軸の傾きの許容範囲を取り込む。なお、このグレー軸の傾きの許容範囲は、フィルム画像の数が少なくなるに伴って許容範囲が小さくなるように設定されている。
【００８４】
そしてステップ１９０では、ステップ１８４で抽出したグレー候補画素のデータ及びステップ１８６で抽出した各グレー候補画素の重みに基づいて、抽出したグレー候補画素のＲＧＢ濃度座標上における分布を、各グレー候補画素に付された重みも考慮して線形近似し、傾きが、ステップ１８８で取り込んだ許容範囲内となるように処理対象のフィルム画像のグレー軸を推定演算する。このグレー軸の推定演算は、請求項２に記載の規格化手段によるグレーバランスの推定に対応している。
【００８５】
なお、線形近似は、例えば線形重回帰分析等に利用される最小２乗法等の手法を適用し、予測誤差の平方和が最小となるように行うことができる。この場合、グレー軸の傾きを許容範囲内とすることは、例えば最小２乗法等による演算に際し、グレー軸を規定する変数のうちのグレー軸の傾きを規定する変数の値を、前記許容範囲に対応する数値範囲内の値に制限する条件式を連立方程式に加える等によって実現できる。
【００８６】
また、各グレー候補画素の重みを反映した線形近似は、例えば重みの大きい画素についてはＲＧＢ濃度空間内の略同一の位置に存在するグレー候補画素の数がデータ上で増加するようにグレー候補画素のデータを変換し（例えば１画素のデータを１００画素のデータに変換する等）、重みが小さい画素についてはＲＧＢ濃度空間内の略同一の位置に存在するグレー候補画素の数がデータ上で減少するようにグレー候補画素のデータを変換し（たとえば１００画素のデータを１画素のデータに変換する等）、変換後のグレー候補画素のデータを用いて線形近似を行うことで実現できる。
【００８７】
また、線形近似は３次元空間（ＲＧＢ濃度空間）上で行ってもよいし、複数の２次元空間（例えばＲ−Ｇ，Ｇ−Ｂ，Ｂ−Ｒの各濃度空間)上で行ってもよい。例えばＲＧＢ濃度空間上での線形近似によるグレー軸の推定は、処理対象のフィルム画像の濃度域として特定の成分色についてのフィルム画像の濃度域、或いはＲＧＢ平均濃度についてのフィルム画像の濃度域を用い、該濃度域内に存在するグレー候補画素のＲＧＢ濃度空間上での分布を線形近似することで行うことができる。
【００８８】
また、Ｒ−Ｇ，Ｇ−Ｂ，Ｂ−Ｒの各濃度空間上での線形近似によるグレー軸の推定は、例えばＲ−Ｇ濃度空間についてはフィルム画像のＲの濃度域内に存在するグレー候補画素の分布を線形近似し、Ｇ−Ｂ濃度空間についてはフィルム画像のＧの濃度域内に存在するグレー候補画素の分布を線形近似し、Ｂ−Ｒ濃度空間についてはフィルム画像のＢの濃度域内に存在するグレー候補画素の分布を線形近似し、各空間上での線形近似によって得られた３本の軸の重心に相当する軸をグレー軸として演算することができる。
【００８９】
次のステップ１９２では、処理対象のフィルム画像のグレー軸を推定演算した結果に基づいて、撮影記録時の被写体のグレーの部分が出力画像上でグレーとして再現されるように、ファインスキャン画像データに対するグレーバランス補正処理の処理条件（グレーバランス補正条件：具体的にはグレーバランス補正処理を行うためのＬＵＴ（ルックアップテーブル）に設定する変換データ）を設定する。なお、上記のグレーバランス補正条件は、請求項２に記載の規格化手段における「推定したグレーバランスを基準として処理対象の原画像の画像データを規格化する」ための条件に相当する。
【００９０】
上記のグレーバランス補正条件は、例えば推定演算したグレー軸が表すグレーバランスのうちのＧ濃度ＤｇとＲ濃度Ｄｒとの関係（グレー軸をＧ濃度及びＲ濃度を座標軸とする２次元濃度座標に投影した結果に相当）がＤｇ＝αrg・Ｄｒ＋βrgで表され、Ｇ濃度ＤｇとＢ濃度Ｄｂとの関係（グレー軸をＧ濃度及びＢ濃度を座標軸とする２次元濃度座標に投影した結果に相当）がＤｇ＝αbg・Ｄｂ＋βbgで表されるとすると、例えばＧ濃度Ｄｇは無変換とし、Ｒ濃度ＤｒについてはＤｒ＝αrg・Ｄｒ＋βrgなる変換式に従って変換され、Ｂ濃度ＤｂについてはＤｂ＝αbg・Ｄｂ＋βbgなる変換式に従って変換されるように設定することができる。
【００９１】
次のステップ１９４では、同一の写真フィルム２６に記録された全てのフィルム画像に対して上記処理（グレー軸の推定演算及び濃度・色変換処理の処理条件の設定）を行ったか否か判定する。判定が否定された場合にはステップ１８２に戻り、全てのフィルム画像に対してステップ１８２〜ステップ１９２の処理を繰り返す。これにより、同一の写真フィルム２６に記録された全てのフィルム画像に対し、個々のフィルム画像を単位として、グレーバランスを表すグレー軸が各々推定演算され、グレーバランス補正条件が各々設定されることになる。
【００９２】
先に説明したステップ１６０〜ステップ１７２におけるグレー候補画素の抽出精度には限度があり、例えば処理対象のフィルム画像がカラーフェリアやハイライトフェリアの生じ易い画像であった場合には、グレー候補画素として適正な画素（グレーバランスを表す画素）が抽出されない場合もある。
【００９３】
これに対して本実施形態では、同一の写真フィルム２６に記録された複数のフィルム画像からグレー候補画素を各々抽出し、グレーバランスの推定に際し、前記複数のフィルム画像から各々抽出したグレー候補画素から成るグレー候補画素群を用いている。グレー候補画素群は複数のフィルム画像から各々抽出したグレー候補画素から構成されているので、グレー候補画素群全体では複数のフィルム画像の画像内容のばらつきが平均化され、特定のフィルム画像からグレー候補画素として適正な画素が抽出されなかった場合にも、前記適正な画素が抽出されなかったことによる影響が軽減される。
【００９４】
従って、グレー候補画素群のＲＧＢ濃度座標上での分布は、全体として、写真フィルム２６の発色濃度域の全域におけるグレーバランス（写真フィルム２６に記録された各フィルム画像上でのグレーバランス）を精度良く表しており、このグレー候補画素群を用いてグレーバランスを推定することで、同一の写真フィルムに記録された各フィルム画像上でのグレーバランスを各々高い精度で推定することができ、フィルム特性に起因するフィルム画像の色バランス偏倚が補正されるように（撮影記録時の被写体のグレーの部分がグレーとして再現されるように）画像データを変換できる適正なグレーバランス補正条件を得ることができる。
【００９５】
また、グレー候補画素群のＲＧＢ濃度座標上での分布が表している、写真フィルム２６の発色濃度域の全域におけるグレーバランスは、フィルム特性等が反映され、図７（Ａ）に破線で示すようにＲＧＢ濃度座標上で曲線として表される：図７（Ａ）に破線で示す「実際のグレーバランスを表す特性曲線」を参照）。
【００９６】
これに対して本実施形態では、個々のフィルム画像を単位として、グレー候補画素群のＲＧＢ濃度座標上での分布を、個々のフィルム画像の濃度域内（写真フィルム２６の発色濃度域よりも大幅に狭い濃度域内）で各々線形近似することでグレーバランスを表すグレー軸を推定演算しているので、高次の非線形近似によってグレーバランスを表す特性曲線を求める場合と比較して、処理が非常に簡単になると共に、各フィルム画像毎に充分に高くかつ安定した推定精度でグレーバランスを推定することができ、グレーバランスを精度良く表すグレー軸に基づいて適正なグレーバランス補正条件を得ることができる。
【００９７】
ステップ１９４の判定が肯定されるとグレーバランス補正条件演算処理を終了し、濃度・色補正条件演算処理（図２）のステップ１０２へ移行する。ステップ１０２以降では異種光源補正条件を各フィルム画像毎に各々演算する。
【００９８】
すなわち、ステップ１０２では処理対象の特定フィルム画像の画像データ（プレスキャン画像データ）を取り込むと共に、先に説明したグレーバランス補正条件演算処理によって演算されたグレーバランス補正条件のうち、前記特定フィルム画像に対して設定されたグレーバランス補正条件を取り込み、取り込んだグレーバランス補正条件に従って、取り込んだ特定フィルム画像のプレスキャン画像データを変換することで画像データの規格化（グレーバランス補正）を行う。
【００９９】
この画像データの規格化により、フィルム特性（撮影記録特性）に起因する色バランスの偏倚が補正された画像データが得られる。なお、ステップ１０２は先に説明したグレーバランス補正条件演算処理と共に請求項２に記載の規格化手段に対応している。
【０１００】
ステップ１０４では、先のグレーバランス補正条件演算処理（のステップ１７２）において、特定フィルム画像から抽出されたグレー候補画素のデータを取り込み、次のステップ１０６では、取り込んだグレー候補画素のデータを対象として、特定フィルム画像中のハイライト部に対応すると推定される画素（ハイライト画素）を複数抽出する。
【０１０１】
このハイライト画素の抽出は、例えば各画素について各成分色毎の濃度の平均値（３色平均濃度）を各々演算して３色平均濃度のヒストグラムを作成し、高濃度側からの累積頻度が所定値に達する迄の区間に属する画素を抽出することで行うことができる。また、ハイライト画素として抽出する画素を、フィルム画像上で互いに近接した位置に存在している画素に制限してもよい。
【０１０２】
なお、異種光源を用いて撮影記録されたフィルム画像については、フィルム画像中のハイライト部の色が、撮影記録時に使用された光源種に対応する特定の色相かつ高彩度の色となるが、グレー候補画素は、該フィルム画像の最大濃度Ｄjmax 及び最小濃度Ｄjmin を基準として規格化を行って抽出しているので、異種光源を用いて撮影記録されたフィルム画像であっても、ステップ１０４で取り込んだグレー候補画素のデータの中に、実際のハイライトに相当する画素のデータが含まれている。
【０１０３】
ステップ１０８では、ステップ１０２における規格化によって得られた特定フィルム画像の規格化後の画像データから、ステップ１０６で抽出した複数のハイライト画素のデータを各々抽出する。そしてステップ１１０では、規格化後の画像データから抽出した複数のハイライト画素のデータに基づき、撮影記録時の光源の色を表す光源色データとして、複数のハイライト画素の各成分色毎の平均濃度を演算する。光源色データは規格化後の画像データから求めているので、フィルム特性に起因する色バランスの偏倚は補正されており、光源色データが表す色は、被写体の撮影記録に用いた光源の光源色（前記光源による照明光の色味）を精度良く表している。
【０１０４】
ステップ１１２では、ステップ１１０で演算した光源色データに基づいて、処理対象の特定フィルム画像のハイライト部の色相及び彩度を表すハイライト色ベクトルＨＬを求める。このハイライト色ベクトルＨＬは、例えば先に説明したグレーバランス補正条件演算処理(図３）のステップ１６６と同様に、光源色データが表すハイライト部の各成分色毎の平均濃度に対応するＲＧＢ濃度座標上での濃度点を平面ψ上に写像し、例として図８に示すように、平面ψ上に設定したｘｙ直交座標の原点（ＲＧＢ濃度座標の原点と同一の位置に位置している）から前記濃度点の平面ψ上への写像位置ＰHLへ向かうベクトルをハイライト色ベクトルＨＬとすることで求めることができる。ハイライト色ベクトルＨＬは、ｘ軸の成す角度（色相角）がハイライト部の平均的な色相を表し、ベクトルの大きさ（長さ）Ｈがハイライト部の平均的な彩度を表している。
【０１０５】
次のステップ１１４では、ステップ１１２で求めたハイライト色ベクトルＨＬに基づいて、処理対象の特定フィルム画像の撮影記録時の光源色が明らかに非グレーか否か判定する。平面ψ上に設定したｘｙ直交座標の原点は、グレーバランス補正条件演算処理によって演算されたグレーバランスを表しており、グレー（中性色）に対する光源色の偏倚度合いはｘｙ直交座標の原点と写像位置ＰHLとの距離に正比例する。従ってステップ１１４の判定は、例えばハイライト色ベクトルの大きさＨが所定値以上か否かを判断することで行うことができる。
【０１０６】
ステップ１１４の判定が否定された場合には、処理対象の特定フィルム画像は異種光源を用いて撮影記録された画像ではないと判断できるので、該特定フィルム画像に対する色バランス補正量Ｃ（詳細は後述）に０を設定し、ステップ１２８へ移行する。またステップ１１４の判定が肯定された場合、処理対象の特定フィルム画像は、異種光源を用いて撮影記録された画像である可能性がある。このため、ステップ１１６以降で処理対象の特定フィルム画像中のハイライト部の色と特定フィルム画像の全画素（特定フィルム画像を構成する各要素に相当）の色との相関を求める。
【０１０７】
すなわち、ステップ１１６ではステップ１０２における規格化によって得られた特定フィルム画像の規格化後の画像データから単一の画素（特定画素）のデータを取り込み、先のステップ１１２と同様に色ベクトルＣＰ（図８参照）を演算する。ステップ１１８では、ハイライト色ベクトルＨＬと特定画素の色ベクトルＣＰの成す角度（色相角差）を表す物理量として、ハイライト色ベクトルＨＬと特定画素の色ベクトルＣＰの色相角差の余弦（内積）ＣＯＳを次式に従って演算し、演算結果を記憶する。
ＣＯＳ＝ＨＬ・ＣＰ／｜ＨＬ｜｜ＣＰ｜
【０１０８】
ステップ１２０では、処理対象の特定フィルム画像中の全ての画素に対してついてステップ１１６、１１８の処理を行ったか否か判定する。判定が否定された場合にはステップ１１６に戻り、ステップ１２０の判定が肯定される迄ステップ１１６〜ステップ１２０を繰り返す。そしてステップ１２０の判定が肯定されるとステップ１２２へ移行する。
【０１０９】
色相がハイライト部と大きく相違している画素の色ベクトルＣＰは、図８に「ハイライト色ベクトルとの色相角差：大」の色ベクトルＣＰとして示すように、平面ψ（２次元色座標）上でのハイライト色ベクトルＨＬとの成す角度が大きくなり、色相角差の余弦ＣＯＳは符号が負になるか、或いは符号が正の場合にも小さな値となる（色相角差の余弦ＣＯＳ≪１）。
【０１１０】
また色相がハイライト部と近似している画素の色ベクトルＣＰは、図８に「ハイライト色ベクトルとの色相角差：小」の色ベクトルＣＰとして示すように、平面ψ上でのハイライト色ベクトルＨＬとの成す角度が小さくなり、色相角差の余弦ＣＯＳは「１」に近い値となる。
【０１１１】
異種光源を用いて撮影記録されたフィルム画像は、前記光源の影響を受け、フィルム画像中のハイライト部の色が、光源種に対応する特定の色相かつ高彩度の色になると共に、フィルム画像中の非ハイライト部の色についても、ハイライト部と同一の特定の色相を帯びた色になる。従って、フィルム画像中の全ての画素についての色相角差の余弦ＣＯＳの演算結果に基づき、色相角差の余弦ＣＯＳの値が小さい側からの累積ヒストグラムを作成したとすると、異種光源を用いて撮影されたフィルム画像については、一例として図９にも示すように、殆どの画素は色相角差の余弦ＣＯＳが「１」に近い値となり、色相角差の余弦ＣＯＳの最小値も比較的高い値となる（図９の例では「０．６」程度の値）。
【０１１２】
一方、カラーフェリアの生じ易いフィルム画像は、一定の色相の領域が画像中の広い面積を占めているので、該一定の色相の領域内にフィルム画像中のハイライト部が存在していた場合には、上記と同様に多数の画素について色相角差の余弦ＣＯＳが「１」に近い値となる。しかし図１０及び図１１には、互いに異なるフィルム画像（何れもカラーフェリアの生じ易いフィルム画像）から求めた色相角差の余弦ＣＯＳの累積ヒストグラムを各々示すが、これらの図からも明らかなように、昼光等の一般的な光源を用いて撮影記録されたフィルム画像は、カラーフェリアの生じ易い画像内容であったとしても、異種光源を用いて撮影記録された画像と比較して、色相角差の余弦ＣＯＳの最小値が明らかに小さな値となる（図１０の例では「−１」程度、図１１の例でも「−０．４」程度の値）。
【０１１３】
またハイライトフェリアの生じ易いフィルム画像についても、上記と同様に、異種光源を用いて撮影記録された画像と比較して、色相角差の余弦ＣＯＳの最小値が明らかに小さな値となることは言うまでもない。
【０１１４】
上記に基づきステップ１２２では、フィルム画像中のハイライト部の色と原画像を構成する各要素の色との相関を表す物理量（色相角相関Ｔ）として、全ての画素について演算した色相角差の余弦ＣＯＳの最小値を抽出する。なお、ステップ１０４〜ステップ１２２は請求項１及び請求項２に記載の演算手段に対応しており、詳しくは請求項３，４に記載の演算手段にも各々対応している。
【０１１５】
そしてステップ１２４では、ハイライト色ベクトルの大きさＨ及び色相角相関Ｔに基づいて異種光源度αを演算する。なお異種光源度αは、例えば図１２に示すようなハイライト色ベクトルの大きさＨ及び色相角相関Ｔと異種光源度αの関係を示すマップを用いて演算することができる。ステップ１２４は請求項１及び請求項２に記載の設定手段に対応しており、異種光源度αは本発明の色バランス偏倚度に対応している。
【０１１６】
図１２に示したマップは、色相角相関Ｔが所定値未満（図１２では一例として０．２未満）のときにはハイライト色ベクトルＨＬの大きさＨに拘わらず異種光源度αの値が「０」になり、ハイライト色ベクトルの大きさＨが所定値未満（図１２では一例として０．１５未満）のときにも色相角相関Ｔの値に拘わらず異種光源度αの値が「０」になるように定められているので、昼光等の一般的な光源を用いて撮影記録されたフィルム画像については、カラーフェリア或いはハイライトフェリアの生じ易い画像であっても、異種光源度α＝０と設定される。
【０１１７】
本実施形態に係る異種光源度αは、撮影記録時の光源に起因するフィルム画像の色バランスの偏倚の度合いを表しており、後述するように、異種光源補正における補正量を異種光源度αの値に応じて決定しているので、昼光等の一般的な光源を用いて撮影記録されたフィルム画像に対しては異種光源補正は実質的に行なわれず、異種光源補正によって逆に出力画像の画質が低下することはない。
【０１１８】
また、図１２に示したマップは、色相角相関Ｔが所定値（例えば０．２）以上で、かつハイライト色ベクトルＨＬの大きさＨも所定値（例えば０．１５）以上のときには、色相角相関Ｔの値が大きくなるに伴って異種光源度αの値が増加し、ハイライト色ベクトルＨＬの大きさＨが大きくなるに伴って異種光源度αの値が増加するように定められている。従って、異種光源を用いて撮影記録されたフィルム画像については、撮影記録時の光源に起因するフィルム画像の色バランスの偏倚の度合いに応じた補正量で異種光源補正が行なわれることになる。
【０１１９】
次のステップ１２６では、ステップ１２４で求めた異種光源度αに基づいて、ハイライト色ベクトルＨＬが表す色バランス偏倚に応じた色バランス補正量Ｃを次式に従って演算する。
Ｃ＝αＨＬ
ステップ１２８では、同一の写真フィルムに記録された全てのフィルム画像に対してステップ１０２以降の処理を行ったか否か判定する。判定が否定された場合にはステップ１０２に戻り、全てのフィルム画像に対してステップ１０２以降の処理を繰り返す。これにより、同一の写真フィルムに記録された全てのフィルム画像に対して異種光源度αが各々設定されることになる。
【０１２０】
全てのフィルム画像に対して異種光源度αを設定すると、ステップ１２８の判定が肯定されてステップ１３０へ移行し、各フィルム画像から各々求めたハイライト色ベクトルＨＬを互いに比較する。そして次のステップ１３２において、ハイライト色ベクトルＨＬが近似している（例えば色相角差が所定角度以下でかつ大きさＨの差が所定値以下）フィルム画像群が有るか否か判定する。判定が否定された場合にはステップ１３８へ移行する。
【０１２１】
一方、ハイライト色ベクトルＨＬが近似しているフィルム画像群が有った場合には、該フィルム画像群を構成する各フィルム画像は、同一種の光源を使用して撮影記録されたフィルム画像であると判断できる。このため、ステップ１３２の判定が肯定された場合にはステップ１３４へ移行し、ハイライト色ベクトルＨＬが近似しているフィルム画像群に対し、該フィルム画像群を構成する個々のフィルム画像の色バランス補正量Ｃの平均値を演算する。
【０１２２】
そして、次のステップ１３６では、ステップ１３４で演算した色バランス補正量Ｃの平均値を、前記フィルム画像群を構成する各フィルム画像に対する色バランス補正量として各々設定する。これにより、ハイライト色ベクトルＨＬが近似しているフィルム画像については同一の補正量で色バランスが補正されることになり、各フィルム画像に対応する出力画像の色バランスを近似させることができる。
【０１２３】
なお、ハイライト色ベクトルＨＬが近似しているフィルム画像群が複数群有ると判断した場合には、個々のフィルム画像群毎に色バランス補正量Ｃの平均値を各々演算し（ステップ１３４）、演算した色バランス補正量Ｃの平均値を、対応するフィルム画像群を構成するフィルム画像のみに各々設定する（ステップ１３６）。
【０１２４】
そしてステップ１３８では、各フィルム画像毎に、設定した色バランス補正量Ｃに基づいて、ファインスキャン画像データに対する異種光源補正処理の処理条件（異種光源補正条件：具体的には異種光源補正処理を行うためのＬＵＴ（ルックアップテーブル）に設定する変換データ）を設定し、濃度・色補正条件演算処理を終了する。なお、上述した濃度・色補正条件演算処理のうち、ステップ１２６以降の処理は請求項１及び請求項２に記載の補正手段に対応しており、更にステップ１３２〜ステップ１３６は請求項５に記載の補正手段に対応している。
【０１２５】
上記の濃度・色補正条件演算処理により、昼光等の一般的な光源を用いて撮影記録されたフィルム画像については実質的に無補正となり、異種光源を用いて撮影記録されたフィルム画像については先に設定した補正量Ｃで異種光源補正が行なわれるように、各フィルム画像に対する異種光源補正条件が各々設定されることになる。濃度・色変換条件演算処理によって各フィルム画像毎に設定した濃度・色変換条件（グレーバランス補正条件及び異種光源補正条件）は、オートセットアップエンジン４４から、ファインスキャン画像データに対して濃度・色変換処理を行うイメージプロセッサ４０へ出力される。
【０１２６】
フィルムスキャナ１２において、写真フィルム２６に記録された各フィルム画像に対してファインスキャンが行なわれることで、画像処理部１４のイメージプロセッサ４０にファインスキャン画像データが入力されると、イメージプロセッサ４０では、図４のフローチャートに示される画像処理が行われる。なお、図４ではイメージプロセッサで行なわれる画像処理を便宜的にフローチャートで示しているが、該画像処理は実際には画像処理回路等のハードウェアによって実現される。
【０１２７】
イメージプロセッサ４０は、まずＬＵＴ等を用い、ファインスキャン画像データが表すフィルム画像の平均濃度が、同一のフィルム画像のプレスキャン画像データが表すフィルム画像の平均濃度と一致するように、入力されたファインスキャン画像データを補正するプレ・ファインスキャン間補正を行う（ステップ２１０）。次に、ＬＵＴやマトリクス演算回路（ＭＴＸ）等を用い、フィルムスキャナ１２の機差（例えばラインＣＣＤセンサ３０の分光感度の素子単位でのばらつき等）を補正するスキャナキャリブレーションを行う（ステップ２１２）。
【０１２８】
そしてイメージプロセッサ４０は、プレ・ファインスキャン間補正及びスキャナキャリブレーションを経たファインスキャン画像データを、該画像データに対応するグレーバランス補正条件を設定したグレーバランス補正用のＬＵＴに入力することでグレーバランス補正を行い（ステップ２１４）、グレーバランス補正用のＬＵＴから出力された画像データを、該画像データに対応する異種光源補正条件を設定した異種光源補正用のＬＵＴに入力することで異種光源補正を行う（ステップ２１６）。
【０１２９】
なお、ステップ２１４におけるグレーバランス補正は、請求項２に記載の規格化手段によるファインスキャン画像データに対する規格化に対応しており、ステップ２１６における異種光源補正は、請求項１及び請求項２に記載の補正手段によるファインスキャン画像データに対する色バランス補正に対応している。
【０１３０】
これにより、フィルム特性に起因する色バランスの偏倚、及び撮影記録時の光源に起因する色バランスの偏倚が各々高精度に補正され、処理対象のフィルム画像がカラーフェリアの生じ易い画像である場合や、ハイライトフェリアの生じ易い画像である場合、或いは蛍光灯やタングステン灯等の異種光源で撮影記録された画像である場合にも、被写体のグレーの部分（昼光等の一般的な光源による照明下でグレーに見える部分）が画像データ上でグレーとなるように、ファインスキャン画像データを変換することができる。
【０１３１】
上記のようにして濃度・色補正処理（グレーバランス補正及び異種光源補正）を行うと、イメージプロセッサ４０はハイパートーン処理やハイパーシャープネス処理等の他の画像処理を行う（ステップ２１８）。そして、上記の画像処理を経た画像データ（出力画像データ）は、例えばイメージプロセッサ４０からプリンタ１６へとして出力されて印画紙６８への画像の記録に用いられたり、或いはＣＤ−Ｒ等の情報記憶媒体に格納される。
【０１３２】
なお、上記ではフィルム画像中の全ての画素について色相角差の余弦ＣＯＳを各々演算し、色相角相関Ｔを求めていたが、本発明はこれに限定されるものではなく、フィルム画像中の全画素のうちのグレー候補画素についてのみ、色相角差の余弦ＣＯＳを各々演算して色相角相関Ｔを求めるようしてもよい。また、フィルム画像中の非ハイライト部に相当する画素についてのみ色相角差の余弦ＣＯＳを演算するようにしてもよいし、フィルム画像中の非ハイライト部に相当する画素のうちのグレー候補画素についてのみ色相角差の余弦ＣＯＳを演算するようにしてもよい。
【０１３３】
また、上記では個々のフィルム画像に対し、比較的低解像度での読み取り（プレスキャン）と比較的高解像度での読み取り（ファインスキャン）の２回の読み取りを行い、プレスキャンによって得られた低解像度画像データを用いて濃度・色変換条件の設定を行っていたが、これに限定されるものではなく、例えばプレスキャンによって得られた画像データはファインスキャン時の読取条件の決定にのみ用いてもよいし、フィルム画像に対してファインスキャンに相当する解像度での単一回の読み取りのみを行うようにしてもよい。この場合、濃度・色変換条件の設定は、ファインスキャンによって得られた高解像度画像データに対して画素の間引きや統合等の処理を行って低解像度画像データを生成し、生成した低解像度画像データを用いることで行うことができる。
【０１３４】
また、上記では写真フィルムに撮影記録されたフィルム画像を原画像とし、原画像を表す画像データとして、前記フィルム画像を読み取ることで得られたスキャン画像データを用いていたが、本発明は上記に限定されるものではなく、デジタルスチルカメラによって撮影記録された画像（情報記録媒体に記録された画像データが表す画像を原画像とし、原画像を表す画像データとして、デジタルスチルカメラによって前記情報記録媒体に記録された画像データを用いてもよい。
【０１３５】
以上、本発明の実施形態について詳細に説明したが、本実施形態は、特許請求の範囲に記載した事項の実施態様以外に、以下に記載する事項の実施態様を含んでいる。
【０１３６】
（１）前記規格化手段は、前記複数の原画像の画像データに基づいて、各原画像から被写体のグレーの部分に対応する画素である可能性の高いグレー候補画素を各々抽出し、各原画像から各々抽出したグレー候補画素から成るグレー候補画素群の所定の座標上での分布に基づいて処理対象の原画像の画像データの規格化を行うことを特徴とする請求項１記載の画像処理装置。
【０１３７】
（２）前記規格化手段は、前記原画像のハイライト及びシャドーの色を基準にして前記原画像中の高彩度の画素を判断し、判断した高彩度の画素を除外することでグレー候補画素を抽出することを特徴とする（１）記載の画像処理装置。
【０１３８】
（３）前記規格化手段は、前記グレー候補画素群の所定の座標上での分布のうち前記処理対象の原画像の濃度域内における分布を線形近似することで、前記処理対象の原画像におけるグレーバランスを表すグレー軸を推定し、推定したグレー軸を基準として前記処理対象の原画像の画像データの規格化を行うことを特徴とする（１）記載の画像処理装置。
【０１３９】
【発明の効果】
以上説明したように本発明は、被写体が撮影記録されることで形成された原画像中のハイライト部の色を表すハイライト色ベクトル、及び、ハイライト色ベクトルと原画像を構成する各要素の色を表す色ベクトルとの成す角度の余弦を求め、ハイライト色ベクトル及び前記角度の余弦に基づいて撮影記録時の光源に起因する原画像の色バランス偏倚度を設定し、前記色バランス偏倚度に基づき、ハイライト部の色に応じて画像データの色バランスを補正するので、撮影記録時の光源に起因する原画像の色バランス偏倚を高精度に補正することができる、という優れた効果を有する。
【０１４０】
また本発明は、一定の条件で被写体が撮影記録されて成る複数の原画像の画像データから処理対象の原画像におけるグレーバランスを推定して処理対象の原画像の画像データを規格化し、処理対象の原画像中のハイライト部の色を表すハイライト色ベクトル、及び、ハイライト色ベクトルと原画像を構成する各要素の色を表す色ベクトルとの成す角度の余弦を求め、ハイライト色ベクトル及び前記角度の余弦に基づいて撮影記録時の光源に起因する処理対象の原画像の色バランス偏倚度を判断し、前記色バランス偏倚度に基づき、ハイライト部の色に応じて処理対象の原画像の画像データの色バランスを補正するので、被写体が撮影記録されて成る原画像に対し、撮影記録特性に起因する色バランスの偏倚、及び撮影記録時の光源に起因する色バランス偏倚を各々高精度に補正することができる、という優れた効果を有する。
【図面の簡単な説明】
【図１】 本実施形態に係る画像処理システムの概略構成図である。
【図２】 本実施形態に係る濃度・色変換条件設定処理の内容を示すフローチャートである。
【図３】 グレーバランス補正条件演算処理の内容を示すフローチャートである。
【図４】 イメージプロセッサで実行される画像処理の内容を便宜的に示すフローチャートである。
【図５】 （Ａ）乃至（Ｃ）はフィルム画像中の高彩度画素の抽出を説明するための概念図である。
【図６】 （Ａ）及び（Ｂ）は高彩度の画素を多数含む画像、（Ｃ）は前記画像から高彩度画素を除外した後の、ＲＧＢ濃度座標上における各画素のデータの分布の一例を示す概念図である。
【図７】 （Ａ）は複数の画像から各々抽出したグレー候補画素から成るグレー候補画素群のＲＧＢ濃度座標上における分布の一例を示す概念図、（Ｂ）は（Ａ）に示したグレー候補画素群からの特定の画像のグレー軸の推定を説明するための概念図である。
【図８】 ハイライト色ベクトルＨＬ及び特定画素の色ベクトルＣＰの一例を示す概念図である。
【図９】 異種光源を用いて撮影記録されたフィルム画像から求めた、ハイライト色ベクトルと各画素の色ベクトルの成す角度の余弦（内積）ＣＯＳの累積ヒストグラムの一例を示す線図である。
【図１０】 カラーフェリアの生じ易いフィルム画像から求めた、ハイライト色ベクトルと各画素の色ベクトルの成す角度の余弦（内積）ＣＯＳの累積ヒストグラムの一例を示す線図である。
【図１１】 カラーフェリアの生じ易いフィルム画像から求めた、ハイライト色ベクトルと各画素の色ベクトルの成す角度の余弦（内積）ＣＯＳの累積ヒストグラムの他の例を示す線図である。
【図１２】 色相角相関Ｔとハイライト色ベクトルの大きさＨから異種光源度αを求めるための異種光源判定テーブルの一例を示す線図である。
【符号の説明】
１０ 画像処理システム
１４ 画像処理装置
２６ 写真フィルム
４０ イメージプロセッサ
４４ オートセットアップエンジン
７２ 情報記憶媒体
Claims (7)
- 被写体が撮影記録されることで形成された原画像を表す画像データに基づいて、原画像中のハイライト部の色を表すハイライト色ベクトル、及び、前記ハイライト色ベクトルと原画像を構成する各要素の色を表す色ベクトルとの成す角度の余弦を求める演算手段と、
前記演算手段によって求められた前記ハイライト色ベクトル及び前記角度の余弦の最小値に基づき、前記被写体の撮影記録時の光源に起因する原画像の色バランス偏倚度を、前記ハイライト色ベクトルの大きさが第１所定値未満又は前記角度の余弦の最小値が第２所定値未満のときには前記光源に起因する色バランス偏倚度が０となり、前記ハイライト色ベクトルの大きさが第１所定値以上かつ前記角度の余弦の最小値が第２所定値以上のときに、前記角度の余弦の最小値が大きくなるに従って前記光源に起因する色バランス偏倚度が増大すると共に、前記ハイライト色ベクトルの大きさが大きくなるに従って前記光源に起因する色バランス偏倚度が増大するように設定する設定手段と、
前記設定手段によって設定された前記光源に起因する色バランス偏倚度に基づき、前記ハイライト部の色に応じて画像データの色バランスを補正する補正手段と、
を含む画像処理装置。 - 一定の条件で被写体が撮影記録されて成る複数の原画像の画像データに基づいて処理対象の原画像におけるグレーバランスを推定し、推定したグレーバランスを基準として処理対象の原画像の画像データを規格化する規格化手段と、
処理対象の原画像の画像データに基づいて、処理対象の原画像中のハイライト部の色を表すハイライト色ベクトル、及び、前記ハイライト色ベクトルと原画像を構成する各要素の色を表す色ベクトルとの成す角度の余弦を求める演算手段と、
前記演算手段によって求められた前記ハイライト色ベクトル及び前記角度の余弦の最小値に基づき、前記被写体の撮影記録時の光源に起因する処理対象の原画像の色バランス偏倚度を、前記ハイライト色ベクトルの大きさが第１所定値未満又は前記角度の余弦の最小値が第２所定値未満のときには前記光源に起因する色バランス偏倚度が０となり、前記ハイライト色ベクトルの大きさが第１所定値以上かつ前記角度の余弦の最小値が第２所定値以上のときに、前記角度の余弦の最小値が大きくなるに従って前記光源に起因する色バランス偏倚度が増大すると共に、前記ハイライト色ベクトルの大きさが大きくなるに従って前記光源に起因する色バランス偏倚度が増大するように設定する設定手段と、
前記設定手段によって設定された前記光源に起因する色バランス偏倚度に基づき、前記ハイライト部の色に応じて処理対象の原画像の画像データの色バランスを補正する補正手段と、
を含む画像処理装置。 - 前記演算手段は、前記規格化手段による規格化前の画像データに基づき前記処理対象の原画像のハイライト及びシャドーの色を基準にして判断された処理対象の原画像中の高彩度の画素以外の画素のデータを用いて処理対象の原画像中のハイライト部を抽出し、抽出したハイライト部の色を表すハイライト色ベクトルを求め、前記規格化手段による規格化後の処理対象の原画像の画像データに基づいて、前記ハイライト色ベクトルと原画像を構成する各要素の色を表す色ベクトルとの成す角度の余弦を求めることを特徴とする請求項２記載の画像処理装置。
- 前記演算手段は、前記原画像を構成する要素として、前記処理対象の原画像中の全ての画素、又は前記処理対象の原画像中の全ての画素のうち被写体のグレーの部分に対応する画素である可能性の高いグレー候補画素を用いて、前記ハイライト色ベクトルと原画像を構成する各要素の色を表す色ベクトルとの成す角度の余弦を求めることを特徴とする請求項２記載の画像処理装置。
- 前記補正手段は、前記複数の原画像のうち類似のシーンが撮影記録されることで形成された原画像を判断し、類似のシーンが撮影記録されることで形成された原画像については同一又は近似した補正量で画像データの色バランスを補正することを特徴とする請求項２記載の画像処理装置。
- 一定の条件で被写体が撮影記録されて成る複数の原画像の画像データに基づいて処理対象の原画像におけるグレーバランスを推定し、推定したグレーバランスを基準として処理対象の原画像の画像データを規格化し、
処理対象の原画像の画像データに基づいて、処理対象の原画像中のハイライト部の色を表すハイライト色ベクトル、及び、前記ハイライト色ベクトルと原画像を構成する各要素の色を表す色ベクトルとの成す角度の余弦を求め、
前記演算手段によって求められた前記ハイライト色ベクトル及び前記角度の余弦の最小値に基づき、前記被写体の撮影記録時の光源に起因する処理対象の原画像の色バランス偏倚度を、前記ハイライト色ベクトルの大きさが第１所定値未満又は前記角度の余弦の最小値が第２所定値未満のときには前記光源に起因する色バランス偏倚度が０となり、前記ハイライト色ベクトルの大きさが第１所定値以上かつ前記角度の余弦の最小値が第２所定値以上のときに、前記角度の余弦の最小値が大きくなるに従って前記光源に起因する色バランス偏倚度が増大すると共に、前記ハイライト色ベクトルの大きさが大きくなるに従って前記光源に起因する色バランス偏倚度が増大するように設定し、
前記設定手段によって設定された前記光源に起因する色バランス偏倚度に基づき、前記ハイライト部の色に応じて処理対象の原画像の画像データの色バランスを補正する
画像処理方法。 - コンピュータを、
一定の条件で被写体が撮影記録されて成る複数の原画像の画像データに基づいて処理対象の原画像におけるグレーバランスを推定し、推定したグレーバランスを基準として処理対象の原画像の画像データを規格化する規格化手段、
被写体が撮影記録されることで形成された原画像を表す画像データに基づいて、原画像中のハイライト部の色を表すハイライト色ベクトル、及び、前記ハイライト色ベクトルと原画像を構成する各要素の色を表す色ベクトルとの成す角度の余弦を求める演算手段、
前記演算手段によって求められた前記ハイライト色ベクトル及び前記角度の余弦の最小値に基づき、前記被写体の撮影記録時の光源に起因する原画像の色バランス偏倚度を、前記ハイライト色ベクトルの大きさが第１所定値未満又は前記角度の余弦の最小値が第２所定値未満のときには前記光源に起因する色バランス偏倚度が０となり、前記ハイライト色ベクトルの大きさが第１所定値以上かつ前記角度の余弦の最小値が第２所定値以上のときに、前記角度の余弦の最小値が大きくなるに従って前記光源に起因する色バランス偏倚度が増大すると共に、前記ハイライト色ベクトルの大きさが大きくなるに従って前記光源に起因する色バランス偏倚度が増大するように設定する設定手段、
及び、前記設定手段によって設定された前記光源に起因する色バランス偏倚度に基づき、前記ハイライト部の色に応じて画像データの色バランスを補正する補正手段
として機能させるためのプログラムが記録された記録媒体。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP06496299A JP3903083B2 (ja) | 1999-03-11 | 1999-03-11 | 画像処理装置、方法及び記録媒体 |
| US09/518,265 US6665434B1 (en) | 1999-03-11 | 2000-03-03 | Device, method, and recordium for correcting color imbalance of an image |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP06496299A JP3903083B2 (ja) | 1999-03-11 | 1999-03-11 | 画像処理装置、方法及び記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000261686A JP2000261686A (ja) | 2000-09-22 |
| JP3903083B2 true JP3903083B2 (ja) | 2007-04-11 |
Family
ID=13273192
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP06496299A Expired - Fee Related JP3903083B2 (ja) | 1999-03-11 | 1999-03-11 | 画像処理装置、方法及び記録媒体 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6665434B1 (ja) |
| JP (1) | JP3903083B2 (ja) |
Families Citing this family (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4489262B2 (ja) * | 2000-07-28 | 2010-06-23 | 日立プラズマディスプレイ株式会社 | カラー表示の色再現補正回路及びカラーディスプレイ |
| US6895112B2 (en) * | 2001-02-13 | 2005-05-17 | Microsoft Corporation | Red-eye detection based on red region detection with eye confirmation |
| EP1244290A3 (de) * | 2001-03-19 | 2004-05-12 | Heidelberger Druckmaschinen Aktiengesellschaft | Verfahren zur Reproduktion einer Originalszene aus einem elektronisch abgetasteten Farbnegativ- bzw. Diapositivfilm |
| EP1288859A1 (de) * | 2001-09-03 | 2003-03-05 | Agfa-Gevaert AG | Verfahren zum automatischen Erkennen von rote-Augen-Defekten in fotografischen Bilddaten |
| DE10204500A1 (de) * | 2002-02-03 | 2003-08-14 | Fraunhofer Ges Forschung | Echtzeitfähiges Erkennungs- und Kompensationsverfahren von Beleuchtungsschwankungen in digitalen Farbbildsignalen |
| JP3943973B2 (ja) * | 2002-03-20 | 2007-07-11 | キヤノン株式会社 | 画像処理装置およびその方法 |
| EP1398956A1 (en) * | 2002-09-05 | 2004-03-17 | Hewlett Packard Company, a Delaware Corporation | 4-dimensional gray neutrality calibration |
| US7327504B2 (en) * | 2002-12-06 | 2008-02-05 | Eastman Kodak Company | Method of detecting clipped image pixels |
| US7343028B2 (en) * | 2003-05-19 | 2008-03-11 | Fujifilm Corporation | Method and apparatus for red-eye detection |
| JP4289040B2 (ja) * | 2003-06-26 | 2009-07-01 | 富士ゼロックス株式会社 | 画像処理装置及び方法 |
| US7355753B2 (en) * | 2003-07-14 | 2008-04-08 | Xerox Corporation | Color saturation adjustment |
| US7310443B1 (en) * | 2003-09-17 | 2007-12-18 | Sonic Solutions, Inc. | Automatic red eye detection and correction in digital images |
| US7702146B2 (en) * | 2004-05-06 | 2010-04-20 | Canon Kabushiki Kaisha | Color characterization using color value clipping |
| US7728880B2 (en) * | 2004-06-25 | 2010-06-01 | Qualcomm Incorporated | Automatic white balance method and apparatus |
| JP2006042267A (ja) * | 2004-07-30 | 2006-02-09 | Canon Inc | 画像処理方法、画像処理装置、およびプログラム |
| JP4815267B2 (ja) * | 2006-05-11 | 2011-11-16 | オリンパスイメージング株式会社 | ホワイトバランス制御方法、撮像装置、及びホワイトバランス制御プログラム |
| KR100809344B1 (ko) * | 2006-05-26 | 2008-03-05 | 삼성전자주식회사 | 자동 백색 밸런싱 방법 및 장치 |
| JP4886563B2 (ja) * | 2007-03-19 | 2012-02-29 | キヤノン株式会社 | 画像読取装置 |
| JP4974853B2 (ja) * | 2007-11-02 | 2012-07-11 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
| JP2009171008A (ja) * | 2008-01-11 | 2009-07-30 | Olympus Corp | 色再現装置および色再現プログラム |
| CN101790020B (zh) * | 2009-09-28 | 2013-03-20 | 苏州佳世达电通有限公司 | 胶片扫描方法 |
| JP5525277B2 (ja) * | 2010-02-10 | 2014-06-18 | 株式会社小糸製作所 | カメラを内蔵した車両用灯具 |
| JP5744431B2 (ja) * | 2010-07-16 | 2015-07-08 | キヤノン株式会社 | 画像処理装置、画像処理方法、プログラム |
| JP5744430B2 (ja) | 2010-07-16 | 2015-07-08 | キヤノン株式会社 | 画像処理装置、画像処理方法、プログラム |
| JP5744429B2 (ja) * | 2010-07-16 | 2015-07-08 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
| JP5230705B2 (ja) * | 2010-09-10 | 2013-07-10 | 株式会社沖データ | 画像処理装置 |
| WO2016209277A1 (en) | 2015-06-26 | 2016-12-29 | Hewlett-Packard Development Company, L.P. | Enhance highlighter colors in scanned images |
| US11508071B2 (en) * | 2020-09-17 | 2022-11-22 | Xerox Corporation | System and method to detect, suppress, and modify background regions of scanned documents |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5206686A (en) * | 1990-03-20 | 1993-04-27 | Minolta Camera Kabushiki Kaisha | Apparatus for forming an image with use of electrophotographic process including gradation correction |
| US5644647A (en) * | 1990-09-17 | 1997-07-01 | Eastman Kodak Company | User-interactive reduction of scene balance failures |
| US5719661A (en) * | 1994-07-27 | 1998-02-17 | Fuji Photo Film Co., Ltd. | Image reproducing apparatus and method of determining reproduction conditions |
| US5748287A (en) * | 1994-12-09 | 1998-05-05 | Konica Corporation | Photographic film reproducing apparatus using object brightness and exposure correction amount to develop photographed images |
| JP3738785B2 (ja) | 1995-09-14 | 2006-01-25 | 富士写真フイルム株式会社 | 写真プリンタにおけるグレーバランス調整方法 |
| JP3783792B2 (ja) | 1995-11-09 | 2006-06-07 | 富士写真フイルム株式会社 | 写真プリンタにおける画像処理方法 |
| US6243133B1 (en) * | 1997-03-07 | 2001-06-05 | Eastman Kodak Company | Method for automatic scene balance of digital images |
| DE69913534T2 (de) * | 1998-07-15 | 2004-09-30 | Kodak Polychrome Graphics Llc, Norwalk | Verfahren und vorrichtung zur bilderzeugung |
-
1999
- 1999-03-11 JP JP06496299A patent/JP3903083B2/ja not_active Expired - Fee Related
-
2000
- 2000-03-03 US US09/518,265 patent/US6665434B1/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000261686A (ja) | 2000-09-22 |
| US6665434B1 (en) | 2003-12-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3903083B2 (ja) | 画像処理装置、方法及び記録媒体 | |
| US7092122B2 (en) | Image processing device and method | |
| JP3961734B2 (ja) | 画像処理方法、装置及び記録媒体 | |
| JP3011432B2 (ja) | カラー画像処理装置 | |
| JP3506958B2 (ja) | 画像処理方法、画像処理装置及び記録媒体 | |
| EP1311111A2 (en) | Method and apparatus for correcting white balance, method for correcting density and program recording medium | |
| US6701007B1 (en) | Image processing device, image processing method, and recording medium for correcting color balance of output images | |
| US7006252B2 (en) | Image processing system and method that maintains black level | |
| US7164805B2 (en) | Image processing method and apparatus, and recording medium | |
| JPH0851636A (ja) | カラーネガティブ走査及び原シーンのカラーへの変換 | |
| JP2000148980A (ja) | 画像処理方法、画像処理装置及び記録媒体 | |
| JP2002354244A (ja) | 光バランスの変化を最小としつつディジタル画像を光フォールオフについて補償する方法 | |
| JP3576025B2 (ja) | 主要被写体抽出方法および装置 | |
| US6658163B1 (en) | Image processing method | |
| JPH1075374A (ja) | 画像処理方法および装置 | |
| JPH08110603A (ja) | 色調整方法および装置 | |
| JP3575976B2 (ja) | 主要被写体抽出方法 | |
| JP2003134354A (ja) | 画像処理装置及び画像処理方法 | |
| JP3817371B2 (ja) | 画像処理方法、装置および記録媒体 | |
| JPH11308474A (ja) | 画像処理装置 | |
| JP2000152067A (ja) | 画像処理方法、画像処理装置及び記録媒体 | |
| JP2001257896A (ja) | 画像処理装置、方法、記録媒体及び伝送媒体 | |
| JP2000004361A (ja) | 画像データ補正方法及び画像処理装置 | |
| JP2001024887A (ja) | 類似シーンの判定方法 | |
| JP2000101860A (ja) | 画像補正方法、画像補正装置及び記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040818 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060724 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060801 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060912 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061010 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061012 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061227 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110119 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110119 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120119 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120119 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130119 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130119 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140119 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |