JP2005209012A - 画像処理方法、画像処理装置及び画像処理プログラム - Google Patents

Abstract

【課題】主要被写体がハイコントラスト、逆光であるような画像データであっても、主要被写体が適正な明るさになるように修正することができる画像処理方法，画像処理装置，画像処理プログラムを提供することである。
【解決手段】輝度拡張色空間で符号化された鑑賞画像参照データ及び当該鑑賞画像参照データ生成時の情報を取得して、取得された鑑賞画像参照データ生成時の情報に基づいて鑑賞画像参照データからシーン参照画像データを生成し、生成されたシーン参照画像データから主要被写体を抽出して当該主要被写体が逆光又はハイコントラストである場合に、シーン参照画像データの累積輝度ヒストグラムを算出してシャドー側及びハイライト側の累積値が所定の値（特に０．１％〜０．４％の範囲内にある値）となる輝度の平均値を、黒色飽和点及び白色飽和点と特定した後、主要被写体の輝度を変更する。
【選択図】図５

Description

本発明は、画像処理方法、画像処理装置及び画像処理プログラムに関する。

銀塩フィルムを用いたアナログ写真処理システムにおいて、撮影時に輝度差が大きい状態で撮影された場合、人物等の主要被写体が黒くつぶれた状態（以下、逆光という）になってしまったり、白くとんだ状態（以下、ハイコントラストという）になってしまったりするため、適正なプリント結果が得られない場合がある。このような、逆光やハイコントラストを解決するために、「覆い焼き」と呼ばれる方法が用いられることがある。

この「覆い焼き」は、例えば、ネガフィルムからアナログプリントを行う際に、主要被写体がハイコントラストになるような場合には、主要被写体の存在する領域に穴の空いた遮蔽版を用いて選択的に露光時間を長時間とし、また、主要被写体が逆光になるような場合は、主要被写体の存在する領域を覆うような遮蔽版を用いて選択的に露光時間を短時間とすることであって、この方法により主要被写体の明るさの調整が行われる。

また、近年銀塩フィルム上に形成された画像をＣＣＤセンサー等により光電的に読み取ってデジタル画像データに変換した後、プリントを作成するデジタル写真処理システムが普及している。また、このデジタル写真処理システムにおいては、入力される画像データは銀塩フィルムのみならず、デジタルスチルカメラ（以下、ＤＳＣという）で撮影された画像データ、ＣＤ−Ｒ、フロッピー（登録商標）ディスク、メモリーカード等の記録媒体に記録された画像データが入力され、さらに、インターネット等のネットワークを介して画像データ等が入力される。当該入力された画像データは、銀塩印画紙・インクジェットプリンタ・サーマルプリンタや、ＣＲＴ・液晶ディスプレイ・プラズマディスプレイ等の出力媒体の特性に合わせた、階調変換、鮮鋭性強調、ノイズ除去、色域調整、色の見えを一致させる処理等の画像処理が施される。このようなデジタル写真処理システムにおいても、上記したような主要被写体がハイコントラストや逆光となるおそれがあるため、画像データのダイナミックレンジを圧縮することによってハイコントラストや逆光を解消する方法が提案されている（特許文献１参照）。
特開平９−１８２０９３号公報

しかしながら、一般的な８ビットのｓＲＧＢ（IEC61966-2-1）で符号化された画像データに対して特許文献１のダイナミックレンジ圧縮を行った場合には、多くの場合、輝度拡張色空間で符号化された画像データと比較して輝度範囲（輝度域）が狭くなるため、低コントラストのいわゆる「ねむい」画像となるおそれがある。

本発明の課題は、主要被写体がハイコントラスト、逆光であるような画像データであっても、主要被写体が適正な明るさになるように補正することができる画像処理方法，画像処理装置，画像処理プログラムを提供することである。

上記課題を解決するため、請求項１に記載の発明は、
輝度拡張色空間で符号化されたシーン参照画像データを取得する画像取得工程と、前記取得されたシーン参照画像データから主要被写体を抽出する抽出工程と、前記抽出された主要被写体が逆光又はハイコントラストであるかを判定する判定工程と、前記判定工程により逆光又はハイコントラストと判定された場合に、前記シーン参照画像データの黒色飽和点及び白色飽和点を特定する特定工程と、前記主要被写体の明るさを変更する階調補正工程と、を含むことを特徴とする。

ここで、主要被写体とは、例えば、人物の顔や人物等であって、主要被写体を抽出する方法としては、例えば、人物の顔領域を抽出する方法として、画像データ中から肌色候補画素を抽出し、当該候補画素から単純領域拡張法により肌色領域を抽出し、当該抽出された領域が顔であるか否かをパターンマッチングやニューラルネットワーク等を用いたの判定法により判定し、判定の結果、顔と判定された場合に主要被写体として抽出する方法がある。また、顔と判定された領域に接する領域に対し、パターンマッチングやニューラルネットワーク等を用いた判定法により人物の胴体部分を抽出することにより人物領域を特定することができる。なお、他の方法を用いて主要被写体を抽出することとしてもよい。

主要被写体が逆光であるかハイコントラストであるかを判定する方法としては、例えば、シーン参照画像データの輝度ヒストグラムを作成し、当該輝度ヒストグラム中で主要被写体領域が存在する輝度域に基づいて判定することができる。例えば、画像全体の輝度域が比較的広範囲であるにも関わらず、主要被写体の輝度が、シャドー側にある場合は逆光、ハイライト側にある場合はハイコントラストと判定する。

なお、階調補正は、主要被写体の明るさが適正な明るさとなるように輝度拡張色空間で符号化されたシーン参照画像データに対して行うことが好ましいが、黒色飽和点及び白色飽和点を使用し、輝度拡張色空間から基準色空間に変換した後のシーン参照画像データに対して行ってもよい。また、主要被写体の階調補正に加えて、出力媒体の特性に合わせた階調変換を行うことが好ましい。

また、上記の画像処理に加えて、色域マッピング処理を施すことが好ましい。また、色の見えを一致させる処理を施すことが好ましい。

また、上記課題を解決するため、請求項２に記載の発明は、
輝度拡張色空間で符号化された鑑賞画像参照データを取得する画像取得工程と、前記取得された鑑賞画像参照データの生成時の情報を取得する生成情報取得工程と、前記取得された生成時の情報に基づいて前記鑑賞画像参照データから輝度拡張色空間で符号化されたシーン参照画像データを生成する生成工程と、前記生成されたシーン参照画像データから主要被写体を抽出する抽出工程と、前記抽出された主要被写体が逆光又はハイコントラストであるかを判定する判定工程と、前記判定工程により逆光又はハイコントラストと判定された場合に、前記シーン参照画像データの黒色飽和点及び白色飽和点を特定する特定工程と、前記主要被写体の明るさを変更する階調補正工程と、を含むことを特徴とする。

更に、請求項３に記載の発明のように、請求項１又は２に記載の発明において、
前記特定工程は、前記シーン参照画像データの基準黒色点及び基準白色点の外側のデータに基づいて前記黒色飽和点及び白色飽和点を特定することを特徴とする。

更に、請求項４に記載の発明のように、請求項１〜３の何れか一項に記載の発明において、
前記特定工程は、前記シーン参照画像データの累積輝度ヒストグラムを算出して、シャドー側の累積値が所定の値となる輝度の平均値を黒色飽和点とし、ハイライト側の累積値が所定の値となる輝度の平均値を白色飽和点とすることを特徴とする。

なお、黒色飽和点及び白色飽和点の特定に用いる累積輝度ヒストグラムのシャドー側及びハイライト側の累積値の値は、０．１％〜０．４％の範囲内にある値であることが好ましい。

また、上記課題を解決するため、請求項５に記載の発明は、
輝度拡張色空間で符号化されたシーン参照画像データを取得する画像取得部と、前記取得されたシーン参照画像データから主要被写体を抽出する抽出部と、前記抽出された主要被写体が逆光又はハイコントラストであるかを判定する判定部と、前記判定部により逆光又はハイコントラストと判定された場合に、前記シーン参照画像データの黒色飽和点及び白色飽和点を特定する特定部と、前記主要被写体の明るさを変更する階調補正部と、を備えることを特徴とする。

また、上記課題を解決するため、請求項６に記載の発明は、
輝度拡張色空間で符号化された鑑賞画像参照データを取得する画像取得部と、前記取得された鑑賞画像参照データの生成時の情報を取得する生成情報取得部と、前記取得された生成時の情報に基づいて前記鑑賞画像参照データから輝度拡張色空間で符号化されたシーン参照画像データを生成する画像生成部と、前記生成されたシーン参照画像データから主要被写体を抽出する抽出部と、前記抽出された主要被写体が逆光又はハイコントラストであるかを判定する判定部と、前記判定工程により逆光又はハイコントラストと判定された場合に、前記シーン参照画像データの黒色飽和点及び白色飽和点を特定する特定部と、前記主要被写体の明るさを変更する階調補正部と、を備えることを特徴とする。

更に、請求項７に記載の発明のように、請求項５又は６に記載の発明において、
前記特定部は、前記シーン参照画像データの基準黒色点及び基準白色点の外側のデータに基づいて前記黒色飽和点及び白色飽和点を特定することを特徴とする。

更に、請求項８に記載の発明のように、請求項５〜７の何れか一項に記載の発明において、
前記特定部は、前記シーン参照画像データの累積輝度ヒストグラムを算出して、シャドー側の累積値が所定の値となる輝度の平均値を黒色飽和点とし、ハイライト側の累積値が所定の値となる輝度の平均値を白色飽和点とすることを特徴とする。

また、上記課題を解決するため、請求項９に記載の発明は、
画像処理を実行するためのコンピュータに、輝度拡張色空間で符号化されたシーン参照画像データを取得する画像取得機能と、前記取得されたシーン参照画像データから主要被写体を抽出する抽出機能と、前記抽出された主要被写体が逆光又はハイコントラストであるかを判定する判定機能と、前記判定部により逆光又はハイコントラストと判定された場合に、前記シーン参照画像データの黒色飽和点及び白色飽和点を特定する特定機能と、前記主要被写体の明るさを変更する階調補正機能と、を実現させる。

また、上記課題を解決するため、請求項１０に記載の発明は、
画像処理を実行するためのコンピュータに、輝度拡張色空間で符号化された鑑賞画像参照データを取得する画像取得機能と、前記取得された鑑賞画像参照データの生成時の情報を取得する生成情報取得機能と、前記取得された生成時の情報に基づいて前記鑑賞画像参照データから輝度拡張色空間で符号化されたシーン参照画像データを生成する画像生成機能と、前記生成されたシーン参照画像データから主要被写体を抽出する抽出機能と、
前記抽出された主要被写体が逆光又はハイコントラストであるかを判定する判定機能と、前記判定工程により逆光又はハイコントラストと判定された場合に、前記シーン参照画像データの黒色飽和点及び白色飽和点を特定する特定機能と、前記主要被写体の明るさを変更する階調補正機能と、を実現させる。

更に、請求項１１に記載の発明のように、請求項９又は１０に記載の発明において、
前記特定機能は、前記シーン参照画像データの基準黒色点及び基準白色点の外側のデータに基づいて前記黒色飽和点及び白色飽和点を特定することを特徴とする。

更に、請求項１２に記載の発明のように、請求項９〜１１の何れか一項に記載の発明において、
前記特定機能は、前記シーン参照画像データの累積輝度ヒストグラムを算出して、シャドー側の累積値が所定の値となる輝度の平均値を黒色飽和点とし、ハイライト側の累積値が所定の値となる輝度の平均値を白色飽和点とすることを特徴とする。

ここで、請求項に記載の用語等を補足的に説明する。

「輝度拡張色空間」とは、ｓＲＧＢ等の基準色空間に対して、基準色空間の白色点，黒色点を超える輝度値を記録可能とした色空間を意味する。例えばＩＥＣ６１９６６−２−２で定義されるｓｃＲＧＢ、ｓｃＲＧＢ−ｎｌ、ｓｃＹＣＣ−ｎｌ等がある。

「シーン参照画像データ」とは、撮像素子自体の分光感度に基づく各色チャンネルの信号強度を、階調変換、鮮鋭性強調、色域調整等の画像鑑賞時の効果を向上するために必要なデータ内容を改変する画像処理が省略された状態の画像データを意味する。なお、シーン参照画像データは、撮像装置のＩＳＯ１４５２で定義される光電変換特性（opto-electronic conversion function）の補正を行ったものである事が好ましい。

「鑑賞画像参照データ」とは、ＣＲＴ（Cathode Ray Tube）、液晶ディスプレイ、プラズマディスプレイ等の表示デバイスへの表示や、銀塩印画紙、インクジェットペーパー、サーマルプリンタ用紙等の出力媒体上のハードコピー画像生成に用いるデジタル画像データを意味する。ＣＲＴ、液晶ディスプレイ、プラズマディスプレイ等の表示デバイス、及び銀塩印画紙、インクジェットペーパー、サーマルプリンタ用紙等の出力媒体上において、最適な画像が得られるように階調変換、鮮鋭性強調、色域調整、色の見えを一致させる処理（ＣＩＥＣＡＭ９７ｓ、ＣＩＥＣＡＭ０２等）等の処理が施されている。

「黒色飽和点」とは、輝度拡張色空間を基準色空間へ変換する際の、基準色空間の黒色点に対応する点を意味し、「白色飽和点」とは、輝度拡張色空間を基準色空間へ変換する際の、基準色空間の白色点に対応する点を意味する。

「基準黒色点」とは、基準として定められた黒色飽和点を意味しており、例えば、輝度拡張色空間が１６ビットのｓｃＲＧＢから、８ビットのｓＲＧＢへ変換する際には、ｓｃＲＧＢの基準黒色点である“４０９６”が、ｓＲＧＢの基準黒色点である“０”に対応することになる。また、「基準白色点」とは、基準として定められた白色飽和点を意味しており、例えば、輝度拡張色空間が１６ビットのｓｃＲＧＢから、８ビットのｓＲＧＢへ変換する際には、ｓｃＲＧＢの基準白色点である“１２２８８”が、ｓＲＧＢの基準白色点である“２５５”に対応することになる。

また、請求項３、７、１１に記載の「基準黒色点及び基準白色点の外側のデータ」とは、例えば、上記ｓｃＲＧＢからｓＲＧＢへ変換する場合には、“４０９６”以下及び“１２２８８”以上の値を持つデータを意味する。

図７に、ｓｃＲＧＢの基準黒色点及び基準白色点をｓＲＧＢの基準黒色点及び基準白色点に対応させた場合の様子を模式的に示す。図７において、上方の水平線分は、ｓｃＲＧＢの輝度域を示しており、下方の水平線分は、ｓＲＧＢの輝度域を示している。ここで、“４０９６”、“１２２８８”が、夫々ｓｃＲＧＢの基準黒色点、基準白色点を表している。この値をｓＲＧＢに対応させると、基準黒色点が“０”、基準白色点が“２５５”となる。

請求項１、５、９に記載の発明によれば、
輝度拡張色空間で符号化されたシーン参照画像データから主要被写体を抽出し、抽出された主要被写体が逆光又はハイコントラストである場合に、シーン参照画像データの黒色飽和点及び白色飽和点を特定し、主要被写体の明るさを変更することにより、主要被写体が逆光やハイコントラストの場合であっても適正な画像を得ることが可能となる。

請求項２、６、１０に記載の発明によれば、
輝度拡張色空間で符号化された鑑賞画像参照データと、当該鑑賞画像参照データの生成時の情報と、を取得し、生成時の情報に基づいて鑑賞画像参照データから輝度拡張色空間で符号化されたシーン参照画像データを生成し、生成されたシーン参照画像データから主要被写体を抽出し、抽出された主要被写体が逆光又はハイコントラストである場合に、シーン参照画像データの黒色飽和点及び白色飽和点を特定し、主要被写体の明るさを変更することにより、主要被写体が逆光やハイコントラストの場合であっても適正な画像を得ることが可能となる。

請求項３、７、１１に記載の発明によれば、
シーン参照画像データの基準黒色点及び基準白色点の外側のデータに基づいて黒色飽和点及び白色飽和点を特定することにより、シーン参照画像データ毎に最適な値で黒色飽和点及び白色飽和点を定めることができる。

請求項４、８、１２に記載の発明によれば、
シーン参照画像データの累積輝度ヒストグラムを算出して、シャドー側の累積値が所定の値となる輝度の平均値を黒色飽和点とし、ハイライト側の累積値が所定の値となる輝度の平均値を白色飽和点とすることにより、シーン参照画像データ毎に最適な値で黒色飽和点及び白色飽和点を定めることができる。

以下、図を参照して本発明を実施するための最良の形態を詳細に説明する。

＜画像処理装置１の外観構成＞
まず、図１を参照して、画像処理装置１の外観構成を説明する。

画像処理装置１は、図１に示すように、筐体２の一側面に、感光材料を装填するためのマガジン装填部３が設けられている。筐体２の内側には、感光材料に露光する露光処理部４と、露光された感光材料を現像処理して乾燥し、プリントを作成するためのプリント作成部５が設けられている。筐体２の他側面には、プリント作成部５で作成されたプリントを排出するためのトレー６が設けられている。

また、筐体２の上部には、表示装置としてのＣＲＴ８、透過原稿を読み込む装置であるフィルムスキャナ部９、反射原稿入力装置１０、操作部１１が設けられている。更に、筐体２には、各種デジタル記録媒体に記録された画像情報を読み取り可能な画像読込部１４、各種デジタル記録媒体に画像データを書き込み可能な画像書込部１５が設けられている。また、筐体２の内部には、これらの各部を統括的に制御する制御部７が設けられている。

画像読込部１４には、ＰＣカード用アダプタ１４ａ、フロッピーディスク（登録商標、以下同様）用アダプタ１４ｂが設けられ、ＰＣカード１３ａやフロッピーディスク１３ｂが差し込み可能になっている。ＰＣカード１３ａは、例えば、デジタルカメラで撮像された複数の画像データが記録されたメモリを有する。フロッピーディスク１３ｂには、例えば、デジタルカメラで撮像された複数の画像データが記録される。

画像書込部１５には、フロッピーディスク用アダプタ１５ａ、ＭＯ（Magneto-Optical）用アダプタ１５ｂ、光ディスク用アダプタ１５ｃが設けられ、それぞれ、フロッピーディスク１６ａ、ＭＯ１６ｂ、光ディスク１６ｃが差し込み可能になっている。光ディスク１６ｃとしては、ＣＤ−Ｒ（CD Recordable）、ＣＤ−ＲＷ（CD Rewritable）、ＤＶＤ±Ｒ、ＤＶＤ±ＲＷ、ブルーレイディスク（Blu-ray Disk）等がある。

なお、図１では、操作部１１、ＣＲＴ８、フィルムスキャナ部９、反射原稿入力装置１０、画像読込部１４が、筐体２に一体的に設けられた構造となっているが、これらの何れかを別体として設けるようにしてもよい。

なお、図１に示した画像処理装置１では、感光材料に露光して現像してプリントを作成するものが例示されているが、プリント作成方式はこれに限定されず、例えば、インクジェット方式、電子写真方式、感熱方式、昇華方式等の方式を用いてもよい。

＜画像処理装置１の内部構成＞
次に、図２を参照して、画像処理装置１の内部構成を説明する。画像処理装置１は、図２に示すように、制御部７、露光処理部４、プリント作成部５、フィルムスキャナ部９、反射原稿入力装置１０、画像読込部１４、通信手段（入力）３２、画像書込部１５、データ蓄積手段７１、操作部１１、ＣＲＴ８、通信手段（出力）３３を備える。

制御部７は、マイクロコンピュータにより構成され、ＲＯＭ（Read Only Memory）等（図示略）に記憶されている画像処理プログラム等の各種制御プログラムと、ＣＰＵ（Central Processing Unit）（図示略）との協働により、画像処理装置１を構成する各部の動作を統括的に制御する。

制御部７は、画像処理部７０を有し、操作部１１からの入力信号に基づいて、フィルムスキャナ部９や反射原稿入力装置１０により取得した画像データ、画像読込部１４から読み込まれた画像データ、外部機器から通信手段３２を介して入力された画像データに対して、露光用画像情報を形成し、露光処理部４に出力する。また、画像処理部７０は、画像処理された画像データに対して出力形態に応じた変換処理を施して出力する。画像処理部７０の出力先としては、ＣＲＴ８、画像書込部１５、通信手段（出力）３３、データ蓄積手段７１等がある。

露光処理部４は、感光材料に画像の露光を行い、この感光材料をプリント作成部５に出力する。プリント作成部５は、露光された感光材料を現像処理して乾燥し、プリントＰ１、Ｐ２、Ｐ３を作成する。プリントＰ１は、サービスサイズ、ハイビジョンサイズ、パノラマサイズ等のプリントであり、プリントＰ２は、Ａ４サイズのプリントであり、プリントＰ３は、名刺サイズのプリントである。

フィルムスキャナ部９は、アナログカメラにより撮像された現像済みのネガフィルム等の各種透過原稿から画像を読み込み、当該読み込んだ画像を画像データとしてフィルムスキャンデータ処理部７０１に出力する。なお、出力される画像データには、当該画像データの生成時の情報が付帯情報として又は別ファイルとして記録されているものとし、当該生成時の情報も併せてフィルムスキャンデータ処理部７０１に出力する。

反射原稿入力装置１０は、プリントＰ（写真プリント等）に形成された各種画像を読み込み、当該読み込んだ画像を画像データとして反射原稿スキャンデータ処理部７０２に出力する。

画像読込部１４は、画像転送手段３０を有し、ＰＣカード１３ａやフロッピーディスク１３ｂに記録された画像データを読み出して制御部７に転送する。画像転送手段３０は、ＰＣカード用アダプタ１４ａ、フロッピーディスク用アダプタ１４ｂ等を有する。画像読込部１４は、ＰＣカード用アダプタ１４ａに差し込まれたＰＣカード１３ａや、フロッピーディスク用アダプタ１４ｂに差し込まれたフロッピーディスク１３ｂに記録された画像データを読み取り、画像転送手段３０を用いて制御部７に転送する。ＰＣカード用アダプタ１４ａとしては、例えばＰＣカードリーダやＰＣカードスロット等が用いられる。なお、読み出される画像データには、当該画像データの生成時の情報が付帯情報として又は別ファイルとして記録されているものとし、当該生成時の情報も併せて画像データ書式解読処理部７０３に出力する。

通信手段（入力）３２は、画像処理装置１が設置された施設内の別のコンピュータや、インターネット等を介した遠方のコンピュータから、撮像画像を表す画像データやプリント命令信号を受信する。なお、入力される画像データには、当該画像データの生成時の情報が付帯情報として又は別ファイルとして記録されているものとし、当該生成時の情報も併せて画像データ書式解読処理部７０３に出力する。

画像書込部１５は、画像搬送部３１として、フロッピーディスク用アダプタ１５ａ、ＭＯ用アダプタ１５ｂ、光ディスク用アダプタ１５ｃを備える。画像書込部１５は、制御部７から入力される書込信号に従って、フロッピーディスク用アダプタ１５ａに差し込まれたフロッピーディスク１６ａ、ＭＯ用アダプタ１５ｂに差し込まれたＭＯ１６ｂ、光ディスク用アダプタ１５ｃに差し込まれた光ディスク１６ｃに、各種データを書き込む。

データ蓄積手段７１は、画像情報とそれに対応する注文情報（どの画像データを何枚プリントするかの情報、プリントサイズの情報等）とを蓄積する。

操作部１１は、情報入力手段１２を有する。情報入力手段１２は、例えば、タッチパネル等により構成されており、情報入力手段１２の押下信号を入力信号として制御部７に出力する。なお、操作部１１は、キーボードやマウス等を備えて構成するようにしてもよい。ＣＲＴ８は、制御部７から入力された表示制御信号に従って、画像情報等を表示する。

通信手段（出力）３３は、撮影画像を表す画像データと、それに付帯するオーダー情報とを、画像処理装置１が設置された施設内の他のコンピュータや、インターネット等を介した遠方のコンピュータに対して送信する。

＜画像処理部７０の構成＞
次に、図３を参照して、画像処理部７０の構成を説明する。
画像処理部７０は、図３に示すように、フィルムスキャンデータ処理部７０１、反射原稿スキャンデータ処理部７０２、画像データ書式解読処理部７０３、画像調整処理部７０４、ＣＲＴ固有処理部７０５、プリンタ固有処理部７０６、プリンタ固有処理部７０７、画像データ書式作成処理部７０８を備える。

フィルムスキャンデータ処理部７０１は、フィルムスキャナ部９から入力された画像データに対し、フィルムスキャナ部９に固有の校正操作、ネガ原稿の場合のネガポジ反転及び透過光量に正比例したスケールから対数（濃度）スケールへの変換処理等を施し、画像調整処理部７０４に出力する。また、フィルムスキャンデータ処理部７０１は、フィルムに光学的或いは磁気的に記録された画像データ生成時の情報や、被写体の輝度変化に対して正比例した画像データに変換するための、ガンマ補正処理の情報等も併せて画像調整処理部７０４に出力する。

反射原稿スキャンデータ処理部７０２は、反射原稿入力装置１０から入力された画像データに対し、反射原稿入力装置１０に固有の校正操作、ネガ原稿の場合のネガポジ反転及び階調特性の補正、グレーバランス調整、コントラスト調整等を施し、画像調整処理部７０４に出力する。

画像データ書式解読処理部７０３は、画像転送手段３０や通信手段（入力）３２から入力された画像データのデータ書式に従って、圧縮符号の復元、色データの表現方法の変換等を行い、画像調整処理部７０４に出力する。また、画像データ書式解読処理部７０３は、画像データの生成時の情報も併せて画像調整処理部７０４に出力する。

画像調整処理部７０４は、操作部１１又は制御部７の指令に基づいてフィルムスキャナ部９、画像転送手段３０、通信手段（入力）３２から入力された画像データが輝度拡張色空間で符号化された鑑賞画像参照データである場合、当該鑑賞画像参照データとともに入力される鑑賞画像参照データの生成時の情報に基づいて鑑賞画像参照データから輝度拡張色空間で符号化されたシーン参照画像データを生成する。なお、ここで生成時の情報は、鑑賞画像参照データに付帯されて入力されてもよいし、鑑賞画像参照データと別ファイルとして入力されてもよい。

また、画像調整処理部７０４は、画像データが輝度拡張色空間で符号化されたシーン参照画像データに対して、各種画像処理を行う。具体的には、画像調整処理部７０４は、シーン参照画像データに主要被写体が含まれる場合、シーン参照画像データから主要被写体の抽出を行う。ここで、画像処理が行われるシーン参照画像は、上記した鑑賞画像参照データと当該鑑賞画像参照データの生成時の情報から生成されるシーン参照画像データだけでなく、フィルムスキャナ部９、画像転送手段３０、通信手段（入力）３２から入力される輝度拡張色空間で符号化されたシーン参照画像データであってもよい。

ここで、主要被写体とは、例えば、人物の顔や人物等であって、主要被写体を抽出する方法としては、例えば、人物の顔領域を抽出する方法として、画像データ中から肌色候補画素を抽出し、当該候補画素から単純領域拡張法により肌色領域を抽出し、当該抽出された領域が顔であるか否かをパターンマッチングやニューラルネットワーク等を用いたの判定法により判定し、判定の結果、顔と判定された場合に主要被写体として抽出する方法がある。また、顔と判定された領域に接する領域に対し、パターンマッチングやニューラルネットワーク等を用いた判定法により人物の胴体部分を抽出することにより人物領域を特定することができる。なお、他の方法を用いて主要被写体を抽出することとしてもよい。

さらに、前記抽出した主要被写体が逆光又はハイコントラストであるか否かが制御部７により判定され、逆光又はハイコントラストと判定された場合、画像調整処理部７０４は、輝度拡張色空間で符号化されたシーン参照画像データの累積輝度ヒストグラムを算出して、シャドー側の累積値が所定の値となる輝度の平均値を黒色飽和点と、また、ハイライト側の累積値が所定の値となる輝度の平均値を白色飽和点と特定し、主要被写体の明るさが適正な明るさになるよう階調補正を行うとともに出力媒体の特性に合わせた階調変換を行う。このように、主要被写体が適正な明るさになるよう明るさを変更することにより、主要被写体が逆光又はハイコントラストであっても適正な画像を得ることが可能となる。一方、制御部７により主要被写体が逆光又はハイコントラストと判定された場合、画像調整処理部７０４は、出力媒体の特性に合わせた階調変換を行う。

また、画像調整処理部７０４は、階調補正後のシーン参照画像データに対し、当該シーン参照画像データの出力媒体に合わせて、色の見えを一致させる処理、色域を調節する処理を行う。なお、ここで、色の見えを一致させる処理は、ＣＩＥＣＡＭ９７ｓ、ＣＩＥＣＡＭ０２等の色の見えモデル（カラーアピアランスモデル）を用いたカラーマネジメントシステムにより行うこととするが、その他の公知の方法により行うこととしてもよい。

画像調整処理部７０４は、上記処理後の画像データを、ＣＲＴ固有処理部７０５、プリンタ固有処理部７０６、プリンタ固有処理部７０７、画像データ書式作成処理部７０８、データ蓄積手段７１に出力する。

ＣＲＴ固有処理部７０５は、画像調整処理部７０４から入力された画像処理済みの画像データに対して、画素数変更、カラーマッチング等の処理を施し、各種表示情報とともにＣＲＴ８に出力する。

プリンタ固有処理部７０６は、画像調整処理部７０４から入力された画像処理済みの画像データに対して、プリンタ固有の校正処理、カラーマッチング、画素数変更等を行い、露光処理部４に出力する。

本実施の形態の画像処理装置１に、インクジェットプリンタ等の外部プリンタ３４が接続されている場合には、接続されたプリンタ毎にプリンタ固有処理部７０７が設けられている。このプリンタ固有処理部７０７は、画像調整処理部７０４から入力された画像処理済みの画像に対して、プリンタに固有の適正な校正処理、カラーマッチング、画素数変更等を行う。

画像データ書式作成処理部７０８は、画像調整処理部７０４から入力された画像処理済みの画像データに対して、ＪＰＥＧ（Joint Photographic Experts Group）、ＴＩＦＦ（Tagged Image File Format）、Ｅｘｉｆ（Exchangeable Image File Format）等に代表される各種の汎用画像フォーマットへの変換を行い、画像搬送部３１や通信手段（出力）３３に出力する。また、画像調整処理部７０４から入力される画像処理済みの画像データを、画像搬送部３１や通信手段（出力）３３に出力する。

なお、フィルムスキャンデータ処理部７０１、反射原稿スキャンデータ処理部７０２、画像データ書式解読処理部７０３、画像調整処理部７０４、ＣＲＴ固有処理部７０５、プリンタ固有処理部７０６及び７０７、画像データ書式作成処理部７０８という区分は、本実施の形態の画像処理部７０の機能の理解を助ける為に設けた区分であり、必ずしも物理的に独立したデバイスとして実現される必要はなく、例えば、単一ソフトウエア処理の種類の区分として実現されてもよい。また、本実施の形態における画像処理装置１は、上述の内容に限定されるものではなく、ＤＳＣ、ＲＡＷデータ現像装置、デジタルフォトプリンタ、プリンタドライバ、各種画像処理ソフトのプラグイン等、種々の形態に適用することができる。

次に、図４のフローチャートを参照して、図３の画像調整処理部７０４において実行される画像処理を説明する。

まず、フィルムスキャナ部９、画像転送手段３０、通信手段（入力）３２から入力される輝度拡張色空間で符号化された鑑賞画像参照データを取得するとともに（ステップＳ１）、取得される鑑賞画像参照データの生成時の情報が取得される（ステップＳ２）。

次いで、ステップＳ２で取得された鑑賞画像参照データ生成時の情報に基づき、鑑賞画像参照データからシーン参照画像データが生成され（ステップＳ３）、当該シーン参照画像データに含まれる主要被写体が抽出される（ステップＳ４）。

次に、抽出された主要被写体が逆光又はハイコントラストであるか否かが判定される（ステップＳ５）。ここで、逆光又はハイコントラストであると判断された場合は（ステップＳ５；Ｙｅｓ）、ステップＳ３で生成されたシーン参照画像データの累積輝度ヒストグラムを算出されて（ステップＳ６）、当該累積輝度ヒストグラムのシャドー側の累積値が所定の値となる輝度の平均値が黒色飽和点に、ハイライト側の累積値が所定の値となる輝度の平均値が白色飽和点に特定される（ステップＳ７）。

次いで、シーン参照画像データ中の主要被写体の明るさが適正な明るさになるよう階調補正されるとともに出力媒体の特性に合わせた階調変換がシーン参照画像データに対して行われた後（ステップＳ８）、ステップＳ１１に移行する。

図５を参照して、ステップＳ７で特定される黒色飽和点及び白色飽和点について説明する。なお、ここでは、シーン参照画像データをｓｃＲＧＢの画像データである場合を示す。図５のグラフにおいて、縦軸は輝度の累積をパーセント（％）で表しており、横軸はｓｃＲＧＢの輝度値をビット値で表している。また、横軸のビット値“４０９６”、“１２２８８”は、夫々ｓｃＲＧＢからｓＲＧＢに変換する際の基準黒色点、基準白色点に対応している。

ステップＳ７では、基準黒色点の外側のデータである、シャドー側のビットの下限値（最小輝度値）から累積値が所定の値０．２％（図中０．２％に相当）となるビット値までの輝度の平均値が算出され、当該算出により導出された平均値が黒色飽和点と特定される。また、基準白色点の外側のデータである、ハイライト側の累積値が所定の値０．２％（図中９９．８％に相当）となるビット値からビット値の上限値（最大輝度値）までの輝度の平均値が算出され、当該算出により導出された平均値が白色飽和点と特定される。

なお、ここで、黒色飽和点及び白色飽和点を特定するために用いるシャドー側及びハイライト側からの累積値の所定の値を０．２と同一の値を用いたが、これに限定されず、異なる値としてもよい。

図４に戻り、ステップＳ５にて主要被写体が逆光又はハイコントラストでないと判定された場合は（ステップＳ５；Ｎｏ）、シーン参照画像データの基準黒色点及び基準白色点が採用され（ステップＳ９）、出力媒体の特性に合わせた階調変換がシーン参照画像データに対し行われた後（ステップＳ１０）、ステップＳ１１に移行する。例えば、シーン参照画像データがｓｃＲＧＢの画像データから、ｓＲＧＢの画像データに変換する際には、図５のビット値“４０９６”が基準黒色点、“１２２８８”が基準白色点に採用される。

ステップＳ１１では、階調変換済みの画像データに対し、ＣＩＥＣＡＭ９７ｓ、ＣＩＥＣＡＭ０２等の色の見えモデル（カラーアピアランスモデル）を用いたカラーマネジメントシステムにより色の見えを一致させる処理が行われる（ステップＳ１１）。

次いで、色域マッピングにより出力媒体に合わせた色域の調節が行われて（ステップＳ１２）、データ蓄積手段７１、ＣＲＴ固有処理部７０５、プリンタ固有処理部７０６、プリンタ固有処理部７０７、画像データ書式作成処理部７０８の何れかに出力されて（ステップＳ１３）、本処理は終了する。

図６に、本実施の形態における画像評価結果の一例を示す。図６は、主要被写体として人物の顔が含まれる逆光状態の画像データ及びハイコントラスト状態の画像データ（ｓｃＲＧＢ）を、通信手段（入力）３２から入力した後、当該画像データに対し、図４で説明した画像処理を施した後、３００ｄｐｉ程度の出力解像度で２Ｌ版サイズの銀塩印画紙に出力した際の画像評価結果を示している。なお、画像処理において、出力媒体の特性に合わせてｓｃＲＧＢからｓＲＧＢへの画像データの変換、色の見えを一致させる処理、色域調整を行っている。図６では、逆光画像及びハイコントラスト画像に対し夫々画像処理条件が異なる６つの画像処理（実験１〜実験６）を行った場合の、１０人の被験者による５段階評価の平均値を画像の評価結果としている。

ここで、画像処理条件とは、黒色飽和点及び白色飽和点の特定工程において用いられる、シャドー側及びハイライト側の累積値をパーセント（％）で示しており、当該累積値となる輝度の平均値を黒色飽和点及び白色飽和点として逆光又はハイコントラストを補正する階調補正を行っている。また、評価結果の、明るさ及びコントラストという指標は、それぞれ、画像全体に対し主要被写体の明るさは適正であるか、コントラストは適正であるかを示している。

図６に示す評価結果によれば、実験２乃至実験５の画像処理条件で画像処理を行った場合の評価結果が、逆光及びハイコントラストともに他の実験１、６による評価結果より高くなっていることがわかる。よって、逆光又はハイコントラストであるような輝度拡張空間で符号化された画像データに対しては、黒色飽和点及び白色飽和点の特定工程において用いられるシャドー側及びハイライト側の累積値は、０．１〜０．４％の範囲内にある値とすることが好ましいということが読み取れる。

以上のように、本実施の形態の画像処理装置１によれば、輝度拡張色空間で符号化された鑑賞画像参照データ及び当該鑑賞画像参照データ生成時の情報を取得して、取得された鑑賞画像参照データ生成時の情報に基づいて鑑賞画像参照データからシーン参照画像データを生成し、生成されたシーン参照画像データから主要被写体を抽出して当該主要被写体が逆光又はハイコントラストである場合に、シーン参照画像データの累積輝度ヒストグラムを算出してシャドー側及びハイライト側の累積値が所定の値（特に累積値が０．１％〜０．４％の範囲内にある値）となる輝度の平均値を、黒色飽和点及び白色飽和点と特定した後、主要被写体の明るさが適切な明るさになるよう階調補正を行うことにより、主要被写体が逆光又はハイコントラストであるような画像データであっても、適正な明るさになるように補正することができる。

なお、本実施の形態では輝度拡張色空間で符号化されたシーン参照画像データとしてｓｃＲＧＢの例を挙げたが、これに限らず、ｓｃＲＧＢ−ｎｌ、ｓｃＹＣＣ−ｎｌ等を用いることとしてもよい。ｓｃＲＧＢは、輝度値と一次式の関係にある整数を記録するため画像データを記録するサイズが大きくなってしまうのに比較し、ｓｃＲＧＢ−ｎｌ、ｓｃＹＣＣ−ｎｌは、より小さいサイズで画像データを記録することができるため、データ蓄積手段７１に記録したり、他の画像処理装置に出力したりする場合は、ｓｃＲＧＢ−ｎｌ、ｓｃＹＣＣ−ｎｌにデータを変換するようにしてもよい。

また、本実施の形態ではシーン参照画像データの主要被写体が逆光又はハイコントラストな場合に、黒色飽和点及び白色飽和点を特定することとしたが、黒色飽和点又は白色飽和点のどちらか一方を特定することとしてもよく、その場合には、逆光の場合は黒色飽和点を特定し、ハイコントラストの場合には白色飽和点を特定することが好ましい。

なお、本実施を行うための最良の形態における記述内容は、本発明の趣旨を逸脱しない範囲で適宜変更可能である。

画像記録装置の外観構成を示す斜視図である。 画像記録装置の内部構成を示すブロック図である。 図２の画像処理部の機能的構成を示すブロック図である。 画像調整処理部において実行される画像処理を示すフローチャートである。 算出された累積輝度ヒストグラムの一例を示す図である。 画像処理条件の異なる画像処理を行った場合の画像評価結果を示す図である。 ｓｃＲＧＢの基準黒色点及び基準白色点をｓＲＧＢの基準黒色点及び基準白色点に対応させた場合の様子を模式的に示す図である。

符号の説明

１ 画像処理装置
４ 露光処理部
５ プリント作成部
７ 制御部（判定部）
８ ＣＲＴ
９ フィルムスキャナ部（画像取得部、生成情報取得部）
１０ 反射原稿入力装置
１１ 操作部
１２ 情報入力手段
１４ 画像読込部（画像取得部、生成情報取得部）
１５ 画像書込部
３０ 画像転送手段
３１ 画像搬送部
３２ 通信手段（入力）（画像取得部、生成情報取得部）
３３ 通信手段（出力）
３４ 外部プリンタ
７０ 画像処理部
７０１ フィルムスキャンデータ処理部（画像取得部、生成情報取得部）
７０２ 反射原稿スキャンデータ処理部
７０３ 画像データ書式解読処理部（画像取得部、生成情報取得部）
７０４ 画像調整処理部（抽出部、特定部、階調補正部、画像生成部）
７０５ ＣＲＴ固有処理部
７０６、７０７ プリント固有処理部
７０８ 画像データ書式作成処理部
７１ データ蓄積手段

Claims (12)

1. 輝度拡張色空間で符号化されたシーン参照画像データを取得する画像取得工程と、
   前記取得されたシーン参照画像データから主要被写体を抽出する抽出工程と、
   前記抽出された主要被写体が逆光又はハイコントラストであるかを判定する判定工程と、
   前記判定工程により逆光又はハイコントラストと判定された場合に、前記シーン参照画像データの黒色飽和点及び白色飽和点を特定する特定工程と、
   前記主要被写体の明るさを変更する階調補正工程と、
   を含むことを特徴とする画像処理方法。
2. 輝度拡張色空間で符号化された鑑賞画像参照データを取得する画像取得工程と、
   前記取得された鑑賞画像参照データの生成時の情報を取得する生成情報取得工程と、
   前記取得された生成時の情報に基づいて前記鑑賞画像参照データから輝度拡張色空間で符号化されたシーン参照画像データを生成する生成工程と、
   前記生成されたシーン参照画像データから主要被写体を抽出する抽出工程と、
   前記抽出された主要被写体が逆光又はハイコントラストであるかを判定する判定工程と、
   前記判定工程により逆光又はハイコントラストと判定された場合に、前記シーン参照画像データの黒色飽和点及び白色飽和点を特定する特定工程と、
   前記主要被写体の明るさを変更する階調補正工程と、
   を含むことを特徴とする画像処理方法。
3. 前記特定工程は、前記シーン参照画像データの基準黒色点及び基準白色点の外側のデータに基づいて前記黒色飽和点及び白色飽和点を特定することを特徴とする請求項１又は２に記載の画像処理方法。
4. 前記特定工程は、前記シーン参照画像データの累積輝度ヒストグラムを算出して、シャドー側の累積値が所定の値となる輝度の平均値を黒色飽和点とし、ハイライト側の累積値が所定の値となる輝度の平均値を白色飽和点とすることを特徴とする請求項１〜３の何れか一項に記載の画像処理方法。
5. 輝度拡張色空間で符号化されたシーン参照画像データを取得する画像取得部と、
   前記取得されたシーン参照画像データから主要被写体を抽出する抽出部と、
   前記抽出された主要被写体が逆光又はハイコントラストであるかを判定する判定部と、
   前記判定部により逆光又はハイコントラストと判定された場合に、前記シーン参照画像データの黒色飽和点及び白色飽和点を特定する特定部と、
   前記主要被写体の明るさを変更する階調補正部と、
   を備えることを特徴とする画像処理装置。
6. 輝度拡張色空間で符号化された鑑賞画像参照データを取得する画像取得部と、
   前記取得された鑑賞画像参照データの生成時の情報を取得する生成情報取得部と、
   前記取得された生成時の情報に基づいて前記鑑賞画像参照データから輝度拡張色空間で符号化されたシーン参照画像データを生成する画像生成部と、
   前記生成されたシーン参照画像データから主要被写体を抽出する抽出部と、
   前記抽出された主要被写体が逆光又はハイコントラストであるかを判定する判定部と、
   前記判定工程により逆光又はハイコントラストと判定された場合に、前記シーン参照画像データの黒色飽和点及び白色飽和点を特定する特定部と、
   前記主要被写体の明るさを変更する階調補正部と、
   を備えることを特徴とする画像処理装置。
7. 前記特定部は、前記シーン参照画像データの基準黒色点及び基準白色点の外側のデータに基づいて前記黒色飽和点及び白色飽和点を特定することを特徴とする請求項５又は６に記載の画像処理装置。
8. 前記特定部は、前記シーン参照画像データの累積輝度ヒストグラムを算出して、シャドー側の累積値が所定の値となる輝度の平均値を黒色飽和点とし、ハイライト側の累積値が所定の値となる輝度の平均値を白色飽和点とすることを特徴とする請求項５〜７の何れか一項に記載の画像処理装置。
9. 画像処理を実行するためのコンピュータに、
   輝度拡張色空間で符号化されたシーン参照画像データを取得する画像取得機能と、
   前記取得されたシーン参照画像データから主要被写体を抽出する抽出機能と、
   前記抽出された主要被写体が逆光又はハイコントラストであるかを判定する判定機能と、
   前記判定部により逆光又はハイコントラストと判定された場合に、前記シーン参照画像データの黒色飽和点及び白色飽和点を特定する特定機能と、
   前記主要被写体の明るさを変更する階調補正機能と、
   を実現させるための画像処理プログラム。
10. 画像処理を実行するためのコンピュータに、
    輝度拡張色空間で符号化された鑑賞画像参照データを取得する画像取得機能と、
    前記取得された鑑賞画像参照データの生成時の情報を取得する生成情報取得機能と、
    前記取得された生成時の情報に基づいて前記鑑賞画像参照データから輝度拡張色空間で符号化されたシーン参照画像データを生成する画像生成機能と、
    前記生成されたシーン参照画像データから主要被写体を抽出する抽出機能と、
    前記抽出された主要被写体が逆光又はハイコントラストであるかを判定する判定機能と、
    前記判定工程により逆光又はハイコントラストと判定された場合に、前記シーン参照画像データの黒色飽和点及び白色飽和点を特定する特定機能と、
    前記主要被写体の明るさを変更する階調補正機能と、
    を実現させるための画像処理プログラム。
11. 前記特定機能は、前記シーン参照画像データの基準黒色点及び基準白色点の外側のデータに基づいて前記黒色飽和点及び白色飽和点を特定することを特徴とする請求項９又は１０に記載の画像処理プログラム。
12. 前記特定機能は、前記シーン参照画像データの累積輝度ヒストグラムを算出して、シャドー側の累積値が所定の値となる輝度の平均値を黒色飽和点とし、ハイライト側の累積値が所定の値となる輝度の平均値を白色飽和点とすることを特徴とする請求項９〜１１の何れか一項に記載の画像処理プログラム。

Images