JP4667072B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents

Description

本発明は、デジタルカメラにより撮影された画像（以下、ＤＳＣ画像という）、またはフィルムに記録された画像などを適正な写真プリントなどに仕上げるための画像処理装置、画像処理方法およびプログラムに関し、特に、画像の高周波成分の情報を用いて、写真プリントなどに仕上げるための画像のダイナミックレンジの圧縮条件を適正に設定する画像処理装置、画像処理方法およびプログラムに関するものである。

従来、デジタルカメラ（以下、ＤＳＣという）により撮影された画像、またはフィルム画像を写真プリントなどに適正に仕上げるために種々の画像処理が行われている。

例えば、フィルムのような撮影輝度のダイナミックレンジが広いメディアから限られた再現濃度範囲のペーパ（印画紙）にプリントし、写真プリントを得る場合、図７に示すように、フィルムに記録されている入力画像１００ａをプリント再現域まで単純に圧縮して、単純にコントラストを下げることにより、写真プリントなどの出力画像１００ｂとしている。

単純にコントラストを下げる場合、入力画像１００ａが全体に圧縮されるため、入力画像１００ａの中高周波成分１０２ａ、１０４ａも圧縮され、得られる写真プリントの出力画像１００ｂは、中高周波成分１０２ｂ，１０４ｂも小さくなりコントラストが低くなる。これにより、写真プリントなどの出力画像１００ｂは、ダイナミックレンジが狭く、メリハリ感がない軟調化した画像となるという問題点がある。

また、単純圧縮以外にも、適正な写真プリントなどに仕上げるために、ハイパートーン処理と呼ばれる画像処理方法が用いられている。
ハイパートーン処理は、ＤＳＣ画像またはフィルム画像を適正な画像に仕上げるための画像処理であり、入力画像データを低周波成分と高周波成分とに分離して、低周波成分に対して階調の伸張を行い、この階調が伸張された画像データに、さらに入力画像データを足すことにより、画像のメリハリ感を損なわずに階調を伸張することができる画像処理である。ハイパートーン処理は、特にフィルムのような撮影輝度のダイナミックレンジが広いメディアから限られた再現濃度範囲のペーパ（印画紙）にプリントする際、ハイライトおよびシャドーの損失を低減することが可能である。
図８（ａ）は、従来のハイパートーン処理をする画像処理装置を示すブロック図であり、（ｂ）は、図８（ａ）の従来の画像処理装置におけるルックアップテーブル（ＬＵＴ）の変換テーブルを示すグラフである。

図８（ａ）に示すように、従来のハイパートーン処理する画像処理装置１１０は、マトリクス（以下、ＭＴＸという）１１２と、超ローパスフィルタ（以下、超ＬＰＦという）１１４と、ルックアップテーブル（以下、ＬＵＴという）１１６と、加算器１１８とを有する。また、入力画像データは、被写体の画像が記録されたフィルムをスキャナで読み取って得られたものである。

ＭＴＸ１１２は、入力画像データのＲ、Ｇ、Ｂの各色の画像データから、二値の明暗画像データを作成するものである。明暗画像データは、Ｒ、Ｇ、Ｂの各色の画像データの平均値の３分の１を取ることにより作成される。
超ＬＰＦ１１４は、ＭＴＸ１１２により作成された明暗画像データの低周波成分（以下、ボケ画像データという）を得るものである。

ＬＵＴ１１６は、超ＬＰＦ１１４により得られたボケ画像データに画像処理を行って、入力画像データのダイナミックレンジを圧縮するための圧縮処理用画像データを作成するものである。このＬＵＴ１１６は、例えば、図８（ｂ）に示すように、傾きが一定の直線１２０で表わされる変換テーブルが設定されている。このＬＵＴ１１６により、画像の明部の濃度が加算され、画像の暗部の濃度が減算される。また、主要被写体等の画像の中心濃度は変わらない。

図９に示すように、ＬＵＴ１１６による処理を行わないもの（直線１２２）に比して、ＬＵＴ１１６による処理（曲線１２４）により、画像の明部の入力値に対する出力値は大きくなり、暗部の入力値に対する出力値は小さくなる。
例えば、図１０に示すように、ヒストグラム１２６で表わされる濃度範囲がＤ_max〜Ｄ_minの入力画像データを、ＬＵＴ１１６によりヒストグラム１２８で表わされる濃度範囲がＤ_HL〜Ｄ_SDのプリント再現域まで圧縮される。この場合、頻度が高い中心濃度域における圧縮による濃度の変化が少ない。

加算器１１８は、入力画像データと、ＭＴＸ１１２、超ＬＰＦ１１４およびＬＵＴ１１６により処理されたボケ画像データとを加算するものである。これにより、主たる画像データのダイナミックレンジが圧縮された出力画像データが作成される。

従来のハイパートーン処理においては、入力画像データと、ＭＴＸ１１２、超ＬＰＦ１１４、およびＬＵＴ１１６により入力画像データが処理されて得られたボケ画像データとを加算することにより、入力画像データのダイナミックレンジを非線形に圧縮して、図１１に示すように、高濃度側の中高周波成分１３２ａおよび低濃度側の中高周波成分１３４ａを有する入力画像データ１３０ａについて、プリント再現域まで高濃度側の中高周波成分１３２ｂおよび低濃度側の中高周波成分１３４ｂが維持された出力画像データ１３０ｂを得ることができる。このように、出力画像データ１３０ｂのダイナミックレンジ、ならびに明部と暗部との階調および濃度を適正なものとしている。よって、高画質な画像が再現された写真プリントが得られる。

このようなハイパートーンを用いた画像処理装置が種々提案されている（特許文献１および特許文献２参照）。
この特許文献１に開示された画像処理装置は、ハイパートーンを用いるものであり、
撮影によって得られた画像の画像データについて、撮影情報の取得手段と、画像データおよび取得手段が取得した撮影情報から、画像のダイナミックレンジの圧縮条件を設定する設定手段と、設定手段が設定したダイナミックレンジの圧縮条件に応じて、画像のダイナミックレンジの圧縮処理を行う処理手段とを有するものである。これにより、特許文献１においては、シーンの状態等に応じて、最適な画像処理条件を設定して、直接露光における覆い焼きの効果を付与する画像ダイナミックレンジの圧縮処理を行うことができ、人間が原シーンを見た時の印象に近い画像を安定して再生することを可能にする。なお、撮影情報としては、撮影シーン（シーンＩＤ）、撮影時のストロボ発光の有無、撮影倍率、主要被写***置、撮影者意図情報、撮影者好み情報等である。

また、特許文献２に開示された画像処理装置および方法は、ハイパートーンを用いるものであり、大規模なラボ装置のような第１の画像処理装置により生成した覆い焼き処理前の画像を表すデジタル画像信号とボケ画像信号をＭＯやＣＤ等の配送可能な記録媒体に保存し、それをユーザのパソコンのような第２の画像処理装置により再生し利用して覆い焼き処理するものである。これにより、特許文献２の画像処理装置および方法においては、ユーザが自由に好みの条件で覆い焼き処理をすることができる。

特開平１１−１９１８７１号公報 特開平１０−１１１９２８号公報

従来のハイパートーン処理方法においては、プリント再現域に入るように入力画像データのＤ_maxおよびＤ_minの圧縮量を決定している。この圧縮量は、入力画像データのヒストグラム、濃度の最大値、濃度の最小値、または濃度の平均値などの画像特徴量に基づいて、画像に応じて適正な圧縮量が決定されている。しかしながら、例えば、ウェディングドレスのように、ハイライト側の情報が多いシーン、およびストロボを使わずに撮影したものまたは暗い背景のようにシャドー側の情報が多いシーンなどのシーンによっては、圧縮量が不十分であるため、ハイライト、シャドーの損失を低減しきれていないという問題点がある。このようなシーンでは、従来のハイパートーン処理方法を用いた場合、被写体が十分に再現されたプリントを得ることができない虞がある。

また、特許文献１の画像処理装置においては、撮影情報を用いてダイナミックレンジの圧縮条件を設定しており、画像に応じて適正な圧縮量がある程度は可能である。しかしながら、シーンによっては、圧縮量が不十分であるため、ハイライトおよびシャドーの損失を低減しきれないという問題点がある。

さらに、特許文献２は、ユーザが自由に好みの条件で覆い焼き処理をするものであり煩雑である。また、ユーザの技量により、覆い焼き処理の結果が変わるため、必ずしも適正な覆い焼き処理がされるとは限らないという問題点がある。

本発明の目的は、前記従来技術に基づく問題点を解消し、ハイライト側の情報が多いシーンおよびシャドー側の少なくとも一方の情報が多いシーンの画像であっても、被写体が十分に再現された高画質の仕上りプリントなどの画像を得ることができる画像処理装置、画像処理方法およびプログラムを提供することにある。

上記目的を達成するために、本発明の第１の態様は、入力画像データに所定の画像処理を施し、出力用の出力画像データとする画像処理装置であって、前記入力画像データのダイナミックレンジの圧縮処理を行う処理手段を有し、前記処理手段は、前記入力画像データの高周波成分を抽出する抽出手段と、前記高周波成分のうち、輝度成分の濃度に対するヒストグラムの頻度を用いて、前記入力画像データのダイナミックレンジの圧縮量を設定する設定手段とを備え、前記設定手段が設定したダイナミックレンジの圧縮量に応じて、前記入力画像データのダイナミックレンジの圧縮処理を行うことを特徴とする画像処理装置を提供するものである。

本発明においては、前記設定手段は、前記入力画像データのダイナミックレンジの圧縮量を、前記入力画像データのハイライト濃度の高周波成分の量が多い程、前記ハイライト側の圧縮度合が増加するように設定するとともに、前記入力画像データのシャドー濃度の高周波成分の量が多い程、前記シャドー側の圧縮度合が増加するように設定することが好ましい。

また、本発明においては、前記処理手段は、さらに前記入力画像データの明暗画像データを作成する作成手段と、前記明暗画像データの低周波成分を抽出する他の抽出手段と、前記設定手段により設定された圧縮量で前記入力画像データを圧縮するための圧縮処理用画像データを、前記低周波成分から作成する圧縮処理用画像データ作成手段と、前記圧縮処理用画像データと前記入力画像データとを加算する加算器とを備えることが好ましい。

また、本発明の第２の態様は、入力画像データに所定の画像処理を施し、出力用の出力画像データとする画像処理装置によって実行される画像処理方法であって、前記画像処理装置が、前記入力画像データの高周波成分を抽出する工程と、前記画像処理装置が、前記高周波成分のうち、輝度成分の濃度に対するヒストグラムの頻度を用いて、前記入力画像データのダイナミックレンジの圧縮量を設定する工程と、前記画像処理装置が、前記設定したダイナミックレンジの圧縮量に応じて、前記入力画像データのダイナミックレンジの圧縮処理を行う工程とを有することを特徴とする画像処理方法を提供するものである。

本発明においては、前記ダイナミックレンジの圧縮量は、前記入力画像データのハイライト濃度の高周波成分の量が多い程、前記ハイライト側の圧縮度合が増加し、前記入力画像データのシャドー濃度の高周波成分の量が多い程、前記シャドー側の圧縮度合が増加するものであることが好ましい。

また、本発明においては、前記入力画像データの高周波成分を抽出する工程の前工程または後工程に、前記画像処理装置が、前記入力画像データの低周波成分を抽出する工程を有し、前記入力画像データのダイナミックレンジの圧縮処理を行う工程は、前記低周波成分から、設定された圧縮量で前記入力画像データを圧縮するための圧縮処理用画像データを作成し、前記圧縮処理用画像データと前記入力画像データとを加算するものであることが好ましい。

また、本発明の第３の態様は、画像処理装置により入力画像データに所定の画像処理を施し、出力用の出力画像データとするプログラムであって、前記入力画像データの高周波成分を抽出するステップと、前記高周波成分のうち、輝度成分の濃度に対するヒストグラムの頻度を用いて、前記入力画像データのダイナミックレンジの圧縮量を設定するステップと、前記設定したダイナミックレンジの圧縮量に応じて、前記入力画像データのダイナミックレンジの圧縮処理を行うステップとを、前記画像処理装置に実行させることを特徴とするプログラムを提供するものである。

本発明の画像処理装置、画像処理方法およびプログラムによれば、画像の入力画像データの高周波成分の情報を用いて、入力画像データのダイナミックレンジの圧縮条件を設定することにより、入力画像データ（被写体の画像）が全体的に均一であるか、またはシーンのハイライト濃度側、もしくはシーンのシャドー濃度側に情報を持つかなどが判定され、圧縮量が設定される。このため、ハイライト側の情報が多いシーンおよびシャドー側の情報が多いシーンの少なくとも一方の画像であっても、入力画像データとして記録された被写体が十分に再現された高画質の仕上りプリントなどの画像を得ることができる。

また、本発明の画像処理装置によれば、処理手段に、さらに入力画像データの明暗画像データを作成する作成手段と、この明暗画像データの低周波成分を抽出する他の抽出手段と、設定手段により設定された圧縮条件に基づく圧縮量で入力画像データを圧縮するための圧縮処理用画像データを、低周波成分から作成する圧縮処理用画像データ作成手段と、圧縮処理用画像データと入力画像データとを加算する加算器とを設けることにより、高周波成分の情報を用いて入力画像データ（被写体の画像）が全体的に均一であるか、またはシーンのハイライト濃度側、もしくはシーンのシャドー濃度側に情報を持つかなどが判定され、入力画像データの低周波成分の圧縮量を設定手段により設定された圧縮条件に基づくものとすることができる。このため、入力画像データの低周波成分における圧縮を、被写体に応じて適正なものとすることができる。これにより、ハイライト側の情報が多いシーンおよびシャドー側の情報が多いシーンの少なくとも一方の画像であっても、被写体が更に一層十分に再現された高画質の仕上りプリントなどの画像を得ることができる。

さらに、本発明の画像処理方法を、一般的にハイパートーン処理と呼ばれる画像処理方法に適用することにより、高周波成分の情報を用いて入力画像データ（被写体の画像）が全体的に均一であるか、またはシーンのハイライト濃度側、もしくはシーンのシャドー濃度側に情報を持つかなどが判定され、入力画像データのダイナミックレンジの圧縮条件を設定することができる。このため、ダイナミックレンジの低周波成分における圧縮を、被写体に応じて適正なものとすることができる。これにより、ハイライト側の情報が多いシーンおよびシャドー側の少なくとも一方の情報が多いシーンの画像であっても、被写体が更に一層十分に再現された高画質の仕上りプリントなどの画像を得ることができる。

以下に、添付の図面に示す好適実施形態に基づいて、本発明の画像処理装置、画像処理方法およびプログラムを詳細に説明する。
図１は、本発明の実施例に係る画像処理装置を有するプリントシステムを示すブロック図である。
図１に示すように、本実施例のプリントシステム１０は、入力機１２ａと、受付機１２ｂと、画像処理装置１６と、プリンタ１８とを有する。入力機１２ａおよび受付機１２ｂと画像処理装置１６とが接続されており、さらに画像処理装置１６とプリンタ１８とが接続されている。

入力機１２ａは、フィルムに撮影された被写体の画像を光電的に読み取り、入力画像データをデジタル画像データとして取得するものであり、入力画像データが画像処理装置１６に出力される。
入力機１２ａは、例えば、スキャナである。このスキャナは、フィルム等に撮影された画像を１コマずつ光電的に読み取る装置であり、光源と、可変絞りと、画像をＲ（赤）、Ｇ（緑）およびＢ（青）の三原色に分解するためのＲ、ＧおよびＢの３枚の色フィルタを有し、回転して任意の色フィルタを光路に作用する色フィルタ板と、フィルムに入射する読取光をフィルムの面方向で均一にする拡散ボックスと、結像レンズユニットと、フィルムの１コマの画像を読み取るエリアセンサであるＣＣＤセンサと、アンプ（増幅器）と、Ｒ，ＧおよびＢの各出力信号を、Ａ／Ｄ（アナログ／デジタル）変換、Ｌｏｇ変換、ＤＣオフセット補正、暗時補正、およびシェーディング補正等を行うデータ処理部を有して構成される。

また、このスキャナは、新写真システム(Advanced Photo System)または１３５サイズのネガ（あるいはリバーサル）フィルム等のフィルムの種類、サイズ、ストリップス、スライド等のフィルムの形態等に応じて、スキャナの本体に装着自在な専用のキャリアが用意されており、キャリアを交換することにより、各種のフィルム、および処理に対応することができる。フィルムに撮影され、プリント作成に供される画像（コマ）は、このキャリアによって所定の読取位置に搬送、保持される。また、周知のように、新写真システムのフィルムには、磁気記録媒体が形成され、カートリッジＩＤまたはフィルム種等が記録されており、さらに、撮影時または現像時等に、撮影日時、撮影時のストロボ発光の有無、撮像倍率、撮影シーンＩＤ、主要部位置の情報、および現像機の種類等の各種のデータが記録可能である。新写真システムのフィルム（カートリッジ）に対応するキャリアには、この磁気情報の読取手段が配置されており、フィルムを読取位置に搬送する際に磁気情報を読み取り、前記各種の情報が画像処理装置に送られる。

このようなスキャナにおいては、光源から射出され、可変絞りによって光量調整され、色フィルタ板を通過して色調整され、拡散ボックスで拡散された読取光が、キャリアによって所定の読取位置に保持されたフィルムの１コマに入射して、透過することにより、フィルムに撮影されたこのコマの画像を担持する投影光を得る。フィルムの投影光は、結像レンズユニットによってＣＣＤセンサの受光面に結像され、ＣＣＤセンサによって光電的に読み取られ、その出力信号がアンプで増幅されて、画像処理装置１６に送られる。ＣＣＤセンサは、例えば、１３８０×９２０画素のエリアＣＣＤセンサが用いられる。

スキャナにおいては、このような画像読取を、色フィルタ板の各色フィルタを順次挿入して３回行うことにより、１コマの画像をＲ，ＧおよびＢの３原色に分解して読み取る。

スキャナは、エリアＣＣＤセンサを用い、色フィルタ板によって読取光を調整することにより、原稿画像（フィルムの投影光）を３原色に分解して画像の読み取りを行っているが、本発明の画像処理装置に画像データを供給するスキャナとしては、Ｒ，ＧおよびＢの３原色のそれぞれの読み取りに対応する３つのラインＣＣＤセンサを用い、フィルムをキャリアで走査搬送しつつスリット状の読取光（投影光）によって画像読取を行う、いわゆるスリット走査によって画像を読み取る画像読取装置であってもよい。

受付機１２ｂは、ラボ店またはコンビニエンスストアの店頭などの、例えば、カウンタ上に設置され、顧客の注文を受け付けるために、オペレータが注文内容、注文事項等の注文情報データを入力して受付・登録するためのものであり、通常、モニタ表示画面を備えたパーソナルコンピュータ（ＰＣ）で構成される。
また、受付機１２ｂは、顧客の注文と同時に、例えば、プリントする画像の画像データも受け付ける。なお、画像データは、記録媒体の片面に記録されるものに限定されるものではなく、記録媒体の両面に画像が形成されるものであってもよい。

この受付機１２ｂにおいては、注文情報データが入力されて注文が確定されると、例えば、受付番号を注文情報データに付与するとともに、受付日時も記録する。また、注文情報データを照合し、以前に入力された顧客である場合には、予め付与されている顧客ＩＤを付与する。一方、以前に入力された顧客でない場合には、顧客ＩＤを新たに付与する。このように、受付機１２ｂにおいては、注文情報データに受付番号、受付日時、および顧客ＩＤを付与して、プリント注文された画像データとともに画像処理装置１６に出力する。

また、受付機１２ｂは、顧客自身が、簡単な注文を受付・登録するためのものでもよく、通常、モニタ表示画面を備えたパーソナルコンピュータ（ＰＣ）で構成される。受付機１２ｂを構成するＰＣは、モニタ（ディスプレイ）に加え、キーボードおよびマウスなどの入力デバイス、注文情報、ならびにソフトウエアなどを一時的に記憶しておくメモリまたは記憶装置（ＨＤＤ）などを備えていて良いのはもちろんであり、注文が確定した場合に発行される引換券をプリントするプリンタが設けられている。さらには、メモリカード、ＣＤ、ＭＯ、またはＦＤなどのメディアから画像データなどを読み出すためのメディアドライブを備えていても良い。

また、受付機１２ｂが設けられているカウンタなどで、撮影済みのフィルムを受け取ってもよい。この撮影済みのフィルムを現像し、現像済みのフィルムをスキャナで読み取り、画像データを作成し、画像処理装置１６に出力するようにしてもよい。

なお、受付機１２ｂの設置場所は、特に限定されるものではない。また、インターネットなどのネットワーク経由により受付機１２ｂにアクセス可能としてもよい。また、引換券の形態は、特に限定されるものではなく、受け取り可能な日時などが記録されていれば良い。

本実施例において、受付機１２ｂに入力される注文情報データは、例えば、顧客の氏名、顧客の電話番号、および顧客の住所などの顧客情報である。加えて、注文情報データは、プリントの種類、サイズおよび枚数、プリントする画像の仕上り、ならびに飾りプリントの有無などのプリント処理内容（注文内容）を含むものである。

本実施例においては、ネガまたはリバーサル等のフィルムに撮影された画像を光電的に読み取るスキャナを入力機１２ａとし、これを画像処理装置１６の入力画像データの供給源としているが、画像処理装置１６に画像データを供給する画像データ供給源は、これに限定されるものではない。例えば、受付機１２ｂに設けられたメディアドライブも入力機とすることができる。

画像処理装置１６は、入力機１２ａまたは受付機１２ｂにより取得された入力画像データに画像処理を施すものである。また、画像処理装置１６には、様々な条件の入力（設定）、処理の選択、指示、または色／濃度補正などの指示等を入力するためのキーボードおよびマウスを有する操作系と、取得された入力画像、各種の操作指示および様々な条件の設定／登録画面等を表示するディスプレイが接続される。この画像処理装置１６については、後に詳細に説明する。

プリンタ１８は、出力画像データに基づいて、写真プリントを作製するものである。このプリンタ１８は、例えば、画像処理装置１６から出力された出力画像データに応じて変調した光ビームで感光材料を画像露光し、現像処理して（仕上り）プリントとして出力するものである。
また、プリンタ１８としては、銀塩写真方式のものに限定されるものではなく、例えば、インクジェットプリンタ、電子写真方式および熱溶融方式のプリンタなどの紙等の記録媒体に画像を記録するものを用いることができる。また、プリンタ１８は、適宜要求される画質またはプリント形態に応じた方式のものを用いることができ、画像を記録媒体の片面または両面に記録するものであってもよい。

本実施例の画像処理装置１６は、基本画像処理部１４と、ハイパートーン処理部２０と、ＬＵＴ設定部３０と、データ変換部４０とを有するものである。ハイパートーン処理部２０およびＬＵＴ設定部３０により本発明の処理手段が構成される。
データ変換部４０は、得られた出力画像データをプリンタ１８で出力できるプリント画像データに変換するものである。出力画像データからプリント画像データへの変換は、例えば、３次元のルックアップテーブルによりなされる。

基本画像処理部１４は、画像の色／濃度（調子再現、色再現）および像構造（鮮鋭度、粒状性）等が適正な画像を出力するための基本的な画像処理をするものである。この基本的な画像処理を行うことにより、画像は画質的には完成したものとなる。基本的な画像処理とは、例えば、画像の拡大もしくは縮小（電子変倍処理）、階調補正、色／濃度補正、彩度補正、およびシャープネス処理である。また、基本画像処理部１４は、後述するハイパートーン処理部２０のＬＵＴ２６における基本的な変換テーブルを設定する機能も有するものである。

ハイパートーン処理部２０は、マトリクス（作成手段、（以下、ＭＴＸという））２２と、超ローパスフィルタ（他の抽出手段、（以下、超ＬＰＦという））２４と、ルックアップテーブル（以下、ＬＵＴという）２６と、加算器２８とを有する。

ＭＴＸ２２は、入力機１２ａまたは受付機１２ｂから入力される入力画像データ（Ｒ、ＧおよびＢの各色の画像データ）から明暗画像データを作成するものである。また、明暗画像データによる画像を明暗画像という。
この明暗画像データの生成方法としては、Ｒ、ＧおよびＢの各色の画像データの平均値の３分の１を取る方法（Ｙ＝（Ｒ＋Ｇ＋Ｂ）／３）、またはＹＩＱ規定を用いてカラー画像データを明暗画像データに変換する方法等が例示される。ＹＩＱ規定を用いて明暗画像データ（以下、Ｙ成分データともいう）を得る方法としては、例えば、Ｙ＝０．３Ｒ＋０．５９Ｇ＋０．１１Ｂにより、ＹＩＱ規定のＹ成分（輝度）のみをＲ、ＧおよびＢの各色の画像データから算出する方法が例示される。

超ＬＰＦ２４は、ＭＴＸ２２で生成された明暗画像データから低周波数成分を抽出することにより、明暗画像を２次元的にボカして、ボケ画像データ（低周波数成分）を得るものである。この超ＬＰＦ２４に用いるフィルタとしては、ボケ画像データの生成に通常用いられるＦＩＲ（Finite Impulse Response）型のローパスフィルタを用いることができる。また、超ＬＰＦ２４には、小型の回路で大きく画像をボカしたボケ画像データを生成できる点でＩＩＲ(Infinite Impulse Response)型のローパスフィルタを用いることが好ましい。

さらに、超ＬＰＦ２４として、メディアンフィルタ（以下、ＭＦという）を用いてもよい。ＭＦを用いることにより、明暗画像のエッジを保存して、平坦部のノイズ（高周波成分）をカットしたボケ画像データが得られるという点で好ましい。また、ＭＦの利点を生かした上で、大きく画像をボカしたボケ画像データを生成できるという点で、ＭＦとＬＰＦとを併用して、両者で得られた画像を重み付け加算するのが、特に好ましい。

ＬＵＴ（圧縮処理用画像データ作成手段）２６は、超ＬＰＦ２４により得られたボケ画像データ（低周波成分）に画像処理を行って、後述するようにＬＵＴ設定部３０により設定された圧縮条件に基づく圧縮量で、入力画像データを圧縮するための圧縮処理用画像データをボケ画像データ（低周波成分）から作成するものである。この圧縮処理用画像データは入力画像データの圧縮量を指示するものである。ＬＵＴ２６には、ＬＵＴ設定部３０により設定された圧縮量で入力画像データを圧縮するための圧縮処理用画像データをボケ画像データから作成する変換テーブルが設定されている。
ＬＵＴ２６により作成される圧縮処理用画像データが示す入力画像データの圧縮量は、基本的には、基本画像処理部１４により設定されているものの、ＬＵＴ設定部３０による解析に基づいて最終的に設定され、シーン毎に最適化される。また、このＬＵＴ２６におけるダイナミックレンジの圧縮量は、シーン毎に異なる。すなわち、シーンおよびＬＵＴ設定部３０により、ＬＵＴ２６における変換テーブルは、その設定が変更される。

加算器２８は、入力画像データと、ＬＵＴ２６により作成された圧縮処理用画像データとを加算するものである。入力画像データと圧縮処理用画像データとが加算器２８で加算されることにより入力画像データのダイナミックレンジが圧縮される。この加算器２８は、従来のハイパートーン処理装置１１０（図８（ａ）参照）の加算器１１８（図８（ａ）参照）と同様の構成である。

ＬＵＴ設定部３０は、入力画像データのダイナミックレンジの圧縮量を決定するものである。このＬＵＴ設定部３０は、ローパスフィルタ（以下、ＬＰＦという）３２と、減算器３４と、圧縮量決定部３６とを有する。

ＬＰＦ３２は、ハイパートーン処理部２０のＭＴＸ２２により得られたＹ成分データが入力され、このＹ成分データの低周波成分を抽出するものである。

減算器３４は、Ｙ成分データと、Ｙ成分データの低周波成分との差をとり、Ｙ成分データの中高周波成分を抽出するものである。この入力画像データの中高周波成分は、入力画像のエッジ成分である。ＬＰＦ３２および減算器３４により本発明の抽出手段が構成される。

圧縮量決定部３６は、減算器３４から出力された入力画像データの中高周波成分を用いて、被写体の画像（入力画像データ）のダイナミックレンジの圧縮量（ダイナミックレンジの圧縮条件）を設定するものである。
圧縮量決定部３６は、減算器３４から出力されたＹ成分データの中高周波成分の一定濃度以上の画素を対象に、図２に示すＹ成分の濃度に対するヒストグラムを作成する。なお、ヒストグラムにおいて、撮影画像のうち、真暗な部分または曇天の部分などのコントラストが少ない部分ではピークが生じない。このヒストグラムにより、被写体の画像（入力画像）が全体的に均一であるか、またはシーンのハイライト濃度側、もしくはシーンのシャドー濃度側に情報を持つかなどが判定される。

圧縮量決定部３６においては、この判定結果に基づいて、入力画像データを圧縮するための圧縮処理用画像データが、各濃度域におけるダイナミックレンジの圧縮量となるように、ＬＵＴ２６の変換テーブルの設定値を算出する。例えば、頻度と圧縮量との関係を予め関数などにより設定しておき、頻度に応じた圧縮量の設定値が算出される。このヒストグラムの頻度による圧縮量の設定方法は、特に限定されるものではない。
本実施例においては、圧縮量決定部３６により、高周波成分（エッジ成分）の頻度と濃度との関係から、被写体の画像における中高周波成分が存在する濃度領域を特定し、その濃度領域の圧縮量を多くする。このようにして、ヒストグラムの頻度に基づいて、入力画像データの各濃度域におけるダイナミックレンジの圧縮量（ダイナミックレンジの圧縮条件）が設定される。

本実施例の圧縮量決定部３６において、入力画像データの各濃度域におけるダイナミックレンジの圧縮量は、例えば、ハイライト濃度領域の頻度が高ければ高いほど、ハイライトの階調の圧縮量を高めように設定されるとともに、シャドー濃度領域の頻度が高ければ高いほど、シャドー階調の圧縮量を高めるように設定される。すなわち、本実施例の圧縮量決定部３６においては、ダイナミックレンジの圧縮条件を、画像のハイライト濃度の高周波成分の量が多い程、ハイライト側の圧縮度合が増加するように設定するとともに、画像のシャドー濃度の高周波成分の量が多い程、シャドー側の圧縮度合が増加するように設定する。

本実施例の圧縮量決定部３６は、決定した入力画像データの各濃度域におけるダイナミックレンジの圧縮量の設定値を、例えば、階調制御信号としてＬＵＴ２６に出力する。この階調制御信号によりＬＵＴ２６の変換テーブルが、ＬＵＴ設定部３０により設定された圧縮量の設定値に基づいて最終的に設定される。これにより、ＬＵＴ２６により得られる入力画像データのダイナミックレンジを圧縮するための圧縮処理用画像データが、ＬＵＴ設定部３０により設定された各濃度域におけるダイナミックレンジの圧縮量を指示するものとなる。
なお、圧縮量決定部３６からの階調制御信号を、ＬＵＴ２６ではなく基本画像処理部１４に出力し、この基本画像処理部１４によりＬＵＴ２６の変換テーブルをＬＵＴ設定部３０により設定された圧縮量の設定値に基づいて設定してもよい。

次に、本実施例の画像処理装置１６の動作について、画像が記録されたフィルムからスキャナで撮影画像を読み取り入力画像を取得したものを例に説明する。
先ず、画像が記録されたフィルムをスキャナで読み取り、入力画像データ（Ｒ、ＧおよびＢの各色の画像データ）を得る。

次に、入力画像データを画像処理装置１６のハイパートーン処理部２０（ＭＴＸ２２および加算器２８）に出力する。このハイパートーン処理部２０において、先ず、ＭＴＸ２２により、入力画像データのＹ成分データ（明暗画像データ）が作成される。

次に、ＭＴＸ２２からＹ成分データを超ＬＰＦ２４およびＬＵＴ設定部３０に出力する。これにより、超ＬＰＦ２４によりＹ成分データの低周波成分が得られる。この低周波成分がＬＵＴ２６に出力される。

一方、Ｙ成分データはＬＵＴ設定部３０にも出力される。本実施例のＬＵＴ設定部３０によるダイナミックレンジの圧縮量の設定方法について図３を参照して説明する。
ここで、図３は、本実施例の画像処理装置のＬＵＴ設定部によるダイナミックレンジの圧縮量の設定方法を示すフローチャートである。

上述の如く、入力画像データのＹ成分データが作成（ステップＳ１）されており、このＹ成分データをＬＰＦ３２に入力させるとともに、Ｙ成分データを減算器３４に出力する。ＬＰＦ３２により、Ｙ成分データの低周波成分が得られる（ステップＳ２）。
次に、Ｙ成分データからＹ成分データの低周波成分が減算されてＹ成分データの中高周波成分が抽出される（ステップＳ３）。これにより、Ｙ成分データの中高周波成分データが得られる。

次に、中高周波成分データが圧縮量決定部３６に出力される。この圧縮量決定部３６においては、ステップＳ３で得られた中高周波成分データのうち、所定の濃度以上の画素を対象として、例えば、図２に示すようなＹ成分の中高周波成分データのヒストグラムを作成する。このヒストグラムを用いて、エッジ成分（高周波成分）と濃度との関係を解析する（ステップＳ４）。ステップＳ４においては、ヒストグラムの頻度に応じて入力画像が全体的に均一であるか、またはシーンのハイライト濃度側もしくはシーンのシャドー濃度側に情報を持つかなどが判定される。

次に、図２に示すヒストグラムの頻度に応じてハイライト階調およびシャドー階調の圧縮量が決定される（ステップＳ５）。ステップＳ５において、圧縮量は、Ｙ成分のハイライト濃度領域の頻度が高ければ高いほど、入力画像のシーンにおけるハイライト側の情報量が多いものとし、ハイライト階調の圧縮量を高める。一方、Ｙ成分のシャドー濃度領域の頻度が高ければ高いほど、入力画像のシーンにおけるシャドー側の情報量が多いものとし、シャドー階調の圧縮量を高める。

次に、ハイパートーン処理部２０のＬＵＴ２６に、決定したハイライト階調およびシャドー階調の圧縮量の設定値をＬＵＴ２６に、例えば、階調制御信号として出力する。これにより、ＬＵＴ２６に設定された変換テーブルが圧縮量に応じて変更され、ＬＵＴ２６に設定された変換テーブルが最終的に設定される。

次に、ＬＵＴ２６によりＹ成分データの低周波成分から、ＬＵＴ設定部３０により設定された圧縮量で、入力画像データを圧縮するための圧縮処理用画像データを作成する。さらに、圧縮処理用画像データが加算器２８に出力される。この加算器２８において、入力画像データと、圧縮処理用画像データとが加算されて、ダイナミックレンジが圧縮された出力画像データを得る。

次に、この出力画像データがデータ変換部４０に出力されて、プリンタ１８に適合するプリント画像データに変換される。このようにして、画像処理装置１６においては、プリンタ１８により出力可能なプリント画像データが生成される。このプリント画像データに基づいて、プリンタ１８により、シャドー側およびハイライト側の濃度域まで、適正に再現された写真プリントを得ることができる。

本実施例の画像処理装置１６においては、入力機１２ａが取得したデジタル画像データに、被写体の画像の高周波成分を用いて、入力画像データの各濃度域におけるダイナミックレンジの圧縮量（圧縮条件）を設定し、ＬＵＴ２６に設定された変換テーブルを設定することにより、ハイライト側の情報が多いシーンおよびシャドー側の情報が多いシーンであっても、ハイライト側の情報およびシャドー側の情報が十分に再現された写真プリント（画像）などが得られる出力画像データを得ることができる。

以下、本実施例の画像処理装置１６において、例えば、新郎および新婦を撮影した撮影画像を画像処理する場合について説明する。この場合、新郎はタキシードを着ており、新婦は刺繍などが多く施されたウェディングドレスを着ている。このシーンにおいては、ハイライト側の濃度を多く持つ。

本実施例においては、画像処置装置１６により、図４（ａ）に示すように、新郎５２および新婦５４のＹ成分画像５０を作成する。
次に、Ｙ成分画像５０からＬＰＦ３２により、低周波成分画像を作成し、このＹ成分画像と低周波成分画像との差分をとり、図４（ｂ）に示すエッジ成分画像（中高周波成分画像）５０ａを作成する。このエッジ成分画像５０ａにおいて、新郎のエッジ画像５２ａは、輪郭のみが残る。一方、新婦のエッジ画像５４ａには、ウェディングドレスの刺繍などのテクスチャ５６が残り、エッジとして抽出される。

このエッジ成分画像５０ａを解析し、図５に示すように、ヒストグラムを作成する。新郎および新婦の撮影画像の場合、第１のピークがあるＹ成分の濃度が低い領域βに比して、第２のピークがある濃度が高い領域αにおける頻度が高い。これにより、撮影画像はハイライト側の濃度域に多くの高周波成分があり、ハイライト側に多くの情報があると判定される。

ここで、図６（ａ）は、入力画像と出力画像との濃度の関係を示すグラフであり、（ｂ）は、撮影画像データのヒストグラムを示すグラフであり、（ｃ）は、ルックアップテーブル（ＬＵＴ）の変換テーブルを示すグラフである。なお、新郎および新婦の撮影画像は、図６（ｂ）に示す濃度分布を有するものである。

図６（ａ）に示すように、入力画像６０の濃度範囲は、プリント再現域の濃度範囲を超えている。そこで、画像処理装置１６によりプリント再現域までダイナミックレンジの圧縮を行う。
従来のハイパートーン処理では、図６（ａ）に示すようなプリント再現域に入る出力画像６２となるように、図６（ｃ）に示す曲線６２ａで表される変換テーブルが設定される。従来のハイパートーン処理による得られる従来の出力画像６２では、ハイライト側の領域γがプリント再現域の上限に近いものとなる。このため、撮影画像のシーンにおけるハイライト側の画像を十分に再現することができない。すなわち、得られる写真プリント（画像）では、ウェディングドレスの刺繍などをはっきりと識別しにくい。

これに対して、本発明の画像処理によれば、ＬＵＴ設定部３０によるハイライト側の濃度域に多くの情報を持つという解析結果に基づいて、図６（ｃ）に示す曲線６４ａで表される変換テーブルが設定される。本発明においては、従来のハイパートーン処理よる変換テーブルよりもハイライト側の圧縮量が多い。これにより、図６（ａ）に示すように、得られる本発明の出力画像６４はハイライト側の最高濃度が低くなり、得られる写真プリント（画像）において、ハイライト側の画像情報を十分に再現できる。これにより、図６（ａ）に示すように、出力画像６４は最高濃度がプリント再現域の上限よりも低くなり、得られる写真プリント（画像）では、ウェディングドレスの刺繍などのテクスチャを十分に再現することができる。

本実施例においては、撮影画像の各シーンの高周波成分を用いて、画像におけるシャドー領域およびハイライト領域の圧縮量（ダイナミックレンジの圧縮量）を決めているので、ハイライト側の情報が多いシーンおよびシャドー側の情報が多いシーンであっても被写体に応じて適正な階調圧縮が可能となる。
また、本実施例においては、低周波成分だけを圧縮し、その圧縮量を抑えることができるため、黒の締まりの損失および白の抜けが悪くなることも抑制できる。

また、本実施例においては、撮影画像の各シーンにおける高周波成分を、ハイパートーン処理における圧縮量の設定に用いたが、本発明はこれに限定されるものではない。例えば、入力画像を単純にプリント再現域まで圧縮する場合にも、その圧縮量を撮影画像の各シーンにおける高周波成分を用いて決定してもよい。この場合においても、従来の単純圧縮に比して、ハイライトまたはシャドー側のコントラストを得ることができ、高品位なプリントを得ることができる。
また、入力画像データとしては、フィルムの読取画像データに限定されるものではなく、ＤＳＣまたは撮影機能付き携帯電話などの撮像装置により撮影されたデジタル画像データであってもよい。本発明においては、ハイライト側およびシャドー側の濃度域における圧縮量を適正に設定することができるため、プリンタのダイナミックレンジよりもダイナミックレンジが広い画像データの画像処理に好適である。

本発明の画像処理装置は、入力画像のダイナミックレンジを圧縮する機能を有する装置であってもよいが、例えば、一般的なパーソナルコンピュータシステムと、その上で動作するソフトウェアプログラムによって実現することも可能である。また、本発明の入力画像のダイナミックレンジを圧縮処理するプログラムは、本発明の画像処理方法を適用して、入力画像のダイナミックレンジが圧縮された出力画像データを作成するものである。

本発明は、基本的に以上のようなものである。以上、本発明の画像処理装置、画像処理方法およびプログラムについて詳細に説明したが、本発明は上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良または変更をしてもよいのはもちろんである。

本発明の実施例に係る画像処理装置を有するプリントシステムを示すブロック図である。 縦軸に頻度をとり、横軸にＹ成分の濃度をとって、本実施例の画像処理装置のＬＵＴ設定部による圧縮量の設定方法を説明するグラフである。 本実施例の画像処理装置のＬＵＴ設定部による圧縮量の設定方法を示すフローチャートである。 （ａ）および（ｂ）は、本実施例の画像処理装置のＬＵＴ設定部による圧縮量の設定方法を工程順に説明する模式図である。 縦軸に頻度をとり、横軸にＹ成分の濃度をとって、図４（ｂ）に示す高周波成分画像のヒストグラムを示すグラフである。 （ａ）は、入力画像と出力画像との濃度の関係を示すグラフであり、（ｂ）は、撮影画像データのヒストグラムを示すグラフであり、（ｃ）は、ルックアップテーブル（ＬＵＴ）の変換テーブルを示すグラフである。 縦軸に画像濃度をとり、横軸に画像位置をとって、従来の画像処理方法を示すグラフである。 （ａ）は、従来のハイパートーン処理をする画像処理装置を示すブロック図であり、（ｂ）は、図８（ａ）の従来の画像処理装置におけるルックアップテーブル（ＬＵＴ）の変換テーブルを示すグラフである。 縦軸に基準濃度からの相対濃度（出力値）をとり、横軸に基準濃度からの相対濃度（入力値）をとって、入力値と出力値との関係を示すグラフである。 縦軸に頻度をとり、横軸に濃度をとって、従来のハイパートーン処理を説明するグラフである。 縦軸に画像濃度をとり、横軸に画像位置をとって、従来のハイパートーン処理による結果を示すグラフである。

符号の説明

１０ プリントシステム
１２ａ 入力機
１２ｂ 受付機
１６ 画像処理装置
１８ プリンタ
２０ ハイパートーン処理部
２２ マトリクス（ＭＴＸ）
２４ 超ローパスフィルタ
２６ ＬＵＴ
２８ 加算器
３０ ＬＵＴ設定部
３２ ローパスフィルタ（ＬＰＦ）
３４ 減算器
３６ 圧縮量決定部
４０ データ変換部
５０ Ｙ成分画像
５０ａ エッジ成分（中高周波成分）画像
５２ 新郎
５２ａ 新郎のエッジ画像
５４ 新婦
５４ａ 新婦のエッジ画像
６０ 入力画像
６２、６４ 出力画像

Claims (7)

1. 入力画像データに所定の画像処理を施し、出力用の出力画像データとする画像処理装置であって、
   前記入力画像データのダイナミックレンジの圧縮処理を行う処理手段を有し、
   前記処理手段は、前記入力画像データの高周波成分を抽出する抽出手段と、前記高周波成分のうち、輝度成分の濃度に対するヒストグラムの頻度を用いて、前記入力画像データのダイナミックレンジの圧縮量を設定する設定手段とを備え、前記設定手段が設定したダイナミックレンジの圧縮量に応じて、前記入力画像データのダイナミックレンジの圧縮処理を行うことを特徴とする画像処理装置。
2. 前記設定手段は、前記入力画像データのダイナミックレンジの圧縮量を、前記入力画像データのハイライト濃度の高周波成分の量が多い程、前記ハイライト側の圧縮度合が増加するように設定するとともに、前記入力画像データのシャドー濃度の高周波成分の量が多い程、前記シャドー側の圧縮度合が増加するように設定する請求項１に記載の画像処理装置。
3. 前記処理手段は、さらに前記入力画像データの明暗画像データを作成する作成手段と、前記明暗画像データの低周波成分を抽出する他の抽出手段と、前記設定手段により設定された圧縮量で前記入力画像データを圧縮するための圧縮処理用画像データを、前記低周波成分から作成する圧縮処理用画像データ作成手段と、前記圧縮処理用画像データと前記入力画像データとを加算する加算器とを備える請求項１または２に記載の画像処理装置。
4. 入力画像データに所定の画像処理を施し、出力用の出力画像データとする画像処理装置によって実行される画像処理方法であって、
   前記画像処理装置が、前記入力画像データの高周波成分を抽出する工程と、
   前記画像処理装置が、前記高周波成分のうち、輝度成分の濃度に対するヒストグラムの頻度を用いて、前記入力画像データのダイナミックレンジの圧縮量を設定する工程と、
   前記画像処理装置が、前記設定したダイナミックレンジの圧縮量に応じて、前記入力画像データのダイナミックレンジの圧縮処理を行う工程とを有することを特徴とする画像処理方法。
5. 前記ダイナミックレンジの圧縮量は、前記入力画像データのハイライト濃度の高周波成分の量が多い程、前記ハイライト側の圧縮度合が増加し、前記入力画像データのシャドー濃度の高周波成分の量が多い程、前記シャドー側の圧縮度合が増加するものである請求項４に記載の画像処理方法。
6. 前記入力画像データの高周波成分を抽出する工程の前工程または後工程に、前記画像処理装置が、前記入力画像データの低周波成分を抽出する工程を有し、
   前記入力画像データのダイナミックレンジの圧縮処理を行う工程は、前記低周波成分から、設定された圧縮量で前記入力画像データを圧縮するための圧縮処理用画像データを作成し、前記圧縮処理用画像データと前記入力画像データとを加算するものである請求項４または５に記載の画像処理方法。
7. 画像処理装置により入力画像データに所定の画像処理を施し、出力用の出力画像データとするプログラムであって、
   前記入力画像データの高周波成分を抽出するステップと、
   前記高周波成分のうち、輝度成分の濃度に対するヒストグラムの頻度を用いて、前記入力画像データのダイナミックレンジの圧縮量を設定するステップと、
   前記設定したダイナミックレンジの圧縮量に応じて、前記入力画像データのダイナミックレンジの圧縮処理を行うステップとを、前記画像処理装置に実行させることを特徴とするプログラム。

Images