JP3913356B2 - Image processing method - Google Patents
Image processing method Download PDFInfo
- Publication number
- JP3913356B2 JP3913356B2 JP06652598A JP6652598A JP3913356B2 JP 3913356 B2 JP3913356 B2 JP 3913356B2 JP 06652598 A JP06652598 A JP 06652598A JP 6652598 A JP6652598 A JP 6652598A JP 3913356 B2 JP3913356 B2 JP 3913356B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- color
- image processing
- signal
- image signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、写真や印刷物等の反射原稿、ネガフィルム、リバーサルフィルム等の透過原稿に担持されるカラー原画像から、特定の色を持つ被写体を抽出して、この特定領域の被写体に応じて所定画像処理を行う画像処理方法に関する。
【0002】
【従来の技術】
近年、ネガフィルム、リバーサルフィルム等の写真フィルムや印刷物等に記録された画像情報を光電的に読み取って、読み取った画像をデジタル画像信号とした後、種々の画像処理を施して記録用デジタル画像信号とし、この画像信号に応じて変調された記録光ビームによって印画紙等の感光材料を走査露光して潜像を形成し、現像処理して仕上がりプリントとするデジタルフォトプリンタが提案され、現在本出願人によって実用化されている。
【0003】
このようなデジタルフォトプリンタは、写真フィルムに記録された画像を光電的に読み取る画像読取装置と、読み取った画像に所望の画像処理を施すとともに画像記録の露光条件を決定する画像処理装置と、決定された露光条件に従って処理済画像を感光材料に走査露光した後現像処理を施して可視像として再生する画像再生装置とから構成される。
【0004】
このようなデジタルフォトプリンタでは、読取画像がデジタル画像信号化されているため、複数画像の合成や画像の分割等の編集や、文字と画像との編集等のプリント画像のレイアウトや、色/濃度調整、変倍率、輪郭強調等の各種の画像処理も自由に行うことができ、用途に応じて自由に編集および画像処理を施した仕上りプリントを出力することができる。また、仕上りプリント画像を画像情報としてフロッピーディスク等の記録媒体に保存できるので、焼増し等の際に、原稿となる写真フィルムや印刷物等を用意する必要がなく、かつ再度露光条件を決定する必要がないので迅速かつ簡易に作業を行うことができる。
さらに、従来の直接露光によるプリントでは、分解能、色/濃度再現性等の制約から、フィルム等に記録されている画像をすべて再生することはできないが、デジタルフォトプリンタによればフィルムに記録されている画像(濃度情報)をほぼ100%再生したプリントが出力可能である。
【0005】
ところで、写真フィルム等に撮影された画像の撮影条件は一定ではなく、ストロボ撮影や逆光シーン等、明暗(濃度)の差、すなわちダイナミックレンジが非常に広い場合がある。これに対し、一般に、フィルムの担持画像を再生するための印画紙等の感光材料が記録可能な被写体画像のダイナミックレンジ(輝度レンジ)は、比較的広いものではあるが、印画紙等の感光材料はその最大濃度が制限されているため、フィルムに記録可能な被写体画像のダイナミックレンジ(輝度レンジ)に比べると狭い。
【0006】
このような場合、写真フィルム上のカラー原画像を通常の印画紙に露光してプリントを作成すると、ハイライト部またはシャドウ部のディテールが再現できない場合がある。例えば、人物を逆光下で撮影した場合、人物が明瞭な画像となるように露光を行うと、空のような明るい部分は白く飛んでしまい、逆に、空が明瞭な画像となるように露光を行うと、人物が黒くつぶれてしまう。そこで、従来の写真焼付装置では、覆い焼きやマスキングプリントというような方法が用いられている。
【0007】
覆い焼きとは、シーンの中の中間的な濃度の領域には通常の露光を与え、プリント上で白くとびそうな領域に穴あき遮蔽板を使って選択的に長時間露光を与えたり、逆にプリント上で黒くつぶれそうな領域には遮蔽板を用いて選択的に露光時間を短くすることにより、個々の被写体のコントラストを維持し、かつ明部・暗部のつぶれのないプリントを得る方法である。このように局部的に露光時間を制御する遮蔽板として、原画フィルムのネガポジを反転したボケ像を写真的に作成したものを用いて、原画フィルムとボケ画像フィルムとを重ねてプリントを行う方法が提案されている。しかし、ボケ画像フィルムを作成するには手間と時間がかかる。
また、写真原画の照明光源の明るさを部分的に変化させることにより、覆い焼きと同様の効果を得ることができるマスキングプリント方法もよく知られているが、マスキングプリントでは、再生される画像に関係なく用意された複数の遮蔽板を操作するので、極めて高度な技術を必要とする。
【0008】
このため、本出願人は、デジタルフォトプリンタにおいて従来の覆い焼きやマスキングプリント等と同等もしくはこれ以上の効果を挙げることのできるダイナミックレンジ圧縮技術を特願平7−165965号、同7−337509号および同8−16646号明細書において提案している。
【0009】
特願平7−165965号明細書に記載の発明は、カラー原画像に対してボケ画像を作成し、カラー原画像からボケ画像を減算し、こうして得られた差信号に所定の信号処理を施し、可視画像として再生するもので、いわば電子的に覆い焼き処理を行う技術を開示している。また、特願平7−337509号明細書に記載の発明は、カラー原画像に対して無限インパルス応答フィルタ(IIRフィルタ)によるデジタル処理によりボケ画像を作成し、このボケ画像に基づき、カラー原画像のダイナミックレンジ圧縮処理を行う技術を開示している。これらの技術によれば、画像全体のコントラストは弱められているものの、ハイライト部およびシャドウ部内の細かなコントラストは残っているため、ハイライト部がとばず、シャドウ部がつぶれることがない画像が得られるという効果を奏する。
しかしながら、上記の特願平7−165965号および特願平7−337509号明細書に記載のデジタル画像処理技術においては、ダイナミックレンジの圧縮処理に伴い、コントラストの大きい輪郭部分に偽輪郭が発生することがあるという問題があった。
【0010】
一方、特願平8−16646号明細書に記載の発明は、カラー原画像に対してメディアンフィルタによるボケ画像を作成し、カラー原画像からボケ画像を減算して差信号を得、この差信号に所定の信号処理を施し、可視画像として再生するものである。この技術は、メディアンフィルタを用いることにより、上記の偽輪郭の問題点をある程度解決しているが、ここに挙げた技術はいづれもコントラストの高い画像を対象にしており、カラー原画像に対するダイナミックレンジの圧縮処理を基本原理とするもので、コントラストの低い画像、例えば曇天時のような画像は考慮されていないという問題があった。
【0011】
【発明が解決しようとする課題】
ところで、カラー原画像をプリント画像として仕上げる場合、カラー原画像に上述したダイナミックレンジ圧縮伸長処理などを含む種々の画像処理が施されるが、画像処理によっては、カラー画像全体の色再現は良好であっても、人物の肌などの特定の領域においては、粒状などのノイズが目立ってしまう場合があるという問題があった。例えば、ダイナミックレンジ圧縮処理後階調を立てる階調変換処理を行ったり、シャープネス処理を掛けたり、見えを良くするために彩度を上げたりすると、人物の肌などの粒状などのノイズが目立つようになるという問題があった。
【0012】
一方、カラー原画像の中で人物の肌色や青空色や緑色等の重要色が占める特定の被写体領域、すなわち人物の顔や、青空や、緑色の草木などの特定領域には、背景領域と別の特別な画像処理を行いたい場合がある。例えば、カラー原画像の忠実な色再現より、人物の肌色の明度を上げ、肌色をもっと明るい好ましい色に仕上げたり、草木の緑色の彩度を上げ、緑色を鮮やかに仕上げる画像処理が好ましい、あるいは要求される場合がある。
このため、カラー原画像から人物の肌色などの特定領域を抽出する場合、カラー原画像において、色空間の特定領域を指定し、この領域内に存在する画素のみを抽出する方法がある。しかし、この方法では、カラー原画像自体には高周波成分、すなわちノイズ成分が含まれているため、人物の肌色などの特定領域を正確に抽出することができない場合があるという問題があった。
また、この方法では、特定領域を大きく設定した場合には、人物の肌色以外のものも一緒に抽出されることになるし、反対に特定領域を小さく設定すると、人物の肌色を見落とすことになるという問題があった。
【0013】
本発明の目的は、上記従来技術の問題点を解消し、カラー原画像から、特定の色を持つ被写体、例えば人物の肌色などの重要色が占める特定領域を精度良く抽出して、特定領域に応じた画像処理を行う、例えば、人物の肌色などの特定領域に粒状などのノイズを目立たせることなく、また偽輪郭を発生させることなく、覆い焼きなどのダイナミックレンジ圧縮伸長処理などの画像処理を行うことができる画像処理方法を提供することにある。
【0014】
【課題を解決するための手段】
上記目的を解決するために、本発明は、カラー原画像を表すデジタル原画像信号を可視像として再生するための画像処理信号を得る画像処理方法であって、
このデジタル原画像信号に対してエッジ保存平滑化フィルタによるフィルタリング処理を施して前記原画像のボケ画像を表すボケ画像信号を生成し、
このボケ画像信号から前記ボケ画像に対して抽出対象となる画素を抽出し、これらの画素に対応する前記原画像の抽出対象画素の特定領域を抽出し、
この特定領域に応じて所定画像処理を行い、
前記エッジ保存平滑化フィルタは、メディアンフィルタおよびローパスフィルタであり、前記メディアンフィルタによる第1のボケ画像信号と前記ローパスフィルタによる第2のボケ画像信号とを重み付け加算して前記ボケ画像信号を生成することを特徴とする画像処理方法を提供するものである。
【0015】
ここで、前記所定画像処理は、前記ボケ画像信号に基づいて前記デジタル原画像信号に対して前記原画像のダイナミックレンジ圧縮伸長処理を施して、伸縮処理済画像信号を得た後に、この伸縮処理済画像信号に前記特定領域を除いて階調変換を行うのが好ましい。
【0016】
また、前記ボケ画像に対する画素抽出は、予め設定しておいた色空間内の特定範囲に存在する画素を抽出することによって行うのが好ましい。
また、前記抽出対象画素の特定領域は、人物の肌色、空のシアン色、あるいは草木の緑色のようなゆるやかなグラデーションを持つ重要色の領域であるのが好ましい。
【0017】
また、前記カラー原画像の前記デジタル画像信号の間引き信号を補間した信号を前記ローパスフィルタに入力して、第2のボケ画像信号を生成するのが好ましい。また、前記ローパスフィルタは、無限インパルス応答フィルタであるのが好ましい。
【0018】
【発明の実施の形態】
本発明に係る画像処理方法を添付の図面に示す好適実施形態に基づいて以下に詳細に説明する。
【0019】
図1は、本発明の画像処理方法を実施する画像再生装置の一実施例の模式図である。
図1に示すように、本発明の画像処理方法を実施する画像再生装置10は、デジタルフォトプリンタとして構成されるものであって、原稿となる写真フィルムAに撮影されたカラー原画像を光電的に読み取る画像読取装置12と、この画像読取装置12によって読み取られたデジタル画像信号を本発明の画像処理方法に従ってデジタル画像処理する画像処理装置14と、この画像処理装置14から出力された処理済画像信号を、可視像(ハードコピー画像)として感光材料Z上に再生する画像記録装置16および可視像(ソフトコピー画像)として表示画面上に表示するモニタ18とを有する。
【0020】
画像読取装置12は、写真フィルムAに撮影された画像を光電的に読み取る装置であって、光源20と、光源20から射出される光量を調整する可変絞り22と、光源20からの光をR(赤)、G(緑)およびB(青)の3色に分解するためのR、GおよびBの3枚の色フィルタを有し、回転して任意の色フィルタを光路に挿入するための色フィルタ板24と、この色フィルタ板24の各色フィルタを透過した光を拡散させて写真フィルムAの2次元平面を均一に照明するための拡散ボックス26と、写真フィルムAを透過した読取光をCCD30に結像するための結像レンズ28と、結像レンズ28によって結像された写真フィルムAの1枚(1コマ)の画像を光電的に読み取るエリア(2次元)センサであるCCD30と、CCD30によって読み取られたRGB3色の画像信号を増幅するアンプ32と、増幅された画像信号をA/D変換するA/D変換器34と、得られたデジタル画像信号を対数変換して濃度信号とするための第1のルックアップテーブル(以下、第1LUTという)36とを有する。
【0021】
このような画像読取装置12においては、光源20から射出され、絞り22によって光量調整され、色フィルタ板24を通過して色分解され、拡散ボックス26で拡散された読取光が写真フィルムAを透過することにより、写真フィルムAに撮影された画像で変調された透過光が得られる。この透過光は、結像レンズ28によって写真フィルムAの画像の1枚(1コマ)分がCCD30の受光面に結像され、CCD30によって光電的に読み取られる。CCD30からの出力信号は、アンプ32で増幅され、A/D変換器34によってデジタル信号化され、LUT36で濃度信号とされた後、写真フィルムAに撮影された画像の濃度変換デジタル画像信号が入力画像情報として画像処理装置14に送られる。画像読取装置12では、このような画像読取を、色フィルタ板24のR、GおよびBの色フィルタを順次光路に挿入することにより、写真フィルムAに撮影された画像をR、GおよびBの3原色に分解して読み取って、入力画像情報を得ることができる。なお、画像読取装置の画像読取方法は、エリアCCD30の代わりにラインセンサを相対的に移動する方法でもよいし、ドラムスキャナのようにスポット測光する方法であってもよい。
【0022】
次に、画像処理装置14は、画像読取装置12から供給されるRGB3色のデジタル画像信号を入力画像情報として各色毎に格納するフレームメモリ38と、フレームメモリ38に格納された入力画像情報を用いて各種の画像処理条件の設定を行う画像処理条件設定部40と、設定された画像処理条件に従って本発明の特徴である特定領域、例えば肌色の領域の座標の抽出および抽出された特定領域に応じた画像処理やダイナミックレンジ圧縮伸長処理等を含む各種画像処理を行う画像処理部42とを有する。
画像読取装置12によって読み取られた写真フィルムAの1コマの画像のRGB3色のデジタル画像信号は、各色毎にフレームメモリ38に格納された後、読み出されて、画像処理条件設定部40および画像処理部42に送られる。
【0023】
ここで、画像処理条件設定部40は、セットアップ部44と、キー補正部46と、パラメータ統合部48とを有する。
セットアップ部44は、画像処理条件を設定するためにあり、オートセットアップアルゴリズムを実行するためのCPUを含み、フレームメモリ38に記憶されたデジタル画像信号から、オートセットアップアルゴリズムによって、濃度ヒストグラムの作成、最高濃度、最低濃度およびダイナミックレンジの算出等を行って、ダイナミックレンジ伸縮率を設定し、更に、マトリクス演算、画像処理アルゴリズム、画像処理テーブル等を用いて、色/濃度処理条件等の画像処理条件を設定する。より具体的には、各種の変換テーブル、補正テーブル、処理テーブル等を作成し、あるいは調整する。
【0024】
まず、セットアップ部44で行われる濃度ヒストグラムの作成、ダイナミックレンジの算出およびダイナミックレンジ伸縮率の設定について説明する。セットアップ部44は、まずフレームメモリ38から1コマの画像信号を読み出して、オートセットアップアルゴリズムにより、濃度ヒストグラムを作成する。この時、濃度ヒストグラム作成処理の迅速化および簡略化や処理回路の小規模化を図るために、図示しない読み出しタイミングコントローラなどの間引処理手段によってフレームメモリ38から読み出される画像信号を間引いて(読み出した後間引いてまたは間引いて読み出して)、セットアップ部44に供給し、間引かれた画像信号で濃度ヒストグラムを作成するようにしてもよい。なお、濃度ヒストグラムは、RGBの3色についてそれぞれ作成される。
セットアップ部44では、これらのRGB3色の濃度ヒストグラムを用いて白黒信号を生成する。この白黒信号は、3色の信号の加算平均信号、または、標準比視感度を考慮した、下記式で表される輝度信号Yを用いる。
Y=0.3R+0.59G+0.11B
ここで、R、G、Bは各カラー信号である。
【0025】
ここで、図2に示すように1コマ中の3種の異なる絵柄(シーン)について、3種の輝度Yについての濃度ヒストグラムが得られたものとする。図2において実線で示す濃度ヒストグラムaは、中間濃度の頻度が高い晴天時等の画像を表すヒストグラムであり、その濃度ダイナミックレンジDRa はYmax a −Ymin a である。また、一点鎖線で示す濃度ヒストグラムbは、中間濃度の頻度が低いが高濃度域および低濃度域での頻度が高いためコントラストが高い画像を表すヒストグラムであり、その濃度ダイナミックレンジDRb はYmax b −Ymin b である。さらに、破線で示す濃度ヒストグラムcは、中間濃度のみが多く、高低両濃度が極めて少なく、コントラストの低い曇天時等の画像を表すヒストグラムであり、その濃度ダイナミックレンジDRc はYmax c −Ymin c である。
【0026】
なお、図2には印画紙等にプリントされた標準的なシーンの濃度ダイナミックレンジを、標準濃度レンジDRo として表示している。なお、標準濃度レンジDRo をはみ出るヒストグラムaおよびbの場合、そのままプリントすると、原画像のハイライト部は白く飛び、シャドウ部は黒くつぶれることになる。
このため、本発明においては、コントラストの高い画像であっても低い画像であっても、安定して適切な仕上りを得るために、濃度ヒストグラムaおよびbで示される画像は、ダイナミックレンジの圧縮を行い、濃度ヒストグラムcで示される画像は、ダイナミックレンジの伸長を行う必要がある。そこで、本発明においては、濃度ヒストグラムから最高濃度Ymax および最低濃度Ymin の差を濃度ダイナミックレンジでDRとし、ダイナミックレンジ伸縮率αを次の式に従って算出する; α=1−DRo /DR (ここに、DRo は、対象とする感光材料のプリント再現域内に再生可能な、数十種のシーンの平均濃度ダイナミックレンジ)。この定義に従って、伸縮率α>0の時、カラー原画像のダイナミックレンジは圧縮され、伸縮率α<0の時、カラー原画像のダイナミックレンジは伸長される。すなわち、元のダイナミックレンジDRは、αの正負に関わらず、(DR−α・DR)=DRo に変換されるのである。
【0027】
このようにして、セットアップ部44ではオートセットアップアルゴリズムによって伸縮率αが自動的に算出されるが、本発明においては、オペレータがカラー原画像のシーンを目視判断して、伸縮率αを決定し、キー補正部46によって入力してもよい。
キー補正部46は、図3に示される調整キー47によるオペレータのキー補正に応じて、上述した伸縮率αを含む各種の画像処理条件の補正量を演算する。図示例の調整キー47では、一例として、濃度D、シアン濃度C、マゼンタ濃度M、イエロー濃度Y、階調γ、カラー原画像全体の伸縮率α、カラー原画像中のハイライト部の伸縮率αl 、シャドウ部の伸縮率αd を、それぞれ調整することができるようにしている。
オペレータは、後述するモニタ18に表示された画像を見ながら検定を行い、必要に応じて各パラメータの(+)キーおよび(−)キーを押圧して、所望の状態に画像を調整することもできる。それぞれの補正量は、キーの押圧回数に応じて調整される。なお、オペレータによる調整は、このようなキー操作以外にも、モニタ18に調整キー47に対応する表示、例えばスライダー等を表示し、マウス66やキーボード操作で調整を行う方法であってもよい。
【0028】
ここでオペレータは、本発明の特徴とする特定領域の抽出処理を行うために、キー補正部46で、またはマウス66やキーボード操作で、抽出すべき色、または3色の色濃度、または色度、もしくはその範囲を指定または設定してもよい。また、オペレータは、モニタ18の表示画像を見ながら検定を行う際に、抽出すべき特定の色を持つ領域をマウス66やキーボード操作等を用いて点または領域として指定し、指定された点または領域の画像データから抽出すべき色や色度やその範囲を取得するようにしてもよい。なお、この色や色度の範囲の指定や設定は、特定の色が予め画像処理装置14に設定されている場合には、オートセットアップアルゴリズムに行わせてもよい。このようにして抽出される特定領域の色(色度)範囲が、画像処理条件の一つとして設定される。また、本発明において特定領域として抽出処理すべき色は、主要被写体の色であれば、特に制限されないが、特に、人物の肌色、良く晴れた青空のシアン色、草木の緑色等のようなゆるやかなグラデーションを持つ重要色であるのが好ましい。
【0029】
パラメータ統合部48は、セットアップ部44によって設定された画像処理条件と、キー補正部46による補正量とを統合して、抽出すべき色の範囲等を含む最終的な画像処理条件を設定する。なお、調整キー47による入力が無い場合には、ここで最終的に設定される画像処理条件は、セットアップ部44のオートセットアップアルゴリズムによって設定された画像処理条件となる。このように、パラメータ統合部48は、画像処理条件を統合して、画像処理部42中の第2ルックアップテーブル(以下、第2LUTという)50、乗算器MUL56、特定領域抽出手段59、第3ルックアップテーブル(以下、第3LUTという)60に送る。なお、調整キー47からの入力があり、先にパラメータ統合部48で設定された画像処理条件が変更されると、これに応じてモニタ18の表示画像も変化する。
画像条件設定手段40は以上のように構成されるが、オペレータによる調整をモニタ18上でマウス66等による操作で行う場合には、キー補正部46を省略してもよい。また、マウス操作に伴うGUI出力をセットアップ部44に直接反映させてもよい。
【0030】
一方、画像処理部42は、フレームメモリ38に記憶された画像情報を読み出し、画像条件設定手段40で設定された画像処理条件に応じて所定の画像処理を施し、画像記録装置16によるプリントP出力のための出力画像情報とする手段であって、第2LUT50、マトリクス演算器(MTX)52、フィルタ(FIL)54、乗算器(MUL)56、減算器58、本発明の特徴とする肌色などの特定領域の座標を抽出する特定領域抽出手段(EXT)59および第3LUT60を有する。
【0031】
第2LUT50は、フレームメモリ38に記憶された入力画像情報を読み出し、濃度、グレイバランス、γのそれぞれを補正する処理を行うもので、それぞれの補正や調整を行うためのテーブルがカスケード接続されて構成されている。第2LUT50の各テーブルは、前述の画像条件設定手段40のパラメータ統合部48で設定され、あるいは調整される。なおここに、グレイバランス調整とは無彩色を無彩色として再現するための調整をいう。
【0032】
図4に第2LUT50に設定されるテーブルの一例を示す。図4中の(a)はグレイバランスの補正テーブルで、セットアップ部44はオートセットアップアルゴリズムにより、算出された最高濃度および最低濃度から、グレイバランスを取るためにこの調整テーブルを作成する。また、図3の調整キー47からの入力があった場合には、パラメータ統合部48でこの補正量とセットアップ部44が作成した補正テーブルとが統合され、調整テーブルのR、GおよびBの各テーブルの傾きが更に調整される。図4中の(b)は濃度の補正テーブルで、セットアップ部44は、作成した濃度ヒストグラムや最高濃度および最低濃度から、オートセットアップアルゴリズムを用いて、この補正テーブルを作成する。また、この補正テーブルも、図3の調整キー47からの入力で更に調整され得る。図4中の(c)はγの補正テーブルで、セットアップ部44は、作成した濃度ヒストグラムや最高濃度および最低濃度から、オートセットアップアルゴリズムを用いて、この補正テーブルを作成する。また、この補正テーブルも、図3の調整キー47の入力によって更に調整され得る。
【0033】
次にマトリクス演算器52は、第2LUT50で処理されたRGB3色の画像信号の色補正を行うものである。
マトリクス演算器52で色補正処理された画像信号は、減算器58と、特定領域抽出処理やダイナミックレンジの圧縮伸長処理を行うためのボケ画像信号を生成するためのフィルタ54との両方に送られる。なお、特定領域抽出処理やダイナミックレンジ圧縮伸長処理を施さない場合は、ボケ画像信号の生成は行われないため、マトリクス演算器52の出力だけが減算器58を通って第3LUT60に入力される。このダイナミックレンジで圧縮伸長処理の有無は、オペレータからの指示、または画像条件設定手段40からの指示で行う。
【0034】
ボケ画像を生成するフィルタ54としては、メディアンフィルタ等のエッジ平滑化フィルタが好適である。ここで、メディアンフィルタは、画像信号の中の大きなエッジは保存し、細かい構造は2次元的にぼかすためのボケマスクフィルタであり、図5に示すような特性を持つ。ここで、ボケマスクサイズが小さ過ぎると細かい構造の濃淡が残ったボケマスクになり、一方、ボケマスクサイズが大き過ぎると主要被写体が小さいときにボケマスクの効果があまり現れなかったり、演算量が多くなって装置の規模が大きくなってしまうという欠点が生じる。本出願人による各種シーンに対する実験の結果によれば、135型写真フィルムの場合のボケマスクサイズは20×20から5×5程度が好ましい。
【0035】
フィルタ54としてメディアンフィルタを用いることにより、従来のローパスフィルタ(LPF)のみでカラー原画像の低周波成分のみを取り出して、カラー原画像を2次元的にボケて、ボケ画像信号を得る場合に生じていたエッジ部のだれや偽輪郭の発生などを防止することができ、エッジを保存しておいて、非エッジ部のノイズを除去した画像を得ることが可能となる。ところで、フィルタ54としてメディアンフィルタを用いると、エッジを保存して平滑化することができるが、上述したようにメディアンフィルタはマスクサイズを適切に選択しなければ、エッジ保存平滑化フィルタとしてのボケマスク効果を十分に得ることができない場合がある。
【0036】
このため、本発明において用いられるフィルタ54を図6のように構成するのがより好ましい。図1中のフィルタ54の相当する部分は、図6に示されたように、メディアンフィルタ(MF)54aとローパスフィルタ(LPF)54bの並列接続部分に重み付け加算手段54cを直列接続した部分である。このようにフィルタ54を構成すれば、エッジ情報を十分に保存し、かつ超低周波成分の情報のみを拾うことができる。
【0037】
さらにここで用いられるローパスフィルタ54bとしては、ボケ画像生成に通常用いられる有限インパルス応答(FIR)型のローパスフィルタを用いてもよいが、小型の回路で大きく画像をボカたボケ画像情報を生成できる点で、無限インパルス応答(IIR) 型のローパスフィルタを用いるのが好ましい。図7にIIR型のローパスフィルタの一例を示す。図示例のローパスフィルタは、順方向に加算器が配置され、フィードバック方向に遅延回路が配置されている構成を含むものである。なお、本発明に用いることのできるIIR型のローパスフィルタとしては、本出願人の出願にかかる特願平7−337509号公報に記載されたIIR型のローパスフィルタを用いることができる。
このようにしてフィルタ54で生成されたRGB3色の各色のボケ画像信号は、乗算器56および特定領域抽出手段59に送られる。
【0038】
ここで、乗算器56は、フィルタ54から送られた各色のボケ画像信号と各色毎に画像条件設定手段40から受け取ったダイナミックレンジ伸縮率αとを乗算する。
ところで、写真フィルムAに撮影可能な画像の濃度領域は、一般的に仕上りプリントにおける再現域よりも広く、種々の濃度範囲の被写体が写真フィルムAに様々な濃度ダイナミックレンジ(DR)を持つ画像として撮影できるようになっている。例えば、晴天時の画像のように広い濃度ダイナミックレンジを持つ画像もあれば、曇天時の画像のように狭い濃度ダイナミックレンジを持つ画像もあるし、広いダイナミックレンジを持ち、コントラストの高い画像もある。また、雪中シーンや逆光シーンやストロボ撮影の画像などのように、ハイライト部またシャドウ部に、仕上りプリントの再現域を大きく超えて偏った濃度範囲の画像の場合もある。さらに、写真フィルムAの露光状態は常に適正な訳ではなく、いわゆる、アンダー/オーバー露光のものも多数存在する。
【0039】
図2に示すように、写真フィルムAの画像情報からセットアップ部44で作成された濃度ヒストグラムが曲線aおよびbで示される画像では、その濃度ダイナミックレンジDRがプリント再現域に対応する標準濃度レンジDRo より広いため、標準濃度レンジ以上のネガフィルム上の高濃度部は仕上りプリント上では白くとび、逆に、標準濃度レンジ以下のネガフィルム上の低濃度部は仕上りプリント上では黒くつぶれてしまう。そのため、カラー原画像の全てを再現した画像を得るためには、カラー原画像のダイナミックレンジを圧縮して、仕上りプリントの標準濃度レンジDRo に合わせる必要がある。一方、図2において曲線cのヒストグラムで示される画像では、その濃度ダイナミックレンジDRが標準濃度レンジDRo より狭いため、白の抜けが悪く、また黒の締まりが悪く、コントラストのない、メリハリのない画像として再生されてしまうため、ダイナミックレンジを伸長して、標準濃度レンジDRo に合わせる必要がある。
【0040】
また、雪中シーンや逆光シーンなどのようにハイライト部の画像情報の頻度が高い場合は、シャドウ部のダイナミックレンジを圧縮することが効果的な場合がある。一方、ストロボ撮影画像のようにシャドウ部の画像情報の頻度が高い場合は、ハイライト部のダイナミックレンジを圧縮することが効果的である場合もある。あるいはこのように従来の直接露光による覆い焼きと同様の効果を付与することを目的として、中間濃度部の階調を変化させずにハイライト部およびシャドウ部の濃度を調整して、ダイナミックレンジを圧縮することが効果的である場合もある。
【0041】
さらに、原稿となる写真フィルムAの画像がオーバー露光の場合には、仕上りプリント上ではハイライト部に濃度が乗って白の抜けが悪くなる結果メリハリのない画像に成りがちである。逆にアンダー露光の場合には、仕上りプリント上では黒の締まりが悪くなる結果やはりメリハリのない画像に成りがちである。そのため、ネガフィルム上で露光不適正がある場合に高画質な仕上がりプリントを得るためには、シーンに応じて部分的にコントラストを上げる必要がある。すなわち、オーバー露光の場合にはネガフィルム上の低濃度部の階調を立てたり、ダイナミックレンジを伸長したりしてコントラストを部分的に上げる補正処理を行い、アンダー露光の場合には、ネガフィルム上の高濃度部の階調を立てたり、ダイナミックレンジを伸長したりして、部分的にコントラストを上げる補正処理を行う必要がある。更に、アンダー露光/オーバー露光を修正する際に、中間濃度部の階調を変化させずに、ダイナミックレンジを伸長するのがよい場合もある。
そこで、雪中シーン、逆光シーン、ストロボ撮影シーンなどや、アンダー露光、オーバー露光などのように、原画像の一部のみのダイナミックレンジを補正したい場合には、ハイライト部の伸縮率αl およびシャドウ部の伸縮率αd をセットアップ部44で自動算出するか、または、オペレータがキー補正部46を用いて、他の部分の伸縮率αと異なるように非線形関数として設定するようにしてもよい。
【0042】
図1においては、ボケ画像に伸縮率αを乗算するために、乗算器56を用いているが、本発明はこれに替えて、圧縮伸長ルックアップテーブルを用意することとしてもよい。特に、伸縮率αが非線形関数として与えられる場合には、圧縮伸長ルックアップテーブルを用いるのが好ましい。なお、圧縮伸長ルックアップテーブルを用いたダイナミックレンジの圧縮伸長の方法は、本出願人の出願に係る特願平7−337509号公報および同8−157200号公報に記載された方法も用いることもできる。
このようにして乗算器56でダイナミックレンジ伸縮処理を施されたRGB3色の各色のボケ画像信号は、減算器58に送られる。減算器58では、カラー原画像信号からボケ画像信号を減算して、差信号を各色ごとに得る。この差信号は、エッジや高周波成分は保存され、低周波成分のみにダイナミックレンジ圧縮伸長処理が施され、標準濃度レンジを持ち、偽輪郭などの発生のない適切な高画質画像を再生することのできる画像信号となっている。こうして得られた差信号は、第3LUT60に送られる。
【0043】
一方、フィルタ54から送られた各色のボケ画像信号は特定領域抽出手段59にも入力されている。また、特定領域抽出手段59には、パラメータ統合部48から画像処理条件として設定された抽出すべき色や色度範囲についての情報も入力されている。そこで、特定領域抽出手段59は、入力されたボケ画像信号を用いて、抽出すべき色や色度範囲についての情報に基づいて設定された特定の色を持つ画素を抽出し、その座標(位置)情報を抽出することを繰り返して、特定領域全体を抽出し、特定領域の全座標の抽出する。なお、図示例では、特定領域抽出手段59による特定領域の抽出に用いられるボケ画像信号は、フィルタ54で生成されたボケ画像信号であるが、本発明はこれに限定されず、乗算器56でダイナミックレンジ伸縮処理されたボケ画像信号であってもよい。
本発明においては、高周波成分を含まないボケ画像信号に基づいて、特定領域の抽出を行うので、ノイズ等の高周波成分に影響されないで、人物の肌色、良く晴れた青空のシアン色、草木の緑色等のようなゆるやかなグラデーションを持つ重要色が占める対象被写体、あるいは主要被写体、すなわち特定領域を、正確に抽出することができる。
このようにして特定領域抽出手段59において抽出された特定領域の座標(位置)情報は、第3LUT60に送られる。
【0044】
ここで、特定領域の抽出の方法には特に限定はなく、いわゆる主要部抽出方法として公知の方法であればどのような方法でも用いることができる。例えば、オペレータがマウス66等を用いて主要部中の一点を指示し、色の連続性等から主要部を抽出する方法、オペレータがマウス66を用いて切り出す方法、公知の主要部抽出アルゴリズムを用いて自動抽出する方法等が例示される。
また、主要部の自動抽出アルゴリズムとしては、例えば、特開平9−138470号公報に開示される、特定色を抽出する方法、特定形状パターンを抽出する方法、背景に相当すると推定される領域を除去する方法等、複数の異なる主要部(主要部)抽出方法をあらかじめ評価して重みを定め、各抽出方法で主要部を抽出して、抽出された主要部を定めた重みで重み付けし、その結果に応じて主要部を判定、抽出する方法が例示される。また、これ以外にも、特開平4−346333号、同5−158164号、同5−165120号、同6−160993号、同8−184925号、同9−101579号、同9−138471号等の各公報に開示される主要部抽出方法も好適に利用可能である。
【0045】
次に、第3LUT60は、減算器58から送られるカラー原画像信号とボケ画像信号との差信号を最終的な出力媒体に応じた画像信号に階調変換を行うものであるが、特定領域抽出手段59で得られた特定領域の座標情報が、第3LUT60に入力されるので、抽出された特定領域には、この階調変換を行わず、特定領域を除いた残りの領域のみに階調変換を施す。すなわち、ここでは、ボケ画像の肌色などの特定領域に対して階調変換を掛けない。ここで、第3LUT60における階調変換は伸縮率αの逆数で行われる。そのため、例えば、乗算器56においてダイナミックレンジ圧縮処理(α>0)を行った時、第3LUT60における階調変換は階調を立てる処理(伸長処理)となるので、階調を立てるとざらつきなどの粒状、すなわちノイズが目立って問題となる人物の肌色、良く晴れた青空のシアン色、草木の緑色等のようなゆるやかなグラデーションを持つ重要色が占める特定領域には、階調変換を行わないのが特に効果があるのである。逆に、ダイナミックレンジ伸長処理(α<0)の場合には、第3LUT60の階調変換は階調を寝せる処理(圧縮処理)となるので、ざらつきなどの粒状やノイズが問題となる人物の肌色などのゆるやかなグラデーションを持つ重要色が占める特定領域にとっては、粒状やノイズを抑制する方向に働くので、階調変換を行なってもよい。さらに、カラー原画像が曇天などのシーンの場合には、肌色などの抽出された特定領域には、ダイナミックレンジ伸長処理処理自体を行わない、すなわち、これらの処理は行わず、なにもしないでカラー原画像のまま出力するようにしてもよい。こうすることで、肌色などの特定領域の粒状やノイズが目立つのを抑えることができる。
【0046】
こうして第3LUT60は、特定領域を除いた残りの領域のみが階調変換された処理済画像情報を生成し、画像記録装置16およびモニタ18に向けて出力する。このようにして第3LUT60で得られた処理済画像情報は、人物の肌色、良く晴れた青空のシアン色、草木の緑色等のようなゆるやかなグラデーションを持つ重要色が占める特定領域には、階調を立てる、すなわち硬調にする階調変換処理はもちろん、場合によっては乗算器56によるダイナミックレンジ伸長処理(α<0)自体が行われていないので、肌色などの特定領域のコントラストが高くなっておらず、従って、粒状やノイズなどが抑制されてざらつきなどがなく、その他の部分のコントラストが高く、メリハリのある画像を再現できるものである。
なお、図示例においては、人物の肌などの粒状やノイズなどが目立たないように、特定領域抽出手段59によって抽出された肌色などの特定領域に第3LUT60による階調を立てるような階調変換を施さない処理を行っているが、本発明はこれに限定されず、同様に特定領域が人物の肌色、良く晴れた青空のシアン色、草木の緑色等のようなゆるやかなグラデーションを持つ重要色が占める特定領域である場合には、シャープネス処理や、見えを良くするための彩度を上げる処理などを特定領域に施さない処理であってもよいし、さらには、逆に抽出特定領域のみの色味を好ましい色に変える処理であってもよいなど、正確に抽出された特定領域に応じて施される処理は、特定領域のみに掛ける処理であっても、特定領域のみに掛けない処理であってもよく、どの様な処理であってもよい。
【0047】
第3LUT60から出力された処理済画像情報は、図1中の信号変換器62とD/A変換器64を介して、モニタ18に可視像として表示される。また一方で、第3LUT60の出力は画像記録装置16に入力され、画像記録装置16において仕上がりプリント画像Pが出力される。ここで、モニタ18に表示される画像と、画像記録装置16に送られて再生される仕上がりプリント画像は、ダイナミックレンジ圧縮伸長処理や抽出された人物の肌色などの特定領域に応じた画像処理(階調変換処理を掛けない処理)を含む各種の画像処理が施された全く同一の画像信号から得られたものであるので、画像処理効果を持つメリハリのある高画質画像であることは言うまでもない。
【0048】
なお、前述したように、オペレータはモニタ18に表示された画像を見て検定を行うことができ、必要に応じて、図3の調整キー47を押して、白黒濃度D、C濃度、M濃度、Y濃度、階調、画面全体のダイナミックレンジ圧縮率α、ハイライト部のダイナミックレンジ伸縮率αl 、およびシャドウ部のダイナミックレンジ伸縮率αd の調整を行い、仕上りプリントに記録される画像の調整を行うことができる。オペレータによる調整キー47のキー補正は、キー補正部46に送られ、伸縮率αを含む画像処理条件の補正量とされ、パラメータ統合部48おいて、この補正量とセットアップ部44が設定した伸縮率αを含む画像処理条件とが統合されて、キー補正後の新たな画像処理条件が設定される。すなわち、第2LUT50の3つの補正テーブル(グレイバランス補正テーブル、輝度補正テーブルおよびγ補正テーブル)と、乗算器56に供給される伸縮率α、αl 、αd と第3LUT60における階調変換テーブルは、調整キー47によるキー操作によって調整あるいは再設定される。その結果、それに応じて、モニタ18に表示される画像も変化するし、画像記録装置16から出力される仕上がりプリント画像Pも変化する。
【0049】
ところで、図1に示すモニタ18のように、表示画面に再生画像とともに伸縮率α、αl 、αd を表示して、マウス66等によって調整もしくは再設定できるようにしてもよい。図8は、ダイナミックレンジ圧縮伸長処理済画像が表示されたモニタ18の表示画面の一例を示す。このモニタ18の表示画面には処理済画像を表示するとともに、表示された画像の伸縮率をマウス66等により調整するための調整用スライダー18aが表示されており、オペレータが表示画像のシーンの判別を行って、伸縮率α、αl 、αd の微調整を行うことができる。こうして調整された伸縮率α、αl 、αd は、画像条件設定手段40のセットアップ部44またはパラメータ統合部48に入力され、最終的に画像処理部42の乗算器56に乗数として設定される。また、オペレータがモニタ18を見ながら、特定領域の色や色度の範囲を決めて、条件設定手段40に指示するのも伸縮率調整の場合と同様に行うことができる。
本発明の画像処理方法を実施する画像処理装置14は、基本的に以上のように構成される。
【0050】
次に、図10に画像記録装置16を示す。画像記録装置16は、出力画像情報として、画像処理装置14の画像処理部42の第3LUT60での階調変換処理が終了した仕上りプリントの画像記録に応じた画像信号を受け、この出力画像情報に応じて、光ビーム走査によって感光材料Zを走査露光し、露光を終了した感光材料Zを現像処理して、仕上がりプリント画像Pを可視像として出力するものであって、図10に示すように、ドライバ88と、画像露光手段90と、現像手段92とを有する。
【0051】
画像処理装置14の画像処理部42より出力された画像信号は、ドライバ88に転送され、図示しないD/A変換器によって、アナログ画像信号に変換される。そしてドライバ88は、D/A変換されたアナログ画像信号に応じて、画像露光手段90の走査光ビームを変調するために、画像露光手段90の音響光学変調器を駆動する。
一方、画像露光手段90は、光ビーム走査によって感光材料Zを走査露光して、前記画像情報の画像を感光材料Zに記録するもので、図10に概念的に示されるように、感光材料Zに形成されるR感光層の露光に対応する狭帯波長域の光ビームを射出する光源96R、以下同様にG感光層の露光に対応する光源96G、およびB感光層の露光に対応する光源96Bの各光ビームの光源、各光源より射出された光ビームを、それぞれ記録画像に応じて変調する音響光学変調器94R、94Gおよび94B、光偏向器としてのポリゴンミラー98、fθレンズ100と、感光材料Zの副走査搬送手段を備えている。
【0052】
光源96R、96G、96Bより出射し、互いに相異なる角度で進行する各光ビームは、それぞれに対応する音響光学変調器94R、94G、94Bに入射する。各音響光学変調器には、ドライバ88より記録画像に応じたR、GおよびBそれぞれの駆動信号が転送されており、入射した光ビームを記録画像に応じて強度変調する。
音響光学変調器によって変調された各光ビームは、ポリゴンミラー98の略同一点に入射して反射され、主走査方向(図中矢印x方向)に偏向され、次いでfθレンズ100によって所定の走査位置に所定のビーム形状で結像するように調整され、感光材料Zに入射する。なお、画像露光手段90には、必要に応じて光ビームの整形手段や面倒れ補正光学系が配置されていてもよい。
【0053】
一方、感光材料Zはロール状に巻回されて遮光された状態で所定位置に装填されている。このような感光材料Zは図示しない引き出しローラで引き出され、主走査位置を挟んで配置された搬送ローラ対102aおよび102bによって、副走査方向(図中矢印y方向)に搬送される。光ビームは主走査方向に偏向されているので、副走査方向に搬送される感光材料Zは光ビームによって全面を2次元的に走査露光され、感光材料Zに画像処理装置14の画像処理手段40より転送された画像情報の画像(潜像)が記録される。
【0054】
露光を終了した感光材料Zは、次いで搬送ローラ対104によって現像手段92に搬入され、現像処理を施され仕上りプリントPとされる。ここで、例えば感光材料Zが銀塩写真感光材料であれば、現像手段92は発色現像槽106、漂白定着槽108、水洗槽110a、110b、110cおよび110d、乾燥手段およびカッタ(図示せず)等より構成され、感光材料Zはそれぞれの処理槽において所定の処理を施され、乾燥された後、カッタによってプリント1枚に対応する所定長に切断され、仕上りプリントPとして出力される。画像記録装置16は、基本的に以上のように構成される。
【0055】
本発明の画像処理方法を実施する画像再生装置10は、基本的に以上のように構成されるが、ここで、本発明の画像処理方法の好ましい態様について以下に説明する。
この態様の画像処理方法の特徴は、図9に示すように、予め原画像から濃度ヒストグラムを作成して濃度レンジを算出し、次いでダイナミックレンジ圧縮伸長率αを算出しておき、原画像からメディアンフィルタ(MF)によって生成されたボケ画像1とローパスフィルタ(LPF)によって生成されたボケ画像2とを重み付け加算した後、予め算出された圧縮伸長率αを用いて圧縮伸長することにより、ボケ画像を生成し、最後に得られたボケ画像を原画像から差し引いて差信号を生成するとともに、一方ではボケ画像信号から肌色などの特定領域の座標を抽出しておき、差信号を階調変換する時に、抽出された肌色などの特定領域(または、ボケ画像の特定領域)には階調を立てるような階調変換処理を施さないことにある。
【0056】
このため、本発明においては、高コントラスト画像であっても、低コントラスト画像であっても、高コントラスト部と低コントラスト部が混在する画像であっても、ノイズなどの高周波成分に影響されずに、人物の肌色、良く晴れた青空のシアン色、草木の緑色等のようなゆるやかなグラデーションを持つ重要色が占める特定領域を正確に抽出できる。
また、本発明においては、正確に抽出された特定領域には、階調を立てるような階調変換処理が行われないので、ダイナミックレンジが適切に圧縮伸長され、偽輪郭の発生や明部や暗部のつぶれがないばかりか、肌色などの特定領域のコントラストは高くならず、その他の部分のコントラストは高くなっている、メリハリのある高画質画像を得ることができる。
【0057】
ところで、図1に示す画像再生装置10においては、プレスキャンを行うことなく、フィルムAからカラー原画像の読み取りを1回行うのみで画像情報の処理を行うことができるため、画像の読み取りおよび処理を迅速に行うことができるが、本発明はこれに限定されず、プレスキャンを行うものであってもよい。
図11に示す画像再生装置10Aは、図1に示す画像再生装置10と、画像処理装置14Aの構成、具体的には画像処理装置14の構成に加え、さらにプレスキャンメモリ68と、プレスキャン画像処理部70とを有している点を除いて、全く同一の構成を有しているので、同一の構成要素には、同一の符号を付し、その詳細な説明は省略する。
【0058】
図11に示す画像再生装置10Aにおいては、画像読取装置12において、出力のための画像情報を得るための画像読取(本スキャン)に先立ち、低解像度で画像を粗に読み取るプレスキャンを行う。画像処理装置14Aは、プレスキャンで得られた画像情報から各種の画像処理条件を設定(セットアップ)し、この画像処理条件に応じて本スキャンの画像情報を画像処理して、画像記録装置16による画像記録ための出力画像情報とする。なお、プレスキャンと本スキャンにおける画像読取方法は、基本的に同様であるが、両者の違いは、読取画像の解像度が異なることだけである。
プレスキャンの際には、CCDセンサ30で読み取られた画像は、画像処理装置14Aのプレスキャンメモリ68に接続されるタイミングコントローラ72による制御で画素が間引され、解像度の低い粗な画像情報とされてプレスキャン画像処理部70において画像処理される。
【0059】
図示例の画像処理装置14Aは、画像読取装置12から入力されるデジタル画像信号に対して、特定領域抽出処理および抽出特定領域に応じた画像処理やダイナミックレンジ圧縮伸長処理を含む各種の画像処理を行うものであって、本スキャン画像メモリとして用いられるフレームメモリ38と、画像処理条件設定部40と、本スキャン画像の画像処理部42とに加え、プレスキャンメモリ68と、プレスキャン画像処理部(以下、表示画像処理部という)70とを有する。また、フレームメモリ38およびプレスキャンメモリ68には、画像情報の画素毎の読み出しを制御するタイミングコントローラ72が接続される。
画像読取装置12によるプレスキャンの画像情報はプレスキャンメモリ68に、本スキャンの画像情報はフレームメモリ38にそれぞれ送られ、記憶される。
プレスキャンメモリ68は、基本的に本スキャンメモリであるフレームメモリ38と同様の構成を有するものであり、共に、画像読取装置12から供給されたR画像情報、G画像情報およびB画像情報を、それぞれ記憶する3つのフレームメモリから構成される。なお、必要に応じて、プレスキャンメモリ68とフレームメモリ38の記録容量を異なるものとしてもよい。
【0060】
プレスキャンメモリ68に記憶された画像情報は、表示画像処理部70および条件設定部40に、フレームメモリ38に記憶された画像情報は、画像処理部42に、それぞれ読み出される。
条件設定部40は、プレスキャンメモリ68から記憶された画像情報を受け取る点が図1に示す画像処理装置14の条件設定部40と異なるが、セットアップ部44と、キー補正部46と、パラメータ統合部48とを有し、特定領域の色やダイナミックレンジの算出や圧縮伸長率α等の算出などの種々の画像処理条件の設定において全く同様に機能する。
なお、条件設定部40のセットアップ部44において算出された圧縮伸長率α、αl 、αd 等は、パラメータ統合部48から画像処理部42のMUL56に送られ、乗数として設定されるのみならず、表示画像処理部70の第3LUT78にも送られ、乗数もしくはダイナミックレンジ圧縮伸長テーブルとして設定される。また、セットアップ部44において設定された他の各種の画像処理条件(テーブル等を含む)は、パラメータ統合部48から画像処理部42の第2および第3LUT50および60のみならず、表示画像処理部70の第2LUT74にも送られ、各種の画像処理テーブル等が設定される。
【0061】
表示画像処理部70は、プレスキャンメモリ68に記憶されたプレスキャン画像情報を読み出し、条件設定部40で設定された画像処理条件に応じた各種の画像処理を施し、モニタ18表示用の画像情報とする部分で、第2LUT74、MTX76、第3LUT78および信号変換器62を有する。
ここで第2LUT74は、画像処理部42の第2LUT50と全く同様の機能を有し、プレスキャンメモリ68に記憶された画像情報を読み出し、グレイバランスの調整、明るさ補正および階調補正を行う。
MTX76は、画像処理部42のMTX52と全く同様の機能を有し、第2LUT74で処理された画像情報の色補正を行う。
【0062】
表示画像処理部70においては、MTX76で処理された画像情報は、フィルタリング処理(ボケマスク処理)によるボケ画像情報を使ったダイナミックレンジ圧縮伸長処理を行わずに、直接第3LUT78に入力される。
第3LUT78は、ダイナミックレンジ圧縮伸長処理を施さずに、MTX76で色補正されたプレスキャン画像情報をモニタ18に表示する場合には、画像処理部42の第3LUT60と全く同様の階調変換機能を有し、色補正プレスキャン画像情報をモニタ18に表示するのに適した画像情報に階調変換、濃度変換する。一方、色補正プレスキャン画像情報にもダイナミックレンジ圧縮伸長処理を施す場合には、第3LUT78は、このような階調変換機能に加え、条件設定部40から送られた伸縮率α、αl 、αd を乗数とする乗算機能または倍率変換機能を有し、色補正プレスキャン画像情報に設定伸縮率α、αl 、αd の圧縮伸長処理および階調変換、濃度変換処理を施して、ダイナミックレンジが適切で、モニタ18への表示に適した画像信号に変換する。
【0063】
このようにして、第3LUT78で変換されたプレスキャン画像情報は、出力され、信号変換器62によってモニタ18に対応する信号に変換され、さらに、D/A変換器64によってD/A変換されて、モニタ18に表示される。
ここで、モニタ18に表示される画像は、ダイナミックレンジ圧縮伸長処理が施されている場合、画像記録装置16に送られて再生される仕上りプリント画像Pと各種の画像処理や圧縮伸長処理として、同様の処理が施されたものであり、従って、モニタ18には、仕上りプリント画像Pと同様の画像が表示される。
なお、図11に示す例ではモニタ18に接続されるマウス66が省略されている。
【0064】
オペレータはモニタ18に表示されたプレスキャン画像を見て検定を行い、必要に応じて、特定領域の位置や色や色度やその範囲をマウス66やキーボード操作で指定し、または、条件設定部40の調整キー47の各キーを押圧して、各種の調整が行われるのは前述のとおりである。
オペレータによる調整キー47のキー入力は、条件設定部40のキー補正部46に送られ、画像処理条件の補正量とされ、パラメータ統合部48において、この補正量とセットアップ部44が設定した画像処理条件とが統合されて、キー補正後の新たな画像処理条件が設定される。ここで調整キー47によるキー入力によって、画像処理部42では、第2LUT50の各補正テーブル、MUL56の乗数α等および第3LUT60における階調変換テーブルが調整あるいは再設定され、表示画像処理部70でも、第2LUT74の各補正テーブルおよび第3LUT78における伸縮率αによるダイナミックレンジ圧縮伸長および階調変換テーブルが調整あるいは再設定され、また、これに応じて、モニタ18に表示される画像も変化する。
オペレータが画像が適正であると判断すると(検定OK)、出力の指示が出され、画像処理部42の第2LUT50がフレームメモリ38から本スキャン画像情報を読み出す。
【0065】
以下、画像処理装置14Aの画像処理部42においても、こうして読み出された本スキャン画像情報に対して、図1に示す画像再生装置10の画像処理装置14の画像処理部42と全く同様に、ダイナミックレンジ圧縮伸長処理を含む各種の画像処理を行って、画像記録のための出力画像情報を生成し、画像記録装置16に送られる。
なお、上記検定は必ずしも行われる必要はなく、例えば、フルオートモード等を設定して、検定なしでプリント作成を行うように構成してもよい。この場合には、例えば、セットアップ部44が画像処理条件を設定し、パラメータ統合部48が画像処理部42にこれらの画像処理条件を設定した時点で、第2LUT50が本スキャン画像情報を読み出しを開始し、画像処理を行う。
【0066】
画像記録装置16は、出力画像情報を受けると、同様にして仕上りプリント画像Pを出力する。こうして得られた仕上りプリント画像Pも同様に、高コントラスト画像であっても、低コントラスト画像であっても、高低コントラスト部の混在画像であっても、肌色などの特定領域がノイズ等の高周波成分の影響を受けずに正確に抽出され、正確に抽出された特定領域には特定領域に悪影響のある階調変換処理が施されないので、肌色などの特定領域には粒状やノイズなどによるざらつきがなく、その外の部分にはコントラストが高められ、しかも偽輪郭の発生や明部や暗部のつぶれがなく、ダイナミックレンジが適切に圧縮伸長されたメリハリのある高画質画像である。
本態様の画像再生装置10Aにおいては、プレスキャンを行って得た低画素密度の(本スキャン画像に比較して画素数の少ない)プレスキャン画像を用いて、条件設定部40のセットアップ部44でオートセットアップアルゴリズムを行うことができるので、条件設定部40の処理およびモニタ18への表示のための画像信号の画像処理を迅速かつ簡単なものとすることができ、条件設定部40や表示画像処理部70の構成を簡素化でき、それらの回路規模を簡単なものとすることができる。
【0067】
また、図1および図11に示す画像再生装置10および10Aにおいては、ボケ画像情報を作成する際に、RGBの3色の各色のデジタル画像信号についてそれぞれ、画像処理装置14および14Aの画像処理部42のフィルタ(FIL54)によるフィルタリング処理を行ってボケマスク信号を生成しているが、本発明はこれに限定されず、図12に示す画像再生装置10Bのように、RGBの3色のデジタル画像信号を明暗画像信号に変換した後に、フィルタ(FIL54)によるフィルタリング処理を行ってボケマスク信号を生成するように構成してもよい。
図12に示す画像再生装置10Bは、図11に示す画像再生装置10Aと、画像処理装置14Bの構成、具体的には画像処理部42Bでは、第1のMTX52とFIL54との間に明暗画像信号に変換するための第2のMTX80を有している点と、条件設定部40がセットアップ部44のみで構成されている点と、プレスキャン画像処理部70が、ダイナミック伸長圧縮および階調変換してモニタ18に表示するのに適した画像信号にするためのLUT78のみで構成されている点を除いて、全く同一の構成を有しているので、同一の構成要素には、同一の符号を付し、その詳細な説明は省略する。
【0068】
図12に示す画像再生装置10Bの画像処理装置14Bの画像処理部42Bにおいては、第1のMTX52で色補正されたRGB3色の画像信号は、減算器58に送られるとともに、ダイナミックレンジの圧縮伸長等の画像処理を行うためのボケマスク信号を生成するFIL54にも送られることになるが、直接送られるのではなく、予め明暗画像信号に変換されるために、FIL54より先に第2のMTX80に送られる。
第2のMTX80は、第1のMTX52から送られるR、GおよびBの画像信号から、カラー原画像の明暗画像信号を生成する。
明暗画像信号の生成方法としては、R、GおよびBの画像信号の平均値の3分の1を取る方法、YIQ規定を用いてカラー画像信号を明暗画像信号に変換する方法等が例示される。
YIQ規定を用いて明暗画像信号を得る方法としては、例えば、下記式により、YIQ規定のY成分のみを、R、GおよびBの画像信号から算出する方法が例示される。
Y=0.3R+0.59G+0.11B
【0069】
こうして第2のMTX80で得られた明暗画像信号は、ボケマスク信号を生成するためにFIL54に送られる。FIL54で生成されたボケマスク信号はMUL56に送られ、伸縮率αでダイナミックレンジ圧縮伸長処理された後、減算器58に送られ、第1のMTX52から送られた色補正RGB3色の画像信号から各色毎に引き算される。
以下、同様にして、第3LUT60にて階調変換されて、画像記録装置16に向けて送られ、可視再生像として仕上がりプリント画像Pが出力される。
本実施例では、フィルタリング処理によるボケ画像信号をカラー原画像のデジタル画像信号から変換された明暗画像信号に基づいて作成しているので、再生可視画像、特に被写体のエッジ部分の明るさは変化しても、色の再現性は変化しないため、適切なダイナミックレンジを持ち、高低濃度部のつぶれのない、特定領域が正確に抽出され、特定領域の粒状やノイズが抑制された、メリハリのある画像であるのはもちろん、カラー原画像と同様の不自然さのない画像を再生することができる。
【0070】
また、図6に示す実施例では、エッジを保存した平滑化フィルタ(FIL)54として、メディアンフィルタ(MF)54aおよびローパスフィルタ(LPF)54bを用い、これらのフィルタ54aおよび54bでMTX52で色補正された、同一のデジタル画像信号SA をフィルタリング処理して、それぞれのボケマスク信号1および2(それぞれボケ画像1および2)を生成しているが、本発明はこれに限定されず、図13に示す実施例のように、MF54aでは同様にMTX52で色補正された本スキャン画像信号SA をフィルタリング処理してボケマスク信号1(ボケ画像1)を生成し、LPF54bでは表示画像処理部70のMTX76で色補正されたプレスキャン画像信号、すなわち画素密度が低く、本スキャン画像信号SA に比べて間引かれた画素についての間引き画像信号をフィルタリング処理した後、本スキャン画像信号SA と同じ画素密度になるように補間してボケマスク信号2(ボケ画像2)を生成するようにしてもよい。なお、ローパスフィルタによるボケ画像のみならず、メディアンフィルタによるボケ画像もカラー原画像の間引き信号を補間して作成してもよい。
こうすることにより、画素数の少ないプレスキャン画像信号に基づいてボケマスク処理を行えるので、大規模な回路構成を必要とするボケマスクフィルタが不要となり、装置構成を簡易なものとすることができる。
【0071】
なお、偽輪郭の発生をさらに低減するために、メディアンフィルタとして複数のレベルの異なる中間値を出力する、またはマスクサイズの異なる複数のメディアンフィルタを用意し、ボケ画像信号を作成するためのデジタル画像信号の信号分布に応じて中間値のレベルまたはマスクサイズを選択するようにしてもよい。
また、図11および図12に示す画像処理装置14Aおよび14Bにおいては、プレスキャン画像のための表示画像処理部70(またはセットアップ部44のみ)と、本スキャン画像のための画像処理部42(または42B)とを異なるものとしているが、本発明はこれに限定されず、両画像処理部42(または42B)および70を処理対象画素規模(画素数、容量)を除いて、同様に、または全く同一に構成してもよい
【0072】
以上、本発明の画像処理方法について詳細に説明したが、本発明は上述の例に限定はされず、本発明の要旨を逸脱しない範囲において、種々の改良や設計の変更等を行ってもよいのはもちろんである。
【0073】
【発明の効果】
以上詳述したように、本発明によれば、高コントラスト画像であっても、低コントラスト画像であっても、高コントラスト部と低コントラスト部が混在する画像であっても、ノイズなどの高周波成分に影響されずに、人物の肌色、良く晴れた青空のシアン色、草木の緑色等のようなゆるやかなグラデーションを持つ重要色が占める特定領域を正確に抽出できる。
また、本発明によれば、正確に抽出された特定領域には、階調を立てるような階調変換処理が行われないので、ダイナミックレンジが適切に圧縮伸長され、偽輪郭の発生や明部や暗部のつぶれがないばかりか、肌色などの特定領域のコントラストは高くならず、その他の部分のコントラストは高くなっている、メリハリのある高画質画像を得ることができる。
【図面の簡単な説明】
【図1】 本発明に係る画像処理方法を実施する画像再生装置の一実施例の模式図である。
【図2】 図1に示される画像再生装置に用いられる画像処理装置で得られる濃度ヒストグラムの一例を表すグラフである。
【図3】 図1に示される画像処理装置に接続される調整キーの一実施例の概念図である。
【図4】 図1に示される画像処理装置の第2LUTに設定されるテーブルの特性図の一例であって、それぞれ、(a)はグレイバランス調整テーブルを、(b)は明るさ補正テーブルを、(c)は階調補正テーブルを示す。
【図5】 図1に示される画像処理装置に用いられるメディアンフィルタの特性の一例を説明する説明図である。
【図6】 図1に示される画像処理装置のフィルタ(FIL)の一実施例を含む一部分を示すブロック図である。
【図7】 図1に示される画像処理装置に用いられるIIR型のローパスフィルタの一例を示す回路図である。
【図8】 図1に示される画像再生装置に用いられるモニタの一実施例の概念図である。
【図9】 本発明に係る画像処理方法の一例の特徴部分のフローを示す図である。
【図10】 図1に示される画像再生装置に用いられる画像記録装置の一実施例の模式的斜視図である。
【図11】 本発明に係る画像処理方法を実施する画像再生装置の別の実施例の模式図である。
【図12】 本発明に係る画像処理方法を実施する画像再生装置の別の実施例の模式図である。
【図13】 本発明に係る画像処理方法を実施する画像再生装置に用いられる画像処理装置の別の実施例のブロック図である。
【符号の説明】
10 画像再生装置
12 画像読取装置
14 画像処理装置
16 画像記録装置
18 モニタ
20,96 光源
22 可変絞り
24 色フィルタ板
26 拡散ボックス
28 結像レンズ
30 CCD
32 アンプ
34 A/D変換器
36 第1のルックアップテーブル(LUT)
38 フレームメモリ
40 条件設定手段
42 画像処理部
44 セットアップ部
46 キー補正部
47 調整キー
48 パラメータ統合部
50,74 第2ルックアップテーブル(LUT)
52,76 マトリクス演算器(MTX)
54 フィルタ(FIL)
54a メディアンフィルタ(MD)
54b ローパスフィルタ(LPF)
54c 重み付け加算器
56 乗算器(MUL)
58 減算器
59 特定領域抽出手段
60,78 第3ルックアップテーブル(LUT)
62 信号変換器
64 D/A変換器
66 マウス
68 プレスキャンメモリ
70 表示画像処理手段
72 タイミングコントローラ
80 第2のマトリクス演算器(MTX)
88 ドライバ
90 画像露光手段
92 現像手段
94 音響光学変調器(AOM)
98 ポリゴンミラー
100 Fθレンズ
102,104 搬送ローラ対
106 発色現像槽
108 漂白定着槽
110 水洗槽
A 写真フィルム
Z 感光材料
P プリント[0001]
BACKGROUND OF THE INVENTION
The present invention extracts a subject having a specific color from a color original image carried on a reflective original such as a photograph or printed matter, a transparent original such as a negative film or a reversal film, and determines a predetermined color according to the subject in the specific area. The present invention relates to an image processing method for performing image processing.
[0002]
[Prior art]
In recent years, image information recorded on photographic films such as negative films and reversal films and printed materials is photoelectrically read, and the read images are converted into digital image signals, which are then subjected to various image processing and recorded digital image signals. A digital photo printer has been proposed in which a latent image is formed by scanning and exposing a photosensitive material such as photographic paper with a recording light beam modulated in accordance with the image signal, and the resulting image is developed to produce a finished print. It has been put to practical use by people.
[0003]
Such a digital photo printer includes an image reading device that photoelectrically reads an image recorded on a photographic film, an image processing device that performs desired image processing on the read image and determines exposure conditions for image recording, The image reproducing apparatus is configured to scan and expose a processed image on a photosensitive material in accordance with the exposure conditions and then develop the processed image to reproduce it as a visible image.
[0004]
In such a digital photo printer, since the read image is converted into a digital image signal, the layout of the print image, such as composition of a plurality of images, image division, edit of characters and images, color / density, etc. Various types of image processing such as adjustment, magnification, and edge enhancement can be performed freely, and finished prints that have been subjected to editing and image processing can be output according to the application. Further, since the finished print image can be stored as image information in a recording medium such as a floppy disk, it is not necessary to prepare a photographic film or printed material as a manuscript at the time of reprinting, and it is necessary to determine exposure conditions again. Because there is no, work can be done quickly and easily.
Furthermore, conventional direct exposure printing cannot reproduce all the images recorded on film or the like due to restrictions on resolution, color / density reproducibility, etc., but is recorded on film by a digital photo printer. A print that reproduces almost 100% of the existing image (density information) can be output.
[0005]
By the way, the photographing conditions of an image photographed on a photographic film or the like are not constant, and there may be a case where the difference in lightness and darkness (density), that is, the dynamic range is very wide, such as flash photography or a backlight scene. In contrast, in general, the dynamic range (luminance range) of a subject image that can be recorded by a photosensitive material such as a photographic paper for reproducing a film-supported image is relatively wide, but the photosensitive material such as a photographic paper. Since the maximum density is limited, it is narrower than the dynamic range (luminance range) of the subject image that can be recorded on the film.
[0006]
In such a case, when a color original image on a photographic film is exposed on ordinary photographic paper to create a print, the details of the highlight or shadow portion may not be reproduced. For example, when a person is photographed under backlighting, if exposure is performed so that the person becomes a clear image, bright parts such as the sky will fly white, and conversely, exposure will be performed so that the sky becomes a clear image. If you do, the person will be black. Therefore, methods such as dodging and masking printing are used in conventional photo printing apparatuses.
[0007]
Dodging means that normal exposure is given to an intermediate density area in the scene, and the area that seems to be white on the print is selectively exposed for a long time using a perforated shielding plate, and vice versa. In this method, the exposure time is selectively shortened using a shielding plate in areas that are likely to be crushed black on the print, thereby maintaining the contrast of individual subjects and obtaining a print that is free of light and dark areas. is there. As a shielding plate for locally controlling the exposure time in this way, there is a method of performing printing by overlaying the original image film and the blurred image film using a photographed image obtained by reversing the negative and positive of the original image film. Proposed. However, it takes time and effort to create a blurred image film.
In addition, a masking print method that can achieve the same effect as dodging by changing the brightness of the illumination light source of the original picture is also well known. Regardless of the operation of a plurality of shield plates prepared, it requires extremely advanced technology.
[0008]
For this reason, the applicant of the present invention has proposed a dynamic range compression technique capable of producing an effect equivalent to or better than that of a conventional dodging or masking print in a digital photo printer, such as Japanese Patent Application Nos. 7-165965 and 7-337509. And JP-A-8-16646.
[0009]
The invention described in the specification of Japanese Patent Application No. 7-165965 creates a blurred image from a color original image, subtracts the blurred image from the color original image, and performs predetermined signal processing on the difference signal thus obtained. In other words, a technique for reproducing as a visible image, and so-called electronic dodging processing is disclosed. The invention described in the specification of Japanese Patent Application No. 7-337509 creates a blurred image by digital processing using an infinite impulse response filter (IIR filter) for a color original image, and based on this blurred image, the color original image Discloses a technique for performing dynamic range compression processing. According to these technologies, the contrast of the entire image is weakened, but the fine contrast in the highlight part and the shadow part remains, so that the highlight part does not skip and the shadow part does not collapse. The effect that is obtained.
However, in the digital image processing techniques described in Japanese Patent Application Nos. 7-165965 and 7-337509, a false contour is generated in a contour portion having a large contrast in accordance with the dynamic range compression processing. There was a problem that there was something.
[0010]
On the other hand, the invention described in the specification of Japanese Patent Application No. 8-16646 creates a blurred image by a median filter for a color original image, subtracts the blurred image from the color original image, and obtains a difference signal. Is subjected to predetermined signal processing and reproduced as a visible image. This technology solves the above-mentioned problem of false contours to some extent by using a median filter. However, all of these technologies are intended for images with high contrast, and have a dynamic range for the original color image. Therefore, there is a problem that an image with a low contrast, for example, an image in cloudy weather is not taken into consideration.
[0011]
[Problems to be solved by the invention]
By the way, when finishing a color original image as a print image, the color original image is subjected to various image processing including the dynamic range compression / decompression processing described above. However, depending on the image processing, the color reproduction of the entire color image is good. Even in such a case, there is a problem that noise such as graininess may be conspicuous in a specific region such as a person's skin. For example, if you perform gradation conversion processing that raises gradation after dynamic range compression processing, apply sharpness processing, or increase the saturation to improve the appearance, noise such as granularity such as human skin will be noticeable There was a problem of becoming.
[0012]
On the other hand, a specific subject area occupied by important colors such as human skin color, blue sky, and green in the original color image, that is, a specific area such as a person's face, a blue sky, and a green plant is separated from the background area. You may want to perform special image processing. For example, image processing that raises the brightness of the skin color of a person and finishes the skin color to a brighter preferable color, raises the saturation of the green of the plant, and finishes the green vividly is more preferable than faithful color reproduction of the original color image, or May be required.
For this reason, when a specific region such as a person's skin color is extracted from the color original image, there is a method of designating a specific region of the color space in the original color image and extracting only the pixels existing in this region. However, in this method, since the color original image itself contains a high-frequency component, that is, a noise component, there is a problem in that it may not be possible to accurately extract a specific region such as a person's skin color.
Also, in this method, when the specific area is set large, other than the skin color of the person is extracted together, and conversely, when the specific area is set small, the person's skin color is overlooked. There was a problem.
[0013]
An object of the present invention is to solve the above-mentioned problems of the prior art and accurately extract a specific area occupied by an important color such as a subject having a specific color, for example, a person's skin color, from the original color image, Perform image processing such as dynamic range compression / expansion processing such as dodging without conspicuous noise such as granularity in specific areas such as human skin color and without generating false contours. An object of the present invention is to provide an image processing method that can be performed.
[0014]
[Means for Solving the Problems]
In order to solve the above object, the present invention is an image processing method for obtaining an image processing signal for reproducing a digital original image signal representing a color original image as a visible image,
The digital original image signal is subjected to filtering processing using an edge-preserving smoothing filter to generate a blurred image signal representing the blurred image of the original image,
Extract pixels to be extracted from the blurred image signal from the blurred image signal, extract specific regions of the extraction target pixels of the original image corresponding to these pixels,
Predetermined image processing is performed according to this specific area.Yes,
The edge-preserving smoothing filter is a median filter and a low-pass filter, and generates the blurred image signal by weighted addition of the first blurred image signal from the median filter and the second blurred image signal from the low-pass filter.An image processing method characterized by the above is provided.
[0015]
Here, the predetermined image processing is performed by performing dynamic range compression / expansion processing of the original image on the digital original image signal based on the blurred image signal to obtain an expansion / contraction processed image signal. It is preferable that gradation conversion is performed on the finished image signal by excluding the specific area.
[0016]
Further, it is preferable that the pixel extraction for the blurred image is performed by extracting pixels existing in a specific range in a preset color space.
The specific area of the extraction target pixel is preferably an important color area having a gentle gradation such as a person's skin color, sky cyan, or green vegetation.
[0017]
In addition, it is preferable that a signal obtained by interpolating the thinned signal of the digital image signal of the color original image is input to the low-pass filter to generate a second blurred image signal. The low-pass filter is preferably an infinite impulse response filter.
[0018]
DETAILED DESCRIPTION OF THE INVENTION
An image processing method according to the present invention will be described below in detail based on a preferred embodiment shown in the accompanying drawings.
[0019]
FIG. 1 is a schematic diagram of an embodiment of an image reproducing apparatus that implements the image processing method of the present invention.
As shown in FIG. 1, an
[0020]
The
[0021]
In such an
[0022]
Next, the
The RGB three-color digital image signals of one frame image of the photographic film A read by the
[0023]
Here, the image processing
The
[0024]
First, creation of a density histogram, calculation of a dynamic range, and setting of a dynamic range expansion / contraction rate performed by the
The
Y = 0.3R + 0.59G + 0.11B
Here, R, G, and B are color signals.
[0025]
Here, it is assumed that density histograms for three types of luminance Y are obtained for three different patterns (scenes) in one frame as shown in FIG. A density histogram a indicated by a solid line in FIG. 2 is a histogram representing an image in a clear sky where the frequency of intermediate density is high, and its density dynamic range DR.aIs Ymax a-Ymin aIt is. A density histogram b indicated by a one-dot chain line is a histogram representing an image having a high contrast because the frequency of the intermediate density is low but the frequency in the high density region and the low density region is high. The density dynamic range DRbIs Ymax b-Ymin bIt is. Furthermore, the density histogram c indicated by a broken line is a histogram representing an image in a cloudy sky or the like with a low contrast and a high contrast, and a density dynamic range DR.cIs Ymax c-Ymin cIt is.
[0026]
FIG. 2 shows a standard scene dynamic density range printed on photographic paper or the like as a standard density range DR.oIt is displayed as. Standard concentration range DRoIn the case of histograms a and b that protrude from the image, if printing is performed as it is, the highlight portion of the original image will be white and the shadow portion will be black.
Therefore, in the present invention, in order to obtain an appropriate finish stably regardless of whether the image is high or low in contrast, the images shown by the density histograms a and b are subjected to dynamic range compression. It is necessary to expand the dynamic range of the image indicated by the density histogram c. Therefore, in the present invention, the maximum density Y is determined from the density histogram.maxAnd minimum concentration YminAnd the dynamic range expansion / contraction rate α is calculated according to the following formula: α = 1−DRo/ DR (Here, DRoIs the average density dynamic range of dozens of scenes that can be reproduced within the print reproduction area of the photosensitive material of interest. According to this definition, when the expansion ratio α> 0, the dynamic range of the color original image is compressed, and when the expansion ratio α <0, the dynamic range of the color original image is expanded. That is, the original dynamic range DR is (DR−α · DR) = DR regardless of the sign of α.oIt is converted into.
[0027]
In this way, the set-up
The
The operator performs an examination while looking at an image displayed on the
[0028]
Here, the operator uses the
[0029]
The
Although the image condition setting means 40 is configured as described above, the
[0030]
On the other hand, the
[0031]
The
[0032]
FIG. 4 shows an example of a table set in the
[0033]
Next, the
The image signal subjected to the color correction processing by the
[0034]
As the
[0035]
By using a median filter as the
[0036]
Therefore, the
[0037]
Further, as the low-
In this way, the blurred image signals of the three colors of RGB generated by the
[0038]
Here, the
By the way, the density area of an image that can be photographed on the photographic film A is generally wider than the reproduction area in the finished print, and an object having various density ranges is an image having various density dynamic ranges (DR) on the photographic film A. You can shoot. For example, some images have a wide density dynamic range, such as images in fine weather, some images have a narrow density dynamic range, such as images in cloudy weather, and others have a wide dynamic range and high contrast. . Also, there are cases where the image has a density range that is largely biased beyond the reproduction range of the finished print in the highlight portion or shadow portion, such as a snow scene, a backlight scene, or a strobe image. Furthermore, the exposure state of the photographic film A is not always appropriate, and there are many so-called under / over exposures.
[0039]
As shown in FIG. 2, in an image in which the density histogram created by the
[0040]
In addition, when the frequency of the image information in the highlight portion is high, such as in a snow scene or a backlight scene, it may be effective to compress the dynamic range of the shadow portion. On the other hand, when the frequency of the image information in the shadow portion is high, such as a flash image, it may be effective to compress the dynamic range of the highlight portion. Alternatively, for the purpose of providing the same effect as the conventional dodging by direct exposure, the dynamic range is adjusted by adjusting the density of the highlight part and the shadow part without changing the gradation of the intermediate density part. It may be effective to compress.
[0041]
Further, when the image of the photographic film A serving as a document is overexposed, on the finished print, the density tends to be on the highlight area, resulting in a poor white dropout. On the other hand, in the case of underexposure, black tightening tends to deteriorate on the finished print, and as a result, the image tends to be unclear. Therefore, in order to obtain a high-quality finished print when there is improper exposure on the negative film, it is necessary to partially increase the contrast according to the scene. That is, in the case of overexposure, correction processing is performed to raise the contrast partially by raising the gradation of the low density part on the negative film or extending the dynamic range. In the case of underexposure, the negative film It is necessary to perform correction processing that partially raises the contrast by raising the gradation of the upper high density part or extending the dynamic range. Furthermore, when correcting underexposure / overexposure, it may be desirable to extend the dynamic range without changing the gradation of the intermediate density portion.
Therefore, if you want to correct the dynamic range of only part of the original image, such as in snowy scenes, backlit scenes, flash photography scenes, underexposure, overexposure, etc., the expansion ratio αlAnd shadow expansion / contraction ratio αdMay be automatically calculated by the
[0042]
In FIG. 1, the
The blurred image signals of each of the three colors RGB subjected to the dynamic range expansion / contraction processing by the
[0043]
On the other hand, the blurred image signal of each color sent from the
In the present invention, since a specific area is extracted based on a blurred image signal that does not include a high-frequency component, it is not affected by high-frequency components such as noise. Thus, it is possible to accurately extract a target subject occupied by an important color having a gentle gradation such as a main subject, that is, a specific region.
The coordinate (position) information of the specific area extracted by the specific
[0044]
Here, the method for extracting the specific region is not particularly limited, and any method known as a so-called main part extraction method can be used. For example, a method in which an operator designates one point in the main part using the
Further, as an automatic extraction algorithm for the main part, for example, a method for extracting a specific color, a method for extracting a specific shape pattern, and a region estimated to correspond to the background disclosed in JP-A-9-138470 are removed. A number of different main part (main part) extraction methods, such as the method to perform in advance, determine the weight, extract the main part with each extraction method, weight the extracted main part with the determined weight, and the result The method of determining and extracting the main part according to the above is exemplified. Besides these, JP-A-4-346333, 5-158164, 5-165120, 6-160993, 8-184925, 9-101579, 9-138471, etc. The main part extraction method disclosed in each of the above publications can also be suitably used.
[0045]
Next, the
[0046]
In this way, the
In the illustrated example, gradation conversion is performed such that gradation by the
[0047]
The processed image information output from the
[0048]
As described above, the operator can perform the verification by looking at the image displayed on the
[0049]
By the way, like the
The
[0050]
Next, FIG. 10 shows the
[0051]
The image signal output from the
On the other hand, the image exposure means 90 scans and exposes the photosensitive material Z by light beam scanning and records an image of the image information on the photosensitive material Z. As shown conceptually in FIG. A
[0052]
The light beams emitted from the
Each light beam modulated by the acousto-optic modulator is incident on and reflected by substantially the same point of the
[0053]
On the other hand, the photosensitive material Z is wound in a roll shape and is loaded at a predetermined position in a light-shielded state. Such a photosensitive material Z is pulled out by a drawing roller (not shown), and is conveyed in the sub-scanning direction (in the direction of arrow y in the figure) by a pair of conveying
[0054]
The exposed photosensitive material Z is then carried into the developing
[0055]
The
As shown in FIG. 9, the image processing method of this aspect is characterized in that a density histogram is created in advance from an original image to calculate a density range, and then a dynamic range compression / expansion rate α is calculated. The
[0056]
Therefore, in the present invention, a high-contrast image, a low-contrast image, or an image in which a high-contrast part and a low-contrast part are mixed is not affected by high-frequency components such as noise. Therefore, it is possible to accurately extract a specific area occupied by an important color having a gentle gradation such as a person's skin color, a cyan color of a well-clear blue sky, a green color of a plant or the like.
Further, in the present invention, since the gradation conversion processing that raises the gradation is not performed on the accurately extracted specific region, the dynamic range is appropriately compressed and expanded, the generation of false contours, bright portions, It is possible to obtain a sharp and high-quality image in which not only the dark portion is not crushed but also the contrast of a specific region such as skin color is not high and the contrast of other portions is high.
[0057]
By the way, in the
An
[0058]
In the
At the time of pre-scanning, the image read by the
[0059]
The
The prescan image information from the
The
[0060]
The image information stored in the
The
The compression / expansion rates α and α calculated by the
[0061]
The display
Here, the
The
[0062]
In the display
The
[0063]
In this way, the pre-scan image information converted by the
Here, when the image displayed on the
In the example shown in FIG. 11, the
[0064]
The operator looks at the pre-scan image displayed on the
The key input of the
When the operator determines that the image is appropriate (test OK), an output instruction is issued, and the
[0065]
Hereinafter, in the
Note that the above-described verification does not necessarily have to be performed. For example, a configuration may be adopted in which a full auto mode or the like is set and print creation is performed without verification. In this case, for example, when the
[0066]
Upon receiving the output image information, the
In the
[0067]
Further, in the
The image reproduction device 10B shown in FIG. 12 has the configuration of the
[0068]
In the image processing unit 42B of the
The
Examples of the method for generating the bright and dark image signal include a method of taking one third of the average value of the R, G, and B image signals, a method of converting a color image signal into a bright and dark image signal using the YIQ rule, and the like. .
As a method of obtaining a bright and dark image signal using the YIQ standard, for example, a method of calculating only the Y component of the YIQ standard from the R, G, and B image signals by the following formula is exemplified.
Y = 0.3R + 0.59G + 0.11B
[0069]
The bright and dark image signal thus obtained by the
In the same manner, the tone is converted by the
In this embodiment, the blurred image signal generated by the filtering process is created based on the bright and dark image signal converted from the digital image signal of the color original image, so that the brightness of the reproduced visible image, particularly the edge portion of the subject changes. However, since the color reproducibility does not change, it has an appropriate dynamic range, the high and low density parts are not crushed, the specific area is accurately extracted, and the granularity and noise of the specific area are suppressed. Of course, it is possible to reproduce an image having no unnaturalness similar to a color original image.
[0070]
In the embodiment shown in FIG. 6, a median filter (MF) 54a and a low-pass filter (LPF) 54b are used as the smoothing filter (FIL) 54 storing the edges, and color correction is performed by the
By doing so, blur mask processing can be performed based on a pre-scan image signal with a small number of pixels, so that a blur mask filter that requires a large-scale circuit configuration is not necessary, and the apparatus configuration can be simplified.
[0071]
In order to further reduce the occurrence of false contours, a digital image for generating a blurred image signal by outputting a plurality of median filters having different levels as median filters or preparing a plurality of median filters having different mask sizes. An intermediate level or mask size may be selected according to the signal distribution of the signal.
In addition, in the
[0072]
The image processing method of the present invention has been described in detail above. However, the present invention is not limited to the above-described example, and various improvements and design changes may be made without departing from the scope of the present invention. Of course.
[0073]
【The invention's effect】
As described above in detail, according to the present invention, whether it is a high contrast image, a low contrast image, or an image in which a high contrast portion and a low contrast portion are mixed, a high frequency component such as noise is used. Therefore, it is possible to accurately extract a specific area occupied by an important color having a gentle gradation such as a person's skin color, a cyan color of a clear blue sky, a green color of a plant, and the like.
In addition, according to the present invention, since the gradation conversion processing that raises the gradation is not performed on the accurately extracted specific region, the dynamic range is appropriately compressed and expanded, the generation of false contours and bright portions It is possible to obtain a sharp high-quality image in which the contrast of a specific region such as skin color is not high and the contrast of other portions is high.
[Brief description of the drawings]
FIG. 1 is a schematic diagram of an embodiment of an image reproduction apparatus that performs an image processing method according to the present invention.
2 is a graph showing an example of a density histogram obtained by an image processing apparatus used in the image reproduction apparatus shown in FIG.
3 is a conceptual diagram of an embodiment of an adjustment key connected to the image processing apparatus shown in FIG.
4 is an example of a characteristic diagram of a table set in the second LUT of the image processing apparatus shown in FIG. 1, where (a) is a gray balance adjustment table and (b) is a brightness correction table. , (C) shows a gradation correction table.
FIG. 5 is an explanatory diagram for explaining an example of characteristics of a median filter used in the image processing apparatus shown in FIG. 1;
6 is a block diagram showing a part including an embodiment of a filter (FIL) of the image processing apparatus shown in FIG. 1; FIG.
7 is a circuit diagram showing an example of an IIR type low-pass filter used in the image processing apparatus shown in FIG. 1;
FIG. 8 is a conceptual diagram of an embodiment of a monitor used in the image reproduction device shown in FIG.
FIG. 9 is a diagram showing a flow of a characteristic portion of an example of an image processing method according to the present invention.
10 is a schematic perspective view of an embodiment of an image recording apparatus used in the image reproduction apparatus shown in FIG.
FIG. 11 is a schematic diagram of another embodiment of an image reproduction apparatus that performs an image processing method according to the present invention.
FIG. 12 is a schematic diagram of another embodiment of an image reproduction apparatus that performs an image processing method according to the present invention.
FIG. 13 is a block diagram of another embodiment of an image processing apparatus used in an image reproduction apparatus that performs an image processing method according to the present invention.
[Explanation of symbols]
10 Image playback device
12 Image reader
14 Image processing device
16 Image recording device
18 Monitor
20,96 light source
22 Variable aperture
24 color filter plate
26 Diffusion box
28 Imaging lens
30 CCD
32 amplifiers
34 A / D converter
36 First Lookup Table (LUT)
38 frame memory
40 Condition setting means
42Image processing unit
44Setup section
46 Key correction part
47 Adjustment key
48 Parameter integration section
50, 74 Second lookup table (LUT)
52,76 Matrix calculator (MTX)
54 Filter (FIL)
54a Median filter (MD)
54b Low pass filter (LPF)
54c Weighted adder
56 Multiplier (MUL)
58 Subtractor
59 Specific area extraction means
60, 78 Third look-up table (LUT)
62 Signal converter
64 D / A converter
66 mice
68 Pre-scan memory
70 Display image processing means
72 Timing controller
80 Second matrix calculator (MTX)
88 drivers
90 Image exposure means
92 Developing means
94 Acousto-optic modulator (AOM)
98 polygon mirror
100 Fθ lens
102, 104 Conveying roller pair
106 Color developer tank
108 Bleach fixing tank
110 Flush tank
A Photo film
Z photosensitive material
P print
Claims (6)
このデジタル原画像信号に対してエッジ保存平滑化フィルタによるフィルタリング処理を施して前記原画像のボケ画像を表すボケ画像信号を生成し、
このボケ画像信号から前記ボケ画像に対して抽出対象となる画素を抽出し、これらの画素に対応する前記原画像の抽出対象画素の特定領域を抽出し、
この特定領域に応じて所定画像処理を行い、
前記エッジ保存平滑化フィルタは、メディアンフィルタおよびローパスフィルタであり、前記メディアンフィルタによる第1のボケ画像信号と前記ローパスフィルタによる第2のボケ画像信号とを重み付け加算して前記ボケ画像信号を生成することを特徴とする画像処理方法。An image processing method for obtaining an image processing signal for reproducing a digital original image signal representing a color original image as a visible image,
The digital original image signal is subjected to filtering processing using an edge-preserving smoothing filter to generate a blurred image signal representing the blurred image of the original image,
Extract pixels to be extracted from the blurred image signal from the blurred image signal, extract specific regions of the extraction target pixels of the original image corresponding to these pixels,
There rows predetermined image processing in accordance with the specific area,
The edge-preserving smoothing filter is a median filter and a low-pass filter, and generates the blurred image signal by weighted addition of the first blurred image signal from the median filter and the second blurred image signal from the low-pass filter. An image processing method.
前記ボケ画像信号に基づいて前記デジタル原画像信号に対して前記原画像のダイナミックレンジ圧縮伸長処理を施して、伸縮処理済画像信号を得た後に、
この伸縮処理済画像信号に前記特定領域を除いて階調変換を行うことである請求項1〜3のいずれかに記載の画像処理方法。The predetermined image processing includes
After performing the dynamic range compression / expansion processing of the original image on the digital original image signal based on the blurred image signal, and obtaining the stretched image signal,
The image processing method according to any one of claims 1 to 3 is to perform the gradation conversion with the exception of the specific area in the expansion processed image signal.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP06652598A JP3913356B2 (en) | 1998-03-17 | 1998-03-17 | Image processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP06652598A JP3913356B2 (en) | 1998-03-17 | 1998-03-17 | Image processing method |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH11266358A JPH11266358A (en) | 1999-09-28 |
JP3913356B2 true JP3913356B2 (en) | 2007-05-09 |
Family
ID=13318386
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP06652598A Expired - Fee Related JP3913356B2 (en) | 1998-03-17 | 1998-03-17 | Image processing method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3913356B2 (en) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001136492A (en) | 1999-11-09 | 2001-05-18 | Fuji Photo Film Co Ltd | Image reproducing device |
US7113310B2 (en) | 2000-01-26 | 2006-09-26 | Fuji Photo Film Co., Ltd. | Method of processing image |
JP2002084440A (en) * | 2000-09-06 | 2002-03-22 | Olympus Optical Co Ltd | Digital camera, image processing method and recording medium |
JP2002084441A (en) * | 2000-09-06 | 2002-03-22 | Olympus Optical Co Ltd | Digital camera, image processing method and recording medium |
JP4649781B2 (en) * | 2001-06-20 | 2011-03-16 | ソニー株式会社 | Image processing method and apparatus |
JP2003134352A (en) | 2001-10-26 | 2003-05-09 | Konica Corp | Image processing method and apparatus, and program therefor |
JP4147155B2 (en) * | 2003-07-18 | 2008-09-10 | キヤノン株式会社 | Image processing apparatus and method |
US7469072B2 (en) | 2003-07-18 | 2008-12-23 | Canon Kabushiki Kaisha | Image processing apparatus and method |
JP4992379B2 (en) * | 2005-10-24 | 2012-08-08 | 株式会社ニコン | Image gradation conversion apparatus, program, electronic camera, and method thereof |
JP2008040614A (en) * | 2006-08-02 | 2008-02-21 | Fuji Syst Kiki Kk | Image processing apparatus, image processing system, and image processing method |
EP2063390B1 (en) | 2006-09-14 | 2016-08-03 | Fujitsu Limited | Image processing device and its program |
JP5002348B2 (en) | 2007-06-26 | 2012-08-15 | 株式会社東芝 | Image processing apparatus, video receiving apparatus, and image processing method |
JP5142614B2 (en) * | 2007-07-23 | 2013-02-13 | 富士フイルム株式会社 | Image playback device |
US8179445B2 (en) * | 2010-03-03 | 2012-05-15 | Eastman Kodak Company | Providing improved high resolution image |
JP5814612B2 (en) * | 2011-05-11 | 2015-11-17 | キヤノン株式会社 | Image processing apparatus, image processing method, and program |
-
1998
- 1998-03-17 JP JP06652598A patent/JP3913356B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH11266358A (en) | 1999-09-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4081219B2 (en) | Image processing method and image processing apparatus | |
US6674544B2 (en) | Image processing method and apparatus | |
JP3584389B2 (en) | Image processing method and image processing apparatus | |
JP3669448B2 (en) | Image reproduction method and apparatus | |
JP3913356B2 (en) | Image processing method | |
JP4172663B2 (en) | Image processing method | |
JP3696345B2 (en) | Image processing method and apparatus | |
JP2000050080A (en) | Digital photograph finishing system containing digital picture processing of film exposure lacking gamma, scene balance, contrast normalization and picture visualization | |
US6459500B1 (en) | Image processing apparatus | |
JP3408770B2 (en) | Image processing device | |
JP2000156785A (en) | Image processing method and image processor | |
JPH11191871A (en) | Image processor | |
JP2001218015A (en) | Picture processing method and picture processor | |
JP3939428B2 (en) | Image processing method and apparatus | |
JPH1153535A (en) | Method and device for image reproduction | |
JP2001222710A (en) | Device and method for image processing | |
JPH1013680A (en) | Image processing method and image processor | |
JPH09214766A (en) | Method and device for reproducing image | |
JPH1013673A (en) | Method and device for processing digital image signal | |
JPH11205583A (en) | Image processor | |
JP2001245153A (en) | Image processing method and apparatus | |
JPH1013679A (en) | Method and device for reproducing image | |
JPH11353477A (en) | Image processor, image processing method and recording medium recorded with software to execute the method | |
JP4091220B2 (en) | Image processing method and apparatus, and recording medium | |
JPH11243493A (en) | Image processor |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040310 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040423 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060601 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060613 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060814 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061215 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070123 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070131 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100209 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110209 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120209 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120209 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130209 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140209 Year of fee payment: 7 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |