JP4775289B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、デジタルカメラ等で撮影されたデジタル写真画像に対して覆い焼き処理する画像処理装置及び画像処理方法に関する。

一般に、光学カメラによりフィルム上に撮影された逆光シーンやストロボシーンのカラー画像に対して、背景の階調を維持したままシャドウ部のみを明るく補正し、或いは、ハイライト部のみを暗く補正することにより、主要被写体と背景の両方の階調を同時に再現する覆い焼き処理をデジタル画像処理で実現する画像処理装置が提案されている。

例えば、特許文献１には、画像を構成する各画素の異なる色毎の画像データに基づいて画像のコントラストを補正する画像処理装置として、輝度データとその度数との関係を示すヒストグラムを作成する輝度データ算出手段と、輝度データの濃度範囲を、ヒストグラムに基づいて低輝度部に対応する第１濃度区間と高輝度部に対応する第２濃度区間とに分けて、一方の濃度区間に属する輝度データのみを変更する輝度データ変更手段とを備えた画像処理装置が提案されている。

しかし、デジタルカメラ等で撮影された８ビット画像はフィルムに撮影された画像と比較して階調幅が本来的に狭く、上述したようなフィルム画像に対応する補正処理では好ましい補正特性を得ることが困難であった。

そこで、デジタルカメラ等で撮影されたカラー画像に対して、シャドウ部及びハイライト部に対応して夫々異なる輝度補正を施すことのできる輝度補正関数をルックアップテーブルとして生成する技術として、特許文献２に記載されたように、ニューラルネットワークのような画像解析部を構築することが考えられる。

例えば、入力層にサンプル画像の様々な画像特性、例えば、画像全体、シャドウ部、ハイライト部、主要被写体部等の所定領域の最大輝度、最小輝度、平均輝度等を入力教師データとして入力し、そのときに出力層から出力される複数の特性値が、当該サンプル画像を手動操作などにより適正に補正処理した後の特性値である出力教師データと一致するように多数のサンプル画像に対して学習することで得られるニューラルネットワークを構築するものである。

このようなニューラルネットワークにより出力される特性値が輝度補正用のルックアップテーブルを構成する代表点となるように構成するのである。
特開２００２−１２５１３０号公報 特開平０９−１６８０９５号公報

しかし、上述のニューラルネットワークを用いてハイライト部とシャドウ部の二本のルックアップテーブルの各代表点を求める場合には、出力数が非常に多くなり、学習に十分な数のサンプルが準備できないと、入力層から出力層に到る複数の経路のうち特定の経路のみが使用されるような過学習状態に到り、適切なデータが出力されなくなるという問題がある。

しかも、覆い焼き処理では手動操作により補正された画像と補正前の画像の夫々を構成する画素のＲ(赤)，Ｇ(緑)，Ｂ(青)色成分の入出力分布に直線性等の一定の相関が見られず、ばらつく傾向にあるので、ニューラルネットワークにより出力される特性値が輝度補正用のルックアップテーブルを構成することが困難であるという問題もあった。

本発明は上述した従来の問題点に鑑みてなされたものであり、サンプル画像の複数の特性値と当該サンプル画像を適正に覆い焼き補正した後の特性値の相関を適正に捕捉でき、対象画像に対する補正パラメータを適正に導き補正できる画像処理装置及び画像処理方法を提供することを目的とする。

上述の目的を達成するため、本発明による画像処理装置の特徴構成は、特許請求の範囲の書類の請求項１に記載した通り、入力されたサンプル画像の複数の特性値に対して当該サンプル画像が適正に覆い焼き補正されたハイライト部及びシャドウ部に対する補正係数が出力されるように複数のサンプル画像に基づいて学習された画像解析部と、入力された対象画像の複数の特性値に対して前記画像解析部から出力される当該対象画像のハイライト部及びシャドウ部の補正係数に基づいて、ハイライト部及びシャドウ部の輝度変換関数を生成する輝度変換関数生成部と、前記輝度変換関数生成部により生成される輝度変換関数に基づいて前記対象画像の輝度を補正処理する輝度変換処理部を備え、前記輝度変換関数生成部は、ハイライト部の輝度変換関数及びシャドウ部の輝度変換関数を以下の式に基づくルックアップテーブルとして生成する点にある。

上述の構成によれば、入力された対象画像の複数の特性値に対して前記画像解析部から出力される値が当該対象画像のハイライト部及びシャドウ部の補正係数という夫々単一の値で出力されるようになるので、極端に多くのサンプル画像を準備しなくとも前記画像解析部では適正に学習を行なうことができるようになり、輝度変換関数生成部では、そのような補正係数に基づいてハイライト部及びシャドウ部に対して適正な輝度変換関数が生成されるようになるのである。

前記画像解析部から出力されるハイライト部及びシャドウ部の補正係数Ｈ_{ｌｅｖｅｌ}，Ｓ_{ｌｅｖｅｌ}を変数としてハイライト部及びシャドウ部のガンマ値ｈγ，ｓγが定まり、夫々のガンマ値に基づいてハイライト部の輝度変換関数Ｈｉ及びシャドウ部の輝度変換関数Ｓｉが求められる。

同第二の特徴構成は、同請求項２に記載した通り、上述の第一特徴構成に加えて、画像解析部は、対象画像の複数の特性値が入力される入力層と、中間層と、対象画像のハイライト部及びシャドウ部に対する補正係数が出力される出力層とを備え、サンプル画像の特性値が入力教師データとして前記入力層に入力されたときに、当該サンプル画像が適正に覆い焼き補正されたハイライト部及びシャドウ部に対する補正係数が出力教師データとして前記出力層から出力されるように、複数のサンプル画像から得られる教師データに対して繰り返し演算して各層の重み係数を学習する学習部を備えて構成されるニューラルネットワークで構成されている点にあり、出力層が二つのユニットで構成されるため、極端な数のサンプル数が無くても適正に学習が収束するようになる。

同第三の特徴構成は、同請求項３に記載した通り、上述の第一または第二特徴構成に加えて、輝度変換処理部は、ハイライト部及びシャドウ部の各輝度変換関数に基づいて輝度変換した前記対象画像の各画素輝度を、当該対象画像の低周波成分の値に基づいて重み付け演算した値を補正画素輝度として算出する点にある。

上述の構成によれば、ハイライト部及びシャドウ部の各輝度変換関数に基づいて輝度変換された対象画像の各画素の二つの輝度が、対象画像の元の低周波成分の輝度値により重み付け演算されて新たな輝度として生成されるようになるので、低周波成分の輝度値が低い領域ではシャドウ部に対する補正が強く反映され、低周波成分の輝度値が高い領域ではハイライト部に対する補正が強く反映されるようになる。

本発明による画像処理方法の第一の特徴構成は、同請求項４に記載した通り、入力されたサンプル画像の複数の特性値に対して当該サンプル画像が適正に覆い焼き補正されたハイライト部及びシャドウ部に対する補正係数が出力されるように複数のサンプル画像に基づいて画像解析部を学習させる学習ステップと、前記学習ステップで学習された画像解析部に対象画像の特性値を入力して当該対象画像のハイライト部及びシャドウ部の補正係数を求める補正係数出力ステップと、前記補正係数出力ステップで算出されたハイライト部及びシャドウ部の補正係数に基づいて、ハイライト部及びシャドウ部の輝度変換関数を生成する輝度変換関数生成ステップと、前記輝度変換関数生成ステップにより生成される輝度変換関数に基づいて前記対象画像を補正処理する輝度変換処理を備え、前記輝度変換関数生成ステップは、ハイライト部の輝度変換関数及びシャドウ部の輝度変換関数を以下の式に基づくルックアップテーブルとして生成する点にある。

同第二の特徴構成は、同請求項５に記載した通り、上述の第一特徴構成に加えて、前記輝度変換処理ステップは、ハイライト部及びシャドウ部の各輝度変換関数に基づいて輝度変換した前記対象画像の各画素輝度を、当該対象画像の低周波成分の値に基づいて重み係数に基づいて重み付け演算した値を補正画素輝度として算出する点にある。

以上説明した通り、本発明によれば、サンプル画像の複数の特性値と当該サンプル画像を適正に覆い焼き補正した後の特性値の相関を適正に捕捉でき、対象画像に対する補正パラメータを適正に導き補正できる画像処理装置及び画像処理方法を提供することができるようになった。

以下に本発明による画像処理装置が組み込まれた写真画像処理装置の実施の形態を説明する。図２に示すように、写真画像処理装置１は、印画紙Ｐに対して出力画像データに基づいた露光処理を行ない、露光された印画紙を現像処理する写真プリンタ２と、現像済みの写真フィルムＦから画像を読み込むフィルムスキャナ３１やデジタルスチルカメラ等で撮影された画像データが格納されたメモリカード等の画像データ記憶メディアＭから画像データを読み取るメディアドライバ３２や、コントローラ３３としての汎用コンピュータ等を備え、入力された元画像としての写真画像に対するプリントオーダ情報を設定入力するとともに、本発明による画像処理を含む各種の画像補正処理を行なう操作ステーション３を備えて構成され、前記操作ステーション３で元画像から編集処理されたプリントデータが前記写真プリンタ２に出力されて所望の写真プリントが生成される。

前記写真プリンタ２は、図２及び図３に示すように、ロール状の印画紙Ｐを収容した二系統の印画紙マガジン２１と、前記印画紙マガジン２１から引き出された印画紙Ｐを所定のプリントサイズに切断するシートカッター２２と、切断後の印画紙Ｐの背面にコマ番号等のプリント情報を印字するバックプリント部２３と、前記プリントデータに基づいて印画紙Ｐを露光する露光部２４と、露光後の印画紙Ｐを現像、漂白、定着するための各処理液が充填された複数の処理槽２５ａ、２５ｂ、２５ｃを備えた現像処理部２５が印画紙Ｐの搬送経路に沿って配置され、現像処理後に乾燥処理された印画紙Ｐが排出される横送りコンベア２６と、横送りコンベア２６に集積された複数枚の印画紙（写真プリント）Ｐがオーダー単位で仕分けられるソータ２７を備えて構成される。

前記露光部２４には、搬送機構２８によって副走査方向に搬送される印画紙Ｐに対して、搬送方向に直交する主走査方向に前記プリントデータに基づき変調されたＲＧＢ三色のレーザ光線束を出力して露光する露光ヘッド２４ａが収容されている。

前記搬送経路に沿って配置された前記露光部２４や現像処理部２５に応じたプロセス速度で印画紙Ｐを搬送する複数のローラ対でなる搬送機構２８が配置され、前記露光部２４の前後には印画紙Ｐを複列に搬送可能なチャッカー式搬送機構２８ａが設けられている。

前記操作ステーション３に設けられたコントローラ３３には、汎用のオペレーティングシステムの管理下で動作し、前記写真処理装置１の各種制御が実行されるアプリケーションプログラムがインストールされ、オペレータとの操作インターフェースとしてモニタ３４、キーボード３５、マウス３６等が接続されている。

前記コントローラ３３のハードウェア及びソフトウェアの協働により実行される写真処理プロセスを機能ブロックで説明すると、図４に示すように、前記フィルムスキャナ３１やメディアドライバ３２によって読み取られた写真画像データを受け取り、所定の前処理を行なって後述のメモリ４１に転送する画像入力部４０と、前記モニタ３４の画面にプリントオーダ情報や画像編集情報を表示するとともに、それらに対して必要なデータ入力のための操作用アイコンを表示するグラフィック操作画面を生成し、或いは表示されたグラフィック操作画面に対する前記キーボード３５やマウス３６からの入力操作に基づいて各種の制御コマンドを生成するグラフィックユーザーインターフェース部（以下、「ＧＵＩ部」と記す。）４２と、前記画像入力部４０から転送される写真画像データ及び後述の画像処理部４７による補正処理後の写真画像データやそのときの補正パラメータ、更には設定されたプリントオーダ情報等が所定領域に区画されて格納されるメモリ４１と、プリントオーダ情報を生成するオーダー処理部４３と、前記メモリ４１に格納された各写真画像データに対して濃度補正処理やコントラスト補正処理等を行なう画像処理部４７と、前記グラフィックユーザーインターフェース部４２からの表示コマンドに基づいて前記メモリ４１に展開された画像データや各種の入出力用グラフィックデータ等を前記モニタ３４に表示処理するビデオＲＡＭ等を備えた表示制御部４６と、各種の補正処理が終了した最終の補正画像を前記写真プリンタ２に出力するためのプリントデータを生成するプリントデータ生成部４４と、顧客のオーダーに応じて最終の補正画像をＣＤ−Ｒ等の記憶媒体に書き込むためのファイル形式に変換するフォーマッタ部４５等で構成される。

前記フィルムスキャナ３１は、フィルムＦに記録された画像を低解像度ではあるものの高速で読み取るプレスキャンモードと、低速ではあるものの高解像度で読み取る本スキャンモードの二モードで作動するように構成され、プレスキャンモードで読み込まれた低解像度の画像に対してプレジャッジモード（後述のプレジャッジ処理で詳述する。）で各種の補正処理が行なわれ、その際に前記メモリ４１に記憶された補正パラメータに基づいて本スキャンモードで読み込まれた高解像度の画像に対する最終の補正処理が実行されて前記プリンタ２に出力される。

同様に、前記メディアドライバ３２から読み込まれた画像ファイルには高解像度の撮影画像とそのサムネイル画像が含まれ、サムネイル画像に対して後述の各種の補正処理が行なわれ、その際に前記メモリ４１に記憶された補正パラメータに基づいて高解像度の撮影画像に対する最終の補正処理が実行される。尚、画像ファイルにサムネイル画像が含まれないときには、前記画像入力部４０で高解像度の撮影画像からサムネイル画像が生成されて前記メモリ４１に転送される。このように、低解像度の画像に対して頻繁に試行錯誤される各種の編集処理が実行されることによりコントローラ３３の演算負荷が低減されるように構成されている。

前記画像処理部４７は、図１に示すように、入力された原画像データに対して写真プリントのサイズに適した画像サイズに変換する拡縮処理部１１と、拡縮処理された画像に覆い焼き処理を施す覆い焼き処理部１０と、覆い焼き処理された画像の濃度を調整する濃度補正部１２と、画像の色調を補正するカラー補正処理部１３と、画像のエッジを強調しノイズを低減する鮮鋭化処理部１４等が設けられている。

前記画像処理部４７では、先ず、低解像度の画像（例えば、２５６×３８４画素）に対して夫々の補正処理が施され、その際に決定された補正パラメータ、例えば、覆い焼き処理ではハイライト部及びシャドウ部の輝度変換関数等がメモリ４１に記憶され、その後、高解像度の画像（例えば、２５６０×３８４０画素）に対して記憶されたパラメータに基づいて各種の補正処理が実行されて出力画像が生成され、当該出力画像が前記写真プリンタ２に出力されて写真プリントが生成される。

以下、前記メディアドライバ３２から入力されたＲ(赤)，Ｇ(緑)，Ｂ(青)各８ビットで画素が構成されるデジタル画像に対する覆い焼き処理について詳述する。

覆い焼き処理部１０は、入力されたサンプル画像の複数の特性値に対して当該サンプル画像が適正に覆い焼き補正されたハイライト部及びシャドウ部に対する補正係数が出力されるように複数のサンプル画像に基づいて学習された画像解析部１０ａと、入力された対象画像の複数の特性値に対して前記画像解析部１０ａから出力される当該対象画像のハイライト部及びシャドウ部の補正係数に基づいて、ハイライト部及びシャドウ部の輝度変換関数を生成する輝度変換関数生成部１０ｂと、前記輝度変換関数生成部１０ｂにより生成される輝度変換関数に基づいて前記対象画像の輝度を補正処理する輝度変換処理部１０ｃと、前記輝度変換処理部１０ｃによる輝度変換前後の画素輝度から算出されるガンマ値を色補正変数とする色補正関数に基づいて各画素のＲ(赤)，Ｇ(緑)，Ｂ(青)色成分を補正する色補正処理部１０ｄを備えて構成されている。

前記画像解析部１０ａは、サンプル画像の複数の特性値が夫々入力される８９個のニューロン（Ｉ１，Ｉ２，・・・，Ｉ８８，Ｉ８９）を備えた入力層と、４５個のニューロン（Ｍ１，Ｍ２，・・・，Ｍ４５）を備えた中間層と、２個のニューロン（Ｏ１，Ｏ２）を備えた出力層を備えるとともに、教師信号に基づいて各層間のニューロンの結合係数を学習する学習部を備えたニューラルネットワークで構成されている。

学習部は、入力層（Ｉ１，Ｉ２，・・・，Ｉ８８，Ｉ８９）にサンプル画像の特性値が入力教師データとして入力されたときに、出力層（Ｏ１，Ｏ２）から出力されるハイライト部及びシャドウ部の補正係数Ｈｌｅｖｅｌ，Ｓｌｅｖｅｌが、出力教師データ、つまり当該サンプル画像に対して手動補正により適正に覆い焼き処理されたときの補正係数となるように、最急降下法を用いたバックプロパゲーションにより各層間のニューロンの結合係数を定める。

具体的には、逆光シーンやストロボシーンや雪山シーン等の種々の撮影条件の下で撮影された複数のサンプル画像に対して、夫々の原画像の特性値を抽出する特性値算出部が設けられ、図６（ａ）から（ｅ）に示すように、入力画像全体の平均輝度と最大輝度と最小輝度、入力画像の主要被写体が位置する中央部分と周辺部分の平均輝度と最大輝度と最小輝度、入力画像の左側部と右側部の平均輝度と最大輝度と最小輝度、入力画像の上側部と下側部の平均輝度と最大輝度と最小輝度、入力画像を所定の画素サイズでブロック分割した各領域のうち上下に隣接するブロックの平均輝度の差分の平均値、画像全体の輝度平均偏差、画像全体のＲ(赤)，Ｇ(緑)，Ｂ(青)各成分の最大値及び最小値、Ｒ(赤)，Ｇ(緑)，Ｂ(青)各成分のヒストグラムの分布値（０から２５５の階調軸を２０等分した各領域に含まれる画素成分の合計度数）でなる合計８９個の特性値が入力教師データとして算出される。

ここで、輝度とは、入力画像を構成する画素のＲ(赤)，Ｇ(緑)，Ｂ(青)各成分から〔数５〕に基づいて算出される輝度色差を示すＹＣＣ信号の輝度成分Ｙを意味し、例えば、入力画像全体の平均輝度は各画素の輝度成分の平均値を指す。

特性値算出部には、さらにそれらの画像を手動操作により覆い焼き補正する手動補正部が設けられ、ハイライト部及びシャドウ部が手動操作により階調変換される。適正に階調変換されたサンプル画像の画素輝度と補正前の画素輝度からハイライト部及びシャドウ部の平均ガンマ値を算出し、複数のサンプル画像に対する平均ガンマ値の最大値及び最小値の幅で正規化した値に所定の正規化係数を掛けて、出力教師データとしてのハイライト部及びシャドウ部の補正係数Ｈｌｅｖｅｌ，Ｓｌｅｖｅｌを算出する。その結果、夫々０から１００の間の値をとる正規化値として補正係数Ｈｌｅｖｅｌ，Ｓｌｅｖｅｌが算出される。

上述の学習部は、これらの入力教師データ及び出力教師データに基づいて結合係数が収束するまで数千回の学習を繰り返すのである。

尚、手動補正部が当該写真処理装置に実装されているものであってもよいし、外部の画像処理装置に組み込まれ、その結果が当該写真処理装置に入力されるものであってもよい。また、当該ニューラルネットワークに入力される特性値は、上述したものに限定されるものではなく、輝度に替えてＲ(赤)，Ｇ(緑)，Ｂ(青)各成分の平均値を採用するものであってもよいし、Ｒ(赤)，Ｇ(緑)，Ｂ(青)各成分に関するデータに替えて〔数５〕によりＹＣＣ変換されたＣｂ，Ｃｒデータを用いるものであってもよく、何れの場合であっても入力画像の任意の特性値に対して適切な補正係数Ｈｌｅｖｅｌ，Ｓｌｅｖｅｌが適切に分離出力されるように学習されるものであればよい。

即ち、前記画像解析部１０ａは、対象画像の複数の特性値が入力される入力層と、中間層と、対象画像のハイライト部及びシャドウ部に対する補正係数が出力される出力層とを備え、サンプル画像の特性値が入力教師データとして前記入力層に入力されたときに、当該サンプル画像が適正に覆い焼き補正されたハイライト部及びシャドウ部に対する補正係数が出力教師データとして前記出力層から出力されるように、複数のサンプル画像から得られる教師データに対して繰り返し演算して各層の重み係数を学習する学習部を備えて構成されるニューラルネットワークで構成されている

このようにして学習が終了した画像解析部１０ａに対象画像の特性値が入力されると、当該対象画像に対するハイライト部及びシャドウ部の適切な補正係数Ｈｌｅｖｅｌ，Ｓｌｅｖｅｌが出力されるようになる。

以下、覆い焼き処理部１０による画像処理の流れを、図９に示すフローチャートに基づいて説明する。

低解像度の対象画像が入力されると（ＳＡ１）、特性値算出部により上述の画像特性値が算出され（ＳＡ２）、前記画像解析部１０ａに当該画像特性値が入力されて、ハイライト部及びシャドウ部の適切な補正係数Ｈｌｅｖｅｌ，Ｓｌｅｖｅｌが出力される（ＳＡ３）。

次に、前記輝度変換関数生成部１０ｂにより、ハイライト部の輝度変換関数Ｈｉ（ｉ）及びシャドウ部の輝度変換関数Ｓｉ（ｉ）が〔数６〕，〔数７〕に基づいてルックアップテーブルとして生成される（ＳＡ４）。図７は、ｈγ＝ｓγ＝３．０のときのハイライト部の輝度変換関数Ｈｉ（ｉ）及びシャドウ部の輝度変換関数Ｓｉ（ｉ）の一例を示し、ハイライト部及びシャドウ部で階調が立つように輝度変換されることが示されている。

前記輝度変換処理部１０ｃでは、入力画像を構成する各画素のＲ(赤)，Ｇ(緑)，Ｂ(青)各成分に対して、夫々の最大値及び最小値が表現可能な最小値（０）及び最大値（８ビットであれば２５５、１２ビットであれば４０９５）となるように各色成分の階調表現範囲を拡張変換する。例えばＲ(赤)成分に対して〔数８〕で示す変換式で変換される（ＳＡ５）。

さらに、前記輝度変換処理部１０ｃにより、〔数８〕により変換されたＲ(赤)，Ｇ(緑)，Ｂ(青)各成分Ｒ´，Ｇ´，Ｂ´に対して〔数５〕により輝度値Ｙが算出され、輝度値画像が生成される（ＳＡ６）。

次に、生成された輝度値画像から覆い焼き領域、つまり低周波画像が生成される。具体的には、当該輝度値画像にバイラテラルフィルタ処理が施されて、エッジを残したボケ画像が新たな輝度値Ｙ´で表される低周波画像として生成され（ＳＡ７）、当該低周波画像に対して上述の輝度変換関数による変換特性を表すルックアップテーブルに基づいてハイライト部及びシャドウ部の輝度変換処理が行なわれ（ＳＡ８，ＳＡ９）、輝度変換された対象画像の各画素輝度値を、〔数９〕に基づいて融合した輝度値Ｙ´´が補正後の画素輝度値として算出される（ＳＡ１０）。

つまり、当該対象画像の低周波成分の値に基づいて、詳しくは、当該低周波画像の各画素輝度Ｙ´が採り得る最大輝度（ここでは２５５）及び最小輝度（ここでは０）の輝度幅で正規化した重み係数Ｗに基づいて重み付け演算した値が補正後の画素輝度として算出されるのである。

続いて、前記色補正処理部１０ｄでは、前記輝度変換処理部１０ｃによる輝度変換前後の画素輝度から〔数１０〕により算出されるガンマ値が各画素の色補正変数として求められる（ＳＡ１１）。

さらに、算出されたガンマ値ｃγを変数として、〔数１１〕に示す色補正関数がルックアップテーブルとして生成され（ＳＡ１２）、〔数８〕により変換されたＲ(赤)，Ｇ(緑)，Ｂ(青)各成分Ｒ´，Ｇ´，Ｂ´が〔数１１〕に基づいて新たな成分値Ｒ´´，Ｇ´´，Ｂ´´として算出される（ＳＡ１４）。

図８はこのような色補正関数の一例であり、前記輝度変換処理部１０ｃにより輝度が低く変換される画素に対して対象画像のＲ(赤)，Ｇ(緑)，Ｂ(青)色成分の明度差が狭まるように補正され、前記輝度変換処理部１０ｃにより輝度が高く変換される画素に対して対象画像のＲ(赤)，Ｇ(緑)，Ｂ(青)色成分の明度差が広がるように補正されるようになる。

尚、色補正関数は、前記輝度変換処理部１０ｃにより輝度が低く変換される画素に対して対象画像のＲ(赤)，Ｇ(緑)，Ｂ(青)色成分の明度差が狭まるように補正し、前記輝度変換処理部１０ｃにより輝度が高く変換される画素に対して対象画像のＲ(赤)，Ｇ(緑)，Ｂ(青)色成分の明度差が広がるように補正する関数であれば、〔数１１〕に示すものに限るものではない。

このようにして、入力された全ての低解像度画像に対して、覆い焼き処理が行なわれたハイライト部の輝度変換関数Ｈｉ（ｉ）及びシャドウ部の輝度変換関数Ｓｉ（ｉ）が補正パラメータとしてメモリ４１に格納され（ＳＡ１５）、さらに、前記濃度補正部１２、カラー補正処理部１３と、鮮鋭化処理部１４等での補正処理のパラメータがメモリ４１に格納され、その後、当該パラメータに基づいて高解像度の対象画像に対する画像処理が行なわれ（ＳＡ１６）、写真プリントが生成される。

尚、上述のステップＳＡ７で、演算処理の高速化のために、入力画素を所定サイズの画素数でブロック化し、ブロックに含まれる画素の輝度値を加算平均した値を新たな輝度値とするモザイク処理により縮小画像を生成し、当該縮小画像にバイラテラルフィルタ処理を施して低周波画像を生成し、当該低周波画像に対して上述のステップＳＡ８からＳＡ１０を実行した後に元のサイズに拡大処理するものであってもよい。

図１０（ｂ）は、原画像（ａ）が本発明による覆い焼き処理により補正された画像を示し、（ｃ）は本発明による覆い焼き処理のうち、ステップＳＡ１０までの処理で輝度変換された画素のＹ´´の変換比率Ｙ´´／ＹをＣｂ，Ｃｒ成分に乗じた後に〔数５〕の逆変換により算出されたＲ，Ｇ，Ｂ成分による画像である。例えば、モデルのスカート部を参照すると、図１０（ｂ）の場合、図１０（ｃ）で示されるような色の飽和が軽減され、色の再現性が優れていることが示される。

以下、別実施形態を説明する。上述の実施形態では画像解析部がニューラルネットワークを用いて構成されたものを説明したが、画像解析部はニューラルネットワークで構成されるものに限るものではなく、入出力が線形写像であれば多変量解析の一例である重回帰分析を行なう演算部で構成することも可能であり、サポートベクターマシン等を用いて構成することも可能である。

覆い焼き処理の後に、自動濃度補正を行なう場合には、自動濃度補正により覆い焼き処理の効果が変動しないように、図７に示したようなシャドウ部及びハイライト部のルックアップテーブルで囲まれる面積が変化しないように、且つ、自動濃度補正による目標補正値が覆い焼き処理を施すことにより変化しないようにｓγ及びｈγを補正すればよい。

上述した実施形態では、輝度変換処理部による輝度変換前後の画素輝度から算出されるガンマ値を色補正変数とする色補正関数に基づいて各画素のＲ(赤)，Ｇ(緑)，Ｂ(青)色成分を補正する色補正処理部を備えて覆い焼き処理部を構成するものを説明したが、本発明による覆い焼き処理部は上述の色補正処理部を必ずしも備える必要は無く、輝度変換された画素のＹ´´の変換比率Ｙ´´／ＹをＣｂ，Ｃｒ成分に乗じた後に〔数５〕の逆変換によりＲ，Ｇ，Ｂ成分を算出するように構成するものであってもよい。

上述した実施形態では、本発明による画像処理装置及び画像処理方法を写真画像処理装置に適用したものを説明したが、本発明はこのような専用機に組み込まれるものに限定されるものではなく、本発明による画像処理方法を実現するアプリケーションプログラムがインストールされたパーソナルコンピュータやデジタルカメラ等により構成することもできる。

アプリケーションプログラムとは、コンピュータを、入力されたサンプル画像の複数の特性値に対して当該サンプル画像が適正に覆い焼き補正されたハイライト部及びシャドウ部に対する補正係数が出力されるように複数のサンプル画像に基づいて学習された画像解析部と、入力された対象画像の複数の特性値に対して前記画像解析部から出力される当該対象画像のハイライト部及びシャドウ部の補正係数に基づいて、ハイライト部及びシャドウ部の輝度変換関数を生成する輝度変換関数生成部と、前記輝度変換関数生成部により生成される輝度変換関数に基づいて前記対象画像の輝度を補正処理する輝度変換処理部として機能させる画像処理プログラムである。

尚、上述した実施形態は、本発明の一例に過ぎず、本発明の作用効果を奏する範囲において各ブロックの具体的構成等を適宜変更設計できることは言うまでもない。

画像処理部の機能ブロック構成図 写真画像処理装置の外観構成の説明図 写真プリンタの説明図 写真画像処理装置の機能ブロック構成図 画像解析部を構成するニューラルネットワークの説明図 画像特性値が算出される対象画像の領域説明図 ハイライト部とシャドウ部の輝度変換関数の特性図 色補正関数の特性図 覆い焼き処理を示すフローチャート 本発明による覆い焼き処理を行なった写真画像の説明図（物件提出書により本図のカラープリントを提出する。）

１：写真画像処理装置
１０：覆い焼き処理部
１０ａ：画像解析部
１０ｂ：輝度変換関数生成部
１０ｃ：輝度変換処理部
１０ｄ：色補正処理部
４７：画像処理部

Claims (5)

1. 入力されたサンプル画像の複数の特性値に対して当該サンプル画像が適正に覆い焼き補正されたハイライト部及びシャドウ部に対する補正係数が出力されるように複数のサンプル画像に基づいて学習された画像解析部と、
   入力された対象画像の複数の特性値に対して前記画像解析部から出力される当該対象画像のハイライト部及びシャドウ部の補正係数に基づいて、ハイライト部及びシャドウ部の輝度変換関数を生成する輝度変換関数生成部と、
   前記輝度変換関数生成部により生成される輝度変換関数に基づいて前記対象画像の輝度を補正処理する輝度変換処理部を備え、
   前記輝度変換関数生成部は、ハイライト部の輝度変換関数及びシャドウ部の輝度変換関数を以下の式に基づくルックアップテーブルとして生成する画像処理装置。
   
   
2. 画像解析部は、対象画像の複数の特性値が入力される入力層と、中間層と、対象画像のハイライト部及びシャドウ部に対する補正係数が出力される出力層とを備え、サンプル画像の特性値が入力教師データとして前記入力層に入力されたときに、当該サンプル画像が適正に覆い焼き補正されたハイライト部及びシャドウ部に対する補正係数が出力教師データとして前記出力層から出力されるように、複数のサンプル画像から得られる教師データに対して繰り返し演算して各層の重み係数を学習する学習部を備えて構成されるニューラルネットワークで構成されている請求項１記載の画像処理装置。
3. 輝度変換処理部は、ハイライト部及びシャドウ部の各輝度変換関数に基づいて輝度変換した前記対象画像の各画素輝度を、当該対象画像の低周波成分の値に基づいて重み付け演算した値を補正画素輝度として算出する請求項１または２記載の画像処理装置。
4. 入力されたサンプル画像の複数の特性値に対して当該サンプル画像が適正に覆い焼き補正されたハイライト部及びシャドウ部に対する補正係数が出力されるように複数のサンプル画像に基づいて画像解析部を学習させる学習ステップと、
   前記学習ステップで学習された画像解析部に対象画像の特性値を入力して当該対象画像のハイライト部及びシャドウ部の補正係数を求める補正係数出力ステップと、
   前記補正係数出力ステップで算出されたハイライト部及びシャドウ部の補正係数に基づいて、ハイライト部及びシャドウ部の輝度変換関数を生成する輝度変換関数生成ステップと、
   前記輝度変換関数生成ステップにより生成される輝度変換関数に基づいて前記対象画像を補正処理する輝度変換処理ステップを備え、
   前記輝度変換関数生成ステップは、ハイライト部の輝度変換関数及びシャドウ部の輝度変換関数を以下の式に基づくルックアップテーブルとして生成する画像処理方法。
   
   
5. 前記輝度変換処理ステップは、ハイライト部及びシャドウ部の各輝度変換関数に基づいて輝度変換した前記対象画像の各画素輝度を、当該対象画像の低周波成分の値に基づいて重み係数に基づいて重み付け演算した値を補正画素輝度として算出する請求項４記載の画像処理方法。