JP6335614B2 - 画像処理装置、その制御方法、及びプログラム - Google Patents

Description

本発明は、例えばデジタルカメラやビデオカメラ等の撮像装置、携帯電話機、パーソナルコンピュータ（ラップトップ型、デスクトップ型、タブレット型等）、及びゲーム機等における画像処理技術に関し、特に階調補正とエッジ強調の組み合わせ技術に関する。

画像処理技術として、画像の黒潰れ気味の暗部や白飛び気味の明部をガンマ変換やトーンカーブによるヒストグラム平坦化による階調補正により、良好な明るさに補正する技術がある。しかし、シーンによっては、１画面に１つの階調変換テーブルを用いると、暗部と明部の階調を出すことで中間調の階調が犠牲になる問題が生じる。

そこで、Ｒｅｔｉｎｅｘモデルが注目されている。Ｒｅｔｉｎｅｘモデルは、人の視覚特性として、シーン全体に照射されている照明光等の低周波成分に対しては鈍感だが、注目領域とその周辺領域のコントラスト等の高周波成分については敏感なモデルである。このモデルに従った階調補正の方法として、局所コントラスト補正が挙げられる。

局所コントラスト補正では、低周波成分のみ階調補正を行うことで、高周波成分である局所的なコントラストは維持したまま全体的な階調を自然に補正することが可能となる。しかし、このＲｅｔｉｎｅｘモデルでは、高周波成分を個別に扱うことで、エッジの再現が変化してしまうため、従来のシャープネス処理と併用させた場合に、適切なエッジ強調量とならない場合がある。

そこで、分割された画像の複数領域に対して各々局所的に処理を施す際に、領域サイズに応じてシャープネスパラメータ（補正量）を算出する技術が提案されている（特許文献１）。

特開２００７−２２８４５１号公報

上記特許文献１では、領域サイズとして、照明成分抽出用フィルタのフィルタサイズを挙げている。フィルタサイズが大きくなる場合は、太いシャープネスによるエッジ強調とり、フィルタサイズが小さくなる場合は、細めのシャープネスによるエッジ強調となる。

この方法では、照明成分のフィルタサイズに応じてシャープネスの量を制御することで抽出する反射率成分の太さに応じたエッジ強調が可能となるが、実際の入力画像は考慮していないため、必ずしも被写体の周波数帯域に合ったエッジ強調となるとは限らない。

そこで、本発明は、局所コントラスト補正をエッジ強調処理と併用しても被写体の周波数帯域に合った自然なエッジ強調を可能にする仕組みを提供することを目的とする。

上記目的を達成するために、本発明の画像処理装置は、画像データのそれぞれの画素の信号に対し、該画素の周囲の画素の信号を反映させて得られる値に基づく第１のゲインを乗算する第１の補正手段と、前記第１のゲインが乗算されていない画像データからエッジを抽出するエッジ抽出手段と、前記エッジ抽出手段によって抽出されたエッジ信号に対して、前記第１のゲインが乗算された信号に基づく第２のゲインを乗算する第２の補正手段と、前記第２のゲインが乗算されたエッジ信号を、前記第１のゲインが乗算された信号に付加する付加手段を有することを特徴とする。

また、本発明の画像処理装置は、画像データのそれぞれの画素の信号に対し、該画素の周囲の画素の信号を反映させて得られる値に基づくゲインを乗算する第１の補正手段と、第１の補正手段から出力されたそれぞれの画素の信号に対して、該画素の信号に基づくガンマ変換を行うガンマ変換手段と、画像データからエッジを抽出するエッジ抽出手段と、エッジ抽出手段によって抽出されたエッジ信号に対して、画像データの信号に基づくゲインを乗算する第２の補正手段と、第２の補正手段から出力されたエッジ信号を、ガンマ変換手段から出力された信号に付加する付加手段を有し、第１の補正手段は、ユーザ操作により指定された補正量に基づいて、予め用意された複数のテーブルから対応するテーブルを選択し、選択したテーブルに基づくゲインを用いて乗算を行い、第２の補正手段は、選択されたテーブルを用いて調整したゲインを用いて乗算を行うことを特徴とする。

本発明によれば、被写体の周波数帯域に合った自然なエッジ強調が可能になる。

本発明の画像処理装置の第１の実施形態であるデジタルカメラの概略ブロック図である。 輝度調整部の制御ブロック図である。 ブラックポイントとホワイトポイントによって決定されるガンマカーブを示すグラフ図である。 輝度別ゲインテーブルの一例を示す図である。 局所コントラスト補正部の制御ブロック図である。 局所コントラスト補正の調整テーブル例を示すグラフ図である。 本発明の画像処理装置の第２の実施形態であるデジタルカメラにおいて、ＧＵＩの一例である階調補正パラメータ設定メニューを示す図である。 輝度調整部の制御ブロック図である。 輝度調整部において、階調補正パラメータ設定メニューでのユーザ設定をＤレンジ調整用及び局所コントラスト補正処理のパラメータに反映させる処理例を示すフローチャート図である。 Ｄレンジ調整前後のγカーブを示すグラフ図である。 局所コントラスト補正の調整テーブルの種類を示すグラフ図である。 本発明の画像処理装置の第３の実施形態であるデジタルカメラにおける輝度調整部の制御ブロック図である。 輝度調整部において輝度別ゲインテーブルを修正する具体的な処理例を示すフローチャート図である。 修正前後の輝度別ゲインテーブルの例を示すグラフ図である。 本発明の画像処理装置の第４の実施形態であるデジタルカメラにおける輝度調整部の制御ブロック図である。

以下、図面を参照して、本発明の実施形態を説明する。

（第１の実施形態）
図１は、本発明の画像処理装置の第１の実施形態であるデジタルカメラの概略ブロック図である。

図１において、撮像素子１０２は、結像光学系（レンズ）１０１を経て結像した被写体像を光電変換する。撮像素子１０２は、例えば、一般的な原色カラーフィルタを備える単板カラー撮像素子とする。原色カラーフィルタは、各々６５０ｎｍ、５５０ｎｍ、４５０ｎｍ近傍に透過主波長帯を持つ３種類の色フィルタを有し、各々Ｒ（赤）、Ｇ（緑）、Ｂ（青）の各バンドに対応する色プレーンを撮影する。単板カラー撮像素子１０２では、この３種類の色フィルタを画素毎に空間的に配列し、各画素では、各々単一の色プレーンにおける強度を得ることしかできない。このため、撮像素子１０２からは色モザイク画像が出力される。

Ａ／Ｄ変換部１０３は、撮像素子１０２からアナログ電圧として出力される色モザイク画像を以降の画像処理に適するデジタルデータへと変換する。ホワイトバランス部１０４では、具体的には、白くあるべき領域のＲ，Ｇ，Ｂが等色になるようなゲインがＲ，Ｇ，Ｂの各々にかけられる。

色補間部１０５は、色モザイク画像を補間することによって、全ての画素においてＲ、Ｇ、Ｂの色情報が揃ったカラー画像を生成する。色補間部１０５で生成されたカラー画像は、マトリクス変換部１０６、及び輝度調整部１０７を経て基本的なカラー画像として生成される。その後、色調整部１０８では、例えば、ノイズ低減、彩度強調、色相補正、エッジ強調といった画像補正が行われる。色調整部１０８で所望の色調整を行った画像に対して、リサイズ部１０９で所望の記録サイズにリサイズされ、圧縮部１１０で高解像度画像をＪＰＥＧ等の方法で圧縮して、記録部１１１にてメモリカード等の記録媒体に記録される。

制御部１２０は、例えばＣＰＵ等で構成され、カメラ全体の動作を制御する。メモリ１２１は、記録部１１１から読み出した画像データを一時的に格納するための記憶装置であり、所定時間の画像データを格納するのに十分な記憶量を備えている。また、メモリ１２１は、制御部１２０等の作業領域としても使用することが可能である。Ｉ／Ｆ１２２は、制御部１２０の制御に基づき、外部機器と接続し、通信を行う。

次に、図２乃至図６を参照して、輝度調整部１０７について具体的に説明する。図２は、輝度調整部１０７の制御ブロック図である。図３は、ブラックポイントＢｋとホワイトポイントＷｔによって決定されるガンマカーブを示すグラフ図である。図４は、輝度別ゲインテーブル１０７８の一例を示す図である。

図２において、輝度調整部１０７では、全体的なダイナミックレンジ調整（Ｄレンジ調整）、局所コントラスト補正、ガンマ変換、それらに伴うエッジ強調等の処理がなされる。Ｄレンジ調整部１０７０は、入力信号のダイナミックレンジを図３で示すようなブラックポイントＢｋとホワイトポイントＷｔとにより決定される信号レンジに変換する。ブラックポイントＢｋは、図３に示すカーブを用いてガンマ変換した後の出力が０となるポイントであり、ホワイトポイントＷｔは、出力が出力Ｄレンジの最大値となるポイントである。このダイナミックレンジ変換により、入力信号Ｙは、次式（１）を用いて出力信号Ｙｓに調整される。
Ｙｓ＝（Ｙ−Ｂｋ）＊Ｍａｘ／（Ｗｔ−Ｂｋ） …（１）

ここで、Ｍａｘは、処理するＢｉｔにおける最大値、例えば１２Ｂｉｔであれば４０９５を設定する。

続いて輝度調整部１０７では、輝度本線系の処理とエッジ強調用に付加するエッジ信号生成系の処理の２つの処理が実行される。まず、Ｄレンジ調整部１０７０の出力信号は、輝度本線系の信号として局所コントラスト補正部１０７１において局所コントラスト補正処理がなされる。局所コントラスト補正処理の詳細については後述する。局所コントラスト補正処理がなされた信号は、ガンマ変換部１０７２で画素毎にその信号の値に基づくガンマ変換がなされ、エッジ付加部１０８０において、エッジ信号生成系の処理によって生成されるエッジ信号を付加される。

また、Ｄレンジ調整部１０７０の出力信号は、別途エッジ抽出部１０７３にてエッジ成分抽出用に処理される。エッジ成分抽出の方法としては、特に限定されないが、例えば、ハイパスフィルタ等のエッジ抽出フィルタを用いる方法や、入力信号をぼかした信号と入力信号との差分により求める方法が挙げられる。抽出されたエッジ信号は、下限・上限クリップ部１０７４にて微調整される。

下限クリップ部では、エッジ信号に含まれるノイズ信号を下限の閾値を設けて判定してクリップし、上限クリップ部では、過度なエッジ強調にならないように上限の閾値を設けてクリップする。下限及び上限の閾値については、入力信号のノイズレベルやオーバーシュートの許容量などから設定すればよい。下限・上限クリップ部１０７４により微調整されたエッジ信号は、輝度別ゲイン調整部１０７５においてさらに輝度毎に適切なゲイン量になるように制御される。

次に、輝度別ゲイン調整を行うための輝度別ゲイン生成について説明する。局所コントラスト補正部１０７１の出力信号に対しては、別途ローパスフィルタ処理部１０７６でぼかす処理がなされる。そして、周波数帯域の落ちた信号を図４に示す輝度別ゲインテーブル１０７８の参照用輝度信号として輝度別ゲイン生成部１０７７で各画素における輝度別ゲインを生成する。

ここで、輝度別ゲインテーブル１０７８は、ガンマ変換部１０７２でかけられるガンマ特性と対応させる必要がある。これは、エッジ抽出は、ガンマ変換前のリニアな信号に対して行われるが、実際にエッジを付加されるのは、ガンマ変換後のノンリニアな信号であるためである。この輝度別ゲイン調整を行うことで、どの輝度域でも適切な量のエッジ量とすることが可能となる。

以上の処理により得られた画素毎に決定されたゲインによるプレーン、すなわち輝度別ゲインプレーンを下限・上限クリップ部１０７４の出力エッジ信号に対して、輝度別ゲイン調整部１０７５にて乗算する。その後、全体ゲイン調整部１０７９にて、最終的なトータルゲインの調整を行い、本線系の輝度信号に付加するエッジ信号が決定される。

次に、図５及び図６を参照して、局所コントラスト補正部１０７１について具体的に説明する。図５は、局所コントラスト補正部１０７１の制御ブロック図である。

図５において、ローパスフィルタ処理部２０１は、図２のＤレンジ調整部１０７０の出力信号に対して高周波成分をカットする処理を行う。これは、その後の縮小処理部２０２で折り返り信号が発生しないように予め周波数帯域を落としておくために行う。ローパスフィルタ処理がなされた信号は、縮小処理部２０２と拡大処理部２０３を通すことでボケた輝度信号となる。このような処理を行うことで、ローパスフィルタ処理部２０１に入力された各画素に対応する輝度信号に、それぞれの画素の周囲の画素に対応する輝度信号が混合され、拡大処理部２０３から出力される。つまり、拡大処理部２０３から出力されたそれぞれの画素に対応する輝度信号は、それぞれの画素を中心として設定された領域における代表的な輝度信号を表しているといえる。

一方、図６（ａ）に示す調整テーブル１０８１を入力としてゲインテーブル生成部２０４で図６（ｂ）に示す局所コントラスト補正ゲインテーブルを生成する。具体的には、調整テーブル１０８１の出力を入力で除算した結果が補正ゲインテーブルとなる。ここで、調整テーブル１０８１は、ガンマ変換後のノンリニアな空間で設計することを想定しているため、逆ガンマ変換部２０５により、図６（ｃ）に示すように、リニアな空間における補正ゲインテーブルへ変換させる。

以上の処理により得られる補正ゲインテーブルを用いて、拡大処理部２０３の出力信号を参照輝度として画素毎のゲインを調整ゲイン算出部２０６で算出する。そして、調整ゲイン算出部２０６で算出されたゲインを図２のＤレンジ調整部１０７０の出力信号に対してゲイン乗算部２０７にて乗算することで局所コントラスト補正処理がなされる。こうすることで、画素毎に、その画素の輝度信号だけではなく、その周辺の画素の輝度信号の値を反映させた局所的なコントラスト補正が行われる。なお、調整テーブル１０８１は、本実施形態では、直感的に設計しやすくするためノンリニアな空間で設定したが、リニアな空間で予め設定してもよい。その場合は、図５における逆ガンマ変換部２０５での処理は不要となる。

また、Ｒｅｔｉｎｅｘモデルに基づく照明成分の補正では、低周波成分のみ階調補正を行うが、本実施形態における照明成分の補正処理に該当する局所コントラスト補正では、高周波成分も含んだ元の信号に対して低周波成分と高周波成分の補正量を異ならせて行う。これは、エッジ強調処理を局所コントラスト補正処理で行ってしまうのではなく、局所コントラスト補正処理と従来のエッジ強調処理とを併用させたいためである。このような構成にすることで、局所コントラスト補正をする場合もしない場合も構成としては同じ形態を持つことが可能となるため、システムの制御としては容易となるメリットがある。

以上のように、輝度調整部１０７では、エッジ信号生成系において、輝度別ゲインテーブルを参照する用の輝度信号としては局所コントラスト補正処理をした信号を用い、エッジ抽出用の輝度信号としては局所コントラスト補正処理をしない信号を用いる。輝度別ゲインテーブルを参照する用の輝度信号として局所コントラスト補正処理をした信号を用いる理由は、輝度本線系の輝度信号と信号レベルを合わせるためである。輝度別ゲイン調整は、輝度に応じて適切なエッジ量を付加するという観点から、輝度本線系と信号レベルが合っていることが前提となっているためである。

一方、エッジ抽出用の輝度信号に対しては局所コントラスト補正処理をしない理由は、局所コントラスト補正処理をした輝度信号に対してエッジ抽出をすると、局所コントラスト補正処理をしない場合と比較してエッジが過剰に検出されてしまうからである。これは、局所コントラスト補正処理を行うと、低周波成分のみがＤレンジ圧縮されるため相対的に高周波成分が強まってしまう、すなわちアンシャープマスクのような効果が局所コントラスト補正処理自体にあることに起因する。

以上説明したように、本実施形態では、輝度調整のエッジ信号生成系において、輝度別ゲインテーブルを参照する用の輝度信号として局所コントラスト補正処理をした信号を用い、エッジ抽出用の輝度信号としては局所コントラスト補正処理をしない信号を用いる。これにより、局所コントラスト補正時にも過剰にならない適切なエッジ強調を実現することができ、局所コントラスト補正をエッジ強調処理と併用しても被写体の周波数帯域に合った自然なエッジ強調が可能になる。

（第２の実施形態）
次に、図７乃至図１１を参照して、本発明の画像処理装置の第２の実施形態であるデジタルカメラについて説明する。なお、上記第１の実施形態に対して重複又は相当する部分については、図に同一符号を付してその説明を簡略化又は省略する。

上記第１の実施形態では、予め設定されたＤレンジ調整用のパラメータ（補正量）及び調整テーブルに基づいて、Ｄレンジ調整と局所コントラスト補正処理を行う場合を例に採って説明してきた。これに対して、本実施形態では、ＧＵＩ上でユーザ操作により指定されたＤレンジ調整用及び局所コントラスト補正処理のパラメータに基づいて、シャープネスの適容量を調整する場合を例に採る。

図７は、ＧＵＩの一例である階調補正パラメータ設定メニュー３０１を示す図である。図７に示す階調補正パラメータ設定メニュー３０１には、ユーザ操作により調整可能なブラックポイントＢｋ、ミッドポイントＭｉｄ、及びホワイトポイントＷｔが配置されている。これらのポイントをユーザが調整することで、ガンマ３０２の特性を変更することが可能となる。

また、階調補正パラメータ設定メニュー３０１には、ハイライトスライダ３０６、及びシャドウスライダ３０７が配置されている。ハイライト機能は、輝度階調のうち、高輝度側のみを調整する機能であり、ハイライトスライダ３０６を図の左側にスライド操作すると、画像内の高輝度側の輝度が低くなり、図の右側にスライド操作すると、画像内の高輝度側の輝度が高くなる。同様に、シャドウスライダ３０７を図の左側にスライド操作すると、画像内の低輝度側の輝度が低くなり、図の右側にスライド操作すると、画像内の低輝度側の輝度が高くなる。

図８は、輝度調整部１０７の制御ブロック図である。図８に示すように、本実施形態の輝度調整部１０７では、上記第１の実施形態（図２）に対して、ＧＵＩパラメータ取得部１０８２、Ｄレンジ調整用ＬＵＴ生成部１０８３、及び調整テーブル選択部１０８４が追加されている。

図９は、輝度調整部１０７において、階調補正パラメータ設定メニュー３０１でのユーザ設定をＤレンジ調整用及び局所コントラスト補正処理のパラメータに反映させる処理例を示すフローチャート図である。図９の各処理は、不図示のＲＯＭ等に格納された制御プログラムがメモリ１２１に展開されて、制御部１２０のＣＰＵ等により実行される。

図９において、ステップＳ１１では、制御部１２０は、階調補正パラメータ設定メニュー３０１でユーザが設定したＤレンジ調整用のパラメータである、ブラックポイントＢｋ、ミッドポイントＭｉｄ、ホワイトポイントＷｔを取得し、ステップＳ１２に進む。具体的には、制御部１２０は、図１のＩ／Ｆ１２２を介してＧＵＩパラメータ取得部１０８２にて各ポイント情報を取得することになる。

ステップＳ１２では、制御部１２０は、ステップＳ１１で取得したＤレンジ調整用のパラメータを基に、Ｄレンジ調整用ＬＵＴ（ルックアップテーブル）をＤレンジ調整用ＬＵＴ生成部１０８３にて生成し、ステップＳ１３に進む。

ここで、図１０を参照して、Ｄレンジ調整用ＬＵＴの具体的な生成方法について説明する。図１０の破線γは、調整前のγカーブである。一方、実線γｍｏｄは、ブラックポイントＢｋ、ミッドポイントＭｉｄ、及びホワイトポイントＷｔを調整することで決定される調整後のγカーブである。この２つのγカーブを各々有限個の要素数を持つ１次元のＬＵＴで表すと、次式（２），（３）となる。
Ｙ′＝γ［Ｙ］ …（２）
Ｙ′＝γｍｏｄ［Ｙ］ …（３）

要素数は、例えば１０ｂｉｔ精度であれば１０２４個になる。ブラックポイントＢｋ、ミッドポイントＭｉｄ、ホワイトポイントＷｔの３点から１０２４個の要素を生成するには、公知の３次スプライン補間などを用いればよい。

ところで、輝度別ゲインテーブル１０７８は、前述したように、γ特性を考慮して設計されている。従って、Ｄレンジ調整で反映するのはγｍｏｄではなく、γとγｍｏｄとの差分のみ考慮して調整すればよい。具体的には、図１０において、入力信号Ｙに対するγｍｏｄの出力値を求め、この出力値を持つγの入力信号Ｙｓを逆引きすればよく、次式（４）により入力信号Ｙに対するＤレンジ調整後のＹｓを取得することができる。
Ｙｓ＝γ^-1［γｍｏｄ［Ｙ］］ …（４）

ステップＳ１３では、制御部１２０は、階調補正パラメータ設定メニュー３０１でユーザ操作により設定されたハイライト及びシャドウのそれぞれのスライダ値を取得し、ステップＳ１４に進む。具体的には、制御部１２０は、図１のＩ／Ｆ１２２を介してハイライト及びシャドウのそれぞれのスライダ値をＧＵＩパラメータ取得部１０８２にて取得することになる。

ステップＳ１４では、制御部１２０は、取得したＧＵＩパラメータを基に調整テーブル選択部１０８４で図１１に示すような予め用意してある複数種の調整テーブルから対応する調整テーブルを選択する。例えば、ハイライト・シャドウのスライダ値が±１で設定されていれば、図１１の一点鎖線で示す調整テーブルが選択される。同様に、ハイライト・シャドウのスライダ値が±２で設定されていれば、二点鎖線で示す調整テーブルが選択され、±３で設定されていれば、実線で示す調整テーブルが選択される。

Ｄレンジ調整用のパラメータ、及び局所コントラスト補正用の調整テーブルが選択された後は、上記第１の実施形態と同様の処理、即ち、Ｄレンジ調整後に局所コントラスト補正処理をし、ガンマ変換した後で、生成されたエッジ信号の付加を行う。

以上説明したように、本実施形態では、Ｄレンジ調整用のパラメータ、及び局所コントラスト補正用の調整テーブルをＧＵＩ上でユーザが設定した設定値に基づいて決定するため、より正確なエッジ強調を実現することが可能となる。その他の構成、及び作用効果は、上記第１の実施形態と同様である。

（第３の実施形態）
次に、図１２乃至図１４を参照して、本発明の画像処理装置の第３の実施形態であるデジタルカメラについて説明する。なお、上記第１の実施形態に対して重複又は相当する部分については、図に同一符号を付してその説明を簡略化又は省略する。

図１２は、輝度調整部１０７の制御ブロック図である。図１２に示すように、本実施形態の輝度調整部１０７では、上記第１の実施形態（図２）に対して、ＧＵＩパラメータ取得部１０８２、調整テーブル選択部１０８４、テーブル合成部１０８５、及び修正ゲインテーブル１０８６が追加されている。

上記第１の実施形態では、局所コントラスト補正処理した信号に対してローパスフィルタ処理部１０７６でローパスフィルタをかけてぼかした信号から輝度別ゲイン生成部１０７７で輝度別ゲインを生成していた。これに対し、本実施形態では、輝度調整において輝度別ゲインテーブルと調整テーブルとを合成して輝度別ゲインテーブルを修正し、修正した輝度別ゲインテーブルに基づいて輝度別ゲインを生成する。そのため、本実施形態では、ローパスフィルタ処理部１０７６への入力信号は、局所コントラスト補正部１０７１の出力信号ではなく、Ｄレンジ調整部１０７０の出力信号となる。

次に、図１３を参照して、輝度調整部１０７において輝度別ゲインテーブルを修正する具体的な処理について説明する。図１３の各処理は、不図示のＲＯＭ等に格納された制御プログラムがメモリ１２１に展開されて、制御部１２０のＣＰＵ等により実行される。

図１３において、ステップＳ２１では、制御部１２０は、制御部１２０は、階調補正パラメータ設定メニュー３０１でユーザ操作により設定されたハイライト及びシャドウのそれぞれのスライダ値を取得し、ステップＳ２２に進む。具体的には、制御部１２０は、図１のＩ／Ｆ１２２を介してハイライト及びシャドウのそれぞれのスライダ値をＧＵＩパラメータ取得部１０８２にて取得することになる。

ステップＳ２２では、制御部１２０は、取得したＧＵＩパラメータを基に調整テーブル選択部１０８４により調整テーブルを選択し、ステップＳ２３に進む。ここでの処理は、上記第２の実施形態のステップＳ１４と同様であり、図１１に示すような予め用意してある幾つかの調整テーブルから対応する調整テーブルを選択する。

ステップＳ２３では、制御部１２０は、ステップＳ２２で選択された調整テーブルを輝度本線系の局所コントラスト補正処理に用いる他に、テーブル合成部１０８５で輝度別ゲインテーブル１０７８との合成に用いる。

例えば図４に示す輝度別ゲインテーブルＡＰＣＧａｉｎ［Ｙ］（１０７８）と図６（ａ）に示す調整テーブルＯｈｙ［Ｙ］（１０８１）とを合成する場合、修正後の輝度別ゲインテーブルＡＰＣＧａｉｎＭｏｄ［Ｙ］（１０８６）は、次式（５）で表される。
ＡＰＣＧａｉｎＭｏｄ［Ｙ］＝ＡＰＣＧａｉｎ［Ｏｈｙ［Ｙ］］ …（５）

図１４は、修正後の輝度別ゲインテーブルＡＰＣＧａｉｎＭｏｄ［Ｙ］（１０８６）を示すグラフ図であり、図１４において、破線が修正前、実線が修正後である。

輝度別ゲインテーブルが修正された後は、上記第１の実施形態と同様の処理、即ち、Ｄレンジ調整後に局所コントラスト補正処理をし、ガンマ変換した後で、生成されたエッジ信号の付加を行う。

以上説明したように、本実施形態では、輝度別ゲインテーブルを調整テーブルと合成して新たな修正輝度別ゲインテーブルを生成することで、エッジ信号生成系のパスにおいて回路を簡素化できるため処理速度が向上する。その他の構成、及び作用効果は、上記第１の実施形態と同様である。

（第４の実施形態）
次に、図１５を参照して、本発明の画像処理装置の第４の実施形態であるデジタルカメラについて説明する。なお、上記第１の実施形態に対して重複又は相当する部分については、図に同一符号を付してその説明を簡略化又は省略する。

図１５は、輝度調整部１０７の制御ブロック図である。図１５に示すように、本実施形態の輝度調整部１０７では、上記第１の実施形態（図２）に対して、縮小処理部１０８７が追加されるとともに、エッジ信号生成系に局所コントラスト補正部１０８８及び拡大処理部１０８９が追加されている。また、エッジ信号生成系からローパスフィルタ処理部１０７６が省かれている。ここで、局所コントラスト補正部１０７１は、本発明の第１の局所コントラスト補正手段の一例に相当し、局所コントラスト補正部１０８８は、本発明の第２の局所コントラスト補正手段の一例に相当する。

上記第１の実施形態では、輝度本線系の局所コントラスト補正部１０７１の出力をエッジ信号生成系処理の入力信号としても使用していた。これに対して、本実施形態では、輝度本線系とは異なる解像度で局所コントラスト補正処理を行う場合を例に採る。

輝度別ゲイン調整は、ガンマ特性を考慮することで各画素の輝度に応じて適切な付加エッジ量を調整することが目的である。その際、被写体の高周波成分や高ＩＳＯにおけるノイズ成分などを正確に反映してしまうと、輝度別ゲインがバタついてしまい、不適切なエッジ強調になってしまうことが懸念される。そのため、上記第１の実施形態では、輝度別ゲインテーブル参照用の輝度信号に対してローパスフィルタをかけて周波数帯域を落とす処理を行っていた。これは、局所コントラスト補正処理の出力信号の高周波成分は落ちていて構わないことを意味する。

そこで、本実施形態では、予め局所コントラスト補正処理を低解像度で行うことを考える。まず、Ｄレンジ調整部１０７０の出力信号を縮小処理部１０８７で縮小する。縮小率については、上記第１の実施形態のローパスフィルタ処理部１０７６ででかけるローパスフィルタのぼかし具合に対応させればよい。例えば、フィルタ係数が［１２１］であれば、折り返りを考慮して、縮小率は１／２に設定することが望ましい。

このように、縮小処理部１０８７で縮小された信号を入力として局所コントラスト補正部１０８８で局所コントラスト補正処理を行う。そして、局所コントラスト補正処理後、拡大処理部１０８９で縮小前のサイズまで戻す。このようにして得られる高周波成分の落ちた局所コントラスト補正処理後の信号から輝度別ゲインを生成して輝度別ゲイン調整を行い、エッジ付加の信号を得る。

以上説明したように、本実施形態では、Ｄレンジ調整後の信号を縮小し、低解像度で局所コントラスト補正処理をして元のサイズまで拡大することで、時間のかかる局所コントラスト補正処理の処理速度を向上させることができる。また、輝度本線系の局所コントラスト補正部１０７１での処理はオリジナルの解像度で行うため、本線の画質への影響は低めに抑えることが可能となる。その他の構成、及び作用効果は、上記第１の実施形態と同様である。

なお、本発明は、上記各実施形態に例示したものに限定されるものではなく、本発明の要旨を逸脱しない範囲において適宜変更可能である。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。ネットワーク又は各種記憶媒体を介して取得したソフトウェア（プログラム）をパーソナルコンピュータ（ＣＰＵ，プロセッサ）にて実行することでも実現できる。

１０７ 輝度調整部
１２０ 制御部
１２１ メモリ
１０７０ Ｄレンジ調整部
１０７１ 局所コントラスト補正部
１０７２ ガンマ変換部
１０７３ エッジ抽出部
１０７４ 下限・上限クリップ部
１０７５ 輝度別ゲイン調整部
１０７６ ローパスフィルタ処理部
１０７７ 輝度別ゲイン生成部
１０７８ 輝度別ゲインテーブル
１０７９ 全体ゲイン調整部
１０８０ エッジ付加部
１０８１ 調整テーブル

Claims (11)

1. 画像データのそれぞれの画素の信号に対し、該画素の周囲の画素の信号を反映させて得られる値に基づく第１のゲインを乗算する第１の補正手段と、
   前記第１のゲインが乗算されていない画像データからエッジを抽出するエッジ抽出手段と、
   前記エッジ抽出手段によって抽出されたエッジ信号に対して、前記第１のゲインが乗算された信号に基づく第２のゲインを乗算する第２の補正手段と、
   前記第２のゲインが乗算されたエッジ信号を、前記第１のゲインが乗算された信号に付加する付加手段を有することを特徴とする画像処理装置。
2. 前記第１のゲインが乗算されたそれぞれの画素の信号に対して、該画素の信号に基づくガンマ変換を行うガンマ変換手段を、さらに有し、
   前記付加手段は、前記第２のゲインが乗算されたエッジ信号を、前記ガンマ変換手段から出力された信号に付加することを特徴とする請求項１に記載の画像処理装置。
3. 前記第１の補正手段は、画像データのそれぞれの画素の信号に対し、前記画像データに対してフィルタ処理、および、縮小処理のすくなくともいずれかを行って求められた値に基づいて前記第１のゲインを設定することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記第１の補正手段は、画像データのそれぞれの画素の信号に対し、予め用意されたテーブルに基づいて前記第１のゲインを設定することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記第１の補正手段は、ユーザ操作により指定された補正量に基づいて、予め用意された複数のテーブルから対応するテーブルを選択することを特徴とする請求項４に記載の画像処理装置。
6. 前記第１の補正手段は、縮小した画像データのそれぞれの画素の信号に対し、該画素の周囲の画素の信号を反映させて得られる値に基づいて前記第１のゲインを設定することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 画像データのそれぞれの画素の信号に対し、該画素の周囲の画素の信号を反映させて得られる値に基づくゲインを乗算する第１の補正手段と、
   前記第１の補正手段から出力されたそれぞれの画素の信号に対して、該画素の信号に基づくガンマ変換を行うガンマ変換手段と、
   前記画像データからエッジを抽出するエッジ抽出手段と、
   前記エッジ抽出手段によって抽出されたエッジ信号に対して、前記画像データの信号に基づくゲインを乗算する第２の補正手段と、
   前記第２の補正手段から出力されたエッジ信号を、前記ガンマ変換手段から出力された信号に付加する付加手段を有し、
   前記第１の補正手段は、ユーザ操作により指定された補正量に基づいて、予め用意された複数のテーブルから対応するテーブルを選択し、選択したテーブルに基づくゲインを用いて乗算を行い、
   前記第２の補正手段は、前記選択されたテーブルを用いて調整したゲインを用いて乗算を行うことを特徴とする画像処理装置。
8. 画像データのそれぞれの画素の信号に対し、該画素の周囲の画素の信号を反映させて得られる値に基づく第１のゲインを乗算する第１の補正ステップと、
   前記第１のゲインが乗算されていない画像データからエッジを抽出するエッジ抽出ステップと、
   前記エッジ抽出ステップにおいて抽出されたエッジ信号に対して、前記第１のゲインが乗算された信号に基づく第２のゲインを乗算する第２の補正ステップと、
   前記第２のゲインが乗算されたエッジ信号を、前記第１のゲインが乗算された信号に付加する付加ステップを有することを特徴とする画像処理装置の制御方法。
9. 画像データのそれぞれの画素の信号に対し、該画素の周囲の画素の信号を反映させて得られる値に基づくゲインを乗算する第１の補正ステップと、
   前記第１の補正ステップにおいて得られたそれぞれの画素の信号に対して、該画素の信号に基づくガンマ変換を行うガンマ変換ステップと、
   前記画像データからエッジを抽出するエッジ抽出ステップと、
   前記エッジ抽出ステップにおいて抽出されたエッジ信号に対して、前記画像データの信号に基づくゲインを乗算する第２の補正ステップと、
   前記第２の補正ステップにおいて得られたエッジ信号を、前記ガンマ変換ステップにおいて得られた信号に付加する付加ステップを有し、
   前記第１の補正ステップでは、ユーザ操作により指定された補正量に基づいて、予め用意された複数のテーブルから対応するテーブルを選択し、選択したテーブルに基づくゲインを用いて乗算を行い、
   前記第２の補正ステップでは、前記選択されたテーブルを用いて調整したゲインを用いて乗算を行うことを特徴とする画像処理装置の制御方法。
10. コンピュータに、請求項８に記載の画像処理装置の制御方法の各ステップを実行させるためのプログラム。
11. コンピュータに、請求項９に記載の画像処理装置の制御方法の各ステップを実行させるためのプログラム。
    

Images