JP5099438B2 - 画像処理装置および方法、並びにプログラム - Google Patents

Description

本発明は、画像処理装置および方法並びにプログラムに関し、特に、画像中の明るい領域の大きさを保持したまま画像のボケを補正することができるようになった画像処理装置および画像処理方法並びにプログラムに関する。

従来、カメラが被写体を撮像するときに、被写体がカメラに対して動いたり、カメラが被写体に対して動いたりすると、カメラにより撮像された画像には、動きボケが生じる。カメラが、動きボケが生じた画像を出力し、その画像がディスプレイに供給されると、ディスプレイには、動きボケが生じた画像が表示される。

そこで、カメラから出力された画像に生じた動きボケを抑制する画像処理を施す画像処理装置が存在する。この画像処理装置では、画像に生じた動きボケに基づいてカメラと被写体との相対的な動き量を算出し、その動き量から撮像時の動きボケを類推して、動きボケを抑制する画像処理を行う。

例えば、動きボケが生じた画像では、画像のエッジ部分において画素値が緩やかに変化する。画像処理装置は、エッジ部分における画素値の変化が緩やかな画像に対し、エッジ部分における画素値の変化が急峻になるように画素値を補正する。

ところで、一般的に、テレビジョン受像機において画像を表示するCRT（Cathode Ray Tube）などのディスプレイは、画面の明るさが画像のレベルに比例せず、指数関数的に変化する特性（ガンマ特性）を有する。そこで、例えば、テレビ局などのカメラは、撮像した結果得られる画像に、ディスプレイのガンマ特性が補正されるようにするガンマ処理を施し、ガンマ処理が施された画像を出力するように構成されている。例えば、ITU-R BT601,ITU-R BT709、またはsRGBの規格においては、CRTが基準の表示装置であるものとして、ガンマ処理におけるガンマ値はγ＝1/2.2程度と規定されている。

しかしながら、カメラにおいてガンマ処理が施された画像に対し、画像処理装置が、動きボケを抑制する画像処理を施すにあたり、画像のエッジ部分の位置がずれることがあった。

図１と図２を参照して、カメラにおいてガンマ処理が施された画像に対し、動きボケを抑制する画像処理が施されることにより得られる画像について説明する。

図１は、カメラ１１、画像処理装置１２、およびディスプレイ１３からなるシステムを示すブロック図である。

カメラ１１は、撮像部１４およびガンマ処理部１５から構成されている。

撮像部１４は、図示せぬ被写体を撮像し、その結果得られた画像信号Ｔ１をガンマ処理部１５に提供する。ここで、画像信号Ｔ１とは、画像の輝度情報のデータからなる信号をいう。また、以下、画像を構成する各画素についての輝度情報のデータを、画素値と称する。即ち、画像信号Ｔ１には、画像の色差情報のデータは含まれない。

ガンマ処理部１５は、画像信号Ｔ１に対してガンマ処理を施し、その結果得られる画像信号Ｔ２を画像処理装置１２に提供する。即ち、ガンマ処理部１５は、画像信号Ｔ１を構成する各画素値を、図１の下方に示されているガンマ曲線に従って補正し、補正された各画素値から構成される画像信号Ｔ２を画像処理装置１２に提供する。

画像処理装置１２は、画像信号Ｔ２に対して、動きボケを抑制する画像処理を施し、その結果得られる画像信号Ｔ３をディスプレイ１３に提供する。

ディスプレイ１３は、画像信号Ｔ３に対応する画像を表示する。

図２は、撮像部１４により撮像された画像信号Ｔ０および画像信号Ｔ１、ガンマ処理部１５によりガンマ処理が施された画像信号Ｔ２、並びに、画像処理装置１２により画像処理が施された画像信号Ｔ３の所定の一部における各波形を示している。

図２において、横軸は、画像上の一方向の位置（画素位置）を表し、縦軸は、画像の画素値（輝度のレベル）を表している。

例えば、カメラ１１が、黒色の背景の前方に白色の被写体が存在するシーンを撮像したとする。撮像により得られた画像には、黒色の背景に応じて画素値が０（ほぼ０）となる黒色部分と、画素値が０から１００に変化するエッジ部分と、白色の被写体に応じて画素値が１００（ほぼ１００）となる白色部分とが存在する。従って、図２は、黒色の背景の前方に白色の被写体が存在するシーンが撮像された画像のエッジ部分の近傍を示している。

図２の上から１番目の図は、例えば、被写体とカメラ１１とがいずれも静止していた場合に、撮像部１４により撮像された画像信号Ｔ０を示している。

画像信号Ｔ０には、位置Ａの左方に画素値が０となる黒色部分が存在する。位置Ａに画素値が０から１００に急峻に変化するエッジ部分が存在する。位置Ａの右方に、画素値が１００となる白色部分が存在する。このように、被写体とカメラ１１とが静止していた場合には、エッジ部分の画素値が急峻（黒色部分および白色部分に対して垂直）に変化する画像信号Ｔ０、即ち、動きボケが生じていない画像信号Ｔ０が撮像される。

これに対して、図２の上から２番目の図は、被写体とカメラ１１とが相対的に動いていた場合に、撮像部１４により撮像された画像Ｔ１を示している。

画像信号Ｔ１には、位置Ｂの左方に画素値が０となる黒色部分が存在する。位置Ｂから位置Ａまでの間に、位置Ｂから位置Ａに向かって画素値が０から１００に傾斜状に変化するエッジ部分が存在する。位置Ａの右方に画素値が１００となる白色部分が存在する。なお、位置Ｃは、画像信号Ｔ１のエッジ部分の中心位置である。

このように、被写体とカメラ１１とが相対的に動いていた場合には、エッジ部分の画素値が傾斜状に変化する画像信号Ｔ１、即ち、動きボケが生じた画像信号Ｔ１が撮像される。

図２の上から３番目の図は、動きボケが生じた画像Ｔ１に対して、ガンマ処理部１５によりガンマ処理が施された画像信号Ｔ２を示している。

画像信号Ｔ２には、位置Ｂの左方に画素値が０となる黒色部分が存在する。位置Ｂから位置Ａまでの間にガンマ処理が施されたエッジ部分が存在する。位置Ａの右方に画素値が１００となる白色部分が存在する。即ち、画像信号Ｔ２は、動きボケが生じた画像Ｔ１の画素値が、図１に示されているようなガンマ曲線に従って補正された画素値からなる。画像信号Ｔ２では、エッジ部分の画素値が、位置Ｂ付近で急激に立ち上がるように曲線状に変化する。このように、動きボケが生じた画像信号Ｔ１に対して、ガンマ処理部１５によりガンマ処理が施されると、エッジ部分の画素値が、位置Ｂ付近で急激に立ち上がるように曲線状に変化する画像信号Ｔ２が得られる。

図２の上から４番目（下から１番目）の図は、ガンマ処理が施された画像信号Ｔ２に対して、画像処理装置１２により画像処理が施された画像信号Ｔ３を示している。

画像信号Ｔ３には、位置Ｂの左方に画素値が０となる黒色部分が存在する。位置Ｂから位置Ａよりも左側の位置Ｄまでの間に、画像Ｔ１のエッジ部分の画素値の変化よりも画素値が急峻に変化するエッジ部分が存在する。位置Ｄの右方に画素値が１００となる白色部分が存在する。なお、位置Ｃ'は、画像信号Ｔ３のエッジ部分の中心位置である。

このように、ガンマ処理が施された画像信号Ｔ２に対して、画像処理装置１２により画像処理が施されると、画像信号Ｔ１のエッジ部分の画素値の変化よりも画素値が急峻に変化するエッジ部が存在する画像信号Ｔ３が得られる。即ち、画像信号Ｔ１よりも動きボケが抑制された画像信号Ｔ３が得られる。

しかしながら、画像信号Ｔ３では、そのエッジ部分の中心位置である位置Ｃ'が、撮像部１４により撮像された画像信号Ｔ１のエッジ部分の中心位置である位置Ｃよりも左方にずれている。即ち、ガンマ処理が施された画像信号Ｔ２に対して、画像処理装置１２により画像処理が施された画像信号Ｔ３では、エッジ部分の中心位置がずれてしまう。

さらに、このようにエッジ部分がずれてしまうと、白色部分が広がることになる。これにより、撮像された被写体の明るい領域の大きさが広がってしまい、見た目が悪くなってしまう。

そこで、本発明者は、明るい領域の大きさを保持し、さらにディテールを保持したまま画像のボケを補正することができる画像処理装置等を、特許文献１において既に開示している。
特開２００８−３３５９２号公報

しかしながら、特許文献１に開示された技術では、色の濃い物体については、輝度情報が少ないため、撮像時のガンマを考慮すると輝度がなくなってしまい、補正がかからなくなってしまう場合もある。

本発明は、このような状況に鑑みてなされたものであり、特に、撮像ボケに起因する画像劣化（ボケ画像）をさらに一段と抑制できるようになった画像処理装置および方法並びにプログラムに関する。

本発明の一側面の画像処理装置は、被写体を撮像した結果得られる画像の輝度信号に対してガンマ処理を施して出力する撮像装置から、前記輝度信号を取得し、前記輝度信号に対して逆ガンマ処理を施す逆ガンマ処理手段と、前記逆ガンマ処理手段により前記逆ガンマ処理が施された前記輝度信号について、そのガンマ処理のかかり具合の度合いを前記画像の色情報に基づいて調整し、調整後の前記輝度信号に対して、前記画像のボケを補正する補正処理を施す補正処理手段とを備え、前記補正処理手段は、前記逆ガンマ処理手段により前記逆ガンマ処理が施された前記輝度信号について、そのガンマ処理のかかり具合の度合いを前記画像の色情報に基づいて調整するガンマ特性調整手段と、前記逆ガンマ特性調整手段による調整後の前記輝度信号を構成する各画素値のうちの、注目画素の画素値と、前記注目画素から一方向に離間した画素の画素値と、前記注目画素から他方向に離間した画素の画素値とを用いて、所定の演算を行う演算手段と、前記演算手段による演算結果に基づいて、前記注目画素の画素値を、前記注目画素から一方向に離間した画素の画素値、または、前記注目画素から他方向に離間した画素の画素値のうちのいずれかに置き換える置換手段とを有する。

前記補正処理手段により補正処理が施された前記輝度信号に対して、前記撮像装置において施される前記ガンマ処理と同じガンマ処理を施すガンマ処理手段をさらに備える。

前記補正処理手段は、前記逆ガンマ処理手段により前記逆ガンマ処理が施された前記輝度信号について、そのガンマ処理のかかり具合の度合いを前記画像の色情報に基づいて調整するガンマ特性調整手段と、前記逆ガンマ特性調整手段による調整後の前記輝度信号を構成する各画素値のうちの、注目画素の画素値と、前記注目画素から一方向に離間した画素の画素値と、前記注目画素から他方向に離間した画素の画素値とを用いて、所定の演算を行う演算手段と、前記演算手段による演算結果に基づいて、前記注目画素の画素値を、前記注目画素から一方向に離間した画素の画素値、または、前記注目画素から他方向に離間した画素の画素値のうちのいずれかに置き換える置換手段とを有する。

本発明の一側面の画像処理方法およびプログラムは、上述した本発明の一側面の画像処理装置に対応する方法およびプログラムである。

本発明の一側面の画像処理装置および方法並びにプログラムにおいては、被写体を撮像した結果得られる画像の輝度信号に対してガンマ処理を施して出力する撮像装置からの前記輝度信号が取得され、前記輝度信号に対して逆ガンマ処理が施される。次に、前記逆ガンマ処理が施された前記輝度信号について、そのガンマ処理のかかり具合の度合いが前記画像の色情報に基づいて調整され、調整後の前記輝度信号に対して、前記画像のボケを補正する補正処理が施され、前記逆ガンマ処理が施された前記輝度信号について、そのガンマ処理のかかり具合の度合いが前記画像の色情報に基づいて調整され、前記逆ガンマ特性調整後の前記輝度信号を構成する各画素値のうちの、注目画素の画素値と、前記注目画素から一方向に離間した画素の画素値と、前記注目画素から他方向に離間した画素の画素値とが用いられて、所定の演算が行われ、演算結果に基づいて、前記注目画素の画素値が、前記注目画素から一方向に離間した画素の画素値、または、前記注目画素から他方向に離間した画素の画素値のうちのいずれかに置き換えられる。

なお、以上説明した本発明の一側面の画像処理装置は、例えば、テレビジョンシステム全体またはその一構成要素として利用可能である。テレビジョンシステムとは、テレビジョン放送受像機を含む１以上のＡＶ（Audio and Visual）機器からなるシステムを指す。

以上のごとく、本発明によれば、撮像ボケに起因する画像劣化（ボケ画像）を抑制する画像処理を実現できる。特に、従来の画像処理と比較して、その抑制度合をさらに一段と高めることができる。

ここで、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。

図３は、本発明を適用した画像処理装置２１の一実施の形態の構成例を示している。

図３の例では、画像処理装置２１は、逆ガンマ処理部２２、補正処理部２３、およびガンマ処理部２４から構成されている。

逆ガンマ処理部２２には、画像信号Ｔ２が提供される。画像信号Ｔ２とは、画像信号Ｔ１に対して、ガンマ処理部１５がガンマ処理を施した結果得られる信号である。画像信号Ｔ１とは、カメラ１１の撮像部１４により撮像された結果得られる信号である。

逆ガンマ処理部２２は、画像信号Ｔ２に対してガンマ処理を施す。ここで、ガンマ処理としては、画像信号Ｔ２が、ガンマ処理部１５によりガンマ処理が施される前の画像信号Ｔ１と同じ特性を持つようにする処理が採用される。画像信号Ｔ２に対して逆ガンマ処理が施されると、画像信号Ｔ４が得られ、補正処理部２３に提供される。

例えば、逆ガンマ処理部２２は、ガンマ処理部１５から提供された画像信号Ｔ２の画素値を、図３の下方左側に示されている逆ガンマ曲線（即ち、図１に示されているガンマ曲線に対して逆の特性を持つ曲線）に従って補正する。

補正処理部２３は、画像信号Ｔ４に対して、画像のボケを補正する補正処理を施し、その結果得られる画像信号Ｔ５をガンマ処理部２４に提供する。例えば、補正処理部２３は、画像のエッジ部分の画素値の変化が急峻になるように画素値を補正する補正処理を施す。

ガンマ処理部２４は、画像信号Ｔ５に対してガンマ処理を施し、その結果得られる画像信号をディスプレイ１３に提供する。ここで、ガンマ処理としては、カメラ１１のガンマ処理部１５により施されるガンマ処理と同じ処理が採用される。例えば、ガンマ処理部２４は、画像信号Ｔ５の画素値を、図３の下方右側に示されているガンマ曲線（即ち、図１に示されているガンマ曲線と同じ曲線）に従って補正する。

ここで、本発明の理解を容易なものとすべく、図４乃至図７を参照して、上述した特許文献１に開示されている技術（以下、従来の技術と称する）について説明する。後述するように、従来の技術と本実施の形態との差異は、補正処理部２３の構成にある。そこで、以下、従来の技術の補正処理部２３を、従来の補正処理部２３と称する。

図４は、撮像部１４により撮像された画像信号Ｔ１、ガンマ処理部１５によりガンマ処理が施された画像信号Ｔ２、逆ガンマ処理部２２により逆ガンマ処理が施された画像信号Ｔ４、および、従来の補正処理部２３により補正処理が施された画像信号Ｔ５を示している。

図４における横軸と縦軸は、図２と同様の横軸と縦軸とされている。即ち、横軸は、画像上の一方向の位置（画素位置）を表し、縦軸は、画像の画素値（輝度のレベル）を表している。

図４の上から１番目の図は、図２の上から２番目と同様に、被写体とカメラ１１とが相対的に動いていた場合に、撮像部１４により撮像された結果として動きボケが生じている画像信号Ｔ１を示している。なお、位置Ｃは、画像信号Ｔ１のエッジ部分の中心位置である。

図４の上から２番目の図は、図２の上から３番目と同様に、動きボケが生じた画像信号Ｔ１に対して、ガンマ処理部１５によりガンマ処理が施された画像信号Ｔ２を示している。

図４の上から３番目の図は、ガンマ処理が施された画像信号Ｔ２に対して、逆ガンマ処理部２２により逆ガンマ処理が施された画像信号Ｔ４を示している。

即ち、画像信号Ｔ４は、ガンマ処理部１５によりガンマ処理が施される前の画像信号Ｔ１である。つまり、画像信号Ｔ４は、撮像部１４により撮像された画像信号Ｔ１と同様の画像信号である。画像信号Ｔ４には、位置Ｂの左方に画素値が０となる黒色部分が存在する。位置Ｂから位置Ａまでの間に、位置Ｂから位置Ａに向かって画素値が０から１００に傾斜状に変化するエッジ部分が存在する。位置Ａの右方に画素値が１００となる白色部分が存在する。

図４の上から４番目（下から１番目）の図は、逆ガンマ処理が施された画像信号Ｔ４に対して、従来の補正処理部２３により補正処理が施された画像信号Ｔ５を示している。

画像信号Ｔ５には、位置Ｂよりも右側の位置Ｅの左方に画素値が０となる黒色部分が存在する。位置Ｅから位置Ａよりも左側の位置Ｆまでの間に、画像Ｔ４のエッジ部分の画素値の変化よりも画素値が急峻に変化するエッジ部分が存在する。位置Ｆより右方に画素値が１００となる白色部分が存在する。なお、画像信号Ｔ５のエッジ部分の中心位置は、画像Ｔ１のエッジ部分の中心位置と同じ位置Ｃとなる。

次に、図５を参照して、従来の補正処理部２３が、画像信号Ｔ４に対して施す補正処理を説明する。

図５において、横軸は、画像上の一方向の位置（画素位置）を表し、縦軸は、画像の画素値（輝度のレベル）を表している。

図５の上方には、画像信号Ｔ４が示されている。画像信号Ｔ４は、逆ガンマ処理部２２から従来の補正処理部２３に提供される。図５の下方には、従来の補正処理部２３により補正処理が施された画像信号Ｔ５が示されている。また、画像信号Ｔ４または画像信号Ｔ５上の複数の点は、画像信号Ｔ４または画像信号Ｔ５を構成する各画素値を表している。

従来の補正処理部２３は、補正の対象として注目すべき画素を注目画素として設定する。そして、従来の補正処理部２３は、注目画素の画素値と、注目画素から所定の数だけ右方向に離間した画素（以下、適宜、右方画素と称する）の画素値と、注目画素から所定の数だけ左方向に離間した画素（以下、適宜、左方画素と称する）の画素値との３つの画素値を取得する。

例えば、図５の上方に示すように、従来の補正処理部２３は、注目画素の画素値Ｓ_nと、注目画素より３つ右方向に離間した右方画素の画素値Ｓ_n-1と、注目画素より３つ左方向に離間した左方画素の画素値Ｓ_n+1との３つの画素値を取得する。

従来の補正処理部２３は、注目画素の画素値Ｓ_n、右方画素の画素値Ｓ_n-1、および左方画素の画素値Ｓ_n+1のそれぞれを表す図５の画像信号Ｔ４上の点をその順番で結ぶ線の、注目画素の画素値Ｓ_nを表す点における２次微分値Ａを、次の式（１）を演算することで取得する。

Ａ＝２×Ｓ_n−Ｓ_n-1−Ｓ_n+1 ・・・（１）

また、従来の補正処理部２３は、右方画素の画素値Ｓ_n-1と左方画素の画素値Ｓ_n+1との差分値Ｂを、次の式（２）を演算することで取得する。なお、差分値Ｂは、右方画素の画素値Ｓ_n-1および左方画素の画素値Ｓ_n+1のそれぞれを表す図５上の点を結ぶ直線の傾きを表している。

Ｂ＝Ｓ_n-1−Ｓ_n+1 ・・・（２）

そして、従来の補正処理部２３は、式（１）を演算した結果得られる２次微分値Ａが０より大であるか否か、および式（２）を演算した結果得られる差分値Ｂが０より大であるか否かに基づいて、注目画素の画素値Ｓ_nを、右方画素の画素値Ｓ_n-1または左方画素の画素値Ｓ_n+1のうちの、いずれか一方に置き換える。

例えば、図５の上方に示されている注目画素の画素値Ｓ_n、右方画素の画素値Ｓ_n-1、および左方画素の画素値Ｓ_n+1については、２次微分値Ａは０より大となり、差分値Ｂも０より大となる。このように、２次微分値Ａが０より大となり、かつ、差分値Ｂが０より大となる場合においては、従来の補正処理部２３は、注目画素の画素値Ｓ_nを、右方画素の画素値Ｓ_n-1の画素値に置き換える。

なお、従来の補正処理部２３は、２次微分値Ａが０以下となり、かつ、差分値Ｂが０以下となる場合においても、注目画素の画素値Ｓ_nを、右方画素の画素値Ｓ_n-1に置き換える。また、従来の補正処理部２３は、２次微分値Ａが０より大となり、かつ、差分値Ｂが０以下となる場合においては、注目画素の画素値Ｓ_nを、左方画素の画素値Ｓ_n+1の画素値に置き換える。従来の補正処理部２３は、２次微分値Ａが０以下となり、かつ、差分値Ｂが０より大となる場合においても、注目画素の画素値Ｓ_nを、左方画素の画素値Ｓ_n+1の画素値に置き換える。

このように、補正処理部２３は、図５の上方に示されている画像信号Ｔ４を構成する各画素を順次注目画素に設定して、注目画素の画素値を置き換えることにより、図５の下方に示されている画像信号Ｔ５を得る。

図６は、従来の補正処理部２３の機能的構成の例を示すブロック図である。

図６において、従来の補正処理部２３は、演算部３２Ａ,３２Ｂ、および置換部３３から構成されている。

従来の補正処理部２３には、逆ガンマ処理部２２から、逆ガンマ処理が施された画像信号Ｔ４の画素値が、例えば、図５において右方に配置されていた画素から順番に、１画素分ずつ提供される。なお、以下では、逆ガンマ処理部２２から従来の補正処理部２３に提供された画素値が、左方画素の画素値Ｓ_n+1であるタイミングについて、従来の補正処理部２３が実行する処理として説明する。

演算部３２Ａは、図５を用いて説明したように、式（１）に従って２次微分値Ａを算出する。演算部３２Ａは、２次微分値Ａが０より大であるか否かを示す制御信号Ｄ２を生成して、置換部３３に提供する。即ち、演算部３２Ａは、遅延処理部４１，４２、乗算部４３、減算部４４，４５、および判定処理部４６から構成されている。

遅延処理部４１，４２は、そこに供給される画素値を遅延させて出力する。

例えば、逆ガンマ処理部２２からの画像信号Ｔ４として、右方画素の画素値Ｓ_n-1、注目目画素の画素値Ｓ_n、および左方画素の画素値Ｓ_n+1がその順番で順次提供されるとする。この場合、図６に示されるように、逆ガンマ処理部２２からの画像信号Ｔ４として左方画素の画素値Ｓ_n+1が入力されたタイミングでは、遅延処理部４１から注目画素の画素値Ｓ_nが出力され、遅延処理部４２から右方画素の画素値Ｓ_n-1が出力される。

乗算部４３には、遅延処理部４１から注目画素の画素値Ｓ_nが提供される。乗算部４３は、注目画素の画素値Ｓ_nに対して、あらかじめ設定されている２を乗算し、注目画素の画素値Ｓ_nに２を乗算した結果得られる値（２×Ｓ_n）を出力する。

減算部４４には、逆ガンマ処理部２２から左方画素の画素値Ｓ_n+1が提供されるとともに、乗算部４６から値（２×Ｓ_n）が提供される。そこで、減算部４４は、値（２×Ｓ_n）から、左方画素の画素値Ｓ_n+1を減算し、その結果得られる値（２×Ｓ_n−Ｓ_n+1）を減算部４５に供給する。

減算部４５には、遅延処理部４２から右方画素の画素値Ｓ_n-1が提供されるとともに、減算部４４から値（２×Ｓ_n−Ｓ_n+1）が提供される。そこで、減算部４５は、値（２×Ｓ_n−Ｓ_n+1）から、右方画素の画素値Ｓ_n-1を減算し、その結果得られる値（２×Ｓ_n−Ｓ_n+1−Ｓ_n-1）、即ち、式（１）の演算結果である２次微分値Ａを判定処理部４６に提供する。

このようにして、判定処理部４６には、式（１）の演算結果である２次微分値Ａが提供される。判定処理部４６は、２次微分値Ａが０より大であるか否かを判定し、その判定結果に基づく制御信号Ｄ２を生成して、置換部３３に提供する。

具体的には例えば、判定処理部４６は、２次微分値Ａが０より大であると判定した場合、制御信号Ｄ２として、２次微分値Ａが０より大であることを示す「１」を出力する。一方、判定処理部４６は、２次微分値Ａが０以下であると判定した場合、制御信号Ｄ２として、２次微分値Ａが０以下であることを示す「０」を出力する。

演算部３２Ｂは、式（２）に従って差分値Ｂを算出する。演算部３２Ｂは、差分値Ｂが０より大であるか否かを示す制御信号Ｄ１を生成して置換部３３に提供する。即ち、演算部３２Ｂは、減算部５１、および判定処理部５２から構成されている。

減算部５１には、逆ガンマ処理部２２から左方画素の画素値Ｓ_n+1が提供されるとともに、遅延処理部４２から右方画素の画素値Ｓ_n-1が提供される。減算部５１は、画素値Ｓ_n-1から画素値Ｓ_n+1を減算し、その結果得られる値（Ｓ_n-1−Ｓ_n+1）、即ち式（２）の演算結果である差分値Ｂを判定処理部５２に提供する。

このようにして、判定処理部５２には、式（２）の演算結果である差分値Ｂが提供される。判定処理部５２は、差分値Ｂが０より大であるか否かを判定し、その判定結果に基づく制御信号Ｄ１を生成して、置換部３３に提供する。

判定処理部５２は、差分値Ｂが０より大であると判定した場合、制御信号Ｄ１として、差分値Ｂが０より大であることを示す「１」を出力する。一方、判定処理部５２は、差分値Ｂが０以下であると判定した場合、制御信号Ｄ１として、差分値Ｂが０以下であることを示す「０」を出力する。

置換部３３は、演算部３２からの制御信号Ｄ１，Ｄ２に基づいて、注目画素の画素値Ｓ_nを、左方画素の画素値Ｓ_n+1または右方画素の画素値Ｓ_n-1のうちの、いずれか一方に置き換えて出力する。即ち、置換部３３は、遅延処理部６１,６２、並びに、セレクタ６３乃至６５から構成されている。

遅延処理部６１，６２は、そこに供給される画素値を遅延させて出力する。例えば、逆ガンマ処理部２２からの画像信号Ｔ４として、右方画素の画素値Ｓ_n-1、注目目画素の画素値Ｓ_n、および左方画素の画素値Ｓ_n+1がその順番で順次提供されるとする。この場合、図６に示されるように、補正処理部２３に左方画素の画素値Ｓ_n+1が入力されたタイミングでは、遅延処理部６２から右方画素の画素値Ｓ_n-1が出力される。

セレクタ６３の一方の入力端子には、逆ガンマ処理部２２から左方画素の画素値Ｓ_n+1が供給され、セレクタ６３の他方の入力端子には、遅延処理部６２から右方画素の画素値Ｓ_n-1が供給される。また、セレクタ６３には、判定処理部５２から制御信号Ｄ１が供給される。セレクタ６３は、判定処理部５２からの制御信号Ｄ１に従って、左方画素の画素値Ｓ_n+1と右方画素の画素値Ｓ_n-1のうちのいずれか一方を出力する。

例えば、判定処理部５２からの制御信号Ｄ１が、式（２）の演算結果である差分値Ｂが０より大であることを示す「１」である場合、セレクタ６３は、遅延処理部６２からの右方画素の画素値Ｓ_n-1を出力する。一方、判定処理部５２からの制御信号Ｄ１が、式（２）の演算結果である差分値Ｂが０以下であることを示す「０」である場合、セレクタ６３は、逆ガンマ処理部２２からの左方画素の画素値Ｓ_n+1を出力する。

また、セレクタ６４の一方の入力端子にも、逆ガンマ処理部２２からの左方画素の画素値Ｓ_n+1が提供され、セレクタ５４の他方の入力端子にも、遅延処理部６２からの右方画素の画素値Ｓ_n-1が提供される。また、セレクタ６４にも、判定処理部５２からの制御信号Ｄ１が提供される。ただし、セレクタ６４は、セレクタ６３とは逆に、判定処理部５２からの制御信号Ｄ１が「１」の場合、逆ガンマ処理部２２からの左方画素の画素値Ｓ_n+1を出力する。また、セレクタ６４は、判定処理部５２からの制御信号Ｄ１が「０」の場合、遅延処理部６２からの右方画素の画素値Ｓ_n-1を出力する。

セレクタ６５の一方の入力端子には、セレクタ６３からの出力が入力され、セレクタ６５の他方の入力端子には、セレクタ６４からの出力が入力される。

即ち、判定処理部５２からの制御信号Ｄ１が「１」である場合、セレクタ６５の一方の入力端子には、セレクタ６３からの右方画素の画素値Ｓ_n-1が提供されるとともに、セレクタ６５の他方の入力端子には、セレクタ６４からの左方画素の画素値Ｓ_n+1が提供される。一方、判定処理部５２からの制御信号Ｄ１が「０」である場合、セレクタ６５の一方の入力端子には、セレクタ６３からの左方画素の画素値Ｓ_n+1が提供されるとともに、セレクタ６５の他方の入力端子には、セレクタ６４からの右方画素の画素値Ｓ_n-1が提供される。

また、セレクタ６５には、判定処理部４６からの制御信号Ｄ２が提供される。そこで、セレクタ６５は、判定処理部４６からの制御信号Ｄ２に従って、セレクタ６３の２つの入力端子のうちの、いずれか一方の入力端子に入力された画素値を出力する。

例えば、判定処理部４６からの制御信号Ｄ２が、式（１）の演算結果である２次微分値Ａが０より大であることを示す「１」である場合、セレクタ６５は、セレクタ６３に接続された一方の入力端子に入力された画素値を出力する。一方、判定処理部４６からの制御信号Ｄ２が、式（１）の演算結果である２次微分値Ａが０以下であることを示す「０」である場合、セレクタ６５は、セレクタ６４に接続された他方の入力端子に入力された画素値を出力する。

つまり、セレクタ６５の入力端子には、判定処理部５２からの制御信号Ｄ１に従って、右方画素の画素値Ｓ_n-1または左方画素の画素値Ｓ_n+1が提供され、セレクタ６５は、判定処理部４６からの制御信号Ｄ２に従って、右方画素の画素値Ｓ_n-1と左方画素の画素値Ｓ_n+1のうちのいずれか一方を出力する。

具体的には、判定処理部５２からの制御信号Ｄ１が、差分値Ｂが０より大であることを示す「１」であり、かつ、判定処理部４６からの制御信号Ｄ２が、２次微分値Ａが０より大であることを示す「１」である場合、セレクタ６５は、右方画素の画素値Ｓ_n-1を出力する。また、判定処理部５２からの制御信号Ｄ１が、差分値Ｂが０以下であることを示す「０」であり、かつ、判定処理部４６からの制御信号Ｄ２が、２次微分値Ａが０より大であることを示す「１」である場合、セレクタ６５は、左方画素の画素値Ｓ_n+1を出力する。

また、判定処理部５２からの制御信号Ｄ１が、差分値Ｂが０より大であることを示す「１」であり、かつ、判定処理部４６からの制御信号Ｄ２が、２次微分値Ａが０以下であることを示す「０」である場合、セレクタ６５は、右方画素の画素値Ｓ_n+1を出力する。また、判定処理部５２から出力される制御信号Ｄ１が、差分値Ｂが０以下であることを示す「０」であり、かつ、判定処理部４６からの制御信号Ｄ２が、２次微分値Ａが０以下であることを示す「０」である場合、セレクタ６５は、右方画素の画素値Ｓ_n-1を出力する。

このようにして、従来の補正処理部２３の置換部３３においては、演算部３２Ａ,３２Ｂによる演算結果に基づいて、注目画素の画素値Ｓ_nが、左方画素の画素値Ｓ_n+1と右方画素の画素値Ｓ_n-1のうちのいずれか一方に置き換えられて出力される。

ここで、図７を参照して、図３の画像処理装置２１が実行する画像処理の一例について説明する。
画像処理装置２１の逆ガンマ処理部２２には、カメラ１１のガンマ処理部１５からの画像信号Ｔ２（例えば、図４の画像信号Ｔ２）が提供される。そこで、ステップＳ１１において、逆ガンマ処理部２２は、画像信号Ｔ２に対して逆ガンマ処理を施す。その結果得られる画像信号Ｔ４（例えば、図４の画像信号Ｔ４）は補正処理部２３に提供される。これにより、処理はステップＳ１２に進む。

ステップＳ１２において、補正処理部２３は、画像信号Ｔ４に対して、例えば図５を参照して説明したような補正処理を施し、その結果得られる画像信号Ｔ５（例えば、図４の画像信号Ｔ５）をガンマ処理部２４に提供する。これにより、処理はステップＳ１３に進む。

ステップＳ１３において、ガンマ処理部２４は、画像信号Ｔ５に対してガンマ処理を施し、その結果得られる画像信号をディスプレイ１３に提供する。これにより、図７の例の画像処理は終了される。

以上のように、画像処理装置２１では、逆ガンマ処理部２２により逆ガンマ処理が施された画像信号Ｔ４に対して、補正処理部２３により補正処理が施される。よって、補正処理が施された画像信号Ｔ５（例えば、図４の画像信号Ｔ５）のエッジ部分の中心位置が、撮像部１４により撮像された画像信号Ｔ１（例えば、図４の画像信号Ｔ１）のエッジ部分の中心位置からずれることなく、エッジ部分の画素値の変化を急峻にすることができるようになる。即ち、画像の動きボケを抑制することができるようになる。

ところで、上述した例では、逆ガンマ処理部２２の逆ガンマ処理とは、画像信号Ｔ２の画素値を、図３の下方左側に示されている逆ガンマ曲線（即ち、図１に示されているガンマ曲線に対して逆の特性を持つ曲線）に従って補正する処理であった。

しかしながら、この逆ガンマ曲線は、図８に示されるように、y=x^2.2の曲線である。即ち、この場合の逆ガンマ処理とは、画素値を2.2乗する処理と等価であると把握することができる。

よって、図６の従来の補正処理部２３は、逆ガンマ処理部２２により2.2乗された画素値を用いて、上述の式（１）を演算することになる。即ち、この場合、図６の従来の補正処理部２３は、実質的に、次の式（３）を演算することになる。

Ａ＝２×Ｓ２^2.2−Ｓ１^2.2−Ｓ３^2.2 ・・・（３）

ここで、Ｓ１、Ｓ２、およびＳ３のそれぞれは、カメラ１１から出力された画像信号Ｔ２における、注目画素より３つ右方向に離間した右方画素の画素値、注目画素の画素値、および、注目画素より３つ左方向に離間した左方画素の画素値を表している。

このような式（３）の演算の処理を実現するためには、従来の補正処理部２３内に、記憶容量の大きなメモリを搭載する必要があった。そこで、補正処理部２３が演算に用いるメモリの記憶容量を少なくする必要がある場合、逆ガンマ処理においては、逆ガンマ曲線の近似曲線、例えばy=x²の曲線を採用することがあった。即ち、この場合の逆ガンマ処理とは、画素値を2乗する処理と把握することができる。

この場合、逆ガンマ処理部２２は、図９のように構成すればよい。即ち、図９の例では、逆ガンマ処理部２２は、乗算部７１を含むように構成される。乗算部７１の２つの入力端には、カメラ１１からの画像信号Ｔ２がそれぞれ提供される。そこで、乗算部７１は、画像信号Ｔ２と画像信号Ｔ２との乗算、即ち、画像信号Ｔ２の２乗を演算し、その結果得られる画像信号Ｔ４を補正処理部２３に提供する。なお、図９の補正処理部２３は、図６の補正処理部２３と同一の構成を有しているので、ここではその説明については省略する。

この場合、従来の補正処理部２３の演算部３２Ａは、上述の式（１）を演算する場合には、実質的に次の式（４）を演算することになる。

Ａ＝２×Ｓ２²−Ｓ１²−Ｓ３² ・・・（４）

この式（４）の演算の処理は、式（３）の演算の処理よりも、記憶容量の小さなメモリで実現できる。従って、従来の補正処理部２３が演算に用いるメモリの記憶容量を少なくすることができる。

以上、図４乃至図７を参照して、従来の技術、特に、従来の補正処理部２３について説明した。

ところで、画像信号のうちの色の濃い成分は、逆ガンマ処理部２２の逆ガンマの処理により輝度情報が失われてしまうことがある。そこで、本発明人は、逆ガンマ処理部２２の後段の補正処理部２３に適用可能な補正手法として、画像信号のうちの色情報（色差信号やR,G,B信号）を利用して、ガンマ処理のかかり具合の度合いを調整した上で、換言すると、ガンマ特性を考慮する比率を適応的に制御した上で、輝度信号を補正するという手法をさらに発明した。かかる手法を適用することにより、色の構成分において輝度情報を失わないように補正することが可能になる。以下、かかる手法を、本発明の手法と称する。

図１０は、図６の従来の補正処理部２３に対して本発明の手法を適用した結果実現される補正処理部２３の機能的構成の例を示すブロック図である。

図１０の例の補正処理部２３は、演算部３２Ａ,３２Ｂ、置換部３３、およびガンマ特性調整部３４から構成されている。

演算部３２Ａ,３２Ｂ、および置換部３３は、図６の例の対応する機能ブロックと基本的に同様の機能と構成を有している。そこで、演算部３２Ａ,３２Ｂ、および置換部３３の説明については省略する。

ガンマ特性調整部３４は、ゲイン部８１、減算部８２、乗算部８３、および加算部８４から構成されている。

ゲイン部８１には、カメラ１１からの画像信号Ｃ０が提供される。ここで、画像信号Ｃ０とは、画像の色差情報のデータからなる信号をいう。

ゲイン部８１は、図１１に示されるように、減算部９１、固定値出力部９２、絶対値演算部９３、および関数部９４を含むように構成されている。

減算部９１は、画像信号Ｃ０の値から、固定値出力部９２からの固定値を減算し、その結果得られる信号Ｃ１を絶対値演算部９３に提供する。ここで、固定値出力部８２からの固定値とは、無彩色の値である。例えば10ビット信号の時には512が、固定値出力部８２から出力される。

絶対値演算部８３は、信号Ｃ１の値を絶対値化し、その結果得られる信号Ｃ２を関数部８４に提供する。ここで、信号Ｃ２の信号レベルは、無彩色からの距離を示すことになる。よって、以下、信号Ｃ２の値（信号レベル）を彩色度と称する。

関数部８４は、例えば図１２に示されるような関数ｆ（α）を保持している。そこで、関数部８４は、信号Ｃ２の値、即ち、彩色度を入力値αとして関数f(α)に代入して、その出力値f1(C2)をゲイン（GAIN）として決定する。このゲイン(GAIN)を信号レベルとして有する信号Ｃ３は、ゲイン部８１から出力されて、図１０の乗算部８３に提供される。

一方、画像の輝度情報のデータ（画素値）からなる信号Ｔ０と、その信号Ｔ０に対して逆ガンマ処理が施された結果得られる信号Ｔ４とは、減算部８２に提供される。なお、信号Ｔ０は、カメラ１１から出力される一方、信号Ｔ４は、逆ガンマ処理部２２から出力される。減算部８２は、信号Ｔ０から信号Ｔ４を減算し、その結果得られる信号（Ｔ０−Ｔ４）を、出力信号Ｔ４２として乗算部８３に提供する。

ここで、信号Ｔ０の値（所定の画素値）を、値Ｓと記述する。すると、信号Ｔ４の値は、値Ｓ^2.2となる。よって、減算部８２の出力信号Ｔ４２の値は、値（Ｓ−Ｓ^2.2）となる。

乗算部８３は、減算部８２の出力信号Ｔ４２に、ゲイン部８１の出力信号Ｃ３を乗算し、その結果得られる信号（Ｔ４２×Ｃ３）を、出力信号Ｔ４３として加算部８４に提供する。ここで、ゲイン部８１の出力信号Ｃ３の値（信号レベル）とは、図１２のGAINである。よって、乗算部８３の出力信号Ｔ４の値は、値｛（Ｓ−Ｓ^2.2）×GAIN｝となる。

加算部８４には、このような乗算部８３の出力信号Ｔ４３の他、逆ガンマ処理部２２の出力信号Ｔ４も提供される。加算部８４は、信号Ｔ４と信号Ｔ４３とを加算し、その結果得られる信号Ｔ４４を出力する。ここで、信号Ｔ４の値は、上述の如く値Ｓ^2.2となる。よって、加算部８４の出力信号Ｔ４４の値は、値｛（Ｓ−Ｓ^2.2）×GAIN＋Ｓ^2.2｝となる。この加算部８４の出力信号Ｔ４４は、演算部３２Ａ，３２Ｂにそれぞれ提供される。

即ち、図６の従来の補正処理部２３では、演算部３２Ａ，３２Ｂには、右方画素の画素値Ｓ_n-1として画素値Ｓ１^2.2が、注目目画素の画素値Ｓ_nとして画素値Ｓ２^2.2が、および左方画素の画素値Ｓ_n+1として画素値Ｓ３^2.2が、それぞれその順番で順次提供される。なお、上述したように、Ｓ１、Ｓ２、およびＳ３のそれぞれは、カメラ１１から出力された画像信号Ｔ２における、注目画素より３つ右方向に離間した右方画素の画素値、注目画素の画素値、および、注目画素より３つ左方向に離間した左方画素の画素値を表している。

これに対して、本発明が適用される図１０の補正処理部２３では、演算部３２Ａ，３２Ｂには、右方画素の画素値Ｓ_n-1として画素値｛（Ｓ１−Ｓ１^2.2）×GAIN＋Ｓ１^2.2｝が、注目目画素の画素値Ｓ_nとして画素値｛（Ｓ２−Ｓ２^2.2）×GAIN＋Ｓ２^2.2｝が、および左方画素の画素値Ｓ_n+1として画素値｛（Ｓ３−Ｓ３^2.2）×GAIN＋Ｓ３^2.2｝が、それぞれその順番で順次提供される。これにより、画像のうちの色の濃い成分に対しては、逆ガンマの補正がかからないことと等価になり、輝度情報を失わずに補正をかけることが可能になるのである。

図１３は、上述した図９の従来の補正処理部２３に対して本発明の手法を適用した結果実現される補正処理部２３の機能的構成の例を示すブロック図である。図１３の補正処理部２３は、図１０の補正処理部２３と基本的に同様の機能と構成を有している。

図１３の例では、信号Ｔ４の値は、値Ｓ²となる。よって、本発明が適用される図１３の補正処理部２３では、演算部３２Ａ，３２Ｂには、右方画素の画素値Ｓ_n-1として画素値｛（Ｓ１−Ｓ１²）×GAIN＋Ｓ１²｝が、注目目画素の画素値Ｓ_nとして画素値｛（Ｓ２−Ｓ２²）×GAIN＋Ｓ２²｝が、および左方画素の画素値Ｓ_n+1として画素値｛（Ｓ３−Ｓ３²）×GAIN＋Ｓ３²｝が、それぞれその順番で順次提供される。これにより、画像のうちの色の濃い成分に対しては、逆ガンマの補正がかからないことと等価になり、輝度情報を失わずに補正をかけることが可能になるのである。

なお、GAINの決定手法は、図１２の例の関数を使用して決定する手法に特に限定されない。例えば、図示はしないが、ガンマ特性調整部３４の出力信号Ｔ４４の値が｛（Ｓ^2.2−Ｓ×GAIN＋Ｓ^2.2｝となるように、ガンマ特性調整部３４を構成することもできる。この場合、GAINを決定する関数は、図１２の例の関数とは異なる関数g(α)が採用されることになる。この関数g(α)は、入力値である彩色度が、閾値になるまでは、その出力値が固定値となり、その閾値を超えた以降は、その出力値が単調減少となるような関数である。また、R,G,Bの値から輝度値Y’を算出し、その輝度値Y'と輝度値Yとの比率からGAINを決定する、といった決定手法を採用することができる。

以上説明したように、特許文献１の従来の技術を採用することで、撮像時のガンマ特性を考慮して輝度を補正しながら、撮影時のボケを補正することができるようになる。しかしながら、この特許文献１の従来の技術では、画像のうちの色の濃い領域では輝度情報が少ないため、撮影時のガンマを考慮すると輝度が無くなってしまい、補正がかからなくなる場合が生じていた。そこで、本発明の手法を適用することで、即ち、画像の色情報（色差情報や、R,G,B情報）を利用して、ガンマ特性を考慮する比率を適応的にコントローすることにより、色の濃い領域に対しても補正をかけることができるようになる。

上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行さ せる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

図１４は、 上述した一連の処理をプログラムにより実行するコンピュータの構成の例を示すブロック図である。CPU（Central Processing Unit）１０１は、ROM（Read Only Memory）１０２、または記憶部１０８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）１０３には、CPU１０１が実行するプログラムやデータなどが適宜記憶される。これらのCPU１０１、ROM１０２、およびRAM１０３は、バス１０４により相互に接続されている。

CPU１０１にはまた、バス１０４を介して入出力インターフェース１０５が接続されている。入出力インターフェース１０５には、キーボード、マウス、マイ クロホンなどよりなる入力部１０６、ディスプレイ、スピーカなどよりなる出力部１０７が接続されている。CPU１０１は、入力部１０６から入力される指令 に対応して各種の処理を実行する。そして、CPU１０１は、処理の結果を出力部１０７に出力する。

入出力インターフェース１０５に接続されている記憶部１０８は、例えばハードディスクからなり、CPU１０１が実行するプログラムや各種のデータを記憶する。通信部１０９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。

また、通信部１０９を介してプログラムを取得し、記憶部１０８に記憶してもよい。

入出力インターフェース１０５に接続されているドライブ１１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１１１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて 記憶部１０８に転送され、記憶される。

なお、画像のボケを補正する処理には、上述したような、画像のエッジ部分の画素値の変化が急峻になるように画素値を補正する処理以外の処理を適用することができる。

なお、上述のフローチャートを参照して説明した各処理は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。

また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

従来の画像処理装置を説明するための図である。 従来の画像処理により得られる画像を説明するための図である。 本発明を適用した一実施の形態の画像処理装置の構成例を示すブロック図である。 従来の画像処理の各工程で得られる画像を示す図である。 従来の補正処理部の補正処理を説明する図である。 従来の逆ガンマ処理部と補正処理部の機能的構成の例を示すブロック図である。 図３の画像処理装置による画像処理を説明するフローチャートである。 逆ガンマの特性の例を示す図である。 従来の逆ガンマ処理部の別の機能的構成例と、従来の補正処理部の機能的構成の例を示すブロック図である。 図６に対する、本発明が適用される逆ガンマ処理部と補正処理部の機能的構成の例を示すブロック図である。 図１０の補正処理部のゲイン部の機能的構成の例を示すブロック図である。 図１１のゲイン部がゲインを決定するための関数の一例を示す図である。 図６に対する、本発明が適用される逆ガンマ処理部と補正処理部の機能的構成の例を示すブロック図である。 一連の処理をプログラムにより実行するコンピュータの構成の例を示すブロック図である。

符号の説明

１１ カメラ， １２ 画像処理装置， １３ ディスプレイ， １４ 撮像部， １５ ガンマ処理部， ２１ 画像処理装置， ２２ 逆ガンマ処理部， ２３ 補正処理部， ２４ ガンマ処理部， ３２Ａ，３３Ａ 演算部， ３３ 置換部， ３４ ガンマ特性調整部， ８１ ゲイン部， ８２ 減算部， ８３ 乗算部， ８４ 加算部， ９１ 減算部， ９２ 固定値出力部， ９３ 絶対値演算部， ９４ 関数部， １０１ ＣＰＵ， １０２ ＲＯＭ， １０３ ＲＡＭ， １０８ 記憶部， １１１ リムーバブルメディア

Claims (4)

1. 被写体を撮像した結果得られる画像の輝度信号に対してガンマ処理を施して出力する撮像装置から、前記輝度信号を取得し、前記輝度信号に対して逆ガンマ処理を施す逆ガンマ処理手段と、
   前記逆ガンマ処理手段により前記逆ガンマ処理が施された前記輝度信号について、そのガンマ処理のかかり具合の度合いを前記画像の色情報に基づいて調整し、調整後の前記輝度信号に対して、前記画像のボケを補正する補正処理を施す補正処理手段とを備え、
   前記補正処理手段は、
   前記逆ガンマ処理手段により前記逆ガンマ処理が施された前記輝度信号について、そのガンマ処理のかかり具合の度合いを前記画像の色情報に基づいて調整するガンマ特性調整手段と、
   前記逆ガンマ特性調整手段による調整後の前記輝度信号を構成する各画素値のうちの、注目画素の画素値と、前記注目画素から一方向に離間した画素の画素値と、前記注目画素から他方向に離間した画素の画素値とを用いて、所定の演算を行う演算手段と、
   前記演算手段による演算結果に基づいて、前記注目画素の画素値を、前記注目画素から一方向に離間した画素の画素値、または、前記注目画素から他方向に離間した画素の画素値のうちのいずれかに置き換える置換手段と
   を有する
   画像処理装置。
2. 前記補正処理手段により補正処理が施された前記輝度信号に対して、前記撮像装置において施される前記ガンマ処理と同じガンマ処理を施すガンマ処理手段
   をさらに備える請求項１に記載の画像処理装置。
3. 画像処理装置が実行するステップとして、
   被写体を撮像した結果得られる画像の輝度信号に対してガンマ処理を施して出力する撮像装置から、前記輝度信号を取得し、前記輝度信号に対して逆ガンマ処理を施し、
   前記逆ガンマ処理が施された前記輝度信号について、そのガンマ処理のかかり具合の度合いを前記画像の色情報に基づいて調整し、調整後の前記輝度信号に対して、前記画像のボケを補正する補正処理を施すステップを含み、
   前記補正処理は、
   前記逆ガンマ処理により前記逆ガンマ処理が施された前記輝度信号について、そのガンマ処理のかかり具合の度合いを前記画像の色情報に基づいて調整するガンマ特性調整処理を施し、
   前記逆ガンマ特性調整処理による調整後の前記輝度信号を構成する各画素値のうちの、注目画素の画素値と、前記注目画素から一方向に離間した画素の画素値と、前記注目画素から他方向に離間した画素の画素値とを用いて、所定の演算を行う演算処理を施し、
   前記演算処理による演算結果に基づいて、前記注目画素の画素値を、前記注目画素から一方向に離間した画素の画素値、または、前記注目画素から他方向に離間した画素の画素値のうちのいずれかに置き換える置換処理を施すステップを含む
   画像処理方法。
4. コンピュータが実行するステップとして、
   被写体を撮像した結果得られる画像の輝度信号に対してガンマ処理を施して出力する撮像装置から、前記輝度信号を取得し、前記輝度信号に対して逆ガンマ処理を施し、
   前記逆ガンマ処理が施された前記輝度信号について、そのガンマ処理のかかり具合の度合いを前記画像の色情報に基づいて調整し、調整後の前記輝度信号に対して、前記画像のボケを補正する補正処理を施すステップを含み、
   前記補正処理は、
   前記逆ガンマ処理により前記逆ガンマ処理が施された前記輝度信号について、そのガンマ処理のかかり具合の度合いを前記画像の色情報に基づいて調整するガンマ特性調整処理を施し、
   前記逆ガンマ特性調整処理による調整後の前記輝度信号を構成する各画素値のうちの、注目画素の画素値と、前記注目画素から一方向に離間した画素の画素値と、前記注目画素から他方向に離間した画素の画素値とを用いて、所定の演算を行う演算処理を施し、
   前記演算処理による演算結果に基づいて、前記注目画素の画素値を、前記注目画素から一方向に離間した画素の画素値、または、前記注目画素から他方向に離間した画素の画素値のうちのいずれかに置き換える置換処理を施すステップを含む
   プログラム。

Images