JP6644262B2 - 画像処理装置、画像処理方法、画像処理プログラム - Google Patents

Description

本発明は、画像における白飛びとなっている部分を補正することができる画像処理装置、画像処理方法、画像処理プログラムに関する。

近年、ＨＤＲ（High Dynamic Range）画像の規格策定が進み、ＨＤＲ画像のコンテンツが増えつつある。ＨＤＲ画像はダイナミックレンジが広いことから、明るい部分が白飛びの状態となることは少ない。しかしながら、一般的なＳＤＲ（Standard Dynamic Range）画像のコンテンツが依然として主流である。ＳＤＲ画像はダイナミックレンジが狭く、人物等に多くの階調を割り当てて撮影することが一般的であり、明るい部分が白飛びの状態となってしまうことがある。

特開２００７−１３３５９２号公報

ＳＤＲ画像のコンテンツは、画像の撮影時または撮影した画像に基づくコンテンツの制作時に、明るい部分が白飛びの状態となっていることが多い。撮像装置による撮影時に露出を調整することによって白飛びを軽減させることは容易である。しかしながら、一旦作成されたデジタル画像のコンテンツの白飛びを軽減させることは容易ではない。

本発明は、デジタル画像における白飛びとなっている部分を補正することができる画像処理装置、画像処理方法、画像処理プログラムを提供することを目的とする。

本発明は、３原色のＲＧＢデータによって構成されたデジタル画像における注目画素及び前記注目画素を取り囲む周辺画素よりなる近傍画素群を抽出する近傍画素群抽出部と、前記近傍画素群におけるそれぞれの画素の輝度値を算出する輝度値算出部と、前記輝度値算出部によって算出されたそれぞれの画素の輝度値に基づいて、前記近傍画素群における画素の輝度値の平均値である平均輝度値を算出する平均輝度値算出部と、前記輝度値算出部によって算出されたそれぞれの画素の輝度値に基づいて、前記注目画素の輝度値と前記周辺画素それぞれの輝度値との差の絶対値を累計して輝度差累計値を算出する輝度差累計値算出部と、前記平均輝度値と前記輝度差累計値とに基づいて前記注目画素が白飛びの状態であると判定され、かつ、前記注目画素が前記デジタル画像のフレームの上端部から所定の垂直方向位置までの上部に位置する画素である特定の条件を満たすとき、値が１未満の乗算係数を生成し、前記特定の条件を満たさないとき値が１の乗算係数を生成する乗算係数生成部と、前記乗算係数生成部で生成された乗算係数を前記注目画素におけるＲ及びＧデータに乗算するＲＧＢ補正部とを備えることを特徴とする画像処理装置を提供する。

本発明は、３原色のＲＧＢデータによって構成されたデジタル画像における注目画素及び前記注目画素を取り囲む周辺画素よりなる近傍画素群を抽出し、前記近傍画素群におけるそれぞれの画素の輝度値を算出し、算出されたそれぞれの画素の輝度値に基づいて、前記近傍画素群における画素の輝度値の平均値である平均輝度値を算出し、算出されたそれぞれの画素の輝度値に基づいて、前記注目画素の輝度値と前記周辺画素それぞれの輝度値との差の絶対値を累計して輝度差累計値を算出し、前記平均輝度値と前記輝度差累計値とに基づいて前記注目画素が白飛びの状態であり、かつ、前記注目画素が前記デジタル画像のフレームの上端部から所定の垂直方向位置までの上部に位置する画素である特定の条件を満たすか否かを判定し、前記特定の条件を満たすとき値が１未満の乗算係数を生成し、前記特定の条件を満たさないとき値が１の乗算係数を生成し、前記乗算係数を前記注目画素におけるＲ及びＧデータに乗算することを特徴とする画像処理方法を提供する。

本発明は、コンピュータに、３原色のＲＧＢデータによって構成されたデジタル画像における注目画素及び前記注目画素を取り囲む周辺画素よりなる近傍画素群を抽出するステップと、前記近傍画素群におけるそれぞれの画素の輝度値を算出するステップと、算出されたそれぞれの画素の輝度値に基づいて、前記近傍画素群における画素の輝度値の平均値である平均輝度値を算出するステップと、算出されたそれぞれの画素の輝度値に基づいて、前記注目画素の輝度値と前記周辺画素それぞれの輝度値との差の絶対値を累計して輝度差累計値を算出するステップと、前記平均輝度値と前記輝度差累計値とに基づいて前記注目画素が白飛びの状態であり、かつ、前記注目画素が前記デジタル画像のフレームの上端部から所定の垂直方向位置までの上部に位置する画素である特定の条件を満たすか否かを判定するステップと、前記特定の条件を満たすとき値が１未満の乗算係数を生成し、前記特定の条件を満たさないとき値が１の乗算係数を生成するステップと、前記乗算係数を前記注目画素におけるＲ及びＧデータに乗算するステップとを実行させることを特徴とする画像処理プログラムを提供する。

本発明の画像処理装置、画像処理方法、画像処理プログラムによれば、デジタル画像における白飛びとなっている部分を補正することができる。

一実施形態の画像処理装置を示すブロック図である。 図１における近傍画素群抽出部１の具体的な構成例を示すブロック図である。 近傍画素群の一例を示す図である。 一実施形態の画像処理装置、画像処理方法、画像処理プログラムによって白飛びを補正するデジタル画像の一例を示す図である。 図１における乗算係数生成部５が生成する乗算係数の一例を示す図である。 一実施形態の画像処理方法による手順及び一実施形態の画像処理プログラムで実行される処理を示すフローチャートである。

以下、一実施形態の画像処理装置、画像処理方法、画像処理プログラムについて、添付図面を参照して説明する。

図１において、近傍画素群抽出部１には、３原色のＲＧＢデータによって構成されたデジタル画像の画素Ｐが入力される。具体的には、近傍画素群抽出部１には、画素ＰのＲ，Ｇ，Ｂそれぞれの画素値と画素座標とが入力される。Ｒ，Ｇ，Ｂの画素値は例えば８ビットであり、０〜２５５の値を持つものとする。

近傍画素群抽出部１には、デジタル画像の１フレームを構成する１ラインの左端部の画素Ｐから右端部の画素Ｐへと順に、上端部のラインから下端部のラインへと画素Ｐが順に入力される。

近傍画素群抽出部１は、図２に示すように、１ライン遅延器であるラインメモリ１１及び１２と、１画素遅延器であるＤフリップフロップ（ＤＦＦ）１３〜１８とを有する。ラインメモリ１１は入力された画素Ｐを１ライン遅延し、ラインメモリ１２はラインメモリ１１の出力を１ライン遅延する。

ＤＦＦ１３は入力された画素Ｐを１画素分遅延し、ＤＦＦ１４はＤＦＦ１３の出力を１画素分遅延する。ＤＦＦ１５はラインメモリ１１の出力を１画素分遅延し、ＤＦＦ１６はＤＦＦ１５の出力を１画素分遅延する。ＤＦＦ１７はラインメモリ１２の出力を１画素分遅延し、ＤＦＦ１８はＤＦＦ１７の出力を１画素分遅延する。

近傍画素群抽出部１は、図２に示す構成によって、図３に示す水平方向３画素、垂直方向３画素の９画素の画素Ｐよりなる近傍画素群を抽出する。図３における中央に位置するハッチングを付した画素Ｐを注目画素Ｐ（ｉ，ｊ）とする。注目画素Ｐ（ｉ，ｊ）及び注目画素Ｐ（ｉ，ｊ）を取り囲む周辺画素Ｐ（ｉ−１，ｊ−１），Ｐ（ｉ，ｊ−１），Ｐ（ｉ＋１，ｊ−１），Ｐ（ｉ−１，ｊ），Ｐ（ｉ＋１，ｊ），Ｐ（ｉ−１，ｊ＋１），Ｐ（ｉ，ｊ＋１），Ｐ（ｉ＋１，ｊ＋１）の全体が近傍画素群である。

近傍画素群抽出部１は、水平方向５画素、垂直方向５画素の２５画素の画素Ｐを近傍画素群としてもよい。近傍画素群抽出部１が抽出する近傍画素群の領域は特に限定されないが、正方形状の９画素または２５画素とするのがよい。

なお、１フレームの角に位置する画素Ｐが注目画素Ｐ（ｉ，ｊ）であり、周辺画素の一部が存在しない場合には、存在しない周辺画素を公知の方法によって補間すればよい。

図１に戻り、近傍画素群抽出部１によって抽出された近傍画素群は、輝度値算出部２に入力される。輝度値算出部２は、下記式（１）で示すBT.709規格の変換式を用いて、近傍画素群それぞれの画素Ｐの輝度値Ｙを算出する。

Ｙ＝０．２１２６×Ｒ＋０．７１５２×Ｇ＋０．０７２２×Ｂ …（１）

近傍画素群それぞれの画素Ｐの輝度値Ｙは、平均輝度値算出部３及び輝度差累計値算出部４に入力される。平均輝度値算出部３は、入力された近傍画素群それぞれの画素Ｐの輝度値Ｙに基づいて、近傍画素群における画素Ｐの輝度値Ｙの平均値である平均輝度値Ｙａｖを算出する。

輝度差累計値算出部４は、入力された近傍画素群それぞれの画素Ｐの輝度値Ｙに基づいて、下記式（２）を用いて、注目画素Ｐ（ｉ，ｊ）の輝度値Ｙと周辺画素それぞれの輝度値Ｙとの差の絶対値を累計して輝度差累計値Ｄｙａｃを算出する。式（２）において、Ｙ（ｉ，ｊ）は注目画素Ｐ（ｉ，ｊ）の輝度値Ｙ、Ｙ（ｉ＋ｐ，ｊ＋ｑ）は周辺画素の輝度値Ｙを示す。

平均輝度値Ｙａｖ及び輝度差累計値Ｄｙａｃは、乗算係数生成部５に入力される。乗算係数生成部５には、注目画素Ｐ（ｉ，ｊ）の画素座標が入力される。乗算係数生成部５には、注目画素Ｐ（ｉ，ｊ）の垂直方向の位置を示すライン数（即ち、ｊの値）のみが入力されてもよい。

乗算係数生成部５は、次のように乗算係数ｋを生成する。一例として、デジタル画像の１フレームが図４に示すような状態であったとする。デジタル画像がフルＨＤの画像であるとすると、１フレームは１０８０ラインを有する。図４に示すように、フレームの上端部から所定の垂直方向位置までの領域は空であることが多く、空の部分が白飛びの状態となっていることがある。

１フレームのライン数をＨとすると、フレームの上部のＨ／４の領域は空であると想定することができる。１フレームの垂直方向の何分の１の領域を空と想定するかは適宜設定すればよく、フレームの上部のＨ／４に限定されるものではない。

輝度が非常に高く、画像が平坦で何らかの絵柄が存在しなければ、白飛びの状態であるとみなすことができる。そこで、乗算係数生成部５は、一例として、平均輝度値Ｙａｖが２２０を超え、輝度差累計値Ｄｙａｃが６０未満であれば、白飛びの状態であると判定する。

乗算係数生成部５は、注目画素Ｐ（ｉ，ｊ）のｊの値がＨ／４未満であり、平均輝度値Ｙａｖが２２０を超え、輝度差累計値Ｄｙａｃが６０未満の白飛びの状態である特定の条件を満たすとき、値が１未満の乗算係数ｋを生成する。

乗算係数生成部５は、フレームの上端部で最小であり、上端部から所定の垂直方向位置（Ｈ／４の位置）に向かうに従って順に大きくなる乗算係数ｋを生成することが好ましい。一例として、乗算係数生成部５は、式（３）に基づいて乗算係数ｋを生成する。

ｋ＝０．７＋０．３×ｊ／（Ｈ／４） …（３）

乗算係数生成部５は、特定の条件を満たさないとき、即ち、ｊの値がＨ／４以上であるか、ｊの値がＨ／４未満であっても白飛びの状態でなければ、値が１の乗算係数ｋを生成する。

仮にフレームの上部のＨ／４の領域が白飛びの状態であるとすると、乗算係数生成部５は図５に示すような乗算係数ｋを生成する。乗算係数生成部５は、式（３）により、ｊの値が０から２６９まで線形的に増加する乗算係数ｋを生成し、ｊの値が２７０以降、値が１の乗算係数を生成する。

式（３）によれば乗算係数ｋは線形的に変化するが、乗算係数ｋは非線形的に変化する特性を有していてもよい。

図１に戻り、乗算係数ｋはＲＧＢ補正部６に入力される。ＲＧＢ補正部６には、近傍画素群抽出部１より注目画素Ｐ（ｉ，ｊ）が入力される。ＲＧＢ補正部６は、乗算係数ｋを注目画素Ｐ（ｉ，ｊ）のＲ及びＧデータに乗算して、補正画素Ｐ’を出力する。

ＲＧＢ補正部６が注目画素Ｐ（ｉ，ｊ）のＲ及びＧデータに値が１未満の乗算係数ｋを乗算すれば、注目画素Ｐ（ｉ，ｊ）における白飛びの状態が補正される。ＲＧＢ補正部６が注目画素Ｐ（ｉ，ｊ）のＲ及びＧデータに値が１の乗算係数ｋを乗算すれば、注目画素Ｐ（ｉ，ｊ）は補正されず、元の状態が維持されることになる。

デジタル画像が動画像であれば、図１に示す画像処理装置は各フレームで以上の動作を繰り返し、フレームの上部の空であると想定される部分が白飛びの状態であれば、白飛びの状態を補正したフレームを出力する。

以上の構成によって、本実施形態の画像処理装置によれば、デジタル画像におけるフレームの上部の白飛びとなっている部分を補正することができる。本実施形態の画像処理装置によれば、フレームの上部のＨ／４の領域以外の３Ｈ／４の領域においては何らの影響も与えない。

図４に示すデジタル画像の場合、フレームの上部のＨ／４の領域には、空だけでなく山が存在している。本実施形態の画像処理装置は、以上の構成及び動作によって白飛びしている空の部分のみ補正される。本実施形態の画像処理装置によれば、フレームの上部の空の部分が白飛びの状態であるとき空の色を青みが増加するように補正して、本来の空の色を再現することができる。

乗算係数生成部５が式（３）を用いて乗算係数ｋを生成すれば、フレームの上端部に近付くほど補正の程度を強くし、所定の垂直方向位置に近付くほど補正の程度を弱くすることができる。よって、フレームの上部のＨ／４の領域と残りの３Ｈ／４の領域との境界で色が不自然に変化することを回避することができる。

図１に示す画像処理装置は、ハードウェアによって構成されていてもよいし、ソフトウェアによって構成されていてもよいし、ハードウェアとソフトウェアとが組み合わされて構成されていてもよい。

図１に示す画像処理装置は、マイクロコンピュータの中央処理装置（ＣＰＵ）及びメモリ、または、集積回路で構成されていてもよい。メモリに記憶されたコンピュータプログラム（画像処理プログラム）をＣＰＵによって実行することによって、図１に示す画像処理装置が機能的に実現されていてもよい。

図６を用いて、一実施形態の画像処理プログラムで実行される処理を説明する。図６は、一実施形態の画像処理方法による手順も示している。

図６において、画像処理プログラムが実行されて処理が開始されると、ＣＰＵは、ステップＳ１にて、３原色のＲＧＢデータによって構成されたデジタル画像の画素Ｐ（画素値及び画素座標）を取り込む。ＣＰＵは、ステップＳ２にて、注目画素Ｐ（ｉ，ｊ）及び注目画素Ｐ（ｉ，ｊ）を取り囲む周辺画素よりなる近傍画素群を抽出する。

ＣＰＵは、ステップＳ３にて、近傍画素群それぞれの画素の輝度値Ｙを算出する。ＣＰＵは、ステップＳ４にて、算出されたそれぞれの画素の輝度値Ｙに基づいて、近傍画素群の平均輝度値Ｙａｖを算出する。ＣＰＵは、ステップＳ５にて、算出されたそれぞれの画素の輝度値Ｙに基づいて、近傍画素群の輝度差累計値Ｄｙａｃを算出する。ステップＳ４とステップＳ５との順は逆でもよいし、同時に実行されてもよい。

ＣＰＵは、ステップＳ６にて、注目画素Ｐ（ｉ，ｊ）が白飛びの状態であり、
注目画素Ｐ（ｉ，ｊ）がフレームの上端部から所定の垂直方向位置までの上部に位置する画素である特定の条件を満たすか否かを判定する。特定の条件を満たせば（YES）、ＣＰＵは、ステップＳ７にて、式（３）を用いて値が１未満の乗算係数ｋを生成する。特定の条件を満たさなければ（NO）、ＣＰＵは、ステップＳ８にて、値が１の乗算係数ｋを生成する。

ＣＰＵは、ステップＳ９にて、乗算係数ｋを注目画素Ｐ（ｉ，ｊ）のＲ及びＧデータに乗算する。Ｒ及びＧデータにステップＳ７にて生成された乗算係数ｋを乗算すれば、注目画素Ｐ（ｉ，ｊ）における白飛びの状態が補正される。Ｒ及びＧデータにステップＳ８にて生成された乗算係数ｋを乗算すれば、注目画素Ｐ（ｉ，ｊ）は補正されず、元の状態が維持される。ＣＰＵは、ステップＳ１０にて、フレーム内の全画素に対して、ステップＳ１〜Ｓ９の処理を実行したか否かを判定する。

フレーム内の全画素に対して処理を実行していなければ（NO）、ＣＰＵは、ステップＳ１〜Ｓ９の処理を繰り返す。フレーム内の全画素に対して処理を実行していれば（YES）、ＣＰＵは、処理を終了する。デジタル画像が動画像であれば、ＣＰＵは、各フレームでステップＳ１〜Ｓ１０の処理を繰り返す。

本実施形態の画像処理方法及び画像処理プログラムによれば、上述した本実施形態の画像処理装置による効果と同様の効果を奏する。画像処理プログラムは、非一時的な記憶媒体に記憶されていてもよいし、インターネット等の通信回線で配信されてもよい。

本発明は以上説明した本実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。本実施形態の画像処理装置、画像処理方法、画像処理プログラムが処理の対象とするデジタル画像はフルＨＤの画像に限定されず、標準解像度のＳＤ画像であってもよいし、４Ｋと称されるフルＨＤよりもさらに高解像度の画像であってもよい。また、処理の対象とするデジタル画像を白飛びが発生しやすいＳＤＲ画像を例としたが、ＳＤＲ画像に限定されるものでもない。

１ 近傍画素群抽出部
２ 輝度値算出部
３ 平均輝度値算出部
４ 輝度差累計値算出部
５ 乗算係数生成部
６ ＲＧＢ補正部

Claims (4)

1. ３原色のＲＧＢデータによって構成されたデジタル画像における注目画素及び前記注目画素を取り囲む周辺画素よりなる近傍画素群を抽出する近傍画素群抽出部と、
   前記近傍画素群におけるそれぞれの画素の輝度値を算出する輝度値算出部と、
   前記輝度値算出部によって算出されたそれぞれの画素の輝度値に基づいて、前記近傍画素群における画素の輝度値の平均値である平均輝度値を算出する平均輝度値算出部と、
   前記輝度値算出部によって算出されたそれぞれの画素の輝度値に基づいて、前記注目画素の輝度値と前記周辺画素それぞれの輝度値との差の絶対値を累計して輝度差累計値を算出する輝度差累計値算出部と、
   前記平均輝度値と前記輝度差累計値とに基づいて前記注目画素が白飛びの状態であると判定され、かつ、前記注目画素が前記デジタル画像のフレームの上端部から所定の垂直方向位置までの上部に位置する画素である特定の条件を満たすとき、値が１未満の乗算係数を生成し、前記特定の条件を満たさないとき値が１の乗算係数を生成する乗算係数生成部と、
   前記乗算係数生成部で生成された乗算係数を前記注目画素におけるＲ及びＧデータに乗算するＲＧＢ補正部と、
   を備えることを特徴とする画像処理装置。
2. 前記乗算係数生成部は、前記上端部で最小であり、前記上端部から前記所定の垂直方向位置に向かうに従って順に大きくなる乗算係数を生成することを特徴とする請求項１に記載の画像処理装置。
3. ３原色のＲＧＢデータによって構成されたデジタル画像における注目画素及び前記注目画素を取り囲む周辺画素よりなる近傍画素群を抽出し、
   前記近傍画素群におけるそれぞれの画素の輝度値を算出し、
   算出されたそれぞれの画素の輝度値に基づいて、前記近傍画素群における画素の輝度値の平均値である平均輝度値を算出し、
   算出されたそれぞれの画素の輝度値に基づいて、前記注目画素の輝度値と前記周辺画素それぞれの輝度値との差の絶対値を累計して輝度差累計値を算出し、
   前記平均輝度値と前記輝度差累計値とに基づいて前記注目画素が白飛びの状態であり、かつ、前記注目画素が前記デジタル画像のフレームの上端部から所定の垂直方向位置までの上部に位置する画素である特定の条件を満たすか否かを判定し、
   前記特定の条件を満たすとき値が１未満の乗算係数を生成し、
   前記特定の条件を満たさないとき値が１の乗算係数を生成し、
   前記乗算係数を前記注目画素におけるＲ及びＧデータに乗算する
   ことを特徴とする画像処理方法。
4. コンピュータに、
   ３原色のＲＧＢデータによって構成されたデジタル画像における注目画素及び前記注目画素を取り囲む周辺画素よりなる近傍画素群を抽出するステップと、
   前記近傍画素群におけるそれぞれの画素の輝度値を算出するステップと、
   算出されたそれぞれの画素の輝度値に基づいて、前記近傍画素群における画素の輝度値の平均値である平均輝度値を算出するステップと、
   算出されたそれぞれの画素の輝度値に基づいて、前記注目画素の輝度値と前記周辺画素それぞれの輝度値との差の絶対値を累計して輝度差累計値を算出するステップと、
   前記平均輝度値と前記輝度差累計値とに基づいて前記注目画素が白飛びの状態であり、かつ、前記注目画素が前記デジタル画像のフレームの上端部から所定の垂直方向位置までの上部に位置する画素である特定の条件を満たすか否かを判定するステップと、
   前記特定の条件を満たすとき値が１未満の乗算係数を生成し、前記特定の条件を満たさないとき値が１の乗算係数を生成するステップと、
   前記乗算係数を前記注目画素におけるＲ及びＧデータに乗算するステップと、
   を実行させることを特徴とする画像処理プログラム。

Images