JP6126054B2

JP6126054B2 - 画像信号処理方法及び画像信号処理装置

Info

Publication number: JP6126054B2
Application number: JP2014171552A
Authority: JP
Inventors: 正浩小林
Original assignee: 正浩小林
Priority date: 2014-08-26
Filing date: 2014-08-26
Publication date: 2017-05-10
Anticipated expiration: 2034-08-26
Also published as: JP2016046764A

Description

本発明は、画像処理過程でのトーンマップを補正することによって、画像信号のＳＮ比を改善する画像信号処理方法及び画像信号処理装置に関する。

１つの画像の中で暗い領域のコントラストを強調することで、細部の可視性を高めるＡＨＥ（Adaptive Histogram Equalization）が従来から知られている（非特許文献１）。

また、ＡＨＥを原理とした実装手法として、特許文献１及び特許文献２に開示される手法が知られている。
特許文献１には２パスの画像走査で画像の明るさを変換する画像処理方法が開示されている。即ち、１パス目で取り込んだ画像を複数のブロックに分割し、複数に分割された各ブロックごとにヒストグラムの均一化を行うとともにトーンマップを作成し、輝度の算出対象となる画素を中心としたブロックを想定し、次いで２パス目で前記トーンマップが作成されているブロックのうち前記想定ブロックと重複部分が生じるブロックを計算対象ブロックとし、各計算対象ブロックでの重複割合に応じて各計算ブロックごとに輝度を算出し、算出した各計算対象ブロックの輝度を加算することで、対象となる画素の輝度とする内容が開示されている。

特許文献２には、取り込んだ画像データ画像を所定のパターンで読み出し、この所定パターンのヒストグラムを生成し、次いで、当該所定パターンの中の特定位置のピクセルの輝度を生成したヒストグラムに基づいて決定するにあたり、ループ回数をピクセル値としたアルゴリズムに基づいて行うことが開示されている。具体的には、特定位置のピクセルの輝度を設定した後に、所定規則に従ってピクセルとその周囲の複数のピクセルからなる所定パターンを移動させ、移動後の所定パターンのヒストグラムを生成する際に、移動前後で重複しなくなったピクセルのヒストグラムを減算し、且つ新たに所定パターンのエリアに入ったピクセルのヒストグラムのみを加算する内容が開示されている。

特許第５２０２７４９号公報特許第４３８６９５９号公報

"Adaptive Histogram Equalization and its variations" Comput. Vision, gragh. image proc., vol.39,pp.355-368,1987

図１（Ａ）はＡＨＥ処理前の入力画像、図１（Ｂ）は図１（Ａ）の四角で囲んだ部分の拡大画像とそのヒストグラム、図２（Ａ）は特許文献２の方法で処理した画像、図２（Ｂ）は図２（Ａ）の四角で囲んだ部分の拡大画像とそのヒストグラムである。

ＡＨＥ処理前の入力画像にあっては、図１（Ａ）、（Ｂ）に示すように。暗い部分のコントラストが不十分なため、黒く塗りつぶされている。
一方、ＡＨＥ処理はコントラストを強調する処理であるため、処理後の画像は図２（Ａ）に示すように、図１（Ａ）では黒く塗りつぶされた部分のヒストグラムが広がりコントラストが強調され、細部が分かるようになっている。

しかしながら、グラデーションのような輝度変化が少ない平滑な部分、例えばバックの空の部分に注目すると、処理前の画像よりも処理後の画像の方が、粒子が粗くなってグラデーションの等高線が目立っている。この原因は図２（Ｂ）のヒストグラムから分かるように、輝度変化の小さいなめらかな領域も輝度変化の大きな複雑な領域も同じ比率でコントラストが拡大されているからである。

上記の現象を図３のトーンマップで示す。図３では横軸を入力輝度変化の段数、縦軸を出力輝度変化の段数としている。即ち、輝度変化が１０段階しかないような平滑な部分では、一気に輝度が変化するためノイズが強調され、上記のような等高線が出てしまう。

このようなノイズを解消する方法として、ＣＬＡＨＥ（Constract Limited AHE)が提案されている。この方法は局所領域のヒストグラムを全領域分で走査し、突出したヒストグラムをクリッピング（切り取る）することで平滑領域の高コントラスト化を抑える方法である。
しかしながら、この方法はクリッピング値が画像に依存するため、時系列で変化する動画には適さない。

上記課題を解決するため本発明に係る画像信号処理方法は、入力信号を局所的に分割してトーンマップを求め、このトーンマップを補正することで入力信号のコントラストを改善するにあたり、輝度変化が少ない領域についてはトーンマップの入力輝度信号を出力輝度信号に変換する際に勾配制限を設けて出力輝度信号が一定以上に変化しないようにして輝度変化を抑制し、更に前記勾配制限によって低下した領域全体の輝度を全体的に調整するようにした。

前記勾配制限によって低下した領域全体の輝度の調整としては、不足した輝度の分だけトーンマップ全体をオフセットするか、入力輝度信号の最大値が出力信号の最大値になるように、トーンマップの傾斜を全体的に変化させることが考えられる。

また本発明に係る画像信号処理装置は、所定の領域ごとにトーンマップを作成するトーンマップ作成手段を備え、このトーンマップ作成手段は輝度変化が少ない領域についてはトーンマップの入力輝度信号を出力輝度信号に変換するにあたり勾配制限を設けて出力輝度信号が一定以上に変化しないようにして輝度変化を抑制し、更に前記勾配制限によって低下した領域全体の輝度を調整する。

本発明に係る画像信号処理方法及び装置によれば、輝度変化が少ない平滑領域については、入力輝度信号を出力輝度信号に変換するにあたり勾配制限を設けて出力輝度信号が一定以上にならないようにしたので、青空や白壁などのような輝度変化が極めて小さい領域を含む画像に、ＡＨＥ処理を行った場合でも当該輝度変化が極めて小さい領域にグラデーションの等高線が目立つ不利がなくなる。

また上記のＡＨＥ処理の際に、領域全体の輝度調整を行うようにしたので、領域の明るさが全体的に暗くなる不具合も解消される。

（Ａ）はＡＨＥ処理前の入力画像、（Ｂ）は（Ａ）の四角で囲んだ部分の拡大画像とそのヒストグラム。（Ａ）は特許文献２の方法で処理した画像、（Ｂ）は（Ａ）の四角で囲んだ部分の拡大画像とそのヒストグラム。輝度変化の段数と出力輝度の段数の関係を示すトーンマップ。本発明方法及び従来法による処理後のヒストグラム。勾配制限がある場合とない場合のトーンマップ。一般的なトーンマップを示す図画面全体の明るさの調整方法を説明した図画面全体の明るさの調整方法を説明した図画面全体の明るさの調整方法を説明した図（Ａ）は本発明方法で処理した画像、（Ｂ）は（Ａ）の四角で囲んだ部分の拡大画像とそのヒストグラム。

以下に本発明の好適な実施例について説明する。
本発明は図３に示すような輝度段階が１０段階しかないような平滑な領域を抽出し、輝度勾配を緩やかにする。しかしながら実際の画像は図１に示したように輝度段階が大きな部分と小さな部分が混在する。
そこで、本発明にあってはトーンマップ生成時に変動が大きくなってしまう領域、即ち平滑な領域を抽出し、その領域だけ輝度勾配に制限（閾値）を設けてトーンマップを生成する。

図４は本発明方法及び従来法による処理後のヒストグラムであり、横軸は処理後の輝度の段数（段数が大きくなるほど明るい）、縦軸は処理後の輝度に相当する部分の面積を表す。また、図５は上記のヒストグラムに基づいて作成したトーンマップであり、横軸は入力輝度の段数、縦軸は出力輝度の段数を表し、入力輝度の段数が４２以下の場合は勾配制限有りの場合と勾配制限なしの場合の線が重なっている。

これらの図４、５に示すように、入力画像には輝度の段数で４２付近の部分がかなりの面積を占めているが、ＡＨＥ処理を行うことで、輝度段数４２の部分が幾つかに分散され、更に本発明に係るトーンマップ作成時に勾配制限処理を行うと、輝度の段階３６以上の部分がなくなる。つまり本発明に係る勾配制限処理を行うと最大輝度が低下するがＡＨＥ処理におけるコントラスト過多による問題を解消できる。

以上の処理の詳細を以下に説明する。
先ず、ヒストグラム平均化を行うトーンマップ処理は、入力画像の輝度情報が８ビットの場合、以下の式（１）で表される。

（式１）

式（１）では、ヒストグラム平均化を行う領域における輝度値ｘを持つピクセルの総数をhist(x)とし、ヒストグラム平均化を行う領域における総ピクセル数をtotalとし、作成するトーンマップ map(x)は入力画像の輝度値xを変換した輝度値を示す。また、上記の式（１）の内容を表とグラフで表したのが図６である。

また、式（１）で示した処理の流れをプログラム言語で表すと以下の通りである。
hist_sum = 0;
mc = 0;
for ( i=0; i<256; i++ )
{
hist_sum = hist_sum + hist( i );
mc = hist_sum / total * 255;
map(i) = mc;
}
ここで、
hist_sumはヒストグラムの積算変数、
hist( i ) は明度 i のヒストグラム（画素数）、
totalはヒストグラムの総数（総画素数、ヒストグラム全体の面積）、
map( i )はトーンマップ明度 i の内容（元画像の明度 i をどの明度に変換するか）
mcはヒストグラム明度0〜iを積算し0〜255に正規化した値
iは（式１）のｎと同じである。

更に、上記の処理を行う際に勾配制限（LIMIT）を追加した時の処理の流れをプログラム言語で表すと以下の通りである。
hist_sum = 0;
mc = ml = mr = 0;
for ( i=0; i<256; i++ )
{
hist_sum = hist_sum + hist( i );
mc = hist_sum / total * 255;
if ( (mc-ml) > LIMIT )
{
map(i) = mr + LIMIT;
}else {
map(i) = mr + (mc-ml);
}
ml = mc;
mr = map(i);
}
ここで、
LIMITはトーンマップの勾配限界値、
mlはヒストグラム明度0〜i-1を積算し0〜255に正規化した値
mrは勾配制限を加味した明度iのトーンマップ値
mc-mlは明度iのトーンマップ勾配である。

前記したように勾配制限（LIMIT）を設けるとコントラスト過多による問題を解消できが、画面全体の明るさが低下する問題がある。そこで、本発明は更に画面全体の明るさの調整を行っている。

具体的には図７に示すように、トーンマップ全体を平行に移動（オフセット）する。この例では、勾配制限なしの場合の最大輝度と勾配制限した場合の最大輝度の差の半分に相当する量だけ、移動している。

図８も同じくオフセット調整する例である。この例では勾配制限なしの面積と勾配制限ありの面積との差を算出し、この面積差を勾配制限ありのグラフに均等に割り振るようにしている。

図８の実施例において、勾配制限のない場合のトーンマップの面積をS₋org、勾配制限のあるトーンマップの面積をS₋out、オフセット値をoffsetとすると、offset＝（S₋org −S₋out）/128となる。処理の流れをプログラム言語で表すと以下の通りである。

hist_sum = 0;
mc = ml = mr = 0;
S_org = S_out = 0;
for ( i=0; i<256; i++ )
{
hist_sum = hist_sum + hist( i );
mc = hist_sum / total * 255;
if ( (mc-ml) > LIMIT )
{
map(i) = mr + LIMIT;
}else {
map(i) = mr + (mc-ml);
}
ml = mc;
mr = map(i);
S_org = S_org + mc;
S_out + S_out + mr;
}
offset = ( S_org - S_out ) / 128;

図９はトーンマップ全体の傾きを調整して画面全体の明るさの調整を行う実施例を示し、この例では入力輝度の最大値が出力輝度の最大となるように、入力輝度の０段階を中心として、トーンマップ全体の傾きを変えることで画面全体の明るさを取り戻すようにしている。

具体的にはトーンマップmap(i)を読み出す際に以下の処理を行う。
map(i) * 255 / map(255)

図１０（Ａ）は本発明方法で処理した画像、（Ｂ）は（Ａ）の四角で囲んだ部分の拡大画像とそのヒストグラムであり、本発明方法でトーンマップを補正することで、青空のような輝度段階変化が少ない平滑な領域に対してはグラデーションの等高線がでるような不具合はなく、しかも暗い領域についてはコントラストが強調され、細部まで視認できる。

本発明に係る処理の全体の流れは、（画像入力）→（画面の左上から右下に走査）→（輝度と色信号を分離）→（輝度の局所ヒストグラムをカウント）→（局所トーンマップの作成、トーンマップによる輝度変換）→（輝度・色信号の合成）→（画像出力）となる。

本発明にあっては、最初のトーンマップ生成が完了した後は、トーンマップ生成と輝度変換を並列に処理する。これにより信号変換に要する時間は局所トーンマップ生成時間分の遅れはあるが、画像処理走査と並行動作するため、リアルタイム処理が可能となる。

また、勾配制限処理を追加しても、固定値との比較と四則演算のみであるので、ＰＣに係る負荷は殆どない。

本発明に係る画像信号処理方法は特に動画に対する画像処理に効果を発揮するが、静止画にも利用することができる。

Claims

入力信号を局所的に分割してトーンマップを求め、このトーンマップを補正することで入力信号のコントラストを改善する画像信号処理方法において、
輝度変化が少ない領域についてはトーンマップの入力輝度信号を出力輝度信号に変換するにあたり、ヒストグラムに対してクリッピングを行わずにトーンマップに勾配制限を設けて出力輝度信号が一定以上に変化しないようにして輝度変化を抑制し、更に前記勾配制限によって低下した領域全体の輝度を全体的に調整するために、勾配制限なしの場合の最大輝度と勾配制限した場合の最大輝度の差の半分に相当する量だけトーンマップ全体をオフセットすることを特徴とする画像信号処理方法。
入力信号を局所的に分割してトーンマップを求め、このトーンマップを補正することで入力信号のコントラストを改善する画像信号処理装置において、この画像信号処理装置は所定の領域ごとにトーンマップを作成するトーンマップ作成手段を備え、このトーンマップ作成手段は輝度変化が少ない領域についてはトーンマップの入力輝度信号を出力輝度信号に変換するにあたり、ヒストグラムに対してクリッピングを行わずにトーンマップに勾配制限を設けて出力輝度信号が一定以上に変化しないようにして輝度変化を抑制し、更に前記勾配制限によって低下した領域全体の輝度を、勾配制限なしの場合の最大輝度と勾配制限した場合の最大輝度の差の半分に相当する量だけトーンマップ全体をオフセットすることで調整することを特徴とする画像信号処理装置。