JP6742892B2 - 画像処理装置および画像処理方法 - Google Patents

Description

本発明は、画像信号の信号値の飽和を考慮して階調変換を行う技術に関する。

特許文献１は、画像信号を輝度信号生成用のベイヤー信号とベイヤー信号の差分から生成した色差信号に分け、それぞれの信号に対して階調処理を行うことを開示している。

特開２０１５−１３６０１４号

しかし、ベイヤー信号と色差信号に対して同じゲイン値を適用して階調変換を行った場合、図１に示すように、ベイヤー信号ではゲイン適用後の出力信号値において、Ｒ信号は出力ビット数で規定される信号値を超えることがある。この場合には、Ｒ信号の信号値がクリップ処理されることになる。

一方、色差信号はゲイン適用後にクリップ処理判定が行われるが、ＣｂＣｒの両信号の信号値が出力信号値の制限内であるため、そのままの値が出力される。そのため、ベイヤー信号から生成されたゲイン適用後のＣｒ信号よりも、色差信号から生成されたゲイン適用後のＣｒ信号の値が大きくなり、ゲイン適用後の画像において色付きが発生してしまうという課題がある。

本発明の一実施態様は、階調変換処理を行う画像処理装置であって、画像信号に基づき生成された、複数の色信号から構成される形式である第１形式を有する第１の画像信号と、色差信号で構成される形式である第２形式を有する第２の画像信号とを入力する入力手段と、前記入力手段により入力された前記第１の画像信号を用いて、ゲイン値を算出する算出手段と、前記第２の画像信号を用いて、前記算出手段により算出された前記ゲイン値を適用して階調変換処理を行う処理手段と、を備え、前記処理手段は、前記第１の画像信号の色信号を用いて前記第２の画像信号を前記第１形式を有する画像信号に変換し、前記変換された画像信号に対して前記ゲイン値を適用し、前記ゲイン値が適用された画像信号を前記第２形式を有する画像信号に変換することを特徴とする。

色差信号に対してゲインをかけて階調変換を行う際、出力信号値にクリップされた領域を考慮するために、色付きの発生を抑制ことができる。

本発明の課題を説明する図である。 本発明の第１の実施形態のシステム図である。 第１の実施形態のフローチャートである。 第１の実施形態の階調処理を説明する図である。 第１の実施形態のゲイン適用処理を説明するフローチャートである。 第１の実施形態の画像形式の変換を示す図である。 第１の実施形態の画素信号の位置を示す図である。 本発明の第２の実施形態のシステム図である。 第２の実施形態のフローチャートである。 第２の実施形態のクリップ処理を説明するグラフである。 第２の実施形態のゲイン適用処理を説明するフローチャートである。 第２の実施形態の画素信号の位置を示す図である。

本発明の実施形態について、撮像装置に用いられる画像処理装置を例として、図面を用いて詳細に説明する。なお、撮像装置に用いられる画像処理装置に限らず、他の画像処理装置でも本発明は適用可能である。

（第１の実施形態）
第１の実施形態は、画像処理装置に入力された画像信号から、輝度信号生成用のベイヤー信号（複数の色信号から構成される第１形式の画像信号）と色差信号（複数の色信号を用いて算出される色差信号で構成される第２形式の画像信号）に分け、それぞれの信号に対して階調処理を行う。この階調処理において、色差信号をベイヤー信号の形式に変換してからゲイン処理を行う形態である。

第１の実施形態について、図２から図７を用いて説明する。本実施形態では、ベイヤー信号を第１形式の画像信号、色差信号を第２形式の画像信号として定義する。

図２は画像処理装置のシステム図、図３は画像処理装置における処理を示すフローチャート、図４は階調処理を説明する図、図５は色差信号に対する階調処理を説明するフローチャート、図６は第２の画像形式を変換する際に使用する第１の画像形式を示した図、図７は算出に使用する画素信号の位置を説明する図である。

まず図２を用いて、画像処理装置のシステム構成を説明する。

２０１は撮像画像取得部であり、画像処理に使用する撮像画像を取得する。

２０２はゲイン算出部であり、撮像画像取得部２０１で取得された撮影画像を入力として、第１の画像形式の画像信号の画像情報に基づき、撮像画像の階調補正処理に使用するゲインの算出を行う。

２０３は第１ゲイン処理部であり、ゲイン算出部２０２から入力されたゲインを用いて、第１の画像形式の画像信号に対してゲイン処理を行う。

２０４は第２ゲイン処理部であり、ゲイン算出部２０２から入力されたゲインと、撮像画像取得部２０１から取得された第１の画像形式の画像信号を用いて、第２の画像形式の画像信号に対してゲイン処理を行う。

２０５は信号処理部であり、第１ゲイン処理部２０３と第２ゲイン処理部２０４でゲインをかけた信号を基に現像処理などの信号処理部を行い、出力画像を生成する。

図３は、上述した画像処理装置の各構成が行う処理を示すフローチャートであり、各処理の詳細を図４〜図７を用いて説明する。

Ｓ３０１では、階調補正処理の対象となる画像を撮像画像取得部２０１が取得する。

Ｓ３０２では、撮像画像取得部２０１が取得された画像信号を、ベイヤー信号と色差信号に分ける処理を行う。撮像画像の画像信号から分けられた両信号は、それぞれの信号に合わせた信号処理を行われ、処理後のベイヤー信号をゲイン算出部２０２に入力する。

Ｓ３０３では、ゲイン算出部２０２において、入力されたベイヤー信号から階調処理に使用するゲインを算出する。

ゲイン算出処理について、図４を用いて説明する。図４は撮像画像４０１、階調変換処理に使用する階調特性を示したグラフ４０２、算出したゲイン４０３を示している。

まず、入力画像４０１の撮像画像のベイヤー信号を基に、まずは下記式（１）を用いて入力輝度Ｙを算出する。
Ｙ＝０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ・・・（１）

次に、算出した入力輝度Ｙと階調特性を用いてゲインを生成する。ゲイン算出処理で使用する階調特性は、グラフ４０２で示すように、横軸に入力輝度信号、縦軸をゲイン信号で示したゲインテーブルを指している。ゲイン生成処理では、グラフ４０２を用いて入力輝度Ｙに対応するゲイン値を算出し、例えば４０３のような画像の各画素位置に対応するゲイン信号を生成する。ゲイン算出部２０２は、算出結果を第１ゲイン処理部２０３と第２ゲイン処理部２０４に出力する。なお、本実施形態では、入力輝度Ｙを算出する際に式（１）を使用したが、これに限定されるものではなく、他の方式を使用してもよい。

Ｓ３０４では、入力されたベイヤー信号と算出されたゲインを用いて、第１ゲイン処理部２０３において第１の画像形式の階調処理としてゲインを乗算する処理を行う。ゲイン処理は下記式（２）を用いて算出を行う。
ｏｕｔ（ｘ，ｙ）＝Ｇａｉｎ（ｘ，ｙ）×ｉｎ（ｘ，ｙ）・・・（２）
ｏｕｔ（ｘ，ｙ）：座標（ｘ，ｙ）のゲイン後の出力ＲＧＢ信号値
ｉｎ（ｘ，ｙ）：座標（ｘ，ｙ）の入力されたＲＧＢ信号値
Ｇａｉｎ（ｘ，ｙ）：ゲイン値

そして、第１ゲイン処理部２０３は、ゲイン適用後のベイヤー信号を信号処理部２０５に出力する。

また、Ｓ３０５では、第２ゲイン処理部２０４において、色差信号と算出されたゲインを用いて、第２の画像形式の画像信号に対して階調処理を行う。

第２の画像形式の画像信号に対して行う階調処理については、図５〜図７を用いて詳細に説明する。図５は色差信号に対する階調処理を説明するフローチャート、図６は第２の画像形式を変換する際に使用する第１の画像形式を示した図、図７は算出で使用する画素信号の位置を示した図である。フローチャートを用いて処理の詳細を説明する。

Ｓ５０１では、入力されたベイヤー信号を用いて、第２の画像形式である色差信号を第１の画像形式を構成するＲＧＢの信号値に変換する。この変換処理で用いる信号は、第１の画像形式であるベイヤー信号のうちのＧ信号である。まず、図６で示すように、Ｇ信号だけを保有する単板の画像にするために、Ｇ信号に対して補間処理を行う。ここで用いる補間処理は、線形補間処理等の公知の技術を用いることができる。

次に、第１の画像形式の画像信号に対して補間処理を行った後にＧ信号を用いて、第２の画像形式の画像信号に対して下記式（３）、（４）を計算し、第１の画像形式となるＢ信号とＲ信号を生成する。
Ｂ＝Ｃｂ＋Ｇ・・・（３）
Ｒ＝Ｃｒ＋Ｇ・・・（４）
Ｇ：第１の画像形式における補間処理後のＧ信号
Ｃｂ：第２の画像形式におけるＣｂ信号
Ｃｒ：第２の画像形式におけるＣｒ信号
Ｂ：第２の画像形式を変換して生成したＢ信号
Ｒ：第２の画像形式を変換して生成したＲ信号

この計算で使用するＧ信号は、Ｃｂ信号の画素位置と同じ位置にある信号で、Ｃｒ信号に対してもＣｂ信号の算出で使用した同じＧ信号を使用して計算を行う。すなわち、図７（ａ）の信号値を用いると、下記式（５）、（６）のようになる。
Ｂ（ｘ，ｙ）＝Ｃｂ（ｘ，ｙ）＋Ｇ（ｘ，ｙ）・・・（５）
Ｒ（ｘ＋１，ｙ）＝Ｃｒ（ｘ＋１，ｙ）＋Ｇ（ｘ，ｙ）・・・（６）

Ｓ５０２では、第１の画像形式に変換したＢ信号とＲ信号、第１の画像形式で変換に使用したＧ信号に対して、ゲイン算出部２０２から入力されたゲインを用いてゲイン処理を行う。このゲイン処理には、Ｓ３０４において第１の画像形式に対してゲインをかける際に使用した式（２）を用いて算出を行う。その際に使用するゲイン値は、Ｃｂ信号の画素位置と同じ位置にあるゲイン値を用いる。すなわち、図７（ｂ）の信号値を用いると、下記式（７）、（８）、（９）のようになる。
ｏｕｔＢ（ｘ，ｙ）＝Ｇａｉｎ（ｘ，ｙ）×Ｂ（ｘ，ｙ）・・・（７）
ｏｕｔＲ（ｘ＋１，ｙ）＝Ｇａｉｎ（ｘ，ｙ）×Ｒ（ｘ＋１，ｙ）・・・（８）
ｏｕｔＧ（ｘ，ｙ）＝Ｇａｉｎ（ｘ，ｙ）×Ｇ（ｘ，ｙ）・・・（９）
ｏｕｔＢ（ｘ，ｙ）：座標（ｘ，ｙ）のゲイン後の出力Ｂ信号値
ｏｕｔＲ（ｘ＋１，ｙ）：座標（ｘ＋１，ｙ）のゲイン後の出力Ｒ信号値
ｏｕｔＧ（ｘ，ｙ）：第１画像形式の座標（ｘ，ｙ）のゲイン後の出力Ｇ信号値
Ｇａｉｎ（ｘ，ｙ）：ゲイン値

Ｓ５０３では、ゲイン処理後の信号に対して任意の閾値を用いてクリップ処理を行う。ここでの任意の閾値は、例えば出力画像の信号値のビット数を考慮して設定されている。またクリップ処理とは、より具体的には閾値を越えた信号値は、閾値の値に置き換える処理である。さらに、置き換えた結果の信号をそれぞれ信号Ｂ’、信号Ｒ’、信号Ｇ’と定義して、次の処理を行う。

Ｓ５０４では、クリップしたＢ’信号とＲ’信号を、クリップ後のＧ’信号を用いて第２の画像形式の画像信号を変換する処理を行う。この信号の変換は下記式（１０）、（１１）を用いて行う。
Ｃｂ’＝Ｂ’−Ｇ’・・・（１０）
Ｃｒ’＝Ｒ’−Ｇ’・・・（１１）
Ｇ’：クリップ後の第１の画像形式におけるＧ信号
Ｂ’：クリップ後のＢ信号
Ｒ’：クリップ後のＲ信号
Ｃｂ’：変換後の第２の画像形式のＣｂ信号
Ｃｒ’：変換後の第２の画像形式のＣｒ信号

すなわち、図７（ｃ）の信号値を用いると、下記式（１２）、（１３）のようになる。
Ｃｂ’（ｘ，ｙ）＝Ｂ’（ｘ，ｙ）−Ｇ’（ｘ，ｙ）・・・（１２）
Ｃｒ’（ｘ＋１，ｙ）＝Ｒ’（ｘ＋１，ｙ）−Ｇ’（ｘ，ｙ）・・・（１３）

これらの処理を行うことにより、信号がクリップされた領域を考慮して、ベイヤー信号と色差信号のゲイン処理を行うため、出力画像に色付きなどの弊害が発生しなくなる。

Ｓ３０６では、ゲイン処理後のベイヤー信号と色差信号を現像処理などの信号処理を行う信号処理部２０５に入力し、処理後の現像した結果を出力する。

（第２の実施形態）
第２の実施形態は、画像処理装置に入力された画像信号から、輝度信号とエッジ信号に分け、それぞれの信号に対して階調処理を行う。この際、エッジ強調処理を際に、輝度信号を用いてエッジ信号を変換してからゲイン処理を行う形態である。

第２の実施形態について、図８から図１２を用いて説明する。本実施形態では、輝度信号を第１形式の画像信号、エッジ信号を第２形式の画像信号として定義する。

図８は画像処理装置のシステム図、図９は画像処理装置における処理を示すフローチャート、図１０はノイズを除去するための輝度値に対応するクリップ値を説明するグラフ、図１１はエッジ信号に対する階調処理を説明するフローチャート、図１２は算出で使用する画素信号の位置を示した図である。

エッジ強調処理を行う際に、撮像画像の輝度信号からエッジ抽出処理が行われ、エッジ信号と輝度信号に対してゲイン処理が行われる。このゲイン処理において、本実施形態の処理を行わずにそのままゲインをかける場合、輝度信号ではゲインをかけた後に飽和領域を考慮して信号値にクリップを行うのに対し、エッジ信号ではクリップが考慮されずにゲインがかけられる。このため、ゲイン後の輝度信号とエッジ信号を合成した際に、飽和領域に対して強調したエッジ信号が付加されるという課題がある。この課題を解決するために、本実施形態では輝度信号を用いてエッジ信号を変換してからゲイン処理を行う。

本実施形態の画像処理装置のシステム構成について図７を用いて説明する。図２で示すシステム構成との差異は、エッジ抽出部８０３である。そのため、共通する各構成要素の説明は省略して、エッジ抽出部８０３について説明する。

図８において、８０３はエッジ抽出部であり、撮像した画像の輝度信号を使用して、画像中のエッジ成分を抽出し、第２ゲイン処理部８０５に入力する。

各構成要素の動作処理を示すものが図９のフローチャートであり、各処理の詳細について図１０〜図１２を用いて説明する。本実施形態の処理について図９を用いて説明するが、図３との差異は、画像信号に対してエッジ抽出を行うＳ９０２と、エッジ信号に対してノイズ成分の除去処理を行うＳ９０５、算出したゲインを用いてエッジ信号に対してゲイン処理を行うＳ９０６である。そのため、それ以外の処理については説明を省略して、Ｓ９０２、Ｓ９０５、Ｓ９０６について説明する。

Ｓ９０２では、エッジ抽出部８０３に対して、撮像画像取得部８０１から入力された撮像画像信号に用いてエッジ抽出を行う。ここでは、入力された信号は輝度信号であり、この信号に対してバンドパスフィルタ処理を行うことにより、エッジ信号の抽出を行う。

Ｓ９０５では、抽出したエッジ信号に含まれているノイズ成分の除去処理であるコアリング処理を行う。この処理には、図１０のグラフを用いる。図１０のグラフ１００１は、横軸に入力輝度信号、縦軸にコアリング処理で用いる値をクリップ値として定義して示している。輝度値に応じたノイズ量を考慮するために、輝度毎に対応するクリップ値をエッジ信号から引くことで、ノイズを考慮したエッジ信号を取得することができる。そのため、エッジを抽出した際に使用した同じ画素位置にある第１の画像形式である輝度信号を用いて、各画素位置のクリップ値を算出する。そして、そのクリップ値をエッジ信号から引くことで、ノイズを除去したエッジ信号を取得し、取得した信号を第２ゲイン処理部８０５に出力する。

Ｓ９０６では、エッジ抽出部８０３から第２ゲイン処理部８０５に入力されたエッジ信号と、算出されたゲインを用いて、第２ゲイン処理部２０４においてゲイン処理を行う。第２の画像形式のゲイン処理について図１１、図１２を用いて説明する。図１１はエッジ信号に対する階調処理を説明するフローチャート、図１２は算出で使用する画素信号の位置を示した図である。フローチャートを用いて処理の詳細を説明する。

Ｓ１１０１では、入力された輝度信号を用いて、第２の画像形式であるエッジ信号を第１の画像形式の輝度信号に変換する。この処理では、第２の画像形式に対して下記式（１４）の計算を行い、図１２（ａ）の信号値を用いると、第１の画像形式と同じ画像形式となる信号ＥＹを生成する。
ＥＹ（ｘ，ｙ）＝Ｅ（ｘ，ｙ）＋Ｙ（ｘ，ｙ）・・・（１４）
Ｙ（ｘ，ｙ）：第１の画像形式における輝度信号
Ｅ（ｘ，ｙ）：第２の画像形式におけるノイズ除去後のエッジ信号

この計算で使用する輝度信号Ｙは、エッジ信号Ｅの画素位置と同じ位置にある信号である。式（１４）を用いて輝度信号とノイズ除去後のエッジ信号を加算することで、エッジ強調後の信号値でゲイン処理を行うことができ、その際に飽和領域を考慮した値を取得することで、第２の画像形式であるエッジ信号に戻した際にも飽和領域を考慮したエッジ信号値を取得することができる。

Ｓ１１０２では、第１の画像形式に変換したエッジ信号と、第１の画像形式で変換に使用した輝度信号に対して、算出されたゲインを用いてゲイン処理を行う。このゲイン処理には、実施例１のＳ３０４で第１の画像形式に対してゲインをかける際に使用した式（２）を用いて算出を行う。その際に使用するゲイン値は、図１２（ｂ）の信号値であるエッジ信号、輝度信号の画素位置と同じ位置にあるゲイン値を用いると、下記式（１５）、（１６）のようになる。
ｏｕｔＥＹ（ｘ，ｙ）＝Ｇａｉｎ（ｘ，ｙ）×ＥＹ（ｘ，ｙ）・・・（１５）
ｏｕｔＹ（ｘ，ｙ）＝Ｇａｉｎ（ｘ，ｙ）×Ｙ（ｘ，ｙ）・・・（１６）
ｏｕｔＥＹ（ｘ，ｙ）：座標（ｘ，ｙ）のゲイン後の出力エッジ信号値
ｏｕｔＹ（ｘ，ｙ）：座標（ｘ，ｙ）のゲイン後の出力輝度信号値
Ｇａｉｎ（ｘ，ｙ）：ゲイン値

Ｓ１１０３では、ゲイン処理後の信号に対して、任意の閾値を用いてクリップ処理を行う。ここでの任意の閾値は、出力画像の飽和値を考慮して設定されている。設定された飽和値である閾値を越えた信号は、閾値の値に置き換えられる。置き換えた結果の信号をそれぞれ輝度信号Ｙ’、エッジ信号ＥＹ’と定義する。

Ｓ１１０４では、クリップしたエッジ信号ＥＹ’を、クリップ後の輝度信号Ｙ’を用いて第２の画像形式に信号を変換する処理を行う。この信号の変換は図１２（ｃ）の信号値を用い、下記式（１７）で算出する。
Ｅ’（ｘ，ｙ）＝ＥＹ’（ｘ，ｙ）−Ｙ’（ｘ，ｙ）・・・（１７）
ＥＹ’：クリップ後のエッジ信号
Ｙ’：クリップ後の輝度信号
Ｅ’：変換後の第２の画像形式のエッジ信号

これらの処理を行うことにより、飽和領域を考慮してエッジ信号のゲイン処理を行うことができ、最終的に輝度信号とエッジ信号を合成した際に、飽和領域に対して強調したエッジ信号が付加されるような弊害が発生しないようにすることができる。

２０１ 撮像画像取得部
２０２ ゲイン算出部
２０３ 第１ゲイン処理部
２０４ 第２ゲイン処理部
２０５ 信号処理部

Claims (8)

1. 階調変換処理を行う画像処理装置であって、
   画像信号に基づき生成された、複数の色信号から構成される形式である第１形式を有する第１の画像信号と、色差信号で構成される形式である第２形式を有する第２の画像信号とを入力する入力手段と、
   前記入力手段により入力された前記第１の画像信号を用いて、ゲイン値を算出する算出手段と、
   前記第２の画像信号を用いて、前記算出手段により算出された前記ゲイン値を適用して階調変換処理を行う処理手段と、を備え、
   前記処理手段は、前記第１の画像信号の色信号を用いて前記第２の画像信号を前記第１形式を有する画像信号に変換し、前記変換された画像信号に対して前記ゲイン値を適用し、前記ゲイン値が適用された画像信号を前記第２形式を有する画像信号に変換することを特徴とする画像処理装置。
2. 前記処理手段はさらに、前記第１の画像信号に対して前記ゲイン値を適用して階調変換処理を行うことを特徴とする請求項１に記載の画像処理装置。
3. 前記階調変換処理された前記第１の画像信号と前記第２の画像信号を用いて現像処理を行う現像手段を備えることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記処理手段はさらに、前記第１形式を有する画像信号に変換され前記ゲイン値が適用された第２の画像信号に対して、閾値に基づいて信号値をクリップすることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記第１形式を有する画像信号はベイヤー信号であることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記複数の色信号はＲ、Ｇ、Ｂの信号であることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記処理手段は、前記第１の画像信号のうちのＧ信号を用いて、前記第２の画像信号を、Ｒ信号とＢ信号から構成される第１形式を有する画像信号に変換することを特徴とする請求項６に記載の画像処理装置。
8. 画像処理装置の制御方法であって、
   画像信号に基づき生成された、複数の色信号から構成される形式である第１形式を有する第１の画像信号と、色差信号で構成される形式である第２形式を有する第２の画像信号とを入力する入力工程と、
   前記入力工程で入力された前記第１の画像信号を用いて、ゲイン値を算出する算出工程と、
   前記第２の画像信号を用いて、前記算出工程により算出された前記ゲイン値を適用して階調変換処理を行う処理工程と、を備え、
   前記処理工程では、前記第１の画像信号の色信号を用いて前記第２の画像信号を前記第１形式を有する画像信号に変換し、前記変換された画像信号に対して前記ゲイン値を適用し、前記ゲイン値が適用された画像信号を前記第２形式を有する画像信号に変換することを特徴とする画像処理装置の制御方法。

Images