JP4479527B2 - 画像処理方法、画像処理装置、画像処理プログラム、および電子カメラ - Google Patents

Description

本発明は、階調変換などの信号処理に伴って生じる画像の彩度変化を補正する技術に関する。

デジタルスチルカメラ等で撮影する際、背景が明るく人物などの主要被写体が暗く写ってしまう事がある。また、晴天の日に撮影した場合、撮影画像では見た目以上に建物の影等が暗く写ってしまう。
これは、人間の視覚は非常に広いダイナミックレンジを持ち、見ている領域毎に感度を調節しているのに対し、デジタルスチルカメラではダイナミックレンジが狭く、画面全体で適正露光量を調節しているためである。

このような画像に階調補正を行い、より好ましい画像に補正をしたり、また各領域毎に明るさを調整し、明るく写った領域も暗く写った領域も適正な明るさになるようにする手法がある。
例えば、下記の特許文献１に記載の方法では、RGB信号から輝度信号を生成し、この輝度信号を所定の階調特性に変換し、この階調変換前後における輝度信号の比をRGB信号にそれぞれ乗ずる事により、階調補正されたRGB信号を得る。この方法は、補正前後でRGB色成分の各比率が一定に保たれる。この場合、明るく補正された箇所では、色成分間の差が拡大し、画像の色が濃くなって、彩度の強調された画像となる。

このような彩度変化を抑制する技術として、特許文献２の記載方法が知られている。この特許文献２の記載方法では、補正前後で色成分の各比を一定にしたRGB信号と、色成分の各差を一定にしたRGB信号とをそれぞれ求め、ガンマ補正前の輝度信号の値に応じて両信号の加重合成を行っている。この加重合成によって、色成分間の差の拡大を抑え、上述した彩度変化を抑制することができる。
特開平４−１５０１７１号公報 特開平５− ７６０３６号公報

本発明の目的は、特許文献２の記載方法とは異なる処理によって、画像の信号処理に伴う彩度変化を補正する画像処理技術を提供することである。

［１］
本発明の画像処理方法は、次のステップを備える。
カラー画像信号より輝度信号を取得または生成し、輝度信号に予め定められた信号処理を実施し、信号処理を実施した後の輝度信号を信号処理を実施する前の輝度信号にて除算した値からなる変化比率を求める。
『カラー画像信号に含まれる各色成分』と『各色成分の最大値』とにより以下の式にて補正係数を画素単位で求める。
［（各色成分）／（各色成分の最大値）］^Ｐ
ただし、Ｐは、−１≦Ｐ＜０
変化比率に補正係数を乗ずることにより、調整済み変化比率を求め、調整済み変化比率に基づいてカラー画像信号の信号処理を画素単位で行う。

［２］
本発明の別の画像処理方法は、次のステップを備える。
カラー画像信号より輝度信号を取得または生成し、輝度信号に予め定められた信号処理を実施した後に信号処理を実施する前のＨＳＶ色空間における輝度信号Ｖと信号処理を実施した後の輝度信号Ｖ’との差であるＶ’−Ｖを求める。
『カラー画像信号に含まれる各色成分』と『各色成分の最大値』とにより下記の式にて補正係数を画素単位で求める。
［（各色成分）／（各色成分の最大値）］^Ｐ＋１
輝度信号の差に補正係数を乗じた上で色成分に加算することにより、カラー画像信号の信号処理を画素単位で行う。

［３］
本発明の画像処理装置は、下記の変化生成部、補正係数生成部、および信号処理部を備える。
この変化生成部は、カラー画像信号より輝度信号を取得または生成し、輝度信号に予め定められた信号処理を実施し、信号処理を実施した後の輝度信号を信号処理を実施する前の輝度信号にて除算した値からなる変化比率を求める。
補正係数生成部は、『カラー画像信号に含まれる各色成分』と『各色成分の最大値』とにより以下の式にて補正係数を画素単位で求める。
［（各色成分）／（各色成分の最大値）］^Ｐ
ただし、Ｐは、−１≦Ｐ＜０
信号処理部は、変化比率に補正係数を乗ずることにより、調整済み変化比率を求め、前記調整済み変化比率に基づいてカラー画像信号の信号処理を画素単位で行う。

［４］
本発明の別の画像処理装置は、下記の変化生成部、補正係数生成部、および信号処理部を備える。
この変化生成部は、カラー画像信号より輝度信号を取得または生成し、輝度信号に予め定められた信号処理を実施した後に信号処理を実施する前のＨＳＶ色空間における輝度信号Ｖと信号処理を実施した後の輝度信号Ｖ’との差であるＶ’−Ｖを求める。
補正係数生成部は、『カラー画像信号に含まれる各色成分』と『各色成分の最大値』とにより下記の式にて補正係数を画素単位で求める。
［（各色成分）／（各色成分の最大値）］^Ｐ＋１
信号処理部は、輝度信号の差に補正係数を乗じた上で色成分に加算することにより、カラー画像信号の信号処理を画素単位で行う。

［５］
本発明の画像処理プログラムは、コンピュータを、請求項３または請求項４に記載の変化生成部、補正係数生成部、および信号処理部として機能させるための画像処理プログラムである。

［６］
本発明の電子カメラは、上記［３］または［４］に記載の画像処理装置と、被写体を撮像してカラー画像信号を生成する撮像部とを備える。さらに、この電子カメラは、撮像部で生成されたカラー画像信号に含まれる色成分を、画像処理装置で信号処理する。

本発明では、（画像信号の色成分）／（色成分の最大値）に応じた補正係数を、色成分ごとに生成し、この補正係数を画像信号に乗ずることにより、階調変換に伴う彩度変化を抑制する。

《第１実施形態》
図１は、画像処理装置１１の構成を示すブロック図である。
図１において、画像処理装置１１にはカラー画像信号が入力される。変化生成部１２は、このカラー画像信号から輝度信号を抽出し、予め定められた信号処理を施した場合に輝度信号に生じる変化を求める。変化生成部１２は、この輝度信号の信号処理前後の変化から、変化比率や、色成分に生じる変化分（変化相当分）を検出する。

一方、補正係数生成部１３は、カラー画像信号について、（ＲＧＢなどの色成分）／（ＲＧＢなどの色成分の内で最大値）に応じた補正係数を生成する。この補正係数は、彩度に相関した係数値となる。
信号処理部１４は、変化生成部１２の出力（変化比率または変化相当分）と、補正係数生成部の補正係数とに基づいて、カラー画像信号の信号処理を実行する。

図２は、第１実施形態における画像処理装置１１のデータフローを示す図である。
以下、図２を用いて、この画像処理装置１１の動作について説明する。
まず、RGB信号が入力される（図２のＳ１）。変化生成部１２は、このRGB信号に所定係数をかけて加算し、画素単位に輝度信号を生成する（図２のＳ２）。変化生成部１２は、この輝度信号にガンマ補正などの信号処理を施し、補正後の輝度信号を生成する（図２のＳ３）。なお、輝度信号に対して周知のRetinex処理を行い、補正後の輝度信号を生成してもよい。

なお、変化生成部１２で扱う輝度信号は、HSV色空間のVやYCbCr空間のY、Lab色空間のL等を用いるとよい。また一般的には、この輝度信号は、画像の明るさおよび色の濃さを反映した信号であることが好ましい。
次に、変化生成部１２は、補正前の輝度信号Ｖと補正後の輝度信号Ｖ′との比率を求め、ゲインＫとする（図２のＳ４）。

一方、補正係数生成部１３では、入力されるRGB信号から画素単位にmax（Ｒ，Ｇ，Ｂ）を求める（図２のS６）。次に、補正係数生成部１３は、RGBの各色成分とmax（Ｒ，Ｇ，Ｂ）と比を、色成分単位かつ画素単位に求める（図２のS７）。この比は、各画素における各色成分の濃さ（彩度）を反映した値である。補正係数生成部１３は、この比を関数ｆに代入して、補正係数を求める。この関数ｆに単調減少関数やそれに類似する関数を使用すれば、彩度の高い箇所ほど、後述する調整済み変化比率を抑制して信号処理後の彩度変化を抑制できる。逆に、この関数ｆに単調増加関数やそれに類似する関数を使用すれば、彩度の高い箇所ほど、信号処理後の彩度変化を強調することが可能になる。

信号処理部１４は、上述した変化比率と補正係数とを乗算することにより、調整済み変化比率を色成分単位かつ画素単位に算出する。信号処理部１４は、この調整済み変化比率を画素単位にＲＧＢ色成分に乗算することにより、入力RGB信号に彩度変化を考慮した信号処理を施す。

このような処理により、下式に示すRGB信号が出力される（図２のS８）。
Ｋ＝Ｖ′／Ｖとして、
Ｒ′＝Ｋ・ｆ（Ｒ／max（Ｒ，Ｇ，Ｂ））・Ｒ
Ｇ′＝Ｋ・ｆ（Ｇ／max（Ｒ，Ｇ，Ｂ））・Ｇ
Ｂ′＝Ｋ・ｆ（Ｒ／max（Ｒ，Ｇ，Ｂ））・Ｂ

例えば、補正係数ｆ（ｘ）＝ｘ^ｐとすると（ただし、^はべき乗演算子）、
Ｒ′＝Ｋ・（Ｒ／max（Ｒ，Ｇ，Ｂ））^ｐ・Ｒ
Ｇ′＝Ｋ・（Ｇ／max（Ｒ，Ｇ，Ｂ））^ｐ・Ｇ
Ｂ′＝Ｋ・（Ｒ／max（Ｒ，Ｇ，Ｂ））^ｐ・Ｂ
となる。この場合、−１≦ｐ＜０が好ましい。

ここでは、特に、補正係数を求める関数ｆとして、ｆ（１）＝１に設定する。この場合、RGB信号のうち最大の色成分については補正係数の値が常に『１』に設定されるため、最大の色成分については、補正なしの信号処理が実施される。
一方、最大以外の色成分については、ｐ＜０ならば、補正係数が１より大きくなるため、色成分は大きく補正され、階調変換に伴う彩度強調が抑制される。この抑制の程度は、ｐの値により調整することができる。

なお、−１≦ｐであれば、最大以外の色成分が、最大の色成分を超える逆転現象は起こらない。
なお、補正係数ｆ（ｘ）としては、べき乗関数に限らず、単調減少関数であることが好ましい。また例えば、適切な関数や関数テーブルを使う事で、彩度低減の度合を高い自由度で制御することもできる。

また、輝度信号としてHSV空間の明度Ｖを使った場合は、Ｖ＝max（Ｒ，Ｇ，Ｂ）なので、
Ｒ′＝Ｖ′・ｆ（Ｒ／Ｖ）・Ｒ
Ｇ′＝Ｖ′・ｆ（Ｇ／Ｖ）・Ｇ
Ｂ′＝Ｖ′・ｆ（Ｂ／Ｖ）・Ｂ
となる。

この場合、ｆ（ｘ）＝ｘ^ｐとすると、
Ｒ′＝Ｖ′・（Ｒ／Ｖ）^（ｐ＋１）
Ｇ′＝Ｖ′・（Ｇ／Ｖ）^（ｐ＋１）
Ｂ′＝Ｖ′・（Ｂ／Ｖ）^（ｐ＋１）
となる。なお、画質の主観評価実験によれば、ｐ＝−０．４程度が好ましい。
次に、別の実施形態について説明する。

《第２実施形態》
第２実施形態の画像処理装置は、第１実施形態（図１）と構成が同じため、構成説明を省略する。
図３は、第２実施形態における画像処理装置１１のデータフローを示す図である。
なお、第１実施形態とは、S５，S８，S９の処理が異なるため、以下、その処理について説明する。

上述した処理では、ゲインＫ＝１で輝度変化の生じない箇所についても、彩度補正がかかる。
そこで、彩度調整量をゲインに応じて変更し（図３のS５）、ゲインＫ＝１の近辺では彩度補正を行わないようにする。そこで、ｙ＝０でｇ（ｙ）＝０となる調整関数ｇ（）を用いて、
Ｒ′＝Ｒ＋ｇ（Ｋ−１）・ｆ（Ｒ／max（Ｒ，Ｇ，Ｂ））・Ｒ
Ｇ′＝Ｇ＋ｇ（Ｋ−１）・ｆ（Ｇ／max（Ｒ，Ｇ，Ｂ））・Ｇ
Ｂ′＝Ｂ＋ｇ（Ｋ−１）・ｆ（Ｂ／max（Ｒ，Ｇ，Ｂ））・Ｂ
とする（図３のS８，S９）。

このような調整関数ｇ（）としては、単調増加関数が好ましい。例えば、ｇ（ｙ）＝ｙとすると、
Ｒ′＝Ｒ＋（Ｋ−１）・ｆ（Ｒ／max（Ｒ，Ｇ，Ｂ））・Ｒ
Ｇ′＝Ｇ＋（Ｋ−１）・ｆ（Ｇ／max（Ｒ，Ｇ，Ｂ））・Ｇ
Ｂ′＝Ｂ＋（Ｋ−１）・ｆ（Ｂ／max（Ｒ，Ｇ，Ｂ））・Ｂ
となる。

さらに、補正係数ｆ（ｘ）＝ｘ^ｐとし、HSV空間の明度Ｖを輝度信号とすると、
Ｒ′＝Ｒ＋（Ｖ′−Ｖ）・（Ｒ／Ｖ）^（ｐ＋１）
Ｇ′＝Ｇ＋（Ｖ′−Ｖ）・（Ｇ／Ｖ）^（ｐ＋１）
Ｂ′＝Ｂ＋（Ｖ′−Ｖ）・（Ｂ／Ｖ）^（ｐ＋１）
となる。なお、画質の主観評価実験によれば、ｐ＋１＝０．６程度が好ましい。
次に、別の実施形態について説明する。

《第３実施形態》
第３実施形態は、電子カメラの実施形態である。
図４は、本実施形態の構成を示すブロック図である。
図４において、電子カメラ１１には、撮影レンズ１２が装着される。この撮影レンズ１２の像空間には、撮像素子１３の受光面が配置される。この撮像素子１３は、タイミングジェネレータ２２ｂの出力パルスによって動作が制御される。

この撮像素子１３で生成される画像は、Ａ／Ｄ変換部１５および信号処理部１６を介して、バッファメモリ１７に一時記憶される。
このバッファメモリ１７は、バス１８に接続される。このバス１８には、画像処理部１９、カードインターフェース２０、マイクロプロセッサ２２、圧縮伸張部２３、および画像表示部２４が接続される。この内、カードインターフェース２０は、着脱自在なメモリカード２１に対するデータの読み書きを行う。また、マイクロプロセッサ２２には、電子カメラ１１のスイッチ群２２ａからユーザー操作の信号が入力される。さらに、画像表示部２４は、電子カメラ１１の背面に設けられたモニタ画面２５に画像を表示する。
このような構成の電子カメラ１１は、マイクロプロセッサ２２および画像処理部１９において、第１〜第２の実施形態の信号処理を実行する。
このような信号処理は、撮像時の画像データに対して実施してもよいし、メモリカード２１に保存された画像データに対して後から実施してもよい。

《実施形態の補足事項》
なお、上述した実施形態の階調変換処理を、コンピュータ上で実現することもできる。この場合、画像処理プログラムを用いて、コンピュータを、第１〜第２の実施形態における変化生成部１２、補正係数生成部１３、および信号処理部１４として機能させればよい。

また、上述した実施形態において、入力される画像信号をＲＡＷデータ（ベイヤ配列などの色配列データ）として、ＲＡＷデータに信号処理を施しても良い。この場合、画素単位に輝度信号や色成分が揃わないため、画素単位に変化比率や補正係数を生成することができない。

この場合は、周辺画素の色成分を使用して、画素単位に輝度信号や色成分を生成する処理をＲＡＷデータに実施し、得られた輝度信号や色成分について変化比率や補正係数を求めてもよい。

また、ＲＡＷデータを、輝度信号や全ての色成分の生成に必要な画素ブロック単位に分けて、画素ブロックごとに得られる輝度信号や色成分から変化比率や補正係数を決定してもよい。

なお、ＲＡＷデータ中の色配列データに対して直に信号処理を実施してもよい。また、後から信号処理を実施できるように、ＲＡＷデータ中の画像処理情報に格納してもよい。

また、インターネット上などの画像処理サーバーや画像アルバムサーバーにおいて、ユーザーから伝送される画像データに対して、上述した実施形態の画像処理方法をサービスとして提供してもよい。なお、記録媒体や通信媒体を介して画像データを取得して、プリントサービスを提供するプリントサーバーが、プリント前処理として、上述した実施形態の画像処理方法を実施してもよい。

なお、上述した実施形態では、ＲＧＢ色成分について説明した。しかしながら、本発明はこれに限定されるものではない。一般的には任意の表色系の色成分を使用することができる。

以上説明したように、本発明は画像処理などに利用可能な技術である。

画像処理装置１１の構成を示すブロック図である。 第１実施形態における画像処理装置１１のデータフローを示す図である。 第２実施形態における画像処理装置１１のデータフローを示す図である。 電子カメラの構成を示す図である。

符号の説明

Ｖ 輝度信号
１１ 画像処理装置
１２ 変化生成部
１３ 補正係数生成部
１４ 信号処理部

Claims (6)

1. カラー画像信号より輝度信号を取得または生成し、前記輝度信号に予め定められた信号処理を実施し、前記信号処理を実施した後の輝度信号を前記信号処理を実施する前の輝度信号にて除算した値からなる変化比率を求め、
   『前記カラー画像信号に含まれる各色成分』と『前記各色成分の最大値』とにより以下の式にて補正係数を画素単位で求め、
   ［（前記各色成分）／（前記各色成分の最大値）］^Ｐ
   ただし、Ｐは、−１≦Ｐ＜０
   前記変化比率に前記補正係数を乗ずることにより、調整済み変化比率を求め、前記調整済み変化比率に基づいて前記カラー画像信号の信号処理を画素単位で行う
   ことを特徴とする画像処理方法。
2. カラー画像信号より輝度信号を取得または生成し、輝度信号に予め定められた信号処理を実施した後に前記信号処理を実施する前のＨＳＶ色空間における輝度信号Ｖと前記信号処理を実施した後の輝度信号Ｖ’との差であるＶ’−Ｖを求め、
   『前記カラー画像信号に含まれる各色成分』と『前記各色成分の最大値』とにより下記の式にて補正係数を画素単位で求め、
   ［（前記各色成分）／（前記各色成分の最大値）］^Ｐ＋１
   前記輝度信号の差に前記補正係数を乗じた上で前記色成分に加算することにより、前記カラー画像信号の信号処理を画素単位で行う
   ことを特徴とする画像処理方法。
3. カラー画像信号より輝度信号を取得または生成し、前記輝度信号に予め定められた信号処理を実施し、前記信号処理を実施した後の輝度信号を前記信号処理を実施する前の輝度信号にて除算した値からなる変化比率を求める変化生成部と、
   『前記カラー画像信号に含まれる各色成分』と『前記各色成分の最大値』とにより以下の式にて補正係数を画素単位で求める補正係数生成部と、
   ［（前記各色成分）／（前記各色成分の最大値）］^Ｐ
   ただし、Ｐは、−１≦Ｐ＜０
   前記変化比率に前記補正係数を乗ずることにより、調整済み変化比率を求め、前記調整済み変化比率に基づいて前記カラー画像信号の信号処理を画素単位で行う信号処理部と
   を備えたことを特徴とする画像処理装置。
4. カラー画像信号より輝度信号を取得または生成し、輝度信号に予め定められた信号処理を実施した後に前記信号処理を実施する前のＨＳＶ色空間における輝度信号Ｖと前記信号処理を実施した後の輝度信号Ｖ’との差であるＶ’−Ｖを求める変化生成部と、
   『前記カラー画像信号に含まれる各色成分』と『前記各色成分の最大値』とにより下記の式にて補正係数を画素単位で求める補正係数生成部と、
   ［（前記各色成分）／（前記各色成分の最大値）］^Ｐ＋１
   前記輝度信号の差に前記補正係数を乗じた上で前記色成分に加算することにより、前記カラー画像信号の信号処理を画素単位で行う信号処理部と
   を備えたことを特徴とする画像処理装置。
5. コンピュータを、請求項３または請求項４に記載の前記変化生成部、前記補正係数生成部、および前記信号処理部として機能させるための画像処理プログラム。
6. 請求項３または請求項４に記載の画像処理装置と、
   被写体を撮像してカラー画像信号を生成する撮像部とを備え、
   前記撮像部で生成された前記カラー画像信号に含まれる色成分を、前記画像処理装置で信号処理する
   ことを特徴とする電子カメラ。

Images