JP2010103934A - 画像処理装置，デジタルカメラ，および画像処理プログラム - Google Patents

Abstract

【課題】従来に比べて少ない計算量で従来の輪郭処理と同等の結果を得る画像処理装置を提供する。
【解決手段】撮像素子１５により被写体像の撮像が行われると、画像信号が制御回路１６へ出力される。画像信号に対して制御回路１６が種々の画像処理を行うと共に、特徴量算出部１６ａにより画像信号に対して特徴量の算出処理が行われる。その後、画像補正部１６ｂは、特徴量算出部１６ａにより算出された特徴量に基づいて、各画素の輝度値に対して所定の演算を行う。演算後、所定の圧縮処理などが行われ、画像データが作成される。作成された画像データは記憶媒体２２へ記録される。
【選択図】図１

Description

本発明は、画像の輪郭の強弱を制御する技術に関する。

画像の輪郭を暈かしたり強調したりすることができる画像処理が知られている。このような処理を行うに当たっては、例えば３×３や５×５のサイズの画像フィルタを適用することが一般的である。例えば特許文献１には、画像をｍ×ｎの画像フィルタで走査することにより画像の輪郭を強調する画像フィルタリング方法が示されている。
特許第３５１２５８１号公報

例えば５×５の画像フィルタを適用する場合、２５個の画素値を用いて１個の画素を処理することになる。従って、処理を行う対象の画像が大きい場合や、複数の画像に対して繰り返し処理を行う場合には、膨大な計算量が必要となってしまうという問題があった。

請求項１に係る発明は、画像信号を入力する入力手段と、前記入力手段に入力された画像信号に含まれる各々の画素について、処理対象となる注目画素の輝度値と隣接周辺画素の輝度値との差をユークリッド距離に換算して特徴量を算出する特徴量算出手段と、前記入力手段に入力された画像信号に含まれる各画素の輝度値について、前記特徴量算出手段により算出された特徴量に基づき所定の演算を行う演算手段と、を備えることを特徴とする画像処理装置である。

請求項４に係る発明は、撮像素子から得られた信号を前記画像信号として入力する請求項１〜３のいずれか一項に記載の画像処理装置を備えることを特徴とするデジタルカメラである。

請求項７に係る発明は、画像信号を入力する入力工程と、前記入力工程において入力された画像信号に含まれる各々の画素について、処理対象となる注目画素の輝度値と隣接周辺画素の輝度値との差をユークリッド距離に換算して特徴量を算出する特徴量算出工程と、前記入力工程において入力された画像信号に含まれる各画素の輝度値について、前記特徴量算出工程により算出された特徴量に基づき所定の演算を行う演算工程と、をコンピュータに実行させることを特徴とする画像処理プログラムである。

本発明によれば、従来に比べ少ない計算量で従来の輪郭処理と同等の結果を得られる。

――第１の実施の形態――
図１は本実施の形態によるデジタルカメラの回路構成を示すブロック図である。デジタルカメラ１は、入力装置１３，焦点調節装置１４，撮像素子１５，制御回路１６，ＤＲＡＭ１７，フラッシュメモリ１８，ＬＣＤ駆動回路１９，液晶モニタ２０，およびメモリカードインタフェース（Ｉ／Ｆ）２１を備える。

撮像素子１５は、画素に対応する複数の光電変換素子を備えたＣＣＤやＣＭＯＳイメージセンサによって構成される。撮像素子１５は、撮像面上に結像されている被写体像を撮像し、被写体像の明るさに応じた光電変換信号（画像信号）を出力する。撮像素子１５の撮像面には、それぞれＲ（赤）、Ｇ（緑）およびＢ（青）のカラーフィルタが画素位置に対応するように設けられている。撮像素子１５がカラーフィルタを通して被写体像を撮像するため、各撮像素子から出力される画像信号は、それぞれＲＧＢ表色系の色情報を有する。

撮像素子１５から出力された画像信号は制御回路１６に入力される。制御回路１６は、画像信号に対して種々の画像処理を行い、画像データを生成する。そして、制御回路１６は生成された画像データに対してＪＰＥＧなどの所定の方式により圧縮処理を行い、ＥＸＩＦなどの形式の画像ファイルとして記憶媒体２２へ記録する。制御回路１６は、たとえばＲＩＳＣなどで構成され、図１に示す各回路を制御する。

制御回路１６は、不図示のＡＦセンサーモジュールから出力される検出信号に基づいて周知の焦点評価値演算を行い、演算結果を焦点調節装置１４へ出力する。焦点調節装置１４は、上記演算結果に基づいて、焦点評価値が最大となる位置へ撮影レンズ１０を移動する。

ＤＲＡＭ１７は、画像処理、画像圧縮処理および表示用画像データ作成処理の途中や処理後のデータを一時的に格納するために使用される。表示用画像データは、制御回路１６が撮像素子１５からの出力に基づいて生成した画像データ、もしくは記憶媒体２２に記録されている画像データに基づいて、制御回路１６により生成される。生成された表示用画像データは、制御回路１６によりＤＲＡＭ１７に格納される。フラッシュメモリ１８は、たとえば制御回路１６が演算を行なうための各種の処理プログラムが記録された不揮発性メモリである。

ＬＣＤ駆動回路１９は制御回路１６の命令に基づいて液晶モニタ２０を駆動し、液晶モニタ２０はＤＲＡＭ１７に格納された表示用画像データに基づいて画像を表示する。また、液晶モニタ２０は、デジタルカメラの各種設定メニュー画面の表示を行なう。入力装置１３は、レリーズボタンや再生ボタンなどの種々の操作ボタンを含み、ユーザによる各操作ボタンの操作信号を制御回路１６へ出力する。

制御回路１６は、特徴量算出部１６ａ，および画像補正部１６ｂを有する。特徴量算出部１６ａは、画像信号に含まれる全ての画素について、ユークリッド距離に基づいた特徴量を算出する。画像補正部１６ｂは、特徴量算出部１６ａが算出した画素ごとの特徴量に基づいて、画素ごとの輝度値へ所定の演算を行う。制御回路１６により実行される、撮像素子１５が出力した画像信号への画像処理には、特徴量算出部１６ａによる特徴量の算出、ならびに、画像補正部１６ｂによる輝度値への演算が含まれる。

次に、特徴量算出部１６ａが算出する特徴量について説明する。特徴量算出部１６ａは、画像信号に含まれる全ての画素に対して、右方向の隣接画素と下方向の隣接画素とに基づき、特徴量を算出する。この特徴量は、例えばＨＳＩ色空間におけるＩ成分など、画素の輝度値を用いて算出される。

図２は、特徴量の算出手順を説明する図である。図２には、図の左上を起点に整列する９つの画素（Ｐ１１，Ｐ２１，Ｐ３１，Ｐ１２，Ｐ２２，Ｐ３２，Ｐ１３，Ｐ２３，Ｐ３３）が示されている。例えば画素Ｐ１１は座標（１，１）に位置しており、画素Ｐ２１は座標（２，１）に位置している。また、各々の画素を表す四角形の中には、画素の輝度を表す数値が記載されている。例えば、画素Ｐ１１の輝度値は６０であり、画素Ｐ２１の輝度値は７０である。

特徴量算出部１６ａは、画像信号に含まれる全ての画素について、その画素の特徴量を次式（１）を用いて算出する。

ここで、Ｃ（ｘ，ｙ）は座標（ｘ，ｙ）の画素の特徴量を、Ｉ（ｘ，ｙ）は座標（ｘ，ｙ）の画素の輝度値をそれぞれ表す。上式（１）は、３つの画素の輝度値を平面上の２点に見立て、この２点間のユークリッド距離を特徴量Ｃ（ｘ，ｙ）とした式である。すなわち、点（Ｉ（ｘ，ｙ），Ｉ（ｘ，ｙ））と、点（Ｉ（ｘ＋１，ｙ），Ｉ（ｘ，ｙ＋１））との間のユークリッド距離が特徴量Ｃ（ｘ，ｙ）である。

定義より、隣り合う画素の輝度値が大きく変化していれば、特徴量は大きくなる。逆に、隣り合う画素の輝度値がゆるやかに変化している場合には、特徴量は小さくなる。例えば、図２において画素Ｐ１１の特徴量Ｃ（１，１）を算出することを考える。このとき、Ｉ（１，１）は画素Ｐ１１の輝度値６０、Ｉ（２，１）は画素Ｐ２１の輝度値７０、Ｉ（１，２）は画素Ｐ１２の輝度値４０である。これらの値を式（１）に当てはめると、画素Ｐ１１の特徴量Ｃ（１，１）は２２となる。一方で、画素Ｐ１１よりも周囲の画素との輝度値の差が大きい画素Ｐ１２の場合、特徴量は５０となる。

次に、画像補正部１６ｂによる輝度値への演算について説明する。画像補正部１６ｂは、特徴量算出部１６ａにより上述のようにして算出された画素ごとの特徴量を、各画素の輝度値に対し加算もしくは減算する。

図３は、画像補正部１６ｂにより行われる輝度値への加減算処理の第１例を示す図である。以下では、説明を簡単にするため、図３（ａ）に示すように水平方向に一列に並んだ画素群３１について述べる。なお、以下で説明する内容は、図２に示した縦横に並んだ画素についても図３（ａ）と同様に適用可能である。

いま、図３（ａ）に示した、水平方向に一列に並んだ画素群３１が、図３（ｂ）にグラフで示した輝度値を備えるものとする。図３（ｂ）に示した通り、隣り合う画素の輝度値は、緩やかに変化している。これらの画素に対して特徴量算出部１６ａにより算出された特徴量を図３（ｃ）に示す。図３（ｂ）に示したように、画素群３１は、隣り合う画素の輝度値がゆるやかに変化しているので、図３（ｃ）に示す画素の特徴量は小さな値となっている。

画像補正部１６ｂは、図３（ｃ）に示した特徴量を、図３（ｂ）に示した輝度値と加算あるいは減算する。加算と減算のどちらが行われるかは、ユーザがデジタルカメラ１に設定した演算モードにより決定される。図３（ｂ）に示した輝度値から、画像補正部１６ｂにより図３（ｃ）に示した特徴量が減じられた結果を図３（ｄ）に示す。特徴量が小さな値となっているため、全体の輝度値が少しずつ減少している。同様に、画像補正部により図３（ｃ）に示した特徴量が加算された結果を図３（ｅ）に示す。減算の場合と同様に、全体の輝度値が少しずつ増加している。以上のように、第１例の画素群３１においては、隣り合う画素の輝度値に急激な変化が含まれていないので、輝度値には大きな変化が与えられない。

図４は、画像補正部１６ｂにより行われる輝度値への加減算処理の第２例を示す図である。図３と同様に、図４（ａ）に示した画素群４１が、図４（ｂ）に示す輝度値を備えるものとする。画素群４１は、図３の画素群３１と比べ、隣り合う画素において輝度値が大きく変化している箇所が存在する。そのため、図４（ｃ）に示した画素群４１の特徴量には、図３と比べ大きな値が確認できる。

図４（ｃ）に示した特徴量を図４（ｂ）に示した輝度値から減じた結果を図４（ｄ）に、加算した結果を図４（ｅ）に示す。図４（ｄ）では、比較的大きな輝度値を備える画素の集まりにおいて、集まりの前後に位置していた画素の輝度値が大きく減っていることがわかる。すなわち、画像補正部１６ｂによる輝度値の減算処理は、画像の輪郭に対して光量を減らす効果を与える。その結果、画像の輪郭が強調される。

他方、図４（ｅ）に示した特徴量の加算結果では、比較的大きな輝度値を備える画素の集まりにおいて、集まりの前後に位置していた画素の輝度値が大きく増加している。すなわち、画像補正部１６ｂによる輝度値への加算処理は、画像の輪郭に対して光量が増加する効果を与える。その結果、画像の輪郭がぼやける。

次に、上述した距離算出部１６ａおよび画像補正部１６ｂによる画像処理を含む、撮像から画像データの記録までの処理について、具体的な処理の流れを図を用いて説明する。

図５は、撮像から画像データの記録までの処理の流れを示す図である。まずステップＳ１で、撮像素子１５により被写体像の撮像が行われ、画像信号が制御回路１６へ出力される。ステップＳ２では、制御回路１６により画像信号に対して種々の画像処理が行われる。ステップＳ３では、特徴量算出部１６ａにより画像信号に対して特徴量の算出処理が行われる。なお、制御回路１６は、ステップＳ２およびステップＳ３の処理を順に実行してもよいし、並列に実行してもよい。

ステップＳ４では、画像補正部１６ｂにより、ステップＳ３により算出された特徴量に基づいた演算が各画素の輝度値に対して行われる。ステップＳ５では、所定の圧縮処理などが行われ、画像データが作成される。ステップＳ６では、ステップＳ５で作成された画像データが記憶媒体２２へ記録される。

上述した第１の実施の形態によるデジタルカメラによれば、次の作用効果が得られる。
（１）特徴量算出部１６ａが右方向および下方向の隣接画素の輝度値を用いて算出する、ユークリッド距離に基づく特徴量を、画像補正部１６ｂが輝度値へ加算および減算する。これにより、画像の輪郭の鮮鋭度を弱めたり強めたりすることができる。
（２）特徴量算出部１６ａは、右方向に隣接する画素ならびに下方向に隣接する画素の２つの画素に基づいて、１つの画素の特徴量を算出する。これにより、各画素に対応する特徴量を少ない計算量で算出することができる。
――第２の実施の形態――
上述した第１の実施の形態では、特徴量算出部１６ａおよび画像補正部１６ｂによる画像処理が、画像データを記憶媒体に記録する際に行われていた。第２の実施の形態によるデジタルカメラは、同様の画像処理を、液晶モニタへ画像を表示する際に行う。

以下、本実施形態のデジタルカメラにおいて、ライブビュー機能が有効になっている場合の動作について説明する。ライブビュー機能が有効となっているとき、制御回路は撮像素子からの画像信号の入力を毎秒３０回行う。このときの画像信号は、撮像素子が備える全ての画素の画素値を含むのではなく、液晶モニタの解像度に合わせていくつかの画素が間引かれている。

制御回路はこの画像信号について、第１の実施形態と同様に、特徴量算出部および画像補正部による補正処理を実行する。これにより、輪郭が強調された表示用画像データが得られる。そして、制御回路により、表示用画像データが液晶モニタに表示される。

さらに、本実施の形態によるデジタルカメラは、特徴量を輝度値に加算および減算する際、所定の係数を特徴量に乗じる。この係数は、ユーザが任意に設定できるようにしてもよいし、デジタルカメラが測定した環境光の強さに応じて自動的に設定されるようにしてもよい。係数を１よりも大きくした場合には、特徴量が輝度値に与える影響が大きくなり、逆に係数を１よりも小さくした場合には、特徴量が輝度値に与える影響が小さくなる。

上述した第２の実施の形態によるデジタルカメラによれば、第１の実施の形態によるデジタルカメラで得られる作用効果に加えて、次の作用効果が得られる。
（１）制御回路が、撮像素子から入力された画像信号へ画像補正処理を行った後に、液晶モニタへこの画像信号に基づいて作成された画像を表示する。これにより、液晶モニタには輪郭が強調された画像が表示されるので、液晶モニタの視認性が向上する。
（２）液晶モニタに表示される画像へ適用される補正処理の強度は、環境光あるいはユーザの指示に基づいて決定される。これにより、デジタルカメラの操作環境に起因する液晶モニタの視認性の低下を抑制することができる。

次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。
（１）画像補正部による演算は、加算と減算とに限定せず、それ以外の演算であってもよい。例えば任意の関数によるものであってもよい。
（２）特徴量を算出する式（１）へ、所定の係数を追加してもよい。例えば、右隣の画素との輝度値の差が特徴量へより大きな影響を与えるよう、Ｉ（ｘ＋１，ｙ）−Ｉ（ｘ，ｙ）へ１より大きな係数を乗じるようにしてもよい。
（３）特徴量算出部および画像補正部による補正処理は、撮影時およびライブビュー機能の有効時以外に実行してもよい。例えば、記憶媒体に記録されている画像を表示する際に補正処理を実行するようにしてもよいし、記憶媒体に記録されている画像を加工して記録し直す際に実行できるようにしてもよい。
（４）特徴量の算出を行う際に、右方向に隣接する画素ならびに下方向に隣接する画素以外の画素を参照してもよい。例えば、左方向に隣接する画素と上方向に隣接する画素を用いて特徴量の算出を行ってもよい。
（５）上述した各実施の形態の制御回路を、フラッシュメモリに格納されている所定の制御プログラムを実行するＣＰＵとしてもよい。この場合、各実施形態において制御回路が実行する各処理は、ＣＰＵが所定の制御プログラムを実行することにより実現される。

本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。

第１の実施の形態によるデジタルカメラの回路構成を示すブロック図である。 特徴量の算出手順を説明する図である。 画像補正部１６ｂにより行われる輝度値への加減算処理の第１例を示す図である。 画像補正部１６ｂにより行われる輝度値への加減算処理の第２例を示す図である。 撮像から画像データの記録までの処理の流れを示す図である。

符号の説明

１ デジタルカメラ
１５ 撮像素子
１６ 制御回路
１６ａ 特徴量算出部
１６ｂ 画像補正部
２２ 記憶媒体

Claims (7)

1. 画像信号を入力する入力手段と、
   前記入力手段に入力された画像信号に含まれる各々の画素について、処理対象となる注目画素の輝度値と隣接周辺画素の輝度値との差をユークリッド距離に換算して特徴量を算出する特徴量算出手段と、
   前記入力手段に入力された画像信号に含まれる各画素の輝度値について、前記特徴量算出手段により算出された特徴量に基づき所定の演算を行う演算手段と、
   を備えることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記演算手段は、前記所定の演算として、各々の画素の輝度値に前記特徴量を加算することを特徴とする画像処理装置。
3. 請求項１に記載の画像処理装置において、
   前記演算手段は、前記所定の演算として、各々の画素の輝度値から前記特徴量を減算することを特徴とする画像処理装置。
4. 撮像素子から得られた信号を前記画像信号として入力する請求項１〜３のいずれか一項に記載の画像処理装置を備えることを特徴とするデジタルカメラ。
5. 請求項４に記載のデジタルカメラにおいて、
   前記演算手段により所定の演算が行われた画像信号を記憶媒体に記憶することを特徴とするデジタルカメラ。
6. 請求項４または５に記載のデジタルカメラにおいて、
   前記演算手段により所定の演算が行われた画像信号に基づいて、画像を表示することを特徴とするデジタルカメラ。
7. 画像信号を入力する入力工程と、
   前記入力工程において入力された画像信号に含まれる各々の画素について、処理対象となる注目画素の輝度値と隣接周辺画素の輝度値との差をユークリッド距離に換算して特徴量を算出する特徴量算出工程と、
   前記入力工程において入力された画像信号に含まれる各画素の輝度値について、前記特徴量算出工程により算出された特徴量に基づき所定の演算を行う演算工程と、
   をコンピュータに実行させることを特徴とする画像処理プログラム。