JP2012028893A - 輪郭強調装置 - Google Patents

Abstract

【課題】撮像画像においてノイズを増大させることなく輪郭強調を良好に行う。
【解決手段】撮像素子の所定の画素領域において、注目画素の輝度に含まれるノイズ成分を除去するノイズ除去手段と、注目画素の輝度と周辺画素の輝度から、注目画素の輪郭情報量を計算する輪郭情報量計算手段と、注目画素の輝度についてフィルタ処理により重み付けを行う輪郭検出部と、輪郭情報量に基づいて、重み付けが行われた輝度に対する輪郭強調係数を決定する輪郭強調係数決定手段と、輪郭情報量が所定の閾値よりも小さい場合は、ノイズ除去手段によりノイズ成分が除去された輝度を出力し、輪郭情報量が所定の閾値以上である場合は、注目画素から出力される画像信号の輝度を出力する輝度信号補正部と、重み付けが行われた輝度及び輪郭強調係数を用いて、輝度信号補正部から出力される輝度に対して輪郭強調処理を行う輪郭強調手段を有する輪郭強調装置を提供する。
【選択図】図２

Description

本発明は、撮像素子から出力される画像信号に対する輪郭強調装置に関する。

撮像素子から出力される画像信号に対して、ノイズを抑制しつつ輪郭を強調する輪郭強調装置が提案されている。そのような装置が特許文献１に開示されている。

特許文献１の輪郭強調装置では、注目画素と隣接画素の輝度差に応じて輪郭強調の程度を決定する輪郭強調係数を変更し、注目画素に施す輪郭強調量を、輝度差が基準値に近づくにつれて大きくし、輝度差が基準値から離れるにつれて小さくする。これにより、隣接する画素との輝度差が大きすぎる又は小さすぎる場合に画像に対する輪郭強調を防止することができるため、ハレーションの発生や低輝度領域におけるノイズの強調を抑えることができる。

特開平９−２３３３６９号公報 特開２０１０−４２６６号公報

ところが、上記のような従来の輪郭強調装置においては、低輝度領域に限らず、ある画素がノイズが原因で誤った輝度値を有している場合に、そのノイズによって誤った輝度差が算出される結果、予期せずその画素に輪郭強調が施されてノイズが強調されたり、そのノイズが原因で周辺画素の強調判定にも悪影響を及ぼし、かえって画素のノイズ成分が増加したりする可能性がある。特にＳ／Ｎ比の悪い画像信号では、ノイズが余計に強調されて画質の劣化が目立つ画像が生成される可能性もある。

本発明は上記に鑑みてなされたものである。本発明の目的は、画像信号内に含まれるノイズを強調することなく除去しつつ輪郭を強調することが可能な輪郭強調装置を提供することである。

上記の課題を解決するため、本発明の輪郭強調装置は、撮像素子の各画素から出力される画像信号に対して輪郭強調処理を施す輪郭強調装置において、撮像素子の所定の画素領域において、注目画素の輝度に含まれるノイズ成分を除去するノイズ除去手段と、所定の画素領域において、注目画素の輝度と注目画素の周辺画素の輝度から、注目画素の輪郭情報量を計算する輪郭情報量計算手段と、注目画素の輝度について所定のフィルタ処理により重み付けを行う輪郭検出部と、輪郭情報量に基づいて、重み付けが行われた輝度に対する輪郭強調係数を決定する輪郭強調係数決定手段と、輪郭情報量が所定の閾値よりも小さい場合は、ノイズ除去手段によりノイズ成分が除去された輝度を出力し、輪郭情報量が所定の閾値以上である場合は、撮像素子の注目画素から出力される画像信号の輝度を出力する輝度信号補正部と、重み付けが行われた輝度及び輪郭強調係数を用いて、輝度信号補正部から出力される輝度に対して輪郭強調処理を行う輪郭強調手段とを有する。したがって、本発明では、隣接画素の輝度差ではなく、複数の画素からなる領域内において算出される輪郭情報量に基づいてノイズ情報量を判定し、輪郭情報量に比べてノイズ情報量が多い場合は、ノイズを除去した輝度信号を用いて輪郭強調を行うことができるため、特にＳ／Ｎ比の悪い画像信号を扱う際、注目画素に隣接する画素がノイズが原因で誤った輝度を示す場合でも、ノイズを強調することはなく輪郭強調を行うことができる。

好ましくは、輪郭強調係数決定手段は、輪郭情報量と所定の関数を用いて輪郭強調係数を決定し、輪郭強調手段は、重み付けが行われた輝度に輪郭強調係数を乗算した結果を用いて、輝度信号補正部から出力される輝度に対して輪郭強調処理を行う。これにより、輪郭情報量と輪郭強調係数が複雑な非線形関数として表現される場合でも、輪郭強調処理に適切な輪郭強調係数を決定することができる。

さらに好ましくは、ノイズ除去手段は、以下の式（１）によりノイズを除去した輝度Ｙを計算し、

ここで、Ｍ及びＮは、所定の画素領域における注目画素及び周辺画素がＭ×Ｎ画素であるとしたときの値であり、Ｙ（ｉ，ｊ）は、注目画素と周辺画素の位置を座標（ｉ，ｊ）（ｉ＝１〜Ｍ，ｊ＝１〜Ｎ）で表したときの各画素の輝度であり、α（ｉ，ｊ）は、輝度Ｙ（ｉ，ｊ）を有する画素に割り当てられた値であり、輪郭情報量計算部は、以下の式（２）により輪郭情報量Ｄを計算し、

輝度信号補正部は、以下の式（３）により求められる輝度Ｙ_ｃを輪郭強調手段に出力する。

ここで、Ｄ_Ｔは、所定の閾値であり、Ｙ_ｉｎは、注目画素の輝度である。

また、所定の関数は、以下の式（４）により与えられる。

ここで、Ｄ_１〜Ｄ_４は、輪郭情報量の値であり、ｋ_１〜ｋ_４は、輪郭強調係数の値である。

輪郭検出部は、以下の式（５）により、重み付けが行われた輝度Ｙ_ｅを計算する。

ここで、β（ｉ，ｊ）は、輝度Ｙ（ｉ，ｊ）を有する画素に割り当てられた値である。

輪郭強調手段は、以下の式（６）により輪郭強調後の注目画素の輝度Ｙ_ｏｕｔを計算する。

本発明の輪郭強調装置によれば、輪郭情報量に基づいて、ノイズ成分を除去しつつ、輪郭強調度を自動調整して輪郭強調を行うことができる。

図１は、本発明の一実施形態における輪郭強調装置を備える画像表示システムの概略構成を示すブロック図である。 図２は、本発明の一実施形態における輪郭強調部の概略構成を示すブロック図である。 図３（ａ）は、本発明の一実施形態の輪郭強調処理において使用される画素の輝度を示す概略図であり、図３（ｂ），（ｃ）は、当該輪郭強調において使用される各画素に割り当てられている係数を示す概略図である。 図４（ａ），（ｂ）は、本発明の一実施形態の輪郭強調処理において輪郭強調係数を決定する際に使用されるグラフである。 図５は、本発明の一実施形態の輪郭強調処理のフローチャートである。

以下、図面を参照して、本発明の一実施形態における輪郭強調装置について説明する。なお、複数の図にまたがって同じ部材を示す場合は同じ番号を付すこととする。

図１は、本発明の一実施形態における輪郭強調装置を備える画像表示システムの概略構成を示すブロック図である。撮像素子１は、ベイヤ型画素配置を有するＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ又はＣＣＤ（Charge Coupled Device）イメージセンサであり、受光面上の各画素で結像した光学像を光量に応じた電荷として蓄積して、Ｒ，Ｇ，Ｂの各色に応じた画像信号に変換する。変換された画像信号は、ＡＦＥ（Analog Front End）２内のアナログアンプによる増幅後、ＡＤ変換されて、色変換部３と輝度変換部４とにそれぞれ送られる。

色変換部３と輝度変換部４により、ＡＦＥ２から出力される画像信号に基づいて色信号と輝度信号がそれぞれ生成される。生成された輝度信号は、輪郭強調装置としての輪郭強調部５に送られる。なお、輪郭強調部５における処理の詳細な説明については後述する。色変換部３から出力される色信号と、輪郭強調部５により強調処理が施された輝度信号は、それぞれ信号混合部６に送られ、信号混合部６にて輝度信号と色差信号、すなわちＹＵＶ信号が生成される。輝度信号と色差信号は、信号混合部６からＲＧＢ信号変換部７に送られ、ＲＧＢ信号に変換される。変換されたＲＧＢ信号は、ガンマ補正部８にて画像信号の明るさが自然になるようにガンマ特性が補正された後、画像出力部９にてＮＴＳＣ（National Television System Committee）やＰＡＬ（Phase Alternating Line）などの所定の規格に準拠する画像信号に変換されてモニタ１０に出力される。これにより撮像した画像がモニタ１０に表示される。

図２は、本実施形態における輪郭強調部５の概略の構成を示すブロック図である。輝度変換部４によって生成された輝度信号は、輪郭強調部５のラインメモリ５１に送られる。本実施形態では、３×３画素の画像信号を用いて輪郭強調処理を行うものとする。したがって、ラインメモリ５１は、撮像素子１の３ライン分の画像信号を格納することができる容量を有する。ラインメモリ５１に格納された画像信号は、ローパスフィルタ（ＬＰＦ；Low-Pass Filter）５２、輪郭情報量計算部５３、輪郭検出部５４、輝度信号補正部５６にそれぞれ送られる。

まず、ＬＰＦ５２の処理について説明する。図３（ａ）〜（ｃ）には、輪郭強調部５の輪郭強調処理における注目画素と周辺画素の各輝度と、注目画素と周辺画素に割り当てられた係数を示す。図３（ａ）は、注目画素と周辺画素がＭ×Ｎ画素を構成する場合に、各画素の位置を座標（ｉ，ｊ）（ｉ＝１〜Ｍ，ｊ＝１〜Ｎ）で表したときの各画素の輝度を示す。図３（ｂ）は、後述するようにＬＰＦ５２において使用される、各画素に割り当てられた係数α（ｉ，ｊ）を示す。また、図３（ｃ）は、同じく後述するように輪郭検出部５４において使用される、各画素に割り当てられた係数β（ｉ，ｊ）を示す。本実施形態では３×３画素の画像信号を用いて輪郭強調処理を行う。したがって、図３（ａ）〜（ｃ）においてＭ＝Ｎ＝３とする。なお、本実施形態では、輝度Ｙ（２，２）を有する画素を注目画素とする。

ＬＰＦ５２は、輝度Ｙ（１，１）〜Ｙ（３，３）と係数α（１，１）〜α（３，３）を用いて、各輝度と対応する各係数とを乗算した値を出力する。係数の値としては、例えば、移動平均フィルタを採用して、α（１，１）〜α（３，３）のすべての係数に１／９を設定して均一にすることもできるし、ガウシアンフィルタを採用して、α（１，１）とα（１，３）とα（３，１）とα（３，３）に対しては０．０１１３を、α（１，２）とα（２，１）とα（２，３）とα（３，２）に対しては０．０８３８を、α（２，２）に対しては０．６１９６をそれぞれ設定することもできる。ＬＰＦ５２は、以下の式（７）による演算を行ってノイズを除去した輝度Ｙを、輪郭情報量計算部５３と輝度信号補正部５６に出力する。

なお、上述の通り、本実施形態においては、注目画素と周辺画素が３×３画素を構成していることから、Ｍ＝Ｎ＝３として演算を行う。以降の式についても、本実施形態においては、Ｍ＝Ｎ＝３として演算を行うこととする。

輪郭情報量計算部５３では、ＬＰＦ５２の処理対象となった注目画素と周辺画素が占める画素領域における画像の輪郭情報量を計算する。輪郭情報量計算部５３は、ラインメモリ５１から送られてくる注目画素及び周辺画素の輝度Ｙ（１，１）〜Ｙ（３，３）と、ＬＰＦ５２から送られてくるノイズを除去した輝度Ｙを用いて以下の式（８）による演算を行って輪郭情報量Ｄを計算する。

輪郭情報量計算部５３によって算出される輪郭情報量Ｄから、Ｄが小さい値を取る場合は、ＬＰＦ５２の処理対象となっている画素領域においてノイズが発生しているとみなし、大きい値を取る場合は、当該画素領域に画像のエッジ部分が含まれているとみなすことができる。輪郭情報量計算部５３によって算出される輪郭情報量Ｄは、輝度信号補正部５６と輪郭強調係数計算部５８にそれぞれ送られる。

輪郭強調係数計算部５８では、輪郭情報量計算部５３において算出される輪郭情報量Ｄに基づいて輪郭強調係数ルックアップテーブル（ＬＵＴ；Look-up Table）５７を参照して輪郭強調係数ｋを決定する。図４（ａ）に、本実施形態において輪郭強調係数ＬＵＴ５７に保存されている関数のグラフの一例を示す。また、説明の都合上、図４（ｂ）に、図４（ａ）のグラフを近似直線にて表したグラフを示す。図４（ｂ）のグラフは、Ｄ＝Ｄ_１，Ｄ_２，Ｄ_３，Ｄ_４を境界として、それぞれ以下の式（９）を用いて表すことができる。

ここで、Ｄ_１，Ｄ_２，Ｄ_３，Ｄ_４は、輪郭情報量の閾値であり、ｋ_１，ｋ_２，ｋ_３，ｋ_４は、輪郭強調係数の値である。輪郭強調係数計算部５８は、決定した輪郭強調係数ｋを乗算部６０に送る。

輪郭検出部５４では、注目画素と周辺画素が構成する３×３画素において、画像の輪郭を検出するための演算を行う。輪郭検出部５４は、ラインメモリ５１から出力される注目画素と周辺画素のそれぞれの輝度を用いて以下の式（１０）による演算を行い、注目画素について重み付けが行われた輝度Ｙ_ｅを求める。

ここで、β（ｉ，ｊ）は、注目画素と周辺画素により構成される領域の各画素に割り当てられている輪郭検出用の係数である。係数の値としては、例えば、注目画素のβ（２，２）には１を設定し、それ以外の周辺画素の係数には、−０．１２５を設定することもできるし、β（２，２）には１を、β（１，１）とβ（１，３）とβ（３，１）とβ（３，３）に対しては−１／１２を、β（１，２）とβ（２，１）とβ（２，３）とβ（３，２）に対しては−１／６をそれぞれ設定して重み付けを行うこともできる。輪郭検出部５４では、ラプラシアンフィルタやＬＯＧ（Laplacian of Gaussian）フィルタなどを用いて演算を行う。輪郭検出部５４による演算結果は、乗算部６０に送られる。乗算部６０は、輪郭検出部５４により算出される重み付けが行われた輝度Ｙ_ｅと輪郭強調係数計算部５８により決定される係数ｋとの乗算を行い、演算結果を加算部５９に送る。

輝度信号補正部５６は、ラインメモリ５１から出力される注目画素の輝度Ｙ（２，２）と、式（７）によってＬＰＦ５２から出力される注目画素の輝度Ｙのいずれを補正輝度として用いるかを決定する。輝度信号補正部５６は、輪郭情報量計算部５３により出力される輪郭情報量Ｄとノイズ情報量閾値メモリ５５に格納されている輪郭情報量の閾値Ｄ_Ｔとを比較して、以下の式（１１）を用いてラインメモリ５１から出力される注目画素の輝度Ｙ_ｉｎとＬＰＦ５２から出力されるノイズを除去した輝度Ｙのいずれを補正輝度Ｙ_ｃとして選択するかを決定する。輪郭情報量Ｄが閾値Ｄ_Ｔよりも小さい値を取る場合は、注目画素の輝度信号には輪郭情報よりノイズ情報が多く含まれているとみなす。閾値Ｄ_Ｔは、ノイズ除去の影響を左右する値である。すなわち、閾値Ｄ_Ｔが小さい値になるほど、ノイズ除去の影響は小さくなり、画像のエッジ部分を保持することができる。また、閾値Ｄ_Ｔが大きい値になるほど、ノイズ除去の影響は大きくなるが、値が大きすぎると画像のエッジ部分が保持されず画像が不鮮明になるおそれがある。そこで、例えば画像表示システムにおいて取得した画像に対して得られるノイズ成分の情報量の統計に基づいて、適切な閾値Ｄ_Ｔを決定する。

輝度信号補正部５６により決定されたＹ_ｃの値は、加算部５９に送られる。加算部５９では、輝度信号補正部５６から出力されるＹ_ｃと乗算部６０から出力される演算結果とを用いて、以下の式（１２）により、注目画素に輪郭強調処理を施した輝度Ｙ_ｏｕｔを演算して信号混合部６に出力する。

図５に、本実施形態における輪郭強調処理のフローチャートを示す。ステップＳ１０１において、輝度変換部４によって変換された注目画素の輝度と周辺画素の輝度をラインメモリ５１に入力する。次にステップＳ１０３に進み、ＬＰＦ５２においてノイズを除去した輝度Ｙを、輪郭情報量計算部５３において輪郭情報量Ｄを、輪郭検出部５４において重み付けが行われた輝度Ｙ_ｅを計算する。そして、ステップＳ１０５では、輪郭強調係数計算部５８において、輪郭情報量計算部５３から輪郭情報量Ｄを受信し、輪郭強調係数ＬＵＴ５７を参照して輪郭強調係数ｋを決定する。

続いて、ステップＳ１０７では、輝度信号補正部５６において、輪郭情報量計算部５３から出力される輪郭情報量Ｄとノイズ情報量閾値メモリ５５から読み込んだ輪郭情報量の閾値Ｄ_Ｔとを比較し、ラインメモリ５１から出力される輝度Ｙ_ｉｎとＬＰＦ５２から出力されるＹとのいずれを用いて輪郭強調を行うかを決定する。輝度信号補正部５６は、輪郭情報量Ｄが閾値Ｄ_Ｔよりも小さいと判定した場合は、ステップＳ１０９に進み、式（１１）を用いて輪郭強調を行う輝度Ｙ_ｃとしてＹを採用する。また、輝度信号補正部５６は、輪郭情報量Ｄが閾値Ｄ_Ｔ以上の値である場合は、ステップＳ１１１に進み、式（１１）を用いて輪郭強調を行う輝度Ｙ_ｃとしてＹ_ｉｎを採用する。

ステップＳ１０９又はＳ１１１において輪郭強調を行うＹ_ｃを決定したら、次にステップＳ１１３に進み、輪郭強調手段を構成する加算部５９及び乗算部６０によって実行される一連の演算により、式（１２）からＹ_ｏｕｔを求める。

ステップＳ１１３によりＹ_ｏｕｔが得られたら、ステップＳ１１５において輪郭が強調された輝度信号としてＹ_ｏｕｔが後段の処理ブロック、本実施形態では信号混合部６に出力される。上記のステップＳ１０１からＳ１１５の一連の処理を撮像素子１の各画素に行うことにより、撮像素子１の全画素から出力される画像信号に対して良好な輪郭強調処理を施すことができる。したがって、本発明では、隣接画素の輝度差ではなく、複数の画素からなる領域内において算出される輪郭情報量に基づいてノイズ情報量を判定し、輪郭情報量に比べてノイズ情報量が多い場合は、ノイズを除去した輝度信号を用いて輪郭強調を行うことができるため、特にＳ／Ｎ比の悪い画像信号を扱う際、注目画素に隣接する画素がノイズが原因で誤った輝度を示す場合でも、ノイズを強調することはなく輪郭強調を行うことができる。

以上が本発明の実施形態についての説明であるが、本発明は上記の構成に限定されるものではなく、本発明の技術的思想の範囲において種々の変形が可能である。例えば、上記の説明では、撮像素子１としてベイヤ型画素配置のＣＭＯＳ又はＣＣＤを使用しているが、ベイヤ型画素配置以外の配置を有する種々の撮像素子を使用しても、画素の配置に合わせてラインメモリに格納する容量を変更し、注目画素と周辺画素について上記の演算を施すことにより、本発明の効果を得ることができる。

また、上記の説明では、注目画素を中心として注目画素と同一種類の３×３画素を処理対象としているが、図３（ａ）〜（ｃ）、式（７），（８），（１０）に示すように、Ｍ×Ｎ画素を処理対象とする構成としてもよい。この場合、ラインメモリはＭ×Ｎ画素からの画像信号を格納できるだけの容量が必要となる。なお、各画素に対する係数α（ｉ，ｊ）及びβ（ｉ，ｊ）は、上記の説明と同様、いずれも１／Ｍ×Ｎとすることも、注目画素に近い画素ほど大きい値を割り当てることもできる。

３ 輪郭強調部
４ 輝度変換部
５１ ラインメモリ
５２ ローパスフィルタ
５３ 輪郭情報量計算部
５４ 輪郭検出部
５５ ノイズ情報量閾値メモリ
５６ 輝度信号補正部
５７ 輪郭強調係数ルックアップテーブル
５８ 輪郭強調係数計算部
５９ 加算部
６０ 乗算部

Claims (6)

1. 撮像素子の各画素から出力される画像信号に対して輪郭強調処理を施す輪郭強調装置において、
   前記撮像素子の所定の画素領域において、注目画素の輝度に含まれるノイズ成分を除去するノイズ除去手段と、
   前記所定の画素領域において、注目画素の輝度と該注目画素の周辺画素の輝度から、該注目画素の輪郭情報量を計算する輪郭情報量計算手段と、
   前記注目画素の輝度について所定のフィルタ処理により重み付けを行う輪郭検出部と、
   前記輪郭情報量に基づいて、前記重み付けが行われた輝度に対する輪郭強調係数を決定する輪郭強調係数決定手段と、
   前記輪郭情報量が所定の閾値よりも小さい場合は、前記ノイズ除去手段によりノイズ成分が除去された輝度を出力し、前記輪郭情報量が該所定の閾値以上である場合は、前記撮像素子の前記注目画素から出力される画像信号の輝度を出力する輝度信号補正部と、
   前記重み付けが行われた輝度及び前記輪郭強調係数を用いて、前記輝度信号補正部から出力される輝度に対して輪郭強調処理を行う輪郭強調手段と、を有する、
   ことを特徴とする輪郭強調装置。
2. 前記輪郭強調係数決定手段は、前記輪郭情報量と所定の関数を用いて前記輪郭強調係数を決定し、
   前記輪郭強調手段は、前記重み付けが行われた輝度に前記輪郭強調係数を乗算した結果を用いて、前記輝度信号補正部から出力される輝度に対して輪郭強調処理を行う、
   ことを特徴とする請求項１に記載の輪郭強調装置。
3. 前記ノイズ除去手段は、以下の式（１）によりノイズを除去した輝度Ｙを計算し、
   

   

   ここで、Ｍ及びＮは、前記所定の画素領域における注目画素及び周辺画素がＭ×Ｎ画素であるとしたときの値であり、Ｙ（ｉ，ｊ）は、注目画素と周辺画素の位置を座標（ｉ，ｊ）（ｉ＝１〜Ｍ，ｊ＝１〜Ｎ）で表したときの各画素の輝度、α（ｉ，ｊ）は、輝度Ｙ（ｉ，ｊ）を有する画素に割り当てられた値である、
   前記輪郭情報量計算部は、以下の式（２）により輪郭情報量Ｄを計算し、
   

   

   前記輝度信号補正部は、以下の式（３）により求められる輝度Ｙ_ｃを前記輪郭強調手段に出力する、
   

   

   ここで、Ｄ_Ｔは、前記所定の閾値であり、Ｙ_ｉｎは、前記注目画素の輝度である、
   ことを特徴とする請求項１又は請求項２に記載の輪郭強調装置。
4. 前記所定の関数は、以下の式（４）により与えられる、
   

   

   ここで、Ｄ_１〜Ｄ_４は、前記輪郭情報量の値であり、ｋ_１〜ｋ_４は、前記輪郭強調係数の値である、
   ことを特徴とする請求項３に記載の輪郭強調装置。
5. 前記輪郭検出部は、以下の式（５）により、前記重み付けが行われた輝度Ｙ_ｅを計算する、
   

   

   ここで、β（ｉ，ｊ）は、輝度Ｙ（ｉ，ｊ）を有する画素に割り当てられた値である、
   ことを特徴とする請求項４に記載の輪郭強調装置。
6. 前記輪郭強調手段は、以下の式（６）により輪郭強調後の前記注目画素の輝度Ｙ_ｏｕｔを計算する、
   

   

   ことを特徴とする請求項７に記載の輪郭強調装置。

Images