JP2014026497A

JP2014026497A - エッジ方向判別装置

Info

Publication number: JP2014026497A
Application number: JP2012166810A
Authority: JP
Inventors: Hisumi Takai; 日淑高井
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2012-07-27
Filing date: 2012-07-27
Publication date: 2014-02-06
Anticipated expiration: 2032-07-27
Also published as: JP5940403B2

Abstract

【課題】ノイズの多少とは無関係に注目画素のエッジの方向をより高精度に判別する。
【解決手段】注目画素におけるエッジの方向を判別して第１の判別結果を出力する第１の方向判別手段１０と、第１の方向判別手段よりもローパス効果が高く注目画素におけるエッジの方向を判別して第２の判別結果を出力する第２の方向判別手段１１と、注目画素の平坦度を算出する平坦度算出手段１２と、平坦度算出手段により算出された平坦度に応じた第１の判別結果と第２の判別結果との合成比率として平坦度が高いほど第１の判別結果の割合を高くし、平坦度が低いほど第２の判別結果の割合を高くした合成比率を算出する合成比率算出手段１３と、合成比率算出手段により算出された合成比率に基づいて第１の判別結果と第２の判別結果とを合成する合成手段１４とを備え、合成手段による合成結果に対応する方向を注目画素のエッジ方向として判別するエッジ方向判別装置１を提供する。
【選択図】図１

Description

本発明は、画像における各画素のエッジの方向を判別するエッジ方向判別装置に関するものである。

画像における各画素のエッジの方向を判別することで、画像の構造的属性を保持しながら、例えば、ノイズ除去等のその後の画像処理を単純化することができることから、エッジの方向判別の精度の向上が望まれている。
このようなエッジの方向判別に関する技術として、例えば、特開２００８−２９３４２５号公報（特許文献１）には、入力画像信号を多重解像度変換して、互いに異なる周波数帯域を有する複数の帯域画像信号を作成し、この帯域画像信号の周波数帯域およびこの周波数帯域よりも低域側の周波数の情報を含む第１の画像信号と、帯域画像信号の周波数帯域よりも低域側の周波数の情報を含む第２の画像信号とを用いて、帯域画像信号のエッジ成分の方向を判別すると共にエッジ成分の方向に応じて帯域画像信号のノイズを除去するノイズ除去装置が開示されている。

特開２００８−２９３４２５号公報

しかしながら、上記した特許文献１に記載のノイズ除去装置では、ノイズ除去処理が、方向性を有するフィルタ処理に基づいて行われるため、エッジの保存能力が高いという利点がある反面、平坦部等に存在する微小なエッジをエッジとして捉えて保存する傾向があり、出力画像に模様状のノイズが残留する虞がある。
特許文献１では、模様状のノイズを除去するために、方向判別処理後にコアリング処理を行ってエッジを保持することを提案している。しかしながら、ノイズ量が多く模様状のノイズが目立つ場合には、ノイズ除去のためにコアリング処理の強度を上げる必要があり、これによって画質が劣化するという不具合がある。

本発明は、上述した事情に鑑みてなされたものであって、ノイズの多少とは無関係に、注目画素のエッジの方向をより高精度に判別することを目的とする。

上記目的を達成するため、本発明は以下の手段を提供する。
本発明は、注目画素におけるエッジの方向を判別して第１の判別結果を出力する第１の方向判別手段と、該第１の方向判別手段よりもローパス効果が高く、前記注目画素におけるエッジの方向を判別して第２の判別結果を出力する第２の方向判別手段と、前記注目画素の平坦度を算出する平坦度算出手段と、該平坦度算出手段により算出された平坦度に応じた前記第１の判別結果と前記第２の判別結果との合成比率として、前記平坦度が高いほど第１判別結果の割合を高くし、前記平坦度が低いほど前記第２判別結果の割合を高くした合成比率を算出する合成比率算出手段と、該合成比率算出手段により算出された合成比率に基づいて前記第１の判別結果と前記第２の判別結果とを合成する合成手段とを備え、該合成手段による合成結果に対応する方向を注目画素のエッジ方向として判別するエッジ方向判別装置を提供する。

本発明によれば、注目画素のエッジの方向を第１の方向判別手段及び第１の方向判別手段よりもローパス効果が高い第２の方向判別手段の２つの方向判別手段により判別し、第１の判別結果と第２の判別結果とを夫々出力する。ここで、第１の方向判別手段は、第２の方向判別手段に比してローパス効果が低い、すなわち、ノイズ除去効果が小さいので、エッジを保持する力が弱いという欠点がある。一方、第２の方向判別手段は、第１の方向判別手段に比してローパス効果が高い、すなわち、ノイズ除去効果が高いので、例えば、ノイズの影響で途切れてしまったエッジを繋げる等エッジを保持する力が強い反面、平坦部等の微小ノイズをエッジと判別する虞がある。そこで、平坦度算出手段により注目画素の平坦度を算出し、この平坦度に応じた合成比率に基づいて第１の判別結果と第２の判別結果とを合成し、合成結果に対応する方向を注目画素のエッジ方向として判別する。従って、ノイズの多少とは無関係に注目画素のエッジの方向をより高精度に判別することができる。

上記した発明において、前記第１の判別結果及び前記第２の判別結果がベクトル値であり、前記合成手段が、前記合成比率算出手段により算出された合成比率に基づいて、ベクトル値を加重加算することにより前記第１の判別結果と前記第２の判別結果とを合成することが好ましい。
このようにすることで、第１の判別結果と第２の判別結果との合成の際の演算を単純化することができるので、容易に、かつ高精度にノイズの多少とは無関係に注目画素のエッジの方向をより高精度に判別することができる。

上記した発明において、前記第１の判別結果及び前記第２の判別結果が角度又は角度を離散化した数値であり、前記合成手段が、前記角度又は角度を離散化した数値に前記合成比率算出手段により算出された合成比率を乗算して加算することにより前記第１の判別結果と前記第２の判別結果とを合成することが好ましい。
このようにすることで、第１の判別結果と第２の判別結果との合成際の演算を単純化することができるので、容易に、かつ高精度にノイズの多少とは無関係に注目画素のエッジの方向をより高精度に判別することができる。

本発明によれば、ノイズの多少とは無関係に、注目画素のエッジの方向をより高精度に判別するという効果を奏する。

本発明の一実施形態に係るエッジ方向判別装置の概略構成を示すブロック図である。本発明の一実施形態に係るエッジ方向判別装置において、注目画素のエッジを判別するために第１方向判別部によって設定されるフィルタの例を示す概念図である。本発明の一実施形態に係るエッジ方向判別装置において、注目画素のエッジを判別するために第２方向判別部によって設定されるフィルタの例を示す概念図である。本発明の一実施形態に係るエッジ方向判別装置において、閾値が１つ設定された場合の平坦度と合成率との関係を示すグラフである。本発明の一実施形態に係るエッジ方向判別装置において、閾値が２つ設定された場合の平坦度と合成率との関係を示すグラフである。本発明の一実施形態に係るエッジ方向判別装置において、注目画素のエッジ方向を判別する際のフローチャートである。本発明の一実施形態の変形例に係るエッジ方向判別装置において、注目画素のエッジを判別するために設定されるフィルタの例を示す概念図であって、（Ａ）は第１方向判別部のフィルタの例を、（Ｂ）は第２方向判別部のフィルタの例を示す。本発明の一実施形態に係るエッジ方向判別装置が適用される画像処理装置の概略構成を示すブロック図である。

以下に、本発明の一実施形態に係るエッジ方向判別装置１について図面を参照して説明する。
図１に示すように、エッジ方向判別装置１は、入力画像の注目画素におけるエッジの方向を判別する第１方向判別部１０、第２方向判別部１１、注目画素の平坦度を算出する平坦度算出部１２、各方向判別部１０，１１の出力結果の合成比率を平坦度に応じて算出する合成比率算出部１３、及び合成比率に基づいて各方向判別部１０，１１の出力結果を合成する合成部１４を備えている。

第１方向判別部１０は、入力画像に含まれる各画素のエッジの方向を判別して出力結果を後述する合成部１４に出力する。第１方向判別部１０によるエッジの方向の判別は例えば、以下のように行われる。

まず、第１方向判別部１０は、エッジの方向を判別すべき画素である注目画素を中心として所定数の画素を含む所定範囲を抽出する。すなわち、第１方向判別部１０では、エッジの方向を判別するために、注目画素を中心として所定数の画素を含む所定範囲のフィルタを用いる。本実施形態においては、第１方向判別部１０が、注目画素を中心とする５画素×５画素のフィルタを用いることとして説明する。図２に、注目画素Ｘ２２を中心とする５画素×５画素の計２５画素（Ｘ００〜Ｘ４４）を含む正方形のフィルタを例示した。図２に示すように、フィルタは、注目画素Ｘ２２を起点として放射状に向かうｅ０〜ｅ７の８つの方向を持つものとする。

第１方向判別部１０は、以下の数式１−０乃至数式１−７に従って、ｅ０〜ｅ７の方向毎に注目画素Ｘ２２と各比較画素との差分を算出し、方向毎に差分の絶対値和を当該方向の評価値として出力する。すなわち、方向毎に以下の演算を行い、演算結果をその方向の評価値とする。そして、第１方向判別部１０は、各方向についての評価値のうち最小値を示す方向を第１の判別結果として合成部１４に出力する。

第２方向判別部１１は、第１方向判別部１０と同様に入力画像に含まれる各画素のエッジの方向を判別して出力結果を後述する合成部１４に出力する。ここで、第２方向判別部１１は、第１方向判別部１０に比してローパス効果、すなわち、ノイズ除去効果が高いものとなっており、第２方向判別部１１によるエッジの方向の判別は例えば、以下のように行われる。

第２方向判別部１１は、エッジの方向を判別すべき画素である注目画素を中心として所定数の画素を含む所定範囲を抽出する。このとき、第２方向判別部１１は、第１方向判別部１０よりもローパス効果が高いので、例えば、第１方向判別部におけるフィルタよりもフィルタサイズを大きくなっている。本実施形態においては、第２方向判別部１１が、注目画素を中心とする７画素×７画素のフィルタを用いることとして説明する。図３に、注目画素Ｙ３３を中心とする７画素×７画素の計４９画素（Ｙ００〜Ｙ６６）を含む正方形のフィルタを例示した。図３に示すように、フィルタは、注目画素Ｙ３３を起点として放射状に向かうｅ０〜ｅ７の８つの方向を持つものとする。

第２方向判別部１１は、以下の数式２−０乃至数式２−７に従って、ｅ０〜ｅ７の方向毎に注目画素Ｙ３３と各比較画素との差分を算出し、方向毎に差分の絶対値和を当該方向の評価値として出力する。すなわち、方向毎に以下の演算を行い、演算結果をその方向の評価値とする。そして、第２方向判別部１１は、各方向についての評価値のうち最小値を示す方向を第２の判別結果として合成部１４に出力する。

なお、上記した各方向ｅ０〜ｅ７は、例えば、角度、方向ベクトル又はこれらを数字でラベル付けしたラベルで表現することができる。以下に、各方向ｅ０〜ｅ７にラベル付けを行い、これらのラベルとベクトル値とを対応付けて表現した例を示す。

平坦度算出部１２は、注目画素の平坦度を算出する。ここで、平坦度とは、入力画像の画素毎に算出されるものであり、注目画素が平坦である度合いを示すものである。従って、平坦度が高い場合には、当該注目画素が平坦である度合いが高く、すなわち、エッジがないと判断することができる。一方、平坦度が低い場合には、当該注目画素が平坦である度合いが低く、細かいテクスチャ等の模様やエッジがあると判断することができる。

平坦度算出部１２は、第２方向判別部により得られた各方向ｅ０〜ｅ７の評価値のばらつきを示す分散値を算出し、この分散値を平坦度を示す値として算出する。従って、平坦度算出部１２は、算出した分散値が高い場合に平坦度が高いと判定し、分散値が低い場合に平坦度が低いと判定する。

なお、平坦度の算出は、上記した手法に限られず、例えば、注目画素近傍の複数ブロックに対して、注目画素と各ブロックに含まれる画素との画素値の差分の最大値を演算し、各ブロックに対する最大値のうちの最小値に基づいて平坦度を判断することもできる。

合成比率算出部１３は、平坦度算出部１２により算出された平坦度に応じて、すなわち、本実施形態においては分散値に応じて、第１の判別結果と第２の判別結果との合成比率を算出する。この合成比率は、平坦度が高いほど第１判別結果の割合を高くし、平坦度が低いほど前記第２判別結果の割合を高くした合成比率を算出する。算出した合成比率は、合成部１４に出力される。

合成比率の算出に際しては、予め１又は複数の閾値を定めておくことができる。閾値が一つの場合の例を図４に、閾値が２つの場合の例を図５に示した。閾値としてＴｈ１が１つ設定されている場合には、例えば、図４に示すように、平坦度がＴｈ１までは第１の判別結果の割合が最小かつ第２の判別結果の割合が最大となる一定の合成比率を算出し、Ｔｈ１以上では、平坦度が高くなるのに応じて第１判別結果の割合が高くなるような合成比率を算出する。

また、閾値がＴｈ１、Ｔｈ２の２つ設定されている場合には、例えば、図５に示すように、平坦度がＴｈ１までは第１の判別結果の割合が最小かつ第２の判別結果の割合が最大となる一定の合成比率を算出し、Ｔｈ１とＴｈ２との間では、平坦度が高くなるのに応じて第１判別結果の割合が高くなるような合成比率を算出する。そして、平坦度がＴｈ２以上となった場合に、第１の判別結果の割合が最大かつ第２の判別結果の割合が最小となる一定の合成比率を算出する。

合成部１４は、合成比率算出部１３により算出された合成比率に基づいて第１の判別結果と第２の判別結果とを合成する。すなわち、合成比率算出部１３により算出された合成比率に基づく各判別結果に対する合成率を各判別結果に乗算し、これらを足し合わせて合成結果として出力する。

なお、各判別結果が、ベクトル値である場合には、ｘ成分ｙ成分それぞれに重みを掛け、以下の式（３）、式（４）に従って算出する。
第１の判別結果については、ｘ成分をＤＸ１、ｙ成分の判別結果をＤＹ１、ｘ成分の合成率をＷＸ１とし、ｙ成分の合成率をＷＸ１とする。
第２の判別結果については、ｘ成分のをＤＸ２、ｙ成分の判別結果をＤＹ２、ｘ成分の合成率をＷＸ２とし、ｙ成分の合成率をＷＸ２とする。

Ｘ成分の合成結果＝ＤＸ１×ＷＸ１＋ＤＸ２×ＷＸ２ …（３）
Ｙ成分の合成結果＝ＤＹ１×ＷＹ１＋ＤＹ２×ＷＹ２ …（４）

エッジ方向判別装置１は、合成部１４による合成結果に対応する方向を、最終的に注目画素のエッジ方向として判別する。

続いて、このように構成されたエッジ方向判別装置１の作用について図６のフローチャートに従って、説明する。なお、以下の説明においては、図２及び図３を参照し、第１方向判別部は５画素×５画素のフィルタ、第２方向判別部は７画素×７画素のフィルタを用いるものとして説明する。

本実施形態に係るエッジ方向判別装置１によって画像中のエッジの方向を判別するために、エッジの方向を判別すべき注目画素を特定し、ステップＳ１１において、第１方向判別部１０により注目画素Ｘ２２を中心とする５画素×５画素の範囲を定め、この範囲に対してｅ０〜ｅ７の方向毎に注目画素Ｘ２２と各比較画素との差分を算出し、方向毎に差分の絶対値和を当該方向の評価値を算出する。そして、各評価値のうち最小値を示す方向を第１の判別結果として合成部１４に出力する。次のステップＳ１２では、第２方向判別部により注目画素Ｙ３３を中心とする７画素×７画素の範囲を定め、この範囲に対してｅ０〜ｅ７の方向毎に注目画素Ｙ３３と各比較画素との差分を算出し、方向毎に差分の絶対値和を当該方向の評価値を算出する。そして、各評価値のうち最小値を示す方向を第２の判別結果として合成部１４に出力する。

次のステップＳ１３では、注目画素の平坦度を算出する。上述のように、平坦度算出部では、第２方向判別部により得られた各方向ｅ０〜ｅ７の評価値のばらつきを示す分散値を算出し、この分散値を平坦度を示す値として算出し、合成比率算出部１３に出力する。

次のステップＳ１４では、合成比率算出部１３により、平坦度（分散値）に基づいて合成比率を算出し、合成部１４に出力する。ステップＳ１５において、合成部１４では、合成比率算出部１３により算出された合成比率に基づいて第１の判別結果と第２の判別結果とを合成し、これによりエッジ方向判別装置１として、合成結果に対応する方向を、最終的に注目画素のエッジ方向として判別する。

このように、ノイズ除去効果又は方向判別精度等の特性が異なる２つの方向判別部により、注目画素のエッジの方向を一旦判別しておき、注目画素の平坦度に応じた合成比率に基づいて２つの判別結果を合成し、合成結果に対応する方向を注目画素のエッジ方向として判別することで、ノイズの多少とは無関係に注目画素のエッジの方向をより高精度に判別することができる。

（変形例）
上記した実施形態においては、第１方向判別部と第２方向判別部とはフィルタサイズが異なるものとして例示したが、これに限られることはなく、例えば、フィルタサイズが同じで、係数の異なるフィルタを用いることもできる。

この場合には、ローパス効果を異ならせるために、注目画素との距離が近い画素の重みが遠い画素の重みに比べ高くすることでローパス効果を低減させ、注目画素との距離が近い画素も遠い画素も同じ重みとすることでローパス効果を高くする。方向は０〜３６０度とすることができ、ここでの方向判別結果は、エッジの勾配方向である。

図７（Ａ）に第１方向判別部で用いるローパス効果の比較的低い３画素×３画素のフィルタを、図７（Ｂ）に第２方向判別部で用いるローパス効果の比較的高い３画素×３画素のフィルタを例示した。
第１方向判別部では、図７（Ａ）の縦のフィルタをかけた値の出力Ｔｘ１と、横のフィルタをかけた値の出力Ｙｘ１の値を算出する。それらの値を下記の式（５−１）に代入して方向を計算する。

第２の方向判別処理部も同様に、図７（Ｂ）の縦のフィルタをかけた値の出力Ｔｘ２と、横のフィルタをかけた値の出力Ｙｘ２の値を算出する。それらの値を下記の式（５−２）に代入して方向を計算する。

上記計算式より得られた、direction1を第１の判別結果とし、direction2を第２の判別結果として出力し、平坦度算出、合成比率算出等以後の演算を行い、最終的にエッジ方向を判別する。

上記したエッジ方向判別装置１を画像処理装置に適用することにより、各画素のエッジの方向が判別された画像に対して、判別された方向の情報を用いてノイズ低減処理を行うことができる。この場合には、図８に示すように、例えば、画像入力部２０、メモリ２１、エッジ方向判別装置１、画像処理部２２を備える画像処理装置２とすることができる。画像処理部２２は、方向に沿った平滑化部２５、平坦部の平滑化部２６、及びメモリ２１から出力された原画像と平滑化後の画像を合成する画像合成部２７を備えている。

画像処理部２２では、エッジ方向判別装置１で得られた方向判別結果と平坦度の結果に基づいて、エッジであり、方向を持っている場合は平滑化部２５により方向に沿った平滑化を、エッジでない平坦な場合には平滑化部２６により所定ブロックを用いた平滑化をかけ、最後にメモリ２１から出力された原画像と合成する。

平滑化の処理は、ある注目画素が持つ決められた方向に沿った周辺の複数画素の平均値を注目画素の値にし、方向を持たない場合はある注目画素の周辺の複数画素の平均値を用いることで平滑化するなどしても良い。これにより、エッジ上にのっているノイズを、エッジを鈍らせることなく落とすことができる。

１エッジ方向判別装置
２画像処理装置
１０第１方向判別部
１１第２方向判別部
１２平坦度算出部
１３合成比率算出部
１４合成部

Claims

注目画素におけるエッジの方向を判別して第１の判別結果を出力する第１の方向判別手段と、
該第１の方向判別手段よりもローパス効果が高く、前記注目画素におけるエッジの方向を判別して第２の判別結果を出力する第２の方向判別手段と、
前記注目画素の平坦度を算出する平坦度算出手段と、
該平坦度算出手段により算出された平坦度に応じた前記第１の判別結果と前記第２の判別結果との合成比率として、前記平坦度が高いほど第１の判別結果の割合を高くし、前記平坦度が低いほど前記第２の判別結果の割合を高くした合成比率を算出する合成比率算出手段と、
該合成比率算出手段により算出された合成比率に基づいて前記第１の判別結果と前記第２の判別結果とを合成する合成手段とを備え、
該合成手段による合成結果に対応する方向を注目画素のエッジ方向として判別するエッジ方向判別装置。
前記第１の判別結果及び前記第２の判別結果がベクトル値であり、
前記合成手段が、前記合成比率算出手段により算出された合成比率に基づいて、ベクトル値を加重加算することにより前記第１の判別結果と前記第２の判別結果とを合成する請求項１記載のエッジ方向判別装置。
前記第１の判別結果及び前記第２の判別結果が角度又は角度を離散化した数値であり、
前記合成手段が、前記角度又は角度を離散化した数値に前記合成比率算出手段により算出された合成比率を乗算して加算することにより前記第１の判別結果と前記第２の判別結果とを合成する請求項１記載のエッジ方向判別装置。