JP2009081893A - 画像処理装置、画像処理方法、そのプログラム、およびそのプログラムを記録したコンピュータ読取り可能な記録媒体 - Google Patents

Abstract

【課題】カラー画像に対しても有効にノイズ抑制を行なう画像処理装置、画像処理方法、そのプログラム、およびそのプログラムを記録したコンピュータ読取り可能な記録媒体を提供する。
【解決手段】処理対象の画素ＯＢＪを中心として、３画素×３画素の処理マスクＭＳＫを規定する。ＣＰＵ部は、規定した処理マスクＭＳＫに含まれる複数の画素のＲＧＢ情報から明るさＤを取得し、処理マスクＭＳＫに含まれる画素と対応付けて、明るさを主記憶部に一時的に格納する。そして、ＣＰＵ部は、格納した各画素の明るさを互いに比較し、その中で処理種別に応じた明るさをもつ画素を抽出する。さらに、ＣＰＵ部は、その抽出した画素のＲＧＢ値を主記憶部から読出し、処理対象の画素ＯＢＪのＲＧＢ情報を当該読出したＲＧＢ情報に置換する。
【選択図】図３

Description

この発明は画像を構成する画素を他の画素に置換する画像処理装置、画像処理方法、そのプログラム、およびそのプログラムを記録したコンピュータ読取り可能な記録媒体に関し、特にカラー画像に含まれるノイズ成分を抑制する目的で、画素を置換する処理に関するものである。

製造現場においては、省力化および高効率化の観点から、オートメーション化が進められている。オートメーション化を実現するためには、光、電気、電波、音波などを用いる数多くのセンサ類が使用される。このようなセンサ類の中でも、製品や半製品などを撮影し、その撮影した画像を処理することで、当該製品の良否判別や当該製品の生産管理を行なうことのできる画像処理装置がよく用いられている。画像処理装置によれば、人間の視覚による検出と同様の検出機能を実現できるため、その応用範囲は広い。

このような画像処理装置では、パターン（形状）サーチやエッジ（輪郭）検出などの処理が行なわれるが、より高い処理精度を実現するため、その前段階として、カメラなどから取得した画像に対して補正処理を行なうことが一般的である。補正処理の一例として、ノイズなどを抑制するフィルタ処理や、画像全体の明るさの平均値を補正するコントラスト処理などがある。

フィルタ処理の代表例として、「膨張処理」および「収縮処理」がよく知られている。このような膨張処理および収縮処理は、各々が１次元の濃淡値（一例として、２５６階調）をもつ複数の画素から構成される濃淡画像（グレイ画像）に対して適用され、それぞれ「黒ノイズ」および「白ノイズ」を抑制する。黒ノイズとは、全体的に白い（明るい）領域に含まれる画素のうち少数の画素だけが黒い（暗い）成分をもつことで生じるノイズであり、白ノイズとは、全体的に黒い（暗い）領域に含まれる画素のうち少数の画素だけが白い（明るい）成分をもつことで生じるノイズである。

具体的な処理内容としては、特定の画素およびその画素を中心としてその周囲に配置された複数の画素（一例として、３画素×３画素＝９画素）の濃淡値を互いに比較し、その中で最大の濃淡値、すなわち最も明るい画素がもつ濃淡値を当該特定の画素の濃淡値に置換するのが膨張処理であり、逆に、その中で最小の濃淡値、すなわち最も暗い画素がもつ濃淡値を当該特定の画素の濃淡値に置換するのが収縮処理である。上述のような膨張処理および収縮処理により、濃淡画像に生じる黒ノイズおよび白ノイズをそれぞれ抑制することができる。

一例として、非特許文献１には、具体的な膨張処理および収縮処理の詳細な処理手順が開示されている。

「イメージプロセッシング（画像処理標準テキストブック）」，財団法人画像情報教育振興会，ｐ．８５，平成９年２月２５日

ところで、近年の情報技術の進歩に伴い、従来の濃淡画像に代えて、カラー画像を用いたパターンサーチやエッジ検出などが実現されつつある。このようなカラー画像を用いた処理においても、取得した画像に対してフィルタ処理を行なうことが望ましい。

一般的なカラー画像は、光の三原色に基づく「赤色」「緑色」「青色」のそれぞれの濃淡値で色が規定された複数の画素からなる。そのため、カラー画像を互いに独立した「赤色」「緑色」「青色」の濃淡画像にそれぞれ分解し、分解された濃淡画像の各々に対して、上述した膨張処理および収縮処理を適用することもできる。

図７は、「赤色」「緑色」「青色」のそれぞれの濃淡画像に対して膨張処理を行なった場合を示す図である。

図７（ａ）は、膨張処理前である。
図７（ｂ）は、膨張処理後である。

図７（ａ）を参照して、一例として、青色および赤色の２色からなる処理前画像９０に対して膨張処理を行なった場合について説明する。処理前画像９０を構成する各画素が、それぞれ２５６階調（０〜２５５）の赤色、緑色および青色で規定されるとすると、処理前画像９０は、赤色画像９０Ｒ、緑色画像９０Ｇおよび青色画像９０Ｂのように分解できる。なお、各画素の濃淡値を画素範囲とともに示す。赤色画像９０Ｒおよび青色画像９０Ｂの各画素は、それぞれ処理前画像９０の赤色領域および青色領域に対応するように、「２５５（最大階調）」または「０（最小階調）」となる。また、緑色画像９０Ｇは、処理前画像９０が緑色成分を含まないため、すべての画素が「０」となる。

図７（ｂ）を参照して、赤色画像９０Ｒ、緑色画像９０Ｇおよび青色画像９０Ｂのそれぞれに対して膨張処理を行なうと、赤色画像９２Ｒ、緑色画像９２Ｇおよび青色画像９２Ｂに示す値に変化する。

すなわち、赤色画像９２Ｒおよび青色画像９２Ｂでは、「２５５」と「０」との境界をなす画素において、「０」が「２５５」に置換される。そのため、赤色画像９２Ｒおよび青色画像９２Ｂは、それぞれ赤色画像９０Ｒおよび青色画像９０Ｂに比較して、膨張領域９６Ｒおよび９６Ｂに対応した「２５５」をもつ画素をさらに含む。一方、すべての画素が「０」である緑色画像９２Ｇでは、膨張処理前の緑色画像９０Ｇと同一である。

上述のように、膨張処理後の赤色画像９２Ｒ、緑色画像９２Ｇおよび青色画像９２Ｂにより、処理後画像９２が生成される。この処理後画像９２においては、上述した膨張領域９６Ｒおよび９６Ｂに起因して、赤色および青色が混合されたマゼンダ色（紫色）の偽色領域９４が生じる。このような偽色領域９４は、膨張処理の目的であるノイズ抑制とは逆に、ノイズを増加させてしまうという結果を生じる。また、収縮処理についても同様の結果を生じ得る。

上述したように、カラー画像の色を規定する「赤色」「緑色」「青色」のそれぞれに対して互いに独立に膨張処理または収縮処理を行なうと、十分なノイズ処理を実現することはできず、逆にノイズを増大させるという問題点を生じることが明らかになった。

そこで、この発明は、かかる問題を解決するためになされたものであり、その目的は、カラー画像に対しても有効にノイズ抑制を行なう画像処理装置、画像処理方法、そのプログラム、およびそのプログラムを記録したコンピュータ読取り可能な記録媒体を提供することである。

この発明によれば、複数の画素から構成されるカラー画像を受け、複数の画素の各々について、色を規定するための独立した３つの変数を含む色情報を取得する色情報取得手段と、色情報取得手段において取得された色情報に基づいて、複数の画素の各々を表す特性値を導出する特性値導出手段と、特性値導出手段において取得された特性値に基づいて、カラー画像を構成する特定の画素の色情報を、特定の画素および特定の画素の周囲に配置された他の画素のうち、いずれかの画素の色情報に置換する置換手段と、置換手段において色情報が置換された後のカラー画像を出力する出力手段とを備える画像処理装置である。

好ましくは、置換手段は、特定の画素および特定の画素の周囲に所定の相対位置関係で配置された所定数の画素についての特性値を互いに比較する比較手段と、比較手段において比較された特性値の中で、最大値、最小値、中間値のうち外部からの指令に応じた１つの値をとる特性値をもつ画素を、特定の画素の色情報を置換するための画素として抽出する抽出手段とを含む。

好ましくは、比較手段は、特定の画素を中心としたｎ画素×ｎ画素（ｎ：３以上の奇数）の行列状の領域に含まれる画素についての特性値を互いに比較する。

好ましくは、抽出手段は、最大値、最小値、中間値のうち外部からの指令に応じた１つの値をとる特性値をもつ画素が複数存在する場合には、予め定められた条件に従い、当該複数存在する画素の各々における色情報に基づいて、いずれか１つの画素を優先して抽出する。

好ましくは、色情報は、それぞれ赤色、緑色および青色の濃淡値を示す３つの変数からなる。

好ましくは、特性値は、画素の明るさである。
また、この発明によれば、複数の画素から構成されるカラー画像を受け、複数の画素の各々について、色を規定するための独立した３つの変数を含む色情報を取得する色情報取得ステップと、色情報取得ステップにおいて取得された色情報に基づいて、複数の画素の各々を表す特性値を導出する特性値導出ステップと、特性値導出ステップにおいて取得された特性値に基づいて、カラー画像を構成する特定の画素の色情報を、特定の画素および特定の画素の周囲に配置された他の画素のうち、いずれかの画素の色情報に置換する置換ステップと、置換ステップにおいて色情報が置換された後のカラー画像を出力する出力ステップとからなる画像処理方法である。

好ましくは、置換ステップは、特定の画素および特定の画素の周囲に所定の相対位置関係で配置された所定数の画素についての特性値を互いに比較する比較ステップと、比較ステップにおいて比較された特性値の中で、最大値、最小値、中間値のうち外部からの指令に応じた１つの値をとる特性値をもつ画素を、特定の画素の色情報を置換するための画素として抽出する抽出ステップとを含む。

好ましくは、比較ステップは、特定の画素を中心としたｎ画素×ｎ画素（ｎ：３以上の奇数）の行列状の領域に含まれる画素についての特性値を互いに比較する。

好ましくは、抽出手段は、最大値、最小値、中間値のうち外部からの指令に応じた１つの値をとる特性値をもつ画素が複数存在する場合には、予め定められた条件に従い、当該複数存在する画素の各々における色情報に基づいて、いずれか１つの画素を優先して抽出する。

好ましくは、色情報は、それぞれ赤色、緑色および青色の濃淡値を示す３つの変数からなる。

好ましくは、特性値は、画素の明るさである。
また、この発明によれば、上述の画像処理方法をコンピュータに実行させるためのプログラムである。

また、この発明によれば、上述の画像処理方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体である。

この発明によれば、カラー画像を構成する複数の画素の各々についての特性値を取得し、その取得した特性値に基づいて、特定の画素の色情報を一体的に置換する。よって、色情報を構成する変数のそれぞれに対して、置換処理を実行する場合に比較して、誤った色情報が生成されることがないため、カラー画像に対しても有効にノイズ抑制を行なう画像処理装置、画像処理方法、そのプログラム、およびそのプログラムを記録したコンピュータ読取り可能な記録媒体を実現できる。

この発明の実施の形態に従う画像処理装置を備える画像センサ装置の概略構成図である。 主記憶部に格納されるフレームメモリにおける処理の概要を説明するための図である。 １つの処理マスクにおける処理をより詳細に説明するための図である。 この発明の実施の形態に従う画像処理装置による膨張処理の適用例である。 同一の処理マスクにおいて明るさの最大値をとる画素が複数存在する場合を示す図である。 ＣＰＵ部における処理を示すフローチャートである。 「赤色」「緑色」「青色」のそれぞれの濃淡画像に対して膨張処理を行なった場合を示す図である。

この発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰返さない。

図１は、この発明の実施の形態に従う画像処理装置１を備える画像センサ装置１００の概略構成図である。

図１を参照して、画像センサ装置１００は、画像処理装置１と、撮像部２と、表示部３とからなり、一例として、撮像部２が製造ライン上などを連続的に搬送される製品を撮影し、その撮影された画像に対して、画像処理装置１がパターンサーチやエッジ検出などの処理を行なう。そして、画像処理装置１は、その処理結果を表示部３に表示し、また、図示しない他の装置へその処理結果を出力してもよい。

撮像部２は、一例として、ＣＣＤ（Coupled Charged Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどの撮像素子およびレンズを備え、検出対象を撮影し、その撮影した画像を画像処理装置１へ出力する。なお、撮像部２が撮影する画像は、静止画像および動画像のいずれでもよい。

表示部３は、画像処理装置１における処理結果や撮像部２で撮影された画像などをユーザに表示する。一例として、表示部３は、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）、プラズマディスプレイ（Plasma Display）、ＥＬディスプレイ（Electro Luminescence display）などからなる。

画像処理装置１は、ＣＰＵ部４と、補助記憶部５と、入力部６と、撮像部インターフェイス（撮像部Ｉ／Ｆ）７と、主記憶部８と、表示処理部９と、外部インターフェイス（外部Ｉ／Ｆ）１０と、読取部１１と、バス１３とからなり、一例としてパーソナルコンピュータなどで実現される。

撮像部インターフェイス７は、撮像部２と電気的に接続され、撮像部２で撮影された映像信号を受け、所定の信号変換処理を行ない各画素の色情報を取得した後、バス１３を介して、その取得した色情報をＣＰＵ部４へ出力する。具体的には、撮像部インターフェイス７は、撮像部２から受けた映像信号に対してフレーム同期を行ない、時間軸上に展開されて伝送される各画素の色情報を復調して、各画素についての赤色、青色および緑色の変数（以下、ＲＧＢ情報とも称す）を取得する。なお、この発明の実施の形態においては、撮像部インターフェイス７は、一例として、各画素の赤色、青色および緑色の各々が２５６階調を有する濃淡値を出力するものとし、以下の説明においても同様とする。

主記憶部８は、ＣＰＵ部４で実行されるプログラム、撮像部２で撮影された画像データ、およびＣＰＵ部４における画像処理中の画像データなどを格納する。そして、主記憶部８は、一例として、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）などの半導体記憶素子からなる。

表示処理部９は、ＣＰＵ部４における処理後の画像、撮像部２で撮影された画像、ユーザに入力を促す画面、ＣＰＵ部４などの処理状態を示す画面などを表示するためのデータを受け、所定の信号処理を行なった後、映像信号として表示部３へ出力する。

外部インターフェイス１０は、ＣＰＵ部４により実行された処理結果などを外部へ出力する。一例として、外部インターフェイス１０は、フォトダイオード、トランジスタまたはリレーなどから構成される接点出力（ＤＯ）や、ＵＳＢ（Universal Serial Bus）、ＲＳ−２３２Ｃ（Recommended Standard 232 version C）、ＩＥＥＥ（Institute of Electrical and Electronic Engineers）１３９４、ＳＣＳＩ（Small Computer System Interface）およびイーサネット（登録商標）などに従う通信手段などからなる。

補助記憶部５は、不揮発性の記憶領域を備え、撮像部２で撮影された画像、ＣＰＵ部４における処理後の画像や処理結果などを格納する。一例として、補助記憶部５は、ハードディスクドライブ（ＨＤＤ）やフラッシュメモリカード、ＳＤメモリカード、ＩＣメモリカードなどの半導体メモリなどからなる。

入力部６は、ユーザからの設定および指令などを受け、バス１３を介してＣＰＵ部４へ与える。

読取部１１は、ＣＰＵ部４で実行されるプログラムが記録された記録媒体１２を受入れてプログラムを読取り、補助記憶部５または主記憶部８へ与える。なお、記録媒体１２は、不揮発的にデータを担持するものであればよく、一例として、光ディスク（ＣＤ（Compact Disk）、ＤＶＤ（Digital Versatile Disc）−ＲＯＭ／ＲＡＭ／Ｒ／ＲＷ、ＭＯ（Magnetic Optical Disc）、ＭＤ（Mini Disc））、フレキシブルディスク、磁気テープなどの着脱可能な記録媒体からなる。

ＣＰＵ部４は、撮像部インターフェイス７を介して、撮像部２により撮影されたカラー画像から生成されたＲＧＢ情報を受け、各画素の座標と対応付けて主記憶部８に格納する。そして、ＣＰＵ部４は、入力部６を介して予め与えられる処理対象領域の設定に応じて、主記憶部８に格納したＲＧＢ情報に基づいて、処理対象領域に含まれる画素の各々についての特性値を導出する。具体的には、ＣＰＵ部４は、所定の順序に従い、設定された処理対象領域において、処理対象とする画素を選択し、その処理対象の画素およびその画素の周囲に所定の相対位置関係で配置された所定の数の画素についての特性値を導出する。一例として、ＣＰＵ部４は、処理対象の画素を中心としたｎ画素×ｎ画素（ｎは３以上の奇数）の行列状の領域（以下、処理マスクとも称す）に含まれる画素についての特性値を導出する。なお、この発明の実施の形態においては、特性値として画素の明るさを用い、ＣＰＵ部４は、各画素についてのＲＧＢ情報に含まれるＲ値、Ｇ値、Ｂ値の総和を明るさとする。以下の説明では、明るさという語を特性値の一例として用いる。

そして、ＣＰＵ部４は、外部から設定された処理種別に応じて、取得した明るさのうち、最大値、最小値および中間値のいずれかをとる明るさをもつ画素を抽出する。続いて、ＣＰＵ部４は、抽出した画素に対応するＲＧＢ情報を主記憶部８から読出し、その読出したＲＧＢ情報を処理対象の画素の新たなＲＧＢ情報として主記憶部８の異なる領域に格納する。すなわち、ＣＰＵ部４は、処理対象の画素のＲＧＢ情報を抽出した画素のＲＧＢ情報に置換して出力する。

最終的に、ＣＰＵ部４が設定された処理対象領域に含まれる全ての画素について、上述の処理を繰返し実行することで、主記憶部８には置換後のカラー画像が格納される。さらに、ＣＰＵ部４は、この置換後のカラー画像を表示処理部９などへ出力する。

この発明の実施の形態においては、撮像部インターフェイス７が「色情報取得手段」を実現し、ＣＰＵ部４が「特性値導出手段」、「置換手段」、「比較手段」および「抽出手段」を実現し、ＣＰＵ部４、主記憶部８および表示処理部９が「出力手段」を実現する。

以下、ＣＰＵ部４における処理をより詳細に説明する。
図２は、主記憶部８に格納されるフレームメモリＦＭ１における処理の概要を説明するための図である。

図２を参照して、ＣＰＵ部４は、撮像部２で撮影されたカラー画像の各画素のＲＧＢ情報を主記憶部８に形成されるフレームメモリＦＭ１の座標と対応付けて格納する。一例として、撮像部２で撮影されるカラー画像が（Ｎ＋１）×（Ｍ＋１）の行列状に配置された複数の画素ＰＥＬから構成されるとすると、主記憶部８には、（０，０）〜（Ｎ，Ｍ）の座標をもつ２次元配列のフレームメモリＦＭ１が形成される。なお、図２において、各画素ＰＥＬの座標は、左上に付されている値である。

ＣＰＵ部４は、表示処理部９を介して、撮像部２で撮影されたカラー画像を表示部３に表示し、ユーザからの処理対象領域の設定を受付ける。そして、ユーザが処理対象領域の設定を与えると、ＣＰＵ部４は、その処理対象領域の設定に応じた処理対象領域ＡＲＥＡをフレームメモリＦＭ１と対応付けて規定する。なお、処理対象領域ＡＲＥＡは、フレームメモリＦＭ１の座標で示される開始座標ＳＴＡＲＴおよび終点座標ＥＮＤにより示される。

続いて、ＣＰＵ部４は、規定された処理対象領域ＡＲＥＡにおいて、処理対象の画素ＯＢＪを選択し、当該選択した処理対象の画素ＯＢＪを中心とした行列状の処理マスクＭＳＫを規定し、その処理マスクＭＳＫに含まれる各画素ＰＥＬ（処理対象の画素ＯＢＪを含む）に対して、ＲＧＢ情報に基づいて明るさを導出する。そして、ＣＰＵ部４は、取得した明るさに基づいて、入力部６を介して与えられた処理種別に合致する明るさをもつ画素ＰＥＬを抽出する。さらに、ＣＰＵ部４は、処理対象の画素ＯＢＪのＲＧＢ情報をその抽出した画素ＰＥＬのＲＧＢ情報に置換して、主記憶部８の別のフレームメモリ（図示しない）に格納する。

続いて、ＣＰＵ部４は、処理対象領域ＡＲＥＡに含まれる画素の中から、処理対象の画素ＯＢＪを順次選択していき、上述の処理を繰返す。

図３は、１つの処理マスクＭＳＫにおける処理をより詳細に説明するための図である。
図３（ａ）は、ＲＧＢ情報を示す図である。

図３（ｂ）は、明るさを示す図である。
図３（ｃ）は、置換処理を示す図である。

図３（ａ）を参照して、この発明の実施の形態においては、一例として、処理対象の画素ＯＢＪを中心として、３画素×３画素の処理マスクＭＳＫを規定する。なお、処理マスクＭＳＫの大きさはいずれでもよいが、フィルタ効果の均一化の観点から、処理対象の画素ＯＢＪを中心としたｎ画素×ｎ画素（ｎは３以上の奇数）が望ましい。

ＣＰＵ部４は、規定した処理マスクＭＳＫに含まれる複数の画素ＰＥＬのＲＧＢ情報から明るさを導出する。具体的には、画素ＰＥＬの各々に対応して、Ｒ値，Ｇ値，Ｂ値が格納されており、この格納されているＲ値，Ｇ値，Ｂ値を便宜的に座標（ｘ，ｙ）についての関数として、Ｒ（ｘ，ｙ），Ｇ（ｘ，ｙ），Ｂ（ｘ，ｙ）と記述すると、座標（ｘ，ｙ）の画素ＰＥＬにおける明るさＤ（ｘ，ｙ）は、（１）式で示される。

Ｄ（ｘ，ｙ）＝Ｒ（ｘ，ｙ）＋Ｇ（ｘ，ｙ）＋Ｂ（ｘ，ｙ）・・・（１）
ＣＰＵ部４は、（１）式に従い、処理マスクＭＳＫに含まれるすべての画素ＰＥＬに対して、明るさを導出する。

図３（ｂ）を参照して、ＣＰＵ部４は、処理マスクＭＳＫに含まれる画素ＰＥＬと対応付けて、各画素の明るさを主記憶部８に一時的に格納する。そして、ＣＰＵ部４は、主記憶部８に格納した各画素の明るさを互いに比較し、その中で入力部６を介して与えられる処理種別に応じた明るさをもつ画素ＰＥＬを抽出する。さらに、ＣＰＵ部４は、その抽出した画素ＰＥＬのＲＧＢ値を主記憶部８から読出し、処理対象の画素ＯＢＪのＲＧＢ情報を当該読出したＲＧＢ情報に置換する。

図３（ｃ）を参照して、一例として、座標（ｎ−１，ｍ−１）の画素の明るさが処理種別に応じた明るさである場合には、ＣＰＵ部４は、座標（ｎ，ｍ）にある処理対象の画素ＯＢＪのＲＧＢ情報を座標（ｎ−１，ｍ−１）にある画素のＲＧＢ情報に置換して出力する。

なお、抽出される画素ＰＥＬが処理対象の画素ＯＢＪ自身となる場合もあるが、その場合には、自身のＲＧＢ情報が自身のＲＧＢ情報により置換される、すなわち、処理前後において、処理対象の画素ＯＢＪには変更がなされないことを意味する。

この発明の実施の形態においては、ＣＰＵ部４は、入力部６を介して設定される処理種別に応じて、膨張処理、収縮処理および中間処理のいずれかを実行する。具体的には、膨張処理は、全体的に明るい領域に散在する暗い（明るさの度合が低い）画素に起因して生じるノイズ成分を抑制する処理である。また、収縮処理は、全体的に暗い領域に散在する明るい（明るさの度合が高い）画素に起因して生じるノイズ成分を抑制する処理である。さらに、中間処理は、画像の明るさを全体的に平均化する処理である。

ＣＰＵ部４は、入力部６から受けた膨張処理、収縮処理および中間処理のいずれかの処理種別に応じて、それぞれ処理マスクＭＳＫに含まれる画素ＰＥＬのうち、その明るさが最大値、最小値および中間値のうちいずれかである画素ＰＥＬを抽出する。すなわち、ＣＰＵ４は、膨張処理、収縮処理および中間処理の別に、以下のような演算を実行する。なお、処理対象の画素ＯＢＪの座標を（ｎ，ｍ）とし、処理マスクＭＳＫのサイズを（２Ｚ＋１）画素×（２Ｚ＋１）画素（Ｚ：１以上の正の整数）とし、置換後のＲＧＢ情報をそれぞれＲ’（ｎ，ｍ），Ｇ’（ｎ，ｍ），Ｂ’（ｎ，ｍ）とする。

（ｉ）膨張処理
ＣＰＵ部４は、（２）式に従い、明るさＤが最大値Ｄｍａｘをとる画素ＰＥＬの座標（ｘｍａｘ，ｙｍａｘ）を抽出する。

Ｄｍａｘ＝Ｄ（ｘｍａｘ，ｙｍａｘ）＝ｍａｘ｛Ｄ（ｘ，ｙ）；ｎ−Ｚ≦ｘ≦ｎ＋Ｚ，ｍ−Ｚ≦ｙ≦ｍ＋Ｚ｝・・・（２）
そして、ＣＰＵ部４は、（３）式に従い、処理対象の画素ＯＢＪのＲＧＢ情報を抽出した画素ＰＥＬのＲＧＢ情報に置換する。

Ｒ’（ｎ，ｍ）＝Ｒ（ｘｍａｘ，ｙｍａｘ）
Ｇ’（ｎ，ｍ）＝Ｇ（ｘｍａｘ，ｙｍａｘ）・・・（３）
Ｂ’（ｎ，ｍ）＝Ｂ（ｘｍａｘ，ｙｍａｘ）
（ｉｉ）収縮処理
ＣＰＵ部４は、（４）式に従い、明るさＤが最小値Ｄｍｉｎをとる画素ＰＥＬの座標（ｘｍｉｎ，ｙｍｉｎ）を抽出する。

Ｄｍｉｎ＝Ｄ（ｘｍｉｎ，ｙｍｉｎ）＝ｍｉｎ｛Ｄ（ｘ，ｙ）；ｎ−Ｚ≦ｘ≦ｎ＋Ｚ，ｍ−Ｚ≦ｙ≦ｍ＋Ｚ｝・・・（４）
そして、ＣＰＵ部４は、（５）式に従い、処理対象の画素ＯＢＪのＲＧＢ情報を抽出した画素ＰＥＬのＲＧＢ情報に置換する。

Ｒ’（ｎ，ｍ）＝Ｒ（ｘｍｉｎ，ｙｍｉｎ）
Ｇ’（ｎ，ｍ）＝Ｇ（ｘｍｉｎ，ｙｍｉｎ）・・・（５）
Ｂ’（ｎ，ｍ）＝Ｂ（ｘｍｉｎ，ｙｍｉｎ）
（ｉｉｉ）中間処理
ＣＰＵ部４は、（６）式に従い、明るさＤが中間値Ｄｍｉｄをとる画素ＰＥＬの座標（ｘｍｉｄ，ｙｍｉｄ）を抽出する。

Ｄｍｉｄ＝Ｄ（ｘｍｉｄ，ｙｍｉｄ）＝ｍｉｄ｛Ｄ（ｘ，ｙ）；ｎ−Ｚ≦ｘ≦ｎ＋Ｚ，ｍ−Ｚ≦ｙ≦ｍ＋Ｚ｝・・・（６）
そして、ＣＰＵ部４は、（７）式に従い、処理対象の画素ＯＢＪのＲＧＢ情報を抽出した画素ＰＥＬのＲＧＢ情報に置換する。

Ｒ’（ｎ，ｍ）＝Ｒ（ｘｍｉｄ，ｙｍｉｄ）
Ｇ’（ｎ，ｍ）＝Ｇ（ｘｍｉｄ，ｙｍｉｄ）・・・（７）
Ｂ’（ｎ，ｍ）＝Ｂ（ｘｍｉｄ，ｙｍｉｄ）
上述のように、ＣＰＵ部４は、処理種別に応じた演算を実行し、置換後のＲＧＢ情報である、Ｒ’（ｎ，ｍ），Ｇ’（ｎ，ｍ），Ｂ’（ｎ，ｍ）を処理対象の画素ＯＢＪの座標と対応付けて別のフレームメモリに格納する。

（適用例）
図４は、この発明の実施の形態に従う画像処理装置１による膨張処理の適用例である。

図４（ａ）は、フレームメモリＦＭ１に格納された撮像部２によるカラー画像のデータ例を示す。

図４（ｂ）は、フレームメモリＦＭ２に格納された置換後のカラー画像のデータ例を示す。

図４（ａ）を参照して、ＣＰＵ部４は、カラー画像の各画素の座標と対応付けてＲＧＢ情報を格納する。なお、説明の便宜上、図４（ａ）にはＲＧＢ情報に加えて、明るさＤについても記載しているが、必ずしも明るさＤが同一のフレームメモリＦＭ１に格納されなくてもよく、処理毎に各画素ＰＥＬについての明るさＤを計算し、主記憶部８のフレームメモリＦＭ１と異なる領域に格納してもよい。

ＣＰＵ部４が座標（１，１）の画素を処理対象の画素ＯＢＪとして選択すると、処理マスクは、座標（０，０）と座標（２，２）との間に囲まれる領域に設定される。このとき、ＣＰＵ部４は、処理マスクに含まれる９つの画素の中から、その明るさＤが最大値をとる座標（２，０）の画素を抽出する。そして、ＣＰＵ部４は、抽出した座標（２，０）の画素のＲＧＢ情報を処理対象の画素ＯＢＪの座標（１，１）と対応付けてフレームメモリＦＭ２に格納する。以後、ＣＰＵ部４が座標（１，１）〜（４，１）の画素を処理対象の画素ＯＢＪとして順次選択し、同様の処理を繰返した結果を図４（ｂ）に示す。

図４（ｂ）を参照して、置換後の画像データにおいては、座標（１，１），（２，１），（３，１）におけるＲＧＢ情報は、置換前の画像データの座標（２，０）の画素のＲＧＢ情報に置換され、座標（４，１）におけるＲＧＢ情報は、置換前の画像データの座標（３，０）の画素のＲＧＢ情報に置換される。

再度、図４（ａ）を参照して、撮像部２で撮影されたカラー画像においては、座標（３，１）および（４，１）の画素が周囲の画素に比較して暗い状態（明るさＤ＝１００および１１０）である。一方、図４（ｂ）を参照して、置換後のカラー画像における座標（３，１）および（４，１）の画素は、その周囲に配置された画素のＲＧＢ情報に置換され、周囲の画素と均整のとれた明るさ（明るさＤ＝２６５および２４８）に補正されていることがわかる。

（優先条件）
上述の説明においては、同一の処理マスクにおいて、明るさの最大値、最小値または中間値のいずれかをとる画素が唯一存在する場合について説明したが、同一の明るさをもつ画素が重複して存在する場合も想定される。このような場合には、最先に比較された画素を優先して抽出することも可能であるが、フィルタ処理の精度をより高めるため、予め優先条件を設定するように構成してもよい。以下、このような複数の画素が抽出され得る状況下における優先抽出について説明する。

図５は、同一の処理マスクＭＳＫにおいて明るさＤの最大値をとる画素が複数存在する場合を示す図である。

図５を参照して、処理マスクＭＳＫに含まれる画素のうち、明るさＤの最大値は画素２０ａおよび２０ｂにおける「２４０」である。そのため、ＣＰＵ部４は、画素２０ａおよび２０ｂのうち、いずれを抽出するかを判断する必要がある。そこで、ＣＰＵ部４は、抽出の候補となる複数の画素のうち、いずれを優先して抽出するのかを示す優先条件を予め格納しておく。

このような優先条件としてはさまざまなものが想定されるが、一例として、検出対象が本来有する色に近い色の画素を優先するような条件を設定することが有効である。具体的には、検出対象が「赤色」成分を多く含む色を有する場合には、抽出すべき複数の画素のＲＧＢ情報を互いに比較し、「赤色」成分の比率の高い、すなわちＲ値がより高い画素を優先的に抽出させる。さらに、Ｒ値が互いに一致することも想定されるので、次に比率の高い、例えばＧ値がより高い画素を優先的に抽出させる。なお、このような条件において、複数の画素のＲ値，Ｇ値，Ｂ値がすべて一致する場合には、これらの画素が互いに同一色をもつことを意味し、いずれを抽出しても同一の結果となる。したがって、Ｒ値，Ｇ値，Ｂ値のうちいずれか２つの値について互いに比較するだけでよい。

図５を参照して、ＣＰＵ部４は、上述のような条件が与えられると、抽出すべき画素２０ａおよび２０ｂのＲＧＢ値のうちＲ値を互いに比較して、よりＲ値の高い画素２０ａを優先的に抽出し、処理対象の画素ＯＢＪのＲＧＢ情報に置換する。

なお、このような優先条件は、ＣＰＵ部４が処理を実行する前に予め設定されていることが望ましい。そこで、ＣＰＵ部４は、処理を行なっていない状態において、表示処理部９を介して表示部３に優先条件を設定するためのメニュー画面などを表示する。そして、ユーザは、表示部３のメニュー画面に従い、入力部６を介して優先条件を入力する。一方、ＣＰＵ部４は、入力部６を介して優先条件を受付けると、主記憶部８または補助記憶部５にその優先条件を格納し、その格納した優先条件を読出し、処理を実行する。

また、別の優先条件として、「色距離」に基づいて、いずれを優先するのかを決定してもよい。「色距離」とは、互いに直交するように配置されたＲ軸，Ｇ軸，Ｂ軸からなる３次元の色空間において、基準色との距離として規定される。具体的には、基準色のＲＧＢ情報をＲｓ，Ｇｓ，Ｂｓとすると、色距離Ｌは、（８）式で示される。

Ｌ^２＝（Ｒｓ−Ｒ）^２＋（Ｇｓ−Ｇ）^２＋（Ｂｓ−Ｂ）^２・・・（８）
したがって、ＣＰＵ部４は、予め設定された基準色のＲＧＢ情報に応じて、抽出の候補となる画素についての色距離Ｌをそれぞれ演算し、その演算結果の中で最も小さい色距離Ｌをもつ画素を優先して抽出する。なお、基準色のＲＧＢ情報の設定方法などについては、上述と同様であるので、詳細な説明は繰返さない。

（フローチャート）
図６は、ＣＰＵ部４における処理を示すフローチャートである。

図６を参照して、ＣＰＵ部４は、撮像部インターフェイス７を介して、撮像部２からカラー画像を取得する（ステップＳ１００）。そして、ＣＰＵ部４は、撮像部インターフェイス７が生成したカラー画像を構成する複数の画素の各々についてのＲＧＢ情報を主記憶部８に格納する（ステップＳ１０２）。

ＣＰＵ部４は、主記憶部８または補助記憶部５から、予め設定された、処理種別、処理対象領域、処理マスクのサイズおよび優先条件などを読出す（ステップＳ１０４）。なお、処理対象領域の設定には、開始座標および終了座標が含まれる。

ＣＰＵ部４は、読出した処理対象領域に含まれる画素の中から初期値として処理対象の画素を選択する（ステップＳ１０６）。そして、ＣＰＵ部４は、選択した処理対象の画素を中心とした処理マスクを規定する（ステップＳ１０８）。さらに、ＣＰＵ部４は、主記憶部８から、規定した処理マスクに含まれる画素（処理対象の画素を含む）の各々におけるＲＧＢ情報を読出し（ステップＳ１１０）、その読出したＲＧＢ情報に基づいて、各画素の明るさを取得する（ステップＳ１１２）。

次に、ＣＰＵ部４は、設定された処理種別を判断する（ステップＳ１１４）。「膨張処理」が設定されている場合（ステップＳ１１４において「膨張処理」の場合）には、ＣＰＵ部４は、算出したそれぞれの画素の明るさを互いに比較し、最大値をとる明るさをもつ画素を抽出する（ステップＳ１１６）。

「収縮処理」が設定されている場合（ステップＳ１１４において「収縮処理」の場合）には、ＣＰＵ部４は、算出したそれぞれの画素の明るさを互いに比較し、最小値をとる明るさをもつ画素を抽出する（ステップＳ１１８）。

「中間処理」が設定されている場合（ステップＳ１１４において「中間処理」の場合）には、ＣＰＵ部４は、算出したそれぞれの画素の明るさを互いに比較し、中間値をとる明るさをもつ画素を抽出する（ステップＳ１２０）。

なお、ステップＳ１１６，Ｓ１１８，Ｓ１２０において、抽出する候補となる画素が複数存在する場合には、ＣＰＵ部４は、上述したように予め設定された優先条件に従い、複数存在する画素の中から１つの画素を抽出してもよい。

ＣＰＵ部４は、いずれかの画素を抽出すると（ステップＳ１１６，Ｓ１１８，Ｓ１２０）、主記憶部８から抽出した画素に対応するＲＧＢ情報を読出し、選択中の処理対象の画素に対応するＲＧＢ情報として主記憶部８に格納する（ステップＳ１２２）。

その後、ＣＰＵ部４は、処理対象領域に含まれるすべての画素を処理対象の画素として選択したか否かを判断する（ステップＳ１２４）。すべての画素を処理対象の画素として選択していない場合（ステップＳ１２４においてＮＯの場合）には、ＣＰＵ部４は、別の画素を処理対象の画素に選択する（ステップＳ１２６）。そして、ＣＰＵ部４は、ステップＳ１２４においてＹＥＳとなるまで、上述のステップＳ１０８〜Ｓ１２２を繰返し実行する。

すべての画素を処理対象の画素として選択している場合（ステップＳ１２４においてＹＥＳの場合）には、ＣＰＵ部４は、主記憶部８に格納される置換後のＲＧＢ情報を読出し、置換後のＲＧＢ情報から生成される置換後の画像データを表示部３などに出力する（ステップＳ１２８）。そして、ＣＰＵ部４は、処理を終了する。

なお、上述のこの発明の実施の形態についての説明においては、撮像部２からカラー画像を取得する構成について説明したが、この構成に限られることはない。たとえば、主記憶部８、補助記憶部５または記録媒体１２などに予め格納されているカラー画像を取得して、同様の処理を行なうようにしてもよい。このような構成によれば、同一のカラー画像に対して、膨張処理または収縮処理を繰返し実行することが可能となり、より高いノイズ抑制効果を実現できる。

また、上述のこの発明の実施の形態についての説明においては、外部からの処理種別の設定に応じて、膨張処理、収縮処理および中間処理のいずれかを選択的に実行する構成について説明したが、膨張処理、収縮処理または中間処理のいずれか１つだけを実行するような構成であっても同様の効果を得られることは言うまでもない。

また、上述のこの発明の実施の形態についての説明においては、パターンサーチやエッジ検出などの処理について言及しなかったが、ＣＰＵ部４は、置換後のカラー画像を生成した後、その生成したカラー画像に基づいて、パターンサーチやエッジ検出などの処理を実行するようにしてもよい。さらに、ＣＰＵ部４は、外部インターフェイス１０を介して、パターンサーチやエッジ検出などの処理を実行する他の画像処理装置に生成した置換後のカラー画像のデータを出力するようにしてもよい。

また、上述のこの発明の実施の形態についての説明においては、色情報として、光の三原色に基づく「赤色」「緑色」「青色」からなるＲＧＢ情報を用いる構成について説明したが、この構成に限られず、たとえば、光の三原色の補色である「シアン」「マゼンダ」「黄色」からなるＣＭＹ情報を用いてもよい。

また、上述のこの発明の実施の形態についての説明においては、特性値としてＲＧＢ情報の総和から導出される明るさを用いたが、これに限られず、ＲＧＢ情報またはＣＭＹ情報のそれぞれの値に所定の重み係数を乗じて加算した積和値や、色の属性に基づく「色相（Hue）」、「明度（Value）」、「彩度（Chroma）」の３つの色変数から導出される値を用いてもよい。

この発明の実施の形態によれば、カラー画像を構成する複数の画素の各々についてのＲＧＢ情報から明るさを導出し、その明るさに基づいて、処理対象の画素を中心とした行列状の領域に含まれる画素を互いに比較する。そして、処理種別に応じた値をもつ画素を抽出し、処理対象の画素のＲＧＢ情報をその抽出された画素のＲＧＢ情報に置換する。よって、よって、ＲＧＢ情報に含まれる赤色、緑色、青色の濃淡画像のそれぞれに対して、置換処理を実行する場合に比較して、誤ったＲＧＢ情報が生成されることがないため、有効なノイズ抑制を実現できる。

また、この発明の実施の形態によれば、同一の処理マスクに処理種別に応じた最大値、最小値および中間値のいずれかの値をもつ複数の画素が存在すると、予め設定された優先条件に従い、いずれかを優先して抽出する。そのため、ノイズ抑制に適した優先条件を設定することが可能となり、さらに、より高いノイズ抑制効果を実現できる。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１ 画像処理装置、２ 撮像部、３ 表示部、４ ＣＰＵ部、５ 補助記憶部、６ 入力部、７ 撮像部インターフェイス（撮像部Ｉ／Ｆ）、８ 主記憶部、９ 表示処理部、１０ 外部インターフェイス（外部Ｉ／Ｆ）、１１ 読取部、１２ 記録媒体、１３ バス、２０ａ，２０ｂ 画素、９０ 処理前画像、９０Ｇ，９２Ｇ 緑色画像、９０Ｒ，９２Ｒ 赤色画像、９０Ｂ，９２Ｂ 青色画像、９２ 処理後画像、９４ 偽色領域、９６Ｒ，９６Ｂ 膨張領域、１００ 画像センサ装置、ＡＲＥＡ 処理対象領域、ＥＮＤ 終点座標、ＦＭ１，ＦＭ２ フレームメモリ、Ｌ 色距離、ＭＳＫ 処理マスク、ＯＢＪ，ＰＥＬ 画素、ＳＴＡＲＴ 開始座標。

Claims (3)

1. 複数の画素から構成されるカラー画像を受け、前記複数の画素の各々について、色を規定するための独立した３つの変数を含む色情報を取得する色情報取得手段と、
   前記色情報取得手段において取得された前記色情報に基づいて、前記複数の画素の各々を表す特性値を導出する特性値導出手段と、
   前記特性値導出手段において取得された前記特性値に基づいて、前記カラー画像を構成する特定の画素の色情報を、前記特定の画素および前記特定の画素の周囲に配置された他の画素のうち、いずれかの画素の色情報に置換する置換手段と、
   前記置換手段において前記色情報が置換された後のカラー画像を出力する出力手段とを備える、画像処理装置。
2. 前記カラー画像の各画素は、対応の前記色情報に基づいて色を規定され、
   前記特性値は、互いに大小関係を比較可能な値である、請求項１に記載の画像処理装置。
3. 複数の画素から構成されるカラー画像を受け、前記複数の画素の各々について、色を規定するための独立した３つの変数を含む色情報を取得する色情報取得ステップと、
   前記色情報取得ステップにおいて取得された前記色情報に基づいて、前記複数の画素の各々を表す特性値を導出する特性値導出ステップと、
   前記特性値導出ステップにおいて取得された前記特性値に基づいて、前記カラー画像を構成する特定の画素の色情報を、前記特定の画素および前記特定の画素の周囲に配置された他の画素のうち、いずれかの画素の色情報に置換する置換ステップと、
   前記置換ステップにおいて前記色情報が置換された後のカラー画像を出力する出力ステップとからなる、画像処理方法。