JP2004173060A

JP2004173060A - Noise elimination method, image pickup device, and noise elimination program

Info

Publication number: JP2004173060A
Application number: JP2002338024A
Authority: JP
Inventors: Shinichi Arasaki; 真一荒崎
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2002-11-21
Filing date: 2002-11-21
Publication date: 2004-06-17
Anticipated expiration: 2022-11-21
Also published as: JP4178919B2

Abstract

<P>PROBLEM TO BE SOLVED: To effectively reduce the noise of an image consisting of a plurality of pixels. <P>SOLUTION: The image pickup device 1 discriminates whether a signal value of an interested pixel is a median or not in each small matrix of a prescribed size of a sensor output matrix being output signals of a single CCD imaging sensor 20, and averaging the pixels having signal values approximating the signal value of the interested pixel and the interested pixel is performed when it is not a median. Proper filter processing can be performed even for the areas where images are smoothly changed (gradation parts), and the loss of information in details is lessened. Consequently, a situation that unnatural patterns occur or the like is avoided and images holding information are obtained while maintaining the noise elimination effect of averaging approximately. <P>COPYRIGHT: (C)2004,JPO

Description

【０００１】
【発明の属する技術分野】
本発明は、複数の画素により構成された画像のノイズを軽減するためのノイズ除去方法、撮像装置およびノイズ除去プログラムに関する。
【０００２】
【従来の技術】
従来、ＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）やＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）等から構成される単板式のカラー撮像センサを備えた撮像装置等において、撮影された画像のノイズを除去するための処理が行われている。
【０００３】
撮影画像のノイズを除去する方法として、例えば、単板式撮像センサの出力信号から生成された画像（色補間等を施した完成画像）に対し、ＬＰＦ（ＬｏｗＰａｓｓＦｉｌｔｅｒ）を用いて処理する方法や、メディアンフィルタを用いて処理する方法が知られている。
例えば、特開平４−２３５４７２号公報には、メディアンフィルタによってデジタル画像データのノイズ除去を行う技術が開示されている。
【０００４】
また、特開２００１−１４４９６４号公報には、画像の変化を関数近似し、近似データを元の画像データと置換することにより、ノイズを除去する技術が開示されている。
さらに、特開２００１−１８６３７９号公報には、画像に含まれるノイズのレベルを算出し、そのノイズレベルに従って、重み付けをした平均を行うことによってノイズを除去する技術が開示されている。
【０００５】
【特許文献１】
特開平４−２３５４７２号公報
【特許文献２】
特開２００１−１４４９６４号公報
【特許文献３】
特開２００１−１８６３７９号公報
【０００６】
【発明が解決しようとする課題】
しかしながら、特開平４−２３５４７２号公報に記載された技術は、メディアンフィルタを用いることから、画像中の孤立点が、フィルタ処理の結果、失われやすいと言う問題があった。
また、特開２００１−１４４９６４号公報に記載された技術は、画像の変化を近似するための関数を取得する必要があるが、その関数を算出する処理が複雑であり、また、モザイク状に情報が配列された画像（例えば、ＲＧＢ方式の各色の画像）に対応していないと言う問題があった。
【０００７】
さらに、特開２００１−１８６３７９号公報に記載された技術は、ノイズレベルに応じた重み付け平均を行う処理が複雑となり、場合によっては、割り算器が必要となるという問題があった。また、滑らかに画像が変化するグラデーション部分において、適切な処理が実現できない場合が生じ得た。
本発明の課題は、複数の画素により構成される画像のノイズを効果的に低減することである。
【０００８】
【課題を解決するための手段】
以上の課題を解決するため、本発明は、
複数の画素により構成された画像のノイズ除去方法であって、処理対象画素を含む所定の周囲画素（例えば、図３に示す３×３の小行列）について、処理対象画素（例えば、図３の小行列中、中央に位置する注目画素）の信号値がメディアンであるか否かを判定し、メディアンであると判定した場合、処理対象画素の信号値を出力し、メディアンでないと判定した場合、前記周囲画素のうち、処理対象画素の信号値との差分が所定範囲である信号値を有する所定画素と処理対象画素とで平均化処理を行い、処理結果である平均値を出力するノイズ除去処理を施すことを特徴としている。
ここで、処理対象画素の信号値がメディアンであるか否かを判定する場合における「メディアン」には、メディアンそのものである場合に加え、メディアン付近の信号値である場合を含めることが可能である。「メディアン付近の信号値」とは、例えば、メディアンの前後所定範囲（１つあるいは２つ等）までの順序に位置するものや、メディアンの信号値から所定の閾値以内のものを意味する。
【０００９】
また、複数の画素により構成された画像のノイズ除去を行う撮像装置であって、処理対象画素を含む所定の周囲画素について、処理対象画素の信号値がメディアンであるか否かを判定し、メディアンであると判定した場合、処理対象画素の信号値を出力し、メディアンでないと判定した場合、前記周囲画素のうち、処理対象画素の信号値との差分が所定範囲である信号値を有する所定画素と処理対象画素とで平均化処理を行い、処理結果である平均値を出力するノイズ除去処理を施すことを特徴としている。
【００１０】
また、複数の画素により構成された画像のノイズ除去を行うためのノイズ除去プログラムであって、処理対象画素を含む所定の周囲画素について、処理対象画素の信号値がメディアンであるか否かを判定し、メディアンであると判定した場合、処理対象画素の信号値を出力し、メディアンでないと判定した場合、前記周囲画素のうち、処理対象画素の信号値との差分が所定範囲である信号値を有する所定画素と処理対象画素とで平均化処理を行い、処理結果である平均値を出力するノイズ除去処理を施す機能をコンピュータに実現させることを特徴としている。
本発明によれば、複数の画素により構成された画像において、所定の周囲画素（所定サイズの小行列）毎に、処理対象画素の信号値がメディアンであるか否かを判定し、メディアンでない場合には、処理対象画素の信号値と近い信号値を有する画素と処理対象画素との平均化処理を行う。
【００１１】
したがって、滑らかに画像が変化している領域（グラデーション部分）であっても、適切なフィルタ処理を行うことができるため、平均化処理のノイズ除去効果をほぼ維持しながら、不自然な模様が発生する事態等を避けることができる。また、画像内にライン等のエッジを含む場合であっても、エッジ部分の画素については、エッジとして適確な周囲の画素を選択して平均化処理を行う。そのため、エッジ検出のような特別の処理を行うことなくエッジを維持することができ、フィルタ処理により、ラインの一部が欠落するといった事態を避けることができる。即ち、細部の情報を維持しながら、適切なノイズ除去を行うことが可能となる。
【００１２】
また、前記平均化処理では、前記周囲画素において、処理対象画素の信号値との差分が所定の閾値未満である画素を選択し、選択された画素と処理対象画素の信号値の平均値を取得することを特徴としている。
本発明によれば、所定の周囲画素において、信号値の閾値によって、処理対象画素の信号値と近い信号値を有する画素を選択することができる。
【００１３】
また、前記平均化処理では、前記周囲画素の信号値と前記処理対象画素の信号値との差分に関する複数の閾値（例えば、発明の実施の形態中の「閾値ｔｈ０，ｔｈ１」等）と、該閾値に応じた重み付け係数とを設定し、前記複数の閾値に基づいて、前記周囲画素それぞれについて、処理対象画素の信号値との差分に応じた前記重み付け係数を加味した重み付け平均を行うことを特徴としている。
【００１４】
本発明によれば、所定の周囲画素において、処理対象画素との近似度に応じた適切な重みを加えて、平均値を得ることができる。
また、前記画像は、所定方式（例えば、ＲＧＢ方式あるいはＣｙＹｅＭｇＧｒ方式等）に基づく異なる成分の色信号（例えば、ＲＧＢ方式におけるＲ信号、Ｇ信号あるいはＢ信号等）を出力する撮像素子を、所定パターンに配列した単板式撮像センサによって撮影され、該異なる成分の色信号のうち、少なくとも１つの成分の色信号について前記ノイズ除去処理を施すことを特徴としている。
【００１５】
本発明によれば、単板式撮像センサによって撮影された画像に対し、効率的かつ適切にノイズ除去処理を行うことができる。
また、前記周囲画素について、処理対象画素の信号値がメディアンであるか否かを判定する際に、該周囲画素における所定位置に配置された特定画素（例えば、図１１に示す行列のうち、斜線で示す画素）を対象として判定を行い、前記平均化処理を行う場合には、該特定画素あるいは前記周囲画素全体の少なくともいずれかを対象として処理を行うことを特徴としている。
【００１６】
ここで、特定画素の配置は、処理対象画素の信号値が「メディアンそのもの」となるか否かが明確に判定可能なように選択される。即ち、図１１に示す斜線の画素のように、発明の実施の形態における３×３のＧ信号の行列に相当する配置をはじめ、周辺画素において、処理対象画素と近似すると考えられる画素を含まず、かつ、処理対象画素の周辺を均等に囲むような配置が選択される。
【００１７】
本発明によれば、周囲画素について、処理対象画素の信号値がメディアンであるか否かを判定する際に、処理対象画素の信号値に近似する信号値を有する画素がメディアンと判定されることを防ぐことができる。即ち、処理対象画素の信号値が「メディアンそのもの」であるか否かを判定することにより、平均化処理を行うか否かについて、適切に判定を行うことが可能となる。
また、複数の画素により構成された画像のノイズ除去方法であって、処理対象画素の信号値が、処理対象画素を含む所定の周囲画素の信号値における平均値であるか否かを判定し、平均値であると判定した場合、処理対象画素の信号値を出力し、平均値でないと判定した場合、前記周囲画素のうち、処理対象画素の信号値との差分が所定範囲である信号値を有する所定画素と処理対象画素とで平均化処理を行い、処理結果である平均値を出力するノイズ除去処理を施すことを特徴としている。
また、複数の画素により構成された画像のノイズ除去を行う撮像装置であって、処理対象画素の信号値が、処理対象画素を含む所定の周囲画素の信号値における平均値であるか否かを判定し、平均値であると判定した場合、処理対象画素の信号値を出力し、平均値でないと判定した場合、前記周囲画素のうち、処理対象画素の信号値との差分が所定範囲である信号値を有する所定画素と処理対象画素とで平均化処理を行い、処理結果である平均値を出力するノイズ除去処理を施すことを特徴としている。
【００１８】
また、複数の画素により構成された画像のノイズ除去を行うためのノイズ除去プログラムであって、処理対象画素の信号値が、処理対象画素を含む所定の周囲画素の信号値における平均値であるか否かを判定し、平均値であると判定した場合、処理対象画素の信号値を出力し、平均値でないと判定した場合、前記周囲画素のうち、処理対象画素の信号値との差分が所定範囲である信号値を有する所定画素と処理対象画素とで平均化処理を行い、処理結果である平均値を出力するノイズ除去処理を施す機能をコンピュータに実現させることを特徴としている。
ここで「平均値」とは、厳密に数値が平均値と一致する意味ではなく、平均値として採用することにより、本発明の効果を得ることができる一定範囲の値を意味する。
【００１９】
例えば、厳密な平均値と上位２桁が一致する値や、小数点以下を無視し、整数部分が一致する値等とすることが可能である。
本発明によれば、メディアンに近い値であり、かつ、算出する際の処理負荷が小さい平均値を用いて、メディアンを用いた場合とほぼ同程度、平均化処理のノイズ除去効果をほぼ維持しながら、不自然な模様が発生する事態等を避けると言う効果を得ることができる。また、画像内にライン等のエッジを含む場合であっても、エッジ部分の画素については、エッジとして適確な周囲の画素を選択して平均化処理を行う。そのため、エッジ検出のような特別の処理を行うことなくエッジを維持することができ、フィルタ処理により、ラインの一部が欠落するといった事態を避けることができる。即ち、画質を維持しながら、適切なノイズ除去を行うことが可能となる。
【００２０】
【発明の実施の形態】
以下、図を参照して本発明に係る撮像装置の実施の形態を説明する。
初めに、本発明に係る撮像装置において使用するノイズ除去方法について説明する。
本発明に係る撮像装置において使用するノイズ除去方法では、撮像装置に備えられた単板式撮像センサの出力信号に対し、色補間（一画素が一色からなるデータを一画素が三色からなるカラーデータに変換する処理）等を行う以前に、所定のノイズ除去処理を施す。なお、このように、単板式撮像センサの出力信号に対してノイズ除去処理を行うことにより、色補間等を行った後の完成画像にノイズ除去処理を施す場合に比べ、処理に必要なメモリを削減することができる。
【００２１】
以下、具体的な方法について説明する。
単板式撮像センサは、各色信号を出力する撮像素子が、モザイク状に配列された構成である。即ち、単板式撮像センサは、原色フィルタ方式（ＲＧＢ方式）の色信号におけるＲ信号を出力する撮像素子およびＧ信号を出力する撮像素子が交互に所定数配列された行（以下、「ＲＧライン」と言う。）と、同様に、Ｇ信号を出力する撮像素子およびＢ信号を出力する撮像素子が交互に所定数配列された行（以下、「ＧＢライン」と言う。）とが列方向に繰り返し配列されることによって構成されている。
【００２２】
なお、単板式撮像センサは、ＲＧＢ方式の色信号を出力する場合の他、補色フィルタ方式（ＣｙＹｅＭｇＧｒ方式）等の他の色信号を出力する場合であっても本発明が適用可能である。このとき、上述のＲＧラインおよびＧＢラインに相当するラインは、それぞれの方式に対応する色信号の配列となり、例えば、ＣｙＹｅＭｇＧｒ方式の場合、Ｃｙ（シアン）信号を出力する撮像素子およびＹｅ（イエロー）信号を出力する撮像素子が交互に配列されたＣｙＹｅラインと、Ｍｇ（マゼンダ）信号を出力する撮像素子およびＧｒ（グリーン）信号を出力する撮像素子が交互に配列されたＭｇＧｒラインとなる。以下、単板式撮像センサがＲＧＢ方式の色信号を出力するものとして説明する。
【００２３】
この場合、ＲＧＢ方式の単板式撮像センサの出力として、各ＲＧラインおよびＧＢラインにおける撮像素子それぞれの出力信号値からなる配列（以下、「センサ出力行列」と言う。）が得られる。
図１は、センサ出力行列を示す概念図である。図１において、各行列要素（以下、適宜「撮像画素」と言う。）は、Ｒ，Ｇ，Ｂいずれかの信号値のみを含むものである。
【００２４】
ところで、従来、画像にメディアンフィルタによる処理を行った場合、画像のエッジ等の情報が比較的残りやすいという特徴を有するものの、画像の形態によっては、細い線や孤立点などの情報が失われる事態が生ずる。
例えば、３×３のＧ信号の小行列に対し、図２に示すようにラインが交差している場合、中央のＧ信号は、ラインを示す信号値となり、他のＧ信号は、ライン以外の部分を示す信号値となる。したがって、この小行列を単位としてメディアンフィルタによる処理を施すと、メディアンは、ラインを表す信号値（斜線部分の信号値）ではなく、周囲の信号値（白色部分の信号値）となり、ラインの一部が欠落することとなる。
【００２５】
そこで、本方法においては、注目する画素の周囲に位置する画素のうち、注目する画素の信号値に近い信号値を有する画素を選択して、これらの画素と注目する画素の信号値の平均をフィルタ出力とする。
例えば、図３に示すセンサ出力行列の一部であるＧ信号の小行列（３×３行列）において、中央の注目画素βの信号値と、周囲の画素α１〜α４それぞれの信号値との差分を算出し、その差分が所定の閾値ｔｈより小さい画素の信号値および注目画素の信号値を平均化する。
【００２６】
このように、注目画素に近い信号値を有する画素との平均を取ることとするのは、ノイズが加わった場合であっても、注目画素の信号値を信頼できるものと想定し、その値に近い画素の信号値によって補間を行うことが適切であると考えられるためである。
このような処理を行った場合、図２に示すようなラインを含む場合であっても、ライン上の画素の信号値（図２においては、中央の斜線部分の信号値であり、小行列を拡張した場合にはライン上の複数の画素の信号値）のみが平均に用いられ、注目画素にある程度ノイズが加えられた場合であっても、ラインの一部が欠落することなく、適切なノイズ除去を行うことが可能となる。
【００２７】
ただし、このように、注目画素と近い信号値を有する画素との平均を取ることとすると、滑らかに変化する画像（グラデーション部分）において、不自然な模様が発生する場合が起こり得る。
例えば、図４に示すグラデーション部分において、ノイズがなく、画像が一様に変化している場合、３×３のＧ信号の小行列における信号値は、図５に示すような状態となる。図５に示す信号値である場合、閾値ｔｈ＝１０に設定すると、中央の注目画素の信号値との差分が１０未満である画素は、中央列に位置する画素（図５においては中央の注目画素であり、小行列を拡張した場合には中央列に位置する複数の画素）となり、注目画素にノイズが加えられたとしても、注目画素本来の信号値に近い平均値が算出されることとなる。
【００２８】
しかし、図４に示すグラデーション部分において、ノイズが加えられることにより、上述の３×３の小行列の信号値が、図６に示すような状態となったとすると、平均化の対象となる画素は、注目画素を含む中央列およびその右の列に含まれる３つの画素となる。
一方、同様に、上述の３×３の小行列の信号値が、図７に示すような状態となったとすると、平均化の対象となる画素は、注目画素を含む中央列およびその左の列に含まれる３つの画素となる。
【００２９】
即ち、注目画素に加えられたノイズが信号値を増大させるものである場合、小行列において、より大きい信号値を有する画素と平均化され、注目画素に加えられたノイズが信号値を減少させるものである場合、小行列において、より小さい信号値を有する画素と平均化される。
つまり、注目画素に加えられたノイズの影響を強調するように、その影響が現れる場合がある。
【００３０】
また、以上のような注目画素に対するノイズに限らず、異なる影響を及ぼすノイズによって、平均化される値が、隣接する画素データにおいて大きく変動する場合がある。このような状態において処理された領域は、画素毎に値が激しく変動し、本来再現されるべき滑らかな変化とはならない。
そこで、本方法においては、さらに処理の修正を加えることとし、注目画素の信号値が、小行列に含まれる画素の信号値におけるメディアンである場合には、その信号値をそのまま出力し、平均化処理を行わないこととする。
【００３１】
一方、注目画素の信号値がメディアンでない場合には、注目画素の信号値に近い信号値を有する画素との平均化処理を行うが、この場合、上述した閾値ｔｈを１つに設定して平均化する画素を選択する。
即ち、３×３の小行列において、注目画素の信号値との差分が閾値ｔｈ未満であれば、重み付け係数を“１．０”とし、注目画素の信号値との差分が閾値ｔｈ以上であれば、重み付け係数を“０”と択一的に設定する。
【００３２】
このように、本発明に係るノイズ除去方法においては、第１段階の処理として、センサ出力行列から抽出された小行列の注目画素について、注目画素の信号値が、小行列に含まれる画素の信号値におけるメディアンであるか否かを判定し、メディアンである場合には、その信号値をそのまま用い、メディアンでない場合には、第２段階の処理を行う。
【００３３】
第２段階の処理として、小行列に含まれる画素のうち、注目画素の信号値との差分が、所定の閾値未満である画素と注目画素との平均化を行い、その平均値を注目画素の信号値とする。このとき、単一の閾値を設定し、その閾値に基づいて、注目画素の信号値と近い信号値を有する画素を選択し、平均化処理を行ったり、後述するように複数の閾値を設定し、その閾値に基づいて選択された画素の信号値を、閾値に応じた重み付けを行った上で、平均化処理を行ったりすることが可能である。
【００３４】
なお、以上の説明においては、小行列として３×３の行列を想定したが、例えば、ＲＧＢ方式に基づく色信号であれば、図８に示すように、センサ出力行列のうち、Ｇ信号のみを要素とする行列（以下、「Ｇ行列」と言う。）においては、３×３あるいは３×５といった小行列とすることができ、センサ出力行列のうち、Ｒ信号あるいはＢ信号のみを要素とする行列（以下、それぞれ「Ｒ行列」、「Ｂ行列」と言う。）においては、１×５あるいは１×９といった小行列とすることができる。
【００３５】
このとき、Ｇ信号について、５×５の小行列のように、３×３の小行列より拡大する場合、ノイズが加えられることにより、注目画素と同一の列に含まれる他の画素の信号値がメディアンとなることも想定される（図９参照）。そのため、このように小行列を拡大する場合には、第１段階の処理において、注目画素の信号値がメディアンであるか否かを判定する代わりに、メディアンもしくはメディアン付近の信号値であるか否かを判定することにより、適切な処理を選択することが可能となる。メディアン付近の信号値であるか否かは、注目画素の信号値が、メディアンの前後１つあるいは２つまでの順序に位置することや、メディアンの信号値から所定の閾値以内の信号値であることを具体的基準として判定することが可能である。
【００３６】
また、以上の説明においては、色信号がモザイク状に配列された行列を対象として説明したが、色信号が一様に配列された行列を対象として本発明に係るノイズ除去方法を施す場合にも、ノイズが加えられることにより、注目画素と同一の列に含まれる他の画素がメディアンとなることも想定される（図１０参照）。
したがって、この場合にも、上述した判定方法（メディアンもしくはメディアン付近の信号値であるか否かを判定する方法）を用いることにより、適切な処理を選択することが可能となる。
【００３７】
さらに、他の方法として、色信号が一様に配列された行列を対象とする場合にも、これらの行列要素の中から、図１１に示すように、Ｇ信号の３×３の小行列のようなモザイク状の撮像画素を選択し、それらの画素からなる小行列を対象として、注目画素の信号値がメディアンであるか否かを判定することも可能である。
【００３８】
この方法は、色信号が一様に配列された行列を対象とする場合に限らず、色信号がモザイク状に配列された行列において、Ｇ信号について、５×５の小行列のように拡大する場合にも有効である。即ち、Ｇ行列において、Ｇ信号の小行列を図１２のように選択し、この小行列を対象として、注目画素の信号値がメディアンであるか否かを判定することが可能である。
【００３９】
なお、図１１あるいは図１２に示すように小行列を選択した場合、第２段階の処理として平均化処理を行う際には、モザイク状に選択した撮像画素のみではなく、小行列の範囲に含まれる他の画素も対象として、平均化処理を行うことが適当である。
ここで、本発明に係るノイズ除去方法を適用する場合の動作例について、図を参照して説明する。
【００４０】
図１３は、注目画素がＧ信号からなる場合において、３×３の小行列を対象として、ノイズ除去を行う場合の動作を示す概念図である。
図１３において、第１段階の処理として、注目画素の信号値が、小行列に含まれる画素の信号値におけるメディアンであるか否かを判定する。
そして、注目画素の信号値が、小行列に含まれる画素の信号値におけるメディアンであると判定された場合には、注目画素の信号値をそのまま出力値とする。
【００４１】
一方、注目画素の信号値が、小行列に含まれる画素の信号値におけるメディアンでないと判定された場合には、第２段階の処理として、小行列に含まれる画素のうち、注目画素の信号値との差分が、所定の閾値未満である画素と注目画素との平均化を行い、その平均値を出力値とする。このとき、単一の閾値を設定することおよび複数の閾値を設定することが可能である。
この他、複数の閾値（ｔｈ０、ｔｈ１、ｔｈ２・・・）を設定し、閾値に応じて、注目画素の信号値に、より近い信号値を有するものは比重をより高くするというように、重み付け平均を行うことが可能である。
【００４２】
具体的には、３×３の小行列において、注目画素の信号値との差分が閾値ｔｈ０＝０である画素については、重み付け係数を“１．０”とし、注目画素の信号値との差分が、閾値ｔｈ０より大きく閾値ｔｈ１未満であれば、重み付け係数を“０．７５”とし、同様に、閾値ｔｈ２，ｔｈ３を境界として、重み付け係数を“０．５”、“０．２５”と段階的に設定することが可能である。
【００４３】
次に、本方法を使用した撮像装置１の構成を説明する。
図１４は、本実施の形態に係る撮像装置１の構成を示すブロック図である。図１４において、撮像装置１は、被写体からの光を収束させるレンズ１０と、レンズ１０によって収束された光を検出する単板式撮像センサ２０と、単板式撮像センサ２０によって出力された色信号（ＲＧＢ信号）に対し、ノイズ除去処理を行うノイズ除去部３０とを含んで構成される。なお、撮像装置１は、色補間、色空間変換等を行う他の機能部を適宜含むものであるが、これらの機能部については従来と同様であるため説明を省略する。
【００４４】
単板式撮像センサ２０は、ＲＧラインおよびＧＢラインが列方向に繰り返し配列された構成を有している。
ノイズ除去部３０は、単板式撮像センサ２０から出力される信号のうち、Ｇ行列、Ｒ行列およびＢ行列を保持し、各行列について、小行列を単位として、本発明に係るノイズ除去処理を施す。
【００４５】
ここで、本発明に係るノイズ除去処理においては、平均化処理を伴うものであり、除算を行う必要があるが、除算に用いる数が“２”〜“５”等に限られるため、乗算器によって代用可能である。
即ち、“２”で除算する場合、“０．５”を乗算し、“３”で除算する場合、“０．３３３”を乗算し、“４”で除算する場合、“０．２５”を乗算し、“５”で除算する場合、“０．２”を乗算することとして、乗算器によって演算を行うことができる。
【００４６】
また、ノイズ除去部３０は、このような処理を行うために、ラインメモリ４０を備えており、Ｇ信号は３×３の小行列、Ｒ信号およびＢ信号は１×５の小行列にて処理する場合、ラインメモリ４０は、単板式撮像センサ２０の出力信号を２ライン分記憶する容量を有していればよい。
なお、ラインメモリ４０に、より多くのラインを記憶させることができるものとすると、平均化処理を行う際に参照する小行列の範囲を拡大することができ、より適切なノイズ除去を行うことができる。
【００４７】
次に、動作を説明する。
単板式撮像センサ２０は、ラスタスキャン方式によって撮像画素を順次出力する。即ち、単板式撮像センサ２０は、センサ出力行列の各行の撮像画素を一定方向に順に出力する。
すると、ノイズ除去部３０は、ラインメモリ４０に記憶している一ライン前と二ライン前のデータと単板式撮像センサ２０の出力信号を用いて、Ｇ行列、Ｒ行列およびＢ行列に対し、本発明のノイズ除去方法に係るノイズ除去処理（即ち、注目画素の信号値が小行列におけるメディアンであるか否かの判定および所定の平均化処理）を施し、Ｇ信号、Ｒ信号およびＢ信号の画素それぞれについて、ノイズ除去を行ったＲＧＢ信号値を生成する。そして、処理が終わった不要なラインメモリ４０上のデータにかわり、単板式撮像センサ２０の出力信号をラインメモリ４０に記憶していく。
【００４８】
次いで、ノイズ除去部３０にて生成されたＲＧＢ信号を用いて、色補間などの処理が行われ、完成画像が生成される。
以上のように、本実施の形態に係る撮像装置１は、単板式撮像センサ２０の出力信号であるセンサ出力行列において、所定サイズの小行列毎に、注目画素の信号値がメディアンであるか否かを判定し、メディアンでない場合には、注目画素の信号値と近い信号値を有する画素と注目画素との平均化処理を行う。
【００４９】
したがって、滑らかに画像が変化している領域（グラデーション部分）であっても、適切なフィルタ処理を行うことができるため、平均化処理のノイズ除去効果をほぼ維持しながら、不自然な模様が発生する事態等を避けることができる。また、画像内にライン等のエッジを含む場合であっても、エッジ部分の画素については、エッジとして適確な周囲の画素を選択して平均化処理を行う。そのため、エッジ検出のような特別の処理を行うことなくエッジを維持することができ、フィルタ処理により、ラインの一部が欠落するといった事態を避けることができる。
【００５０】
即ち、撮像装置１によって、必要な情報を維持しながら、適切なノイズ除去を行うことが可能となる。
ここで、画質を、基準となる画像の画素とのばらつき（標準偏差）によって表すこととすると、本発明に係るノイズ除去方法を用いることにより、ある条件下において基準となる画像（例えば、マクベスチャートの２番目に明るいパッチの画像等）に対する標準偏差は、以下のようになった。
【００５１】
即ち、▲１▼意図的なノイズを加える前は “１．９７”、▲２▼シミュレーションにより発生させたノイズを付加した場合は“２．８３”、▲３▼メディアンフィルタによるノイズ除去を施した場合は“２．１２”、▲４▼平均化処理を施した場合は“１．９４”、▲５▼本発明に係るノイズ除去処理を施した場合は“２．００”となる。ただし、ここに示す標準偏差は、３×３のＧ信号の小行列に対して各フィルタ処理（ノイズ除去処理）を行った場合の例である。
【００５２】
また、ここに示す標準偏差は、値が小さいほどノイズが少ないことを意味し、上述の結果においては、▲３▼メディアンフィルタによるノイズ除去を施した場合より、▲５▼本発明に係るノイズ除去処理を施した場合の方が、高いノイズ除去効果が得られている。さらに、本発明に係るノイズ除去処理を施す場合には、滑らかに変化している領域（グラデーション部分）において、不自然な模様が発生する事態を防ぐことができるという利点があるため、メディアンフィルタによる処理より適切にノイズ除去を行うことができると言える。
【００５３】
なお、小行列を３×５に拡大した場合、さらにノイズ除去効果を高めることができ、上述の標準偏差は、“１．９２”となる。
また、撮像装置１は、単板式撮像センサ２０の出力信号にフィルタ処理を行うため、色補間等を行った後の完成画像にフィルタ処理を施す場合に比べ、必要となるメモリを大幅に削減することができる。
【００５４】
また、小行列のサイズをより大きくすることとすると、より滑らかな画像を得ることができる。
なお、本実施の形態においては、主にＲＧＢ方式の色信号を対象として説明したが、補色フィルタ方式等、他の方式の色信号を対象とすることも可能である。また、本実施の形態においては、第１段階の処理として、注目画素の信号値が、小行列に含まれる画素の信号値におけるメディアンであるか否かを判定することとしたが、メディアンは、平均値と近い値となる傾向にある。
【００５５】
そのため、注目画素の信号値が、小行列に含まれる画素の信号値の平均値に近い値である場合には、注目画素の信号値をそのまま用い、信号値の平均値に近い値でない場合には、第２段階の処理を行うこととしてもよい。
このような処理とした場合にも、グラデーション部分において、不自然な模様が発生する事態を防止する一定の効果を奏することとなる。
【図面の簡単な説明】
【図１】センサ出力行列を示す概念図である。
【図２】ラインを含む小行列を示す図である。
【図３】センサ出力行列の一部である小行列を示す図である。
【図４】グラデーション部分を示す模式図である。
【図５】グラデーション部分における小行列の信号値を示す図である。
【図６】グラデーション部分におけるノイズを含む場合の小行列の信号値の一例を示す図である。
【図７】グラデーション部分におけるノイズを含む場合の小行列の信号値の他の例を示す図である。
【図８】センサ出力行列における小行列の例を示す図である。
【図９】色信号がモザイク状に配列された小行列において、注目画素と同一列に含まれる他の画素の信号値がメディアンとなる場合の例を示す図である。
【図１０】色信号が一様に配列された小行列において、注目画素と同一列に含まれる他の画素の信号値がメディアンとなる場合の例を示す図である。
【図１１】色信号が一様に配列された行列において、モザイク状に小行列の画素を選択する場合の例を示す図である。
【図１２】色信号がモザイク状に配列されたＧ信号の小行列を拡大する場合に、３×３の小行列と同様に画素を選択する場合の例を示す図である。
【図１３】注目画素がＧ信号からなる場合において、３×３の小行列を対象として、ノイズ除去を行う場合の動作を示す概念図である。
【図１４】本実施の形態に係る撮像装置１の構成を示すブロック図である。
【符号の説明】
１撮像装置，１０レンズ，２０単板式撮像センサ，３０ノイズ除去部，４０ラインメモリ[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a noise elimination method, an imaging device, and a noise elimination program for reducing noise of an image composed of a plurality of pixels.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, a process for removing noise from a captured image is performed in an image pickup apparatus or the like including a single-plate type color image sensor including a charge coupled device (CCD), a complementary metal oxide semiconductor (CMOS), or the like. ing.
[0003]
As a method of removing noise from a captured image, for example, a method of processing an image (a completed image subjected to color interpolation or the like) generated from an output signal of a single-chip image sensor using an LPF (Low Pass Filter), A processing method using a median filter is known.
For example, Japanese Patent Laying-Open No. 4-235472 discloses a technique for removing noise from digital image data using a median filter.
[0004]
Also, Japanese Patent Application Laid-Open No. 2001-144964 discloses a technique for removing noise by approximating a change in an image by a function and replacing the approximate data with the original image data.
Furthermore, Japanese Patent Application Laid-Open No. 2001-186379 discloses a technique of calculating the level of noise included in an image and performing weighted averaging according to the noise level to remove the noise.
[0005]
[Patent Document 1]
JP-A-4-235472
[Patent Document 2]
JP 2001-144964 A
[Patent Document 3]
JP 2001-186379 A
[0006]
[Problems to be solved by the invention]
However, the technique described in Japanese Patent Application Laid-Open No. 4-235472 has a problem that an isolated point in an image is easily lost as a result of the filter processing because a median filter is used.
In the technique described in Japanese Patent Application Laid-Open No. 2001-144964, it is necessary to obtain a function for approximating a change in an image. However, the process of calculating the function is complicated, and the information is mosaic-like. Does not correspond to an image in which are arranged (for example, an image of each color in the RGB system).
[0007]
Furthermore, the technique described in Japanese Patent Application Laid-Open No. 2001-186379 has a problem that the process of performing weighted averaging according to the noise level becomes complicated, and in some cases, a divider is required. Further, in a gradation portion where an image changes smoothly, there may be a case where appropriate processing cannot be realized.
An object of the present invention is to effectively reduce noise of an image formed by a plurality of pixels.
[0008]
[Means for Solving the Problems]
In order to solve the above problems, the present invention provides
This is a method for removing noise from an image composed of a plurality of pixels, wherein a predetermined surrounding pixel (for example, a 3 × 3 small matrix shown in FIG. 3) including a processing target pixel is processed. In the small matrix, determine whether the signal value of the pixel of interest located at the center) is a median, if it is determined to be a median, output the signal value of the pixel to be processed, and determine that it is not a median, Noise elimination processing for averaging a predetermined pixel having a signal value whose difference from the signal value of the processing target pixel is within a predetermined range and the processing target pixel, and outputting an average value as a processing result It is characterized by applying.
Here, “median” in the case of determining whether or not the signal value of the processing target pixel is a median may include a case where the signal value is near the median in addition to a case where the signal value is a median itself. . The “signal value near the median” means, for example, a signal located in a predetermined range (one or two or so) before and after the median and a signal value within a predetermined threshold from the signal value of the median.
[0009]
An image pickup apparatus that removes noise of an image composed of a plurality of pixels, comprising: determining whether a signal value of a pixel to be processed is a median with respect to predetermined surrounding pixels including the pixel to be processed; If it is determined that the signal value of the pixel to be processed is output, and if it is determined that the pixel is not a median, a predetermined pixel having a signal value whose difference from the signal value of the pixel to be processed is within a predetermined range among the surrounding pixels It is characterized in that an averaging process is performed between the pixel and the processing target pixel, and a noise removal process for outputting an average value as a processing result is performed.
[0010]
A noise removal program for removing noise from an image composed of a plurality of pixels, the method including determining whether a signal value of a processing target pixel is a median for a predetermined surrounding pixel including the processing target pixel. Then, when it is determined that the signal is a median, the signal value of the processing target pixel is output, and when it is determined that the signal is not the median, a signal value whose difference from the signal value of the processing target pixel in the surrounding pixels is within a predetermined range is determined. It is characterized in that the computer realizes a function of performing an averaging process between a predetermined pixel and a pixel to be processed, and performing a noise removal process of outputting an average value as a processing result.
According to the present invention, in an image composed of a plurality of pixels, it is determined whether or not a signal value of a processing target pixel is a median for each predetermined surrounding pixel (a small matrix of a predetermined size). In, an averaging process is performed between a pixel having a signal value close to the signal value of the processing target pixel and the processing target pixel.
[0011]
Therefore, even in a region where the image changes smoothly (gradation portion), an appropriate filter process can be performed, and an unnatural pattern occurs while almost maintaining the noise removal effect of the averaging process. Can be avoided. Further, even when an image includes an edge such as a line, for an edge portion pixel, an appropriate surrounding pixel is selected as an edge and an averaging process is performed. Therefore, the edge can be maintained without performing special processing such as edge detection, and a situation in which a part of a line is lost due to the filtering process can be avoided. That is, appropriate noise removal can be performed while maintaining detailed information.
[0012]
In the averaging process, a pixel having a difference between a signal value of a processing target pixel and a signal value of the processing target pixel is selected from the surrounding pixels, and an average value of signal values of the selected pixel and the processing target pixel is obtained. It is characterized by doing.
According to the present invention, it is possible to select a pixel having a signal value close to the signal value of the processing target pixel based on the threshold of the signal value in the predetermined surrounding pixels.
[0013]
Further, in the averaging process, a plurality of thresholds (for example, “threshold th0, th1” and the like in the embodiment of the present invention) relating to the difference between the signal value of the surrounding pixel and the signal value of the processing target pixel, Setting a weighting coefficient according to a threshold value, and performing a weighted average taking into account the weighting coefficient according to a difference from a signal value of a processing target pixel for each of the surrounding pixels based on the plurality of threshold values. And
[0014]
According to the present invention, an average value can be obtained by applying an appropriate weight to a predetermined surrounding pixel in accordance with the degree of approximation to the processing target pixel.
Further, the image is formed by an image sensor that outputs color signals of different components (for example, an R signal, a G signal, a B signal, or the like in the RGB system) based on a predetermined system (for example, an RGB system or a CyYeMgGr system). And the noise removal processing is performed on at least one of the color signals of the different components among the color signals of the different components.
[0015]
According to the present invention, it is possible to efficiently and appropriately perform noise removal processing on an image captured by a single-plate image sensor.
When determining whether or not the signal value of the processing target pixel is a median for the surrounding pixels, a specific pixel (for example, a hatched line in the matrix shown in FIG. When the averaging process is performed by performing the determination on the target pixel, the process is performed on at least one of the specific pixel and the entire surrounding pixels.
[0016]
Here, the arrangement of the specific pixels is selected so that it can be clearly determined whether or not the signal value of the processing target pixel is “median itself”. That is, as shown by the hatched pixels shown in FIG. 11, not only the arrangement corresponding to the matrix of the 3 × 3 G signals in the embodiment of the invention but also the peripheral pixels do not include the pixels considered to be similar to the processing target pixels. In addition, an arrangement that evenly surrounds the periphery of the processing target pixel is selected.
[0017]
According to the present invention, for a surrounding pixel, when determining whether the signal value of a processing target pixel is a median, a pixel having a signal value close to the signal value of the processing target pixel is determined to be a median. Can be prevented. That is, by determining whether or not the signal value of the processing target pixel is “median itself”, it is possible to appropriately determine whether or not to perform the averaging process.
Also, in the method for removing noise of an image composed of a plurality of pixels, it is determined whether the signal value of the processing target pixel is an average value of the signal values of predetermined surrounding pixels including the processing target pixel, When it is determined that the signal value is the average value, the signal value of the processing target pixel is output, and when it is determined that the signal value is not the average value, the signal value whose difference from the signal value of the processing target pixel in the surrounding pixels is within a predetermined range. It is characterized in that an averaging process is performed on the predetermined pixel and the processing target pixel, and a noise removal process for outputting an average value as a processing result is performed.
An image pickup apparatus that removes noise of an image composed of a plurality of pixels, and determines whether a signal value of a processing target pixel is an average value of signal values of predetermined surrounding pixels including the processing target pixel. If it is determined that it is the average value, the signal value of the processing target pixel is output, and if it is determined that it is not the average value, the difference from the signal value of the processing target pixel among the surrounding pixels is within a predetermined range. An averaging process is performed between a predetermined pixel having a signal value and a processing target pixel, and a noise removal process for outputting an average value as a processing result is performed.
[0018]
A noise removal program for removing noise from an image composed of a plurality of pixels, wherein a signal value of the processing target pixel is an average value of signal values of predetermined surrounding pixels including the processing target pixel. It is determined whether or not the signal value of the pixel to be processed is output if it is determined that the pixel value is an average value. The present invention is characterized in that a computer is provided with a function of performing an averaging process on a predetermined pixel having a signal value within a range and a processing target pixel, and performing a noise removal process of outputting an average value as a processing result.
Here, the “average value” does not mean that the numerical value exactly coincides with the average value, but means a value within a certain range in which the effects of the present invention can be obtained by adopting the average value.
[0019]
For example, a value in which the strict average value matches the upper two digits, or a value in which the decimal part is ignored and the integer part matches can be used.
According to the present invention, the noise removal effect of the averaging process is almost maintained by using an average value that is close to the median and has a small processing load at the time of calculation, and is approximately the same as the case of using the median. However, an effect of avoiding a situation where an unnatural pattern occurs or the like can be obtained. Further, even when an image includes an edge such as a line, for an edge portion pixel, an appropriate surrounding pixel is selected as an edge and an averaging process is performed. Therefore, the edge can be maintained without performing special processing such as edge detection, and a situation in which a part of a line is lost due to the filtering process can be avoided. That is, appropriate noise removal can be performed while maintaining image quality.
[0020]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, an embodiment of an imaging device according to the present invention will be described with reference to the drawings.
First, a noise removal method used in the imaging device according to the present invention will be described.
In the noise elimination method used in the imaging apparatus according to the present invention, color interpolation (data in which one pixel is composed of one color and color data in which one pixel is composed of three colors) is performed on an output signal of a single-plate imaging sensor provided in the imaging apparatus. Before performing the above-described processing, predetermined noise removal processing is performed. In this way, by performing the noise removal processing on the output signal of the single-plate type image sensor, the memory required for the processing is reduced as compared with the case where the noise removal processing is performed on the completed image after performing the color interpolation or the like. Can be reduced.
[0021]
Hereinafter, a specific method will be described.
The single-plate image sensor has a configuration in which image sensors that output respective color signals are arranged in a mosaic pattern. That is, the single-plate image sensor has a row (hereinafter referred to as an “RG line”) in which a predetermined number of image sensors that output R signals and image sensors that output G signals in a primary color filter system (RGB system) are alternately arranged. Similarly, rows in which a predetermined number of image pickup elements that output G signals and image pickup elements that output B signals are alternately arranged (hereinafter, referred to as “GB lines”) are repeated in the column direction. It is constituted by being arranged.
[0022]
The present invention is applicable to a single-plate image sensor that outputs color signals of the RGB system and also outputs other color signals such as a complementary color filter system (CyYeMgGr system). At this time, the lines corresponding to the above-described RG line and GB line have an arrangement of color signals corresponding to the respective systems. A CyYe line in which imaging elements for outputting signals are alternately arranged, and an MgGr line in which imaging elements for outputting Mg (magenta) signals and imaging elements for outputting Gr (green) signals are alternately arranged. The following description is based on the assumption that the single-plate image sensor outputs RGB color signals.
[0023]
In this case, an array (hereinafter, referred to as a “sensor output matrix”) including output signal values of the image sensor on each of the RG line and the GB line is obtained as an output of the RGB single-panel imaging sensor.
FIG. 1 is a conceptual diagram showing a sensor output matrix. In FIG. 1, each matrix element (hereinafter, appropriately referred to as “imaging pixel”) includes only one of R, G, and B signal values.
[0024]
By the way, conventionally, when an image is processed by a median filter, information such as edges of the image is relatively likely to remain, but information such as thin lines and isolated points is lost depending on the form of the image. Occurs.
For example, when the lines intersect with a small matrix of 3 × 3 G signals as shown in FIG. 2, the central G signal has a signal value indicating the line, and the other G signals have signal values other than the line. The signal value indicates the portion. Therefore, when the processing by the median filter is performed using this small matrix as a unit, the median becomes not the signal value representing the line (the signal value of the shaded portion) but the surrounding signal value (the signal value of the white portion), Part will be missing.
[0025]
Therefore, in the present method, among the pixels located around the target pixel, pixels having signal values close to the signal value of the target pixel are selected, and the average of the signal values of these pixels and the target pixel is calculated. Filter output.
For example, in the small matrix (3 × 3 matrix) of the G signal which is a part of the sensor output matrix shown in FIG. 3, the difference between the signal value of the central target pixel β and the signal values of the surrounding pixels α1 to α4. Is calculated, and the signal value of the pixel whose difference is smaller than the predetermined threshold th and the signal value of the pixel of interest are averaged.
[0026]
In this way, averaging with a pixel having a signal value close to the target pixel is based on the assumption that the signal value of the target pixel is reliable even when noise is added. This is because it is considered appropriate to perform the interpolation using the signal values of the close pixels.
When such a process is performed, even if a line as shown in FIG. 2 is included, the signal value of the pixel on the line (in FIG. 2, the signal value of the hatched portion at the center, If expanded, only the signal values of a plurality of pixels on the line) are used for averaging, and even if noise is added to the pixel of interest to some extent, the appropriate noise can be obtained without dropping part of the line. Removal can be performed.
[0027]
However, if the average of the pixel of interest and a pixel having a signal value close to the target pixel is calculated, an unnatural pattern may occur in an image (gradation portion) that changes smoothly.
For example, in the gradation portion shown in FIG. 4, when there is no noise and the image is uniformly changed, the signal values in the small matrix of the 3 × 3 G signals are as shown in FIG. If the threshold value is set to th = 10 in the case of the signal value shown in FIG. 5, the pixel whose difference from the signal value of the central target pixel is less than 10 is a pixel located in the central column (in FIG. Pixel and a plurality of pixels located in the center column when the small matrix is expanded), and even if noise is added to the target pixel, an average value close to the original signal value of the target pixel is calculated. Become.
[0028]
However, assuming that the signal value of the above-described 3 × 3 small matrix is in the state shown in FIG. 6 due to the addition of noise in the gradation part shown in FIG. 4, the pixel to be averaged is , The three pixels included in the central column including the target pixel and the right column.
On the other hand, similarly, if the signal values of the above-mentioned 3 × 3 small matrix are in the state shown in FIG. 7, the pixels to be averaged are the central column including the target pixel and the left column. Are included in three pixels.
[0029]
That is, if the noise added to the pixel of interest increases the signal value, it is averaged in the small matrix with the pixel having the larger signal value, and the noise added to the pixel of interest reduces the signal value. In the sub-matrix, it is averaged with the pixels with smaller signal values.
That is, the influence may appear so as to emphasize the influence of the noise added to the target pixel.
[0030]
In addition, the averaged value may fluctuate greatly in adjacent pixel data due to noise having different effects, not limited to the noise on the target pixel as described above. In the area processed in such a state, the value fluctuates drastically for each pixel, and does not become a smooth change that should be originally reproduced.
Therefore, in this method, the processing is further modified. If the signal value of the pixel of interest is the median of the signal values of the pixels included in the small matrix, the signal value is output as it is and the averaging is performed. No processing is performed.
[0031]
On the other hand, if the signal value of the pixel of interest is not the median, averaging is performed with pixels having a signal value close to the signal value of the pixel of interest. In this case, the above-described threshold th is set to one and the averaging process is performed. A pixel to be converted.
That is, in the 3 × 3 small matrix, if the difference from the signal value of the target pixel is less than the threshold th, the weighting coefficient is set to “1.0”, and if the difference from the signal value of the target pixel is equal to or larger than the threshold th. For example, the weighting coefficient is alternatively set to “0”.
[0032]
As described above, in the noise removal method according to the present invention, as the first-stage processing, for the target pixel of the small matrix extracted from the sensor output matrix, the signal value of the target pixel is the signal of the pixel included in the small matrix. It is determined whether the value is a median or not. If the value is a median, the signal value is used as it is. If the value is not a median, the process of the second stage is performed.
[0033]
As a process of the second stage, among the pixels included in the small matrix, the difference between the signal value of the target pixel and the pixel whose difference is less than a predetermined threshold value is averaged, and the average value of the target pixel is calculated. Let it be a signal value. At this time, a single threshold is set, and based on the threshold, a pixel having a signal value close to the signal value of the pixel of interest is selected, averaging is performed, and a plurality of thresholds are set as described later. It is also possible to perform weighting according to the threshold value on the signal value of the pixel selected based on the threshold value, and then perform an averaging process.
[0034]
In the above description, a 3 × 3 matrix is assumed as a small matrix. For example, if a color signal is based on the RGB system, only the G signal of the sensor output matrix is used as shown in FIG. A matrix as an element (hereinafter, referred to as a “G matrix”) can be a small matrix such as 3 × 3 or 3 × 5, and only an R signal or a B signal in a sensor output matrix is an element. In a matrix (hereinafter, referred to as “R matrix” and “B matrix”, respectively), a small matrix such as 1 × 5 or 1 × 9 can be used.
[0035]
At this time, when the G signal is expanded from a small matrix of 3 × 3 like a small matrix of 5 × 5, noise is added to the signal value of another pixel included in the same column as the pixel of interest. Is also assumed to be a median (see FIG. 9). Therefore, when the small matrix is expanded in this way, instead of determining whether or not the signal value of the pixel of interest is a median in the first-stage processing, whether or not the signal value is a median or a signal value near the median is determined. It is possible to select an appropriate process by determining whether or not the process is performed. Whether or not the signal value is in the vicinity of the median is that the signal value of the pixel of interest is located in the order of one or two before and after the median, or a signal value within a predetermined threshold from the signal value of the median. Can be determined as a specific criterion.
[0036]
Further, in the above description, the description has been made with respect to a matrix in which color signals are arranged in a mosaic pattern, but the noise removal method according to the present invention may be applied to a matrix in which color signals are uniformly arranged. It is also assumed that the addition of noise causes other pixels included in the same column as the target pixel to become medians (see FIG. 10).
Therefore, also in this case, it is possible to select an appropriate process by using the above-described determination method (a method of determining whether a signal value is a median or a signal value near the median).
[0037]
Further, as another method, when a matrix in which color signals are uniformly arranged is targeted, as shown in FIG. 11, a small 3 × 3 matrix of a G signal is selected from among these matrix elements. It is also possible to select such mosaic-shaped imaging pixels and determine whether or not the signal value of the target pixel is a median for a small matrix composed of those pixels.
[0038]
This method is not limited to the case where a matrix in which color signals are uniformly arranged is used, but in a matrix in which color signals are arranged in a mosaic pattern, a G signal is expanded like a 5 × 5 small matrix. It is also effective in cases. That is, in the G matrix, it is possible to select a small matrix of the G signal as shown in FIG. 12 and determine whether or not the signal value of the pixel of interest is a median for the small matrix.
[0039]
When a small matrix is selected as shown in FIG. 11 or FIG. 12, when the averaging process is performed as the second-stage process, not only the imaging pixels selected in a mosaic shape but also the range of the small matrix is included. It is appropriate to perform averaging processing on other pixels to be processed.
Here, an operation example when the noise elimination method according to the present invention is applied will be described with reference to the drawings.
[0040]
FIG. 13 is a conceptual diagram showing an operation in a case where noise removal is performed on a 3 × 3 small matrix when the pixel of interest is a G signal.
In FIG. 13, as a first-stage process, it is determined whether or not the signal value of the target pixel is a median in the signal values of the pixels included in the small matrix.
When it is determined that the signal value of the pixel of interest is a median in the signal value of the pixel included in the small matrix, the signal value of the pixel of interest is directly used as the output value.
[0041]
On the other hand, if it is determined that the signal value of the pixel of interest is not a median in the signal value of the pixel included in the small matrix, the signal value of the pixel of interest in the pixels included in the small matrix is processed as a second step. Is averaged between the pixel of interest and the pixel of interest whose value is less than a predetermined threshold value, and the average value is used as the output value. At this time, it is possible to set a single threshold and a plurality of thresholds.
In addition, a plurality of thresholds (th0, th1, th2,...) Are set, and weights are set according to the thresholds such that those having a signal value closer to the signal value of the target pixel have a higher specific gravity. It is possible to do averaging.
[0042]
Specifically, in a 3 × 3 small matrix, for a pixel whose difference from the signal value of the target pixel is the threshold th0 = 0, the weighting coefficient is set to “1.0”, and the difference between the signal value of the target pixel and the signal value is set to “1.0”. Is greater than the threshold th0 and less than the threshold th1, the weighting coefficient is set to “0.75”. Similarly, the weighting coefficients are set to “0.5” and “0.25” with the thresholds th2 and th3 as boundaries. It can be set dynamically.
[0043]
Next, the configuration of the imaging device 1 using the present method will be described.
FIG. 14 is a block diagram illustrating a configuration of the imaging device 1 according to the present embodiment. In FIG. 14, an imaging apparatus 1 includes a lens 10 for converging light from a subject, a single-chip image sensor 20 for detecting light converged by the lens 10, and a color signal (RGB) output by the single-chip image sensor 20. And a noise removing unit 30 that performs a noise removing process on the signal (signal). Note that the imaging apparatus 1 appropriately includes other functional units that perform color interpolation, color space conversion, and the like. However, since these functional units are the same as in the related art, description thereof will be omitted.
[0044]
The single-plate image sensor 20 has a configuration in which RG lines and GB lines are repeatedly arranged in the column direction.
The noise removing unit 30 holds the G matrix, the R matrix, and the B matrix among the signals output from the single-plate imaging sensor 20, and performs the noise removing process according to the present invention for each matrix in units of small matrices. .
[0045]
Here, the noise removal processing according to the present invention involves averaging processing and requires division, but since the number used for division is limited to “2” to “5”, the multiplier Can be substituted by
That is, when dividing by "2", multiply by "0.5", when dividing by "3", multiply by "0.333", and when dividing by "4", convert "0.25" by When multiplying and dividing by “5”, the operation can be performed by a multiplier by multiplying by “0.2”.
[0046]
In order to perform such processing, the noise removing unit 30 includes a line memory 40. The G signal is processed by a 3 × 3 small matrix, and the R and B signals are processed by a 1 × 5 small matrix. In this case, the line memory 40 only needs to have a capacity to store the output signals of the single-plate image sensor 20 for two lines.
If it is assumed that more lines can be stored in the line memory 40, the range of the small matrix to be referred to when performing the averaging process can be expanded, and more appropriate noise removal can be performed. it can.
[0047]
Next, the operation will be described.
The single-plate image sensor 20 sequentially outputs image pixels by a raster scan method. That is, the single-plate imaging sensor 20 sequentially outputs the imaging pixels in each row of the sensor output matrix in a certain direction.
Then, the noise elimination unit 30 uses the data of the previous line and the previous line stored in the line memory 40 and the output signal of the single-plate image sensor 20 to generate a G matrix, an R matrix, and a B matrix. The noise removal processing according to the noise removal method of the present invention (that is, determination as to whether or not the signal value of the target pixel is a median in a small matrix and predetermined averaging processing) is performed, and pixels of the G signal, the R signal, and the B signal are processed. For each of them, an RGB signal value from which noise has been removed is generated. Then, the output signal of the single-plate image sensor 20 is stored in the line memory 40 instead of the unnecessary data on the line memory 40 after the processing.
[0048]
Next, a process such as color interpolation is performed using the RGB signals generated by the noise removing unit 30 to generate a completed image.
As described above, the imaging apparatus 1 according to the present embodiment determines whether the signal value of the target pixel is a median for each small matrix of a predetermined size in the sensor output matrix that is the output signal of the single-panel imaging sensor 20. In the case where the pixel is not a median, an averaging process is performed between the pixel having the signal value close to the signal value of the pixel of interest and the pixel of interest.
[0049]
Therefore, even in a region where the image changes smoothly (gradation portion), an appropriate filter process can be performed, and an unnatural pattern occurs while almost maintaining the noise removal effect of the averaging process. Can be avoided. Further, even when an image includes an edge such as a line, for an edge portion pixel, an appropriate surrounding pixel is selected as an edge and an averaging process is performed. Therefore, the edge can be maintained without performing special processing such as edge detection, and a situation in which a part of a line is lost due to the filtering process can be avoided.
[0050]
That is, the imaging device 1 can perform appropriate noise removal while maintaining necessary information.
Here, if the image quality is represented by a variation (standard deviation) from the pixels of the reference image, the reference image (for example, Macbeth chart) can be obtained under certain conditions by using the noise removal method according to the present invention. The standard deviation for the second brightest patch image, etc.) was as follows:
[0051]
That is, (1) “1.97” before intentional noise was added, (2) “2.83” when noise generated by simulation was added, and (3) noise removal by a median filter was performed. In this case, the value is "2.12", when (4) the averaging process is performed, "1.94", and when the noise removal process according to the present invention is performed, the value is "2.00". However, the standard deviation shown here is an example in which each filter processing (noise removal processing) is performed on a small matrix of 3 × 3 G signals.
[0052]
The standard deviation shown here means that the smaller the value is, the smaller the noise is. In the above-mentioned result, the standard deviation is smaller than the case where the noise is removed by the median filter. When the processing is performed, a higher noise removal effect is obtained. Furthermore, when the noise removal processing according to the present invention is performed, there is an advantage that an unnatural pattern can be prevented from occurring in a smoothly changing region (gradation portion). It can be said that noise removal can be performed more appropriately than processing.
[0053]
When the small matrix is expanded to 3 × 5, the noise removal effect can be further enhanced, and the above-described standard deviation is “1.92”.
Further, since the image pickup apparatus 1 performs the filter processing on the output signal of the single-plate type image sensor 20, the required memory is greatly reduced as compared with the case where the completed image after the color interpolation or the like is subjected to the filter processing. be able to.
[0054]
If the size of the small matrix is made larger, a smoother image can be obtained.
In the present embodiment, color signals of the RGB system have been mainly described. However, color signals of another system such as a complementary color filter system may be used. Further, in the present embodiment, as the first-stage processing, it is determined whether or not the signal value of the pixel of interest is a median in the signal value of the pixel included in the small matrix. It tends to be close to the average value.
[0055]
Therefore, when the signal value of the target pixel is a value close to the average value of the signal values of the pixels included in the small matrix, the signal value of the target pixel is used as it is, and when the value is not close to the average value of the signal values, May perform the second stage processing.
Even in the case of such processing, a certain effect of preventing a situation in which an unnatural pattern occurs in a gradation portion is exerted.
[Brief description of the drawings]
FIG. 1 is a conceptual diagram showing a sensor output matrix.
FIG. 2 is a diagram showing a small matrix including lines.
FIG. 3 is a diagram showing a small matrix which is a part of a sensor output matrix.
FIG. 4 is a schematic view showing a gradation portion.
FIG. 5 is a diagram illustrating signal values of a small matrix in a gradation portion.
FIG. 6 is a diagram illustrating an example of signal values of a small matrix in a case where noise is included in a gradation portion.
FIG. 7 is a diagram illustrating another example of signal values of a small matrix when noise is included in a gradation portion.
FIG. 8 is a diagram showing an example of a small matrix in a sensor output matrix.
FIG. 9 is a diagram illustrating an example in which, in a small matrix in which color signals are arranged in a mosaic pattern, signal values of other pixels included in the same column as a target pixel are medians.
FIG. 10 is a diagram illustrating an example in which, in a small matrix in which color signals are uniformly arranged, signal values of other pixels included in the same column as a target pixel are medians.
FIG. 11 is a diagram illustrating an example in which pixels of a small matrix are selected in a mosaic pattern in a matrix in which color signals are uniformly arranged.
FIG. 12 is a diagram illustrating an example in which a pixel is selected in the same manner as a 3 × 3 small matrix when a small matrix of G signals in which color signals are arranged in a mosaic pattern is enlarged.
FIG. 13 is a conceptual diagram illustrating an operation in a case where noise removal is performed on a 3 × 3 small matrix when a target pixel is formed of a G signal.
FIG. 14 is a block diagram illustrating a configuration of an imaging device 1 according to the present embodiment.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 Image pickup device, 10 lens, 20 single-chip image sensor, 30 noise removal part, 40 line memory

Claims

複数の画素により構成された画像のノイズ除去方法であって、
処理対象画素を含む所定の周囲画素について、処理対象画素の信号値がメディアンであるか否かを判定し、メディアンであると判定した場合、処理対象画素の信号値を出力し、メディアンでないと判定した場合、前記周囲画素のうち、処理対象画素の信号値との差分が所定範囲である信号値を有する所定画素と処理対象画素とで平均化処理を行い、処理結果である平均値を出力するノイズ除去処理を施すことを特徴とするノイズ除去方法。A noise removal method for an image constituted by a plurality of pixels,
For a predetermined surrounding pixel including the pixel to be processed, it is determined whether the signal value of the pixel to be processed is a median, and if it is determined to be a median, the signal value of the pixel to be processed is output, and it is determined that the pixel is not a median In this case, among the surrounding pixels, an averaging process is performed between a predetermined pixel having a signal value whose difference from the signal value of the processing target pixel is within a predetermined range and the processing target pixel, and an average value as a processing result is output. A noise removal method comprising performing a noise removal process.

前記平均化処理では、前記周囲画素において、処理対象画素の信号値との差分が所定の閾値未満である画素を選択し、選択された画素と処理対象画素の信号値の平均値を取得することを特徴とする請求項１記載のノイズ除去方法。In the averaging process, in the surrounding pixels, a pixel whose difference from a signal value of the processing target pixel is smaller than a predetermined threshold is selected, and an average value of the signal value of the selected pixel and the processing target pixel is obtained. The method according to claim 1, wherein:

前記平均化処理では、前記周囲画素の信号値と前記処理対象画素の信号値との差分に関する複数の閾値と、該閾値に応じた重み付け係数とを設定し、前記複数の閾値に基づいて、前記周囲画素それぞれについて、処理対象画素の信号値との差分に応じた前記重み付け係数を加味した重み付け平均を行うことを特徴とする請求項１記載のノイズ除去方法。In the averaging process, a plurality of thresholds for a difference between the signal value of the surrounding pixel and the signal value of the processing target pixel, and a weighting coefficient corresponding to the threshold are set, and based on the plurality of thresholds, 2. The noise removal method according to claim 1, wherein a weighted average taking into account the weighting coefficient according to a difference from a signal value of the processing target pixel is performed for each of surrounding pixels.

前記画像は、所定方式に基づく異なる成分の色信号を出力する撮像素子を、所定パターンに配列した単板式撮像センサによって撮影され、該異なる成分の色信号のうち、少なくとも１つの成分の色信号について前記ノイズ除去処理を施すことを特徴とする請求項１〜３のいずれかに記載のノイズ除去方法。The image is captured by an image sensor that outputs color signals of different components based on a predetermined method by a single-plate image sensor arranged in a predetermined pattern, and among the color signals of the different components, at least one of the color signals is output. The noise removal method according to claim 1, wherein the noise removal processing is performed.

前記周囲画素について、処理対象画素の信号値がメディアンであるか否かを判定する際に、該周囲画素における所定位置に配置された特定画素を対象として判定を行い、前記平均化処理を行う場合には、該特定画素あるいは前記周囲画素全体の少なくともいずれかを対象として処理を行うことを特徴とする請求項１〜４のいずれかに記載のノイズ除去方法。When determining whether or not the signal value of the processing target pixel is a median with respect to the surrounding pixels, the determination is performed with respect to a specific pixel arranged at a predetermined position in the surrounding pixels, and the averaging process is performed. 5. The noise removal method according to claim 1, wherein the processing is performed on at least one of the specific pixel and the entire surrounding pixels.

複数の画素により構成された画像のノイズ除去方法であって、
処理対象画素の信号値が、処理対象画素を含む所定の周囲画素の信号値における平均値であるか否かを判定し、平均値であると判定した場合、処理対象画素の信号値を出力し、平均値でないと判定した場合、前記周囲画素のうち、処理対象画素の信号値との差分が所定範囲である信号値を有する所定画素と処理対象画素とで平均化処理を行い、処理結果である平均値を出力するノイズ除去処理を施すことを特徴とするノイズ除去方法。A noise removal method for an image constituted by a plurality of pixels,
It is determined whether the signal value of the processing target pixel is an average value of the signal values of predetermined surrounding pixels including the processing target pixel, and when it is determined that the signal value is the average value, the signal value of the processing target pixel is output. If it is determined that the average value is not the average value, among the surrounding pixels, the averaging process is performed on a predetermined pixel having a signal value whose difference from the signal value of the processing target pixel is within a predetermined range and the processing target pixel. A noise elimination method comprising performing a noise elimination process for outputting a certain average value.

複数の画素により構成された画像のノイズ除去を行う撮像装置であって、
処理対象画素を含む所定の周囲画素について、処理対象画素の信号値がメディアンであるか否かを判定し、メディアンであると判定した場合、処理対象画素の信号値を出力し、メディアンでないと判定した場合、前記周囲画素のうち、処理対象画素の信号値との差分が所定範囲である信号値を有する所定画素と処理対象画素とで平均化処理を行い、処理結果である平均値を出力するノイズ除去処理を施すことを特徴とする撮像装置。An image pickup apparatus that removes noise of an image formed by a plurality of pixels,
For a predetermined surrounding pixel including the pixel to be processed, it is determined whether the signal value of the pixel to be processed is a median, and if it is determined to be a median, the signal value of the pixel to be processed is output, and it is determined that the pixel is not a median In this case, among the surrounding pixels, an averaging process is performed between a predetermined pixel having a signal value whose difference from the signal value of the processing target pixel is within a predetermined range and the processing target pixel, and an average value as a processing result is output. An imaging apparatus, which performs a noise removal process.

複数の画素により構成された画像のノイズ除去を行う撮像装置であって、
処理対象画素の信号値が、処理対象画素を含む所定の周囲画素の信号値における平均値であるか否かを判定し、平均値であると判定した場合、処理対象画素の信号値を出力し、平均値でないと判定した場合、前記周囲画素のうち、処理対象画素の信号値との差分が所定範囲である信号値を有する所定画素と処理対象画素とで平均化処理を行い、処理結果である平均値を出力するノイズ除去処理を施すことを特徴とする撮像装置。An image pickup apparatus that removes noise of an image formed by a plurality of pixels,
It is determined whether the signal value of the processing target pixel is an average value of the signal values of predetermined surrounding pixels including the processing target pixel, and when it is determined that the signal value is the average value, the signal value of the processing target pixel is output. If it is determined that the average value is not the average value, among the surrounding pixels, the averaging process is performed on a predetermined pixel having a signal value whose difference from the signal value of the processing target pixel is within a predetermined range and the processing target pixel. An imaging apparatus, which performs a noise removal process for outputting a certain average value.

複数の画素により構成された画像のノイズ除去を行うためのノイズ除去プログラムであって、
処理対象画素を含む所定の周囲画素について、処理対象画素の信号値がメディアンであるか否かを判定し、メディアンであると判定した場合、処理対象画素の信号値を出力し、メディアンでないと判定した場合、前記周囲画素のうち、処理対象画素の信号値との差分が所定範囲である信号値を有する所定画素と処理対象画素とで平均化処理を行い、処理結果である平均値を出力するノイズ除去処理を施す機能をコンピュータに実現させることを特徴とするノイズ除去プログラム。A noise removal program for removing noise from an image composed of a plurality of pixels,
For a predetermined surrounding pixel including the pixel to be processed, it is determined whether the signal value of the pixel to be processed is a median, and if it is determined to be a median, the signal value of the pixel to be processed is output, and it is determined that the pixel is not a median In this case, among the surrounding pixels, an averaging process is performed between a predetermined pixel having a signal value whose difference from the signal value of the processing target pixel is within a predetermined range and the processing target pixel, and an average value as a processing result is output. A noise elimination program that causes a computer to realize a function of performing noise elimination processing.

複数の画素により構成された画像のノイズ除去を行うためのノイズ除去プログラムであって、
処理対象画素の信号値が、処理対象画素を含む所定の周囲画素の信号値における平均値であるか否かを判定し、平均値であると判定した場合、処理対象画素の信号値を出力し、平均値でないと判定した場合、前記周囲画素のうち、処理対象画素の信号値との差分が所定範囲である信号値を有する所定画素と処理対象画素とで平均化処理を行い、処理結果である平均値を出力するノイズ除去処理を施す機能をコンピュータに実現させることを特徴とするノイズ除去プログラム。A noise removal program for removing noise from an image composed of a plurality of pixels,
It is determined whether the signal value of the processing target pixel is an average value of the signal values of predetermined surrounding pixels including the processing target pixel, and when it is determined that the signal value is the average value, the signal value of the processing target pixel is output. If it is determined that the average value is not the average value, among the surrounding pixels, the averaging process is performed on a predetermined pixel having a signal value whose difference from the signal value of the processing target pixel is within a predetermined range and the processing target pixel. A noise removal program that causes a computer to realize a function of performing a noise removal process of outputting a certain average value.