JP4178919B2 - ノイズ除去方法、撮像装置およびノイズ除去プログラム - Google Patents
ノイズ除去方法、撮像装置およびノイズ除去プログラム Download PDFInfo
- Publication number
- JP4178919B2 JP4178919B2 JP2002338024A JP2002338024A JP4178919B2 JP 4178919 B2 JP4178919 B2 JP 4178919B2 JP 2002338024 A JP2002338024 A JP 2002338024A JP 2002338024 A JP2002338024 A JP 2002338024A JP 4178919 B2 JP4178919 B2 JP 4178919B2
- Authority
- JP
- Japan
- Prior art keywords
- target pixel
- signal value
- processing target
- pixel
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000000034 method Methods 0.000 title claims description 101
- 238000003384 imaging method Methods 0.000 title claims description 30
- 238000012935 Averaging Methods 0.000 claims description 32
- 239000011159 matrix material Substances 0.000 description 92
- 238000010586 diagram Methods 0.000 description 17
- 230000000694 effects Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 5
- 230000000295 complement effect Effects 0.000 description 3
- 238000003708 edge detection Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Images
Landscapes
- Color Television Image Signal Generators (AREA)
- Facsimile Image Signal Circuits (AREA)
- Image Processing (AREA)
- Picture Signal Circuits (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、複数の画素により構成された画像のノイズを軽減するためのノイズ除去方法、撮像装置およびノイズ除去プログラムに関する。
【０００２】
【従来の技術】
従来、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等から構成される単板式のカラー撮像センサを備えた撮像装置等において、撮影された画像のノイズを除去するための処理が行われている。
【０００３】
撮影画像のノイズを除去する方法として、例えば、単板式撮像センサの出力信号から生成された画像（色補間等を施した完成画像）に対し、ＬＰＦ（Low Pass Filter）を用いて処理する方法や、メディアンフィルタを用いて処理する方法が知られている。
例えば、特開平４−２３５４７２号公報には、メディアンフィルタによってデジタル画像データのノイズ除去を行う技術が開示されている。
【０００４】
また、特開２００１−１４４９６４号公報には、画像の変化を関数近似し、近似データを元の画像データと置換することにより、ノイズを除去する技術が開示されている。
さらに、特開２００１−１８６３７９号公報には、画像に含まれるノイズのレベルを算出し、そのノイズレベルに従って、重み付けをした平均を行うことによってノイズを除去する技術が開示されている。
【０００５】
【特許文献１】
特開平４−２３５４７２号公報
【特許文献２】
特開２００１−１４４９６４号公報
【特許文献３】
特開２００１−１８６３７９号公報
【０００６】
【発明が解決しようとする課題】
しかしながら、特開平４−２３５４７２号公報に記載された技術は、メディアンフィルタを用いることから、画像中の孤立点が、フィルタ処理の結果、失われやすいと言う問題があった。
また、特開２００１−１４４９６４号公報に記載された技術は、画像の変化を近似するための関数を取得する必要があるが、その関数を算出する処理が複雑であり、また、モザイク状に情報が配列された画像（例えば、ＲＧＢ方式の各色の画像）に対応していないと言う問題があった。
【０００７】
さらに、特開２００１−１８６３７９号公報に記載された技術は、ノイズレベルに応じた重み付け平均を行う処理が複雑となり、場合によっては、割り算器が必要となるという問題があった。また、滑らかに画像が変化するグラデーション部分において、適切な処理が実現できない場合が生じ得た。
本発明の課題は、複数の画素により構成される画像のノイズを効果的に低減することである。
【０００８】
【課題を解決するための手段】
以上の課題を解決するため、本発明は、
複数の画素により構成された画像のノイズ除去方法であって、処理対象画素を含む所定の周囲画素（例えば、図３に示す３×３の小行列）について、処理対象画素（例えば、図３の小行列中、中央に位置する注目画素）の信号値がメディアンであるか否かを判定し、メディアンであると判定した場合、処理対象画素の信号値を出力し、メディアンでないと判定した場合、前記周囲画素のうち、処理対象画素の信号値との差分が所定範囲である信号値を有する所定画素と処理対象画素とで平均化処理を行い、処理結果である平均値を出力するノイズ除去処理を施すことを特徴としている。
ここで、処理対象画素の信号値がメディアンであるか否かを判定する場合における「メディアン」には、メディアンそのものである場合に加え、メディアン付近の信号値である場合を含めることが可能である。「メディアン付近の信号値」とは、例えば、メディアンの前後所定範囲（１つあるいは２つ等）までの順序に位置するものや、メディアンの信号値から所定の閾値以内のものを意味する。
【０００９】
また、複数の画素により構成された画像のノイズ除去を行う撮像装置であって、処理対象画素を含む所定の周囲画素について、処理対象画素の信号値がメディアンであるか否かを判定し、メディアンであると判定した場合、処理対象画素の信号値を出力し、メディアンでないと判定した場合、前記周囲画素のうち、処理対象画素の信号値との差分が所定範囲である信号値を有する所定画素と処理対象画素とで平均化処理を行い、処理結果である平均値を出力するノイズ除去処理を施すことを特徴としている。
【００１０】
また、複数の画素により構成された画像のノイズ除去を行うためのノイズ除去プログラムであって、処理対象画素を含む所定の周囲画素について、処理対象画素の信号値がメディアンであるか否かを判定し、メディアンであると判定した場合、処理対象画素の信号値を出力し、メディアンでないと判定した場合、前記周囲画素のうち、処理対象画素の信号値との差分が所定範囲である信号値を有する所定画素と処理対象画素とで平均化処理を行い、処理結果である平均値を出力するノイズ除去処理を施す機能をコンピュータに実現させることを特徴としている。
本発明によれば、複数の画素により構成された画像において、所定の周囲画素（所定サイズの小行列）毎に、処理対象画素の信号値がメディアンであるか否かを判定し、メディアンでない場合には、処理対象画素の信号値と近い信号値を有する画素と処理対象画素との平均化処理を行う。
【００１１】
したがって、滑らかに画像が変化している領域（グラデーション部分）であっても、適切なフィルタ処理を行うことができるため、平均化処理のノイズ除去効果をほぼ維持しながら、不自然な模様が発生する事態等を避けることができる。また、画像内にライン等のエッジを含む場合であっても、エッジ部分の画素については、エッジとして適確な周囲の画素を選択して平均化処理を行う。そのため、エッジ検出のような特別の処理を行うことなくエッジを維持することができ、フィルタ処理により、ラインの一部が欠落するといった事態を避けることができる。即ち、細部の情報を維持しながら、適切なノイズ除去を行うことが可能となる。
【００１２】
また、前記平均化処理では、前記周囲画素において、処理対象画素の信号値との差分が所定の閾値未満である画素を選択し、選択された画素と処理対象画素の信号値の平均値を取得することを特徴としている。
本発明によれば、所定の周囲画素において、信号値の閾値によって、処理対象画素の信号値と近い信号値を有する画素を選択することができる。
【００１３】
また、前記平均化処理では、前記周囲画素の信号値と前記処理対象画素の信号値との差分に関する複数の閾値（例えば、発明の実施の形態中の「閾値ｔｈ０，ｔｈ１」等）と、該閾値に応じた重み付け係数とを設定し、前記複数の閾値に基づいて、前記周囲画素それぞれについて、処理対象画素の信号値との差分に応じた前記重み付け係数を加味した重み付け平均を行うことを特徴としている。
【００１４】
本発明によれば、所定の周囲画素において、処理対象画素との近似度に応じた適切な重みを加えて、平均値を得ることができる。
また、前記画像は、所定方式（例えば、ＲＧＢ方式あるいはＣｙＹｅＭｇＧｒ方式等）に基づく異なる成分の色信号（例えば、ＲＧＢ方式におけるＲ信号、Ｇ信号あるいはＢ信号等）を出力する撮像素子を、所定パターンに配列した単板式撮像センサによって撮影され、該異なる成分の色信号のうち、少なくとも１つの成分の色信号について前記ノイズ除去処理を施すことを特徴としている。
【００１５】
本発明によれば、単板式撮像センサによって撮影された画像に対し、効率的かつ適切にノイズ除去処理を行うことができる。
また、前記周囲画素について、処理対象画素の信号値がメディアンであるか否かを判定する際に、該周囲画素における所定位置に配置された特定画素（例えば、図１１に示す行列のうち、斜線で示す画素）を対象として判定を行い、前記平均化処理を行う場合には、該特定画素あるいは前記周囲画素全体の少なくともいずれかを対象として処理を行うことを特徴としている。
【００１６】
ここで、特定画素の配置は、処理対象画素の信号値が「メディアンそのもの」となるか否かが明確に判定可能なように選択される。即ち、図１１に示す斜線の画素のように、発明の実施の形態における３×３のＧ信号の行列に相当する配置をはじめ、周辺画素において、処理対象画素と近似すると考えられる画素を含まず、かつ、処理対象画素の周辺を均等に囲むような配置が選択される。
【００１７】
本発明によれば、周囲画素について、処理対象画素の信号値がメディアンであるか否かを判定する際に、処理対象画素の信号値に近似する信号値を有する画素がメディアンと判定されることを防ぐことができる。即ち、処理対象画素の信号値が「メディアンそのもの」であるか否かを判定することにより、平均化処理を行うか否かについて、適切に判定を行うことが可能となる。
また、複数の画素により構成された画像のノイズ除去方法であって、処理対象画素の信号値が、処理対象画素を含む所定の周囲画素の信号値における平均値であるか否かを判定し、平均値であると判定した場合、処理対象画素の信号値を出力し、平均値でないと判定した場合、前記周囲画素のうち、処理対象画素の信号値との差分が所定範囲である信号値を有する所定画素と処理対象画素とで平均化処理を行い、処理結果である平均値を出力するノイズ除去処理を施すことを特徴としている。
また、複数の画素により構成された画像のノイズ除去を行う撮像装置であって、処理対象画素の信号値が、処理対象画素を含む所定の周囲画素の信号値における平均値であるか否かを判定し、平均値であると判定した場合、処理対象画素の信号値を出力し、平均値でないと判定した場合、前記周囲画素のうち、処理対象画素の信号値との差分が所定範囲である信号値を有する所定画素と処理対象画素とで平均化処理を行い、処理結果である平均値を出力するノイズ除去処理を施すことを特徴としている。
【００１８】
また、複数の画素により構成された画像のノイズ除去を行うためのノイズ除去プログラムであって、処理対象画素の信号値が、処理対象画素を含む所定の周囲画素の信号値における平均値であるか否かを判定し、平均値であると判定した場合、処理対象画素の信号値を出力し、平均値でないと判定した場合、前記周囲画素のうち、処理対象画素の信号値との差分が所定範囲である信号値を有する所定画素と処理対象画素とで平均化処理を行い、処理結果である平均値を出力するノイズ除去処理を施す機能をコンピュータに実現させることを特徴としている。
ここで「平均値」とは、厳密に数値が平均値と一致する意味ではなく、平均値として採用することにより、本発明の効果を得ることができる一定範囲の値を意味する。
【００１９】
例えば、厳密な平均値と上位２桁が一致する値や、小数点以下を無視し、整数部分が一致する値等とすることが可能である。
本発明によれば、メディアンに近い値であり、かつ、算出する際の処理負荷が小さい平均値を用いて、メディアンを用いた場合とほぼ同程度、平均化処理のノイズ除去効果をほぼ維持しながら、不自然な模様が発生する事態等を避けると言う効果を得ることができる。また、画像内にライン等のエッジを含む場合であっても、エッジ部分の画素については、エッジとして適確な周囲の画素を選択して平均化処理を行う。そのため、エッジ検出のような特別の処理を行うことなくエッジを維持することができ、フィルタ処理により、ラインの一部が欠落するといった事態を避けることができる。即ち、画質を維持しながら、適切なノイズ除去を行うことが可能となる。
【００２０】
【発明の実施の形態】
以下、図を参照して本発明に係る撮像装置の実施の形態を説明する。
初めに、本発明に係る撮像装置において使用するノイズ除去方法について説明する。
本発明に係る撮像装置において使用するノイズ除去方法では、撮像装置に備えられた単板式撮像センサの出力信号に対し、色補間（一画素が一色からなるデータを一画素が三色からなるカラーデータに変換する処理）等を行う以前に、所定のノイズ除去処理を施す。なお、このように、単板式撮像センサの出力信号に対してノイズ除去処理を行うことにより、色補間等を行った後の完成画像にノイズ除去処理を施す場合に比べ、処理に必要なメモリを削減することができる。
【００２１】
以下、具体的な方法について説明する。
単板式撮像センサは、各色信号を出力する撮像素子が、モザイク状に配列された構成である。即ち、単板式撮像センサは、原色フィルタ方式（ＲＧＢ方式）の色信号におけるＲ信号を出力する撮像素子およびＧ信号を出力する撮像素子が交互に所定数配列された行（以下、「ＲＧライン」と言う。）と、同様に、Ｇ信号を出力する撮像素子およびＢ信号を出力する撮像素子が交互に所定数配列された行（以下、「ＧＢライン」と言う。）とが列方向に繰り返し配列されることによって構成されている。
【００２２】
なお、単板式撮像センサは、ＲＧＢ方式の色信号を出力する場合の他、補色フィルタ方式（ＣｙＹｅＭｇＧｒ方式）等の他の色信号を出力する場合であっても本発明が適用可能である。このとき、上述のＲＧラインおよびＧＢラインに相当するラインは、それぞれの方式に対応する色信号の配列となり、例えば、ＣｙＹｅＭｇＧｒ方式の場合、Ｃｙ（シアン）信号を出力する撮像素子およびＹｅ（イエロー）信号を出力する撮像素子が交互に配列されたＣｙＹｅラインと、Ｍｇ（マゼンダ）信号を出力する撮像素子およびＧｒ（グリーン）信号を出力する撮像素子が交互に配列されたＭｇＧｒラインとなる。以下、単板式撮像センサがＲＧＢ方式の色信号を出力するものとして説明する。
【００２３】
この場合、ＲＧＢ方式の単板式撮像センサの出力として、各ＲＧラインおよびＧＢラインにおける撮像素子それぞれの出力信号値からなる配列（以下、「センサ出力行列」と言う。）が得られる。
図１は、センサ出力行列を示す概念図である。図１において、各行列要素（以下、適宜「撮像画素」と言う。）は、Ｒ，Ｇ，Ｂいずれかの信号値のみを含むものである。
【００２４】
ところで、従来、画像にメディアンフィルタによる処理を行った場合、画像のエッジ等の情報が比較的残りやすいという特徴を有するものの、画像の形態によっては、細い線や孤立点などの情報が失われる事態が生ずる。
例えば、３×３のＧ信号の小行列に対し、図２に示すようにラインが交差している場合、中央のＧ信号は、ラインを示す信号値となり、他のＧ信号は、ライン以外の部分を示す信号値となる。したがって、この小行列を単位としてメディアンフィルタによる処理を施すと、メディアンは、ラインを表す信号値（斜線部分の信号値）ではなく、周囲の信号値（白色部分の信号値）となり、ラインの一部が欠落することとなる。
【００２５】
そこで、本方法においては、注目する画素の周囲に位置する画素のうち、注目する画素の信号値に近い信号値を有する画素を選択して、これらの画素と注目する画素の信号値の平均をフィルタ出力とする。
例えば、図３に示すセンサ出力行列の一部であるＧ信号の小行列（３×３行列）において、中央の注目画素βの信号値と、周囲の画素α１〜α４それぞれの信号値との差分を算出し、その差分が所定の閾値ｔｈより小さい画素の信号値および注目画素の信号値を平均化する。
【００２６】
このように、注目画素に近い信号値を有する画素との平均を取ることとするのは、ノイズが加わった場合であっても、注目画素の信号値を信頼できるものと想定し、その値に近い画素の信号値によって補間を行うことが適切であると考えられるためである。
このような処理を行った場合、図２に示すようなラインを含む場合であっても、ライン上の画素の信号値（図２においては、中央の斜線部分の信号値であり、小行列を拡張した場合にはライン上の複数の画素の信号値）のみが平均に用いられ、注目画素にある程度ノイズが加えられた場合であっても、ラインの一部が欠落することなく、適切なノイズ除去を行うことが可能となる。
【００２７】
ただし、このように、注目画素と近い信号値を有する画素との平均を取ることとすると、滑らかに変化する画像（グラデーション部分）において、不自然な模様が発生する場合が起こり得る。
例えば、図４に示すグラデーション部分において、ノイズがなく、画像が一様に変化している場合、３×３のＧ信号の小行列における信号値は、図５に示すような状態となる。図５に示す信号値である場合、閾値ｔｈ＝１０に設定すると、中央の注目画素の信号値との差分が１０未満である画素は、中央列に位置する画素（図５においては中央の注目画素であり、小行列を拡張した場合には中央列に位置する複数の画素）となり、注目画素にノイズが加えられたとしても、注目画素本来の信号値に近い平均値が算出されることとなる。
【００２８】
しかし、図４に示すグラデーション部分において、ノイズが加えられることにより、上述の３×３の小行列の信号値が、図６に示すような状態となったとすると、平均化の対象となる画素は、注目画素を含む中央列およびその右の列に含まれる３つの画素となる。
一方、同様に、上述の３×３の小行列の信号値が、図７に示すような状態となったとすると、平均化の対象となる画素は、注目画素を含む中央列およびその左の列に含まれる３つの画素となる。
【００２９】
即ち、注目画素に加えられたノイズが信号値を増大させるものである場合、小行列において、より大きい信号値を有する画素と平均化され、注目画素に加えられたノイズが信号値を減少させるものである場合、小行列において、より小さい信号値を有する画素と平均化される。
つまり、注目画素に加えられたノイズの影響を強調するように、その影響が現れる場合がある。
【００３０】
また、以上のような注目画素に対するノイズに限らず、異なる影響を及ぼすノイズによって、平均化される値が、隣接する画素データにおいて大きく変動する場合がある。このような状態において処理された領域は、画素毎に値が激しく変動し、本来再現されるべき滑らかな変化とはならない。
そこで、本方法においては、さらに処理の修正を加えることとし、注目画素の信号値が、小行列に含まれる画素の信号値におけるメディアンである場合には、その信号値をそのまま出力し、平均化処理を行わないこととする。
【００３１】
一方、注目画素の信号値がメディアンでない場合には、注目画素の信号値に近い信号値を有する画素との平均化処理を行うが、この場合、上述した閾値ｔｈを１つに設定して平均化する画素を選択する。
即ち、３×３の小行列において、注目画素の信号値との差分が閾値ｔｈ未満であれば、重み付け係数を“１．０”とし、注目画素の信号値との差分が閾値ｔｈ以上であれば、重み付け係数を“０”と択一的に設定する。
【００３２】
このように、本発明に係るノイズ除去方法においては、第１段階の処理として、センサ出力行列から抽出された小行列の注目画素について、注目画素の信号値が、小行列に含まれる画素の信号値におけるメディアンであるか否かを判定し、メディアンである場合には、その信号値をそのまま用い、メディアンでない場合には、第２段階の処理を行う。
【００３３】
第２段階の処理として、小行列に含まれる画素のうち、注目画素の信号値との差分が、所定の閾値未満である画素と注目画素との平均化を行い、その平均値を注目画素の信号値とする。このとき、単一の閾値を設定し、その閾値に基づいて、注目画素の信号値と近い信号値を有する画素を選択し、平均化処理を行ったり、後述するように複数の閾値を設定し、その閾値に基づいて選択された画素の信号値を、閾値に応じた重み付けを行った上で、平均化処理を行ったりすることが可能である。
【００３４】
なお、以上の説明においては、小行列として３×３の行列を想定したが、例えば、ＲＧＢ方式に基づく色信号であれば、図８に示すように、センサ出力行列のうち、Ｇ信号のみを要素とする行列（以下、「Ｇ行列」と言う。）においては、３×３あるいは３×５といった小行列とすることができ、センサ出力行列のうち、Ｒ信号あるいはＢ信号のみを要素とする行列（以下、それぞれ「Ｒ行列」、「Ｂ行列」と言う。）においては、１×５あるいは１×９といった小行列とすることができる。
【００３５】
このとき、Ｇ信号について、５×５の小行列のように、３×３の小行列より拡大する場合、ノイズが加えられることにより、注目画素と同一の列に含まれる他の画素の信号値がメディアンとなることも想定される（図９参照）。そのため、このように小行列を拡大する場合には、第1段階の処理において、注目画素の信号値がメディアンであるか否かを判定する代わりに、メディアンもしくはメディアン付近の信号値であるか否かを判定することにより、適切な処理を選択することが可能となる。メディアン付近の信号値であるか否かは、注目画素の信号値が、メディアンの前後１つあるいは２つまでの順序に位置することや、メディアンの信号値から所定の閾値以内の信号値であることを具体的基準として判定することが可能である。
【００３６】
また、以上の説明においては、色信号がモザイク状に配列された行列を対象として説明したが、色信号が一様に配列された行列を対象として本発明に係るノイズ除去方法を施す場合にも、ノイズが加えられることにより、注目画素と同一の列に含まれる他の画素がメディアンとなることも想定される（図１０参照）。
したがって、この場合にも、上述した判定方法（メディアンもしくはメディアン付近の信号値であるか否かを判定する方法）を用いることにより、適切な処理を選択することが可能となる。
【００３７】
さらに、他の方法として、色信号が一様に配列された行列を対象とする場合にも、これらの行列要素の中から、図１１に示すように、G信号の３×３の小行列のようなモザイク状の撮像画素を選択し、それらの画素からなる小行列を対象として、注目画素の信号値がメディアンであるか否かを判定することも可能である。
【００３８】
この方法は、色信号が一様に配列された行列を対象とする場合に限らず、色信号がモザイク状に配列された行列において、G信号について、５×５の小行列のように拡大する場合にも有効である。即ち、G行列において、G信号の小行列を図１２のように選択し、この小行列を対象として、注目画素の信号値がメディアンであるか否かを判定することが可能である。
【００３９】
なお、図１１あるいは図１２に示すように小行列を選択した場合、第２段階の処理として平均化処理を行う際には、モザイク状に選択した撮像画素のみではなく、小行列の範囲に含まれる他の画素も対象として、平均化処理を行うことが適当である。
ここで、本発明に係るノイズ除去方法を適用する場合の動作例について、図を参照して説明する。
【００４０】
図１３は、注目画素がＧ信号からなる場合において、３×３の小行列を対象として、ノイズ除去を行う場合の動作を示す概念図である。
図１３において、第１段階の処理として、注目画素の信号値が、小行列に含まれる画素の信号値におけるメディアンであるか否かを判定する。
そして、注目画素の信号値が、小行列に含まれる画素の信号値におけるメディアンであると判定された場合には、注目画素の信号値をそのまま出力値とする。
【００４１】
一方、注目画素の信号値が、小行列に含まれる画素の信号値におけるメディアンでないと判定された場合には、第２段階の処理として、小行列に含まれる画素のうち、注目画素の信号値との差分が、所定の閾値未満である画素と注目画素との平均化を行い、その平均値を出力値とする。このとき、単一の閾値を設定することおよび複数の閾値を設定することが可能である。
この他、複数の閾値（ｔｈ０、ｔｈ１、ｔｈ２・・・）を設定し、閾値に応じて、注目画素の信号値に、より近い信号値を有するものは比重をより高くするというように、重み付け平均を行うことが可能である。
【００４２】
具体的には、３×３の小行列において、注目画素の信号値との差分が閾値ｔｈ０＝０である画素については、重み付け係数を“１．０”とし、注目画素の信号値との差分が、閾値ｔｈ０より大きく閾値ｔｈ１未満であれば、重み付け係数を“０．７５”とし、同様に、閾値ｔｈ２，ｔｈ３を境界として、重み付け係数を“０．５”、“０．２５”と段階的に設定することが可能である。
【００４３】
次に、本方法を使用した撮像装置１の構成を説明する。
図１４は、本実施の形態に係る撮像装置１の構成を示すブロック図である。図１４において、撮像装置１は、被写体からの光を収束させるレンズ１０と、レンズ１０によって収束された光を検出する単板式撮像センサ２０と、単板式撮像センサ２０によって出力された色信号（ＲＧＢ信号）に対し、ノイズ除去処理を行うノイズ除去部３０とを含んで構成される。なお、撮像装置１は、色補間、色空間変換等を行う他の機能部を適宜含むものであるが、これらの機能部については従来と同様であるため説明を省略する。
【００４４】
単板式撮像センサ２０は、ＲＧラインおよびＧＢラインが列方向に繰り返し配列された構成を有している。
ノイズ除去部３０は、単板式撮像センサ２０から出力される信号のうち、Ｇ行列、Ｒ行列およびＢ行列を保持し、各行列について、小行列を単位として、本発明に係るノイズ除去処理を施す。
【００４５】
ここで、本発明に係るノイズ除去処理においては、平均化処理を伴うものであり、除算を行う必要があるが、除算に用いる数が“２”〜“５”等に限られるため、乗算器によって代用可能である。
即ち、“２”で除算する場合、“０．５”を乗算し、“３”で除算する場合、“０．３３３”を乗算し、“４”で除算する場合、“０．２５”を乗算し、“５”で除算する場合、“０．２”を乗算することとして、乗算器によって演算を行うことができる。
【００４６】
また、ノイズ除去部３０は、このような処理を行うために、ラインメモリ４０を備えており、Ｇ信号は３×３の小行列、Ｒ信号およびＢ信号は１×５の小行列にて処理する場合、ラインメモリ４０は、単板式撮像センサ２０の出力信号を２ライン分記憶する容量を有していればよい。
なお、ラインメモリ４０に、より多くのラインを記憶させることができるものとすると、平均化処理を行う際に参照する小行列の範囲を拡大することができ、より適切なノイズ除去を行うことができる。
【００４７】
次に、動作を説明する。
単板式撮像センサ２０は、ラスタスキャン方式によって撮像画素を順次出力する。即ち、単板式撮像センサ２０は、センサ出力行列の各行の撮像画素を一定方向に順に出力する。
すると、ノイズ除去部３０は、ラインメモリ４０に記憶している一ライン前と二ライン前のデータと単板式撮像センサ２０の出力信号を用いて、Ｇ行列、Ｒ行列およびＢ行列に対し、本発明のノイズ除去方法に係るノイズ除去処理（即ち、注目画素の信号値が小行列におけるメディアンであるか否かの判定および所定の平均化処理）を施し、Ｇ信号、Ｒ信号およびＢ信号の画素それぞれについて、ノイズ除去を行ったＲＧＢ信号値を生成する。そして、処理が終わった不要なラインメモリ４０上のデータにかわり、単板式撮像センサ２０の出力信号をラインメモリ４０に記憶していく。
【００４８】
次いで、ノイズ除去部３０にて生成されたＲＧＢ信号を用いて、色補間などの処理が行われ、完成画像が生成される。
以上のように、本実施の形態に係る撮像装置１は、単板式撮像センサ２０の出力信号であるセンサ出力行列において、所定サイズの小行列毎に、注目画素の信号値がメディアンであるか否かを判定し、メディアンでない場合には、注目画素の信号値と近い信号値を有する画素と注目画素との平均化処理を行う。
【００４９】
したがって、滑らかに画像が変化している領域（グラデーション部分）であっても、適切なフィルタ処理を行うことができるため、平均化処理のノイズ除去効果をほぼ維持しながら、不自然な模様が発生する事態等を避けることができる。また、画像内にライン等のエッジを含む場合であっても、エッジ部分の画素については、エッジとして適確な周囲の画素を選択して平均化処理を行う。そのため、エッジ検出のような特別の処理を行うことなくエッジを維持することができ、フィルタ処理により、ラインの一部が欠落するといった事態を避けることができる。
【００５０】
即ち、撮像装置１によって、必要な情報を維持しながら、適切なノイズ除去を行うことが可能となる。
ここで、画質を、基準となる画像の画素とのばらつき（標準偏差）によって表すこととすると、本発明に係るノイズ除去方法を用いることにより、ある条件下において基準となる画像（例えば、マクベスチャートの２番目に明るいパッチの画像等）に対する標準偏差は、以下のようになった。
【００５１】
即ち、▲１▼意図的なノイズを加える前は “１．９７”、▲２▼シミュレーションにより発生させたノイズを付加した場合は“２．８３”、▲３▼メディアンフィルタによるノイズ除去を施した場合は“２．１２”、▲４▼平均化処理を施した場合は“１．９４”、▲５▼本発明に係るノイズ除去処理を施した場合は“２．００”となる。ただし、ここに示す標準偏差は、３×３のＧ信号の小行列に対して各フィルタ処理（ノイズ除去処理）を行った場合の例である。
【００５２】
また、ここに示す標準偏差は、値が小さいほどノイズが少ないことを意味し、上述の結果においては、▲３▼メディアンフィルタによるノイズ除去を施した場合より、▲５▼本発明に係るノイズ除去処理を施した場合の方が、高いノイズ除去効果が得られている。さらに、本発明に係るノイズ除去処理を施す場合には、滑らかに変化している領域（グラデーション部分）において、不自然な模様が発生する事態を防ぐことができるという利点があるため、メディアンフィルタによる処理より適切にノイズ除去を行うことができると言える。
【００５３】
なお、小行列を３×５に拡大した場合、さらにノイズ除去効果を高めることができ、上述の標準偏差は、“１．９２”となる。
また、撮像装置１は、単板式撮像センサ２０の出力信号にフィルタ処理を行うため、色補間等を行った後の完成画像にフィルタ処理を施す場合に比べ、必要となるメモリを大幅に削減することができる。
【００５４】
また、小行列のサイズをより大きくすることとすると、より滑らかな画像を得ることができる。
なお、本実施の形態においては、主にＲＧＢ方式の色信号を対象として説明したが、補色フィルタ方式等、他の方式の色信号を対象とすることも可能である。また、本実施の形態においては、第１段階の処理として、注目画素の信号値が、小行列に含まれる画素の信号値におけるメディアンであるか否かを判定することとしたが、メディアンは、平均値と近い値となる傾向にある。
【００５５】
そのため、注目画素の信号値が、小行列に含まれる画素の信号値の平均値に近い値である場合には、注目画素の信号値をそのまま用い、信号値の平均値に近い値でない場合には、第２段階の処理を行うこととしてもよい。
このような処理とした場合にも、グラデーション部分において、不自然な模様が発生する事態を防止する一定の効果を奏することとなる。
【図面の簡単な説明】
【図１】 センサ出力行列を示す概念図である。
【図２】 ラインを含む小行列を示す図である。
【図３】 センサ出力行列の一部である小行列を示す図である。
【図４】 グラデーション部分を示す模式図である。
【図５】 グラデーション部分における小行列の信号値を示す図である。
【図６】 グラデーション部分におけるノイズを含む場合の小行列の信号値の一例を示す図である。
【図７】 グラデーション部分におけるノイズを含む場合の小行列の信号値の他の例を示す図である。
【図８】 センサ出力行列における小行列の例を示す図である。
【図９】 色信号がモザイク状に配列された小行列において、注目画素と同一列に含まれる他の画素の信号値がメディアンとなる場合の例を示す図である。
【図１０】 色信号が一様に配列された小行列において、注目画素と同一列に含まれる他の画素の信号値がメディアンとなる場合の例を示す図である。
【図１１】色信号が一様に配列された行列において、モザイク状に小行列の画素を選択する場合の例を示す図である。
【図１２】 色信号がモザイク状に配列されたＧ信号の小行列を拡大する場合に、３×３の小行列と同様に画素を選択する場合の例を示す図である。
【図１３】 注目画素がＧ信号からなる場合において、３×３の小行列を対象として、ノイズ除去を行う場合の動作を示す概念図である。
【図１４】 本実施の形態に係る撮像装置１の構成を示すブロック図である。
【符号の説明】
１ 撮像装置，１０ レンズ，２０ 単板式撮像センサ，３０ ノイズ除去部，４０ ラインメモリ
【発明の属する技術分野】
本発明は、複数の画素により構成された画像のノイズを軽減するためのノイズ除去方法、撮像装置およびノイズ除去プログラムに関する。
【０００２】
【従来の技術】
従来、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等から構成される単板式のカラー撮像センサを備えた撮像装置等において、撮影された画像のノイズを除去するための処理が行われている。
【０００３】
撮影画像のノイズを除去する方法として、例えば、単板式撮像センサの出力信号から生成された画像（色補間等を施した完成画像）に対し、ＬＰＦ（Low Pass Filter）を用いて処理する方法や、メディアンフィルタを用いて処理する方法が知られている。
例えば、特開平４−２３５４７２号公報には、メディアンフィルタによってデジタル画像データのノイズ除去を行う技術が開示されている。
【０００４】
また、特開２００１−１４４９６４号公報には、画像の変化を関数近似し、近似データを元の画像データと置換することにより、ノイズを除去する技術が開示されている。
さらに、特開２００１−１８６３７９号公報には、画像に含まれるノイズのレベルを算出し、そのノイズレベルに従って、重み付けをした平均を行うことによってノイズを除去する技術が開示されている。
【０００５】
【特許文献１】
特開平４−２３５４７２号公報
【特許文献２】
特開２００１−１４４９６４号公報
【特許文献３】
特開２００１−１８６３７９号公報
【０００６】
【発明が解決しようとする課題】
しかしながら、特開平４−２３５４７２号公報に記載された技術は、メディアンフィルタを用いることから、画像中の孤立点が、フィルタ処理の結果、失われやすいと言う問題があった。
また、特開２００１−１４４９６４号公報に記載された技術は、画像の変化を近似するための関数を取得する必要があるが、その関数を算出する処理が複雑であり、また、モザイク状に情報が配列された画像（例えば、ＲＧＢ方式の各色の画像）に対応していないと言う問題があった。
【０００７】
さらに、特開２００１−１８６３７９号公報に記載された技術は、ノイズレベルに応じた重み付け平均を行う処理が複雑となり、場合によっては、割り算器が必要となるという問題があった。また、滑らかに画像が変化するグラデーション部分において、適切な処理が実現できない場合が生じ得た。
本発明の課題は、複数の画素により構成される画像のノイズを効果的に低減することである。
【０００８】
【課題を解決するための手段】
以上の課題を解決するため、本発明は、
複数の画素により構成された画像のノイズ除去方法であって、処理対象画素を含む所定の周囲画素（例えば、図３に示す３×３の小行列）について、処理対象画素（例えば、図３の小行列中、中央に位置する注目画素）の信号値がメディアンであるか否かを判定し、メディアンであると判定した場合、処理対象画素の信号値を出力し、メディアンでないと判定した場合、前記周囲画素のうち、処理対象画素の信号値との差分が所定範囲である信号値を有する所定画素と処理対象画素とで平均化処理を行い、処理結果である平均値を出力するノイズ除去処理を施すことを特徴としている。
ここで、処理対象画素の信号値がメディアンであるか否かを判定する場合における「メディアン」には、メディアンそのものである場合に加え、メディアン付近の信号値である場合を含めることが可能である。「メディアン付近の信号値」とは、例えば、メディアンの前後所定範囲（１つあるいは２つ等）までの順序に位置するものや、メディアンの信号値から所定の閾値以内のものを意味する。
【０００９】
また、複数の画素により構成された画像のノイズ除去を行う撮像装置であって、処理対象画素を含む所定の周囲画素について、処理対象画素の信号値がメディアンであるか否かを判定し、メディアンであると判定した場合、処理対象画素の信号値を出力し、メディアンでないと判定した場合、前記周囲画素のうち、処理対象画素の信号値との差分が所定範囲である信号値を有する所定画素と処理対象画素とで平均化処理を行い、処理結果である平均値を出力するノイズ除去処理を施すことを特徴としている。
【００１０】
また、複数の画素により構成された画像のノイズ除去を行うためのノイズ除去プログラムであって、処理対象画素を含む所定の周囲画素について、処理対象画素の信号値がメディアンであるか否かを判定し、メディアンであると判定した場合、処理対象画素の信号値を出力し、メディアンでないと判定した場合、前記周囲画素のうち、処理対象画素の信号値との差分が所定範囲である信号値を有する所定画素と処理対象画素とで平均化処理を行い、処理結果である平均値を出力するノイズ除去処理を施す機能をコンピュータに実現させることを特徴としている。
本発明によれば、複数の画素により構成された画像において、所定の周囲画素（所定サイズの小行列）毎に、処理対象画素の信号値がメディアンであるか否かを判定し、メディアンでない場合には、処理対象画素の信号値と近い信号値を有する画素と処理対象画素との平均化処理を行う。
【００１１】
したがって、滑らかに画像が変化している領域（グラデーション部分）であっても、適切なフィルタ処理を行うことができるため、平均化処理のノイズ除去効果をほぼ維持しながら、不自然な模様が発生する事態等を避けることができる。また、画像内にライン等のエッジを含む場合であっても、エッジ部分の画素については、エッジとして適確な周囲の画素を選択して平均化処理を行う。そのため、エッジ検出のような特別の処理を行うことなくエッジを維持することができ、フィルタ処理により、ラインの一部が欠落するといった事態を避けることができる。即ち、細部の情報を維持しながら、適切なノイズ除去を行うことが可能となる。
【００１２】
また、前記平均化処理では、前記周囲画素において、処理対象画素の信号値との差分が所定の閾値未満である画素を選択し、選択された画素と処理対象画素の信号値の平均値を取得することを特徴としている。
本発明によれば、所定の周囲画素において、信号値の閾値によって、処理対象画素の信号値と近い信号値を有する画素を選択することができる。
【００１３】
また、前記平均化処理では、前記周囲画素の信号値と前記処理対象画素の信号値との差分に関する複数の閾値（例えば、発明の実施の形態中の「閾値ｔｈ０，ｔｈ１」等）と、該閾値に応じた重み付け係数とを設定し、前記複数の閾値に基づいて、前記周囲画素それぞれについて、処理対象画素の信号値との差分に応じた前記重み付け係数を加味した重み付け平均を行うことを特徴としている。
【００１４】
本発明によれば、所定の周囲画素において、処理対象画素との近似度に応じた適切な重みを加えて、平均値を得ることができる。
また、前記画像は、所定方式（例えば、ＲＧＢ方式あるいはＣｙＹｅＭｇＧｒ方式等）に基づく異なる成分の色信号（例えば、ＲＧＢ方式におけるＲ信号、Ｇ信号あるいはＢ信号等）を出力する撮像素子を、所定パターンに配列した単板式撮像センサによって撮影され、該異なる成分の色信号のうち、少なくとも１つの成分の色信号について前記ノイズ除去処理を施すことを特徴としている。
【００１５】
本発明によれば、単板式撮像センサによって撮影された画像に対し、効率的かつ適切にノイズ除去処理を行うことができる。
また、前記周囲画素について、処理対象画素の信号値がメディアンであるか否かを判定する際に、該周囲画素における所定位置に配置された特定画素（例えば、図１１に示す行列のうち、斜線で示す画素）を対象として判定を行い、前記平均化処理を行う場合には、該特定画素あるいは前記周囲画素全体の少なくともいずれかを対象として処理を行うことを特徴としている。
【００１６】
ここで、特定画素の配置は、処理対象画素の信号値が「メディアンそのもの」となるか否かが明確に判定可能なように選択される。即ち、図１１に示す斜線の画素のように、発明の実施の形態における３×３のＧ信号の行列に相当する配置をはじめ、周辺画素において、処理対象画素と近似すると考えられる画素を含まず、かつ、処理対象画素の周辺を均等に囲むような配置が選択される。
【００１７】
本発明によれば、周囲画素について、処理対象画素の信号値がメディアンであるか否かを判定する際に、処理対象画素の信号値に近似する信号値を有する画素がメディアンと判定されることを防ぐことができる。即ち、処理対象画素の信号値が「メディアンそのもの」であるか否かを判定することにより、平均化処理を行うか否かについて、適切に判定を行うことが可能となる。
また、複数の画素により構成された画像のノイズ除去方法であって、処理対象画素の信号値が、処理対象画素を含む所定の周囲画素の信号値における平均値であるか否かを判定し、平均値であると判定した場合、処理対象画素の信号値を出力し、平均値でないと判定した場合、前記周囲画素のうち、処理対象画素の信号値との差分が所定範囲である信号値を有する所定画素と処理対象画素とで平均化処理を行い、処理結果である平均値を出力するノイズ除去処理を施すことを特徴としている。
また、複数の画素により構成された画像のノイズ除去を行う撮像装置であって、処理対象画素の信号値が、処理対象画素を含む所定の周囲画素の信号値における平均値であるか否かを判定し、平均値であると判定した場合、処理対象画素の信号値を出力し、平均値でないと判定した場合、前記周囲画素のうち、処理対象画素の信号値との差分が所定範囲である信号値を有する所定画素と処理対象画素とで平均化処理を行い、処理結果である平均値を出力するノイズ除去処理を施すことを特徴としている。
【００１８】
また、複数の画素により構成された画像のノイズ除去を行うためのノイズ除去プログラムであって、処理対象画素の信号値が、処理対象画素を含む所定の周囲画素の信号値における平均値であるか否かを判定し、平均値であると判定した場合、処理対象画素の信号値を出力し、平均値でないと判定した場合、前記周囲画素のうち、処理対象画素の信号値との差分が所定範囲である信号値を有する所定画素と処理対象画素とで平均化処理を行い、処理結果である平均値を出力するノイズ除去処理を施す機能をコンピュータに実現させることを特徴としている。
ここで「平均値」とは、厳密に数値が平均値と一致する意味ではなく、平均値として採用することにより、本発明の効果を得ることができる一定範囲の値を意味する。
【００１９】
例えば、厳密な平均値と上位２桁が一致する値や、小数点以下を無視し、整数部分が一致する値等とすることが可能である。
本発明によれば、メディアンに近い値であり、かつ、算出する際の処理負荷が小さい平均値を用いて、メディアンを用いた場合とほぼ同程度、平均化処理のノイズ除去効果をほぼ維持しながら、不自然な模様が発生する事態等を避けると言う効果を得ることができる。また、画像内にライン等のエッジを含む場合であっても、エッジ部分の画素については、エッジとして適確な周囲の画素を選択して平均化処理を行う。そのため、エッジ検出のような特別の処理を行うことなくエッジを維持することができ、フィルタ処理により、ラインの一部が欠落するといった事態を避けることができる。即ち、画質を維持しながら、適切なノイズ除去を行うことが可能となる。
【００２０】
【発明の実施の形態】
以下、図を参照して本発明に係る撮像装置の実施の形態を説明する。
初めに、本発明に係る撮像装置において使用するノイズ除去方法について説明する。
本発明に係る撮像装置において使用するノイズ除去方法では、撮像装置に備えられた単板式撮像センサの出力信号に対し、色補間（一画素が一色からなるデータを一画素が三色からなるカラーデータに変換する処理）等を行う以前に、所定のノイズ除去処理を施す。なお、このように、単板式撮像センサの出力信号に対してノイズ除去処理を行うことにより、色補間等を行った後の完成画像にノイズ除去処理を施す場合に比べ、処理に必要なメモリを削減することができる。
【００２１】
以下、具体的な方法について説明する。
単板式撮像センサは、各色信号を出力する撮像素子が、モザイク状に配列された構成である。即ち、単板式撮像センサは、原色フィルタ方式（ＲＧＢ方式）の色信号におけるＲ信号を出力する撮像素子およびＧ信号を出力する撮像素子が交互に所定数配列された行（以下、「ＲＧライン」と言う。）と、同様に、Ｇ信号を出力する撮像素子およびＢ信号を出力する撮像素子が交互に所定数配列された行（以下、「ＧＢライン」と言う。）とが列方向に繰り返し配列されることによって構成されている。
【００２２】
なお、単板式撮像センサは、ＲＧＢ方式の色信号を出力する場合の他、補色フィルタ方式（ＣｙＹｅＭｇＧｒ方式）等の他の色信号を出力する場合であっても本発明が適用可能である。このとき、上述のＲＧラインおよびＧＢラインに相当するラインは、それぞれの方式に対応する色信号の配列となり、例えば、ＣｙＹｅＭｇＧｒ方式の場合、Ｃｙ（シアン）信号を出力する撮像素子およびＹｅ（イエロー）信号を出力する撮像素子が交互に配列されたＣｙＹｅラインと、Ｍｇ（マゼンダ）信号を出力する撮像素子およびＧｒ（グリーン）信号を出力する撮像素子が交互に配列されたＭｇＧｒラインとなる。以下、単板式撮像センサがＲＧＢ方式の色信号を出力するものとして説明する。
【００２３】
この場合、ＲＧＢ方式の単板式撮像センサの出力として、各ＲＧラインおよびＧＢラインにおける撮像素子それぞれの出力信号値からなる配列（以下、「センサ出力行列」と言う。）が得られる。
図１は、センサ出力行列を示す概念図である。図１において、各行列要素（以下、適宜「撮像画素」と言う。）は、Ｒ，Ｇ，Ｂいずれかの信号値のみを含むものである。
【００２４】
ところで、従来、画像にメディアンフィルタによる処理を行った場合、画像のエッジ等の情報が比較的残りやすいという特徴を有するものの、画像の形態によっては、細い線や孤立点などの情報が失われる事態が生ずる。
例えば、３×３のＧ信号の小行列に対し、図２に示すようにラインが交差している場合、中央のＧ信号は、ラインを示す信号値となり、他のＧ信号は、ライン以外の部分を示す信号値となる。したがって、この小行列を単位としてメディアンフィルタによる処理を施すと、メディアンは、ラインを表す信号値（斜線部分の信号値）ではなく、周囲の信号値（白色部分の信号値）となり、ラインの一部が欠落することとなる。
【００２５】
そこで、本方法においては、注目する画素の周囲に位置する画素のうち、注目する画素の信号値に近い信号値を有する画素を選択して、これらの画素と注目する画素の信号値の平均をフィルタ出力とする。
例えば、図３に示すセンサ出力行列の一部であるＧ信号の小行列（３×３行列）において、中央の注目画素βの信号値と、周囲の画素α１〜α４それぞれの信号値との差分を算出し、その差分が所定の閾値ｔｈより小さい画素の信号値および注目画素の信号値を平均化する。
【００２６】
このように、注目画素に近い信号値を有する画素との平均を取ることとするのは、ノイズが加わった場合であっても、注目画素の信号値を信頼できるものと想定し、その値に近い画素の信号値によって補間を行うことが適切であると考えられるためである。
このような処理を行った場合、図２に示すようなラインを含む場合であっても、ライン上の画素の信号値（図２においては、中央の斜線部分の信号値であり、小行列を拡張した場合にはライン上の複数の画素の信号値）のみが平均に用いられ、注目画素にある程度ノイズが加えられた場合であっても、ラインの一部が欠落することなく、適切なノイズ除去を行うことが可能となる。
【００２７】
ただし、このように、注目画素と近い信号値を有する画素との平均を取ることとすると、滑らかに変化する画像（グラデーション部分）において、不自然な模様が発生する場合が起こり得る。
例えば、図４に示すグラデーション部分において、ノイズがなく、画像が一様に変化している場合、３×３のＧ信号の小行列における信号値は、図５に示すような状態となる。図５に示す信号値である場合、閾値ｔｈ＝１０に設定すると、中央の注目画素の信号値との差分が１０未満である画素は、中央列に位置する画素（図５においては中央の注目画素であり、小行列を拡張した場合には中央列に位置する複数の画素）となり、注目画素にノイズが加えられたとしても、注目画素本来の信号値に近い平均値が算出されることとなる。
【００２８】
しかし、図４に示すグラデーション部分において、ノイズが加えられることにより、上述の３×３の小行列の信号値が、図６に示すような状態となったとすると、平均化の対象となる画素は、注目画素を含む中央列およびその右の列に含まれる３つの画素となる。
一方、同様に、上述の３×３の小行列の信号値が、図７に示すような状態となったとすると、平均化の対象となる画素は、注目画素を含む中央列およびその左の列に含まれる３つの画素となる。
【００２９】
即ち、注目画素に加えられたノイズが信号値を増大させるものである場合、小行列において、より大きい信号値を有する画素と平均化され、注目画素に加えられたノイズが信号値を減少させるものである場合、小行列において、より小さい信号値を有する画素と平均化される。
つまり、注目画素に加えられたノイズの影響を強調するように、その影響が現れる場合がある。
【００３０】
また、以上のような注目画素に対するノイズに限らず、異なる影響を及ぼすノイズによって、平均化される値が、隣接する画素データにおいて大きく変動する場合がある。このような状態において処理された領域は、画素毎に値が激しく変動し、本来再現されるべき滑らかな変化とはならない。
そこで、本方法においては、さらに処理の修正を加えることとし、注目画素の信号値が、小行列に含まれる画素の信号値におけるメディアンである場合には、その信号値をそのまま出力し、平均化処理を行わないこととする。
【００３１】
一方、注目画素の信号値がメディアンでない場合には、注目画素の信号値に近い信号値を有する画素との平均化処理を行うが、この場合、上述した閾値ｔｈを１つに設定して平均化する画素を選択する。
即ち、３×３の小行列において、注目画素の信号値との差分が閾値ｔｈ未満であれば、重み付け係数を“１．０”とし、注目画素の信号値との差分が閾値ｔｈ以上であれば、重み付け係数を“０”と択一的に設定する。
【００３２】
このように、本発明に係るノイズ除去方法においては、第１段階の処理として、センサ出力行列から抽出された小行列の注目画素について、注目画素の信号値が、小行列に含まれる画素の信号値におけるメディアンであるか否かを判定し、メディアンである場合には、その信号値をそのまま用い、メディアンでない場合には、第２段階の処理を行う。
【００３３】
第２段階の処理として、小行列に含まれる画素のうち、注目画素の信号値との差分が、所定の閾値未満である画素と注目画素との平均化を行い、その平均値を注目画素の信号値とする。このとき、単一の閾値を設定し、その閾値に基づいて、注目画素の信号値と近い信号値を有する画素を選択し、平均化処理を行ったり、後述するように複数の閾値を設定し、その閾値に基づいて選択された画素の信号値を、閾値に応じた重み付けを行った上で、平均化処理を行ったりすることが可能である。
【００３４】
なお、以上の説明においては、小行列として３×３の行列を想定したが、例えば、ＲＧＢ方式に基づく色信号であれば、図８に示すように、センサ出力行列のうち、Ｇ信号のみを要素とする行列（以下、「Ｇ行列」と言う。）においては、３×３あるいは３×５といった小行列とすることができ、センサ出力行列のうち、Ｒ信号あるいはＢ信号のみを要素とする行列（以下、それぞれ「Ｒ行列」、「Ｂ行列」と言う。）においては、１×５あるいは１×９といった小行列とすることができる。
【００３５】
このとき、Ｇ信号について、５×５の小行列のように、３×３の小行列より拡大する場合、ノイズが加えられることにより、注目画素と同一の列に含まれる他の画素の信号値がメディアンとなることも想定される（図９参照）。そのため、このように小行列を拡大する場合には、第1段階の処理において、注目画素の信号値がメディアンであるか否かを判定する代わりに、メディアンもしくはメディアン付近の信号値であるか否かを判定することにより、適切な処理を選択することが可能となる。メディアン付近の信号値であるか否かは、注目画素の信号値が、メディアンの前後１つあるいは２つまでの順序に位置することや、メディアンの信号値から所定の閾値以内の信号値であることを具体的基準として判定することが可能である。
【００３６】
また、以上の説明においては、色信号がモザイク状に配列された行列を対象として説明したが、色信号が一様に配列された行列を対象として本発明に係るノイズ除去方法を施す場合にも、ノイズが加えられることにより、注目画素と同一の列に含まれる他の画素がメディアンとなることも想定される（図１０参照）。
したがって、この場合にも、上述した判定方法（メディアンもしくはメディアン付近の信号値であるか否かを判定する方法）を用いることにより、適切な処理を選択することが可能となる。
【００３７】
さらに、他の方法として、色信号が一様に配列された行列を対象とする場合にも、これらの行列要素の中から、図１１に示すように、G信号の３×３の小行列のようなモザイク状の撮像画素を選択し、それらの画素からなる小行列を対象として、注目画素の信号値がメディアンであるか否かを判定することも可能である。
【００３８】
この方法は、色信号が一様に配列された行列を対象とする場合に限らず、色信号がモザイク状に配列された行列において、G信号について、５×５の小行列のように拡大する場合にも有効である。即ち、G行列において、G信号の小行列を図１２のように選択し、この小行列を対象として、注目画素の信号値がメディアンであるか否かを判定することが可能である。
【００３９】
なお、図１１あるいは図１２に示すように小行列を選択した場合、第２段階の処理として平均化処理を行う際には、モザイク状に選択した撮像画素のみではなく、小行列の範囲に含まれる他の画素も対象として、平均化処理を行うことが適当である。
ここで、本発明に係るノイズ除去方法を適用する場合の動作例について、図を参照して説明する。
【００４０】
図１３は、注目画素がＧ信号からなる場合において、３×３の小行列を対象として、ノイズ除去を行う場合の動作を示す概念図である。
図１３において、第１段階の処理として、注目画素の信号値が、小行列に含まれる画素の信号値におけるメディアンであるか否かを判定する。
そして、注目画素の信号値が、小行列に含まれる画素の信号値におけるメディアンであると判定された場合には、注目画素の信号値をそのまま出力値とする。
【００４１】
一方、注目画素の信号値が、小行列に含まれる画素の信号値におけるメディアンでないと判定された場合には、第２段階の処理として、小行列に含まれる画素のうち、注目画素の信号値との差分が、所定の閾値未満である画素と注目画素との平均化を行い、その平均値を出力値とする。このとき、単一の閾値を設定することおよび複数の閾値を設定することが可能である。
この他、複数の閾値（ｔｈ０、ｔｈ１、ｔｈ２・・・）を設定し、閾値に応じて、注目画素の信号値に、より近い信号値を有するものは比重をより高くするというように、重み付け平均を行うことが可能である。
【００４２】
具体的には、３×３の小行列において、注目画素の信号値との差分が閾値ｔｈ０＝０である画素については、重み付け係数を“１．０”とし、注目画素の信号値との差分が、閾値ｔｈ０より大きく閾値ｔｈ１未満であれば、重み付け係数を“０．７５”とし、同様に、閾値ｔｈ２，ｔｈ３を境界として、重み付け係数を“０．５”、“０．２５”と段階的に設定することが可能である。
【００４３】
次に、本方法を使用した撮像装置１の構成を説明する。
図１４は、本実施の形態に係る撮像装置１の構成を示すブロック図である。図１４において、撮像装置１は、被写体からの光を収束させるレンズ１０と、レンズ１０によって収束された光を検出する単板式撮像センサ２０と、単板式撮像センサ２０によって出力された色信号（ＲＧＢ信号）に対し、ノイズ除去処理を行うノイズ除去部３０とを含んで構成される。なお、撮像装置１は、色補間、色空間変換等を行う他の機能部を適宜含むものであるが、これらの機能部については従来と同様であるため説明を省略する。
【００４４】
単板式撮像センサ２０は、ＲＧラインおよびＧＢラインが列方向に繰り返し配列された構成を有している。
ノイズ除去部３０は、単板式撮像センサ２０から出力される信号のうち、Ｇ行列、Ｒ行列およびＢ行列を保持し、各行列について、小行列を単位として、本発明に係るノイズ除去処理を施す。
【００４５】
ここで、本発明に係るノイズ除去処理においては、平均化処理を伴うものであり、除算を行う必要があるが、除算に用いる数が“２”〜“５”等に限られるため、乗算器によって代用可能である。
即ち、“２”で除算する場合、“０．５”を乗算し、“３”で除算する場合、“０．３３３”を乗算し、“４”で除算する場合、“０．２５”を乗算し、“５”で除算する場合、“０．２”を乗算することとして、乗算器によって演算を行うことができる。
【００４６】
また、ノイズ除去部３０は、このような処理を行うために、ラインメモリ４０を備えており、Ｇ信号は３×３の小行列、Ｒ信号およびＢ信号は１×５の小行列にて処理する場合、ラインメモリ４０は、単板式撮像センサ２０の出力信号を２ライン分記憶する容量を有していればよい。
なお、ラインメモリ４０に、より多くのラインを記憶させることができるものとすると、平均化処理を行う際に参照する小行列の範囲を拡大することができ、より適切なノイズ除去を行うことができる。
【００４７】
次に、動作を説明する。
単板式撮像センサ２０は、ラスタスキャン方式によって撮像画素を順次出力する。即ち、単板式撮像センサ２０は、センサ出力行列の各行の撮像画素を一定方向に順に出力する。
すると、ノイズ除去部３０は、ラインメモリ４０に記憶している一ライン前と二ライン前のデータと単板式撮像センサ２０の出力信号を用いて、Ｇ行列、Ｒ行列およびＢ行列に対し、本発明のノイズ除去方法に係るノイズ除去処理（即ち、注目画素の信号値が小行列におけるメディアンであるか否かの判定および所定の平均化処理）を施し、Ｇ信号、Ｒ信号およびＢ信号の画素それぞれについて、ノイズ除去を行ったＲＧＢ信号値を生成する。そして、処理が終わった不要なラインメモリ４０上のデータにかわり、単板式撮像センサ２０の出力信号をラインメモリ４０に記憶していく。
【００４８】
次いで、ノイズ除去部３０にて生成されたＲＧＢ信号を用いて、色補間などの処理が行われ、完成画像が生成される。
以上のように、本実施の形態に係る撮像装置１は、単板式撮像センサ２０の出力信号であるセンサ出力行列において、所定サイズの小行列毎に、注目画素の信号値がメディアンであるか否かを判定し、メディアンでない場合には、注目画素の信号値と近い信号値を有する画素と注目画素との平均化処理を行う。
【００４９】
したがって、滑らかに画像が変化している領域（グラデーション部分）であっても、適切なフィルタ処理を行うことができるため、平均化処理のノイズ除去効果をほぼ維持しながら、不自然な模様が発生する事態等を避けることができる。また、画像内にライン等のエッジを含む場合であっても、エッジ部分の画素については、エッジとして適確な周囲の画素を選択して平均化処理を行う。そのため、エッジ検出のような特別の処理を行うことなくエッジを維持することができ、フィルタ処理により、ラインの一部が欠落するといった事態を避けることができる。
【００５０】
即ち、撮像装置１によって、必要な情報を維持しながら、適切なノイズ除去を行うことが可能となる。
ここで、画質を、基準となる画像の画素とのばらつき（標準偏差）によって表すこととすると、本発明に係るノイズ除去方法を用いることにより、ある条件下において基準となる画像（例えば、マクベスチャートの２番目に明るいパッチの画像等）に対する標準偏差は、以下のようになった。
【００５１】
即ち、▲１▼意図的なノイズを加える前は “１．９７”、▲２▼シミュレーションにより発生させたノイズを付加した場合は“２．８３”、▲３▼メディアンフィルタによるノイズ除去を施した場合は“２．１２”、▲４▼平均化処理を施した場合は“１．９４”、▲５▼本発明に係るノイズ除去処理を施した場合は“２．００”となる。ただし、ここに示す標準偏差は、３×３のＧ信号の小行列に対して各フィルタ処理（ノイズ除去処理）を行った場合の例である。
【００５２】
また、ここに示す標準偏差は、値が小さいほどノイズが少ないことを意味し、上述の結果においては、▲３▼メディアンフィルタによるノイズ除去を施した場合より、▲５▼本発明に係るノイズ除去処理を施した場合の方が、高いノイズ除去効果が得られている。さらに、本発明に係るノイズ除去処理を施す場合には、滑らかに変化している領域（グラデーション部分）において、不自然な模様が発生する事態を防ぐことができるという利点があるため、メディアンフィルタによる処理より適切にノイズ除去を行うことができると言える。
【００５３】
なお、小行列を３×５に拡大した場合、さらにノイズ除去効果を高めることができ、上述の標準偏差は、“１．９２”となる。
また、撮像装置１は、単板式撮像センサ２０の出力信号にフィルタ処理を行うため、色補間等を行った後の完成画像にフィルタ処理を施す場合に比べ、必要となるメモリを大幅に削減することができる。
【００５４】
また、小行列のサイズをより大きくすることとすると、より滑らかな画像を得ることができる。
なお、本実施の形態においては、主にＲＧＢ方式の色信号を対象として説明したが、補色フィルタ方式等、他の方式の色信号を対象とすることも可能である。また、本実施の形態においては、第１段階の処理として、注目画素の信号値が、小行列に含まれる画素の信号値におけるメディアンであるか否かを判定することとしたが、メディアンは、平均値と近い値となる傾向にある。
【００５５】
そのため、注目画素の信号値が、小行列に含まれる画素の信号値の平均値に近い値である場合には、注目画素の信号値をそのまま用い、信号値の平均値に近い値でない場合には、第２段階の処理を行うこととしてもよい。
このような処理とした場合にも、グラデーション部分において、不自然な模様が発生する事態を防止する一定の効果を奏することとなる。
【図面の簡単な説明】
【図１】 センサ出力行列を示す概念図である。
【図２】 ラインを含む小行列を示す図である。
【図３】 センサ出力行列の一部である小行列を示す図である。
【図４】 グラデーション部分を示す模式図である。
【図５】 グラデーション部分における小行列の信号値を示す図である。
【図６】 グラデーション部分におけるノイズを含む場合の小行列の信号値の一例を示す図である。
【図７】 グラデーション部分におけるノイズを含む場合の小行列の信号値の他の例を示す図である。
【図８】 センサ出力行列における小行列の例を示す図である。
【図９】 色信号がモザイク状に配列された小行列において、注目画素と同一列に含まれる他の画素の信号値がメディアンとなる場合の例を示す図である。
【図１０】 色信号が一様に配列された小行列において、注目画素と同一列に含まれる他の画素の信号値がメディアンとなる場合の例を示す図である。
【図１１】色信号が一様に配列された行列において、モザイク状に小行列の画素を選択する場合の例を示す図である。
【図１２】 色信号がモザイク状に配列されたＧ信号の小行列を拡大する場合に、３×３の小行列と同様に画素を選択する場合の例を示す図である。
【図１３】 注目画素がＧ信号からなる場合において、３×３の小行列を対象として、ノイズ除去を行う場合の動作を示す概念図である。
【図１４】 本実施の形態に係る撮像装置１の構成を示すブロック図である。
【符号の説明】
１ 撮像装置，１０ レンズ，２０ 単板式撮像センサ，３０ ノイズ除去部，４０ ラインメモリ
Claims (10)
- 複数の画素により構成された画像のノイズ除去方法であって、
処理対象画素を含む所定の周囲画素について、処理対象画素の信号値がメディアンであるか否かを判定し、メディアンであると判定した場合、処理対象画素の信号値を出力し、メディアンでないと判定した場合、前記周囲画素のうち、処理対象画素の信号値との差分が所定範囲である信号値を有する所定画素と処理対象画素とで平均化処理を行い、処理結果である平均値を出力するノイズ除去処理を施すことを特徴とするノイズ除去方法。 - 前記平均化処理では、前記周囲画素において、処理対象画素の信号値との差分が所定の閾値未満である画素を選択し、選択された画素と処理対象画素の信号値の平均値を取得することを特徴とする請求項１記載のノイズ除去方法。
- 前記平均化処理では、前記周囲画素の信号値と前記処理対象画素の信号値との差分に関する複数の閾値と、該閾値に応じた重み付け係数とを設定し、前記複数の閾値に基づいて、前記周囲画素それぞれについて、処理対象画素の信号値との差分に応じた前記重み付け係数を加味した重み付け平均を行うことを特徴とする請求項１記載のノイズ除去方法。
- 前記画像は、所定方式に基づく異なる成分の色信号を出力する撮像素子を、所定パターンに配列した単板式撮像センサによって撮影され、該異なる成分の色信号のうち、少なくとも１つの成分の色信号について前記ノイズ除去処理を施すことを特徴とする請求項１〜３のいずれかに記載のノイズ除去方法。
- 前記周囲画素について、処理対象画素の信号値がメディアンであるか否かを判定する際に、該周囲画素における所定位置に配置された特定画素を対象として判定を行い、前記平均化処理を行う場合には、該特定画素あるいは前記周囲画素全体の少なくともいずれかを対象として処理を行うことを特徴とする請求項１〜４のいずれかに記載のノイズ除去方法。
- 複数の画素により構成された画像のノイズ除去方法であって、
処理対象画素の信号値が、処理対象画素を含む所定の周囲画素の信号値における平均値であるか否かを判定し、平均値であると判定した場合、処理対象画素の信号値を出力し、平均値でないと判定した場合、前記周囲画素のうち、処理対象画素の信号値との差分が所定範囲である信号値を有する所定画素と処理対象画素とで平均化処理を行い、処理結果である平均値を出力するノイズ除去処理を施すことを特徴とするノイズ除去方法。 - 複数の画素により構成された画像のノイズ除去を行う撮像装置であって、
処理対象画素を含む所定の周囲画素について、処理対象画素の信号値がメディアンであるか否かを判定し、メディアンであると判定した場合、処理対象画素の信号値を出力し、メディアンでないと判定した場合、前記周囲画素のうち、処理対象画素の信号値との差分が所定範囲である信号値を有する所定画素と処理対象画素とで平均化処理を行い、処理結果である平均値を出力するノイズ除去処理を施すことを特徴とする撮像装置。 - 複数の画素により構成された画像のノイズ除去を行う撮像装置であって、
処理対象画素の信号値が、処理対象画素を含む所定の周囲画素の信号値における平均値であるか否かを判定し、平均値であると判定した場合、処理対象画素の信号値を出力し、平均値でないと判定した場合、前記周囲画素のうち、処理対象画素の信号値との差分が所定範囲である信号値を有する所定画素と処理対象画素とで平均化処理を行い、処理結果である平均値を出力するノイズ除去処理を施すことを特徴とする撮像装置。 - 複数の画素により構成された画像のノイズ除去を行うためのノイズ除去プログラムであって、
処理対象画素を含む所定の周囲画素について、処理対象画素の信号値がメディアンであるか否かを判定し、メディアンであると判定した場合、処理対象画素の信号値を出力し、メディアンでないと判定した場合、前記周囲画素のうち、処理対象画素の信号値との差分が所定範囲である信号値を有する所定画素と処理対象画素とで平均化処理を行い、処理結果である平均値を出力するノイズ除去処理を施す機能をコンピュータに実現させることを特徴とするノイズ除去プログラム。 - 複数の画素により構成された画像のノイズ除去を行うためのノイズ除去プログラムであって、
処理対象画素の信号値が、処理対象画素を含む所定の周囲画素の信号値における平均値であるか否かを判定し、平均値であると判定した場合、処理対象画素の信号値を出力し、平均値でないと判定した場合、前記周囲画素のうち、処理対象画素の信号値との差分が所定範囲である信号値を有する所定画素と処理対象画素とで平均化処理を行い、処理結果である平均値を出力するノイズ除去処理を施す機能をコンピュータに実現させることを特徴とするノイズ除去プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002338024A JP4178919B2 (ja) | 2002-11-21 | 2002-11-21 | ノイズ除去方法、撮像装置およびノイズ除去プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002338024A JP4178919B2 (ja) | 2002-11-21 | 2002-11-21 | ノイズ除去方法、撮像装置およびノイズ除去プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004173060A JP2004173060A (ja) | 2004-06-17 |
| JP4178919B2 true JP4178919B2 (ja) | 2008-11-12 |
Family
ID=32701371
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002338024A Expired - Lifetime JP4178919B2 (ja) | 2002-11-21 | 2002-11-21 | ノイズ除去方法、撮像装置およびノイズ除去プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4178919B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8971660B2 (en) | 2009-03-16 | 2015-03-03 | Ricoh Company, Ltd. | Noise reduction device, noise reduction method, noise reduction program, and recording medium |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4420294B2 (ja) | 2005-06-28 | 2010-02-24 | エルジー ディスプレイ カンパニー リミテッド | ミディアンフィルタリング方法及び装置 |
| WO2009073006A1 (en) * | 2007-12-04 | 2009-06-11 | Hewlett-Packard Development Company, L.P. | Method and system for image restoration in the spatial domain |
| TWI346452B (en) * | 2008-03-17 | 2011-08-01 | Holtek Semiconductor Inc | Low pass filtering method |
| JP4640508B2 (ja) * | 2009-01-09 | 2011-03-02 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム、及び撮像装置 |
| KR101600312B1 (ko) | 2009-10-20 | 2016-03-07 | 삼성전자주식회사 | 영상처리장치 및 영상처리방법 |
-
2002
- 2002-11-21 JP JP2002338024A patent/JP4178919B2/ja not_active Expired - Lifetime
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8971660B2 (en) | 2009-03-16 | 2015-03-03 | Ricoh Company, Ltd. | Noise reduction device, noise reduction method, noise reduction program, and recording medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004173060A (ja) | 2004-06-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5067635B2 (ja) | 撮像装置のための、エッジを保護しながらノイズを低減する方法および装置 | |
| US6625325B2 (en) | Noise cleaning and interpolating sparsely populated color digital image using a variable noise cleaning kernel | |
| JP4054184B2 (ja) | 欠陥画素補正装置 | |
| US6570616B1 (en) | Image processing method and device and recording medium in which image processing program is recorded | |
| US7391903B2 (en) | Image processing method, image processing program and image processing processor for interpolating color components | |
| US8160381B2 (en) | Method and apparatus for image noise reduction using noise models | |
| US6075889A (en) | Computing color specification (luminance and chrominance) values for images | |
| JP4610930B2 (ja) | 画像処理装置、画像処理プログラム | |
| JP4803178B2 (ja) | 画像処理装置、コンピュータプログラム製品および画像処理方法 | |
| EP1389771A2 (en) | Digital image system and method for combining demosaicing and bad pixel correction | |
| US6757012B1 (en) | Color selection for sparse color image reconstruction | |
| US8515210B2 (en) | Image processing method and image processing device | |
| US9131174B2 (en) | Image processing device, image processing method, and program for detecting and correcting defective pixel in image | |
| US7756355B2 (en) | Method and apparatus providing adaptive noise suppression | |
| WO2005117455A1 (ja) | Ｒａｗデ－タから倍率色収差を検出する画像処理装置、画像処理プログラム、および電子カメラ | |
| KR101225056B1 (ko) | 이미지 센서 노이즈 저감 장치 및 방법 | |
| JP2004153823A (ja) | 局部線形回帰法を用いた画像処理システム | |
| JP5169994B2 (ja) | 画像処理装置、撮像装置及び画像処理方法 | |
| JP2000023174A (ja) | 画像処理装置及び画像処理方法 | |
| JP2000152033A (ja) | 画像処理装置及び画像処理方法 | |
| JP4178919B2 (ja) | ノイズ除去方法、撮像装置およびノイズ除去プログラム | |
| US6671401B1 (en) | Removing color moire patterns from digital images having known chromaticities | |
| US6795586B1 (en) | Noise cleaning and interpolating sparsely populated color digital image | |
| US11412164B1 (en) | Method, apparatus, and system for residual row noise removal | |
| JPH11262025A (ja) | 画像入力装置および画像補正方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051116 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080421 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080805 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080818 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4178919 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110905 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120905 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130905 Year of fee payment: 5 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |