JP3664231B2 - カラー画像処理装置 - Google Patents

カラー画像処理装置 Download PDF

Info

Publication number
JP3664231B2
JP3664231B2 JP2000241226A JP2000241226A JP3664231B2 JP 3664231 B2 JP3664231 B2 JP 3664231B2 JP 2000241226 A JP2000241226 A JP 2000241226A JP 2000241226 A JP2000241226 A JP 2000241226A JP 3664231 B2 JP3664231 B2 JP 3664231B2
Authority
JP
Japan
Prior art keywords
color image
output
pixel
circuit
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000241226A
Other languages
English (en)
Other versions
JP2002057900A (ja
Inventor
眞也 久保
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2000241226A priority Critical patent/JP3664231B2/ja
Priority to US09/923,953 priority patent/US6980335B2/en
Priority to TW090119356A priority patent/TW563350B/zh
Publication of JP2002057900A publication Critical patent/JP2002057900A/ja
Application granted granted Critical
Publication of JP3664231B2 publication Critical patent/JP3664231B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/58Edge or detail enhancement; Noise or error suppression, e.g. colour misregistration correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20192Edge enhancement; Edge preservation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)
  • Image Processing (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、カラー画像信号の読取及び記録を行うカラー画像処理装置に関する。
【0002】
【従来の技術】
従来のカラースキャナ、カラーFAX等に用いられるカラー画像処理装置の回路構成について図5を参照して説明する。
【0003】
図5は、従来のカラー画像処理装置の一構成例を示すブロック図である。
【0004】
図5に示すように本従来例は、カラーイメージセンサ11、A/D変換器12〜14及びシェーディング補正回路15〜17を具備し、R(Red),G(Green)及びB(Blue)の3色のカラー画像信号の入力処理を行う入力画像処理回路Aと、色変換処理回路33及び画像フォーマット変換回路34を具備し、入力画像処理回路Aから出力された3色のカラー画像信号の出力処理を行う出力画像処理回路Bとから構成されている。
【0005】
カラーイメージセンサ11は、例えば、R,G,Bの3色について1次元配列された多数の電荷結合素子(CCD)や、1次元配列された多数の光電変換素子からなる密着型カラーイメージセンサ等であり、原稿画像を光電変換してアナログ信号として出力する。
【0006】
以下に、上記のように構成されたカラー画像処理装置の動作について説明する。
【0007】
カラーイメージセンサ11から出力されたR,G,Bの3色のアナログカラー画像信号のそれぞれは、A/D変換器12〜14によりデジタル多値信号に変換された後、シェーディング補正回路15〜17によりカラーイメージセンサ11の主走査方向の出力歪(シェーディング)が補正されて出力される。
【0008】
シェーディング補正回路15〜17から出力された3色のカラー画像信号は、色変換処理回路33により階調補正処理及び色座標変換処理が行われた後、画像フォーマット変換回路34によりビットマップやJpeg等の所定のフォーマットのカラー画像データに変換されて出力される。
【0009】
【発明が解決しようとする課題】
カラー画像処理装置においては、カラー画像信号の読取速度を高速化する場合、カラーイメージセンサの蓄積時間を短くし、転送クロックを高速化することになる。カラーイメージセンサに使用されるCCDまたはCIS等の光源の駆動方式は、近年の技術進歩によって高速化が進んでいる。
【0010】
しかしながら、カラーイメージセンサに使用される光源の輝度が一定である場合、R,G,Bのそれぞれのアナログカラー画像信号の振幅が小さくなりS/Nが悪化するおそれがある。
【0011】
S/Nの悪化を防止するための方法としては、光源の輝度を明るくする方法があるが、光源の発光体の物性から得られる輝度には限界がある。光源を複数実装して輝度を明るくする方法もあるが、装置構成の制限から実装可能な光源の数にも限界がある。
【0012】
従って、カラー画像信号の読取速度の更なる高速化を図るためには、悪化したS/Nを画像処理によって改善することが必要であり、具体的には、カラー画像信号に含まれるノイズ成分を低減する処理を行うことが必要である。
【0013】
しかしながら、ノイズ成分を低減するための処理が複雑になり、処理時間が長くなると、本来の目的である読み取り速度の高速化の妨げになってしまう。このため、カラー画像信号に含まれるノイズ成分の低減処理を簡単かつ効果的な方法により実現していくことが必要である。
【0014】
ノイズ成分を低減する最も簡単な処理としては、任意の注目画素について周辺の特定の数の画素を参照して平均化を行い、この平均化処理を順次隣の画素にシフトしていく移動平均化処理が挙げられる。
【0015】
この移動平均化処理では、参照する画素数をある程度多くすることでノイズ低減に優れた効果が発揮されるが、逆に、参照する画素数を多くすると解像度が損なわれ、全体的にボケた画像が生じてしまうという弊害がある。
【0016】
カラー画像信号ではなく2値画像(白黒画像)信号のノイズ低減方法としては、例えば、特開平09−037074号公報において、文字成分と判断される領域の画素については移動平均化処理から除外する方法が開示されている。
【0017】
これによれば、白黒画像において、解像度を損なうことなく画像情報に含まれるモアレを除去することができるとともに、ノイズ成分をも効果的に除去することができる。
【0018】
しかしながら、特開平09−037074号公報に開示された方法をカラー画像にそのまま適用した場合、カラー画像における各色の滑らかな階調性の変化をも平均化されてしまい、階調性が損なわれるおそれがある。
【0019】
本発明は上述したような従来の技術が有する問題点に鑑みてなされたものであって、カラー画像信号に含まれるノイズ成分を、解像度及び階調性を損なうことなく効果的に除去することができるカラー画像処理装置を提供することを目的とする。
【0020】
【課題を解決するための手段】
上記目的を達成するために本発明は、
カラーイメージセンサにて得られたR,G及びBの3色のカラー画像信号のそれぞれに対してデジタル信号変換処理及シェーディング補正処理を行い、該3色のカラー画像信号を出力する入力画像処理回路と、該入力画像処理回路から出力された3色のカラー画像信号に対して色変換処理及び画像フォーマット変換処理を行うことにより該3色のカラー画像信号を合成して出力する出力画像処理回路とを有してなるカラー画像処理装置であって、
前記入力画像処理回路から出力された3色のカラー画像信号のそれぞれを1ライン(総画素数=N、N:自然数)毎に順次記憶する記憶手段と、
前記3色のカラー画像信号のそれぞれに対応して配置され、前記記憶手段に記憶された1ライン分のカラー画像信号を読み出し、該カラー画像信号の先頭画素からi画素目(i=1〜N、i:自然数)の注目画素iに関する移動平均画素数n(n:自然数)を所定の数式に基づいて順次算出して出力する第1の演算回路と、
前記3色のカラー画像信号のそれぞれに対応して配置され、前記第1の演算回路から出力された移動平均画素数nに基づいて、前記第1の演算回路に読み出された1ライン分のカラー画像信号のうち前記注目画素iと該注目画素iの前後n画素の参照画素j(i−n≦j≦i+n、j:自然数)とを順次選択して出力するビット選択手段と、
前記3色のカラー画像信号のそれぞれに対応して配置され、前記ビット選択回路から出力された前記注目画素iの出力レベルと前記参照画素jのそれぞれの出力レベルとの差分の絶対値を順次算出して出力する差分回路と、
特定の閾値を記憶する閾値記憶手段と、
前記3色のカラー画像信号のそれぞれに対応して配置され、前記注目画素iの出力信号を順次出力するとともに、前記差分回路から出力された値と前記閾値記憶手段にて記憶された閾値とを比較し、前記注目画素iの出力レベルと前記参照画素jの出力レベルとの差分の絶対値が前記閾値よりも小さい場合にのみ、該参照画素jの出力信号を順次出力する判定回路と、
前記3色のカラー画像信号のそれぞれに対応して配置され、前記判定回路から出力された出力信号の移動平均化処理を行い、該出力信号を1ライン毎に前記カラー画像信号として前記出力画像処理回路に対して順次出力する第2の演算回路とを有し、
前記出力画像処理回路は、前記第2の演算回路のそれぞれから出力された3色のカラー画像信号に対して前記色変換処理及び前記画像フォーマット変換処理を行うことにより、該3色のカラー画像信号を合成して出力することを特徴とする。
【0021】
また、カラーイメージセンサにて得られたR,G及びBの3色のカラー画像信号のそれぞれに対してデジタル信号変換処理及シェーディング補正処理を行い、該3色のカラー画像信号を出力する入力画像処理回路と、該入力画像処理回路から出力された3色のカラー画像信号に対して色変換処理及び画像フォーマット変換処理を行うことにより該3色のカラー画像信号を合成して出力する出力画像処理回路とを有してなるカラー画像処理装置であって、
前記入力画像処理回路から出力された3色のカラー画像信号のうちR及びGの2色のカラー画像信号のそれぞれを1ライン(総画素数=N、N:自然数)毎に順次記憶する記憶手段と、
前記2色のカラー画像信号のそれぞれに対応して配置され、前記記憶手段に記憶された1ライン分のカラー画像信号を読み出し、該カラー画像信号の先頭画素からi画素目(i=1〜N、i:自然数)の注目画素iに関する移動平均画素数n(n:自然数)を所定の数式に基づいて順次算出して出力する第1の演算回路と、
前記2色のカラー画像信号のそれぞれに対応して配置され、前記第1の演算回路から出力された移動平均画素数nに基づいて、前記第1の演算回路に読み出された1ライン分のカラー画像信号のうち前記注目画素iと該注目画素iの前後n画素の参照画素j(i−n≦j≦i+n、j:自然数)とを順次選択して出力するビット選択手段と、
前記2色のカラー画像信号のそれぞれに対応して配置され、前記ビット選択回路から出力された前記注目画素iの出力レベルと前記参照画素jのそれぞれの出力レベルとの差分の絶対値を順次算出して出力する差分回路と、
特定の閾値を記憶する閾値記憶手段と、
前記2色のカラー画像信号のそれぞれに対応して配置され、前記注目画素iの出力信号を順次出力するとともに、前記差分回路から出力された値と前記閾値記憶手段にて記憶された閾値とを比較し、前記注目画素iの出力レベルと前記参照画素jの出力レベルとの差分の絶対値が前記閾値よりも小さい場合にのみ、該参照画素jの出力信号を順次出力する判定回路と、
前記2色のカラー画像信号のそれぞれに対応して配置され、前記判定回路から出力された出力信号の移動平均化処理を行い、該出力信号を1ライン毎に前記カラー画像信号として前記出力画像処理回路に対して順次出力する第2の演算回路とを有し、
前記出力画像処理回路は、前記入出力画像処理装置から出力されたBのカラー画像信号と前記第2の演算回路のそれぞれから出力されたR及びGの2色のカラー画像信号との3色のカラー画像信号に対して前記色変換処理及び前記画像フォーマット変換処理を行うことにより、該3色のカラー画像信号を合成して出力することを特徴とする。
【0022】
また、カラーイメージセンサにて得られたR,G及びBの3色のカラー画像信号のそれぞれに対してデジタル信号変換処理及シェーディング補正処理を行い、該3色のカラー画像信号を出力する入力画像処理回路と、該入力画像処理回路から出力された3色のカラー画像信号に対して色変換処理及び画像フォーマット変換処理を行うことにより該3色のカラー画像信号を合成して出力する出力画像処理回路とを有してなるカラー画像処理装置であって、
前記入力画像処理回路から出力されたGのカラー画像信号を1ライン(総画素数=N、N:自然数)毎に順次記憶する記憶手段と、
前記記憶手段に記憶された1ライン分のGのカラー画像信号を読み出し、該カラー画像信号の先頭画素からi画素目(i=1〜N、i:自然数)の注目画素iに関する移動平均画素数n(n:自然数)を所定の数式に基づいて順次算出して出力する第1の演算回路と、
前記第1の演算回路から出力された移動平均画素数nに基づいて、前記第1の演算回路に読み出された1ライン分のGのカラー画像信号のうち前記注目画素iと該注目画素iの前後n画素の参照画素j(i−n≦j≦i+n、j:自然数)とを順次選択して出力するビット選択手段と、
前記ビット選択回路から出力された前記注目画素iの出力レベルと前記参照画素jのそれぞれの出力レベルとの差分の絶対値を順次算出して出力する差分回路と、
特定の閾値を記憶する閾値記憶手段と、
前記注目画素iの出力信号を順次出力するとともに、前記差分回路から出力された値と前記閾値記憶手段にて記憶された閾値とを比較し、前記注目画素iの出力レベルと前記参照画素jの出力レベルとの差分の絶対値が前記閾値よりも小さい場合にのみ、該参照画素jの出力信号を順次出力する判定回路と、
前記判定回路から出力された出力信号の移動平均化処理を行い、該出力信号を1ライン毎に前記Gのカラー画像信号として前記出力画像処理回路に対して順次出力する第2の演算回路とを有し、
前記出力画像処理回路は、前記入出力画像処理装置から出力されたR及びBの2色のカラー画像信号と前記第2の演算回路から出力されたGのカラー画像信号との3色のカラー画像信号に対して前記色変換処理及び前記画像フォーマット変換処理を行うことにより、該3色のカラー画像信号を合成して出力することを特徴とする。
【0023】
また、前記ビット選択手段は、前記参照画素jが1≦j≦Nの範囲外である場合には、該参照画素jを出力しないことを特徴とする。
【0024】
また、前記第1の演算回路は、前記注目画素iの出力レベルと該注目画素iに隣接する隣接画素i+1或いは隣接画素i−1のいずれかの隣接画素の出力レベルとの差分ΔTを算出した後、該差分△Tを用いて数式n=A/(△T+B)(A,B:定数)に基づいて前記移動平均画素数nを算出することを特徴とする。
【0025】
また、前記第1の演算回路は、i≦N−2である場合、前記注目画素iの出力レベルと該注目画素iに隣接するi+1画素目からi+k(2≦k≦N−i、k:自然数)画素目までの複数の隣接画素のそれぞれの出力レベルとの差分を算出した後、該差分の平均値△Taを算出し、該差分△Taを用いて数式n=A/(△Ta+B)(A,B:定数)に基づいて前記移動平均画素数nを算出することを特徴とする。
【0026】
また、前記第1の演算回路は、i≧3である場合、前記注目画素iの出力レベルと該注目画素iに隣接するi−1画素目からi−k(2≦k≦i−1、k:自然数)画素目までのk個の隣接画素のそれぞれの出力レベルとの差分を算出した後、該差分の平均値△Taを算出し、該平均値△Taを用いて数式n=A/(△Ta+B)(A,B:定数)に基づいて前記移動平均画素数nを算出することを特徴とする。
【0027】
また、前記第1の演算回路は、前記数式に基づいて移動平均画素数nを算出した結果、端数が生じた場合には、該端数を切り捨てることを特徴とする。
【0028】
(作用)
ここで、本発明の原理について図4を参照して説明する。
【0029】
図4は、本発明のカラー画像処理装置の原理を説明するための図であり、ノイズ成分を含む画像データAと、画像データAに対して単純に移動平均化処理を行った画像データBと、画像データAに対して本発明のカラー画像処理装置を用いて移動平均化処理を行った画像データCとを示している。なお、図4において、横軸は、カラーイメージセンサの主走査方向の画素位置、縦軸は、各画素位置における出力信号の出力レベルを表している。
【0030】
図4に示すように、画像データAでは、6画素目から7画素目までの間で出力レベルが閾値Th以上に急峻に減少し、また、14画素目から17画素目までの間で出力レベルが滑らかに変化して閾値Th以上に増加している。
【0031】
画像データAに対して単純に移動平均化処理を行った画像データBでは、画像データAに含まれるノイズ成分は低減されているが、出力レベルが急峻に変化している6画素目から7画素目までの間の傾きが、画像データAと比較して小さくなっていることから、この部分の解像度が劣化していることがわかる。また、14画素目から17画素目までの間の滑らかな出力レベルの変化、すなわち階調性の変化が無くなっていることがわかる。
【0032】
これに対して、本発明においては、注目画素iと参照画素jとの出力レベルの差分の絶対値が閾値Th以下である場合にのみ、該参照画素jが第2の演算回路における移動平均化処理に加えられ、閾値Th以上の参照画素jが移動平均化処理から除外されるように構成されている。
【0033】
従って、図4を参照すると、画像データAに対して本発明のカラー画像処理装置を用いて移動平均化処理を行った画像データCでは、6画素目から7画素目までの間の急峻な変化が閾値Th以上であることから、この部分については移動平均化処理から除外されるため、解像度が劣化しない。
【0034】
また、本発明においては、注目画素iと該注目画素iに隣接する隣接画素との出力レベルの差分ΔTを用いて数式n=A/(△T+B)に基づいて、移動平均画素数nが算出されるように構成されているため、上記差分量ΔTが小さい場合、すなわち、階調性の変化が小さい場合には、移動平均画素数nが大きくなることから、広範囲にわたって移動平均化処理が行われることになる。
【0035】
しかしながら、図4を参照すると、14画素目から17画素目までの間のように階調性が滑らかに変化して閾値Th以上に増加する場合には、この部分については移動平均化処理から除外されるため、移動平均化処理に用いられる参照画素数が少なくなり、これにより、階調性の変化が損なわれない。
【0036】
本発明においては、上述したような簡単な画像処理により、本来のカラー画像の解像度及び階調性を損なうことなく、ノイズ成分のみを効果的に除去することが可能となる。また、回路構成が簡単になるため、本カラー画像処理装置の小型化及び低価格化が実現可能となる。
【0037】
【発明の実施の形態】
以下に、本発明の実施の形態について図面を参照して説明する。
【0038】
(第1の実施の形態)
図1は、本発明のカラー画像処理装置の第1の実施の形態を示すブロック図である。なお、同図において、図5に示した従来のカラー画像処理装置と同様の部分については同一の符号を付し、説明を省略する。
【0039】
図1に示すように本形態は、図5に示した従来のカラー画像処理装置に対して、入力画像処理回路Aから出力されたR,G及びBの3色のカラー画像信号に含まれるノイズ成分を除去して出力画像処理回路Bに対して出力するノイズ除去回路Cが設けられている点に特徴がある。
【0040】
ノイズ除去回路Cにおいては、R,G及びBの3色のカラー画像信号のそれぞれに対応するように、第1の演算回路である演算回路A18,19,20と、ビット選択回路21,22,23と、差分回路24,25,26と、判定回路27,28,29と、第2の演算回路である演算回路B30,31,32とが設けられ、更に、記憶手段であるラインメモリ35と、閾値記憶手段である閾値記憶メモリ36とが設けられている。
【0041】
以下に、上記のように構成されたカラー画像処理装置の動作について説明する。なお、以下の記載では、説明を簡単にするためにG信号に注目して説明するが、R信号及びB信号についても同様の処理が並行して行われる。
【0042】
まず、カラーイメージセンサ11から出力されたアナログカラー画像信号であるG画像信号が、A/D変換器(G)13にてデジタル信号に変換された後、シェーディング補正回路(G)16にてカラーイメージセンサ11の主走査方向の出力歪が補正されて出力される。
【0043】
次に、シェーディング補正回路(G)16から出力されたG画像信号が、1ライン(総画素数=N、N:自然数)毎にラインメモリー35に記憶される。
【0044】
次に、ラインメモリー35に記憶された1ライン分のG画像信号が、先頭画素から順番に演算回路A(G)19に読み出される。
【0045】
演算回路A(G)19においては、先頭画素からi画素目の任意の注目画素i(i=1〜N、i:自然数)に関し、注目画素iの出力レベルと該注目画素iに隣接する隣接画素i+1或いは隣接画素i−1のいずれかの出力レベルとの差分△Tが算出され、この差分△Tを用いて数式n=A/(△T+B)(A,B:定数)に基づいて移動平均画素数n(n:自然数)が算出される。
【0046】
なお、演算回路A(G)19においては、i=1である場合には、注目画素iに隣接する隣接画素として、隣接画素i+1が用いられ、また、i=Nである場合には、注目画素iに隣接する隣接画素として、隣接画素i−1が用いられることになる。
【0047】
また、演算回路A(G)19においては、上述した数式n=A/(△T+B)に基づいて移動平均画素数nを算出した結果、端数が発生してnが自然数とならない場合には、該端数を切り捨ててnを自然数にする。
【0048】
次に、ビット選択回路(G)22において、演算回路A(G)19にて算出された移動平均画素数nに基づいて、演算回路A(G)19に読み出された1ライン分のG画像信号のうち、注目画素iと該注目画素iの前後n画素の参照画素j((i−n)≦j≦(i+n)、j:自然数)とが選択されて出力される。
【0049】
次に、差分回路(G)25において、ビット選択回路(G)22から出力された注目画素iの出力レベルViと参照画素jのそれぞれの出力レベルVjとの差分の絶対値|Vi−Vj|が算出されて出力される。
【0050】
次に、判定回路(G)28において、注目画素iの出力信号が出力されるとともに、差分回路(G)25から出力された|Vi−Vj|と閾値記憶メモリ36に記憶された特定の閾値Thとが比較され、|Vi−Vj|<Thである場合には、参照画素jの出力信号が出力され、|Vi−Vj|≧Thである場合には、参照画素jの出力信号の出力が阻止される。
【0051】
以上の処理をj=(i−n)〜(i+n)画素の間で繰り返す。なお、ビット選択回路(G)22においては、参照画素jの範囲が1≦j≦Nの範囲外となった場合には、その参照画素jを出力しない。
【0052】
演算回路B(G)31においては、判定回路(G)28から出力された注目画素iの出力信号と参照画素jの出力信号との移動平均化処理が行われ、これにより、注目画素iの出力信号が平滑化されて出力される。
【0053】
以上の処理をi=1〜N画素の間で繰り返す。
【0054】
上述した処理により、1ライン分のG画像信号が平滑化されて出力画像処理回路Bに対して出力され、以降、1ライン毎に平滑化されたG画像信号が出力画像処理回路Bに対して出力されることになる。
【0055】
なお、R信号及びB信号についても、それぞれに対応する回路にて同様の処理が行われることにより平滑化された画像信号が1ライン毎に出力画像処理回路Bに対して出力されることになる。
【0056】
平滑化されたR,G及びBの3色のカラー画像信号は、色変換処理回路33にて階調補正及び色座標変換された後、画像フォーマット変換回路34にて予め選択された画像フォーマットに変換されて出力される。
【0057】
なお、本形態においては、注目画素iと隣接画素i+1或いは隣接画素i−1との出力レベルの差分ΔTを用いて移動平均画素数nを算出する構成について説明したが、本発明においては、i≦N−2である場合に、注目画素iと、隣接画素i+1から隣接画素i+k(2≦k≦N−i、k:自然数)までの複数の隣接画素のそれぞれとの出力レベルの差分をとり、該差分の平均値ΔTaを用いて数式n=A/(ΔTa+B)に基づいて移動平均画素数nを算出する構成であっても、i≧3である場合に、注目画素iと、隣接画素i−1から隣接画素i−k(2≦k≦i−1、k:自然数)までの複数の隣接画素のそれぞれの出力レベルとの差分をとり、該差分値の平均値ΔTaを用いて数式n=A/(ΔTa+B)に基づいて移動平均画素数nを算出する構成であっても良い。
【0058】
(第2の実施の形態)
図1は、本発明のカラー画像処理装置の第2の実施の形態を示すブロック図である。なお、同図において、図1に示したカラー画像処理装置と同様の部分については同一の符号を付し、説明を省略する。
【0059】
図2に示すように本形態は、図1に示したカラー画像処理装置に対して、G及びRの2色のカラー画像信号のみについてノイズ除去の処理を実施する点が異なるものであり、B信号についてはノイズ除去の処理は行われず、入力画像処理回路Aからの出力信号が直接出力画像処理回路Bに入力される。
【0060】
B信号は、信号内にノイズ成分が含まれていたとしても、一般に、その他のR信号及びG信号と比較するとノイズ成分の画像への影響が小さい。
【0061】
本形態においては、ノイズ成分の画像への影響の少ないB信号のノイズ除去処理を削除することにより、回路の簡略化、ノイズ除去の処理速度の高速化を図るものである。
【0062】
(第3の実施の形態)
図3は、本発明のカラー画像処理装置の第3の実施の形態を示すブロック図である。なお、同図において、図1に示したカラー画像処理装置と同様の部分については同一の符号を付し、説明を省略する。
【0063】
図3に示すように本形態は、図1に示したカラー画像処理装置に対して、G信号のみについてノイズ除去の処理を実施する点が異なるものであり、R信号、B信号についてはノイズ除去の処理は行われず、入力画像処理回路Aからの出力信号が直接出力画像処理回路Bに入力される。
【0064】
G信号は、R、B信号と比較して明度成分が大きく、信号内にノイズ成分が含まれている場合に、ノイズ成分の画像への影響が最も大きい。
【0065】
本形態においては、ノイズ成分の画像への影響が最も大きいG信号のみに対してノイズ除去処理を行うことにより、更なる回路の簡略化、ノイズ除去の処理速度の高速化を図るものである。
【0066】
【発明の効果】
以上説明したように本発明においては、注目画素iの出力レベルと参照画素jの出力レベルとの差分の絶対値が閾値以下である場合にのみ、該参照画素jが第2の演算回路における移動平均化処理に加えられるような構成としたため、上記差分の絶対値が閾値以上に急峻に変化している部分については移動平均化処理から除外され、これにより、文字、罫線等の解像度を損なうことなくノイズ成分を効果的に除去することができる。
【0067】
また、注目画素iの出力レベルと該注目画素iに隣接する隣接画素の出力レベルとの差分ΔTを用いて数式n=A/(△T+B)に基づいて、移動平均画素数nが算出されるように構成されているため、上記差分量ΔTが小さい場合、すなわち、階調性の変化が小さい場合には、移動平均画素数nが大きくなることから、広範囲にわたって第2の演算回路にて移動平均化処理が行われることになる。
【0068】
しかしながら、例えば、階調性の変化が小さいとしても、階調性が滑らかに変化して閾値以上に増加或いは減少する場合には、この部分については移動平均化処理から除外されるため、第2の演算回路における移動平均化処理に用いられる参照画素数が少なくなり、これにより、階調性の変化を損なうことなくノイズ成分を効果的に除去することができる。
【0069】
また、Gのカラー画像信号のみ、または、R,Gのカラー画像信号のみに対応して、第1の演算回路、ビット選択手段、差分回路、判定回路及び第2の演算回路の各回路を設けた場合においては、R,G,Bの3色のカラー画像信号の全てに対応して上述した各回路を設けた場合と比較して、回路の簡略化、ノイズ除去の処理速度の高速化を図ることができる。
【図面の簡単な説明】
【図1】本発明のカラー画像処理装置の第1の実施の形態を示すブロック図である。
【図2】本発明のカラー画像処理装置の第2の実施の形態を示すブロック図である。
【図3】本発明のカラー画像処理装置の第3の実施の形態を示すブロック図である。
【図4】本発明のカラー画像処理装置の原理を説明するための図である。
【図5】従来のカラー画像処理装置の一構成例を示すブロック図である。
【符号の説明】
11 カラーイメージセンサ
12〜14 A/D変換器
15〜17 シェーディング補正回路
18〜20 演算回路A
21〜23 ビット選択回路
24〜26 差分回路
27〜29 判定回路
30〜32 演算回路B
33 色変換処理回路
34 画像フォーマット変換回路
35 ラインメモリ
36 閾値記憶メモリ
A 入力画像処理回路
B 出力画像処理回路
C ノイズ除去回路

Claims (8)

  1. カラーイメージセンサにて得られたR,G及びBの3色のカラー画像信号のそれぞれに対してデジタル信号変換処理及シェーディング補正処理を行い、該3色のカラー画像信号を出力する入力画像処理回路と、該入力画像処理回路から出力された3色のカラー画像信号に対して色変換処理及び画像フォーマット変換処理を行うことにより該3色のカラー画像信号を合成して出力する出力画像処理回路とを有してなるカラー画像処理装置であって、
    前記入力画像処理回路から出力された3色のカラー画像信号のそれぞれを1ライン(総画素数=N、N:自然数)毎に順次記憶する記憶手段と、
    前記3色のカラー画像信号のそれぞれに対応して配置され、前記記憶手段に記憶された1ライン分のカラー画像信号を読み出し、該カラー画像信号の先頭画素からi画素目(i=1〜N、i:自然数)の注目画素iに関する移動平均画素数n(n:自然数)を所定の数式に基づいて順次算出して出力する第1の演算回路と、
    前記3色のカラー画像信号のそれぞれに対応して配置され、前記第1の演算回路から出力された移動平均画素数nに基づいて、前記第1の演算回路に読み出された1ライン分のカラー画像信号のうち前記注目画素iと該注目画素iの前後n画素の参照画素j(i−n≦j≦i+n、j:自然数)とを順次選択して出力するビット選択手段と、
    前記3色のカラー画像信号のそれぞれに対応して配置され、前記ビット選択回路から出力された前記注目画素iの出力レベルと前記参照画素jのそれぞれの出力レベルとの差分の絶対値を順次算出して出力する差分回路と、
    特定の閾値を記憶する閾値記憶手段と、
    前記3色のカラー画像信号のそれぞれに対応して配置され、前記注目画素iの出力信号を順次出力するとともに、前記差分回路から出力された値と前記閾値記憶手段にて記憶された閾値とを比較し、前記注目画素iの出力レベルと前記参照画素jの出力レベルとの差分の絶対値が前記閾値よりも小さい場合にのみ、該参照画素jの出力信号を順次出力する判定回路と、
    前記3色のカラー画像信号のそれぞれに対応して配置され、前記判定回路から出力された出力信号の移動平均化処理を行い、該出力信号を1ライン毎に前記カラー画像信号として前記出力画像処理回路に対して順次出力する第2の演算回路とを有し、
    前記出力画像処理回路は、前記第2の演算回路のそれぞれから出力された3色のカラー画像信号に対して前記色変換処理及び前記画像フォーマット変換処理を行うことにより、該3色のカラー画像信号を合成して出力することを特徴とするカラー画像処理装置。
  2. カラーイメージセンサにて得られたR,G及びBの3色のカラー画像信号のそれぞれに対してデジタル信号変換処理及シェーディング補正処理を行い、該3色のカラー画像信号を出力する入力画像処理回路と、該入力画像処理回路から出力された3色のカラー画像信号に対して色変換処理及び画像フォーマット変換処理を行うことにより該3色のカラー画像信号を合成して出力する出力画像処理回路とを有してなるカラー画像処理装置であって、
    前記入力画像処理回路から出力された3色のカラー画像信号のうちR及びGの2色のカラー画像信号のそれぞれを1ライン(総画素数=N、N:自然数)毎に順次記憶する記憶手段と、
    前記2色のカラー画像信号のそれぞれに対応して配置され、前記記憶手段に記憶された1ライン分のカラー画像信号を読み出し、該カラー画像信号の先頭画素からi画素目(i=1〜N、i:自然数)の注目画素iに関する移動平均画素数n(n:自然数)を所定の数式に基づいて順次算出して出力する第1の演算回路と、
    前記2色のカラー画像信号のそれぞれに対応して配置され、前記第1の演算回路から出力された移動平均画素数nに基づいて、前記第1の演算回路に読み出された1ライン分のカラー画像信号のうち前記注目画素iと該注目画素iの前後n画素の参照画素j(i−n≦j≦i+n、j:自然数)とを順次選択して出力するビット選択手段と、
    前記2色のカラー画像信号のそれぞれに対応して配置され、前記ビット選択回路から出力された前記注目画素iの出力レベルと前記参照画素jのそれぞれの出力レベルとの差分の絶対値を順次算出して出力する差分回路と、
    特定の閾値を記憶する閾値記憶手段と、
    前記2色のカラー画像信号のそれぞれに対応して配置され、前記注目画素iの出力信号を順次出力するとともに、前記差分回路から出力された値と前記閾値記憶手段にて記憶された閾値とを比較し、前記注目画素iの出力レベルと前記参照画素jの出力レベルとの差分の絶対値が前記閾値よりも小さい場合にのみ、該参照画素jの出力信号を順次出力する判定回路と、
    前記2色のカラー画像信号のそれぞれに対応して配置され、前記判定回路から出力された出力信号の移動平均化処理を行い、該出力信号を1ライン毎に前記カラー画像信号として前記出力画像処理回路に対して順次出力する第2の演算回路とを有し、
    前記出力画像処理回路は、前記入出力画像処理装置から出力されたBのカラー画像信号と前記第2の演算回路のそれぞれから出力されたR及びGの2色のカラー画像信号との3色のカラー画像信号に対して前記色変換処理及び前記画像フォーマット変換処理を行うことにより、該3色のカラー画像信号を合成して出力することを特徴とするカラー画像処理装置。
  3. カラーイメージセンサにて得られたR,G及びBの3色のカラー画像信号のそれぞれに対してデジタル信号変換処理及シェーディング補正処理を行い、該3色のカラー画像信号を出力する入力画像処理回路と、該入力画像処理回路から出力された3色のカラー画像信号に対して色変換処理及び画像フォーマット変換処理を行うことにより該3色のカラー画像信号を合成して出力する出力画像処理回路とを有してなるカラー画像処理装置であって、
    前記入力画像処理回路から出力されたGのカラー画像信号を1ライン(総画素数=N、N:自然数)毎に順次記憶する記憶手段と、
    前記記憶手段に記憶された1ライン分のGのカラー画像信号を読み出し、該カラー画像信号の先頭画素からi画素目(i=1〜N、i:自然数)の注目画素iに関する移動平均画素数n(n:自然数)を所定の数式に基づいて順次算出して出力する第1の演算回路と、
    前記第1の演算回路から出力された移動平均画素数nに基づいて、前記第1の演算回路に読み出された1ライン分のGのカラー画像信号のうち前記注目画素iと該注目画素iの前後n画素の参照画素j(i−n≦j≦i+n、j:自然数)とを順次選択して出力するビット選択手段と、
    前記ビット選択回路から出力された前記注目画素iの出力レベルと前記参照画素jのそれぞれの出力レベルとの差分の絶対値を順次算出して出力する差分回路と、
    特定の閾値を記憶する閾値記憶手段と、
    前記注目画素iの出力信号を順次出力するとともに、前記差分回路から出力された値と前記閾値記憶手段にて記憶された閾値とを比較し、前記注目画素iの出力レベルと前記参照画素jの出力レベルとの差分の絶対値が前記閾値よりも小さい場合にのみ、該参照画素jの出力信号を順次出力する判定回路と、
    前記判定回路から出力された出力信号の移動平均化処理を行い、該出力信号を1ライン毎に前記Gのカラー画像信号として前記出力画像処理回路に対して順次出力する第2の演算回路とを有し、
    前記出力画像処理回路は、前記入出力画像処理装置から出力されたR及びBの2色のカラー画像信号と前記第2の演算回路から出力されたGのカラー画像信号との3色のカラー画像信号に対して前記色変換処理及び前記画像フォーマット変換処理を行うことにより、該3色のカラー画像信号を合成して出力することを特徴とするカラー画像処理装置。
  4. 請求項1乃至3のいずれか1項に記載のカラー画像処理装置において、
    前記ビット選択手段は、前記参照画素jが1≦j≦Nの範囲外である場合には、該参照画素jを出力しないことを特徴とするカラー画像処理装置。
  5. 請求項1乃至4のいずれか1項に記載のカラー画像処理装置において、
    前記第1の演算回路は、前記注目画素iの出力レベルと該注目画素iに隣接する隣接画素i+1或いは隣接画素i−1のいずれかの隣接画素の出力レベルとの差分ΔTを算出した後、該差分△Tを用いて数式n=A/(△T+B)(A,B:定数)に基づいて前記移動平均画素数nを算出することを特徴とするカラー画像処理装置。
  6. 請求項1乃至4のいずれか1項に記載のカラー画像処理装置において、
    前記第1の演算回路は、i≦N−2である場合、前記注目画素iの出力レベルと該注目画素iに隣接するi+1画素目からi+k(2≦k≦N−i、k:自然数)画素目までの複数の隣接画素のそれぞれの出力レベルとの差分を算出した後、該差分の平均値△Taを算出し、該差分△Taを用いて数式n=A/(△Ta+B)(A,B:定数)に基づいて前記移動平均画素数nを算出することを特徴とするカラー画像処理装置。
  7. 請求項1乃至4のいずれか1項に記載のカラー画像処理装置において、
    前記第1の演算回路は、i≧3である場合、前記注目画素iの出力レベルと該注目画素iに隣接するi−1画素目からi−k(2≦k≦i−1、k:自然数)画素目までのk個の隣接画素のそれぞれの出力レベルとの差分を算出した後、該差分の平均値△Taを算出し、該平均値△Taを用いて数式n=A/(△Ta+B)(A,B:定数)に基づいて前記移動平均画素数nを算出することを特徴とするカラー画像処理装置。
  8. 請求項5乃至7のいずれか1項に記載のカラー画像処理装置において、
    前記第1の演算回路は、前記数式に基づいて移動平均画素数nを算出した結果、端数が生じた場合には、該端数を切り捨てることを特徴とするカラー画像処理装置。
JP2000241226A 2000-08-09 2000-08-09 カラー画像処理装置 Expired - Fee Related JP3664231B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2000241226A JP3664231B2 (ja) 2000-08-09 2000-08-09 カラー画像処理装置
US09/923,953 US6980335B2 (en) 2000-08-09 2001-08-08 Color image processing apparatus executing moving-average processing for noise reduction in color image signals
TW090119356A TW563350B (en) 2000-08-09 2001-08-08 Color image processing apparatus executing moving-average processing for noise reduction in color image signals

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000241226A JP3664231B2 (ja) 2000-08-09 2000-08-09 カラー画像処理装置

Publications (2)

Publication Number Publication Date
JP2002057900A JP2002057900A (ja) 2002-02-22
JP3664231B2 true JP3664231B2 (ja) 2005-06-22

Family

ID=18732441

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000241226A Expired - Fee Related JP3664231B2 (ja) 2000-08-09 2000-08-09 カラー画像処理装置

Country Status (3)

Country Link
US (1) US6980335B2 (ja)
JP (1) JP3664231B2 (ja)
TW (1) TW563350B (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6999212B2 (en) * 2001-07-10 2006-02-14 Che-Kuei Mai Back-light module for image scanning device and method for calibrating illumination with the back-light module
JP4189169B2 (ja) * 2002-05-15 2008-12-03 富士フイルム株式会社 色変換定義修正装置および色変換定義修正プログラム
JP3934506B2 (ja) 2002-08-06 2007-06-20 オリンパス株式会社 撮像システムおよび画像処理プログラム
JP3762725B2 (ja) 2002-08-22 2006-04-05 オリンパス株式会社 撮像システムおよび画像処理プログラム
TW562371U (en) * 2002-09-24 2003-11-11 Veutron Corp Carriage device of scanner
US7215824B2 (en) * 2002-09-10 2007-05-08 Chui-Kuei Chiu Method for adjusting image data with shading curve
JP3893099B2 (ja) 2002-10-03 2007-03-14 オリンパス株式会社 撮像システムおよび撮像プログラム
US7356180B2 (en) * 2003-09-30 2008-04-08 Sharp Laboratories Of America, Inc. Systems and methods for correcting image color balance
KR100654467B1 (ko) 2005-09-29 2006-12-06 삼성전자주식회사 비트 해상도를 확장하는 방법 및 장치
KR100679047B1 (ko) 2005-09-29 2007-02-05 삼성전자주식회사 비트 해상도 확장 방법 및 장치
US8311360B2 (en) * 2008-11-13 2012-11-13 Seiko Epson Corporation Shadow remover
WO2013027723A1 (ja) 2011-08-22 2013-02-28 日本電気株式会社 ノイズ除去装置、ノイズ除去方法及びプログラム
JP5986725B2 (ja) * 2011-09-28 2016-09-06 理想科学工業株式会社 画像データ変換ユニット
JP6256703B2 (ja) 2012-04-26 2018-01-10 日本電気株式会社 画像処理方法、及び画像処理装置
JP6249173B2 (ja) 2012-04-26 2017-12-20 日本電気株式会社 画像処理方法、及び画像処理装置
JP6256704B2 (ja) 2012-04-26 2018-01-10 日本電気株式会社 画像処理方法、及び画像処理装置
US9542617B2 (en) 2013-02-28 2017-01-10 Nec Corporation Image processing device and image processing method for correcting a pixel using a corrected pixel statistical value
US20180232860A1 (en) * 2017-02-15 2018-08-16 Danylo Kozub Data smoothing

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02503241A (ja) * 1988-02-22 1990-10-04 イーストマン・コダック・カンパニー Svdブロック変換を使用したディジタル画像雑音抑制方法
JP3044501B2 (ja) 1991-11-29 2000-05-22 松下電器産業株式会社 映像信号処理方法および装置
JP3252422B2 (ja) 1991-12-28 2002-02-04 ソニー株式会社 画像処理装置
JP3083918B2 (ja) * 1992-06-26 2000-09-04 本田技研工業株式会社 画像処理装置
JPH0630308A (ja) 1992-07-13 1994-02-04 Matsushita Electric Ind Co Ltd 画像データ処理装置
JPH08186728A (ja) 1994-12-29 1996-07-16 Minolta Co Ltd 画像処理装置
JPH0950519A (ja) 1995-06-01 1997-02-18 Canon Inc 画像処理装置及び方法
JP3006460B2 (ja) 1995-07-24 2000-02-07 日本電気株式会社 2値化画像処理装置
US6388768B2 (en) * 1996-04-22 2002-05-14 Minolta Co., Ltd. Image forming apparatus which excels in reproducibility of colors, fine lines and gradations even in a copy made from a copied image
JP3809226B2 (ja) * 1996-06-06 2006-08-16 富士写真フイルム株式会社 リニアイメージセンサの出力画像信号の補正方法
WO1998015919A1 (fr) * 1996-10-09 1998-04-16 Dai Nippon Printing Co., Ltd. Procede et appareil de detection de defauts de raies sur des documents imprimes
US5845017A (en) * 1996-12-17 1998-12-01 Eastman Kodak Company Digital image processing method for degraining of film images using distance weighted averaging of target pixel code values
TW368640B (en) * 1996-12-25 1999-09-01 Hitachi Ltd Image processor, image processing device and image processing method
JP2984652B2 (ja) * 1997-08-22 1999-11-29 富士通株式会社 領域抽出装置及び領域抽出方法並びにコンピュータで実現可能なプログラムが記憶された記録媒体
US6012031A (en) * 1997-09-24 2000-01-04 Sony Corporation Variable-length moving-average filter
US6061100A (en) * 1997-09-30 2000-05-09 The University Of British Columbia Noise reduction for video signals
US6043900A (en) * 1998-03-31 2000-03-28 Xerox Corporation Method and system for automatically detecting a background type of a scanned document utilizing a leadedge histogram thereof
JP3586116B2 (ja) * 1998-09-11 2004-11-10 エヌイーシー三菱電機ビジュアルシステムズ株式会社 画質自動調整装置及び表示装置
US6577762B1 (en) * 1999-10-26 2003-06-10 Xerox Corporation Background surface thresholding
KR100311075B1 (ko) * 1999-11-15 2001-11-14 윤종용 인지광원과 하이라이트를 이용한 조명 색도 추정 및변환장치 및 그를 위한 방법

Also Published As

Publication number Publication date
TW563350B (en) 2003-11-21
US20020054395A1 (en) 2002-05-09
US6980335B2 (en) 2005-12-27
JP2002057900A (ja) 2002-02-22

Similar Documents

Publication Publication Date Title
JP3664231B2 (ja) カラー画像処理装置
US7986360B2 (en) Image processing apparatus and method for generating a restoration image
JP4610930B2 (ja) 画像処理装置、画像処理プログラム
JP4683994B2 (ja) 画像処理装置、画像処理方法、電子カメラ、スキャナ
JPH10126796A (ja) デュアル・モード・ソフトウェア処理を用いた動画・静止画像用デジタル・カメラ
JP4852321B2 (ja) 撮像装置
US20030112475A1 (en) Image processing device and method for controlling the same
US7317482B2 (en) Distance calculating method and imaging device
US7443430B2 (en) Image sensing apparatus and method for correcting signal from image sensing device by using signal correction amount
JP3611742B2 (ja) 画像処理装置
US7489822B2 (en) Image processing apparatus and method for detecting a direction of an edge in the vicinity of a pixel of interest and generating all color signals for each pixel by interpolation using color signals of a pixel of interest and its neighbor pixels, and a recording medium having a program recorded thereon for causing the apparatus to perform the method
JP2004328564A (ja) カラー補正装置、カラー補正方法及びカラー補正プログラム、並びにカラー補正装置を用いたデジタルカメラ
KR20050031911A (ko) 촬상 장치
US6900838B1 (en) Method of processing image signal from solid-state imaging device, image signal processing apparatus, image signal generating apparatus and computer program product for image signal processing method
KR100763656B1 (ko) 이미지 센서 및 이미지 처리 방법
EP0892551A2 (en) Image processing device, image recording apparatus, and image reading device and image forming apparatus
JP3730063B2 (ja) 色成分生成装置および色成分生成方法並びにこれを用いた多色画像撮像装置
JP5153842B2 (ja) 画像処理装置、画像処理プログラム
JP4708180B2 (ja) 画像処理装置
JP4132264B2 (ja) 画像信号処理回路
JP3461247B2 (ja) 画像処理装置及び画像処理方法
JP4478981B2 (ja) 色雑音低減手法およびカラー撮像装置
JP3697464B2 (ja) 文書画像処理装置、撮像装置及び文書画像処理プログラム
JP2004350319A (ja) 画像信号処理方法およびその方法を用いた画像信号処理装置およびその方法の手順を表すプログラムコードを記録した記録媒体
JPH099154A (ja) 画像入力装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040913

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040929

TRDD Decision of grant or rejection written
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20050302

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20050302

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050309

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050322

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080408

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090408

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100408

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110408

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120408

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120408

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130408

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130408

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140408

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees