JP4051889B2 - Image reading device - Google Patents

Image reading device Download PDF

Info

Publication number
JP4051889B2
JP4051889B2 JP2001068122A JP2001068122A JP4051889B2 JP 4051889 B2 JP4051889 B2 JP 4051889B2 JP 2001068122 A JP2001068122 A JP 2001068122A JP 2001068122 A JP2001068122 A JP 2001068122A JP 4051889 B2 JP4051889 B2 JP 4051889B2
Authority
JP
Japan
Prior art keywords
reading
image
pixel
pixel data
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001068122A
Other languages
Japanese (ja)
Other versions
JP2002271631A (en
JP2002271631A5 (en
Inventor
孝亮 清水
晋 近藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP2001068122A priority Critical patent/JP4051889B2/en
Publication of JP2002271631A publication Critical patent/JP2002271631A/en
Publication of JP2002271631A5 publication Critical patent/JP2002271631A5/ja
Application granted granted Critical
Publication of JP4051889B2 publication Critical patent/JP4051889B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)
  • Image Processing (AREA)
  • Facsimile Scanning Arrangements (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、複写機、ファクシミリ装置、スキャナ装置等のように、読み取り対象となる原稿からその原稿上に描かれた画像を読み取る画像読取装置に関する。
【0002】
【従来の技術】
近年、画像読取装置としては、自動原稿搬送装置によってシート状原稿を移動させながらその原稿上の画像を読み取ることで、プラテンガラス上に載置された原稿から光学系を移動させながら画像を読み取る場合よりも、読み取り速度を向上させたものが知られている。ところが、このような画像読取装置では、光学系が移動しないため、原稿に付着したゴミが原稿読み取り位置のコンタクトガラスを汚したり、あるいはコンタクトガラスに付着したりすると、画像の読み取り結果にスジ状のノイズが発生してしまうことになる。
【0003】
この対策としては、従来、以下のようなものが提案されている。例えば、特開平9−139844号公報には、光電変換素子を原稿搬送方向に複数個配列し、原稿上の同一位置に対するこれら光電変換素子での読み取り結果を比較し、双方の読み取り結果に差異がある場合にはノイズ成分として検出し、そのノイズ成分を除去する装置が開示されている。また、例えば、特開2000−152008公報には、ノイズ成分を検出した場合に、各光電変換素子のうちの一方の読み取り読み取り結果を用いることで、そのノイズ成分の除去を行う装置が開示されている。
【0004】
【発明が解決しようとする課題】
しかしながら、上述した従来の装置は、いずれも白黒画像の読み取りに対応したものであり、そのままカラー画像に適用しようとすると、R(赤),G(緑),B(青)の各分光感度特性を有する3本の光電変換素子(画素列)をそれぞれ少なくとも2本ずつ、計6列以上を原稿の搬送方向に配設しなければならない。したがって、これに対応してアナログ処理やシェーディング補正等といった光電変換素子出力後の画像処理回路も、少なくとも6系統分用意しなければならず、回路規模が増大するとともに、大幅なコストアップを招いてしまうことになる。
【0005】
また、カラー画像の場合には、黒スジ状のノイズ成分のみならず、白スジ状のノイズ成分が発生することも考えられる。そのため、ノイズ成分の除去を行うには、いずれのノイズ成分についても的確に検出できる必要がある。
【0006】
さらに、カラー画像の場合には、光電変換素子による読み取り結果を出力する上で、R,G,Bの各色成分についての信号処理が必要である。そのため、ノイズ成分の除去を行うのにあたって、各色成分についてそれぞれ2本ずつ以上光電変換素子を設けて、その読み取り結果をそのまま用いるのであればよいが、各色成分の光電変換素子の読み取り結果を利用して新たな補間データを生成しようとすると、多大な処理負荷が必要になってしまう。
【0007】
そこで、本発明は、カラー画像に対応しつつ、ゴミ等の異物による画像の読み取り結果への影響を排除可能にするとともに、その場合であっても、回路規模の増大や多大な処理負荷等を要することのない画像読取装置を提供することを目的とする。
【0008】
【課題を解決するための手段】
本発明は上記目的を達成するために案出された画像読取装置で、読み取り対象となる原稿からカラー画像情報を読み取る第一読取手段と、前記第一読取手段とは異なる分光感度に対応しているとともに当該第一読取手段に対して前記原稿の副走査方向にオフセットして配設された第二読取手段と、前記第一読取手段による読み取り結果の濃度値と前記第二読取手段による読み取り結果の濃度値とを比較するデータ比較手段と、前記第一読取手段による読み取り結果に前記原稿の主走査方向におけるエッジ成分が含まれているか否かを判断するエッジ検出手段と、前記データ比較手段が比較する各濃度値の差分が所定スレッショルドより大きく、かつ、前記エッジ検出手段が前記第一読取手段での読み取り結果にエッジ成分が含まれていると判断するか、または前記エッジ検出手段が前記第二読取手段での読み取り結果にエッジ成分が含まれていないことを確認した場合に、前記第一読取手段での読み取り結果にノイズ成分が含まれていると判定し、その旨の信号出力を行うノイズ検出手段とを備えることを特徴とするものである。
【0009】
上記構成の画像読取装置によれば、ゴミ等の異物による影響があると、原稿の副走査方向にオフセットした第一読取手段と第二読取手段とで、それぞれの読み取り結果の濃度値が異なる。また、その異物の影響によって黒スジと白スジのどちらが発生する場合であっても、原稿の読み取り結果には、そのノイズ成分によって主走査方向にエッジ成分が含まれる。したがって、原稿からのカラー画像情報の読み取り結果に、ゴミ等の異物による影響でノイズ成分が含まれていても、そのノイズ成分は、データ比較手段による比較結果とエッジ検出手段による判断結果または確認結果とを基にするノイズ検出手段によって検出されることになる。しかも、そのノイズ検出に用いられる第二読取手段は、第一読取手段とは異なる分光感度に対応しているので、カラー画像情報を読み取るための分光感度特性を有した読取手段を重複して備える必要もない。
【0012】
【発明の実施の形態】
以下、図面に基づき本発明に係る画像読取装置について説明する。図1は本発明に係る画像読取装置の機能構成の一例を示すブロック図であり、図2は本発明に係る画像読取装置の光学系の一例を示す概略構成図であり、図3は本発明に係る画像読取装置に用いられる読取手段(光電変換素子)の一例を示す説明図である。
【0013】
先ず、本発明に係る画像読取装置における光学系について説明する。図2に示すように、ここで説明する画像読取装置は、自動原稿搬送装置(Automatic Document Feeder;以下「ADF」という)を備えており、そのADFによって読み取り対象となる原稿Pを移動させながらその原稿P上から画像を読み取る、いわゆるCVT(Constant Velocity Transfer)モードに対応し得るようになっている。
【0014】
すなわち、CVTモード時には、ADFの原稿載置台に載置された原稿Pが、引き込みローラ1によって1枚ずつ搬送ローラ2まで運ばれ、その搬送ローラ2に搬送方向が変えられた後に、コンタクトガラス3上にまで案内される。そして、原稿Pは、バックプラテン4によってコンタクトガラス3側に押さえつけられつつ搬送される。このとき、後述するようにして原稿Pからの画像読み取りが行われる。その後は、画像読み取りの終了した原稿Pが、排出ローラ5によってADFの排出トレイ上へ排出される。
【0015】
コンタクトガラス3上では、そこを搬送される原稿Pが、図示せぬ露光ランプによって照射される。そして、その照射による反射光は、第一ミラー6、第二ミラー7および第三ミラー8にて光路変更された後、レンズ9によって縮小され、画像の読取手段として機能する光電変換素子(Charge Coupled Device;以下「CCD」と称す)10上に結像される。これにより、原稿P上に描かれた画像は、CCD10での画素単位による光電変換を通じて、アナログ画像信号として出力されることになる。
【0016】
なお、画像読取装置は、CVTモードのみならず、原稿Pをプラテンガラス上に固定し、光学系を移動させながら画像を読み取る原稿固定モードに対応可能なものであってもよい。この場合には、プラテンガラス上に載置された原稿面を、第一ミラー6、第二ミラー7および第三ミラー8(図示せぬキャリッジに搭載されて移動可能な構成となっている)にて副走査方向に移動しながら走査することによって、原稿からの画像読み取りを行えばよい。
【0017】
次に、画像の読取手段として機能するCCD10について詳しく説明する。図3に示すように、CCD10は、フォトダイオード等の受光セル(画素)が直線状に配列されてなる複数本の光電変換素子列により構成されている。より具体的には、R,G,Bの各分光感度特性を持つ3本の画素列10R,10G,10Bと、B/W(白黒)の分光感度特性を持つ画素列10Wとを有する構成となっている。
【0018】
3本の画素列10R,10G,10Bは、本発明の第一読取手段として機能するもので、読み取り対象となる原稿Pからカラー画像情報を読み取るためのものである。そのために、画素列10R,10G,10Bは、各々が例えば7μm×7μmのフォトダイオード等からなる受光セル(画素)がn個(画素1〜画素n)直線状に配置された構成となっており、図の下側からB,G,Rの順に7μm(1ライン分)の間隔を持って3列に配列されている。
【0019】
画素列10Wも、同様に、例えば7μm×7μmのフォトダイオード等からなる受光セルがn個直線状に配置された構成となっている。ただし、画素列10R,10G,10Bとは異なる分光感度(白黒)に対応している。また、画素列10Wは、3本の画素列10R,10G,10Bのうち、最も近接している画素列(本例では、画素列10B)との間に、例えば70μm(10ライン分)の間隔が存在するように、画素列10R,10G,10Bに対して原稿搬送方向(副走査方向)にオフセットして配設されている。すなわち、画素列10Wは、本発明の第二読取手段として機能するものである。
【0020】
なお、CCD10における7μm(1ライン分)の間隔および70μm(10ライン分)の間は、レンズ9による縮小を経ているので、原稿搬送経路上の読み取り位置では、それぞれ42μmおよび423μmの間隔に相当する。
【0021】
このような各画素列10R,10G,10B,10Wを備えてなるCCD10は、所定クロックに基づくタイミング信号によって駆動される。これにより、各画素列10R,10G,10B,10Wは、原稿P上の離れた位置の4ライン分の画像を同時に読み取ってアナログ画像信号として出力することになる。つまり、画素列10Rでは、1ライン周期(主走査周期)毎に、その画素列10Rを構成するn個のフォトダイオードに蓄積された電荷が順次検知され、1ライン分(n画素分)の各画素の濃度を表すアナログ画像信号Rとして出力される。アナログ画像信号G,Bについても全く同様である。また、画素列10Wからは、白黒成分に対応したアナログ画像信号Lが出力される。
【0022】
したがって、画素列10Wの配設された側が原稿搬送方向の上流側(図2中のA側)とすると、原稿Pの搬送速度に変動がなければ、画素列10Wによるアナログ画像信号Lは画素列10Rによるアナログ画像信号Rよりも12ライン相当の位相遅れを、画素列10Bによるアナログ画像信号Bはアナログ画像信号Rよりも2ライン相当の位相遅れを、画素列10Gによるアナログ画像信号Gはアナログ画像信号Rよりも1ライン相当の位相遅れを、それぞれ持った画像信号となる。
【0023】
ここで、このような構成のCCD10において、ゴミ等の付着に起因する画像上の縦スジを検知する原理について説明する。今、第一読取手段として機能する画素列10R,10G,10Bの光路に該当するコンタクトガラス3上にゴミが付着したとすると、その箇所のゴミが画像として当該光路を通り、画素列10R,10G,10Bによって読み取られる。このとき、そのゴミに起因して出力画像上には、原稿P上にはない副走査方向(原稿搬送方向)に延びる縦スジが現れる。一方、これらとは10ライン分離れて第二読取手段として機能する画素列10Wの光路に該当するコンタクトガラス3上にはゴミが存在しないため、原稿P上の画像は正常に読み取られる。
【0024】
そこで、それぞれの読み取り位置の搬送に相当する時間だけ、先行して読み取られる第二読取手段の読み取り結果を遅延させて、第一読取手段と同じ位置での当該第一読取手段の読み取り結果と比較すると、ゴミが存在する箇所では双方の読み取り結果が不一致となる。この原理を利用することで、付着ゴミによる縦スジや浮遊ゴミによる縦スジを検知することができる。
【0025】
この検知に好適となるように、CCD10における画素列10R,10G,10Bと画素列10Wとの間には、10ライン分に相当する間隔が存在している。ただし、その間隔は、双方が共にゴミの影響を受けない程度の距離であればよく、10ライン分に限定されるものではない。
【0026】
次に、画像読取装置全体の機能構成について説明する。図1に示すように、画像読取装置は、上述したCCD10の他にCCD駆動回路11を備えており、そのCCD駆動回路11が所定クロックに基づくタイミング信号を生成して、これをCCD10に与えることによって、そのCCD10を駆動するようになっている。
【0027】
また、CCD10の後段には、各画素列10R,10G,10B,10Wに対応して設けられたサンプルホールド回路12a〜12d、出力増幅回路13a〜13d、AD変換回路14a〜14dおよびシェーディング補正回路15a〜15dを備えている。これらによって、CCD10から得られるアナログ画像信号L,B,G,Rは、サンプルホールド回路12a〜12dにより各々サンプリングされた後、出力増幅回路13a〜13dによって各々適正なレベルに増幅され、A/D変換回路14a〜14dにより各々デジタル画像データL,B,G,Rに変換される。そして、変換後のデジタル画像データL,B,G,Rに対して、シェーディング補正回路15a〜15dが、CCD10の感度バラツキや光学系の光量分布特性に対応した補正を施す。
【0028】
さらに、シェーディング補正回路15a〜15dの後段には、出力遅延回路16a〜16cを備えている。そして、その出力遅延回路16a〜16cが、シェーディング補正回路15a〜15dから出力される画像データL,B,Gを、それぞれ12ライン相当、2ライン相当、1ライン相当の遅延時間だけ遅延させて、画像データRと同相の画像データとするようになっている。すなわち、画素列10W,10R,10G,10Bは、原稿上の離れた位置の4ライン分の画像を同時に読み取るように副走査方向に一定の間隔をもって配置された位置関係にあることから、ここでは、画像読み取りの際に最後行の画素列10Rのデジタル画像データを基準とし、最後行の読み取りラインからの各ライン間の距離に応じて残りの画素列10W,10B,10Gの各デジタル画像データを遅延させることにより、副走査方向の4ライン分のデジタル画像データが原稿上の同一位置(同一ライン)の画像データとなるように同時化する。
【0029】
また、画像読取装置は、これらの各回路の他にも、色空間変換回路17と、スジ検知回路18と、置換画素判定回路19と、スジ除去回路20と、画像処理回路21と、CPU(Central Processing Unit)22と、を備えている。
【0030】
このうち、画像処理回路21は、スジ除去回路20から出力される画像データに対して、必要に応じた画像処理、例えば拡大縮小処理、地肌除去処理、2値化処理等を施すものである。
【0031】
CPU22は、画像読取装置における各部を制御するものである。具体的には、CCD駆動回路11によって行われるCCD10の駆動の周期を設定、出力増幅回路13a〜13dの利得の制御、シェーディング補正回路15a〜15dの制御、色空間変換回路17、スジ検知回路18、置換画素判定回路19の定数の制御(後述)等を行うようになっている。
【0032】
次に、以上のような全体構成の画像読取装置における色空間変換回路17の詳細について説明する。色空間変換回路17は、RGBデータ≡L*変換により、画像データB,G,Rから画像データLと同じ分光感度を持つ画像データLclを生成するものである。具体的には、画像データB,G,Rを基に、以下に示す(1)式を用いた演算を行って、白黒に対応した分光感度の画像データLclを算出する回路である。
【0033】
Lcl=A1×B+A2×G+A3×R+A4×B2+A5×G2+A6×R2+A7×B×G+A8×G×R+A9×R×B+A10・・・(1)
【0034】
なお、(1)式中において、A1〜A10は係数であり、画像データLclの算出結果が画像データLの読み取り値と略同じとなるように、予め設定されている。これにより、画像データLと画像データLclは、略同じ読み取りデータとなっている。
【0035】
続いて、画像読取装置におけるスジ検知回路18の詳細について説明する。図4は、本発明に係る画像読取装置が備えるスジ検知回路の構成例を示すブロック図である。
【0036】
スジ検知回路18は、色空間変換回路17から出力される画像データLclと、出力遅延回路16aから出力される画像データLとを比較することにより、画像データLclに含まれるスジ状のノイズ成分を検知し、スジ検知データを出力するものである。そのために、スジ検知回路18は、データ比較ブロック181、連続性検知ブロック182およびエッジ検出ブロック183より構成されている。
【0037】
データ比較ブロック181は、減算回路181aと比較回路181bとから構成されたもので、画像データLclの濃度値と画像データLの濃度値との比較のために、ライン周期(主走査周期)毎に、各々n画素分の画素の濃度を表す画像データLclおよび画像データLが入力される。
【0038】
ここで、データ比較ブロック181に入力される画像データLclおよび画像データLは、出力遅延回路16a〜16cにより位相補正が行われ、色空間変換回路17により変換されているため、原稿の搬送速度の変動がなければ、各々原稿上の同一ラインに対応した読み取り画像を表しているものであり、両者は本来一致すべきものである。ところが、下流側読み取り位置にゴミ等が付着すると、下流側読み取り位置に対応した画像データLclのうち、ゴミの付着箇所に対応した画素の画像データがその影響を受け、画像データLclによって表される当該画素の濃度が画像データLによって表される当該画素の濃度よりも顕著に異なると考えられる。そこで、データ比較ブロック181では、このような前提に基づき、画像データLclと画像データLが顕著に異なっている場合に、画像データLclおよび画像データLのどちらかがゴミの影響を受けている可能性がある旨の信号を発生するようになっている。
【0039】
このことをさらに詳述すると次の通りである。データ比較ブロック181における減算回路181aは、画像データLclと画像データLの差分を演算し、その差分|A−B|を出力する。そして、比較回路181bは、減算回路181aによって求められた差分|A−B|を所定のスレッショルドと比較し、差分|A−B|がスレッショルドよりも高い場合に信号“1”を出力し、そうでない場合には信号“0”を出力する。なお、以下の説明では、便宜上、この比較回路181bの出力信号を「ゴミ判定ビット」と呼ぶ。
【0040】
既に説明した通り、データ比較ブロック181には、ライン周期毎に、各々1ライン(n画素)分の画像データLclおよび画像データLが入力される。データ比較ブロック181では、1ラインを構成する各画素毎に上記処理が行われ、画像データLclがゴミの影響を受けているか否かを各画素毎に表したゴミ判定ビットからなるnビットのシリアルデータが、ライン周期毎に比較回路181bから出力される。
【0041】
ところで、原稿の搬送速度が一定である場合には、このゴミ判定ビットが“1”となることをもって、出力画像にスジが現れる旨の判定を行うことも可能である。しかしながら、実際には原稿の搬送速度には変動が生じるので、このゴミ判定ビットが“1”になったからと言って、直ちに出力画像にスジが現れる旨の判定を行うことはできない。
【0042】
ただし、原稿の搬送速度の変動は、原稿がローラに当たるときやローラから離れるときに発生するものであるため、搬送速度の変動に基づく画像データLclおよび画像データLの位相ずれは、2〜3ライン周期程度しか持続しないと考えられる。これに対し、ゴミの付着によるスジの発生は、短くても数10ライン周期以上は持続する。したがって、特定の画素に対応したゴミ判定ビットが5〜10ライン周期に亙って連続して“1”となった場合には、原稿の搬送速度の変動の影響ではなく、ゴミの付着に起因してそのような事態が起こっていると考えてよい。
【0043】
スジ検知回路18における連続性検知ブロック182は、このような考えに基づき、データ比較ブロック181の後段に設けられたものである。この連続性検知ブロック182は、4個のラインメモリ182a〜182dと、AND回路182eとにより構成されている。
【0044】
ラインメモリ182a〜182dは、各々FIFO(First-In First-Out;先入れ先出し)メモリによって構成されている。これらの各ラインメモリ182a〜182dは、カスケード接続されており、データ比較ブロック181から出力されるゴミ判定ビットを順次シフトする1個のシフトレジスタを構成している。また、各ラインメモリ182a〜182dは、nビットのシリアルデータを記憶し得るように構成されており、各ラインメモリに入力されたデータは1ライン周期後に当該ラインメモリから出力される。したがって、ある画素に対応したゴミ判定ビットがデータ比較ブロック181の比較回路181bから出力されているとき、ラインメモリ182a〜182dからは、当該画素よりも各々1〜4ラインだけ前の各画素に対応した各ゴミ判定ビットが出力されることとなる。
【0045】
AND回路182eは、データ比較ブロック181の比較回路181bおよびラインメモリ182a〜182dから出力されるゴミ判定ビットが全て“1”である場合、すなわち主走査方向での位置を同じくする画素がゴミの影響を受けている旨の判定が5ライン連続して行われた場合には信号“1”を出力し、そうでない場合には信号“0”を出力する。このAND回路182eの出力信号を、以下の説明では、「ゴミ検出データ」と呼ぶ。
【0046】
このようにして、連続性検知ブロック182によって主走査方向の同位置にゴミの影響を受けている画像のあることが検出されるのであるが、この検出は画像データLclだけでなく、画像データLにゴミが発生した場合にもなされる。そのため、画像データLにゴミが発生した場合、画像データB,G,Rはゴミの影響を受けていないにも拘わらず、後述する画素置換が行われてしまう。つまり、ゴミのない正しい読み取りデータを不必要に周囲画素で置換してしまうことになる。これを防止し、画像データLclにゴミが発生した時のみ検知することを可能にするのがエッジ検出ブロック183である。
【0047】
エッジ検出ブロック183は、ゴミ検出データによってゴミがあると判定された画像データLclの画素に対して主走査方向のエッジ成分が存在するか否かを検出し、エッジ成分が無い場合には画像データLclにはゴミが無く画像データLにゴミがあると判定し、エッジ成分がある場合には画像データLclにゴミがあると判定する。そして、画像データLclにゴミがある時のみ、「スジ検知データ」を“1”として出力するのである。そのために、エッジ検出ブロック183は、遅延回路183a、減算回路183b、比較回路183cおよび出力マスク回路183dより構成されている。
【0048】
つまり、エッジ検出ブロック183では、ゴミ検出データが“1”となった画像データLclの画素と、ゴミ検出データが“0”となっている画像データLclの画素で主走査方向手前に2画素隔たった3画素の平均値との差分を減算回路183bにて演算する。この演算にあたっては、遅延回路183aによる位相変換を経る。そして、減算回路183bでの演算結果が所定スレッシュ以上であるか否かを、比較回路183cが判断する。その結果、差分が所定スレッシュ以上である場合は、出力マスク回路183dが画像データLclにゴミがあると判定し、ゴミ検出データをそのままスジ検知データとして出力する。一方、所定スレッシュ以下である場合は、出力マスク回路183dが画像データLclにはゴミがないと判定し、ゴミ検出データをマスクし、信号“0”として出力する。
【0049】
なお、ここでは、CCD10の画素列10R,10G,10Bによる読み取り結果である画像データLclについて、主走査方向のエッジ成分が存在するか否かを検出する場合を例に挙げて説明したが、エッジ検出ブロック183は、CCD10の画素列10Wによる読み取り結果である画像データLについて、主走査方向のエッジ成分が存在していないことを確認するものであってもよい。すなわち、エッジ検出ブロック183は、画像データLにエッジ成分が含まれていなければ、画像データLclにゴミがあると判定する、といったことも考えられる。
【0050】
以上のような構成のスジ検知回路18によって、画像データLclに含まれるスジ状のノイズ成分が検出されることになる。
【0051】
次に、画像読取装置における置換画素判定回路19の詳細について説明する。図5は、本発明に係る画像読取装置における置換画素判定の概要を示す説明図である。置換画素判定回路19は、スジ状のノイズ成分があると判定された画素について、その画素をどの周囲画素で置換するかを画像データLから判定し、置換画素判定データを出力するものである。
【0052】
このとき、置換画素判定回路19では、図5に示すように、スジ検知回路18によって出力されたスジ検知データが“1”となったゴミ発生画素(図5(a)中の黒画素)を中心とした主走査方向17画素×副走査方向3画素分の周囲画素に着目する。ただし、着目する領域の大きさについては、17画素×3画素でなくても構わない。なお、図5の例では、主走査方向2画素分の幅のスジ状のノイズ成分が画像データB,G,R側に発生しており、(a)が画像データB,G,R、(b)が原稿上同位置での画像データLの画素が並んでいる様子を示している。
【0053】
そして、置換画素判定回路19は、ゴミ発生画素(図5(a)中の黒画素)の置換画素を判定する際に、ゴミ発生画素およびその画素と隣接する主走査方向2画素ずつを除いた領域(図5(b)中の網点画素)の中から置換画素位置を判定する。詳しくは、ゴミ発生画素と同じ位置での画像データL(図5(b)中の波線画素)を中心とした主走査方向17画素×副走査方向3画素分の周囲画素(ゴミ発生画素およびその画素と隣接する主走査方向2画素分の領域を除く)の中で、当該画像データLと最も近い値の画像データLを抽出し、その位置を置換画素位置として判定する。これは、ゴミのない画像データLにおいて、ゴミ発生位置の画像データと最も近い情報を持っている画素で置換することを目的とするためである。
【0054】
このとき、ゴミ発生画素と隣接する主走査方向2画素分の領域を置換対象から外しているのは、当該領域については、ゴミの発生が検知されていない場合であっても、ゴミの影響を多少なりとも受けている可能性があるからである。
【0055】
このような置換画素判定は、以下に述べる置換画素判定アルゴリズムによって実現される。図6は本発明に係る画像読取装置における置換画素判定アルゴリズムにて処理される周辺画素配置の一例を示す説明図であり、図7は本発明に係る画像読取装置における置換画素判定アルゴリズムの一例を示すフローチャートである。
【0056】
置換画素判定回路19は、図6に示すように、ゴミ発生位置の画像データLであるL25を中心とした主走査方向17画素×副走査方向3画素分の周囲画素のうち、L0からL50まで順に置換画素判定アルゴリズムに従い判定を行っていく。
【0057】
そして、置換画素判定回路19は、図7に示すように、カウンタiを“0”にセットし(ステップ1、以下ステップを「S」と略す)、Liのスジ検知データが“0”であるかを判定する(S2)。そして、Liのスジ検知データが“0”、すなわちLiがゴミ発生画素でない場合は、Liの主走査方向前後2画素のスジ検知データが“0”であるかを判定する(S3)。これら2つの条件分岐によりLiおよびLiの主走査方向前後2画素を置換対象外としているのである。
【0058】
次いで、置換画素判定回路19は、LiおよびLiの主走査方向前後2画素のスジ検知データが全て“0”である最初の画素であるかを判定する(S4)。最初の画素である場合は、置換画素位置にiの値を保持させ(S5)、Minデータには|L25-Li|の値を保持させる(S6)。一方、最初の画素でない場合は、Minデータと|L25-Li|の大小比較を実施する(S7)。その結果、|L25-Li|がMinデータより小さければ、置換画素位置にiの値を保持させ(S8)、Minデータには|L25-Li|の値を保持させる(S9)。これらによって、L25と最も近い値を見つけその位置を保持していくのである。
【0059】
以上の各ステップを、iが50まできたら終了し(S10)、そうでない場合はiに1を加え最初の条件分岐から繰り返すのである(S11)。したがって、これらの各ステップが全て終了すると、置換画素位置に保持されている位置がL25と最も近い値を持つ画素となり、その位置情報がスジ除去回路20に出力されることになる。
【0060】
なお、ここでは、スジ検知回路18によって出力されたスジ検知データが“1”だった場合のアルゴリズムを説明したが、スジ検知回路18によって出力されたスジ検知データが“0”だった場合には、L25の位置情報をスジ除去回路20に出力することになる。
【0061】
次に、画像読取装置におけるスジ除去回路20の詳細について説明する。図8は、本発明に係る画像読取装置が備えるスジ除去回路の構成例を示すブロック図である。
【0062】
スジ除去回路20は、置換画素判定回路19からの置換画素判定データに基づき、画像データB,G,Rからスジ状のノイズを除去した画像データを生成し、画像処理回路21に出力するものである。そのために、スジ除去回路20は、遅延回路201および選択回路202より構成されている。
【0063】
遅延回路201では、色空間変換回路17,スジ検知回路18および置換画素判定回路19の遅延分を画像データR,G,Bに加えて位相を合わせるとともに、図6にて説明したL0〜L50を同タイミングで出力できるよう遅延させ、置換画素位置データもそれに合わせ遅延させる。また、選択回路202では、遅延回路201にて出力された置換画素位置データに応じて、画像データRの場合はデータR0〜R50の中から、画像データGの場合はデータG0〜G50の中から、画像データBの場合はデータB0〜B50の中から選択して、最終スジ除去画像データR,G,Bとして出力する。スジ検知がなされていない場合は、置換画素位置データはL25を示すデータとなっているので、L25を最終スジ除去画像データR,G,Bとして出力する。この場合は、画像置換が行われていないことになるのである。
【0064】
以上のように、本実施形態で説明した画像読取装置では、R,G,Bの各分光感度特性を有する3本の画素列をそれぞれ2本ずつ配設しなくても、画素列10R,10G,10Bと画素列10Wとの計4本によって、ゴミの影響によるノイズ成分を検出することができる。したがって、アナログ処理やシェーディング補正等を行う各回路も4系統分用意すれば済むので、カラー画像に対応する場合であっても、従来のように回路規模が増大したり、大幅なコストアップを招いたりすることがない。
【0065】
しかも、単に画素列10R,10G,10Bによる読み取り結果と画素列10Wによる読み取り結果との濃度差のみを基にするのではなく、読み取り結果に含まれる原稿主走査方向のエッジ成分をも基にするので、ノイズ成分検出およびその結果に応じたノイズ成分除去の精度向上を図ることができる。具体的には、エッジ成分をも基にすることによって、ゴミのない正しい読み取りデータを不必要に周囲画素で置換してしまうといったことがなくなる。また、カラー画像の場合には、黒スジ状のノイズ成分のみならず、白スジ状のノイズ成分が発生することも考えられるが、いずれのノイズ成分についても、エッジ成分をも基にすることによって、的確に検出しこれを除去することが可能となる。
【0066】
また、本実施形態の画像読取装置では、検出したノイズ成分の除去にあたって、そのノイズ成分に係るゴミ発生画素を、その近傍に位置する周囲画素データをそのまま用いて置き換えるので、新たな補間データを生成する等といった処理負荷を要することがない。つまり、回路規模の増大やコストアップ等を招くことなく、ノイズ成分の除去に際しての処理を迅速に行うことが可能になる。
【0067】
さらに、本実施形態の画像読取装置では、ゴミ発生画素の置換に際して、画像データLの濃度値を基に、ゴミ発生画素に対応する位置の画像データLと最も近い値の画像データLを抽出し、これに対応する画像データR,G,Bを最終スジ除去画像データR,G,Bとして出力するようになっている。したがって、ゴミ発生位置の画像データと最も近い情報を持っている画素で置換することができるので、置換によりノイズ成分の除去を行っても、画質低下を極力抑えることが可能となる。
【0068】
その上、本実施形態の画像読取装置では、ゴミ発生画素の置換に際して、そのゴミ発生画素の直近に位置する画素データ(例えば、ゴミ発生画素と隣接する主走査方向2画素分の領域内に位置する画素データ)は用いないようにするので、ゴミの影響を多少なりとも受けている可能性がある画素データによる置換を行うことがない。つまり、ゴミの影響を完全に排除するので、置換によりノイズ成分の除去を行っても、より一層画質低下の抑制が確実なものとなる。
【0069】
【発明の効果】
以上に説明したように、本発明の画像読取装置によれば、カラー画像に対応する場合であっても、回路規模の増大や多大な処理負荷等を要することなく、ゴミ等の異物による画像の読み取り結果への影響の検出、除去を行うことができる。しかも、ゴミ等の影響によるノイズ成分の除去に際しては、画像の劣化(画質低下)を極力抑えることができる。
【図面の簡単な説明】
【図1】 本発明に係る画像読取装置の機能構成の一例を示すブロック図である。
【図2】 本発明に係る画像読取装置の光学系の一例を示す概略構成図である。
【図3】 本発明に係る画像読取装置に用いられる読取手段の一例を示す説明図である。
【図4】 本発明に係る画像読取装置が備えるスジ検知回路の構成例を示すブロック図である。
【図5】 本発明に係る画像読取装置における置換画素判定の概要を示す説明図であり、(a)は画像データB,G,Rの検出具体例の図、(b)はこれに対応する画像データLの検出具体例の図である。
【図6】 本発明に係る画像読取装置における置換画素判定アルゴリズムにて処理される周辺画素配置の一例を示す説明図である。
【図7】 本発明に係る画像読取装置における置換画素判定アルゴリズムの一例を示すフローチャートである。
【図8】 本発明に係る画像読取装置が備えるスジ除去回路の構成例を示すブロック図である。
【符号の説明】
10…CCD、10R,10G,10B,10W…画素列、17…色空間変換回路、18…スジ検知回路、19…置換画素判定回路、20…スジ除去回路、181…データ比較ブロック、182…連続性検知ブロック、183…エッジ検出ブロック
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image reading apparatus that reads an image drawn on a document to be read, such as a copying machine, a facsimile machine, and a scanner device.
[0002]
[Prior art]
In recent years, as an image reading apparatus, an image is read while moving an optical system from an original placed on a platen glass by reading an image on the original while moving a sheet-like original by an automatic document feeder. What has improved the reading speed is known. However, in such an image reading apparatus, since the optical system does not move, if the dust adhering to the document stains the contact glass at the document reading position or adheres to the contact glass, the image reading result has a streak-like shape. Noise will be generated.
[0003]
Conventionally, the following countermeasures have been proposed. For example, in Japanese Patent Laid-Open No. 9-139844, a plurality of photoelectric conversion elements are arranged in the document conveyance direction, and the reading results of these photoelectric conversion elements at the same position on the document are compared. In some cases, an apparatus that detects a noise component and removes the noise component is disclosed. Also, for example, Japanese Patent Laid-Open No. 2000-152008 discloses an apparatus that removes a noise component by using one of the photoelectric conversion elements when the noise component is detected. Yes.
[0004]
[Problems to be solved by the invention]
However, any of the above-described conventional apparatuses is compatible with reading of a black and white image, and when applied to a color image as it is, each of R (red), G (green), and B (blue) spectral sensitivity characteristics. There must be at least two photoelectric conversion elements (pixel rows) each having a total of six rows or more in the document transport direction. Accordingly, at least six systems of image processing circuits after photoelectric conversion element output such as analog processing and shading correction corresponding to this must be prepared, which increases the circuit scale and significantly increases the cost. Will end up.
[0005]
Further, in the case of a color image, it is conceivable that not only a black streak noise component but also a white streak noise component is generated. Therefore, in order to remove the noise component, it is necessary to accurately detect any noise component.
[0006]
Further, in the case of a color image, signal processing for each of the R, G, and B color components is required to output the reading result by the photoelectric conversion element. Therefore, when removing noise components, it is sufficient to provide two or more photoelectric conversion elements for each color component and use the read results as they are. However, the read results of the photoelectric conversion elements for each color component are used. If new interpolation data is to be generated, a large processing load is required.
[0007]
Therefore, the present invention can eliminate the influence of foreign matter such as dust on the image reading result while supporting color images, and even in that case, the circuit scale increases and the processing load increases. An object of the present invention is to provide an image reading apparatus that is not required.
[0008]
[Means for Solving the Problems]
The present invention is an image reading apparatus devised to achieve the above object. The first reading means for reading color image information from a document to be read corresponds to a spectral sensitivity different from that of the first reading means. And a second reading unit arranged offset with respect to the first reading unit in the sub-scanning direction of the original, a density value of a reading result by the first reading unit, and a reading result by the second reading unit Data comparison means for comparing the density value of the image data; edge detection means for determining whether or not an edge component in the main scanning direction of the document is included in the reading result by the first reading means; The difference between the density values compared by the data comparison unit is greater than a predetermined threshold, and the edge detection unit determines that an edge component is included in the reading result of the first reading unit, or the edge When the detection unit confirms that the edge component is not included in the reading result by the second reading unit, the detection unit determines that the reading result by the first reading unit includes a noise component, and to that effect Signal output And a noise detecting means.
[0009]
According to the image reading apparatus having the above configuration, when there is an influence of foreign matter such as dust, the density values of the respective reading results are different between the first reading unit and the second reading unit that are offset in the sub-scanning direction of the document. In addition, regardless of whether black streaks or white streaks occur due to the influence of the foreign matter, the reading result of the original includes an edge component in the main scanning direction due to the noise component. Therefore, even if a noise component is included in the reading result of the color image information from the original document due to the influence of foreign matter such as dust, the noise component is the result of comparison by the data comparison unit and the result of determination by the edge detection unit Or confirmation result Is detected by noise detection means based on the above. In addition, since the second reading means used for detecting the noise corresponds to a spectral sensitivity different from that of the first reading means, the reading means having spectral sensitivity characteristics for reading color image information is provided in an overlapping manner. There is no need.
[0012]
DETAILED DESCRIPTION OF THE INVENTION
The image reading apparatus according to the present invention will be described below with reference to the drawings. FIG. 1 is a block diagram illustrating an example of a functional configuration of an image reading apparatus according to the present invention, FIG. 2 is a schematic configuration diagram illustrating an example of an optical system of the image reading apparatus according to the present invention, and FIG. It is explanatory drawing which shows an example of the reading means (photoelectric conversion element) used for the image reading apparatus which concerns on.
[0013]
First, an optical system in the image reading apparatus according to the present invention will be described. As shown in FIG. 2, the image reading apparatus described here includes an automatic document feeder (hereinafter referred to as “ADF”), and the original P to be read is moved by the ADF. A so-called CVT (Constant Velocity Transfer) mode in which an image is read from the original P can be supported.
[0014]
That is, in the CVT mode, the document P placed on the document placing table of the ADF is conveyed to the conveyance roller 2 one by one by the drawing roller 1, and after the conveyance direction is changed to the conveyance roller 2, the contact glass 3 Guided up to the top. Then, the document P is conveyed while being pressed against the contact glass 3 side by the back platen 4. At this time, image reading from the document P is performed as described later. Thereafter, the original P after image reading is discharged onto the ADF discharge tray by the discharge roller 5.
[0015]
On the contact glass 3, the document P conveyed there is irradiated by an exposure lamp (not shown). The light reflected by the irradiation is changed by the first mirror 6, the second mirror 7 and the third mirror 8, and then reduced by the lens 9, and the photoelectric conversion element (Charge Coupled) which functions as an image reading unit. Device; hereinafter referred to as “CCD”) 10 is imaged. As a result, the image drawn on the original P is output as an analog image signal through photoelectric conversion in units of pixels in the CCD 10.
[0016]
The image reading apparatus may be compatible with not only the CVT mode but also a document fixing mode in which the document P is fixed on the platen glass and the image is read while moving the optical system. In this case, the document surface placed on the platen glass is placed on the first mirror 6, the second mirror 7, and the third mirror 8 (mounted on a carriage (not shown) and movable). The image may be read from the original by scanning while moving in the sub-scanning direction.
[0017]
Next, the CCD 10 functioning as an image reading unit will be described in detail. As shown in FIG. 3, the CCD 10 is composed of a plurality of photoelectric conversion element arrays in which light receiving cells (pixels) such as photodiodes are arranged in a straight line. More specifically, a configuration having three pixel columns 10R, 10G, and 10B having R, G, and B spectral sensitivity characteristics and a pixel column 10W having B / W (monochrome) spectral sensitivity characteristics; It has become.
[0018]
The three pixel rows 10R, 10G, and 10B function as the first reading unit of the present invention, and are for reading color image information from the original P to be read. Therefore, each of the pixel rows 10R, 10G, and 10B has a configuration in which n light receiving cells (pixels) each including, for example, a 7 μm × 7 μm photodiode or the like are linearly arranged. From the lower side of the figure, B, G, and R are arranged in three rows with an interval of 7 μm (one line).
[0019]
Similarly, the pixel column 10W has a configuration in which n light receiving cells made of, for example, 7 μm × 7 μm photodiodes are linearly arranged. However, it corresponds to a spectral sensitivity (monochrome) different from that of the pixel columns 10R, 10G, and 10B. Further, the pixel column 10W is spaced by, for example, 70 μm (for 10 lines) from the closest pixel column (in this example, the pixel column 10B) among the three pixel columns 10R, 10G, and 10B. Are arranged offset with respect to the pixel rows 10R, 10G, and 10B in the document transport direction (sub-scanning direction). That is, the pixel column 10W functions as the second reading unit of the present invention.
[0020]
Note that the interval between 7 μm (for one line) and 70 μm (for 10 lines) in the CCD 10 is reduced by the lens 9, which corresponds to the intervals of 42 μm and 423 μm, respectively, at the reading position on the document conveyance path. .
[0021]
The CCD 10 having such pixel rows 10R, 10G, 10B, and 10W is driven by a timing signal based on a predetermined clock. As a result, each of the pixel columns 10R, 10G, 10B, and 10W simultaneously reads four lines of images at distant positions on the document P and outputs them as analog image signals. In other words, in the pixel column 10R, the charges accumulated in the n photodiodes constituting the pixel column 10R are sequentially detected for each line cycle (main scanning cycle), and each of one line (n pixels) is detected. An analog image signal R representing the pixel density is output. The same applies to the analog image signals G and B. Further, an analog image signal L corresponding to the black and white component is output from the pixel row 10W.
[0022]
Therefore, if the side on which the pixel row 10W is disposed is the upstream side in the document conveyance direction (A side in FIG. 2), the analog image signal L from the pixel row 10W is the pixel row if there is no change in the conveyance speed of the document P. The analog image signal R by 10R has a phase delay equivalent to 12 lines, the analog image signal B by the pixel array 10B has a phase delay equivalent to 2 lines by the analog image signal R, and the analog image signal G by the pixel array 10G has an analog image. Each image signal has a phase delay corresponding to one line from the signal R.
[0023]
Here, the principle of detecting vertical stripes on an image due to adhesion of dust or the like in the CCD 10 having such a configuration will be described. Now, assuming that dust adheres to the contact glass 3 corresponding to the optical path of the pixel columns 10R, 10G, and 10B functioning as the first reading means, the dust at that location passes through the optical path as an image, and the pixel columns 10R, 10G. , 10B. At this time, vertical streaks extending in the sub-scanning direction (document transport direction) that do not exist on the document P appear on the output image due to the dust. On the other hand, since there is no dust on the contact glass 3 corresponding to the optical path of the pixel row 10W that is separated from these by 10 lines and functions as the second reading means, the image on the document P is normally read.
[0024]
Therefore, the reading result of the second reading means read in advance is delayed by a time corresponding to the conveyance of each reading position, and compared with the reading result of the first reading means at the same position as the first reading means. As a result, the reading results of the both do not coincide with each other in a place where dust exists. By using this principle, it is possible to detect vertical streaks due to adhering dust and floating streaks.
[0025]
An interval corresponding to 10 lines exists between the pixel rows 10R, 10G, and 10B and the pixel row 10W in the CCD 10 so as to be suitable for this detection. However, the distance is not limited to 10 lines as long as both of them are not affected by dust.
[0026]
Next, the functional configuration of the entire image reading apparatus will be described. As shown in FIG. 1, the image reading apparatus includes a CCD driving circuit 11 in addition to the CCD 10 described above, and the CCD driving circuit 11 generates a timing signal based on a predetermined clock and supplies the timing signal to the CCD 10. Thus, the CCD 10 is driven.
[0027]
Further, at the subsequent stage of the CCD 10, sample hold circuits 12a to 12d, output amplifier circuits 13a to 13d, AD conversion circuits 14a to 14d, and a shading correction circuit 15a provided corresponding to the respective pixel columns 10R, 10G, 10B, and 10W. ~ 15d. As a result, analog image signals L, B, G, and R obtained from the CCD 10 are sampled by the sample hold circuits 12a to 12d, respectively, and then amplified to appropriate levels by the output amplifier circuits 13a to 13d, respectively. The signals are converted into digital image data L, B, G, and R by conversion circuits 14a to 14d, respectively. Then, the shading correction circuits 15a to 15d perform correction corresponding to the sensitivity variation of the CCD 10 and the light quantity distribution characteristics of the optical system on the converted digital image data L, B, G, and R.
[0028]
Further, output delay circuits 16a to 16c are provided in the subsequent stage of the shading correction circuits 15a to 15d. The output delay circuits 16a to 16c delay the image data L, B, and G output from the shading correction circuits 15a to 15d by delay times corresponding to 12 lines, 2 lines, and 1 line, respectively. The image data is in phase with the image data R. That is, the pixel rows 10W, 10R, 10G, and 10B are in a positional relationship that is arranged with a certain interval in the sub-scanning direction so that images of four lines at distant positions on the document are simultaneously read. When the image is read, the digital image data of the last pixel column 10R is used as a reference, and the digital image data of the remaining pixel columns 10W, 10B, and 10G is determined according to the distance between each line from the last row reading line. By delaying, the digital image data for four lines in the sub-scanning direction is synchronized so as to become image data at the same position (same line) on the document.
[0029]
In addition to these circuits, the image reading apparatus includes a color space conversion circuit 17, a streak detection circuit 18, a replacement pixel determination circuit 19, a streak removal circuit 20, an image processing circuit 21, and a CPU ( Central Processing Unit) 22.
[0030]
Among these, the image processing circuit 21 performs image processing such as enlargement / reduction processing, background removal processing, binarization processing, and the like as necessary on the image data output from the streak removal circuit 20.
[0031]
The CPU 22 controls each unit in the image reading apparatus. Specifically, the drive period of the CCD 10 performed by the CCD drive circuit 11 is set, the gain of the output amplifier circuits 13a to 13d is controlled, the shading correction circuits 15a to 15d are controlled, the color space conversion circuit 17, and the streak detection circuit 18 Further, constant control (described later) of the replacement pixel determination circuit 19 is performed.
[0032]
Next, details of the color space conversion circuit 17 in the image reading apparatus having the overall configuration as described above will be described. The color space conversion circuit 17 uses RGB data ≡L * By the conversion, image data Lcl having the same spectral sensitivity as that of the image data L is generated from the image data B, G, and R. Specifically, this is a circuit that calculates the spectral sensitivity image data Lcl corresponding to black and white by performing an operation using the following equation (1) based on the image data B, G, and R.
[0033]
Lcl = A1 x B + A2 x G + A3 x R + A4 x B 2 + A5 × G 2 + A6 × R 2 + A7 x B x G + A8 x G x R + A9 x R x B + A10 (1)
[0034]
In the equation (1), A1 to A10 are coefficients, and are set in advance so that the calculation result of the image data Lcl is substantially the same as the read value of the image data L. Thereby, the image data L and the image data Lcl are substantially the same read data.
[0035]
Next, details of the streak detection circuit 18 in the image reading apparatus will be described. FIG. 4 is a block diagram illustrating a configuration example of a streak detection circuit included in the image reading apparatus according to the present invention.
[0036]
The streak detection circuit 18 compares the image data Lcl output from the color space conversion circuit 17 with the image data L output from the output delay circuit 16a, thereby obtaining a streak-like noise component included in the image data Lcl. It detects and outputs streak detection data. For this purpose, the streak detection circuit 18 includes a data comparison block 181, a continuity detection block 182, and an edge detection block 183.
[0037]
The data comparison block 181 includes a subtraction circuit 181a and a comparison circuit 181b. For comparison between the density value of the image data Lcl and the density value of the image data L, the data comparison block 181 is provided for each line cycle (main scanning cycle). , Image data Lcl and image data L each representing the density of pixels of n pixels are input.
[0038]
Here, the image data Lcl and the image data L input to the data comparison block 181 are phase-corrected by the output delay circuits 16a to 16c and converted by the color space conversion circuit 17, so If there is no variation, each represents a read image corresponding to the same line on the document, and both should be the same. However, when dust or the like adheres to the downstream reading position, the image data of the pixel corresponding to the dust-attached portion of the image data Lcl corresponding to the downstream reading position is affected, and is represented by the image data Lcl. The density of the pixel is considered to be significantly different from the density of the pixel represented by the image data L. Therefore, in the data comparison block 181, based on such a premise, when the image data Lcl and the image data L are significantly different, either the image data Lcl or the image data L may be affected by dust. A signal to the effect is generated.
[0039]
This will be described in detail as follows. The subtraction circuit 181a in the data comparison block 181 calculates the difference between the image data Lcl and the image data L, and outputs the difference | A−B |. Then, the comparison circuit 181b compares the difference | A−B | obtained by the subtraction circuit 181a with a predetermined threshold, and outputs a signal “1” when the difference | A−B | is higher than the threshold. If not, a signal “0” is output. In the following description, for convenience, the output signal of the comparison circuit 181b is referred to as a “dust determination bit”.
[0040]
As described above, the data comparison block 181 receives the image data Lcl and the image data L for one line (n pixels) for each line period. In the data comparison block 181, the above-described processing is performed for each pixel constituting one line, and an n-bit serial composed of dust determination bits that indicate whether or not the image data Lcl is affected by dust. Data is output from the comparison circuit 181b for each line period.
[0041]
By the way, when the conveyance speed of the document is constant, it can be determined that a streak appears in the output image by setting this dust determination bit to “1”. However, since the document transport speed actually fluctuates, it cannot be immediately determined that a streak appears in the output image just because the dust determination bit is “1”.
[0042]
However, since the fluctuation of the document conveyance speed occurs when the document hits the roller or leaves the roller, the phase shift of the image data Lcl and the image data L based on the fluctuation of the conveyance speed is 2 to 3 lines. It is thought that it lasts only about the period. On the other hand, the generation of streaks due to the adhesion of dust continues for several tens of lines or more even if it is short. Therefore, when the dust determination bit corresponding to a specific pixel is continuously “1” over a period of 5 to 10 lines, it is not due to the fluctuation of the document conveyance speed but due to the adhesion of dust. You can think that such a situation is happening.
[0043]
The continuity detection block 182 in the streak detection circuit 18 is provided after the data comparison block 181 based on this idea. The continuity detection block 182 includes four line memories 182a to 182d and an AND circuit 182e.
[0044]
Each of the line memories 182a to 182d is configured by a FIFO (First-In First-Out) memory. Each of these line memories 182a to 182d is connected in cascade, and constitutes one shift register that sequentially shifts the dust determination bits output from the data comparison block 181. Each of the line memories 182a to 182d is configured to store n-bit serial data, and the data input to each line memory is output from the line memory after one line cycle. Therefore, when a dust determination bit corresponding to a certain pixel is output from the comparison circuit 181b of the data comparison block 181, the line memories 182a to 182d correspond to each pixel that is one to four lines before the pixel. Each dust determination bit is output.
[0045]
The AND circuit 182e has an influence of dust when the dust determination bits output from the comparison circuit 181b of the data comparison block 181 and the line memories 182a to 182d are all “1”, that is, pixels having the same position in the main scanning direction. The signal “1” is output when it is determined that five lines have been received continuously, and the signal “0” is output otherwise. The output signal of the AND circuit 182e is referred to as “dust detection data” in the following description.
[0046]
In this way, it is detected by the continuity detection block 182 that there is an image affected by dust at the same position in the main scanning direction. This detection is performed not only on the image data Lcl but also on the image data Lcl. This is also done when trash is generated. Therefore, when dust is generated in the image data L, pixel replacement described later is performed even though the image data B, G, and R are not affected by dust. That is, correct read data without dust is unnecessarily replaced with surrounding pixels. It is the edge detection block 183 that prevents this and enables detection only when dust is generated in the image data Lcl.
[0047]
The edge detection block 183 detects whether or not there is an edge component in the main scanning direction for the pixel of the image data Lcl that is determined to have dust based on the dust detection data. It is determined that there is no dust in Lcl and there is dust in the image data L. If there is an edge component, it is determined that there is dust in the image data Lcl. Only when there is dust in the image data Lcl, “streaks detection data” is output as “1”. For this purpose, the edge detection block 183 includes a delay circuit 183a, a subtraction circuit 183b, a comparison circuit 183c, and an output mask circuit 183d.
[0048]
That is, in the edge detection block 183, the pixel of the image data Lcl in which the dust detection data is “1” and the pixel of the image data Lcl in which the dust detection data is “0” are separated by two pixels before the main scanning direction. The subtraction circuit 183b calculates the difference from the average value of only three pixels. In this calculation, the phase is converted by the delay circuit 183a. Then, the comparison circuit 183c determines whether or not the calculation result in the subtraction circuit 183b is equal to or greater than a predetermined threshold. As a result, when the difference is equal to or larger than the predetermined threshold, the output mask circuit 183d determines that there is dust in the image data Lcl, and outputs the dust detection data as it is as the streak detection data. On the other hand, if it is equal to or lower than the predetermined threshold, the output mask circuit 183d determines that there is no dust in the image data Lcl, masks the dust detection data, and outputs it as a signal “0”.
[0049]
Here, the case where it is detected whether or not an edge component in the main scanning direction is present in the image data Lcl as a result of reading by the pixel rows 10R, 10G, and 10B of the CCD 10 has been described as an example. The detection block 183 may confirm that there is no edge component in the main scanning direction for the image data L that is the result of reading by the pixel row 10W of the CCD 10. That is, it is also conceivable that the edge detection block 183 determines that there is dust in the image data Lcl if no edge component is included in the image data L.
[0050]
The streak detection circuit 18 configured as described above detects streak-like noise components included in the image data Lcl.
[0051]
Next, details of the replacement pixel determination circuit 19 in the image reading apparatus will be described. FIG. 5 is an explanatory diagram showing an outline of replacement pixel determination in the image reading apparatus according to the present invention. The replacement pixel determination circuit 19 determines from the image data L which pixel to replace the pixel determined to have a streak-like noise component, and outputs replacement pixel determination data.
[0052]
At this time, as shown in FIG. 5, the replacement pixel determination circuit 19 detects the dust generation pixel (black pixel in FIG. 5A) for which the streak detection data output by the streak detection circuit 18 is “1”. Attention is paid to peripheral pixels of 17 pixels in the main scanning direction × 3 pixels in the sub-scanning direction. However, the size of the region of interest may not be 17 pixels × 3 pixels. In the example of FIG. 5, a streak noise component having a width corresponding to two pixels in the main scanning direction is generated on the image data B, G, R side, and (a) is the image data B, G, R, ( b) shows a state in which the pixels of the image data L are arranged at the same position on the document.
[0053]
The replacement pixel determination circuit 19 excludes the dust generation pixel and two pixels in the main scanning direction adjacent to the pixel when determining the replacement pixel of the dust generation pixel (the black pixel in FIG. 5A). The replacement pixel position is determined from the region (halftone dot pixel in FIG. 5B). Specifically, surrounding pixels (dust generation pixels and their pixels) corresponding to 17 pixels in the main scanning direction × 3 pixels in the sub-scanning direction centering on the image data L (the wavy line pixel in FIG. 5B) at the same position as the dust generation pixels. Image data L having a value closest to the image data L is extracted, and the position is determined as a replacement pixel position. This is for the purpose of replacing the image data L without dust with a pixel having information closest to the image data at the dust occurrence position.
[0054]
At this time, the region corresponding to two pixels in the main scanning direction adjacent to the dust generation pixel is excluded from the replacement target even if the generation of dust is not detected in the region. This is because it may be received somewhat.
[0055]
Such replacement pixel determination is realized by a replacement pixel determination algorithm described below. FIG. 6 is an explanatory diagram showing an example of the peripheral pixel arrangement processed by the replacement pixel determination algorithm in the image reading apparatus according to the present invention, and FIG. 7 shows an example of the replacement pixel determination algorithm in the image reading apparatus according to the present invention. It is a flowchart to show.
[0056]
As shown in FIG. 6, the replacement pixel determination circuit 19 has L0 to L50 among surrounding pixels of 17 pixels in the main scanning direction × 3 pixels in the sub-scanning direction centering on L25 that is the image data L at the dust generation position. The determination is sequentially performed according to the replacement pixel determination algorithm.
[0057]
Then, as shown in FIG. 7, the replacement pixel determination circuit 19 sets the counter i to “0” (step 1, step is hereinafter abbreviated as “S”), and the Li stripe detection data is “0”. Is determined (S2). If the Li line detection data is “0”, that is, if Li is not a dust generation pixel, it is determined whether the line detection data of 2 pixels before and after the Li main scanning direction is “0” (S3). By these two conditional branches, two pixels before and after the main scanning direction of Li and Li are excluded from replacement.
[0058]
Next, the replacement pixel determination circuit 19 determines whether or not the line detection data of two pixels before and after the main scanning direction of Li and Li are all “0” (S4). If it is the first pixel, the value of i is held at the replacement pixel position (S5), and the value of | L25-Li | is held in the Min data (S6). On the other hand, if it is not the first pixel, the size comparison between Min data and | L25-Li | is performed (S7). As a result, if | L25-Li | is smaller than the Min data, the value of i is held at the replacement pixel position (S8), and the value of | L25-Li | is held in the Min data (S9). By these, a value closest to L25 is found and the position is held.
[0059]
The above steps are terminated when i reaches 50 (S10), and if not, 1 is added to i and the first conditional branch is repeated (S11). Accordingly, when all these steps are completed, the position held at the replacement pixel position becomes a pixel having the closest value to L25, and the position information is output to the streak removal circuit 20.
[0060]
Here, the algorithm when the streak detection data output by the streak detection circuit 18 is “1” has been described, but when the streak detection data output by the streak detection circuit 18 is “0”, , L25 position information is output to the streak removal circuit 20.
[0061]
Next, details of the streak removal circuit 20 in the image reading apparatus will be described. FIG. 8 is a block diagram showing a configuration example of a streak removal circuit provided in the image reading apparatus according to the present invention.
[0062]
The streak removal circuit 20 generates image data obtained by removing streak-like noise from the image data B, G, R based on the replacement pixel determination data from the replacement pixel determination circuit 19 and outputs the image data to the image processing circuit 21. is there. For this purpose, the streak removal circuit 20 includes a delay circuit 201 and a selection circuit 202.
[0063]
In the delay circuit 201, the delays of the color space conversion circuit 17, the streak detection circuit 18 and the replacement pixel determination circuit 19 are added to the image data R, G and B to adjust the phase, and L0 to L50 described in FIG. The output is delayed so that it can be output at the same timing, and the replacement pixel position data is also delayed accordingly. In the selection circuit 202, the image data R is selected from the data R0 to R50, and the image data G is selected from the data G0 to G50 according to the replacement pixel position data output from the delay circuit 201. In the case of image data B, data B0 to B50 are selected and output as final streak-removed image data R, G, B. If streak detection is not performed, the replacement pixel position data is data indicating L25, and therefore L25 is output as final streak-removed image data R, G, and B. In this case, image replacement is not performed.
[0064]
As described above, in the image reading apparatus described in the present embodiment, the pixel rows 10R and 10G can be provided without arranging three pixel rows each having R, G, and B spectral sensitivity characteristics. , 10B and the pixel row 10W in total, noise components due to dust can be detected. Therefore, it is only necessary to prepare four circuits for performing analog processing, shading correction, and the like, so that even when dealing with color images, the circuit scale increases as in the past, and a significant increase in cost occurs. There is no need.
[0065]
In addition, not only based on the density difference between the reading results of the pixel rows 10R, 10G, and 10B and the reading result of the pixel row 10W, but also based on the edge component in the document main scanning direction included in the reading results. Therefore, the accuracy of noise component detection and noise component removal according to the result can be improved. Specifically, by using the edge component as a basis, it is possible to prevent unnecessary read data from being replaced with surrounding pixels unnecessarily. In the case of a color image, it is possible that not only black streak noise components but also white streak noise components are generated, but any noise component is also based on an edge component. It is possible to accurately detect and remove this.
[0066]
Further, in the image reading apparatus according to the present embodiment, when removing the detected noise component, the dust generation pixel related to the noise component is replaced by using the surrounding pixel data located in the vicinity thereof, so that new interpolation data is generated. No processing load is required. That is, it is possible to quickly perform the processing for removing the noise component without increasing the circuit scale or increasing the cost.
[0067]
Furthermore, in the image reading apparatus of the present embodiment, when replacing dust generation pixels, based on the density value of the image data L, the image data L having a value closest to the image data L at the position corresponding to the dust generation pixels is extracted. The corresponding image data R, G, B are output as final streak-removed image data R, G, B. Therefore, since the pixel having the closest information to the image data at the dust generation position can be replaced, even if the noise component is removed by the replacement, it is possible to suppress deterioration in image quality as much as possible.
[0068]
In addition, in the image reading apparatus according to the present embodiment, when replacing dust-generating pixels, pixel data positioned in the immediate vicinity of the dust-generating pixels (for example, positions within two pixels in the main scanning direction adjacent to the dust-generating pixels) Pixel data) is not used, so that replacement with pixel data that may have been somewhat affected by dust is not performed. That is, since the influence of dust is completely eliminated, even if the noise component is removed by replacement, it is possible to further reliably suppress the image quality deterioration.
[0069]
【The invention's effect】
As described above, according to the image reading apparatus of the present invention, even when dealing with a color image, an image caused by foreign matter such as dust is not required without increasing the circuit scale or a large processing load. The influence on the reading result can be detected and removed. In addition, when removing noise components due to the influence of dust or the like, it is possible to suppress image deterioration (deterioration in image quality) as much as possible.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating an example of a functional configuration of an image reading apparatus according to the present invention.
FIG. 2 is a schematic configuration diagram illustrating an example of an optical system of the image reading apparatus according to the present invention.
FIG. 3 is an explanatory diagram showing an example of reading means used in the image reading apparatus according to the present invention.
FIG. 4 is a block diagram illustrating a configuration example of a streak detection circuit included in the image reading apparatus according to the present invention.
FIGS. 5A and 5B are explanatory diagrams showing an outline of replacement pixel determination in the image reading apparatus according to the present invention, FIG. 5A is a diagram illustrating a specific example of detection of image data B, G, and R, and FIG. It is a figure of the example of a detection of the image data L.
FIG. 6 is an explanatory diagram showing an example of a peripheral pixel arrangement processed by a replacement pixel determination algorithm in the image reading apparatus according to the present invention.
FIG. 7 is a flowchart showing an example of a replacement pixel determination algorithm in the image reading apparatus according to the present invention.
FIG. 8 is a block diagram illustrating a configuration example of a streak removal circuit provided in the image reading apparatus according to the present invention.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 10 ... CCD, 10R, 10G, 10B, 10W ... Pixel row, 17 ... Color space conversion circuit, 18 ... Stripe detection circuit, 19 ... Replacement pixel determination circuit, 20 ... Stripe removal circuit, 181 ... Data comparison block, 182 ... Continuous Property detection block, 183... Edge detection block

Claims (5)

読み取り対象となる原稿からカラー画像情報を読み取る第一読取手段と、
前記第一読取手段とは異なる分光感度に対応しているとともに当該第一読取手段に対して前記原稿の副走査方向にオフセットして配設された第二読取手段と、
前記第一読取手段による読み取り結果の濃度値と前記第二読取手段による読み取り結果の濃度値とを比較するデータ比較手段と、
前記第一読取手段による読み取り結果に前記原稿の主走査方向におけるエッジ成分が含まれているか否かを判断、または、前記第二読取手段による読み取り結果に前記原稿の主走査方向におけるエッジ成分がないことの確認を行うエッジ検出手段と、
前記データ比較手段が比較する各濃度値の差分が所定スレッショルドより大きく、かつ、前記エッジ検出手段が前記第一読取手段での読み取り結果にエッジ成分が含まれていると判断するか、または前記エッジ検出手段が前記第二読取手段での読み取り結果にエッジ成分が含まれていないことを確認した場合に、前記第一読取手段での読み取り結果にノイズ成分が含まれていると判定し、その旨の信号出力を行うノイズ検出手段と
を備えることを特徴とする画像読取装置。
First reading means for reading color image information from a document to be read;
A second reading unit that corresponds to a spectral sensitivity different from that of the first reading unit and is arranged to be offset in the sub-scanning direction of the document with respect to the first reading unit;
Data comparison means for comparing the density value of the reading result by the first reading means and the density value of the reading result by the second reading means;
It is determined whether or not an edge component in the main scanning direction of the document is included in the reading result by the first reading unit, or there is no edge component in the main scanning direction of the document in the reading result by the second reading unit. Edge detection means for confirming
The difference between the density values compared by the data comparison unit is greater than a predetermined threshold, and the edge detection unit determines that an edge component is included in the reading result of the first reading unit, or the edge When the detection unit confirms that the edge component is not included in the reading result by the second reading unit, the detection unit determines that the reading result by the first reading unit includes a noise component, and to that effect image reading apparatus characterized by comprising a noise detecting means for performing a signal output.
前記第一読取手段はR,G,B成分の読み取りに対応したものであり、
前記第二読取手段は白黒成分の読み取りに対応したものである
ことを特徴とする請求項1記載の画像読取装置。
The first reading means corresponds to reading of R, G, B components,
The image reading apparatus according to claim 1, wherein the second reading unit corresponds to reading of a monochrome component.
前記ノイズ検出手段が検出したノイズ成分に係る異常画素データの近傍に位置する周囲画素データをそのまま用いて前記異常画素データと置き換えることで当該ノイズ成分を除去するノイズ除去手段
を備えることを特徴とする請求項1または2記載の画像読取装置。
Noise removal means for removing the noise component by using the surrounding pixel data located in the vicinity of the abnormal pixel data related to the noise component detected by the noise detection means as it is and replacing the abnormal pixel data.
The image reading apparatus according to claim 1, further comprising:
前記ノイズ除去手段は、前記第二読取手段による読み取り結果のうち、前記第一読取手段による読み取り結果における異常画素データと同じ画素位置の画素データについて、当該画素データを含む所定画素領域の中で当該画素データと最も近い値の画素データを抽出し、その画素位置を置換画素位置として判定し、前記第一読取手段による読み取り結果における当該置換画素位置の画素データを前記周囲画素データとして特定する
ことを特徴とする請求項3記載の画像読取装置。
The noise removing unit is configured to detect pixel data at the same pixel position as abnormal pixel data in the reading result by the first reading unit among the reading results by the second reading unit in a predetermined pixel region including the pixel data. Extracting pixel data having a value closest to the pixel data, determining the pixel position as a replacement pixel position, and specifying the pixel data of the replacement pixel position in the reading result by the first reading unit as the surrounding pixel data. The image reading apparatus according to claim 3, wherein:
前記ノイズ除去手段は、前記異常画素データの直近に位置する画素データを前記周囲画素データとはしない
ことを特徴とする請求項3または4記載の画像読取装置。
5. The image reading apparatus according to claim 3, wherein the noise removing unit does not use pixel data located immediately adjacent to the abnormal pixel data as the surrounding pixel data.
JP2001068122A 2001-03-12 2001-03-12 Image reading device Expired - Fee Related JP4051889B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001068122A JP4051889B2 (en) 2001-03-12 2001-03-12 Image reading device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001068122A JP4051889B2 (en) 2001-03-12 2001-03-12 Image reading device

Publications (3)

Publication Number Publication Date
JP2002271631A JP2002271631A (en) 2002-09-20
JP2002271631A5 JP2002271631A5 (en) 2005-09-22
JP4051889B2 true JP4051889B2 (en) 2008-02-27

Family

ID=18926353

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001068122A Expired - Fee Related JP4051889B2 (en) 2001-03-12 2001-03-12 Image reading device

Country Status (1)

Country Link
JP (1) JP4051889B2 (en)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4107029B2 (en) 2002-09-20 2008-06-25 富士ゼロックス株式会社 Image reading device
JP3882803B2 (en) 2003-10-20 2007-02-21 コニカミノルタビジネステクノロジーズ株式会社 Image processing apparatus and image processing method
US7528997B2 (en) * 2003-12-22 2009-05-05 Xerox Corporation Systems and methods for streak detection in image array scanning
US7515310B2 (en) * 2004-03-03 2009-04-07 National Semiconductor Corporation Programmable gain amplifier with hybrid digital/analog architecture
US7489426B2 (en) * 2004-03-16 2009-02-10 Kabushiki Kaisha Toshiba Image reading apparatus and image reading method
JP4150858B2 (en) 2004-09-17 2008-09-17 コニカミノルタビジネステクノロジーズ株式会社 Image reading device
JP4244899B2 (en) 2004-09-30 2009-03-25 コニカミノルタビジネステクノロジーズ株式会社 Image reading device
JP3918844B2 (en) 2004-09-30 2007-05-23 コニカミノルタビジネステクノロジーズ株式会社 Image reading device
JP4165488B2 (en) 2004-09-30 2008-10-15 コニカミノルタビジネステクノロジーズ株式会社 Image reading device
JP4305352B2 (en) 2004-09-30 2009-07-29 コニカミノルタビジネステクノロジーズ株式会社 Image reading device
JP4265517B2 (en) 2004-09-30 2009-05-20 コニカミノルタビジネステクノロジーズ株式会社 Image reading device
JP4075881B2 (en) 2004-09-30 2008-04-16 コニカミノルタビジネステクノロジーズ株式会社 Image reading device
JP4305351B2 (en) 2004-09-30 2009-07-29 コニカミノルタビジネステクノロジーズ株式会社 Image reading device
JP4244898B2 (en) 2004-09-30 2009-03-25 コニカミノルタビジネステクノロジーズ株式会社 Image reading device
JP4111181B2 (en) 2004-09-30 2008-07-02 コニカミノルタビジネステクノロジーズ株式会社 Image reading device
JP4305369B2 (en) 2004-11-10 2009-07-29 コニカミノルタビジネステクノロジーズ株式会社 Image reading device
JP4854488B2 (en) * 2006-12-06 2012-01-18 キヤノン株式会社 Document reader
JP5110961B2 (en) * 2007-05-15 2012-12-26 キヤノン株式会社 Image reading device
US8089669B2 (en) 2007-10-18 2012-01-03 Kabushiki Kaisha Toshiba Apparatus and control method for image reading, image forming apparatus
JP4591531B2 (en) 2008-03-28 2010-12-01 コニカミノルタビジネステクノロジーズ株式会社 Image reading apparatus and image reading method
JP4640453B2 (en) 2008-06-19 2011-03-02 コニカミノルタビジネステクノロジーズ株式会社 Document reading device, document reading program, and document reading method
JP5020904B2 (en) * 2008-08-05 2012-09-05 株式会社東芝 Image reading apparatus, control method therefor, and image forming apparatus
JP4928597B2 (en) * 2009-01-26 2012-05-09 株式会社東芝 Image reading apparatus, image processing apparatus, image forming apparatus, system thereof, and control method thereof
JP2010171924A (en) * 2009-01-26 2010-08-05 Toshiba Corp Image reader, image forming apparatus and foreign substance detection method of image reader
JP6759662B2 (en) 2016-03-30 2020-09-23 コニカミノルタ株式会社 Image reader, foreign matter detection method and foreign matter detection program on the reading glass surface of the device

Also Published As

Publication number Publication date
JP2002271631A (en) 2002-09-20

Similar Documents

Publication Publication Date Title
JP4051889B2 (en) Image reading device
US7072075B2 (en) Image reader
JP6822096B2 (en) Photoelectric conversion device, photoelectric conversion method and image forming device
JP6849323B2 (en) Image reader and image forming device
JP3941698B2 (en) Pixel correction circuit and pixel correction method
JP3501024B2 (en) Image reading apparatus and image reading method
JP3687405B2 (en) Image reading apparatus and image reading method
JP2004112645A (en) Image reader
JP3721918B2 (en) Image reading device
JPH04275771A (en) Shading data fetching system in picture reader
JP4867564B2 (en) Image reading device
JP2003198813A (en) Image reader, control method thereof, image reading method, and program thereof
JP4656648B2 (en) DIGITAL IMAGING DEVICE, IMAGE READING DEVICE, AND IMAGE FORMING DEVICE
JP4407200B2 (en) Image reading device
JP6645294B2 (en) Image reading device
JP6303504B2 (en) Photoelectric conversion element, image reading apparatus, and image forming apparatus
JP6885078B2 (en) Image reader, image forming device, image processing device, and image processing method
JP2006311293A (en) Image processor
JP7114768B2 (en) Image reading device and image forming device
JP4735534B2 (en) Image processing apparatus, image reading apparatus, and program
JP6737365B2 (en) Image sensor, image reading device, image forming device, and image reading method
JP2002158835A (en) Image-reading device
JPH0927910A (en) Original image reader
JP4303875B2 (en) Solid-state imaging device
JPH11122538A (en) Defective pixel correction device

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050421

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050421

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070613

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070717

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070918

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071113

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071126

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101214

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111214

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111214

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121214

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121214

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131214

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees