JP5267239B2 - 画像読み取り装置、画像読み取り方法、画像読み取りプログラム及び記録媒体 - Google Patents

画像読み取り装置、画像読み取り方法、画像読み取りプログラム及び記録媒体 Download PDF

Info

Publication number
JP5267239B2
JP5267239B2 JP2009062142A JP2009062142A JP5267239B2 JP 5267239 B2 JP5267239 B2 JP 5267239B2 JP 2009062142 A JP2009062142 A JP 2009062142A JP 2009062142 A JP2009062142 A JP 2009062142A JP 5267239 B2 JP5267239 B2 JP 5267239B2
Authority
JP
Japan
Prior art keywords
halation
image data
brightness
pixels
line image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009062142A
Other languages
English (en)
Other versions
JP2010171913A (ja
Inventor
孝則 稲留
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2009062142A priority Critical patent/JP5267239B2/ja
Priority to US12/711,620 priority patent/US8390902B2/en
Priority to CN201010135557A priority patent/CN101841626A/zh
Publication of JP2010171913A publication Critical patent/JP2010171913A/ja
Application granted granted Critical
Publication of JP5267239B2 publication Critical patent/JP5267239B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/401Compensating positionally unequal response of the pick-up or reproducing head
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/024Details of scanning heads ; Means for illuminating the original
    • H04N1/028Details of scanning heads ; Means for illuminating the original for picture information pick-up
    • H04N1/02815Means for illuminating the original, not specific to a particular type of pick-up head
    • H04N1/02885Means for compensating spatially uneven illumination, e.g. an aperture arrangement
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/024Details of scanning heads ; Means for illuminating the original
    • H04N1/028Details of scanning heads ; Means for illuminating the original for picture information pick-up
    • H04N1/02815Means for illuminating the original, not specific to a particular type of pick-up head
    • H04N1/02845Means for illuminating the original, not specific to a particular type of pick-up head using an elongated light source, e.g. tubular lamp, LED array
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/024Details of scanning heads ; Means for illuminating the original
    • H04N1/028Details of scanning heads ; Means for illuminating the original for picture information pick-up
    • H04N1/03Details of scanning heads ; Means for illuminating the original for picture information pick-up with photodetectors arranged in a substantially linear array
    • H04N1/0301Details of scanning heads ; Means for illuminating the original for picture information pick-up with photodetectors arranged in a substantially linear array using a bent optical path between the scanned line and the photodetector array, e.g. a folded optical path
    • H04N1/0303Details of scanning heads ; Means for illuminating the original for picture information pick-up with photodetectors arranged in a substantially linear array using a bent optical path between the scanned line and the photodetector array, e.g. a folded optical path with the scanned line and the photodetector array lying in non-parallel planes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/04Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa
    • H04N1/10Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using flat picture-bearing surfaces
    • H04N1/1013Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using flat picture-bearing surfaces with sub-scanning by translatory movement of at least a part of the main-scanning components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077Types of the still picture apparatus
    • H04N2201/0081Image reader

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Facsimile Scanning Arrangements (AREA)
  • Image Input (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Facsimiles In General (AREA)

Description

本発明は、画像読み取り装置、画像読み取り方法、画像読み取りプログラム及び記録媒体に関し、詳細には、ハレーションに適切に対応して高品質な画像を読み取る画像読み取り装置、画像読み取り方法、画像読み取りプログラム及び記録媒体に関する。
スキャナ装置、複写装置、複合装置等の画像読み取り装置においては、従来、原稿に読み取り光を照射する光源として、キセノン(Xe)ランプや冷陰極管ランプ等の連続するライン状の読み取り光を、原稿台上の原稿に出射することのできる線光源が用いられてきた。
ところが、このような従来用いられていた光源は、径時劣化によって光量の変化が大きく、メンテナンスが大変であるとともに、寿命が比較的短く、価格も比較的高価である。
また、透明の原稿台上の原稿に該原稿台を通して原稿に読み取り光を照射する場合、原稿台から原稿が浮いている状態で該原稿に読み取り光を照射して読み取ると、ある部分だけ原稿濃度が高くなる(読み取り画像が白くなる)といういわゆるハレーションが発生する。
そして、近年、より低コスト、長寿命で制御が容易なLED(Light Emitting Diode)が原稿読み取り用の光源として用いられるようになってきている。
ところが、点状発光素子であるLEDを光源として用いる場合、一般的に、LEDを主走査方向にアレイ状に実装した光源基板が用いられているが、このようなアレイ状にLED素子を配列した光源を用いると、従来のキセノン(Xe)ランプのような線光源の場合とは異なり、図12に示すように、原稿の特定のラインにおいて、LEDの配列ピッチに対応した位置での光強度が強くなって、点々と画像が白飛びした異常画像が発生する。このような白飛び状のハレーションは、読み取り対象の原稿として本を開いた状態でコンタクトガラスに置いた場合に、綴じ代部分のようにガラス面から浮いた状態の原稿を読み取った際に発生しやすい現象であり、また、光沢のある原稿の方が、白飛び状のハレーション現象が顕著になる傾向にある。すなわち、この点状ハレーション現象が発生する理由は、綴じ代近傍の湾曲部分で正反射した光が読み取り光の光軸上に入射して強度の強い反射光となることによる。
そこで、従来、透明体上に載置された読み取り対象の原稿に、該透明体を介して照射する発光素子の発光方向として、異常画像部分の発生要因となる一部の光を、該透明体で全面反射させる方向に設置することで、または、所定の原稿に到達させない遮光部材を設けることで、ハレーションを抑制する技術が提案されている(特許文献1参照)。
しかしながら、上記従来技術にあっては、読み取り光の一部を、原稿の載置される透明体で全面反射すること、または、遮光部材で遮光することで、ハレーションの抑制を図っているため、読み取り対象の原稿に照射される読み取り光の光量が低下して効率が悪くなるとともに、部品点数が増加して、コストが高くなるという問題があった。
そこで、本発明は、点状発光素子を列状に並べた光源を用いた場合の白飛び状のハレーション画像を補正して、安価に高品質の読み取り画像を得ることのできる画像読み取り装置、画像読み取り方法、画像読み取りプログラム及び記録媒体を提供することを目的としている。
記目的を達成するため、本発明の画像読み取り装置は、読み取り対象の原稿の載置される透明の原稿台と、主走査方向に列状に配列され前記原稿台を通して原稿に読み取り光を照射する複数の点状発光素子を有する光源手段と、原稿からの読み取り光の反射光を光電変換して主走査方向のライン画像データを出力する光電変換手段と、前記光電変換手段の出力するライン画像データに対してハレーション発生の有無を検出するハレーション検出手段と、前記ハレーション検出手段が検出したハレーションの発生しているライン画像データの全画素の画素値を所定の画素値に補正する補正手段と、を備え、前記補正手段は、前記ハレーションの発生しているラインにおけるハレーション非発生画素の明度を算出して全ての該ハレーション非発生画素の平均明度を求め、該ハレーションの発生しているライン画像データの全画素の明度のみを該平均明度に補正することを特徴とる。
また、本発明の画像読み取り方法は、光源手段により、主走査方向に列状に配列されている複数の点状発光素子から透明の原稿台を通して読み取り対象の原稿に読み取り光を照射する光照射処理ステップと、光電変換手段により、前記読み取り光の原稿での反射光を光電変換して主走査方向のライン画像データを出力する光電変換処理ステップと、ハレーション検出手段により、前記光電変換処理ステップで出力されるライン画像データに対してハレーション発生の有無を検出するハレーション検出処理ステップと、補正手段により、前記ハレーション検出処理ステップで検出されたハレーションの発生しているライン画像データの全画素の画素値を所定の画素値に補正する補正処理ステップと、を有し、前記補正処理ステップでは、前記ハレーションの発生しているラインにおけるハレーション非発生画素の明度を算出して全ての該ハレーション非発生画素の平均明度を求め、該ハレーションの発生しているライン画像データの全画素の明度のみを該平均明度に補正することを特徴とする
に、本発明の画像読み取りプログラムは、コンピュータにより実行させるための画像読み取りプログラムであって、光源手段により、主走査方向に列状に配列されている複数の点状発光素子から透明の原稿台を通して読み取り対象の原稿に読み取り光を照射する光照射処理の手順と、光電変換手段により、前記読み取り光の原稿での反射光を光電変換して主走査方向のライン画像データを出力する光電変換処理の手順と、ハレーション検出手段により、前記光電変換処理で出力される画像データに基づいてライン画像データに対してハレーション発生の有無を検出するハレーション検出処理の手順と、補正手段により、前記ハレーション検出処理で検出されたハレーションの発生しているライン画像データの全画素の画素値を所定の画素値に補正する補正処理の手順と、を有し、前記補正処理の手順では、前記ハレーションの発生しているラインにおけるハレーション非発生画素の明度を算出して全ての該ハレーション非発生画素の平均明度を求め、該ハレーションの発生しているライン画像データの全画素の明度のみを該平均明度に補正することを特徴とする
加えて、本発明の記録媒体は、上記画像読み取りプログラムを記録したことを特徴とする
本発明によれば、検出されたハレーションの発生しているライン画像データの全画素の画素値を補正手段で所定の画素値に補正する際、ハレーションの発生しているラインにおけるハレーション非発生画素の明度を算出して全てのハレーション非発生画素の平均明度を求め、ハレーションの発生しているライン画像データの全画素の明度のみを平均明度に補正するため、点状発光素子を列状に並べた光源を用いた場合の白飛び状のハレーション画像を補正して安価に高品質の読み取り画像を得ることができる。
本発明の一実施例を適用した画像読み取り装置の概略構成図。 画像読み取りユニットの詳細な構成図。 画像処理装置の要部ブロック構成図。 画像読み取りユニットによるブックモードでの正常時の原稿読み取り状態を示す図。 画像読み取りユニットによるブックモードでのハレーション発生時の原稿読み取り状態を示す図。 ハレーションが発生しているラインの画像データの一例を示す図。 ハレーションが発生している副走査方向の画像データの一例を示す図。 画像読み取り処理を示すフローチャート。 ハレーション検出処理を示すフローチャート。 ハレーション補正処理を示すフローチャート。 他のハレーション補正処理を示すフローチャート。 LED光源を用いたときのハレーション画像の一例を示す写真。
以下、本発明の好適な実施例を添付図面に基づいて詳細に説明する。なお、以下に述べる実施例は、本発明の好適な実施例であるので、技術的に好ましい種々の限定が付されているが、本発明の範囲は、以下の説明によって不当に限定されるものではなく、また、本実施の形態で説明される構成の全てが本発明の必須の構成要件ではない。
図1〜図11は、本発明の画像読み取り装置、画像読み取り方法、画像読み取りプログラム及び記録媒体の一実施例を示す図であり、図1は、本発明の画像読み取り装置、画像読み取り方法、画像読み取りプログラム及び記録媒体の一実施例を適用した画像読み取り装置1の概略構成図である。
図1において、画像読み取り装置1は、本体筐体2の上部に原稿読み取り台3が設けられており、原稿読み取り台3には、透明の原稿台であるコンタクトガラス10(図2参照)が配設されている。原稿読み取り台3の上部は、開閉可能な原稿押さえ板4が設けられており、原稿押さえ板4は、原稿読み取り台3上にセットされた原稿G(図4、図5参照)を原稿読み取り台3のコンタクトガラス10に密着させるように押さえつける。
図1の本体筐体2の左側上部には、ADF(Auto Document Feeder:自動給紙装置)5が配設されており、本体筐体2内部の原稿読み取り台3の下方には、画像読み取りユニット6が図1にスキャン方向として矢印で示す左右方向(副走査方向)に移動可能に配設されている。
ADF5は、図示しないが、複数枚の原稿の載置される原稿台、原稿台上の原稿Gの有無を検出する原稿有無検出センサ、原稿搬送機構及び排紙トレイ等を備えている。ADF5は、原稿台上の複数枚の原稿Gを原稿搬送機構で1枚ずつ原稿読み取り台3の読み取り位置に搬送し、読み取りの完了した原稿Gを排紙トレイに排出する。
また、ADF5は、原稿押さえ板4と一体構造となっており、原稿押さえ板4を開く際、ADF5も一緒に開閉動作される。
原稿読取台3には、図2に示すように、コンタクトガラス10よりもADF5側に、シェーディング補正用の白基準板11と透明の原稿台であるADF用ガラス12が配設されている。
画像読み取りユニット6は、図2に示すように、ユニットケース20、LED基板21、LED22、反射板23、ミラー24、レンズ25、CCD(Charge Coupled Device )26及びSBU(Sensor Board Unit)27等を備えており、ユニットケース20の上面部(原稿読み取り台3側の面部)には、透明ガラス28が取り付けられている。
LED(点状発光素子)22は、LED基板21に実装されており、複数のLED22が、LED基板21にライン状に実装されている。LED22は、通電されることで、その電流値に応じた光量の読み取り光を原稿Gに照射する光源である。LED22から出射された読み取り光は、反射板23により透明ガラス28を通して、原稿読み取り台3方向に反射され、コンタクトガラス10またはADF用ガラス12を通してコンタクトガラス10上またはADF用ガラス12上の原稿Gに照射される。原稿Gに照射された読み取り光は、原稿Gで反射されてミラー24により、レンズ25方向に反射され、レンズ25によりCCD26に集光される。また、LED22から出射された読み取り光は、白基準板11に照射され、白基準板11で反射された読み取り光は、ミラー24により、レンズ25方向に反射されて、レンズ25によりCCD26に集光される。CCD(光電変換手段)26は、入射光を光電変換してアナログの画像信号を出力する。
そして、画像読み取り装置1は、図3に示すように、上記画像読み取りユニット6、AFE(Analog Front End)31、ハレーション検出部32、画像処理部33、CPU(Central Processing Unit )34、駆動制御部35及びモータ36等を備えているとともに、図示しないROM(Read Only Memory)やRAM(Random Access Memory)等を備えており、駆動制御部35は、CCD/AFE制御部41、モータ制御部42及びLED制御部43等を備えている。
CPU34は、ROM内に格納されているプログラムに基づいてRAMをワークメモリとして利用して、画像読み取り装置1の各部を制御して、画像読み取り装置1としての基本処理を実行するとともに、本発明の画像読み取り処理を実行する。
すなわち、画像読み取り装置1は、ROM、EEPROM(Electrically Erasable and Programmable Read Only Memory )、EPROM、フラッシュメモリ、フレキシブルディスク、CD−ROM(Compact Disc Read Only Memory )、CD−RW(Compact Disc Rewritable )、DVD(Digital Video Disk)、SD(Secure Digital)カード、MO(Magneto-Optical Disc)等のコンピュータが読み取り可能な記録媒体に記録されている本発明の画像読み取り方法を実行する画像読み取りプログラムを読み込んで図示しないROMやハードディスク等に導入することで、後述する読み取り画像データにハレーションが発生しているか検出して、ハレーションが発生していると、該読み取り画像データを補正する画像読み取り方法を実行する画像読み取り装置1として構築されている。この画像読み取りプログラムは、アセンブラ、C、C++、C#、Java(登録商標)等のレガシープログラミング言語やオブジェクト指向ブログラミング言語等で記述されたコンピュータ実行可能なプログラムであり、上記記録媒体に格納して頒布することができる。
画像読み取りユニット6は、上述のように、LED22から出射した読み取り光を、コンタクトガラス10またはADF用ガラス12を通して原稿Gに照射、または、白基準板11に照射して、原稿Gは白基準板11で反射された反射光をCCD26に導入し、CCD26で光電変換して、アナログの画像信号をAFE31に出力する。
AFE31は、画像読み取りユニット6のCCD26から入力されるアナログの画像データを、デジタル画像データに変換し、また、暗オフセットレベルの調整及び明出力調整を行う。
ハレーション検出部(ハレーション検出手段、比較手段、判断手段、発光素子異常検出手段)32は、CPU34の制御下で動作して、AFE31が出力するデジタル画像データからハレーション発生有無を検出するハレーション検出処理と、読み取り光源として配置された複数のLED22の主走査方向における位置関係と、ハレーションにより出力レベルが局所的に高くなった画素位置の関係からLED22の故障検出を行う故障検出処理と、を行って、画像データを画像処理部33に出力する。
画像処理部(補正手段)33は、CPU34の制御下で動作して、AFE31でデジタル変換されたデジタル画像データに対してハレーション補正、暗出力補正、シェーディング補正、γ補正等の各種画像処理を施して、後段の処理部に出力、例えば、ハードディスクに格納、画像データ転送部に出力、あるいは、プリンタ部に出力等を行うとともに、ハレーションの発生しているライン画像データの全画素を所定の画素値に補正する。
CCD/AFE制御部41は、CPU34の制御下で、CCD26及びAFE31に駆動信号を出力して、CCD26及びAFE31の動作を制御する。モータ制御部42は、モータ36の駆動を制御し、モータ36は、画像読み取りユニット6を主走査方向(スキャン方向)に移動させ、また、AFE5の原稿搬送を行うモータを総称したものである。
LED制御部43は、CPU34の制御下で、LED制御信号をLED22に出力し、LED22の点灯制御を行う。
次に、本実施例の作用を説明する。本実施例の画像読み取り装置1は、ライン状に複数個配列されたLED22から読み取り光を原稿Gに照射してその反射光を光電変換して読み取った原稿画像データにハレーションが発生しているかをライン単位で検出して、ハレーションが発生していると、該ラインの画像データを補正する。
すなわち、画像読み取り装置1は、ADF5を用いて原稿Gの画像読み取るADF読み取りモードでは、ADF5の原稿台上に複数枚の原稿Gがセットされると、まず、LED制御部43の制御下でLED22を点灯させて、白基準板11の読み取りを行った後、モータ制御部42によってモータ36を駆動させる。次に、画像読み取り装置1は、画像読み取りユニット6をADF用ガラス12の下方のADF読み取り位置に移動させ、ADF5用のモータ36を駆動させて、ADF5の原稿台にセットされた複数枚の原稿Gを1枚ずつ分離して、ADF用ガラス12の読み取り位置まで搬送する。このとき、原稿Gは一定速度で搬送され、画像読み取りユニット6は停止したままである。画像読み取りユニット6は、LED22から該搬送される原稿Gに読み取り光を照射して、該原稿Gで反射された反射光をミラー24で反射して、レンズ25を通してCCD26に入射させ、CCD26で光電変換して、原稿Gの画像を読み取る。
また、画像読み取り装置1は、コンタクトガラス10上に固定的にセットされた原稿Gの画像データを読み取るブックモードでは、原稿押さえ板4を開いてコンタクトガラス10上に原稿Gがセットされると、LED制御部43の制御下でLED22を点灯させて、まず、白基準板11の読み取りを行って、シェーディング補正用の基準データを取得し、その後、モータ36を駆動させて、画像読み取りユニット6を、スキャン方向(副走査方向)に移動して、コンタクトガラス10上の原稿Gの画像を読み取る。このとき、画像読み取り装置1は、画像読み取りユニット6を、図1に示すスキャン領域に渡って移動させて、コンタクトガラス10上の原稿Gの画像を読み取る。
画像読み取り装置1は、画像読み取りユニット6で原稿Gの画像を読み取ったアナログの画像信号を、CCD26からADF31に出力し、AFE31でデジタル変換してハレーション検出部32に出力する。
そして、特に、ブックモードでは、コンタクトガラス10上にセットされた原稿Gが、図4に示すように、平面原稿Gであると、コンタクトガラス10に平面原稿Gが密接して、画像読み取りユニット6によって適切に平面原稿Gの画像を読み取ることができる。ところが、コンタクトガラス10上にセットされる原稿Gが、図5に示すように、開いた本がコンタクトガラス10上にセットされたときに綴じ代部分等のようにコンタクトガラス10の面上から浮いた状態となる部分のある立体原稿Gであると、コンタクトガラス10に立体原稿Gの読み取り面が密接していないため、綴じ代等のコンタクトガラス10面から浮いた部分で読み取り光の正反射が発生し、立体原稿Gに照射された読み取り光が強度の強い正反射成分として読み取り光の光軸上にそのまま入射されて、CCD26で読み取った画像が、点状発光素子であるLED22の配列ピッチに相当する位置に局部的に光り強度が強くなった画像となる。
このハレーションの発生しているときの画像データは、主走査方向1ラインにおいて、図6に示すように、所定間隔で信号レベルがハレーション検知閾値よりも高くなる。このような白飛び状のハレーション画像データは、上述のように、LED22の配置ピッチに相当する画素間隔で、ハレーション検知閾値よりも光強度の強い入射光がCCD26に入射することによって発生する。
そして、このようなLED22を読み取り光源として用いた場合、点々と主走査方向に光り強度が強くなって点々と画像が白飛びした異常画像となる。また、このようなハレーションは、光沢のある原稿Gほど顕著に発生する。
また、ハレーションが発生しているときの画像データは、副走査方向においては、図7に示すように、ハレーションの発生しているライン部分で信号レベルが高くなり、ハレーションの発生しているライン部分から離れるに従って信号レベルが低くなる。
なお、ハレーションは、上述のように、コンタクトガラス10上の原稿Gを読み取る場合に発生しやすいが、ADF用ガラス12上を搬送される原稿Gを読み取る場合にも発生するおそれがある。そこで、本実施例で説明するハレーションの影響を抑制する処理は、コンタクトガラス10上の原稿Gを読み取る場合だけでなく、ADF用ガラス12上を搬送される原稿Gを読み取る場合にも同様に適用することができる。
そこで、本実施例の画像読み取り装置1は、AFE31でデジタル変換した画像データを画像処理部33で必要な画像処理を行うが、画像処理部33で画像処理を行う前に、AFE31がデジタル変換した画像データに対して、ハレーション検出部32において、ハレーション発生有無を検出して、ハレーションが発生していると、画像処理部33で、ハレーション補正処理を行った後、通常の画像処理を行う。
すなわち、画像読み取り装置1は、図8に示すように、原稿Gの読み取りを開始すると(ステップS101)、CPU34は、画像読み取りユニット6からAFE31を介してハレーション検出部32に入力された1ライン分のデジタルの画像データに対してハレーション検出部32にハレーション発生の有無の検出を行わせ(ステップS102)、ハレーション検出部32がハレーションの発生を検出しないときには、画像処理部33に必要な画像処理を行わせて(ステップS103)、原稿終端かチェックする(ステップS104)。
ステップS104で、原稿終端でないときには、CPU34は、ステップS102に戻って、次のライン画像データに対して、ハレーション発生の有無の判定から上記同様に処理し(ステップS102〜S104)、ステップS102で、ハレーション検出部32が、ハレーションが発生していることを検出すると、画像処理部33にハレーション補正処理を行わせる(ステップS105)。CPU34は、画像処理部33にハレーション補正処理を行わせると、通常の必要な画像処理を行わせて(ステップS103)、原稿終端かチェックし(ステップS104)、原稿終端でないときには、ステップS102に戻って、上記同様に処理する(ステップS102〜S105)。ステップS104で、原稿終端であると、CPU34は、画像読み取り処理を終了する。
そして、ハレーション検出部32は、上記ステップS102でのハレーション検出処理を、図9に示すように実行する。すなわち、ハレーション検出部32は、AFE31から入力される1ラインの画像データに予め設定されている閾値以上の画像データ(画素データ)があるか否かを画素毎にチェックする(ステップS201)。この閾値は、検出対象のデータ値(画素値)にハレーションが発生している可能性があるか否かの判断基準となるデータ値(画素値)であり、予め画像読み取り装置1の特性等に基づいて設定されてハレーション検出部32の内部の不揮発性メモリ等に格納されている。
ステップS201で、閾値以上の画像データがないときには、ハレーション検出部32は、該ライン画像データにハレーションが発生していないと判断して、該ライン画像データに対するハレーション検出処理を終了する。
ステップS201で、閾値以上の画像データがあると、ハレーション検出部32は、該閾値以上の画像データの各画素位置を検出して内部メモリ等に記憶し(ステップS202)、該閾値以上の画像データの各画素位置を、予め内部の不揮発性メモリ等に格納されているLED22の主走査方向の配置位置と比較して、閾値以上の画素位置がLED22の主走査方向の配置位置と一致するか否かによって、該閾値以上の画像データがLED22によって発生しているハレーションによるものであるか判断する(ステップS203)。
ステップS203で、ハレーションでないと判断すると、ハレーション検出部32は、該ライン画像データに対するハレーション検出処理を終了し、ハレーションであると判断すると、該画像データを画像処理部33に出力するとともに、CPU34にハレーション発生を通知して、CPU34が、画像処理部33にハレーション補正処理を行わせる(ステップS204)。
CPU34は、図8のハレーション補正処理及び図9のハレーション補正処理を、図10に示すように、画像処理部33に実行させる。
すなわち、画像処理部33は、ハレーション検出部32からハレーションが発生していると判断されて入力されるライン画像データの全画素に対して、その明度を計算して、該ライン画像データでの最大明度値を検出する(ステップS301)。そして、画像処理部33は、該ハレーションが発生していると判断して明度を算出したライン画像データの全画素に対して、色相をそのまま維持した状態で、その明度を、算出した該最大明度に補正することでハレーション補正を行う(ステップS302)。すなわち、点状の複数のLED22によって発生している点々と画像が白飛びした異常画像状態を、ライン状の明度の高い画像に補正することで、人間の見た画像として、異常画像と判定しにくい画像に補正している。
また、図8のハレーション補正処理及び図9のハレーション補正処理においては、例えば、図11に示すように、ハレーションの発生しているライン画像データの全画素を、該ライン画像データのうち、ハレーションの発生していない画素の画像データの平均明度(ハレーション非発生画素の明度の平均値)に補正してもよい。
すなわち、画像処理部33は、ハレーション検出部32からハレーションが発生していると判断されて入力されるライン画像データ(ハレーション発生ライン画像データ)のうち、図6に示したハレーション検知閾値未満の画像データ値を有する全ての画素の画像データ(ハレーションの発生していない画素の画像データ:ハレーション非発生画素の画像データ)の明度の総和を算出し、該ハレーション非発生画素の明度の総和を該ハレーション非発生画素数で除算して、全てのハレーション非発生画素における明度の平均値(平均明度)を求める(ステップS401)。
すなわち、ハレーション検出部32は、図6に示したように、検出対象ラインの画像データを画素毎に閾値(ハレーション検知閾値)と比較して、該画像データのデータ値が閾値を超えている画像データの画素位置がLED22の主走査方向の配置位置と一致性を有しているか否かによって検出対象ラインのハレーション発生の有無を判断している。そして、画像処理部33は、ハレーション検出部32によってハレーションが発生していると判断されたライン画像データのうち、ハレーション検出部32によって該閾値を下回っていると判断された画素(ハレーション非発生画素)の画像データの明度を算出するとともに、全てのハレーション非発生画素の明度の総和を算出し、該ハレーション非発生画素における画像データの明度の総和を該ハレーション非発生画素数で除算して、ハレーション発生ラインにおけるハレーション非発生画素の平均明度を算出する。
画像処理部33は、該ハレーションが発生していると判断して、ハレーション非発生画素の平均明度を算出すると、該ハレーション発生ラインの画像データの全画素に対して、色相をそのまま維持した状態で、その明度を、算出した該平均明度に補正することでハレーション補正を行う(ステップS402)。すなわち、点状の複数のLED22によって発生している点々と画像が白飛びした異常画像状態を、同じラインのハレーションの発生していない画素の平均明度の画像に補正することで、人間の見た画像として、異常画像と判定しにくい画像に補正している。
このように、本実施例の画像読み取り装置1は、主走査方向に列状に配列されている複数の点状発光素子であるLED22からコンタクトガラス10またはADF用ガラス12を通して読み取り対象の原稿Gに読み取り光を照射して、該読み取り光の原稿Gでの反射光をCCD26で光電変換してライン画像データを出力し、ハレーション検出部32で該ライン画像データに対してハレーション発生の有無を検出して、画像処理部33で、検出されたハレーションの発生しているライン画像データの全画素を所定の画素値に補正している。
したがって、LED22を列状に並べた点光源を用いた場合の白飛びとなるハレーション画像を補正して、安価に高品質の読み取り画像を得ることができる。
また、本実施例の画像読み取り装置1は、ハレーション検出部32が、画像データの各画素の画素値を所定の閾値と比較し、該閾値を越える画素値の画素位置とLED22の主走査方向位置が全てまたは所定部分で一致するか否かでハレーション発生の有無を判断している。
したがって、ハレーションの発生の有無を適切かつ容易に検出することができ、安価に高品質の読み取り画像を得ることができる。
さらに、本実施例の画像読み取り装置1は、画像処理部33が、ハレーションの発生しているライン画像データの全画素の明度を算出して、全画素の明度のみを所定明度に補正している。
したがって、ハレーションの発生しているラインの画像データの全画素の明度のみを適切な明度に補正することができ、ハレーションを適切に除去することができる。
また、本実施例の画像読み取り装置1は、画像処理部33が、ハレーションの発生しているライン画像データの全画素の明度を算出して最大明度を検出し、該ライン画像データの全画素の明度のみを該最大明度の画素に補正している。
したがって、ハレーションの発生しているライン画像データを簡単かつ容易にライン状(線状)のハレーション状態に補正することができ、画像の異常状態を簡単に抑制して、画像品質を安価にかつ容易に向上させることができる。
さらに、本実施例の画像読み取り装置1は、画像処理部33が、ハレーションの発生しているライン画像データにおけるハレーションが発生していない画素の明度の平均値を算出し、該ハレーションが発生しているライン画像データの全画素の明度を、該平均値に補正している。
したがって、ハレーションの発生しているライン画像データを、簡単かつ容易に人の目に与える刺激を抑制した状態に補正することができ、画像品質を安価にかつ容易により一層向上させることができる。
また、ハレーション検出部32は、図9のステップS203でのハレーション判断処理において、画像データに基づいてライン毎に前LED22の異常の有無を検出してもよい。
このようにすると、安価にLED22の異常を安価かつ適切に検出することができ、画像品質をより一層向上させることができる。
この場合、ハレーション検出部32は、画像データの各画素の画素値を予め不揮発性メモリ等に格納されている所定の閾値と比較し、該閾値を越える画素値の画素位置とLED22の主走査方向位置が全てまたは所定部分で一致するか否かでLED22の異常発生の有無を判断してもよい。
このようにすると、LED22の異常を安価かつより一層適切に検出することができ、画像品質をより一層向上させることができる。


以上、本発明者によってなされた発明を好適な実施例に基づき具体的に説明したが、本発明は上記実施例で説明したものに限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。
本発明は、LED等の点状光源をライン状に配列した光源を用いて原稿の読み取りを行うスキャナ装置、複写装置、複合装置等の画像読み取り装置、画像読み取り方法、画像読み取りプログラム及び記録媒体に利用することができる。
1 画像読み取り装置
2 本体筐体
3 原稿読み取り台
4 原稿押さえ板
5 ADF
6 画像読み取りユニット
10 コンタクトガラス
11 白基準板
12 ADF用ガラス
20 ユニットケース
21 LED基板
22 LED
23 反射板
24 ミラー
25 レンズ
26 CCD
27 SBU
31 AFE
32 ハレーション検出部
33 画像処理部
34 CPU
35 駆動制御部
36 モータ
41 CCD/AFE制御部
42 モータ制御部
43 LED制御部
特開2007−212949号公報

Claims (13)

  1. 読み取り対象の原稿の載置される透明の原稿台と、
    主走査方向に列状に配列され前記原稿台を通して原稿に読み取り光を照射する複数の点状発光素子を有する光源手段と、
    原稿からの読み取り光の反射光を光電変換して主走査方向のライン画像データを出力する光電変換手段と、
    前記光電変換手段の出力するライン画像データに対してハレーション発生の有無を検出するハレーション検出手段と、
    前記ハレーション検出手段が検出したハレーションの発生しているライン画像データの全画素の画素値を所定の画素値に補正する補正手段と、を備え
    前記補正手段は、前記ハレーションの発生しているラインにおけるハレーション非発生画素の明度を算出して全ての該ハレーション非発生画素の平均明度を求め、該ハレーションの発生しているライン画像データの全画素の明度のみを該平均明度に補正することを特徴とする画像読み取り装置。
  2. 前記ハレーション検出手段は、
    前記ライン画像データの各画素の画素値を所定の閾値と比較する比較手段と、
    前記閾値を越える画素値の画素位置と前記点状発光素子の主走査方向位置が全てまたは所定部分で一致するか否かによってハレーション発生の有無を判断する判断手段と、
    を備えていることを特徴とする請求項1記載の画像読み取り装置。
  3. 前記点状発光素子は、LEDであることを特徴とする請求項1または請求項2記載の画像読み取り装置。
  4. 前記補正手段は、前記ハレーションの発生しているライン画像データの全画素の明度を算出し、前記明度の算出結果に基づいて前記ライン画像データの全画素の明度のみを所定明度に補正することを特徴とする請求項1から請求項3のいずれか1項に記載の画像読み取り装置。
  5. 前記補正手段は、前記ハレーションの発生しているライン画像データの全画素の明度を算出して最大明度を検出し、前記ハレーションの発生しているライン画像データの全画素の明度のみを前記最大明度に補正することを特徴とする請求項1から請求項3のいずれか1項に記載の画像読み取り装置。
  6. 前記光電変換手段の出力するライン画像データに基づいて前記点状発光素子の異常の有無を検出する発光素子異常検出手段を備えていることを特徴とする請求項1から請求項のいずれか1項に記載の画像読み取り装置。
  7. 前記発光素子異常検出手段は、
    前記ライン画像データの各画素の画素値を所定の閾値と比較する比較手段と、
    前記閾値を越える画素値の画素位置と前記点状発光素子の主走査方向位置が全てまたは所定部分で一致するか否かによって点状発光素子の異常発生の有無を判断する異常判断手段と、
    を備えていることを特徴とする請求項6記載の画像読み取り装置。
  8. 光源手段により、主走査方向に列状に配列されている複数の点状発光素子から透明の原稿台を通して読み取り対象の原稿に読み取り光を照射する光照射処理ステップと、
    光電変換手段により、前記読み取り光の原稿での反射光を光電変換して主走査方向のライン画像データを出力する光電変換処理ステップと、
    ハレーション検出手段により、前記光電変換処理ステップで出力されるライン画像データに対してハレーション発生の有無を検出するハレーション検出処理ステップと、
    補正手段により、前記ハレーション検出処理ステップで検出されたハレーションの発生しているライン画像データの全画素の画素値を所定の画素値に補正する補正処理ステップと、を有し、
    前記補正処理ステップでは、前記ハレーションの発生しているラインにおけるハレーション非発生画素の明度を算出して全ての該ハレーション非発生画素の平均明度を求め、該ハレーションの発生しているライン画像データの全画素の明度のみを該平均明度に補正することを特徴とする画像読み取り方法
  9. 前記ハレーション検出処理ステップは、
    前記ライン画像データの各画素の画素値を所定の閾値と比較する比較処理ステップと、
    前記閾値を越える画素値の画素位置と前記点状発光素子の主走査方向位置が全てまたは所定部分で一致するか否かによってハレーション発生の有無を判断する判断処理ステップと、
    を有ることを特徴とする請求項8記載の画像読み取り方法。
  10. 前記補正処理ステップは、前記ハレーションの発生しているライン画像データの全画素の明度を算出し、前記明度の算出結果に基づいて前記ライン画像データの全画素の明度のみを所定明度に補正することを特徴とする請求項8または請求項9記載の画像読み取り方法。
  11. 前記補正処理ステップは、前記ハレーションの発生しているライン画像データの全画素の明度を算出して最大明度を検出し、前記ハレーションの発生しているライン画像データの全画素の明度のみを前記最大明度に補正することを特徴とする請求項または請求項記載の画像読み取り方法。
  12. コンピュータにより実行させるための画像読み取りプログラムであって、
    光源手段により、主走査方向に列状に配列されている複数の点状発光素子から透明の原稿台を通して読み取り対象の原稿に読み取り光を照射する光照射処理の手順と、
    光電変換手段により、前記読み取り光の原稿での反射光を光電変換して主走査方向のライン画像データを出力する光電変換処理の手順と、
    ハレーション検出手段により、前記光電変換処理で出力される画像データに基づいてライン画像データに対してハレーション発生の有無を検出するハレーション検出処理の手順と、
    補正手段により、前記ハレーション検出処理で検出されたハレーションの発生しているライン画像データの全画素の画素値を所定の画素値に補正する補正処理の手順と、を有し、
    前記補正処理の手順では、前記ハレーションの発生しているラインにおけるハレーション非発生画素の明度を算出して全ての該ハレーション非発生画素の平均明度を求め、該ハレーションの発生しているライン画像データの全画素の明度のみを該平均明度に補正することを特徴とする画像読み取りプログラム。
  13. 請求項12記載の画像読み取りプログラムを記録したことを特徴とするコンピュータが読取可能な記録媒体
JP2009062142A 2008-12-26 2009-03-14 画像読み取り装置、画像読み取り方法、画像読み取りプログラム及び記録媒体 Expired - Fee Related JP5267239B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2009062142A JP5267239B2 (ja) 2008-12-26 2009-03-14 画像読み取り装置、画像読み取り方法、画像読み取りプログラム及び記録媒体
US12/711,620 US8390902B2 (en) 2008-12-26 2010-02-24 Image scanning apparatus and image scanning method
CN201010135557A CN101841626A (zh) 2009-03-14 2010-03-10 图像读取设备、方法、程序及记录媒介

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008331739 2008-12-26
JP2008331739 2008-12-26
JP2009062142A JP5267239B2 (ja) 2008-12-26 2009-03-14 画像読み取り装置、画像読み取り方法、画像読み取りプログラム及び記録媒体

Publications (2)

Publication Number Publication Date
JP2010171913A JP2010171913A (ja) 2010-08-05
JP5267239B2 true JP5267239B2 (ja) 2013-08-21

Family

ID=42748282

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009062142A Expired - Fee Related JP5267239B2 (ja) 2008-12-26 2009-03-14 画像読み取り装置、画像読み取り方法、画像読み取りプログラム及び記録媒体

Country Status (3)

Country Link
US (1) US8390902B2 (ja)
JP (1) JP5267239B2 (ja)
CN (1) CN101841626A (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4757340B2 (ja) 2009-10-30 2011-08-24 シャープ株式会社 照明装置、その照明装置を備える画像読取り装置、その画像読取り装置を備える画像形成装置
JP5585255B2 (ja) * 2010-07-13 2014-09-10 富士ゼロックス株式会社 画像読み取り装置
JP5418791B2 (ja) * 2011-03-02 2014-02-19 カシオ計算機株式会社 画像加工装置、画像加工方法及びプログラム
JP2018037714A (ja) 2016-08-29 2018-03-08 セイコーエプソン株式会社 スキャンシステムおよび画像データの生成方法
CN111460844B (zh) * 2020-04-17 2023-05-09 支付宝(杭州)信息技术有限公司 一种对扫码设备的定位灯光进行检测的方法、装置及设备

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2589298B2 (ja) * 1987-01-28 1997-03-12 キヤノン株式会社 符号化画像データの復号化装置
US4775104A (en) * 1987-08-07 1988-10-04 Chris Harkins Mixing and spray directing device
DE69219910T2 (de) * 1991-01-09 1997-09-11 Dainippon Screen Mfg Lichtstrahlabtastsystem
US5678132A (en) * 1994-04-26 1997-10-14 Canon Kabushiki Kaisha Image density detection adjustment device
US5652952A (en) * 1994-09-20 1997-07-29 Mita Industrial Co., Ltd. Method of adjusting density detecting device used for image forming apparatus
JP3785520B2 (ja) * 1997-03-19 2006-06-14 コニカミノルタホールディングス株式会社 電子カメラ
CN1156741C (zh) * 1998-04-16 2004-07-07 国际商业机器公司 手写汉字识别方法及装置
US6545703B1 (en) * 1998-06-26 2003-04-08 Pentax Corporation Electronic endoscope
US7257273B2 (en) * 2001-04-09 2007-08-14 Mingjing Li Hierarchical scheme for blur detection in digital image using wavelet transform
US6548800B2 (en) * 2001-04-09 2003-04-15 Microsoft Corporation Image blur detection methods and arrangements
JP4077716B2 (ja) * 2002-11-20 2008-04-23 オリンパス株式会社 内視鏡挿入方向検出装置
US7538916B2 (en) * 2004-02-26 2009-05-26 Ricoh Company, Ltd. Document lighting device, image reader, color document reader, and image forming device
JP2005277581A (ja) * 2004-03-23 2005-10-06 Fuji Xerox Co Ltd 画像読み取り装置
US7561186B2 (en) * 2004-04-19 2009-07-14 Seiko Epson Corporation Motion blur correction
JP4625279B2 (ja) * 2004-07-09 2011-02-02 株式会社リコー 照明装置、画像読取装置及び画像形成装置
JP4992197B2 (ja) * 2005-05-10 2012-08-08 トヨタ自動車株式会社 暗視装置
JP2007118194A (ja) * 2005-10-24 2007-05-17 Fuji Xerox Co Ltd プリントヘッドの点灯量調整方法、プリントヘッドの点灯量調整装置
JP4894247B2 (ja) * 2005-11-30 2012-03-14 富士ゼロックス株式会社 画像読取装置
JP4989903B2 (ja) 2006-02-13 2012-08-01 株式会社リコー 照明装置、画像読取装置、および画像形成装置
JP2007306078A (ja) * 2006-05-09 2007-11-22 Toshiba Corp 画像読取装置、画像読取方法
JP4965961B2 (ja) * 2006-10-12 2012-07-04 キヤノン株式会社 画像形成装置
JP2008193374A (ja) * 2007-02-05 2008-08-21 Ricoh Co Ltd 照明装置、画像読取装置、画像形成装置
JP4654208B2 (ja) * 2007-02-13 2011-03-16 日立オートモティブシステムズ株式会社 車載用走行環境認識装置
US8081355B2 (en) * 2007-03-05 2011-12-20 Ricoh Company, Ltd. Illumination unit, image read apparatus, image formation apparatus
JP4972432B2 (ja) * 2007-03-08 2012-07-11 株式会社リコー 照明ユニット、画像読取装置及び画像形成装置
JP2008227961A (ja) * 2007-03-13 2008-09-25 Ricoh Co Ltd 照明ユニットおよびそれを用いた画像読取装置,画像形成装置
JP5032864B2 (ja) * 2007-03-05 2012-09-26 株式会社リコー 照明ユニット、画像読取装置及び画像形成装置
JP4423322B2 (ja) * 2007-09-11 2010-03-03 シャープ株式会社 シート搬送装置並びに原稿読取装置及び画像形成装置
JPWO2009107487A1 (ja) * 2008-02-25 2011-06-30 三菱電機株式会社 動きぼやけ検出装置及び方法、画像処理装置、並びに画像表示装置

Also Published As

Publication number Publication date
US8390902B2 (en) 2013-03-05
CN101841626A (zh) 2010-09-22
US20100231989A1 (en) 2010-09-16
JP2010171913A (ja) 2010-08-05

Similar Documents

Publication Publication Date Title
JP5244952B2 (ja) イメージセンサユニット、及び、画像読取装置
US8253992B2 (en) Image copier and image copying method
US9888142B2 (en) Image scanning apparatus
JP5267239B2 (ja) 画像読み取り装置、画像読み取り方法、画像読み取りプログラム及び記録媒体
US8824026B2 (en) Image reading apparatus and image reading head
JPWO2010125693A1 (ja) 画像読み取り装置、画像形成装置、画像読み取り方法、画像形成方法、画像読み取り方法を実行させるためのプログラム及び画像形成方法を実行させるためのプログラム
US9930212B2 (en) Image reading device generating black correction data for shade correction based on intermediate data acquired at different positions in the sub-scanning direction
JP6175655B2 (ja) 画像読取装置
US20040125412A1 (en) Image reading apparatus
JP5220088B2 (ja) 原稿読取装置および画像処理方法
US10122885B2 (en) Image reading device
JP5212157B2 (ja) 画像読取装置、故障検知方法、プログラム及び記録媒体
JP4497836B2 (ja) 画像読取装置及びその制御方法及びプログラム
JP2005094214A (ja) 画像読取り装置および同装置のシェーディング補正方法
JP5423267B2 (ja) 画像読取装置、画像読取方法、プログラム及び記録媒体
JP2013150175A (ja) 画像読み取り装置、画像形成装置及び白レベル黒レベルの取得方法
JP2005020049A (ja) 画像読み取り装置
JP2004222180A (ja) 画像処理装置
JP2010219965A (ja) 画像読取装置及びそれを備えた画像形成装置
JP2014086803A (ja) 原稿読取装置
JP5910002B2 (ja) 画像読み取り装置、原稿サイズ検出方法及び原稿サイズ検出プログラム
JP2006246048A (ja) 画像処理装置
JP2007243588A (ja) 画像読取装置及び画像読取方法
JP6500855B2 (ja) 画像読取装置及び画像形成装置
JP2023003470A (ja) 画像読取装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20120302

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20120302

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120706

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130110

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130122

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130313

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130409

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130422

LAPS Cancellation because of no payment of annual fees