JP3947032B2 - Image reading device - Google Patents

Image reading device Download PDF

Info

Publication number
JP3947032B2
JP3947032B2 JP2002111937A JP2002111937A JP3947032B2 JP 3947032 B2 JP3947032 B2 JP 3947032B2 JP 2002111937 A JP2002111937 A JP 2002111937A JP 2002111937 A JP2002111937 A JP 2002111937A JP 3947032 B2 JP3947032 B2 JP 3947032B2
Authority
JP
Japan
Prior art keywords
image
light
data
image data
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002111937A
Other languages
Japanese (ja)
Other versions
JP2003309766A (en
Inventor
洋一 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2002111937A priority Critical patent/JP3947032B2/en
Publication of JP2003309766A publication Critical patent/JP2003309766A/en
Application granted granted Critical
Publication of JP3947032B2 publication Critical patent/JP3947032B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Facsimile Scanning Arrangements (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Studio Devices (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、原稿画像へ光源から照射される光を照射し、その反射又は透過光量を検出し、電気信号に変換する光電変換素子を備え、前記原稿画像の画像データを得る画像読取装置に関するものである。
【0002】
【従来の技術及び発明が解決しようとする課題】
原稿画像、例えばネガフィルムやポジフィルム等フィルムの透過画像へ3原色の光源を照射し、その透過光を撮像素子(例えばCCD)によって読取ることで、画像データを得るフィルムスキャナーにおいて、光源として適用される代表的なものとして、ハロゲンランプ、冷陰極管、LED等が挙げられる。
【0003】
一般に、フィルムに記録された画像のダイナミックレンジ(濃度の幅)は、撮像素子のダイナミックレンジよりも広いため、従来、異なる露光量で撮像し、撮像素子のダイナミックレンジよりも広いダイナミックレンジの画像を撮像する技術(以下先行技術1という)が提案されている(例えば、特開昭62−108678号公報、特許第2919715号公報参照)。
【0004】
ところが、上記先行技術1では、絞り量の調整、照明強度の変更(電流、電圧制御)、光学フィルタ出没等が考えられるが、上記のようなフィルムスキャナーに用いるには、高精度で高速に光量を変化させることが必要であり、光量の精度が保てないという問題がある。
【0005】
なお、上記問題を解決するために、撮像素子の蓄積時間を変えて、複数回の読取を行うことで、広いダイナミックレンジを得る技術(以下、先行技術2という)が提案されていが(一例として特許第3112325号公報参照)、この撮像時間を変えることでのダイナミックレンジの拡大では、撮像素子の蓄積時間に依存した非線形成分(暗電流量、ニー効果によるリニアリティ劣化等)が、合成時の精度を悪化させる可能性がある。
【0006】
本発明は上記事実を考慮し、露光量の変更で撮像素子のダイナミックレンジを広くとり、かつ露光量の変更を迅速かつ精度よく行うことができる画像読取装置を得ることが目的である。
【0007】
【課題を解決するための手段】
請求項1に記載の発明は、原稿画像へ光源から照射される光を照射し、その反射又は透過光量を検出し、電気信号に変換する光電変換素子を備え、前記原稿画像の画像データを得る画像読取装置であって、前記光源の発光光量をパルス幅変調によって調整する光量調整手段と、前記原稿画像に対して、前記光量調整手段を制御して、少なくとも2種類の異なる発光光量で照射する照射制御手段と、前記照射制御手段でのそれぞれの発光光量下において、前記光電変換素子による撮像を実行する撮像制御手段と、前記撮像制御手段で撮像された複数の撮像データに基づいて、前記原稿画像全体の画像データを生成する画像データ生成手段と、をしている。
【0008】
請求項2に記載の発明は、前記請求項1に記載の発明において、前記光源が、LED、或いは有機又は無機ELであることを特徴としている。
【0009】
請求項1記載の発明によれば、原稿画像に光を照射する際に、照射制御手段では、光量調整手段を制御して、少なくとも2種類の異なる発光光量で段階的に照射する。この
撮像制御手段では、前記照射制御手段でのそれぞれの発光光量下において、前記光電変換素子による撮像を実行する。発光光量の変更は、パルス幅変調によって行うため、応答性がよく、また、精度よく行うことができるため、撮像制御手段での撮像時間が大幅に遅延することはない。
【0010】
撮像データ生成手段では、複数の撮像データに基づいて、原稿画像全体の撮像データを生成する。
【0011】
これにより、撮像素子のダイナミックレンジよりも広いダイナミックレンジで原稿画像の濃度情報を得ることができる。例えば、明るい室内と、この室内から見える夜景等を同時の画角で撮影された原稿画像等においても、全ての領域で最適な画像データ(分解能が細かいデータ)を得ることができる。
【0012】
なお、光源には、請求項2に記載のように、LED、或いは有機又は無機ELが適用可能である。
【0013】
請求項3に記載の発明は、前記請求項1又は請求項2に記載の発明において、前記画像データ生成手段が、複数の撮像データの所定の領域毎に、前記撮像素子における飽和レベルよりも低く、かつ最も出力が高いデータを選択して原稿画像全体の画像データを得ることを特徴としている。
【0014】
請求項3に記載の発明によれば、複数の撮像データを得た後、所定の領域毎に、前記撮像素子における飽和レベルよりも低く、かつ最も出力が高いデータを選択して原稿画像全体の画像データを得る。これにより、飽和レベルを超えるようなデータを排除し、また、出力値が高い方がS/N比を向上することができる。
【0015】
請求項4に記載の発明は、前記請求項1又は請求項2に記載の発明において、前記画像データ生成手段が、複数の撮像データの所定の領域毎に、データの重み付けを施して合成し、原稿画像全体の撮像データを得ることを特徴としている。
【0016】
請求項4に記載の発明によれば、同一の領域において、飽和レベルに達していないデータが存在するような場合、それぞれのデータに重み付けを行って合成することで、合成のために生じやすい境界での濃度むらの発生を防止することができる。
【0017】
請求項5に記載の発明は、前記請求項3又は請求項4に記載の発明において、前記所定の領域が、前記撮像素子の読取分解能の最小単位であることを特徴としている。
【0018】
請求項5に記載の発明によれば、所定の領域を撮像素子で読取るときの最小単位、例えば1画素単位とすることで、広いダイナミックレンジで、かつきめ細やかな濃度差を持つ画像データを生成することができる。なお、撮像素子にカラーフィルタを設け、各色毎の3画素単位で1つのデータとするような場合には、この3画素の内の1つの色分解データを基に画像データを選択すればよい。また、原稿画像全体をおおまかに区分して、その区分された領域内で一義的に選択するようにしてもよい。
【0019】
なお、前記請求項1乃至請求項5の何れか1項記載の発明において、前記撮像制御手段による、複数の発光光量下での撮像を実行するか否かを、処理能力及び画質をパラメータとして設定する撮像機能設定手段をさらに有してもよい。
【0020】
すなわち、複数回の撮像を行うことは物理的な撮像時間の遅れは否めない。そこで、処理能力を優先する場合には、従来どおり1回の撮像とし、画質優先の場合には、複数回の撮像を実行するように撮像機能をそれぞれの条件に応じて設定することで、処理能力又は画質の一方に偏った目的効果ではなく、撮像処理に関して総合的にニーズにあった目的効果を得ることができる。
【0021】
【発明の実施の形態】
図1及び図2には、本実施の形態に係る画像読取装置(フィルムスキャナ)10が示されている。
【0022】
本実施の形態で適用される原稿画像は、銀塩写真用フィルム12である。ポジフィルム12は、図示しないカメラに装填され、撮影されることで潜像が記録された後、現像装置(図示省略)で現像処理される。なお、ここでは、記録された画像のダイナミックレンジがより広いポジフィルム(リバーサルフィルム)12を例にとり説明するが、ポジフィルム12に限らず、ネガフィルムや他の透過原稿であってもよい。
【0023】
前記ポジフィルム12は、図2に示される如く、2対の搬送ローラ14、16に挟持されることで、略水平に保持されている。搬送ローラ14、16は、それぞれフィルム搬送系制御部18からの駆動信号により、互いに等速度で回転し、ポジフィルム12を図1及び図2の矢印A方向へ搬送するようになっている。なお、搬送ローラ14、16間において若干の速度差(搬送方向先頭側を若干速くする)を設けたり、搬送方向後方側をワンウェイクラッチ機構を介在させることで、ポジフィルム12を緊張させた状態で搬送させるようにしてもよい。
【0024】
搬送ローラ14、16との間は、読取ステージとされており、この読取ステージにおける下部が発光サイドであり、上部が読取サイドとされ、発光サイドには、LED光源20と光拡散板22とが配設されている。すなわち、LED光源20から照射された光は、光拡散板22を通過して、ポジフィルム12に照射され、その透過光がポジフィルム12を透過して読取サイドへ至るようになっている。なお、光拡散板22は、LED光源20の発光面の保護としての役目も有している。
【0025】
本実施の形態のLED光源20では、RGBの各色に発光するLED発光素子が所定の領域内で分散配置されており、それぞれの色毎に発光することで、カラー画像を読み取ることができる構造となっており、画像読取制御部50からの信号に応じて、発光色が切り替わるようになっている。
【0026】
図1及び図2に示される如く、読取サイドには、集光レンズ42が配設され、前記ポジフィルム12を透過した光を集光する。集光レンズ42の結像点には、CCDエリアセンサ44が配設されており、このCCDエリアセンサ44の読取部44Aによって透過光の濃度が検出されるようになっている。
【0027】
CCDエリアセンサ44は、前記画像読取制御部50のA/D変換部52に接続されており、光電変換された電気信号(濃度データ)がアナログ−デジタル変換される。
【0028】
A/D変換部52は入力データ管理部54に接続されている。入力データ管理部54では、LED光源44を点灯するための駆動信号をLED駆動制御部55へ送出、並びにこのLED光源44の光量を設定するLED光量情報をデューティー指示部56へ送出する役目と、CCDエリアセンサ44からA/D変換部52を介して入力されるデータを第1のメモリ58又は第2のメモリ60に選択的に記憶する役目と、を有している。
【0029】
LED駆動制御部55では、入力データ管理部54からの指示信号並びにフィルム搬送系制御部18からの指示信号に基づいて、LED光源44を点灯させる。また、このLED駆動制御部55では、各色(RGB)毎に順番に点灯するように制御しており、この各色での照射光でのCCDエリアセンサ44による読取値が1セットとなって、A/D変換部52へ送出されるようになっている。
【0030】
ここで、本実施の形態では、LED駆動制御部55に対して、デューティー指示部56からLED駆動時の駆動信号(パルス信号)の2種類のデューティーが指示されるようになっている。一方は、相対的に発光光量を大きくするためのデューティーであり(図3(A)参照)、他方は相対的に発光光量を小さくするためのデューティーである(図3(B)参照)。
【0031】
このデューティーの切替えは、前記入力データ管理部54からの信号で実行される。すなわち、一方のデューティーで発光光量が制御された状態で、前記1セットの読取りが実行され、続いて同一の画像を対象として、他方のデューティーで発光光量が制御された状態で、前記1セットの読取りが実行されるようになっている。
【0032】
入力データ管理部54では、1画像に対して、上記2セットの撮像データが連続して入力されるため、それぞれのセットの撮像データを、第1のメモリ58及び第2のメモリ60に振り分けて記憶するようになっている。
【0033】
上記第1のメモリ58及び第2のメモリ60は、データ生成部62に接続されており、1画像分の撮像データ(2セット分)がそれぞれのメモリ(第1のメモリ58及び第2のメモリ60)に記憶されると、この撮像データを読出し、データ出力部64で出力するための画像データを生成するようになっている。
【0034】
すなわち、撮像データは、前記CCDエリアセンサ44の読取分解能の最小単位である読取画素単位に分解され、同一の画素で読み取ったデータを比較する。この比較は、CCDエリアセンサ44の飽和レベルを超えているか否か、並びに両方とも超えていない場合は、出力値の高い方はどちらか(基本的には発光光量の高い方か否か)が判断されるようになっている。
【0035】
図4には、異なる2種類の発光光量でのCCDエリアセンサ44の出力特性図が示されている。
【0036】
この図4からわかるように、CCDエリアセンサ44の飽和レベルは一定であるが、2種類の出力特性において、飽和レベルを超えるのが光量が大きい方が速い。このため、光量の小さい方が広いダイナミックレンジで画像を読み取ることができる。しかし、この光量の小さい方は、特性がねている(傾きが小さい)ため出力分解能が低い。
【0037】
そこで、本実施の形態では、下限しきい値(ノイズ許容レベルと同一レベル)と上限しきい値(飽和レベルよりも若干低いレベル)とを設け、この下限しきい値と上限しきい値との範囲内であって、かつ重複して読取られた場合には、出力の高い方を選択するようにしている。
【0038】
例えば、図5(A)に示される如く、同一の画像内において、室内等の明るい領域Lと、窓Wから見える夜景等の暗い領域Dとが混在する場合、明るい領域Lでは、ポジフィルム12の場合画像が透過率が高いため、発光光量が少ない側で撮像したものが適用され(図5(B)参照)、逆に暗い領域では、ポジフィルム12の場合透過率が低いため、発光光量が多い側で撮像したものが適用されることになる(図5(C)参照)。
【0039】
なお、上記の領域L、Dは、説明上おおまかに区分したものであり、それぞれの領域の中で画素毎に何れかの画像データが選択されるようになっている。
【0040】
上記のように画素毎に1つの撮像データが選択され、その全てが揃ったものが画像データとし、前記データ出力部64から外部へ送出されるようになっている。
【0041】
出力された画像データは、例えば図示しない画像記録装置へ送出されることで、各種補正が実行された後、印画紙等へデジタル露光され、画像が形成される。
【0042】
以下に本実施の形態の作用を説明する。
【0043】
画像が記録されたポジフィルム12を2対の搬送ローラ14、16に挟持させて1コマ毎に読取ステージへ位置決めする。
【0044】
位置決めが完了すると、画像の読取りが開始される。このとき、当該画像コマに対してフルカラーで画像データを得るため、RGBの各色毎に時系列でCCDエリアセンサ44によって読取るため、まず、LED光源20をR色光とする。
【0045】
光拡散板22では、発光領域の一部で発光しているR色光を、発光領域の全域で均一な光量となるように光を拡散する。
【0046】
この拡散された光が、ポジフィルム12に照射されるため、読取るべき画像の全域に亘り、均一な光量のR色光が照射される。
【0047】
このとき、デュティー指示部56からは、LED駆動部55へ発光光量が小となるデューティー指示信号が送出され、発光光量の小さい状態で照射される。
【0048】
ポジフィルム12の画像を透過したR色光は、集光レンズ42によって集光され、CCDエリアセンサ44の読取部44Aに入力する。これにより、読取部44Aに入射した光は光電変換され、R色光に対応する成分の画像濃度に応じた電気信号(電圧)が、A/D変換部52へ送出される。A/D変換部52では、入力した電気信号をデジタル信号に変換し、デジタル撮像データとして入力データ管理部54へ送出する。
【0049】
入力データ管理部54では、このR色光での撮像データを第1のデータメモリ58のR色光エリアに記憶する。
【0050】
上記R色光による画像読取りが終了すると、続いてG色光、B色光により同様の読取が実行される。
【0051】
これらG色光、B色光も発光光量が小の状態で撮像データが得られ、第1のデータメモリ58のG色光、B色光エリアに記憶される。
【0052】
次に、入力データ管理部54では、発光光量が小の状態での画像読取が終了すると、デューティー指示部56に発光光量切替信号を送出する。この発光光量切替信号を受けたデューティー指示部56では、発光光量が大となるデューティー指示信号が送出される。この結果、LED駆動制御部55では、LED光源20を発光光量が大きい状態で照射するように制御する。
【0053】
LED光源20では、この発光光量が大の状態で、前記R色光、G色光、B色光毎に照射し、それぞれの撮像データを得、A/D変換部52を介して入力データ管理部54へ送出する。
【0054】
入力データ管理部54では、発光光量が大での撮像データを第2のデータメモリ60の各色のエリアに記憶する。
【0055】
上記の読取動作によって、1画像に対して2種類の画像データが存在することになる。
【0056】
データ生成部62では、この2種類の撮像データが揃った時点で、第1のデータメモリ58及び第2のデータメモリ60から各色毎に撮像データを読出し、合成して1つの画像データを生成する。
【0057】
撮像データの合成は、図4に示される如く、CCDエリアセンサ44における受光量−出力特性に基づいて実行される。
【0058】
出力値は、その値が低いとノイズが多く、S/Nが悪い。このため、ノイズ許容レベルを下限しきい値として設定し、この下限しきい値を超えた値を適用する。この場合、発光光量が大の状態で撮像した撮像データの方が、発光光量が小の状態で撮像した撮像データの方が速く下限しきい値を超え、かつ出力(絶対出力)が大きいため、受光量が少ない領域では、第1のメモリ58に記憶された撮像データを適用する。
【0059】
しかし、この発光光量が大の状態で撮像した撮像データは、発光光量が小の状態で撮像した撮像データよりも発光飽和レベルに達するのが速い。これは、ダイナミックレンジとしては狭いことを意味し、画像が持つダイナミックレンジよりも狭いため、高濃度側がつぶれてしまう(分解能がなくなる)ことがあった。
【0060】
そこで、本実施の形態では、所定の受光量で発光光量が小の状態で読み取った撮像データを適用する。この撮像データの切替時期は、飽和レベルよりも若干低い値を上限しきい値として設定し、この上限しきい値に対応する受光量とした。
【0061】
このように発光光量を変更して所定の受光量で適用する撮像データの切替えによって、生成される画像データは、図4の鎖線に示される特性となり、見掛け上、飽和レベルを超えた状態でほぼ一定の分解能で、広いダイナミックレンジに亘り撮像することができる。
【0062】
これにより、CCDエリアセンサ44のダイナミックレンジを拡大することができる。このCCDエリアセンサ44のダイナミックレンジの拡大によって、高濃度側においても所定の分解能を確保することができ、画像が持つダイナミックレンジに近づけることができる。
【0063】
本実施の形態では、発光光量の変更をLED駆動信号(電圧又は電流)のパルス幅変調制御(デューティー制御)によって実行したため、例えば、メカ的な駆動(絞りの調整、光学フィルタの出没等)に起因する応答性の低下がなく、また、発光強度を振幅で(電圧値の振幅又は電流値の振幅)制御することによる不安定な出力値の変動等を防止することができ、精度よく、かつ迅速に広範囲(広いダイナミックレンジ)での撮像が可能となる。
【0064】
以上説明したように本実施の形態では、パルス幅変調制御(デューティー制御)での発光光量が精度よくかつ容易に調整可能なLED光源20を適用し、1つの画像を対象として、少なくとも2種類の発光光量の下で撮像し、この2種類以上の撮像データを合成して、出力するべき画像データを生成するようにした。ポジフィルム12の場合において、夜景等の暗い景色では透過率が低いため、発光光量が大の状態での撮像データを適用する。一方、同じ画像内に明るい部分がある場合、この明るい部分では透過率が高いため、上記のような発光光量が大であると、すぐにCCDエリアセンサ44の飽和レベルを超えてしまう。そこで、明るい部分は発光光量が小の状態での撮像データを適用する。これらを合成することで、画像内の広いダイナミックレンジに対応した画像データを得ることができる(図5参照)。
【0065】
なお、本実施の形態では、所定の受光量で適用する撮像データを切り替えて適用するようにしたが、上限しきい値と下限しきい値の範囲内に2種類の撮像データがある場合において、両者に適宜重み付け処理を施して合成したデータを最終的な画像データとして適用するようにしてもよい。
【0066】
重み付けは、例えば、受光量に依存し、受光量が少ないほど発光光量が大の状態で撮像データの割合を多くし、受光量が多いほど発光光量が小の状態で撮像データの割合を多くするようにすればよい。
【0067】
また、本実施の形態では、撮像素子としてCCDエリアセンサ44を適用したが、CCDラインセンサ等、他の撮像素子を適用した場合でも、同様の効果を得ることができる。
【0068】
さらに、本実施の形態では、原稿画像としてポジフィルム12の画像の読取りを例にとり説明したが、これは、ポジフィルム12の画像がダイナミックレンジが広いためであり、ネガフィルムの画像にも適用可能であり、さらに、白黒画像であってもよい。但し、ネガフィルムの場合、同時プリントを依頼される場合が多く、処理能力を優先する必要がある場合、上記のような1画像に2回の撮像は、処理能力の低下の原因となる。そこで、入力データ管理部54に処理選択部66(図2の想像線参照)を設け、フィルムの種類、或いは注文状況に応じて、手動又は自動で処理能力を優先するか画質を優先するかを判断し、2種類の撮像データの合成処理を行う撮像パターンと、1回の撮像データのみで処理を行う撮像パターンと、を選択するようにしてもよい。
【0069】
また、本実施の形態では、2種類の発光光量の下で撮像を実行したが、3種類以上の発光光量の下で撮像するようにしてもよい。
【0070】
さらに、撮像データの選択を画素毎としたが、複数画素の集まりを群として、群毎に撮像データを選択するようにしてもよい。例えば、図5に示した領域L、Dにおいて、それぞれの領域の中で一義的に何れかの画像データを選択するようにしてもよい。また、CCDエリアセンサ44に3画素を1単位としてRGBのカラーフィルタを装着して、1回の読取で各色毎のデータを得る構成の場合には、1単位を構成する3画素の内の1画素を選択判別対象画素としてもよい。
【0071】
【発明の効果】
以上説明した如く本発明では、露光量の変更で撮像素子のダイナミックレンジを広くとり、かつ露光量の変更を迅速かつ精度よく行うことができるできるという優れた効果を有する。
【図面の簡単な説明】
【図1】本実施の形態に係るフィルムスキャナの斜視図である。
【図2】本実施の形態に係るフィルムスキャナの概略構成図である。
【図3】LED光源を発光させるための駆動信号であり、(A)は発光光量が大の場合のデューティ、(B)は発光光量が小の場合のデューティーを示す。
【図4】CCDエリアセンサの受光量−出力特性図である。
【図5】明るい領域と暗い領域とが混在する場合の画像の正面図である。
【符号の説明】
10 フィルムスキャナ(画像読取装置)
12 ポジフィルム(原稿画像)
14、16 搬送ローラ
18 フィルム搬送系制御部
20 光源
22 光拡散板
42 集光レンズ
44 CCDエリアセンサ(撮像素子)
44A 読取部
50 画像読取制御部
52 A/D変換部
54 入力データ管理部(撮像制御手段)
55 LED駆動制御部(照射制御手段)
56 デューティー指示部(光量調整手段)
58 第1のデータメモリ
60 第2のデータメモリ
62 データ生成部(画像データ生成手段)
64 データ出力部
66 処理選択部(撮像機能設定手段)
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image reading apparatus that includes a photoelectric conversion element that irradiates a document image with light emitted from a light source, detects the amount of light reflected or transmitted, and converts it into an electrical signal, and obtains image data of the document image. It is.
[0002]
[Prior art and problems to be solved by the invention]
It is used as a light source in a film scanner that obtains image data by irradiating a light image of three primary colors onto an original image, for example, a transmitted image of a film such as a negative film or a positive film, and reading the transmitted light with an image sensor (for example, CCD). Typical examples include a halogen lamp, a cold cathode tube, and an LED.
[0003]
In general, the dynamic range (density range) of an image recorded on film is wider than the dynamic range of an image sensor. An imaging technique (hereinafter referred to as Prior Art 1) has been proposed (see, for example, Japanese Patent Application Laid-Open No. 62-108678 and Japanese Patent No. 2919715).
[0004]
However, in the above prior art 1, adjustment of the aperture amount, change of illumination intensity (current and voltage control), optical filter in / out, and the like can be considered. There is a problem that the accuracy of the amount of light cannot be maintained.
[0005]
In order to solve the above problem, a technique for obtaining a wide dynamic range (hereinafter referred to as “prior art 2”) by changing the accumulation time of the image sensor and performing reading a plurality of times has been proposed (as an example). In the enlargement of the dynamic range by changing the imaging time, the nonlinear component (dark current amount, linearity degradation due to knee effect, etc.) depending on the storage time of the imaging device is not accurate. May worsen.
[0006]
In view of the above-described facts, an object of the present invention is to obtain an image reading apparatus that can widen the dynamic range of an image sensor by changing the exposure amount and can change the exposure amount quickly and accurately.
[0007]
[Means for Solving the Problems]
The invention according to claim 1 is provided with a photoelectric conversion element that irradiates the original image with light emitted from a light source, detects the amount of light reflected or transmitted, and converts it into an electric signal, and obtains image data of the original image. In the image reading apparatus, the light amount adjusting unit that adjusts the light emission amount of the light source by pulse width modulation and the light amount adjustment unit are controlled to irradiate the original image with at least two different light emission amounts. Based on a plurality of imaging data captured by the imaging control means, an imaging control means for performing imaging by the photoelectric conversion element under the respective light emission amounts by the irradiation control means, and the original document Image data generating means for generating image data of the entire image.
[0008]
The invention described in claim 2 is characterized in that, in the invention described in claim 1, the light source is an LED or an organic or inorganic EL.
[0009]
According to the first aspect of the present invention, when irradiating light on the document image, the irradiation control unit controls the light amount adjusting unit to irradiate stepwise with at least two different light emission amounts. In this imaging control means, imaging by the photoelectric conversion element is executed under each light emission quantity by the irradiation control means. Since the change in the amount of emitted light is performed by pulse width modulation, the responsiveness is good and can be performed with high accuracy, so that the imaging time in the imaging control means is not significantly delayed.
[0010]
The imaging data generation unit generates imaging data of the entire document image based on the plurality of imaging data.
[0011]
Thereby, it is possible to obtain the density information of the document image in a dynamic range wider than the dynamic range of the image sensor. For example, optimal image data (data with a fine resolution) can be obtained in all areas even in a bright room and a manuscript image or the like taken at the same angle of view of a night view or the like seen from the room.
[0012]
As the light source, an LED or an organic or inorganic EL can be applied as described in claim 2.
[0013]
According to a third aspect of the present invention, in the first or second aspect of the present invention, the image data generation means is lower than a saturation level in the image sensor for each predetermined region of a plurality of image data. In addition, the image data of the entire original image is obtained by selecting the data with the highest output.
[0014]
According to the third aspect of the present invention, after obtaining a plurality of imaging data, for each predetermined area, data lower than the saturation level in the imaging device and having the highest output is selected and the entire document image is selected. Obtain image data. As a result, data that exceeds the saturation level can be eliminated, and a higher output value can improve the S / N ratio.
[0015]
According to a fourth aspect of the present invention, in the invention according to the first or second aspect, the image data generating means performs data weighting for each predetermined region of the plurality of imaging data, It is characterized in that imaging data of the entire original image is obtained.
[0016]
According to the fourth aspect of the present invention, when there is data that has not reached the saturation level in the same region, the boundary that is likely to be generated due to the synthesis is obtained by weighting each data and synthesizing the data. It is possible to prevent the occurrence of unevenness in density.
[0017]
The invention according to claim 5 is the invention according to claim 3 or 4, wherein the predetermined area is a minimum unit of reading resolution of the image sensor.
[0018]
According to the fifth aspect of the present invention, image data having a wide dynamic range and a fine density difference is generated by setting a predetermined area as a minimum unit for reading with an image sensor, for example, one pixel unit. can do. In the case where a color filter is provided in the image sensor and one data is obtained in units of three pixels for each color, image data may be selected based on one color separation data of the three pixels. Alternatively, the entire document image may be roughly divided and selected uniquely within the divided area.
[0019]
Note that in the invention according to any one of claims 1 to 5, whether or not to perform imaging under a plurality of light emission amounts by the imaging control unit is set as a parameter of processing capability and image quality. You may further have an imaging function setting means to do.
[0020]
In other words, performing a plurality of times of imaging cannot deny a delay in physical imaging time. Therefore, when priority is given to the processing capability, the imaging function is set to one time as before, and when priority is given to the image quality, the imaging function is set according to the respective conditions so that the imaging is performed a plurality of times. It is possible to obtain an objective effect that meets the overall needs regarding the imaging processing, not the objective effect that is biased toward either capability or image quality.
[0021]
DETAILED DESCRIPTION OF THE INVENTION
1 and 2 show an image reading apparatus (film scanner) 10 according to the present embodiment.
[0022]
The original image applied in the present embodiment is a silver salt photographic film 12. The positive film 12 is loaded into a camera (not shown), and a latent image is recorded by being photographed. Then, the positive film 12 is developed by a developing device (not shown). Here, a positive film (reversal film) 12 having a wider dynamic range of recorded images will be described as an example. However, the film is not limited to the positive film 12 but may be a negative film or other transparent original.
[0023]
As shown in FIG. 2, the positive film 12 is held substantially horizontally by being sandwiched between two pairs of transport rollers 14 and 16. The transport rollers 14 and 16 are rotated at the same speed with each other by a drive signal from the film transport system control unit 18, and transport the positive film 12 in the direction of arrow A in FIGS. 1 and 2. In addition, in a state where the positive film 12 is tensioned by providing a slight speed difference between the transport rollers 14 and 16 (making the transport direction leading side slightly faster) or by interposing a one-way clutch mechanism on the rear side in the transport direction. You may make it convey.
[0024]
A space between the transport rollers 14 and 16 is a reading stage. A lower portion of the reading stage is a light emitting side, an upper portion is a reading side, and an LED light source 20 and a light diffusion plate 22 are provided on the light emitting side. It is arranged. That is, the light emitted from the LED light source 20 passes through the light diffusion plate 22 and is applied to the positive film 12, and the transmitted light passes through the positive film 12 and reaches the reading side. The light diffusing plate 22 also serves as protection of the light emitting surface of the LED light source 20.
[0025]
In the LED light source 20 of the present embodiment, LED light emitting elements that emit light of each color of RGB are dispersedly arranged in a predetermined area, and a color image can be read by emitting light for each color. The emission color is switched according to the signal from the image reading control unit 50.
[0026]
As shown in FIGS. 1 and 2, a condensing lens 42 is disposed on the reading side, and condenses the light transmitted through the positive film 12. A CCD area sensor 44 is disposed at the image forming point of the condenser lens 42, and the density of transmitted light is detected by the reading unit 44 </ b> A of the CCD area sensor 44.
[0027]
The CCD area sensor 44 is connected to the A / D converter 52 of the image reading controller 50, and the photoelectrically converted electrical signal (density data) is converted from analog to digital.
[0028]
The A / D conversion unit 52 is connected to the input data management unit 54. In the input data management unit 54, a drive signal for turning on the LED light source 44 is sent to the LED drive control unit 55, and LED light quantity information for setting the light quantity of the LED light source 44 is sent to the duty instruction unit 56; And a function of selectively storing data input from the CCD area sensor 44 via the A / D converter 52 in the first memory 58 or the second memory 60.
[0029]
The LED drive control unit 55 turns on the LED light source 44 based on the instruction signal from the input data management unit 54 and the instruction signal from the film transport system control unit 18. Further, the LED drive control unit 55 performs control so that each color (RGB) is turned on in order, and the reading value by the CCD area sensor 44 with the irradiation light of each color becomes one set. It is sent to the / D converter 52.
[0030]
Here, in the present embodiment, the LED drive control unit 55 is instructed from the duty instruction unit 56 for two types of duty of a drive signal (pulse signal) during LED driving. One is a duty for relatively increasing the amount of emitted light (see FIG. 3A), and the other is a duty for relatively decreasing the amount of emitted light (see FIG. 3B).
[0031]
This duty switching is executed by a signal from the input data management unit 54. That is, the one set of reading is executed in a state in which the amount of emitted light is controlled at one duty, and then the amount of emitted light is controlled in the state in which the amount of emitted light is controlled at the other duty for the same image. Reading is to be performed.
[0032]
In the input data management unit 54, since the two sets of imaging data are continuously input for one image, the respective sets of imaging data are distributed to the first memory 58 and the second memory 60. It comes to memorize.
[0033]
The first memory 58 and the second memory 60 are connected to a data generation unit 62, and image data for one image (for two sets) are stored in the respective memories (the first memory 58 and the second memory). 60), the imaged data is read out and image data to be output by the data output unit 64 is generated.
[0034]
That is, the imaging data is decomposed into reading pixel units which are the minimum unit of reading resolution of the CCD area sensor 44, and the data read by the same pixels are compared. This comparison is based on whether or not the saturation level of the CCD area sensor 44 is exceeded, and if both are not exceeded, whichever has the higher output value (basically, the light emission quantity is higher). It has come to be judged.
[0035]
FIG. 4 shows an output characteristic diagram of the CCD area sensor 44 at two different types of light emission amounts.
[0036]
As can be seen from FIG. 4, the saturation level of the CCD area sensor 44 is constant, but in the two types of output characteristics, the larger the amount of light, the faster the saturation level is exceeded. Therefore, an image can be read with a wider dynamic range when the amount of light is smaller. However, the smaller the light quantity, the lower the output resolution because the characteristics are distorted (the inclination is small).
[0037]
Therefore, in the present embodiment, a lower limit threshold value (the same level as the noise allowable level) and an upper limit threshold value (a level slightly lower than the saturation level) are provided, and the lower limit threshold value and the upper limit threshold value are If it is within the range and is read redundantly, the higher output is selected.
[0038]
For example, as shown in FIG. 5A, when a bright region L such as a room and a dark region D such as a night view seen from the window W are mixed in the same image, the positive film 12 is used in the bright region L. In this case, since the image has high transmittance, the image captured on the side where the amount of emitted light is small is applied (see FIG. 5B). Conversely, in the dark region, the transmittance is low in the case of the positive film 12, and thus the amount of emitted light. The image picked up on the side where there is a lot is applied (see FIG. 5C).
[0039]
The regions L and D are roughly divided for the sake of explanation, and any one of the image data is selected for each pixel in each region.
[0040]
As described above, one piece of imaging data is selected for each pixel, and all of them are set as image data and sent out from the data output unit 64 to the outside.
[0041]
The output image data is sent to an image recording apparatus (not shown), for example, and after various corrections are performed, it is digitally exposed on photographic paper or the like to form an image.
[0042]
The operation of this embodiment will be described below.
[0043]
The positive film 12 on which an image is recorded is sandwiched between two pairs of transport rollers 14 and 16 and positioned on the reading stage for each frame.
[0044]
When positioning is completed, reading of an image is started. At this time, in order to obtain full-color image data for the image frame and read by the CCD area sensor 44 in time series for each color of RGB, first, the LED light source 20 is set to R color light.
[0045]
The light diffusing plate 22 diffuses the R-color light emitted from a part of the light emitting region so that the amount of light is uniform throughout the light emitting region.
[0046]
Since the diffused light is applied to the positive film 12, a uniform amount of R color light is applied over the entire area of the image to be read.
[0047]
At this time, a duty instruction signal for reducing the amount of emitted light is sent from the duty instruction unit 56 to the LED drive unit 55, and irradiation is performed in a state where the amount of emitted light is small.
[0048]
The R color light transmitted through the image on the positive film 12 is collected by the condenser lens 42 and input to the reading unit 44 </ b> A of the CCD area sensor 44. Thereby, the light incident on the reading unit 44A is photoelectrically converted, and an electric signal (voltage) corresponding to the image density of the component corresponding to the R color light is sent to the A / D conversion unit 52. The A / D conversion unit 52 converts the input electrical signal into a digital signal and sends the digital signal to the input data management unit 54 as digital imaging data.
[0049]
The input data management unit 54 stores the imaging data with the R color light in the R color light area of the first data memory 58.
[0050]
When the image reading with the R color light is completed, the same reading is subsequently performed with the G color light and the B color light.
[0051]
These G color light and B color light are also obtained in a state where the amount of emitted light is small and stored in the G color light and B color light areas of the first data memory 58.
[0052]
Next, the input data management unit 54 sends a light emission amount switching signal to the duty instruction unit 56 when image reading in a state where the light emission amount is small is completed. In response to the light emission amount switching signal, the duty instruction unit 56 sends a duty instruction signal that increases the light emission amount. As a result, the LED drive control unit 55 performs control so that the LED light source 20 is irradiated with a large amount of emitted light.
[0053]
The LED light source 20 irradiates each of the R color light, the G color light, and the B color light in a state in which the amount of emitted light is large, obtains respective image data, and sends it to the input data management unit 54 via the A / D conversion unit 52. Send it out.
[0054]
In the input data management unit 54, image data with a large amount of emitted light is stored in each color area of the second data memory 60.
[0055]
By the above reading operation, two types of image data exist for one image.
[0056]
In the data generation unit 62, when these two types of imaging data are prepared, the imaging data is read out for each color from the first data memory 58 and the second data memory 60, and is combined to generate one image data. .
[0057]
The combination of the imaging data is executed based on the received light amount-output characteristic in the CCD area sensor 44, as shown in FIG.
[0058]
When the output value is low, there is a lot of noise and the S / N is bad. For this reason, the allowable noise level is set as the lower threshold, and a value exceeding this lower threshold is applied. In this case, the image data captured with a large amount of emitted light is faster than the image data captured with a small amount of emitted light, and the output (absolute output) is larger. In an area where the amount of received light is small, the imaging data stored in the first memory 58 is applied.
[0059]
However, the imaging data imaged with the large amount of emitted light reaches the light emission saturation level faster than the imaging data imaged with the small amount of emitted light. This means that the dynamic range is narrow, and since the dynamic range of the image is narrower, the high density side may be crushed (resolution is lost).
[0060]
Therefore, in the present embodiment, imaging data read with a predetermined amount of received light and a small amount of emitted light is applied. As the switching timing of the imaging data, a value slightly lower than the saturation level is set as the upper threshold, and the received light amount corresponding to the upper threshold is set.
[0061]
By switching the imaging data to be applied at a predetermined received light amount by changing the amount of emitted light in this way, the generated image data has the characteristics shown by the chain line in FIG. 4 and is apparently almost in a state exceeding the saturation level. Imaging can be performed over a wide dynamic range with a constant resolution.
[0062]
Thereby, the dynamic range of the CCD area sensor 44 can be expanded. By expanding the dynamic range of the CCD area sensor 44, a predetermined resolution can be secured even on the high density side, and the dynamic range of the image can be brought close to.
[0063]
In the present embodiment, the change in the amount of emitted light is performed by the pulse width modulation control (duty control) of the LED drive signal (voltage or current), and thus, for example, mechanical drive (adjustment of the diaphragm, appearance of the optical filter, etc.) There is no decrease in the responsiveness caused by this, and it is possible to prevent unstable fluctuations in the output value by controlling the emission intensity with the amplitude (the amplitude of the voltage value or the amplitude of the current value). Imaging in a wide range (wide dynamic range) can be performed quickly.
[0064]
As described above, in the present embodiment, the LED light source 20 that can adjust the amount of light emitted by the pulse width modulation control (duty control) accurately and easily is applied, and at least two types of images are targeted. An image is taken under the amount of emitted light, and the two or more types of image data are combined to generate image data to be output. In the case of the positive film 12, since the transmittance is low in a dark scene such as a night view, image data in a state where the amount of emitted light is large is applied. On the other hand, when there is a bright portion in the same image, the transmittance is high in the bright portion. Therefore, if the amount of emitted light is large, the saturation level of the CCD area sensor 44 is quickly exceeded. Therefore, image data with a small amount of emitted light is applied to bright portions. By combining these, image data corresponding to a wide dynamic range in the image can be obtained (see FIG. 5).
[0065]
In the present embodiment, the imaging data to be applied with a predetermined amount of received light is switched and applied. However, when there are two types of imaging data within the range of the upper threshold and the lower threshold, You may make it apply the data which gave weighting processing to both suitably and was combined as final image data.
[0066]
The weighting depends on, for example, the amount of received light. The smaller the amount of received light, the larger the ratio of image data when the amount of emitted light is larger, and the higher the amount of received light, the larger the ratio of image data when the amount of emitted light is small. What should I do?
[0067]
In the present embodiment, the CCD area sensor 44 is applied as the image sensor, but the same effect can be obtained even when another image sensor such as a CCD line sensor is applied.
[0068]
Furthermore, in the present embodiment, an example of reading an image on the positive film 12 as an original image has been described. However, this is because the image on the positive film 12 has a wide dynamic range, and can be applied to an image on a negative film. Furthermore, it may be a black and white image. However, in the case of a negative film, there are many cases where simultaneous printing is requested, and when it is necessary to give priority to the processing capability, the above-described imaging twice for one image causes a reduction in processing capability. Therefore, a processing selection unit 66 (see the imaginary line in FIG. 2) is provided in the input data management unit 54 to determine whether to prioritize processing power or image quality manually or automatically according to the type of film or order status. It is also possible to select and select an imaging pattern that performs a combination process of two types of imaging data and an imaging pattern that performs processing using only one imaging data.
[0069]
Further, in the present embodiment, imaging is performed under two types of light emission amounts, but imaging may be performed under three or more types of light emission amounts.
[0070]
Furthermore, although the selection of the imaging data is performed for each pixel, the imaging data may be selected for each group by taking a group of a plurality of pixels as a group. For example, in the areas L and D shown in FIG. 5, any one of the image data may be selected uniquely in each area. Further, in the case of a configuration in which an RGB color filter is attached to the CCD area sensor 44 as one unit and data for each color is obtained by one reading, one of the three pixels constituting one unit is obtained. The pixel may be a selection determination target pixel.
[0071]
【The invention's effect】
As described above, the present invention has an excellent effect that the dynamic range of the image pickup device can be widened by changing the exposure amount, and the exposure amount can be changed quickly and accurately.
[Brief description of the drawings]
FIG. 1 is a perspective view of a film scanner according to an embodiment.
FIG. 2 is a schematic configuration diagram of a film scanner according to the present embodiment.
FIGS. 3A and 3B are drive signals for causing an LED light source to emit light. FIG. 3A shows a duty when the amount of emitted light is large, and FIG. 3B shows a duty when the amount of emitted light is small.
FIG. 4 is a light reception amount-output characteristic diagram of a CCD area sensor.
FIG. 5 is a front view of an image when a bright region and a dark region coexist.
[Explanation of symbols]
10 Film scanner (image reading device)
12 Positive film (original image)
14, 16 Transport roller 18 Film transport system controller 20 Light source 22 Light diffusing plate 42 Condensing lens 44 CCD area sensor (imaging device)
44A Reading unit 50 Image reading control unit 52 A / D conversion unit 54 Input data management unit (imaging control means)
55 LED drive control unit (irradiation control means)
56 Duty indication part (light quantity adjustment means)
58 First data memory 60 Second data memory 62 Data generation unit (image data generation means)
64 Data output unit 66 Process selection unit (imaging function setting means)

Claims (5)

原稿画像へ光源から照射される光を照射し、その反射又は透過光量を検出し、電気信号に変換する光電変換素子を備え、前記原稿画像の画像データを得る画像読取装置であって、
前記光源の発光光量をパルス幅変調によって調整する光量調整手段と、
前記原稿画像に対して、前記光量調整手段を制御して、少なくとも2種類の異なる発光光量で照射する照射制御手段と、
前記照射制御手段でのそれぞれの発光光量下において、前記光電変換素子による撮像を実行する撮像制御手段と、
前記撮像制御手段で撮像された複数の撮像データに基づいて、前記原稿画像全体の画像データを生成する画像データ生成手段と、
を有する画像読取装置。
An image reading apparatus that includes a photoelectric conversion element that irradiates a document image with light emitted from a light source, detects a reflected or transmitted light amount, and converts the light into an electrical signal, and obtains image data of the document image,
A light amount adjusting means for adjusting a light emission amount of the light source by pulse width modulation;
An irradiation control unit that controls the light amount adjusting unit to irradiate the original image with at least two different light emission amounts;
Imaging control means for performing imaging by the photoelectric conversion element under each light emission amount in the irradiation control means;
Image data generating means for generating image data of the entire document image based on a plurality of imaging data imaged by the imaging control means;
An image reading apparatus.
前記光源が、LED、或いは有機又は無機ELであることを特徴とする請求項1記載の画像読取装置。The image reading apparatus according to claim 1, wherein the light source is an LED or an organic or inorganic EL. 前記画像データ生成手段が、複数の撮像データの所定の領域毎に、前記撮像素子における飽和レベルよりも低く、かつ最も出力が高いデータを選択して原稿画像全体の画像データを得ることを特徴とする請求項1又は請求項2記載の画像読取装置。The image data generating means selects image data of a whole document image by selecting data having a highest output and lower than a saturation level in the image sensor for each predetermined region of a plurality of image data. The image reading apparatus according to claim 1 or 2. 前記画像データ生成手段が、複数の撮像データの所定の領域毎に、データの重み付けを施して合成し、原稿画像全体の画像データを得ることを特徴とする請求項1又は請求項2記載の画像読取装置。3. The image according to claim 1, wherein the image data generation means obtains image data of the entire original image by combining the weighted data for each predetermined area of the plurality of image data. Reader. 前記所定の領域が、前記撮像素子の読取分解能の最小単位であることを特徴とする請求項3又は請求項4記載の画像読取装置。The image reading apparatus according to claim 3, wherein the predetermined area is a minimum unit of reading resolution of the image sensor.
JP2002111937A 2002-04-15 2002-04-15 Image reading device Expired - Fee Related JP3947032B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002111937A JP3947032B2 (en) 2002-04-15 2002-04-15 Image reading device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002111937A JP3947032B2 (en) 2002-04-15 2002-04-15 Image reading device

Publications (2)

Publication Number Publication Date
JP2003309766A JP2003309766A (en) 2003-10-31
JP3947032B2 true JP3947032B2 (en) 2007-07-18

Family

ID=29394595

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002111937A Expired - Fee Related JP3947032B2 (en) 2002-04-15 2002-04-15 Image reading device

Country Status (1)

Country Link
JP (1) JP3947032B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7705910B2 (en) 2005-12-19 2010-04-27 Funai Electric Co., Ltd. Photographic device for obtaining a plurality of images at a time by rolling shutter method
JP5933211B2 (en) * 2011-09-27 2016-06-08 株式会社Screenホールディングス Nozzle shading method and inkjet printing apparatus using the same
CN107454350B (en) * 2017-08-25 2020-06-09 电子科技大学 Pulse width modulation type image sensor circuit and processing method thereof

Also Published As

Publication number Publication date
JP2003309766A (en) 2003-10-31

Similar Documents

Publication Publication Date Title
US6751349B2 (en) Image processing system
JP4083760B2 (en) Method and apparatus for adjusting white balance
US20050046739A1 (en) System and method using light emitting diodes with an image capture device
US7570883B2 (en) Image pickup method and apparatus with ISO sensitivity setting variable
JP2006287323A (en) Imaging apparatus
JPH0773335B2 (en) Photoelectric conversion device
JP4834425B2 (en) IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD
JP4735051B2 (en) Imaging device
JP3947032B2 (en) Image reading device
JP4285668B2 (en) Imaging apparatus, exposure control method thereof, and recording medium
JP2001189890A (en) Digital camera
JPH11191871A (en) Image processor
JPH1188898A (en) Image reader
JP4335648B2 (en) Digital camera and imaging method of digital camera
JP2006332936A (en) Imaging apparatus
US6724949B1 (en) Image reading apparatus and image reading method
JP2000092383A (en) Image input device, image input method, method for adjusting transmission filter, method for measuring transmission filter and image output method
JPH1023324A (en) Image pickup device
WO2003001796A1 (en) Image pickup apparatus and image pickup method
JP2006243003A (en) Imaging apparatus
JP4054263B2 (en) Imaging device and imaging condition setting method for imaging device
JP2006166320A (en) Digital camera with gradation distribution correcting function
JP4479021B2 (en) Digital still camera
JP2002218478A (en) Method for controlling auto white balance for digital camera and digital camera
JP2000358141A (en) Image reader and image read method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050204

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20061208

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070326

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070410

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070412

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110420

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120420

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130420

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130420

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140420

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees