JP4463962B2 - 画像処理システム、画像処理装置、画像処理方法及び記憶媒体 - Google Patents

画像処理システム、画像処理装置、画像処理方法及び記憶媒体 Download PDF

Info

Publication number
JP4463962B2
JP4463962B2 JP2000299221A JP2000299221A JP4463962B2 JP 4463962 B2 JP4463962 B2 JP 4463962B2 JP 2000299221 A JP2000299221 A JP 2000299221A JP 2000299221 A JP2000299221 A JP 2000299221A JP 4463962 B2 JP4463962 B2 JP 4463962B2
Authority
JP
Japan
Prior art keywords
image
image data
image processing
computer
gamma
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000299221A
Other languages
English (en)
Other versions
JP2002112035A5 (ja
JP2002112035A (ja
Inventor
謙悟 絹村
勉 高山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2000299221A priority Critical patent/JP4463962B2/ja
Priority to US09/961,421 priority patent/US6999213B2/en
Priority to CNB01135335XA priority patent/CN1199435C/zh
Publication of JP2002112035A publication Critical patent/JP2002112035A/ja
Priority to US11/180,522 priority patent/US7978384B2/en
Publication of JP2002112035A5 publication Critical patent/JP2002112035A5/ja
Application granted granted Critical
Publication of JP4463962B2 publication Critical patent/JP4463962B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Controls And Circuits For Display Device (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は画像処理システム、画像処理装置、画像処理方法及び記憶媒体に関する。
【0002】
【従来の技術】
従来から画像読み取り装置によって得られる画像信号をホストコンピュータに転送するに際し画像読み取り装置とホストコンピュータとからなるシステムによって種々の画像処理、特にホストコンピュータのモニタディスプレイ上に画像を階調性豊かに表示するためのガンマ補正等が行なわれていた。
【0003】
【発明が解決しようとする課題】
まず、本発明の課題を理解しやすくするために、本発明の対比例として考えられる例として、主に画像読み取り装置本体で上述の画像処理を行う構成例を図2に示す。
【0004】
同図において、1はCCD、2は光電変換されたアナログ電気信号をデジタル信号に変換するA/Dコンバータ、3はRGB各色が混同して送られてきた信号を各色ごとに分けるためのラインオフセット、8aは3のラインオフセットのためのメモリとなるRAM、4は3原色信号から輝度信号および色差信号を形成するためのマトリックス回路、5はRGB信号をモニタ表示に合わせて指数変換(以下「ガンマ補正」という)するガンマ補正回路を有するルックアップテーブル(以下「LUT」という)、8bはLUTのためのメモリとなるRAM、6は外部PC7に画像信号を出力するためのインターフェース回路(以下「I/F」という)、8cはI/FのためのメモリとなるRAMを示している。
【0005】
画像読取装置から出力される画像は、画像読取装置とホストとなるPC7との間のケーブルの転送速度の制限や、処理をするPC7の処理能力の制限などにより、その画像のサイズが大きすぎると処理速度の大幅な低下の原因となりうる。
【0006】
また、一般にPC7に設けられるディスプレイで表示できる画像の階調数が通常8bitまでであるので、画像読取装置からPC7へは8bitの階調で画像を送っている。
【0007】
1のCCDから送られたアナログ信号はA/Dコンバータ2によりA/D変換される際に通常12〜16bitの階調に変換される。次いでラインオフセット3により、混同して送られてきたRGB各色が各色ごとに分けられ、マトリックス回路4により処理され、LUT5で12〜16→8bitに変換され、7のPCへと送られる。
【0008】
一方、上記画像処理の多くをPC側で行う方法を図3の構成例に示す。
【0009】
同図21のCCDで読み取られた信号をA/Dコンバータ22によりA/D変換し、外部に出力するためのI/F23を介してPC28へ送る。PC28の内部ではラインオフセット24により前述と同様のラインオフセット処理を行った後、マトリックス回路25によりマトリックス変換を行い、LUT26でガンマ補正を行い、画像を表示する。
【0010】
この構成例においては、CCD21により光電変換され、得られた信号は通常8bitにA/D変換される。そしてI/F23を介してPC28に送られLUT26に到るまで全て8bitで処理が行われる。
【0011】
しかしながら、図2の構成例を用いた場合、RAMを画像読取装置本体に3個持つことになり、コストアップにつながるという問題点があった。
【0012】
一方、図3の構成例を用いた場合には、以下に説明する階調落ちという問題がある。
【0013】
係る理由を説明する。図3の構成例において、LUT26はディスプレイのガンマ特性に合わせて画像読取装置からの出力データに対して逆ガンマを施しておく必要がある(WindowsをPC のOSとして使う場合は標準ではγ=1/2.2のガンマカーブをかける。従って以降の説明ではWindows OSを標準としてガンマ1/2.2を用いて述べる)。ガンマ1/2.2をかける時の、8bitの場合のダーク部(0〜80/256)の入力レベルに対する出力レベルを計算すると、図5のようになる。同図は上段の入力レベルに対して入力(8,12,16bit)→出力(8bit)各場合の出力レベルを表す。
【0014】
図3の構成例では同図LUT26の前後は共に8bitなので、図5の▲1▼の場合と考えられ、1/2.2の逆ガンマをかける時の入力をnとすると、256×(n/256)(1/2.2)の計算で出力が求められる。つまりこの構成では1レベルの信号が入力されても、2.2のガンマ係数をかけると出力は21になってしまう。それゆえに1レベル以上のどの値が入力されても、0〜20レベルの出力値を発生することが不可能ということになる。同様に2レベルの信号が入力されると図5にあるように出力は28になる。言い換えると図3の構成例に示すように入出力8bitの画像に1/2.2のガンマ係数をかけると、特にダークレベル周辺で図4のヒストグラムの例に示すように出力値が0〜20レベルの間ではデータが発生せず、いわゆる階調落ちが発生するという問題がある。
【0015】
説明が前後したが、図4において横軸は出力レベル値を示し、縦軸は与えられた画像の一画面分における各出力レベル値の発生度数である。尚、前記図2の構成では、同図におけるLUT5の入力は12〜16bit、出力は8bitのため、入出力がいずれも8bitである前記図3の構成例に比べて図5の▲2▼▲3▼の例からわかるとおり、▲1▼の場合に比べて比較的階調飛びが起こりにくいと言えるが、RAMが3個とコストが高くなる問題がある。一方、前記図3の構成例では画像読取装置本体に搭載するRAMの個数が1個と少ないので、コストは前記図2の構成例に比べて低く抑えることが可能となるが、上記の通り階調飛びが発生する。また、同図において画像読取装置本体からPCへ信号を送る際に8bitでなく12〜16bitで送れば階調飛びが発生しにくくなるが、データ量が多くなるために画像データの転送に要する時間が数倍かかってしまうという問題があるので、現実的とは言えない。
そこで本発明は階調飛びなく、高画質でしかもデータ転送に要する時間を短くすることができる画像処理システム、画像処理装置、画像処理方法及び記憶媒体を提供することを目的とする。
また本発明はディスプレイの特性に合わせたガンマ補正後の画像のダーク部に階調の欠落が発生しにくいような構成を安価に達成することを他の目的とする。
【0016】
【課題を解決するための手段】
上記目的を達成するために本出願の画像処理システムは、原稿画像を読み取る画像読取装置と、読み取られた該原稿画像のデータを処理するコンピュータとが接続された画像処理システムであって、前記画像読取装置は、原稿画像を読み取って画像データを生成する読取手段と、前記画像データに対して1以下のガンマ係数を用いたガンマ補正を行い、該画像データより低い階調に変換する第1の変換手段と、前記第1の変換手段によって変換された画像データを前記コンピュータに転送する転送手段とを備え、前記コンピュータは、前記画像読取装置から転送された画像データに対して前記第1の変換手段におけるガンマ係数の逆数を用いたガンマ補正を行い、該転送された画像データより高い階調に変換する第2の変換手段と、前記第2の変換手段によって変換された画像データに対して、該変換された画像データより低い階調に変換するとともにガンマ補正する第3の変換手段とを有することを特徴とする。
【0022】
【発明の実施の形態】
以下、図面を参照し発明の実施の形態を詳細に説明する。
【0023】
図1は画像読取装置の構成例を示す。
【0024】
同図において、101は調光制御可能な光源、102は原稿を反射、及び透過した光を結像するためのレンズ、103結像した光を電気信号に変換する光電変換素子(本発明の実施の形態ではR,G,B3色のフィルムを各々に塗布された3ラインのCCDラインセンサを使用し、以下「CCD」という)、104は画像信号を処理をするための回路、105はホストとなるPC、106は画像読取装置の動作を制御するためのCPU、そして107は読み取った画像を表示するためのディスプレイ、108は画像読取装置全体を表す。
【0025】
画像読取に際して、光源101から発せられた光は原稿を反射あるいは透過して、102のレンズで結像されて103のCCDで電気信号に変換される。その信号は画像読取装置本体が持っている104の信号処理回路と105のホストPCで画像処理を行われて107のディスプレイに表示される。
【0026】
図6は発明の実施の形態である画像読取装置のブロック構成図である。同図において、31は結像した光を電気信号に変換するCCD、32は光電変換されたアナログ電気信号をデジタル信号に変換するA/Dコンバータ、33a〜cはガンマ補正するためのLUT、34はPC38へ出力するためのインターフェース回路、35はRGB各色が混同して送られてきた信号を各色ごとに分けるためのラインオフセット、36は3原色信号から輝度信号および色差信号を形成するためのマトリックス回路、37aは前記33aのLUTのためのメモリとなるRAM、37bは前記34のI/FのためのメモリとなるRAM、38はホストとなるPC、39は読み取った画像を表示するディスプレイを表す。
【0027】
以下、本発明の実施の形態の動作について、説明する。
【0028】
図6の構成例において、CCD31で読み取られた電気信号はA/Dコンバータ32に送られて、12〜16bitのデジタル信号に変換される(尚、以下に続く本発明の実施の形態の説明ではわかりやすくするために16bitの階調を使用することとして説明する)。 次いでPC38に転送するためにLUT33aで16bit→8bitに階調変換をする。その際に本発明の実施の形態ではリニアに階調変換するのではなく、ガンマ係数Aに従って階調変換する。そしてI/F34を通ってPC38に転送される。そしてPC38側ではLUT33bにより8bit→16bitに再び階調変換をする。そしてその時に本体側でかけたガンマ係数とは逆の1/Aのガンマ係数をかける。そして35のラインオフセットでRGBの各色信号に分けて36でマトリックス変換を行い、33cのLUTでディスプレイに合わせた1/2.2のガンマ係数をかけて、16bit→8bitに階調変換を行いディスプレイ39に送る。
【0029】
本発明の実施の形態では画像信号は8bitの階調でPC38側に転送されるが、その後に33bのLUTで再び16bitに変換している。なぜならばマトリックス回路36によるマトリックス変換の後にLUT33cによりディスプレイ39の表示特性に合わせたガンマ補正を行いながら8bitに変換する時に、前記図4の▲3▼に示す例のように変換され出力される画像の階調落ちが発生しにくいように16bitに変換しておくという理由からである。さらに本発明の実施の形態によれば、LUT33aにおいて16bit→8bitに変換する際に1以下のガンマ係数Aをかけるので、リニアな特性により階調変換を行なう場合に比してダーク部に多くの階調を持たせることができダーク部のディテールの細かい画像を得ることが可能となる。
【0030】
かかる理由をさらに図面を用いて説明する。
【0031】
前述のように16bit→8bitに変換する際にリニアな特性により階調変換する場合、言い換えるとガンマ係数A=1にした場合と1/2.2にした場合の8bitの階調の例を図7に示す。
【0032】
同図(a)は横軸はLUTに入力する画像データの値、縦軸はLUTから出力されるガンマリニアで入出力16bit→8bit変換をした場合で、入力のレベルが0〜255は出力が全て0に、入力256〜511は出力が全て1…、になる。これが通常行われる階調変換の方法である。この方法では、先に説明したように入力側の16bitの0〜255にある階調は8bitに変換した時に全て失われることになる。つまりダーク部分の再現性が低くなってしまう。同図(b)はガンマ係数2.2をかけて入出力16bit→8bit変換をした場合で、入力のレベルが0で出力が0、1〜2で出力2、3から5で出力3、6〜9で出力4…、になる。つまり、(a)の場合はダーク部の入力0〜255までは出力が全て0のところを、ガンマ係数2.2かけて変換することにより、ダーク部の微妙な階調の変化をより細かく8bitの信号に反映できることになる。同図(c)はPC側で8bit→16bit変換を行う時の図であり、この時は先ほど図6の33aでかけたガンマ係数Aと逆のガンマ係数1/Aをかけることにより、先ほどかけたガンマ係数Aの影響を打ち消し、かつダーク部の階調の損失を抑えることになる。同図(c)のグラフはガンマ係数2.2をかけた場合の値を表している。
【0033】
尚、このガンマ係数Aの値は図6の33cでディスプレイの表示のためにかけるガンマ係数と同じ値を使用することが適している。
【0034】
以上説明したように、本発明の実施の形態によれば、図6に示したように本体に必要なRAMが2個と図2で示した比較例より少なく済むのでコストの低下につながる。また、図3で示した比較例では特にダーク部で階調落ちが発生しやすいが、本発明の実施の形態を用いると上記の通り階調落ちを少なくすることが可能である。
【0035】
図8に、本発明の実施の形態の画像読取装置を構成するPCであるコンピュータシステムの一例を示す。
【0036】
図8は、一般的な画像読取装置の制御装置となるPCの構成を示す図である。図8において、1200はコンピュータPCである。上記PC1200は、CPU1201を備え、ROM1202またはハードディスク(HD)1211に記憶された、あるいはフロッピーディスクドライブ(FD)1212より供給されるネットワーク印刷デバイス制御ソフトウェアを実行し、システムデバイス1204に接続される各デバイスを制御する。
【0037】
1203はRAMで、CPU1201の主メモリ、ワークエリア等として機能する。1207はディスクコントローラ(DKC)で、ブートプログラム(起動プログラム:パソコンのハードやソフトの実行(動作)を開始するプログラム)、複数のアプリケーション、編集ファイル、ユーザファイルそしてネットワーク管理プログラム等を記憶するハードディスク(HD)1211、及びフロッピーディスク(FD)1212とのアクセスを制御する。
【0038】
1208はネットワークインターフェースカード(NIC)で、実施形態の画像読取装置を、LAN1220を介してネットワークに接続する場合に使用するものである。本発明の実施の形態においては前述した図6に示したPC38の内部の機能をハードウエアではなく、前記CPU1201、主メモリ、ディスクコントローラ(DKC)1207、ブートプログラム(起動プログラム:パソコンのハードやソフトの実行(動作)を開始するプログラム)によって実現するようなプログラムがハードディスク(HD)1211に格納されている。
【0039】
(本発明の他の実施形態)
本発明は複数の機器(例えば、ホストコンピュータ、インターフェース機器、リーダ、プリンタ等)から構成されるシステムに適用しても1つの機器からなる装置に適用しても良い。
【0040】
また、上述した実施の形態の機能を実現するように各種のデバイスを動作させるように、上記各種デバイスと接続された装置あるいはシステム内のコンピュータに対し、上記実施の形態の機能を実現するためのソフトウェアのプログラムコードを供給し、そのシステムあるいは装置のコンピュータ(CPUあるいはMPU)に格納されたプログラムに従って上記各種デバイスを動作させることによって実施したものも、本発明の範疇に含まれる。
【0041】
また、この場合、上記ソフトウェアのプログラムコード自体が上述した実施の形態の機能を実現することになり、そのプログラムコード自体、及びそのプログラムコードをコンピュータに供給するための手段、例えばかかるプログラムコードを格納した記憶媒体は本発明を構成する。かかるプログラムコードを記憶する記憶媒体としては、例えばフロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、CD-ROM、磁気テープ、不揮発性のメモリーカード、ROM等を用いることが出来る。
【0042】
また、コンピュータが供給されたプログラムコードを実行することにより、上述の実施形態で説明した機能が実現されるだけでなく、そのプログラムコードがコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基いてその機能拡張ボードや機能拡張ユニットに備わるCPU等が実際の処理の一部または全部を行い、その処理によって上述した実施の形態の機能が実現される場合にも本発明に含まれる。
【0043】
また本発明の実施の形態においては原稿を照明するための光源を有する画像読取装置が本発明の実施形態の例として説明されたが、本発明は係る実施形態に限定されず、他の画像読取装置、例えばデジタルスチルカメラ、デジタル動画像データを発生するデジタルインターフェイスを有するビデオカメラにおいても適用することができる。
【0044】
【発明の効果】
上述したように、本出願の発明によれば階調飛びなく、高画質でしかもデータ転送に要する時間を短くすることができる。さらに本出願の別の発明によれば、画像の転送時間を増加させることなく出力画像の、例えば特にダーク部の階調が欠落する現象を抑えることができ、かつ画像読取装置の本体を安価におさえることが可能となる。
【図面の簡単な説明】
【図1】画像処理装置の概略構成を示す図である。
【図2】本発明に対する対比例としての、画像処理を主に画像読み取り装置本体で行う構成例を示す図である。
【図3】本発明に対する対比例としての、画像処理を主にホストとなるPC側で行う構成例を示す図である。
【図4】階調落ちが発生した画像のヒストグラム分布の一例である。
【図5】ガンマ補正を行って階調変換を行った場合の出力データを表す表である。
【図6】本発明の実施の形態を説明するための構成図である。
【図7】ガンマ補正を行って階調変換を行った場合の出力データを表すグラフである。
【図8】本実施形態の画像読み取り装置の制御装置を構成するコンピュータシステムの一例を示すブロック図である。

Claims (5)

  1. 原稿画像を読み取る画像読取装置と、読み取られた該原稿画像のデータを処理するコンピュータとが接続された画像処理システムであって、
    前記画像読取装置は、原稿画像を読み取って画像データを生成する読取手段と、
    前記画像データに対して1以下のガンマ係数を用いたガンマ補正を行い、該画像データより低い階調に変換する第1の変換手段と、
    前記第1の変換手段によって変換された画像データを前記コンピュータに転送する転送手段とを備え、
    前記コンピュータは、前記画像読取装置から転送された画像データに対して前記第1の変換手段におけるガンマ係数の逆数を用いたガンマ補正を行い、該転送された画像データより高い階調に変換する第2の変換手段と、
    前記第2の変換手段によって変換された画像データに対して、該変換された画像データより低い階調に変換するとともにガンマ補正する第3の変換手段と、
    を有することを特徴とする画像処理システム。
  2. 前記第3の変換手段におけるガンマ係数は、前記コンピュータに接続されたディスプレイに応じたガンマ係数であることを特徴とする請求項1記載の画像処理システム。
  3. 前記第1の変換手段のガンマ係数は、前記第3の変換手段のガンマ係数等しいことを特徴とする請求項1または2に記載の画像処理システム。
  4. 原稿画像を読み取る画像読取装置と、読み取られた該原稿画像のデータを処理するコンピュータとが接続された画像処理システムにおいて実行される画像処理方法であって、
    前記画像読取装置は、原稿画像を読み取って画像データを生成する読取工程と、
    前記画像データに対して1以下のガンマ係数を用いたガンマ補正を行い、該画像データより低い階調に変換する第1の変換工程と、
    前記第1の変換工程によって変換された画像データを前記コンピュータに転送する転送工程とを備え、
    前記コンピュータは、前記画像読取装置から転送された画像データに対して前記第1の変換工程におけるガンマ係数の逆数を用いたガンマ補正を行い、該転送された画像データより高い階調に変換する第2の変換工程と、
    前記第2の変換工程によって変換された画像データに対して、該変換された画像データより低い階調に変換するとともにガンマ補正する第3の変換工程と、
    を備えることを特徴とする画像処理方法。
  5. 請求項に記載の画像処理方法をコンピュータに実行させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。
JP2000299221A 2000-09-29 2000-09-29 画像処理システム、画像処理装置、画像処理方法及び記憶媒体 Expired - Fee Related JP4463962B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2000299221A JP4463962B2 (ja) 2000-09-29 2000-09-29 画像処理システム、画像処理装置、画像処理方法及び記憶媒体
US09/961,421 US6999213B2 (en) 2000-09-29 2001-09-25 Image processing system, image processing apparatus, image processing method, and storage medium thereof
CNB01135335XA CN1199435C (zh) 2000-09-29 2001-09-29 图象处理***、图象处理设备及图象处理方法
US11/180,522 US7978384B2 (en) 2000-09-29 2005-07-14 Image processing system, image processing apparatus, image processing method, and storage medium thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000299221A JP4463962B2 (ja) 2000-09-29 2000-09-29 画像処理システム、画像処理装置、画像処理方法及び記憶媒体

Publications (3)

Publication Number Publication Date
JP2002112035A JP2002112035A (ja) 2002-04-12
JP2002112035A5 JP2002112035A5 (ja) 2007-11-22
JP4463962B2 true JP4463962B2 (ja) 2010-05-19

Family

ID=18781062

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000299221A Expired - Fee Related JP4463962B2 (ja) 2000-09-29 2000-09-29 画像処理システム、画像処理装置、画像処理方法及び記憶媒体

Country Status (1)

Country Link
JP (1) JP4463962B2 (ja)

Also Published As

Publication number Publication date
JP2002112035A (ja) 2002-04-12

Similar Documents

Publication Publication Date Title
US7978384B2 (en) Image processing system, image processing apparatus, image processing method, and storage medium thereof
US4642680A (en) Method and system for processing image data stored in RGB form
JPH04352288A (ja) 画像の色変換または色修正方法およびその装置
JP2009505575A (ja) ハードウェア加速されたカラー・データ処理
KR950033953A (ko) 화상 생성 방법 및 화상 생성 장치
US20080240561A1 (en) Image processing apparatus
JPH1013682A (ja) 画像処理方法
US6757078B1 (en) Pattern rendering system and method
JP3880465B2 (ja) 色変換テーブルの作成方法およびその装置
JP4463962B2 (ja) 画像処理システム、画像処理装置、画像処理方法及び記憶媒体
JP2000137805A (ja) 画像処理装置及びその方法
JP4587155B2 (ja) 画像処理システム、方法、及び、プログラム
JP4975141B2 (ja) 画像処理システムにおけるコンピュータ及び画像処理方法、並びにプログラム
JPH10262150A (ja) 画像処理装置
JP2004110647A (ja) 色変換係数作成方法、色変換係数作成装置、プログラム、記憶媒体
US20030038973A1 (en) Gray scale scanning method and system
JP2006254432A (ja) デジタル画像データを処理するデジタル画像データ処理方法
US20130136344A1 (en) Creating a duotone color effect using an icc profile
JP2019149106A (ja) 画像処理装置、画像処理方法およびプログラム
JP4708743B2 (ja) プロジェクタ
JPH09179973A (ja) 画像処理装置及び方法
JP2000032258A (ja) 画像処理装置および画像処理方法
JP2004194034A (ja) 色処理装置及び方法
JPH10240928A (ja) 画像データ処理方法及び画像データ処理装置
JP3719911B2 (ja) 色変換方法および色変換装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071001

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071001

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090420

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20091013

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100112

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20100120

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20100201

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100216

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100218

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130226

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4463962

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140226

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees