JP3894762B2 - 電子内視鏡装置 - Google Patents

電子内視鏡装置 Download PDF

Info

Publication number
JP3894762B2
JP3894762B2 JP2001295272A JP2001295272A JP3894762B2 JP 3894762 B2 JP3894762 B2 JP 3894762B2 JP 2001295272 A JP2001295272 A JP 2001295272A JP 2001295272 A JP2001295272 A JP 2001295272A JP 3894762 B2 JP3894762 B2 JP 3894762B2
Authority
JP
Japan
Prior art keywords
signal
circuit
blood vessel
image
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001295272A
Other languages
English (en)
Other versions
JP2003093338A5 (ja
JP2003093338A (ja
Inventor
充 樋口
大輔 綾目
一則 阿部
信次 竹内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujinon Corp
Original Assignee
Fujinon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujinon Corp filed Critical Fujinon Corp
Priority to JP2001295272A priority Critical patent/JP3894762B2/ja
Priority to US10/255,079 priority patent/US6956602B2/en
Publication of JP2003093338A publication Critical patent/JP2003093338A/ja
Publication of JP2003093338A5 publication Critical patent/JP2003093338A5/ja
Application granted granted Critical
Publication of JP3894762B2 publication Critical patent/JP3894762B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Endoscopes (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は電子内視鏡装置、特に被観察体内の毛細血管等を詳細に表示することができる電子内視鏡の画像処理に関する。
【0002】
【従来の技術】
電子内視鏡装置は、照明光を照射して対物光学系を介して捉えられた被観察体を、CCD(Charge Coupled Device)等の撮像素子で撮像し、この被観察体像をモニタ等に表示するものであるが、近年、この種の電子内視鏡装置では、上記対物光学系に変倍機構を組み込み、被観察体像を光学的に拡大して表示することが行われる。従って、モニタ等に表示された拡大画像により、注目部位の細部が良好に観察できるようになっている。
【0003】
【発明が解決しようとする課題】
ところで、電子内視鏡装置では、撮像対象が消化器官等、生体内であることが多く、図7に示されるように、拡大された被観察体画像1(モニタ等の表示)においては粘膜2の中に血管(毛細血管)3が存在しており、この血管3の走行状態やこの血管(血液)3の集中状況は、病巣の診断、癌組織の特定等において重要な観察対象となる。一方、生体内は桃色或いは赤みを帯びた色で構成されることから、血管3と粘膜2等の他の組織との区別が不明瞭になる傾向がある。従って、血管3を粘膜2と対比させて明確に表示できれば、生体内の観察、診断に役立つ情報を提供することが可能となる。なお、符号4は溝等の暗い部分である。
【0004】
本発明は上記問題点に鑑みてなされたものであり、その目的は、血管を粘膜等の他の組織に対して高いコントラストにより明確に画像表示することができる電子内視鏡装置を提供することにある。
【0005】
【課題を解決するための手段】
上記目的を達成するために、請求項1の発明に係る電子内視鏡装置は、撮像素子で得られた信号に基づき所定の色信号を形成する色信号形成回路と、この色信号形成回路から出力された赤色以外の色信号を入力し、2値化画像信号を生成する2値化回路と、この2値化回路から出力された2値化信号を入力し、画像内の血管位置を検出・判定するためのエッジ検出回路と、このエッジ検出回路から出力された血管位置信号と上記色信号に基づいて血管像の彩度を調整する彩度補正回路と、を含んでなることを特徴とする。
請求項2に係る発明は、上記色信号形成回路では、赤,緑,青の色信号を形成し、上記2値化回路では、緑信号又は青信号を用いて2値化画像を形成することを特徴とする。
【0006】
請求項3に係る発明は、撮像素子で得られた信号に基づき所定の色信号を形成する色信号形成回路と、この色信号形成回路から出力された赤色以外の色信号を入力し、2値化画像信号を生成する2値化回路と、この2値化回路から出力された2値化信号を入力し、画像内の血管位置を検出・判定するためのエッジ検出回路と、このエッジ検出回路から出力された血管位置信号を画像処理クロック信号よりも遅いクロック信号で再検出する血管再検出回路と、この血管再検出回路から出力された血管位置信号と上記色信号に基づいて血管像の彩度を調整する彩度補正回路と、を含んでなることを特徴とする。
【0007】
上記請求項1の構成によれば、色信号形成回路によりR(赤),G(緑),B(青)の色信号が形成され、例えばG信号(B信号でもよい)を用いて画像の2値化信号、即ち白か黒の信号が生成される。このG信号による2値化信号は、赤色が含まれていないため、黒の信号部分に血管が存在し、白の信号部分に粘膜が存在することになる。即ち、本発明は血管の主要色である赤色以外の画像信号から血管の存在を検知するようにしている。次に、この2値化信号に対してはエッジ検出が行われ、白黒が急激に変化する部分が血管位置信号として抽出され、その他の大きな領域部分が除去される。そして、上記血管位置信号により血管像を構成するRGB信号が取り出され、これらの信号が増幅された(彩度が上げられた)後、原画のRGB信号に加えられることになり、この結果、血管が粘膜の中にあっても高いコントラストで表示される。
【0008】
上記請求項3の構成によれば、上記エッジ検出回路で得られた血管位置信号が、例えば画像処理クロック信号を2分周した遅いクロック信号で再検出され、これによって2倍の太さの血管像が形成される。この血管像は、彩度補正回路で彩度が上げられることになり、この結果、2倍の太さの血管が粘膜の中に高いコントラストで表示される。
【0009】
上記の構成において、上記彩度補正回路では信号増幅により血管像の彩度を上げたが、上記エッジ検出回路又は血管再検出回路から出力された血管位置信号以外の信号を取り出し、この血管以外の画像の彩度を下げることにより、両者のコントラストが高くなるようにすることができる。
【0010】
【発明の実施の形態】
図1には、第1実施例に係る電子内視鏡装置の一部の構成が示されており、この電子内視鏡装置は例えば同時式とされ、スコープ、プロセッサ装置、光源装置、モニタ及び記録装置等を有する。この図1において、撮像素子であるCCD10がスコープ先端部に設けられ、このCCD10では画素単位の色フィルタ[例えばMg(マゼンタ),G(グリーン),Cy(シアン),Ye(イエロー)]を介して被観察体像が捉えられる。即ち、上記光源装置からの光がライトガイドを介してスコープ先端から被観察体に照射されることにより、この被観察体がCCD10で撮像される。また、このCCD10の前方に、変倍レンズが移動可能に組み込まれた対物光学系を設ければ、この変倍レンズを駆動することによって被観察体の拡大像を得ることができる。
【0011】
上記CCD10の後段には、CDS(Correlated Double Sampling−相関二重サンプリング)/AGC(Automatic Gain Control−自動利得制御回路)12が配置されており、このCDS/AGC12はCCD10の出力信号に対し相関二重サンプリングを施すと共に、所定の増幅処理をする。このCDS/AGC12には、A/D(アナログ/デジタル)変換器14を介して、DSP(Digital Signal Processor−デジタル信号プロセッサ)16が設けられている。
【0012】
このDSP16では、ホワイトバランス、ガンマ補正等の各種の処理を施すと共に、Y(輝度)信号とR(赤)−Y及びB(青)−Yの色差(C)信号が形成されており、このDSP16の後段に、上記Y信号とC信号をR(赤),G(緑),B(青)の信号に変換する色変換回路17が設けられる。即ち、当該例では、上記DSP16では、Mg,G,Cy,Yeの各色フィルタを介して得られた信号から色変換演算によってY信号とR−Y及びB−YのC信号が形成されるが、このY,C信号を更に色変換演算することによりR,G,Bの各色信号が得られる。なお、上記DSP16内にて色差信号ではなく、RGB信号を直接形成することもできる。
【0013】
そして、第1実施例では、R信号以外のG信号又はB信号を用いて血管を明確にするための処理が行われる。このために、まず上記色変換回路17から出力されたG信号を入力し、この信号レベルを調整し、2値化するための平均値合わせをするレベル調整(ゲインアップ)回路18、このレベル調整回路18の出力信号を2値化信号に変換する2値化回路20、この2値化回路20の出力信号が急激に変化する部分を検出して(信号の低い周波数成分を除去して)、血管位置信号を取り出すエッジ検出回路22が設けられる。
【0014】
即ち、上記レベル調整回路18では、所定のゲインアップを行うことにより、G信号の平均値(又はその他のレベル値でもよい)が2値化の平均(中間)値に一致するようにする。例えば、信号のレベルを256のデジタル値で表し、中間値128よりも大きい場合に“1”(白)、この中間値128以下を“0”(黒)とする場合、G信号の平均値が中間値128に一致するようにG信号が増幅される。また、エッジ検出回路22は、上記2値化信号の急激な変化をするエッジ部分を取り出す(画像信号の周波数が低い部分を除去する)ことにより、血管の位置情報(血管が存在する位置の情報)を抽出する。
【0015】
上記色変換回路17の後段には、ここで得られたR0,G0,B0の色信号を入力すると共に上記エッジ検出回路22からの出力信号を入力する3ステートバッファ26と、アンプ(増幅器)28が配置されており、これらの回路が彩度補正回路となる。即ち、上記3ステートバッファ26では、エッジ検出回路22から出力された血管位置信号(例えばHigh信号)に基づき、その血管位置に該当する各色信号を取り出し、上記アンプ28ではこの血管位置に対応するR0,G0,B0の各信号を所定の増幅率で増幅する。
【0016】
上記アンプ28の後段には、上記色変換回路17から出力されたR0,G0,B0の信号と上記アンプ28から出力されたR1,G1,B1の各信号をそれぞれにおいて加算し、R2,G2,B2の各信号を出力する加算器30が設けられ、この加算器30にはモニタ出力するための各種処理を施す信号処理回路32が設けられる。
【0017】
第1実施例は以上の構成からなり、その作用につき図2を参照しながら説明する。まず、スコープ先端部からの照射光により照明された被観察体がCCD10で撮像されると、このCCD10からの出力信号は、CDS/AGC12でサンプリングされると共に増幅され、A/D変換器14を介してデジタル信号としてDSP16へ供給される。上述したように、このDSP16では、各種の画像処理が施されたY信号とR−Y及びB−YのC(色差)信号が形成され、このY信号とC信号は色変換回路1によりR0,G0,B0の各色信号に変換される。そして、これらの信号は3ステートバッファ26に供給されると共に、その中のG0信号がレベル調整回路18に入力される。
【0018】
このレベル調整回路18では、G0信号が所定の増幅率でゲインアップされ、例えば図7に示した被観察体では図2(A)に示される画像7aが得られる。ここで、図7の画像1では血管3が赤く表示されるが、図2(A)の画像7aでは血管色に緑色成分が少ないことから血管3は黒く表示される。次に、レベル調整されたG信号が2値化回路20に供給されると、そのレベルが128以下のとき“0”、この128よりも大きいとき“1”の2値に置き換えられる。この状態が図2(B)の画像7bに示されており、粘膜2は白(1)、血管3や溝等の暗い部分4は黒(0)となる。
【0019】
上記2値化回路20の出力は、エッジ検出回路22へ供給されており、ここでは信号レベルが緩やかに変化する部分(低い周波数成分)を除去することにより、信号レベルが急激に変化する部分が検出され、これによって図2(C)の画像7cに示される血管3の位置信号が抽出される。そして、このエッジ検出回路22の出力は、3ステートバッファ26のゲートへ供給される。
【0020】
この3ステートバッファ26では、上記エッジ検出回路22で検出された血管位置信号に基づいて血管像を構成するR0,G0,B0信号が取り出され、この血管像の各色信号はアンプ28にて所定増幅率でゲインアップされる。即ち、この増幅率がaであるとすると、アンプ28からは、R1=aR0、G1=aG0、B1=aB0が出力される。その後、これらの各色信号R1,G1,B1,は加算器30にて、原画の信号であるR0,G0,B0と加算される。
【0021】
従って、加算器30からは、R2=(a+1)R0、G2=(a+1)G0、B2=(a+1)B0が得られ、信号処理回路32を介して図2(D)に示される被観察体画像7dがモニタに表示される。この画像7dでは、(a+1)倍の彩度を持つ血管(毛細血管)3が粘膜2中に良好なコントラストにて明瞭に表示されることになり、この結果、血管3の走行状態や集中状況が良好に観察でき、またこの血管3の走行状態等を参考に病巣の診断、癌組織の特定等も良好に行われる。
【0022】
図3には、本発明の第2実施例の構成が示されており、この第2実施例は血管以外の像の彩度を低下させたものである。即ち、図3に示されるように、エッジ検出回路22と3ステートバッファ26との間にインバータ23を挿入し、エッジ検出回路22の出力を反転させて3ステートバッファ26に供給する。そして、この3ステートバッファ26の後段に、増幅率aが0から1の範囲にあるアンプ29と減算器31が設けられる。
【0023】
このような第2実施例によれば、インバータ23の反転動作によって血管以外の像の信号(位置信号)が抽出されるので、3ステートバッファ26からは血管以外の像を構成するR0,G0,B0信号が取り出され、この各色信号はアンプ29にて増幅率a(0<a<1)でゲインアップされる。即ち、アンプ29からは、R3=aR0、G3=aG0、B3=aB0が出力され、その後、これらの各色信号R3,G3,B3,は減算器31にて、原画信号R0,G0,B0から減算される。
【0024】
従って、減算器3からは、R4=(1−a)R0、G4=(1−a)G0、B4=(1−a)B0が出力され、信号処理回路32を介して被観察体画像がモニタに表示される。この画像では、(1−a)倍の彩度を持つ粘膜2や暗い部分4の中に、第1実施例の場合と同様に、血管3が良好なコントラストにて明瞭に表示される。
【0025】
図4には、本発明の第3実施例の構成が示されており、この第3実施例は血管を太くして表示させたものである。図4に示されるように、第3実施例は第1実施例の構成に加えて、クロック信号を分周して遅いクロック信号を生成する分周回路24と、この遅いクロック信号とエッジ検出回路22の出力により血管像を構成するR0,G0,B0信号をラッチするラッチ回路25を設けたものである。即ち、上記分周回路24は入力したクロック信号(周波数f1)を例えば2分周し、上記ラッチ回路25では2倍の周期[周波数(f1/2)]のクロック信号と血管信号により、血管の太さを2倍にするためのラッチ信号を3ステートバッファ26へ与える。
【0026】
このような第3実施例によれば、第1実施例の場合と同様に、色変換回路17から出力されたG0信号がレベル調整回路18でゲインアップされた後、2値化回路20にて2値化信号へ変換され、エッジ検出回路22ではこの2値化信号に基づいて血管位置信号が抽出される。そして、ラッチ回路25は、2倍の周期の遅いクロック信号と血管位置信号に基づいて、3ステートバッファ26に供給されるR0,G0,B0信号の血管部分をラッチする。
【0027】
図5には、この3ステートバッファ26で得られる血管像を構成するR0信号が示されており(G0,B0についても同様)、図5(A)に示される色変換回路17の出力データに対し、図5(B)に示される画像処理クロック信号に基づいて血管部分をラッチした場合は、図5(C)に示されるように、図5(A)と同一周期でR02,R03,R04の信号が出力される。これに対し、第3実施例では、図5(D)に示される遅いクロック信号に基づいて血管部分がラッチされることになり、図5(E)のように、通常の2倍の周期でR02,R04の信号が出力される。
【0028】
このようにして、太さが2倍となる血管像を構成するR0,G0,B0信号が3ステートバッファ26から取り出されると、これらの信号は、第1実施例の場合と同様にアンプ28で増幅率aでゲインアップされ、このアンプ28の出力であるR1,G1,B1信号は加算器30にて原画のR0,G0,B0信号と加算される。
【0029】
図6には、上記の過程で形成される画像が示されており、図6(A)に示されるように、上記アンプ28で得られる画像8Aでは、血管3が2倍の太さとなる。また、図6(B)に示されるように、加算器30の出力で得られる画像8Bでは、暗い部分4を伴った粘膜2の中に2倍の太さで、(1+a)倍の彩度を持つ血管3が表示されることになる。
【0030】
上記実施形態の各例では、G信号に基づいて血管信号を抽出するようにしたが、B信号をレベル調整回路18に入力して血管位置信号を取り出すようにしてもよい。即ち、本発明は血管の主要色である赤色以外の画像信号から血管の位置を検出しており、R信号以外のその他の色信号を用いることが可能である。また、上記第3実施例において、血管以外の像の彩度を低下させる第2実施例の構成を採用することもできる。
【0031】
【発明の効果】
以上説明したように、請求項1の発明によれば、血管の主要色である赤色以外の色信号から2値化画像信号を生成し、この2値化信号からエッジ検出回路により画像内の血管位置信号を抽出し、この血管位置信号に基づいて血管像の彩度を調整するようにしたので、血管を粘膜等の他の組織に対して高いコントラストにより明確にモニタ表示することができ、被観察体の観察や診断に有益な情報を提供することが可能となる。
【0032】
また、請求項3の発明によれば、血管再検出回路によりエッジ検出回路から出力された血管位置信号を画像処理クロック信号よりも遅いクロック信号で再検出するようにしたので、血管を太く表示することができ、被観察体画像の中の血管の認識度を高めることが可能となる。
【図面の簡単な説明】
【図1】本発明の第1実施例に係る電子内視鏡装置の主要構成を示すブロック図である。
【図2】第1実施例の各回路で形成される画像を示す図である。
【図3】第2実施例の主要構成を示すブロック図である。
【図4】第3実施例の主要構成を示すブロック図である。
【図5】第3実施例で実行される画像データのラッチ処理を示す説明図である。
【図6】第3実施例の各回路で形成される画像を示す図である。
【図7】電子内視鏡装置で撮像・表示される被観察体の拡大画像を示す図である。
【符号の説明】
10…CCD、 16…DSP、
17…色変換回路、 18…レベル調整回路、
20…2値化回路、 22…エッジ検出回路、
23…インバータ、 24…分周回路、
25…ラッチ回路、
26…3ステートバッファ、
28,29…アンプ、 30…加算器、
31…減算器。

Claims (5)

  1. 撮像素子で得られた信号に基づき所定の色信号を形成する色信号形成回路と、
    この色信号形成回路から出力された赤色以外の色信号を入力し、2値化画像信号を生成する2値化回路と、
    この2値化回路から出力された2値化信号を入力し、画像内の血管位置を検出するためのエッジ検出回路と、
    このエッジ検出回路から出力された血管位置信号と上記色信号に基づいて血管像の彩度を調整する彩度補正回路と、を含んでなる電子内視鏡装置。
  2. 上記色信号形成回路は、赤,緑,青の色信号を形成し、上記2値化回路は、緑信号又は青信号を用いて2値化画像を形成することを特徴とする上記請求項1記載の電子内視鏡装置。
  3. 撮像素子で得られた信号に基づき所定の色信号を形成する色信号形成回路と、
    この色信号形成回路から出力された赤色以外の色信号を入力し、2値化画像信号を生成する2値化回路と、
    この2値化回路から出力された2値化信号を入力し、画像内の血管位置を検出するためのエッジ検出回路と、
    このエッジ検出回路から出力された血管位置信号を画像処理クロック信号よりも遅いクロック信号で再検出する血管再検出回路と、
    この血管再検出回路から出力された血管位置信号と上記色信号に基づいて血管像の彩度を調整する彩度補正回路と、を含んでなる電子内視鏡装置。
  4. 上記彩度補正回路は、血管像の彩度を上げるようにしたことを特徴とする上記請求項1乃至3記載の電子内視鏡装置。
  5. 上記エッジ検出回路又は血管再検出回路から出力された血管位置信号以外の信号を取り出す回路を備え、上記彩度補正回路は、血管以外の画像の彩度を下げるようにしたことを特徴とする上記請求項1乃至3記載の電子内視鏡装置。
JP2001295272A 2001-09-27 2001-09-27 電子内視鏡装置 Expired - Fee Related JP3894762B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2001295272A JP3894762B2 (ja) 2001-09-27 2001-09-27 電子内視鏡装置
US10/255,079 US6956602B2 (en) 2001-09-27 2002-09-26 Electronic endoscope for highlighting blood vessel

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001295272A JP3894762B2 (ja) 2001-09-27 2001-09-27 電子内視鏡装置

Publications (3)

Publication Number Publication Date
JP2003093338A JP2003093338A (ja) 2003-04-02
JP2003093338A5 JP2003093338A5 (ja) 2005-10-20
JP3894762B2 true JP3894762B2 (ja) 2007-03-22

Family

ID=19116737

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001295272A Expired - Fee Related JP3894762B2 (ja) 2001-09-27 2001-09-27 電子内視鏡装置

Country Status (1)

Country Link
JP (1) JP3894762B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4566754B2 (ja) 2005-01-12 2010-10-20 Hoya株式会社 画像処理装置
JP5541914B2 (ja) * 2009-12-28 2014-07-09 オリンパス株式会社 画像処理装置、電子機器、プログラム及び内視鏡装置の作動方法
JP5829472B2 (ja) * 2011-10-12 2015-12-09 富士フイルム株式会社 内視鏡システム及びその作動方法
JP6420230B2 (ja) 2015-12-22 2018-11-07 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
CN111936031B (zh) * 2018-04-11 2023-12-15 富士胶片株式会社 医疗图像处理装置

Also Published As

Publication number Publication date
JP2003093338A (ja) 2003-04-02

Similar Documents

Publication Publication Date Title
US7042488B2 (en) Electronic endoscope for highlighting blood vessel
JP3217343B2 (ja) 画像処理装置
JP5288775B2 (ja) 内視鏡装置
US6956602B2 (en) Electronic endoscope for highlighting blood vessel
JP2003339636A (ja) 電子内視鏡装置の増幅度自動調整装置
JP2003010101A (ja) 内視鏡装置の撮像方法および装置
JP2006061620A (ja) 内視鏡用映像信号処理装置
JP5295587B2 (ja) 蛍光内視鏡装置及び蛍光内視鏡装置の作動方法
JPH07111978A (ja) 内視鏡用画像処理装置
Suman et al. Image enhancement using geometric mean filter and gamma correction for WCE images
JP3894762B2 (ja) 電子内視鏡装置
JP2643941B2 (ja) 内視鏡用画像処理装置
JP2011250925A (ja) 電子内視鏡システム
JP3886757B2 (ja) 電子内視鏡装置
JP2010142546A (ja) 内視鏡装置およびその制御方法
JP2001154232A (ja) 測光装置
WO2022014258A1 (ja) プロセッサ装置、プロセッサ装置の作動方法
JP2007306974A (ja) 内視鏡プロセッサ、内視鏡プログラム、画像処理システム、及び内視鏡画像記録再生装置
JP2022156811A (ja) 電子内視鏡用プロセッサ及び電子内視鏡システム
JP2007117154A (ja) 電子内視鏡システム
JP4159291B2 (ja) 電子内視鏡装置
JP7447281B2 (ja) プロセッサ装置、プロセッサ装置の作動方法
JP3255982B2 (ja) 電子内視鏡用ビデオ信号処理回路
WO2023090044A1 (ja) 電子内視鏡用プロセッサ及び電子内視鏡システム
JP2003093337A (ja) 電子内視鏡装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050615

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050617

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060920

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20061128

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061212

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091222

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091222

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091222

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101222

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101222

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111222

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111222

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121222

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121222

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131222

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees