JP5331394B2 - 内視鏡装置 - Google Patents

内視鏡装置 Download PDF

Info

Publication number
JP5331394B2
JP5331394B2 JP2008171623A JP2008171623A JP5331394B2 JP 5331394 B2 JP5331394 B2 JP 5331394B2 JP 2008171623 A JP2008171623 A JP 2008171623A JP 2008171623 A JP2008171623 A JP 2008171623A JP 5331394 B2 JP5331394 B2 JP 5331394B2
Authority
JP
Japan
Prior art keywords
light
image
fluorescence
reflected light
wavelength
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008171623A
Other languages
English (en)
Other versions
JP2008272507A (ja
Inventor
仁士 上野
俊也 秋本
克一 今泉
守 金子
和弘 後野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2008171623A priority Critical patent/JP5331394B2/ja
Publication of JP2008272507A publication Critical patent/JP2008272507A/ja
Application granted granted Critical
Publication of JP5331394B2 publication Critical patent/JP5331394B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Endoscopes (AREA)

Description

本発明は反射画像と蛍光画像とを得て正常組織と病変組織を診断するための内視鏡装置に関する。
近年、内視鏡は医療用分野及び工業用分野で広く用いられるようになった。特に医療用分野においては、通常の白色光による通常画像を得る内視鏡装置の他に、正常組織と病変組織とを識別し易いような画像が得られるような技術の提案も行われている。
例えば、第1の従来例としての特公平5−37650号公報では、蛍光画像と参照光による参照画像とを用いて生体の呼吸代謝の異常部を検出する装置を開示している。
また、第2の従来例としての特開平10−309282号公報では、励起光を照射して、波長帯の異なる2つの蛍光画像と励起光による反射画像とから正常組織と病変組織とを識別し易いような画像を得る装置を開示している。
また、第3の従来例としての特開2000−270265号公報では、蛍光画像と背景画像とを重ね合わせる装置を開示している。
第1の先行技術では蛍光画像と参照画像とを用いて対象組織に対する回帰直線を導出するようにしているが、参照画像の波長を蛍光画像の波長に一致させているのみであるので、正常組織と病変組織との識別機能が十分でない可能性がある。
また、第2の従来例は構成が複雑となってしまう。
また、第3の従来例では、反射光が広帯域のため、十分に正常組織と病変組織とを識別し易いような画像を得る機能が低下する欠点がある。
本発明は、上述した点に鑑みてなされたもので、正常組織と病変組織とを識別し易いような画像を得ることができる内視鏡装置を提供することを目的とする。
本発明の内視鏡装置は、複数の異なる波長帯域の照明光と、蛍光を励起するための励起光を発生する光源と、前記光源からの当該複数の照明光および励起光を生体組織に照射し反射された反射光による各々の反射光画像と、前記励起光により励起された蛍光による蛍光画像とを撮像する撮像手段において撮像した前記反射光画像信号および前記蛍光画像信号を入力し、所定の画像処理を行う画像処理装置と、を備えた内視鏡装置であって、
前記画像処理装置は、前記撮像手段から入力した前記反射光画像信号および前記蛍光画像信号により、生体組織における正常組織と病変組織とを識別するために、
生体組織より得られる前記反射光または前記蛍光の波長に対する強度分布特性に基づいて、正常組織の分布と病変組織の分布との重なりの分離能Sを
分離能S=1−(正常組織の分布と病変組織の分布とが重なった部分)/分布全体
としたとき、
該分離能Sが最も大きな値を示す波長特性を有し、前記光源における前記複数の異なる波長帯域の照明光を照射した際に得られる画像を処理する
ことを特徴とする。
本発明によれば、正常組織と病変組織とを識別し易い画像を得ることができる。
以下、図面を参照して本発明の実施の形態を説明する。
(第1の実施の形態)
図1ないし図11は本発明の第1の実施の形態に係り、図1は第1の実施の形態の内視鏡装置の全体構成を示し、図2は通常観察用フィルタと蛍光観察用フィルタが設けられた切替フィルタの構成を示し、図3は通常観察用フィルタ、蛍光観察用フィルタ及び励起光カットフィルタの波長に対する透過特性を示し、図4は生体組織より得られる蛍光の波長に対する強度分布の特性例と、生体組織より得られる反射光の波長に対する強度分布の特性例とを示し、図5は蛍光強度と2つの反射光強度を3軸とした軸空間座標上で正常の部分と病変の部分とを分布させた様子を示し、図6は第1の反射光の波長をパラメータとした場合における第2の反射光の中心波長に対する分離能の変化の様子を示し、図7は第1の反射光の波長幅をパラメータとした場合における第2の反射光の中心波長に対する分離能の変化の様子を示し、図8及び図9は蛍光画像をGチャンネルに、第1及び第2の反射光の画像をB、RチャンネルとR、Bチャンネルとに設定した場合に得られる正常部分と病変部分の分布を示す色度図を示し、図10及び図11は蛍光画像をBチャンネルに、第1及び第2の反射光の画像をG、RチャンネルとR、Gチャンネルとに設定した場合に得られる正常部分と病変部分の分布を示す色度図を示す。
図1に示す本発明の第1の実施の形態の通常観察モードと蛍光観察モードとを備えた内視鏡装置1Aは、体腔内に挿入して観察するための電子内視鏡2Aと、通常観察用の光及び励起用の光を発する光源装置3Aと、通常観察画像と蛍光画像を構築する信号処理を行うプロセッサ4Aと、通常光による画像と蛍光による画像を表示するモニタ5とにより構成される。
電子内視鏡2Aは体腔内に挿入される細長の挿入部7を有し、この挿入部7の先端部8に照明手段と撮像手段を内蔵している。
挿入部7内には通常観察のための照明光及び励起光を伝送(導光)するライトガイドファイバ9が挿通され、このライトガイドファイバ9の手元側の入射端に設けた光源用コネクタ10は光源装置3Aに着脱自在に接続される。
光源装置3Aは、ランプ駆動回路11により発光するように駆動され、赤外波長帯域から可視光帯域を含む光を放射するランプ12と、このランプ12による照明光路上に設けられ、ランプ12からの光量を制限する光源絞り13と、照明光路上に設けられた切替フィルタ部14と、この切替フィルタ部14を通った光を集光するコンデンサレンズ15とを備えている。
この切替フィルタ部14は回転用モータ16により回転されると共に、移動用モータ20により光路上に配置されるフィルタが切り替えられる切替フィルタ17と、回転用モータ16に取り付けたラック18に螺合するピニオン19を回転駆動することにより、回転用モータ16と共に切替フィルタ17を光軸に垂直な方向に移動する移動用モータ20とを備えている。
切替フィルタ17には図2に示すように内周側と外周側とに同心状に通常観察用のRGBフィルタ21と蛍光観察用フィルタ22とが設けてあり、前記移動用モータ20を駆動することにより光路上に通常照明用フィルタ21を設定して通常画像モード(通常モードともいう)での動作状態に設定したり、通常照明用フィルタ21から蛍光照明用フィルタ22に切り換えて蛍光画像モード(蛍光モードともいう)に設定した動作状態に切り替えができるようにしている。
上記RGBフィルタ21は、周方向にR(赤)、G(緑)、B(青)の各波長帯域の光をそれぞれ透過するR、G、Bフィルタ21a、21b、21cが3等分するように設けてあり、回転モータ16で回転駆動されることによりそれぞれが光路中に順次、略連続的に介挿される。
また、R、G、Bフィルタ21a、21b、21cの透過特性は図3(A)に示すように、600−700nm、500−600nm、400−500nmの各波長帯の光をそれぞれ透過するフィルタ特性を有する。図3等では符号21a、21b、21cの代わりに、そのフィルタ透過特性に対応する符号R、G、Bを用いて示している(後述する蛍光観察用フィルタ22においても、同様である)。
また、蛍光観察用フィルタ22は、周方向に狭帯域の赤(R1)、狭帯域の緑(G1)、狭帯域の励起光をそれぞれ透過するR1、G1、E1フィルタ22a、22b、22cが3等分するように設けてあり、回転用モータ16で回転駆動されることによりそれぞれが光路中に順次介挿される。
また、R1、G1、E1フィルタ22a、22b、22cの透過特性は図3(B)に示すように590−610nm、540−560nm、390−445nmを各波長帯域の光をそれぞれ透過するフィルタ特性を有する。
光源装置3Aからの照明光はライトガイドファイバ9により、電子内視鏡2Aの挿入部7の先端側に伝送(導光)される。このライトガイドファイバ9は蛍光観察のための光と通常観察のための光を少ない伝送ロスで伝送する。このライトガイドファイバ9としては、例えば多成分系ガラスファイバ、石英ファイバ等で構成される。
ライトガイドファイバ9の先端面に伝送された光は、その先端面に対向する照明窓に取り付けた照明レンズ24を経て、拡開して体腔内の観察対象部位側に照射される。
先端部8にはこの照明窓に隣接して観察窓が設けてあり、この観察窓には光学像を結ぶための対物レンズ系25と、遠点から近点までフォーカスを合わせるため空間的に入射光量を制限する絞り26と、励起光をカットする励起光カットフィルタ27と、蛍光および反射光の各画像を撮像する撮像素子として例えばモノクロ撮像(或いは白黒撮像)を行う電荷結合素子(CCDと略記)28とが配置されている。
蛍光および反射画像を撮像する撮像素子としては、CCD28の代わりにCMD (Charged Modulation Device) 撮像素子、C−MOS撮像素子、AMI(Amplified MOS Imager)、BCCD(Back Illuminated CCD)でも良い。
励起光カットフィルタ27は蛍光観察時に、蛍光を発生させるために励起される励起光を遮光するフィルタである。この励起光カットフィルタ27の特性を図3(C)に示す。この図3(C)に示すように470−700nmの波長帯域を透過する、つまり、青色帯域の一部の波長(400−470nm)を除いた可視光を透過する特性を有する。
なお、この電子内視鏡2Aには蛍光画像モードと通常画像モードとを選択する指示操作や、フリーズ、レリーズの指示操作を行うためのスコープスイッチ29が設けてあり、その操作信号は制御回路37に入力され、制御回路37はその操作信号に対応した制御動作を行う。
例えばスコープスイッチ29におけるモード切換スイッチの通常モードスイッチを操作すると、光源装置3Aはライトガイドファイバ9に通常モードの照明光、つまりR、G、Bの光を順次供給する状態となり、またプロセッサ4Aも通常モードに対応した信号処理を行う状態になる。
また、モード切換スイッチの蛍光モードスイッチを操作すると、光源装置3Aはライトガイドファイバ9に蛍光モードの照明光、つまりR1、G1、E1の光を順次供給する状態となり、またプロセッサ4Aも蛍光モードに対応した信号処理を行う状態になる。
CCD28はプロセッサ4A内に設けたCCD駆動回路31からのCCD駆動信号により駆動され、CCD28に結像された光学像を光電変換して画像信号を出力する。
この画像信号はプロセッサ4A内に設けたプリアンプ32で増幅され、さらにオートゲインコントロール(AGC)回路33で所定レベルまで増幅された後、A/D変換回路34によりアナログ信号からデジタル信号(画像データ)に変換され、各画像データは切換を行うマルチプレクサ35を経て、第1フレームメモリ36a、第2フレームメモリ36b及び第3フレームメモリ36cに一時格納(記憶)される。
なお、CCD駆動回路31は制御回路37により制御される。具体的には、後述するように通常モードにおいては、Bフィルタ21cで照明を行った場合、CCD28で受光される光量が他のR、Gフィルタ21a、21bで照明を行った場合よりも低下するので、電子シャッタ機能を動作させる。
また、蛍光モードにおいても、E1フィルタ22cにより励起光を照射して蛍光画像を得る期間におけるCCD28で受光される光量がR1、G1フィルタ22a、22bで照明を行った場合の反射光の場合よりもはるかに低下するので、電子シャッタ機能を動作させる。
また、制御回路37は選択されたモードに応じて移動用モータ20を制御する。また、回転用モータ16は制御回路37により制御されると共に、この回転用モータ16の回転軸等に取り付けた図示しないエンコーダの出力は制御回路37に入力され、制御回路37はこのエンコーダの出力に同期してCCD駆動回路31やマルチプレクサ35の切換等を制御する。
また、制御回路37は、マルチプレクサ35の切換を制御し、通常モードではR、G、Bフィルタ21a、21b、21cの照明のもとで撮像した各画像データをそれぞれ第1フレームメモリ36a、第2フレームメモリ36b、第3フレームメモリ36cに順次記憶させるように制御する。
また、蛍光モードにおいても、制御回路37は、マルチプレクサ35の切換を制御し、R1、G1、E1フィルタ22a、22b、22cの照明のもとで撮像した各信号をそれぞれ第1フレームメモリ36a、第2フレームメモリ36b、第3フレームメモリ36cに順次記憶させるように制御する。
上記フレームメモリ36a〜36cに格納された画像データは画像処理回路38に入力され、画像処理回路38により入力信号をR、G、Bチャンネルの色信号に割り当てる割り当て処理を適当に行うことにより、正常組織部分と病変組織部分とを識別し易い色相の出力信号に変換する画像処理が施された後、D/A変換回路39によりアナログのRGB信号に変換されてモニタ5に出力される。
本実施の形態の特徴の1つとなる画像処理回路38では、これに入力される3つの信号、つまり、狭帯域の2つの照明光G1、R1による生体組織での反射光で撮像した反射光撮像信号と、励起光E1により生体組織から発生した蛍光で撮像した蛍光画像信号との3つの信号を画像処理回路38により(カラー表示する際の色信号に適当に割り当てる)変換処理して出力するようにしている。
また、このプロセッサ4Aにはプリアンプ32を通した信号に基づいて光源装置3A内の光源絞り13の開口量を自動的に制御する調光回路40が設けてある。また、この調光回路40は制御回路37により、制御される。
また、この制御回路37は、ランプ駆動回路11のランプ12を発光駆動するランプ電流を制御する。
また、この制御回路37はスコープスイッチ29の操作に応じた制御動作を行う。
本実施の形態では内視鏡装置1Aでは、光源装置3Aの切替フィルタ17のRGBフィルタ21、蛍光観察用フィルタ22及び、電子内視鏡2Aの撮像光路中に設けた励起光カットフィルタ27のフィルタ特性を図3(A)〜図3(C)に示すように設定して、正常組織と病変組織の部分との分離度を大きくできるようにしたことが特徴となっている。
また、画像処理回路38により、特に蛍光モードでの3つの入力信号に対してカラー表示する場合の色信号に割り当てる割り当てを適切に行うことにより、正常組織と病変組織とを識別し易いように色相が異なり、病変組織が特定の色相に入るように表示できるように設定したことも特徴となっている。
まず分離度を大きくしたことを図4等を参照して以下に説明する。
図4(A)は生体組織より得られる蛍光の波長に対する強度分布の特性例を示し、図4(B)は生体組織より得られる反射光の波長に対する強度分布の特性例とを示す。
図4(A)から分かるように520nm付近でピークとなる分布特性を示し、本実施の形態では励起光カットフィルタ27による透過特性をこの520nm付近の波長帯域を含むように設定して、得られる蛍光画像のS/Nを高くしている。
また、図4(B)の反射光の強度特性では、550nm付近でヘモグロビンによる吸収が大きく、この波長付近で反射強度が低下する谷となっている。なお、600nm付近はヘモグロビンによる非吸収帯となる。
そして、2つのフィルタ22a、22b(図ではG1、R1)の中心波長は550nmと600nmに設定されている。
つまり、本実施の形態では、R1フィルタ22aの帯域を酸化ヘモグロビンの吸光度が低い部分に設定し、かつG1フィルタ22bの帯域を酸化ヘモグロビンの吸光度が高い部分に設定している。
なお、蛍光モードで照明し、その反射光で撮像する第1及び第2の照明光(反射光)となるG1、R1の光は、その波長幅を数10nm、より具体的には20nmに設定している(後述するように20nm以下に設定しても良い)。
なお、E1フィルタ22cにより遮光された青色領域(の長波長領域)と、励起光カットフィルタ27で遮光させた青色領域(の短波長領域)の光の透過率はOD4(1/10000)以下に設定されている。
上述のように蛍光モードでの2つの反射光の画像を得る場合におけるその波長(中心波長)を550nmと600nmに設定した理由を図5等により説明する。
図5は2つの反射光強度と蛍光強度とを3軸とした軸空間座標上で正常の部分と病変の部分とを分布させた様子を示す。図5において、梨地模様で示す部分が生体組織における正常組織、斜線で示す部分が生体組織における病変組織となることを示す。
そして、正常組織と病変組織とが重なった部分が小さい程、正常組織と病変組織との識別が容易となるので、本実施の形態では、この重なり部分が最小となるように、2つの反射光の帯域を統計的手法(具体的にはフィッシャーの判別関数)を用いて算出する。
つまり、正常組織と病変組織の分布の重なりにより分離能Sを以下の式で求める。
分離能S=1−(正常組織と病変組織の分布が重なった部分)/(分布全体)
そして、第1の反射光と第2の反射光との中心波長を変化させて、得られる分離能Sを算出する。
図6は第1の反射光の中心波長をパラメータとして変化させた場合における第2の反射光の中心波長に対して得られる分離能Sを示す。ここでは、第1の反射光の中心波長をパラメータとして510nm、550nm、600nmと変化させた場合を示している。
そして、第1の反射光の中心波長が550nmで、第2の反射光の中心波長が600nmの場合に最も大きな分離能Sが得られることが分かる。なお、第1の反射光と第2の反射光の中心波長を入れ換えた場合、つまり第1の反射光の中心波長が600nmで、第2の反射光の中心波長が550nmの場合に最も大きな分離能Sが得られる。
また、図7は第1の反射光の中心波長を550nmとし、その波長幅をパラメータとして変化させた場合に得られる分離能Sを示す。図7では波長幅を80nm、20nm、10nmにした場合を示す。
図7から第1の反射光の中心波長を550nmは略20nmかこれより小さい場合に大きな分離能Sが得られることが分かる。図7からは20nmより10nmの場合の方が大きな分離能Sが得られるが、波長幅を小さくすると、強度が低下してS/Nが低下する。このため、本実施の形態では、20nmの波長幅に設定している。プロセッサ4Aの信号処理系等のS/Nに応じて、波長幅を20nm以下の例えば10nm等にしても良い。
図6及び図7から、本実施の形態では、図3に示したように第1及び第2の反射光(照明光)の波長をそれぞれ、550nmと600nmとに設定すると共に、その波長幅を20nmに設定して、大きな分離能Sにできるように、つまり正常組織と病変組織とを出来るだけ分離した状態に分布させることができるようにしている。
なお、本実施の形態では蛍光画像の強度は反射光の場合に比べてはるかに弱いので、図4(A)に示すようにその強度がピークとなる520nm付近の波長帯域を少なくとも含む蛍光画像を得る特性の励起光カットフィルタ27を採用している。これにより、S/Nの良い蛍光画像を得られるようにしている。
また、本実施の形態では、画像処理回路38により、3つの入力信号を3つの色信号に適切に割り当てるように設定して、正常組織と病変組織とを表示画像上で、識別し易い色相となるようにしている。
そして、図8から図11に示す色度図上に正常組織と病変組織が識別し易い状態で分布するような状態で、擬似カラー表示できるようにしている。
このような構成による本実施の形態の作用を以下に説明する。
図1に示すように電子内視鏡2Aの光源用コネクタ10を光源装置3Aに接続し、また電子内視鏡2Aの図示しない信号用コネクタをプロセッサ4Aに接続する。そして、図1に示すような接続状態に設定して、各装置の電源を投入し、動作状態に設定する。すると、制御回路37は初期設定の動作を行い、この初期設定の状態では例えば通常モードで動作するように設定する制御を行う。
この通常モードでは、制御回路37は光源装置3Aの移動用モータ20を制御して、切替フィルタ17をその内周側のRGBフィルタ21が照明光路中に位置するように設定する。
そして、回転モータ16を回転させる。ランプ12の白色光は切替フィルタ17のR、G、Bフィルタ21a、21b、21cが順次照明光路中に配置されるようになり、観察対象側へR、G、Bの照明光が出射される。
この通常モードでは切替フィルタによる(観察対象側への)照明光はR、G、Bフィルタ21a、21b、21cが順次照明光路中に配置される。
R、G、Bの光で照明され、CCD28で撮像された信号は、増幅、A/D変換された後、マルチプレクサ35が制御回路37で順次切り換えられることにより、第1フレームメモリ36a、第2フレームメモリ36b、第3フレームメモリ36cに順次格納される。
これらフレームメモリ36a〜36cに格納されたR、G、Bの色成分の画像データは所定のフレーム期間(例えば33ms、つまり1/30秒)で同時に読み出され、画像処理回路38に入力される。
この画像処理回路38は通常モードでは、入力信号をそのまま出力する。つまり、第1フレームメモリ36a〜36cからそれぞれ出力されるR、G、Bの色信号は画像処理回路38をスルーして(必要に応じてガンマ補正や輪郭強調を行うようにしても良い)D/A変換回路39に出力される。
このようにして、D/A変換回路39を経てアナログの標準的な映像信号、ここではRGB信号にされてR、G、Bチャンネルからモニタ5に出力され、モニタ5の表示面には(白色光を照射した場合に、直接被写体を観察した場合のカラー色調を反映した)通常観察画像がカラー表示される。
上述したように、Bフィルタ21cを通して照明を行った場合における被写体側での反射光量は励起光カットフィルタ27によりその短波長側がカットされてCCD28で受光されるため、そのBの色成分画像の受光量が他のR、Gの色成分画像の受光量より少なくなり、そのままではホワイトバランスが崩れることになる。
これを防止するために、制御回路37はCCD駆動回路31を介してBフィルタ21cでの照明期間で撮像した場合のCCD28の増幅率を例えば2倍に増大させる。
また、制御回路37はランプ駆動回路11を制御し、Bフィルタ21cでの照明期間におけるランプ12を駆動するランプ電流を、例えば通常のランプ電流の値より増大させて、Bの照明光量を増大させる。
また、制御回路37はCCD駆動回路31を制御し、CCD28の電子シャッタの機能を動作させる。つまり、R、Gの照明期間においては、その照明期間の一部の期間でのみ撮像を行うようにして、短い撮像期間となるようにCCD28を駆動し、これに対してBの照明期間においては、その照明期間の全部を撮像に用いるようにして、長い撮像期間となるようにする。
このようにして、モニタ5にはホワイトバランスがとれた通常画像を表示する。なお、電子シャッタによる撮像期間の設定は予め白い被写体を撮像した場合に、モニタ5でその被写体が白く表示されるように、制御回路37内の図示しないメモリ等に、具体的な撮像期間の値が格納されている(或いは、電源投入の後の初期設定の際に、白い被写体を撮像して、電子シャッタによる撮像期間を具体的に設定するようにしても良い)。この時、電子シャッタの撮像期間ではなく、CCD増幅率の値、ランプ電流の値を記憶して、これらを単独或いは組み合わせても良い。
このようにして通常モードで被写体を観察でき、例えば注目する患部部位等の被写体に対して蛍光観察を行いたい場合には、スコープスイッチ29のモード切換スイッチの蛍光モードスイッチを操作する。
すると、この操作信号を受けて、制御回路37は光源装置3Aは移動用モータ20を駆動して、切替フィルタ17を移動させ、蛍光観察用フィルタ22が照明光路上に配置される状態に設定し、蛍光モードに切り換える。
蛍光モードに設定されると、電子内視鏡2Aのライトガイドファイバ9には蛍光モードの照明光、つまり図3(B)に示すR1、G1、E1の光が順次供給される状態となる。
そして、被写体にはR1、G1、E1の光が順次照射される。R1、G1の照明の場合には、通常モードでのR、Gの光が順次照射された場合と同様の動作となる。つまり、この場合にはR1、G1の被写体での反射光をCCD28で受光する。この場合、励起光カットフィルタ27による影響を受けないで、CCD28は撮像することになる。
これに対し、励起光E1を照射した場合には、その励起光E1の反射光は励起光カットフィルタ27で殆ど完全に遮光され、かつこの励起光カットフィルタ27の透過帯域内の被写体側からの蛍光を受光する。
この蛍光の強度は、R1、G1の被写体での反射光の強度に比べてはるかに小さいので、上述した通常モードでのR、Gの照明、Bの照明及びそれらの場合の信号処理と類似した動作を行うようにして、(R1、G1の被写体での反射光の画像と対比し易い)明るい蛍光画像が表示されるようにする。
具体的には、R1、G1の被写体での反射光を撮像する場合には、電子シャッタにより、照明期間の一部の期間でのみCCD28で撮像した画像データを第1フレームメモリ36a、第2フレームメモリ36bに格納するようにする。
これに対し、E1の励起光を照射した場合で、その蛍光画像を撮像する場合には、CCD28の増幅率を例えば10倍から100倍程度に増大し、かつランプ電流も増大し、励起光の照明光量も増大させる。そして、この場合に撮像した蛍光画像データを第3フレームメモリ36cに格納する。
そして、1フレーム周期で第1フレームメモリ36a〜第3フレームメモリ36cの画像データは同時に読み出され、画像処理回路38に入力される。
画像処理回路38は入力信号R1、G1、EX(ここで、R1、G1は狭帯域の照明光による反射画像の信号で図6、図7の第2、第1の反射光に相当し、またEXは励起光E1による蛍光画像の信号を示す)はR,G,Bのチャンネルに適切に割り当てられる。
蛍光モードの場合には、蛍光波長帯域からなる画像信号EXをGチャンネルに、2つの異なる中心波長と波長幅を持った反射光波長帯域のうちの1つをRチャンネル、もう1つの反射光波長帯域をBチャンネルに割り付け(割り当て)たものとなっている。
具体的には、蛍光波長帯域からなる画像信号EXをGチャンネルに割り当て、残りの2つの反射光画像の信号R1、G1をB、RかR、Bに割り付けるようにしている。つまり、
EX→G、R1→B、G1→R (割付1)
又は
EX→G、R1→B、G1→R (割付2)
である。
この場合には図8或いは図9に示すように色度図(に相当する状態)で正常組織部分と病変組織部分とが異なり、特に病変組織部分が略単一の色相に入るようにしてモニタ5には擬似カラーで表示される。
割付1に対応する図8の場合には病変組織部分はピンクの色相付近に限定されるようになる。
また、割付2の場合に対応する図9の場合には病変組織部分は紫の色相付近に限定されるようになる。なお、図8或いは図9に対応する表示モードは蛍光モードにおける切換モードを操作することにより相互に切り換えることができる。そして、ユーザは好みの方で表示させることができる。
従って、術者は図8の場合にはピンクの色相付近で表示される部分を注目することにより、病変組織である可能性が高いと判断できる。
また、術者は図9の場合には、紫の色相付近で表示される部分を注目することにより、病変組織である可能性が高いと判断できる。
また、図8或いは図9のような色度図に対応する状態の擬似カラーによる表示状態で、病変組織の可能性が高いと判断できた場合には、スコープスイッチ29の蛍光モードにおいてさらに用意した病変組織用モードのスイッチを操作した場合には、制御回路37による制御で画像処理回路38による割付をさらに変更設定する。
具体的には蛍光波長帯域からなる画像信号EXをBチャンネルに割り当て、残りの2つの反射光画像の信号R1、G1をG、RかR、Gに割り付けるようにしている。つまり、
EX→B、R1→G、G1→R (割付3)
又は
EX→B、R1→R、G1→G (割付4)
である。
割付3或いは割付4は図10或いは図11に示すような色度図に相当する状態で、蛍光モードでの画像、つまり2つの反射光画像と蛍光画像を擬似カラー表示する。
図10或いは図11では病変組織が複数の色相に分布するように表示されるので、最初から正常組織と病変組織との診断を行う場合には適切ではないかもしれないが、図8或いは図9で病変組織の可能性が高いと診断したような場合には、さらに図10或いは図11に示すような表示モードにすると、その色相の違いにより、病変組織の状態をより詳しく診断し易い。例えば、色相の変化により、病変の進行の程度等を判断し易くなる。
このように本実施の形態によれば、2つの反射光による画像と蛍光画像とで擬似カラーで表示する場合に、正常組織と病変組織との重なりを小さくして分離能Sを大きくなるように反射光による画像の波長を適切な値に設定し、さらに病変組織を正常組織とは異なり、識別し易い略単一の色相に入るように擬似カラー表示するようにしているので、病変組織の部分か否かを診断する場合、術者は病変組織を容易に診断することができる。つまり、診断し易い環境を提供できる。
また、電子内視鏡2Aの撮像素子の前に配置した励起光カットフィルタ27は、青色の波長帯域の一部を含む励起光をカットすると共に、前記励起カットフィルタ27は、通常観察を行うための可視領域の青色光の一部以外の光を透過する(青色光の一部と、緑、赤の波長帯の全域を透過する)ようにしているので、1つの撮像素子を挿入部7の先端部8に配置することにより、通常画像の撮像と蛍光画像の撮像及び信号処理により通常画像と蛍光画像の表示ができる。
従って、(複数の撮像素子を内蔵した場合に比較して)電子内視鏡2Aの挿入部7を細径にでき、挿入使用できる適用範囲を広げることができると共に、挿入の際に患者に与える苦痛を軽減できる。また、術者も体腔内に挿入する作業が容易となる。また、1つの撮像素子で済むので低コスト化が可能となる。
また、励起光として可視光の波長帯域(領域)内の青色を採用しているので、光源装置3Aのランプ12として、通常照明(白色照明)に使用できるハロゲンランプ、キセノンランプ等を使用できる。また、紫外線等を励起光とした場合に比較して、ライトガイドファイバ9による伝送ロスを小さくできたり、通常照明用のものをそのまま使用できる等のメリットがある。
特に、簡単な構成で正常組織と病変組織を識別し易いように(蛍光画像と反射光画像とによる)画像画像を擬似カラー表示すことができる内視鏡装置1Aを実現できる。
(第2の実施の形態)
次に本発明の第2の実施の形態を図12を参照して説明する。本実施の形態の構成は第1の実施の形態と同様の構成であり、図3(C)に示す励起光カットフィルタ27の特性を一部変更している。
図12はポリフィリンを含む生体組織より得られる蛍光の波長に対する強度の特性を示す。この図のようにポリフィリンを含む生体組織の場合には、620nmより少し長い波長帯にポリフィリンによる蛍光を発するピークを持つ場合がある。 このポリフィリンによる蛍光の影響を排除するために、本実施の形態ではこの図12で1点鎖線で示すように励起光カットフィルタ27の透過特性における超波長側を620nmでカットし、これより長波長側の蛍光をCCDで受光しないようにした。
つまり、励起光カットフィルタ27は短波長側は第1の実施の形態と同様に例えば470nmから長波長側の620nmまでの蛍光を透過するように設定されている。その他は第1の実施の形態と同様である。
本実施の形態によれば、第1の実施の形態の作用効果の他に、ポリフィリンを含む生体組織部分を観察する場合にも、ポリフィリンによる影響を排除して、正常組織と病変組織とを識別し易い色調で擬似カラー表示できる内視鏡装置を提供できる。
[付記]
1.2つの異なる波長帯域の照明光と蛍光を励起するための励起光を発生する光源と、
前記照明光及び励起光を導光する導光手段と、
前記導光手段を介して生体組織に前記照明光が照射され、反射された反射光による各々2つの反射光画像と、前記励起光により励起された蛍光による蛍光画像を撮像する撮像手段と、
前記2つの反射光画像と蛍光画像とを処理して処理画像を構築する画像処理手段と、
前記処理画像を表示する表示手段よりなる内視鏡装置において、
生体組織からの2つの異なる反射光と蛍光の強度を3軸とした空間座標軸上にプロットした際、正常組織と病変組織が3軸空間座標軸上で分離するように前記反射光と蛍光の波長が選択され、
前記画像処理手段により処理された処理画像が、正常組織と病変組織で色相が異なり、病変組織が特定の略1つの色相に入るように、前記反射光と蛍光が特定の色信号に割当て処理され、表示されることを特徴とする内視鏡装置。
1′.2つの異なる波長帯域の照明光と蛍光を励起するための励起光を発生する光源装置と、
前記照明光及び励起光を導光する導光手段と、
前記導光手段を介して生体組織に前記照明光が照射され、反射された反射光による各々2つの反射光画像と、前記励起光により励起された蛍光による蛍光画像を撮像する撮像手段とを有する内視鏡と、
前記2つの反射光画像と蛍光画像とを処理して処理画像を構築し、画像表示手段に出力する画像処理手段と、
を有する内視鏡装置において、
生体組織からの2つの異なる反射光と蛍光の強度を3軸とした空間座標軸上にプロットした際、正常組織と病変組織が3軸空間座標軸上で分離するように前記反射光と蛍光の波長が選択され、
前記画像処理手段により処理された処理画像が、正常組織と病変組織で色相が異なり、病変組織が特定の略1つの色相に入るように、前記反射光と蛍光が特定の色信号に割当て処理され、表示されることを特徴とする内視鏡装置。
2.付記1において、選択された2つの反射光波長帯域は、1つは、ヘモグロビンの光の吸収帯を含む波長帯域であり、もう1つは、ヘモグロビンの光の非吸収帯を含む波長帯域であることを特徴とする。
3.付記1において、選択された1つの蛍光波長帯域は、520nmを含む波長帯域であり、2つの反射光波長帯域は、それぞれ、550nm、600nmを含む波長帯域であることを特徴とする。
4.付記3において、選択された1つの蛍光波長帯域は、520nmを含むとともに、620nm以上の帯域を除く波長帯域であることを特徴とする。
5.付記3において、選択された2つの反射光波長帯域の波長幅は、当該20nmないし20nm以下であることを特徴とする。
6.付記1において、前記処理画像は、1の蛍光波長帯域からの画像信号を緑色に、2つの異なる波長帯域の反射光波長帯域のうち1つの画像信号を赤色、または青色に、もう1つを青色、または赤色の色信号に割当て処理することを特徴とする。
7.2つの異なる波長帯域の照明光と蛍光を励起するための励起光を照明する光源と、
生体組織に前記照明光が照射され、反射された反射光による各々2つの反射光画像と、前記生体組織に前記照明光が反射され、反射された反射光による各々2つの反射画像と、前記励起光により励起された蛍光による蛍光画像を撮像する撮像手段と、
前記2つの反射光画像と蛍光画像とを処理して処理画像を構築する画像処理手段と、
前記処理画像を表示する表示手段よりなる内視鏡装置において、
生体組織からの2つの異なる反射光と蛍光の強度を3軸とした空間座標軸上にプロットした際に、正常組織と病変組織が3軸空間座標軸上で分離するように前記反射光と蛍光の波長が選択され、
前記処理手段により処理された処理画像が、病変組織が複数の色相にまたがるように、前記反射光と蛍光が特定の色信号に割当て処理され、表示されることを特徴とする内視鏡装置。
8.2つの異なる波長帯域の照明光と蛍光を励起するための励起光を順次照明するため、前記波長帯域を通す2つの帯域フィルタと前記励起光を通す励起フィルタが、切り替え可能なように配置された光源と、
生体組織に前記2つの照明光が照射され、反射された2つの反射光画像と、前記励起光により励起された蛍光による蛍光画像を撮像するため、前記励起光は遮断し、前記蛍光と反射光を透過する蛍光検出フィルタが内蔵された撮像手段と、 前記2つの反射光画像と蛍光画像とを処理して処理画像を構築する画像処理手段と、
前記処理画像を表示する表示手段よりなる内視鏡装置において、
前記2つの帯域フィルタと蛍光検出フィルタの波長帯域は、生体組織からの2つの異なる帯域フィルタによる反射光と蛍光検出フィルタによる蛍光を3軸とした空間座標軸上にプロットした際、正常組織と病変組織が3軸空間座標軸上で分離するように帯域フィルタと蛍光検出フィルタの波長が選択されるようにしたことを特徴とする内視鏡装置。
8′.2つの異なる波長帯域の照明光と蛍光を励起するための励起光を順次照明するため、前記波長帯域を通す2つの帯域フィルタと前記励起光を通す励起フィルタが、切り替え可能なように配置された光源と、
生体組織に前記2つの照明光が照射され、反射された2つの反射光画像と、前記励起光により励起された蛍光による蛍光画像を撮像するため、前記励起光は遮断し、前記蛍光と反射光を透過する蛍光検出フィルタが内蔵された撮像手段と、 前記2つの反射光画像と蛍光画像とを処理して処理画像を構築し、画像表示手段に出力する画像処理手段と、
を有する内視鏡装置において、
前記2つの帯域フィルタと蛍光検出フィルタの波長帯域は、生体組織からの2つの異なる帯域フィルタによる反射光と蛍光検出フィルタによる蛍光を3軸とした空間座標軸上にプロットした際、正常組織と病変組織が3軸空間座標軸上で分離するように帯域フィルタと蛍光検出フィルタの波長が選択されるようにしたことを特徴とする内視鏡装置。
9.付記8において、反射光像の波長帯域を特定の波長に制限する各々の帯域フィルタは、ヘモグロビンの光の吸収帯を含む波長帯域を透過するフィルタと、ヘモグロビンの光の非吸収帯を含む波長帯域を透過するフィルタであることを特徴とする。
10.付記8において、反射光像の波長帯域を特定の波長に制限する各々の帯域フィルタは、550nmを含む波長帯域を透過するフィルタと、600nmを含む波長帯域を透過するフィルタであり、蛍光像の波長帯域を特定の波長に制限する蛍光検出フィルタは、520nmを含む波長帯域を透過するフィルタであることを特徴とする。
11.付記10において、反射光像の波長帯域を特定の波長に制限する各々の帯域フィルタが透過する波長幅は、当該20nm、ないし20nm以下であることを特徴とする。
12.付記10において、蛍光像の波長帯域を特定の波長に制限する蛍光検出フィルタは、520nmを含むとともに、620nm以上の光を遮断する特性を持つことを特徴とする。
13.2つの異なる波長帯域の照明光と蛍光を励起するための励起光を順次照明するため、前記波長帯域を通す2つの帯域フィルタと前記励起光を通す励起フィルタが、切り替え可能なように配置された光源と、
生体組織に前記2つの照明光が照射され、反射された2つの反射光画像と、前記励起光により励起された蛍光による蛍光画像を撮像するため、前記励起光は遮断し、前記蛍光と反射光は透過する蛍光検出フィルタが内蔵された撮像手段と、 前記2つの反射光画像と蛍光画像とを処理して処理画像を構築する画像処理手段と、
前記処理画像を表示する表示手段よりなる内視鏡装置において、
前記2つの帯域フィルタと蛍光検出フィルタの波長帯域は、生体組織からの2つの異なる帯域フィルタによる反射光と蛍光検出フィルタによる蛍光を3軸とした空間座標軸上にプロットした際、正常組織と病変組織が3軸空間座標軸上で分離するように帯域フィルタと蛍光検出フィルタの波長が選択され、
前記画像処理手段は、正常組織と病変組織で色相が異なり、病変組織が特定の1つの色相にはいるように、前記反射光と蛍光を特定の色信号に割当て処理する処理回路を含むことを特徴とする内視鏡装置。
13′.2つの異なる波長帯域の照明光と蛍光を励起するための励起光を順次照明するため、前記波長帯域を通す2つの帯域フィルタと前記励起光を通す励起フィルタが、切り替え可能なように配置された光源と、
生体組織に前記2つの照明光が照射され、反射された2つの反射光画像と、前記励起光により励起された蛍光による蛍光画像を撮像するため、前記励起光は遮断し、前記蛍光と反射光は透過する蛍光検出フィルタが内蔵された撮像手段と、 前記2つの反射光画像と蛍光画像とを処理して処理画像を構築し、画像表示手段に出力する画像処理手段と、
を有する内視鏡装置において、
前記2つの帯域フィルタと蛍光検出フィルタの波長帯域は、生体組織からの2つの異なる帯域フィルタによる反射光と蛍光検出フィルタによる蛍光を3軸とした空間座標軸上にプロットした際、正常組織と病変組織が3軸空間座標軸上で分離するように帯域フィルタと蛍光検出フィルタの波長が選択され、
前記画像処理手段は、正常組織と病変組織で色相が異なり、病変組織が特定の1つの色相にはいるように、前記反射光と蛍光を特定の色信号に割当て処理する処理回路を含むことを特徴とする内視鏡装置。
14.付記13において、画像処理手段は、蛍光像をGチャンネルに、反射光像をRチャンネル、またはBチャンネルの色信号に割当て処理することを特徴とする。
本発明の第1の実施の形態の内視鏡装置の全体構成を示すブロック図。 通常観察用フィルタと蛍光観察用フィルタが設けられた切替フィルタの構成を示す図。 通常観察用フィルタ、蛍光観察用フィルタ及び励起光カットフィルタの波長に対する透過特性を示す図。 生体組織より得られる蛍光画像及び反射光画像の波長に対する強度分布の特性例を示す図。 蛍光強度と2つの反射光強度を3軸とした軸空間座標上で正常の部分と病変の部分とをプロットして分布させた様子を示す図。 第1の反射光の波長をパラメータとした場合における第2の反射光の中心波長に対する分離能の変化の様子を示す図。 第1の反射光の波長幅をパラメータとした場合における第2の反射光の中心波長に対する分離能の変化の様子を示す図。 蛍光画像をGチャンネルに、第1及び第2の反射光の画像をB、Rチャンネルに割り付けた場合に得られる正常部分と病変部分の分布を示す色度図。 蛍光画像をGチャンネルに、第1及び第2の反射光の画像をR、Bチャンネルに割り付けた場合に得られる正常部分と病変部分の分布を示す色度図。 蛍光画像をBチャンネルに、第1及び第2の反射光の画像をG、Rチャンネルに設定した場合に得られる正常部分と病変部分の分布を示す色度図を示す図。 蛍光画像をBチャンネルに、第1及び第2の反射光の画像をR、Gチャンネルとに設定した場合に得られる正常部分と病変部分の分布を示す色度図を示す図。 本発明の第2の実施の形態における励起光カットフィルタの透過特性等を示す図。
符号の説明
1A…内視鏡装置
2A…電子内視鏡
3A…光源装置
4A…プロセッサ
5…モニタ
7…挿入部
8…先端部
9…ライトガイドファイバ
10…コネクタ
11…ランプ駆動回路
12…ランプ
13…光源絞り
14…切替フィルタ部
16…回転用モータ
17…切替フィルタ
18…ラック
20…移動用モータ
21…RGBフィルタ
22…蛍光観察用フィルタ
25…対物レンズ系
27…励起光カットフィルタ
28…CCD
29…スコープスイッチ
31…CCD駆動回路
34…A/D変換回路
36a〜36c…フレームメモリ
37…制御回路
38…画像処理回路

Claims (4)

  1. 複数の異なる波長帯域の照明光と、蛍光を励起するための励起光を発生する光源と、
    前記光源からの当該複数の照明光および励起光を生体組織に照射し反射された反射光による各々の反射光画像と、前記励起光により励起された蛍光による蛍光画像とを撮像する撮像手段において撮像した前記反射光画像信号および前記蛍光画像信号を入力し、所定の画像処理を行う画像処理装置と、
    を備えた内視鏡装置であって、
    前記画像処理装置は、前記撮像手段から入力した前記反射光画像信号および前記蛍光画像信号により、生体組織における正常組織と病変組織とを識別するために、
    生体組織より得られる前記反射光または前記蛍光の波長に対する強度分布特性に基づいて、正常組織の分布と病変組織の分布との重なりの分離能Sを
    分離能S=1−(正常組織の分布と病変組織の分布とが重なった部分)/分布全体
    としたとき、
    該分離能Sが最も大きな値を示す波長特性を有し、前記光源における前記複数の異なる波長帯域の照明光を照射した際に得られる画像を処理する
    ことを特徴とする内視鏡装置。
  2. 前記複数の異なる波長帯域の照明光は、中心波長が550nmとなる反射光と、中心波長が600nmとなる反射光とを得るように設定されることを特徴とする請求項1に記載の内視鏡装置。
  3. 前記反射光の波長幅は、20nm以下に設定されることを特徴とする請求項2に記載の内視鏡装置。
  4. 前記光源における前記励起光は、強度のピーク波長が520nmである波長帯域を含むことを特徴とする請求項1−3のいずれか一項に記載の内視鏡装置。
JP2008171623A 2008-06-30 2008-06-30 内視鏡装置 Expired - Fee Related JP5331394B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008171623A JP5331394B2 (ja) 2008-06-30 2008-06-30 内視鏡装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008171623A JP5331394B2 (ja) 2008-06-30 2008-06-30 内視鏡装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2001323937A Division JP4242578B2 (ja) 2001-05-16 2001-10-22 内視鏡装置

Publications (2)

Publication Number Publication Date
JP2008272507A JP2008272507A (ja) 2008-11-13
JP5331394B2 true JP5331394B2 (ja) 2013-10-30

Family

ID=40051185

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008171623A Expired - Fee Related JP5331394B2 (ja) 2008-06-30 2008-06-30 内視鏡装置

Country Status (1)

Country Link
JP (1) JP5331394B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110009694A1 (en) * 2009-07-10 2011-01-13 Schultz Eric E Hand-held minimally dimensioned diagnostic device having integrated distal end visualization
JP5997906B2 (ja) * 2012-01-30 2016-09-28 Hoya株式会社 内視鏡システム及び内視鏡用光源装置
CN107405053B (zh) * 2015-10-22 2019-08-02 奥林巴斯株式会社 内窥镜***
JP7093409B2 (ja) * 2018-06-05 2022-06-29 オリンパス株式会社 内視鏡システム
US20220095891A1 (en) * 2019-02-14 2022-03-31 Dai Nippon Printing Co., Ltd. Color correction device for medical apparatus

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2648494B2 (ja) * 1988-05-02 1997-08-27 オリンパス光学工業株式会社 内視鏡装置
JPH0777580B2 (ja) * 1988-05-02 1995-08-23 オリンパス光学工業株式会社 経内視鏡分光診断装置
JPH1199127A (ja) * 1997-09-29 1999-04-13 Olympus Optical Co Ltd 内視鏡光源装置
JP2001178674A (ja) * 1999-12-24 2001-07-03 Toshiba Corp 内視鏡及び内視鏡用信号処理装置

Also Published As

Publication number Publication date
JP2008272507A (ja) 2008-11-13

Similar Documents

Publication Publication Date Title
JP6184571B2 (ja) 蛍光観察内視鏡システム
JP4855586B2 (ja) 内視鏡装置
US7172553B2 (en) Endoscope system using normal light and fluorescence
JP4855728B2 (ja) 照明装置及び観察装置
JP3869324B2 (ja) 蛍光観察用画像処理装置
JP3962122B2 (ja) 内視鏡装置
JP4818753B2 (ja) 内視鏡システム
JP5226403B2 (ja) 光源装置及びこの光源装置を用いた内視鏡装置
WO2011010534A1 (ja) 透過率調整装置、観察装置、及び観察システム
JP5148054B2 (ja) 撮像システム
US9788709B2 (en) Endoscope system and image generation method to generate images associated with irregularities of a subject
JP5331394B2 (ja) 内視鏡装置
JP3884265B2 (ja) 内視鏡装置
EP1769730A1 (en) Light source device and fluorescence observation system
JP4242578B2 (ja) 内視鏡装置
JP4846917B2 (ja) 蛍光観察用内視鏡装置
JP4716801B2 (ja) 内視鏡撮像システム
JP4575208B2 (ja) 電子内視鏡装置
JP2012081048A (ja) 電子内視鏡システム、電子内視鏡、及び励起光照射方法
JP2012090726A (ja) 電子内視鏡システム、電子内視鏡システムのプロセッサ装置、及び照明光制御方法
JP4679013B2 (ja) 内視鏡用画像処理装置
JP4526322B2 (ja) 内視鏡装置
JP4643253B2 (ja) 蛍光観察システム
JP5152795B2 (ja) 蛍光画像取得装置および蛍光画像取得装置の作動方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110412

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110613

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120717

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130702

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130729

R151 Written notification of patent or utility model registration

Ref document number: 5331394

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees