JP6833310B2 - 内視鏡システム - Google Patents

内視鏡システム Download PDF

Info

Publication number
JP6833310B2
JP6833310B2 JP2015147909A JP2015147909A JP6833310B2 JP 6833310 B2 JP6833310 B2 JP 6833310B2 JP 2015147909 A JP2015147909 A JP 2015147909A JP 2015147909 A JP2015147909 A JP 2015147909A JP 6833310 B2 JP6833310 B2 JP 6833310B2
Authority
JP
Japan
Prior art keywords
image
region
unit
cauterization
ablation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015147909A
Other languages
English (en)
Other versions
JP2017023604A (ja
Inventor
光貴 小久保
光貴 小久保
邦彦 比地原
邦彦 比地原
俊明 渡邉
俊明 渡邉
賢司 高辻
賢司 高辻
健太郎 河野
健太郎 河野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2015147909A priority Critical patent/JP6833310B2/ja
Publication of JP2017023604A publication Critical patent/JP2017023604A/ja
Application granted granted Critical
Publication of JP6833310B2 publication Critical patent/JP6833310B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Surgical Instruments (AREA)
  • Endoscopes (AREA)

Description

本発明は、組織を焼灼する内視鏡システムに関する。
花粉症などアレルギー性鼻炎の反応は、主に図1に示す鼻腔内の下鼻甲介で引き起こされる(特許文献1参照)ことが知られている。そして、近年、下鼻甲介の表面の組織を焼灼によって凝固し、失活させることによってアレルギー反応を抑える手技が取り入れられている。
鼻腔粘膜表面の焼灼は、顕微鏡下でアルゴンプラズマ凝固装置(以下、焼灼装置と略記する)を用いて行われる。焼灼装置においては、電導性の高いアルゴンガスを処置用プローブの先端から噴出しつつ、高周波電流を流すことによりプラズマ(アルゴンビームともいう)が発生する。
アルゴンビームは、電流密度が低く均一であるため、レーザー装置のように組織を炭化させたり、灼けすぎを起こす心配が少なく、組織を均一に凝固することができる。
しかし、耳鼻科用の硬性な内視鏡を用いて下鼻甲介の組織を凝固する場合、術者は、内視鏡と処置用プローブとをそれぞれ別々に鼻腔内に挿入して処置を行う。
具体的に、術者は、内視鏡システムのモニタ画面上に下鼻甲介の内視鏡画像を表示させ、該画像を観察しつつ処置用プローブを鼻腔内に挿入して被検部位に対してアルゴンビームを照射して組織を凝固する。
下鼻甲介の組織の表面積は、アルゴンビームの照射範囲に比べて広い。このため、術者は、内視鏡を移動させる操作と、処置用プローブから被検部位にアルゴンビームを照射する処置と、を繰り返し行う。
特表2002−508214号公報
しかしながら、内視鏡を移動させる操作と、処置用プローブによる凝固処置と、を繰り返し行い、且つ、下鼻甲介の組織を焼き残し無く凝固させる技術は熟練を要する。
本発明は上記事情に鑑みてなされたものであり、内視鏡観察しつつ、処置用プローブを用いて広範な被検部位を万遍なく凝固する内視鏡システムを提供することを目的にしている。
本発明の一態様の内視鏡システムは、被検体の鼻腔に係る下鼻甲介を含む所定部位を被検部位として当該被検部位を凝固させるための焼灼用エネルギを生成する焼灼用エネルギ生成部と、前記焼灼用エネルギの照射を制御する焼灼制御部と、を有するジェネレータと、前記ジェネレータに接続され、前記焼灼制御部の制御下に前記焼灼用エネルギ生成部において生成した焼灼用エネルギを前記被検部位に照射する焼灼プローブと、焼灼される部位を含む前記被検部位を照明する白色光及び該被検部位の組織から蛍光を発生させるための励起光を供給する光源装置と、前記光源装置からの白色光及び励起光を前記被検部位に向けて照射する照明光学系、該被検部位からの白色光を撮像する白色光撮像系及び当該被検部位の組織から発生した蛍光を撮像する蛍光撮像系を有する撮像装置を内蔵した内視鏡と、前記撮像装置から出力された画像信号を処理して前記被検部位の白色光観察画像及び蛍光観察画像を生成して出力する画像処理部と、前記蛍光観察画像における所定の基準領域及び焼灼される部位に対応する注目領域をそれぞれ設定する領域識別処理部と、前記被検部位における焼灼状態を判別して判別信号を生成する焼灼判別部と、前記焼灼判別部からの判別信号を受けて前記ジェネレータに指示信号を出力する機能を含む制御部と、を具備するビデオプロセッサと、を具備し、前記領域識別処理部は、前記蛍光観察画像に含まれる一部の領域を予め抽出して前記注目領域を設定するとともに、前記蛍光観察画像に含まれる前記一部の領域とは異なる他の一部の領域を予め抽出することにより前記基準領域を設定し、かつ、前記注目領域を新たに設定する度に前記基準領域を新たに設定し、前記焼灼判別部は、前記領域識別処理部において設定された、前記蛍光観察画像における前記基準領域と前記注目領域とに係るそれぞれの輝度値に基づいて当該注目領域に対応する焼灼される部位の焼灼状態を判別して当該部位が焼灼完了である場合に前記判別信号を出力し、前記制御部は、前記判別信号に基づいて、前記ジェネレータにおける前記焼灼制御部に対して焼灼完了に係る指示信号を出力する。
本発明によれば、内視鏡観察しつつ、処置用プローブを用いて広範な被検部位を万遍なく凝固する内視鏡システムを実現できる。
鼻を説明する解剖図 内視鏡システムを説明する図 装着具を説明する図 装着具の装着部を構成する装着部本体と蓋部材とを説明する図 装着具のプローブ保持部を説明する図 装着部本体と蓋部材との間に係合凸部を配置して組み付けられる装着具を説明する図 内視鏡の挿入部及び焼灼プローブのプローブ本体と下鼻甲介との関係を説明する図 図4Aの矢印Y4B方向から見た図であって、下鼻甲介の被検部位全体を焼灼するために必要な複数の焼灼領域の一例を説明する図 画面に表示された被検画像と処置画像とを含む白色光観察画像を説明する図 画面表示を図5Aで示されていた白色光観察画像から蛍光観察画像に切り替えた状態を説明する図 画面に表示された蛍光観察画像であって、 画面に表示された蛍光観察画像中に表示された焼灼完了画像を説明する図 画面表示を図5Dで示されていた蛍光観察画像から白色光観察画像に切り替えた状態を説明する図 画面表示を図5Eで示されていた白色光観察画像から蛍光観察画像に切り替えた図であって、新たな基準領域と注目領域との設定位置を説明する図 焼灼完了画像に加えてさらに焼灼完了画像が表示された画面を説明する図 Y軸方向の一列の焼灼領域の焼灼を完了させた状態を示す図及びプローブ本体の処置部を移動させる手順を説明する図 全ての焼灼領域を焼灼した下鼻甲介の凝固処置完了状態を説明する図 凝固処理が万遍なくなされた焼灼完了画像を示す図 凝固ムラが生じた焼灼完了画像を示す図 複数であって例えば3つの撮像装置を有する内視鏡を説明する図 図7Aの内視鏡の3つの撮像装置により得られる内視鏡画像を説明する図 放射口識別部を説明する図 さらに放射口識別部の有無を判定する識別部判別部を有するビデオプロセッサを説明する図
以下、図面を参照して本発明の実施の形態を説明する。
なお、以下の説明に用いる各図において、各構成要素を図面上で認識可能な程度の大きさとするため、構成要素毎に縮尺を異ならせてあるものもある。また、本発明は、これらの図に記載された構成要素の数量、構成要素の形状、構成要素の大きさの比率、及び各構成要素の相対的な位置関係のみに限定されるものではない。
図2を参照して内視鏡システムを説明する。
内視鏡システム1は、内視鏡2と、光源装置3と、ビデオプロセッサ4と、焼灼システム5と、表示装置6と、を備えている。符号7は、装着具であり、装着具7は、装着部7aと、プローブ保持部7bと、を有している。
なお、符号8は鼻腔であり、符号8aは下鼻甲介であり、符号8aiは下鼻甲介の一部の画像であり、符号56iはプローブ先端画像である。
本実施形態において、光源装置3は、内視鏡2に照明光を供給する。
光源装置3は、白色光発生部31と、励起光発生部32と、ダイクロイックミラー33及び34と、集光レンズ35と、光源制御部36と、を有している。
白色光発生部31は、例えば、広帯域な白色光を発するLED等を具備して構成されている。なお、LEDの代わりにキセノンランプ等のランプであってもよい。励起光発生部32は、例えば、被検体組織の自家蛍光の励起波長を含む所定の波長帯域の光(励起光)を発するLED等を具備して構成されている。
第1ダイクロイックミラー33は、例えば、白色光発生部31から発せられる白色光を透過させて集光レンズ35側に導くとともに、励起光発生部32から発せられる励起光を集光レンズ35側へ反射させる光学特性を有している。
これに対して、第2ダイクロイックミラー34は、例えば、励起光発生部32から発せられる励起光を第1ダイクロイックミラー33側へ反射するような光学特性を有している。
集光レンズ35は、第1ダイクロイックミラー33を経て入射される光を集光してライトガイドファイバ束27端面へ出射する。
光源制御部36は、ビデオプロセッサ4から出力される照明光制御信号に応じて白色光発生部31及び励起光発生部32に対する制御を行う。
そして、白色光発生部31及び励起光発生部32は、光源制御部36から出力される制御信号にしたがって、点灯状態または消灯状態に切り替えられる。また、白色光発生部31及び励起光発生部32は、光源制御部36から出力される制御信号にしたがった光量の白色光または励起光を発生する。
すなわち、光源制御部36は、ビデオプロセッサ4から出力される照明光制御信号に応じて、内視鏡2の観察モードを白色光をライトガイドファイバ束27に供給する白色光観察モードと、励起光をライトガイドファイバ束27に供給する蛍光観察モードと、に切り替えている。
図2に示す内視鏡2は、硬性で外形が円形の挿入部21と、挿入部21の基端側に設けられた細長で筒状の操作部22と、操作部22の側部から延出するユニバーサルコード23と、を備えている。
内視鏡2は、挿入部21の先端側に撮像部を構成する撮像装置11を内蔵している。本実施形態において撮像装置11の視野方向は、挿入部長手軸21a方向に対して直交する方向に設定されている。
白色光及び蛍光を被検部位に照射する照明光学系の照明窓(不図示)及び観察窓24は、挿入部21の先端側の側面、である側周面の予め定めた位置に設けられている。そして、撮像装置11は、白色光撮像系12、蛍光撮像系13、観察窓24、ダイクロイックプリズム25、励起光カットフィルタ26、回路基板(不図示)、信号線18等を備えている。
を有し、
白色光撮像系12は、白色光観察モード時に観察窓24を経て入射される戻り光としての白色光の反射光を撮像する。蛍光撮像系13は、蛍光観察モード時に観察窓24を経て入射される戻り光としての蛍光を撮像する。
ダイクロイックプリズム25は、白色光を反射する一方蛍光を透過させる分光特性を有している。そして、観察窓24を経て入射する戻り光は、ダイクロイックプリズム25により互いに直交する2つの光軸に分けられる。
励起光カットフィルタ26は、光源装置3から発せられる励起光の波長帯域をカットする分光特性を備える。
白色光撮像系12は、白色光用光学系である第1結像光学系14及び白色光用撮像素子である第1撮像素子15を有している。第1結像光学系14は、ダイクロイックプリズム25により反射された白色光を結像する。
第1撮像素子15は、例えば、原色系または補色系のカラーフィルタを撮像面に設けたカラーCCDにより構成される。第1撮像素子15は、ビデオプロセッサ4から出力される撮像素子駆動信号に応じた撮像動作を行うように構成され、第1結像光学系14により結像された白色光を撮像し、当該撮像した白色光に応じた撮像信号を生成して出力する。
蛍光撮像系13は、励起光カットフィルタ26と、蛍光用結像光学系である第2結像光学系16及び蛍光用撮像素子である第2撮像素子17と、を有している。第2結像光学系16は、ダイクロイックプリズム25および励起光カットフィルタ26を透過した蛍光を結像する。
第2撮像素子17は、例えば、高感度なモノクロCCDにより構成される。第2撮像素子17は、ビデオプロセッサ4から出力される撮像素子駆動信号に応じた撮像動作を行うように構成され、第2結像光学系16により結像された蛍光を撮像し、当該撮像した蛍光に応じた撮像信号を生成して出力する。
符号19は信号処理回路である。信号処理回路19は、第1撮像素子15から出力される撮像信号に対して所定の信号処理(相関二重サンプリング処理、ゲイン調整処理、及び、A/D変換処理等)を施すとともに、第2撮像素子17から出力される撮像信号に対して同様に信号処理を施す。そして、信号処理回路19は、所定の信号処理を施した白色光画像信号及び蛍光画像信号をそれぞれ電気ケーブル(図1の符号28参照)が接続されたビデオプロセッサ4へ出力する
操作部22は、把持部を兼用し、その側部にはスイッチ22a、22b等が設けられている。複数のスイッチ22a、22b等は、フリーズ信号を発生させるフリーズスイッチ、或いは、写真撮影を行う際のレリーズ信号を発生させるレリーズスイッチ、観察モード切替スイッチ等として機能する。
本実施形態において、第1スイッチ22aは、観察モード切替スイッチである。
ユニバーサルコード23内には、照明光学系を構成する照明光を伝送するライトガイドファイバ束27、スイッチ22a、22b等から延出される信号線(不図示)、撮像装置11から延出される信号線等が挿通している。
ユニバーサルコード23の基端部には内視鏡コネクタ23cが設けられている。ユニバーサルコード23は、内視鏡コネクタ23cを介して光源装置3に着脱自在である。
符号28は電気ケーブルであり、スイッチ22a、22b等から出力された信号、撮像装置11に入力される信号、或いは、撮像装置11から出力される信号等を伝送する電線を有する。電気ケーブル28は、それぞれの端部に第1コネクタ28c1、第2コネクタ28c2を有する。第1コネクタ28c1は、内視鏡コネクタ23cに着脱自在で、第2コネクタ28cはビデオプロセッサ4に着脱自在である。
なお、内視鏡は、挿入部が硬性な電子式に限定されるものでは無く、挿入部が軟性な電子式の内視鏡であってもよい。また、内視鏡は、挿入部内に例えばリレーレンズを配設したいわゆる光学視管、或いは、挿入部内にイメージガイドファイバを配設した所謂ファイバスコープであってもよい。そして、光学視管、ファイバスコープの場合、接眼部には白色光撮像系及び蛍光撮像系を有する撮像装置11がカメラユニットに設けられる。
ビデオプロセッサ4は、撮像素子駆動部41と、画像信号入力部42と、領域識別処理部43と、焼灼判別部44と、画像処理部45と、制御部46と、を主に有している。
撮像素子駆動部41は、例えば、ドライバ回路等を具備して構成されている。また、撮像素子駆動部41は、制御部46の制御に応じた撮像素子駆動信号を生成して出力する。
画像信号入力部42は、例えば、バッファメモリ等を具備し、信号処理回路19から順次出力される画像を1フレーム分蓄積するとともに、当該蓄積した画像を1フレーム分ずつ制御部46へ出力する。また、画像信号入力部42は、制御部46の制御に応じ、白色光観察モード時に蓄積した白色光画像を1フレーム分ずつ画像処理部45へ出力する。また、画像信号入力部42は、制御部46の制御に応じ、蛍光観察モード時に蓄積した蛍光画像を1フレーム分ずつ領域識別処理部43及び画像処理部45へ出力する。
領域識別処理部43は、制御部46の制御に応じ、例えば、画像信号入力部42から1フレーム分ずつ順次出力される蛍光画像に対してラベリング処理を施すことにより、当該蛍光画像に含まれる基準領域及び注目領域(焼灼領域に対応する)をそれぞれ識別可能な状態にする。また、領域識別処理部43は、ラベリング処理を施した蛍光画像を焼灼判別部44へ出力する。
焼灼判別部44は、例えば、演算処理回路を具備している。また、焼灼判別部44は、制御部46の制御に応じ、領域識別処理部43から1フレーム分ずつ順次出力される蛍光画像の基準領域に含まれる各画素の輝度値と、当該蛍光画像の注目領域に含まれる各画素の輝度値と、に基づき、基準領域に対する注目領域の蛍光の強度比を示す演算値を算出する演算処理を行う。また、焼灼判別部44は、制御部46の制御に応じ、前述の演算処理の処理結果として得られた演算値を画像処理部45へ出力する。
画像処理部45は、例えば、所定の画像処理を行うための画像処理回路等を具備している。また、画像処理部45は、制御部46の制御に応じ、白色光観察モード時に画像信号入力部42から1フレーム分ずつ順次出力される白色光画像に対して所定の画像処理を施すことにより白色光観察画像を生成する。そして、生成した白色光観察画像を表示装置6へ出力する。
加えて、画像処理部45は、制御部46の制御に応じ、蛍光観察モード時に画像信号入力部42から1フレーム分ずつ順次出力される蛍光画像に対して所定の画像処理を施すことにより蛍光観察画像を生成する。そして、当該生成した蛍光観察画像を表示装置6へ出力する。
また、画像処理部45は、制御部46の制御に応じ、蛍光観察モード時において、領域識別処理部43から出力される蛍光画像と、焼灼判別部44から出力される演算値と、に基づいて、基準領域に対する注目領域の蛍光の発生状態を可視化して表示させる処理を行う。
言い換えれば、制御部46は、蛍光観察モードにおいて、画像信号入力部42から出力される蛍光画像の中から基準領域及び注目領域をそれぞれ抽出するとともに、当該抽出した基準領域に対する注目領域の蛍光の発生状態を可視化した情報にして表示装置6に表示させるための制御を領域識別処理部43、焼灼判別部44及び画像処理部45に対して行う。
本実施形態において、術者が観察モード切替スイッチ22aを操作することによって白色光観察モードから蛍光観察モードに、蛍光観察モードから白色光観察モードに切り替わるようになっている。
また、制御部46は、例えば、CPU等を具備し、観察モード切替スイッチ(以下、モードスイッチと記載する)22aからの指示信号にしたがって観察モードに対応する照明光を出射させる照明制御信号を生成して光源制御部36へ出力する。
焼灼システム5は、ジェネレータであるプローブ駆動装置9と、このプローブ駆動装置9に着脱自在な処置用プローブである焼灼プローブ50と、を有する。
プローブ駆動装置9は、被検部位の組織を凝固させる焼灼用エネルギを生成する。プローブ駆動装置9は、アルゴンガスを充填した圧縮ガス源91と、圧縮ガス源91から供給されるアルゴンガスを調圧する圧力調整器92と、高周波電流を発生させるための高周波電源93と、焼灼制御部94と、を有する。
焼灼制御部94は、圧力調整器92、高周波電源93を制御する。圧力調整器92は、調圧したアルゴンガスを焼灼プローブ50に供給する。高周波電源93は、発生した高周波電流を焼灼プローブ50に供給する。
焼灼プローブ50は、プローブ本体51と、処置部52と、可撓性チューブ体53と、を有して構成されている。プローブ本体51は、硬性で予め定めた直径及び長さを有する絶縁性の管体である。
処置部52は、プローブ本体51の先端側に位置して先端開口を有する。先端開口は、焼灼用エネルギであるアルゴンビームを放射するため放射口である。処置部52は、プローブ本体51の長手軸に対して側方に屈曲されている。
可撓性チューブ体53は、絶縁性を有し、プローブ本体51の基端側から延出されている。可撓性チューブ体53の基端部にはプローブコネクタ53cが設けられている。焼灼プローブ50は、プローブコネクタ53cを介してプローブ駆動装置9に取り付け、取り外しが自在である。
プローブ本体51及び可撓性チューブ体53内にはガス用チューブ54が挿通配置されている。ガス用チューブ54内には高周波用ケーブル55が挿通している。
プローブコネクタ53cをプローブ駆動装置9に接続することによって、ガス用チューブ54が圧力調整器92に対して連通し、高周波用ケーブル55が高周波電源93に電気的に接続される。
処置部52の先端開口近傍には高周波電極56が配置されている。高周波電極56には高周波用ケーブル55が接続されている。
なお、プローブ駆動装置9には図示しない例えばフットスイッチが接続されている。フットスイッチがON操作されると、被検部位に向けてアルゴンガスが放出されるとともに、高周波電極56に高周波電流が供給される。この結果、処置部52から下鼻甲介8aの被検部位に向けてアルゴンビームが照射される。
また、図示は省略するがプローブ駆動装置9の正面パネルにはアルゴンガスの流量を設定する流量設定部、高周波電流の出力値を設定する電流設定部等が設けられている。アルゴンガス流量、高周波電流値を適宜設定することによって照射範囲を調整できるようになっている。
また、プローブ本体51の基端部側は、装着具7の後述するプローブ挿通孔(図3Aの符号7n参照)に配置されるようになっている。
符号57は突起部である。突起部57は、プローブ本体51の処置部52近傍から該処置部52の屈曲方向に突出している。突起部57の先端部は、下鼻甲介8aの表面に接触する半球部として形成されている。
したがって、突起部57の半球部を下鼻甲介8aの表面上に配置することによって、処置部52の先端開口から下鼻甲介8aの表面までの距離が予め定めた距離に規定される。すなわち、突起部57の突出長は、アルゴンビームによる焼灼に最適な距離に設定されている。
そして、上記最適な距離は、アルゴンガスの流量、高周波電流の出力値等、種々のパラメータに基づき、予めの実験、或いは、シミュレーション等によって求められる。
図2、図3Aに示す装着具7は、樹脂製、あるいは、金属製の硬性部材であって、上述したように装着部7a及びプローブ保持部7bを有する。
プローブ保持部7bは、装着部7aの係合溝7gに摺動自在に配置されるようになっている。
符号7gは係合溝であり、符号7hは挿入部挿通孔である。
図3Bに示すように装着部7aは、装着部本体7cと蓋部材7dと、を有し、例えば、螺合によって取り付け取り外し自在である。
装着部本体7cは、段付き部材であって太径部7eと細径部7fとを有し、太径部7eと細径部7fとの段差面には係合溝7gとなる第1環状溝7g1が形成されている。
太径部7eには挿入部21が配置される挿入部挿通孔7hが形成されている。細径部7fは、外周面には雄ネジが形成されている。
蓋部材7dは、環状部材であって、段差面に当接配置される一面には係合溝7gとなる第2環状溝7g2が設けられている。そして、蓋部材7dは、貫通孔7iを有し、貫通孔7iの内周面には細径部7fの雄ネジと螺合する雌ネジが形成されている。
図3Cに示すようにプローブ保持部7bは、保持部本体7kと、係合凸部7mとを有する。保持部本体7kにはプローブ本体51が予め定めた遊嵌状態で配置されるプローブ挿通孔7nが形成されている。プローブ挿通孔7nは、例えば長孔であって、挿入部挿通孔7hの中心軸方向に向かって細長である。
係合凸部7mは、先端側の球状部7qと、保持部本体7k側の円柱部7rとを有する。球状部7qの外径は、円柱部7rの外径より大径に設定してある。
ここで、図3Dを参照して装着具7の組付けを説明する。
図3Dに示すようにプローブ保持部7bの係合凸部7mを装着部本体7cの第1環状溝7g1に配置する。この状態で、プローブ保持部7bと蓋部材7dとを螺合していく。このことによって、装着部本体7cと蓋部材7dとの間に係合凸部7mが脱落すること無く摺動自在に配置されて、装着部7aに摺動自在なプローブ保持部7bを備えた装着具7が構成される。
ここで、本実施例の内視鏡システム1を用いたアレルギー性鼻炎の処置を説明する。
術者は、処置を開始するにあたって内視鏡2の挿入部21を装着具7の7h内に配設し、プローブ本体51を装着具7のプローブ挿通孔7n内に配設しておく。
処置を開始する際、まず、術者は、光源装置3、ビデオプロセッサ4、表示装置6、及びプローブ駆動装置9をオン状態にする。すると、表示装置6の画面6a上に白色光観察画像が表示される状態になる。
ここで、術者は、画面6a上に表示される白色光観察画像を観察しつつ図4Aに示すように挿入部21及びプローブ本体51を鼻腔8内に挿入する。図で判るようにアルゴンビームによる1つの焼灼領域CAに比べて下鼻甲介8aは、広範である。
したがって、下鼻甲介8aを万遍なく焼灼するためにアルゴンビームによる焼灼を繰り返し行う必要がある。そして、図4Bに示すように焼灼領域CA01、CA02、CA03、CA04、CA11、…、CA15、CA21、…、CA24、…CA61、CA62、CA63、CA64を全て焼灼することによって下鼻甲介8aを万遍なく凝固できる。
そのため、術者は、例えば下鼻甲介8aの奥方からY軸方向に焼灼処置を繰り返し行い、続いて、挿入部21及びプローブ本体51を手元側(X軸方向)に移動させた後、再びY軸逆方向に焼灼処置を繰り返し行って、…、そして、上述した焼灼領域CA01、…CA64を設けている。
なお、焼灼領域CAの数は、上述に限定れるものでは無く、焼灼領域CAの大きさを適宜設定することによって変化する。
焼灼を行うにあたって術者は、図4Aの破線に示すようにプローブ本体51を前進させていく。すると、図5Aに示すように画面6a上に下鼻甲介8aの被検部位8bの被検部位画像(以下、被検画像と略記する)8biと処置部52の処置部画像52iが表示される。
術者は、画面6aを観察しつつ、アルゴンビームによる焼灼領域CA01を考慮したうえで、処置部画像52iを被検画像8bi中の所望する位置に配置する。
ここで、術者は、モードスイッチ22aを操作して画面6a上の白色光観察画像を蛍光観察画像に変更する。すると、図5Bに示すように画面6a上に被検部位蛍光画像8bfが表示される。このとき、処置部52は、蛍光観察画像中には処置部蛍光画像としては表示されない。
次に、術者は、ビデオプロセッサの正面パネルに設けられている図示されていない入力I/Fを操作して、蛍光の発生状態の基準として扱う基準領域Arと、蛍光の発生状態の比較対象として扱う注目領域Aiと、をそれぞれ設定する指示を行う。
制御部46は、入力I/Fから入力された指示に従い、画像信号入力部42から出力される蛍光画像の中から基準領域及び注目領域をそれぞれ抽出するための処理を行う。
そして、制御部46は、基準領域Ar1及び注目領域Ai1を抽出した後、基準領域Ai1に対する注目領域Ar1の現在の蛍光の強度比を示す情報を得るための制御を領域識別処理部43、焼灼判別部44、及び画像処理部45に対して行う。
この結果、領域識別処理部43は、図5Cの画面6a上に示す基準領域Ar1と注目領域Ai1と、を設定する。焼灼判別部44は、設定した基準領域Ar1の蛍光の輝度に対して注目領域Ai1の蛍光の輝度が例えば10パーセント以下の輝度(閾値と記載する)になったことを判定したとき、制御部46に判別信号である焼灼完了を告知する第1信号を出力するように設定される。画像処理部45は、制御部46から出力される予め定めた指示信号に基づいて、注目領域Ai1を蛍光観察画像表示状態、白色光観察画像表示状態に関わらず、画面6a上に閾値以下の蛍光輝度に低下した注目領域Ai1を例えば白色に表示して告知する重畳処理を行うように設定される。
なお、本実施例の基準領域Ar及び注目領域Aiは、1画素以上の画素数を具備する画素領域としてそれぞれ設定される。
次いで、術者は、フットスイッチを操作する。すると、処置部52からアルゴンビームが注目領域Ai1に向かって照射される。この結果、注目領域Ai1は、アルゴンビームの照射に伴って焼灼されていく。
焼灼が進行することによって注目領域Ai1の輝度が低下していく。そして、注目領域Ai1の輝度が閾値以下になったことを焼灼判別部44が判定すると、該焼灼判別部44から制御部46に第1信号が出力される。
制御部46は、第1信号を受けると同時に、画像処理部45及びプローブ駆動装置9に対して指示信号を出力する。すなわち、制御部46は、画像処理部45に対して重畳処理を指示する一方、プローブ駆動装置9の焼灼制御部94に対して焼灼用エネルギ出力の停止を指示する。
この結果、注目領域Ai1に対するアルゴンビームの照射が停止されると共に、図5Dに示すように画面6a上に注目領域Ai1の焼灼を完了したことを告知する例えば白色の焼灼完了画像CA01iが表示される。
術者は、画面6a上に白色の焼灼完了画像CA01iが表示されることによって、被検部位8bに設定した注目領域Aiに対する焼灼が完了したことを認識する。
なお、焼灼完了画像CA01iは、図4Bの焼灼領域CA01に対応している。
この後、術者は、次の処置に移行するためモードスイッチ22aを操作して画面6a上の蛍光観察画像を白色光観察画像に変更する。
すると、図5Eに示すように画面6a上に被検画像8bi、処置部画像52i及び白色の焼灼完了画像CA01iが表示される。
この状態で、術者は、焼灼領域CA02を得るため、装着具7のプローブ保持部7bを装着部7aの係合溝7gに沿って移動させる。この結果、図5Eに示すように処置部画像52iが実線に示した位置からハッチングを施した実線の位置に移動される。
ここで、術者は、モードスイッチ22aを操作して画面6a上の白色光観察画像を蛍光観察画像に変更すると共に、入力I/Fを操作して、新たな基準領域Ar2と、注目領域Ai2と、をそれぞれ設定する指示を行う。
制御部46は、入力I/Fから入力された指示に従って上述した処理を行う。
この結果、領域識別処理部43は、図5Fの画面6a上に示す基準領域Ar2と注目領域Ai2と、を設定する一方、焼灼判別部44及び画像処理部45は上述と同様に設定される。
次いで、術者は、フットスイッチを操作する。すると、処置部52からアルゴンビームが注目領域Ai2に向かって照射されて、注目領域Ai2が焼灼されていく。そして、焼灼判別部44から注目領域Ai2の輝度が閾値以下になることによって第1信号が制御部46に出力される。
すると、上述と同様に制御部46は、第1信号を受けると同時に、画像処理部45に対して重畳処理を指示する一方、プローブ駆動装置9の焼灼制御部94に対してエネルギ出力を停止する指示を行う。
この結果、注目領域Ai2に対するアルゴンビームの照射が停止されると共に、図5Gに示すように焼灼完了画像CA01iに加えて、画面6a上に注目領域Ai2である焼灼領域CA02の焼灼を完了したことを告知する焼灼完了画像CA02iが表示される。
術者は、画面6a上に焼灼完了画像CA02iが表示されることによって、被検部位8bに設定した新たな注目領域Ai2の焼灼が完了したことを認識する。
この後、術者は、上述した手順を繰り返し行ってプローブ保持部7bを移動させ図5Hに示すようにY軸方向の焼灼領域CA03、CA04の焼灼を完了させる。
次いで、術者は、挿入部21、プローブ本体51を破線に示す位置から実線に示す手元側に移動させる。その後、儒者は、上述した移動操作、モード切替操作、入力I/Fによる指示、処置操作等を繰り返し行って、焼灼領域CA15、…、CA11の順に焼灼を完了させていく。
そして、術者が、これら操作を繰り返し行うことによって、図5Iに示すように焼灼領域CA01、CA02、…、CA63、CA64を焼灼して下鼻甲介8aの凝固処置を完了する。
凝固処理完了後、術者は、白色光観察画像と蛍光観察画像とを切替操作して、下鼻甲介8aの凝固ムラ、凝固抜けの有無等を確認する。
ここで、凝固処理が万遍なくなされているとき、図6Aに示すように画面6a上には焼灼完了画像CA01i、CA02i、…、CA63i、CA64iが隙間無く表示される。
これに対して、凝固むらが生じていた場合には、図6Bに示すように画面6a上の例えば焼灼完了画像CA35iと焼灼完了画像CA33iとの間に空隙6s1が表示され、例えば画面6aの左下隅に空隙6s2が表示される。
したがって、容易に凝固ムラを発見できる。
術者は、凝固ムラを確認したとき、空隙6s1、6s2に対して上述した焼灼処置を行って、凝固ムラを解消する。
このように、蛍光観察画像と白色光観察画像とを得られる内視鏡2を使用することによって、凝固処置完了後、凝固ムラの有無の確認を容易に行うことができる。
また、蛍光観察画像と白色光観察画像とを得られる内視鏡2が接続されるビデオプロセッサ4に、基準領域の輝度に対して注目領域の輝度が予め定めた輝度以下になったことを判定するとともに、判定後には制御部46へ焼灼完了を告知する第1信号を出力する焼灼判別部44を設けている。そのうえで、制御部46に第1信号を受けると同時にプローブ駆動装置9に対してエネルギ出力の停止を指示する指示信号を出力する構成にしている。
この結果、注目領域である複数の焼灼領域を、焼きすぎること無く均一に焼灼することができる
なお、上述した実施形態においては、閾値を基準領域Ar1の蛍光の輝度に対して注目領域Ai1の蛍光の輝度が10パーセント以下に設定している。しかし、閾値は、10パーセント以下に限定されるもので無く、それ以上或いはそれ未満であってもよい。
さらに、制御部46に第1信号を受けると同時に画像処理部45に蛍光観察画像表示状態、或いは、白色光観察画像表示状態に関わらず画面6a上に焼灼完了部位を告知する例えば白色の焼灼完了画像を重畳させる処理を指示する指示信号を出力する構成にしている。
この結果、術者は、画面上に表示された焼灼完了画像を視認して、注目領域の焼灼完了を認識できると共に、画面上に表示された複数の焼灼完了画像を確認することによって焼き残しの不具合を解消して焼灼処置をより確実に行うことができる。
なお、上述した実施形態において、内視鏡2は、挿入部21の先端側に1つの撮像装置11を内蔵する、としている。しかし、内視鏡2の挿入部21の先端側に図7Aに示すように撮像装置11を複数、例えば3つ設けるようにしてもよい。
ここで、3つの撮像装置は、全て撮像装置11であり、第1撮像装置11、第2撮像装置11A、第3撮像装置11Bと記載する。
そして、各撮像装置11、11A、11Bが有する観察窓24を挿入部21の長手軸に沿って長手方向に一列に配列している。
この構成において、ビデオプロセッサ4の画像信号入力部42には、各撮像装置11、11A、11Bがそれぞれ有する撮像素子14、17から出力されてそれぞれの信号処理回路19で信号処理した白色光画像信号及び蛍光画像信号が出力される。
そして、画像処理部45では画像信号入力部42から順次出力される白色光画像に所定の画像処理を施して合成した白色光観察画像を生成して表示装置6に出力すると共に、画像信号入力部42から順次出力される蛍光画像に所定の画像処理を施して合成した蛍光観察画像を生成して表示装置6に出力する
この結果、表示装置6に比べて横長な画面を有する図7Bに示す表示装置6Aの画面6bには、第1撮像装置11、第2撮像装置11A、第3撮像装置11Bによって撮像されて観察範囲が広範な被検画像8biが表示される。
この結果、凝固処理完了後、術者は、内視鏡2Aの挿入部21Aを大きく移動させる操作を繰り返し行うこと無く、白色光観察画像と蛍光観察画像との切替操作を行って、下鼻甲介8aの凝固ムラ、凝固抜けの有無等をすばやく確認することができる。
上述した実施形態においては、白色光観察画像において処置部を画面上に表示し、その後、蛍光観察画像に切り替えて、処置部52からアルゴンビームを照射するとしている。この構成においては、万一、処置部52が画面上に表示されない位置に移動されている状態においてフットスイッチが操作されたときアルゴンビームが照射される。
この不具合を解消する目的で、図8Aに示すように処置部52には放射口識別部58を設けている。
放射口識別部58は、例えば、自家蛍光と異なる蛍光を発する塗料であり、観察窓24に対峙する傾斜面に設けらた着色部である。画面6a上に放射口識別部58の蛍光画像58fが表示されている状態において、処置部52の放射口は被検部位に対峙している。
この構成において、図8Bに示すようにビデオプロセッサ4には、撮像素子駆動部41、画像信号入力部42、領域識別処理部43、焼灼判別部44、画像処理部45、及び制御部46に加えて、さらに、放射口識別部58の有無を判定する識別部判別部47が設けられている。
識別部判別部47は、蛍光画像の基準領域Arに含まれる各画素の輝度値と、予め定めた強度比が異なる放射口識別部58の蛍光画像58fを有無を識別し、蛍光画像58fを認識している状態において制御部46に第2信号を出力する。
制御部46は、第2信号が入力されているとき、プローブ駆動装置9の焼灼制御部94に対して、フットスイッチの操作に伴ってアルゴンビームを照射することを許可する指示信号を出力する。
言い換えれば、焼灼制御部94は、制御部46からアルゴンビームを照射することを許可する指示信号の入力が停止されると同時にアルゴンビームの照射を停止する制御を行う。
この構成によれば、識別部判別部47から第2信号の出力が停止されると同時にアルゴンビームの照射を停止されるので、処置部52が万一、画面上に表示されない位置に移動されている状況下でフットスイッチが操作された場合にアルゴンビームを照射する不具合を解消することができる。
尚、本発明は、以上述べた実施形態のみに限定されるものではなく、発明の要旨を逸脱しない範囲で種々変形実施可能である。
1…内視鏡システム 2…内視鏡 3…光源装置 4…ビデオプロセッサ
5…焼灼システム 6…表示装置 6a…画面 7…装着具 7a…装着部
7b…プローブ保持部 7c…装着部本体 7d…蓋部材 7e…太径部
7f…細径部 7g…係合溝 7g1…第1環状溝 7g2…第2環状溝
7h…挿入部挿通孔 7i…貫通孔 7k…保持部本体 7m…係合凸部
7n…プローブ挿通孔 7q…球状部 7r…円柱部 8…鼻腔 8a…下鼻甲介
8b…被検部位 8bf…被検部位蛍光画像 8bi…被検部位画像(被検画像)
9…プローブ駆動装置 11…撮像装置 12…白色光撮像系 13…蛍光撮像系
14…第1結像光学系 15…第1撮像素子 16…第2結像光学系
17…第2撮像素子 18…信号線 19…信号処理回路 21…挿入部
21a…挿入部長手軸 22…操作部 22a…観察モード切替スイッチ
23…ユニバーサルコード 23c…内視鏡コネクタ 24…観察窓
25…ダイクロイックプリズム 26…励起光カットフィルタ
27…ライトガイドファイバ束 28…電気ケーブル 28c…コネクタ
31…白色光発生部 32…励起光発生部 33…第1ダイクロイックミラー
34…第2ダイクロイックミラー 35…集光レンズ 36…光源制御部
41…撮像素子駆動部 42…画像信号入力部 43…領域識別処理部
44…焼灼判別部 45…画像処理部 46…制御部 47…識別部判別部
50…焼灼プローブ 51…プローブ本体 52…処置部 52i…処置部画像
53…可撓性チューブ体 53c…プローブコネクタ 54…ガス用チューブ
55…高周波用ケーブル 56…高周波電極 56i…プローブ先端画像
57…突起部 58…放射口識別部 58f…蛍光画像 91…圧縮ガス源
92…圧力調整器 93…高周波電源94…焼灼制御部

Claims (7)

  1. 被検体の鼻腔に係る下鼻甲介を含む所定部位を被検部位として当該被検部位を凝固させるための焼灼用エネルギを生成する焼灼用エネルギ生成部と、前記焼灼用エネルギの照射を制御する焼灼制御部と、を有するジェネレータと、
    前記ジェネレータに接続され、前記焼灼制御部の制御下に前記焼灼用エネルギ生成部において生成した焼灼用エネルギを前記被検部位に照射する焼灼プローブと、
    焼灼される部位を含む前記被検部位を照明する白色光及び該被検部位の組織から蛍光を発生させるための励起光を供給する光源装置と、
    前記光源装置からの白色光及び励起光を前記被検部位に向けて照射する照明光学系、該被検部位からの白色光を撮像する白色光撮像系及び当該被検部位の組織から発生した蛍光を撮像する蛍光撮像系を有する撮像装置を内蔵した内視鏡と、
    前記撮像装置から出力された画像信号を処理して前記被検部位の白色光観察画像及び蛍光観察画像を生成して出力する画像処理部と、前記蛍光観察画像における所定の基準領域及び焼灼される部位に対応する注目領域をそれぞれ設定する領域識別処理部と、前記被検部位における焼灼状態を判別して判別信号を生成する焼灼判別部と、前記焼灼判別部からの判別信号を受けて前記ジェネレータに指示信号を出力する機能を含む制御部と、を具備するビデオプロセッサと、
    を具備し、
    前記領域識別処理部は、前記蛍光観察画像に含まれる一部の領域を予め抽出して前記注目領域を設定するとともに、前記蛍光観察画像に含まれる前記一部の領域とは異なる他の一部の領域を予め抽出することにより前記基準領域を設定し、かつ、前記注目領域を新たに設定する度に前記基準領域を新たに設定し、
    前記焼灼判別部は、前記領域識別処理部において設定された、前記蛍光観察画像における前記基準領域と前記注目領域とに係るそれぞれの輝度値に基づいて当該注目領域に対応する焼灼される部位の焼灼状態を判別して当該部位が焼灼完了である場合に前記判別信号を出力し、
    前記制御部は、前記判別信号に基づいて、前記ジェネレータにおける前記焼灼制御部に対して焼灼完了に係る指示信号を出力する
    ことを特徴とする内視鏡システム。
  2. 前記画像処理部は、前記焼灼判別部において生成された前記判別信号に基づいて、前記注目領域に対応する焼灼される部位の焼灼完了を示す画像を前記白色光観察画像に重畳して、前記被検部位の画像中に焼灼領域を認識可能にする
    ことを特徴とする請求項1に記載の内視鏡システム。
  3. 前記焼灼制御部は、前記ビデオプロセッサの制御部から前記注目領域に対応する焼灼される部位の焼灼完了に係る指示信号を受信した際、前記焼灼用エネルギ生成部において生成する前記焼灼用エネルギの生成を停止する
    ことを特徴とする請求項1に記載の内視鏡システム。
  4. 前記内視鏡は、長尺の挿入部を有し、該挿入部の側面に前記撮像装置の観察窓を配置した
    ことを特徴とする請求項1に記載の内視鏡システム。
  5. 前記撮像装置を前記挿入部内に複数配設して、前記観察窓を挿入部の長手方向に一列に配列させた
    ことを特徴とする請求項4に記載の内視鏡システム。
  6. 前記焼灼プローブが有する処置部の側面に放射口を告知する放射口識別部を設けた
    ことを特徴とする請求項1に記載の内視鏡システム。
  7. 前記ビデオプロセッサは、前記放射口識別部の有無を判定する識別部判別部を更に備え、
    前記ジェネレータの焼灼制御部は、前記ビデオプロセッサの制御部から前記画像処理部から出力される画像中に該放射口識別部が含まれていることを告知する指示信号を受けているとき、前記焼灼プローブから前記被検部位に焼灼用エネルギを照射することを可能にする
    ことを特徴とする請求項6に記載の内視鏡システム。
JP2015147909A 2015-07-27 2015-07-27 内視鏡システム Active JP6833310B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015147909A JP6833310B2 (ja) 2015-07-27 2015-07-27 内視鏡システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015147909A JP6833310B2 (ja) 2015-07-27 2015-07-27 内視鏡システム

Publications (2)

Publication Number Publication Date
JP2017023604A JP2017023604A (ja) 2017-02-02
JP6833310B2 true JP6833310B2 (ja) 2021-02-24

Family

ID=57944925

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015147909A Active JP6833310B2 (ja) 2015-07-27 2015-07-27 内視鏡システム

Country Status (1)

Country Link
JP (1) JP6833310B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11147453B2 (en) 2017-10-03 2021-10-19 Canon U.S.A., Inc. Calibration for OCT-NIRAF multimodality probe
WO2020053933A1 (ja) * 2018-09-10 2020-03-19 オリンパス株式会社 熱侵襲観察装置,熱侵襲観察方法
CN113423354A (zh) * 2019-02-28 2021-09-21 奥林巴斯株式会社 医疗用***
WO2022036400A1 (en) * 2020-08-21 2022-02-24 Optiscan Pty Ltd Optical probe and processing system
CN116322468A (zh) * 2020-09-29 2023-06-23 奥林巴斯株式会社 辅助装置、内窥镜***、辅助方法以及程序

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4021052B2 (ja) * 1998-06-01 2007-12-12 オリンパス株式会社 処置具
CA2343401C (en) * 1998-09-11 2009-01-27 Spectrx, Inc. Multi-modal optical tissue diagnostic system
JP2001120568A (ja) * 1999-10-28 2001-05-08 Olympus Optical Co Ltd 鼻腔内治療用レーザプローブ
US20020087151A1 (en) * 2000-12-29 2002-07-04 Afx, Inc. Tissue ablation apparatus with a sliding ablation instrument and method
JP2005095478A (ja) * 2003-09-26 2005-04-14 Sanyo Electric Co Ltd 医療用画像処理装置、医療用画像処理方法及び医療用画像処理プログラム
US20090234223A1 (en) * 2005-03-31 2009-09-17 Fumiyuki Onoda Surgery Assisting Apparatus and Treatment Assisting Apparatus
EP2508143B1 (en) * 2010-06-17 2014-02-26 Olympus Medical Systems Corp. Ultrasound suction system
JP2012065698A (ja) * 2010-09-21 2012-04-05 Fujifilm Corp 手術支援システムおよびそれを用いた手術支援方法
US9084611B2 (en) * 2011-09-22 2015-07-21 The George Washington University Systems and methods for visualizing ablated tissue
JP5993184B2 (ja) * 2012-04-04 2016-09-14 オリンパス株式会社 蛍光観察装置および蛍光観察装置の作動方法

Also Published As

Publication number Publication date
JP2017023604A (ja) 2017-02-02

Similar Documents

Publication Publication Date Title
JP6833310B2 (ja) 内視鏡システム
JP7460526B2 (ja) 医療用レーザー装置及びシステム
JP6518678B2 (ja) 安全なレーザ砕石術のためのエイミングビーム検出
WO2018163644A1 (ja) 情報処理装置、支援システム及び情報処理方法
JP7000590B2 (ja) 熱侵襲観察装置,内視鏡システム,熱侵襲観察システム,熱侵襲観察装置の作動方法
JP2012000160A (ja) 内視鏡装置
JP2022543268A (ja) レーザ療法の信号調整送達
JP2022543430A (ja) 内視鏡レーザエネルギー送達システム及び使用方法
JP2021122740A (ja) 可撓性で関節運動可能な遠位部分を有する腎盂鏡
JP2010233940A (ja) 内視鏡システム及び内視鏡スコープ先端の洗浄方法
WO2017057065A1 (ja) 循環排煙システム
WO2016178355A1 (ja) 内視鏡システム
JP2004008381A (ja) プローブ用レーザー光源装置
JP4789499B2 (ja) 電気手術装置
JP5764472B2 (ja) 内視鏡診断装置
JP2010051440A (ja) 内視鏡システム、並びにライトガイドの折損状況の判定方法及び装置
JP5203783B2 (ja) 内視鏡システム
JP7505120B2 (ja) 光治療装置、光治療装置の作動方法および光治療プログラム
JP5459991B2 (ja) 内視鏡システム
JP4229920B2 (ja) 送気システム
JP2575107B2 (ja) 内視鏡用焼灼装置
US20230347169A1 (en) Phototherapy device, phototherapy method, and computer-readable recording medium
US20240252245A1 (en) Medical laser apparatus and system
US20230347170A1 (en) Phototherapy device, phototherapy method, and computer-readable recording medium
CN116249504A (zh) 辅助装置、内窥镜***、辅助方法以及程序

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180510

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190312

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190510

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190510

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190710

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200127

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200331

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200629

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20200629

C11 Written invitation by the commissioner to file amendments

Free format text: JAPANESE INTERMEDIATE CODE: C11

Effective date: 20200714

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20200811

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20200818

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20200911

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20200915

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20200929

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20201201

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20210105

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20210105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210203

R151 Written notification of patent or utility model registration

Ref document number: 6833310

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250