JP6129462B1 - 内視鏡システム - Google Patents

内視鏡システム Download PDF

Info

Publication number
JP6129462B1
JP6129462B1 JP2017508594A JP2017508594A JP6129462B1 JP 6129462 B1 JP6129462 B1 JP 6129462B1 JP 2017508594 A JP2017508594 A JP 2017508594A JP 2017508594 A JP2017508594 A JP 2017508594A JP 6129462 B1 JP6129462 B1 JP 6129462B1
Authority
JP
Japan
Prior art keywords
laser
light
light source
imaging
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017508594A
Other languages
English (en)
Other versions
JPWO2017073286A1 (ja
Inventor
航史 小島
航史 小島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Application granted granted Critical
Publication of JP6129462B1 publication Critical patent/JP6129462B1/ja
Publication of JPWO2017073286A1 publication Critical patent/JPWO2017073286A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006Operational features of endoscopes characterised by electronic signal processing of control signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064Constructional details of the endoscope body
    • A61B1/00071Insertion part of the endoscope body
    • A61B1/0008Insertion part of the endoscope body characterised by distal tip features
    • A61B1/00087Tools
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655Control therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B18/18Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by applying electromagnetic radiation, e.g. microwaves
    • A61B18/20Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by applying electromagnetic radiation, e.g. microwaves using laser
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B2018/00982Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body combined with or comprising means for visual or photographic inspections inside the body, e.g. endoscopes

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Studio Devices (AREA)

Abstract

内視鏡システム(10)は、被検体を撮像するように構成された撮像素子を含む撮像部(310)と、被検体を照明するための照明光を射出するように構成された光源(210)と、被検体を処置するためのレーザー光を照明光と同時に射出可能なレーザー処置具(600)とを含む。内視鏡システム(10)のための制御装置(100)は、判別部(141)と、輝度調整回路(130)とを備える。判別部(141)は、レーザー処置具の使用状態を判別する。輝度調整回路(130)は、判別部(141)の判別結果に基づいて、撮像部(310)による撮像の露光時間と光源(210)の射出光量とのうち少なくともいずれか一方を調整する。

Description

本発明は、内視鏡システムに関する。
内視鏡による観察下で、レーザー光を処置対象である組織に照射することで、当該組織を処置する処置方法が知られている。このような処置に用いられる電子内視鏡に係る技術が、例えば日本国特開2009−095539号公報に開示されている。日本国特開2009−095539号公報に開示されている内視鏡には、観察用の白色の照明光と、処置用のレーザー光とを導光する共用のライトガイドが設けられている。この内視鏡においては、照明光と処置用のレーザー光とのうち一方が排他的に同一のライトガイドによって伝達される。
レーザー光の照射による処置効率を向上させるためには、観察用の照明光と処置用のレーザー光とを同時に被検体に照射することが望まれる。しかしながら、照明光とレーザー光とを同時に被検体に照射すると、レーザー光が観察画像に写り込むため、観察画像の画質が著しく劣化することがある。
本発明は、照明光と処置用のレーザー光とを同時に被検体に照射しても高画質の観察画像が得られる内視鏡システムを提供することを目的とする。
本発明の一態様によれば、内視鏡システムは、被検体を撮像するように構成された撮像素子を含む撮像部と、前記被検体を照明するための照明光を射出するように構成された光源と、前記被検体を処置するためのレーザー光を前記照明光と同時に射出可能なレーザー処置具と、前記レーザー処置具と通信することで当該レーザー処置具の種類及び使用状態を判別する判別部と、前記判別部の判別結果に基づいて、前記撮像部による撮像の露光時間と前記光源の射出光量とのうち少なくともいずれか一方を調整する輝度調整回路とを備えることを特徴とする
本発明によれば、照明光と処置用のレーザー光とを同時に被検体に照射しても高画質の観察画像が得られる内視鏡システムを提供できる。
図1は、一実施形態に係る内視鏡システムの構成例の概略を示すブロック図である。 図2は、内視鏡システムの動作の一例を示すフローチャートである。 図3は、判別処理の一例を示すフローチャートである。 図4は、表示装置に表示される画像の一例を示す図である。 図5Aは、撮像素子がCMOSイメージセンサの場合の電子シャッタの効果を説明するための図であって、露光時間が長い場合の露光時間と読み出される画像との関係を説明するための図である。 図5Bは、撮像素子がCMOSイメージセンサの場合の電子シャッタの効果を説明するための図であって、露光時間が短い場合の露光時間と読み出される画像との関係を説明するための図である。 図6は、表示装置に表示される画像の一例を示す図である。 図7は、内視鏡システムの各部の動作の一例の概略について説明するための模式図である。
本発明の一実施形態について図面を参照して説明する。本実施形態は、医療用の硬性鏡と撮像装置とを用いて被検体の画像を取得しつつ、レーザー処置具で被検体を処置する内視鏡システムに係る。
〈システム構成〉
本実施形態に係る内視鏡システム10の構成例の概略を図1に示す。図1に示すように、内視鏡システム10は、内視鏡システム10の制御装置として機能するビデオプロセッサ100と、光源装置200と、撮像装置300と、硬性鏡400と、表示装置500と、レーザー処置具600とを備える。図1においては、破線の矢印は、撮像装置300で取得されて表示装置500に表示されるまでの映像信号の流れを示す。一点鎖線の矢印は、後述する画像の明るさを調整する輝度制御に係る制御信号の流れを示す。実線の矢印は、上述の信号以外の信号等の流れを示す。
一般的な光学視管である硬性鏡400は、撮像装置300が接続されるように構成されている。撮像装置300は、撮像素子等を含む撮像部310を備える。撮像素子は、例えばCCDイメージセンサ又はCMOSイメージセンサ等を含む。また、本実施形態では、撮像部310に3板方式が採用されているものとする。なお、撮像部310に単板方式が採用されてもよい。ただし、単板方式の場合には、同時化処理等の処理が必要となる。撮像部310は、撮像素子を用いて撮像素子の撮像面上に形成された被検体の像に係る映像信号を生成する。
硬性鏡400は、光学系410と、照明窓420とを備える。光学系410は、撮像装置300の撮像素子の撮像面に被検体の像を結像させる。照明窓420は、光源装置200から導かれた照明光を射出する窓である。照明窓420から射出される照明光は、撮像部310で撮像される被検体を照明する。
光源装置200は、光源210と、光源駆動回路220と、光量制御回路230とを備える。光源210は、硬性鏡400の照明窓から照射される照明光を射出する。光源210は、キセノンランプ又はハロゲンランプ等のランプでもよいし、半導体レーザー光源又は発光ダイオード等の半導体光源でもよい。半導体光源は、例えば赤色光、緑色光、及び青色光をそれぞれ射出する複数の光源を含み、これらの光を合波して白色光を生成するものでもよい。また、半導体光源は、例えば、青色の光源と蛍光物質とが設けられており、この光源から射出される青色光と、この青色光を励起光として蛍光物質から射出された蛍光とが合成されることで白色光が射出されるような白色半導体光源でもよい。また、光源210には、必要に応じて、白色光を調整するための光源以外の例えば半導体光源が設けられてもよい。また、上述の実施形態では、光源装置200が個別に設けられている場合を例示したがこれに限らない。例えば、白色光源等が、ビデオプロセッサ100と一体として設けられていてもよい。すなわち、例えばビデオプロセッサ100と光源装置200との機能を併せ持つ一つの光源一体型ビデオプロセッサの筐体内に、後述する映像信号取得回路110、画像処理回路120、輝度調整回路130、制御回路140、記憶装置150、入力装置160、通信回路170、光源210、光源駆動回路220、光量制御回路230等が含まれるように構成されてもよい。
光源駆動回路220は、光源210に含まれる各光源を駆動する。光量制御回路230は、光源駆動回路220の動作を制御する。すなわち、光量制御回路230は、光源210のオン又はオフ、及び各光源が射出する光の強度等を制御する。光源210から射出された光は、ライトガイドファイバで導光されて硬性鏡400の照明窓420まで導かれる。
なお、硬性鏡400の照明窓420まで導かれる光の光量は、光源210が射出する光の強度によって調整されてもよいし、その他の方法によって調整されてもよい。例えば、光源210とライトガイドファイバの光入射端との間に絞りが設けられ、当該絞りの開口率が調整されることで、硬性鏡400に導かれる光量が調整されてもよい。また、光源210の出力を変更するために、光源210に供給される電力は、電流値を変更することで調整されてもよいし、パルス幅変調(pulse width modulation;PWM)制御によって調整されてもよい。
表示装置500は、例えば液晶ディスプレイといった一般的な表示装置である。表示装置500は、後述するビデオプロセッサ100の画像処理回路120によって画像処理された映像信号に基づいて、画像を表示する。
ビデオプロセッサ100は、映像信号取得回路110と、画像処理回路120と、輝度調整回路130と、制御回路140と、記憶装置150と、入力装置160と、通信回路170とを備える。映像信号取得回路110は、撮像装置300から、撮像部310で生成された映像信号を取得する。映像信号取得回路110は、取得した映像信号を画像処理回路120へと伝達する。
画像処理回路120は、映像信号取得回路110から取得した映像信号に対して各種画像処理を施し、画像処理後の映像信号を表示装置500へと出力する。画像処理回路120で行われる処理には、前段処理122と、検波処理124と、オートゲインコントロール(AGC)126と、後段処理128とが含まれる。
前段処理122では、映像信号取得回路110から取得した映像信号に対して、色処理、フィルタリングによるノイズの低減、ゲイン調整等の処理が行われる。
検波処理124では、前段処理122の後の映像信号について、色毎に所定の係数である検波パラメータが乗算される。検波パラメータは、例えば、観察モードが通常光観察(white light imaging;WLI)モードの場合には、赤色(R)、緑色(G)及び青色(B)の各色の映像信号の比は、R:G:B=0.45:0.45:0.10に設定される。さらに、検波処理124では、所定のゲインが加えられてもよい。検波処理後の映像信号は、後述の輝度調整回路130へと伝達される。
AGC126では、検波処理124後の映像信号について、各色の信号強度が適切な範囲内となり画像の明るさが適切なものとなるように、映像信号に対するゲインの調整が行われる。このゲイン調整は、輝度調整回路130の制御下で行われる。
後段処理128では、AGC126後の映像信号を用いて、表示装置500に表示させる画像を生成するための各種画像処理が行われる。後段処理128後の映像信号は、表示装置500へと伝達される。
輝度調整回路130は、画像処理回路120で処理される映像信号が表す画像が適切な輝度を有するものとなるように、内視鏡システム10の各種動作の調整を行う。輝度調整回路130は、測光部131と、輝度制御部132とを含む。測光部131は、検波処理124後の映像信号を取得する。測光部131は、取得した映像信号に基づいて、映像信号が表す画像の輝度を算出する。測光部131は、算出結果を輝度制御部132へと伝達する。
輝度制御部132は、測光部131から取得した画像の輝度の情報に基づいて、各種設定を変更させる。輝度制御部132は、光源制御部134と、ゲイン制御部135と、露出制御部136とを含む。
光源制御部134は、画像の明るさが適当なものとなるように、光源装置200の光源210の出力を調整する。光源制御部134は、決定した光源210の出力に係る情報を、光源装置200の光量制御回路230へと伝達する。光量制御回路230は、後述する制御回路140から受け取った情報と光源制御部134から受け取った出力に係る情報とに基づいて、光源210の動作を制御する。
ゲイン制御部135は、画像の輝度が適当なものとなるように、画像処理回路120で行われる画像処理のパラメータの1つであるAGC126のゲインの設定を決定する。ゲイン制御部135は、決定したゲイン設定を画像処理回路120へと伝達する。画像処理回路120は、ゲイン制御部135から取得したゲイン設定に基づいて、AGC126の処理を行う。ゲイン制御部135は、AGC126以外の処理で適用されるゲインを決定してもよい。
露出制御部136は、画像の明るさが適当なものとなるように、撮像装置300の撮像部310の露出設定を決定する。露出制御部136は、決定した露出設定を撮像部310へと伝達する。撮像部310は、露出制御部136から取得した露出設定に基づいて、撮像動作を行う。例えば、撮像部310による露光時間は、この露出設定に基づく。
制御回路140は、ビデオプロセッサ100の各部の動作を制御する。制御回路140は、例えば画像処理回路120及び輝度調整回路130と接続しており、画像処理回路120及び輝度調整回路130の動作について指令を出す。また、制御回路140は、光源装置200の光量制御回路230と接続しており、光量制御回路230に必要な情報を送信する。例えば、制御回路140は、観察モードが通常光観察モードであるのか他のモードであるのかといった情報や、光源210をオンにするのかオフにするのかといった情報を光量制御回路230へと送信する。
さらに、制御回路140は、判別部141を含む。判別部141は、硬性鏡400を介して撮像装置300で撮像された映像を表示装置500に表示する観察動作中に、レーザー処置具600によるレーザー処置が行われるレーザーモードであるか、レーザー処置が行われない通常モードであるかを判別する。
記憶装置150は、例えば半導体メモリやハードディスク等の記憶装置を含む。記憶装置150は、制御回路140に接続されている。また、記憶装置150は、画像処理回路120又は輝度調整回路130等と接続されていてもよい。記憶装置150には、各部の動作に必要なプログラムや設定値等が記録されている。
入力装置160は、例えばスイッチ、キーボード、タッチパネル等の入力装置を含む。制御回路140は、入力装置160を介して、ユーザからの指示を受け取ることができる。
通信回路170は、後述するレーザー処置具600のレーザー制御装置610との通信に関わる。制御回路140は、通信回路170を介して、レーザー制御装置610のレーザー制御回路611から情報を取得し、レーザー処置具600の状態を取得する。
レーザー処置具600は、被検体にレーザー光を照射することで当該被検体を処置するために用いられる処置具である。レーザー処置具600は、レーザー制御装置610とレーザープローブ620とを備える。処置用のレーザーは、レーザープローブ620の先端から射出される。
レーザー制御装置610は、レーザー制御回路611と、レーザー駆動回路612と、レーザー光源613と、入力装置614と、通信回路615とを備える。レーザー制御回路611は、レーザー処置具600の各部の動作を制御する。レーザー光源613は、レーザープローブ620から射出されるレーザー光の光源である。レーザー駆動回路612は、レーザー制御回路611の制御下でレーザー光源613を駆動する。入力装置614は、レーザー制御装置610への入力を受け付ける。入力装置614は、例えばスイッチ、キーボード、タッチパネル等の入力装置を含む。また、入力装置614は、レーザープローブ620からのレーザー光の射出のオン又はオフを切り替えるためのスイッチを含む。このスイッチは、フットスイッチであってもよいし、ユーザがプローブを把持する把持部分に設けられたボタンスイッチであってもよい。通信回路615は、ビデオプロセッサ100との通信を行うための回路である。すなわち、ビデオプロセッサ100の制御回路140と、レーザー処置具600のレーザー制御回路611との通信は、ビデオプロセッサ100の通信回路170と、レーザー制御装置610の通信回路615とを介して行われる。
レーザー制御回路611の制御下でレーザー駆動回路612によって駆動されたレーザー光源613は、レーザー光を射出する。このレーザー光は、レーザープローブ620の先端に導かれ、レーザープローブ620の先端から射出される。ここで射出されるレーザー光は、設定に応じて、連続的に射出されたり、パルス的に射出されたり、パルスを繰り返すように射出されたりする。
また、レーザー処置具600のレーザー光源613としては、種々の光源が用いられ得るし、これらは交換可能に用いられ得る。すなわち、レーザー光源613が交換されたり、ビデオプロセッサ100に接続されるレーザー処置具600そのものが光源の異なるものに交換されたりする。ここで、レーザー光源613としては、例えばホルミウム:ヤグレーザー(Ho:YAG)、ネオジウム:ヤグレーザー(Nd:YAG)、KTPレーザー等が用いられ得る。ここで、ホルミウム:ヤグレーザーの波長は2060nmであり、ネオジウム:ヤグレーザーの波長は1064nmであり、KTPレーザーの波長は532nmである。したがって、レーザー光の観察画像への影響を抑制しようとする本実施形態に係る技術は、特に波長が可視光帯域にあるKTPレーザーにおいて重要である。
ビデオプロセッサ100の画像処理回路120、輝度調整回路130及び制御回路140は、Central Processing Unit(CPU)、Application Specific Integrated Circuit(ASIC)、又はField Programmable Gate Array(FPGA)等の集積回路等を含む。画像処理回路120、輝度調整回路130及び制御回路140は、それぞれ1つの集積回路等で構成されてもよいし、複数の集積回路等が組み合わされて構成されてもよい。また、画像処理回路120、輝度調整回路130及び制御回路140のうち2つ以上が1つの集積回路等で構成されてもよい。これら集積回路の動作は、例えば記憶装置150や集積回路内の記録領域に記録されたプログラムに従って行われる。また、光源装置200の光量制御回路230、及びレーザー処置具600のレーザー制御回路611も、同様に集積回路等を含む。
〈処置の概要〉
内視鏡システム10を用いた処置の概要について説明する。ユーザは、例えば腹腔内等の処置対象部位に硬性鏡400を挿入する。撮像装置300及びビデオプロセッサ100の動作によって、硬性鏡の先に位置する被検体の映像が、表示装置500に表示される。ユーザは表示装置500に表示される映像を見て、被検体の様子を把握することができる。また、ユーザは、レーザー処置具600のレーザープローブ620を処置対象部位に挿入する。ユーザは、レーザー処置具600を操作して、照準用の光を被検体に照射し、表示装置500に表示された映像を見ながら処置用のレーザー光を照射すべき位置を定める。続いて、ユーザはレーザー処置具600を操作して、処置対象である被検体に処置用のレーザー光を照射する。このようにして、レーザー光による処置が行われる。
〈システムの動作〉
本実施形態に係る内視鏡システム10のビデオプロセッサ100における動作について説明する。内視鏡システム10には、撮像装置300を用いた観察中にレーザー処置具600を使用するレーザーモードと、レーザー処置具600を使用しない通常モードとが準備されている。特にレーザーモードでは、レーザー処置具600によるレーザー光により、観察画像の品質が悪化しないように各種設定がなされる。本実施形態に係る内視鏡システムの動作の一例について図2に示すフローチャートを参照して説明する。
ステップS101において、ビデオプロセッサ100は、判別処理を行う。判別処理は、制御回路140の判別部141で行われる、現在のモードがレーザーモードであるか通常モードであるかを判別する処理である。判別処理の一例について、図3に示すフローチャートを参照して説明する。
ステップS201において、制御回路140の判別部141は、通信回路170を介してレーザー制御回路611と通信し、ビデオプロセッサ100に接続されているレーザー処置具600のレーザー光源613のレーザー光の波長が撮像部310の分光感度内であるか否かを判定する。すなわち、判別部141は、レーザー光の波長についての評価を行う。撮像部310の分光感度内でないとき、処理はステップS205に進む。一方、撮像部310の分光感度内であるとき、処理はステップS202に進む。例えば、レーザー光源613がKTPレーザー又はネオジウム:ヤグレーザーの場合、処理はステップS202に進み、レーザー光源613がホルミウム:ヤグレーザーの場合、処理はステップS205に進む。
ステップS202において、判別部141は、ユーザによってレーザーモードが選択されているか否かを判定する。ここで、内視鏡システム10では、ユーザは例えばタッチパネルといった入力装置160を用いて、レーザー処置具600を使用するか否かを入力することができる。ユーザによってレーザー処置具600を使用する旨の入力がなされているとき、レーザーモードが選択されていると判定される。レーザーモードが選択されているとき、処理はステップS204に進む。一方、レーザーモードが選択されていないとき、処理はステップS203に進む。
ステップS203において、判別部141は、レーザー処置具600がレディーモードになっているか否かを判定する。本実施形態に係るレーザー処置具600には、レーザー光源613をスタンバイ状態にして、出力の指示があればいつでもレーザー光を射出することができるレディーモードが用意されている。制御回路140の判別部141は、通信回路170を介してレーザー制御回路611と通信し、レーザー処置具600がレディーモードであるか否かに係る情報を取得する。レディーモードであるとき、処理はステップS204に進む。一方、レディーモードでないとき、処理はステップS205に進む。
ステップS204において、判別部141は、モードはレーザーモードであると結論付ける。その後、判別処理は終了し、処理は図2を参照して説明しているメイン処理に戻る。
ステップS205において、判別部141は、モードは通常モードであると結論付ける。その後、判別処理は終了し、処理は図2を参照して説明しているメイン処理に戻る。
なお、レーザー処置具600のレーザー光源613が可視光光源であるか否かを判定するステップS201の判定は、判別処理の度に行われず、一連の処理の中で最初の1回の判別処理においてのみ行われてもよい。
図2に戻って説明を続ける。ステップS102において、ビデオプロセッサ100は、現在のモードはレーザーモードであるか否かを判定する。レーザーモードであるとき、処理はステップS103に進む。ステップS103において、ビデオプロセッサ100は、内視鏡システム10の各種設定をレーザーモード設定とする。レーザーモード設定は、硬性鏡400による観察領域内の被検体にレーザー処置具600によるレーザー光の照射が行われても、表示装置500に表示される画像の質がそれほど劣化しない設定である。レーザーモード設定については後に詳述する。ステップS103の処理の後、処理はステップS105に進む。
ステップS102の判定において、レーザーモードでないと判定されたとき、処理はステップS104に進む。ステップS104において、ビデオプロセッサ100は、内視鏡システム10の各種設定を通常モード設定とする。通常モード設定は、一般的な設定であり、表示装置500に表示される観察画像が高品質になるような設定である。ステップS104の処理の後、処理はステップS105に進む。
ステップS105において、ビデオプロセッサ100は、映像信号を取得する。すなわち、映像信号取得回路110は、撮像装置300の撮像部310から、撮像部310が生成した映像信号を取得する。この映像信号は、画像処理回路120へと伝達される。映像信号は、前段処理122において色調整、ノイズの低減、ゲインの調整等の処理が行われる。前段処理122がされた後、検波処理124が行われる。検波処理124により、色毎に検波パラメータが乗算され、適当なゲインがかけられた映像信号は、輝度調整回路130の測光部131へと伝達される。
ステップS106において、ビデオプロセッサ100は、測光処理を行う。すなわち、輝度調整回路130の測光部131は、画像処理回路120から検波処理後の映像信号を受け取り、この映像信号に基づいて測光処理を行う。すなわち、測光部131は、撮像部310で現在取得されている画像がどの程度明るいかを評価する。
ステップS107において、ビデオプロセッサ100は、測光処理の結果に基づいて、輝度制御を行う。すなわち、輝度調整回路130の輝度制御部132は、映像信号によって表される画像の輝度が適切となるように、各種パラメータを調整する。例えば、輝度制御部132の光源制御部134は、光源装置200の光源210の出力を調整する。また、輝度制御部132のゲイン制御部135は、画像処理回路120で行われるAGC126のゲインを調整する。また、輝度制御部132の露出制御部136は、撮像装置300の撮像部310における露光を調整する。
ステップS108において、ビデオプロセッサ100は、撮像装置300で取得された映像信号に対して、輝度制御に応じた画像処理を行い、画像処理後の画像を表示装置500に表示させる。すなわち、ビデオプロセッサ100の画像処理回路120は、輝度制御部132の制御下で行われるAGC126を含む画像処理を行う。画像処理回路120は、画像処理後の映像信号を表示装置500へと出力し、表示装置500に画像を表示させる。
ステップS109において、ビデオプロセッサ100は、本処理を終了するか否かを判定する。終了しないとき、処理はステップS101に戻り、ステップS101乃至109の処理を繰り返す。一方、処理を終了すると判定されたとき、本処理は終了する。ステップS101乃至ステップS109の処理は、撮像部310の撮像に係るフィールドのタイミングに合わせてフィールド毎に繰り返される。
〈レーザーモード設定について〉
ステップS103で設定されるレーザーモード設定について説明する。硬性鏡400による観察領域内の被検体にレーザー処置具600によるレーザー光の照射が行われても、表示装置500に表示される画像の質がそれほど劣化しないようにする方法は、いくつかある。ここでは、それらの設定を順に説明する。
[第1の方法]
レーザー光の照射が表示画像の質に与える影響を抑制するための第1の方法は、光源装置200から射出される照明光の光量を高める方法である。照明光強度が高い場合と低い場合のそれぞれについて、レーザー処置具600によるレーザー照射がされていない場合とされている場合とのそれぞれで、表示装置500に表示される画像の一例を図4に示す。図4の左列は照明光強度が高い場合であり、右列は照明光強度が低い場合である。図4の上行はレーザー照射が無い場合であり、下行はレーザー照射が有る場合である。
図4の上行に注目すると、レーザー照射が無い場合に得られる画像は、照明光強度が高い場合でも低い場合でもそれほど変わらない。照明光強度が変わっても最終的に得られる画像が変わらないのは、例えば撮像装置300の撮像部における露出条件が調整されたり、ビデオプロセッサ100の画像処理回路120におけるゲイン調整がされたりすること等に由来する。
一方、図4の下行に注目すると、レーザー照射が有る場合に得られる画像において、照明光強度が高い場合には、画像中に認められるレーザー光に由来する帯802が薄いが、照明光強度が低い場合には、画像中に認められるレーザー光に由来する帯802が濃い。また、これらの画像において、照明光強度が高い場合には、帯802以外の領域の観察対象物が明るく表示され視認されやすいものとなっているが、照明光強度が低い場合には、帯802以外の領域の観察対象物は暗く表示され視認されにくいものとなっている。このような結果が得られたのは、観察画像にとっていわばノイズであるレーザー光に対して、観察対象物を照らす照明光の強度を高くすることにより、S/N比が向上する効果が得られるためであると考えられる。
本実施形態の第1の方法では、レーザーモード設定において、光源210の出力を例えば最大値に設定する。そして、適正な輝度が得られるように、撮像部310における露光条件や、画像処理回路120における画像処理の条件が調整される。
本方法によれば、硬性鏡400による観察領域内の被検体にレーザー処置具600によるレーザー光の照射が行われても、表示装置500に表示される画像の質がそれほど劣化しなくなる。
[第2の方法]
レーザー光の照射が表示画像の質に与える影響を抑制するための第2の方法は、撮像部310による撮像において、電子シャッタによって露光時間を短くすることである。被検体にレーザー光が照射されているとき、レーザー光の散乱等によって撮像範囲全体が高輝度となり、適正露出よりも露出が過度となりやすい。すなわち、例えば画像が白飛びするようなことが起こりやすい。そこで、電子シャッタによって露光時間を短くし、露出を適正値にする。
さらに、撮像部310に含まれる撮像素子がCMOSイメージセンサの場合、次のような効果がある。CMOSイメージセンサにおける電子シャッタの効果について、図5A及び図5Bを参照して説明する。ここで、露光時間が長い場合の露光時間と読み出される画像との関係を図5Aに示し、露光時間が短い場合の露光時間と読み出される画像との関係を図5Bに示す。
CMOSイメージセンサの場合、受光によって受光素子に蓄えられた電荷が、いわゆるローリングシャッター方式で、ラインごとに順次読み出される。例えば、図5Aに示すように、露光のタイミングは、ラインごとに異なり、例えば上から下に向けて順次露光され、その後に順次読み出される。ここで、レーザー処置具600によるレーザー光の照射がパルス状になされると、レーザー光が照射されているタイミングで露光されたラインに対応する部分に、レーザー光に由来する帯804が表れることになる。
露光時間が長い場合の図5Aと露光時間が短い場合の図5Bとを比較すると、露光時間が短い図5Bの方が、レーザー光に由来する帯804が狭く、また、輝度が低いことが分かる。第2の方法では、このような効果を期待して、撮像部310による撮像において、電子シャッタを利用して露光時間を短くする。
本方法によれば、硬性鏡400による観察領域内の被検体にレーザー処置具600によるレーザー光の照射が行われても、表示装置500に表示される画像の質がそれほど劣化しなくなる。
なお、電子シャッタが用いられている状況で光源装置200による照明光の光量がパルス幅変調制御で調整されると、上述のレーザー光に由来する帯804が発生する原理と同様の原理により、画像に縞が現れる。このため、電子シャッタが用いられるときは、光源210の制御においてパルス幅変調制御は用いないようにする。
上述の説明では、CMOSイメージセンサが用いられた場合を示したが、CCDイメージセンサが用いられる場合も、電子シャッタによる露光時間の短縮は効果がある。図6に、CCDイメージセンサが用いられた場合の表示装置500に表示される表示画像の一例を示す。図6の上行は、レーザー照射が有る場合であり、下行はレーザー照射が無い場合である。左列は、電子シャッタがオンの場合であり、右列が電子シャッタがオフの場合である。図6に示すように、電子シャッタがオフの場合は、照射されたレーザー光の散乱光によって、画像全体が白飛びしている。これに対して、電子シャッタがオンの場合は、白飛びが抑えられる効果が得られている。
なお、CCDイメージセンサが用いられている場合にも、電子シャッタが用いられている状況で光源装置200による照明光の光量がパルス幅変調制御で調整されると、電子シャッタの露光時間と照明光のパルス幅変調とのタイミングのずれにより、ハンチングが生じる。このため、CCDイメージセンサが用いられている場合にも、電子シャッタが用いられるときは、光源210の制御においてパルス幅変調制御は用いないようにする。
[第3の方法]
レーザー光の照射が表示画像の質に与える影響を抑制するための第3の方法は、第1の方法に係る照明光の光量を高める方法と、第2の方法に係る、電子シャッタによって露光時間を短くすることとを併用することである。これらの組み合わせでも、第1の方法及び第2の方法にについて説明したのと同様の効果が得られる。
〈輝度制御について〉
上述の第3の方法で制御がなされた場合の内視鏡システム10の各部の制御の一例の概略について、模式図である図7を参照して説明する。図7の各図において、横軸は時間を示す。図7の下に(1)及び(2)と示した期間において、レーザー処置具600によるレーザーの出力はなされていないものとし、図7の下に(3)と示した期間において、レーザー処置具600によるレーザーの出力がなされているものとする。すなわち、(1)及び(2)と示した期間では通常モードの動作が行われており、(3)と示した期間では、レーザーモードの動作が行われている。また、(1)と示した期間において、光源210の出力は弱く、光源210はパルス幅変調制御で制御されており、(2)と示した期間においては、光源の出力はある程度強く、光源210は電流値制御がなされているものとする。
図7の上から1番目の図(a)は、時間に対する光源210の出力のパルス幅を示す。パルス幅が100%であることは、連続的に照明光を射出していることを示し、パルス幅が100%未満であることは、パルス幅変調制御がなされていることを示す。
図7の上から2番目の図(b)は、時間に対する光源210の駆動電流を示す。駆動電流が最小値を示している期間(1)において、光源210はパルス幅変調制御がなされており、パルス幅が100%である期間(2)において、電流値制御がなされていることが示されている。レーザーが射出されている期間(3)において、光源210の出力は最大に設定されている。
図7の上から3番目の図(c)は、時間に対する撮像部310の露光時間を示す。レーザーが射出されていない期間(1)及び(2)において、露光時間は長時間に設定されている。一方、レーザー光が射出されている期間(3)において、露光時間は短時間に設定されている。
図7の上から4番目の図(d)は、時間に対して最終的に得られる画像の明るさを示す。レーザーが射出されていない期間(1)及び(2)、並びに、レーザー光が射出されている期間(3)を通して、画像の明るさは適正値に保たれている。
〈本システムの利点〉
本実施形態によれば、レーザー処置具600の使用状態に応じて撮像部310による撮像の露光時間と光源210の射出光量とのうち少なくともいずれか一方が調整されるので、照明光とレーザー光とが同時に被検体に照射されていても、高画質の観察画像が得られる。
〈変形例〉
上述の実施形態のいくつかの変形例について説明する。
上述の実施形態では、ステップS201において、可視光レーザーであるか否かが判定され、可視光レーザーでない場合は、通常モードに設定されている。しかしながら、これに限らない。例えば、使用されるレーザーが可視光帯域に与える影響度に応じて、設定の程度が変更されてもよい。例えば、可視光帯域に与える影響が大きい程、電子シャッタにより露光時間を短くしたり、光源210の出力を高くしたり、AGC126のゲインを低くしたり、それらの組み合わせを行ったりしてもよい。レーザーが可視光帯域に与える影響度は、例えばレーザー光の波長に応じて評価され得る。
また、例えばフローチャートを用いて説明した処理は、適宜に変更され得る。これらの処理のうち一部が削除されたり、順序が変更されたり、他の処理が追加されたりしてもよい。例えば、図3を参照して説明した判別処理のステップS201乃至ステップS203の判定のうち、いくつかが行われなくてもよい。
また、上述の実施形態では、硬性鏡400と撮像装置300とを用いた内視鏡システム10について例示したが、これに限らない。上述の技術は、例えば、光ファイバで光学像を伝達する軟性鏡にも適用され得る。さらに、上述の技術は、例えば、先端部に撮像素子を備えた電子内視鏡にも適用され得る。電子内視鏡は、軟性鏡であっても硬性鏡であってもよい。さらに、内視鏡等に限らず、上述の技術は、例えば蛍光顕微鏡等、他の機器にも適用され得る。

Claims (6)

  1. 被検体を撮像するように構成された撮像素子を含む撮像部と、
    前記被検体を照明するための照明光を射出するように構成された光源と、
    前記被検体を処置するためのレーザー光を前記照明光と同時に射出可能なレーザー処置具と
    前記レーザー処置具と通信することで当該レーザー処置具の種類及び使用状態を判別する判別部と、
    前記判別部の判別結果に基づいて、前記撮像部による撮像の露光時間と前記光源の射出光量とのうち少なくともいずれか一方を調整する輝度調整回路と
    を備えることを特徴とする内視鏡システム
  2. 前記輝度調整回路は、前記レーザー光が射出されている又は射出され得る状態にあるとき、前記撮像部に露光時間を短くさせることと前記光源に前記射出光量を高くさせることとのうち少なくとも何れか一方を行わせることを特徴とする請求項1に記載の内視鏡システム
  3. 前記輝度調整回路は、前記撮像部の露光時間調整を電子シャッタにより行う場合、前記光源に対して電流値制御に基づいて出射光量を調整することを特徴とする請求項1に記載の内視鏡システム。
  4. 前記輝度調整回路は、前記撮像部に対して露光時間を短く設定させた場合、前記光源に対して出射光量を最大に設定するように調整することを特徴とする請求項2に記載の内視鏡システム。
  5. 前記輝度調整回路は、前記レーザー処置具から射出される前記レーザー光の波長に応じて前記撮像部による撮像の露光時間と前記光源の射出光量とのうち少なくともいずれか一方を調整することを特徴とする請求項1に記載の内視鏡システム
  6. ユーザが前記レーザー処置具を使用するか否かを入力するように構成された入力装置をさらに備え、
    前記判別部は、入力装置への入力に基づいて前記レーザー処置具の使用状態を判別することを特徴とする請求項1に記載の内視鏡システム
JP2017508594A 2015-10-30 2016-10-06 内視鏡システム Active JP6129462B1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015214564 2015-10-30
JP2015214564 2015-10-30
PCT/JP2016/079848 WO2017073286A1 (ja) 2015-10-30 2016-10-06 内視鏡システムのための制御装置、内視鏡システム及び内視鏡システムの制御方法

Publications (2)

Publication Number Publication Date
JP6129462B1 true JP6129462B1 (ja) 2017-05-17
JPWO2017073286A1 JPWO2017073286A1 (ja) 2017-11-02

Family

ID=58631528

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017508594A Active JP6129462B1 (ja) 2015-10-30 2016-10-06 内視鏡システム

Country Status (5)

Country Link
US (1) US10595708B2 (ja)
EP (1) EP3231348A4 (ja)
JP (1) JP6129462B1 (ja)
CN (1) CN107105982B (ja)
WO (1) WO2017073286A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110536630B (zh) * 2017-04-27 2022-04-05 奥林巴斯株式会社 光源***、光源控制方法、第1光源装置、内窥镜***
CN113796066B (zh) * 2019-05-09 2023-04-04 奥林巴斯株式会社 摄像***、内窥镜***、光源装置及光源装置的控制方法
JP2022082298A (ja) * 2020-11-20 2022-06-01 ソニー・オリンパスメディカルソリューションズ株式会社 医療用制御装置及び医療用観察システム
CN112642064A (zh) * 2020-12-22 2021-04-13 沈阳雷卓激光医疗器械有限公司 一种激光间隙发射方法及装置
CN112998633B (zh) * 2021-03-03 2022-08-30 重庆金山医疗技术研究院有限公司 一种内窥镜出光量的控制方法及内窥镜***
CN114431815A (zh) * 2021-12-20 2022-05-06 上海安翰医疗技术有限公司 胶囊内窥镜成像装置、方法及胶囊内窥镜

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009095559A (ja) * 2007-10-18 2009-05-07 Hoya Corp 内視鏡装置
JP2015119891A (ja) * 2013-12-25 2015-07-02 Hoya株式会社 内視鏡装置及び内視鏡システム

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7179222B2 (en) * 1996-11-20 2007-02-20 Olympus Corporation Fluorescent endoscope system enabling simultaneous achievement of normal light observation based on reflected light and fluorescence observation based on light with wavelengths in infrared spectrum
US7435252B2 (en) * 2003-10-15 2008-10-14 Valam Corporation Control of microorganisms in the sino-nasal tract
JP4575720B2 (ja) * 2004-07-23 2010-11-04 Hoya株式会社 電子内視鏡システム
JP2006094907A (ja) * 2004-09-28 2006-04-13 Pentax Corp 電子内視鏡システム
JP4954573B2 (ja) * 2006-02-28 2012-06-20 オリンパス株式会社 内視鏡システム
JP4818753B2 (ja) * 2006-02-28 2011-11-16 オリンパス株式会社 内視鏡システム
WO2008157390A1 (en) * 2007-06-14 2008-12-24 Valam Corporation Mammalian biofilm treatment instruments and their use
JP2009095539A (ja) 2007-10-18 2009-05-07 Hoya Corp 内視鏡装置の電子内視鏡
US7951139B2 (en) * 2008-01-18 2011-05-31 Inlight Corporation Laser surgical apparatus
JP2010042182A (ja) * 2008-08-18 2010-02-25 Fujifilm Corp レーザ治療装置
US20100160903A1 (en) * 2008-12-22 2010-06-24 Yosef Krespi Process and system for treating a vascular occlusion or other endoluminal structure
EP2412296A4 (en) * 2009-03-24 2014-12-17 Olympus Corp FLUORESCENCE OBSERVATION DEVICE, FLUORESCENCE OBSERVATION SYSTEM, AND METHOD FOR PROCESSING FLUORESCENCE IMAGES
JP5356191B2 (ja) * 2009-11-26 2013-12-04 オリンパス株式会社 蛍光観察装置
US20130144281A1 (en) * 2010-05-26 2013-06-06 Lumenis Ltd Tissue Treatment Apparatus with Interchangeable Instrument/Accessories
JP5460536B2 (ja) * 2010-09-24 2014-04-02 富士フイルム株式会社 電子内視鏡システム
JP5431294B2 (ja) * 2010-11-16 2014-03-05 富士フイルム株式会社 内視鏡装置
JP5926909B2 (ja) * 2011-09-07 2016-05-25 オリンパス株式会社 蛍光観察装置
CN104271027B (zh) * 2012-06-27 2017-06-23 奥林巴斯株式会社 摄像装置和摄像***
JP5677378B2 (ja) * 2012-07-25 2015-02-25 富士フイルム株式会社 内視鏡システム
CN102871634A (zh) * 2012-09-28 2013-01-16 中国科学院深圳先进技术研究院 激光内窥镜***及其诊断与治疗的方法
JP6304953B2 (ja) * 2013-06-27 2018-04-04 オリンパス株式会社 観察装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009095559A (ja) * 2007-10-18 2009-05-07 Hoya Corp 内視鏡装置
JP2015119891A (ja) * 2013-12-25 2015-07-02 Hoya株式会社 内視鏡装置及び内視鏡システム

Also Published As

Publication number Publication date
CN107105982A (zh) 2017-08-29
CN107105982B (zh) 2019-05-21
JPWO2017073286A1 (ja) 2017-11-02
US10595708B2 (en) 2020-03-24
EP3231348A1 (en) 2017-10-18
WO2017073286A1 (ja) 2017-05-04
EP3231348A4 (en) 2018-11-14
US20170303768A1 (en) 2017-10-26

Similar Documents

Publication Publication Date Title
JP6129462B1 (ja) 内視鏡システム
JP4731248B2 (ja) 電子内視鏡システム
JP5371921B2 (ja) 内視鏡装置
JP6203452B1 (ja) 撮像システム
JP2009201940A (ja) 内視鏡光源システム、内視鏡光源装置、内視鏡プロセッサ、および内視鏡ユニット
WO2019087557A1 (ja) 内視鏡システム
US9894258B2 (en) Image pickup apparatus, and operation method of image pickup apparatus
JP2006192009A (ja) 画像処理装置
JP4814529B2 (ja) 画像処理装置
WO2016147315A1 (ja) 蛍光画像生成装置及び蛍光画像生成方法
JP2012170770A (ja) 内視鏡装置
JP4864325B2 (ja) 画像処理装置
WO2017126531A1 (ja) 内視鏡用プロセッサ
WO2019225074A1 (ja) 内視鏡システム
JP2010279579A (ja) 画像取得方法および内視鏡装置
JP2007215927A (ja) 内視鏡プロセッサ、擬似カラー画像生成プログラム、及び蛍光内視鏡システム
JP2006192058A (ja) 画像処理装置
JP2007054115A (ja) 内視鏡プロセッサ
JP4611687B2 (ja) 電子内視鏡装置
WO2020170669A1 (ja) 光源装置、医療用観察システム、調整装置、照明方法、調整方法およびプログラム
JP6574105B2 (ja) 内視鏡装置および内視鏡システム
JP2016005804A (ja) 内視鏡装置
JP2006055503A (ja) 電子内視鏡装置
JP2006020788A (ja) 自家蛍光観察可能な電子内視鏡装置およびシステム
WO2014024530A1 (ja) 走査型内視鏡装置、画像処理装置、画像処理方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170214

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170214

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20170214

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20170321

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170328

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170411

R151 Written notification of patent or utility model registration

Ref document number: 6129462

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250