JP6203452B1 - 撮像システム - Google Patents

撮像システム Download PDF

Info

Publication number
JP6203452B1
JP6203452B1 JP2017508593A JP2017508593A JP6203452B1 JP 6203452 B1 JP6203452 B1 JP 6203452B1 JP 2017508593 A JP2017508593 A JP 2017508593A JP 2017508593 A JP2017508593 A JP 2017508593A JP 6203452 B1 JP6203452 B1 JP 6203452B1
Authority
JP
Japan
Prior art keywords
light
image
observation mode
luminance
video signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017508593A
Other languages
English (en)
Other versions
JPWO2017073302A1 (ja
Inventor
航史 小島
航史 小島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Application granted granted Critical
Publication of JP6203452B1 publication Critical patent/JP6203452B1/ja
Publication of JPWO2017073302A1 publication Critical patent/JPWO2017073302A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006Operational features of endoscopes characterised by electronic signal processing of control signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/042Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by a proximal camera, e.g. a CCD camera
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0653Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with wavelength conversion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655Control therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0071Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • A61B5/0086Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters using infrared radiation
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407Optical details
    • G02B23/2461Illumination

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Signal Processing (AREA)
  • Astronomy & Astrophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

撮像システムのための制御装置(100)は、映像信号取得部(110)と、測光部(131)と、輝度制御部(132)とを有する。映像信号取得部(110)は、被検体に対して照射された励起光によって励起されて被検体から放射される蛍光を撮像した映像信号を取得する。測光部(131)は、映像信号のうち、蛍光に対応した1色の色別映像信号のみに基づいて蛍光の明るさを取得する。輝度制御部(132)は、測光部で取得された蛍光の明るさに基づいて、映像信号に基づき作成される蛍光画像の輝度を調整する。

Description

本発明は、撮像システムに関する。
一般に、内視鏡システムを用いた観察において、白色光を照射して被検体を観察するのみならず、他の光を照射して被検体を観察する観察方法が知られている。例えば、所定の励起光を照射して、そのときに発生する蛍光を観察することで、通常の白色光を用いた観察では得られない情報を得ることができることが知られている。日本国特開2007−313171号公報には、反射光画像と自家蛍光画像とを順次取得して、これらの画像を重畳した画像をユーザに提示することができる内視鏡システムについて開示されている。また、日本国特開2007−313171号公報には、励起光として近赤外光が用いられることが開示されている。
蛍光は反射光等と比較して光強度が低い。このため、反射光等の場合と同様の方法で画像の輝度に係る条件を調整したのでは、蛍光について適切な輝度を有する画像を得られないことがある。
本発明は、適切な輝度の蛍光画像を得ることができる撮像システムを提供することを目的とする。
本発明の一態様によれば、撮像システムは、通常光観察モードとして被検体に対して緑色光、青色光及び赤色光を射出し、赤外光観察モードとして前記被検体に対して前記緑色光、前記青色光及び近赤外光に基づく励起光を射出し、当該励起光の出力強度は当該緑色光及び当該青色光の出力強度より高くなるように構成された光源装置と、前記光源装置から射出された照明光に対して前記被検体からの戻り光を撮像する撮像装置と、前記撮像装置において撮像した映像信号を取得するように構成された映像信号取得部と、前記通常光観察モードにおいて赤色、緑色及び青色の各色の映像信号に所定比率の検波パラメータを乗算し、前記赤外光観察モードにおいて撮像した映像信号に対して色毎に前記通常光観察モードにおける前記検波パラメータとは異なるパラメータを乗算する検波処理部と、前記通常光観察モードにおいて前記検波処理部から出力された赤色画像信号、緑色画像信号及び青色画像信号に基づいて輝度を算出し、前記赤外光観察モードにおいて前記検波処理部から出力された赤色画像信号の情報のみが含まれる映像信号に基づいて輝度を算出する測光部と、前記通常光観察モードにおいて前記測光部で算出された輝度に基づいて1フィールド毎に画像が作成されるように前記撮像装置の電子シャッタを調整し、前記赤外光観察モードにおいて前記測光部で算出された輝度に基づいて複数のフィールド毎に画像が作成されるように前記撮像装置に対して多重露光設定を行う輝度制御部と、を備えることを特徴とする。
本発明によれば、適切な輝度の蛍光画像を得ることができる撮像システムを提供できる。
図1は、一実施形態に係る撮像システムの構成例の概略を示すブロック図である。 図2は、通常光観察モードにより得られる画像例の概略を示す模式図である。 図3は、赤外光観察モードにより得られる画像例の概略を示す模式図である。 図4は、赤外光観察モードで背景画像を重畳した場合に得られる画像例の概略を示す模式図である。 図5は、観察モード毎の各種設定の一例の一覧を示す図である。 図6は、撮像システムの動作の一例を示すフローチャートである。 図7は、各光源とそれらの出力強度との関係の一例の概略を示す模式図である。 図8は、硬性鏡に入射する各波長の光の強度の一例の概略を示す模式図である。 図9は、撮像素子に入射する各波長の光の強度の一例の概略を示す模式図である。
本発明の一実施形態について図面を参照して説明する。本実施形態は、医療用の硬性鏡と撮像装置とを用いて画像を取得する撮像システムに係る。特に、本実施形態に係る撮像システムは、観察対象である被検体に励起光を照射したときに放射される蛍光を撮像するための機能を有する。
〈システム構成〉
本実施形態に係る撮像システム10の構成例の概略を図1に示す。図1に示すように、撮像システム10は、撮像システム10の制御装置として機能するビデオプロセッサ100と、光源装置200と、撮像装置300と、硬性鏡400と、表示装置500とを備える。図1においては、破線の矢印は、撮像装置300で取得されて表示装置500に表示されるまでの映像信号の流れを示す。一点鎖線の矢印は、後述する画像の明るさを調整する輝度制御に係る制御信号の流れを示す。実線の矢印は、上述の信号以外の信号等の流れを示す。
一般的な光学視管である硬性鏡400は、撮像装置300が接続されるように構成されている。撮像装置300は、撮像素子等を含む撮像部310を備える。撮像素子は、例えばCCDイメージセンサ又はCMOSイメージセンサ等を含む。また、本実施形態では、撮像部310に3板方式が採用されているものとする。なお、撮像部310に単板方式が採用されてもよい。ただし、単板方式の場合には、同時化処理等の処理が必要となる。撮像部310は、撮像素子を用いて撮像素子の撮像面上に形成された被検体の像に係る映像信号を生成する。
硬性鏡400は、光学系410と、照明窓420とを備える。光学系410は、撮像装置300の撮像素子の撮像面に被検体の像を結像させる。また、光学系410は、近赤外光を遮断するフィルタ412を含む。フィルタ412の分光特性については、後述する。このフィルタ412は、対物光学系の前面に配置されていてもよいし、リレーレンズの中の1つの光学素子として設けられてもよいし、硬性鏡400の接眼部に設けられてもよい。また、同様のフィルタが、硬性鏡400ではなく撮像装置300の撮像部310に設けられてもよい。照明窓420は、光源装置200から導かれた照明光を射出する窓である。照明窓420から射出される照明光は、撮像部310で撮像される被検体を照明する。
光源装置200は、光源210と、光源駆動回路220と、光量制御回路230とを備える。光源210は、例えば複数の光源を有する。すなわち、光源210には、近赤外光を射出するIR光源211と、赤色光を射出するR光源212と、緑色光を射出するG光源213と、青色光を射出するB光源214とが含まれる。R光源から射出される赤色光と、G光源から射出される緑色光と、B光源から射出される青色光とが合波されることで、白色光が調製される。これらの光源は、例えば半導体レーザ光源又は発光ダイオード等種々の半導体光源で構成され得る。
光源駆動回路220は、光源210に含まれる各光源を駆動する。光量制御回路230は、光源駆動回路220の動作を制御する。すなわち、光量制御回路230は、光源210のオン又はオフ、及び各光源が射出する光の強度等を制御する。光源210から射出された光は、ライトガイドファイバで導光されて硬性鏡400の照明窓420まで導かれる。
なお、硬性鏡400の照明窓420まで導かれる光の光量は、光源210が射出する光の強度によって調整されてもよいし、その他の方法によって調整されてもよい。例えば、光源210とライトガイドファイバの光入射端との間に絞りが設けられ、当該絞りの開口率が調整されることで、硬性鏡400に導かれる光量が調整されてもよい。また、光源210の出力を変更するために、光源210に供給される電力は、電流値を変更することで調整されてもよいし、パルス幅変調(pulse width modulation;PWM)制御によって調整されてもよい。
表示装置500は、例えば液晶ディスプレイといった一般的な表示装置である。表示装置500は、後述するビデオプロセッサ100の画像処理回路120によって画像処理された映像信号に基づいて、画像を表示する。
ビデオプロセッサ100は、映像信号取得回路110と、画像処理回路120と、輝度調整回路130と、制御回路140と、記憶装置150と、入力装置160とを備える。映像信号取得回路110は、撮像装置300から、撮像部310で生成された映像信号を取得する。映像信号取得回路110は、取得した映像信号を画像処理回路120へと伝達する。このように、例えば映像信号取得回路110は、蛍光を撮像した映像信号を取得するように構成された映像信号取得部として機能する。
画像処理回路120は、映像信号取得回路110から取得した映像信号に対して各種画像処理を施し、画像処理後の映像信号を表示装置500へと出力する。画像処理回路120で行われる処理には、前段処理122と、検波処理124と、オートゲインコントロール(AGC)126と、後段処理128とが含まれる。
前段処理122では、映像信号取得回路110から取得した映像信号に対して、色処理、フィルタリングによるノイズの低減、ゲイン調整等の処理が行われる。
検波処理124では、前段処理122の後の映像信号について、色毎に所定の係数である検波パラメータが乗算される。検波パラメータは、観察モードの設定等に応じて変更される。例えば、後述するように、観察モードが通常光観察(white light imaging;WLI)モードの場合には、赤色(R)、緑色(G)及び青色(B)の各色の映像信号の比は、R:G:B=0.45:0.45:0.10に設定される。また、赤外光観察(infrared imaging;IRI)モードの場合には、各色の映像信号の比は、R:G:B=1:0:0に設定される。また、赤外光観察モードで背景画像も取得する場合には、各色の映像信号の比は、R:G:B=0.8:0.2:0.0に設定される。さらに、検波処理124では、所定のゲインが加えられてもよい。検波処理後の映像信号は、後述の輝度調整回路130へと伝達される。
AGC126では、検波処理124後の映像信号について、各色の信号強度が適切な範囲内となり画像の明るさが適切なものとなるように、映像信号に対するゲインの調整が行われる。このゲイン調整は、輝度調整回路130の制御下で行われる。
後段処理128では、AGC126後の映像信号を用いて、表示装置500に表示させる画像を生成するための各種画像処理が行われる。後段処理128後の映像信号は、表示装置500へと伝達される。
輝度調整回路130は、画像処理回路120で処理される映像信号が表す画像が適切な輝度を有するものとなるように、撮像システム10の各種動作の調整を行う。輝度調整回路130は、測光部131と、輝度制御部132とを含む。測光部131は、検波処理124後の映像信号を取得する。測光部131は、取得した映像信号に基づいて、映像信号が表す画像の輝度を算出する。測光部131は、算出結果を輝度制御部132へと伝達する。
輝度制御部132は、測光部131から取得した画像の輝度の情報に基づいて、各種設定を変更させる。輝度制御部132は、光源制御部134と、ゲイン制御部135と、露出制御部136とを含む。
光源制御部134は、画像の明るさが適当なものとなるように、光源装置200の光源210の出力を調整する。光源制御部134は、決定した光源210の出力に係る情報を、光源装置200の光量制御回路230へと伝達する。光量制御回路230は、後述する制御回路140から受け取った情報と光源制御部134から受け取った出力に係る情報とに基づいて、光源210の動作を制御する。
ゲイン制御部135は、画像の輝度が適当なものとなるように、画像処理回路120で行われる画像処理のパラメータの1つであるAGC126のゲインの設定を決定する。ゲイン制御部135は、決定したゲイン設定を画像処理回路120へと伝達する。画像処理回路120は、ゲイン制御部135から取得したゲイン設定に基づいて、AGC126の処理を行う。
露出制御部136は、画像の明るさが適当なものとなるように、撮像装置300の撮像部310の露出設定を決定する。露出制御部136は、決定した露出設定を撮像部310へと伝達する。撮像部310は、露出制御部136から取得した露出設定に基づいて、撮像動作を行う。例えば、撮像部310による露光時間は、この露出設定に基づく。
制御回路140は、ビデオプロセッサ100の各部の動作を制御する。制御回路140は、例えば画像処理回路120及び輝度調整回路130と接続しており、画像処理回路120及び輝度調整回路130の動作について指令を出す。また、制御回路140は、光源装置200の光量制御回路230と接続しており、光量制御回路230に必要な情報を送信する。例えば、制御回路140は、観察モードが通常光観察モードであるのか赤外光観察モードであるのかといった情報や、光源210をオンにするのかオフにするのかといった情報を光量制御回路230へと送信する。
記憶装置150は、例えば半導体メモリやハードディスク等の記憶装置を含む。記憶装置150は、制御回路140に接続されている。また、記憶装置150は、画像処理回路120又は輝度調整回路130等と接続されていてもよい。記憶装置150には、各部の動作に必要なプログラムや設定値等が記録されている。
入力装置160は、例えばスイッチ、キーボード、タッチパネル等の入力装置を含む。制御回路140は、入力装置160を介して、ユーザからの指示を受け取ることができる。
画像処理回路120、輝度調整回路130及び制御回路140は、Central Processing Unit(CPU)、Application Specific Integrated Circuit(ASIC)、又はField Programmable Gate Array(FPGA)等の集積回路等を含む。画像処理回路120、輝度調整回路130及び制御回路140は、それぞれ1つの集積回路等で構成されてもよいし、複数の集積回路等が組み合わされて構成されてもよい。また、画像処理回路120、輝度調整回路130及び制御回路140のうち2つ以上が1つの集積回路等で構成されてもよい。これら集積回路の動作は、例えば記憶装置150や集積回路内の記録領域に記録されたプログラムに従って行われる。また、光源装置200の光量制御回路230も、同様に集積回路等を含む。
〈システムの動作〉
本実施形態に係る撮像システム10の動作について説明する。撮像システム10は、2つの観察モードを有する。すなわち、被検体に白色光を照射してその反射光を撮像装置300で撮像する通常光観察モードと、被検体に近赤外の励起光を照射して当該励起光によって発生した赤外の蛍光を撮像装置300で撮像する赤外光観察モードとが用意されている。図2に通常光観察モードで取得される表示装置500に表示される画像の模式図を示す。通常光観察モードでは、被検体の外観的構造等が観察される。
一方、赤外光観察モードでは、例えば病変や粘膜深部の血管等、特定の物体が観察される。さらに、赤外光観察モードには、赤外の蛍光のみを表示装置500に表示する第1の表示モードと、赤外の蛍光に加えて可視光領域の背景画像を重畳させて表示装置500に表示する第2の表示モードとが用意されている。図3に赤外光観察モードで取得され、第1の表示モードで表示される画像の模式図を示す。図3において、網掛けで示されている部分は蛍光が認められる部分を模式的に示す。また、図4に赤外光観察モードで取得され、第2の表示モードで表示される画像の模式図を示す。第2の表示モードでは、背景について通常光観察モード程の解像度は得られないが、背景に対して蛍光が発せられている位置が確認され得る。
一般に、病変部の観察は次のように行われる。初めに通常光観察モードで観察が行われる。病変等がありそうな場所の観察においては、通常光観察モードから赤外光観察モードへと切り替えられて病変等の確認が行われる。その後、赤外光観察モードから通常光観察モードへと切り換えられて、良好な視界が得られる通常光観察モードにて病変部等の切除等の処置が行われる。
撮像システム10では、観察モード毎に、光源210の出力や、画像処理回路における各種パラメータ等の基本設定が異なる。各設定の一例を図5に示す。図5は、通常光観察モードと、赤外光観察モード(第1の表示モード)と、赤外光観察モード(第2の表示モード)とのそれぞれについて、光源210の設定、検波処理124における検波パラメータの設定、輝度制御部132によって行われる輝度制御の設定、及び後段処理128における表示画像の作成の設定の一例を示す。
本実施形態に係る撮像システム10の動作について、図6に示すフローチャートを参照して説明する。
ステップS1において、ビデオプロセッサ100は、観察モード及び表示モードの設定を行う。すなわち、制御回路140は、入力装置160からユーザが選択した観察モードの情報を取得する。制御回路140は、取得した情報に基づいて、各種設定値を各モードに対応した値に設定する。
ステップS2において、ビデオプロセッサ100は、光源210の設定を行う。すなわち、制御回路140は、モード設定に基づいて、光源装置200の光量制御回路230に、光源の設定に係る情報を出力する。例えば図5に示すように、通常光観察モードのときは、IR光源211の出力はオフとされ、R光源212、G光源213及びB光源214の出力はオンとされ、これら光源の出力は同程度とされる。その結果、射出されるR光(赤色光)の強度とG光(緑色光)の強度とB光(青色光)の強度とがほぼ等しくなり、照明光は白色光となる。
また、赤外光観察モードのときには、近赤外励起光を射出するIR光源211の出力は強くされ、G光源213及びB光源214の出力は弱くされる。また、R光源212の出力はオフとされる。このときの各光源とそれらの出力強度との関係の模式図を図7に示す。
通常光観察モードのとき、白色光が被検体に照射される。その反射光が硬性鏡400の光学系410を介して、撮像装置300の撮像部310によって撮像される。すなわち、撮像装置300によって、被検体の色に応じた各色の輝度情報が含まれる映像信号が作成される。
一方、赤外光観察モードのとき、強い近赤外光、並びに弱いB光及びG光が被検体に照射される。このとき、被検体の色に応じたB光、G光及びIR光(近赤外光)の反射光が硬性鏡400の光学系410に入射する。また、IR光によって励起されることで生じた近赤外光よりも長波長の赤外色の蛍光が硬性鏡400の光学系410に入射する。硬性鏡400に入射する各波長の光の強度の概略を図8に示す。照明光において近赤外励起光の強度は、B光又はG光の強度よりも高いので、硬性鏡400の光学系410に入射する近赤外励起光の反射光は、B光又はG光の反射光よりも強い。また、照明光における近赤外励起光の強度はB光又はG光の強度よりも高いものの、赤外の蛍光の強度は、B光及びG光の反射光の強度よりも低い。硬性鏡の光学系410に含まれるフィルタ412の透過特性の概略を図8に破線で示す。このように、フィルタ412は、B光、G光、R光及び赤外光を透過するが、励起光の反射光である近赤外光を遮断する。
フィルタ412を通過して、撮像装置300の撮像部310に含まれる撮像素子に入射する各波長の光の強度の概略を図9に示す。図9に示すように、近赤外光は、フィルタ412によって遮断されるため、撮像素子へは入射しない。その結果、比較的強度が高いB光及びG光と、比較的強度が低い赤外の蛍光が撮像素子へ入射する。
図9には、撮像部310の青色の光を感知する撮像素子(B感度素子)に係る波長と感度との関係を点線で模式的に示す。このように、B光の画像は、B感度素子によって取得される。撮像部310の緑色の光を感知する撮像素子(G感度素子)に係る波長と感度との関係を一点鎖線で模式的に示す。このように、G光の画像は、G感度素子によって取得される。撮像部310の赤色の光を感知する撮像素子(R感度素子)に係る波長と感度との関係を破線で模式的に示す。このように、赤外の蛍光の画像は、R感度素子によって取得される。なお、R感度素子の赤外光に対する感度は、R光などに対する感度と比較してそれほど高くない。したがって、赤外の蛍光は、B光又はG光と比較して、捉えられにくい。以上のように、撮像装置300によって、被検体の色及び蛍光物質の量に応じた各色の輝度情報が含まれる映像信号が作成される。
ステップS3において、ビデオプロセッサ100は、映像信号を取得する。すなわち、映像信号取得回路110は、撮像装置300の撮像部310から、撮像部310が生成した映像信号を取得する。この映像信号は、画像処理回路120へと伝達される。映像信号は、前段処理122において色調整、ノイズの低減、ゲインの調整等の処理が行われる。なお、前段処理122の後の映像信号には、R光に係るR画像信号と、G光に係るG画像信号と、B光に係るB画像信号とが含まれる。R画像信号、G画像信号及びB画像信号など色毎に係る映像信号を色別映像信号と称することにする。前段処理122がされた後、検波処理124が行われる。
上述のとおり、検波処理124で各色の映像信号に乗算される検波パラメータは、観察モードによって異なる。各モードにおける検波パラメータの一例を図5に示す。検波処理124により、色毎に検波パラメータが乗算され、適当なゲインがかけられた映像信号は、輝度調整回路130の測光部131へと伝達される。
ステップS4において、ビデオプロセッサ100は、モードに応じた測光処理を行う。すなわち、輝度調整回路130の測光部131は、画像処理回路120から検波処理後の映像信号を受け取り、この映像信号に基づいて測光処理を行う。例えば通常光観察モードでは、検波処理124で検波されたR画像信号、G画像信号及びB画像信号の輝度情報が含まれる映像信号が測光処理に用いられる。一方、赤外光観察モードでは、例えば検波処理124で検波されたR画像信号の輝度情報のみが含まれる映像信号、すなわち色別映像信号が測光処理に用いられる。なお、赤外光観察モードの第2の表示モードでは、検波パラメータが赤色は0.8、緑色は0.2となっているが、測光処理には、R画像信号及びG画像信号の輝度情報が含まれる映像信号が用いられてもよいし、R画像信号の輝度情報のみが用いられてもよい。
ステップS5において、ビデオプロセッサ100は、測光処理の結果に基づいて、輝度制御を行う。すなわち、輝度調整回路130の輝度制御部132は、映像信号によって表される画像の輝度が適切になるように、各種パラメータを調整する。例えば、輝度制御部132の光源制御部134は、光源装置200の光源210の出力を調整する。また、輝度制御部132のゲイン制御部135は、画像処理回路120で行われるAGC126のゲインを調整する。また、輝度制御部132の露出制御部136は、撮像装置300の撮像部310における露光を調整する。
例えば、通常光観察モードでは、次のような設定がなされる。すなわち、撮像部310における露光は、1フィールド毎に画像が作成されるように設定される。さらに、電子シャッタによって1フィールド内で露光時間を制限することで、撮像により得られる画像が明るくなり過ぎないように調整される。また、AGC126のゲインは、輝度に応じて調整される。また、光源210の出力も輝度に応じて調整される。
一方、赤外光観察モードでは、蛍光の輝度は低いため、例えば次のような設定がなされる。すなわち、光源210のIR光源211の出力は、最大に設定される。第2の表示モードが用いられるために背景光も取得する場合には、光源210のG光源213及びB光源214の出力は、背景の輝度に応じて調整される。また、AGC126のゲインは、輝度に応じて調整される。撮像部310における露光は、1乃至6フィールド毎に画像が作成されるものとし、何フィールドで1つの画像が作成されるかは、輝度に応じて調整されるものとする。複数のフィールドを用いて多重露光することで、画像処理回路120で行われる画像処理のゲインを低く抑えることができる。その結果、最終的に表示される画像のノイズを低減させることができる。
なおゲインについて特記すると、例えば、前段処理122では最大4倍程度のゲインをかけることができ、検波処理124では最大8倍程度のゲインをかけることができ、AGC126では最大8倍程度のゲインをかけることができ、合計で最大数百倍程度のゲインをかけることができる。このような高いゲインによって、輝度が低い赤外光観察モードでも明るい観察を行うことができる。
ステップS6において、ビデオプロセッサ100は、撮像装置300で取得された映像信号に対して、輝度制御に応じた画像処理を行い、画像処理後の画像を表示装置500に表示させる。すなわち、ビデオプロセッサ100の画像処理回路120は、輝度制御部132の制御下で行われるAGC126を含む画像処理を行う。画像処理回路120は、画像処理後の映像信号を表示装置500へと出力し、表示装置500に画像を表示させる。
画像処理回路120は、例えば通常光観察モードでは、R画像信号と、G画像信号と、B画像信号とを合成し、表示装置500に表示させるカラー画像を作成する。ここで作成される画像は、硬性鏡400を介して肉眼で被検体を観察したときに近い画像となる。
一方、赤外光観察モードでは、撮像部310でR画像信号として取得される画像に基づいて、表示装置500に表示させる蛍光の強度を表す画像を作成する。ここで、表示装置500で表示する画像の映像信号では、撮像部310で得られたR画像信号を、その輝度に応じた輝度のG画像信号とB画像信号とに変換する。すなわち、表示装置500に表示される画像は、R画像信号の輝度、すなわち、被検体で発生する蛍光の強度に応じた、G画像信号とB画像信号とを含む画像であり、蛍光強度に応じた輝度を有するシアン色の画像となる。これは人間の目の感度(比視感度)のピークが緑色域に属することを考慮し、蛍光観察において注目すべき蛍光を赤色ではなく緑色に近しい色で表示させることにより蛍光箇所の視認性を向上させることができるためである。
また、赤外光観察モードにおける背景画像では、撮像部310で得られたG画像信号に基づいて、表示装置500に表示させる背景の明るさを表す画像が作成される。ここで、表示装置500で表示する画像の映像信号では、撮像部310で得られたG画像信号を、その輝度に応じた輝度のR画像信号に変換する。すなわち、表示装置500に表示される画像は、撮像部310で得られたG画像信号の輝度、すなわち、被検体の明暗に応じた、R画像信号を含む画像であり、被検体の明暗に応じた輝度を有する赤色の画像となる。ここでは、赤色として取得された蛍光をシアン色に変換し、緑色として取得された背景を赤色に変換しているのは、一般に体内を観察した場合、背景は赤色であることが多いためである。すなわち、通常光観察モードで表示装置500に表示される画像と赤外光観察モードで表示装置500に表示される画像の背景画像との差異を小さくすることで、違和感が小さくなるように、表示画像の色が調整されている。
ステップS7において、ビデオプロセッサ100は、観察モードが変更されたか否かを判定する。観察モードが変更されたとき、処理はステップS1に戻り、ステップS1乃至ステップS7の処理を繰り返す。一方、観察モードが変更されていないとき、処理はステップS8に進む。
ステップS8において、ビデオプロセッサ100は、本処理を終了するか否かを判定する。終了しないとき、処理はステップS3に戻り、ステップS3乃至ステップS8の処理を繰り返す。一方、処理を終了すると判定されたとき、本処理は終了する。ステップS1乃至ステップS8の処理は、撮像部310の撮像に係るフィールドのタイミングに合わせてフィールド毎に繰り返される。
〈本システムの利点〉
本実施形態によれば、赤外光観察モードでは、検波処理124によって、R画像信号のみに基づく映像信号、又はR画像信号に重みがつけられた映像信号を用いて測光処理が行われる。したがって、発光強度が低い蛍光の画像を示すR画像信号に応じた輝度制御が行われ得る。その結果、本実施形態に係る撮像システム10によれば、適切な輝度を有する蛍光画像が得られる。測光処理にG画像信号又はB画像信号が用いられると、R画像信号に係る輝度が低いにも関わらず、G画像信号又はB画像信号に係る高い輝度に由来して、R画像信号に係る輝度が低くなる方向に輝度制御が行われてしまうことがある。これに対して、本実施形態によれば、R画像信号に係る輝度が低くなる方向に不適当に輝度制御が行われてしまうことが回避される。
〈変形例〉
上述の実施形態の変形例についていくつか説明する。
上述の実施形態では、観察モードとして、通常光観察モードと赤外光観察モードとが用意された撮像システム10について説明した。しかしながらこれに限らない。上述の技術は、赤外光観察モードのみを有する撮像システムにも適用され得る。
また、上述の実施形態では、励起光を近赤外光とし、蛍光を赤外光としたが、これに限らない。励起光及び蛍光としてどのような波長が用いられてもよい。例えば、上述の技術は、生体に内在している蛍光物質を励起して得られる自家蛍光観察に適用されてもよい。何れの場合でも、検波処理124では蛍光に対応した映像信号が検波され、検波された映像信号に基づいて蛍光の明るさを取得する測光処理がなされる。
また、上述の実施形態では、硬性鏡400と撮像装置300とを用いた撮像システム10について例示したが、これに限らない。上述の技術は、例えば、光ファイバで光学像を伝達する軟性鏡にも適用され得る。さらに、上述の技術は、例えば、先端部に撮像素子を備えた電子内視鏡にも適用され得る。電子内視鏡は、軟性鏡であっても硬性鏡であってもよい。さらに、内視鏡等に限らず、上述の技術は、例えば蛍光顕微鏡等、他の機器にも適用され得る。
また、光源装置200の光源210は、色毎に光源が異なる複数のレーザ光源や発光ダイオードなどが設けられている場合を例示したが、これに限らない。例えば、青色の光源と蛍光物質とが設けられており、この光源から射出される青色光と、この青色光を励起光として蛍光物質から射出された蛍光とが合成されることで白色光が射出されるような白色半導体光源が用いられてもよい。また、光源として、例えばキセノンランプ又はハロゲンランプ等のランプが用いられてもよい。さらに、必要に応じて上述の実施形態では示さなかった種々の光源が設けられてもよい。
また、上述の実施形態では、全ての光源が1つの光源装置200に設けられている場合を例示したがこれに限らない。例えば、近赤外光源と白色光源又は白色光を生成する複数の光源とは、それぞれ別個の光源装置に設けられていてもよい。また、白色光源等と近赤外光源とのうち、何れか一方又は両方が、ビデオプロセッサ100と一体として設けられていてもよい。
また、上述の実施形態では、撮像部310に含まれる撮像素子は、RGBの3色の映像信号を出力するものとした。しかしながらこれに限らず、例えば補色フィルタが設けられた撮像装置が用いられてもよい。

Claims (3)

  1. 通常光観察モードとして被検体に対して緑色光、青色光及び赤色光を射出し、赤外光観察モードとして前記被検体に対して前記緑色光、前記青色光及び近赤外光に基づく励起光を射出し、当該励起光の出力強度は当該緑色光及び当該青色光の出力強度より高くなるように構成された光源装置と、
    前記光源装置から射出された照明光に対して前記被検体からの戻り光を撮像する撮像装置と、
    前記撮像装置において撮像した映像信号を取得するように構成された映像信号取得部と、
    前記通常光観察モードにおいて赤色、緑色及び青色の各色の映像信号に所定比率の検波パラメータを乗算し、前記赤外光観察モードにおいて撮像した映像信号に対して色毎に前記通常光観察モードにおける前記検波パラメータとは異なるパラメータを乗算する検波処理部と、
    前記通常光観察モードにおいて前記検波処理部から出力された赤色画像信号、緑色画像信号及び青色画像信号に基づいて輝度を算出し、前記赤外光観察モードにおいて前記検波処理部から出力された赤色画像信号の情報のみが含まれる映像信号に基づいて輝度を算出する測光部と、
    前記通常光観察モードにおいて前記測光部で算出された輝度に基づいて1フィールド毎に画像が作成されるように前記撮像装置の電子シャッタを調整し、前記赤外光観察モードにおいて前記測光部で算出された輝度に基づいて複数のフィールド毎に画像が作成されるように前記撮像装置に対して多重露光設定を行う輝度制御部と、
    を備えることを特徴とする撮像システム。
  2. 前記輝度制御部は、前記測光部で算出された輝度に基づいて前記検波処理部から出力された映像信号に対してゲイン調整の設定を行うことを特徴とする請求項1に記載の撮像システム。
  3. 前記輝度制御部は、前記測光部で算出された輝度に基づいて前記光源装置に対して出力を設定することを特徴とする請求項1に記載の撮像システム。
JP2017508593A 2015-10-27 2016-10-07 撮像システム Active JP6203452B1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015210942 2015-10-27
JP2015210942 2015-10-27
PCT/JP2016/079984 WO2017073302A1 (ja) 2015-10-27 2016-10-07 撮像システムのための制御装置、撮像システム、及び撮像システムの制御方法

Publications (2)

Publication Number Publication Date
JP6203452B1 true JP6203452B1 (ja) 2017-09-27
JPWO2017073302A1 JPWO2017073302A1 (ja) 2017-10-26

Family

ID=58631543

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017508593A Active JP6203452B1 (ja) 2015-10-27 2016-10-07 撮像システム

Country Status (3)

Country Link
US (1) US11051683B2 (ja)
JP (1) JP6203452B1 (ja)
WO (1) WO2017073302A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110709001B (zh) * 2017-06-12 2022-09-23 索尼公司 医疗***、医疗设备和控制方法
CN111542748A (zh) * 2017-11-13 2020-08-14 索尼公司 信息处理装置、信息处理方法和荧光图像捕捉***
CN108095701B (zh) * 2018-04-25 2018-07-20 上海凯利泰医疗科技股份有限公司 图像处理***、荧光内窥镜照明成像装置及成像方法
CN114052908B (zh) * 2021-12-01 2024-02-13 辽宁北镜医疗科技有限公司 一种基于照度调节的近红外荧光术中导航***及方法
JP2023166896A (ja) * 2022-05-10 2023-11-22 Hoya株式会社 内視鏡用プロセッサおよび内視鏡用プロセッサの制御方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007143624A (ja) * 2005-11-24 2007-06-14 Hamamatsu Photonics Kk 蛍光観察装置
US20080239070A1 (en) * 2006-12-22 2008-10-02 Novadaq Technologies Inc. Imaging system with a single color image sensor for simultaneous fluorescence and color video endoscopy
JP2010005305A (ja) * 2008-06-30 2010-01-14 Fujifilm Corp 蛍光撮影方法及び装置
WO2015015839A1 (ja) * 2013-08-01 2015-02-05 オリンパスメディカルシステムズ株式会社 撮像装置
WO2015115151A1 (ja) * 2014-01-31 2015-08-06 オリンパス株式会社 蛍光観察装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007313171A (ja) 2006-05-29 2007-12-06 Olympus Corp 内視鏡システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007143624A (ja) * 2005-11-24 2007-06-14 Hamamatsu Photonics Kk 蛍光観察装置
US20080239070A1 (en) * 2006-12-22 2008-10-02 Novadaq Technologies Inc. Imaging system with a single color image sensor for simultaneous fluorescence and color video endoscopy
JP2010005305A (ja) * 2008-06-30 2010-01-14 Fujifilm Corp 蛍光撮影方法及び装置
WO2015015839A1 (ja) * 2013-08-01 2015-02-05 オリンパスメディカルシステムズ株式会社 撮像装置
WO2015115151A1 (ja) * 2014-01-31 2015-08-06 オリンパス株式会社 蛍光観察装置

Also Published As

Publication number Publication date
US11051683B2 (en) 2021-07-06
WO2017073302A1 (ja) 2017-05-04
JPWO2017073302A1 (ja) 2017-10-26
US20180228352A1 (en) 2018-08-16

Similar Documents

Publication Publication Date Title
CN107072520B (zh) 以可见光波长和红外波长并行成像的内窥镜***
JP6203452B1 (ja) 撮像システム
US9675238B2 (en) Endoscopic device
JP5507376B2 (ja) 撮像装置
US10335014B2 (en) Endoscope system, processor device, and method for operating endoscope system
JP6461797B2 (ja) 蛍光観察装置
US20200337540A1 (en) Endoscope system
US20170035280A1 (en) Stereoscopic endoscope system with concurrent imaging at visible and infrared wavelengths
JP4895750B2 (ja) 内視鏡プロセッサ、自家蛍光画像表示プログラム、及び内視鏡システム
JP2009279150A (ja) 内視鏡プロセッサおよび内視鏡システム
JP6129462B1 (ja) 内視鏡システム
US9414739B2 (en) Imaging apparatus for controlling fluorescence imaging in divided imaging surface
WO2017183324A1 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
WO2016032729A1 (en) Endoscope system with concurrent imaging in visible and infrared wavelengths
JP6246436B1 (ja) 内視鏡用プロセッサ及び内視鏡用プロセッサの作動方法
JP4864325B2 (ja) 画像処理装置
WO2015115151A1 (ja) 蛍光観察装置
JP2006192058A (ja) 画像処理装置
JP5242516B2 (ja) 画像処理装置
JP2019168423A (ja) 画像取得装置及び画像取得方法
JP2013094489A (ja) 内視鏡装置
JP6120758B2 (ja) 医用システム
WO2018220908A1 (ja) 内視鏡システム
JP2016043135A (ja) 内視鏡装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170613

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170629

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170801

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170829

R151 Written notification of patent or utility model registration

Ref document number: 6203452

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250