JP2014039571A - 蛍光内視鏡装置 - Google Patents

蛍光内視鏡装置 Download PDF

Info

Publication number
JP2014039571A
JP2014039571A JP2010290927A JP2010290927A JP2014039571A JP 2014039571 A JP2014039571 A JP 2014039571A JP 2010290927 A JP2010290927 A JP 2010290927A JP 2010290927 A JP2010290927 A JP 2010290927A JP 2014039571 A JP2014039571 A JP 2014039571A
Authority
JP
Japan
Prior art keywords
fluorescence
fluorescent
component
image
wavelength
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2010290927A
Other languages
English (en)
Inventor
Shinya Matsumoto
伸也 松本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2010290927A priority Critical patent/JP2014039571A/ja
Priority to PCT/JP2011/080158 priority patent/WO2012090982A1/ja
Priority to US13/920,136 priority patent/US9050012B2/en
Publication of JP2014039571A publication Critical patent/JP2014039571A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0071Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7425Displaying combinations of multiple images regardless of image source, e.g. displaying a reference anatomical image with a live image

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Endoscopes (AREA)

Abstract

【課題】フレームレートを極力変更させずに、各蛍光成分の明るさが蛍光画像観察に適した明るさとなるように露光条件を変更しても、露光条件の変更如何にかかわらず各蛍光成分を分離して表示できる蛍光内視鏡装置を提供すること。
【解決手段】光源ユニット11と、内視鏡先端挿入部12と、制御ユニット13と、表示ユニット14と、露光条件設定部15を有し、濃度演算部が、記録部の蛍光スペクトルより得られる蛍光成分1〜mの波長λ1〜λnの係数をa1(λ1)〜am(λn)、取得部が取得した波長λ1〜λnの蛍光画像の強度をIall(λ1)〜Iall(λn)とし、下記式より蛍光成分1〜mの濃度D1〜Dmを計算する。
Figure 2014039571

【選択図】図1

Description

本発明は、最大蛍光波長が異なり少なくとも一部の波長域で蛍光波長が重なる複数種類の蛍光成分を有する生体組織から発生する複数種類の蛍光画像を取得し、取得した蛍光画像を用いて生体組織に存在する複数種類の蛍光成分を分離して表示する蛍光内視鏡装置に関する。
蛍光内視鏡装置を用いた分子イメージング診断においては、生体由来の自家蛍光(組織、残渣等)のノイズを除去して、蛍光プローブからの蛍光を抽出する、いわゆるUNMIXING技術を用いた蛍光抽出処理が有効である。また、UNMIXING技術を用いた蛍光抽出処理において光強度の弱い蛍光画像の画質のS/Nを向上させるためには、例えば、エタロン型の可変分光素子と高感度カメラを備えた分光撮像ユニットを介して露光時間を任意に変更できるようにすることが有効である。
従来、UNMIXING技術を用いた蛍光内視鏡装置としては、例えば、次の特許文献1に記載の内視鏡装置がある。
特許第2008−43396号公報
ところで、複数種類の蛍光を分光撮像する蛍光内視鏡装置においては、露光時間を長くすると、フレームレートが落ちる。
また、観察対象の生体組織中に存在する各蛍光成分(人組織、残渣、蛍光薬剤)の明るさは一様ではない。
このため、例えば、生体組織中に暗い蛍光成分が存在する場合には、その暗い蛍光成分の蛍光画像が観察に適した明るさとなるように露光時間を長くする必要がある。しかし、その暗い蛍光成分の蛍光画像についての露光時間の変更に合わせて、生体組織中に存在する他の蛍光成分の蛍光画像についての露光時間を同じように長くするのでは、フレームレートが大きく低下してしまう。また、生体組織中に存在する他の蛍光成分が明るすぎる場合に、さらに露光時間を長くすると、その明るすぎる蛍光成分の蛍光画像の明るさが飽和してしまう。
また、例えば、生体組織中に明るすぎる蛍光成分が存在する場合には、その明るすぎる蛍光成分の画像が観察に適した明るさとなるように露光時間を短くする必要がある。しかし、その明るすぎる蛍光成分の蛍光画像についての露光時間の変更に合わせて、生体組織中に存在する他の蛍光成分の蛍光画像についての露光時間を同じように短くするのは、例えば、他の蛍光成分が暗い場合に、その暗い蛍光成分の蛍光画像がさらに暗くなって検出できなくなってしまう。
しかるに、特許文献1に記載の内視鏡装置におけるUNMIXING技術を用いた蛍光抽出処理においては、露光時間等の露光条件に関係なく一定のUNMIXING係数(蛍光成分の成分比)が用いられていた。このため、夫々の蛍光波長毎に適切な明るさが得られるように露光時間等の露光条件を調整して蛍光画像を検出した場合には、UNMIXING係数が適切なものではなくなり、蛍光成分の分離を適切に行うことができなかった。
従来のUNMIXING技術を用いた蛍光内視鏡装置において露光時間等の露光条件を変更したときに生じる問題点を、蛍光波長の異なる3種類の蛍光成分が内在するサンプルを分光観察する場合を一例に用いて詳述する。
図15はサンプル内に存在する3種類の蛍光成分1〜3の説明図で、(a)は蛍光成分1〜3のサンプル内での分布を概念的に示す図、(b)は蛍光成分1〜3の蛍光スペクトルを示す図である。図16は蛍光内視鏡装置においてエタロン等の可変分光素子を経て撮像装置で撮像された分光画像の分布及び明るさを概念的に示す説明図で、(a)は蛍光成分1における最大蛍光波長λ1での分光画像を示す図、(b)は蛍光成分2における最大蛍光波長λ2での分光画像を示す図、(c)は蛍光成分3における最大蛍光波長λ3での分光画像を示す図である。図16中、Iall(λ1),Iall(λ2),Iall(λ3)は、(a)〜(c)の夫々の分光画像における共通の任意の画素Piで検出される信号強度である。図17は蛍光成分1〜3の夫々における最大蛍光波長λ1〜λ3での分光画像についての露光タイミングの一例を示す図で、(a)は可変分光素子による3種類の蛍光成分1〜3の最大蛍光波長λ1〜λ3の透過切り替えタイミングを示す図、(b)は撮像装置で撮像される蛍光波長λ1〜λ3の撮像タイミングを示す図、(c)は蛍光成分1〜3から発生した蛍光が混在する分光画像に対して、従来のUNMIXING技術を用いて蛍光成分1〜3の濃度D1〜D3を算出するときの行列式の一例を示す図である。図17中、tλ1〜tλ2は、夫々蛍光波長λ1〜λ3が可変分光素子等を介して夫々分光される露光時間、M1〜M3は、可変分光素子等を介して夫々分光された蛍光波長λ1〜λ3が夫々撮像装置で撮像されたデータを格納するメモリーである。
図15(b)に示すように、波長λ1に最大蛍光波長を持つ蛍光成分1、波長λ2に最大蛍光波長を持つ蛍光成分2、波長λ3に最大蛍光波長を持つ蛍光成分3が、図15(a)に示すような位置に夫々分布するサンプルを対象として、夫々の蛍光成分1〜3から発する蛍光波長λ1〜λ3を、可変分光素子を介して時分割で透過し撮像装置で撮像するものとする。
このとき、夫々の蛍光波長での分光画像は、図16(a)〜図16(c)に示すように、いずれも、夫々の蛍光成分1〜3からの蛍光の強弱は異なるものの、3種類の蛍光成分から発生した蛍光が混在した画像となる。即ち、これらの分光画像においては、蛍光成分1〜3から発する蛍光は分離していない。
ここで、蛍光成分1〜3からの蛍光が混在する分光画像に対して特許文献1に記載したような従来のUNMIXING技術を用いた蛍光抽出処理を行うものとする。
従来のUNMIXING技術を用いた蛍光抽出処理においては、サンプル中に存在する3種類の蛍光成分1〜3の夫々の基準濃度での蛍光スペクトルのUNMIXING係数(蛍光成分の成分比)を、所定の記憶媒体に予め記録しておく。
そして、所定の記憶媒体に記録しておいた蛍光成分1〜3の夫々の基準濃度での蛍光スペクトルのUNMIXING係数(蛍光成分の成分比)と検出される各蛍光波長λ1〜λ3での蛍光画像の強度Iall(λ1)〜Iall(λ3)とを用いて、図17(c)に示す行列式より蛍光成分1〜3の濃度D1〜D3を算出する。
ここで、従来のUNMIXING技術を用いた各蛍光成分の濃度Dの演算方法について説明する。
測定対象の波長λnでの信号強度Iall(λn)は、各蛍光成分の波長λnでの信号強度の合計であり、次の式(11)のように表すことができる。
all(λn)=I1(λn)+I2(λn)・・・+Im(λn) …(11)
但し、I1は蛍光成分1から得られる波長λnでの信号強度、I2は蛍光成分2から得られる波長λnでの信号強度、Imは蛍光成分mから得られる波長λnでの信号強度である。
ところで、蛍光成分から得られる信号強度は蛍光成分の濃度に比例する。従って、測定対象中にm種類の蛍光成分が存在する場合、波長λnでの各蛍光成分から得られる信号強度は、次の式(12a)〜(12c)のように表すことができる。
I1(λn)=a1(λn)*D1 …(12a)
但し、D1は蛍光成分1の濃度、a1(λn)は蛍光成分1の基準濃度での波長λnでの係数である。
I2(λn)=a2(λn)*D2 …(12b)
但し、D2は蛍光成分2の濃度、a2(λn)は蛍光成分2の基準濃度での波長λnでの係数である。
Im(λn)=am(λn)*Dm …(12c)
但し、Dmは蛍光成分mの濃度、am(λn)は蛍光成分mの基準濃度での波長λnでの係数である。
これらの式(12a)〜(12c)より、測定対象中にm種類の蛍光成分が存在すると想定される場合におけるn種類の波長λ1〜波長λnでの測定対象の信号強度は、例えば、次の行列式(13)で表すことができる。
Figure 2014039571
ここで、行列式(13)の左辺の
Figure 2014039571
は測定対象の分光スペクトルを示す。
また、行列式(13)の右辺における
Figure 2014039571
は各蛍光成分の基準濃度での蛍光スペクトルを示している。
そこで、従来のUNMIXING技術を用いた演算においては、次の行列式(14)を解くことで、各蛍光成分の濃度D1,D2,…,Dmを求めている。
Figure 2014039571
なお、上記行列式において、分光画像の種類と蛍光成分の種類とが同数(即ち、n=m)場合は、式の数と蛍光成分の濃度の種類とが同数となるので、一意的に行列式を解くことができる。また、分光画像の種類が蛍光成分の種類よりも多い(即ち、n>m)場合は、式の数が蛍光成分の濃度の種類よりも多くなるが、この場合は最小2乗法を用いることで行列式を解くことができる。これに対し、分光画像の種類が蛍光成分の種類よりも少ない(即ち、n<m)場合は、式の数が蛍光成分の濃度の種類よりも少なくなるため、行列式を解くことができない。
従って、UNMIXING技術を用いる場合には、分光画像の種類を蛍光成分の種類以上(即ち、n≧m)にすることが前提となる。
このように、従来のUNMIXING技術を用いた蛍光内視鏡装置では、分光画像に対し、夫々の蛍光成分のスペクトルを用いてUNMIXINGを行うことで、夫々の蛍光成分の分布画像を得ることができる。
図18はUNMIXING処理後の画像処理を示す図で、(a)はUNMIXING処理後の蛍光成分1の分布画像、(b)は(a)の分布画像における蛍光成分1の分布領域に所定の色を割り当てた状態を示す図、(c)はUNMIXING処理後の蛍光成分2の分布画像、(d)は(c)の分布画像における蛍光成分2の分布領域に所定の色を割り当てた状態を示す図、(e)はUNMIXING処理後の蛍光成分3の分布画像、(f)は(e)の分布画像における蛍光成分3の分布領域に所定の色を割り当てた状態を示す図、(g)は(b),(d),(f)の分布画像を一画像に合成した状態を示す図である。
ところで、蛍光成分の単体での明るさや、サンプルである生体内での集積性や病変部への運搬性、生体内での代謝特性(時間)、蛍光体を生体に入れてから測定するまでの(評価)時間や、タイミング等に応じて、サンプル内の蛍光成分ごとに最大蛍光波長での蛍光強度(明るさ)が異なる。
例えば、図19(a)に示すような蛍光スペクトル特性を持つ蛍光成分1〜3であっても、図19(b)に示すように蛍光成分2の最大蛍光波長λ2での蛍光強度が異なる場合がある。
このような場合、例えば、図19における蛍光成分2の蛍光画像についての露光時間を長くする等、適宜、露光時間等の露光条件を変更しないと、暗い蛍光成分を検出することが難しくなる。また、暗い蛍光成分2から検出される蛍光波長λ2は強度が弱いため、検出される信号がノイズの影響を受けやすく、UNMIXING処理を施しても正確な濃度を得ることが難しい。
しかし、例えば、最大蛍光波長の暗い蛍光成分に対する露光時間の適正化に合わせて、全ての蛍光成分の最大蛍光波長での蛍光画像について露光時間を一様に長くすると、フレームレートが著しく低下してしまう。
また、最大蛍光波長の暗い蛍光成分についての最大蛍光波長での蛍光画像の露光時間のみを長くすると、その画像に含まれる他の蛍光成分の蛍光波長の検出量が変動し、UNMIXING係数(蛍光成分の成分比)と乖離を生じ、蛍光成分の分離が困難になってしまう。
また、例えば、図19に示す場合とは逆に、蛍光成分2の最大蛍光波長が明るすぎる場合においては、蛍光成分2の蛍光画像についての露光時間を短くする等、適宜、露光時間等の露光条件を変更しないと、蛍光成分2の画像の明るさが飽和してしまう。
しかし、例えば、最大蛍光波長の暗い蛍光成分に対する露光時間の適正化に合わせて、全ての蛍光成分の最大蛍光波長での蛍光画像について露光時間を一様に短くすると、他の蛍光成分の最大蛍光波長での蛍光画像が暗くなって、暗い蛍光成分を検出することが難しくなる、あるいは、検出される信号がノイズの影響を受けやすく、UNMIXING処理を施しても正確な濃度を得ることが難しくなってしまう。
また、最大蛍光波長の明るすぎる蛍光成分についての最大蛍光波長での蛍光画像の露光時間のみを短くすると、その画像に含まれる他の蛍光成分の蛍光波長の検出量が変動し、UNMIXING係数(蛍光成分の成分比)と乖離を生じ、蛍光成分の分離が困難になってしまう。
図20は3種類の蛍光成分1〜3が同等の明るさである場合における最大蛍光波長λ1〜λ3での夫々の分光画像を示す図で、(a)は蛍光波長λ1での分光画像を示す図、(b)は蛍光波長λ2での分光画像を示す図、(c)は蛍光波長λ3での分光画像を示す図である。図21は図20に対する比較例として、3種類の蛍光成分1〜3のうち、蛍光成分2から発する蛍光波長λ2が著しく暗い場合における蛍光波長λ1〜λ3での夫々の分光画像を示す図で、(a)は蛍光波長λ1での分光画像を示す図、(b)は蛍光波長λ2での分光画像を示す図、(c)は蛍光波長λ3での分光画像を示す図である。図22は図21に示す明るさの蛍光成分1〜3が内在するサンプルに対し、蛍光波長λ2での蛍光画像についての露光時間を基準露光条件下での露光時間から所定時間増加させた場合における蛍光波長λ1〜λ3での夫々の分光画像を示す図で、(a)は蛍光波長λ1での分光画像を示す図、(b)は蛍光波長λ2での分光画像を示す図、(c)は蛍光波長λ3での分光画像を示す図である。図23は図22に示す蛍光波長λ2での蛍光画像についての露光時間を基準露光条件下での露光時間から増加させた場合における蛍光波長λ1〜λ3での夫々の分光画像に対して、UNMIXING処理を施した後の蛍光成分1〜3の夫々の分布画像を示す図で、(a)は取得した夫々の分光画像の群を概念的に示す図、(b)は蛍光成分1の分布画像を示す図、(c)は蛍光成分2の分布画像を示す図、(d)は蛍光成分3の分布画像を示す図である。
図22(b)に示すように、図21に示す蛍光波長λ2での蛍光画像についてのみ露光時間を増加させた場合、蛍光成分2だけでなく、その他の蛍光成分1、蛍光成分3も明るく検出される。
その場合、取得した分光画像に対してUNMIXING処理を施しても、実際の蛍光成分の成分比が、予めメモリー等に記録されているUNMIXING係数とは異なったものとなる。このため、上記行列式(13)を当てはめた図17(c)に示す行列式を用いて蛍光成分1〜3の濃度D1〜D3を求めても、図23(b)〜図23(d)に示すように、夫々の蛍光成分ごとに分離した分布画像を得ることができない。
本発明は、このような従来の問題点に鑑みてなされたものであり、フレームレートを極力変更させずに、各蛍光成分の明るさが蛍光画像観察に適した明るさとなるように露光条件を変更しても、露光条件の変更如何にかかわらず各蛍光成分を分離して表示できる蛍光内視鏡装置を提供することを目的としている。
上記目的を達成するため、本発明による蛍光内視鏡装置は、最大蛍光波長が異なり少なくとも一部の波長域で蛍光波長が重なる複数種類の蛍光成分を有する生体組織に励起光を照射し前記生体組織から発生する複数種類の蛍光画像を取得し、取得した蛍光画像を用いて生体組織に存在する複数種類の蛍光成分を分離して表示にする蛍光内視鏡装置であって、前記複数種類の蛍光成分を励起させる少なくとも1種類以上の励起光を照射する光源部と、前記生体組織から発生する蛍光画像を、n種類[但し、m≦n]の波長λ1〜波長λnごとに取得する蛍光画像取得部と、前記生体組織中に存在するm種類[但し、2≦m]の蛍光成分1〜蛍光成分mの夫々の基準濃度での基準露光条件下における蛍光スペクトルが記録された蛍光スペクトル記録部と、前記蛍光スペクトル記録部に記録された蛍光成分1〜蛍光成分mの夫々の基準濃度での基準露光条件下における蛍光スペクトルと前記蛍光画像取得部が取得した波長λ1〜波長λnごとの蛍光画像を用いて、前記生体組織中に存在する夫々の蛍光成分の濃度を、該蛍光画像における全ての画素について演算により求める蛍光成分濃度演算部と、前記蛍光成分濃度演算部が求めた夫々の蛍光成分の濃度に基づいて夫々の蛍光成分の分布画像を作成し、作成した夫々の蛍光成分の分布画像に対し夫々の蛍光成分に対応する所定の色を割り当て、所定の色を割り当てた分布画像を一つの画像に合成する蛍光画像合成部と、前記蛍光画像合成部を介して合成された画像を表示する画像表示部を有し、前記蛍光成分濃度演算部が、前記蛍光スペクトル記録部に記録された蛍光成分1〜蛍光成分mの夫々の基準濃度での基準露光条件下における蛍光スペクトルより得られる、蛍光成分1〜蛍光成分mの夫々の基準濃度での基準露光条件下における波長λ1〜波長λnの係数をa1(λ1)〜a1(λn)〜am(λ1)〜am(λn)、前記蛍光画像取得部が取得した波長λ1〜波長λnの蛍光画像の強度をIall(λ1)〜Iall(λn)、蛍光成分1〜蛍光成分mの濃度をD1〜Dmとしたとき、次の式(1)を用いて、蛍光成分1の濃度D1〜蛍光成分mの濃度Dmを、該蛍光画像における画素ごとに全ての画素について計算する内視鏡装置であって、前記蛍光成分濃度演算部が、露光条件構成要素の基準露光条件に対する変更の有無をチェックし、波長λ1〜波長λnのうちの少なくとも1つの波長λxの蛍光画像を前記蛍光画像取得部が取得する際になされた所定の露光条件構成要素の数値の変更があるとき、その変更に連動して、前記式(1)を用いた蛍光成分1の濃度D1〜蛍光成分mの濃度Dmの計算に際し、蛍光成分1〜蛍光成分mの基準濃度での基準露光条件下における当該波長λxの係数a1(λx)〜am(λx)を、当該波長λxの蛍光画像を前記蛍光画像取得部が取得する際の基準露光条件下における前記所定の露光条件構成要素の数値に対する変更後の前記所定の露光条件構成要素の数値の比率を用いて変更することを特徴としている。
Figure 2014039571
また、本発明の蛍光内視鏡装置においては、前記蛍光成分濃度演算部が、波長λ1〜波長λnのうちの所定波長λxの蛍光画像を前記蛍光画像取得部が取得する際になされた露光時間の変更があるとき、その変更に連動して、前記式(1)を用いた蛍光成分1の濃度D1〜蛍光成分mの濃度Dmの計算に際し、蛍光成分1〜蛍光成分mの基準濃度での基準露光条件下における前記所定波長λxの係数a1(λx)〜am(λx)に対し、前記所定波長λxの蛍光画像を前記蛍光画像取得部が取得する際の基準露光条件下における露光時間に対する変更後の露光時間の比率を乗算するのが好ましい。
また、本発明の蛍光内視鏡装置においては、前記蛍光成分濃度演算部が、波長λ1〜波長λnの夫々の波長の蛍光画像を前記蛍光画像取得部が取得する際になされた、フレームレートを一定に保ったままでの露光時間の変更があるとき、その変更に連動して、前記式(1)を用いた蛍光成分1の濃度D1〜蛍光成分mの濃度Dmの計算に際し、蛍光成分1〜蛍光成分mの基準濃度での基準露光条件下における波長λ1〜波長λnの夫々の波長の係数a1(λ1)〜am(λ1)〜a1(λn)〜am(λn)に対し、波長λ1〜波長λnの夫々の波長の蛍光画像を前記蛍光画像取得部が取得する際の基準露光条件下における露光時間に対する変更後の露光時間の比率を乗算するのが好ましい。
また、本発明の蛍光内視鏡装置においては、前記蛍光成分濃度演算部が、波長λ1〜波長λnのうちの所定波長λxの蛍光画像を前記蛍光画像取得部が取得する際になされた前記所定波長λxを励起する励起光の強度の変更があるとき、その変更に連動して、前記式(1)を用いた蛍光成分1の濃度D1〜蛍光成分mの濃度Dmの計算に際し、蛍光成分1〜蛍光成分mの基準濃度での基準露光条件下における当該波長λxの係数a1(λx)〜am(λx)に対し、前記所定波長λxの蛍光画像を前記蛍光画像取得部が取得する際の基準露光条件下における前記所定波長λxを励起する励起光の強度に対する変更後の前記所定波長λxを励起する励起光の強度の比率を乗算するのが好ましい。
また、本発明の蛍光内視鏡装置においては、前記蛍光成分濃度演算部が、波長λ1〜波長λnの夫々の波長の蛍光画像を前記蛍光画像取得部が取得する際になされた夫々の波長を励起する励起光の強度の変更があるとき、その変更に連動して、前記式(1)を用いた蛍光成分1の濃度D1〜蛍光成分mの濃度Dmの計算に際し、蛍光成分1〜蛍光成分mの基準濃度での基準露光条件下における波長λ1〜波長λnの夫々の波長の係数a1(λ1)〜am(λ1)〜a1(λn)〜am(λn)に対し、波長λ1〜波長λnの夫々の波長の蛍光画像を前記蛍光画像取得部が取得する際の基準露光条件下における夫々の波長を励起する励起光の強度に対する変更後の夫々の波長を励起する励起光の強度の比率を乗算するのが好ましい。
また、本発明の蛍光内視鏡装置においては、前記蛍光成分濃度演算部が、波長λ1〜波長λnのうちの所定波長λxの蛍光画像を前記蛍光画像取得部が取得する際になされた前記所定波長λxを励起する励起光の励起時間の変更があるとき、その変更に連動して、前記式(1)を用いた蛍光成分1の濃度D1〜蛍光成分mの濃度Dmの計算に際し、蛍光成分1〜蛍光成分mの基準濃度での基準露光条件下における当該波長λxの係数a1(λx)〜am(λx)に対し、前記所定波長λxの蛍光画像前記蛍光画像取得部が取得する際の基準露光条件下における前記所定波長λxを励起する励起光の励起時間に対する変更後の前記所定波長λxを励起する励起光の励起時間の比率を乗算するのが好ましい。
また、本発明の蛍光内視鏡装置においては、前記蛍光成分濃度演算部が、波長λ1〜波長λnのうちの所定波長λxの蛍光画像を前記蛍光画像取得部が取得する際になされた前記所定波長λxを励起する励起光の強度及び励起時間の変更があるとき、その変更に連動して、前記式(1)を用いた蛍光成分1の濃度D1〜蛍光成分mの濃度Dmの計算に際し、蛍光成分1〜蛍光成分mの基準濃度での基準露光条件下における当該波長λxの係数a1(λx)〜am(λx)に対し、前記所定波長λxの蛍光画像を前記蛍光画像取得部が取得する際の基準露光条件下における前記所定波長λxを励起する励起光の強度及び励起時間に対する変更後の前記所定波長λxを励起する励起光の強度及び励起時間の比率を乗算するのが好ましい。
また、本発明の蛍光内視鏡装置においては、前記蛍光成分濃度演算部が、波長λ1〜波長λnのうちの所定波長λxの蛍光画像を前記蛍光画像取得部が取得する際になされた検出強度の変更があるとき、その変更に連動して、前記式(1)を用いた蛍光成分1の濃度D1〜蛍光成分mの濃度Dmの計算に際し、蛍光成分1〜蛍光成分mの基準濃度での基準露光条件下における前記所定波長λxの係数a1(λx)〜am(λx)に対し、前記所定波長λxの蛍光画像を前記蛍光画像取得部が取得する際の基準露光条件下における検出強度に対する変更後の検出強度の比率を乗算するのが好ましい。
また、本発明の蛍光内視鏡装置においては、前記蛍光成分濃度演算部が、波長λ1〜波長λnのうちの所定波長λxの蛍光画像を前記蛍光画像取得部が取得する際になされたゲインの変更があるとき、その変更に連動して、前記式(1)を用いた蛍光成分1の濃度D1〜蛍光成分mの濃度Dmの計算に際し、蛍光成分1〜蛍光成分mの基準濃度での基準露光条件下における前記所定波長λxの係数a1(λx)〜am(λx)に対し、前記所定波長λxの蛍光画像を前記蛍光画像取得部が取得する際の基準露光条件下におけるゲインに対する変更後のゲインの比率を乗算するのが好ましい。
本発明によれば、フレームレートを極力変更させずに、各蛍光成分の明るさが蛍光画像観察に適した明るさとなるように、露光条件を変更しても、露光条件の変更如何にかかわらず各蛍光成分を分離して表示できる蛍光内視鏡装置が得られる。
本発明の各実施例の蛍光内視鏡装置に共通の構成を概略的に示すブロック図である。 図1の蛍光内視鏡装置における撮像部の構成を示す説明図である。 図21に示すような3種類の蛍光成分1〜3のうち、蛍光成分2から発する蛍光波長λ2が著しく暗い場合における蛍光波長λ1〜λ3での夫々の分光画像に対し、特許文献1に記載のUNMIXING技術を用いた場合の各蛍光成分の分布画像を示す図で、(a)は蛍光成分1の分布画像を示す図、(b)は蛍光成分2の分布画像を示す図、(c)は蛍光成分3の分布画像を示す図である。 図22に示すような図21の蛍光成分の組み合わせのサンプルに対し、蛍光波長λ2での蛍光画像についての露光時間を基準露光条件下での露光時間から所定時間増加させた場合における蛍光波長λ1〜λ3での夫々の分光画像に対し、特許文献1に記載のUNMIXING技術を用いた場合の各蛍光成分の分布画像を示す図で、(a)は蛍光成分1の分布画像を示す図、(b)は蛍光成分2の分布画像を示す図、(c)は蛍光成分3の分布画像を示す図である。 図22に示すような図21の蛍光成分の組み合わせのサンプルに対し、蛍光波長λ2での蛍光画像についての露光時間を基準露光条件下での露光時間から所定時間増加させた場合における蛍光波長λ1〜λ3での夫々の分光画像に対し、本発明の蛍光内視鏡装置における蛍光成分濃度演算部13d2が行うUNMIXING技術を用いた場合の各蛍光成分の分布画像を示す図で、(a)は蛍光成分1の分布画像を示す図、(b)は蛍光成分2の分布画像を示す図、(c)は蛍光成分3の分布画像を示す図である。 基準露光条件下における蛍光成分1,2の夫々の蛍光スペクトル及び蛍光成分1,2が混在した状態の測定対象の蛍光スペクトルを示す図で、(a)は蛍光成分1,2の夫々の蛍光強度が同程度の場合における各スペクトルを示す図、(b)は蛍光成分1,2の夫々の蛍光強度が著しく異なる場合における各スペクトルを示す図である。 実施例1にかかる蛍光内視鏡装置における露光条件及び蛍光成分濃度演算部13d2が行う演算を示す説明図で、(a)は基準露光条件下における可変分光素子12b4が選択して透過する各波長域の光を時系列で示す図、(b)は(a)と略同時刻に撮像素子12b5を介して光電変換され、各フレームメモリ13c1,13c2,13c3に記録される各波長域の光を時系列で示す図、(c)は実施例1の露光条件下における可変分光素子12b4が選択して透過する各波長域の光を時系列で示す図、(d)は(c)と略同時刻に撮像素子12b5を介して光電変換され、各フレームメモリ13c1,13c2,13c3に記録される各波長域の光を時系列で示す図、(e)は(c),(d)に示す露光条件下における蛍光成分濃度演算部13d2が行うUNMIXING処理に用いる行列式を示す図である。 実施例2にかかる蛍光内視鏡装置における露光条件及び蛍光成分濃度演算部13d2が行う演算を示す説明図で、(a)は基準露光条件下における可変分光素子12b4が選択して透過する各波長域の光を時系列で示す図、(b)は実施例2の露光条件下における可変分光素子12b4が選択して透過する各波長域の光を時系列で示す図、(c)は(b)に示す露光条件における蛍光成分濃度演算部13d2が行うUNMIXING処理に用いる行列式を示す図である。 実施例3にかかる蛍光内視鏡装置における露光条件及び蛍光成分濃度演算部13d2が行う演算を示す説明図で、(a)は基準露光条件下における各蛍光成分の蛍光波長を励起する各励起光の強度及び照射タイミングを時系列で示す図、(b)は実施例3の露光条件下における各蛍光成分の蛍光波長を励起する各励起光の強度及び照射タイミングを時系列で示す図、(c)は(b)に示す露光条件下における蛍光成分濃度演算部13d2が行うUNMIXING処理に用いる行列式を示す図である。 実施例4にかかる蛍光内視鏡装置における露光条件及び蛍光成分濃度演算部13d2が行う演算を示す説明図で、(a)は基準露光条件下における各蛍光成分の蛍光波長を励起する各励起光の強度及び照射タイミングを時系列で示す図、(b)は実施例4の露光条件下における各蛍光成分の蛍光波長を励起する各励起光の強度及び照射タイミングを時系列で示す図、(c)は(b)に示す露光条件下における蛍光成分濃度演算部13d2が行うUNMIXING処理に用いる行列式を示す図である。 実施例5にかかる蛍光内視鏡装置における露光条件及び蛍光成分濃度演算部13d2が行う演算を示す説明図で、(a)は基準露光条件下における各蛍光成分の蛍光波長を励起する各励起光の強度及び照射タイミングを時系列で示す図、(b)は実施例5の露光条件下における各蛍光成分の蛍光波長を励起する各励起光の強度及び照射タイミングを時系列で示す図、(c)は(b)に示す露光条件下における蛍光成分濃度演算部13d2が行うUNMIXING処理に用いる行列式を示す図である。 実施例6にかかる蛍光内視鏡装置における露光条件及び蛍光成分濃度演算部13d2が行う演算を示す説明図で、(a)は基準露光条件下における各蛍光成分の蛍光波長を励起する各励起光の強度及び照射タイミングを時系列で示す図、(b)は実施例6の露光条件下における各蛍光成分の蛍光波長を励起する各励起光の強度及び照射タイミングを時系列で示す図、(c)は(b)に示す露光条件下における蛍光成分濃度演算部13d2が行うUNMIXING処理に用いる行列式を示す図である。 実施例7にかかる蛍光内視鏡装置における露光条件及び蛍光成分濃度演算部13d2が行う演算を示す説明図で、(a)は基準露光条件下における各蛍光成分の蛍光波長を励起する各励起光の強度及び照射タイミングを時系列で示す図、(b)は実施例7の露光条件下における各蛍光成分の蛍光波長を励起する各励起光の強度及び照射タイミングを時系列で示す図、(c)は(b)に示す露光条件下における蛍光成分濃度演算部13d2が行うUNMIXING処理に用いる行列式を示す図である。 実施例8にかかる蛍光内視鏡装置における露光条件及び蛍光成分濃度演算部13d2が行う演算を示す説明図で、(a)は基準露光条件下における各蛍光成分の蛍光波長の蛍光画像のゲイン及び検出タイミングを時系列で示す図、(b)は実施例5の露光条件下における各蛍光成分の蛍光波長の蛍光画像のゲイン及び検出タイミングを時系列で示す図、(c)は(b)に示す露光条件下における蛍光成分濃度演算部13d2が行うUNMIXING処理に用いる行列式を示す図である。 サンプル内に存在する3種類の蛍光成分1〜3の説明図で、(a)は蛍光成分1〜3のサンプル内での分布を概念的に示す図、(b)は蛍光成分1〜3の蛍光スペクトルを示す図である。 蛍光内視鏡装置において所定の可変分光素子を経て撮像装置で撮像された分光画像の分布及び明るさを概念的に示す説明図で、(a)は蛍光成分1における最大蛍光波長λ1での分光画像を示す図、(b)は蛍光成分2における最大蛍光波長λ2での分光画像を示す図、(c)は蛍光成分3における最大蛍光波長λ3での分光画像を示す図である。 蛍光成分1〜3の夫々における最大蛍光波長λ1〜λ3での分光画像についての露光タイミングの一例を示す図で、(a)は可変分光素子による3種類の蛍光成分1〜3の最大波長λ1〜λ3の透過切り替えタイミングを示す図、(b)は撮像装置で撮像される蛍光波長λ1〜λ3の撮像タイミングを示す図、(c)は蛍光成分1〜3から発生した蛍光が混在する分光画像に対して、従来のUNMIXING技術を用いて蛍光成分1〜3の濃度D1〜D3を算出するときの行列式の一例を示す図である。 UNMIXING処理後の画像処理を示す図で、(a)はUNMIXING処理後の蛍光成分1の分布画像、(b)は(a)の分布画像における蛍光成分1の分布領域に所定の色を割り当てた状態を示す図、(c)はUNMIXING処理後の蛍光成分2の分布画像、(d)は(c)の分布画像における蛍光成分2の分布領域に所定の色を割り当てた状態を示す図、(e)はUNMIXING処理後の蛍光成分3の分布画像、(f)は(e)の分布画像における蛍光成分3の分布領域に所定の色を割り当てた状態を示す図、(g)は(b),(d),(f)の分布画像を一画像に合成した状態を示す図である。 サンプル内に存在する3種類の蛍光成分の蛍光強度を示す説明図で、(a)は夫々の蛍光成分の蛍光スペクトルを示す図、(b)は蛍光成分2の蛍光強度が異なる場合の一例を示す図である。 3種類の蛍光成分1〜3が同等の明るさである場合における最大蛍光波長λ1〜λ3での夫々の分光画像を示す図で、(a)は蛍光波長λ1での分光画像を示す図、(b)は蛍光波長λ2での分光画像を示す図、(c)は蛍光波長λ3での分光画像を示す図である。 図20に対する比較例として、3種類の蛍光成分1〜3のうち、蛍光成分2から発する蛍光波長λ2が著しく暗い場合における蛍光波長λ1〜λ3での夫々の分光画像を示す図で、(a)は蛍光波長λ1での分光画像を示す図、(b)は蛍光波長λ2での分光画像を示す図、(c)は蛍光波長λ3での分光画像を示す図である。 図21に示す明るさの蛍光成分1〜3が内在するサンプルに対し、蛍光波長λ2での蛍光画像についての露光時間を基準露光条件下での露光時間から所定時間増加させた場合における蛍光波長λ1〜λ3での夫々の分光画像を示す図で、(a)は蛍光波長λ1での分光画像を示す図、(b)は蛍光波長λ2での分光画像を示す図、(c)は蛍光波長λ3での分光画像を示す図である。 図22に示す蛍光波長λ2での蛍光画像についての露光時間を基準露光条件下での露光時間から増加させた場合における蛍光波長λ1〜λ3での夫々の分光画像に対して、UNMIXING処理を施した後の蛍光成分1〜3の夫々の分布画像を示す図で、(a)は取得した夫々の分光画像の群を示す図、(b)は蛍光成分1の分布画像を示す図、(c)は蛍光成分2の分布画像を示す図、(d)は蛍光成分3の分布画像を示す図である。
図1は本発明の各実施例の蛍光内視鏡装置に共通の構成を概略的に示すブロック図である。図2は図1の蛍光内視鏡装置における撮像部の構成を示す説明図である。
図1の蛍光内視鏡装置は、光源ユニット11と、内視鏡先端挿入部12と、制御ユニット13と、表示ユニット14と、露光条件設定部15を有している。
光源ユニット11は、励起光用光源11aと、光源制御回路11bを有している。
励起光用光源11aは、光源(図示省略)と、複数種類の蛍光成分をそれぞれ別々に励起させる複数種類の励起フィルタ(図示省略)、あるいは複数種類の蛍光成分を同時に励起させる1種類の励起フィルタ(図示省略)を有しており、所定の励起用の波長域の光を発するように構成されている。
光源制御回路11bは、例えば、円周上に励起フィルタと透明なガラス板を備えたターレットを回転させることによって、あるいは、例えば、エタロン等の可変分光素子を介して、光源ユニット11から出射する、励起光用光源11aからの複数種類の蛍光成分に対応した励起用の光の強度及び照射時間を、露光条件設定部15で設定された、励起時間や励起強度の数値に応じて、選択的に切替え制御することができるように構成されている。
内視鏡先端挿入部12は、照明光学系12aと、撮像部12bを有している。
照明光学系12aは、ライトガイド12cを経由した光源ユニット11からの光を生体組織9に照射する。
そして、これら光源ユニット11における励起光用光源11aとライトガイド12cと照明光学系12aは、互いに相俟って、生体9の観察部に対して、蛍光波長特性の異なる複数種類の蛍光成分を励起させる少なくとも1種類以上の励起光を照射する光源部として機能する。
撮像部12bは、図2に示すように、対物光学系12b1と、結像光学系12b2と、励起光カットフィルタ12b3と、可変分光素子12b4と、撮像素子12b5を有している。
励起光カットフィルタ12b3は、所定の励起波長域の光をカットし、その他の波長域の光を透過させる光学特性を有している。
可変分光素子12b4は、エタロン等で構成されている。エタロンは、一対の光学基板12b41,12b42と、一対の光学基板12b41,12b42の対向する面同士の面間隔を測定する静電容量センサ12b43,12b44と、一方の基板12b41を移動させるためのアクチュエータとして、後述の可変分光素子制御部13aにより駆動を制御されるピエゾ素子12b45を備えている。このような構成により、可変分光素子12b4は、後述の可変分光素子制御回路13aの制御を介して生体9の観察部から入射する光のうち複数種類の所定波長域の蛍光を時分割で選択して透過させる。
撮像素子12b5は、例えば、単板式イメージセンサからなる白黒CCDで構成されていて、分光光学素子12b4により選択されて透過させられた光を光電変換する。光電変換された画像は、後述の制御ユニット13内に設けられたフレームメモリ13c1〜13c3に記憶される。
そして、撮像部12bは、生体組織から発生する蛍光画像を、n種類[但し、m≦n]の波長λ1〜波長λnごとに取得する蛍光画像取得部として機能する。
制御ユニット13は、可変分光素子制御回路13aと、撮像素子制御回路13bと、フレームメモリ13cと、画像処理回路13dを有している。
可変分光素子制御回路13aは、露光条件設定部15で設定された、露光時間の数値に応じて、可変分光素子12b4の駆動を制御する。
フレームメモリ13cは、分光画像用のフレームメモリ13c1,13c2,13c3を有している。
分光画像用のフレームメモリ13c1,13c2,13c3は、夫々が、可変分光素子12b4を介して選択・透過され、撮像素子12b5を介して光電変換された、蛍光検出用波長域の光の画像を記憶する。
撮像素子制御回路13bは、露光条件設定部15で設定された、露光時間や撮像素子で撮像される検出波長の信号のゲイン等の数値に応じて、撮像素子12b5の駆動を制御する。
画像処理回路13dは、UNMIXING係数記録部13d1と、蛍光成分濃度演算部13d2と、蛍光画像合成部13d3を有している。
UNMIXING係数記録部13d1は、生体組織9中に存在するm種類[但し、2≦m]の蛍光成分1〜蛍光成分mの夫々の基準濃度での基準露光条件下における蛍光スペクトルが記録されており、蛍光スペクトル記録部として機能する。
蛍光成分濃度演算部13d2は、UNMIXING係数記録部13d1に記録された蛍光成分1〜蛍光成分mの夫々の基準濃度での基準露光条件下における蛍光スペクトルと撮像部12bが取得した波長λ1〜波長λnごとの蛍光画像を用いて、生体組織9中に存在する夫々の蛍光成分の濃度を、蛍光画像における全ての画素について演算により求める。
その際、蛍光成分濃度演算部13d2は、露光条件設定部15で設定された露光条件構成要素の基準露光条件に対する変更の有無をチェックし、波長λ1〜波長λnのうちの少なくとも1つの波長λxの蛍光画像を撮像部12bが取得する際になされた所定の露光条件構成要素の数値に変更があるとき、その変更に連動して、後述の式(1)を用いた蛍光成分1の濃度D1〜蛍光成分mの濃度Dmの計算に際し、蛍光成分1〜蛍光成分mの基準濃度での基準露光条件下における当該波長λxの係数a1(λx)〜am(λx)を、当該波長λxの蛍光画像を撮像部12bが取得する際の基準露光条件下における所定の露光条件構成要素の数値に対する変更後の所定の露光条件構成要素の数値の比率を用いて変更する。
なお、本発明における露光条件構成要素とは、蛍光内視鏡装置において操作者が設定可能な、例えば、露光時間、励起強度、励起時間、撮像素子で撮像された検出波長の信号のゲイン、NDフィルタにより調整される検出波長の検出強度などの諸要素をいう。
露光条件設定部15は、これらの露光条件構成要素の数値を設定入力可能に構成されている。そして、露光条件設定部15は、設定入力された露光条件のうち、励起時間、励起強度の数値を、光源ユニット11内の光源制御回路11bに伝送する。また、露光条件設定部15は、設定入力された露光時間の数値を、制御ユニット13内の可変分光素子制御回路13a、撮像素子制御回路13bに伝送する。また、露光条件設定部15は、設定入力された撮像素子で撮像された検出波長の信号のゲインの数値を、制御ユニット13内の撮像素子制御回路13bに伝送する。さらに、露光条件設定部15は、設定入力されたこれらの露光条件構成要素の数値を、制御ユニット13内の画像処理回路13dの蛍光成分濃度演算部13d2に伝送する。
なお、露光条件設定部15は、パソコン等に準じた画面を介して数値を入力できる装置であってもよいし、或いは、光源ユニット11、撮像ユニット12等において操作者が直接的に設定可能なスイッチであっても良い。
蛍光画像合成部13d3は、蛍光成分濃度演算部13d2が求めた夫々の蛍光成分の濃度に基づいて夫々の蛍光成分の分布画像を作成し、作成した夫々の蛍光成分の分布画像に対し、夫々の蛍光成分に対応する例えばR・G・B等の所定の色を割り当て、所定の色を割り当てた分布画像を一つの画像に合成する。その際、各画像信号に対して、例えば、正常組織部分と病変組織部分等、夫々の蛍光成分が分布する部分が識別し易くなるように、異なる色相の出力信号に変換する。
表示ユニット14は、画像表示部として機能し、蛍光画像合成部13d3を介して合成された画像を表示する。
なお、撮像素子12b5は、例えば、モザイクフィルタ(図示省略)と、単板式イメージセンサ(図示省略)とを備えたカラーCCDで構成しても良い。
また、単板式イメージセンサは、夫々の画素が、モザイクフィルタを構成する夫々の波長域の光を透過させる夫々のフィルタに対応し、モザイクフィルタを介して分離された画像の光を異なる画素によって別々に取得するように構成しても良い。
また、その場合、分光画像用のフレームメモリ13c1,13c2,13c3は、夫々が、モザイクフィルタを構成する夫々の波長域の光を透過させる夫々のフィルタに対応し、モザイクフィルタを介して分離され対応する夫々の画素で取得された各画像信号を、別々に記憶するように構成しても良い。
ここで、蛍光成分濃度演算部13d2におけるUNMIXING技術を用いた蛍光成分の分離手順を説明する。
まず、UNMIXINGにおける各蛍光成分の濃度Dの演算方法について説明する。
上述したように、測定対象の波長λnでの信号強度Iall(λn)は、各蛍光成分の波長λnでの信号強度の合計であり、次の式(11)のように表すことができる。
all(λn)=I1(λn)+I2(λn)・・・+Im(λn) …(11) 但し、I1は蛍光成分1から得られる波長λnでの信号強度、I2は蛍光成分2から得られる波長λnでの信号強度、Imは蛍光成分mから得られる波長λnでの信号強度である。
蛍光成分から得られる信号強度は蛍光成分の濃度に比例する。従って、測定対象中にm種類の蛍光成分が存在する場合、波長λnでの各蛍光成分から得られる信号強度は、次の式(12a)〜(12c)のように表すことができる。
I1(λn)=a1(λn)*D1 …(12a)
但し、D1は蛍光成分1の濃度、a1(λn)は蛍光成分1の基準濃度での基準露光条件下における波長λnでの係数である。
I2(λn)=a2(λn)*D2 …(12b)
但し、D2は蛍光成分2の濃度、a2(λn)は蛍光成分2の基準濃度での基準露光条件下における波長λnでの係数である。
Im(λn)=am(λn)*Dm …(12c)
但し、Dmは蛍光成分mの濃度、am(λn)は蛍光成分mの基準濃度での基準露光条件下における波長λnでの係数である。
これらの式(12a)〜(12c)より、測定対象中にm種類の蛍光成分が存在すると想定される場合におけるn種類の波長λ1〜波長λnでの測定対象の信号強度は、例えば、次の行列式(13)で表すことができる。
Figure 2014039571
ここで、行列式(13)の左辺の
Figure 2014039571
は測定対象の分光スペクトルを示す。
また、行列式(13)の右辺における
Figure 2014039571
は各蛍光成分の基準濃度での基準露光条件下における蛍光スペクトルを示している。
ここで、蛍光成分濃度演算部13d2は、蛍光波長λ1〜蛍光波長λnでの夫々の蛍光画像を撮像部12bが取得する際の露光条件に関し、いずれの露光条件構成要素の数値も基準露光条件下における露光条件構成要素の数値と比較して変更がない場合には、次の行列式(1)を解いて、各蛍光成分の濃度D1,D2,…,Dmを求める。
Figure 2014039571
なお、上記行列式において、分光画像の種類と蛍光成分の種類とが同数(即ち、n=m)場合は、式の数と蛍光成分の濃度の種類とが同数となるので、一意的に行列式を解くことができる。また、分光画像の種類が蛍光成分の種類よりも多い(即ち、n>m)場合は、式の数が蛍光成分の濃度の種類よりも多くなるが、この場合は最小2乗法を用いることで行列式を解くことができる。これに対し、分光画像の種類が蛍光成分の種類よりも少ない(即ち、n<m)場合は、式の数が蛍光成分の濃度の種類よりも少なくなるため、行列式を解くことができない。
従って、UNMIXINGの手法は、分光画像の種類を蛍光成分の種類以上(即ち、n≧m)にすることが前提となる。
一方、蛍光成分濃度演算部13d2は、蛍光波長λ1〜蛍光波長λnでの夫々の蛍光画像を撮像部12bが取得する際の露光条件に関し、少なくとも1つの波長λxでの蛍光画像についての露光条件を構成するいずれかの露光条件構成要素の数値が基準露光条件下における露光条件構成要素の数値と比較して変更がある場合には、式(1)を用いた蛍光成分1の濃度D1〜蛍光成分mの濃度Dmの計算に際し、蛍光成分1〜蛍光成分mの基準濃度での基準露光条件下における当該波長λxの係数a1(λx)〜am(λx)を、当該波長λxの蛍光画像を撮像部12bが取得する際の基準露光条件下における所定の露光条件構成要素の数値に対する変更後の所定の露光条件構成要素の数値の比率を用いて変更する。
例えば、蛍光波長λ2での蛍光画像についての露光時間が基準露光条件下における露光時間と比較して変更がある場合、その変更した露光時間の比率をα2とすると、上記式(1)におけるUNMINXING係数を次式(1’)のように補正する。
Figure 2014039571
次いで、UNMIXING係数を補正した上記式(1’)を解いて、各蛍光成分の濃度D1,D2,…,Dmを求める。
次に、このように構成された本発明の蛍光内視鏡装置の作用効果について説明する。
ここで、例えば、図21に示したように、3種類の蛍光成分1〜3のうち、蛍光成分2から発する最大蛍光波長λ2が著しく暗い場合における蛍光波長λ1〜λ3での夫々の分光画像が得られるような場合があるとする。その場合には、蛍光成分2の蛍光画像についての露光時間を長くなるように調整しないと、図21に示すような分光画像に対し、特許文献1に記載のUNMIXING技術を用いても、図3(b)に示すように、蛍光成分2の分布画像が暗くなって観察できない。
次に、蛍光波長λ2での蛍光画像についての露光時間を基準露光条件下での露光時間よりも長くした場合、図22に示すような分光画像が得られる。その場合に、特許文献1に記載のUNMIXING技術を用いた場合、図4(b)に示すように、蛍光成分2の分布画像においては、蛍光成分2の蛍光成分を明るく抽出できるが、その他の蛍光成分1,3の蛍光成分を分離することができない。
これに対し、本発明によれば、蛍光波長λ2での蛍光画像についての露光時間を基準露光条件下での露光時間から増加させて、図22のような分光画像が得られる場合に、蛍光成分濃度演算部13d2がその露光時間の変化に連動して、UNMIXING技術を用いる過程で得られるUNMIXING係数に対し、基準露光時間に対する変更した露光時間の比率で調整する。このため、行列式(1)を介して算出される蛍光成分の濃度が、UNMIXING係数を適正に補正した値に基づいて求まることになる。その結果、得られる分光画像は、図5(a)〜図5(c)に示すように、蛍光成分1〜3の夫々において、蛍光成分が分離した状態の明るい画像となる。
このことを、UNMIIXING技術における行列式を用いて説明する。
<UNMIXING係数を用いて示される分光画像の強度>
例えば、蛍光成分1〜3の分光画像の強度をIall(λ1),Iall(λ2),Iall(λ3)とした場合、UNMIXING係数を用いて次の式で示すことができる。
(1)蛍光波長λ1での分光画像
all(λ1)=D1×a1(λ1)+D2×a2(λ1)+D3×a3(λ1)
(2)蛍光波長λ2での分光画像
all(λ2)=D1×a1(λ2)+D2×a2(λ2)+D3×a3(λ2)
(3)蛍光波長λ3での分光画像
all(λ3)=D1×a1(λ3)+D2×a2(λ3)+D3×a3(λ3)
<上記分光画像より導かれる分布画像>
上記式より蛍光成分1〜3の分布画像は、夫々次の式で表すことができる。
(1)蛍光成分1の分布画像
[Iall(λ1)+Iall(λ2)+Iall(λ3)]−{D2×a2(λ1)+D3×a3(λ1)+D2×a2(λ2)+D3×a3(λ2)+D2×a2(λ3)+D3×a3(λ3)]=D1×a1(λ1)+D1×a1(λ2)+D1×a1(λ3)
(2)蛍光成分2の分布画像
[Iall(λ1)+Iall(λ2)+Iall(λ3)]−{D1×a1(λ1)+D3×a3(λ1)+D1×a1(λ2)+D3×a3(λ2)+D1×a1(λ3)+D3×a3(λ3)]=D2×a2(λ1)+D2×a2(λ2)+D2×a2(λ3)
(3)蛍光成分3の分布画像
[Iall(λ1)+Iall(λ2)+Iall(λ3)]−{D1×a1(λ1)+D2×a2(λ1)+D1×a1(λ2)+D2×a2(λ2)+D1×a1(λ3)+D2×a2(λ3)]=D3×a3(λ1)+D3×a3(λ2)+D3×a3(λ3)
ここで、蛍光成分2の最大蛍光波長λ2での蛍光画像の露光条件を基準露光条件下における露光条件から変更したときの従来のUNMIXING技術を用いた蛍光成分2の濃度計算における問題点について説明する。
例えば、蛍光成分2の最大蛍光波長λ2が暗いために、蛍光波長λ2での蛍光画像の露光条件を2倍(例えば、露光時間を2倍)に変更したとする。このときにUNMIXING係数が変わらないとすると、蛍光成分1〜3の最大蛍光波長λ1〜λ3での分光画像は、UNMIXING係数を用いて夫々次式のように示されることになる。このとき、各蛍光成分の濃度D1’,D2’,D3’は露光条件の変更に伴い基準露光条件下での濃度D1,D2,D3とは異なる値となっている。
<UNMIXING係数を用いて示される分光画像>
(1)蛍光波長λ1での分光画像
all(λ1)=D1’×a1(λ1)+D2’×a2(λ1)+D3’×a3(λ1)
(2)蛍光波長λ2での分光画像
2×Iall(λ2)=D1’×a1(λ2)+D2’×a2(λ2)+D3’×a3(λ2)
(3)蛍光波長λ3での分光画像
all(λ3)=D1’×a1(λ3)+D2’×a2(λ3)+D3’×a3(λ3)
しかるに、実際には、蛍光波長λ2についての露光条件を2倍(例えば、露光時間を2倍)に変更したときの蛍光波長λ2での分光画像は、
2×Iall(λ2)=2×[D1’×a1(λ2)+D2’×a2(λ2)+D3’×a3(λ2)]
である。
このため、
(1)蛍光成分1の分布画像は、
[Iall(λ1)+2×Iall(λ2)+Iall(λ3)]−{D2’×a2(λ1)+D3’×a3(λ1)+D2’×a2(λ2)+D3’×a3(λ2)+D2’×a2(λ3)+D3’×a3(λ3)]=D1’×a1(λ1)+D1’×a1(λ2)+D1’×a1(λ3)+D1’×a1(λ2)+D2’×a2(λ2)+D3’×a3(λ2)
となり、図4(a)に示すように、蛍光成分2の蛍光成分D2’×a2(λ2)、蛍光成分3の蛍光成分D3’×a3(λ2)を分離できない。
(2)また、蛍光成分2の分布画像は、
[Iall(λ1)+2×Iall(λ2)+Iall(λ3)]−{D1’×a1(λ1)+D3’×a3(λ1)+D1’×a1(λ2)+D3’×a3(λ2)+D1’×a1(λ3)+D3’×a3(λ3)]=D2’×a2(λ1)+D2’×a2(λ2)+D2’×a2(λ3)+D2’×a2(λ2)+D1’×a1(λ2)+D3’×a3(λ2)
となり、図4(b)に示すように、蛍光成分1の蛍光成分D1’×a1(λ2)、蛍光成分3の蛍光成分D3’×a3(λ2)を分離できない。
(3)また、蛍光成分3の分布画像は、
[Iall(λ1)+2×Iall(λ2)+Iall(λ3)]−{D1’×a1(λ1)+D2’×a2(λ1)+D1’×a1(λ2)+D2’×a2(λ2)+D1’×a1(λ3)+D2’×a2(λ3)]=D3’×a3(λ1)+D3’×a3(λ2)+D3’×a3(λ3)+D3’×a3(λ2)+D1’×a1(λ2)+D2’×a2(λ2)
となり、図4(c)に示すように、蛍光成分1の蛍光成分D1’×a1(λ2)、蛍光成分2の蛍光成分D2’×a2(λ2)を分離できない。
また、例えば、蛍光成分2の最大蛍光波長λ2が明るすぎるために、蛍光波長λ2での蛍光画像の露光条件を1/2(例えば、露光時間を1/2)に変更したとする。このときにUNMIXING係数が変わらないとすると、蛍光成分1〜3の最大蛍光波長λ1〜λ3での分光画像は、UNMIXING係数を用いて次のように示されることになる。このとき、各蛍光成分の濃度D1”,D2”,D3”は露光条件の変更に伴い基準露光条件下での濃度D1,D2,D3とは異なる値となっている。
<UNMIXING係数を用いて示される分光画像>
(1)蛍光波長λ1での分光画像
all(λ1)=D1”×a1(λ1)+D2”×a2(λ1)+D3”×a3(λ1)
(2)蛍光波長λ2での分光画像
1/2×Iall(λ2)=D1”×a1(λ2)+D2”×a2(λ2)+D3”×a3(λ2)
(3)蛍光波長λ3での分光画像
all(λ3)=D1”×a1(λ3)+D2”×a2(λ3)+D3”×a3(λ3)
しかるに、実際には、蛍光波長λ2についての露光条件を1/2(例えば、露光時間を1/2)に変更したときの蛍光波長λ2での分光画像は、
1/2×Iall(λ2)=1/2×[D1”×a1(λ2)+D2”×a2(λ2)+D3”×a3(λ2)]
である。
このため、
(1)蛍光成分1の分布画像は、
[Iall(λ1)+1/2×Iall(λ2)+Iall(λ3)]−{D2”×a2(λ1)+D3”×a3(λ1)+D2”×a2(λ2)+D3”×a3(λ2)+D2”×a2(λ3)+D3”×a3(λ3)]=D1”×a1(λ1)+D1”×a1(λ2)+D1”×a1(λ3)−1/2×[D1”×a1(λ2)+D2”×a2(λ2)+D3”×a3(λ2)]
となり、蛍光成分1の蛍光成分が−1/2×D1”×a1(λ2)だけ、必要以上に暗くなってしまう。
(2)また、蛍光成分2の分布画像は、
[Iall(λ1)+1/2×Iall(λ2)+Iall(λ3)]−{D1”×a1(λ1)+D3”×a3(λ1)+D1”×a1(λ2)+D3”×a3(λ2)+D1”×a1(λ3)+D3”×a3(λ3)]=D2”×a2(λ1)+D2”×a2(λ2)+D2”×a2(λ3)−1/2×[D2”×a2(λ2)+D1”×a1(λ2)+D3”×a3(λ2)]
となり、蛍光成分2の蛍光成分が−1/2×D2”×a2(λ2)だけ、必要以上に暗くなってしまう。その結果、図3(b)に示すように、蛍光成分2の分布画像が得られない。
(3)蛍光成分3の分布画像は、
[Iall(λ1)+1/2×Iall(λ2)+Iall(λ3)]−{D2”×a2(λ1)+D3”×a3(λ1)+D2”×a2(λ2)+D3”×a3(λ2)+D2”×a2(λ3)+D3”×a3(λ3)]=D3”×a3(λ1)+D3”×a3(λ2)+D3”×a3(λ3)−1/2×[D3”×a3(λ2)+D1”×a1(λ2)+D2”×a2(λ2)]
となり、蛍光成分3の蛍光成分が−1/2×D3”×a3(λ2)だけ、必要以上に暗くなってしまう。
これに対し、本発明では、上述したように、蛍光成分濃度演算部13d2がその露光時間の変化に連動して、UNMIXING技術を用いる過程で得られるUNMIXING係数に対し、基準露光時間に対する変更した露光時間の比率で調整する。このため、行列式(1)を介して算出されるべき蛍光成分の濃度が、UNMIXING係数を適正に補正した値に基づいて求まることになる。
即ち、例えば、蛍光成分2の最大蛍光波長λ2が暗いために、蛍光波長λ2での蛍光画像の露光条件を2倍(例えば、露光時間を2倍)に変更したとする。このときにUNMIXING係数が変わるとすると、蛍光成分1〜3の最大蛍光波長λ1〜λ3での分光画像は、UNMIXING係数を用いて次のように示されることになる。
<UNMIXING係数を用いて示される分光画像>
(1)蛍光波長λ1での分光画像
all(λ1)=D1×a1(λ1)+D2×a2(λ1)+D3×a3(λ1)
(2)蛍光波長λ2での分光画像
2×Iall(λ2)=D1×a1(λ2)×2+D2×a2(λ2)×2+D3×a3(λ2)×2
(3)蛍光波長λ3での分光画像
all(λ3)=D1×a1(λ3)+D2×a2(λ3)+D3×a3(λ3)
このため、
(1)蛍光成分1の分布画像は、
[Iall(λ1)+2×Iall(λ2)+Iall(λ3)]−{D2×a2(λ1)+D3×a3(λ1)+D2×a2(λ2)×2+D3×a3(λ2)×2+D2×a2(λ3)+D3×a3(λ3)]=D1×a1(λ1)+D1×a1(λ2)×2+D1×a1(λ3)となり、図5(a)に示すように、蛍光成分2,蛍光成分3の蛍光成分から分離した画像となる。
(2)また、蛍光成分2の分布画像は、
[Iall(λ1)+2×Iall(λ2)+Iall(λ3)]−{D1×a1(λ1)+D3×a3(λ1)+D1×a1(λ2)×2+D3×a3(λ2)×2+D1×a1(λ3)+D3×a3(λ3)]=D2×a2(λ1)+D2×a2(λ2)×2+D2×a2(λ3)となり、図5(b)に示すように、蛍光成分1,蛍光成分3の蛍光成分から分離した画像となる。
(3)また、蛍光成分3の分布画像は、
[Iall(λ1)+2×Iall(λ2)+Iall(λ3)]−{D1×a1(λ1)+D2×a2(λ1)+D1×a1(λ2)×2+D2×a2(λ2)×2+D1×a1(λ3)+D2×a2(λ3)]=D3×a3(λ1)+D3×a3(λ2)×2+D3×a3(λ3)となり、図5(c)に示すように、蛍光成分2,蛍光成分3の蛍光成分から分離した画像となる。
ここで、露光条件を変更したときの従来のUNMIXING技術による蛍光成分の濃度計算と本発明による蛍光成分の濃度計算について、さらに具体的な数値を用いて説明する。
なお、説明の便宜上、ここでは2種類の蛍光成分1,2を用いた場合について説明する。
図6は基準露光条件下における蛍光成分1,2の夫々の蛍光スペクトル及び蛍光成分1,2が混在した状態の測定対象の蛍光スペクトルを示す図で、(a)は蛍光成分1,2の夫々の蛍光強度が同程度の場合における各スペクトルを示す図、(b)は蛍光成分1,2の夫々の蛍光強度が著しく異なる場合における各スペクトルを示す図である。
蛍光成分1,2の分光画像の強度をIall(λ1),Iall(λ2)とした場合、分光画像はUNMIXING係数を用いて次式(21)のように示すことができる。
Figure 2014039571
式(21)より、蛍光成分1,2の夫々の濃度D1,D2は次式(22)のように示すことができる。
Figure 2014039571
式(22)より蛍光成分1,2の濃度D1,D2は、次式(23),(24)を解くことにより求まる。

Figure 2014039571
まず、図6(a)に示すように蛍光成分1,2の夫々の蛍光強度が同程度の明るさの場合おいて、露光条件を変更したときの従来のUNMIXING技術による蛍光成分の濃度計算と本発明による蛍光成分の濃度計算について説明する。
ここでは、蛍光成分1の最大蛍光波長λ1における蛍光成分1の蛍光波長λ1での強度と蛍光成分2の蛍光波長λ1での強度との比率が1:0.5、蛍光成分2の最大蛍光波長λ2における蛍光成分1の蛍光波長λ2での強度と蛍光成分2の蛍光波長λ2での強度との比率が0.5:1であるものとする。また、波長λ1,λ2での分光画像の強度がそれぞれ1であるものとする。
このときの分光画像は上記式(21)に当てはめると、次式(21a)のように示すことができる。
Figure 2014039571
蛍光成分1,2の濃度D1,D2は、上記式(23),(24)に当てはめると、
Figure 2014039571
となる。
このときの蛍光成分1の分布画像は、
[Iall(λ1)+Iall(λ2)]−{D2×a2(λ1)+D2×a2(λ2)]
=D1×a1(λ1)+D1×a1(λ2)
=0.67×a1(λ1)+0.67×a1(λ2)
となり、蛍光成分1の蛍光成分のみ存在し、蛍光成分2の蛍光成分が混在しない画像となる。
また、蛍光成分2の分布画像は、
[Iall(λ1)+Iall(λ2)]−{D1×a1(λ1)+D1×a1(λ2)]
=D2×a2(λ1)+D2×a2(λ2)=0.67×a2(λ1)+0.67×a2(λ2)
となり、蛍光成分2の蛍光成分のみ存在し、蛍光成分1の蛍光成分が混在しない画像となる。
ここで、蛍光波長λ2の露光時間を10倍して蛍光強度Iall(λ2)が10倍になった場合について、従来のUNMIXING技術による蛍光成分1,2の濃度の算出値と、本発明による蛍光成分1,2の濃度の算出値を示すこととする。
従来のUNMIXING技術による蛍光成分1,2の濃度の算出方法においては、分光画像は上記式(21)に当てはめると、次式(21b)のように示すことができる。
Figure 2014039571
蛍光成分1,2の濃度D1’,D2’は上記式(23),(24)に当てはめると、
Figure 2014039571
となり、上記式(21a)より求まる濃度D1,D2とは異なった値となる。
このときの蛍光成分1の分布画像は、
[Iall(λ1)+10×Iall(λ2)]−{D2’×a2(λ1)+D2’×a2(λ2)]=D1’×a1(λ1)+D2’×a2(λ1)+10[D1’×a1(λ2)+D2’×a2(λ2)]−{D2’×a2(λ1)+D2’×a2(λ2)]=D1’×a1(λ1)+10D1’×a1(λ2)+9D2’×a2(λ2)
となり、蛍光成分2の蛍光成分9D2’×a2(λ2)を分離できない。
ここでの、蛍光成分1の分布画像における蛍光成分1の蛍光成分は、
D1’×a1(λ1)+10D1’×a1(λ2)
≒−5.33×a1(λ1)+10×(−5.33)×a2(λ2)
である。
蛍光成分1の分布画像における蛍光成分2の蛍光成分は、
9D2’×a2(λ2)≒9×12.67×a2(λ2)
である。
また、蛍光成分2の分布画像は、
[Iall(λ1)+10×Iall(λ2)]−{D1’×a1(λ1)+D1’×a1(λ2)]=D1’×a1(λ1)+D2’×a2(λ1)+10[D1’×a1(λ2)+D2’×a2(λ2)]−{D1’×a1(λ1)+D1’×a1(λ2)]=D2’×a2(λ1)+9D1’×a2(λ2)+10D2’×a2(λ2)
となり、蛍光成分1の蛍光成分9D1’×a2(λ2)を分離できない。
ここでの、蛍光成分1の分布画像における蛍光成分1の蛍光成分は、
9D1’×a2(λ2)≒9×(−5.33)×a2(λ2)
である。
また、蛍光成分1の分布画像における蛍光成分2の蛍光成分は、
D2’×a2(λ1)+10D2’×a2(λ2)≒12.67×a2(λ1)+10×12.67×a2(λ2)
である。
これに対し、本発明では、上述したように、蛍光成分濃度演算部13d2が露光時間の変化に連動して、UNMIXING技術を用いる過程で得られるUNMIXING係数に対し、基準露光時間に対する変更した露光時間の比率で調整する。このため、行列式(1)を介して算出されるべき蛍光成分の濃度が、UNMIXING係数を適正に補正した値に基づいて求まることになる。
即ち、本発明のUNMIXING技術による蛍光成分1,2の濃度の算出方法においては、分光画像は上記式(21)に当てはめると、次式(21c)のように示すことができる。
Figure 2014039571
蛍光成分1,2の濃度D1,D2は上記式(23),(24)に当てはめると、
Figure 2014039571
となり、上記式(21a)より求める濃度D1,D2と同じ値となる。
このときの蛍光成分1の分布画像は、
[Iall(λ1)+10×Iall(λ2)]−[D2×a2(λ1)+10×D2×a2(λ2)]=D1×a1(λ1)+D2×a2(λ1)+10[D1×a1(λ2)+D2×a2(λ2)]−{D2×a2(λ1)+10×D2×a2(λ2)]=D1×a1(λ1)+10×D1×a1(λ2)となり、蛍光成分2の蛍光成分から分離した画像となる。
ここでの、蛍光成分1の分布画像は、蛍光成分1の蛍光成分のみ存在し、
D1×a1(λ1)+10×D1×a1(λ2)≒0.67×a1(λ1)+10×0.67×a1(λ2)
である。
また、蛍光成分2の分布画像は、
[Iall(λ1)+10×Iall(λ2)]−[D1×a1(λ1)+10×D1×a1(λ2)]=D1×a1(λ1)+D2×a2(λ1)+10[D1×a1(λ2)+D2×a2(λ2)]−{D1×a1(λ1)+10×D1×a1(λ2)]=D2×a2(λ1)+10×D2×a2(λ2)となり、蛍光成分1の蛍光成分から分離した画像となる。
このときの蛍光成分2の分布画像は、蛍光成分2の蛍光成分のみ存在し、
D2×a2(λ1)+10×D2×a2(λ2)≒12.67×a2(λ1)+10×12.67×a2(λ2)
である。
次に、図6(b)に示すように蛍光成分1,2の夫々の蛍光強度が著しく異なる場合について説明する。
ここでは、蛍光成分1の最大蛍光波長λ1における蛍光成分1の蛍光波長λ1での強度と蛍光成分2の蛍光波長λ1での強度との比率が1:0.5、蛍光成分2の最大蛍光波長λ2における蛍光成分1の蛍光波長λ2での強度と蛍光成分2の蛍光波長λ2での強度との比率が0.5:1であるものとする。また、波長λ1,λ2での分光画像の強度がそれぞれ1,0.55であるものとする。
このときの分光画像は上記式(21)に当てはめると、次式(21a')のように示すことができる。
Figure 2014039571
蛍光成分1,2の濃度D1,D2は上記式(23),(24)に当てはめると、
Figure 2014039571
となる。
このときの蛍光成分1の分布画像は、
[Iall(λ1)+Iall(λ2)]−{D2×a2(λ1)+D2×a2(λ2)]
=D1×a1(λ1)+D1×a1(λ2)
となり、蛍光成分2の蛍光成分が混在しない画像となる。
ここでの、蛍光成分1の分布画像は、蛍光成分1の蛍光成分のみ存在し、
D1×a1(λ1)+D1×a1(λ2)≒0.97×a1(λ1)+0.97×a2(λ2)
である。
また、蛍光成分2の分布画像は、
[Iall(λ1)+Iall(λ2)]−{D1×a1(λ1)+D1×a1(λ2)]
=D2×a2(λ1)+D2×a2(λ2)
となり、蛍光成分1の蛍光成分が混在しない画像となる。
ここでの、蛍光成分2の分布画像は、蛍光成分2の蛍光成分のみ存在し、
D2×a2(λ1)+D2×a2(λ2)≒0.07×a2(λ1)+0.07×a2(λ2)
である。
ここで、蛍光波長λ2の露光時間を10倍して蛍光強度Iall(λ2)が10倍になった場合について、従来のUNMIXING技術による蛍光成分1,2の濃度の算出値と、本発明による蛍光成分1,2の濃度の算出値を示す。
従来のUNMIXING技術による蛍光成分1,2の濃度の算出方法においては、分光画像は上記式(21)に当てはめると、次式(21b')のように示すことができる。
Figure 2014039571
蛍光成分1,2の濃度D1’,D2’は上記式(23),(24)に当てはめると、
Figure 2014039571
となり、上記式(21a’)より求まる濃度D1,D2とは異なった値となる。
このときの蛍光成分1の分布画像は、
[Iall(λ1)+10×Iall(λ2)]−{D2’×a2(λ1)+D2’×a2(λ2)]=D1’×a1(λ1)+D2’×a2(λ1)+10[D1’×a1(λ2)+D2’×a2(λ2)]−{D2’×a2(λ1)+D2’×a2(λ2)]=D1’×a1(λ1)+10D1’×a1(λ2)+9D2’×a2(λ2)
となり、蛍光成分2の蛍光成分9D2’×a2(λ2)を分離できない。
ここでの、蛍光成分1の分布画像における蛍光成分1の蛍光成分は、
D1’×a1(λ1)+10D1’×a1(λ2)
≒−2.33×a1(λ1)+10×(−2.33)×a1(λ2)
である。
また、蛍光成分1の分布画像における蛍光成分2の蛍光成分は、
9D2’×a2(λ2)≒9×6.67×a2(λ2)
である。
また、蛍光成分2の分布画像は、
[Iall(λ1)+10×Iall(λ2)]−{D1’×a1(λ1)+D1’×a1(λ2)]=D1’×a1(λ1)+D2’×a2(λ1)+10[D1’×a1(λ2)+D2’×a2(λ2)]−{D1’×a1(λ1)+D1’×a1(λ2)]=D2’×a2(λ1)+9D1’×a1(λ2)+10D2’×a2(λ2)
となり、蛍光成分1の蛍光成分9D1’×a1(λ2)を分離できない。
ここでの、蛍光成分2の分布画像における蛍光成分1の蛍光成分は、
9D1’×a1(λ2)≒9×(−2.33)×a1(λ2)
である。
また、蛍光成分2の分布画像における蛍光成分2の蛍光成分は、
D2’×a2(λ1)+10D2’×a2(λ2)≒6.67×a2(λ1)+10×6.67×a1(λ2)
である。
これに対し、本発明のUNMIXING技術による蛍光成分1,2の濃度の算出方法においては、分光画像は上記式(21)に当てはめると、次式(21c')のように示すことができる。
Figure 2014039571
蛍光成分1,2の濃度D1,D2は上記式(23),(24)に当てはめると、
Figure 2014039571
となり、上記式(21a')により求まる濃度D1,D2と同じ値となる。
このときの蛍光成分1の分布画像は、
[Iall(λ1)+10×Iall(λ2)]−[D2×a2(λ1)+10×D2×a2(λ2)]=D1×a1(λ1)+D2×a2(λ1)+10[D1×a1(λ2)+D2×a2(λ2)]−{D2×a2(λ1)+10×D2×a2(λ2)]=D1×a1(λ1)+10×D1×a1(λ2)となり、蛍光成分2の蛍光成分から分離した画像となる。
ここでの、蛍光成分1の分布画像は、蛍光成分1の蛍光成分のみ存在し、
D1×a1(λ1)+10×D1×a1(λ2)≒0.97×a1(λ1)+10×0.97×a1(λ2)
である。
また、蛍光成分2の分布画像は、
[Iall(λ1)+10×Iall(λ2)]−[D1×a1(λ1)+10×D1×a1(λ2)]=D1×a1(λ1)+D2×a2(λ1)+10[D1×a1(λ2)+D2×a2(λ2)]−{D1×a1(λ1)+10×D1×a1(λ2)]=D2×a2(λ1)+10×D2×a2(λ2)となり、蛍光成分1の蛍光成分から分離した画像となる。
このときの蛍光成分2の分布画像は、
D2×a2(λ1)+10×D2×a2(λ2)≒0.07×a2(λ1)+10×0.07×a2(λ2)
である。
ところで、実際には、検出される蛍光信号には、ノイズ成分も含まれる。このため、特に蛍光強度が小さい場合にはノイズ成分の影響が大きくなりやすい。
ここで、波長λ1での蛍光画像におけるノイズ成分を含めた全体の信号強度をIall(λ1)、波長λ1での蛍光画像における蛍光成分の信号強度をIall(λ1)’、波長λ1での蛍光画像におけるノイズ成分をNoise1、波長λ2での蛍光画像におけるノイズ成分を含めた全体の信号強度をIall(λ2)、波長λ2での蛍光画像における蛍光成分の信号強度をIall(λ2)’、波長λ2での蛍光画像におけるノイズ成分をNoise2とすると、分光画像はUNMIXING係数を用いて次式(21”)のように示すことができる。
Figure 2014039571
式(21')より、蛍光成分1,2の夫々の濃度D1,D2は、次式(22”)のように示すことができる。
Figure 2014039571
式(22”)より蛍光成分1,2の濃度D1,D2は、次の式(23”),(24”)で示すことができる。
Figure 2014039571
ここで、例えば、図6(b)に示す場合において、波長λ1での蛍光画像におけるノイズ成分を含めた全体の信号強度Iall(λ1)が1.03、波長λ1での蛍光画像における蛍光成分の信号強度Iall(λ1)’が1、波長λ1での蛍光画像におけるノイズ成分の信号強度Noise1が0.03、波長λ2での蛍光画像におけるノイズ成分を含めた全体の信号強度Iall(λ2)が0.58、波長λ2での蛍光画像における蛍光成分の信号強度Iall(λ2)’が0.55、波長λ2での蛍光画像におけるノイズ成分の信号強度Noise2が0.03であるとする。
このときの分光画像は上記式(21”)に当てはめると、次式(21a”)のように示すことができる。
Figure 2014039571
蛍光成分1,2の濃度D1,D2は上記式(23”),(24”)に当てはめると、
Figure 2014039571
となり、実際の濃度D1=0.97、D2=0.07
と相違する。
上記例のように、実際の蛍光成分2の濃度が低く、蛍光成分2の蛍光強度が小さい場合、Iall(λ2)の信号強度が小さい値で検出される。このため、UNMIXING処理による演算においては、ノイズの影響を大きく受けて濃度計算を正確に行うことができない。
そこで、このような場合には、蛍光波長λ2の露光時間を長くして、波長λ2での蛍光成分の信号をノイズ信号に比べて大きく検出されるようにしてノイズ成分の信号の影響を避けるようにすることが望まれる。
例えば、上記の場合において、蛍光波長λ2の露光時間を10倍して蛍光強度Iall(λ2)’が10倍になった場合、本発明によれば、蛍光成分1,2の濃度は次のように算出される。
即ち、本発明のUNMIXING技術による蛍光成分1,2の濃度の算出方法においては、分光画像は上記式(21”)に当てはめると、次式(21c”)のように示すことができる。
Figure 2014039571
蛍光成分1,2の濃度D1,D2は上記式(23”),(24”)に当てはめると、
Figure 2014039571
となり、上記(21a”)により求めた値により近い、ノイズの影響を極力排除した値が得られる。
なお、蛍光成分からの蛍光が非常に微弱でノイズ成分を十分に考慮する必要がある場合には、式(1)における信号強度Iall(λ1)〜Iall(λn)は以下のように扱うことが望ましい。
Figure 2014039571
ただし、Iall(λ1)は波長λ1での蛍光画像におけるノイズ成分を含めた全体の信号強度、Iall(λ1)’は波長λ1での蛍光画像における蛍光成分の信号強度、Noise1は波長λ1での蛍光画像におけるノイズ成分、・・・、Iall(λn)は波長λnでの蛍光画像におけるノイズ成分を含めた全体の信号強度、Iall(λn)’は波長λnでの蛍光画像における蛍光成分の信号強度、Noisenは波長λnでの蛍光画像におけるノイズ成分である。
このため、本発明の蛍光内視鏡装置によれば、フレームレートを極力変更させずに、各蛍光成分の明るさが蛍光画像観察に適した明るさとなるように露光条件を変更しても、露光条件の変更如何にかかわらず、各蛍光成分を分離して表示できる蛍光内視鏡装置が得られる。
実施例1
図7は実施例1にかかる蛍光内視鏡装置における露光条件及び蛍光成分濃度演算部13d2が行う演算を示す説明図で、(a)は基準露光条件下における可変分光素子12b4が選択して透過する各波長域の光を時系列で示す図、(b)は(a)と略同時刻に撮像素子12b5を介して光電変換され、各フレームメモリ13c1,13c2,13c3に記録される各波長域の光を時系列で示す図、(c)は実施例1の露光条件下における可変分光素子12b4が選択して透過する各波長域の光を時系列で示す図、(d)は(c)と略同時刻に撮像素子12b5を介して光電変換され、各フレームメモリ13c1,13c2,13c3に記録される各波長域の光を時系列で示す図、(e)は(c),(d)に示す露光条件下における蛍光成分濃度演算部13d2が行うUNMIXING処理に用いる行列式を示す図である。
実施例1の蛍光内視鏡装置の基本的な構成は、図1〜図2を用いて説明したとおりである。
実施例1の蛍光内視鏡装置では、図7(c)に示すように、可変分光素子12b4を介して透過される蛍光成分2からの蛍光波長λ2の透過時間tλ2’を、図7(a)に示す基準露光条件下における透過時間tλ2に比べて長くすることで、図7(d)に示すように、フレームメモリ13c2に記録される時間がその分長くなるように露光条件が、露光条件設定部15を介して変更されている。
蛍光成分濃度演算部13d2は、波長λ1〜波長λnのうちの所定波長λxの蛍光画像を撮像部12bが取得する際になされた露光時間の変更に連動して、式(1)を用いた蛍光成分1の濃度D1〜蛍光成分mの濃度Dmの計算に際し、蛍光成分1〜蛍光成分mの基準濃度での基準露光条件下における所定波長λxの係数a1(λx)〜am(λx)に対し、所定波長λxの蛍光画像を撮像部12bが取得する際の基準露光条件下における露光時間tλ2に対する変更後の露光時間tλ2’の比率(tλ2’/tλ2)を乗算するようになっている。
実施例1の露光条件における分光画像は、UNMIXING係数を用いた行列式で表すと次の式(1a’)のように示すことができる。
Figure 2014039571
蛍光成分濃度演算部13d2は、この式(1a’)より、蛍光成分1〜3の濃度D1〜D3を算出する。
実施例1の蛍光内視鏡装置によれば、フレームレートの劣化を極力抑えるために特定の検出波長の分光画像についての露光時間を変更しても複数の蛍光体を各検出波長が分離された状態で明るく検出できる。
実施例2
図8は実施例2にかかる蛍光内視鏡装置における露光条件及び蛍光成分濃度演算部13d2が行う演算を示す説明図で、(a)は基準露光条件下における可変分光素子12b4が選択して透過する各波長域の光を時系列で示す図、(b)は実施例2の露光条件下における可変分光素子12b4が選択して透過する各波長域の光を時系列で示す図、(c)は(b)に示す露光条件における蛍光成分濃度演算部13d2が行うUNMIXING処理に用いる行列式を示す図である。
実施例2の蛍光内視鏡装置では、図8(b)に示すように、フレームレートを一定にしたまま、各検出波長λ1〜λ3の露光時間tλ1”,tλ2”,tλ3”の比率が図8(a)に示す基準露光条件下での各検出波長λ1〜λ3の露光時間tλ1,tλ2,tλ3の比率と異なるように露光条件が、露光条件設定部15を介して変更されている。
蛍光成分濃度演算部13d2は、波長λ1〜波長λ3の夫々の波長の蛍光画像を撮像部12bが取得する際になされた、フレームレートを一定に保ったままでの露光時間の変更に連動して、式(1)を用いた蛍光成分1の濃度D1〜蛍光成分3の濃度D3の計算に際し、蛍光成分1〜蛍光成分3の基準濃度での基準露光条件下における波長λ1〜波長λ3の夫々の波長の係数a1(λ1)〜a3(λ1)〜a1(λ3)〜a3(λ3)に対し、波長λ1〜波長λ3の夫々の波長の蛍光画像を撮像部12bが取得する際の基準露光条件下における露光時間tλ1,tλ2,tλ3に対する変更後の露光時間tλ1”,tλ2”,tλ3”の比率(tλ1”/tλ1,tλ2”/tλ2,tλ3”/tλ3)を夫々乗算するようになっている。
実施例2の露光条件における分光画像は、UNMIXING係数を用いた行列式で表すと次の式(1b’)のように示すことができる。
Figure 2014039571
蛍光成分濃度演算部13d2は、この式(1b’)より、蛍光成分1〜3の濃度D1〜D3を算出する。
なお、実施例2では上述のようにフレームレートは一定である。従って、上記式(1b’)においては、
Figure 2014039571
である。
実施例2の蛍光内視鏡装置によれば、フレームレートの劣化が無いように各検出波長の分光画像についての露光時間を変更しても複数の蛍光体を各検出波長が分離され、かつ、明るさのバランスが取れた状態で明るく検出できる。
その他の構成及び作用効果は実施例1の蛍光内視鏡装置と略同じである。
実施例3
図9は実施例3にかかる蛍光内視鏡装置における露光条件及び蛍光成分濃度演算部13d2が行う演算を示す説明図で、(a)は基準露光条件下における各蛍光成分の蛍光波長を励起する各励起光の強度及び照射タイミングを時系列で示す図、(b)は実施例3の露光条件下における各蛍光成分の蛍光波長を励起する各励起光の強度及び照射タイミングを時系列で示す図、(c)は(b)に示す露光条件下における蛍光成分濃度演算部13d2が行うUNMIXING処理に用いる行列式を示す図である。
実施例3の蛍光内視鏡装置では、図9(b)に示すように、蛍光成分2の蛍光波長λ2を励起する励起光の強度IEX2’を、図9(a)に示す基準露光条件下における強度IEX2に比べて強くすることで、フレームメモリ13c2に記録される強度がその分強くなるように露光条件が、露光条件設定部15を介して変更されている。
蛍光成分濃度演算部13d2は、蛍光波長λ2の蛍光画像を撮像部12bが取得する際になされた蛍光波長λ2を励起する励起光の強度の変更に連動して、式(1)を用いた蛍光成分1の濃度D1〜蛍光成分3の濃度D3の計算に際し、蛍光成分1〜蛍光成分3の基準濃度での基準露光条件下における当該波長λ2の係数a1(λ2)〜a3(λ2)に対し、蛍光波長λ2の蛍光画像を撮像部12bが取得する際の基準露光条件下における蛍光波長λ2を励起する励起光の強度IEX2に対する変更後の蛍光波長λ2を励起する励起光の強度IEX2’の比率(IEX2’/IEX2)を乗算するようになっている。
実施例3の露光条件における分光画像は、UNMIXING係数を用いた行列式で表すと次の式(1c’)のように示すことができる。
Figure 2014039571
蛍光成分濃度演算部13d2は、この式(1c’)より、蛍光成分1〜3の濃度D1〜D3を算出する。
実施例3の蛍光内視鏡装置によれば、フレームレートの劣化が無いように特定の検出波長の分光画像についての励起強度を変更しても複数の蛍光体を各検出波長が分離された状態で明るく検出できる。
実施例4
図10は実施例4にかかる蛍光内視鏡装置における露光条件及び蛍光成分濃度演算部13d2が行う演算を示す説明図で、(a)は基準露光条件下における各蛍光成分の蛍光波長を励起する各励起光の強度及び照射タイミングを時系列で示す図、(b)は実施例4の露光条件下における各蛍光成分の蛍光波長を励起する各励起光の強度及び照射タイミングを時系列で示す図、(c)は(b)に示す露光条件下における蛍光成分濃度演算部13d2が行うUNMIXING処理に用いる行列式を示す図である。
実施例4の蛍光内視鏡装置では、図10(b)に示すように、蛍光成分1の蛍光波長λ1〜蛍光成分3の蛍光波長λ3を夫々励起する夫々の励起光の強度IEX1”〜IEX3”を、図10(a)に示す基準露光条件下における強度IEX1〜に強度IEX3に対して変更することで、フレームメモリ13c1〜13c3に記録される強度がその分、変更されるように露光条件が、露光条件設定部15を介して変更されている。
蛍光成分濃度演算部13d2は、波長λ1〜波長λ3の夫々の波長の蛍光画像を撮像部12bが取得する際になされた夫々の波長を励起する励起光の強度の変更に連動して、式(1)を用いた蛍光成分1の濃度D1〜蛍光成分3の濃度D3の計算に際し、蛍光成分1〜蛍光成分3の基準濃度での基準露光条件下における波長λ1〜波長λ3の夫々の波長の係数a1(λ1)〜a3(λ1)〜a1(λ3)〜a3(λ3)に対し、波長λ1〜波長λ3の夫々の波長の蛍光画像を撮像部12bが取得する際の基準露光条件下における夫々の波長を励起する励起光の強度IEX1,IEX2,IEX3に対する変更後の夫々の波長を励起する励起光の強度IEX1”,IEX2”IEX3”の比率(IEX1”/IEX1,IEX2”/IEX2,IEX3”/IEX3)を夫々乗算するようになっている。
実施例4の露光条件における分光画像は、UNMIXING係数を用いた行列式で表すと次の式(1d’)のように示すことができる。
Figure 2014039571
蛍光成分濃度演算部13d2は、この式(1d’)より、蛍光成分1〜3の濃度D1〜D3を算出する。
実施例4の蛍光内視鏡装置によれば、フレームレートの劣化が無いように夫々の検出波長の分光画像についての励起強度を変更しても複数の蛍光体を各検出波長が分離され、かつ、明るさのバランスが取れた状態の明るさで明るく検出できる。
実施例5
図11は実施例5にかかる蛍光内視鏡装置における露光条件及び蛍光成分濃度演算部13d2が行う演算を示す説明図で、(a)は基準露光条件下における各蛍光成分の蛍光波長を励起する各励起光の強度及び照射タイミングを時系列で示す図、(b)は実施例5における各蛍光成分の蛍光波長を励起する各励起光の強度及び照射タイミングを時系列で示す図、(c)は(b)に示す露光条件下における蛍光成分濃度演算部13d2が行うUNMIXING処理に用いる行列式を示す図である。
実施例5の蛍光内視鏡装置では、図11(b)に示すように、蛍光成分2の蛍光波長λ2を励起する励起光の励起時間tEx2’を図11(a)に示す基準露光条件下における励起時間tEx2に比べて短くすることで、フレームメモリ13c2に記録される強度がその分弱くなるように露光条件が、露光条件設定部15を介して変更されている。
蛍光成分濃度演算部13d2は、蛍光波長λ2の蛍光画像を撮像部12bが取得する際になされた蛍光波長λ2を励起する励起光の強度の変更に連動して、式(1)を用いた蛍光成分1の濃度D1〜蛍光成分3の濃度D3の計算に際し、蛍光成分1〜蛍光成分3の基準濃度での基準露光条件下における当該波長λ2の係数a1(λ2)〜a3(λ2)に対し、蛍光波長λ2の蛍光画像を撮像部12bが取得する際の基準露光条件下における蛍光波長λ2を励起する励起光の励起時間tEX2に対する変更後の蛍光波長λ2を励起する励起光の励起時間tEX2’の比率(tEX2’/tEX2)を乗算するようになっている。
実施例5の露光条件における分光画像は、UNMIXING係数を用いた行列式で表すと次の式(1e’)のように示すことができる。
Figure 2014039571
蛍光成分濃度演算部13d2は、この式(1e’)より、蛍光成分1〜3の濃度D1〜D3を算出する。
実施例5の蛍光内視鏡装置によれば、フレームレートの劣化が無いように特定の検出波長の分光画像についての励起時間を変更しても複数の蛍光体を各検出波長が分離され、かつ、明るさのバランスが取れた状態で明るく検出できる。
実施例6
図12は実施例6にかかる蛍光内視鏡装置における露光条件及び蛍光成分濃度演算部13d2が行う演算を示す説明図で、(a)は基準露光条件下における各蛍光成分の蛍光波長を励起する各励起光の強度及び照射タイミングを時系列で示す図、(b)は実施例6の露光条件下における各蛍光成分の蛍光波長を励起する各励起光の強度及び照射タイミングを時系列で示す図、(c)は(b)に示す露光条件下における蛍光成分濃度演算部13d2が行うUNMIXNG処理に用いる行列式を示す図である。
実施例6の蛍光内視鏡装置では、図12(b)に示すように、蛍光成分2の蛍光波長λ2を励起する励起光の励起強度IEx2’及び励起時間tEx2’を図12(a)に示す基準露光条件下における励起強度IEx2’及び励起時間tEx2に比べて変更することで、フレームメモリ13c2に記録される強度がその分変更されるように露光条件が、露光条件設定部15を介して変更されている。
蛍光成分濃度演算部13d2は、波長λ1〜波長λ3のうちの所定波長λ2の蛍光画像を撮像部12bが取得する際になされた所定波長λ2を励起する励起光の強度及び励起時間の変更に連動して、式(1)を用いた蛍光成分1の濃度D1〜蛍光成分3の濃度D3の計算に際し、蛍光成分1〜蛍光成分3の基準濃度での基準露光条件下における当該波長λ2の係数a1(λ2)〜a3(λ2)に対し、所定波長λ2の蛍光画像を撮像部12bが取得する際の基準露光条件下における所定波長λ2を励起する励起光の強度IEX2及び励起時間tEX2に対する変更後の所定波長λ2を励起する励起光の強度IEX2’及び励起時間tEX2’の比率((IEX2’/IEX2)×(tEX2’/tEX2))を乗算するようになっている。
実施例6の露光条件における分光画像は、UNMIXING係数を用いた行列式で表すと次の式(1f’)のように示すことができる。
Figure 2014039571
ただし、α26=IEx2’×tEx2’/IEx2×tEx2
蛍光成分濃度演算部13d2は、この式(1f’)より、蛍光成分1〜3の濃度D1〜D3を算出する。
実施例6の蛍光内視鏡装置によれば、フレームレートの劣化が無いように特定の検出波長の分光画像についての励起強度及び励起時間を変更しても複数の蛍光体を各検出波長が分離され、かつ、明るさのバランスが取れた状態で明るく検出できる。
実施例7
図13は実施例7にかかる蛍光内視鏡装置における露光条件及び蛍光成分濃度演算部13d2が行う演算を示す説明図で、(a)は基準露光条件下における各蛍光成分の蛍光波長を励起する各励起光の強度及び照射タイミングを時系列で示す図、(b)は実施例7の露光条件下における各蛍光成分の蛍光波長を励起する各励起光の強度及び照射タイミングを時系列で示す図、(c)は(b)に示す露光条件下における蛍光成分濃度演算部13d2が行うUNMIXING処理に用いる行列式を示す図である。
実施例7の蛍光内視鏡装置では、蛍光成分2の蛍光波長λ2の強度を、NDフィルタを用いて変更することで、図13(b)に示すように、フレームメモリ13c2に記録される検出強度I2’がその分弱くなるように露光条件が、露光条件設定部15を介して変更されている。
蛍光成分濃度演算部13d2は、波長λ1〜波長λ3のうちの所定波長λ2の蛍光画像を撮像部12bが取得する際になされた検出強度の変更に連動して、式(1)を用いた蛍光成分1の濃度D1〜蛍光成分3の濃度D3の計算に際し、蛍光成分1〜蛍光成分3の基準濃度での基準露光条件下における所定波長λ2の係数a1(λ2)〜a3(λ2)に対し、所定波長λ2の蛍光画像を撮像部12bが取得する際の基準露光条件下における検出強度I2に対する変更後の検出強度I2’の比率(I2’/I2)を乗算するようになっている。
実施例7の露光条件における分光画像は、UNMIXING係数を用いた行列式で表すと次の式(1g’)のように示すことができる。
Figure 2014039571
蛍光成分濃度演算部13d2は、この式(1g’)より、蛍光成分1〜3の濃度D1〜D3を算出する。
実施例7の蛍光内視鏡装置によれば、フレームレートの劣化が無いように特定の検出波長の分光画像についての検出強度を変更しても複数の蛍光体を各検出波長が分離され、かつ、明るさのバランスが取れた状態で明るく検出できる。
実施例8
図14は実施例8にかかる蛍光内視鏡装置における露光条件及び蛍光成分濃度演算部13d2が行う演算を示す説明図で、(a)は基準露光条件下における各蛍光成分の蛍光波長の蛍光画像のゲイン及び検出タイミングを時系列で示す図、(b)は実施例8の露光条件下における各蛍光成分の蛍光波長の蛍光画像のゲイン及び検出タイミングを時系列で示す図、(c)は(b)に示す露光条件下における蛍光成分濃度演算部13d2が行うUNMIXING処理に用いる行列式を示す図である。
実施例8の蛍光内視鏡装置では、図14(b)に示すように、蛍光成分2の蛍光波長λ2のゲインG2’を変更することで、フレームメモリ13c2に記録される強度がその分強くなるように露光条件が、露光条件設定部15を介して変更されている。
蛍光成分濃度演算部13d2は、波長λ1〜波長λ3のうちの所定波長λ2の蛍光画像を撮像部12bが取得する際になされたゲインの変更に連動して、式(1)を用いた蛍光成分1の濃度D1〜蛍光成分3の濃度D3の計算に際し、蛍光成分1〜蛍光成分3の基準濃度での基準露光条件下における所定波長λ2の係数a1(λ2)〜a3(λ2)に対し、所定波長λ2の蛍光画像を撮像分12bが取得する際の基準露光条件下におけるゲインG2に対する変更後のゲインG2’の比率(G2’/G2)を乗算するようになっている。
実施例8の露光条件における分光画像は、UNMIXING係数を用いた行列式で表すと次の式(1h’)のように示すことができる。
Figure 2014039571
蛍光成分濃度演算部13d2は、この式(1h’)より、蛍光成分1〜3の濃度D1〜D3を算出する。
実施例8の蛍光内視鏡装置によれば、フレームレートの劣化が無いように特定の検出波長の分光画像についてのゲインを変更しても複数の蛍光体を各検出波長が分離され、かつ、明るさのバランスが取れた状態で明るく検出できる。
以上、本発明の実施例について説明したが、本発明の蛍光内視鏡装置は、これらの実施例に限定されるものではなく、例えば、各実施例における露光条件構成要素を組み合わせた露光条件の変更に対し、蛍光成分濃度演算部13d2が基準露光条件下における当該露光条件構成要素の組み合せの数値に対する変更後の当該露光条件構成要素の組み合せの数値の比率を蛍光成分1〜蛍光成分3の基準濃度での基準露光条件下におけるUNMIXING係数に乗算するようにしてもよい。さらには、蛍光成分濃度演算部13d2が任意の露光条件構成要素の変更に連動して、当該変更した露光条件構成要素の変更後の数値の基準露光条件下における当該露光条件構成要素の数値に対する比率を基準露光条件下におけるUNMIXING係数に乗算するようにしてもよい。また、本発明の蛍光内視鏡装置は、複数の人組織のみ、複数の蛍光薬剤のみ、または残渣を含め様々な組み合わせの蛍光成分の検出に適用できる。
本発明の蛍光内視鏡装置は、生体組織を観察するために、生体組織から発生する蛍光スペクトルを検出する分野に有用である。
9 生体(組織)
11 光源ユニット
11a 励起光用光源
11b 照明光用光源
11c 光源制御回路
12 内視鏡先端挿入部
12a 照明光学系
12b 撮像部
12b1 対物光学系
12b2 結像光学系
12b3 励起光カットフィルタ
12b4 可変分光素子
12b5 撮像素子
12c ライトガイド
13 制御ユニット
13a 可変分光素子制御回路
13b 撮像素子制御回路
13c フレームメモリ
13c1 Rフレームメモリ
13c2 Gフレームメモリ
13c3 Bフレームメモリ
13d 画像処理回路
13d1 UNMIXING係数記録部
13d2 蛍光成分濃度演算部
13d3 蛍光画像合成部
14 表示ユニット
15 露光条件設定部

Claims (9)

  1. 最大蛍光波長が異なり少なくとも一部の波長域で蛍光波長が重なる複数種類の蛍光成分を有する生体組織に励起光を照射し前記生体組織から発生する複数種類の蛍光画像を取得し、取得した蛍光画像を用いて生体組織に存在する複数種類の蛍光成分を分離して表示にする蛍光内視鏡装置であって、
    前記複数種類の蛍光成分を励起させる少なくとも1種類以上の励起光を照射する光源部と、
    前記生体組織から発生する蛍光画像を、n種類[但し、m≦n]の波長λ1〜波長λnごとに取得する蛍光画像取得部と、
    前記生体組織中に存在するm種類[但し、2≦m]の蛍光成分1〜蛍光成分mの夫々の基準濃度での基準露光条件下における蛍光スペクトルが記録された蛍光スペクトル記録部と、
    前記蛍光スペクトル記録部に記録された蛍光成分1〜蛍光成分mの夫々の基準濃度での基準露光条件下における蛍光スペクトルと前記蛍光画像取得部が取得した波長λ1〜波長λnごとの蛍光画像を用いて、前記生体組織中に存在する夫々の蛍光成分の濃度を、該蛍光画像における全ての画素について演算により求める蛍光成分濃度演算部と、
    前記蛍光成分濃度演算部が求めた夫々の蛍光成分の濃度に基づいて夫々の蛍光成分の分布画像を作成し、作成した夫々の蛍光成分の分布画像に対し夫々の蛍光成分に対応する所定の色を割り当て、所定の色を割り当てた分布画像を一つの画像に合成する蛍光画像合成部と、
    前記蛍光画像合成部を介して合成された画像を表示する画像表示部を有し、
    前記蛍光成分濃度演算部が、
    前記蛍光スペクトル記録部に記録された蛍光成分1〜蛍光成分mの夫々の基準濃度での基準露光条件下における蛍光スペクトルより得られる、蛍光成分1〜蛍光成分mの夫々の基準濃度での基準露光条件下における波長λ1〜波長λnの係数をa1(λ1)〜a1(λn)〜am(λ1)〜am(λn)、前記蛍光画像取得部が取得した波長λ1〜波長λnの蛍光画像の強度をIall(λ1)〜Iall(λn)、蛍光成分1〜蛍光成分mの濃度をD1〜Dmとしたとき、次の式(1)を用いて、蛍光成分1の濃度D1〜蛍光成分mの濃度Dmを、該蛍光画像における画素ごとに全ての画素について計算する内視鏡装置であって、
    前記蛍光成分濃度演算部が、
    露光条件構成要素の基準露光条件に対する変更の有無をチェックし、
    波長λ1〜波長λnのうちの少なくとも1つの波長λxの蛍光画像を前記蛍光画像取得部が取得する際になされた所定の露光条件構成要素の数値の変更があるとき、その変更に連動して、
    前記式(1)を用いた蛍光成分1の濃度D1〜蛍光成分mの濃度Dmの計算に際し、蛍光成分1〜蛍光成分mの基準濃度での基準露光条件下における当該波長λxの係数a1(λx)〜am(λx)を、当該波長λxの蛍光画像を前記蛍光画像取得部が取得する際の基準露光条件下における前記所定の露光条件構成要素の数値に対する変更後の前記所定の露光条件構成要素の数値の比率を用いて変更することを特徴とする蛍光内視鏡装置。
    Figure 2014039571
  2. 前記蛍光成分濃度演算部が、
    波長λ1〜波長λnのうちの所定波長λxの蛍光画像を前記蛍光画像取得部が取得する際になされた露光時間の変更があるとき、その変更に連動して、
    前記式(1)を用いた蛍光成分1の濃度D1〜蛍光成分mの濃度Dmの計算に際し、蛍光成分1〜蛍光成分mの基準濃度での基準露光条件下における前記所定波長λxの係数a1(λx)〜am(λx)に対し、前記所定波長λxの蛍光画像を前記蛍光画像取得部が取得する際の基準露光条件下における露光時間に対する変更後の露光時間の比率を乗算することを特徴とする請求項1に記載の蛍光内視鏡装置。
  3. 前記蛍光成分濃度演算部が、
    波長λ1〜波長λnの夫々の波長の蛍光画像を前記蛍光画像取得部が取得する際になされた、フレームレートを一定に保ったままでの露光時間の変更があるとき、その変更に連動して、
    前記式(1)を用いた蛍光成分1の濃度D1〜蛍光成分mの濃度Dmの計算に際し、蛍光成分1〜蛍光成分mの基準濃度での基準露光条件下における波長λ1〜波長λnの夫々の波長の係数a1(λ1)〜am(λ1)〜a1(λn)〜am(λn)に対し、波長λ1〜波長λnの夫々の波長の蛍光画像を前記蛍光画像取得部が取得する際の基準露光条件下における露光時間に対する変更後の露光時間の比率を乗算することを特徴とする請求項1に記載の蛍光内視鏡装置。
  4. 前記蛍光成分濃度演算部が、
    波長λ1〜波長λnのうちの所定波長λxの蛍光画像を前記蛍光画像取得部が取得する際になされた前記所定波長λxを励起する励起光の強度の変更があるとき、その変更に連動して、
    前記式(1)を用いた蛍光成分1の濃度D1〜蛍光成分mの濃度Dmの計算に際し、蛍光成分1〜蛍光成分mの基準濃度での基準露光条件下における当該波長λxの係数a1(λx)〜am(λx)に対し、前記所定波長λxの蛍光画像を前記蛍光画像取得部が取得する際の基準露光条件下における前記所定波長λxを励起する励起光の強度に対する変更後の前記所定波長λxを励起する励起光の強度の比率を乗算することを特徴とする請求項1に記載の蛍光内視鏡装置。
  5. 前記蛍光成分濃度演算部が、
    波長λ1〜波長λnの夫々の波長の蛍光画像を前記蛍光画像取得部が取得する際になされた夫々の波長を励起する励起光の強度の変更があるとき、その変更に連動して、
    前記式(1)を用いた蛍光成分1の濃度D1〜蛍光成分mの濃度Dmの計算に際し、蛍光成分1〜蛍光成分mの基準濃度での基準露光条件下における波長λ1〜波長λnの夫々の波長の係数a1(λ1)〜am(λ1)〜a1(λn)〜am(λn)に対し、波長λ1〜波長λnの夫々の波長の蛍光画像を前記蛍光画像取得部が取得する際の基準露光条件下における夫々の波長を励起する励起光の強度に対する変更後の夫々の波長を励起する励起光の強度の比率を乗算することを特徴とする請求項1に記載の蛍光内視鏡装置。
  6. 前記蛍光成分濃度演算部が、
    波長λ1〜波長λnのうちの所定波長λxの蛍光画像を前記蛍光画像取得部が取得する際になされた前記所定波長λxを励起する励起光の励起時間の変更があるとき、その変更に連動して、
    前記式(1)を用いた蛍光成分1の濃度D1〜蛍光成分mの濃度Dmの計算に際し、蛍光成分1〜蛍光成分mの基準濃度での基準露光条件下における当該波長λxの係数a1(λx)〜am(λx)に対し、前記所定波長λxの蛍光画像前記蛍光画像取得部が取得する際の基準露光条件下における前記所定波長λxを励起する励起光の励起時間に対する変更後の前記所定波長λxを励起する励起光の励起時間の比率を乗算することを特徴とする請求項1に記載の蛍光内視鏡装置。
  7. 前記蛍光成分濃度演算部が、
    波長λ1〜波長λnのうちの所定波長λxの蛍光画像を前記蛍光画像取得部が取得する際になされた前記所定波長λxを励起する励起光の強度及び励起時間の変更があるとき、その変更に連動して、
    前記式(1)を用いた蛍光成分1の濃度D1〜蛍光成分mの濃度Dmの計算に際し、蛍光成分1〜蛍光成分mの基準濃度での基準露光条件下における当該波長λxの係数a1(λx)〜am(λx)に対し、前記所定波長λxの蛍光画像を前記蛍光画像取得部が取得する際の基準露光条件下における前記所定波長λxを励起する励起光の強度及び励起時間に対する変更後の前記所定波長λxを励起する励起光の強度及び励起時間の比率を乗算することを特徴とする請求項1に記載の蛍光内視鏡装置。
  8. 前記蛍光成分濃度演算部が、
    波長λ1〜波長λnのうちの所定波長λxの蛍光画像を前記蛍光画像取得部が取得する際になされた検出強度の変更があるとき、その変更に連動して、
    前記式(1)を用いた蛍光成分1の濃度D1〜蛍光成分mの濃度Dmの計算に際し、蛍光成分1〜蛍光成分mの基準濃度での基準露光条件下における前記所定波長λxの係数a1(λx)〜am(λx)に対し、前記所定波長λxの蛍光画像を前記蛍光画像取得部が取得する際の基準露光条件下における検出強度に対する変更後の検出強度の比率を乗算することを特徴とする請求項1に記載の蛍光内視鏡装置。
  9. 前記蛍光成分濃度演算部が、
    波長λ1〜波長λnのうちの所定波長λxの蛍光画像を前記蛍光画像取得部が取得する際になされたゲインの変更があるとき、その変更に連動して、
    前記式(1)を用いた蛍光成分1の濃度D1〜蛍光成分mの濃度Dmの計算に際し、蛍光成分1〜蛍光成分mの基準濃度での基準露光条件下における前記所定波長λxの係数a1(λx)〜am(λx)に対し、前記所定波長λxの蛍光画像を前記蛍光画像取得部が取得する際の基準露光条件下におけるゲインに対する変更後のゲインの比率を乗算することを特徴とする請求項1に記載の蛍光内視鏡装置。
JP2010290927A 2010-12-27 2010-12-27 蛍光内視鏡装置 Withdrawn JP2014039571A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2010290927A JP2014039571A (ja) 2010-12-27 2010-12-27 蛍光内視鏡装置
PCT/JP2011/080158 WO2012090982A1 (ja) 2010-12-27 2011-12-27 蛍光内視鏡装置
US13/920,136 US9050012B2 (en) 2010-12-27 2013-06-18 Fluorescence-endoscope apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010290927A JP2014039571A (ja) 2010-12-27 2010-12-27 蛍光内視鏡装置

Publications (1)

Publication Number Publication Date
JP2014039571A true JP2014039571A (ja) 2014-03-06

Family

ID=46383076

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010290927A Withdrawn JP2014039571A (ja) 2010-12-27 2010-12-27 蛍光内視鏡装置

Country Status (3)

Country Link
US (1) US9050012B2 (ja)
JP (1) JP2014039571A (ja)
WO (1) WO2012090982A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6103824B2 (ja) * 2012-06-04 2017-03-29 オリンパス株式会社 蛍光内視鏡装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3983947B2 (ja) * 1999-11-16 2007-09-26 富士フイルム株式会社 蛍光画像表示方法および装置
US20020138008A1 (en) * 2000-01-13 2002-09-26 Kazuhiro Tsujita Method and apparatus for displaying fluorescence images and method and apparatus for acquiring endoscope images
JP5461753B2 (ja) * 2004-07-30 2014-04-02 オリンパス株式会社 内視鏡装置
JP2006043002A (ja) * 2004-08-02 2006-02-16 Olympus Corp 内視鏡観察装置および内視鏡観察方法
US8078265B2 (en) 2006-07-11 2011-12-13 The General Hospital Corporation Systems and methods for generating fluorescent light images
JP2008043396A (ja) * 2006-08-11 2008-02-28 Olympus Corp 内視鏡システム
JP4954699B2 (ja) * 2006-12-28 2012-06-20 オリンパス株式会社 蛍光内視鏡システム
US8300093B2 (en) * 2009-01-12 2012-10-30 Fujifilm Corporation Endoscope image processing method and apparatus, and endoscope system using the same
EP2359745A1 (en) * 2010-02-12 2011-08-24 Helmholtz Zentrum München Deutsches Forschungszentrum für Gesundheit und Umwelt (GmbH) Method and device for multi-spectral photonic imaging

Also Published As

Publication number Publication date
WO2012090982A1 (ja) 2012-07-05
US9050012B2 (en) 2015-06-09
US20140005476A1 (en) 2014-01-02

Similar Documents

Publication Publication Date Title
JP5735031B2 (ja) コンパクトな蛍光内視鏡映像システム
JP5432793B2 (ja) 蛍光内視鏡装置
EP2656774B1 (en) Fluorescence observation apparatus
JP4772235B2 (ja) 内視鏡装置
JP6791821B2 (ja) 内視鏡システム
JP6092792B2 (ja) 内視鏡システム用プロセッサ装置、内視鏡システム、内視鏡システム用プロセッサ装置の作動方法、内視鏡システムの作動方法
US20120078046A1 (en) Endoscopic image display apparatus
JP5714875B2 (ja) 蛍光内視鏡装置
JP2009066121A (ja) 撮像装置
JP5721959B2 (ja) 蛍光内視鏡装置
JP5930474B2 (ja) 内視鏡システム及びその作動方法
US10827914B2 (en) Endoscope system and characteristic amount calculation method
US8300093B2 (en) Endoscope image processing method and apparatus, and endoscope system using the same
US11994469B2 (en) Spectroscopic imaging apparatus and fluorescence observation apparatus
JP5592715B2 (ja) 画像処理装置および画像処理方法
JP2014039571A (ja) 蛍光内視鏡装置
US20100179437A1 (en) Image capturing apparatus, image capturing method, and computer readable medium
JP6396717B2 (ja) 感度調整方法および撮像装置
JP7235540B2 (ja) 医療用画像処理装置及び医療用観察システム
JP6113033B2 (ja) 内視鏡装置
EP3669743B1 (en) System and method, in particular for microscopes and endoscopes, for creating an hdr image of a fluorescing fluorophore
JP2009125411A (ja) 内視鏡画像処理方法および装置ならびにこれを用いた内視鏡システム
EP2206459B1 (en) Endoscope image processing method and apparatus, and endoscope system using the same

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20140304