JP5992936B2 - 内視鏡システム、内視鏡システム用プロセッサ装置、内視鏡システムの作動方法、内視鏡システム用プロセッサ装置の作動方法 - Google Patents

内視鏡システム、内視鏡システム用プロセッサ装置、内視鏡システムの作動方法、内視鏡システム用プロセッサ装置の作動方法 Download PDF

Info

Publication number
JP5992936B2
JP5992936B2 JP2014037595A JP2014037595A JP5992936B2 JP 5992936 B2 JP5992936 B2 JP 5992936B2 JP 2014037595 A JP2014037595 A JP 2014037595A JP 2014037595 A JP2014037595 A JP 2014037595A JP 5992936 B2 JP5992936 B2 JP 5992936B2
Authority
JP
Japan
Prior art keywords
value
oxygen saturation
image
image signal
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014037595A
Other languages
English (en)
Other versions
JP2015160012A (ja
Inventor
孝明 齋藤
孝明 齋藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2014037595A priority Critical patent/JP5992936B2/ja
Priority to EP15152718.1A priority patent/EP2912990B1/en
Priority to US14/611,337 priority patent/US9629555B2/en
Publication of JP2015160012A publication Critical patent/JP2015160012A/ja
Application granted granted Critical
Publication of JP5992936B2 publication Critical patent/JP5992936B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006Operational features of endoscopes characterised by electronic signal processing of control signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655Control therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/14551Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0646Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0653Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with wavelength conversion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00Medical imaging apparatus involving image processing or analysis
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Optics & Photonics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Description

本発明は、被検体内の観察対象を撮像して得られる画像信号から血中ヘモグロビンの酸素飽和度に関する生体機能情報を求める内視鏡システム、内視鏡システム用プロセッサ装置、内視鏡システムの作動方法、内視鏡システム用プロセッサ装置の作動方法に関する。
医療分野においては、光源装置、内視鏡、プロセッサ装置を備える内視鏡システムを用いて診断することが一般的になっている。また、近年においては、生体機能情報の中でも血中ヘモグロビンの酸素飽和度を用いた病変部の診断が行われつつある。酸素飽和度を取得する方法としては、波長帯域と、酸化ヘモグロビンと還元ヘモグロビンの吸光係数とが異なる第1信号光と第2信号光を交互に観察対象に照射して、第1及び第2信号光の各反射光を内視鏡先端部のセンサで検出する方法が知られている(特許文献1,2)。
センサで検出した第1信号光の反射光に対応する画像信号と、第2信号光の反射光に対応する画像信号の各画素の信号値の比率(以下、信号比という)は、血管内の酸素飽和度に変化がなければ一定値を維持するが、酸素飽和度の変化が生じれば、それにもとなって変化する。したがって、上記画像信号の信号比に基づいて酸素飽和度を算出することができる。
但し、粘膜表面に汚れ(残渣や不透明な粘液の付着等)がある場合や、人工物が写り込んでしまった場合、着色用の色素が用いられている場合など、血中ヘモグロビン以外のものによって信号比が変化してしまう場合には酸素飽和度の算出精度が低下することがある。特許文献1では、算出精度に応じて酸素飽和度を表す疑似カラーの色調を変えた酸素飽和度画像を生成及び表示することによって、酸素飽和度の値だけでなく、その算出精度を表示している。より具体的には、酸素飽和度の「信頼度」を画像信号の画素値に基づいて算出し、信頼度が高い画素では青色〜赤色の疑似カラーで酸素飽和度の大きさ表示するのに対して、信頼度が低い画素ではモノクロ調で酸素飽和度の大きさを表示している。
特許第5302984号 特許第5231511号
血中ヘモグロビン以外に信号比を変化させてしまう要因があると、上記のように酸素飽和度の算出精度が低下してしまうおそれがあるが、信号比を変化させる要因が血中ヘモグロビン以外に殆どないと見做せる状況下でも、酸素飽和度の算出精度が低下してしまう場合がある。具体的には、粘膜の汚れ等がなくても、内視鏡の先端部を観察対象に近接させると、酸素飽和度の誤差が大きくなってしまうことがある。このような、観察対象の性状に依らず、内視鏡システムの技術的な問題で発生する不自然な誤差等に起因する画像のノイズはアーチファクトと称される。
例えば、内視鏡の先端部を観察対象に近接させたことによって第1,第2信号光の反射光で撮像素子の画素が飽和してしまうような場合には酸素飽和度を正確に算出することができなくなるが、内視鏡システムは、撮像素子の画素を飽和させないように自動的に露光量を調整し、観察対象を常に同じ明るさや色味で観察できるようにしている。このように、粘膜の汚れや色素の使用及び人工物の写り込み等がなく、かつ、自動露光調整が行われ、観察対象を適切に観察できている場合でも、内視鏡の先端部を観察対象に近接させていると、酸素飽和度に誤差が生じ、酸素飽和度を表す酸素飽和度画像にアーチファクトとして表れる場合がある。
本発明は、酸素飽和度を算出し、かつ、酸素飽和度に誤差が生じ、酸素飽和度画像にアーチファクトとして表れる領域に関する情報が得られる内視鏡システム、内視鏡システム用プロセッサ装置、内視鏡システムの作動方法、内視鏡システム用プロセッサ装置の作動方法を提供することを目的とする。
本発明の内視鏡システムは、照明部と、画像信号取得部と、酸素飽和度算出部と、露光量指定値算出部と、閾値算出部と、領域検出部と、画像生成部と、を備える。照明部は、観察対象に照射する照明光を発生する。画像信号取得部は、照明光の反射光で観察対象を撮像する撮像素子を有し、血中ヘモグロビンの酸素飽和度に応じて吸光係数が変化する波長範囲を含む複数の波長範囲に対応する複数の画像信号を撮像素子から取得する。酸素飽和度算出部は、画像信号に基づいて、酸素飽和度を算出する。露光量指定値算出部は、画像信号に基づいて、観察対象を撮像する露光量を指定するための露光量指定値を算出する。閾値算出部は、画像信号の画素値と比較するための閾値を、露光量指定値に応じて算出する。領域検出部は、画素値が閾値で定められる範囲に収まる第1領域と、画素値が範囲に収まらない第2領域とを検出する。画像生成部は、酸素飽和度を色で表し、かつ、第1領域と第2領域とで酸素飽和度の表示が異なる酸素飽和度画像を生成する。
露光量指定値が大きいほど、閾値算出部は閾値の値を大きくする。例えば、閾値は、露光量指定値が第1特定値よりも大きい場合に使用される第1閾値と、第1特定値以下に定められる第2特定値よりも露光量指定値が小さい場合に使用され、第1閾値よりも小さい第2閾値と、露光量指定値が第2特定値以上第1特定値以下の場合に使用され、第1閾値と第2閾値の間の中間値とのうちのいずれかの値である。中間値は、第1閾値と第2閾値との間で露光量指定値に対して線形に変化する値である。
画像生成部は、例えば、第1領域または第2領域のうち一方の領域を酸素飽和度の値に応じた色で表示し、他方の領域を酸素飽和度の値に依らない特定色で表示する酸素飽和度画像を生成する。この場合、画像生成部は、例えば、生成する酸素飽和度画像において色差信号を零にすることにより特定色を表示させる。
また、本発明の別の内視鏡システムは、照明部と、画像信号取得部と、酸素飽和度算出部と、露光量指定値算出部と、閾値算出部と、領域検出部と、画像生成部と、を備える。照明部は、観察対象に照射する照明光を発生する。画像信号取得部は、照明光の反射光で観察対象を撮像する撮像素子を有し、血中ヘモグロビンの酸素飽和度に応じて吸光係数が変化する波長範囲を含む複数の波長範囲に対応する複数の画像信号を撮像素子から取得する。酸素飽和度算出部は、画像信号に基づいて、酸素飽和度を算出する。露光量指定値算出部は、画像信号に基づいて、観察対象を撮像する露光量を指定するための露光量指定値を算出する。閾値算出部は、画像信号の画素値に基づいて算出される演算値と比較するための閾値を、露光量指定値に応じて算出する。領域検出部は、画像信号に基づいて演算値を算出し、演算値が閾値で定められる範囲に収まる第1領域と、演算値が範囲に収まらない第2領域とを検出する。画像生成部は、酸素飽和度を色で表し、かつ、第1領域と第2領域とで酸素飽和度の表示が異なる酸素飽和度画像を生成する。
演算値は、例えば、画像信号の全画素の画素値の平均値に対する各画素の画素値の比率である。また、演算値は、画素値の平均値でもよい。
本発明の内視鏡システムのプロセッサ装置は、観察対象に照射する照明光を発生する照明部と、照明光の反射光で観察対象を撮像する撮像素子を有し、血中ヘモグロビンの酸素飽和度に応じて吸光係数が変化する波長範囲を含む複数の波長範囲に対応する複数の画像信号を撮像素子から出力する内視鏡システムのプロセッサ装置であり、画像信号取得部と、酸素飽和度算出部と、露光量指定値算出部と、閾値算出部と、領域検出部と、画像生成部と、を備える。画像信号取得部は、画像信号を取得する。酸素飽和度算出部は、画像信号に基づいて、酸素飽和度を算出する。露光量指定値算出部は、画像信号に基づいて、観察対象を撮像する露光量を指定するための露光量指定値を算出する。閾値算出部は、画像信号の画素値と比較するための閾値を、露光量指定値に応じて算出する。領域検出部は、画素値が閾値で定められる範囲に収まる第1領域と、画素値が範囲に収まらない第2領域を検出する。画像生成部は、酸素飽和度を色で表し、かつ、第1領域と第2領域とで酸素飽和度の表示が異なる酸素飽和度画像を生成する。
本発明の内視鏡システムの作動方法は、照明光発生ステップと、画像信号取得ステップと、酸素飽和度算出ステップと、露光量指定値算出ステップと、閾値算出ステップと、領域検出ステップと、画像生成ステップと、を備える。照明光発生ステップでは、照明部が観察対象に照射する照明光を発生する。画像信号取得ステップでは、撮像素子によって照明光の反射光で観察対象を撮像することにより、血中ヘモグロビンの酸素飽和度に応じて吸光係数が変化する波長範囲を含む複数の波長範囲に対応する複数の画像信号を撮像素子から取得する。酸素飽和度算出ステップでは、酸素飽和度算出部が、画像信号に基づいて、酸素飽和度を算出する。露光量指定値算出ステップでは、露光量指定値算出部が、画像信号に基づいて、観察対象を撮像する露光量を指定するための露光量指定値を算出する。閾値算出ステップでは、閾値算出部が、画像信号の画素値と比較するための閾値を、露光量指定値に応じて算出する。領域検出ステップでは、領域検出部が、画素値が閾値で定められる範囲に収まる第1領域と、画素値が範囲に収まらない第2領域とを検出する。画像生成ステップでは、画像生成部が、酸素飽和度を色で表し、かつ、第1領域と第2領域とで酸素飽和度の表示が異なる酸素飽和度画像を生成する。
本発明のプロセッサ装置の作動方法は、観察対象に照射する照明光を発生する照明部と、照明光の反射光で観察対象を撮像する撮像素子を有し、血中ヘモグロビンの酸素飽和度に応じて吸光係数が変化する波長範囲を含む複数の波長範囲に対応する複数の画像信号を撮像素子から出力する内視鏡システムに用いられるプロセッサ装置の作動方法であり、画像信号取得ステップと、酸素飽和度算出ステップと、露光量指定値算出ステップと、閾値算出ステップと、領域検出ステップと、画像生成ステップと、を備える。画像信号取得ステップでは、画像信号を取得する。酸素飽和度算出ステップでは、酸素飽和度算出部が、画像信号に基づいて、酸素飽和度を算出する。露光量指定値算出ステップでは、露光量指定値算出部が、画像信号に基づいて、観察対象を撮像する露光量を指定するための露光量指定値を算出する。閾値算出ステップでは、閾値算出部が、画像信号の画素値と比較するための閾値を、露光量指定値に応じて算出する。領域検出ステップでは、領域検出部が、画素値が閾値で定められる範囲に収まる第1領域と、画素値が範囲に収まらない第2領域とを検出する。画像生成ステップでは、画像生成部が、酸素飽和度を色で表し、かつ、第1領域と第2領域とで酸素飽和度の表示が異なる酸素飽和度画像を生成する。

本発明の内視鏡システム、内視鏡システム用プロセッサ装置、内視鏡システムの作動方法、内視鏡システム用プロセッサ装置の作動方法によれば、酸素飽和度を算出し、かつ、酸素飽和度に誤差が生じ、酸素飽和度画像にアーチファクトとして表れる領域に関する情報を得ることができる。
内視鏡システムの外観図である。 内視鏡システムのブロック図である。 通常観察モード時に発光する光のスペクトルを示すグラフである。 特殊観察モード時に発光する光のスペクトルを示すグラフである。 RGBカラーフィルタの分光透過率を示すグラフである。 通常観察モード時の撮像制御を示す説明図である。 特殊観察モード時の撮像制御を示す説明図である。 特殊観察画像処理部のブロック図である。 信号比と酸素飽和度の相関関係を示すグラフである。 酸化ヘモグロビンと還元ヘモグロビンの吸光係数を示すグラフである。 酸素飽和度を算出する方法を示す説明図である。 露光量指定値と閾値の関係を示すグラフである。 観察距離と露光量指定値の関係を示す説明図である。 観察距離と酸素飽和度に誤差が生じ、酸素飽和度画像にアーチファクトとして表れるリクスの関係を表すグラフである。 酸素飽和度と色差信号の関係を示すグラフである。 内視鏡システムの作用を示すフローチャートである。 観察距離が長い場合の第1,第2領域を示す説明図である。 観察距離が短い場合の第1,第2領域を示す説明図である。 画素値の頻度ヒストグラム及び閾値の関係を示す説明図である。 第1,第2領域を加味しない場合の酸素飽和度画像である。 第1,第2領域で表示方法を変えた酸素飽和度画像である。 第2実施形態の特殊観察画像処理部のブロック図である。 第2実施形態の酸素飽和度画像である。 第3実施形態の内視鏡システムのブロック図である。 LEDの発光帯域とHPFの特性を示すグラフである。 第3実施形態における通常観察モード時の撮像制御を示す説明図である。 第3実施形態における特殊観察モード時の撮像制御を示す説明図である。 第4実施形態の内視鏡システムのブロック図である。 回転フィルタの平面図である。 CMOSイメージセンサを用いる場合の通常観察モードの撮像制御を示す説明図である。 CMOSイメージセンサを用いる場合の特殊観察モードの撮像制御を示す説明図である。
[第1実施形態]
図1に示すように、第1実施形態の内視鏡システム10は、内視鏡12と、光源装置14と、プロセッサ装置16、モニタ18(表示部)と、コンソール20とを有する。内視鏡12は、光源装置14と光学的に接続されるとともに、プロセッサ装置16と電気的に接続される。内視鏡12は、被検体内に挿入される挿入部21と、挿入部21の基端部分に設けられた操作部22と、挿入部21の先端側に設けられた湾曲部23及び先端部24を有している。操作部22のアングルノブ22aを操作することにより、湾曲部23は湾曲動作する。この湾曲動作にともなって、先端部24が所望の方向に向けることができる。
また、操作部22には、アングルノブ22aの他、観察モード切替SW(観察モード切替スイッチ)22bと、ズーム操作部22cと、静止画像を保存するためのフリーズボタン(図示しない)と、が設けられている。モード切替SW22bは、通常観察モードと、特殊観察モードの2種類のモード間の切り替え操作に用いられる。通常観察モードは、被検体内の観察対象をフルカラー画像化した通常光画像をモニタ18に表示するモードである。特殊観察モードは、観察対象の血中ヘモグロビンの酸素飽和度を画像化した酸素飽和度画像をモニタ18に表示するモードである。ズーム操作部22cは、内視鏡12内のズームレンズ47(図2参照)を駆動させて、観察対象を拡大させるズーム操作に用いられる。
プロセッサ装置16は、モニタ18及びコンソール20と電気的に接続される。モニタ18は、通常光画像や酸素飽和度画像等の画像、及びこれらの画像に関する情報(以下、画像情報等という)を表示する。コンソール20は、機能設定等の入力操作を受け付けるUI(ユーザインタフェース)として機能する。なお、プロセッサ装置16には、画像情報等を記録する記録部(図示省略)を接続しても良い。
図2に示すように、光源装置14は、中心波長473nmの第1青色レーザ光を発する第1青色レーザ光源(473LD(レーザダイオード))34と、中心波長445nmの第2青色レーザ光を発する第2青色レーザ光源(445LD)36とを発光源として備えている。これらの半導体発光素子からなる各光源34,36の発光量及び発光タイミングは、光源制御部40により個別に制御される。このため、第1青色レーザ光源34の出射光と、第2青色レーザ光源36の出射光の光量比は変更自在になっている。また、光源制御部40は、第1,第2青色レーザ光源34,36の各出射光量を、露光量指定値算出部65から入力される露光量指定値に基づいてそれぞれ制御する。これにより、光量制御部40は、観察対象に照射する照明光の光量の調節を行う。
なお、第1,第2青色レーザ光の半値幅は±10nm程度にすることが好ましい。また、第1青色レーザ光源34と第2青色レーザ光源36は、ブロードエリア型のInGaN系レーザダイオードが利用でき、また、InGaNAs系レーザダイオードやGaNAs系レーザダイオードを用いることもできる。また、上記光源として、発光ダイオード等の発光体を用いた構成としても良い。
光源制御部40は、通常観察モードの場合には、第2青色レーザ光源36を点灯させる。これに対して、特殊観察モードの場合には、1フレーム間隔で、第1青色レーザ光源34と第2青色レーザ光源36を交互に点灯させる。
各光源34,36から出射される第1,第2青色レーザ光は、集光レンズ、光ファイバ、合波器等の光学部材(いずれも図示せず)を介してライトガイド(LG)41に入射する。ライトガイド41は、光源装置14と内視鏡12を接続するユニバーサルコード17(図1参照)と、内視鏡12に内蔵されている。ライトガイド41は、各光源34,36からの第1,第2青色レーザ光を、内視鏡12の先端部24まで伝搬する。なお、ライトガイド41としては、マルチモードファイバを使用することができる。一例として、コア径105μm、クラッド径125μm、外皮となる保護層を含めた径がφ0.3〜0.5mmの細径なファイバケーブルを使用することができる。
内視鏡12の先端部24は、照明光学系24aと撮像光学系24bを有している。照明光学系24aには、蛍光体44と、照明レンズ45が設けられている。蛍光体44には、ライトガイド41から第1,第2青色レーザ光が入射する。蛍光体44は、第1または第2青色レーザ光が照射されることで蛍光を発する。また、一部の第1または第2青色レーザ光は、そのまま蛍光体44を透過する。蛍光体44を出射した光は、照明レンズ45を介して観察対象に照射される。第1青色レーザ光源34と、第2青色レーザ光源36と、蛍光体44は観察対象に照射する照明光を発生させる照明部を構成する。
通常観察モードにおいては、第2青色レーザ光が蛍光体44に入射するため、図3に示すスペクトルの白色光(以下、第2白色光という)が照明光として観察対象に照射される。この第2白色光は、第2青色レーザ光と、この第2青色レーザ光により蛍光体44から励起発光する緑色〜赤色の第2蛍光とから構成される。したがって、第2白色光は、波長範囲が可視光全域に及んでいる。
一方、特殊観察モードにおいては、第1青色レーザ光と第2青色レーザ光が蛍光体44に交互に入射することにより、図4に示すように、互いに発光スペクトルが異なる第1白色光と第2白色光が交互に照明光として観察対象に照射される。第1白色光は、第1青色レーザ光と、この第1青色レーザ光により蛍光体44から励起発光する緑色〜赤色の第1蛍光とから構成される。したがって、第1白色光は、波長範囲が可視光全域に及んでいる。第2白色光は、通常観察モード時に照射される第2白色光と同様である。本実施形態の場合、第1白色光が第1照明光であり、第2白色光が第2照明光である。
第1蛍光と第2蛍光は、波形(スペクトルの形状)がほぼ同じであり、第1蛍光の強度(I1(λ))と第2蛍光の強度(I2(λ))の比(以下、フレーム間強度比という)は、何れの波長λにおいても同じである。例えば、I2(λ1)/I1(λ1)=I2(λ2)/I1(λ2)である。このフレーム間強度比I2(λ)/I1(λ)は、酸素飽和度の算出精度に影響を与えるものであるため、光源制御部40により、予め設定された基準フレーム間強度比を維持するように高精度に制御されている。
なお、蛍光体44は、第1及び第2青色レーザ光の一部を吸収して、緑色〜赤色に励起発光する複数種類の蛍光体(例えばYAG系蛍光体、あるいはBAM(BaMgAl1017)等の蛍光体)を含んで構成されるものを使用することが好ましい。また、本実施形態のように、半導体発光素子を蛍光体44の励起光源として用いれば、高い発光効率で高強度の第1白色光及び第2白色光が得られる。また、各白色光の強度を容易に調整できる上に、色温度、色度の変化を小さく抑えることができる。
内視鏡12の撮像光学系24bは、撮像レンズ46、ズームレンズ47、センサ48を有している(図2参照)。観察対象からの反射光は、撮像レンズ46及びズームレンズ47を介してセンサ48に入射する。これにより、センサ48に観察対象の反射像が結像される。ズームレンズ47は、ズーム操作部22cを操作することでテレ端とワイド端との間を移動する。ズームレンズ47がテレ端側に移動すると観察対象の反射像が拡大する。一方、ズームレンズ47がワイド端側に移動することで、観察対象の反射像が縮小する。なお、拡大観察をしない場合(非拡大観察時)には、ズームレンズ47はワイド端に配置されている。そして、拡大観察を行う場合には、ズーム操作部22cの操作によってズームレンズ47はワイド端からテレ端側に移動される。
センサ48は、カラーの撮像素子であり、観察対象の反射像を撮像して画像信号を出力する。センサ48としては、例えばCCD(Charge Coupled Device)イメージセンサやCMOS(Complementary Metal-Oxide Semiconductor)イメージセンサを用いることができる。本実施形態では、センサ48はCCDイメージセンサである。また、センサ48は、撮像面にRGBカラーフィルタが設けられたRGB画素を有しており、RGBの各色の画素で光電変換をすることによってR,G,Bの三色の画像信号を出力する。
図5に示すように、Bカラーフィルタは380〜560nmの分光透過率を有しており、Gカラーフィルタは450〜630nmの分光透過率を有しており、Rカラーフィルタ580〜760nmの分光透過率を有している。したがって、通常観察モード時に第2白色光が観察対象に照射された場合には、B画素には第2青色レーザ光と第2蛍光の緑色成分の一部が入射し、G画素には第2蛍光の緑色成分の一部が入射し、R画素には第2蛍光の赤色成分が入射する。B画素から出力されるB画像信号は、第2青色レーザ光は第2蛍光よりも発光強度が極めて大きいので、大部分が第2青色レーザ光の反射光成分で占められている。
一方、特殊観察モード時に第1白色光が観察対象に照射された場合には、B画素には第1青色レーザ光と第1蛍光の緑色成分の一部が入射し、G画素には第1蛍光の緑色成分の一部とGカラーフィルタによって減衰した第1青色レーザ光が入射し、R画素には第1蛍光の赤色成分が入射する。第1青色レーザ光は第1蛍光よりも発光強度が極めて大きいので、B画素から出力されるB画像信号の大部分は第1青色レーザ光の反射光成分で占められている。
特殊観察モード時に第2白色光が観察対象に照射されたときのRGB各画素での光入射成分は、通常観察モードの場合と同様である。
センサ48としては、撮像面にC(シアン),M(マゼンタ),Y(イエロー)及びG(グリーン)の補色フィルタを備えた、いわゆる補色イメージセンサを用いても良い。センサ48として補色イメージセンサを用いる場合は、CMYGの四色の画像信号からRGBの三色の画像信号に色変換する色変換部を、内視鏡12、光源装置14またはプロセッサ装置16のいずれかに設けておけば良い。こうすれば補色イメージセンサを用いる場合でも、CMYGの4色の画像信号から色変換によってRGB3色の画像信号を得ることができる。
撮像制御部49はセンサ48の撮像制御を行う。図6に示すように、通常観察モード時には、1フレームの期間(以下、単に1フレームという)毎に、第2白色光で照明された観察対象をセンサ48で撮像する。これにより、1フレーム毎にセンサ48からRGBの各画像信号が出力される。なお、本実施形態の場合、センサ48はCCDイメージセンサなので、1フレームは例えば電荷蓄積期間(露光期間とも言う)の終了時(時刻T)から次の電荷蓄積期間の終了時(時刻T)までの長さの期間である。また、図6では読出期間と電荷蓄積期間を分けているが、センサ48はCCDイメージセンサであるため、ほぼ1フレームの全てを電荷蓄積期間にし、信号電荷の蓄積中に前のフレームで蓄積された信号電荷の読み出すこともできる。撮像制御部49は、こうした電荷蓄積期間の長さの調節等の制御も行う。
撮像制御部49は、特殊観察モード時も、通常観察モード時と同様にしてセンサ48の撮像制御を行う。但し、特殊観察モード時には、センサ48の撮像のフレームに同期して第1白色光と第2白色光が交互に観察対象に照射される。このため、図7に示すように、センサ48は、第1白色光のもとで観察対象を撮像して得た信号電荷を1フレーム目の読出期間に読み出して、RGB各色の画像信号を出力する。そして、第2白色光のもとで観察対象を撮像して得た信号電荷を2フレーム目の読出期間に読み出して、RGB各色の画像信号を出力する。センサ48は、1フレーム目,2フレーム目ともRGBの各色の画像信号を出力するが、依拠する白色光のスペクトルが異なるので、以下では区別のために、センサ48が1フレーム目に出力するRGB各色の画像信号をそれぞれR1画像信号,G1画像信号,B1画像信号といい、2フレーム目に出力するRGB各色の画像信号をR2画像信号,G2画像信号,B2画像信号という。
なお、酸素飽和度の算出には、例えば、B1画像信号とG2画像信号の信号比B1/G2と、R2画像信号とG2画像信号の信号比R2/G2が用いられる。これらのうち、酸素飽和度の算出に必須な信号比は、B1画像信号とG2画像信号の信号比B1/G2である。このため、第1白色光中のB1画像信号になる成分(蛍光体44を透過した第1青色レーザ光)が第1信号光であり、第2白色光中のG2画像信号になる成分(第2蛍光の緑色帯域成分)が第2信号光である。
センサ48から出力される各色の画像信号は、CDS(correlated double sampling)/AGC(automatic gain control)回路50に送信される(図2参照)。CDS/AGC回路50は、センサ48から出力されるアナログの画像信号に相関二重サンプリング(CDS)や自動利得制御(AGC)を行う。CDS/AGC回路50を経た画像信号は、A/D変換器52によってデジタル画像信号に変換される。こうしてデジタル化された画像信号はプロセッサ装置16に入力される。
プロセッサ装置16は、画像信号取得部54と、画像処理切替部60と、通常観察画像処理部62と、特殊観察画像処理部64と、露光量指定値算出部65とを備えている。画像信号取得部54は、内視鏡12のセンサ48から画像信号を取得する。画像信号取得部54はDSP(Digital Signal Processor)56とノイズ除去部58と信号変換部59とを備えている。
DSP56は、取得した画像信号に対して、欠陥補正処理、オフセット処理、ゲイン補正処理、リニアマトリクス処理、ガンマ変換処理、デモザイク処理、YC変換処理等の各種信号処理を行う。欠陥補正処理では、センサ48の欠陥画素の信号が補正される。オフセット処理では、欠陥補正処理が施された画像信号から暗電流成分が除かれ、正確な零レベルが設定される。ゲイン補正処理は、オフセット処理後のRGB各画像信号に特定のゲインを乗じることにより各画像信号の信号レベルを整える。ゲイン補正処理後の各色の画像信号には、色再現性を高めるためのリニアマトリクス処理が施される。その後、ガンマ変換処理によって、各画像信号の明るさや彩度が整えられる。リニアマトリクス処理後の画像信号には、デモザイク処理(等方化処理,同時化処理とも言う)が施され、補間により各画素の不足した色の信号が生成される。デモザイク処理によって、全画素がRGB各色の信号を有するようになる。DSP59は、デモザイク処理後の各画像信号にYC変換処理を施し、YC変換処理によって生成された輝度信号Yと色差信号Cb,Crをノイズ除去部58に出力する。
ノイズ除去部58は、DSP56でデモザイク処理等が施された画像信号に対して、例えば移動平均法やメディアンフィルタ法等によるノイズ除去処理を施す。ノイズが除去された画像信号は、信号変換部59に入力され、RGBの画像信号に再変換された後、画像処理切替部60と露光量指定値算出部65に入力される。
露光量指定値算出部65は、信号変換部59から入力される画像信号に基づいて露光量指定値を算出する。露光量指定値は、観察対象を撮像する露光量を指定するための制御パラメータである。露光量指定値算出部65は、露光量指定値の算出のために、入力された画像信号を用いて例えば各画素の輝度の平均値(以下、平均輝度という)を算出する。そして、平均輝度が、設定等により定められた輝度(以下、設定輝度という)よりも大きい場合、平均輝度が設定輝度に近い値になるように露光量を下げる露光量指定値を算出する。逆に、平均輝度が設定輝度よりも小さい場合は、露光量を上げ、平均輝度を設定輝度に近づける露光量指定値を算出する。平均輝度が設定輝度とほぼ等しい場合は、その平均輝度を維持する露光量を指定する露光量指定値を算出する。これにより、先端部24と観察対象との距離(観察距離)の変化や先端部24と観察対象との相対的な向き(観察向き)の変化等によらず、ほぼ常に同じ明るさで観察対象を撮像し、観察できる。
本実施形態の露光量指定値は、照明光の光量を指定する制御パラメータである。このため、露光量指定値は光源制御部40に入力され、光源制御部40が露光量指定値に応じて第1,第2青色レーザ光の光量を調節し、照明光量が観察対象の撮像に適切な値に調節することによって、センサ48が観察対象を撮像する露光量が露光量指定値で指定された露光量になる。但し、露光量は、センサ48の電荷蓄積期間の長さ(いわゆる電子シャッタの速度)を調節することによっても露光量を変化させることができる。このため、露光量指定値算出部65は、照明光の光量を指定する露光量指定値の代わりに、電荷蓄積期間の長さを指定する露光量指定値を算出してもよい。この場合、露光量指定値は撮像制御部49に入力され、撮像制御部49が入力された露光量指定値に応じてセンサ48の電荷蓄積期間を調節する。また、露光量指定値算出部65は、照明光の光量と電荷蓄積期間の長さを指定する露光量指定値を算出し、照明光の光量と電荷蓄積期間の長さとを指定することによって露光量を変化させても良い。
画像処理切替部60は、観察モード切替SW22bが通常観察モードにセットされている場合には、画像信号を通常観察画像処理部62に入力する。一方、観察モード切替SW22bが特殊観察モードに設定されている場合、画像処理切替部60は、画像信号を特殊観察画像処理部64に入力する。
通常観察画像処理部62は、色変換部68と、色彩強調部70と、構造強調部72と、表示用画像信号生成部73とを有する。色変換部68は、入力された1フレーム分のRGBの各画像信号を、それぞれR画素、G画素、B画素に割り当てたRGB画像データを生成する。そして、RGB画像データに対して、さらに3×3のマトリックス処理、階調変換処理、3次元LUT処理等の色変換処理を施す。
色彩強調部70は、色変換処理済みのRGB画像データに対して、各種色彩強調処理を施す。構造強調部72は、色彩強調処理済みのRGB画像データに対して、空間周波数強調等の構造強調処理を施す。構造強調部72で構造強調処理が施されたRGB画像データは、通常観察画像として表示用画像信号生成部73に入力される。表示用画像信号生成部73は、通常観察画像を表示用形式の信号(表示用画像信号。例えば、輝度信号Yと色差信号Cb,Cr)に変換し、モニタ18に入力する。これにより、モニタ18には通常観察画像が表示される。
特殊観察画像処理部64は、図8に示すように、信号比算出部81と、相関関係記憶部82と、酸素飽和度算出部83と、閾値算出部84と、領域検出部85と、酸素飽和度画像生成部86とを有する。
信号比算出部81は、酸素飽和度算出部83で酸素飽和度の算出のために用いる信号比を算出する。具体的には、信号比算出部81は、B1画像信号とG2画像信号の信号比B1/G2を画素毎に算出し、かつ、R2画像信号とG2画像信号の信号比R2/G2を画素毎に算出する。なお、信号比算出部81は、信号比B1/G2を算出する際に、B1画像信号,G1画像信号,R1画像信号を用いた画素間演算によって、B1画像信号から第1蛍光による信号値を除去して色の分離性を高める補正処理を施し、ほぼ第1青色レーザ光だけによる信号値に補正したB1画像信号を用いる。
相関関係記憶部82は、信号比算出部81が算出する信号比と、酸素飽和度との相関関係を記憶している。この相関関係は、図9に示す二次元空間上に酸素飽和度の等値線を定義した2次元テーブルで記憶されている。信号比に対する等値線の位置及び形状は、光散乱の物理的なシミュレーションによって予め得られ、各等値線の間隔は血液量(図9の横軸)に応じて変化する。この信号比と酸素飽和度との相関関係はlogスケールで記憶されている。
上記相関関係は、図10に示すように、酸化ヘモグロビン(グラフ90)や還元ヘモグロビン(グラフ91)の吸光特性や光散乱特性と密接に関連し合っている。例えば、第1青色レーザ光の中心波長473nmの近傍の波長範囲ように、酸化ヘモグロビンと還元ヘモグロビンの吸光係数の差が大きい波長範囲、すなわち血中ヘモグロビンの酸素飽和度に応じて吸光係数が変化する波長範囲では、酸素飽和度の情報を取り扱いやすい。しかしながら、473nmの光に対応する信号を含むB1画像信号は、酸素飽和度だけでなく、血液量にも依存度が高い。そこで、B1画像信号に加え、主として血液量に依存して変化する光に対応するG2画像信号と、B1画像信号とG2画像信号のリファレンス信号となるR2画像信号とから得られる信号比R2/G2を用いることで血液量に依存することなく、酸素飽和度を正確に求めることができる。
酸素飽和度算出部83は、信号比算出部81で算出された信号比を用いることにより、画像信号に基づいて酸素飽和度を算出する。より具体的には、酸素飽和度算出部83は、相関関係記憶部82に記憶された相関関係を参照し、信号比算出部81で算出された信号比に対応する酸素飽和度を画素毎に算出する。例えば、特定画素における信号比B1/G2及び信号比R2/G2がそれぞれB1/G2及びR2/G2である場合、図11に示すように、相関関係を参照すると、信号比B1/G2及び信号比R2/G2に対応する酸素飽和度は「60%」である。したがって、酸素飽和度算出部83は、この特定画素の酸素飽和度を「60%」と算出する。
なお、信号比B1/G2及び信号比R2/G2が極めて大きくなったり、極めて小さくなったりすることはほとんどない。すなわち、信号比B1/G2や信号比R2/G2の値が、酸素飽和度0%の下限ライン93を上回ったり、反対に酸素飽和度100%の上限ライン94を下回ったりすることはほとんどない。但し、算出する酸素飽和度が下限ライン93を下回ってしまった場合には酸素飽和度算出部83は酸素飽和度を0%とし、上限ライン94を上回ってしまった場合には酸素飽和度を100%とする。また、信号比B1/G2及び信号比R2/G2に対応する点が下限ライン93と上限ライン94の間から外れた場合には、その画素における酸素飽和度の信頼度が低いことが分かるように表示をしたり、酸素飽和度を算出しないようにしても良い。
領域検出部84は、画像処理切替部60から画像信号を取得し、取得した画像信号の画素値を閾値と比較することにより、画素値が閾値で定められた範囲に収まる第1領域と、画素値が閾値で定められる範囲に収まらない第2領域とを検出する。本実施形態では、領域検出部84が用いる閾値は、各画素が第1領域と第2領域のどちらに属するかを分ける基準となる一つの数値(QTH)であり、第1領域は閾値QTH以下の画素値を有する1以上の画素からなる領域であり、第2領域は閾値QTHよりも大きい画素値を有する1以上の画素からなる領域である。このため、第1領域及び第2領域が、それぞれ複数箇所に検出される場合もある。また、第1領域だけが、または第2領域だけが検出される場合もある。領域検出部84が検出した第1領域及び第2領域の位置や範囲に関する情報は酸素飽和度画像生成部86に入力され、酸素飽和度画像の生成に利用される。
閾値算出部85は、露光量指定値算出部65から取得する露光量指定値に応じて領域検出部84で第1,第2領域の検出に用いる閾値を算出する。また、露光量指定値が大きいほど、閾値算出部85は閾値の値を大きくする。本実施形態では、図12に示すように、閾値算出部85が算出する閾値QTHは、第1閾値Qと、第1閾値Qよりも大きい第2閾値Qと、または第1閾値Qと第2閾値Qの間で露光量指定値Eに応じて線形に変化する値(以下、中間値という)とのうちのいずれかである。第1閾値Q、第2閾値Q、及び第1,第2閾値Q,Qの間における閾値の変化の仕方は実験等により予め定められている。
より具体的には、閾値算出部85は、露光量指定値Eが予め定められた第1特定値E以下の場合、第1閾値Qを領域検出部84で用いる閾値QTHとする。また、閾値算出部85は、第1特定値Eよりも大きい値に予め定められた第2特定値Eと比較し、第2特定値Eよりも露光量指定値Eが大きい場合には、第2閾値Qを領域検出部84で用いる閾値QTHとする。露光量指定値Eが第1特定値Eよりも大きく、第2特定値Eよりも小さい場合、第1閾値Qと第2閾値Qとの間で、露光量指定値Eに対して線形に変化する値を算出し、これを領域検出部84で用いる閾値QTHとする。例えば、露光量指定値Eが第1,第2特定値E,Eの平均値((E+E)/2)である場合、閾値算出部85は第1閾値Qと第2閾値Qの平均値((Q+Q)/2)を領域検出部84で用いる閾値QTHとする。
上記のように露光量指定値Eに応じて算出する閾値QTHは、観察距離及びアーチファクトが表れるリスクと密接な関係がある。第一に、図13(A)に示すように先端部24と観察対象96との距離をあけて遠隔から撮像する場合と、図13(B)に示すように先端部24を観察対象96に近接させて撮像する場合とを比較すると、一定光量の照明光を照射したとすれば、露光量は遠隔撮像時に小さく、近接撮像時に大きい。したがって、露光量指定値Eに基づいて自動的に露光量の調節を行っていることで例えば通常観察画像の明るさは観察距離に依らずほぼ一定であるが、露光量の調節のために用いる露光量指定値Eは遠隔撮像時に小さくなり、近接撮像時には小さくなる。
第二に、粘膜に汚れ等がなく、一定光量の照明光を観察対象に照射する場合、近接撮像時には酸素飽和度に誤差が生じ、酸素飽和度を表す酸素飽和度画像を生成するとアーチファクトとして表れることがあるが、観察距離が長い場合には酸素飽和度の誤差は小さいので、アーチファクトは殆ど表れない。特に、図14に示すように、酸素飽和度画像にアーチファクトが表れるリクスは、特定の観察距離以下の近接撮像時に高く、遠隔撮像時には低い。
これらのことから、露光量指定値Eが大きい場合、観察距離が長いので、酸素飽和度画像にアーチファクトは表れ難く、露光量指定値Eが小さい場合、観察距離が短いので、酸素飽和度画像にアーチファクトが表れやすいと言える。この関係に基づき、閾値算出部85は、酸素飽和度画像にアーチファクトが表れるリスクが高い場合には、大小2つの閾値Q,Qのうち、小さい方の第1閾値Qを領域検出部84で使用させ、酸素飽和度画像にアーチファクトが表れるリスクが低い場合には、大きい方の第2閾値Qを領域検出部84で使用させる。酸素飽和度画像にアーチファクトが表れるリスクがこれらの中間的なリスクの場合には中間値を領域検出部84に使用させる。
また、より厳密に言えば、観察距離は画像信号の各画素で異なっている。例えば図13において観察対象96の撮像範囲(破線で示す)の中央と端の各観察距離を比較すれば、中央では観察距離が短く、撮像範囲の端では観察距離が長い。このため、閾値QTHは観察対象96を撮像した際の平均的な(あるいは代表的な)観察距離にある画素の画素値、及びこの画像信号を酸素飽和度の算出に用いた場合の平均的なアーチファクトの表れやすさを表していると捉えることができる。したがって、閾値QTHと画像信号の各画素の画素値と比較すれば、画像信号内で観察距離が短く、アーチファクトが表れやすい画素がある領域と、同じ画像信号内でも観察距離が長く、アーチファクトが表れにくい画素がある領域とを区別する基準になる。領域検出部84の領域検出はこれを利用したものであり、第1領域は、画像信号内で観察距離が短く、アーチファクトが表れやすい画素がある領域であり、第2領域は同じ画像信号内でも観察距離が長く、アーチファクトが表れにくい画素がある領域である。
なお、本実施形態では、閾値算出部85は上記のように図12のグラフに従って段階的に閾値QTHを算出しているが、閾値QTHは露光量指定値Eに対して、概ね露光量指定値Eが大きい場合に閾値QTHが大きく、露光量指定値Eが小さい場合に閾値QTHが小さくなる線形な関係で定められていれば良い。
酸素飽和度画像生成部86は、酸素飽和度算出部83で算出された酸素飽和度と、領域検出部84で検出された第1及び第2領域の情報とを用いて、酸素飽和度を疑似カラーで表す酸素飽和度画像を生成し、モニタ18に表示させる。具体的には、酸素飽和度画像生成部86は、まず、B2画像信号,G2画像信号,R2画像信号を取得し、これらをB画素,G画素,R画素にそれぞれ割り当てたRGB画像データを生成する。次いで、このRGB画像データに対して、3×3のマトリックス処理、階調変換処理、3次元LUT処理等の色変換処理を施し、さらに設定等に応じて空間周波数強調等の構造強調処理を施す。その後、これらの各種処理が施されたRGB画像データを、輝度信号Yと色差信号Cb,Crとからなる画像信号(以下、一次画像信号という)に変換する。すなわち、酸素飽和度画像生成部86は、B2画像信号,G2画像信号,R2画像信号を用いて、まずは通常観察画像と同様のRGB画像データを生成し、通常観察画像の表示用画像信号に対応する一次画像信号を得る。
その後、酸素飽和度画像生成部86は、一次画像信号の色差信号Cb,Crの信号値を、酸素飽和度と、第1及び第2領域の情報に基づいて置き換えることにより、酸素飽和度を疑似カラーで表す二次画像信号を生成し、モニタ18に表示させる。この色差信号Cb,Crが置き換えられた二次画像信号が表す画像が酸素飽和度画像である。
より具体的には、酸素飽和度画像生成部86は、酸素飽和度と色差信号とを関連付けたカラーテーブル87を有している。酸素飽和度画像生成部85は、一次画像信号の第2領域にある各画素の色差信号Cb,Crを、カラーテーブル87にしたがって血液量及び酸素飽和度に対応した色差信号Cb,Crに置き換える。図15に示すように、カラーテーブル87は、酸素飽和度が高い場合に、色差信号Cbの信号値が負、色差信号Crの信号値が正となるように定義され、反対に酸素飽和度が低い場合には、色差信号Cbの信号値が正、色差信号Crの信号値が負になるように定義されている。そして、中程度の酸素飽和度において、色差信号Cbの信号値と色差信号Crの信号値の大小関係が逆転するように定義されている。このため、酸素飽和度に応じてカラーテーブル87の色差信号Cb,Crを用いれば、酸素飽和度が低い方から高い方に行くにつれて各画素の色味が青,水色,緑色,黄色,橙,赤と変化する。
一方、酸素飽和度画像生成部85は、一次画像信号の第1領域にある各画素の色差信号Cb及び色差信号Crの信号値を、各画素の酸素飽和度の値によらず、全て零に置き換える。これにより、酸素飽和度画像では、第1領域の画素は無彩色で表される。このように、第2領域の画素がカラーテーブル87にしたがって疑似カラーで表されるのに対して、第1領域の画素は無彩色で表すことによって、酸素飽和度画像は第1領域の酸素飽和度の算出精度が低いことを示す。
次に、本実施形態の内視鏡システム10による観察の流れを図16のフローチャートに沿って説明する。まず、通常観察モードにおいて、最も遠景の状態からスクリーニングを行う(S10)。通常観察モードでは、通常観察画像がモニタ18に表示される。このスクリーニング時に、ブラウニッシュエリアや発赤等の病変の可能性がある部位(以下、病変可能性部位という)を発見した場合(S11)には、モード切替SW22bを操作して、特殊観察モードに切り替える(S12)。そして、この特殊観察モードにおいて、病変可能性部位の診断を行う。
特殊観察モードでは、第1及び第2白色光がセンサ48の撮像フレームに同期して交互に観察対象に照射されるので(照明光発生ステップ)、センサ48は1フレーム目にR1画像信号,G1画像信号,B1画像信号を出力し、2フレーム目にR2画像信号,G2画像信号,B2画像信号を出力する。これらの画像信号は、プロセッサ装置16の画像信号取得部54に取得され(画像信号取得ステップ)、画像信号取得部54によって各種信号処理が施される。
その後、露光量指定値算出部65では、画像信号取得部54が出力する画像信号に基づき、露光量指定値Eが算出される(S13:露光量指定値算出ステップ)。観察対象96に照射する照明光の光量は、光源制御部40が露光量指定値Eに基づいて自動的に調節される。
次いで、閾値算出部85では、露光量指定値Eに応じて閾値QTHが算出される(S14:閾値算出ステップ)。そして、閾値QTHが算出されると、領域検出部84によって、閾値QTHと画像信号の各画素の画素値が比較され、画素値が閾値QTH以下の第1領域と、画素値が閾値QTHよりも大きい第2領域が検出される(S15:領域検出ステップ)。
上記のように、内視鏡システム10は、露光量指定値Eに応じて閾値QTHを算出し、この露光量指定値Eに応じた閾値QTHに基づいて第1,第2領域を検出するが、閾値QTHが露光量指定値Eに応じて算出されることによって、閾値QTHは観察距離及び酸素飽和度画像にアーチファクトが表れるリスクと関連する値になっている。このため、画素値を閾値QTHと比較して第1,第2領域を検出すると、例えば図17に示すように、観察範囲99のうち、アーチファクトが表れやすい領域が第1領域101として検出され、アーチファクトが表れにくい領域が第2領域102として検出される。また、図17の観察距離では、先端部24が観察対象96から遠く、露光量指定値Eが第2特定値E以上であるとすれば、閾値QTHには第2閾値Qが用いられる。
同様に、図18に示すように、図17と比較して先端部24を観察対象96に近接させた場合も、その観察距離における観察範囲106のうち、アーチファクトが表れやすい領域が第1領域108として検出され、アーチファクトが表れにくい領域が第2領域109として検出される。また、先端部24を観察対象96に近づけると、露光量指定値Eは小さくなる。このため、図18の観察距離で、露光量指定値Eが第1特定値E以下の値になったとすると、閾値QTHには第1閾値Qが用いられる。
また、図19に示すように、先端部24を観察対象に近づけ、露光量指定値Eが減少すると、画素値の頻度ヒストグラム110に対して閾値QTHが閾値Qから閾値Qに切り替わる。これにより、斜線で示すように第1領域として検出される画素は多くなり、残りの第2領域として検出される画素は少なくなる。逆に、先端部24を観察対象96から遠ざければ、第1領域として検出される画素は少なくなり、第2領域として検出される画素は多くなる。
したがって、観察距離が短い図17と観察距離が長い図18を比較すると、図17の観察範囲99に対する第1領域101の割合に比べて、図18の観察範囲106に対する第1領域108の割合は大きくなる。すなわち、露光量指定値Eに応じて算出した閾値QTHに基づいて第1,第2領域を検出することによって、観察距離が短いほど第1領域が広がり、第2領域は狭まるようにしている。これにより、内視鏡システム10は、アーチファクトが表れやすい第1領域と、アーチファクトが表れにくい第2領域とを、適切に検出する。
上記のように第1,第2領域が検出される一方で、信号比算出部81では、画像信号取得部54が出力する画像信号に基づき、信号比B1/G2,R2/G2が算出され、さらにこれらの信号比に基づき、酸素飽和度算出部83によって酸素飽和度が画素毎に算出される(S16:酸素飽和度算出ステップ)。
こうして第1,第2領域が検出され、かつ、酸素飽和度が算出されると、この第1,第2領域の情報と、酸素飽和度と、画像信号取得部54が出力する画像信号とに基づき、酸素飽和度画像生成部86によって酸素飽和度画像が生成され(S17:酸素飽和度画像生成ステップ)、モニタ18に表示される(S18)。
従来の内視鏡システムでは、第1,第2領域の情報を加味せずに、カラーテーブル87にしたがって酸素飽和度に応じた色差信号Cb,Crで疑似カラー化する。このため、例えば、図20に示すように、従来の内視鏡システムで生成する酸素飽和度画像121では、酸素飽和度が低く青色に疑似カラー化された低酸素領域125A,125B,125Cが観察されたとしても、これらの低酸素領域125A,125B,125Cは、観察距離によっては、アーチファクトによって表れた偽の低酸素領域である可能性がある。
一方、内視鏡システム10は、図21に示すように、第1領域132と第2領域133を検出し、アーチファクトが表れにくい観察距離の第2領域133では従来の内視鏡システムと同様にカラーテーブル87にしたがって酸素飽和度に応じた色差信号Cb,Crで疑似カラー化するが、アーチファクトが表れやすい観察距離の第1領域132では酸素飽和度によらず色差信号Cb,Crを全て零に置き換え、無彩色で表示する。このため、内視鏡システム10が生成及び表示する酸素飽和度画像131では、第2領域133にある観察対象の性状に依拠した真の低酸素領域125Aが表示され、ハッチングで示すように、第1領域132のアーチファクトによって表れた低酸素領域125B,125Cは無彩色になり表示されない。
なお、内視鏡システム10の上記各動作は、通常観察モードに切り替えられるか(S19)、診断終了(S20)まで繰り返し行われる
上記のように、内視鏡システム10は、酸素飽和度を算出し、かつ、酸素飽和度画像にアーチファクトが表れる領域に関する情報を得ることができる。特に、露光量指定値Eに応じて第1,第2領域を検出するための閾値QTHを算出しているので、観察距離及びアーチファクトが表れるリスクに応じて適切に第1,第2領域を検出し、その表示方法を変更することができる。
なお、本第1実施形態では、アーチファクトが表れる第1領域の色差信号Cb,Crを零に置き換えているが、第2領域の画素の色と区別できれば、酸素飽和度画像における第1領域の色差信号Cb,Crの値は任意である。すなわち、酸素飽和度画像において第1領域の色差信号Cb,Crを、カラーテーブル87で使用される色差信号Cb,Crの組み合わせ以外の信号値に置き換えれば、必ずしも第1領域の画素の色差信号Cb,Crを両方とも零にする必要はない。
本第1実施形態では、画素毎に画素値を閾値QTHと比較して第1,第2領域を検出しているが、画像信号を予め定めた方法で複数に区画し、これらの各区画を、第1領域とするか、第2領域とするかを判別することで、第1,第2領域を検出してもよい。例えば、画像信号を3×3の9つに区画する場合、領域検出部84がこれらの各区画で画素値の平均値(以下、区画平均画素値という)を算出する。そして、この区画平均画素値と閾値QTHと比較して、区画平均画素値が閾値QTH以上の区画を第1領域として検出し、平均画素値が閾値QTHよりも小さい区画を第2領域として検出する。この変形例では、区画平均画素値を閾値QTHと比較しているが、各区画の画素値の合計値等を、各区画の画素値に基づく演算値とし、算出した演算値に基づいて第1,第2領域の検出をしても良い。この場合、閾値QTHの大きさは、比較する演算値に合わせた値に変更すればよい。
また、本第1実施形態では、画素値の大きさに基づいて第1,第2領域を検出しているが、画素値に基づいて演算して得た値(以下、演算値という)に基づいて第1,第2領域を検出してもよい。例えば、領域検出部84によって、全画素の画素値の平均値(以下、全画素平均値という)し、かつ、この全画素平均値に対する各画素の画素値の比率(各画素の画素値/全画素平均値)を算出する。そして、この比率を閾値PTHと比較して第1,第2領域を検出してもよい。上記比率と比較するための閾値PTHは、第1実施形態で画素値との閾値QTHと同様に、露光量指定値Eに応じて予め定めておけばよい。なお、この変形例では、全画素平均値に対する画素値の比率を、演算値として算出しているが、偏差や分散等の統計量を上記演算値として用いても良い。
[第2実施形態]
第2実施形態の内視鏡システムは、第1実施形態の酸素飽和度画像生成部86を、図22に示す酸素飽和度画像生成部286に置き換えたものである。それ以外の構成は第1実施形態の内視鏡システム10と同じである。
酸素飽和度画像生成部286は、ゲイン処理部287と表示用画像信号生成部288とを備える。ゲイン処理部287は、B2画像信号,G2画像信号,R2画像信号を取得し、これらの画像信号に対して酸素飽和度に応じたゲインを画素毎に施す。例えば、補正酸素飽和度が60%以上の画素ではB2画像信号,G2画像信号,R2画像信号のいずれにも同じゲイン「1」を乗じる。これに対して、補正酸素飽和度が60%未満の画素では、B2画像信号に対して「1」未満のゲインを乗じ、G2画像信号及びR2画像信号に対しては「1」以上のゲインを乗じる。
表示用画像信号生成部288は、ゲイン処理部287によって上記ゲイン処理が施されたB2画像信号,G2画像信号,R2画像信号を用いて生成されたRGB画像データを生成する。そして、生成したRGB画像データにYC変換処理を施し、輝度信号Yと色差信号Cb,Crとに変換する。その後、第1領域に属する画素の色差信号Cb,Crの信号値を零に置き換えることにより、表示用画像信号を生成する。この表示用画像信号が表す画像が酸素飽和度画像である。
図23に酸素飽和度画像生成部286が生成した表示用画像信号が表す酸素飽和度画像291を示す。酸素飽和度画像291のうち、アーチファクトが表れない第2領域133では、酸素飽和度が特定値を上回る高酸素領域(酸素飽和度60〜100%)が通常観察画像と同様の色で表され、酸素飽和度が特定値を下回る低酸素領域(酸素飽和度0〜60%)は通常観察画像とは異なる色(疑似カラー)で表される。すなわち、表示用画像信号が表す酸素飽和度画像は、低酸素領域だけが部分的に疑似カラー化される。
一方、高酸素領域か低酸素領域かによらず、アーチファクトが表れる第1領域132に属する画素は無彩色で表される。このため、第1実施形態の酸素飽和度画像131(図21参照)と比較すると、第2領域133にある観察対象の性状に依拠した真の低酸素領域125Aが疑似カラーで表示されるのは同様である。しかし、本第2実施形態の酸素飽和度画像291では、第1領域132のアーチファクトによって表れた低酸素領域125B,125Cも表示されてしまうものの、その色は無彩色化され、アーチファクトによって表れた低酸素領域であることを表示することができる。このため、酸素飽和度画像291を見れば、酸素飽和度を算出し、かつ、アーチファクトが表れる領域に関する情報を得ることができる。
なお、図23では、ハッチングの斜線の密度で、酸素飽和度の高低を表しており、酸素飽和度が低いほどハッチングの斜線の密度が高い。
なお、本第2実施形態では、画像生成部84は、低酸素領域のみを疑似カラー化するゲインを乗じているが、高酸素領域でも酸素飽和度に応じたゲインを施し、酸素飽和度画像の全体を疑似カラー化しても良い。また、低酸素領域と高酸素領域を酸素飽和度60%で分けているがこの境界も任意である。
[第3実施形態]
図24に示すように、内視鏡システム300の光源装置14には、第1及び第2青色レーザ光源34,36と光源制御部40の代わりに、LED(Light Emitting Diode)光源ユニット301と、LED光源制御部304が設けられている。また、内視鏡システム300の照明光学系24aには蛍光体44が設けられていない。それ以外については、第1実施形態の内視鏡システム10と同様である。
LED光源ユニット301は、特定の波長帯域に制限された光を発光する光源として、R−LED301a,G−LED301b,B−LED301cを有する。図25に示すように、R−LED301aは、例えば約600〜650nmの赤色帯域光(以下、単に赤色光という)を発光する。この赤色光の中心波長は約620〜630nmである。G−LED301bは、正規分布で表される約500〜600nmの緑色帯域光(以下、単に緑色光)を発光する。B−LED301cは、445〜460nmを中心波長とする青色帯域光(以下、単に青色光という)を発光する。
また、LED光源ユニット301は、B−LED301cが発する青色光の光路上に挿抜されるハイパスフィルタ(HPF)302を有する。ハイパスフィルタ302は、約450nm以下の波長帯域の青色光をカットし、約450nmより長波長帯域の光を透過する。
ハイパスフィルタ302のカットオフ波長(約450nm)は、酸化ヘモグロビンと還元ヘモグロビンの吸光係数がほぼ等しい波長であり(図10参照)、この波長を境に酸化ヘモグロビンと還元ヘモグロビンの吸光係数が逆転する。本実施形態の場合、相関関係記憶部82に記憶された相関関係は、酸化ヘモグロビンの吸光係数が還元ヘモグロビンの吸光係数よりも大きい場合のものなので、カットオフ波長以下の波長帯域に基づくシグナルは、不正確な酸素飽和度が算出される原因になる。このため、少なくとも酸素飽和度を算出するためのB1画像信号を取得する時に、ハイパスフィルタ302を用いてカットオフ波長以下の波長帯域の光が観察対象に照射されないようにすることで、酸素飽和度の算出精度が向上する。
したがって、ハイパスフィルタ302は、特殊観察モード時にB−LED301cの前の挿入位置に挿入され、通常観察モード時には退避位置に退避される。ハイパスフィルタ302の挿抜は、LED光源制御部304の制御のもとで、HPF挿抜部303によって行われる。
LED光源制御部304は、LED光源ユニット301の各LED301a〜301cの点灯/消灯及び各発光量、及びハイパスフィルタ302の挿抜を制御する。具体的には、図26に示すように、通常観察モードの場合、LED光源制御部304は、各LED301a〜301cを全て点灯させ、ハイパスフィルタ302はB−LED301cを光路上から退避させる。これにより、青色光,緑色光,赤色光が重畳した白色光が観察対象に照射され、センサ48はその反射光により観察対象を撮像し、B,G,R各色の画像信号を出力する。
一方、図27に示すように、特殊観察モードの場合、LED光源制御部304は、各LED301a〜301cを全て点灯させた状態で、ハイパスフィルタ302をフレーム毎に挿入または退避させる。これにより、観察対象には、450nm以下の波長帯域がカットされた青色光と緑色光と赤色光とからなる第1混色光と、450nm以下の波長帯域がカットされていない青色光と緑色光と赤色光とからなる第2混色光とが交互に照射される。第1混色光は第1実施形態の第1白色光に対応し、第2混色光は第1実施形態の第2白色光に対応する。
そして、撮像制御部49では、第1混色光のもとで観察対象を撮像して得た信号電荷を1フレーム目の読出し期間に読み出して、B1画像信号,G1画像信号,R1画像信号を出力する。また、第2混色光のもとで観察対象を撮像して得た信号電荷を2フレーム目の読出期間に読み出して、B2画像信号、G2画像信号、R2画像信号を出力する。その後の処理は内視鏡システム10と同様に行うことができる。
なお、R−LED301a,G−LED301b,B−LED301c、及びハイパスフィルタ302は、観察対象に互いに照射する照明光を発生させる照明部を構成する。
[第4実施形態]
図28に示すように、内視鏡システム400の光源装置14には、第1及び第2青色レーザ光源34,36と光源制御部40の代わりに、広帯域光源401と、回転フィルタ402と、回転フィルタ制御部403が設けられている。また、内視鏡システム400のセンサ405は、カラーフィルタが設けられていないモノクロの撮像素子である。このため、DSP56は、デモザイク処理等のカラー撮像素子に特有の処理は行わない。それ以外については、第1実施形態の内視鏡システム10と同じである。
広帯域光源401は、例えばキセノンランプ、白色LED等からなり、波長帯域が青色から赤色に及ぶ白色光を発する。回転フィルタ402は、通常観察モード用フィルタ410と特殊観察モード用フィルタ411とを備えており(図29参照)、広帯域光源401から発せられる白色光がライトガイド41に入射される光路上に、通常観察モード用フィルタ410を配置する通常観察モード用の第1位置と、特殊観察モード用フィルタ411を配置する特殊観察モード用の第2位置との間で径方向に移動可能である。この第1位置と第2位置への回転フィルタ402の相互移動は、選択された観察モードに応じて回転フィルタ制御部403によって制御される。また、回転フィルタ402は、第1位置または第2位置に配置された状態で、センサ405の撮像フレームに応じて回転する。回転フィルタ402の回転速度は、選択された観察モードに応じて回転フィルタ制御部403によって制御される。
図29に示すように、通常観察モード用フィルタ410は、回転フィルタ402の内周部に設けられている。通常観察モード用フィルタ410は、赤色光を透過するRフィルタ410aと、緑色光を透過するGフィルタ410bと、青色光を透過するBフィルタ410cと有する。したがって、回転フィルタ402を通常光観察モード用の第1位置に配置すると、広帯域光源401からの白色光は、回転フィルタ402の回転に応じてRフィルタ410a、Gフィルタ410b、Bフィルタ410cのいずれかに入射する。このため、観察対象には、透過したフィルタに応じて、赤色光、緑色光、青色光が順次照射され、センサ405は、これらの反射光によりそれぞれ観察対象を撮像することにより、R画像信号、G画像信号、B画像信号を順次出力する。
また、特殊観察モード用フィルタ411は、回転フィルタ402の外周部に設けられている。特殊観察モード用フィルタ411は、赤色光を透過するRフィルタ411aと、緑色光を透過するGフィルタ411bと、青色光を透過するBフィルタ411cと、473±10nmの狭帯域光を透過する狭帯域フィルタ411dとを有する。したがって、回転フィルタ402を通常光観察モード用の第2位置に配置すると、広帯域光源401からの白色光は、回転フィルタ402の回転に応じてRフィルタ411a、Gフィルタ411b、Bフィルタ411c、狭帯域フィルタ411dのいずれかに入射する。このため、観察対象には、透過したフィルタに応じて、赤色光、緑色光、青色光,狭帯域光(473nm)が順次照射され、センサ405は、これらの反射光によりそれぞれ観察対象を撮像することにより、R画像信号、G画像信号、B画像信号、及び狭帯域画像信号を順次出力する。
特殊観察モードで得られるR画像信号とG画像信号は、第1実施形態のR1(またはR2)画像信号とG1(またはG2)画像信号に対応する。また、特殊観察モードで得られるB画像信号は、第1実施形態のB2画像信号に対応し、狭帯域画像信号はB1画像信号に対応する。したがって、その後の処理は第1実施形態の内視鏡システム10と同様に行うことができる。
なお、広帯域光源401と回転フィルタ402は、観察対象に照射する照明光を発生させる照明部を構成する。本実施形態の場合、特殊観察モード用フィルタ411を用いることによって観察対象に照射される一連の光が第1照明光であり、通常観察モード用フィルタ410を用いることによって観察対象に照射される一連の光が第2照明光である。
なお、第1〜第4実施形態では、信号比B1/G2と信号比R2/G2に基づいて酸素飽和度を算出しているが、信号比B1/G2のみに基づいて酸素飽和度を算出しても良い。この場合には、相関関係記憶部82には信号比B1/G2と酸素飽和度の相関関係を記憶しておけば良い。
第1〜第4実施形態では、酸素飽和度を画像化した酸素飽和度画像を生成及び表示しているが、これに加えて、血液量を画像化した血液量画像を生成及び表示しても良い。血液量は信号比R2/G2と相関があるので、信号比R2/G2に応じて異なる色を割り当てることで、血液量を画像化した血液量画像を作成することができる。
第1〜第4実施形態では酸素飽和度を算出しているが、これに代えて、あるいはこれに加えて、「血液量×酸素飽和度(%)」から求まる酸化ヘモグロビンインデックスや、「血液量×(1−酸素飽和度)(%)」から求まる還元ヘモグロビンインデックス等、他の生体機能情報を算出しても良い。
第1〜第4実施形態では、センサ48としてCCDイメージセンサを用いているが、センサ48としてCMOSイメージセンサを用いても良い。但し、CMOSイメージセンサはいわゆるローリングシャッタ方式で駆動され、画素の行(1〜N行の各行)毎に順に信号電荷の蓄積及び読み出しが行われる。このため、各行の信号電荷の蓄積及び読み出しのタイミングが行毎に異なるので、第1白色光と第2白色光の切り替えは読み出しのタイミングに合わせて行うことが望ましい。例えば、図30に示すように、通常観察モード時には、N行目の蓄積開始(時刻T)から1行目の蓄積完了(時刻T)までの間、第2白色光の照射を行う一方、1行目の読み出し開始からN行目の読み出し完了までの間、第2白色光の照射を停止させる。また、図31に示すように、特殊観察モード時には、N行目の蓄積開始(時刻T)から1行目の蓄積完了(時刻T)までの間、第2白色光の照射を行う一方、1行目の読み出し開始(時刻T)からN行目の読み出し完了(時刻T)までの間、第2白色光の照射を停止させる。そして、次のフレームにおいて、N行目の蓄積開始(時刻T)から1行目の蓄積完了(時刻T)までの間、第1白色光の照射を行う一方、1行目の読み出し開始(時刻T)からN行目の読み出し完了(時刻T)までの間、第1白色光の照射を停止させる。こうすると、各行の実質的な電荷蓄積期間の長さ(露光量)を統一し、かつ、第1白色光による信号と第2白色光による信号が混ざるのを防ぐことができるので、センサ48としてCMOSイメージセンサを用いる場合でも上記各実施形態のように正確な酸素飽和度を算出することができる。第1,第2青色レーザ光源34,36の代わりに、LED光源ユニット301や、広帯域光源401及び回転フィルタ402を用いる場合も同様である。
10,300,400 内視鏡システム
16 プロセッサ装置
18 モニタ
62 通常観察画像処理部
64 特殊観察画像処理部
65 露光量指定値算出部
81 信号比算出部
83 酸素飽和度算出部
84 領域検出部
85 閾値算出部
86,286 酸素飽和度画像生成部

Claims (12)

  1. 観察対象に照射する照明光を発生する照明部と、
    前記照明光の反射光で前記観察対象を撮像する撮像素子を有し、血中ヘモグロビンの酸素飽和度に応じて吸光係数が変化する波長範囲を含む複数の波長範囲に対応する複数の画像信号を前記撮像素子から取得する画像信号取得部と、
    前記画像信号に基づいて、前記酸素飽和度を算出する酸素飽和度算出部と、
    前記画像信号に基づいて、前記観察対象を撮像する露光量を指定するための露光量指定値を算出する露光量指定値算出部と、
    前記画像信号の画素値と比較するための閾値を、前記露光量指定値に応じて算出する閾値算出部と、
    前記画素値が前記閾値で定められる範囲に収まる第1領域と、前記画素値が前記範囲に収まらない第2領域とを検出する領域検出部と、
    前記酸素飽和度を色で表し、かつ、前記第1領域と前記第2領域とで前記酸素飽和度の表示が異なる酸素飽和度画像を生成する画像生成部と、
    を備える内視鏡システム。
  2. 前記露光量指定値が大きいほど、前記閾値算出部は前記閾値の値を大きくする請求項1に記載の内視鏡システム。
  3. 前記閾値は、前記露光量指定値が第1特定値よりも大きい場合に使用される第1閾値と、前記第1特定値以下に定められる第2特定値よりも前記露光量指定値が小さい場合に使用され、前記第1閾値よりも小さい第2閾値と、前記露光量指定値が前記第2特定値以上前記第1特定値以下の場合に使用され、前記第1閾値と前記第2閾値の間の中間値とのうちのいずれかの値である請求項2に記載の内視鏡システム。
  4. 前記中間値は、前記第1閾値と前記第2閾値との間で前記露光量指定値に線形に変化する値である請求項3に記載の内視鏡システム。
  5. 前記画像生成部は、前記第1領域または前記第2領域のうち一方の領域を前記酸素飽和度の値に応じた色で表示し、他方の領域を前記酸素飽和度の値に依らない特定色で表示する前記酸素飽和度画像を生成する請求項1〜4のいずれか1項に記載の内視鏡システム。
  6. 前記画像生成部は、生成する前記酸素飽和度画像において色差信号を零にすることにより前記特定色を表示させる請求項5に記載の内視鏡システム
  7. 観察対象に照射する照明光を発生する照明部と、
    前記照明光の反射光で前記観察対象を撮像する撮像素子を有し、血中ヘモグロビンの酸素飽和度に応じて吸光係数が変化する波長範囲を含む複数の波長範囲に対応する複数の画像信号を前記撮像素子から取得する画像信号取得部と、
    前記画像信号に基づいて、前記酸素飽和度を算出する酸素飽和度算出部と、
    前記画像信号に基づいて、前記観察対象を撮像する露光量を指定するための露光量指定値を算出する露光量指定値算出部と、
    前記画像信号の画素値に基づいて算出される演算値と比較するための閾値を、前記露光量指定値に応じて算出する閾値算出部と、
    前記画像信号に基づいて前記演算値を算出し、前記演算値が前記閾値で定められる範囲に収まる第1領域と、前記画素値が前記範囲に収まらない第2領域とを検出する領域検出部と、
    前記酸素飽和度を色で表し、かつ、前記第1領域と前記第2領域とで前記酸素飽和度の表示が異なる酸素飽和度画像を生成する画像生成部と、
    を備える内視鏡システム。
  8. 前記演算値は、前記画像信号の全画素の画素値の平均値に対する各画素の画素値の比率である請求項7に記載の内視鏡システム。
  9. 前記演算値は、画素値の平均値である請求項7に記載の内視鏡システム。
  10. 観察対象に照射する照明光を発生する照明部と、前記照明光の反射光で前記観察対象を撮像する撮像素子を有し、血中ヘモグロビンの酸素飽和度に応じて吸光係数が変化する波長範囲を含む複数の波長範囲に対応する複数の画像信号を前記撮像素子から出力する内視鏡システムのプロセッサ装置において、
    前記画像信号を取得する画像信号取得部と、
    前記画像信号に基づいて、前記酸素飽和度を算出する酸素飽和度算出部と、
    前記画像信号に基づいて、前記観察対象を撮像する露光量を指定するための露光量指定値を算出する露光量指定値算出部と、
    前記画像信号の画素値と比較するための閾値を、前記露光量指定値に応じて算出する閾値算出部と、
    前記画素値が前記閾値で定められる範囲に収まる第1領域と、前記画素値が前記範囲に収まらない第2領域を検出する領域検出部と、
    前記酸素飽和度を色で表し、かつ、前記第1領域と前記第2領域とで前記酸素飽和度の表示が異なる酸素飽和度画像を生成する画像生成部と、
    を備える内視鏡システムのプロセッサ装置。
  11. 照明部が観察対象に照射する照明光を発生する照明光発生ステップと、
    撮像素子によって前記照明光の反射光で前記観察対象を撮像することにより、血中ヘモグロビンの酸素飽和度に応じて吸光係数が変化する波長範囲を含む複数の波長範囲に対応する複数の画像信号を前記撮像素子から取得する画像信号取得ステップと、
    酸素飽和度算出部が、前記画像信号に基づいて、前記酸素飽和度を算出する酸素飽和度算出ステップと、
    露光量指定値算出部が、前記画像信号に基づいて、前記観察対象を撮像する露光量を指定するための露光量指定値を算出する露光量指定値算出ステップと、
    閾値算出部が、前記画像信号の画素値と比較するための閾値を、前記露光量指定値に応じて算出する閾値算出ステップと、
    領域検出部が、前記画素値が前記閾値で定められる範囲に収まる第1領域と、前記画素値が前記範囲に収まらない第2領域とを検出する領域検出ステップと、
    画像生成部が、前記酸素飽和度を色で表し、かつ、前記第1領域と前記第2領域とで前記酸素飽和度の表示が異なる酸素飽和度画像を生成する画像生成ステップと、
    を備える内視鏡システムの作動方法。
  12. 観察対象に照射する照明光を発生する照明部と、前記照明光の反射光で前記観察対象を撮像する撮像素子を有し、血中ヘモグロビンの酸素飽和度に応じて吸光係数が変化する波長範囲を含む複数の波長範囲に対応する複数の画像信号を前記撮像素子から出力する内視鏡システムに用いられるプロセッサ装置の作動方法において、
    画像信号取得部が前記画像信号を取得する画像信号取得ステップと、
    酸素飽和度算出部が前記画像信号に基づいて、前記酸素飽和度を算出する酸素飽和度算出ステップと、
    露光量指定値算出部が、前記画像信号に基づいて、前記観察対象を撮像する露光量を指定するための露光量指定値を算出する露光量指定値算出ステップと、
    閾値算出部が、前記画像信号の画素値と比較するための閾値を、前記露光量指定値に応じて算出する閾値算出ステップと、
    領域検出部が、前記画素値が前記閾値で定められる範囲に収まる第1領域と、前記画素値が前記範囲に収まらない第2領域とを検出する領域検出ステップと、
    画像生成部が、前記酸素飽和度を色で表し、かつ、前記第1領域と前記第2領域とで前記酸素飽和度の表示が異なる酸素飽和度画像を生成する画像生成ステップと、
    を備えるプロセッサ装置の作動方法。
JP2014037595A 2014-02-27 2014-02-27 内視鏡システム、内視鏡システム用プロセッサ装置、内視鏡システムの作動方法、内視鏡システム用プロセッサ装置の作動方法 Active JP5992936B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2014037595A JP5992936B2 (ja) 2014-02-27 2014-02-27 内視鏡システム、内視鏡システム用プロセッサ装置、内視鏡システムの作動方法、内視鏡システム用プロセッサ装置の作動方法
EP15152718.1A EP2912990B1 (en) 2014-02-27 2015-01-27 Endoscope system and endoscope system processor device
US14/611,337 US9629555B2 (en) 2014-02-27 2015-02-02 Endoscope system, endoscope system processor device, operation method for endoscope system, and operation method for endoscope system processor device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014037595A JP5992936B2 (ja) 2014-02-27 2014-02-27 内視鏡システム、内視鏡システム用プロセッサ装置、内視鏡システムの作動方法、内視鏡システム用プロセッサ装置の作動方法

Publications (2)

Publication Number Publication Date
JP2015160012A JP2015160012A (ja) 2015-09-07
JP5992936B2 true JP5992936B2 (ja) 2016-09-14

Family

ID=52396576

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014037595A Active JP5992936B2 (ja) 2014-02-27 2014-02-27 内視鏡システム、内視鏡システム用プロセッサ装置、内視鏡システムの作動方法、内視鏡システム用プロセッサ装置の作動方法

Country Status (3)

Country Link
US (1) US9629555B2 (ja)
EP (1) EP2912990B1 (ja)
JP (1) JP5992936B2 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5972312B2 (ja) * 2014-03-24 2016-08-17 富士フイルム株式会社 医用画像処理装置及びその作動方法
JP6467275B2 (ja) * 2015-04-13 2019-02-06 富士フイルム株式会社 内視鏡用光源装置及び内視鏡システム
US10244987B2 (en) * 2015-08-13 2019-04-02 Pixart Imaging Inc. Physiological detection system with adjustable signal source and operating method thereof
WO2017060956A1 (ja) * 2015-10-05 2017-04-13 オリンパス株式会社 形状演算装置
JP6437943B2 (ja) * 2016-03-07 2018-12-12 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
JP6630702B2 (ja) * 2016-06-17 2020-01-15 富士フイルム株式会社 光源装置及び内視鏡システム
US10806335B2 (en) 2016-09-02 2020-10-20 Hoya Corporation Endoscope system
JP2018038503A (ja) * 2016-09-06 2018-03-15 ソニー株式会社 医療用画像処理装置、画像処理方法、及びプログラム
JPWO2018070474A1 (ja) * 2016-10-14 2019-06-24 Hoya株式会社 内視鏡システム
WO2018084003A1 (ja) * 2016-11-04 2018-05-11 ソニー株式会社 医療用画像処理装置、医療用画像処理方法、プログラム
JP6891304B2 (ja) * 2018-02-09 2021-06-18 富士フイルム株式会社 内視鏡システム
WO2019159817A1 (ja) * 2018-02-14 2019-08-22 富士フイルム株式会社 内視鏡システム及びその作動方法
WO2019163470A1 (ja) * 2018-02-22 2019-08-29 富士フイルム株式会社 内視鏡システム及びその作動方法
CN109673081B (zh) * 2018-12-26 2022-01-07 上海澳华内镜股份有限公司 一种内窥镜及照明调节方法
WO2020150494A1 (en) * 2019-01-17 2020-07-23 Stryker Corporation Systems and methods for medical imaging using a rolling shutter imager
CN113660895A (zh) * 2019-04-10 2021-11-16 富士胶片株式会社 内窥镜***
EP4137035A4 (en) * 2020-04-17 2023-11-15 FUJIFILM Corporation IMAGE PROCESSING DEVICE AND ITS OPERATING METHOD
CN117203976A (zh) 2020-12-30 2023-12-08 史赛克公司 用于减轻医学成像中的伪像的***和方法
WO2023037436A1 (ja) * 2021-09-08 2023-03-16 オリンパス株式会社 生体画像生成方法および生体画像生成システム
WO2023132188A1 (ja) * 2022-01-05 2023-07-13 富士フイルム株式会社 内視鏡システム及びその作動方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3217343B2 (ja) * 1989-03-23 2001-10-09 オリンパス光学工業株式会社 画像処理装置
JP5271062B2 (ja) * 2008-12-09 2013-08-21 富士フイルム株式会社 内視鏡装置およびその作動方法
JP2010268961A (ja) * 2009-05-21 2010-12-02 Hoya Corp 医療用観察システム
JP5460506B2 (ja) * 2009-09-24 2014-04-02 富士フイルム株式会社 内視鏡装置の作動方法及び内視鏡装置
JP5231511B2 (ja) 2010-11-09 2013-07-10 富士フイルム株式会社 内視鏡診断装置
JP5302984B2 (ja) * 2011-01-12 2013-10-02 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置及び内視鏡システムの作動方法
JP5568584B2 (ja) * 2012-03-12 2014-08-06 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法
JP5654511B2 (ja) * 2012-03-14 2015-01-14 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法
WO2014045647A1 (ja) * 2012-09-18 2014-03-27 オリンパスメディカルシステムズ株式会社 光源装置及び光源装置の調光方法

Also Published As

Publication number Publication date
US20150238086A1 (en) 2015-08-27
US9629555B2 (en) 2017-04-25
EP2912990B1 (en) 2018-12-05
EP2912990A1 (en) 2015-09-02
JP2015160012A (ja) 2015-09-07

Similar Documents

Publication Publication Date Title
JP5992936B2 (ja) 内視鏡システム、内視鏡システム用プロセッサ装置、内視鏡システムの作動方法、内視鏡システム用プロセッサ装置の作動方法
JP6092792B2 (ja) 内視鏡システム用プロセッサ装置、内視鏡システム、内視鏡システム用プロセッサ装置の作動方法、内視鏡システムの作動方法
JP5977772B2 (ja) 内視鏡システム、内視鏡システムのプロセッサ装置、内視鏡システムの作動方法、プロセッサ装置の作動方法
JP5887367B2 (ja) プロセッサ装置、内視鏡システム、及び内視鏡システムの作動方法
JP6039639B2 (ja) 内視鏡システム、内視鏡システム用プロセッサ装置、内視鏡システムの作動方法、及び内視鏡システム用プロセッサ装置の作動方法
JP6010571B2 (ja) 内視鏡システム、内視鏡システム用プロセッサ装置、内視鏡システムの作動方法、内視鏡システム用プロセッサ装置の作動方法
JP2019081044A (ja) 画像処理装置、画像処理装置の作動方法、および画像処理プログラム
US11386558B2 (en) Medical image processing system and endoscope system
JP6243364B2 (ja) 内視鏡用のプロセッサ装置、及び作動方法、並びに制御プログラム
JP2017184861A (ja) 画像処理装置及びその作動方法並びに内視鏡用プロセッサ装置及びその作動方法
US20170231469A1 (en) Processor device for endoscope,operation method thereof, and non-transitory computer readable medium
JP5997643B2 (ja) 内視鏡システム及びプロセッサ装置並びに作動方法
US20190246874A1 (en) Processor device, endoscope system, and method of operating processor device
JP2018051364A (ja) 内視鏡システム、内視鏡システムのプロセッサ装置、内視鏡システムの作動方法、プロセッサ装置の作動方法
JP6129686B2 (ja) 内視鏡システム及びプロセッサ装置並びに作動方法並びにテーブル作成方法
JP6099518B2 (ja) 内視鏡システム及び作動方法
JP6196599B2 (ja) 内視鏡用のプロセッサ装置、内視鏡用のプロセッサ装置の作動方法
JP6272956B2 (ja) 内視鏡システム、内視鏡システムのプロセッサ装置、内視鏡システムの作動方法、プロセッサ装置の作動方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150630

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160121

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160302

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160421

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160803

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160818

R150 Certificate of patent or registration of utility model

Ref document number: 5992936

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250