JP2013215471A - 内視鏡システム、画像処理装置、画像処理方法、画像処理プログラム - Google Patents

内視鏡システム、画像処理装置、画像処理方法、画像処理プログラム Download PDF

Info

Publication number
JP2013215471A
JP2013215471A JP2012090262A JP2012090262A JP2013215471A JP 2013215471 A JP2013215471 A JP 2013215471A JP 2012090262 A JP2012090262 A JP 2012090262A JP 2012090262 A JP2012090262 A JP 2012090262A JP 2013215471 A JP2013215471 A JP 2013215471A
Authority
JP
Japan
Prior art keywords
image
blue
light
oxygen saturation
pseudo
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012090262A
Other languages
English (en)
Other versions
JP5829568B2 (ja
Inventor
Norimasa Shigeta
典雅 繁田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2012090262A priority Critical patent/JP5829568B2/ja
Publication of JP2013215471A publication Critical patent/JP2013215471A/ja
Application granted granted Critical
Publication of JP5829568B2 publication Critical patent/JP5829568B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10152Varying illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Endoscopes (AREA)

Abstract

【課題】位置合わせにかかる負荷を軽減し、かつ、酸素飽和度を表示した際の画面のちらつきを抑える。
【解決手段】分光画像PB1〜PB3は、撮像タイミングが異なるため位置ズレが存在する。分光画像PB1に濃淡変換処理を施し、分光画像PB2と同様の濃度ヒストグラムを有する疑似分光画像PB2′及び、分光画像PB3と同様の濃度ヒストグラムを有する疑似分光画像PB3′を生成する。分光画像PB1、及び、分光画像PB1に対して位置ズレのない疑似分光画像PB2′PB3′を用いて酸素飽和度を算出する。
【選択図】図19

Description

本発明は、内視鏡を用いて血中ヘモグロビンの酸素飽和度などの血液に関する情報を取得する内視鏡システム、画像処理装置、画像処理方法、画像処理プログラムに関するものである。
医療分野において、内視鏡を用いた内視鏡診断が普及している。近年の内視鏡診断においては、白色光のもとで生体組織の表面の全体的な性状を観察する通常観察に加えて、特定の波長に制限された特殊光を用いた特殊光観察も行われるようになっている。
特殊光観察には各種のものがあるが、例えば、本出願人による特許文献1の内視鏡システムでは、酸化ヘモグロビンと還元ヘモグロビンの吸光係数の大きさに差がある波長域の狭帯域光を利用して、その反射光を撮像して得られる分光画像に基づいて、血中ヘモグロビンの酸素飽和度を算出し、画像化している。
ここで、算出される酸素飽和度の値は血管の深さによっても大きく影響を受けることから、特許文献1では、所定の分光画像間の輝度比を用いることで、血管の深さによって生じるノイズを除去して、酸素飽和度の算出精度を向上させている。
この特許文献1の内視鏡システムでは、複数の分光画像の取得方式として、生体組織に対して複数の狭帯域光を順次照射して撮像するという順次方式を採用している。そのため、撮像タイミングの違いによって生じる、複数の分光画像の位置ズレが問題となる。この位置ズレの問題に対して、特許文献1では、パターンマッチングによって、分光画像間で血管の位置を合わせている。なお、特許文献1は、パターンマッチングの精度を上げるために、血管深さに応じた周波数フィルタリング処理を施している。
特開2011−194151号公報
特許文献1に記載されているように、複数の分光画像の輝度値を比較する際に、位置合わせを行うことによってより正確な酸素飽和度を得ることができる反面、位置合わせに要する負荷が大きいといった問題がある。つまり、位置合わせは分光画像を平行に移動するだけでは不十分であり、患者の体動などによって分光画像間に生じた歪みなどを修正するために画像を変形させる必要もある。この場合は、画像中央部分のみならず、周辺部分の画像処理も必要となるため、内視鏡システムのプロセッサ装置に大きな負荷をかけることになる。
また、前述のように、正確な位置合わせを行うためには、血管深さに応じた周波数フィルタリング処理などの処理も必要となる。さらに、位置合わせには前述したように多くの複雑な処理が必要であるだけでなく、その処理スピードも高速であることが要求される。なぜなら、酸素飽和度は診察中に動画表示されることが前提であり、位置合わせに時間がかかってしまうとスムーズな動画表示ができないからである。このように、位置合わせには多大な負荷がかかるので、位置合わせを廃止したり簡略化することが検討された。しかし、この場合、酸素飽和度を正確に求めることができず、アーチファクト(誤った情報)が発生し、酸素飽和度を表示した際に画面がちらつくといった問題が生じてしまう。
本発明は、上記背景を鑑みてなされたものであり、位置合わせの負担を軽減し、かつ、酸素飽和度を表示した際の画面のちらつきを防止できる内視鏡システム、画像処理装置、画像処理方法、画像処理プログラムを提供することを目的としている。
上記目的を達成するために、本発明の内視鏡システムは、互いに異なる波長成分を有する第1及び第2照明光を、順次、被検体内に照射する照明手段と、前記第1照明光の反射像を撮像することによって第1画像を取得するとともに、前記第2照明光の反射像を撮像することによって第2画像を取得する画像取得手段と、前記第1及び第2画像の特徴量を求める特徴量算出手段と、前記第1及び第2画像の特徴量に基づいて前記第1画像を階調変換することにより、前記第1画像と位置ズレがなく、かつ、前記第2画像と略同一の特徴量を有する疑似第2画像を生成する階調変換手段と、前記第1画像と前記疑似第2画像に基づいて、前記血中ヘモグロビンの酸素飽和度を画像化した酸素飽和度画像を動画表示する動画表示手段とを備えることを特徴としている。
前記特徴量算出手段は、前記第1画像と前記第2画像の濃度ヒストグラムを解析するヒストグラム解析部を有し、前記階調変換手段は、前記第2画像の濃度ヒストグラムと略一致するように、前記第1画像を濃淡変換処理することによって、前記疑似第2画像を生成する疑似画像生成部を有することが好ましい。
前記ヒストグラム解析部は、前記第1、第2画像の複数エリア毎に、前記濃度ヒストグラムの解析を行い、前記疑似画像生成部は、前記第1画像及び前記第2画像の各エリア間で濃度ヒストグラムが略一致するように、前記第1画像の各エリアに対して前記濃度変換処理を行うことが好ましい。
前記濃度変換処理では、前記第1画像と前記第2画像の濃度ヒストグラムの比較演算により生成されるトーンカーブが用いられることが好ましい。
前記照明手段は、前記第1照明光を発光する第1半導体光源と、前記第2照明光を発光する第2半導体光源とからなることが好ましい。
前記照明手段は、前記第1照明光の波長域の光、及び、前記第2照明光の波長域の光を含む広帯域光を発光する光源と、前記光源からの広帯域光を波長分離することによって前記第1照明光、及び、前記第2照明光を生成する波長分離部とを備えるものでもよい。
前記照明手段は、前記第1照明光として波長域が特定の青色領域に制限された第1青色狭帯域光を含む広帯域の広帯域光と、前記第2照明光として波長域が特定の青色領域に制限された第2青色狭帯域光とを、順次、被検体内に照射し、前記画像取得手段は、前記第1照明光の反射像をカラーの撮像素子で撮像することにより第1青色画像を含む複数色の画像を取得するとともに、前記第2照明光の反射像をカラーの撮像素子で撮像することにより第2青色画像を含む複数色の画像を取得し、前記特徴量算出手段は、前記第1、第2青色画像の特徴量を求め、前記階調変換手段は、前記第1、第2青色画像の特徴量に基づいて前記第1青色画像を階調変換することにより、前記第1青色画像と位置ズレがなく、かつ、前記第2青色画像と略同一の特徴量を有する疑似第2青色画像を生成し、前記動画表示手段は、前記第1青色画像、及び、前記疑似第2青色画像に基づいて、前記血中ヘモグロビンの酸素飽和度を画像化した酸素飽和度画像を動画表示するものでもよい。
前記第1照明光は、波長域が440±10nmに制限された前記第1青色狭帯域光と、前記第1青色狭帯域光を波長変換部材で波長変換した蛍光を含む白色光であり、前記第2青色狭帯域光は、波長域が470±10nmに制限された光であることが好ましい。
前記照明手段は、前記第1、第2照明光に加え、波長域が特定の青色領域に制限された第3青色狭帯域光を含む第3照明光を、順次、被検体内に照射し、前記画像取得手段は、前記第1、第2青色画像に加え、前記第3照明光の反射像をカラーの撮像素子で撮像することにより第3青色画像を含む複数色の画像を取得し、前記特徴量算出手段は、前記第1、第2青色画像に加え、前記第3青色画像の特徴量を求め、前記階調変換手段は、前記疑似第2青色画像に加え、前記第1、第3青色画像の特徴量に基づいて前記第1青色画像を階調変換することにより、前記第1青色画像と位置ズレがなく、かつ、前記第3青色画像と略同一の特徴量を有する疑似第3青色画像を生成し、前記動画表示手段は、前記第1青色画像、及び、前記疑似第2青色画像に加え、前記疑似第3青色画像に基づいて、前記血中ヘモグロビンの酸素飽和度を画像化した酸素飽和度画像を動画表示するものでもよい。
前記第3青色狭帯域光は、波長域が440±10nmに制限された光であってもよい。
前記第3青色狭帯域光は、波長域が400±10nmに制限された光であってもよい。
前記照明手段は、前記第1照明光として波長域が特定の青色領域に制限された第1青色狭帯域光を含む広帯域の広帯域光と、前記第2照明光として波長域が特定の青色領域に制限された第2青色狭帯域光を含む広帯域の広帯域光とを、順次、被検体内に照射し、前記画像取得手段は、前記第1照明光の反射像をカラーの撮像素子で撮像することにより第1青色画像、第1緑色画像、及び第1赤色画像を取得するとともに、前記第2照明光の反射像をカラーの撮像素子で撮像することにより第2青色画像を含む複数色の画像を取得し、前記特徴量算出手段は、前記第1、第2青色画像の特徴量を求め、前記階調変換手段は、前記第1、第2青色画像の特徴量に基づいて前記第1青色画像を階調変換することにより、前記第1青色画像と位置ズレがなく、かつ、前記第2青色画像と略同一の特徴量を有する疑似第2青色画像を生成し、前記動画表示手段は、前記第1緑色画像、前記第1赤色画像、及び前記疑似第2青色画像に基づいて、前記血中ヘモグロビンの酸素飽和度を画像化した酸素飽和度画像を動画表示するものでもよい。
前記第1照明光は、波長域が440±10nmに制限された前記第1青色狭帯域光と、前記第1青色狭帯域光を波長変換部材で波長変換した蛍光を含む第1白色光であり、前記第2照明光は、波長域が470±10nmに制限された前記第2青色狭帯域光と、前記第2青色狭帯域光を波長変換部材で波長変換した蛍光を含む第2白色光であることが好ましい。
また、本発明の画像処理装置は、第1照明光が照射された被検体像を撮像して得られる第1画像と、前記第1照明光と異なる前記第2照明光が照射された被検体像を、前記第1画像と異なるフレームで撮像することによって得られる第2画像を含む複数の画像を処理する画像処理装置において、前記第1及び第2画像の特徴量を求める特徴量算出手段と、前記第1及び第2画像の特徴量に基づいて前記第1画像を階調変換することにより、フレーム間の位置ズレを補正した第2画像に相当する疑似第2画像を生成する階調変換手段と、前記第1画像と前記疑似第2画像に基づいて、前記血中ヘモグロビンの酸素飽和度を画像化した酸素飽和度画像を表示手段に動画表示するための表示制御手段とを備えることを特徴としている。
さらに、本発明の画像処理方法は、第1照明光が照射された被検体像を撮像して得られる第1画像と、前記第1照明光と異なる前記第2照明光が照射された被検体像を、前記第1画像と異なるフレームで撮像することによって得られる第2画像を含む複数の画像を処理する画像処理方法において、前記第1及び第2画像の特徴量を求めるステップと、前記第1及び第2画像の特徴量に基づいて前記第1画像を階調変換することにより、前記第1画像と位置ズレがなく、かつ、前記第2画像と略同一の特徴量を有する疑似第2画像を生成するステップと、前記第1画像と前記疑似第2画像に基づいて、前記血中ヘモグロビンの酸素飽和度を画像化した酸素飽和度画像を表示手段に動画表示するための表示制御を行うステップとを有することを特徴としている。
また、本発明の画像処理プログラムは、第1照明光が照射された被検体像を撮像して得られる第1画像と、前記第1照明光と異なる前記第2照明光が照射された被検体像を、前記第1画像と異なるフレームで撮像することによって得られる第2画像を含む複数の画像を処理する画像処理プログラムにおいて、コンピュータを、前記第1及び第2画像の特徴量を求める特徴量算出手段、前記第1及び第2画像の特徴量に基づいて前記第1画像を階調変換することにより、前記第1画像と位置ズレがなく、かつ、前記第2画像と略同一の特徴量を有する疑似第2画像を生成する階調変換手段、及び前記第1画像と前記疑似第2画像に基づいて、前記血中ヘモグロビンの酸素飽和度を画像化した酸素飽和度画像を表示手段に動画表示するための表示制御手段として機能させるものである。
本発明では、分光画像の濃度ヒストグラムと近似の濃度ヒストグラムを有する疑似分光画像を、白色画像に濃度変換処理を施すことによって生成し、この疑似分光画像を用いて酸素飽和度を求める、すなわち、白色画像に対して位置ズレのない疑似分光画像を用いて酸素飽和度を求めるので、位置合わせを行う必要がない。また、酸素飽和度を表示した際のアーチファクトやちらつきを軽減できる。
本発明の内視鏡システムの外観図である。 内視鏡の先端部の正面図である。 内視鏡システムの電気的構成を示すブロック図である。 照明光の分光スペクトルを示すグラフである。 撮像素子のカラーマイクロフイルタの分光特性を示すグラフである。 通常観察モードにおける照明光の照射タイミング及び撮像タイミングを示す説明図である。 機能観察モードにおける照明光の照射タイミング及び撮像タイミングを示す説明図である。 機能画像処理部のブロック図である。 各分光画像のエリア毎の濃度ヒストグラムが解析される様子を示す説明図である。 分光画像PB1に濃淡変換処理を施すことによって分光画像PB2と同様の濃度ヒストグラムを有する疑似分光画像PB2′が生成される様子を示す説明図である。 分光画像PB1に濃淡変換処理を施すことによって分光画像PB3と同様の濃度ヒストグラムを有する疑似分光画像PB3′が生成される様子を示す説明図である。 ヘモグロビンの吸光スペクトルと照明光の波長の対応を示す説明図である。 第1及び2輝度比S1/S3,S2/S3と血管深さ及び酸素飽和度との相関関係を示すグラフである。 第1及び第2輝度比S1/S3,S2/S3から輝度座標系における座標(X,Y)を求める方法を説明する説明図である。 座標(X,Y)に対応する血管情報座標系の座標(U,V)を求める方法を説明する説明図である。 血管深さ画像を生成する際に用いられるRGBゲインテーブルを示す説明図である。 血管深さ画像を示す説明図である。 酸素飽和度画像を生成する際に用いられるRGBゲインテーブルを示す説明図である。 酸素飽和度画像を示す説明図である。 血管深さ画像、酸素飽和度画像が動画表示された際の表示形態を示す説明図である。 血管深さ画像、酸素飽和度画像が動画表示された際の別の表示形態を示す説明図である。 血管深さ画像、酸素飽和度画像が動画表示される流れを示すフローチャートである。 内視鏡システムの電気的構成を示すブロック図である。 血液量と信号比R1/G1との相関関係を示すグラフである。 酸素飽和度と信号比B2/G1、R1/G1との相関関係を示すグラフである。 図21Bに示す相関関係を用い、信号比B2/G1、R1/G1から酸素飽和度を求める方法を示す説明図である。 内視鏡システムの電気的構成を示すブロック図である。 回転フィルタの平面図である。 回転フィルタの各フィルタ部の分光透過率を示すグラフである。 通常観察モードにおける照明光の照射タイミング及び撮像タイミングを示す説明図である。 機能観察モードにおける照明光の照射タイミング及び撮像タイミングを示す説明図である。
[第1実施形態]
図1に示すように、本発明の第1実施形態の内視鏡システム10は、被検体内の観察部位を撮像する内視鏡11と、撮像により得られた信号に基づいて観察部位の観察画像を生成するプロセッサ装置12と、観察部位を照射する光を供給する光源装置13と、観察画像を表示するモニタ14とを備えている。プロセッサ装置12には、キーボードやマウスなどの操作入力部であるコンソール15が設けられている。
内視鏡システム10は、白色光のもとで観察部位を観察する通常観察モードと、機能情報観察モードの2つの動作モードを備えている。機能情報観察モードは、特殊光を利用して、生体組織に関する生体機能情報を取得し、画像化して観察するモードである。本実施形態では、生体機能情報が血中ヘモグロビンの酸素飽和度及び血管深さに関する情報であり、機能情報観察モードでは、酸素飽和度及び血管深さに関する情報を取得し、これらを画像化して観察する例で説明する。
内視鏡11は、被検体内に挿入される可撓性の挿入部16と、挿入部16の基端部分に設けられた操作部17と、操作部17とプロセッサ装置12及び光源装置13との間を連結するユニバーサルコード18とを備えている。
挿入部16は、先端部19、湾曲部20、可撓管部21からなり、これらが先端から順に連設されている。図2に示すように、先端部19の先端面には、観察部位に照明光を照射する照明窓22、観察部位で反射した像光が入射する観察窓23、観察窓23を洗浄するために送気・送水を行うための送気・送水ノズル24、鉗子や電気メスといった処置具を突出させる鉗子出口25などが設けられている。観察窓23の奥には、撮像素子44(図3参照)や結像用の光学系が内蔵されている。
湾曲部20は、連結された複数の湾曲駒からなり、操作部17のアングルノブ26を操作することにより、上下左右方向に湾曲動作する。湾曲部20が湾曲することにより、先端部19の向きが所望の方向に向けられる。可撓管部21は、食道や腸など曲がりくねった管道に挿入できるように可撓性を有している。挿入部16には、撮像素子44を駆動する駆動信号や撮像素子44が出力する撮像信号を通信する通信ケーブルや、光源装置13から供給される照明光を照明窓22に導光するライトガイド43(図3参照)が挿通されている。
操作部17には、アンブルノブ26の他、処置具を挿入するための鉗子口27、送気・送水操作を行う送気・送水ボタン、静止画像を撮影するためのレリーズボタンなどが設けられている。
ユニバーサルコード18には、挿入部16から延設される通信ケーブルやライトガイド43が挿通されており、プロセッサ装置12および光源装置13側の端部には、コネクタ28が取り付けられている。コネクタ28は、通信用コネクタと光源用コネクタからなる複合タイプのコネクタであり、通信用コネクタには通信ケーブルの一端が、光源用コネクタにはライトガイド43の一端がそれぞれ配設される。内視鏡11は、このコネクタ28を介して、プロセッサ装置12および光源装置13に着脱自在に接続される。
図3に示すように、光源装置13は、半導体光源ユニット31と、これらを駆動制御する光源制御部32とを備えている。光源制御部32は、光源装置13の各部の駆動タイミングや同期タイミングなどの制御を行う。
半導体光源ユニット31は、青色領域において特定の波長域に制限された狭帯域光をそれぞれ発光する3つのレーザ光源LD1〜LD3と、蛍光体37とを有している。図4に示すように、レーザ光源LD1は、波長域が440±10nmに、好ましくは445nmに制限された狭帯域光N1を発光する。レーザ光源LD2は、波長域が470±10nmに、好ましくは473nmに制限された狭帯域光N2を発光する。レーザ光源LD3は、波長域が400±10nmに、好ましくは405nmに制限された狭帯域光N3を発光する。レーザ光源LD1〜LD3としては、InGaN系、InGaNAs系、GaNAs系のレーザダイオードを用いることができる。また、レーザ光源LD1〜LD3としては、高出力化が可能なストライプ幅(導波路の幅)が広いブロードエリア型のレーザダイオードが好ましい。
光源制御部32は、ドライバ33を介してレーザ光源LD1〜LD3の点灯、消灯、光量の制御を行う。レーザ光源LD1が発光する狭帯域光N1は、蛍光体37に入射する。蛍光体37としては、例えば、YAG系、BAM(BgMgAl1017)系等の蛍光体が使用される。
蛍光体37に入射した、狭帯域光N1は、蛍光体37を励起させ、緑色領域から赤色領域に渡る波長域の蛍光FLを発光させる。蛍光体37は、狭帯域光N1の一部を吸収して蛍光FLを発光するとともに、残りの狭帯域光N1を透過させる。蛍光体37を透過する狭帯域光N1は、蛍光体37によって拡散される。透過する狭帯域光N1と励起される蛍光FLによって白色光Wが生成され、生成された白色光Wがコンバイナ36に導光される。
他方、レーザ光源LD2、LD3が発光する光は、蛍光体37を介さずに光ファイバ34によってコンバイナ36に導光される。コンバイナ36は、各光ファイバ34からの光を合波する機能を持つ光学部材であり、選択的に入射する各光ファイバ34からの光の光軸を1つに結合する。
図3において、コンバイナ36の下流側には、集光レンズ38とロッドインテグレータ39が配置されている。集光レンズ38は、コンバイナ36から出射した光を集光して、ロッドインテグレータ39に入射させる。ロッドインテグレータ39は、入射した光を内部で多重反射させることにより面内光量分布を均一化して、光源装置13に接続された内視鏡11のライトガイド43の入射端に光を入射させる。
内視鏡11は、ライトガイド43、撮像素子44、アナログ処理回路45(AFE:Analog Front End)、撮像制御部46を備えている。ライトガイド43は大口径光ファイバ、バンドルファイバなどであり、ライトガイド43の入射端が配置されたコネクタ28が光源装置13に接続されたときに、入射端が光源装置13のロッドインテグレータ39の出射端と対向する。
照明窓22の奥には、照明光の配光角を調整する照射レンズ48が配置されている。光源装置13から供給された光はライトガイド43により照射レンズ48に導光されて照明窓22から観察部位に向けて照射される。観察窓23の奥には、対物光学系51と撮像素子44が配置されている。観察部位で反射した像光は、観察窓23を通して対物光学系51に入射し、対物光学系51によって撮像素子44の撮像面44aに結像される。
撮像素子44は、CCDイメージセンサやCMOSイメージセンサなどからなり、フォトダイオードなどの画素を構成する複数の光電変換素子がマトリックスに配列された撮像面44aを有している。撮像素子44は、撮像面44aで受光した光を光電変換して、各画素においてそれぞれの受光量に応じた信号電荷を蓄積する。信号電荷はアンプによって電圧信号に変換されて読み出される。電圧信号は撮像信号として撮像素子44から出力されて、撮像信号はAFE45に送られる。
撮像素子44は、カラー撮像素子であり、撮像面44aには、図5に示すような分光特性を有するB、G、Rの3色のマイクロカラーフィルタが各画素に割り当てられている。ここで、Bのマイクロカラーフィルタが設けられた画素をB画素とし、Gのマイクロカラーフィルタが設けられた画素をG画素とし、Rのマイクロカラーフィルタが設けられた画素をR画素とする。マイクロカラーフィルタの配列は例えばベイヤー配列である。
図6A、図6Bに示すように、撮像素子44では、1フレームの取得期間内で、信号電荷を蓄積する蓄積動作と、蓄積した信号電荷を読み出す読み出し動作が行われる。図6Aに示すように、通常観察モードにおいては、蓄積タイミングに合わせて白色光Wが観察部位に照射され、その反射光が撮像素子44に入射する。撮像素子44は、B、G、Rの各画素の輝度値が混在した1フレーム分の撮像信号B、G、Rをフレームレートに従って順次出力する。こうした撮像動作は、通常観察モードに設定されている間、繰り返される。
図6Bに示すように、機能情報観察モードにおいては、蓄積タイミングに合わせてレーザ光源LD1、LD2、LD3が順次点灯する。レーザ光源LD1が点灯すると、通常観察モードと同様に、照明光として白色光Wが観察部位に照射される。レーザ光源LD2が点灯すると、照明光として狭帯域光N2が観察部位に照射される。レーザ光源LD3が点灯すると、照明光として狭帯域光N3が観察部位に照射される。
白色光Wは、観察部位で反射した後、マイクロカラーフィルタで色分離されて、B、G、Rの全ての画素に入射する。他方、狭帯域光N2、N3は、観察部位で反射した後、B画素にのみ入射する。機能情報観察モードにおいても、通常観察モードと同様に、撮像素子44は、B、G、Rの各画素の輝度値が混在した1フレーム分の撮像信号B、G、Rをフレームレートに従って順次出力する。こうした撮像動作は、機能情報観察モードに設定されている間、繰り返される。
図3に示すように、AFE45は、相関二重サンプリング回路(CDS)、自動ゲイン制御回路(AGC)、及びアナログ/デジタル変換器(A/D)(いずれも図示省略)から構成されている。CDSは、撮像素子44からの撮像信号に対して相関二重サンプリング処理を施し、信号電荷のリセットに起因するノイズを除去する。AGCは、CDSによりノイズが除去された撮像信号を増幅する。A/Dは、AGCで増幅された撮像信号を、所定のビット数に応じた階調値を持つデジタルな撮像信号に変換してプロセッサ装置12に入力する。
撮像制御部46は、プロセッサ装置12内のコントローラ56に接続されており、コントローラ56から入力されるベースクロック信号に同期して、撮像素子44に対して駆動信号を入力する。撮像素子44は、撮像制御部46からの駆動信号に基づいて、所定のフレームレートで撮像信号をAFE45に出力する。
また、図3に示すように、プロセッサ装置12は、コントローラ56の他、DSP(Digital Signal Processor)57、画像処理部58と、フレームメモリ59と、表示制御回路60を備えている。コントローラ56は、CPU、制御プログラムや制御に必要な設定データを記憶するROM、プログラムをロードして作業メモリとして機能するRAMなどからなり、CPUが制御プログラムを実行することにより、プロセッサ装置12の各部を制御する。
DSP57は、撮像素子44が出力する撮像信号を取得する。DSP57は、B、G、Rの各画素に対応する信号が混在した撮像信号を、3色の撮像信号に分離し、各色の撮像信号に対して画素補間処理を行って、B、G、Rの各色の分光画像を生成する。この他、DSP57は、ガンマ補正や、B、G、Rの各分光画像の撮像信号に対してホワイトバランス補正などの信号処理を施す。
フレームメモリ59は、DSP57が出力する画像データや、画像処理部58が処理した処理済みのデータを記憶する。表示制御回路60は、フレームメモリ59から画像処理済みの画像データを読み出して、コンポジット信号やコンポーネント信号などのビデオ信号に変換してモニタ14に出力する。
画像処理部58には、通常画像処理部61、機能画像処理部62が設けられている。通常画像処理部61は、通常観察モードにおいて、DSP57によって色分離されたB、G、Rの分光画像B、G、Rに基づいて、白色画像Wを生成する。通常画像処理部61は、フレームメモリ59内の分光画像B、G、Rが更新される毎に、白色画像Wを生成する。白色画像Wは、撮像素子44のB画素の信号に基づく青色の分光画像(狭帯域光N1(445nm)を含む青色成分を有する)と、G画素の信号に基づく緑色の分光画像と、R画素の信号に基づく赤色の分光画像とからなる。
他方、機能画像処理部62は、機能情報観察モードにおいて、白色光W、狭帯域光N2、N3の照射タイミングとその反射光の撮像タイミングに合わせて、白色画像W、分光画像PB2、PB3を取得する。分光画像PB2は、狭帯域光N2を照射して撮像した際に得られたB画素の信号に基づく青色の分光画像(狭帯域光N2(473nm)を含む青色成分を有する)であり、分光画像PB3は、狭帯域光N3を照射して撮像した際に得られたB画素の信号に基づく青色の分光画像(狭帯域光N3(405nm)を含む青色成分を有する)である。
そして、機能画像処理部62は、白色画像W、及び白色画像Wの青色の分光画像PB1の輝度値S1、分光画像PB2の輝度値S2、分光画像PB3の輝度値S3に基づいて、血中ヘモグロビンの酸素飽和度StO2と血管深さDを算出し、これらの情報を画像化する。なお、輝度値S3は、観察部位の明るさのレベルを表すものであり、輝度値S1、S2を比較するために、輝度値S1、S2を規格化するための参照信号である。
ただし、酸素飽和度StO2及び深さDを求める際には、輝度値S1〜S3が同じ部位の輝度値を示すものであること、すなわち、輝度値S1〜S3を有する画素が、同じ部位で反射された光を電荷として蓄積したものであることが前提となっている。しかし、分光画像PB1〜PB3は、同時に撮影されたものではないので、分光画像PB1〜PB3の間には、手ぶれ、視野の移動、心拍や呼吸などによる患者の体動によって、位置ズレが存在する。このため、従来は、パターンマッチングにより分光画像PB1〜PB3の位置合わせを行ってから、酸素飽和度StO2及び深さDを求めていた。しかし、分光画像PB1〜PB3は、画像が平行にずれているだけでなく、患者の体動などに起因する歪みも存在するので、正確に位置を合わせることは困難であり、また、位置合わせの精度を高めようとすると、位置合わせの処理負荷が増大しコストアップや処理速度の低下を招いてしまう。
一方、位置合わせを行わずに、分光画像PB1〜PB3の画素のうち、撮像素子44上で同じ位置に存在する画素から得られた輝度値S1〜S3を用いて酸素飽和度StO2及び深さDを求めると、精度良く酸素飽和度を求めることができず、これらの情報を表示した際に、アーチファクトが発生し、画面がちらついてしまう。
このため、機能画像処理部62では、位置合わせを行うことなく、かつ、酸素飽和度や血管深さの情報を表示しても画面がちらつかない手法で、酸素飽和度や血管深さの算出及び算出した情報の表示を行っている。以下、このような機能画像処理部62の具体的な構成について説明する。
図7に示すように、機能画像処理部62は、疑似分光画像生成部63、輝度比算出部64、相関関係記憶部65、血管深さ−酸素飽和度算出部66と、血管深さ画像生成部67及び酸素飽和度画像生成部68を備えている。また、疑似分光画像生成部63は、ヒストグラム解析部90、トーンカーブ生成部91を備えている。
ヒストグラム解析部90は、分光画像PB1〜PB3を解析してこれらの濃度ヒストグラムを調べる。周知のように、濃度ヒストグラムは、画素値(輝度値)と、各画素値の頻度(各画素値を有する画素の数)との関係を表すものであり、例えば、横軸を画素値、縦軸を頻度としたグラフで表される(図8〜図10参照)。
図8に示すように、ヒストグラム解析部90は、分光画像PB1〜PB3を、例えば16分割し、分割された各エリア毎の濃度ヒストグラムを調べる。なお、図8では、上段が各分光画像PB1〜PB3の濃度ヒストグラムを調べるエリアの位置を示し、中段が上段のエリアの画像を視覚化したものである。このように、中段エリアの画像は各分光画像PB1〜PB3の1つのエリアの画像を示すものであるが、図8及び後述する図9、図10では対応する分光画像と同様の符号PB1〜PB3を付している。図8の下段は、中段の各画像PB1〜PB3を解析することによって得られた濃度ヒストグラムHG1〜HG3を示している。濃度ヒストグラムHG1は分光画像PB1に、濃度ヒストグラムHG2は分光画像PB2に、濃度ヒストグラムHG3は分光画像PB2にそれぞれ対応している。ヒストグラム解析部90は、エリア毎に順次濃度ヒストグラムHG1〜HG3を調べ、最終的に全ての分光画像PB1〜PB3の全てのエリアの濃度ヒストグラムHG1〜HG3を調べる。
トーンカーブ生成部91は、後述する濃淡変換処理において用いられる2つのトーンカーブTCa、TCb(図9、図10参照)を生成する。周知のように、トーンカーブは、入力画素値と出力画素値との関係を表すものであり、例えば、横軸を入力階調値、縦軸を出力階調値とし、各入力階調値に対する出力階調値を示す点の集合からなる線分として表される(図9、図10参照)。
図9に示すように、トーンカーブTCaは、分光画像PB1(445nm)の濃度ヒストグラムHG1と、分光画像PB2(473nm)の濃度ヒストグラムHG2とを比較し、この比較結果に基づいて生成される。このトーンカーブTCaは、濃度ヒストグラムHG1を濃度ヒストグラムHG2に変換するためのトーンカーブである。
トーンカーブTCaはエリア毎に生成される。すなわち、本例のように、分光画像PB1を16のエリアに区画した場合、分光画像PB1の各エリアの画像が、分光画像PB2の対応する各エリアの画像と同様の濃度ヒストグラムとなるように、16種類のトーンカーブTCaが生成される。
例えば、図9の分光画像PB2は、分光画像PB1に対して低階調(画素値の低い部分)から高階調(画素値の高い部分)まで広範囲に画素値が存在する、すなわちコントラストが高いことが判る。この場合、トーンカーブ生成部91で生成されるトーンカーブTCaは、分光画像PB1のコントラストを上げるように、低階調(画素値の低い)部分については出力値を引き下げ、高階調(画素値の高い)部分については出力値を引き上げるものとなる。
他方、図10に示すように、トーンカーブTCbは、分光画像PB1(445nm)の濃度ヒストグラムHG1と、分光画像PB3(405nm)の濃度ヒストグラムHG3とを比較し、この比較結果に基づいて生成される。このトーンカーブTCbは、濃度ヒストグラムHG1を濃度ヒストグラムHG3に変換するためのトーンカーブである。
トーンカーブ生成部91は、トーンカーブTCaの生成と同様の手法で、エリア毎にトーンカーブTCbを生成する。すなわち、本例では、分光画像PB1の各エリアの画像が、分光画像PB3の対応する各エリアの画像と同様の濃度ヒストグラムとなるように、16種類のトーンカーブTCbが生成される。
例えば、図10の分光画像PB3は、分光画像PB1に対して頻度の高い画素値が低階調に集中している、すなわち、暗い画像であることが判る。この場合、トーンカーブ生成部91で生成されるトーンカーブTCbは、分光画像PB1の画素値を全体的に下げるように、下方へ湾曲した弓形のものとなる。
疑似分光画像生成部63は、分光画像PB1の各エリアに対してこのエリアに対応するトーンカーブTCaを用いた濃淡変換処理を施すことによって、図9に示すように、エリア毎の濃淡変換画像PB2′を生成する。この濃淡変換画像PB2′は、分光画像PB1に対して位置ズレがなく、かつ、分光画像PB2と同様の濃度ヒストグラムを有する(コントラストが高い)ものとなる。なお、図17に示す濃淡変換画像PB2′は、後述する疑似分光画像PB2′の1つのエリアの画像を示すものであるが、両者に同様の符号を付している。
疑似分光画像生成部63は、分光画像PB1のエリア毎に順次トーンカーブTCaを用いた濃淡変換処理を行い、最終的に分光画像PB1の全てのエリアの濃淡変換画像PB2′を生成する。この後、疑似分光画像生成部63は、各エリアの濃淡変換画像PB2′を1つに連結することによって疑似分光画像PB2′を生成する。このようにして生成された疑似分光画像PB2′は、分光画像PB1に対して位置ズレがなく、かつ、各エリアの濃度ヒストグラムが分光画像PB2と同様となる。
また、疑似分光画像生成部63は、分光画像PB1の各エリアに対してこのエリアに対応するトーンカーブTCbを用いた濃淡変換処理を施すことによって、図10に示すように、エリア毎の濃淡変換画像PB3′を生成する。この濃淡変換画像PB3′は、分光画像PB1に対して位置ズレがなく、かつ、分光画像PB3と同様の濃度ヒストグラムを有する(輝度が全体的に低い)ものとなる。なお、図10に示す濃淡変換画像PB3′は、後述する疑似分光画像PB3′の1つのエリアの画像を示すものであるが、両者に同様の符号を付している。
疑似分光画像生成部63は、分光画像PB1のエリア毎に順次トーンカーブTCbを用いた濃淡変換処理を行い、最終的に分光画像PB1の全てのエリアの濃淡変換画像PB3′を生成する。この後、疑似分光画像生成部63は、各エリアの濃淡変換画像PB3′を1つに連結することによって疑似分光画像PB3′を生成する。このようにして生成された疑似分光画像PB3′は、分光画像PB1に対して位置ズレがなく、かつ、各エリアの濃度ヒストグラムが分光画像PB2と同様となる。
なお、本例では、トーンカーブ生成部により、曲線状のトーンカーブが生成される例で説明をしたが、折れ線状のト−ンカーブが生成されるように構成してもよい。また、入力値が最小である場合は出力値も最小となり、かつ、入力値が最大である場合は出力値も最大となるトーンカーブすなわち、一端と他端の位置が固定されており、この一端と他端を結ぶ部分の形状のみが変化するトーンカーブが生成される例で説明をしたが、一端と他端の位置も変化するトーンカーブが生成されるように構成してもよい。さらに、予め複数種類のトーンカーブを記憶させておき、濃度ヒストグラムの比較結果に基づいて、いずれのトーンカーブを用いるかを決定するように構成してもよい。
輝度比算出部64は、酸素飽和度及び血管深さの算出に用いられる第1及び第2輝度比を算出する。第1輝度比は、分光画像PB1の輝度値S1と疑似分光画像PB3′の輝度値S2′間の比(S1/S2′)で表され、第2輝度比は、疑似分光画像PB2′の輝度値S2′と疑似分光画像PB3′の輝度値S3′間の比(S2′/S3′)で表される。第1及び第2輝度比は、各画像間の全ての画素について算出される。ここで、疑似分光画像PB2′、PB3′は、分光画像PB1を濃度変換処理することにより生成されたものであるため、これら画像間には位置ズレが無いため、第1及び第2輝度比は適切な値となっている。このような適切な第1及び第2輝度比を用いることで、酸素飽和度及び血管深さを精度良く求めることができる。
なお、以下の説明においては、第1輝度比については「S1/S2′」から「′」を除いた「S1/S2」とし、第2輝度比については「S2′/S3′」から「′」を除いた「S2/S3」とする。
相関関係記憶部65は、第1及び第2輝度比S1/S3、S2/S3と、血管中の酸素飽和度及び血管深さとの相関関係を記憶している(図12参照)。この相関関係は、図11に示す生体組織の光反射特性と、これまでの診断等で蓄積された多数の画像解析により得られたものである。
図11において、酸素と結合していない還元ヘモグロビン70と、酸素と結合した酸化ヘモグロビン71は、異なる吸光特性を持っており、同じ吸光係数μaを示す等吸収点(図11における各ヘモグロビン70、71の交点)を除いて、吸光係数μaに差が生じる。例えば、狭帯域光N1(445nm)、N2(473nm)では、吸光係数μaに差があるため、酸素飽和度が変化すると、分光画像PB1、PB2の輝度値S1、S2は変化する。一方、狭帯域光N3(405nm)では、吸光係数μaに差がないので、酸素飽和度が変化しても、分光画像PB3の輝度値は変化しない。
このような生体組織の光反射特性、及び、これまでの診断等で蓄積された多数の画像解析により、具体的には、図12に示す相関関係が得られる。そして、この相関関係が相関関係記憶部65に記憶されている。
図12において、輝度座標系96は、XYの2軸を持つXY座標系であり、X軸に第1輝度比S1/S3が割り当てられ、Y軸に第2輝度比S2/S3が割り当てられている。血管情報座標系97は、輝度座標系96上に設けられたUVの2軸を持つUV座標系であり、U軸は血管深さDに、V軸は酸素飽和度StO2に割り当てられている。U軸は血管深さが輝度座標系96に対して正の相関関係があることから、正の傾きを有している。このU軸に関して、右斜め上にいくほど血管が浅い位置にあることを、左斜め下に行くほど血管が深い位置にあることを示している。一方、V軸は、酸素飽和度StO2が輝度座標系に対して負の相関関係を有することから、負の傾きを有している。このV軸に関して、左斜め上に行くほど酸素飽和度StO2が低いことを、右斜め下に行くほど、酸素飽和度StO2が高いことを示している。また、血管情報座標系97においては、U軸とV軸とは交点Pで直交している。
血管深さ−酸素飽和度算出部66には、輝度比算出部64により算出された画素毎の第1輝度比S1/S3及び第2輝度比S2/S3が入力される。血管深さ−酸素飽和度算出部66は、第1及び第2輝度比S1/S3,S2/S3が入力されると、相関関係記憶部65に記憶された相関関係を参照して、入力された第1及び第2輝度比S1/S3,S2/S3に対応する酸素飽和度StO2と血管深さDを特定する。
血管深さ−酸素飽和度算出部66に入力された第1輝度比S1/S3及び第2の輝度比S2/S3を、それぞれ第1輝度比をS1/S3、第2輝度比をS2/S3とすると、血管深さ−酸素飽和度算出部66は、次のようにして、酸素飽和度StO2と血管深さDを特定する。
血管深さ−酸素飽和度算出部66は、図13Aに示すように、輝度座標系96において、第1及び第2輝度比S1/S3,S2/S3に対応する座標(X,Y)を特定する。座標(X,Y)が特定されたら、図13Bに示すように、血管情報座標系97において、特定した座標(X,Y)を、酸素飽和度の座標軸であるV軸と、血管深さの座標軸であるU軸にそれぞれ射影して、座標(U,V)を特定する。これにより、1つの画素について、血管深さ情報U及び酸素飽和度情報Vが求まる。血管深さ−酸素飽和度算出部66は、こうした処理を1画面分の全画素について繰り返して、全画素に対する血管深さ情報U及び酸素飽和度情報Vを求める。
図7において、血管深さ画像生成部67には、RGBゲインテーブル67aが記憶されている。図14に示すように、RGBゲインテーブル67aでは、血管深さが横軸、白色画像Wの中の青色の分光画像PB1、緑色の分光画像PG1、赤色の分光画像PR1に対するゲイン値gr、gg、gbが縦軸に割り当てられている。ここで、白色画像Wは、白色光Wを照射して撮像されたもの、すなわち、機能情報観察モードの1フレーム目の撮像により取得されるものである。
血管深さ画像生成部67は、血管深さ−酸素飽和度算出部66で求めた血管深さとRGBゲインテーブル67aとを用い、血管深さの情報を白色画像Wに反映させる。具体的には、RGBゲインテーブル67aにおいて、血管深さ−酸素飽和度算出部66で求めた血管深さに対応するゲイン値を、白色画像Wの画素毎に特定する。そして、各画素毎に、ゲイン値を白色画像Wの画素値に掛け合わせることにより血管深さ画像を得る。
図14に示すように、RGBゲインテーブル67aは、血管深さが深くなるほど、ゲイン値grが徐々に大きくなり、ゲイン値gg,gbが徐々に小さくなる。このため、図15に示すように、生成される血管深さ画像73は、表層血管75から中層血管76、深層血管77へ向かうほど白色画像Wの色合いと比較して赤が強くなる。
また、図7において、酸素飽和度画像生成部68には、RGBゲインテーブル68aが記憶されている。図16に示すように、RGBゲインテーブル68aでは、酸素飽和度が横軸、白色画像Wの中の青色の分光画像PB1、緑色の分光画像PG1、赤色の分光画像PR1に対するゲイン値gr、gg、gbが縦軸に割り当てられている。
酸素飽和度画像生成部68は、血管深さ−酸素飽和度算出部66で求めた酸素飽和度とRGBゲインテーブル68aとを用い、血管深さの情報を白色画像Wに反映させる。具体的には、RGBゲインテーブル68aにおいて、血管深さ−酸素飽和度算出部66で求めた酸素飽和度に対応するゲイン値を、白色画像Wの画素毎に特定する。そして、各画素毎に、ゲイン値を白色画像Wの画素値に掛け合わせることにより酸素飽和度画像を得る。
図16に示すように、RGBゲインインテーブル68aは、酸素飽和度が100%〜60%の間はゲイン値gr,gg,gbはすべて1に設定されている。一方、酸素飽和度が60%を下回ると、ゲイン値grは酸素飽和度の低下に伴って徐々に小さくなり、ゲイン値gg,gbは酸素飽和度の低下に伴って徐々に大きくなる。このため、図17に示すように、生成される血管深さ画像74は、酸素飽和度が100%〜60%の領域80は、白色画像Wと同じ色合いで再現され、酸素飽和度が60%を下回る領域81は、白色画像Wよりもシアンの色合いが強くなる。さらに、領域81内においても、酸素飽和度が低下するほどシアンの色合いが強くなる。なお、正常な状態での酸素飽和度は、動脈では100%、静脈では70%程度である
本実施形態では、血管深さや酸素飽和度に応じて白色画像Wの画素値を変化させるが、画素値自体ではなく、色相、明度、彩度などの白色画像Wの色特性値を酸素飽和度に応じて変化させてもよい。その際、血管深さや酸素飽和度に応じて色相、明度、彩度を変化させる場合には、RGBゲインテーブルに代えて、血管深さや酸素飽和度と、白色画像Wの画素値を色相、明度、彩度に変換するための変換値とを関連付けた色相マトリックス、明度マトリクス、彩度マトリックスを用いる。
また、本実施形態では、酸素飽和度が60%を下回ったときにゲイン値を変化させるようにしたが、これに限らず、60%よりももっと低い値に設定し、著しく低酸素な領域のみ強調するようにしてもよい。また、これとは反対に60%よりも少し高めの値に設定し、少しでも低酸素の疑いのある領域を強調するようにしてもよい。
さらに、本実施形態では、ゲイン値を画像信号に掛け合わせることで色調を変化させたが、log変換した画像信号にゲイン値に相当のオフセット値を加算するようにしてもよい。
表示制御回路60は、上述のように生成された血管深さ画像や酸素飽和度を順次取得し、これら順次取得した画像を血管深さ動画、酸素飽和度動画としてモニタ14に表示する。これら血管深さ動画及び酸素飽和度動画は、濃淡変換処理によって位置ズレが補正された画像に基づいて生成されたものであるため、ちらつくことがなく、また、動画中の血管深さや酸素飽和度に関する情報も正確に表示されている。
なお、上記動画の表示態様としては様々なパターンが考えられる。例えば、図17Aに示すように、血管深さ動画と酸素飽和度動画をモニタ14に並列表示してもよい。また、図17Bに示すように、血管深さ動画及び酸素飽和度動画のうちのいずれか一方のみをモニタ14に表示し、コンソール15の操作によって、モニタ14に表示する動画を適宜切り替えるようにしてもよい。
次に、図19に示すフローチャートをもとに、血管深さ画像や酸素飽和度画像が表示されるまでの手順について説明する。なお、後述する各ステップで行われる処理の詳細についてはすでに説明しているので、以下では、血管深さ画像や酸素飽和度画像が表示されるまでの流れについて説明し、各ステップでの処理については説明を簡略化している。
図19に示すように、白色光Wを照射して撮像することによって1フレーム目の撮像を行い、白色画像Wと、白色画像Wの青色の分光画像PB1を生成する。次に狭帯域光N2を照射して2フレーム目の撮像を行い、この撮像により得られた画像の青色の分光画像PB2を生成する。続けて、狭帯域光N3を照射して3フレーム目の撮像を行い、この撮像により得られた画像の青色の分光画像PB3を生成する。
分光画像PB1〜PB3の生成後、これらの濃度ヒストグラムを解析する。濃度ヒストグラムは各分光画像PB1〜PB3のエリア毎に解析され、最終的には全ての分光画像の全てのエリアについて濃度ヒストグラムが解析される。
分光画像PB1〜PB3の濃度ヒストグラムの解析後、分光画像PB1、PB2の濃度ヒストグラムを比較し、この比較結果に基づいて、分光画像PB1の濃度ヒストグラムを分光画像PB2の濃度ヒストグラムと同様のものにするためのトーンカーブTCaを生成する。トーンカーブTCaは、分光画像PB1の各エリアの濃度ヒストグラムを分光画像PB2の対応するエリアの濃度ヒストグラムと同様のものとするために、エリアの数だけ生成される。
続けて、分光画像PB1、PB3の濃度ヒストグラムを比較し、この比較結果に基づいて、分光画像PB1の濃度ヒストグラムを分光画像PB3の濃度ヒストグラムと同様のものにするためのトーンカーブTCbを生成する。トーンカーブTCbもトーンカーブTCaと同様にエリアの数だけ生成される。
トーンカーブTCa、TCbが生成されると、分光画像PB1をトーンカーブTCaで濃淡変換した疑似分光画像PB2′、及び、分光画像PB1をトーンカーブTCbで濃淡変換した疑似分光画像PB3′を生成する。このように生成された疑似分光画像PB2′は、分光画像PB1と位置ズレがなく、分光画像PB2と同様の濃度ヒストグラムを有するものである。同様に、疑似分光画像PB3′は、分光画像PB1と位置ズレがなく、分光画像PB3と同様の濃度ヒストグラムを有するものである。
疑似分光画像PB2′、PB3′が生成されると、分光画像PB1と疑似分光画像PB2′、PB3′から、第1輝度比S1/S3、及び、第2輝度比S2/S3が算出される。第1輝度比S1/S3、及び、第2輝度比S2/S3が算出されると、これらと血管深さ及び酸素飽和度との相関関係から、血管深さ及び酸素飽和度が算出される。そして、白色画像Wに血管深さや酸素飽和度を示す情報が付加された血管深さ画像及び酸素飽和度画像が生成される。生成された画像はモニタ14上で酸素飽和度動画、血管深さ動画として表示される。
このように、本発明では、血管の深さや酸素飽和度を算出する際に、分光画像PB1と位置ズレのない疑似分光画像PB2′、疑似分光画像PB3′を用いているので、従来と比較して位置合わせを行う手間を省くことができる。また、血管深さや酸素飽和度の算出及び表示に関わる画像の全てに位置ズレがないので、血管深さや酸素飽和度の情報が画像間の位置ズレにより本来表示されるべき位置からずれた位置に表示されることもない。このため、血管深さや酸素飽和度の情報を表示した際のアーチファクトや画面のちらつきを防止できる。
なお、血管深さ情報と酸素飽和度情報は、画像に代えて又は加えて、文字情報として表示してもよい。また、酸素飽和度を画像化しているが、酸素飽和度画像には、上記例で示した形態に代えて、又はそれに加えて、「血液量(酸化ヘモグロビンと還元ヘモグロビンの和)×酸素飽和度(%)」から求まる酸化ヘモグロビンインデックスを画像化したものも含まれる。
また、本実施形態では、参照信号として輝度値S3(すなわち、狭帯域光N3を照射して撮像された画像の輝度値)を用いて酸素飽和度や血管深さを算出する例で説明をしたが、輝度値S3は参照信号であるので、輝度値S3に代えて、狭帯域光N3とは波長域の異なる光を照射して撮像された画像の輝度値を参照信号として用い、酸素飽和度(及び血管深さ)を算出してもよい。
狭帯域光N3とは波長域の異なる光としては、例えば、狭帯域光N1(すなわち、波長域が440±10nmの光)が考えられる。このとき、参照信号として用いられる輝度値は(輝度値S3の代わりに用いられる輝度値は)、狭帯域光N1を照射して撮像された画像の輝度値(すなわち、輝度値S1)である。
このように、輝度値S3に代えて輝度値S1を用いる場合は、狭帯域光N1を発光するレーザ光源LD3や、レーザ光源LD3からの狭帯域光N1を導光する光ファイバ34などの導光手段を廃止できる。また、輝度値S1は、白色光Wを照射して撮像された白色画像Wの分光画像PB1の輝度値である。よって、機能情報観察モードの1フレーム目の撮像で輝度値S1を取得できる。このため、機能情報観察モードの3フレーム目の撮像を行わずに酸素飽和度(及び、血管深さ)を算出できる。なお、酸素飽和度(及び血管深さ)を算出する際には、第1、第2輝度比と酸素飽和度(及び血管深さ)の相関関係が前述した図12とは異なるので、図12とは別の相関関係を用いる。
もちろん、輝度値S3に代えて輝度値S1を用いる場合において、狭帯域光N1を照射して3フレーム目の撮像を行い、3フレーム目に撮像された画像から輝度値S1を取得してもよい。ただし、この場合、1フレーム目に撮像された画像と、3フレーム目に撮像された画像との間には位置ズレが存在する。このため、酸素飽和度(及び、血管深さ)を算出する際には、1フレーム目に撮像された画像を濃淡変換して、3フレーム目に撮像された画像と同様の濃度ヒストグラムを有する疑似画像を生成し、この疑似画像の輝度値を輝度値S1として用いる。
なお、輝度値S3に代えて輝度値S1を用い、かつ、狭帯域光N1を照射して3フレーム目の撮像を行う場合、レーザ光源LD1から発光される狭帯域光N1の光路に蛍光体37を挿入または退避させる光路切り替え機構を設け、1フレーム目の撮像の際には狭帯域光N1の光路に蛍光体37を挿入し、3フレーム目の撮像の際には狭帯域光N1の光路から蛍光体37を退避させてもよい。もちろん、レーザ光源LD1を2つ設け、一方のレーザ光源LD1を蛍光体37を介して狭帯域光N1を照射する1フレーム目の撮像専用とし、他方のレーザ光源LD1を蛍光体37を介さずに狭帯域光N1を照射する3フレーム目の撮像専用としてもよい。
[第2実施形態]
上記第1実施形態では、白色光W(445nm〜700nm)、中心波長が473nmの狭帯域光N2、中心波長が405nmの狭帯域光N3の3種類の光を照射して撮像し、撮像によって得られた画像から血管深さと酸素飽和度とを算出する内視鏡システムに本発明を適用する例で説明をしたが、第1白色光W1(440nm〜700nm)と、第2白色光(460nm〜700nm)との2種類の光を照射して撮像し、撮像によって得られた画像から血液量と酸素飽和度を算出する内視鏡システムに本発明を適用することも可能である。
以下、血液量と酸素飽和度を算出する内視鏡システムに本発明を適用する例について、図20〜図22をもとに説明する。なお、図20以降の図面を用いた説明では、上述した実施形態と同様の部材については同様の符号を付して説明を省略している。また、照明光の発光、撮像タイミング、酸素飽和度の算出方法以外については、第1実施形態と略同様であるので、説明を省略する。
図20に示すように、内視鏡システム100では、前述した第1実施形態から中心波長405nmの狭帯域光N3を発光する光源及びその関連部分(ドライバや導光手段など)を廃止している。また、蛍光体37はレーザ光源LD1と光ファイバ34との間ではなく、コンバイナ36と集光レンズ38との間に設けられている。そのため、中心波長445nmの狭帯域光N1だけでなく、中心波長473nmの狭帯域光N2が蛍光体37に入射する。したがって、狭帯域光N1が蛍光体37に入射したときには、狭帯域光N1とこの狭帯域光N1により蛍光体37で励起発光する蛍光とを含む第1白色光W1が観察部位に照射される。一方、狭帯域光N2が蛍光体37に入射したときには、狭帯域光N2とこの狭帯域光N2により蛍光体37で励起発光する蛍光を含む第2白色光W2が観察部位に照射される。
第2実施形態では、通常観察モード時は、第1実施形態と同様、第1白色光W1のみを観察部位に照射して撮像する。一方、機能情報観察モード時は、第1白色光W1と第2白色光W2を交互に照射し、各照射毎に撮像を行う。したがって、第1白色光W1の照射フレームにおいては白色画像W1が得られ、第2白色光W2の照射フレームにおいては、白色画像W2が得られる。そして、機能画像処理部101において、白色画像W1と、白色画像W2の中の青色の分光画像PB2とに基づいて、血液量と酸素飽和度の算出と画像化を行う。血液量と酸素飽和度の算出については、後述する。
ここで、白色画像W1と分光画像PB2とは、撮像タイミングが異なるため、これら白色画像W1と分光画像PB2との間には、位置ズレが存在する。そこで、第1実施形態と同様に、濃淡変換処理によって、位置ズレを補正した疑似分光画像を生成する。この第2実施形態では、白色画像W1の中の青色の分光画像PB1の濃度ヒストグラムと、分光画像PB2の濃度ヒストグラムとに基づいて、第1実施形態と同様の方法でトーンカーブを生成する。そして、この生成したトーンカーブを用いて分光画像PB1に濃淡変換処理を施すことによって、画像間の位置ずれが補正された疑似分光画像PB2′を得る。この疑似分光画像PB2′と、白色画像W1とに基づいて生成される血液量画像及び酸素飽和度画像は、位置ズレが解消されているため、アーチファクトや画面のちらつきを軽減できる。
なお、血液量と酸素飽和度の算出には、疑似分光画像PB2′と白色画像W1の中の緑色の分光画像PG1との信号比B2/G1、及び、白色画像W1の中の赤色の分光画像PR1と分光画像PG1との信号比R1/G1の2つの信号比が用いられる。信号比B2/G1と信号比R1/G1と血液量及び酸素飽和度とは、図21A、Bに示すような相関関係がある。図21Aに示すように、血液量は信号比R1/G1と相関関係があり、R1/G1が大きくなるほど血液量も大きくなっている。また、図21Bに示すように、酸素飽和度は信号比B2/G1、R1/G1と相関関係を有している。この図21Bでは、酸素飽和度は等高線で表され、信号比B2/G1が低くなるほど酸素飽和度は低くなっている。また、この図21Bの相関関係によれば、信号比B2/G1が同じでも信号比R1/G1が異なれば、酸素飽和度も違ってくる。
図21Bのような相関関係を用いることで、信号比B2/G1、B2/G1から、各画素における酸素飽和度を求める。具体的には、図22に示すように、信号比B2/G1、R1/G1に対応する対応点Pを特定する。そして、対応点Pが酸素飽和度=0%限界の下限ライン93と酸素飽和度=100%限界の上限ライン94との間にある場合に、その対応点Pが示すパーセント値を酸素飽和度とする。そして、図22の場合、対応点Pは60%の等高線上に位置するため、酸素飽和度は60%となる。
一方、対応点が下限ライン93と上限ライン94との間から外れている場合、対応点が下限ライン93よりも上方に位置するときには酸素飽和度を0%とし、対応点が上限ライン94よりも下方に位置するときには酸素飽和度を100%とする。なお、対応点が下限ライン93と上限ライン94との間から外れている場合には、その画素における酸素飽和度の信頼度を下げてモニタ14に表示しないようにしてもよい。
[第3実施形態]
上記第1実施形態では、所望の波長域の照明光を発光する複数の光源を設け、各光源からの照明光を順次照射して撮像する例で説明をしたが、これに代えて、1つの白色光源(キセノンランプなど)を設け、この白色光源から所望の波長域の照明光を、例えば回転フィルタなどで分離し、分離後の光を順次照射して撮像を行ってもよい。以下、このような光源及び回転フィルタを用いた内視鏡システムに本発明を適用する例について、図23〜図27をもとに説明する。
第3実施形態では、図23に示す内視鏡システム200を用いる。この内視鏡システム200は、光源装置202が第1実施形態の光源装置13と異なっている他、カラーの撮像素子44に代えて、カラーフィルタが設けられていないモノクロの撮像素子201が内視鏡11に設けられている点が第1実施形態と異なる点である。それ以外については、第1実施形態と略同様であるため、説明を省略する。
光源装置202は、白色光源ユニット203、回転フィルタ204、モータ205、シフト部206、及び、これら光源装置202の各部を駆動制御する光源制御部207を備えている。
白色光源ユニット203は、光源203aと、絞り203bとからなる。光源203aは、キセノンランプ、ハロゲンランプ、メタルハライドなどからなり、光源制御部207により駆動されて波長域が400nm〜700nmの広帯域光BB(図25参照)を発光する。絞り203bは、光源制御部207により駆動されて広帯域光BBの光量を調整する。
図24に示すように、回転フィルタ204は、回転軸210を中心に回転自在に設けられている。回転軸210には、モータ205が接続されている。モータ205は光源制御部207によって駆動され、回転フィルタ204を回転させる。回転フィルタ204は回転軸210に近い内側領域211と、回転軸210から遠い外側領域212とを備えている。シフト部206は、光源制御部207によって駆動され、通常観察モードでは内側領域211を広帯域光BBの光路上に挿入する内側位置へ回転フィルタ204を移動させ、機能画像観察モードでは外側領域212を広帯域光BBの光路上に挿入する外側位置へ回転フィルタ204を移動させる。
内側領域211には、Rフィルタ213、Gフィルタ214、Bフィルタ215の3つのフィルタが配置されている。また、外側領域212には、Rフィルタ216、Gフィルタ217、Bフィルタ218、N1フィルタ219、N2フィルタ220、N3フィルタ221の6つのフィルタが配置されている。図25に示すように、Rフィルタ213、216は、広帯域光BBのうち波長域が580nm〜760nmのR光を通過させる。Gフィルタ214、217は、広帯域光BBのうち波長域が450nm〜630nmのG光を通過させる。Bフィルタ215、218は、広帯域光BBのうち波長域が380nm〜500nmのB光を通過させる。また、N1〜N3フィルタ219〜221は、実施形態1で説明した狭帯域光N1〜N3をそれぞれ通過させる。
このように、内視鏡システム200では、通常観察モードでは、RGBの3色の光が順次照射され、機能画像観察モードでは、RGBの3色に加え、3種類の狭帯域光N1〜N3が順次照射される。そして、通常観察モードでは、図26に示すように、RGB各色の照射に合わせて3フレーム分の撮像を行い、取得されたRGB各色の画像を合成することによって白色画像Wを生成してモニタ14に表示する。
一方、機能画像観察モードでは、図27に示すように、6フレーム分の撮像を行い、取得された6つの画像から酸素飽和度画像及び血管深さ画像を生成する。具体的には、RGB各色の照射に合わせて撮像された3つの画像を合成することによって酸素飽和度画像及び血管深さ画像を生成する際のベースとなる白色画像Wを生成する。また、狭帯域光N1の照射に合わせて撮像された分光画像PB1の濃度ヒストグラムと、白色画像WのうちB色の照射により得られる青色画像Bcの濃度ヒストグラムとを比較することによって、トーンカーブT1を生成する。これと同様にして、狭帯域光N2の照射に合わせて撮像された分光画像PB2の濃度ヒストグラムと青色画像Bcの濃度ヒストグラムの比較演算によってトーンカーブT2を生成するとともに、狭帯域光N3の照射に合わせて撮像された分光画像PB3の濃度ヒストグラムと青色画像Bcの濃度ヒストグラムの比較演算によってトーンカーブT3を生成する。そして、トーンカーブT1〜T3を用いて青色画像Bcを濃淡変換処理することによって、疑似分光画像PB1′〜PB3′を生成する。なお、トーンカーブの生成方法は、第1実施形態と同様である。
この後、これら疑似分光画像PB1′〜PB3′の輝度値S1′〜S3′から、第1輝度比(本例の場合S1′/S3′)及び第2輝度比(本例の場合S2′/S3′)を算出し、これら第1、第2輝度比に基づいて、血管深さ及び酸素飽和度を算出する。そして、これらの情報を白色画像Wに反映させることによって血管深さ画像及び酸素飽和度を生成し、モニタ14に表示する。
なお、この第3実施形態では、3種類の光を照射して血管深さと酸素飽和度を算出する内視鏡システムにおいて白色光源と回転フィルタとを用いる例で説明をしたが、前述した第2実施形態のように、2種類の光を照射して血液量と酸素飽和度とを算出する内視鏡システムにおいて、白色光源と回転フィルタとを用いてもよい。
上記実施形態では、位置合わせを全く行わない例で説明をしたが、例えば、画像をスライドさせるだけなどの簡単な位置合わせを行い、この位置合わせ後の画像に基づいて疑似画像を生成してもよい。
また、上記実施形態では、画像の全エリアについて疑似画像化する例で説明をしたが、画像の一部のエリアについてのみ疑似画像化してもよい。この場合、例えば、画像の中央部は位置合わせを行って疑似画像化せずに、画像の周辺部について疑似画像化するといったことが考えられる。
さらに、上記実施形態では、フレーム間の位置ズレが補正された疑似分光画像を生成するために、トーンカーブを用いた濃淡変換処理を行ったが、これに限らず、輝度変換などその他の階調変換処理であってもよい。
また、上記実施形態では、白色画像Wのうち低酸素領域(酸素飽和度が0〜60%)のみ疑似カラー表示し、それ以外の高酸素領域(60〜100%)についてはそのままの色で表示した、すなわち、白色画像Wの一部のみを疑似カラー表示したが、これに代えて、低酸素領域から高酸素領域に至る全ての領域において、酸素飽和度を疑似カラーで表示してもよい。
さらに、上記実施形態では、半導体光源としてレーザダイオードからなるレーザ光源を例示したが、レーザダイオードの代わりにLEDを使用したLED光源でもよい。
なお、上記実施形態では、光源装置とプロセッサ装置が別体で構成される例で説明したが、2つの装置を一体で構成してもよい。また、本発明は、撮像素子と超音波トランスデューサが先端部に内蔵された超音波内視鏡と画像処理を行うプロセッサ装置からなるシステム、カプセル内視鏡と画像処理を行うプロセッサ装置からなるシステム等、他の形態の内視鏡システムにも適用することができる。
10、100、200 内視鏡システム
14 モニタ
31 半導体光源ユニット
32、207 光源制御部
44、201 撮像素子
57 DSP
58 画像処理部
62、101 機能画像処理部
63 疑似分光画像生成部
67 血管深さ画像生成部
68 酸素飽和度画像生成部
90 ヒストグラム解析部
91 トーンカーブ生成部
203 白色光源ユニット
204 回転フィルタ
LD1〜LD3 レーザ光源
PB1〜PB3 分光画像
PB1′、PB2′、PB3′ 疑似分光画像
TCa、TCb、T1〜T3 トーンカーブ
HG1〜HG3 濃度ヒストグラム

Claims (16)

  1. 互いに異なる波長成分を有する第1及び第2照明光を、順次、被検体内に照射する照明手段と、
    前記第1照明光の反射像を撮像することによって第1画像を取得するとともに、前記第2照明光の反射像を撮像することによって第2画像を取得する画像取得手段と、
    前記第1及び第2画像の特徴量を求める特徴量算出手段と、
    前記第1及び第2画像の特徴量に基づいて前記第1画像を階調変換することにより、前記第1画像と位置ズレがなく、かつ、前記第2画像と略同一の特徴量を有する疑似第2画像を生成する階調変換手段と、
    前記第1画像と前記疑似第2画像に基づいて、前記血中ヘモグロビンの酸素飽和度を画像化した酸素飽和度画像を動画表示する動画表示手段とを備えることを特徴とする内視鏡システム。
  2. 前記特徴量算出手段は、前記第1画像と前記第2画像の濃度ヒストグラムを解析するヒストグラム解析部を有し、
    前記階調変換手段は、前記第2画像の濃度ヒストグラムと略一致するように、前記第1画像を濃淡変換処理することによって、前記疑似第2画像を生成する疑似画像生成部を有することを特徴とする請求項1記載の内視鏡システム。
  3. 前記ヒストグラム解析部は、前記第1、第2画像の複数エリア毎に、前記濃度ヒストグラムの解析を行い、
    前記疑似画像生成部は、前記第1画像及び前記第2画像の各エリア間で濃度ヒストグラムが略一致するように、前記第1画像の各エリアに対して前記濃度変換処理を行うことを特徴とする請求項2記載の内視鏡システム。
  4. 前記濃度変換処理では、前記第1画像と前記第2画像の濃度ヒストグラムの比較演算により生成されるトーンカーブが用いられることを特徴とする請求項2または3記載の内視鏡システム。
  5. 前記照明手段は、前記第1照明光を発光する第1半導体光源と、前記第2照明光を発光する第2半導体光源とからなることを特徴とする請求項1ないし4いずれか1項記載の内視鏡システム。
  6. 前記照明手段は、前記第1照明光の波長域の光、及び、前記第2照明光の波長域の光を含む広帯域光を発光する光源と、前記光源からの広帯域光を波長分離することによって前記第1照明光、及び、前記第2照明光を生成する波長分離部とを備えることを特徴とする請求項1ないし4いずれか1項記載の内視鏡システム。
  7. 前記照明手段は、前記第1照明光として波長域が特定の青色領域に制限された第1青色狭帯域光を含む広帯域の広帯域光と、前記第2照明光として波長域が特定の青色領域に制限された第2青色狭帯域光とを、順次、被検体内に照射し、
    前記画像取得手段は、前記第1照明光の反射像をカラーの撮像素子で撮像することにより第1青色画像を含む複数色の画像を取得するとともに、前記第2照明光の反射像をカラーの撮像素子で撮像することにより第2青色画像を含む複数色の画像を取得し、
    前記特徴量算出手段は、前記第1、第2青色画像の特徴量を求め、
    前記階調変換手段は、前記第1、第2青色画像の特徴量に基づいて前記第1青色画像を階調変換することにより、前記第1青色画像と位置ズレがなく、かつ、前記第2青色画像と略同一の特徴量を有する疑似第2青色画像を生成し、
    前記動画表示手段は、前記第1青色画像、及び、前記疑似第2青色画像に基づいて、前記血中ヘモグロビンの酸素飽和度を画像化した酸素飽和度画像を動画表示することを特徴とする請求項1ないし6いずれか1項記載の内視鏡システム。
  8. 前記第1照明光は、波長域が440±10nmに制限された前記第1青色狭帯域光と、前記第1青色狭帯域光を波長変換部材で波長変換した蛍光を含む白色光であり、
    前記第2青色狭帯域光は、波長域が470±10nmに制限された光であることを特徴とする請求項7記載の内視鏡システム。
  9. 前記照明手段は、前記第1、第2照明光に加え、波長域が特定の青色領域に制限された第3青色狭帯域光を含む第3照明光を、順次、被検体内に照射し、
    前記画像取得手段は、前記第1、第2青色画像に加え、前記第3照明光の反射像をカラーの撮像素子で撮像することにより第3青色画像を含む複数色の画像を取得し、
    前記特徴量算出手段は、前記第1、第2青色画像に加え、前記第3青色画像の特徴量を求め、
    前記階調変換手段は、前記疑似第2青色画像に加え、前記第1、第3青色画像の特徴量に基づいて前記第1青色画像を階調変換することにより、前記第1青色画像と位置ズレがなく、かつ、前記第3青色画像と略同一の特徴量を有する疑似第3青色画像を生成し、
    前記動画表示手段は、前記第1青色画像、及び、前記疑似第2青色画像に加え、前記疑似第3青色画像に基づいて、前記血中ヘモグロビンの酸素飽和度を画像化した酸素飽和度画像を動画表示することを特徴とする請求項7または8記載の内視鏡システム。
  10. 前記第3青色狭帯域光は、波長域が440±10nmに制限された光であることを特徴とする請求項9記載の内視鏡システム。
  11. 前記第3青色狭帯域光は、波長域が400±10nmに制限された光であることを特徴とする請求項9記載の内視鏡システム。
  12. 前記照明手段は、前記第1照明光として波長域が特定の青色領域に制限された第1青色狭帯域光を含む広帯域の広帯域光と、前記第2照明光として波長域が特定の青色領域に制限された第2青色狭帯域光を含む広帯域の広帯域光とを、順次、被検体内に照射し、
    前記画像取得手段は、前記第1照明光の反射像をカラーの撮像素子で撮像することにより第1青色画像、第1緑色画像、及び第1赤色画像を取得するとともに、前記第2照明光の反射像をカラーの撮像素子で撮像することにより第2青色画像を含む複数色の画像を取得し、
    前記特徴量算出手段は、前記第1、第2青色画像の特徴量を求め、
    前記階調変換手段は、前記第1、第2青色画像の特徴量に基づいて前記第1青色画像を階調変換することにより、前記第1青色画像と位置ズレがなく、かつ、前記第2青色画像と略同一の特徴量を有する疑似第2青色画像を生成し、
    前記動画表示手段は、前記第1緑色画像、前記第1赤色画像、及び前記疑似第2青色画像に基づいて、前記血中ヘモグロビンの酸素飽和度を画像化した酸素飽和度画像を動画表示することを特徴とする請求項7ないし12いずれか1項記載の内視鏡システム。
  13. 前記第1照明光は、波長域が440±10nmに制限された前記第1青色狭帯域光と、前記第1青色狭帯域光を波長変換部材で波長変換した蛍光を含む第1白色光であり、
    前記第2照明光は、波長域が470±10nmに制限された前記第2青色狭帯域光と、前記第2青色狭帯域光を波長変換部材で波長変換した蛍光を含む第2白色光であることを特徴とする請求項12記載の内視鏡システム。
  14. 第1照明光が照射された被検体像を撮像して得られる第1画像と、前記第1照明光と異なる前記第2照明光が照射された被検体像を、前記第1画像と異なるフレームで撮像することによって得られる第2画像を含む複数の画像を処理する画像処理装置において、
    前記第1及び第2画像の特徴量を求める特徴量算出手段と、
    前記第1及び第2画像の特徴量に基づいて前記第1画像を階調変換することにより、フレーム間の位置ズレを補正した第2画像に相当する疑似第2画像を生成する階調変換手段と、
    前記第1画像と前記疑似第2画像に基づいて、前記血中ヘモグロビンの酸素飽和度を画像化した酸素飽和度画像を表示手段に動画表示するための表示制御手段とを備えることを特徴とする画像処理装置。
  15. 第1照明光が照射された被検体像を撮像して得られる第1画像と、前記第1照明光と異なる前記第2照明光が照射された被検体像を、前記第1画像と異なるフレームで撮像することによって得られる第2画像を含む複数の画像を処理する画像処理方法において、
    前記第1及び第2画像の特徴量を求めるステップと、
    前記第1及び第2画像の特徴量に基づいて前記第1画像を階調変換することにより、前記第1画像と位置ズレがなく、かつ、前記第2画像と略同一の特徴量を有する疑似第2画像を生成するステップと、
    前記第1画像と前記疑似第2画像に基づいて、前記血中ヘモグロビンの酸素飽和度を画像化した酸素飽和度画像を表示手段に動画表示するための表示制御を行うステップとを有することを特徴とする画像処理方法。
  16. 第1照明光が照射された被検体像を撮像して得られる第1画像と、前記第1照明光と異なる前記第2照明光が照射された被検体像を、前記第1画像と異なるフレームで撮像することによって得られる第2画像を含む複数の画像を処理する画像処理プログラムにおいて、
    コンピュータを、
    前記第1及び第2画像の特徴量を求める特徴量算出手段、
    前記第1及び第2画像の特徴量に基づいて前記第1画像を階調変換することにより、前記第1画像と位置ズレがなく、かつ、前記第2画像と略同一の特徴量を有する疑似第2画像を生成する階調変換手段、及び
    前記第1画像と前記疑似第2画像に基づいて、前記血中ヘモグロビンの酸素飽和度を画像化した酸素飽和度画像を表示手段に動画表示するための表示制御手段として機能させるための画像処理プログラム。
JP2012090262A 2012-04-11 2012-04-11 内視鏡システム、画像処理装置、画像処理装置の作動方法、及び画像処理プログラム Active JP5829568B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012090262A JP5829568B2 (ja) 2012-04-11 2012-04-11 内視鏡システム、画像処理装置、画像処理装置の作動方法、及び画像処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012090262A JP5829568B2 (ja) 2012-04-11 2012-04-11 内視鏡システム、画像処理装置、画像処理装置の作動方法、及び画像処理プログラム

Publications (2)

Publication Number Publication Date
JP2013215471A true JP2013215471A (ja) 2013-10-24
JP5829568B2 JP5829568B2 (ja) 2015-12-09

Family

ID=49588347

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012090262A Active JP5829568B2 (ja) 2012-04-11 2012-04-11 内視鏡システム、画像処理装置、画像処理装置の作動方法、及び画像処理プログラム

Country Status (1)

Country Link
JP (1) JP5829568B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016055110A (ja) * 2014-09-12 2016-04-21 富士フイルム株式会社 内視鏡システム及びその作動方法
JP2016093210A (ja) * 2014-11-12 2016-05-26 ソニー株式会社 画像処理装置、画像処理方法、並びにプログラム
EP3395227A4 (en) * 2015-12-22 2019-01-09 Fujifilm Corporation ENDOSCOPY SYSTEM AND OPERATING PROCEDURES FOR THE ENDOSCOPE SYSTEM
WO2019044082A1 (ja) * 2017-08-28 2019-03-07 富士フイルム株式会社 医用画像処理装置、方法およびプログラム

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016055110A (ja) * 2014-09-12 2016-04-21 富士フイルム株式会社 内視鏡システム及びその作動方法
JP2016093210A (ja) * 2014-11-12 2016-05-26 ソニー株式会社 画像処理装置、画像処理方法、並びにプログラム
US10799101B2 (en) 2014-11-12 2020-10-13 Sony Corporation Image processing apparatus, image processing method, and program
US11766167B2 (en) 2014-11-12 2023-09-26 Sony Corporation Image processing apparatus, image processing method, and program
EP3395227A4 (en) * 2015-12-22 2019-01-09 Fujifilm Corporation ENDOSCOPY SYSTEM AND OPERATING PROCEDURES FOR THE ENDOSCOPE SYSTEM
US11399751B2 (en) 2015-12-22 2022-08-02 Fujifilm Corporation Endoscope system and method of operating endoscope system
WO2019044082A1 (ja) * 2017-08-28 2019-03-07 富士フイルム株式会社 医用画像処理装置、方法およびプログラム
JPWO2019044082A1 (ja) * 2017-08-28 2020-05-28 富士フイルム株式会社 医用画像処理装置、方法およびプログラム
US11164296B2 (en) 2017-08-28 2021-11-02 Fujifilm Corporation Medical image processing apparatus, medical image processing method, and medical image processing program

Also Published As

Publication number Publication date
JP5829568B2 (ja) 2015-12-09

Similar Documents

Publication Publication Date Title
JP5303012B2 (ja) 内視鏡システム、内視鏡システムのプロセッサ装置及び内視鏡システムの作動方法
JP5393554B2 (ja) 電子内視鏡システム
US10335014B2 (en) Endoscope system, processor device, and method for operating endoscope system
US9675238B2 (en) Endoscopic device
JP5753105B2 (ja) 電子内視鏡システム、画像処理装置及び画像処理装置の作動方法
JP5452300B2 (ja) 電子内視鏡システム、電子内視鏡用のプロセッサ装置、電子内視鏡システムの作動方法、病理観察装置および病理顕微鏡装置
JP5395725B2 (ja) 電子内視鏡システム
JP5623348B2 (ja) 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法
US9028396B2 (en) Endoscope system, processing unit therefor, and image processing method
JP5457247B2 (ja) 電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び電子内視鏡システムの作動方法
JP5634755B2 (ja) 電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び電子内視鏡システムの作動方法
JP5623469B2 (ja) 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡用制御プログラム
JP5774531B2 (ja) 内視鏡システム、内視鏡システムのプロセッサ装置、内視鏡システムの作動方法、及び画像処理プログラム
US9629527B2 (en) Endoscope system, processor device of endoscope system, and image processing method
JP5757891B2 (ja) 電子内視鏡システム、画像処理装置、画像処理装置の作動方法及び画像処理プログラム
JP5623470B2 (ja) 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡用制御プログラム
JP6100674B2 (ja) 内視鏡用光源装置及び内視鏡システム
US20170296034A1 (en) Image processing apparatus, method for operating image processing apparatus, computer-readable recording medium, and endoscope device
JP6839773B2 (ja) 内視鏡システム、内視鏡システムの作動方法及びプロセッサ
JP5829568B2 (ja) 内視鏡システム、画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
JP2016174976A (ja) 内視鏡システム
WO2014156604A1 (ja) 内視鏡システム及びその作動方法並びにプロセッサ装置
JP2012125402A (ja) 内視鏡システム、内視鏡システムのプロセッサ装置及び機能情報取得方法
JP5844447B2 (ja) 電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び電子内視鏡システムの作動方法
JP6325707B2 (ja) 内視鏡用光源装置及び内視鏡システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141031

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150722

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150902

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150915

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151007

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151022

R150 Certificate of patent or registration of utility model

Ref document number: 5829568

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250