JP5887350B2 - 内視鏡システム及びその作動方法 - Google Patents

内視鏡システム及びその作動方法 Download PDF

Info

Publication number
JP5887350B2
JP5887350B2 JP2013532529A JP2013532529A JP5887350B2 JP 5887350 B2 JP5887350 B2 JP 5887350B2 JP 2013532529 A JP2013532529 A JP 2013532529A JP 2013532529 A JP2013532529 A JP 2013532529A JP 5887350 B2 JP5887350 B2 JP 5887350B2
Authority
JP
Japan
Prior art keywords
image
information
light
biological function
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013532529A
Other languages
English (en)
Other versions
JPWO2013035531A1 (ja
Inventor
孝明 齋藤
孝明 齋藤
山口 博司
博司 山口
飯田 孝之
孝之 飯田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2013532529A priority Critical patent/JP5887350B2/ja
Publication of JPWO2013035531A1 publication Critical patent/JPWO2013035531A1/ja
Application granted granted Critical
Publication of JP5887350B2 publication Critical patent/JP5887350B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0653Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with wavelength conversion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/14551Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/1459Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters invasive, e.g. introduced into the body by a catheter
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/94Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/063Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for monochromatic or narrow-band illumination
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4887Locating particular structures in or on the body
    • A61B5/489Blood vessels
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10152Varying illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30028Colon; Small intestine

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Optics & Photonics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Endoscopes (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Description

本発明は、血中ヘモグロビン量や酸素飽和度などの生体機能情報を画像化した生体機能情報画像を作成する内視鏡システム及び画像表示方法に関する。
近年の医療においては、光源装置と、内視鏡装置と、プロセッサ装置を備える内視鏡システムが広く用いられている。この内視鏡システムを用いた内視鏡診断では、照明光として広帯域光の白色光を用いる通常光観察の他、波長を狭帯域化した狭帯域光を用いて、検体内の血管を強調表示等させる特殊光観察も行われるようになってきている。
また、特殊光観察の他に、血管の吸光特性や生体組織の散乱特性を利用して、内視鏡装置で得られた画像信号からヘモグロビン量や酸素飽和度や血管深さなどの生体機能情報を算出し、その算出した生体機能情報を画像化することも行われている。例えば、特許文献1では、酸素飽和度の大小を異なる色で表した疑似カラーの酸素飽和度画像を作成している。この酸素飽和度画像から、低酸素状態となる癌の発見が極めて容易になる。
生体機能情報は、画像信号に基づく演算処理により得られるため、適切な撮像条件の下で得られた画像信号でなければ、酸素飽和度自体の正確性が低いものとなってしまう。例えば、検体への照明光の光量が強すぎて、画像信号の画素値が異常に高くなる場合には、その画像信号から得られる酸素飽和度の信頼性は低いと考えらえる。
この問題に対して、特許文献2及び3では、画像信号の画素値が一定の閾値よりを超えている領域を異常領域として検出し、この異常領域に対して、画素値が閾値を下回る正常領域と異なる表示にする処理や制御(例えばマスクするなど)を行っている。これにより、酸素飽和度などの生体機能情報が正確に表された領域と不正確な領域とを、ユーザが認識しやすいようにしている。
特許2648494号公報 特許2768936号公報 特許3217343号公報
特許文献2及び3のように一定の閾値を境にして異常領域と正常領域とを区別する方法においては、異常領域の画素値が閾値を大幅に超えている、即ちハレーションが起きているような場合であれば、画面上での異常領域の表示は、酸素飽和度の信頼性を正確に反映している。しかしながら、異常領域と判定された場合であっても、その異常領域の画素値が閾値を若干上回っているだけで、実際の酸素飽和度の信頼性は低くない場合には、画面上における異常領域の表示は、酸素飽和度の信頼性を正確に反映していない。反対に、正常領域と判定された場合であっても、その正常領域の画素値は閾値をわずかに下回っているだけで、実際の酸素飽和度の信頼性は低い場合は、画面上の正常領域の表示は酸素飽和度の信頼性を正確に反映していないことになる。したがって、酸素飽和度などの生体機能情報の信頼性を正確に表示することができる内視鏡システムが求められていた。
本発明は、酸素飽和度などの生体機能情報の信頼性を正確に表示することができる内視鏡システム及び画像表示方法を提供することを目的とする。
上記目的を達成するために、本発明の内視鏡システムは、画像情報取得部と、生体機能情報取得部と、第1の画像作成部と、強調画像作成部と、表示部とを備える。画像情報取得部は、検体を撮像することにより画像情報を取得する。生体機能情報取得部は、画像情報に基づき、検体が有する生体機能情報を算出する。第1の画像作成部は、生体機能情報を画像化した生体機能情報画像を作成する。強調画像作成部は、生体機能情報画像の色を変えずに、生体機能情報画像のうち、生体機能情報算出部での算出結果が異常である可能性がある異常領域内の明るい部分が更に明るくなるように強調し、明るさによって生体機能情報の信頼性を表した強調画像を作成する。表示部は、強調画像を表示する。
画像情報に基づき、白色光で照明された検体を画像化した通常光画像を作成する第2の画像作成部を備え、強調画像作成部は、生体機能情報画像を通常光画像に合成して強調画像を作成することが好ましい。
強調画像作成部は、異常領域を明るさ又は暗さのいずれか一方で強調することが好ましい。生体機能情報画像は輝度情報と色差情報から構成され、強調画像作成部は、生体機能情報画像の色差情報については情報処理を行なわず、生体機能情報画像の輝度情報については、明るい部分を更に明るくなるようにするとともに、暗い部分は更に暗くなるように情報処理することが好ましい。強調画像作成部は、生体機能情報画像において、明るい部分は更に明るくなるようにするとともに、暗い部分は更に暗くなるように、生体機能情報画像の画素値を調整することが好ましい。
生体機能情報画像中に、画素値が一定値以上のハレーション値を超えているハレーション領域が存在するか否かを検出するハレーション検出部と、ハレーション領域が検出された場合には、生体機能情報画像を表示部に表示し、ハレーション領域が検出されなかった場合には、強調画像を表示部に表示する表示制御部とを備えることが好ましい。
生体機能情報には、血中ヘモグロビンの量である血液量と、血中ヘモグロビンの酸素飽和度が含まれることが好ましい。生体機能情報算出部は、画像情報に含まれる複数の生体機能情報の中から、血液量に関する情報と酸素飽和度に関する情報を分離することが好ましい。
画像情報は、酸素飽和度の変化により吸光係数が変化する第1の波長範囲を含む第1照明光が照明された検体を撮像することにより得られる第1の画像情報と、第1の波長範囲と異なる第2の波長範囲を含む第2照明光が照明された検体を撮像することにより得られる第2の画像情報であることが好ましい。
本発明の内視鏡システムの作動方法は、画像情報取得部が、検体を撮像して画像情報を取得するステップと、生体機能情報算出部が、画像情報に基づき、検体が有する生体機能情報を算出するステップと、第1の画像作成部が、生体機能情報を画像化した生体機能情報画像を作成するステップと、強調画像作成部が、生体機能情報画像の色を変えずに、生体機能情報画像のうち、生体機能情報算出部での算出結果が異常である可能性がある異常領域内の明るい部分が更に明るくなるように強調し、明るさによって生体機能情報の信頼性を表した強調画像を作成するステップと、表示部が、強調画像を表示するステップと、を有する。
本発明によれば、生体機能情報算出部での算出結果が異常の可能性がある異常領域を、明るさ又は暗さのいずれか一方で強調した強調画像として、表示部に表示している。この強調画像で表示された異常領域は、特許文献2及び3のように閾値を設定して正常領域との境界を決めるのではなく、単に明るさ又は暗さで強調して直感的に分かるように表示しているため、酸素飽和度などの生体機能情報の信頼性を正確に知ることができる。
なお、ハレーション領域が既に存在する生体機能情報画像については、その領域の演算結果が異常であることは明確である。そこで、本発明では、ハレーション領域が既に存在する生体機能情報画像については、強調画像を作成することなく、そのまま表示部に表示している。これにより、強調画像の作成に要する時間が短縮されるため、動画性が向上する。
内視鏡システムを示す構成図である。 内視鏡システムの内部構成を示す概略図である。 スコープ先端部の先端面を示す正面図である。 酸素飽和度測定光、励起光、蛍光体の励起発光光の光量分布を示すグラフである。 撮像素子におけるカラーフィルタの透過率を示すグラフである。 第1実施形態の通常観察モードにおける撮像素子の撮像制御を示す説明図である。 第1実施形態の生体情報観察モードにおける撮像素子の撮像制御を示す説明図である。 血液量と信号比R2/G2との相関を示す説明図である。 酸素飽和度と信号比B1/G2、R2/G2との相関関係を示すグラフである。 ヘモグロビンの吸光係数を示すグラフである。 図8のグラフにおいて信号比から酸素飽和度を算出する方法を示す説明図である。 第1実施形態における強調画像処理部の内部構成を示す構成ブロック図である。 ハレーション値を示すグラフである。 ハレーション領域を有する酸素飽和度画像及びハレーション領域を通常光画像上の輝度で示す説明図である。 第1実施形態で強調酸素飽和度画像を作成する方法を示す説明図である。 生体情報観察モードにおける一連の流れを示すフローチャートである。 第2実施形態における強調画像処理部の内部構成を示す構成ブロック図である。 ゲインと輝度Yとの関係を表したグラフである。 第2実施形態で強調酸素飽和度画像を作成する方法を示す説明図である。 回転フィルタ方式の内視鏡システムの内部構成を示す概略図である。 白色光の光量分布を示すグラフである。 回転フィルタを示す平面図である。 半導体光源で光を生成するとともに、キセノンランプなどの白色光源の広帯域光から波長分離して光を生成する光源装置を示す概略図である。 Bフィルタ部、Gフィルタ部、Rフィルタ部が周方向に沿って設けられたロータリフィルタを示す平面図である。 Bフィルタ部、Gフィルタ部、Rフィルタ部の分光透過率と青色狭帯域光の発光強度を示すグラフである。 シャッタ板を示す平面図である。 青色狭帯域光BN、B光、G光、R光の内視鏡装置への供給タイミングを示す説明図である。 図22の光源装置を使用したときの通常観察モード時における撮像素子の撮像制御を示す説明図である。 図22の光源装置を使用したときの生体情報観察モード時における撮像素子の撮像制御を示す説明図である。
図1及び2に示すように、第1実施形態の内視鏡システム10は、所定の波長範囲の光を発生する光源装置11と、光源装置からの光で検体の観察領域を照明しながら、検体像を撮像する内視鏡装置12と、内視鏡装置12の撮像で得られた画像信号を処理するプロセッサ装置13と、プロセッサ装置13で処理された画像信号に基づいて検体の画像を表示する表示装置14と、プロセッサ装置13に各種情報を入力するキーボード等で構成される入力装置15とを備えている。
内視鏡システム10は、波長範囲が青色〜赤色に及ぶ可視光の検体像からなる通常光画像を表示装置14に表示する通常観察モードと、検体における血中ヘモグロビンの量を画像化した血液量画像と、ヘモグロビンの酸素飽和度を画像化した酸素飽和度画像を表示装置14に表示する生体情報観察モードとを備えている。観察モードは、内視鏡装置の切り替えスイッチ17や入力装置15によって、いずれか一方のモードに切り替えられる。
光源装置11は、2種類のレーザ光源LD1,LD2と、光源制御部20と、コンバイナ21と、カプラ22とを備えている。レーザ光源LD1は、酸素飽和度の測定に用いられる狭帯域光(酸素飽和度測定光)を発生させる。レーザ光源LD2は、内視鏡装置12の先端部に配置された蛍光体50を励起させるための励起光を発生させる。蛍光体50から励起された蛍光と励起光によって白色光が生成される。各レーザ光源LD1,LD2から発せられる光は、集光レンズ(図示省略)を介してそれぞれ対応する光ファイバ24,25に入射する。なお、レーザ光源LD1,LD2は、ブロードエリア型のInGaN系レーザダイオードが使用でき、また、InGaNAs系レーザダイオードやGaNAs系レーザダイオード等を使用することができる。
光源制御部20は、レーザ光源LD1,LD2を制御することにって、各レーザ光源の発光タイミングや光量比を調節する。本実施形態では、通常観察モードのときには、レーザ光源LD1をオフにする一方、レーザ光源LD2はオンにする。これに対して、生体情報観察モードのときには、レーザ光源LD1とレーザ光源LD2のオン・オフを交互に繰り返す。
コンバイナ21は、各光ファイバ24,25からの光を合波させる。合波した光は、分波器であるカプラ22によって4系統の光の分波される。分波された4系統の光のうち、レーザ光源LD1からの光はライトガイド26,27で導光され、レーザ光源LD2からの光はライトガイド28,29で導光される。これらライトガイド26〜29は多数の光ファイバを束ねたバンドルファイバなどから構成される。なお、コンバイナ21及びカプラ22を用いずに、各レーザ光源LD1,LD2からの光を直接ライトガイド26〜29に入れる構成としてもよい。
内視鏡装置12は電子内視鏡であり、内視鏡スコープ32と、ライトガイド26〜29で導光される4系統(4灯)の光を検体に向けて照射する照明部33と、観察領域を撮像する1系統の撮像部34と、内視鏡スコープ32の先端部の湾曲操作や観察のための操作を行う操作部35と、内視鏡スコープ32と光源装置11及びプロセッサ装置13とを着脱自在に接続するコネクタ部36とを備えている。
内視鏡スコープ32には、操作部35側から順に、軟性部38、湾曲部39、スコープ先端部40が設けられている。軟性部38は、内視鏡スコープ挿入時に屈曲自在にするために、可撓性を有している。湾曲部39は、操作部35に配置されたアングルノブ35aの回動操作により湾曲自在に構成されている。この湾曲部39は、検体の部位等に応じて、任意の方向、任意の角度に湾曲させることができるため、スコープ先端部40を所望の観察部位に向けることができる。
スコープ先端部40には照明部33と撮像部34が設けられている。撮像部34は、スコープ先端部40の略中心位置に、観察領域からの光を受光する1つの観察窓42を備えている。照明部33は、撮像部34の両脇に設けられた2つの照明窓43,44を備えており、各照明窓43、44は、酸素飽和度測定光と白色光の2種類の光のうちのいずれかを観察領域に向けて照射する。
一方の照明窓43の奥には2つの投光ユニット46,47が収納されている。一方の投光ユニット46では、ライドガイド26からの酸素飽和度測定光を、レンズ48を介して観察領域に向けて照射する。もう一方の投光ユニット47では、ライドガイド28からの励起光を蛍光体50に当てることによって白色光を発光させ、その発光した白色光をレンズ51を介して観察領域に向けて照射する。なお、他方の照明窓44の奥にも、上記投光ユニット46と同様の投光ユニット53と、上記投光ユニット47と同様の投光ユニット54の2つが収納されている。
図3に示すように、照明窓43,44は、スコープ先端部40において、観察窓42を挟んでその両側に配置されている。また、4つの投光ユニット46,47,53,54は、蛍光体50を備える投光ユニット47,54の出射面間を結ぶ直線LAと、蛍光体50を備えていない投光ユニット46,53の出射面間を結ぶ直線LBとが、観察窓42の中心部で交差するように、互い違いに配置されている。このような配置にすることによって、照明ムラの発生を防止することができる。
蛍光体50は、レーザ光源LD2からの励起光の一部を吸収して緑色〜赤色に励起発光する複数種の蛍光物質(例えばYAG系蛍光物質、或いはBAM(BaMgAl1017)等の蛍光物質)を含んで構成される。励起光が蛍光体50に照射されると、蛍光体50から発せられる緑色〜赤色の励起発光光(蛍光)と、蛍光体50に吸収されず透過した励起光とが合わされて、白色光(疑似白色光)が生成される。なお、蛍光体50は略直方体形状を有していることが好ましい。この場合、蛍光体50は、蛍光体物質をバインダで略直方体状に固めて形成してもよく、また、無機ガラスなどの樹脂に蛍光体物質を混合したものを略直方体状に形成してもよい。なお、蛍光体50は、商品名としてマイクロホワイト(登録商標)(Micro White(MW))とも呼ばれている。
したがって、蛍光体50を備える投光ユニット47,54から発せられる白色光は、図4に示すように、中心波長445nmの励起光の波長範囲(例えば、440〜460nm)と、その励起光によって励起発光する蛍光において発光強度が増大する概ね450nm〜700nmの波長範囲とを有する発光スペクトルとなる。一方、蛍光体50を備えていない投光ユニット46,53から発せられる酸素飽和度測定光は、中心波長473nmの近傍に波長範囲(例えば、460〜480nm)を有する発光スペクトルとなる。
なお、ここで、本明細書中の白色光とは、厳密に可視光の全ての波長成分を含むものに限らず、例えば、上述した疑似白色光を始めとして、基準色であるR(赤),G(緑),B(青)等、特定の波長帯の光を含むものであればよい。つまり、白色光には、例えば、緑色から赤色にかけての波長成分を含む光や、青色から緑色にかけての波長成分を含む光等も広義に含まれるものとする。
観察窓42の奥には、検体の観察領域の像光を取り込むための対物レンズユニット(図示省略)等の光学系が設けられており、さらにその対物レンズユニットの奥には、観察領域の像光を受光して観察領域を撮像するCCD(Charge Coupled Device)やCMOS(Complementary
Metal-Oxide Semiconductor)などの撮像素子60が設けられている。
撮像素子60は、対物レンズユニットからの光を受光面(撮像面)で受光し、受光した光を光電変換して撮像信号(アナログ信号)を出力する。撮像素子60はカラーCCDであり、その受光面には、R色のカラーフィルタが設けられたR画素、G色のカラーフィルタが設けられたG画素、B色のカラーフィルタが設けられたB画素を1組とする画素群が、多数マトリックス状に配列されている。これらB色、G色、R色のカラーフィルタは、図5に示す曲線63,64,65で表される分光透過率を有している。
撮像素子60から出力される撮像信号(アナログ信号)は、スコープケーブル67を通じてA/D変換器68に入力される。A/D変換器68は、撮像信号(アナログ信号)をその電圧レベルに対応する画像信号(デジタル信号)に変換する。変換後の画像信号は、コネクタ部36を介して、プロセッサ装置13の画像処理部73に入力される。
撮像制御部70は撮像素子60の撮像制御を行う。図6Aに示すように、通常観察モード時には、1フレーム期間内で、白色光(445nm+蛍光体(本実施形態では445nmの励起光を蛍光体50に当てて白色光を発生させるため、このように表記する))を光電変換して得られる電荷を蓄積するステップと、蓄積した電荷を読み出すステップの合計2ステップが行われる。これは通常観察モード中、所定のサイクルで繰り返し行われる。通常観察モードでは、撮像素子60のB画素から出力される青色信号Bcと、G画素から出力される緑色信号Gcと、R画素から出力される赤色信号Rcとが得られる。
一方、生体情報観察モード時には、図6Bに示すように、1フレーム期間内で、酸素飽和度測定光(473nmの狭帯域光)を光電変換して得られる電荷を蓄積するステップと、蓄積した電荷を読み出すステップの合計2ステップが行われる(1フレーム目)。その次に、1フレーム期間内で、白色光(445nm+MW)を光電変換して得られる電荷を蓄積するステップと、蓄積した電荷を読み出すステップの合計2ステップが行われる(2フレーム目)。これら合計2フレームの撮像制御は、所定のサイクルで繰り返し行われる。
生体情報観察モードでは、1フレーム目に、撮像素子60のB画素から出力される青色信号B1と、G画素から出力される緑色信号G1と、R画素から出力される赤色信号R1が得られ、2フレーム目に、B画素から出力される青色信号B2と、G画素から出力される緑色信号G2と、R画素から出力される赤色信号R2とが得られる。なお、2フレーム目のB2、G2、R2は、通常観察モード時に得られるBc、Gc、Rcと同じである。
なお、図示はしていないが、内視鏡装置12における操作部35及び内視鏡スコープ32の内部には、組織採取用処置具等を挿入する鉗子チャンネルや、送気・送水用のチャンネル等、各種のチャンネルが設けられている。
図2に示すように、プロセッサ装置13は、制御部72と、画像処理部73と、記憶部74とを備えており、制御部72には表示装置14及び入力装置15が接続されている。制御部72は、内視鏡装置12の切り替えスイッチ17や入力装置15からの入力情報に基づいて、画像処理部73、光源装置11の光源制御部20、内視鏡装置12の撮像制御部70、及び表示装置14の動作を制御する。
画像処理部73は通常光画像処理部80、機能情報画像処理部82、強調画像処理部90を備えており、内視鏡装置12からの画像信号に対して、所定の画像処理を施す。
通常光画像処理部80は、画像信号に対して所定の画像処理を施すことによって、通常光画像を作成する。通常光画像は輝度Yと色差信号Cb,Crからなる映像信号で構成される。輝度Yには、通常観察モード時に得られる緑色信号Gc又は生体情報観察モード時に得られる緑色信号G2が割り当てられる。色差信号Cbには、通常観察モード時に得られる青色信号Bcと緑色信号Gcの差分値(Bc−Gc)、又は生体情報観察モード時に得られる青色信号B2と緑色信号G2の差分値(B2−G2)が割り当てられる。色差信号Crには、通常観察モード時に得られる赤色信号Rcと緑色信号Gcの差分値(Rc−Gc)、又は生体情報観察モード時に得られる赤色信号R2と緑色信号G2の差分値(R2−G2)が割り当てられる。
機能情報画像処理部82は、内視鏡装置12から入力される画像信号に基づき検体の血液量及び血中ヘモグロビンの酸素飽和度の情報を算出するとともに、この血液量を画像化した血液量画像と酸素飽和度を画像化した酸素飽和度画像とを作成する。機能情報画像処理部82は、信号比算出部84と、相関関係記憶部85と、血液量及び酸素飽和度算出部86と、血液量画像作成部87と、酸素飽和度画像作成部88とを備えている。
信号比算出部84は、生体情報観察モード時に取得する1フレーム目の画像信号と2フレーム目の画像信号において、各画素間の強度比を算出する。信号比は画面全体に対して算出される。本実施形態では、信号比算出部84は、1フレーム目の青色信号B1と2フレーム目の緑色信号G2との信号比B1/G2と、2フレーム目の緑色信号G2と赤色信号R2との信号比R2/G2とを求めている。なお、信号比は画像信号のうち血管部分の画素のみ求めてもよい。この場合、血管部分は、血管部分の画像信号とそれ以外の部分の画像信号との差に基づいて特定される。
相関関係記憶部85は、信号比B1/G2及びR2/G2と血液量及び酸素飽和度との相関関係を記憶している。信号比と血液量との相関関係は、図7に示すように、信号比R2/G2が大きくなればなるほど血液量も多くなるように定義されている。この相関関係は、1次元テーブルの形式で記憶されている。なお、信号比R2/G2はlogスケールで表されている。
一方、信号比と酸素飽和度との相関関係は、図8に示す二次元空間上に酸素飽和度の等高線を定義した2次元テーブルで記憶されている。この等高線の位置、形は光散乱の物理的なシミュレーションで得られ、血液量に応じて変わるように定義されている。例えば、血液量の変化があると、各等高線間の間隔が広くなったり、狭くなったりする。なお、信号比B1/G2,R2/G2はlogスケールで表されている。
なお、上記相関関係は、図9に示すような酸化ヘモグロビンや還元ヘモグロビンの吸光特性や光散乱特性と密接に関連性し合っている。曲線81は酸化ヘモグロビンの吸光係数を、曲線91は還元ヘモグロビンの吸光係数を示している。例えば、473nmのように吸光係数の差が大きい波長では、酸素飽和度の情報を取り易い。しかしながら、473nmの光に対応する信号を含む青色信号は、酸素飽和度だけでなく血液量にも依存度が高い。そこで、青色信号B1に加え、主として血液量に依存して変化する光に対応する赤色信号R2と、青色信号B1と赤色信号R2のリファレンス信号となる緑色信号G2から得られる信号比B1/G2及びR2/G2を用いることで、血液量に依存することなく、酸素飽和度を正確に求めることができる。
また、血中ヘモグロビンの吸光係数の波長依存性から、以下の3つのことが言える。
(1)波長470nm近辺(例えば、中心波長470nm±10nmの青色の波長領域)では酸素飽和度の変化に応じて吸光係数が大きく変化する。
(2)540〜580nmの緑色の波長範囲で平均すると、酸素飽和度の影響を受けにくい。
(3)590〜700nmの赤色の波長範囲では、酸素飽和度によって一見吸光係数が大きく変化するように見えるが、吸光係数の値自体が非常に小さいので、結果的に酸素飽和度の影響を受けにくい。
血液量及び酸素飽和度算出部86は、相関関係記憶部85に記憶された相関関係と信号比算出部84で求めた信号比B1/G2、R2/G2とを用いて、各画素における血液量及び酸素飽和度の両方を求める。血液量は、相関関係記憶部85の1次元テーブルにおいて信号比算出部84で求めた信号比R2/G2に対応する値となる。一方、酸素飽和度については、まず、図10に示すように、信号比算出部84で求めた信号比B1/G2、R2/G2に対応する対応点Pを二次元空間上で特定する。
そして、対応点Pが酸素飽和度=0%限界の下限ライン130と酸素飽和度=100%限界の上限ライン131との間にある場合、対応点Pが位置する等高線が示すパーセント値が、酸素飽和度となる。例えば、図10の場合であれば、対応点Pは60%の等高線上に位置しているため、酸素飽和度は60%となる。なお、対応点が下限ライン130よりも上方に位置するときには酸素飽和度を0%とし、対応点が上限ライン131よりも下方に位置するときには酸素飽和度を100%とする。なお、この場合には、酸素飽和度の信頼度を下げて表示しないようにしてもよい。
血液量画像作成部87は、血液量及び酸素飽和度算出部86で求めた血液量を疑似カラーで表した血液量画像を作成する。血液量画像は、輝度Yと色差信号Cb,Crからなる映像信号で構成される。輝度Yには、ヘモグロビンによる吸収がやや強い波長帯域の反射光の情報を含んでいる緑色信号G2を割り当てる。G2を割り当てることで、疑似カラー画像の全体的な明るさを定義することができるため、粘膜の凹凸や血管などの視認性が向上する。
一方、色差信号Cb,Crは、カラーテーブル87aに従って、血液量に応じた信号値が割り当てられる。カラーテーブル87aは、色差信号Cbについては血液量が大きくなるほど信号値が低下するように定義され、色差信号Crについては血液量が大きくなるほど信号値が増加するように定義されている。したがって、血液量画像は、血液量が多いところでは赤味が増し、血液量が少なくなるにつれて赤味の彩度が下がってモノクロに近づいていく。
酸素飽和度画像作成部88は、血液量及び酸素飽和度算出部86で求めた酸素飽和度を疑似カラーで表した酸素飽和度画像を作成する。酸素飽和度画像は、血液量画像と同様、輝度Yと色差信号Cb,Crからなる映像信号で構成される。輝度Yには、全体的な明るさが定義でき、且つ粘膜の凹凸や血管などの視認性を向上させることができる緑色信号G2が割り当てられる。色差信号Cb,Crには、カラーテーブル88aに従い、酸素飽和度に応じた信号値が割り当てられる。
カラーテーブル88aは、高酸素飽和度下では色差信号Crの信号値が正、色差信号Cbの信号値が負となるように定義され、低酸素飽和度下では、反対に色差信号Crの信号値が負、色差信号Cbの信号値が正となるように定義されている。そして、中酸素飽和度下において、色差信号Crの信号値と色差信号Cbの信号値の大小関係が逆転するように定義されている。このように定義することにより、酸素飽和度が低い方から高い方に大きくなるにつれて、酸素飽和度画像の色味は青→水色→緑→黄色→橙→赤に変化する。
図11に示すように、強調画像処理部90は、血液量画像又は酸素飽和度画像中に、血液量及び酸素飽和度算出部86での算出結果が異常となっているハレーション領域が存在するか否かを検出するハレーション検出部90aと、ハレーション領域が検出されなかった血液量画像又は酸素飽和度画像に、通常光画像を合成することにより、血液量及び酸素飽和度算出部86での算出結果が異常である可能性が高い第1異常領域を強調した強調画像を作成する強調画像作成部90bとを備えている。
ハレーション検出部90aは、血液量画像又は酸素飽和度画像において、図12に示すようなハレーション値H以上の輝度Yを有するハレーション領域が存在するか否かを検出する。例えば、図13に示す酸素飽和度画像92の場合であれば、領域93は、輝度Y1がハレーション値Hを超えているため、ハレーション領域93として検出される。ハレーション領域93が検出された酸素飽和度画像92は、そのまま表示装置14に表示される。ハレーション領域93は輝度Yが極めて大きいため、表示装置14上で極めて明るく表示される。これにより、表示装置14を観察している術者は、そのハレーション領域については酸素飽和度の演算結果が異常であること、即ち信頼度が低いことを直感的に把握することができる。
強調画像作成部90bは、ハレーション領域が検出されなかった血液量画像に通常光画像を合成して強調血液量画像を作成し、またハレーション領域が検出されなかった酸素飽和度画像に通常光画像を合成して強調酸素飽和度画像を作成する。作成した強調血液量画像または強調酸素飽和度画像は表示装置14に表示される。合成時には、血液量画像又は酸素飽和度画像の輝度Yにのみ通常光画像の輝度Yを足し込み、血液量画像又は酸素飽和度画像の色差信号Cb,Crについては通常光画像の色差信号Cb,Crを足し込まない。これにより、血液量画像及び酸素飽和度画像の色味を変えずに、明るさだけ変化させることができる。なお、ハレーション領域が検出された場合にも、上記と同様にして、強調血液量画像又は強調酸素飽和度画像を作成してもよい。
例えば、図14に示すように、輝度Y2がハレーション値Hをわずかに下回っている領域94がある酸素飽和度画像96と、輝度Y3がハレーション値Hをわずかに下回っている領域95がある通常光画像97(領域95は領域94と略同一の位置)を合成する場合、酸素飽和度画像95の輝度Y2に通常光画像97の輝度Y3を足し合わせて強調酸素飽和度画像98を作成する。合成後の強調酸素飽和度画像98においては、領域94,95に対応する領域99は、その輝度Y4がハレーション値Hを越えることによって、強調表示されるようになる。
領域99は、ハレーション領域と同程度に明るく、又はハレーション領域よりも若干暗く表示される。したがって、領域99は、酸素飽和度の演算結果が異常であること又は異常である可能性が高いこと、即ち信頼度の低さを直感的に把握することができる第1異常領域99となる。なお、図14では、第1異常領域99は、輝度Y4がハレーション値Hを超えているが、必ずしも合成後の輝度Yがハレーション値Hを超える必要はなく、例えば、合成により、輝度Yがハレーション値Hに接近すればよい。
次に、本発明の作用について図15のフローチャートに沿って説明する。なお、通常観察モードの元では、内視鏡スコープ32を体内、例えば消化管内に挿入する。アングルノブ35aの操作によって、所望の観察部位にスコープ先端部40をセットし、通常観察を行う。この通常観察では、白色光で照明された観察領域のカラーの通常光画像が表示装置14に表示される。
そして、観察部位が病変部と推測される場合は、内視鏡装置の切り替えスイッチ17によって、生体情報観察モードに切り替える。これにより、スコープ先端部40から中心波長473nmの狭帯域光である酸素飽和度測定光が検体内に照射される。検体からの反射光は、B画素、G画素、R画素を備える撮像素子60で光電変換される。これにより、青色信号B1、緑色信号G1、赤色信号R1からなる1フレーム目の画像信号が得られる(フレーム1)。
1フレーム目の画像信号が得られると、中心波長445nmの励起光がスコープ先端部40の蛍光体50に照射される。これにより、蛍光体から白色光が発光され、発光された白色光は検体に照射される。検体からの戻り光を撮像素子60で受光して撮像することにより、青色信号B2、緑色信号G2、赤色信号R2からなる2フレーム目の画像信号が得られる(フレーム2)。
2フレーム目の画像信号が得られると、それら2フレーム目の画像信号B2、G2、R2から通常光画像を作成する。また、1フレーム目の画像信号B1及び2フレーム目の画像信号G2、R2から血液量及び酸素飽和度の算出を行う。まず、1フレーム目の画像信号と2フレーム目の画像信号間で同じ位置の画素について、信号比B1/G2、R2/G2を求める。信号比は全ての画素について求める。信号比が求まると、相関関係記憶部85に記憶している相関関係から、信号比B1/G2、R2/G2に対応する血液量及び酸素飽和度を求める。血液量及び酸素飽和度は、画面内の全ての画素について求める。
全ての画素について血液量及び酸素飽和度が求まると、血液量画像作成部87内のカラーテーブル87aを参照し、血液量に対応する色差信号Cb,Crを求める。そして、この求めた色差信号Cb,Crと、緑色信号G2が割り当てられた輝度Yとから、血液量が疑似カラーで表された血液量画像を作成する。また、この血液量画像と同様に、カラーテーブル88aを用いて、酸素飽和度が疑似カラーで表された酸素飽和度画像を作成する。
次に、作成された血液量画像及び酸素飽和度画像中に、輝度Yがハレーション値Hを超えるハレーション領域が存在するか否かを検出する。ハレーション領域が検出された血液量画像及び酸素飽和度画像は、そのまま表示装置14に並んで表示される。一方、ハレーション領域が検出されなかった場合には、血液量画像と通常光画像を合成して輝度Yをアップした強調血液量画像と、酸素飽和度画像と通常光画像を合成して輝度Yをアップした強調酸素飽和度画像を作成する。これら強調血液量画像及び強調酸素飽和度画像は輝度Yがアップしているので、輝度Yがハレーション値Hを超える又はハレーション値Hに近づいた第1異常領域が作成される。
以上のように、ハレーション領域が存在する血液量画像及び酸素飽和度画像は、輝度Yをアップすることなく、そのまま表示装置14に表示することで、そのハレーション領域における演算結果が異常であり、それ以外の領域の演算結果は正常であることを術者に認識させることができる。一方、ハレーション領域が存在しない血液量画像及び酸素飽和度画像については、通常光画像との画像合成によって強調血液量画像及び強調酸素飽和度画像を作成する。作成された強調血液量画像及び強調酸素飽和度画像を、表示装置14に表示する。これにより、強調血液量画像及び強調酸素飽和度画像中の第1異常領域での演算結果が、異常又は異常である可能性が高く、それ以外は正常であることを術者に認識させることができる。以上の一連の処理は、生体情報観察モードに設定されている間、繰り返し行われる。
本発明の第2実施形態では、輝度Yが大きすぎて、血液量及び酸素飽和度算出部86での算出結果が異常である可能性がある第1異常領域を明るくして、その明るさで強調する一方、輝度Yが小さすぎて、血液量及び酸素飽和度算出部86での算出結果が異常である可能性がある第2異常領域を暗くして、その暗さで強調する。この第2実施形態における強調処理は、第1実施形態の強調画像処理部90に代えて、図16に示す強調画像処理部100で行われる。なお、強調画像処理部100以外については、第1実施形態と同様であるので、説明を省略する。
強調画像処理部100は、第1実施形態のハレーション検出部90aと同様のハレーション検出部100aと、ハレーション検出部100aでハレーション領域が検出されなかった血液量画像及び酸素飽和度画像に対して、第1異常領域を更に明るくするとともに第2異常領域を更に暗くする輝度調整フィルタリングを施す輝度調整フィルタ部100bとを備えている。
輝度調整フィルタ部100bは、図17に示すゲインテーブルを備えている。このゲインテーブルを用いて輝度調整フィルタリングを行うことで、輝度Yが一定の上限値Uを超えている場合には「1」以上のゲインで輝度Yが増加し、輝度Yが一定の下限値Lを下回っている場合には「1」以下のゲインで輝度Yが減少する。それ以外の場合は、「1」のゲインで輝度Yをそのままに維持する。輝度調整フィルタリングを血液量画像に施した強調血液量画像と、輝度調整フィルタリングを酸素飽和度画像に施した強調酸素飽和度画像は、表示装置14に表示される。
例えば、図18に示すように、酸素飽和度画像102において、上限値Uを超える輝度Ymを有する明るい第1異常領域103と、下限値Lを下回る輝度Ynを有する暗い第2異常領域104が存在する場合には、この酸素飽和度画像102に輝度調整フィルタリングを施すことによって、第1異常領域103の輝度Ymが更に大きくなるとともに、第2異常領域104の輝度Ynが更に小さくなった強調酸素飽和度画像105が得られる。この強調酸素飽和度画像105を表示装置14に表示したときには、第1異常領域103は極めて明るくなる一方で、第2異常領域104は極めて暗くなる。このように、第1異常領域103を明るさで強調するとともに、第2異常領域104を暗さで強調することで、術者は、第1及び第2異常領域103,104における酸素飽和度の信頼度が低いことを直感的に把握することができる。
なお、上記第1実施形態においては、血液量画像及び酸素飽和度画像中で、ハレーション領域が検出された場合にも、通常光画像との画像合成により第1異常領域を強調してもよい。また、上記第2実施形態においては、血液量画像及び酸素飽和度画像中で、ハレーション領域が検出された場合にも、輝度調整フィルタリングにより第1及び第2異常領域を強調してもよい。
また、第2実施形態では、輝度Yの調整を行うことによって第1及び第2異常領域の強調を行ったが、輝度Yの調整に代えて、画素値そのものの調整を行ってもよい。また、第1及び第2異常領域の強調を明るさと暗さの両方で行ったが、明るさと暗さのいずれか一方のみで強調を行ってもよい。
本発明の第3実施形態では、キセノンランプなどの白色光源と波長分離機能を備える回転フィルタとを用いて、血液量画像及び酸素飽和度画像の作成に必要な照明光を作成する。この第3実施形態の内視鏡システム120には、図19に示すように、第1及び2実施形態におけるレーザ光源LD1,LD2、光源制御部20、及びコンバイナ21に代えて、図20に示すような分光強度を有する白色光を発するキセノン光源等の広帯域光源121と、白色光のうち酸素飽和度測定光の波長成分または白色光をそのまま透過させる回転フィルタ122と、回転フィルタ122を透過した光が入射する光ファイバ123と、回転フィルタ122の回転を制御する回転制御部124が設けられている。
光ファイバ123に入射した光は、カプラ22で2系統の光に分波され、分波された光はそれぞれライトガイド26及び27を介して、投光ユニット46及び53から検体内に照射される。なお、これら以外については、内視鏡システム120は内視鏡システム10と同様の構成を有しているので、説明を省略する。
図21に示すように、回転フィルタ122は、白色光のうち中心波長が473nmの酸素飽和度測定光(図4参照)を透過させるバンドパスフィルタ125と、白色光をそのまま透過させる開口部126とからなる。したがって、回転フィルタ122が回転することで、酸素飽和度測定光と白色光とが交互に検体内に照射される。このとき、第1及び2実施形態と同様に、酸素飽和度測定光が照射されたときに1フレーム目の画像信号を取得し、白色光が照射されたときに2フレーム目の画像信号を取得する。そして、第1及び2実施形態と同様に、2フレーム目の画像信号から通常光画像を作成するとともに、1フレーム目及び2フレーム目の画像信号から、血液量画像、酸素飽和度画像を作成する。なお、バンドパスフィルタ125は460nm〜480nmの波長範囲の光を透過させることが好ましい。
また、第1及び2実施形態と同様に、通常光画像と血液量画像との画像合成により、血液量の算出結果に異常がある又は異常の可能性がある領域を強調させた強調血液量画像を作成するとともに、通常光画像と酸素飽和度画像との画像合成により、酸素飽和度の算出結果に異常がある又は異常の可能性が有る領域を強調させた強調酸素飽和度画像を作成する。
なお、白色光は図20のような分光強度特性を有することから、青色信号B2には400nm〜530nmの波長範囲の光に対応する信号が含まれ、緑色信号G2には540nm〜580nmの波長範囲の光に対応する信号が含まれ、赤色信号R2には590nm〜700nmの波長範囲の光に対応する信号が含まれる。
なお、血液量と酸素飽和度の算出に使用する3波長の光のうち、一部の光については、第1及び2実施形態と同様に、半導体光源の光を使用する一方、残りの光については、キセノンランプなどの白色光源の広帯域光BBから波長分離した光を使用してもよい。
本発明の第4実施形態では、図22に示す光源装置200を用いる。この光源装置200で生成された光は、内視鏡装置180に供給される。この内視鏡装置180は第1及び2実施形態の内視鏡装置12とほぼ同様の構成を備えているが、先端部の照明部33に蛍光体50が設けられていない点が内視鏡装置12と異なる。そのため、光源装置200からの光は、内視鏡装置180を介して、そのまま検体内に照射される。
また、内視鏡装置180内における撮像素子180aの構成及び撮像制御部70の動作については、第1及び2実施形態と異なっている。また、プロセッサ装置12においては、通常光画像処理部80での通常光画像の作成方法が異なり、また、機能情報画像処理部82で使用する信号が第1及び2実施形態で使用する信号と異なっている。以下においては、上記第1及び2実施形態と異なる部分についてのみ説明し、それ以外については説明を省略する。
光源装置200は、広帯域光BB(400〜700nm)を発する白色光源230と、この白色光源230からの広帯域光BBをB、G、Rの3色の光に色分離し、それら各色の光を順次内視鏡装置180に供給するロータリフィルタ234と、青色狭帯域光BNを発する半導体光源ユニット236と、広帯域光BBの光路L1上に青色狭帯域光BNの光路L2を合流させる光合流部238と、所定のタイミングにおいて、白色光源230とロータリフィルタ234との間の広帯域光BBの光路を塞ぐシャッタ板240とを備えている。
白色光源230は、広帯域光BBを放射する光源本体230aと、広帯域光BBの光量を調整する絞り230bとを備えている。光源本体230aはキセノンランプ、ハロゲンランプ、メタルハライドなどから構成される。絞り230bの開度は、光量制御部(図示省略)によって調節される。
図23に示すように、ロータリフィルタ234は、Bフィルタ部234a、Gフィルタ部234b、Rフィルタ部234cが選択的に広帯域光BBの光路L1に挿入されるように回転自在に設けられている。ロータリフィルタ234は、円板形状をしており、円周方向に3分割されて中心角が120°の扇型の領域に、それぞれBフィルタ部234a、Gフィルタ部234b、Rフィルタ部234cが設けられている。
図24に示すように、Bフィルタ部234aは広帯域光BBから青色帯域のB光を透過させ、Gフィルタ部234bは広帯域光BBから緑色帯域のG光を透過させ、Rフィルタ部234cは広帯域光BBから赤色帯域のR光を透過させる。したがって、ロータリフィルタ234の回転によって、ロータリフィルタ234からB光、G光、R光が順次出射する。
半導体光源ユニット236は、レーザ光源236a、光源制御部236bを有する。図24に示すように、レーザ光源236aは中心波長473nmの青色狭帯域光BNを発光する。このレーザ光源236aは、光源制御部236bの制御に従って、点灯及び消灯を行う。この光源制御部236bはプロセッサ装置内の制御部72によって制御される。レーザ光源236aから発光された青色狭帯域光BNは、集光レンズ236cを通して、光合流部238に向けて出射する。
光合流部238はダイクロイックミラーであり、ロータリフィルタ234からの光はそのまま透過させる一方で、半導体光源ユニット236からの青色狭帯域光BNは反射させてその光路L2を広帯域光BBの光路L1に一致させる。光合流部238を出た光は、集光レンズ242を通して、内視鏡装置180に供給される。
図25に示すように、シャッタ板240は、120°の中心角を有し、広帯域光BBを遮光する遮光部240aと、残りの240°の中心角を有し、広帯域光BBを透過させる透過部240bとを備えている。シャッタ板240は回転自在に設けられており、回転することで、遮光部240aと透過部240bが交互に選択的に広帯域光BBの光路に挿入させるようになっている。
シャッタ板240は広帯域光BBの光路L1に挿入する挿入位置と、広帯域光BBの光路L1から退避する退避位置との間で回転自在に設けられている。通常観察モードにおいては、シャッタ板240は、遮光部240aが広帯域光BBの光路L1から退避し、透過部240bが光路L1に挿入された状態で停止している。したがって、広帯域光BBは、常時ロータリフイルタ234に入射する。これにより、広帯域光BBの光路L1に挿入されている、B、G、Rの各フイルタ部234a、234b、234cの種類に応じて、B光、G光、R光の三色の光が順次生成される。
一方、生体情報観察モードにおいては、図26に示すように、シャッタ板240は、挿入位置と退避位置との間で間欠動作を繰りかえす。シャッタ板240が挿入位置に位置する挿入期間には、ロータリフィルタ234には広帯域光BBは入射しないため、ロータリフィルタ234からのB光、G光、R光は内視鏡装置180に供給されない。その代わりに、レーザ光源236aを点灯して、青色狭帯域光BNを内視鏡装置180に供給する。この挿入期間は、ロータリフィルタ234のうちのいずれか1色のフィルタ部が広帯域光BBの光路L1に挿入されてから退避するまでの期間、即ち、ロータリフィルタ234aが1/3回転する期間となっている。
そして、挿入期間が経過すると、シャッタ板240が挿入位置から退避位置に移動して、シャッタ板240が退避位置に位置する退避期間が開始する。この退避期間は、ロータリフィルタ234が1回転する期間となっている。したがって、この退避期間内に、B光、G光、R光の3色分の光が内視鏡装置180に供給される。
例えば、図26の場合であれば、第1挿入期間において、ロータリフィルタ234のRフィルタ部234cが広帯域光BBの光路L1に挿入されているときには、このRフィルタ部234cには広帯域光BBは入射せず、その代わりに、青色狭帯域光BNが内視鏡装置180に供給される。そして、次の第1退避期間が開始すると、広帯域光BBがロータリフィルタ234のBフィルタ234a,Gフィルタ234b、Rフィルタ234cを順に入射する。これにより、B光、G光、R光が、この順で内視鏡装置180に供給される。
そして、次の第2挿入期間には、ロータリフィルタ234のBフィルタ部234aが光路L1に挿入されるため、Bフィルタ部234aには広帯域光BBは入射しない。この第2挿入期間に、青色狭帯域光BNが内視鏡装置180に供給される。そして、次の第2退避期間では、広帯域光BBがロータリフィルタ234のGフィルタ234b、Rフィルタ234c、Bフィルタ234aを順に入射することで、G光、R光、B光が、この順で内視鏡装置180に供給される。
内視鏡装置180内の撮像素子180aは、上記第1及び2実施形態の撮像素子60と異なり、撮像面にマイクロカラーフィルタが設けられていないモノクロ撮像素子である。また、この撮像素子180aの撮像を制御する撮像制御部70についても、上記第1及び2実施形態と異なる動作を行う。
通常観察モードにおいては、図27Aに示すように、B、G、Rの三色の像光を順次撮像して電荷を蓄積し、この蓄積した電荷に基づいて面順次撮像信号B、G、Rを順次出力する。この一連の動作は、通常観察モードに設定されている間、繰り返される。一方、生体情報観察モードにおいては、図27Bに示すように、青色狭帯域光BN、B光、G光、R光の4つの光の像光を順次撮像して電荷を蓄積し、この蓄積した電荷に基づいて面順次撮像信号N、B、G、Rを順次出力する。こうした動作が生体情報観察モードに設定されている間、繰り返される。
プロセッサ装置内の通常光画像処理部80は、面順次撮像信号B、G、Rに基づいて、通常光画像を作成する。この通常光画像において、面順次撮像信号Bは第1及び2実施形態の青色信号B2(Bc)に略対応し、面順次撮像信号Gは第1及び2実施形態の緑色信号G2(Gc)に略対応し、面順次撮像信号Rは第1及び2実施形態のR2(Rc)に略対応している。
プロセッサ装置内の機能情報画像処理部82は、第1及び2実施形態と異なり、面順次撮像信号N、G、Rに基づいて、血液量及び酸素飽和度を算出する。ここでは、第1及び2実施形態の第1輝度比B1/G2に対応する輝度比としてN/Gを用い、第1及び2実施形態の第2輝度比R2/G2に対応する輝度比としてR/Gを用いる。これに伴って、相関関係記憶部8には、輝度比B1/G2及びR2/G2と血液量及び酸素飽和度との相関関係が記憶されている。それ以外については、第1及び2実施形態と同様の手順で処理が行われる。
なお、上記第1〜第4実施形態では、生体機能情報として血液量及び酸素飽和度を画像化したが、これに代えて又は加えて、「血液量(酸化ヘモグロビンと還元ヘモグロビンの和)×酸素飽和度(%)」から求まる酸化ヘモグロビンインデックスや、「血液量×(100−酸素飽和度)(%)」から求まる還元ヘモグロビンインデックスを画像化してもよい。
10,120 内視鏡システム
87 血液量画像作成部
88 酸素飽和度画像作成部
90,100 強調画像処理部
90a ハレーション検出部
90b 強調画像作成部
93 ハレーション領域
92,96,102 酸素飽和度画像
97 通常光画像
98,105 強調酸素飽和度画像
99,103 第1異常領域
100b 輝度調整フィルタ部
104 第2異常領域

Claims (9)

  1. 検体を撮像することにより画像情報を取得する画像情報取得部と、
    前記画像情報に基づき、前記検体が有する生体機能情報を算出する生体機能情報算出部と、
    前記生体機能情報を画像化した生体機能情報画像を作成する第1の画像作成部と、
    前記生体機能情報画像の色を変えずに、前記生体機能情報画像のうち、前記生体機能情報算出部での算出結果が異常である可能性がある異常領域内の明るい部分が更に明るくなるように強調し、明るさによって前記生体機能情報の信頼性を表した強調画像を作成する強調画像作成部と、
    前記強調画像を表示する表示部と、
    を備えることを特徴とする内視鏡システム。
  2. 前記画像情報に基づき、白色光で照明された前記検体を画像化した通常光画像を作成する第2の画像作成部を備え、
    前記強調画像作成部は、前記生体機能情報画像を前記通常光画像に合成して、前記強調画像を作成することを特徴とする請求項1記載の内視鏡システム。
  3. 前記生体機能情報画像は輝度情報と色差情報から構成され、
    前記強調画像作成部は、前記生体機能情報画像の色差情報については情報処理を行なわず、前記生体機能情報画像の輝度情報については、前記異常領域内の明るい部分が更に明るくなるように情報処理することを特徴とする請求項2記載の内視鏡システム。
  4. 前記強調画像作成部は、前記生体機能情報画像において、前記異常領域内の明るい部分が更に明るくなるように、前記生体機能情報画像の画素値を調整することを特徴とする請求項2記載の内視鏡システム。
  5. 前記生体機能情報画像中に、画素値が一定値以上のハレーション値を超えているハレーション領域が存在するか否かを検出するハレーション検出部と、
    前記ハレーション領域が検出された場合には、前記生体機能情報画像を前記表示部に表示し、前記ハレーション領域が検出されなかった場合には、前記強調画像を前記表示部に表示する表示制御部と、
    を備えることを特徴とする請求項1記載の内視鏡システム。
  6. 前記生体機能情報には、血中ヘモグロビンの量である血液量と、血中ヘモグロビンの酸素飽和度が含まれることを特徴とする請求項1記載の内視鏡システム。
  7. 前記生体機能情報算出部は、前記画像情報に含まれる複数の生体機能情報の中から、前記血液量に関する情報と前記酸素飽和度に関する情報を分離することを特徴とする請求項6記載の内視鏡システム。
  8. 前記画像情報は、酸素飽和度の変化により吸光係数が変化する第1の波長範囲を含む第1照明光が照明された検体を撮像することにより得られる第1の画像情報と、前記第1の波長範囲と異なる第2の波長範囲を含む第2照明光が照明された検体を撮像することにより得られる第2の画像情報であることを特徴とする請求項1記載の内視鏡システム。
  9. 画像情報取得部が、検体を撮像して画像情報を取得するステップと、
    生体機能情報算出部が、前記画像情報に基づき、前記検体が有する生体機能情報を算出するステップと、
    第1の画像作成部が、前記生体機能情報を画像化した生体機能情報画像を作成するステップと、
    強調画像作成部が、前記生体機能情報画像の色を変えずに、前記生体機能情報画像のうち、前記生体機能情報算出部での算出結果が異常である可能性がある異常領域内の明るい部分が更に明るくなるように強調し、明るさによって前記生体機能情報の信頼性を表した強調画像を作成するステップと、
    表示部が、前記強調画像を表示するステップと、
    を有することを特徴とする内視鏡システムの作動方法。
JP2013532529A 2011-09-05 2012-08-22 内視鏡システム及びその作動方法 Active JP5887350B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013532529A JP5887350B2 (ja) 2011-09-05 2012-08-22 内視鏡システム及びその作動方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2011193185 2011-09-05
JP2011193185 2011-09-05
PCT/JP2012/071173 WO2013035531A1 (ja) 2011-09-05 2012-08-22 内視鏡システム及び画像表示方法
JP2013532529A JP5887350B2 (ja) 2011-09-05 2012-08-22 内視鏡システム及びその作動方法

Publications (2)

Publication Number Publication Date
JPWO2013035531A1 JPWO2013035531A1 (ja) 2015-03-23
JP5887350B2 true JP5887350B2 (ja) 2016-03-16

Family

ID=47831981

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013532529A Active JP5887350B2 (ja) 2011-09-05 2012-08-22 内視鏡システム及びその作動方法

Country Status (5)

Country Link
US (1) US9918613B2 (ja)
EP (1) EP2754379B1 (ja)
JP (1) JP5887350B2 (ja)
CN (1) CN103796566B (ja)
WO (1) WO2013035531A1 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014036759A (ja) 2012-08-17 2014-02-27 Hoya Corp 電子内視鏡システムおよび内視鏡用光源装置
US10722155B2 (en) 2013-05-30 2020-07-28 Hoya Corporation Method and device for generating image showing concentration distribution of biological substances in biological tissue
JP5904673B2 (ja) * 2013-09-27 2016-04-20 富士フイルム株式会社 撮像装置及び内視鏡装置
JP5972312B2 (ja) * 2014-03-24 2016-08-17 富士フイルム株式会社 医用画像処理装置及びその作動方法
JP6204314B2 (ja) 2014-09-03 2017-09-27 Hoya株式会社 電子内視鏡システム
JP6356051B2 (ja) 2014-11-21 2018-07-11 Hoya株式会社 分析装置及び分析装置の作動方法
JP6448509B2 (ja) * 2015-10-30 2019-01-09 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
JP6420230B2 (ja) * 2015-12-22 2018-11-07 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
JP6437943B2 (ja) * 2016-03-07 2018-12-12 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
JP6561000B2 (ja) 2016-03-09 2019-08-14 富士フイルム株式会社 内視鏡システム及びその作動方法
WO2017221353A1 (ja) * 2016-06-22 2017-12-28 オリンパス株式会社 画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラム
WO2018043727A1 (ja) * 2016-09-02 2018-03-08 Hoya株式会社 内視鏡システム
CN109788888B (zh) * 2016-10-07 2022-07-08 索尼奥林巴斯医疗解决方案公司 医学成像装置和医学观察***
EP3533382A4 (en) * 2016-10-27 2019-12-04 Fujifilm Corporation ENDOSCOPIC SYSTEM
WO2018084003A1 (ja) * 2016-11-04 2018-05-11 ソニー株式会社 医療用画像処理装置、医療用画像処理方法、プログラム
WO2020188969A1 (ja) * 2019-03-19 2020-09-24 ソニー・オリンパスメディカルソリューションズ株式会社 医療用制御装置及び医療用観察装置
CN110720985A (zh) * 2019-11-13 2020-01-24 安徽领航智睿科技有限公司 一种多模式引导的手术导航方法和***

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2648494B2 (ja) 1988-05-02 1997-08-27 オリンパス光学工業株式会社 内視鏡装置
JP3217343B2 (ja) 1989-03-23 2001-10-09 オリンパス光学工業株式会社 画像処理装置
JP2810718B2 (ja) * 1989-05-09 1998-10-15 オリンパス光学工業株式会社 内視鏡装置
JP3164609B2 (ja) * 1990-10-31 2001-05-08 オリンパス光学工業株式会社 内視鏡装置
JPH0556918A (ja) * 1991-09-05 1993-03-09 Olympus Optical Co Ltd 内視鏡装置
JP3162189B2 (ja) * 1992-07-03 2001-04-25 オリンパス光学工業株式会社 内視鏡システム
JP3228627B2 (ja) * 1993-03-19 2001-11-12 オリンパス光学工業株式会社 内視鏡用画像処理装置
US5550582A (en) * 1993-03-19 1996-08-27 Olympus Optical Co., Ltd. Endoscope-image processing apparatus for performing image processing of emphasis in endoscope image by pigment concentration distribution
JP2768936B2 (ja) 1997-01-13 1998-06-25 株式会社東芝 電子内視鏡装置
JP4274590B2 (ja) * 1997-01-20 2009-06-10 オリンパス株式会社 画像処理装置
WO2001008552A1 (en) * 1999-08-03 2001-02-08 Biophysica, Llc Spectroscopic systems and methods for detecting tissue properties
JP4459506B2 (ja) * 2002-03-28 2010-04-28 Hoya株式会社 内視鏡用自動調光装置および電子内視鏡装置
JP4585326B2 (ja) * 2005-02-08 2010-11-24 富士フイルム株式会社 超音波撮像装置及び超音波撮像方法
US20080051648A1 (en) * 2006-08-25 2008-02-28 Suri Jasjit S Medical image enhancement system
JP2010207493A (ja) * 2009-03-12 2010-09-24 Hoya Corp 内視鏡調光システム
US8150123B2 (en) * 2009-11-25 2012-04-03 Capso Vision Inc. System and method for image enhancement of dark areas of capsule images
JP5438571B2 (ja) * 2010-03-24 2014-03-12 富士フイルム株式会社 電子内視鏡システム
JP5800468B2 (ja) * 2010-05-11 2015-10-28 オリンパス株式会社 画像処理装置、画像処理方法、および画像処理プログラム
US20110301447A1 (en) * 2010-06-07 2011-12-08 Sti Medical Systems, Llc Versatile video interpretation, visualization, and management system

Also Published As

Publication number Publication date
US20140152790A1 (en) 2014-06-05
CN103796566A (zh) 2014-05-14
JPWO2013035531A1 (ja) 2015-03-23
EP2754379A1 (en) 2014-07-16
CN103796566B (zh) 2017-06-06
US9918613B2 (en) 2018-03-20
EP2754379B1 (en) 2019-07-03
EP2754379A4 (en) 2015-05-27
WO2013035531A1 (ja) 2013-03-14

Similar Documents

Publication Publication Date Title
JP5887350B2 (ja) 内視鏡システム及びその作動方法
JP5303012B2 (ja) 内視鏡システム、内視鏡システムのプロセッサ装置及び内視鏡システムの作動方法
JP5611892B2 (ja) 内視鏡システム及び内視鏡システムの作動方法
JP5815426B2 (ja) 内視鏡システム、内視鏡システムのプロセッサ装置、及び画像処理方法
JP5616304B2 (ja) 電子内視鏡システム及び電子内視鏡システムの作動方法
JP5914496B2 (ja) 内視鏡システム及びプロセッサ装置並びに内視鏡システムの作動方法
JP5309120B2 (ja) 内視鏡装置
JP5222934B2 (ja) 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法
JP5911496B2 (ja) 内視鏡システム及びそのプロセッサ装置並びに内視鏡システムの作動方法
JP5808031B2 (ja) 内視鏡システム
JP2014023591A (ja) 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡画像の表示制御方法
JP2013099464A (ja) 内視鏡システム、内視鏡システムのプロセッサ装置、及び画像表示方法
CN103857322B (zh) 内窥镜***
JP2014061152A (ja) 内視鏡システム及び内視鏡用光源装置並びに内視鏡画像の作成方法
US9788709B2 (en) Endoscope system and image generation method to generate images associated with irregularities of a subject
JP2013146484A (ja) 電子内視鏡システム、画像処理装置、画像処理方法及び画像処理プログラム
JP5611891B2 (ja) 内視鏡システム及び内視鏡システムの作動方法
JP2013013559A (ja) 電子内視鏡システム、光源装置、及び電子内視鏡システムの制御方法
JP6085648B2 (ja) 内視鏡用光源装置及び内視鏡システム
JP2021035549A (ja) 内視鏡システム
JP2012125402A (ja) 内視鏡システム、内視鏡システムのプロセッサ装置及び機能情報取得方法
JP2015231576A (ja) 内視鏡システム、内視鏡システムのプロセッサ装置、及び画像処理方法
JP2015091351A (ja) 内視鏡装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140807

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140807

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150902

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151029

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160203

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160215

R150 Certificate of patent or registration of utility model

Ref document number: 5887350

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250