JP2021149558A - 医療用画像処理装置、医療用観察システムおよび画像処理方法 - Google Patents

医療用画像処理装置、医療用観察システムおよび画像処理方法 Download PDF

Info

Publication number
JP2021149558A
JP2021149558A JP2020049175A JP2020049175A JP2021149558A JP 2021149558 A JP2021149558 A JP 2021149558A JP 2020049175 A JP2020049175 A JP 2020049175A JP 2020049175 A JP2020049175 A JP 2020049175A JP 2021149558 A JP2021149558 A JP 2021149558A
Authority
JP
Japan
Prior art keywords
light
image processing
fluorescence
pixel
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020049175A
Other languages
English (en)
Other versions
JP2021149558A5 (ja
Inventor
一博 山口
Kazuhiro Yamaguchi
一博 山口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Olympus Medical Solutions Inc
Original Assignee
Sony Olympus Medical Solutions Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Olympus Medical Solutions Inc filed Critical Sony Olympus Medical Solutions Inc
Priority to JP2020049175A priority Critical patent/JP2021149558A/ja
Priority to US17/167,110 priority patent/US11774772B2/en
Publication of JP2021149558A publication Critical patent/JP2021149558A/ja
Publication of JP2021149558A5 publication Critical patent/JP2021149558A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10—Beam splitting or combining systems
    • G02B27/14—Beam splitting or combining systems operating by reflection only
    • G02B27/141—Beam splitting or combining systems operating by reflection only using dichroic mirrors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00186—Optical arrangements with imaging filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/042—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by a proximal camera, e.g. a CCD camera
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/0012—Surgical microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0032—Optical details of illumination, e.g. light-sources, pinholes, beam splitters, slits, fibers
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G02B21/0076—Optical details of the image generation arrangements using fluorescence or luminescence
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/361—Optical details, e.g. image relay to the camera or image sensor
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476—Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484—Arrangements in relation to a camera or imaging device
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10—Beam splitting or combining systems
    • G02B27/1006—Beam splitting or combining systems for splitting or combining different wavelengths
    • G02B27/1013—Beam splitting or combining systems for splitting or combining different wavelengths for colour or multispectral image sensors, e.g. splitting an image into monochromatic image components on respective sensors

Landscapes

  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Optics & Photonics (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Endoscopes (AREA)
  • Studio Devices (AREA)
  • Image Input (AREA)

Abstract

【課題】装置の小型化を図ることができる医療用画像処理装置、医療用観察システムおよび画像処理方法を提供する。【解決手段】医療用画像処理装置は、画像処理部９１を備え、画像処理部９１は、画像データに含まれる第１の可視光が被写体で反射した反射光を受光した画素が出力した第１の画素値に基づいて、第１の可視光と異なる帯域である第２の可視光の成分に相当する補完画素値を生成し、第１の画素値と、補完画素値と、に基づいて、背景画像を生成し、画像データに含まれる蛍光を受光した画素が出力した第２の画素値に基づいて、蛍光画像を生成する。【選択図】図２

Description

本開示は、被観察体の撮像することによって画像データに対して画像処理を行う医療用画像処理装置、医療用観察システムおよび画像処理方法に関する。
従来、手術用顕微鏡では、ダイクロイックビームスプリッタを介して３つの撮像素子の各々に赤色光、緑色光および青色光を導光し、かつ、３つの撮像素子のうち１つに赤外光を導光することによって、蛍光画像と可視光画像とを観察する技術が知られている（例えば特許文献１参照）。
特許第５６４６８４４号公報
しかしながら、上述した特許文献１では、３つの撮像素子を用いて蛍光画像と可視光画像とを観察しているため、装置の小型化を図ることが難しいという問題点があった。
本開示は、上記に鑑みてなされたものであって、装置の小型化を図ることができる医療用画像処理装置、医療用観察システムおよび画像処理方法を提供することを目的とする。
上述した課題を解決し、目的を達成するために、本開示に係る制御装置は、光源装置が被写体に第１の可視光と蛍光物質を励起させて蛍光を発光させる励起光とを同時に照射した際に、前記第１の可視光が前記被写体で反射した反射光と、前記蛍光と、を医療用撮像装置が撮像することによって生成した画像データに基づいて、画像処理を行う画像処理部を備え、
前記画像処理部は、
前記画像データに含まれる前記第１の可視光が前記被写体で反射した反射光を受光した画素が出力した第１の画素値に基づいて、前記第１の可視光と異なる帯域である第２の可視光の成分に相当する補完画素値を生成し、前記第１の画素値と、前記補完画素値と、に基づいて、背景画像を生成し、前記画像データに含まれる前記蛍光を受光した画素が出力した第２の画素値に基づいて、蛍光画像を生成する。
また、本開示に係る医療用画像処理装置は、光源装置が被写体に第１の可視光と蛍光物質を励起させて蛍光を発光させる励起光とを同時に照射した際に、前記第１の可視光が前記被写体で反射した反射光と、前記蛍光と、を医療用撮像装置が撮像することによって生成した画像データに基づいて、画像処理を行う画像処理部を備え、前記医療用撮像装置は、前記反射光と、前記蛍光と、複数の波長帯域毎に分光するダイクロイックプリズムと、前記ダイクロイックプリズムが分光した複数の波長帯域の光の各々を受光して複数の前記画像データを生成する複数の撮像素子と、を備え、前記画像処理部は、前記画像データに基づいて、前記第１の可視光と異なる帯域である第２の可視光の成分に相当する画素値を補完する補完画素値を生成し、前記画像データと、前記補完画素値と、に基づいて、背景画像を生成し、前記画像データに基づいて、蛍光画像を生成する。
また、本開示に係る医療用観察システムは、上記の医療用画像処理装置と、前記医療用撮像装置を回動可能に支持する支持部と、前記支持部の基端部を回動可能に保持し、床面上を移動可能なベース部と、をさらに備える。
また、本開示に係る画像処理方法は、光源装置が被写体に第１の可視光と蛍光物質を励起させて蛍光を発光させる励起光とを同時に照射した際に、前記第１の可視光が前記被写体で反射した反射光と、前記蛍光と、を医療用撮像装置が撮像することによって生成した画像データに基づいて、画像処理を行う医療用画像処理装置が実行する画像処理方法であって、前記画像データに含まれる前記第１の可視光が前記被写体で反射した反射光を受光した画素が出力した第１の画素値に基づいて、前記第１の可視光と異なる帯域である第２の可視光の成分に相当する補完画素値を生成し、前記第１の画素値と、前記補完画素値と、に基づいて、背景画像を生成し、前記画像データに含まれる前記蛍光を受光した画素が出力した第２の画素値に基づいて、蛍光画像を生成する。
本開示によれば、装置の小型化を図ることができるという効果を奏する。
図１は、実施の形態１に係る医療用観察システムの全体構成を示す図である。 図２は、実施の形態１に係る医療用観察システムの機能構成を示すブロック図である。 図３は、実施の形態１に係る画素部の構成を模式的に示す図である。 図４は、実施の形態１に係るカラーフィルタの構成を模式的に示す図である。 図５は、実施の形態１に係る各波長帯域におけるカラーフィルタ透過後のイメージセンサの感度を模式的に示す図である。 図６は、実施の形態１に係る医療用観察システムが実行する処理の概要を示すフローチャートである。 図７は、実施の形態１に係る医療用観察システムが実行する蛍光観察モード時における処理の概要を模式的に示す図である。 図８Ａは、医療用途で被検体の術部（生体組織）を撮像した画像を赤色画像、緑色画像、青色画像に分離し、それぞれの画像の同一位置にある画素の相関関係を示す図である。 図８Ｂは、医療用途で被検体の術部（生体組織）を撮像した画像を赤色画像、緑色画像、青色画像に分離し、それぞれの画像の同一位置にある画素の相関関係を示す図である。 図８Ｃは、医療用途で被検体の術部（生体組織）を撮像した画像を赤色画像、緑色画像、青色画像に分離し、それぞれの画像の同一位置にある画素の相関関係を示す図である。 図９Ａは、医療用途で被検体の術部（生体組織）を撮像した別の画像を赤色画像、緑色画像、青色画像に分離し、それぞれの画像の同一位置にある画素の相関関係を示す図である。 図９Ｂは、医療用途で被検体の術部（生体組織）を撮像した別の画像を赤色画像、緑色画像、青色画像に分離し、それぞれの画像の同一位置にある画素の相関関係を示す図である。 図９Ｃは、医療用途で被検体の術部（生体組織）を撮像した別の画像を赤色画像、緑色画像、青色画像に分離し、それぞれの画像の同一位置にある画素の相関関係を示す図である。 図１０は、医療用途で被検体の術部（生体組織）を撮像した複数の画像を赤色画像、緑色画像、青色画像に分離し、それぞれの画像の同一位置にある画素の相関関係を示す表である。 図１１は、実施の形態１に係る第１の生成部が蛍光画像を生成する際の生成方法を模式的に示す図である。 図１２は、実施の形態１に係る第１の生成部が蛍光画像を生成する際の生成方法の別の一例を示す模式図である。 図１３は、実施の形態１に係る第２の生成部が背景画像を生成する際の生成方法を模式的に示す図である。 図１４は、実施の形態１の変形例に係る撮像部の構成を示す概念図である。 図１５は、実施の形態２に係る医療用観察システムの概略構成を示す図である。 図１６は、実施の形態２に係る医療用観察システムの要部の機能構成を示すブロック図である。 図１７は、実施の形態３に係る医療用観察システムの概略構成を示す図である。
以下、本開示を実施するための形態（以下、「実施の形態」という）を図面とともに詳細に説明する。なお、以下の実施の形態により本開示が限定されるものでない。また、以下の説明において参照する各図は、本開示の内容を理解でき得る程度に形状、大きさ、および位置関係を概略的に示してあるに過ぎない。即ち、本開示は、各図で例示された形状、大きさ、および位置関係のみに限定されるものでない。
（実施の形態１）
〔医療用観察システムの概略構成〕
図１は、実施の形態１に係る医療用観察システムの全体構成を示す図である。図１に示す医療用観察システム１は、被観察体の微小部位を拡大して観察する顕微鏡としての機能を有する医療用の観察装置２と、光ファイバ等によって構成されたライトガイド４を経由して観察装置２に照明光を供給する光源装置３と、観察装置２が撮像した画像データに基づく画像を表示する表示装置８と、医療用観察システム１の動作を統括的に制御する制御装置９と、を備える。
〔観察装置の概略構成〕
まず、観察装置２の概略構成について説明する。観察装置２は、被観察体の微小部位を観察する顕微鏡部５と、顕微鏡部５の基端部に接続され、顕微鏡部５を回動可能に支持する支持部６と、支持部６の基端部を回動可能に保持し、床面上を移動可能なベース部７と、を備える。
顕微鏡部５は、円柱状の外観を有し、その内部に、ズーム機能およびフォーカス機能を有する光学系と、光学系が結像した被写体像を受光して光電変換を行うことによって画像データを生成する撮像素子（図示略）と、被観察体に照明光を照射する光出射部（図示略）と、を有する。また、顕微鏡部５の側面には、観察装置２の動作指示の入力を受け付ける入力部２４を構成する各種スイッチが設けられている。顕微鏡部５の下端部の開口面には、内部の光学系等を保護するカバーガラスが設けられている（図示略）。術者等のユーザは、顕微鏡部５を把持した状態で各種スイッチを操作しながら、顕微鏡部５を移動したり、顕微鏡部５の角度を変更したり、観察装置２のモードを変更したり、ズームまたはフォーカス操作を行ったりする。なお、顕微鏡部５の形状は、円筒状に限定されることなく、例えば多角筒状であってもよい。
光源装置３は、制御装置９の制御のもと、ライトガイド４を経由して観察装置２に赤色の波長帯域の光、緑色の波長帯域の光および青色の波長帯域の光を含む白色光および赤外光の少なくとも１つの照明光を供給する。光源装置３は、キセノンランプやメタルハライドランプ等の放電ランプ、ＬＥＤ（Light Emitting Diode）やＬＤ（Laser Diode）等の固体発光素子、またはハロゲンランプ等の発光部材等を用いて構成される。
表示装置８は、制御装置９が生成した表示画像や医療用観察システムに関する各種情報を表示する。表示装置８は、液晶や有機ＥＬ（Electro Luminescence）等を用いて構成される。表示装置８は、２Ｄ画像または３Ｄ画像を表示する。
制御装置９は、医療用観察システム１の各部を統括的に制御する。制御装置９は、メモリと、ＣＰＵ（Central Processing Unit）等の汎用プロセッサやＡＳＩＣ（Application Specific Integrated Circuit）やＧＰＵ（Graphics Processing Unit）等の特定の機能を実行する各種演算回路等のハードウェアを有するプロセッサを用いて実現される。また、プログラマブル集積回路の一種であるＦＰＧＡ(Field Programmable Gate Array：図示略)を用いて構成するようにしてもよい。なお、ＦＰＧＡにより構成される場合は、コンフィグレーションデータを記憶するメモリを設け、メモリから読み出したコンフィグレーションデータにより、プログラマブル集積回路であるＦＰＧＡをコンフィグレーションしてもよい。なお、制御装置９の詳細な構成は、後述する。
〔医療用観察システムの機能構成〕
次に、医療用観察システム１の機能構成について説明する。図２は、医療用観察システム１の機能構成を示すブロック図である。
〔観察装置の機能構成〕
まず、観察装置２の機能構成について説明する。
観察装置２は、顕微鏡部５と、検出部２３と、入力部２４と、第１の制御部２５と、を備える。
顕微鏡部５は、観察対象である被観察体の像を拡大することによって画像データを生成する撮像部２１と、光源装置３から供給された照明光を被観察体に向けて照射する光出射部２２と、を備える。
撮像部２１は、光学系２１１と、撮像素子２１２と、カットフィルタ２１３と、を備える。なお、撮像部２１が実施の形態１に係る医療用撮像装置として機能する。
光学系２１１は、ズームおよびフォーカス機能を有し、カットフィルタ２１３を経由して被写体像を撮像素子２１２の受光面に結像する。光学系２１１は、１または複数のレンズと、このレンズを光路Ｌ１に沿って移動させるモータ等を用いて実現される。
撮像素子２１２は、カットフィルタ２１３を経由して光学系２１１が結像した被写体像を受光して光電変換を行うことによって画像データ（ＲＡＷデータ）を生成する。撮像素子２１２は、ＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）等のイメージセンサを用いて実現される。撮像素子２１２は、画素部２１２ａと、カラーフィルタ２１２ｂと、を有する。
図３は、画素部２１２ａの構成を模式的に示す図である。図３に示すように、画素部２１２ａは、光量に応じた電荷を蓄積するフォトダイオード等の複数の画素Ｐｎ，ｍ（ｎ＝１以上の整数，ｍ＝１以上の整数）が２次元マトリクス状に配置されてなる。画素部２１２ａは、第１の制御部２５の制御のもと、複数の画素Ｐｎ，ｍのうち読み出し対象として任意に設定された読み出し領域の画素Ｐｎ，ｍから画像信号を画像データとして読み出して制御装置９へ出力する。具体的には、画素部２１２ａが生成する画像データは、伝送ケーブルを経由して制御装置９へ伝送される。なお、画素部２１２ａが生成した画像データに対してＥ／Ｏ変換を行うことによって光信号によって制御装置９へ伝送してもよい。
図４は、カラーフィルタ２１２ｂの構成を模式的に示す図である。図４に示すカラーフィルタ２１２ｂは、２×２を１つのユニットとするベイヤー配列で構成される。カラーフィルタ２１２ｂ、赤色の波長帯域の光を透過するフィルタＲと、緑色の波長帯域の光を透過する２つのフィルタＧ（フィルタＧｒ、フィルタＧｂ）と、青色の波長帯域の光を透過するフィルタＢと、を用いて構成される。
以下においては、フィルタＲが受光面に配置されてなる画素Ｐｎ，ｍをＲ画素、フィルタＧｒおよびフィルタＧｂが受光面に配置されてなる画素Ｐｎ，ｍ＋１をＧｒ画素、画素Ｐｎ＋１，ｍをＧｂ画素(以下Ｇr、Ｇｂを合わせてＧ画素と記載)、フィルタＢが受光面に配置されてなる画素Ｐｎ＋１，ｍ＋１をＢ画素として表記して説明する。さらに、実施の形態１では、フィルタＲが赤色の波長帯域の光（第１の可視光）および蛍光を透過する第１のフィルタとして機能し、フィルタＢが青色の波長帯域の光（第２の可視光）および蛍光を透過する第２のフィルタとして機能し、フィルタＧが緑色の波長帯域の光（第３の可視光）および蛍光を透過する第３のフィルタとして機能する。即ち、Ｒ画素の画素値には、赤色の反射光および蛍光の成分が含まれ、Ｇ画素（Ｇｒ画素、Ｇｂ画素）の画素値には、緑光の反射光および蛍光が含まれ、Ｂ画素の画素値には、青光の反射光および蛍光が含まれる。
カットフィルタ２１３は、光学系２１１と撮像素子２１２との光路Ｌ１上に配置される。カットフィルタ２１３は、光学系２１１が結像した被写体像に含まれる励起光の波長成分（例えば７４０±１０ｎｍ）の光を遮光し、励起光以外の波長成分の光を透過する。
ここで、各画素の分光特性について説明する。図５は、各波長帯域におけるカラーフィルタ透過後の撮像素子の感度を模式的に示す図である。図５において、横軸が波長（ｎｍ）を示し、縦軸が分光特性を示す。また、図５において、曲線ＬＢがＢ画素の分光特性を示し、曲線ＬＧがＧ画素の分光特性を示し、曲線ＬＲがＲ画素の分光特性を示し、直線ＬＩＲが蛍光物質に対して励起光が照射されることによって発する蛍光の波長帯域を示す。また、曲線ＬＣＵＴは、カットフィルタ２１３の透過特性を示す。
図５の曲線ＬＢおよび直線ＬＩＲに示すように、Ｂ画素は、青色の波長帯域（４３５ｎｍ〜４８０ｎｍ）の光（以下、単に「青光」という）に感度を有し、かつ、蛍光物質に対して励起光が照射されることによって発する波長帯域の蛍光（８３０±１０ｎｍ）に感度を有する。また、図５の曲線ＬＧおよび直線ＬＩＲに示すように、Ｇ画素（Ｇｒ画素およびＧｂ画素）は、緑色の波長帯域（５００ｎｍ〜５６０ｎｍ）の光（以下、単に「緑光」という）に感度を有し、かつ、蛍光物質に対して励起光が照射されることによって発する波長帯域の蛍光（８３０±１０ｎｍ）に感度を有する。さらに、図５の曲線ＬＲおよび直線ＬＩＲに示すように、Ｒ画素は、赤色の波長帯域（６１０ｎｍ〜７５０ｎｍ）の光（以下、単に「赤光」という）に感度を有し、かつ、蛍光物質に対して励起光が照射されることによって発する波長帯域の蛍光（８３０±１０ｎｍ）に感度を有する。
光出射部２２は、１または複数のレンズを用いて構成された照明光学系を有する。光出射部２２は、ライトガイド４を経由して光源装置３から供給された白色光、赤色の波長帯域の光、緑色の波長帯域の光、青色の波長帯域の光および赤外光の少なくとも１つの波長帯域の光の照明光を、撮像部２１の撮像方向と同じ方向へ照明光を照射する。なお、光出射部２２は、顕微鏡部５にＬＥＤ（Light Emitting Diode）やレーザ光源等を設けることによって、ライトガイド等の光伝送を省略してもよい。
検出部２３は、観察装置２の状態情報を逐次検出する。観察装置２の状態情報は、撮像部２１の位置、フォーカスおよびズームに関する情報を含む。検出部２３は、これらの情報を検出するための各種センサを有する。
入力部２４は、撮像部２１に対する動作指示の入力を受け付ける。入力部２４は、撮像部２１におけるフォーカスおよびズーム操作をそれぞれ指示する入力を受け付けるフォーカススイッチおよびズームスイッチ、電動視野移動モードの指示入力を受け付ける電動視野移動モードスイッチおよび医療用観察システム１の観察モードの切り替えを指示する入力を受け付けるモード切替スイッチ等を有する。入力部２４を構成する各種スイッチやボタン等は、図１に示すように、顕微鏡部５の側面に設けられる。
第１の制御部２５は、入力部２４が入力を受け付けた動作指示または後述する制御装置９から入力された動作指示に応じて撮像部２１の動作を制御する。また、第１の制御部２５は、後述する制御装置９の第２の制御部９４と連携して観察装置２を統括的に制御する。第１の制御部２５は、メモリと、ＣＰＵやＦＰＧＡ、ＡＳＩＣ等のプロセッサを用いて構成される。
〔光源装置の構成〕
次に、光源装置３の構成について説明する。
光源装置３は、第１の光源部３１と、第２の光源部３２と、第３の光源部３３と、第４の光源部３４と、を備える。
第１の光源部３１は、制御装置９の制御のもと、ライトガイド４を経由して、赤光を観察装置２の光出射部２２へ供給する。第１の光源部３１は、赤色ＬＥＤ等を用いて実現される。
第２の光源部３２は、制御装置９の制御のもと、ライトガイド４を経由して、緑光を観察装置２の光出射部２２へ供給する。第２の光源部３２は、緑色ＬＥＤ等を用いて実現される。
第３の光源部３３は、制御装置９の制御のもと、ライトガイド４を経由して、青光を観察装置２の光出射部２２へ供給する。第３の光源部３３は、青色ＬＥＤ等を用いて実現される。
第４の光源部３４は、ライトガイド４を介して、蛍光物質を励起する赤外光を観察装置２の光出射部２２へ供給する。第４の光源部３４は、制御装置９の制御のもと、蛍光物質を励起する励起光として機能する赤外光（波長帯域７４０±１０ｎｍ）を供給する。第２の光源部３２は、ＩＣＧ（Indocyanine Green）観察に用いられる赤外光（７００〜１０００ｎｍ）を照射可能な半導体レーザ素子と所定の波長帯域（波長帯域７４０±１０ｎｍ）のみを透過させるフィルタ等を用いて構成される。なお、以下においては、赤外光として説明するが、これに限定されることなく、例えば、ヘマトポルフィリン誘導体等の光感受性物質を腫瘍組織に予め蓄積させて蛍光を観察させるＰＤＤ（Photo Dynamic Diagnosis）観察に用いられる光（波長帯域４１５±１０ｎｍ）、およびコラーゲン等の蛍光物質からの自家発光を観察するＡＦＩ（Auto Fluorescence Imaging）観察に用いられる光（波長帯域３９０〜４７０ｎｍ＋波長帯域５４０〜５６０ｎｍ）であってもよい。
〔制御装置の構成〕
次に、制御装置９の機能構成について説明する。
制御装置９は、画像処理部９１と、入力部９２と、記録部９３と、第２の制御部９４と、を備える。
画像処理部９１は、観察装置２から伝送された画像データに対して、各種の画像処理を行って表示装置８が表示する表示用の表示画像（映像データ）を生成する。ここで、画像処理としては、色補正、色強調および輪郭強調等の各種画像処理等が挙げられる。また、画像処理部９１は、観察装置２から伝送された画像データに含まれる第１の可視光（赤光および緑光の一方）を受光した画素が出力した第１の画素値に基づいて、第１の可視光（赤光および緑光の一方）と異なる帯域である第２の可視光（青光）の成分に相当する補完画素値を生成し、第１の画素値と、補完画素値と、に基づいて、背景画像を生成し、観察装置２から伝送された画像データに含まれる蛍光を受光した画素が出力した第２の画素値に基づいて、蛍光画像を生成する。画像処理部９１は、メモリと、ＧＰＵ（Graphics Processing Unit）、ＡＳＩＣまたはＦＰＧＡ等のプロセッサを用いて実現される。画像処理部９１は、少なくとも減算部９１１と、第１の生成部９１２と、第２の生成部９１３と、第３の生成部９１４と、合成部９１５と、を有する。
減算部９１１は、撮像部２１から入力された画像データに含まれる第１，第３のフィルタ（フィルタＲまたはフィルタＧ）が配置されてなる画素（Ｒ画素またはＧ画素）が出力した第１，第３の画素値から、第２のフィルタ（フィルタＢ）が配置されてなる画素（Ｂ画素）が出力した第２の画素値を減算し、この減算した減算結果を第２の生成部９１３へ出力する。具体的には、減算部９１１は、第１，第３の画素値から、第１，第３のフィルタの蛍光波長の分光感度を第２のフィルタの蛍光波長の分光感度で除算した値に第２の画素値を乗算した乗算結果を減算し、この減算した減算結果を第２の生成部９１３へ出力してもよい。なお、減算部９１１による算出方法は、後述する。
第１の生成部９１２は、第２の制御部９４の制御のもと、撮像部２１から入力された画像データに含まれる第２のフィルタ（フィルタＢ）が配置されてなる画素（Ｂ画素）が出力した第２の画素値に基づいて、蛍光画像を生成し、この蛍光画像を合成部９１５へ出力する。具体的には、第１の生成部９１２は、画像データに含まれるＢ画素の画素値に基づいて、Ｒ画素およびＧ画素の画素値を補完することによって蛍光画像を生成して合成部９１５へ出力する。さらに、第１の生成部９１２は、蛍光画像に対して、着色化処理を行う。具体的には、第１の生成部９１２は、蛍光画像の輝度値に基づいて、色調変換処等によって蛍光画像の着色化を行って着色化した蛍光画像を合成部９１５へ出力する。例えば、第１の生成部９１２は、蛍光画像の輝度値に基づいて、蛍光領域が緑色となるように着色化処理を行う。なお、第１の生成部９１２は、第２の制御部９４を経由して入力部９２から入力される蛍光画像の蛍光領域の色を指定する指定信号に基づいて、蛍光画像において着色化する色を設定してもよい。
第２の生成部９１３は、第２の制御部９４の制御のもと、撮像部２１から入力された画像データに含まれる第１，第３のフィルタ（フィルタＲ、フィルタＧ）が配置されてなる画素（Ｒ画素、Ｇ画素）が出力した第１，第３の画素値に基づいて、第１の背景画像を生成し、この第１の背景画像を第３の生成部９１４へ出力する。具体的には、第２の生成部９１３は、減算部９１１から入力された入力結果に基づいて、第１の背景画像を生成する。さらに、第２の生成部９１３は、撮像部２１から入力された画像データに含まれる第１，第３のフィルタ（フィルタＲ、フィルタＧ）が配置されてなる画素（Ｒ画素、Ｇ画素）が出力した第１，第３の画素値に基づいて、可視光に含まれない赤色、緑色および青色のいずれか１つの光の成分に相当する画素値を補完する補完画素値を生成し、この補完画素値を第３の生成部９１４へ出力する。
第３の生成部９１４は、第２の生成部９１３から入力された補完画素値と、第１，第３の画素値（第１の背景画像）と、に基づいて、第２の背景画像を生成し、この第２の背景画像を合成部９１５へ出力する。さらに、第３の生成部９１４は、第２の背景画像に対して白黒化処理を行って合成部９１５へ出力してもよい。例えば、第３の生成部９１４は、背景画像の彩度を低下させる彩度低下処理を行って白黒化した第２の背景画像を合成部９１５へ出力してもよい。
合成部９１５は、第１の生成部９１２から入力された蛍光画像と、第３の生成部９１４から入力された第２の背景画像と、を合成した合成画像を生成し、この合成画像を表示装置８へ出力する。具体的には、合成部９１５は、蛍光画像と、第２の背景画像と、を所定の比率（例えば１：１）で合成することによって合成画像を生成する。
入力部９２は、キーボード、マウス、タッチパネル、フットスイッチ等のユーザインタフェースを用いて実現され、各種情報の入力を受け付ける。
記録部９３は、フラッシュメモリやＤＲＡＭ（Dynamic Random Access Memory）等の半導体メモリを用いて構成され、医療用観察システム１が実行する各種プログラムや処理中のデータを一時的に記録するプログラム記録部９３１を有する。
第２の制御部９４は、医療用観察システム１の各部を統括的に制御する。第２の制御部９４は、プログラムが記録された内部メモリ（図示略）を有するＣＰＵ等の汎用プロセッサやＡＳＩＣ等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて実現される。また、プログラマブル集積回路の一種であるＦＰＧＡを用いて構成するようにしてもよい。なお、ＦＰＧＡにより構成される場合は、コンフィグレーションデータを記憶するメモリを設け、メモリから読み出したコンフィグレーションデータにより、プログラマブル集積回路であるＦＰＧＡをコンフィグレーションしてもよい。
〔医療用観察システムの処理〕
次に、医療用観察システム１が実行する処理について説明する。図６は、医療用観察システム１が実行する処理の概要を示すフローチャートである。
図６に示すように、第２の制御部９４は、医療用観察システム１が白色光を被写体へ照射する白色光観察モードに設定されているか否かを判断する（ステップＳ１０１）。第２の制御部９４によって医療用観察システム１が白色光を被写体へ照射する白色光観察モードに設定されていると判断された場合（ステップＳ１０１：Ｙｅｓ）、医療用観察システム１は、後述するステップＳ１０２へ移行する。これに対して、第２の制御部９４によって医療用観察システム１が白色光を被写体へ照射する白色光観察モードに設定されていると判断された場合（ステップＳ１０１：Ｎｏ）、医療用観察システム１は、後述するステップＳ１０７へ移行する。
ステップＳ１０２において、第２の制御部９４は、第１の光源部３１、第２の光源部３２および第３の光源部３３の各々を発光させることによって白色光を照射させる。
この時、第４の光源部３４は消灯させる。
続いて、第２の制御部９４は、第１の制御部２５を制御することによって、撮像部２１に被写体からの反射光を受光させることによって撮像させる（ステップＳ１０３）。
その後、画像処理部９１は、撮像部２１から入力された画像データに対して、各種の画像処理を行って白色光観察画像を生成する（ステップＳ１０４）。
続いて、表示装置８は、画像処理部９１から入力された白色光観察画像を表示する（ステップＳ１０５）。これにより、医者等のユーザは、被観察体を観察することができる。
その後、第２の制御部９４は、入力部９２から被観察体の観察を終了する指示信号が入力されたか否かを判断する（ステップＳ１０６）。第２の制御部９４によって入力部９２から被観察体の観察を終了する指示信号が入力されたと判断された場合（ステップＳ１０６：Ｙｅｓ）、医療用観察システム１は、本処理を終了する。これに対して、入力部９２から被観察体の観察を終了する指示信号が入力されていないと判断された場合（ステップＳ１０６：Ｎｏ）、医療用観察システム１は、上述したステップＳ１０１へ戻る。
ステップＳ１０７において、第２の制御部９４は、医療用観察システム１が少なくとも励起光を被写体へ照射する蛍光観察モードに設定されているか否かを判断する（ステップＳ１０１）。第２の制御部９４によって医療用観察システム１が少なくとも励起光を被写体へ照射する蛍光観察モードに設定されていると判断された場合（ステップＳ１０７：Ｙｅｓ）、医療用観察システム１は、後述するステップＳ１０８へ移行する。これに対して、第２の制御部９４によって医療用観察システム１が少なくとも励起光を被写体へ照射する蛍光観察モードに設定されていないと判断された場合（ステップＳ１０７：Ｎｏ）、医療用観察システム１は、ステップＳ１０６へ移行する。
ステップＳ１０８において、第２の制御部９４は、第４の光源部３４を発光させて励起光を蛍光物質が投与された被写体に向けて照射させ、かつ、第１の光源部３１および第２の光源部３２の各々を発光させることによって赤光および緑光を被写体に向けて照射させる（ステップＳ１０８）。具体的には、図７に示すように、第２の制御部９４は、光源装置３における第４の光源部３４を発光させて励起光ＩＲ１を蛍光物質が投与された被写体Ｏ１に向けて照射させる。この場合、第２の制御部９４は、第４の光源部３４と同時に、第１の光源部３１および第２の光源部３２の各々を発光させることによって、励起光ＩＲ１、赤光ＷＲおよび緑光ＷＧを被写体Ｏ１に向けて照射させる。また、第３の光源部３３は、消灯させる。
続いて、第２の制御部９４は、撮像部２１に被写体Ｏ１が発光した蛍光ＩＲ２を受光させることによって撮像させ、かつ、被写体Ｏ１からの戻り光または被写体Ｏ１で反射された反射光である赤光ＷＲおよび緑光ＷＧを受光させることによって撮像させる（ステップＳ１０９）。この場合において、図７に示すように、カットフィルタ２１３は、被写体Ｏ１で反射された励起光ＩＲ１を遮光し、被写体Ｏ１からの蛍光ＩＲ２、赤光ＷＲおよび緑光ＷＧの各々を透過する。また、撮像素子２１２における各画素（Ｒ画素、Ｇ画素およびＢ画素）には、各フィルタ（フィルタＲ、フィルタＧおよびフィルタＢ）の各々が赤外光領域に感度を有する。このため、光源装置３が赤色光を照射しておらず、カットフィルタ２１３に励起光ＩＲ１が遮光されているので、撮像素子２１２のＢ画素には、蛍光ＩＲ２のみが入射する。さらに、撮像素子２１２のＲ画素には、蛍光ＩＲ２および被写体Ｏ１で反射された赤光ＷＲの各々が入射する。さらにまた、撮像素子２１２のＧ画素には、蛍光ＩＲ２および被写体Ｏ１で反射された緑光ＷＧの各々が入射する。このとき、Ｒ画素およびＧ画素の各々が出力する画素値は、Ｒ画素およびＧ画素の各々に入射する蛍光ＩＲ２の強度が赤色反射光および緑色反射光の強度に対して微弱となるため、赤色反射光および緑色反射光が支配的となる。さらに、Ｂ画素の画素値は、光源装置３が青光を照射していないため、蛍光ＩＲ２が支配的となる。即ち、画像処理部９１は、Ｂ画素の出力値を蛍光ＩＲ２による出力値として用いることができ、かつ、Ｒ画素およびＧ画素の出力値を可視光（赤色反射光および緑色反射光）による出力値として用いることができる。
その後、減算部９１１は、撮像部２１から入力された画像データに含まれる第１，第３のフィルタ（フィルタＲまたはフィルタＧ）が配置されてなる画素（Ｒ画素またはＧ画素）が出力した第１，第３の画素値から、第２のフィルタ（フィルタＢ）が配置されてなる画素（Ｂ画素）が出力した第２の画素値を減算する減算処理を行う（ステップＳ１１０）。
ここで、減算部９１１が行う減算処理の詳細について説明する。
Ｇｒ画素から出力される画素値に含まれる蛍光成分の値（以下、単に「ＩＲｇｒ」という）、Ｇｂ画素から出力される画素値に含まれる蛍光成分の値（以下、単に「ＩＲｇｂ」という）、Ｒ画素から出力される画素値に含まれる蛍光成分の値（以下、単に「ＩＲｒ」という）とした場合、各画素の蛍光成分を除いた画素値をＢ画素から出力される画素値に含まれる蛍光成分の値（以下、単に「ＩＲｂ」という）から推測することができる。具体的には、図５の直線ＬＩＲにおける、Ｒ画素、Ｇ画素（Ｇｒ画素、Ｇｂ画素）およびＢ画素の各々の分光感度を、ｒ、ｇおよびｂ［％］とした場合、Ｒ画素、Ｇ画素（Ｇｒ画素、Ｇｂ画素）およびＢ画素の各々に入力される蛍光成分は、一定と考えられる。このため、以下の式が成り立つ。
ＩＲｇｒ≒ＩＲｇｂ≒（ｇ／ｂ）＊ＩＲｂ ・・・（１）
ＩＲｒ≒（ｒ／ｂ）＊ＩＲｂ ・・・（２）
また、光源装置３が青光を照射していないため、Ｂ画素の画素値＝ＩＲｂである。このため、Ｒ画素の画素値をＲ、Ｇｒ画素の画素値をＧｒ、Ｇｂ画素の画素値をＧｂ、およびＢ画素の画素値をＢとした場合、減算部９１１は、以下の式（３）〜（５）を行うことによって、Ｒ画素の画素値およびＧ画素の画素値の各々から蛍光成分の値を減算した値を算出する。
Ｇｒ画素の画素値＝Ｇｒ−（ｇ／ｂ）＊ＩＲｇｒ≒Ｇｒ−（ｇ／ｂ）＊Ｂ ・・・（３）
Ｇｂ画素の画素値＝Ｇｂ−（ｇ／ｂ）＊ＩＲｇｂ≒Ｇｂ−（ｇ／ｂ）＊Ｂ ・・・（４）
Ｒ画素の画素値＝Ｒ−（ｒ／ｂ）＊ＩＲｒ≒Ｒ−（ｒ／ｂ）＊Ｂ ・・・（５）
続いて、画像処理部９１は、第２の制御部９４の制御のもと、蛍光画像および第１の背景画像を生成する（ステップＳ１１１）。具体的には、第１の生成部９１２は、撮像素子２１２から入力された画像データに含まれる各Ｂ画素の画素値を用いて蛍光画像を生成する。この場合、図７に示すように、第１の生成部９１２は、各Ｂ画素の画素値を用いてＲ画素、Ｇ画素の各々の位置に対応する画素値を補完した蛍光画像Ｐ１を生成する。この蛍光画像Ｐ１は、蛍光の輝度画像である。さらに、第２の生成部９１３は、撮像素子２１２から入力された画像データであって、減算部９１１から入力された画像データに含まれる各Ｒ画素および各Ｇ画素の各々の画素値を用いて第１の背景画像Ｐ２を生成する。この場合、図７に示すように、第２の生成部９１３は、各Ｒ画素および各Ｂ画素の各々の画素値を用いてＢ画素の位置に対応する画素値を補完した第１の背景画像Ｐ２を生成する。この第１の背景画像Ｐ２は、赤色成分および緑色成分のみであり、白色光観察時には存在した青色成分がないため、例えばＢ画素の画素値を黒として第１の背景画像Ｐ２を生成し、第１の背景画像Ｐ２にデモザイク処理によって画像を生成した場合、不自然な色彩となる。このため、図７に示す第１の背景画像Ｐ２には、不自然な色彩を表現するため、ハッチングを施している。
その後、画像処理部９１は、Ｂ画素の画素値を補完した補完画像値を生成する（ステップＳ１１２）。具体的には、第２の生成部９１３は、減算部９１１から入力された画像データに含まれる第１，第３のフィルタ（フィルタＲ、フィルタＧ）が配置されてなる画素（Ｒ画素、Ｇ画素）が出力した第１，第３の画素値に基づいて、光源装置３が照射した可視光に含まれない赤色、緑色および青色のいずれか１つの光の成分に相当する画素値を補完した補完画素値を生成する。例えば、第２の生成部９１３は、Ｇ画素が出力した第３の画素値に基づいて、各Ｂ画素が出力する青光の成分に相当する画素値を補完した補完画素値を生成し、この補完画素値を第３の生成部９１４へ出力する。なお、第２の生成部９１３は、Ｒ画素が出力した第１の画素値に基づいて、各Ｂ画素が出力する青光の成分に相当する画素値を補完した補完画素値を生成し、この補完画素値を第３の生成部９１４へ出力してもよい。
ここで、第２の生成部９１３が補完する補完方法について説明する。図８Ａ〜図８Ｃは、医療用途で被検体の術部（生体組織）を撮像した画像を赤色画像、緑色画像、青色画像に分離し、それぞれの画像の同一位置にある画素の相関関係を示す図である。図９Ａ〜図９Ｃは、医療用途で被検体の術部（生体組織）を撮像した別の画像を赤色画像、緑色画像、青色画像に分離し、それぞれの画像の同一位置にある画素の相関関係を示す図である。図１０は、医療用途で被検体の術部（生体組織）を撮像した複数の画像を赤色画像、緑色画像、青色画像に分離し、それぞれの画像の同一位置にある画素の相関関係を示す表である。
医療用途で術部を撮影した画像は、血液や脂肪等を撮像しているため、赤、黄、白などの色が支配的である。このため、図８Ａ〜図８Ｃ、図９Ａ〜図９Ｃおよび図１０の表Ｔ１に示すように、医療用途で撮像した画像は、赤色画像、緑色画像、青色画像に分離し、それぞれの画像の同一位置にある画素の相関を取った場合、Ｇ画素とＢ画素の相関が他の相関にくらべ非常に高い。このため、第２の生成部９１３は、補完するＢ画素の画素値を、このＢ画素の近傍に位置するＧ画素の画素値から補完することによってＢ画素の補完画素値を生成する。具体的には、第２の生成部９１３は、以下の方法１〜方法６等を用いて対象Ｂ画素（注目するＢ画素）の補完画素値を生成する。
方法１：対象Ｂ画素に隣接するＧｒ画素の画素値を複製した値を補完画素値とする。
方法２：対象Ｂ画素に隣接するＧｂ画素の画素値を複製した値を補完画素値とする。
方法３：対象Ｂ画素に隣接するＧｒ画素の画素値とＧｂ画素の画素値との平均値を補完画素値とする。
方法４：対象Ｂ画素に隣接するＧｒ画素の画素値とＧｂ画素の画素値とを比較し、大きい方の画素値を複製した値を補完画素値とする。
方法５：対象Ｂ画素に隣接するＧｒ画素の画素値とＧｂ画素の画素値とを比較し、小さい方の画素値を複製した値を補完画素値とする。
方法６：対象Ｂ画素を中心に所定の範囲（例えば３×３）に位置する複数のＧｒ画素の各々の画素値と複数のＧｂ画素の各々の画素値との平均値を補完画素値とする。
ここで、第１の生成部９１２が蛍光画像Ｐ１を生成する際の生成方法について説明する。図１１は、第１の生成部９１２が蛍光画像Ｐ１を生成する際の生成方法を模式的に示す図である。
図１１に示すように、第１の生成部９１２は、撮像素子２１２から入力された画像データに含まれるベイヤー配列におけるユニットＺ１におけるＲ画素（Ａ３）およびＧ画素（Ａ１，Ａ２）の各々の画素値を使わず、Ｂ画素（画素Ｐｎ，ｍ）の画素値を、Ｒ画素（Ａ３）およびＧ画素（Ａ１，Ａ２）の画素値として複製することによって、Ｒ画素およびＧ画素の各々の位置に対応する画素値を補完する。同様に、第１の生成部９１２は、ユニットＺ２において、Ｂ画素（画素Ｐｎ，ｍ＋２）の画素値を、Ｒ画素およびＧ画素（例えばＡ４）の画素値として複製することによって、Ｒ画素およびＧ画素の各々の位置に対応する画素値を補完する。さらに、第１の生成部９１２は、ユニットＺ３において、Ｂ画素（画素Ｐｎ＋２，ｍ）の画素値を、Ｒ画素およびＧ画素（例えばＡ５）の画素値として複製することによって、Ｒ画素、Ｇ画素の各々の位置に対応する画素値を補完する。このように、第１の生成部９１２は、各ユニットにおけるＢ画素の画素値を用いて、Ｒ画素およびＧ画素の各々の位置に対応する画素値を補完した蛍光画像Ｐ１を生成する。
図１２は、第１の生成部９１２が蛍光画像Ｐ１を生成する際の生成方法の別の一例を示す模式図である。
図１２に示すように、第１の生成部９１２は、隣接するＢ画素の画素値の平均値を用いてＲ画素およびＧ画素の各々の位置に対応する画素値を補完することによって蛍光画像Ｐ１を生成する。具体的には、第１の生成部９１２は、Ｇ画素（Ａ１）の画素値を、Ｇ画素に隣接するＢ画素（画素Ｐｎ，ｍ）の画素値とＢ画素（画素Ｐｎ，ｍ＋２）の画素値との平均値（（画素Ｐｎ，ｍの画素値）＋（画素Ｐｎ，ｍ＋２の画素値）／２）とする。同様に、第１の生成部９１２は、Ｇ画素（Ａ２）の画素値を、Ｇ画素に隣接するＢ画素（画素Ｐｎ，ｍ）の画素値とＢ画素（画素Ｐｎ＋２，ｍ）の画素値との平均値（（画素Ｐｎ＋２，ｍの画素値）＋（画素Ｐｎ，ｍの画素値）／２）とする。また、第１の生成部９１２は、Ｒ画素（Ａ３）の画素値を、Ｒ画素に隣接するＢ画素（画素Ｐｎ，ｍ）の画素値とＢ画素（画素Ｐｎ＋２，ｍ＋２）の画素値との平均値（（画素Ｐｎ２，ｍの画素値）＋（画素Ｐｎ＋２，ｍ＋２の画素値）／２）とする。このように、第１の生成部９１２は、隣接するＢ画素の画素値の平均値を用いてＲ画素およびＧ画素の各々の位置に対応する画素値を補完することによって蛍光画像Ｐ１を生成する。
図１３は、第２の生成部９１３が第１の背景画像Ｐ２を生成する際の生成方法を模式的に示す図である。
図１３に示すように、第２の生成部９１３は、Ｂ画素（画素Ｐｎ，ｍ）を黒（画素値が０）として見なして、第１の背景画像Ｐ２を生成する。
図６に戻り、ステップＳ１１３以降の説明を続ける。
ステップＳ１１３において、第３の生成部９１４は、第２の生成部９１３から入力された補完画素値と、第１の背景画像と、に基づいて、第２の背景画像を生成する。具体的には、図７に示すように、第３の生成部９１４は、第２の生成部９１３から入力された補完画素値と、第１の背景画像Ｐ２とを合成し、デモザイク処理を行うことによって、第２の背景画像Ｐ３を生成する。これにより、第２の背景画像Ｐ３は、白色光観察時の色彩に近いものとなる。
続いて、第３の生成部９１４は、第２の背景画像Ｐ３に対して白黒化処理を行って合成部９１５へ出力してもよい（ステップＳ１１４）。具体的には、第３の生成部９１４は、第２の背景画像Ｐ３に対してグレースケール化処理を行うことによってグレースケール画像を生成し、このグレースケール画像を合成部９１５へ出力してもよい。
続いて、第１の生成部９１２は、蛍光画像Ｐ１に対して着色化処理を行って合成部９１５へ出力する（ステップＳ１１５）。具体的には、第１の生成部９１２は、蛍光画像Ｐ１の輝度値に基づいて、色調変換処等によって蛍光画像Ｐ１の着色化を行って着色化した蛍光画像Ｐ１を合成部９１５へ出力する。例えば、第１の生成部９１２は、蛍光画像Ｐ１を緑色に着色化を行う。
その後、合成部９１５は、第１の生成部９１２が生成した蛍光画像Ｐ１と第３の生成部９１４が生成した第２の背景画像Ｐ３とを合成した合成画像Ｐ４を生成する（ステップＳ１１４）。具体的には、図７に示すように、合成部９１５は、蛍光画像Ｐ１と第２の背景画像Ｐ３（背景画像）とを合成した合成画像Ｐ４を生成し、この合成画像Ｐ４を表示装置８へ出力する。この場合、合成部９１５は、蛍光画像Ｐ１と第２の背景画像Ｐ３とを所定の比率（例えば１：１）で合成することによって合成画像Ｐ４を生成する。
その後、表示装置８は、合成部９１５から入力された合成画像Ｐ４を表示する（ステップＳ１１５）。これにより、図７に示すように、医者等のユーザは、表示装置８が表示するより自然な色彩に近い合成画像Ｐ５を観察することによって蛍光領域Ｑ１の位置を把握することができる。ステップＳ１１２の後、医療用観察システム１は、ステップＳ１０６へ移行する。
以上説明した実施の形態１によれば、画像処理部９１が画像データに含まれる第１，第３のフィルタ（フィルタＲ，フィルタＧ）が配置されてなる画素が出力した第１，第３の画素値（Ｒ画素、Ｇ画素）に基づいて、青光の成分に相当する画素値を補完した補完画素値を生成するとともに、第１，第３の画素値と、補完画素値と、に基づいて、赤色、緑色および青色の波長帯域の光の成分に相当する背景画像（第２の背景画像）を生成し、かつ、画像データに含まれる第２のフィルタ（フィルタＢ）が配置されてなる画素（Ｂ画素）が出力した第２の画素値に基づいて、蛍光画像を生成する。この方法では、光源装置３から可視光と赤外線の励起光は同時に照射すればよく、交互に照射する必要はないため、被観察体の観察箇所のちらつきを防止するとともに、装置の小型化を図ることができる。
また、実施の形態１によれば、通常のベイヤー配列の１つの撮像素子２１２を用いて蛍光画像Ｐ１と、通常の白色光観察画像と、を生成することができるので、特別な撮像素子を用いることなく、白色光観察モードと蛍光観察モードとを適宜切り替えながら被観察体の観察箇所を観察することができる。
また、実施の形態１では、画像処理部９１がＧ画素の画素値に基づいて、Ｂ画素の画素値を補完画素値として生成するので、白色光観察に近い色彩に近い背景画像（第２の背景画像）を生成することができる。
また、実施の形態１によれば、画像処理部９１が背景画像（第２の背景画像）に対して白黒化処理を行った後に、この白黒化処理を行った背景画像（第２の背景画像）と蛍光画像とを合成しているため、合成画像上における蛍光領域を強調することができる。
また、実施の形態１によれば、画像処理部９１が蛍光画像に対して単色化処理を行った後に、この着色化処理を行った蛍光画像と背景画像（第２の背景画像）とを合成しているため、合成画像上における蛍光領域を強調することができる。
また、実施の形態１によれば、医療用観察システム１が白色光観察モードに設定されている場合、第２の制御部９４が第１の光源部３１、第２の光源部３２および第３の光源部３３を発光させて白色光を照射させる一方、医療用観察システム１が蛍光観察モードに設定されている場合、第２の制御部９４が第１の光源部３１、第２の光源部３２および第４の光源部３４を発光させて可視光と励起光とを同時に照射させるため、白色光観察モードと蛍光観察モードとを適宜切り替えながら被観察体の観察箇所を観察することができる。
また、実施の形態１によれば、画像処理部９１が第１の画素値（Ｒ画素およびＧ画素の各々の画素値）から、第１のフィルタ（フィルタＲ、フィルタＧ）の分光感度を第２のフィルタ（フィルタＢ）の分光感度で除算した値に、第２の画素値（Ｂ画素の画素値）を乗算した乗算結果を減算し、この減算した減算結果に基づいて背景画像を生成するため、蛍光成分を除いた背景画像を生成することができる。
なお、実施の形態１では、画像処理部９１が、第１の画素値（Ｒ画素およびＧ画素の各々の画素値）から、第１のフィルタ（フィルタＲ、フィルタＧ）の蛍光波長の分光感度を第２のフィルタ（フィルタＢ）の蛍光波長の分光感度で除算した値に、第２の画素値（Ｂ画素の画素値）を乗算した乗算結果を減算していたが、単に第１の画素値から第２の画素値をそのまま用いてもよい。
また、実施の形態１では、医療用観察システム１が蛍光観察モードに設定されている場合、第２の制御部９４が第２の光源部３２および第３の光源部３３の各々を発光させていたが、第１の光源部３１と、第２の光源部３２および第３の光源部３３の一方を発光させることによって可視光（赤光＋緑光または赤光＋青光）を照射させてもよい。例えば、第１の光源部３１および第３の光源部３３を発光させることによって照明光（赤光＋青光）を被写体に照射した場合、画像処理部９１は、上述したＢ画素に対する処理を上述したＧ画素の処理と同様の処理を行い、Ｇ画素に対する処理を上述したＢ画素の処理と同様の処理を実行することによって、背景画像および蛍光画像を生成すればよい。
また、実施の形態１では、画像処理部９１が背景画像に対して白黒化処理を行っていたが、蛍光画像に対して白黒化処理を行ってもよいし、背景画像および蛍光画像の各々に対して白黒化処理を行ってもよい。これにより、合成画像上における蛍光領域を強調することができる。もちろん、画像処理部９１は、背景画像および蛍光画像の各々に対して白黒化処理を省略してもよい。これにより、処理を単純化することができる。
また、実施の形態１では、画像処理部９１が蛍光画像に対して着色化処理を行っていたが、背景画像に対して着色化処理を行ってもよいし、背景画像および蛍光画像の各々に対して着色化処理を行ってもよい。この場合、画像処理部９１は、背景画像および蛍光画像の各々に対して互いに異なる色となるように着色化処理を行う。これにより、合成画像上における蛍光領域を強調することができる。もちろん、画像処理部９１は、背景画像および蛍光画像の各々に対して着色化処理を省略してもよい。これにより、処理を単純化することができる。
また、実施の形態１では、蛍光観察モード時に第１の光源部３１、第２の光源部３２および第４の光源部３４を発光させていたが、例えば白色光を照射可能な光源と、青色の波長帯域を遮光し、それ以外の波長帯域の光を透過するカットフィルタを設け、蛍光観察モード時にカットフィルタを白色光が発光する白色光の光路上に配置するようにしてもよい。もちろん、カットフィルタの透過特性を、緑色の波長帯域を遮光し、それ以外の波長帯域の光を透過するものであっても適用することができる。
また、実施の形態１では、緑色および青色の一方の波長帯域を遮光し、それ以外の波長帯域の光を透過するカットフィルタを、光学系２１１とカットフィルタ２１３との光路上に挿脱可能に設け、蛍光観察モード時に光学系２１１とカットフィルタ２１３との光路上に挿入する場合であっても適用することができる。
（実施の形態１の変形例）
次に、実施の形態１の変形例について説明する。上述した実施の形態１では、ベイヤー配列で構成された１つの撮像素子２１２（単板）で撮像していたが、実施の形態１の変形例では、複数の撮像素子を用いる。
図１４は、実施の形態１の変形例に係る撮像部の構成を示す概念図である。図１４に示す撮像部２１は、上述した撮像素子２１２に代えて、撮像素子２１２Ｒ、撮像素子２１２Ｇ、撮像素子２１２Ｂおよびダイクロイックプリズム２１４を備える。
撮像素子２１２Ｒは、上述した画素部２１２ａと、後述するダイクロイックプリズム２１４によって分光された赤光を受光して光電変換を行うことによって画像データを生成する。
撮像素子２１２Ｇは、上述した画素部２１２ａと、後述するダイクロイックプリズム２１４によって分光された緑光を受光して光電変換を行うことによって画像データを生成する。
撮像素子２１２Ｂは、上述した画素部２１２ａと、後述するダイクロイックプリズム２１４によって分光された青光を受光して光電変換を行うことによって画像データを生成する。
ダイクロイックプリズム２１４は、カットフィルタ２１３を介して入射した光のうち赤光および蛍光を撮像素子２１２Ｒへ出射し、緑光および蛍光を撮像素子２１２Ｇへ出射し、青光および蛍光を撮像素子２１２Ｂへ出射する。
このように構成された撮像部２１を備える医療用観察システムは、上述した医療用観察システム１と同様の処理（図６を参照）を行う。
以上説明した実施の形態１の変形例によれば、上述した実施の形態１と同様の効果を奏する。
（実施の形態２）
次に、実施の形態２について説明する。上述した実施の形態１では、医療用観察システムとして手術用顕微鏡を説明したが、実施の形態２では、硬性鏡を有する内視鏡システムを医療用観察システムとして説明する。なお、上述した実施の形態１に係る医療用観察システム１と同一の構成には同一の符号を付して詳細な説明を省略する。
〔医療用観察システムの構成〕
図１５は、実施の形態２に係る医療用観察システムの概略構成を示す図である。図１５に示す医療用観察システム１Ｂは、医療分野に用いられ、生体等の被検体内の生体組織を観察するシステムである。なお、実施の形態２では、医療用観察システム１Ｂとして、図１５に示す硬性鏡（挿入部１０２）を用いた硬性内視鏡システムについて説明する。
図１５に示す医療用観察システム１Ｂは、挿入部１０２と、光源装置３と、ライトガイド１０４と、内視鏡カメラヘッド１０５（内視鏡用撮像装置）と、第１の伝送ケーブル１０６と、表示装置８と、第２の伝送ケーブル１０８と、制御装置９と、第３の伝送ケーブル１０１０と、を備える。
挿入部１０２は、硬質または少なくとも一部が軟性で細長形状を有する。挿入部１０２は、トロッカーを経由して患者等の被検体内に挿入される。挿入部１０２は、内部に観察像を結像するレンズ等の光学系が設けられている。
ライトガイド１０４は、一端が光源装置３に着脱自在に接続され、かつ、他端が挿入部１０２に着脱自在に接続される。ライトガイド１０４は、光源装置３から供給された照明光を一端から端に導光し、挿入部１０２へ供給する。
内視鏡カメラヘッド１０５は、挿入部１０２の接眼部１２１が着脱自在に接続される。内視鏡カメラヘッド１０５は、制御装置９による制御のもと、挿入部１０２によって結像された観察像を受光して光電変換を行うことによって画像データ（ＲＡＷデータ）を生成し、この画像データを第１の伝送ケーブル１０６を経由して制御装置９へ出力する。
第１の伝送ケーブル１０６は、一端がビデオコネクタ１６１を経由して制御装置９に着脱自在に接続され、他端がカメラヘッドコネクタ１６２を経由して内視鏡カメラヘッド１０５に着脱自在に接続される。第１の伝送ケーブル１０６は、内視鏡カメラヘッド１０５から出力される画像データを制御装置９へ伝送し、かつ、制御装置９から出力される設定データおよび電力等を内視鏡カメラヘッド１０５へ伝送する。
第２の伝送ケーブル１０８は、一端が表示装置８に着脱自在に接続され、他端が制御装置９に着脱自在に接続される。第２の伝送ケーブル１０８は、制御装置９において画像処理が施された画像データを表示装置８へ伝送する。
第３の伝送ケーブル１０１０は、一端が光源装置３に着脱自在に接続され、他端が制御装置９に着脱自在に接続される。第３の伝送ケーブル１０１０は、制御装置９からの制御データを光源装置３へ伝送する。
〔医療用観察システムの要部の機能構成〕
次に、上述した医療用観察システム１Ｂの要部の機能構成について説明する。図１６は、医療用観察システム１Ｂの要部の機能構成を示すブロック図である。
〔内視鏡カメラヘッドの構成〕
まず、内視鏡カメラヘッド１０５の構成について説明する。内視鏡カメラヘッド１０５は、撮像素子２１２と、カットフィルタ２１３と、レンズユニット５０１と、カメラヘッドメモリ５０２と、カメラヘッド制御部５０３と、を備える。
レンズユニット５０１は、挿入部１０２の光学系が集光した被写体像を撮像素子２１２の受光面に結像する。レンズユニット５０１は、焦点位置を変更可能である。レンズユニット５０１は、複数のレンズを用いて構成される。
カメラヘッドメモリ５０２は、内視鏡カメラヘッド１０５に関する各種情報（例えば撮像素子２１２の画素情報、カットフィルタ２１３の特性）を記録する。また、カメラヘッドメモリ５０２は、第１の伝送ケーブル１０６を経由して制御装置９から伝送されてくる各種設定データおよび制御用のパラメータを記録する。カメラヘッドメモリ５０２は、不揮発性メモリや揮発性メモリを用いて構成される。
カメラヘッド制御部５０３は、第１の伝送ケーブル１０６を経由して制御装置９から受信した設定データに基づいて、内視鏡カメラヘッド１０５を構成する各部の動作を制御する。カメラヘッド制御部５０３は、ＴＧ（Timing Generator）と、ＣＰＵ等のハードウェアを有する処理装置であるプロセッサと、プロセッサが使用する一時的な記憶域であるメモリを用いて実現される。
このように構成された医療用観察システム１Ｂは、上述し医療用観察システム１と同様の処理（図６を参照）を行う。
以上説明した実施の形態２によれば、上述した実施の形態１と同様の効果を奏するとともに、内視鏡カメラヘッド１０５の小型化を図ることができる。
（実施の形態３）
次に、実施の形態３について説明する。実施の形態３では、医療用観察システムとして軟性の内視鏡を用いた軟性内視鏡システムに適用した場合について説明する。なお、上述した実施の形態１に係る医療用観察システム１と同一の構成には同一の符号を付して詳細な説明を省略する。
〔医療用観察システムの概略構成〕
図１７は、実施の形態３に係る医療用観察システムの概略構成を示す図である。図１７に示す医療用観察システム１Ｃは、被検体内に挿入することによって被検体内の体内を撮像することによって画像データを生成し、この画像データに基づく画像を表示する。
図１７に示すように、医療用観察システム１Ｃは、被検体内に挿入部２０２を挿入することによって観察部位の体内画像を撮像して画像データを生成する内視鏡２０１と、光源装置３と、表示装置８と、制御装置９と、を備える。内視鏡２０１は、挿入部２０２の先端部２０３に撮像部２１が設けられてなる。
このように構成された医療用観察システム１Ｃは、上述し医療用観察システム１と同様の処理（図６を参照）を行う。
以上説明した実施の形態３によれば、軟性の内視鏡２０１を備える医療用観察システム１Ｃであっても、上述した実施の形態１と同様の効果を得ることができる。
（その他の実施の形態）
上述した本開示の実施の形態１〜３に係る医療用観察システムに開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、上述した本開示の実施の形態１〜３に係る医療用観察システムに記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、上述した本開示の実施の形態に係る医療用観察システムで説明した構成要素を適宜組み合わせてもよい。
また、本開示の実施の形態１〜３に係る医療用観察システムでは、上述してきた「部」は、「手段」や「回路」などに読み替えることができる。例えば、制御部は、制御手段や制御回路に読み替えることができる。
また、本開示の実施の形態１〜３に係る医療用観察システムに実行させるプログラムは、インストール可能な形式または実行可能な形式のファイルデータでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）、ＵＳＢ媒体、フラッシュメモリ等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
また、本開示の実施の形態１〜３に係る医療用観察システムに実行させるプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。
なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてタイミング間の処理の前後関係を明示していたが、本開示を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。即ち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。例えば、蛍光画像の生成、着色化処理と背景画像の生成および白黒化処理は並列処理することが可能である。
以上、本願の実施の形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、本開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
なお、本技術は以下のような構成も取ることができる。
（付記１）
光源装置が被写体に第１の可視光と蛍光物質を励起させて蛍光を発光させる励起光とを同時に照射した際に、前記第１の可視光が前記被写体で反射した反射光と、前記蛍光と、を医療用撮像装置が撮像することによって生成した画像データに基づいて、画像処理を行う画像処理部を備え、
前記画像処理部は、
前記画像データに含まれる前記第１の可視光が前記被写体で反射した反射光を受光した画素が出力した第１の画素値に基づいて、前記第１の可視光と異なる帯域である第２の可視光の成分に相当する補完画素値を生成し、
前記第１の画素値と、前記補完画素値と、に基づいて、背景画像を生成し、
前記画像データに含まれる前記蛍光を受光した画素が出力した第２の画素値に基づいて、蛍光画像を生成する、
医療用画像処理装置。
（付記２）
（付記１）に記載の医療用画像処理装置であって、
前記医療用撮像装置は、
前記医療用撮像装置は、
撮像素子の入射面側に設けられ、前記励起光を遮光する一方、前記第１の可視光が前記被写体で反射した反射光および前記蛍光を透過するカットフィルタを備える、
医療用画像処理装置。
（付記３）
（付記１）または（付記２）に記載の医療用画像処理装置であって、
前記画像処理部は、
前記第１の画素値から前記第２の画素値を減算し、該減算した減算結果と、前記補完画素値と、に基づいて、前記背景画像を生成する、
医療用画像処理装置。
（付記４）
（付記１）に記載の医療用画像処理装置であって、
前記医療用撮像装置は、
複数の画素を有する画素部、並びに前記第１の可視光と前記蛍光とを透過可能な第１のフィルタおよび前記第２の可視光と前記蛍光とを透過可能な第２のフィルタを前記複数の画素の各々の受光面に有し、前記第１の可視光および前記第２の可視光の少なくとも一方が前記被写体で反射した反射光および前記蛍光の少なくとも一方を撮像することによって画像データを生成する撮像素子を備え、
前記第１の画素値は、
前記第１のフィルタが配置されてなる画素が出力したものであり、
前記第２の画素値は、
前記第２のフィルタが配置されてなる画素が出力したものである、
医療用画像処理装置。
（付記５）
（付記４）に記載の医療用画像処理装置であって、
前記画像処理部は、
前記第１の画素値から、前記第１のフィルタの蛍光波長の分光感度を前記第２のフィルタの蛍光波長の分光感度で除算した値に前記第２の画素値を乗算した乗算結果を減算し、該減算した減算結果と、前記補完画素値と、に基づいて前記背景画像を生成する、
医療用画像処理装置。
（付記６）
（付記４）または（付記５）に記載の医療用画像処理装置であって、
前記第１の可視光は、
赤色の波長帯域の光および緑色の波長帯域の光の一方であり、
前記第１のフィルタは、
前記赤色の波長帯域の光と、前記蛍光と、を透過する赤色フィルタおよび前記緑色の波長帯域の光と、前記蛍光と、を透過する緑色フィルタの一方であり、
前記第２のフィルタは、
青色の波長帯域の光および前記蛍光を透過する青色フィルタである、
医療用画像処理装置。
（付記７）
（付記６）に記載の医療用画像処理装置であって、
前記光源装置は、
前記第１の可視光および前記第２の可視光と波長帯域が異なる第３の可視光を照射可能であり、
前記撮像素子は、
前記第３の可視光と前記蛍光とを透過可能な第３のフィルタを有し、
前記第３の可視光は、
前記赤色の波長帯域の光および前記緑色の波長帯域の光の他方であり、
前記第１のフィルタは、
前記赤色の波長帯域の光と、前記蛍光と、を透過する赤色フィルタおよび前記緑色の波長帯域の光と、前記蛍光と、を透過する緑色フィルタの他方である、
医療用画像処理装置。
（付記８）
（付記７）に記載の医療用画像処理装置であって、
前記画像処理部は、
前記緑色フィルタが配置されてなる画素が出力した前記第１の画素値に基づいて、前記補完画素値を生成する、
医療用画像処理装置。
（付記９）
（付記４）または（付記５）に記載の医療用画像処理装置であって、
前記第１の可視光は、
赤色の波長帯域の光および青色の波長帯域の光の一方であり、
前記第１のフィルタは、
前記赤色の波長帯域の光と、前記蛍光と、を透過する赤色フィルタおよび前記青色の波長帯域の光と、前記蛍光と、を透過する青色フィルタの一方であり、
前記第２のフィルタは、
緑色の波長帯域の光および前記蛍光を透過する緑色フィルタである、
医療用画像処理装置。
（付記１０）
（付記９）に記載の医療用画像処理装置であって、
前記光源装置は、
前記第１の可視光および前記第２の可視光と波長帯域が異なる第３の可視光を照射可能であり、
前記撮像素子は、
前記第３の可視光と前記蛍光とを透過可能な第３のフィルタを有し、
前記第３の可視光は、
前記赤色の波長帯域の光および前記青色の波長帯域の光の他方であり、
前記第１のフィルタは、
前記赤色の波長帯域の光と、前記蛍光と、を透過する赤色フィルタおよび前記青色の波長帯域の光と、前記蛍光と、を透過する青色フィルタの他方である、
医療用画像処理装置。
（付記１１）
（付記１０）に記載の医療用画像処理装置であって、
前記画像処理部は、
前記青色フィルタが配置されてなる画素が出力した前記第１の画素値に基づいて、前記補完画素値を生成する、
医療用画像処理装置。
（付記１２）
（付記６）〜（付記１１）のいずれか１つに記載の医療用画像処理装置であって、
前記光源装置を制御する制御部をさらに備え、
前記光源装置は、
赤色の波長帯域の光を発光可能な第１の光源部と、
前記緑色の波長帯域の光を発光可能な第２の光源部と、
前記青色の波長帯域の光を発光可能な第３の光源部と、
前記励起光を発光可能な第４の光源部と、
を備え、
前記制御部は、
白色光による観察を行う白色光観察モードの場合、前記第１の光源部、前記第２の光源部および前記第３の光源部を発光させる一方、
前記蛍光を観察する蛍光観察モードの場合、前記第１の光源部と、前記第４の光源部と、前記第２の光源部および前記第３の光源部の一方と、を発光させる、
医療用画像処理装置。
（付記１３）
（付記１）〜（付記１２）のいずれか一つに記載の医療用画像処理装置であって、
前記画像処理部は、
前記背景画像と、前記蛍光画像と、を合成した合成画像を生成する、
医療用画像処理装置。
（付記１４）
（付記１）〜（付記１２）のいずれか１つに記載の医療用画像処理装置であって、
前記画像処理部は、
前記背景画像および前記蛍光画像の少なくとも一方に対して白黒化処理を行う、
医療用画像処理装置。
（付記１５）
（付記１）〜（付記１２）のいずれか１つに記載の医療用画像処理装置であって、
前記画像処理部は、
前記背景画像および前記蛍光画像の少なくとも一方に対して着色化処理を行う、
医療用画像処理装置。
（付記１６）
（付記１）〜（付記１５）のいずれか１つに記載の医療用画像処理装置であって、
前記蛍光物質は、
インドシアニングリーンであり、
前記励起光は、
中心波長が７４０ｎｍである、
医療用画像処理装置。
（付記１７）
互いに異なる波長帯域の第１の可視光および第２の可視光と、蛍光物質を励起させて蛍光を発光させる励起光と、を照射可能な光源装置が被写体に前記第１の可視光と前記蛍光とを同時に照射した際に、前記第１の可視光が前記被写体で反射した反射光と、前記蛍光と、を医療用撮像装置が撮像することによって生成した画像データに基づいて、画像処理を行う画像処理部を備え、
前記医療用撮像装置は、
前記反射光と、前記蛍光と、複数の波長帯域毎に分光するダイクロイックプリズムと、前記ダイクロイックプリズムが分光した複数の波長帯域の光の各々を受光して複数の前記画像データを生成する複数の撮像素子と、
を備え、
前記画像処理部は、
前記画像データに基づいて、前記第１の可視光と異なる帯域である第２の可視光の成分に相当する画素値を補完する補完画素値を生成し、
前記画像データと、前記補完画素値と、に基づいて、背景画像を生成し、
前記画像データに基づいて、蛍光画像を生成する、
医療用画像処理装置。
（付記１８）
（付記１）〜（付記１７）のいずれか１つに記載の医療用画像処理装置と、
前記医療用撮像装置を回動可能に支持する支持部と、
前記支持部の基端部を回動可能に保持し、床面上を移動可能なベース部と、
をさらに備える、
医療用観察システム。
（付記１９）
（付記１）〜（付記１７）のいずれか１つに記載の医療用画像処理装置と、
被検体内に挿入可能であり、前記反射光および前記蛍光を集光して撮像素子の受光面に被写体像を結像する光学系を有する挿入部をさらに備える、
医療用観察システム。
（付記２０）
（付記１９）に記載の医療用観察システムであって、
前記挿入部は、前記医療用撮像装置に対して着脱自在である、
医療用観察システム。
（付記２１）
光源装置が被写体に第１の可視光と蛍光物質を励起させて蛍光を発光させる励起光とを同時に照射した際に、前記第１の可視光が前記被写体で反射した反射光と、前記蛍光と、を医療用撮像装置が撮像することによって生成した画像データに基づいて、画像処理を行う医療用画像処理装置が実行する画像処理方法であって、
前記画像データに含まれる前記第１の可視光が前記被写体で反射した反射光を受光した画素が出力した第１の画素値に基づいて、前記第１の可視光と異なる帯域である第２の可視光の成分に相当する補完画素値を生成し、
前記第１の画素値と、前記補完画素値と、に基づいて、背景画像を生成し、
前記画像データに含まれる前記蛍光を受光した画素が出力した第２の画素値に基づいて、蛍光画像を生成する、
画像処理方法。
１，１Ｂ，１Ｃ 医療用観察システム
２ 観察装置
３ 光源装置
４ ライトガイド
５ 顕微鏡部
６ 支持部
７ ベース部
８ 表示装置
９ 制御装置
２１ 撮像部
２２ 光出射部
２３ 駆動部
２４ 検出部
２５ 入力部
２６ 第１の制御部
３１ 第１の光源部
３２ 第２の光源部
３３ 第３の光源部
３４ 第４の光源部
９１ 画像処理部
９２ 入力部
９３ 記録部
９４ 第２の制御部
１０２ 挿入部
１０４ ライトガイド
１０５ 内視鏡カメラヘッド
１０６ 第１の伝送ケーブル
１０８ 第２の伝送ケーブル
１２１ 接眼部
１６１ ビデオコネクタ
１６２ カメラヘッドコネクタ
２０１ 内視鏡
２０２ 挿入部
２０３ 先端部
２１１ 光学系
２１２，２１２Ｂ，２１２Ｇ，２１２Ｒ 撮像素子
２１２ａ 画素部
２１２ｂ カラーフィルタ
２１３ カットフィルタ
２１４ ダイクロイックプリズム
５０１ レンズユニット
５０２ カメラヘッドメモリ
５０３ カメラヘッド制御部
９１１ 減算部
９１２ 第１の生成部
９１３ 第２の生成部
９１４ 第３の生成部
９１５ 合成部
９３１ プログラム記録部
１０１０ 第３の伝送ケーブル
Ｐ１ 蛍光画像
Ｐ２ 第１の背景画像
Ｐ３ 第３の背景画像
Ｐ４，Ｐ５ 合成画像
Ｑ１ 蛍光領域

Claims (20)

  1. 光源装置が被写体に第１の可視光と蛍光物質を励起させて蛍光を発光させる励起光とを同時に照射した際に、前記第１の可視光が前記被写体で反射した反射光と、前記蛍光と、を医療用撮像装置が撮像することによって生成した画像データに基づいて、画像処理を行う画像処理部を備え、
    前記画像処理部は、
    前記画像データに含まれる前記第１の可視光が前記被写体で反射した反射光を受光した画素が出力した第１の画素値に基づいて、前記第１の可視光と異なる帯域である第２の可視光の成分に相当する補完画素値を生成し、
    前記第１の画素値と、前記補完画素値と、に基づいて、背景画像を生成し、
    前記画像データに含まれる前記蛍光を受光した画素が出力した第２の画素値に基づいて、蛍光画像を生成する、
    医療用画像処理装置。
  2. 請求項１に記載の医療用画像処理装置であって、
    前記医療用撮像装置は、
    撮像素子の入射面側に設けられ、前記励起光を遮光する一方、前記第１の可視光が前記被写体で反射した反射光および前記蛍光を透過するカットフィルタを備える、
    医療用画像処理装置。
  3. 請求項１に記載の医療用画像処理装置であって、
    前記画像処理部は、
    前記第１の画素値から前記第２の画素値を減算し、該減算した減算結果と、前記補完画素値と、に基づいて、前記背景画像を生成する、
    医療用画像処理装置。
  4. 請求項１に記載の医療用画像処理装置であって、
    前記医療用撮像装置は、
    複数の画素を有する画素部、並びに前記第１の可視光と前記蛍光とを透過可能な第１のフィルタおよび前記第２の可視光と前記蛍光とを透過可能な第２のフィルタを前記複数の画素の各々の受光面に有し、前記第１の可視光および前記第２の可視光の少なくとも一方が前記被写体で反射した反射光および前記蛍光の少なくとも一方を撮像することによって画像データを生成する撮像素子を備え、
    前記第１の画素値は、
    前記第１のフィルタが配置されてなる画素が出力したものであり、
    前記第２の画素値は、
    前記第２のフィルタが配置されてなる画素が出力したものである、
    医療用画像処理装置。
  5. 請求項４に記載の医療用画像処理装置であって、
    前記画像処理部は、
    前記第１の画素値から、前記第１のフィルタの蛍光波長の分光感度を前記第２のフィルタの蛍光波長の分光感度で除算した値に前記第２の画素値を乗算した乗算結果を減算し、該減算した減算結果と、前記補完画素値と、に基づいて前記背景画像を生成する、
    医療用画像処理装置。
  6. 請求項４に記載の医療用画像処理装置であって、
    前記第１の可視光は、
    赤色の波長帯域の光および緑色の波長帯域の光の一方であり、
    前記第１のフィルタは、
    前記赤色の波長帯域の光と、前記蛍光と、を透過する赤色フィルタおよび前記緑色の波長帯域の光と、前記蛍光と、を透過する緑色フィルタの一方であり、
    前記第２のフィルタは、
    青色の波長帯域の光および前記蛍光を透過する青色フィルタである、
    医療用画像処理装置。
  7. 請求項６に記載の医療用画像処理装置であって、
    前記光源装置は、
    前記第１の可視光および前記第２の可視光と波長帯域が異なる第３の可視光を照射可能であり、
    前記撮像素子は、
    前記第３の可視光と前記蛍光とを透過可能な第３のフィルタを有し、
    前記第３の可視光は、
    前記赤色の波長帯域の光および前記緑色の波長帯域の光の他方であり、
    前記第１のフィルタは、
    前記赤色の波長帯域の光と、前記蛍光と、を透過する赤色フィルタおよび前記緑色の波長帯域の光と、前記蛍光と、を透過する緑色フィルタの他方である、
    医療用画像処理装置。
  8. 請求項７に記載の医療用画像処理装置であって、
    前記画像処理部は、
    前記緑色フィルタが配置されてなる画素が出力した前記第１の画素値に基づいて、前記補完画素値を生成する、
    医療用画像処理装置。
  9. 請求項４に記載の医療用画像処理装置であって、
    前記第１の可視光は、
    赤色の波長帯域の光および青色の波長帯域の光の一方であり、
    前記第１のフィルタは、
    前記赤色の波長帯域の光と、前記蛍光と、を透過する赤色フィルタおよび前記青色の波長帯域の光と、前記蛍光と、を透過する青色フィルタの一方であり、
    前記第２のフィルタは、
    緑色の波長帯域の光および前記蛍光を透過する緑色フィルタである、
    医療用画像処理装置。
  10. 請求項９に記載の医療用画像処理装置であって、
    前記光源装置は、
    前記第１の可視光および前記第２の可視光と波長帯域が異なる第３の可視光を照射可能であり、
    前記撮像素子は、
    前記第３の可視光と前記蛍光とを透過可能な第３のフィルタを有し、
    前記第３の可視光は、
    前記赤色の波長帯域の光および前記青色の波長帯域の光の他方であり、
    前記第１のフィルタは、
    前記赤色の波長帯域の光と、前記蛍光と、を透過する赤色フィルタおよび前記青色の波長帯域の光と、前記蛍光と、を透過する青色フィルタの他方である、
    医療用画像処理装置。
  11. 請求項１０に記載の医療用画像処理装置であって、
    前記画像処理部は、
    前記青色フィルタが配置されてなる画素が出力した前記第１の画素値に基づいて、前記補完画素値を生成する、
    医療用画像処理装置。
  12. 請求項６に記載の医療用画像処理装置であって、
    前記光源装置を制御する制御部をさらに備え、
    前記光源装置は、
    赤色の波長帯域の光を発光可能な第１の光源部と、
    前記緑色の波長帯域の光を発光可能な第２の光源部と、
    前記青色の波長帯域の光を発光可能な第３の光源部と、
    前記励起光を発光可能な第４の光源部と、
    を備え、
    前記制御部は、
    白色光による観察を行う白色光観察モードの場合、前記第１の光源部、前記第２の光源部および前記第３の光源部を発光させる一方、
    前記蛍光を観察する蛍光観察モードの場合、前記第１の光源部と、前記第４の光源部と、前記第２の光源部および前記第３の光源部の一方と、を発光させる、
    医療用画像処理装置。
  13. 請求項１に記載の医療用画像処理装置であって、
    前記画像処理部は、
    前記背景画像と、前記蛍光画像と、を合成した合成画像を生成する、
    医療用画像処理装置。
  14. 請求項１に記載の医療用画像処理装置であって、
    前記画像処理部は、
    前記背景画像および前記蛍光画像の少なくとも一方に対して白黒化処理を行う、
    医療用画像処理装置。
  15. 請求項１に記載の医療用画像処理装置であって、
    前記画像処理部は、
    前記背景画像および前記蛍光画像の少なくとも一方に対して着色化処理を行う、
    医療用画像処理装置。
  16. 請求項１に記載の医療用画像処理装置であって、
    前記蛍光物質は、
    インドシアニングリーンであり、
    前記励起光は、
    中心波長が７４０ｎｍである、
    医療用画像処理装置。
  17. 光源装置が被写体に第１の可視光と蛍光物質を励起させて蛍光を発光させる励起光とを同時に照射した際に、前記第１の可視光が前記被写体で反射した反射光と、前記蛍光と、を医療用撮像装置が撮像することによって生成した画像データに基づいて、画像処理を行う画像処理部を備え、
    前記医療用撮像装置は、
    前記反射光と、前記蛍光と、複数の波長帯域毎に分光するダイクロイックプリズムと、前記ダイクロイックプリズムが分光した複数の波長帯域の光の各々を受光して複数の前記画像データを生成する複数の撮像素子と、
    を備え、
    前記画像処理部は、
    前記画像データに基づいて、前記第１の可視光と異なる帯域である第２の可視光の成分に相当する画素値を補完する補完画素値を生成し、
    前記画像データと、前記補完画素値と、に基づいて、背景画像を生成し、
    前記画像データに基づいて、蛍光画像を生成する、
    医療用画像処理装置。
  18. 請求項１に記載の医療用画像処理装置と、
    前記医療用撮像装置を回動可能に支持する支持部と、
    前記支持部の基端部を回動可能に保持し、床面上を移動可能なベース部と、
    をさらに備える、
    医療用観察システム。
  19. 請求項１に記載の医療用画像処理装置と、
    被検体内に挿入可能であり、前記反射光および前記蛍光を集光して撮像素子の受光面に被写体像を結像する光学系を有する挿入部をさらに備える、
    医療用観察システム。
  20. 光源装置が被写体に第１の可視光と蛍光物質を励起させて蛍光を発光させる励起光とを同時に照射した際に、前記第１の可視光が前記被写体で反射した反射光と、前記蛍光と、を医療用撮像装置が撮像することによって生成した画像データに基づいて、画像処理を行う医療用画像処理装置が実行する画像処理方法であって、
    前記画像データに含まれる前記第１の可視光が前記被写体で反射した反射光を受光した画素が出力した第１の画素値に基づいて、前記第１の可視光と異なる帯域である第２の可視光の成分に相当する補完画素値を生成し、
    前記第１の画素値と、前記補完画素値と、に基づいて、背景画像を生成し、
    前記画像データに含まれる前記蛍光を受光した画素が出力した第２の画素値に基づいて、蛍光画像を生成する、
    画像処理方法。
JP2020049175A 2020-03-19 2020-03-19 医療用画像処理装置、医療用観察システムおよび画像処理方法 Pending JP2021149558A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020049175A JP2021149558A (ja) 2020-03-19 2020-03-19 医療用画像処理装置、医療用観察システムおよび画像処理方法
US17/167,110 US11774772B2 (en) 2020-03-19 2021-02-04 Medical image processing device, medical observation system, and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020049175A JP2021149558A (ja) 2020-03-19 2020-03-19 医療用画像処理装置、医療用観察システムおよび画像処理方法

Publications (2)

Publication Number Publication Date
JP2021149558A true JP2021149558A (ja) 2021-09-27
JP2021149558A5 JP2021149558A5 (ja) 2023-03-08

Family

ID=77747952

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020049175A Pending JP2021149558A (ja) 2020-03-19 2020-03-19 医療用画像処理装置、医療用観察システムおよび画像処理方法

Country Status (2)

Country Link
US (1) US11774772B2 (ja)
JP (1) JP2021149558A (ja)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6110887B2 (ja) * 2015-03-17 2017-04-05 浜松ホトニクス株式会社 重畳画像生成装置及び重畳画像生成装置の作動方法
JP6484336B2 (ja) * 2015-06-17 2019-03-13 オリンパス株式会社 撮像装置
JP6710151B2 (ja) * 2016-12-02 2020-06-17 富士フイルム株式会社 内視鏡装置及び内視鏡装置の作動方法
EP3690819B1 (en) * 2019-01-31 2023-09-13 Leica Instruments (Singapore) Pte. Ltd. Image processing device and method, and medical observation device comprising such an image processing device, using an intensity or brightness-dependent variation of a pseudocolor pattern characteristic

Also Published As

Publication number Publication date
US20210294084A1 (en) 2021-09-23
US11774772B2 (en) 2023-10-03

Similar Documents

Publication Publication Date Title
JP5259882B2 (ja) 撮像装置
JP5968944B2 (ja) 内視鏡システム、プロセッサ装置、光源装置、内視鏡システムの作動方法、プロセッサ装置の作動方法、光源装置の作動方法
JP4554944B2 (ja) 内視鏡装置
JP5815426B2 (ja) 内視鏡システム、内視鏡システムのプロセッサ装置、及び画像処理方法
JP5229723B2 (ja) 蛍光画像取得装置
JP5507376B2 (ja) 撮像装置
JP5110702B2 (ja) 蛍光画像取得装置
JP5460536B2 (ja) 電子内視鏡システム
JP5283545B2 (ja) 内視鏡システムおよび内視鏡用プロセッサ装置
WO2019087557A1 (ja) 内視鏡システム
JP2012213575A (ja) 眼科撮影装置
JP2010213992A (ja) 内視鏡システム、内視鏡用プロセッサ装置、並びに内視鏡駆動方法
JPWO2018163500A1 (ja) 内視鏡装置
JP5544260B2 (ja) 電子内視鏡システム
JP6137892B2 (ja) 撮像システム
JP6616071B2 (ja) 内視鏡用のプロセッサ装置、内視鏡用のプロセッサ装置の作動方法、内視鏡用の制御プログラム
WO2021186803A1 (ja) 医療用観察システム、制御装置および制御方法
US11774772B2 (en) Medical image processing device, medical observation system, and image processing method
JP2013013589A (ja) 画像信号処理装置、撮像システム、及び電子内視鏡システム
JP7068438B2 (ja) 画像処理装置、内視鏡システム、画像処理方法およびプログラム
US11463668B2 (en) Medical image processing device, medical observation system, and image processing method
WO2021039870A1 (ja) 医療用画像処理装置および医療用観察システム
US11582427B2 (en) Medical image processing apparatus and medical observation system
WO2020188969A1 (ja) 医療用制御装置及び医療用観察装置
JP2021148897A (ja) 制御装置および医療用観察システム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230227

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230227

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240111

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240227