JP2021144217A - Led系照明を用いた顕微鏡システムのコンセプト - Google Patents

Led系照明を用いた顕微鏡システムのコンセプト Download PDF

Info

Publication number
JP2021144217A
JP2021144217A JP2021037342A JP2021037342A JP2021144217A JP 2021144217 A JP2021144217 A JP 2021144217A JP 2021037342 A JP2021037342 A JP 2021037342A JP 2021037342 A JP2021037342 A JP 2021037342A JP 2021144217 A JP2021144217 A JP 2021144217A
Authority
JP
Japan
Prior art keywords
light
image
led
wavelength
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
JP2021037342A
Other languages
English (en)
Inventor
ギュンタート ミヒャエル
Michael Guentert
ギュンタート ミヒャエル
ヴァイガー ウルリッヒ
Weiger Ulrich
ヴァイガー ウルリッヒ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leica Instruments Singapore Pte Ltd
Original Assignee
Leica Instruments Singapore Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Leica Instruments Singapore Pte Ltd filed Critical Leica Instruments Singapore Pte Ltd
Publication of JP2021144217A publication Critical patent/JP2021144217A/ja
Ceased legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • G02B21/08Condensers
    • G02B21/082Condensers for incident illumination only
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0071Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20Surgical microscopes characterised by non-optical aspects
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/0012Surgical microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • G02B21/08Condensers
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/16Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/361Optical details, e.g. image relay to the camera or image sensor
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10Beam splitting or combining systems
    • G02B27/1006Beam splitting or combining systems for splitting or combining different wavelengths
    • G02B27/1013Beam splitting or combining systems for splitting or combining different wavelengths for colour or multispectral image sensors, e.g. splitting an image into monochromatic image components on respective sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017Electrical control of surgical instruments
    • A61B2017/00203Electrical control of surgical instruments with speech control or speech recognition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • A61B2090/309Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure using white LEDs
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2505/00Evaluating, monitoring or diagnosing in the context of a particular type of medical care
    • A61B2505/05Surgical care
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0035Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for acquisition of images from more than one imaging mode, e.g. combining MRI and optical tomography
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • G02B21/08Condensers
    • G02B21/082Condensers for incident illumination only
    • G02B21/084Condensers for incident illumination only having annular illumination around the objective

Landscapes

  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Signal Processing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

【課題】本発明の実施例は、発光ダイオード(LED)系照明システムおよび少なくとも1つのイメージセンサアセンブリを含む顕微鏡システム、ならびに対応するシステム、方法およびコンピュータプログラムに関する。【解決手段】LED系照明システムは、少なくとも1つの蛍光材料の励起波長に調整された波長に少なくとも1つのピークを有する放射電力を放出し、かつ/または少なくとも1つの蛍光材料の少なくとも1つの蛍光発光波長スペクトルと一致する波長スペクトルを有する光が減衰または遮断されるように、白色光スペクトル全体にわたって放出された光がフィルタリングされた状態で、白色光スペクトル全体にわたって放射電力を放出するように構成されている。少なくとも1つのイメージセンサアセンブリは、(少なくとも)LED系照明システムにより照明された試料によって反射された光を表す画像データを生成するように構成されている。顕微鏡システムは、画像データを処理して処理済画像データを生成するように構成された1つまたは複数のプロセッサを含む。【選択図】図1a

Description

本発明の実施例は、発光ダイオード(LED)系照明システムおよび少なくとも1つのイメージセンサアセンブリを含む顕微鏡システムに関し、ならびに対応するシステム、方法およびコンピュータプログラムに関する。
多くの顕微鏡システムでは、キセノン系照明が使用されている。キセノン系光源の光は、異なる波長帯域の光を得るために、フィルタ、例えばフィルタホイールを通過させられる。これは、多くの場合、スタンドからキャリアまでのファイバ束に依存してキャリアに照明を提供する、高い熱放散を伴う大型の非効率的なシステムにつながる可能性がある。また、キセノン光源は、異なるフィルタホイールを使用しているとはいえ、白色光の反射照明と蛍光励起との両方に使用されるため、かかるセットアップは柔軟性に欠けるものである。
さらに、顕微鏡の照明システムが提供する照明によっては、反射イメージングおよび蛍光イメージング等、異なる種類のイメージングが行われる場合がある。しかしながら、異なるフィルタホイールを介して提供される照明であることから、反射イメージングに使用される照明にはギャップが含まれる場合があり、当該ギャップが「白色光」反射率画像内に顕在化する可能性がある。
照明システムおよびイメージングセンサを含む顕微鏡システムのコンセプトを改良することが望まれている。
この要求は、独立請求項の主題によって対処される。
本開示の種々の実施形態は、照明システム、イメージングセンサ、および顕微鏡システムの画像処理を相互依存システムとして設計することが望ましい場合があるという知見に基づいている。例えば、単一のイメージングセンサまたは複数のイメージングセンサは、(例えば、バンドパスフィルタを使用して)照明システムによって提供される波長帯域に調整されてもよい。放射電力は、白色光および蛍光イメージングの特定のニーズに合わせて調整された照明スペクトルと、異なる照明スペクトルを独立してアクティブ化できる光源と、を備えた発光ダイオード(LED)を使用する照明システムによって提供されてもよい。さらに、白色光イメージングにおいて、蛍光イメージングに使用されているスペクトルの部分を補償し、現在白色光イメージングに使用されていないスペクトルの部分を使用して蛍光イメージングを行う画像処理が行われてもよい。
本開示の種々の実施形態は、少なくとも1つの蛍光材料の励起波長に調整された波長に少なくとも1つのピークを有する放射電力(すなわち光)を放出し、かつ/または少なくとも1つの蛍光材料の少なくとも1つの蛍光発光波長と一致する波長(スペクトル)を有する光が減衰または遮断されるように、白色光スペクトル全体にわたって放出された放射電力がフィルタリングされた状態で、白色光スペクトル全体にわたって放射電力(すなわち光)を放出するように構成された発光ダイオード(LED)系照明システムを含む顕微鏡システムに関する。顕微鏡システムは、画像データを生成するように構成された少なくとも1つのイメージセンサアセンブリを含む。画像データは、(少なくとも)LED系照明システムにより照明された試料によって反射された光を表す。顕微鏡システムは、画像データを処理して処理済画像データを生成するように構成された1つまたは複数のプロセッサを含む。本システムを使用して、蛍光イメージングを考慮してスペクトルの一部を除外した照明に基づいて、白色光スペクトル全体にわたる反射率画像を示す処理済画像データを出力することができる。さらに、蛍光画像オーバーレイを生成することができる。LED系光源を使用することで、エネルギ消費量を削減し、その結果、熱放散を低減することができる。さらに、LED系光源はコンパクトであるため、ファイバチャネルを使用して光をキャリアに輸送する代わりに、顕微鏡の対物レンズの近傍に包含させることができる。
種々の実施例では、1つまたは複数のプロセッサは、処理済画像データのうち、少なくとも1つの蛍光材料の少なくとも1つの蛍光発光波長と一致する波長を有する光を表す部分を再構成するように構成されている。換言すれば、画像処理は、スペクトルの「欠落」部分を補償するために使用されうる。
種々の実施例では、顕微鏡システムは、反射イメージングと蛍光イメージングとの両方に使用される。したがって、画像データは、LED系照明システムにより照明された試料によって反射された光と、少なくとも1つの蛍光材料によって放出された光と、を表しうる。このように、1つまたは複数のプロセッサは、LED系照明システムにより照明された試料によって反射された光と、少なくとも1つの蛍光材料によって放出された光と、に別々に画像処理を行うように構成可能である。
例えば、1つまたは複数のプロセッサは、画像データに基づいて、可視光を表す第1の画像と、少なくとも1つの蛍光材料の蛍光発光を表す第2の画像と、を生成するように構成可能である。換言すれば、1つまたは複数のプロセッサは、少なくとも1つのイメージセンサアセンブリによって提供される画像データを使用して、反射イメージングおよび蛍光イメージングを行うように構成可能である。
しかしながら、顕微鏡システムでは、場合によっては、一方の画像のみを提供する場合がある。例えば、LED系照明システムは、2つ以上の動作モードを有しうる。第1の動作モードは、反射イメージングおよび蛍光イメージングに適していてよい。第2の動作モードは、反射イメージング(反射イメージングのみ、蛍光イメージングなし)に適していてよい。1つまたは複数のプロセッサは、LED系照明システムが第1の動作モードで動作する場合には、第1の画像と第2の画像とを生成し、LED系照明システムが第2の動作モードで動作する場合には、第2の画像を生成せずに第1の画像を生成するように構成されうる。いくつかの実施例では、LED系照明システムはまた、蛍光イメージングのみに適した第3の動作モードを有していてもよい。この場合、1つまたは複数のプロセッサは、第2の画像のみを提供しうる。
種々の実施例では、顕微鏡システムは、例えば、立体画像を提供するために、2つのイメージセンサアセンブリを含む。
いくつかの実施例では、例えばスペクトルの異なる部分を捕捉するために、複数のセンサを含むイメージセンサアセンブリを使用してもよい。種々の実施例では、これらのセンサは、スペクトルの関連部分をそれぞれのイメージセンサに導くために使用されるビームスプリッタアセンブリと結合されていてよい。換言すれば、少なくとも1つのイメージセンサアセンブリ、または各イメージセンサアセンブリは、ビームスプリッタアセンブリと3つのイメージセンサとを含んでいてもよい。ビームスプリッタアセンブリは、第1のスペクトル部分の光を第1のイメージセンサに、第2のスペクトル部分の光を第2のイメージセンサに、第3のスペクトル部分の光を第3のイメージセンサに導くように構成されうる。3つのイメージセンサは、それぞれのイメージセンサに入射するスペクトル部分に基づいて画像データを生成するように構成されうる。3つのセンサのセットアップ、および蛍光材料の種々の発光波長帯域に調整された光を3つのスペクトル部分に分離することで、白色光画像の画質を良好に保ちながら、可視光波長帯域の光の反射イメージングおよび(複数の蛍光材料による)蛍光イメージングを同時に行うことができる。
例えば、3つのイメージセンサのうちの第1のイメージセンサおよび第2のイメージセンサをベイヤーフィルタで動作させてもよく、3つのイメージセンサのうちの第3のイメージセンサをベイヤーフィルタなしで動作させてもよい。例えば、ベイヤーフィルタを備えたイメージセンサは、より広範な範囲のスペクトルをカバーするスペクトルの部分、例えば異なる色を撮像するために使用されてもよく、一方、ベイヤーフィルタなしで動作するセンサは、単一のスペクトルの部分を撮像するために使用されてもよい。
種々の実施例では、画像データは、第1のイメージセンサに由来する第1の部分、第2のイメージセンサに由来する第2の部分、および第3のイメージセンサに由来する第3の部分を含む。1つまたは複数のプロセッサは、画像データの3つの部分の第1の組み合わせに基づいて可視光を表す第1の画像を生成し、画像データの3つの部分の第2の組み合わせに基づいて少なくとも1つの蛍光材料の蛍光発光を表す第2の画像を生成するように構成可能である。換言すれば、生成される画像の種類に応じて、各センサから提供される画像データを異なるように結合することができる。
例えば、1つまたは複数のプロセッサは、1つの蛍光材料の励起波長に調整された波長に1つのピークを有する光が放出された場合に、第1の画像が画像データの2つの部分に基づいて生成され、第2の画像が画像データの1つの部分に基づいて生成されるように、画像データの3つの部分を結合すべく構成可能である。1つまたは複数のプロセッサは、3つの蛍光材料の励起波長に調整された3つの波長に3つのピークを有する光が放出された場合に、第1の画像が画像データの1つの部分に基づいて生成され、第2の画像が画像データの2つの部分に基づいて生成されるように、画像データの3つの部分を結合すべく構成可能である。
2つの蛍光材料の2つの励起波長に調整された波長に2つのピークを有する光が放出された場合、どちらの蛍光材料を使用しているかにもよるが、場合によっては、(例えば、両方の励起波長を1つのイメージセンサでカバーしている場合等に)第1の画像が画像データの2つの部分に基づいて生成され、第2の画像が画像データの1つの部分に基づいて生成される。また、場合によっては、(例えば、2つの励起波長が異なるイメージセンサでカバーされている場合等に)第1の画像が画像データの1つの部分に基づいて生成され、第2の画像が画像データの2つの部分に基づいて生成される。
種々の実施例では、異なるイメージセンサを使用して、異なる蛍光材料の蛍光イメージングを行ってもよい。例えば、1つまたは複数のプロセッサは、第1の蛍光材料の励起波長に調整された第1の波長にピークを有する光が放出された場合に、第2の画像が画像データの第1の部分に基づいて生成されるように、画像データの3つの部分を結合すべく構成可能である。1つまたは複数のプロセッサは、第2の蛍光材料の励起波長に調整された第2の波長にピークを有する光が放出された場合に、第2の画像が画像データの第3の部分に基づいて生成されるように、画像データの3つの部分を結合すべく構成可能である。
ただし、画像データの1つの部分を使用して、2つの蛍光材料の蛍光イメージングを行ってもよい。例えば、1つまたは複数のプロセッサは、第3の蛍光材料の励起波長に調整された第3の波長にピークを有する光が放出された場合に、第2の画像が画像データの第1の部分に基づいて生成されるように、画像データの3つの部分を結合すべく構成可能である。
種々の実施例では、1つまたは複数のプロセッサは、少なくとも画像データの第2の部分に基づいて第1の画像を生成するように構成されている。換言すれば、画像データの第2の部分は、常に「白色光」反射率画像を生成するために使用される場合があり、蛍光画像を生成するために使用されない場合がある。
種々の実施例では、第1のスペクトル部分および第2のスペクトル部分のうちの少なくとも1つは、互いに離間して配置された2つのスペクトルサブ部分を含む。例えば、これらの2つのスペクトルサブ部分を使用して、同一のイメージセンサを使用した2つの異なる蛍光材料の蛍光イメージングを行ってもよい。例えば、第1のスペクトル部分は、450nm〜550nmおよび750nm〜1000nmに位置する2つの連続したサブ部分を含んでいてもよい。第3のスペクトル部分は、550nm〜700nmに位置する連続部分であってもよい。例えば、第1のスペクトル部分は、フルオレセイン(450nm〜550nmの範囲)およびインドシアニングリーン(ICG、750nm〜1000nmの範囲)の蛍光イメージングを行うために使用されてもよい。第3のスペクトル部分は、5−ALAの蛍光イメージングを行うために使用されてもよい。
LED系照明システムは、その名称から明らかなように、LED系光源を含む。特に、LED系照明システムは、白色光の色スペクトル全体にわたって放射電力(すなわち光)を放出するように構成された1つまたは複数の第1のLED系光源を含むことができる。LED系照明システムは、1つまたは複数の第1のLED系光源によって放出された光をフィルタリングするように配置され、少なくとも1つの蛍光材料の少なくとも1つの蛍光発光波長と一致する波長を有する光を減衰または遮断するように構成された少なくとも1つの光学フィルタを含みうる。LED系照明システムは、少なくとも1つの蛍光材料の励起波長に調整された波長に少なくとも1つのピークを有する光を放出するように構成された1つまたは複数の第2のLED系光源を含みうる。2つの光源グループを使用して、白色光用の照明と蛍光励起用の照明とを独立して制御することができる。また、フィルタを使用して蛍光材料の発光スペクトルと一致する波長の光を遮断または減衰させることができるため、白色光のLED光源がアクティブである間、蛍光材料の発光を画像データ内で区別することができる。
種々の実施例では、1つまたは複数の第2のLED系光源は、390nm〜420nm、460nm〜500nm、および780nm〜810nmのうちの1つまたは複数のピークを有する放射電力(すなわち光)を放出するように構成されている。これらの波長は、一般的な蛍光物質の励起波長である。
いくつかの実施例では、LED系照明システムは、白色光の色スペクトル全体にわたって放射電力(すなわち光)を放出するように構成された1つまたは複数の第3のLED系光源をさらに含む。これらの追加の光源は、少なくとも1つの光学フィルタによってフィルタリングされない白色光を提供するために使用されてもよい。例えば、反射イメージングのみが行われている場合に使用されてもよい。
種々の実施例では、LED系照明システムは、2つ以上の動作モードを有する。LED系照明システムは、第1の動作モードにおいて、少なくとも1つの蛍光材料の励起波長に調整された波長に少なくとも1つのピークを有する放射電力(すなわち光)を放出し、少なくとも1つの蛍光材料の少なくとも1つの蛍光発光波長と一致する波長を有する光が減衰または遮断されるように、白色光スペクトル全体にわたって放出された光がフィルタリングされた状態で、白色光スペクトル全体にわたって放射電力を放出し、第2の動作モードにおいて、少なくとも1つの蛍光材料の少なくとも1つの蛍光発光波長と一致する波長を有する光が減衰または遮断されることなく、白色光スペクトル全体にわたって放射電力(すなわち光)を放出するように構成されうる。換言すれば、第2の動作モードでは、可視光のスペクトル全体が照明されうる。
本開示の種々の実施形態は、顕微鏡を使用して対象物を撮像するための方法をさらに提供する。本方法は、LED系照明システムを使用して、少なくとも1つの蛍光材料の励起波長に調整された波長に少なくとも1つのピークを有する放射電力(すなわち光)を放出することを含む。本方法は、LED系照明システムを使用して、白色光スペクトル全体にわたって放射電力(すなわち光)を放出することを含む。少なくとも1つの蛍光材料の少なくとも1つの蛍光発光波長(スペクトル)と一致する波長(スペクトル)を有する光が減衰または遮断されるように、白色光スペクトル全体にわたって放出された光がフィルタリングされる。本方法は、画像データを生成することを含み、画像データは、LED系照明システムにより照明された試料によって反射された光を表す。本方法は、画像データを処理して処理済画像データを生成することを含む。
本開示の種々の実施形態は、コンピュータプログラムがプロセッサ上で実行されるときに、本方法を実行するためのプログラムコードを有するコンピュータプログラムに関する。
装置および/または方法の一部の例は、例示の目的のみに、添付の図面を参照して、以下で説明される。
顕微鏡システムの一実施例を示す概略図である。 顕微鏡用照明システムの一実施例を示す概略図である。 顕微鏡用のイメージセンサアセンブリの一実施例を示す概略図である。 3つのスペクトル部分の一実施例を示す概略図である。 顕微鏡システムの一実施例を示す概略図である。 顕微鏡システムの一実施例を示す概略図である。 白色光をフィルタリングするためのバンドパスフィルタの透過率を示す図である。 顕微鏡を使用して対象物を撮像するための方法の一実施例を示すフローチャートである。 光ビームスプリッタアセンブリの一実施形態を含む顕微鏡アセンブリの一実施形態の概略図である。 可視光および蛍光が光入口部に入射したときの第1の光出力部に到達するスペクトル部分を表すグラフの図である。 可視光および蛍光が光入口部に入射したときの第2の光出力部に到達するスペクトル部分を表すグラフの図である。 可視光および蛍光が光入口部に入射したときの第3の光出力部に到達するスペクトル部分を表すグラフの図である。 光ビームスプリッタアセンブリの実施形態を含む顕微鏡アセンブリのさらなる実施形態の概略図である。 顕微鏡アセンブリのさらなる実施形態の概略図である。 顕微鏡システムの例示的な実装形態のための異なる照明モードおよび撮像モードを示す図である。 顕微鏡システムの例示的な実装形態のための異なる照明モードおよび撮像モードを示す図である。 顕微鏡システムの例示的な実装形態のための異なる照明モードおよび撮像モードを示す図である。 顕微鏡システムの例示的な実装形態のための異なる照明モードおよび撮像モードを示す図である。 顕微鏡およびコンピュータシステムを含むシステムの一実施例を示す概略図である。
次に、一部の実施例が示されている添付の図面を参照して、種々の実施例をより完全に説明する。図では、線、層および/または領域の太さは、明確にするために誇張されている場合がある。
図1aは、顕微鏡システム1000の一実施例を示す概略図である。顕微鏡システムは、少なくとも1つの蛍光材料の励起波長に調整された波長に少なくとも1つのピークを有する放射電力を放出し、かつ/または白色光スペクトル全体にわたって放射電力を放出するように構成されたLED系照明システム180を含む。白色光スペクトル全体にわたって放出された光は、少なくとも1つの蛍光材料の少なくとも1つの蛍光発光波長スペクトルと一致する波長スペクトルを有する光が減衰または遮断されるようにフィルタリングされる。顕微鏡システムは、画像データを生成するように構成された少なくとも1つのイメージセンサアセンブリ130を含み、画像データは、LED系照明システムにより照明された試料によって反射された光を表す。顕微鏡システムは、画像データを処理して処理済画像データを生成するように構成された1つまたは複数のプロセッサ194を含む。
図1aの顕微鏡システム1000は、外科用顕微鏡システム、すなわち患者の手術中に使用するための顕微鏡システムである。かかる顕微鏡システムは、さらに顕微鏡100を含み、これは、顕微鏡システムの光学部品をさらに含むので、「光学キャリア」100とも称される。概して、実際の顕微鏡と顕微鏡を含む顕微鏡システムとは、区別される。顕微鏡を含む顕微鏡システムは、顕微鏡とそれに付随して使用される種々の構成要素(例えば、照明システム、補助ディスプレイ、アーム等)とを含む。顕微鏡システムにおいて、実際の顕微鏡は、顕微鏡システムの光学部品を含むため、「光学キャリア」とも称されることが多い。概して、顕微鏡とは、人間が目視(単独)で検査するには小さすぎる対象物を検査するのに適した光学機器である。例えば、顕微鏡により、対象物の光学的増倍が提供されうる。現代の顕微鏡では、光学的増倍は、カメラまたは少なくとも1つのイメージセンサアセンブリ130のようなイメージセンサのために提供されることが多い。顕微鏡は、試料上の視野を拡大するために使用される1つまたは複数の光学的増倍部品をさらに含みうる。
顕微鏡システムの種々の例は、図1aおよび図1bに示すように、顕微鏡のためのシステム190、すなわち顕微鏡用のコンピュータシステムをさらに含んでいてよい。システム190は、例えば、顕微鏡システムの1つまたは複数のプロセッサ194を含んでいてもよい。概して、本発明の顕微鏡用システムは、顕微鏡システムおよび/または顕微鏡システムの種々の構成要素と結合可能であり、顕微鏡または顕微鏡システムのためのデータおよび信号処理を行うように構成可能である。例えば、図1bに示すように、システム190は、1つまたは複数のプロセッサ194と1つまたは複数のストレージデバイス196とを含んでいてよい。任意に、システム190は、顕微鏡または顕微鏡システムの他の構成要素と通信するためのインタフェース192をさらに含んでいてもよい。例えば、図1bに示すように、インタフェースは、照明システム180および/または2つ以上のイメージセンサアセンブリ130と通信するように構成可能である。任意に、インタフェースはまた、顕微鏡システムまたは顕微鏡の他の構成要素、例えばアーム、補助ディスプレイ、タッチスクリーン制御ディスプレイ、ハンドル、フットペダル等と通信するために使用されてもよい。概して、システム190の機能は、1つまたは複数のプロセッサ、例えば(情報または信号を交換するための)インタフェース192に付随して、かつ/または(情報を記憶するための)1つまたは複数のストレージデバイスに付随して提供されうる。
顕微鏡システムは、少なくとも1つの蛍光材料の励起波長に調整された波長に少なくとも1つのピークを有する放射電力を放出し、かつ/または白色光スペクトル全体にわたって放射電力を放出するように構成された発光ダイオード(LED)系照明システム180を含む。種々の実施例では、「放射電力を放出する」という用語は、実際の光源に使用される用語であり、光源は、「光」として定義されるスペクトル内の(電磁)放射を放出するように構成されている。換言すれば、各光源は、それ自体が光として顕在化する放射電力を放出しうる。結果として、光源、ひいてはLED系照明システムは、上記および/または下記で特定される種々の帯域で光を放出するとみなされうる。
図1bは、顕微鏡の照明システム180の一実施例を示す概略図である。照明システム180は、顕微鏡に適したLED系照明システム180である。例えば、図1bの照明システム180は、図1a、図2a、図2bおよび図4〜7に関連して示された顕微鏡および/または顕微鏡システム内に統合されてもよい。特に、図1bに示す照明システム180は、図2aおよび図2bに示すように、顕微鏡の対物レンズ102に位置していてもよい。
図1bの照明システム180は、少なくとも1つの蛍光材料の励起波長に調整された波長に少なくとも1つのピークを有する放射電力を放出し、かつ/または白色光スペクトル全体にわたって放射電力を放出するように構成されたLED系照明システムである。
例えば、図1bに示す照明システムは、1つまたは複数の第1のLED系光源181−1を含む。1つまたは複数の第1のLED系光源は、白色光の色スペクトル全体にわたって放射電力を放出するように構成されている。照明システムは、少なくとも1つの光学フィルタ181−2を含む。少なくとも1つの光学フィルタは、1つまたは複数の第1のLED系光源によって放出された光をフィルタリングするように配置されている。例えば、白色光スペクトル全体にわたって放出された光は、少なくとも1つの蛍光材料の少なくとも1つの蛍光発光波長スペクトルと一致する波長スペクトルを有する光が減衰または遮断されるようにフィルタリングされてもよい。その結果、白色光スペクトル全体にわたって放出された光は、少なくとも1つの蛍光材料の少なくとも1つの蛍光発光波長スペクトルと一致する波長スペクトルを有する光が減衰または遮断されるようにフィルタリングされる。図1bの照明システムは、1つまたは複数の第2のLED系光源182を含む。1つまたは複数の第2のLED系光源は、少なくとも1つの蛍光材料の励起波長に調整された波長に少なくとも1つのピークを有する光を提供するように構成されている。各LED系光源181−1;182(および任意に183)は、顕微鏡を介して観察される試料に向けて放射電力を放出するように構成可能である。
顕微鏡システムでは、概して照明システムは、例えば、試料ステージ上の試料(実験室用顕微鏡の場合)または手術台上の患者等の試料を照明するために使用される。したがって、光源181−1および182(ならびに以下に提示するように、光源183)は、顕微鏡を介して観察される試料に向けて放射電力を放出するように構成されうる。換言すれば、光源から放出される光は、例えば試料ステージで試料に向けることができ、または患者に向けることができる。光源が過度に広範なビーム角度となることを避けるために、光学集光素子185を使用して試料に光を向けることができる。換言すれば、各LED系光源は、光学集光素子を介して試料に向けて光を放出するように構成されうる。概して、レンズ、導光体、パラボリック集光器等、異なる種類の光学集光素子を使用することができる。例えば、複合パラボリック集光器を使用してもよい。換言すれば、光学集光素子は、複合パラボリック集光器(CPC)、例えば全内部反射(TIR)ベースのCPCであってもよい。複合パラボリック集光器は、光源からの光を収集して集光するのに適した中空のパラボリック形状を有する光学素子であり、複合パラボリック集光器から光が放出される際に、予め設定された最大角度が得られる。例えば、各光源は、複合パラボリック集光器に結合されていてよく、光源の光は、光源に結合された複合パラボリック集光器によって集光されてもよい。
概して、本開示の実施形態で使用される光源は、LED系光源である。概して、LED系光源は、LED、例えば表面実装型LED(SMD LED等)、およびLEDをエネルギ源に電気的に接続するための接続構造を含みうる。LEDは、通常、LEDにエネルギ、すなわち電流を供給するように構成されたドライバ回路(通常は集積回路)に接続されている。いくつかの実施形態では、各光源は、対応するドライバ回路を含みうる。代替的に、共通のドライバ回路を使用して、LEDに(全ての)エネルギを供給してもよい。いずれにしても、ドライバ回路を使用してLEDを最大強度で駆動するようにしてもよい。代替的にもしくは付加的に、ドライバは、最大強度未満のLEDを駆動できる場合があり、これは「調光」と称される。概して、顕微鏡用照明システムでは、異なるレベルの光強度が所望されうるため、光源は調光可能であってよく、すなわち、光源のドライバ回路は、例えば制御装置からの制御信号に応答して、最大強度未満のLEDを駆動することが可能であってよい。調光には、電流ベースの調光またはパルス幅変調ベースの調光等、種々のアプローチを使用することができる。例えば、図1cに示すシステム190、例えばシステム190の1つまたは複数のプロセッサ194は、光源を制御するように構成可能である。個々の光源が使用されているので、光源は、(各光源が独自のドライバ回路を有する場合に)互いに独立して制御されてもよく、(例えば、第1の光源と第2の光源とが異なるドライバ回路を有する場合、または単一のドライバ回路を介して独立して制御可能である場合に)少なくともグループで制御されてもよい。したがって、1つまたは複数のプロセッサ194(またはより概略的には、システム190)は、1つまたは複数の第1のLED系光源および1つまたは複数の第2のLED系光源を互いに独立して制御するように構成可能である。
照明システムは、異なるグループ(またはセット)の光源を含む。例えば、照明システムは、1つまたは複数の第1のLED系光源181−1を含む第1のグループまたはセットの光源と、1つまたは複数の第2のLED系光源182を含む第2のグループまたはセットの光源と、を含む。いくつかの実施形態では、図1b、図2aおよび図2bにも示されているように、照明システムは、1つまたは複数の第3のLED系光源183を含む第3のグループまたはセットをさらに含んでもよい。
概して、光源(またはグループ/セットの光源)は、それらが放出する光スペクトルによって区別可能であり、またはいずれか1つのフィルタによってフィルタリングされた後に放出する光スペクトルによって区別されうる。例えば、1つまたは複数の第1のLED系光源は、白色光の色スペクトル全体にわたって放射電力を放出するように構成されている。換言すれば、1つまたは複数の第1のLED系光源は、380nm〜740nmの波長帯域の少なくとも90%に連続的に及ぶ連続波長帯域で放射電力を放出するように構成されうる。1つまたは複数の第1のLED系光源は、少なくとも300nmの範囲に及ぶ連続波長帯域の光を放出する広帯域光源でありうる。より一般的な用語では、1つまたは複数の第1のLED系光源は、「白色光」LED、すなわち、広範な波長帯域を含むことにより「白色光」であると知覚される放射電力を放出するLEDと称されうる。
1つまたは複数の第2のLED系光源は、これとは異なるものであり、少なくとも1つの蛍光材料の励起波長に調整された波長に少なくとも1つのピークを有する放射電力を放出する。したがって、1つまたは複数の第2のLED系光源は「蛍光励起光源」と称されうる。換言すれば、1つまたは複数の第2のLED系光源は、狭帯域光源でありうる(すなわち、100nm未満の波長範囲に及ぶ1つまたは複数の波長帯域でそれぞれ放出する)。これは、様々なアプローチを使用して実現することができる。例えば、フィルタを使用せずに、狭帯域の放射電力のみを放出する光源であってもよい。換言すれば、1つまたは複数の第2のLED系光源の少なくともサブセットは、放出光を少なくとも1つのピークに制限するためにフィルタを使用することなく、少なくとも1つの蛍光材料の励起波長に調整された波長に少なくとも1つのピークを有する光を提供するように構成可能である。換言すれば、1つまたは複数の第2のLED系光源の少なくともサブセットは、狭帯域(例えば、100nmの波長範囲未満、または50nmの波長範囲未満)で放射電力を放出するように構成されたLEDを含んでいてよい。代替的にもしくは付加的に、フィルタが1つまたは複数の第2のLED系光源のサブセットで使用されてもよい。換言すれば、図2aおよび図2bにさらに示されるように、照明システム(例えば、1つまたは複数の第2のLED系光源の少なくともサブセット)は、1つまたは複数の第2のLED系光源の少なくともサブセットによって放出される光をフィルタリングするように配置された第2の光学フィルタ184(例えば、少なくとも1つの第2の光学フィルタ184)を含んでいてもよい。例えば、第2のフィルタは、1つまたは複数の第2のLED系光源の少なくともサブセットによって放出される光を、少なくとも1つの蛍光材料の励起波長に調整された波長の少なくとも1つのピークに制限するように構成可能である。いくつかの実施形態では、2つのアプローチを組み合わせることができ、蛍光材料のサブセットについては、(十分に狭帯域の光源が利用可能であるため)フィルタなしの光源を使用することができ、蛍光材料の別のサブセットについては、フィルタを使用して(さらに)放出される波長を制限することができる。例えば、本願の文脈では、「少なくとも1つの蛍光材料の励起波長に調整された波長に少なくとも1つのピークを有する光」という用語は、少なくとも1つの蛍光材料の励起波長または励起波長帯域と交わる波長または波長帯域に最高強度を有する光であり、他の波長の光は最高強度の80%以下(または50%以下、20%以下、10%以下)の強度で放出されるものとして理解されうる。
概して、1つまたは複数の第2のLED系光源によって放出される光は、少なくとも1つの蛍光材料の単一の励起波長/複数の励起波長に調整されている。蛍光材料は、顕微鏡ではしばしば、蛍光材料を使用して以前にマーキングされた組織または血管の部分を強調表示するために使用される。例えば、フルオレセイン、インドシアニングリーン(ICG)または5−ALA(5−アミノレブリン酸)のような蛍光色素を組織または血管に印をつけるために使用しうる。換言すれば、少なくとも1つの蛍光材料は、少なくとも1つの蛍光色素であってよい。蛍光材料とは、ある波長の光/第1の波長帯域の光(すなわち「励起波長」)で励起され、別の波長帯域(すなわち「発光波長」)の放射電力を放出する材料のことを指す。このように、1つまたは複数の第2のLED系光源は、蛍光材料の単一の励起波長/複数の励起波長にピークを有する放射電力を放出する。典型的に使用される蛍光色素の場合、励起波長は、390nm〜420nm、460nm〜500nm、または780nm〜810nmでありうる。例えば、図2aおよび図2bに示す例では、405nm、480nmおよび788nmにそれぞれピークを有する3つの異なる第2のLED系光源が使用されている。したがって、1つまたは複数の第2のLED系光源は、390nm〜420nm、460nm〜500nm、および780nm〜810nmの1つまたは複数のピークを有する放射電力を放出するように構成されうる。例えば、1つまたは複数の第2のLED系光源のうちの異なる光源は、異なる蛍光材料の異なる単一の励起波長/複数の励起波長にピークを有する放射電力を放出してもよい。この場合、これらの異なる光源は、システム190または1つまたは複数のプロセッサ194によって相互に独立して制御されてもよい。
1つまたは複数の第1のLED系光源により、蛍光材料によって放出された光が消失するのを避けるために、少なくとも1つの蛍光材料の発光波長帯域の光を、1つまたは複数のLED系光源によって放出された光からフィルタリングすることができる。換言すれば、少なくとも1つの光学フィルタは、少なくとも1つの蛍光材料の少なくとも1つの蛍光発光波長(スペクトル)と一致する波長(スペクトル)を有する光を減衰または遮断するように構成されうる。したがって、少なくとも1つの光学フィルタは、490nm〜560nm、610nm〜660nm、および750nm〜1000nmの波長帯域のうちの少なくとも1つの範囲内で光を減衰または遮断するように構成されうる。なお、490nm〜560nm、610nm〜660nm、750nm〜1000nmの波長帯域は、一般的な蛍光色素(それぞれ、フルオレセイン、5−ALA、ICG)の発光波長帯域でありうる。結果として、第1のセットおよび第2のセットの光源が同時に使用可能であり、第1のグループまたはセットによって放出された光の対応する部分がフィルタリングされているので、蛍光発光は依然として視認可能でありうる。したがって、少なくとも1つの光学フィルタは、1つまたは複数の第1のLED系光源と顕微鏡を通して知覚される試料との間の光路に配置されうる。さらに、少なくとも1つの光学フィルタは、1つまたは複数の第1のLED系光源のそれぞれによって放出された光をフィルタリングするように配置可能であり、すなわち、1つまたは複数の第1の光源によって放出された光のいずれも、少なくとも1つの光学フィルタを迂回することはできない。例えば、少なくとも1つの光学フィルタは、バンドパスフィルタであってよく、例えば、図2cに示すようなフィルタ特性を有するバンドパスフィルタであってもよい。代替的に、少なくとも1つの光学フィルタは、490nm〜560nm、610nm〜660nm、および750nm〜1000nmの波長帯域のそれぞれに対応する複数のバンドパスフィルタを含んでいてもよい。使用する蛍光材料に応じて、上述した1つまたは複数のバンドパスフィルタを使用(または組み合わせて使用)してもよい。これは、例えばフィルタホイールを使用することによって、または異なる第1のLED光源の前に異なるバンドパスフィルタを配置することによって実現することができる。
いくつかの実施形態では、図1bにさらに示すように、第3のセットまたはグループLED系光源183が使用されうる。換言すれば、照明システム180は、1つまたは複数の第3のLED系光源183を含みうる。1つまたは複数の第3のLED系光源は、白色光の色スペクトル全体にわたって放射電力を放出するように構成されうる。したがって、1つまたは複数の第3のLED系光源は、1つまたは複数の第1のLED系光源と同様に実装可能である。しかし、第3のセットまたはグループLED系光源によって放出された光は、少なくとも1つの光学フィルタによってフィルタリングされない場合がある。結果として、1つまたは複数の第3のLED系光源によって放出された光は、(全体の)白色光の色スペクトル全体にわたって試料に到達することができる。
第1のLED系光源または第3のLED系光源を使用して、2つの異なる種類の「白色光」照明(蛍光イメージングを可能にするためにスペクトルの部分をフィルタリングした照明およびスペクトル全体をカバーする照明)を提供することができる。これら2種類の「白色光」照明は、LED系照明システムの異なる動作モードで使用することができる。例えば、LED系照明システムは、反射イメージングと蛍光イメージングとを同時に行うのに適した動作モードと、反射イメージングのみを行うのに適したモードと、の2つ以上の動作モードを有してもよい。したがって、LED系照明システムは、第1の動作モードにおいて、少なくとも1つの蛍光材料の励起波長に調整された波長に少なくとも1つのピークを有する放射電力を放出し、かつ少なくとも1つの蛍光材料の少なくとも1つの蛍光発光波長と一致する波長を有する光が減衰または遮断されるように、白色光スペクトル全体にわたって放出された光がフィルタリングされた状態で、白色光スペクトル全体にわたって放射電力を放出するように構成されうる。LED系照明システムは、第2の動作モードにおいて、少なくとも1つの蛍光材料の少なくとも1つの蛍光発光波長と一致する波長を有する光が減衰または遮断されることなく、白色光スペクトル全体にわたって放射電力を放出するように構成されうる。例えば、第1の動作モードは、シミュレートされた反射イメージングおよび蛍光イメージングに使用されてもよく、第2の動作モードは、(唯一的または排他的に)反射イメージングに使用されてもよい。例えば、第1の実施形態と第2の実施形態とは、相互に排他的であってもよい。
図6a〜図6cでは、照明スペクトル631〜634が示されており、これは、第3のLED系光源(図6a、631)を使用して生成することができ、または第1のLED系光源および第2のLED系光源の組み合わせ(図6a〜図6c、632〜634)を使用して生成されうる。
冗長性および試料の均一な照明を実現するために、各グループまたはセットの光源のうちの複数の光源が照明システムに含まれうる。例えば、照明システムは、2つ以上の第1のLED系光源と、2つ以上の第2のLED系光源(および任意に、2つ以上の第3のLED系光源)と、を含んでいてよい。いくつかの実施形態では、さらに多くの個数が使用されてもよく、例えば、4つまたは6つの第1のLED系光源、4つまたは6つの第2のLED系光源、および/または4つまたは6つの第3のLED系光源が使用されてもよい。図2aおよび図2bでは、第1のLED系光源を2つ、第2のLED系光源を6つ、第3のLED系光源を2つ使用した例を示している。なお、各グループまたはセットの光源は、顕微鏡の対物レンズ102の両側部に配置することができる。例えば、対物レンズの各側部に、各波長帯域に対応した少なくとも1つのLED系光源(例えば、図2aおよび図2bに示すように、3つの蛍光材料の3つの励起波長に対応した1つの第1のLED系光源、1つの第3のLED系光源、および3つの第2のLED系光源)が配置されてもよい。換言すれば、2つ以上の第1のLED系光源のうちの少なくとも1つと、2つ以上の第2のLED系光源のうちの少なくとも1つ(および任意に2つ以上の第3のLED系光源のうちの少なくとも1つ)と、が対物レンズの第1の側部に配置されていてよく、2つ以上の第1のLED系光源のうちの少なくとも1つと、2つ以上の第2のLED系光源のうちの少なくとも1つ(および任意に2つ以上の第3のLED系光源のうちの少なくとも1つ)と、が対物レンズの第2の側部に配置されていてよい。例えば、第1の側部および第2の側部は、顕微鏡の対物レンズに対して相対的に対向する側部であってもよい。
1つまたは複数の第1のLED系光源と共に用いられているフィルタは、白色光スペクトル全体で不均一である(例えば、手術部位の)試料の照明をもたらす。この不均一性は、画像処理において、例えばシステム190によって補償されうる。
顕微鏡システム、特に顕微鏡100は、画像データを生成するように構成された少なくとも1つのイメージセンサアセンブリ130を含む。例えば、1つまたは複数のプロセッサ、またはより一般的な用語ではシステム190は、少なくとも1つのイメージセンサアセンブリ130の画像データを取得するように構成されている。したがって、システム190は、例えばインタフェース192を介して、顕微鏡に結合されうる。例えば、以下で明らかになるように、少なくとも1つのイメージセンサアセンブリは、単一の光学イメージングセンサ、または複数の光学イメージングセンサに対応するか、またはこれらを含んでいてもよい。
画像データは、(例えば反射イメージングが行われた場合、または反射イメージングおよび蛍光イメージングが行われた場合に)少なくともLED系照明システムにより照明された試料によって反射された光を表す。後者の場合、画像データは、LED系照明システムで照明された試料で反射された光と、少なくとも1つの蛍光材料で放出された光と、を表す。以下に示すように、画像データは、異なる部分を含むことができ、これは、少なくとも1つのイメージセンサアセンブリの異なるイメージセンサに由来する。例えば、図1cおよび図4a〜図6dに示すように、各イメージセンサアセンブリが3つのイメージセンサを含む場合、画像データは、それぞれのセンサに由来する3つの部分を含んでいてもよい。画像データが立体視画像データであり、顕微鏡システムが2つのイメージセンサアセンブリを含む場合、画像データは、立体視の各側につき、画像データの3つの部分を含んでいてもよい。換言すれば、顕微鏡システム、特に顕微鏡は、2つのイメージセンサアセンブリを含んでいてもよい。
上述したように、少なくとも1つのイメージセンサアセンブリまたは各イメージセンサアセンブリは、反射イメージングおよび蛍光イメージングの両方に使用される単一のイメージセンサを含みうる。しかしながら、いくつかの実施例では、図1cおよび図4a〜図6dに関連して図示されるように、より複雑な3つのセンサのセットアップが使用される。
図1cは、顕微鏡用のイメージセンサアセンブリの一実施例を示す概略図である。図1cのイメージセンサアセンブリは、ビームスプリッタアセンブリ132,132−1〜132−5と、3つのイメージセンサ134−1,134−2,134−3と、を含む。ビームスプリッタアセンブリは、第1のスペクトル部分の光を第1のイメージセンサに、第2のスペクトル部分の光を第2のイメージセンサに、第3のスペクトル部分の光を第3のイメージセンサに導くように構成されている。3つのイメージセンサは、それぞれのイメージセンサに入射するスペクトル部分に基づいて画像データを生成するように構成されている。したがって、画像データは、第1のイメージセンサに由来する第1の部分、第2のイメージセンサに由来する第2の部分、および第3のイメージセンサに由来する第3の部分を含みうる。なお、画像データ中の3つの部分は、画像データ中に互いに別個に含まれてもよい。適切なビームスプリッタアセンブリのより詳細な図が、図4a〜図6dに関連して示されており、これは、イメージセンサアセンブリの他の種々の構成要素、特にスペクトルを第1、第2、第3のスペクトル部分に分割するために使用される手段を示している。特に、ポリクロイックビームスプリッタおよびバンドパスフィルタを使用して、それぞれのイメージセンサに導かれるスペクトル部分を分離することができる。
特に、図1cに示すように、ビームスプリッタアセンブリは、3つのプリズム132−3,132−4,132−5(図4aおよび図4dでは491,492,493)を含み、それぞれのプリズムの間に配置されたビームスプリッタコーティング132−1,132−2(図4aおよび図4dでは494,495)において、それぞれの光ビームを(波長選択的な方法で)分割することができる。例えば、波長選択的ビームスプリッタコーティング132−1,132−2は、第1のスペクトル特性を有する光を反射し、第2のスペクトル特性を有する光を受容するように構成可能である。例えば、第1のコーティング132−1は、第1のスペクトル部分の光を第1のイメージセンサ134−1に向けて反射し、残光を第2のプリズム132−4に受容するように構成されてもよく、第2のコーティング132−2は、第2のスペクトル部分の光を第2のイメージセンサ134−2に向けて反射し、第3のスペクトル部分の光を第3のプリズム132−5に受容するように構成されてもよく、第3のイメージセンサ134−3に向けて光を導くように構成可能である。種々の実施例では、バンドパスフィルタは、プリズムとそれぞれのイメージセンサとの間で、それぞれのイメージセンサに入射するそれぞれのスペクトル部分内の光(のみ)を受容するように配置されてもよい。各イメージセンサの光路長を等しく維持するために(捕捉された画像が全てのイメージセンサで焦点が合うように)、プリズムとイメージセンサとの間にダミーガラスを配置してもよい。
種々の実施例では、スペクトルは3つのスペクトル部分に細分化されている。理想的なシナリオでは、スペクトル部分は重ならず、これにより、所定の波長を有する光がイメージセンサのうちの(正確には)1つのみで記録されることもある。しかし、実際には、スペクトル部分の端部では、スペクトル部分間の重なりが許容されうる。
図1dは、3つのスペクトル部分の一実施例を示す概略図であり、第1のスペクトル部分138−1、第2のスペクトル部分138−2、および第3のスペクトル部分138−3を示す。図1dに見られるように、第1のスペクトル部分は、450nm〜550nm(フルオレセインの蛍光発光波長帯域の主ピークを含む)と750nm〜1000nm(インドシアニドグリーンの蛍光発光波長帯域の主ピークを含む)とに位置する2つの連続したサブ部分を含みうる。したがって、第1のスペクトル部分および第2のスペクトル部分のうちの少なくとも1つは、互いに離間して配置された2つのスペクトルサブ部分(すなわち、第1のスペクトルサブ部分、および場合によっては第2のスペクトルサブ部分)を含む。第3のスペクトル部分は、550nm〜700nmに位置する連続部分(5−ALAの蛍光発光波長帯域の主ピークを含む)でありうる。第2のスペクトル部分138−2は、残りのスペクトルを含みうる。
概して、複数の波長帯域の光を捕捉して区別するイメージセンサでは、スペクトルの部分のみを各画素に取り込む画素単位のカラーフィルタが使用されている。かかるカラーフィルタの一般的な種類としては、ベイヤーフィルタと称されるものがあり、これは、2x2画素ごとに2つの緑色カラーフィルタ、1つの赤色カラーフィルタ、および1つの青色カラーフィルタを含む。後処理では、デモザイクと称される手法を使用して、画素自身の値とその隣接する画素とを基に、各画素の適切な色の値が決定される。本開示において、ベイヤーフィルタは、少なくとも一部のイメージセンサと共に使用可能であり、反射イメージングおよび蛍光イメージングのために使用される照明および波長帯域に合わせた後処理ステップを伴う。例えば、図1cに示すように、3つのイメージセンサのうちの第1のイメージセンサ(134−1)および第2のイメージセンサ(134−2)がベイヤーフィルタ136−1,136−2で動作し、3つのイメージセンサのうちの第3のイメージセンサがベイヤーフィルタなしで動作する。
例えば、1つまたは複数のイメージセンサは、APS(Active Pixel Sensor)方式、またはCCD(Charge-Coupled-Device)方式のイメージセンサを含んでいてよく、またはこれらであってもよい。例えば、APS方式のイメージセンサでは、受光素子と画素のアクティブアンプとを使用して各画素で光を記録する。APS方式のイメージセンサは、多くの場合、CMOS(Complementary Metal-Oxide-Semiconductor)またはS−CMOS(Scientific CMOS)技術をベースにしている。CCD方式のイメージセンサでは、入射した光子は半導体−酸化物界面で電子電荷に変換され、その後、イメージングセンサの制御回路によってイメージングセンサ内の容量性ビン間を移動して撮像が行われる。システム、すなわち、1つまたは複数のプロセッサは、少なくとも1つのイメージセンサアセンブリのそれぞれのイメージセンサから画像データを取得(すなわち、受信または読み出し)するように構成されうる。(例えばインタフェース192を介して)イメージセンサから画像データを受信することによって、(例えばインタフェース192を介して)画像のメモリから画像データを読み出すことによって、または(例えばイメージセンサによって、または他のシステムもしくはプロセッサによって、画像データがストレージデバイス196に書き込まれた後に)システム190のストレージデバイス196から画像データを読み出すことによって、画像データを得ることができる。
システム190、特に1つまたは複数のプロセッサ194は、画像データを処理して処理済画像データを生成するように構成されている。概して、システム190は、少なくとも1つの蛍光材料の少なくとも1つの蛍光発光波長(スペクトル)と一致する波長(スペクトル)を有する光が減衰または遮断されるようにフィルタリングされた光を提供するように構成された顕微鏡用の任意の照明システムと一緒に使用することができる。ただし、光は、特に、図1bに示された照明システム180によって提供することができる。この場合、画像データは、照明システム180の1つまたは複数の第1のLED系光源181−1により照明された試料によって反射された光を表しうる。光のフィルタリングには、白色光スペクトルのそれぞれの部分の反射が画像データによって表されないという効果(または減衰の場合はより少ない程度で表されるという効果)がある。
画像データは、少なくとも、1つまたは複数のLED系光源によって(例えば、図1aの1つまたは複数の第1のLED系光源181−1によって)照明された試料によって反射された光を表す。1つまたは複数のLED系光源によって放出された光は、少なくとも1つの蛍光材料の少なくとも1つの蛍光発光波長(スペクトル)と一致する波長(スペクトル)を有する光が減衰または遮断されるように(例えば、少なくとも1つの光学フィルタ181−2によって)フィルタリングされる。さらに、画像データは、少なくとも1つの蛍光物質によって少なくとも1つの蛍光発光波長スペクトルで放出された光を表しうる。
システムは、画像データを処理して処理済画像データを生成するように構成されている。換言すれば、システムは、画像データに対して画像処理を行うように構成されうる。例えば、白色光スペクトル全体にわたって照明の不均一性を補償する(またはその影響を軽減する)ために画像処理を行ってもよい。例えば、システムは、処理済画像データのうち、少なくとも1つの蛍光材料の少なくとも1つの蛍光発光波長スペクトルと一致する波長スペクトルを有する光を表す部分を、例えば隣接する波長帯域の情報を使用して再構成するように構成可能である。例えば、490nm〜560nm、および610nm〜660nmの波長帯域のいずれかの光が試料の照明で遮断または減衰された場合、隣接する波長帯域(例えば、490nm未満、560nm〜610nm、および660nm超)からの光を使用して、フィルタによって遮断または減衰された光を再構成しうる。換言すれば、システムは、減衰または遮断された光、すなわち、少なくとも1つの蛍光材料の少なくとも1つの蛍光発光波長スペクトルと一致する波長スペクトルを有する光を再構成するように構成可能である。例えば、システムは、画像データ(生の画像データであってもよい。すなわち、光学イメージングセンサのセンサ出力を含んでいてもよい)と処理済画像データとの間で変換を行う変換機能を適用するように構成されていてもよく、変換機能は、少なくとも1つの蛍光発光波長の外側の波長帯域を(全体の)白色光スペクトルにマッピングするように構成可能である。このようにして、処理済画像データのうち、少なくとも1つの蛍光材料の少なくとも1つの蛍光発光波長スペクトルと一致する波長スペクトルを有する光を表す部分が、画像データに基づいて生成(すなわち再構成)される。
さらに、画像処理は、蛍光発光を表すオーバーレイを生成するために実行可能であり、これは、処理済画像データ内の白色光画像の上に重ね合わされうる。上述したように、画像データは、LED系照明システムにより照明された試料によって反射された光だけでなく、少なくとも1つの蛍光材料によって放出された光も表しうる。したがって、システム、特に1つまたは複数のプロセッサは、(試料によって反射された光を表す画像データの部分に基づいて)可視光を表す第1の画像と、(少なくとも1つの蛍光材料によって放出された光を表す画像データの部分に基づいて)画像データに基づく少なくとも1つの蛍光材料の蛍光発光を表す第2の画像と、を生成するように構成可能である。しかし、一部のシナリオでは、顕微鏡のユーザは、例えば、蛍光物質が使用されていない場合等、反射イメージングのみを必要とする場合がある。この場合、第2の画像の生成を省略してもよい。換言すれば、LED系照明システムは、2つ以上の動作モードを有してもよく、第1の動作モードは反射イメージングおよび蛍光イメージングに適しており、第2の動作モードは反射イメージングに適している。1つまたは複数のプロセッサは、LED系照明システムが第1の動作モードで動作する場合には、第1の画像と第2の画像とを生成し、LED系照明システムが第2の動作モードで動作する場合には、第2の画像を生成せずに第1の画像を生成するように構成されうる。
上述したように、画像データは、それぞれの第1のイメージセンサ、第2のイメージセンサおよび第3のイメージセンサに由来する3つの部分を含みうる。これらの部分は、第1の画像および第2の画像を生成するために、異なる方法で結合されうる。換言すれば、1つまたは複数のプロセッサは、画像データの3つの部分の第1の組み合わせに基づいて可視光を表す第1の画像を生成し、画像データの3つの部分の第2の組み合わせに基づいて少なくとも1つの蛍光材料の蛍光発光を表す第2の画像を生成するように構成されうる。
スペクトルのどの部分が第1の画像を生成するために使用されているか、さらに、任意に第2の画像を生成するために使用されているかは、蛍光イメージングが行われているかどうか、ならびに使用されている蛍光物質の種類および数に依存する。例えば、1つまたは複数のプロセッサは、1つの蛍光材料の励起波長に調整された波長に(正確には)1つのピークを有する光が放出された場合に、第1の画像が画像データの(少なくとも)2つの部分に基づいて生成され、第2の画像が画像データの1つの部分に基づいて生成されるように、画像データの3つの部分を結合すべく構成可能である。より詳細な例示が図6a〜図6dに示されている。図6aでは、画像データの3つの部分の全てに基づいて、第1の画像のみを生成している。図6bでは、600〜650nmにピークを有する発光波長帯域を有する蛍光物質(5−ALA)が使用されており、第1の画像は、第1の部分および第2の部分に基づいて生成され、第2の画像は、第3の部分に基づいて生成される。図6cでは、490〜540nmにピークを有する発光波長帯域を有する蛍光物質(フルオレセイン)が使用されており、第1の画像は、第2の部分および第3の部分に基づいて(かつ任意に、第1の部分に基づいて、蛍光発光が計算上除去された状態で)生成され、第2の画像は、第1の部分に基づいて生成される。図6dでは、750〜1000nmにピークを有する発光波長帯域を有する蛍光物質(ICG)が使用されており、第1の画像は、第2の部分および第3の部分に基づいて(かつ任意に、第1の部分に基づいて、蛍光発光が計算上除去された状態で)生成され、第2の画像は、第1の部分に基づいて生成される。
ただし、複数の蛍光物質を同時に使用してもよい。例えば、上記のような発光ピークを有する3つの蛍光物質を同時に使用してもよい。また、3つの蛍光材料の励起波長に調整された3つの波長に3つのピークを有する光が放出された場合に、第1の画像が画像データの1つの部分(例えば、第2の部分)に基づいて生成され、第2の画像が画像データの2つの部分(例えば、第1の部分および第3の部分)に基づいて生成されてもよい。
2つの蛍光物質を同時に使用している場合は、使用する蛍光物質によって当該部分の組み合わせが異なる。例えば、フルオレセインおよびICGを用いる場合には、第1の画像が第2の部分および第3の部分に基づいて生成され、第2の画像が第1の部分に基づいて生成されてもよい。5−ALAがフルオレセインまたはICGと組み合わせて使用される場合、第1の画像は、第2の部分(および任意に、それぞれの蛍光物質の蛍光発光波長帯域外の第1の部分のサブ部分)に基づいて生成されてもよく、第2の画像は、(5−ALAについては)第3の部分に基づいて生成され、(残りの蛍光物質については)第1の部分に基づいて生成されてもよい。換言すれば、第1の部分は、フルオレセインおよびICGによる蛍光発光を示してもよく、第3の部分は、5−ALAによる蛍光発光を示してもよい。一方、画像データの第2の部分は、反射イメージングにのみ使用されてもよい。したがって、1つまたは複数のプロセッサは、少なくとも画像データの第2の部分に基づいて第1の画像を生成するように構成可能である。
より抽象的には、使用される単一の蛍光物質または複数の蛍光物質に応じて、当該部分の異なる組み合わせが選択されてもよい。換言すれば、1つまたは複数のプロセッサは、第1の蛍光材料(例えば、フルオレセインまたはICG)の励起波長に調整された第1の波長にピークを有する光が放出された場合に、第2の画像が第1の部分の画像データに基づいて生成され、第2の蛍光材料(例えば、ALA)の励起波長に調整された第2の波長にピークを有する光が放出された場合に、第2の画像が画像データの第3の部分に基づいて生成されるように、画像データの3つの部分を結合すべく構成可能である。例えば、1つまたは複数のプロセッサは、第3の蛍光材料の励起波長に調整された第3の波長(上記で使用されていないフルオレセインおよびICGのうちのもう一方)にピークを有する光が放出された場合に、第2の画像が画像データの第1の部分に基づいて生成されるように、画像データの3つの部分を結合すべく構成可能である。
また、システムは、LED系光源を制御するために使用されうる。したがって、システム190、例えば1つまたは複数のプロセッサ194は、例えばインタフェース192を介して照明システム180に結合されうる。1つまたは複数のプロセッサ194(例えば、システム190)は、1つまたは複数の第1のLED系光源および1つまたは複数の第2のLED系光源を互いに独立して制御するように構成可能である。例えば、オンオフ状態および光強度のうちの少なくとも1つは、1つまたは複数の第1のLED系光源および1つまたは複数の第2のLED系光源(および任意に、1つまたは複数の第3のLED系光源)とは独立して制御されてもよい。より正確には、1つまたは複数の第1のLED系光源のためのオンオフ状態および/または光強度は、1つまたは複数の第2のLED系光源のためのオンオフ状態および/または光強度(ならびに任意に、1つまたは複数の第3のLED系光源のためのオンオフ状態および/または光強度)とは独立して制御されてもよい。場合によっては、少なくとも1つの光学フィルタの特性もまた、システムによって(例えば、フィルタホイールを介して)制御されてもよい。いくつかの実施形態では、各LED系光源は、互いに独立して(または少なくとも他のグループまたはセットのLED系光源とは独立して)制御されてもよい。
1つまたは複数のプロセッサは、例えば、第1の画像および(任意に)第2の画像を含む、処理済画像データを提供するように構成可能である。例えば、処理済画像データのうち、少なくとも1つの蛍光材料の少なくとも1つの蛍光発光波長と一致する波長を有する光を表す部分は、画像データに基づいて、例えば、少なくとも1つの蛍光材料の少なくとも1つの蛍光発光波長と一致するスペクトルの部分を再構成することによって、または第2の画像のそれぞれの部分(スペクトルのそれぞれの部分を表す)を第1の画像データの上に重ね合わせることによって、生成されてもよい。システム、特に1つまたは複数のプロセッサは、(例えば、インタフェース192を介して、または1つまたは複数のストレージデバイス196を介して)処理済画像データを出力するように構成可能である。
インタフェース192は、モジュール内で、モジュール間で、または異なるエンティティのモジュール間で、指定されたコードにしたがってデジタル(ビット)値でありうる情報を受信および/または送信するための1つまたは複数の入力および/または出力に対応しうる。例えば、インタフェース192は、情報を受信および/または送信するように構成されたインタフェース回路を含んでいてもよい。実施形態では、1つまたは複数のプロセッサ194は、1つまたは複数の処理ユニット、1つまたは複数の処理装置、プロセッサ、コンピュータ、またはそれに応じて適合されたソフトウェアで操作可能なプログラマブルハードウェア構成要素等の処理を行うための任意の手段を使用して実装されてもよい。換言すれば、1つまたは複数のプロセッサ194の説明された機能は、ソフトウェアに実装されてもよく、ソフトウェアは、その後、1つまたは複数のプログラム可能なハードウェア構成要素上で実行される。かかるハードウェア構成要素は、汎用プロセッサ、デジタルシグナルプロセッサ(DSP)、マイクロコントローラ等を含んでいてもよい。少なくともいくつかの実施形態では、1つまたは複数のストレージデバイス196は、コンピュータ可読記憶媒体、例えばハードディスクドライブ、フラッシュメモリ、フロッピーディスク、ランダムアクセスメモリ(RAM)、プログラマブル読取専用メモリ(PROM)、消去可能プログラマブル読取専用メモリ(EPROM)、電子的に消去可能なプログラマブル読取専用メモリ(EEPROM)、またはネットワークストレージを含む群から選択される少なくとも1つの要素を含んでいてもよい。
顕微鏡システム、顕微鏡、照明システム、少なくとも1つのイメージセンサアセンブリ、および様々なスペクトルのさらなる詳細および態様は、提案されたコンセプトまたは上述もしくは下述の1つまたは複数の実施例に関連して言及される(例えば、図2a〜図7)。顕微鏡システム、顕微鏡、照明システム、少なくとも1つのイメージセンサアセンブリ、および様々なスペクトルは、提案されたコンセプトの1つまたは複数の態様、または上述もしくは下述の1つまたは複数の実施例に対応する1つまたは複数の付加的な特徴を含んでいてもよい。
図2aおよび図2bは、本発明の顕微鏡システムの一実施例を示す概略図である。図2aおよび図2bは、顕微鏡の対物レンズ102に対する照明システム180のLED系光源181−1,182および183の配置を示す。図2aは、顕微鏡の正面図であり、図2bは、その断面図である。照明システムのLED系光源の各々は、顕微鏡を介して観察される試料に向けて光を放出するように構成されており、各LED系光源は、顕微鏡の対物レンズ102に隣接して配置されている。例えば、LED系光源は、顕微鏡を介して観察される試料に向けられた対物レンズの入口、例えば対物レンズの下向きの入口に(すなわち隣接して)配置されてもよい。例えば、各LED系光源は、光源によって放出された光が、顕微鏡の対物レンズを横断する顕微鏡の光路に対して少なくとも平行に放出されるように配置されてもよい。例えば、1つまたは複数の第1のLED系光源および1つまたは複数の第2のLED系光源(および任意に1つまたは複数の第3のLED系光源)は、顕微鏡の試料に対向する顕微鏡の側部(「入口側部」とも称される)に配置されてもよい。
上記で提示したように、照明システムは、各グループまたはセットの光源のうちの複数の光源が含まれうる。例えば、照明システムは、2つ以上の第1のLED系光源と、2つ以上の第2のLED系光源(および任意に、2つ以上の第3のLED系光源)と、を含んでいてよい。図2aおよび図2bでは、第1のLED系光源を2つ、第2のLED系光源を6つ、第3のLED系光源を2つ使用した例を示している。なお、各グループまたはセットの光源は、顕微鏡の対物レンズ102の各側部に配置することができる。例えば、それぞれの側部は、顕微鏡の対物レンズ102に対して相対的に対向する側部であってよい。
図2aおよび図2bでは、(1つまたは複数の第1のLED系光源の前方正面の)少なくとも1つの光学フィルタ181−2の配置および(光源アレイの端部の4つの第2のLED系光源の前方正面の)少なくとも1つの第2の光学フィルタ184の配置が示されている。さらに、図2bでは、LED系光源に対するCPCの相対的な配置が示されている。
図2aおよび図2bに示すように、LED−CPC(LED系光源+複合パラボリック集光器)の組み合わせの(1次元の)アレイが、対物レンズに沿って横向きに配置されうる。一部のLED−CPCの組み合わせ(すなわち、第1のLED系光源)は、放出されたスペクトルの定義された制御のためのバンドパスフィルタ(すなわち、少なくとも1つの光学フィルタ)を有する。図2aおよび図2bに示す例では、対物レンズの各側部に5つのLED−CPCが配置されている。これらのLEDのうちの2つは、可視範囲全体にわたるスペクトル(白色光LED)を有しており、すなわち、1つまたは複数の第1のLED系光源181−1である。1つのLEDは、405nmにピークを有するスペクトルを放出し、1つのLEDは、480nmにピークを有するスペクトルを放出し、1つのLEDは、788nmにピークを有するスペクトルを放出する(すなわち、1つまたは複数の第2のLED系光源116である)。白色光LEDのうちの1つの前には、追加のバンドパスフィルタ(例えば、図2cのバンドパスフィルタ)が配置され、2つの蛍光材料の蛍光発光を遮断する。480nmおよび788nmのLEDの前には、2つのバンドパスフィルタが配置されている。
照明システムおよび顕微鏡システムのさらなる詳細および態様は、提案されたコンセプト、または上述もしくは下述の1つまたは複数の実施例に関連して言及される(例えば、図1a〜図1d、図2c〜図7)。照明システムおよび顕微鏡システムは、提案されたコンセプトの1つまたは複数の態様、または上述もしくは下述の1つまたは複数の実施例に対応する1つまたは複数の追加の任意の特徴を含んでいてもよい。
図2cは、白色光をフィルタリングするためのバンドパスフィルタの透過率を示す図である。X軸に波長(nm)、Y軸に透過率(%)が示されている。例えば、図示されたフィルタは、図1a〜図2bのうちの少なくとも1つの光学フィルタ181−2を実装するために使用されてもよい。図2cに示すように、フィルタは、490nm〜560nmの範囲、および610nm〜660nmの波長の光を遮断または減衰させてもよい。
バンドパスフィルタのさらなる詳細および態様は、提案されたコンセプト、または上述もしくは下述の1つまたは複数の実施例に関連して言及される(例えば、図1a〜図2b、図3〜図7)。バンドパスフィルタは、提案されたコンセプトの1つまたは複数の態様、または上述もしくは下述の1つまたは複数の実施例に対応する1つまたは複数の追加の任意の特徴を含んでいてもよい。
図3は、顕微鏡を使用して対象物を撮像するための方法の一実施例を示すフローチャートである。例えば、顕微鏡は、図1a〜図2cに関連して示された顕微鏡に対応してもよい。したがって、本方法は、図1a〜図2cに関連して示された顕微鏡または顕微鏡システムによって実行されてもよい。本方法は、LED系照明システム(図1a〜図1bに関連して示されたLED系照明システム180等)を使用して、例えば、LED系照明システムを制御することによって、少なくとも1つの蛍光材料の励起波長に調整された波長に少なくとも1つのピークを有する放射電力を放出すること310を含む。本方法は、LED系照明システムを使用して、例えばLED系照明システムを制御することによって、白色光スペクトル全体にわたって放射電力を放出すること320を含む。白色光スペクトル全体にわたって放出された光は、少なくとも1つの蛍光材料の少なくとも1つの蛍光発光波長スペクトルと一致する波長スペクトルを有する光が減衰または遮断されるようにフィルタリングされている。換言すれば、本方法は、白色光スペクトル全体にわたって放出される光を放出することを含みうる。本方法は、画像データを生成すること330を含み、画像データは、LED系照明システムにより照明された試料によって反射された光を表す。本方法は、画像データを処理して処理済画像データを生成すること340を含む。
例えば、図1a〜図2cに関連して導入された特徴は、同様に、図3の対応する方法に適用可能である。
方法のさらなる詳細および態様は、提案されたコンセプト、または上述もしくは下述の1つまたは複数の実施例に関連して言及される(例えば、図1a〜図2c、図4a〜図7)。本方法は、提案されたコンセプトの1つまたは複数の態様、または上述もしくは下述の1つまたは複数の実施例に対応する1つまたは複数の追加の任意の特徴を含んでいてもよい。
図4a〜図4eでは、イメージセンサアセンブリまたはイメージセンサアセンブリ130の例をより詳細に提示しており、特に、光ビームスプリッタアセンブリ132の例をより詳細に提示している。
本開示の種々の態様は、光ビームスプリッタアセンブリ、カメラヘッド、および顕微鏡アセンブリに関する。光ビームスプリッタアセンブリは、例えば、顕微鏡、特に外科用顕微鏡において、蛍光物質が特徴的な組織をマーキングするために使用される場合に使用することができる。
本開示の種々の態様では、少なくとも3つの異なるスペクトル部分で画像を記録するために光ビームスプリッタアセンブリが使用されうる。ビームスプリッタアセンブリは、第1のビームスプリッタおよび第2のビームスプリッタと、第1の光路と、第2の光路と、第3の光路と、を含みうる。第1の光路は、光入口部から第1の光出力部に第1のスペクトル部分の光を導くように構成されうる。第2の光路は、光入口部から第2の光出力部に第2のスペクトル部分の光を導くように構成されうる。第2の光出力部は、第1の光出力部から間隔をあけて配置されうる。第3の光路は、光入口部から第3の光出力部に第3のスペクトル部分の光を導くように構成されうる。第3の光出力部は、第1の光出力部および第2の光出力部から間隔をあけて配置されうる。第2の光路は第1のビームスプリッタを横断可能であり、第3の光路は第1のビームスプリッタおよび第2のビームスプリッタを横断可能である。代替的に、別の光ビームスプリッタアセンブリを使用して、第1、第2、および第3のスペクトル部分を分割し、光入口部から3つの光出力部へ向けてもよい。
これにより、少なくとも3つの異なるスペクトル部分の画像を捕捉することができ、3つの蛍光波長帯域を区別し、可視配置を生成することができる。かかる配置は、原理的には、4つの画像(可視光用の1つの画像、および、適切な照明を用いた3つの異なる波長帯域の蛍光発光用の3つの画像)の全てに使用することができる。実際には、可視光を表す第1の画像(図1a〜図1dに関連して使用される用語では、画像データの第2の部分)と、第1の蛍光発光波長帯域(例えば約800nm)の光を表す第2の画像(もしくは画像データの第3の部分)と、第2の蛍光発光波長帯域(例えば約400nm)の光または第3の蛍光発光波長帯域(例えば約560nm)の光を表す第3の画像(もしくは画像データの第1の部分)と、が生成されうる。概して、可視光画像(すなわち、第1の画像)は、FLイメージングのために使用されていないカメラ出力から構成することができる。照明光の波長分布およびプリズムのフィルタ特性を知ることで、カラーバランシングを行うことができる。
例えば、図1a〜図2b、図4a〜図7に関連して示された顕微鏡のようなカメラヘッドおよび顕微鏡アセンブリは、かかる光ビームスプリッタアセンブリを含んでいてもよい。
上記の装置は、以下に説明する特徴のうちの1つまたは複数を追加することにより、さらに改良されうる。以下の各特徴は、他の特徴とは独立して装置に追加されうる。さらに、以下に説明するように、それぞれの特徴は、固有の有利な技術的効果を有している。
第1のビームスプリッタは、第1の光路に沿って第1のスペクトル部分の光を反射することができる。これにより、第1の光路に沿って第1のスペクトル部分の光を導くことができる。
同様に、第2のビームスプリッタは、第2の光路に沿って第2のスペクトル部分の光を反射することができる。これにより、第2の光路に沿って第2のスペクトル部分の光を導くことができる。
第1のビームスプリッタは、第2のスペクトル部分の光を透過させうる。これにより、構成を簡素化することができる。
第2のビームスプリッタは、第1のスペクトル部分の光を透過させうる。繰り返しになるが、これにより構成を簡素化することができる。
さらなる実施形態では、第2のビームスプリッタは、第1のスペクトル部分を透過させないようにすることができる。特に、第2のビームスプリッタに到達する光は、第1のスペクトル部分を含まないものでありうる。この場合、第2のビームスプリッタは、第1のスペクトル部分の光に対して特定の特性を有する必要はない。第2のビームスプリッタは、かかる光を吸収または反射する可能性がある。
第1の光路および第2の光路の少なくとも1つについて、特徴的な組織または領域の画像を記録するために、蛍光物質の発光帯域は、対応するスペクトル部分と重なりうる。
有利な実施形態では、少なくとも1つのビームスプリッタはダイクロイックミラーである。これにより、構成を簡素化することができる。ダイクロイックミラーは、特定の波長を所定の角度で反射するようなものでありうる。ダイクロイックミラーは、定義された均一な厚さの層またはコーティングを含みうる。また、ダイクロイックミラーは、2つ以上の波長を選択するための2つ以上の層を含みうる。
第1の光路および第2の光路によって導かれる光の少なくとも1つのスペクトル部分は、互いに離間して配置された2つのスペクトルサブ部分を含むことができる。これにより、1つの光出力部に2つの異なる信号を記録することを容易にすることができる。例えば、2つの異なる蛍光発光帯域を1つのカメラチップ上で可視化して区別することができる。
光ビームスプリッタアセンブリは、少なくとも2つの蛍光物質を使用するように構成することができ、2つの蛍光物質の各々は、異なる蛍光発光帯域を有する。ここで、各スペクトルサブ部分について、蛍光物質の蛍光発光帯域は、スペクトルサブ部分と重なり、かつ/またはスペクトルサブ部分内に存在する。これにより、2つの蛍光物質に関連付けられた画像を記録することができる。フルオレセインおよびICGの2つの蛍光物質を使用することができる。
光ビームスプリッタアセンブリは、第1の出力部、第2の出力部および第3の出力部のうちの1つで光を検出するための少なくとも1つのカメラをさらに含むことができる。カメラは、イメージセンサを含みうる。カメラおよび/またはイメージセンサは、それぞれ第1の出力部、第2の出力部または第3の出力部に配置されうる。
少なくとも1つのカメラは、ベイヤーフィルタを含みうる。かかるカメラはまた、カラーカメラとして指定されうる。これは、特に、対応するスペクトル部分が広範な場合、および/または異なるスペクトル部分を区別する必要がある場合(例えば、異なる蛍光発光帯域の場合)に、画像を記録するのに役立つ。
有利な実施形態では、ベイヤーフィルタのサブフィルタは、蛍光物質のうちの1つの蛍光発光帯域に一致するように選択される。これにより、信号強度が増加する。特に、サブフィルタの透過率の最大値は、蛍光発光帯域の最大値の波長の50nm以内、好ましくは20nm以内に位置しうる。例えば、1つのサブフィルタは、フルオレセインと一致するように、560nmでの最大透過率を有することができる。さらなるサブフィルタは、ICG(インドシアニングリーン)と一致するように850nmで最大値を有することができる。いくつかの実装形態では、ベイヤーフィルタは、各色の波長範囲を標準化している。この場合、560nm付近の波長帯域の蛍光発光は緑色のチャネルでしか見られないが、赤外蛍光信号はベイヤーフィルタを通過して全チャネル(RGB)で検出される。この差動応答により、2つの蛍光発光波長を区別することができる。
蛍光発光帯域の最大波長におけるサブフィルタの透過率は、80%超、好ましくは90%超、特に好ましくは95%超でありうる。
生成率を最大化するために、蛍光物質は、その蛍光発光帯域がベイヤーフィルタのサブフィルタによって透過されたスペクトル部分と重なるように選択することができる。
高感度を実現するために、少なくとも1つのカメラは、ベイヤーフィルタが異なる色チャネルの分離を可能にして色撮像を可能にする他のカメラとは対照的に、ベイヤーフィルタのないモノクロカメラでありうる。これにより、ベイヤーフィルタのサブフィルタに起因する損失を回避することができる。モノクロカメラは、モノクロのイメージセンサを含みうる。モノクロイメージセンサは、モノクロディスプレイに表示された場合、グレーの濃淡に対応する様々な強度を測定することができるため、グレーイメージセンサと名付けることもできる。
有利な実施形態では、光ビームスプリッタアセンブリは、3つのカメラを含み、1つのカメラはベイヤーフィルタを使用しないモノクロカメラであり、2つのカメラはベイヤーフィルタを含む。ベイヤーフィルタを備えた2つカメラは、異なる波長間の区別を可能にするが、一方、モノクロカメラは、例えば微弱な信号に対して高感度を提供することができる。
一実施形態では、ベイヤーフィルタを含まないモノクロカメラは、第2の光出力部に配置することができる。さらに、ベイヤーフィルタを有するカメラは、第1の光出力部および第3の光出力部に配置することができる。
別の実施形態では、モノクロイメージセンサを備え、ベイヤーフィルタを備えないカメラを第1の光出力部に配置することができる。さらに、ベイヤーフィルタを有するカメラは、第2の光出力部および第3の光出力部に配置することができる。
好ましい展開例では、第1の光出力部に関連付けられたイメージセンサおよび/またはカメラは、色空間に色画像を記録するように構成されており、色空間は、所定の色チャネルのセットを有している。ここで、第1の光路のスペクトル部分は、2つのスペクトルサブ部分を含み、第1のサブ部分は、色空間の第2の色チャネルとは重ならず、色空間の第1の色チャネルと重なっており、第2のサブ部分は、少なくとも第2の色チャネルと重なっている。これにより、色チャネルのいずれかを選択するだけで、信号の分離を容易にすることができる。
第1のサブ部分は、フルオレセインと関連付けることができ、第1の色チャネルは、緑色チャネルでありうる。緑色は、特に500〜565nmの部分に関連しうる。
第2のサブ部分は、ICGと関連付けることができ、第2の色チャネルは、赤色チャネルでありうる。赤色は、特に625nm以上の部分に関連しうる。
波長を指定する場合、これは特に真空中の波長に関連しうる。媒体中では、波長が短くなりうる。異なる媒体の周波数は同じままとなり、波長と周波数との積は媒体内の光の速度となりうる。
2つの色チャネルは、別の色チャネルによって分離されうる。これにより、色チャネル間のクロストークが最小限に抑えられるため、明瞭な画像を容易に記録することができる。
容易に適用可能な構成では、色チャネルは原色である。特に、赤色、緑色、青色を原色とするRGB色空間とすることができる。
好ましくは、光ビームスプリッタアセンブリは、第1の波長と第2の波長とを有する2つの蛍光発光帯域の光を第1の光出力部に導き、第1の波長と第2の波長との間の第3の波長を有する蛍光発光帯域の光を第2の光出力部に導くように構成されている。これにより、第1の波長と第2の波長との減衰は最小限に抑えられる。
さらなる実施形態では、第2の光出力部に関連付けられたイメージセンサおよび/またはカメラは、色空間に色画像を記録するように構成可能であり、色空間は、所定の色チャネルのセットを有している。ここで、第1の光路のスペクトル部分は、2つのスペクトルサブ部分を含み、第1のサブ部分は、色空間の第2の色チャネルとは重ならず、色空間の第1の色チャネルと重なっており、第2のサブ部分は、少なくとも第2の色チャネルと重なっている。第1のサブ部分は、再びフルオレセインと関連付けることができ、第1の色チャネルは、緑色チャネルでありうる。第2のサブ部分は、ICGと関連付けることができ、第2の色チャネルは、赤色チャネルでありうる。
光ビームスプリッタアセンブリは、第1の波長と第2の波長とを有する2つの蛍光発光帯域の光を第2の光出力部に導き、第1の波長と第2の波長との間の第3の波長を有する蛍光発光帯域の光を第1の光出力部に導くように構成することができる。これにより、蛍光発光帯域を良好に分離することができる。
第2の光出力部に関連付けられたイメージセンサおよび/またはカメラによって記録されたスペクトル部分は、第1の光出力部で記録された2つのスペクトルサブ部分の間に位置することができる。これにより、当該部分の分離を良好に行うことができる。
特に、光ビームスプリッタアセンブリは、白色光を第3の出力部に導くように構成することができる。なお、白色光は、第1の部分と第2の部分とをフィルタリングしたときに残る光の部分でありうる。白色光は第3の部分でありうる。この白色光を利用して、手術を行う領域の概要を示す画像を作成することができる。
少なくとも1つのビームスプリッタは、プリズム上のコーティングを含みうる。これにより、コンパクトな構成が可能になる。
有利な実施形態では、光ビームスプリッタアセンブリは、光入口部および第1の光出力部を含む第1のプリズム、第2の光出力部を含む第2のプリズム、ならびに第3の光出力部を含む第3のプリズムのうちの少なくとも1つを含む。これにより、光ビームスプリッタアセンブリをコンパクトにすることができるという効果を得ることができる。
また、第1のビームスプリッタは、第1のプリズムと第2のプリズムとの間に配置されて、堅固な構成を実現することができる。同様に、第2のビームスプリッタは、第2のプリズムと第3のプリズムとの間にあってもよい。
省スペースで堅固な配置を実現するためのさらなる展開例では、光ビームスプリッタアセンブリは、ユニットブロックを形成するために互いに接続された3つのプリズムを含む。当該ブロックは、モノリシックでありうる。
有利な実施形態では、第1のスペクトル部分と第2のスペクトル部分とは重ならない。これにより、信号強度が向上する。
同様に、有利な実施形態では、第1のスペクトル部分、第2のスペクトル部分、および第3のスペクトル部分は重ならない。
光ビームスプリッタアセンブリは、フルオレセイン、ICG、および5−ALAを組み合わせて使用するように構成することができる。これは、例えば、第1の部分および第2の部分の第1のサブ部分および第2のサブ部分が、それぞれ、フルオレセイン、ICGおよび5−ALAのうちの1つの蛍光発光帯域と重なるが、他の蛍光物質の蛍光発光帯域とは重ならない場合に実現されうる。
顕微鏡アセンブリは、画像処理装置をさらに含むことができ、ここで、画像処理装置は、3つの光出力部からの3つの画像から単一の画像を作成するように構成されている。
ビームスプリッタ配置は、3つの蛍光波長帯域を区別して可視配置を生成するために使用することができる。原則として、当該配置は、適切な照明と同時に4つの画像全てに使用できる。
可視画像は、蛍光(FL)イメージングに使用されていない全カメラ出力から構成されている。照明光の波長分布およびプリズム/ビームスプリッタ配置のフィルタ特性を把握した上で、カラーバランシングを行うことができる。
有利な顕微鏡アセンブリにおいて、ユーザは、蛍光モードを選択または指示することができる。照明光源による照明は、適切な励起照明(第1の蛍光照明光、第2の蛍光照明光、および第3の蛍光照明光のうちの1つまたは複数)に加えて、広帯域の「白色光」照明を提供するようにコントローラによって制御することができる。システムは、その後、どの単一のカメラまたは複数のカメラが選択された蛍光に関連するかの信号を認識し、かつカラーバランスのとれた可視画像を構成するためにどのカメラを使用するかを認識することができる。その後、1つまたは複数の画像を代替ディスプレイに出力することができる。かかるカラーバランスは、画像処理装置で行うことができる。
画像の記録に適していることは、必ずしも画像を保存することを含むものではない。また、本発明の解決策は、画像が捕捉され、例えば処理されて、1つまたは複数のディスプレイ上にライブ表示されるが、その後に保存されない場合にも使用できる。
次に、いくつかの実施形態を、試料の実施形態のみを使用して例示の方法でさらに説明する。これらは図面にも示されている。図面では、機能およびデザインの少なくとも1つに関して互いに対応する特徴に同一の参照番号が使用されている。
添付された実施形態に示された特徴の組み合わせは、説明の目的のためだけのものであり、変更することができる。例えば、特定の用途には必要のない技術的効果を有する実施形態の特徴は、省略されてもよい。同様に、この特徴に関連する技術的効果が特定の用途に必要な場合には、実施形態の一部として示されていない特徴が追加されもよい。
図4aでは、(図1cのビームスプリッタアセンブリ132に対応しうる)ビームスプリッタアセンブリ400を含む顕微鏡アセンブリ445が示されている。(図1aの顕微鏡システム1000、または図1a〜図2b、図6a〜図7に関連して示される顕微鏡のうちの1つに対応しうる)ビームスプリッタアセンブリ400は、手術が行われる領域の画像を撮像し、記録することを可能にする。
異なるスペクトル部分410,420,430の画像を記録するのに適した3つのカメラ481,482,483(図1cに示すイメージセンサ134−1〜134−3に対応するか、またはそれらを含みうる)が存在する。図4aにおいて、線481b,482bおよび483bは、実際のカメラセンサを示し、線481a,482aおよび483aは、カメラセンサに入射する光をスペクトルの所望の部分に制限するように構成されたバンドパスフィルタを示している。これにより、異なる蛍光物質からの蛍光を別々に撮像することができる。このようにして取得された画像は、その後、顕微鏡アセンブリの画像処理装置446に入力され、所望の組み合わせが可能となる。例えば、2つまたは3つの画像を重ね合わせて、単一の画像に結合し、外科医が特徴的な組織を見ることができる。蛍光物質の信号の強度は、所望に応じて調整してもよく、例えば、容易に区別できるように偽色で表示してもよい。かかる画像は、次に、表示デバイス448に表示されうるか、または視聴システムで視聴されうる。バンドパスフィルタの前には、ダミーガラスが使用されてもよく、本明細書では光出力部461,462,463としても機能する。なお、各カメラへの光路長が同一となるようにダミーガラスブロックが使用されてもよい。プリズムに入る光は収束(集束)しているため、焦点は各カメラの表面に向けられうる。さらに、任意のダミーガラス170が光出力部に存在しうる。
光ビームスプリッタアセンブリ400は、第1のビームスプリッタ451(図1cの132−1)と第2のビームスプリッタ452(図1cの132−2)とを含む。2つのビームスプリッタ451,452は、光を第1の光路471、第2の光路472、および第3の光路473に分割する役割を果たす。
第1の光路471は、光(可視光/反射光および蛍光発光)が光ビームスプリッタアセンブリ400に入射する光入口部460から、第1のスペクトル部分410の光を、第1の光出力部461に導くように構成されている。
同様に、第2の光路472は、光入口部460から第2のスペクトル部分420の光を第2の光出力部462に導くように構成されており、第2の光出力部462は、第1の光出力部461から間隔をおいて配置されている。
最後に、第3の光路473は、光入口部460から第3のスペクトル部分430の光を第3の光出力部463に導くように構成されており、第3の光出力部463は、第1の光出力部461および第2の光出力部462から間隔をおいて配置されている。
第2の光路472は第1のビームスプリッタ451を横断し、第3の光路473は第1のビームスプリッタ451および第2のビームスプリッタ452を横断する。
ビームスプリッタ451,452は、それぞれダイクロイックミラー455として具現化することができる。各ダイクロイックミラー455は、所定の角度で所定の波長を反射する少なくとも1つの薄膜を含む。他の波長も透過可能である。
第1のビームスプリッタ451は、第1の光路471に沿って第1のスペクトル部分410の光を反射する。第1のビームスプリッタ451は、第2のスペクトル部分420の光と、第1のスペクトル部分410の一部ではないさらなる波長の光と、を透過させる。同様に、第2のビームスプリッタ452は、第2の光路472に沿って第2のスペクトル部分420の光を反射し、例えば他の波長を透過させることができる。それはまた、第1のスペクトル部分410の光が第2のビームスプリッタ452に到達しないか、またはほとんど到達しないので、第1のスペクトル部分410の光を反射する可能性がある。
光ビームスプリッタアセンブリ400は、第1、第2および第3の出力部461,462,463における光を検出するための3つのイメージセンサ481b,482b,483bを有する3つのカメラ481,482,483を含む。このため、3つのイメージセンサ481b,482b,483bは、それぞれ第1、第2または第3の出力部461,462,463に配置されている。イメージセンサは、バンドパスフィルタ481a,482a,483aと結合されている。いくつかの実装形態では、ビームスプリッタのコーティングは、グラフに示された理想的な分布と一致しないので、バンドパスフィルタは、所望の帯域の外側の(任意の)光を遮断するために使用されてもよい。
第1の光路471および第2の光路472のうちの少なくとも1つについて、特徴的な組織および蛍光物質から来る信号を記録するために、蛍光物質の発光帯域は、スペクトル部分410,420と重なる。蛍光物質としては、例えば、フルオレセイン、5−ALA、ICGのうちの少なくとも1つを使用することができる。
描写された実施形態では、第1の光路471によって導かれる光のスペクトル部分410は、互いに離間して配置された2つのスペクトルサブ部分411(円1でマーキングされている)、412(円2でマーキングされている)を含む。これは、例えば、2つのスペクトルサブ部分を反射し、それらを第1の光出力部461に配置された第1のカメラ481の第1のイメージセンサ481bに導く第1のビームスプリッタ451によって実現することができる。
各スペクトルサブ部分411,412について、蛍光物質の蛍光発光帯域は、スペクトルサブ部分411,412と重複するか、またはスペクトルサブ部分411,412内に存在する。特に、この例では、フルオレセインに関連付けられた第1のスペクトルサブ部分411は、典型的な蛍光発光波長540nmの周りに位置している。ICGに関連付けられた第2のスペクトルサブ部分412は、約750〜900nmの波長を含む。
第1のカメラ481は、ベイヤーフィルタ488aを含む。ベイヤーフィルタ488aは、赤色、緑色、青色のうちの1つのみを各画素に選択的に透過させるための3つのサブフィルタを含む。緑色のサブフィルタの領域は、赤色および青色のサブフィルタの結合された領域を含む。かかるベイヤーフィルタ488aを用いることにより、2つの蛍光物質に関連する2つのサブ部分411,412を容易に分離することができる。例えば、フルオレセインに起因する蛍光発光は、緑色のサブフィルタに結合された画素を使用して検出することができる。ICGによる蛍光発光は各画素で可視化されているため、計算ロジックを使用して識別することができる。2つのサブ部分411,412は、それらの間のクロストークが最小限に抑えられるように、互いに離間して配置されている。これは、自然な帯域幅を有する蛍光信号が、他のサブ部分では信号強度が非常に小さいか、または全くないことを意味する。
ベイヤーフィルタ488aのサブフィルタは、蛍光物質のうちの1つの蛍光発光帯域に一致するように選択することができる。特に、サブフィルタの透過率の最大値は、蛍光発光帯域の最大値の50nm以内、好ましくは20nm以内に位置しうる。蛍光発光帯域の最大波長におけるサブフィルタの透過率は、80%以上、好ましくは90%以上、さらに好ましくは少なくとも95%以上でありうる。
有利には、蛍光物質は、その蛍光発光帯域がベイヤーフィルタ488aのサブフィルタによって透過されるスペクトル部分と重なるように選択される。
第2のカメラ482は、高感度を実現するために、モノクロイメージセンサ482bを含むが、ベイヤーフィルタを含まない。これは、例えば、微弱な信号または量子効率の低い蛍光物質を使用する場合に有用である。例えば、第2の光路472は、5−ALAの蛍光発光に関連するスペクトル部分420と関連付けることができる。
第3のカメラ483は、広範なスペクトル範囲を有しておりかつ白色光と称されうる残光の、第3のスペクトル部分430を記録するために、ベイヤーフィルタ488bと第3のイメージセンサ483bとを含むことができる。この第3のスペクトル部分430は、手術が行われる領域の全体像を示すために(画像の視野は同じ状態で)使用することができる。様々な動作モードにおいて、第3のスペクトル部分は、他のスペクトル部分(蛍光イメージングには使用されない)の1つと結合されて、可視光画像を生成する。
全体として、光ビームスプリッタアセンブリ400は、3つのカメラ481,482,483を含み、1つのカメラ482はベイヤーフィルタなしで動作し(したがって、実質的にモノクロイメージセンサとして動作する)、2つのカメラ481,483はベイヤーフィルタ488a,488bを含む。また、ベイヤーフィルタ488a,488bを含む2つのカメラ481,483は、ベイヤーフィルタ488a,488bの背後にモノクロイメージセンサ481b,483bを含みうる。なお、2つのカメラ481,483は、色情報を有する画像を撮像可能なカラーカメラでありうる。
描写された実施形態では、ベイヤーフィルタを有しないカメラ482のイメージセンサ482bが第2の光出力部462に配置され、ベイヤーフィルタ488a,488bを有するカメラ481,483のイメージセンサ481b,483bが第1の光出力部461および第3の光出力部463に配置されている。他の実施形態では、ベイヤーフィルタを有しないカメラを第1の出力部461に配置して、第1のビームスプリッタ451による損失を回避することができる。
第1の光出力部461に関連付けられたカメラ481は、RGB色空間の色画像を記録するように構成されており、色空間は、所定の色チャネルのセットを有する。第1の光路471のスペクトル部分410は、2つのスペクトルサブ部分411,412を含み、ここで、第1のサブ部分411、すなわちフルオレセインに関連する部分は、色空間の第1の色チャネル、すなわち緑色と重なるが、色空間の第2の色チャネル、すなわち赤色とは重ならない。第2のサブ部分412、すなわちICGに関連する部分は、少なくとも第2の色チャネル、すなわち赤色と重なる。図4a〜4cに示すように、ビームスプリッタ451は、515nm〜535nm、835nm〜880nmにおいて>90%、400nm〜495nm、555nm〜810nmにおいて<5%の平均反射率(Rave)を有しうる。ビームスプリッタ452は、625nm〜645nmにおいて>90%、400nm〜605nm、665nm〜810nmにおいて<5%の平均反射率(Rave)を有しうる。入射角はF8.0でありうる。
2つの色チャネルを別の色チャネルで区切ることができる。
各色チャネルは、原色、例えば赤色、緑色、または青色でありうる。
換言すれば、第2の光出力部462に関連付けられた第2のイメージセンサ482bによって記録された反射スペクトル部分420は、第1の光出力部461に記録された2つのスペクトルサブ部分411,412の間にある。それゆえ、第1のスペクトル部分410と第2のスペクトル部分420とは重ならない。
さらに、光ビームスプリッタアセンブリは、白色光または残光を第3の出力部463に導くように構成されている。光ビームスプリッタアセンブリ400は、第1の波長と第2の波長とを有する2つの蛍光発光帯域の光を第1の光出力部461に導き、第1の波長と第2の波長との間の第3の波長を有する蛍光発光帯域の光を第2の光出力部462に導くように構成されている。
図4b〜図4dには、異なるスペクトル部分の結果としての分布を参照することができる。この場合、約900nm以下の波長を有する光は、光入口部460を介して光ビームスプリッタアセンブリ400に入射する。フルオレセイン帯域およびICG帯域は、第1のビームスプリッタ451によって第1のカメラ481に向けられ、図4bでは、2つのピークの間にギャップを有するスペクトル中の2つの異なるピークとして見ることができる。
5−ALAピークは、第1のビームスプリッタ451を透過し、第2のビームスプリッタ452によって第2のカメラ482に配向される。第2のカメラ482には(ベイヤー)フィルタがないため、この微弱な信号に対して高感度を実現することができる。図4cに見られるように、このピークは、第1の出力部で測定された2つのピークの間に位置している。このようにピークを分離することで、良好な分離が可能となり、信号を確実に検出することができる。
図4dでは、第3の出力部463に到達した光の部分を示している。これは、入力部に入射した光であって、第1の出力部461に向けて偏向されることも、第2の出力部462に向けて偏向されることも、吸収されることもない。スペクトルの幅により、この部分は白色光と名付けることができる。
別の実施形態では、第2の光出力部462に関連付けられたイメージセンサ482bおよび/またはカメラ482は、色空間に色画像を記録するように構成可能であり、色空間は、所定の色チャネルのセットを有している。ここで、第2の光路472のスペクトル部分420は、2つのスペクトルサブ部分を含み、第1のサブ部分は、色空間の第2の色チャネルとは重ならず、色空間の第1の色チャネルと重なっており、第2のサブ部分は、少なくとも第2の色チャネルと重なっている。
本実施例では、光ビームスプリッタアセンブリは、第1の波長と第2の波長とを有する2つの蛍光発光帯域の光を第2の光出力部462に導き、第1の波長と第2の波長との間の第3の波長を有する蛍光発光帯域の光を第1の光出力部461に導くように構成されている。
2つのビームスプリッタ451,452は、それぞれプリズム491,492,493上のコーティング495を含む。
さらに、光ビームスプリッタアセンブリ400は、光入口部460および第1の光出力部461を含む第1のプリズム491、第2の光出力部462を含む第2のプリズム492、ならびに第3の光出力部463を含む第3のプリズム493を含む。
第1のビームスプリッタ451は、第1のプリズム491と第2のプリズム492との間にある。さらに、第2のビームスプリッタ452は、第2のプリズム492と第3のプリズム493との間にある。
全体として、光ビームスプリッタアセンブリ400は、一体のブロック499を形成するために互いに接続された3つのプリズム491,492,493を含む。これにより、ハンドリングを簡素化することができる。特に、光ビームスプリッタアセンブリ400は、顕微鏡アセンブリ445または顕微鏡のカメラヘッド440の一部でありうる。
光ビームスプリッタアセンブリ400は、フルオレセイン、ICGおよび5−ALAを組み合わせて使用するように構成されている。これは、第1の部分410および第2の部分420の第1のサブ部分411および第2のサブ部分412が、それぞれ、フルオレセイン、ICGおよび5−ALAのうちの1つの蛍光発光帯域と重なるが、他の蛍光物質の蛍光発光帯域とは重ならないことにより、実現される。
図4eでは、さらなる実施形態が描写されている。ここでも、異なるスペクトル部分410,420,430の画像を記録するのに適した3つのカメラ481,482,483が存在する。これにより、異なる蛍光物質からの蛍光を別々に撮像することができる。このようにして取得された画像は、その後、顕微鏡アセンブリの画像処理装置446に入力され、所望の組み合わせが可能となる。
光ビームスプリッタアセンブリ400は、第1のビームスプリッタ451と第2のビームスプリッタ452とを含む。2つのビームスプリッタ451,452は、光を第1の光路471、第2の光路472、および第3の光路473に分割する役割を果たす。
第1のビームスプリッタ451の場合、平均反射率は、400nm〜485nm、565nm〜599nm、679nm〜790nmにおいてRave>90%、505nm〜545nm,619nm〜659nm、810nm〜850nmにおいてRave<5%でありうる。すなわち、平均反射率は、400nm〜485nm、565nm〜599nm、および679nm〜790nmの間隔で90%超、505nm〜545nm、619nm〜659nm、および810nm〜850nmの間隔で5%未満である。入射角はF8.0でありうる。
第2のビームスプリッタの場合、平均反射率は、400nm〜599nm、679nm〜850nmにおいてRave>90%、619nm〜659nmにおいてRave<5%でありうる。すなわち、平均反射率は、400nm〜599nmおよび679nm〜850nmの間隔で90%超、619nm〜659nmの間隔で5%未満である。入射角はF8.0でありうる。
このように、第1のビームスプリッタ451は、フルオレセイン、5−ALA、ICGの3つの蛍光物質の全ての信号を透過する。他の光は、第1のベイヤーフィルタ488aを含む第1のカメラ481に反射される。第2のビームスプリッタ452は、5−ALA信号のみを透過させ、これは、次に第3のカメラ483に到達する。第3のカメラ483は、モノクロイメージセンサ483bを含み、ベイヤーフィルタを含まない。フルオレセインおよびICGの信号は、ベイヤーフィルタ488bを含む第2のビームスプリッタによって第2のカメラ482に反射される。
図5では、有利な顕微鏡アセンブリ445が描写されている。ユーザは、蛍光モードを選択および指定することができる。照明光源500による照明は、適切な励起照明(第1の蛍光照明光501、第2の蛍光照明光502、および第3の蛍光照明光503のうちの1つまたは複数)に加えて、広帯域の「白色光」照明504を提供するようにコントローラ520によって制御される。システムは、その後、どの単一のカメラまたは複数のカメラ481,482,483が選択された蛍光に関連するかの信号を認識し、かつカラーバランスのとれた可視画像を構成するためにどのカメラを使用するかを認識する。次いで、1つまたは複数の画像を代替ディスプレイ540に出力することができる。かかるカラーバランスは、画像処理装置446で行うことができる。
顕微鏡アセンブリまたはビームスプリッタアセンブリのさらなる詳細および態様は、提案されたコンセプト、または上述もしくは下述の1つまたは複数の実施例に関連して言及される(例えば、図1a〜図3、図6a〜図7)。顕微鏡アセンブリまたはビームスプリッタアセンブリは、提案されたコンセプトの1つまたは複数の態様、または上述もしくは下述の1つまたは複数の実施例に対応する1つまたは複数の追加の任意の特徴を含んでいてもよい。
図6a〜図6dでは、顕微鏡システムの例示的な実装形態について、異なる照明モードおよび撮像モードが示されている。
図6a〜図6dは、LED系照明システム180に対応しうる照明システム630と、レンズ635,637,638およびプリズム636を含む光学サブシステム635,636,637,638と、ビームスプリッタアセンブリ132に対応しうるビームスプリッタアセンブリ400と、3つのイメージセンサ481,482,483であって、そのうちの2つがベイヤーフィルタ488a/488b(ベイヤーフィルタ136−1,136−2に対応しうる)で動作するイメージセンサと、を含む顕微鏡システムの光学的レイアウトを示す。例えば、ビームスプリッタアセンブリは、図4e/図1cに関連して示されるビームスプリッタアセンブリと同様に実装されてもよい。
図6aでは、可視モードでの顕微鏡システムの動作を示している。図6aでは、照明システム630の白色光LED(例えばシングルチップ)は、可視領域のスペクトル631を放出し、視野を照明し、2つの3チップカメラ(それぞれが3つのイメージセンサを備えたビームスプリッタアセンブリを含む)が2つの立体視光学系を通して観察を行う。これらの各センサは、特定のスペクトル601;602;603を記録する。第1のセンサ481は、495nm〜550nm、800nm〜900nmの範囲のスペクトル601を記録し、第2のセンサ482は、480nm〜495nm、550nm〜615nm、665nm〜750nmの範囲のスペクトル602を記録する。第3のセンサ483は、615nm〜665nmのスペクトル603を記録する。感度を高めるために、第3のセンサはベイヤーパターンなしで動作する。可視光動作では、3つのセンサ全ての画像が結合されて可視画像610を生成する。
図6bでは、第2の周波数範囲(円2で示される)の蛍光発光を提供する動作モードでの顕微鏡システムの動作が示されている。この動作モードは、蛍光励起波長が400nmに近いことから「FL400」と称される。図6bでは、照明システム630の白色光LED(例えばシングルチップ)がスペクトルを放出し、視野を照明する。615nm〜665nmの範囲内のスペクトル632bは、5−ALAの一般的な発光範囲をカバーするため、バンドパスフィルタによって遮断される。405nmにピーク632aを有する照明システム630の追加の青色LEDは、蛍光励起電力を放出する。結果として得られたスペクトル632が図6bに示されている。2つの3チップカメラにより、2つの立体視光学システムを介して視野が観察される。これらの各センサは、特定のスペクトル601;602;603を記録する。第1のセンサ481は、495nm〜550nm、800nm〜900nmの範囲のスペクトル601を記録し、第2のセンサ482は、480nm〜495nm、550nm〜615nm、665nm〜750nmの範囲のスペクトル602を記録する。第3のセンサ483は、615nm〜665nmのスペクトル603を記録する。感度を高めるために、第3のセンサは、ベイヤーパターンなしで動作する。第1のセンサおよび第2のセンサの画像が結合されて可視画像610が生成される。第3のセンサの画像により、蛍光画像オーバーレイ620(励起波長が400nmに近いため「FL400」と表記される)が作成される。
図6cでは、第1の周波数範囲(円1で示される)の蛍光発光を提供する動作モードでの顕微鏡システムの動作が示されている。この動作モードは、蛍光発光波長が560nmに近いことから「FL560」と称される。図6cでは、照明システム630の白色光LED(例えばシングルチップ)がスペクトルを放出し、視野を照明する。495nm〜550nmの範囲内のスペクトル633bは遮断されており、これはフルオレセインの典型的な発光範囲をカバーしている。480nmにピーク633aを有し、バンドパスフィルタを有する追加のシアンLEDが蛍光励起電力を放出する。結果として得られるスペクトル633が図6cに示されている。2つの3チップカメラにより、2つの立体視光学システムを介して視野が観察される。これらの各センサは、特定のスペクトルを記録する。これらの各センサは、特定のスペクトル601;602;603を記録する。第1のセンサ481は、495nm〜550nm、800nm〜900nmの範囲のスペクトル601を記録し、第2のセンサ482は、480nm〜495nm、550nm〜615nm、665nm〜750nmの範囲のスペクトル602を記録する。第3のセンサ483は、615nm〜665nmのスペクトル603を記録する。感度を高めるために、第3のセンサはベイヤーパターンなしで動作する。第2のセンサおよび第3のセンサの画像が結合されて可視画像が生成される。第1のセンサの画像により、蛍光画像オーバーレイ「FL560」が作成される。
図6dでは、第3の周波数範囲(円3で示される)の蛍光発光を提供する動作モードでの顕微鏡システムの動作が示されている。この動作モードでは、蛍光発光および励起波長が800nmに近いことから、「FL800」と称される。図6dでは、照明システム630の白色光LED(例えばシングルチップ)がスペクトルを放出し、視野を照明する。788nmにピーク634aを有し、バンドパスフィルタを有する照明システムの追加の近赤外(NIR)LEDは、蛍光励起電力を放出する。結果として得られるスペクトル634が図6dに示されている。
2つの3チップカメラにより、2つの立体視光学システムを介して視野が観察される。これらの各センサは、特定のスペクトルを記録する。これらの各センサは、特定のスペクトル601;602;603を記録する。第1のセンサ481は、495nm〜550nm、800nm〜900nmの範囲のスペクトル601を記録し、第2のセンサ482は、480nm〜495nm、550nm〜615nm、665nm〜750nmの範囲のスペクトル602を記録する。第3のセンサ483は、615nm〜665nmのスペクトル603を記録する。感度を高めるために、第3のセンサはベイヤーパターンなしで動作する。第2のセンサおよび第3のセンサの画像が結合されて可視画像を生成される。第1のセンサの画像により、蛍光画像オーバーレイ「FL800」が作成される。
照明モードまたは撮像モードのさらなる詳細および態様は、提案されたコンセプト、または上述もしくは下述の1つまたは複数の実施例に関連して言及される(例えば、図1a〜図5、図7)。照明モードまたは撮像モードは、提案されたコンセプトの1つまたは複数の態様、または上述もしくは下述の1つまたは複数の実施例に対応する1つまたは複数の追加の任意の特徴を含んでいてもよい。
本明細書で使用されるように、用語「および/または(かつ/または)」は、関連する記載項目のうちの1つまたは複数の項目のあらゆる全ての組み合わせを含んでおり、「/」として略記されることがある。
いくつかの態様を装置の文脈において説明してきたが、これらの態様が、対応する方法の説明も表していることが明らかであり、ここではブロックまたは装置がステップまたはステップの特徴に対応している。同様に、ステップの文脈において説明された態様は、対応する装置の対応するブロックまたは項目または特徴の説明も表している。
いくつかの実施形態は、図1から図6dのうちの1つまたは複数の図に関連して説明されたようなシステムを含んでいる顕微鏡に関する。択一的に、顕微鏡は、図1から図6dのうちの1つまたは複数の図に関連して説明されたようなシステムの一部であってもよい、または図1から図6dのうちの1つまたは複数の図に関連して説明されたようなシステムに接続されていてもよい。図7は本明細書に記載された方法を実施するように構成されたシステム700の概略図を示している。システム700は、顕微鏡710とコンピュータシステム720とを含んでいる。顕微鏡710は、撮像するように構成されており、かつコンピュータシステム720に接続されている。コンピュータシステム720は、本明細書に記載された方法の少なくとも一部を実施するように構成されている。コンピュータシステム720は、機械学習アルゴリズムを実行するように構成されていてもよい。コンピュータシステム720と顕微鏡710は別個の存在物であってもよいが、1つの共通のハウジング内に一体化されていてもよい。コンピュータシステム720は、顕微鏡710の中央処理システムの一部であってもよく、かつ/またはコンピュータシステム720は、顕微鏡710のセンサ、アクター、カメラまたは照明ユニット等の、顕微鏡710の従属部品の一部であってもよい。
コンピュータシステム720は、1つまたは複数のプロセッサおよび1つまたは複数のストレージデバイスを備えるローカルコンピュータデバイス(例えば、パーソナルコンピュータ、ラップトップ、タブレットコンピュータまたは携帯電話)であってもよく、または分散コンピュータシステム(例えば、ローカルクライアントおよび/または1つまたは複数のリモートサーバファームおよび/またはデータセンタ等の様々な場所に分散されている1つまたは複数のプロセッサおよび1つまたは複数のストレージデバイスを備えるクラウドコンピューティングシステム)であってもよい。コンピュータシステム720は、任意の回路または回路の組み合わせを含んでいてもよい。1つの実施形態では、コンピュータシステム720は、任意の種類のものとすることができる、1つまたは複数のプロセッサを含んでいてもよい。本明細書で使用されるように、プロセッサは、例えば、顕微鏡または顕微鏡部品(例えばカメラ)のマイクロプロセッサ、マイクロコントローラ、複合命令セットコンピューティング(CISC)マイクロプロセッサ、縮小命令セットコンピューティング(RISC)マイクロプロセッサ、超長命令語(VLIW)マイクロプロセッサ、グラフィックプロセッサ、デジタル信号プロセッサ(DSP)、マルチコアプロセッサ、フィールドプログラマブルゲートアレイ(FPGA)または任意の他の種類のプロセッサまたは処理回路等のあらゆる種類の計算回路を意図していてもよいが、これらに限定されない。コンピュータシステム720に含まれうる他の種類の回路は、カスタム回路、特定用途向け集積回路(ASIC)等であってもよく、例えばこれは、携帯電話、タブレットコンピュータ、ラップトップコンピュータ、双方向無線機および類似の電子システム等の無線装置において使用される1つまたは複数の回路(通信回路等)等である。コンピュータシステム720は、ランダムアクセスメモリ(RAM)の形態のメインメモリ等の特定の用途に適した1つまたは複数の記憶素子を含みうる1つまたは複数のストレージデバイス、1つまたは複数のハードドライブおよび/またはコンパクトディスク(CD)、フラッシュメモリカード、デジタルビデオディスク(DVD)等のリムーバブルメディアを扱う1つまたは複数のドライブ等を含んでいてもよい。コンピュータシステム720はディスプレイ装置、1つまたは複数のスピーカーおよびキーボードおよび/またはマウス、トラックボール、タッチスクリーン、音声認識装置を含みうるコントローラ、またはシステムのユーザがコンピュータシステム720に情報を入力すること、およびコンピュータシステム720から情報を受け取ることを可能にする任意の他の装置も含んでいてもよい。
ステップの一部または全部は、例えば、プロセッサ、マイクロプロセッサ、プログラマブルコンピュータまたは電子回路等のハードウェア装置(またはハードウェア装置を使用すること)によって実行されてもよい。いくつかの実施形態では、極めて重要なステップのいずれか1つまたは複数が、そのような装置によって実行されてもよい。
一定の実装要件に応じて、本発明の実施形態は、ハードウェアまたはソフトウェアで実装されうる。この実装は、非一過性の記録媒体によって実行可能であり、非一過性の記録媒体は、各方法を実施するために、プログラマブルコンピュータシステムと協働する(または協働することが可能である)、電子的に読取可能な制御信号が格納されている、デジタル記録媒体等であり、これは例えば、フロッピーディスク、DVD、ブルーレイ、CD、ROM、PROMおよびEPROM、EEPROMまたはFLASHメモリである。したがって、デジタル記録媒体は、コンピュータ読取可能であってもよい。
本発明のいくつかの実施形態は、本明細書に記載のいずれかの方法が実施されるように、プログラマブルコンピュータシステムと協働することができる、電子的に読取可能な制御信号を有するデータ担体を含んでいる。
一般的に、本発明の実施形態は、プログラムコードを備えるコンピュータプログラム製品として実装可能であり、このプログラムコードは、コンピュータプログラム製品がコンピュータ上で実行されるときにいずれかの方法を実施するように作動する。このプログラムコードは、例えば、機械可読担体に格納されていてもよい。
別の実施形態は、機械可読担体に格納されている、本明細書に記載のいずれかの方法を実施するためのコンピュータプログラムを含んでいる。
したがって、換言すれば、本発明の実施形態は、コンピュータプログラムがコンピュータ上で実行されるときに本明細書に記載のいずれかの方法を実施するためのプログラムコードを有するコンピュータプログラムである。
したがって、本発明の別の実施形態は、プロセッサによって実行されるときに本明細書に記載のいずれかの方法を実施するために、格納されているコンピュータプログラムを含んでいる記録媒体(またはデータ担体またはコンピュータ読取可能な媒体)である。データ担体、デジタル記録媒体または被記録媒体は、典型的に、有形である、かつ/または非一過性である。本発明の別の実施形態は、プロセッサと記録媒体とを含んでいる、本明細書に記載されたような装置である。
したがって、本発明の別の実施形態は、本明細書に記載のいずれかの方法を実施するためのコンピュータプログラムを表すデータストリームまたは信号シーケンスである。データストリームまたは信号シーケンスは例えば、データ通信接続、例えばインターネットを介して転送されるように構成されていてもよい。
別の実施形態は、処理手段、例えば、本明細書に記載のいずれかの方法を実施するように構成または適合されているコンピュータまたはプログラマブルロジックデバイスを含んでいる。
別の実施形態は、本明細書に記載のいずれかの方法を実施するために、インストールされたコンピュータプログラムを有しているコンピュータを含んでいる。
本発明の別の実施形態は、本明細書に記載のいずれかの方法を実施するためのコンピュータプログラムを(例えば、電子的にまたは光学的に)受信機に転送するように構成されている装置またはシステムを含んでいる。受信機は、例えば、コンピュータ、モバイル機器、記憶装置等であってもよい。装置またはシステムは、例えば、コンピュータプログラムを受信機に転送するために、ファイルサーバを含んでいてもよい。
いくつかの実施形態では、プログラマブルロジックデバイス(例えばフィールド・プログラマブル・ゲート・アレイ)が、本明細書に記載された方法の機能の一部または全部を実行するために使用されてもよい。いくつかの実施形態では、フィールド・プログラマブル・ゲート・アレイは、本明細書に記載のいずれかの方法を実施するためにマイクロプロセッサと協働してもよい。一般的に、有利には、任意のハードウェア装置によって方法が実施される。
100 顕微鏡
130 イメージセンサアセンブリ
132 ビームスプリッタアセンブリ
134−1,134−2,134−3 イメージセンサ
136−1,136−2 ベイヤーフィルタ
138−1,138−2,138−3 スペクトル部分
180 照明システム
181−1 第1のLED系光源
181−2 光学フィルタ
182 第2のLED系光源
183 第3のLED系光源
184 第2の光学フィルタ
185 光学集光素子
190 顕微鏡用システム
192 インタフェース
194 1つまたは複数のプロセッサ
196 1つまたは複数のストレージデバイス
310 少なくとも1つの蛍光材料の励起波長に調整された波長に少なくとも1つのピークを有する放射電力を放出する
320 白色光スペクトル全体にわたって放射電力を放出する
330 画像データを生成する
340 画像データを処理する
400 ビームスプリッタアセンブリ
410 第1のスペクトル部分
411 第1のスペクトルサブ部分
412 第2のスペクトルサブ部分
420 第2のスペクトル部分
430 第3のスペクトル部分
440 カメラヘッド
445 顕微鏡アセンブリ
446 画像処理装置
448 表示デバイス
451 第1のビームスプリッタ
452 第2のビームスプリッタ
455 ダイクロイックミラー
460 光入口部
461 第1の光出力部
462 第2の光出力部
463 第3の光出力部
471 第1の光路
472 第2の光路
473 第3の光路
481 第1のカメラ
481a 第1のカメラのバンドパスフィルタ
481b 第1のイメージセンサ
482 第2のカメラ
482a 第2のカメラのバンドパスフィルタ
482b 第2のイメージセンサ
483 第3のカメラ
483a 第3のカメラのバンドパスフィルタ
483b 第3のイメージセンサ
488a ベイヤーフィルタ
488b ベイヤーフィルタ
491 第1のプリズム
492 第2のプリズム
493 第3のプリズム
495 コーティング
499 ブロック
500 光源
501 第1の蛍光励起光
502 第2の蛍光励起光
503 第3の蛍光励起光
504 広帯域光
520 コントローラ
540 ディスプレイ
601 第1のセンサのスペクトル
602 第2のセンサのスペクトル
603 第3のセンサのスペクトル
610 可視画像
620 蛍光画像オーバーレイ
630 照明システム
631 照明システムのスペクトル
632 照明システムのスペクトル
632a 照明システムのスペクトル内のピーク
632b 照明システムのスペクトル内のギャップ
633 照明システムのスペクトル
633a 照明システムのスペクトル内のピーク
633b 照明システムのスペクトル内のギャップ
634 照明システムのスペクトル
634a 照明システムのスペクトル内のピーク
700 システム(2x)
710 顕微鏡(6x)
720 コンピュータシステム(1x)から情報を受信する、コンピュータシステム(12x)

Claims (15)

  1. 顕微鏡システムであって、前記顕微鏡システムは、
    少なくとも1つの蛍光材料の励起波長に調整された波長に少なくとも1つのピークを有する放射電力を放出し、かつ/または、前記少なくとも1つの蛍光材料の少なくとも1つの蛍光発光波長スペクトルと一致する波長スペクトルを有する光が減衰または遮断されるように、白色光スペクトル全体にわたって放出された光がフィルタリングされた状態で、前記白色光スペクトル全体にわたって放射電力を放出するように構成された発光ダイオード(LED)系照明システム(180)と、
    前記LED系照明システムにより照明された試料によって反射された光を表す画像データを生成するように構成された少なくとも1つのイメージセンサアセンブリ(130)と、
    前記画像データを処理して処理済画像データを生成するように構成された1つまたは複数のプロセッサ(194)と、
    を含む顕微鏡システム。
  2. 前記1つまたは複数のプロセッサは、前記処理済画像データのうち、前記少なくとも1つの蛍光材料の前記少なくとも1つの蛍光発光波長と一致する波長を有する光を表す部分を再構成するように構成されている、
    請求項1記載の顕微鏡システム。
  3. 前記画像データは、前記LED系照明システムにより照明された前記試料によって反射された光と、前記少なくとも1つの蛍光材料によって放出された光と、を表す、
    請求項1または2記載の顕微鏡システム。
  4. 前記1つまたは複数のプロセッサは、前記画像データに基づいて、可視光を表す第1の画像と、前記少なくとも1つの蛍光材料の蛍光発光を表す第2の画像と、を生成するように構成されている、
    請求項1から3までのいずれか1項記載の顕微鏡システム。
  5. 前記LED系照明システムは、2つ以上の動作モードを有し、第1の動作モードは、反射イメージングおよび蛍光イメージングに適しており、第2の動作モードは、反射イメージングに適しており、前記1つまたは複数のプロセッサは、前記LED系照明システムが前記第1の動作モードで動作する場合には前記第1の画像および前記第2の画像を生成し、前記LED系照明システムが前記第2の動作モードで動作する場合には前記第2の画像を生成せずに前記第1の画像を生成するように構成されている、
    請求項1から4までのいずれか1項記載の顕微鏡システム。
  6. 前記少なくとも1つのイメージセンサアセンブリは、ビームスプリッタアセンブリ(132,132−1〜132−5)および3つのイメージセンサ(134−1,134−2,134−3)を含み、前記ビームスプリッタアセンブリは、第1のスペクトル部分の光を第1のイメージセンサに、第2のスペクトル部分の光を第2のイメージセンサに、第3のスペクトル部分の光を第3のイメージセンサに導くように構成されており、前記3つのイメージセンサは、それぞれのイメージセンサに入射するスペクトル部分に基づいて画像データを生成するように構成されている、
    請求項1から5までのいずれか1項記載の顕微鏡システム。
  7. 前記3つのイメージセンサのうちの第1のイメージセンサおよび第2のイメージセンサは、ベイヤーフィルタ(136−1,136−2)で動作し、前記3つのイメージセンサのうちの第3のイメージセンサは、ベイヤーフィルタなしで動作する、
    請求項6記載の顕微鏡システム。
  8. 前記画像データは、前記第1のイメージセンサに由来する第1の部分、前記第2のイメージセンサに由来する第2の部分、および、前記第3のイメージセンサに由来する第3の部分を含み、前記1つまたは複数のプロセッサは、前記画像データの3つの部分の第1の組み合わせに基づいて可視光を表す第1の画像を生成し、前記画像データの前記3つの部分の第2の組み合わせに基づいて前記少なくとも1つの蛍光材料の蛍光発光を表す第2の画像を生成するように構成されている、
    請求項6または7記載の顕微鏡システム。
  9. 前記1つまたは複数のプロセッサは、
    1つの蛍光材料の励起波長に調整された波長に1つのピークを有する光が放出された場合に、前記第1の画像が前記画像データの2つの部分に基づいて生成され、前記第2の画像が前記画像データの1つの部分に基づいて生成されるように、さらに、
    3つの蛍光材料の励起波長に調整された3つの波長に3つのピークを有する光が放出された場合に、前記第1の画像が前記画像データの1つの部分に基づいて生成され、前記第2の画像が前記画像データの2つの部分に基づいて生成されるように、
    前記画像データの前記3つの部分を結合すべく構成されており、
    かつ/または、
    前記1つまたは複数のプロセッサは、
    第1の蛍光材料の励起波長に調整された第1の波長にピークを有する光が放出された場合に、前記第2の画像が前記画像データの前記第1の部分に基づいて生成されるように、さらに、
    第2の蛍光材料の励起波長に調整された第2の波長にピークを有する光が放出された場合に、前記第2の画像が前記画像データの前記第3の部分に基づいて生成されるように、
    前記画像データの前記3つの部分を結合すべく構成されており、
    かつ/または、
    前記1つまたは複数のプロセッサは、第3の蛍光材料の励起波長に調整された第3の波長にピークを有する光が放出された場合に、前記第2の画像が前記画像データの前記第1の部分に基づいて生成されるように、前記画像データの前記3つの部分を結合すべく構成されており、
    かつ/または、
    前記1つまたは複数のプロセッサは、少なくとも前記画像データの前記第2の部分に基づいて前記第1の画像を生成するように構成されている、
    請求項8記載の顕微鏡システム。
  10. 前記第1のスペクトル部分および前記第2のスペクトル部分のうちの少なくとも1つは、互いに離間して配置された2つのスペクトルサブ部分を含み、
    かつ/または、前記第1のスペクトル部分は、450nm〜550nmおよび750nm〜1000nmに位置する2つの連続的なサブ部分を含み、
    かつ/または、前記第3のスペクトル部分は、550nm〜700nmに位置する連続部分である、
    請求項6から9までのいずれか1項記載の顕微鏡システム。
  11. 前記LED系照明システムは、
    前記白色光スペクトル全体にわたって放射電力を放出するように構成された1つまたは複数の第1のLED系光源(181−1)と、
    前記1つまたは複数の第1のLED系光源によって放出された光をフィルタリングするように配置され、かつ、前記少なくとも1つの蛍光材料の前記少なくとも1つの蛍光発光波長と一致する波長を有する光を減衰または遮断するように構成された少なくとも1つの光学フィルタ(181−2)と、
    少なくとも1つの蛍光材料の励起波長に調整された波長に少なくとも1つのピークを有する放射電力を放出するように構成された1つまたは複数の第2のLED系光源(182)と、
    を含む、
    請求項1から10までのいずれか1項記載の顕微鏡システム。
  12. 前記1つまたは複数の第2のLED系光源は、
    ‐390nm〜420nmと、
    ‐460nm〜500nmと、
    ‐780nm〜810nmと、
    のうちの1つまたは複数のピークを有する放射電力を放出するように構成されている、
    請求項11記載の顕微鏡システム。
  13. 前記LED系照明システムは、前記白色光スペクトル全体にわたって放射電力を放出するように構成された1つまたは複数の第3のLED系光源(183)をさらに含む、
    請求項11または12記載の顕微鏡システム。
  14. 前記LED系照明システムは、2つ以上の動作モードを有し、前記LED系照明システムは、
    第1の動作モードにおいて、前記少なくとも1つの蛍光材料の前記励起波長に調整された波長に少なくとも1つのピークを有する放射電力を放出し、前記少なくとも1つの蛍光材料の前記少なくとも1つの蛍光発光波長と一致する波長を有する光が減衰または遮断されるように、白色光スペクトル全体にわたって放出された光がフィルタリングされた状態で、前記白色光スペクトル全体にわたって放射電力を放出し、
    第2の動作モードにおいて、前記少なくとも1つの蛍光材料の前記少なくとも1つの蛍光発光波長と一致する波長を有する光が減衰または遮断されることなく、前記白色光スペクトル全体にわたって放射電力を放出する、
    ように構成されている、
    請求項1から13までのいずれか1項記載の顕微鏡システム。
  15. 顕微鏡を使用して対象物を撮像するための方法であって、前記方法は、
    発光ダイオード(LED)系照明システムを使用して、少なくとも1つの蛍光材料の励起波長に調整された波長に少なくとも1つのピークを有する放射電力を放出するステップ(310)と、
    前記LED系照明システムを使用して、前記少なくとも1つの蛍光材料の少なくとも1つの蛍光発光波長スペクトルと一致する波長スペクトルを有する光が減衰または遮断されるように、白色光スペクトル全体にわたって放出された光がフィルタリングされた状態で、前記白色光スペクトル全体にわたって放射電力を放出するステップ(320)と、
    前記LED系照明システムにより照明された試料によって反射された光を表す画像データを生成するステップ(330)と、
    前記画像データを処理して処理済画像データを生成するステップ(340)と、
    を含む方法。
JP2021037342A 2020-03-10 2021-03-09 Led系照明を用いた顕微鏡システムのコンセプト Ceased JP2021144217A (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
DE102020106499 2020-03-10
DE102020106499.3 2020-03-10
EP20211272 2020-12-02
EP20211272.8A EP3882681A1 (en) 2020-03-10 2020-12-02 A concept for a microscope system with an led-based illumination system

Publications (1)

Publication Number Publication Date
JP2021144217A true JP2021144217A (ja) 2021-09-24

Family

ID=73747862

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021037340A Active JP7239626B2 (ja) 2020-03-10 2021-03-09 顕微鏡用の照明システム、顕微鏡用のシステム、方法およびコンピュータプログラムならびに顕微鏡システム
JP2021037342A Ceased JP2021144217A (ja) 2020-03-10 2021-03-09 Led系照明を用いた顕微鏡システムのコンセプト

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2021037340A Active JP7239626B2 (ja) 2020-03-10 2021-03-09 顕微鏡用の照明システム、顕微鏡用のシステム、方法およびコンピュータプログラムならびに顕微鏡システム

Country Status (4)

Country Link
US (2) US11555993B2 (ja)
EP (2) EP3882681A1 (ja)
JP (2) JP7239626B2 (ja)
CN (2) CN113376822B (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3649919A1 (de) * 2018-11-12 2020-05-13 Ivoclar Vivadent AG Dentales bildaufnahmesystem
EP3882681A1 (en) * 2020-03-10 2021-09-22 Leica Instruments (Singapore) Pte. Ltd. A concept for a microscope system with an led-based illumination system
EP4277256A1 (en) 2022-05-13 2023-11-15 Leica Instruments (Singapore) Pte Ltd Image processor and computer-implemented method for a medical observation device, using a location-dependent color conversion function

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10201707A (ja) * 1996-11-20 1998-08-04 Olympus Optical Co Ltd 内視鏡装置
JP2007090044A (ja) * 2005-08-31 2007-04-12 Olympus Corp 光イメージング装置
JP2008209726A (ja) * 2007-02-27 2008-09-11 Olympus Corp 照明装置
US20120085932A1 (en) * 2005-11-04 2012-04-12 George Themelis Systems and methods for multispectral imaging
JP2013057750A (ja) * 2011-09-07 2013-03-28 Nikon Corp 顕微鏡
JP2013519867A (ja) * 2010-02-12 2013-05-30 ヘルムホルツ・ツェントルム・ミュンヒェン・ドイチェス・フォルシュンクスツェントルム・フューア・ゲズントハイト・ウント・ウムベルト(ゲーエムベーハー) マルチスペクトルフォトニック画像化方法及び装置
JP2017526899A (ja) * 2014-06-05 2017-09-14 ウニベルジテート ハイデルベルク マルチスペクトルイメージングのための方法及び手段
JP2018027272A (ja) * 2016-08-19 2018-02-22 ソニー株式会社 撮像システム

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006016366A2 (en) * 2004-08-12 2006-02-16 Elop Electro-Optical Industries Ltd. Integrated retinal imager and method
DE102007029894A1 (de) 2007-06-28 2009-01-15 Leica Microsystems (Schweiz) Ag Mikroskop mit zentrierter Beleuchtung
CN101828139A (zh) * 2007-09-05 2010-09-08 致茂电子股份有限公司 具有波长转换磷光体的光源
US20090236541A1 (en) * 2008-03-24 2009-09-24 General Electric Company System and Methods for Optical Imaging
CN102245964A (zh) 2008-09-15 2011-11-16 Led道路照明有限公司 发光二极管道路照明光学器件
DE102009025127A1 (de) 2009-06-17 2010-12-23 Carl Zeiss Surgical Gmbh Beleuchtungseinrichtung für ein optisches Beobachtungsgerät
JP2011070050A (ja) 2009-09-28 2011-04-07 Nikon Corp 顕微鏡
CA2784856C (en) * 2009-12-18 2019-05-07 University Health Network System and method for sub-surface fluorescence imaging
DE102010021452A1 (de) 2010-04-01 2011-10-06 Siteco Beleuchtungstechnik Gmbh Leuchte mit LED-Modulen
JP2014003086A (ja) 2012-06-15 2014-01-09 Ushio Inc 光照射装置、露光装置
CA3165974A1 (en) * 2013-04-23 2014-10-30 Cedars-Sinai Medical Center Systems and methods for recording simultaneously visible light image and infrared light image from fluorophores
WO2015031322A1 (en) 2013-08-26 2015-03-05 Delta T Corporation Tunable luminaire and related methods to control light output
DE102013227104B4 (de) * 2013-09-03 2018-05-30 Leica Microsystems Cms Gmbh Scanmikroskop und akustooptischer Hauptstrahlteiler für ein Scanmikroskop
EP4383272A2 (en) * 2014-02-21 2024-06-12 The University of Akron Imaging and display system for guiding medical interventions
DE102014112285A1 (de) 2014-08-27 2016-03-03 Carl Zeiss Microscopy Gmbh Verfahren zum Korrigieren einer Farbwiedergabe eines digitalen Mikroskops sowie digitales Mikroskop
US9395293B1 (en) * 2015-01-12 2016-07-19 Verily Life Sciences Llc High-throughput hyperspectral imaging with superior resolution and optical sectioning
US10088662B2 (en) * 2015-04-30 2018-10-02 Farnoud KAZEMZADEH System, method and apparatus for ultra-resolved ultra-wide field-of-view multispectral and hyperspectral holographic microscopy
EP4155716A1 (en) * 2016-01-26 2023-03-29 Stryker European Operations Limited Image sensor assembly
EP3206061A1 (en) * 2016-02-15 2017-08-16 Leica Instruments (Singapore) Pte. Ltd. Illumination filter system and observation system for a multispectral fluorescence microscope
DE102018202243A1 (de) 2018-02-14 2019-08-14 Richard Wolf Gmbh Medizinisch-endoskopisches Instrument
DE102019101734B4 (de) * 2019-01-24 2021-01-07 Schott Ag Beleuchtungseinrichtung für ein abbildendes optisches Gerät sowie Verfahren zur optischen Analyse eines Objektes
EP3882681A1 (en) * 2020-03-10 2021-09-22 Leica Instruments (Singapore) Pte. Ltd. A concept for a microscope system with an led-based illumination system

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10201707A (ja) * 1996-11-20 1998-08-04 Olympus Optical Co Ltd 内視鏡装置
JP2007090044A (ja) * 2005-08-31 2007-04-12 Olympus Corp 光イメージング装置
US20120085932A1 (en) * 2005-11-04 2012-04-12 George Themelis Systems and methods for multispectral imaging
JP2008209726A (ja) * 2007-02-27 2008-09-11 Olympus Corp 照明装置
JP2013519867A (ja) * 2010-02-12 2013-05-30 ヘルムホルツ・ツェントルム・ミュンヒェン・ドイチェス・フォルシュンクスツェントルム・フューア・ゲズントハイト・ウント・ウムベルト(ゲーエムベーハー) マルチスペクトルフォトニック画像化方法及び装置
JP2013057750A (ja) * 2011-09-07 2013-03-28 Nikon Corp 顕微鏡
JP2017526899A (ja) * 2014-06-05 2017-09-14 ウニベルジテート ハイデルベルク マルチスペクトルイメージングのための方法及び手段
JP2018027272A (ja) * 2016-08-19 2018-02-22 ソニー株式会社 撮像システム

Also Published As

Publication number Publication date
US20210286160A1 (en) 2021-09-16
CN113376822A (zh) 2021-09-10
US11835700B2 (en) 2023-12-05
JP7239626B2 (ja) 2023-03-14
CN113376822B (zh) 2024-02-20
EP3882681A1 (en) 2021-09-22
EP3878355A1 (en) 2021-09-15
US11555993B2 (en) 2023-01-17
US20210286159A1 (en) 2021-09-16
CN113376823B (zh) 2023-10-27
JP2021144216A (ja) 2021-09-24
CN113376823A (zh) 2021-09-10

Similar Documents

Publication Publication Date Title
US11381759B2 (en) Multi-function imaging
JP2021144217A (ja) Led系照明を用いた顕微鏡システムのコンセプト
JP6939000B2 (ja) 撮像装置及び撮像方法
US7538309B2 (en) Image pickup apparatus
JP6103824B2 (ja) 蛍光内視鏡装置
JPWO2018180631A1 (ja) 医療用画像処理装置及び内視鏡システム並びに医療用画像処理装置の作動方法
US11805989B2 (en) Optical distribution connector and endoscopic system
US11160442B2 (en) Endoscope apparatus
EP3284396B1 (en) Observation apparatus and method for visual enhancement of an observed object
EP3986242A1 (en) Controlling integral energy of a laser pulse in a hyperspectral imaging system
CN114072035A (zh) 在超光谱成像***中使用多个发射器的场景的偏移照明
US20220191439A1 (en) Apparatus, System and Method to Capture Images of a Medical Site In White Light and Fluorescent Light
CN106073691A (zh) 内窥镜用光源装置及内窥镜***
CN114072643A (zh) 根据超光谱成像***中的抖动规范来驱动光发射
CN108931508B (zh) 显微镜***
JP7483862B2 (ja) 光ビームスプリッタアセンブリ、カメラヘッドおよび顕微鏡アセンブリ
JP2023521651A (ja) 顕微鏡システムのためのおよび変換関数を決定するためのシステム、方法およびコンピュータプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210309

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220307

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220602

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220803

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20221102

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221223

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230221

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230314

A045 Written measure of dismissal of application [lapsed due to lack of payment]

Free format text: JAPANESE INTERMEDIATE CODE: A045

Effective date: 20230725