JP7200204B2 - 多重組織検定用の撮像デバイスまたはシステムを較正、構成、および有効性判断するためのシステムおよび方法 - Google Patents

多重組織検定用の撮像デバイスまたはシステムを較正、構成、および有効性判断するためのシステムおよび方法 Download PDF

Info

Publication number
JP7200204B2
JP7200204B2 JP2020207253A JP2020207253A JP7200204B2 JP 7200204 B2 JP7200204 B2 JP 7200204B2 JP 2020207253 A JP2020207253 A JP 2020207253A JP 2020207253 A JP2020207253 A JP 2020207253A JP 7200204 B2 JP7200204 B2 JP 7200204B2
Authority
JP
Japan
Prior art keywords
spectral
light
image
intensity
spectrum
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020207253A
Other languages
English (en)
Other versions
JP2021047207A (ja
Inventor
ガーシャ,カール
オッター,マイケル
Original Assignee
ベンタナ メディカル システムズ, インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ベンタナ メディカル システムズ, インコーポレイテッド filed Critical ベンタナ メディカル システムズ, インコーポレイテッド
Publication of JP2021047207A publication Critical patent/JP2021047207A/ja
Application granted granted Critical
Publication of JP7200204B2 publication Critical patent/JP7200204B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/0297Constructional arrangements for removing other types of optical noise or for performing calibration
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/10Arrangements of light sources specially adapted for spectrometry or colorimetry
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/2823Imaging spectrometer
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/44Raman spectrometry; Scattering spectrometry ; Fluorescence spectrometry
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/44Raman spectrometry; Scattering spectrometry ; Fluorescence spectrometry
    • G01J3/4406Fluorescence spectrometry
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • G01N21/274Calibration, base line adjustment, drift correction
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695Preprocessing, e.g. image segmentation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/2823Imaging spectrometer
    • G01J2003/2826Multispectral imaging, e.g. filter imaging

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Mathematical Physics (AREA)
  • Biochemistry (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Spectrometry And Color Measurement (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Image Processing (AREA)

Description

本発明は、撮像デバイスの較正システムおよび方法に関するものである。更に特定すれば、本発明は、多重スペクトル撮像システムおよび/またはそのコンポーネントを較正することに関係する。また、本発明は、撮像システムの動作パラメータを設定する(configure)ことにも関係するものである。
本発明の実施形態は、撮像の動作を管理するようにプログラミングされたプロセッサを含む多重スペクトル撮像(MSI)システムの品質を評価する方法を提供する。また、本発明の実施形態は、MSIを較正し、特徴付け、構成するコンピュータ実装方法も含む。このような方法は、MSIシステムのスペクトル範囲の少なくとも一部にわたって、MISシステムの検出器の出力において、前記検出器を周囲光に露出することなく、選択された波長における前記検出器の出力を表す第1組のスペクトル・データを形成するように、MSIシステムの第1スペクトル・スキャンの間にデータを収集するステップを含む。加えて、この方法は、前記取得したスペクトル・データの部分集合同士を比較することによって、MSIシステムにおける迷光の存在を判定するステップと、迷光の存在が陽性に判定されたときに任意に撮像システムを調節するステップを含む。
MSIシステムのスペクトル範囲の前記少なくとも一部にわたるMSIシステムの第2スペクトル・スキャンの間、検出器において、標準化された出力パワーと較正された光標準のスペクトルを有する第1光源からの光を受け、選択された波長における検出器の出力を表す第2組のスペクトル・データを形成する。更に、この方法は、検出器においてそしてMSIシステムの第3スペクトル・スキャンの間、MSIシステムのスペクトル範囲の前記少なくとも一部にわたって、第1光源からの光を受け、選択された波長における検出器の出力を表す第2組のスペクトル・データを形成する。
あるいは、またはこれに加えて、この方法は、標準化された単位に関して、MSIシステムの動作特性を判定するステップも含む(involve)。このような判定は、1つ以上の波
長または狭い帯域幅において上記画像の強度分散に対する、MSIシステムによって取得された画像のモード強度を表す曲線の勾配を判定するステップ、MSIシステムによるデータ取得に関連付けられた雑音指数を計算するステップ、および既知のスペクトル・マーカの放出波長に対応する波長を中心とする実質的に等しい幅の多数のスペクトル帯域幅を含むスペクトルを有する入射光の使用によって、MSIの波長依存応答を判定するステップの内1つ以上を含むことができる。既知のスペクトル・マーカは、任意に、選択された検体および量子ドットの内少なくとも1つを含む。
更に、本発明の実施形態は、多重スペクトル撮像(MSI)システムの性能を較正および判定するシステムも提供する。一実施態様では、このようなシステムは、(i)実質的に固定動作特性で動作するように構成され、較正された光標準のスペクトルに対応する透過スペクトルを有する光学フィルタを含む少なくとも1つの光源と、(ii)空間周期的な反射の分布によって特徴付けられる幾何標準を含む。光源の動作特性は、少なくとも温度と電気動作特性を含み、この光源は、それぞれの対応する中心波長を中心とする多数のスペクトル帯域を含むスペクトルを有する光出力を生成するように構成される(adapted)
。加えて、MSIシステムは、(a)使用された光源またはアクティブな光源から光出力を受け、(b)該受けた光出力からの光を幾何標準に伝達し、(c)幾何標準と相互作用
した光をMSIシステムに再送出するように構成された光学システムも含む。この光学システムは、任意に、幾何標準から反射した光を再送出するように構成される。任意に、光源から幾何標準に伝達された光パワーは、透過スペクトルの変動とは独立して可変にすることもできる。更に、一実施形態では、光源は、第1光に関連付けられたスペクトル帯域および第2光に関連付けられたスペクトル帯域が実質的に重複するように、幾何標準を透過する第1光と、この幾何標準から反射する第2光を、この幾何標準に伝達するように構成される。
一実施形態では、較正システムは、 多数のスペクトル帯域から選択された所与のスペ
クトル帯域において、他のスペクトル帯域のスペクトル内容に実質的に影響を及ぼすことなく、MSIシステムに送出される光パワーの調節を可能にするように構成される。更に、この較正システムは、多数のスペクトル帯域から選択された第1スペクトル帯域において、多数のスペクトル帯域から選択された第2スペクトル帯域における光パワーの測定とは実質的に独立して、光パワーの測定を可能にするように構成される。
加えて、本発明の実施形態は、物体面および視野(FOV)を有する多重スペクトル撮像(MSI)システムの性能の較正システムも提供する。このような較正システムは、多数の帯域の1つ以上における光の量が、残りの帯域の1つ以上に実質的に影響を及ぼすことなく、調節可能となるように、多数の帯域があるスペクトルを有する光出力を生成するように構成された(adapted)少なくとも1つの光源であって、多数の帯域の各々が対応す
る中心波長を中心として位置付けられる、光源を含む。更に、この較正システムは、物体面の照明のために多数の光路を定め、物体面からの光をMSIシステムに伝達するように構成された光学システムも含む。このような較正システムは、 多数のスペクトル帯域か
ら選択された第2スペクトル帯域における光パワーの判定とは実質的に独立して、多数のスペクトル帯域から選択された第1スペクトル帯域において光パワーの判定を可能にするように構成される。一実施形態では、このシステムの光学システムは、反射および透過双方において幾何標準と相互作用した光を収集するように構成される。
特定の実施形態では、較正システムは、更に、物体面に置かれると、FOVにわたるMSIシステムの光学性能の空間較正を可能にするために、空間帯域に依存して光を空間的に分けるように構成された基準サンプルを含む。更に、この較正システムは、 多数のス
ペクトル帯域の各々によって搬送される光の量を表す1組のデータを形成するようにプログラミングされたプロセッサと、このプロセッサに動作可能に接続されこのような1組のデータを格納するように構成された有形非一時的コンピュータ読み取り可能媒体を含む。
また、本発明の実施形態は、多重スペクトル(MS)画像のスペクトル分離のための計算アルゴリズムについて精度および正確度を判定する方法も提供する。この方法は、(i)検出器によって、多数のスペクトル帯域があるスペクトル出力を有する光源からの光によって均等に照明されたまたは実質的に均等に照明された基準サンプルの画像を取得するステップと、(ii)取得した画像の画素値の基準線強度オフセット、即ち、「バイアス」を補正し、補正MS画像を形成するステップと、(iii)バイアス補正取得画像に対応する平均強度プロファイルに基づいて、積分強度値を判定するステップと、
を含む。
一実施態様では、積分強度値を判定するステップは、平均強度プロファイルを形成するように、検出器の選択された画素にわたって、バイアス補正MS画像の強度のスペクトル・プロファイルを平均するステップを含む。あるいは、または加えて、光源からの光によって照明された基準サンプルの画像を取得するステップを含んでもよく、光源は、取得するステップは、較正された光標準のスペクトルに対応する透過スペクトルを有する光学フィルタを含む。あるいはまたは加えて、取得するステップは、(a)検出器によって、基準サンプルを透過した第1光と、基準サンプルから反射した第2光を受けるステップであって、第1および第2光の各々が対応する多帯域スペクトルを有する、ステップと、(b)第1ビーム光の第1スペクトル帯域における光の、検出器によって受けた光に対する寄与を判定するステップであって、このような判定が、第2光ビームの第2スペクトル帯域における光の対応する寄与とは独立して実行される、ステップを含んでもよい。
特定の実施態様では、本方法は、検出器によって取得した画像に対する、異なるスペクトル帯域からの光の相対的な寄与を変化させるステップを含み、このような変化させるプロセスは、検出器によって受けた光のスペクトル内容を実質的に変化させることなく実行される。加えて、この方法は、 較正された光源の出力の異なるスペクトル帯域からの光
の相対的な寄与を定めるステップと、多数のスペクトル帯域にそれぞれ対応する正規化された個々の基準スペクトルを定めるために、これら多数のスペクトル帯域に対応する平均強度プロファイルを個々に正規化するステップを含んでもよい。また、任意に、この方法は、計算スペクトル分離アルゴリズムの結果と、定められた光の相対的な寄与との間の差の判定のステップも含む。
あるいは、本発明の実施形態は、多重スペクトル撮像(MSI)システムの動作の波長依存性を判定する方法を提供する。この方法は、(i)MSIシステムの検出器によって、多数のスペクトル帯域がある出力スペクトルを有する光源からの光の第1波長または狭い帯域幅によって照明された物体の画像を表す第1画像データを取得するステップと、(ii)第1および第2光が、多数のスペクトル帯域の内異なる第1および第2スペクトル帯域に対応し、それぞれ、対応する第1および第2パワーを有するように、光源からの第2波長または狭い帯域幅によって照明された物体の画像を表す第2画像データを、検出器によって取得するステップと(iii)検出器に対する、異なる波長における正規化量子効率を判定するステップを含む。更に、この方法は、(iv)第3光が多数のスペクトル帯域の内第3スペクトル帯域に対応し、第3スペクトル帯域が第1スペクトル帯域とは異なるように、判定された正規化量子効率の使用によって、光源からの第3波長または狭い帯域幅によって照明された物体の画像を表す第3画像を収集するステップを含む。
また、本発明の実施形態は、多重スペクトル撮像(MSI)システムのスペクトル・カメラを較正する方法も含む。この方法は、最初に第1所定強度レベルおよび/またはパワーの光源で基板を照明するステップと、MSIシステムのセンサによって、基板の第1組のスペクトル画像データを収集するステップと、2回目に、第1所定強度レベルで光源によって基板を照明するステップと、MSIシステムのセンサによって、第1所定強度レベルで基板の第2組のスペクトル画像データを収集するステップと、第2組のスペクトル画像データから第1組のスペクトル画像データを減算または調節し、第1差画像データを生成するステップと、第2所定強度レベルで第3組のスペクトル撮像データを収集し、第2所定強度レベルで第4組のスペクトル撮像データを収集するステップと、第4組のスペクトル画像データから第3組のスペクトル画像データを減算し、第2差画像データを生成するステップと、第1差画像データのモードおよび平均の内少なくとも1つを計算するステップと、第1差画像データのモードおよび平均の内少なくとも1つに基づいて、第1差画像データの各波長において、第1差画像データの画素値の分散および標準偏差の内少なくとも1つを判定し、第1最終画像データ(resulting image data)を生成するステップと、第2差画像データのモードおよび平均の内少なくとも1つを計算するステップと、第2差画像データのモードおよび平均の内少なくとも1つに基づいて、第2差画像データの各波長において、第2差画像データの画素値の分散および標準偏差の内少なくとも1つを判定し、第2最終画像データを生成するステップと、第1最終画像データ、第2最終画像データ、第1差画像データのモードおよび平均の内少なくとも1つ、ならびに第2差画像データのモードおよび平均の内少なくとも1つに基づいて、波長毎に、変換値を生成するステップであって、この変換値が、グレー・レベル毎の各画素において記録された電子の近似数を表す、ステップを含む。上記変換値は、(1)第1差画像データのモードおよび平均の内少なくとも1つの関数として第1最終画像データに対応する1組のデータと、(2)第2差画像データのモードおよび平均の内少なくとも1つの関数として第2最終画像データに対応する1組のデータとの間における勾配または近似勾配を生成することによって、決定される。波長毎の変換値は、波長毎の他の変換値と比較され、これらの値の間の差が、MSIシステムを較正するために利用される。
また、本発明の実施形態は、多重スペクトル撮像システムのために補正画像を生成する方法も含む。多重スペクトル撮像システムのために補正画像を生成する方法は、このシステムの第1スペクトル・ソースの露出時間がゼロであるときにセンサによって第1スペクトル画像を取得し、複数の波長において第1スペクトル画像データを生成するステップと、第1スペクトル画像の複数の波長の各波長に対してモード画素強度値を判定するステップであって、第1スペクトル画像の複数の波長の各波長におけるモード画素強度値が、第1スペクトル画像の複数の波長の各波長における画素強度オフセット値に対応する、ステップと、第1スペクトル・ソースによって第2スペクトル画像を取得するステップであって、第1スペクトル・ソースの露出時間がゼロよりも長く、複数の波長の第2スペクトル画像データを生成するステップと、第1スペクトル画像の複数の波長の各波長における画素強度オフセット値を、第2スペクトル画像データの対応する各波長における複数の画素の各々の値から減算するステップを含む。
本発明の実施形態例では、平均値がモード値と、または他の適した値と置換されてもよい。
また、本発明の実施形態は、多重スペクトル撮像(MSI)システムのスペクトル・カメラを較正する方法も含むことができる。本方法は、最初に第1所定強度レベルの光源で基板を照明するステップと、MSIシステムのセンサおよびスペクトル・カメラの内少なくとも1つによって、基板の第1組のスペクトル画像データを収集するステップと、2回目に第1所定強度レベルで光源によって基板を照明するステップと、MSIシステムのセンサおよびスペクトル・カメラの内少なくとも1つによって、基板の第2組のスペクトル画像データを収集するステップと、第1組のスペクトル画像データを第2組のスペクトル画像データから減算し、第1差画像データを生成するステップと、MSIシステムのセンサおよびスペクトル・カメラの内少なくとも1つによって、第2所定強度値で第3組のスペクトル撮像データを収集するステップと、第2所定強度レベルで第4組のスペクトル撮像データを収集するステップと、第3組のスペクトル撮像データを第4組のスペクトル撮像データから減算し、第2差画像データを生成するステップと、第1差画像データのモードおよび平均の内少なくとも1つを計算するステップと、第1差画像データのモードおよび平均の内少なくとも1つに基づいて、第1差画像データのあらゆる波長において第1差画像データの画素値の分散および標準偏差の内少なくとも1つを判定し、第1最終画像データを生成するステップと、第2差画像データのモードおよび平均の内少なくとも1つを計算するステップと、第2差画像データのモードおよび平均の内少なくとも1つに基づいて、第2差画像データのあらゆる波長において第2差画像データの画素値の分散および標準偏差の内少なくとも1つを判定し、第2最終画像データを生成するステップと、第1最終画像データ、第2最終画像データ、第1差画像データのモードおよび平均の内少なくとも1つ、ならびに第2差画像データのモードおよび平均の内少なくとも1つに基づいて、第2差画像データの波長毎に、変換値を生成するステップであって、この変換値が、第1、第2、第3、および第4スペクトル画像データの内少なくとも1つにおけるグレー・レベル毎に各画素において記録された電子の近似数を表す、ステップを含む。
本発明の実施形態例では、光源は、他のスペクトル・ソースと置換されてもよく、光またはスペクトル・ソースは、 例えば、2組のスペクトル画像データが同じ所定の強度レ
ベルまたはパワーでキャプチャされるときに、基板が一度に照明されるように、したがっ
て基板を2回照明する必要がないように、作動されたまま、即ち、オンに留まることもできる。
また、本発明の実施形態は、コンピュータ・プログラム製品も含み、非一時的な有形コンピュータ読み取り可能媒体および任意にプログラム可能な媒体上にロードされると、以上で説明した方法および以上で説明したシステムの動作を含む、開示した発明のステップを実行するように、コンピュータ・プロセッサをプログラミングするように構成される。
本発明は、詳細な説明を図面と共に参照することによって、一層深く理解されよう。図面は、全体を通して同じ拡縮率で描かれているのではない。
図1Aは、典型的な多重スペクトル撮像(MSI)システムによって取得された多重スペクトル画像の一例である。 図1Bは、典型的なMSIシステムの模式図である。 図1Cは、典型的なMSIシステムの模式図である。 図2-1は、線形分離(unmixing) の原理を示すブロック模式図である。 図2-2は、線形分離(unmixing) の原理を示すブロック模式図である。 図2-3は、線形分離(unmixing) の原理を示すブロック模式図である。 図3は、定量的多重化のためのマーカとして量子ドットおよび化学蛍光体を使用するときの利点および欠点の比較を示すグラフによる概略図である。 図4Aは、較正されたエミッタと較正光フィルタを含む第1較正光源を内蔵するMSIシステムの照明チャネルの一実施形態の模式図である。 図4Bは、図4Aの第1較正光源の強度のスペクトル分布を表すグラフである。 図5Aは、本発明による撮像システムの一実施形態例のブロック図である。 図5Bは、本発明にしたがって、撮像システム内の場所に伝えられた光の強度を測定する方法の一実施形態を示す。 図5Cは、スペクトル画像オフセット補正データおよび/または画像を決定する方法を表すフロー・チャートである。 図5Dは、本発明の一実施形態にしたがって、スペクトル画像を強度オフセットについて補正する方法を示すフロー・チャートである。 図5Eは、任意のグレー・スケール単位から標準化強度単位(e-)へのスペクトル画像の標準化変換(平均/分散計算)を決定する方法600を示すフロー・チャートである。 図5Fは、標準化強度単位に関して、スペクトル・データ取得に付随する電子ノイズを判定する方法700を示すフロー・チャートである。 図5Gは、スペクトル撮像センサのダイナミック・レンジを評価する方法800を示すフロー・チャートである。 図6Aは、照明の線形増加に対するスペクトル撮像装置の線形応答を判定する方法1200を示すフロー・チャートである。 図6Bは、4つの光レベルで取得された較正照明源の空間的に平均された撮像スペクトル・データ(spectral data imaged)を表すプロットである。 図6Cは、図6の方法の実施形態にしたがって、データ集合から1つのスペクトル波長において決定されたMSIシステムの利得および線形特性を表すグラフである。 図7Aは、図4Aの光源の較正されたエミッタによって生成された光の強度のスペクトル分布であり、スペクトルにおけるHgエレメントのピーク位置を示す。 図7Bは、異なるスペクトル分解能で取得された図7Aの正規化スペクトル分布のトレースを示すグラフである。 図7Cは、物体に関連付けられた1組の既知のスペクトル特徴に対して、画像または画像データのスペクトル特徴を特徴付ける、本発明の一実施形態による方法である。 図7Dは、本発明の一実施形態にしたがって、スペクトル分解能を変化させる方法1400である。 図8Aは、本発明の一実施形態にしたがって、スペクトル-空間座標精度を評価するために利用される方法1500である。 図8Bは、MSIシステムによって得られる撮像の空間精度および正確度を判定するために、本発明の一実施形態と共に使用されるサンプル精密標準品(sample precision standard)の強度プロファイルおよび画像である。 図8Cは、それぞれ、MSIシステムによって得られる撮像の空間精度および正確度を判定するために、本発明の一実施形態と共に使用されるサンプル精密標準品(の強度プロファイルおよび画像である。 図9Aは、本発明にしたがって、スペクトル検出の量子効率を判定する方法例である。 図10は、較正済み光源から出力された光の多数のスペクトル・ピークからの相対的寄与のスペクトル分離のプロセスの検証方法を表すフロー・チャートである。 図11は、図10の方法の実施形態を示すスペクトル・グラフである。 図12は、図10の方法の実施形態を示すスペクトル・グラフである。 図13は、図4Bのスペクトルの個々のスペクトル帯域の正規化基準スペクトルを示す。 図14は、図13の正規化基準スペクトルを使用して実行された線形分離検査の結果を示す棒グラフ(bar-chard)である。 図15Aは、第1および第2較正光源を内蔵した2照明チャネルMSIシステムの一実施形態の模式図である。 図15Bは、図15Aの第1および第2光源の正規化スペクトルを比較して示すスペクトル・グラフである。 図15Cは、図15Aの第1および第2光源の正規化スペクトルを比較して示すスペクトル・グラフである。 図16Aは、本発明の一実施形態にしたがって、多数の較正済み光源から出力された光の多数のスペクトル・ピークからの相対的な寄与のスペクトル分離のプロセスの検証方法を示すスペクトル・グラフである。 図16Bは、本発明の一実施形態にしたがって、多数の較正済み光源から出力された光の多数のスペクトル・ピークからの相対的な寄与のスペクトル分離のプロセスの検証方法を示すスペクトル・グラフである。 図17は、図15B、図15Cの第1および第2光源のスペクトルの個々のスペクトル帯域について、正規化基準スペクトルを示す。 図18は、2つの較正/基準光標準を採用した本発明の光学取得システムの検出器によって登録されたスペクトル・トレースを表すプロットである。 図19は、図18の集計スペクトル・トレースの下のエリアの使用を示す。 図20Aは、予め較正済みであることを想定した測定システムのシステム・レベル検査の図を示す。 図20BCは、予め較正済みであることを想定した測定システムのシステム・レベル検査の図を示す。 図20Cは、予め較正済みであることを想定した測定システムのシステム・レベル検査の図を示す。 図21A-1は、9個のスペクトル特徴のスペクトル分離を示すプロットおよび関連データを示す(provide)。 図21A-2は、9個のスペクトル特徴のスペクトル分離を示すプロットおよび関連データを示す。 図21A-3は、9個のスペクトル特徴のスペクトル分離を示すプロットおよび関連データを示す。 図21B-1は、9個のスペクトル特徴のスペクトル分離を示すプロットおよび関連データを示す。 図21B-2は、9個のスペクトル特徴のスペクトル分離を示すプロットおよび関連データを示す。 図21B-3は、9個のスペクトル特徴のスペクトル分離を示すプロットおよび関連データを示す。 図22は、本発明の関連実施形態の動作結果を示す。 図23は、説明する実施形態を実現することができる計算システム例のブロック図である。
本発明の実施形態は、多重スペクトル撮像(MSI)システム(例えば、撮像分光計、蛍光顕微鏡システム、病理学撮像システム)のような、撮像システムと共に採用することができる。MSIシステムは、一般に、組織サンプルを含む、病理学試料の分析を容易にする。MSIシステムは、通例、例えば、コンピュータ化された顕微鏡をベースとした撮像システムを含む。この撮像システムは、分光計、分光器、分光写真機(spectrograph)、スペクトル・カメラ、電荷結合デバイス(CCD)、光センサ、光検出器、および/または撮像分光器等が装備される。MSIシステムおよび/またはデバイスは、画素レベルで画像のスペクトル分布を取得することができ、二次元(2D)空間視野を表す多重スペクトル・データを、光検出器によって記録された画像の各画素における波長の関数として光強度を表すデータ集合と共に取得する能力を提供する。
種々の多重スペクトル撮像システムがあるが、全てのMSIシステムに共通である動作の一面は、例えば、図1Aに模式的に示されるような、多重スペクトル画像を形成できることである。多重スペクトル画像とは、電磁スペクトルにわたって特定の波長または特定のスペクトル帯域幅で取得された画像データを含む画像である。これらの波長は、光フィルタによって、あるいは、例えば、赤外線(IR)のような、可視光範囲(range of visible light range)を超えた波長における電磁放射光線を含む、所定のスペクトル成分を選択することができる他の計器の使用によって、選別する(single out)ことができる。
試料の画像の取得を容易にするMSIシステムの2つの一般的なタイプを、図1Bおよび図1Cに模式的および全体的に示す。図1Bは、撮像システム104、例えば、光学撮像システムを含むシステム100を示し、撮像システムの一部108は、所定数Nの離散光帯域を定めるように調整可能なスペクトル選択システムを内蔵する。撮像システム104は、広帯域光源または他の放射光線源のような、スペクトル・ソース112からの照明を透過、吸収、または反射する物体、例えば、組織サンプル110を、検出器116(例えば、光検出器、光センサ、画像センサ、CCD、光検出器(photodetector)、光センサ(photosensor)、スペクトル・カメラ等)上で撮像するように構成される(adapted to)。一実施形態例では、検出器116は撮像システム104に含まれる。図示のように、図1Bにおいて、撮像システム104は、一実施形態では、例えば、撮像システム104の光出力122と全体的に空間的に整列された1本の光軸120を有する顕微鏡のような、拡大システムを含んでもよい。撮像システム104は、異なる離散スペクトル帯域において画像が取得されることを確保するため等で、スペクトル選択システム108が調節または調整される(例えば、コンピュータ・プロセッサ126によって)に連れて、物体110の画像、例えば、物体110の一連の画像を形成する。加えて、システム100は、一連の取得された画像から組織の少なくとも1つの視覚的に知覚できる画像が現れるディスプレイ122も内蔵する。あるいは、ディスプレイ122はタッチ・スクリーン・ディスプレイである。スペクトル選択システム108は、回折格子のような光学的散乱エレメント、薄膜干渉フィルタのような光学フィルタの集合体、あるいはユーザ入力またはプロセッサのコマンド126(予めプログラミングされたプロセッサでもよい)に応答して、スペクトル・ソース112から物体110を通過して検出器116に向けて伝えられたスペクトルからの特定の通過帯域を選択するように構成された任意の他のシステムを含むことができる。
様々なスペクトル帯域において多数のスペクトル離散光学画像を同時に撮影するように構成されたシステムの代替実施態様150を図1Cに示す。ここでは、スペクトル選択システム154は、N個の離散スペクトル帯域に対応する様々な光出力を定める。システム154は、撮像システム158(例えば、光学システム)から透過光出力(transmitted light output)156を取り入れ(intake)、識別されたスペクトル帯域に対応する光路に沿って、この識別されたスペクトル帯域内にあるサンプル110を検出システム166上に撮像するように、この光出力の少なくとも一部を、N個の空間的に異なる光路162-1~162-Nに沿って空間的に方向転換する(redirect)。尚、他の代替実施形態(図示せず)が実施形態100および150の特徴を組み合わせてもよいことは認められよう。このようなスペクトル撮像デバイスの蛍光顕微鏡のための使用は、多重化核酸およびタンパク質マーカのような蛍光体を使用する種々のサンプル(例えば、生物学的組織)の価値が高い診断(high-value diagnostics)を可能にする。
図2に模式的に示すように、このような計器(instrumentation)によって生成されるスペクトル・データは、取得された全体的な放出スペクトルに対する、サンプルと共に使用された異なる検体または蛍光体214の相対的な寄与を表す、異なる取得部分または「検体チャネル」(analyte channel)210に分解することができる。図2は、線形分離(と
きとして「スペクトル・ディコンボリューション」"spectral deconvolution"または「スペクトル分解」(spectral decomposition"とも呼ばれる)の原理に対する例示を示す。こ
の原理によれば、図1Aのそれのような、元のスペクトル・データ・キューブのスペクトル・データが、例えば、特定の検体の既知の基準スペクトルに計算的に比較され、次いで、既知のスペクトル成分を、各画素における各検体の強度寄与(例えば、正味の強度)を表す「チャネル」に分けるために、線形分離アルゴリズムが使用される。このような検体特定情報は、例えば、相対的検体濃度を質問するために有用であり、特定の疾病またはそのステータスの、外科医による診断および/または予知のために、新たな深度の情報を提供することができる。質問の有用な結果は、背景および/またはノイズ蛍光(例えば、蛍光代謝副生物から)および後方散乱光のような背景光によって生じたものから、分子および/または対象のマーカを表すスペクトル・データを分離することから得られる。したがって、高分解能のスペクトル画像データを取得し、異なる光源によって生じたこのようなデータに対する混合スペクトル寄与を分離する、即ち、ディコンボリュートする能力も、恒常的自己蛍光(constitutive autofluorescence)の寄与を除去するために重要である。スペクトル撮像によってもたらされる信号対ノイズ比の向上によって、空間における光源または対象スペクトルの位置確認(信号位置確認と呼ぶ)の高精度な判定を、一層良く行うことができる(better enable)。この判定は、手元にある組織の詳細分析(anatomy)の判定に関係する。
量子ドットスペクトル・マーカの使用は、多重検定技術に多数の利点をもたらす(図3)。量子ドットの放出スペクトルは、実質的に対称的な強度プロファイルを有する狭いスペクトル分布で正しく近似される。このプロパティは、放出プローブまたはマーカとして使用される他の光源からの量子ドットのスペクトル分布の処理を容易にする。可視スペクトルにわたる異なるスペクトル範囲において放出する多数の量子ドット種(quantum dot species)の選択は、多重化組織診断に使用することができる。所与の量子ドット種の放出
スペクトルは、通例、量子ドットの物理サイズによって定められる。放出スペクトルは量子ドットの物理サイズによって決定されるので、放出スペクトルは、例えば、量子ドットが関連付けられる組織における化学的環境または溶媒環境における変化による波長ずれが起こりにくい。量子ドットの励起スペクトルは、むしろ、多数の量子ドット放出種にとっては広域であり、UV範囲にも十分に達する。その結果、多数の量子ドット種が、重複する励起スペクトルを有することになる。例えば、狭帯域光(同じ量子ドット種の放出スペクトルからは十分に分離可能な実質的に1つの波長)との重複励起スペクトルの領域内における放射光線によって、結果的に多数の量子ドット種の励起の可能性が生ずることは、量子ドット励起手順の簡単な制御を可能にするので、有利である。具体的には、これは、実質的に同じ量の量子光が全てサンプルの検体に伝達されることを保証することを可能にする。量子ドットは、実質的に光安定種(photostable species)としても知られる。
前述の量子ドットの励起特性は、化学蛍光体のそれとは異なる。量子ドットとは対照的に、異なる波長において放出する異なる化学蛍光体は、通例、可視スペクトルの異なる波長における励起を必要とする。この理由のために、化学蛍光体をマーカとして生物学的組織と共に使用すると、励起プロセスが複雑になる可能性がある。具体的には、組織と関連付けられた多数の化学蛍光体をマーカとして使用すると、多重波長励起方式が必要となる。加えて、異なる多数の化学蛍光体の全体的な多重化放出スペクトルに対する寄与が、組織と共にスペクトル・マーカとして使用される化学蛍光体の相対濃度を精度高く反映することを保証するのは、容易でなくなる。
量子ドットおよび化学蛍光体/染料を伴うスペクトル検出の具体的な特性の概略的な比較を図3に示す。広い放出帯域、狭い吸収スペクトル、および光脱色の感受性(susceptibility)というような化学染料のスペクトル・プロパティは、量子ドットのそれらとは徹底的に異なる。量子ドットは、狭い放出帯域、広い吸収スペクトル、および光脱色に対する強い耐性を有する。その結果、量子ドット量子ドットに基づく撮像のために設計された画像取得計器の較正方法は、同じ機器を使用する、化学染料蛍光標準に基づく画像取得には十分に適応され難い。実際には、測定の精度の確認を行うのが困難である。何故なら、このような精度は、1)既知の濃度であり、2)光安定であり、および/または3)実験サンプルと一貫するプロパティを有する検体とのサンプルの使用に依存するからである。
画像取得機器の較正のための市販の蛍光標準は、通例、フロー・サイトメトリーと共に使用するように設計されたビーズと関連付けられ、および/またはこのビーズに吸収される。例えば、画像取得システムと共に使用される光学フィルタのシステムに依存して、このような化学マーカの使用によって得られた放出スペクトルのスペクトル分離分析の結果は、このシステムの標準較正仕様とは全く調和しないことが多くなる。ビーズの使用は、場合によっては、フィールド当たり大きなサンプル・サイズを得ることが複雑になり得る(一方、大きなサンプル・サイズが得られれば、測定値における信号対ノイズ比SNRが高くなる)。大きなビーズは、その湾曲した外形のために、レンズのような効果を生じること、および/または異なる物体面からの同じ画像に寄与することがあり得る。
したがって、多検体分光分析において標準を正確にそして信頼性高く使用するために、更に組織試料から一貫性があり高精度なデータ取得を確保するため、そして検体の放出データ全体に対する相対的寄与の高精度な評価を可能にするために、多検体MSIシステムのシステム・レベルにおけるこのような較正が求められるが、現在では提供されていない。この要望が満たされないのは、部分的に、適した較正標準がないためである。加えて、このようなMSIシステムによって取得された画像データを処理するために使用される計算スペクトル・ディコンボリューションまたは分離アルゴリズムのパラメータも適正に設定され(configure)、実際のスペクトル分布を反映する結果を生成することが確認されなければならない。このため、測定システムおよび染色検定(1つまたは複数)双方の開発のために、例えば、ダイナミック・レンジを指定することが重要である。
また、これは、スペクトル分離画像-データ処理の結果の信頼性高い検証方法の開発も必要とする。本願が取り組んでいる未解決の問題は、したがって、少なくとも四重である。(i)このような撮像システムの性能(performance)の特徴付けおよび/または較正システム(1つまたは複数)ならびに方法(1つまたは複数)であって、このようなシステムを多数の異なる蛍光試料と共に使用することを可能にするものを開発する(即ち、撮像システムの性能を、指定された試料の使用に連携されることから切断するため)。(ii)MSIシステム全体のスペクトル性能の検査(統合システム・レベル検査)を提供する。(iii)標準化された単位(unit)に関してMSIシステムの動作パラメータの振る舞い(performance)を評価し表現する。(iv)仕様にしたがって性能を確保するために満たさなければならない、容認可能な染色検出範囲を決定する。
統合システム・レベル検査は、例えば、1)アルゴリズム、例えば、画像分析アルゴリズムおよび/または多重化量子ドット・レポーターを伴うシステムの分離性能の有効性を判断するときに重要であり、ならびに2)可視スペクトルにわたりそしてIR範囲にも入る複数の(例えば、6、7、8以上)検体に対する量子ドット放出波長を反映するように特別に製作することができる。以下で提案するシステムおよび方法は,任意の単位として相対的強度を表現する従来の検査方法とは異なり、標準化された強度単位(SIU)に関する検体チャネルおよび生データ強度情報の解釈をし易くし、したがって異なる計器からの強度データの有意な比較を可能にする。標準化された単位に関して信号およびノイズ双方(または他の動作特性)を表現することが可能であると、標準化された条件の下で異なるMSIシステムの使用によって取得される撮像データのSNRの有意な指定および比較が可能になり、異なる計器の動作性能の比較が可能になる。この前進は、例えば、計器の性能の定められた尺度においてダイナミック・レンジの制限を定め、計器のダイナミック・レンジを蛍光シグナリング技術のダイナミック・レンジから隔離する能力を提供する。
本発明による画像取得システム400の一実施形態例のコンポーネントを図4Aに示す。画像取得システム例400は、スペクトル・ソース410、例えば、光源を含む。本発明の一実施形態例では、スペクトル・ソース410は、スペクトル・エミッタを含むように構成される。スペクトル・エミッタは、明確なスペクトル・プロパティを有する(例えば、Hg-ランプ、キセノンまたは他のアーク・ランプ、レーザ・ライン、発光放射性標準品(luminescent radioactive standards)、化学発光標準品、燐光体、および/またはLED)。スペクトル・ソース410のパワーおよび温度は、閉ループ電子回路および/またはマルチ・バンドパス・フィルタ410aによって、安定化され、監視されるとよい。マルチ・バンドパス・フィルタ410aは、n個の既定の通過帯域を有し、スペクトル・ソース410の前に位置付けられる。本発明の実施形態例では、スペクトル取得システム422、例えば、顕微鏡ベースの光取得デバイスは、スペクトル・カメラ443を含むか、またはこれに結合される。スペクトル取得デバイス442は、走査プラットフォーム445を含む。走査プラットフォーム445は、軸、例えば、xおよび/またはy軸に沿って動き、物体の画像をキャプチャする(capture)ことができるように、スライドおよび/または生物学的試料のような物体(プラットフォーム上に置かれるとよい)を走査するために利用される。
図4Aに示す本発明の一実施形態によれば、画像取得システム400は、第1スペクトル・ソース410を含む。第1スペクトル・ソース410は、スペクトル・ソース410によって定められたスペクトル特性を有するスペクトル、例えば、励起光を供給するよう
に構成される。本発明の実施形態例では、スペクトル・ソース410は、蛍光撮像用途に使用される広帯域光源(例えば、350-nmおよび700-nmの間の放出スペクトルを有する)である。本発明の一実施形態例では、スペクトル・ソース410は、自己較正光源であり、光源のパワーおよび温度は、閉ループ電子フィードバック回路によって、安定化され監視される。
また、画像取得システム400は、スペクトル選択システム410aも含む(例えば、n個の既定の通過帯域を有し、スペクトル・ソース410の前に位置付けられたマルチ・バンドパス・フィルタ410a)。一実施形態では、スペクトル選択システム410は、その隣接する通過帯域の内任意の2つの間における光の透過が実質的に遮断される(例えば、フィルタの最も高い透過レベルと比較して少なくとも3桁低減させられる)ことを保証するように構成される。その結果、ソース410によって生成された光414は、色中立メカニズム(chromatically neutral mechanism)416、例えば、スペクトル・ソース
410の絞り416を通過して、ビームスプリッタ418(例えば、50/50ビームスプリッタ等)に入射することができ、図4Bに示すように、所定の較正スペクトル422を有する。例えば、スペクトル選択システム410aを利用することによって、サンプル430上に入射するスペクトル414の強度および波長のような、スペクトル(例えば、光)414のスペクトル・プロパティおよびパワーは、サンプル/物体430が放射光線または照明の経路に置かれる前に、判定することができる。本発明の実施形態例では、絞り416は、瞳面に配置され、種々の度合いで開閉され、スペクトル・ソース410からのスペクトル414出力を変化させる。
光414の一部は、光学システム436(少なくとも1枚のレンズを有するレンズ・システム等)を通過し、入射ビーム426を形成する。光学システム436を通過した後、入射ビーム426は、次いで、物体430、例えば、顕微鏡スライドのような部分的に反射性で部分的に透過性の(即ち、半透過性)基板の第1側面447に達する。
物体430から反射された光440は、中立密度フィルタのようなフィルタ444を通過した後、MSIシステムのコンポーネント(例えば、スペクトル・カメラ443)によって受光および検出される。本発明の一実施形態例では、このフィルタはND3フィルタであり、部品番号XB27/25Rで識別されVermontのOmega Optical社によって製造される。フィルタ444は、被測定光の強度を減衰させ、蛍光サンプルと一貫する強度レベルに比肩するレベルにそれを低下させるために利用される。関連する実施形態では、画像取得システム400は物体430の反対側に、第2スペクトル・ソース448、例えば、透過光源を有してもよい。この透過光源は、それ自体のスペクトルを有するビーム446を生成し、ビーム446は、第2スペクトル・ソース448からのスペクトルが物体/サンプル430を通過してスペクトル取得デバイス442に向かうように、物体/サンプル430の第2側面449上に入射する。第2スペクトル・ソース448は、スペクトル・ソース410の代用でもよく、または追加のスペクトル・ソースとして設けられてもよい。
図5Aに示すのは、本発明による撮像システム500の他の実施形態例のブロック図である。本発明の一実施形態例では、撮像システム500は、光を受けるセンサ504を有するスペクトル・カメラのような、画像取得装置502を含む、スペクトル撮像システムである。本発明の一実施形態例では、画像取得装置502はスキャナ506に含まれる。システム500は、画像取得装置502に結合された画像形成装置508を含む。システム500の実施形態例では、画像形成装置508は、例えば、(1)少なくとも1つのレンズ510を含み、(2)光学縦列(optical train)であり、および/または(3)顕微
鏡である。物***置決め装置512が、画像形成装置508に結合される。本発明の実施形態例では、物***置決め装置512は、単一画像または走査画像を得るために、物体、例えば、スライドを位置決めするために利用される。本発明の一実施形態例では、物***
置決め装置512は、例えば、顕微鏡の一部である顕微鏡ステージである。本発明の実施形態例では、物***置決め装置510は、x-方向、y-方向、z-方向、回転方向、および角方向の内少なくとも1つに移動することができる。
システム500および/またはこのシステムのコンポーネントの各々(例えば、画像取得装置502、画像形成装置508、および物***置決め装置512)は、1つのCPU514によって制御することができる。尚、CPU516、518、520が、代わりにまたは加えて、それぞれ、画像取得装置502、画像形成装置508、および/または物***置決め装置512のコンポーネントの内任意の1つに含まれてもまたは結合されてもよいことは、当業者には理解されてしかるべきである。
第1スペクトル・ソース522は、システム500に、光のようなスペクトルを供給し、本発明の一実施形態例では、スペクトルを物***置決め装置512の平面524に伝達する。本発明の一実施形態例では、スペクトル・ソース522は、制御ユニット526を含むことができる。制御ユニット526は、スペクトル・ソース522の所望のスペクトル出力波長または波長範囲を制御し、選択し、または入射させるために利用される。本発明の一実施形態例では、第1スペクトル・ソース522は、部品番号P010-00201Rで識別され、CA(都市および州)、OntarioのLumen Dynamics社によって製造される自己較正光源のような、自己較正光源(即ち、スペクトル出力を監視し調整するのを助けるそれ自体のセンサを有する光源)である。本発明の一実施形態例では、スペクトル・ソース520は画像取得装置502に結合される。本発明の一実施形態例では、スペクトル選択システム528のようなスペクトル選択システムは、スペクトル・ソース522の経路内に配置されるとよい。また、システム500は、第2スペクトル・ソース530、例えば、透過光源も含むことができる。第2スペクトル・ソース530は、物***置決め装置512上に置かれた物体の側面を、第1スペクトル・ソース522からの入射スペクトルを受光するこの物体の側とは逆側において照明する。本発明の一実施形態例では、スペクトル選択システム528のようなスペクトル選択システムが、スペクトル・ソース530の経路内におかれてもよい。本発明の一実施形態例では、第2スペクトル・ソース530が制御ユニット532を含んでもよい。制御ユニット532は、スペクトル・ソース530の所望のスペクトル出力波長または波長範囲を制御する、選択する、または入射させるために利用される。本発明の一実施形態では、スペクトル制御ユニット526、532は、スペクトル・ソース410の出力を規制する(regulate)任意のデバイスまたは方法であり、フィルタを含んでもよい。本発明の一実施形態例では、スペクトル選択システム528はスペクトル・ソース522、530の外部にあってもよい。本発明の一実施形態例では、スペクトル制御ユニット526、532がメータまたはセンサを含む。本発明の一実施形態例では、スペクトル制御ユニット526、532は、スペクトル・ソース522、530からのスペクトルが撮像システム500またはそのコンポーネント(画像形成装置508(例えば、光学列))等)を横断する(traverse)前に、その出力を規制する。センサまたはメータ534は、システム500における任意の地点において、第1および/または第2スペクトル・ソース526、530によってシステム500に供給されるスペクトルを検知、測定、および/または特徴化するために利用される。本発明の一実施形態例では、このセンサまたはメータは、任意のコンピュータ、またはシステム500の内部または外部にある、CPU、例えば、CPU514、516、518、および520に結合されてもよい。
入力デバイス536がCPU512に結合される。本発明の一実施形態例では、入力デバイス536は、キーボード、マウス、タッチ・パッド、または他の入力デバイスである。本発明の実施形態例では、CPU514、516、518、520の内任意のものまたは全てがネットワーク538に接続されてもよい。1つ以上のサーバ540、542および/または記憶デバイス544、546が、ネットワーク538および/またはCPU514、516、518、520の内任意の1つ以上に接続されてもよい。システム500のデバイス、装置、および/またはコンポーネントは、システム500の一部として説明したが、システム500のこれらの装置、デバイス、および/またはコンポーネントは単独で存在すること、あるいはワイヤラインまたはワイヤレス接続によってシステム500に結合されることも可能である。
これより図5Aおよび図5Bを参照して、本発明によるシステム、例えば、撮像システム500および/またはシステム500のコンポーネントの較正方法についてこれより説明する。システム500の較正は、例えば、システム500における任意の地点において、スペクトル強度の量を測定すること、例えば、物体面524においてまたはその付近において照明を測定することを伴うのでもよい。スペクトル・ソース522、530によって出力されたスペクトルの強度は、例えば、物体面524において入射するスペクトルの量と一致しないこともあり得る。物体面523に入射するスペクトルの量を確認することによって、同じ量のスペクトル(例えば、光)を物体面524(例えば、スライド上の組織サンプルの部位)に繰り返し伝達することができる。このように、物体面523に達する照明の量を識別することによって、システム500の操作者は物***置決め装置512においてまたはその付近において配置される、生物学的試料のような1つ以上の物体に伝達されるスペクトル、例えば、光の量を標準化することができる。
図5Bは、システム500内部の複数の場所においてスペクトルの強度を識別する方法の一実施形態550を示す。この方法は、所望のスペクトル出力毎に、例えば、スペクトル・ソース522による励起光波長出力範囲について実行することができる。方法550は、ステップ552から開始し、ここでスペクトルがスペクトル・ソース522から出力されるように、スペクトル・ソース522をオンにする。ステップ554において、スペクトル出力が特定の波長または帯域と相互に関係するように、スペクトル出力をフィルタリングおよび/または調節することができ(例えば、スペクトル選択システム528または制御ユニット526によって)、フィルタリングおよび/または調節したスペクトル出力を生成する。
ステップ554からステップ560までは、スペクトル・ソース522によって生成される第2のおよび/または異なる波長または帯域のスペクトルの特性を測定するために、繰り返すことができる。本発明の他の実施形態では、ステップ554からステップ560までは、第2スペクトル・ソース530から生成される第2波長または帯域のスペクトルの特性を測定するために繰り返すこともできる。第2スペクトル・ソースのスペクトル波長または帯域は、第1スペクトル・ソース522について調節またはフィルタリングされたのと同じまたは異なる波長あるいは帯域に調節またはフィルタリングすることもできる。方法550のステップは、種々の波長のスペクトル出力について、連続的に繰り返すことができる。このように、例えば、システム500内のある場所における1つ以上の波長に帰するスペクトルの強度が識別され、システム500を既知のまたは期待されるレベルの性能に標準化または較正するために使用することができる。
本発明の一実施形態例では、スペクトル選択システム528は、スペクトル・ソース522内部に置かれるか、またはスペクトル・ソース522の経路内に置かれ、スペクトル・ソースおよび/またはスペクトル選択システム528の出力においてあるいはその付近において、スペクトル量が測定され、スペクトルが、例えば、画像形成装置508に達する前に、スペクトル・ソースまたはシステム500の他のコンポーネントの性能を判定する。このように、例えば、スペクトルの強度またはパワーが、物体面524において予期されるものではない場合、システム500内の特定の位置において伝達されたスペクトルが予期されない強度になった原因になっているかもしれないコンポーネントを、一層容易に特定することができる(たとえば、画像形成装置のレンズが、その期待される性能標準を満たしていないこともあり得る。
また、図5Aに示すシステム500の較正は、ダイナミック・レンジ、即ち、画像取得装置502、例えば、スペクトル・カメラ、スキャナ、またはカメラのセンサのようなそのコンポーネントの検知能力の近似最小値および近似最大値を判定することを伴ってもよい。本発明の一実施形態例では、ダイナミック・レンジの最小値は、識別された全ノイズよりも上で測定可能な、カメラによって検知される最少スペクトル信号である。
ダイナミック・レンジは、最初に、第1または第2スペクトル・ソースからの入力がない状態で、強度オフセット補正画像および/または画素オフセット補正画像データ(ときとしてバイアス画像および/またはバイアス画像データと呼ばれる)を確認することによって判定され、較正の後に撮られるあらゆる画像を較正するために使用される。図5Cは、カメラの電子回路による強度値のオフセットを補正するために、全ての画像データに適用されるオフセット値を決定する方法560を表すフロー・チャートである。ステップ562において、光が画像センサに伝わるのを阻止するように、本システムを構成する。ステップ563において、オフセット値を決定する間に迷光が蓄積されないことを保証するために、ゼロ露出時間で画像を取得するように、本システムのセンサまたはカメラを設定する(set)。ステップ564において、これらの設定でスペクトル画像を取得する(これは、事実上、「無」の画像であり、したがって、目立つ強度はいずれも、カメラの電子回路によるものになる)。ステップ564において取得した画像から、0よりも大きな画素値のオフセットを確認するために、各波長画像において、モード画素値(modal pixel value)を計算する。この情報は、各波長において、後続の画像における全ての画素からこのオフセットを減算するために使用することができる。その最終結果は、光を受けない画素は0の値に設定されることである。スペクトル・ソースからの入力がない状態でキャプチャされた画像のモード画素強度値は、画素オフセット画像、データ、および/または値であるので、ときとして、バイアス画像、バイアス画像データ、バイアス・オフセット画像、画素オフセット画像、画素オフセット値、または画素オフセット画像データと呼ばれる。本発明の実施形態例では、オフセット補正値は、例えば、グレー・スケール値、または電子(e)、またはクーロン(C)の単位で表現することができる。オフセット値は、システム500を使用して照明されたフィールドまたは物体(例えば、スライド上にある生物学的試料)から画像が後に撮られるときに、画像(例えば、スペクトル画像)またはスペクトル画像データ(例えば、多重スペクトル画像データ)に適用される。
図5Dは、画素オフセット補正データおよび/または画像に基づいて、補正画像および/または補正画像データを決定する方法570を表すフロー・チャートである。ステップ572において、スペクトル・ソースを作動させる(activated)。ステップ573におい
て、スペクトル・ソースを特定の波長または帯域幅にフィルタリングまたは調節する。ステップ574において、スペクトル・ソースを、画像取得に適した標準化パワー出力に調節する。ステップ576において、カメラ露出時間を、カメラに達する光の強度レベルに適した値に調節する。ステップ577において、画像取得装置502によって、均等に照明されたフィールドの第1画像をキャプチャする。ステップ578において、各波長に対するオフセット値(先に概略を説明した方法560において既に導かれている)を、取得したスペクトル画像の、対応する各波長における、各画素から減算する。ステップ573からステップ577までは、同じ設定値を使用して、画素間強度分散を計算することができる1対の画像を得るために繰り返すことができ、このプロセスは、種々の波長、波長帯域、および/または露出時間毎に繰り返すことができる。
ダイナミック・レンジを決定する際、撮像システム500またはそのコンポーネント(例えば、スペクトル・カメラのセンサ)のノイズ(平均および分散多重スペクトル・カメラを判定することを含み)、この値は電子ノイズ画像データを表現するために、後に使用される)によって報告されるグレー・スケール値に加算して標準強度単位変換を決定するために、図5Eに示す方法600を必要とする場合もある。ステップ602において、スペクトル・ソース522を作動させる。本発明の一実施形態例では、システム500は、撮像取得装置502が受ける照明が均等または実質的に均等になるように(例えば、スペクトル・カメラの複数のセンサにわたって照明が均等になる)構成される。強度レベルは、照明レベルを測定し所与の波長において所望の出力に調節するために物体面に一時的に置かれたサンプル面センサを使用して、続いて行われるデータ取得毎に、強度レベルを較正する。ステップ602において、1つ以上のスペクトル・ソース(例えば、広帯域光源または複数の光源)をオンにしている間に、画像取得装置502を使用して、第1画像(例えば、スペクトル/多重スペクトル画像)をキャプチャする。ステップ602において、画像取得装置502によって、第2画像をキャプチャする。ステップ602において、前述の方法570によって識別されたオフセット補正値、画像、および/またはデータを、第1および第2画像および/または第1および第2画像データの各々からのゼロ露出画像の各波長における画素値から減算して、第1補正画像および/または第1補正画像データ(例えば、キャプチャしたx、y、λ毎のスペクトル強度値のような、データの画像キューブ)、ならびに第2補正画像および/または第2補正画像データ(例えば、データの画像キューブ)を生成する。
ステップ603において、第1および第2画像の対応するオフセット補正スペクトル強度値および/または第1および第2組の補正画像データをそれぞれ減算することから、最終的な(resultant)示差画像データを生成する。ステップ604において、スペクトル特
性、例えば、最終的な補正画像データにおける波長/帯域毎の画素強度値の標準偏差が、更に、各波長または帯域における画素強度値に関連付けられた分散値を決定するときに使用される。ステップ604において、最終的な示差画像データの波長/帯域毎に、分散を決定する(例えば、多重スペクトル標準偏差画像データを2で除算することによるというように、標準偏差に基づいて)。尚、分散は、標準偏差が決定される前に決定されてもよいことは当業者には認められてしかるべきである。以上の方法は、例えば、標準偏差、分散、および平均を決定することによって説明されるが、前述のこと(標準偏差、分散、および平均)は関係があり、したがって本発明の方法のステップにおいて、1つを他の代わりとして決定するおよび/または置き換えるには十分であり得ることは当業者には理解されてしかるべきである。更に、例えば、標準偏差、分散、および平均を決定することを伴う本発明のステップは、本発明の方法において説明された順序で必ずしも実行する必要はない場合もある。
ステップ605において、第1および第2補正画像データの内少なくとも1つの各波長においてモード画素強度値を生成し、決定し、または受け取り、最終的な補正画像の対応する波長/帯域毎にステップ604において決定された分散に分割して、波長毎に変換値を生成する。得られた変換値は、例えば、グレー・レベル毎にスペクトル・カメラにおけるCCDセンサによって各画素において記録された電子の数または近似数を表す。その結果、例えば、画像(例えば、スペクトル画像)の明るさのレベルが、標準化測定単位(SIU)、例えば、電子(e)に反映される。SIUへの変換は、標準化単位(標準化条件の結果として)に関してカメラのSNRおよびダイナミック・レンジの表現をし易くし、更に異なる分析および撮像システム間における測定値および/または測定結果の客観的比較(objective comparison)もやり易くする。標準化条件とは、できるだけ高い度合いまで、測定条件を容易に再現および/またはモデル化できるように、測定に影響を及ぼし得る要因を制御し報告する条件である。
本発明の一実施形態例では、データ取得システムのセンサ電子回路に関連付けられるノイズは、一般に、CCD技術を採用するMSIシステムのダイナミック・レンジを制限する主要な要因となる。本発明の一実施形態によれば、画像取得ノイズの判定は、方法70
0(図5F)において示される以下のステップを伴う。
-ステップ702において、ステップ562からステップ564まで(図5C)において同様に実行されるように、システムの照明を全く作動させずに、第1および第2スペクトル・オフセット(またはバイアス)画像を取得する。
-ステップ703において、第1オフセット画像を第2オフセット画像から減算することによって、示差画像を生成する。この示差画像は、データ取得の間におけるセンサ電子回路から分離されたノイズを表す。
-ステップ704において、示差画像の標準偏差を計算する。
-ステップ705において、標準偏差の調節された値(2つの画像を減算したことによる可変性の増大に対して)を2の平方根で除算し、結果値(resulting value)を生成する
ことによって、この調節された値を補正または調節する。
-ステップ706において、結果値と、図5Eのステップ606において決定された変換係数とを乗算することによって、結果値を標準化強度単位に変換する。結果値および変換された結果値は、撮像システムの取得ノイズの判定された尺度に対応し、ノイズの詳細(noise specification)を明らかにするために利用することができる。
ダイナミック・レンジは、撮像取得装置が、例えば、ディジタル化する(即ち、アナログ信号を検知し、ディジタル信号に変換する)ことができる最大および最少光強度値の比として、ときとして表現されることもある。本発明の一実施形態例では、範囲の最大限度は、特定のビット深度(例えば、8ビットの深度を有する画像は、255の最も高いグレースケール・レベルを有する)に対する最も高いグレー・レベルを変換値と乗算することによって決定される。最小値は、ノイズ・フロアまたはその付近となり、またはほぼ変換値(例えば、電子変換値)を、計算したノイズに加算した値となる。図5Gは、標準的な照明および露出設定値において、スペクトル撮像システムに対して波長毎にダイナミック・レンジを決定するフローを示す。
システムを較正するとき、センサ応答の線形性も判定することができる。図6Aに示すのは、システム500、またはそのコンポーネントの線形性(例えば、ディジタル・カメラ、スペクトル・カメラ、またはカメラのスペクトル(例えば、光)に対するセンサというような撮像装置取得装置502の応答の線形性)を判定する方法1200である。線形性は、例えば、撮像取得装置502からの信号出力が、受けるスペクトル(例えば、光)の量に比例するか否か確認するために判定される。本発明の一実施形態例では、撮像取得装置502は、電荷結合デバイス(CCD)センサを有するディジタル・カメラまたはスペクトル・カメラである。CCDセンサの機能の1つは、画像情報を搬送する光子(即ち、アナログ信号)を電子信号(即ち、ディジタル信号)に変換することである。理想的には、撮像装置および/またはそのコンポーネントから出力される信号は、センサ上に入射する光の量に線形に比例するはずである。本発明の一実施形態例では、センサ上に入射する光の量は、スペクトル(例えば、光)に対する露出時間量に関係する。
図6Aは、撮像装置および/またはそのコンポーネント(例えば、スペクトル・カメラおよび/またはカメラのセンサ)の線形性を判定する方法1200を示す。本発明の一実施形態例では、多数の波長(図6Bに示すように、n=4)およびシステム500のダイナミック・レンジの大部分にわたってしかるべく分布された所定の光レベル(例えば、10mW、40mW、70mW、100mW)で、所定の露出時間(例えば、20ms)を使用して、図6Bに示すように、異なるレベルの入射光に対応するスペクトル・データ・キューブを得るために、各画像が取得される。スペクトル・データは、一般に、選択されたマーカの蛍光の波長を模擬するように選択された波長において得られる。図6Aのステップ1202において、均等に照明されたフィールド(例えば、部分的に反射性であるスライドのような基板)の第1組の画像データを、方法600を使用してキャプチャし、第1組の画像データの画素強度値のモードおよび分散を判定する。撮像取得装置502によってキャプチャされる光レベルは、設定された露出時間において、センサのダイナミック・レンジの最大値またはその付近に設定されなければならない。ステップ1203において、ダイナミック・レンジの最小値またはその付近で、物体(例えば、部分的に反射性であるスライドのような基板)の第2画像および/または第2組の画像データをキャプチャし、第2画像または第2組の画像データの画素強度値の平均および分散を判定する。ステップ1204において、撮像取得装置502によって、ダイナミック・レンジの最小値と最大値との間のある値において、物体(例えば、部分的に反射性であるスライドのような基板)の第3画像および/または第3組の画像データをキャプチャし、第3画像および/または第3組の画像データの画素強度値のモードおよび分散を判定する。ステップ1205において、3つ(または任意にそれよりも多く)の点の各々に対して、グラフの横軸に分散値をプロットし、モード値を縦軸にプロットする。これらの点に当てはめられた直線の勾配は、変換値を表し、理想的には、方法580において(評価対象になっている所与の波長において)計算した値と一致しなければならない。直線のデータ点に対する「当てはまりの良さ」の尺度は、センサの応答の線形性(この所与の波長における)の尺度となる。
ステップ1207において、所与の波長における第1、第2、および第3画像、および/または第1、第2、および第3組のデータに関連付けられた複数組の平均および分散データの各々について、線形回帰を判定する。本発明の一実施形態例では、第1、第2、および第3画像、および/または第1、第2、および第3組のデータに関連付けられた平均および分散データをグラフ上にプロットしてもよい。本発明の一実施形態例では、線形回帰は、次の最少二乗計算によって判定することができる。
Figure 0007200204000001
ここで、iは所与の光レベルを表し、variancenoiseは、オフセット画像(光なし)につ
いて計算した分散を表し、slopeiは、所与の光レベルに対する分散/モードデータ点における勾配を表す。上の式は、オフセット画像(光なし)について計算した分散の値において発する線の勾配を得る。
Figure 0007200204000002
ステップ1207において、R値を判定または識別する。
Figure 0007200204000003
ここで、variancepredictedは、所与の光レベルにおいて線の方程式によって予測される
分散値であり、異なる光レベルにおいて収集された分散値の平均値である。SSerrは、「
残差平方和」であり、SStotal は、計算されたデータ点を通過する線に対するデータ点の「当てはまりの良さ」を評価するための「全平方和」を表す。
値は、画像取得装置502、またはそのコンポーネント(例えば、スペクトル・カメラのセンサ)の線形性を示す。例えば、R値が1に等しい場合、本システムは、非常に線形性が高く量子化に理想的であると見なすことができる。ステップ1206において、第1、第2、および第3画像の各々および/またはデータ集合に関連付けられた平均および分散データに当てはめられた線の方程式から、勾配を判定する。この当てはめ線の勾配は、波長毎に大きく変動しないのが理想的である。ステップ1204からステップ1222までは、データ集合における種々の波長/帯域幅毎に繰り返される。図6Cは、実施形態600を使用して評価された、ほぼ完全な線形性の平均強度対変動依存性の関係を示す。単位グレー・レベル毎の標準化強度単位の値は、波長λに対して勾配が約3.3eであることから決定される。この依存性から取得された点を通る線形回帰当てはめ曲線が、選択された波長λに対するR値を生成する。R値は、MSIシステムの(分光計の)応答の線形性の度合いを反映し、R=1のときに理想的な線形性を示す。
撮像システムの標準単位変換、ダイナミック・レンジ、およびその性能の線形性の判定から、取得された画像の強度情報を、eの標準化単位、計器が記録することができる検出可能な値の範囲、および強度値とサンプルの強度との間の関係に関して解釈するための較正の基礎が得られる。スペクトル撮像計器に対するこれら基本的なメトリックの使用により、異なる計器によって得られた強度データの有意な比較が可能になる。
スペクトル精度および分解能
本発明の一実施形態によれば、取得された画像のスペクトル特徴を解明する本システムの能力の評価が、スペクトル分離アルゴリズムの使用に先立って、確定されてしかるべきである。このような評価のための方法は、所定のカットオフを有する長波長通過フィルタ(例えば、約409nmおよび900nmの間の光の収集のために約409nmにカットオフを有するフィルタ)を使用する。好ましくは、スペクトル精度および分解能の判定は、温度制御された光源を使用して行われる。何故なら、温度変動は基本的なスペクトル線のスペクトル位置に影響を及ぼす可能性があるからである。
例えば、2Dカメラ・アレイによってキャプチャされたエリアを均等に覆うように分布された照明を使用する撮像分光計の高(スペクトル)分解能設定値における標準化露出時間および照明のレベルを使用して、スペクトル・データ集合(図1Aと同様の多重スペクトル画像キューブ)が取得される。このような照明は、閉ループ安定化Hgメタル・ハライド・ランプから供給され、選択された表面からの反射(例えば、図4Aと同様のセット
アップの使用により)によって得ることができる。このようなHg-ドープ・メタル・ハライド・ランプ技術から取得されたスペクトルの一例を図7Aに示す。Hg-ランプの基本スペクトル・ピークのスペクトル位置は、分かっている(436nm、546nm、および578nm)。
図7Cに示す、本発明の方法1300によれば、画像データ集合のスペクトル特徴が、既知の物体、例えば、部分的に反射性であるスライドの画像データ集合について予測される1組のスペクトル特徴と比較される。この特徴付け方法は、既知の標準のスペクトル・ピークを採用して、撮像分光計が、これらの基本スペクトル・ピークに対応することが分かっている波長において、ピーク位置を認識または検出するか否か判断する。使用される基本スペクトル・ピークは非常に狭い(基本的発光プロパティのために)ことが知られており、したがって、近似的にスペクトル的に別個であるまたは離散すると見なすことができるので、これらのピークを使用すると、選択された分解能判断基準に基づいて、近接するピークを解明する測定機器の能力を判定することができる。(このような判定は、基本ピークのような標準は、使用される分光計の分解能よりも遙かに狭いスペクトル特徴を有するという仮定に基づく。)したがって、撮像分光計によって生成されるピーク形状は、検査の条件下における分光計の分解パワーの限界を表す。
ステップ1302において、既知のスペクトル特徴を有するスペクトル・ソース、例えば、光源を作動させて、スペクトルを出力する(例えば、照明)。ステップ1303において、物体の画像を取得する。ステップ1304において、測定されるスペクトルに対するノイズの影響を最少に抑えるために、スペクトル・プロパティが均質であることがわかっているエリアについて、スペクトル情報(トレース)の平均を取る。ステップ1305において、スペクトル・ピークに位置を、強度のプロットから、波長の関数として識別および/または測定し、スペクトル特徴(例えば、照明標準の基本プロパティ)の知識に基づいて、これらのピークが現れるべきところの既知の値と比較する。ピークが期待される位置からずれる場合、例えば、システム500に関連付けられたハードウェアおよび/またはソフトウェアを調節することによって、計器は調節またはサービスが必要になることもある。本発明の一実施形態では、ずれたスペクトル・ピークに応答してのシステム500の調節は、スペクトル画像処理および分析ソフトウェアにおいて使用される定数を変更することによって、記録されている強度値に対する波長のマッピングの調節を必要とする。
図7Bを参照すると、各スペクトル・ピークの位置が、基準線上の最大の半分において、上昇する強度値と下降する強度値との間の中間にある波長値として記述することができる。このスペクトル・ピーク位置判定の慣例は、スペクトル・キャプチャ範囲にわたるスペクトル強度サンプル点の位置によって混入するエリアシング誤差のために、ピーク位置を間違える潜在的可能性を低減するために使用される。
本発明の一実施形態例では、例えば、プロットによって、結果的に得られるスペクトル・データ(波長の関数として記録される強度)が識別され、プロットによってスペクトル・ピークの幅が特定および/または測定される。一実施形態例では、この測定は、ピークの基準線と各ピークの頂点(top)との間のほぼ中間で行われる。通例、選択された較正標準(例えば、Hg基本ピーク)のスペクトル特徴は、スペクトル撮像デバイスの制限された分解能よりはるかに狭い。したがって、スペクトル・ピークの記録された幅が識別され、このような幅は、波長範囲の特定の部分に対するスペクトル分解能に対応する。図7Dに、特定の計器の仕様にしたがって各波長においてスペクトル分解能を検証する方法1400を示す。ステップ1402において、離散する特徴または狭いピークを有するスペクトル・ソースを作動させ(例えば、基本ピークを有する光源)、物体(例えば、半反射性スライド)上にスペクトルを出力する。図7Bは、3つの分解能設定値により、方法1400のステップ1404~1406を使用して取得されたスペクトルを描画する。使用した較正済みのスペクトル・ソース(この場合、Hp-ランプ)のスペクトル・ピークの少なくとも一部の半値全幅(FWHM)は、計器の分解能よりも狭いことが分かっているので、取得されたスペクトルは、分解能設定値がピークの既知のFWHMとどのように拮抗するかを示す。例えば、約546nmおよび578nmを中心とするピークに対して対応するFWHM値を考慮することができる。
更に図7Bを参照すると、30nm分解能のスペクトル(トレースC)において、546-nmおよび578-nmにおけるHg-ランプのスペクトル・ピークは解明されず、ピーク強度が平均される。15nm分解能のスペクトル(トレースB)では、ピークは解明されるが、むしろ粗く(bluntly)定められる。10nm分解能のスペクトル(トレースA)では、ピークは十分に解明され、ピークの各々のスペクトル全体に対する相対的な寄与は、スペクトルの直接調査によって、一層容易に認められる。この例は、スペクトル分解能の設定(setting)が、データにおけるサンプルの表現に対して及ぼす可能性がある影響を例示し、この方法を使用して、スペクトル分解能を測定し、計器(instrumentation)に対して指定することができる。
空間精度および正確度/光学素子の横方向および軸方向色収差検査
図8Aに示すのは、広いスペクトル範囲にわたって撮られたスペクトル画像の空間座標の撮像、例えば、位置(location)および焦点品質(focus quality)を評価するために利用
される方法1500である。ステップ1502において、スペクトル・ソースを作動させ、物体、例えば、一種の幾何学的格子を有するスライド(規則的な繰り返しパターンを有する較正スライド等)にスペクトルを出力する。本発明の一実施形態例では、スペクトル・ソースは広帯域スペクトル・ソースであり、またはスペクトル検出範囲をカバーする波長において照明を生成する任意の光源である。本発明の一実施形態によれば、画像取得システム502、例えば、スペクトル顕微鏡またはスライド・ディジタル化計器の空間精度および正確度は、この目的のために懸命に設計された精密標準品(precision standard)を使用して評価される。例えば、検査パターンが所与の用途(多重組織撮像の用途等)全ての波長において等しく見えることを条件に、反射パターン標準品を使用することができる。標準品は、撮像システムが異なる波長において混入させたかもしれない横方向歪みおよび焦点ずれを明らかにする1組の規則的な画像の特徴を生成するように構成される(adapt)。ステップ1503において、画像取得デバイス502を利用して、スライドまたは物体の画像および/または画像データ(例えば、スペクトル画像および/またはスペクトル画像データ)を取得する。ステップ1504において、画素の1つ以上の行または選択(selection)からの強度データを、データ集合における波長または帯域幅1つずつについて識別する。本発明の一実施形態例では、1つの波長、例えば、青において画像を横切る1つの画素行または画素列からの強度が、空間位置の関数としてプロットされ、次の他の波長、例えば、緑が同じグラフ上にプロットされる。このプロセスは、対象の波長全てが比較のためにプロットされるまで続く。ステップ1504は、複数の空間領域に対して繰り返すことができる。1つの波長において視野にわたって撮像された周期的な空間特徴を、異なる波長における同じ周期的特徴と比較することができる。あるいは、周期的な変化を、物体の予期される振る舞い(例えば、較正スライドの耐久性)と比較するのでもよい。あるいは、所与の照明波長において平均強度値を取り、計器の物理焦点を調節し、多数の焦点位置において平均強度値を再評価することによって、複数の波長における画素強度を軸方向(z)軸において反復的に評価してもよい。この手順は、所与の波長に対する最高の強度値の焦点位置を発見することによって(所与の波長に対する焦点、および波長間の焦点位置の相違を示す)、異なる波長において生ずる軸方向色焦点ずれ(axial chromatic focal shift)があるか否か判定するために使用することもできる。
図8Bは、λにおいて取得された一次元(1D)プロット906であり、強度分布の
図8Bの反射性標準品910にわたる位置の関係を示す。図8B、図8Cの例では、反射性標準品910は、電子顕微鏡において従来より使用されていた炭素膜レプリカ標準品(carbon film replica standard )であった。標準品910によって生成される反射性パターンの周期的特徴のエッジに対応する強度値は、スペクトル・データ集合からの1つの波長における合焦特徴(in-focus feature)に対する撮像システムの横方向空間分解能を表す。
反射性標準品910が、光学システム436の「理想的な」焦点から逸脱して置かれる場合、結果的に得られるこのような標準品の画像は、画像コントラストが減少し(プロット906から取得される)、定められた判断基準(例えば、強度変化の割合)にしたがってこのような画像コントラストを拠り所にして判定された撮像システムの空間分解能には誤差が生ずる。他の波長における理想的な焦点からの反射性標準品910の位置付けの乖離率は、選択された基準波長、例えば、λにおいて判定された空間分解能と比較して、反射性標準品のパターンの周期的特徴のエッジにおける分解能の低下率によって近似することができる。更に、MSIシステム(この例では、分光計またはスペクトル・カメラ)の横方向分解能は、曲線上の最大半量点および曲線における最大強度点の相対的位置を測定し、これらの点に対応する波長を比較することによって、判定される。視野にわたるプロット906における画像縞の空間規則性のような、記述的メトリックは、しかるべき画像データ処理によって判定することができる。
撮像視野内における歪み(例えば、横方向色歪み等)も判定することができる。空間較正パターンの波長帯域画像の擬似カラー・オーバーレイ(pseudo-color overlay)は、全ての波長成分に対する正しい(good)整列を明らかにするはずであり、規則的な特徴間の空間は、視野にわたって一定でなければならない。このような空間/スペクトル評価は、検定の用途のための撮像システムの波長依存性能を特徴付けおよび最適化するために必要である。例えば、ある波長において横方向空間歪みがあることが明らかになった場合、その根源を特定し、必要であれば、補正処置を実施することができる。歪みの状況が分析および/または特徴付けされない場合、診断用途のための空間位置確認の結果が、分光画像において記録される異なる波長毎に異なる可能性があり、これは、分子マーカ位置確認に起こり得る誤差または誤解釈の根源になる。
量子効率、波長依存応答
画像取得装置502(例えば、光感応デバイス、電荷結合デバイス(CCD)、またはスペクトル・カメラ)の量子効率(QE)も判定することができる。相対的な量子効率は、画像取得装置502の異なる波長における光に対する感度を測定する。量子効率とは、電子に変換される入射光子の量を言い、率(例えば、IPCE率)で表すことができる。IPCE率は、電荷担体を生成する画像取得デバイス502の光反応面に当たる光子の百分率に相互に関係がある。量子効率に相関があるIPCE率は、光子当たりの電子またはワット当たりのアンペアの単位で測定される。量子効率は、各波長において画像取得装置502の相対的な効率を特徴化するために、ある範囲の異なる波長にわたって測定するとよい。本発明の一実施形態例では、異なる検出波長において装置に伝達される全ての光子の内、実際に記録する(即ち、検知される)光子の割合を較正するために、量子効率を判定する。つまり、ユーザは、計器またはセンサ間の差を調和できるように、量子効率に基づいてデータに対する相関付けを行うことができる。一実施形態では、異なる光学素子を使用してQEの差を補正するために、スペクトル・キューブにおける強度値の計算による拡縮(scaling)によって、調節を行ってもよい。他の実施形態では、QEの差を補償するために、異なる波長レンジのキャプチャのための露出時間を変更することができる。他の実施形態では、照明レベルを増減してQEの差を補償するために、QE情報を使用することができる。
本発明の一実施形態によれば、撮像システム500の波長依存応答を判定するために、様々な照明(発光)フィルタ、例えば、染料検体(例えば、DAPI)および/または量子ドット放出波長のような、例えば、染色(stain)または標識に対応する、実質的に等し
い帯域幅を有するフィルタ(例えば、約460nmを中心とする約20nmの通過帯域を有するフィルタ。これは、簡略化のために20/460のように明記される。あるいは、20/525フィルタ、または20/565フィルタ、あるいは20/585、20/605、20/625、20/655、20/710フィルタの内少なくとも1つ)が選択される。例えば、システム500の波長範囲全体をカバーするために等しいまたは実質的に等しい帯域幅を有する放出フィルタ(1つまたは複数)が、図4Aに示す撮像経路内に個々に置かれる。測定対象の各波長または帯域において標準化された量の照明を出力するためにスペクトル出力を標準化できるように、物体面、例えば、物体/サンプルの表面に位置付けられた電力計またはセンサが、スペクトル・ソース(例えば、光源)を較正するために使用される。その結果、スペクトル(例えば、光)の量および/またはパワーをシステム500またはそのコンポーネントにあるいはその内部に伝達することができ、このようなスペクトルの量および/またはパワーは、物体および/またはサンプル面の表面において再現または実質的に再現され、等しい量の光が撮像光学素子によって集光され、対象の各波長帯域においてセンサに導かれることを保証することができる。部分的に反射性のサンプル(例えば、図4A、図4Bを参照して論じたガラス・スライド436)が、反射性表面を設けるために使用されてもよく、代わりに、出力を注意深く調節することができ、あらゆる反射面が対象の全ての波長に対して等しく反射するのであれば、透過スペクトル・ソース530(例えば、光源)を使用してもよい。画像取得装置502(例えば、スペクトル・カメラ、分光計等)は、量子効率画像の全ての取得の間、例えば、標準化されたスペクトル分解能設定(例えば、5nm)および標準化された露出時間(例えば、30ms)で使用される。一般に、標準化露出時間は、濾波帯域(filtered band)から光を受ける検出器の飽和レベルの約80%に達するように決定され、これが最大の検出効率を有する。取得され分析される全てのデータと同様に、画像はバイアス補正され、ピーク波長画像毎に、平均値が判定される。
図9Aに示すのは、量子効率を判定する方法例1600である。ステップ1602において、スペクトル・ソース522(例えば、広帯域光源)を作動させ、スペクトル(例えば、照明)を出力し、標準化された単位(例えば、ワット)で測定可能にする。ステップ1603において、計器の検出波長範囲をカバーする標準化された1組の等しい帯域幅フィルタから、狭帯域フィルタを選択する。ステップ1604において、選択したフィルタを光が通過した後にパワーを測定し、物体面に標準化されたレベルの光を供給するように、光源を調節する。ステップ1605において、スペクトル撮像デバイスによって、均等に照明されたサンプル面を撮像する。ステップ1606において、オフセットを減算することによってスペクトル画像を補正し、画像全体に対する画素強度を合計し、スペクトル画像において収集された全光量を測定する。ステップ1607において、全てのスペクトル画像を収集した後(フィルタ毎に1つ)、各画素強度合計値を最大和で除算して、全ての合計を、最大値の小数に正規化する。最大和の値は、最高量子効率の波長を表し、他の値は、この最高量子効率の分数になる。ステップ1608において、波長範囲にわたる量子化効率曲線を可視化するために、これらの値をプロットしてもよい。あるいは、これらの値は、スペクトル画像を調節して異なる波長における撮像システムの異なるQEを否定するために使用される較正曲線を生成するために使用することができる。本発明の一実施形態例では、生成した相対的量子化効率は、所与の設定値で取得された異なる波長に対して、記録された波長値を補正するために利用される。本発明の一実施形態例では、量子化効率曲線を生成し、未補正のデータ集合をこの量子化効率曲線で除算して、記録された強度値の、異なる波長における相対的検出効率の差を調節する。このプロセスは、各波長における数値強度値を補正する。本発明の一実施形態例では、このような補正されたデータは、異なる波長依存透過プロパティを有する、異なるレンズ・システムを使用して取得されたデータを比較するために利用される。このように、撮像システムは、スペクトル、例えば、異なる波長/帯域における光の既知量を測定して、スペクトルにわたる異なる波長における相対的検出効率百分率を判定する。このような測定は、光学素子の透過およびセンサの量子効率の双方を含む、システム・レベルの波長依存効率測定値を生成する。例えば、システムが、波長500-nmにおいてピーク検出効率を有し、波長400-nmにおいてピーク効率の30%、そして波長600-nmにおいて30%の効率を有することがあり得る。これらの検出効率の値が分かっている場合、異なる波長において取得された検体強度(例えば、量子ドット565の光の強度、および量子ドット655のそれ)の測定値を補正し、計器によるこの異なる検出効率を考慮に入れることができる。この特徴付け方法によって、較正は、異なる波長において取得された測定値、および異なる透過効率の異なるコンポーネントを使用して取得されたデータ集合の比較を可能にすることができる。
異なる波長において測定された値の差の百分率は、計器間でまたは光学構成間で比較して、標準化された入力を想定して(この手法を使用すると、波長応答の大きな格差が、デバイス間で明白になるはずである)、計器の波長に対する応答の比較を行うことができる。異なる波長における量子効率の差を補正する能力により、所与の計器の波長効率による検体濃度の誤解釈の潜在的な可能性なく、サンプルの高精度な解釈が可能になる。
説明した本発明の方法およびアルゴリズムの実施形態によるMSIの較正は、実質的な動作分離(isolation)における高精度な撮像結果、および撮像計器の性能の蛍光サンプル
の可変性からの切断を保証し、しかもなおシステム・レベルの性能統合が達成される(provide)。これらの実施形態によれば、較正済みの光源および耐久性がある物理標準品を撮像システムに組み込み、ソフトウェア・ツールと組み合わせることができ、機械的で、任意に、自動化された、チェックおよび自己較正手順ならびにトラブルシューティング手順を実行することを可能にする。
一旦MSIおよび光学取得システムが以上で説明した方法(または他の関連方法)にしたがって較正されたなら、このような撮像システムのユーザは、MSI取得(例えば、スペクトル分離データ処理を具体化するアルゴリズム、例えば、ピーク正規化、ベクトル正規化、エリア正規化というようなデータ正規化選択肢に関係するアルゴリズム等)と併せて使用されるコンピュータ・プログラム製品を検査して、データ処理の忠実性を高めることが可能になる。少なくとも同じ理由で、蛍光標準品とは独立して較正されたMSIシステムは、分離されたスペクトル・データが多数の蛍光試料の寄与を正しく表すか否かについて、サンプルに独立した検証を可能にするように構成される。実際、最初に計器の性能および較正の有効性を判断することによって、ユーザはサンプル調合および/またはソフトウェア処理アルゴリズムに関係するかもしれない誤差の他の発生源を隔離し特定することができる。データ処理アルゴリズムが、特定の蛍光標準品とは独立して較正および/または検証され、物理的に高精度な結果を送り出すことを示したならば、多重スペクトル画像のスペクトル分離の結果が、物理的に高精度であるものから逸脱する場合、MSIシステム自体の動作性能の変化または逸脱を示す。
このようなサンプル独立撮像データ検証を可能にする方法の実施形態について、以下で論ずる。
定量的多重スペクトル分離の検証
濃度が分かっている蛍光色素の湿式マウント、または蛍光ポリスチレン・ビーズのような蛍光体標準品(fluorophore standard)では、検体の相対的信号寄与は、異なる波長におけるスペクトル・ソース、例えば、光源の相対的出力、ならびに画像形成装置508および/または画像取得装置502(例えば、顕微鏡)の光学プロパティに依存する。しかしながら、これは広く認められていない。この理由のために、1つの計器を使用して有効性
を判断された蛍光体標準品が、異なる計器では基準としては全く役に立たないこともあり得る。更に、蛍光体標準品は、量子ドットのような他のレポーターが使用されるときには、スペクトル計器の較正には有用でない。何故なら、使用される励起波長およびフィルタが完全に異なるからである。本明細書において説明する新規な方法では、サンプル・プロパティの影響が殆ど存在せず、計器は再現可能な照明に対して測定される。同一の標準に合わせて装備される計器は、同等に動作することが予期され、異なるコンポーネントに変更したことの、予期される成果に対する影響を測定することができる。
本発明の一実施形態によれば、スペクトル分離の方法の検証は、総合的に、多数の波長/帯域(多数の波長において種々の強度ピークを有する)においてスペクトル(例えば、照明)を伝達するように構成された二重ビーム・スペクトル・ソースおよび/または照明幾何(illumination geometry)(例えば、図5Aに示したような、スペクトル・ソース5
22および530)を利用する。本発明の一実施形態例では、例えば、図5Aに示したような、スペクトル選択システム528が、スペクトル・ソース522および530の各々からのスペクトル出力の経路内に置かれるとよい。本発明の一実施形態例では、各スペクトル選択システム528は異なる帯域通過仕様を有する。その結果、2本の光ビームが生成され、各々、それ自体のスペクトル特徴、例えば、それら自体の別個のスペクトル特徴(波長、強度等のような)を有する。
2本のビームは、撮像取得装置502が合焦される平面または表面において、例えば、物体面524において混合する。物体面524は、基板、材料、または物質、例えば、透明なガラス・スライド、あるいはステージ、例えば、顕微鏡ステージの平面に対応する。本発明の一実施形態例では、ガラス・スライドは、部分的に反射性、そして部分的に透過性である。つまり、入射光の一部は、ガラス・スライドの部分的に反射性である表面から反射され、透過ビームの一部は、ガラス・スライドを通過して、光の反射された部分と混合される。入力光の量を注意深く制御し標準化することによって、2組のスペクトル特徴を制御し、正確な仕様に保持する(hold)ことができる。
異なるピーク透過スペクトル(例えば、サンプル平面から反射した光信号のピーク、および透過スペクトル(例えば、光)のスペクトル信号(例えば、光信号)のピーク)からの相対的な寄与を変調することができ、したがって、例えば、撮像システムおよび/または計器の重複スペクトルを分離する能力を検査するために、2組のピークをコンボリュート/混合することができる。2つのスペクトル・ソースの各々、ならびにそれらの出力量、強度、および/または波長(例えば、光源)は、独立して制御することができるので、コンボリュートされた信号に対する相対的なピーク寄与は、明確に判定すること、または2つのスペクトル・ソースからのスペクトルを混合する前に予め決定しておくことができる。
また、2つのスペクトル・ソース(例えば、光源)の各々を独立して制御することができるので、特定の帯域幅に帰するピークの寄与する積分強度(integrated intensity)は、撮像システム500および/または画像取得装置502、あるいはそのコンポーネント(例えば、センサ、検出器、または検出システム)のダイナミック・レンジ全体のコンテキストにおいて分離を検査するために、減衰させる、および/または増大させる、および/または減少させることができる。制御されるスペクトル(例えば、照明)およびセンサ・システムの仕様のために、分離結果における差(即ち、スペクトル・ソースからのスペクトルの寄与と撮像システムの分離アルゴリズムからの分離結果との間)は、MSIシステムまたはそのコンポーネントの1つ以上のプロパティに対する変化を示すこともできる。計器性能に対する許容範囲は、このように、サンプル(例えば、生物学的試料および/または組織スライド)から隔離され、いずれの計器の許容範囲も明確な仕様に調節することができる。
このようなシステムの一例が、図4Aに示されている。一般に、2つの入射ビーム426、446は、物体の部位、例えば、透明な半反射性ガラス・スライド430によって設けられるサンプル面において重複する。これらのビームによって供給される照明(例えば、照射量(irradiance)の相対的なレベルは、一般に、機械的に変化させることができ、したがって、システム500またはそのコンポーネント、例えば、画像取得システム502の光検出器のダイナミック・レンジ全体(既に図5~図9を参照して論じた本発明の実施形態の内1つ以上にしたがって較正されている)にわたるこれら重複スペクトルを分離する能力を検査するために、ビーム426、446のスペクトルを混合することができる。2つのスペクトル・ソース、例えば、光源(光源410および光448の光源)の各々を独立して制御することができるので、ビーム426、446の信号、例えば、画像取得システムによって受光される光信号に対する相対的な寄与も、ビーム426、446のスペクトルが混合される前に、明確に判定することができる。
実施形態の照明幾何は、均等なフィールドの照明を確保するので、検出器(例えば、画像取得装置502、またはそのセンサ)のアパーチャ全体にわたる検出応答を検証し、検出器の異なる画素からの応答の逸脱、あるいは画像取得デバイスの予期される性能または性能仕様からの応答の逸脱を判定することもできる。関連実施形態では、物体、例えば、反射および/または透過の非均一な空間分布を有するサンプルをガラス・スライド430の代わりに使用して、1回の画像および/またはデータ取得サイクルの間において画像取得装置502によって検出される画像の異なる空間座標に対する、異なる比率のスペクトル・ピークの寄与を確保することができる。
スペクトルの1つのビーム、例えば、光照明ビーム(例えば、入射光426。これのスペクトルを図4Bに示す)について、スペクトル分離手順を検査する目的では、n個のスペクトル・ピークの各々は、1つの蛍光マーカ(例えば、量子ドット)のスペクトルに類似する。
n個のスペクトル・ピークは、バンドパス・フィルタのような、選択されたスペクトル選択システム410aの物理プロパティによって定められるので、これらのピークのスペクトル位置は、フィルタ410aの整列が変化させられなければ、不変のままであることが予期される。(尚、同じ仕様で作られたバンドパス・フィルタ410aの異なる単位の透過ピークのスペクトル位置には、測定可能な許容範囲誤差が生ずることが認められる。)
一実施形態では、光学取得装置は、光源410または光源410および光446の光源(即ち、スペクトル・ソース448)の双方がオンに切り替えられるときに、このシステムの検出器が飽和レベル未満であることを保証するように、しかるべく構成される。このような照明の制限は、例えば、サンプル面において既知の単位(例えば、mW)に関して照明を信頼性高く再現する(例えば、E%=1%誤差以内)ように較正された安定化光源(1つまたは複数)を使用することによって、可能とされる。
図10を参照すると、較正された光入力の多数のスペクトル・ピークからの相対寄与のスペクトル分離のプロセスの検証方法の一実施形態1700は、画像取得システム502および/または画像形成装置508の1つまたは複数の検出器によって受光されたスペクトル・パワー(例えば、光パワー)全体の判定を含む。全体的なスペクトル・パワー、例えば、光パワーは、スペクトル曲線422の下側にあるエリア、即ち、スペクトル的に統合された光源410の強度に比例する。ステップ1010において、積分強度を判定するために、画像取得システム502および/または画像形成装置、例えば、顕微鏡を最初にスライド430の反射面上に合焦させ、1つの光路(この場合、反射における光路)を使用して、スライド430の均等にまたは実質的に均等に照明されたフィールドの多重スペ
クトル画像を取得する。
ステップ1020において、ゼロの基準線強度値からの信号のオフセットを考慮に入れるために、得られた多重スペクトル画像を補正する。このオフセット補正手順は、図4Aを参照して説明したのと同様に実行され、実質的に、a)同じ取得条件下であるが、検出器に伝達されるスペクトル・ソース400および/または448、例えば、光源(1つ以上)からの光を入れずに、ゼロ露出時間で、多重スペクトル画像を収集するステップと、(b)信号レベルをモード強度として判定するステップと、(c)信号オフセットおよび/または所定の定数を表す、判定された信号レベルを、画像取得において使用されたあらゆる波長における多重スペクトル・データ集合全体から減算するステップとを含む。このデータ集合は、以前に取得された多重スペクトル画像に画素毎に対応する。
モード強度は、スペクトル・データ集合におけるあらゆる波長において得られ、所与の設定の下で取得された全てのデータを処理するときに使用するために、一次元行列(スペクトル・トレース)として保存することができる。図10および図11のステップ1705を参照すると、スペクトル・トレース・エンベロープ1110の下にあるエリア1106に対応する積分強度を更に判定する。積分強度は、光源410によって生成されスライド430から反射されたスペクトル(例えば、光)ビームの全てのスペクトル帯域によって伝達される(画像の)波長積分強度の総和を表し、多重帯域照明に対して記録された光の総量を表す量を導くために利用される。
図12および図10のステップ1706を参照すると、スペクトル帯域B、B、B、およびBの各々の信号全体に対する相対的な寄与を判定するために、帯域の各々内においてトレース1110の下にあるエリアを計算し、全エリア1106の百分率として表す。(ステップ1706において実行されるデータ処理は、様々な別個の蛍光体または量子ドットの個々の強度寄与を測定することに類似する。)信号全体に対する異なる相対的な強度寄与は、スペクトル分離性能を検査するための、再現可能で(較正された光源によって策定されるようなE%誤差以内で)特徴がはっきりした標準を提供する。したがって、一旦多重帯域較正光源および/またはスペクトル・ソース410の個々のスペクトル帯域の相対的な寄与がステップ1706において確定されたなら、この情報は、これらの設定値を使用して後続のスペクトル取得から、測定された強度を再現するアルゴリズムの能力を検査するために使用することができる。このような標準の光学特性は、先に論じたように、直接測定可能であるので、分かっている。
更に図10を参照し、更にここで図13を参照すると、多バンド較正および/またはスペクトル・ソース410の帯域B、B、B、およびBの各々に対する正規化基準スペクトルを形成するために、ステップ1706において、スペクトル・トレース1110を表すデータを任意に処理することができる。このために、所与の帯域に対応するスペクトル・トレース1110の一部を表すデータ集合の一部を、残りのデータ(例えば、隣接するスペクトル・ピーク間の中間点)から分け(separate)、または「切り取り」(clip)、次いで、ステップ1707において、分けた帯域に対応する部分を正規化する。通例、選択された正規化の形態で、分けられた各帯域の曲線の下にある積分エリアは、信号全体に対する最大の寄与を表すスペクトル・ピークの曲線の下にあるエリアと同じとなる。個々の帯域B、B、B、およびBから結果的に得られた個々の参照スペクトルS、S、S、およびS(実施形態によっては等価されることもある)は、ここで、異なる通過帯域のスペクトル寄与を分けるための線形分離データ処理において使用することができる。これらのスペクトルS、S、S、およびS(例えば、等価されたスペクトル)を、通過帯域の既知の組み合わせからのスペクトル(例えば、光)のスペクトル分離の間参照スペクトルとして使用すると、各通過帯域の相対的な寄与の計算がし易くなる。この同じ原理は、強度寄与の比率が基礎になるタンパク質または遺伝子発現につい
て重要な情報を保持するとき、蛍光検体で標識された組織が、例えば、強度値の定量化において撮像されるときに採用することができる。
1本の光路についての定量化分離アルゴリズムの検証
先に論じたように、較正光源410の別個の帯域B、B、B、およびBの、画像取得装置502によって受光されるスペクトル(例えば、光)入力全体に対する相対的な強度寄与(図12の示す)は、直接測定されたので、ここでは、線形分離アルゴリズムに誤りがないことを確認するために、図13の正規化された基準スペクトルS、S、S、およびSを線形分離に使用することができる。(関連実施形態では、提案する方法(methodology)は、非線形分離にも同様に適用可能である)。具体的には、線形分離ア
ルゴリズムが誤差のないデータを処理している場合、分離アルゴリズムの使用によって判定された所与の帯域の相対的な強度寄与は、図12の対応する直接測定強度寄与と一貫する。例えば、この方法の適用(application)についての表1は、2つのソフトウェア実現
アルゴリズム、SpectraView および Specounter(双方共、 Applied Spectral Imaging, Inc.の商標である)によって実行されたスペクトル分離の結果間の比較を提示する。これらは、同じ標準化撮像計器ハードウェア、および図12の直接測定較正データ(Actualと呼ぶ)を使用する多重組織診断への応用について評価された。図示のように、この分離アルゴリズムは、合計強度値の100%全体の約5%内という計算の非常に高い精度を保証する。図14は、棒グラフを含む対応する図を示す。理想的な場合では、物体/スライド430からの反射におけるスペクトルおよび/または較正光源410のようなスペクトル(例えば、光)の光源からのスペクトル(例えば、光)のスペクトル分布は、異なるスペクトル(例えば、光)レベルにおけるスペクトル(例えば、光)出力のパワー・レベルに関係なく不変のままであるはずである。何故なら、光源410からのスペクトル(例えば、光)出力は、例えば、色中立メカニズム416によって変化させられるが、光源410への電力供給を一定に保つからである。同様に、取得されたスペクトル(例えば、光)のスペクトル分布も、取得時間(即ち、露出時間)に依存しない。
Figure 0007200204000004
多数の光路についての定量化分離アルゴリズムの検証
尚、スペクトル・データ分離アルゴリズムの精度の検証は、スペクトル、例えば、光が画像取得装置502に向けて多数の経路に沿って伝達されるときにも、同様に実行することができる。したがって、多経路検証手順は、異なる経路において異なる較正光源の使用を必要とする。図15A、図15B、図15Cを参照すると、例えば、物体/スライド430と相互作用した2つの光部分が、光取得システムによって受光される。ビーム440は、スライド430によって反射されたビーム426の一部であり、ビーム1510は、第2スペクトル1514によって生成されスライド430を透過したビーム446の一部である。第2のスペクトル/較正光源1514は、安定化された較正スペクトル(例えば、光)エミッタ、較正多帯域通過フィルタ1514a、および光源410の出力において絞り(図示せず)を内蔵し、視野を均等にまたは実質的に均等に照明するという点で、光源410と同様に構成される。スペクトル(例えば、光)446のスペクトル分布は、全体的に、図15Aに示すスペクトル(例えば、光)414のそれとは異なる。図15Bに示す、スペクトル(例えば、光)446のスペクトル分布1520の一例は、3つの帯域、即ち、それぞれ対応する波長λ、λ、およびλを中心とするB、B、およびBを含む。
帯域B、B、およびBの各々において受けた光パワーの相対的な寄与(透過ビーム446の全スペクトル(例えば、光)パワーと比較した場合)は、光源1514のみをオンにして光源410をオフにしたときに、直接測定することができる。したがって、透過スペクトル(例えば、光)に対する基準スペクトルは、図13に関して論じた方法にしたがって定められる。
また、反射ビーム440(スペクトル帯域B、B、B、およびBを有する)および透過ビーム1510(スペクトル帯域B、B、およびBを有する)は、実質的に干渉せず、画像取得システム502の1つまたは複数の検出器(例えば、センサ)において線形に重複することも認められる。したがって、両スペクトル(例えば、光)ソース410、1514をオンにしたとき、画像取得システム502に伝達されるスペクトル・パワー(例えば、光パワー)は、前述の帯域の各々において、直接、そして反射または透過スペクトル(例えば、光)経路のいずれにおいても他の帯域におけるそれとは独立して測定することができ、これによって受けられる全スペクトル(例えば、光)パワーに対する、検出器において登録されたスペクトル帯域の各々におけるスペクトル(例えば、光)パワーの寄与の直接測定が可能になる。図15Bおよび図15Cは、それぞれ、スペクトル(例えば、光)ビーム414および440のスペクトル1520および1530を、比較のために、そして、例えば、最も強いピークB、λの下にあるエリアに対して示す。ここでは、ハロゲン・ランプが光源1514として使用され、フィルタ1514aが近IRにおいて透過する光学フィルタを含んだ。
図16A、図16Bを参照すると、個々の光路(即ち、反射および透過)のいずれからも検出器によって受けられるスペクトル、例えば、光のスペクトル特性は、更に、先に論じたように直接測定され、スペクトル分離システムおよびアルゴリズムの較正/検証のために、基準スペクトル較正標準(図13のそれらと同様)を構築するために使用される。反射および透過経路(例えば、光路)双方にそのように考案された較正標準の正規化されたスペクトルを一緒に図17にプロットし、スペクトルの可視部分における透過および反射経路の較正光源1514、410のスペクトルの実質的な重複を示す。
図18の「集計」正規化スペクトル・トレース1810は、個々の較正/基準光標準410および1514がオンに切り替えられたときに画像取得システムの検出器によって登録されたスペクトル・トレースを表す。スペクトル・トレース・エンベロープ1810の下にあるエリア1916が、図19に示すように、更に判定され、図16Aおよび図16Bの個々のスペクトル・トレースの下にあるエリアの和と比較され、個々のコンポーネントのスペクトル・トレースと合計との間の一致を判定することができる。光学取得システムは先に正規化較正スペクトル1520、1530を基準にした(referenced)ので、光学列全体(フィルタ、レンズ、および光取得システム自体を含む)が、例えば、再整列や置換のような変更を全く受けなければ、積分強度1916は、個々のスペクトル(例えば、光)標準410、414の強度の和に実質的に等しいままである。このような均衡からの著しい逸脱は、動作光源410、414を個々に使用した較正の時点以降に、MSIシステムの光学列が変化したことを示す。
図20は、予め較正済みであると想定した測定システムのシステム・レベルの検査の図を示す。測定システムの検出器コンポーネントにおいて受けられた光は、各々スペクトル標準を表す、6つの少なくとも部分的に重複するスペクトル帯域の混合を表す。(スペクトル標準の帯域は、スペクトル特性が分かっている2つのスペクトル・フィルタを、本発明の測定システムの各アームに1つずつ使用することによってエミュレートされる。)したがって、スペクトル帯域および/または波長の各々において混合内に存在するスペクトル(例えば、光)信号の量は、前もって分かっている。図20のインセット(inset)Aか
ら見ることができるように、異なるスペクトル帯域/チャネルが異なる比率で重複し、非線形効果が、検出器上に入射するスペクトル、例えば、光のスペクトル混合に影響を及ぼすという仮定が行われる。スペクトル分離アルゴリズムの一実施形態が、計算によって、各スペクトル帯域(インセットBおよびCを参照のこと)におけるスペクトル、例えば、光の量を表す値を決定するために使用される。既知の実際の値および計算値との間の比較から、使用されたスペクトル分離アルゴリズムが補正を必要とするか否か、そしてどの程度必要かが示される。
図21Aおよび図21Bは、以上で説明した方法にしたがって、5%以内の精度で、既知の標準の個々のスペクトル・ピークに対する既知の寄与に関して測定された、9つのスペクトル特徴のスペクトル分離を例示するプロットおよび関連データを示す。
図22および表2における関連データは、入射および透過ビームにおいて4帯域標準フィルタ(例えば、光学フィルタ)を採用したスペクトル分離に使用された本発明の一実施形態の動作の効率を示す。表2は、8つのスペクトル・ピークに対する相対的な強度寄与に対応する値を、データのハイパースペクトル・キューブを形成するプロセスにおいて本システムによって受けられる光の総合強度の百分率として提示する。「差」の列が示すように、本発明のアルゴリズムの一実施形態によって得られた線形分離の結果は、直接測定された値と十分に一致する。
Figure 0007200204000005
図23は、様々な説明した革新を実現することができる、適した計算システムの一般化した例を示す。この計算システムは、使用範囲や機能に関して限定を示唆する意図は全くない。何故なら、本革新は多様な汎用または特殊目的計算システムにおいても実現できるからである。
図23を参照すると、この計算システムは、1つ以上の処理ユニットおよびメモリ2320、2325を含む。処理ユニット2315は、コンピュータ実行可能命令を実行する。処理ユニットは、汎用中央演算装置(CPU)、特定用途集積回路(ASIC)内にあるプロセッサ、または任意の他のタイプのプロセッサとすることができる。マルチ処理システムでは、処理パワーを高めるために、多数の処理ユニットがコンピュータ実行可能命令を実行する。例えば、図23は、中央処理ユニット2310およびグラフィクス処理ユニットまたは共処理ユニット2315を示す。有形メモリ2320、2325は、揮発性メモリ(例えば、レジスタ、キャッシュ、RAM)、不揮発性メモリ(例えば、ROM、EEPROM、フラッシュ・メモリ等)、または処理ユニット(1つまたは複数)によってアクセス可能な、これら2つの何らかの組み合わせであってもよい。メモリ2320、
2325は、処理ユニット(1つまたは複数)による実行に適しており、コンピュータ実行可能命令の形態とした、本明細書において説明した1つ以上の革新を実現するソフトウェア2380を格納する。
計算システムは、追加の機構を有してもよい。例えば、計算システムは、ストレージ2340、1つ以上の入力デバイス2350、1つ以上の出力デバイス2360、および1つ以上の通信接続2370を含む。バス、コントローラ、またはネットワークのような相互接続メカニズム(図示せず)は、計算システムのコンポーネントを相互接続する。通例、オペレーティング・システム・ソフトウェア(図示せず)は、計算システムにおいて実行する他のソフトウェアのために動作環境を提供し、計算システムのコンポーネントの動作(activity)を調整する。
有形ストレージ2340は、リムーバブルまたは非リムーバブルでもよく、磁気ディスク、磁気テープまたはカセット、CD-ROM、DVD、あるいは情報を一時的でない方法で格納するために使用することができ、更に計算システム内でアクセスすることができる任意の他の媒体を含む。ストレージ2340は、本明細書において説明した1つ以上の革新を実現するソフトウェア2380の命令を格納する。
入力デバイス(1つまたは複数)2350は、キーボード、マウス、ペン、またはトラックボールのようなタッチ入力デバイス、音声入力デバイス、走査デバイス、あるいは入力を計算システムに供給する他のデバイスであってもよい。ビデオ・エンコーディング用には、入力デバイス(1つまたは複数)50は、カメラ、ビデオ・カード、TVチューナ・カード、あるいはアナログまたはディジタル形態でビデオ入力を受け入れる同様のデバイス、あるいはビデオ・サンプルを計算システムに読み込むCD-ROMまたはCD-RWであってもよい。出力デバイス(1つまたは複数)2360は、ディスプレイ、プリンタ、スピーカ、CD-ライタ、または計算システムからの出力を供給する他のデバイスであってもよい。
通信接続(1つまたは複数)2370は、通信媒体または他の計算エンティティを通じた通信を可能にする。通信媒体は、コンピュータ実行可能命令、オーディオまたはビデオ入力または出力、あるいは変調データ信号における他のデータというような情報を伝える。変調データ信号とは、当該信号において情報をエンコードするように、その特性の内1つ以上が設定されたまたは変化させられた信号である。一例として、そして限定ではなく、通信媒体は、電気、光、RF、または他の搬送波を使用することができる。
本革新は、コンピュータ読み取り可能媒体という一般的なコンテキストで説明することができる。コンピュータ読み取り可能媒体は、計算環境内部でアクセスすることができる任意の入手可能な有形媒体である。一例として、そして限定ではなく、計算システムでは、コンピュータ読み取り可能媒体は、メモリ2230、2325、ストレージ2340、および以上の内任意のものの組み合わせを含む。
本革新は、計算システムにおけるターゲットの実プロセッサまたは仮想プロセッサ上で実行されるプログラム・モジュールに含まれるような、コンピュータ実行可能命令という一般的なコンテキストで説明することができる。一般に、プログラム・モジュールは、ルーチン、プログラム、ライブラリ、オブジェクト、クラス、コンポーネント、データ構造等を含み、特定のタスクを実行するか、または特定の抽象データ型を実装する。プログラム・モジュールの機能は、種々の実施形態において所望通りに、プログラム・モジュール間で組み合わせてもまたは分割してもよい。プログラム・モジュールのコンピュータ実行可能命令は、ローカルまたは分散型計算システム内部で実行することもできる。
本明細書では、「システム」および「デバイス」という用語は相互交換可能に使用される。そうでないことを文脈が明らかに示すのではなければ、いずれの用語も、計算システムまたは計算デバイスのタイプに対して何の限定も強制しない。一般に、計算システムまたは計算デバイスは、ローカルまたは分散型であることができ、特殊目的ハードウェアおよび/または汎用ハードウェアと、本明細書において説明した機能を実現するソフトウェアとの任意の組み合わせを含むことができる。
紹介のために、詳細な説明では、計算システムにおけるコンピュータ動作を記述するために「判定する」および「使用する」というような用語を使用した。これらの用語は、コンピュータによって実行される動作の上位抽象化であり、人間によって行われる行為と混同すべきでない。これらの用語に対応する実際のコンピュータ動作は、実施態様に応じて異なる。
本明細書におけるコンピュータ読み取り可能媒体はいずれも、非一時的(例えば、メモリ、磁気ストレージ、光ストレージ等)とすることができる。
本明細書において説明した格納動作(storing action)はいずれも、1つ以上のコンピュータ読み取り可能媒体(例えば、コンピュータ読み取り可能記憶媒体または他の有形媒体)に格納することによって実現することができる。
格納されると説明したものはいずれも、1つ以上のコンピュータ読み取り可能媒体(例えば、コンピュータ読み取り可能記憶媒体または他の有形媒体)に格納することができる。
本明細書において説明した方法はいずれも、1つ以上のコンピュータ読み取り可能媒体(例えば、コンピュータ読み取り可能記憶媒体または他の有形媒体)における(例えば、エンコードされた)コンピュータ実行可能命令によって実現することができる。このような命令は、コンピュータに本方法を実行させることができる。本明細書において説明した技術は、種々のプログラミング言語で実現することができる。
本明細書において説明した方法はいずれも、1つ以上のコンピュータ読み取り可能記憶デバイス(例えば、メモリ、磁気ストレージ、光ストレージ等)に格納されたコンピュータ実行可能命令によって実現することができる。このような命令は、コンピュータに本方法を実行させることができる。
以上で説明した実施形態の例を通じて本発明について説明したが、例示した実施形態に対する変更、およびその変形も、本明細書において開示した発明の概念から逸脱することなく、行えることは当業者には理解されよう。例えば、実施形態の一部の態様は、フロー・チャートを参照して説明したが、フロー・チャートの各ブロックの全部または一部の機能、動作、判断等、あるいはブロックの組み合わせを組み合わせてもよく、別々の動作に分けてもよく、または他の順序で実行してもよいことは、当業者には容易に認められよう。更に、種々の例示的なデータ構造に関連付けて実施形態について説明したが、本システムは種々のデータ構造を使用して具体化できることを、当業者は認めよう。更にまた、開示した態様、またはこれらの態様の一部は、以上で列挙しなかった方法で組み合わせてもよい。本願において説明したアルゴリズムの実施形態のステップを実行するためにシステムのプログラマブル・プロセッサを実施する(effectuate)コンピュータ・プログラム製品も、本発明の範囲内に該当する。したがって、本発明は、開示した実施形態(1つまたは複数)には限定されないと見なされてしかるべきである。

Claims (18)

  1. 検出器で、複数のスペクトル帯域のスペクトル出力を有する光源からの光で、均一に照射される、基準サンプルの多重スペクトル(MS)画像を取得するステップであって、前記光源が更に、既知のスペクトル特性を持つ較正された光のスペクトルに対応する透過スペクトルを有する光学フィルタを備えるステップと、
    基準線画像に対応する強度の分布を、前記取得された画像に対応する他の強度の分布と比較することによって強度オフセットを決定するステップと、
    前記強度オフセットに基づいて、前記取得された画像を訂正して、バイアス補正されたMS画像を形成するステップと、
    前記バイアス補正されたMS画像の中の画素の部分集合に対応する、強度プロファイル特性の平均を生成するステップと、
    平均化された強度プロファイルに基づいて、積分された強度値を決定するステップと、
    前記積分された強度値を出力するステップと、
    を含み、
    前記積分された強度値についてのスペクトル帯域毎の相対的な強度寄与率が、前記取得された画像のスペクトル分離に対する、計算アルゴリズムの正確性を決定するために用いられる、
    方法。
  2. 前記基準サンプルが、物体面に配置される場合に、前記検出器のFOV(視野)にわたるMSIシステム(多重スペクトル撮像システム)の光学性能の空間較正を可能にするために、空間帯域に依存して光を空間的に分けるように構成される、請求項1に記載の方法。
  3. 前記積分された強度値を決定するステップが、
    前記検出器の選択された画素に亘って前記バイアス補正されたMS画像の強度のスペクトルプロファイルを平均化して、平均化された強度プロファイルを形成するステップを含む、請求項1に記載の方法。
  4. 前記取得するステップが、
    前記検出器で、前記基準サンプルを透過した第1光、及び、前記基準サンプルから反射した第2光、を受信するステップであって、前記第1光と前記第2光の各々が、対応する多帯域スペクトルを有するステップと、
    前記検出器で受信された光に対する、前記第1光の第1スペクトル帯域の中の光の第1の寄与を決定するステップであって、前記第1の寄与が、前記第2光の第2スペクトル帯域の中の光の第2の寄与から独立して決定されるステップと、
    を含む、請求項1に記載の方法。
  5. 前記方法が、更に、
    異なるスペクトル帯域からの光の直接調査を通じて、前記較正された光源の出力の異なったスペクトル帯域からの光の相対的な寄与を定めるステップと、
    前記異なったスペクトル帯域の各々に対応する平均強度プロファイル特性を個々に正規化して、前記複数のスペクトル帯域に対応する、正規化された個々の基準スペクトルを定めるステップと、
    を含む、請求項1に記載の方法。
  6. 計算スペクトル分離アルゴリズムの結果と、光の前記定められた相対的な寄与と、
    の間の差を決定するステップ、
    を更に含む、
    請求項5に記載の方法。
  7. 1つ又は複数のデータプロセッサと、
    非一過性のコンピュータ読み取り可能な記憶媒体であって、当該記憶媒体が命令を含み、当該命令が前記1つ又は複数のデータプロセッサ上で実行されたときに、前記1つ又は複数のデータプロセッサに複数の動作を実行させる、記憶媒体と、
    を備えるシステムであって、前記複数の動作が、
    検出器で、複数のスペクトル帯域のスペクトル出力を有する光源からの光で、均一に照射される、基準サンプルの多重スペクトル(MS)画像を取得するステップであって、前記光源が更に、既知のスペクトル特性を持つ較正された光のスペクトルに対応する透過スペクトルを有する光学フィルタを備えるステップと、
    基準線画像に対応する強度の分布を、前記取得された画像に対応する他の強度の分布と比較することによって強度オフセットを決定するステップと、
    前記強度オフセットに基づいて、前記取得された画像を訂正して、バイアス補正されたMS画像を形成するステップと、
    前記バイアス補正されたMS画像の中の画素の部分集合に対応する、強度プロファイル特性の平均を生成するステップと、
    平均化された強度プロファイルに基づいて、積分された強度値を決定するステップと、
    前記積分された強度値を出力するステップと、
    を含み、
    前記積分された強度値についてのスペクトル帯域毎の相対的な強度寄与率が、前記取得された画像のスペクトル分離に対する、計算アルゴリズムの正確性を決定するために用いられる、
    システム。
  8. 前記基準サンプルが、物体面に配置される場合に、前記検出器のFOV(視野)にわたるMSIシステム(多重スペクトル撮像システム)の光学性能の空間較正を可能にするために、空間帯域に依存して光を空間的に分けるように構成される、請求項7に記載のシステム。
  9. 前記積分された強度値を決定するステップが、
    前記検出器の選択された画素に亘って前記バイアス補正されたMS画像の強度のスペクトルプロファイルを平均化して、平均化された強度プロファイルを形成するステップを含む、請求項7に記載のシステム。
  10. 前記取得するステップが、
    前記検出器で、前記基準サンプルを透過した第1光、及び、前記基準サンプルから反射した第2光、を受信するステップであって、前記第1光と前記第2光の各々が、対応する多帯域スペクトルを有するステップと、
    前記検出器で受信された光に対する、前記第1光の第1スペクトル帯域の中の光の第1の寄与を決定するステップであって、前記第1の寄与が、前記第2光の第2スペクトル帯域の中の光の第2の寄与から独立して決定されるステップと、
    を含む、請求項7に記載のシステム。
  11. 前記動作が、更に、
    異なるスペクトル帯域からの光の直接調査を通じて、前記較正された光源の出力の異なったスペクトル帯域からの光の相対的な寄与を定めるステップと、
    前記異なったスペクトル帯域の各々に対応する平均強度プロファイル特性を個々に正規化して、前記複数のスペクトル帯域に対応する、正規化された個々の基準スペクトルを定めるステップと、
    を含む、請求項7に記載のシステム。
  12. 計算スペクトル分離アルゴリズムの結果と、光の前記定められた相対的な寄与と、の間の差を決定するステップ、を更に含む、請求項11に記載のシステム。
  13. 複数の動作を実行するためにプロセッサによって実行可能な命令を記憶する非一過性のコンピュータ読み取り可能な記憶媒体であって、前記複数の動作が、
    検出器で、複数のスペクトル帯域のスペクトル出力を有する光源からの光で、均一に照射される、基準サンプルの多重スペクトル(MS)画像を取得するステップであって、前記光源が更に、既知のスペクトル特性を持つ較正された光のスペクトルに対応する透過スペクトルを有する光学フィルタを備えるステップと、
    基準線画像に対応する強度の分布を、前記取得された画像に対応する他の強度の分布と比較することによって強度オフセットを決定するステップと、
    前記強度オフセットに基づいて、前記取得された画像を訂正して、バイアス補正されたMS画像を形成するステップと、
    前記バイアス補正されたMS画像の中の画素の部分集合に対応する、強度プロファイル特性の平均を生成するステップと、
    平均化された強度プロファイルに基づいて、積分された強度値を決定するステップと、
    前記積分された強度値を出力するステップと、
    を含み、
    前記積分された強度値についてのスペクトル帯域毎の相対的な強度寄与率が、前記取得された画像のスペクトル分離に対する、計算アルゴリズムの正確性を決定するために用いられる、
    記憶媒体。
  14. 前記基準サンプルが、物体面に配置される場合に、前記検出器のFOV(視野)にわたるMSIシステム(多重スペクトル撮像システム)の光学性能の空間較正を可能にするために、空間帯域に依存して光を空間的に分けるように構成される、請求項13に記載の記憶媒体。
  15. 前記積分された強度値を決定するステップが、
    前記検出器の選択された画素に亘って前記バイアス補正されたMS画像の強度のスペクトルプロファイルを平均化して、平均化された強度プロファイルを形成するステップを含む、請求項13に記載の記憶媒体。
  16. 前記取得するステップが、
    前記検出器で、前記基準サンプルを透過した第1光、及び、前記基準サンプルから反射した第2光、を受信するステップであって、前記第1光と前記第2光の各々が、対応する多帯域スペクトルを有するステップと、
    前記検出器で受信された光に対する、前記第1光の第1スペクトル帯域の中の光の第1の寄与を決定するステップであって、前記第1の寄与が、前記第2光の第2スペクトル帯域の中の光の第2の寄与から独立して決定されるステップと、
    を含む、請求項13に記載の記憶媒体。
  17. 前記複数の動作が、更に、
    異なるスペクトル帯域からの光の直接調査を通じて、前記較正された光源の出力の異なったスペクトル帯域からの光の相対的な寄与を定めるステップと、
    前記異なったスペクトル帯域の各々に対応する平均強度プロファイル特性を個々に正規化して、前記複数のスペクトル帯域に対応する、正規化された個々の基準スペクトルを定めるステップと、
    を含む、請求項13に記載の記憶媒体。
  18. 計算スペクトル分離アルゴリズムの結果と、光の前記定められた相対的な寄与と、
    の間の差を決定するステップ、
    を更に含む、
    請求項17に記載の記憶媒体。
JP2020207253A 2013-01-31 2020-12-15 多重組織検定用の撮像デバイスまたはシステムを較正、構成、および有効性判断するためのシステムおよび方法 Active JP7200204B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201361759262P 2013-01-31 2013-01-31
US61/759,262 2013-01-31

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019032586A Division JP2019124695A (ja) 2013-01-31 2019-02-26 多重組織検定用の撮像デバイスまたはシステムを較正、構成、および有効性判断するためのシステムおよび方法

Publications (2)

Publication Number Publication Date
JP2021047207A JP2021047207A (ja) 2021-03-25
JP7200204B2 true JP7200204B2 (ja) 2023-01-06

Family

ID=50064580

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2015555724A Active JP6392785B2 (ja) 2013-01-31 2014-01-31 多重組織検定用の撮像デバイスまたはシステムを較正、構成、および有効性判断するためのシステムおよび方法
JP2018023860A Pending JP2018119968A (ja) 2013-01-31 2018-02-14 多重組織検定用の撮像デバイスまたはシステムを較正、構成、および有効性判断するためのシステムおよび方法
JP2019032586A Pending JP2019124695A (ja) 2013-01-31 2019-02-26 多重組織検定用の撮像デバイスまたはシステムを較正、構成、および有効性判断するためのシステムおよび方法
JP2020207253A Active JP7200204B2 (ja) 2013-01-31 2020-12-15 多重組織検定用の撮像デバイスまたはシステムを較正、構成、および有効性判断するためのシステムおよび方法

Family Applications Before (3)

Application Number Title Priority Date Filing Date
JP2015555724A Active JP6392785B2 (ja) 2013-01-31 2014-01-31 多重組織検定用の撮像デバイスまたはシステムを較正、構成、および有効性判断するためのシステムおよび方法
JP2018023860A Pending JP2018119968A (ja) 2013-01-31 2018-02-14 多重組織検定用の撮像デバイスまたはシステムを較正、構成、および有効性判断するためのシステムおよび方法
JP2019032586A Pending JP2019124695A (ja) 2013-01-31 2019-02-26 多重組織検定用の撮像デバイスまたはシステムを較正、構成、および有効性判断するためのシステムおよび方法

Country Status (6)

Country Link
US (3) US10012537B2 (ja)
EP (1) EP2951543B1 (ja)
JP (4) JP6392785B2 (ja)
AU (2) AU2014211384A1 (ja)
CA (2) CA3053060C (ja)
WO (1) WO2014118326A2 (ja)

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3053060C (en) 2013-01-31 2022-04-19 Ventana Medical Systems, Inc. Systems and methods for calibrating, configuring and validating an imaging device or system for multiplex tissue assays
WO2015125311A1 (ja) * 2014-02-24 2015-08-27 オリンパス株式会社 分光測定方法
KR102254033B1 (ko) * 2014-06-13 2021-05-20 삼성전자주식회사 광학 측정 방법 및 광학 측정 시스템
US9797767B2 (en) * 2014-08-26 2017-10-24 General Electric Company Calibration of microscopy systems
EP3212057B1 (en) 2014-10-29 2021-12-01 Spectral MD, Inc. Reflective mode multi-spectral time-resolved optical imaging methods and apparatuses for tissue classification
EP3335031B1 (en) * 2015-08-12 2022-03-23 Bio-Rad Laboratories, Inc. Multi-spectral filter profiling and quality control for flow cytometry
US10180385B2 (en) 2015-08-12 2019-01-15 Bio-Rad Laboratories, Inc. Multi-spectral filter profiling and quality control for flow cytometry
CN108291443A (zh) * 2015-08-13 2018-07-17 哈里伯顿能源服务公司 使用可追踪滤波器的光学计算装置的校准
WO2017083325A1 (en) * 2015-11-11 2017-05-18 The Curators Of The University Of Missouri Multichannel ultra-sensitive optical spectroscopic detection
CN108369734B (zh) * 2015-12-10 2022-04-26 凯杰有限公司 数字图像中的对象分类方法、***及计算机可读介质
US11815446B2 (en) * 2016-01-28 2023-11-14 Siemens Healthcare Diagnostics Inc. Methods and apparatus for characterizing a specimen container and specimen
US10088468B2 (en) * 2016-02-04 2018-10-02 Nova Biomedical Corporation Analyte system and method for determining hemoglobin parameters in whole blood
US11573124B2 (en) 2016-04-14 2023-02-07 National University Corporation Hokkaido University Computer storage medium, network system for distributing spectral camera control program and spectral image capturing method using spectral camera control device
CA3021137A1 (en) 2016-04-14 2017-10-19 National University Corporation Hokkaido University Spectral camera control device, spectral camera control program, spectral camera control system, aircraft equipped with said system, and spectral image capturing method
JP2019520557A (ja) * 2016-05-27 2019-07-18 ザ ガバメント オブ ザ ユナイテッド ステイツ オブ アメリカ,アズ リプレゼンテッド バイ ザ セクレタリー オブ ザ ネイビー センシング用途での反射率に基づくカラー変化の分析
US10838190B2 (en) 2016-06-21 2020-11-17 Sri International Hyperspectral imaging methods and apparatuses
US11300450B2 (en) * 2016-08-10 2022-04-12 Korea Advanced Institute Of Science And Technology Hyperspectral imaging spectroscopy method using kaleidoscope and system therefor
EP3343642A1 (en) * 2016-12-16 2018-07-04 Sharp Kabushiki Kaisha Photodetector and method for wavelength peak sensitivity calibration
US10663711B2 (en) 2017-01-04 2020-05-26 Corista, LLC Virtual slide stage (VSS) method for viewing whole slide images
WO2018160963A1 (en) 2017-03-02 2018-09-07 Spectral Md, Inc. Machine learning systems and techniques for multispectral amputation site analysis
EP3372966B1 (en) * 2017-03-10 2021-09-01 Hitachi High-Tech Analytical Science Limited A portable analyzer using optical emission spectoscopy
WO2018231982A1 (en) * 2017-06-13 2018-12-20 X-Rite, Incorporated Hyperspectral imaging spectrophotometer and system
US10466101B2 (en) * 2017-06-28 2019-11-05 Ocean Optics, Inc. Reference light adjustment method for spectrometer based measurement or control systems
WO2019002281A1 (en) * 2017-06-28 2019-01-03 Ventana Medical Systems, Inc. CALIBRATION OF SYSTEM LEVEL
WO2019058308A1 (en) * 2017-09-21 2019-03-28 Elucid Labs, Inc. IMAGING BIOLOGICAL FABRIC OR OTHER SUBJECTS
US11238012B1 (en) 2018-05-15 2022-02-01 Splunk Inc. Log data extraction from data chunks of an isolated execution environment
EP3815040A4 (en) 2018-05-21 2022-03-02 Corista LLC MULTIPLE SAMPLE BULK SLIDE IMAGE PROCESSING USING MULTIPLE RESOLUTION REGISTRATION
US11537627B1 (en) 2018-09-28 2022-12-27 Splunk Inc. Information technology networked cloud service monitoring
KR20210099126A (ko) 2018-12-14 2021-08-11 스펙트랄 엠디, 인크. 고정밀도 다중-애퍼쳐 스펙트럼 이미징을 위한 시스템 및 방법
JP7261883B2 (ja) 2018-12-14 2023-04-20 スペクトラル エムディー,インコーポレイテッド 創傷の評価、治癒予測および治療のための機械学習システム
US10740884B2 (en) 2018-12-14 2020-08-11 Spectral Md, Inc. System and method for high precision multi-aperture spectral imaging
US10783632B2 (en) 2018-12-14 2020-09-22 Spectral Md, Inc. Machine learning systems and method for assessment, healing prediction, and treatment of wounds
US10345237B1 (en) 2019-01-31 2019-07-09 Rarecyte, Inc. Spectral edge detection
US10753875B1 (en) 2019-01-31 2020-08-25 Rarecyte, Inc. Spectral unmixing of spectroscopic emission images
CN109799079B (zh) * 2019-03-29 2024-04-09 云南电网有限责任公司电力科学研究院 一种多光谱相机的共光轴校调装置和方法
JP7238552B2 (ja) 2019-04-01 2023-03-14 セイコーエプソン株式会社 撮像条件評価装置および撮像条件評価方法
DE102019208760A1 (de) * 2019-06-17 2020-12-17 Carl Zeiss Microscopy Gmbh Verfahren und optische Anordnung zur Ermittlung einer resultierenden Leistung einer Strahlung in einer Probenebene
EP3907497B1 (en) * 2020-05-08 2023-08-02 Leica Microsystems CMS GmbH Apparatus and method for displaying and/or printing images of a specimen including a fluorophore
US20210372773A1 (en) * 2020-05-28 2021-12-02 Agr International, Inc. Measuring thickness of translucent plastic articles
GB2601182B (en) * 2020-11-23 2022-12-28 Thermo Fisher Scient Bremen Gmbh Diagnostic testing method for a spectrometer
US11079278B1 (en) 2020-12-22 2021-08-03 Illuscio, Inc. Systems and methods for using multispectral imagery for precise tracking and verification
US11941421B1 (en) 2021-07-09 2024-03-26 Splunk Inc. Evaluating and scaling a collection of isolated execution environments at a particular geographic location

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006526783A (ja) 2003-05-30 2006-11-24 アンドリュー エム. ラビノビッチ、 色分解および組織試料内の対象となる領域の検出
JP2008158011A (ja) 2006-12-20 2008-07-10 Olympus Corp 顕微鏡画像処理装置、顕微鏡画像処理プログラムおよび顕微鏡画像処理方法
JP2009060162A (ja) 2007-08-29 2009-03-19 Fujikura Ltd 物体の撮影方法及び装置
US20100145416A1 (en) 2008-12-10 2010-06-10 Uk Kang Apparatus for photodynamic therapy and photodetection
JP2010190729A (ja) 2009-02-18 2010-09-02 Seiko Epson Corp 分光感度特性測定装置、および分光感度特性測定方法
JP2010256303A (ja) 2009-04-28 2010-11-11 Sumitomo Electric Ind Ltd ハイパースペクトル画像処理装置及びハイパースペクトル画像処理方法
JP2011030261A (ja) 1999-06-04 2011-02-10 Trustees Of Columbia Univ In The City Of New York 空間的に変動する露出を用いて高ダイナミックレンジ画像化をする装置及び方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6826424B1 (en) * 2000-12-19 2004-11-30 Haishan Zeng Methods and apparatus for fluorescence and reflectance imaging and spectroscopy and for contemporaneous measurements of electromagnetic radiation with multiple measuring devices
CA2441437A1 (en) 2001-03-28 2002-10-03 Clondiag Chip Technologies Gmbh Device for referencing fluorescence signals
JP2003298913A (ja) * 2002-04-05 2003-10-17 Fuji Photo Film Co Ltd マルチバンド画像取得方法
US8081311B2 (en) 2005-11-04 2011-12-20 General Hospital Corporation System for multispectral imaging
US8055035B2 (en) 2006-02-23 2011-11-08 Nikon Corporation Spectral image processing method, computer-executable spectral image processing program, and spectral imaging system
US7403336B2 (en) 2006-10-30 2008-07-22 Applied Materials, Israel, Ltd. Broadband imaging system and method
JP2008145276A (ja) * 2006-12-11 2008-06-26 Matsushita Electric Ind Co Ltd 微生物計測装置
US7978258B2 (en) * 2007-08-31 2011-07-12 Historx, Inc. Automatic exposure time selection for imaging tissue
WO2010019515A2 (en) * 2008-08-10 2010-02-18 Board Of Regents, The University Of Texas System Digital light processing hyperspectral imaging apparatus
JP2011022044A (ja) * 2009-07-16 2011-02-03 Canon Inc 光源推定装置および光源推定方法
JP2011069735A (ja) * 2009-09-25 2011-04-07 Olympus Corp 歯科用測色装置
JP2011089895A (ja) * 2009-10-22 2011-05-06 Arata Satori ハイパースペクトル撮像装置及びハイパースペクトル撮像方法
JP2012063321A (ja) 2010-09-17 2012-03-29 Hamamatsu Photonics Kk 反射率測定装置、反射率測定方法、膜厚測定装置及び膜厚測定方法
JP2012078504A (ja) 2010-09-30 2012-04-19 Olympus Corp 照明装置および観察システム
JP2012168088A (ja) * 2011-02-16 2012-09-06 Ncd:Kk 蛍光反応検出装置
ES2542106T3 (es) * 2011-04-12 2015-07-30 Tripath Imaging, Inc. Método para preparar videomicroscopía cuantitativa y sistema asociado
US10964001B2 (en) 2013-01-10 2021-03-30 Akoya Biosciences, Inc. Multispectral imaging systems and methods
CA3053060C (en) 2013-01-31 2022-04-19 Ventana Medical Systems, Inc. Systems and methods for calibrating, configuring and validating an imaging device or system for multiplex tissue assays

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011030261A (ja) 1999-06-04 2011-02-10 Trustees Of Columbia Univ In The City Of New York 空間的に変動する露出を用いて高ダイナミックレンジ画像化をする装置及び方法
JP2006526783A (ja) 2003-05-30 2006-11-24 アンドリュー エム. ラビノビッチ、 色分解および組織試料内の対象となる領域の検出
JP2008158011A (ja) 2006-12-20 2008-07-10 Olympus Corp 顕微鏡画像処理装置、顕微鏡画像処理プログラムおよび顕微鏡画像処理方法
JP2009060162A (ja) 2007-08-29 2009-03-19 Fujikura Ltd 物体の撮影方法及び装置
US20100145416A1 (en) 2008-12-10 2010-06-10 Uk Kang Apparatus for photodynamic therapy and photodetection
JP2010190729A (ja) 2009-02-18 2010-09-02 Seiko Epson Corp 分光感度特性測定装置、および分光感度特性測定方法
JP2010256303A (ja) 2009-04-28 2010-11-11 Sumitomo Electric Ind Ltd ハイパースペクトル画像処理装置及びハイパースペクトル画像処理方法

Also Published As

Publication number Publication date
EP2951543A2 (en) 2015-12-09
US10012537B2 (en) 2018-07-03
JP2021047207A (ja) 2021-03-25
WO2014118326A2 (en) 2014-08-07
US10598548B2 (en) 2020-03-24
AU2014211384A1 (en) 2015-07-02
JP2018119968A (ja) 2018-08-02
US20200209061A1 (en) 2020-07-02
WO2014118326A3 (en) 2014-12-04
CA3053060C (en) 2022-04-19
CA2896197C (en) 2019-10-15
CA3053060A1 (en) 2014-08-07
WO2014118326A9 (en) 2014-10-16
JP2019124695A (ja) 2019-07-25
US20180292260A1 (en) 2018-10-11
CA2896197A1 (en) 2014-08-07
AU2018201146A1 (en) 2018-03-08
EP2951543B1 (en) 2022-05-25
JP6392785B2 (ja) 2018-09-19
US11566941B2 (en) 2023-01-31
US20150369664A1 (en) 2015-12-24
JP2016510408A (ja) 2016-04-07

Similar Documents

Publication Publication Date Title
JP7200204B2 (ja) 多重組織検定用の撮像デバイスまたはシステムを較正、構成、および有効性判断するためのシステムおよび方法
US11971355B2 (en) Fluorescence observation apparatus and fluorescence observation method
US10964001B2 (en) Multispectral imaging systems and methods
JP2016510408A5 (ja)
JP2019070648A (ja) 分光器で支援された特別設計パターン閉ループ較正による高精度イメージング測色計
WO2009093453A1 (ja) 分析装置および分析方法
US20140193061A1 (en) Whole Slide Multispectral Imaging Systems and Methods
JP6771584B2 (ja) デジタルパソロジーのカラーキャリブレーションおよび実証
WO2018085841A1 (en) Calibration method and apparatus for active pixel hyperspectral sensors and cameras
US10107745B2 (en) Method and device for estimating optical properties of a sample
WO2018128146A1 (ja) 分光測定方法および分光測定装置
JP7284457B2 (ja) 量子効率分布の取得方法、量子効率分布の表示方法、量子効率分布の取得プログラム、量子効率分布の表示プログラム、分光蛍光光度計及び表示装置
WO2017026296A1 (ja) 試料測定装置
WO2020003673A1 (ja) イメージセンサの分光感度測定方法、分光感度測定装置の検査方法及び分光感度測定装置
Clarke et al. Characterization of hyperspectral imaging and analysis via microarray printing of dyes
WO2022080189A1 (ja) 生体試料検出システム、顕微鏡システム、蛍光顕微鏡システム、生体試料検出方法及びプログラム
WO2022264539A1 (ja) 情報処理システム、情報処理方法及び蛍光体構造体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201215

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211029

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220228

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220506

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220729

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20220729

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20220809

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20220810

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220902

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221110

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221202

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221221

R150 Certificate of patent or registration of utility model

Ref document number: 7200204

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150