JP7195738B2 - 構造化照明イメージングシステムを較正するためおよび構造化照明画像をキャプチャするためのシステムおよび方法 - Google Patents

構造化照明イメージングシステムを較正するためおよび構造化照明画像をキャプチャするためのシステムおよび方法 Download PDF

Info

Publication number
JP7195738B2
JP7195738B2 JP2017562599A JP2017562599A JP7195738B2 JP 7195738 B2 JP7195738 B2 JP 7195738B2 JP 2017562599 A JP2017562599 A JP 2017562599A JP 2017562599 A JP2017562599 A JP 2017562599A JP 7195738 B2 JP7195738 B2 JP 7195738B2
Authority
JP
Japan
Prior art keywords
data
pinhole
image
sample
processing module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017562599A
Other languages
English (en)
Other versions
JP2018523154A (ja
JP2018523154A5 (ja
Inventor
スティーブン リトル,
ポール ボスホーテン,
アンドリュー ガンダーソン,
ラリー ライストローム,
クリス ネム,
Original Assignee
ライフ テクノロジーズ コーポレーション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ライフ テクノロジーズ コーポレーション filed Critical ライフ テクノロジーズ コーポレーション
Publication of JP2018523154A publication Critical patent/JP2018523154A/ja
Publication of JP2018523154A5 publication Critical patent/JP2018523154A5/ja
Application granted granted Critical
Publication of JP7195738B2 publication Critical patent/JP7195738B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052Optical details of the image generation
    • G02B21/0076Optical details of the image generation arrangements using fluorescence or luminescence
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • G01N21/274Calibration, base line adjustment, drift correction
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N21/6456Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458Fluorescence microscopy
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0032Optical details of illumination, e.g. light-sources, pinholes, beam splitters, slits, fibers
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0036Scanning details, e.g. scanning stages
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0036Scanning details, e.g. scanning stages
    • G02B21/0044Scanning details, e.g. scanning stages moving apertures, e.g. Nipkow disks, rotating lens arrays

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Description

本出願は、2015年6月2日に出願された米国特許出願第62/169,675号の優先権を主張するものであり、該出願は、参照によりその開示全体が本明細書に援用される。
本明細書に記載の実施形態は、蛍光イメージングに関し、より具体的には、放射路にピンホールマスクを必要とせずに、蛍光イメージングシステムにおいて合成共焦点画像を生成することに関する。
関連技術
蛍光顕微鏡は、反射および吸収の代わりに、またはこれに加えて、蛍光を用いて有機または無機物質の特性を調べるのに使用される光学顕微鏡である。蛍光顕微鏡は、特定の波長の光を照射されたときに、特定の物質が可視光として検出可能なエネルギーを放射する現象に基づく。サンプルは、その自然の形態が蛍光発光性である(クロロフィルのような)か、蛍光染色で処理されるかのいずれかで有り得る。
当該技術において既知の基本的な広視野蛍光顕微鏡は、光源と、蛍光染色と一致する波長に対応するいくつかのフィルタとを含む。光源からの光の励起波長を選択するために励起フィルタが設けられ、ダイクロイックビームスプリッタは、光源からの光を反射させて試料を照明する。照明された光は、放射フィルタによってさらに弱い放射された蛍光から分離される。蛍光領域は、顕微鏡において観察され、暗い背景に対して高コントラストで光る。
構造化照明イメージングシステムは、既に記載した広視野イメージングシステムとほぼ同じ原理を用いるが、一度にサンプルの一部のみが照明されることがキーである。励起光の大部分は遮断され、遮断されない照明のパターンをサンプル全体にわたらせてサンプルの領域それぞれがほぼ等しい励起光を受光するようにされる。典型的には、この工程において複数の画像が別個の間隔でキャプチャされ、別個の入力画像を解析して対応する出力画像を構築する画像処理アルゴリズムによって単一全照明画像が生成される。この出力画像は、サンプルの焦点が合っていない領域から集められる光が低減することにより向上した信号雑音比、より高い縦方向および軸方向空間解像度、または両方がもたらされるため、シンプルな広視野イメージング技術を用いてキャプチャされた画像よりも優れている。
共焦点イメージングシステムは、構造化照明システムの一種である。共焦点イメージングシステムは、信号雑音比を向上させる、または光学解像度を増大させるのに用いることができる。共焦点イメージングシステムでは、サンプルの焦点があっている薄い部分のみを撮像し、焦点面の上下からの光は全て遮光することを目的とする。これは、焦点の合っていないエレメントが画像中の大きなエレメントとして見えるままである、より基本的な広視野イメージングとは対照的である。
従来の共焦点システムは、大まかには、シングルポイント共焦点システムと、マルチポイント共焦点システムとに分けることができる。シングルポイント共焦点システムでは、色素を励起するのに用いられる照明がピンホールを介してサンプルに透過され、その後、サンプルからの蛍光放射が別のピンホールを介してフォトディテクタ内に透過される。ピンホールのサイズと光学系は、焦点が合っているサンプルの薄片から放射された光子のみから戻る光を受光するよう設計される。
本技術は、1ポイントのみを撮像可能である。したがって、単一2D共焦点画像を構築するためには、ビームまたはサンプルを2次元で前後にスキャンさせなければならない。このような従来のシステムにおけるビームは一般的に、固定されたサンプル上でスキャンされるが、これは、非常に高速で非常に正確なミラーをフォトディテクタに同期させることを必要とする。
マルチポイント共焦点システムでは、動作原理は上記と同一であるが、複数のポイントが並行して撮像される。典型的には、ピンホールのパターンを有するディスクが、露光中に照明が視野にわたるように回転される。スピニングディスク共焦点イメージングシステムの一例を図7に示す。
図7から分かるように、光源からの光802は、第二のディスク808に含まれるピンホールマスク810上に光を集束させる複数の集束レンズ806を含む第一のディスク804上に入射する。ピンホールマスク810を透過する光802がその後、対物レンズ812を介して試料814上に集束される。光802が蛍光体に吸収され、それにより蛍光体が光816を放射し、これが対物レンズ812およびピンホールマスク810を逆透過して、ミラー818上に入射する。ミラー818は、例えば光学系820を介して、放射された光816を、それが検出され得るセンサ822上に反射させる。
図7に示すようなシステムは、シングルポイントシステムよりも高速で画像をキャプチャ可能であるが、こうしたシステムも、ピンホールとディテクタとの間のより複雑な同期を必要とする。
こうした従来の蛍光イメージングシステムにおける別の課題は、蛍光退色である。このようなシステムでは、サンプルを見ることにより、時間をかけてサンプルが調光される。蛍光退色として知られるこの効果は、励起光のエネルギーが色素の分子を徐々に損傷し、結果としてその蛍光反応を低減させる結果である。この効果は、励起光に露光されたサンプルの領域のみにおいて明白であり、露光の期間および強度に基づいて変動する。したがって、サンプルの生態には明らかな差異がないにもかかわらず、サンプルの一方の領域を非常に薄暗く(大きく蛍光退色した)し、他方の領域を非常に明るく(全く蛍光退色していない)することが可能である。
構造化照明の適用において、この効果は、質的および量的な問題を生じかねない。構造化照明の基本的概念は、一度にサンプルの小さな部分のみを照らし、その後に複数の一部を照らしたサンプルの視野を、1つの全体を照らした視野へと画像処理ソフトウェアで結合することである。これは、光と光学系の特定の特徴を活用して画像をキャプチャするが、このことは標準的な広視野照明では可能ではない。サンプルは通常過度に照明されるため、一度に撮像されるサンプル領域の単なるサブセットよりも広い領域が受光する。このことは、まだ撮像していないサンプルの領域の蛍光退色を生じさせ、そのため、これらの領域が撮像されるときに、プロセスのより早くにこの領域が撮像されたならば有したであろうよりも見かけの輝度が低い。画像を結合する場合、これによって定量分析における強い人工的な周期的傾向と、定性分析における視覚的に明白なパターンとが生じる場合がある。
この問題を克服するための従来的な方法がいくつかある。1つ目は、蛍光退色による低輝度を補償するために、キャプチャプロセスが進行するにつれてキャプチャ設定を変更することができる。ただしこのアプローチは、システムの全エレメントがいくつかの変数に対して非常に良好に定量化されていなければならず、また、個々のサンプルに対して較正される必要があり得る。2つ目は、個々の画像の輝度を後処理において調整して、低下する輝度を補償することができる。3つ目は、より集束された照明源(レーザなど)が余分な蛍光退色を生じさせる過度の照明の多くを防止することができる。
本明細書では、システムを用いて放射路にピンホールマスクを必要とすることなく構造化照明画像を生成することが可能となるよう、蛍光イメージングシステムを較正するのためのシステムおよび方法が開示される。
一態様によると、イメージングシステムを較正する方法は、ピンホールマスクを介して励起光を用いてサンプルを照明することと、センサを用いてサンプルの画像をキャプチャすることと、画像をデータに変換することと、処理モジュールにおいて、ピンホールマスクのピンホールの既知の間隔を用いてデータをフィルタして間隔に対応するデータを取得し、閾値を用いてピンホールに関連付けるのに十分に明るい残存データの領域を特定し、領域の重心を算出し、データに対する最良適合を特定するために、ピンホールマスクに対する既知のパターンを領域に適合させることと、記憶媒体に、最良適合データを以後の共焦点キャプチャルーチンで用いるために保存することと、を含む。
別の態様によると、蛍光イメージングシステムは、ピンホールマスクを介して励起光を用いてサンプルを照明するよう構成された照明源と、ピンホールマスクまたはサンプルを第一の位置に移動させるよう構成された移動装置と、第一の位置においてサンプルの画像をキャプチャして画像をデータに変換するよう構成されたセンサと、ピンホールマスクのピンホールの既知の間隔を用いてデータをフィルタして間隔に対応するデータを取得し、閾値を用いてピンホールに関連付けるに十分に明るい残存データの領域を特定し、領域の重心を算出し、ピンホールマスクに対する既知のパターンを、データに対する最良適合を特定するために領域に適合させるよう構成された画像処理モジュールと、記憶媒体に最良適合データを保存するよう構成された記憶媒体と、以後の共焦点キャプチャルーチンで用いるためのサンプルの複数の画像を取得するために、最良適合データを用いて照明源と移動装置とを制御するよう構成された制御モジュールと、を備える。
別の態様によると、蛍光イメージングシステムにおいて取得される合成共焦点画像をキャプチャする方法は、ピンホールマスクを介して励起光を用いてサンプルを照明することと、移動装置を用いてピンホールマスクまたはサンプルを第一の位置に移動することと、第一の位置においてサンプルの画像をキャプチャすることと、画像をデータに変換することと、画像処理モジュールにおいて、ピンホールマスクのピンホールの既知の間隔を用いてデータをフィルタして間隔に対応するデータを取得し、閾値を用いてピンホールに関連付けるに十分に明るい残存データの領域を特定し、領域の重心を算出し、データに対する最良適合を特定するためにピンホールマスクに対する既知のパターンを領域に適合させることと、記憶媒体に最良適合データを保存することと、制御モジュールにおいて、以後の共焦点キャプチャルーチンで用いるためのサンプルの複数の画像を取得するために、最良適合データを用いて照明源と移動装置を制御することと、を含む。
本発明は、例えば、以下を提供する。
(項目1)
イメージングシステムを較正する方法であって、
ピンホールマスクを介して励起光を用いてサンプルを照明すること、
センサを用いて、前記サンプルの画像をキャプチャすること、
前記画像をデータに変換すること、
処理モジュールにおいて、
ピンホールマスクのピンホールの既知の間隔を用いて前記データをフィルタして、前記間隔に対応するデータを取得することと、
閾値を用いて、ピンホールに関連付けるのに十分に明るい残存データの領域を特定することと、
前記領域の重心を算出することと、
前記ピンホールマスクに対する既知のパターンを、前記ピンホールの位置に関する、前記データに対する最良適合を特定するために前記領域に適合させること、そして、
記憶媒体に、前記最良適合データを以後の共焦点キャプチャルーチンで用いるために保存すること、を含む、方法。
(項目2)
前記処理モジュールにおいて、前記キャプチャした画像に対応する前記データを高めることをさらに含む、項目1に記載の方法。
(項目3)
前記データを高めることが、前記データの鮮鋭度およびコントラストをブーストすることを含む、項目2に記載の方法。
(項目4)
前記データをフィルタすることが、前記データを周波数ドメインに変換し、バンドパスフィルタを前記変換したデータに適用することを含む、項目1に記載の方法。
(項目5)
前記処理モジュールにおいて、雑音を除去し、前記フィルタされたデータにおける輝度変化を算出することをさらに含む、項目1に記載の方法。
(項目6)
前記処理モジュールにおいて、輝度閾値を上回る前記フィルタされたデータにおけるデータのみを維持することをさらに含む、項目5に記載の方法。
(項目7)
ヒストグラムビニング技法を用いて、前記輝度閾値を上回るデータを特定する、項目6に記載の方法。
(項目8)
前記処理モジュールにおいて、回転、スケールおよびオフセット係数のうちの少なくとも1つを、反復プロセスにおいて一対の重心に適用して、前記最良適合を特定することを助けることをさらに含む、項目1に記載の方法。
(項目9)
前記ピンホールの前記位置に対する前記最良適合データを用いて、前記ピンホールの前記位置に関連付けられたデータを処理し、前記ピンホールの前記位置に関連しないデータは無視することで、前記サンプルの共焦点合成画像を取得することをさらに含む、項目1に記載の方法。
(項目10)
蛍光イメージングシステムであって、
ピンホールマスクを介して励起光を用いてサンプルを照明するよう構成された照明源と、前記ピンホールマスクまたは前記サンプルを第一の位置に移動させるよう構成された移動装置と、
前記第一の位置で前記サンプルの画像をキャプチャして、前記画像をデータに変換するよう構成されたセンサと、
画像処理モジュールであって、
前記ピンホールマスクのピンホールの既知の間隔を用いて前記データをフィルタして、前記間隔に対応するデータを取得し、
閾値を用いて、ピンホールに関連付けるのに十分に明るい残存データの領域を特定し、
前記領域の重心を算出し、
前記ピンホールマスクに対する既知のパターンを、前記ピンホールの位置に関する、前記データに対する最良適合を特定するために前記領域に適合させるよう構成された画像処理モジュールと、
前記最良適合データを保存するよう構成された記憶媒体と、
以後の共焦点キャプチャルーチンで用いるために前記サンプルの複数の画像を取得するために、前記照明源および前記移動装置を制御するよう構成された制御モジュールと、を備える、システム。
(項目11)
前記画像処理モジュールはさらに、前記キャプチャした画像に対応する前記データを高めるよう構成される、項目10に記載のシステム。
(項目12)
前記データを高めることが、前記データの鮮鋭度およびコントラストをブーストすることを含む、項目11に記載のシステム。
(項目13)
前記データをフィルタすることが、前記データを周波数ドメインに変換し、バンドパスフィルタを前記変換したデータに適用することを含む、項目10に記載のシステム。
(項目14)
前記画像処理モジュールはさらに、雑音を除去し、前記フィルタされたデータにおける輝度変化を算出するよう構成される、項目10に記載のシステム。
(項目15)
前記画像処理モジュールはさらに、輝度閾値を上回るデータのみを維持するよう構成される、項目14に記載のシステム。
(項目16)
前記画像処理モジュールはさらに、ヒストグラムビニング技法を適用して前記輝度閾値を上回るデータを特定するよう構成される、項目15に記載のシステム。
(項目17)
前記画像処理モジュールはさらに、回転、スケールおよびオフセット係数のうちの少なくとも1つを、反復プロセスにおいて一対の重心に適用して、前記最良適合を特定することを助けるよう構成される、項目10に記載のシステム。
(項目18)
前記画像処理モジュールはさらに、前記ピンホールの前記位置に対する前記最良適合データを用いて、前記ピンホールの前記位置に関連付けられたデータを処理し、前記ピンホールの前記位置に関連しないデータは無視することで、前記サンプルの共焦点合成画像を取得するよう構成される、項目10に記載のシステム。
(項目19)
前記センサは電荷結合素子(CCD)またはCMOS素子を含む、項目10に記載のシステム。
(項目20)
前記画像処理モジュールはさらに、前記複数の画像および前記最良適合データを用いて合成共焦点画像を生成するよう構成される、項目10に記載のシステム。
(項目21)
前記ピンホールマスクは矩形、四角形、または円筒状マスクである、項目10に記載のシステム。
(項目22)
蛍光イメージングシステムにおいて取得される合成共焦点画像をキャプチャする方法であって、
ピンホールマスクを介して励起光を用いてサンプルを照明すること、
前記ピンホールマスクまたは前記サンプルを移動装置を用いて第一の位置に移動させること、
前記第一の位置において前記サンプルの画像をキャプチャすること、
前記画像をデータに変換すること、
画像処理モジュールにおいて、
前記ピンホールマスクのピンホールの既知の間隔を用いて前記データをフィルタして、前記間隔に対応するデータを取得することと、
閾値を用いて、ピンホールに関連付けるのに十分に明るい残存データの領域を特定することと、
前記領域の重心を算出することと、
前記ピンホールマスクに対する既知のパターンを、前記ピンホールの位置に関して、前記データに対する最良適合を特定するために前記領域に適合させること、
前記最良適合データを記憶媒体に保存すること、そして、
制御モジュールにおいて、以後の共焦点キャプチャルーチンで用いるために前記サンプルの複数の画像を取得するために、前記照明源および前記移動装置を制御すること、を含む、方法。
(項目23)
前記画像処理モジュールにおいて、前記キャプチャした画像に対応する前記データを高めることをさらに含む、項目22に記載の方法。
(項目24)
前記データを高めることが、前記データの鮮鋭度およびコントラストをブーストすることを含む、項目23に記載の方法。
(項目25)
前記データをフィルタすることが、前記データを周波数ドメインに変換し、バンドパスフィルタを前記変換したデータに適用することを含む、項目22に記載の方法。
(項目26)
前記画像処理モジュールにおいて、雑音を除去し、前記フィルタされたデータにおける輝度変化を算出することをさらに含む、項目22に記載の方法。
(項目27)
前記画像処理モジュールにおいて、輝度閾値を上回るデータのみを維持することをさらに含む、項目22に記載の方法。
(項目28)
前記画像処理モジュールにおいて、ヒストグラムビニング技法を適用して前記輝度閾値を上回るデータを特定することをさらに含む、項目22に記載の方法。
(項目29)
前記画像処理モジュールにおいて、回転、スケールおよびオフセット係数のうちの少なくとも1つを、反復プロセスにおいて一対の重心に適用して、前記最良適合を特定することを助けることをさらに含む、項目22に記載の方法。
(項目30)
前記画像処理モジュールにおいて、前記ピンホールの前記位置に対する前記最良適合データを用いて、前記ピンホールの前記位置に関連付けられたデータを処理し、前記ピンホールの前記位置に関連しないデータは無視することで、前記サンプルの共焦点合成画像を取得することをさらに含む、項目22に記載の方法。
(項目31)
前記画像処理モジュールにおいて、前記複数の画像および前記最良適合データを用いて合成共焦点画像を生成することをさらに含む、項目22に記載のシステム。
本発明のこれらおよび他の特徴、態様、ならびに実施形態は、「発明を実施するための形態」と題される項において以下に記載される。
特徴、態様、ならびに実施形態は、添付の図面と共に記載される。
図1は、一実施形態によって構成された蛍光イメージングシステムの一例である。 図2は、図1の少なくともいくつかの構成要素の光キューブ実装の実施形態の一例を示す。 図3は、一実施形態による、図1のシステムを用いてキャプチャされる画像において蛍光退色によって生じるものなどの周期的なアーティファクトを除去するためのプロセスの一例を示すフローチャートである。 図4は、一実施形態による、図1の照明システムの動作を制御するための制御システムの一例を示す。 図5は、一実施形態による、図1のシステム、および、特に、図2の光キューブ実装に用いることが可能なピンホールマスクの一例を示す。 図6Aは、広視野画像キャプチャを例示する。 図6Bは、対応するピンホール画像キャプチャを例示する。 図6Cおよび6Dは、ラスタスキャンされた共焦点画像キャプチャを例示する。 図6Cおよび6Dは、ラスタスキャンされた共焦点画像キャプチャを例示する。 図6Eおよび6Fは、図のプロセスに従い実行されるランダムスキャンされた画像キャプチャを例示する。 図6Eおよび6Fは、図のプロセスに従い実行されるランダムスキャンされた画像キャプチャを例示する。 図7は、従来のスピニングディスク共焦点イメージングシステムを示す。 図8は、本明細書に記載の種々の実施形態に関連して用いることが可能な、有線または無線システムの一例を示す。 図9は、一実施形態による、図1のシステム、および、特に図2の光キューブに用いることが可能な移動装置の一例を示す。 図10は、一実施形態による、放射路ピンホールマスクを不要にするために図1のシステムを較正する方法の一例を示す。 図11Aは、画像に対して判定されたピンホールの位置を示す。 図11Bは、生データと比較してオーバーレイされた判定された位置の画像の一部のクローズアップである。
本明細書に記載の実施形態で、構造化照明画像を生成するためのシステムおよび方法が開示される。記載の実施形態は例示としてのみ記載される。さらに、図は例示であり、開示のシステムおよび方法の記載を助けることを意図するものである。したがって、図は、完全なシステムを描くのに必要な構成要素、回路、エレメント等の全てを含んでいない場合がある。したがって、図およびそれらに伴う開示は実施形態を特定の構成に制限するものとみなされるべきではなく、開示の構成においてさらなる構成要素等の、または更なる構成の含有を排除するものとみなされるべきではない。
上記のとおり、構造化照明システムは、従来の広視野システムに対して特定の利点を有する。共焦点イメージングシステムは、構造化照明システムの一種である。共焦点イメージングシステムは、光学解像度およびコントラストを増大させて、取得した一連の画像から3次元構造を再構築することを可能にするために用いることができる。共焦点イメージングシステムでは、サンプルの焦点があっている薄い部分のみを撮像し、焦点面の上下からの光は全て遮光することを目的とする。これは、焦点の合っていないエレメントが画像中の大きなエレメントとして見えるままである、より基本的な広視野イメージングとは対照的である。
従来の共焦点システムは、大まかには、シングルポイント共焦点システムと、マルチポイント共焦点システムとに分けることができる。シングルポイント共焦点システムでは、色素を励起するのに用いられる照明がピンホールを介してサンプルに透過され、その後、サンプルからの蛍光放射が別のピンホールを介してフォトディテクタ、すなわち本質的に単画素カメラ、内に透過される。ピンホールのサイズと光学系は、焦点が合っているサンプルの薄片から放射された光子のみから戻る光を受光するよう設計される。
本技術は、1ポイントのみ、すなわち一度に画像の1画素のみを撮像可能である。したがって、単一2D共焦点画像を構築するためには、ビームまたはサンプルを2次元で前後にスキャンさせなければならない。このような従来のシステムにおけるビームは一般的に、固定されたサンプル上でスキャンされるが、これは、非常に高速で非常に正確なミラーをフォトディテクタに同期させることを必要とする。
マルチポイント共焦点システムでは、動作原理は上記と同一であるが、複数のポイントが並行して撮像される。典型的には、ピンホールのパターンを有するディスクが、露光中に照明が視野にわたるように回転される。スピニングディスク共焦点イメージングシステムの一例を図7に示す。
図7から分かるように、光源からの光802は、第二のディスク808に含まれるピンホールマスク810上に光を集束させる複数の集束レンズ806を含む第一のディスク804上に入射する。ピンホールマスク810を透過する光802がその後、対物レンズ812を介して試料814上に集束される。光802が蛍光体に吸収され、それにより蛍光体が光816を放射し、これが対物レンズ812およびピンホールマスク810を逆透過して、ミラー818上に入射する。ミラー818は、例えば光学系820を介して、放射された光816を、それが検出され得るセンサ822上に反射させる。
図7に示すようなシステムは、シングルポイントシステムよりも高速で画像をキャプチャ可能であるが、こうしたシステムも、ピンホールとディテクタとの間のより複雑な同期を必要とする。
図1は、本明細書に記載のシステムおよび方法によって構成された、蛍光イメージングシステム100の実施形態の一例を示す。図示されるように、システム100は、照明光104を生成するよう構成された光源104を含む。ソース102は、実装に応じて、例えば発光ダイオード(LED)またはレーザであってもよい。ピンホール光学系106は、光102をピンホールマスク108上に集束させてもよい。マスク108を透過する光は、例えば対物レンズ112を介してサンプル114に光を方向付ける、ダイクロイックミラーなどのミラー110上に入射する。光104が蛍光体に吸収され、それにより蛍光体が光116を放射し、これが対物レンズ112およびミラー110を通って、センサ120上に逆透過する。フィルタ118は、放射がセンサ120に入射する前に放射をフィルタすることができる。
特定の実施形態では、システム100が従来のシステムにおけるように、光放射116の経路にピンホールマスクを含む場合があるが、以下に詳細に説明するように、別の実施形態では放射路ピンホールマスクを除去することができる。
センサ120は、例えば、電荷結合素子(CCD)またはCMOS素子とし得る。また、ピンホールマスクには、直角座標系、四角形座標系、または円筒座標系などの座標系によって規定できる予測可能なパターンが含まれ得る。したがって、マスクは、例えば、ディスク上で回転するのではなく、x-y平面で移動させ得る。しかし、円筒座標系を用いる場合には、マスクはなおも回転してもよい。図5は、一実施形態による、マスク500の一例を示す。図示されるように、マスク500は、マスク501および502などの複数のピンホールマスクを含み得る。
したがって、図2に示すように、光源102、イメージング光学系106、マスク108、ミラー110およびフィルタ118は、非常にコンパクトな光キューブ200に含めることができる。また、光キューブは、制御システムと通信して光キューブ200の種々の態様を制御するよう構成可能な回路基板220を含んでもよい。したがって、図5のマスク500は、光キューブ200に挿入されるように構成され得る。
上記のとおり、ディスクベースのラスタスキャンシステムなどの従来的なシステムを介してキャプチャされた画像は、例えば、蛍光退色によって生じたものなどの周期的な視覚アーティファクトを含む場合がある。これらのアーティファクトを低減するための従来的な方法は有用であるが、システム100を、個々の一部を照明した画像をその都度ランダムにキャプチャすることでこうしたアーティファクトの影響を低減するよう構成することが可能である。
図3は、蛍光退色によって生成されるものなどの周期的なアーティファクトを除去するためのプロセスの一例を示すフローチャートである。最初に、ステップ305で、例えば、制御システム400で動作している画像制御モジュール402が、全照明合成画像を適切に構築するためにマスク106が位置付けられるべき異なる物理的位置を判定することができる。通常、一旦これらの位置が判定されると、システム400は移動制御モジュール(複数可)406を介して移動ステージを制御して線形に移動させる、つまり、移動ステージが位置それぞれを順番に移動して、画像をキャプチャする。また、制御モジュール402は通常、位置それぞれのキャプチャ設定を判定し、このキャプチャ設定を用いて画像をキャプチャするために照明制御408を制御する。
しかし、図3の実施形態で、ステップ310で、制御モジュール402は移動ステージをランダム化された順序で位置のそれぞれの1つに進め、データをキャプチャする。さらに、制御モジュール402を、画像それぞれがその都度同一のキャプチャ設定でキャプチャされるよう構成することができる。これは、カメラまたはセンサと照明制御とが、キャプチャそれぞれの前に新たな設定を確認するために制御システム400と通信しなくてもよいため、より高速な個々のキャプチャを可能にする。
ステップ310で画像がキャプチャされると、画像処理モジュール404を用いてステップ315で合成共焦点画像を生成することができる。その後、画像処理モジュール404は背景情報から信号を識別し、ステップ320で、キャプチャプロセスの別個のステップにおける信号強度の低下を測定するよう構成されてもよい。実験的に観察された蛍光退色の挙動に一致するようモデルされた曲線などのモデル、つまり、時間関数としての相対的輝度を、その後、ステップ325でデータポイントに適合させることができる。この曲線から、第一を除くシーケンスにおける全画像の輝度を、ステップ330で調整して、蛍光退色の明らかな効果のいくつかを除去することができる。
モデルが画像に適用され、種々のデータポイントの輝度が調整される前後で合成画像を生成することが可能であることに留意されたい。
また、図3のプロセスを全画像に厳密に適用することは演算集約的となる場合があり、特定のインスタンスでは、所与の現行の処理能力制約が長くなりすぎるであろうことにも留意されたい。したがって、特定の実施形態では、モデルの適用(ステップ325)は、いくつかの画像にのみ適用され得る。その後、いくつかの画像への適用に基づく、残りの画像の輝度の近似補正を、随意のステップ335で示すように行い得る。例えば、モデルは画像に、順序の最初、中間、および最後に適用してもよく、その後、指数関数的減衰がこれらのポイントに適合されてもよい。この修正されたプロセスは、良好な品質の画像の相対的迅速な取得をもたらし得る。
図4は、照明システム100の動作を制御するための制御システムの一例400を示す。図に示すように、システム400は画像オーソリティ412を含む。画像オーソリティ412は、本明細書に記載のシステムおよび方法の特定の部分を実施するのに必要な全てのリソースを含み得る。したがって、オーソリティ412は、任意の信号プロセッサ、数値演算コプロセッサ、マイクロコントローラ等を含む1つ以上のプロセッサ、1つ以上のサーバ、1つ以上のルータ、1つ以上の端末、デスクトップまたはポータブルコンピュータを含む1つ以上のコンピュータを含むこれらの部分に必要なハードウェアおよびソフトウェアリソースの全て、ならびに、本明細書に記載のシステムおよび方法のこれらの部分または態様を実行するのに必要な全てのAPIのプログラム、ソフトウェアモジュール等を含み得る。このように、本明細書に記載するものなどのモジュールは、特定の機能を実行するのに必要なハードウェアおよびソフトウェアリソースを含み得る。
具体的には、オーソリティ412は、システム100の動作を制御し、そこから取得したデータを処理するよう構成された種々のモジュールを含み得る。図4に図示するように、これらのモジュールは、例えば移動制御モジュール406を介してシステム100における移動ステージを制御するよう構成可能な画像制御モジュール402を含み得る。また、制御モジュール402は照明制御モジュール408を介して照明を制御するようにも構成可能である。
オーソリティ410は、センサ120によって取得された画像データを処理するよう構成された処理モジュール404も含み得る。
移動制御モジュール406と照明制御モジュール408のうちのいくつかまたは全ては、システム100内、例えば光キューブ200内、またはキューブ200がインタフェースされる移動ステージ内にある場合があることに留意されたい。
図6Aおよび6Bは、広視野画像キャプチャと対応するピンホール画像キャプチャとを示す。図6Cおよび6Dから分かるように、ラスタスキャンされた共焦点画像は向上した解像度とコントラストとを提供可能であるが、図6Eおよび6Fに示すように、図3のランダムスキャンされた画像キャプチャプロセスは、さらに良好な解像度およびコントラストを、より短い時間かつより少ない処理リソースで提供することができる。
上記のように、本明細書に記載のシステムは、マルチポイント共焦点システムである。スピニングディスクの代わりに、図7に図示するように、ピンホールのパターンが、小さな、例えば図5に示すようにスライドガラス上に印刷されてもよい。このスライドを、例えば図2の光キューブ構成にあるように、励起光源102の前に固定してもよい。マスクを適切な位置に位置付けてそれぞれのキャプチャ前にサンプルの異なる部分を照明する小さな移動ステージを用いて、マスクが動かされる。
図9は、一実施形態による、複数の移動ステージ902a、b、cとチップ/チルト調整機構904とを含む移動装置900の構成の一例を示す。図に示すように、移動ステージ902およびチップ/チルト調整機構904は、例えば制御モジュール402および移動制御406の制御下で、マスク108を動かし、これを位置付けることができる。光キューブ200に加えてこのタイプの移動装置900は、いくつかの異なるピンホールパターン、例えば501および502がスライドそれぞれの上に印刷されることを可能にするシンプルかつコンパクトなソリューションを提供する。これは、さらなる可撓性を可能とし、ユーザに速度と品質の間の選択を付与する。
また、上記のように、特定の実施形態では、本明細書に記載のシステムおよび方法は、放射路上のピンホールマスクの必要性を排除するよう構成可能である。代わりに、本明細書に記載のシステムおよび方法は、CCDやCMOS素子などの高解像度センサ120を用いて、戻った画像を視覚的にマスクオフして、画像の「良好な」領域のデータを記録するだけとするよう構成することができる。システム100が良好なデータの位置を知るためには、ピンホール108のセンサ120に対する位置を知らなければならない。これは、共焦点キャプチャルーチンの開始において、かつ例えば処理モジュール404内の画像処理を用いて較正画像を取り出して、ピンホールアレイ108のセンサ120に対する位置を判定することによって達成される。このようにして、システムは、少なくとも部分的に自己較正型であり、画像品質を大幅に損なうことなく、光キューブ200の位置などの、画像間システム位置決めにおける小さなエラーを許容することができる。
要するに、ピンホールマスク、つまり図11Aの画像における明るいスポットが特定され、その後これらの位置からのデータを処理して共焦点画像を生成する一方、これらの領域外のデータは無視する。カメラセンサに対するピンホールアレイの位置を確立するのに用いることができるプロセスは、図10に示すようにいくつかの別個のステップを有する。まず、ステップ1005で、マスクのピンホールの画像を取得する。その後、ステップ1010で、種々の画像処理技術を用いてマスクの画像を高め、定量分析により適したものとすることができる。ピンホールの間隔は、例えば処理モジュール404に対して既知の量であるので、ステップ1015で、フーリエ変換を用いてデータを周波数ドメインに移動させ、ステップ1020で、かかる間隔に対応するデータを見つけるためにバンドパスフィルタを用いることができる。
その後、ステップ1025で雑音を除去して画像における輝度変化を算出することができる。例えば、ステップ1025でオープニング技法を用いることができる。その後ステップ1030で最も明るいデータを選択することができる。例えば、ヒストグラムビニング技法を用いてこの最も明るいデータのみを維持することができる。この点で、ステップ1035で、高められた画像におけるピンホールを位置させることができる。例えば、ピンホールと考えるに十分に明るい信号の領域を特定する、閾値アルゴリズムを適用することができる。その後、これらの領域の重心を計算して次のステップで用いるために記憶することができる。
次に、ステップ1040で、既知のマスクパターンを観察したデータに適合させ、これによってマスク位置をセンサに関連付ける。例えば、ランダムサンプルコンセンサス(RANSAC)法を用いて、種々の回転、スケールおよびオフセット係数を一度に2つの重心に対して既知のマスクパターンに適用およびテストすることができる。秒以下で何百もの可能性をテストできるよう、この反復プロセスを並列化することができる。最良適合が判定されると、マスクパターンは、以後の共焦点キャプチャルーチンで用いるために記憶される。
図10のプロセス全体は、例えば消費者向けコンピュータ上で動作する間に数秒で完了し得るため、それぞれの共焦点キャプチャ前にこの較正を行うことが可能かつ実用的である。さらに、複数のピンホールを一度に撮像するため、システム100は、シングルポイントシステムでは発生し得る時間ペナルティ無しに高解像度の画像をキャプチャすることができる。さらに、スピニングディスクシステムと比較して、マスクを移動させるアプローチは、画像キャプチャ中にピンホールが固定されるので、ぶれと振動の問題を除去する。
図11Aは、判定されたピンホールがオーバーレイされた画像に対してキャプチャされたデータを示し、ピンホール位置は、図10のプロセスを用いて判定されている。図11Bは、右側の生データに対照させた判定されたピンホールのクローズアップを示す。
図8は、本明細書に記載の種々の実施形態に関連して用いることができる有線または無線システム550の一例を示す。例えば、システム550は、既に記載した1つ以上の機構またはプロセスとして、またはこれらと共に用いることができ、システム100または400の構成要素、対応サーバ(複数可)、および/または本明細書に記載の他の装置を表し得る。システム550は、サーバまたは任意の従来のパーソナルコンピュータ、または有線もしくは無線データ通信が可能な任意の他のプロセッサ対応装置のうちの1つ以上の組み合わせで有り得る。当業者に明らかであるように、他のコンピュータシステムおよび/またはアーキテクチャも用い得る。
システム550は、プロセッサ560などの1つ以上のプロセッサを含むことが好ましい。入力/出力を管理する補助プロセッサ、浮動小数点数値演算を実行する補助プロセッサ、信号処理アルゴリズムの高速実行に適したアーキテクチャを有する専用マイクロプロセッサ(例えば、デジタル信号プロセッサ)主処理システムに従属するスレーブプロセッサ(例えば、バックエンドプロセッサ)、デュアルまたは複数のプロセッサシステム用の追加のマイクロプロセッサまたはコントローラ、またはコプロセッサなどの、追加のプロセッサが設けられてもよい。こうした補助プロセッサは、別個のプロセッサであってもよく、プロセッサ560に組み込まれてもよい。システム550と用いられ得るプロセッサの例には、これらに限定されるものではないが、全てIntel Corporation(カリフォルニア州サンタクララ)から入手可能な、Pentium(登録商標)プロセッサ、Core i7(登録商標)プロセッサ、およびXeon(登録商標)プロセッサが含まれる。
プロセッサ560は、通信バス555に接続されることが好ましい。通信バス555は、システム550のストレージと他の周辺構成要素との間の情報伝達を促進するためのデータチャネルを含み得る。通信バス555はさらに、データバス、アドレスバス、および制御バス(図示せず)を含む、プロセッサ560との通信に用いられる一組の信号を提供し得る。通信バス555は、例えば、業界標準アーキテクチャ(ISA)、拡張業界標準アーキテクチャ(EISA)、マイクロチャネルアーキテクチャ(MCA)、周辺構成要素相互接続(PCI)ローカルバスに準拠するバスアーキテクチャ、またはIEEE488汎用インタフェースバス(GPIB)、IEEE696/S-100等を含む米国電気電子学会(IEEE)によって公布される標準規格などの、標準または非標準規格バスアーキテクチャを含み得る。
システム550が主メモリ565を含むことが好ましく、補助メモリ570も含んでもよい。主メモリ565は、上記の1つ以上の機能および/またはモジュールなどの、プロセッサ560上で実行される命令およびデータのストレージを提供する。メモリに記憶され、プロセッサ560によって実行されるプログラムは、これらに限定されないが、C/C++、Java(登録商標)、JavaScript(登録商標)、Pearl、Visual Basic、NET等を含む任意の適切な言語に従って書き込みおよび/またはコンパイルされ得ることを理解されたい。主メモリ565は一般的に、ダイナミックランダムアクセスメモリ(DRAM)および/またはスタティックランダムアクセスメモリ(SRAM)などの半導体ベースのメモリである。他の半導体ベースのメモリの種類には、例えば、読み出し専用メモリ(ROM)を含む、同期型ダイナミックランダムアクセスメモリ(SDRAM)、Rambusダイナミックランダムアクセスメモリ(RDRAM)、強誘電体ランダムアクセスメモリ(FRAM(登録商標))等が含まれる。
補助メモリ570は、任意選択で、内部メモリ575および/または、例えば、フロッピー(登録商標)ディスクドライブ、磁気テープドライブ、コンパクトディスク(CD)ドライブ、デジタル多用途ディスク(DVD)ドライブ、他の光学ドライブ、フラッシュメモリドライブ等のリムーバブル媒体580を含んでもよい。リムーバブル媒体580は、既知の様式で読み出されるおよび/または書き込まれる。リムーバブル記憶媒体580は、例えば、フロッピー(登録商標)ディスク、磁気テープ、CD、DVD、SDカード等とし得る。
リムーバブル記憶媒体580は、記憶されたコンピュータ実行可能コード(つまり、ソフトウェア)および/またはデータを有する非一時的コンピュータ可読媒体である。リムーバブル記憶媒体580上に記憶されたコンピュータソフトウェアまたはデータは、プロセッサ560による実行のためにシステム550に読み出される。
代替の実施形態では、補助メモリ570が、コンピュータプログラムまたは他のデータ、あるいは命令をシステム550にロードすることを可能にする他の類似の手段を含み得る。このような手段には、例えば、外部記憶媒体595およびインタフェース590が含まれ得る。外部記憶媒体595の例には、外部ハードディスクドライブまたは外部光学ドライブ、または外部光磁気ドライブを含み得る。
補助メモリ570の他の例には、プログラム可能な読み出し専用メモリ(PROM)、消去可能でプログラム可能な読み出し専用メモリ(EPROM)、電気的消去可能な読み出し専用メモリ(EEPROM)、またはフラッシュメモリ(EEPROMに類似のブロック配向メモリ)などの半導体ベースのメモリが含まれ得る。同じく含まれるのは、任意の他のリムーバブル記憶媒体580と通信インタフェース590であり、これらは、ソフトウェアおよびデータが外部媒体595からシステム550に伝達されることを可能にする。
システム550は、通信インタフェース590を含んでもよい。通信インタフェース590は、ソフトウェアおよびデータがシステム550と外部装置(例えば、プリンタ)、ネットワーク、または情報源との間で伝達されることを可能にする。例えば、コンピュータソフトウェアまたは実行可能なコードは、通信インタフェース590を介してネットワークサーバからシステム550に伝達され得る。通信インタフェース590の例には、ビルトインネットワークアダプタ、ネットワークインタフェースカード(NIC)、パーソナルコンピュータメモリカードインターナショナルアソシエーション(PCMCIA)ネットワークカード、カードバスネットワークアダプタ、無線ネットワークアダプタ、ユニバーサルシリアルバス(USB)ネットワークアダプタ、モデム、ネットワークインタフェースカード(NIC)、無線データカード、通信ポート、赤外線インタフェース、IEEE1394ファイヤワイヤ、またはシステム550をネットワークまたは他のコンピューティング装置とインタフェースさせることが可能な任意の他の装置が含まれる。
通信インタフェース590は、イーサネット(登録商標)IEEE802標準規格などの業界公布プロトコル標準規格、ファイバチャネル、デジタル加入者線(DSL)、非同期デジタル加入者線(ADSL)、フレームリレー、非同期転送モード(ATM)、サービス総合デジタル網(ISDN)、パーソナル通信サービス(PCS)、伝送制御プロトコル/インターネットプロトコル(TCP/IP)、シリアルラインインターネットプロトコル/ポイントツーポイントプロトコル(SLIP/PPP)等を実装することが好ましいが、加えて、カスタマイズされた、あるいは非標準のインタフェースプロトコルも実装してよい。
通信インタフェース590を介して伝達されるソフトウェアおよびデータは通常、電気通信信号605の形態である。これらの信号605は、通信チャネル600を介して通信インタフェース590に供給されることが好ましい。一実施形態で、通信チャネル600は、有線または無線ネットワークである、あるいは、他の多様な通信リンクであってもよい。通信チャネル600は、信号605を伝達し、2、3例を挙げると、ワイヤまたはケーブル、ファイバ光学系、従来の電話線、携帯電話リンク、無線データ通信リンク、無線周波数(「RF」)リンク、または赤外線リンクを含む種々の有線または無線通信手段を用いて実装することができる。
コンピュータ実行可能コード(つまり、コンピュータプログラムまたはソフトウェア)は、主メモリ565および/または補助メモリ570に記憶される。また、コンピュータプログラムは、通信インタフェース590を介して受信され、主メモリ565および/または補助メモリ570に記憶することができる。このようなコンピュータプログラムは、実行されると、既に記載したように、システム550が本発明の種々の機能を実行することを可能にする。
本明細書において、用語「コンピュータ可読媒体」とは、システム550にコンピュータ実行可能コード(例えば、ソフトウェアおよびコンピュータプログラム)を提供するのに用いられる任意の非一時的コンピュータ可読記憶媒体を指すのに用いられる。これらの媒体の例には、主メモリ565、補助メモリ570(内部メモリ575、リムーバブル媒体580、および外部記憶媒体595を含む)、および通信インタフェース590と通信可能に結合された周辺機器(ネットワーク情報サーバまたは他のネットワーク装置を含む)が含まれる。これらの非一時的コンピュータ可読媒体は、実行可能コード、プログラミング命令、およびソフトウェアをシステム550に提供するための手段である。
ソフトウェアを用いて実施される一実施形態で、ソフトウェアはコンピュータ可読媒体上に記憶されて、リムーバブル媒体580、I/Oインタフェース585、または通信インタフェース590によってシステム550にロードされ得る。このような実施形態では、ソフトウェアは電気通信信号605の形態でシステム550にロードされる。プロセッサ560によって実行されると、ソフトウェアがプロセッサ560に本明細書に上述の本発明の特徴および機能を実行させることが好ましい。
一実施形態で、I/Oインタフェース585は、システム550の1つ以上の構成要素と1つ以上の入力および/または出力装置との間のインタフェースを提供する。入力装置例には、これらに限定されるものではないが、キーボード、タッチ画面または他のタッチ感知装置、生体感知装置、コンピュータマウス、トラックボール、ペンベースのポインティング装置等が含まれる。出力装置の例には、これらに限定されるものではないが、陰極線管(CRT)、プラズマディスプレイ、発光ダイオード(LED)ディスプレイ、液晶ディスプレイ(LCD)、プリンタ、真空蛍光ディスプレイ(VFD)、表面伝導型電子放出素子ディスプレイ(SED)、電界放出ディスプレイ(FED)等が含まれる。
システム550は、音声上およびデータネットワーク上の無線通信を促進するオプションの無線通信構成要素も含む。無線通信構成要素は、アンテナシステム610、無線システム615およびベースバンドシステム620を含む。システム550で、無線周波数(RF)信号は、無線システム615の管理下で、アンテナシステム610によってオーバーザエアで送信および受信される。
一実施形態で、アンテナシステム610は、1つ以上のアンテナおよびスイッチング機能を実行してアンテナシステム610に送受信信号路を提供する1つ以上のマルチプレクサ(図示せず)を含み得る。受信路で、受信したRF信号は、マルチプレクサから受信したRF信号を増幅しおよび増幅した信号を無線システム615に送信する低雑音増幅器(図示せず)に結合することができる。
代替的実施形態で、無線システム615は、種々の周波数で通信するよう構成された1つ以上の無線を含み得る。一実施形態で、無線システム615は、1つの集積回路(IC)内に復調器(図示せず)と変調器(図示せず)を組み合わせ得る。復調器および変調器は、別個の構成要素としてもよい。到来路において、復調器はベースバンド受信音声信号を残してRFキャリア信号を取り除き、これは無線システム615からベースバンド620に送信される。
受信した信号が音声情報を含有する場合、ベースバンドシステム620は信号をデコードしてアナログ信号に変換する。その後、信号は増幅されてスピーカに送信される。ベースバンドシステム620は、顕微鏡からのアナログ音声信号も受信する。これらのアナログ音声信号は、デジタル信号に変換されてベースバンドシステム620によってエンコードされる。ベースバンドシステム620はまた、伝送のためにデジタル信号をコードし、無線システム615の変調器部分にルートされるベースバンド送信音声信号を生成する。変調器は、ベースバンド送信音声信号とRFキャリア信号を混合して、アンテナシステムにルートされてパワー増幅器(図示せず)を通過し得るRF送信信号を生成する。パワー増幅器は、RF送信信号を増幅してアンテナシステム610にルートし、信号は伝送のためにアンテナポートに切り替えられる。
また、ベースバンドシステム620はプロセッサ560と通信可能に結合される。中央処理装置560は、データ記憶領域565および570へのアクセスを有する。中央処理装置560は、メモリ565または補助メモリ570に記憶可能な命令(つまり、コンピュータプログラムまたはソフトウェア)を実行するよう構成されることが好ましい。また、コンピュータプログラムは、バスバンドプロセッサ610から受信されてデータ記憶領域565または補助メモリ570に記憶される、あるいは受信時に実行されてもよい。このようなコンピュータプログラムは、実行されると、既に記載したように、システム550が本発明の種々の機能を実行することを可能にする。例えば、データ記憶領域565は、種々のソフトウェアモジュール(図示せず)を含み得る。
種々の実施形態は、例えば、特定用途向け集積回路(ASIC)またはフィールドプログラマブルゲートアレイ(EPGA)などの構成要素を用いて、主にハードウェアにおいて実装されてもよい。本明細書に記載の機能を実行可能なハードウェアステートマシンの実装も、関連技術の当業者に明らかである。種々の実施形態は、ハードウェアおよびソフトウェアの組み合わせを用いて実施されてもよい。
さらに、当業者は、本明細書に開示の上記図および実施形態に関して記載する種々の例示的論理ブロック、モジュール、回路および方法ステップが、電子ハードウェア、コンピュータソフトウェア、または両方の組み合わせとして実装されることが多いことを理解するであろう。ハードウェアおよびソフトウェアのこの可換性を明示するために、種々の例示的構成要素、ブロック、モジュール、回路およびステップが、それらの機能の観点から一般的に既に記載されている。こうした機能がハードウェアまたはソフトウェアとして実装されるか否かはシステム全体に課された特定の用途および設計の制約に依拠する。当業者は、記載の機能を特定の用途それぞれに対して方法を変えて実装できるが、このような実装の決定は、本発明の範囲を逸脱させるものとみなされるべきではない。加えて、モジュール、ブロック、回路またはステップ内の機能のグループ化は、記載を容易にするためのものである。特定の機能またはステップは、一方のモジュール、ブロックまたは回路から他方へ移動させることができる。
さらに、本明細書に開示の実施形態に関連して記載する種々の例示的論理ブロック、モジュール、機能および方法は、汎用プロセッサ、デジタル信号プロセッサ(DSP)、ASIC、FPGAまたは他のプログラム可能な論理装置、別個のゲートまたはトランジスタ論理、別個のハードウェア構成要素、または本明細書に記載の機能を実行するよう設計された、これらの任意の組み合わせで実装または実行可能である。汎用プロセッサはマイクロプロセッサとし得るが、代替では、プロセッサは任意のプロセッサ、コントローラ、マイクロコントローラ、またはステートマシンとし得る。プロセッサは、例えば、DSPおよびマイクロプロセッサの組み合わせ、複数のマイクロプロセッサ、1つ以上のマイクロプロセッサとDSPコア、またはこのような任意の他の構成として実装されてもよい。
加えて、本明細書に開示の実施形態に関して記載する方法またはアルゴリズムのステップは、ハードウェアで、プロセッサによって実行されるソフトウェアモジュールで、またはこれら2つの組み合わせで直接に実施されてもよい。ソフトウェアモジュールはRAMメモリ、フラッシュメモリ、ROMメモリ、EPROMメモリ、EEPROMメモリ、レジスタ、ハードディスク、リムーバブルディスク、CD-ROM、または、ネットワーク記憶媒体を含む任意の他の形態の記憶媒体内にあってもよい。例示的記憶媒体は、プロセッサが記憶媒体から情報を読み出して、これに情報を書き込むこむことができるように、プロセッサに結合されてもよい。代替では、記憶媒体はプロセッサに組み込まれてもよい。プロセッサおよび記憶媒体がASIC内にあってもよい。
本明細書に記載のいずれのソフトウェア構成要素も、多様な形態をとり得る。例えば、構成要素はスタンドアロンソフトウェアパッケージであってもよく、あるいは、より大きなソフトウェア製品における「ツール」として組み込まれたソフトウェアパッケージであってもよい。これは、ネットワーク、例えばウェブサイトから、既存のソフトウェアアプリケーションにインストールするためのスタンドアロン製品またはアドインパッケージとしてダウンロード可能であってもよい。これは、クライエントサーバソフトウェアアプリケーションとして、ウェブ対応ソフトウェアアプリケーションとして、および/またはモバイルアプリケーションとして利用可能であってもよい。
特定の実施形態が既に記載されているが、記載の実施形態は例示にすぎないことを理解されたい。したがって、本明細書に記載のシステムおよび方法は、記載の実施形態に基づいて限定されるものではない。むしろ、本明細書に記載のシステムおよび方法は、上記記載と添付の図面を共に用いた場合に、以下の特許請求の範囲に照らしてのみ限定される。

Claims (10)

  1. イメージングシステム(100)であって、
    ピンホールマスク(108)を介して励起光(104)を用いてサンプル(114)を照明するよう構成された照明源と、
    前記ピンホールマスク(108)または前記サンプル(114)を第一の位置に移動させるよう構成された移動装置(900)と、
    前記ピンホールマスク(108)を通過していない前記サンプル(114)からの放射光を用いて、前記第一の位置で前記サンプルの画像をキャプチャして、前記画像をデータに変換するよう構成されたセンサ(120)と、
    画像処理モジュール(404)であって、
    前記ピンホールマスク(108)のピンホールの既知の間隔を用いて前記データをフィルタして、前記間隔に対応するデータを取得し、
    閾値を用いて、ピンホールに関連付けるのに十分に明るい残存データの領域を特定し、
    前記領域の重心を算出し、
    前記ピンホールマスク(108)に対する既知のパターンを、前記ピンホールの位置に関する、前記データに対する最良適合を特定するために前記領域に適合させるよう構成された画像処理モジュール(404)と、
    前記最良適合データを保存するよう構成された記憶媒体と、
    以後の共焦点キャプチャルーチンで用いるために前記サンプルの複数の画像を取得するために、前記照明源および前記移動装置(900)を制御するよう構成された制御モジュール(402)と
    を備える、システム。
  2. 前記画像処理モジュール(404)はさらに、前記キャプチャした画像に対応する前記データを高めるよう構成される、請求項1に記載のシステム。
  3. 前記データをフィルタすることが、前記データを周波数ドメインに変換し、バンドパスフィルタを前記変換したデータに適用することを含む、請求項1に記載のシステム。
  4. 前記画像処理モジュール(404)はさらに、雑音を除去し、前記フィルタされたデータにおける輝度変化を算出するよう構成される、請求項1に記載のシステム。
  5. 前記画像処理モジュール(404)はさらに、輝度閾値を上回るデータのみを維持するよう構成される、請求項に記載のシステム。
  6. 前記画像処理モジュール(404)はさらに、ヒストグラムビニング技法を適用して前記輝度閾値を上回るデータを特定するよう構成される、請求項に記載のシステム。
  7. 前記画像処理モジュール(404)はさらに、前記ピンホールの前記位置に対する前記最良適合データを用いて、前記ピンホールの前記位置に関連付けられたデータを処理し、前記ピンホールの前記位置に関連しないデータは無視することで、前記サンプルの共焦点合成画像を取得するよう構成される、請求項1に記載のシステム。
  8. 前記センサ(120)は電荷結合素子(CCD)またはCMOS素子を含む、請求項1に記載のシステム。
  9. 前記画像処理モジュール(404)はさらに、前記複数の画像および前記最良適合データを用いて合成共焦点画像を生成するよう構成される、請求項1に記載のシステム。
  10. 前記ピンホールマスク(108)は矩形、四角形、または円筒状マスクである、請求項1に記載のシステム。
JP2017562599A 2015-06-02 2016-05-10 構造化照明イメージングシステムを較正するためおよび構造化照明画像をキャプチャするためのシステムおよび方法 Active JP7195738B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562169675P 2015-06-02 2015-06-02
US62/169,675 2015-06-02
PCT/US2016/031570 WO2016195927A1 (en) 2015-06-02 2016-05-10 Systems and methods for calibrating a structured illumination imaging system and for capturing a structured illumination image

Publications (3)

Publication Number Publication Date
JP2018523154A JP2018523154A (ja) 2018-08-16
JP2018523154A5 JP2018523154A5 (ja) 2019-06-13
JP7195738B2 true JP7195738B2 (ja) 2022-12-26

Family

ID=56113047

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017562599A Active JP7195738B2 (ja) 2015-06-02 2016-05-10 構造化照明イメージングシステムを較正するためおよび構造化照明画像をキャプチャするためのシステムおよび方法

Country Status (5)

Country Link
US (1) US10782514B2 (ja)
EP (2) EP3620838A1 (ja)
JP (1) JP7195738B2 (ja)
CN (1) CN107667310B (ja)
WO (1) WO2016195927A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6891130B2 (ja) * 2015-06-02 2021-06-18 ライフ テクノロジーズ コーポレーション 構造化照明イメージを生成するためのシステムおよび方法
WO2018140773A1 (en) * 2017-01-26 2018-08-02 President And Fellows Of Harvard College Widefield, high-speed optical sectioning
CN108827920B (zh) * 2018-03-21 2022-05-27 苏州国科医工科技发展(集团)有限公司 一种低荧光漂白共聚焦成像方法及***
EP3644044B1 (en) * 2018-10-24 2020-12-23 Leica Biosystems Imaging, Inc. Camera exposure control when acquiring fluorescence in situ hybridization images
US11492140B2 (en) * 2021-03-25 2022-11-08 Rockwell Collins, Inc. Camera monitor using close proximity precision injection of light

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008541144A (ja) 2005-05-03 2008-11-20 カール ツァイス イエナ ゲゼルシャフト ミット ベシュレンクテル ハフツング レーザ走査型顕微鏡のピンホール開口およびピンホール位置を高い再現精度で調整するための装置および方法
JP2009526216A (ja) 2006-02-08 2009-07-16 シロナ・デンタル・システムズ・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツング クロマティック共焦点三次元計測技術のための迅速かつ強力な方法および装置
US20140098369A1 (en) 2011-04-07 2014-04-10 Nanometrics Incorporated Ellipsometer focusing system
US20150054937A1 (en) 2012-05-16 2015-02-26 Carl Zeiss Microscopy Gmbh Light microscope and method for image recording using a light microscope

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3960449A (en) * 1975-06-05 1976-06-01 The Board Of Trustees Of Leland Stanford Junior University Measurement of angular dependence of scattered light in a flowing stream
JPH01201135A (ja) * 1988-02-04 1989-08-14 Shimadzu Corp 赤外線散乱トモグラフィ装置
US5900949A (en) * 1996-05-23 1999-05-04 Hewlett-Packard Company CCD imager for confocal scanning microscopy
JPH1183431A (ja) * 1997-09-09 1999-03-26 Nikon Corp 撮像光学系の座標中心位置決定装置
US6248988B1 (en) * 1998-05-05 2001-06-19 Kla-Tencor Corporation Conventional and confocal multi-spot scanning optical microscope
US7147161B2 (en) * 1998-06-12 2006-12-12 Symbol Technologies, Inc. Digitizing bar code symbol data
US6328213B1 (en) * 1998-06-12 2001-12-11 Symbol Technologies, Inc. Method of processing an analog electrical signal containing information representative of reflected light from coded indicia, wherein the electrical signal contains edge transitions
DE29913707U1 (de) * 1998-08-27 1999-11-25 Evotec Biosystems Ag Konfokale optische Vorrichtung zur optischen Erfassung eines Beobachtungsvolumens
US6307635B1 (en) * 1998-10-21 2001-10-23 The Regents Of The University Of California Phase-shifting point diffraction interferometer mask designs
US7209287B2 (en) * 2000-09-18 2007-04-24 Vincent Lauer Confocal optical scanning device
SG118191A1 (en) * 2003-06-27 2006-01-27 St Microelectronics Asia Method and system for contrast enhancement of digital video
JP4756819B2 (ja) * 2003-10-21 2011-08-24 オリンパス株式会社 走査型顕微鏡システム
DE10350918B3 (de) * 2003-10-31 2005-04-14 Evotec Technologies Gmbh Vorrichtung und Verfahren zur Messung der Transmission eines Objekts
DE502004002547D1 (de) * 2004-06-22 2007-02-15 Polytec Gmbh Vorrichtung zum optischen Vermessen eines Objektes
US7115848B1 (en) * 2004-09-29 2006-10-03 Qioptiq Imaging Solutions, Inc. Methods, systems and computer program products for calibration of microscopy imaging devices
WO2006058187A2 (en) * 2004-11-23 2006-06-01 Robert Eric Betzig Optical lattice microscopy
US7460248B2 (en) * 2006-05-15 2008-12-02 Carestream Health, Inc. Tissue imaging system
JP4288519B2 (ja) * 2006-09-13 2009-07-01 セイコーエプソン株式会社 アライメント装置及びアライメント方法
TWI422962B (zh) * 2006-12-05 2014-01-11 Hoya Corp 灰階光罩之檢查方法、液晶裝置製造用灰階光罩之製造方法以及圖案轉印方法
CN101543054B (zh) * 2007-06-28 2011-12-07 松下电器产业株式会社 图像处理装置、图像处理方法
FI20085062A0 (fi) * 2008-01-25 2008-01-25 Wallac Oy Parannettu mittausjärjestelmä ja -menetelmä
EP2211343A1 (en) * 2009-01-27 2010-07-28 Thomson Licensing High data density optical recording medium
US8218869B2 (en) * 2009-03-29 2012-07-10 Mitsubishi Electric Research Laboratories, Inc. Image segmentation using spatial random walks
JP5544764B2 (ja) * 2009-06-09 2014-07-09 ソニー株式会社 画像処理装置および方法、並びにプログラム
CN101710131B (zh) * 2009-12-01 2011-06-01 西安交通大学 离焦数字三维微流场荧光测试仪
JP5914341B2 (ja) * 2010-09-21 2016-05-11 オリンパス株式会社 単一発光粒子検出を用いた光分析方法
DE102011114500B4 (de) * 2011-09-29 2022-05-05 Fei Company Mikroskopvorrichtung
US8908913B2 (en) * 2011-12-19 2014-12-09 Mitsubishi Electric Research Laboratories, Inc. Voting-based pose estimation for 3D sensors
CN104471462B (zh) * 2012-02-23 2017-09-19 美国卫生与公共服务秘书部 多焦结构化照明显微***和方法
EP2966492B1 (en) * 2012-05-02 2020-10-21 Centre National De La Recherche Scientifique Method and apparatus for single-particle localization using wavelet analysis
US9183631B2 (en) * 2012-06-29 2015-11-10 Mitsubishi Electric Research Laboratories, Inc. Method for registering points and planes of 3D data in multiple coordinate systems
US10073045B2 (en) * 2012-07-24 2018-09-11 Nova Measuring Instruments Ltd. Optical method and system for measuring isolated features of a structure
DE102012217967A1 (de) * 2012-10-01 2014-04-03 Carl Zeiss Microscopy Gmbh Konfokales Mikroskop mit frei einstellbarer Probenabtastung
US9830865B2 (en) * 2013-04-04 2017-11-28 Nvidia Corporation Regional histogramming for global approximation
KR101716928B1 (ko) * 2013-08-22 2017-03-15 주식회사 만도 차량 카메라의 영상 처리 방법 및 이를 이용하는 영상 처리 장치
GB201318598D0 (en) * 2013-10-21 2013-12-04 Univ Leicester Improvements in or relating to super-resolution microscopy
JP2015084062A (ja) * 2013-10-25 2015-04-30 株式会社キーエンス 顕微鏡撮像装置、顕微鏡撮像方法および顕微鏡撮像プログラム
CN104597590B (zh) * 2014-12-30 2018-02-02 深圳先进技术研究院 一种超分辨荧光光谱成像显微镜

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008541144A (ja) 2005-05-03 2008-11-20 カール ツァイス イエナ ゲゼルシャフト ミット ベシュレンクテル ハフツング レーザ走査型顕微鏡のピンホール開口およびピンホール位置を高い再現精度で調整するための装置および方法
JP2009526216A (ja) 2006-02-08 2009-07-16 シロナ・デンタル・システムズ・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツング クロマティック共焦点三次元計測技術のための迅速かつ強力な方法および装置
US20140098369A1 (en) 2011-04-07 2014-04-10 Nanometrics Incorporated Ellipsometer focusing system
US20150054937A1 (en) 2012-05-16 2015-02-26 Carl Zeiss Microscopy Gmbh Light microscope and method for image recording using a light microscope

Also Published As

Publication number Publication date
JP2018523154A (ja) 2018-08-16
EP3304166A1 (en) 2018-04-11
EP3620838A1 (en) 2020-03-11
CN107667310B (zh) 2021-01-01
WO2016195927A1 (en) 2016-12-08
US10782514B2 (en) 2020-09-22
CN107667310A (zh) 2018-02-06
EP3304166B1 (en) 2019-06-26
US20180157022A1 (en) 2018-06-07

Similar Documents

Publication Publication Date Title
JP7195738B2 (ja) 構造化照明イメージングシステムを較正するためおよび構造化照明画像をキャプチャするためのシステムおよび方法
US10580128B2 (en) Whole slide multispectral imaging systems and methods
WO2019230878A1 (ja) 蛍光観察装置及び蛍光観察方法
JP2021510850A (ja) 高空間分解能の時間分解イメージング法
JP2007524943A (ja) 照明アーチファクトの画像減算
WO2017217325A1 (ja) データ復元装置、顕微鏡システム、およびデータ復元方法
US10921574B2 (en) Systems and methods for stabilizing a sample stage in a structured illumination imaging system
JP6587959B2 (ja) 肌画像生成装置、肌画像生成装置の作動方法、および肌画像生成処理プログラム
JP7501364B2 (ja) 分光イメージング装置および蛍光観察装置
US11215803B2 (en) Systems and methods for an interchangeable illumination filter set for use in a structured illumination imaging system
US10634892B2 (en) Systems and methods for generating a structured illumination image
Ohn et al. High‐speed multicolor microscopy of repeating dynamic processes
JP2021044694A (ja) 蛍光撮影装置
GB2550202A (en) Sample imaging and image deblurring

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190426

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190426

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200123

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20200227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200423

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20200513

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200928

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201217

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210428

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20210818

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20220330

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20220413

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20220822

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20220901

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20220927

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20221115

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20221115

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221214

R150 Certificate of patent or registration of utility model

Ref document number: 7195738

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150