JP2004538509A - 蛍光撮像における画像合焦 - Google Patents
蛍光撮像における画像合焦 Download PDFInfo
- Publication number
- JP2004538509A JP2004538509A JP2003519669A JP2003519669A JP2004538509A JP 2004538509 A JP2004538509 A JP 2004538509A JP 2003519669 A JP2003519669 A JP 2003519669A JP 2003519669 A JP2003519669 A JP 2003519669A JP 2004538509 A JP2004538509 A JP 2004538509A
- Authority
- JP
- Japan
- Prior art keywords
- image
- focus
- imaging device
- autofocus
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000799 fluorescence microscopy Methods 0.000 title claims abstract description 14
- 238000003384 imaging method Methods 0.000 claims abstract description 52
- 238000001914 filtration Methods 0.000 claims abstract description 14
- 230000007246 mechanism Effects 0.000 claims abstract description 6
- 238000000034 method Methods 0.000 claims description 38
- 238000005259 measurement Methods 0.000 claims description 18
- 230000008859 change Effects 0.000 claims description 10
- 238000004458 analytical method Methods 0.000 claims description 5
- 230000007423 decrease Effects 0.000 claims description 5
- 230000003287 optical effect Effects 0.000 claims description 2
- 238000001514 detection method Methods 0.000 claims 2
- 238000010586 diagram Methods 0.000 abstract description 4
- 230000000873 masking effect Effects 0.000 abstract description 2
- 239000000523 sample Substances 0.000 description 43
- 230000008569 process Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 238000005286 illumination Methods 0.000 description 5
- 230000001413 cellular effect Effects 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 2
- 238000012632 fluorescent imaging Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 108020003215 DNA Probes Proteins 0.000 description 1
- 239000003298 DNA probe Substances 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 239000012472 biological sample Substances 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000001010 compromised effect Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000002073 fluorescence micrograph Methods 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000009790 rate-determining step (RDS) Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 210000003765 sex chromosome Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/645—Specially adapted constructive features of fluorimeters
- G01N21/6456—Spatial resolved fluorescence measurements; Imaging
- G01N21/6458—Fluorescence microscopy
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/16—Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/24—Base structure
- G02B21/241—Devices for focusing
- G02B21/244—Devices for focusing using image analysis techniques
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/24—Base structure
- G02B21/241—Devices for focusing
- G02B21/245—Devices for focusing using auxiliary sources, detectors
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
- G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
Landscapes
- Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Microscoopes, Condenser (AREA)
Abstract
合焦された像を得るためのオートフォーカス機構を有する撮像装置。その装置は対物レンズ、対物レンズと試料の間の距離を変更するための焦点制御装置(16,20)、試料内の関心のある物体を見つけるための物体ファインダ(16)、及び関心のある同定された光強度レベルを測定する光強度測定装置を含む。焦点制御は測定される光強度レベルを最大にするように試料−対物レンズの距離を変更し、それによって焦点位置に到達する。関心のある物体は大物体をフィルタリングし、所望により背景領域をマスクすることによって同定されてもよい。この装置は光レベルが低くノイズが高い蛍光撮像及び顕微鏡に対して有用である。
【選択図】図1
【選択図】図1
Description
【0001】
発明の分野
本発明は、画像捕捉のための合焦に関し、さらに詳しくは、高解像度走査システムにおける蛍光撮像および画像合焦に関するが、それに限定するものではない。
【0002】
発明の背景
高解像度走査システムでは、撮像時間の約半分を合焦に費やすシステムを見つけることは珍しくないので、合焦は主要な律速段階である。したがって、合焦プロセスの最適化はシステム処理能力をもたらすのに重要である。特に蛍光撮像の場合、以下で説明するように、状況はもっと極端である。
【0003】
従来の顕微鏡焦点アルゴリズムは画像自体に依存している。異なる焦点面の一連の画像が検討され、最大量のディテールまたは最大量の情報を持つ画像が、正しく合焦されているものとして選択される。しかし、現行システムは真のディテールとノイズとを区別することができず、したがって、効果的な合焦のためには高い信号対雑音比(SNR)を持つ画像が要求される。
【0004】
従来の合焦をより詳細に考察すると、従来の合焦は画像の品質に依存している。フォーカスシーケンスを実行するために、システムは推定焦点位置を中心に一連の画像を撮影する。各画像に対し、システムはその位置を記録し、それぞれの画像の鮮鋭度を特徴付ける焦点スコアを算出する。最終段階で、システムは焦点スコアが最高である位置を算出し、算出された位置が焦点位置とみなされる。
【0005】
鮮鋭度関数は、画像における細かいディテールの量を評価する多くの関数の1つである。優れた鮮鋭度関数は敏感であり(ディテールの量の小さい変化が焦点スコアの大きい変化を生じる)、大きい範囲にわたってよく挙動する。すなわち、焦点位置からの距離が大きくなっても、焦点位置からの距離が増すにつれて、焦点スコアが低下する。例として次のシーケンスを考えてみよう。
1.画像を撮影する。
2.細かいディテールフィルタ(たとえばゾーベルフィルタ)で画像を畳み込む。
3.畳み込まれた画像の画素の強度の絶対値を合計する。
4.焦点スコア(FS)を上記合計に設定する。
【0006】
上記シーケンスは一般的に、5ないし10個の異なる画像の各々に対し5ないし10回繰り返され、焦点位置が好ましくは画像間の捕間によって算出されて、最大合計の位置が見出される。
【0007】
上述したシーケンスの主な欠点、そしてこの種の関数全部に当てはまる欠点は、それらがノイズに敏感なことである。したがって、画像品質が良くなければ、焦点スコアの最大の貢献はノイズに由来し、感度および大きい範囲の要件が両方とも損なわれる。
【0008】
蛍光撮像は弱光の適用とみなされる。つまり、ごく低レベルの光が試料から放射される。加えて、試料のディテールを見分けるために、高解像度が必要である。したがって蛍光撮像システムは、試料の高倍率を提供し、かつ高い集光能力を持つことが要求され、妥当な画像を得るためには比較的長い露光時間を必要とする。必要な高倍率を達成するために、一般的に40倍以上の高倍率の対物レンズが使用される。高解像度を達成し、かつできるだけ多くの光を集めるために、一般的に0.75以上の高い開口数(NA)を持つ対物レンズが一般的に使用される。高品質の低ノイズ画像を得るために、およそ1秒以上の一般的な露光時間が必要である。
【0009】
高いNAは低い被写界深度をもたらすことは理解されるであろう。したがって、対物レンズと試料との間の距離のわずかなずれでも、画像の深刻な合焦不良を導くおそれがある。上述した種類の従来の合焦は一般的に5〜10個の画像を必要とする。低ノイズ画像の要件は、合焦に使用される露光時間を、実際の撮像に使用されるものと同様にすることが必要であることを意味する。したがって、蛍光撮像の場合、約5〜10秒の合焦時間が暗示される。したがって、蛍光撮像では、システムはその時間の大部分を合焦に費やすことになり、合焦の問題は高い処理能力の蛍光撮像システムを提供することに対する障害である。
【0010】
発明の概要
本書で記載する実施形態は、合焦のプロセスにおける差分情報および高周波ディテールなどの画像のディテールへの依存性を除去することによって、上で説明した困難を克服する。代わりに、焦点位置を見つけるために、画像エネルギ、すなわち統合情報および低周波ディテールを使用する。したがって、実施形態は比較的ノイズの多い画像に使用することができ、それを迅速に合焦することができる。該システムは、大量のデータに対して高速処理能力を発揮するのに特に有用である。
【0011】
本発明の第一の態様では、試料の画像を撮影するための撮像装置であって、
対物レンズと、
対物レンズと試料との間の距離を変更するための焦点制御装置と、
試料内の関心のある物体を見つけるための物体ファインダと、
焦点制御装置と関連付けられ、対物レンズを介して集光された関心のある物体の光強度レベルを測定するように構成された光強度測定装置と、
を備え、光強度レベルを最大にするように距離を変更し、それによって焦点位置を見つけるように動作可能な装置を提供する。
【0012】
焦点制御装置は、一連の距離にわたって焦点を段階的に変更して、光強度測定装置で各々の焦点距離における光強度を測定できるようにし、そこから焦点距離のうちで最大強度が得られるものを焦点位置として選択するように制御できることが好ましい。
【0013】
装置はカメラ内に含めることができる。つまり、カメラの対物レンズと協働して、カメラのオートフォーカスを達成するように構成される。
【0014】
蛍光試料の画像は一般的に高ノイズであり、従来の方法を使用して合焦することが難しいので、一般的に、使用する試料は蛍光試料である。
【0015】
物体ファインダは、試料の小物体だけを含めるようにフィルタリングするための小物体フィルタを含むことが好ましい。
【0016】
物体ファインダは、予め定められた蛍光発光しきい値より上で蛍光を発する物体を除去するための明るい物体フィルタを含むことが好ましい。
【0017】
物体ファインダは、背景色を除去するための背景フィルタを含むことが好ましい。
【0018】
物体ファインダは、背景色を除去するための背景フィルタを含むことが好ましい。
【0019】
装置はさらに、予め定められた蛍光発光しきい値より上で蛍光を発する物体を除去するためのフィルタを含むことができる。
【0020】
小物体フィルタは、画像の実質的に500画素未満の空間を占める物体でない領域を除去するように動作可能であることが好ましい。
【0021】
光強度測定装置は、少なくとも第一の焦点距離を使用して、試料を撮影した画像全体の平均強度を算出するように動作可能であることが好ましい。
【0022】
光強度測定装置はさらに、画像全体の強度の標準偏差を算出するように動作可能であることが好ましい。
【0023】
装置はさらに、光強度測定装置に関連付けられ、平均強度および標準偏差を使用して、画像の画素を二値化するための画像しきい値を算出するためのスレショルダを含むことができる。
【0024】
しきい値は、平均強度+予め定められた画像定数×標準偏差であることが好ましい。
【0025】
スレショルダは、画像しきい値に加えて合焦しきい値を算出するように動作可能であることが好ましい。
【0026】
合焦しきい値は、平均強度+予め定められた合焦定数×標準偏差であることが好ましい。
【0027】
小物体フィルタは、予め定められたブロブサイズより小さい物体の外側にある画素を零に設定することによりマスクを形成することによって、小物体のためのフィルタリングを行なうように動作可能であることが好ましい。
【0028】
装置はさらに、輝度しきい値を使用して画像を二値化するように動作可能なスレショルダを含むことができる。
【0029】
スレショルダは、画像の色帯域に対し別個に輝度について二値化するように動作可能であることが好ましい。
【0030】
スレショルダは、画像背景に関連付けられる色を除去し、それによって背景フィルタを提供するように、画像の色帯域に対して別個に輝度について二値化するように動作可能であることが好ましい。
【0031】
装置はさらに、二値化された画像とマスクとの論理積を取るための組合せ論理を含むことができる。
【0032】
装置はさらに、二値化された画像とマスクとの論理積を取り、それによって描写された関心物体を含む画像を形成するための組合せ論理を含むことができる。
【0033】
装置はさらに、隣接画素として少なくとも1個の非零画素が欠如している画像の各画素を零に設定するように動作可能なノイズ除去装置を含むことができる。
【0034】
ノイズ除去装置はランクフィルタを含むことが好ましい。
【0035】
装置はさらに、画像の焦点スコアを算出するための焦点スコアラであって、画像内の実質的に各画素にわたって、画素強度レベルと画像の平均強度レベルとの間の差の予め定められた定数乗を合計するための加算器を含む焦点スコアラを含むことができる。
【0036】
装置はさらに、予め定められた定数が正数であることを含むことができる。
【0037】
予め定められた定数は実質的に2であることが好ましい。
【0038】
装置はさらに、焦点スコアラに関連付けられ、どの画像が最大スコアを出すかを決定し、それによって光学焦点位置を選択するための比較器を含むことができる。
【0039】
装置はさらに、合焦画像を生成するための予め定められた露光時間および観察画像を生成するための予め定められた露光時間を有する露光タイマを含むことができ、合焦画像を生成するための予め定められた露光時間は一般的に、観察画像を生成するための予め定められた露光時間より短くすることができる。
【0040】
露光時間の比は実質的に3分の1から40分の1の間であることが好ましい。
【0041】
特に好適な実施形態では、露光時間の比は10分の1から5分の1の間であることが好ましい。
【0042】
露光時間の比は、一般的な画像のSNRと所定の合焦画像に対して経験的に決定されたSNRとの間の比の平方根を取ることによって算出することが好ましい。
【0043】
露光タイマは、合焦不良が決定された場合に、合焦画像を生成するための予め定められた露光時間を増大するように設定されることが好ましい。
【0044】
装置はさらに、連続画像の焦点スコア間の差を決定するための比較器を含むことができ、差が予め定められたレベルより高いときに、装置は露光時間を減少するように動作可能である。
【0045】
装置はさらに、露光時間の減少を補償するために合焦画像のそれぞれの焦点スコアを調整するように動作可能な焦点スコア調節器を含むことができる。
【0046】
装置はさらに、画像の信号対雑音比を増大するために画素ビニング機能性を含むことができる。
【0047】
装置はさらに、サーボユニットに接続された、距離を変更するための光強度検出器を含むことができ、サーボユニットは距離を変更させて、検出器によって検出される光強度を最大にするように制御可能である。
【0048】
装置はさらに、大きい物体の存在が検出されたときにサーボユニットの作動を阻止するための大物体検出器を含むことができる。
【0049】
装置はさらに、大きい物体が試料に存在するかどうかを決定し、かつ大きい物体の存在下でのサーボユニットの動作を阻止するための低倍率プレスキャナを含むことができる。
【0050】
光強度検出装置は多画素アレイを含むことが好ましい。
【0051】
本発明の第二の態様では、
試料を照明するステップと、
対物レンズを介して試料からの光を集め、そこから画像を形成するステップと、
画像内の関心のある物体を識別するステップと、
対物レンズと試料との間の距離を変更して、識別された関心のある物体から集光された光強度を最大にすることによって試料を合焦するステップと、
を含む、画像合焦の方法を提供する。
【0052】
関心のある物体を識別するステップは、画像内の小物体のためにフィルタリングするステップを含むことが好ましい。
【0053】
本発明の第三の態様では、
一連の画像を撮影するステップと、
前記一連の画像に対し、小物体のためにフィルタリングするステップと、
前記一連の画像に対し、しきい値の輝度レベルに照らして画像を二値化するステップと、
フィルタリングおよび二値化された各画像の強度を合計して、各画像の焦点スコアを形成するステップと、
最大焦点スコアを有する画像の焦点距離に実質的に一致する焦点距離を選択するステップと、
を含む、合焦画像を生成する方法を提供する。
【0054】
本発明の第四の態様では、
レンズと試料との間の距離を変更することによって制御可能に試料に合焦可能な対物レンズと、
試料の未合焦画像内で関心のある領域を識別するための物体識別装置と、
対物レンズによって集光された関心のある物体の光強度レベルを測定するように構成された光強度測定装置と、
を含む撮像用のオートフォーカス装置であって、距離を変更して測定される光強度レベルを最大にするように動作可能であるオートフォーカス装置を提供する。
【0055】
距離の変更は、距離を段階的に変更して、各段で光強度を測定し、段のうち最大強度を出す1つを焦点距離として選択することを含むことが好ましい。
【0056】
物体識別装置は、試料の小物体のためのフィルタリング用の小物体フィルタを含むことが好ましい。
【0057】
小物体フィルタは、予め定められたブロブサイズを有し、予め定められたブロブサイズを超えない物体を認識するためのブロブ解析装置を含むことが好ましい。
【0058】
予め定められたブロブサイズは実質的に500画素であることが好ましい。
【0059】
光強度測定装置は、焦点段の少なくとも最初の段を使用して撮影した試料の画像全体の平均強度を算出するように動作可能であることが好ましい。
【0060】
光強度測定装置はさらに、画像全体の強度の標準偏差を算出するように動作可能であることが好ましい。
【0061】
オートフォーカス装置はさらに、平均強度および標準偏差を使用して、画像の画素を二値化するための画像強度しきい値を算出するために、光強度測定装置に関連付けられたスレショルダを含むことができる。
【0062】
画像強度しきい値は、平均強度+予め定められた画像定数×標準偏差であることが好ましい。
【0063】
スレショルダは、画像しきい値に加えて合焦しきい値を算出するように動作可能であることが好ましい。
【0064】
合焦しきい値は、平均強度+予め定められた画像定数×標準偏差であることが好ましい。
【0065】
小物体フィルタは、予め定められた大物体しきい値より小さい物体の一部でない画素を零に設定することによって、予め定められた焦点位置で撮影された画像からマスクを形成するように動作可能であることが好ましい。
【0066】
オートフォーカス装置はさらに、二値化画像とマスクとの論理積を取り、それによって関心のある物体を描写する画像を形成するための組合せ論理を含むことができる。
【0067】
オートフォーカス装置はさらに、隣接画素として少なくとも1個の非零画素が欠如している画像の各画素を零に設定するように動作可能なノイズ除去装置を含むことができる。
【0068】
ノイズ除去装置はランクフィルタを含むことが好ましい。
【0069】
オートフォーカス装置はさらに、画像の焦点スコアを算出するための焦点スコアラであって、画像内の実質的に各画素にわたって、画素強度レベルと画像の平均強度レベルとの間の差の予め定められた定数乗を合計するための加算器を含む焦点スコアラを含むことができる。
【0070】
オートフォーカス装置はさらに、予め定められた定数が正数であることを含むことができる。
【0071】
予め定められた定数は実質的に2であることが好ましい。
【0072】
オートフォーカス装置はさらに、焦点スコアラに関連付けられ、どの画像が最大スコアを出すかを決定し、それによって距離を該位置に対応する距離に変更して試料を合焦するための比較器を含むことができる。
【0073】
オートフォーカス装置はさらに、合焦画像を生成するための予め定められた露光時間および観察画像を生成するための予め定められた露光時間を有する露光タイマを含むことができる。合焦画像を生成するための予め定められた露光時間は、観察画像を生成するための予め定められた露光時間より短くなるように構成することが好ましい。
【0074】
露光時間間の比は実質的に5分の1から40分の1の間であることが好ましい。
【0075】
特に好適な実施形態では、露光時間間の比は10分の1から20分の1の間であることが好ましい。
【0076】
露光時間間の比は、一般的な画像のSNRと所定の合焦画像に対して経験的に決定されたSNRとの間の比の平方根を取ることによって算出することが好ましい。
【0077】
露光タイマは、合焦不良が決定された場合に、合焦画像を生成するための予め定められた露光時間を増大するように設定されることが好ましい。
【0078】
オートフォーカス装置はさらに、連続画像の焦点スコア間の差を決定するための比較器を含むことができ、差が予め定められたレベルより高いときに、装置は露光時間を減少するように動作可能である。
【0079】
オートフォーカス装置はさらに、露光時間の減少を補償するために合焦画像のそれぞれの焦点スコアを調整するように動作可能な焦点スコア調節器を含むことができる。
【0080】
オートフォーカス装置はさらに、画像の信号対雑音比を増大するために画素ビニング機能性を含むことができる。
【0081】
オートフォーカス装置はさらに、撮像しようとする試料に大きい物体が存在するかどうかを決定し、大きい物体の存在下でのサーボユニットの動作を阻止するための低倍率プレスキャナを含むことができる。
【0082】
光強度検出装置は多画素アレイを含むことが好ましい。
【0083】
本発明の第五の態様では、画像をフィルタリングして関心のある物体を描写するための画像フィルタと、焦点距離を変化させてフィルタリング後の画像の測定光強度を最大にする合焦のための合焦機構に関連付けられた光強度測定装置とを備えた、蛍光撮像顕微鏡用のオートフォーカス装置を提供する。
【0084】
装置は、撮像に必要なデータレベルより低いデータレベルで収集される画像データを使用して合焦を実行することができる。
【0085】
本発明をよりよく理解し、それをいかに実施することができるかを示すために、今から、純粋に例として添付の図面に関連して説明する。
図面の簡単な記述
図1は蛍光発光試料の画像を撮影するための蛍光撮像装置を示す概略図である。
図2は本発明の好適な実施形態を使用する合焦の方法を示す簡易流れ図である。
図3は本発明の好適な実施形態に従って露光時間を動的に選択するための好適な方法を示す簡易流れ図である。
図4は先行技術のシステムを使用して達成される合焦曲線である。
図5は本発明の好適な実施形態に係るシステムを使用して得た合焦曲線である。
図6は本発明の実施形態に係る合焦プロセス中に得られ、観察のために10倍に拡大された画像である。
【0086】
好適な実施形態の説明
今、図1を参照すると、それは蛍光発光試料の画像を撮影するための蛍光撮像装置を示す概略図である。装置10は、カメラ14および電動フォーカス機構20に接続された蛍光顕微鏡12を含み、それらは全てコンピュータ16に接続される。コンピュータは、カメラおよび電動フォーカス機構20の両方からデータを受け取り、かつそれらを制御するように接続されることが好ましい。顕微鏡12は、蛍光発光試料を照明するための照明源18を含むことが好ましい。放射され反射された蛍光は、顕微鏡12に戻って受け止められる。
【0087】
顕微鏡で一般的に見られる通り、照明源18は、対物レンズを介して試料を照明するために、顕微鏡12の対物レンズの後ろに配置することが好ましい。そのような形の照明は2つの効果を持つ。第一に、それは焦点面に照明を集中させ、第二に、顕微鏡は透過光ではなく放射光だけを拾うので、それは画像のノイズを低減する。
【0088】
装置は、対物レンズによって集光された試料の光強度レベルを測定するように構成された光強度測定装置を備えることが好ましい。光強度は画素毎に測定することが好ましい。
【0089】
光強度測定装置は、対物レンズと試料との間の距離の制御に関連付けられることが好ましい。一般的に、試料またはより正確には試料搭載ステージは、合焦を実行するために動かされる。原則的に、対物レンズを動かすこともできるが、それは一般的なことではない。距離は光強度測定に応答して、好ましくは電動フォーカス機構20を使用して、制御される。上述の通り、照明光の経路として対物レンズを使用することにより、画像が焦点面にあるときに最も強く照明されることが確実になる。したがって、測定される光強度は、試料が対物レンズの焦点面にあるときに最大に達する。したがって、焦点距離の変化を制御して、強度信号を最大にし、それによって試料に合焦することが可能である。
【0090】
上記の原理は、試料が視野に対して大きくない限り有効である。試料が大きい場合、それは光信号を統合して、試料が合焦されていない場合でも高い全体的な光強度を生じる効果を持つ。考察から大きい物体を除去するための方法は後述する。
【0091】
本発明の1つの好適な実施形態では、カメラを高速露光速度に設定し、次いで一連の画像を撮影する合焦手順を実行する。各画像で光強度を測定し、最大光強度を有する画像を決定する。最大光強度を有する画像に対応する位置に電動フォーカスを移動させる。今、顕微鏡は合焦されている。
【0092】
今から、図2を参照しながら、上記の実施形態の合焦手順を以下の通り、より詳細に論じる。
【0093】
最初に、カメラをその焦点パラメータに、すなわち高速露光および高利得の設定にセットし、異なる焦点位置で1組の画像を撮影する。
【0094】
次いで、第一の画像を(I1)と設定する。
【0095】
次いで、第一の画像に以下の手順を実行して、しきいレベルおよびマスクを得、大きい物体を除去し、小さい物体だけを維持する。
【0096】
第一の画像に対し、平均強度Iavおよび標準偏差σを算出する。
【0097】
画像しきい値Th=Iav+k*σを使用して、画像を二値化する。ここでkは定数である。kの典型値は3である。
【0098】
画像からの大きい物体の除去は、ブロブ解析として知られるプロセスを用いて実行される。
【0099】
ブロブ解析では、所定のサイズより小さい比較的均等な領域が識別される。一般的にサイズは、画像サイズの画素数で測定され、パラメータAによって表わされる典型的なサイズは500画素とすることができる。したがって、A(A=500)より小さいブロブのマスクが生成される。ブロブの外側の全ての画素に1の値が割り当てられ、ブロブ内の全ての画素に0が割り当てられる。それによって生成されるマスクを画像I2と呼ぶ。
【0100】
I2とI1の「論理積」を取る。Iavおよびσの値を再計算する。
【0101】
Fth=Iav+c*σを使用して合焦しきい値を算出する。ここで、cは定数である。cの典型値は3.5である。
【0102】
次いで、第一の画像を含めて全ての画像に以下の手順を実行する。
【0103】
合焦しきい値Fthを使用して、それぞれの画像(I1)を二値化する。すなわち、Fthより低い全ての画素に0を割り当て、他の全ての画素は変化しない。新しい画像をI3と呼ぶ。
【0104】
次いで、二値化された画像I3とマスクI2の論理積を実行する。当業者は、二値化するステップおよび論理積を取るステップは交換できることを理解されるであろう。結果をここではI4と呼ぶ。
【0105】
I4は、好ましくはI4の各画素が少なくとも1つの非零の隣接画素を持つことを要求することによって、ランダムノイズを除去する。そのような除去は、I4に対しランクフィルタを実行することによって達成することができる。結果として得られる画像をここではI5と呼ぶ。
【0106】
次いで、焦点スコアFを、F=Σall image pixels(Ipixel−Iav)αとして算出することができる。ここで、IpixelはI5内の画素のグレーレベルであり、αは正数であり、典型的にはα=2である。
【0107】
次いで、最大焦点スコアを持つ画像に対応する位置を、実際の焦点位置とみなす。
【0108】
ブロブ解析を使用する小物体のためのフィルタリングは、2種類の物体、すなわち細胞物体および非細胞物体の識別を導く。非細胞物体は、以下の手順を使用して除去することができる。一般的に、所定のスライドは均一の背景色を持つ場合が多く、色画像では背景色を除去することができる。上述した二値化ステージでは、色帯域によって二値化を実行し、背景に対応する色を完全に除去することができる。したがって、そのような技術により、最終画像が非細胞背景色を共有しない小物体を含むこと、すなわちそれが生物学者にとって関心のありそうな物体を含むことが確実になる。
【0109】
モノクロ画像の場合、依然として背景の除去が可能であるが、それはグレーレベルおよび肌理の均一性を認識することに基づくので、より複雑である。
【0110】
上述の通り、合焦中の露光時間は、全観察画像を達成するために必要な露光時間よりかなり低くすることができる。この低減は、上述した手順によるものである。露光タイマは、通常の露光時間の40分の1から3分の1の間、好ましくは5分の1から10分の1の間に設定された、所定の低減露光時間を使用することができる。
【0111】
本発明のさらに好適な実施形態では、露光時間の固定比を省き、代わりに画像統計を使用して露光時間を設定することができる。例えば、典型的な画像のSNRを取ることによって有用な比が得られる。合焦画像に対し経験的に決定されたSNRを定義し、2つの間の比を算出する。次いで、算出された比の平方根を露光時間間の比として使用する。
【0112】
さらなる好適な実施形態では、合焦が失敗した場合に、合焦露光時間が増大されるように、露光タイマを設定することができる。一般的に、蛍光画像の特徴は、正の信号の領域の周囲の明るい画素のクラスタである。上述したランクフィルタの使用は、この特徴を強調させる。あまり多くの情報を持たない画像は、画素クラスタ化を持つ可能性が低く、したがってランクフィルタは画像の光の多くを除去する傾向があり、そのような画像に非常に低い焦点スコアを与える。そのような低いスコアは合焦不良と認識することができ、上述の通り合焦時間の増大が奨励される。
【0113】
他方、情報が過剰である場合、逆の手順に従うことができる。今、図3を参照すると、好適な実施形態では、一続きの連続画像のスコア間の大きい差を、充分以上の情報を持つという標識として認識する。したがって装置は露光時間を短縮することができる。異なる露光時間による画像からの結果を使用する際に、スコアを比較可能にするために、それに係数を加重することが好ましい。したがって、1つの画像が10分の1秒の露光時間を持ち、次の画像が12分の1秒の露光時間を使用して撮影される場合、第二の画像のスコアは、第一の画像のそれと比較できるように校正される。
【0114】
図3をより詳しく検討すると、第一の画像が撮影され、焦点スコアが算出される。スコアに焦点係数、現在は1が乗算される。次いで第二画像が撮影され、スコアが算出される。再び、スコアに、依然として1のままである焦点係数が乗算される。第二のスコアが第一のスコアから減算され、結果が勾配しきい値GRADと比較される。しきい値を超え、かつ第一の焦点スコアが予め定められたスコアしきい値より大きい場合、より速い露光時間が設定され、焦点係数は、旧露光時間と新露光時間との間の比のα乗に更新される。ここでαは上に定義した通りである。
【0115】
特定のカメラは、画素ビニング機能(ときどきメタ画素またはスーパ画素とも呼ばれる)として知られるものを備える。この機能は内部画素群を取り、この群を単一画素として処理する。画素ビニングの効果は、解像度を低下し、同時にSNRを高めることである。解像度は上述した合焦手順に影響を持たないが、SNRの増加は露光時間をさらに短縮することができるので、画素ビニングは、上述した合焦手順で役立つことができる。したがって、画素ビニングが大きい物体の識別を妨げない限り、それを効果的に合焦手順に組み込むことができる。
【0116】
本発明の簡素化された実施形態は、検出された光レベルを使用して、ピークが決定されるまで電動フォーカス22を光レベルが増加する方向に直接作動させることができる。この場合、任意の光度計を使用することができる(例えばフォトダイオード、アバランシェフォトダイオード、または光電子増倍管)。付近に大きい物体が無い限り、本発明のそのような簡素化された実施形態で充分である。したがって、好適な実施形態では、大物体検出器、例えば上述したブロブ解析装置を、そのような簡素化された実施形態と、上述したマスキング等の手順を含む実施形態との間のスイッチとして使用することができる。代替的に、低倍率プレスキャナを使用して、スイッチングを実行することができる。低倍率プレスキャナは、低倍率の小さいNAの対物レンズを使用してプレスキャン画像を生成し、次いでそれをコンピュータ16に送ることが好ましい。コンピュータ16は、試料に大きい物体が存在するかどうかを決定し、それにしたがって簡素化された実施形態とより複雑な実施形態との間で選択を行なうことができる。
【0117】
1つの好適な実施形態では、光強度検出装置は、多画素検出器アレイ、例えば4×4のアレイから作成することができる。そのようなアレイの使用は、超低解像度の撮像を使用することに相当する。アレイは、大きい物体が存在する領域を放棄し、関連領域のみから来る情報を使用する効果を有する。それにもかかわらず、依然として実時間合焦が可能である。
【0118】
最小限のシステムは、対物レンズと試料との間の距離を制御された方法で変更することができる蛍光撮像装置から作成することができる。プロトタイプは、ツァイス・アクシオプラン2顕微鏡、ソニーDXC9000CCDカメラ、および標準汎用コンピュータを使用して作成された。プロトタイプを試験するために、生物学的試料を特定の蛍光DNAプローブで染色した。
【0119】
コンピュータはカメラおよび試料と対物レンズとの間の距離を制御し、カメラからの画像を捕捉し、結果を解析する。典型的な合焦シーケンスは、コンピュータが対物レンズと試料との間の初期距離Z0を決定したときに開始する。コンピュータはZ0距離を設定し、カメラからの画像を捕捉する。画像は解析され、現在の画像の焦点スコアF0が算出される。次いでコンピュータは別の距離Z1を設定し、画像を捕捉し、そのスコアF1を算出する。上述の通り、焦点スコアのピークが見つかる位置Ffocusを選択することができるまで、このシーケンスが繰り返される。
【0120】
伝統的な合焦方法および新しい合焦方法の性能を比較する試験例において、異なる位置で画像を撮影し、各方法を使用して焦点曲線を計算した。試料は、Vysis Ltdによって製造されたプローブを使用して性染色体に染色した通常の血液試料であった。2秒の露光時間で最終画像を撮影した。図5および6は、画像の典型的な焦点曲線を示す。本発明の実施形態を使用して合焦したときの合焦画像は、従来の方法の場合より20倍速い、100ミリ秒のみの露光時間で撮影した。
【0121】
今、図4を参照すると、これは、先行技術の合焦システムを使用した上例の焦点曲線を示すグラフである。このグラフでは、フィルタ、この場合はゾーベル鮮鋭度フィルタによって生成された焦点スコアが、最適焦点からの距離に対して描かれている。最適焦点から−1.5ないし1.5ミクロンの領域に目立つピークがあり、そこで焦点スコアが約900から約1000に上昇することが注目に値する。上述した領域外では、スコアにほとんど変化は無い。したがって、最適焦点から3ミクロンにおけるスコアが、2ミクロンにおけるスコアと事実上同一である。
【0122】
今、図5を参照すると、これは本発明の実施形態によって生成された焦点曲線を示すグラフである。図5には、再び、最適焦点からの距離に対して焦点スコアが描かれている。今回、−1.5ないし1.5ミクロンの同じ領域における焦点スコアは50から1000の間で変動している。すなわち、システムの識別能がかなり高い。また、この領域外でも、スコアに顕著な相違がある。スコアは2から3ミクロンの間で低下している。
【0123】
今、図6を参照すると、これは本発明の実施形態を使用した合焦プロセス中に得られた画像を示す。示されかつ使用された画像は、それぞれの組の合焦画像の中で最も明瞭なものである。観察を可能にするために、原画像のグレーレベルを10倍に増加した。画像自体が高レベルのノイズを持ち、標準合焦方法は無効になることに注目されたい。
【0124】
したがって、上記の実施形態では、蛍光撮像に一般的な種類の高ノイズ画像に対し、自動合焦を実行することのできる、蛍光顕微鏡用の合焦装置が提供される。
【0125】
1つまたは幾つかの実施形態に関連してのみ記載した特徴が他の実施形態にも適用可能であり、かつ空間上の理由から全ての可能な組合せを詳述することはできないことを理解されたい。それにもかかわらず、上記説明の範囲は、上述した機能の全ての合理的な組合せに対して延長される。
【0126】
本発明は、単なる例として掲げた上述の実施形態に限定されない。むしろ本発明は添付の請求の範囲によって定義される。
【図面の簡単な説明】
【0127】
【図1】蛍光発光試料の画像を撮影するための蛍光撮像装置を示す概略図である。
【図2】本発明の好適な実施形態を使用する合焦の方法を示す簡易流れ図である。
【図3】本発明の好適な実施形態に従って露光時間を動的に選択するための好適な方法を示す簡易流れ図である。
【図4】先行技術のシステムを使用して達成される合焦曲線である。
【図5】本発明の好適な実施形態に係るシステムを使用して得た合焦曲線である。
【図6】本発明の実施形態に係る合焦プロセス中に得られ、観察のために10倍に拡大された画像である。
発明の分野
本発明は、画像捕捉のための合焦に関し、さらに詳しくは、高解像度走査システムにおける蛍光撮像および画像合焦に関するが、それに限定するものではない。
【0002】
発明の背景
高解像度走査システムでは、撮像時間の約半分を合焦に費やすシステムを見つけることは珍しくないので、合焦は主要な律速段階である。したがって、合焦プロセスの最適化はシステム処理能力をもたらすのに重要である。特に蛍光撮像の場合、以下で説明するように、状況はもっと極端である。
【0003】
従来の顕微鏡焦点アルゴリズムは画像自体に依存している。異なる焦点面の一連の画像が検討され、最大量のディテールまたは最大量の情報を持つ画像が、正しく合焦されているものとして選択される。しかし、現行システムは真のディテールとノイズとを区別することができず、したがって、効果的な合焦のためには高い信号対雑音比(SNR)を持つ画像が要求される。
【0004】
従来の合焦をより詳細に考察すると、従来の合焦は画像の品質に依存している。フォーカスシーケンスを実行するために、システムは推定焦点位置を中心に一連の画像を撮影する。各画像に対し、システムはその位置を記録し、それぞれの画像の鮮鋭度を特徴付ける焦点スコアを算出する。最終段階で、システムは焦点スコアが最高である位置を算出し、算出された位置が焦点位置とみなされる。
【0005】
鮮鋭度関数は、画像における細かいディテールの量を評価する多くの関数の1つである。優れた鮮鋭度関数は敏感であり(ディテールの量の小さい変化が焦点スコアの大きい変化を生じる)、大きい範囲にわたってよく挙動する。すなわち、焦点位置からの距離が大きくなっても、焦点位置からの距離が増すにつれて、焦点スコアが低下する。例として次のシーケンスを考えてみよう。
1.画像を撮影する。
2.細かいディテールフィルタ(たとえばゾーベルフィルタ)で画像を畳み込む。
3.畳み込まれた画像の画素の強度の絶対値を合計する。
4.焦点スコア(FS)を上記合計に設定する。
【0006】
上記シーケンスは一般的に、5ないし10個の異なる画像の各々に対し5ないし10回繰り返され、焦点位置が好ましくは画像間の捕間によって算出されて、最大合計の位置が見出される。
【0007】
上述したシーケンスの主な欠点、そしてこの種の関数全部に当てはまる欠点は、それらがノイズに敏感なことである。したがって、画像品質が良くなければ、焦点スコアの最大の貢献はノイズに由来し、感度および大きい範囲の要件が両方とも損なわれる。
【0008】
蛍光撮像は弱光の適用とみなされる。つまり、ごく低レベルの光が試料から放射される。加えて、試料のディテールを見分けるために、高解像度が必要である。したがって蛍光撮像システムは、試料の高倍率を提供し、かつ高い集光能力を持つことが要求され、妥当な画像を得るためには比較的長い露光時間を必要とする。必要な高倍率を達成するために、一般的に40倍以上の高倍率の対物レンズが使用される。高解像度を達成し、かつできるだけ多くの光を集めるために、一般的に0.75以上の高い開口数(NA)を持つ対物レンズが一般的に使用される。高品質の低ノイズ画像を得るために、およそ1秒以上の一般的な露光時間が必要である。
【0009】
高いNAは低い被写界深度をもたらすことは理解されるであろう。したがって、対物レンズと試料との間の距離のわずかなずれでも、画像の深刻な合焦不良を導くおそれがある。上述した種類の従来の合焦は一般的に5〜10個の画像を必要とする。低ノイズ画像の要件は、合焦に使用される露光時間を、実際の撮像に使用されるものと同様にすることが必要であることを意味する。したがって、蛍光撮像の場合、約5〜10秒の合焦時間が暗示される。したがって、蛍光撮像では、システムはその時間の大部分を合焦に費やすことになり、合焦の問題は高い処理能力の蛍光撮像システムを提供することに対する障害である。
【0010】
発明の概要
本書で記載する実施形態は、合焦のプロセスにおける差分情報および高周波ディテールなどの画像のディテールへの依存性を除去することによって、上で説明した困難を克服する。代わりに、焦点位置を見つけるために、画像エネルギ、すなわち統合情報および低周波ディテールを使用する。したがって、実施形態は比較的ノイズの多い画像に使用することができ、それを迅速に合焦することができる。該システムは、大量のデータに対して高速処理能力を発揮するのに特に有用である。
【0011】
本発明の第一の態様では、試料の画像を撮影するための撮像装置であって、
対物レンズと、
対物レンズと試料との間の距離を変更するための焦点制御装置と、
試料内の関心のある物体を見つけるための物体ファインダと、
焦点制御装置と関連付けられ、対物レンズを介して集光された関心のある物体の光強度レベルを測定するように構成された光強度測定装置と、
を備え、光強度レベルを最大にするように距離を変更し、それによって焦点位置を見つけるように動作可能な装置を提供する。
【0012】
焦点制御装置は、一連の距離にわたって焦点を段階的に変更して、光強度測定装置で各々の焦点距離における光強度を測定できるようにし、そこから焦点距離のうちで最大強度が得られるものを焦点位置として選択するように制御できることが好ましい。
【0013】
装置はカメラ内に含めることができる。つまり、カメラの対物レンズと協働して、カメラのオートフォーカスを達成するように構成される。
【0014】
蛍光試料の画像は一般的に高ノイズであり、従来の方法を使用して合焦することが難しいので、一般的に、使用する試料は蛍光試料である。
【0015】
物体ファインダは、試料の小物体だけを含めるようにフィルタリングするための小物体フィルタを含むことが好ましい。
【0016】
物体ファインダは、予め定められた蛍光発光しきい値より上で蛍光を発する物体を除去するための明るい物体フィルタを含むことが好ましい。
【0017】
物体ファインダは、背景色を除去するための背景フィルタを含むことが好ましい。
【0018】
物体ファインダは、背景色を除去するための背景フィルタを含むことが好ましい。
【0019】
装置はさらに、予め定められた蛍光発光しきい値より上で蛍光を発する物体を除去するためのフィルタを含むことができる。
【0020】
小物体フィルタは、画像の実質的に500画素未満の空間を占める物体でない領域を除去するように動作可能であることが好ましい。
【0021】
光強度測定装置は、少なくとも第一の焦点距離を使用して、試料を撮影した画像全体の平均強度を算出するように動作可能であることが好ましい。
【0022】
光強度測定装置はさらに、画像全体の強度の標準偏差を算出するように動作可能であることが好ましい。
【0023】
装置はさらに、光強度測定装置に関連付けられ、平均強度および標準偏差を使用して、画像の画素を二値化するための画像しきい値を算出するためのスレショルダを含むことができる。
【0024】
しきい値は、平均強度+予め定められた画像定数×標準偏差であることが好ましい。
【0025】
スレショルダは、画像しきい値に加えて合焦しきい値を算出するように動作可能であることが好ましい。
【0026】
合焦しきい値は、平均強度+予め定められた合焦定数×標準偏差であることが好ましい。
【0027】
小物体フィルタは、予め定められたブロブサイズより小さい物体の外側にある画素を零に設定することによりマスクを形成することによって、小物体のためのフィルタリングを行なうように動作可能であることが好ましい。
【0028】
装置はさらに、輝度しきい値を使用して画像を二値化するように動作可能なスレショルダを含むことができる。
【0029】
スレショルダは、画像の色帯域に対し別個に輝度について二値化するように動作可能であることが好ましい。
【0030】
スレショルダは、画像背景に関連付けられる色を除去し、それによって背景フィルタを提供するように、画像の色帯域に対して別個に輝度について二値化するように動作可能であることが好ましい。
【0031】
装置はさらに、二値化された画像とマスクとの論理積を取るための組合せ論理を含むことができる。
【0032】
装置はさらに、二値化された画像とマスクとの論理積を取り、それによって描写された関心物体を含む画像を形成するための組合せ論理を含むことができる。
【0033】
装置はさらに、隣接画素として少なくとも1個の非零画素が欠如している画像の各画素を零に設定するように動作可能なノイズ除去装置を含むことができる。
【0034】
ノイズ除去装置はランクフィルタを含むことが好ましい。
【0035】
装置はさらに、画像の焦点スコアを算出するための焦点スコアラであって、画像内の実質的に各画素にわたって、画素強度レベルと画像の平均強度レベルとの間の差の予め定められた定数乗を合計するための加算器を含む焦点スコアラを含むことができる。
【0036】
装置はさらに、予め定められた定数が正数であることを含むことができる。
【0037】
予め定められた定数は実質的に2であることが好ましい。
【0038】
装置はさらに、焦点スコアラに関連付けられ、どの画像が最大スコアを出すかを決定し、それによって光学焦点位置を選択するための比較器を含むことができる。
【0039】
装置はさらに、合焦画像を生成するための予め定められた露光時間および観察画像を生成するための予め定められた露光時間を有する露光タイマを含むことができ、合焦画像を生成するための予め定められた露光時間は一般的に、観察画像を生成するための予め定められた露光時間より短くすることができる。
【0040】
露光時間の比は実質的に3分の1から40分の1の間であることが好ましい。
【0041】
特に好適な実施形態では、露光時間の比は10分の1から5分の1の間であることが好ましい。
【0042】
露光時間の比は、一般的な画像のSNRと所定の合焦画像に対して経験的に決定されたSNRとの間の比の平方根を取ることによって算出することが好ましい。
【0043】
露光タイマは、合焦不良が決定された場合に、合焦画像を生成するための予め定められた露光時間を増大するように設定されることが好ましい。
【0044】
装置はさらに、連続画像の焦点スコア間の差を決定するための比較器を含むことができ、差が予め定められたレベルより高いときに、装置は露光時間を減少するように動作可能である。
【0045】
装置はさらに、露光時間の減少を補償するために合焦画像のそれぞれの焦点スコアを調整するように動作可能な焦点スコア調節器を含むことができる。
【0046】
装置はさらに、画像の信号対雑音比を増大するために画素ビニング機能性を含むことができる。
【0047】
装置はさらに、サーボユニットに接続された、距離を変更するための光強度検出器を含むことができ、サーボユニットは距離を変更させて、検出器によって検出される光強度を最大にするように制御可能である。
【0048】
装置はさらに、大きい物体の存在が検出されたときにサーボユニットの作動を阻止するための大物体検出器を含むことができる。
【0049】
装置はさらに、大きい物体が試料に存在するかどうかを決定し、かつ大きい物体の存在下でのサーボユニットの動作を阻止するための低倍率プレスキャナを含むことができる。
【0050】
光強度検出装置は多画素アレイを含むことが好ましい。
【0051】
本発明の第二の態様では、
試料を照明するステップと、
対物レンズを介して試料からの光を集め、そこから画像を形成するステップと、
画像内の関心のある物体を識別するステップと、
対物レンズと試料との間の距離を変更して、識別された関心のある物体から集光された光強度を最大にすることによって試料を合焦するステップと、
を含む、画像合焦の方法を提供する。
【0052】
関心のある物体を識別するステップは、画像内の小物体のためにフィルタリングするステップを含むことが好ましい。
【0053】
本発明の第三の態様では、
一連の画像を撮影するステップと、
前記一連の画像に対し、小物体のためにフィルタリングするステップと、
前記一連の画像に対し、しきい値の輝度レベルに照らして画像を二値化するステップと、
フィルタリングおよび二値化された各画像の強度を合計して、各画像の焦点スコアを形成するステップと、
最大焦点スコアを有する画像の焦点距離に実質的に一致する焦点距離を選択するステップと、
を含む、合焦画像を生成する方法を提供する。
【0054】
本発明の第四の態様では、
レンズと試料との間の距離を変更することによって制御可能に試料に合焦可能な対物レンズと、
試料の未合焦画像内で関心のある領域を識別するための物体識別装置と、
対物レンズによって集光された関心のある物体の光強度レベルを測定するように構成された光強度測定装置と、
を含む撮像用のオートフォーカス装置であって、距離を変更して測定される光強度レベルを最大にするように動作可能であるオートフォーカス装置を提供する。
【0055】
距離の変更は、距離を段階的に変更して、各段で光強度を測定し、段のうち最大強度を出す1つを焦点距離として選択することを含むことが好ましい。
【0056】
物体識別装置は、試料の小物体のためのフィルタリング用の小物体フィルタを含むことが好ましい。
【0057】
小物体フィルタは、予め定められたブロブサイズを有し、予め定められたブロブサイズを超えない物体を認識するためのブロブ解析装置を含むことが好ましい。
【0058】
予め定められたブロブサイズは実質的に500画素であることが好ましい。
【0059】
光強度測定装置は、焦点段の少なくとも最初の段を使用して撮影した試料の画像全体の平均強度を算出するように動作可能であることが好ましい。
【0060】
光強度測定装置はさらに、画像全体の強度の標準偏差を算出するように動作可能であることが好ましい。
【0061】
オートフォーカス装置はさらに、平均強度および標準偏差を使用して、画像の画素を二値化するための画像強度しきい値を算出するために、光強度測定装置に関連付けられたスレショルダを含むことができる。
【0062】
画像強度しきい値は、平均強度+予め定められた画像定数×標準偏差であることが好ましい。
【0063】
スレショルダは、画像しきい値に加えて合焦しきい値を算出するように動作可能であることが好ましい。
【0064】
合焦しきい値は、平均強度+予め定められた画像定数×標準偏差であることが好ましい。
【0065】
小物体フィルタは、予め定められた大物体しきい値より小さい物体の一部でない画素を零に設定することによって、予め定められた焦点位置で撮影された画像からマスクを形成するように動作可能であることが好ましい。
【0066】
オートフォーカス装置はさらに、二値化画像とマスクとの論理積を取り、それによって関心のある物体を描写する画像を形成するための組合せ論理を含むことができる。
【0067】
オートフォーカス装置はさらに、隣接画素として少なくとも1個の非零画素が欠如している画像の各画素を零に設定するように動作可能なノイズ除去装置を含むことができる。
【0068】
ノイズ除去装置はランクフィルタを含むことが好ましい。
【0069】
オートフォーカス装置はさらに、画像の焦点スコアを算出するための焦点スコアラであって、画像内の実質的に各画素にわたって、画素強度レベルと画像の平均強度レベルとの間の差の予め定められた定数乗を合計するための加算器を含む焦点スコアラを含むことができる。
【0070】
オートフォーカス装置はさらに、予め定められた定数が正数であることを含むことができる。
【0071】
予め定められた定数は実質的に2であることが好ましい。
【0072】
オートフォーカス装置はさらに、焦点スコアラに関連付けられ、どの画像が最大スコアを出すかを決定し、それによって距離を該位置に対応する距離に変更して試料を合焦するための比較器を含むことができる。
【0073】
オートフォーカス装置はさらに、合焦画像を生成するための予め定められた露光時間および観察画像を生成するための予め定められた露光時間を有する露光タイマを含むことができる。合焦画像を生成するための予め定められた露光時間は、観察画像を生成するための予め定められた露光時間より短くなるように構成することが好ましい。
【0074】
露光時間間の比は実質的に5分の1から40分の1の間であることが好ましい。
【0075】
特に好適な実施形態では、露光時間間の比は10分の1から20分の1の間であることが好ましい。
【0076】
露光時間間の比は、一般的な画像のSNRと所定の合焦画像に対して経験的に決定されたSNRとの間の比の平方根を取ることによって算出することが好ましい。
【0077】
露光タイマは、合焦不良が決定された場合に、合焦画像を生成するための予め定められた露光時間を増大するように設定されることが好ましい。
【0078】
オートフォーカス装置はさらに、連続画像の焦点スコア間の差を決定するための比較器を含むことができ、差が予め定められたレベルより高いときに、装置は露光時間を減少するように動作可能である。
【0079】
オートフォーカス装置はさらに、露光時間の減少を補償するために合焦画像のそれぞれの焦点スコアを調整するように動作可能な焦点スコア調節器を含むことができる。
【0080】
オートフォーカス装置はさらに、画像の信号対雑音比を増大するために画素ビニング機能性を含むことができる。
【0081】
オートフォーカス装置はさらに、撮像しようとする試料に大きい物体が存在するかどうかを決定し、大きい物体の存在下でのサーボユニットの動作を阻止するための低倍率プレスキャナを含むことができる。
【0082】
光強度検出装置は多画素アレイを含むことが好ましい。
【0083】
本発明の第五の態様では、画像をフィルタリングして関心のある物体を描写するための画像フィルタと、焦点距離を変化させてフィルタリング後の画像の測定光強度を最大にする合焦のための合焦機構に関連付けられた光強度測定装置とを備えた、蛍光撮像顕微鏡用のオートフォーカス装置を提供する。
【0084】
装置は、撮像に必要なデータレベルより低いデータレベルで収集される画像データを使用して合焦を実行することができる。
【0085】
本発明をよりよく理解し、それをいかに実施することができるかを示すために、今から、純粋に例として添付の図面に関連して説明する。
図面の簡単な記述
図1は蛍光発光試料の画像を撮影するための蛍光撮像装置を示す概略図である。
図2は本発明の好適な実施形態を使用する合焦の方法を示す簡易流れ図である。
図3は本発明の好適な実施形態に従って露光時間を動的に選択するための好適な方法を示す簡易流れ図である。
図4は先行技術のシステムを使用して達成される合焦曲線である。
図5は本発明の好適な実施形態に係るシステムを使用して得た合焦曲線である。
図6は本発明の実施形態に係る合焦プロセス中に得られ、観察のために10倍に拡大された画像である。
【0086】
好適な実施形態の説明
今、図1を参照すると、それは蛍光発光試料の画像を撮影するための蛍光撮像装置を示す概略図である。装置10は、カメラ14および電動フォーカス機構20に接続された蛍光顕微鏡12を含み、それらは全てコンピュータ16に接続される。コンピュータは、カメラおよび電動フォーカス機構20の両方からデータを受け取り、かつそれらを制御するように接続されることが好ましい。顕微鏡12は、蛍光発光試料を照明するための照明源18を含むことが好ましい。放射され反射された蛍光は、顕微鏡12に戻って受け止められる。
【0087】
顕微鏡で一般的に見られる通り、照明源18は、対物レンズを介して試料を照明するために、顕微鏡12の対物レンズの後ろに配置することが好ましい。そのような形の照明は2つの効果を持つ。第一に、それは焦点面に照明を集中させ、第二に、顕微鏡は透過光ではなく放射光だけを拾うので、それは画像のノイズを低減する。
【0088】
装置は、対物レンズによって集光された試料の光強度レベルを測定するように構成された光強度測定装置を備えることが好ましい。光強度は画素毎に測定することが好ましい。
【0089】
光強度測定装置は、対物レンズと試料との間の距離の制御に関連付けられることが好ましい。一般的に、試料またはより正確には試料搭載ステージは、合焦を実行するために動かされる。原則的に、対物レンズを動かすこともできるが、それは一般的なことではない。距離は光強度測定に応答して、好ましくは電動フォーカス機構20を使用して、制御される。上述の通り、照明光の経路として対物レンズを使用することにより、画像が焦点面にあるときに最も強く照明されることが確実になる。したがって、測定される光強度は、試料が対物レンズの焦点面にあるときに最大に達する。したがって、焦点距離の変化を制御して、強度信号を最大にし、それによって試料に合焦することが可能である。
【0090】
上記の原理は、試料が視野に対して大きくない限り有効である。試料が大きい場合、それは光信号を統合して、試料が合焦されていない場合でも高い全体的な光強度を生じる効果を持つ。考察から大きい物体を除去するための方法は後述する。
【0091】
本発明の1つの好適な実施形態では、カメラを高速露光速度に設定し、次いで一連の画像を撮影する合焦手順を実行する。各画像で光強度を測定し、最大光強度を有する画像を決定する。最大光強度を有する画像に対応する位置に電動フォーカスを移動させる。今、顕微鏡は合焦されている。
【0092】
今から、図2を参照しながら、上記の実施形態の合焦手順を以下の通り、より詳細に論じる。
【0093】
最初に、カメラをその焦点パラメータに、すなわち高速露光および高利得の設定にセットし、異なる焦点位置で1組の画像を撮影する。
【0094】
次いで、第一の画像を(I1)と設定する。
【0095】
次いで、第一の画像に以下の手順を実行して、しきいレベルおよびマスクを得、大きい物体を除去し、小さい物体だけを維持する。
【0096】
第一の画像に対し、平均強度Iavおよび標準偏差σを算出する。
【0097】
画像しきい値Th=Iav+k*σを使用して、画像を二値化する。ここでkは定数である。kの典型値は3である。
【0098】
画像からの大きい物体の除去は、ブロブ解析として知られるプロセスを用いて実行される。
【0099】
ブロブ解析では、所定のサイズより小さい比較的均等な領域が識別される。一般的にサイズは、画像サイズの画素数で測定され、パラメータAによって表わされる典型的なサイズは500画素とすることができる。したがって、A(A=500)より小さいブロブのマスクが生成される。ブロブの外側の全ての画素に1の値が割り当てられ、ブロブ内の全ての画素に0が割り当てられる。それによって生成されるマスクを画像I2と呼ぶ。
【0100】
I2とI1の「論理積」を取る。Iavおよびσの値を再計算する。
【0101】
Fth=Iav+c*σを使用して合焦しきい値を算出する。ここで、cは定数である。cの典型値は3.5である。
【0102】
次いで、第一の画像を含めて全ての画像に以下の手順を実行する。
【0103】
合焦しきい値Fthを使用して、それぞれの画像(I1)を二値化する。すなわち、Fthより低い全ての画素に0を割り当て、他の全ての画素は変化しない。新しい画像をI3と呼ぶ。
【0104】
次いで、二値化された画像I3とマスクI2の論理積を実行する。当業者は、二値化するステップおよび論理積を取るステップは交換できることを理解されるであろう。結果をここではI4と呼ぶ。
【0105】
I4は、好ましくはI4の各画素が少なくとも1つの非零の隣接画素を持つことを要求することによって、ランダムノイズを除去する。そのような除去は、I4に対しランクフィルタを実行することによって達成することができる。結果として得られる画像をここではI5と呼ぶ。
【0106】
次いで、焦点スコアFを、F=Σall image pixels(Ipixel−Iav)αとして算出することができる。ここで、IpixelはI5内の画素のグレーレベルであり、αは正数であり、典型的にはα=2である。
【0107】
次いで、最大焦点スコアを持つ画像に対応する位置を、実際の焦点位置とみなす。
【0108】
ブロブ解析を使用する小物体のためのフィルタリングは、2種類の物体、すなわち細胞物体および非細胞物体の識別を導く。非細胞物体は、以下の手順を使用して除去することができる。一般的に、所定のスライドは均一の背景色を持つ場合が多く、色画像では背景色を除去することができる。上述した二値化ステージでは、色帯域によって二値化を実行し、背景に対応する色を完全に除去することができる。したがって、そのような技術により、最終画像が非細胞背景色を共有しない小物体を含むこと、すなわちそれが生物学者にとって関心のありそうな物体を含むことが確実になる。
【0109】
モノクロ画像の場合、依然として背景の除去が可能であるが、それはグレーレベルおよび肌理の均一性を認識することに基づくので、より複雑である。
【0110】
上述の通り、合焦中の露光時間は、全観察画像を達成するために必要な露光時間よりかなり低くすることができる。この低減は、上述した手順によるものである。露光タイマは、通常の露光時間の40分の1から3分の1の間、好ましくは5分の1から10分の1の間に設定された、所定の低減露光時間を使用することができる。
【0111】
本発明のさらに好適な実施形態では、露光時間の固定比を省き、代わりに画像統計を使用して露光時間を設定することができる。例えば、典型的な画像のSNRを取ることによって有用な比が得られる。合焦画像に対し経験的に決定されたSNRを定義し、2つの間の比を算出する。次いで、算出された比の平方根を露光時間間の比として使用する。
【0112】
さらなる好適な実施形態では、合焦が失敗した場合に、合焦露光時間が増大されるように、露光タイマを設定することができる。一般的に、蛍光画像の特徴は、正の信号の領域の周囲の明るい画素のクラスタである。上述したランクフィルタの使用は、この特徴を強調させる。あまり多くの情報を持たない画像は、画素クラスタ化を持つ可能性が低く、したがってランクフィルタは画像の光の多くを除去する傾向があり、そのような画像に非常に低い焦点スコアを与える。そのような低いスコアは合焦不良と認識することができ、上述の通り合焦時間の増大が奨励される。
【0113】
他方、情報が過剰である場合、逆の手順に従うことができる。今、図3を参照すると、好適な実施形態では、一続きの連続画像のスコア間の大きい差を、充分以上の情報を持つという標識として認識する。したがって装置は露光時間を短縮することができる。異なる露光時間による画像からの結果を使用する際に、スコアを比較可能にするために、それに係数を加重することが好ましい。したがって、1つの画像が10分の1秒の露光時間を持ち、次の画像が12分の1秒の露光時間を使用して撮影される場合、第二の画像のスコアは、第一の画像のそれと比較できるように校正される。
【0114】
図3をより詳しく検討すると、第一の画像が撮影され、焦点スコアが算出される。スコアに焦点係数、現在は1が乗算される。次いで第二画像が撮影され、スコアが算出される。再び、スコアに、依然として1のままである焦点係数が乗算される。第二のスコアが第一のスコアから減算され、結果が勾配しきい値GRADと比較される。しきい値を超え、かつ第一の焦点スコアが予め定められたスコアしきい値より大きい場合、より速い露光時間が設定され、焦点係数は、旧露光時間と新露光時間との間の比のα乗に更新される。ここでαは上に定義した通りである。
【0115】
特定のカメラは、画素ビニング機能(ときどきメタ画素またはスーパ画素とも呼ばれる)として知られるものを備える。この機能は内部画素群を取り、この群を単一画素として処理する。画素ビニングの効果は、解像度を低下し、同時にSNRを高めることである。解像度は上述した合焦手順に影響を持たないが、SNRの増加は露光時間をさらに短縮することができるので、画素ビニングは、上述した合焦手順で役立つことができる。したがって、画素ビニングが大きい物体の識別を妨げない限り、それを効果的に合焦手順に組み込むことができる。
【0116】
本発明の簡素化された実施形態は、検出された光レベルを使用して、ピークが決定されるまで電動フォーカス22を光レベルが増加する方向に直接作動させることができる。この場合、任意の光度計を使用することができる(例えばフォトダイオード、アバランシェフォトダイオード、または光電子増倍管)。付近に大きい物体が無い限り、本発明のそのような簡素化された実施形態で充分である。したがって、好適な実施形態では、大物体検出器、例えば上述したブロブ解析装置を、そのような簡素化された実施形態と、上述したマスキング等の手順を含む実施形態との間のスイッチとして使用することができる。代替的に、低倍率プレスキャナを使用して、スイッチングを実行することができる。低倍率プレスキャナは、低倍率の小さいNAの対物レンズを使用してプレスキャン画像を生成し、次いでそれをコンピュータ16に送ることが好ましい。コンピュータ16は、試料に大きい物体が存在するかどうかを決定し、それにしたがって簡素化された実施形態とより複雑な実施形態との間で選択を行なうことができる。
【0117】
1つの好適な実施形態では、光強度検出装置は、多画素検出器アレイ、例えば4×4のアレイから作成することができる。そのようなアレイの使用は、超低解像度の撮像を使用することに相当する。アレイは、大きい物体が存在する領域を放棄し、関連領域のみから来る情報を使用する効果を有する。それにもかかわらず、依然として実時間合焦が可能である。
【0118】
最小限のシステムは、対物レンズと試料との間の距離を制御された方法で変更することができる蛍光撮像装置から作成することができる。プロトタイプは、ツァイス・アクシオプラン2顕微鏡、ソニーDXC9000CCDカメラ、および標準汎用コンピュータを使用して作成された。プロトタイプを試験するために、生物学的試料を特定の蛍光DNAプローブで染色した。
【0119】
コンピュータはカメラおよび試料と対物レンズとの間の距離を制御し、カメラからの画像を捕捉し、結果を解析する。典型的な合焦シーケンスは、コンピュータが対物レンズと試料との間の初期距離Z0を決定したときに開始する。コンピュータはZ0距離を設定し、カメラからの画像を捕捉する。画像は解析され、現在の画像の焦点スコアF0が算出される。次いでコンピュータは別の距離Z1を設定し、画像を捕捉し、そのスコアF1を算出する。上述の通り、焦点スコアのピークが見つかる位置Ffocusを選択することができるまで、このシーケンスが繰り返される。
【0120】
伝統的な合焦方法および新しい合焦方法の性能を比較する試験例において、異なる位置で画像を撮影し、各方法を使用して焦点曲線を計算した。試料は、Vysis Ltdによって製造されたプローブを使用して性染色体に染色した通常の血液試料であった。2秒の露光時間で最終画像を撮影した。図5および6は、画像の典型的な焦点曲線を示す。本発明の実施形態を使用して合焦したときの合焦画像は、従来の方法の場合より20倍速い、100ミリ秒のみの露光時間で撮影した。
【0121】
今、図4を参照すると、これは、先行技術の合焦システムを使用した上例の焦点曲線を示すグラフである。このグラフでは、フィルタ、この場合はゾーベル鮮鋭度フィルタによって生成された焦点スコアが、最適焦点からの距離に対して描かれている。最適焦点から−1.5ないし1.5ミクロンの領域に目立つピークがあり、そこで焦点スコアが約900から約1000に上昇することが注目に値する。上述した領域外では、スコアにほとんど変化は無い。したがって、最適焦点から3ミクロンにおけるスコアが、2ミクロンにおけるスコアと事実上同一である。
【0122】
今、図5を参照すると、これは本発明の実施形態によって生成された焦点曲線を示すグラフである。図5には、再び、最適焦点からの距離に対して焦点スコアが描かれている。今回、−1.5ないし1.5ミクロンの同じ領域における焦点スコアは50から1000の間で変動している。すなわち、システムの識別能がかなり高い。また、この領域外でも、スコアに顕著な相違がある。スコアは2から3ミクロンの間で低下している。
【0123】
今、図6を参照すると、これは本発明の実施形態を使用した合焦プロセス中に得られた画像を示す。示されかつ使用された画像は、それぞれの組の合焦画像の中で最も明瞭なものである。観察を可能にするために、原画像のグレーレベルを10倍に増加した。画像自体が高レベルのノイズを持ち、標準合焦方法は無効になることに注目されたい。
【0124】
したがって、上記の実施形態では、蛍光撮像に一般的な種類の高ノイズ画像に対し、自動合焦を実行することのできる、蛍光顕微鏡用の合焦装置が提供される。
【0125】
1つまたは幾つかの実施形態に関連してのみ記載した特徴が他の実施形態にも適用可能であり、かつ空間上の理由から全ての可能な組合せを詳述することはできないことを理解されたい。それにもかかわらず、上記説明の範囲は、上述した機能の全ての合理的な組合せに対して延長される。
【0126】
本発明は、単なる例として掲げた上述の実施形態に限定されない。むしろ本発明は添付の請求の範囲によって定義される。
【図面の簡単な説明】
【0127】
【図1】蛍光発光試料の画像を撮影するための蛍光撮像装置を示す概略図である。
【図2】本発明の好適な実施形態を使用する合焦の方法を示す簡易流れ図である。
【図3】本発明の好適な実施形態に従って露光時間を動的に選択するための好適な方法を示す簡易流れ図である。
【図4】先行技術のシステムを使用して達成される合焦曲線である。
【図5】本発明の好適な実施形態に係るシステムを使用して得た合焦曲線である。
【図6】本発明の実施形態に係る合焦プロセス中に得られ、観察のために10倍に拡大された画像である。
Claims (74)
- 試料の画像を撮影するための撮像装置であって、
対物レンズと、
前記対物レンズと前記試料との間の距離を変更するための焦点制御装置と、
前記試料内の関心のある物体を見つけるための物体ファインダと、
前記焦点制御装置と関連付けられ、前記対物レンズを介して集光された関心のある前記物体の光強度レベルを測定するように構成された光強度測定装置と、
を備え、前記光強度レベルを最大にするように前記距離を変更し、それによって焦点位置を見つけるように動作可能な試料の画像を撮影するための撮像装置。 - 前記焦点制御装置は、一連の距離にわたって前記焦点を段階的に変更して、前記光強度測定装置で各々の前記焦点距離における前記光強度を測定できるようにし、そこから前記焦点距離のうちで最大強度が得られるものを前記焦点位置として選択するように制御できる請求項1に記載の撮像装置。
- カメラ内に含められる請求項1に記載の撮像装置。
- 前記試料は蛍光試料である請求項1に記載の撮像装置。
- 前記物体ファインダは、前記試料の小物体だけを含めるようにフィルタリングするための小物体フィルタを含む請求項1に記載の撮像装置。
- 前記物体ファインダは、予め定められた蛍光発光しきい値より上で蛍光を発する物体を除去するための明るい物体フィルタを含む請求項4に記載の撮像装置。
- 前記物体ファインダは、背景色を除去するための背景フィルタを含む請求項4に記載の撮像装置。
- 前記物体ファインダは、背景色を除去するための背景フィルタを含む請求項6に記載の撮像装置。
- 予め定められた蛍光発光しきい値より上で蛍光を発する物体を除去するためのフィルタをさらに含む請求項1に記載の撮像装置。
- 前記小物体フィルタは、画像の実質的に500画素未満の空間を占める物体でない領域を除去するように動作可能である請求項5に記載の撮像装置。
- 前記光強度測定装置は、少なくとも第一の前記焦点距離を使用して、前記試料を撮影した画像全体の平均強度を算出するように動作可能である請求項3に記載の撮像装置。
- 前記光強度測定装置は、前記画像全体の前記強度の標準偏差を算出するようにさらに動作可能である請求項11に記載の撮像装置。
- 前記光強度測定装置に関連付けられ、前記平均強度および前記標準偏差を使用して、前記画像の画素を二値化するための画像しきい値を算出するためのスレショルダをさらに含む請求項12に記載の撮像装置。
- 前記しきい値は、平均強度+予め定められた画像定数×標準偏差である請求項13に記載の撮像装置。
- 前記スレショルダは、前記画像しきい値に加えて合焦しきい値を算出するように動作可能である請求項13に記載の撮像装置。
- 前記合焦しきい値は、平均強度+予め定められた合焦定数×標準偏差である請求項15に記載の撮像装置。
- 前記小物体フィルタは、予め定められたブロブサイズより小さい物体の外側にある画素を零に設定することによりマスクを形成することによって、前記小物体のためのフィルタリングを行なうように動作可能である請求項5に記載の撮像装置。
- 輝度しきい値を使用して画像を二値化するように動作可能なスレショルダをさらに含む請求項17に記載の撮像装置。
- 前記スレショルダは、前記画像の色帯域に対し別個に輝度について二値化するように動作可能である請求項18に記載の撮像装置。
- 前記スレショルダは、画像背景に関連付けられる色を除去し、それによって背景フィルタを提供するように、前記画像の色帯域に対して別個に輝度について二値化するように動作可能である請求項19に記載の撮像装置。
- 前記二値化された画像と前記マスクとの論理積を取るための組合せ論理をさらに含む請求項17に記載の撮像装置。
- 前記二値化された画像と前記マスクとの論理積を取り、それによって描写された関心物体を含む画像を形成するための組合せ論理をさらに含む請求項20に記載の撮像装置。
- 隣接画素として少なくとも1個の非零画素が欠如している前記画像の各画素を零に設定するように動作可能なノイズ除去装置をさらに含む請求項21に記載の撮像装置。
- 前記ノイズ除去装置はランクフィルタを含む請求項23に記載の撮像装置。
- 画像の焦点スコアを算出するための焦点スコアラであって、画像内の実質的に各画素にわたって、画素強度レベルと画像の平均強度レベルとの間の差の予め定められた定数乗を合計するための加算器を含む焦点スコアラをさらに含む請求項24に記載の撮像装置。
- 前記予め定められた定数が正数である請求項25に記載の撮像装置。
- 前記予め定められた定数は実質的に2である請求項26に記載の撮像装置。
- 前記焦点スコアラに関連付けられ、どの前記画像が最大スコアを出すかを決定し、それによって光学焦点位置を選択するための比較器をさらに含む請求項27に記載の撮像装置。
- 合焦画像を生成するための予め定められた露光時間および観察画像を生成するための予め定められた露光時間を有する露光タイマを含み、合焦画像を生成するための前記予め定められた露光時間は、観察画像を生成するための前記予め定められた露光時間より短い請求項1に記載の撮像装置。
- 前記露光時間間の比は実質的に3分の1から40分の1の間である請求項29に記載の撮像装置。
- 前記露光時間間の比は実質的に10分の1から5分の1の間である請求項29に記載の撮像装置。
- 前記露光時間間の比は、一般的な画像のSNRと所定の合焦画像に対して経験的に決定されたSNRとの間の比の実質的に平方根を取ることによって算出する請求項29に記載の撮像装置。
- 前記露光タイマは、合焦不良が決定された場合に、合焦画像を生成するための前記予め定められた露光時間を増大するように設定される請求項29に記載の撮像装置。
- 連続画像の焦点スコア間の差を決定するための比較器を含み、前記差が予め定められたレベルより高いときに、前記装置は露光時間を減少するように動作可能である請求項25に記載の撮像装置。
- 前記露光時間の前記減少を補償するために合焦画像のそれぞれの焦点スコアを調整するように動作可能な焦点スコア調節器をさらに含む請求項34に記載の撮像装置。
- 前記画像の信号対雑音比を増大するために画素ビニング機能性をさらに含む請求項1に記載の撮像装置。
- サーボユニットに接続された、前記距離を変更するための光強度検出器を含み、前記サーボユニットは前記距離を変更させて、前記検出器によって検出される光強度を最大にするように制御可能である請求項1に記載の撮像装置。
- 大きい物体の存在が検出されたときに前記サーボユニットの作動を阻止するための大物体検出器をさらに含む請求項37に記載の撮像装置。
- 大きい物体が試料に存在するかどうかを決定し、かつ前記大きい物体の存在下での前記サーボユニットの動作を阻止するための低倍率プレスキャナを含む請求項37に記載の撮像装置。
- 前記光強度検出装置は多画素アレイを含む請求項1に記載の撮像装置。
- 試料を照明するステップと、
対物レンズを介して前記試料からの光を集め、そこから画像を形成するステップと、
前記画像内の関心のある物体を識別するステップと、
前記対物レンズと前記試料との間の距離を変更して、前記識別された関心のある物体から集光された光強度を最大にすることによって前記試料を合焦するステップと、
を含む、画像を合焦させる方法。 - 関心のある物体を識別する前記ステップは、前記画像内の小物体のためにフィルタリングするステップを含む請求項41に記載の方法。
- 一連の画像を撮影するステップと、
前記一連の画像に対し、小物体のためにフィルタリングするステップと、
前記一連の画像に対し、しきい値の輝度レベルに照らして前記画像を二値化するステップと、
フィルタリングおよび二値化された各画像の強度を合計して、各画像の焦点スコアを形成するステップと、
最大焦点スコアを有する画像の焦点距離に実質的に一致する焦点距離を選択するステップと、
を含む、合焦画像を生成する方法。 - 前記レンズと前記試料との間の距離を変更することによって制御可能に前記試料に合焦可能な対物レンズと、
前記試料の未合焦画像内で関心のある領域を識別するための物体識別装置と、
前記対物レンズによって集光された関心のある前記物体の光強度レベルを測定するように構成された光強度測定装置と、
を含む撮像用のオートフォーカス装置であって、前記距離を変更して前記測定される光強度レベルを最大にするように動作可能であるオートフォーカス装置。 - 前記距離の前記変更は、前記距離を段階的に変更して、前記各段で前記光強度を測定し、前記段のうち最大強度を出すものを焦点距離として選択することを含む請求項44に記載のオートフォーカス装置。
- 前記物体識別装置は、前記試料の小物体のためのフィルタリング用の小物体フィルタを含む請求項44に記載のオートフォーカス装置。
- 前記小物体フィルタは、予め定められたブロブサイズを有し、前記予め定められたブロブサイズを超えない物体を認識するためのブロブ解析装置を含む請求項46に記載のオートフォーカス装置。
- 前記予め定められたブロブサイズは実質的に500画素である請求項47に記載のオートフォーカス装置。
- 前記光強度測定装置は、前記焦点段の少なくとも最初の段を使用して撮影した前記試料の画像全体の平均強度を算出するように動作可能である請求項45に記載のオートフォーカス装置。
- 前記光強度測定装置は、前記画像全体の前記強度の標準偏差を算出するようにさらに動作可能である請求項49に記載のオートフォーカス装置。
- 前記平均強度および前記標準偏差を使用して、前記画像の画素を二値化するための画像強度しきい値を算出するために、前記光強度測定装置に関連付けられたスレショルダをさらに含む請求項50に記載のオートフォーカス装置。
- 前記画像強度しきい値は、平均強度+予め定められた画像定数×標準偏差である請求項51に記載のオートフォーカス装置。
- 前記スレショルダは、前記画像しきい値に加えて合焦しきい値を算出するように動作可能である請求項51に記載のオートフォーカス装置。
- 前記合焦しきい値は、平均強度+予め定められた画像定数×標準偏差である請求項53に記載のオートフォーカス装置。
- 前記小物体フィルタは、予め定められた大物体しきい値より小さい物体の一部でない画素を零に設定することによって、予め定められた焦点位置で撮影された画像からマスクを形成するように動作可能である請求項46に記載のオートフォーカス装置。
- 前記二値化画像と前記マスクとの論理積を取り、それによって前記関心のある物体を描写する画像を形成するための組合せ論理をさらに含む請求項55に記載のオートフォーカス装置。
- 隣接画素として少なくとも1個の非零画素が欠如している前記画像の各画素を零に設定するように動作可能なノイズ除去装置をさらに含む請求項56に記載のオートフォーカス装置。
- 前記ノイズ除去装置はランクフィルタを含む請求項57に記載のオートフォーカス装置。
- 画像の焦点スコアを算出するための焦点スコアラであって、画像内の実質的に各画素にわたって、画素強度レベルと画像の平均強度レベルとの間の差の予め定められた定数乗を合計するための加算器を含む焦点スコアラをさらに含む請求項58に記載のオートフォーカス装置。
- 前記予め定められた定数が正数である請求項59に記載のオートフォーカス装置。
- 前記予め定められた定数は実質的に2である請求項60に記載のオートフォーカス装置。
- 前記焦点スコアラに関連付けられ、どの前記画像が最大スコアを出すかを決定し、それによって前記距離を前記位置に対応する距離に変更して前記試料を合焦するための比較器をさらに含む請求項61に記載のオートフォーカス装置。
- 合焦画像を生成するための予め定められた露光時間および観察画像を生成するための予め定められた露光時間を有する露光タイマを含み、合焦画像を生成するための前記予め定められた露光時間は、観察画像を生成するための前記予め定められた露光時間より短い請求項44に記載のオートフォーカス装置。
- 前記露光時間間の比は実質的に5分の1から40分の1の間である請求項63に記載のオートフォーカス装置。
- 前記露光時間間の比は実質的に10分の1から20分の1の間である請求項63に記載のオートフォーカス装置。
- 前記露光時間間の比は、一般的な画像のSNRと所定の合焦画像に対して経験的に決定されたSNRとの間の比の平方根を取ることによって算出する請求項63に記載のオートフォーカス装置。
- 前記露光タイマは、合焦不良が決定された場合に、合焦画像を生成するための前記予め定められた露光時間を増大するように設定される請求項63に記載のオートフォーカス装置。
- 連続画像の焦点スコア間の差を決定するための比較器を含み、前記差が予め定められたレベルより高いときに、前記装置は露光時間を減少するように動作可能である請求項59に記載のオートフォーカス装置。
- 前記露光時間の前記減少を補償するために合焦画像のそれぞれの焦点スコアを調整するように動作可能な焦点スコア調節器をさらに含む請求項68に記載のオートフォーカス装置。
- 前記画像の信号対雑音比を増大するために画素ビニング機能性をさらに含む請求項44に記載のオートフォーカス装置。
- 撮像しようとする試料に大きい物体が存在するかどうかを決定し、前記大きい物体の存在下での前記サーボユニットの動作を阻止するための低倍率プレスキャナを含む請求項44に記載のオートフォーカス装置。
- 前記光強度検出装置は多画素アレイを含む請求項44に記載のオートフォーカス装置。
- 画像をフィルタリングして関心のある物体を描写するための画像フィルタと、焦点距離を変化させて前記フィルタリング後の画像の測定光強度を最大にすることによる合焦のための合焦機構に関連付けられた光強度測定装置とを備えた、蛍光撮像顕微鏡用のオートフォーカス装置。
- 撮像に必要なデータレベルより低いデータレベルで収集される画像データを使用して前記合焦を実行することができる請求項73に記載のオートフォーカス装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US30977901P | 2001-08-06 | 2001-08-06 | |
PCT/IL2002/000643 WO2003014795A1 (en) | 2001-08-06 | 2002-08-06 | Image focusing in fluorescent imaging |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004538509A true JP2004538509A (ja) | 2004-12-24 |
Family
ID=23199648
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003519669A Pending JP2004538509A (ja) | 2001-08-06 | 2002-08-06 | 蛍光撮像における画像合焦 |
Country Status (4)
Country | Link |
---|---|
US (1) | US7141773B2 (ja) |
EP (1) | EP1415187A4 (ja) |
JP (1) | JP2004538509A (ja) |
WO (1) | WO2003014795A1 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006171574A (ja) * | 2004-12-17 | 2006-06-29 | Olympus Corp | 顕微鏡画像処理方法、顕微鏡画像処理プログラムおよび顕微鏡システム |
JP4884369B2 (ja) * | 2005-02-21 | 2012-02-29 | オリンパス株式会社 | 微弱光標本撮像ユニット、微弱光標本撮像装置および微弱光標本撮像方法 |
US8421033B2 (en) | 2009-08-31 | 2013-04-16 | Sony Corporation | Fluorescence image producing method, fluorescence image producing apparatus, and fluorescence image producing program |
JP2015111143A (ja) * | 2008-10-24 | 2015-06-18 | ライカ バイオシステムズ イメージング インコーポレイテッドAperio Technologies, Inc. | スライド全体蛍光スキャナ |
Families Citing this family (37)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6215892B1 (en) | 1995-11-30 | 2001-04-10 | Chromavision Medical Systems, Inc. | Method and apparatus for automated image analysis of biological specimens |
WO2003042788A2 (en) | 2001-11-13 | 2003-05-22 | Chromavision Medical Systems, Inc. | A system for tracking biological samples |
US7260253B2 (en) | 2002-04-19 | 2007-08-21 | Visiongate, Inc. | Method for correction of relative object-detector motion between successive views |
US7034317B2 (en) * | 2002-12-17 | 2006-04-25 | Dmetrix, Inc. | Method and apparatus for limiting scanning imaging array data to characteristics of interest |
DE10306970B4 (de) * | 2003-02-19 | 2017-02-09 | Carl Zeiss Microscopy Gmbh | Elektronisches Mikroskop |
US20040202357A1 (en) | 2003-04-11 | 2004-10-14 | Perz Cynthia B. | Silhouette image acquisition |
US7394943B2 (en) * | 2004-06-30 | 2008-07-01 | Applera Corporation | Methods, software, and apparatus for focusing an optical system using computer image analysis |
DE102005024066A1 (de) * | 2005-05-25 | 2006-12-07 | Soft Imaging System Gmbh | Verfahren und Vorrichtung zur optischen Abtastung einer Probe |
US20070031043A1 (en) | 2005-08-02 | 2007-02-08 | Perz Cynthia B | System for and method of intelligently directed segmentation analysis for automated microscope systems |
WO2007037439A1 (ja) * | 2005-09-29 | 2007-04-05 | Olympus Corporation | 焦点位置決定方法、焦点位置決定装置、微弱光検出装置及び微弱光検出方法 |
WO2007080583A2 (en) | 2006-01-10 | 2007-07-19 | Applied Spectral Imaging Ltd. | Methods and systems for analyzing biological samples |
DE102006006014A1 (de) * | 2006-02-08 | 2007-09-06 | Carl Zeiss Surgical Gmbh | Mikroskopiesystem zur Beobachtung von Fluoreszenz |
US7769219B2 (en) * | 2006-12-11 | 2010-08-03 | Cytyc Corporation | Method for assessing image focus quality |
US20090079862A1 (en) * | 2007-09-25 | 2009-03-26 | Micron Technology, Inc. | Method and apparatus providing imaging auto-focus utilizing absolute blur value |
US8143600B2 (en) | 2008-02-18 | 2012-03-27 | Visiongate, Inc. | 3D imaging of live cells with ultraviolet radiation |
US8346574B2 (en) | 2008-02-29 | 2013-01-01 | Dako Denmark A/S | Systems and methods for tracking and providing workflow information |
DE102008015885A1 (de) * | 2008-03-26 | 2009-10-01 | Synentec Gmbh | Vorrichtung und Verfahren zur Autofokussierung von optischen Geräten, insbesondere von Mikroskopen |
US8090183B2 (en) | 2009-03-12 | 2012-01-03 | Visiongate, Inc. | Pattern noise correction for pseudo projections |
JP2010102196A (ja) * | 2008-10-24 | 2010-05-06 | Olympus Corp | 顕微鏡画像の自動調整方法、顕微鏡システム |
US8254023B2 (en) | 2009-02-23 | 2012-08-28 | Visiongate, Inc. | Optical tomography system with high-speed scanner |
US8155420B2 (en) * | 2009-05-21 | 2012-04-10 | Visiongate, Inc | System and method for detecting poor quality in 3D reconstructions |
TWI413799B (zh) * | 2009-06-05 | 2013-11-01 | 中原大學 | The method of automatically looking for the focus position of the optical microscope |
US9019422B2 (en) | 2009-07-08 | 2015-04-28 | Freescale Semiconductor, Inc. | Degree-of-focus determination module, position-of-best-focus selection modules, image processing module, imaging system, and corresponding method |
US9052315B2 (en) | 2012-05-09 | 2015-06-09 | Advanced Animal Diagnostics, Inc. | Rapid detection of analytes in liquid samples |
WO2013170048A1 (en) | 2012-05-09 | 2013-11-14 | Advanced Animal Diagnostics, Inc. | Rapid detection of analytes in liquid samples |
EP2863733B1 (en) | 2012-06-20 | 2019-05-08 | Advanced Animal Diagnostics, Inc. | Sample collection and transfer assembly and related methods |
US9816982B2 (en) * | 2012-07-03 | 2017-11-14 | Advanced Animal Diagnostics, Inc. | Diagnostic apparatus |
US10359614B2 (en) | 2012-07-03 | 2019-07-23 | Advanced Animal Diagnostics, Inc. | Diagnostic apparatus |
US9797893B2 (en) | 2013-05-09 | 2017-10-24 | Advanced Animal Diagnostics, Inc. | Rapid detection of analytes in liquid samples |
CN103513411B (zh) * | 2013-09-27 | 2016-02-03 | 香港应用科技研究院有限公司 | 荧光显微镜中聚焦的装置和方法 |
US8809809B1 (en) | 2013-09-27 | 2014-08-19 | Hong Kong Applied Science and Technology Research Institute Company Limited | Apparatus and method for focusing in fluorescence microscope |
FR3023925B1 (fr) * | 2014-07-18 | 2018-01-26 | Photon Lines | Systeme de trajectographie automatique pour microscope optique base sur une camera rapide intelligente |
DE102015221085A1 (de) * | 2015-10-28 | 2017-05-04 | Robert Bosch Gmbh | Verfahren und Informationssystem zum Erkennen zumindest einer auf einem Feld angepflanzten Pflanze |
US11069054B2 (en) | 2015-12-30 | 2021-07-20 | Visiongate, Inc. | System and method for automated detection and monitoring of dysplasia and administration of immunotherapy and chemotherapy |
US9787893B1 (en) | 2016-04-11 | 2017-10-10 | Microsoft Technology Licensing, Llc | Adaptive output correction for digital image capture processing |
CN114584700B (zh) * | 2020-11-30 | 2024-04-05 | 京东方科技集团股份有限公司 | 对焦标记方法、标记装置以及电子设备 |
CN117784388B (zh) * | 2024-02-28 | 2024-05-07 | 宁波永新光学股份有限公司 | 一种基于相机响应曲线的高动态范围金相图像生成方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE69231269T2 (de) * | 1991-03-29 | 2001-02-01 | Olympus Optical Co., Ltd. | Vorrichtung zum ermitteln der automatischen fokussierung |
US5790710A (en) * | 1991-07-12 | 1998-08-04 | Jeffrey H. Price | Autofocus system for scanning microscopy |
AU773652B2 (en) * | 1999-06-04 | 2004-06-03 | Janssen Pharmaceutica N.V. | Robust autofocus system for a microscope |
-
2002
- 2002-08-06 US US10/485,116 patent/US7141773B2/en not_active Expired - Lifetime
- 2002-08-06 EP EP02755606A patent/EP1415187A4/en not_active Withdrawn
- 2002-08-06 WO PCT/IL2002/000643 patent/WO2003014795A1/en active Application Filing
- 2002-08-06 JP JP2003519669A patent/JP2004538509A/ja active Pending
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006171574A (ja) * | 2004-12-17 | 2006-06-29 | Olympus Corp | 顕微鏡画像処理方法、顕微鏡画像処理プログラムおよび顕微鏡システム |
JP4515899B2 (ja) * | 2004-12-17 | 2010-08-04 | オリンパス株式会社 | 顕微鏡画像処理方法、顕微鏡画像処理プログラムおよび顕微鏡システム |
JP4884369B2 (ja) * | 2005-02-21 | 2012-02-29 | オリンパス株式会社 | 微弱光標本撮像ユニット、微弱光標本撮像装置および微弱光標本撮像方法 |
JP2015111143A (ja) * | 2008-10-24 | 2015-06-18 | ライカ バイオシステムズ イメージング インコーポレイテッドAperio Technologies, Inc. | スライド全体蛍光スキャナ |
US8421033B2 (en) | 2009-08-31 | 2013-04-16 | Sony Corporation | Fluorescence image producing method, fluorescence image producing apparatus, and fluorescence image producing program |
US8759790B2 (en) | 2009-08-31 | 2014-06-24 | Sony Corporation | Fluorescence image producing method, fluorescence image producing apparatus, and fluorescence image producing program |
Also Published As
Publication number | Publication date |
---|---|
US7141773B2 (en) | 2006-11-28 |
US20050056767A1 (en) | 2005-03-17 |
WO2003014795A1 (en) | 2003-02-20 |
EP1415187A1 (en) | 2004-05-06 |
EP1415187A4 (en) | 2008-03-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2004538509A (ja) | 蛍光撮像における画像合焦 | |
JP6100813B2 (ja) | スライド全体蛍光スキャナ | |
JP5015955B2 (ja) | 自動顕微鏡の自動焦点調節法及びシステム | |
EP2103925B1 (en) | Multi-exposure imaging for automated fluorescent microscope slide scanning | |
JP5672688B2 (ja) | 合焦装置、合焦方法、合焦プログラム及び顕微鏡 | |
US20210333533A1 (en) | Self-Calibrating and Directional Focusing Systems and Methods for Infinity Corrected Microscopes | |
US20080266440A1 (en) | Predictive autofocusing | |
JP2008542800A (ja) | コントラストを評価して試料を走査するための方法および装置 | |
JPH09243904A (ja) | 画像の構図変化検出方法 | |
CN111679418B (zh) | 基于激光图像的显微镜自动聚焦方法、***及计算机设备 | |
JP2004126574A (ja) | 電子撮像装置のフォーカシング | |
US20140140595A1 (en) | Microscopy system and method for biological imaging | |
JP2006308884A (ja) | オートフォーカス装置 | |
JP2009229125A (ja) | 距離測定装置および距離測定方法 | |
JP2005215712A (ja) | 個体数カウント用の撮像装置及び制御手段 | |
JP5471715B2 (ja) | 合焦装置、合焦方法、合焦プログラム及び顕微鏡 | |
US20080170772A1 (en) | Apparatus for determining positions of objects contained in a sample | |
US11967090B2 (en) | Method of and microscope comprising a device for detecting movements of a sample with respect to an objective | |
KR101873318B1 (ko) | 세포 이미징 장치 및 그 방법 | |
JP2015075648A (ja) | 焦点検出装置、その制御方法、および制御プログラム、並びに撮像装置 | |
JP3661353B2 (ja) | 共焦点顕微鏡 | |
JP2019184724A (ja) | 撮像装置およびその制御方法 | |
JPH08160283A (ja) | 自動焦点調節装置 | |
JP2020118801A (ja) | 撮像装置、その制御方法およびプログラム | |
JPH09101235A (ja) | 光学的特性測定装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041221 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080908 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080912 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090714 |