JP6928757B2 - 光学顕微鏡における画像処理のためのシステムおよび方法 - Google Patents

光学顕微鏡における画像処理のためのシステムおよび方法 Download PDF

Info

Publication number
JP6928757B2
JP6928757B2 JP2018503206A JP2018503206A JP6928757B2 JP 6928757 B2 JP6928757 B2 JP 6928757B2 JP 2018503206 A JP2018503206 A JP 2018503206A JP 2018503206 A JP2018503206 A JP 2018503206A JP 6928757 B2 JP6928757 B2 JP 6928757B2
Authority
JP
Japan
Prior art keywords
point spread
spread function
microscope
image
deconvolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018503206A
Other languages
English (en)
Other versions
JP2018521360A (ja
Inventor
グッドウィン,ポール・カーライル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leica Microsystems CMS GmbH
Original Assignee
Leica Microsystems CMS GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=57836056&utm_source=***_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP6928757(B2) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Leica Microsystems CMS GmbH filed Critical Leica Microsystems CMS GmbH
Publication of JP2018521360A publication Critical patent/JP2018521360A/ja
Application granted granted Critical
Publication of JP6928757B2 publication Critical patent/JP6928757B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052Optical details of the image generation
    • G02B21/0076Optical details of the image generation arrangements using fluorescence or luminescence
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/008Details of detection or image processing, including general computer control
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/30Noise filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/693Acquisition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695Preprocessing, e.g. image segmentation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Description

本明細書で開示する例示的な実施形態は、一般的には、ラインスキャン撮像システムに関する。より具体的には、開示する例示的な実施形態は、ライン共焦点蛍光顕微鏡で画像を処理するためのシステムおよび方法に関する。
一般に、試料上の小さな関心領域を研究する場合、研究者は蛍光顕微鏡を用いて試料を観察することが多い。顕微鏡は、従来の広視野、構造化光または共焦点の顕微鏡であってもよい。このような顕微鏡の光学構成は、通常、光源、照明光学系、対物レンズ、試料ホルダ、撮像光学系および検出器を含む。光源から放射された光は、照明光学系および対物レンズを通って伝播した後に、試料上の関心領域を照明する。顕微鏡対物レンズは、アイピースを介して観察することができる対象物の拡大画像を形成するか、またはデジタル顕微鏡の場合には、拡大画像を検出器によって取得し、ライブ観察、データ格納、および更なる解析のためにコンピュータに送る。
広視野顕微鏡では、任意の標準的な顕微鏡と同様に従来の広視野法を用いてターゲットを撮像し、蛍光発光を収集する。一般に、蛍光染色または標識された試料は、適切な波長の励起光で照射され、放出光が画像を得るために使用される。光学フィルタおよび/またはダイクロイックミラーを使用して、励起光と放出光を分離する。
共焦点顕微鏡は、撮像のために特別な光学システムを利用する。最も簡単なシステムでは、関連する蛍光体の励起波長で動作するレーザが、試料上の点に集束される。同時に、この照射点からの蛍光発光が小領域検出器上に撮像される。試料の他の全ての領域から放射された任意の光は、検出器の前に位置する小さなピンホールによって拒絶され、検出器は照射スポットから発する光を透過する。励起スポットおよび検出器は、完全な画像を形成するためにラスタパターンで試料を横切ってスキャンされる。速度およびスループットを改善および最適化するための様々な戦略があり、それはこの分野の当業者には周知のものである。
ライン共焦点顕微鏡は、共焦点顕微鏡の変形であり、蛍光励起源はレーザビームである。しかし、ビームは、単一点ではなく、試料上の細いラインに集束される。蛍光発光は、空間フィルタとして作用するスリットを通して光検出器上に撮像される。試料の他の任意の領域から放射された光は、焦点がずれたままであり、結果としてスリットによって遮られる。2次元画像を形成するために、同時にラインカメラを読み取りながら、ラインを試料にわたってスキャンする。このシステムは、適切な光学配置を用いることによって、いくつかのレーザといくつかのカメラを同時に用いるように拡張することができる。
ライン共焦点顕微鏡の1つのタイプが米国特許第7,335,898号に開示されており、それは参照により組み込まれており、上記特許では、光検出器はローリングラインシャッタモードで動作する2次元センサ素子であり、それによって機械スリットを省略することができ、システム全体の設計を簡素化することができる。しかしながら、共焦点顕微鏡法は、3D構造の撮像に部分的な解決策を提供するが、動的構造を撮像する能力を著しく損なうことは明らかである。ほとんどの細胞、特に真核生物では、強い光に曝されることは決してなく、その結果、高い光子束にうまく耐えることができない。有効な生きた細胞の撮像および厚いもしくは複雑な生物学的構造を提供するための現在の解決策は限られており、高価である。広視野画像のデコンボリューションは、生きた細胞の撮像に有効であるが、厚いまたは複雑な撮像には制限がある。共焦点顕微鏡法は、厚いまたは複雑な撮像に有効であるが、生きた細胞の撮像能力には限界がある。
既存のシステムは、直交方向(X)に広視野性能を提供しながら、1次元(Y)で共焦点性を提供する。これは、従来のポイントスキャンまたはマルチポイント共焦点システムよりも優れた生細胞性能を提供しながら、画像のコントラストを著しく向上させるという利点を有することができる。しかしながら、既存のシステムは光学品質を犠牲にしてそのようにすることができる。既存のシステムは1次元のみで共焦点性を提供するので、他の次元の光学系は伸長して魅力のない画像を生じる。これらの画像に従来のデコンボリューションを適用すると、解像度およびコントラストは向上するが、非対称光学系によって生じる非対称性(伸び)は改善されない。
米国特許出願公開第2014/0267672号明細書
開示される例示的なシステムおよび方法は、ライン共焦点顕微鏡から取得した画像を補正するための非対称デコンボリューション処理を適用する。このような処理はまた、より低い光子束を用いた撮像を可能にするノイズ正則化を導入する機会を提供する。
1つの例示的な実施形態は、光学顕微鏡で画像を処理する方法である。本方法は、顕微鏡を用いて生の画像を取得するステップであって、生の画像は非対称解像度を有することができる、ステップと、非対称にデコンボリューションされた画像を生成するために、X方向とY方向とで異なる点拡がり関数を用いて生の画像の少なくとも一部を非対称にデコンボリューションするステップと、を含む。本方法はまた、非対称にデコンボリューションされた画像を表示装置に表示するステップを含む。
いくつかの例示的な実施形態によれば、生の画像は、Y方向に共焦点性を有し、X方向に広視野を有する楕円形の点拡がり関数を有することができる。点拡がり関数を用いて生の画像を非対称にデコンボリューションするステップは、X方向における広視野点拡がり関数に少なくとも部分的に基づいて点拡がり関数を決定するステップと、点拡がり関数をY方向の共焦点点拡がり関数に適用するステップと、をさらに含むことができる。さらにまたは代わりに、点拡がり関数を用いて生の画像を非対称にデコンボリューションするステップは、広視野点拡がり関数を用いてX方向をデコンボリューションするステップと、共焦点点拡がり関数を用いてY方向をデコンボリューションするステップと、をさらに含むことができる。共焦点点拡がり関数は、広視野点拡がり関数の平方根であってもよい。顕微鏡の光子収集効率は、同等の広視野顕微鏡の少なくとも10%、または少なくとも25%であってもよい。顕微鏡は、ラインスキャン共焦点顕微鏡、生細胞共焦点顕微鏡、「スピニングディスク」顕微鏡、蛍光顕微鏡、デコンボリューション顕微鏡、またはポイントスキャン共焦点顕微鏡であってもよい。生の画像は、単色蛍光画像であってもよい。いくつかの例示的な実施形態によれば、X方向またはY方向をデコンボリューションするステップは、ベイジアンデコンボリューション、リチャードソン−ルーシーデコンボリューション、ウィーナーデコンボリューション、フーリエデコンボリューション、ウェーブレット、またはデコンボリューションを計算する他の画像処理方法を含む。
1つの例示的な実施形態は、光学顕微鏡法で画像を処理するためのシステムである。本システムは、このシステムは、CMOSカメラからの画像データを提供するように構成された入力装置と、入力装置に結合された少なくとも1つのプロセッサと、を含み、少なくとも1つのプロセッサは、非対称にデコンボリューションされた画像を生成するために、X軸に沿ったものとY軸に沿ったものとで異なる点拡がり関数を用いて、画像データの少なくとも一部を非対称にデコンボリューションするように構成される。
いくつかの例示的な実施形態によれば、少なくとも1つのプロセッサは、中央処理装置、グラフィックス処理装置、および浮動小数点演算装置のうちの少なくとも1つを含む。画像データは、非対称解像度を有する単色蛍光画像を含むことができる。単色蛍光画像は、Y軸に共焦点性を有し、X軸に広視野を有する楕円形の点拡がり関数を含むことができる。少なくとも1つのプロセッサは、X軸における広視野点拡がり関数に少なくとも部分的に基づいて点拡がり関数を決定し、点拡がり関数をY軸における共焦点点拡がり関数に適用するように構成することができる。少なくとも1つのプロセッサは、広視野点拡がり関数を用いてX軸をデコンボリューションし、共焦点点拡がり関数を用いてY軸をデコンボリューションするようにさらに構成することができる。共焦点点拡がり関数は、広視野点拡がり関数の平方根であってもよい。入力装置は、ラインスキャン共焦点顕微鏡、生細胞共焦点顕微鏡、「スピニングディスク」顕微鏡、蛍光顕微鏡、デコンボリューション顕微鏡、またはポイントスキャン共焦点顕微鏡を含むことができる。顕微鏡の光子収集効率は、同等の広視野顕微鏡の少なくとも10%、または少なくとも25%であってもよい。1つの例示的な実施形態によれば、X軸またはY軸をデコンボリューションすることは、ベイジアンデコンボリューション、リチャードソン−ルーシーデコンボリューション、ウィーナーデコンボリューション、フーリエデコンボリューション、ウェーブレット、またはデコンボリューションを計算することができる他の画像処理方法を含むことができる。
1つの例示的な実施形態は、CMOSカメラベースのラインスキャン共焦点蛍光顕微鏡からの単色画像を処理するための画像処理システムである。本システムは、単色画像を生成することができる1つまたは複数のCMOSカメラと、単色画像を処理するためのシステムと、を含む。本システムは、CMOSカメラからの画像データを提供するように構成された入力装置と、入力装置に結合された少なくとも1つのプロセッサと、を含み、少なくとも1つのプロセッサは、非対称にデコンボリューションされた画像を生成するために、X方向とY方向とで異なる点拡がり関数を用いて単色画像の少なくとも一部を非対称にデコンボリューションするように構成される。
本開示の更なる適用範囲は、以下に与えられる詳細な説明から明らかになるであろう。しかしながら、例示的な実施形態を示す一方で、詳細な説明および特定の実施例は、例示のためだけに与えられていることを理解されたい。本開示の趣旨および範囲内の様々な変更および修正は、以下の詳細な説明から当業者には明らかになるであろう。
本開示の1つまたは複数の例示的な実施形態によるローリングラインシャッタ型検出器を含むラインスキャン撮像システムのブロック図である。 本開示の1つまたは複数の例示的な実施形態によるローリングラインシャッタ型検出器を含むラインスキャン共焦点顕微鏡からの点拡がり関数の概略図である。 本開示の1つまたは複数の例示的な実施形態による、異なる開口数を用いるラインスキャン共焦点顕微鏡からの実験的に導出された点拡がり関数の一例を示す図である。 本開示の1つまたは複数の例示的な実施形態によるラインスキャン共焦点顕微鏡から取り込まれた単色蛍光画像の一例を示す図である。 従来技術の教示に従って、光学顕微鏡法で画像を処理するための例示的な方法を示す図である。 本開示の1つまたは複数の例示的な実施形態による、CMOSカメラベースのラインスキャン共焦点蛍光顕微鏡からの単色画像を処理するための画像処理システムを示す図である。 本開示の1つまたは複数の例示的な実施形態による、CMOSカメラベースのラインスキャン共焦点蛍光顕微鏡からの単色画像を処理するための例示的な方法を示す図である。 本開示の1つまたは複数の例示的な実施形態による、CMOSカメラベースのラインスキャン共焦点蛍光顕微鏡からの単色画像を処理するための例示的なフロー図である。
以下の説明および図面は、当業者がそれらを実施できるように特定の実施形態を十分に説明する。他の実施形態は、構造的、プロセス的および他の変更を組み込むことができる。いくつかの実施形態の各部分および特徴は、他の実施形態の各部分および特徴に含まれてもよいし、またはそれらに置き換えられてもよい。1つまたは複数の実施の詳細は、添付の図面および以下の説明に記載されている。更なる実施形態、特徴、および態様は、説明、図面、および特許請求の範囲から明らかになるであろう。特許請求の範囲に記載の実施形態は、それらの特許請求の範囲の全ての利用可能な均等物を包含する。
例示的な実施形態が図面を参照して説明され、同様の構成要素は同じ数字で識別される。これらの実施形態の説明は例示的なものであり、本開示の範囲を限定するものではない。
1つの例示的な実施形態は、光学顕微鏡で画像を処理する方法である。本方法は、ラインスキャン共焦点顕微鏡などの顕微鏡を用いて生の画像を取得するステップを含む。このような顕微鏡から得られた生の画像は、非対称解像度を有することができる。本方法は、非対称にデコンボリューションされた画像を生成するために、X方向とY方向とで異なる点拡がり関数を用いて生の画像の少なくとも一部を非対称にデコンボリューションするステップを含む。本方法はまた、非対称にデコンボリューションされた画像を表示装置に表示するステップを含む。
いくつかの例示的な実施形態によれば、生の画像は、Y方向に共焦点性を有し、X方向に広視野を有する楕円形の点拡がり関数を有することができる。点拡がり関数を用いて生の画像を非対称にデコンボリューションするステップは、X方向における広視野点拡がり関数に少なくとも部分的に基づいて点拡がり関数を決定するステップと、点拡がり関数をY方向の共焦点点拡がり関数に適用するステップと、をさらに含むことができる。さらにまたは代わりに、点拡がり関数を用いて生の画像を非対称にデコンボリューションするステップは、広視野点拡がり関数を用いてX方向をデコンボリューションするステップと、共焦点点拡がり関数を用いてY方向をデコンボリューションするステップと、をさらに含むことができる。いくつかの実施形態では、共焦点点拡がり関数は、広視野点拡がり関数の平方根であってもよい。いくつかの例示的な実施形態によれば、X方向またはY方向をデコンボリューションするステップは、ベイジアンデコンボリューション、リチャードソン−ルーシーデコンボリューション、ウィーナーデコンボリューション、フーリエデコンボリューション、ウェーブレット、またはデコンボリューションを計算する他の画像処理方法を含む。
図1は、生の画像が得られる例示的なラインスキャン顕微鏡システム100のブロック図を示す。顕微鏡システム100は、光源101と、ライン形成ユニット102、104と、スキャンユニット105と、対物レンズ107と、試料109と、撮像光学系115と、2次元センサユニット117と、制御ユニット121、とを含むことができる。システムは、共焦点顕微鏡および広視野顕微鏡に通常見られるような他の構成要素を含むことができる。以下のセクションでは、これらの構成要素と他の構成要素について詳しく説明する。いくつかの構成要素について、複数の可能な実施形態が存在する。一般に、例示的な実施形態は、ターゲットアプリケーションに依存する。
光源101は、励起波長の光をターゲットに供給することができる任意の光源であってもよい。一実施形態によれば、光源101は、1つまたは複数の励起レーザを含む。一実施形態では、それは、近赤外から近紫外までの光学スペクトルをカバーする4つ以上のレーザを含む。これらのレーザの各々からの光は、適切な直径、方向および視準の自由空間ビームとして光を供給するか、または光ファイバ光供給システムを介して、光トレインの残りの部分に結合することができる。あるいは、光源は、適切な励起波長に同調可能な同調可能レーザであってもよい。更なる例示的な実施形態では、光は、特定のビーム直径を有する高度にコリメートされたビームとして、または光ファイバを介して供給され、例えば、単一モード偏光保存ファイバを用いることができる。2つ以上のレーザを含む実施形態では、光源は、所望の波長の光を選択するためのレーザ選択モジュール(図示せず)を含むことができる。
光ビーム101aは、光源101から放射され、ライン形成ユニット102、104によってライン状のビームに成形される。ライン形成ユニット102、104の例示的な実施形態には、パウエルレンズ(米国特許第4,826,299号に記載されており、参照により本明細書に組み込まれる)が含まれるが、これに限定されない。第2の円錐円筒面の形状は、好ましくは、Δθの範囲にわたって10%以内の均一照明と、対物レンズ107を通るレーザ光の80%を超える透過との両方を達成するように特定される。シリンドリカルレンズ、回折格子、ホログラフィック素子などの他のライン形成ユニット102、104も用いることができる。
スキャンユニット105は、対物レンズの焦点面におけるライン状励起光ビームのスキャンを顕微鏡の視野にわたって提供する。一実施形態によれば、スキャンユニット105は、図1の平面を横切る軸の周りに傾けることができるミラーを含む機械的に駆動されるスキャンミラーユニット105である。傾きの角度は、アクチュエータ106によって設定される。図1の実施形態では、スキャンミラーユニット105は、試料109からの励起された放射光を、顕著な歪みまたは減衰なしに撮像光学系115および2次元検出器ユニット117に通過させることができるように構成される。一実施形態によれば、ミラー105は、試料109からの励起光の大部分がミラー105の側を通過するように、対物レンズ107の後ろに中心を置くか、または軸方向にオフセットした狭いミラーから構成される。
別の実施形態によれば、スキャンミラーユニット105は、試料109からの励起光を通過させるように構成された任意選択のダイクロイックミラーを含む。ダイクロイックミラーの設計は、励起光源からの全ての波長の放射光が効率的に反射され、蛍光発光に対応する波長範囲の光が効率的に透過されるように行われる。Rugate技術に基づくマルチバンドミラーは、例示的な実施形態である。
一実施形態によれば、アクチュエータ106は、スキャンミラー105の絶対位置を記録するための傾斜軸上の位置エンコーダなどの角度位置を検出するための一体センサを有するガルバノメータであるが、スキャンミラーを駆動することができる別のタイプのアクチュエータで構成されてもよい。一実施形態によれば、アクチュエータ106の作動は、スキャンミラー105のスキャン軌跡が制御可能であるように制御することができる。以下でより詳細に開示するように、アクチュエータ、したがってスキャンミラー105のスキャン軌跡は、制御ユニット121などによって制御される。
スキャンユニット105は、光ビーム101aを対物レンズ107の後部開口部に導き、ビームをスキャンするように構成されている。異なる倍率で試料を見るために、顕微鏡は、例えば10倍および20倍など異なる倍率の2つ以上の対物レンズ107を含むことができる。試料109から放射または反射された光は、対物レンズ107によって集められ、フィルタユニット125によってフィルタリングされ、次いで、2次元センサユニット117上の典型的な撮像光学系115によって試料109の画像が形成される。フィルタユニット125は、励起蛍光波長が検出器ユニット117を通り、励起放射波長を遮断するように選択される。
2次元センサユニット117は、蛍光を検出して画像を生成することができ、ローリングラインシャッタモードで動作することができる任意の適切な光センサアレイまたはカメラで構成される。一実施形態によれば、2次元センサユニット117は、CMOSカメラまたは科学的CMOS(sCMOS)カメラである。2次元センサユニット117は、試料上の撮像領域と光学的に共役な位置に配置されており、ローリングラインシャッタ検出領域の形状および大きさは、試料上の光学的に共役な照明線の画像と等しいかそれより小さくなるように調整することができる。受光器のローリングラインシャッタ検出領域に供給される蛍光発光は、センサユニットのラインシャッタ検出領域内に位置する画素からの信号を読み取ることによって検出される。センサユニットのローリングラインシャッタ検出領域の外側に位置するセンサユニットの検出領域は、ローリングラインシャッタ検出領域の外側で受光された迷光や面外蛍光などの光信号を拒絶するために、ローリングラインシャッタモードにおける動作中には無視される。照明領域がスキャンミラーユニットを用いてターゲット/試料109を横切ってスキャンされるにつれて、センサユニットのローリングラインシャッタ検出領域が同期して移動し、試料上の照明ラインと光学的共役を維持する。
図1に概略的に示すように、ラインスキャン顕微鏡システム100は制御ユニット121を含み、制御ユニット121は、顕微鏡システム100と一体化されてもよいし、部分的に一体化されてもよいし、あるいはその外部にあってもよい。制御ユニット121は、例えば、システム100を制御し、センサユニット117から画像データを収集するために必要なソフトウェアを含むコンピュータであってもよい。制御ユニット121は、中央処理装置、グラフィック処理装置、または浮動小数点演算装置を含むがこれらに限定されない1つまたは複数のプロセッサを含むことができる。それは、例えば取得された画像のその後の解析などを可能にする画像処理能力をさらに含むことができる。
制御ユニット121の1つの主な特徴は、スキャンユニット105とセンサユニット117のローリングラインシャッタ動作との間の同期を確立することである。制御ユニット121は、センサユニット117のローリングラインシャッタ動作に対するスキャンユニット105のスキャン軌跡、およびその逆、ならびに相互タイミングを制御するように構成されている。上述したように、一実施形態によれば、スキャン開始点、スキャン終了点、スキャン速度、スキャン加速レート、スキャン減速レートなどを含む、スキャン軌跡を規定する一組のスキャンパラメータに従って、アクチュエータ106の作動を制御することによって、スキャンミラー105のスキャン軌跡を制御することができる。ローリングラインシャッタ動作は、ライン幅、シャッタ速度、シャッタ開始点および終了点などを含む、センサユニットの光学的検出動作を規定する一組のシャッタパラメータに従って、制御することができる。
高品質の画像を得るためには、視野を横切るライン形状の光ビームのスキャンから生じる蛍光信号のローリングラインシャッタ動作による位置合わせが同期される必要がある。この同期は、時間的同期と空間的同期の2つのカテゴリに分類することができる。時間的同期とは、スキャンに起因する蛍光信号のスキャンラインの速度が、許容範囲内の任意の露光時間についてセンサユニット117のローリングラインシャッタの速度と等しいことを意味する。空間的同期とは、画像取得中のスキャンに起因する蛍光信号が常にセンサユニット117のローリングラインシャッタ検出領域の中心に位置することを意味する。高品質の撮像を達成するためには、空間的同期および時間的同期の両方の条件が、単一画像の取得期間全体にわたって満たされなければならない。
一実施形態によれば、センサユニット117の視野の外側に加速部分を有するようにスキャン軌跡を設定することにより、改善された同期が達成され、それによって、スキャン速度安定化のためのスキャンユニット105の加速時間および角度が可能になる。ローリングラインシャッタ動作モードにより、センサユニット117の視野は、顕微鏡システム100の1回のスキャン中におけるセンサユニット117の光学活性領域として規定される。光学系がセンサユニット117全体にわたるスキャンを可能にする状況では、光学活性領域は全センサユニット領域に等しいが、光学活性領域は、光学系またはスキャンパラメータとシャッタパラメータによって制限され得る。一実施形態によれば、光学活性領域のサイズは選択可能であり、したがって、特定の撮像状況などに対して調整することができる。このようにして、例えば、試料の選択された部分をより詳細に撮像することが可能である。
一実施形態によれば、制御ユニット121は、スキャンユニット105、2次元検出器ユニット117、および光源101などの顕微鏡システム100の構成要素のリアルタイム制御のための低レベルのマイクロプロセッサを含む。スキャンユニット105は、ガルボユニットなどのデジタル制御されたアクチュエータ106によってスキャン軸を中心に傾けられるように構成されたスキャンミラーからなる。デジタル制御されたアクチュエータ106は、スキャンミラー105の絶対位置を記録するために傾斜軸上に位置エンコーダを有し、それによって傾斜軸のデジタル位置が常に分かる。同期のリアルタイム制御を提供するために、デジタル制御されたアクチュエータ106および2次元検出器ユニット117は、高速デジタル接続によってマイクロプロセッサ制御ユニット121に接続される。この実施形態では、マイクロプロセッサ制御ユニット121は、デジタル制御アクチュエータ106にどこに行くべきかを指示することができ、それによって、デジタル制御アクチュエータ106は、要求された位置で迅速に応答する。一実施形態によれば、高速デジタル接続は、2次元センサユニット117のラインシャッタ検出領域によって規定される後続の検出ラインに対して、マイクロプロセッサ制御ユニット121がデジタル制御アクチュエータ106を位置決めして、スキャン中にライン状励起光をライン毎にスキャンするのに十分なほど高速である。上述したように、マイクロプロセッサ制御ユニット121は、開始信号を供給することによって2次元センサユニット117のローリングシャッタ動作を開始するように構成される。次に2次元センサユニット117は、マイクロプロセッサ制御ユニット121にライン毎の制御信号を供給し、マイクロプロセッサ制御ユニット121は、2次元センサユニット117からのライン毎の制御信号を監視して、デジタル化されているラインの相対位置を追跡する。一実施形態によれば、光源101は、マイクロプロセッサ制御ユニット121によってデジタル制御可能であり、それによって、マイクロプロセッサは、1ラインをスキャンするのにかかる時間内に光源101をオン/オフすることができる。
図2は、例えば、図1に示すラインスキャン共焦点顕微鏡から得られた点拡がり関数210の概略図200である。点拡がり関数(PSF)210は、点源または点対象物に対する撮像システムの応答として記述することができる。PSF210は、未解決の対象物を表す画像内の拡張されたブロブと考えることができる。機能的には、撮像システムの伝達関数の空間領域バージョンである。点対象物の広がり(ぼかし)の程度は、撮像システムの品質の尺度である。蛍光顕微鏡、望遠鏡または光学顕微鏡などの非コヒーレント撮像システムでは、複雑な対象物の画像は、真の対象物とPSFとのコンボリューションとみなすことができる。しかし、検出された光がコヒーレントである場合には、画像形成は複雑な視野において線形である。図2では、PSF210は、Y方向の共焦点性206およびX方向の広視野204を含むことができる。光源または照明202は、上記実施形態を参照して説明したローリングシャッタと同様な、ローリングシャッタ208を使用してY方向に沿って幅全体をラインスキャンすることができる。既存のシステムは1次元のみで共焦点性を提供するので、他の次元の光学系は伸長して魅力のない画像を生じる。これらの画像に従来のデコンボリューションを適用すると、解像度およびコントラストは向上するが、非対称光学系によって生じる非対称性(伸び)は改善されない。
図3は、本開示の1つまたは複数の例示的実施形態による、異なる開口数を用いるラインスキャン共焦点顕微鏡からの理論的な点拡がり関数の一例である。光学システムの開口数(NA)は、システムが光を受け取りまたは放出することができる角度範囲を特徴付ける無次元数である。屈折率をその定義に組み込むことにより、NAは、界面に光強度がないことを条件として、ある材料から別の材料へと進むにつれて、ビームに対して一定であるという特性を有する。図3は、顕微鏡内のレンズの開口数の増加に応じたラインスキャン共焦点点拡がり関数の例示的なモデル300を示す。モデル300は、例えば、図2に示す点拡がり関数210の予測される範囲のプロットである。この場合のX軸は、スキャンラインに沿った点拡がり関数のエアリ半径をナノメートル単位で示し、Y軸は、例えば、スキャンラインに直交する点拡がり関数のエアリ半径をナノメートル単位で示す。この図に示されている最も内側の楕円314は、開口数1.4の点拡がり関数である。次の楕円312は、開口数1.2の点拡がり関数である。次の楕円310は、開口数1.0の点拡がり関数である。次の楕円308は、開口数0.8の点拡がり関数である。次の楕円306は、開口数0.6の点拡がり関数である。次の楕円304は、開口数0.4の点拡がり関数である。図3に示す最も外側の楕円302は、開口数0.2の点拡がり関数である。このように、レンズの開口数が増加すると、非対称性が悪化することが分かる。したがって、より高い解像度の画像の場合、非対称性はより重要な寄与となる。
図4は、例えば、図1で説明した例示的な実施形態によるラインスキャン共焦点顕微鏡から取り込まれた単色蛍光画像400の一例を示す。図示するように、1つまたは複数のCMOSカメラの視野402は、1つまたは複数の対象物404を含むことができる。これらの対象物404は、死んだ細胞または生きた細胞を含むことができ、それは厚さが厚くても薄くてもよく、x、y、z方向の寸法を有する。しかしながら、これらの対象物が顕微鏡100を用いて画像406内に取り込まれると、システムは1次元のみの共焦点性を誘起し、他の次元の光学系は取り込まれた対象物408に見られるように伸び、魅力のない画像406を生じる。Y次元では、システムは共焦点であり、解像度を高めるが、より重要なことに軸方向のコントラストを提供する。X次元では、システムは広視野顕微鏡であってもよい。この結果、点対象物は画像内に細長く表示される。
図5は、従来技術の教示に従って生の画像502を処理するための例示的な方法を示す。図示するように、これらの画像に従来のデコンボリューションを適用すると、解像度およびコントラストは向上するが、非対称光学系によって生じる非対称性(伸び)は改善されない。より具体的には、共焦点画像において細長い形状として取り込まれた対象物504は、従来の対称デコンボリューションを適用した後でさえ、対象物508を含む画像506に示すように細長いままである。従来のデコンボリューションは、Y次元とX次元を同じに扱うデコンボリューション処理において半径方向の対称性を仮定している。これは、コントラストおよび解像度を増加させることができるが、非対称の画像、例えばラインスキャン共焦点の場合には、システムは非対称性を補正しない。デコンボリューションは、記録されたデータに対するコンボリューションの影響を逆転させるために使用されるアルゴリズムに基づく処理として定義することができる。
図6は、本開示の1つまたは複数の例示的な実施形態による、CMOSカメラベースのラインスキャン共焦点蛍光顕微鏡からの単色画像を処理するための画像処理システム600を示す。システム600は、1つもしくは複数のCMOSカメラまたはsCMOSカメラ602を含み、これらは図1を参照して説明したCMOSカメラ117と同様のものであってもよい。システム600はまた、1つまたは複数の入力装置604を含み、これらは図1を参照して説明した制御ユニット121と同様のものであってもよい。入力装置604は、例えば、システム600を制御し、CMOSカメラ602内のセンサユニットから画像データを収集するために必要なソフトウェアを含むコンピュータであってもよい。システム600はまた、1つまたは複数のプロセッサ606を含み、プロセッサ606は、入力装置604に結合され、非対称にデコンボリューションされた画像を生成するために、X軸に沿ったものとY軸に沿ったものとで異なる点拡がり関数を用いて、画像データの少なくとも一部を非対称にデコンボリューションするように構成することができる。
いくつかの例示的な実施形態によれば、少なくとも1つのプロセッサ606は、中央処理装置、グラフィックス処理装置、および浮動小数点演算装置のうちの少なくとも1つを含む。画像データは、非対称解像度を有する単色蛍光画像を含むことができる。単色蛍光画像は、Y軸に共焦点性を有し、X軸に広視野を有する楕円形の点拡がり関数を含むことができる。少なくとも1つのプロセッサ606は、X軸における広視野点拡がり関数に少なくとも部分的に基づいて点拡がり関数を決定し、点拡がり関数をY軸における共焦点点拡がり関数に適用するように構成することができる。少なくとも1つのプロセッサ606は、広視野点拡がり関数を用いてX軸をデコンボリューションし、共焦点点拡がり関数を用いてY軸をデコンボリューションするようにさらに構成することができる。共焦点点拡がり関数は、1つの例示的な実施形態によれば、広視野点拡がり関数の平方根であってもよい。生の画像は、ラインスキャン共焦点顕微鏡、生細胞共焦点顕微鏡、「スピニングディスク」顕微鏡、蛍光顕微鏡、デコンボリューション顕微鏡、またはポイントスキャン共焦点顕微鏡から得ることができる。1つの例示的な実施形態によれば、X軸またはY軸をデコンボリューションすることは、ベイジアンデコンボリューション、リチャードソン−ルーシーデコンボリューション、ウィーナーデコンボリューション、フーリエデコンボリューション、ウェーブレット、またはデコンボリューションを計算することができる他の画像処理方法を含むことができる。システム600はまた、非対称にデコンボリューションされた画像を表示するため、または非対称にデコンボリューションされた画像をさらに処理もしくは解析するための1つまたは複数の表示装置608を含むことができる。表示装置608は、LCD、LED、OLED、CRT、または他の公知のディスプレイ技術などの1つまたは複数のディスプレイ技術を含むことができる。入力装置604およびプロセッサ606は、2つの別個のブロックとして示されているが、それらは1つの単一のプロセッサに組み込まれてもよい。単一のプロセッサは、CPUまたはGPUを含み、これはラインスキャン共焦点顕微鏡のコアとすることができ、信号取得と処理の両方のために構成することができる。
図7は、本開示の1つまたは複数の例示的な実施形態による、CMOSカメラベースのラインスキャン共焦点蛍光顕微鏡からの単色画像702を処理するための例示的な方法700を示す。画像702は、例えば、図6に示すように、入力装置604から取得することができる。図示するように、取得された画像702は、1つまたは複数の対象物704を含むことができ、非対称デコンボリューションを使用して処理されると、非対称にデコンボリューションされた対象物708を含む非対称にデコンボリューションされた画像706が得られる。この例示的な実施形態によれば、画像702の少なくとも一部は、非対称にデコンボリューションされた画像を生成するために、X軸に沿ったものとY軸に沿ったものとで異なる点拡がり関数を用いて非対称にデコンボリューションすることができる。生の単色蛍光画像は、Y軸に共焦点性を有し、X軸に広視野を有する楕円形の点拡がり関数を含むことができる。本方法は、X軸における広視野点拡がり関数に少なくとも部分的に基づいて点拡がり関数を決定すること、およびその点拡がり関数をY軸における共焦点点拡がり関数に適用することを含むことができる。本方法はまた、広視野点拡がり関数を使用してX軸をデコンボリューションすること、および共焦点点拡がり関数を使用してY軸をデコンボリューションすることを含むことができる。共焦点点拡がり関数は、1つの例示的な実施形態によれば、広視野点拡がり関数の平方根であってもよい。生の画像は、ラインスキャン共焦点顕微鏡、生細胞共焦点顕微鏡、「スピニングディスク」顕微鏡、蛍光顕微鏡、デコンボリューション顕微鏡、またはポイントスキャン共焦点顕微鏡から得ることができる。1つの例示的な実施形態によれば、X軸またはY軸をデコンボリューションすることは、ベイジアンデコンボリューション、リチャードソン−ルーシーデコンボリューション、ウィーナーデコンボリューション、フーリエデコンボリューション、ウェーブレット、またはデコンボリューションを計算することができる他の画像処理方法を含むことができる。
図8は、本開示の1つまたは複数の例示的な実施形態による、CMOSカメラベースのラインスキャン共焦点蛍光顕微鏡からの単色画像を処理する方法800の例示的なフロー図である。この例示的な実施形態によれば、X軸およびY軸は、独立してデコンボリューションすることができる。X軸は、広視野点拡がり関数(PSF)を使用してデコンボリューションすることができ、Y軸は、PSFの共焦点推定を使用してデコンボリューションすることができる。いくつかの実施形態では、X軸、Y軸、およびZ軸は、デコンボリューションについて独立して処理されてもよい。通信特性により、多次元フーリエ変換を、例えばX*Y*Z=XYZのように、次元によって同時にまたは区分的に実行することができる。
この例示的な実施形態では、方法800は、光学顕微鏡を用いて生の画像を取得するステップをブロック802で含むことができる。生の画像は、単色蛍光画像または単色画像のみを含むことができる。画像が取得される顕微鏡は、例えばラインスキャン共焦点顕微鏡であってもよい。ブロック804において、本方法は、上述の1つまたは複数の例示的な実施形態により、生の画像の少なくとも一部を非対称にデコンボリューションするステップを含むことができる。ブロック806において、本方法は、X方向に第1の点拡がり関数を使用するステップを含むことができ、ブロック808において、Y方向に第2の点拡がり関数を使用するステップを含むことができる。ブロック810において、プロセッサは、非対称にデコンボリューションされた画像を生成することができ、ブロック812において、本方法は、表示装置上に非対称にデコンボリューションされた画像を表示するステップを含むことができる。図8に示す動作のうちのいずれかは、図示するものと同じ順序で、または異なる順序で、プロセッサ606および/または入力装置604によって実行されてもよい。図8に示す動作の全ては、RAMまたはROMなどの1つまたは複数の非一時的なコンピュータ可読媒体に格納されてもよく、それらは入力装置604およびプロセッサ606によってアクセスおよび実行することができる。
非対称デコンボリューションの他の可能な特徴は、非対称PSFを直接用いること、または一方向のみをデコンボリューションすることを含むことができる。追加された光スループットによって可能になる追加の光子統計は、生きた細胞の撮像に役立ち、追加された軸方向のコントラストは、デコンボリューション処理がより複雑な3D試料を扱うことを著しく可能にする。本システムは、スピニングディスク共焦点、オリンパスDSU共焦点、およびSELSシステムなどのBrad Amosによるいくつかの実験的システムさえも含む、様々な共焦点システムからの画像と共に用いることができる。このアプローチは、光子効率がスピニングディスク共焦点より約5倍大きく、ポイントスキャン共焦点より約50倍大きくなる点で、他の共焦点システムよりも好ましい。デコンボリューションは、薄い標本に対する従来の広視野デコンボリューションを比較することによって評価することができる。共焦点性は、デコンボリューションされたラインスキャン共焦点画像を、例えば、ポイントスキャン共焦点を用いて取得された画像と比較することによって評価することができる。
開示された例示的な実施形態はラインスキャン共焦点顕微鏡について言及しているが、本開示はそのように限定されず、本明細書に記載の方法および処理は、生細胞共焦点顕微鏡、「スピニングディスク」顕微鏡、蛍光顕微鏡、デコンボリューション顕微鏡、ポイントスキャン共焦点顕微鏡などを含む任意の顕微鏡に適用することができる。開示された例示的な方法は、顕微鏡の光子収集効率を改善して、顕微鏡が既存のシステムにおける5%の光子効率と比較して、同等の広視野顕微鏡の少なくとも10%、好ましくは少なくとも25%の光子収集効率を有するようになる。記載された例示的な方法はまた、生細胞共焦点顕微鏡の速度および生存率を改善することができる。
例示的な実施形態に適用される本開示の基本的な新規な特徴について図示し、説明し、指摘してきたが、図示した実施例の形態および詳細について、ならびにその動作について、本開示の趣旨から逸脱することなく、種々の省略、置き換え、および変更が当業者によって行うことができることが理解されるであろう。さらに、それらの要素および/または方法動作の全ての組合せは、同じ結果を達成するために、実質的に同じ方法で実質的に同じ機能を実行し、本開示の範囲内にあることが明白に意図される。さらに、本開示の任意の開示された形態または実施形態に関連して図示および/または記載した構造および/または要素および/または方法動作は、設計選択の一般的な事項として、他の任意の開示または記載または示唆された形態または実施形態に組み込まれてもよいことを理解されたい。したがって、特許請求の範囲によってのみ限定されることが意図される。
添付の図面を参照した上記の説明は、特許請求の範囲およびその等価物によって定義される本開示の特定の実施形態の包括的な理解を助けるために提供されている。その理解を助けるための様々な具体的な詳細が含まれるが、これらは単に例示的なものとみなされるべきである。したがって、当業者であれば、本開示の範囲および趣旨から逸脱することなく、実施形態の様々な変更および修正を行うことができることを認識するであろう。さらに、明瞭かつ簡潔にするために、周知の機能および構成の説明は省略してもよい。
単数形「1つの(a)」、「1つの(an)」および「前記(the)」は、文脈が特に他のことを明確に示さない限り、複数の指示対象を含むことを理解されたい。したがって、例えば、「構成要素表面」への言及は、そのような表面の1つまたは複数への言及を含む。「実質的に」という用語は、列挙された特性、パラメータ、または値が正確に達成される必要はないが、例えば公差、測定誤差、測定精度限界および当業者には公知の他の要因を含む偏差またはばらつきが、その特性が提供しようとした効果を排除しない量で生じてもよいことを意味している。
実施形態は、構造的特徴および/または方法論的動作に特有の文言で説明されているが、本開示は必ずしも説明した特定の特徴または動作に限定されないことを理解されたい。むしろ、特定の特徴および動作は、実施形態を実施する例示的な形態として開示される。特に断りのない限り、または使用されている文脈の中で他の意味で理解されない限り、「することができる」、「してもよい」などの条件付き文言は、特定の実施形態が、特定の特徴、要素および/またはステップを含むことができるが、他の実施形態は含まないことを伝えることを一般的に意図している。したがって、このような条件付き文言は、特徴、要素、および/またはステップが、1つまたは複数の実施形態に何らかの形で必要とされることを暗に意味することを一般に意図していない。
上記の説明および特許請求の範囲で使用される用語は、それらの辞書の意味に限定されず、単に本開示の明確かつ一貫した理解を可能にするために使用されているに過ぎない。したがって、当業者には明らかなように、本開示の実施形態の説明は、例示目的でのみ提供され、添付の特許請求の範囲およびそれらの等価物によって定義される本開示を限定する目的のためではない。
100 ラインスキャン顕微鏡システム
101 光源
101a 光ビーム
102 ライン形成ユニット
104 ライン形成ユニット
105 スキャンミラーユニット
106 アクチュエータ
107 対物レンズ
109 試料
115 撮像光学系
117 2次元センサユニット
121 制御ユニット
125 フィルタユニット
200 概略図
202 照明
204 広視野
206 共焦点性
208 ローリングシャッタ
210 点拡がり関数
300 モデル
302 楕円
304 楕円
306 楕円
308 楕円
310 楕円
312 楕円
314 楕円
400 単色蛍光画像
402 視野
404 対象物
406 画像
408 対象物
502 生の画像
504 対象物
506 画像
508 対象物
600 画像処理システム
602 CMOSカメラ
604 入力装置
606 プロセッサ
608 表示装置
700 方法
702 単色画像
704 対象物
706 非対称にデコンボリューションされた画像
708 非対称にデコンボリューションされた対象物
800 方法
802 ブロック
804 ブロック
806 ブロック
808 ブロック
810 ブロック
812 ブロック

Claims (11)

  1. 光学顕微鏡で画像を処理するための方法であって、
    顕微鏡を用いて生の画像(502)を取得するステップ(802)であって、前記生の画像(502)は非対称解像度を有する、ステップと、
    非対称にデコンボリューションされた画像(706)を生成するために、X方向とY方向とで異なる点拡がり関数(210)を用いて前記生の画像(502)の少なくとも一部を非対称にデコンボリューションするステップ(804)と、
    前記非対称にデコンボリューションされた画像(706)を表示装置(608)に表示するステップ(812)と、を含み、
    前記生の画像(502)は、Y方向に共焦点性を有し、X方向に広視野を有する楕円形の点拡がり関数(210)を有し、
    前記点拡がり関数(210)を用いて前記生の画像(502)を非対称にデコンボリューションするステップ(804)は、
    前記X方向における広視野点拡がり関数(210)に少なくとも部分的に基づいて前記点拡がり関数(210)を決定するステップと、
    前記点拡がり関数(210)を前記Y方向の共焦点点拡がり関数(210)に適用するステップと、
    前記広視野点拡がり関数(210)を用いて前記X方向をデコンボリューションするステップ(806)と、
    前記共焦点点拡がり関数(210)を用いて前記Y方向をデコンボリューションするステップ(808)と、をさらに含み、
    前記共焦点点拡がり関数(210)は、前記広視野点拡がり関数(210)の平方根である、方法。
  2. 前記顕微鏡の光子収集効率は、同等の広視野顕微鏡の少なくとも10%である、請求項1に記載の方法。
  3. 前記顕微鏡は、ラインスキャン共焦点顕微鏡、生細胞共焦点顕微鏡、「スピニングディスク」顕微鏡、蛍光顕微鏡、デコンボリューション顕微鏡、またはポイントスキャン共焦点顕微鏡である、請求項1に記載の方法。
  4. 前記生の画像(502)は単色蛍光画像(400)である、請求項1に記載の方法。
  5. 前記X方向またはY方向をデコンボリューションするステップは、ベイジアンデコンボリューション、リチャードソン−ルーシーデコンボリューション、ウィーナーデコンボリューション、フーリエデコンボリューション、ウェーブレット、またはデコンボリューションを計算する他の画像処理方法を含む、請求項1に記載の方法。
  6. 光学顕微鏡で画像を処理するためのシステム(600)であって、
    (a)CMOSカメラ(602)からの画像データを提供するように構成された入力装置(604)と、
    (b)前記入力装置(604)に結合された少なくとも1つのプロセッサ(606)と、を含み、前記少なくとも1つのプロセッサ(606)は、
    非対称にデコンボリューションされた画像(706)を生成するために、X軸に沿ったものとY軸に沿ったものとで異なる点拡がり関数(210)を用いて、前記画像データの少なくとも一部を非対称にデコンボリューションするように構成され、
    前記画像データは、非対称解像度を有する単色蛍光画像(400)を含み、
    前記単色蛍光画像(400)は、前記Y軸に共焦点性を有し、前記X軸に広視野を有する楕円形の点拡がり関数(210)を含み、
    前記少なくとも1つのプロセッサ(606)は、
    前記X軸における広視野点拡がり関数(210)に少なくとも部分的に基づいて前記点拡がり関数(210)を決定し、
    前記点拡がり関数(210)を前記Y軸における共焦点点拡がり関数(210)に適用し、
    前記広視野点拡がり関数(210)を用いて前記X軸をデコンボリューションし、
    前記共焦点点拡がり関数(210)を用いて前記Y軸をデコンボリューションするようにさらに構成され、
    前記共焦点点拡がり関数(210)は、前記広視野点拡がり関数(210)の平方根である、システム(600)。
  7. 前記少なくとも1つのプロセッサ(606)は、中央処理装置、グラフィックス処理装置、および浮動小数点演算装置のうちの少なくとも1つを含む、請求項に記載のシステム(600)。
  8. 前記入力装置(604)は、ラインスキャン共焦点顕微鏡、生細胞共焦点顕微鏡、「スピニングディスク」顕微鏡、蛍光顕微鏡、デコンボリューション顕微鏡、またはポイントスキャン共焦点顕微鏡である、請求項に記載のシステム(600)。
  9. 前記顕微鏡の光子収集効率は、同等の広視野顕微鏡の少なくとも10%である、請求項に記載のシステム(600)。
  10. 前記X軸またはY軸をデコンボリューションすることは、ベイジアンデコンボリューション、リチャードソン−ルーシーデコンボリューション、ウィーナーデコンボリューション、フーリエデコンボリューション、ウェーブレット、またはデコンボリューションを計算する他の画像処理方法を含む、請求項に記載のシステム(600)。
  11. CMOSカメラ(602)ベースのラインスキャン共焦点蛍光顕微鏡からの単色画像(702)を処理するための画像処理システム(600)であって、
    (a)前記単色画像(702)を生成することができる1つまたは複数のCMOSカメラ(602)と、
    (b)前記単色画像(702)を処理するためのシステム(600)と、を含み、前記システム(600)は、
    (1)前記CMOSカメラ(602)からの画像データを提供するように構成された入力装置(604)と、
    (2)前記入力装置(604)に結合された少なくとも1つのプロセッサ(606)と、を含み、前記少なくとも1つのプロセッサ(606)は、
    非対称にデコンボリューションされた画像(706)を生成するために、X方向とY方向とで異なる点拡がり関数(210)を用いて前記単色画像(702)の少なくとも一部を非対称にデコンボリューションするように構成され、
    前記単色画像(702)は、前記Y方向に共焦点性を有し、前記X方向に広視野を有する楕円形の点拡がり関数(210)を含み、
    前記少なくとも1つのプロセッサ(606)は、
    前記X方向における広視野点拡がり関数(210)に少なくとも部分的に基づいて前記点拡がり関数(210)を決定し、
    前記点拡がり関数(210)を前記Y方向における共焦点点拡がり関数(210)に適用し、
    前記広視野点拡がり関数(210)を用いて前記X方向をデコンボリューションし、
    前記共焦点点拡がり関数(210)を用いて前記Y方向をデコンボリューションするようにさらに構成され、
    前記共焦点点拡がり関数(210)は、前記広視野点拡がり関数(210)の平方根である、画像処理システム(600)。
JP2018503206A 2015-07-24 2016-07-18 光学顕微鏡における画像処理のためのシステムおよび方法 Active JP6928757B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/808,470 2015-07-24
US14/808,470 US10031328B2 (en) 2015-07-24 2015-07-24 Systems and methods for image processing in optical microscopes
PCT/US2016/042811 WO2017019366A1 (en) 2015-07-24 2016-07-18 Systems and methods for image processing in optical microscopes

Publications (2)

Publication Number Publication Date
JP2018521360A JP2018521360A (ja) 2018-08-02
JP6928757B2 true JP6928757B2 (ja) 2021-09-01

Family

ID=57836056

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018503206A Active JP6928757B2 (ja) 2015-07-24 2016-07-18 光学顕微鏡における画像処理のためのシステムおよび方法

Country Status (5)

Country Link
US (1) US10031328B2 (ja)
EP (1) EP3332283B1 (ja)
JP (1) JP6928757B2 (ja)
CN (1) CN107850766B (ja)
WO (1) WO2017019366A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023189393A1 (ja) * 2022-03-29 2023-10-05 ソニーグループ株式会社 生体試料観察システム、情報処理装置及び画像生成方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FI20175410A (fi) * 2017-05-08 2018-11-09 Grundium Oy Laite ja menetelmä mikroskooppileikkeiden skannaamiseksi
EP3614190A1 (en) * 2018-08-20 2020-02-26 Till GmbH Microscope device with virtual objective

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2724737A (en) * 1951-01-29 1955-11-22 Alsede W Hogan Electric color image formation and control
US4826299A (en) 1987-01-30 1989-05-02 Canadian Patents And Development Limited Linear deiverging lens
US5740409A (en) * 1996-07-01 1998-04-14 Sun Microsystems, Inc. Command processor for a three-dimensional graphics accelerator which includes geometry decompression capabilities
US6844150B2 (en) * 2000-08-24 2005-01-18 The Regents Of The University Of California Ultrahigh resolution multicolor colocalization of single fluorescent probes
US7811825B2 (en) * 2002-04-19 2010-10-12 University Of Washington System and method for processing specimens and images for optical tomography
EP1787157B1 (en) 2004-07-23 2014-09-24 GE Healthcare Niagara Inc. Apparatus for fluorescent confocal microscopy
KR100743591B1 (ko) * 2005-09-23 2007-07-27 한국과학기술원 사이드 로브가 제거된 공초점 자가 간섭 현미경
JP4799428B2 (ja) * 2007-01-22 2011-10-26 株式会社東芝 画像処理装置及び方法
JP2008197283A (ja) * 2007-02-09 2008-08-28 Nikon Corp スリット走査共焦点顕微鏡、及び画像取得方法
WO2010068884A2 (en) * 2008-12-11 2010-06-17 The Regents Of The University Of California Methods and systems for direct sequencing of single dna molecules
EP2584310A4 (en) * 2010-06-17 2014-07-09 Panasonic Corp IMAGE PROCESSING DEVICE AND IMAGE PROCESSING METHOD
JP5412394B2 (ja) * 2010-09-30 2014-02-12 オリンパス株式会社 標本観察装置
JP5809865B2 (ja) * 2011-07-19 2015-11-11 株式会社 日立産業制御ソリューションズ 画像処理装置及び画像処理方法
US9338354B2 (en) * 2011-10-03 2016-05-10 Nikon Corporation Motion blur estimation and restoration using light trails
EP2584584A1 (en) * 2011-10-19 2013-04-24 FEI Company Method for adjusting a STEM equipped with an aberration corrector
US9098147B2 (en) * 2011-12-29 2015-08-04 Industrial Technology Research Institute Ranging apparatus, ranging method, and interactive display system
EP2966492B1 (en) * 2012-05-02 2020-10-21 Centre National De La Recherche Scientifique Method and apparatus for single-particle localization using wavelet analysis
EP2704177B1 (en) * 2012-09-04 2014-11-26 Fei Company Method of investigating and correcting aberrations in a charged-particle lens system
CA2900842C (en) * 2013-03-12 2020-01-21 Ventana Medical Systems, Inc. Digitally enhanced microscopy for multiplexed histology

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023189393A1 (ja) * 2022-03-29 2023-10-05 ソニーグループ株式会社 生体試料観察システム、情報処理装置及び画像生成方法

Also Published As

Publication number Publication date
US10031328B2 (en) 2018-07-24
EP3332283B1 (en) 2020-09-02
EP3332283A4 (en) 2019-11-27
WO2017019366A1 (en) 2017-02-02
CN107850766A (zh) 2018-03-27
CN107850766B (zh) 2022-04-05
EP3332283A1 (en) 2018-06-13
JP2018521360A (ja) 2018-08-02
US20170023786A1 (en) 2017-01-26

Similar Documents

Publication Publication Date Title
US11604342B2 (en) Microscopy devices, methods and systems
US8472113B2 (en) Scanning microscope and method for light-microscopic imaging of an object
US10690898B2 (en) Light-field microscope with selective-plane illumination
CA2868263C (en) Slide scanner with dynamic focus and specimen tilt and method of operation
US8575570B2 (en) Simultaneous orthogonal light sheet microscopy and computed optical tomography
US9697605B2 (en) Method for the microscopic three-dimensional reproduction of a sample
US8547634B2 (en) Optical arrangement for photomanipulation
US9715095B2 (en) Microscope and method for SPIM microscopy
US10191263B2 (en) Scanning microscopy system
US11215804B2 (en) Microscope and method for imaging a sample
US20190170646A1 (en) Light-sheet microscope with parallelized 3d image acquisition
JP5311195B2 (ja) 顕微鏡装置
JP6928757B2 (ja) 光学顕微鏡における画像処理のためのシステムおよび方法
US10776955B2 (en) Method for the analysis of spatial and temporal information of samples by means of optical microscopy
EP2889666A1 (en) Image generation system
EP1806575B1 (en) Examination apparatus
WO2019148008A1 (en) Apparatuses and methods for multi-direction digital scanned light sheet microscopy
WO2017090209A1 (ja) 顕微鏡、観察方法、及び制御プログラム
US20220137383A1 (en) Apparatus and method for capturing image data
JP5765569B2 (ja) 顕微鏡装置
JP2011027803A (ja) 光源装置および顕微鏡

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190515

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190613

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200313

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200323

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200619

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200923

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20201125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201210

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210216

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210510

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20210609

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210609

R150 Certificate of patent or registration of utility model

Ref document number: 6928757

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150