JP6635125B2 - 顕微鏡、観察方法、及び画像処理プログラム - Google Patents

顕微鏡、観察方法、及び画像処理プログラム Download PDF

Info

Publication number
JP6635125B2
JP6635125B2 JP2017552257A JP2017552257A JP6635125B2 JP 6635125 B2 JP6635125 B2 JP 6635125B2 JP 2017552257 A JP2017552257 A JP 2017552257A JP 2017552257 A JP2017552257 A JP 2017552257A JP 6635125 B2 JP6635125 B2 JP 6635125B2
Authority
JP
Japan
Prior art keywords
dimensional
image
image processing
area
fluorescent substance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017552257A
Other languages
English (en)
Other versions
JPWO2017090210A1 (ja
Inventor
一郎 佐瀬
一郎 佐瀬
泰俊 金子
泰俊 金子
福井　達雄
達雄 福井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Publication of JPWO2017090210A1 publication Critical patent/JPWO2017090210A1/ja
Application granted granted Critical
Publication of JP6635125B2 publication Critical patent/JP6635125B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458—Fluorescence microscopy
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/02—Objectives
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/16—Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/24—Base structure
    • G02B21/26—Stages; Adjusting means therefor
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/368—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements details of associated display arrangements, e.g. mounting of LCD monitor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10064—Fluorescence image

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Studio Devices (AREA)

Description

本発明は、顕微鏡、観察方法、及び画像処理プログラムに関する。
観察対象の試料の構造を３次元的に取得可能な顕微鏡の１つに、例えば、確率的光学再構築顕微鏡技術（Stochastic Optical Reconstruction Microscopy）を利用した顕微鏡（以下、ＳＴＯＲＭという）がある（例えば、下記の特許文献１参照）。ＳＴＯＲＭは、蛍光物質が付与された試料の観察に用いられる。ＳＴＯＲＭは、例えば、蛍光物質を低密度で活性化し、活性化した蛍光物質のみを励起光の照射により発光させることで、蛍光の像が疎な分布の蛍光画像を取得する。蛍光画像において、蛍光の像は個々に分離されており、個々の像の重心位置をガウシアンフィッティング等により求めることができる。ＳＴＯＲＭは、多数の蛍光画像から得られる多数の蛍光物質の重心位置にそれぞれ点像を配置することで、高分解能の画像を生成（構築）する。例えば、試料の層ごとに蛍光物質の位置を求め、複数の層について蛍光物質の位置を集積することで、試料の構造を３次元的に取得可能である。
米国特許出願公開第２００８／０１８２３３６号
上述のように、試料の情報を複数の層に分けて３次元的に取得する際に、複数の層で情報が整合することが望まれる。
本発明の態様に従えば、蛍光物質を含む試料に照明光を照射する照明光学系と、対物レンズを含み、試料からの光の像を形成する観察光学系と、観察光学系が形成した像を撮像する撮像部と、画像処理部と、試料を保持するステージおよび対物レンズの少なくとも一方を移動させる制御部と、を備え、画像処理部は、試料の第１の三次元領域と第２の三次元領域との重複領域の少なくとも一部における蛍光物質の位置情報を用いて、第２の三次元領域における蛍光物質の位置情報を第２の三次元領域の基準位置からの距離に基づいて補正する、顕微鏡が提供される。
本発明の態様に従えば、試料に含まれる蛍光物質の一部を活性化する活性化光を照明する第１照明光学系と、活性化された蛍光物質の少なくとも一部を励起する励起光を照明する第２照明光学系と、対物レンズと、試料からの光の少なくとも一部に対して非点収差を発生させる非点収差光学系とを有し、試料からの光の像を形成する観察光学系と、観察光学系が形成した像を撮像する撮像部と、画像処理部と、試料を保持するステージおよび対物レンズの少なくとも一方を移動させる制御部と、を備え、画像処理部は、試料の第１の三次元領域と第２の三次元領域との重複領域の少なくとも一部における蛍光物質の位置情報を用いて、第２の三次元領域における蛍光物質の位置情報を第２の三次元領域の基準位置からの距離に基づいて補正する、顕微鏡が提供される。
本発明の態様に従えば、ステージに載置された物体に照明光を照射する照明光学系と、対物レンズを含み、物体からの光の像を形成する観察光学系と、観察光学系が形成した像を撮像する撮像部と、画像処理部と、ステージおよび対物レンズの少なくとも一方を、移動させる制御部と、を備え、画像処理部は、物体の第１の三次元領域と第２の三次元領域の重複領域の少なくとも一部における物体の情報を用いて、第２の三次元領域における物体の情報を第２の三次元領域の基準位置からの距離に基づいて補正する、顕微鏡が提供される。
本発明の態様に従えば、蛍光物質を含む試料に照明光を照射することと、対物レンズを含む観察光学系によって、試料からの光の像を形成することと、観察光学系が形成した像を撮像することと、画像処理を行うことと、試料を保持するステージおよび対物レンズの少なくとも一方を移動させることと、を含み、画像処理は、試料の第１の三次元領域と第２の三次元領域の重複領域の少なくとも一部における蛍光物質の位置情報を用いて、第２の三次元領域における蛍光物質の位置情報を第２の三次元領域の基準位置からの距離に基づいて補正することを含む、観察方法が提供される。
本発明の態様に従えば、試料に含まれる蛍光物質の一部を活性化する活性化光と、活性化された蛍光物質の少なくとも一部を励起する励起光とを照明することと、対物レンズと、試料からの光の少なくとも一部に対して非点収差を発生させる非点収差光学系とを有する観察光学系によって、試料からの光の像を形成することと、観察光学系が形成した像を撮像することと、画像処理を行うことと、試料を保持するステージおよび対物レンズの少なくとも一方を移動させることと、を含み、画像処理は、試料の第１の三次元領域と第２の三次元領域の重複領域の少なくとも一部における蛍光物質の位置情報を用いて、第２の三次元領域における蛍光物質の位置情報を第２の三次元領域の基準位置からの距離に基づいて補正することを含む、観察方法が提供される。
本発明の態様に従えば、ステージに載置された物体に照明光を照射することと、対物レンズを含む観察光学系によって、物体からの光の像を形成することと、観察光学系が形成した像を撮像することと、画像処理を行うことと、ステージおよび対物レンズの少なくとも一方を移動させることと、を含み、画像処理は、物体の第１の三次元領域と第２の三次元領域の重複領域の少なくとも一部における物体の情報を用いて、第２の三次元領域における物体の情報を第２の三次元領域の基準位置からの距離に基づいて補正することを含む、観察方法が提供される。
本発明の態様に従えば、蛍光物質を含む試料に照明光を照射し、対物レンズを含む観察光学系によって、試料からの光の像を形成し、撮像部によって像を撮像し、試料を保持するステージおよび対物レンズの少なくとも一方を移動させ、撮像部により撮像された結果を用いてコンピュータに画像処理を実行させる画像処理プログラムであって、画像処理は、試料の第１の三次元領域と第２の三次元領域の重複領域の少なくとも一部における蛍光物質の位置情報を用いて、第２の三次元領域における蛍光物質の位置情報を第２の三次元領域の基準位置からの距離に基づいて補正する、ことを含む、画像処理プログラムが提供される。
本発明の態様に従えば、試料に含まれる蛍光物質の一部を活性化する活性化光と、活性化された蛍光物質の少なくとも一部を励起する励起光とを照明し、対物レンズと、試料からの光の少なくとも一部に対して非点収差を発生させる非点収差光学系とを有する観察光学系によって、試料からの光の像を形成し、撮像部によって像を撮像し、試料を保持するステージおよび対物レンズの少なくとも一方を移動させ、撮像部により撮像された結果を用いてコンピュータに画像処理を実行させる画像処理プログラムであって、画像処理は、試料の第１の三次元領域と第２の三次元領域の重複領域の少なくとも一部における蛍光物質の位置情報を用いて、第２の三次元領域における蛍光物質の位置情報を第２の三次元領域の基準位置からの距離に基づいて補正することを含む、画像処理プログラムが提供される。
本発明の態様に従えば、ステージに載置された物体に照明光を照射し、対物レンズを含む観察光学系によって、物体からの光の像を形成し、撮像部によって像を撮像し、ステージおよび対物レンズの少なくとも一方を移動させ、撮像部により撮像された結果を用いてコンピュータに画像処理を実行させる画像処理プログラムであって、画像処理は、物体の第１の三次元領域と第２の三次元領域の重複領域の少なくとも一部における物体の情報を用いて、第２の三次元領域における物体の情報を第２の三次元領域の基準位置からの距離に基づいて補正することを含む、画像処理プログラムが提供される。
本発明の第１の態様に従えば、蛍光物質を含む試料に照明光を照射する照明光学系と、対物レンズを含み、試料からの光の像を形成する観察光学系と、観察光学系が形成した像を撮像する撮像部と、撮像の結果を用いて画像処理を行う画像処理部と、試料を保持するステージおよび対物レンズの少なくとも一方を、対物レンズの光軸と同じ方向に移動させる制御部と、を含み、画像処理部は、対物レンズの焦点位置が第１の位置にあるときの撮像結果により得られた第１の領域における蛍光物質の位置情報と、対物レンズの焦点位置が第２の位置にあるときの撮像結果により得られた第２の領域における蛍光物質の位置情報とのうち、第１の領域と第２の領域との重複領域の少なくとも一部における蛍光物質の位置情報を用いて、第２の領域における蛍光物質の位置情報を補正する、顕微鏡が提供される。
本発明の第２の態様に従えば、試料に含まれる蛍光物質の一部を活性化する活性化光と、活性化された蛍光物質の少なくとも一部を励起する励起光とを照明する照明光学系と、対物レンズと、試料からの光の少なくとも一部に対して非点収差を発生させる非点収差光学系とを有し、試料からの光の像を形成する観察光学系と、観察光学系が形成した像を撮像する撮像部と、撮像の結果を用いて画像処理を行う画像処理部と、試料を保持するステージおよび対物レンズの少なくとも一方を、対物レンズの光軸と同じ方向に移動させる制御部と、を含み、画像処理部は、対物レンズの焦点位置が第１の位置にあるときの撮像結果に含まれる非点収差に関する情報を用いて、第１の領域における蛍光物質の位置情報を算出し、対物レンズの焦点位置が第２の位置にあるときの撮像結果に含まれる非点収差に関する情報を用いて、第２の領域における蛍光物質の位置情報を算出し、第１の領域における蛍光物質の位置情報と、第２の領域における蛍光物質の位置情報とのうち、第１の領域と第２の領域との重複領域の少なくとも一部における蛍光物質の位置情報を用いて、第２の領域における蛍光物質の位置情報を補正する、顕微鏡が提供される。
本発明の第３の態様に従えば、ステージに載置された物体に照明光を照射する照明光学系と、対物レンズを含み、試料からの光の像を形成する観察光学系と、観察光学系が形成した像を撮像する撮像部と、撮像の結果を用いて画像処理を行う画像処理部と、ステージおよび対物レンズの少なくとも一方を、対物レンズの光軸と同じ方向に移動させる制御部と、を含み、画像処理部は、対物レンズの焦点位置が第１の位置にあるときの撮像結果により得られた第１の領域における物体の情報と、対物レンズの焦点位置が第２の位置にあるときの撮像結果により得られた第２の領域における物体の情報とのうち、第１の領域と第２の領域との重複領域の少なくとも一部における物体の情報を用いて、第２の領域における物体の情報を補正する、顕微鏡が提供される。
本発明の第４の態様に従えば、蛍光物質を含む試料に照明光を照射することと、対物レンズを含む観察光学系によって、試料からの光の像を形成することと、観察光学系が形成した像を撮像することと、撮像の結果を用いて画像処理を行うことと、試料を保持するステージおよび対物レンズの少なくとも一方を、対物レンズの光軸と同じ方向に移動させることと、を含み、画像処理は、対物レンズの焦点位置が第１の位置にあるときの撮像結果により得られた第１の領域における蛍光物質の位置情報と、対物レンズの焦点位置が第２の位置にあるときの撮像結果により得られた第２の領域における蛍光物質の位置情報とのうち、第１の領域と第２の領域との重複領域の少なくとも一部における蛍光物質の位置情報を用いて、第２の領域における蛍光物質の位置情報を補正することを含む、観察方法が提供される。
本発明の第５の態様に従えば、試料に含まれる蛍光物質の一部を活性化する活性化光と、活性化された蛍光物質の少なくとも一部を励起する励起光とを照明することと、対物レンズと、試料からの光の少なくとも一部に対して非点収差を発生させる非点収差光学系とを有する観察光学系によって、試料からの光の像を形成することと、観察光学系が形成した像を撮像することと、撮像の結果を用いて画像処理を行うことと、試料を保持するステージおよび対物レンズの少なくとも一方を、対物レンズの光軸と同じ方向に移動させることと、を含み、画像処理は、対物レンズの焦点位置が第１の位置にあるときの撮像結果に含まれる非点収差に関する情報を用いて、第１の領域における蛍光物質の位置情報を算出し、対物レンズの焦点位置が第２の位置にあるときの撮像結果に含まれる非点収差に関する情報を用いて、第２の領域における蛍光物質の位置情報を算出し、第１の領域における蛍光物質の位置情報と、第２の領域における蛍光物質の位置情報とのうち、第１の領域と第２の領域との重複領域の少なくとも一部における蛍光物質の位置情報を用いて、第２の領域における蛍光物質の位置情報を補正することを含む、観察方法提供される。
本発明の第６の態様に従えば、ステージに載置された物体に照明光を照射することと、対物レンズを含む観察光学系によって、試料からの光の像を形成することと、観察光学系が形成した像を撮像することと、撮像の結果を用いて画像処理を行うことと、ステージおよび対物レンズの少なくとも一方を、対物レンズの光軸と同じ方向に移動させることと、を含み、画像処理は、対物レンズの焦点位置が第１の位置にあるときの撮像結果により得られた第１の領域における物体の情報と、対物レンズの焦点位置が第２の位置にあるときの撮像結果により得られた第２の領域における物体の情報とのうち、第１の領域と第２の領域との重複領域の少なくとも一部における物体の情報を用いて、第２の領域における物体の情報を補正することを含む、観察方法が提供される。
本発明の第７の態様に従えば、蛍光物質を含む試料に照明光を照射し、対物レンズを含む観察光学系によって、試料からの光の像を形成し、試料を保持するステージおよび対物レンズの少なくとも一方を、対物レンズの光軸と同じ方向に移動させ、観察光学系が形成した像を撮像して得られる、撮像の結果を用いてコンピュータに画像処理を実行させる画像処理プログラムであって、画像処理は、対物レンズの焦点位置が第１の位置にあるときの撮像結果により得られた第１の領域における蛍光物質の位置情報と、対物レンズの焦点位置が第２の位置にあるときの撮像結果により得られた第２の領域における蛍光物質の位置情報とのうち、第１の領域と第２の領域との重複領域の少なくとも一部における蛍光物質の位置情報を用いて、第２の領域における蛍光物質の位置情報を補正することを含む、画像処理プログラムが提供される。
本発明の第８の態様に従えば、試料に含まれる蛍光物質の一部を活性化する活性化光と、活性化された蛍光物質の少なくとも一部を励起する励起光とを照明し、対物レンズと、試料からの光の少なくとも一部に対して非点収差を発生させる非点収差光学系とを有する観察光学系によって、試料からの光の像を形成し、試料を保持するステージおよび対物レンズの少なくとも一方を、対物レンズの光軸と同じ方向に移動させ、観察光学系が形成した像を撮像して得られる、撮像の結果を用いてコンピュータに画像処理を実行させる画像処理プログラムであって、画像処理は、対物レンズの焦点位置が第１の位置にあるときの撮像結果に含まれる非点収差に関する情報を用いて、第１の領域における蛍光物質の位置情報を算出し、対物レンズの焦点位置が第２の位置にあるときの撮像結果に含まれる非点収差に関する情報を用いて、第２の領域における蛍光物質の位置情報を算出し、第１の領域における蛍光物質の位置情報と、第２の領域における蛍光物質の位置情報とのうち、第１の領域と第２の領域との重複領域の少なくとも一部における蛍光物質の位置情報を用いて、第２の領域における蛍光物質の位置情報を補正することを含む、画像処理プログラム
が提供される。
本発明の第９の態様に従えば、ステージに載置された物体に照明光を照射し、対物レンズを含む観察光学系によって、試料からの光の像を形成し、ステージおよび対物レンズの少なくとも一方を、対物レンズの光軸と同じ方向に移動させ、観察光学系が形成した像を撮像して得られる、撮像の結果を用いてコンピュータに画像処理を実行させる画像処理プログラムであって、画像処理は、対物レンズの焦点位置が第１の位置にあるときの撮像結果により得られた第１の領域における物体の情報と、対物レンズの焦点位置が第２の位置にあるときの撮像結果により得られた第２の領域における物体の情報とのうち、第１の領域と第２の領域との重複領域の少なくとも一部における物体の情報を用いて、第２の領域における物体の情報を補正することを含む、画像処理プログラムが提供される。
第１実施形態に係る顕微鏡を示す図である。 第１観察光学系および撮像素子を概念的に示す図である。 試料においてＺ方向の異なる位置からの蛍光の光路、及び蛍光の像を示す概念である。 照明および撮像のシーケンスの例を示す図である。 複数の撮像位置でそれぞれ撮像された試料の３次元画像の例を示す概念図である。 本実施形態に係る画像処理部による補正処理を示す概念図である。 実施形態に係る観察方法の一例を示すフローチャートである。 第２実施形態において試料に設定される層の例を示す概念図である。 第２実施形態に係る画像処理部による補正処理を示す概念図である。 画像処理部による補正量の算出方法の例を示す概念図である。 所定の層において、複数の領域のそれぞれに含まれる輝点の数を可視化した画像を示す概念図である。 第４実施形態係る画像処理部による補正処理の一例を示す概念図である。 第４実施形態係る画像処理部による補正処理の他の例を示す概念図である。 表示装置に表示される画像の例を示す概念図である。 第１層と第２層との重複領域に含まれる輝点の位置ずれ量を定量的に表示した例である。 第６実施形態に係る顕微鏡を示す図である。 第６実施形態に係る顕微鏡の動作を概念的に示す図である。
［第１実施形態］
第１実施形態について説明する。実施形態に係る顕微鏡は、例えば、ＳＴＯＲＭ、ＰＡＬＭ等のSingle-molecule Localization Microscopy法を利用した顕微鏡である。顕微鏡１は、１種類の蛍光物質で標識（ラベル）された試料の蛍光観察、及び２種類以上の蛍光物質で標識された試料の蛍光観察のいずれにも利用できる。本実施形態では、標識に用いられる蛍光物質（例、レポータ色素）が１種類であるものとする。また、顕微鏡１は、３次元の超解像画像を生成可能である。例えば、顕微鏡１は、２次元の超解像画像を生成するモード、及び３次元の超解像画像を生成するモードを有し、２つのモードを切り替え可能である。
試料は、生きた細胞（ライブセル）を含むものでもよいし、ホルムアルデヒド溶液等の組織固定液を用いて固定された細胞を含むものでもよく、組織等でもよい。蛍光物質は、シアニン（ｃｙａｎｉｎｅ）染料等の蛍光色素でもよいし、蛍光タンパク質でもよい。蛍光色素は、活性化された状態（以下、活性化状態という）で励起光を受けた場合に蛍光を発するレポータ色素を含む。また、蛍光色素は、活性化光を受けてレポータ色素を活性化状態にするアクティベータ色素を含む場合がある。蛍光色素がアクティベータ色素を含まない場合、レポータ色素は、活性化光を受けて活性化状態になる。蛍光色素は、例えば、２種類のシアニン（ｃｙａｎｉｎｅ）染料を結合させた染料対（例、Ｃｙ３−Ｃｙ５染料対（Ｃｙ３、Ｃｙ５は登録商標）、Ｃｙ２−Ｃｙ５染料対（Ｃｙ２、Ｃｙ５は登録商標）、Ｃｙ３−Ａｌｅｘａ Ｆｌｕｏｒ６４７染料対（Ｃｙ３、Ａｌｅｘａ Ｆｌｕｏｒは登録商標））、１種類の染料（例、Ａｌｅｘａ Ｆｌｕｏｒ６４７（Ａｌｅｘａ Ｆｌｕｏｒは登録商標））である。蛍光タンパク質は、例えばＰＡ−ＧＦＰ、Ｄｒｏｎｐａなどである。
図１は、本実施形態に係る顕微鏡１を示す図である。顕微鏡１は、ステージ２と、光源装置３と、照明光学系４と、第１観察光学系５と、撮像部６と、画像処理部７と、制御装置８とを備える。制御装置８は、顕微鏡１の各部を包括的に制御する制御部４２を備える。画像処理部７は、例えば、制御装置８に設けられる。
ステージ２は、観察対象の試料Ｗを保持する。ステージ２は、例えば、その上面に試料Ｗを載置可能である。ステージ２は、例えば、ＸＹステージのように試料Ｗを移動させる機構を有してもよいし、机等のように試料Ｗを移動させる機構を有さなくてもよい。顕微鏡１は、ステージ２を備えなくてもよい。
光源装置３は、活性化光源１０ａ、励起光源１０ｂ、シャッタ１１ａ、及びシャッタ１１ｂを備える。活性化光源１０ａは、試料Ｗに含まれる蛍光物質の一部を活性化する活性化光Ｌを発する。ここでは、蛍光物質がレポータ色素を含み、アクティベータ色素を含まないものとする。蛍光物質のレポータ色素は、活性化光Ｌが照射されることで、蛍光を発することが可能な活性化状態となる。蛍光物質は、レポータ色素およびアクティベータ色素を含むものでもよく、この場合、アクティベータ色素は、活性化光Ｌを受けた場合にレポータ色素を活性状態にする。なお、蛍光物質は、例えばＰＡ−ＧＦＰ、Ｄｒｏｎｐａなどの蛍光タンパク質でもよい。
励起光源１０ｂは、試料Ｗにおいて活性化された蛍光物質の少なくとも一部を励起する励起光Ｌ１を発する。蛍光物質は、活性化状態において励起光Ｌ１が照射されると、蛍光を発するか、不活性化される。蛍光物質は、不活性化された状態（以下、不活性化状態という）において活性化光Ｌが照射されると、再度、活性化状態となる。
活性化光源１０ａおよび励起光源１０ｂは、例えば、レーザ光源などの固体光源を含み、それぞれ、蛍光物質の種類に応じた波長のレーザ光を発する。活性化光源１０ａの射出波長、励起光源１０ｂの射出波長は、例えば、約４０５ｎｍ、約４５７ｎｍ、約４８８ｎｍ、約５３２ｎｍ、約５６１ｎｍ、約６４０ｎｍ、約６４７ｎｍなどから選択される。ここでは、活性化光源１０ａの射出波長が約４０５ｎｍであり、励起光源１０ｂの射出波長が約４８８ｎｍ、約５６１ｎｍ、約６４７ｎｍから選択される波長であるとする。
シャッタ１１ａは、制御部４２により制御され、活性化光源１０ａからの活性化光Ｌを通す状態と、活性化光Ｌを遮る状態とを切り替え可能である。シャッタ１１ｂは、制御部４２により制御され、励起光源１０ｂからの励起光Ｌ１を通す状態と、励起光Ｌ１を遮る状態とを切り替え可能である。
また、光源装置３は、ミラー１２、ダイクロイックミラー１３、音響光学素子１４、及びレンズ１５を備える。ミラー１２は、例えば、励起光源１０ｂの射出側に設けられる。励起光源１０ｂからの励起光Ｌ１は、ミラー１２で反射し、ダイクロイックミラー１３に入射する。ダイクロイックミラー１３は、例えば、活性化光源１０ａの射出側に設けられる。ダイクロイックミラー１３は、活性化光Ｌが透過し、励起光Ｌ１が反射する特性を有する。ダイクロイックミラー１３を透過した活性化光Ｌと、ダイクロイックミラー１３で反射した励起光Ｌ１は、同じ光路を通って音響光学素子１４に入射する。音響光学素子１４は、例えば音響光学フィルタなどである。音響光学素子１４は、制御部４２に制御され、活性化光Ｌの光強度および励起光Ｌ１の光強度のそれぞれを調整可能である。また、音響光学素子１４は、制御部４２に制御され、活性化光Ｌ、励起光Ｌ１のそれぞれについて、音響光学素子１４を通る状態（以下、通光状態という）と、音響光学素子１４により遮られる状態または強度が低減される状態（以下、遮光状態という）とを切り替え可能である。例えば、蛍光物質がレポータ色素を含みアクティベータ色素を含まない場合、制御部４２は、活性化光Ｌと励起光Ｌ１とが同時に照射されるように、音響光学素子１４を制御する。また、蛍光物質がレポータ色素およびアクティベータ色素を含む場合、制御部４２は、例えば、活性化光Ｌの照射後に励起光Ｌ１を照射するように、音響光学素子１４を制御する。レンズ１５は、例えばカプラであり、音響光学素子１４からの活性化光Ｌ、励起光Ｌ１を導光部材１６に集光する。
なお、顕微鏡１は、光源装置３の少なくとも一部を備えなくてもよい。例えば、光源装置３は、ユニット化されており、顕微鏡１に交換可能（取り付け可能、取り外し可能）に設けられていてもよい。例えば、光源装置３は、顕微鏡１による観察時などに、顕微鏡１に取り付けられてもよい。
照明光学系４は、試料Ｗに含まれる蛍光物質の一部を活性化する活性化光Ｌと、活性化された蛍光物質の少なくとも一部を励起する励起光Ｌ１とを照射する。照明光学系４は、光源装置３からの活性化光Ｌと励起光Ｌ１とを試料Ｗに照射する。照明光学系４は、導光部材１６、レンズ１７、レンズ１８、フィルタ１９、ダイクロイックミラー２０、及び対物レンズ２１を備える。
導光部材１６は、例えば光ファイバであり、活性化光Ｌ、励起光Ｌ１をレンズ１７へ導く。図１等において、導光部材１６の射出端から試料Ｗまでの光路を点線で示す。レンズ１７は、例えばコリメータであり、活性化光Ｌ、励起光Ｌ１を平行光に変換する。レンズ１８は、例えば、活性化光Ｌ、励起光Ｌ１を対物レンズ２１の瞳面の位置に集光する。フィルタ１９は、例えば、活性化光Ｌおよび励起光Ｌ１が透過し、他の波長の光の少なくとも一部を遮る特性を有する。ダイクロイックミラー２０は、活性化光Ｌおよび励起光Ｌ１が反射し、試料Ｗからの光のうち所定の波長帯の光（例、蛍光）が透過する特性を有する。フィルタ１９からの光は、ダイクロイックミラー２０で反射し、対物レンズ２１に入射する。試料Ｗは、観察時に対物レンズ２１の前側焦点面に配置される。
活性化光Ｌ、励起光Ｌ１は、上述のような照明光学系４により、試料Ｗに照射される。なお、上述した照明光学系４は一例であり、適宜、変更可能である。例えば、上述した照明光学系４の一部が省略されてもよい。また、照明光学系４は、光源装置３の少なくとも一部を含んでいてもよい。また、照明光学系４は、開口絞り、照野絞りなどを備えてもよい。
第１観察光学系５は、試料Ｗからの光の像を形成する。ここでは、第１観察光学系５は、試料Ｗに含まれる蛍光物質からの蛍光の像を形成する。第１観察光学系５は、対物レンズ２１、ダイクロイックミラー２０、フィルタ２４、レンズ２５、光路切替部材２６、レンズ２７、及びレンズ２８を備える。第１観察光学系５は、対物レンズ２１およびダイクロイックミラー２０を照明光学系４と共用している。図１などにおいて、試料Ｗと撮像部６との間の光路を実線で示す。試料Ｗからの蛍光は、対物レンズ２１およびダイクロイックミラー２０を通ってフィルタ２４に入射する。フィルタ２４は、試料Ｗからの光のうち所定の波長帯の光が選択的に通る特性を有する。フィルタ２４は、例えば、試料Ｗで反射した照明光、外光、迷光などを遮断する。フィルタ２４は、例えば、フィルタ１９およびダイクロイックミラー２０とユニット化され、このフィルタユニット２３は、交換可能に設けられる。フィルタユニット２３は、例えば、光源装置３から射出される光の波長（例、活性化光Ｌの波長、励起光Ｌ１の波長）、試料Ｗから放射される蛍光の波長などに応じて交換してもよいし、複数の励起、蛍光波長に対応した単一のフィルタユニットを利用してもよい。
フィルタ２４を通った光は、レンズ２５を介して光路切替部材２６に入射する。レンズ２５から射出された光は、光路切替部材２６を通過した後、中間像面５ｂに中間像を結ぶ。光路切替部材２６は、例えばプリズムであり、第１観察光学系５の光路に挿脱可能に設けられる。光路切替部材２６は、例えば、制御部４２により制御される駆動部（図示せず）によって、第１観察光学系５の光路に挿脱される。光路切替部材２６は、第１観察光学系５の光路に挿入された状態において、試料Ｗからの蛍光を内面反射によって撮像部６へ向かう光路へ導く。
レンズ２７は、中間像から射出された蛍光（中間像面５ｂを通った蛍光）を平行光に変換し、レンズ２８は、レンズ２７を通った光を集光する。第１観察光学系５は、非点収差光学系（例、シリンドリカルレンズ２９）を備える。シリンドリカルレンズ２９は、試料Ｗからの蛍光の少なくとも一部に作用し、蛍光の少なくとも一部に対して非点収差を発生させる。すなわち、シリンドリカルレンズ２９などの非点収差光学系は、蛍光の少なくとも一部に対して非点収差を発生させて、非点隔差を発生させる。この非点収差は、試料Ｗの深さ方向（対物レンズ２１の光軸方向）における蛍光物質の位置を算出することに利用される。シリンドリカルレンズ２９は、試料Ｗと撮像部６（例、撮像素子４０）との間の光路に挿脱可能に設けられる。例えば、シリンドリカルレンズ２９は、レンズ２７とレンズ２８との間の光路に挿脱可能である。シリンドリカルレンズ２９は、３次元の超解像画像を生成するモード時にこの光路に配置され、２次元の超解像画像を生成するモード時にこの光路から退避される。
本実施形態において、顕微鏡１は、第２観察光学系３０を備える。第２観察光学系３０は、観察範囲の設定などに利用される。第２観察光学系３０は、試料Ｗから観察者の視点Ｖｐに向かう順に、対物レンズ２１、ダイクロイックミラー２０、フィルタ２４、レンズ２５、ミラー３１、レンズ３２、ミラー３３、レンズ３４、レンズ３５、ミラー３６、及びレンズ３７を備える。第２観察光学系３０は、対物レンズ２１からレンズ２５までの構成を第１観察光学系５と共用している。試料Ｗからの光は、レンズ２５を通った後に、光路切替部材２６が第１観察光学系５の光路から退避した状態において、ミラー３１に入射する。ミラー３１で反射した光は、レンズ３２を介してミラー３３に入射し、ミラー３３で反射した後に、レンズ３４およびレンズ３５を介してミラー３６に入射する。ミラー３６で反射した光は、レンズ３７を介して、視点Ｖｐに入射する。第２観察光学系３０は、例えば、レンズ３５とレンズ３７との間の光路に試料Ｗの中間像を形成する。レンズ３７は、例えば接眼レンズであり、観察者は、中間像を観察することにより観察範囲の設定などを行うことができる。
撮像部６は、第１観察光学系５が形成した像を撮像する。撮像部６は、撮像素子４０および制御部４１を備える。撮像素子４０は、例えばＣＭＯＳイメージセンサであるが、ＣＣＤイメージセンサなどでもよい。撮像素子４０は、例えば、二次元的に配列された複数の画素を有し、各画素にフォトダイオードなどの光電変換素子が配置された構造である。撮像素子４０は、例えば、光電変換素子に蓄積された電荷を、読出回路によって読み出す。撮像素子４０は、読み出された電荷をデジタルデータに変換し、画素の位置と階調値とを関連付けたデジタル形式のデータ（例、画像のデータ）を出力する。制御部４１は、制御装置８の制御部４２から入力される制御信号に基づいて撮像素子４０を動作させ、撮像画像のデータを制御装置８に出力する。また、制御部４１は、電荷の蓄積期間と電荷の読み出し期間を制御装置８に出力する。
制御装置８は、顕微鏡１の各部を総括して制御する。制御装置８は、制御部４２および画像処理部７を備える。制御部４２は、制御部４１から供給される電荷の蓄積期間と電荷の読み出し期間を示す信号（撮像タイミングの情報）に基づいて、音響光学素子１４に、光源装置３からの光を通す通光状態と、光源装置３からの光を遮る遮光状態とを切り替える制御信号を供給する。音響光学素子１４は、この制御信号に基づいて、通光状態と遮光状態とを切り替える。制御部４２は、音響光学素子１４を制御し、試料Ｗに活性化光Ｌが照射される期間、及び試料Ｗに活性化光Ｌが照射されない期間を制御する。また、制御部４２は、音響光学素子１４を制御し、試料Ｗに励起光Ｌ１が照射される期間、及び、試料Ｗに励起光Ｌ１が照射されない期間を制御する。制御部４２は、音響光学素子１４を制御し、試料Ｗに照射される活性化光Ｌの光強度および励起光Ｌ１の光強度を制御する。
なお、制御部４２の代わりに制御部４１は、電荷の蓄積期間と電荷の読み出し期間を示す信号（撮像タイミングの情報）に基づいて、音響光学素子１４に遮光状態と通光状態とを切り替える制御信号を供給し、音響光学素子１４を制御してもよい。
制御部４２は、撮像部６を制御し、撮像素子４０に撮像を実行させる。制御部４２は、撮像部６から撮像結果（撮像画像のデータ）を取得する。画像処理部７は、撮像部６の撮像結果を用いて、画像処理を行う。この画像処理により、蛍光物質の位置を３次元的に取得する。制御部４２は、対物レンズ２１と試料Ｗ（ステージ２）との相対位置を対物レンズ２１の光軸方向に変えることで、撮像位置を対物レンズ２１の光軸方向に変化させ、画像処理部７は、対物レンズ２１の光軸方向の位置が異なる複数の撮像位置における蛍光物質の位置を３次元的に取得する。画像処理部７は、複数の蛍光物質の位置をそれぞれ輝点で表す（置き換える）ことにより、対物レンズ２１の光軸方向に広がった立体画像（Ｚ−Ｓｔａｃｋ画像、３Ｄ−Ｓｔａｃｋ画像）を取得する。
まず、以下の説明で適宜用いる座標系について説明する。図２は、第１観察光学系５および撮像素子４０を概念的に示す図である。なお、図１において第１観察光学系５の光軸５ａは光路切替部材２６で折れ曲がる光学系であるが、図２では、第１観察光学系５をストレートな光学系（第１観察光学系５の光軸５ａが折れ曲がらない光学系）として概念的に示した。また、図２において、対物レンズ２１とシリンドリカルレンズ２９との間の構成の図示を省略した。ここでは、第１観察光学系５の光軸５ａに平行な方向をＺ方向とし、Ｚ方向に垂直かつ互いに垂直な２方向をＸ方向、Ｙ方向とする。Ｘ方向は、例えば、撮像素子４０の水平方向であり、Ｙ方向は例えば撮像素子４０の垂直方向である。シリンドリカルレンズ２９は、垂直方向と水平方向のいずれか一方だけにパワー（屈折力）を有する光学部材である。ここでは、シリンドリカルレンズ２９は、ＸＺ面内でパワーを有し、ＹＺ面内でパワーを有さないものとして説明する。なお、非点収差光学系は、シリンドリカルレンズ２９の代わりに、垂直方向と水平方向の双方にパワーを持ち、これら２方向でパワーが異なるトロイダルレンズを使用したものでもよい。
図３（Ａ）は、試料ＷにおいてＺ方向の異なる位置からの蛍光の光路を示す図である。図３（Ｂ）から（Ｄ）は、それぞれ、Ｚ方向の位置Ｚ１、位置Ｚ２、位置Ｚ３からの蛍光の像を示す概念である。まず、位置Ｚ２からの蛍光（図中、実線で示す）光路について説明する。ＸＺ面（図３（Ａ）上図参照）において、シリンドリカルレンズ２９には、試料Ｗにおいて位置Ｚ２に存在する蛍光物質からの蛍光が平行光として入射する。この蛍光は、シリンドリカルレンズ２９での屈折により集光し、レンズ２８を介して集光しつつ撮像素子４０（図２参照）へ向かう。Ｘ方向における蛍光の像の幅は、ＸＺ面における焦点に相当する位置Ｚ４において最小となり、位置Ｚ４から−Ｚ側に離れるにつれて大きくなる。ＹＺ面（図３（Ａ）下図参照）において、シリンドリカルレンズ２９には、試料Ｗにおける位置Ｚ２に存在する蛍光物質からの蛍光が平行光として入射する。この蛍光は、シリンドリカルレンズ２９でほぼ屈折せずに、平行光としてレンズ２８入射する。この蛍光は、レンズ２８での屈折により集光しつつ撮像素子４０（図２参照）へ向かう。Ｙ方向における蛍光の像の幅は、ＹＺ面における焦点に相当する位置Ｚ６において最小となり、位置Ｚ６から＋Ｚ側に離れるにつれて、大きくなる。位置Ｚ４と位置Ｚ６の中間の位置Ｚ５における蛍光の像Ｉｍ２は、図３（Ｃ）に示すように、Ｘ方向における蛍光の像の幅ＷｘとＸ方向における蛍光の像の幅Ｗｙが等しくなり、真円となる。したがって、位置Ｚ５に撮像素子４０を配置した場合、試料Ｗにおける位置Ｚ２に存在する蛍光物質からの蛍光の像として真円の像が取得される。
次に、位置Ｚ１からの蛍光（図中点線で示す）の光路、及びその像について説明する。試料Ｗにおける位置Ｚ１に存在する蛍光物質からの蛍光の光路および蛍光の像を示す図である。位置Ｚ１は、位置Ｚ２に対して、撮像素子４０（図２参照）と反対側（＋Ｚ側）である。ＸＺ面において、Ｘ方向における蛍光の像の幅は、位置Ｚ４より＋Ｚ側に離れた位置で最小となる。一方、ＹＺ面において、Ｙ方向における蛍光の像の幅は、位置Ｚ５において最小となる。位置Ｚ５における蛍光の像Ｉｍ１は、図３（Ｂ）に示すように、Ｘ方向を長軸とする楕円形になる。したがって、位置Ｚ５に撮像素子４０を配置した場合、試料Ｗにおける位置Ｚ１に存在する蛍光物質からの蛍光の像として、Ｘ方向を長軸とする楕円形の像が取得される。
次に、位置Ｚ３からの蛍光（図中２点鎖線で示す）の光路、及びその像について説明する。位置Ｚ３は、位置Ｚ２に対して、撮像素子４０（図２参照）と同じ側（−Ｚ側）である。ＸＺ面において、Ｘ方向における蛍光の像の幅は、位置Ｚ５において最小となる。一方、ＹＺ面において、Ｙ方向における蛍光の像の幅は、位置Ｚ６より試料Ｗと反対側（−Ｚ側）に離れた位置で最小となる。位置Ｚ５における蛍光の像Ｉｍ３は、図３（Ｄ）に示すように、Ｙ方向を長軸とする楕円形になる。したがって、位置Ｚ５に撮像素子４０を配置した場合、試料Ｗにおける位置Ｚ３に存在する蛍光物質からの蛍光の像として、Ｙ方向を長軸とする楕円形の像が取得される。
図１に示した画像処理部７は、例えば、楕円ガウシアンフィッティングを行うことにより、蛍光の像の重心位置を算出することで、ＸＹ面における蛍光物質の位置（ＸＹ座標）を算出する。また、図３（Ｂ）から（Ｄ）に示したように、蛍光の像の偏平率（楕円率）は、Ｚ方向における蛍光物質の位置に応じて変化し、画像処理部７は、蛍光の像の偏平率に基づいて、Ｚ方向における蛍光物質の位置（Ｚ座標）を算出する。
図４は、照明および撮像のシーケンスの例を示す図である。制御部４２は、画像生成期間Ｔ１において、活性化光Ｌおよび励起光Ｌ１を試料Ｗに照射させる。また、制御部４２は、画像生成期間Ｔ１において、撮像部６に複数のフレーム期間Ｔｆで撮像させる。第１の画像生成期間Ｔ１において、制御部４２は、対物レンズ２１の焦点位置をＺｃ１に設定する。符号Ｚ１−Ｐ１〜Ｚ１−Ｐは、それぞれ、第１の画像生成期間Ｔ１における複数のフレーム期間Ｔｆで得られた撮像画像（撮像結果）を表す。画像生成期間Ｔ１の終了後、撮像位置が変更され、次の撮像位置に対応する画像生成期間Ｔ１が開始される。撮像位置の変更は、例えば、制御部４２がステージ２を制御し、ステージ２上の試料Ｗと対物レンズ２１との距離をＺ方向に変化させることで可能であり、撮像位置とは、試料Ｗにおける対物レンズ２１の前側焦点位置等である。
第１の画像生成期間Ｔ１に続く第２の画像生成期間Ｔ１において、制御部４２は、対物レンズ２１の焦点位置をＺｃ２に設定する。符号Ｚ２−Ｐ１〜Ｚ２−Ｐｎは、それぞれ、第２の画像生成期間Ｔ１における複数のフレーム期間Ｔｆで得られた撮像画像（撮像結果）を表す。画像生成期間Ｔ１は、予め決められた撮像位置が完了するまで、繰り返し設けられる。図４において、ｎ回（ｎは２以上の自然数）の画像生成期間Ｔ１まで設けられ、第ｎの画像生成期間Ｔ１において、制御部４２は、対物レンズ２１の焦点位置をＺｃｎに設定する。符号Ｚｎ−Ｐ１〜Ｚｎ−Ｐｎは、それぞれ、第ｎの画像生成期間Ｔ１における複数のフレーム期間Ｔｆで得られた撮像画像（撮像結果）を表す。
画像処理部７は、例えば、予め決められた撮像位置に対する撮像が終了した後、撮像結果を用いて画像処理を行う。画像処理部７は、撮像画像Ｚ１−Ｐ１〜Ｚ１−Ｐｎのそれぞれについて、各画像に含まれる蛍光の像の重心位置を、位置情報として算出する。画像処理部７は、例えば、蛍光の像の重心位置を算出し、複数の撮像画像Ｚ１−Ｐ１〜Ｚ１−Ｐｎに含まれる複数の蛍光の像に応じた複数の重心位置の少なくとも一部を用いて、重心位置の３次元分布情報（符号Ｐａ１で示す）を生成する。
また、画像処理部７は、複数の撮像画像Ｚ２−Ｐ１〜Ｚ２−Ｐｎに含まれる複数の蛍光の像に応じた複数の重心位置の少なくとも一部を用いて、重心位置の３次元分布情報（符号Ｐａ２で示す）を生成する。以下同様に、画像処理部７は、複数の撮像画像Ｚｎ−Ｐ１〜Ｚｎ−Ｐｎを用いて、重心位置の３次元分布情報（符号Ｐａｎで示す）を生成する。また、画像処理部７は、３次元分布情報（Ｐａ１〜Ｐａｎ）の少なくとも一部を用いて、３次元分布情報Ｐａを生成してもよい。また、画像処理部７は、３次元分布情報（Ｐａ１〜Ｐａｎ）それぞれに基づいて、重心位置が輝点として表された３次元画像を生成し、表示装置４４に表示させてもよい。また、画像処理部７は、３次元分布情報Ｐａに基づいて、重心位置が輝点として表された３次元画像を生成し、表示装置４４に表示させてもよい。なお、所定の撮像位置において得られた３次元分布情報または３次元画像を層(例、Ｐａ１等)と称する。また、３次元分布情報Ｐａ１を生成する際に、例えば、撮像画像Ｚ１−Ｐ１〜Ｚ１−Ｐｎ間で、蛍光の像の重心位置が補正されていてもよい。言い換えると、撮像画像間で位置補正（ドリフト補正）がされて、３次元分布情報Ｐａ１が生成され、生成した３次元分布情報Ｐａ１に基づいて、１枚の３次元画像が生成されてもよい。
図５は、本実施形態において複数の撮像位置でそれぞれ撮像された試料の３次元画像の例を示す概念図である。図５（Ａ）には斜視図を示し、図５（Ｂ）には断面図を示した。図５には、３つの撮像位置で撮像された３次元画像の例が示されており、以下それぞれ、第１層Ｌｚ１、第２層Ｌｚ２、第３層Ｌｚ３と記載する。なお、撮像位置の数に限定はなく、２つでもよいし、４つ以上でもよい。ここでは、複数の層の厚みが同一であるものとして説明するが、複数の層の少なくとも１層は、他の層と厚みが異なってもよい。各層の厚み（Ｚ方向の寸法）は、例えば、数百ｎｍ程度（例、６００ｎｍ）である。
第１層Ｌｚ１は、例えば、最も対物レンズ２１に近い第１撮像位置で撮像された３次元画像（層）であり、カバーガラスに接する層などである。第２層Ｌｚ２は、第１層Ｌｚ１の隣の層（１つ上の層）であり、試料Ｗの厚み方向（対物レンズ２１の光軸21a方向）において、第１撮像位置とは異なる第２撮像位置で撮像された３次元画像である。また、第３層Ｌｚ３は、第２層Ｌｚ２の隣の層（１つ上の層）であり、試料の厚み方向（対物レンズの光軸21a方向）において、第１撮像位置および第２撮像位置とは異なる第３撮像位置で撮像された３次元画像である。また、第１層Ｌｚ１、第２層Ｌｚ２および第３層Ｌｚ３が、それぞれ、隣の層とＺ方向（厚み方向、対物レンズ２１の光軸２１ａと同じ方向）において重複するように、第１撮像位置、第２撮像位置および第３撮像位置が設定される。図５（Ｂ）において、符号Ｌｍ１は、第１層Ｌｚ１と第２層Ｌｚ２とが重複する重複領域であり、符号Ｌｍ２は、第２層Ｌｚ２と第３層Ｌｚ３が重複する重複領域である。重複領域Ｌｍ１、重複領域Ｌｍ２の厚み（Ｚ方向の寸法）は、任意に設定され、例えば各層の厚みの数十％程度（１０％以上９０％以下）に設定される。ここでは、各層（例、第１層Ｌｚ１）は、Ｚ方向において２つ隣の層（例、第３層Ｌｚ３）と重複しないものとして説明するが、複数の層の少なくとも１層（例、第１層）は、２以上隣の層（例、第３層Ｌｚ３）と重複してもよい。
画像処理部７は、撮像結果である複数の層のそれぞれを用いて、図３および図４で説明したように各層に含まれる蛍光物質の位置を算出する。ところで、複数の層で撮像のタイミングが異なることから、例えば対物レンズ２１と試料Ｗとの位置ずれなどにより、視野と蛍光物質との相対位置の関係が複数の層でＸＹＺ方向それぞれにずれる場合がある。そこで、画像処理部７は、画像処理の１処理として層間のＸＹＺ方向それぞれの位置ずれ（ドリフト）を補正することが好ましい。
画像処理部７は、第１撮像位置における撮像部６の撮像結果（第１層Ｌｚ１）、及び対物レンズ２１の光軸２１ａと同じ方向において第１撮像位置とは異なる第２撮像位置における撮像部６の撮像結果（第２層Ｌｚ２）の重複領域を用いて、第２層Ｌｚ２を第１層Ｌｚ１に対して補正する。つまり、画像処理部７は、第１層Ｌｚ１と第２層Ｌｚ２との重複領域を用いて、第２層Ｌｚ２における蛍光物質の位置をＸＹＺ方向それぞれにおいて補正する。に対する撮像部６の撮像結果から得られる情報（例、第２層Ｌｚ２における蛍光物質の位置）を補正する。
図６は、本実施形態に係る画像処理部による補正処理を示す概念図である。図６中の符号ＤＱ１は、第１層Ｌｚ１における第２層Ｌｚ２との重複領域Ｌｍ１における蛍光物質（輝点Ｑ１）のＸＹ平面における分布である。画像処理部７は、例えば、第１層Ｌｚ１に含まれる蛍光物質の分布の３次元情報（３次元点群データ）を用いて分布ＤＱ１に含まれる蛍光物質の３次元における位置を抽出する。画像処理部７は、分布ＤＱ１における複数の輝点Ｑ１の重心位置Ｃ１を求める。例えば、複数の輝点Ｑ１のそれぞれの位置は、３次元の座標で表され、各輝点の重みが同一とすると、重心位置Ｃ１は、複数の輝点Ｑ１の座標の相加平均で表される。蛍光の像の明るさなどに応じて各輝点の重みを定める場合、重心位置Ｃ１は、例えば、複数の輝点Ｑ１の座標に各輝点の重みを加味した加重平均により表される。
図６中の符号ＤＱ２は、第２層Ｌｚ２における第１層Ｌｚ１との重複領域Ｌｍ１における蛍光物質（輝点Ｑ２）のＸＹ平面における分布である。画像処理部７は、例えば、第２層Ｌｚ２に含まれる蛍光物質の分布の３次元情報（３次元点群データ）から、分布ＤＱ２に含まれる蛍光物質の３次元における位置を抽出する。画像処理部７は、分布ＤＱ２における複数の輝点Ｑ２の重心位置Ｃ２を求める。重心位置Ｃ２の算出方法は、重心位置Ｃ１と同様に、相加平均あるいは加重平均を用いたものでよい。
画像処理部７は、第１層Ｌｚ１に含まれる蛍光物質の位置と、第２層Ｌｚ２に含まれる蛍光物質の位置との位置ずれを補正する。重心位置Ｃ２と重心位置Ｃ１との差を表すベクトルＶ１は、第１層Ｌｚ１に対する第２層Ｌｚ２の位置ずれ量（ドリフト量）に相当する。画像処理部７は、第１層Ｌｚ１の撮像結果において重複領域Ｌｍ１に含まれる蛍光物質の位置と、第２層Ｌｚ２の撮像結果において重複領域Ｌｍ１に含まれる蛍光物質の位置との差が減少するように、第２層Ｌｚ２に含まれる蛍光物質の位置を補正する。例えば、画像処理部７は、ベクトルＶ１と向き（符号）が反転したベクトルを補正量として算出する。
図６中の符号ＤＱ３は、第２層Ｌｚ２に対する撮像結果から得られる第２層Ｌｚ２における蛍光物質（輝点Ｑ３）の分布である。分布ＤＱ３は、第２層Ｌｚ２のうち重複領域Ｌｍ１、及び重複領域Ｌｍ１以外の領域における蛍光物質の分布に相当する。分布ＤＱ３において、補正前の輝点Ｑ３を点線で表し、補正後の輝点Ｑ３を実線で表した。画像処理部７は、分布ＤＱ３に含まれる輝点Ｑ３のそれぞれの位置を、補正量に相当するベクトルＶ２の分だけ補正する。ベクトルＶ２は、位置ずれ量に相当するベクトルＶ１の向きを反転したベクトルである。
このようにして、第２層Ｌｚ２は、第１層Ｌｚ１に対して位置合わせされる。画像処理部７は、図５に示した第３層Ｌｚ３についても同様に、補正後の第２層に対して位置合わせする。補正後の第２層Ｌｚ２は第１層Ｌｚ１と位置合わせされているので、補正後の第３層Ｌｚ３は、第１層Ｌｚ１と位置関係が整合する。以上のように、画像処理部７は、位置の基準になる層（例、第１層Ｌｚ１）に対して隣の層を位置合わせし、位置合わせ後の層に対してさらに隣の層の位置合わせを行う処理を順に行うことで、複数の層を基準の層に対して位置合わせする。
なお、本実施例では、重心位置Ｃ１および重心位置Ｃ２を算出して第１層Ｌｚ１と第２層Ｌｚ２との位置ずれ量を算出したが、分布ＤＱ１と分布ＤＱ２との自己相関を解析することによって、第１層Ｌｚ１と第２層Ｌｚ２と位置ずれ量を算出してもよい。つまり、分布ＤＱ１と分布ＤＱ２との自己相関を解析することによって、第１層Ｌｚ１と第２層Ｌｚ２との位置ずれを補正してもよい。
図１の説明に戻り、制御装置８は、例えば、記憶装置（記憶部）４３および表示装置（表示部）４４のそれぞれと通信可能に接続される。表示装置４４は、例えば、液晶ディスプレイなどである。表示装置４４は、例えば、顕微鏡１の各種設定を示す画像、撮像部６による撮像画像、撮像画像から生成された画像などの各種画像を表示する。制御部４２は、表示装置４４を制御し、表示装置４４に各種画像を表示させる。例えば、制御部４２は、画像処理部７が生成した画像（例、ＳＴＯＲＭ画像、ＰＡＬＭ画像などの超解像画像）のデータを表示装置４４に供給し、この画像を表示装置４４に表示させる。例えば、顕微鏡１は、観察対象の試料Ｗの超解像画像をライブ映像で表示すること等もできる。記憶装置４３は、例えば磁気ディスクや光学ディスクなどであり、顕微鏡１の各種設定のデータ、撮像部６による撮像画像のデータ、画像処理部７が生成した画像のデータなど各種データを記憶する。制御部４２は、例えば、記憶装置４３に記憶された超解像画像のデータを表示装置４４に供給し、超解像画像を表示装置４４に表示させることができる。制御部４２は、記憶装置４３を制御し、各種データを記憶装置４３に記憶させる。
次に、上述のような顕微鏡１の構成に基づき、実施形態に係る観察方法について説明する。図７は、実施形態に係る観察方法の一例を示すフローチャートである。ステップＳ１において、照明光学系４は、試料Ｗに照明光（活性化光、励起光）を照射する。ステップＳ２において、第１観察光学系５は、試料Ｗからの光（例、蛍光）の像を形成する。ステップＳ３において、撮像部６は、第１観察光学系５が形成した像を撮像する。撮像部６による撮像結果を示す撮像画像データは、画像処理部７に供給される。ステップＳ３において、所定数のフレーム期間で撮像が終了した後、ステップＳ４において、制御部４２は、撮像位置を変更するか否かを判定する。制御部４２は、予め指定された（予め決められた）撮像位置Ｚ１〜Ｚｎにおける試料Ｗの撮像が完了していない場合、撮像位置を変更すると判定する（ステップＳ４；Ｙｅｓ）。撮像部６は、撮像位置を変更すると判定した場合、ステップＳ５において、対物レンズ２１およびステージ２の少なくとも一方を制御して、ステージ２上の試料Ｗと対物レンズ２１との相対位置を対物レンズ２１の光軸方向において変更する。制御部４２は、ステップＳ５の処理が終了した後に、ステップＳ１へ戻り、ステップＳ１からステップＳ４の処理を繰り返し行う。
また、ステップＳ４において、制御部４２は、予め指定された（予め決められた）撮像位置Ｚ１〜Ｚｎにおける試料Ｗの撮像が完了している場合、撮像位置を変更しないと判定する（ステップＳ４；Ｎｏ）。制御部４２が撮像位置を変更しないと判定した場合（ステップＳ４；Ｎｏ）、ステップＳ６において、画像処理部７は、撮像位置Ｚ１〜Ｚｎそれぞれにおいて取得された第１層Ｌｚ１〜第ｎ層Ｌｚｎの少なくとも一部における蛍光物質の位置を補正する。なお、補正の方法は、例えば、図６を示して説明した方法が用いられる。ステップＳ７において、画像処理部７は、補正結果を用いて画像を生成する。例えば、画像処理部７は、第１層Ｌｚ１に含まれる輝点の少なくとも一部と、補正後の第２層Ｌｚ２〜第ｎ層Ｌｚｎに含まれる輝点の少なくとも一部を用いて３次元画像を生成する。
なお、上述の重複領域Ｌｍ１のうち、画像処理部７が補正量の算出に用いる領域は、重複領域Ｌｍ１の全域でもよいし、一部の領域（例、ＸＹ面上の一部、Ｚ方向の一部）でもよい。また、画像処理部７は、補正量の算出に用いる領域に含まれる輝点のうち、全部を用いて輝点の重心位置を算出してもよいし、一部の輝点を用いてもよい。例えば、画像処理部７は、蛍光の像のうち明るさが閾値以上の蛍光の像に対応する輝点を選択的に用いて、輝点の重心位置を算出してもよい。また、複数の波長の光を照射して観察する場合、ある１つの波長を照射して得られた蛍光の像に対応する輝点を用いて重心位置を算出してもよいし、それぞれの波長毎に得られた蛍光の像に対応する輝点を用いて重心位置を求め、波長毎の重心位置を平均したものを算出してもよい。以上の内容は、以下の実施形態でも適用可能である。
［第２実施形態］
第２実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、同じ符号を付してその説明を省略あるいは簡略化する。本実施形態において、第３層Ｌｚ３が第１層Ｌｚ１および第２層Ｌｚ２と重複する場合における蛍光物質の位置補正の一例を示す。
図８は、第２実施形態において試料に設定される層の例を示す概念図である。図８（Ａ）には斜視図を示し、図８（Ｂ）には断面図を示した。図８には３つの層（第１層Ｌｚ１、第２層Ｌｚ２、第３層Ｌｚ３）を図示したが、層の数に限定はなく、４つ以上でもよい。第１層Ｌｚ１および第２層Ｌｚ２は、対物レンズ２１の光軸２１ａ（図１参照）と同じ方向において、重複領域Ｌｍ１で重複している。ここでは、重複領域Ｌｍ１の厚みが第２層Ｌｚ２の厚みの約２／３であるものとする。また、第２層Ｌｚ２および第３層Ｌｚ３は、対物レンズ２１の光軸２１ａ（図１参照）と同じ方向において、重複領域Ｌｍ２で重複している。ここでは、重複領域Ｌｍ２の厚みが第３層Ｌｚ３の厚みの約２／３であるものとする。第３層Ｌｚ３は、重複領域Ｌｍ２のうち重複領域Ｌｍ３において第１層Ｌｚ１とも重複している。第３層Ｌｚ３と第１層Ｌｚ１との重複領域Ｌｍ３は、第３層Ｌｚ３の厚みの約１／３の部分である。
図９は、本実施形態に係る画像処理部による補正処理を示す概念図である。図９（Ａ）は、第１層Ｌｚ１に対する第３層Ｌｚ３の位置ずれ量を算出する処理に相当し、図９（Ｂ）は、第２層Ｌｚ２に対する第３層Ｌｚ３の位置ずれ量を算出する処理に相当する。
図９（Ａ）の符号ＤＱ４は、第１層Ｌｚ１における重複領域Ｌｍ３における蛍光物質（輝点Ｑ４）の分布である。画像処理部７は、例えば、第１層Ｌｚ１に含まれる蛍光物質の分布の３次元情報（３次元点群データ）から、分布ＤＱ４に含まれる蛍光物質の３次元における位置を抽出する。画像処理部７は、分布ＤＱ４における複数の輝点Ｑ４の重心位置Ｃ４を求める。重心位置Ｃ４の算出方法は、第１実施形態で説明したように、相加平均あるいは加重平均を用いたものでよい。
また、図９（Ａ）の符号ＤＱ５は、第３層Ｌｚ３における重複領域Ｌｍ３に含まれる蛍光物質（輝点Ｑ５）の分布である。画像処理部７は、例えば、第３層Ｌｚ３に含まれる蛍光物質の分布の３次元情報（３次元点群データ）から、分布ＤＱ５に含まれる蛍光物質の３次元における位置を抽出する。画像処理部７は、分布ＤＱ５における複数の輝点Ｑ５の重心位置Ｃ５を求める。重心位置Ｃ５の算出方法は、第１実施形態で説明したように、相加平均あるいは加重平均を用いたものでよい。重心位置Ｃ５と重心位置Ｃ４との差を表すベクトルＶ３は、第１層Ｌｚ１に対する第３層Ｌｚ３の位置ずれ量に相当する。
図９（Ｂ）の符号ＤＱ６は、第１実施形態で説明したように第１層Ｌｚ１に対して位置合わせされた第２層Ｌｚ２における重複領域Ｌｍ２における蛍光物質（輝点Ｑ６）の分布である。画像処理部７は、例えば、第２層Ｌｚ２に含まれる蛍光物質の分布の３次元情報（補正後の３次元点群データ）から、分布ＤＱ６に含まれる蛍光物質の３次元における位置を抽出する。画像処理部７は、分布ＤＱ６における複数の輝点Ｑ６の重心位置Ｃ６を求める。重心位置Ｃ６の算出方法は、第１実施形態で説明したように、相加平均あるいは加重平均を用いたものでよい。
また、図９（Ｂ）の符号ＤＱ７は、第３層Ｌｚ３における重複領域Ｌｍ２に含まれる蛍光物質（輝点Ｑ７）の分布である。画像処理部７は、例えば、第３層Ｌｚ３に含まれる蛍光物質の分布の３次元情報（３次元点群データ）から、分布ＤＱ７に含まれる蛍光物質の位置を抽出する。画像処理部７は、分布ＤＱ７における複数の輝点Ｑ７の重心位置Ｃ７を求める。重心位置Ｃ７の算出方法は、第１実施形態で説明したように、相加平均あるいは加重平均を用いたものでよい。重心位置Ｃ７と重心位置Ｃ６との差を表すベクトルＶ４は、補正後の第２層Ｌｚ２に対する第３層Ｌｚ３の位置ずれ量に相当する。
図１０は、画像処理部による補正量の算出方法の例を示す概念図である。図１０（Ａ）において、画像処理部７は、第１層Ｌｚ１に対する第３層Ｌｚ３の位置ずれ量を示すベクトルＶ３（図９（Ａ）の符号ＤＱ５）と、補正後の第２層Ｌｚ２に対する第３層Ｌｚ３の位置ずれ量を示すベクトルＶ４（図９（Ｂ）の符号ＤＱ７）とを平均化したベクトルＶ５を、第３層Ｌｚ３の位置ずれ量として算出する。図９（Ａ）において、Ｖ３／２およびＶ４／２は、それぞれ、ベクトルＶ３の半分のベクトル、ベクトルＶ４の半分のベクトルを表す。画像処理部７は、ベクトルＶ５の向きを反転したベクトルＶ６を算出する。画像処理部７は、第３層Ｌｚ３に対する補正量としてベクトルＶ６を用いて、第３層Ｌｚ３に含まれる蛍光物質（輝点）の位置を補正する。
図１０（Ｂ）において、画像処理部７は、第１層Ｌｚ１と第３層Ｌｚ３との重複領域Ｌｍ３に対する撮像部６の撮像結果から得られる情報（例、図９（Ａ）の符号ＤＱ５のベクトルＶ３）と、第２層Ｌｚ２と第３層Ｌｚ３との重複領域Ｌｍ２に対する撮像部６の撮像結果から得られる情報（例、図９（Ｂ）の符号ＤＱ７のベクトルＶ４）とに重み付けを行って、第３層Ｌｚ３に含まれる蛍光物質の位置を補正する。例えば、画像処理部７は、第３層Ｌｚ３の位置ずれ量を示すベクトルとして、ベクトルＶ３とベクトルＶ４とを重み付けして合成したベクトルＶ７を算出する。図９（Ｂ）において、ａＶ３およびｂＶ４は、それぞれ、ベクトルＶ３のａ倍のベクトル、ベクトルＶ４のｂ倍のベクトルを表す。ベクトルＶ７は、重み付け係数ａ、ｂを用いて、下記の式（１）で表される。
Ｖ７＝（ａＶ３＋ｂＶ４） ・・・（１）
ここで、ａ＋ｂ＝１
重み付け係数ａは、例えば、第１層Ｌｚ１に対する撮像から第３層Ｌｚ３に対する撮像までの時間に応じて定められ、この時間が長いほどａが小さくなるように設定される。重み付け係数ｂは、例えば、第２層Ｌｚ２に対する撮像から第３層Ｌｚ３に対する撮像までの時間に応じて定められ、この時間が長いほどｂが小さくなるように設定される。なお、重み付け係数ａ、ｂは、撮像間の時間以外のパラメータを加味して設定されてもよく、例えば、層間の距離、輝点の重心位置の算出に用いた輝点の数などを加味して設定されてもよい。画像処理部７は、ベクトルＶ７の向きを反転したベクトルＶ８を算出する。画像処理部７は、第３層Ｌｚ３に対する補正量としてベクトルＶ８を用いて、第３層Ｌｚ３に含まれる蛍光物質（輝点）の位置を補正する。
［第３実施形態］
第３実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、同じ符号を付してその説明を省略あるいは簡略化する。本実施形態において、画像処理部７は、第１層Ｌｚ１と第２層Ｌｚ２との重複領域のうち指定された領域を選択的に用いて、第２層Ｌｚ２に含まれる蛍光物質の位置の補正量を算出する。画像処理部７は、画像処理部７は、補正処理の前処理として、撮像部６の撮像結果から得られる各層の輝点の情報（以下、参照情報という）を生成する。
図１１は、所定の層（例えば第１層Ｌｚ１）において、複数の領域ＡＲのそれぞれに含まれる輝点の数を可視化（色、明暗、あるいは数値）した画像である。制御部４１は、図１１に示す画像を生成し、表示装置４４（図１参照）に表示させる。ユーザは、表示装置４４に表示されている図１１に示す画像を見ながら、例えば、輝点の数が相対的に多い領域を、補正量の算出に用いる領域として指定することができる。輝点の数が相対的に多い領域を用いて、補正処理を行うことにより、補正の精度を向上させることができる。なお、補正量の算出に用いる領域ＡＲは、層毎に指定してもよい。
［第４実施形態］
第４実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、同じ符号を付してその説明を省略あるいは簡略化する。本実施形態において、画像処理部７は、複数の層のそれぞれに設定される複数の領域ごとに、補正処理を行う。
図１２は、本実施形態係る画像処理部７による補正処理の一例を示す概念図である。画像処理部７は、図１２（Ａ）に示すように、第１層Ｌｚ１における第１層Ｌｚ１と第２層Ｌｚ２との重複領域Ｌｍ１において、複数の領域ＡＲ１〜ＡＲ４ごとに、輝点Ｑ１１の重心位置Ｃ１１〜Ｃ１４を算出する。また、画像処理部７は、図１２（Ｂ）に示すように、第２層Ｌｚ２における第１層Ｌｚ１と第２層Ｌｚ２との重複領域Ｌｍ１において、複数の領域ＡＲ１〜ＡＲ４ごとに、輝点Ｑ１２の重心位置Ｃ１５〜Ｃ１８を算出する。また、画像処理部７は、複数の領域ＡＲ１〜ＡＲ４ごとに、輝点Ｑ１１の重心位置と輝点Ｑ１２の重心位置との差に相当するベクトルＶ１１〜Ｖ１４を算出する。画像処理部７は、ベクトルＶ１１〜Ｖ１４のそれぞれの向きを反転させたベクトルを補正量に用いて、複数の領域ＡＲ１〜ＡＲ４ごとに、輝点Ｑ１２の位置を補正する。
なお、画像処理部７は、複数の領域ＡＲ１〜ＡＲ４ごとの位置ずれ量に相当するベクトルＶ１１〜Ｖ１４を可視化した画像を生成可能である。図１２（Ｃ）は、ベクトルＶ１１〜Ｖ１４を可視化した画像Ｇの例である。例えば、図１の制御部４２は、画像Ｇを表示装置４４に表示させる。ユーザは、画像Ｇを見ながら、複数の領域ＡＲ１〜ＡＲ４から補正を行う領域を指定すること等ができる。例えば、図１２（Ｃ）は、領域ＡＲ２の位置ずれ量の相当するベクトルＶ１２が相対的に大きく、ユーザは、画像の取得のやり直しを行うこともできる。なお、図１２（Ｃ）では、ベクトルＶ１１〜Ｖ１４を可視化した画像Ｇを表示装置４４に表示する場合を例示したが、これに替えて、位置ずれ量が所定の閾値を超えた領域について、他の領域と異なる色で表示した画像を表示してもよい。
図１３は、本実施形態係る画像処理部７による補正処理の他の例を示す概念図である。画像処理部７は、図１２を用いて説明した方法を用いて、第２層Ｌｚ２の複数の領域ＡＲ１１〜ＡＲ１３のそれぞれに対して、位置ずれ量に相当するベクトルＶ３１〜Ｖ３３を算出する。図１３では第２層Ｌｚ２が６行６列の３６の領域に区画されているが、これら領域の３つの領域ＡＲ１１〜ＡＲ１３、及びベクトルＶ３１〜Ｖ３３を代表的に図示した。画像処理部７は、基準位置（例、視野中心Ｖｃ）から各領域の基準位置（例、各領域の中心）までの距離と、この領域における位置ずれ量との関係に基づいて、第２層Ｌｚ２における輝点の位置を補正する。図１３（Ｂ）は、基準位置（例、視野中心）からの距離に対する位置ずれ量の関係の例を示す概念図であり、符号ＰＬ１１、ＰＬ１２、ＰＬ１３は、それぞれ、領域ＡＲ１１〜ＡＲ１３における所定の位置に対応するプロットである。画像処理部７は、例えば、符号ＰＬ１１、ＰＬ１２、ＰＬ１３を用いて視野中心からの距離と位置ずれ量との関係を補間式あるいは近似式の数式等で算出し、この数式を用いて第２層Ｌｚ２の複数の領域ＡＲ１１〜ＡＲ１３における各位置における補正量を算出する。画像処理部７は、算出した各位置における補正量に基づいて、領域ＡＲ１１〜ＡＲ１３に含まれる輝点の位置を補正する。図１３（Ｂ）において視野中心からの距離に対して位置ずれ量は非線形な関係にあり、画像処理部７は非線形な補正を行うが、線形的に補正を行ってもよい。
［第５実施形態］
第５実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、同じ符号を付してその説明を省略あるいは簡略化する。本実施形態において、画像処理部７は、第２層Ｌｚ２における重複領域Ｌｍ１に含まれる蛍光物質の補正後の位置と、第１層Ｌｚ１における重複領域Ｌｍ１における蛍光物質の位置との差を示す情報（以下、差分情報という）を算出する。
図１４は、第５実施形態において表示装置に表示される画像の例を示す概念図である。図１４（Ａ）、（Ｂ）は、第１層Ｌｚ１と第２層Ｌｚ２との重複領域Ｌｍ１に含まれる輝点の位置を表示したものである。図１４（Ａ）、（Ｂ）において、符号Ｑａは、第１層Ｌｚ１に含まれる輝点であり、符号Ｑｂは、第２層Ｌｚ２に含まれる補正後の輝点である。画像処理部７は、例えばユーザが指定する対象領域ＢＲ（Region of Interest；ＲＯＩ）において、輝点Ｑａおよび輝点Ｑｂを異なる色（例、輝点Ｑａは赤色で、輝点Ｑｂを青色）あるいは明暗などで区別して表現する。また、第１層Ｌｚ１に含まれる補正前の輝点と、第２層Ｌｚ２に含まれる補正前の輝点についても同様に、異なる色、明暗などで表現してもよい。例えば、画像処理部７は、図１４（Ａ）のように＋Ｚ側（上方）から見た輝点Ｑａ、輝点Ｑｂの分布を示す画像を生成することもできるし、図１４（Ｂ）のように−Ｙ側（側方）から見た輝点Ｑａ、輝点Ｑｂの分布を示す画像を生成することもできる。ユーザは、例えば、輝点Ｑａ、輝点Ｑｂの分布を示す画像を見ることで、補正の結果を対象領域ＢＲごとに知ることができ、撮像のやり直し等を決定することができる。また、ユーザは、補正の成否を対象領域ＢＲごとに知ることができ、補正の条件変更、補正のやり直しなどを決定することもできる。
また、画像処理部７は、対象領域ＢＲにおいて輝点Ｑａの分布と、輝点Ｑｂの分布との位置ずれ量を算出することもできる。例えば、画像処理部７は、対象領域ＢＲにおいて、複数の輝点Ｑａの重心位置と、複数の輝点Ｑｂの重心位置を算出し、それらの差分を位置ずれ量として算出することができる。例えば、重心位置の差が小さいほど、第１層Ｌｚ１に含まれる蛍光物質の位置と第２層Ｌｚ２に含まれる蛍光物質の補正後の位置とのずれ量が小さいことを意味する。
また、位置ずれ量として、対象領域ＢＲにおける輝点Ｑａの分布と、輝点Ｑｂの分布との相関係数を算出してもよい。例えば、相関係数が大きいほど、第１層Ｌｚ１に含まれる蛍光物質の位置と第２層Ｌｚ２に含まれる蛍光物質の補正後の位置とのずれ量が小さいことを意味する。
上記位置ずれ量に閾値を設け、例えば、閾値以上である対象領域ＢＲでは、輝点Ｑａと輝点Ｑｂとを異なる色で表示し（例、輝点Ｑａは赤色で、輝点Ｑｂを青色）、閾値未満の対象領域ＢＲでは、輝点Ｑａと輝点Ｑｂとを同一の色（例、緑色）で表示してもよい。例えば、図１４（Ｃ）において、ハッチングを付した輝点は、同一の色で表され、鎖線で示した輝点は異なる色で表される。これにより、ユーザは、複数の対象領域ＢＲ毎に、位置ずれ量を視覚的に把握することができる。
また、位置ずれ量として、対応関係にある輝点Ｑａと輝点Ｑｂとの距離を算出することもできる。画像処理部７は、例えば、対応関係にある輝点Ｑａと輝点Ｑｂとの距離が閾値未満である場合、輝点Ｑａと輝点Ｑｂとを同一の色（例、緑色）で表示し、対応関係にある輝点Ｑａと輝点Ｑｂとの距離が閾値以上である場合には、これらの輝点Ｑａと輝点Ｑｂとを異なる色で表示し（例、輝点Ｑａは赤色で、輝点Ｑｂを青色）で表示してもよい。これにより、ユーザは、対象領域ＢＲ内での輝点Ｑａと輝点Ｑｂと位置ずれ量を視覚的に把握することができる。
図１５は、第１層Ｌｚ１と第２層Ｌｚ２との重複領域に含まれる輝点の位置ずれ量を定量的に表示した例である。画像処理部７は、上述したように、位置ずれ量として、輝点Ｑａと輝点Ｑｂとの位置ずれ量示す指標（例、重心位置の差、相関係数）を複数の領域ＡＲごとに算出する。図１５において、画像処理部７は、指標値（Ｓ（１， １）、Ｓ（１， ２）、・・・）を領域ごとに、表示装置４４に表示する。ユーザは、このような表示により、位置ずれ量を定量的に把握することができる。
［第６実施形態］
第６実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、同じ符号を付してその説明を省略あるいは簡略化する。上述の実施形態では、顕微鏡１としてＳＴＯＲＭを説明したが、顕微鏡１は他の顕微鏡でもよい。図１６は、本実施形態に係る顕微鏡１を示す図である。この顕微鏡１は、例えば、国際公開第２００８／０６９２２０号などに記載された顕微鏡を適用したものである。顕微鏡１は、光源５０からステージ２上の試料Ｗへ向かう順に、レンズ５１、視野絞り５３（照野絞り）、ハーフミラー５４、対物レンズ２１を備える。図１６には、対物レンズ２１の前側焦点位置（Ｚ２）およびその近傍位置（Ｚ１、Ｚ３）を拡大して示した。また、顕微鏡１は、試料Ｗからの光が撮像部６へ向かう順に、対物レンズ２１、ハーフミラー５４、ミラー５５、レンズ５６、光路分岐部５７、光路長調整部５８、及び非点収差光学系５９を備える。
光路分岐部５７は、ハーフミラー６０、ハーフミラー６１、及びミラー６２を備える。光路分岐部５７は、ハーフミラー６０に入射した光を透過光と反射光とに分岐させる。また、光路分岐部５７は、ハーフミラー６０で反射してハーフミラー６１に入射した光を透過光と反射光とに分岐させる。光路長調整部５８は、ハーフミラー６０を透過した光が入射する平行平板６５、ハーフミラー６１で反射した光が入射する平行平板６６、ハーフミラー６１を透過してミラー６２で反射した光が入射する平行平板６７を備える。平行平板６５〜６７は、撮像素子Ｚ１ａ、Ｚ２ａ、Ｚ３ａと、Ｚ方向の位置Ｚ１と、位置Ｚ２と、位置Ｚ３とが光学的に共役となり、かつ、位置Ｚ１と位置Ｚ３との距離が所望の距離になるように、板厚および屈折率が調整されている。
撮像部６は、分岐した各光路と１対１の対応で設けられる複数の撮像素子Ｚ１ａ、Ｚ２ａ、Ｚ３ａを備える。複数の撮像素子Ｚ１ａ、Ｚ２ａ、Ｚ３ａは、それぞれ、各光路を通った光の像を撮像する。撮像素子Ｚ１ａ、Ｚ２ａ、Ｚ３ａは、それぞれ、Ｚ方向の位置Ｚ１、Ｚ２、Ｚ３と光学的に共役である。撮像部６は、試料Ｗの厚み方向の異なる位置からの光の像を一括して、複数の撮像素子により撮像することができる。例えば、撮像素子Ｚ１ａは、位置Ｚ１にピントの合った画像を取得し、撮像素子Ｚ２ａは、位置Ｚ２にピントの合った画像を取得し、撮像素子Ｚ３ａは、位置Ｚ３にピントの合った画像を取得する。すなわち、顕微鏡１は、対物レンズ２１の光軸方向において試料Ｗと対物レンズ２１とが位置決めされた状態で、光軸方向において試料Ｗの異なる位置からの光の像を一括して取得可能である。上述の実施形態で説明した画像処理部７は、このような顕微鏡１に適用することもできる。
図１７は、本実施形態に係る顕微鏡１の動作を概念的に示す図である。制御部４２は、対物レンズ２１の焦点位置を第１の位置に設定し、撮像部６に第１の撮像処理ＳＨ１を実行させる。第１の撮像処理ＳＨ１により、撮像素子Ｚ１ａは、位置Ｚ１にピントが合った撮像画像Ｐ１−Ｚ１を取得し、撮像素子Ｚ２ａは、位置Ｚ２にピントが合った撮像画像Ｐ１−Ｚ２を取得し、撮像素子Ｚ３ａは、位置Ｚ３にピントが合った撮像画像Ｐ１−Ｚ３を取得する。次に、制御部４２は、対物レンズ２１の焦点位置を第２の位置に設定し、撮像部６に第２の撮像処理ＳＨ２を実行させる。第２の撮像処理ＳＨ２により、撮像素子Ｚ１ａは、位置Ｚ３にピントが合った撮像画像Ｐ２−Ｚ３を取得し、撮像素子Ｚ２ａは、位置Ｚ４にピントが合った撮像画像Ｐ２−Ｚ４を取得し、撮像素子Ｚ３ａは、位置Ｚ５にピントが合った撮像画像Ｐ２−Ｚ５を取得する。以下同様に、制御部４２は、対物レンズ２１の焦点位置を変更し、撮像部６に撮像処理を実行させる。ここでは、撮像処理が３回であるものとして説明するが、撮像処理の回数は任意に設定される。第３の撮像処理ＳＨ３により、撮像素子Ｚ１ａは、位置Ｚ５にピントが合った撮像画像Ｐ３−Ｚ５を取得し、撮像素子Ｚ２ａは、位置Ｚ６にピントが合った撮像画像Ｐ３−Ｚ６を取得し、撮像素子Ｚ３ａは、位置Ｚ７にピントが合った撮像画像Ｐ３−Ｚ７を取得する。
画像処理部７は、第１の撮像処理ＳＨ１と第２の撮像処理ＳＨ２とで、対物レンズ２１の光軸２１ａと同じ方向における位置が同じ撮像画像（Ｐ１−Ｚ３、Ｐ２−Ｚ３）を用いて、第２の撮像処理ＳＨ２による撮像画像（Ｐ２−Ｚ３、Ｐ２−Ｚ４、Ｐ２−Ｐ５）の位置ずれを補正する。また、この補正により、撮像画像（Ｐ２−Ｚ３ｃ、Ｐ２−Ｚ４ｃ、Ｐ２−Ｐ５ｃ）が得られる。撮像処理部７は、補正後の撮像画像（Ｐ２−Ｚ３ｃ、Ｐ２−Ｚ４ｃ、Ｐ２−Ｐ５ｃ）のうち、第２の撮像処理ＳＨ２と第３の撮像処理ＳＨ３とで、対物レンズ２１の光軸２１ａと同じ方向における位置が同じ撮像画像（Ｐ２−Ｚ５ｃ、Ｐ３−Ｚ５）を用いて、第３の撮像処理ＳＨ３による撮像画像（Ｐ３−Ｚ５、Ｐ３−Ｚ６、Ｐ３−Ｐ７）の位置ずれを補正する。この補正により、撮像画像（Ｐ３−Ｚ５ｃ、Ｐ２−Ｚ６ｃ、Ｐ２−Ｐ７ｃ）が得られる。画像処理部７は、第１の撮像処理による撮像画像（Ｐ１−Ｚ１、Ｐ１−Ｚ２、Ｐ１−Ｐ３）、補正後の第２の撮像処理による撮像画像（Ｐ２−Ｚ４ｃ、Ｐ２−Ｐ５ｃ）、及び補正後の第３の撮像処理による撮像画像（Ｐ２−Ｚ６ｃ、Ｐ２−Ｐ７ｃ）を用いて、３次元画像ＰＺを生成する。
なお、対物レンズ２１の光軸方向において試料Ｗと対物レンズ２１とが位置決めされた状態で、光軸方向において試料Ｗの異なる位置からの光の像を一括して取得可能な顕微鏡としては、例えば、文献１（Paul A. Dalgarno, Heather I. C. Dalgarno, Aurelie Putoud, Robert Lambert, Lynn Paterson, David C. Logan, David P. Towers, Richard J. Warburton, and Alan H. Greenaway, “Multiplane imaging and three dimensional nanoscale particle tracking in biological microscopy”, Optics Express Vol. 18, Issue 2, pp. 877-884 (2010)）、文献２（Bassam Hajja,b, Jan Wisniewskib, Mohamed El Beheirya,b, Jiji Chenb, Andrey Revyakinb,1, Carl Wub, and Maxime Dahana,b,2, “Whole-cell, multicolor superresolution imaging using volumetric multifocus microscopy”, Proceedings of the National Academy of Sciences of the United States of America, ＜URL:http://www.pnas.org/content/111/49/17480＞）などに記載された顕微鏡などがある。上述の実施形態に係る画像処理部７は、このような顕微鏡に適用することもできる。
上述の実施形態において、制御装置８は、例えばコンピュータシステムを含む。制御装置８は、記憶装置４３に記憶されているプログラムを読み出し、このプログラムに従って各種の処理を実行する。上記プログラムは、例えば、蛍光物質を含む試料に照明光を照射し、対物レンズを含む観察光学系によって、試料からの光の像を形成し、試料を保持するステージおよび対物レンズの少なくとも一方を、対物レンズの光軸と同じ方向に移動させ、観察光学系が形成した像を撮像して得られる、撮像の結果を用いてコンピュータに画像処理を実行させる画像処理プログラムであって、画像処理は、対物レンズの焦点位置が第１の位置にあるときの撮像結果により得られた第１の領域における蛍光物質の位置情報と、対物レンズの焦点位置が第２の位置にあるときの撮像結果により得られた第２の領域における蛍光物質の位置情報とのうち、第１の領域と第２の領域との重複領域の少なくとも一部における蛍光物質の位置情報を用いて、第２の領域における蛍光物質の位置情報を補正することを含んでもよい。また、上記プログラムは、例えば、試料に含まれる蛍光物質の一部を活性化する活性化光と、活性化された蛍光物質の少なくとも一部を励起する励起光とを照明し、対物レンズと、試料からの光の少なくとも一部に対して非点収差を発生させる非点収差光学系とを有する観察光学系によって、試料からの光の像を形成し、試料を保持するステージおよび対物レンズの少なくとも一方を、対物レンズの光軸と同じ方向に移動させ、観察光学系が形成した像を撮像して得られる、撮像の結果を用いてコンピュータに画像処理を実行させる画像処理プログラムであって、画像処理は、対物レンズの焦点位置が第１の位置にあるときの撮像結果に含まれる非点収差に関する情報を用いて、第１の領域における蛍光物質の位置情報を算出し、対物レンズの焦点位置が第２の位置にあるときの撮像結果に含まれる非点収差に関する情報を用いて、第２の領域における蛍光物質の位置情報を算出し、第１の領域における蛍光物質の位置情報と、第２の領域における蛍光物質の位置情報とのうち、第１の領域と第２の領域との重複領域の少なくとも一部における蛍光物質の位置情報を用いて、第２の領域における蛍光物質の位置情報を補正することを含んでもよい。また、上記プログラムは、例えば、ステージに載置された物体に照明光を照射し、対物レンズを含む観察光学系によって、試料からの光の像を形成し、ステージおよび対物レンズの少なくとも一方を、対物レンズの光軸と同じ方向に移動させ、観察光学系が形成した像を撮像して得られる、撮像の結果を用いてコンピュータに画像処理を実行させる画像処理プログラムであって、画像処理は、対物レンズの焦点位置が第１の位置にあるときの撮像結果により得られた第１の領域における物体の情報と、対物レンズの焦点位置が第２の位置にあるときの撮像結果により得られた第２の領域における物体の情報とのうち、第１の領域と第２の領域との重複領域の少なくとも一部における物体の情報を用いて、第２の領域における物体の情報を補正することを含んでもよい。上記プログラムは、コンピュータ読み取り可能な記憶媒体に記録されて提供されてもよい。
なお、本発明の技術範囲は、上述の実施形態などで説明した態様に限定されるものではない。上述の実施形態などで説明した要件の１つ以上は、省略されることがある。また、上述の実施形態などで説明した要件は、適宜組み合わせることができる。また、法令で許容される限りにおいて、上述の実施形態などで引用した全ての文献の開示を援用して本文の記載の一部とする。
１・・・顕微鏡、４・・・照明光学系、５・・・第１観察光学系、５ａ・・・光軸、６・・・撮像部、７・・・画像処理部、２９・・・シリンドリカルレンズ（非点収差光学系）、Ｗ・・・試料

Claims (38)

  1. 蛍光物質を含む試料に照明光を照射する照明光学系と、
    対物レンズを含み、前記試料からの光の像を形成する観察光学系と、
    前記観察光学系が形成した像を撮像する撮像部と、
    画像処理部と、
    前記試料を保持するステージおよび前記対物レンズの少なくとも一方を移動させる制御部と、を備え、
    前記画像処理部は、前記試料の第１の３次元領域と第２の３次元領域との重複領域の少なくとも一部における前記蛍光物質の位置情報を用いて、前記第２の３次元領域における前記蛍光物質の位置情報を前記第２の３次元領域の基準位置からの距離に基づいて補正する、
    顕微鏡。
  2. 試料に含まれる蛍光物質の一部を活性化する活性化光を照明する第１照明光学系と、
    前記活性化された前記蛍光物質の少なくとも一部を励起する励起光を照明する第２照明光学系と、
    対物レンズと、前記試料からの光の少なくとも一部に対して非点収差を発生させる非点収差光学系とを有し、前記試料からの光の像を形成する観察光学系と、
    前記観察光学系が形成した像を撮像する撮像部と、
    画像処理部と、
    前記試料を保持するステージおよび前記対物レンズの少なくとも一方を移動させる制御部と、を備え、
    前記画像処理部は、前記試料の第１の３次元領域と第２の３次元領域との重複領域の少なくとも一部における前記蛍光物質の位置情報を用いて、前記第２の３次元領域における前記蛍光物質の位置情報を前記第２の３次元領域の基準位置からの距離に基づいて補正する、
    顕微鏡。
  3. 前記第１照明光学系と前記第２照明光学系とは少なくとも一部が共通である、
    請求項２に記載の顕微鏡。
  4. 前記画像処理部は、前記撮像部により撮像された結果を用いて、前記試料の第１の３次元領域における前記蛍光物質の位置情報と第２の３次元領域における前記蛍光物質の位置情報とを算出する、
    請求項１から請求項３のいずれか一項に記載の顕微鏡。
  5. 前記画像処理部は、前記対物レンズの焦点位置が第１の位置にある場合に撮像された結果を用いて前記第１の３次元領域における前記蛍光物質の位置情報を算出し、前記対物レンズの焦点位置が第２の位置にある場合に撮像された結果を用いて前記第２の３次元領域における前記蛍光物質の位置情報を算出する、
    請求項１から請求項４のいずれか１項に記載の顕微鏡。
  6. 前記画像処理部は、
    前記第１の３次元領域と前記第２の３次元領域の重複領域の少なくとも一部において、前記第１の３次元領域の前記蛍光物質の位置情報と前記第２の３次元領域の前記蛍光物質の位置情報とを用いて補正量を算出し、算出した補正量を用いて、前記第２の３次元領域における前記蛍光物質の位置情報を補正する、
    請求項１から請求項５のいずれか１項に記載の顕微鏡。
  7. 前記画像処理部は、前記第１の３次元領域と前記第２の３次元領域との重複領域において複数の領域について補正量を算出し、前記蛍光物質の位置情報を補正する、
    請求項１から請求項６のいずれか１項に記載の顕微鏡。
  8. 前記画像処理部は、前記第１の３次元領域と前記第２の３次元領域との重複領域の少なくとも一部において、前記第１の３次元領域の前記蛍光物質の位置情報と前記第２の３次元領域の前記蛍光物質の位置情報とを用いて補正量を算出し、算出した補正量を用いて、前記第２の３次元領域の基準位置からの距離に基づいた補正量を算出する、
    請求項１から請求項７のいずれか１項に記載の顕微鏡。
  9. 前記画像処理部は、前記第１の３次元領域と前記第２の３次元領域の重複領域において、指定された領域において補正量を算出する、
    請求項１から請求項８のいずれか１項に記載の顕微鏡。
  10. 前記指定された領域は、蛍光物質の分布に基づいて指定された領域である、
    請求項９に記載の顕微鏡。
  11. 入力部と、
    前記試料の第１の３次元領域における前記蛍光物質の位置情報と、前記試料の第２の３次元領域における前記蛍光物質の位置情報とを示す画像を表示する表示部と、を備え、
    前記画像処理部は、前記表示部に表示された画像において前記入力部により入力された領域の指定に関する情報に基づいて補正量を算出する、
    請求項９又は請求項１０に記載の顕微鏡。
  12. 画像を表示する表示部を備える、請求項１から請求項１０のいずれか一項に記載の顕微鏡。
  13. 前記画像処理部は、前記第１の３次元領域おける前記蛍光物質の位置情報と、前記第２の３次元領域における前記補正された前記蛍光物質の位置情報とを用いて、３次元画像を生成し、
    前記表示部は、前記３次元画像を表示する、
    請求項１２に記載の顕微鏡。
  14. 前記画像処理部は、前記重複領域における前記第１の３次元領域における前記蛍光物質の位置情報と前記第２の３次元領域における前記補正された前記蛍光物質の位置情報とを用いて３次元画像を生成し、
    前記表示部は、前記画像処理部が生成した前記重複領域の前記３次元画像を表示する、
    請求項１２又は請求項１３に記載の顕微鏡。
  15. 前記画像処理部は、前記第１の３次元領域おける前記蛍光物質の位置情報と前記第２の３次元領域における前記補正された前記蛍光物質の位置情報とを、互いに異なる色の点で表した前記３次元画像を生成する、
    請求項１３または請求項１４に記載の顕微鏡。
  16. 前記画像処理部は、
    前記重複領域において、複数の領域ごとに前記第１の３次元領域おける前記蛍光物質の位置情報と前記第２の３次元領域における前記補正された前記蛍光物質の位置情報とを用いて、位置ずれ量を算出し、
    前記位置ずれ量が閾値未満の領域において前記第１の３次元領域おける前記蛍光物質の位置情報と前記第２の３次元領域における前記補正された前記蛍光物質の位置情報とを、同じ色の点で表し、前記閾値以上の領域において互いに異なる色の点で表した前記３次元画像を生成する、
    請求項１３または請求項１４に記載の顕微鏡。
  17. 入力部を備え、
    前記表示部は、前記試料の第１の３次元領域における前記蛍光物質の位置情報と、前記試料の第２の３次元領域における前記蛍光物質の位置情報とを示す画像を表示し、
    前記画像処理部は、前記表示部に表示された画像において前記入力部により入力された領域の指定に関する情報に基づいて補正量を算出する、
    請求項１２から請求項１６のいずれか一項に記載の顕微鏡。
  18. ステージに載置された物体に照明光を照射する照明光学系と、
    対物レンズを含み、前記物体からの光の像を形成する観察光学系と、
    前記観察光学系が形成した像を撮像する撮像部と、
    画像処理部と、
    前記ステージおよび前記対物レンズの少なくとも一方を、移動させる制御部と、を備え、
    前記画像処理部は、前記物体の第１の３次元領域と第２の３次元領域の重複領域の少なくとも一部における前記物体の情報を用いて、前記第２の３次元領域における前記物体の情報を前記第２の３次元領域の基準位置からの距離に基づいて補正する、
    顕微鏡。
  19. 前記画像処理部は、前記撮像部により撮像された結果を用いて、前記物体の第１の３次元領域における前記物体の情報と第２の３次元領域における前記物体の情報とを算出する、
    請求項１８に記載の顕微鏡。
  20. 前記画像処理部は、前記対物レンズの焦点位置が第１の位置にある場合に撮像された結果を用いて第１の３次元領域における前記物体の情報を算出し、前記対物レンズの焦点位置が第２の位置にある場合に撮像された結果を用いて第２の３次元領域における前記物体の情報を算出する、
    請求項１８または請求項１９に記載の顕微鏡。
  21. 前記画像処理部は、前記第１の３次元領域と前記第２の３次元領域の重複領域の少なくとも一部において、前記第１の３次元領域の前記物体の情報と前記第２の３次元領域の前記物体の位置情報とを用いて補正量を算出し、算出した補正量を用いて、前記第２の３次元領域における前記物体の情報を補正する、
    請求項１８から請求項２０のいずれか１項に記載の顕微鏡。
  22. 前記画像処理部は、前記第１の３次元領域と前記第２の３次元領域の重複領域において複数の領域について補正量を算出し、前記物体の情報を補正する、
    請求項１８から請求項２１のいずれか１項に記載の顕微鏡。
  23. 前記画像処理部は、前記第１の３次元領域と前記第２の３次元領域との重複領域の少なくとも一部において、前記第１の３次元領域の前記物体の情報と前記第２の３次元領域の前記物体の情報とを用いて補正量を算出し、算出した補正量を用いて、前記第２の３次元領域の基準位置からの距離に基づいた補正量を算出する、
    請求項１８から請求項２２のいずれか１項に記載の顕微鏡。
  24. 前記画像処理部は、前記第１の３次元領域と前記第２の３次元領域の重複領域において、指定された領域において補正量を算出する、
    請求項１８から請求項２３のいずれか１項に記載の顕微鏡。
  25. 前記指定された領域は、物体の分布に基づいて指定された領域である、
    請求項２４に記載の顕微鏡。
  26. 入力部と、
    前記物体の第１の３次元領域における前記物体の情報と、前記物体の第２の３次元領域における前記物体の情報とを示す画像を表示する表示部と、を備え、
    前記画像処理部は、前記表示部に表示された画像において前記入力部により入力された領域の指定に関する情報に基づいて補正量を算出する、
    請求項２４又は請求項２５に記載の顕微鏡。
  27. 画像を表示する表示部を備える、請求項１８から請求項２５のいずれか一項に記載の顕微鏡。
  28. 前記画像処理部は、前記第１の３次元領域おける前記物体の情報と、前記第２の３次元領域における前記補正された前記物体の情報とを用いて、３次元画像を生成し、
    前記表示部は、前記３次元画像を表示する、
    請求項２７に記載の顕微鏡。
  29. 前記画像処理部は、前記重複領域における前記第１の３次元領域における前記物体の情報と前記第２の３次元領域における前記補正された前記物体の情報とを用いて３次元画像を生成し、
    前記表示部は、前記画像処理部が生成した前記重複領域の前記３次元画像を表示する
    請求項２７又は請求項２８に記載の顕微鏡。
  30. 前記画像処理部は、前記第１の３次元領域おける前記物体の情報と前記第２の３次元領域における前記物体の情報とを、互いに異なる色の点で表した前記３次元画像を生成する、
    請求項２８又は請求項２９に記載の顕微鏡。
  31. 前記画像処理部は、
    前記重複領域において、複数の領域ごとに前記第１の３次元領域おける前記物体の情報と前記第２の３次元領域における前記補正された前記物体の情報とを用いて、位置ずれ量を算出し、
    前記位置ずれ量が閾値未満の領域において前記第１の３次元領域おける前記物体の情報と前記第２の３次元領域における前記補正された前記物体の情報とを、同じ色の点で表し、前記閾値以上の領域において互いに異なる色の点で表した前記３次元画像を生成する、
    請求項２８又は請求項２９に記載の顕微鏡。
  32. 入力部を備え、
    前記表示部は、前記物体の第１の３次元領域における前記物体の情報と、前記物体の第２の３次元領域における前記物体の情報とを示す画像を表示し、
    前記画像処理部は、前記表示部に表示された画像において前記入力部により入力された領域の指定に関する情報に基づいて補正量を算出する、
    請求項２７から請求項３１のいずれか一項に記載の顕微鏡。
  33. 蛍光物質を含む試料に照明光を照射することと、
    対物レンズを含む観察光学系によって、前記試料からの光の像を形成することと、
    前記観察光学系が形成した像を撮像することと、
    画像処理を行うことと、
    前記試料を保持するステージおよび前記対物レンズの少なくとも一方を移動させることと、を含み、
    前記画像処理は、前記試料の第１の３次元領域と第２の３次元領域の重複領域の少なくとも一部における前記蛍光物質の位置情報を用いて、前記第２の３次元領域における前記蛍光物質の位置情報を前記第２の３次元領域の基準位置からの距離に基づいて補正することを含む、
    観察方法。
  34. 試料に含まれる蛍光物質の一部を活性化する活性化光と、前記活性化された前記蛍光物質の少なくとも一部を励起する励起光とを照明することと、
    対物レンズと、前記試料からの光の少なくとも一部に対して非点収差を発生させる非点収差光学系とを有する観察光学系によって、前記試料からの光の像を形成することと、
    前記観察光学系が形成した像を撮像することと、
    画像処理を行うことと、
    前記試料を保持するステージおよび前記対物レンズの少なくとも一方を移動させることと、を含み、
    前記画像処理は、前記試料の第１の３次元領域と第２の３次元領域の重複領域の少なくとも一部における前記蛍光物質の位置情報を用いて、前記第２の３次元領域における前記蛍光物質の位置情報を前記第２の３次元領域の基準位置からの距離に基づいて補正することを含む、
    観察方法。
  35. ステージに載置された物体に照明光を照射することと、
    対物レンズを含む観察光学系によって、前記物体からの光の像を形成することと、
    前記観察光学系が形成した像を撮像することと、
    画像処理を行うことと、
    前記ステージおよび前記対物レンズの少なくとも一方を移動させることと、を含み、
    前記画像処理は、前記物体の第１の３次元領域と第２の３次元領域の重複領域の少なくとも一部における前記物体の情報を用いて、前記第２の３次元領域における前記物体の情報を前記第２の３次元領域の基準位置からの距離に基づいて補正することを含む、
    観察方法。
  36. 蛍光物質を含む試料に照明光を照射し、対物レンズを含む観察光学系によって、前記試料からの光の像を形成し、撮像部によって前記像を撮像し、前記試料を保持するステージおよび前記対物レンズの少なくとも一方を移動させ、前記撮像部により撮像された結果を用いてコンピュータに画像処理を実行させる画像処理プログラムであって、
    前記画像処理は、前記試料の第１の３次元領域と第２の３次元領域の重複領域の少なくとも一部における前記蛍光物質の位置情報を用いて、前記第２の３次元領域における前記蛍光物質の位置情報を前記第２の３次元領域の基準位置からの距離に基づいて補正する、ことを含む、
    画像処理プログラム。
  37. 試料に含まれる蛍光物質の一部を活性化する活性化光と、前記活性化された前記蛍光物質の少なくとも一部を励起する励起光とを照明し、対物レンズと、前記試料からの光の少なくとも一部に対して非点収差を発生させる非点収差光学系とを有する観察光学系によって、前記試料からの光の像を形成し、撮像部によって前記像を撮像し、前記試料を保持するステージおよび前記対物レンズの少なくとも一方を移動させ、前記撮像部により撮像された結果を用いてコンピュータに画像処理を実行させる画像処理プログラムであって、
    前記画像処理は、前記試料の第１の３次元領域と第２の３次元領域の重複領域の少なくとも一部における前記蛍光物質の位置情報を用いて、前記第２の３次元領域における前記蛍光物質の位置情報を前記第２の３次元領域の基準位置からの距離に基づいて補正することを含む、
    画像処理プログラム。
  38. ステージに載置された物体に照明光を照射し、対物レンズを含む観察光学系によって、前記物体からの光の像を形成し、撮像部によって前記像を撮像し、前記ステージおよび前記対物レンズの少なくとも一方を移動させ、前記撮像部により撮像された結果を用いてコンピュータに画像処理を実行させる画像処理プログラムであって、
    前記画像処理は、前記物体の第１の３次元領域と第２の３次元領域の重複領域の少なくとも一部における前記物体の情報を用いて、前記第２の３次元領域における前記物体の情報を前記第２の３次元領域の基準位置からの距離に基づいて補正することを含む、
    画像処理プログラム。
JP2017552257A 2015-11-27 2015-11-27 顕微鏡、観察方法、及び画像処理プログラム Active JP6635125B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/083510 WO2017090210A1 (ja) 2015-11-27 2015-11-27 顕微鏡、観察方法、及び画像処理プログラム

Publications (2)

Publication Number Publication Date
JPWO2017090210A1 JPWO2017090210A1 (ja) 2018-09-13
JP6635125B2 true JP6635125B2 (ja) 2020-01-22

Family

ID=58764221

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017552257A Active JP6635125B2 (ja) 2015-11-27 2015-11-27 顕微鏡、観察方法、及び画像処理プログラム

Country Status (4)

Country Link
US (1) US10725278B2 (ja)
EP (1) EP3382439A4 (ja)
JP (1) JP6635125B2 (ja)
WO (1) WO2017090210A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017090211A1 (ja) 2015-11-27 2017-06-01 株式会社ニコン 顕微鏡装置
RU2670779C9 (ru) * 2018-02-28 2018-11-23 Общество с ограниченной ответственностью научно-исследовательское предприятие "ПАНОРАМА" Способ получения панорамного изображения гистологических, цитологических и иммуноцитологических препаратов (варианты)
WO2019229913A1 (ja) * 2018-05-30 2019-12-05 株式会社ニコン 情報処理装置、情報処理方法、情報処理プログラム、及び顕微鏡
EP3975120B1 (en) 2020-09-24 2023-01-11 Stryker European Operations Limited Technique for guiding acquisition of one or more registration points on a patient's body

Family Cites Families (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5748491A (en) * 1995-12-20 1998-05-05 The Perkin-Elmer Corporation Deconvolution method for the analysis of data resulting from analytical separation processes
US20060060781A1 (en) * 1997-08-11 2006-03-23 Masahiro Watanabe Charged-particle beam apparatus and method for automatically correcting astigmatism and for height detection
US6259080B1 (en) * 1998-03-18 2001-07-10 Olympus Optical Co. Ltd. Autofocus device for microscope
US6670602B1 (en) * 1998-06-03 2003-12-30 Nikon Corporation Scanning device and scanning method
JP2000098244A (ja) * 1998-09-24 2000-04-07 Olympus Optical Co Ltd 蛍光顕微鏡
JP2001093455A (ja) * 1999-09-21 2001-04-06 Nikon Corp 電子ビーム装置
JP4608043B2 (ja) * 1999-09-24 2011-01-05 オリンパス株式会社 顕微鏡用焦点検出装置
EP1150137A3 (en) * 2000-04-26 2006-04-05 Fuji Photo Film Co., Ltd. Image reading apparatus
US7668697B2 (en) * 2006-02-06 2010-02-23 Andrei Volkov Method for analyzing dynamic detectable events at the single molecule level
US6750423B2 (en) * 2001-10-25 2004-06-15 Semiconductor Energy Laboratory Co., Ltd. Laser irradiation method, laser irradiation apparatus, and method of manufacturing a semiconductor device
GB2383487B (en) * 2001-12-18 2006-09-27 Fairfield Imaging Ltd Method and apparatus for acquiring digital microscope images
GB2385481B (en) * 2002-02-13 2004-01-07 Fairfield Imaging Ltd Microscopy imaging system and method
US20030184856A1 (en) * 2002-04-02 2003-10-02 Nikon Corporation Focus point detection device and microscope using the same
JP2005134867A (ja) * 2003-10-08 2005-05-26 Nikon Corp 画像表示装置
DE102004034988A1 (de) * 2004-07-16 2006-02-02 Carl Zeiss Jena Gmbh Lichtrastermikroskop und Verwendung
JP4599941B2 (ja) * 2004-08-20 2010-12-15 株式会社ニコン 自動焦点検出装置およびこれを備える顕微鏡システム
EP2453239B1 (en) * 2005-05-23 2017-04-26 Harald F. Hess Optical microscopy with transformable optical labels
WO2007037439A1 (ja) * 2005-09-29 2007-04-05 Olympus Corporation 焦点位置決定方法、焦点位置決定装置、微弱光検出装置及び微弱光検出方法
WO2007080981A1 (ja) * 2006-01-12 2007-07-19 National University Corporation Gunma University 荷電粒子線の照準位置決定装置、その使用方法、及び照準位置決定装置を用いた治療装置
US7838302B2 (en) 2006-08-07 2010-11-23 President And Fellows Of Harvard College Sub-diffraction limit image resolution and other imaging techniques
US7776613B2 (en) * 2006-08-07 2010-08-17 President And Fellows Of Harvard College Sub-diffraction image resolution and other imaging techniques
WO2008069220A1 (ja) * 2006-11-30 2008-06-12 Nikon Corporation 結像装置及び顕微鏡
US7916304B2 (en) * 2006-12-21 2011-03-29 Howard Hughes Medical Institute Systems and methods for 3-dimensional interferometric microscopy
WO2008087992A1 (ja) * 2007-01-19 2008-07-24 Nikon Corporation 焦点検出装置、顕微鏡
US7687769B2 (en) * 2007-01-19 2010-03-30 Schlumberger Technology Corporation Methods and apparatus for multi dimension fluorescence spectrum measurement and correlations downhole
JP5448353B2 (ja) * 2007-05-02 2014-03-19 キヤノン株式会社 光干渉断層計を用いた画像形成方法、及び光干渉断層装置
EP2201352B2 (en) * 2007-09-28 2018-08-29 Illumina, Inc. Fluorescence excitation and detection system and method
US8174692B2 (en) * 2008-05-21 2012-05-08 Max-Planck-Gesellschaft Zur Foerderung Der Wissenschaften E.V. High spatial resolution imaging of a structure of interest in a specimen
US20090289200A1 (en) * 2008-05-22 2009-11-26 Fujifilm Corporation Fluorescent image obtainment method and apparatus, fluorescence endoscope, and excitation-light unit
JP5250342B2 (ja) * 2008-08-26 2013-07-31 富士フイルム株式会社 画像処理装置およびプログラム
DE102008059328A1 (de) * 2008-11-27 2010-06-02 Carl Zeiss Microimaging Gmbh Auflösungsgesteigerte Mikroskopie
GB201007055D0 (en) * 2010-04-28 2010-06-09 Vib Vzw Method and apparatus for the imaging of a labelled sample
DE102010036709A1 (de) * 2010-07-28 2012-02-02 Leica Microsystems Cms Gmbh Einrichtung und Verfahren zur mikroskopischen Bildaufnahme einer Probenstruktur
US9523846B2 (en) * 2010-09-24 2016-12-20 Carl Zeiss Microscopy Gmbh 3D localisation microscopy and 4D localisation microscopy and tracking methods and systems
JP5751986B2 (ja) * 2010-12-08 2015-07-22 キヤノン株式会社 画像生成装置
JP5747690B2 (ja) 2011-07-04 2015-07-15 株式会社ニコン 顕微鏡装置及び画像形成方法
DE102011055294B4 (de) * 2011-11-11 2013-11-07 Leica Microsystems Cms Gmbh Mikroskopische Einrichtung und Verfahren zur dreidimensionalen Lokalisierung von punktförmigen Objekten in einer Probe
DE102012201003A1 (de) * 2012-01-24 2013-07-25 Carl Zeiss Microscopy Gmbh Mikroskop und Verfahren für die hochauflösende 3-D Fluoreszenzmikroskopie
US9395303B2 (en) * 2012-03-12 2016-07-19 Mitsubishi Rayon Co., Ltd. Fluorescence detection device and fluorescence detection method
CN108593529A (zh) * 2012-06-06 2018-09-28 索尼公司 微粒测量装置及其数据处理方法
JP2014098835A (ja) * 2012-11-15 2014-05-29 Canon Inc 顕微鏡用照明光学系およびこれを用いた顕微鏡
DE102012224306A1 (de) * 2012-12-21 2014-06-26 Carl Zeiss Microscopy Gmbh Verfahren zur hochauflösenden 3D-Lokalisierungsmikroskopie
KR20140091177A (ko) * 2013-01-10 2014-07-21 삼성전자주식회사 병변 진단 장치 및 방법
US9435993B2 (en) * 2013-03-24 2016-09-06 Bruker Nano, Inc. Three dimensional microscopy imaging
DE102013208415B4 (de) * 2013-05-07 2023-12-28 Carl Zeiss Microscopy Gmbh Mikroskop und Verfahren für die 3D-hochauflösende Lokalisierungsmikroskopie
DE102013208926A1 (de) * 2013-05-14 2014-11-20 Carl Zeiss Microscopy Gmbh Verfahren zur 3D-hochauflösenden Lokalisierungsmikroskopie
DE102013208927A1 (de) * 2013-05-14 2014-11-20 Carl Zeiss Microscopy Gmbh Verfahren zur 3D-hochauflösenden Lokalisierungsmikroskopie
DE102013106895B4 (de) * 2013-07-01 2015-09-17 Leica Microsystems Cms Gmbh Lichtmikroskopisches Verfahren zur Lokalisierung von Punktobjekten
DE102013019348A1 (de) * 2013-08-15 2015-02-19 Carl Zeiss Microscopy Gmbh Hochauflösende Scanning-Mikroskopie
DE102013015933A1 (de) * 2013-09-19 2015-03-19 Carl Zeiss Microscopy Gmbh Hochauflösende Scanning-Mikroskopie
DE102013015931B4 (de) * 2013-09-19 2024-05-08 Carl Zeiss Microscopy Gmbh Mikroskop und Verfahren zur hochauflösenden Scanning-Mikroskope
DE102013015932A1 (de) * 2013-09-19 2015-03-19 Carl Zeiss Microscopy Gmbh Hochauflösende Scanning-Mikroskopie

Also Published As

Publication number Publication date
US10725278B2 (en) 2020-07-28
EP3382439A1 (en) 2018-10-03
JPWO2017090210A1 (ja) 2018-09-13
US20180299659A1 (en) 2018-10-18
EP3382439A4 (en) 2019-12-11
WO2017090210A1 (ja) 2017-06-01

Similar Documents

Publication Publication Date Title
CN110262026B (zh) 孔径扫描傅立叶重叠关联成像
WO2018116851A1 (ja) 情報処理装置、画像処理装置、顕微鏡、情報処理方法、及び情報処理プログラム
US10725278B2 (en) Microscope, observation method, and storage medium
JP6276749B2 (ja) 蛍光受光装置および蛍光受光方法
US9921398B2 (en) Drive control method for objective lens and fluorescence microscope system
CN109477954A (zh) 具有相位调制元件的scape显微术和图像重构
US11042016B2 (en) Multi-Z confocal imaging system
US11086115B2 (en) Microscope device, viewing method, and control program
WO2018087820A1 (ja) 画像群生成装置、球面収差補正算出装置、顕微鏡、プログラム及び球面収差補正算出方法
EP3249441B1 (en) Image acquisition device and image acquisition method
US8294728B2 (en) Process for generating display images from acquired recorded images, and means for carrying out the process
US20180017773A1 (en) Microscope device, observation method, and storage medium
US10823675B2 (en) Microscope, observation method, and a storage medium
WO2017090211A1 (ja) 顕微鏡装置
KR102469852B1 (ko) 집적 영상 현미경의 조명계 시스템
JP2019049756A (ja) 顕微鏡装置、観察方法、及び制御プログラム
JP2020042283A (ja) 顕微鏡装置
JP2019159341A (ja) 顕微鏡、観察方法、及び制御プログラム
JP5829031B2 (ja) 微弱光観察顕微鏡及び微弱光取得方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180524

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180601

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190618

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190809

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191016

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191119

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191202

R150 Certificate of patent or registration of utility model

Ref document number: 6635125

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250