JP2020020929A - Microscope, observation method, and control program - Google Patents

Microscope, observation method, and control program Download PDF

Info

Publication number
JP2020020929A
JP2020020929A JP2018143686A JP2018143686A JP2020020929A JP 2020020929 A JP2020020929 A JP 2020020929A JP 2018143686 A JP2018143686 A JP 2018143686A JP 2018143686 A JP2018143686 A JP 2018143686A JP 2020020929 A JP2020020929 A JP 2020020929A
Authority
JP
Japan
Prior art keywords
light
phase
image
sample
excitation light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018143686A
Other languages
Japanese (ja)
Other versions
JP7099143B2 (en
Inventor
勇輝 照井
Yuki Terui
勇輝 照井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2018143686A priority Critical patent/JP7099143B2/en
Publication of JP2020020929A publication Critical patent/JP2020020929A/en
Application granted granted Critical
Publication of JP7099143B2 publication Critical patent/JP7099143B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

To provide a microscope that can acquire images different in resolution in two directions from photographing images even with no change in cyclic direction of intensity of illumination light.SOLUTION: A microscope 1 comprises: an irradiation unit 3 that irradiates a sample with activation light L2 of which intensity cyclically changes in a first direction on a sample surface where a sample including the fluorescent substance is arranged, and which activates the fluorescent substance, and excitation light L3 of which intensity cyclically changes in a second direction intersecting with the first direction on the sample surface, and which excites the fluorescent substance activated by the activation light; a control unit 41 that changes an intensity distribution of the activation light in the first direction, and an intensity distribution of the excitation light in the second direction; an imaging unit 4 that photographs an image of fluorescence to be radiated from the sample by the irradiation of the activation light and the irradiation of the excitation light; and an image processing unit 42 that generates a second image different in resolution from a first image, based on the first image to be obtained due to photographing by the imaging unit 4.SELECTED DRAWING: Figure 1

Description

本発明は、顕微鏡、観察方法、及び制御プログラムに関する。   The present invention relates to a microscope, an observation method, and a control program.

構造化照明を用いた顕微鏡が提案されている（例えば、下記の特許文献１参照）。構造化照明は、光学系の分解能を越えた観察を可能とする構造化照明顕微鏡（Structured Illumination Microscopy ; SIM）に用いられる場合がある。構造化照明顕微鏡は、１方向において強度が周期的に変化する照明光（例、縞パターン）が照射された試料を撮像する。構造化照明顕微鏡は、照明光の周期方向を変更して撮像した画像を用いることで、解像度が２方向において向上した画像を生成する。このような技術において、照明光の強度の周期方向を変更しなくても複数の方向（例、２方向）の解像度が撮像画像と異なる画像（例、超解像画像）を取得可能（例、生成可能）であることが望まれる。   A microscope using structured illumination has been proposed (for example, see Patent Document 1 below). Structured illumination is sometimes used in a structured illumination microscope (SIM) that enables observation beyond the resolution of an optical system. The structured illumination microscope captures an image of a sample irradiated with illumination light (eg, a stripe pattern) whose intensity periodically changes in one direction. The structured illumination microscope generates an image with improved resolution in two directions by using an image captured while changing the periodic direction of the illumination light. In such a technique, it is possible to obtain an image (eg, a super-resolution image) in which the resolution in a plurality of directions (eg, two directions) is different from the captured image without changing the periodic direction of the intensity of the illumination light (eg, (Can be generated).

特開２０１４−１０９４９０号公報JP 2014-109490 A

本発明の第１の態様に従えば、蛍光物質を含む試料が配置される試料面上の第１方向において強度が周期的に変化し蛍光物質を活性化する活性化光と、試料面上で第１方向に交差する第２方向において強度が周期的に変化し活性化光によって活性化した蛍光物質を励起する励起光とを試料に照射する照射部と、第１方向における活性化光の強度分布と、第２方向における励起光の強度分布とを変更する制御部と、活性化光の照射と励起光の照射とによって試料から放射される蛍光の像を撮像する撮像部と、撮像部が撮像して得られる第１画像に基づいて、第１画像と解像度が異なる第２画像を生成する画像処理部と、を備える顕微鏡が提供される。   According to the first aspect of the present invention, activation light for periodically changing the intensity in a first direction on a sample surface on which a sample containing a fluorescent substance is arranged and activating the fluorescent substance is provided on the sample surface. An irradiating unit that irradiates the sample with excitation light whose intensity periodically changes in a second direction intersecting the first direction and excites a fluorescent substance activated by the activation light, and an intensity of the activation light in the first direction A control unit that changes the distribution and the intensity distribution of the excitation light in the second direction; an imaging unit that captures an image of fluorescence emitted from the sample by the irradiation of the activation light and the irradiation of the excitation light; There is provided a microscope including: an image processing unit configured to generate a second image having a different resolution from the first image based on the first image obtained by imaging.

本発明の第２の態様に従えば、蛍光物質を含む試料が配置される試料面上の第１方向において強度が周期的に変化し蛍光物質を活性化する活性化光と、試料面上で第１方向に交差する第２方向において強度が周期的に変化し活性化光によって活性化した蛍光物質を励起する励起光とを試料に照射することと、第１方向における活性化光の強度分布を変更することと、第２方向における励起光の強度分布を変更することと、活性化光の照射と励起光の照射とによって試料から放射される蛍光の像を撮像することと、撮像によって得られる第１画像に基づいて、第１画像と解像度が異なる第２画像を生成することと、を含む観察方法が提供される。   According to the second aspect of the present invention, the activation light for periodically changing the intensity in the first direction on the sample surface on which the sample containing the fluorescent substance is arranged and activating the fluorescent substance is provided on the sample surface. Irradiating the sample with excitation light whose intensity changes periodically in a second direction intersecting the first direction and excites a fluorescent substance activated by the activation light; and intensity distribution of the activation light in the first direction. Changing the intensity distribution of the excitation light in the second direction, capturing an image of the fluorescence emitted from the sample by the irradiation of the activation light and the irradiation of the excitation light, and obtaining the image by the imaging. Generating a second image having a different resolution from the first image based on the obtained first image.

本発明の第３の態様に従えば、コンピュータに、蛍光物質を含む試料が配置される試料面上の第１方向において強度が周期的に変化し蛍光物質を活性化する活性化光と、試料面上で第１方向に交差する第２方向において強度が周期的に変化し活性化光によって活性化した蛍光物質を励起する励起光とを試料に照射する制御と、第１方向における活性化光の強度分布を変更する制御と、第２方向における励起光の強度分布を変更する制御と、活性化光の照射と励起光の照射とによって試料から放射される蛍光の像を撮像する制御と、を実行させる制御プログラムが提供される。   According to a third aspect of the present invention, the computer comprises: an activation light for periodically changing the intensity in a first direction on a sample surface on which a sample containing a fluorescent substance is arranged; A control that irradiates the sample with excitation light that periodically changes in intensity in a second direction intersecting the first direction on the surface and excites a fluorescent substance activated by the activation light, and activation light in the first direction Control to change the intensity distribution of the, control to change the intensity distribution of the excitation light in the second direction, control to capture an image of the fluorescence emitted from the sample by irradiation of the activation light and irradiation of the excitation light, Is provided.

第１実施形態に係る顕微鏡を示す図である。It is a figure showing the microscope concerning a 1st embodiment. 第１実施形態に係る縞パターンおよび強度分布を示す図である。It is a figure showing a stripe pattern and intensity distribution concerning a 1st embodiment. （Ａ）、（Ｂ）は、それぞれ、第１実施形態に係る顕微鏡における活性化光の光路、励起光の光路を示す図である。FIGS. 3A and 3B are diagrams illustrating an optical path of an activation light and an optical path of an excitation light in the microscope according to the first embodiment, respectively. 第１実施形態に係る活性化光の強度分布の位相を示す図である。FIG. 4 is a diagram illustrating a phase of an intensity distribution of the activation light according to the first embodiment. 第１実施形態に係る励起光の強度分布の位相を示す図である。FIG. 4 is a diagram illustrating a phase of an intensity distribution of the excitation light according to the first embodiment. 第１実施形態に係る画像処理部の処理を示す図である。FIG. 4 is a diagram illustrating processing of the image processing unit according to the first embodiment. 第１実施形態に係る画像処理部の処理の説明に用いる数式である。4 is a mathematical expression used for describing processing of the image processing unit according to the first embodiment. 第１実施形態に係る画像処理部の処理の説明に用いる数式である。4 is a mathematical expression used for describing processing of the image processing unit according to the first embodiment. 第１実施形態に係る画像処理部の処理の説明に用いる数式である。4 is a mathematical expression used for describing processing of the image processing unit according to the first embodiment. 第１実施形態に係る画像処理部の処理、比較例の処理を示す図である。FIG. 5 is a diagram illustrating processing of an image processing unit according to the first embodiment and processing of a comparative example. 第１実施形態に係る第１方向と第２方向との関係を示す図である。FIG. 3 is a diagram illustrating a relationship between a first direction and a second direction according to the first embodiment. 第１実施形態に係る観察方法の第１例を示すフローチャートである。5 is a flowchart illustrating a first example of an observation method according to the first embodiment. （Ａ）から（Ｃ）は、第１実施形態に係る照明光の照射タイミングおよび撮像タイミングを示すタイミングチャートである。FIGS. 3A to 3C are timing charts showing illumination light irradiation timing and imaging timing according to the first embodiment. 第１実施形態に係る観察方法の第２例を示すフローチャートである。5 is a flowchart illustrating a second example of the observation method according to the first embodiment.

［第１実施形態］
第１実施形態について説明する。図１は、第１実施形態に係る顕微鏡を示す図である。顕微鏡１は、蛍光物質で標識（ラベル）された試料Ｓの蛍光観察に利用される。顕微鏡１は、試料Ｓに含まれる蛍光物質が発する蛍光を検出する。試料Ｓは、生きた細胞（ライブセル）を含んでもよいし、ホルムアルデヒド溶液等の組織固定液を用いて固定された細胞を含んでもよく、組織等を含んでもよい。試料Ｓは、観察対象物を保持する保持部材（例、カバーガラス、シャーレ）を含んでもよい。 [First Embodiment]
A first embodiment will be described. FIG. 1 is a diagram illustrating a microscope according to the first embodiment. The microscope 1 is used for fluorescence observation of a sample S labeled (labeled) with a fluorescent substance. The microscope 1 detects fluorescence emitted from a fluorescent substance contained in the sample S. The sample S may include living cells (live cells), may include cells fixed using a tissue fixing solution such as a formaldehyde solution, or may include tissues. The sample S may include a holding member (eg, a cover glass, a petri dish) for holding the observation target.

蛍光物質は、フォトスイッチャブル プローブ（Ｐｈｏｔｏｓｗｉｔｃｈａｂｌｅ Ｐｒｏｂｅ；ＰＰ）を含む。蛍光物質は、活性化光が照射されることで不活性状態から活性状態に遷移する。蛍光物質は、活性状態において励起光が照射されることによって、基底状態から励起状態に遷移する。蛍光物質は、励起状態において蛍光を発して、基底状態に遷移する。また、蛍光物質は、不活性化光が照射されることによって活性化状態から不活性状態に遷移する。不活性状態において、蛍光物質は、励起光が照射されても励起状態に遷移せず、蛍光を発しない。不活性化光は、励起光と同じ波長である場合もあるし、励起光と異なる波長である場合もある。上記の蛍光物質は、シアニン（ｃｙａｎｉｎｅ）染料等の蛍光色素でもよいし、蛍光タンパク質でもよい。試料Ｓに含まれる蛍光物質の種類は、１種類でもよいし、２種類以上でもよい。   The fluorescent substance includes a photoswitchable probe (PP). The fluorescent substance changes from an inactive state to an active state by being irradiated with the activating light. The fluorescent substance changes from a ground state to an excited state by being irradiated with excitation light in the active state. The fluorescent substance emits fluorescence in an excited state and transitions to a ground state. Further, the fluorescent substance changes from an activated state to an inactivated state by being irradiated with the inactivating light. In the inactive state, the fluorescent substance does not transition to the excited state even when irradiated with the excitation light, and does not emit fluorescence. The deactivating light may have the same wavelength as the excitation light or may have a different wavelength from the excitation light. The fluorescent substance may be a fluorescent dye such as a cyanine dye or a fluorescent protein. The kind of the fluorescent substance contained in the sample S may be one kind or two or more kinds.

顕微鏡１は、ステージ２と、照射部３と、撮像部４と、制御装置５と、表示装置６（表示部）と、記憶装置７（記憶部）とを備える。ステージ２は、試料Ｓを保持する保持面を有する。ステージ２は、例えば、ＸＹステージまたはＸＹＺステージを含む。ステージ２は、試料Ｓを保持した状態で、対物レンズ２８（後述する）に対して可動である。ステージ２は、対物レンズ２８に対して移動しなくてもよい（固定されていてもよい）。   The microscope 1 includes a stage 2, an irradiation unit 3, an imaging unit 4, a control device 5, a display device 6 (display unit), and a storage device 7 (storage unit). The stage 2 has a holding surface for holding the sample S. Stage 2 includes, for example, an XY stage or an XYZ stage. The stage 2 is movable with respect to the objective lens 28 (described later) while holding the sample S. The stage 2 does not need to move with respect to the objective lens 28 (it may be fixed).

照射部３（照明部、照明装置）は、試料Ｓに含まれる蛍光物質を活性化する活性化光Ｌ１を試料Ｓに照射する。活性化光Ｌ１は、試料Ｓが配置される試料面Ｓａ上の第１方向Ｄ１（後に図２に示す）において強度が周期的に変化する。また、照射部３は、活性化光Ｌ１によって活性化した蛍光物質を励起する励起光Ｌ２を試料Ｓに照射する。ここでは、励起光Ｌ２の波長は、活性化光Ｌ１と異なるものとする。励起光Ｌ２の波長は、活性化光Ｌ１の波長と同じでもよい。
励起光Ｌ２は、試料面Ｓａ上で第１方向Ｄ１に交差（例、直交）する第２方向Ｄ２（後に図２に示す）において強度が周期的に変化する。 The irradiating unit 3 (illuminating unit, illuminating device) irradiates the sample S with activation light L1 for activating a fluorescent substance contained in the sample S. The intensity of the activation light L1 periodically changes in a first direction D1 (shown later in FIG. 2) on the sample surface Sa on which the sample S is arranged. The irradiation unit 3 irradiates the sample S with excitation light L2 that excites the fluorescent substance activated by the activation light L1. Here, it is assumed that the wavelength of the excitation light L2 is different from that of the activation light L1. The wavelength of the excitation light L2 may be the same as the wavelength of the activation light L1.
The intensity of the excitation light L2 periodically changes in a second direction D2 (shown later in FIG. 2) that intersects (eg, is orthogonal to) the first direction D1 on the sample surface Sa.

また、照射部３は、試料Ｓにおいて活性化光Ｌ１が照射された領域に対して、不活性化光Ｌ３を照射する。ここでは、不活性化光Ｌ３の波長が、活性化光Ｌ１の波長および励起光Ｌ２の波長のいずれとも異なるものとする。不活性化光Ｌ３の波長は、励起光Ｌ２の波長と同じでもよい。   The irradiation unit 3 irradiates the region of the sample S irradiated with the activation light L1 with the inactivation light L3. Here, it is assumed that the wavelength of the inactivating light L3 is different from both the wavelength of the activating light L1 and the wavelength of the pumping light L2. The wavelength of the inactivating light L3 may be the same as the wavelength of the excitation light L2.

照射部３は、強度が空間的に均一な不活性化光Ｌ３を試料Ｓに照射する。試料面Ｓａにおける不活性化光Ｌ３の強度分布は均一でなくてもよい。例えば、試料面Ｓａにおける不活性化光Ｌ３の強度分布は、試料Ｓのうち活性化光Ｌ１によって活性化した蛍光物質を選択的に不活性化するように所定の分布（例、活性化光Ｌ１と同じ縞パターン）に設定されてもよい。   The irradiation unit 3 irradiates the sample S with inactivating light L3 having a spatially uniform intensity. The intensity distribution of the inactivating light L3 on the sample surface Sa may not be uniform. For example, the intensity distribution of the deactivating light L3 on the sample surface Sa is determined so as to selectively inactivate the fluorescent material of the sample S that has been activated by the activating light L1 (eg, the activation light L1). May be set to the same stripe pattern.

図２は、第１実施形態に係る縞パターンおよび強度分布を示す図である。図２において、符号ＰＬ１は、試料面Ｓａ（図１参照）における活性化光Ｌ１に相当する縞パターンである。符号ＰＬ２は、試料面Ｓａにおける励起光Ｌ２に相当する縞パターンである。蛍光物質は、活性化光Ｌ１および励起光Ｌ２の双方が照射された場合に、蛍光を発することができる。以下の説明において、適宜、活性化光Ｌ１および励起光Ｌ２の双方を掛けあわせた照明を有効照明という。符号ＰＬは、試料面Ｓａにおける有効照明に相当する縞パターンである。図２の各縞パターンにおいて、相対的に明るい（白い）部分は相対的に強度が高い部分（例、明部）であり、相対的に暗い（黒い）部分は相対的に強度が低い部分（例、暗部）である。   FIG. 2 is a diagram illustrating a stripe pattern and an intensity distribution according to the first embodiment. In FIG. 2, a symbol PL1 is a stripe pattern corresponding to the activation light L1 on the sample surface Sa (see FIG. 1). A symbol PL2 is a stripe pattern corresponding to the excitation light L2 on the sample surface Sa. The fluorescent substance can emit fluorescence when both the activation light L1 and the excitation light L2 are irradiated. In the following description, the illumination obtained by appropriately multiplying both the activation light L1 and the excitation light L2 is referred to as effective illumination. A symbol PL is a stripe pattern corresponding to effective illumination on the sample surface Sa. In each stripe pattern of FIG. 2, a relatively bright (white) portion is a relatively high intensity portion (eg, a bright portion), and a relatively dark (black) portion is a relatively low intensity portion (eg, a light intensity portion). For example, a dark part).

図２の符号Ｄ３は、活性化光Ｌ１の縞パターンＰＬ１において強度がほぼ同じ位置を結ぶ線に平行、かつ試料面Ｓａに平行な方向（以下、ライン方向と称する）である。縞パターンＰＬ１のライン方向Ｄ３は、任意の方向に設定される。第１方向Ｄ１は、縞パターンＰＬ１のライン方向Ｄ３に垂直、かつ試料面Ｓａに平行な方向である。また、符号ＤＬ１は、試料面Ｓａ上の第１方向Ｄ１における活性化光Ｌ１の強度分布である。強度分布ＤＬ１は、第１方向Ｄ１の位置（横軸）に対する強度（縦軸）のグラフで表されている。活性化光Ｌ１の縞パターンＰＬ１は、第１方向Ｄ１において強度が周期的に変化する。活性化光Ｌ１の縞パターンＰＬ１の強度は、図２において正弦波状に変化するが、その他の関数形の波状（例、三角波状、矩形波状）に変化してもよい。   Reference symbol D3 in FIG. 2 is a direction (hereinafter, referred to as a line direction) that is parallel to a line that connects positions having substantially the same intensity in the stripe pattern PL1 of the activating light L1 and is parallel to the sample surface Sa. The line direction D3 of the stripe pattern PL1 is set to an arbitrary direction. The first direction D1 is a direction perpendicular to the line direction D3 of the stripe pattern PL1 and parallel to the sample surface Sa. Reference numeral DL1 denotes an intensity distribution of the activating light L1 in the first direction D1 on the sample surface Sa. The intensity distribution DL1 is represented by a graph of the intensity (vertical axis) with respect to the position (horizontal axis) in the first direction D1. The intensity of the stripe pattern PL1 of the activation light L1 periodically changes in the first direction D1. The intensity of the stripe pattern PL1 of the activating light L1 changes in a sine wave shape in FIG. 2, but may change in another function wave shape (eg, a triangular wave shape or a rectangular wave shape).

図２の符号Ｄ４は、励起光Ｌ２の縞パターンＰＬ２において強度がほぼ同じ位置を結ぶ線に平行、かつ試料面Ｓａに平行な方向（以下、ライン方向と称する）である。励起光Ｌ２の縞パターンＰＬ２のライン方向Ｄ４は、活性化光Ｌ１の縞パターンＰＬ１のライン方向Ｄ３と交差する方向（非平行な方向、異なる方向）に設定される。ライン方向Ｄ４は、ライン方向Ｄ３と交差するという条件下で、任意に設定される。第２方向Ｄ２は、縞パターンＰＬ２のライン方向Ｄ４に垂直、かつ試料面Ｓａに平行な方向である。第２方向Ｄ２は、例えば、第１方向Ｄ１に垂直な方向に設定される。第１方向Ｄ１と第２方向Ｄ２とがなす角度は、例えば９０°に設定される。第１方向Ｄ１と第２方向Ｄ２とがなす角度は、９０°以外の角度に設定されてもよい（後に図１０で説明する）。   Reference sign D4 in FIG. 2 is a direction (hereinafter, referred to as a line direction) that is parallel to a line connecting positions having substantially the same intensity in the stripe pattern PL2 of the excitation light L2 and parallel to the sample surface Sa. The line direction D4 of the stripe pattern PL2 of the excitation light L2 is set in a direction (non-parallel direction, different direction) crossing the line direction D3 of the stripe pattern PL1 of the activation light L1. The line direction D4 is arbitrarily set under the condition that the line direction D4 intersects the line direction D3. The second direction D2 is a direction perpendicular to the line direction D4 of the stripe pattern PL2 and parallel to the sample surface Sa. The second direction D2 is set, for example, in a direction perpendicular to the first direction D1. The angle between the first direction D1 and the second direction D2 is set to, for example, 90 °. The angle between the first direction D1 and the second direction D2 may be set to an angle other than 90 ° (described later with reference to FIG. 10).

図２の符号ＤＬ２は、試料面Ｓａ上の第２方向Ｄ２における励起光Ｌ２の強度分布である。強度分布ＤＬ２は、第２方向Ｄ２の位置（横軸）に対する強度（縦軸）のグラフで表されている。励起光Ｌ２の縞パターンＰＬ２は、第２方向Ｄ２において強度が周期的に変化する。励起光Ｌ２の縞パターンＰＬ２の強度は、図２において正弦波状に変化するが、その他の関数形の波状（例、三角波状、矩形波状）に変化してもよい。   A symbol DL2 in FIG. 2 is an intensity distribution of the excitation light L2 in the second direction D2 on the sample surface Sa. The intensity distribution DL2 is represented by a graph of the intensity (vertical axis) with respect to the position (horizontal axis) in the second direction D2. The intensity of the stripe pattern PL2 of the excitation light L2 periodically changes in the second direction D2. The intensity of the stripe pattern PL2 of the excitation light L2 changes in a sine wave shape in FIG. 2, but may change in another function wave shape (eg, a triangular wave shape or a rectangular wave shape).

有効照明の縞パターンＰＬは、活性化光Ｌ１の縞パターンＰＬ１と励起光Ｌ２の縞パターンＰＬ２とを掛け合わせた縞パターンに相当する。縞パターンＰＬにおいて、明るい部分に蛍光物質が存在する場合、暗い部分に蛍光物質が存在する場合と比較して、発生する蛍光の強度が強い。縞パターンＰＬの強度は、第１方向Ｄ１において周期的に変化し、かつ第２方向Ｄ２において周期的に変化する。縞パターンＰＬにおいて強度が極小となる点は、第１方向Ｄ１において一定の間隔で配置され、かつ第２方向Ｄ２において一定の間隔で配置される。縞パターンＰＬ３において強度が極小となる点は、直交格子における格子点のように二次元的に配置される。   The effective illumination stripe pattern PL corresponds to a stripe pattern obtained by multiplying the stripe pattern PL1 of the activation light L1 and the stripe pattern PL2 of the excitation light L2. In the stripe pattern PL, the intensity of the generated fluorescence is higher when the fluorescent substance is present in the bright part than in the case where the fluorescent substance is present in the dark part. The intensity of the stripe pattern PL changes periodically in the first direction D1, and changes periodically in the second direction D2. The points where the intensity is minimum in the stripe pattern PL are arranged at regular intervals in the first direction D1 and at regular intervals in the second direction D2. The points where the intensity is minimal in the stripe pattern PL3 are two-dimensionally arranged like lattice points in an orthogonal lattice.

図１の説明に戻り、照射部３は、第１光源ＬＳ１と、第２光源ＬＳ２と、第３光源ＬＳ３と、照明光学系１１とを備える。第１光源ＬＳ１は、活性化光Ｌ１を発する。第１光源ＬＳ１は、例えばレーザダイオード（ＬＤ）あるいは発光ダイオード（ＬＥＤ）などの固体光源を含む。第２光源ＬＳ２は、励起光Ｌ２を発する。第２光源ＬＳ２は、例えばレーザダイオード（ＬＤ）あるいは発光ダイオード（ＬＥＤ）などの固体光源を含む。第３光源ＬＳ３は、不活性化光Ｌ３を発する。第３光源ＬＳ３は、例えばレーザダイオード（ＬＤ）あるいは発光ダイオード（ＬＥＤ）などの固体光源を含む。   Returning to the description of FIG. 1, the irradiation unit 3 includes a first light source LS1, a second light source LS2, a third light source LS3, and an illumination optical system 11. The first light source LS1 emits activating light L1. The first light source LS1 includes a solid light source such as a laser diode (LD) or a light emitting diode (LED). The second light source LS2 emits excitation light L2. The second light source LS2 includes a solid light source such as a laser diode (LD) or a light emitting diode (LED). The third light source LS3 emits inactivating light L3. The third light source LS3 includes a solid light source such as a laser diode (LD) or a light emitting diode (LED).

活性化光Ｌ１の波長、励起光Ｌ２の波長、及び不活性化光Ｌ３の波長は、それぞれ、蛍光物質の種類によって予め定まっている。本実施形態において、不活性化光Ｌ３の波長は、活性化光Ｌ１の波長と励起光Ｌ２の波長とのいずれとも異なる。不活性化光Ｌ３の波長は、励起光Ｌ２の波長と同じでもよい。   The wavelength of the activating light L1, the wavelength of the excitation light L2, and the wavelength of the inactivating light L3 are each predetermined in advance depending on the type of the fluorescent substance. In the present embodiment, the wavelength of the inactivating light L3 is different from both the wavelength of the activating light L1 and the wavelength of the pumping light L2. The wavelength of the inactivating light L3 may be the same as the wavelength of the excitation light L2.

照明光学系１１は、第１光源ＬＳ１から発せられた活性化光Ｌ１を試料Ｓに照射する。また、照明光学系１１は、第２光源ＬＳ２から発せられた励起光Ｌ２を試料Ｓに照射する。また、照明光学系１１は、第３光源ＬＳ３から発せられた不活性化光Ｌ３を試料Ｓに照射する。照明光学系１１は、例えば、球面レンズ、非球面レンズなどの回転対称な形状の光学部材（例、レンズ部材）を含む。以下の説明において、適宜、照明光学系１１に含まれる光学部材の回転対称軸を、照明光学系１１の光軸１１ａという。なお、照明光学系１１は、自由曲面レンズを含んでいてもよい。   The illumination optical system 11 irradiates the sample S with activation light L1 emitted from the first light source LS1. Further, the illumination optical system 11 irradiates the sample S with the excitation light L2 emitted from the second light source LS2. The illumination optical system 11 irradiates the sample S with the inactivating light L3 emitted from the third light source LS3. The illumination optical system 11 includes a rotationally symmetric optical member (eg, a lens member) such as a spherical lens or an aspherical lens. In the following description, the rotationally symmetric axis of the optical member included in the illumination optical system 11 is referred to as the optical axis 11a of the illumination optical system 11 as appropriate. The illumination optical system 11 may include a free-form surface lens.

以下の説明において、適宜、図３（Ａ）および図３（Ｂ）を参照する。図３（Ａ）および図３（Ｂ）は、それぞれ、実施形態に係る顕微鏡における活性化光の光路、励起光の光路を示す図である。図１において、励起光Ｌ２の光路はダイクロイックミラー１６で折れ曲がるが、図３（Ｂ）では、照明光学系１１の光軸１１ａが直線になるように光路を展開して図示した。図３（Ａ）および図３（Ｂ）に示すＸＹＺ直交座標系において、Ｚ方向は、照明光学系１１の光軸１１ａに平行な方向である。また、Ｘ方向は、Ｚ方向に垂直な方向であり、図２の第１方向Ｄ１に対応する方向である。また、Ｙ方向は、Ｚ方向に垂直な方向であり、図２の第２方向Ｄ２に対応する方向である。図３（Ａ）はＹ方向から平面視した活性化光Ｌ１の光路図であり、図３（Ｂ）はＸ方向から平面視した励起光Ｌ２の光路図である。図３（Ａ）および図３（Ｂ）では、＋１次回折光および−１次回折光を点線で表し、０次回折光を実線で表した。   In the following description, FIGS. 3A and 3B are appropriately referred to. FIGS. 3A and 3B are diagrams illustrating the optical path of the activation light and the optical path of the excitation light in the microscope according to the embodiment, respectively. In FIG. 1, the optical path of the excitation light L2 is bent by the dichroic mirror 16, but in FIG. 3B, the optical path is developed so that the optical axis 11a of the illumination optical system 11 is straight. In the XYZ orthogonal coordinate system shown in FIGS. 3A and 3B, the Z direction is a direction parallel to the optical axis 11a of the illumination optical system 11. The X direction is a direction perpendicular to the Z direction, and is a direction corresponding to the first direction D1 in FIG. The Y direction is a direction perpendicular to the Z direction, and is a direction corresponding to the second direction D2 in FIG. FIG. 3A is an optical path diagram of the activation light L1 as viewed in plan from the Y direction, and FIG. 3B is an optical path diagram of the excitation light L2 as viewed in plan from the X direction. 3A and 3B, the + 1st-order diffracted light and the -1st-order diffracted light are represented by dotted lines, and the 0th-order diffracted light is represented by a solid line.

照明光学系１１は、第１光源ＬＳ１の光出射側に、レンズ１２および分岐部１３を備える。レンズ１２は、例えばコリメータであり、第１光源ＬＳ１から出射した活性化光Ｌ１をほぼ平行光に変換する。分岐部１３は、縞パターンＰＬ１（図２参照）の生成に利用される。分岐部１３は、活性化光Ｌ１を複数の光束に分岐させる。例えば、分岐部１３は、活性化光Ｌ１を回折によって複数の光束（例、回折光）に分岐させる。ここでは、分岐部１３が回折格子（適宜、符号１３で表す）であるものとして説明する。なお、分岐部１３は、回折格子の代わりに空間光変調器（ＳＬＭ）を用いるものでもよい。   The illumination optical system 11 includes a lens 12 and a branch 13 on the light emission side of the first light source LS1. The lens 12 is, for example, a collimator, and converts the activating light L1 emitted from the first light source LS1 into substantially parallel light. The branching unit 13 is used for generating the stripe pattern PL1 (see FIG. 2). The branching unit 13 branches the activation light L1 into a plurality of light beams. For example, the branching unit 13 branches the activating light L1 into a plurality of light beams (eg, diffracted light) by diffraction. Here, the description will be made on the assumption that the branch portion 13 is a diffraction grating (appropriately denoted by reference numeral 13). Note that the branching unit 13 may use a spatial light modulator (SLM) instead of the diffraction grating.

照明光学系１１は、活性化光Ｌ１を回折格子１３によって複数の回折光に分岐させ、複数の回折光の干渉により形成される縞パターンＰＬ１（干渉縞）で試料Ｓを照明する。照明光学系１１は、例えば、複数の回折光のうち２つの光束の干渉（２光束干渉）によって縞パターンＰＬ１を形成する。照明光学系１１は、干渉する２つの光束の相対的な位相を変えることで、活性化光Ｌ１の強度分布（例、縞パターンＰＬ１の位相）を変更可能である。照明光学系１１は、干渉する２つの光束の光路長を相対的に変えることで、これら２つの光束の相対的な位相を変えることができる。例えば、照明光学系１１は、干渉する２つの光束の光路のうち一方の光路に位相板を配置して該２つの光束の光路長を相対的に変えることによって、これら２つの光束の相対的な位相を変える。   The illumination optical system 11 splits the activating light L1 into a plurality of diffracted lights by the diffraction grating 13, and illuminates the sample S with a fringe pattern PL1 (interference fringe) formed by interference of the plurality of diffracted lights. The illumination optical system 11 forms the fringe pattern PL1 by, for example, interference of two light beams of the plurality of diffracted lights (two-beam interference). The illumination optical system 11 can change the intensity distribution of the activating light L1 (eg, the phase of the stripe pattern PL1) by changing the relative phases of the two interfering light beams. The illumination optical system 11 can change the relative phases of these two light beams by relatively changing the optical path lengths of the two light beams that interfere with each other. For example, the illumination optical system 11 arranges a phase plate in one of the optical paths of the two interfering light fluxes and relatively changes the optical path lengths of the two light fluxes, so that the relative positions of the two light fluxes are changed. Change the phase.

なお、照明光学系１１は、回折格子１３を、照明光学系１１の光軸と交差（例、直交）する方向に移動させることで、活性化光Ｌ１の強度分布（例、縞パターンＰＬ１の位相）を変更する構成でもよい。また、分岐部１３として空間光変調器を用いる場合、照明光学系１１は、空間光変調器における屈折率の分布を変更することで、活性化光L１の強度分布（例、縞パターンＰＬ１の位相）を変更する構成でもよい。   Note that the illumination optical system 11 moves the diffraction grating 13 in a direction intersecting (eg, orthogonally) with the optical axis of the illumination optical system 11 to thereby obtain an intensity distribution of the activation light L1 (eg, the phase of the stripe pattern PL1). ) May be changed. When a spatial light modulator is used as the branching unit 13, the illumination optical system 11 changes the distribution of the refractive index in the spatial light modulator to change the intensity distribution of the activation light L1 (eg, the phase distribution of the stripe pattern PL1). ) May be changed.

回折格子１３（図３（Ａ）参照）は、第１方向Ｄ１に対応するＸ方向において構造が周期的に変化する。回折格子１３は、照明光学系１１の光軸１１ａに交差する方向を含む面内（例、交差面）に、例えば１次元の周期構造を有する。この周期構造は、濃度（又は透過率）が周期的に変化する構造であってもよいし、段差（又は位相差）が周期的に変化する構造であってもよい。回折格子１３が位相型である場合、±１次回折光の回折効率が高く、縞パターンの形成に±１次回折光を用いる場合に光量のロスを低減することができる。回折格子１３は、試料面Ｓａと光学的に共役な位置ＦＶ１（例、視野共役位置）に配置される。回折格子１３は、縞パターンのコントラスト値が許容される範囲内で、位置ＦＶ１からずれた位置（視野共役位置の近傍）に配置されてもよい。   The structure of the diffraction grating 13 (see FIG. 3A) changes periodically in the X direction corresponding to the first direction D1. The diffraction grating 13 has, for example, a one-dimensional periodic structure in a plane including a direction intersecting the optical axis 11a of the illumination optical system 11 (for example, an intersecting plane). This periodic structure may be a structure in which the density (or transmittance) changes periodically, or a structure in which the step (or phase difference) changes periodically. When the diffraction grating 13 is of a phase type, the diffraction efficiency of ± 1st-order diffracted light is high, and the loss of light amount can be reduced when ± 1st-order diffracted light is used for forming a fringe pattern. The diffraction grating 13 is arranged at a position FV1 (for example, a visual field conjugate position) optically conjugate with the sample surface Sa. The diffraction grating 13 may be arranged at a position shifted from the position FV1 (near the visual field conjugate position) within a range where the contrast value of the stripe pattern is allowed.

また、照明光学系１１は、第２光源ＬＳ２の光出射側に、レンズ１４および分岐部１５を備える。レンズ１４は、例えばコリメータであり、第２光源ＬＳ２から出射した励起光Ｌ２をほぼ平行光に変換する。分岐部１５は、縞パターンＰＬ２（図２参照）の生成に利用される。分岐部１５は、励起光Ｌ２を複数の光束に分岐させる。例えば、分岐部１５は、励起光Ｌ２を回折によって複数の光束（例、回折光）に分岐させる。ここでは、分岐部１５が回折格子（適宜、符号１５で表す）であるものとして説明する。なお、分岐部１５は、回折格子の代わりに空間光変調器（ＳＬＭ）を用いるものでもよい。   In addition, the illumination optical system 11 includes a lens 14 and a branch portion 15 on the light emission side of the second light source LS2. The lens 14 is, for example, a collimator, and converts the excitation light L2 emitted from the second light source LS2 into substantially parallel light. The branching unit 15 is used for generating the stripe pattern PL2 (see FIG. 2). The branching unit 15 branches the excitation light L2 into a plurality of light beams. For example, the branching unit 15 branches the excitation light L2 into a plurality of light beams (eg, diffracted light) by diffraction. Here, the description will be made assuming that the branch portion 15 is a diffraction grating (appropriately denoted by reference numeral 15). Note that the branch unit 15 may use a spatial light modulator (SLM) instead of the diffraction grating.

照明光学系１１は、励起光Ｌ２を回折格子１５によって複数の回折光に分岐させ、複数の回折光の干渉により形成される縞パターンＰＬ２（干渉縞）で試料Ｓを照明する。照明光学系１１は、例えば、複数の回折光のうち２つの光束の干渉（２光束干渉）によって縞パターンＰＬ２を形成する。照明光学系１１は、干渉する２つの光束の相対的な位相を変えることで、励起光Ｌ２の強度分布（例、縞パターンＰＬ２の位相）を変更可能である。上記同様に、照明光学系１１は、干渉する２つの光束の光路長を相対的に変えることで、これら２つの光束の相対的な位相を変えることができる。   The illumination optical system 11 splits the excitation light L2 into a plurality of diffracted lights by the diffraction grating 15, and illuminates the sample S with a fringe pattern PL2 (interference fringe) formed by interference of the plurality of diffracted lights. The illumination optical system 11 forms the fringe pattern PL2 by, for example, interference of two light beams of the plurality of diffracted lights (two-beam interference). The illumination optical system 11 can change the intensity distribution of the excitation light L2 (eg, the phase of the stripe pattern PL2) by changing the relative phases of the two interfering light beams. As described above, the illumination optical system 11 can change the relative phase of the two light beams by changing the optical path length of the two light beams that interfere with each other.

なお、照明光学系１１は、回折格子１５を、照明光学系１１の光軸と交差（例、直交）する方向に移動させることで、励起光Ｌ２の強度分布（例、縞パターンＰＬ２の位相）を変更する構成でもよい。また、分岐部１５として空間光変調器を用いる場合、照明光学系１１は、空間光変調器における屈折率の分布を変更することで、励起光Ｌ２の強度分布（例、縞パターンＰＬ２の位相）を変更する構成でもよい。   Note that the illumination optical system 11 moves the diffraction grating 15 in a direction intersecting (eg, orthogonal) with the optical axis of the illumination optical system 11 to thereby obtain an intensity distribution of the excitation light L2 (eg, the phase of the stripe pattern PL2). May be changed. When a spatial light modulator is used as the branching unit 15, the illumination optical system 11 changes the distribution of the refractive index in the spatial light modulator so that the intensity distribution of the excitation light L2 (eg, the phase of the stripe pattern PL2). May be changed.

回折格子１５（図３（Ｂ）参照）は、第２方向Ｄ２に対応するＹ方向において構造が周期的に変化する。回折格子１５は、照明光学系１１の光軸１１ａに交差する面内に、例えば１次元の周期構造を有する。この周期構造は、濃度（又は透過率）が周期的に変化する構造であってもよいし、段差（又は位相差）が周期的に変化する構造であってもよい。回折格子１５が位相型である場合、±１次回折光の回折効率が高く、縞パターンの形成に±１次回折光を用いる場合に光量のロスを低減することができる。回折格子１５は、試料面Ｓａと光学的に共役な位置ＦＶ２（例、視野共役位置）に配置される。回折格子１５は、縞パターンのコントラスト値が許容される範囲内で、位置ＦＶ２からずれた位置（例、視野共役位置の近傍）に配置されてもよい。   The structure of the diffraction grating 15 (see FIG. 3B) changes periodically in the Y direction corresponding to the second direction D2. The diffraction grating 15 has, for example, a one-dimensional periodic structure in a plane intersecting the optical axis 11a of the illumination optical system 11. This periodic structure may be a structure in which the density (or transmittance) changes periodically, or a structure in which the step (or phase difference) changes periodically. When the diffraction grating 15 is a phase type, the diffraction efficiency of the ± 1st-order diffracted light is high, and the loss of the light amount can be reduced when the ± 1st-order diffracted light is used for forming the fringe pattern. The diffraction grating 15 is arranged at a position FV2 optically conjugate to the sample surface Sa (for example, a visual field conjugate position). The diffraction grating 15 may be arranged at a position shifted from the position FV2 (for example, near the visual field conjugate position) within a range where the contrast value of the stripe pattern is allowed.

照明光学系１１は、活性化光Ｌ１と励起光Ｌ２とを試料Ｓへ導くダイクロイックミラー１６を備える。ダイクロイックミラー１６は、回折格子１３から出射した活性化光Ｌ１が入射し、かつ回折格子１５から出射した励起光Ｌ２が入射する位置に配置される。ダイクロイックミラー１６は、活性化光Ｌ１が透過し、励起光Ｌ２が反射する特性を有する。活性化光Ｌ１は、ダイクロイックミラー１６を透過して試料Ｓへ向かう。励起光Ｌ２は、ダイクロイックミラー１６で反射して試料Ｓへ向かう。   The illumination optical system 11 includes a dichroic mirror 16 that guides the activation light L1 and the excitation light L2 to the sample S. The dichroic mirror 16 is arranged at a position where the activating light L1 emitted from the diffraction grating 13 is incident and the excitation light L2 emitted from the diffraction grating 15 is incident. The dichroic mirror 16 has a property that the activating light L1 is transmitted and the excitation light L2 is reflected. The activating light L1 passes through the dichroic mirror 16 and travels to the sample S. The excitation light L2 is reflected by the dichroic mirror 16 and travels to the sample S.

照明光学系１１は、ダイクロイックミラー１６から試料Ｓに向かう順に、レンズ２１、マスク２２、レンズ２３、照野絞り２４、レンズ２５、フィルタ２６、ダイクロイックミラー２７、及び対物レンズ２８を含む。   The illumination optical system 11 includes a lens 21, a mask 22, a lens 23, an illumination field stop 24, a lens 25, a filter 26, a dichroic mirror 27, and an objective lens 28 in order from the dichroic mirror 16 toward the sample S.

ダイクロイックミラー１６から出射した活性化光Ｌ１および励起光Ｌ２は、レンズ２１に入射する。レンズ２１は、第１光源ＬＳ１と同じ側の焦点面が回折格子１３と同じ位置またはその近傍の位置になるように、配置される。レンズ２１は、例えば、第２光源ＬＳ２と同じ側の焦点面が回折格子１５と同じ位置またはその近傍の位置になるように、配置される。レンズ２１は、例えば、試料Ｓと同じ側の焦点面が瞳共役面Ｐ１と一致するように配置される。瞳共役面Ｐ１は、対物レンズ２８の瞳面Ｐ０と光学的に共役な面である。   The activation light L1 and the excitation light L2 emitted from the dichroic mirror 16 enter the lens 21. The lens 21 is arranged such that the focal plane on the same side as the first light source LS1 is at the same position as the diffraction grating 13 or a position near the same. The lens 21 is arranged, for example, such that the focal plane on the same side as the second light source LS2 is at the same position as the diffraction grating 15 or a position near the same. The lens 21 is arranged, for example, such that the focal plane on the same side as the sample S coincides with the pupil conjugate plane P1. The pupil conjugate plane P1 is a plane optically conjugate with the pupil plane P0 of the objective lens 28.

マスク２２は、縞パターンＰＬ１の形成に使われる回折光を通し、縞パターンＰＬ１の形成に使われない回折光を遮る。本実施形態において、縞パターンＰＬ１の形成に使われる回折光は、回折格子１３で回折した活性化光Ｌ１の１次回折光（＋１次回折光、−１次回折光）である。また、本実施形態において、縞パターンＰＬ１の形成に使われない回折光は、回折格子１３で回折した活性化光Ｌ１の０次回折光および２次以上の回折光である。   The mask 22 transmits the diffracted light used to form the stripe pattern PL1, and blocks the diffracted light not used to form the stripe pattern PL1. In the present embodiment, the diffracted light used to form the stripe pattern PL1 is the first-order diffracted light (+ 1st-order diffracted light, -1st-order diffracted light) of the activation light L1 diffracted by the diffraction grating 13. In the present embodiment, the diffracted light that is not used for forming the stripe pattern PL1 is the 0th-order diffracted light and the second-order or higher-order diffracted light of the activation light L1 diffracted by the diffraction grating 13.

また、マスク２２は、縞パターンＰＬ２の形成に使われる回折光を通し、縞パターンＰＬ２の形成に使われない回折光を遮る。本実施形態において、縞パターンＰＬ２の形成に使われる回折光は、回折格子１５で回折した励起光Ｌ２の１次回折光（＋１次回折光、−１次回折光）である。また、本実施形態において、縞パターンＰＬ２の形成に使われない回折光は、回折格子１５で回折した励起光Ｌ２の０次回折光および２次以上の回折光である。   Further, the mask 22 transmits the diffracted light used for forming the stripe pattern PL2 and blocks the diffracted light not used for forming the stripe pattern PL2. In the present embodiment, the diffracted light used to form the stripe pattern PL2 is the first-order diffracted light (+ 1st-order diffracted light, -1st-order diffracted light) of the excitation light L2 diffracted by the diffraction grating 15. In the present embodiment, the diffracted light that is not used for forming the stripe pattern PL2 is the 0th-order diffracted light and the second-order or higher-order diffracted light of the excitation light L2 diffracted by the diffraction grating 15.

マスク２２は、活性化光Ｌ１および励起光Ｌ２のそれぞれについて、１次回折光を通し、０次回折光および２次以上の回折光を遮断する。マスク２２は、１次回折光の光路が他の回折光と空間的に分離する位置、例えば瞳共役面Ｐ１またはその近傍に配置される。マスク２２において、０次回折光が入射する部分は遮光部であり、１次回折光が入射する部分は開口部（透過部）である。   The mask 22 transmits the first-order diffracted light for each of the activating light L1 and the excitation light L2, and blocks the 0th-order diffracted light and the second- or higher-order diffracted light. The mask 22 is arranged at a position where the optical path of the first-order diffracted light is spatially separated from other diffracted light, for example, at or near the pupil conjugate plane P1. In the mask 22, a portion where the zero-order diffracted light is incident is a light shielding portion, and a portion where the first-order diffracted light is incident is an opening (transmitting portion).

マスク２２（図３（Ａ）、図３（Ｂ）参照）は、開口２２ａから開口２２ｄを有する。開口２２ａと開口２２ｂ（図３（Ａ）参照）とは、活性化光Ｌ１の１次回折光が入射する位置に配置される。開口２２ａと開口２２ｂとは、第１方向Ｄ１（図２参照）に対応するＸ方向に並んでいる。開口２２ａと開口２２ｂとは、活性化光Ｌ１が透過する透過部である。マスク２２において開口２２ａの周囲および開口２２ｂの周囲の部分は、活性化光Ｌ１を遮光する遮光部である。   The mask 22 (see FIGS. 3A and 3B) has an opening 22a to an opening 22d. The opening 22a and the opening 22b (see FIG. 3A) are arranged at positions where the first-order diffracted light of the activating light L1 is incident. The openings 22a and 22b are arranged in the X direction corresponding to the first direction D1 (see FIG. 2). The openings 22a and 22b are transmitting portions through which the activating light L1 passes. In the mask 22, portions around the opening 22a and around the opening 22b are light-shielding portions that shield the activation light L1.

また、開口２２ｃと開口２２ｄ（図３（Ｂ）参照）とは、励起光Ｌ２の１次回折光が入射する位置に配置される。開口２２ｃと開口２２ｄとは、第２方向Ｄ２（図２参照）に対応するＹ方向に並んでいる。開口２２ｃと開口２２ｄとは、励起光Ｌ２が透過する透過部である。マスク２２において開口２２ｃの周囲および開口２２ｄの周囲の部分は、励起光Ｌ２を遮光する遮光部である。   The opening 22c and the opening 22d (see FIG. 3B) are arranged at positions where the first-order diffracted light of the excitation light L2 is incident. The openings 22c and 22d are arranged in the Y direction corresponding to the second direction D2 (see FIG. 2). The openings 22c and 22d are transmitting portions through which the excitation light L2 passes. In the mask 22, portions around the opening 22c and around the opening 22d are light-shielding portions that shield the excitation light L2.

マスク２２を通った活性化光Ｌ１および励起光Ｌ２は、レンズ２３に入射する。レンズ２３は、第１光源ＬＳ１と反対側（試料Ｓと同じ側）の焦点面２３ａが回折格子１３と光学的に共役な位置またはその近傍の位置になるように、配置される。レンズ２３は、第２光源ＬＳ２と反対側（試料Ｓと同じ側）の焦点面２３ａが回折格子１５と光学的に共役な位置またはその近傍の位置になるように、配置される。   The activation light L1 and the excitation light L2 that have passed through the mask 22 enter the lens 23. The lens 23 is disposed such that the focal plane 23a on the side opposite to the first light source LS1 (on the same side as the sample S) is located at a position optically conjugate with the diffraction grating 13 or a position in the vicinity thereof. The lens 23 is arranged such that the focal plane 23a on the side opposite to the second light source LS2 (on the same side as the sample S) is at a position optically conjugate with the diffraction grating 15 or a position near the position.

図３（Ａ）および図３（Ｂ）において、符号ＦＶ３は、図１の試料面Ｓａと光学的に共役な面（例、レンズ２３の焦点面２３ａ）である。また、図３（Ａ）の符号ＰＬ１ａは、面ＦＶ３における活性化光Ｌ１の強度分布（縞パターン）である。強度分布ＰＬ１ａは、図２の第１方向Ｄ１に対応するＸ方向において強度が周期的に変化する分布である。図３（Ｂ）において、符号ＰＬ２ａは、面ＦＶ３における励起光Ｌ２の強度分布（縞パターン）である。強度分布ＰＬ２ａは、図２の第２方向Ｄ２に対応するＹ方向において強度が周期的に変化する分布である。   3A and 3B, reference numeral FV3 denotes a surface optically conjugate to the sample surface Sa in FIG. 1 (eg, the focal plane 23a of the lens 23). The symbol PL1a in FIG. 3A is the intensity distribution (stripe pattern) of the activation light L1 on the surface FV3. The intensity distribution PL1a is a distribution in which the intensity periodically changes in the X direction corresponding to the first direction D1 in FIG. In FIG. 3B, reference numeral PL2a denotes an intensity distribution (stripe pattern) of the excitation light L2 on the surface FV3. The intensity distribution PL2a is a distribution in which the intensity periodically changes in the Y direction corresponding to the second direction D2 in FIG.

図１の説明に戻り、照明光学系１１は、第３光源ＬＳ３の光出射側に、レンズ１７およびダイクロイックミラー１８を備える。レンズ１７は、例えばコリメータであり、第３光源ＬＳ３から出射した不活性化光Ｌ３をほぼ平行光に変換する。レンズ１７を通った不活性化光Ｌ３は、ダイクロイックミラー１８に入射する。本実施形態において、ダイクロイックミラー１８は、活性化光Ｌ１が入射し、かつ励起光Ｌ２が入射する位置に配置される。ダイクロイックミラー１８は、活性化光Ｌ１および励起光Ｌ２が透過し、不活性化光Ｌ３が反射する特性である。   Returning to the description of FIG. 1, the illumination optical system 11 includes a lens 17 and a dichroic mirror 18 on the light emission side of the third light source LS3. The lens 17 is, for example, a collimator, and converts the inactivating light L3 emitted from the third light source LS3 into substantially parallel light. The passivation light L3 passing through the lens 17 is incident on the dichroic mirror 18. In the present embodiment, the dichroic mirror 18 is arranged at a position where the activating light L1 enters and the exciting light L2 enters. The dichroic mirror 18 has such characteristics that the activating light L1 and the exciting light L2 are transmitted and the inactivating light L3 is reflected.

ダイクロイックミラー１８は、例えば、マスク２２と試料Ｓとの間の光路に配置される。ダイクロイックミラー１８は、例えば、第３光源ＬＳ３と照野絞り２４（後述する）との間の光路に配置される。本実施形態において、ダイクロイックミラー１８は、レンズ２３と照野絞り２４との間の光路に配置される。レンズ２３を通った活性化光Ｌ１および励起光Ｌ２は、ダイクロイックミラー１８を透過して照野絞り２４へ向かう。レンズ１７を通った不活性化光Ｌ３は、ダイクロイックミラー１８で反射して照野絞り２４へ向かう。   The dichroic mirror 18 is arranged, for example, in an optical path between the mask 22 and the sample S. The dichroic mirror 18 is arranged, for example, on an optical path between the third light source LS3 and an illumination field stop 24 (described later). In the present embodiment, the dichroic mirror 18 is arranged on an optical path between the lens 23 and the illumination field stop 24. The activating light L1 and the excitation light L2 passing through the lens 23 pass through the dichroic mirror 18 and travel to the illumination field stop 24. The passivation light L3 passing through the lens 17 is reflected by the dichroic mirror 18 and travels to the illumination field stop 24.

照野絞り２４は、レンズ２３の焦点面２３ａまたはその近傍に配置される。照野絞り２４は、照明光学系１１の光軸１１ａに垂直な面内において、照明光学系１１から試料Ｓに照明光（活性化光Ｌ１、励起光Ｌ２、不活性化光Ｌ３）が照射される範囲（照野、照明領域）を規定する。なお、顕微鏡１は、照野絞り２４を備えなくてもよい。照野絞り２４を通った活性化光Ｌ１および励起光Ｌ２は、レンズ２５に入射する。レンズ２５は、例えば、その試料Ｓと同じ側の焦点面が瞳面Ｐ０の位置になるように、配置される。   The illumination field stop 24 is disposed on the focal plane 23 a of the lens 23 or in the vicinity thereof. The illumination field stop 24 irradiates the sample S with illumination light (activating light L1, excitation light L2, and inactivating light L3) from the illumination optical system 11 in a plane perpendicular to the optical axis 11a of the illumination optical system 11. Range (illumination field, illumination area). The microscope 1 does not need to include the illumination field stop 24. The activation light L1 and the excitation light L2 passing through the illumination field stop 24 enter the lens 25. The lens 25 is arranged so that, for example, the focal plane on the same side as the sample S is located at the position of the pupil plane P0.

レンズ２５を通った活性化光Ｌ１、励起光Ｌ２、及び不活性化光Ｌ３は、フィルタ２６に入射する。フィルタ２６は、活性化光Ｌ１と励起光Ｌ２と不活性化光Ｌ３とが選択的に通る特性を有する。フィルタ２６は、例えば、所定波長以外の波長の光の少なくとも一部、迷光、外光などを遮断する。フィルタ２６を通った活性化光Ｌ１、励起光Ｌ２、及び不活性化光Ｌ３は、ダイクロイックミラー２７に入射する。ダイクロイックミラー２７は、活性化光Ｌ１、励起光Ｌ２、及び不活性化光Ｌ３が反射し、試料Ｓから放射される光のうち所定の波長帯の光（例、蛍光Ｌ）が通る特性を有する。フィルタ２６から出射した活性化光Ｌ１、励起光Ｌ２、及び不活性化光Ｌ３は、ダイクロイックミラー２７で反射し、対物レンズ２８に入射する。   The activating light L1, the exciting light L2, and the inactivating light L3 that have passed through the lens 25 enter the filter 26. The filter 26 has a characteristic that the activating light L1, the excitation light L2, and the inactivating light L3 selectively pass. The filter 26 blocks, for example, at least a part of light having a wavelength other than the predetermined wavelength, stray light, external light, and the like. The activation light L1, the excitation light L2, and the deactivation light L3 that have passed through the filter 26 enter the dichroic mirror 27. The dichroic mirror 27 has a characteristic in which the activating light L1, the exciting light L2, and the inactivating light L3 are reflected, and light in a predetermined wavelength band (eg, fluorescence L) of light emitted from the sample S passes. . The activating light L1, the exciting light L2, and the inactivating light L3 emitted from the filter 26 are reflected by the dichroic mirror 27 and enter the objective lens 28.

対物レンズ２８に関して光源（第１光源ＬＳ１、第２光源ＬＳ２、第３光源ＬＳ３）と反対側の焦点面は、観察対象の面（例、物体面）に相当する。この焦点面は、試料Ｓが配置される試料面Ｓａに相当する。試料面Ｓａは、回折格子１３と光学的に共役な位置またはその近傍の位置に配置される。また、試料面Ｓａは、回折格子１５と光学的に共役な位置またはその近傍の位置に配置される。   The focal plane on the side opposite to the light sources (first light source LS1, second light source LS2, and third light source LS3) with respect to the objective lens 28 corresponds to a surface to be observed (eg, an object surface). This focal plane corresponds to the sample surface Sa on which the sample S is arranged. The sample surface Sa is disposed at a position optically conjugate with the diffraction grating 13 or at a position near the position. The sample surface Sa is disposed at a position optically conjugate with the diffraction grating 15 or at a position near the position.

照射部３は、対物レンズ２８を介して試料Ｓに縞パターンＰＬ１と縞パターンＰＬ２とを照射する。試料面Ｓａには、回折格子１３の周期構造に対応して、活性化光Ｌ１の縞パターンＰＬ１（図２参照）が形成される。また、試料面Ｓａには、回折格子１５の周期構造に対応して、励起光Ｌ２の縞パターンＰＬ２（図２参照）が形成される。試料Ｓに含まれる蛍光物質は、活性化光Ｌ１が照射された状態で励起光Ｌ２が照射されることによって蛍光Ｌを発する。   The irradiation unit 3 irradiates the sample S with the stripe pattern PL1 and the stripe pattern PL2 via the objective lens. On the sample surface Sa, a stripe pattern PL1 (see FIG. 2) of the activating light L1 is formed corresponding to the periodic structure of the diffraction grating 13. Further, a stripe pattern PL2 (see FIG. 2) of the excitation light L2 is formed on the sample surface Sa corresponding to the periodic structure of the diffraction grating 15. The fluorescent substance contained in the sample S emits the fluorescent light L by being irradiated with the excitation light L2 while being irradiated with the activating light L1.

照射部３は、活性化光Ｌ１と励起光Ｌ２とを試料Ｓに照射し、蛍光Ｌの検出（例、撮像部３による撮像）が実行された後に、不活性化光Ｌ３を試料Ｓに照射する。また、照射部３は、不活性化光Ｌ３を試料Ｓに照射した後に、次に蛍光Ｌの検出（撮像部３による撮像）が実行される前に、活性化光Ｌ１と励起光Ｌ２とを試料Ｓに照射する。   The irradiation unit 3 irradiates the sample S with the activating light L1 and the excitation light L2, and irradiates the sample S with the inactivating light L3 after the detection of the fluorescence L (for example, imaging by the imaging unit 3) is performed. I do. Further, after irradiating the sample S with the inactivating light L3, the irradiating unit 3 emits the activating light L1 and the excitation light L2 before the next detection of the fluorescence L (imaging by the imaging unit 3) is performed. The sample S is irradiated.

撮像部４は、対物レンズ２８を介して蛍光Ｌの像（試料Ｓの像、試料Ｓにおける蛍光物質の分布）を撮像する。撮像部４は、結像光学系３１および撮像素子３２を備える。結像光学系３１は、試料Ｓから撮像素子３２へ向かう順に、対物レンズ２８、ダイクロイックミラー２７、フィルタ３３、及びレンズ３４を備える。対物レンズ２８およびダイクロイックミラー２７は、照明光学系１１と結像光学系３１とで共用である。試料Ｓから放射される蛍光Ｌは、対物レンズ２８に入射して平行光に変換され、ダイクロイックミラー２７を通ってフィルタ３３に入射する。   The imaging unit 4 captures an image of the fluorescence L (the image of the sample S and the distribution of the fluorescent substance in the sample S) via the objective lens 28. The imaging unit 4 includes an imaging optical system 31 and an imaging device 32. The imaging optical system 31 includes an objective lens 28, a dichroic mirror 27, a filter 33, and a lens 34 in the order from the sample S to the image sensor 32. The objective lens 28 and the dichroic mirror 27 are shared by the illumination optical system 11 and the imaging optical system 31. The fluorescence L emitted from the sample S enters the objective lens 28, is converted into parallel light, and enters the filter 33 through the dichroic mirror 27.

フィルタ３３は、例えば蛍光フィルタである。フィルタ３３は、試料Ｓからの蛍光Ｌが選択的に通る特性を有する。フィルタ３３は、例えば、試料Ｓで反射した照明光（活性化光Ｌ１、励起光Ｌ２、不活性化光Ｌ３）、外光、及び迷光の少なくとも一部を遮断する。フィルタ３３を通った蛍光Ｌは、レンズ３４に入射する。レンズ３４は、試料Ｓと同じ側の焦点面が対物レンズ２８の瞳面Ｐ０と一致するように、配置される。結像光学系３１は、対物レンズ２８の試料面Ｓａ（物体面）と光学的に共役な面（像面）を形成する。   The filter 33 is, for example, a fluorescent filter. The filter 33 has a characteristic that the fluorescence L from the sample S selectively passes. The filter 33 blocks, for example, at least a part of the illumination light (the activation light L1, the excitation light L2, the inactivation light L3), the external light, and the stray light reflected by the sample S. The fluorescent light L that has passed through the filter 33 enters the lens 34. The lens 34 is arranged such that the focal plane on the same side as the sample S coincides with the pupil plane P0 of the objective lens 28. The imaging optical system 31 forms a surface (image surface) optically conjugate with the sample surface Sa (object surface) of the objective lens 28.

撮像素子３２は、例えばＣＣＤイメージセンサやＣＭＯＳイメージセンサなどの二次元イメージセンサを含む。撮像素子３２は、例えば、二次元的に配列された複数の画素を有し、各画素にフォトダイオードなどの光電変換素子が配置された構造である。以下、撮像素子３２において光電変換素子が配置される面を、適宜、受光面という。撮像素子３２は、受光面が対物レンズ２８の試料面Ｓａと光学的に共役になるように、配置される。撮像素子３２は、例えば、光電変換素子への蛍光Ｌの照射によって生じた電荷を、読出回路によって読み出す。撮像素子３２は、読み出された電荷をデジタルデータ（例、８ビットの階調値）に変換し、画素の位置と階調値とを関連付けたデジタル形式の画像データを出力する。撮像素子３２は、撮像結果として、撮像画像のデータを制御装置５に出力する。   The imaging device 32 includes a two-dimensional image sensor such as a CCD image sensor or a CMOS image sensor. The imaging element 32 has, for example, a structure in which a plurality of pixels are two-dimensionally arranged, and a photoelectric conversion element such as a photodiode is arranged in each pixel. Hereinafter, the surface on which the photoelectric conversion element is arranged in the image sensor 32 is appropriately referred to as a light receiving surface. The image sensor 32 is arranged so that the light receiving surface is optically conjugate with the sample surface Sa of the objective lens 28. The imaging element 32 reads out, for example, electric charges generated by irradiating the photoelectric conversion element with the fluorescence L by a readout circuit. The image sensor 32 converts the read charges into digital data (for example, 8-bit grayscale values) and outputs digital image data in which pixel positions are associated with grayscale values. The imaging element 32 outputs the data of the captured image to the control device 5 as the imaging result.

制御装置５は、制御部４１および画像処理部４２を備える。制御部４１は、顕微鏡１の各部を制御する。制御部４１は、照射部３を制御して、試料Ｓに活性化光Ｌ１が照射される第１期間を設定する。例えば、制御部４１は、第１光源ＬＳ１を点灯させることによって試料Ｓに対する活性化光Ｌ１の照射を開始させ、第１光源ＬＳ１を消灯させることによって試料Ｓに対する活性化光Ｌ１の照射を停止させる。上記の第１期間は、試料Ｓに対する活性化光Ｌ１の照射の開始から停止までの期間である。制御部４１は、照射部３の光路に設けられるシャッタ（例、音響光学素子）の開閉を制御することによって、試料Ｓに対する活性化光Ｌ１の照射の開始と停止との一方または双方を制御してもよい。   The control device 5 includes a control unit 41 and an image processing unit 42. The control section 41 controls each section of the microscope 1. The control unit 41 controls the irradiation unit 3 to set a first period during which the sample S is irradiated with the activation light L1. For example, the control section 41 starts irradiation of the sample S with the activation light L1 by turning on the first light source LS1, and stops irradiation of the sample S with the activation light L1 by turning off the first light source LS1. . The first period is a period from the start to the stop of the irradiation of the sample S with the activation light L1. The control unit 41 controls one or both of the start and the stop of the irradiation of the activation light L1 on the sample S by controlling the opening and closing of a shutter (eg, an acousto-optic element) provided on the optical path of the irradiation unit 3. You may.

また、制御部４１は、照射部３を制御して、試料Ｓに励起光Ｌ２が照射される第２期間を設定する。第２期間は、上記の第１期間の少なくとも一部と重複する期間に設定されてもよいし、第１期間の終了後の期間に設定されてもよい。制御部４１は、例えば、第２光源ＬＳ２を点灯させることによって試料Ｓに対する励起光Ｌ２の照射を開始させ、第２光源ＬＳ２を消灯させることによって試料Ｓに対する励起光Ｌ２の照射を停止させる。上記の第２期間は、試料Ｓに対する励起光Ｌ２の照射の開始から停止までの期間である。制御部４１は、照射部３の光路に設けられるシャッタ（例、音響光学素子）の開閉を制御することによって、試料Ｓに対する励起光Ｌ２の照射の開始と停止との一方または双方を制御してもよい。   Further, the control unit 41 controls the irradiation unit 3 to set a second period during which the sample S is irradiated with the excitation light L2. The second period may be set to a period overlapping at least a part of the first period, or may be set to a period after the end of the first period. The control unit 41 starts irradiation of the excitation light L2 to the sample S by turning on the second light source LS2, for example, and stops irradiation of the excitation light L2 to the sample S by turning off the second light source LS2. The second period is a period from the start to the stop of the irradiation of the sample S with the excitation light L2. The control unit 41 controls one or both of the start and the stop of the irradiation of the excitation light L2 to the sample S by controlling the opening and closing of a shutter (eg, an acousto-optic element) provided in the optical path of the irradiation unit 3. Is also good.

また、制御部４１は、撮像部４を制御して、撮像部４によって試料Ｓを撮像させる。制御部４１は、試料Ｓに対して活性化光Ｌ１と励起光Ｌ２とが照射されるタイミングに基づいて、撮像部４によって試料Ｓを撮像させる。制御部４１は、照射部３を制御して試料Ｓに活性化光Ｌ１と励起光Ｌ２とを照射させ、試料Ｓに含まれる蛍光物質が励起した状態において撮像部４によって試料Ｓを撮像させる。   Further, the control unit 41 controls the imaging unit 4 to cause the imaging unit 4 to image the sample S. The control unit 41 causes the imaging unit 4 to image the sample S based on the timing at which the sample S is irradiated with the activation light L1 and the excitation light L2. The control unit 41 controls the irradiation unit 3 to irradiate the sample S with the activating light L1 and the excitation light L2, and causes the imaging unit 4 to image the sample S in a state where the fluorescent substance contained in the sample S is excited.

また、制御部４１は、第１方向Ｄ１における活性化光Ｌ１の強度分布と、第２方向Ｄ２における励起光Ｌ２の強度分布とを変更する。制御部４１は、第１方向Ｄ１において強度が周期的に変化する活性化光Ｌ１の強度分布の位相と、第２方向Ｄ２において強度が周期的に変化する励起光Ｌ２の強度分布の位相とを変更して、撮像部４に試料Ｓを撮像させる。画像処理部４２は、撮像部４が撮像して得られる第１画像に基づいて、第１画像と解像度が異なる第２画像を生成する。第２画像は、例えば、第１画像よりも解像度が高い超解像画像である。   Further, the control unit 41 changes the intensity distribution of the activation light L1 in the first direction D1 and the intensity distribution of the excitation light L2 in the second direction D2. The controller 41 determines the phase of the intensity distribution of the activation light L1 whose intensity periodically changes in the first direction D1 and the phase of the intensity distribution of the excitation light L2 whose intensity periodically changes in the second direction D2. Then, the imaging unit 4 causes the imaging unit 4 to image the sample S. The image processing unit 42 generates a second image having a different resolution from the first image based on the first image obtained by the imaging unit 4 capturing the image. The second image is, for example, a super-resolution image having a higher resolution than the first image.

図４は、第１実施形態に係る活性化光の強度分布の位相を示す図である。本実施形態において、制御部４１は、活性化光Ｌ１の強度分布の位相（縞パターンＰＬ１の位相）を、第１位相と第２位相と第３位相とに切り替えて、各位相に対応する第１画像を撮像部４によって撮像させる。図４において、符号ＰＬ１ａ、ＰＬ１ｂ、ＰＬ１ｃは、それぞれ、第１位相、第２位相、第３位相の縞パターンＰＬ１である。また、符号ＤＬ１ａ、ＤＬ１ｂ、ＤＬ１ｃは、それぞれ、第１位相の縞パターンＰＬ１ａの強度分布、第２位相の縞パターンＰＬ１ｂの強度分布、第３位相の縞パターンＰＬ１ｃの強度分布である。第２位相は、例えば、第１位相に対して１２０°進んだ位相である。第３位相は、例えば第１位相に対して１２０°遅れた位相である。   FIG. 4 is a diagram illustrating the phase of the intensity distribution of the activation light according to the first embodiment. In the present embodiment, the control unit 41 switches the phase of the intensity distribution of the activating light L1 (the phase of the stripe pattern PL1) between the first phase, the second phase, and the third phase, and sets the phase corresponding to each phase. One image is captured by the imaging unit 4. In FIG. 4, reference signs PL1a, PL1b, and PL1c are stripe patterns PL1 of a first phase, a second phase, and a third phase, respectively. Reference signs DL1a, DL1b, and DL1c denote the intensity distribution of the first-phase stripe pattern PL1a, the intensity distribution of the second-phase stripe pattern PL1b, and the intensity distribution of the third-phase stripe pattern PL1c, respectively. The second phase is, for example, a phase advanced by 120 ° with respect to the first phase. The third phase is, for example, a phase delayed by 120 ° from the first phase.

図５は、第１実施形態に係る励起光の強度分布の位相を示す図である。本実施形態において、制御部４１は、励起光Ｌ２の強度分布の位相（縞パターンＰＬ２の位相）を、第４位相と第５位相と第６位相とに切り替えて、各位相に対応する第１画像を撮像部４によって撮像させる。図５において、符号ＰＬ２ａ、ＰＬ２ｂ、ＰＬ２ｃは、それぞれ、第４位相、第５位相、第６位相の縞パターンＰＬ２である。また、符号ＤＬ２ａ、ＤＬ２ｂ、ＤＬ２ｃは、それぞれ、第４位相の縞パターンＰＬ２ａの強度分布、第５位相の縞パターンＰＬ２ｂの強度分布、第６位相の縞パターンＰＬ２ｃの強度分布である。第５位相は、例えば、第４位相に対して１２０°進んだ位相である。第６位相は、例えば第４位相に対して１２０°遅れた位相である。   FIG. 5 is a diagram illustrating the phase of the intensity distribution of the excitation light according to the first embodiment. In the present embodiment, the control unit 41 switches the phase of the intensity distribution of the excitation light L2 (the phase of the stripe pattern PL2) to the fourth phase, the fifth phase, and the sixth phase, and the first phase corresponding to each phase. An image is captured by the imaging unit 4. In FIG. 5, reference signs PL2a, PL2b, and PL2c are stripe patterns PL2 of a fourth phase, a fifth phase, and a sixth phase, respectively. Reference signs DL2a, DL2b, and DL2c represent the intensity distribution of the fourth-phase stripe pattern PL2a, the fifth-phase stripe pattern PL2b, and the sixth-phase stripe pattern PL2c, respectively. The fifth phase is, for example, a phase advanced by 120 ° with respect to the fourth phase. The sixth phase is, for example, a phase delayed by 120 ° from the fourth phase.

図１の説明に戻り、本実施形態に係る顕微鏡１は、第１位相設定部４５と第２位相設定部４６とを備え、上記したように、制御部４１は、第１位相設定部４５と第２位相設定部４６とを制御して、活性化光Ｌ１の強度分布の位相と励起光Ｌ２の強度分布の位相とをそれぞれ変更する。   Returning to the description of FIG. 1, the microscope 1 according to the present embodiment includes a first phase setting unit 45 and a second phase setting unit 46, and as described above, the control unit 41 By controlling the second phase setting unit 46, the phase of the intensity distribution of the activating light L1 and the phase of the intensity distribution of the excitation light L2 are changed.

第１位相設定部４５は、第１方向Ｄ１における活性化光Ｌ１の強度分布の位相を設定する。例えば第１位相設定部４５は、試料面Ｓａと光学的に共役な面上において、第１方向Ｄ１に対応する方向における回折格子１３の位置を設定することによって、活性化光Ｌ１の強度分布の位相を設定する。試料面Ｓａと光学的に共役な面上において、第１方向Ｄ１に対応する方向は、回折格子１３において周期構造が繰り返し配列される周期方向である。第１位相設定部４５は、例えばアクチュエータなどの駆動部であり、回折格子１３をその周期方向に移動させることによって、活性化光Ｌ１の強度分布の位相を設定する。制御部４１は、第１位相設定部４５に制御信号を供給し、第１位相設定部４５が制御信号に基づいて回折格子１３を移動させることによって、活性化光Ｌ１の強度分布の位相を変更する。   The first phase setting unit 45 sets the phase of the intensity distribution of the activation light L1 in the first direction D1. For example, the first phase setting unit 45 sets the position of the diffraction grating 13 in a direction corresponding to the first direction D1 on a plane optically conjugate with the sample surface Sa, thereby setting the intensity distribution of the activation light L1. Set the phase. On a plane optically conjugate with the sample surface Sa, the direction corresponding to the first direction D1 is a periodic direction in which the periodic structure is repeatedly arranged in the diffraction grating 13. The first phase setting unit 45 is, for example, a driving unit such as an actuator, and sets the phase of the intensity distribution of the activating light L1 by moving the diffraction grating 13 in the period direction. The control unit 41 supplies a control signal to the first phase setting unit 45, and the first phase setting unit 45 changes the phase of the intensity distribution of the activation light L1 by moving the diffraction grating 13 based on the control signal. I do.

第２位相設定部４６は、第２方向Ｄ２における励起光Ｌ２の強度分布の位相を設定する。例えば第２位相設定部４６は、試料面Ｓａと光学的に共役な面上において、第２方向Ｄ２に対応する方向における回折格子１５の位置を設定することによって、励起光Ｌ２の強度分布の位相を設定する。試料面Ｓａと光学的に共役な面上において、第２方向Ｄ２に対応する方向は、回折格子１５において周期構造が繰り返し配列される周期方向である。第２位相設定部４６は、例えばアクチュエータなどの駆動部であり、回折格子１５をその周期方向に移動させることによって、励起光Ｌ２の強度分布の位相を設定する。制御部４１は、第２位相設定部４６に制御信号を供給し、第２位相設定部４６が制御信号に基づいて回折格子１５を移動させることによって、励起光Ｌ２の強度分布の位相を変更する。   The second phase setting unit 46 sets the phase of the intensity distribution of the pump light L2 in the second direction D2. For example, the second phase setting unit 46 sets the position of the diffraction grating 15 in a direction corresponding to the second direction D2 on a plane optically conjugate with the sample surface Sa, thereby setting the phase of the intensity distribution of the excitation light L2. Set. On a plane optically conjugate with the sample surface Sa, the direction corresponding to the second direction D2 is a periodic direction in which the periodic structure is repeatedly arranged in the diffraction grating 15. The second phase setting unit 46 is a driving unit such as an actuator, for example, and sets the phase of the intensity distribution of the excitation light L2 by moving the diffraction grating 15 in the period direction. The control section 41 supplies a control signal to the second phase setting section 46, and the second phase setting section 46 changes the phase of the intensity distribution of the excitation light L2 by moving the diffraction grating 15 based on the control signal. .

制御部４１は、第１位相設定部４５および撮像部４を制御して、第１方向Ｄ１における活性化光Ｌ１の強度分布の位相が異なる複数の第１条件（第１位相条件）で、撮像部４に撮像させる。複数の第１条件は、活性化光Ｌ１の強度分布の位相が第１位相である条件、第２位相である条件、及び第３位相である条件を含む。また、制御部４１は、第２位相設定部４６および撮像部４を制御して、第２方向Ｄ２における励起光Ｌ２の強度分布の位相が異なる複数の第２条件（第２位相条件）で、撮像部４に撮像させる。複数の第２条件は、励起光Ｌ２の強度分布の位相が第４位相である条件、第５位相である条件、及び第６位相である条件を含む。   The control unit 41 controls the first phase setting unit 45 and the imaging unit 4 to perform imaging under a plurality of first conditions (first phase conditions) having different phases of the intensity distribution of the activation light L1 in the first direction D1. The section 4 is caused to take an image. The plurality of first conditions include a condition in which the phase of the intensity distribution of the activation light L1 is the first phase, a condition in which the phase is the second phase, and a condition in which the phase is the third phase. Further, the control unit 41 controls the second phase setting unit 46 and the imaging unit 4 to perform a plurality of second conditions (second phase conditions) having different phases of the intensity distribution of the excitation light L2 in the second direction D2. The imaging unit 4 is caused to take an image. The plurality of second conditions include a condition in which the phase of the intensity distribution of the excitation light L2 is the fourth phase, a condition in which the phase is the fifth phase, and a condition in which the phase is the sixth phase.

ここでは、第１方向Ｄ１における活性化光Ｌ１の強度分布の位相が３条件（３通り）であって、第２方向Ｄ２における励起光Ｌ２の強度分布の位相が３条件（３通り）であるので、活性化光Ｌ１の強度分布の位相と励起光Ｌ２の強度分布の位相との組み合わせは３×３の９条件（９通り）ある。制御部４１は、これら９条件のそれぞれについて撮像部４に順次連続して撮像させ、撮像部４は、複数の第１画像として９枚の画像を撮像する。画像処理部４２（画像生成部、復調部）は、複数の第１画像として撮像部４が撮像した９枚の画像を用いて、第１画像とは解像度が異なる１枚の第２画像（例、超解像画像）を生成する。例えば、画像処理部４２は、第１画像より相対的に解像度が高い第２画像を生成する。また、制御部４１は、第１方向Ｄ１における位相の異なる活性化光Ｌ１を用いた複数回の撮像と、第２方向Ｄ２における位相の異なる励起光Ｌ２を用いた複数回の撮像とを連動して行うことによって、複数の第１画像を取得する。   Here, the phases of the intensity distribution of the activation light L1 in the first direction D1 are three conditions (three patterns), and the phases of the intensity distribution of the excitation light L2 in the second direction D2 are three conditions (three patterns). Therefore, there are nine 3 × 3 conditions (nine types) of combinations of the phase of the intensity distribution of the activation light L1 and the phase of the intensity distribution of the excitation light L2. The control unit 41 causes the imaging unit 4 to sequentially and sequentially capture images for each of these nine conditions, and the imaging unit 4 captures nine images as a plurality of first images. The image processing unit 42 (image generation unit, demodulation unit) uses nine images captured by the imaging unit 4 as a plurality of first images, and uses a single second image having a different resolution from the first image (example). , Super-resolution image). For example, the image processing unit 42 generates a second image having a relatively higher resolution than the first image. In addition, the control unit 41 performs a plurality of times of imaging using the activation light L1 having a different phase in the first direction D1 and a plurality of times of imaging using the excitation light L2 having a different phase in the second direction D2. To obtain a plurality of first images.

図６は、第１実施形態に係る画像処理部の処理を示す図である。画像処理部４２は、複数の第１画像を用いて周波数空間における領域ごとの成分を分離し、分離した成分を再構築した後に実空間上の成分へ戻すことによって、第２画像を生成する。図６において、符号ＦＤ１は、第１方向Ｄ１に対応する周波数空間上の第１軸方向である。また、符号ＦＤ２は、第１方向Ｄ１に垂直な方向に対応する周波数空間上の第２軸方向である。本実施形態において、第２方向Ｄ２は第１方向Ｄ１に垂直であり、第２軸方向ＦＤ２は、第２方向Ｄ２に対応する周波数空間上の方向である。   FIG. 6 is a diagram illustrating processing of the image processing unit according to the first embodiment. The image processing unit 42 generates a second image by separating components for each region in the frequency space using the plurality of first images, reconstructing the separated components, and returning the separated components to components in the real space. In FIG. 6, reference numeral FD1 is a first axis direction on a frequency space corresponding to the first direction D1. Reference numeral FD2 is a second axis direction in a frequency space corresponding to a direction perpendicular to the first direction D1. In the present embodiment, the second direction D2 is perpendicular to the first direction D1, and the second axial direction FD2 is a direction on the frequency space corresponding to the second direction D2.

また、符号ＡＲ１ａは、光学系の光学伝達関数(Optical transfer function；ＯＴＦ)に対応する領域である。領域ＡＲ１ａの外側の空間周波数成分は、縞パターンの照明によって空間周波数がシフトして領域ＡＲ１ａ内に他の空間周波数の成分と混在して表れ、光学系を介して検出可能になる。実施形態に係る顕微鏡１は、活性化光Ｌ１の位相および励起光Ｌ２の位相の一方または双方が異なる複数の条件で、試料Ｓから放射される蛍光を撮像によって検出する。また、顕微鏡１は、活性化光Ｌ１の位相および励起光Ｌ２の位相の一方または双方が異なる複数の条件で取得される撮像結果（複数の撮像画像）を用いて、空間周波数がシフトした空間周波数成分を分離し、分離した空間周波数成分をシフト前の空間周波数の空間周波数成分として配置して、空間周波数成分の分布を再構築する。そして、顕微鏡１は、再構築した空間周波数成分の分布を逆フーリエ変換によって実空間上の成分（輝度値）の分布に変換することによって、画像を生成する。   Reference numeral AR1a is an area corresponding to an optical transfer function (OTF) of the optical system. The spatial frequency component outside the area AR1a is shifted in spatial frequency due to the illumination of the stripe pattern, appears in the area AR1a as being mixed with other spatial frequency components, and can be detected via the optical system. The microscope 1 according to the embodiment detects the fluorescence emitted from the sample S by imaging under a plurality of conditions where one or both of the phase of the activation light L1 and the phase of the excitation light L2 are different. Further, the microscope 1 uses an imaging result (a plurality of captured images) obtained under a plurality of conditions in which one or both of the phase of the activation light L1 and the phase of the excitation light L2 are different, and the spatial frequency in which the spatial frequency is shifted. The components are separated, and the separated spatial frequency components are arranged as the spatial frequency components of the spatial frequency before the shift, and the distribution of the spatial frequency components is reconstructed. Then, the microscope 1 generates an image by converting the distribution of the reconstructed spatial frequency components into a distribution of components (luminance values) in the real space by an inverse Fourier transform.

ここで、超解像画像を生成する処理について数式を用いて説明する。図７から図９は、超解像画像を生成する処理の説明に用いる数式である。撮像画像は、図７の式（１）で表される。式（１）において、rは、撮像部４が検出する領域における各位置（例、撮像画像における各画素の位置）であり、例えばベクトルで表される。Iim(r)は、位置rにおける蛍光Ｌの強度であり、撮像画像の位置rにおける輝度値（例、画素値）に相当する。O(r)は位置rにおける物体（試料Ｓの蛍光物質）に相当する。また、Iact(r)は位置rにおける活性化光Ｌ１の強度に相当し、Iexc(r)は位置rにおける励起光Ｌ２の強度に相当する。また、PSF(r)は、点像分布関数(Point Spread Function, ＰＳＦ)である。PSF(r)の左隣の記号＊は、畳み込みの演算子である。 Here, a process of generating a super-resolution image will be described using mathematical expressions. FIG. 7 to FIG. 9 are mathematical expressions used to describe the process of generating a super-resolution image. The captured image is represented by equation (1) in FIG. In Equation (1), r is each position in the region detected by the imaging unit 4 (eg, the position of each pixel in a captured image), and is represented by, for example, a vector. I im (r) is the intensity of the fluorescence L at the position r, and corresponds to a luminance value (eg, a pixel value) at the position r of the captured image. O (r) corresponds to the object (fluorescent substance of the sample S) at the position r. Further, I act (r) corresponds to the intensity of the activation light L1 at the position r, and I exc (r) corresponds to the intensity of the excitation light L2 at the position r. PSF (r) is a point spread function (PSF). The symbol * to the left of PSF (r) is the convolution operator.

また、Iact(r)は、図７の式（２）で表される。式（２）のＣ１は活性化光Ｌ１の縞パターンにおけるコントラストであり、ｋ１は、活性化光Ｌ１の強度分布の周期によって定まる波数ベクトルであり、θは活性化光Ｌ１の強度分布の位相である。また、Iexc(r)は、図７の式（３）で表される。式（３）のＣ２は励起光Ｌ２の縞パターンにおけるコントラストであり、ｋ２は、励起光Ｌ２の強度分布の周期によって定まる波数ベクトルであり、φ（phi）は励起光Ｌ２の強度分布の位相である。なお、図中の数式においてφはtimes new romanのフォントで表されている。撮像画像をフーリエ変換して得られるスペクトル（以下、撮像画像スペクトルと称する）は、図７の式（４）で表される。式（４）のｋは、空間周波数である。 Further, I act (r) is represented by equation (2) in FIG. C 1 of the formula (2) is a contrast in stripe pattern of activating light L1, k 1 is the wave vector is determined by the periodicity of the intensity distribution of activating light L1, theta is the intensity distribution of activating light L1 Phase. Also, I exc (r) is represented by equation (3) in FIG. In Expression (3), C 2 is the contrast in the stripe pattern of the excitation light L2, k 2 is a wave vector determined by the cycle of the intensity distribution of the excitation light L2, and φ (phi) is the intensity vector of the intensity distribution of the excitation light L2. Phase. Note that in the formulas in the figure, φ is represented in a font of times new roman. A spectrum obtained by Fourier-transforming the captured image (hereinafter, referred to as a captured image spectrum) is represented by Expression (4) in FIG. K in Equation (4) is a spatial frequency.

顕微鏡１は、活性化光Ｌ１の位相を３通りに設定し（図４参照）、励起光Ｌ２の位相を３通りに設定する（図５参照）。顕微鏡１は、活性化光Ｌ１の位相および励起光Ｌ２の位相の一方または双方が異なる９通りの条件のそれぞれについて撮像画像を取得し、９通りの撮像画像を取得する。画像処理部４２が各撮像画像に対してフーリエ変換を施すことによって、９通りの撮像画像のそれぞれについて式（４）の左辺の値が既知となり、左辺の値が既知の式（４）が９つ得られる。左辺の値が既知の９つの式（４）を連立した連立方程式を、行列を用いて図８の式（５）に示す。また、式（５）のＭは９行９列の行列であり、その要素を図９の式（６）に示す。   The microscope 1 sets the phase of the activation light L1 in three ways (see FIG. 4), and sets the phase of the excitation light L2 in three ways (see FIG. 5). The microscope 1 acquires captured images for each of nine conditions in which one or both of the phase of the activation light L1 and the phase of the excitation light L2 are different, and acquires nine captured images. The image processing unit 42 performs Fourier transform on each of the captured images, so that the value of the left side of Expression (4) becomes known for each of the nine captured images, and Expression (4) in which the value of the left side is known is 9 You get one. An equation (5) in FIG. 8 shows a simultaneous equation in which nine equations (4) whose values on the left side are known are simultaneously used. Further, M in Expression (5) is a matrix of 9 rows and 9 columns, and the elements thereof are shown in Expression (6) of FIG.

式（５）の左辺のＩｉｍ０（ｋ）からＩｉｍ８（ｋ）は、式（４）の左辺に対応する。ここでは、９通りの位相の条件に０から８の９種類の番号を割り付け、この番号を加えた添え字（例、ｉｍ０、ｉｍ１、・・・、ｉｍ８）によって位相の条件を区別している。式（６）に示すように、行列Ｍは、係数Ｃ１、係数Ｃ２、活性化光Ｌ１の位相θ、及び励起光Ｌ２の位相φで定まる行列である。式（６）のθ０、θ１、θ２は、それぞれ、活性化光Ｌ１の位相θの設定値（第１位相、第２位相、第３位相）である。また、式（６）のφ０、φ１、φ２は、それぞれ、励起光Ｌ２の位相φの設定値（第４位相、第５位相、第６位相）である。 I im0 (k) to I im8 (k) on the left side of Expression (5) correspond to the left side of Expression (4). Here, nine types of numbers 0 to 8 are assigned to the nine types of phase conditions, and the phase conditions are distinguished by subscripts (eg, im0, im1,..., Im8) obtained by adding the numbers. As shown in Expression (6), the matrix M is a matrix determined by the coefficient C 1 , the coefficient C 2 , the phase θ of the activating light L1, and the phase φ of the pumping light L2. In the equation (6), θ 0 , θ 1 , and θ 2 are set values (first phase, second phase, and third phase) of the phase θ of the activation light L1, respectively. Further, φ 0 , φ 1 , and φ 2 in Equation (6) are set values (fourth, fifth, and sixth phases) of the phase φ of the pump light L2, respectively.

画像処理部４２は、式（５）を解くことによって、Ｏ（ｋ）、Ｏ（ｋ＋ｋ１）、・・・、Ｏ（ｋ−ｋ１＋ｋ２）を算出する。Ｏ（ｋ＋ｋ１）、・・・、Ｏ（ｋ−ｋ１＋ｋ２）は、それぞれ、空間周波数がシフトした空間周波数成分である。画像処理部４２は、式（５）を解くことによって、シフトした空間周波数成分を分離する。また、画像処理部４２は、空間周波数がシフトした空間周波数成分を、周波数空間においてシフトする前の位置に配置することで、図６の領域ＡＲ１の空間周波数成分を構築する。また、画像処理部４２は、図６の領域ＡＲ１の空間周波数成分に対して逆フーリエ変換を施すことによって、実空間上の輝度分布（例、超解像画像の各画素の輝度値）を取得し、超解像画像を生成する。 The image processing unit 42 calculates O (k), O (k + k 1 ),..., O (k−k 1 + k 2 ) by solving equation (5). O (k + k 1 ),..., O (k−k 1 + k 2 ) are spatial frequency components whose spatial frequencies have been shifted. The image processing unit 42 separates the shifted spatial frequency component by solving equation (5). In addition, the image processing unit 42 constructs the spatial frequency component of the area AR1 in FIG. 6 by arranging the spatial frequency component whose spatial frequency has shifted in a position before shifting in the frequency space. The image processing unit 42 performs an inverse Fourier transform on the spatial frequency component of the area AR1 in FIG. 6 to obtain a luminance distribution in the real space (eg, a luminance value of each pixel of the super-resolution image). Then, a super-resolution image is generated.

図６の説明に戻り、領域ＡＲ１の成分は、光学系のＯＴＦに対応する領域ＡＲ１ａの成分に比べて、第１軸方向ＦＤ１および第２軸方向ＦＤ２のそれぞれにおいて高周波数成分を含む。画像処理部４２は、領域ＡＲ１の成分を逆フーリエ変換によって実空間上の成分へ変換することで、第２画像を生成する。第２画像は、第１軸方向ＦＤ１に対応する第１方向Ｄ１および第２軸方向ＦＤ２に対応する第２方向Ｄ２のそれぞれにおいて、第１画像よりも解像度が高い。   Returning to the description of FIG. 6, the component in the area AR1 includes a higher frequency component in each of the first axis direction FD1 and the second axis direction FD2 than the component in the area AR1a corresponding to the OTF of the optical system. The image processing unit 42 generates a second image by converting the components of the area AR1 into components in the real space by the inverse Fourier transform. The second image has a higher resolution than the first image in each of the first direction D1 corresponding to the first axis direction FD1 and the second direction D2 corresponding to the second axis direction FD2.

なお、画像処理部４２は、領域ＡＲ１の成分の一部を抽出して、抽出した成分を実空間上の成分に変換することで第２画像を生成してもよい。例えば、領域ＡＲ２は、周波数空間の原点を中心とする円形の領域である。領域ＡＲ２は、領域ＡＲ１ａよりも半径が大きく、かつ領域ＡＲ１に収まる（例、領域ＡＲ１に内接する）ように設定される。画像処理部４２は、領域ＡＲ２の内側の成分を用いるとともに領域ＡＲ２の外側の成分を除外して、第２画像を生成してもよい。この場合、第２画像として、第１方向Ｄ１および第２方向Ｄ２のそれぞれにおいて第１画像よりも解像度が高く、かつ解像度の等方性が向上した画像が得られる。例えば、第２画像として、第１方向Ｄ１の解像度と、第１方向Ｄ１に対して４５°の角度をなす方向の解像度とが揃った画像を取得可能である。   Note that the image processing unit 42 may generate a second image by extracting a part of the components of the area AR1 and converting the extracted components into components in the real space. For example, the area AR2 is a circular area centered on the origin of the frequency space. The area AR2 is set so as to have a larger radius than the area AR1a and fall within the area AR1 (eg, inscribed in the area AR1). The image processing unit 42 may generate the second image by using components inside the area AR2 and excluding components outside the area AR2. In this case, as the second image, an image having a higher resolution than the first image in each of the first direction D1 and the second direction D2 and having improved isotropy in resolution is obtained. For example, as the second image, an image in which the resolution in the first direction D1 and the resolution in a direction forming an angle of 45 ° with the first direction D1 can be acquired.

図１０（Ａ）および図１０（Ｂ）は、第１実施形態に係る画像処理部の処理、比較例の処理を示す図である。比較例では、強度が周期的に変化する方向（周期方向）の数が１つである縞パターンを照明光として用いる。また比較例では、縞パターンの周期方向を３方向（図中では０°、１２０°、２４０°の方向）に変更し、縞パターンの位相を３位相に変更した９条件で試料を撮像する。比較例では、９条件の撮像によって得られる９枚の第３画像を用いて、第３画像よりも解像度が高い第４画像を生成する。複数の第３画像から第４画像を生成する処理は、構造化照明顕微鏡において超解像画像を生成する処理を適用可能である（例えば、文献 “Three-dimensional resolution doubling in wide-field fluorescence microscopy by structured illumination”, M. G. L. Gustafsson et al., Biophysical Journal 94, 4957 (2008)」を参照）。   FIGS. 10A and 10B are diagrams illustrating a process of the image processing unit according to the first embodiment and a process of a comparative example. In the comparative example, a stripe pattern in which the number of directions in which the intensity changes periodically (periodic direction) is one is used as illumination light. In the comparative example, the sample is imaged under nine conditions in which the periodic direction of the stripe pattern is changed to three directions (0 °, 120 °, and 240 ° directions in the figure), and the phase of the stripe pattern is changed to three phases. In the comparative example, a fourth image having a higher resolution than the third image is generated by using nine third images obtained by imaging under nine conditions. The process of generating a fourth image from a plurality of third images can be performed by using a process of generating a super-resolution image in a structured illumination microscope (for example, the document “Three-dimensional resolution doubling in wide-field fluorescence microscopy by structured illumination ", MGL Gustafsson et al., Biophysical Journal 94, 4957 (2008)).

図１０（Ａ）の符号ＡＲ３は、比較例の９枚の第３画像から周波数空間上の成分が得られる領域である。図６で説明した本実施形態に係る領域ＡＲ１は、例えば第１軸方向ＦＤ１に対して４５°の方向等において、比較例の領域ＡＲ３よりも高周波数成分を含む。実施形態に係る顕微鏡１は、領域ＡＲ１の成分を実空間上の成分へ変換することによって、比較例の領域ＡＲ３の成分を実空間の成分へ変換して得られる第４画像よりも、解像度が高い第２画像を取得可能である。実施形態に係る顕微鏡１は、例えば、従来のＳＩＭと同じ枚数の撮像画像を用いて第２画像を生成する場合、従来のＳＩＭと比べて高解像度の画像を取得可能である。また、実施形態に係る顕微鏡１は、例えば、照明光の方向を変更する従来のＳＩＭと比較して、照明光の方向を変更する動作を省くことができる。   The symbol AR3 in FIG. 10A is an area where components in the frequency space are obtained from the nine third images of the comparative example. The region AR1 according to the present embodiment described with reference to FIG. 6 includes a higher frequency component than the region AR3 of the comparative example in, for example, a direction at 45 ° with respect to the first axial direction FD1. The microscope 1 according to the embodiment has a higher resolution than the fourth image obtained by converting the components of the region AR3 of the comparative example into the components of the real space by converting the components of the region AR1 into the components in the real space. A high second image can be obtained. For example, when the microscope 1 according to the embodiment generates the second image using the same number of captured images as the conventional SIM, the microscope 1 can acquire a higher-resolution image than the conventional SIM. Further, the microscope 1 according to the embodiment can omit the operation of changing the direction of the illumination light as compared with, for example, a conventional SIM that changes the direction of the illumination light.

また、図１０（Ｂ）の符号ＡＲ２は、実施形態に係る領域ＡＲ１に内接し、周波数空間の原点を中心とする円形の領域である。また、符号ＡＲ４は、比較例の領域ＡＲ３に内接し、周波数空間の原点を中心とする円形の領域である。実施形態に係る領域ＲＡ２は、比較例に係る領域ＡＲ４に比べて半径が大きく、高周波数成分を含む。実施形態に係る領域ＡＲ２の成分を用いて画像を生成する場合、解像度が等方的な画像が得られ、かつ比較例に係る領域ＡＲ４の成分を用いて画像を生成する場合よりも解像度が高い画像が得られる。   The symbol AR2 in FIG. 10B is a circular region inscribed in the region AR1 according to the embodiment and centered on the origin of the frequency space. The symbol AR4 is a circular region inscribed in the region AR3 of the comparative example and centered on the origin of the frequency space. The area RA2 according to the embodiment has a larger radius than the area AR4 according to the comparative example, and includes a high frequency component. When an image is generated using the components of the area AR2 according to the embodiment, an image with an isotropic resolution is obtained, and the resolution is higher than when the image is generated using the components of the area AR4 according to the comparative example. An image is obtained.

図１１は、第１実施形態に係る第１方向と第２方向との関係を示す図である。第２方向Ｄ２は、図２等において第１方向Ｄ１に対して垂直としているが、第１方向Ｄ１に対して垂直でなくてもよい。図１１の符号αは、第１方向Ｄ１と第２方向Ｄ２との角度である。また、符号Ｋｖ１は活性化光Ｌ１の縞パターンＰＬ１の波数ベクトルであり、符号Ｋｖ２は、励起光Ｌ２の縞パターンＰＬ２の波数ベクトルであり、符号Ｋｖ３は、波数ベクトルＫｖ１と波数ベクトルＫｖ２との合成ベクトルである。また、符号Ｄ５は、第１方向Ｄ１に垂直な方向である。   FIG. 11 is a diagram illustrating a relationship between the first direction and the second direction according to the first embodiment. The second direction D2 is perpendicular to the first direction D1 in FIG. 2 and the like, but need not be perpendicular to the first direction D1. The symbol α in FIG. 11 is the angle between the first direction D1 and the second direction D2. The symbol Kv1 is a wave vector of the stripe pattern PL1 of the activation light L1, the symbol Kv2 is a wave vector of the stripe pattern PL2 of the excitation light L2, and the symbol Kv3 is a combination of the wave vector Kv1 and the wave vector Kv2. Vector. Reference numeral D5 is a direction perpendicular to the first direction D1.

ここで、合成ベクトルＫｖ３の第１方向Ｄ１の成分と、合成ベクトルＫｖ３の方向Ｄ５の成分との比をＲで表す。比Ｒは、第１方向Ｄ１における解像度と方向Ｄ５における解像度の比に対応する。比Ｒは、例えば解像度の等方性が要求される場合に、０．９以上１．１以下の範囲内に設定されてもよい。比Ｒは、αを用いるとＲ＝（１＋ｃｏｓα）／ｓｉｎαで表され、角度αは、０．９≦（１＋ｃｏｓα）／ｓｉｎα≦１．１を満たすように設定されてもよい。例えば、角度αは、８５°以上９５°以下の範囲内に設定されてもよい。   Here, the ratio of the component of the combined vector Kv3 in the first direction D1 to the component of the combined vector Kv3 in the direction D5 is represented by R. The ratio R corresponds to the ratio between the resolution in the first direction D1 and the resolution in the direction D5. The ratio R may be set in the range of 0.9 or more and 1.1 or less, for example, when isotropic resolution is required. When α is used, the ratio R is represented by R = (1 + cosα) / sinα, and the angle α may be set to satisfy 0.9 ≦ (1 + cosα) /sinα≦1.1. For example, the angle α may be set in a range from 85 ° to 95 °.

次に、上記顕微鏡１の構成に基づいて、第１実施形態に係る観察方法について説明する。図１２は、第１実施形態に係る観察方法の第１例を示すフローチャートである。第１例において、励起光Ｌ２の波長は、活性化光Ｌ１の波長および不活性化光Ｌ３の波長のいずれとも異なる。励起光Ｌ２の波長が活性化光Ｌ１の波長または不活性化光Ｌ３の波長と同じ場合については、後に図１４で説明する。また、顕微鏡１の各部については、適宜、図１を参照する。   Next, an observation method according to the first embodiment will be described based on the configuration of the microscope 1. FIG. 12 is a flowchart illustrating a first example of the observation method according to the first embodiment. In the first example, the wavelength of the excitation light L2 is different from both the wavelength of the activation light L1 and the wavelength of the deactivation light L3. The case where the wavelength of the excitation light L2 is the same as the wavelength of the activation light L1 or the wavelength of the deactivation light L3 will be described later with reference to FIG. For each part of the microscope 1, FIG. 1 is referred to as appropriate.

ステップＳ１において、制御部４１は、第１方向Ｄ１において強度が周期的に変化する活性化光Ｌ１の位相を設定する。例えば、制御部４１は、第１位相設定部４５を制御して、活性化光Ｌ１（縞パターンＰＬ１）の位相を第１位相に設定する。ステップＳ２において、照射部３は、活性化光Ｌ１を試料Ｓに照射する。照射部３は、活性化光Ｌ１として第１位相の縞パターンＰＬ１を、試料Ｓに照射する。   In step S1, the control unit 41 sets the phase of the activation light L1 whose intensity periodically changes in the first direction D1. For example, the control unit 41 controls the first phase setting unit 45 to set the phase of the activation light L1 (strip pattern PL1) to the first phase. In step S2, the irradiation unit 3 irradiates the sample S with the activating light L1. The irradiating unit 3 irradiates the sample S with the stripe pattern PL1 of the first phase as the activating light L1.

ステップＳ３において、制御部４１は、第２方向Ｄ２において強度が周期的に変化する励起光Ｌ２の位相を設定する。例えば、制御部４１は、第２位相設定部４６を制御して、励起光Ｌ２（縞パターンＰＬ２）の位相を第４位相に設定する。ステップＳ４において、照射部３は、励起光Ｌ２を試料に照射する。照射部３は、励起光Ｌ２として第４位相の縞パターンＰＬ２を、試料Ｓに照射する。照射部３は、ステップＳ４の処理を、ステップＳ２の処理と並行して実行してもよい。照射部３は、励起光Ｌ２を、活性化光Ｌ１の照射と並行して又は活性化光Ｌ１の照射後に、試料Ｓに照射する。   In step S3, the control unit 41 sets the phase of the excitation light L2 whose intensity periodically changes in the second direction D2. For example, the control unit 41 controls the second phase setting unit 46 to set the phase of the excitation light L2 (the stripe pattern PL2) to the fourth phase. In step S4, the irradiation unit 3 irradiates the sample with the excitation light L2. The irradiating unit 3 irradiates the sample S with the fourth-phase stripe pattern PL2 as the excitation light L2. The irradiation unit 3 may execute the process of step S4 in parallel with the process of step S2. The irradiation unit 3 irradiates the sample S with the excitation light L2 in parallel with the irradiation of the activation light L1 or after the irradiation of the activation light L1.

ステップＳ５において、撮像部４は、試料Ｓを撮像して第１画像を取得する。撮像部４は、活性化光Ｌ１として第１位相の縞パターンＰＬ１が照射され、かつ励起光Ｌ２として第４位相の縞パターンＰＬ２が照射された試料を撮像する。撮像部４は、撮像により得られる第１画像のデータを制御装置５に出力する。制御装置５は、撮像部４から出力された第１画像のデータを記憶装置７に記憶させる。   In step S5, the imaging unit 4 captures an image of the sample S to obtain a first image. The imaging unit 4 captures an image of the sample irradiated with the first-phase stripe pattern PL1 as the activation light L1 and the fourth-phase stripe pattern PL2 as the excitation light L2. The imaging unit 4 outputs data of the first image obtained by the imaging to the control device 5. The control device 5 causes the storage device 7 to store the data of the first image output from the imaging unit 4.

ステップＳ６において、制御部４１は、励起光Ｌ２の位相を変更するか否かを判定する。制御部４１は、ステップＳ１で設定された活性化光Ｌ１の位相に対して予定された複数の第２条件（例、励起光Ｌ２の位相が第４位相、第５位相、第６位相）の一部について撮像が完了していない場合、励起光Ｌ２の位相を変更すると判定する。制御部４１は、励起光Ｌ２の位相を変更すると判定した場合（ステップＳ６；Ｙｅｓ）、ステップＳ３に戻り、励起光Ｌ２の位相を次の位相（例、第５位相）に変更する。そして、顕微鏡１は、ステップＳ４からステップＳ６の処理を繰り返す。   In step S6, the control unit 41 determines whether to change the phase of the excitation light L2. The control unit 41 determines a plurality of second conditions (for example, the phase of the excitation light L2 is the fourth phase, the fifth phase, and the sixth phase) scheduled for the phase of the activation light L1 set in step S1. If imaging has not been completed for a part, it is determined to change the phase of the excitation light L2. When determining that the phase of the excitation light L2 is to be changed (Step S6; Yes), the control unit 41 returns to Step S3, and changes the phase of the excitation light L2 to the next phase (for example, the fifth phase). Then, the microscope 1 repeats the processing from step S4 to step S6.

ステップＳ６において、制御部４１は、ステップＳ１で設定された活性化光Ｌ１の位相に対して予定された複数の第２条件（例、励起光Ｌ２の位相が第４位相、第５位相、第６位相）の全てについて撮像が完了している場合、励起光Ｌ２の位相を変更しないと判定する。制御部４１は、励起光Ｌ２の位相を変更しないと判定した場合（ステップＳ６；Ｎｏ）、ステップＳ７において、不活性化光Ｌ３を試料Ｓに照射させる。制御部４１は、ステップＳ８において、活性化光Ｌ１の位相を変更するか否かを判定する。   In step S6, the control unit 41 determines a plurality of second conditions (e.g., the phase of the excitation light L2 is the fourth phase, the fifth phase, and the fifth phase) with respect to the phase of the activation light L1 set in step S1. If the imaging is completed for all of the six phases), it is determined that the phase of the excitation light L2 is not changed. When determining that the phase of the excitation light L2 is not changed (Step S6; No), the control unit 41 irradiates the sample S with the inactivating light L3 in Step S7. The control unit 41 determines whether or not to change the phase of the activation light L1 in step S8.

制御部４１は、予定された複数の第１条件（例、活性化光Ｌ１の位相が第１位相、第２位相、第３位相）の一部について撮像が完了していない場合、活性化光Ｌ１の位相を変更すると判定する。制御部４１は、活性化光Ｌ１の位相を変更すると判定した場合（ステップＳ８；Ｙｅｓ）、ステップＳ１に戻り、活性化光Ｌ１の位相を次の位相（例、第２位相）に変更する。そして、顕微鏡１は、ステップＳ２からステップＳ７の処理を繰り返す。   The control unit 41 activates the activation light when the imaging of a part of the plurality of predetermined first conditions (for example, the phases of the activation light L1 is the first phase, the second phase, and the third phase) is not completed. It is determined that the phase of L1 is to be changed. When determining that the phase of the activation light L1 is to be changed (Step S8; Yes), the control unit 41 returns to Step S1 and changes the phase of the activation light L1 to the next phase (eg, the second phase). Then, the microscope 1 repeats the processing from step S2 to step S7.

ステップＳ８において、予定された複数の第１条件（例、活性化光Ｌ１の位相が第１位相、第２位相、第３位相）の全てについて撮像が完了している場合、制御部４１は、活性化光Ｌ１の位相を変更しないと判定する。制御部４１は、活性化光Ｌ１の位相を変更しないと判定した場合（ステップＳ８；Ｎｏ）、画像処理部４２に第２画像を生成させる。ステップＳ９において、画像処理部４２は、複数の第１画像（撮像画像）に基づいて、第１画像と解像度が異なる第２画像を生成する。例えば、画像処理部４２は、第２画像として、第１画像（撮像画像）よりも解像度が高い超解像画像を生成する。画像処理部４２は、複数の第１画像のデータを記憶装置７から読み出し、複数の第１画像に基づいて第１画像よりも解像度が高い第２画像を生成する。画像処理部４２は、生成した第２画像のデータを記憶装置７に記憶させる。制御装置５は、画像処理部４２が生成した第２画像を表示装置６に表示させる。なお、第２画像の解像度は、第１方向Ｄ１と第２方向Ｄ２との一方または双方において、第１画像の解像度よりも低くても構わない。   In step S <b> 8, when imaging has been completed for all of the plurality of scheduled first conditions (for example, the phases of the activation light L <b> 1 are the first phase, the second phase, and the third phase), the control unit 41 determines It is determined that the phase of the activation light L1 is not changed. When determining that the phase of the activation light L1 is not changed (Step S8; No), the control unit 41 causes the image processing unit 42 to generate a second image. In step S9, the image processing unit 42 generates a second image having a different resolution from the first image based on the plurality of first images (captured images). For example, the image processing unit 42 generates a super-resolution image having a higher resolution than the first image (captured image) as the second image. The image processing unit 42 reads data of the plurality of first images from the storage device 7 and generates a second image having a higher resolution than the first image based on the plurality of first images. The image processing unit 42 causes the storage device 7 to store the generated data of the second image. The control device 5 causes the display device 6 to display the second image generated by the image processing unit 42. Note that the resolution of the second image may be lower than the resolution of the first image in one or both of the first direction D1 and the second direction D2.

ここで、本実施形態に係る照明光（活性化光Ｌ１、励起光Ｌ２、不活性化光Ｌ３）の照射タイミングおよび撮像タイミングについて説明する。図１３（Ａ）から（Ｃ）は、第１実施形態に係る照明光の照射タイミングおよび撮像タイミングを示すタイミングチャートである。ここでは、励起光Ｌ２の波長が、活性化光Ｌ１の波長と不活性化光Ｌ３の波長とのいずれとも異なるものとする。顕微鏡１の各部については、適宜、図１を参照する。   Here, the irradiation timing and the imaging timing of the illumination light (activating light L1, excitation light L2, and inactivating light L3) according to the present embodiment will be described. FIGS. 13A to 13C are timing charts showing the illumination light irradiation timing and the imaging timing according to the first embodiment. Here, it is assumed that the wavelength of the excitation light L2 is different from both the wavelength of the activation light L1 and the wavelength of the inactivation light L3. FIG. 1 is referred to for each part of the microscope 1 as appropriate.

まず、図１３（Ａ）に示すタイミングチャートについて説明する。照射部３は、期間Ｔ１において、活性化光Ｌ１を試料Ｓに照射する。照射部３は、期間Ｔ２において、励起光Ｌ２を試料Ｓに照射する。図１３（Ａ）において、期間Ｔ２の開始時は、期間Ｔ１の終了後である。図１３（Ａ）において、期間Ｔ２は、期間Ｔ１と重複しない期間である。   First, a timing chart illustrated in FIG. The irradiator 3 irradiates the sample S with the activating light L1 during the period T1. The irradiation unit 3 irradiates the sample S with the excitation light L2 in the period T2. In FIG. 13A, the start of the period T2 is after the end of the period T1. In FIG. 13A, a period T2 is a period that does not overlap with the period T1.

撮像部４は、期間Ｔ３において試料Ｓを撮像する。期間Ｔ３は、撮像素子３２において受光により発生する電荷を、撮像素子３２が蓄積する露光期間である。期間Ｔ３は、励起光Ｌ２の照射によって試料Ｓから蛍光Ｌが放射される期間を含むように設定される。図１３（Ａ）において、期間Ｔ３は、期間Ｔ２と同じ期間である。   The imaging unit 4 images the sample S in the period T3. The period T3 is an exposure period in which the charge generated by light reception in the image sensor 32 is accumulated by the image sensor 32. The period T3 is set to include a period in which the fluorescence L is emitted from the sample S by the irradiation of the excitation light L2. In FIG. 13A, a period T3 is the same as the period T2.

照射部３は、期間Ｔ４において、不活性化光Ｌ３を試料Ｓに照射する。期間Ｔ４の開始時は、期間Ｔ３の終了後である。期間Ｔ４の終了後に次のフレームが予定されている場合、照射部３および撮像部４は、上述の処理を繰り返す。制御部４１は、照射部３を制御して上述のタイミングで照明光を試料Ｓに照射させ、撮像部４を制御して上述のタイミングで試料Ｓを撮像させる。   The irradiation unit 3 irradiates the sample S with the inactivating light L3 in the period T4. The start of the period T4 is after the end of the period T3. When the next frame is scheduled after the end of the period T4, the irradiation unit 3 and the imaging unit 4 repeat the above processing. The control unit 41 controls the irradiation unit 3 to irradiate the sample S with the illumination light at the timing described above, and controls the imaging unit 4 to image the sample S at the timing described above.

次に、図１３（Ｂ）に示すタイミングチャートについて説明する。図１３（Ｂ）において、励起光Ｌ２が試料Ｓに照射される期間Ｔ２は、活性化光Ｌ１が試料Ｓに照射される期間Ｔ１の少なくとも一部と重複する。期間Ｔ２は、期間Ｔ１と同じでもよい。また、期間Ｔ２は、期間Ｔ１の一部でもよい。また、期間Ｔ１は、期間Ｔ２の一部でもよい。撮像が実行される期間Ｔ３は、励起光Ｌ２の照射によって試料Ｓから蛍光Ｌが放射される期間を含むように設定される。期間Ｔ３は、期間Ｔ１の少なくとも一部と重複してもよい。また、期間Ｔ３は、期間Ｔ１と重複しなくてもよい。例えば、図１３（Ｂ）において、期間Ｔ１は、期間Ｔ１の終了後における期間Ｔ２を含むように設定されてもよい。   Next, a timing chart illustrated in FIG. In FIG. 13B, a period T2 during which the sample S is irradiated with the excitation light L2 overlaps at least a part of a period T1 during which the sample S is irradiated with the activation light L1. The period T2 may be the same as the period T1. Further, the period T2 may be a part of the period T1. Further, the period T1 may be a part of the period T2. The period T3 during which imaging is performed is set so as to include a period during which the fluorescence L is emitted from the sample S by the irradiation of the excitation light L2. The period T3 may overlap at least a part of the period T1. Further, the period T3 does not have to overlap with the period T1. For example, in FIG. 13B, the period T1 may be set to include the period T2 after the end of the period T1.

次に、図１３（Ｃ）に示すタイミングチャートについて説明する。図１３（Ｃ）において、励起光Ｌ２が試料Ｓに照射される期間Ｔ２は、撮像が実行される期間Ｔ３の一部である。このように、期間Ｔ３は、開始時と、終了時と、期間の長さとの少なくとも１つが期間Ｔ２と異なってもよい。期間Ｔ３は、期間Ｔ２の一部でもよい。なお、図１３（Ａ）のように、期間Ｔ１と期間Ｔ２とが重複しない場合についても同様に、期間Ｔ３は、開始時と、終了時と、期間の長さとの少なくとも１つが期間Ｔ２と異なってもよい。   Next, a timing chart illustrated in FIG. In FIG. 13C, a period T2 in which the sample S is irradiated with the excitation light L2 is a part of a period T3 in which imaging is performed. As described above, the period T3 may be different from the period T2 in at least one of the start time, the end time, and the length of the period. The period T3 may be a part of the period T2. Similarly, as shown in FIG. 13A, in the case where the period T1 and the period T2 do not overlap, at least one of the start time, the end time, and the length of the period is different from the period T2. You may.

図１４は、第１実施形態に係る観察方法の第２例を示すフローチャートである。図１４において、図１１と同様の処理については同じ符号を付してその説明を省略あるいは簡略化する。図１４において、ステップＳ１からステップＳ５の処理は、図１１と同様である。   FIG. 14 is a flowchart illustrating a second example of the observation method according to the first embodiment. In FIG. 14, the same processes as those in FIG. 11 are denoted by the same reference numerals, and description thereof will be omitted or simplified. In FIG. 14, the processing from step S1 to step S5 is the same as in FIG.

制御部４１は、ステップＳ５において試料Ｓを撮像部４にさせた後、ステップＳ１１において試料Ｓに不活性化光Ｌ３を照射させる。ステップＳ１１の処理は、図１１のステップＳ７と同様の内容であるが、実行される順番が図１１と異なる。制御部４１は、不活性化光Ｌ３が試料に照射された後、ステップＳ１２において励起光Ｌ２の位相を変更するか否かを判定する。ステップＳ１２の処理は、図１１のステップＳ６と同様の内容であるが、実行される順番が図１１と異なる。制御部４１は、励起光Ｌ２の位相を変更すると判定した場合（ステップＳ１１；Ｙｅｓ）、ステップＳ３に戻って励起光Ｌ２の位相を次の位相に設定し、ステップＳ４、ステップＳ５、ステップＳ１１、ステップＳ１２の処理を繰り返す。制御部４１は、励起光Ｌ２の位相を変更しないと判定した場合（ステップＳ１１；Ｎｏ）、ステップＳ８、ステップＳ９の処理を実行する。ステップＳ８、ステップＳ９の処理は、図１１と同様である。   The control unit 41 causes the sample S to be the imaging unit 4 in step S5, and then irradiates the sample S with the deactivating light L3 in step S11. The process of step S11 has the same contents as step S7 of FIG. 11, but the order of execution is different from that of FIG. After irradiating the sample with the inactivating light L3, the control unit 41 determines whether or not to change the phase of the excitation light L2 in step S12. The processing in step S12 has the same contents as step S6 in FIG. 11, but the order of execution is different from that in FIG. When determining that the phase of the pumping light L2 is to be changed (Step S11; Yes), the control unit 41 returns to Step S3, sets the phase of the pumping light L2 to the next phase, and proceeds to Step S4, Step S5, Step S11, Step S12 is repeated. When determining that the phase of the excitation light L2 is not changed (Step S11; No), the control unit 41 executes the processing of Step S8 and Step S9. Steps S8 and S9 are the same as those in FIG.

ここで、励起光Ｌ２の波長が活性化光Ｌ１の波長または不活性化光Ｌ３の波長と同じである場合の照明光の照射タイミングおよび撮像タイミングについて説明する。励起光Ｌ２の波長が活性化光Ｌ１の波長と同じである場合、照射部３は、例えば図１３（Ａ）で説明したタイミングで照明光を試料Ｓに照射する。励起光Ｌ２が照射される期間Ｔ２は、活性化光Ｌ１が照射される期間Ｔ１と重複しない期間に設定されることが望ましい。撮像が実行される期間Ｔ３は、活性化光Ｌ１が照射される期間Ｔ１と重複しない期間に設定される。   Here, the irradiation timing of the illumination light and the imaging timing when the wavelength of the excitation light L2 is the same as the wavelength of the activation light L1 or the wavelength of the inactivation light L3 will be described. When the wavelength of the excitation light L2 is the same as the wavelength of the activation light L1, the irradiation unit 3 irradiates the sample S with the illumination light at the timing described with reference to FIG. The period T2 during which the excitation light L2 is irradiated is desirably set to a period that does not overlap with the period T1 during which the activation light L1 is irradiated. The period T3 during which imaging is performed is set to a period that does not overlap with the period T1 during which the activation light L1 is irradiated.

また、励起光Ｌ２の波長が不活性化光Ｌ３の波長と同じである場合、照射部３は、例えば図１３（Ａ）から図１３（Ｃ）のいずれかのタイミングで照明光を試料Ｓに照射する。励起光Ｌ２が照射される期間Ｔ２は、活性化光Ｌ１が照射される期間Ｔ１と重複しない期間でもよい。また、期間Ｔ２は、期間Ｔ１の少なくとも一部と重複する期間でもよい。また、撮像が実行される期間Ｔ３は、不活性化光Ｌ３が照射される期間Ｔ４と重複しない期間に設定される。   When the wavelength of the excitation light L2 is the same as the wavelength of the inactivating light L3, the irradiation unit 3 applies the illumination light to the sample S at any of the timings shown in FIGS. 13A to 13C, for example. Irradiate. The period T2 during which the excitation light L2 is irradiated may be a period that does not overlap with the period T1 during which the activation light L1 is irradiated. Further, the period T2 may be a period overlapping at least a part of the period T1. The period T3 during which imaging is performed is set to a period that does not overlap with the period T4 during which the inactivating light L3 is irradiated.

なお、励起光Ｌ２の波長が活性化光Ｌ１または不活性化光Ｌ３の波長と異なる場合（図１１参照）に、図１４と同様に、ステップＳ５において試料を撮像するたびに不活性化光Ｌ３を試料Ｓに照射してもよい。図１２のように、活性化光Ｌ１の１つの位相について励起光Ｌ２の位相の変更が終了した後に不活性化光Ｌ３を照射する場合、図１４の処理を適用する場合に比べて、不活性化光Ｌ３を照射する処理の回数を減らすことができる。   When the wavelength of the excitation light L2 is different from the wavelength of the activation light L1 or the wavelength of the deactivation light L3 (see FIG. 11), the deactivation light L3 is used every time the sample is imaged in step S5, as in FIG. May be applied to the sample S. As shown in FIG. 12, when the inactivating light L3 is irradiated after the change of the phase of the exciting light L2 for one phase of the activating light L1, the inactive light is more inactive than when the processing of FIG. 14 is applied. The number of times of the process of irradiating the forming light L3 can be reduced.

実施形態に係る顕微鏡１は、活性化光Ｌ１の強度分布（例、縞パターン）の周期方向と励起光Ｌ２の強度分布（例、縞パターン）の周期方向とを変更しなくても２方向において第１画像と解像度が異なる（例、高い）第２画像を取得可能である。顕微鏡１は、例えば、照明光の縞パターンの周期方向を変更する構成を省くことができる。また、顕微鏡１は、例えば、照明光の縞パターンの周期方向を変更する処理を省くことによって、第２画像を高速で取得することができる。   The microscope 1 according to the embodiment can be arranged in two directions without changing the periodic direction of the intensity distribution (eg, stripe pattern) of the activating light L1 and the periodic direction of the intensity distribution (eg, stripe pattern) of the excitation light L2. A second image having a different (eg, higher) resolution from the first image can be obtained. The microscope 1 can omit, for example, a configuration for changing the periodic direction of the stripe pattern of the illumination light. Further, the microscope 1 can acquire the second image at high speed, for example, by omitting the process of changing the periodic direction of the stripe pattern of the illumination light.

なお、顕微鏡１は、活性化光Ｌ１の強度が周期的に変化する第１方向Ｄ１と、励起光Ｌ２の強度が周期的に変化する第２方向Ｄ２との一方または双方を変更可能でもよい。例えば、顕微鏡１は、第１方向Ｄ１と第２方向Ｄ２とが固定された状態で第１画像を取得して第２画像を生成した後、第１方向Ｄ１と第２方向Ｄ２との一方または双方を変更して次の第１画像を取得して次の第２画像を生成してもよい。また、第１方向Ｄ１と第２方向Ｄ２との一方または双方は、試料Ｓにおいて観察対象の構造によって解像度が要求される方向に基づいて、設定されてもよい。また、顕微鏡１は、第２画像として三次元的な画像を生成してもよい。   The microscope 1 may be able to change one or both of a first direction D1 in which the intensity of the activation light L1 changes periodically and a second direction D2 in which the intensity of the excitation light L2 changes periodically. For example, the microscope 1 acquires the first image in a state where the first direction D1 and the second direction D2 are fixed, generates the second image, and then outputs one of the first direction D1 and the second direction D2 or Both may be changed to acquire the next first image and generate the next second image. In addition, one or both of the first direction D1 and the second direction D2 may be set based on the direction in the sample S where resolution is required depending on the structure of the observation target. The microscope 1 may generate a three-dimensional image as the second image.

なお、照射部３は、第１光源ＬＳ１と第２光源ＬＳ２との一方または双方を備えなくてもよい。例えば、顕微鏡１は、第１光源ＬＳ１を備えない状態で提供されてもよい。第１光源ＬＳ１は、顕微鏡１が使用される際に、顕微鏡１に取り付けられてもよい。第１光源ＬＳ１は、照射部３に対して交換可能（取り付け可能、取り外し可能）でもよい。また、顕微鏡１は、第２光源ＬＳ２を備えない状態で提供されてもよい。第２光源ＬＳ２は、顕微鏡１が使用される際に、顕微鏡１に取り付けられてもよい。第２光源ＬＳ２は、照射部３に対して交換可能（取り付け可能、取り外し可能）でもよい。   Note that the irradiation unit 3 may not include one or both of the first light source LS1 and the second light source LS2. For example, the microscope 1 may be provided without the first light source LS1. The first light source LS1 may be attached to the microscope 1 when the microscope 1 is used. The first light source LS1 may be replaceable (attachable, removable) with respect to the irradiation unit 3. Further, the microscope 1 may be provided without the second light source LS2. The second light source LS2 may be attached to the microscope 1 when the microscope 1 is used. The second light source LS2 may be replaceable (attachable, removable) with respect to the irradiation unit 3.

なお、照射部３は、分岐部（例、分岐部１３、分岐部１５）として回折格子の代わりに空間光変調器（ＳＬＭ）を備えてもよい。空間光変調器は、例えば、二次元的に配列される複数の画素を有し、各画素に入射する光を画素ごとに変調可能である。位相設定部（第１位相設定部４５、第２位相設定部４６）は、例えば、空間光変調器において各画素における変調を制御する信号（例、画像信号、ビットマップデータ）を空間光変調器に供給することによって、縞パターンの位相を設定してもよい。   In addition, the irradiation unit 3 may include a spatial light modulator (SLM) as a branch unit (eg, the branch unit 13 and the branch unit 15) instead of the diffraction grating. The spatial light modulator has a plurality of pixels arranged two-dimensionally, for example, and can modulate light incident on each pixel for each pixel. The phase setting unit (the first phase setting unit 45 and the second phase setting unit 46), for example, converts a signal (eg, image signal, bitmap data) for controlling modulation in each pixel in the spatial light modulator into a spatial light modulator. , The phase of the stripe pattern may be set.

なお、制御部４１は、活性化光Ｌ１の位相と励起光Ｌ２の位相とに関する複数の条件を、いずれの順番で設定しても構わない。例えば、制御部４１は、励起光Ｌ２の位相を第４位相に設定した状態で、活性化光Ｌ１の位相を第１位相と第２位相と第３位相とで変更してもよい。また、第１画像を撮像する際の活性化光Ｌ１の位相の種類は、３種類（例、第１位相、第２位相、第３位相）でなくてもよく、２種類または４種類以上でもよい。また、第１画像を撮像する際の励起光Ｌ２の位相の種類は、３種類（例、第４位相、第５位相、第６位相）でなくてもよく、２種類または４種類以上でもよい。   Note that the control unit 41 may set a plurality of conditions regarding the phase of the activation light L1 and the phase of the excitation light L2 in any order. For example, the control unit 41 may change the phase of the activation light L1 between the first phase, the second phase, and the third phase while the phase of the excitation light L2 is set to the fourth phase. Further, the types of the phase of the activation light L1 at the time of capturing the first image need not be three types (eg, the first phase, the second phase, and the third phase), and may be two types or four or more types. Good. In addition, the type of the phase of the excitation light L2 at the time of capturing the first image is not limited to three types (eg, the fourth phase, the fifth phase, and the sixth phase), and may be two types or four or more types. .

なお、顕微鏡１は、表示装置６と記憶装置７との一方または双方を備えなくてもよい。顕微鏡１は表示装置６を備えない状態で提供され、表示装置６は、その使用時に顕微鏡１に取り付けられてもよい。また、顕微鏡１は記憶装置７を備えない状態で提供され、記憶装置７は、その使用時に顕微鏡１に取り付けられてもよい。   Note that the microscope 1 may not include one or both of the display device 6 and the storage device 7. The microscope 1 is provided without the display device 6, and the display device 6 may be attached to the microscope 1 at the time of its use. Further, the microscope 1 may be provided without the storage device 7, and the storage device 7 may be attached to the microscope 1 at the time of use.

なお、実施形態に係る顕微鏡１は、第２画像として三次元的な画像を生成してもよい。また、実施形態に係る顕微鏡１は、非線形構造化照明顕微鏡に適用可能である。非線形構造化照明顕微鏡は、照明光の強度に対する蛍光の強度の非線形性を利用して超解像画像を生成する（例えば、“Nonlinear structured-illumination microscopy: Wide-field fluorescence imaging with theoretically unlimited resolution” Mats G. L. Gustafsson PNAS September 13, 2005. 102 (37) 13081-13086; https://doi.org/10.1073/pnas.0406877102を参照）。顕微鏡１が非線形構造化照明顕微鏡である場合、不活性化光Ｌ３として励起光Ｌ２と位相が１８０°ずれた縞パターンを用いてもよい。   Note that the microscope 1 according to the embodiment may generate a three-dimensional image as the second image. The microscope 1 according to the embodiment is applicable to a nonlinear structured illumination microscope. Non-linear structured illumination microscopes generate super-resolution images by using the nonlinearity of the intensity of fluorescence with respect to the intensity of illumination light (for example, “Nonlinear structured-illumination microscopy: Wide-field fluorescence imaging with theoretically unlimited resolution” Mats GL Gustafsson PNAS September 13, 2005. 102 (37) 13081-13086; see https://doi.org/10.1073/pnas.0406877102). When the microscope 1 is a non-linear structured illumination microscope, a stripe pattern whose phase is shifted from the excitation light L2 by 180 ° may be used as the inactivating light L3.

なお、活性化光Ｌ１と励起光Ｌ２とで波長が同じである場合、活性化光Ｌ１の光量（例、光強度、照射時間）は、励起光Ｌ２の光量と異なってもよい。例えば、顕微鏡１は、活性化光Ｌ１の光量が励起光Ｌ２の光量よりも高い値に設定され、蛍光物質の活性化度を飽和させてもよい。また、励起光Ｌ２と不活性化光Ｌ３とで波長が同じである場合、不活性化光Ｌ３の光量（例、光強度、照射時間）は、励起光Ｌ２の光量と異なってもよい。例えば、顕微鏡１は、不活性化光Ｌ３の光量が励起光Ｌ２の光量よりも高い値に設定され、蛍光物質の不活性化度を飽和させてもよい。   When the wavelengths of the activation light L1 and the excitation light L2 are the same, the amount of the activation light L1 (eg, light intensity, irradiation time) may be different from the amount of the excitation light L2. For example, in the microscope 1, the light amount of the activation light L1 may be set to a value higher than the light amount of the excitation light L2, and the activation degree of the fluorescent substance may be saturated. When the wavelengths of the excitation light L2 and the deactivating light L3 are the same, the light amount (eg, light intensity, irradiation time) of the deactivating light L3 may be different from the light amount of the excitation light L2. For example, in the microscope 1, the light amount of the inactivating light L3 may be set to a value higher than the light amount of the excitation light L2 to saturate the degree of inactivation of the fluorescent substance.

上述の実施形態において、制御装置５は、例えばコンピュータシステムを含む。制御装置５は、記憶装置７に記憶されている制御プログラムを読み出し、この制御プログラムに従って各種の処理を実行する。この制御プログラムは、コンピュータに、蛍光物質を含む試料が配置される試料面上の第１方向において強度が周期的に変化し蛍光物質を活性化する活性化光と、試料面上で第１方向に交差する第２方向において強度が周期的に変化し活性化光によって活性化した蛍光物質を励起する励起光とを試料に照射する制御と、第１方向における活性化光の強度分布を変更する制御と、第２方向における励起光の強度分布を変更する制御と、活性化光の照射と励起光の照射とによって試料から放射される蛍光の像を撮像する制御と、を実行させる。この制御プログラムは、コンピュータ読み取り可能な記憶媒体（例、非一時的な記録媒体、non-transitory tangible media）に記録されて提供されてもよい。   In the above-described embodiment, the control device 5 includes, for example, a computer system. The control device 5 reads out a control program stored in the storage device 7 and executes various processes according to the control program. The control program includes: a computer that activates a fluorescent material by periodically changing the intensity in a first direction on a sample surface on which a sample containing a fluorescent material is arranged; Control that irradiates the sample with excitation light whose intensity periodically changes in the second direction intersecting with the excitation light to excite the fluorescent substance activated by the activation light, and changes the intensity distribution of the activation light in the first direction. Control, control for changing the intensity distribution of the excitation light in the second direction, and control for capturing an image of the fluorescence emitted from the sample by the irradiation of the activation light and the irradiation of the excitation light are executed. The control program may be provided by being recorded on a computer-readable storage medium (eg, a non-transitory tangible media).

なお、本発明の技術範囲は、上述の実施形態などで説明した態様に限定されるものではない。上述の実施形態などで説明した要件の１つ以上は、省略されることがある。また、上述の実施形態などで説明した要件は、適宜組み合わせることができる。また、法令で許容される限りにおいて、上述の実施形態などで引用した全ての文献の開示を援用して本文の記載の一部とする。   Note that the technical scope of the present invention is not limited to the modes described in the above-described embodiments and the like. One or more of the requirements described in the above embodiments may be omitted. Further, the requirements described in the above embodiments and the like can be appropriately combined. In addition, as far as permitted by laws and regulations, the disclosure of all documents cited in the above-described embodiments and the like is incorporated as a part of the description of the text.

１・・・顕微鏡、３・・・照射部、４・・・撮像部、Ｓ・・・試料、Ｓａ・・・試料面、４１・・・制御部、４２・・・画像処理部、４５・・・第１位相設定部、４６・・・第２位相設定部、５４・・・第３位相設定部、Ｄ１・・・第１方向、Ｄ２・・・第２方向、Ｌ・・・蛍光、Ｌ１・・・活性化光、Ｌ２・・・励起光、Ｌ３・・・不活性化光 DESCRIPTION OF SYMBOLS 1 ... microscope, 3 ... irradiation part, 4 ... imaging part, S ... sample, Sa ... sample surface, 41 ... control part, 42 ... image processing part, 45 ... .. A first phase setting unit, 46 ... a second phase setting unit, 54 ... a third phase setting unit, D1 ... a first direction, D2 ... a second direction, L ... fluorescence, L1: activation light, L2: excitation light, L3: inactivation light

Claims (14)

蛍光物質を含む試料が配置される試料面上の第１方向において強度が周期的に変化し前記蛍光物質を活性化する活性化光と、前記試料面上で前記第１方向に交差する第２方向において強度が周期的に変化し前記活性化光によって活性化した前記蛍光物質を励起する励起光とを前記試料に照射する照射部と、
前記第１方向における前記活性化光の強度分布と、前記第２方向における前記励起光の強度分布とを変更する制御部と、
前記活性化光の照射と前記励起光の照射とによって前記試料から放射される蛍光の像を撮像する撮像部と、
前記撮像部が撮像して得られる第１画像に基づいて、前記第１画像と解像度が異なる第２画像を生成する画像処理部と、を備える顕微鏡。 Activating light whose intensity periodically changes in a first direction on a sample surface on which a sample containing a fluorescent substance is arranged to activate the fluorescent substance, and a second light crossing in the first direction on the sample surface. An irradiation unit that irradiates the sample with excitation light whose intensity periodically changes in a direction and that excites the fluorescent substance activated by the activation light,
A control unit that changes the intensity distribution of the activation light in the first direction and the intensity distribution of the excitation light in the second direction;
An imaging unit that captures an image of fluorescence emitted from the sample by the irradiation of the activation light and the irradiation of the excitation light,
A microscope comprising: an image processing unit configured to generate a second image having a different resolution from the first image based on a first image obtained by imaging by the imaging unit. 前記制御部は、前記第１方向における活性化光の強度分布の位相と、前記第２方向における前記励起光の強度分布の位相と、を変更する、
請求項１に記載の顕微鏡。 The control unit changes a phase of an intensity distribution of the activation light in the first direction and a phase of an intensity distribution of the excitation light in the second direction.
The microscope according to claim 1. 前記第１方向における前記活性化光の強度分布の位相を設定する第１位相設定部を備え、
前記制御部は、前記第１位相設定部および前記撮像部を制御して、前記第１方向における前記活性化光の強度分布の位相が異なる複数の第１条件で前記撮像部に撮像させ、
前記画像処理部は、前記複数の第１条件で前記撮像部が撮像して得られる複数の画像を前記第１画像として用いて、前記第２画像を生成する、
請求項１または請求項２に記載の顕微鏡。 A first phase setting unit that sets a phase of an intensity distribution of the activation light in the first direction;
The control unit controls the first phase setting unit and the imaging unit to cause the imaging unit to perform imaging under a plurality of first conditions having different phases of the intensity distribution of the activation light in the first direction,
The image processing unit generates the second image by using a plurality of images obtained by the imaging unit under the plurality of first conditions as the first image,
The microscope according to claim 1. 前記第２方向における前記励起光の強度分布の位相を設定する第２位相設定部を備え、
前記制御部は、前記第２位相設定部および前記撮像部を制御して、前記第２方向における前記励起光の強度分布の位相が異なる複数の第２条件で前記撮像部に撮像させ、
前記画像処理部は、前記複数の第２条件で前記撮像部が撮像して得られる複数の画像を前記第１画像として用いて、前記第２画像を生成する、
請求項１から請求項３のいずれか一項に記載の顕微鏡。 A second phase setting unit that sets a phase of an intensity distribution of the excitation light in the second direction;
The control unit controls the second phase setting unit and the imaging unit to cause the imaging unit to image under a plurality of second conditions having different phases of the intensity distribution of the excitation light in the second direction,
The image processing unit generates the second image by using, as the first image, a plurality of images obtained by the image capturing unit under the plurality of second conditions.
The microscope according to any one of claims 1 to 3. 前記制御部は、前記第１方向における前記活性化光の強度分布の位相が異なる複数の第１条件で前記活性化光を照射させ、前記第２方向における前記励起光の強度分布の位相が異なる複数の第２条件で前記励起光を照射させる、
請求項１から請求項４のいずれか一項に記載の顕微鏡。 The control unit irradiates the activation light under a plurality of first conditions in which the phase of the intensity distribution of the activation light in the first direction is different, and the phase of the intensity distribution of the excitation light in the second direction is different. Irradiating the excitation light under a plurality of second conditions;
The microscope according to any one of claims 1 to 4. 前記複数の第１条件は、前記第１方向における前記活性化光の強度分布の位相が互いに異なる３つの条件を含む、請求項３又は請求項５に記載の顕微鏡。   The microscope according to claim 3, wherein the plurality of first conditions include three conditions in which phases of the intensity distribution of the activation light in the first direction are different from each other. 前記複数の第２条件は、前記第２方向における前記励起光の強度分布の位相が互いに異なる３つの条件を含む、請求項４又は請求項５に記載の顕微鏡。   The microscope according to claim 4, wherein the plurality of second conditions include three conditions in which phases of the intensity distribution of the excitation light in the second direction are different from each other. 前記第１方向と前記第２方向とがなす角度は、８５°以上９５°以下である、
請求項１から請求項７のいずれか一項に記載の顕微鏡。 The angle formed by the first direction and the second direction is 85 ° or more and 95 ° or less.
The microscope according to any one of claims 1 to 7. 前記照射部は、前記活性化光によって活性化した前記蛍光物質を不活性化する不活性化光を前記試料に照射する、
請求項１から請求項８のいずれか一項に記載の顕微鏡。 The irradiating unit irradiates the sample with inactivating light for inactivating the fluorescent substance activated by the activating light,
A microscope according to any one of claims 1 to 8. 前記励起光の波長は、前記活性化光の波長と前記不活性化光の波長とのいずれとも異なり、
前記制御部は、前記活性化光と前記励起光との一方の光の位相を所定値に設定した状態で他方の光の位相を複数の値に順に設定し、前記他方の光の位相が前記複数の値のそれぞれに設定された状態で前記撮像部に撮像を実行させた後に、前記不活性化光を照射させる、
請求項９に記載の顕微鏡。 The wavelength of the excitation light is different from the wavelength of the activation light and the wavelength of the deactivation light,
The controller, in a state where the phase of one of the activation light and the excitation light is set to a predetermined value, sets the phase of the other light to a plurality of values in order, and the phase of the other light is the After causing the imaging unit to perform imaging in a state set to each of a plurality of values, irradiating the inactivating light,
A microscope according to claim 9. 前記励起光の波長は、前記活性化光の波長または前記不活性化光の波長と同じであり、
前記制御部は、前記励起光の位相を変更するたびに前記不活性化光を照射させる、
請求項９に記載の顕微鏡。 The wavelength of the excitation light is the same as the wavelength of the activating light or the wavelength of the inactivating light,
The control unit is configured to irradiate the inactivating light each time the phase of the excitation light is changed,
A microscope according to claim 9. 前記画像処理部は、前記第１画像をフーリエ変換して得られる周波数領域の成分のうち前記周波数領域の原点を中心とする点対称な形状の領域の成分を抽出して、前記第２画像を生成する、
請求項１から請求項１１のいずれか一項に記載の顕微鏡。 The image processing unit extracts a component of a region having a point-symmetrical shape around the origin of the frequency domain from components of a frequency domain obtained by performing a Fourier transform on the first image, and converts the second image. Generate,
The microscope according to any one of claims 1 to 11. 蛍光物質を含む試料が配置される試料面上の第１方向において強度が周期的に変化し前記蛍光物質を活性化する活性化光と、前記試料面上で前記第１方向に交差する第２方向において強度が周期的に変化し前記活性化光によって活性化した前記蛍光物質を励起する励起光とを前記試料に照射することと、
前記第１方向における前記活性化光の強度分布を変更することと、
前記第２方向における前記励起光の強度分布を変更することと、
前記活性化光の照射と前記励起光の照射とによって前記試料から放射される蛍光の像を撮像することと、
前記撮像によって得られる第１画像に基づいて、前記第１画像と解像度が異なる第２画像を生成することと、を含む観察方法。 Activating light whose intensity periodically changes in a first direction on a sample surface on which a sample containing a fluorescent substance is arranged to activate the fluorescent substance, and a second light crossing in the first direction on the sample surface. Irradiating the sample with excitation light whose intensity changes periodically in the direction and excites the fluorescent substance activated by the activation light,
Changing the intensity distribution of the activation light in the first direction;
Changing the intensity distribution of the excitation light in the second direction;
Capturing an image of fluorescence emitted from the sample by the irradiation of the activation light and the irradiation of the excitation light,
And generating a second image having a different resolution from the first image based on the first image obtained by the imaging. コンピュータに、
蛍光物質を含む試料が配置される試料面上の第１方向において強度が周期的に変化し前記蛍光物質を活性化する活性化光と、前記試料面上で前記第１方向に交差する第２方向において強度が周期的に変化し前記活性化光によって活性化した前記蛍光物質を励起する励起光とを前記試料に照射する制御と、
前記第１方向における前記活性化光の強度分布を変更する制御と、
前記第２方向における前記励起光の強度分布を変更する制御と、
前記活性化光の照射と前記励起光の照射とによって前記試料から放射される蛍光の像を撮像する制御と、を実行させる制御プログラム。 On the computer,
Activating light whose intensity periodically changes in a first direction on a sample surface on which a sample containing a fluorescent substance is arranged to activate the fluorescent substance, and a second light crossing in the first direction on the sample surface. Control to irradiate the sample with excitation light whose intensity changes periodically in the direction and which excites the fluorescent substance activated by the activation light,
Control for changing the intensity distribution of the activation light in the first direction;
Control for changing the intensity distribution of the excitation light in the second direction;
A control program for executing control of capturing an image of fluorescence emitted from the sample by the irradiation of the activation light and the irradiation of the excitation light.
JP2018143686A 2018-07-31 2018-07-31 Microscope, observation method, and control program Active JP7099143B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018143686A JP7099143B2 (en) 2018-07-31 2018-07-31 Microscope, observation method, and control program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018143686A JP7099143B2 (en) 2018-07-31 2018-07-31 Microscope, observation method, and control program

Publications (2)

Publication Number Publication Date
JP2020020929A true JP2020020929A (en) 2020-02-06
JP7099143B2 JP7099143B2 (en) 2022-07-12

Family

ID=69588993

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018143686A Active JP7099143B2 (en) 2018-07-31 2018-07-31 Microscope, observation method, and control program

Country Status (1)

Country Link
JP (1) JP7099143B2 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130286179A1 (en) * 2012-04-29 2013-10-31 Periodic Structures, Inc. Apparatus and methods for microscopy having resolution beyond the Abbe limit
JP2014517352A (en) * 2011-06-09 2014-07-17 カール ツァイス マイクロスコピー ゲーエムベーハー High resolution luminescence microscopy
WO2016125281A1 (en) * 2015-02-05 2016-08-11 株式会社ニコン Structured illumination microscope, observation method, and control program
DE102016007839A1 (en) * 2016-06-28 2017-12-28 Horst Wochnowski High-resolution method for microscopy and nanostructuring of substrate surfaces based on the SIM method (Structured Illumination Microscopy)

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014517352A (en) * 2011-06-09 2014-07-17 カール ツァイス マイクロスコピー ゲーエムベーハー High resolution luminescence microscopy
US20130286179A1 (en) * 2012-04-29 2013-10-31 Periodic Structures, Inc. Apparatus and methods for microscopy having resolution beyond the Abbe limit
WO2016125281A1 (en) * 2015-02-05 2016-08-11 株式会社ニコン Structured illumination microscope, observation method, and control program
DE102016007839A1 (en) * 2016-06-28 2017-12-28 Horst Wochnowski High-resolution method for microscopy and nanostructuring of substrate surfaces based on the SIM method (Structured Illumination Microscopy)

Also Published As

Publication number Publication date
JP7099143B2 (en) 2022-07-12

Similar Documents

Publication Publication Date Title
CN110178069B (en) Microscope apparatus, method and system
US20180048811A1 (en) Patterned-illumination systems adopting a computational illumination
EP2437095B1 (en) Sample observation device for generating super resolution image
US8705172B2 (en) Microscopy method and microscope with enhanced resolution
JP5888416B2 (en) Structured illumination microscope
US8019136B2 (en) Optical sectioning microscopy
JP5738765B2 (en) Improved method and apparatus for microscopy with structured illumination
JP6000554B2 (en) Microscope system
US10393661B2 (en) Structured illumination microscopic device and structured illumination observation method
JP2016534389A (en) Aperture scanning Fourier typography imaging
WO2017152702A1 (en) Imaging method and apparatus for structured illumination microscope
CN110954523B (en) Two-photon scanning structure light microscopic imaging method and device
WO2015052936A1 (en) Structured illumination microscope device
US10394011B2 (en) Ptychography system
JP7399669B2 (en) Accelerated method and apparatus for three-dimensional microscopy with structured illumination
EP3373060B1 (en) Image acquisition device, image acquisition method, and spatial light modulation unit
CN108351502A (en) Image capturing device, image acquisition method and spatial light modulation unit
CN107272218B (en) High speed structured light imaging system
WO2020007761A1 (en) Programmable multiple-point illuminator, confocal filter, confocal microscope and method to operate said confocal microscope
Littleton et al. Coherent super-resolution microscopy via laterally structured illumination
NL2018386B1 (en) Structured illumination scanning microscopy
JP7099143B2 (en) Microscope, observation method, and control program
JP2019204002A (en) Microscope, image analysis device, observation method, and analysis program
US20220382031A1 (en) Random access projection microscopy
WO2018150471A1 (en) Structured illumination microscope, observation method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210513

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220523

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220531

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220613

R150 Certificate of patent or registration of utility model

Ref document number: 7099143

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150