JP7408615B2 - Optical equipment and image formation methods - Google Patents

Optical equipment and image formation methods Download PDF

Info

Publication number
JP7408615B2
JP7408615B2 JP2021195800A JP2021195800A JP7408615B2 JP 7408615 B2 JP7408615 B2 JP 7408615B2 JP 2021195800 A JP2021195800 A JP 2021195800A JP 2021195800 A JP2021195800 A JP 2021195800A JP 7408615 B2 JP7408615 B2 JP 7408615B2
Authority
JP
Japan
Prior art keywords
light
wavelength
phase modulation
fluorescence
phase
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021195800A
Other languages
Japanese (ja)
Other versions
JP2022031837A (en
Inventor
昌也 岡田
茂樹 岩永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sysmex Corp
Original Assignee
Sysmex Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2016047682A external-priority patent/JP7290907B2/en
Application filed by Sysmex Corp filed Critical Sysmex Corp
Priority to JP2021195800A priority Critical patent/JP7408615B2/en
Publication of JP2022031837A publication Critical patent/JP2022031837A/en
Application granted granted Critical
Publication of JP7408615B2 publication Critical patent/JP7408615B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Microscoopes, Condenser (AREA)

Description

本発明は、光学機器および像の形成方法に関する。 TECHNICAL FIELD The present invention relates to an optical device and a method of forming an image.

たとえば、光学顕微鏡といった光学機器では、光の位相変調を利用して、解像度の向上や収差補正等様々な機能が実現されている。特許文献１には、所定の広域スペクトル幅内において互いに異なる複数の波長の光束の位相を変調する位相変調器が記載されている。この位相変調器は、光源から照射された光束を、回折格子により波長毎に異なる角度に回折させる。波長毎に回折された光束は集光レンズを経て空間位相変調器に入射する。位相変調器は各波長にそれぞれ対応する複数の位相変調領域を有しており、回折格子による回折によって、各波長の光束は、それぞれの波長に対応する位相変調領域に入射する。 For example, optical instruments such as optical microscopes utilize phase modulation of light to achieve various functions such as improving resolution and correcting aberrations. Patent Document 1 describes a phase modulator that modulates the phase of light beams having a plurality of mutually different wavelengths within a predetermined wide spectrum width. This phase modulator uses a diffraction grating to diffract a beam of light emitted from a light source into different angles for each wavelength. The light beam diffracted for each wavelength passes through a condenser lens and enters a spatial phase modulator. The phase modulator has a plurality of phase modulation regions corresponding to each wavelength, and the light flux of each wavelength is incident on the phase modulation region corresponding to each wavelength by diffraction by the diffraction grating.

特開２０１０－２５９２２号公報Japanese Patent Application Publication No. 2010-25922

特許文献１の技術では、光束を波長毎に対応する位相変調領域に入射させるために、回折格子やプリズム等によって光束を回折させることが要求される。したがって、光学系が複雑になることや、位相変調のための構成が複雑になるといった問題が生じる。また、特許文献１の位相変調器は、波長毎に複数の位相変調領域を有するため、位相変調器が大型化するといった問題も生じる。 The technique disclosed in Patent Document 1 requires that the light beam be diffracted by a diffraction grating, a prism, or the like in order to make the light beam enter a phase modulation region corresponding to each wavelength. Therefore, problems arise in that the optical system becomes complicated and the configuration for phase modulation becomes complicated. Further, since the phase modulator of Patent Document 1 has a plurality of phase modulation regions for each wavelength, a problem arises in that the phase modulator becomes large.

本発明の第１の態様は、光学機器に関する。本態様に係る光学機器は、第１の波長の光および第２の波長の光に対して位相変調を与える共通の位相変調マスクと、第１の波長の光および第２の波長の光を、位相変調マスク上の同一の入射領域に入射させる照射光学系と、位相変調マスクによって位相変調された第１の波長の光および第２の波長の光を集光して点像分布関数に応じた像を形成する集光光学系と、を備える。位相変調マスクは、照射光学系と集光光学系との間に形成されるフーリエ面に配置され、入力に基づいて位相変調パターンを設定可能な位相変調器であり、位相変調器は、第１の波長の光について点像分布関数の像を形成するのに最適な位相変調パターンの階調である第１の波長の光用の階調と、第２の波長の光について点像分布関数の像を形成するのに最適な位相変調パターンの階調である第２の波長の光用の階調と、の間の階調の入力に基づいて設定された位相変調パターンにより、第１の波長の光および第２の波長の光に位相変調を与える。 A first aspect of the present invention relates to an optical instrument. The optical device according to this aspect includes a common phase modulation mask that provides phase modulation to the light of the first wavelength and the light of the second wavelength; An irradiation optical system that makes the light enter the same incident area on the phase modulation mask, and a first wavelength light and a second wavelength light that have been phase modulated by the phase modulation mask are condensed according to a point spread function. A condensing optical system that forms an image. The phase modulation mask is a phase modulator that is placed on a Fourier plane formed between the irradiation optical system and the condensing optical system, and can set a phase modulation pattern based on input . The gradation for the light of the first wavelength, which is the gradation of the phase modulation pattern that is optimal for forming an image of the point spread function for the light of the wavelength , and the gradation of the point spread function for the light of the second wavelength. The phase modulation pattern that is set based on the input of the gradation between the gradation for light of the second wavelength, which is the gradation of the phase modulation pattern that is optimal for forming an image , phase modulation is applied to the light of the second wavelength and the light of the second wavelength.

本発明の第２の態様は、光学機器に関する。本態様に係る光学機器は、第１の波長の光および第２の波長の光に対して位相変調を与える共通の位相変調マスクと、第１の波長の光および第２の波長の光を、位相変調マスク上の同一の入射領域に入射させる照射光学系と、位相変調マスクによって位相変調された第１の波長の光および第２の波長の光を集光して点像分布関数に応じた像を形成する集光光学系と、を備える。位相変調マスクは、照射光学系と集光光学系との間に形成されるフーリエ面に配置され、入力に基づいて位相変調パターンを設定可能な位相変調器であり、位相変調パターンは、入射領域において、第１の波長の光に第１位相変調を与えるための第１領域と、第２の波長の光に第２位相変調を与えるための第２領域と、を含む。 A second aspect of the invention relates to an optical instrument. The optical device according to this aspect includes a common phase modulation mask that provides phase modulation to the light of the first wavelength and the light of the second wavelength; An irradiation optical system that makes the light enter the same incident area on the phase modulation mask, and a first wavelength light and a second wavelength light that have been phase modulated by the phase modulation mask are condensed according to a point spread function. A condensing optical system that forms an image. The phase modulation mask is a phase modulator that is placed on the Fourier plane formed between the irradiation optical system and the condensing optical system and can set a phase modulation pattern based on the input. includes a first region for imparting a first phase modulation to light of a first wavelength and a second region for imparting a second phase modulation to light of a second wavelength.

本発明の第３の態様は、第１の波長の光および第２の波長の光から点像分布関数に応じた像を形成する方法に関する。本態様に係る方法は、第１の波長の光および第２の波長の光を撮像面へと導く光学系のフーリエ面に位相変調器を配置して、位相変調器上の同一の入射領域に、第１の波長の光および第２の波長の光を入射させ、第１の波長の光について点像分布関数の像を形成するのに最適な位相変調パターンの階調と、第２の波長の光について点像分布関数の像を形成するのに最適な位相変調パターンの階調と、の間の階調の入力に基づいて位相変調器に設定された位相変調パターンにより、第１の波長の光および第２の波長の光に対して位相変調を与え、位相変調器によって位相変調された第１の波長の光および第２の波長の光を光学系により集光して撮像面に点像分布関数に応じた像を形成する。 A third aspect of the present invention relates to a method of forming an image according to a point spread function from light of a first wavelength and light of a second wavelength. In the method according to this aspect, a phase modulator is arranged on the Fourier plane of an optical system that guides light of a first wavelength and light of a second wavelength to an imaging surface, and the light of a first wavelength and a light of a second wavelength are placed in the same incident area on the phase modulator. , the gradation of the phase modulation pattern that is optimal for making the light of the first wavelength and the light of the second wavelength incident, and forming the image of the point spread function for the light of the first wavelength, and the second wavelength. The phase modulation pattern set in the phase modulator based on the input of the gradation between the optimum gradation of the phase modulation pattern to form an image of the point spread function for the light of the first wavelength. Phase modulation is applied to the light of the first wavelength and the light of the second wavelength, and the light of the first wavelength and the light of the second wavelength that have been phase-modulated by the phase modulator are focused by an optical system and focused on the imaging surface. Forms an image according to the image distribution function.

本発明の第４の態様は、第１の波長の光および第２の波長の光から点像分布関数に応じた像を形成する方法に関する。本態様に係る方法は、第１の波長の光および第２の波長の光を撮像面へと導く光学系のフーリエ面に位相変調器を配置して、位相変調器上の同一の入射領域に、第１の波長の光および第２の波長の光を入射させ、入力に基づいて位相変調器に設定された位相変調パターンにより、第１の波長の光および第２の波長の光に対して位相変調を与え、位相変調器によって位相変調された第１の波長の光および第２の波長の光を光学系により集光して撮像面に点像分布関数に応じた像を形成する。位相変調パターンは、入射領域において、第１の波長の光に第１位相変調を与えるための第１領域と、第２の波長の光に第２位相変調を与えるための第２領域と、を含む。 A fourth aspect of the present invention relates to a method of forming an image according to a point spread function from light of a first wavelength and light of a second wavelength. In the method according to this aspect, a phase modulator is arranged on the Fourier plane of an optical system that guides light of a first wavelength and light of a second wavelength to an imaging surface, and the light of a first wavelength and a light of a second wavelength are placed in the same incident area on the phase modulator. , a first wavelength of light and a second wavelength of light are incident, and a phase modulation pattern is set in the phase modulator based on the input, so that the first wavelength of light and the second wavelength of light are Phase modulation is applied, and the optical system collects the first wavelength light and the second wavelength light that have been phase modulated by the phase modulator to form an image on the imaging surface according to the point spread function. The phase modulation pattern includes, in the incident region, a first region for imparting a first phase modulation to light of a first wavelength, and a second region for imparting a second phase modulation to light of a second wavelength. include.

本発明によれば、簡素な構成で複数の蛍光の位相を変調させることができる。 According to the present invention, the phases of a plurality of fluorescent lights can be modulated with a simple configuration.

図１は、実施形態に係る位相変調マスクを備えた光学機器の構成を示す模式図である。FIG. 1 is a schematic diagram showing the configuration of an optical device including a phase modulation mask according to an embodiment. 図２（ａ）は、実施形態に係る２つの輝点像がＺ軸方向における蛍光の発光点の位置に応じて撮像面上で回転することを示す模式図である。図２（ｂ）は、実施形態に係るＤＨ－ＰＳＦを示す図である。FIG. 2A is a schematic diagram showing that two bright point images according to the embodiment rotate on the imaging surface depending on the position of the fluorescent light emitting point in the Z-axis direction. FIG. 2(b) is a diagram showing the DH-PSF according to the embodiment. 図３（ａ）は、実施形態に係る全ての第１蛍光色素が活性状態にあることを示す模式図である。図３（ｂ）は、実施形態に係る全ての第１蛍光色素が不活性状態にあることを示す模式図である。図３（ｃ）、（ｄ）は、実施形態に係る第１蛍光色素の一部が活性状態にあることを示す模式図である。図３（ｅ）は、実施形態に係る全ての第２蛍光色素が活性状態にあることを示す模式図である。図３（ｆ）は、実施形態に係る全ての第２蛍光色素が不活性状態にあることを示す模式図である。図３（ｇ）、（ｈ）は、実施形態に係る第２蛍光色素の一部が活性状態にあることを示す模式図である。FIG. 3(a) is a schematic diagram showing that all the first fluorescent dyes according to the embodiment are in an active state. FIG. 3(b) is a schematic diagram showing that all the first fluorescent dyes according to the embodiment are in an inactive state. FIGS. 3(c) and 3(d) are schematic diagrams showing that a part of the first fluorescent dye according to the embodiment is in an active state. FIG. 3(e) is a schematic diagram showing that all the second fluorescent dyes according to the embodiment are in an active state. FIG. 3(f) is a schematic diagram showing that all the second fluorescent dyes according to the embodiment are in an inactive state. FIGS. 3(g) and 3(h) are schematic diagrams showing that a part of the second fluorescent dye according to the embodiment is in an active state. 図４（ａ）～（ｅ）は、実施形態に係る第１の３次元超解像画像を取得する手順を示す模式図である。図４（ｆ）は、実施形態に係る第１物質の数を取得する手順を示す模式図である。FIGS. 4(a) to 4(e) are schematic diagrams showing a procedure for acquiring a first three-dimensional super-resolution image according to the embodiment. FIG. 4(f) is a schematic diagram showing a procedure for acquiring the number of first substances according to the embodiment. 図５（ａ）は、実施形態に係る複数の第１の２次元画像から取得された第１の３次元超解像画像と、複数の第２の２次元画像から取得された第２の３次元超解像画像とを示す模式図である。図５（ｂ）は、実施形態の変更例に係る複数の共通の２次元画像から取得された第１および第２の３次元超解像画像を示す模式図である。FIG. 5A shows a first three-dimensional super-resolution image obtained from a plurality of first two-dimensional images and a second three-dimensional super-resolution image obtained from a plurality of second two-dimensional images according to the embodiment. FIG. 3 is a schematic diagram showing a dimensional super-resolution image. FIG. 5B is a schematic diagram showing first and second three-dimensional super-resolution images acquired from a plurality of common two-dimensional images according to a modified example of the embodiment. 図６（ａ）は、実施形態に係る位相変調器を備えた光学機器の構成を示す模式図である。図６（ｂ）は、実施形態に係る位相変調器の構成を示す模式図である。FIG. 6(a) is a schematic diagram showing the configuration of an optical device including a phase modulator according to an embodiment. FIG. 6(b) is a schematic diagram showing the configuration of the phase modulator according to the embodiment. 図７（ａ）、（ｂ）は、それぞれ、実施形態に係る位相変調器に設定される第１位相変調パターンと第２位相変調パターンを示す図である。FIGS. 7A and 7B are diagrams showing a first phase modulation pattern and a second phase modulation pattern, respectively, set in the phase modulator according to the embodiment. 図８（ａ）、（ｂ）は、実施形態に係る第１位相変調パターンを用いて第１蛍光を観察した場合の結像状態とグラフを示す図である。図８（ｃ）、（ｄ）は、実施形態に係る第１位相変調パターンを用いて第２蛍光を観察した場合の結像状態とグラフを示す図である。図８（ｅ）、（ｆ）は、実施形態に係る第２位相変調パターンを用いて第１蛍光を観察した場合の結像状態とグラフを示す図である。図８（ｇ）、（ｈ）は、実施形態に係る第２位相変調パターンを用いて第２蛍光を観察した場合の結像状態とグラフを示す図である。FIGS. 8A and 8B are diagrams showing imaging states and graphs when first fluorescence is observed using the first phase modulation pattern according to the embodiment. FIGS. 8(c) and 8(d) are diagrams showing imaging states and graphs when second fluorescence is observed using the first phase modulation pattern according to the embodiment. FIGS. 8E and 8F are diagrams showing imaging states and graphs when the first fluorescence is observed using the second phase modulation pattern according to the embodiment. FIGS. 8(g) and 8(h) are diagrams showing imaging states and graphs when second fluorescence is observed using the second phase modulation pattern according to the embodiment. 図９は、実施例１の位相変調パターンの構成を示す図である。FIG. 9 is a diagram showing the configuration of a phase modulation pattern in Example 1. 図１０は、実施例１の位相変調パターンを用いた場合の第１蛍光の結像状態を示す図である。FIG. 10 is a diagram showing the imaging state of the first fluorescence when the phase modulation pattern of Example 1 is used. 図１１は、実施例１の位相変調パターンを用いた場合の第２蛍光の結像状態を示す図である。FIG. 11 is a diagram showing the imaging state of the second fluorescence when the phase modulation pattern of Example 1 is used. 図１２（ａ）、（ｂ）は、実施例１の位相変調パターンを用いて第１蛍光を観察した場合の結像状態とグラフを示す図である。図１２（ｃ）、（ｄ）は、実施例１の位相変調パターンを用いて第２蛍光を観察した場合の結像状態とグラフを示す図である。FIGS. 12A and 12B are diagrams showing imaging states and graphs when the first fluorescence is observed using the phase modulation pattern of Example 1. FIGS. 12C and 12D are diagrams showing imaging states and graphs when the second fluorescence is observed using the phase modulation pattern of Example 1. 図１３（ａ）～（ｃ）は、実施例１の位相変調パターンに係る第１位相変調パターンと第２位相変調パターンを統合することについて詳細に説明する図である。図１３（ａ）～（ｃ）は、それぞれ、第１位相変調パターンと、第２位相変調パターンと、実施例１の位相変調パターンにおいて、液晶パネルの１つの画素位置を模式的に示す図である。FIGS. 13A to 13C are diagrams illustrating in detail the integration of the first phase modulation pattern and the second phase modulation pattern according to the phase modulation pattern of the first embodiment. 13(a) to (c) are diagrams schematically showing one pixel position of the liquid crystal panel in the first phase modulation pattern, the second phase modulation pattern, and the phase modulation pattern of Example 1, respectively. be. 図１４（ａ）は、実施例２の位相変調パターンにおける領域の配置を示す模式図である。図１４（ｂ）～（ｄ）は、実施例２の位相変調パターンの構成を示す模式図である。FIG. 14(a) is a schematic diagram showing the arrangement of regions in the phase modulation pattern of Example 2. FIGS. 14(b) to 14(d) are schematic diagrams showing the configuration of the phase modulation pattern of Example 2. 図１５（ａ）、（ｂ）は、実施例２の位相変調パターンを用いて第１蛍光を観察した場合の結像状態とグラフを示す図である。図１５（ｃ）、（ｄ）は、実施例２の位相変調パターンを用いて第２蛍光を観察した場合の結像状態とグラフを示す図である。図１５（ｅ）、（ｆ）は、実施例２の位相変調パターンを用いて第１蛍光と第２蛍光を観察した場合の結像状態を示す図である。FIGS. 15A and 15B are diagrams showing imaging states and graphs when the first fluorescence is observed using the phase modulation pattern of Example 2. FIGS. 15C and 15D are diagrams showing imaging states and graphs when the second fluorescence is observed using the phase modulation pattern of Example 2. FIGS. 15E and 15F are diagrams showing the imaging state when the first fluorescence and the second fluorescence are observed using the phase modulation pattern of Example 2. 図１６（ａ）、（ｂ）は、それぞれ、実施例２の位相変調パターンを用いて第１蛍光と第２蛍光を広視野で観察した結果を示す図である。FIGS. 16A and 16B are diagrams showing the results of observing the first fluorescence and the second fluorescence in a wide field of view using the phase modulation pattern of Example 2, respectively. 図１７（ａ）は、実施例３の位相変調パターンにおける領域の配置を示す模式図である。図１７（ｂ）～（ｄ）は、実施例３の位相変調パターンの構成を示す模式図である。FIG. 17(a) is a schematic diagram showing the arrangement of regions in the phase modulation pattern of Example 3. FIGS. 17(b) to 17(d) are schematic diagrams showing the configuration of the phase modulation pattern of Example 3. 図１８（ａ）、（ｂ）は、実施例３の位相変調パターンを用いて第１蛍光を観察した場合の結像状態とグラフを示す図である。図１８（ｃ）、（ｄ）は、実施例３の位相変調パターンを用いて第２蛍光を観察した場合の結像状態とグラフを示す図である。図１８（ｅ）、（ｆ）は、実施例３の位相変調パターンを用いて第１蛍光と第２蛍光を観察した場合の結像状態を示す図である。FIGS. 18A and 18B are diagrams showing imaging states and graphs when the first fluorescence is observed using the phase modulation pattern of Example 3. FIGS. 18C and 18D are diagrams showing imaging states and graphs when the second fluorescence is observed using the phase modulation pattern of Example 3. FIGS. 18(e) and 18(f) are diagrams showing the imaging state when the first fluorescence and the second fluorescence are observed using the phase modulation pattern of Example 3. 図１９（ａ）、（ｂ）は、それぞれ、実施例３の位相変調パターンを用いて第１蛍光と第２蛍光を広視野で観察した結果を示す図である。FIGS. 19A and 19B are diagrams showing the results of observing the first fluorescence and the second fluorescence in a wide field of view using the phase modulation pattern of Example 3, respectively. 図２０（ａ）は、実施例４の位相変調パターンにおける領域の配置を示す模式図である。図２０（ｂ）～（ｄ）は、実施例４の位相変調パターンの構成を示す模式図である。FIG. 20(a) is a schematic diagram showing the arrangement of regions in the phase modulation pattern of Example 4. FIGS. 20(b) to 20(d) are schematic diagrams showing the configuration of the phase modulation pattern of Example 4. 図２１（ａ）、（ｂ）は、実施例４の位相変調パターンを用いて第１蛍光を観察した場合の結像状態とグラフを示す図である。図２１（ｃ）、（ｄ）は、実施例４の位相変調パターンを用いて第２蛍光を観察した場合の結像状態とグラフを示す図である。図２１（ｅ）、（ｆ）は、実施例４の位相変調パターンを用いて第１蛍光と第２蛍光を観察した場合の結像状態を示す図である。FIGS. 21A and 21B are diagrams showing imaging states and graphs when the first fluorescence is observed using the phase modulation pattern of Example 4. FIGS. 21(c) and 21(d) are diagrams showing imaging states and graphs when the second fluorescence is observed using the phase modulation pattern of Example 4. FIGS. 21(e) and 21(f) are diagrams showing the imaging state when the first fluorescence and the second fluorescence are observed using the phase modulation pattern of Example 4. 図２２（ａ）、（ｂ）は、それぞれ、実施例４の位相変調パターンを用いて第１蛍光と第２蛍光を広視野で観察した結果を示す図である。FIGS. 22A and 22B are diagrams showing the results of observing the first fluorescence and the second fluorescence in a wide field of view using the phase modulation pattern of Example 4, respectively. 図２３（ａ）は、実施例５の位相変調パターンにおける領域の配置を示す模式図である。図２３（ｂ）～（ｅ）は、実施例５の位相変調パターンの構成を示す模式図である。FIG. 23(a) is a schematic diagram showing the arrangement of regions in the phase modulation pattern of Example 5. FIGS. 23(b) to 23(e) are schematic diagrams showing the configuration of the phase modulation pattern of Example 5. 図２４（ａ）、（ｂ）は、実施例５の位相変調パターンを用いて第１蛍光を観察した場合の結像状態とグラフを示す図である。図２４（ｃ）、（ｄ）は、実施例５の位相変調パターンを用いて第２蛍光を観察した場合の結像状態とグラフを示す図である。図２４（ｅ）、（ｇ）は、実施例５の位相変調パターンを用いて第１蛍光を観察した場合の結像状態を示す図である。図２４（ｆ）、（ｈ）は、実施例５の位相変調パターンを用いて第２蛍光を観察した場合の結像状態を示す図である。FIGS. 24A and 24B are diagrams showing imaging states and graphs when the first fluorescence is observed using the phase modulation pattern of Example 5. FIGS. 24(c) and 24(d) are diagrams showing imaging states and graphs when second fluorescence is observed using the phase modulation pattern of Example 5. FIGS. 24(e) and 24(g) are diagrams showing the imaging state when the first fluorescence is observed using the phase modulation pattern of Example 5. FIGS. 24(f) and 24(h) are diagrams showing the imaging state when the second fluorescence is observed using the phase modulation pattern of Example 5. 図２５（ａ）、（ｂ）は、それぞれ、実施例５の位相変調パターンを用いて第１蛍光と第２蛍光を広視野で観察した結果を示す図である。FIGS. 25A and 25B are diagrams showing the results of observing the first fluorescence and the second fluorescence in a wide field of view using the phase modulation pattern of Example 5, respectively. 図２６は、実施例６の位相変調パターンの構成を示す図である。FIG. 26 is a diagram showing the configuration of a phase modulation pattern in Example 6. 図２７（ａ）、（ｃ）、（ｅ）、（ｇ）は、実施例６の位相変調パターンを用いて第１蛍光を観察した場合の結像状態を示す図である。図２７（ｂ）、（ｄ）、（ｆ）、（ｈ）は、実施例６の位相変調パターンを用いて第２蛍光を観察した場合の結像状態を示す図である。FIGS. 27A, 27C, 27E, and 27G are diagrams showing the imaging state when the first fluorescence is observed using the phase modulation pattern of Example 6. FIGS. 27(b), (d), (f), and (h) are diagrams showing the imaging state when the second fluorescence is observed using the phase modulation pattern of Example 6. 図２８（ａ）、（ｃ）、（ｅ）、（ｇ）は、実施例６の位相変調パターンを用いて第１蛍光を観察した場合の結像状態を示す図である。図２８（ｂ）、（ｄ）、（ｆ）、（ｈ）は、実施例６の位相変調パターンを用いて第２蛍光を観察した場合の結像状態を示す図である。FIGS. 28A, 28C, 28E, and 28G are diagrams showing the imaging state when the first fluorescence is observed using the phase modulation pattern of Example 6. FIGS. 28(b), (d), (f), and (h) are diagrams showing the imaging state when the second fluorescence is observed using the phase modulation pattern of Example 6. 図２９（ａ）は、実施形態に係る第１位相変調パターンに対応するように作製された位相板を示す模式図である。図２９（ｂ）は、実施形態に係る第２位相変調パターンに対応するように作製された位相板を示す模式図である。図２９（ｃ）は、実施例１の位相変調パターンと同様に統合した位相板を示す模式図である。図２９（ｄ）～（ｆ）は、実施形態に係る位相板を厚み方向に平行な平面で切断したときの切断面を示す模式図である。FIG. 29(a) is a schematic diagram showing a phase plate manufactured to correspond to the first phase modulation pattern according to the embodiment. FIG. 29(b) is a schematic diagram showing a phase plate manufactured to correspond to the second phase modulation pattern according to the embodiment. FIG. 29(c) is a schematic diagram showing an integrated phase plate similar to the phase modulation pattern of Example 1. FIGS. 29(d) to (f) are schematic diagrams showing cut surfaces when the phase plate according to the embodiment is cut along a plane parallel to the thickness direction. 図３０（ａ）は、実施形態に係る第１位相変調パターンに対応するように作製された位相板を示す模式図である。図３０（ｂ）は、実施形態に係る第２位相変調パターンに対応するように作製された位相板を示す模式図である。図３０（ｃ）は、実施例２の位相変調パターンと同様に統合した位相板を示す模式図である。図３０（ｄ）～（ｆ）は、実施形態に係る位相板を厚み方向に見た場合の領域を模式的に示す図である。図３０（ｇ）～（ｉ）は、実施形態に係る位相板を厚み方向に平行な平面で切断したときの切断面を示す模式図である。FIG. 30(a) is a schematic diagram showing a phase plate manufactured to correspond to the first phase modulation pattern according to the embodiment. FIG. 30(b) is a schematic diagram showing a phase plate manufactured to correspond to the second phase modulation pattern according to the embodiment. FIG. 30(c) is a schematic diagram showing an integrated phase plate similar to the phase modulation pattern of Example 2. 30(d) to (f) are diagrams schematically showing regions when the phase plate according to the embodiment is viewed in the thickness direction. FIGS. 30(g) to (i) are schematic diagrams showing cut surfaces when the phase plate according to the embodiment is cut along a plane parallel to the thickness direction.

以下の実施形態は、中心波長の異なる２種類の蛍光を観察するための光学機器に本発明を適用したものである。実施形態の光学機器は、試料に光を照射して、試料から生じた蛍光を撮像部により撮像する蛍光顕微鏡である。本発明を適用可能な光学機器は、以下の実施形態に限られるものではなく、蛍光顕微鏡以外の顕微鏡、カメラ等の撮像機器、望遠鏡、内視鏡、プラネタリウム等であってよい。また、本発明を適用可能な光学機器は、蛍光を撮像および観察するための装置に限らず、蛍光以外の光を撮像および観察するための装置であってもよい。 In the following embodiments, the present invention is applied to an optical device for observing two types of fluorescence having different center wavelengths. The optical device of the embodiment is a fluorescence microscope that irradiates a sample with light and uses an imaging unit to image fluorescence generated from the sample. Optical devices to which the present invention can be applied are not limited to the following embodiments, and may include microscopes other than fluorescence microscopes, imaging devices such as cameras, telescopes, endoscopes, planetariums, and the like. Further, the optical equipment to which the present invention can be applied is not limited to a device for imaging and observing fluorescence, but may be a device for imaging and observing light other than fluorescence.

図１に示すように、光学機器１０は、照射光学系３０と、ビームエキスパンダ３７と、ステージ４０と、位相変調マスク５０と、集光光学系６０と、コントローラ７１、７２と、情報処理装置１００と、を備える。図１には、互いに直交するＸＹＺ軸が示されている。 As shown in FIG. 1, the optical device 10 includes an irradiation optical system 30, a beam expander 37, a stage 40, a phase modulation mask 50, a condensing optical system 60, controllers 71 and 72, and an information processing device. 100. FIG. 1 shows XYZ axes that are orthogonal to each other.

ステージ４０には、試料が載せられたスライドガラス４１が設置される。実施形態の試料は、被検細胞を含む生体試料である。被検細胞は、たとえば病変組織から採取される。被検細胞の核は、第１物質と第２物質を含む。撮像対象となる第１物質および第２物質は、たとえば疾患マーカーとなる遺伝子、タンパク質またはペプチド等の生体物質である。実施形態の第１物質は、ＨＥＲ２遺伝子であり、実施形態の第２物質は、１７番染色体のセントロメア領域であるＣＥＰ１７である。 A slide glass 41 on which a sample is placed is installed on the stage 40 . The sample of the embodiment is a biological sample containing test cells. The test cells are collected from diseased tissue, for example. The nucleus of the test cell contains the first substance and the second substance. The first substance and second substance to be imaged are, for example, biological substances such as genes, proteins, or peptides that serve as disease markers. The first substance of the embodiment is the HER2 gene, and the second substance of the embodiment is CEP17, which is the centromere region of chromosome 17.

試料の調製により、第１物質と第２物質には、それぞれ蛍光物質が結合している。実施形態では、第１物質に結合される蛍光物質は第１蛍光色素であり、第２物質に結合される蛍光物質は第２蛍光色素である。また、試料の調製により、被検細胞の核は、第３蛍光色素により特異的に染色されている。 Due to the preparation of the sample, a fluorescent substance is bound to each of the first substance and the second substance. In embodiments, the fluorescent material bound to the first substance is a first fluorescent dye and the fluorescent material bound to the second substance is a second fluorescent dye. Furthermore, in the sample preparation, the nucleus of the test cell is specifically stained with the third fluorescent dye.

第１蛍光色素は、後述する光源２１からの光が照射されると第１の波長を中心波長とする第１蛍光を生じる活性状態と、光源２１からの光が照射されても第１蛍光を生じない不活性状態とにスイッチング可能である。第１蛍光色素は、光源２１からの光が照射されると不活性化し、後述する光源２３からの光が照射されると活性化する。第２蛍光色素は、後述する光源２２からの光が照射されると第２の波長を中心波長とする第２蛍光を生じる活性状態と、光源２２からの光が照射されても第２蛍光を生じない不活性状態とにスイッチング可能である。第２蛍光色素は、光源２２からの光が照射されると不活性化し、光源２３からの光が照射されると活性化する。第３蛍光色素は、光源２３からの光が照射されると第３の波長を中心波長とする第３蛍光を生じる。 The first fluorescent dye is in an active state in which it emits first fluorescence with the first wavelength as the center wavelength when it is irradiated with light from a light source 21, which will be described later, and in an active state in which it emits first fluorescence with the center wavelength being the first wavelength. It can be switched to an inactive state in which it does not occur. The first fluorescent dye is inactivated when irradiated with light from a light source 21, and activated when irradiated with light from a light source 23, which will be described later. The second fluorescent dye has an active state in which it emits second fluorescence with a second wavelength as the center wavelength when it is irradiated with light from a light source 22, which will be described later, and an active state in which it emits second fluorescence with the center wavelength being the second wavelength. It can be switched to an inactive state in which it does not occur. The second fluorescent dye is inactivated when irradiated with light from the light source 22, and activated when irradiated with light from the light source 23. When the third fluorescent dye is irradiated with light from the light source 23, it generates third fluorescence having a third wavelength as its center wavelength.

撮像対象の物質は、上記のように物質に結合する蛍光色素に限らず、自家蛍光を生じる物質であってもよい。スライドガラス４１に載せられる試料は、生体試料に限らない。撮像対象の物質は、生体試料に含まれる物質に限らず、生体試料に由来しない物質であってもよい。たとえば、撮像対象の物質は、蛍光ビーズなど、蛍光を生じる粒子等の蛍光物質であってもよい。 The substance to be imaged is not limited to the fluorescent dye that binds to the substance as described above, but may be a substance that generates autofluorescence. The sample placed on the slide glass 41 is not limited to a biological sample. The substance to be imaged is not limited to a substance contained in a biological sample, but may be a substance not derived from a biological sample. For example, the substance to be imaged may be a fluorescent substance such as particles that generate fluorescence, such as fluorescent beads.

照射光学系３０は、光源部２０と、シャッター３１と、１／４波長板３２と、ビームエキスパンダ３３と、集光レンズ３４と、ダイクロイックミラー３５と、対物レンズ３６と、を備える。照射光学系３０は、試料に光を照射して、試料中に含まれる蛍光標識された第１～第３物質から、それぞれ第１～第３蛍光を生じさせ、第１蛍光と第２蛍光を、位相変調マスク５０における同一の入射領域に入射させる。 The irradiation optical system 30 includes a light source section 20, a shutter 31, a quarter wavelength plate 32, a beam expander 33, a condensing lens 34, a dichroic mirror 35, and an objective lens 36. The irradiation optical system 30 irradiates the sample with light to generate first to third fluorescence from the first to third fluorescently labeled substances contained in the sample, and separates the first fluorescence and the second fluorescence. , to the same incident area on the phase modulation mask 50.

光源部２０は、光源２１～２３と、ミラー２４と、ダイクロイックミラー２５、２６と、を備える。 The light source section 20 includes light sources 21 to 23, a mirror 24, and dichroic mirrors 25 and 26.

光源２１～２３は、それぞれ、異なる波長の光を出射する。具体的には、光源２１、２２、２３から出射される光の波長は、それぞれ、６４０ｎｍ、４８８ｎｍ、４０５ｎｍである。光源２１～２３としては、レーザ光源を用いるのが好ましいが、水銀ランプ、キセノンランプ、ＬＥＤ等を用いてもよい。上述したように、光源２１からの出射される光は、被検細胞に含まれる第１蛍光色素を励起させて第１蛍光を生じさせるとともに、第１蛍光色素を不活性化する。光源２２から出射される光は、被検細胞に含まれる第２蛍光色素を励起させて第２蛍光を生じさせるとともに、第２蛍光色素を不活性状態にする。光源２３から出射される光は、被検細胞に含まれる第３蛍光色素を励起させて第３蛍光を生じさせるとともに、第１蛍光色素と第２蛍光色素を活性状態にする。なお、実施形態では、第１蛍光の中心波長である第１の波長は６９０ｎｍであり、第２蛍光の中心波長である第２の波長は５３０ｎｍである。 The light sources 21 to 23 each emit light of different wavelengths. Specifically, the wavelengths of the light emitted from the light sources 21, 22, and 23 are 640 nm, 488 nm, and 405 nm, respectively. As the light sources 21 to 23, it is preferable to use laser light sources, but mercury lamps, xenon lamps, LEDs, etc. may also be used. As described above, the light emitted from the light source 21 excites the first fluorescent dye contained in the test cells to generate first fluorescence, and also inactivates the first fluorescent dye. The light emitted from the light source 22 excites the second fluorescent dye contained in the test cells to generate second fluorescence, and also inactivates the second fluorescent dye. The light emitted from the light source 23 excites the third fluorescent dye contained in the test cell to generate third fluorescence, and activates the first fluorescent dye and the second fluorescent dye. In the embodiment, the first wavelength, which is the center wavelength of the first fluorescence, is 690 nm, and the second wavelength, which is the center wavelength of the second fluorescence, is 530 nm.

ミラー２４は、光源２１からの光を反射する。ダイクロイックミラー２５は、光源２１からの光を透過し、光源２２からの光を反射する。ダイクロイックミラー２６は、光源２１、２２からの光を透過し、光源２３からの光を反射する。光源２１～２３からの光の光軸は、ミラー２４とダイクロイックミラー２５、２６により、互いに一致させられる。なお、光源２１～２３に代えて、１つの光源が、波長６４０ｎｍ、４８８ｎｍ、４０５ｎｍの光を出射してもよい。 Mirror 24 reflects the light from light source 21 . Dichroic mirror 25 transmits light from light source 21 and reflects light from light source 22. Dichroic mirror 26 transmits light from light sources 21 and 22 and reflects light from light source 23. The optical axes of the lights from the light sources 21 to 23 are made to coincide with each other by a mirror 24 and dichroic mirrors 25 and 26. Note that instead of the light sources 21 to 23, one light source may emit light with wavelengths of 640 nm, 488 nm, and 405 nm.

シャッター３１は、コントローラ７１により駆動され、光源部２０から出射された光を通過させる状態と、光源部２０から出射された光を遮断する状態とに切り替える。これにより、被検細胞に対する光の照射時間が調整される。１／４波長板３２は、光源部２０から出射された直線偏光の光を円偏光に変換する。蛍光色素は、所定の偏光方向の光に反応する。よって、光源部２０から出射された励起用の光を円偏光に変換することにより、励起用の光の偏光方向が、蛍光色素が反応する偏光方向に一致し易くなる。これにより、被検細胞に含まれる蛍光色素に効率良く蛍光を励起させることができる。ビームエキスパンダ３３は、スライドガラス４１上における光の照射領域を広げる。集光レンズ３４は、対物レンズ３６からスライドガラス４１に平行光が照射されるよう光を集光する。 The shutter 31 is driven by the controller 71 and is switched between a state where the light emitted from the light source section 20 passes and a state where the light emitted from the light source section 20 is blocked. Thereby, the irradiation time of light to the test cells is adjusted. The quarter-wave plate 32 converts the linearly polarized light emitted from the light source section 20 into circularly polarized light. Fluorescent dyes respond to light with a predetermined polarization direction. Therefore, by converting the excitation light emitted from the light source section 20 into circularly polarized light, the polarization direction of the excitation light can easily match the polarization direction with which the fluorescent dye reacts. Thereby, the fluorescent dye contained in the test cell can be efficiently excited to emit fluorescence. The beam expander 33 expands the light irradiation area on the slide glass 41. The condensing lens 34 condenses light so that the slide glass 41 is irradiated with parallel light from the objective lens 36 .

ダイクロイックミラー３５は、光源部２０から出射された光を反射し、被検細胞から生じた蛍光を透過する。対物レンズ３６は、ダイクロイックミラー３５で反射された光を、スライドガラス４１に導く。ステージ４０は、コントローラ７２により駆動され、水平面であるＸ－Ｙ平面内で移動する。被検細胞から生じた蛍光は、対物レンズ３６を通り、ダイクロイックミラー３５を透過し、ビームエキスパンダ３７により平行光とされる。 The dichroic mirror 35 reflects the light emitted from the light source section 20 and transmits the fluorescence generated from the test cells. The objective lens 36 guides the light reflected by the dichroic mirror 35 to the slide glass 41. The stage 40 is driven by the controller 72 and moves within the horizontal XY plane. Fluorescence generated from the test cells passes through an objective lens 36, a dichroic mirror 35, and is converted into parallel light by a beam expander 37.

位相変調マスク５０は、第１蛍光および第２蛍光に対して位相変調を与える。位相変調マスク５０は、対物レンズ３６と、ダイクロイックミラー３５と、ビームエキスパンダ３７と、集光レンズ６１とが構成する光学系のフーリエ面に配置され、位相変調マスク５０の同一の入射領域に入射する光の位相を変調する作用を有する。 The phase modulation mask 50 provides phase modulation to the first fluorescence and the second fluorescence. The phase modulation mask 50 is arranged on the Fourier plane of the optical system constituted by the objective lens 36, the dichroic mirror 35, the beam expander 37, and the condensing lens 61, and the phase modulation mask 50 is arranged on the Fourier plane of the optical system constituted by the objective lens 36, the dichroic mirror 35, the beam expander 37, and the condensing lens 61. It has the effect of modulating the phase of light.

なお、位相差が“θ”の場合と、位相差が“θ＋ｎ×２π”（ｎ＝±０、１、２、３…）の場合とは、蛍光に対して与えられる位相差としては実質的に同じである。したがって、位相変調マスク５０によって第１蛍光に与えられる位相差と第２蛍光に与えられる位相差は、１つの値に限らず、１つの値にｎ×２πが加算された値でもよい。 Note that the case where the phase difference is "θ" and the case where the phase difference is "θ+n×2π" (n=±0, 1, 2, 3...) are substantially different from each other as the phase difference given to the fluorescence. is the same as Therefore, the phase difference given to the first fluorescence and the phase difference given to the second fluorescence by the phase modulation mask 50 is not limited to one value, but may be a value obtained by adding n×2π to one value.

位相変調マスク５０は、位相変調マスク５０を透過する光の位相を変調させる場合、図１に示すように配置される。透過する光の位相を変調させる位相変調マスク５０は、たとえば、アクリル樹脂等の透明部材からなる位相板、液晶パネルを備えた位相変調器等により構成される。 The phase modulation mask 50 is arranged as shown in FIG. 1 when modulating the phase of light passing through the phase modulation mask 50. The phase modulation mask 50 that modulates the phase of transmitted light is configured by, for example, a phase plate made of a transparent material such as acrylic resin, a phase modulator equipped with a liquid crystal panel, or the like.

位相変調マスク５０は、位相変調マスク５０により反射する光の位相を変調させる場合、図６（ａ）に示すように配置される。反射する光の位相を変調させる位相変調マスク５０は、たとえば、液晶パネルを備えた位相変調器、デフォーマブルミラー、デフォーマブルミラーと同様に構成された反射部材等により構成される。なお、位相変調マスク５０が液晶パネルを備えた位相変調器により構成される場合、図６（ａ）に示すように、ビームエキスパンダ３７に代えて偏光板３８とミラー３９が配置され、位相変調マスク５０は、位相変調器５１の位置に配置される。位相変調マスク５０がデフォーマブルミラーやデフォーマブルミラーと同様に構成された反射部材等により構成される場合、図６（ａ）に示す構成から、偏光板３８が省略され、位相変調マスク５０は、位相変調器５１の位置に配置される。 When the phase modulation mask 50 modulates the phase of the light reflected by the phase modulation mask 50, it is arranged as shown in FIG. 6(a). The phase modulation mask 50 that modulates the phase of reflected light is configured by, for example, a phase modulator equipped with a liquid crystal panel, a deformable mirror, a reflecting member configured similarly to the deformable mirror, or the like. Note that when the phase modulation mask 50 is constituted by a phase modulator equipped with a liquid crystal panel, a polarizing plate 38 and a mirror 39 are arranged in place of the beam expander 37, as shown in FIG. Mask 50 is placed at the position of phase modulator 51 . When the phase modulation mask 50 is composed of a deformable mirror or a reflective member configured similarly to the deformable mirror, the polarizing plate 38 is omitted from the configuration shown in FIG. 6(a), and the phase modulation mask 50 is It is placed at the position of the phase modulator 51.

透過する光の位相を変調させる位相変調マスク５０の構成例については、追って図２９（ａ）～図３０（ｉ）を参照して説明する。反射する光の位相を変調させる位相変調マスク５０の構成例については、追って図６（ａ）～図２８（ｈ）を参照して説明する。 A configuration example of the phase modulation mask 50 that modulates the phase of transmitted light will be described later with reference to FIGS. 29(a) to 30(i). Examples of the configuration of the phase modulation mask 50 that modulates the phase of reflected light will be described later with reference to FIGS. 6(a) to 28(h).

位相変調マスク５０は、第１蛍光色素から生じた第１蛍光の点像分布関数に応じた像を形成し、第２蛍光色素から生じた第２蛍光の点像分布関数に応じた像を形成する。実施形態の位相変調マスク５０は、１つの第１蛍光色素から生じた第１蛍光を撮像部６２の撮像面６２ａにおいて２つの焦点に結像させ、１つの第２蛍光色素から生じた第２蛍光を撮像部６２の撮像面６２ａにおいて２つの焦点に結像させる。このような点像分布関数は、ＤＨ－ＰＳＦ（Double-Helix Point Spread Function）と呼ばれる。位相変調マスク５０は、フーリエ面に入射する第１蛍光および第２蛍光の位相を変調し、第１蛍光および第２蛍光の両方について、撮像面６２ａにおいてＤＨ－ＰＳＦに応じた像を形成する。 The phase modulation mask 50 forms an image according to a point spread function of the first fluorescence generated from the first fluorescent dye, and forms an image according to a point spread function of the second fluorescence generated from the second fluorescent dye. do. The phase modulation mask 50 of the embodiment focuses the first fluorescence generated from one first fluorescent dye onto two focal points on the imaging surface 62a of the imaging unit 62, and focuses the first fluorescence generated from one second fluorescent dye into two focal points. are formed into two focal points on the imaging surface 62a of the imaging unit 62. Such a point spread function is called DH-PSF (Double-Helix Point Spread Function). The phase modulation mask 50 modulates the phase of the first fluorescence and the second fluorescence incident on the Fourier plane, and forms an image of both the first fluorescence and the second fluorescence on the imaging plane 62a according to the DH-PSF.

なお、位相変調マスク５０は、第１蛍光と第２蛍光の場合とは異なり、第３蛍光について、撮像面６２ａにおいてＤＨ－ＰＳＦに応じた像を形成するようには構成されていない。この理由は、後述するように、第３蛍光が、核の領域の特定だけに用いられるためである。位相変調マスク５０を透過した第３蛍光の位相は、位相変調マスク５０により多少変調されるものの、撮像部６２により第３蛍光が撮像されれば、十分に核の領域を特定できる。 Note that, unlike the case of the first fluorescence and the second fluorescence, the phase modulation mask 50 is not configured to form an image corresponding to the DH-PSF on the imaging surface 62a for the third fluorescence. The reason for this is that the third fluorescence is used only to identify the nuclear region, as will be described later. Although the phase of the third fluorescence transmitted through the phase modulation mask 50 is somewhat modulated by the phase modulation mask 50, if the third fluorescence is imaged by the imaging unit 62, the nuclear region can be sufficiently identified.

集光光学系６０は、位相変調された第１蛍光および第２蛍光を集光してＤＨ－ＰＳＦに応じた像を形成する。集光光学系６０は、集光レンズ６１と撮像部６２を備える。集光レンズ６１は、位相変調マスク５０を通った蛍光を集光して、撮像部６２の撮像面６２ａに導く。撮像部６２は、撮像面６２ａに照射された蛍光の像を撮像し、２次元画像を生成する。撮像部６２は、たとえばＣＣＤ等により構成される。 The condensing optical system 60 condenses the phase-modulated first fluorescence and second fluorescence to form an image according to the DH-PSF. The condensing optical system 60 includes a condensing lens 61 and an imaging section 62. The condensing lens 61 condenses the fluorescence that has passed through the phase modulation mask 50 and guides it to the imaging surface 62a of the imaging section 62. The imaging unit 62 captures an image of the fluorescence irradiated onto the imaging surface 62a, and generates a two-dimensional image. The imaging unit 62 is configured by, for example, a CCD or the like.

ここで、上述したように、１つの第１蛍光色素から生じた第１蛍光と、１つの第２蛍光色素から生じた第２蛍光とは、位相変調マスク５０の作用により、それぞれ、撮像面６２ａ上で２つの焦点に結像される。すなわち、撮像面６２ａにおいて第１蛍光と第２蛍光のＤＨ－ＰＳＦに応じた像が形成される。このとき、位相変調マスク５０の作用により、２つの焦点にそれぞれ対応する輝点像は、図２（ａ）に示すように、Ｚ軸方向すなわちスライドガラス４１の深さ方向における蛍光の発光点の位置に応じて、撮像面６２ａ上で回転する。つまり、２つの輝点像を結ぶ直線と、基準となる直線とがなす角が、Ｚ軸方向における蛍光の発光点の位置に応じて、撮像面６２ａ上において変化する。 Here, as described above, the first fluorescence generated from one first fluorescent dye and the second fluorescence generated from one second fluorescent dye are each caused by the action of the phase modulation mask 50 on the imaging surface 62a. The image is focused on two focal points at the top. That is, an image corresponding to the DH-PSF of the first fluorescence and the second fluorescence is formed on the imaging surface 62a. At this time, due to the action of the phase modulation mask 50, the bright point images corresponding to the two focal points are formed by the fluorescent light emitting point in the Z-axis direction, that is, in the depth direction of the slide glass 41, as shown in FIG. 2(a). It rotates on the imaging surface 62a depending on the position. That is, the angle formed by the straight line connecting the two bright spot images and the reference straight line changes on the imaging surface 62a depending on the position of the fluorescent light emitting point in the Z-axis direction.

すなわち、位相変調マスク５０は、対物レンズ３６と試料における第１蛍光色素との距離に応じて、撮像面６２ａ上において、第１蛍光の２つの輝点像が回転するＤＨ－ＰＳＦを形成するように、第１蛍光の位相を変調するよう構成されている。同様に、位相変調マスク５０は、対物レンズ３６と試料における第２蛍光色素との距離に応じて、撮像面６２ａ上において、第２蛍光の２つの輝点像が回転するＤＨ－ＰＳＦを形成するように、第２蛍光の位相を変調するよう構成されている。 That is, the phase modulation mask 50 forms a DH-PSF in which two bright spot images of the first fluorescence rotate on the imaging surface 62a according to the distance between the objective lens 36 and the first fluorescent dye in the sample. The first fluorescent light is configured to modulate the phase of the first fluorescence. Similarly, the phase modulation mask 50 forms a DH-PSF in which two bright spot images of the second fluorescence rotate on the imaging surface 62a depending on the distance between the objective lens 36 and the second fluorescent dye in the sample. The second fluorescent light is configured to modulate the phase of the second fluorescence.

たとえば、スライドガラス４１においてＺ軸方向に異なる２つの位置にある蛍光色素から生じた蛍光は、それぞれ位相変調マスク５０により２つに分割され、撮像面６２ａ上に照射される。このとき、撮像面６２ａ上における２つの輝点像を結ぶ直線は、たとえば、図２（ａ）に示すように、一方の蛍光色素については基準線と＋θ１の角をなし、もう一方の蛍光色素については基準面と＋θ２の角をなす。したがって、２つの輝点像を結ぶ直線が、基準線に対してなす角を取得すれば、Ｚ軸方向における蛍光色素の位置を取得できる。実施形態では、第１蛍光と第２蛍光について、撮像部６２により撮像された２次元画像に基づいて、上記のようにＺ軸方向における位置が取得される。 For example, fluorescence generated from fluorescent dyes located at two different positions in the Z-axis direction on the slide glass 41 is divided into two by the phase modulation mask 50, and is irradiated onto the imaging surface 62a. At this time, for example, as shown in FIG. 2(a), the straight line connecting the two bright spot images on the imaging surface 62a forms an angle of +θ1 with the reference line for one fluorescent dye, and for the other fluorescent dye. makes an angle of +θ2 with the reference plane. Therefore, by obtaining the angle that the straight line connecting the two bright spot images makes with respect to the reference line, the position of the fluorescent dye in the Z-axis direction can be obtained. In the embodiment, the positions of the first fluorescence and the second fluorescence in the Z-axis direction are acquired as described above based on the two-dimensional image captured by the imaging unit 62.

なお、ＤＨ－ＰＳＦは、図２（ｂ）に示す式により表すことができる。図２（ｂ）の式において、“輝点１”と“輝点２”は、図２（ａ）に示すような撮像面６２ａに結像した２つの輝点像を示す。“撮像面上の座標”は、２つの輝点像の元となる蛍光色素の撮像面６２ａ上の座標を示す。 Note that DH-PSF can be expressed by the formula shown in FIG. 2(b). In the equation of FIG. 2(b), "bright spot 1" and "bright spot 2" indicate two bright spot images formed on the imaging surface 62a as shown in FIG. 2(a). "Coordinates on the imaging plane" indicates the coordinates on the imaging plane 62a of the fluorescent dye that is the source of the two bright spot images.

上記のように、位相変調マスク５０の同一の入射領域には、第１蛍光および第２蛍光の両方が入射し、位相変調マスク５０は、波長が互いに異なる第１蛍光および第２蛍光に対して、それぞれ位相を変調させる。これにより、第１蛍光を、第１蛍光の位相を変調させるための領域に導き、第２蛍光を、第２蛍光の位相を変調させるための領域に導く必要がない。したがって、第１蛍光の位相変調領域と第２蛍光の位相変調領域とを別々に設ける必要がないため、別々の位相変調領域に第１蛍光と第２蛍光を導くために、光束を回折するための回折格子や、光束を分岐させるためのプリズム等も不要になる。よって、位相変調マスク５０によれば、簡素な構成で第１蛍光と第２蛍光の両方に対して位相を変調させ、第１蛍光と第２蛍光のＤＨ－ＰＳＦに応じた像を形成できる。 As described above, both the first fluorescence and the second fluorescence enter the same incident area of the phase modulation mask 50, and the phase modulation mask 50 allows the first fluorescence and the second fluorescence to have different wavelengths. , respectively modulate the phase. Thereby, it is not necessary to guide the first fluorescence to a region for modulating the phase of the first fluorescence and guide the second fluorescence to a region for modulating the phase of the second fluorescence. Therefore, there is no need to separately provide a phase modulation area for the first fluorescence and a phase modulation area for the second fluorescence. Diffraction gratings and prisms for splitting light beams are also no longer required. Therefore, according to the phase modulation mask 50, it is possible to modulate the phase of both the first fluorescence and the second fluorescence with a simple configuration and form an image according to the DH-PSF of the first fluorescence and the second fluorescence.

また、第１蛍光と第２蛍光を別の光路に分岐させるような場合、各光路の光学素子の組み付け等にずれが生じることにより、所望のＤＨ－ＰＳＦに応じた像を形成できなくなる可能性がある。しかしながら、位相変調マスク５０によれば、光路を分岐させる光学素子が不要になるため、光学素子の組み付け等のずれにより生じる影響を抑制できる。したがって、精度の高い２次元画像を生成できる。このような２次元画像の精度向上は、後述する３次元超解像画像を生成するような実施形態の光学機器１０において特に好ましい。 Furthermore, when the first fluorescent light and the second fluorescent light are branched into different optical paths, there is a possibility that it will not be possible to form an image according to the desired DH-PSF due to misalignment in the assembly of optical elements for each optical path. There is. However, according to the phase modulation mask 50, since an optical element for branching the optical path is not required, it is possible to suppress the influence caused by misalignment in the assembly of optical elements. Therefore, highly accurate two-dimensional images can be generated. Such improvement in the accuracy of two-dimensional images is particularly preferable in the optical device 10 of the embodiment that generates three-dimensional super-resolution images, which will be described later.

図１に戻り、情報処理装置１００は、パーソナルコンピュータであり、本体１１０と、表示部１２０と、入力部１３０と、を備える。本体１１０は、処理部１１１と、記憶部１１２と、インターフェース１１３と、を備える。 Returning to FIG. 1, the information processing device 100 is a personal computer and includes a main body 110, a display section 120, and an input section 130. The main body 110 includes a processing section 111, a storage section 112, and an interface 113.

処理部１１１は、たとえばＣＰＵである。記憶部１１２は、ＲＯＭ、ＲＡＭ、ハードディスク等である。処理部１１１は、記憶部１１２に記憶されたプログラムに基づいて、インターフェース１１３を介して、光源部２０の光源２１～２３と、撮像部６２と、コントローラ７１、７２を制御する。 The processing unit 111 is, for example, a CPU. The storage unit 112 is a ROM, RAM, hard disk, or the like. The processing unit 111 controls the light sources 21 to 23 of the light source unit 20, the imaging unit 62, and the controllers 71 and 72 via the interface 113 based on the program stored in the storage unit 112.

処理部１１１は、第１蛍光の２次元画像に基づいて、上記のように第１蛍光の発光点のＺ軸方向における位置を取得し、第１蛍光の３次元超解像画像を生成する。同様に、処理部１１１は、第２蛍光の２次元画像に基づいて、上記のように第２蛍光の発光点のＺ軸方向における位置を取得し、第２蛍光の３次元超解像画像を生成する。以下では、第１蛍光の２次元画像を「第１の２次元画像」と称し、第２蛍光の２次元画像を「第２の２次元画像」と称し、第３蛍光の２次元画像を「第３の２次元画像」と称する。第１蛍光の３次元超解像画像を「第１の３次元超解像画像」と称し、第２蛍光の３次元超解像画像を「第２の３次元超解像画像」と称する。 The processing unit 111 acquires the position of the light emitting point of the first fluorescence in the Z-axis direction as described above based on the two-dimensional image of the first fluorescence, and generates a three-dimensional super-resolution image of the first fluorescence. Similarly, the processing unit 111 acquires the position of the light emitting point of the second fluorescence in the Z-axis direction as described above based on the two-dimensional image of the second fluorescence, and generates a three-dimensional super-resolution image of the second fluorescence. generate. Hereinafter, the two-dimensional image of the first fluorescence will be referred to as the "first two-dimensional image," the two-dimensional image of the second fluorescence will be referred to as the "second two-dimensional image," and the two-dimensional image of the third fluorescence will be referred to as "the second two-dimensional image." "Third two-dimensional image". The three-dimensional super-resolution image of the first fluorescence is referred to as the "first three-dimensional super-resolution image", and the three-dimensional super-resolution image of the second fluorescence is referred to as the "second three-dimensional super-resolution image".

表示部１２０は、処理部１１１による処理結果等を表示するためのディスプレイである。入力部１３０は、ユーザによる指示の入力を受け付けるためのキーボードとマウスである。 The display unit 120 is a display for displaying processing results etc. by the processing unit 111. The input unit 130 is a keyboard and a mouse for receiving instructions from the user.

次に、第１および第２の３次元超解像画像の生成手順について説明する。 Next, a procedure for generating the first and second three-dimensional super-resolution images will be explained.

まず、図３（ａ）～（ｄ）を参照し、第１の２次元画像を取得する手順について説明する。 First, the procedure for acquiring the first two-dimensional image will be described with reference to FIGS. 3(a) to 3(d).

図３（ａ）に示すように、試料の調製において、第１蛍光色素は、第１物質に特異的に結合する中間物質を介して第１物質に結合される。第１物質は遺伝子であるため、中間物質として核酸プローブを用いることができる。１つの第１物質には多数の第１蛍光色素が結合する。図３（ａ）には、第１蛍光色素がそれぞれ結合した２つの第１物質が模式的に示されている。初期状態では、全ての第１蛍光色素が活性状態にある。図３（ａ）に示す状態で、光源２１からの光が所定時間、被検細胞に照射されると、図３（ｂ）に示すように、全ての第１蛍光色素が不活性状態となる。 As shown in FIG. 3(a), in preparing the sample, the first fluorescent dye is bound to the first substance via an intermediate substance that specifically binds to the first substance. Since the first substance is a gene, a nucleic acid probe can be used as the intermediate substance. A large number of first fluorescent dyes bind to one first substance. FIG. 3(a) schematically shows two first substances each having a first fluorescent dye bonded thereto. In the initial state, all the first fluorescent dyes are in the active state. When the test cells are irradiated with light from the light source 21 for a predetermined period of time in the state shown in FIG. 3(a), all the first fluorescent dyes become inactive as shown in FIG. 3(b). .

図３（ｂ）に示す状態で、光源２３からの光が所定時間、被検細胞に照射されると、たとえば図３（ｃ）に示すように、一部の第１蛍光色素が活性化する。光源２３からの光の照射時間を調整することにより、活性化される第１蛍光色素の割合が変化する。図３（ｃ）に示す状態で、再び光源２１からの光が所定時間、被検細胞に照射されると、活性化した第１蛍光色素から第１蛍光が生じ、その後、図３（ｂ）に示すように、全ての第１蛍光色素が不活性状態になる。 When the test cells are irradiated with light from the light source 23 for a predetermined time in the state shown in FIG. 3(b), some of the first fluorescent dyes are activated, as shown in FIG. 3(c), for example. . By adjusting the irradiation time of light from the light source 23, the ratio of the first fluorescent dye to be activated changes. When the test cells are again irradiated with light from the light source 21 for a predetermined period of time in the state shown in FIG. 3(c), first fluorescence is generated from the activated first fluorescent dye, and then as shown in FIG. 3(b). As shown in Figure 1, all the first fluorescent dyes become inactive.

そして、再び光源２３からの光が所定時間、被検細胞に照射されると、たとえば図３（ｄ）に示すように、一部の第１蛍光色素が活性化する。図３（ｄ）に示す状態で、再び光源２１からの光が所定時間、被検細胞に照射されると、活性化した第１蛍光色素から第１蛍光が生じ、その後、図３（ｂ）に示すように、全ての第１蛍光色素が不活性状態になる。図３（ｃ）、（ｄ）に示すように、各回の活性化処理で活性化される第１蛍光色素の分布は、その都度異なる。 Then, when the test cells are again irradiated with light from the light source 23 for a predetermined period of time, some of the first fluorescent dyes are activated, as shown in FIG. 3(d), for example. When the test cells are again irradiated with light from the light source 21 for a predetermined period of time in the state shown in FIG. 3(d), first fluorescence is generated from the activated first fluorescent dye, and then as shown in FIG. 3(b). As shown in Figure 1, all the first fluorescent dyes become inactive. As shown in FIGS. 3(c) and 3(d), the distribution of the first fluorescent dye activated in each activation process differs each time.

処理部１１１は、光源２１、２３を駆動して、上記のように第１蛍光色素に対して活性化と不活性化を繰り返し行う。撮像部６２は、その都度異なる第１蛍光色素の分布を撮像する。こうして、処理部１１１は、複数の第１の２次元画像、たとえば３０００枚の第１の２次元画像を取得する。 The processing unit 111 drives the light sources 21 and 23 to repeatedly activate and deactivate the first fluorescent dye as described above. The imaging unit 62 images the distribution of the first fluorescent dye, which differs each time. In this way, the processing unit 111 acquires a plurality of first two-dimensional images, for example, 3000 first two-dimensional images.

続いて、図３（ｅ）～（ｈ）を参照し、第２の２次元画像を取得する手順について説明する。第２の２次元画像の取得は、第１の２次元画像の取得と略同様に行われる。 Next, the procedure for acquiring the second two-dimensional image will be described with reference to FIGS. 3(e) to (h). The acquisition of the second two-dimensional image is performed in substantially the same manner as the acquisition of the first two-dimensional image.

すなわち、図３（ｅ）に示す初期状態で、光源２２からの光が所定時間、被検細胞に照射されると、図３（ｆ）に示すように、全ての第２蛍光色素が不活性状態となる。図３（ｆ）に示す状態で、光源２３からの光が所定時間、被検細胞に照射されると、たとえば図３（ｇ）に示すように、一部の第２蛍光色素が活性化する。図３（ｇ）に示す状態で、再び光源２２からの光が所定時間、被検細胞に照射されると、活性化した第２蛍光色素から第２蛍光が生じ、その後、図３（ｆ）に示すように、全ての第２蛍光色素が不活性状態になる。そして、再び光源２３からの光が所定時間、被検細胞に照射されると、たとえば図３（ｈ）に示すように、一部の第２蛍光色素が活性化する。 That is, when the test cells are irradiated with light from the light source 22 for a predetermined period of time in the initial state shown in FIG. 3(e), all the second fluorescent dyes become inactive as shown in FIG. 3(f). state. When the test cells are irradiated with light from the light source 23 for a predetermined period of time in the state shown in FIG. 3(f), some of the second fluorescent dyes are activated, as shown in FIG. 3(g), for example. . When the test cells are again irradiated with light from the light source 22 for a predetermined time in the state shown in FIG. 3(g), second fluorescence is generated from the activated second fluorescent dye, and then as shown in FIG. 3(f). As shown in Figure 1, all the second fluorescent dyes become inactive. Then, when the test cells are again irradiated with light from the light source 23 for a predetermined period of time, some of the second fluorescent dyes are activated, as shown in FIG. 3(h), for example.

処理部１１１は、光源２２、２３を駆動して、上記のように第２蛍光色素に対して活性化と不活性化を繰り返し行う。撮像部６２は、その都度異なる第２蛍光色素の分布を撮像する。こうして、処理部１１１は、複数の第２の２次元画像、たとえば３０００枚の第２の２次元画像を取得する。 The processing unit 111 drives the light sources 22 and 23 to repeatedly activate and deactivate the second fluorescent dye as described above. The imaging unit 62 images the distribution of the second fluorescent dye, which differs each time. In this way, the processing unit 111 obtains a plurality of second two-dimensional images, for example, 3000 second two-dimensional images.

続いて、図４（ａ）～（ｅ）を参照し、第１の３次元超解像画像を生成する手順について説明する。なお、第２の３次元超解像画像を生成する手順は、第１の３次元超解像画像と同様であるので、以下、第１の３次元超解像画像を生成する手順についてのみ説明する。 Next, the procedure for generating the first three-dimensional super-resolution image will be described with reference to FIGS. 4(a) to 4(e). Note that the procedure for generating the second 3D super-resolution image is the same as that for the first 3D super-resolution image, so only the procedure for generating the first 3D super-resolution image will be described below. do.

図４（ａ）に示すように、上記のようにして複数の第１の２次元画像が取得される。図４（ａ）に示す第１の２次元画像上には、撮像された第１蛍光が黒丸で示されている。図４（ｂ）に示すように、処理部１１１は、それぞれの第１の２次元画像において、ガウスフィッティングにより第１蛍光の輝点８１を抽出する。そして、処理部１１１は、抽出した輝点８１について、Ｘ－Ｙ平面における座標と、輝度とを取得する。 As shown in FIG. 4(a), a plurality of first two-dimensional images are acquired as described above. On the first two-dimensional image shown in FIG. 4(a), the captured first fluorescence is indicated by a black circle. As shown in FIG. 4B, the processing unit 111 extracts the first fluorescent bright spot 81 in each first two-dimensional image by Gaussian fitting. Then, the processing unit 111 obtains the coordinates and brightness in the XY plane of the extracted bright spot 81.

続いて、処理部１１１は、輝度が同程度で、かつ、距離が所定の範囲内にある２つの輝点８１を参照する。処理部１１１は、参照した２つの輝点８１を、あらかじめ記憶部１１２に記憶された２つの輝点のテンプレートとフィッティングさせる。処理部１１１は、ある精度以上でフィッティングできた２つの輝点８１を、１つの第１蛍光色素から生じた第１蛍光が位相変調マスク５０により分割されたものであるとして、ペアリングする。 Next, the processing unit 111 refers to two bright spots 81 that have the same brightness and are within a predetermined distance. The processing unit 111 fits the two referenced bright spots 81 with the two bright spot templates stored in the storage unit 112 in advance. The processing unit 111 pairs two bright spots 81 that can be fitted with a certain accuracy or higher, assuming that the first fluorescence generated from one first fluorescent dye is divided by the phase modulation mask 50.

続いて、図４（ｃ）に示すように、処理部１１１は、ペアとなる２つの輝点８１に基づいて、２つの輝点８１の元となる第１蛍光色素のＸ－Ｙ平面における点８２を取得する。続いて、図４（ｄ）に示すように、処理部１１１は、ペアとなる２つの輝点８１を結ぶ直線と、基準線とのなす角度θを取得する。処理部１１１は、取得した角度θに基づいて、Ｚ軸方向における第１蛍光色素の座標を算出する。こうして、図４（ｅ）に示すように、処理部１１１は、Ｘ－Ｙ平面における座標と、Ｚ軸方向における座標とに基づいて、複数の第１蛍光色素の３次元座標を取得する。そして、図４（ｅ）に示すように、処理部１１１は、それぞれの第１の２次元画像において取得した複数の３次元座標を重ね合わせることにより、第１の３次元超解像画像を生成する。 Subsequently, as shown in FIG. 4(c), the processing unit 111 determines a point in the XY plane of the first fluorescent dye, which is the origin of the two bright spots 81, based on the two bright spots 81 forming a pair. Get 82. Subsequently, as shown in FIG. 4(d), the processing unit 111 obtains the angle θ between the straight line connecting the two bright spots 81 forming a pair and the reference line. The processing unit 111 calculates the coordinates of the first fluorescent dye in the Z-axis direction based on the obtained angle θ. In this way, as shown in FIG. 4(e), the processing unit 111 obtains the three-dimensional coordinates of the plurality of first fluorescent dyes based on the coordinates in the XY plane and the coordinates in the Z-axis direction. Then, as shown in FIG. 4E, the processing unit 111 generates a first three-dimensional super-resolution image by superimposing the plurality of three-dimensional coordinates acquired in each of the first two-dimensional images. do.

このように、第１および第２の３次元超解像画像が取得されると、第１および第２の２次元画像が用いられる場合に比べて、第１蛍光の発光点および第２蛍光の発光点を精度よく把握できる。これにより、医師等は、第１および第２の３次元超解像画像を参照して、Ｚ軸方向における第１物質の分布を把握でき、病状の判断や治療方針の決定をより的確に行える。 In this way, when the first and second three-dimensional super-resolution images are acquired, the light emitting point of the first fluorescence and the second fluorescence are smaller than when the first and second two-dimensional images are used. Light-emitting points can be determined with high accuracy. This allows doctors, etc. to understand the distribution of the first substance in the Z-axis direction by referring to the first and second three-dimensional super-resolution images, and to more accurately determine the disease state and treatment policy. .

次に、図４（ｆ）を参照し、第１物質の数を取得する手順について説明する。 Next, a procedure for obtaining the number of first substances will be described with reference to FIG. 4(f).

図４（ｆ）に示すように、処理部１１１は、第１の３次元超解像画像の座標点を、第１物質に対応するグループに分類する。たとえば、処理部１１１は、所定の参照空間を３次元座標空間において走査し、この参照空間内に含まれる座標点の数が閾値より多く、かつ、周囲よりも座標点の数が多い参照空間の位置を抽出する。そして、処理部１１１は、抽出した位置において参照空間に含まれる座標点のグループを、図４（ｆ）の破線で示すように、１つの第１物質に対応するグループに分類する。 As shown in FIG. 4F, the processing unit 111 classifies the coordinate points of the first three-dimensional super-resolution image into groups corresponding to the first substance. For example, the processing unit 111 scans a predetermined reference space in a three-dimensional coordinate space, and scans a reference space in which the number of coordinate points included in this reference space is greater than a threshold value and the number of coordinate points is greater than the surrounding area. Extract location. Then, the processing unit 111 classifies the groups of coordinate points included in the reference space at the extracted positions into groups corresponding to one first substance, as shown by the broken line in FIG. 4(f).

続いて、処理部１１１は、被検細胞の３次元空間における核の範囲を取得する。具体的には、処理部１１１は、対物レンズ３６をＺ軸方向に変位させて、Ｚ軸方向の異なる複数のフォーカス位置において、第３蛍光に基づく第３の２次元画像を取得する。第３の２次元画像において、第３蛍光が検出される領域は核に対応し、第３蛍光が検出されない領域は、核以外、すなわち細胞質等に対応する。処理部１１１は、複数の第３の２次元画像ごとに、第３蛍光が検出された領域から核の輪郭を取得する。そして、処理部１１１は、各フォーカス位置とその位置における核の輪郭とに基づいて、３次元座標空間における核の範囲を取得する。 Subsequently, the processing unit 111 acquires the range of the nucleus in the three-dimensional space of the test cell. Specifically, the processing unit 111 displaces the objective lens 36 in the Z-axis direction and acquires a third two-dimensional image based on the third fluorescence at a plurality of different focus positions in the Z-axis direction. In the third two-dimensional image, the region where the third fluorescence is detected corresponds to the nucleus, and the region where the third fluorescence is not detected corresponds to areas other than the nucleus, ie, the cytoplasm and the like. The processing unit 111 acquires the outline of the nucleus from the region where the third fluorescence is detected for each of the plurality of third two-dimensional images. The processing unit 111 then acquires the range of the nucleus in the three-dimensional coordinate space based on each focus position and the outline of the nucleus at that position.

続いて、処理部１１１は、３次元座標空間において、被検細胞の核の範囲に含まれるグループの数を、第１物質の数として取得する。なお、第１の３次元超解像画像に複数の被検細胞が含まれる場合、第１物質の数は、たとえば、被検細胞ごとに取得された第１物質の数を平均化することにより取得される。処理部１１１は、第２物質の数についても、第２の３次元超解像画像に基づいて同様に取得する。 Subsequently, the processing unit 111 obtains the number of groups included in the range of the nucleus of the test cell as the number of first substances in the three-dimensional coordinate space. In addition, when a plurality of test cells are included in the first three-dimensional super-resolution image, the number of first substances can be calculated by, for example, averaging the number of first substances acquired for each test cell. be obtained. The processing unit 111 similarly acquires the number of second substances based on the second three-dimensional super-resolution image.

処理部１１１は、上記のように取得した第１物質の数と第２物質の数との比、すなわち、“第１物質の数／第２物質の数”を算出する。“第１物質の数／第２物質の数”は、たとえば、２．２より大きいと乳癌陽性と判定でき、１．８より小さいと乳癌陰性と判定でき、１．８以上２．２以下であると境界と判定できる。 The processing unit 111 calculates the ratio between the number of first substances and the number of second substances obtained as described above, that is, "number of first substances/number of second substances". For example, "number of first substances/number of second substances" is determined to be positive for breast cancer when it is greater than 2.2, negative for breast cancer when it is smaller than 1.8, and equal to or greater than 1.8 and equal to or less than 2.2. If there is, it can be determined as a boundary.

このように、第１および第２の３次元画像に基づいて第１物質および第２物質の数が取得されると、“第１物質の数／第２物質の数”を精度よく算出できる。これにより、医師等に、より精度の高い判定結果を提示できる。 In this way, when the numbers of the first and second substances are acquired based on the first and second three-dimensional images, "the number of first substances/the number of second substances" can be calculated with high accuracy. Thereby, more accurate determination results can be presented to doctors and the like.

＜撮像手順の変更例＞
上記撮像手順では、撮像部６２により第１蛍光と第２蛍光とを別々に撮像した。この場合、図５（ａ）に示すように、処理部１１１は、複数の第１の２次元画像を取得した後で、複数の第２の２次元画像を取得する。そして、処理部１１１は、複数の第１の２次元画像に基づいて、第１の３次元超解像画像を取得し、複数の第２の２次元画像に基づいて、第２の３次元超解像画像を取得する。このように、第１の２次元画像と第２の２次元画像とが別々に撮像されると、撮像に要する時間が長くなってしまう。 <Example of change in imaging procedure>
In the imaging procedure described above, the imaging unit 62 separately images the first fluorescence and the second fluorescence. In this case, as shown in FIG. 5A, the processing unit 111 obtains a plurality of second two-dimensional images after obtaining a plurality of first two-dimensional images. The processing unit 111 then acquires a first three-dimensional super-resolution image based on the plurality of first two-dimensional images, and obtains a second three-dimensional super-resolution image based on the plurality of second two-dimensional images. Obtain a resolved image. In this way, when the first two-dimensional image and the second two-dimensional image are captured separately, the time required for imaging becomes long.

そこで、上記撮像手順に代えて、撮像部６２により第１蛍光と第２蛍光とを同時に撮像してもよい。この場合、処理部１１１は、第１および第２蛍光色素が活性状態のときに、光源２１、２２を同時に点灯させ、被検細胞に光源２１、２２からの光を同時に照射する。これにより、被検細胞から第１蛍光と第２蛍光が同時に生じ、撮像部６２の撮像面６２ａには、第１蛍光と第２蛍光が同時に照射される。このとき取得される２次元画像は、図５（ｂ）に示すように、第１の２次元画像と第２の２次元画像が重ね合わされた共通の２次元画像となる。なお、このように第１蛍光と第２蛍光を同時に生じさせる場合、撮像部６２はカラーＣＣＤ等により構成される。 Therefore, instead of the above-described imaging procedure, the first fluorescence and the second fluorescence may be simultaneously imaged by the imaging unit 62. In this case, when the first and second fluorescent dyes are in the active state, the processing unit 111 turns on the light sources 21 and 22 at the same time, and simultaneously irradiates the test cells with light from the light sources 21 and 22. As a result, the first fluorescence and the second fluorescence are generated simultaneously from the test cells, and the imaging surface 62a of the imaging section 62 is irradiated with the first fluorescence and the second fluorescence simultaneously. The two-dimensional image acquired at this time is a common two-dimensional image in which the first two-dimensional image and the second two-dimensional image are superimposed, as shown in FIG. 5(b). Note that when the first fluorescence and the second fluorescence are generated simultaneously in this way, the imaging section 62 is configured with a color CCD or the like.

この場合も、図５（ｂ）に示すように、処理部１１１は、共通の２次元画像における第１蛍光に基づいて、第１の３次元超解像画像を生成し、共通の２次元画像における第２蛍光に基づいて、第２の３次元超解像画像を生成する。このように第１蛍光と第２蛍光とが同時に撮像部６２により撮像されると、撮像に要する時間を大幅に短縮できる。 In this case as well, as shown in FIG. 5(b), the processing unit 111 generates a first three-dimensional super-resolution image based on the first fluorescence in the common two-dimensional image, and A second three-dimensional super-resolution image is generated based on the second fluorescence at. When the first fluorescence and the second fluorescence are simultaneously imaged by the imaging unit 62 in this way, the time required for imaging can be significantly shortened.

＜位相変調マスクの事前検証＞
上述したように、位相変調マスク５０は、波長が互いに異なる第１蛍光と第２蛍光に対応できるように構成された。ところで、１種類の蛍光に最適な位相差を生じさせて１種類の蛍光の点像分布関数に応じた像を適正に形成する位相変調マスクは、一般的に知られている。そこで、本発明者は、位相変調マスクを２種類の蛍光に対応させるために、まず、第１蛍光に最適な位相変調マスクにより、第１蛍光と第２蛍光の位相を変調させる検証と、第２蛍光に最適な位相変調マスクにより、第１蛍光と第２蛍光の位相を変調させる検証と、を行った。 <Preliminary verification of phase modulation mask>
As described above, the phase modulation mask 50 is configured to be able to handle the first fluorescence and the second fluorescence having different wavelengths. Incidentally, a phase modulation mask that generates an optimal phase difference for one type of fluorescence to appropriately form an image according to a point spread function of one type of fluorescence is generally known. Therefore, in order to make the phase modulation mask compatible with two types of fluorescence, the present inventors first verified that the phase of the first fluorescence and the second fluorescence was modulated using a phase modulation mask that was optimal for the first fluorescence, and We conducted a verification to modulate the phase of the first fluorescence and the second fluorescence using a phase modulation mask that is optimal for two fluorescences.

図６（ａ）に示すように、この検証で用いた光学機器１０は、図１に示す構成と比較して、ビームエキスパンダ３７に代えて偏光板３８とミラー３９を備え、位相変調マスク５０に代えて位相変調器５１を備える。偏光板３８は、たとえば偏光プリズムにより構成される。偏光板３８は、偏光方向が位相変調器５１に対して適切な偏光方向となるよう設置される。ミラー３９は、偏光板３８を通過した蛍光を反射して位相変調器５１に導く。この検証で用いた位相変調マスクは、入射する光を反射させる際に位相を変調させる位相変調器５１である。位相変調器５１は、対物レンズ３６と、ダイクロイックミラー３５と、偏光板３８と、ミラー３９と、集光レンズ６１とが構成する光学系のフーリエ面に配置される。位相変調器５１は、図１に示した位相変調マスク５０と同様に、撮像面６２ａにおける点像分布関数を変調する作用を有する。 As shown in FIG. 6(a), the optical device 10 used in this verification includes a polarizing plate 38 and a mirror 39 instead of the beam expander 37, and a phase modulation mask 50. A phase modulator 51 is provided instead. The polarizing plate 38 is composed of, for example, a polarizing prism. The polarizing plate 38 is installed so that the polarization direction is appropriate for the phase modulator 51. Mirror 39 reflects the fluorescence that has passed through polarizing plate 38 and guides it to phase modulator 51 . The phase modulation mask used in this verification is a phase modulator 51 that modulates the phase of incident light when it is reflected. The phase modulator 51 is arranged on the Fourier plane of an optical system constituted by the objective lens 36, the dichroic mirror 35, the polarizing plate 38, the mirror 39, and the condenser lens 61. The phase modulator 51 has the function of modulating the point spread function on the imaging surface 62a, similar to the phase modulation mask 50 shown in FIG.

図６（ｂ）に示すように、位相変調器５１は、液晶パネル５１ａを備える。位相変調器５１が駆動されると、設定に応じて、液晶パネル５１ａ内の液晶分子５１ｂが回転し、光の入射方向における液晶分子５１ｂの幅が変化する。このように光の入射方向において各液晶分子５１ｂの幅が変化すると、位相変調器５１の入射領域における位置に応じて屈折率の差が生じるようになる。これにより、液晶パネル５１ａに入射しミラー５１ｃによって反射される光の位相が、入射位置に応じて変調される。 As shown in FIG. 6(b), the phase modulator 51 includes a liquid crystal panel 51a. When the phase modulator 51 is driven, the liquid crystal molecules 51b in the liquid crystal panel 51a rotate according to the settings, and the width of the liquid crystal molecules 51b in the light incident direction changes. When the width of each liquid crystal molecule 51b changes in the light incident direction in this way, a difference in refractive index occurs depending on the position in the incident area of the phase modulator 51. Thereby, the phase of the light that enters the liquid crystal panel 51a and is reflected by the mirror 51c is modulated according to the incident position.

位相変調器５１は、画像が入力されると、入力された画像に基づいて液晶パネル５１ａの各画素の階調を設定する。位相変調器５１に入力される画像は、位相変調器５１の各画素の階調を表す情報を保持している。位相変調器５１は、入力された画像から各画素に設定する階調を取得し、各画素の階調が入力画像に基づく所望の階調となるように、各液晶分子５１ｂの回転角度を設定する。このように、位相変調器５１は、入力画像に基づいて液晶分子５１ｂの回転角度を設定し、各画素の階調パターンを設定する。なお、位相変調器５１は、画像以外を受け付け可能に構成されている場合、位相変調器５１の各画素の階調を表す情報を保持する画像以外のデータに基づいて、液晶パネル５１ａの各画素の階調を設定してもよい。 When an image is input, the phase modulator 51 sets the gradation of each pixel of the liquid crystal panel 51a based on the input image. The image input to the phase modulator 51 holds information representing the gradation of each pixel of the phase modulator 51. The phase modulator 51 acquires the gradation to be set for each pixel from the input image, and sets the rotation angle of each liquid crystal molecule 51b so that the gradation of each pixel becomes a desired gradation based on the input image. do. In this way, the phase modulator 51 sets the rotation angle of the liquid crystal molecules 51b based on the input image, and sets the gradation pattern of each pixel. Note that if the phase modulator 51 is configured to be able to accept data other than images, each pixel of the liquid crystal panel 51a is determined based on data other than images that holds information representing the gradation of each pixel of the phase modulator 51. You may also set the gradation.

本検証では、位相変調器５１として、浜松ホトニクス社製の“LCOS-SLM01”が用いられた。ステージ４０のスライドガラス４１上には、第１の蛍光ビーズと第２の蛍光ビーズが配置された。第１の蛍光ビーズは、光源２１からの光が照射されると、中心波長が６９０ｎｍの蛍光、すなわち第１蛍光を生じる。第２の蛍光ビーズは、光源２２からの光が照射されると、中心波長が５３０ｎｍの蛍光、すなわち第２蛍光を生じる。 In this verification, “LCOS-SLM01” manufactured by Hamamatsu Photonics Co., Ltd. was used as the phase modulator 51. On the slide glass 41 of the stage 40, first fluorescent beads and second fluorescent beads were arranged. When the first fluorescent beads are irradiated with light from the light source 21, they produce fluorescence with a center wavelength of 690 nm, that is, first fluorescence. When the second fluorescent beads are irradiated with light from the light source 22, they produce fluorescence with a center wavelength of 530 nm, that is, second fluorescence.

本検証では、第１蛍光を観察する場合、第１の蛍光ビーズに対して対物レンズ３６をＺ軸方向にスキャンし、第１の蛍光ビーズのＺ軸方向における位置を相対的に変化させた。同様に、第２蛍光を観察する場合、第２の蛍光ビーズに対して対物レンズ３６をＺ軸方向にスキャンし、第２の蛍光ビーズのＺ軸方向における位置を相対的に変化させた。このように対物レンズ３６をＺ軸方向にスキャンすることにより、Ｚ軸方向の異なる位置に複数の蛍光ビーズが配置されている状態と同様の状態にできる。そして、撮像部６２により蛍光を撮像し、対物レンズ３６のスキャン位置ごとに蛍光の画像を取得した。 In this verification, when observing the first fluorescence, the objective lens 36 was scanned in the Z-axis direction with respect to the first fluorescent beads, and the position of the first fluorescent beads in the Z-axis direction was changed relatively. Similarly, when observing the second fluorescence, the objective lens 36 was scanned in the Z-axis direction with respect to the second fluorescent beads, and the position of the second fluorescent beads in the Z-axis direction was changed relatively. By scanning the objective lens 36 in the Z-axis direction in this manner, a state similar to a state in which a plurality of fluorescent beads are arranged at different positions in the Z-axis direction can be achieved. Then, the imaging unit 62 captured images of the fluorescence, and images of the fluorescence were obtained for each scanning position of the objective lens 36.

位相変調器５１の液晶パネル５１ａは、図６（ｂ）に示したように液晶分子５１ｂの傾きを変化させることにより、１画素につき２５６階調で位相変調できるよう構成されている。各画素の階調は０～２５５に設定可能であり、階調が０～２５５のいずれかに設定されることにより、２５６階調の位相変調が実現される。液晶パネル５１ａの全画素について設定された階調のパターン分布を、位相を変調させる分布として、以下「位相変調パターン」と称する。すなわち、液晶パネル５１ａの各画素について設定された階調の分布が、位相変調パターンに相当する。位相変調器５１に画像が入力され位相変調パターンが設定されることにより、液晶パネル５１ａの各画素の階調が設定され、図６（ｂ）に示すように、位相変調器５１に入射する蛍光の位相が画素ごとに変化する。 The liquid crystal panel 51a of the phase modulator 51 is configured to perform phase modulation at 256 gradations per pixel by changing the inclination of the liquid crystal molecules 51b as shown in FIG. 6(b). The gradation of each pixel can be set between 0 and 255, and by setting the gradation between 0 and 255, phase modulation with 256 gradations is achieved. The gradation pattern distribution set for all pixels of the liquid crystal panel 51a is hereinafter referred to as a "phase modulation pattern" as a distribution for modulating the phase. That is, the distribution of gradations set for each pixel of the liquid crystal panel 51a corresponds to a phase modulation pattern. By inputting an image to the phase modulator 51 and setting a phase modulation pattern, the gradation of each pixel of the liquid crystal panel 51a is set, and as shown in FIG. 6(b), the fluorescence incident on the phase modulator 51 is The phase of changes for each pixel.

図７（ａ）に示す第１位相変調パターンは、第１の波長の光用、すなわち第１蛍光に最適な位相変調パターンである。第１位相変調パターンは、第１の波長の光、すなわち第１蛍光に第１位相変調を与える。図７（ｂ）に示す第２位相変調パターンは、第２の波長の光用、すなわち第２蛍光に最適な位相変調パターンである。第２位相変調パターンは、第２の波長の光、すなわち第２蛍光に第２位相変調を与える。位相変調器５１の位相変調パターンが第１位相変調パターンに設定されると、位相変調器５１に入射する第１蛍光について、撮像面６２ａにおいてＤＨ－ＰＳＦに応じた像が形成される。位相変調器５１の位相変調パターンが第２位相変調パターンに設定されると、位相変調器５１に入射する第２蛍光について、撮像面６２ａにおいてＤＨ－ＰＳＦに応じた像が形成される。 The first phase modulation pattern shown in FIG. 7A is the optimal phase modulation pattern for light of the first wavelength, that is, the first fluorescence. The first phase modulation pattern imparts a first phase modulation to the light of the first wavelength, that is, the first fluorescence. The second phase modulation pattern shown in FIG. 7(b) is the optimal phase modulation pattern for light of the second wavelength, that is, the second fluorescence. The second phase modulation pattern imparts a second phase modulation to the light of the second wavelength, that is, the second fluorescence. When the phase modulation pattern of the phase modulator 51 is set to the first phase modulation pattern, an image corresponding to the DH-PSF is formed on the imaging surface 62a for the first fluorescence incident on the phase modulator 51. When the phase modulation pattern of the phase modulator 51 is set to the second phase modulation pattern, an image corresponding to the DH-PSF is formed on the imaging surface 62a regarding the second fluorescence incident on the phase modulator 51.

図７（ａ）、（ｂ）において、階調が０の画素は黒で示されており、階調が２５５の画素は白で示されている。階調が０の画素は、入射する光の位相を変調しない。階調が２５５の画素に入射する第１蛍光の位相は、階調が０の画素に入射する第１蛍光の位相に対して２πだけずれる。階調が１８３の画素に入射する第２蛍光の位相は、階調が０の画素に入射する第２蛍光の位相に対して２πだけずれる。 In FIGS. 7A and 7B, pixels with a gradation of 0 are shown in black, and pixels with a gradation of 255 are shown in white. A pixel with a gradation of 0 does not modulate the phase of incident light. The phase of the first fluorescence incident on a pixel with a gradation of 255 is shifted by 2π from the phase of the first fluorescence incident on a pixel with a gradation of 0. The phase of the second fluorescence incident on a pixel with a gradation of 183 is shifted by 2π from the phase of the second fluorescence incident on a pixel with a gradation of 0.

なお、本検証および後述する検証において、位相変調器５１の入射面により生じる収差を補正するために、位相変調器５１に第１蛍光を入射させる場合、位相変調器５１に設定する位相変調パターンには、所定の第１補正マスクを合成し、位相変調器５１に第２蛍光を入射させる場合、位相変調器５１に設定する位相変調パターンには、所定の第２補正マスクを合成した。第１補正マスクが合成されることにより、階調が２５５を越える画素については、その階調を２５６で除算した余りの値を、当該画素の階調とした。第２補正マスクが合成されることにより、階調が１８３を越える画素については、その階調を１８４で除算した余りの値を、当該画素の階調とした。 In addition, in this verification and the verification described later, when the first fluorescent light is made to enter the phase modulator 51 in order to correct the aberration caused by the entrance surface of the phase modulator 51, the phase modulation pattern set in the phase modulator 51 is In the case where a predetermined first correction mask is synthesized and the second fluorescence is made to enter the phase modulator 51, the predetermined second correction mask is synthesized with the phase modulation pattern set in the phase modulator 51. When the first correction mask is combined, for a pixel whose gradation exceeds 255, the remainder obtained by dividing the gradation by 256 is set as the gradation of the pixel. As a result of the second correction mask being synthesized, for a pixel whose gradation exceeds 183, the remainder obtained by dividing the gradation by 184 was set as the gradation of the pixel.

図８（ａ）～（ｈ）を参照して、位相変調器の事前検証の結果について説明する。 The results of preliminary verification of the phase modulator will be described with reference to FIGS. 8(a) to 8(h).

図８（ａ）、（ｂ）は、位相変調器５１に第１位相変調パターンを設定し、第１蛍光を観察した場合の検証結果である。この場合、図８（ａ）に示すように、第１蛍光が撮像面６２ａにおいて２点に結像され、対物レンズ３６のＺ軸方向のスキャンにより、２点の結像位置により作られる直線が１８０度回転した。また、図８（ｂ）に示すように、対物レンズ３６のＺ軸方向のスキャン位置と、２点の結像位置により作られる直線の角度との関係は、１対１に対応したカーブとなった。図８（ａ）、（ｂ）の結果から、この場合は第１蛍光のＤＨ－ＰＳＦに応じた像を適正に形成できることが分かった。 FIGS. 8A and 8B show verification results when the first phase modulation pattern is set in the phase modulator 51 and the first fluorescence is observed. In this case, as shown in FIG. 8(a), the first fluorescence is imaged at two points on the imaging surface 62a, and by scanning the objective lens 36 in the Z-axis direction, a straight line formed by the imaging positions of the two points is formed. Rotated 180 degrees. Furthermore, as shown in FIG. 8(b), the relationship between the scanning position of the objective lens 36 in the Z-axis direction and the angle of the straight line formed by the two imaging positions is a curve with a one-to-one correspondence. Ta. From the results shown in FIGS. 8(a) and 8(b), it was found that in this case, an image corresponding to the DH-PSF of the first fluorescence could be appropriately formed.

図８（ｃ）、（ｄ）は、位相変調器５１に第１位相変調パターンを設定し、第２蛍光を観察した場合の検証結果である。この場合、図８（ｃ）に示すように、Ｚ軸方向の位置によってはＤＨ－ＰＳＦの形状が崩れた。また、図８（ｄ）に示すように、角度とスキャン位置の関係を示すカーブにおいて、一部に大きな段差が現れた。図８（ｃ）、（ｄ）の結果から、この場合は第２蛍光のＤＨ－ＰＳＦに応じた像を適正に形成できないことが分かった。 FIGS. 8(c) and 8(d) show verification results when the first phase modulation pattern is set in the phase modulator 51 and the second fluorescence is observed. In this case, as shown in FIG. 8(c), the shape of the DH-PSF collapsed depending on the position in the Z-axis direction. Moreover, as shown in FIG. 8(d), a large step appeared in a part of the curve showing the relationship between the angle and the scan position. From the results shown in FIGS. 8(c) and 8(d), it was found that in this case, it was not possible to properly form an image according to the DH-PSF of the second fluorescence.

図８（ｅ）、（ｆ）は、位相変調器５１に第２位相変調パターンを設定し、第１蛍光を観察した場合の検証結果である。この場合、図８（ｅ）に示すように、Ｚ軸方向の位置によってはＤＨ－ＰＳＦの形状が崩れた。また、図８（ｆ）に示すように、スキャン位置と角度との関係を示すカーブが大きく崩れ、スキャン位置と角度とが１対１に対応しなかった。図８（ｅ）、（ｆ）の結果から、この場合は第１蛍光のＤＨ－ＰＳＦに応じた像を適正に形成できないことが分かった。 FIGS. 8E and 8F show verification results when the second phase modulation pattern is set in the phase modulator 51 and the first fluorescence is observed. In this case, as shown in FIG. 8(e), the shape of the DH-PSF collapsed depending on the position in the Z-axis direction. Further, as shown in FIG. 8(f), the curve showing the relationship between the scan position and the angle was greatly distorted, and the scan position and the angle did not correspond one-to-one. From the results shown in FIGS. 8(e) and 8(f), it was found that in this case, it was not possible to properly form an image according to the DH-PSF of the first fluorescence.

図８（ｇ）、（ｈ）は、位相変調器５１に第２位相変調パターンを設定し、第２蛍光を観察した場合の検証結果である。この場合、図８（ｇ）に示すように、２つの輝点像が適正となった。また、図８（ｈ）に示すように、角度とスキャン位置との関係は、１対１に対応したカーブとなった。図８（ｇ）、（ｈ）の結果から、この場合は第２蛍光のＤＨ－ＰＳＦに応じた像を適正に形成できることが分かった。 FIGS. 8(g) and 8(h) show verification results when a second phase modulation pattern is set in the phase modulator 51 and second fluorescence is observed. In this case, as shown in FIG. 8(g), two bright spot images were appropriate. Further, as shown in FIG. 8(h), the relationship between the angle and the scan position was a curve with a one-to-one correspondence. From the results shown in FIGS. 8(g) and (h), it was found that in this case, an image corresponding to the DH-PSF of the second fluorescence could be appropriately formed.

図８（ａ）、（ｂ）、（ｇ）、（ｈ）の結果から、位相変調器５１の位相変調パターンの設定と、位相変調器５１に入射させる蛍光の中心波長との組合せが最適である場合、蛍光のＤＨ－ＰＳＦに応じた像を適正に形成できた。このことは結果としては妥当であったと言える。一方、位相変調器５１の位相変調パターンの設定と、位相変調器５１に入射させる蛍光の中心波長との組合せが最適でない場合、蛍光のＤＨ－ＰＳＦに応じた像を適正に形成できなかった。このことから、位相変調器５１の位相変調パターンの設定と、位相変調器５１に入射させる蛍光とを適切に選択する必要があることが分かった。 From the results in FIGS. 8(a), (b), (g), and (h), the combination of the phase modulation pattern setting of the phase modulator 51 and the center wavelength of the fluorescence incident on the phase modulator 51 is optimal. In some cases, it was possible to properly form an image according to the fluorescence DH-PSF. This can be said to be a valid result. On the other hand, if the combination of the setting of the phase modulation pattern of the phase modulator 51 and the center wavelength of the fluorescence incident on the phase modulator 51 is not optimal, an image corresponding to the DH-PSF of the fluorescence could not be properly formed. From this, it has been found that it is necessary to appropriately select the setting of the phase modulation pattern of the phase modulator 51 and the fluorescence to be made incident on the phase modulator 51.

以上の結果を踏まえて、本発明者は、第１蛍光と第２蛍光の両方に対応できるように、第１蛍光にとって最適な第１位相変調パターンと、第２蛍光にとって最適な第２位相変調パターンとを統合することを考えた。その際に、本発明者は、第１蛍光と第２蛍光の波長帯域が重なることに着目した。第１蛍光は、第１の波長に強度のピークを持つ光であり、第２蛍光は、第２の波長に強度のピークを持つ光である。すなわち、第１蛍光の波長帯域は、第１の波長を中心波長としてある程度の広がりを有しており、第２蛍光の波長帯域は、第２の波長を中心波長としてある程度の広がりを有する。そして、第１蛍光の波長帯域の一部と、第２蛍光の波長帯域の一部とは互いに重なり合う。 Based on the above results, the present inventor has developed a first phase modulation pattern that is optimal for the first fluorescence and a second phase modulation pattern that is optimal for the second fluorescence so that it can correspond to both the first fluorescence and the second fluorescence. I thought about integrating the pattern. At this time, the inventors focused on the fact that the wavelength bands of the first fluorescence and the second fluorescence overlap. The first fluorescence is light that has an intensity peak at a first wavelength, and the second fluorescence is light that has an intensity peak at a second wavelength. That is, the wavelength band of the first fluorescence has a certain extent of spread with the first wavelength as the center wavelength, and the wavelength band of the second fluorescence has a certain extent of spread with the second wavelength as the center wavelength. A part of the wavelength band of the first fluorescence and a part of the wavelength band of the second fluorescence overlap with each other.

発明者は、第１蛍光の波長帯域の一部と第２蛍光の波長帯域の一部とが重なり合う場合に、第１蛍光に最適な第１位相変調パターンと、第２蛍光に最適な第２位相変調パターンとを以下のように統合すれば、統合した位相変調パターンによって第１蛍光と第２蛍光のＤＨ－ＰＳＦに応じた像が適正に形成できることを見いだした。以下に示す実施例１～６の位相変調パターンは、第１位相変調パターンと第２位相変調パターンとを様々な方法で統合した例である。また、発明者は、実施例１～６の位相変調パターンによって、第１蛍光および第２蛍光のＤＨ－ＰＳＦに応じた像が適正に形成されるか否かを検証した。 The inventor has proposed that when a part of the wavelength band of the first fluorescence and a part of the wavelength band of the second fluorescence overlap, the first phase modulation pattern is optimal for the first fluorescence, and the second phase modulation pattern is optimal for the second fluorescence. It has been found that if the phase modulation patterns are integrated as follows, an image corresponding to the DH-PSF of the first fluorescence and the second fluorescence can be appropriately formed by the integrated phase modulation pattern. The phase modulation patterns of Examples 1 to 6 shown below are examples in which the first phase modulation pattern and the second phase modulation pattern are integrated in various ways. In addition, the inventors verified whether images according to the DH-PSF of the first fluorescence and the second fluorescence could be appropriately formed using the phase modulation patterns of Examples 1 to 6.

＜実施例１の位相変調パターン＞
実施例１の位相変調パターンは、第１位相変調パターンと第２位相変調パターンとを、位置ごとに所定の割合で合成することにより作製される。第１位相変調パターンと第２位相変調パターンとをａ対ｂで合成する場合、以下の式に示すように、実施例１の位相変調パターンの階調は、第１位相変調パターンの第１の階調と、第２位相変調パターンの第２の階調とに基づいて算出される。 <Phase modulation pattern of Example 1>
The phase modulation pattern of Example 1 is produced by combining the first phase modulation pattern and the second phase modulation pattern at a predetermined ratio for each position. When the first phase modulation pattern and the second phase modulation pattern are combined in a ratio of a to b, the gradation of the phase modulation pattern of Example 1 is the same as that of the first phase modulation pattern, as shown in the following equation. It is calculated based on the gradation and the second gradation of the second phase modulation pattern.

実施例１の位相変調パターンの階調
＝（第１の階調×ａ＋第２の階調×ｂ）／（ａ＋ｂ）
（ａ、ｂは、いずれも正の実数） Gradation of phase modulation pattern of Example 1 = (first gradation x a + second gradation x b) / (a + b)
(a and b are both positive real numbers)

具体的に実施例１の位相変調パターンを用いる場合、実施例１の位相変調パターンに対応する画像が作製され、作製された画像が位相変調器５１に入力され、入力された画像に基づいて位相変調器５１において実施例１の位相変調パターンが実現される。実施例１の位相変調パターンに対応する画像の各画素における階調は、第１の波長の光用の階調と、第２波長の光用の階調との間の階調に設定される。すなわち、第１蛍光に最適な第１位相変調パターンの同じ画素位置における階調と、第２蛍光に最適な第２位相変調パターンの同じ画素位置における階調とに基づいて、上記式により算出される。こうして作製された実施例１の位相変調パターンに対応する画像が、位相変調器５１に入力されることにより、位相変調器５１において実施例１の位相変調パターンが設定され、液晶パネル５１ａの各液晶分子５１ｂの回転角度が設定される。 Specifically, when using the phase modulation pattern of Example 1, an image corresponding to the phase modulation pattern of Example 1 is created, the created image is input to the phase modulator 51, and the phase is adjusted based on the input image. The phase modulation pattern of the first embodiment is realized in the modulator 51. The gradation in each pixel of the image corresponding to the phase modulation pattern of Example 1 is set to a gradation between the gradation for light of the first wavelength and the gradation for light of the second wavelength. . That is, it is calculated by the above formula based on the gradation at the same pixel position of the first phase modulation pattern that is optimal for the first fluorescence and the gradation at the same pixel position of the second phase modulation pattern that is optimal for the second fluorescence. Ru. By inputting the image corresponding to the phase modulation pattern of Example 1 produced in this way to the phase modulator 51, the phase modulation pattern of Example 1 is set in the phase modulator 51, and each liquid crystal of the liquid crystal panel 51a The rotation angle of the molecule 51b is set.

図９は、（ａ、ｂ）＝（９、１）、（８、２）、（７、３）、（６、４）、（５、５）、（４、６）、（３、７）、（２、８）、（１、９）のときの、実施例１の位相変調パターンを示す図である。以下、これら９つの位相変調パターンについて検証を行った結果を示す。 In Figure 9, (a, b) = (9, 1), (8, 2), (7, 3), (6, 4), (5, 5), (4, 6), (3, 7 ), (2, 8), and (1, 9), the phase modulation pattern of Example 1 is shown. The results of verifying these nine phase modulation patterns are shown below.

図１０は、上記のような実施例１の９種類の位相変調パターンと、第１位相変調パターンと、第２位相変調パターンとを用いて、第１蛍光を観察した場合の撮像面６２ａにおける第１蛍光の結像状態を示す図である。上下方向は、対物レンズ３６のスキャン位置を示している。最も左側の“６９０ｎｍ”と最も右側の“５３０ｎｍ”は、それぞれ第１位相変調パターンと第２位相変調パターンを用いた場合を示している。 FIG. 10 shows the first fluorescence on the imaging surface 62a when the first fluorescence is observed using the nine types of phase modulation patterns of Example 1, the first phase modulation pattern, and the second phase modulation pattern as described above. FIG. 1 is a diagram showing an imaging state of 1 fluorescence. The vertical direction indicates the scanning position of the objective lens 36. “690 nm” on the leftmost side and “530 nm” on the rightmost side indicate the case where the first phase modulation pattern and the second phase modulation pattern are used, respectively.

図１０に示すように、各スキャン位置のいずれにおいても、右へ進むにつれて、すなわち第２位相変調パターンの配合比率が上昇し位相変調パターンが第２位相変調パターンに近付くにつれて、ＤＨ－ＰＳＦに応じた輝点像がぼやけていく様子が見られた。また、スキャン位置が－３μｍや－４μｍの場合は、右へ進むにつれて、２つの輝点の中間に０次光に基づく新たな輝点が現れた。特に、（ａ、ｂ）＝（１、９）の位相変調パターンと第２位相変調パターンとを用いた場合、実線の枠で囲んだ部分に示すように、０次光の輝点像の輝点強度が、ＤＨ－ＰＳＦに応じた輝点像に比べて高かった。このような場合、０次光をＤＨ－ＰＳＦの輝点と誤認識することで、スキャン位置と角度との関係を示すカーブや、３次元超解像画像を適正に生成できない可能性がある。 As shown in FIG. 10, at each scanning position, as the mixture ratio of the second phase modulation pattern increases and the phase modulation pattern approaches the second phase modulation pattern, as it moves to the right, the DH-PSF changes. It was observed that the bright spot image became blurred. Further, when the scan position was −3 μm or −4 μm, a new bright spot based on the zero-order light appeared between the two bright spots as the image progressed to the right. In particular, when using the phase modulation pattern of (a, b) = (1, 9) and the second phase modulation pattern, the brightness of the bright spot image of the 0th order light is shown in the area surrounded by the solid line. The point intensity was higher than the bright spot image according to DH-PSF. In such a case, the zero-order light may be mistakenly recognized as a bright spot of the DH-PSF, and a curve indicating the relationship between the scan position and the angle or a three-dimensional super-resolution image may not be properly generated.

図１１は、上記のような実施例１の９種類の位相変調パターンと、第１位相変調パターンと、第２位相変調パターンとを用いて、第２蛍光を観察した場合の撮像面６２ａにおける第２蛍光の結像状態を示す図である。 FIG. 11 shows how the second fluorescence is observed on the imaging surface 62a using the nine types of phase modulation patterns of Example 1, the first phase modulation pattern, and the second phase modulation pattern as described above. FIG. 2 is a diagram showing an imaging state of two fluorescent lights.

図１１に示すように、各スキャン位置のいずれにおいても、左へ進むにつれて、すなわち第１位相変調パターンの配合比率が上昇し位相変調パターンが第１位相変調パターンに近付くにつれて、ＤＨ－ＰＳＦに応じた輝点像がぼやけていく様子が見られた。特に、（ａ、ｂ）＝（９、１）、（８、２）、（７、３）の位相変調パターンと第１位相変調パターンとを用いた場合、実線の枠で囲んだ部分に示すように、スキャン位置によっては輝点が２点よりも多くなった。 As shown in FIG. 11, at each scanning position, as the mixture ratio of the first phase modulation pattern increases and the phase modulation pattern approaches the first phase modulation pattern as it moves to the left, the DH-PSF changes. It was observed that the bright spot image became blurred. In particular, when using the phase modulation patterns of (a, b) = (9, 1), (8, 2), (7, 3) and the first phase modulation pattern, As shown, depending on the scanning position, there were more than two bright spots.

図１０、１１の結果から、（ａ、ｂ）＝（６、４）、（５、５）、（４、６）、（３、７）、（２、８）で実施例１の位相変調パターンを設定した場合、第１蛍光と第２蛍光の両方のＤＨ－ＰＳＦに応じた像を適正に形成できることが分かった。 From the results in Figures 10 and 11, the phase modulation of Example 1 with (a, b) = (6, 4), (5, 5), (4, 6), (3, 7), (2, 8) It has been found that when a pattern is set, an image can be appropriately formed according to the DH-PSF of both the first fluorescence and the second fluorescence.

さらに、（ａ、ｂ）＝（５、５）で実施例１の位相変調パターンを設定した場合の検証結果について、図１２（ａ）～（ｄ）を参照して説明する。 Furthermore, the verification results when the phase modulation pattern of Example 1 is set with (a, b)=(5, 5) will be explained with reference to FIGS. 12(a) to 12(d).

図１２（ａ）、（ｂ）は、第１蛍光を観察した場合の結果を示しており、図１２（ｃ）、（ｄ）は、第２蛍光を観察した場合の結果を示している。図１２（ａ）、（ｃ）に示すように、２点の結像位置により作られる直線の傾きが－９０度～＋９０度の範囲で、第１蛍光と第２蛍光の両方のＤＨ－ＰＳＦに応じた像を適正に形成できた。また、図１２（ｂ）、（ｄ）に示すように、角度とスキャン位置との関係は１対１に対応したカーブとなった。 12(a) and (b) show the results when observing the first fluorescence, and FIGS. 12(c) and (d) show the results when observing the second fluorescence. As shown in FIGS. 12(a) and (c), the DH-PSF of both the first fluorescence and the second fluorescence is It was possible to form an appropriate image according to the situation. Further, as shown in FIGS. 12(b) and 12(d), the relationship between the angle and the scan position was a curve with a one-to-one correspondence.

以上の検証結果から、位相変調器５１に実施例１の位相変調パターンを設定する場合に、第１位相変調パターンと第２位相変調パターンを所定の割合で合成して実施例１の位相変調パターンとすれば、実施例１の位相変調パターンにより、第１蛍光と第２蛍光の両方のＤＨ－ＰＳＦに応じた像を適正に形成できることが分かった。なお、中心波長が異なる３種類以上の蛍光に対しても、同様に、３種類の蛍光に最適な位相変調パターンを所定の割合で合成することにより、３つの蛍光のＤＨ－ＰＳＦに応じた像を適正に形成できる。 From the above verification results, when setting the phase modulation pattern of Example 1 in the phase modulator 51, the first phase modulation pattern and the second phase modulation pattern are combined at a predetermined ratio to form the phase modulation pattern of Example 1. Therefore, it was found that the phase modulation pattern of Example 1 can appropriately form an image according to the DH-PSF of both the first fluorescence and the second fluorescence. In addition, for three or more types of fluorescence with different center wavelengths, similarly, by combining the optimal phase modulation patterns for the three types of fluorescence at a predetermined ratio, an image according to the DH-PSF of the three types of fluorescence can be created. can be formed appropriately.

次に、図１３（ａ）～（ｃ）を参照して、上記のように第１位相変調パターンと第２位相変調パターンを合成することについて詳細に説明する。図１３（ａ）～（ｃ）は、それぞれ、第１位相変調パターンと、第２位相変調パターンと、実施例１の位相変調パターンにおいて、液晶パネル５１ａの１つの画素位置を模式的に示す図である。図１３（ａ）～（ｃ）では、便宜上、１つの液晶分子５１ｂにより１つの画素の階調が設定されるものとする。 Next, combining the first phase modulation pattern and the second phase modulation pattern as described above will be described in detail with reference to FIGS. 13(a) to 13(c). 13A to 13C are diagrams schematically showing one pixel position of the liquid crystal panel 51a in the first phase modulation pattern, the second phase modulation pattern, and the phase modulation pattern of Example 1, respectively. It is. In FIGS. 13A to 13C, for convenience, it is assumed that one liquid crystal molecule 51b sets the gradation of one pixel.

図１３（ａ）に示すように、第１蛍光に基づいてＤＨ－ＰＳＦに応じた像を適正に形成させるために、所定の画素位置に入射する第１蛍光が液晶分子５１ｂを往復で通過する距離を、第１距離Ｌ１とする。同様に、図１３（ｂ）に示すように、第２蛍光のＤＨ－ＰＳＦに応じた像を適正に形成させるために、所定の画素位置に入射する第２蛍光が液晶分子５１ｂを往復で通過する距離を、第２距離Ｌ２とする。第１距離Ｌ１によって第１蛍光の位相が変調される大きさは、第２距離Ｌ２によって第２蛍光の位相が変調される大きさに等しい。すなわち、第１蛍光の波長と、第２蛍光の波長と、液晶分子５１ｂの屈折率とを考慮すると、第１距離Ｌ１に基づく第１蛍光の光路長と第２距離Ｌ２に基づく第２蛍光の光路長とは互いに等しい。 As shown in FIG. 13(a), in order to properly form an image according to the DH-PSF based on the first fluorescence, the first fluorescence incident on a predetermined pixel position passes through the liquid crystal molecules 51b in a round trip. Let the distance be a first distance L1. Similarly, as shown in FIG. 13(b), in order to properly form an image according to the DH-PSF of the second fluorescence, the second fluorescence incident on a predetermined pixel position passes through the liquid crystal molecules 51b back and forth. The distance is defined as a second distance L2. The magnitude by which the phase of the first fluorescence is modulated by the first distance L1 is equal to the magnitude by which the phase of the second fluorescence is modulated by the second distance L2. That is, considering the wavelength of the first fluorescence, the wavelength of the second fluorescence, and the refractive index of the liquid crystal molecule 51b, the optical path length of the first fluorescence based on the first distance L1 and the optical path length of the second fluorescence based on the second distance L2 are The optical path lengths are equal to each other.

図１３（ｃ）に示すように、第１蛍光と第２蛍光の両方のＤＨ－ＰＳＦに応じた像を適正に形成させるために、所定の画素位置に入射する第１蛍光と第２蛍光が液晶分子５１ｂを往復で通過する距離を、第３距離Ｌ３とする。このとき、第３距離Ｌ３は、第１距離と第２距離との間に設定される。すなわち、実施例１の位相変調パターンの各位置における位相変調の大きさは、第１位相変調パターンにおける位相変調の大きさと、第２位相変調パターンにおける位相変調の大きさとの間の大きさに設定されている。具体的には、上記のような実施例１の位相変調パターンの式と同様、第３距離Ｌ３は、以下の式により算出される。 As shown in FIG. 13(c), in order to properly form an image according to the DH-PSF of both the first fluorescence and the second fluorescence, the first fluorescence and the second fluorescence incident on a predetermined pixel position are The distance through which the liquid crystal molecules 51b are passed in a round trip is defined as a third distance L3. At this time, the third distance L3 is set between the first distance and the second distance. That is, the magnitude of phase modulation at each position of the phase modulation pattern in Example 1 is set to a magnitude between the magnitude of phase modulation in the first phase modulation pattern and the magnitude of phase modulation in the second phase modulation pattern. has been done. Specifically, the third distance L3 is calculated by the following formula, similar to the formula for the phase modulation pattern of Example 1 as described above.

第３距離Ｌ３＝（第１距離Ｌ１×ａ＋第２距離Ｌ２×ｂ）／（ａ＋ｂ） Third distance L3=(first distance L1×a+second distance L2×b)/(a+b)

実施例１の位相変調パターンが設定されると、図１３（ｃ）に示すような設定が全ての画素位置において行われる。これにより、実施例１の位相変調パターンは、第１蛍光と第２蛍光の両方のＤＨ－ＰＳＦに応じた像を適正に形成できるようになる。 When the phase modulation pattern of Example 1 is set, settings as shown in FIG. 13(c) are performed at all pixel positions. As a result, the phase modulation pattern of Example 1 can appropriately form an image according to the DH-PSF of both the first fluorescence and the second fluorescence.

なお、（ａ、ｂ）＝（５、５）のとき、第３距離Ｌ３は、第１距離Ｌ１と第２距離Ｌ２の中間に設定されることになる。この場合、第１蛍光には、第１蛍光を第１位相変調パターンにより位相変調させる大きさと、第１蛍光を第２位相変調パターンにより位相変調させる大きさとの中間の大きさの位相変調が生じる。第２蛍光には、第２蛍光を第１位相変調パターンにより位相変調させる大きさと、第２蛍光を第２位相変調パターンにより位相変調させる大きさとの中間の大きさの位相変調が生じる。 Note that when (a, b)=(5, 5), the third distance L3 is set to be intermediate between the first distance L1 and the second distance L2. In this case, phase modulation occurs in the first fluorescence with an intermediate magnitude between the magnitude in which the first fluorescence is phase modulated by the first phase modulation pattern and the magnitude in which the first fluorescence is phase modulated by the second phase modulation pattern. . Phase modulation occurs in the second fluorescence with an intermediate magnitude between the magnitude in which the second fluorescence is phase modulated by the first phase modulation pattern and the magnitude in which the second fluorescence is phase modulated by the second phase modulation pattern.

＜実施例２の位相変調パターン＞
図１４（ａ）に示すように、実施例２の位相変調パターンは、第１位相変調パターンと第２位相変調パターンとをモザイク状に配置することにより作製される。実施例２の位相変調パターンでは、入射領域を多数に区分した領域群が、薄いグレーの領域からなる第１領域と、濃いグレーの領域からなる第２領域とに区分される。第１領域の各領域と第２領域の各領域はそれぞれ隣り合っている。薄いグレーの領域には、第１位相変調パターンが設定され、濃いグレーの領域は、第２位相変調パターンが設定される。実施例２の位相変調パターンでは、第１領域の１つの領域と第２領域の１つの領域は、いずれも一辺がＭピクセルの正方形形状とされる。 <Phase modulation pattern of Example 2>
As shown in FIG. 14(a), the phase modulation pattern of Example 2 is produced by arranging the first phase modulation pattern and the second phase modulation pattern in a mosaic shape. In the phase modulation pattern of Example 2, a region group in which the incident region is divided into a large number of regions is divided into a first region consisting of a light gray region and a second region consisting of a dark gray region. Each area of the first area and each area of the second area are adjacent to each other. The first phase modulation pattern is set in the light gray area, and the second phase modulation pattern is set in the dark gray area. In the phase modulation pattern of Example 2, one region of the first region and one region of the second region are both square-shaped with each side having M pixels.

すなわち、実施例２の位相変調パターンは、入射領域において、第１の波長の光に第１位相変調を与えるための領域、すなわち第１位相変調パターンが設定された第１領域と、第２の波長の光に第２位相変調を与えるための領域、すなわち第２位相変調パターンが設定された第２領域とを含む。言い換えれば、入射領域のある領域において、実施例２の位相変調パターンでは、第１領域に入射する光束が位相変調のために進む距離が、図１３（ａ）に示す第１距離Ｌ１に設定され、第２領域に入射する光束が位相変調のために進む距離が、図１３（ｂ）に示す第２距離Ｌ２に設定される。 That is, the phase modulation pattern of Example 2 includes, in the incident region, a region for imparting the first phase modulation to light of the first wavelength, that is, a first region where the first phase modulation pattern is set, and a second region. It includes a region for applying second phase modulation to light of the wavelength, that is, a second region in which a second phase modulation pattern is set. In other words, in a certain area of the incident area, in the phase modulation pattern of Example 2, the distance that the light beam incident on the first area travels due to phase modulation is set to the first distance L1 shown in FIG. 13(a). , the distance traveled by the light flux incident on the second region for phase modulation is set to the second distance L2 shown in FIG. 13(b).

図１４（ｂ）～（ｄ）は、それぞれＭ＝１、３、５のときの、実施例２の位相変調パターンを示す図である。図１４（ｂ）～（ｄ）には、中央付近における第１位相変調パターンと第２位相変調パターンの配置が拡大表示されている。以下、これら３つの位相変調パターンについて検証を行った結果を示す。 FIGS. 14(b) to 14(d) are diagrams showing phase modulation patterns of Example 2 when M=1, 3, and 5, respectively. In FIGS. 14(b) to 14(d), the arrangement of the first phase modulation pattern and the second phase modulation pattern near the center is displayed in an enlarged manner. The results of verifying these three phase modulation patterns will be shown below.

図１５（ａ）～（ｄ）は、Ｍ＝１の実施例２の位相変調パターンを用いて、蛍光を観察した結果を示す図である。図１５（ａ）、（ｂ）に示すように、第１蛍光を観察した場合、２つの輝点像が適正となり、スキャン位置と角度との関係も１対１に対応したカーブとなった。図１５（ｃ）、（ｄ）に示すように、第２蛍光を観察した場合も、２つの輝点像が適正となり、スキャン位置と角度との関係も１対１に対応したカーブとなった。したがって、Ｍ＝１の実施例２の位相変調パターンを用いることにより、第１蛍光と第２蛍光の両方のＤＨ－ＰＳＦに応じた像を適正に形成できることが分かった。 FIGS. 15A to 15D are diagrams showing the results of observing fluorescence using the phase modulation pattern of Example 2 where M=1. As shown in FIGS. 15(a) and 15(b), when the first fluorescence was observed, two bright spot images were appropriate, and the relationship between the scan position and the angle was a curve that corresponded one-to-one. As shown in FIGS. 15(c) and (d), when observing the second fluorescence, two bright spot images were also appropriate, and the relationship between the scan position and the angle was a curve with a one-to-one correspondence. . Therefore, it was found that by using the phase modulation pattern of Example 2 in which M=1, an image corresponding to the DH-PSF of both the first fluorescence and the second fluorescence could be appropriately formed.

図１５（ｅ）、（ｆ）は、Ｍ＝５の実施例２の位相変調パターンを用いて、第１蛍光と第２蛍光を観察した結果を示す図である。この場合も、第１蛍光を観察した場合と、第２蛍光を観察した場合とにおいて、いずれも２つの輝点像が適正となった。したがって、Ｍ＝５の実施例２の位相変調パターンを用いることにより、第１蛍光と第２蛍光の両方のＤＨ－ＰＳＦに応じた像を適正に形成できることが分かった。 FIGS. 15E and 15F are diagrams showing the results of observing the first fluorescence and the second fluorescence using the phase modulation pattern of Example 2 where M=5. In this case as well, two bright spot images were appropriate in both the case of observing the first fluorescence and the case of observing the second fluorescence. Therefore, it was found that by using the phase modulation pattern of Example 2 in which M=5, an image corresponding to the DH-PSF of both the first fluorescence and the second fluorescence could be appropriately formed.

図１６（ａ）は、Ｍ＝１、３の実施例２の位相変調パターンを用いて、第１蛍光を広視野で観察した結果を示す図である。図１６（ｂ）は、Ｍ＝１、３の実施例２の位相変調パターンを用いて、第２蛍光を広視野で観察した結果を示す図である。図１６（ａ）、（ｂ）において、上段は、蛍光を直接観察した場合に撮像部６２により生成される画像である。下段は、上段の画像のコントラストを調整した画像である。図１６（ａ）、（ｂ）において、左側の画像はＭ＝１の位相変調パターンに対応し、右側の画像はＭ＝３の位相変調パターンに対応する。 FIG. 16A is a diagram showing the results of observing the first fluorescence in a wide field of view using the phase modulation pattern of Example 2 with M=1 and 3. FIG. 16(b) is a diagram showing the results of observing the second fluorescence in a wide field using the phase modulation pattern of Example 2 with M=1 and 3. In FIGS. 16A and 16B, the upper row is an image generated by the imaging unit 62 when fluorescence is directly observed. The lower row is an image obtained by adjusting the contrast of the upper row image. In FIGS. 16A and 16B, the left image corresponds to a phase modulation pattern with M=1, and the right image corresponds to a phase modulation pattern with M=3.

図１６（ａ）、（ｂ）の下段の画像において、矢印で示す位置に輝点が現れている。この輝点は、第１位相変調パターンと第２位相変調パターンとがモザイク状で周期的に配置されていることにより生じた回折光に基づく輝点である。回折角はＭの値が大きいほど小さいため、Ｍ＝１の位相変調パターンを用いた場合よりも、Ｍ＝３の位相変調パターンを用いた場合の方が、回折光が画像の中心に近い領域に現れることになる。Ｍ＝３の場合、本来観察したいＤＨ－ＰＳＦに応じた輝点の一部に、回折光が重畳していることが分かった。 In the lower images of FIGS. 16(a) and 16(b), a bright spot appears at the position indicated by the arrow. This bright spot is a bright spot based on diffracted light generated by the first phase modulation pattern and the second phase modulation pattern being periodically arranged in a mosaic pattern. Since the diffraction angle is smaller as the value of M increases, the area where the diffracted light is closer to the center of the image is smaller when using the phase modulation pattern with M=3 than when using the phase modulation pattern with M=1. It will appear in In the case of M=3, it was found that the diffracted light was superimposed on a part of the bright spot corresponding to the DH-PSF that was originally desired to be observed.

したがって、実施例２の位相変調パターンを用いる場合には、Ｍの値をなるべく小さくするのが望ましいと言える。ただし、位相変調器５１の１つの画素のサイズが小さい場合には、Ｍの値を大きくしても回折光が視野に入らないこともあり得る。また、回折光の輝点は、本来観察したいＤＨ－ＰＳＦに応じた輝点に比べて暗いため、回転角度に基づいて３次元座標を算出する際に、特に問題とならないこともあり得る。なお、中心波長が異なる２種類の蛍光のＤＨ－ＰＳＦに応じた像を適正に形成できるＭの値は、上記のような１、３、５に限らない。 Therefore, when using the phase modulation pattern of Example 2, it is desirable to make the value of M as small as possible. However, if the size of one pixel of the phase modulator 51 is small, the diffracted light may not enter the field of view even if the value of M is increased. Furthermore, since the bright spot of the diffracted light is darker than the bright spot corresponding to the DH-PSF that is originally desired to be observed, there may be no particular problem when calculating three-dimensional coordinates based on the rotation angle. Note that the value of M that can appropriately form images according to the DH-PSF of two types of fluorescence having different center wavelengths is not limited to 1, 3, and 5 as described above.

＜実施例３の位相変調パターン＞
図１７（ａ）に示すように、実施例３の位相変調パターンは、実施例２の位相変調パターンと同様、第１位相変調パターンと第２位相変調パターンとをモザイク状に配置することにより作製される。ただし、実施例３の位相変調パターンでは、第１領域の１つの領域と第２領域の１つの領域は、いずれも上下方向にＭピクセルであり左右方向にＮピクセルの長方形形状とされる。 <Phase modulation pattern of Example 3>
As shown in FIG. 17(a), similarly to the phase modulation pattern of Example 2, the phase modulation pattern of Example 3 was fabricated by arranging the first phase modulation pattern and the second phase modulation pattern in a mosaic shape. be done. However, in the phase modulation pattern of Example 3, one region of the first region and one region of the second region are each formed into a rectangular shape of M pixels in the vertical direction and N pixels in the horizontal direction.

図１７（ｂ）～（ｄ）は、それぞれ（Ｍ、Ｎ）＝（１、２）、（１、４）、（１、３２）のときの、実施例３の位相変調パターンを示す図である。以下、これら３つの位相変調パターンについて検証を行った結果を示す。 17(b) to (d) are diagrams showing the phase modulation patterns of Example 3 when (M, N)=(1, 2), (1, 4), and (1, 32), respectively. be. Below, the results of verifying these three phase modulation patterns will be shown.

図１８（ａ）～（ｄ）は、（Ｍ、Ｎ）＝（１、２）の実施例３の位相変調パターンを用いて、蛍光を観察した結果を示す図である。図１８（ａ）、（ｂ）に示すように、第１蛍光を観察した場合、２つの輝点像が適正となり、スキャン位置と角度との関係も１対１に対応したカーブとなった。図１８（ｃ）、（ｄ）に示すように、第２蛍光を観察した場合も、２つの輝点像が適正となり、スキャン位置と角度との関係も１対１に対応したカーブとなった。したがって、（Ｍ、Ｎ）＝（１、２）の実施例３の位相変調パターンを用いることにより、第１蛍光と第２蛍光の両方のＤＨ－ＰＳＦに応じた像を適正に形成できることが分かった。 FIGS. 18A to 18D are diagrams showing the results of observing fluorescence using the phase modulation pattern of Example 3 where (M, N)=(1, 2). As shown in FIGS. 18(a) and 18(b), when the first fluorescence was observed, two bright spot images were appropriate, and the relationship between the scan position and the angle was also a curve with a one-to-one correspondence. As shown in FIGS. 18(c) and (d), when observing the second fluorescence, two bright spot images were also appropriate, and the relationship between the scanning position and the angle was a curve with a one-to-one correspondence. . Therefore, it was found that by using the phase modulation pattern of Example 3 where (M, N) = (1, 2), it is possible to appropriately form an image according to the DH-PSF of both the first fluorescence and the second fluorescence. Ta.

図１８（ｅ）、（ｆ）は、（Ｍ、Ｎ）＝（１、３２）の実施例３の位相変調パターンを用いて、第１蛍光と第２蛍光を観察した結果を示す図である。この場合も、第１蛍光を観察した場合と、第２蛍光を観察した場合とにおいて、２つの輝点像が適正となった。したがって、（Ｍ、Ｎ）＝（１、３２）の実施例３の位相変調パターンを用いることにより、第１蛍光と第２蛍光の両方のＤＨ－ＰＳＦに応じた像を適正に形成できることが分かった。 FIGS. 18(e) and 18(f) are diagrams showing the results of observing the first fluorescence and the second fluorescence using the phase modulation pattern of Example 3 with (M, N)=(1, 32). . In this case as well, two bright spot images were appropriate when the first fluorescence was observed and when the second fluorescence was observed. Therefore, it was found that by using the phase modulation pattern of Example 3 with (M, N) = (1, 32), it is possible to appropriately form an image according to the DH-PSF of both the first fluorescence and the second fluorescence. Ta.

図１９（ａ）は、（Ｍ、Ｎ）＝（１、２）、（１、４）の実施例３の位相変調パターンを用いて、第１蛍光を広視野で観察した結果を示す図である。図１９（ｂ）は、（Ｍ、Ｎ）＝（１、２）、（１、４）の実施例３の位相変調パターンを用いて、第２蛍光を広視野で観察した結果を示す図である。図１９（ａ）、（ｂ）において、左側の画像は（Ｍ、Ｎ）＝（１、２）の位相変調パターンに対応し、右側の画像は（Ｍ、Ｎ）＝（１、４）の位相変調パターンに対応する。 FIG. 19(a) is a diagram showing the results of observing the first fluorescence in a wide field using the phase modulation pattern of Example 3 with (M, N) = (1, 2), (1, 4). be. FIG. 19(b) is a diagram showing the results of observing the second fluorescence in a wide field using the phase modulation pattern of Example 3 with (M, N) = (1, 2), (1, 4). be. In Figures 19(a) and (b), the image on the left corresponds to a phase modulation pattern of (M, N) = (1, 2), and the image on the right corresponds to a phase modulation pattern of (M, N) = (1, 4). Corresponds to phase modulation pattern.

図１９（ａ）、（ｂ）の下段の画像において、図１６（ａ）、（ｂ）の場合と同様、矢印で示す位置に輝点が現れている。図１７（ａ）の上下方向と左右方向は、図１９（ａ）、（ｂ）の画像において、それぞれ左右方向と上下方向に対応する。本検証では、Ｍの値は１に固定されているため、図１９（ａ）、（ｂ）の下段の画像に示すように、回折光は左右方向において両端の同じ位置に現れた。一方、Ｎの値が大きくなると、回折光は左右方向における位置を保ちながら、上下方向において画像の中心に近付いた。また、（Ｍ、Ｎ）＝（２、４）の条件が示すような長方形形状の実施例３の位相変調パターンを用いた場合も、実施例２の位相変調パターンの検証からも分かるように、Ｍの値が１から２へと大きくなることによって、回折光が左右方向において画像の中心に近付くことが想定される。 In the lower images of FIGS. 19(a) and 19(b), bright spots appear at the positions indicated by arrows, as in the cases of FIGS. 16(a) and 16(b). The vertical direction and the horizontal direction in FIG. 17(a) correspond to the horizontal direction and the vertical direction in the images of FIGS. 19(a) and (b), respectively. In this verification, the value of M was fixed at 1, so the diffracted light appeared at the same position on both ends in the left and right direction, as shown in the lower images of FIGS. 19(a) and 19(b). On the other hand, as the value of N increases, the diffracted light approaches the center of the image in the vertical direction while maintaining its position in the horizontal direction. Also, as can be seen from the verification of the phase modulation pattern of Example 2, even when using the rectangular phase modulation pattern of Example 3 as shown by the condition (M, N) = (2, 4), It is assumed that as the value of M increases from 1 to 2, the diffracted light approaches the center of the image in the left-right direction.

したがって、実施例３の位相変調パターンを用いる場合には、Ｍ、Ｎの値をなるべく小さくするのが望ましいと言える。なお、中心波長が異なる２種類の蛍光のＤＨ－ＰＳＦに応じた像を適正に形成できるＭ、Ｎの値は、上記のような（１、２）、（１、４）、（１、３２）に限らない。 Therefore, when using the phase modulation pattern of Example 3, it is desirable to make the values of M and N as small as possible. The values of M and N that can properly form images according to the DH-PSF of two types of fluorescence with different center wavelengths are (1, 2), (1, 4), (1, 32) as described above. ).

＜実施例４の位相変調パターン＞
図２０（ａ）に示すように、実施例４の位相変調パターンは、第１位相変調パターンと第２位相変調パターンとをストライプ状に配置することにより作製される。第１領域の１つの領域と第２領域の１つの領域は、いずれも左右方向にＭピクセルのストライプ形状とされる。第１領域の各領域と第２領域の各領域は、第１蛍光および第２蛍光が入射する入射領域の一端から他端にわたって延びている。すなわち、上下方向の長さは、設定可能な長さの最大のピクセル値とされる。 <Phase modulation pattern of Example 4>
As shown in FIG. 20(a), the phase modulation pattern of Example 4 is produced by arranging the first phase modulation pattern and the second phase modulation pattern in a stripe shape. One region of the first region and one region of the second region are each formed into a stripe shape of M pixels in the left-right direction. Each region of the first region and each region of the second region extend from one end of the incident region where the first fluorescence and the second fluorescence enter to the other end. That is, the length in the vertical direction is set to the maximum pixel value of the settable length.

図２０（ｂ）～（ｄ）は、それぞれＭ＝１、２、１６のときの、実施例４の位相変調パターンを示す図である。以下、これら３つの位相変調パターンについて検証を行った結果を示す。 FIGS. 20(b) to 20(d) are diagrams showing phase modulation patterns of Example 4 when M=1, 2, and 16, respectively. Below, the results of verifying these three phase modulation patterns will be shown.

図２１（ａ）～（ｄ）は、Ｍ＝１の実施例４の位相変調パターンを用いて、蛍光を観察した結果を示す図である。図２１（ａ）、（ｂ）に示すように、第１蛍光を観察した場合、２つの輝点像が適正となり、スキャン位置と角度との関係も１対１に対応したカーブとなった。図２１（ｃ）、（ｄ）に示すように、第２蛍光を観察した場合も、２つの輝点像が適正となり、スキャン位置と角度との関係も１対１に対応したカーブとなった。したがって、Ｍ＝１の実施例４の位相変調パターンを用いることにより、第１蛍光と第２蛍光の両方のＤＨ－ＰＳＦに応じた像を適正に形成できることが分かった。 FIGS. 21A to 21D are diagrams showing the results of observing fluorescence using the phase modulation pattern of Example 4 where M=1. As shown in FIGS. 21(a) and 21(b), when the first fluorescence was observed, two bright spot images were appropriate, and the relationship between the scan position and the angle also became a curve with a one-to-one correspondence. As shown in FIGS. 21(c) and (d), when observing the second fluorescence, two bright spot images were also appropriate, and the relationship between the scanning position and the angle was a curve with a one-to-one correspondence. . Therefore, it was found that by using the phase modulation pattern of Example 4 in which M=1, an image corresponding to the DH-PSF of both the first fluorescence and the second fluorescence could be appropriately formed.

図２１（ｅ）、（ｆ）は、Ｍ＝１６の実施例４の位相変調パターンを用いて、第１蛍光と第２蛍光を観察した結果を示す図である。この場合も、第１蛍光を観察した場合と、第２蛍光を観察した場合とにおいて、２つの輝点像が適正となった。したがって、Ｍ＝１６の実施例４の位相変調パターンを用いることにより、第１蛍光と第２蛍光の両方のＤＨ－ＰＳＦに応じた像を適正に形成できることが分かった。 FIGS. 21(e) and 21(f) are diagrams showing the results of observing the first fluorescence and the second fluorescence using the phase modulation pattern of Example 4 with M=16. In this case as well, two bright spot images were appropriate when the first fluorescence was observed and when the second fluorescence was observed. Therefore, it was found that by using the phase modulation pattern of Example 4 in which M=16, an image corresponding to the DH-PSF of both the first fluorescence and the second fluorescence could be appropriately formed.

図２２（ａ）は、Ｍ＝１、２の実施例４の位相変調パターンを用いて、第１蛍光を広視野で観察した結果を示す図である。図２２（ｂ）は、Ｍ＝１、２の実施例４の位相変調パターンを用いて、第２蛍光を広視野で観察した結果を示す図である。図２２（ａ）、（ｂ）において、左側の画像はＭ＝１の位相変調パターンに対応し、右側の画像はＭ＝２の位相変調パターンに対応する。 FIG. 22(a) is a diagram showing the results of observing the first fluorescence in a wide field of view using the phase modulation pattern of Example 4 with M=1 and 2. FIG. 22(b) is a diagram showing the results of observing the second fluorescence in a wide field of view using the phase modulation pattern of Example 4 with M=1 and 2. In FIGS. 22(a) and 22(b), the left image corresponds to a phase modulation pattern with M=1, and the right image corresponds to a phase modulation pattern with M=2.

図２２（ａ）、（ｂ）の下段の画像において、図１６（ａ）、（ｂ）の場合と同様、矢印で示す位置に輝点が現れている。ただし、実施例２の位相変調パターンの場合とは異なり、図２２（ａ）、（ｂ）の下段の画像に示すように、回折光は上下方向にのみ現れた。一方、Ｍの値が大きくなると、実施例２の位相変調パターンと同様、回折光は、上下方向において画像の中心に近付いた。 In the lower images of FIGS. 22(a) and 22(b), bright spots appear at the positions indicated by arrows, as in the case of FIGS. 16(a) and 16(b). However, unlike the case of the phase modulation pattern of Example 2, the diffracted light appeared only in the vertical direction, as shown in the lower images of FIGS. 22(a) and 22(b). On the other hand, as the value of M increases, the diffracted light approaches the center of the image in the vertical direction, similar to the phase modulation pattern of Example 2.

したがって、実施例４の位相変調パターンを用いる場合には、Ｍの値をなるべく小さくするのが望ましいと言える。なお、中心波長が異なる２種類の蛍光のＤＨ－ＰＳＦに応じた像を適正に形成できるＭの値は、上記のような１、２、１６に限らない。 Therefore, when using the phase modulation pattern of Example 4, it is desirable to make the value of M as small as possible. Note that the value of M that can appropriately form images according to the DH-PSF of two types of fluorescence having different center wavelengths is not limited to 1, 2, and 16 as described above.

＜実施例５の位相変調パターン＞
図２３（ａ）に示すように、実施例５の位相変調パターンは、第１位相変調パターンと第２位相変調パターンとを同心円状に配置することにより作製される。言い換えれば、第１領域の各領域と第２領域の各領域は、同心のリング形状である。なお、第１領域の各領域の中心と第２領域の各領域の中心とは、ずれていてもよい。第１領域の１つの領域と第２領域の１つの領域は、中心からＭピクセル遠ざかるごとに、互いに入れ替わるように配置される。 <Phase modulation pattern of Example 5>
As shown in FIG. 23(a), the phase modulation pattern of Example 5 is produced by arranging a first phase modulation pattern and a second phase modulation pattern concentrically. In other words, each region of the first region and each region of the second region have concentric ring shapes. Note that the center of each region in the first region and the center of each region in the second region may be shifted from each other. One area of the first area and one area of the second area are arranged to alternate with each other every M pixels away from the center.

図２３（ｂ）～（ｅ）は、それぞれＭ＝１、２、５、６０のときの、実施例５の位相変調パターンを示す図である。以下、これら４つの位相変調パターンについて検証を行った結果を示す。 FIGS. 23(b) to 23(e) are diagrams showing phase modulation patterns of Example 5 when M=1, 2, 5, and 60, respectively. The results of verifying these four phase modulation patterns are shown below.

図２４（ａ）～（ｄ）は、Ｍ＝１の実施例５の位相変調パターンを用いて、蛍光を観察した結果を示す図である。図２４（ａ）、（ｂ）に示すように、第１蛍光を観察した場合、２つの輝点像が適正となり、スキャン位置と角度との関係も１対１に対応したカーブとなった。図２４（ｃ）、（ｄ）に示すように、第２蛍光を観察した場合も、２つの輝点像が適正となり、スキャン位置と角度との関係も１対１に対応したカーブとなった。したがって、Ｍ＝１の実施例５の位相変調パターンを用いることにより、第１蛍光と第２蛍光の両方のＤＨ－ＰＳＦに応じた像を適正に形成できることが分かった。 FIGS. 24(a) to 24(d) are diagrams showing the results of observing fluorescence using the phase modulation pattern of Example 5 where M=1. As shown in FIGS. 24(a) and 24(b), when the first fluorescence was observed, two bright spot images were appropriate, and the relationship between the scan position and the angle was a curve that corresponded one to one. As shown in FIGS. 24(c) and 24(d), when observing the second fluorescence, two bright spot images were also appropriate, and the relationship between the scanning position and the angle was a curve with a one-to-one correspondence. . Therefore, it was found that by using the phase modulation pattern of Example 5 in which M=1, an image corresponding to the DH-PSF of both the first fluorescence and the second fluorescence could be appropriately formed.

図２４（ｅ）、（ｆ）は、Ｍ＝５の実施例５の位相変調パターンを用いて、第１蛍光と第２蛍光を観察した結果を示す図である。この場合も、第１蛍光を観察した場合と、第２蛍光を観察した場合とにおいて、２つの輝点像が適正となった。したがって、Ｍ＝５の実施例５の位相変調パターンを用いることにより、第１蛍光と第２蛍光の両方のＤＨ－ＰＳＦに応じた像を適正に形成できることが分かった。 FIGS. 24(e) and 24(f) are diagrams showing the results of observing the first fluorescence and the second fluorescence using the phase modulation pattern of Example 5 where M=5. In this case as well, two bright spot images were appropriate when the first fluorescence was observed and when the second fluorescence was observed. Therefore, it was found that by using the phase modulation pattern of Example 5 in which M=5, an image corresponding to the DH-PSF of both the first fluorescence and the second fluorescence can be appropriately formed.

図２４（ｇ）、（ｈ）は、Ｍ＝６０の実施例５の位相変調パターンを用いて、第１蛍光と第２蛍光を観察した結果を示す図である。この場合、第１蛍光を観察した場合と、第２蛍光を観察した場合とにおいて、２つの輝点像が崩れてしまうことが確認された。したがって、Ｍの値が大きくなり過ぎると、第１蛍光と第２蛍光のＤＨ－ＰＳＦに応じた像を適正に形成できなくなることが分かった。 FIGS. 24(g) and 24(h) are diagrams showing the results of observing the first fluorescence and the second fluorescence using the phase modulation pattern of Example 5 with M=60. In this case, it was confirmed that the two bright spot images were distorted when the first fluorescence was observed and when the second fluorescence was observed. Therefore, it has been found that if the value of M becomes too large, an image corresponding to the DH-PSF of the first fluorescence and the second fluorescence cannot be properly formed.

図２５（ａ）は、Ｍ＝２、５の実施例５の位相変調パターンを用いて、第１蛍光を広視野で観察した結果を示す図である。図２５（ｂ）は、Ｍ＝２、５の実施例５の位相変調パターンを用いて、第２蛍光を広視野で観察した結果を示す図である。図２５（ａ）、（ｂ）において、左側の画像はＭ＝２の位相変調パターンに対応し、右側の画像はＭ＝５の位相変調パターンに対応する。 FIG. 25A is a diagram showing the results of observing the first fluorescence in a wide field of view using the phase modulation pattern of Example 5 with M=2 and 5. FIG. 25(b) is a diagram showing the results of observing the second fluorescence in a wide field of view using the phase modulation pattern of Example 5 in which M=2 and 5. In FIGS. 25(a) and 25(b), the left image corresponds to a phase modulation pattern with M=2, and the right image corresponds to a phase modulation pattern with M=5.

図２５（ａ）、（ｂ）の下段の画像において、矢印で示すような、輝点像を囲むリング状の回折光が現れている。Ｍ＝２、５の下段の画像を参照すると、この回折光は、Ｍの値が大きくなるにつれて、より直径の小さなリング状の回折光として現れ、本来観察したいＤＨ－ＰＳＦに応じた輝点に近付くことが分かった。したがって、実施例５の位相変調パターンを用いる場合には、Ｍの値をなるべく小さくするのが望ましいと言える。なお、中心波長が異なる２種類の蛍光のＤＨ－ＰＳＦに応じた像を適正に形成できるＭの値は、上記のような１、２、５に限らない。 In the lower images of FIGS. 25(a) and 25(b), ring-shaped diffracted light surrounding the bright spot image appears, as indicated by the arrow. Referring to the lower images of M=2 and 5, as the value of M increases, this diffracted light appears as a ring-shaped diffracted light with a smaller diameter, and becomes a bright spot according to the DH-PSF that you originally want to observe. I knew I was getting close. Therefore, when using the phase modulation pattern of Example 5, it is desirable to make the value of M as small as possible. Note that the value of M that can appropriately form images according to the DH-PSF of two types of fluorescence having different center wavelengths is not limited to 1, 2, and 5 as described above.

また、実施例５の位相変調パターンによれば、実施例２～４の位相変調パターンに比べて、回折光は円に沿ってより広い範囲に分散されるため、回折光の輝度は小さくなる。したがって、実施例５の位相変調パターンを用いる場合に、回折光が本来観察したいＤＨ－ＰＳＦに応じた輝点に重なったとしても、大きな問題となることはない。このことから、Ｍの値が小さい実施例５の位相変調パターンは、実施例２～４の位相変調パターンよりも、第１蛍光と第２蛍光の両方のＤＨ－ＰＳＦに応じた像を適正に形成できると言える。 In addition, according to the phase modulation pattern of Example 5, compared to the phase modulation patterns of Examples 2 to 4, the diffracted light is dispersed over a wider range along a circle, so the brightness of the diffracted light is lower. Therefore, when using the phase modulation pattern of Example 5, even if the diffracted light overlaps with a bright spot corresponding to the DH-PSF that is originally desired to be observed, it does not pose a major problem. From this, the phase modulation pattern of Example 5, in which the value of M is small, is more accurate than the phase modulation patterns of Examples 2 to 4 in properly forming images according to the DH-PSF of both the first fluorescence and the second fluorescence. It can be said that it can be formed.

＜実施例６の位相変調パターン＞
実施例６の位相変調パターンは、位置や大きさ等を変更した第１位相変調パターンと第２位相変調パターンとを、実施例２の位相変調パターンと同様に正方形形状のモザイク状に配置することにより作製される。 <Phase modulation pattern of Example 6>
The phase modulation pattern of Example 6 has a first phase modulation pattern and a second phase modulation pattern whose positions, sizes, etc. have been changed, and are arranged in a square mosaic like the phase modulation pattern of Example 2. Created by

図２６は、８種類の実施例５の位相変調パターンを示す図である。“mosaicROTATE5”は、中心まわりに５度回転した第１位相変調パターンと、第２位相変調パターンとをモザイク状に配置した位相変調パターンである。“mosaicROTATE30”は、中心まわりに３０度回転した第１位相変調パターンと、第２位相変調パターンとをモザイク状に配置した位相変調パターンである。“mosaicSHIFT5”は、右方向に５ピクセルだけシフトした第１位相変調パターンと、左方向に５ピクセルだけシフトした第２位相変調パターンとをモザイク状に配置した位相変調パターンである。“mosaicSHIFT10”は、右方向に１０ピクセルだけシフトした第１位相変調パターンと、左方向に１０ピクセルだけシフトした第２位相変調パターンとをモザイク状に配置した位相変調パターンである。 FIG. 26 is a diagram showing eight types of phase modulation patterns of Example 5. “mosaicROTATE5” is a phase modulation pattern in which a first phase modulation pattern rotated by 5 degrees around the center and a second phase modulation pattern are arranged in a mosaic pattern. “mosaicROTATE30” is a phase modulation pattern in which a first phase modulation pattern rotated by 30 degrees around the center and a second phase modulation pattern are arranged in a mosaic shape. “mosaicSHIFT5” is a phase modulation pattern in which a first phase modulation pattern shifted by 5 pixels to the right and a second phase modulation pattern shifted by 5 pixels to the left are arranged in a mosaic pattern. "mosaicSHIFT10" is a phase modulation pattern in which a first phase modulation pattern shifted by 10 pixels to the right and a second phase modulation pattern shifted by 10 pixels to the left are arranged in a mosaic pattern.

“mosaicEXPAND10”は、１０ピクセルだけ直径を拡大した第１位相変調パターンと、第２位相変調パターンとをモザイク状に配置した位相変調パターンである。“mosaicEXPAND40”は、４０ピクセルだけ直径を拡大した第１位相変調パターンと、第２位相変調パターンとをモザイク状に配置した位相変調パターンである。“mosaicREDUCE20”は、２０ピクセルだけ直径を縮小した第１位相変調パターンと、第２位相変調パターンとをモザイク状に配置した位相変調パターンである。“mosaicREDUCE40”は、４０ピクセルだけ直径を縮小した第１位相変調パターンと、第２位相変調パターンとをモザイク状に配置した位相変調パターンである。以下、これら８つの位相変調パターンについて検証を行った結果を示す。 "mosaicEXPAND10" is a phase modulation pattern in which a first phase modulation pattern whose diameter is expanded by 10 pixels and a second phase modulation pattern are arranged in a mosaic pattern. “mosaicEXPAND40” is a phase modulation pattern in which a first phase modulation pattern whose diameter is expanded by 40 pixels and a second phase modulation pattern are arranged in a mosaic shape. “mosaicREDUCE20” is a phase modulation pattern in which a first phase modulation pattern whose diameter is reduced by 20 pixels and a second phase modulation pattern are arranged in a mosaic pattern. "mosaicREDUCE40" is a phase modulation pattern in which a first phase modulation pattern whose diameter is reduced by 40 pixels and a second phase modulation pattern are arranged in a mosaic pattern. The results of verifying these eight phase modulation patterns are shown below.

図２７（ａ）、（ｂ）は、“mosaicROTATE5”を用いて、蛍光を観察した結果を示す図である。この場合、第１蛍光を観察した場合と、第２蛍光を観察した場合とにおいて、２つの輝点像が適正となった。図２７（ｃ）、（ｄ）は、“mosaicROTATE30”を用いて、蛍光を観察した結果を示す図である。この場合、第１蛍光を観察した場合と、第２蛍光を観察した場合とにおいて、２つの輝点像が崩れてしまうことが確認された。したがって、第１位相変調パターンの回転角度と第２位相変調パターンの回転角度の差が大きくなると、第１蛍光と第２蛍光のＤＨ－ＰＳＦに応じた像を適正に形成できなくなることが分かった。 FIGS. 27(a) and 27(b) are diagrams showing the results of observing fluorescence using "mosaicROTATE5". In this case, two bright spot images were appropriate when the first fluorescence was observed and when the second fluorescence was observed. FIGS. 27(c) and 27(d) are diagrams showing the results of fluorescence observation using "mosaicROTATE30". In this case, it was confirmed that the two bright spot images were distorted when the first fluorescence was observed and when the second fluorescence was observed. Therefore, it was found that when the difference between the rotation angle of the first phase modulation pattern and the rotation angle of the second phase modulation pattern becomes large, it becomes impossible to properly form an image according to the DH-PSF of the first fluorescence and the second fluorescence. .

図２７（ｅ）、（ｆ）は、“mosaicSHIFT5”を用いて、蛍光を観察した結果を示す図である。この場合、第１蛍光を観察した場合と、第２蛍光を観察した場合とにおいて、図２７（ｇ）、（ｈ）は、“mosaicSHIFT10”を用いて、蛍光を観察した結果を示す図である。この場合、第１蛍光を観察した場合と、第２蛍光を観察した場合とにおいて、２つの輝点像が適正となったが、“mosaicSHIFT5”に比べて輝点像が僅かに崩れた。 FIGS. 27(e) and 27(f) are diagrams showing the results of observing fluorescence using "mosaicSHIFT5". In this case, FIGS. 27(g) and (h) are diagrams showing the results of observing fluorescence using "mosaicSHIFT10" when observing the first fluorescence and when observing the second fluorescence. . In this case, two bright spot images were correct when observing the first fluorescence and when observing the second fluorescence, but the bright spot images were slightly distorted compared to "mosaicSHIFT5".

なお、“mosaicSHIFT10”の輝点像が、“mosaicSHIFT5”に比べて僅かに崩れている理由は、１つの中心波長のみに最適な位相変調パターンに、当該中心波長の蛍光が入射する場合を考えると明らかである。すなわち、位相変調パターンに入射する蛍光が、当該位相変調パターンに最適な蛍光であっても、入射するビームの中心が位相変調パターンの中心から離れるほど、輝点像の形状が崩れる。このため、中心からのシフト量が大きい“mosaicSHIFT10”において、輝点像が崩れやすくなる。 The reason why the bright spot image of "mosaicSHIFT10" is slightly distorted compared to "mosaicSHIFT5" is because when considering the case where fluorescence of that center wavelength is incident on a phase modulation pattern that is optimal for only one center wavelength. it is obvious. That is, even if the fluorescence incident on a phase modulation pattern is optimal for the phase modulation pattern, the shape of the bright spot image collapses as the center of the incident beam moves away from the center of the phase modulation pattern. Therefore, in "mosaicSHIFT10" where the amount of shift from the center is large, the bright spot image tends to collapse.

図２８（ａ）、（ｂ）は、“mosaicEXPAND10”を用いて、蛍光を観察した結果を示す図である。この場合、第１蛍光を観察した場合と、第２蛍光を観察した場合とにおいて、２つの輝点像が適正となった。図２８（ｃ）、（ｄ）は、“mosaicEXPAND40”を用いて、蛍光を観察した結果を示す図である。この場合、第１蛍光を観察した場合と、第２蛍光を観察した場合とにおいて、２つの輝点像が適正となったが、“mosaicEXPAND10”に比べて輝点像が僅かに崩れた。 FIGS. 28(a) and 28(b) are diagrams showing the results of observing fluorescence using "mosaicEXPAND10". In this case, two bright spot images were appropriate when the first fluorescence was observed and when the second fluorescence was observed. FIGS. 28(c) and 28(d) are diagrams showing the results of observing fluorescence using "mosaicEXPAND40". In this case, two bright spot images were correct when observing the first fluorescence and when observing the second fluorescence, but the bright spot images were slightly distorted compared to "mosaicEXPAND10".

なお、“mosaicEXPAND40”の輝点像が、“mosaicEXPAND10”に比べて僅かに崩れている理由は、１つの中心波長のみに最適な位相変調パターンに、当該中心波長の蛍光が入射する場合を考えると明らかである。すなわち、位相変調パターンに入射する蛍光が、当該位相変調パターンに最適な蛍光であっても、入射するビームの直径が位相変調パターンの直径とかけ離れるほど、輝点像の形状が崩れる。このため、直径のずれ量が大きい“mosaicEXPAND40”において、輝点像が崩れやすくなる。 The reason why the bright spot image of "mosaicEXPAND40" is slightly distorted compared to "mosaicEXPAND10" is because when considering the case where the fluorescence of that center wavelength is incident on the phase modulation pattern that is optimal for only one center wavelength. it is obvious. That is, even if the fluorescence incident on a phase modulation pattern is optimal for the phase modulation pattern, the more the diameter of the incident beam deviates from the diameter of the phase modulation pattern, the more the shape of the bright spot image collapses. For this reason, in "mosaicEXPAND40" with a large amount of deviation in diameter, the bright spot image tends to collapse.

図２８（ｅ）、（ｆ）は、“mosaicREDUCE20”を用いて、蛍光を観察した結果を示す図である。この場合、第１蛍光を観察した場合と、第２蛍光を観察した場合とにおいて、２つの輝点像が適正となった。図２８（ｇ）、（ｈ）は、“mosaicREDUCE40”を用いて、蛍光を観察した結果を示す図である。この場合、第１蛍光を観察した場合と、第２蛍光を観察した場合とにおいて、２つの輝点像が適正となったが、“mosaicREDUCE20”に比べて輝点像が僅かに崩れた。なお、“mosaicREDUCE40”の輝点像が、“mosaicREDUCE20”に比べて僅かに崩れている理由は、“mosaicEXPAND40”の場合の崩れと同様の理由である。 FIGS. 28(e) and 28(f) are diagrams showing the results of observing fluorescence using "mosaicREDUCE20". In this case, two bright spot images were appropriate when the first fluorescence was observed and when the second fluorescence was observed. FIGS. 28(g) and (h) are diagrams showing the results of fluorescence observation using "mosaicREDUCE40". In this case, two bright spot images were correct when observing the first fluorescence and when observing the second fluorescence, but the bright spot images were slightly distorted compared to "mosaicREDUCE20". Note that the reason why the bright spot image of "mosaicREDUCE40" is slightly distorted compared to "mosaicREDUCE20" is the same as that of "mosaicEXPAND40".

＜透明部材からなる位相板への適用＞
図２９（ａ）～（ｆ）を参照して、実施例１に示す位相変調パターンを、透明部材からなる位相板に適用する例について説明する。 <Application to phase plate made of transparent material>
An example in which the phase modulation pattern shown in Example 1 is applied to a phase plate made of a transparent member will be described with reference to FIGS. 29(a) to 29(f).

図２９（ａ）は、図７（ａ）に示す第１位相変調パターンに対応するように作製された位相板９１である。図２９（ｂ）は、図７（ｂ）に示す第２位相変調パターンに対応するように作製された位相板９２である。位相板９１、９２は、位相板５２と同じ材料からなる。位相板９１において、厚みが大きい部分は、第１位相変調パターンにおいて白に近い領域に対応し、厚みが小さい部分は、第１位相変調パターンにおいて黒に近い領域に対応する。同様に、位相板９２において、厚みが大きい部分は、第２位相変調パターンにおいて白に近い領域に対応し、厚みが小さい部分は、第２位相変調パターンにおいて黒に近い領域に対応する。 FIG. 29(a) shows a phase plate 91 manufactured to correspond to the first phase modulation pattern shown in FIG. 7(a). FIG. 29(b) shows a phase plate 92 manufactured to correspond to the second phase modulation pattern shown in FIG. 7(b). Phase plates 91 and 92 are made of the same material as phase plate 52. In the phase plate 91, thicker portions correspond to near-white regions in the first phase modulation pattern, and thinner portions correspond to near-black regions in the first phase modulation pattern. Similarly, in the phase plate 92, thicker portions correspond to near-white regions in the second phase modulation pattern, and thinner portions correspond to near-black regions in the second phase modulation pattern.

位相板９１の最大の厚みは、最大の厚み部分に入射する第１蛍光の位相が１波長だけずれるように設計されている。同様に、位相板９２の最大の厚みは、最大の厚み部分に入射する第２蛍光の位相が１波長だけずれるように設計されている。位相板９１は、第１の波長の光、すなわち第１蛍光に第１位相変調を与える。位相板９２は、第２の波長の光、すなわち第２蛍光に第２位相変調を与える。 The maximum thickness of the phase plate 91 is designed such that the phase of the first fluorescence incident on the maximum thickness portion is shifted by one wavelength. Similarly, the maximum thickness of the phase plate 92 is designed such that the phase of the second fluorescence incident on the maximum thickness portion is shifted by one wavelength. The phase plate 91 applies a first phase modulation to the light of the first wavelength, that is, the first fluorescence. The phase plate 92 applies a second phase modulation to the light of the second wavelength, that is, the second fluorescence.

このような位相板９１、９２を、実施例１の位相変調パターンと同様に合成して、図２９（ｃ）に示すように、位相板５２を作製する。位相板５２の厚みは、第１の波長の光用の位相板の厚みと第２の波長の光用の位相板の厚みとの間の厚み、すなわち、第１蛍光に最適な位相板９１の厚みと、第２蛍光に最適な位相板９２の厚みとの間の厚みを有する。位相板５２は、アクリル樹脂等の透明部材からなる。なお、位相板５２を構成する透明部材は、必ずしも透明でなくてもよく、光を透過できればよい。 Such phase plates 91 and 92 are combined in the same manner as the phase modulation pattern of Example 1 to produce a phase plate 52 as shown in FIG. 29(c). The thickness of the phase plate 52 is the thickness between the thickness of the phase plate for light of the first wavelength and the thickness of the phase plate for light of the second wavelength, that is, the thickness of the phase plate 91 that is optimal for the first fluorescence. The thickness is between the thickness of the phase plate 92 and the thickness of the phase plate 92 that is optimal for the second fluorescence. The phase plate 52 is made of a transparent member such as acrylic resin. Note that the transparent member constituting the phase plate 52 does not necessarily have to be transparent, as long as it can transmit light.

なお、位相板９１の厚みＴ１と、位相板９２の厚みＴ２とは、以下の式により算出される。以下の式において、ｎ１は、位相板９１、９２の周辺の屈折率、すなわち空気の屈折率である。ｎ２は、位相板９１、９２の屈折率、すなわち作製しようとする位相板５２の屈折率である。λ１は、第１蛍光の中心波長であり、λ２は、第２蛍光の中心波長である。θは、位相のシフト量である。 Note that the thickness T1 of the phase plate 91 and the thickness T2 of the phase plate 92 are calculated by the following equations. In the following equation, n1 is the refractive index around the phase plates 91 and 92, that is, the refractive index of air. n2 is the refractive index of the phase plates 91 and 92, that is, the refractive index of the phase plate 52 to be manufactured. λ1 is the center wavelength of the first fluorescence, and λ2 is the center wavelength of the second fluorescence. θ is the phase shift amount.

厚みＴ１＝λ１×θ／｛２π（ｎ２－ｎ１）｝
厚みＴ２＝λ２×θ／｛２π（ｎ２－ｎ１）｝
なお、Ｔ２／Ｔ１＝λ２／λ１である。 Thickness T1=λ1×θ/{2π(n2-n1)}
Thickness T2=λ2×θ/{2π(n2-n1)}
Note that T2/T1=λ2/λ1.

たとえば、位相板９１、９２において、第１蛍光および第２蛍光の位相の最大シフト量がθｍａｘである場合、θｍａｘを上記式に代入して得られる厚みＴ１、Ｔ２は、それぞれ、位相板９１、９２の最大厚みに対応する。そして、位相板５２の厚みは、位相板９１の最大厚みと位相板９２の最大厚みとの間の厚みに設定される。同様に、位相板９１、９２が最大厚みとなる領域以外の領域においても、位相板５２の厚みは、位相のシフト量に基づいて得られる厚みＴ１と厚みＴ２の間の厚みに設定される。 For example, in the phase plates 91 and 92, when the maximum shift amount of the phase of the first fluorescence and the second fluorescence is θmax, the thicknesses T1 and T2 obtained by substituting θmax into the above equation are the thicknesses T1 and T2 of the phase plates 91 and 92, respectively. It corresponds to the maximum thickness of 92. The thickness of the phase plate 52 is set to be between the maximum thickness of the phase plate 91 and the maximum thickness of the phase plate 92. Similarly, in regions other than the region where the phase plates 91 and 92 have the maximum thickness, the thickness of the phase plate 52 is set to a thickness between the thickness T1 and the thickness T2 obtained based on the amount of phase shift.

なお、上記厚みを算出する式において、θの範囲が、２（ｍ－１）π＜θ≦２ｍπ（ｍは正の整数）の場合、下記式が好ましい。これにより、光の透過率の低下を抑制できる。 In addition, in the above formula for calculating the thickness, when the range of θ is 2(m-1)π<θ≦2mπ (m is a positive integer), the following formula is preferable. Thereby, a decrease in light transmittance can be suppressed.

厚みＴ１＝λ１｛θ－２（ｍ－１）π｝／｛２π（ｎ２－ｎ１）｝
厚みＴ２＝λ２｛θ－２（ｍ－１）π｝／｛２π（ｎ２－ｎ１）｝ Thickness T1=λ1 {θ-2(m-1)π}/{2π(n2-n1)}
Thickness T2=λ2{θ-2(m-1)π}/{2π(n2-n1)}

図２９（ｄ）～（ｆ）は、それぞれ、図２９（ａ）～（ｃ）において点線で囲んだ領域を厚み方向に平行な平面で切断したときの切断面を模式的に示す図である。点線で囲んだ領域の厚みは、位相板９１の場合、第１の厚みＨ１であり、位相板９２の場合、第２の厚みＨ２であるとする。第１の厚みＨ１は、第１蛍光のＤＨ－ＰＳＦに応じた像を適正に形成させるための厚みであり、第２の厚みＨ２は、第２蛍光のＤＨ－ＰＳＦに応じた像を適正に形成させるための厚みである。ここで、位相板５２は、実施例１の位相変調パターンを作製する場合と同様の手法に基づいて作製されており、位相板５２の厚みは、位相板９１の厚みと、位相板９２の厚みとの間の厚みで分布する。したがって、点線で囲んだ領域の位相板５２の厚みを第３の厚みＨ３とすると、第３の厚みＨ３は、以下の式により算出される。 29(d) to (f) are diagrams schematically showing cut surfaces when the area surrounded by dotted lines in FIGS. 29(a) to (c) is cut along a plane parallel to the thickness direction, respectively. . The thickness of the region surrounded by the dotted line is a first thickness H1 in the case of the phase plate 91, and a second thickness H2 in the case of the phase plate 92. The first thickness H1 is a thickness for appropriately forming an image according to the DH-PSF of the first fluorescence, and the second thickness H2 is a thickness for appropriately forming an image according to the DH-PSF of the second fluorescence. This is the thickness for forming. Here, the phase plate 52 is manufactured based on the same method as in the case of manufacturing the phase modulation pattern of Example 1, and the thickness of the phase plate 52 is equal to the thickness of the phase plate 91 and the thickness of the phase plate 92. The thickness is distributed between . Therefore, assuming that the thickness of the phase plate 52 in the area surrounded by the dotted line is the third thickness H3, the third thickness H3 is calculated by the following formula.

第３の厚みＨ３＝（第１の厚みＨ１×ａ＋第２の厚みＨ２×ｂ）／（ａ＋ｂ） Third thickness H3=(first thickness H1×a+second thickness H2×b)/(a+b)

このように作製された位相板５２は、実施例１の位相変調パターンが位相変調器５１に設定された場合と同様、第１蛍光と第２蛍光の両方のＤＨ－ＰＳＦに応じた像を適正に形成できる。なお、実施例１の位相変調パターンにおける検証結果と同様、ａの値とｂの値が接近するほど、第１蛍光と第２蛍光の両方のＤＨ－ＰＳＦに応じた像をより適正に形成できる。 The phase plate 52 manufactured in this manner can properly generate images according to the DH-PSF of both the first fluorescence and the second fluorescence, as in the case where the phase modulation pattern of Example 1 is set in the phase modulator 51. can be formed into Note that, similar to the verification results for the phase modulation pattern of Example 1, the closer the values of a and b are, the more appropriately an image can be formed according to the DH-PSF of both the first fluorescence and the second fluorescence. .

次に、図３０（ａ）～（ｉ）を参照して、実施例２に示す位相変調パターンを、透明部材からなる位相板に適用する例について説明する。 Next, an example in which the phase modulation pattern shown in Example 2 is applied to a phase plate made of a transparent member will be described with reference to FIGS. 30(a) to (i).

図３０（ａ）の位相板９１は、図２９（ａ）の位相板と同様であり、図３０（ｂ）の位相板９２は、図２９（ｂ）の位相板と同様である。このような位相板９１、９２を、実施例２の位相変調パターンと同様にモザイク状に配置して、図３０（ｃ）に示すように、位相板５２を作製する。 The phase plate 91 in FIG. 30(a) is similar to the phase plate in FIG. 29(a), and the phase plate 92 in FIG. 30(b) is similar to the phase plate in FIG. 29(b). Such phase plates 91 and 92 are arranged in a mosaic pattern in the same manner as the phase modulation pattern of Example 2, to produce a phase plate 52 as shown in FIG. 30(c).

図３０（ｄ）において薄いグレーで示すように、位相板９１は、全領域において第１蛍光にのみ最適な厚みとなるように作製されている。図３０（ｅ）において濃いグレーで示すように、位相板９２は、全領域において第２蛍光にのみ最適な厚みとなるように作製されている。すなわち、位相板９１は、第１位相変調パターンと同様に設定されており、位相板９２は、第２位相変調パターンと同様に設定されている。図３０（ｆ）において薄いグレーと濃いグレーのモザイク形状で示すように、図３０（ｃ）に示す位相板５２は、第１蛍光に最適な厚みの第１領域と、第２蛍光に最適な厚みの第２領域とがモザイク状に配置されている。 As shown in light gray in FIG. 30(d), the phase plate 91 is manufactured to have an optimal thickness only for the first fluorescence in the entire region. As shown in dark gray in FIG. 30(e), the phase plate 92 is manufactured to have an optimal thickness only for the second fluorescence over the entire region. That is, the phase plate 91 is set similarly to the first phase modulation pattern, and the phase plate 92 is set similarly to the second phase modulation pattern. As shown by the mosaic shape of light gray and dark gray in FIG. 30(f), the phase plate 52 shown in FIG. 30(c) has a first region with an optimal thickness for the first fluorescence and a thickness optimal for the second fluorescence. The second region of thickness is arranged in a mosaic pattern.

言い換えれば、図３０（ｆ）において薄いグレーが示す第１領域は、入射領域において、第１の波長の光、すなわち第１蛍光に第１位相変調を与えるように構成された領域である。図３０（ｆ）において濃いグレーが示す第２領域は、入射領域において、第２の波長の光、すなわち第２蛍光に第２位相変調を与えるように構成された領域である。 In other words, the first region shown in light gray in FIG. 30(f) is a region configured to give the first phase modulation to the light of the first wavelength, that is, the first fluorescence, in the incident region. The second region shown in dark gray in FIG. 30(f) is a region configured to give second phase modulation to light of the second wavelength, that is, second fluorescence, in the incident region.

図３０（ｇ）～（ｉ）は、それぞれ、図３０（ｄ）～（ｆ）の点線で囲んだ領域を厚み方向に平行な平面で切断したとき切断面を模式的に示す図である。以下、便宜上、実施例２の位相変調パターンにおいてＭの値を１とする。点線で囲んだ領域の４画素区間における厚みは、位相板９１の場合、第１の厚みＨ１１～Ｈ１４であり、位相板９２の場合、第２の厚みＨ２１～Ｈ２４であるとする。この場合、位相板５２の厚みは、たとえば図３０（ｉ）に示すように、位相板９１の厚みと位相板９２の厚みとが交互に現れるような厚みとなる。 30(g) to 30(i) are diagrams schematically showing cut surfaces when the regions surrounded by dotted lines in FIGS. 30(d) to 30(f) are cut along a plane parallel to the thickness direction, respectively. Hereinafter, for convenience, the value of M in the phase modulation pattern of Example 2 is assumed to be 1. In the case of the phase plate 91, the thickness in the four-pixel section of the region surrounded by the dotted line is a first thickness H11 to H14, and in the case of the phase plate 92, it is assumed that the thickness is a second thickness H21 to H24. In this case, the thickness of the phase plate 52 is such that the thickness of the phase plate 91 and the thickness of the phase plate 92 alternate, as shown in FIG. 30(i), for example.

言い換えれば、図３０（ｉ）に示す位相板５２の構成は以下のようになる。図３０（ｆ）に示すように、位相板５２は、入射領域において、薄いグレーの領域からなる第１領域と、濃いグレーの領域からなる第２領域とを含む。第１領域の各領域と第２領域の各領域はそれぞれ隣り合っている。第１領域には、位相板９１と同様の厚みが設定される。第２領域には、位相板９２と同様の厚みが設定される。図３０（ｉ）に示すように、第１領域に対応する位置の厚みは、第１の厚みＨ１１、Ｈ１３とされ、第２領域に対応する位置の厚みは、第２の厚みＨ２２、Ｈ２４とされる。 In other words, the configuration of the phase plate 52 shown in FIG. 30(i) is as follows. As shown in FIG. 30(f), the phase plate 52 includes, in the incident region, a first region consisting of a light gray region and a second region consisting of a dark gray region. Each area of the first area and each area of the second area are adjacent to each other. The same thickness as the phase plate 91 is set in the first region. The second region has the same thickness as the phase plate 92. As shown in FIG. 30(i), the thickness at the position corresponding to the first region is the first thickness H11, H13, and the thickness at the position corresponding to the second region is the second thickness H22, H24. be done.

このように作製された位相板５２は、実施例１の位相変調パターンが位相変調器５１に設定された場合と同様、第１蛍光と第２蛍光の両方のＤＨ－ＰＳＦに応じた像を適正に形成できる。 The phase plate 52 manufactured in this manner can properly generate images according to the DH-PSF of both the first fluorescence and the second fluorescence, as in the case where the phase modulation pattern of Example 1 is set in the phase modulator 51. can be formed into

なお、上述したように、図１に示した位相変調マスク５０の構成例として、透明部材からなる位相板５２と、液晶パネル５１ａを有する位相変調器５１とについて説明したが、位相変調マスク５０の構成例は、これに限らない。たとえば、位相変調マスク５０は、入射面内の各位置において入射方向の異なる位置で、設定に応じて光を反射する微小なミラーを備えたデフォーマブルミラーでもよい。あるいは、位相変調マスク５０は、入射面内の各位置において入射方向の異なる位置で光を反射する反射部材でもよい。 As described above, as an example of the structure of the phase modulation mask 50 shown in FIG. The configuration example is not limited to this. For example, the phase modulation mask 50 may be a deformable mirror that includes minute mirrors that reflect light according to settings at different positions in the incident plane in the incident direction. Alternatively, the phase modulation mask 50 may be a reflective member that reflects light at different positions in the incident direction at each position within the incident plane.

１０ 光学機器
２０ 光源部
３０ 照射光学系
４０ ステージ
３６ 対物レンズ
５０ 位相変調マスク
５１ 位相変調器
５２ 位相板
６０ 集光光学系
６２ 撮像部
６２ａ 撮像面
１１１ 処理部 10 Optical equipment 20 Light source unit 30 Irradiation optical system 40 Stage 36 Objective lens 50 Phase modulation mask 51 Phase modulator 52 Phase plate 60 Condensing optical system 62 Imaging unit 62a Imaging surface 111 Processing unit

Claims (17)

第１の波長の光および第２の波長の光に対して位相変調を与える共通の位相変調マスクと、
前記第１の波長の光および前記第２の波長の光を、前記位相変調マスク上の同一の入射領域に入射させる照射光学系と、
前記位相変調マスクによって位相変調された前記第１の波長の光および前記第２の波長の光を集光して点像分布関数に応じた像を形成する集光光学系と、を備え、
前記位相変調マスクは、前記照射光学系と前記集光光学系との間に形成されるフーリエ面に配置され、入力に基づいて位相変調パターンを設定可能な位相変調器であり、
前記位相変調器は、前記第１の波長の光について前記点像分布関数の像を形成するのに最適な前記位相変調パターンの階調である前記第１の波長の光用の階調と、前記第２の波長の光について前記点像分布関数の像を形成するのに最適な前記位相変調パターンの階調である前記第２の波長の光用の階調と、の間の階調の入力に基づいて設定された前記位相変調パターンにより、前記第１の波長の光および前記第２の波長の光に位相変調を与える、光学機器。 a common phase modulation mask that provides phase modulation to the first wavelength light and the second wavelength light;
an irradiation optical system that makes the light of the first wavelength and the light of the second wavelength enter the same incident area on the phase modulation mask;
a condensing optical system that condenses the light of the first wavelength and the light of the second wavelength phase-modulated by the phase modulation mask to form an image according to a point spread function;
The phase modulation mask is a phase modulator that is disposed on a Fourier plane formed between the irradiation optical system and the condensing optical system and can set a phase modulation pattern based on input,
The phase modulator has a gradation for the light of the first wavelength that is a gradation of the phase modulation pattern that is optimal for forming an image of the point spread function for the light of the first wavelength; a gradation between the gradation for the light of the second wavelength, which is the gradation of the phase modulation pattern that is optimal for forming an image of the point spread function for the light of the second wavelength; An optical device that applies phase modulation to the first wavelength light and the second wavelength light using the phase modulation pattern set based on an input. 前記第１の波長の光用の階調と、前記第２の波長の光用の階調と、の間の階調は、以下の式において、ｂ／ａが２／８以上８／２以下の範囲となるように設定される、請求項１に記載の光学機器。
（前記第１の波長の光用の階調×ａ＋前記第２の波長の光用の階調×ｂ）／（ａ＋ｂ）
上記式において、ａ、ｂは、何れも正の実数である。 The gradation between the gradation for light with the first wavelength and the gradation for light with the second wavelength is such that b/a is 2/8 or more and 8/2 or less in the following formula. The optical device according to claim 1, wherein the optical device is set to have a range of .
(Gradation for light of the first wavelength x a + Gradation for light of the second wavelength x b) / (a + b)
In the above formula, both a and b are positive real numbers. 第１の波長の光および第２の波長の光に対して位相変調を与える共通の位相変調マスクと、
前記第１の波長の光および前記第２の波長の光を、前記位相変調マスク上の同一の入射領域に入射させる照射光学系と、
前記位相変調マスクによって位相変調された前記第１の波長の光および前記第２の波長の光を集光して点像分布関数に応じた像を形成する集光光学系と、を備え、
前記位相変調マスクは、前記照射光学系と前記集光光学系との間に形成されるフーリエ面に配置され、入力に基づいて位相変調パターンを設定可能な位相変調器であり、
前記位相変調パターンは、前記入射領域において、前記第１の波長の光に第１位相変調を与えるための第１領域と、前記第２の波長の光に第２位相変調を与えるための第２領域と、を含む、光学機器。 a common phase modulation mask that provides phase modulation to the first wavelength light and the second wavelength light;
an irradiation optical system that makes the light of the first wavelength and the light of the second wavelength enter the same incident area on the phase modulation mask;
a condensing optical system that condenses the light of the first wavelength and the light of the second wavelength phase-modulated by the phase modulation mask to form an image according to a point spread function;
The phase modulation mask is a phase modulator that is disposed on a Fourier plane formed between the irradiation optical system and the condensing optical system and can set a phase modulation pattern based on input,
The phase modulation pattern includes, in the incident region, a first region for imparting a first phase modulation to the light of the first wavelength, and a second region for imparting a second phase modulation to the light of the second wavelength. an optical device, including a region; 前記第１領域および前記第２領域は、それぞれ複数の領域から構成され、
前記第１領域の各領域と、前記第２領域の各領域とは、互いに隣り合う、請求項３に記載の光学機器。 The first region and the second region each include a plurality of regions,
The optical device according to claim 3, wherein each region of the first region and each region of the second region are adjacent to each other. 前記第１領域の各領域および前記第２領域の各領域は、方形形状である、請求項４に記載の撮像装置。 The imaging device according to claim 4, wherein each region of the first region and each region of the second region has a rectangular shape. 前記第１領域の各領域および前記第２領域の各領域は、前記入射領域の一端から他端にわたって延びている、請求項５に記載の撮像装置。 The imaging device according to claim 5, wherein each region of the first region and each region of the second region extend from one end to the other end of the incident region. 前記第１領域の各領域および前記第２領域の各領域は、リング形状である、請求項４に記載の撮像装置。 The imaging device according to claim 4, wherein each region of the first region and each region of the second region is ring-shaped. 前記位相変調器は、複数の液晶分子を含み、前記複数の液晶分子の夫々を回転させることにより、前記位相変調パターンを設定する、請求項１ないし７の何れか一項に記載の光学機器。 8. The optical device according to claim 1, wherein the phase modulator includes a plurality of liquid crystal molecules, and sets the phase modulation pattern by rotating each of the plurality of liquid crystal molecules. 前記第１の波長の光および前記第２の波長の光は、それぞれ、蛍光物質から生じる第１蛍光および第２蛍光である、請求項１ないし８の何れか一項に記載の光学機器。 The optical device according to any one of claims 1 to 8, wherein the first wavelength light and the second wavelength light are first fluorescence and second fluorescence generated from a fluorescent substance, respectively. 前記第１蛍光の波長帯域および前記第２蛍光の波長帯域は、それぞれ広がりを有しており、前記第１蛍光の波長帯域の一部と前記第２蛍光の波長帯域の一部とが互いに重なり合う、請求項９に記載の光学機器。 The wavelength band of the first fluorescence and the wavelength band of the second fluorescence each have a spread, and a part of the wavelength band of the first fluorescence and a part of the wavelength band of the second fluorescence overlap with each other. 10. The optical instrument according to claim 9. 前記第１の波長の光は、前記第１の波長に強度のピークを持つ光であり、
前記第２の波長の光は、前記第２の波長に強度のピークを持つ光である、請求項１ないし１０の何れか一項に記載の光学機器。 The light of the first wavelength is light having an intensity peak at the first wavelength,
The optical device according to any one of claims 1 to 10, wherein the light of the second wavelength has an intensity peak at the second wavelength. 前記照射光学系は、対物レンズを備え、
前記位相変調マスクは、前記第１の波長の光の輝点および前記第２の波長の光の輝点を、それぞれ撮像面上において２点に結像させ、且つ、前記対物レンズと、前記第１の波長の光の輝点および前記第２の波長の光の輝点との距離に応じて、前記撮像面上において、前記第１の波長の光の２つの輝点像および前記第２の波長の光の２つの輝点像が回転する前記点像分布関数を形成するように、前記第１の波長の光および前記第２の波長の光の位相を変調する、請求項１ないし１１の何れか一項に記載の光学機器。 The irradiation optical system includes an objective lens,
The phase modulation mask focuses the bright spot of the light of the first wavelength and the bright spot of the light of the second wavelength into two points on the imaging surface, and the objective lens and the bright spot of the light of the second wavelength. Two bright spot images of the first wavelength light and the second bright spot image are formed on the imaging surface according to the distances between the bright spot of the light of the first wavelength and the bright spot of the light of the second wavelength. 12. The method of claim 1, wherein the phase of the first wavelength light and the second wavelength light is modulated so that two bright spot images of the wavelength light form the rotating point spread function. The optical device according to any one of the items. 前記集光光学系は、前記第１の波長の光の前記像および前記第２の波長の光の前記像を撮像する撮像部を備える、請求項１ないし１２の何れか一項に記載の光学機器。 The optical system according to any one of claims 1 to 12, wherein the condensing optical system includes an imaging unit that captures the image of the light of the first wavelength and the image of the light of the second wavelength. device. 試料を設置するためのステージを備え、
前記照射光学系は、光源部から出射された光を前記試料に照射して、
前記集光光学系は、前記試料中に含まれる物質から生じた前記第１の波長の光および前記第２の波長の光を集光する、請求項１３に記載の光学機器。 Equipped with a stage for setting the sample,
The irradiation optical system irradiates the sample with light emitted from the light source,
The optical device according to claim 13, wherein the condensing optical system condenses the light of the first wavelength and the light of the second wavelength generated from a substance contained in the sample. 前記試料は、第１蛍光色素と第２蛍光色素を含み、
前記光源部は、前記第１蛍光色素および前記第２蛍光色素において活性状態と不活性状態が繰り返されるように、前記試料に光を照射し、
前記撮像部は、前記第１蛍光物質および前記第２蛍光物質が活性状態と不活性状態を繰り返す間に、前記第１蛍光物質から生じた前記第１の波長の光の前記像および前記第２蛍光物質から生じた前記第２の波長の光の前記像を撮像する、請求項１４に記載の光学機器。 The sample includes a first fluorescent dye and a second fluorescent dye,
The light source unit irradiates the sample with light so that the first fluorescent dye and the second fluorescent dye repeat an active state and an inactive state,
The imaging unit captures the image of the light of the first wavelength generated from the first fluorescent substance and the second fluorescent substance while the first fluorescent substance and the second fluorescent substance repeat an active state and an inactive state. 15. The optical instrument of claim 14, wherein the image of the second wavelength of light generated from a fluorescent material is captured. 第１の波長の光および第２の波長の光から点像分布関数に応じた像を形成する方法であって、
前記第１の波長の光および前記第２の波長の光を撮像面へと導く光学系のフーリエ面に位相変調器を配置して、前記位相変調器上の同一の入射領域に、前記第１の波長の光および前記第２の波長の光を入射させ、
前記第１の波長の光について前記点像分布関数の像を形成するのに最適な位相変調パターンの階調と、前記第２の波長の光について前記点像分布関数の像を形成するのに最適な前記位相変調パターンの階調と、の間の階調の入力に基づいて前記位相変調器に設定された位相変調パターンにより、前記第１の波長の光および前記第２の波長の光に対して位相変調を与え、
前記位相変調器によって位相変調された前記第１の波長の光および前記第２の波長の光を前記光学系により集光して前記撮像面に点像分布関数に応じた像を形成する、像の形成方法。 A method of forming an image according to a point spread function from light of a first wavelength and light of a second wavelength, the method comprising:
A phase modulator is disposed on the Fourier plane of an optical system that guides the light of the first wavelength and the light of the second wavelength to the imaging surface, and the light of the first wavelength is placed in the same incident area on the phase modulator. incident the light having a wavelength of and the light having the second wavelength;
The gradation of the phase modulation pattern is optimal for forming the image of the point spread function for the light of the first wavelength, and the gradation of the phase modulation pattern is optimal for forming the image of the point spread function for the light of the second wavelength. The phase modulation pattern set in the phase modulator based on the input of the gradation between the gradation of the phase modulation pattern that is optimal for Give phase modulation to
an image in which the optical system collects the first wavelength light and the second wavelength light that have been phase modulated by the phase modulator to form an image on the imaging surface according to a point spread function; How to form. 第１の波長の光および第２の波長の光から点像分布関数に応じた像を形成する方法であって、
前記第１の波長の光および前記第２の波長の光を撮像面へと導く光学系のフーリエ面に位相変調器を配置して、前記位相変調器上の同一の入射領域に、前記第１の波長の光および前記第２の波長の光を入射させ、
入力に基づいて前記位相変調器に設定された位相変調パターンにより、前記第１の波長の光および前記第２の波長の光に対して位相変調を与え、
前記位相変調器によって位相変調された前記第１の波長の光および前記第２の波長の光を前記光学系により集光して前記撮像面に点像分布関数に応じた像を形成し、
前記位相変調パターンは、前記入射領域において、前記第１の波長の光に第１位相変調を与えるための第１領域と、前記第２の波長の光に第２位相変調を与えるための第２領域と、を含む、像の形成方法。 A method of forming an image according to a point spread function from light of a first wavelength and light of a second wavelength, the method comprising:
A phase modulator is disposed on the Fourier plane of an optical system that guides the light of the first wavelength and the light of the second wavelength to the imaging surface, and the light of the first wavelength is placed in the same incident area on the phase modulator. incident the light having a wavelength of and the light having the second wavelength;
Applying phase modulation to the light of the first wavelength and the light of the second wavelength by a phase modulation pattern set in the phase modulator based on an input,
condensing the light of the first wavelength and the light of the second wavelength phase-modulated by the phase modulator by the optical system to form an image on the imaging surface according to a point spread function;
The phase modulation pattern includes, in the incident region, a first region for imparting a first phase modulation to the light of the first wavelength, and a second region for imparting a second phase modulation to the light of the second wavelength. A method of forming an image, including a region.
JP2021195800A 2016-03-10 2021-12-01 Optical equipment and image formation methods Active JP7408615B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021195800A JP7408615B2 (en) 2016-03-10 2021-12-01 Optical equipment and image formation methods

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016047682A JP7290907B2 (en) 2016-03-10 2016-03-10 Optical instrument and image formation method
JP2019232155A JP6987831B2 (en) 2016-03-10 2019-12-23 Optical instruments and image formation methods
JP2021195800A JP7408615B2 (en) 2016-03-10 2021-12-01 Optical equipment and image formation methods

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019232155A Division JP6987831B2 (en) 2016-03-10 2019-12-23 Optical instruments and image formation methods

Publications (2)

Publication Number Publication Date
JP2022031837A JP2022031837A (en) 2022-02-22
JP7408615B2 true JP7408615B2 (en) 2024-01-05

Family

ID=79239679

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019232155A Active JP6987831B2 (en) 2016-03-10 2019-12-23 Optical instruments and image formation methods
JP2021195800A Active JP7408615B2 (en) 2016-03-10 2021-12-01 Optical equipment and image formation methods

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2019232155A Active JP6987831B2 (en) 2016-03-10 2019-12-23 Optical instruments and image formation methods

Country Status (1)

Country Link
JP (2) JP6987831B2 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007183336A (en) 2006-01-05 2007-07-19 Nikon Corp Diffraction optical element and diffraction optical system having the same
US20100278400A1 (en) 2008-12-17 2010-11-04 The Regents Of The University Of Colorado Three-dimensional single-molecule fluorescence imaging beyond the diffraction limit using a double-helix point spread function
WO2015040925A1 (en) 2013-09-18 2015-03-26 学校法人 関西大学 Digital holography apparatus and digital holography method
US20150192510A1 (en) 2012-06-22 2015-07-09 The Regents Of The University Of Colorado, A Body Corporate Imaging or measurement methods and systems

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63115111A (en) * 1986-10-31 1988-05-19 Matsushita Electric Ind Co Ltd Light wavelength demultiplexing detector
US8620065B2 (en) * 2010-04-09 2013-12-31 The Regents Of The University Of Colorado Methods and systems for three dimensional optical imaging, sensing, particle localization and manipulation
CN102980875B (en) * 2012-11-19 2015-04-22 深圳大学 Method, optical module and system for extended field depth three-dimensional nanoscale-resolution imaging

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007183336A (en) 2006-01-05 2007-07-19 Nikon Corp Diffraction optical element and diffraction optical system having the same
US20100278400A1 (en) 2008-12-17 2010-11-04 The Regents Of The University Of Colorado Three-dimensional single-molecule fluorescence imaging beyond the diffraction limit using a double-helix point spread function
US20150192510A1 (en) 2012-06-22 2015-07-09 The Regents Of The University Of Colorado, A Body Corporate Imaging or measurement methods and systems
WO2015040925A1 (en) 2013-09-18 2015-03-26 学校法人 関西大学 Digital holography apparatus and digital holography method

Also Published As

Publication number Publication date
JP6987831B2 (en) 2022-01-05
JP2022031837A (en) 2022-02-22
JP2020052434A (en) 2020-04-02

Similar Documents

Publication Publication Date Title
US8619237B2 (en) Laser-scanning intersecting plane tomography such as for high speed volumetric optical imaging
Gregor et al. Image scanning microscopy
CN110262026B (en) Aperture scanning Fourier ptychographic imaging
CN109196333B (en) System and method for 4-D hyperspectral imaging
JP5554965B2 (en) Laser microscope using phase modulation spatial light modulator
CN109416321B (en) Hyperspectral confocal microscope based on spatial light modulator and use method thereof
CN108700460A (en) Spectrum and spatial reuse fluorescence probe for cells in situ label
US7095556B2 (en) Microscope with wavelength compensation
EP3373061B1 (en) Image acquisition device, image acquisition method, and spatial light modulation unit
CN107430266A (en) Method for carrying out the micro- detection of mating plate to sample
CN107430264A (en) The method and apparatus that mating plate microscope for sample detects
CN108351503B (en) Image acquisition device, image acquisition method, and spatial light modulation unit
US20070183029A1 (en) Microscope and its optical controlling method
US11598952B2 (en) Optical device, phase plate, and image forming method
JP7408615B2 (en) Optical equipment and image formation methods
WO2017213171A1 (en) Optical information detection apparatus and microscope system
CN107209359B (en) Image acquisition device and image acquisition method
WO2022102584A1 (en) Microscope
JP2016114896A (en) Illumination optical system, microscope, image processing device, control method for microscope, and program
KR20100048125A (en) Illumination apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211207

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220926

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221101

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20221227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230606

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230728

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230904

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231220

R150 Certificate of patent or registration of utility model

Ref document number: 7408615

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150