WO2015178338A1 - 顕微鏡装置及び画像取得方法 - Google Patents
顕微鏡装置及び画像取得方法 Download PDFInfo
- Publication number
- WO2015178338A1 WO2015178338A1 PCT/JP2015/064160 JP2015064160W WO2015178338A1 WO 2015178338 A1 WO2015178338 A1 WO 2015178338A1 JP 2015064160 W JP2015064160 W JP 2015064160W WO 2015178338 A1 WO2015178338 A1 WO 2015178338A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- biological sample
- light
- image
- hologram
- aberration
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 239000012472 biological sample Substances 0.000 claims abstract description 264
- 230000004075 alteration Effects 0.000 claims abstract description 138
- 238000012937 correction Methods 0.000 claims abstract description 77
- 238000001514 detection method Methods 0.000 claims description 52
- 230000009467 reduction Effects 0.000 abstract description 3
- 230000003287 optical effect Effects 0.000 description 106
- 238000005259 measurement Methods 0.000 description 28
- 230000004048 modification Effects 0.000 description 27
- 238000012986 modification Methods 0.000 description 27
- 230000005284 excitation Effects 0.000 description 25
- 238000010586 diagram Methods 0.000 description 20
- 238000004458 analytical method Methods 0.000 description 11
- 230000001427 coherent effect Effects 0.000 description 9
- 230000007246 mechanism Effects 0.000 description 9
- 239000011324 bead Substances 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 239000010409 thin film Substances 0.000 description 6
- 230000005672 electromagnetic field Effects 0.000 description 5
- 230000001678 irradiating effect Effects 0.000 description 5
- 241000251468 Actinopterygii Species 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 210000004027 cell Anatomy 0.000 description 4
- 239000006059 cover glass Substances 0.000 description 4
- 201000009310 astigmatism Diseases 0.000 description 3
- 210000004204 blood vessel Anatomy 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000000644 propagated effect Effects 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 241000252212 Danio rerio Species 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 239000007850 fluorescent dye Substances 0.000 description 2
- 102000034287 fluorescent proteins Human genes 0.000 description 2
- 108091006047 fluorescent proteins Proteins 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000000243 solution Substances 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 230000003313 weakening effect Effects 0.000 description 2
- 206010010071 Coma Diseases 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000005494 condensation Effects 0.000 description 1
- 238000009833 condensation Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- LOKCTEFSRHRXRJ-UHFFFAOYSA-I dipotassium trisodium dihydrogen phosphate hydrogen phosphate dichloride Chemical compound P(=O)(O)(O)[O-].[K+].P(=O)(O)([O-])[O-].[Na+].[Na+].[Cl-].[K+].[Cl-].[Na+] LOKCTEFSRHRXRJ-UHFFFAOYSA-I 0.000 description 1
- 210000003743 erythrocyte Anatomy 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 238000005305 interferometry Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 150000002632 lipids Chemical class 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000010363 phase shift Effects 0.000 description 1
- 239000002953 phosphate buffered saline Substances 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 229920002545 silicone oil Polymers 0.000 description 1
- 230000002269 spontaneous effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/645—Specially adapted constructive features of fluorimeters
- G01N21/6456—Spatial resolved fluorescence measurements; Imaging
- G01N21/6458—Fluorescence microscopy
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B9/00—Measuring instruments characterised by the use of optical techniques
- G01B9/02—Interferometers
- G01B9/021—Interferometers using holographic techniques
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/6486—Measuring fluorescence of biological material, e.g. DNA, RNA, cells
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/06—Means for illuminating specimens
- G02B21/08—Condensers
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/24—Base structure
- G02B21/26—Stages; Adjusting means therefor
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/361—Optical details, e.g. image relay to the camera or image sensor
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0025—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration
- G02B27/0068—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration having means for controlling the degree of correction, e.g. using phase modulators, movable elements
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/0005—Adaptation of holography to specific applications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2201/00—Features of devices classified in G01N21/00
- G01N2201/06—Illumination; Optics
- G01N2201/061—Sources
- G01N2201/06113—Coherent sources; lasers
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B5/00—Optical elements other than lenses
- G02B5/32—Holograms used as optical elements
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/22—Processes or apparatus for obtaining an optical image from holograms
- G03H1/2294—Addressing the hologram to an active spatial light modulator
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/0005—Adaptation of holography to specific applications
- G03H2001/005—Adaptation of holography to specific applications in microscopy, e.g. digital holographic microscope [DHM]
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/0005—Adaptation of holography to specific applications
- G03H2001/0072—Adaptation of holography to specific applications for wavefront conjugation wherein the hologram generates a wavefront conjugating a predetermined object, e.g. null testing, positioning, comparative holography
Definitions
- One aspect of the present invention relates to a microscope apparatus and an image acquisition method.
- Patent Document 1 describes a technique related to a microscope capable of performing aberration correction.
- the specimen is irradiated with excitation light, the fluorescence generated in the specimen is branched and condensed, and a condensed image is captured by a camera.
- the spot of the condensed image becomes a diffraction limited image when there is no aberration, but has a shape with distortion when there is aberration. Therefore, in this microscope, an attempt is made to improve the spot shape by applying wavefront aberration correction.
- a plurality of aberration conditions corresponding to a plurality of spot shapes are stored, and the speed is increased by selecting and applying the aberration conditions.
- the feature of the spatial light modulator is that various aberrations can be corrected by controlling the wavefront.
- spherical aberration occurs due to a refractive index mismatch (mismatching) between an object to be observed and a surrounding medium (for example, air, water, silicone oil, oil, etc.), and the inside of the object to be observed
- a surrounding medium for example, air, water, silicone oil, oil, etc.
- the spherical aberration is corrected by controlling the wavefront of the irradiation light using a spatial light modulator, and the light is condensed inside the observation object.
- the elongation of the point can be suppressed. Since a fine image can be obtained by such aberration correction, such a microscope is preferably used to obtain an internal observation image of a biological sample such as a blood vessel image of a brain.
- the surface of the biological sample is not flat. Therefore, in addition to the above-described aberration, aberration due to the surface shape of the biological sample is generated.
- the surface shape of the fish can be regarded as a substantially cylindrical shape, and astigmatism occurs due to the cylindrical shape.
- a biological sample such as a cell specimen is composed of blood vessels, cellular tissues, and the like. Therefore, there are substances with different refractive indexes, such as red blood cells and lipids. Therefore, an aberration is generated inside the biological sample.
- problems such as weakening of the light collection intensity of the irradiation light or widening of the light collection shape occur in the biological sample.
- One aspect of the present invention has been made in view of such a problem, and a microscope apparatus and an image acquisition capable of suppressing a decrease in the collection intensity of irradiation light and the spread of a collection shape inside a biological sample. It aims to provide a method.
- a microscope apparatus is an apparatus that acquires an image of a biological sample, and is disposed opposite to the biological sample stage that supports the biological sample.
- An objective lens a light source that outputs light irradiated to the biological sample via the objective lens, a shape acquisition unit that acquires information on at least one of the surface shape of the biological sample and the structure immediately below the surface of the biological sample;
- a hologram generation unit for generating aberration correction hologram data for correcting aberration caused by at least one of the holograms, and a hologram based on the aberration correction hologram data are presented and output from the light source
- a spatial light modulator that modulates the generated light
- a light detector that detects the intensity of light generated in the biological sample and outputs a detection signal
- a detection signal There comprising an image creation unit that creates an image of the biological sample, the by.
- An image acquisition method is a method for acquiring an image of a biological sample, the surface shape of the biological sample supported by the biological sample table facing the objective lens, and a surface immediately below the surface of the biological sample.
- a step of acquiring information related to at least one of the structures (shape acquisition step), and a step of creating aberration correction hologram data for correcting aberration caused by at least one based on the information acquired in the shape acquisition step ( Hologram creation step) and presenting a hologram based on the aberration correction hologram data to the spatial light modulator, modulating the light output from the light source by the spatial light modulator, and irradiating the biological sample with the modulated light (light)
- A) includes a step (image creating step) that creates an image of the biological sample based on the detection signal.
- the above-described microscope apparatus and image acquisition method information on at least one of the surface shape of the biological sample and the structure immediately below the surface of the biological sample is acquired. Based on the information, aberration correction hologram data for correcting the aberration is generated. Further, the irradiation light is modulated by the hologram based on the data. As a result, the aberration caused by at least one of the surface shape of the biological sample and the structure immediately below the surface of the biological sample is preferably corrected. Can be suppressed.
- the microscope apparatus and the image acquisition method it is possible to suppress a decrease in the concentration of collected light and the spread of the shape of the collected light inside the biological sample.
- FIG. 1 is a diagram illustrating a configuration of the microscope apparatus according to the first embodiment.
- FIG. 2 is a flowchart showing the operation of the microscope apparatus.
- FIG. 3 is a diagram schematically showing how the aberration occurs.
- FIG. 4 shows the case where the boundary between the biological sample and the outside thereof is tilted from the plane perpendicular to the optical axis when the irradiation light, which is a plane wave without aberration correction, is collected by the objective lens. The state of irradiation light is shown conceptually.
- FIG. 5 is a diagram for explaining a method of calculating a wavefront where light rays are concentrated at an arbitrary point on the optical axis.
- FIG. 6 schematically shows the case where there is a boundary between two refractive indices.
- FIGS. 7A and 7B are diagrams showing wavefronts obtained by using the back propagation analysis, and the phases are shown by shading.
- FIGS. 8A to 8D are views of the biological sample as viewed from the side, and conceptually illustrate how the irradiation light is collected while passing through the internal structure including media having different refractive indexes.
- FIG. 9 is a diagram illustrating a configuration of the microscope apparatus according to the second embodiment.
- FIG. 10 is a flowchart illustrating the operation of the microscope apparatus and the image acquisition method according to the present embodiment.
- FIG. 11 is a view for explaining the operation of the first modified example, and is a view of the surface of the biological sample as seen from the optical axis direction.
- FIG. 12A and 12B are diagrams showing a state of scanning in the first modified example.
- FIG. 13 is a diagram illustrating a configuration of a microscope apparatus according to a second modification.
- FIG. 14 is a diagram illustrating a configuration of a microscope apparatus according to a fourth modification.
- FIG. 15 is a diagram illustrating configurations of a microscope unit and a shape measuring unit of a microscope apparatus according to a fifth modification.
- FIG. 16 is a diagram illustrating a configuration of a microscope apparatus according to a sixth modification.
- FIG. 1 is a diagram showing a configuration of a microscope apparatus 1A according to an embodiment of one aspect of the present invention.
- the microscope apparatus 1A is an apparatus for acquiring an image of the biological sample B.
- the microscope apparatus 1 ⁇ / b> A includes a microscope unit 10, a shape measurement unit 20, an image acquisition unit 30, and a control unit 40.
- the microscope unit 10 irradiates the biological sample B with irradiation light L1 from the shape measurement unit 20 and the image acquisition unit 30 to be described later, and the detected light L2 from the biological sample B to the shape measurement unit 20 and the image acquisition unit 30. Output each.
- the detected light L2 is reflected light of the irradiation light L1, harmonics of the irradiation light L1, or fluorescence excited by the irradiation light L1.
- the microscope unit 10 includes a biological sample stage 11, an objective lens 12, an objective lens moving mechanism 13, and a beam splitter 14.
- the biological sample stage 11 is a plate-like member for supporting the biological sample B (or a container that stores the biological sample B).
- the biological sample stage 11 is made of, for example, a material that transmits the irradiation light L1 and the detection light L2, and is made of, for example, glass or plastic.
- the biological sample stage 11 is, for example, a slide glass, a bottom dish, a microplate, or the like.
- the irradiation light L ⁇ b> 1 is applied to the back surface of the biological sample table 11, passes through the biological sample table 11, and is applied to the biological sample B. Further, the detected light L2 from the biological sample B passes through the biological sample table 11 and is output from the back surface of the biological sample table 11.
- the objective lens 12 is disposed so as to face the biological sample stage 11 and condenses the irradiation light L1 inside the biological sample B.
- the objective lens 12 collects the detection light L2 from the biological sample B.
- the objective lens for the irradiation light L1 and the objective lens for the detection light L2 are common, but the objective lens for the irradiation light L1 and the objective lens for the detection light L2 are common.
- the lens may be provided separately.
- an objective lens having a high numerical aperture (NA) may be used for the irradiation light L1, and the light may be condensed locally by aberration correction.
- an objective lens having a large pupil may be used for the detected light L2 so that more light can be extracted.
- An objective lens for the irradiation light L1 and an objective lens for the detection light L2 are arranged so as to sandwich the biological sample B, and the transmitted light of the irradiation light L1 in the biological sample B is acquired as the detection light L2. Also good.
- the objective lens moving mechanism 13 is a mechanism for moving the objective lens 12 in the optical axis direction of the irradiation light L1.
- the objective lens moving mechanism 13 is configured by, for example, a stepping motor or a piezo actuator.
- the beam splitter 14 splits and combines the optical path between the image acquisition unit 30 and the optical path between the shape measurement unit 20. Specifically, the beam splitter 14 reflects the irradiation light L1 that has reached the microscope unit 10 from the image acquisition unit 30 toward the objective lens 12. Further, the beam splitter 14 reflects the detection light L2 collected by the objective lens 12 toward the image acquisition unit 30. On the other hand, the beam splitter 14 transmits the light L32 from the shape measurement unit 20 and the reflected light of the light L32 on the biological sample B.
- the beam splitter 14 can be constituted by, for example, a half mirror or a dichroic mirror.
- the microscope unit 10 further includes a reflection mirror 15 that changes the optical axis direction of the light L32.
- the shape measurement unit 20 is a shape acquisition unit in the present embodiment.
- the shape measurement unit 20 includes a detector 24 and is optically coupled to the objective lens 12.
- the shape measuring unit 20 acquires information on the shape of the biological sample B with the refractive index distribution, that is, information on the surface shape of the biological sample B (shape associated with the refractive index difference between the biological sample B and the surrounding (air)).
- the shape measurement unit 20 may be an interference light measurement unit that measures the surface shape of the biological sample B using, for example, a Michelson interferometer.
- the shape measurement unit 20 includes a coherent light source 21, a beam splitter 22, a reference light mirror 23, and a detector 24 as shown in FIG.
- the coherent light source 21 generates coherent light L3 irradiated on the biological sample B.
- the coherent light source 21 is preferably configured by, for example, a semiconductor laser element.
- the beam splitter 22 branches the coherent light L3 from the coherent light source 21 into the reference light L31 and the light L32 to the microscope unit 10.
- the beam splitter 22 reflects the reference light L31 reflected by the reference light mirror 23 and transmits the reflected light of the light L32 from the surface of the biological sample B. Thereby, the beam splitter 22 combines these lights and produces
- the interference light L4 is input to the detector 24.
- the reference light mirror 23 may be configured to be movable with respect to the optical axis direction of the reference light L31, or may be fixed.
- the detector 24 detects the interference light L4 synthesized by the beam splitter 22 and outputs a detection signal S1.
- the detector 24 includes a two-dimensional light detection element such as a CCD image sensor or a CMOS image sensor.
- the shape measurement unit is not limited to the configuration of the present embodiment.
- the shape measurement unit may have an interference measurement method such as a mirrow type or a linique type.
- the shape measurement unit may have a confocal reflectance microscope or a common path interferometer. According to such a microscope, the surface shape of the biological sample B can be suitably measured using the focusing information. Further, the shape measuring unit may use evanescent light. Thereby, it becomes easy to grasp the shape such as whether or not the biological sample B is in contact with the biological sample table 11.
- the image acquisition unit 30 detects the detected light L2 from the biological sample B and creates an image.
- a fluorescence optical system when the detected light L2 is fluorescence from the biological sample B will be described.
- the image acquisition unit is not limited to this, and the detected light L2 is reflected light from the biological sample B. Or a transmission optical system in which the detected light L2 is transmitted light from the biological sample B.
- the image acquisition unit 30 of this embodiment includes a laser light source 31, a beam expander 32, a first spatial light modulator (SLM) 33, a dichroic mirror 34, an optical scanner 35, and a second spatial light modulator. (SLM) 36, detector 37, and filter 38.
- SLM spatial light modulator
- the laser light source 31 is a light irradiation unit in the present embodiment, and irradiates the biological sample B with the light L5 via the objective lens 12.
- the laser light source 31 is a light source that outputs light L ⁇ b> 5 irradiated to the biological sample B via the objective lens 12.
- the laser light source 31 is optically coupled to the objective lens 12.
- the light L5 is laser light including the excitation wavelength of the biological sample B, for example.
- the laser light source 31 includes, for example, a semiconductor laser element.
- the beam expander 32 includes, for example, a plurality of lenses 32a and 32b arranged side by side on the optical axis of the light L5, and adjusts the size of the cross section perpendicular to the optical axis of the light L5.
- the first spatial light modulator 33 is optically coupled to the laser light source 31.
- the first spatial light modulator 33 presents a hologram including an aberration correction hologram for correcting an aberration caused by the surface shape of the biological sample B.
- the first spatial light modulator 33 modulates the light L5 from the laser light source 31 to generate the irradiation light L1 that is irradiated onto the biological sample B.
- the surface shape of the biological sample B is measured by the shape measuring unit 20 described above.
- the first spatial light modulator 33 may be a phase modulation type or an amplitude (intensity) modulation type.
- the first spatial light modulator 33 may be either a reflection type or a transmission type. Details of the aberration correction hologram will be described later.
- the dichroic mirror 34 transmits one of the irradiation light L1 from the first spatial light modulator 33 and the detected light L2 from the microscope unit 10, and reflects the other. In the example shown in FIG. 1, the dichroic mirror 34 transmits the irradiation light L1 and reflects the detection light L2.
- the optical scanner 35 scans the irradiation position of the irradiation light L1 on the biological sample B by moving the optical axis of the irradiation light L1 in a plane perpendicular to the optical axis of the irradiation light L1.
- the optical scanner 35 is configured by, for example, a galvanometer mirror, a resonance mirror, a MEMS mirror, or a polygon mirror. Further, the detected light L2 from the biological sample B is detected via the optical scanner 35. Thereby, the optical axis of irradiation light L1 and the optical axis of to-be-detected light L2 can mutually be made to correspond.
- the second spatial light modulator 36 is optically coupled to the objective lens 12 and the detector 37.
- the second spatial light modulator 36 presents an aberration correction hologram for correcting aberration caused by the surface shape of the biological sample B.
- the second spatial light modulator 36 modulates the detected light L2 from the dichroic mirror 34.
- the surface shape of the biological sample B is measured by the shape measuring unit 20 described above.
- the second spatial light modulator 36 may be a phase modulation type or an amplitude (intensity) modulation type. Further, the second spatial light modulator 36 may be either a reflection type or a transmission type.
- a confocal effect can be obtained.
- a hologram for collecting the detection light L2 on the detector 37 is provided. A confocal effect can be obtained by presenting the second spatial light modulator 36 together with the aberration correcting hologram. Details of the aberration correction hologram will be described later.
- the detector 37 is a light detection unit in the present embodiment.
- the detector 37 is optically coupled to the objective lens 12.
- the detector 37 detects the light intensity of the detected light L2 output from the biological sample B through the objective lens 12, and outputs a detection signal S2.
- the detector 37 may be a point sensor such as a PMT (Photomultiplier Tube), a photodiode, or an avalanche photodiode.
- the detector 37 may be an area image sensor such as a CCD image sensor, a CMOS image sensor, a multi-anode PMT, or a photodiode array.
- a condensing lens 37a may be disposed immediately before the detector 37.
- the filter 38 is disposed on the optical axis between the dichroic mirror 34 and the detector 37.
- the filter 38 cuts the wavelength of the irradiation light L1 and the wavelength of fluorescence unnecessary for observation from the light input to the detector 37. Note that the filter 38 may be disposed either before or after the condenser lens 37a.
- the image acquisition unit 30 of the present embodiment further includes a mirror 39a and a reflecting member 39b in addition to the above configuration.
- the mirror 39a bends the optical axes of the irradiation light L1 and the detection light L2 in order to optically couple the optical scanner 35 and the beam splitter 14 of the microscope unit 10.
- the reflecting member 39b is a prism having two reflecting surfaces, and is disposed to face the second spatial light modulator 36.
- the reflecting member 39b reflects the detected light L2 from the dichroic mirror 34 on one reflecting surface toward the second spatial light modulator 36, and the reflected light from the second spatial light modulator 36 on the other reflecting surface.
- the detection light L2 is reflected toward the detector 37.
- At least one 4f optical system may be provided on the optical axes of the irradiation light L1 and the detection light L2.
- two 4f optical systems 51 and 52 are shown in FIG.
- the 4f optical systems 51 and 52 have a role of transferring the wavefront of the irradiation light L1 generated in the first spatial light modulator 33 to the rear focal point of the objective lens 12.
- the 4f optical system may include a telecentric relay optical system. Further, when the objective lens 12 and the first spatial light modulator 33 are extremely close to each other, the 4f optical system can be omitted.
- the control unit 40 includes a processor.
- the control unit 40 controls the microscope unit 10, the shape measurement unit 20, and the image acquisition unit 30.
- the control unit 40 controls the position of the objective lens 12 in the optical axis direction using the objective lens moving mechanism 13 in the microscope unit 10.
- the control unit 40 moves the biological sample stage 11 that supports the biological sample B in a direction that intersects the optical axis direction.
- the control unit 40 also controls the coherent light source 21, the detector 24, and the reference light mirror 23 of the shape measurement unit 20.
- the control unit 40 controls the laser light source 31, the first spatial light modulator 33, the optical scanner 35, the second spatial light modulator 36, and the detector 37 of the image acquisition unit 30.
- the control unit 40 of this embodiment includes an input device 41 such as a mouse and a keyboard, a display device (display) 42, and a computer 43.
- control unit 40 constitutes a part of the shape acquisition unit in the present embodiment.
- the control unit 40 is electrically coupled to the detector 24 of the shape measurement unit 20.
- the control unit 40 receives the detection signal S1 output from the detector 24 of the shape measurement unit 20. Based on this detection signal S1, the control unit 40 acquires information on the surface shape of the biological sample B using a method using Fourier transform or ⁇ / 4 phase shift interferometry.
- the control unit 40 is a hologram creation unit in the present embodiment.
- the control unit 40 creates aberration correction hologram data for correcting the aberration caused by the surface shape of the biological sample B based on the obtained information.
- the aberration correction hologram data is provided to the first spatial light modulator 33 and the second spatial light modulator 36.
- the control unit 40 is an image creation unit in the present embodiment.
- the control unit 40 creates an image related to the biological sample B based on the detection signal S2 from the detector 37 and information on the light irradiation position by the optical scanner 35.
- the created image is displayed on the display device 42.
- the control unit 40 may realize the function of controlling each unit, the function as the shape acquisition unit, the function as the hologram creation unit, and the function as the image creation unit with the same processor, or with different processors. It may be realized.
- FIG. 2 is a flowchart showing the operation of the above-described microscope apparatus 1A.
- the image acquisition method according to the present embodiment will be described with reference to FIG.
- the biological sample B is placed on the biological sample table 11.
- the light L3 is output from the light source 21 of the shape measuring unit 20, and the interference light L4 between the reflected light from the surface of the biological sample B and the reference light L31 is detected by the detector 24.
- the control unit 40 acquires information related to the surface shape of the biological sample B (shape acquisition step S11).
- aberration correction hologram data for correcting the aberration due to the surface shape of the biological sample B is generated by the control unit 40 (hologram generation step S12).
- a hologram based on the aberration correction hologram data is presented to the first spatial light modulator 33 and the second spatial light modulator 36.
- the light L5 output from the laser light source 31 is modulated by the first spatial light modulator 33, and the modulated irradiation light L1 is irradiated to the biological sample B (light irradiation step S13).
- the intensity of the detected light L2 generated in the biological sample B is detected by the detector 37 (light detection step S14).
- the detected light L2 is modulated by the second spatial light modulator 36 and then input to the detector 37.
- the light irradiation step S13 and the light detection step S14 are repeated (or simultaneously performed continuously) while scanning the irradiation light L1 by the optical scanner 35.
- an image of the biological sample B is created in the control unit 40 (image creation step S15).
- the surface of the biological sample B is not flat. Therefore, an aberration due to the surface shape of the biological sample B occurs. For example, when a fish such as a zebrafish is observed as the biological sample B, assuming that the surface shape of the fish is substantially cylindrical, astigmatism is strong when the irradiation light L1 in the condensing process passes through the surface. Will occur. If the objective lens 12 has a small numerical aperture (NA) or observation at a shallow position of the biological sample B, the influence is small, but if the numerical aperture (NA) is large or deep observation, the influence of aberration is small. It cannot be ignored.
- NA numerical aperture
- FIG. 3 is a diagram schematically showing how aberration occurs.
- a curve B1 represents the surface of the biological sample B, that is, the boundary between the biological sample B and the outside thereof.
- the refractive index outside the biological sample B is n1
- the refractive index inside the biological sample B is n2 ( ⁇ n1).
- the irradiation light L1 is condensed inside the biological sample B (just below the surface) by the objective lens 12. At this time, the light L11 passing through the vicinity of the optical axis A2 of the objective lens 12 in the irradiation light L1 travels straight toward the condensing point C with almost no influence of the surface shape of the biological sample B.
- the light L12 passing through a position away from the optical axis A2 of the objective lens 12 in the irradiation light L1 is refracted due to the influence of the surface shape of the biological sample B and deviates from the condensing point C. Due to such a phenomenon, the concentration of the irradiation light L1 is weakened inside the biological sample B, and the condensed image D is spread.
- the microscope apparatus 1A and the image acquisition method of the present embodiment information regarding the surface shape of the biological sample B is acquired. Based on the information, aberration correction hologram data for correcting the aberration is generated. Further, the irradiation light L1 is modulated by the hologram based on the data. Thereby, since the aberration resulting from the surface shape of the biological sample B is suitably corrected, it is possible to suppress a decrease in the collected intensity of the irradiation light L1 and the spread of the collected image D inside the biological sample B.
- a hologram based on the aberration correction hologram data is presented to the second spatial light modulator 36, and the detected light L2 generated in the biological sample B is modulated by the second spatial light modulator 36. May be.
- the influence of the aberration caused by the surface shape of the biological sample B on the detected light L2 is corrected. Therefore, when performing confocal using a pinhole, the detected light L2 passing through the pinhole. Increases, and the image of the biological sample B can be made clearer.
- FIG. 4 shows a plane H in which the boundary B1 between the biological sample B and the outside thereof is perpendicular to the optical axis A2 when the irradiation light L6, which is a plane wave without aberration correction, is collected by the objective lens 12.
- the state of irradiation light L6 when it inclines by angle (alpha) from is conceptually shown.
- the light beams L6a and L6b in the figure are light beams that have passed near the center of the objective lens 12, and are referred to as paraxial light beams.
- light rays L6c and L6d in the figure are light rays that have passed near the edge of the objective lens 12, and are referred to as outer peripheral rays.
- the incident angle is small for paraxial rays, the amount of change in the incident angle and the outgoing angle is small.
- the incident angle of the outer peripheral ray is large, the amount of change in the incident angle and the outgoing angle is large.
- the boundary B1 is inclined with respect to the plane perpendicular to the optical axis A2, the paraxial ray and the outer peripheral ray do not overlap on the optical axis. As a result, various aberrations occur, and as a result, the condensed image becomes a distorted image different from the diffraction limited image.
- FIG. 5 is a diagram for explaining a method of calculating a wavefront where light rays are concentrated at an arbitrary point O ′ on the optical axis A2.
- the arcs Q and Q ′ are wavefronts after the plane wave passes through the objective lens 12 having the focal length f, and are, for example, spherical caps with a constant radius. If the biological sample B does not exist, the irradiation light L6A is collected at another point O on the optical axis A2 as indicated by a two-dot chain line in the figure.
- the angle ⁇ max formed by the line segment OQ (or OQ ′) and the line segment OT is expressed by the following equation (2).
- NA is the numerical aperture of the objective lens 12.
- T is an intersection of the arcs Q and Q ′ and the optical axis A2.
- the light beam of the irradiation light L6A is input to the objective lens 12 from the left side of the paper and proceeds to the right side of the paper as convergent light.
- This direction is defined as a positive propagation direction.
- an optical path from the point O ′ to the point W on the arc QQ ′ through the point V on the boundary B1 is obtained by back propagation.
- the optical path is obtained by back propagation using methods such as back ray tracing, wavefront propagation, and electromagnetic field analysis described below.
- the structure of the biological sample B is grasped using interference measurement in the previous stage of optical path calculation. Therefore, the refractive index distribution in the biological sample B is estimated from the structure of the biological sample B, and the boundary B1 of the refractive index is obtained. The position can be specified by approximating or mapping the refractive index boundary B1.
- the path and the optical path length that the light ray reaches from the point O ′ through the point V on the refractive index boundary B1 to the point W on the arc QQ ′ are determined.
- the point V on the refractive index boundary B1 is reached.
- the point V is obtained by the above polynomial approximation or the like.
- the light beam is refracted at the point V by Snell's law due to the difference in refractive index before and after the boundary B1.
- a non-uniform boundary (having irregular irregularities) B1 is assumed. Therefore, a three-dimensional Snell's law using a vector and an outer product as shown in the following equation (3) is applied. Is done.
- Equation (3) m is a normal vector at the point V, and VW and O′V are direction vectors after passing the boundary and before passing. After refraction, the light beam is again propagated back to the point W on the arc QQ ′. Thus, the optical path from the point O ′ to the point W is examined, and the optical path length L is calculated.
- the optical path length L is obtained by the following equation (4), for example.
- the above calculation is performed for a plurality of light beams, and the optical path lengths of all the light beams that reach the crown are obtained.
- a pattern in which the phase difference is obtained from the optical path length through the optical path difference and this phase difference is eliminated becomes an aberration correction pattern, that is, aberration correction hologram data.
- the light beam since there are a plurality of refractive index boundaries B1, the light beam may be traced by refracting each refractive index boundary B1. In that case, Formula (4) is changed.
- the light is gradually propagated back from the intended focusing position (point O ′) to the objective lens 12.
- the calculation is performed by adding the boundary B1 of the refractive index to the propagation.
- This method may be combined with the reverse ray tracing described above or the electromagnetic field analysis described later. For example, reverse ray tracing may be performed for a portion other than the refractive index boundary B1, and wavefront propagation may be performed for a portion including the refractive index boundary B1. Thereby, the calculation load can be reduced.
- the analysis is performed from the point O 'to be focused to the objective lens 12 side.
- the boundary B1 of the refractive index is added to the boundary condition. This method may be combined with the back ray tracing or wavefront propagation described above.
- FIG. 6 schematically shows the case where there are two refractive index boundaries B2 and B3.
- the boundary B2 is assumed to be perpendicular to the optical axis.
- an angle formed by the plane H perpendicular to the optical axis A2 and the boundary B3 is ⁇ .
- the refractive index outside the boundary B2 is n1
- the refractive index between the boundary B2 and the boundary B3 is n2
- the refractive index inside the boundary B3 is n3.
- FIG. 7 (a) and 7 (b) are diagrams showing wavefronts obtained using back propagation analysis in such a case, and the phases are shown by shading. Note that FIG. 7 is expressed using a technique called phase folding.
- n1 is air
- n2 is water
- n3 is a cell. It is assumed that a cover glass exists at the boundary B2 between n1 and n2, but the aberration due to the cover glass is corrected by the glass correction function of the objective lens 12.
- the region sandwiched between the boundary B2 and the boundary B3 on the optical axis (that is, the region sandwiched between the cover glass and the cell) is filled with, for example, phosphate buffered saline.
- a distance E1 between the boundary B2 and the boundary B3 on the optical axis is, for example, 30 ⁇ m.
- the magnification of the objective lens 12 is 40 times, the numerical aperture (NA) is 0.75, the distance E2 between the point O and the boundary B3 on the optical axis is 300 ⁇ m, and the distance E3 between the point O and the point O ′ is The thickness was 80 ⁇ m.
- coma and astigmatism are included in the wavefront in addition to spherical aberration.
- the wavefront necessary for the irradiation light is suitably obtained by the back propagation analysis described above. Then, an aberration correction hologram is suitably obtained based on the wavefront.
- phase modulator mainly deformable mirror
- wavefront measuring device Shack-Hartmann sensor
- a plurality of holograms whose aberrations are assumed to be reduced are presented to the spatial light modulator, and the irradiation light modulated by the spatial light modulator is scanned to obtain a hologram that improves the brightness and resolution of the obtained image.
- a method of obtaining an aberration correction hologram by trial and error, such as selection, is also conceivable.
- the obtained aberration correction hologram is likely to be an approximate solution, and the accuracy is suppressed to a low level.
- the aberration correction hologram data is all calculated in the computer 43, so that the required time can be shortened as compared with a method involving trial and error by the operator.
- the computer 43 creates the aberration correction hologram data based on the surface shape information acquired by the shape measurement unit 20, so that the accuracy of aberration correction can be improved.
- the computer 43 creates the aberration correction hologram data based on the surface shape information acquired by the shape measurement unit 20, so that the accuracy of aberration correction can be improved.
- the holograms presented in the first spatial light modulator 33 and the second spatial light modulator 36 may not be aberration correction holograms themselves.
- a hologram obtained by superimposing an aberration correction hologram and another hologram such as a hologram for controlling the condensing shape and the condensing position of the irradiation light L1 irradiated on the biological sample B may be used.
- the correction of the aberration due to the surface shape of the biological sample B has been described.
- the aberration also occurs due to the internal structure immediately below the surface of the biological sample B.
- such a phenomenon will be described in detail.
- the observed fluorescence intensity differs between the deep position and the shallow position of the biological sample B. This is due to scattering and aberration of irradiation light and fluorescence caused by the internal structure of the biological sample B.
- the occurrence of such scattering and aberration is partly due to the change in the optical path caused by the difference in refractive index between the structures of blood vessels and the like, and microscopically the organs constituting the cells.
- the optical path changes depending on the internal structure, and the light collection shape of the irradiation light changes greatly.
- the observed fluorescence intensity and resolution are reduced, and the S / N ratio is reduced due to background noise.
- the internal structure with a refractive index difference immediately below the surface of the biological sample B is measured, and the hologram including the aberration correction hologram for correcting the aberration caused by the internal structure is subjected to the first spatial light modulation.
- the device 33 and the second spatial light modulator 36 Accordingly, it is possible to suppress a decrease in the intensity and resolution of the detected light L2 and a decrease in the S / N ratio due to background noise.
- FIG. 8 is a view of the biological sample B as viewed from the side, and conceptually shows a state in which irradiation light is collected while passing through an internal structure including media Ba and Bb having different refractive indexes.
- 8 (a) and 8 (b) show how the irradiation light L7 is condensed when no aberration is assumed, and when the biological sample B is condensed at a shallow position and a deep position, respectively. Is shown.
- FIG. 8A when the light is condensed at a shallow position, the refractive index boundary existing on the optical path is relatively small. However, as shown in FIG. As the light is collected, the boundary of the refractive index existing on the optical path increases. Therefore, in such a case, the irradiation light is actually affected by the internal structure of the biological sample B as shown in FIG.
- FIG. 8C shows a case where such aberration is corrected.
- the condensing position of the light beam near the optical axis A2 and the condensing positions of the light beams L7c and L7d are matched with each other. Condensation at high density is possible.
- FIG. 9 is a diagram showing a configuration of the microscope apparatus 1B of the present embodiment.
- the difference between the microscope apparatus 1B and the microscope apparatus 1A of the first embodiment is the presence or absence of the shape measurement unit 20. That is, the microscope apparatus 1B of this embodiment does not include the shape measurement unit 20, but instead, the objective lens moving mechanism 13 of the microscope unit 10, the laser light source 31, the optical scanner 35, and the detector of the image acquisition unit 30.
- 37 constitutes a shape acquisition unit that acquires information related to the internal structure immediately below the surface of the biological sample B.
- the objective lens 12 is moved in the optical axis direction, and the computer 43 acquires information related to the internal structure of the biological sample B based on the obtained detection signal S2.
- the image acquisition unit 30 includes a detector 37 and is optically coupled to the objective lens 12.
- the information on the internal structure immediately below the surface of the biological sample B can be acquired by the configuration of the present embodiment. That is, when an appropriate fluorescent material is used, the obtained fluorescent image includes information on the internal structure of the biological sample B. Therefore, the distance between the objective lens 12 and the biological sample B is sequentially changed using the objective lens moving mechanism 13.
- the irradiation light (excitation light) L1 is condensed at a deep position inside the biological sample B, fluorescence (including autofluorescence) is emitted from the structure inside the biological sample B existing on the optical path of the irradiation light (excitation light) L1.
- the refractive index distribution of the biological sample B can be grasped by acquiring the fluorescence intensity while making the condensing position shallow. Then, the aberration correction hologram in consideration of the grasped refractive index distribution is presented to the first spatial light modulator 33 and the second spatial light modulator 36, whereby the influence of the aberration can be reduced.
- the biological sample B may emit fluorescence from a specific site by fluorescent dye, fluorescent protein, autofluorescence, Second Harmonic Generation (SHG), or the like.
- SHG Second Harmonic Generation
- a laser scanning fluorescence microscope such as the microscope apparatus 1B
- scanning with an optical scanner 35 for example, an XY galvanometer
- an optical scanner 35 for example, an XY galvanometer
- information in a plurality of planes having different depths can be obtained.
- three-dimensional information is constructed.
- the shape acquisition unit may measure the refractive index distribution using light sheet light or ultrasonic waves used for single-photon fluorescence observation instead of or in addition to the above configuration.
- an approximate structure can be grasped in advance before observation, and an aberration correction hologram for correcting an aberration caused by the structure can be suitably designed.
- FIG. 10 is a flowchart showing the operation of the microscope apparatus 1B described above and the image acquisition method according to the present embodiment.
- the biological sample B is placed on the biological sample table 11.
- the focusing position is gradually moved from the shallow position to the deep position of the biological sample B while moving the objective lens 12 in the optical axis direction.
- the light L5 is output from the laser light source 31, and the irradiation light L1 is condensed directly under the surface of the biological sample B.
- detected light (fluorescence) L2 is generated in the internal structure immediately below the surface of the biological sample B.
- the detected light L2 is descanned by the optical scanner 35 and reflected by the dichroic mirror 34.
- the detector 37 detects the descanned detected light L2, and outputs a detection signal S2.
- the same hologram creation step S12, light irradiation step S13, light detection step S14, and image creation step S15 as in the first embodiment are performed.
- the irradiation light L1 and the detection light L2 pass through a part or all of the estimated refractive index distribution, so that the irradiation light L1 and the detection light that are passing in the hologram creation step S12.
- An aberration correction hologram may be created so that the influence of the refractive index distribution on L2 is reduced.
- the aberration correction hologram is designed based on a wavefront obtained by back propagation using geometric optics, wave optics, electromagnetic field analysis, or the like.
- Geometric optics is, for example, inverse ray tracing
- wave optics is, for example, Fresnel wavefront propagation or Fresnel Kirchhoff diffraction
- electromagnetic field analysis is, for example, FDTD or RCWA.
- an aberration correction hologram is created based on the surface shape of the biological sample B.
- an aberration correction hologram is created based on a structure with a refractive index distribution just below the surface of the biological sample B.
- an aberration correction hologram may be created based on both the surface shape of the biological sample B and the structure immediately below the surface of the biological sample B.
- the shape acquisition part of this embodiment is acquiring the information regarding the structure immediately under the surface of the biological sample B using the fluorescence obtained by irradiating the irradiation light L1
- the shape acquisition part is the biological sample B.
- the refractive index distribution immediately below the surface may be measured using ultrasonic waves, or the refractive index distribution directly below the surface may be measured using a phase difference or differential interference.
- the shape acquisition unit may estimate the refractive index distribution and the degree of scattering directly below the surface from reflection and transmission by changing the angle of the optical axis or changing the refractive index of the immersion liquid. With these, it is possible to estimate the refractive index distribution particularly on the surface of the biological sample B. For example, when the angle of the optical axis is shaken, the refractive index of the surface of the biological sample B and the refractive index distribution inside the sample can be estimated from the Brewster angle and the relationship between the angle and the reflectance.
- the microscope apparatus 1B and the image acquisition method of the present embodiment having the above configuration will be described.
- information related to the internal structure immediately below the surface of the biological sample B is acquired.
- aberration correction hologram data for correcting the aberration is generated.
- the irradiation light L1 is modulated by the hologram based on the data.
- a hologram based on the aberration correction hologram data is presented to the second spatial light modulator 36, and the detected light L2 generated in the biological sample B is modulated by the second spatial light modulator 36. May be.
- FIG. 11 is a view for explaining the operation of the first modified example, and is a view of the surface of the biological sample B viewed from the optical axis direction.
- the shape acquisition unit (in the shape acquisition step) divides the surface of the biological sample B into a plurality of lattice-like regions F1 to F4 as shown in FIG. 11, and each region F1 to F4 is divided.
- scanning with a small area may be performed in parallel.
- an individual aberration correction hologram is created for each of the regions F1 to F4, and the first spatial light modulator 33 is presented with a hologram having effects of aberration correction and multipoint generation.
- FIGS. 12A and 12B are diagrams illustrating an example of a boundary B1 with the outside of the biological sample B.
- FIG. 12 (a) when the irradiation light L1 scans a wide area, the distance between the objective lens 12 and the boundary B1 and the internal structure immediately below the surface of the biological sample B greatly change.
- the correction hologram may be switched on the way. However, in this case, the operation of the spatial light modulator is slow, leading to time loss.
- FIG. 12B when the scanning region is made smaller by dividing it into a plurality of regions F1 to F4, it is not necessary to switch the aberration correction hologram, and high-accuracy and high-speed scanning is realized. .
- FIG. 13 is a diagram showing a configuration of a microscope apparatus 1C according to the second modification.
- the shape measurement unit 20B constitutes a shape acquisition unit.
- the shape measurement unit 20 ⁇ / b> B includes a light source 25, a dichroic mirror 26, an optical scanner 27, a detector 28, and a filter 29.
- the shape measurement unit 20 ⁇ / b> B includes a detector 28 and is optically coupled to the objective lens 12.
- the light source 25 outputs excitation light L8 irradiated to the biological sample B.
- the biological sample B may emit fluorescence from a specific site by a fluorescent dye, fluorescent protein, autofluorescence, SHG, or the like.
- the excitation light L8 is light including a wavelength for exciting the biological sample B.
- the excitation light L8 may be light having the same wavelength as the light L5 output from the laser light source 31, or may be light having a different wavelength.
- the dichroic mirror 26 transmits one of the excitation light L8 from the light source 25 and the fluorescence L9 from the microscope unit 10, and reflects the other. In the example shown in FIG. 13, the dichroic mirror 26 reflects the excitation light L8 and transmits the fluorescence L9.
- the optical scanner 27 scans the irradiation position of the excitation light L8 on the biological sample B by moving the optical axis of the excitation light L8 in a plane perpendicular to the optical axis of the excitation light L8.
- the optical scanner 27 is composed of, for example, a galvanometer mirror, a resonance mirror, or a polygon mirror.
- the fluorescence L9 from the biological sample B is detected via the optical scanner 27. As a result, the optical axis of the excitation light L8 and the optical axis of the fluorescence L9 can be matched with each other.
- the detector 28 detects the light intensity of the fluorescence L9 output from the biological sample B via the objective lens 12, and outputs a detection signal S3.
- the detector 28 may be a point sensor such as a PMT, a photodiode, or an avalanche photodiode.
- the detector 28 may be an area image sensor such as a CCD image sensor, a CMOS image sensor, a multi-anode PMT, or a photodiode array.
- the confocal effect may be given by arranging a pinhole in the front stage of the detector 28.
- the filter 29 is disposed on the optical axis between the dichroic mirror 26 and the detector 28.
- the filter 29 cuts the wavelength of the excitation light L8 and the wavelength of fluorescence unnecessary for observation from the light input to the detector 28.
- At least one 4f optical system may be provided on the optical axes of the excitation light L8 and the fluorescence L9.
- one 4f optical system 53 is shown in FIG. The 4f optical system 53 is disposed on the optical axis between the optical scanner 27 and the beam splitter 14.
- the biological sample B is placed on the biological sample table 11.
- the focusing position is gradually moved from the shallow position to the deep position of the biological sample B while moving the objective lens 12 in the optical axis direction.
- the excitation light L8 is output from the light source 25, and the fluorescence L9 from the internal structure immediately below the surface of the biological sample B is detected by the detector 28.
- the change of the fluorescence of the depth direction resulting from the internal structure directly under the surface of the biological sample B is detected.
- this operation is repeated while moving the optical axis of the excitation light L8 by the optical scanner 27. Thereby, the three-dimensional information regarding the internal structure of the biological sample B is constructed.
- the refractive index distribution is estimated from the constructed three-dimensional information. Subsequent operations are the same as those in the second embodiment described above.
- the functions of the light source 25 and the optical scanner 27 may be realized by the laser light source 31 and the optical scanner 35. In this case, the light source 25, the optical scanner 27, and the beam splitter 26 are unnecessary.
- the pre-scan is repeated a plurality of times, and in the second and subsequent pre-scans, the aberration of the light L5 is corrected by the first spatial light modulator 33 based on the result of the previous pre-scan.
- the influence of the aberration caused by the internal structure of the biological sample B is reduced, the structure of the biological sample B is grasped more accurately, and a higher resolution image can be obtained.
- an aberration correction hologram is designed based on the structure of the biological sample B obtained by the second and subsequent pre-scans.
- rough aberration correction may be performed by the first pre-scan, and finer aberration correction may be performed by the second and subsequent pre-scans.
- FIG. 14 is a diagram showing a configuration of a microscope apparatus 1D according to the fourth modification.
- an evanescent field is used for measuring the surface shape of the biological sample B. Thereby, it becomes easy to grasp the shape such as whether or not the biological sample B is in contact with the biological sample table 11.
- an objective lens 12 and a biological sample table 11 (cover glass) that cause total reflection are used.
- the shape measurement unit 20C constitutes a shape acquisition unit.
- the shape measuring unit 20 ⁇ / b> C includes a light source 25, a dichroic mirror 26, a detector 28, a filter 29, and a condenser lens 61.
- the configurations of the light source 25, the dichroic mirror 26, the detector 28, and the filter 29 are the same as in the third modification.
- the shape measuring unit 20 ⁇ / b> C is optically coupled to the objective lens 12.
- the condenser lens 61 is provided when the excitation light L8 is surface illumination, and is disposed on the optical axis between the dichroic mirror 26 and the microscope unit 10.
- the condensing lens 61 condenses the excitation light L8 on the rear focal plane of the objective lens 12.
- the condensing lens 61 is unnecessary.
- the excitation light L8 that is a plane wave may be input to a region where total reflection of the objective lens 12 occurs, and the excitation light L8 may be scanned by parallel movement of the optical scanner or the biological sample stage 11.
- a prism or an optical fiber may be used instead of the objective lens 12, a prism or an optical fiber may be used.
- FIG. 15 is a diagram showing the configuration of the microscope unit 10B and the shape measuring unit 20D of the microscope apparatus according to the fifth modification.
- the elasticity of the biological sample B is measured by ultrasonic waves, and the structure of the biological sample B is obtained using the elastic difference between the regions of the biological sample B. Then, an aberration correction hologram is created based on the obtained structure.
- illustration of the image acquisition unit 30 and the control unit 40 shown in FIGS. 1 and 9 is omitted.
- the shape measuring unit 20 ⁇ / b> D of this modification includes a pulse generation source 62 and a receiver 63 that is a detector.
- the pulse generation source 62 generates a pulse signal S4 for generating an ultrasonic wave.
- the receiver 63 receives a pulse signal S5 including information related to the internal structure of the biological sample B.
- the microscope unit 10B has a lens 64 with a piezoelectric thin film instead of the objective lens 12 of the microscope unit 10 shown in FIGS. Other configurations are the same as those of the microscope unit 10.
- the lens 64 with a piezoelectric thin film is disposed so as to face the biological sample B.
- the piezoelectric thin film converts the pulse signal S4 into an ultrasonic wave and irradiates the biological sample B with the ultrasonic wave. Ultrasound is converted into a pulse signal S5.
- a common lens with a piezoelectric thin film is used for the pulse signal S4 and the pulse signal S5.
- a lens with a piezoelectric thin film for the pulse signal S4 and a lens with a piezoelectric thin film for the pulse signal S5 are used. And may be provided individually.
- FIG. 16 is a diagram showing a configuration of a microscope apparatus 1E according to the sixth modification.
- phase difference / differential interference is used for measuring the surface shape of the biological sample B.
- the shape measurement unit 20E constitutes a shape acquisition unit.
- the shape measuring unit 20E includes a light source 21, a beam splitter 22, a detector 24, a differential interference (DIC) prism 66, and a polarizer 67.
- the shape measuring unit 20E is optically coupled to the objective lens 12.
- the configurations of the light source 21, beam splitter 22, and detector 24 are the same as those in the first embodiment.
- the DIC prism 66 and the polarizer 67 are arranged side by side on the optical path between the beam splitter 22 and the objective lens 12.
- the DIC prism 66 branches the light L3 from the light source 21 into two and superimposes the return light L10 from the biological sample B.
- the polarizer 67 limits the polarization of the lights L3 and L10.
- the light L10 that has reached the beam splitter 22 from the biological sample B via the DIC prism 66 and the polarizer 67 passes through the beam splitter 22 and is input to the detector 24.
- the microscope apparatus and the image acquisition method according to one aspect of the present invention are not limited to the above-described embodiments, and various other modifications are possible.
- the aberration correction hologram is presented in the first spatial light modulator and the second spatial light modulator, but the aberration correction hologram may be presented only in the first spatial light modulator. Good. Even in such a case, it is possible to suppress a decrease in the concentration of the irradiation light and the spread of the shape of the collected light inside the biological sample.
- the microscope unit 10 may be an upright microscope.
- the microscope apparatus is a microscope apparatus that acquires an image of a biological sample, the biological sample stage that supports the biological sample, the objective lens that faces the biological sample stage, and the biological sample via the objective lens.
- the shape acquisition unit for acquiring information on at least one of the surface shape of the biological sample, and the structure immediately below the surface of the biological sample, and the information acquired in the shape acquisition unit,
- a spatial light that modulates the light irradiated from the light irradiator to the biological sample with a hologram generator that generates aberration-corrected hologram data for correcting aberration caused by at least one of the holograms, and a hologram based on the aberration-corrected hologram data Create an image of the biological sample based on the modulator, the light detection unit that detects the intensity of light generated in the biological sample, and the output from the light detection unit It is configured to include an image creation unit.
- the image acquisition method is a method of acquiring an image of a biological sample, which has a surface shape of the biological sample supported on the biological sample table facing the objective lens, and a structure immediately below the surface of the biological sample.
- a hologram based on the hologram data is presented to the spatial light modulator, the light emitted from the light irradiation unit is modulated by the spatial light modulator, and the light irradiation step of irradiating the modulated light to the biological sample is generated in the biological sample.
- Detection step for detecting the intensity of the detected light, and an image of the biological sample based on the detection information in the light detection step Is an image generation step of generating, configured to include.
- the microscope apparatus is an apparatus for acquiring an image of a biological sample, and includes a biological sample stage that supports the biological sample, an objective lens that is disposed to face the biological sample stage, and an objective lens.
- a light source that outputs light emitted to the biological sample, a shape acquisition unit that acquires information on at least one of the surface shape of the biological sample, and the structure immediately below the surface of the biological sample, and information acquired by the shape acquisition unit
- a hologram creating unit that creates aberration correction hologram data for correcting aberration caused by at least one, and a spatial light modulation that presents a hologram based on the aberration correction hologram data and modulates the light output from the light source
- a light detector that detects the intensity of light generated in the biological sample and outputs a detection signal, and creates an image of the biological sample based on the detection signal. It is an image creating section that, the configuration with.
- the image acquisition method is a method of acquiring an image of a biological sample, which has a surface shape of the biological sample supported on the biological sample table facing the objective lens, and a structure immediately below the surface of the biological sample.
- a light irradiation step for presenting a hologram based on the hologram data to the spatial light modulator, modulating the light output from the light source by the spatial light modulator, and irradiating the biological sample with the modulated light, and the light generated in the biological sample
- a light detection step for detecting the intensity of the light and outputting a detection signal, and based on the detection signal in the light detection step Is an image generating step of generating an image of the body samples, a structure containing.
- the above microscope apparatus may further include a second spatial light modulator that presents a hologram based on the aberration correction hologram data and modulates light generated in the biological sample.
- a hologram based on the aberration correction hologram data is presented to the second spatial light modulator, and light generated in the biological sample is modulated by the second spatial light modulator.
- the intensity of the modulated light may be detected.
- an incoherent light source that outputs incoherent light may be used.
- the incoherent light source includes, for example, a super luminescent diode (SLD), a light emitting diode (LED), an ASE (Amplified Spontaneous Emission) light source, and a lamp system light source.
- One aspect of the present invention can be used as a microscope apparatus and an image acquisition method that can suppress a decrease in the concentration of collected light and the spread of the shape of collected light inside a biological sample.
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Health & Medical Sciences (AREA)
- Optics & Photonics (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- General Health & Medical Sciences (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Microscoopes, Condenser (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
- Diffracting Gratings Or Hologram Optical Elements (AREA)
Abstract
顕微鏡装置1Aは、生体試料Bを支持する生体試料台11と、生体試料台11と対向して配置される対物レンズ12と、対物レンズ12を介して生体試料Bに照射される光を出力するレーザ光源31と、生体試料Bの表面形状を取得する形状計測ユニット20と、形状計測ユニット20において取得された情報に基づいて、生体試料Bの表面形状に起因する収差を補正するための収差補正ホログラムデータを作成する制御ユニット40と、収差補正ホログラムデータに基づくホログラムが呈示され、レーザ光源31から出力された光を変調する第1の空間光変調器33と、生体試料Bにおいて生じた被検出光L2の強度を検出する検出器37とを備える。これにより、生体試料の内部における照射光の集光強度の低下及び集光形状の広がりを抑えることができる顕微鏡装置、及び画像取得方法が実現される。
Description
本発明の一側面は、顕微鏡装置(microscope apparatus)及び画像取得方法に関するものである。
特許文献1には、収差補正を行うことができる顕微鏡に関する技術が記載されている。この顕微鏡では、標本に励起光を照射し、標本において生じた蛍光を分岐して集光し、集光像をカメラにより撮像する。集光像のスポットは、収差が存在しない場合には回折限界像となるが、収差が存在する場合には歪みを伴う形状となる。そこで、この顕微鏡では、波面収差補正を適用して、スポット形状を改善させることを試みている。その為に、複数のスポット形状に対応する複数の収差条件を記憶しておき、収差条件を選択して適用することによって高速化を図っている。
空間光変調器の特長は、波面を制御することによって様々な収差を補正できることである。例えば、レーザ走査型顕微鏡において、観察対象物と周辺媒質(例えば空気、水、シリコーンオイル、オイルなど)との屈折率の不整合(ミスマッチング)により球面収差が発生し、観察対象物の内部において照射光の集光点が光軸方向に伸びるという問題があるが、空間光変調器を用いて照射光の波面を制御することにより、球面収差を補正して、観察対象物の内部における集光点の伸長を抑えることができる。このような収差補正によって精細な画像を得ることができるので、例えば脳の血管像といった生体試料の内部観察画像を得るために、このような顕微鏡が好適に用いられる。
しかしながら多くの場合、生体試料の表面は平坦ではない。従って、上述した収差に加えて、生体試料の表面形状に起因する収差が発生してしまう。例えば、生体試料としてゼブラフィッシュなどの魚を観察する場合、魚の表面形状はほぼ円筒形状と見なすことができ、該円筒形状によって非点収差が発生する。また、例えば細胞標本などの生体試料は血管や細胞組織等から構成されている。そのため、赤血球や脂質といった、屈折率がそれぞれ異なる物質が存在する。従って、生体試料の内部において収差が生じる。そして、これらの収差の影響を照射光が受けると、生体試料内部において照射光の集光強度が弱くなる、或いは集光形状が広がる等の問題が生じる。
本発明の一側面は、このような問題点に鑑みてなされたものであり、生体試料の内部における照射光の集光強度の低下及び集光形状の広がりを抑えることができる顕微鏡装置及び画像取得方法を提供することを目的とする。
上述した課題を解決するために、本発明の一側面による顕微鏡装置は、生体試料の画像を取得する装置であって、生体試料を支持する生体試料台と、生体試料台と対向して配置される対物レンズと、対物レンズを介して生体試料に照射される光を出力する光源と、生体試料の表面形状、及び生体試料の表面直下の構造のうち少なくとも一方に関する情報を取得する形状取得部と、形状取得部において取得された情報に基づいて、少なくとも一方に起因する収差を補正するための収差補正ホログラムデータを作成するホログラム作成部と、収差補正ホログラムデータに基づくホログラムが呈示され、光源から出力される光を変調する空間光変調器と、生体試料において生じた光の強度を検出し、検出信号を出力する光検出器と、検出信号に基づいて生体試料の画像を作成する画像作成部と、を備える。
また、本発明の一側面による画像取得方法は、生体試料の画像を取得する方法であって、対物レンズと対向する生体試料台に支持された生体試料の表面形状、及び生体試料の表面直下の構造のうち少なくとも一方に関する情報を取得するステップ(形状取得ステップ)と、形状取得ステップにおいて取得された情報に基づいて、少なくとも一方に起因する収差を補正するための収差補正ホログラムデータを作成するステップ(ホログラム作成ステップ)と、収差補正ホログラムデータに基づくホログラムを空間光変調器に呈示し、光源から出力される光を空間光変調器により変調し、変調後の光を生体試料へ照射するステップ(光照射ステップ)と、生体試料において生じた光の強度を検出し、検出信号を出力するステップ(光検出ステップ)と、検出信号に基づいて生体試料の画像を作成するステップ(画像作成ステップ)と、を含む。
上記の顕微鏡装置及び画像取得方法では、生体試料の表面形状、及び生体試料の表面直下の構造のうち少なくとも一方に関する情報が取得される。そして、その情報に基づいて、収差を補正するための収差補正ホログラムデータが生成される。また、該データに基づくホログラムによって照射光が変調される。これにより、生体試料の表面形状、及び生体試料の表面直下の構造のうち少なくとも一方に起因する収差が好適に補正されるので、生体試料の内部における照射光の集光強度の低下及び集光形状の広がりを抑えることができる。
本発明の一側面による顕微鏡装置及び画像取得方法によれば、生体試料の内部における照射光の集光強度の低下及び集光形状の広がりを抑えることができる。
以下、添付図面を参照しながら本発明の一側面による顕微鏡装置及び画像取得方法の実施の形態を詳細に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。
(第1の実施の形態)
図1は、本発明の一側面の一実施形態に係る顕微鏡装置1Aの構成を示す図である。顕微鏡装置1Aは、生体試料Bの画像を取得するための装置である。顕微鏡装置1Aは、図1に示されるように、顕微鏡ユニット10、形状計測ユニット20、画像取得ユニット30、及び制御ユニット40を備えている。
顕微鏡ユニット10は、後述する形状計測ユニット20及び画像取得ユニット30からの照射光L1を生体試料Bに照射するとともに、生体試料Bからの被検出光L2を形状計測ユニット20及び画像取得ユニット30へそれぞれ出力する。被検出光L2は、照射光L1の反射光、照射光L1の高調波、若しくは照射光L1によって励起された蛍光である。顕微鏡ユニット10は、生体試料台11、対物レンズ12、対物レンズ移動機構13、及びビームスプリッタ14を有する。
生体試料台11は、生体試料B(若しくは生体試料Bを収容する容器)を支持するための板状の部材である。生体試料台11は、例えば照射光L1及び被検出光L2を透過する材質からなり、例えばガラスやプラスチックなどからなる。生体試料台11は、例えば、スライドガラス、ボトムディッシュ、マイクロプレートなどである。本実施形態では、照射光L1は生体試料台11の裏面に照射され、生体試料台11を透過して生体試料Bに照射される。また、生体試料Bからの被検出光L2は、生体試料台11を透過して生体試料台11の裏面から出力される。
対物レンズ12は、生体試料台11と対向するように配置され、生体試料Bの内部に照射光L1を集光する。また、対物レンズ12は、生体試料Bからの被検出光L2を集める。
なお、本実施形態では照射光L1のための対物レンズと被検出光L2のための対物レンズとが共通となっているが、照射光L1のための対物レンズと被検出光L2のための対物レンズとが別個に設けられてもよい。例えば、照射光L1のために開口数(NA)が高い対物レンズを用い、収差補正により局所的に集光させてもよい。また、被検出光L2のために瞳の大きな対物レンズを用い、より多くの光を取り出せるようにしてもよい。照射光L1のための対物レンズと被検出光L2のための対物レンズとを生体試料Bを挟むように配置して、照射光L1の生体試料Bにおける透過光を被検出光L2として取得してもよい。
対物レンズ移動機構13は、対物レンズ12を照射光L1の光軸方向に移動させるための機構である。対物レンズ移動機構13は、例えばステッピングモータ若しくはピエゾアクチュエータ等によって構成される。
ビームスプリッタ14は、画像取得ユニット30との間の光路と、形状計測ユニット20との間の光路とを分割及び合成する。具体的には、ビームスプリッタ14は、画像取得ユニット30から顕微鏡ユニット10に到達した照射光L1を、対物レンズ12へ向けて反射する。また、ビームスプリッタ14は、対物レンズ12によって集められた被検出光L2を、画像取得ユニット30に向けて反射する。一方、ビームスプリッタ14は、形状計測ユニット20からの光L32、及び生体試料Bにおける光L32の反射光を透過する。ビームスプリッタ14は、例えばハーフミラーやダイクロイックミラーによって構成され得る。なお、顕微鏡ユニット10は、光L32の光軸方向を変更する反射ミラー15を更に有する。
形状計測ユニット20は、本実施形態における形状取得部である。形状計測ユニット20は、検出器24を含み、対物レンズ12と光学的に結合される。形状計測ユニット20は、生体試料Bの屈折率分布を伴う形状に関する情報、すなわち生体試料Bの表面形状(生体試料Bと周囲(空気)とによる屈折率差に伴う形状)に関する情報を取得する。形状計測ユニット20は、例えば、マイケルソン干渉計を用いた、生体試料Bの表面形状を計測する干渉光計測ユニットであってもよい。その場合、形状計測ユニット20は、図1に示されるようにコヒーレント光源21、ビームスプリッタ22、参照光用ミラー23、及び検出器24を有する。
コヒーレント光源21は、生体試料Bに照射されるコヒーレント光L3を発生する。コヒーレント光源21は、例えば半導体レーザ素子によって好適に構成される。
ビームスプリッタ22は、コヒーレント光源21からのコヒーレント光L3を、参照光L31と顕微鏡ユニット10への光L32とに分岐する。また、ビームスプリッタ22は、参照光用ミラー23において反射した参照光L31を反射させるとともに、光L32の生体試料B表面からの反射光を透過させる。これにより、ビームスプリッタ22は、これらの光を合成して干渉光L4を生成する。干渉光L4は、検出器24に入力される。なお、参照光用ミラー23は、参照光L31の光軸方向に対して移動可能に構成されていてもよいし、固定されていてもよい。
検出器24は、ビームスプリッタ22によって合成された干渉光L4を検出し、検出信号S1を出力する。検出器24は、例えばCCDイメージセンサやCMOSイメージセンサなどの2次元光検出素子を含む。
なお、形状計測ユニットは、本実施形態の構成に限られない。例えば、形状計測ユニットは、ミロー型、リニーク型などの干渉計測方式を有してもよい。或いは、形状計測ユニットは、コンフォーカルリフレクタンス顕微鏡を有してもよく、コモンパス干渉計を有してもよい。このような顕微鏡によれば、合焦情報を用いて生体試料Bの表面形状を好適に計測することができる。また、形状計測ユニットは、エバネッセント光を用いるものであってもよい。これにより、生体試料Bが生体試料台11に接地しているか否かといった形状把握が容易となる。
画像取得ユニット30は、生体試料Bからの被検出光L2を検出し、画像を作成する。なお、以下では被検出光L2が生体試料Bからの蛍光である場合の蛍光光学系の例について説明するが、画像取得ユニットはこれに限られず、被検出光L2が生体試料Bからの反射光である場合の反射光学系、或いは被検出光L2が生体試料Bからの透過光である場合の透過光学系であってもよい。本実施形態の画像取得ユニット30は、レーザ光源31、ビームエキスパンダ32、第1の空間光変調器(Spatial Light Modulator:SLM)33、ダイクロイックミラー34、光スキャナ35、第2の空間光変調器(SLM)36、検出器37、及びフィルタ38を有する。
レーザ光源31は、本実施形態における光照射部であって、生体試料Bに対し、対物レンズ12を介して光L5を照射する。レーザ光源31は、対物レンズ12を介して生体試料Bに照射される光L5を出力する光源である。レーザ光源31は、対物レンズ12と光学的に結合される。光L5は、例えば、生体試料Bの励起波長を含むレーザ光である。レーザ光源31は、例えば半導体レーザ素子を含んで構成される。ビームエキスパンダ32は、例えば光L5の光軸上に並んで配置された複数のレンズ32a,32bを含んで構成され、光L5の光軸に対して垂直な断面の大きさを調整する。
第1の空間光変調器33は、レーザ光源31と光学的に結合される。第1の空間光変調器33は、生体試料Bの表面形状に起因する収差を補正するための収差補正ホログラムを含むホログラムを呈示する。第1の空間光変調器33は、レーザ光源31からの光L5を変調することにより、生体試料Bへ照射される照射光L1を生成する。なお、生体試料Bの表面形状は、前述した形状計測ユニット20によって計測される。第1の空間光変調器33は、位相変調型でも良いし、振幅(強度)変調型でも良い。また、第1の空間光変調器33は、反射型及び透過型の何れであってもよい。なお、収差補正ホログラムの詳細については後述する。
ダイクロイックミラー34は、第1の空間光変調器33からの照射光L1、及び顕微鏡ユニット10からの被検出光L2のうち一方を透過し、他方を反射する。図1に示される例では、ダイクロイックミラー34は、照射光L1を透過し、被検出光L2を反射する。
光スキャナ35は、照射光L1の光軸に垂直な面内において照射光L1の光軸を移動させることにより、生体試料Bにおける照射光L1の照射位置を走査する。光スキャナ35は、例えばガルバノミラー、共振ミラー、MEMSミラー若しくはポリゴンミラーによって構成される。また、生体試料Bからの被検出光L2は、光スキャナ35を介して検出される。これにより、照射光L1の光軸と被検出光L2の光軸とを互いに一致させることができる。
第2の空間光変調器36は、対物レンズ12及び検出器37と光学的に結合される。第2の空間光変調器36は、生体試料Bの表面形状に起因する収差を補正するための収差補正ホログラムを呈示する。第2の空間光変調器36は、ダイクロイックミラー34からの被検出光L2を変調する。なお、生体試料Bの表面形状は、前述した形状計測ユニット20によって計測される。第2の空間光変調器36は、位相変調型でも良いし、振幅(強度)変調型でも良い。また、第2の空間光変調器36は、反射型及び透過型の何れであってもよい。
また、検出器37の前段にピンホールを配置する場合、収差補正ホログラムに加え、ピンホールに被検出光L2が集光するためのホログラムを第2の空間光変調器36に呈示することが好ましい。これにより、コンフォーカル効果を得ることができる。なお、二光子吸収などの多光子吸収効果を利用して、生体試料Bから発生した蛍光などの被検出光L2を検出する場合、検出器37に被検出光L2が集光するためのホログラムを収差補正用ホログラムと合わせて第2の空間光変調器36に呈示することで、コンフォーカル効果を得ることができる。なお、収差補正ホログラムの詳細については後述する。
検出器37は、本実施形態における光検出部である。検出器37は、対物レンズ12と光学的に結合される。検出器37は、生体試料Bから対物レンズ12を介して出力された被検出光L2の光強度を検出し、検出信号S2を出力する。検出器37は、PMT(Photomultiplier Tube)、フォトダイオード、アバランシェフォトダイオードといったポイントセンサであってもよい。或いは、検出器37は、CCDイメージセンサ、CMOSイメージセンサ、マルチアノードPMT、フォトダイオードアレイといったエリアイメージセンサであってもよい。なお、検出器37の直前には集光レンズ37aが配置されてもよい。
フィルタ38は、ダイクロイックミラー34と検出器37との間の光軸上に配置される。フィルタ38は、検出器37に入力する光から、照射光L1の波長、及び観察に不要な蛍光等の波長をカットする。なお、フィルタ38は、集光レンズ37aの前段、後段のどちらに配置してもよい。
なお、本実施形態の画像取得ユニット30は、上記の構成に加えて、ミラー39a及び反射部材39bを更に有する。ミラー39aは、光スキャナ35と顕微鏡ユニット10のビームスプリッタ14とを光学的に結合させるために、照射光L1及び被検出光L2の光軸を屈曲させる。反射部材39bは、2つの反射面を有するプリズムであって、第2の空間光変調器36と対向して配置される。反射部材39bは、一方の反射面においてダイクロイックミラー34からの被検出光L2を第2の空間光変調器36へ向けて反射し、他方の反射面において第2の空間光変調器36からの被検出光L2を検出器37へ向けて反射する。
対物レンズ12と第1の空間光変調器33との距離が長い場合には、照射光L1及び被検出光L2の光軸上に少なくとも一つの4f光学系が設けられてもよい。一例として、図1には2つの4f光学系51及び52が示されている。4f光学系51及び52は、第1の空間光変調器33において生成された照射光L1の波面を対物レンズ12の後側焦点へ転送する役割を有する。なお、4f光学系はテレセントリックリレー光学系を含んでもよい。また、対物レンズ12と第1の空間光変調器33とが極めて近い場合には、4f光学系を省くことも可能である。
制御ユニット40は、プロセッサ(processor)を含む。制御ユニット40は、顕微鏡ユニット10、形状計測ユニット20、及び画像取得ユニット30を制御する。例えば、制御ユニット40は、顕微鏡ユニット10において対物レンズ移動機構13を用いて対物レンズ12の光軸方向の位置を制御する。また、制御ユニット40は、生体試料Bを支持する生体試料台11を光軸方向と交差する方向に移動させる。また、制御ユニット40は、形状計測ユニット20のコヒーレント光源21、検出器24、及び参照光用ミラー23の制御を行う。更に、制御ユニット40は、画像取得ユニット30のレーザ光源31、第1の空間光変調器33、光スキャナ35、第2の空間光変調器36、及び検出器37を制御する。本実施形態の制御ユニット40は、マウスやキーボードといった入力装置41、表示装置(ディスプレイ)42、及びコンピュータ43を含んで構成される。
また、制御ユニット40は、本実施形態における形状取得部の一部を構成する。制御ユニット40は、形状計測ユニット20の検出器24と電気的に結合される。制御ユニット40は、形状計測ユニット20の検出器24から出力される検出信号S1を入力する。制御ユニット40は、この検出信号S1に基づき、フーリエ変換を用いた方法やλ/4位相シフト干渉法を用いて、生体試料Bの表面形状に関する情報を取得する。また、制御ユニット40は、本実施形態におけるホログラム作成部である。制御ユニット40は、得られた情報に基づいて、生体試料Bの表面形状に起因する収差を補正するための収差補正ホログラムデータを作成する。収差補正ホログラムデータは、第1の空間光変調器33及び第2の空間光変調器36に提供される。
また、制御ユニット40は、本実施形態における画像作成部である。制御ユニット40は、検出器37からの検出信号S2、及び光スキャナ35による光照射位置の情報に基づいて、生体試料Bに関する画像を作成する。作成された画像は、表示装置42に表示される。なお、制御ユニット40は、各ユニットを制御する機能と、形状取得部としての機能、ホログラム作成部としての機能、及び画像作成部としての機能を同じプロセッサで実現してもよいし、異なるプロセッサで実現してもよい。
図2は、上述した顕微鏡装置1Aの動作を示すフローチャートである。図2を参照しながら、本実施形態による画像取得方法について説明する。
まず、生体試料台11上に生体試料Bを載置する。次に、形状計測ユニット20の光源21から光L3を出力させ、生体試料B表面からの反射光と参照光L31との干渉光L4を検出器24において検出する。これにより、生体試料B表面における干渉縞が観測される。そして、この干渉縞に基づき、制御ユニット40において、生体試料Bの表面形状に関する情報が取得される(形状取得ステップS11)。
続いて、形状取得ステップS11において取得された情報に基づいて、生体試料Bの表面形状に起因する収差を補正するための収差補正ホログラムデータが制御ユニット40により作成される(ホログラム作成ステップS12)。続いて、収差補正ホログラムデータに基づくホログラムが第1の空間光変調器33及び第2の空間光変調器36に呈示される。そして、レーザ光源31から出力された光L5が第1の空間光変調器33により変調され、変調後の照射光L1が生体試料Bへ照射される(光照射ステップS13)。
続いて、生体試料Bにおいて生じた被検出光L2の強度を検出器37において検出する(光検出ステップS14)。このとき、被検出光L2は、第2の空間光変調器36によって変調された後、検出器37に入力する。なお、本実施形態では、光スキャナ35によって照射光L1を走査しながら、光照射ステップS13及び光検出ステップS14が繰り返し(または同時に連続して)行われる。その後、光検出ステップS14における検出情報に基づき、制御ユニット40において生体試料Bの画像が作成される(画像作成ステップS15)。
以上の構成を備える本実施形態の顕微鏡装置1A及び画像取得方法によって得られる効果について説明する。
多くの場合、生体試料Bの表面は平坦ではない。従って、生体試料Bの表面形状に起因する収差が発生してしまう。例えば、生体試料Bとしてゼブラフィッシュなどの魚を観察する場合、魚の表面形状がほぼ円筒形状であると仮定すると、集光過程の照射光L1がその表面を通過する際に、非点収差が強く発生することとなる。対物レンズ12の開口数(NA)が小さいか、または生体試料Bの浅い位置の観察であればその影響は小さいが、開口数(NA)が大きいか、または深い位置の観察では収差の影響を無視できなくなる。そして、このような収差の影響を照射光L1が受けると、生体試料B内部において照射光L1の集光強度が弱くなる、或いは集光形状が広がる等の問題が生じる。これにより、例えば励起領域の伸長による分解能の悪化、蛍光強度の低下、バックグラウンドノイズの増加によるSN比(Signal to Noise Ratio)の低下などが生じてしまう。
図3は、収差の発生の様子を概略的に示す図である。図3において、曲線B1は生体試料Bの表面、すなわち生体試料Bとその外側との境界を表す。なお、生体試料Bの外部の屈折率をn1とし、生体試料Bの内部の屈折率をn2(≠n1)とする。照射光L1は、対物レンズ12によって生体試料Bの内部(表面直下)に集光される。このとき、照射光L1のうち対物レンズ12の光軸A2付近を通過する光L11は、生体試料Bの表面形状の影響を殆ど受けることなく、集光点Cに向けて直進する。一方、照射光L1のうち対物レンズ12の光軸A2から離れた位置を通過する光L12は、生体試料Bの表面形状の影響を受けて屈折し、集光点Cから逸れてしまう。このような現象によって、生体試料B内部において照射光L1の集光強度が弱くなり、集光像Dが広がってしまう。
本実施形態の顕微鏡装置1A及び画像取得方法では、生体試料Bの表面形状に関する情報が取得される。そして、その情報に基づいて、収差を補正するための収差補正ホログラムデータが生成される。また、該データに基づくホログラムによって照射光L1が変調される。これにより、生体試料Bの表面形状に起因する収差が好適に補正されるので、生体試料Bの内部における照射光L1の集光強度の低下及び集光像Dの広がりを抑えることができる。
また、本実施形態のように、収差補正ホログラムデータに基づくホログラムが第2の空間光変調器36に呈示され、生体試料Bにおいて生じた被検出光L2が第2の空間光変調器36によって変調されてもよい。これにより、生体試料Bの表面形状に起因する収差による被検出光L2への影響が補正されるので、ピンホールを用いたコンフォーカルを実施する場合には、ピンホールを通過する被検出光L2が増加して、生体試料Bの画像をより鮮明にすることができる。
ここで、収差補正ホログラムの設計方法の詳細について述べる。図4は、収差補正がされていない平面波である照射光L6が対物レンズ12によって集光される際に、生体試料Bとその外側との境界B1が、光軸A2に対して垂直な平面Hから角度αだけ傾いているときの照射光L6の様子を概念的に示している。ここで、図中の光線L6a、L6bは対物レンズ12の中心付近を通過した光線であって、近軸光線と称する。また、図中の光線L6c、L6dは対物レンズ12の縁付近を通過した光線であって、外周部光線と称する。
近軸光線については入射角が小さいので入射角及び出射角の変化量は小さい。一方、外周部光線については入射角が大きいので入射角及び出射角の変化量は大きい。また、光軸A2に垂直な面に対して境界B1が傾いているので、近軸光線及び外周部光線は光軸上において重ならない。これにより、様々な収差が発生し、結果として集光像は回折限界像とは異なる歪んだ像となる。
図5は、光軸A2上の任意の点O’に光線が集中するような波面を算出する方法を説明するための図である。円弧Q,Q’は、平面波が焦点距離fの対物レンズ12を通過した後の波面であり、例えば半径一定の球冠である。仮に、生体試料Bが存在しない場合には、図中の二点鎖線で示されるように、照射光L6Aは光軸A2上の別の点Oに集光する。ここで線分OQ(若しくはOQ’)と線分OTとがなす角θmaxは、次式(2)のように表される。但し、NAは対物レンズ12の開口数である。また、Tは円弧Q,Q’と光軸A2との交点である。
照射光L6Aの光線は、紙面の左側から対物レンズ12に入力し、収束光として紙面の右側へと進む。この向きを正の伝搬方向と定義し、例えば、点O’から境界B1上の点Vを経て円弧QQ’上の点Wまでの光路を逆伝搬によって求める。本実施形態では、例えば以下に説明する逆光線追跡、波面伝播、及び電磁場解析といった方法を用いて、逆伝搬により上記光路を求める。
<逆光線追跡>
本実施形態では、光路計算の前段階において、干渉計測を用いた生体試料Bの構造把握がなされている。そこで、生体試料Bの構造から生体試料B内の屈折率分布を推定し、屈折率の境界B1を求める。この屈折率の境界B1を多項式近似あるいはマップ化することによって、位置を特定できるようにする。
次に、光線が点O’から屈折率境界B1上の点Vを経て円弧QQ’上の点Wまで到達する経路および光路長を決定する。点O’からの光線を逆伝搬させると、屈折率境界B1上の点Vに到達する。点Vは上述の多項式近似などによって求められる。光線は、境界B1の前後における屈折率差によって、スネルの法則により点Vにて屈折する。本実施形態では、不均一な(不規則な凹凸を有する)境界B1が想定されるので、次式(3)に示されるような、ベクトルと外積とを用いた3次元のスネルの法則が適用される。
但し、数式(3)における×は外積を示す。また、数式(3)において、mは点Vでの法線ベクトルであり、VW、O’Vはそれぞれ境界通過後、通過前の方向ベクトルである。屈折後、再び光線を逆伝搬させて円弧QQ’上の点Wへと伝搬させる。こうして、点O’から点Wまでの光路を調べて、光路長Lを計算する。光路長Lは、例えば次式(4)によって求められる。
上記の計算を複数の光線に対して行い、球冠に到達する光線すべての光路長を求める。これらの光路長から光路差を経て位相差を求め、この位相差を無くすようなパターンが、収差補正パターンすなわち収差補正ホログラムデータとなる。なお、実際には、屈折率の境界B1が複数存在するので、屈折率の境界B1毎に屈折をさせて光線を追跡させてもよい。その際には、数式(4)が変更される。
<波面伝搬>
フレネル回折やフレネルキルヒホッフの回折などを用いて、集光予定位置(点O’)から対物レンズ12へと徐々に逆伝播させる。このとき伝播に屈折率の境界B1を加えて計算を行う。この方法は、前述した逆光線追跡或いは後述する電磁場解析と組み合わされてもよい。例えば、屈折率の境界B1を除く部分に対して逆光線追跡を行い、屈折率の境界B1を含む部分に対して波面伝搬を行ってもよい。これにより、計算負荷を軽くすることができる。
<電磁場解析>
FDTD(Finite-Difference Time-Domain)法やRCWA(Rigorous Coupled-Wave Analysis)法を用いて、集光させたい点O’から対物レンズ12側へと解析を行う。このとき、屈折率の境界B1を境界条件に加える。この方法は、前述した逆光線追跡或いは波面伝搬と組み合わされてもよい。
上述した各方法による逆伝搬解析は、屈折率の境界が2つ存在する場合であっても適用可能である。図6は、2つの屈折率の境界B2,B3が存在する場合を概略的に示している。境界B2は光軸に対して垂直であるものとする。また、光軸A2に垂直な面Hと境界B3との成す角をαとする。境界B2の外側の屈折率をn1とし、境界B2と境界B3との間の屈折率をn2とし、境界B3の内側の屈折率をn3とする。
図7(a)及び図7(b)は、このような場合に逆伝搬解析を用いて求められた波面を示す図であって、位相が濃淡によって示されている。なお、図7は位相折り畳みという技術を用いて表現されている。図7(a)は、α=0°として求められた波面を示している。また、図7(b)は、α=0.3°として求められた波面を示している。なお、これらの波面の算出においては、n1=1、n2=1.33、n3=1.38とした。この場合、n1は空気、n2は水、n3は細胞を模擬している。n1とn2との境界B2にはカバーガラスが存在するが、カバーガラスによる収差は対物レンズ12のガラス補正機能によって補正されているものとする。
光軸上における境界B2と境界B3とに挟まれる領域(すなわちカバーガラスと細胞とに挟まれる領域)は、例えばリン酸緩衝生理食塩水で満たされている。光軸上における境界B2と境界B3との距離E1は、例えば30μmである。更に、対物レンズ12の倍率を40倍、開口数(NA)を0.75とし、光軸上における点Oと境界B3との距離E2を300μmとし、点Oと点O’との距離E3を80μmとした。なお、上記の条件では、球面収差以外にコマ収差及び非点収差が波面に含まれている。図7(a)及び図7(b)に示されるように、前述した逆伝搬解析によって、照射光に必要な波面が好適に求められる。そして、その波面に基づいて、収差補正ホログラムが好適に求められる。
なお、生体試料Bの表面形状に起因する収差を補正する方法として、例えば、位相変調器(主にデフォーマブルミラー)と波面計測器(シャックハルトマンセンサ)とを組み合わせ、更に生体試料Bの内部の特定の位置に、大きさや形状が既知である蛍光ビーズを埋め込む方法が考えられる。この方法では、励起光と蛍光ビーズからの蛍光とが共に収差の影響を受ける。そこで、波面計測器を用いて蛍光強度分布を計測することにより、収差を計測する。そして、この収差を補正するようなホログラムを位相変調器に呈示させる。このとき、蛍光ビーズを参照情報として利用する。
しかしながら、このような方法では、蛍光ビーズを外科的手術によって埋め込む必要があり、蛍光ビーズを埋め込むことが困難であるか、或いは蛍光ビーズを埋め込むことによって生体試料Bの状態が変化してしまうような場合には適用できない。これに対し、本実施形態の方法によれば、蛍光ビーズを埋め込む必要がない。
また、収差が低減すると想定される複数のホログラムを空間光変調器に提示し、該空間光変調器によって変調された照射光を走査して、得られた画像の輝度や解像度が向上するホログラムを選択するといった、トライアンドエラーによって収差補正ホログラムを得る方法も考えられる。
しかしながら、このような方法では実験及び設計を繰り返すために長時間を要する。また、得られる収差補正ホログラムは近似解となる可能性が高く、精度が低く抑えられてしまう。これに対し、本実施形態の方法では収差補正ホログラムデータの算出をすべてコンピュータ43において行うので、操作者によるトライアンドエラーを伴う方法と比較して、所要時間を短縮することが可能となる。また、本実施形態の方法では、形状計測ユニット20において取得された表面形状の情報に基づいてコンピュータ43が収差補正ホログラムデータを作成するので、収差補正の精度を高めることができる。
また、生体試料Bにおいて生じた蛍光を分岐し、分岐した一方の蛍光をレンズにより集光し、その集光像をカメラによって撮像することにより、収差を補正する方法も考えられる(特許文献1参照)。生体試料Bの表面形状による収差が無い場合には集光像は回折限界像となるが、収差が存在する場合には、集光像は歪みを有する形状となる。そこで、この方法では、複数の集光像の形状に応じた複数の収差の条件を予め記憶しておき、それらの中から適切な条件を選択することにより、収差補正を行う。
しかしながら、このような方法においても、得られる収差補正ホログラムは近似解となる可能性が高く、精度が低く抑えられてしまう。本実施形態の方法では、形状計測ユニット20において取得された表面形状の情報に基づいてコンピュータ43が収差補正ホログラムデータを作成するので、収差補正の精度を高めることができる。
なお、第1の空間光変調器33及び第2の空間光変調器36に呈示されるホログラムは、収差補正ホログラムそのものでなくてもよい。例えば、生体試料Bに照射される照射光L1の集光形状や集光位置を制御するためのホログラムといった他のホログラムと収差補正ホログラムとを重畳したホログラムであってもよい。
(第2の実施の形態)
上記第1実施形態では生体試料Bの表面形状に起因する収差の補正について述べたが、生体試料Bの表面直下の内部構造によっても収差は発生する。以下、そのような現象について詳細に説明する。
一定の光強度を有する照射光を生体試料Bに照射した場合であっても、生体試料Bの深い位置と浅い位置とでは観察される蛍光強度が異なる。これは、生体試料Bの内部構造に起因する照射光や蛍光の散乱及び収差によるものである。このような散乱及び収差の発生は、巨視的には血管などの構造、微視的には細胞を構成する器官の屈折率差によって生じる光路変化が一因となる。特に、生体試料Bの深い位置では、内部構造によって光路が変化し、照射光の集光形状が大きく変わってしまう。これにより、観察される蛍光強度及び解像度の低下、及びバックグラウンドノイズによるS/N比の低下が生じてしまう。
そこで、本実施形態では、生体試料Bの表面直下における屈折率差を伴う内部構造を計測し、その内部構造に起因する収差を補正するための収差補正ホログラムを含むホログラムを第1の空間光変調器33及び第2の空間光変調器36に呈示する。これによって、被検出光L2の強度及び解像度の低下、バックグラウンドノイズによるS/N比の低下を抑えられる。
図8は、生体試料Bを側方から見た図であり、屈折率が互いに異なる媒質Ba及びBbを含む内部構造を通過しつつ照射光が集光される様子を概念的に示す。図8(a)及び図8(b)は、無収差を仮定したときの照射光L7の集光の様子を示しており、それぞれ生体試料Bの浅い位置と深い位置とに集光させた場合を示している。図8(a)に示されるように、浅い位置に集光させる場合には、光路上に存在する屈折率の境界が比較的少ないが、図8(b)に示されるように、深い位置に集光させるほど、光路上に存在する屈折率の境界が増す。従って、そのような場合、実際には図8(c)に示されるように照射光は生体試料Bの内部構造による影響を受ける。
図8(c)のように収差補正を行わない場合、内部構造の影響を受けてレンズ外周部付近の光線L7c,L7dは屈折する。一方、光軸A2付近の光線は屈折角が小さいので内部構造の影響を受けにくい。その結果、光軸A2付近の光線の集光位置と光線L7c,L7dの集光位置とが互いに異なることとなり、収差が発生する。図8(d)は、このような収差が補正された場合を示している。内部構造の屈折率分布を考慮して照射光L7の波面を補正することにより、光軸A2付近の光線の集光位置と光線L7c,L7dの集光位置とが互いに一致し、照射光L7の高密度での集光が可能となる。
図9は、本実施形態の顕微鏡装置1Bの構成を示す図である。顕微鏡装置1Bと第1実施形態の顕微鏡装置1Aとの相違点は、形状計測ユニット20の有無である。すなわち、本実施形態の顕微鏡装置1Bは形状計測ユニット20を備えておらず、代わりに、顕微鏡ユニット10の対物レンズ移動機構13、並びに画像取得ユニット30のレーザ光源31、光スキャナ35、及び検出器37が、生体試料Bの表面直下の内部構造に関する情報を取得する形状取得部を構成する。そして、本実施形態では、対物レンズ12を光軸方向に移動させ、得られた検出信号S2に基づいて、コンピュータ43が生体試料Bの内部構造に関する情報を取得する。なお、画像取得ユニット30は、検出器37を含み、対物レンズ12と光学的に結合される。
本実施形態の構成によって、生体試料Bの表面直下の内部構造に関する情報を取得可能である。すなわち、適切な蛍光材料を用いると、得られる蛍光像には生体試料Bの内部構造に関する情報が含まれる。そこで、対物レンズ移動機構13を用いて、対物レンズ12と生体試料Bとの距離を順次変化させる。生体試料B内部の深い位置に照射光(励起光)L1を集光させると、照射光(励起光)L1の光路上に存在する生体試料B内部の構造物から蛍光(自家蛍光を含む)が発する。従って、集光位置を浅くしつつ蛍光強度を取得することにより、生体試料Bの屈折率分布を把握することができる。そして、把握された屈折率分布を考慮した収差補正ホログラムを第1の空間光変調器33及び第2の空間光変調器36に呈示させることにより、収差の影響を軽減させることができる。
なお、本実施形態では、生体試料Bは、蛍光色素、蛍光タンパク、自家蛍光、Second Harmonic Generation(SHG)などによって特定の部位から蛍光を発するものであるとよい。また、以下の説明において、対物レンズ移動機構13、レーザ光源31、光スキャナ35、及び検出器37による上記のような内部構造の計測のための動作を、プレスキャンと称する。
顕微鏡装置1Bのようなレーザ走査型蛍光顕微鏡では、光軸に対して垂直な面内の蛍光像を観察するために、光スキャナ35(例えばXYガルバノメータ)による走査が行われる。そして、対物レンズ12あるいは生体試料台11が光軸方向に移動することにより、深さがそれぞれ異なる複数の面内の情報が得られる。最終的に、これらを組み合わせることにより、3次元の情報が構築される。
また、形状取得部は、上記の構成に代えて、或いは上記の構成と共に、単光子の蛍光観察に用いられるライトシート光、或いは超音波などを用いて屈折率分布を計測してもよい。これにより、観察前に予め大凡の構造を把握し、該構造に起因する収差を補正するための収差補正ホログラムを好適に設計することができる。
図10は、上述した顕微鏡装置1Bの動作、及び本実施形態による画像取得方法を示すフローチャートである。まず、生体試料台11上に生体試料Bを載置する。次に、対物レンズ12を光軸方向に移動しながら、生体試料Bの浅い位置から深い位置へ集光位置を徐々に移動させる。同時に、レーザ光源31から光L5を出力させ、照射光L1を生体試料Bの表面直下に集光させる。これにより、生体試料Bの表面直下の内部構造において、被検出光(蛍光)L2が生じる。被検出光L2は、光スキャナ35でデスキャンされ、ダイクロイックミラー34で反射される。そして、検出器37は、デスキャンされた被検出光L2を検出し、検出信号S2を出力する。
なお、このとき、第1の空間光変調器33による収差補正は行わない。これにより、生体試料Bの表面直下の内部構造に起因する深さ方向の蛍光の変化が検出される。そして、照射光L1の光軸を光スキャナ35によって移動させながら、この動作を繰り返し行う。これにより、生体試料Bの内部構造に関する3次元の情報が構築される。そして、構築された3次元情報から、屈折率分布を推定する(形状取得ステップS21)。
その後、第1実施形態と同様のホログラム作成ステップS12、光照射ステップS13、光検出ステップS14、及び画像作成ステップS15を行う。なお、深い位置での観測では、推定された屈折率分布の一部ないしは全部を照射光L1及び被検出光L2が通過するので、ホログラム作成ステップS12では、通過中の照射光L1及び被検出光L2に対する屈折率分布の影響が小さくなるように収差補正ホログラムを作成するとよい。本実施形態において、収差補正ホログラムは、幾何光学、波動光学、電磁場解析等を用いて逆伝播により求められる波面に基づいて設計される。幾何光学とは例えば逆光線追跡であり、波動光学とは例えばフレネル波面伝搬若しくはフレネルキルヒホッフの回折であり、電磁場解析とは例えばFDTD若しくはRCWAである。
なお、上記第1実施形態では生体試料Bの表面形状に基づいて収差補正ホログラムが作成され、本実施形態では生体試料Bの表面直下の屈折率分布を伴う構造に基づいて収差補正ホログラムが作成されるが、生体試料Bの表面形状と、生体試料Bの表面直下の構造との双方に基づいて収差補正ホログラムが作成されてもよい。
また、本実施形態の形状取得部は、照射光L1を照射することによって得られる蛍光を用いて生体試料Bの表面直下の構造に関する情報を取得しているが、形状取得部は、生体試料Bの表面直下における屈折率分布を、超音波を用いて計測してもよく、位相差や微分干渉を用いて表面直下の屈折率分布を計測してもよい。或いは、形状取得部は、光軸の角度を振り、若しくは浸液の屈折率を変えて、反射や透過などから表面直下の屈折率分布や散乱度合いを推定してもよい。これらにより、特に生体試料Bの表面での屈折率分布を推定することができる。例えば光軸の角度を振る場合には、ブリュースター角や角度と反射率との関係から生体試料Bの表面の屈折率や試料内部の屈折率分布を推定できる。
以上の構成を備える本実施形態の顕微鏡装置1B及び画像取得方法によって得られる効果について説明する。本実施形態の顕微鏡装置1B及び画像取得方法では、生体試料Bの表面直下の内部構造に関する情報が取得される。そして、その情報に基づいて、収差を補正するための収差補正ホログラムデータが生成される。また、該データに基づくホログラムによって照射光L1が変調される。これにより、生体試料Bの表面直下の内部構造に起因する収差が好適に補正されるので、生体試料Bの内部における照射光L1の集光強度の低下及び集光形状の広がりを抑えることができる。
また、本実施形態においても、収差補正ホログラムデータに基づくホログラムが第2の空間光変調器36に呈示され、生体試料Bにおいて生じた被検出光L2が第2の空間光変調器36によって変調されてもよい。これにより、生体試料Bの表面直下の内部構造に起因する収差による被検出光L2への影響が補正されるので、生体試料Bの画像をより鮮明にすることができる。
(第1の変形例)
図11は、第1変形例の動作を説明するための図であって、生体試料Bの表面を光軸方向から見た図である。第2実施形態においては、形状取得部が(形状取得ステップにおいて)、図11に示されるように生体試料Bの表面を格子状の複数の領域F1~F4に分割し、各領域F1~F4毎に小面積での走査を並行して行ってもよい。この場合、各領域F1~F4毎に個別の収差補正ホログラムが作成され、第1の空間光変調器33には、収差補正及び多点生成の効果を有するホログラムが呈示される。
図12(a)及び図12(b)は、生体試料Bの外側との境界B1の一例を示す図である。図12(a)に示されるように、照射光L1が広い領域を走査する場合には、対物レンズ12と境界B1との距離及び生体試料Bの表面直下の内部構造が大きく変化するので、収差補正ホログラムを途中で切り替えてもよい。しかしながら、その場合、空間光変調器の動作が遅いので時間のロスにつながる。これに対し、図12(b)に示されるように、複数の領域F1~F4に分割して走査領域を小さくすると、収差補正ホログラムを切り替える必要がなく、高精度かつ高速な走査が実現される。
(第2の変形例)
図13は、第2変形例に係る顕微鏡装置1Cの構成を示す図である。本変形例の顕微鏡装置1Cでは、形状計測ユニット20Bが形状取得部を構成する。形状計測ユニット20Bは、光源25、ダイクロイックミラー26、光スキャナ27、検出器28、及びフィルタ29を有する。形状計測ユニット20Bは、検出器28を含み、対物レンズ12と光学的に結合される。
光源25は、生体試料Bに照射される励起光L8を出力する。なお、本変形例においても、第2実施形態と同様に、生体試料Bは、蛍光色素、蛍光タンパク、自家蛍光、SHGなどによって特定の部位から蛍光を発するものであるとよい。そして、励起光L8は生体試料Bを励起する波長を含む光である。励起光L8は、レーザ光源31から出力される光L5と同じ波長の光であってもよいし、異なる波長の光であってもよい。
ダイクロイックミラー26は、光源25からの励起光L8、及び顕微鏡ユニット10からの蛍光L9のうち一方を透過し、他方を反射する。図13に示される例では、ダイクロイックミラー26は、励起光L8を反射し、蛍光L9を透過する。
光スキャナ27は、励起光L8の光軸に垂直な面内において励起光L8の光軸を移動させることにより、生体試料Bにおける励起光L8の照射位置を走査する。光スキャナ27は、例えばガルバノミラー、共振ミラー若しくはポリゴンミラーによって構成される。また、生体試料Bからの蛍光L9は、光スキャナ27を介して検出される。これにより、励起光L8の光軸と蛍光L9の光軸とを互いに一致させることができる。
検出器28は、対物レンズ12を介して生体試料Bから出力された蛍光L9の光強度を検出し、検出信号S3を出力する。検出器28は、PMT、フォトダイオード、アバランシェフォトダイオードといったポイントセンサであってもよい。或いは、検出器28は、CCDイメージセンサ、CMOSイメージセンサ、マルチアノードPMT、フォトダイオードアレイといったエリアイメージセンサであってもよい。なお、検出器28の前段にピンホールが配置されることにより、コンフォーカル効果が与えられてもよい。
フィルタ29は、ダイクロイックミラー26と検出器28との間の光軸上に配置される。フィルタ29は、検出器28に入力される光から、励起光L8の波長、及び観察に不要な蛍光等の波長をカットする。
対物レンズ12と光源25との距離が長い場合には、励起光L8及び蛍光L9の光軸上に少なくとも一つの4f光学系が設けられてもよい。一例として、図13には一つの4f光学系53が示されている。4f光学系53は、光スキャナ27とビームスプリッタ14との間の光軸上に配置されている。
本変形例では、まず、生体試料台11上に生体試料Bが載置される。次に、対物レンズ12を光軸方向に移動しながら、生体試料Bの浅い位置から深い位置へ集光位置を徐々に移動させる。同時に、光源25から励起光L8を出力させ、生体試料Bの表面直下の内部構造からの蛍光L9を検出器28において検出する。これにより、生体試料Bの表面直下の内部構造に起因する深さ方向の蛍光の変化が検出される。そして、励起光L8の光軸を光スキャナ27によって移動させながら、この動作を繰り返し行う。これにより、生体試料Bの内部構造に関する3次元の情報が構築される。そして、構築された3次元情報から、屈折率分布が推定される。以降の動作は、前述した第2実施形態と同様である。なお、励起光L8の波長がレーザ光源31から出力される光L5の波長に含まれる場合、レーザ光源31及び光スキャナ35によって光源25及び光スキャナ27の機能を実現してもよい。この場合、光源25及び光スキャナ27、ビームスプリッタ26は不要となる。
(第3の変形例)
前述した第2実施形態において、プレスキャンを複数回繰り返し、2回目以降のプレスキャンにおいて、前回のプレスキャンの結果に基づいて第1の空間光変調器33により光L5の収差を補正してもよい。これにより、光L5を生体試料Bに照射する際に、生体試料Bの内部構造に起因する収差の影響を軽減して、生体試料Bの構造をより正確に把握し、更に高解像度の画像を得ることができる。
具体的には、最初のプレスキャンの際には収差補正を実施しないため照射光L1は平面波となるが、2回目のプレスキャンでは収差を補正するような波面を照射光L1に与える。そして、2回目以降のプレスキャンによって得られた生体試料Bの構造に基づいて、収差補正ホログラムを設計する。或いは、最初のプレスキャンによって大凡の収差補正を行い、2回目以降のプレスキャンによって更に細かい収差補正を行ってもよい。
(第4の変形例)
図14は、第4変形例に係る顕微鏡装置1Dの構成を示す図である。本変形例では、生体試料Bの表面形状の計測に、エバネッセント場を利用する。これにより、生体試料Bが生体試料台11に接地しているか否かといった形状把握が容易となる。なお、本変形例では、エバネッセント場を発生させるために、全反射が生じるような対物レンズ12及び生体試料台11(カバーガラス)が用いられる。
本変形例の顕微鏡装置1Dでは、形状計測ユニット20Cが形状取得部を構成する。形状計測ユニット20Cは、光源25、ダイクロイックミラー26、検出器28、フィルタ29、及び集光レンズ61を有する。なお、光源25、ダイクロイックミラー26、検出器28、及びフィルタ29の構成は第3変形例と同様である。形状計測ユニット20Cは、対物レンズ12と光学的に結合される。
集光レンズ61は、励起光L8が面照明である場合に設けられ、ダイクロイックミラー26と顕微鏡ユニット10との間の光軸上に配置される。集光レンズ61は、対物レンズ12の後側焦点面に励起光L8を集光させる。なお、励起光L8が点照明である場合には、集光レンズ61は不要である。その場合には、例えば平面波である励起光L8を対物レンズ12の全反射が生じる領域に入力させ、光スキャナ若しくは生体試料台11の平行移動によって励起光L8の走査を行ってもよい。また、対物レンズ12に代えて、プリズムや光ファイバが用いられてもよい。
(第5の変形例)
図15は、第5変形例に係る顕微鏡装置の顕微鏡ユニット10B及び形状計測ユニット20Dの構成を示す図である。本変形例では、超音波により生体試料Bの弾性を計測し、生体試料Bの領域間の弾性差を利用して生体試料Bの構造を得る。そして、得られた構造に基づいて、収差補正ホログラムを作成する。なお、図15では、図1及び図9に示された画像取得ユニット30及び制御ユニット40の図示を省略している。
図15に示されるように、本変形例の形状計測ユニット20Dは、パルス発生源62及び検出器である受信器63を有する。パルス発生源62は、超音波を発生させるためのパルス信号S4を発生する。受信器63は、生体試料Bの内部構造に関する情報を含むパルス信号S5を受信する。
顕微鏡ユニット10Bは、図1及び図9に示された顕微鏡ユニット10の対物レンズ12に代えて、圧電薄膜付きレンズ64を有する。なお、他の構成については顕微鏡ユニット10と同様である。圧電薄膜付きレンズ64は、生体試料Bに対向するように配置され、圧電薄膜によってパルス信号S4を超音波に変換して該超音波を生体試料Bに照射し、また、生体試料Bにおいて反射した超音波をパルス信号S5に変換する。なお、本変形例ではパルス信号S4とパルス信号S5とに対して共通の圧電薄膜付きレンズが用いられているが、パルス信号S4用の圧電薄膜付きレンズと、パルス信号S5用の圧電薄膜付きレンズとが個別に設けられてもよい。
(第6の変形例)
図16は、第6変形例に係る顕微鏡装置1Eの構成を示す図である。本変形例では、生体試料Bの表面形状の計測に、位相差・微分干渉を利用する。本変形例の顕微鏡装置1Eでは、形状計測ユニット20Eが形状取得部を構成する。形状計測ユニット20Eは、光源21、ビームスプリッタ22、検出器24、微分干渉(DIC)プリズム66、及び偏光子67を有する。形状計測ユニット20Eは、対物レンズ12と光学的に結合される。なお、光源21、ビームスプリッタ22、検出器24の構成は第1実施形態と同様である。
DICプリズム66及び偏光子67は、ビームスプリッタ22と対物レンズ12との間の光路上に並んで配置されている。DICプリズム66は、光源21からの光L3を2本に分岐し、また、生体試料Bからの戻り光L10を重ね合わせる。偏光子67は、光L3及びL10の偏光を制限する。生体試料BからDICプリズム66及び偏光子67を経てビームスプリッタ22に到達した光L10は、ビームスプリッタ22を透過して検出器24に入力される。
本発明の一側面による顕微鏡装置及び画像取得方法は、上述した実施形態に限られるものではなく、他に様々な変形が可能である。例えば、上記実施形態では、第1の空間光変調器及び第2の空間光変調器に収差補正ホログラムが呈示されるが、収差補正ホログラムは、第1の空間光変調器のみに呈示されてもよい。このような場合であっても、生体試料の内部における照射光の集光強度の低下及び集光形状の広がりを抑えることができる。また、上述した実施形態では、顕微鏡ユニット10が倒立型顕微鏡である場合について説明したが、顕微鏡ユニット10は正立型顕微鏡であってもよい。
上記実施形態による顕微鏡装置では、生体試料の画像を取得する顕微鏡装置であって、生体試料を支持する生体試料台と、生体試料台と対向する対物レンズと、生体試料に対し、対物レンズを介して光を照射する光照射部と、生体試料の表面形状、及び生体試料の表面直下の構造のうち少なくとも一方に関する情報を取得する形状取得部と、形状取得部において取得された情報に基づいて、少なくとも一方に起因する収差を補正するための収差補正ホログラムデータを作成するホログラム作成部と、収差補正ホログラムデータに基づくホログラムが呈示され、光照射部から生体試料へ照射される光を変調する空間光変調器と、生体試料において生じた光の強度を検出する光検出部と、光検出部からの出力に基づいて生体試料の画像を作成する画像作成部と、を備える構成としている。
また、上記実施形態による画像取得方法では、生体試料の画像を取得する方法であって、対物レンズと対向する生体試料台に支持された生体試料の表面形状、及び生体試料の表面直下の構造のうち少なくとも一方に関する情報を取得する形状取得ステップと、形状取得ステップにおいて取得された情報に基づいて、少なくとも一方に起因する収差を補正するための収差補正ホログラムデータを作成するホログラム作成ステップと、収差補正ホログラムデータに基づくホログラムを空間光変調器に呈示し、光照射部から出射された光を空間光変調器により変調し、変調後の光を生体試料へ照射する光照射ステップと、生体試料において生じた光の強度を検出する光検出ステップと、光検出ステップにおける検出情報に基づいて生体試料の画像を作成する画像作成ステップと、含む構成としている。
また、上記実施形態による顕微鏡装置では、生体試料の画像を取得する装置であって、生体試料を支持する生体試料台と、生体試料台と対向して配置される対物レンズと、対物レンズを介して生体試料に照射される光を出力する光源と、生体試料の表面形状、及び生体試料の表面直下の構造のうち少なくとも一方に関する情報を取得する形状取得部と、形状取得部において取得された情報に基づいて、少なくとも一方に起因する収差を補正するための収差補正ホログラムデータを作成するホログラム作成部と、収差補正ホログラムデータに基づくホログラムが呈示され、光源から出力される光を変調する空間光変調器と、生体試料において生じた光の強度を検出し、検出信号を出力する光検出器と、検出信号に基づいて生体試料の画像を作成する画像作成部と、を備える構成としている。
また、上記実施形態による画像取得方法では、生体試料の画像を取得する方法であって、対物レンズと対向する生体試料台に支持された生体試料の表面形状、及び生体試料の表面直下の構造のうち少なくとも一方に関する情報を取得する形状取得ステップと、形状取得ステップにおいて取得された情報に基づいて、少なくとも一方に起因する収差を補正するための収差補正ホログラムデータを作成するホログラム作成ステップと、収差補正ホログラムデータに基づくホログラムを空間光変調器に呈示し、光源から出力される光を空間光変調器により変調し、変調後の光を生体試料へ照射する光照射ステップと、生体試料において生じた光の強度を検出し、検出信号を出力する光検出ステップと、光検出ステップにおける検出信号に基づいて生体試料の画像を作成する画像作成ステップと、含む構成としている。
また、上記の顕微鏡装置は、収差補正ホログラムデータに基づくホログラムが呈示され、生体試料において生じた光を変調する第2の空間光変調器を更に備える構成としてもよい。また、上記の画像取得方法は、光検出ステップにおいて、収差補正ホログラムデータに基づくホログラムを第2の空間光変調器に呈示し、生体試料において生じた光を第2の空間光変調器により変調し、変調後の光の強度を検出する構成としてもよい。
これにより、生体試料の表面形状、及び生体試料の表面直下の構造のうち少なくとも一方に起因する収差による、生体試料において生じた光への影響が補正されるので、生体試料の画像をより鮮明にすることができる。
また、レーザ光源31に代えて、インコヒーレント光を出力するインコヒーレント光源を用いてもよい。インコヒーレント光源は、例えば、スーパールミネッセントダイオード(SLD)や発光ダイオード(LED)、ASE(Amplified Spontaneous Emission)光源、ランプ系光源を含む。
本発明の一側面は、生体試料の内部における照射光の集光強度の低下及び集光形状の広がりを抑えることができる顕微鏡装置及び画像取得方法として利用可能である。
1A~1E…顕微鏡装置、10,10B…顕微鏡ユニット、11…生体試料台、12…対物レンズ、13…対物レンズ移動機構、14…ビームスプリッタ、15…反射ミラー、20,20B~20E…形状計測ユニット、21…コヒーレント光源、22…ビームスプリッタ、23…参照光用ミラー、24…検出器、30…画像取得ユニット、31…レーザ光源、32…ビームエキスパンダ、33…第1の空間光変調器、34…ダイクロイックミラー、35…光スキャナ、36…第2の空間光変調器、37…検出器、40…制御ユニット、A2…光軸、B…生体試料、L1…照射光、L2…被検出光、L3…コヒーレント光、L4…干渉光。
Claims (4)
- 生体試料の画像を取得する顕微鏡装置であって、
前記生体試料を支持する生体試料台と、
前記生体試料台と対向して配置される対物レンズと、
前記対物レンズを介して前記生体試料に照射される光を出力する光源と、
前記生体試料の表面形状、及び前記生体試料の表面直下の構造のうち少なくとも一方に関する情報を取得する形状取得部と、
前記取得された情報に基づいて、前記少なくとも一方に起因する収差を補正するための収差補正ホログラムデータを作成するホログラム作成部と、
前記収差補正ホログラムデータに基づくホログラムが呈示され、前記光源から出力される光を変調する第1の空間光変調器と、
前記生体試料において生じた光の強度を検出し、検出信号を出力する光検出器と、
前記検出信号に基づいて前記生体試料の画像を作成する画像作成部と、
を備える、顕微鏡装置。 - 前記収差補正ホログラムデータに基づくホログラムが呈示され、前記生体試料において生じた光を変調する第2の空間光変調器を更に備える、請求項1に記載の顕微鏡装置。
- 生体試料の画像を取得する方法であって、
対物レンズと対向する生体試料台に支持された前記生体試料の表面形状、及び前記生体試料の表面直下の構造のうち少なくとも一方に関する情報を取得するステップと、
前記取得された情報に基づいて、前記少なくとも一方に起因する収差を補正するための収差補正ホログラムデータを作成するステップと、
前記収差補正ホログラムデータに基づくホログラムを第1の空間光変調器に呈示し、光源から出力された光を前記第1の空間光変調器により変調し、変調後の光を前記生体試料へ照射するステップと、
前記生体試料において生じた光の強度を検出し、検出信号を出力するステップと、
前記検出信号に基づいて前記生体試料の画像を作成するステップと、
を含む、画像取得方法。 - 前記検出するステップにおいて、前記収差補正ホログラムデータに基づくホログラムを第2の空間光変調器に呈示し、前記生体試料において生じた光を前記第2の空間光変調器により変調し、変調後の光の強度を検出する、請求項3に記載の画像取得方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201580025634.5A CN106415354B (zh) | 2014-05-21 | 2015-05-18 | 显微镜装置以及图像获取方法 |
US15/311,912 US9891172B2 (en) | 2014-05-21 | 2015-05-18 | Microscope device and image acquisition method |
DE112015002339.9T DE112015002339T5 (de) | 2014-05-21 | 2015-05-18 | Mikroskopvorrichtung und Bildaufnahmeverfahren |
US15/858,818 US10302569B2 (en) | 2014-05-21 | 2017-12-29 | Microscope device and image acquisition method |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014-105420 | 2014-05-21 | ||
JP2014105420A JP6378931B2 (ja) | 2014-05-21 | 2014-05-21 | 顕微鏡装置及び画像取得方法 |
Related Child Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US15/311,912 A-371-Of-International US9891172B2 (en) | 2014-05-21 | 2015-05-18 | Microscope device and image acquisition method |
US15/858,818 Continuation US10302569B2 (en) | 2014-05-21 | 2017-12-29 | Microscope device and image acquisition method |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2015178338A1 true WO2015178338A1 (ja) | 2015-11-26 |
Family
ID=54554008
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2015/064160 WO2015178338A1 (ja) | 2014-05-21 | 2015-05-18 | 顕微鏡装置及び画像取得方法 |
Country Status (5)
Country | Link |
---|---|
US (2) | US9891172B2 (ja) |
JP (1) | JP6378931B2 (ja) |
CN (1) | CN106415354B (ja) |
DE (1) | DE112015002339T5 (ja) |
WO (1) | WO2015178338A1 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017199904A1 (ja) * | 2016-05-17 | 2017-11-23 | 国立大学法人徳島大学 | 成分組成計測システム及び成分組成計測方法 |
CN109416321A (zh) * | 2016-05-27 | 2019-03-01 | 威里利生命科学有限责任公司 | 基于空间光调制器的高光谱共焦显微镜及其使用方法 |
WO2023175860A1 (ja) * | 2022-03-17 | 2023-09-21 | 株式会社エビデント | 標本画像生成装置、標本画像生成方法、標本画像生成システム及び記録媒体 |
WO2023175862A1 (ja) * | 2022-03-17 | 2023-09-21 | 株式会社エビデント | 屈折率分布生成装置、屈折率分布生成方法、屈折率分布生成システム及び記録媒体 |
Families Citing this family (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6518041B2 (ja) | 2014-05-21 | 2019-05-22 | 浜松ホトニクス株式会社 | 光刺激装置及び光刺激方法 |
EP3394579B1 (en) | 2015-12-21 | 2023-09-20 | Verily Life Sciences LLC | Systems and methods for determining an identity of a probe in a target based on colors and locations of two or more fluorophores in the probe and in the target |
US10627614B2 (en) | 2016-04-11 | 2020-04-21 | Verily Life Sciences Llc | Systems and methods for simultaneous acquisition of multiple planes with one or more chromatic lenses |
US10539786B2 (en) | 2016-05-27 | 2020-01-21 | Verily Life Sciences Llc | Rotatable prisms for controlling dispersion magnitude and orientation and methods of use |
US10241337B2 (en) | 2016-05-27 | 2019-03-26 | Verily Life Sciences Llc | Tunable spectral slicer and methods of use |
EP3465157B1 (en) * | 2016-05-27 | 2021-12-08 | Verily Life Sciences LLC | Systems and methods for 4-d hyperspectral imaging |
WO2017205857A1 (en) | 2016-05-27 | 2017-11-30 | Verily Life Sciences Llc | Systems and methods for 4-d hyperspectrial imaging |
US10551604B2 (en) | 2016-05-27 | 2020-02-04 | Verily Life Sciences Llc | Spatial light modulator based hyperspectral confocal microscopes and methods of use |
CN107144955A (zh) * | 2017-05-15 | 2017-09-08 | 清华大学 | 基于线扫描时空聚焦的结构光显微成像*** |
CN107121775B (zh) * | 2017-06-16 | 2023-03-28 | 浙江大学 | 大视场角多层共轭自适应光学聚焦和显微***及方法 |
WO2019117453A1 (ko) * | 2017-12-15 | 2019-06-20 | 주식회사 내일해 | 측정 대상 물체의 3차원 형상 정보를 생성하는 방법, 결함 검출 방법 및 결함 검출 장치 |
US11169368B2 (en) * | 2018-01-02 | 2021-11-09 | King's College London | Method and system for localisation microscopy |
DE102018206486A1 (de) * | 2018-03-16 | 2019-09-19 | Leica Microsystems Cms Gmbh | Verfahren und Vorrichtung zum Manipulieren eines Strahlenganges in einem Mikroskop, Verfahren zur Aufnahme von Bilderstapeln in einem Mikroskop und nichtflüchtiges computerlesbares Speichermedium |
WO2020013208A1 (ja) * | 2018-07-09 | 2020-01-16 | 国立大学法人神戸大学 | ホログラフィック3次元マルチスポット光刺激装置及び方法 |
KR102055307B1 (ko) * | 2018-10-08 | 2020-01-22 | 주식회사 내일해 | 측정 대상 물체의 3차원 형상 정보 생성 장치 |
KR102425448B1 (ko) * | 2018-10-08 | 2022-07-27 | 주식회사 내일해 | 측정 대상 물체의 3차원 형상 정보 생성 장치 |
KR102483163B1 (ko) * | 2018-10-15 | 2023-01-04 | 주식회사 내일해 | 측정 대상 물체의 3차원 형상 정보 생성 장치 |
KR102093885B1 (ko) * | 2018-10-15 | 2020-04-23 | 주식회사 내일해 | 측정 대상 물체의 3차원 형상 정보 생성 장치 |
CN113218630B (zh) * | 2018-12-03 | 2024-02-13 | 江苏慧光电子科技有限公司 | 光学检测方法、***及光学器件制造*** |
US11469075B2 (en) | 2019-03-14 | 2022-10-11 | Applied Materials, Inc. | Identifying fiducial markers in microscope images |
US11255785B2 (en) * | 2019-03-14 | 2022-02-22 | Applied Materials, Inc. | Identifying fiducial markers in fluorescence microscope images |
EP3828617A1 (de) * | 2019-11-26 | 2021-06-02 | Siemens Healthcare Diagnostics Inc. | Verfahren zur digitalen anfärbung von zellen |
JP7314068B2 (ja) * | 2020-01-24 | 2023-07-25 | キオクシア株式会社 | 撮像装置、画像生成装置及び撮像方法 |
CN111665227B (zh) * | 2020-06-05 | 2023-02-03 | 哈工大机器人(中山)无人装备与人工智能研究院 | 基于虚拟调制成像的激光扫描显微成像方法、装置和*** |
JPWO2022202565A1 (ja) * | 2021-03-25 | 2022-09-29 | ||
KR102534468B1 (ko) * | 2022-06-07 | 2023-05-30 | (주)힉스컴퍼니 | 현미경 탈부착용 디지털 홀로그래픽 모듈 장치 및 현미경의 3d 변환 방법 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004239660A (ja) * | 2003-02-04 | 2004-08-26 | Japan Science & Technology Agency | 顕微鏡 |
JP2004341394A (ja) * | 2003-05-19 | 2004-12-02 | Olympus Corp | 走査型光学顕微鏡 |
JP2007033951A (ja) * | 2005-07-28 | 2007-02-08 | Chiba Univ | 非線形光波混合を用いたレーザー波面合成方法及びそれを用いた装置 |
JP2013034127A (ja) * | 2011-08-02 | 2013-02-14 | Canon Inc | 撮像装置 |
WO2013115383A1 (ja) * | 2012-02-03 | 2013-08-08 | シチズンホールディングス株式会社 | 位相変調デバイス及びレーザ顕微鏡 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7312921B2 (en) * | 2004-02-27 | 2007-12-25 | Hamamatsu Photonics K.K. | Microscope and sample observation method |
US7110172B2 (en) * | 2004-02-27 | 2006-09-19 | Hamamatsu Photonics K.K. | Microscope and sample observation method |
JP4713185B2 (ja) * | 2005-03-11 | 2011-06-29 | 株式会社日立ハイテクノロジーズ | 異物欠陥検査方法及びその装置 |
EP1744194B1 (en) * | 2005-07-11 | 2017-05-10 | Olympus Corporation | Laser scanning microscope and image acquiring method of laser scanning microscope |
EP1912060A1 (en) * | 2005-07-29 | 2008-04-16 | Olympus Corporation | Light intensity measuring method and light intensity measuring device |
JP2008051773A (ja) * | 2006-08-28 | 2008-03-06 | Hamamatsu Photonics Kk | 蛍光画像取得装置、及び蛍光画像取得方法 |
DE102007018048A1 (de) * | 2007-04-13 | 2008-10-16 | Michael Schwertner | Verfahren und Anordnung zur optischen Abbildung mit Tiefendiskriminierung |
JP5692969B2 (ja) | 2008-09-01 | 2015-04-01 | 浜松ホトニクス株式会社 | 収差補正方法、この収差補正方法を用いたレーザ加工方法、この収差補正方法を用いたレーザ照射方法、収差補正装置、及び、収差補正プログラム |
GB2468911A (en) * | 2009-03-27 | 2010-09-29 | Light Blue Optics Ltd | Aberration correction methods using wavefront sensing hologram patches and mapping of phase aberration corrections |
JP2013160893A (ja) | 2012-02-03 | 2013-08-19 | Olympus Corp | 顕微鏡とその収差補正方法 |
JP6518041B2 (ja) * | 2014-05-21 | 2019-05-22 | 浜松ホトニクス株式会社 | 光刺激装置及び光刺激方法 |
-
2014
- 2014-05-21 JP JP2014105420A patent/JP6378931B2/ja active Active
-
2015
- 2015-05-18 US US15/311,912 patent/US9891172B2/en active Active
- 2015-05-18 CN CN201580025634.5A patent/CN106415354B/zh active Active
- 2015-05-18 WO PCT/JP2015/064160 patent/WO2015178338A1/ja active Application Filing
- 2015-05-18 DE DE112015002339.9T patent/DE112015002339T5/de active Pending
-
2017
- 2017-12-29 US US15/858,818 patent/US10302569B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004239660A (ja) * | 2003-02-04 | 2004-08-26 | Japan Science & Technology Agency | 顕微鏡 |
JP2004341394A (ja) * | 2003-05-19 | 2004-12-02 | Olympus Corp | 走査型光学顕微鏡 |
JP2007033951A (ja) * | 2005-07-28 | 2007-02-08 | Chiba Univ | 非線形光波混合を用いたレーザー波面合成方法及びそれを用いた装置 |
JP2013034127A (ja) * | 2011-08-02 | 2013-02-14 | Canon Inc | 撮像装置 |
WO2013115383A1 (ja) * | 2012-02-03 | 2013-08-08 | シチズンホールディングス株式会社 | 位相変調デバイス及びレーザ顕微鏡 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017199904A1 (ja) * | 2016-05-17 | 2017-11-23 | 国立大学法人徳島大学 | 成分組成計測システム及び成分組成計測方法 |
JPWO2017199904A1 (ja) * | 2016-05-17 | 2019-03-14 | 国立大学法人徳島大学 | 成分組成計測システム及び成分組成計測方法 |
CN109416321A (zh) * | 2016-05-27 | 2019-03-01 | 威里利生命科学有限责任公司 | 基于空间光调制器的高光谱共焦显微镜及其使用方法 |
CN109416321B (zh) * | 2016-05-27 | 2021-12-21 | 威里利生命科学有限责任公司 | 基于空间光调制器的高光谱共焦显微镜及其使用方法 |
WO2023175860A1 (ja) * | 2022-03-17 | 2023-09-21 | 株式会社エビデント | 標本画像生成装置、標本画像生成方法、標本画像生成システム及び記録媒体 |
WO2023175862A1 (ja) * | 2022-03-17 | 2023-09-21 | 株式会社エビデント | 屈折率分布生成装置、屈折率分布生成方法、屈折率分布生成システム及び記録媒体 |
Also Published As
Publication number | Publication date |
---|---|
US20180143137A1 (en) | 2018-05-24 |
CN106415354A (zh) | 2017-02-15 |
US9891172B2 (en) | 2018-02-13 |
DE112015002339T5 (de) | 2017-02-16 |
CN106415354B (zh) | 2019-03-19 |
US20170089837A1 (en) | 2017-03-30 |
JP6378931B2 (ja) | 2018-08-22 |
JP2015219501A (ja) | 2015-12-07 |
US10302569B2 (en) | 2019-05-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10302569B2 (en) | Microscope device and image acquisition method | |
US10578601B2 (en) | Photostimulation device and photostimulation method | |
JP6798625B2 (ja) | 定量位相画像生成方法、定量位相画像生成装置およびプログラム | |
JP6360825B2 (ja) | 結像光学系、照明装置および観察装置 | |
JP6539391B2 (ja) | 顕微鏡装置及び画像取得方法 | |
JP6850684B2 (ja) | 光計測装置 | |
JP6358577B2 (ja) | 走査型光学顕微鏡 | |
JP7472134B2 (ja) | 試料の3次元領域の蛍光信号を検出するための方法および装置 | |
US11454793B2 (en) | Aberration correction method and optical device | |
JP5106369B2 (ja) | 光学装置 | |
JP6300739B2 (ja) | 画像取得装置および画像取得方法 | |
JP5827507B2 (ja) | 偏光解析システム | |
EP3627205A1 (en) | Confocal laser scanning microscope configured for generating line foci | |
JP6969655B2 (ja) | 定量位相画像生成装置 | |
WO2016117408A1 (ja) | 画像取得装置および画像取得方法 | |
TW201930955A (zh) | 多層多工共焦顯微之光源裝置與系統 | |
Zakharov et al. | Possibilities of holographic techniques in laser scanning microscopy |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 15795455 Country of ref document: EP Kind code of ref document: A1 |
|
WWE | Wipo information: entry into national phase |
Ref document number: 15311912 Country of ref document: US |
|
WWE | Wipo information: entry into national phase |
Ref document number: 112015002339 Country of ref document: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 15795455 Country of ref document: EP Kind code of ref document: A1 |