WO2013011680A1 - 構造化照明装置、構造化照明顕微鏡、構造化照明方法 - Google Patents
構造化照明装置、構造化照明顕微鏡、構造化照明方法 Download PDFInfo
- Publication number
- WO2013011680A1 WO2013011680A1 PCT/JP2012/004548 JP2012004548W WO2013011680A1 WO 2013011680 A1 WO2013011680 A1 WO 2013011680A1 JP 2012004548 W JP2012004548 W JP 2012004548W WO 2013011680 A1 WO2013011680 A1 WO 2013011680A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- phase
- sound wave
- diffracted light
- propagation path
- structured illumination
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
- G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/06—Means for illuminating specimens
- G02B21/08—Condensers
- G02B21/14—Condensers affording illumination for phase-contrast observation
-
- G—PHYSICS
- G02—OPTICS
- G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
- G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
- G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour
- G02F1/11—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour based on acousto-optical elements, e.g. using variable diffraction by sound or like mechanical waves
- G02F1/113—Circuit or control arrangements
Definitions
- the present invention relates to a structured illumination device, a structured illumination microscope, and a structured illumination method.
- Patent Document 1 discloses an example in which a structured illumination microscope is applied to fluorescence observation.
- a light beam emitted from a coherent light source is divided into two light beams by a diffraction grating, and the two light beams are individually condensed at different positions on the pupil of the objective lens.
- the two light beams are emitted from the objective lens as parallel light beams having different angles, and overlap on the sample surface to form interference fringes.
- This provides structured illumination of the sample surface.
- the image of the sample image is repeatedly acquired while changing the phase of the structured illumination stepwise, and the calculation (separation calculation) corresponding to the above-described separation is performed on the plurality of acquired images. The above-described operation corresponding to the demodulation (demodulation operation) is performed.
- a wedge prism is inserted into one of the two light beams described above and moved stepwise in a direction perpendicular to the optical axis, There are a method of stepping the diffraction grating in the direction and a method of stepping the sample in the pitch direction of the structured illumination.
- Non-Patent Document 1 As an application example of the technique using the interference fringes (Patent Document 1), in order to obtain a super-resolution effect in both the in-plane direction and the depth direction of the sample, 3 light beams contributing to the interference fringes are used. A technique for forming a luminous flux (Non-Patent Document 1) has also been proposed. This is because if three light beams are used, a stripe pattern of structured illumination can be generated not only in the in-plane direction but also in the depth direction. However, in this case, since the number of images required for the above-described separation operation increases, the necessity for speeding up image acquisition is considered to be particularly high.
- an object of the present invention is to provide a structured illumination device, a structured illumination microscope, and a structured illumination method capable of switching structured patterns at a high speed and extending the structured direction.
- One aspect of the structured illumination device of the present invention is an optical modulator disposed in a light beam emitted from a light source and having a sound wave propagation path in a direction crossing the light beam, and for vibrating a medium in the sound wave propagation path.
- the driving means for generating a sound wave standing wave in the sound wave propagation path, and the at least three diffracted lights of the emitted light beam that has passed through the sound wave propagation path are caused to interfere with each other,
- An illumination optical system that forms the interference fringes on the object to be observed, and a control unit that controls the contrast of the interference fringes by modulating the phase of at least one diffracted light of the diffracted light with a predetermined period.
- the structured illumination microscope of the present invention includes a pattern of the sound wave standing wave obtained by the structured illumination device of the present invention and a detector that detects an observation light beam from an object illuminated by the illumination device.
- the image processing apparatus further includes calculation means for calculating a super-resolution image of the object to be observed based on each image in a plurality of different states.
- an optical modulation procedure for preparing an optical modulator disposed in a light beam emitted from a light source and having a sound wave propagation path in a direction crossing the light beam, and the sound wave propagation path
- a driving procedure for generating a sound wave standing wave in the sound wave propagation path by supplying a drive signal for vibrating the medium to the optical modulator, and at least three of the emitted light flux that has passed through the sound wave propagation path
- FIG. 1A is a configuration diagram of the structured illumination microscope system of the first embodiment
- FIG. 1B is an enlarged view of the periphery of the mask 5A
- FIG. 1C is a mask 5A
- FIG. 1D is a modification of the mask 5A
- FIG. 2A is a schematic diagram showing a pattern of an ultrasonic standing wave generated in the ultrasonic wave propagation path R of the ultrasonic spatial light modulator 3, and FIG. It is a schematic diagram which shows the pattern (arrangement of a bright part and a dark part) of structured illumination.
- 2C to 2E are diagrams for explaining the change in the number of stripes when the number of waves changes.
- 3A is a diagram for explaining the relationship between the length L and the distance D
- FIG. 3B is a conceptual diagram of the structured illumination S ′ corresponding to the spot S.
- FIG. (A) is a figure explaining the shift
- 2 is a configuration diagram of an ultrasonic spatial light modulator 3.
- FIG. 2 is a diagram for explaining a basic configuration (drive circuit 19A) of a control device 19.
- FIG. It is an operation
- FIG. 8A is a schematic diagram showing an ultrasonic standing wave pattern
- FIG. 8B is a schematic diagram showing a two-beam structured illumination pattern.
- FIG. 9A is a schematic diagram showing an ultrasonic standing wave pattern
- FIG. 9B is a schematic diagram showing a three-beam structured illumination pattern. It is a figure explaining the structure of the control apparatus 19 in connection with three-dimensional mode.
- (A) is a figure which shows the waveform of the sine signal output from a 1st output terminal
- (B) is a figure which shows the waveform of the pulse signal output from a 2nd output terminal. It is a figure which compares the time change waveform (solid line) of the refractive index of antinode a of an ultrasonic standing wave, and the time change waveform (dotted line) of the phase modulation amount of 0th-order diffracted light.
- FIG. 12A shows a waveform when the phase difference ⁇ between these two waveforms is an even multiple of ⁇ / 2
- FIG. 12B shows an odd number where the phase difference ⁇ between the two waveforms is ⁇ / 2.
- FIG. 12C shows the waveform when the phase difference ⁇ between the two waveforms is an odd multiple of ⁇ / 2.
- 13A is a time-varying waveform of the refractive index of the antinode a of the standing wave in FIG. 7, and
- FIG. 13B is a time-varying waveform of the phase modulation amount of the 0th-order diffracted light.
- phase modulation pattern when the object of phase modulation is 0th-order diffracted light. It is an example of a phase modulation pattern when the target of phase modulation is ⁇ first-order diffracted light.
- FIG. 1 is a configuration diagram of the structured illumination microscope system of the present embodiment.
- the system includes a coherent light source 1, a collector lens 2, an ultrasonic spatial light modulator 3, a lens 4, a mask 5A, a lens 6, a field stop 5B, Lens 7, excitation filter 8a, dichroic mirror 8, fluorescent filter 8b, second objective lens 11, imaging device (CCD camera, etc.) 12, control device 19, image storage / arithmetic device (computer, etc.) 13, an image display device 14, and an objective lens 9 are arranged.
- reference numeral 10 in FIG. 1A denotes a specimen placed on a stage (not shown), and here, it is assumed that it is preliminarily fluorescently stained.
- the coherent light source 1 emits light having the same wavelength as the excitation wavelength of the specimen 10.
- the light emitted from the coherent light source 1 is converted into parallel light by the collector lens 2 and enters the ultrasonic spatial light modulator 3.
- the ultrasonic spatial light modulator 3 has an ultrasonic wave propagation path R propagating in a direction perpendicular to the optical axis, and an ultrasonic plane standing wave (hereinafter referred to as “ultrasonic wave constant”) is transmitted to the ultrasonic wave propagation path R.
- an ultrasonic plane standing wave hereinafter referred to as “ultrasonic wave constant”
- a standing wave By causing a standing wave ”
- a sinusoidal refractive index distribution is imparted to the ultrasonic wave propagation path R.
- Such an ultrasonic spatial light modulator 3 functions as a phase-type diffraction grating for incident light, and converts the light into diffracted light of each order (0th order diffracted light, + 1st order diffracted light, ⁇ 1st order diffracted light, +2 next time Branches into folded light, -second-order diffracted light,.
- FIG. 1A only the 0th-order diffracted light and the ⁇ 1st-order diffracted light are drawn as representatives.
- the solid line indicates the 0th order diffracted light
- the dotted line indicates the ⁇ 1st order diffracted light.
- the diffracted light of each order emitted from the ultrasonic spatial light modulator 3 forms a pupil conjugate plane after passing through the lens 4.
- the pupil conjugate plane is a focal position (rear focal position) of the lens 4, and the lens 7 and the lens 6 with respect to a pupil P (a position where ⁇ first-order diffracted light is condensed) of an objective lens 9 described later.
- a focal position rear focal position
- the lens 7 and the lens 6 with respect to a pupil P a position where ⁇ first-order diffracted light is condensed
- the position is also included.
- the mask 5A is arranged on the pupil conjugate plane, and has a function of cutting the second and subsequent higher-order diffracted lights out of the diffracted lights of each order incident on the pupil conjugate plane.
- the mask 5A is obtained by forming an optical phase modulator 5C and a correction block 5C 'on a substrate as shown in an enlarged view in FIG.
- the arrangement destination of the optical phase modulator 5C is an area where the 0th-order diffracted light is incident on the pupil conjugate plane
- the arrangement destination of the correction block 5C ′ is an area where the ⁇ 1st-order diffracted light is incident on the pupil conjugate plane.
- FIG. 1C shows an example of an arrangement relationship between the optical phase modulator 5C and the correction block 5C ′ (note that FIG. 1C is a schematic diagram, and illustration of electrodes and wirings is omitted). )
- the optical phase modulator 5C is an optical phase modulator that modulates the phase of incident light (here, 0th-order diffracted light) with a modulation width ⁇ in the time direction.
- An EO modulator electro-optic modulator
- An EO modulator electro-optic modulator
- An EO modulator utilizing the Kerr effect
- an AO modulator acousto-optic modulator
- the correction block 5C ′ passes through the mask 5A and the 0th-order diffracted light that passes through the mask 5A when the phase modulation amount of the optical phase modulator 5C is zero (when no voltage is applied to the optical phase modulator 5C). This is a phase block for setting the phase difference between the ⁇ first-order diffracted light to zero.
- the branching direction of the diffracted light by the ultrasonic spatial light modulator 3 can be switched.
- the incident region of the 0th-order diffracted light on the pupil conjugate plane is unchanged, but the ⁇ 1st-order diffracted light incident region on the pupil conjugate plane moves around the optical axis. Therefore, it is desirable that the arrangement location of the correction block 5C ′ is set to the entire area where ⁇ 1st-order diffracted light can enter, for example, as shown in FIG.
- the correction block 5C ' is disposed in the entire region where ⁇ 1st-order diffracted light can enter as shown in FIG.
- the optical phase modulator 5C has only a function (phase modulation function) for modulating the phase of incident light (here, 0th-order diffracted light) in order to switch between a two-dimensional mode and a three-dimensional mode, which will be described later.
- phase modulation function phase modulation function
- shielding incident light here, 0th-order diffracted light
- a separate shutter for opening and closing the single optical path of the 0th-order diffracted light may be provided.
- the light blocking function is mounted on the optical phase modulator 5C below. Assume that
- FIG. 1A shows a state where the light shielding function of the optical phase modulator 5C is turned on
- FIG. 1B shows a state where the light shielding function of the optical phase modulator 5C is turned off. Yes.
- the diffracted light passing through the mask 5A is only ⁇ first order diffracted light.
- the conjugate surface of the specimen 10 is formed through the lens 6 by the ⁇ first-order diffracted light that has passed through the mask 5A.
- a field stop 5B is disposed in the vicinity of the conjugate plane of the specimen 10, and has a function of controlling the size of the illumination area (observation area) to the specimen 10.
- the ⁇ 1st-order diffracted light that has passed through the field stop 5B passes through the lens 7 and then enters the dichroic mirror 8 via the excitation filter 8a and is reflected by the dichroic mirror 8.
- the ⁇ first-order diffracted light reflected from the dichroic mirror 8 forms spots at different positions on the pupil P of the objective lens 9.
- the formation positions of the two spots formed by the ⁇ first-order diffracted light on the pupil P are approximately the outermost peripheral part of the pupil P, and are symmetrical with respect to the optical axis of the objective lens 9.
- the ⁇ first-order diffracted light emitted from the tip of the objective lens 9 irradiates the specimen 10 from opposite directions at an angle corresponding to the NA of the objective lens 9.
- the pitch (one cycle) of the diffraction grating changes minutely as a result of minutely changing the frequency of the applied voltage, the formation positions of the two spots change extremely minutely.
- these ⁇ 1st order diffracted lights irradiated on the specimen 10 are coherent lights emitted from the coherent light source 1. Therefore, according to these ⁇ 1st order diffracted lights, a stripe-shaped interference fringe having a uniform fringe pitch is projected on the specimen 10. That is, the illumination pattern for the specimen 10 is an illumination pattern having a stripe structure.
- the illumination by the illumination pattern having the stripe structure in this way is structured illumination. In the fluorescent region of the structured illuminated specimen 10 (the fluorescently stained region described above), the fluorescent material is excited and emits fluorescence.
- this structured illumination is composed of only two light beams of ⁇ first-order diffracted light
- the structured illumination is structured in the in-plane direction of the specimen 10, but is structured in the depth direction (optical axis direction) of the specimen 10. It has not been.
- such structured illumination is referred to as “two-beam structured illumination”.
- Fluorescence emitted from the specimen 10 and incident on the objective lens 9 is converted into parallel light by the objective lens 9 and then incident on the dichroic mirror 8.
- the fluorescence passes through the dichroic mirror 8 and then passes through the second objective lens 11 via the fluorescence filter 8b, thereby forming a fluorescence image of the specimen 10 on the imaging surface of the imaging device 12.
- this fluorescent image includes not only the structural information of the fluorescent region of the specimen 10 but also the structural information of the two-beam structured illumination.
- the spatial frequency of the structure of the fluorescent region of the specimen 10 is modulated. (Ie, it remains shifted to a lower spatial frequency than it actually is).
- the control device 19 changes the pattern of the two-beam structured illumination by controlling the ultrasonic standing wave generated in the ultrasonic wave propagation path R of the ultrasonic spatial light modulator 3 (details will be described later). Then, the control device 19 drives the imaging device 12 to acquire a plurality of types of image data when the two-beam structured illumination pattern is in each state, and sequentially stores and calculates the plurality of types of image data. Send to device 13. Note that the charge accumulation time per frame by the imaging device 12 is, for example, 1/30 seconds, 1/60 seconds, or the like.
- the image storage / arithmetic unit 13 obtains image data from which structural information of structured illumination is removed by performing a separation operation including a linear operation on a plurality of types of captured image data. Further, the image storage / calculation device 13 performs a demodulation operation including multiplication of a demodulation coefficient on the image data from which the structure information has been removed, so that the spatial frequency of the structural information of the fluorescent region is returned to the actual spatial frequency.
- the demodulated image data is acquired and sent to the image display device 14.
- the method disclosed in US81115806 can be used. As a result, a resolution image (two-dimensional super-resolution image) exceeding the resolution limit of the objective lens 9 is displayed on the image display device 14.
- FIG. 2A is a schematic diagram showing a pattern of an ultrasonic standing wave generated in the ultrasonic wave propagation path R
- FIG. 2B is a corresponding pattern of two-beam structured illumination (bright part).
- the number of ultrasonic standing waves is set to “2”, which is smaller than the actual number, for easy understanding.
- the number of ultrasonic standing waves is changed in three ways by 1/2, such as 2, (2 + 1/2), and 3, etc. If this is the case (that is, if the wavelength of the ultrasonic standing wave is changed), the number of fringes of the two-beam structured illumination corresponding thereto changes in three ways, one by four, five, and six.
- the phase of the two-beam structured illumination corresponding to the focused portion is “ ⁇ ”. It has changed in three ways.
- the phase of the two-beam structured illumination corresponding to the focused portion is “2 ⁇ / 3”. “It has changed in three ways.
- a two-beam structure can be obtained by changing the number of ultrasonic standing waves by half.
- the phase of illumination can be changed by “ ⁇ ”.
- a two-beam structure can be obtained by changing the number of ultrasonic standing waves by half.
- the phase of illumination can be changed by “2 ⁇ / 3”.
- the above-described separation operation for removing the structure information of the two-beam structured illumination requires at least three image data having different phases of the two-beam structured illumination.
- the phase shift amount per step of the two-beam structured illumination may be 2 ⁇ / 3, for example.
- the number of ultrasonic standing waves generated in the ultrasonic wave propagation path R changes by 1 ⁇ 2
- the number of ultrasonic standing waves generated in the spot S also slightly shifts.
- the number of fringes of the two-beam structured illumination S ′ corresponding to the spot S also slightly deviates (however, the wave pattern and the fringe pattern shown in FIG. 3 are schematic diagrams, and the wave number and the fringe number are It does not always match the actual number.)
- the length L of the ultrasonic wave propagation path R is set to be sufficiently larger than the diameter ⁇ of the spot S so that the deviation of the number of stripes of the two-beam structured illumination S ′ can be regarded as almost zero.
- the length L of the ultrasonic wave propagation path R and the diameter ⁇ of the spot S are such that ⁇ / L ⁇ with respect to the allowable amount ⁇ of the stripe deviation of the two-beam structured illumination S ′.
- the relational expression is ⁇ / L ⁇ 0.15.
- the diameter S of the spot S is 4 mm
- the length L of the ultrasonic wave propagation path R is 30 mm
- the number of fringes is controlled at an appropriate frequency, as shown in FIG.
- the dotted line indicates the ideal pattern of the two-beam structured illumination S ′ (pattern when the deviation of the number of stripes is zero), and the solid line indicates the two-beam structured. Although it is an actual pattern of the illumination S ′, the difference between the two is drawn for the sake of clarity.
- the diameter ⁇ of the spot S on the ultrasonic wave propagation path R of the ultrasonic light modulator 3 satisfies the relationship ⁇ / L ⁇ , but does not necessarily satisfy the relationship.
- the length L of the ultrasonic wave propagation path R, the diameter ⁇ ′ of the illumination region (observation region, visual field region) on the specimen surface 10 The optical magnification m from the sample surface 10 to the ultrasonic light modulator 3 is set so as to satisfy the relationship of ⁇ ′ ⁇ m / L ⁇ with respect to the allowable amount ⁇ of the deviation of the number of fringes of the structured illumination S ′. It only has to be done.
- FIG. 4 is a diagram for explaining the configuration of the ultrasonic spatial light modulator 3 in detail.
- 4A is a diagram of the ultrasonic spatial light modulator 3 viewed from the front (in the optical axis direction)
- FIG. 4B is a diagram illustrating the ultrasonic spatial light modulator 3 in the side surface (perpendicular to the optical axis). It is the figure seen from (direction).
- the ultrasonic spatial light modulator 3 includes an acoustooptic medium 15, and the acoustooptic medium 15 is arranged in a prismatic shape having three parallel side pairs facing each other.
- Three transducers 18 a, 18 b, 18 c are individually provided in one of each of the three pairs of side surfaces, whereby three ultrasonic propagation paths are formed in one acousto-optic medium 15.
- an ultrasonic wave propagation path formed between the formation surface of the transducer 18a and the side surface 15a opposite thereto is referred to as an “ultrasonic propagation path Ra”, and between the formation surface of the transducer 18b and the side surface 15b opposed thereto.
- the formed ultrasonic propagation path is referred to as “ultrasonic propagation path Rb”, and the ultrasonic propagation path formed between the formation surface of the transducer 18c and the corresponding side surface 15c is referred to as “ultrasonic propagation path Rc”. .
- the material of the acousto-optic medium 15 is, for example, quartz glass, tellurite glass, heavy flint glass, flint glass, etc., and the three pairs of side surfaces and the two bottom surfaces are polished with sufficient accuracy.
- the transducer 18a is an ultrasonic transducer having a piezoelectric body 16a and two electrodes 17a individually formed on the upper and lower surfaces of the piezoelectric body 16a, and one of the acousto-optic medium 15 is interposed through one of the electrodes 17a. It is joined to the side.
- a high-frequency sinusoidal AC voltage is applied between the two electrodes 17a of the transducer 18a, the piezoelectric body 16a vibrates in the thickness direction, and planar ultrasonic waves reciprocate in the ultrasonic wave propagation path Ra.
- the frequency of the AC voltage applied between the two electrodes 17a is set to a specific frequency (appropriate frequency), the ultrasonic wave becomes a standing wave.
- the ultrasonic wave propagation path Ra becomes a phase type diffraction grating having a phase grating perpendicular to the ultrasonic wave propagation direction.
- the propagation direction of the ultrasonic wave propagation path Ra is referred to as a “first direction”.
- the transducer 18b has the same configuration as the transducer 18a, and includes a piezoelectric body 16b and two electrodes 17b formed individually on the upper and lower surfaces of the piezoelectric body 16b, of which one electrode 17b is interposed. Bonded to one side surface of the acousto-optic medium 15.
- the ultrasonic wave propagation path Rb is the propagation direction of the ultrasonic wave.
- a phase type diffraction grating having a perpendicular phase grating is referred to as a “second direction”.
- the second direction forms an angle of 60 ° with the first direction.
- the transducer 18c has the same configuration as the transducer 18a, and includes a piezoelectric body 16c and two electrodes 17c formed individually on the upper and lower surfaces of the piezoelectric body 16c, and one of the electrodes 17c is interposed therebetween. Bonded to one side surface of the acousto-optic medium 15.
- the ultrasonic wave propagation path Rc is the propagation direction of the ultrasonic wave.
- a phase type diffraction grating having a perpendicular phase grating is referred to as a “third direction”. This third direction forms an angle of ⁇ 60 ° with respect to the first direction.
- FIG. 5 is a diagram for explaining the basic configuration of the control device 19.
- a reference numeral 19A in FIG. 5 indicates a drive circuit 19A provided in the control device 19, which includes a high-frequency AC power source 19A-1 and a changeover switch 19A-2.
- the high frequency AC power source 19A-1 generates an AC voltage to be supplied to the ultrasonic spatial light modulator 3.
- the frequency of the AC voltage is controlled to an appropriate frequency (for example, any value within several tens of MHz to 100 MHz) by the CPU in the control circuit 19.
- the CPU changes the frequency of the AC voltage to a different frequency. It is only necessary to switch between the appropriate frequencies f ⁇ 1 , f 0 , and f + 1 .
- the appropriate frequency f 0 causes 100 ultrasonic standing waves (the number of fringes of the two-beam structured illumination corresponding to 200) to be generated in the ultrasonic propagation paths Ra, Rb, Rc having a length L of 30 mm.
- the appropriate frequency 80 MHz is used.
- the phase shift amount of the two-beam structured illumination S ′ is zero.
- the appropriate frequency f ⁇ 1 is (100 ⁇ 1 / 2) ultrasonic standing waves (corresponding to the two-beam structured illumination corresponding to the ultrasonic propagation paths Ra, Rb, Rc having a length L of 30 mm.
- the number of stripes is an appropriate frequency (79.946 MHz) for generating 199).
- the phase shift amount of the two-beam structured illumination S ′ is ⁇ 2 ⁇ / 3.
- the appropriate frequency f + 1 is (100 + 1/2) ultrasonic standing waves on the ultrasonic propagation paths Ra, Rb, Rc having a length L of 30 mm (the number of fringes of the two-beam structured illumination corresponding thereto is 201) to an appropriate frequency (80.54 MHz).
- the phase shift amount of the two-beam structured illumination S ′ is + 2 ⁇ / 3.
- the changeover switch 19A-2 is disposed between the high-frequency AC power supply 19A-1 and the ultrasonic spatial light modulator 3, and the connection destination on the ultrasonic spatial light modulator 3 side is connected to the ultrasonic spatial light modulator 3. It is possible to switch between the three transducers 18a, 18b, 18c. The connection destination of the switch 19A-2 is appropriately switched by the CPU in the control device 19.
- connection destination of the changeover switch 19A-2 is on the transducer 18b side, an AC voltage is applied between the two electrodes of the transducer 18b, so that the supersonic wave among the three ultrasonic propagation paths Ra, Rb, and Rc. Only the sound wave propagation path Rb is effective.
- connection destination of the changeover switch 19A-2 is on the transducer 18c side, an AC voltage is applied between the two electrodes of the transducer 18c, so that the supersonic wave among the three ultrasonic propagation paths Ra, Rb, Rc Only the sound wave propagation path Rc is effective.
- the direction of the two-beam structured illumination S ′ is set to the direction corresponding to the first direction, and the second direction. It is possible to switch between a direction corresponding to the direction and a direction corresponding to the third direction.
- a detailed two-dimensional super-resolution image can be generated by appropriately driving the ultrasonic spatial light modulator 3 and the control device 19 described above. Specifically, it is as follows.
- FIG. 6 is an operational flowchart of the CPU. Hereinafter, each step will be described in order.
- Step S11 The CPU sets the direction of the two-beam structured illumination S ′ to a direction corresponding to the first direction by setting the connection destination of the changeover switch 19A-2 to the first transducer (transducer 18a) side. To do.
- Step S12 The CPU sets the phase shift amount of the two-beam structured illumination S ′ to ⁇ 2 ⁇ / 3 by setting the frequency of the AC voltage generated by the high-frequency AC power supply 19A-1 to an appropriate frequency f ⁇ 1. To do.
- Step S13 The CPU drives the imaging device 12 in this state to acquire the image data I- 1 .
- Step S14 CPU is the frequency of the AC voltage high-frequency AC power source 19A-1 is produced, by setting the proper frequency f 0, to set the phase shift amount of the two-beam structured illumination S 'to zero.
- Step S15 CPU acquires the image data I 0 by driving the image pickup device 12 in this state.
- Step S16 The CPU sets the phase shift amount of the two-beam structured illumination S ′ to + 2 ⁇ / 3 by setting the frequency of the AC voltage generated by the high-frequency AC power supply 19A-1 to an appropriate frequency f + 1. .
- Step S17 The CPU drives the imaging device 12 in this state to acquire the image data I + 1 .
- Step S18 The CPU determines whether or not the direction of the two-beam structured illumination S ′ has been set in all the three directions described above. If not, the CPU proceeds to step S19 and has been set. If so, the flow ends.
- Step S19 The CPU switches the connection destination of the changeover switch 19A-2 to change the direction of the two-beam structured illumination S ′, and then proceeds to step S12.
- the image data Ia ⁇ 1 , Ia 0 , Ia +1 for the first direction, the image data Ib ⁇ 1 , Ib 0 , Ib +1 for the second direction, and the image data Ic ⁇ 1 for the third direction, Ic 0 and Ic +1 are acquired. These image data are taken into the image storage / arithmetic unit 13.
- the image storage / calculation device 13 acquires demodulated image data Ia ′ in the first direction based on the three image data Ia ⁇ 1 , Ia 0 , Ia +1 in the first direction, and the three image data Ib in the second direction.
- the demodulated image data Ib ′ in the second direction is acquired based on ⁇ 1 , Ib 0 , Ib + 1 , and demodulated in the third direction based on the three image data Ic ⁇ 1 , Ic 0 , Ic + 1 in the third direction.
- the image data Ic ′ When the image data Ic ′ is acquired, the three demodulated image data Ia ′, Ib ′, and Ic ′ are synthesized on the wave number space and then returned to the real space, thereby the first direction, the second direction, and the third direction.
- the image data I of the super-resolution image over the range is acquired, and the image data I is sent to the image display device 14.
- This super-resolution image is a two-dimensional super-resolution image extending in three directions in the in-plane direction of the specimen 10.
- structured illumination composed of ⁇ first-order diffracted light (that is, two-beam structured illumination) can be performed by turning on the light blocking function of the optical phase modulator 5C.
- a super-resolution image that is, a two-dimensional super-resolution image
- a two-dimensional super-resolution image extending in the in-plane direction of the specimen 10
- the mode of the present system for generating a two-dimensional super-resolution image is referred to as a “two-dimensional mode”.
- structured illumination composed of ⁇ 1st order diffracted light and 0th order diffracted light (that is, 3-beam structured light) can be implemented by turning off the light blocking function of the optical phase modulator 5C.
- a super-resolution image that is, three-dimensional super-resolution
- Image the mode of the present system for generating a three-dimensional super-resolution.
- the three-beam structured illumination projected onto the specimen 10 in the three-dimensional mode is composed of three luminous fluxes of ⁇ first-order diffracted light and zero-order diffracted light. It is structured even in the direction. Moreover, the pattern of the three-beam structured illumination in the plane of the specimen 10 is slightly different from the pattern of the two-beam structured illumination in the plane of the specimen 10. This will be described in detail below.
- this period T corresponds to the reciprocal of the frequency of the AC voltage supplied to the ultrasonic spatial light modulator 3.
- a portion where the refractive index does not change in the ultrasonic wave propagation path is referred to as “node”, and a portion where the refractive index changes is referred to as “antinode”.
- the refractive index of the antinode a is higher than the refractive index of the node (the medium becomes dense), whereas the refractive index is refracted. It can be seen that in the latter half of the rate change, the refractive index of antinode a is lower than the refractive index of the node (the medium becomes rough).
- the refractive index of the antinode b is lower than the refractive index of the node (the medium becomes rough) in the first half of the refractive index change.
- the refractive index of the antinode b is higher than the refractive index of the node (the medium becomes dense).
- the phase-type diffraction grating has the first half and the second half of the refractive index change, as shown in FIG. 8 (A) or FIG. 9 (A).
- the phase distribution is inverted. That is, the phase type diffraction grating is laterally shifted by the grating half pitch between the first half and the second half of the refractive index change.
- the two-beam structured illumination is a two-beam interference fringe
- the number of fringes on the sample 10 of the two-beam structured illumination is as shown in FIG. It was twice the number. Therefore, when the phase-type diffraction grating is laterally shifted as shown in FIG. 8A, the two-beam structured illumination pattern changes as shown in FIG. 8B. In other words, the two-beam structured illumination is laterally shifted by one pitch between the first half and the second half of the refractive index change.
- the two-beam structured illumination when the two-beam structured illumination is time-integrated over a period sufficiently longer than the period T, the pattern at each point of the two-beam structured illumination is strengthened and a high-contrast stripe image is obtained.
- the two-beam structured illumination can be imaged by the imaging device 12.
- the three-beam structured illumination is a three-beam interference fringe
- the number of stripes on the specimen 10 of the three-beam structured illumination is the number of phase-type diffraction gratings corresponding thereto as schematically shown in FIG. It becomes 1 time. Therefore, when the phase diffraction grating is laterally shifted as shown in FIG. 9A, the pattern of the three-beam structured illumination changes as shown in FIG. 9B.
- the three-beam structured illumination is laterally shifted by the half pitch of the stripe between the first half and the second half of the refractive index change. This fact is similarly applied to each surface of the three-beam structured illumination having different positions in the optical axis direction.
- the three-beam structured illumination in this state is time-integrated over a period sufficiently longer than the period T, the patterns at each time point of the three-beam structured illumination cancel each other, and a uniform image (a gray image without contrast) is obtained. ). In this case, the three-beam structured illumination cannot be imaged by the imaging device 12.
- optical phase modulator 5C (see FIG. 1) is provided in this system is to solve this problem in the three-dimensional mode (contrast reduction problem).
- FIG. 10 is a diagram illustrating the configuration of the control device 19 related to the three-dimensional mode.
- the control device 19 includes a power supply circuit 19C and a phase adjustment circuit 19D in addition to the AC power supply 19A-1 and the changeover switch 19A-2 described above.
- the power supply circuit 19 ⁇ / b> C has a first output terminal and a second output terminal, and the first output terminal is for supplying the aforementioned AC voltage (sinusoidal signal) to the ultrasonic spatial light modulator 3 side.
- the second output terminal is a terminal for supplying a pulse voltage (pulse signal) to the optical phase modulator 5C side.
- the power supply circuit 19C always matches the frequency of the pulse signal output from the second output terminal with the frequency of the sine signal output from the first output terminal, and the CPU in the control circuit 19 uses the frequency of the sine signal. When is switched, the frequency of the pulse signal is similarly switched. Note that the duty ratio (ON period / pulse period) of the pulse signal is set to a predetermined ratio (here, 1/2), and does not change regardless of the frequency of the pulse signal.
- the phase adjustment circuit 19D is interposed between the power supply circuit 19C and the optical phase modulator 5C, and changes the phase relationship between the sine signal and the pulse signal in response to an instruction from the CPU in the control device 19. adjust.
- FIG. 11A is a diagram showing a waveform of a sine signal
- FIG. 11B is a diagram showing a waveform of a pulse signal.
- the waveform of the sine signal defines the time-varying waveform of the ultrasonic standing wave in the ultrasonic spatial light modulator 3 (that is, the time-varying waveform of the refractive index of each of the antinodes a and b).
- the waveform defines a time-varying waveform of the phase modulation amount that the optical phase modulator 5A adds to the 0th-order diffracted light.
- the phase modulation amount of the 0th-order diffracted light can be set to 0 in one of the first half and the second half, and ⁇ in the other. In this case, it is possible to avoid cancellation of the patterns at the respective time points of the three-beam structured illumination, so that the contrast of the image of the three-beam structured illumination can be maximized.
- phase modulation amount of the 0th-order diffracted light is ⁇ in the first half and 0 in the second half.
- the three-beam structured illumination inverts the pattern between the first half and the second half as shown in FIG. 9B. Therefore, if the pattern of the first half is expressed by the following formula (1), the second half The pattern of the period is represented by the following formula (2).
- the intensity of folding light is indicated, I indicates the intensity of ⁇ first-order diffracted light, and k indicates the wave number.
- the first term in the equations (1) and (2) is the intensity of the 0th order diffracted light
- the second term is the sum of the intensity of the + 1st order diffracted light and the intensity of the ⁇ 1st order diffracted light
- the third term is The interference intensity distribution between ⁇ 1st order diffracted light and 0th order diffracted light
- the fourth term is the interference intensity distribution between ⁇ 1st order diffracted lights. Only the third term is different between Formula (1) and Formula (2).
- the phase of the 0th-order diffracted light in the first half is displaced by ⁇ due to the phase modulation of the 0th-order diffracted light by the modulation width ⁇ .
- the pattern in the latter half remains the same as that of the equation (2).
- Ii (r) I 0 + 2I + 4 ⁇ ⁇ I 0 ⁇ ⁇ I ⁇ cos (k x X- ⁇ ) ⁇ cos (k z Z) + 2 ⁇ I ⁇ cos (2k x X)... (1 ') That is, the three-beam structured illumination when the phase modulation of the 0th-order diffracted light is performed has the pattern of the formula (1 ′) in the first half and the pattern of the formula (2) in the second half. When this formula (1 ′) is compared with the formula (2), it can be seen that both patterns are the same.
- pattern cancellation can be avoided by phase modulation of the 0th-order diffracted light.
- phase shift timing of the 0th-order diffracted light is only in the first half, but it goes without saying that the same effect can be obtained even in the second half.
- the CPU in the control device 19 operates the coherent light source 1, the imaging device 12, and the phase adjustment circuit 19 ⁇ / b> D in a state where a uniform test sample is arranged in the system instead of the sample 10.
- the phase adjustment amount of the light intensity modulator 30 is changed while referring to the contrast of the image output from the imaging device 12, and the contrast becomes maximum (or the contrast is equal to or higher than the threshold value). At that point, the phase adjustment amount is fixed.
- FIG. 12 is a diagram comparing the time-varying waveform of the refractive index of the antinode a of the ultrasonic standing wave with the time-varying waveform of the phase modulation amount of the 0th-order diffracted light.
- the time change waveform of the refractive index of the antinode a is indicated by a solid line
- the time change waveform of the phase modulation amount of the 0th-order diffracted light is indicated by a dotted line.
- phase difference ⁇ between the time-varying waveform of the refractive index of the antinode a and the time-varying waveform of the phase modulation amount of the 0th-order diffracted light matches an even multiple of ⁇ / 2, 0
- the period during which the phase of the next diffracted light is displaced coincides with either the first half or the second half of the refractive index change, so that the contrast of the image of the three-beam structured illumination is maximized.
- the phase difference ⁇ between the time change waveform of the refractive index of antinode a and the time change waveform of the phase modulation amount of the 0th-order diffracted light coincides with an even multiple of ⁇ / 2. Even if not, as long as the phase difference ⁇ does not match an odd multiple of ⁇ / 2, the image of the three-beam structured illumination has contrast.
- the phase difference ⁇ between the time change waveform of the refractive index of the antinode a and the time change waveform of the phase modulation amount of the 0th-order diffracted light coincides with an odd multiple of ⁇ / 2.
- the contrast of the image of the three-beam structured illumination becomes zero.
- the phase difference ⁇ between the time-varying waveform of the refractive index of the antinode a and the time-varying waveform of the phase modulation amount of the 0th-order diffracted light is preferably other than an odd multiple of ⁇ / 2, preferably ⁇ / 2. Is set to an even multiple of.
- the refractive index of the antinode a is described here, but the time change waveform of the refractive index of the antinode b is obtained by inverting the time change waveform of the refractive index of the antinode a. The same applies to the focus.
- the CPU in the three-dimensional mode switches the connection destination of the changeover switch 19A-2 to change the direction of the three-beam structured illumination to the first direction, the second direction, Switch between third directions.
- the CPU in the three-dimensional mode is 3 in each of the directions where the three-beam structured illumination is the first direction, the second direction, and the third direction. Image data is repeatedly acquired while shifting the phase of the light beam structured illumination.
- the CPU in the three-dimensional mode desirably sets the phase shift amount per step of the three-beam structured illumination to, for example, 2 ⁇ / 5.
- the CPU in the three-dimensional mode acquires five image data having a phase shift amount different by 2 ⁇ / 5 for each direction, five image data related to the first direction, five image data related to the second direction, Five pieces of image data related to the third direction are sent to the image storage / arithmetic unit 13.
- the image storage / calculation device 13 in the three-dimensional mode acquires demodulated image data in the first direction and the optical axis direction based on the five image data in the first direction, and based on the five image data in the second direction.
- demodulated image data in the second direction and the optical axis direction is acquired, and demodulated image data in the third direction and the optical axis direction is acquired based on five image data in the third direction, the three demodulated image data are wavenumbered.
- the image data of the super-resolution image in the first direction, the second direction, the third direction, and the optical axis direction is acquired, and the image data is displayed as an image.
- This super-resolution image is a super-resolution image (three-dimensional super-resolution image) extending in the three directions in the plane of the specimen 10 and in the optical axis direction (the description of the three-dimensional mode).
- the method disclosed in US81115806 can be used.
- the length L of the ultrasonic wave propagation path R, the diameter ⁇ of the spot S, and the distance D from one end of the ultrasonic wave propagation path R to the center of the spot S are set to the optimum relationship described above. Therefore, the phase of the two-beam structured illumination or the three-beam structured illumination can be switched only by electrically switching the frequency of the AC voltage applied to the ultrasonic spatial light modulator 3.
- the time required for the switching is short, and can be suppressed to 10 ms or less even when the time constant of the circuit system including the power supply is included.
- the time required for acquiring the required number of image data in this system is compared with the case where the optical element or the specimen 10 is mechanically moved to switch the phase of the two-beam structured illumination or the three-beam structured illumination. , Much shorter.
- the time required to acquire the required number of image data in this system is compared with the case where the optical element or specimen 10 is mechanically rotated to switch the direction of the two-beam structured illumination or the three-beam structured illumination. Therefore, it can be remarkably shortened.
- both a two-dimensional super-resolution image and a three-dimensional super-resolution image can be generated from the same specimen 10.
- the ultrasonic spatial light modulator is used as a phase diffraction grating for generating the three-beam structured illumination
- the contrast of the image of the three-beam structured illumination is zero.
- the phase of the 0th-order diffracted light is modulated with a pulse signal having the same frequency as the sine signal, such a problem (contrast reduction) may occur. Problem) can be avoided.
- the control device 19 automatically adjusts the phase difference ⁇ between the time-varying waveform of the refractive index and the time-varying waveform of the phase modulation amount of the 0th-order diffracted light. It may be performed manually by the user. However, in this case, the control device 19 needs to display the image output from the imaging device 12 on the image display device 14 in real time so that the user can confirm the contrast of the image being adjusted.
- the frequency of the pulse signal is matched with the frequency of the sine signal. However, if the pulse signal is synchronized with the sine signal, the frequency of the pulse signal matches the frequency of the sine signal. It doesn't matter.
- the frequency of the pulse signal is set to 1 / N times the frequency of the sine signal (N is an integer of 1 or more), and the duty ratio (ON period / pulse period) of the pulse signal is set to 1 / (2N).
- the phase of the 0th-order diffracted light is displaced only once every three periods (3T) of the refractive index change, but the length of the period during which the phase of the 0th-order diffracted light is displaced is the half period (T / 2), the phase difference ⁇ between the time-varying waveform of the refractive index and the time-varying waveform of the phase modulation amount of the 0th-order diffracted light is adjusted to an appropriate value, as shown in FIGS.
- the image contrast can be increased by making the period during which the phase of the 0th-order diffracted light shifts coincides with only one of the first half and the second half of the refractive index change.
- the drive signal for the image sensor 12 (The charge accumulation period of the image sensor 12 may be limited to only the period in which the image contrast is increased by moving the signal that defines the opening / closing timing of the electronic shutter to the sine signal described above.
- the charge accumulation period includes a period (T / 2) in which the phase of the 0th-order diffracted light is displaced in the phase modulation period (N ⁇ T), and before or after it. It may be set to a period (T) that is combined with an equivalent period (T / 2).
- the duty ratio (ON period / pulse period) of the pulse signal is made equal to 1 / (2N).
- the duty ratio is 1 / (2N ) May not completely match, or may be less than 1 / (2N).
- the length of the period in which the phase of the 0th-order diffracted light is displaced is narrower than the half period (T / 2) of the refractive index change. Adjust the phase difference ⁇ between the waveform and the time-varying waveform of the phase modulation amount of the 0th order diffracted light to an appropriate value, and match the timing at which the phase of the 0th order diffracted light is displaced to the peak or valley timing of the refractive index It is desirable to make it.
- the time-modulated waveform of the phase of the 0th-order diffracted light is a pulse waveform, and the phase of the 0th-order diffracted light is steeply displaced between 0 and ⁇ (the phase is switched). Even if the time modulation waveform is a sine waveform and is gently displaced between 0 and ⁇ , a certain effect can be obtained.
- the time-change waveform of the phase of the 0th-order diffracted light is a pulse waveform or a sine waveform.
- the phase of the 0th-order diffracted light is time-modulated, other waveforms can be used. Also good.
- the insertion destination of the mask 5A is the pupil conjugate plane of the optical path from the ultrasonic spatial light modulator 3 to the fluorescent filter 8b, but may be slightly deviated from the pupil conjugate plane.
- the degree of freedom in layout of the optical phase modulator 5C and the correction block 5C ′ is increased. Is advantageous.
- the phase modulation target is the 0th order diffracted light, but it may be ⁇ 1st order diffracted light.
- FIG. 14 shows an example of the phase modulation pattern when the target of phase modulation is the 0th-order diffracted light
- FIG. 15 shows an example of the phase modulation pattern when the target of phase modulation is the ⁇ 1st-order diffracted light. is there.
- the optical phase modulator 5C is disposed in the region where ⁇ 1st-order diffracted light is incident (target 2 with respect to the optical axis).
- the correction block 5C ′ is arranged in a region where the 0th-order diffracted light is incident (region near the optical axis). In that case, a separate shutter for opening and closing the optical path of the 0th-order diffracted light is required.
- the entire mask 5A is rotated around the optical axis as shown by the arrow in FIG.
- the placement destination of the optical phase modulator 5C may be set to the entire region where ⁇ first-order diffracted light can enter (see FIG. 16).
- (A) and (B) are schematic diagrams, and illustration of electrodes and wirings is also omitted.)
- the phase modulation target is only one of the ⁇ 1st order diffracted light and the 0th order diffracted light.
- the optical phase modulator 5C may be individually arranged for both the region where ⁇ 1st order diffracted light can enter and the region where 0th order diffracted light can enter.
- the optical phase modulator 5C is used to modulate the phase of the diffracted light.
- the present invention is not limited to this.
- a refractive member having a different thickness can be used instead of the optical phase modulator 5C, and examples of the refractive member having a different thickness include a wedge-shaped or stepped glass member. By placing a wedge-shaped or stepped glass member in the area where the 0th-order diffracted light is incident and moving the glass member in a predetermined direction, or rotating the glass member around a predetermined axis, the 0th-order diffracted light passes. It is also possible to modulate the phase of the diffracted light passing through the glass member by periodically changing the thickness of the glass member.
- the change pattern of the frequency of the AC voltage applied to the transducer is a pattern in which the number of ultrasonic standing waves changes by half, and the first direction and
- the ultrasonic propagation path only needs to satisfy the following conditions.
- the frequency change pattern of the AC voltage applied to the transducer may be a pattern in which the number of ultrasonic standing waves changes by M / 2 (where
- is preferably an integer of 3 or more.
- the frequency change pattern of the AC voltage applied to the transducer is a pattern in which the number of ultrasonic standing waves changes by half, and the first direction and
- the ultrasonic propagation path only needs to satisfy the following conditions.
- the frequency change pattern of the AC voltage applied to the transducer may be a pattern in which the number of ultrasonic standing waves changes by M / 2 (where
- the exit light flux passage region (spot) in the ultrasonic wave propagation path R of the ultrasonic light modulator 3 is not necessarily separated from both ends of the ultrasonic wave propagation path R.
- an effective emission light beam passage area in the ultrasonic wave propagation path R that is, the ultrasonic wave is not limited.
- is preferably an integer of 5 or more.
- the spot position in the ultrasonic spatial light modulator 3 is made different between the two-dimensional mode and the three-dimensional mode.
- the sine signal switching pattern described above is set so that the number of ultrasonic standing waves can be changed by 1/2, and the center of the spot S from one end of the ultrasonic wave propagation path is set.
- the phase shift pitch of the two-beam structured illumination can be set to “2 ⁇ / 3” by changing the number of ultrasonic standing waves by 1 ⁇ 2.
- the phase shift pitch of the three-beam structured illumination can be set to “ ⁇ / 3” by changing the number of ultrasonic standing waves one by one.
- the image storage / arithmetic apparatus 13 in the two-dimensional mode may use the three pieces of image data acquired in each of the three states indicated by symbols a, c, and e in FIG. 17 for the above-described separation calculation.
- the image storage / calculation device 13 in the three-dimensional mode may use the six image data acquired in each of the six states indicated by reference signs a to f in FIG. 17 for the above-described separation calculation.
- the positional relationship between the spot S and the ultrasonic spatial light modulator 3 is adjusted in advance to a relationship suitable for both the two-dimensional mode and the three-dimensional mode, so The movement of the acoustic spatial light modulator 3 can be omitted.
- the acoustooptic medium 15 of this system has three ultrasonic propagation paths Ra, Rb, and Rc arranged in an asymmetric relationship with respect to the center of the spot S (see FIG. 4).
- the acoustooptic medium 15 may be arranged in a simple relationship.
- the advantage of the example shown in FIG. 4 is that the contour of the outer shape of the acoustooptic medium 15 is small, and the advantage of the example shown in FIG. 18 is that the environment of the three ultrasonic propagation paths Ra, Rb, and Rc is completely There is a match.
- the ultrasonic propagation paths Ra, Rb, and Rc have the same length and the frequency change pattern of the AC voltage applied to the transducers 18a, 18b, and 18c is the same, but may be non-common.
- each of the ultrasonic propagation paths Ra, Rb, and Rc satisfies the above-described conditions.
- the number of ultrasonic standing waves generated in the ultrasonic wave propagation paths Ra, Rb, Rc that is, the ultrasonic standing wave).
- the frequency of the alternating voltage applied to the transducers 18a, 18b, and 18c of the ultrasonic light modulator 3 is changed. Although it has been explained that it is changed, it goes without saying that it is not limited to this method.
- phase modulator 5C In order to modulate the phase difference between ⁇ 1st order diffracted light and 0th order diffracted light in the three-dimensional mode, light is separately applied to the incident area of the + 1st order diffracted light and the incident area of the ⁇ 1st order diffracted light in the mask 5A.
- the phase modulator 5C When the phase modulator 5C is arranged (for example, when the arrangement of the optical phase modulator 5C and the correction block 5C ′ is as shown in FIG. 19), the following may be performed.
- the phase offset ⁇ is applied to the + 1st-order diffracted light
- the phase offset ⁇ is applied to the ⁇ 1st-order diffracted light (that is, the + 1st order with respect to the 0th-order diffracted light).
- the phase offset of the folding light and the phase offset of the ⁇ 1st order diffracted light with respect to the 0th order diffracted light are set to the opposite signs. Even in this state, appropriate two-beam structured illumination can be generated.
- the phase offset amount ⁇ is switched with a predetermined pattern instead of switching the wavelength of the ultrasonic standing wave with the predetermined pattern. For example, if the phase offset amount ⁇ is switched in three ways at a pitch of 2 ⁇ / 3, the phase of the two-beam structured illumination can be switched in three ways at a pitch of 2 ⁇ / 3.
- FIG. 20 is a diagram showing a phase modulation pattern in this case.
- the phase offset amount ⁇ is switched with a predetermined pattern instead of switching the wavelength of the ultrasonic standing wave with the predetermined pattern. For example, if the phase offset amount ⁇ is switched in five ways at a pitch of 2 ⁇ / 5, the phase of the three-beam structured illumination can be switched in five ways at a pitch of 2 ⁇ / 5.
- the change pitch of the phase offset amount ⁇ in the two-dimensional mode and the change pitch of the phase offset amount ⁇ in the three-dimensional mode are individually set, but may be made common. That is, the system is configured in advance so that the phase offset amount ⁇ can be switched by 2 ⁇ / 6, and in the two-dimensional mode, the phase offset amount ⁇ is 0, 2 (2 ⁇ ) / 6, 4 (2 ⁇ ) / 6.
- the three image data acquired in each of the three states are used for the separation operation described above, and in the three-dimensional mode, 0, 2 ⁇ / 6, 2 (2 ⁇ ) / 6, 3 (2 ⁇ ) / 6, 4 ( Six image data acquired in each of the six states of 2 ⁇ ) / 6 and 5 (2 ⁇ ) / 6 may be used for the above-described separation operation.
- the combination of ⁇ first-order diffracted light and zero-order diffracted light is used as the diffracted light for forming the interference fringes (two-beam interference fringes, three-beam interference fringes), but other combinations are used. May be.
- three-beam interference is generated by three diffracted lights having equal intervals of diffraction orders.
- a combination of zero-order diffracted light, first-order diffracted light, and second-order diffracted light A combination of ⁇ 2nd order diffracted light and 0th order diffracted light, a combination of ⁇ 3rd order diffracted light and 0th order diffracted light, and the like can be used.
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Nonlinear Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Microscoopes, Condenser (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
Abstract
構造化パターンの高速切り換えと構造化方向の拡張とを可能とするために、本発明の構造化照明装置は、光源(1)からの射出光束中に配置され、その射出光束を横切る方向に音波伝搬路を配した光変調器(3)と、前記音波伝搬路の媒体を振動させるための駆動信号を前記光変調器へ与えることにより、前記音波伝搬路内に音波定在波を生起させる駆動手段(19)と、前記音波伝搬路を通過した前記射出光束の少なくとも3つの回折光を干渉させ、その干渉縞を被観察物に形成する照明光学系(6、7、9)と、前記回折光の少なくとも1つの回折光の位相を所定の周期で変調することにより、前記干渉縞のコントラストを制御する制御手段(5C、19)とを備える。
Description
本発明は、構造化照明装置、構造化照明顕微鏡、構造化照明方法に関する。
特許文献1には、構造化照明顕微鏡を蛍光観察へ適用した例が開示されている。特許文献1の方法では、可干渉光源から射出した光束を回折格子によって2つの光束に分割し、それら2つの光束を対物レンズの瞳上の互いに異なる位置へ個別に集光させる。このとき2つの光束は対物レンズから角度の異なる平行光束として射出し、試料面上で重なり合いストライプ状の干渉縞を形成する。これによって試料面が構造化照明される。そして特許文献1の方法では、構造化照明の位相をステップ状に変化させながら試料像の画像を繰り返し取得し、取得した複数の画像に対して、前述した分離に相当する演算(分離演算)と、前述した復調に相当する演算(復調演算)とを施している。
なお、構造化照明の位相をステップ状に変化させる方法としては、楔型プリズムを前述した2つの光束の一方に挿入して光軸と垂直な方向へステップ移動させる方法や、格子線と垂直な方向へ回折格子をステップ移動させる方法や、構造化照明のピッチ方向へ試料をステップ移動させる方法などがある。
Proceedings of the SPIE - The International Society for Optical Engineering (2000) vol.3919, p.141-50
しかしながら、光学素子をステップ移動させる場合、移動していた光学素子を適当な位置で静止させるのに一定の時間を要するので、特許文献2の方法において必要な画像を全て取得するまでの所要時間を短縮することは難しい。特に、観察対象である試料が生体標本である場合は、試料の構造が時々刻々と変化する可能性があるため、画像取得はできるだけ高速に行われるべきである。
また、干渉縞を利用した技術(特許文献1)の応用例として、試料の面内方向と深さ方向との双方に亘って超解像効果を得るために、干渉縞に寄与する光束を3光束化する技術(非特許文献1)も提案された。3光束を利用すれば、構造化照明のストライプパターンを面内方向だけでなく深さ方向にも発生させることができるからである。但し、その場合は前述した分離演算に必要な画像の枚数が多くなるので、画像取得を高速化する必要性は特に高いと考えられる。
そこで本発明は、構造化パターンの高速切り換えと構造化方向の拡張とが可能な構造化照明装置、構造化照明顕微鏡、構造化照明方法を提供することを目的とする。
本発明の構造化照明装置の一態様は、光源からの射出光束中に配置され、その射出光束を横切る方向に音波伝搬路を配した光変調器と、前記音波伝搬路の媒体を振動させるための駆動信号を前記光変調器へ与えることにより、前記音波伝搬路内に音波定在波を生起させる駆動手段と、前記音波伝搬路を通過した前記射出光束の少なくとも3つの回折光を干渉させ、その干渉縞を被観察物に形成する照明光学系と、前記回折光の少なくとも1つの回折光の位相を所定の周期で変調することにより、前記干渉縞のコントラストを制御する制御手段とを備える。
本発明の構造化照明顕微鏡は、本発明の構造化照明装置と、前記照明装置で照明された被観察物からの観察光束を検出する検出器で取得された、前記音波定在波のパターンの異なる複数の状態での各々の像に基づき、前記被観察物の超解像画像を算出する演算手段を更に備える。
本発明の構造化照明方法の一態様は、光源からの射出光束中に配置され、その射出光束を横切る方向に音波伝搬路を配した光変調器を用意する光変調手順と、前記音波伝搬路の媒質を振動させるための駆動信号を前記光変調器へ与えることにより、前記音波伝搬路内に音波定在波を生起させる駆動手順と、前記音波伝搬路を通過した前記射出光束の少なくとも3つの回折光を干渉させ、その干渉縞を被観察物に形成する照明手順と、前記回折光の少なくとも1つの回折光の位相を所定の周期で変調することにより、前記干渉縞のコントラストを制御する制御手順とを含む。
[第1の実施形態]
以下、本発明の第1の実施形態として構造化照明顕微鏡システムを説明する。
以下、本発明の第1の実施形態として構造化照明顕微鏡システムを説明する。
図1は、本実施形態の構造化照明顕微鏡システムの構成図である。
図1(A)に示すとおり本システムには、可干渉光源1と、コレクタレンズ2と、超音波空間光変調器3と、レンズ4と、マスク5Aと、レンズ6と、視野絞り5Bと、レンズ7と、励起フィルタ8aと、ダイクロイックミラー8と、蛍光フィルタ8bと、第二対物レンズ11と、撮像装置(CCDカメラなど)12と、制御装置19と、画像記憶・演算装置(コンピュータなど)13と、画像表示装置14と、対物レンズ9とが配置される。なお、図1(A)中に符号10で示すのは、不図示のステージ上に載置された標本であり、ここでは、予め蛍光染色されていると仮定する。
可干渉光源1は、標本10の励起波長と同じ波長の光を出射する。可干渉光源1から射出した光は、コレクタレンズ2によって平行光に変換され、超音波空間光変調器3へ入射する。
超音波空間光変調器3は、光軸と垂直な方向に伝搬する超音波伝搬路Rを有しており、その超音波伝搬路Rに超音波の平面定在波(以下、「超音波定在波」という。)を生起させることにより、超音波伝搬路Rに正弦波状の屈折率分布を付与する。このような超音波空間光変調器3は、入射光に対して位相型回折格子の働きをし、その光を各次数の回折光(0次回折光、+1次回折光、-1次回折光、+2次回折光、-2次回折光、…)に分岐する。なお、図1(A)では、代表して0次回折光及び±1次回折光のみを描いた。図1において実線で示したのが0次回折光であり、点線で示したのが±1次回折光である。超音波空間光変調器3から射出した各次数の回折光は、レンズ4を通過した後に瞳共役面を形成する。
ここで、瞳共役面は、レンズ4の焦点位置(後ろ側焦点位置)であって、後述する対物レンズ9の瞳P(±1次回折光が集光する位置)に対してレンズ7、レンズ6を介して共役な位置をいう(なお、「共役な位置」の概念には、当業者が対物レンズ9、レンズ6、7の収差、ビネッティング等、設計上必要な事項を考慮して決定した位置も含まれる。)。
マスク5Aは、瞳共役面に配置され、瞳共役面へ入射した各次数の回折光のうち、2次以降の高次回折光をカットする機能を有する。また、マスク5Aは、図1(B)に拡大して示すとおり、光位相変調器5Cと補正用ブロック5C’とを基板に形成したものである。このうち光位相変調器5Cの配置先は、瞳共役面において0次回折光の入射する領域であり、補正用ブロック5C’の配置先は、瞳共役面において±1次回折光の入射する領域である。図1(C)には、光位相変調器5Cと補正用ブロック5C’との配置関係の一例を示した(なお、図1(C)は模式図であり、電極や配線などの図示も省略してある。)。
光位相変調器5Cは、入射光(ここでは0次回折光)の位相を時間方向にかけて変調幅πで変調する光位相変調器である。この光位相変調器5Cには、カー効果を利用したEOモジュレータ(電気光学モジュレータ)、ポッケルス効果を利用したEOモジュレータ、AOモジュレータ(音響光学モジュレータ)などを適用することができる。この光位相変調器5Cは、制御装置19によって制御される。
補正用ブロック5C’は、光位相変調器5Cの位相変調量がゼロであるとき(光位相変調器5Cに電圧が印加されていないとき)にマスク5Aを通過する0次回折光とマスク5Aを通過する±1次回折光との間の位相差をゼロにするための位相ブロックである。
ここで、詳細は後述するが、超音波空間光変調器3による回折光の分岐方向は、切り換えが可能である。この場合、瞳共役面における0次回折光の入射領域は不変であるが、瞳共役面における±1次回折光の入射領域は、光軸の周りに移動する。よって、補正用ブロック5C’の配置先は、例えば図1(D)に示すとおり、±1次回折光の入射しうる領域の全体に設定されていることが望ましい。以下では、補正用ブロック5C’の配置先は、図1(D)に示すとおり±1次回折光の入射しうる領域の全体に設定されたと仮定する。
また、ここでは、光位相変調器5Cは、後述する2次元モードと3次元モードとの切り換えを行うために、入射光(ここでは0次回折光)の位相を変調する機能(位相変調機能)だけでなく、入射光(ここでは0次回折光)を必要に応じて遮光する機能(遮光機能)も有しているものとする。なお、光位相変調器5Cに遮光機能を搭載する代わりに、0次回折光の単独光路を開閉するシャッタを別途設けてもよいが、以下では、光位相変調器5Cに遮光機能が搭載されていると仮定する。
因みに、図1(A)は、光位相変調器5Cの遮光機能がオンされた状態を示しており、図1(B)は、光位相変調器5Cの遮光機能がオフされた状態を示している。
先ず、光位相変調器5Cの遮光機能がオンされた状態を仮定して説明する。この場合、図1(A)に示すとおりマスク5Aを通過する回折光は、±1次回折光のみとなる。
マスク5Aを通過した±1次回折光によって、レンズ6を介して標本10の共役面が形成される。この標本10の共役面の近傍には視野絞り5Bが配置されており、これは標本10への照明領域(観察領域)のサイズを制御する機能を有している。
視野絞り5Bを通過した±1次回折光は、レンズ7を通過した後に励起フィルタ8aを介してダイクロイックミラー8へ入射し、そのダイクロイックミラー8を反射する。ダイクロイックミラー8を反射した±1次回折光は、対物レンズ9の瞳P上の互いに異なる位置にそれぞれスポットを形成する。なお、瞳P上に±1次回折光が形成する2つのスポットの形成位置は、瞳Pの概ね最外周部であって、対物レンズ9の光軸に関して互いに対称な位置である。この場合、対物レンズ9の先端から射出する±1次回折光は、対物レンズ9のNAに相当する角度で互いに反対の方向から標本10を照射する。なお、後述するように印加電圧の周波数を微小に変更させた結果、回折格子のピッチ(1周期)が微小に変化した場合には、2つのスポットの形成位置は極めて微小に変化する。
ここで、標本10に照射されるこれらの±1次回折光は、可干渉光源1から射出した互いに可干渉な光である。よって、これらの±1次回折光によると、標本10には縞ピッチが一様なストライプ状の干渉縞が投影される。つまり、標本10への照明パターンは、縞構造を持った照明パターンとなる。このように縞構造を持った照明パターンによる照明が、構造化照明である。構造化照明された標本10の蛍光領域(前述した蛍光染色された領域)では蛍光物質が励起され、蛍光を発する。
なお、この構造化照明は、±1次回折光の2光束のみからなるので、標本10の面内方向にかけては構造化されているが、標本10の深さ方向(光軸方向)にかけては構造化されていない。以下、このような構造化照明を「2光束構造化照明」と称す。
この2光束構造化照明によると、2光束構造化照明の構造周期と蛍光領域の構造周期(標本の構造周期に相当)との差に相当するモアレ縞が標本10に現れる。このモアレ縞上では、蛍光領域の構造の空間周波数が変調されており、実際よりも低い空間周波数にシフトしている。したがって2光束構造化照明によると、蛍光領域の構造のうち空間周波数の高い成分を示す蛍光、すなわち対物レンズ9の解像限界を超える大角度で射出した蛍光までもが対物レンズ9へ入射できる。
標本10から射出し対物レンズ9へ入射した蛍光は、対物レンズ9により平行光に変換された後にダイクロイックミラー8へ入射する。その蛍光は、ダイクロイックミラー8を透過した後、蛍光フィルタ8bを介して第二対物レンズ11を通過することにより撮像装置12の撮像面上に標本10の蛍光像を形成する。但し、この蛍光像には、標本10の蛍光領域の構造情報だけでなく2光束構造化照明の構造情報も含まれており、この蛍光像では、標本10の蛍光領域の構造の空間周波数は変調されたままである(つまり実際よりも低い空間周波数にシフトしたままである)。
制御装置19は、超音波空間光変調器3の超音波伝搬路Rに生起する超音波定在波を制御することにより、2光束構造化照明のパターンを変化させる(詳細は後述。)。そして、制御装置19は、2光束構造化照明のパターンが各状態にあるときに撮像装置12を駆動して複数種類の画像データを取得し、それら複数種類の画像データを順次に画像記憶・演算装置13へ送出する。なお、撮像装置12による1フレーム当たりの電荷蓄積時間は、例えば1/30秒、1/60秒などである。
画像記憶・演算装置13は、取り込まれた複数種類の画像データに対して線形演算からなる分離演算を施すことにより、構造化照明の構造情報の除去された画像データを取得する。また、画像記憶・演算装置13は、構造情報の除去された画像データに対して復調係数の乗算からなる復調演算を施すことにより、蛍光領域の構造情報の空間周波数が実際の空間周波数に戻された復調画像データを取得し、それを画像表示装置14へ送出する。なお、具体的な演算には、例えばUS8115806に開示された方法を用いることができる。これによって画像表示装置14には、対物レンズ9の解像限界を超えた解像画像(2次元超解像画像)が表示される。
図2(A)は、超音波伝搬路R内に生起する超音波定在波のパターンを示す模式図であり、図2(B)は、それに対応する2光束構造化照明のパターン(明部及び暗部の配置)を示す模式図である(但し、実際には、2光束構造化照明のパターンに寄与するのは、超音波定在波のパターンうち有効な光束が通過する領域のパターンのみである。)。また、図2(A)では、説明をわかりやすくするため超音波定在波の波本数を実際よりも少ない「2」とした。
図2(A)に示すとおり、超音波定在波の波本数(位相変化2πで波本数1本とカウントする)が「2」であるときには、図2(B)に示すとおり、±1次回折光の干渉による2光束構造化照明の縞本数(明部又は暗部の本数)は「4」となる。つまり、2光束構造化照明の縞本数は、それに対応する超音波定在波の波本数の2倍となる。
また、例えば図2(C)、(D)、(E)に示すとおり、超音波定在波の波本数を2、(2+1/2)、3のように1/2ずつ3通りに変化させたならば(即ち、超音波定在波の波長を変化させたならば)、それに対応する2光束構造化照明の縞本数は4、5、6のように1ずつ3通りに変化する。
ここで、図2中に白矢印で示すとおり超音波伝搬路Rの一端から1/2だけずれた部分のみに着目すると、その着目部分に対応する2光束構造化照明の位相は、「π」ずつ3通りに変化している。
また、図2中に黒矢印で示すとおり超音波伝搬路Rの一端から1/3だけずれた部分のみに着目すると、その着目部分に対応する2光束構造化照明の位相は、「2π/3」ずつ3通りに変化している。
よって、仮に、超音波伝搬路Rに対する光の入射領域を白矢印で示した位置のみに制限したならば、超音波定在波の波本数を1/2ずつ変化させるだけで、2光束構造化照明の位相を「π」ずつ変化させることができる。
また、仮に、超音波伝搬路Rに対する光の入射領域を黒矢印で示した位置のみに制限したならば、超音波定在波の波本数を1/2ずつ変化させるだけで、2光束構造化照明の位相を「2π/3」ずつ変化させることができる。
ここで、2光束構造化照明の構造情報を除去するための前述した分離演算は、2光束構造化照明の位相の異なる少なくとも3つの画像データが必要である。その場合、2光束構造化照明の1ステップ当たりの位相シフト量は、例えば2π/3とすればよい。
この時、2光束構造化照明により2次元超解像画像を生成するためには、図3(A)に示すとおり、超音波伝搬路Rへ入射する光のスポット(有効径)Sの中心から超音波伝搬路Rの一端までの距離Dは、超音波伝搬路Rの伝搬方向の長さLの1/3倍に設定すればよい(D=L/3)。
但し、超音波伝搬路Rに生起する超音波定在波の波本数が1/2だけ変化すると、スポットSの内部に生起する超音波定在波の波本数も少しずれるので、図3(B)に示すとおりスポットSに対応する2光束構造化照明S’の縞本数も少しずれてしまう(但し、図3に示した波パターン及び縞パターンは模式図であって、波本数及び縞本数は実際の本数に一致しているとは限らない。)。
そこで、超音波伝搬路Rの長さLは、2光束構造化照明S’の縞本数のズレがほぼゼロとみなせるよう、スポットSの径φに比べて十分に大きく設定されるものとする。
具体的には、超音波伝搬路Rの長さLと、スポットSの径φとは、2光束構造化照明S’の縞本数のズレの許容量δに対して、φ/L<δの関係を満たすように設定される。
例えば、2光束構造化照明S’の縞本数のズレを0.15本以下に抑える必要があったならば、その関係式は、φ/L≦0.15となる。
例えば、2光束構造化照明S’の縞本数のズレを0.15本以下に抑える必要があったならば、その関係式は、φ/L≦0.15となる。
本実施形態では、スポットSの径φを4mmとし、超音波伝搬路Rの長さLを30mmと仮定し、適正周波数で縞本数を制御すれば、図3(C)に示すとおり、2光束構造化照明S’の両端における縞のズレは、0.068本分程度となる。そのため、2光束構造化照明S’の全域における縞本数のズレは0.068+0.068=0.13本程度に抑えられる。
なお、図3(C)において点線で示したのは2光束構造化照明S’の理想パターン(縞本数のズレがゼロである場合のパターン)であり、実線で示したのは2光束構造化照明S’の実際のパターンであるが、わかりやすくするために両者のズレを強調して描いた。
なお、図3(C)において点線で示したのは2光束構造化照明S’の理想パターン(縞本数のズレがゼロである場合のパターン)であり、実線で示したのは2光束構造化照明S’の実際のパターンであるが、わかりやすくするために両者のズレを強調して描いた。
なお、以上の説明では、超音波光変調器3の超音波伝搬路R上でスポットSの径φは、φ/L<δの関係を満たしたが、必ずしも満たしていなくてもよく、例えば、超音波光変調器3から射出した±1次回折光を視野絞り5Bで絞った場合、超音波伝搬路Rの長さL、標本面10における照明領域(観察領域、視野領域)の直径φ’、標本面10から超音波光変調器3への光学倍率mは、構造化照明S’の縞本数のズレの許容量δに対して、φ’×m/L<δの関係を満たすように設定されればよい。
図4は、超音波空間光変調器3の構成を詳しく説明する図である。図4(A)は、超音波空間光変調器3を正面(光軸方向)から見た図であり、図4(B)は、超音波空間光変調器3を側面(光軸に垂直な方向)から見た図である。
図4に示すように、超音波空間光変調器3は、音響光学媒体15を備え、その音響光学媒体15は、互いに対向する平行な側面対を3対有した角柱状に整えられている。これら3対の側面対の各々の一方に3つのトランスデューサ18a、18b、18cが個別に設けられており、これによって1つの音響光学媒体15内に3つの超音波伝搬路が形成される。以下、トランスデューサ18aの形成面とそれに相対する側面15aとの間に形成される超音波伝搬路を「超音波伝搬路Ra」とおき、トランスデューサ18bの形成面とそれに相対する側面15bとの間に形成される超音波伝搬路を「超音波伝搬路Rb」とおき、トランスデューサ18cの形成面とそれに対応する側面15cとの間に形成される超音波伝搬路を「超音波伝搬路Rc」とおく。
なお、音響光学媒体15の材質は、例えば石英ガラス、テルライトガラス、重フリントガラス、フリントガラスなどであり、3対の側面対及び2つの底面は、それぞれ十分な精度で研磨されている。
ここで、3つの超音波伝搬路Ra、Rb、Rcの各々の長さLは共通であると仮定する(L=30mm)。また、その長さLは前述したスポットSの径φに対して前述した条件を満たしている。また、3つの超音波伝搬路Ra、Rb、Rcは、各々の一端からL/3だけ離れた位置において60°ずつ異なる角度で交差している。その交差位置に前述したスポットSの中心が位置する。
トランスデューサ18aは、圧電体16aと、圧電体16aの上下面に個別に形成された2つの電極17aとを有した超音波トランスデューサであり、そのうち一方の電極17aを介して音響光学媒体15の1つの側面に接合されている。このトランスデューサ18aの2つの電極17aの間に高周波の正弦波状の交流電圧が印加されると、圧電体16aが厚み方向に振動し、超音波伝搬路Ra内を平面超音波が往復する。2つの電極17aの間に印加される交流電圧の周波数が特定の周波数(適正周波数)に設定された場合、その超音波は定在波となるので、超音波伝搬路の屈折率には、超音波の伝搬方向にかけて正弦波状の分布が付与される。これによって、超音波伝搬路Raは、超音波の伝搬方向と垂直な位相格子を持った位相型回折格子となる。以下、この超音波伝搬路Raの伝搬方向を、「第1方向」と称す。
また、トランスデューサ18bも、トランスデューサ18aと同じ構成をしており、圧電体16bと、圧電体16bの上下面に個別に形成された2つの電極17bとを有し、そのうち一方の電極17bを介して音響光学媒体15の1つの側面に接合されている。
したがって、トランスデューサ18bの2つの電極17bの間に適正周波数の交流電圧が印加されると、超音波伝搬路Rb内を平面超音波が伝搬するので、超音波伝搬路Rbは、超音波の伝搬方向と垂直な位相格子を持った位相型回折格子となる。以下、この超音波伝搬路Rbの伝搬方向を、「第2方向」と称す。この第2方向は、第1方向に対して60°の角度を成す。
また、トランスデューサ18cも、トランスデューサ18aと同じ構成をしており、圧電体16cと、圧電体16cの上下面に個別に形成された2つの電極17cとを有し、そのうち一方の電極17cを介して音響光学媒体15の1つの側面に接合されている。
したがって、トランスデューサ18cの2つの電極17cの間に適正周波数の交流電圧が印加されると、超音波伝搬路Rc内を平面超音波が伝搬するので、超音波伝搬路Rcは、超音波の伝搬方向と垂直な位相格子を持った位相型回折格子となる。以下、この超音波伝搬路Rcの伝搬方向を、「第3方向」と称す。この第3方向は、第1方向に対して-60°の角度を成す。
図5は、制御装置19の基本構成を説明する図である。図5中に符号19Aで示すのは、制御装置19に備えられた駆動回路19Aであり、高周波交流電源19A-1と切り換えスイッチ19A-2とを備える。
高周波交流電源19A-1は、超音波空間光変調器3へ供給されるべき交流電圧を生成する。その交流電圧の周波数は、制御回路19内のCPUによって適正周波数(例えば、数十MHz~100MHz内の何れかの値)に制御される。
よって、2光束構造化照明S’の位相シフト量を例えば-2π/3、0、+2π/3の3通りにステップ状に変化させる場合、CPUは、その交流電圧の周波数を、周波数の異なる3通りの適正周波数f-1、f0、f+1の間で切り換えればよい。
例えば、適正周波数f0は、長さLが30mmである超音波伝搬路Ra、Rb、Rcに100本の超音波定在波(それに対応する2光束構造化照明の縞本数は200)を生起させるための適正周波数(80MHz)とする。この適正周波数f0では、2光束構造化照明S’の位相シフト量はゼロである。
この場合、適正周波数f-1は、長さLが30mmである超音波伝搬路Ra、Rb、Rcに(100-1/2)本の超音波定在波(それに対応する2光束構造化照明の縞本数は199)を生起させるための適正周波数(79.946MHz)となる。この適正周波数f-1では、2光束構造化照明S’の位相シフト量は-2π/3となる。
また、適正周波数f+1は、長さLが30mmである超音波伝搬路Ra、Rb、Rcに(100+1/2)本の超音波定在波(それに対応する2光束構造化照明の縞本数は201)を生起させるための適正周波数(80.054MHz)となる。この適正周波数f+1では、2光束構造化照明S’の位相シフト量は+2π/3となる。
切り換えスイッチ19A-2は、高周波交流電源19A-1と超音波空間光変調器3との間に配置され、超音波空間光変調器3の側の接続先を、超音波空間光変調器3の3つのトランスデューサ18a、18b、18cの間で切り換えることが可能である。スイッチ19A-2の接続先は、制御装置19内のCPUによって適宜に切り換えられる。
切り換えスイッチ19A-2の接続先がトランスデューサ18aの側であるとき、交流電圧はトランスデューサ18aの2つの電極の間に印加されるので、3つの超音波伝搬路Ra、Rb、Rcのうち超音波伝搬路Raのみが有効となる。
また、切り換えスイッチ19A-2の接続先がトランスデューサ18bの側であるとき、交流電圧はトランスデューサ18bの2つの電極の間に印加されるので、3つの超音波伝搬路Ra、Rb、Rcのうち超音波伝搬路Rbのみが有効となる。
また、切り換えスイッチ19A-2の接続先がトランスデューサ18cの側であるとき、交流電圧はトランスデューサ18cの2つの電極の間に印加されるので、3つの超音波伝搬路Ra、Rb、Rcのうち超音波伝搬路Rcのみが有効となる。
このように、有効な超音波伝搬路を3つの超音波伝搬路Ra、Rb、Rcの間で切り換えれば、2光束構造化照明S’の方向を第1方向に対応する方向と、第2方向に対応する方向と、第3方向に対応する方向との間で切り換えることができる。
したがって、以上の超音波空間光変調器3及び制御装置19を適切に駆動すれば、詳細な2次元超解像画像を生成することができる。具体的には、以下のとおりである。
図6は、CPUの動作フローチャートである。以下、各ステップを順に説明する。
ステップS11:CPUは、切り換えスイッチ19A-2の接続先を1番目のトランスデューサ(トランスデューサ18a)の側に設定することにより、2光束構造化照明S’の方向を第1方向に対応する方向に設定する。
ステップS12:CPUは、高周波交流電源19A-1が生成する交流電圧の周波数を、適正周波数f-1に設定することにより、2光束構造化照明S’の位相シフト量を-2π/3に設定する。
ステップS13:CPUは、この状態で撮像装置12を駆動して画像データI-1を取得する。
ステップS14:CPUは、高周波数交流電源19A-1が生成する交流電圧の周波数を、適正周波数f0に設定することにより、2光束構造化照明S’の位相シフト量をゼロに設定する。
ステップS15:CPUは、この状態で撮像装置12を駆動して画像データI0を取得する。
ステップS16:CPUは、高周波数交流電源19A-1が生成する交流電圧の周波数を、適正周波数f+1に設定することにより、2光束構造化照明S’の位相シフト量を+2π/3に設定する。
ステップS17:CPUは、この状態で撮像装置12を駆動して画像データI+1を取得する。
ステップS18:CPUは、2光束構造化照明S’の方向が前述した3方向の全てに設定済みであるか否かを判別し、設定済みで無い場合はステップS19へ移行し、設定済みであった場合はフローを終了する。
ステップS19:CPUは、切り換えスイッチ19A-2の接続先を切り換えることにより2光束構造化照明S’の方向を切り換えてから、ステップS12へ移行する。
以上のフローによると、第1方向に関する画像データIa-1、Ia0、Ia+1と、第2方向に関する画像データIb-1、Ib0、Ib+1と、第3方向に関する画像データIc-1、Ic0、Ic+1とが取得される。これらの画像データは、画像記憶・演算装置13へ取り込まれる。
画像記憶・演算装置13は、第1方向に関する3つの画像データIa-1、Ia0、Ia+1に基づき第1方向に亘る復調画像データIa’を取得し、第2方向に関する3つの画像データIb-1、Ib0、Ib+1に基づき第2方向に亘る復調画像データIb’を取得し、第3方向に亘る3つの画像データIc-1、Ic0、Ic+1に基づき第3方向に亘る復調画像データIc’を取得すると、それら3つの復調画像データIa’、Ib’、Ic’を波数空間上で合成してから再び実空間に戻すことにより、第1方向、第2方向、第3方向に亘る超解像画像の画像データIを取得し、その画像データIを画像表示装置14へ送出する。この超解像画像は、標本10の面内方向の3方向に亘る2次元超解像画像である。
以上、本システムでは、光位相変調器5Cの遮光機能をオンすることにより、±1次回折光からなる構造化照明(すなわち2光束構造化照明)を実施することができる。
よって、本システムでは、この2光束構造化照明のパターンを切り換えながら複数の画像データを取得することにより、標本10の面内方向に亘る超解像画像(すなわち2次元超解像画像)の生成が可能となる。以下、2次元超解像画像を生成するための本システムのモードを「2次元モード」と称す。
さらに、本システムでは、光位相変調器5Cの遮光機能をオフすることにより、±1次回折光及び0次回折光からなる構造化照明(すなわち3光束構造化照明)を実施することができる。
よって、本システムでは、この3光束構造化照明のパターンを切り換えながら複数の画像データを取得することにより、標本10の面内方向及び光軸方向に亘る超解像画像(すなわち3次元超解像画像)を生成することができる。以下、3次元超解像を生成するための本システムのモードを「3次元モード」と称す。
以下、3次元モードを詳しく説明する。なお、ここでは上述した2次元モードとの相違点のみを説明する。
3次元モードにおいて標本10へ投影される3光束構造化照明は、±1次回折光及び0次回折光の3光束からなるので、標本10の面内方向にかけて構造化されているだけでなく、光軸方向にかけても構造化されている。しかも、標本10の面内における3光束構造化照明のパターンは、標本10の面内における2光束構造化照明のパターンとは若干相違する。以下、それを詳しく説明する。
先ず、超音波空間光変調器3には前述したとおり超音波定在波が生起しており、その超音波定在波のパターン(=超音波伝搬路の屈折率分布)の瞬時値は、図7の上段から下段に向かうとおりに時間変化している。
図7では、超音波伝搬路の屈折率分布がフラットとなる瞬間の時刻tをt=0とおき、屈折率分布の時間変化周期をTとおいた。因みにこの周期Tは、超音波空間光変調器3に供給される交流電圧の周波数の逆数に相当する。以下、t=0~T/2の期間を「屈折率変化の前半期」と称し、t=T/2~Tの期間を「屈折率変化の後半期」と称す。また、図7において丸印を付したとおり超音波伝搬路において屈折率が不変の部分を「節」と称し、屈折率の変化する部分を「腹」と称す。
ここで、図7における腹aに着目すると、屈折率変化の前半期には、腹aの屈折率は節の屈折率と比較して高くなる(媒質が密となる)のに対して、屈折率変化の後半期には、腹aの屈折率は節の屈折率と比較して低くなる(媒質が粗となる)のがわかる。
一方、図7において腹aに隣接する腹bに着目すると、屈折率変化の前半期には、腹bの屈折率は節の屈折率と比較して低くなる(媒質が粗となる)のに対して、屈折率変化の後半期には、腹bの屈折率は節の屈折率と比較して高くなる(媒質が密となる)のがわかる。
したがって、超音波空間光変調器3を位相型回折格子とみなすと、その位相型回折格子は、図8(A)又は図9(A)に示すとおり、屈折率変化の前半期と後半期との間で位相分布が反転している。つまり、その位相型回折格子は、屈折率変化の前半期と後半期との間で格子半ピッチ分だけ横ズレしている。
ここで、2光束構造化照明は2光束干渉縞なので、2光束構造化照明の標本10上の縞本数は、図8(B)に模式的に示すとおり、それに対応する位相型回折格子の格子数の2倍であった。よって、位相型回折格子が図8(A)のとおり横シフトすると、2光束構造化照明のパターンは、図8(B)のとおり変化する。すなわち、2光束構造化照明は、屈折率変化の前半期と後半期との間で縞1ピッチ分だけ横ズレしている。
したがって、2光束構造化照明を周期Tより十分に長い期間に亘って時間積分すると、2光束構造化照明の各時点のパターンは強められ、高コントラストなストライプ画像となる。この場合、2光束構造化照明は、撮像装置12によって画像化することが可能である。
一方、3光束構造化照明は3光束干渉縞なので、3光束構造化照明の標本10上の縞本数は、図9(B)に模式的に示すとおり、それに対応する位相型回折格子の格子数の1倍となる。よって、位相回折格子が図9(A)のとおり横シフトすると、3光束構造化照明のパターンは、図9(B)のとおり変化する。すなわち、3光束構造化照明は、屈折率変化の前半期と後半期との間で縞半ピッチ分だけ横ズレしている。この事実は、3光束構造化照明のうち光軸方向位置の異なる各面について同様に当てはまる。
したがって、この状態の3光束構造化照明を周期Tより十分に長い期間に亘って時間積分すると、3光束構造化照明の各時点のパターンは打ち消し合い、コントラストの無い一様な画像(グレーの画像)となってしまう。この場合、3光束構造化照明は、撮像装置12によって画像化できない。
本システムにおいて光位相変調器5C(図1参照)が備えられたのは、3次元モードにおけるこの問題(コントラスト低下の問題)を解決するためである。
図10は、3次元モードに関わる制御装置19の構成を説明する図である。図10に示すとおり、制御装置19は、前述した交流電源19A-1や切り換えスイッチ19A-2の他に、電源回路19Cや位相調整回路19Dなどを備えている。
電源回路19Cは、第1出力端子と第2出力端子とを有しており、第1出力端子は、前述した交流電圧(正弦信号)を超音波空間光変調器3の側へ供給するための端子であり、第2出力端子は、パルス電圧(パルス信号)を光位相変調器5Cの側へ供給するための端子である。
この電源回路19Cは、第2出力端子から出力されるパルス信号の周波数を、第1出力端子から出力される正弦信号の周波数と常に一致させており、制御回路19内のCPUによって正弦信号の周波数が切り換えられた場合には、パルス信号の周波数も同様に切り換える。なお、パルス信号のデューティー比(ON期間/パルス周期)は、予め決められた比率(ここでは1/2とする。)に設定されており、パルス信号の周波数に依らず不変である。
位相調整回路19Dは、電源回路19Cと光位相変調器5Cとの間に介設されており、制御装置19内のCPUからの指示に応じて、正弦信号とパルス信号との間の位相関係を調整する。
図11(A)は、正弦信号の波形を示す図であり、図11(B)は、パルス信号の波形を示す図である。このうち正弦信号の波形は、超音波空間光変調器3における超音波定在波の時間変化波形(すなわち腹a、bの各々の屈折率の時間変化波形)を規定しており、パルス信号の波形は、光位相変調器5Aが0次回折光に加える位相変調量の時間変化波形を規定している。
このパルス信号によると、0次回折光の位相変調量を、前述した前半期と後半期との一方において0とし他方においてπとすることができる。この場合、3光束構造化照明の各時点のパターンが打ち消し合うことを回避できるので、3光束構造化照明の画像のコントラストを最大に高めることができる。
以下、パターンの打ち消し合いが回避できる理由を詳しく説明する。説明上、0次回折光の位相変調量は、前半期においてπとなり、後半期に0となるものと仮定する。
先ず、0次回折光の位相変調が行われなかった場合(光位相変調器5Cの変調機能をオフした場合)の3光束構造化照明のパターン(3光束構造化照明の位相分布)を考える。
この場合の3光束構造化照明は、図9(B)に示したとおり前半期と後半期とでパターンを反転させるので、前半期のパターンを以下の式(1)で表したならば、後半期のパターンは以下の式(2)で表される。
Ii(r) = I0 + 2I+ 4・√I0・√I・cos(kxX)・cos(kzZ)+ 2・I・cos(2kxX)…(1)
Ii(r) = I0 + 2I+ 4・√I0・√I・cos(kxX-π)・cos(kzZ)+ 2・I・cos(2kxX-2π) …(2)
なお、Xは、3光束構造化照明において位相型回折格子のピッチ方向に対応した方向の位置を示し、Zは、3光束構造化照明の光軸方向の位置を示し、I0は、0次回折光の強度を示し、Iは、±1次回折光の強度を示し、kは、波数を示している。式(1)、(2)における第1項は、0次回折光の強度であり、第2項は、+1次回折光の強度と-1次回折光の強度との和であり、第3項は、±1次回折光と0次回折光との間の干渉強度分布であり、第4項は、±1次回折光同士の干渉強度分布である。式(1)と式(2)との間では、第3項のみが異なる。
Ii(r) = I0 + 2I+ 4・√I0・√I・cos(kxX)・cos(kzZ)+ 2・I・cos(2kxX)…(1)
Ii(r) = I0 + 2I+ 4・√I0・√I・cos(kxX-π)・cos(kzZ)+ 2・I・cos(2kxX-2π) …(2)
なお、Xは、3光束構造化照明において位相型回折格子のピッチ方向に対応した方向の位置を示し、Zは、3光束構造化照明の光軸方向の位置を示し、I0は、0次回折光の強度を示し、Iは、±1次回折光の強度を示し、kは、波数を示している。式(1)、(2)における第1項は、0次回折光の強度であり、第2項は、+1次回折光の強度と-1次回折光の強度との和であり、第3項は、±1次回折光と0次回折光との間の干渉強度分布であり、第4項は、±1次回折光同士の干渉強度分布である。式(1)と式(2)との間では、第3項のみが異なる。
次に、0次回折光の位相変調が行われた場合(光位相変調器5Cの変調機能をオンした場合)の3光束構造化照明のパターンを考える。
この場合の3光束構造化照明は、0次回折光を変調幅πで位相変調したことにより、前半期における0次回折光の位相がπだけ変位するので、前半期のパターンは式(1’)のようになり、後半期のパターンは、式(2)のままとなる。
Ii(r) = I0 + 2I+ 4・√I0・√I・cos(kxX-π)・cos(kzZ)+ 2・I・cos(2kxX)…(1')
つまり、0次回折光の位相変調が行われた場合の3光束構造化照明は、前半期には、式(1’)のパターンとなり、後半期には、式(2)のパターンとなる。この式(1’)を式(2)と比較すると、両者のパターンは互いに同じであることがわかる。
Ii(r) = I0 + 2I+ 4・√I0・√I・cos(kxX-π)・cos(kzZ)+ 2・I・cos(2kxX)…(1')
つまり、0次回折光の位相変調が行われた場合の3光束構造化照明は、前半期には、式(1’)のパターンとなり、後半期には、式(2)のパターンとなる。この式(1’)を式(2)と比較すると、両者のパターンは互いに同じであることがわかる。
したがって、0次回折光の位相変調を行えば、パターンの打ち消し合いを回避できる。
なお、ここでは、0次回折光の位相の変位するタイミングを前半期のみとしたが、後半期のみとした場合も、同様の効果が得られることは言うまでもない。
さて、3次元モードに先立ち、制御装置19内のCPUは、標本10の代わりに一様なテスト標本が本システムへ配置された状態で、可干渉光源1、撮像装置12、位相調整回路19Dの各々を連続駆動し、撮像装置12から出力される画像のコントラストを参照しながら光強度変調器30の位相調整量を変化させ、そのコントラストが最大となった時点(又は、そのコントラストが閾値以上となった時点)で、その位相調整量を固定する。
図12は、超音波定在波の腹aの屈折率の時間変化波形と、0次回折光の位相変調量の時間変化波形とを比較する図である。図12では、腹aの屈折率の時間変化波形を実線で示し、0次回折光の位相変調量の時間変化波形を点線で示した。
図12(A)に示すとおり、腹aの屈折率の時間変化波形と0次回折光の位相変調量の時間変化波形との間の位相差ΔΨがπ/2の偶数倍に一致したときには、0次回折光の位相の変位する期間が、屈折率変化の前半期と後半期との何れか一方に一致するので、3光束構造化照明の画像のコントラストは最大となる。
また、図12(B)に示すとおり、腹aの屈折率の時間変化波形と0次回折光の位相変調量の時間変化波形との間の位相差ΔΨがπ/2の偶数倍に一致していなかったとしても、その位相差ΔΨがπ/2の奇数倍に一致しない限り、3光束構造化照明の画像は、コントラストを有する。
しかし、図12(C)に示すとおり、腹aの屈折率の時間変化波形と0次回折光の位相変調量の時間変化波形との間の位相差ΔΨがπ/2の奇数倍に一致してしまうと、3光束構造化照明の画像のコントラストは、ゼロとなる。
したがって、3次元モードでは、腹aの屈折率の時間変化波形と0次回折光の位相変調量の時間変化波形との間の位相差ΔΨは、π/2の奇数倍以外、望ましくはπ/2の偶数倍に設定される。
なお、ここでは腹aの屈折率に着目して説明したが、腹bの屈折率の時間変化波形は腹aの屈折率の時間変化波形を逆位相にしたものなので、腹aの屈折率に着目した場合にも同様のことが当てはまる。
そして、3次元モードにおけるCPUは、2次元モードにおけるCPU(図6参照)と同様、切り換えスイッチ19A-2の接続先を切り換えることにより3光束構造化照明の方向を第1方向、第2方向、第3方向の間で切り換える。
また、3次元モードにおけるCPUは、2次元モードにおけるCPU(図6参照)と同様に、3光束構造化照明の方向が第1方向、第2方向、第3方向であるときの各々において、3光束構造化照明の位相をシフトさせながら画像データを繰り返し取得する。
但し、3次元モードでは、3光束構造化照明の構造情報を除去するための分離演算に、3光束構造化照明の位相の異なる少なくとも5つの画像データが必要である(因みに、2次元モードでは、少なくとも3つの画像データがあれば十分であった。)。
このため、3次元モードにおけるCPUは、3光束構造化照明の1ステップ当たりの位相シフト量を、例えば2π/5とすることが望ましい。
その場合、超音波伝搬路Rへ入射する光のスポット(有効径)Sの中心から超音波伝搬路Rの一端までの距離Dを、超音波伝搬路Rの伝搬方向の長さLの1/5倍に設定すればよい(D=L/5)。
そして、3次元モードにおけるCPUは、各方向につき、位相シフト量が2π/5ずつ異なる5つの画像データを取得し、第1方向に関する5つの画像データと、第2方向に関する5つの画像データと、第3方向に関する5つの画像データとを、画像記憶・演算装置13へ送出する。
また、3次元モードにおける画像記憶・演算装置13は、第1方向に関する5つの画像データに基づき第1方向及び光軸方向に亘る復調画像データを取得し、第2方向に関する5つの画像データに基づき第2方向及び光軸方向に亘る復調画像データを取得し、第3方向に関する5つの画像データに基づき第3方向及び光軸方向に亘る復調画像データを取得すると、それら3つの復調画像データを波数空間上で合成してから再び実空間に戻すことにより、第1方向、第2方向、第3方向、及び光軸方向に亘る超解像画像の画像データを取得し、その画像データを画像表示装置14へ送出する。この超解像画像は、標本10の面内の3方向及び光軸方向に亘る超解像画像(3次元超解像画像)である(以上、3次元モードの説明。)。具体的な演算には、例えば、US8115806に開示された方法を用いることができる。
以上、本システムでは、超音波伝搬路Rの長さLと、スポットSの径φと、超音波伝搬路Rの一端からスポットSの中心までの距離Dとが、前述した最適な関係に設定されるので、超音波空間光変調器3に与える交流電圧の周波数を電気的に切り換えるだけで、2光束構造化照明又は3光束構造化照明の位相を切り換えることできる。その切り換えに要する時間は短く、電源を含む回路系の時定数込みでも10ms以下に抑えられる。
したがって、本システムにおいて必要数の画像データの取得に要する時間は、2光束構造化照明又は3光束構造化照明の位相を切り換えるために光学素子又は標本10を機械的に移動させる場合と比較して、格段に短く抑えられる。
また、本システムでは、2光束構造化照明又は3光束構造化照明の位相を切り換えるために、光学素子又は標本10を機械的に移動させる必要が無いので、光学系周辺の構成をシンプルに抑えることができる。
また、本システムでは、1つの音響光学媒体15内に角度の異なる3つの超音波伝搬路Ra、Rb、Rcを形成したので、切り換えスイッチ19A-1の接続状態を電気的に変更するだけで、2光束構造化照明又は3光束構造化照明の方向を切り換えることができる。その切り換えに要する時間は短く、電源を含む回路系の時定数込みでも10ms以下に抑えられる。
したがって、本システムにおいて必要数の画像データの取得に要する時間は、2光束構造化照明又は3光束構造化照明の方向を切り換えるために光学素子又は標本10を機械的に回動させる場合と比較して、格段に短く抑えられる。
また、本システムでは、2次元モードと3次元モードとの間で切り換えが可能なので、同一の標本10から2次元超解像画像と3次元超解像画像との双方を生成することができる。
また、本システムの3次元モードでは、3光束構造化照明を生起させるための位相型回折格子として超音波空間光変調器を使用しているので、3光束構造化照明の画像のコントラストがゼロとなる虞(画像化ができない虞)もあったが、光位相変調器5Cを使用し、0次回折光の位相を、正弦信号と同じ周波数のパルス信号で変調するので、そのような問題(コントラスト低下の問題)を回避することができる。
[画像コントラスト制御に関する補足]
また、本システムの3次元モードでは、屈折率の時間変化波形と0次回折光の位相変調量の時間変化波形との間の位相差ΔΨの調整を、制御装置19が自動で行ったが、システムのユーザが手動で行ってもよい。但し、その場合は、調整中の画像のコントラストをユーザが確認できるよう、撮像装置12から出力される画像を制御装置19がリアルタイムで画像表示装置14へ表示する必要がある。
また、本システムの3次元モードでは、屈折率の時間変化波形と0次回折光の位相変調量の時間変化波形との間の位相差ΔΨの調整を、制御装置19が自動で行ったが、システムのユーザが手動で行ってもよい。但し、その場合は、調整中の画像のコントラストをユーザが確認できるよう、撮像装置12から出力される画像を制御装置19がリアルタイムで画像表示装置14へ表示する必要がある。
また、本システムの3次元モードでは、パルス信号の周波数を正弦信号の周波数と一致させたが、パルス信号が正弦信号と同期していれば、パルス信号の周波数が正弦信号の周波数と一致していなくても構わない。
例えば、パルス信号の周波数を、正弦信号の周波数の1/N倍(Nは1以上の整数)に設定し、パルス信号のデューティー比(ON期間/パルス周期)を1/(2N)に設定してもよい。図13は、N=3とした場合の例であり、図13(A)はN=3の設定下における超音波定在波の図7における腹aの屈折率の時間変化波形を示しており、図13(B)は、N=3の設定下における0次回折光の位相の時間変化波形を示している。
この場合、屈折率変化の3周期(3T)に1回ずつしか0次回折光の位相は変位しないが、0次回折光の位相の変位する期間の長さは、屈折率変化の半周期分(T/2)となるので、屈折率の時間変化波形と0次回折光の位相変調量の時間変化波形との間の位相差ΔΨを適切な値に調整し、図13(A)、(B)に示すとおり0次回折光の位相の変位する期間を、屈折率変化の前半期と後半期との一方のみに一致させることで、画像コントラストを高めることができる。
なお、Nを2以上とした場合には、画像コントラストの高まる期間が連続的ではなく間欠的となるので(画像コントラストの高まる期間が間欠的にしか出現しないので)、撮像素子12の駆動信号(電子シャッタの開閉タイミングを規定する信号)を前述した正弦信号に動期させることで、撮像素子12の電荷蓄積期間を、画像コントラストの高まる期間のみに制限してもよい。
この場合、電荷蓄積期間は、例えば図13(C)に示すように、位相変調周期(N×T)のうち、0次回折光の位相の変位する期間(T/2)と、その前又は後における同等期間(T/2)とを合わせた期間(T)に設定されればよい。
なお、ここでは、パルス信号のデューティー比(ON期間/パルス周期)を1/(2N)に一致させたが、画像コントラストが多少低下しても良い場合には、そのデューティー比は1/(2N)に完全に一致していなくてもよく、1/(2N)未満としてもよい。
因みに、デューティー比を1/(2N)未満とした場合、0次回折光の位相の変位する期間の長さが屈折率変化の半周期分(T/2)よりも狭まるので、屈折率の時間変化波形と0次回折光の位相変調量の時間変化波形との間の位相差ΔΨを適切な値に調整し、0次回折光の位相の変位するタイミングを、屈折率がピーク又はバレーとなるタイミングに一致させることが望ましい。
また、本システムの3次元モードでは、0次回折光の位相の時間変調波形をパルス波形とし、0次回折光の位相を0とπの間で急峻に変位させた(位相を切り替えた)が、その時間変調波形を正弦波形とし、0とπとの間で緩やかに変位させるだけでも一定の効果が得られる。
また、本システムの3次元モードでは、0次回折光の位相の時間変化波形をパルス波形又は正弦波形としたが、0次回折光の位相が時間変調されるのであれば、他の波形を使用してもよい。
また、本システムの3次元モードでは、マスク5Aの挿入先を、超音波空間光変調器3から蛍光フィルタ8bまでの光路の瞳共役面としたが、瞳共役面から多少外れていてもよい。但し、瞳共役面に近い方が、0次回折光の入射位置と±1次回折光の入射位置との間隔が広がるので、光位相変調器5C及び補正用ブロック5C’のレイアウトの自由度が高まる点で有利である。
また、本システムの3次元モードでは、位相変調の対象を0次回折光としたが、±1次回折光としてもよい。図14は、位相変調の対象が0次回折光であるときの位相変調パターンの例であるのに対し、図15は、位相変調の対象が±1次回折光であるときの位相変調パターンの例である。
また、位相変調の対象を±1次回折光とする場合は、図16(A)に示すとおり、光位相変調器5Cの配置先は、±1次回折光の入射する領域(光軸に関して対象な2つの領域)となり、補正用ブロック5C’の配置先は、0次回折光の入射する領域(光軸近傍の領域)となる。なお、その場合は、0次回折光の光路を開閉するシャッタが別途必要となる。
また、位相変調の対象を±1次回折光とした場合、回折光の分岐方向の切り換えに対応するには、図16(A)に矢印で示すとおり、マスク5Aの全体を光軸の周りに回動可能にしておくか、例えば図16(B)に示すとおり、光位相変調器5Cの配置先を、±1次回折光の入射しうる領域の全体に設定しておけばよい(なお、図16(A)、(B)は、模式図であり、電極や配線などの図示も省略してある。)。
また、本システムの3次元モードでは、±1次回折光と0次回折光との間の位相差を変調するために、位相変調の対象を±1次回折光と0次回折光との何れか一方のみとしたが、双方としてもよいことは言うまでもない。その場合は、±1次回折光の入射しうる領域と0次回折光の入射しうる領域との双方に対して個別に光位相変調器5Cを配置すればよい。
なお、本システムでは回折光の位相を変調するために光位相変調器5Cを用いたが、これに限られるものではない。例えば、光位相変調器5Cの代わりに厚さが異なる屈折部材を用いることも想定の範囲内であり、厚さの異なる屈折部材として、楔形や階段状のガラス部材などが挙げられる。0次回折光の入射する領域に楔形や階段状のガラス部材を配置し、所定の方向にガラス部材を移動させる、或いは、所定の軸を中心としてガラス部材を回転させることで、0次回折光が通過するガラス部材の厚さを周期的に変化させて、ガラス部材を通過する回折光の位相を変調することも可能である。
[構造化照明の位相シフトに関する補足]
なお、本システムの2次元モードでは、トランスデューサに与えられる交流電圧の周波数の変化パターンを、超音波定在波の波本数が1/2本ずつ変化するようなパターンとし、かつ、第1方向及び第2方向及び第3方向の各々の2光束構造化照明の位相シフトピッチを2π/3とするために、スポット(有効径)Sの中心から超音波伝搬路の一端までの距離Dを、超音波伝搬路Rの伝搬方向の長さLの1/3倍に設定した(D=L/3)が、これに限定されることはない。
なお、本システムの2次元モードでは、トランスデューサに与えられる交流電圧の周波数の変化パターンを、超音波定在波の波本数が1/2本ずつ変化するようなパターンとし、かつ、第1方向及び第2方向及び第3方向の各々の2光束構造化照明の位相シフトピッチを2π/3とするために、スポット(有効径)Sの中心から超音波伝搬路の一端までの距離Dを、超音波伝搬路Rの伝搬方向の長さLの1/3倍に設定した(D=L/3)が、これに限定されることはない。
具体的には、超音波伝播路は、以下の条件を満たしていればよい。
先ず、トランスデューサに与えられる交流電圧の周波数の変化パターンは、超音波定在波の波本数がM/2本ずつ変化するようなパターンであればよい(但し、|M|は1以上の整数)。
その場合、2光束構造化照明の位相シフトピッチを任意の値Δψに設定するためには、超音波伝搬路の一端からスポットSの中心までの距離Dと、超音波伝搬路の全長Lとは、D:L=Δψ/M:2πの関係を満たせばよい。
因みに、M=1とすれば、超音波定在波の本数が1/2本ずつしか変化しないので、その変化に起因して2光束構造化照明の縞本数に生じるズレを極めて小さく抑えることができる。
また、分離演算に使用する画像データの数がkである場合は、Δψ=2π/kとすれば、必要な画像データを確実に取得することができる。但し、|k|は3以上の整数であることが好ましい。
また、本システムの3次元モードでは、トランスデューサに与えられる交流電圧の周波数の変化パターンを、超音波定在波の波本数が1/2本ずつ変化するようなパターンとし、かつ、第1方向及び第2方向及び第3方向の各々の3光束構造化照明の位相シフトピッチを2π/5とするために、スポット(有効径)Sの中心から超音波伝搬路の一端までの距離Dを、超音波伝搬路Rの伝搬方向の長さLの1/5倍に設定した(D=L/5)が、これに限定されることはない。
具体的には、超音波伝播路は、以下の条件を満たしていればよい。
先ず、トランスデューサに与えられる交流電圧の周波数の変化パターンは、超音波定在波の波本数がM/2本ずつ変化するようなパターンであればよい(但し、|M|は1以上の整数)。
その場合、3光束構造化照明の位相シフトピッチを任意の値Δψに設定するためには、超音波伝搬路の一端からスポットSの中心までの距離Dと、超音波伝搬路の全長Lとは、D:L=Δψ/M:2πの関係を満たせばよい。
なお、標本面10に干渉縞を形成するためには、超音波光変調器3の超音波伝搬路Rにおける射出光束の通過領域(スポット)が、必ずしも超音波伝搬路Rの両端から離れた部分領域に制限されていなくてもよく、例えば、視野絞り5Bにより超音波伝搬路Rを通過した光束を絞る場合などには、超音波伝搬路Rにおける有効な射出光束の通過領域、すなわち、超音波伝搬路Rのうち標本面10の照明領域(観察領域、視野領域)に形成される干渉縞(構造化照明S’)に寄与する射出光束の通過した部分領域が、D:L=Δψ/M:2πの関係を満たしていればよい。
なお、標本面10に干渉縞を形成するためには、超音波光変調器3の超音波伝搬路Rにおける射出光束の通過領域(スポット)が、必ずしも超音波伝搬路Rの両端から離れた部分領域に制限されていなくてもよく、例えば、視野絞り5Bにより超音波伝搬路Rを通過した光束を絞る場合などには、超音波伝搬路Rにおける有効な射出光束の通過領域、すなわち、超音波伝搬路Rのうち標本面10の照明領域(観察領域、視野領域)に形成される干渉縞(構造化照明S’)に寄与する射出光束の通過した部分領域が、D:L=Δψ/M:2πの関係を満たしていればよい。
因みに、M=1とすれば、超音波定在波の本数が1/2本ずつしか変化しないので、その変化に起因して3光束構造化照明の縞本数に生じるズレを極めて小さく抑えることができる。
また、分離演算に使用する画像データの数がkである場合は、Δψ=2π/kとすれば、必要な画像データを確実に取得することができる。但し、|k|は5以上の整数であることが好ましい。
また、上述した説明では、超音波空間光変調器3におけるスポットの位置を2次元モードと3次元モードとの間で異ならせたが、この場合、モード切り換えの前後において超音波空間光変調器3の位置を移動させる必要が生じる。
そこで、本システムでは、超音波定在波の波本数を1/2本ずつ変化させることができるよう上述した正弦信号の切り換えパターンを設定しておくと共に、超音波伝搬路一端からスポットSの中心までの距離DがD:L=1:6を満たすように、スポットSと超音波空間光変調器3との位置関係を予め調整しておくとよい。
この場合、2次元モードでは、超音波定在波の波本数を1/2本ずつ変化させることで、2光束構造化照明の位相シフトピッチを「2π/3」とすることができる。
また、この場合、3次元モードでは、超音波定在波の波本数を1本ずつ変化させることで、3光束構造化照明の位相シフトピッチを「π/3」とすることができる。
図17には、D:L=1:6としたときにおける超音波定在波の波本数と位相シフト量との関係を示した。
したがって、2次元モードにおける画像記憶・演算装置13は、図17において符号a、c、eで示す3状態の各々で取得された3つの画像データを、前述した分離演算に使用すればよい。
一方、3次元モードにおける画像記憶・演算装置13は、図17において符号a~fで示す6状態の各々で取得された6つの画像データを、前述した分離演算に使用すればよい。
すなわち、本システムでは、スポットSと超音波空間光変調器3との位置関係を2次元モードと3次元モードとの双方に適した関係に予め調整しておくだけで、モード切り換えの前後における超音波空間光変調器3の移動を省くことができる。
また、本システムの音響光学媒体15は、3つの超音波伝搬路Ra、Rb、RcをスポットSの中心に関して非対称な関係で配置していたが(図4参照)、例えば図18に示すとおり対称な関係で配置してもよい。因みに、図4に示す例の利点は、音響光学媒体15の外形の凹凸が少ないところにあり、図18に示す例の利点は、3つの超音波伝搬路Ra、Rb、Rcの環境が完全に一致するところにある。
また、本システムでは、超音波伝播路Ra、Rb、Rcの長さを共通とし、トランスデューサ18a、18b、18cに与えられる交流電圧の周波数の変化パターンを共通としたが、非共通としてもよい。但し、その場合も、超音波伝搬路Ra、Rb、Rcの各々は、上述した条件を満たすものとする。
また、本実施形態の説明では、回折光による干渉縞の位相を変化させるために、超音波伝播路Ra、Rb、Rcで生起される超音波定在波の波本数(即ち、超音波定在波の波長)を所定のパターンで変化させると共に、超音波定在波の波長を変化させる方法の一つとして、超音波光変調器3のトランスデューサ18a、18b、18cに与えられる交流電圧の周波数を変化させることを説明したが、この方法に限られないことは言うまでもない。
また、本実施形態の説明では、回折光による干渉縞の位相を変化させるために、超音波伝播路Ra、Rb、Rcで生起される超音波定在波の波本数(即ち、超音波定在波の波長)を所定のパターンで変化させると共に、超音波定在波の波長を変化させる方法の一つとして、超音波光変調器3のトランスデューサ18a、18b、18cに与えられる交流電圧の周波数を変化させることを説明したが、この方法に限られないことは言うまでもない。
例えば、3次元モードにおいて±1次回折光と0次回折光との間の位相差を変調するために、マスク5Aにおける+1次回折光の入射領域と-1次回折光の入射領域とに対して個別に光位相変調器5Cを配置した場合(例えば、光位相変調器5C及び補正用ブロック5C’の配置を図19のようにした場合)は、次のようにしてもよい。
先ず、2次元モードでは、0次回折光を遮光し、+1次回折光に対して位相オフセットαを付与し、-1次回折光に対して位相オフセット-αを付与する(つまり、0次回折光に対する+1次回折光の位相オフセットと、0次回折光に対する-1次回折光の位相オフセットとを、等量反対符号に設定する。)。この状態でも、適正な2光束構造化照明を生成できる。そして、2光束構造化照明の位相を切り換える際には、前述した超音波定在波の波長を所定パターンで切り換える代わりに、位相オフセット量αを所定パターンで切り換える。例えば、位相オフセット量αを2π/3のピッチで3通りに切り換えれば、2光束構造化照明の位相を2π/3のピッチで3通りに切り換えることができる。
一方、3次元モードでは、0次回折光を開放し、+1次回折光に対して位相オフセットαを付与し、-1次回折光に対して位相オフセット-αを付与し、その状態から前述した変調を行う。この状態でも、適正な3光束構造化照明を生成できる(図20は、この場合の位相変調パターンを示す図である。)。そして、3光束構造化照明の位相を切り換える際には、前述した超音波定在波の波長を所定パターンで切り換える代わりに、位相オフセット量αを所定パターンで切り換える。例えば、位相オフセット量αを2π/5のピッチで5通りに切り換えれば、3光束構造化照明の位相を2π/5のピッチで5通りに切り換えることができる。
なお、ここでは、2次元モードにおける位相オフセット量αの変化ピッチと、3次元モードにおける位相オフセット量αの変化ピッチとを個別に設定したが、共通にしてもよい。すなわち、位相オフセット量αを2π/6ずつ切り換えることができるようにシステムを予め構成しておき、2次元モードでは、位相オフセット量αが0、2(2π)/6、4(2π)/6である3状態の各々で取得された3つの画像データを前述した分離演算に使用し、3次元モードでは、0、2π/6、2(2π)/6、3(2π)/6、4(2π)/6、5(2π)/6である6状態の各々で取得された6つの画像データを前述した分離演算に使用してもよい。
また、上述した実施形態では、干渉縞(2光束干渉縞、3光束干渉縞)を形成するための回折光として、±1次回折光及び0次回折光の組み合わせを用いたが、他の組み合わせを用いてもよい。3光束干渉縞を形成するためには、回折次数の間隔が等間隔な3つの回折光による3光束干渉を生起させればよいので、例えば、0次回折光、1次回折光、2次回折光の組み合わせ、±2次回折光及び0次回折光の組み合わせ、±3次回折光及び0次回折光の組み合わせ、などを用いることが可能である。
なお、本明細書において開示した以下の全ての文献について参照引用する(incorporated by reference)。
1)米国特許発明第6239909号公報
2)US8115806
3)Proceedings of the SPIE - The International Society for Optical Engineering (2000) vol.3919, p.141-50
1)米国特許発明第6239909号公報
2)US8115806
3)Proceedings of the SPIE - The International Society for Optical Engineering (2000) vol.3919, p.141-50
1:可干渉光源、2:コレクタレンズ、3:超音波空間光変調器、4:レンズ、5A:マスク、5C:光位相変調器、5C’:補正用ブロック、5B:視野絞り、9:対物レンズ、10:標本、12:撮像装置、13:画像記憶・演算装置、19:制御装置、14:画像表示装置、15、15’:音響光学媒体、16:圧電体、18:トランスデューサ、19A:駆動回路、19A-1:高周波交流電源、19A-2:切り換えスイッチ
Claims (15)
- 光源からの射出光束中に配置され、その射出光束を横切る方向に音波伝搬路を配した光変調器と、
前記音波伝搬路の媒体を振動させるための駆動信号を前記光変調器へ与えることにより、前記音波伝搬路内に音波定在波を生起させる駆動手段と、
前記音波伝搬路を通過した前記射出光束の少なくとも3つの回折光を干渉させ、その干渉縞を被観察物に形成する照明光学系と、
前記回折光の少なくとも1つの回折光の位相を所定の周期で制御する制御手段と、
を備えたことを特徴とする構造化照明装置。 - 請求項1に記載の構造化照明装置において、
前記制御手段は、
前記回折光の少なくとも2つの回折光の位相差が前記被観察物においてπとなるように前記位相を制御する
ことを特徴とする構造化照明装置。 - 請求項1又は2に記載の構造化照明装置において、
前記制御手段は、
変調信号により前記回折光の位相を変調する
ことを特徴とする構造化照明装置。 - 請求項3に記載の構造化照明装置において、
前記制御手段は、
前記変調信号の周波数を、前記駆動信号が有する周波数の1/N倍に設定すると共に、前記変調信号のデューティー比を、1/(2N)以下に設定する(但し、Nは1以上の整数)
ことを特徴とする構造化照明装置。 - 請求項3又は4に記載の構造化照明装置において、
前記制御手段は、
前記回折光の少なくとも1つの回折光の光路に配置された位相変調器と、前記位相変調器を前記変調信号で駆動する駆動部と
を備えることを特徴とする構造化照明装置。 - 請求項1~請求項5の何れか一項に記載の構造化照明装置において、
前記回折光は、0次回折光と、±1次回折光である
ことを特徴とする構造化照明装置。 - 請求項6に記載の構造化照明装置において、
前記0次回折光を基準とした前記+1次回折光の位相をαだけオフセットすると共に、前記0次回折光を基準とした前記-1次回折光の位相を-αだけオフセットするオフセット手段を更に備え、
前記制御手段は、
前記±1次回折光の位相がオフセットされた状態から前記変調を行うことにより、前記干渉縞のコントラストを制御すると共に、それらのオフセットの量αを所定のパターンで切り換えることにより、前記干渉縞の位相を切り換える
ことを特徴とする構造化照明装置。 - 請求項1~請求項6の何れか一項に記載の構造化照明装置において、
前記干渉縞は、
前記音波伝搬路の両端から離れた所定の部分領域を通過した前記射出光束により形成されたものであり、
前記駆動手段は、
前記音波定在波の波長を所定のパターンで切り換えることにより、前記干渉縞の位相を切り換える
ことを特徴とする構造化照明装置。 - 請求項8に記載の構造化照明装置において、
前記駆動手段は、
前記音波定在波の全体の波本数がM/2本ずつ変化するようなパターンで前記音波定在波の波長を変化させることが可能であり(但し、|M|は1以上の整数)、
前記干渉縞の位相シフトピッチをΔψとおくと、前記音波伝搬路の何れか一方の端部から前記部分領域までの距離Dと、前記音波伝搬路の全長Lとは、D:L=Δψ/M:2πの関係を満たす
ことを特徴とする構造化照明装置。 - 請求項8又は請求項9に記載の構造化照明装置において、
前記駆動手段は、
前記光変調器へ与える前記駆動信号の周波数を所定のパターンで切り換えることで、前記音波定在波の波長を切り換える
ことを特徴とする構造化照明装置。 - 請求項1~請求項10の何れか一項に記載の構造化照明装置において、
前記射出光束の3つの回折光を前記干渉縞に反映させる3次元モードと、前記射出光束の2つの回折光のみを前記干渉縞に反映させる2次元モードとの間で前記構造化照明装置のモードを切り換える切換手段を更に備えた
ことを特徴とする構造化照明装置。 - 請求項11に記載の構造化照明装置において、
前記干渉縞は、
前記音波伝搬路の両端から離れた所定の部分領域を通過した前記射出光束により形成されたものであり、
前記駆動手段は、
前記音波定在波の波長を所定のパターンで切り換えることにより、前記干渉縞の位相を切り換え、
前記音波伝搬路の何れか一方の端部から前記部分領域までの距離Dと、前記音波伝搬路の全長Lとは、D:L=1:6の関係を満たす
ことを特徴とする構造化照明装置。 - 請求項1~請求項12の何れか一項に記載の装置構造化照明装置において、
前記超音波光変調器は、
前記射出光束の通過領域で交差した複数の前記音波伝搬路を有し、それら音波伝搬路の間で有効な音波伝搬路を切り換えることにより、前記音波定在波の方向を切り換えることが可能である
ことを特徴とする構造化照明装置。 - 請求項1~請求項13の何れか一項に記載の構造化照明装置と、
前記照明装置で照明された被観察物からの観察光束を検出する検出器で取得された、前記音波定在波のパターンの異なる複数の状態での各々の像に基づき、前記被観察物の超解像画像を算出する演算手段を更に備えた
ことを特徴とする構造化照明顕微鏡。 - 光源からの射出光束中に配置され、その射出光束を横切る方向に音波伝搬路を配した光変調器を用意する光変調手順と、
前記音波伝搬路の媒質を振動させるための駆動信号を前記光変調器へ与えることにより、前記音波伝搬路内に音波定在波を生起させる駆動手順と、
前記音波伝搬路を通過した前記射出光束の少なくとも3つの回折光を干渉させ、その干渉縞を被観察物に形成する照明手順と、
前記回折光の少なくとも1つの回折光の位相を所定の周期で制御する制御手順と、
を含むことを特徴とする構造化照明方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013524609A JP5641142B2 (ja) | 2011-07-15 | 2012-07-13 | 構造化照明装置、構造化照明顕微鏡、構造化照明方法 |
US14/095,453 US9146393B2 (en) | 2011-07-15 | 2013-12-03 | Structured illumination apparatus, structured illumination microscopy, and structured illumination method |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011156456 | 2011-07-15 | ||
JP2011-156456 | 2011-07-15 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US14/095,453 Continuation US9146393B2 (en) | 2011-07-15 | 2013-12-03 | Structured illumination apparatus, structured illumination microscopy, and structured illumination method |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2013011680A1 true WO2013011680A1 (ja) | 2013-01-24 |
Family
ID=47557880
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2012/004548 WO2013011680A1 (ja) | 2011-07-15 | 2012-07-13 | 構造化照明装置、構造化照明顕微鏡、構造化照明方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US9146393B2 (ja) |
JP (1) | JP5641142B2 (ja) |
WO (1) | WO2013011680A1 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015052673A (ja) * | 2013-09-06 | 2015-03-19 | 株式会社ニコン | 構造化照明装置及び構造化照明顕微鏡装置 |
JPWO2013125723A1 (ja) * | 2012-02-24 | 2015-07-30 | 国立大学法人 東京大学 | 照明方法および顕微観察装置 |
JP2017223726A (ja) * | 2016-06-13 | 2017-12-21 | 株式会社ニコン | 顕微鏡装置、観察方法、及び制御プログラム |
JP2019526829A (ja) * | 2016-08-15 | 2019-09-19 | ライカ マイクロシステムズ シーエムエス ゲゼルシャフト ミット ベシュレンクテル ハフツングLeica Microsystems CMS GmbH | ライトシート顕微鏡 |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012049831A1 (ja) * | 2010-10-14 | 2012-04-19 | 株式会社ニコン | 構造化照明装置、構造化照明顕微鏡装置、及び面形状測定装置 |
JP5958779B2 (ja) * | 2012-10-12 | 2016-08-02 | 株式会社ニコン | 顕微鏡及び観察方法 |
WO2019006433A1 (en) | 2017-06-30 | 2019-01-03 | Preza Chrysanthe | MULTILAYER LIGHT SHEET STRUCTURED LIGHT EMITTING FLUORESCENCE MICROSCOPY SYSTEM |
DE102018113208A1 (de) * | 2018-06-04 | 2019-12-05 | Carl Zeiss Microscopy Gmbh | Verfahren zum Betreiben eines Lichtmikroskops mit strukturierter Beleuchtung und Optikanordnung |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007043313A1 (ja) * | 2005-10-11 | 2007-04-19 | Nikon Corporation | 顕微鏡装置及び観察方法 |
JP2007199572A (ja) * | 2006-01-30 | 2007-08-09 | Nikon Corp | 顕微鏡装置 |
JP2007279287A (ja) * | 2006-04-05 | 2007-10-25 | Nikon Corp | 構造化照明光学系、及びそれを備えた構造化照明顕微鏡 |
JP2008216778A (ja) * | 2007-03-06 | 2008-09-18 | Nikon Corp | 構造化照明顕微鏡 |
WO2010037487A1 (de) * | 2008-09-30 | 2010-04-08 | Carl Zeiss Microimaging Gmbh | Verbesserte verfahren und vorrichtungen für die mikroskopie mit strukturierter beleuchtung |
JP2010540999A (ja) * | 2007-09-28 | 2010-12-24 | カール ツァイス マイクロイメージング ゲーエムベーハー | 照明された試料を光学的に捕捉するための方法および装置 |
WO2011135819A1 (ja) * | 2010-04-26 | 2011-11-03 | 株式会社ニコン | 構造化照明顕微鏡装置 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11242189A (ja) | 1997-12-25 | 1999-09-07 | Olympus Optical Co Ltd | 像形成法、像形成装置 |
WO2006109448A1 (ja) | 2005-03-30 | 2006-10-19 | Nikon Corporation | 画像作成方法および顕微鏡装置 |
WO2012049831A1 (ja) * | 2010-10-14 | 2012-04-19 | 株式会社ニコン | 構造化照明装置、構造化照明顕微鏡装置、及び面形状測定装置 |
-
2012
- 2012-07-13 JP JP2013524609A patent/JP5641142B2/ja not_active Expired - Fee Related
- 2012-07-13 WO PCT/JP2012/004548 patent/WO2013011680A1/ja active Application Filing
-
2013
- 2013-12-03 US US14/095,453 patent/US9146393B2/en not_active Expired - Fee Related
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007043313A1 (ja) * | 2005-10-11 | 2007-04-19 | Nikon Corporation | 顕微鏡装置及び観察方法 |
JP2007199572A (ja) * | 2006-01-30 | 2007-08-09 | Nikon Corp | 顕微鏡装置 |
JP2007279287A (ja) * | 2006-04-05 | 2007-10-25 | Nikon Corp | 構造化照明光学系、及びそれを備えた構造化照明顕微鏡 |
JP2008216778A (ja) * | 2007-03-06 | 2008-09-18 | Nikon Corp | 構造化照明顕微鏡 |
JP2010540999A (ja) * | 2007-09-28 | 2010-12-24 | カール ツァイス マイクロイメージング ゲーエムベーハー | 照明された試料を光学的に捕捉するための方法および装置 |
WO2010037487A1 (de) * | 2008-09-30 | 2010-04-08 | Carl Zeiss Microimaging Gmbh | Verbesserte verfahren und vorrichtungen für die mikroskopie mit strukturierter beleuchtung |
WO2011135819A1 (ja) * | 2010-04-26 | 2011-11-03 | 株式会社ニコン | 構造化照明顕微鏡装置 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2013125723A1 (ja) * | 2012-02-24 | 2015-07-30 | 国立大学法人 東京大学 | 照明方法および顕微観察装置 |
JP2015052673A (ja) * | 2013-09-06 | 2015-03-19 | 株式会社ニコン | 構造化照明装置及び構造化照明顕微鏡装置 |
JP2017223726A (ja) * | 2016-06-13 | 2017-12-21 | 株式会社ニコン | 顕微鏡装置、観察方法、及び制御プログラム |
JP2019526829A (ja) * | 2016-08-15 | 2019-09-19 | ライカ マイクロシステムズ シーエムエス ゲゼルシャフト ミット ベシュレンクテル ハフツングLeica Microsystems CMS GmbH | ライトシート顕微鏡 |
JP7109423B2 (ja) | 2016-08-15 | 2022-07-29 | ライカ マイクロシステムズ シーエムエス ゲゼルシャフト ミット ベシュレンクテル ハフツング | ライトシート顕微鏡 |
US11428916B2 (en) | 2016-08-15 | 2022-08-30 | Leica Microsystems Cms Gmbh | Light sheet microscope |
Also Published As
Publication number | Publication date |
---|---|
JP5641142B2 (ja) | 2014-12-17 |
US20140092463A1 (en) | 2014-04-03 |
US9146393B2 (en) | 2015-09-29 |
JPWO2013011680A1 (ja) | 2015-02-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5594429B2 (ja) | 構造化照明顕微鏡及び構造化照明観察方法 | |
JP5641142B2 (ja) | 構造化照明装置、構造化照明顕微鏡、構造化照明方法 | |
JP5549740B2 (ja) | 構造化照明装置、構造化照明顕微鏡装置、及び面形状測定装置 | |
US11009692B2 (en) | Structured illumination microscope, structured illumination method, and program | |
JP4899408B2 (ja) | 顕微鏡装置 | |
JP6264377B2 (ja) | 構造化照明装置及び構造化照明顕微鏡装置 | |
JP5751328B2 (ja) | 構造化照明光学系および構造化照明顕微鏡装置 | |
EP2093601A1 (en) | Microscope device and image processing method | |
JP6627871B2 (ja) | 構造化照明顕微鏡システム、方法及びプログラム | |
JP2013088808A (ja) | 構造光照明を用いる光学撮像システム | |
WO2013021615A1 (ja) | 構造化照明装置及び構造化照明方法、並びに構造化照明顕微鏡装置 | |
JP4844862B2 (ja) | 格子照明顕微鏡 | |
JP2012037911A (ja) | 顕微鏡装置 | |
JP6270615B2 (ja) | 標本像データ生成装置、及び、標本像データ生成方法 | |
JP6413364B2 (ja) | 照明光学系及び顕微鏡装置 | |
JP5741709B2 (ja) | 構造化照明装置、その構造化照明装置の調整方法、コンピュータ実行可能な調整プログラム、構造化照明顕微鏡装置、面形状測定装置 | |
JP6269239B2 (ja) | 構造化照明装置及び構造化照明顕微鏡装置 | |
JPWO2015052920A1 (ja) | 構造化照明装置及び構造化照明顕微鏡装置 | |
JP2017223726A (ja) | 顕微鏡装置、観察方法、及び制御プログラム | |
KR20080076540A (ko) | 개구수에 의존하는 초점심도를 갖는 회절형 광변조기를이용한 디스플레이 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 12814698 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2013524609 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 12814698 Country of ref document: EP Kind code of ref document: A1 |