WO2017169597A1 - 画像取得装置および画像取得方法 - Google Patents

画像取得装置および画像取得方法 Download PDF

Info

Publication number
WO2017169597A1
WO2017169597A1 PCT/JP2017/009269 JP2017009269W WO2017169597A1 WO 2017169597 A1 WO2017169597 A1 WO 2017169597A1 JP 2017009269 W JP2017009269 W JP 2017009269W WO 2017169597 A1 WO2017169597 A1 WO 2017169597A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging
irradiation
light
regions
observation object
Prior art date
Application number
PCT/JP2017/009269
Other languages
English (en)
French (fr)
Inventor
直也 松本
岡崎　茂俊
Original Assignee
国立大学法人浜松医科大学
浜松ホトニクス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立大学法人浜松医科大学, 浜松ホトニクス株式会社 filed Critical 国立大学法人浜松医科大学
Priority to US16/089,394 priority Critical patent/US10890530B2/en
Priority to CN201780020100.2A priority patent/CN109073873B/zh
Priority to DE112017001734.3T priority patent/DE112017001734T5/de
Publication of WO2017169597A1 publication Critical patent/WO2017169597A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0032—Optical details of illumination, e.g. light-sources, pinholes, beam splitters, slits, fibers
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G02B21/0076—Optical details of the image generation arrangements using fluorescence or luminescence
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/02—Objectives
    • G02B21/025—Objectives with variable magnification
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/361—Optical details, e.g. image relay to the camera or image sensor
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/26—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes using light guides
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N2021/6463—Optics
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/06—Illumination; Optics
    • G01N2201/067—Electro-optic, magneto-optic, acousto-optic elements
    • G01N2201/0675—SLM
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/12—Circuits of general importance; Signal processing
    • G01N2201/121—Correction signals

Definitions

  • One aspect of the present invention condenses and irradiates light to a plurality of irradiation regions on or inside the observation object, scans the plurality of irradiation regions, and detects light generated in each of the plurality of irradiation regions.
  • the present invention relates to an apparatus and a method for creating an image of an observation object.
  • the image acquisition device described in Non-Patent Documents 1 and 2 collects and irradiates light on a plurality of irradiation regions on the surface or inside of an observation target, and scans the plurality of irradiation regions, and the plurality of irradiation regions.
  • An image of the observation object can be created by detecting light (for example, fluorescence, harmonic light, reflected / scattered light, etc.) generated in each.
  • single-point scanning scanning with N irradiation regions simultaneously with N irradiation light beams
  • N is an integer of 2 or more.
  • an xyz orthogonal coordinate system in which the direction of light irradiation to the observation object is the z direction.
  • the time required for single point scanning is 0.24 seconds
  • the time required for four point scanning may be 0.06 seconds.
  • the time required for single point scanning is 240 seconds
  • the time required for four point scanning is 60 seconds. It becomes.
  • the multi-point scanning as compared with the single-point scanning, it is possible to collect data in a short time and create an image of the observation object.
  • the time (exposure time) for receiving the light generated in each irradiation region can be increased N times.
  • the amount of light irradiated to the observation object can be reduced. This leads to reduction of damage to the observation object and the fluorescent molecule, and is effective when performing repeated measurement such as time lapse.
  • the detection unit that individually detects light generated in each of a plurality of irradiation areas. That is, the light generated in each irradiation region of the observation object is imaged in the corresponding imaging region on the light receiving surface of the detection unit, and the detection signal is individually extracted from each imaging region. Similarly to the plurality of irradiation regions of the observation target, the plurality of imaging regions on the light receiving surface of the detection unit are also separated from each other.
  • the light generated in a certain irradiation area of the observation object should be received by the imaging area corresponding to the irradiation area on the light receiving surface of the detection unit, but it is affected by scattering and aberrations inside the observation object. Therefore, a part of the image forming area may be received as noise light.
  • This noise light becomes background noise in the generated image of the observation object, or a ghost image is generated at a position different from the position of the original image in the image, thereby causing SN (Signal-to-noise). Reduce the ratio. Such a phenomenon becomes remarkable when the irradiation area in the observation object becomes deep from the surface.
  • Non-Patent Documents 1 and 2 describe techniques for improving the SN ratio of an image of an observation object.
  • the SN ratio improvement technique described in Non-Patent Document 1 performs single-point scanning on an observation object having a single fluorescence generation region to obtain the spread of light on the light-receiving surface of the detection unit. It is intended to improve the S / N ratio of the image of the observation object by calculating the deconvolution of the image of the observation object acquired by scanning and the spread of the light.
  • the SN ratio improvement technique described in Non-Patent Document 2 performs the estimation by the maximum likelihood estimation method based on the image of the observation object acquired by multipoint scanning, and the image of the observation object whose SN ratio is improved. Is intended to seek.
  • the S / N ratio improving technique described in Non-Patent Document 1 needs to perform single-point scanning in order to obtain the spread of light on the light receiving surface of the detection unit. Since the degree of light spread on the light receiving surface of the detection unit varies depending on the depth of the irradiation area (position in the z direction) on the observation target, it is necessary to determine the irradiation area at each position in the z direction. Although multi-point scanning is intended to shorten the measurement time, it is necessary to perform single-point scanning in addition to multi-point scanning. In the first place, if single point scanning is performed, it is not necessary to perform multipoint scanning.
  • the SN ratio improvement technique described in Non-Patent Document 2 needs to be repeatedly performed when performing estimation by the maximum likelihood estimation method, and the repeated calculation takes a long time.
  • One aspect of the present invention has been made to solve the above-described problems, and an image acquisition apparatus and an image acquisition that can easily improve the SN ratio of an image of an observation object generated by multipoint scanning. It aims to provide a method.
  • An image acquisition apparatus includes (1) a light source that outputs light, and (2) irradiation optics that condenses and irradiates light output from the light source onto a surface or inside of an observation target.
  • a system (3) a scanning unit that scans a plurality of irradiation areas in a direction intersecting the optical axis of the direction of light irradiation to the observation object by the irradiation optical system, and (4) to the observation object by the irradiation optical system
  • An imaging optical system that guides the light generated in each of the plurality of irradiation areas along with light irradiation and forms an image; and (5) a light receiving surface on which the plurality of irradiation areas are imaged by the imaging optical system;
  • a plurality of pixels arranged in a one-dimensional or two-dimensional manner on the light-receiving surface, and a detection unit that outputs a detection signal having a value corresponding to the amount of received light in each of the plurality of
  • the image acquisition device has the above-described configuration.
  • the detection unit includes, on the light receiving surface, a plurality of imaging regions having an imaging relationship with the imaging optical system with respect to the plurality of irradiation regions on the observation target.
  • Each of the plurality of imaging regions corresponds to one or more pixels, and a pixel that does not correspond to any of the plurality of imaging regions exists next to each imaging region
  • the image creation unit includes The detection signal of the pixel corresponding to each of the plurality of imaging regions is corrected based on the detection signal of one or more pixels adjacent to each imaging region and not corresponding to any of the plurality of imaging regions. Then, an image of the observation object is created based on the corrected detection signal.
  • An image acquisition method uses the light source, the irradiation optical system, the scanning unit, the imaging optical system, and the detection unit to obtain an image of an observation object based on a detection signal output from the detection unit.
  • An image acquisition method to create comprising: (a) a plurality of imaging regions in an imaging relationship by an imaging optical system with respect to a plurality of irradiation regions on an observation object on a light receiving surface of a detection unit; Each of the plurality of imaging regions corresponds to one or more pixels, and a pixel that does not correspond to any of the plurality of imaging regions exists next to each imaging region, and (b) a plurality of imaging regions The detection signal of the pixel corresponding to each is corrected based on the detection signal of one or more pixels adjacent to each imaging region and not corresponding to any of the plurality of imaging regions, and detection after the correction An image of the observation object is created based on the signal.
  • FIG. 1 is a diagram illustrating a configuration of the image acquisition apparatus 1.
  • FIG. 2 is a diagram illustrating a configuration of the image acquisition device 2.
  • FIG. 3 is a diagram for explaining (a) single-point scanning and (b) multi-point scanning.
  • FIG. 4 is a diagram for explaining (a) the irradiation areas A 1 to A 4 on the observation object S, and (b) the imaging areas B 1 to B 4 on the light receiving surface of the detection unit 32.
  • FIG. 5 is a view showing the distribution of the irradiation areas A 1 to A 4 and the fluorescent beads in the observation object S.
  • FIG. 6A to 6C are diagrams for explaining the spread of the light receiving region on the light receiving surface of the detecting unit 32.
  • FIG. 7 is a graph showing the fluorescence intensity at each pixel of the detection unit 32 in the case of single point scanning.
  • FIG. 8 is a graph showing the fluorescence intensity at each pixel of the detection unit 32 in the case of two-point scanning.
  • FIG. 9 is a diagram showing a fluorescence image of the observation object in each of (a) single-point scanning and (b) four-point scanning.
  • 10A to 10D are diagrams for explaining the relationship between the pixel structure and the imaging region on the light receiving surface of the detection unit 32.
  • FIG. 11A and 11B are diagrams for explaining the relationship between the detection signal output from the detection unit 32 and the image of the observation object S.
  • FIGS. 12A and 12B are graphs showing the results of simulation for confirming the effect of correction of detection signals (a) and (b).
  • FIGS. 13A and 13B are graphs showing the results of simulation for confirming the effect of correction of detection signals (a) and (b).
  • FIGS. 14A and 14B are fluorescence images of an observation object showing the effect of improving the S / N ratio according to the first embodiment.
  • FIGS. 15A and 15B are fluorescence images of an observation object showing the effect of improving the S / N ratio according to the second embodiment.
  • FIGS. 16A and 16B are fluorescence images of an observation object showing the effect of improving the S / N ratio according to the second embodiment.
  • FIG. 17A and 17B are fluorescence images of the observation object showing the effect of improving the S / N ratio according to the second embodiment.
  • FIG. 18 is a fluorescence image of an observation object showing the effect of improving the SN ratio according to the third example.
  • FIG. 19 is a fluorescence image of an observation object according to a comparative example compared with the third embodiment.
  • FIG. 20 is a diagram illustrating the relationship between the pixel structure and the imaging region when using a detection unit in which a plurality of pixels are two-dimensionally arranged on the light receiving surface.
  • FIG. 21 is a diagram illustrating the relationship between the pixel structure and the imaging region when using a detection unit in which a plurality of pixels are two-dimensionally arranged on the light receiving surface.
  • FIG. 22 is a diagram illustrating the relationship between the pixel structure and the imaging region when using a detection unit in which a plurality of pixels are two-dimensionally arranged on the light receiving surface.
  • 23A and 23B are diagrams for explaining the relationship between the pixel structure and the imaging region on the light receiving surface of the detection unit.
  • FIG. 24 is a diagram illustrating a configuration example of a variable focus lens.
  • FIGS. 25A and 25B are diagrams for explaining another example of multi-point scanning.
  • the image acquisition apparatus and the image acquisition method of the present embodiment can acquire images of fluorescence, harmonic light, reflected scattered light, etc. generated on or inside the observation object.
  • An embodiment to be acquired will be mainly described. Further, in each drawing, an xyz orthogonal coordinate system is shown for convenience of explaining the relationship between the observation object and the light irradiation direction.
  • FIG. 1 is a diagram showing a configuration of the image acquisition device 1.
  • the image acquisition apparatus 1 includes a light source 10, a spatial light modulator 11, a dichroic mirror 13, an optical scanner 14, an objective lens 21, a stage 23, an imaging lens 31, a detection unit 32, a control unit 70, and the like.
  • the light source 10 outputs excitation light having a wavelength that can excite the fluorescent label contained in the observation object S, and is preferably a laser light source.
  • the light source 10 is preferably a laser light source that outputs laser light having a short pulse such as femtosecond, picosecond, or nanosecond as excitation light.
  • the lenses 41 and 42 for inputting the excitation light output from the light source 10 constitute a beam expander that adjusts the beam diameter and outputs the excitation light.
  • a beam expander is generally composed of a plurality of lenses. The beam diameter of the excitation light output from the beam expander is appropriately set according to the pupil diameter of the objective lens 21.
  • the spatial light modulator 11 receives the excitation light output from the light source 10 and reflected by the mirror 51 through the beam expander (lenses 41 and 42), and spatially modulates and outputs the input excitation light.
  • the spatial light modulator 11 may be a phase modulation type or an amplitude modulation type.
  • the spatial light modulator 11 is shown as a reflective type in FIG. 1, but may be a transmissive type.
  • the spatial light modulator 11 can spatially modulate the phase or amplitude in the beam cross section of the output light according to the presented modulation pattern.
  • the spatial light modulator 11 can condense and irradiate a plurality of irradiation areas on the surface or inside of the observation object S by presenting a predetermined modulation pattern.
  • the spatial light modulator 11 is used as a multipoint generating element that generates a plurality of light beams from a single light beam output from the light source 10.
  • the spatial light modulator 11 used as a multi-point generating element is an electrical unit provided from the control unit 70 such as the number of light beams, the interval between the light beams, and the depth (z-direction position) of the condensing position of each light beam. It can be freely set according to the modulation pattern presented by the control signal. These are set according to the number of partial areas and the size of each partial area when the area to be observed in the observation object S is divided into a plurality of partial areas.
  • a diffractive optical element, a microlens array, a beam splitter, or the like can be used as the multipoint generating element.
  • the spatial light modulator 11 can also be used as a scanning unit that scans a plurality of irradiation areas on the observation object S by changing the modulation pattern to be presented. Further, the spatial light modulator 11 can correct the aberration of the optical path to the plurality of irradiation areas on the observation object S by presenting a predetermined modulation pattern, and can reduce each irradiation area. The resolution of the acquired image can be increased.
  • the dichroic mirror 13 selectively transmits excitation light out of excitation light and fluorescence and selectively reflects fluorescence. That is, the dichroic mirror 13 receives the excitation light that has arrived from the spatial light modulator 11 and transmits the excitation light to the lens 43. Further, the dichroic mirror 13 receives the fluorescence that has arrived from the lens 43 and reflects the fluorescence to the zoom lens 47.
  • the lenses 43 and 44 for inputting the excitation light output from the dichroic mirror 13 constitute a telecentric relay lens system.
  • the optical scanner 14 receives excitation light output from the dichroic mirror 13 and passed through the telecentric relay lens system (lenses 43 and 44), and in a direction crossing the direction (z direction) of excitation light irradiation to the observation object S. Used as a scanning unit for scanning the irradiation region. Further, the optical scanner 14 inputs and descans the fluorescence generated in the irradiation region of the observation object S, thereby matching the principal rays of the excitation light and the fluorescence between the dichroic mirror 13 and the optical scanner 14 with each other. be able to.
  • the optical scanner 14 includes, for example, a galvanometer mirror, a polygon mirror, a MEMS (Micro Electro Mechanical Systems) mirror, and a gimbal mirror.
  • Lenses 45 and 46 for inputting the excitation light output from the optical scanner 14 and reflected by the mirror 52 constitute a telecentric relay lens system.
  • the telecentric relay lens system (lenses 43 and 44) and the telecentric relay lens system (lenses 45 and 46) transfer the wavefront of the excitation light generated by being modulated by the spatial light modulator 11 to the rear focal plane of the objective lens 21. To do.
  • these telecentric relay lens systems transfer a condensing point near the microlens array to the rear focal plane of the objective lens 21.
  • these telecentric relay lens systems may not be provided.
  • the objective lens 21 is disposed so as to face the observation object S on the stage 23.
  • the objective lens 21 receives excitation light output from the telecentric relay lens system (lenses 45 and 46) and reflected by the mirror 53, and applies excitation light to a plurality of irradiation regions on the surface of the observation target S on the stage 23 or inside. Is condensed and irradiated. Further, the objective lens 21 inputs the fluorescence when the fluorescence is generated in any irradiation region of the observation object S, and outputs the fluorescence to the mirror 53.
  • the objective lens 21 is movable in the optical axis direction, that is, in the depth direction (z direction) of the observation object S by the action of the objective lens moving mechanism 22.
  • the stage 23 can be moved in the direction intersecting the optical axis direction of the objective lens 21 (preferably in the direction parallel to the xy plane) by the action of the stage moving mechanism 24, and the optical axis direction, that is, the observation object S. It is possible to move in the depth direction (z direction).
  • the objective lens moving mechanism 22 and the stage moving mechanism 24 are also used as a scanning unit that scans a plurality of irradiation areas on the observation object S.
  • Each of the objective lens moving mechanism 22 and the stage moving mechanism 24 includes, for example, a stepping motor and a piezo actuator.
  • the single objective lens 21 serves for both excitation light irradiation and fluorescence observation.
  • the excitation light irradiation objective lens and the fluorescence observation objective lens are provided separately. May be.
  • an objective lens for irradiating excitation light with a high NA it is possible to reduce the influence of aberration and to focus locally.
  • an objective lens for fluorescence observation having a large pupil diameter more fluorescence can be input.
  • the microscope including the objective lens 21 has an inverted configuration, but may have an upright configuration.
  • Fluorescence generated in the irradiation region of the observation object S and input to the objective lens 21 reaches the dichroic mirror 13 following the same path as the excitation light path in the reverse direction, and is reflected by the dichroic mirror 13.
  • the zoom lens 47 and the imaging lens 31 for inputting the fluorescence reflected by the dichroic mirror 13 guide the fluorescence generated in the irradiation region of the observation object S to the light receiving surface of the detection unit 32, and display the fluorescence image on the light receiving surface.
  • the filter 54 is provided on the optical path between the dichroic mirror 13 and the detection unit 32, and selectively transmits fluorescence out of excitation light and fluorescence and selectively blocks excitation light.
  • the filter 54 can suppress the detection unit 32 from receiving excitation light partially reflected by the dichroic mirror 13 among excitation light scattered or reflected by the observation object S or the like.
  • the element group on the optical path of the excitation light from the light source 10 to the observation object S collects and irradiates the excitation light output from the light source 10 onto a plurality of irradiation regions on or inside the observation object S.
  • the irradiation optical system is configured.
  • the element group on the optical path of the fluorescence from the observation object S to the detection unit 32 guides light generated in each of the plurality of irradiation regions in accordance with the excitation light irradiation to the observation object S by the irradiation optical system.
  • An imaging optical system for forming an image is configured.
  • the detection unit 32 has a light receiving surface on which a plurality of irradiation areas on the observation object S are imaged by an imaging optical system, and a plurality of pixels are arranged in a one-dimensional or two-dimensional manner on the light receiving surface. A detection signal having a value corresponding to the amount of received light in each of the plurality of pixels is output.
  • the detection unit 32 includes, for example, a photodetector such as a multi-anode photomultiplier tube, MPPC (registered trademark), photodiode array, avalanche photodiode array, CCD image sensor, or CMOS image sensor.
  • a multi-anode photomultiplier tube (hereinafter referred to as “mPMT”) has a plurality of anodes as a plurality of pixels, and can output a detection signal corresponding to the amount of light received by each anode.
  • MPPC Multi-Pixel Photon Counter
  • MPPC is a pixel in which a quenching resistor is connected to an avalanche photodiode operating in Geiger mode, and a plurality of pixels are two-dimensionally arranged. These can detect light with high speed and high sensitivity.
  • a pinhole array may be disposed in front of the light receiving surface of the detection unit 32, and the optical system between the irradiation region of the observation object S and the pinhole may be a confocal optical system.
  • the pinhole array may be disposed immediately before the light receiving surface of the detection unit 32, or may be disposed at a position through the relay lens system with respect to the light reception surface of the detection unit 32. This is effective when detecting fluorescence due to single photon excitation or when detecting reflected scattered light.
  • the control unit 70 controls the overall operation of the image acquisition device 1. Specifically, the control unit 70 controls the light output operation by the light source 10, generates a modulation pattern to be given to the spatial light modulator 11, and gives the modulation pattern to the spatial light modulator 11.
  • the control unit 70 scans the irradiation region on the observation object S by driving the optical scanner 14 and moving the objective lens 21 by driving the objective lens moving mechanism 22.
  • the controller 70 can also scan the irradiation area on the observation object S by moving the stage 23 by driving the stage moving mechanism 24.
  • control unit 70 controls the light detection operation by the detection unit 32.
  • the control unit 70 receives a detection signal output from the detection unit 32 and is also used as an image creation unit that creates an image of the observation object S based on the detection signal. This will be described later.
  • the control unit 70 is, for example, a computer and has at least an image processing circuit.
  • the control unit 70 is used together with the input unit 71 and the display unit 72.
  • the input unit 71 is, for example, a keyboard or a mouse, and inputs a measurement start instruction, an instruction regarding measurement conditions, and the like.
  • the display unit 72 is, for example, a display, and displays measurement conditions and an image of the observation target S.
  • Schematic operation of this image acquisition device 1 is as follows.
  • the excitation light output from the light source 10 is condensed and irradiated to a plurality of irradiation regions on the surface or inside of the observation object S by an irradiation optical system. That is, the excitation light output from the light source 10 is adjusted in beam diameter by a beam expander (lenses 41 and 42), reflected by the mirror 51, and input to the spatial light modulator 11.
  • the phase or amplitude is spatially modulated in the beam cross section of the excitation light by the spatial light modulator 11 presented with the modulation pattern provided from the control unit 70, and the modulated excitation light is output from the spatial light modulator 11. Is done.
  • the excitation light output from the spatial light modulator 11 passes through the dichroic mirror 13 and is input to the optical scanner 14 through the telecentric relay lens system (lenses 43 and 44).
  • the output direction of the excitation light from the optical scanner 14 is changed by the optical scanner 14.
  • the excitation light output from the optical scanner 14 is reflected by the mirror 52, passes through the telecentric relay lens system (lenses 45 and 46), is reflected by the mirror 53, and is input to the objective lens 21.
  • the excitation light input to the objective lens 21 is condensed and applied to the surface or inside of the observation object S on the stage 23.
  • the number and interval of irradiation regions in the observation object S are set according to the modulation pattern presented to the spatial light modulator 11 by the control unit 70.
  • the position of the irradiation area on the observation object S on the xy plane is scanned by the optical scanner 14 driven by the control unit 70.
  • the position of the irradiation area in the observation object S in the z direction is scanned by the objective lens 21 moving in the z direction by the objective lens moving mechanism 22 driven by the control unit 70 or driven by the control unit 70. Scanning is performed by moving the stage 23 in the z direction by the stage moving mechanism 24.
  • Fluorescence generated in the irradiation region of the observation object S and input to the objective lens 21 is imaged on the light receiving surface of the detection unit 32 by the imaging optical system. That is, the fluorescence is reflected by the dichroic mirror 13 through the objective lens 21, the mirror 53, the telecentric relay lens system (lenses 46 and 45), the mirror 52, the optical scanner 14, and the telecentric relay lens system (lenses 44 and 43).
  • the optical scanner 14 Due to the descanning action of the optical scanner 14 on the fluorescence, the principal rays of the excitation light and the fluorescence between the dichroic mirror 13 and the optical scanner 14 coincide with each other.
  • the fluorescence reflected by the dichroic mirror 13 passes through the zoom lens 47, the filter 54, and the imaging lens 31 and reaches the light receiving surface of the detection unit 32.
  • the irradiation area of the observation object S is imaged on the light receiving surface of the detection unit 32.
  • a detection signal having a value corresponding to the amount of light received at each of the plurality of pixels arranged on the light receiving surface of the detection unit 32 is output from the detection unit 32.
  • the detection signal output from the detection unit 32 is input to the control unit 70.
  • An image of the observation object S is created based on the detection signal output from the detection unit 32 by the control unit 70 as an image creation unit. The image is displayed on the display unit 72.
  • FIG. 2 is a diagram illustrating a configuration of the image acquisition device 2. This figure shows an irradiation optical system of excitation light from the transmissive spatial light modulator 12 to the observation object S, and a fluorescence imaging optical system from the observation object S to the detection unit 32.
  • the dichroic mirror 13, the objective lens 21, the stage 23, the imaging lens 31, and the detection unit 32 included in the image acquisition device 2 illustrated in FIG. 2 are the same as those included in the image acquisition device 1 illustrated in FIG. 1. Is.
  • the image acquisition device 2 includes a light source, a beam expander, an objective lens drive mechanism, a stage drive mechanism, a control unit, and the like, as in the configuration of the image acquisition device 1, but these are not shown in FIG. .
  • the spatial light modulator 12 can spatially modulate the phase or amplitude in the beam cross section of the excitation light when transmitting the excitation light.
  • the transmissive spatial light modulator 12 can condense and irradiate the modulated excitation light onto a plurality of irradiation regions on the surface or inside of the observation object S, It can also be used as a scanning unit that scans a plurality of irradiation areas in the observation object S, and the aberration of the optical path leading to the plurality of irradiation areas in the observation object S can be corrected.
  • Optical scanners 14a and 14b are provided as scanning units that scan the irradiation area in a direction that intersects the direction of excitation light irradiation on the observation object S.
  • One optical scanner 14a receives excitation light that has arrived from the spatial light modulator 12 via the dichroic mirror 13 and the telecentric relay lens system (lenses 61 and 62), and intersects the direction of excitation light irradiation to the observation object S.
  • the irradiation area is scanned in the first direction.
  • the other optical scanner 14b receives the excitation light that has arrived from the optical scanner 14a via the telecentric relay lens system (lenses 63 and 64), and irradiates the observation target S in a second direction that intersects the direction of excitation light irradiation. Scan the area.
  • the first direction and the second direction is the x direction, and the other is the y direction.
  • this image acquisition device 2 The general operation of this image acquisition device 2 is as follows.
  • the excitation light output from the light source is condensed and irradiated onto a plurality of irradiation regions on the surface or inside of the observation object S by the irradiation optical system. That is, the excitation light output from the light source is adjusted in beam diameter by the beam expander and input to the spatial light modulator 12.
  • the spatial light modulator 12 presenting a predetermined modulation pattern spatially modulates the phase or amplitude in the beam cross section of the excitation light, and the modulated excitation light is output from the spatial light modulator 12.
  • the excitation light output from the spatial light modulator 12 passes through the dichroic mirror 13 and is input to the optical scanner 14a through the telecentric relay lens system (lenses 61 and 62).
  • the output direction of the excitation light from the optical scanner 14a is changed by the optical scanner 14a.
  • the excitation light output from the optical scanner 14a is input to the optical scanner 14b via the telecentric relay lens system (lenses 63 and 64).
  • the output direction of the excitation light from the optical scanner 14b is changed by the optical scanner 14b.
  • the excitation light output from the optical scanner 14b is input to the objective lens 21 via the telecentric relay lens system (lenses 65 and 66).
  • the excitation light input to the objective lens 21 is condensed and applied to the surface or inside of the observation object S on the stage 23.
  • the number and interval of irradiation regions in the observation object S are set according to the modulation pattern presented to the spatial light modulator 12.
  • the position of the irradiation area on the observation object S on the xy plane is scanned by the optical scanners 14a and 14b.
  • the position in the z direction of the irradiation region on the observation object S is scanned by moving the objective lens 21 in the z direction by the objective lens moving mechanism, or scanned by moving the stage 23 in the z direction by the stage moving mechanism. Is done.
  • Fluorescence generated in the irradiation region of the observation object S and input to the objective lens 21 is imaged on the light receiving surface of the detection unit 32 by the imaging optical system. That is, this fluorescence is obtained by the objective lens 21, the telecentric relay lens system (lenses 66 and 65), the optical scanner 14b, the telecentric relay lens system (lenses 64 and 63), the optical scanner 14a, and the telecentric relay lens system (lenses 62 and 61). Then, the light is reflected by the dichroic mirror 13. Due to the descanning action of the optical scanners 14a and 14b on the fluorescence, the principal rays of the excitation light and the fluorescence between the dichroic mirror 13 and the optical scanner 14b coincide with each other. The fluorescence reflected by the dichroic mirror 13 passes through the imaging lens 31 and reaches the light receiving surface of the detection unit 32. The irradiation area of the observation object S is imaged on the light receiving surface of the detection unit 32.
  • a detection signal having a value corresponding to the amount of light received at each of the plurality of pixels arranged on the light receiving surface of the detection unit 32 is output from the detection unit 32.
  • An image of the observation object S is created based on the detection signal output from the detection unit 32 by the control unit as the image creation unit. The image is displayed by the display unit.
  • the present invention can be applied to any of the two configurations shown in FIG. 1 and FIG.
  • the image acquisition device and the image acquisition method of the present embodiment are mainly related to the relationship between the plurality of irradiation regions in the observation object S and the pixel structure and the imaging region on the light receiving surface of the detection unit 32, and The SN ratio of the image of the observation object S is improved based on this relationship.
  • the image acquisition devices 1 and 2 are suitably used as a laser scanning fluorescence microscope (hereinafter referred to as “LSFM”) that performs multipoint scanning.
  • LSFM laser scanning fluorescence microscope
  • those that irradiate the observation object S with short pulse laser light as excitation light and detect fluorescence due to multi-photon excitation include multifocal multiphoton excitation fluorescence microscopes (multifocal multiphoton microscopy, Hereinafter referred to as “MMM”).
  • MMMM multifocal multiphoton excitation fluorescence microscopes
  • the image acquisition devices 1 and 2 can also be suitably used as an MMM.
  • the excitation light can be condensed and irradiated to a local irradiation region inside the observation object. From these, in the case of multiphoton excitation, an image with both high fluorescence intensity and high resolution can be obtained even at a deep position of the observation object, and the observation object can be obtained by combining multi-point scanning and aberration correction. A fluorescent image of the deep part of the object can also be acquired at high speed.
  • the excitation light output from the light source 10 has a sufficient margin with respect to the excitation light intensity necessary for exciting the fluorescent molecules contained in the observation object S to generate fluorescence, and If there is little damage to the observation object S even after multipoint scanning, LSFM or MMM that performs multipoint scanning is extremely effective for speeding up.
  • a laser light source that outputs pulsed laser light having a femtosecond to picosecond pulse width is used.
  • the laser light output is about 3 W.
  • the amount of excitation light irradiated to generate fluorescence in the observation object may be about 10 mW at a shallow position near the surface of the observation object.
  • the laser beam output has a margin of about 300 times the excitation light intensity necessary for fluorescence generation. Further, heat accumulation is small unless two adjacent irradiation positions are extremely close to each other.
  • FIG. 3 is a diagram for explaining single-point scanning and multi-point scanning. This figure shows a state of scanning of an irradiation area in the observation object S when viewed in parallel with the z direction.
  • a single irradiation region A is raster scanned in the entire region to be observed in the observation object S.
  • the region to be observed in the observation object S is equally divided into four partial regions S 1 to S 4 , and the irradiation region An is set in each partial region Sn . Raster scan.
  • the four irradiation areas A 1 to A 4 are scanned simultaneously. Therefore, the measurement time can be reduced to 1 ⁇ 4 in the four-point scanning as compared with the single-point scanning.
  • FIG. 25 is a diagram illustrating another example of multipoint scanning. This figure also shows a state of scanning of the irradiation areas A 1 to A 4 in the observation object S when viewed in parallel with the z direction.
  • the irradiation areas A 1 to A 4 are arranged on a straight line parallel to the high-speed axis in the raster scan.
  • the measurement time cannot be shortened, but each position in the hatching area (the area where the scanning areas of the irradiation areas A 1 to A 4 overlap) shown in FIG.
  • the irradiation areas A 1 to A 4 sequentially pass at intervals. Therefore, for example, movement of a fluorescent protein or the like can be easily confirmed.
  • this multipoint scanning a plurality of images having different times at a certain observation point on the observation object S are output. In this case as well, after all, multiple points are simultaneously measured, so that scattering of fluorescence excited by other excitation light is also included in another image.
  • FIG. 4 is a diagram for explaining the irradiation areas A 1 to A 4 in the observation object S and the imaging areas B 1 to B 4 on the light receiving surface of the detection unit 32 in the case of four-point scanning.
  • FIG. 4A shows the objective lens 21 and the observation object S, and schematically shows four irradiation areas A 1 to A 4 in the observation object S.
  • FIG. 4B shows the imaging lens 31 and the detection unit 32, and schematically shows four pixels P 1 to P 4 and four imaging regions B 1 to B 4 on the light receiving surface of the detection unit 32. Show.
  • Each imaging area B n on the light-receiving surface of the detector 32 is in imaging relationship by the imaging optical system with respect to the irradiation region A n in the observation object S.
  • the four irradiation areas A 1 to A 4 are separated from each other, and the four imaging areas B 1 to B 4 are also separated from each other on the light receiving surface of the detection unit 32.
  • Each pixel Pn corresponds to the imaging region Bn , and outputs a detection signal having a value corresponding to the amount of light received in the imaging region Bn .
  • FIG. 5 is a diagram showing the distribution of irradiation areas A 1 to A 4 and fluorescent beads in the observation object S in the case of four-point scanning.
  • the observation object S is assumed to have a plurality of fluorescent beads, each indicated by a solid circle, dispersed in an epoxy resin. Further, in this figure, it is assumed that fluorescent beads are present in each of the irradiation areas A 2 and A 4 , and that no fluorescent beads are present in the irradiation areas A 1 and A 3 indicated by broken-line circles.
  • the fluorescence reaches the imaging regions B 2 and B 4 out of the four imaging regions B 1 to B 4 on the light receiving surface of the detector 32, and the imaging region B It does not reach fluorescence in 1, B 3.
  • the light receiving region where the fluorescence actually reaches the light receiving surface of the detection unit 32 is wider than the imaging region based on the imaging relationship by the imaging optical system with respect to the irradiation region of the observation object S.
  • the extent of the spread depends on the size of scattering and aberration at the observation object S. Generally, when the irradiation area is near the surface of the observation object, the extent of the light receiving area is the smallest. As the irradiation area becomes deeper inside the observation object, the extent of the light receiving area is increased. This is also true for a living body or the like that is an actual observation target.
  • FIG. 6 is a diagram for explaining the spread of the light receiving region on the light receiving surface of the detection unit 32 in the case of four-point scanning.
  • the size of the light receiving region where the fluorescence actually reaches is indicated by the size of a circle.
  • FIG. 6A shows a case where the irradiation region is near the surface of the observation object.
  • FIG. 6B shows a case where the irradiation region is at a shallow position inside the observation object.
  • FIG. 6C shows a case where the irradiation region is at a deep position inside the observation object.
  • the light receiving region C n when the irradiation region is in the vicinity of the surface of the observation object, the light receiving region C n is spread to the same extent as the imaging region B n , and originally corresponds to the corresponding pixel P. n only. However, as the irradiation region becomes deeper inside the observed object, the degree of spread of the light receiving area C n is becomes larger than the imaging field B n. As shown in FIG. 6C, the light receiving region C n extends not only to the corresponding pixel P n but also to the adjacent pixels P n ⁇ 1 and P n + 1 .
  • FIG. 7 is a graph showing the fluorescence intensity at each pixel of the detection unit 32 in the case of single-point scanning.
  • an observation object S using fluorescent beads dispersed in an epoxy resin is used, and mPMT is used as the detection unit 32.
  • the spatial light modulator was presented with a predetermined modulation pattern so that a single irradiation region could be scanned on or inside the observation object S.
  • This figure shows the spread of the light receiving region on the light receiving surface of the detection unit 32 when a single irradiation region is set for the surface (depth 0 ⁇ m), depth 250 ⁇ m, depth 500 ⁇ m, and depth 1250 ⁇ m of the object S to be observed.
  • the horizontal axis represents the anode number (pixel position) of the mPMT as the detection unit 32.
  • the fluorescence reached only the single anode 6 among the nine anodes 1 to 9 of mPMT. This indicates that only the anode 6 is in the imaging region on the light receiving surface that has an imaging relationship with the irradiation region of the observation object S. Since there is no influence of scattering on the surface of the observation object S (depth 0 ⁇ m), the fluorescence reaches only the anode 6.
  • the amount of fluorescence reaching the anodes 5, 7, etc. adjacent to the anode 6 increases, and the light receiving region on the light receiving surface of the detection unit 32.
  • the anodes 5, 7, etc. are not in the imaging region that has an imaging relationship with the irradiation region of the observation object S.
  • the spread of the light receiving region on the light receiving surface is caused by the influence of scattering and aberration on the observation object S.
  • the total amount of fluorescence that reaches the entire light receiving surface of the detector 32 may be obtained by obtaining the sum of the detection signals output from all the anodes 1 to 9.
  • the total amount of fluorescence may be obtained using a single channel (single pixel) detection unit instead of the detection unit 32 in which a plurality of pixels are arranged on the light receiving surface.
  • the excitation probability is high and fluorescence is generated only near the condensing point where the photon density is high, if there is no influence of aberration or scattering on the excitation light, the position to be observed (that is, Fluorescence is generated only from the vicinity of the position where the excitation light is collected. For this reason, even if the fluorescence generated from a certain local irradiation area spreads on the light receiving surface of the detection unit, the total amount of the fluorescence may be detected.
  • the detection signal output from the detection unit at that time can be said to be a collection of all the fluorescence generated from the local irradiation region, if the influence of absorption is ignored.
  • a plurality of irradiation areas separated from each other in the observation object S are separated from each other on the light receiving surface of the detection unit 32 by an imaging relationship by the imaging optical system.
  • the actual light receiving area is wider than the imaging area.
  • FIG. 8 is a graph showing the fluorescence intensity at each pixel of the detection unit 32 in the case of two-point scanning.
  • This figure shows the result of the simulation in the case of two-point scanning performed using the actual measurement result shown in FIG.
  • This figure shows the spread of the light receiving area on the light receiving surface of the detection unit 32 when two irradiation areas are set on the surface (depth 0 ⁇ m), depth 250 ⁇ m, depth 500 ⁇ m, and depth 1250 ⁇ m of the observation object S, respectively. Show.
  • the fluorescence reaches only two anodes 5 and 7 among the nine anodes 1 to 9 of mPMT. This is because the anode 5 is in the imaging region on the light receiving surface that has an imaging relationship with respect to one irradiation region in the observation object S, and the other irradiation region in the observation object S. On the other hand, it is shown that the anode 7 is in the imaging region on the light receiving surface in the imaging relationship.
  • the amount of fluorescence that reaches the anodes 4, 6, 8, etc. other than the anodes 5, 7 increases.
  • the anodes 4, 6, 8, and the like are not in the two imaging regions that are in an imaging relationship with the two irradiation regions in the observation object S. Fluorescence detected by the anodes 4, 6, 8, etc. should not be detected by these anodes. Detection signals output from the anodes 4, 6, 8, etc. other than the anodes 5, 7 become noise when creating a fluorescent image of the observation object S.
  • a ghost image and background noise are caused by a detection signal (noise) output from a pixel that detects fluorescence that should not be detected.
  • the influence of noise appears as a ghost image in the fluorescence image of the observation object S, and in some other cases, the influence of noise appears as background noise.
  • the ghost image is generated when the fluorescence generation region is relatively sparse in a wide range of the observation object S or when the SN ratio of the fluorescence signal is high.
  • multipoint scanning is performed using an observation object S in which fluorescent beads are dispersed in an epoxy resin.
  • the dispersion density of the fluorescent beads is relatively small, there are few regions where fluorescence can be generated, and in multi-point scanning, fluorescence may be generated only in one certain irradiation region of the plurality of irradiation regions.
  • the SN ratio is relatively high.
  • the actual light receiving region expands on the light receiving surface of the detection unit 32, and is observed as noise at other pixels. Compared to noise such as dark current and readout noise that are inherently generated in this pixel, the noise due to the spread of the actual light receiving area is relatively strong. Beads, that is, ghost images will be observed.
  • FIG. 9 is a diagram showing a fluorescence image of the observation object in each of the single point scan and the four point scan.
  • an observation object S in which fluorescent beads are dispersed in an epoxy resin is used.
  • FIG. 9A shows a fluorescence image of the observation object in the case of single-point scanning.
  • FIG. 9B shows a fluorescence image of the observation object in the case of four-point scanning.
  • FIG. 9B shows scanning (raster scan) in each partial area when the area to be observed in the observation object S is equally divided into four partial areas S 1 to S 4 . The starting position is indicated by an arrow.
  • partial area S 3 of the fluorescence image in the case of 4-point scanning FIG.
  • fluorescence generation region is relatively sparse in the entire observation region of the observation object S and the S / N ratio of the fluorescence signal is low, fluorescence due to scattering is observed as background noise.
  • fluorescence due to scattering is observed as background noise.
  • two or more fluorescent signals are mixed in each pixel of the detection unit 32, or the observed fluorescence is in a wide range in the image.
  • the present embodiment aims to improve the SN ratio of the image of the observation object generated by multipoint scanning by reducing the influence of such noise.
  • FIG. 10 is a diagram illustrating the relationship between the pixel structure on the light receiving surface of the detection unit 32 and the imaging region. In this figure, ten pixels P 1 to P 10 arranged one-dimensionally on the light receiving surface of the detection unit 32 are shown.
  • the pixel P 4 corresponds to the imaging field B 1
  • pixel P 5 corresponds to the imaging field B 2
  • the pixel P 6 corresponds to the imaging area B 3
  • pixel P 7 corresponding to the imaging region B 4.
  • Pixels P 1 to P 3 and P 8 to P 10 do not correspond to any imaging region.
  • the pixel P 2 corresponds to the imaging region B 1
  • the pixel P 4 corresponds to the imaging region B 2
  • the pixel P 6 corresponds to the imaging region B 3
  • the pixel P 8 corresponding to the imaging region B 4.
  • Pixels P 1 , P 3 , P 5 , P 7 , P 9 , P 10 do not correspond to any imaging region.
  • the pixel P 2 corresponds to the imaging field B 1
  • pixel P 5 corresponds to the imaging field B 2
  • the pixel P 8 corresponding to the imaging region B 3.
  • Pixels P 1 , P 3 , P 4 , P 6 , P 7 , P 9 , P 10 do not correspond to any imaging region.
  • the pixel P 4 and P 5 correspond to the imaging area B 1
  • pixel P 8 and P 9 are corresponding to the imaging region B 2.
  • Pixels P 1 to P 3 , P 6 , P 7 , and P 10 do not correspond to any imaging region.
  • the correspondence between the pixel and the imaging region means that the photoelectric conversion region of the pixel and the imaging region overlap each other at least partially.
  • pixels that do not correspond to any imaging region on the light receiving surface of the detection unit 32 exist on both sides of each imaging region.
  • one pixel that does not correspond to any imaging region exists between two adjacent imaging regions.
  • two pixels that do not correspond to any imaging region exist between two adjacent imaging regions.
  • the sum of the detection signal values of the pixels P 4 and P 5 is set as the intensity of light reaching the imaging region B 1 , and the pixel The sum of the detection signal values of P 8 and P 9 may be the intensity of light reaching the imaging region B 2 .
  • the detection unit 32 has a plurality of imaging regions on the light receiving surface that are in an imaging relationship by the imaging optical system with respect to a plurality of irradiation regions on the observation object S, and a plurality of imaging regions. Each region corresponds to one or more pixels, and a pixel that does not correspond to any of the plurality of imaging regions exists next to at least one side of each imaging region.
  • the interval between the plurality of irradiation regions in the observation object S and the imaging magnification of the imaging optical system are adjusted so that such a relationship is satisfied.
  • FIG. 11 is a diagram illustrating the relationship between the detection signal output from the detection unit 32 and the image of the observation object S.
  • the detection signal output from the detecting unit 32 is as shown in FIG.
  • a value corresponding to the received light amount of each pixel is obtained, and the other pixels P 1 , P 3 , P 5 , P 7 ,
  • Each of P 9 and P 10 has a dark current noise level.
  • a detection signal output from the detection unit is a current signal
  • the current signal is converted into a voltage signal by a current-voltage conversion circuit.
  • the voltage signal value is stored at a position on the image corresponding to the position of each irradiation region in the observation object S by the control unit 70 as the image creating unit. At this time, offset correction or the like is performed on the voltage signal as necessary.
  • control unit 70 as an image creation unit sends detection signals of pixels corresponding to each imaging region to one or more pixels that are adjacent to the imaging region and do not correspond to any imaging region. Correction is performed based on the detection signal, and an image of the observation object S is created based on the corrected detection signal. Specifically, it is as follows.
  • the control unit 70 obtains a corrected detection signal value V output — n of the pixel P n corresponding to the imaging region by the following equation (1).
  • ⁇ is a coefficient, and normally it may be about 1.
  • FIG. 12 is a graph showing a result of simulation for confirming the effect of correction of the detection signal.
  • fluorescence is generated in one irradiation region of the four irradiation regions on the observation object, and the light receiving surface of the detection unit 32 corresponding to the irradiation region where the fluorescence is generated is displayed.
  • FIG. 12A shows the simulation conditions, and the light receiving region on the light receiving surface of the detection unit 32 when a single irradiation region is set at a depth of 500 ⁇ m of the observation object S shown in FIG. Showing the spread of FIG. 12B shows the pixels P 2 , P 4 , P corresponding to one of the imaging regions for each of the example (when correction is performed by the above equation (1)) and the comparative example (when correction is not performed). 6 shows the respective detection signals of the P 8.
  • the by the light receiving region is widened from the imaging area in the light-receiving surface of the detector 32, the detection signal from the pixel P 6 corresponding to said imaging area Is output, and noise is output from the pixels P 4 , P 8, etc. corresponding to other imaging regions.
  • the SN ratio of the image of the observation object S can be improved.
  • FIG. 13 is also a graph showing the result of simulation for confirming the effect of correction of the detection signal.
  • fluorescence is generated in two irradiation regions of the four irradiation regions in the observation target, and the light is received on the light receiving surface of the detection unit 32 corresponding to the irradiation region where the fluorescence is generated.
  • FIG. 12A shows the simulation conditions, and the detection unit when two irradiation areas are set on the surface (depth 0 ⁇ m) and the depth 500 ⁇ m of the observation object S shown in FIG. 7.
  • FIG. 12B shows the pixels P 2 , P 4 , P corresponding to one of the imaging regions for each of the example (when correction is performed by the above equation (1)) and the comparative example (when correction is not performed). 6 shows the respective detection signals of the P 8.
  • the SN ratio of the image of the observation object S can be improved by reducing the noise of the pixels P 4 , P 8 and the like.
  • the result of such correction is the graph of the embodiment of FIG. Also in this case, compared with the comparative example, in the embodiment, the noise levels of the pixels P 4 and P 8 are reduced to 1 ⁇ 2 or less by the correction.
  • Such correction is performed not only on the output values of the pixels P 4 and P 8 but also on the output values of the pixels P 2 and P 6 . Since the output value of the pixel P 1, P 3 extends all over the effect of the output value of the pixel P 2, when the above-mentioned correction for the output value of the pixel P 2, to excessively reduce the output value of the pixel P 2 become. Similarly, since the output value of the pixel P 5, P 7 and extend the effect of the output value of the pixel P 6, when the above-mentioned correction for the output value of the pixel P 6, excess output value of the pixel P 6 Will be reduced. However, while the output values of the pixels P 2 and P 6 are originally large, the reduction amount due to the correction is small. Therefore, in order to improve the SN ratio of the image of the observation object S, there is almost no problem even if the output values of the pixels P 2 and P 6 are slightly sacrificed.
  • this SN ratio improvement technique it is necessary to perform a single point scan separately from the multipoint scan and obtain a received light amount distribution spread on the light receiving surface of the detection unit.
  • Non-Patent Document 2 since the estimation by the maximum likelihood estimation method is performed based on the image of the observation object acquired by the multipoint scanning, the estimation by the maximum likelihood estimation method is performed. Therefore, it is necessary to repeat the calculation, and the repeated calculation takes a long time.
  • signals necessary for correction can be obtained by multipoint scanning, and correction can be performed by simple calculation processing.
  • the required time is almost the same compared.
  • the SN ratio of the image of the observation object generated by multipoint scanning can be easily improved.
  • FIG. 14 is a fluorescence image of an observation object showing the effect of improving the SN ratio according to the first example.
  • four-point scanning was performed using a fluorescent bead dispersed in an epoxy resin as an observation object.
  • the start position of the scanning (raster scan) in each partial area when the area to be observed in the observation target is divided into four equal areas is shown by arrows.
  • FIG. 14A is the same as FIG. 9B, and is a fluorescence image before correction. In the fluorescence image before correction, it is observed that fluorescent beads are present due to the occurrence of a ghost in a range surrounded by a broken-line circle.
  • FIG. 14B is a fluorescence image after correction according to the equation (1).
  • 15 to 17 are fluorescence images of the observation object showing the effect of improving the SN ratio according to the second embodiment.
  • the observation object used in the second example had a higher dispersion density of fluorescent beads in the epoxy resin than that used in the first example.
  • the actual amount of movement in the depth direction in the observation object is obtained by multiplying the object lens movement amount by the refractive index of the observation object.
  • aberration correction was performed when the observation target was irradiated with light.
  • FIG. 15A is a yz maximum value projection image when single point scanning is performed
  • FIG. 15B is an xy plane image at a depth indicated by a broken line in FIG.
  • FIG. 16A is a yz maximum value projection image when four-point scanning is performed and correction is performed according to the above equation (1)
  • FIG. 16B is indicated by a broken line in FIG. It is an xy plane image in a certain depth.
  • FIG. 17A is a yz maximum value projection image when four-point scanning is performed and correction according to the above equation (1) is not performed
  • FIG. 17B is a broken line in FIG. It is an xy plane image in the shown depth.
  • the start position of scanning (raster scan) in each partial area when the area to be observed in the observation target is equally divided into four partial areas is indicated by arrows. Yes.
  • FIG. 15 The arrows in FIG. 15 indicate points to be noted. 15 to 17, the SN ratio of the embodiment (FIG. 16) in which the four-point scanning is performed and the correction by the above formula (1) is performed is the four-point scanning and the correction by the above-described formula (1). This is an improvement over the comparative example that was not performed (FIG. 17), and it can be seen that the signal-to-noise ratio is comparable to the S / N ratio when single-point scanning is performed (FIG. 15).
  • FIG. 18 is a fluorescence image of an observation object showing the effect of improving the SN ratio according to the third example.
  • a rat brain in which Fluorescein Isothiocyanate-Dextran was fixed in a blood vessel by perfusion fixation was used as an observation object, and an irradiation region was set to a depth of about 100 ⁇ m and four-point scanning was performed.
  • FIG. 18 is a fluorescence image when the correction according to the above equation (1) is performed (example).
  • FIG. 19 is a fluorescence image when the correction according to the above equation (1) is not performed (comparative example). In the fluorescent image (example) in FIG.
  • a blood vessel image extending in parallel to the optical axis in the depth direction from the front is recognized in the partial region S 3 of the partial regions S 1 to S 4 of the observation object S.
  • the ghost image of blood vessels is observed in the partial region S 2, S 4.
  • the fluorescence image (Example) of FIG. 18 the ghost image is suppressed to about the noise level.
  • the correction formula is not limited to the formula (1).
  • the control unit 70 may obtain the corrected detection signal value V output — n of the pixel P n corresponding to the imaging region on the light receiving surface of the detection unit 32 by the following equation (2).
  • the equation (2) when obtaining the detection signal value V Output_n corrected from the detection signal value V Signal_n pixel P n corresponding to the imaging area, and the pixel P n-1, P located on both sides of said imaging area n + 1 of the detection signal value V sample_n-1, V sample_n + 1 as well, in consideration of the pixel P n-2, P n + 2 of the detection signal value V signal_n-2, V signal_n + 2 in addition to the next, the weight It is a thing to do.
  • 20 to 22 are diagrams for explaining the relationship between the pixel structure and the imaging region in the case of using a detection unit in which a plurality of pixels are two-dimensionally arranged on the light receiving surface.
  • a rectangular frame represents a pixel
  • a circular region represents an imaging region.
  • the corrected detection signal value V output — m, n can be obtained from the detection signal value V signal — m, n of the pixel P m, n corresponding to the imaging region by , for example, the following equation (3).
  • V sample — m ⁇ 1, n , V sample — m + 1, n , V sample —m, n ⁇ 1 , V sample —m, n + 1 are pixels P m ⁇ 1, n , P m adjacent to the four sides of the imaging region, respectively.
  • the detected signal values are + 1, n , P m, n ⁇ 1 , and P m, n + 1 .
  • the corrected detection signal value V output — m, n can be obtained from the detection signal value V signal — m, n of the pixel P m, n corresponding to the imaging region, for example , by the following equation (4).
  • V signal_m-1, n , V signale_m + 1, n , V sample_m, n-1 , V sample_m, n + 1 are respectively pixels P m-1, n , P m adjacent to the four sides of the imaging region.
  • the detected signal values are + 1, n , P m, n ⁇ 1 , and P m, n + 1 .
  • the corrected detection signal value V output — m, n can be obtained from the detection signal value V signal — m, n of the pixel P m, n corresponding to the imaging region by , for example, the following equation (5).
  • V signal_m-1, n , V signale_m + 1, n , V sample_m, n-1 , V signal_m, n + 1 are respectively pixels P m-1, n , P m adjacent to the four sides of the imaging region.
  • the detected signal values are + 1, n , P m, n ⁇ 1 , and P m, n + 1 .
  • the coefficient ⁇ is usually about 1, but can be set based on the detection signal value of each pixel of the detection unit. For example, since the detection signal value of a pixel that does not correspond to any imaging region on the light receiving surface of the detection unit should be originally 0, the result of correcting the detection signal value of this pixel is 0. Thus, the value of the coefficient ⁇ may be set.
  • the present invention can also be applied to the case where an image of harmonic light or reflected scattered light of an observation object is created.
  • a fluorescence image single-photon excitation or multi-photon excitation may be used. It is also possible to create an autofluorescent image.
  • the case where light is emitted to a plurality of irradiation regions in an observation object using a spatial light modulator has been described.
  • a segment type deformable mirror, a diffractive optical element, a microlens array, and a beam splitter are used.
  • light may be irradiated to a plurality of irradiation regions in the observation object.
  • the plurality of irradiation regions may have different depths.
  • mPMT is mainly used as the detection unit.
  • MPPC registered trademark
  • a photodiode array an avalanche photodiode array
  • a CCD image sensor a CCD image sensor
  • a CMOS image sensor or the like
  • the imaging magnification of the imaging optical system that guides light generated in the irradiation area of the observation object and forms an image on the imaging area on the light receiving surface of the detection unit is variable.
  • the imaging lens 31 provided in the preceding stage is preferably a variable focus lens.
  • the zoom magnification is preferably controlled by an electric signal supplied from the control unit.
  • the variable focus lens may be a single element controlled by an electric signal, or may be a combination of one or more lenses having a fixed focal length made of a glass material such as BK7.
  • the scanning range of the scanning unit (the optical scanners 14, 14 a, and 14 b), the interval and the number of imaging regions on the light receiving surface of the detection unit 32, and the size of the irradiation region on the observation target are determined.
  • the visual field range and resolution are almost determined. For example, when it is desired to observe a wide visual field range, scanning is performed with a wide scanning range. Conversely, when it is desired to observe a narrow visual field range, the scanning range is set to be narrow and scanning is performed.
  • the interval between a plurality of irradiation areas on the observation object by the modulation pattern presented to the spatial light modulator, and to change the visual field range.
  • the interval between the plurality of pixels arranged on the light receiving surface of the detection unit is fixed. Therefore, if the intervals between the plurality of irradiation regions in the observation object are changed, the correspondence between the imaging region and the pixels on the light receiving surface of the detection unit is different.
  • any imaging area is placed between two adjacent imaging areas.
  • FIG. 23 (a) when a plurality of irradiation areas on the observation object are arranged at a certain interval, as shown in FIG. 23 (a), any imaging area is placed between two adjacent imaging areas.
  • a plurality of irradiation areas on the observation object are arranged at different intervals, as shown in FIG. 23B, any imaging area can be accommodated between two adjacent imaging areas. There may be a situation in which there is no non-existing pixel.
  • a modulation pattern for generating a diffraction grating or a plurality of irradiation areas is presented to the spatial light modulator.
  • the maximum diffraction angle ⁇ max of these hologram patterns is obtained by the following equation from the grating interval a of the diffraction grating pattern (binary two-pixel period) having the highest spatial frequency that can be expressed by the spatial light modulator and the wavelength ⁇ of the modulated light. .
  • the interval L between the + 1st order diffracted light and the 0th order diffracted light (condensing position when the diffraction grating is not displayed) in the observation object is obtained by the following equation using the focal lengths fobj and ⁇ max of the objective lens. . Therefore, the spatial light modulator can form an irradiation region in a range that is 2L ⁇ 2L away from the observation object with the optical axis at the center.
  • the wavelength of light is 800 nm
  • the grating interval a is 40 ⁇ m
  • the focal length fobj of the objective lens is 4.5 mm
  • L 90 ⁇ m
  • a hologram pattern for that purpose is presented to the spatial light modulator.
  • the scanable range is, for example, as follows.
  • the diffraction angles ⁇ formed by two adjacent irradiation ranges are as follows.
  • the focal length f1 of the variable focus lens provided at the front stage of the detection unit is set to 200 mm.
  • An interval L1 between two adjacent imaging regions on the light receiving surface of the detection unit is expressed by the following equation (8) from the diffraction angle ⁇ and the focal length f1, and is as follows. (A) 222 ⁇ m, (b) 444 ⁇ m, (c) 666 ⁇ m
  • the interval between a plurality of pixels arranged on the light receiving surface of the detection unit is set to 400 ⁇ m. At this time, under the condition (a), there is a possibility that a plurality of imaging regions correspond to one pixel, and under the condition (c), a pixel where no fluorescence is incident occurs.
  • variable focus lens In order to solve such a problem, a variable focus lens is employed. Then, using an electrically controlled zoom lens, the interval between two adjacent imaging regions on the light receiving surface of the detector is enlarged or reduced as follows. (A) 3.6 times, (b) 1.8 times, (c) 1.2 times By doing in this way, the interval between two adjacent imaging regions can be set to 800 ⁇ m. A pixel that does not correspond to any imaging region exists between two matching imaging regions.
  • the interval p between the plurality of pixels of the detection unit, the diffraction angle ⁇ formed by two adjacent irradiation regions among the plurality of irradiation regions formed by the spatial light modulator, and the arrangement just before the detection unit When the focal length f1 of the lens is determined, the magnification M to be expanded or reduced by the variable focus lens can be determined from the following equation, and the adjustment is automatically performed based on this.
  • This M may be different from the theoretical value in actual experiments.
  • calibration is performed to measure the amount of deviation between the theoretical value and the actual measurement, and the actual measurement value is also stored.
  • the magnification is automatically changed in consideration of the deviation between the theoretical value of the zoom lens and the actual measurement. For example, when the interval between the irradiation areas changes to 1 ⁇ 2 in the theoretical value, the magnification may be changed so as to be 1 ⁇ 2 from the actual measurement value.
  • variable focus lens When the variable focus lens is configured by combining a plurality of lenses, it can be configured by a fixed lens 101 and a variable lens 102 as shown in FIG.
  • the combined focal length f1 of the variable focus lens in this case is expressed by the following equation from the focal length fsta of the fixed lens 101, the focal length fele of the variable lens 102, and the distance d between the two lenses.
  • the focal length fele of the variable lens 102 may be obtained from the following equation.
  • the focal length of the variable focus lens can be automatically determined according to the interval between the plurality of irradiation areas generated by the spatial light modulator.
  • the imaging magnifications of the excitation light and fluorescence telecentric relay lens systems are different from each other, the imaging magnification must also be considered.
  • the optical system of excitation light is composed of three relay lens systems, while the fluorescence optical system is composed of two relay lens systems, it is particularly necessary to consider.
  • the lens has chromatic aberration (a phenomenon in which the focal length of the lens varies depending on the wavelength), it is necessary to correct the correction. Therefore, it is preferable to include feedback for adjustment.
  • the condensing position does not change even if the magnification of the variable lens changes.
  • the detector be moved.
  • the image acquisition device and the image acquisition method according to the present invention are not limited to the above-described embodiments and configuration examples, and various modifications are possible.
  • a light source that outputs light
  • an irradiation optical system that condenses and irradiates light output from the light source onto a plurality of irradiation regions on or inside the observation target object
  • a scanning unit that scans a plurality of irradiation areas in a direction intersecting the optical axis in the direction of light irradiation to the observation object by the irradiation optical system
  • a light receiving surface on which the plurality of irradiation regions are imaged by the imaging optical system, and the light receiving surface.
  • An image creation unit that creates an image of an observation object based on a signal Has a configuration comprising a.
  • the detection unit includes, on the light receiving surface, a plurality of imaging regions having an imaging relationship with the imaging optical system with respect to the plurality of irradiation regions on the observation target.
  • Each of the plurality of imaging regions corresponds to one or more pixels, and a pixel that does not correspond to any of the plurality of imaging regions exists next to each imaging region
  • the image creation unit includes The detection signal of the pixel corresponding to each of the plurality of imaging regions is corrected based on the detection signal of one or more pixels adjacent to each imaging region and not corresponding to any of the plurality of imaging regions.
  • the image of the observation object is created based on the corrected detection signal.
  • the detection unit includes pixels that do not correspond to any of the plurality of imaging regions on both sides of the imaging region on the light receiving surface, and the image creation unit includes each of the imaging regions.
  • the detection signal of the corresponding pixel is corrected based on the detection signal of two pixels that are adjacent to each imaging region and do not correspond to any of the plurality of imaging regions, and observation is performed based on the corrected detection signal It is good also as a structure which produces the image of a target object.
  • the detection unit includes a plurality of imaging regions arranged two-dimensionally on the light receiving surface, and four pixels that do not correspond to any of the imaging regions adjacent to the four sides of each imaging region.
  • the image creating unit sends detection signals of pixels corresponding to each of the plurality of imaging regions to four pixels that are adjacent to each of the imaging regions and do not correspond to any of the plurality of imaging regions. It is good also as a structure which correct
  • the detection unit includes two or more pixels that do not correspond to any of the plurality of imaging regions between two adjacent imaging regions of the plurality of imaging regions on the light receiving surface. It may be configured to exist.
  • the irradiation optical system includes a spatial light modulator that spatially modulates light output from the light source, and presents a plurality of modulated light by presenting a modulation pattern to the spatial light modulator. It is good also as a structure which condenses and irradiates the irradiation area
  • the irradiation optical system may include a diffractive optical element that diffracts light output from the light source, and condenses and irradiates light after diffraction by the diffractive optical element to a plurality of irradiation regions. good.
  • the scanning unit may include an optical scanner provided on the optical path of the irradiation optical system, and the optical scanner may be driven to scan a plurality of irradiation areas.
  • the scanning unit may be configured to scan a plurality of irradiation areas in the direction of light irradiation to the observation target by the irradiation optical system.
  • the imaging magnification of the imaging optical system may be variable.
  • the detection unit may include a multi-anode photomultiplier tube having a plurality of anodes as a plurality of pixels.
  • the detection unit may include a configuration in which a plurality of avalanche photodiodes are arranged as a plurality of pixels.
  • an image of the observation object is created based on the detection signal output from the detection unit using the light source, the irradiation optical system, the scanning unit, the imaging optical system, and the detection unit.
  • An image acquisition method comprising: (a) a plurality of imaging regions having an imaging relationship by an imaging optical system with respect to a plurality of irradiation regions on an observation object on a light receiving surface of a detection unit; Each imaging region corresponds to one or more pixels, and a pixel that does not correspond to any of the plurality of imaging regions exists next to each imaging region, and (b) each of the plurality of imaging regions.
  • the detection signal of the corresponding pixel is corrected based on the detection signal of one or more pixels adjacent to each imaging region and not corresponding to any of the plurality of imaging regions, and the corrected detection signal is As a configuration to create an image of the observation object based on That.
  • the image acquisition method may be the same as the configuration of the image acquisition device described above.
  • the present invention can be used as an image acquisition apparatus and an image acquisition method that can easily improve the SN ratio of an image of an observation object generated by multipoint scanning.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Astronomy & Astrophysics (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

画像取得装置１は、空間光変調器１１、光スキャナ１４、検出部３２および制御部７０等を備える。空間光変調器１１は、変調後の励起光を観察対象物Ｓの表面または内部における複数の照射領域に集光照射する。検出部３２は、受光面上において、観察対象物における複数の照射領域に対して結像光学系による結像関係にある複数の結像領域を有し、複数の結像領域それぞれが１または２以上の画素に対応し、複数の結像領域の何れにも対応しない画素が各結像領域の隣に存在する。制御部７０は、各結像領域に対応する画素の検出信号を、該結像領域の隣にあって複数の結像領域の何れにも対応しない画素の検出信号に基づいて補正し、その補正後の検出信号に基づいて観察対象物の画像を作成する。これにより、多点走査により生成される観察対象物の画像のＳＮ比を容易に改善することができる画像取得装置および画像取得方法が実現される。

Description

画像取得装置および画像取得方法
　本発明の一側面は、観察対象物の表面または内部における複数の照射領域に光を集光照射するとともに、これら複数の照射領域を走査し、これら複数の照射領域それぞれで発生する光を検出して、観察対象物の画像を作成する装置および方法に関するものである。
　非特許文献１，２に記載された画像取得装置は、観察対象物の表面または内部における複数の照射領域に光を集光照射するとともに、これら複数の照射領域を走査し、これら複数の照射領域それぞれで発生する光（例えば、蛍光、高調波光、反射散乱光など）を検出して、観察対象物の画像を作成することができる。単一の照射光ビームにより単一の照射領域を走査する場合（以下「単点走査」という）と比べて、Ｎ個の照射光ビームによりＮ個の照射領域を同時に走査する場合（以下「多点走査」または「Ｎ点走査」という）には、各照射領域の走査範囲の大きさを１／Ｎにすることができるので、観察対象物の画像を作成するためのデータの収集に要する計測時間を１／Ｎに短縮することができる。ここで、Ｎは２以上の整数である。
　観察対象物への光照射の方向をｚ方向とするｘｙｚ直交座標系を想定する。ｚ方向の或る１点におけるｘｙ平面の画像を取得する場合、例えば、単点走査に要する時間が０.２４秒であれば、４点走査に要する時間は０.０６秒でよい。また、ｚ方向の１０００点それぞれにおいてｘｙ平面の画像を取得する場合（すなわち、３次元画像を取得する場合）、単点走査に要する時間は２４０秒であり、４点走査に要する時間は６０秒となる。このように、単点走査と比べて多点走査では、短時間にデータ収集をして観察対象物の画像を作成することができる。
　また、Ｎ点走査において、単点走査に要する時間と同じ時間を要してもかまわないのであれば、各照射領域で発生する光を受光する時間（露光時間）をＮ倍にすることができ、観察対象物への光照射量を低減することができる。このことは、観察対象物や蛍光分子に与えるダメージの軽減につながり、また、タイムラプスなどの繰り返しの測定を行う際に有効である。
　多点走査の場合には、複数の照射領域それぞれで発生する光を個別に検出する検出部を用いる必要がある。すなわち、観察対象物の各照射領域で発生する光を検出部の受光面において対応する結像領域に結像して、各結像領域から個別に検出信号を取り出す。観察対象物の複数の照射領域が互いに別個のものであるのと同様に、検出部の受光面における複数の結像領域も互いに別個のものとして区切られる。
　観察対象物の或る照射領域で発生した光は、検出部の受光面において該照射領域に対応する結像領域で受光されるべきであるが、観察対象物の内部における散乱や収差の影響に因り、他の結像領域で一部がノイズ光として受光される場合がある。このノイズ光は、生成される観察対象物の画像におけるバックグラウンドノイズとなったり、その画像において本来の像の位置と異なる位置にゴースト像を生じさせたりして、ＳＮ（Signal-to-noise）比を低下させる。観測対象物における照射領域が表面から深くなると、このような現象は顕著になる。
　非特許文献１，２には、観察対象物の画像のＳＮ比の改善を図る技術が記載されている。非特許文献１に記載されたＳＮ比改善技術は、単一の蛍光発生領域が存在する観察対象物に対して単点走査を行なって検出部の受光面上における光の広がりを求め、多点走査により取得された観察対象物の画像と上記の光の広がりとのデコンボリューションを計算することで、観察対象物の画像のＳＮ比を改善することを意図する。非特許文献２に記載されたＳＮ比改善技術は、多点走査により取得された観察対象物の画像に基づいて最尤推定法による推定を行って、ＳＮ比が改善された観察対象物の画像を求めることを意図している。
K. H. Kim et al., "Multifocal multiphoton microscopy based on multianode photomultiplier tubes", Optics Express, Vol.15, No.18, pp.11658-11678 (2007) J. W. Cha et al., "Reassignment of Scattered Emission Photons in Multifocal Multiphoton Microscopy", Scientific Reports 4：5153 pp.1-13 (2014)
　非特許文献１に記載されたＳＮ比改善技術は、検出部の受光面上における光の広がりを求めるために単点走査を行なう必要がある。検出部の受光面上における光の広がりの程度は、観察対象物における照射領域の深さ（ｚ方向の位置）によって異なるので、ｚ方向の各位置に照射領域を設定して求める必要がある。多点走査は計測時間の短縮を目的とするにも拘らず、多点走査の他に単点走査も行う必要があることから、この目的に反して計測時間が長くなる。そもそも単点走査を行うのであれば多点走査をする必要がない。非特許文献２に記載されたＳＮ比改善技術は、最尤推定法による推定を行う際に計算を繰り返して行う必要があり、その繰り返し計算に長時間を要する。
　本発明の一側面は、上記問題点を解消する為になされたものであり、多点走査により生成される観察対象物の画像のＳＮ比を容易に改善することができる画像取得装置および画像取得方法を提供することを目的とする。
　本発明の一側面による画像取得装置は、（１）光を出力する光源と、（２）光源から出力される光を観察対象物の表面または内部における複数の照射領域に集光照射する照射光学系と、（３）照射光学系による観察対象物への光照射の方向の光軸に交差する方向に複数の照射領域を走査する走査部と、（４）照射光学系による観察対象物への光照射に伴って複数の照射領域それぞれで発生する光を導いて結像する結像光学系と、（５）複数の照射領域が結像光学系により結像される受光面を有し、その受光面上に１次元状または２次元状に複数の画素が配列されており、複数の画素それぞれにおける受光量に応じた値の検出信号を出力する検出部と、（６）検出部から出力される検出信号に基づいて観察対象物の画像を作成する画像作成部と、を備える。
　さらに、画像取得装置は、上記構成において、（ａ）検出部は、受光面上において、観察対象物における複数の照射領域に対して結像光学系による結像関係にある複数の結像領域を有し、複数の結像領域それぞれが１または２以上の画素に対応し、複数の結像領域の何れにも対応しない画素が各結像領域の隣に存在し、（ｂ）画像作成部は、複数の結像領域それぞれに対応する画素の検出信号を、各結像領域の隣にあって複数の結像領域の何れにも対応しない１または２以上の画素の検出信号に基づいて補正し、その補正後の検出信号に基づいて観察対象物の画像を作成する。
　本発明の一側面による画像取得方法は、上記の光源、照射光学系、走査部、結像光学系および検出部を用いて、検出部から出力される検出信号に基づいて観察対象物の画像を作成する画像取得方法であって、（ａ）検出部の受光面上において、観察対象物における複数の照射領域に対して結像光学系による結像関係にある複数の結像領域を有し、複数の結像領域それぞれが１または２以上の画素に対応し、複数の結像領域の何れにも対応しない画素が各結像領域の隣に存在する構成とし、（ｂ）複数の結像領域それぞれに対応する画素の検出信号を、各結像領域の隣にあって複数の結像領域の何れにも対応しない１または２以上の画素の検出信号に基づいて補正し、その補正後の検出信号に基づいて観察対象物の画像を作成する。
　本発明の一側面によれば、多点走査により生成される観察対象物の画像のＳＮ比を容易に改善することができる。
図１は、画像取得装置１の構成を示す図である。 図２は、画像取得装置２の構成を示す図である。 図３は、（ａ）単点走査、および（ｂ）多点走査について説明する図である。 図４は、（ａ）観察対象物Ｓにおける照射領域Ａ１～Ａ４、および（ｂ）検出部３２の受光面における結像領域Ｂ１～Ｂ４について説明する図である。 図５は、観察対象物Ｓにおける照射領域Ａ１～Ａ４および蛍光ビーズの分布を示す図である。 図６は、（ａ）～（ｃ）検出部３２の受光面における受光領域の広がりについて説明する図である。 図７は、単点走査の場合の検出部３２の各画素での蛍光強度を示すグラフである。 図８は、２点走査の場合の検出部３２の各画素での蛍光強度を示すグラフである。 図９は、（ａ）単点走査、および（ｂ）４点走査それぞれの場合の観察対象物の蛍光画像を示す図である。 図１０は、（ａ）～（ｄ）検出部３２の受光面における画素構造と結像領域との間の関係を説明する図である。 図１１は、（ａ）、（ｂ）検出部３２から出力される検出信号と観察対象物Ｓの画像との関係を説明する図である。 図１２は、（ａ）、（ｂ）検出信号の補正の効果を確認するシミュレーションの結果を示すグラフである。 図１３は、（ａ）、（ｂ）検出信号の補正の効果を確認するシミュレーションの結果を示すグラフである。 図１４は、（ａ）、（ｂ）第１実施例によるＳＮ比改善の効果を示す観察対象物の蛍光画像である。 図１５は、（ａ）、（ｂ）第２実施例によるＳＮ比改善の効果を示す観察対象物の蛍光画像である。 図１６は、（ａ）、（ｂ）第２実施例によるＳＮ比改善の効果を示す観察対象物の蛍光画像である。 図１７は、（ａ）、（ｂ）第２実施例によるＳＮ比改善の効果を示す観察対象物の蛍光画像である。 図１８は、第３実施例によるＳＮ比改善の効果を示す観察対象物の蛍光画像である。 図１９は、第３実施例と対比される比較例による観察対象物の蛍光画像である。 図２０は、受光面において複数の画素が２次元配列された検出部を用いる場合の画素構造と結像領域との間の関係を説明する図である。 図２１は、受光面において複数の画素が２次元配列された検出部を用いる場合の画素構造と結像領域との間の関係を説明する図である。 図２２は、受光面において複数の画素が２次元配列された検出部を用いる場合の画素構造と結像領域との間の関係を説明する図である。 図２３は、（ａ）、（ｂ）検出部の受光面における画素構造と結像領域との間の関係を説明する図である。 図２４は、可変焦点レンズの構成例を示す図である。 図２５は、（ａ）、（ｂ）他の多点走査の例について説明する図である。
　以下、添付図面を参照して、本発明を実施するための形態を詳細に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。また、本発明は、これらの例示に限定されるものではない。
　本実施形態の画像取得装置および画像取得方法は観察対象物の表面または内部で発生する蛍光、高調波光、反射散乱光などの像を取得することができるが、以下では観察対象物の蛍光画像を取得する実施形態について主に説明する。また、各図において、観察対象物と光照射方向との関係等を説明する便宜のためにｘｙｚ直交座標系が示されている。
　図１は、画像取得装置１の構成を示す図である。画像取得装置１は、光源１０、空間光変調器１１、ダイクロイックミラー１３、光スキャナ１４、対物レンズ２１、ステージ２３、結像レンズ３１、検出部３２および制御部７０等を備える。
　光源１０は、観察対象物Ｓに含まれる蛍光標識を励起し得る波長の励起光を出力するものであり、好適にはレーザ光源である。観察対象物Ｓにおいて多光子吸収による蛍光を発生させるには、光源１０は、フェムト秒、ピコ秒、ナノ秒などの短パルスのレーザ光を励起光として出力するレーザ光源が好適である。
　光源１０から出力された励起光を入力するレンズ４１，４２は、ビーム径を調整して励起光を出力するビームエキスパンダを構成している。ビームエキスパンダは、一般に複数枚のレンズで構成される。ビームエキスパンダから出力される励起光のビーム径は、対物レンズ２１の瞳径に応じて適切に設定される。
　空間光変調器１１は、光源１０から出力されビームエキスパンダ（レンズ４１，４２）を経てミラー５１で反射された励起光を入力し、その入力した励起光を空間的に変調して出力する。空間光変調器１１は、位相変調型のものであってもよいし、振幅変調型のものであってもよい。空間光変調器１１は、図１では反射型のものとして示されているが、透過型のものであってもよい。空間光変調器１１は、呈示される変調パターンに応じて、出力光のビーム断面において空間的に位相または振幅を変調することができる。
　空間光変調器１１は、所定の変調パターンが呈示されることにより、変調後の励起光を観察対象物Ｓの表面または内部における複数の照射領域に集光照射することができる。この場合、空間光変調器１１は、光源１０から出力される単一の光ビームから複数の光ビームを生成する多点生成素子として用いられる。
　多点生成素子として用いられる空間光変調器１１は、光ビームの本数、光ビームの間隔、各光ビームの集光位置の深さ（ｚ方向位置）等を、制御部７０から与えられる電気的制御信号により呈示される変調パターンに応じて自由に設定することができる。これらは、観察対象物Ｓのうちの観察すべき領域を複数の部分領域に区分した際の部分領域の個数や各部分領域の大きさに応じて設定される。なお、多点生成素子として、空間光変調器以外に、回折光学素子、マイクロレンズアレイ、ビームスプリッタなども用いられ得る。
　また、空間光変調器１１は、呈示される変調パターンを変化させることにより、観察対象物Ｓにおける複数の照射領域を走査する走査部としても用いられ得る。さらに、空間光変調器１１は、所定の変調パターンが呈示されることにより、観察対象物Ｓにおける複数の照射領域に至るまでの光路の収差を補正して、各照射領域を小さくすることができ、取得される画像の分解能を高めることができる。
　ダイクロイックミラー１３は、励起光および蛍光のうち励起光を選択的に透過させ、蛍光を選択的に反射させる。すなわち、ダイクロイックミラー１３は、空間光変調器１１から到達した励起光を入力し、その励起光をレンズ４３へ透過させる。また、ダイクロイックミラー１３は、レンズ４３から到達した蛍光を入力し、その蛍光をズームレンズ４７へ反射させる。
　ダイクロイックミラー１３から出力された励起光を入力するレンズ４３，４４は、テレセントリックリレーレンズ系を構成している。
　光スキャナ１４は、ダイクロイックミラー１３から出力されテレセントリックリレーレンズ系（レンズ４３，４４）を経た励起光を入力して、観察対象物Ｓへの励起光照射の方向（ｚ方向）に交差する方向に照射領域を走査する走査部として用いられる。また、光スキャナ１４は、観察対象物Ｓの照射領域で発生した蛍光を入力してデスキャンすることで、ダイクロイックミラー１３と光スキャナ１４との間における励起光および蛍光それぞれの主光線を互いに一致させることができる。光スキャナ１４は、例えば、ガルバノミラー、ポリゴンミラー、ＭＥＭＳ（Micro Electro Mechanical Systems）ミラー、ジンバル（Gimbal）ミラーを含む。
　光スキャナ１４から出力されてミラー５２により反射された励起光を入力するレンズ４５，４６は、テレセントリックリレーレンズ系を構成している。テレセントリックリレーレンズ系（レンズ４３，４４）およびテレセントリックリレーレンズ系（レンズ４５，４６）は、空間光変調器１１により変調されて生成された励起光の波面を対物レンズ２１の後側焦点面へ転送する。
　なお、多点生成素子としてマイクロレンズアレイを用いる場合には、これらのテレセントリックリレーレンズ系は、マイクロレンズアレイ近傍の集光点を対物レンズ２１の後側焦点面へ転送する。多点生成素子と対物レンズ２１とが互いに極めて近い場合には、これらのテレセントリックリレーレンズ系は設けられなくてもよい。
　対物レンズ２１は、ステージ２３上の観察対象物Ｓに対峙するように配置される。対物レンズ２１は、テレセントリックリレーレンズ系（レンズ４５，４６）から出力されミラー５３により反射された励起光を入力し、ステージ２３上の観察対象物Ｓの表面または内部における複数の照射領域に励起光を集光照射する。また、対物レンズ２１は、観察対象物Ｓの何れかの照射領域で蛍光が発生した場合に該蛍光を入力し、その蛍光をミラー５３へ出力する。
　対物レンズ２１は、対物レンズ移動機構２２の作用により、光軸方向すなわち観察対象物Ｓの深さ方向（ｚ方向）に移動可能である。ステージ２３は、ステージ移動機構２４の作用により、対物レンズ２１の光軸方向と交差する方向（好適にはｘｙ面に平行な方向）に移動可能であり、また、光軸方向すなわち観察対象物Ｓの深さ方向（ｚ方向）に移動可能である。対物レンズ移動機構２２およびステージ移動機構２４も、観察対象物Ｓにおける複数の照射領域を走査する走査部として用いられる。対物レンズ移動機構２２およびステージ移動機構２４それぞれは、例えばステッピングモータやピエゾアクチュエータなどを含む。
　図１に示される構成では単一の対物レンズ２１が励起光照射用および蛍光観察用の双方を兼ねているが、励起光照射用の対物レンズと蛍光観察用の対物レンズとが別個に設けられてもよい。励起光照射用の対物レンズとして高ＮＡのものを用いることで、収差の影響を低減して局所的に集光することができる。蛍光観察用の対物レンズとして瞳径が大きいものを用いることで、より多くの蛍光を入力することができる。
　図１では対物レンズ２１を含む顕微鏡は倒立型の構成であるが、正立型の顕微鏡の構成であってもよい。
　観察対象物Ｓの照射領域で発生して対物レンズ２１に入力された蛍光は、励起光の経路と同じ経路を逆方向に辿ってダイクロイックミラー１３に到達し、ダイクロイックミラー１３で反射される。ダイクロイックミラー１３で反射された蛍光を入力するズームレンズ４７および結像レンズ３１は、観察対象物Ｓの照射領域で発生する蛍光を検出部３２の受光面に導いて、受光面上に蛍光画像を形成する。フィルタ５４は、ダイクロイックミラー１３と検出部３２との間の光路上に設けられ、励起光および蛍光のうち蛍光を選択的に透過させ励起光を選択的に遮断する。フィルタ５４は、観察対象物Ｓ等で散乱または反射された励起光のうちダイクロイックミラー１３で一部反射された励起光を検出部３２が受光することを抑制することができる。
　なお、光源１０から観察対象物Ｓに至るまでの励起光の光路上にある要素群は、光源１０から出力される励起光を観察対象物Ｓの表面または内部における複数の照射領域に集光照射する照射光学系を構成している。観察対象物Ｓから検出部３２に至るまでの蛍光の光路上にある要素群は、照射光学系による観察対象物Ｓへの励起光照射に伴って複数の照射領域それぞれで発生する光を導いて結像する結像光学系を構成している。
　検出部３２は、観察対象物Ｓにおける複数の照射領域が結像光学系により結像される受光面を有し、その受光面上に１次元状または２次元状に複数の画素が配列されており、これら複数の画素それぞれにおける受光量に応じた値の検出信号を出力する。検出部３２は、例えばマルチアノード光電子増倍管、ＭＰＰＣ（登録商標）、フォトダイオードアレイ、アバランシェフォトダイオードアレイ、ＣＣＤイメージセンサ、ＣＭＯＳイメージセンサなどの光検出器を含む。
　マルチアノード光電子増倍管（multi-anode　photo　multiplier　tube、以下「ｍＰＭＴ」という）は、複数の画素として複数のアノードを有し、各アノードの受光量に応じた検出信号を出力することができる。ＭＰＰＣ（Multi-Pixel　Photon　Counter）は、ガイガーモードで動作するアバランシェフォトダイオードにクエンチング抵抗が接続されたものを１つの画素として、複数の画素が２次元配列されたものである。これらは高速・高感度の光検出をすることができる。
　検出部３２の受光面の前にピンホールアレイを配置して、観察対象物Ｓの照射領域とピンホールとの間の光学系を共焦点光学系としてもよい。ピンホールアレイは、検出部３２の受光面の直前に配置されてもよいし、検出部３２の受光面に対してリレーレンズ系を介した位置に配置されてもよい。これは、単光子励起による蛍光を検出する場合や、反射散乱光を検出する場合に有効である。
　制御部７０は、画像取得装置１の全体の動作を制御する。具体的には、制御部７０は、光源１０による光出力動作を制御し、また、空間光変調器１１に与える変調パターンを生成して、その変調パターンを空間光変調器１１に与える。制御部７０は、光スキャナ１４を駆動し、また、対物レンズ移動機構２２を駆動することにより対物レンズ２１を移動させることで、観察対象物Ｓにおける照射領域を走査する。制御部７０は、ステージ移動機構２４を駆動することによりステージ２３を移動させることでも、観察対象物Ｓにおける照射領域を走査することができる。
　さらに、制御部７０は、検出部３２による光検出動作を制御する。制御部７０は、検出部３２から出力される検出信号を受け取り、この検出信号に基づいて観察対象物Ｓの画像を作成する画像作成部としても用いられる。これについては後述する。
　制御部７０は、例えばコンピュータであり、少なくとも画像処理回路を有する。制御部７０は、入力部７１および表示部７２とともに用いられる。入力部７１は、例えば、キーボードやマウスであり、計測開始の指示や計測条件に関する指示等を入力する。表示部７２は、例えば、ディスプレイであり、計測条件を表示したり、観察対象物Ｓの画像を表示したりする。
　この画像取得装置１の概略動作は以下のとおりである。光源１０から出力された励起光は、照射光学系により、観察対象物Ｓの表面または内部における複数の照射領域に集光照射される。すなわち、光源１０から出力された励起光は、ビームエキスパンダ（レンズ４１，４２）によりビーム径が調整され、ミラー５１で反射されて、空間光変調器１１に入力される。制御部７０から与えられた変調パターンが呈示された空間光変調器１１により、励起光のビーム断面において空間的に位相または振幅が変調され、その変調後の励起光が空間光変調器１１から出力される。
　空間光変調器１１から出力された励起光は、ダイクロイックミラー１３を透過し、テレセントリックリレーレンズ系（レンズ４３，４４）を経て、光スキャナ１４に入力される。光スキャナ１４により、光スキャナ１４からの励起光の出力方向が変化する。光スキャナ１４から出力された励起光は、ミラー５２で反射され、テレセントリックリレーレンズ系（レンズ４５，４６）を経て、ミラー５３で反射されて、対物レンズ２１に入力される。
　対物レンズ２１に入力された励起光は、ステージ２３上の観察対象物Ｓの表面または内部に集光照射される。このとき、観察対象物Ｓにおける照射領域の個数や間隔などは、制御部７０により空間光変調器１１に呈示された変調パターンに応じて設定される。観察対象物Ｓにおける照射領域のｘｙ面上の位置は、制御部７０により駆動された光スキャナ１４により走査される。観察対象物Ｓにおける照射領域のｚ方向の位置は、制御部７０により駆動された対物レンズ移動機構２２により対物レンズ２１がｚ方向に移動することで走査され、または、制御部７０により駆動されたステージ移動機構２４によりステージ２３がｚ方向に移動することで走査される。
　観察対象物Ｓの照射領域で発生して対物レンズ２１に入力された蛍光は、結像光学系により、検出部３２の受光面に結像される。すなわち、この蛍光は、対物レンズ２１、ミラー５３、テレセントリックリレーレンズ系（レンズ４６，４５）、ミラー５２、光スキャナ１４およびテレセントリックリレーレンズ系（レンズ４４，４３）を経て、ダイクロイックミラー１３で反射される。蛍光に対する光スキャナ１４のデスキャン作用により、ダイクロイックミラー１３と光スキャナ１４との間における励起光および蛍光それぞれの主光線は互いに一致する。ダイクロイックミラー１３で反射された蛍光は、ズームレンズ４７、フィルタ５４および結像レンズ３１を経て、検出部３２の受光面に到達する。観察対象物Ｓにおける照射領域が検出部３２の受光面上に結像される。
　そして、検出部３２の受光面上に配列された複数の画素それぞれにおける受光量に応じた値の検出信号が検出部３２から出力される。検出部３２から出力された検出信号は制御部７０に入力される。画像作成部としての制御部７０により、検出部３２から出力される検出信号に基づいて観察対象物Ｓの画像が作成される。その画像は表示部７２により表示される。
　図１に示された画像取得装置１は反射型の空間光変調器を備えるものであったが、図２に示されるように透過型の空間光変調器を備える画像取得装置２の構成としてもよい。図２は、画像取得装置２の構成を示す図である。この図は、透過型の空間光変調器１２から観察対象物Ｓまでの励起光の照射光学系、および、観察対象物Ｓから検出部３２までの蛍光の結像光学系を示す。
　図２に示される画像取得装置２に含まれるダイクロイックミラー１３、対物レンズ２１、ステージ２３、結像レンズ３１および検出部３２それぞれは、図１に示される画像取得装置１に含まれるそれらと同様のものである。画像取得装置２は、画像取得装置１の構成と同様に、光源、ビームエキスパンダ、対物レンズ駆動機構、ステージ駆動機構および制御部等を備えるが、これらについては図２では図示が省略されている。
　空間光変調器１２は、励起光を透過させる際に、励起光のビーム断面において空間的に位相または振幅を変調することができる。透過型の空間光変調器１２は、反射型の空間光変調器１１と同様に、変調後の励起光を観察対象物Ｓの表面または内部における複数の照射領域に集光照射することができ、観察対象物Ｓにおける複数の照射領域を走査する走査部としても用いることができ、また、観察対象物Ｓにおける複数の照射領域に至るまでの光路の収差を補正することができる。
　観察対象物Ｓへの励起光照射の方向に交差する方向に照射領域を走査する走査部として、光スキャナ１４ａ，１４ｂが設けられている。一方の光スキャナ１４ａは、空間光変調器１２からダイクロイックミラー１３およびテレセントリックリレーレンズ系（レンズ６１，６２）を経て到達した励起光を入力し、観察対象物Ｓへの励起光照射の方向に交差する第１方向に照射領域を走査する。他方の光スキャナ１４ｂは、光スキャナ１４ａからテレセントリックリレーレンズ系（レンズ６３，６４）を経て到達した励起光を入力し、観察対象物Ｓへの励起光照射の方向に交差する第２方向に照射領域を走査する。例えば、第１方向および第２方向のうち一方はｘ方向であり、他方はｙ方向である。
　この画像取得装置２の概略動作は以下のとおりである。光源から出力された励起光は、照射光学系により、観察対象物Ｓの表面または内部における複数の照射領域に集光照射される。すなわち、光源から出力された励起光は、ビームエキスパンダによりビーム径が調整され、空間光変調器１２に入力される。所定の変調パターンが呈示された空間光変調器１２により、励起光のビーム断面において空間的に位相または振幅が変調され、その変調後の励起光が空間光変調器１２から出力される。
　空間光変調器１２から出力された励起光は、ダイクロイックミラー１３を透過し、テレセントリックリレーレンズ系（レンズ６１，６２）を経て、光スキャナ１４ａに入力される。光スキャナ１４ａにより、光スキャナ１４ａからの励起光の出力方向が変化する。光スキャナ１４ａから出力された励起光は、テレセントリックリレーレンズ系（レンズ６３，６４）を経て、光スキャナ１４ｂに入力される。光スキャナ１４ｂにより、光スキャナ１４ｂからの励起光の出力方向が変化する。光スキャナ１４ｂから出力された励起光は、テレセントリックリレーレンズ系（レンズ６５，６６）を経て、対物レンズ２１に入力される。
　対物レンズ２１に入力された励起光は、ステージ２３上の観察対象物Ｓの表面または内部に集光照射される。このとき、観察対象物Ｓにおける照射領域の個数や間隔などは、空間光変調器１２に呈示された変調パターンに応じて設定される。観察対象物Ｓにおける照射領域のｘｙ面上の位置は、光スキャナ１４ａ，１４ｂにより走査される。観察対象物Ｓにおける照射領域のｚ方向の位置は、対物レンズ移動機構により対物レンズ２１がｚ方向に移動することで走査され、または、ステージ移動機構によりステージ２３がｚ方向に移動することで走査される。
　観察対象物Ｓの照射領域で発生して対物レンズ２１に入力された蛍光は、結像光学系により、検出部３２の受光面に結像される。すなわち、この蛍光は、対物レンズ２１、テレセントリックリレーレンズ系（レンズ６６，６５）、光スキャナ１４ｂ、テレセントリックリレーレンズ系（レンズ６４，６３）、光スキャナ１４ａ、テレセントリックリレーレンズ系（レンズ６２，６１）を経て、ダイクロイックミラー１３で反射される。蛍光に対する光スキャナ１４ａ，１４ｂのデスキャン作用により、ダイクロイックミラー１３と光スキャナ１４ｂとの間における励起光および蛍光それぞれの主光線は互いに一致する。ダイクロイックミラー１３で反射された蛍光は、結像レンズ３１を経て、検出部３２の受光面に到達する。観察対象物Ｓにおける照射領域が検出部３２の受光面上に結像される。
　そして、検出部３２の受光面上に配列された複数の画素それぞれにおける受光量に応じた値の検出信号が検出部３２から出力される。画像作成部としての制御部により、検出部３２から出力される検出信号に基づいて観察対象物Ｓの画像が作成される。その画像は表示部により表示される。
　図１および図２に示された２つの構成の何れに対しても本発明の適用が可能である。本実施形態の画像取得装置および画像取得方法は、主として、観察対象物Ｓにおける複数の照射領域ならびに検出部３２の受光面における画素構造と結像領域との間の関係に関するものであり、また、この関係に基づいて観察対象物Ｓの画像のＳＮ比の改善を図るものである。
　画像取得装置１，２は、多点走査を行うレーザ走査型蛍光顕微鏡（Laser　scanning　fluorescence　microscopy、以下「ＬＳＦＭ」という）として好適に用いられる。また、多点走査を行うＬＳＦＭのうち、短パルスレーザ光を励起光として観察対象物Ｓに照射して多光子励起による蛍光を検出するものは、多焦点多光子励起蛍光顕微鏡（multifocal　multiphoton　microscopy、以下「ＭＭＭ」という）と呼ばれる。画像取得装置１，２は、ＭＭＭとしても好適に用いられ得る。
　単光子励起の場合と比べて、多光子励起の場合には、励起光の波長が長く、観察対象物において励起光の光子密度が高い限定された領域のみで蛍光が発生する。したがって、多光子励起の場合には、励起光の散乱や吸収の影響が小さく、観察対象物の特に深部の蛍光画像の取得に好適である。また、空間光変調器により励起光の波面を制御することにより、観察対象物と周囲の媒体（例えば、水、空気、オイルなど）との間の屈折率差に因る収差を補正して、観察対象物の内部の局所的な照射領域に励起光を集光照射することができる。これらのことから、多光子励起の場合には、観察対象物の深い位置でも蛍光強度および解像度の双方が高い画像を得ることができ、また、多点走査と収差補正とを組み合わせることで観察対象物の深部の蛍光画像をも高速に取得することができる。
　観察対象物Ｓに含まれる蛍光分子を励起して蛍光を発生させるのに必要な励起光強度に対して、光源１０から出力される励起光の強度が十分な余裕を有していて、かつ、多点走査をしても観察対象物Ｓへのダメージが少ない場合には、多点走査を行うＬＳＦＭまたはＭＭＭは高速化に極めて有効である。
　例えば、２光子励起蛍光顕微鏡では、フェムト秒ないしピコ秒のパルス幅を有するパルスレーザ光を出力するレーザ光源が用いられるが、そのレーザ光源において安定した出力を得るためにレーザ光出力は３Ｗ程度と極めて大きい。一方で、観察対象物において蛍光を発生させるために照射する励起光の光量は、観察対象物の表面に近い浅い位置では１０ｍＷ程度でよい。このように、蛍光発生に必要な励起光強度に対してレーザ光出力は３００倍程度の余裕がある。また、隣り合う２つの照射位置が極端に近接していない限りは熱の蓄積が小さい。
　図３は、単点走査および多点走査について説明する図である。この図は、ｚ方向に平行に見たときの観察対象物Ｓにおける照射領域の走査の様子を示している。図３（ａ）に示される単点走査では、観察対象物Ｓのうちの観察すべき領域の全体において１つの照射領域Ａをラスタスキャンする。図３（ｂ）に示される４点走査では、観察対象物Ｓのうちの観察すべき領域を４等分して部分領域Ｓ１～Ｓ４として、各部分領域Ｓｎにおいて照射領域Ａｎをラスタスキャンする。４点走査では４つの照射領域Ａ１～Ａ４を同時に走査する。したがって、単点走査と比べて４点走査では計測時間を１／４に短縮することができる。
　図２５は、他の多点走査の例について説明する図である。この図も、ｚ方向に平行に見たときの観察対象物Ｓにおける照射領域Ａ１～Ａ４の走査の様子を示している。この例では、図２５（ａ）に示されるように、照射領域Ａ１～Ａ４は、ラスタスキャンの際の高速軸に平行な直線上に配列されている。このような多点走査では、計測時間を短縮することができないが、図２５（ｂ）に示されるハッチング領域（照射領域Ａ１～Ａ４の走査範囲が重なる領域）内の各位置を短い時間間隔で照射領域Ａ１～Ａ４が順次に通過する。したがって、例えば蛍光を発するタンパク質などの移動を容易に確認することができる。この多点走査では、観察対象物Ｓにおける或る観測点において時刻が異なる複数枚の画像がそれぞれ出力される。この場合も、結局は、多点について同時に計測をしているので、他の励起光によって励起された蛍光の散乱も別の画像に含まれる。
　図４は、４点走査の場合の観察対象物Ｓにおける照射領域Ａ１～Ａ４および検出部３２の受光面における結像領域Ｂ１～Ｂ４について説明する図である。図４（ａ）は、対物レンズ２１および観察対象物Ｓを示し、また、観察対象物Ｓにおける４つの照射領域Ａ１～Ａ４を模式的に示す。図４（ｂ）は、結像レンズ３１および検出部３２を示し、また、検出部３２の受光面における４つの画素Ｐ１～Ｐ４および４つの結像領域Ｂ１～Ｂ４を模式的に示す。
　検出部３２の受光面における各結像領域Ｂｎは、観察対象物Ｓにおける照射領域Ａｎに対して結像光学系による結像関係にある。観察対象物Ｓにおいて４つの照射領域Ａ１～Ａ４は互いに分離しており、また、検出部３２の受光面において４つの結像領域Ｂ１～Ｂ４も互いに分離している。各画素Ｐｎは、結像領域Ｂｎに対応しており、この結像領域Ｂｎにおける受光量に応じた値の検出信号を出力する。
　図５は、４点走査の場合の観察対象物Ｓにおける照射領域Ａ１～Ａ４および蛍光ビーズの分布を示す図である。この図では、観察対象物Ｓとして、各々実線の円で示された複数の蛍光ビーズがエポキシ樹脂中に分散されたものを想定している。また、この図では、照射領域Ａ２，Ａ４それぞれには蛍光ビーズが存在するとし、各々破線の円で示された照射領域Ａ１，Ａ３には蛍光ビーズが存在しないとしている。この図に示された例の場合、検出部３２の受光面における４つの結像領域Ｂ１～Ｂ４のうち、結像領域Ｂ２，Ｂ４それぞれには蛍光が到達し、結像領域Ｂ１，Ｂ３には蛍光が到達しない。
　しかし、対物レンズ２１と観察対象物Ｓ中の各照射領域との間の励起光および蛍光の光路には、散乱、回折および収差の要因となる蛍光ビーズが存在する。このことから、検出部３２の受光面において実際に蛍光が到達する受光領域は、観察対象物Ｓにおける照射領域に対する結像光学系による結像関係に基づく結像領域より広くなる。その広がりの程度は、観察対象物Ｓでの散乱や収差の大きさによる。一般的に、照射領域が観察対象物の表面付近にある場合に、受光領域の広がりの程度は最も小さい。照射領域が観察対象物の内部において深くなるほど、受光領域の広がりの程度は大きくなる。このことは、実際の観察対象物である生体等についても当て嵌まる。
　図６は、４点走査の場合の検出部３２の受光面における受光領域の広がりについて説明する図である。この図では、実際に蛍光が到達する受光領域の広さを、円の大きさで示している。図６（ａ）は、照射領域が観察対象物の表面付近にある場合を示す。図６（ｂ）は、照射領域が観察対象物の内部の浅い位置にある場合を示す。また、図６（ｃ）は、照射領域が観察対象物の内部の深い位置にある場合を示す。
　図６（ａ）に示されるように、照射領域が観察対象物の表面付近にある場合には、受光領域Ｃｎは、結像領域Ｂｎと同程度の広がりであり、本来対応する画素Ｐｎのみに収まっている。しかし、照射領域が観察対象物の内部において深くなるほど、受光領域Ｃｎの広がりの程度は結像領域Ｂｎより大きくなっていく。図６（ｃ）に示されるように、受光領域Ｃｎは、本来対応する画素Ｐｎだけでなく、隣の画素Ｐｎ－１，Ｐｎ＋１まで及ぶことになる。すなわち、本来は画素Ｐｎから出力されるべき検出信号の一部は、隣の画素Ｐｎ－１，Ｐｎ＋１から出力される検出信号に加えられてしまう。その結果、検出信号に基づいて生成される観察対象物Ｓの蛍光画像のＳＮ比が悪くなる。
　図７は、単点走査の場合の検出部３２の各画素での蛍光強度を示すグラフである。ここでは、観察対象物Ｓとして蛍光ビーズがエポキシ樹脂中に分散されたものを用い、検出部３２としてｍＰＭＴを用いた。観察対象物Ｓの表面または内部において単一の照射領域を走査することができるように、空間光変調器に所定の変調パターンを呈示させた。この図は、観察対象物Ｓの表面（深さ０μｍ）、深さ２５０μｍ、深さ５００μｍおよび深さ１２５０μｍそれぞれに単一の照射領域を設定したときの検出部３２の受光面における受光領域の広がりを示す。横軸は、検出部３２としてのｍＰＭＴのアノード番号（画素位置）を表す。
　観察対象物Ｓの表面（深さ０μｍ）に単一の照射領域を設定したとき、ｍＰＭＴの９個のアノード１～９のうち単一のアノード６のみに蛍光が到達した。このことは、観察対象物Ｓにおける照射領域に対して結像関係にある受光面上の結像領域にあるのはアノード６のみであることを示している。観察対象物Ｓの表面（深さ０μｍ）では散乱の影響がないので、蛍光はアノード６のみに到達する。
　観察対象物Ｓの内部における単一の照射領域の位置が深くなるに従って、アノード６の隣にあるアノード５，７等に到達する蛍光の量が増えていき、検出部３２の受光面における受光領域が広がっていった。アノード５，７等は、観察対象物Ｓにおける照射領域に対して結像関係にある結像領域にない。このような受光面における受光領域の広がりは、観察対象物Ｓにおける散乱や収差の影響により生じたものである。
　単点走査の場合には、全てのアノード１～９から出力される検出信号の総和を求めることで、検出部３２の受光面の全体に到達する蛍光の総量を求めればよい。或いは、単点走査の場合には、受光面において複数の画素が配列された検出部３２に替えて、単一チャネル（単一画素）の検出部を用いて、蛍光の総量を求めればよい。特に多光子励起の場合には、光子密度が高い集光点近傍においてのみ励起確率が高くなって蛍光が生じるので、励起光に対して収差や散乱の影響がなければ、観察したい位置（すなわち、励起光が集光した位置の近傍）のみから蛍光が生じる。このことから、或る局所的な照射領域から生じた蛍光が検出部の受光面で広がっていたとしても、その蛍光の総量を検出すればよい。そのときに検出部から出力される検出信号は、吸収の影響を無視すれば、局所的な照射領域から生じた蛍光を全て集めたものといえる。
　これに対して、多点走査の場合には、観察対象物Ｓにおいて互いに区分された複数の照射領域に対して、結像光学系による結像関係により、検出部３２の受光面において互いに区分された複数の結像領域が存在する。観察対象物Ｓにおける複数の照射領域のうち何れかの照射領域で蛍光が発生すれば、検出部３２の受光面上では、蛍光が発生した照射領域に対し結像関係にある結像領域に蛍光が到達し、また、散乱や収差の影響があると実際の受光領域は結像領域より広がることになる。
　図８は、２点走査の場合の検出部３２の各画素での蛍光強度を示すグラフである。この図は、図７に示された実測結果を用いて行った２点走査の場合のシミュレーションの結果を示すものである。この図は、観察対象物Ｓの表面（深さ０μｍ）、深さ２５０μｍ、深さ５００μｍおよび深さ１２５０μｍそれぞれに２つの照射領域を設定したときの検出部３２の受光面における受光領域の広がりを示す。
　観察対象物Ｓの表面（深さ０μｍ）に２つの照射領域を設定したとき、ｍＰＭＴの９個のアノード１～９のうち２つのアノード５，７のみに蛍光が到達する。このことは、観察対象物Ｓにおける一方の照射領域に対して結像関係にある受光面上の結像領域にあるのはアノード５であること、および、観察対象物Ｓにおける他方の照射領域に対して結像関係にある受光面上の結像領域にあるのはアノード７であることを示している。
　観察対象物Ｓの内部における２つの照射領域の位置が深くなるに従って、アノード５，７以外のアノード４，６，８等に到達する蛍光の量が増えていく。アノード４，６，８等は、観察対象物Ｓにおける２つの照射領域に対して結像関係にある２つの結像領域にない。アノード４，６，８等により検出される蛍光は、これらのアノードにより本来は検出されるべきものではない。アノード５，７以外のアノード４，６，８等から出力される検出信号は、観察対象物Ｓの蛍光画像の作成に際してノイズとなる。
　このノイズの影響により、作成される観察対象物Ｓの蛍光画像において、ゴースト像が発生したり、バックグラウンドノイズが増加したりする。ゴースト像およびバックグラウンドノイズは、本来は検出すべきでない蛍光を検出した画素から出力される検出信号（ノイズ）に起因する。しかし、観察対象物Ｓの蛍光画像において、或る場合にはノイズの影響がゴースト像として現れ、他の或る場合にはノイズの影響がバックグラウンドノイズとして現れる。
　ゴースト像は、観察対象物Ｓの広い範囲において蛍光発生領域が比較的まばらであるときや、蛍光の信号のＳＮ比が高い場合に生じる。例えば、観察対象物Ｓとして蛍光ビーズがエポキシ樹脂中に分散されたものを用いて多点走査する場合を想定する。蛍光ビーズの分散密度が比較的小さい場合には、蛍光が発生し得る領域は少なく、多点走査の場合に複数の照射領域のうちの或る１つの照射領域のみにおいて蛍光が生じることがある。また、蛍光強度が強いことからＳＮ比が比較的高い。このとき、前述のように検出部３２の受光面上において実際の受光領域が広がることで、ノイズとして他の画素で観測される。この画素において本来生じる暗電流や読み出しノイズなどのノイズに比べて実際の受光領域の広がりによるノイズが比較的強く、また、この画素に他の蛍光が到達しなければ、この画素により、本来ないはずのビーズ、つまりゴースト像が観測されることになる。
　図９は、単点走査および４点走査それぞれの場合の観察対象物の蛍光画像を示す図である。ここでは、観察対象物Ｓとして蛍光ビーズがエポキシ樹脂中に分散されたものを用いた。図９（ａ）は、単点走査の場合の観察対象物の蛍光画像を示す。図９（ｂ）は、４点走査の場合の観察対象物の蛍光画像を示す。また、図９（ｂ）は、観察対象物Ｓのうちの観察すべき領域を４等分して４つの部分領域Ｓ１～Ｓ４としたときの各部分領域での走査（ラスタスキャン）の開始位置を矢印で示している。４点走査の場合の蛍光画像（図９（ｂ））の部分領域Ｓ３において、単点走査の場合の蛍光画像（図９（ａ））における蛍光ビーズの位置と同じ位置に蛍光ビーズの存在が認められる。加えて、４点走査の場合の蛍光画像（図９（ｂ））の部分領域Ｓ２，Ｓ４において、破線の円で囲った範囲に、ゴーストの発生により蛍光ビーズが存在しているように観察されている。
　一方、観察対象物Ｓの全体の観察領域において蛍光発生領域が比較的まばらでない場合であって、蛍光の信号のＳＮ比が低い場合に、散乱による蛍光はバックグランドノイズとして観測される。例えば、検出部３２の各画素において２以上の蛍光信号が混合したり、観測される蛍光が画像において広範囲にわたっていたりする場合である。
　いずれにしても、ゴースト像であれば、観測されないはずの像が観測されてしまい、バックグランドノイズであれば、ＳＮ比の低下が生じる。その結果、観察対象物Ｓにおける観測深さが制限されてしまうことになる。本実施形態は、このようなノイズの影響を低減して、多点走査により生成される観察対象物の画像のＳＮ比を改善することを図るものである。
　図１０は、検出部３２の受光面における画素構造と結像領域との間の関係を説明する図である。この図では、検出部３２の受光面において１次元配列された１０個の画素Ｐ１～Ｐ１０が示されている。
　図１０（ａ）の例では、画素Ｐ４は結像領域Ｂ１に対応し、画素Ｐ５は結像領域Ｂ２に対応し、画素Ｐ６は結像領域Ｂ３に対応し、画素Ｐ７は結像領域Ｂ４に対応する。画素Ｐ１～Ｐ３，Ｐ８～Ｐ１０は何れの結像領域にも対応しない。
　図１０（ｂ）の例では、画素Ｐ２は結像領域Ｂ１に対応し、画素Ｐ４は結像領域Ｂ２に対応し、画素Ｐ６は結像領域Ｂ３に対応し、画素Ｐ８は結像領域Ｂ４に対応する。画素Ｐ１，Ｐ３，Ｐ５，Ｐ７，Ｐ９，Ｐ１０は何れの結像領域にも対応しない。
　図１０（ｃ）の例では、画素Ｐ２は結像領域Ｂ１に対応し、画素Ｐ５は結像領域Ｂ２に対応し、画素Ｐ８は結像領域Ｂ３に対応する。画素Ｐ１，Ｐ３，Ｐ４，Ｐ６，Ｐ７，Ｐ９，Ｐ１０は何れの結像領域にも対応しない。
　図１０（ｄ）の例では、画素Ｐ４およびＰ５は結像領域Ｂ１に対応し、画素Ｐ８およびＰ９は結像領域Ｂ２に対応する。画素Ｐ１～Ｐ３，Ｐ６，Ｐ７，Ｐ１０は何れの結像領域にも対応しない。
　なお、画素と結像領域とが対応するとは、該画素の光電変換領域と該結像領域とが少なくとも一部で互いに重なることを意味する。
　図１０（ｂ）～（ｄ）の例では、検出部３２の受光面において何れの結像領域にも対応しない画素が各結像領域の両隣に存在する。図１０（ｂ）の例では、隣り合う２つの結像領域の間に、何れの結像領域にも対応しない画素が１つ存在する。図１０（ｃ），（ｄ）の例では、隣り合う２つの結像領域の間に、何れの結像領域にも対応しない画素が２つ存在する。図１０（ｄ）の例では、各結像領域に２つの画素が対応するので、画素Ｐ４およびＰ５それぞれの検出信号値の和を結像領域Ｂ１に到達する光の強度とし、画素Ｐ８およびＰ９それぞれの検出信号値の和を結像領域Ｂ２に到達する光の強度とすればよい。
　本実施形態では、検出部３２は、受光面上において、観察対象物Ｓにおける複数の照射領域に対して結像光学系による結像関係にある複数の結像領域を有し、複数の結像領域それぞれが１以上の画素に対応し、複数の結像領域の何れにも対応しない画素が各結像領域の少なくとも一方側の隣に存在する。本実施形態では、このような関係が満たされるように、観察対象物Ｓにおける複数の照射領域の間隔や結像光学系の結像倍率が調整される。
　図１１は、検出部３２から出力される検出信号と観察対象物Ｓの画像との関係を説明する図である。図１０（ｂ）に示される例において検出部３２の受光面における受光領域が結像領域より広がらない場合、検出部３２から出力される検出信号は、図１１（ａ）に示されるように、何れかの結像領域に対応する画素Ｐ２，Ｐ４，Ｐ６，Ｐ８それぞれについては各画素の受光量に応じた値となり、他の画素Ｐ１，Ｐ３，Ｐ５，Ｐ７，Ｐ９，Ｐ１０それぞれについては暗電流ノイズレベルとなる。
　一般に検出部から出力される検出信号は電流信号であるので、この電流信号は電流-電圧変換回路により電圧信号に変換される。その後、図１１（ｂ）に示されるように、画像作成部としての制御部７０により、観察対象物Ｓにおける各照射領域の位置に対応する画像上の位置に電圧信号値が記憶される。また、この際に、必要に応じて電圧信号に対してオフセット補正等が施される。
　観察対象物Ｓの表面付近に照射領域があって検出部３２の受光面において受光領域が結像領域より広がらない場合には上記のとおりでよい。一方、観察対象物Ｓの内部の深い位置に照射領域があって検出部３２の受光面において受光領域が結像領域より広がる場合、作成される観察対象物Ｓの画像のＳＮ比を改善するために、画像作成部としての制御部７０は、各結像領域に対応する画素の検出信号を、該結像領域の隣にあって何れの結像領域にも対応しない１または２以上の画素の検出信号に基づいて補正し、その補正後の検出信号に基づいて観察対象物Ｓの画像を作成する。具体的には以下のとおりである。
　結像領域に対応する画素Ｐｎの検出信号値をＶsignal_nとし、該結像領域の両隣にある画素Ｐｎ－１，Ｐｎ＋１の検出信号値をＶsample_n-1，Ｖsample_n+1とする。制御部７０は、該結像領域に対応する画素Ｐｎの補正後の検出信号値Ｖoutput_nを下記（１）式で求める。ただし、αは係数であり通常は１程度でよい。
Figure JPOXMLDOC01-appb-M000001
　図１２は、検出信号の補正の効果を確認するシミュレーションの結果を示すグラフである。この図は、４点走査を行った場合において観察対象物における４つの照射領域のうち１つの照射領域で蛍光が発生し、その蛍光が発生した照射領域に対応する検出部３２の受光面上の結像領域が画素Ｐ６（アノード番号６）に対応する場合を示す。図１２（ａ）は、シミュレーション条件を示すものであって、図７に示された観察対象物Ｓの深さ５００μｍに単一の照射領域を設定したときの検出部３２の受光面における受光領域の広がりを示す。図１２（ｂ）は、実施例（上記（１）式による補正をした場合）および比較例（補正をしない場合）それぞれについて、何れかの結像領域に対応する画素Ｐ２，Ｐ４，Ｐ６，Ｐ８の各検出信号を示す。
　図１２（ａ）および図１２（ｂ）の比較例を見ると、検出部３２の受光面において受光領域が結像領域より広がったことにより、該結像領域に対応する画素Ｐ６から検出信号が出力されるだけでなく、他の結像領域に対応する画素Ｐ４，Ｐ８等からノイズが出力されている。これら画素Ｐ４，Ｐ８等のノイズを低減することで、観察対象物Ｓの画像のＳＮ比を改善することができる。画素Ｐ６を中心とする画素Ｐ３～Ｐ９それぞれの検出信号値に注目すると、画素Ｐ６の検出信号値が最も大きく、この画素Ｐ６から遠くなるに従って画素の出力値が小さくなっていくことが分かる。また、画素Ｐ４の出力値は、両隣の画素Ｐ３，Ｐ５それぞれの出力値の略平均の値である。そこで、上記（１）式においてｎ＝４として画素Ｐ４の補正後の検出信号値Ｖoutput_4を求めればよい。画素Ｐ２，Ｐ６，Ｐ８についても同様である。このような補正をした結果が図１２（ｂ）の実施例のグラフである。比較例と比べて実施例では、画素Ｐ４，Ｐ８それぞれのノイズレベルが補正により１／２以下に低減されている。
　図１３も、検出信号の補正の効果を確認するシミュレーションの結果を示すグラフである。この図は、４点走査を行った場合において観察対象物における４つの照射領域のうち２つの照射領域で蛍光が発生し、その蛍光が発生した照射領域に対応する検出部３２の受光面上の一方の結像領域が画素Ｐ２（アノード番号２）に対応し、他方の結像領域が画素Ｐ６（アノード番号６）に対応する場合を示す。図１２（ａ）は、シミュレーション条件を示すものであって、図７に示された観察対象物Ｓの表面（深さ０μｍ）および深さ５００μｍそれぞれに２つの照射領域を設定したときの検出部３２の受光面における受光領域の広がりを示す。図１２（ｂ）は、実施例（上記（１）式による補正をした場合）および比較例（補正をしない場合）それぞれについて、何れかの結像領域に対応する画素Ｐ２，Ｐ４，Ｐ６，Ｐ８の各検出信号を示す。
　図１３（ａ）および図１３（ｂ）の比較例を見ると、観察対象物Ｓの表面（深さ０μｍ）に２つの照射領域を設定した場合、検出部３２の受光面において結像領域と比べて受光領域の広がりが殆どなく、画素Ｐ２，Ｐ６から検出信号が出力されるのみで、他の画素Ｐ４，Ｐ８からノイズが殆ど出力されていない。これに対して、観察対象物Ｓの深さ５００μｍに２つの照射領域を設定した場合、検出部３２の受光面において受光領域が結像領域より広がったことにより、画素Ｐ２，Ｐ６から検出信号が出力されるだけでなく、他の画素Ｐ４，Ｐ８からノイズが出力されている。上記と同様にして、これら画素Ｐ４，Ｐ８等のノイズを低減することで、観察対象物Ｓの画像のＳＮ比を改善することができる。画素Ｐ２，Ｐ６についても同様である。このような補正をした結果が図１３（ｂ）の実施例のグラフである。この場合にも、比較例と比べて実施例では、画素Ｐ４，Ｐ８それぞれのノイズレベルが補正により１／２以下に低減されている。
　このような補正は、画素Ｐ４，Ｐ８の出力値についてだけでなく、画素Ｐ２，Ｐ６の出力値についても行われる。画素Ｐ１，Ｐ３の出力値には画素Ｐ２の出力値の影響が及んでいるので、画素Ｐ２の出力値について上記の補正をすると、画素Ｐ２の出力値を過剰に低減することになる。同様に、画素Ｐ５，Ｐ７の出力値には画素Ｐ６の出力値の影響が及んでいるので、画素Ｐ６の出力値について上記の補正をすると、画素Ｐ６の出力値を過剰に低減することになる。しかし、画素Ｐ２，Ｐ６の出力値は元々大きいのに対して、補正による低減量は小さい。したがって、観察対象物Ｓの画像のＳＮ比を改善する為に、画素Ｐ２，Ｐ６の出力値を僅かに犠牲にしても問題は殆どない。
　次に、非特許文献１，２に記載された従来のＳＮ比改善技術と対比して、本実施形態の効果について説明する。これらの従来のＳＮ比改善技術では、検出部の受光面において、複数の結像領域の間に、何れの結像領域にも対応しない画素は設けられていない。
　非特許文献１に記載されたＳＮ比改善技術では、単一の蛍光発生領域が存在する観察対象物に対して単点走査を行なって検出部の受光面上に広がった受光量分布（図１２（ａ）に相当）を求め、多点走査により取得された観察対象物の画像と上記の受光量分布とのデコンボリューションを計算する。このＳＮ比改善技術は、多点走査とは別に単点走査を行なって検出部の受光面上に広がった受光量分布を求める必要がある。また、この受光量分布は、観察対象物における蛍光発生領域の深さ（ｚ方向の位置）によって異なるので、ｚ方向の各位置に照射領域を設定して求める必要があり、データ取得に長時間を要する。
　非特許文献２に記載されたＳＮ比改善技術では、多点走査により取得された観察対象物の画像に基づいて最尤推定法による推定を行うことから、その最尤推定法による推定を行う際に計算を繰り返して行う必要があり、その繰り返し計算に長時間を要する。
　これらの従来のＳＮ比改善技術は、データ取得または計算に長時間を要し、リアルタイム処理が困難である。そもそも、多点走査は計測時間の短縮を目的とするにも拘らず、これらの従来のＳＮ比改善技術は、データ取得または計算に長時間を要することから、却って単点走査の場合より長時間を要する場合がある。
　これに対して、本実施形態では、補正を行う上で必要な信号を多点走査により取得することができ、しかも、簡単な計算処理で補正を行うことができるので、補正を行わない場合と比較して所要時間が殆ど異ならない。このように、本実施形態では、多点走査により生成される観察対象物の画像のＳＮ比を容易に改善することができる。
　次に、本実施形態のＳＮ比改善技術を適用した実施例について説明する。
　図１４は、第１実施例によるＳＮ比改善の効果を示す観察対象物の蛍光画像である。第１実施例では、蛍光ビーズがエポキシ樹脂中に分散されたものを観察対象物として用いて、４点走査を行った。この図では、観察対象物のうちの観察すべき領域を４等分して４つの部分領域としたときの各部分領域での走査（ラスタスキャン）の開始位置を矢印で示している。図１４（ａ）は、図９（ｂ）と同じであり、補正前の蛍光画像である。この補正前の蛍光画像では、破線の円で囲った範囲に、ゴーストの発生により蛍光ビーズが存在しているように観察されている。図１４（ｂ）は、上記（１）式による補正後の蛍光画像である。この補正後の蛍光画像では、ゴースト像は認められない。補正前の蛍光画像（図１４（ａ））と比較して、補正後の蛍光画像（図１４（ｂ））ではＳＮ比が改善されていることが分かる。補正前の蛍光画像（図１４（ａ））に対して上記（１）式の簡単な計算処理による補正を行うだけで、ＳＮ比が改善された蛍光画像（図１４（ｂ））を容易かつ短時間に得ることができる。
　図１５～図１７は、第２実施例によるＳＮ比改善の効果を示す観察対象物の蛍光画像である。第２実施例で用いた観察対象物は、第１実施例で用いたものと比べてエポキシ樹脂中における蛍光ビーズの分散密度が高いものであった。観察対象物の表面をｚ＝０として、ｚ＝１０００μｍ～１０３０μｍの範囲を０.６μｍピッチで対物レンズを移動させて、３次元画像を取得した。なお、観察対象物中の深さ方向の実際の移動量は、対物レンズ移動量に観察対象物の屈折率を乗じたものとなる。また、観察対象物への光照射の際に収差補正を行った。
　図１５（ａ）は、単点走査を行なった場合のｙｚ最大値投影画像であり、図１５（ｂ）は、図１５（ａ）中の破線で示した深さにおけるｘｙ平面画像である。図１６（ａ）は、４点走査を行い且つ上記（１）式による補正を行った場合のｙｚ最大値投影画像であり、図１６（ｂ）は、図１６（ａ）中の破線で示した深さにおけるｘｙ平面画像である。図１７（ａ）は、４点走査を行い且つ上記（１）式による補正を行わなかった場合のｙｚ最大値投影画像であり、図１７（ｂ）は、図１７（ａ）中の破線で示した深さにおけるｘｙ平面画像である。図１６及び図１７には、観察対象物のうちの観察すべき領域を４等分して４つの部分領域としたときの各部分領域での走査（ラスタスキャン）の開始位置を矢印で示している。
　図１５中の矢印は、注目すべきポイントを指し示している。図１５～図１７を対比すると、４点走査を行い且つ上記（１）式による補正を行った実施例（図１６）のＳＮ比は、４点走査を行い且つ上記（１）式による補正を行わなかった比較例（図１７）と比べて改善されており、単点走査を行なった場合（図１５）のＳＮ比と同程度であることが分かる。
　図１８は、第３実施例によるＳＮ比改善の効果を示す観察対象物の蛍光画像である。第３実施例では、潅流固定により血管内にFluorescein Isothiocyanate-Dextranを固定したラットの脳を観察対象物として用い、深さ１００μｍ程度に照射領域を設定して４点走査を行った。図１８は、上記（１）式による補正を行った場合（実施例）の蛍光画像である。図１９は、上記（１）式による補正を行わなかった場合（比較例）の蛍光画像である。図１８の蛍光画像（実施例）では、観察対象物Ｓの部分領域Ｓ１～Ｓ４のうちの部分領域Ｓ３に、手前から奥行方向に光軸に平行に伸びる血管像が認められる。これに対して、図１９の蛍光画像（比較例）では、部分領域Ｓ２，Ｓ４に血管像のゴーストが認められる。図１８の蛍光画像（実施例）では、ゴースト像はノイズレベル程度に抑えられている。
　次に、変形例について説明する。例えば、以下のような様々な変形例の構成とすることができる。
　補正式は上記（１）式に限られない。例えば、制御部７０は、検出部３２の受光面における結像領域に対応する画素Ｐｎの補正後の検出信号値Ｖoutput_nを下記（２）式で求めてもよい。この（２）式は、結像領域に対応する画素Ｐｎの検出信号値Ｖsignal_nから補正後の検出信号値Ｖoutput_nを求めるに際して、該結像領域の両隣にある画素Ｐｎ－１，Ｐｎ＋１の検出信号値Ｖsample_n-1，Ｖsample_n+1だけでなく、更に隣にある画素Ｐｎ－２，Ｐｎ＋２の検出信号値Ｖsignal_n-2，Ｖsignal_n+2をも考慮して、重みづけを行うものである。他にも様々な補正式が有り得るが、基本的には、何れの結像領域にも対応しない画素の検出信号を用いて、結像領域に対応する画素の検出信号を補正すればよい。
Figure JPOXMLDOC01-appb-M000002
　上記の実施形態では、受光面において複数の画素が１次元配列された検出部を用いた場合を説明したが、受光面において複数の画素が２次元配列された検出部を用いてもよい。図２０～図２２は、受光面において複数の画素が２次元配列された検出部を用いる場合の画素構造と結像領域との間の関係を説明する図である。これらの図において、矩形枠は画素を表し、円領域は結像領域を表す。
　図２０の例では、検出部の受光面において、各結像領域の四方の隣に、何れの結像領域にも対応しない４つの画素が存在する。この場合、結像領域に対応する画素Ｐm,nの検出信号値Ｖsignal_m,nから補正後の検出信号値Ｖoutput_m,nを例えば下記（３）式で求めることができる。Ｖsample_m-1,n，Ｖsample_m+1,n，Ｖsample_m,n-1，Ｖsample_m,n+1 は、それぞれ、結像領域の四方の隣にある画素Ｐm-1,n，Ｐm+1,n，Ｐm,n-1，Ｐm,n+1 の検出信号値である。
Figure JPOXMLDOC01-appb-M000003
　図２１の例では、検出部の受光面において、各結像領域の両隣に、何れの結像領域にも対応しない２つの画素が存在する。この場合、結像領域に対応する画素Ｐm,nの検出信号値Ｖsignal_m,nから補正後の検出信号値Ｖoutput_m,nを例えば下記（４）式で求めることができる。Ｖsignal_m-1,n，Ｖsignale_m+1,n，Ｖsample_m,n-1，Ｖsample_m,n+1 は、それぞれ、結像領域の四方の隣にある画素Ｐm-1,n，Ｐm+1,n，Ｐm,n-1，Ｐm,n+1 の検出信号値である。
Figure JPOXMLDOC01-appb-M000004
　図２２の例では、検出部の受光面において、各結像領域の一方側の隣に、何れの結像領域にも対応しない１つの画素が存在する。この場合、結像領域に対応する画素Ｐm,nの検出信号値Ｖsignal_m,nから補正後の検出信号値Ｖoutput_m,nを例えば下記（５）式で求めることができる。Ｖsignal_m-1,n，Ｖsignale_m+1,n，Ｖsample_m,n-1，Ｖsignal_m,n+1 は、それぞれ、結像領域の四方の隣にある画素Ｐm-1,n，Ｐm+1,n，Ｐm,n-1，Ｐm,n+1 の検出信号値である。
Figure JPOXMLDOC01-appb-M000005
　なお、図２１および図２２の例では、補正によるＳＮ比改善の程度は小さいものの、補正前の画像のＳＮ比が非常に低い場合には補正によるＳＮ比改善効果が十分に認められる。
　上記（１）～（５）の各式における係数αは、通常は１程度でよいが、検出部の各画素の検出信号値に基づいて設定することができる。例えば、検出部の受光面において何れの結像領域にも対応しない画素の検出信号値は本来は０になるべきであるので、この画素の検出信号値に対して補正をした結果が０となるように、係数αの値を設定すればよい。
　上記の実施形態では主に観察対象物の蛍光画像を作成する場合について説明したが、観察対象物の高調波光や反射散乱光の画像を作成する場合にも適用可能である。蛍光画像を作成する場合、単光子励起であってもよいし、多光子励起であってもよい。また、自家蛍光の画像を作成することもできる。
　上記の実施形態では主に空間光変調器を用いて観察対象物における複数の照射領域に光を照射する場合について説明したが、セグメントタイプのデフォーマブルミラー、回折光学素子、マイクロレンズアレイ、ビームスプリッタなどを用いて、観察対象物における複数の照射領域に光を照射してもよい。また、観察対象物において複数の照射領域は深さが異なっていてもよい。
　上記の実施形態では主に検出部としてｍＰＭＴを用いる場合について説明したが、ＭＰＰＣ（登録商標）、フォトダイオードアレイ、アバランシェフォトダイオードアレイ、ＣＣＤイメージセンサ、ＣＭＯＳイメージセンサなどを検出部として用いることもできる。
　観察対象物における照射領域で発生する光を導いて検出部の受光面上の結像領域に結像する結像光学系の結像倍率は、可変であるのが好適である。例えば、図１に示される画像取得装置１の構成において検出部３２の前段に設けられた結像レンズ３１もしくはズームレンズ４７、または、図２に示される画像取得装置２の構成において検出部３２の前段に設けられた結像レンズ３１は、可変焦点レンズであるのが好適である。ズーム倍率は、制御部から与えられる電気信号により制御されるのが好適である。可変焦点レンズは、電気信号により制御される素子単体でもよく、あるいは、ＢＫ７などのガラス材料などで構成される固定焦点距離のレンズを１枚以上組み合わせた構成でもよい。
　画像取得装置１，２では、走査部（光スキャナ１４，１４ａ，１４ｂ）の走査範囲、検出部３２の受光面における結像領域の間隔および数、ならびに、観察対象物における照射領域の大きさによって、視野範囲および分解能がほぼ決まる。例えば、広い視野範囲を観察したい場合には走査範囲を広く設定して走査させる。逆に、狭い視野範囲を観察したい場合には走査範囲を狭く設定して走査させる。
　多点走査を行う場合、空間光変調器に呈示する変調パターンによって観察対象物における複数の照射領域の間隔を変更することができ、視野範囲を変更することができる。一方、検出部の受光面において配列されている複数の画素の間隔は固定である。したがって、観察対象物における複数の照射領域の間隔を変更すると、検出部の受光面における結像領域と画素との間の対応関係が異なってしまう。
　例えば、観察対象物における複数の照射領域が或る一定間隔で配置されているとき、図２３（ａ）に示されるように、隣り合う２つの結像領域の間に、何れの結像領域にも対応しない画素が存在していたとする。しかし、観察対象物における複数の照射領域が別の間隔で配置されると、図２３（ｂ）に示されるように、隣り合う２つの結像領域の間に、何れの結像領域にも対応しない画素が存在しない事態が生じる場合がある。このような事態の発生を回避するために、検出部３２の前段に配置された可変焦点レンズを調整することで、観察対象物における複数の照射領域の間隔を変更した場合であっても、図２３（ａ）に示されるような画素構造と結像領域との間の好適な関係を満たすようにすることができる。
　空間光変調器を用いて光を回折させて複数の照射領域を形成する場合には、回折格子や複数の照射領域を生成するための変調パターン（ホログラムパターン）を空間光変調器に呈示させる。これらホログラムパターンの最大回折角θmaxは、空間光変調器で表現できる最も空間周波数の高い回折格子パターン（２値２画素周期）の格子間隔ａおよび被変調光の波長λから、次式で求められる。
Figure JPOXMLDOC01-appb-M000006
　また、観察対象物における＋１次回折光と０次回折光（回折格子を表示しないときの集光位置）との間の間隔Ｌは、対物レンズの焦点距離ｆobjおよびθmaxを用いて、次式で求められる。したがって、空間光変調器は、観察対象物において光軸を中心に２Ｌ×２Ｌだけ離れた範囲内に照射領域を形成することができる。
Figure JPOXMLDOC01-appb-M000007
　ここで、光の波長を８００ｎｍとし、格子間隔ａを４０μｍとし、対物レンズの焦点距離ｆobjを４.５ｍｍとすると、Ｌ＝９０μｍが得られる。
　観察対象物において複数の照射領域を形成するには、その為のホログラムパターンを空間光変調器に呈示する。ここで、観察対象物において一定間隔で配置された４つの照射領域を形成して走査するものとし、その間隔については次の３とおりを想定して、以下に説明する。
　（a）５μｍ、          （b）１０μｍ、        （c）１５μｍ
観察対象物において照射領域を走査する場合、走査可能範囲は例えば次のようになる。
　（a）２０×２０μｍ、  （b）４０×４０μｍ、  （c）６０×６０μｍ
このとき、隣り合う２つの照射範囲で構成される回折角度θはそれぞれ次のようになる。
　（a）０.００１１[rad]、（b）０.００２２[rad]、（c）０.００３３[rad]
　検出部の前段に設けられる可変焦点レンズの焦点距離f１を２００ｍｍとする。検出部の受光面における隣り合う２つの結像領域の間の間隔Ｌ１は、回折角度θおよび焦点距離f１から下記（８）式で表され、次のようになる。
　（a）２２２μｍ、      （b）４４４μｍ、      （c）６６６μｍ
Figure JPOXMLDOC01-appb-M000008
　検出部の受光面において配列された複数の画素の間隔を４００μｍとする。このとき、（a）の条件では、１つの画素に複数の結像領域が対応する恐れがあり、（c）の条件では、蛍光が入射しない画素が生じることになる。
　このような問題を解決するために可変焦点レンズを採用する。そして、電気制御のズームレンズを用いて、検出部の受光面における隣り合う２つの結像領域の間の間隔を次のように拡大または縮小する。
　（a）３.６倍、         （b）１.８倍、         （c）１.２倍
このようにすることで、隣り合う２つの結像領域の間の間隔を８００μｍとすることができ、隣り合う２つの結像領域の間に、何れの結像領域にも対応しない画素が存在することになる。
　以上より、検出部の複数の画素の間隔ｐ、空間光変調器により形成される複数の照射領域のうちの隣り合う２つの照射領域で構成される回折角度θ、および、検出部の直前に配置されたレンズの焦点距離ｆ１がわかると、次式より、可変焦点レンズが拡大または縮小すべき倍率Ｍを決定することができ、これに基づいて自動的に調整が実施される。
Figure JPOXMLDOC01-appb-M000009
　このＭは、実際の実験では理論値と異なる場合がある。まず初めにキャリブレーションを行い理論値と実測とのズレ量を計測し、その実測値も記憶しておく。その後に形成される照射領域の間隔が変化した場合には、ズームレンズの理論値と実測とのズレを考慮して自動的に倍率を変更する。例えば、照射領域の間隔が理論値において１／２に変化した場合には、実測値から１／２となるように倍率を変更すればよい。
　可変焦点レンズは、複数枚のレンズを組み合わせた構成とする場合、図２４に示されるように固定レンズ１０１および可変レンズ１０２により構成することができる。この場合の可変焦点レンズの合成焦点距離ｆ１は、固定レンズ１０１の焦点距離ｆsta、可変レンズ１０２の焦点距離ｆeleおよび両レンズ間の間隔ｄから、次式で表される。必要な合成焦点距離ｆ１を上記の方法により求めた後、次式から、可変レンズ１０２の焦点距離ｆeleを求めればよい。
Figure JPOXMLDOC01-appb-M000010
　何れにしても、空間光変調器によって生成される複数の照射領域の間隔に応じて、可変焦点レンズの焦点距離を自動的に決めることができる。
　なお、励起光および蛍光それぞれのテレセントリックリレーレンズ系の結像倍率が互いに異なる場合には、その結像倍率も考慮する必要がある。例えば、励起光の光学系が３つのリレーレンズ系で構成され、一方、蛍光の光学系が２つのリレーレンズ系で構成される場合に、特に考慮する必要がある。また、レンズに色収差（レンズの焦点距離が波長によって異なる現象）が存在する場合には、その補正が必要となるので、調整のためのフィードバックなどを含めるのが好ましい。
　また、可変レンズの倍率が変わっても集光位置が変化しない構成とすることが望ましい。集光位置が変化する場合は、検出器を移動させる構成とすることが望ましい。
　本発明による画像取得装置および画像取得方法は、上記した実施形態及び構成例に限られるものではなく、様々な変形が可能である。
　上記実施形態による画像取得装置では、（１）光を出力する光源と、（２）光源から出力される光を観察対象物の表面または内部における複数の照射領域に集光照射する照射光学系と、（３）照射光学系による観察対象物への光照射の方向の光軸に交差する方向に複数の照射領域を走査する走査部と、（４）照射光学系による観察対象物への光照射に伴って複数の照射領域それぞれで発生する光を導いて結像する結像光学系と、（５）複数の照射領域が結像光学系により結像される受光面を有し、その受光面上に１次元状または２次元状に複数の画素が配列されており、複数の画素それぞれにおける受光量に応じた値の検出信号を出力する検出部と、（６）検出部から出力される検出信号に基づいて観察対象物の画像を作成する画像作成部と、を備える構成としている。
　さらに、画像取得装置では、上記構成において、（ａ）検出部は、受光面上において、観察対象物における複数の照射領域に対して結像光学系による結像関係にある複数の結像領域を有し、複数の結像領域それぞれが１または２以上の画素に対応し、複数の結像領域の何れにも対応しない画素が各結像領域の隣に存在し、（ｂ）画像作成部は、複数の結像領域それぞれに対応する画素の検出信号を、各結像領域の隣にあって複数の結像領域の何れにも対応しない１または２以上の画素の検出信号に基づいて補正し、その補正後の検出信号に基づいて観察対象物の画像を作成する構成としている。
　上記の画像取得装置において、検出部は、受光面上において複数の結像領域の何れにも対応しない画素が各結像領域の両隣に存在し、画像作成部は、複数の結像領域それぞれに対応する画素の検出信号を、各結像領域の両隣にあって複数の結像領域の何れにも対応しない２つの画素の検出信号に基づいて補正し、その補正後の検出信号に基づいて観察対象物の画像を作成する構成としても良い。
　上記の画像取得装置において、検出部は、受光面上において、複数の結像領域が２次元配列され、各結像領域の四方の隣に複数の結像領域の何れにも対応しない４つの画素が存在し、画像作成部は、複数の結像領域それぞれに対応する画素の検出信号を、各結像領域の四方の隣であって複数の結像領域の何れにも対応しない４つの画素の検出信号に基づいて補正し、その補正後の検出信号に基づいて観察対象物の画像を作成する構成としても良い。
　上記の画像取得装置において、検出部は、受光面上において、複数の結像領域のうち隣り合う２つの結像領域の間に、複数の結像領域の何れにも対応しない２以上の画素が存在する構成としても良い。
　上記の画像取得装置において、照射光学系は、光源から出力される光を空間的に変調する空間光変調器を含み、空間光変調器に変調パターンを呈示することにより当該変調後の光を複数の照射領域に集光照射する構成としても良い。また、上記の画像取得装置において、照射光学系は、光源から出力される光を回折させる回折光学素子を含み、回折光学素子による回折後の光を複数の照射領域に集光照射する構成としても良い。
　上記の画像取得装置において、走査部は、照射光学系の光路上に設けられた光スキャナを含み、この光スキャナを駆動することにより複数の照射領域を走査する構成としても良い。また、上記の画像取得装置において、走査部は、照射光学系による観察対象物への光照射の方向にも複数の照射領域を走査する構成としても良い。
　上記の画像取得装置において、結像光学系の結像倍率が可変である構成としても良い。
　上記の画像取得装置において、検出部は、複数の画素として複数のアノードを有するマルチアノード光電子増倍管を含む構成としても良い。また、上記の画像取得装置において、検出部は、複数の画素として複数のアバランシェフォトダイオードが配列されたものを含む構成としても良い。
　上記実施形態による画像取得方法では、上記の光源、照射光学系、走査部、結像光学系および検出部を用いて、検出部から出力される検出信号に基づいて観察対象物の画像を作成する画像取得方法であって、（ａ）検出部の受光面上において、観察対象物における複数の照射領域に対して結像光学系による結像関係にある複数の結像領域を有し、複数の結像領域それぞれが１または２以上の画素に対応し、複数の結像領域の何れにも対応しない画素が各結像領域の隣に存在する構成とし、（ｂ）複数の結像領域それぞれに対応する画素の検出信号を、各結像領域の隣にあって複数の結像領域の何れにも対応しない１または２以上の画素の検出信号に基づいて補正し、その補正後の検出信号に基づいて観察対象物の画像を作成する構成としている。
　また、画像取得方法は、上記構成において、上記の画像取得装置の各構成と同様の構成としても良い。
　本発明は、多点走査により生成される観察対象物の画像のＳＮ比を容易に改善することができる画像取得装置および画像取得方法として利用可能である。
　１，２…画像取得装置、１０…光源、１１，１２…空間光変調器、１３…ダイクロイックミラー、１４，１４ａ，１４ｂ…光スキャナ、２１…対物レンズ、２２…対物レンズ移動機構、２３…ステージ、２４…ステージ移動機構、３１…結像レンズ、３２…検出部、４１～４６…レンズ、４７…ズームレンズ、５１～５３…ミラー、５４…フィルタ、６１～６６…レンズ、７０…制御部、７１…入力部、７２…表示部、Ｓ…観察対象物。

Claims (22)

  1. 　光を出力する光源と、
    　前記光源から出力される光を観察対象物の表面または内部における複数の照射領域に集光照射する照射光学系と、
    　前記照射光学系による前記観察対象物への光照射の方向の光軸に交差する方向に前記複数の照射領域を走査する走査部と、
    　前記照射光学系による前記観察対象物への光照射に伴って前記複数の照射領域それぞれで発生する光を導いて結像する結像光学系と、
    　前記複数の照射領域が前記結像光学系により結像される受光面を有し、その受光面上に１次元状または２次元状に複数の画素が配列されており、前記複数の画素それぞれにおける受光量に応じた値の検出信号を出力する検出部と、
    　前記検出部から出力される検出信号に基づいて前記観察対象物の画像を作成する画像作成部と、
    を備え、
    　前記検出部は、前記受光面上において、前記観察対象物における前記複数の照射領域に対して前記結像光学系による結像関係にある複数の結像領域を有し、前記複数の結像領域それぞれが１または２以上の画素に対応し、前記複数の結像領域の何れにも対応しない画素が各結像領域の隣に存在し、
    　前記画像作成部は、前記複数の結像領域それぞれに対応する画素の検出信号を、各結像領域の隣にあって前記複数の結像領域の何れにも対応しない１または２以上の画素の検出信号に基づいて補正し、その補正後の検出信号に基づいて前記観察対象物の画像を作成する、画像取得装置。
  2. 　前記検出部は、前記受光面上において前記複数の結像領域の何れにも対応しない画素が各結像領域の両隣に存在し、
    　前記画像作成部は、前記複数の結像領域それぞれに対応する画素の検出信号を、各結像領域の両隣にあって前記複数の結像領域の何れにも対応しない２つの画素の検出信号に基づいて補正し、その補正後の検出信号に基づいて前記観察対象物の画像を作成する、請求項１に記載の画像取得装置。
  3. 　前記検出部は、前記受光面上において、前記複数の結像領域が２次元配列され、各結像領域の四方の隣に前記複数の結像領域の何れにも対応しない４つの画素が存在し、
    　前記画像作成部は、前記複数の結像領域それぞれに対応する画素の検出信号を、各結像領域の四方の隣であって前記複数の結像領域の何れにも対応しない４つの画素の検出信号に基づいて補正し、その補正後の検出信号に基づいて前記観察対象物の画像を作成する、請求項１または２に記載の画像取得装置。
  4. 　前記検出部は、前記受光面上において、前記複数の結像領域のうち隣り合う２つの結像領域の間に、前記複数の結像領域の何れにも対応しない２以上の画素が存在する、請求項１～３の何れか１項に記載の画像取得装置。
  5. 　前記照射光学系は、前記光源から出力される光を空間的に変調する空間光変調器を含み、前記空間光変調器に変調パターンを呈示することにより当該変調後の光を前記複数の照射領域に集光照射する、請求項１～４の何れか１項に記載の画像取得装置。
  6. 　前記照射光学系は、前記光源から出力される光を回折させる回折光学素子を含み、前記回折光学素子による回折後の光を前記複数の照射領域に集光照射する、請求項１～４の何れか１項に記載の画像取得装置。
  7. 　前記走査部は、前記照射光学系の光路上に設けられた光スキャナを含み、この光スキャナを駆動することにより前記複数の照射領域を走査する、請求項１～６の何れか１項に記載の画像取得装置。
  8. 　前記走査部は、前記照射光学系による前記観察対象物への光照射の方向にも前記複数の照射領域を走査する、請求項１～７の何れか１項に記載の画像取得装置。
  9. 　前記結像光学系の結像倍率が可変である、請求項１～８の何れか１項に記載の画像取得装置。
  10. 　前記検出部は、前記複数の画素として複数のアノードを有するマルチアノード光電子増倍管を含む、請求項１～９の何れか１項に記載の画像取得装置。
  11. 　前記検出部は、前記複数の画素として複数のアバランシェフォトダイオードが配列されたものを含む、請求項１～９の何れか１項に記載の画像取得装置。
  12. 　光を出力する光源と、
    　前記光源から出力される光を観察対象物の表面または内部における複数の照射領域に集光照射する照射光学系と、
    　前記照射光学系による前記観察対象物への光照射の方向の光軸に交差する方向に前記複数の照射領域を走査する走査部と、
    　前記照射光学系による前記観察対象物への光照射に伴って前記複数の照射領域それぞれで発生する光を導いて結像する結像光学系と、
    　前記複数の照射領域が前記結像光学系により結像される受光面を有し、その受光面上に１次元状または２次元状に複数の画素が配列されており、前記複数の画素それぞれにおける受光量に応じた値の検出信号を出力する検出部と、
    を用いて、前記検出部から出力される検出信号に基づいて前記観察対象物の画像を作成する画像取得方法であって、
    　前記検出部の前記受光面上において、前記観察対象物における前記複数の照射領域に対して前記結像光学系による結像関係にある複数の結像領域を有し、前記複数の結像領域それぞれが１または２以上の画素に対応し、前記複数の結像領域の何れにも対応しない画素が各結像領域の隣に存在する構成とし、
    　前記複数の結像領域それぞれに対応する画素の検出信号を、各結像領域の隣にあって前記複数の結像領域の何れにも対応しない１または２以上の画素の検出信号に基づいて補正し、その補正後の検出信号に基づいて前記観察対象物の画像を作成する、画像取得方法。
  13. 　前記検出部の前記受光面上において、前記複数の結像領域の何れにも対応しない画素が各結像領域の両隣に存在する構成とし、
    　前記複数の結像領域それぞれに対応する画素の検出信号を、各結像領域の両隣にあって前記複数の結像領域の何れにも対応しない２つの画素の検出信号に基づいて補正し、その補正後の検出信号に基づいて前記観察対象物の画像を作成する、請求項１２に記載の画像取得方法。
  14. 　前記検出部の前記受光面上において、前記複数の結像領域が２次元配列され、各結像領域の四方の隣に前記複数の結像領域の何れにも対応しない４つの画素が存在する構成とし、
    　前記複数の結像領域それぞれに対応する画素の検出信号を、各結像領域の四方の隣であって前記複数の結像領域の何れにも対応しない４つの画素の検出信号に基づいて補正し、その補正後の検出信号に基づいて前記観察対象物の画像を作成する、請求項１２または１３に記載の画像取得方法。
  15. 　前記検出部の前記受光面上において、前記複数の結像領域のうち隣り合う２つの結像領域の間に、前記複数の結像領域の何れにも対応しない２以上の画素が存在する構成とする、請求項１２～１４の何れか１項に記載の画像取得方法。
  16. 　前記照射光学系は、前記光源から出力される光を空間的に変調する空間光変調器を含む構成とし、前記空間光変調器に変調パターンを呈示することにより当該変調後の光を前記複数の照射領域に集光照射する、請求項１２～１５の何れか１項に記載の画像取得方法。
  17. 　前記照射光学系は、前記光源から出力される光を回折させる回折光学素子を含む構成とし、前記回折光学素子による回折後の光を前記複数の照射領域に集光照射する、請求項１２～１５の何れか１項に記載の画像取得方法。
  18. 　前記走査部は、前記照射光学系の光路上に設けられた光スキャナを含む構成とし、この光スキャナを駆動することにより前記複数の照射領域を走査する、請求項１２～１７の何れか１項に記載の画像取得方法。
  19. 　前記走査部により、前記照射光学系による前記観察対象物への光照射の方向にも前記複数の照射領域を走査する、請求項１２～１８の何れか１項に記載の画像取得方法。
  20. 　前記結像光学系の結像倍率が可変である、請求項１２～１９の何れか１項に記載の画像取得方法。
  21. 　前記検出部は、前記複数の画素として複数のアノードを有するマルチアノード光電子増倍管を含む、請求項１２～２０の何れか１項に記載の画像取得方法。
  22. 　前記検出部は、前記複数の画素として複数のアバランシェフォトダイオードが配列されたものを含む、請求項１２～２０の何れか１項に記載の画像取得方法。
PCT/JP2017/009269 2016-04-01 2017-03-08 画像取得装置および画像取得方法 WO2017169597A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/089,394 US10890530B2 (en) 2016-04-01 2017-03-08 Image acquisition device and image acquisition method
CN201780020100.2A CN109073873B (zh) 2016-04-01 2017-03-08 图像取得装置以及图像取得方法
DE112017001734.3T DE112017001734T5 (de) 2016-04-01 2017-03-08 Bilderfassungsvorrichtung und Bilderfassungsverfahren

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016074204A JP6722883B2 (ja) 2016-04-01 2016-04-01 画像取得装置および画像取得方法
JP2016-074204 2016-04-01

Publications (1)

Publication Number Publication Date
WO2017169597A1 true WO2017169597A1 (ja) 2017-10-05

Family

ID=59964101

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/009269 WO2017169597A1 (ja) 2016-04-01 2017-03-08 画像取得装置および画像取得方法

Country Status (5)

Country Link
US (1) US10890530B2 (ja)
JP (1) JP6722883B2 (ja)
CN (1) CN109073873B (ja)
DE (1) DE112017001734T5 (ja)
WO (1) WO2017169597A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7007227B2 (ja) * 2018-04-09 2022-01-24 浜松ホトニクス株式会社 試料観察装置及び試料観察方法
KR102104238B1 (ko) * 2018-10-19 2020-04-24 한국과학기술연구원 광변조기 기반 구조 조명 현미경 시스템 및 상기 시스템에 의해 수행되는 이미지 생성 방법
DE102020209889A1 (de) * 2020-08-05 2022-02-10 Carl Zeiss Microscopy Gmbh Mikroskop und Verfahren zur mikroskopischen Bildaufnahme mit variabler Beleuchtung

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008049393A (ja) * 2006-08-28 2008-03-06 Univ Of Tokushima レーザ加工装置及びレーザ加工方法
JP2009130777A (ja) * 2007-11-27 2009-06-11 Victor Co Of Japan Ltd 撮像装置
JP2015001674A (ja) * 2013-06-17 2015-01-05 オリンパス株式会社 空間光変調器を用いた光の変調方法、及び、空間光変調器を備えた装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100530218C (zh) 2002-09-09 2009-08-19 宇东科技股份有限公司 借助校正数据参数调整影像的方法
US20040213463A1 (en) * 2003-04-22 2004-10-28 Morrison Rick Lee Multiplexed, spatially encoded illumination system for determining imaging and range estimation
JP4425098B2 (ja) 2004-09-06 2010-03-03 浜松ホトニクス株式会社 蛍光顕微鏡および蛍光相関分光解析装置
EP1889111A2 (en) 2005-05-25 2008-02-20 Massachusetts Institute of Technology Multifocal imaging systems and methods
US8463068B2 (en) * 2007-08-09 2013-06-11 Micron Technology, Inc. Methods, systems and apparatuses for pixel value correction using multiple vertical and/or horizontal correction curves
US9767342B2 (en) * 2009-05-22 2017-09-19 Affymetrix, Inc. Methods and devices for reading microarrays
DE102009024943A1 (de) * 2009-06-10 2010-12-16 W.O.M. World Of Medicine Ag Bildgebungssystem und Verfahren zur fluoreszenz-optischen Visualisierung eines Objekts
JP2011128572A (ja) * 2009-12-21 2011-06-30 Olympus Corp ホログラム像投影方法およびホログラム像投影装置
US9946058B2 (en) 2010-06-11 2018-04-17 Nikon Corporation Microscope apparatus and observation method
US8384041B2 (en) 2010-07-21 2013-02-26 Carestream Health, Inc. Digital radiographic imaging arrays with reduced noise
US8917336B2 (en) * 2012-05-31 2014-12-23 Apple Inc. Image signal processing involving geometric distortion correction
US8872946B2 (en) * 2012-05-31 2014-10-28 Apple Inc. Systems and methods for raw image processing
JP6116142B2 (ja) 2012-06-21 2017-04-19 オリンパス株式会社 走査型共焦点レーザ顕微鏡
JP6047325B2 (ja) * 2012-07-26 2016-12-21 浜松ホトニクス株式会社 光変調方法、光変調プログラム、光変調装置、及び光照射装置
CN104508462B (zh) 2012-08-02 2018-04-24 奥林巴斯株式会社 使用共焦显微镜或多光子显微镜的光学***的光分析装置、光分析方法以及光分析用计算机程序
DE112012006900B4 (de) * 2012-09-13 2024-05-16 Hamamatsu Photonics K.K. Steuerverfahren für optische Modulation, Steuerprogramm, Steuervorrichtung und Laserlicht-Bestrahlungsvorrichtung
JP2016507078A (ja) 2013-01-25 2016-03-07 ザ トラスティーズ オブ コロンビア ユニバーシティ イン ザ シティオブ ニューヨーク 被写界深度３ｄイメージングｓｌｍ顕微鏡
CN105026916B (zh) 2013-03-06 2017-07-14 浜松光子学株式会社 荧光受光装置以及荧光受光方法
US9224782B2 (en) * 2013-04-19 2015-12-29 Semiconductor Components Industries, Llc Imaging systems with reference pixels for image flare mitigation
DE102013019347A1 (de) * 2013-08-15 2015-02-19 Carl Zeiss Microscopy Gmbh Hochauflösende Scanning-Mikroskopie
JP6584131B2 (ja) * 2015-05-08 2019-10-02 キヤノン株式会社 撮像装置、撮像システム、および信号処理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008049393A (ja) * 2006-08-28 2008-03-06 Univ Of Tokushima レーザ加工装置及びレーザ加工方法
JP2009130777A (ja) * 2007-11-27 2009-06-11 Victor Co Of Japan Ltd 撮像装置
JP2015001674A (ja) * 2013-06-17 2015-01-05 オリンパス株式会社 空間光変調器を用いた光の変調方法、及び、空間光変調器を備えた装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHA JAE WON ET AL.: "Reassignment of Scattered Emission Photons in Multifocal Multiphoton Microscopy", SCIENTIFIC REPORTS, vol. 4, 5 June 2014 (2014-06-05), pages 1 - 13, XP055427222 *
KI HEAN KIM ET AL.: "Multifocal multiphoton microscopy based onmultianode photomultiplier tubes", OPTICS EXPRESS, vol. 15, no. 18, 3 September 2007 (2007-09-03), pages 11658 - 11678, XP055427251 *

Also Published As

Publication number Publication date
DE112017001734T5 (de) 2018-12-20
JP6722883B2 (ja) 2020-07-15
US10890530B2 (en) 2021-01-12
JP2017187532A (ja) 2017-10-12
US20200300762A1 (en) 2020-09-24
CN109073873A (zh) 2018-12-21
CN109073873B (zh) 2020-12-29

Similar Documents

Publication Publication Date Title
JP6411472B2 (ja) レーザスキャニング顕微鏡、および特に高解像度のスキャニング顕微鏡法で結像収差を修正する方法
US10007100B2 (en) Light sheet illumination microscope and light sheet illumination method
US9201008B2 (en) Method and system for obtaining an extended-depth-of-field volumetric image using laser scanning imaging
US20190302437A1 (en) Microscopy Devices, Methods and Systems
US10168521B2 (en) Stimulated emission depletion microscope
JP6276749B2 (ja) 蛍光受光装置および蛍光受光方法
US10191263B2 (en) Scanning microscopy system
US9081186B2 (en) Microscope device for generating images of a specimen using phase distribution of light
US20130120563A1 (en) Image generation device
US20170192217A1 (en) Optical-axis-direction scanning microscope apparatus
WO2017077777A1 (ja) 画像取得装置、画像取得方法、及び空間光変調ユニット
WO2017169597A1 (ja) 画像取得装置および画像取得方法
JP4818634B2 (ja) 走査型蛍光観察装置
US20130250088A1 (en) Multi-color confocal microscope and imaging methods
JP2011118070A (ja) 共焦点走査型顕微鏡
KR101080382B1 (ko) 공초점 레이저 주사 현미경
JP6260391B2 (ja) 共焦点顕微鏡装置及び共焦点観察方法
US20170131210A1 (en) Observation apparatus and method for sharpening final image
JP6639595B2 (ja) 誘導放射抑制顕微鏡装置
JP2010164635A (ja) 共焦点顕微鏡
WO2023074029A1 (ja) 光照射装置、顕微鏡装置、光照射方法、及び画像取得方法
JP5191673B2 (ja) 光源装置、観察装置および加工装置
JP2010039323A (ja) 共焦点顕微鏡
WO2023074326A1 (ja) 顕微鏡装置及び画像取得方法
JP6539052B2 (ja) 画像取得装置および画像取得方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17774142

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17774142

Country of ref document: EP

Kind code of ref document: A1