WO2018117273A1 - データ作成方法及びデータ使用方法 - Google Patents

データ作成方法及びデータ使用方法 Download PDF

Info

Publication number
WO2018117273A1
WO2018117273A1 PCT/JP2017/047414 JP2017047414W WO2018117273A1 WO 2018117273 A1 WO2018117273 A1 WO 2018117273A1 JP 2017047414 W JP2017047414 W JP 2017047414W WO 2018117273 A1 WO2018117273 A1 WO 2018117273A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
autofluorescence
light
reflected light
image
Prior art date
Application number
PCT/JP2017/047414
Other languages
English (en)
French (fr)
Inventor
野村　暢彦
穣 八幡
達則 清川
Original Assignee
国立大学法人筑波大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立大学法人筑波大学 filed Critical 国立大学法人筑波大学
Priority to EP17884719.0A priority Critical patent/EP3561490A4/en
Priority to US16/472,727 priority patent/US11002678B2/en
Priority to JP2018513685A priority patent/JP6422616B1/ja
Publication of WO2018117273A1 publication Critical patent/WO2018117273A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458—Fluorescence microscopy
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12Q—MEASURING OR TESTING PROCESSES INVOLVING ENZYMES, NUCLEIC ACIDS OR MICROORGANISMS; COMPOSITIONS OR TEST PAPERS THEREFOR; PROCESSES OF PREPARING SUCH COMPOSITIONS; CONDITION-RESPONSIVE CONTROL IN MICROBIOLOGICAL OR ENZYMOLOGICAL PROCESSES
    • C12Q1/00—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions
    • C12Q1/68—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions involving nucleic acids
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/6486—Measuring fluorescence of biological material, e.g. DNA, RNA, cells
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/50—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/50—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
    • G01N33/5097—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing involving plant cells
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N2021/6417—Spectrofluorimetric devices
    • G01N2021/6419—Excitation at two or more wavelengths
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N2021/6491—Measuring fluorescence and transmission; Correcting inner filter effect
    • G01N2021/6493—Measuring fluorescence and transmission; Correcting inner filter effect by alternating fluorescence/transmission or fluorescence/reflection

Definitions

  • the present invention relates to a data creation method for creating data by measuring, for example, autofluorescence emitted by a microorganism, and a data use method using the data.
  • Patent Documents 2 and 3 there is known a method for identifying microbial species by detecting autofluorescence emitted by colonies (see, for example, Patent Documents 2 and 3).
  • microbial species can be detected non-invasively with respect to microorganisms.
  • the image is obtained by imaging fluorescence emitted by irradiating fluorescence-stained cells with excitation light, and the cells are detected using a plurality of captured images based on excitation light having different wavelength bands.
  • the technique to do is known (for example, refer patent document 4).
  • Non-Patent Documents 1 and 2 In recent years, in order to investigate the dynamics of microorganisms, research has been conducted to grasp the position of microorganisms in a three-dimensional space and the movement in the space using a confocal microscope (for example, see Non-Patent Documents 1 and 2). These studies, for example, have achieved great results in observing the formation process of a complex (biofilm) of microbial population and extracellular matrix components produced by microorganisms over time in three dimensions. The idea of applying to identification and evaluation of microorganisms based on autofluorescence has not been reported.
  • Patent Documents 1 to 4 described above in addition to identification of microbial species such as grasping a spatial position in a three-dimensional space and movement in the space, it is considered to acquire positional information of non-invasive microorganisms. It has not been. Furthermore, the idea of recording both autofluorescence and reflected light emitted by a sample in one coordinate in space in correspondence with each other is neither described nor suggested in the prior art document.
  • the present invention has been made in view of the above, and provides a data creation method and a data usage method capable of analyzing a sample in a non-invasive manner and obtaining the spatial position information of the target.
  • the purpose is to provide.
  • the data creation method is arranged by placing the focal point of the excitation light having a predetermined wavelength at one coordinate on a predetermined focal plane and positioning it at the coordinate. Irradiating the sample with the excitation light to acquire autofluorescence derived from the sample and generating autofluorescence data including autofluorescence intensity data and / or spectrum data; and A reflected light data generating step for acquiring reflected light scattered by the sample by irradiating irradiation light on one coordinate on the focal plane, and generating intensity data of the reflected light; and on the predetermined focal plane A correspondence data creating step of creating correspondence data in which the autofluorescence data at one coordinate is associated with the intensity data of the reflected light.
  • the data creation method according to the present invention is characterized in that, in the above invention, the data creation method is performed at a plurality of different coordinates on the predetermined focal plane.
  • the data creation method according to the present invention is characterized in that, in the above-described invention, the data creation method is performed on a plurality of different focal planes.
  • the autofluorescence data generation step irradiation of a plurality of excitation lights having different wavelengths is performed, and the spectrum data of each autofluorescence obtained by the plurality of excitation lights.
  • the autofluorescence data including the spectrum profile data constituted by is created.
  • the data generation method according to the present invention is characterized in that, in the above invention, the reflected light data generation step acquires the reflected light using any one of a plurality of excitation lights having different wavelengths.
  • the data generation method according to the present invention is characterized in that, in the above-mentioned invention, the reflected light data generation step acquires the reflected light using all of the excitation lights of the plurality of excitation lights having different wavelengths.
  • the data creation method according to the present invention is characterized in that, in the above invention, the autofluorescence data generation step is performed only at coordinates where reflected light having a predetermined intensity or more is obtained in the reflected light data generation step.
  • the autofluorescence data generation step is surrounded by a plurality of coordinates at which reflected light having a predetermined intensity or more is obtained in the reflected light data generation step, and the plurality of coordinates. And one or a plurality of coordinates located in an area corresponding to the inside of the sample.
  • the data creation method according to the present invention is characterized in that, in the above invention, at least one of the excitation light and the irradiation light is laser light.
  • the data use method according to the present invention is characterized in that the correspondence data is generated by the data creation method according to the above invention, and the correlation with the sample state is found by comparing the autofluorescence data of a plurality of samples. .
  • the data use method according to the present invention is characterized in that, in the above invention, the correlation is found by machine learning.
  • the data use method according to the present invention is to identify or evaluate an unknown sample by generating the corresponding data by the data creation method according to the above invention and comparing the autofluorescence data of the known sample with the autofluorescence data of the unknown sample. It is characterized by performing.
  • the data use method according to the present invention is characterized in that, in the above invention, the known sample is characterized by machine learning.
  • the data use method according to the present invention is the above invention, wherein the sample is any one of animal cells, plant cells, yeast cells, fungal cells, microalgal cells, bacteria, archaea, viruses, phages, and products produced by them. It is characterized by being one of spore, spore or membrane vesicle.
  • the data usage method according to the present invention is characterized in that, in the above invention, the state of the sample relates to a metabolic state or a physiological state of the sample.
  • the data use method according to the present invention is the above invention, wherein the identification of the unknown sample identifies a biological field, gate, class, eye, family, genus, species, breed, pathogenic type or antigenic type. It is characterized by being.
  • the data use method according to the present invention is characterized in that, in the above invention, the unknown sample is identified as a microbiological strain or a sub-strain.
  • the data use method according to the present invention is characterized in that, in the above invention, the evaluation of the unknown sample relates to a metabolic state or a physiological state.
  • the focal point of light having a predetermined wavelength is arranged at one coordinate on a predetermined focal plane, and the sample located at the coordinate is irradiated with excitation light composed of the light.
  • Autofluorescence data generation step of acquiring autofluorescence derived from the sample and generating autofluorescence data including autofluorescence intensity data and / or spectrum data, and one coordinate on the predetermined focal plane
  • a reflected light data generation step of acquiring reflected light scattered by the sample by irradiating irradiation light and generating intensity data of the reflected light, and the autofluorescence at one coordinate on a predetermined focal plane in the previous period
  • a correspondence data creation step for creating correspondence data in which the data and the intensity data of the reflected light are associated with each other; the autofluorescence data generation step; and the reflected light data generation step.
  • the present invention it is possible to analyze a sample in a non-invasive manner and to obtain the spatial position information of the target.
  • FIG. 1 is a diagram schematically showing a schematic configuration of a microscope system according to an embodiment of the present invention.
  • FIG. 2 is an example of a flowchart for explaining a data analysis method according to an embodiment of the present invention.
  • FIG. 3 is a diagram for explaining a scanning method of the microscope system according to the embodiment of the present invention.
  • FIG. 4 is a diagram for explaining a focused image generated by scanning in the microscope system according to the embodiment of the present invention.
  • FIG. 5 is a diagram illustrating a three-dimensional image displayed in the microscope system according to the embodiment of the present invention.
  • FIG. 6 is a diagram showing an example of an object to be identified in the microscope system according to the embodiment of the present invention, and shows a specimen image in which Streptococcus mitis (S.
  • FIG. 7A shows an image of S. cerevisiae imaged when irradiated with excitation light having a wavelength of 405 nm. It is a figure which shows the fluorescence image of mitis.
  • FIG. 7B shows the S.P. detected when the excitation light having a wavelength of 405 nm is irradiated. It is a figure which shows the fluorescence spectrum of mitis.
  • FIG. 8A shows an image of S. cerevisiae imaged when irradiated with excitation light having a wavelength of 458 nm. It is a figure which shows the fluorescence image of mitis.
  • FIG. 8B shows the S.P.
  • FIG. 9A shows an image of S. cerevisiae imaged when irradiated with excitation light having a wavelength of 488 nm. It is a figure which shows the fluorescence image of mitis.
  • FIG. 9B shows the S.P. detected when the excitation light having a wavelength of 488 nm is irradiated. It is a figure which shows the fluorescence spectrum of mitis.
  • FIG. 10 is a diagram showing an example of an object to be identified in the microscope system according to the embodiment of the present invention, and shows a specimen image in which Aggregatacteractinomycetemcomitans (Aa) is captured.
  • FIG. 11A shows an image of A.I.A. imaged when irradiated with excitation light having a wavelength of 405 nm. a. It is a figure which shows no fluorescence image.
  • FIG. 11B shows an A.D. detected when irradiated with excitation light having a wavelength of 405 nm. a. It is a figure which shows the fluorescence spectrum.
  • FIG. 12A shows images of A.A. and B.A. a. It is a figure which shows no fluorescence image.
  • FIG. 12B shows an A.D. detected when irradiation with excitation light having a wavelength of 458 nm. a. It is a figure which shows the fluorescence spectrum.
  • FIG. 13A shows images of A.A. and B.A. a. It is a figure which shows no fluorescence image.
  • FIG. 13B shows an A.D. detected when irradiated with excitation light having a wavelength of 488 nm. a. It is a figure which shows the fluorescence spectrum.
  • FIG. 15 is a diagram illustrating an S.P. It is a figure which shows the image which performed the color scheme to mitis.
  • FIG. 15 is a diagram illustrating an S.P. It is a figure which shows the image which performed the color scheme to mitis.
  • FIG. 15 is a diagram illustrating an S.P. It is a figure which shows the image which
  • mitis and A.M. a It is a figure which shows the three-dimensional image which expressed the several focused image in which and exist in three dimensions.
  • FIG. mitis and A.M. a It is a figure which shows the three-dimensional image which performed each color scheme.
  • FIG. 18 shows the S.D. It is a figure which shows the three-dimensional image which extracted mitis.
  • FIG. 19 shows a three-dimensional image (a) based on the reflected light. mitis and A.M. a. Three-dimensional image (b), and S. It is a figure which shows the three-dimensional image (c) which performed the color scheme to mitis.
  • FIG. 20 is an image showing fat and oil yeasts (ascomycetes) having different characteristics, including an autofluorescence image (a) of a high fat and oil production strain, an autofluorescence image (b) of a low fat and oil accumulation strain, and a high fat and oil production strain It is a figure which shows the autofluorescence image (c) which mixed the fats and oils low accumulation strain, respectively.
  • FIG. 21 is a diagram showing a spectrum profile of autofluorescence of the high fat and oil producing strain shown in FIG.
  • FIG. 22 is a diagram showing an autofluorescence spectrum profile of the low fat and oil accumulation strain shown in FIG.
  • FIG. 23 is a diagram showing an autofluorescence spectrum profile of Paenibacillus polymyxa, which is a soil bacterium.
  • FIG. 24 is a diagram showing an autofluorescence spectrum profile of Pseudomonas putida which is a soil bacterium.
  • FIG. 25A is a diagram showing a confocal reflection microscope image of wild-type E. coli.
  • FIG. 25B is a diagram showing an autofluorescence image of wild-type Escherichia coli acquired when each excitation light is irradiated.
  • FIG. 26A is a diagram showing a confocal reflection microscope image of a tyrosine overproducing strain E. coli.
  • FIG. 26B is a diagram showing an autofluorescence image of a tyrosine overproducing strain E. coli obtained when each excitation light is irradiated.
  • FIG. 25A is a diagram showing a confocal reflection microscope image of wild-type Escherichia coli.
  • FIG. 26B is a diagram showing an autofluorescence image of a tyrosine overproducing strain E. coli obtained when
  • FIG. 27 is a diagram showing a confocal reflection microscope image and autofluorescence image (a) of wild-type Escherichia coli, and a confocal reflection microscope image and autofluorescence image (b) of tyrosine-overproducing strain E. coli.
  • FIG. 28A is a diagram showing a confocal reflection microscope image of a wild-type mold (Aspergillus nidulans).
  • FIG. 28B is a diagram showing an autofluorescence image of wild strains (Aspergillus nidulans) obtained when each excitation light is irradiated.
  • FIG. 29A is a diagram showing a confocal reflection microscope image of a mutant strain of Aspergillus nidulans.
  • FIG. 29B is a diagram showing an autofluorescence image of a mutant strain (Aspergillus nidulans) obtained when each excitation light is irradiated.
  • FIG. 30 is a diagram showing an autofluorescence spectrum profile of a wild-type mold (Aspergillus nidulans).
  • FIG. 31 is a diagram showing a spectrum profile of autofluorescence of mutant mold (Aspergillus nidulans).
  • FIG. 32A is a diagram showing a confocal reflection microscope image of intestinal epithelial cancer cells.
  • FIG. 32B is a diagram showing an autofluorescence image of intestinal epithelial cancer cells acquired when each excitation light is irradiated.
  • FIG. 33 is a diagram illustrating a confocal reflection microscope image generated in the microscope system according to the embodiment of the present invention and an image obtained by superimposing the autofluorescence image.
  • FIG. 34 is a diagram for explaining data recorded by the recording unit in the microscope system according to the first modification of the embodiment of the present invention.
  • FIG. 35 is a diagram showing a confocal reflection microscope image of a Paenibacillus polymyxa in each growth phase, an autofluorescence image obtained when each excitation light is irradiated, and a fluorescence spectrum.
  • FIG. 36 is a diagram showing a confocal reflection microscope image of Pseudomonas putida in each growth phase, an autofluorescence image obtained when each excitation light is irradiated, and a fluorescence spectrum.
  • FIG. 37 is a diagram showing a confocal reflection microscope image in which Paenibacillus polymyxa and Pseudomonas putida are mixed.
  • FIG. 38 is a diagram showing an image in which hues set for Paenibacillus polymyxa and Pseudomonas putida (Pseudomonas putida) are superimposed on a confocal reflection microscope image.
  • FIG. 39 is a flowchart illustrating a data analysis method according to the second modification of the embodiment of the present invention.
  • FIG. 1 is a diagram schematically showing a schematic configuration of a microscope system according to an embodiment of the present invention.
  • the microscope system 1 shown in FIG. 1 performs identification of the type of an object reflected in the image, for example, the microorganism species of the microorganism, based on the image data acquired by the confocal laser scanning microscope 100, and the identification result or This is a system for displaying acquired images.
  • the microscope system 1 includes a confocal laser scanning microscope 100 that irradiates a laser beam to acquire autofluorescence or reflected light of a specimen, and a control device 200 that comprehensively controls the microscope system 1.
  • the image processing device 300 that generates various data such as image data based on the light acquired by the confocal laser scanning microscope 100, and the display device 400 that displays an image based on the display image data generated by the image processing device 300, Is provided.
  • microorganisms include bacteria, fungi, viruses, microalgae, protozoa, and the like.
  • the sample to be imaged is an animal cell, a plant cell, a yeast cell, a fungal cell, a microalgal cell, a bacterium, an archaebacteria, a virus, or a phage, and they are produced. Spore, spore, or membrane vesicle.
  • the confocal laser scanning microscope 100 includes a stage 101, an objective lens 102, a laser light source 103, a lens 104, a collimator lens 105, a beam splitter 106, an imaging lens 107, a confocal pinhole 108, and a detector. 109 and a scanning mirror 110.
  • a stage 101 an objective lens 102, a laser light source 103, a lens 104, a collimator lens 105, a beam splitter 106, an imaging lens 107, a confocal pinhole 108, and a detector. 109 and a scanning mirror 110.
  • two orthogonal axes on a plane parallel to the specimen mounting surface of the stage 101 are defined as an X axis and a Y axis, and an axis orthogonal to the plane is defined as a Z axis.
  • the Z axis is assumed to be parallel to the optical axis of the objective lens 102.
  • Stage 101 places a sample.
  • the stage 101 is configured to be movable in the Z-axis direction using a drive source such as a motor under the control of the control device 200.
  • the specimen is a solution or culture medium containing microorganisms, and is placed on the stage 101 while being held by a holding member such as a petri dish or a slide glass.
  • the objective lens 102 condenses the laser light reflected by the beam splitter 106 toward the stage 101 and makes the light from the specimen on the stage 101 enter the beam splitter 106 as parallel light.
  • the laser light source 103 emits laser light having a predetermined wavelength. Specifically, the laser light source 103 emits laser light having a wavelength corresponding to the excitation wavelength for exciting the specimen.
  • the laser light source 103 may have a plurality of light sources each capable of emitting laser light having a wavelength to be used, or may irradiate white laser light so that the wavelength of light emitted by the filter can be selected. May be.
  • the lens 104 emits the laser beam emitted from the laser light source 103 as a radial laser beam.
  • the collimating lens 105 converts the radial laser light that has passed through the lens 104 into parallel light and emits it to the beam splitter 106.
  • the beam splitter 106 passes a part of the incident light and reflects the remaining light. Specifically, the beam splitter 106 bends a part of the light emitted from the laser light source 103 toward the objective lens 102 and transmits the part of the light incident from the objective lens 102 to be incident on the imaging lens 107.
  • the beam splitter 106 is configured using, for example, a half mirror, and allows half of the incident laser light to pass therethrough and reflects the remaining half of the laser light.
  • the imaging lens 107 images the light that has passed through the beam splitter 106.
  • the confocal pinhole 108 allows at least part of the light imaged by the imaging lens 107 to pass through.
  • the confocal pinhole 108 is formed with a pinhole 108a that is a hole through which light can pass. Further, the confocal pinhole 108 is provided at a position conjugate with the objective lens 102. For this reason, in the confocal pinhole 108, the light from the focal plane of the objective lens 102 passes through the pinhole 108a, and the light from the unfocused position is blocked. For example, when the spot diameter of laser light imaged by the imaging lens 107 is 0.2 ⁇ m, light from a range of about 0.03 ⁇ m 2 passes through the pinhole 108a at the imaging position. The setting of the diameter of the pinhole 108a and the size of the focal space can be changed.
  • the detector 109 includes a reflective diffraction grating that separates incident light into a set wavelength band, and a plurality of photomultiplier tubes (PhotoMultiplier) that photoelectrically convert the obtained light and perform current amplification of the converted electrical signal.
  • Tube: PMT (hereinafter also referred to as a channel).
  • the detector 109 divides the light into 32 light beams having different wavelength bands by using, for example, a reflective diffraction grating, and the separated light beams are respectively incident on the 32 photomultiplier tubes.
  • Each photomultiplier tube photoelectrically converts incident light and outputs an electrical signal.
  • Scanning mirror 110 under the control of the control unit 200 controls the irradiation position of the laser beam on the focal plane P F of the specimen.
  • the scanning mirror 110 is configured using, for example, an X position control mirror and a Y position control mirror, and guides laser light to a predetermined position on the XY plane.
  • the scanning mirror 110 moves the irradiation position of the laser light along a preset scanning path by changing the angle of each position control mirror under the control of the control device 200.
  • the control device 200 includes a control unit 201 and an input unit 202.
  • the control device 200 includes a recording unit (not shown) that records various information necessary for the operation of the control device 200.
  • the control unit 201 is configured using a CPU (Central Processing Unit) having arithmetic and control functions, various arithmetic circuits, and the like.
  • the control unit 201 performs overall control of the microscope system 1 by reading information stored in the recording unit and executing various arithmetic processes.
  • the control unit 201 includes a laser control unit 203 and a scanning control unit 204.
  • the laser control unit 203 controls the emission of the laser light by the laser light source 103 based on the control program and the instruction information received by the input unit 202. Specifically, the laser control unit 203 controls the emission timing of the laser light and the wavelength of the emitted laser light. For example, the laser control unit 203 performs control to intermittently emit laser light by pulse control.
  • the scanning control unit 204 controls the position of the stage 101 in the Z direction and the irradiation position of the laser beam by the scanning mirror 110 based on the control program and the instruction information received by the input unit 202.
  • the input unit 202 receives input of various information.
  • the input unit 202 is configured using a user interface such as a keyboard, a mouse, and a touch panel.
  • the image processing apparatus 300 includes a detection signal reception unit 301, a data generation unit 302, a two-dimensional image generation unit 303, a three-dimensional image generation unit 304, a data analysis unit 305, a hue superimposition unit 306, and a recording unit 307. And have.
  • the detection signal receiving unit 301 receives an electrical signal of each channel from the detector 109.
  • the detection signal receiving unit 301 associates the received electrical signal of each channel with the position information (laser beam irradiation position) on the scanning plane and outputs the associated information to the data generation unit 302.
  • the detection signal receiving unit 301 may be provided separately for detecting reflected light and for detecting autofluorescence.
  • the data generation unit 302 generates data in which the light intensity based on the electrical signal received from the detection signal reception unit 301 is associated with the position information on the scanning plane.
  • the data generation unit 302 includes an autofluorescence data generation unit 302a, a reflected light data generation unit 302b, and a corresponding data generation unit 302c.
  • the autofluorescence data generation unit 302a is an electrical signal related to autofluorescence received by the detection signal receiving unit 301.
  • the autofluorescence data generation unit 302a acquires the electrical signal of each channel, and obtains intensity data for each coordinate on a predetermined focal plane And / or generating a fluorescence spectrum (spectral data).
  • the autofluorescence data generation unit 302a generates one fluorescence spectrum for one position on the scanning plane when one excitation light is irradiated, and the excitation light having a plurality of different wavelengths is irradiated at different timings. In this case, a plurality of fluorescence spectra are generated according to the excitation light.
  • the “fluorescence spectrum” means “intensity distribution with respect to wavelength” of autofluorescence generated when laser light having a predetermined wavelength is irradiated as excitation light.
  • the “intensity” here refers to a signal value obtained by photoelectric conversion of the obtained autofluorescence, for example.
  • the fluorescence spectrum consists of a waveform that has been smoothed, for example, by complementing the plots.
  • data consisting of a plurality of fluorescence spectra may be referred to as spectrum profile data.
  • the “autofluorescence data” includes any or all of autofluorescence intensity data, spectrum data, and spectrum profile data.
  • the autofluorescence data generation unit 302a generates autofluorescence data in which fluorescence spectra generated according to excitation wavelengths are associated with each position on the scanning plane (a plurality of coordinates on a predetermined focal plane).
  • the reflected light data generation unit 302b acquires the detection signal related to the reflected light reflected by the specimen, received by the detection signal receiving unit 301, and the reflected light intensity based on the acquired detection signal and the position on the scanning plane Reflected light data associated with information is generated. For example, the reflected light data generation unit 302b adds the light intensities based on the electrical signals of the respective channels to obtain the reflected light intensity at the position on the scanning plane.
  • the correspondence data generation unit 302c generates correspondence data including autofluorescence data and reflected light data at one coordinate on a predetermined focal plane. If the autofluorescence data and the reflected light data are generated at a plurality of coordinates, the correspondence data generation unit 302c generates the correspondence data in which the autofluorescence data and the reflected light data are associated with each coordinate. Further, if autofluorescence data by a plurality of excitation lights is generated at the same coordinates, each autofluorescence data is associated with the coordinates.
  • the intensity of the reflected light reflects the presence of a specimen such as a cell at one coordinate on a predetermined focal plane. If there is no specimen (cell) at the coordinates, the intensity of reflected light is low, and if there is a specimen (cell), high intensity reflected light is obtained. If reflected light at a high magnification is obtained, reflected light from the outline of the cell, reflected light from the inside of the cell, and further reflected light from internal organelles such as the nucleus can be obtained.
  • the two-dimensional image generation unit 303 generates two-dimensional image data corresponding to a one-frame display image based on various data generated by the data generation unit 302. For example, when the focused image data based on the reflected light is generated, the two-dimensional image generation unit 303 is based on the reflected light data generated by the reflected light data generation unit 302b, and is focused with luminance information for each pixel position. One or a plurality of image data are generated according to the number of scanned scanning planes.
  • the two-dimensional image generation unit 303 uses the fluorescence spectrum of the corresponding data generated by the corresponding data generation unit 302c and the data analysis unit 305. Based on the analysis result, one or a plurality of fluorescent image data to which luminance information is given for each pixel position is generated according to the number of scanned scanning planes.
  • the two-dimensional image generation unit 303 performs image processing using known techniques such as gain processing, contrast processing, and ⁇ correction processing on the generated one-frame two-dimensional image data, and displays the display specifications of the display device 400.
  • the image data for display is generated by performing processing according to the above.
  • the focused image based on the reflected light may be referred to as a confocal reflection microscope (CRM) image.
  • CCM confocal reflection microscope
  • the 3D image generation unit 304 generates 3D image data based on the 2D image data generated by the 2D image generation unit 303.
  • the three-dimensional image generation unit 304 generates three-dimensional image data by providing luminance information in each frame on a three-dimensional space.
  • the laser beam irradiation position is associated with the spatial information of the image data generated by the two-dimensional image generation unit 303 and the three-dimensional image generation unit 304.
  • the spatial position is position information including the position of the pixel on the X axis (X position) and the position of the pixel on the Y axis (Y position) if it is two-dimensional, and the X position, Y position, And position information consisting of the position of the pixel on the Z axis (Z position).
  • the scanning plane corresponds to a plane orthogonal to the Z axis, and the position on the scanning plane is expressed by an X position and a Y position on the scanning plane.
  • the data analysis unit 305 performs various data analysis on the specimen using the correspondence data generated by the data generation unit 302.
  • the data analysis unit 305 performs, for example, identification of a specimen type, evaluation of a state, extraction of a specimen having a predetermined characteristic, and the like. Specifically, when identifying the specimen, the data analysis unit 305 refers to the identification table recorded in the recording unit 307 and has a spectrum pattern that matches the fluorescence spectrum associated with the position to be analyzed. Identifies whether a type exists.
  • the data analysis unit 305 generates identification information in which the laser light irradiation position is associated with the identified type.
  • the hue superimposing unit 306 superimposes the set hue on the corresponding pixel position in the image based on the identification information of the data analyzing unit 305. Specifically, the hue superimposing unit 306 is identified as the corresponding microorganism species for the three-dimensional image data when the display target image is a three-dimensional image and a microorganism species to be colored in red is set. A process of arranging red at the pixel position is performed. The hue superimposing unit 306 outputs the superimposed image data on which the hue is superimposed to the display device 400. This superimposed image data is data obtained by adding information about hue to two-dimensional image data or three-dimensional image data.
  • the recording unit 307 records various programs including a program for executing the operation of the image processing apparatus 300.
  • the recording unit 307 is configured using a ROM (Read Only Memory) in which various programs are installed in advance, a RAM (Random Access Memory) that records calculation parameters, and the like.
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the recording unit 307 includes an analysis information recording unit 308 that records data necessary for performing analysis, such as an identification table used by the data analysis unit 305 to identify the type. For example, when the identification table is for identifying the type of microorganism (microorganism species), a spectrum pattern including one or a plurality of fluorescence spectra characterized for each excitation wavelength is associated with the microorganism species.
  • the data format is not limited to the identification table, and any data format that can output information corresponding to the input information may be used.
  • the analysis information recording unit 308 may record analysis results such as identification information generated by the data analysis unit 305.
  • the display device 400 is configured using a liquid crystal or an organic EL (Electro Luminescence), and displays an image generated by the image processing device 300.
  • the display device 400 may display various information generated by the control device 200.
  • FIG. 2 is an example of a flowchart for explaining a data analysis method according to an embodiment of the present invention.
  • the flow of generating the superimposed image data by analyzing the specimen based on the obtained autofluorescence will be described.
  • the specimen is irradiated with light having a wavelength or wavelength band set in advance in order to acquire reflected light (step S1). .
  • the detection signal receiving unit 301 acquires a detection signal corresponding to the autofluorescence generated by the light or the reflected light reflected by the specimen.
  • the focal position of laser light which is reflected light acquisition light, is three-dimensionally scanned to acquire autofluorescence or reflected light, and three-dimensional space data is generated.
  • FIG. 3 is a diagram for explaining a scanning method of the microscope system according to the embodiment of the present invention.
  • the confocal laser scanning microscope 100 scans the XY plane at the focal plane at a certain Z position to receive light from the specimen, changes the Z position, and scans the XY plane at the changed Z position. To do. For example, by performing scanning for each Z position set in the Z scanning range R Z shown in FIG. 1, to obtain a light (reflected light or autofluorescence) from a plurality of positions on the focal plane at each Z position.
  • the configuration of the beam splitter 106 and the detector 109 can be appropriately changed according to the image to be generated.
  • the stage 101 is moved in the Z-axis direction, and the focal plane P F 2 on which the focal point of the laser beam is arranged after the movement.
  • the laser beam is scanned at. This is sequentially scanned with focal planes P F 3, P F 4, P F 5, P F 6, P F 7,... In a preset Z scanning range R Z.
  • a laser beam is irradiated from one corner of a rectangular focal plane (focal plane P F 7 in FIG. 3), and a spot SP that is an irradiation area Receives light from.
  • a spot SP that is an irradiation area Receives light from.
  • the spot SP By scanning the spot SP in a zigzag manner, light corresponding to the number of data for generating one two-dimensional image (focused image) can be acquired on the focal plane P F 7.
  • the diameter of the spot SP is substantially equal to the size of one pixel (corresponding to one dot displayed on the monitor), the colors of the two-dimensional image and the three-dimensional image can be expressed in units of pixels.
  • visual information corresponding to the identification information can be colored in units of pixels.
  • “Substantially the same as the size of a pixel” means, for example, when the spot SP is a circle, the size is substantially the same as the size inscribed in the pixel.
  • the scanning path described above is an example, and the scanning path is not limited to this path as long as the focal plane can be scanned.
  • the diameter of the spot SP can be adjusted as appropriate by changing the diameter of the confocal pinhole with the lower limit of the resolution of the optical microscope being about 0.2 ⁇ m.
  • step S2 the reflected light data generation unit 302b acquires a detection signal related to the reflected light received by the detection signal reception unit 301, and generates reflected light data based on the acquired detection signal (reflected light). Data generation step).
  • step S3 following step S2, under the control of the control unit 201, the specimen is irradiated with light (excitation light) having a wavelength or wavelength band set in advance to acquire autofluorescence.
  • excitation light having a wavelength or wavelength band set in advance
  • the excitation light for acquiring autofluorescence and the irradiation light for acquiring reflected light will be described as being acquired at different timings.
  • Autofluorescence and reflected light may be acquired by irradiating the sample with excitation light only once and providing a difference in detection time.
  • the autofluorescence data generation unit 302a acquires a detection signal related to autofluorescence received by the detection signal reception unit 301, and generates autofluorescence data based on the acquired detection signal (step S4: autofluorescence data generation step). ).
  • This autofluorescence data includes a fluorescence spectrum of autofluorescence generated by the excitation light irradiated on the specimen in step S1.
  • each data generation process of step S1,2 and step S3,4 may perform step S3,4 previously, and you may make it perform a process in parallel.
  • step S5 following step S4, the control unit 201 determines whether or not to irradiate excitation light having a wavelength (or wavelength band) different from the wavelength (or wavelength band) of the excitation light for autofluorescence acquisition irradiated in step S3. Judging.
  • the control unit 201 refers to scanning conditions set in advance or scanning conditions set via the input unit 202, and determines whether there is excitation light to be further irradiated.
  • a fluorescence spectrum of self-fluorescence or reflected light intensity obtained when a laser beam having a certain excitation wavelength is irradiated for one spot, that is, one point on the focal plane at a certain Z position is generated.
  • the “focal plane” referred to here is a plane orthogonal to the optical axis of the laser beam and the plane on which the focal point of the laser beam is arranged.
  • step S5 determines that it is necessary to irradiate excitation light having a wavelength different from the wavelength irradiated in step S3 (step S5: Yes)
  • the control unit 201 returns to step S3 and performs scanning using the set excitation light. repeat.
  • step S5: No determines that it is not necessary to perform further excitation light irradiation
  • step S6 the correspondence data generation unit 302c generates correspondence data in which the intensity of the reflected light generated in step S2 is associated with the fluorescence spectrum generated in step S3 (corresponding data creation step).
  • the intensity of the reflected light may be used as a total value obtained by adding up the intensity of the reflected light acquired for all the excitation lights having different wavelengths (or wavelength bands) for one laser light irradiation position. You may use the intensity
  • step S7 the data analysis unit 305 performs sample analysis processing based on the corresponding data generated in step S5.
  • the data analysis unit 305 identifies the type of microorganism at each spot position. A specific example of the analysis process will be described later.
  • step S8 following step S7, the two-dimensional image generation unit 303, the three-dimensional image generation unit 304, and the hue superimposing unit 306 generate image data based on the corresponding data.
  • step S7 first, the two-dimensional image generation unit 303 generates a plurality of focused image data using the reflected light data in the correspondence data.
  • FIG. 4 is a diagram for explaining a focused image generated by scanning in the microscope system according to the embodiment of the present invention.
  • the two-dimensional image generation unit 303 performs image processing based on the intensity of reflected light in the corresponding data generated by the corresponding data generation unit 302c, and is reflected on each focal plane as shown in FIG. N pieces of focused image D 1 based on light, D 2, ⁇ , D N is obtained (N is 3 or more natural number).
  • the two-dimensional image generation unit 303 converts the intensity of the reflected light obtained at each position into luminance information, and generates focused image data arranged according to the irradiation position of the laser light. That is, the two-dimensional image generation unit 303 generates two-dimensional image data including an image generated by reflected light and position information (for example, Z position) regarding the irradiation position of the laser light.
  • the three-dimensional image generation unit 304 uses the in-focus images in the three-dimensional space orthogonal coordinate system. By associating the luminance information, three-dimensional image data representing the specimen image is generated according to the luminance in the three-dimensional space.
  • FIG. 5 is a diagram illustrating a three-dimensional image displayed in the microscope system according to the embodiment of the present invention.
  • the three-dimensional image generation unit 304 generates three-dimensional image data including a three-dimensional image composed of a set of brightness points according to luminance as shown in FIG. Note that FIG. 5 shows a grayscale three-dimensional image in which the shade is changed in accordance with the luminance, but the hue condition and the like can be appropriately changed.
  • the hue superimposing unit 306 After generating the three-dimensional image data, the hue superimposing unit 306 at each position (two-dimensional space or three-dimensional space) according to the identification information generated by the data analyzing unit 305 and a preset condition. A hue to be superimposed is selected, and superimposed image data in which the hue is superimposed on the 3D image data generated by the 3D image generation unit 304 is generated.
  • Streptococcus mitis S. mitis
  • Aggregatacter actinomycetemcomitans Aa
  • M. mitis is colored red.
  • the hue superimposing unit 306 performs S.D. on the superimposition target image. red at the position (pixel position) of the image corresponding to the laser light irradiation position identified as mitis; a.
  • the process of superimposing green on the position of the image corresponding to the identified laser light irradiation position is performed.
  • step S9 following step S8, the image processing apparatus 300 causes the display apparatus 400 to display the superimposed image data generated by the hue superimposing unit 306 under the control of the control apparatus 200.
  • a superimposed image in which the specimen image acquired by the irradiation of the excitation light is colored according to the analysis result (type) is displayed on the display device 400.
  • step S7 the analysis process in step S7
  • the biological field, gate, class, eye, family, genus, species, breed, pathogenic type or antigen type is identified, or the microbiological strain or subtype is determined according to the processing content.
  • a strain is identified, or an unknown sample or a sample state relating to a metabolic state or physiological state of the known sample is evaluated.
  • FIGS. 6 to 13B a fluorescence spectrum based on autofluorescence will be described with reference to FIGS. 6 to 13B.
  • An image and a fluorescence spectrum will be described as examples.
  • FIG. 6 is an example of an identification target in the microscope system according to the embodiment of the present invention. It is a figure which shows the sample image in which mitis was reflected. A scale is displayed at the lower left of the figure.
  • FIG. 6 shows a focused image obtained by irradiating laser light having a preset wavelength or wavelength band. By displaying a focused image as shown in FIG. 6, it is possible to visually confirm the two-dimensional arrangement of microorganisms (here, S. mitis).
  • FIG. 7A shows an image of S. cerevisiae imaged when irradiated with excitation light having a wavelength of 405 nm. It is a figure which shows the fluorescence image of mitis.
  • FIG. 7B shows the S.P. detected when the excitation light having a wavelength of 405 nm is irradiated.
  • a diagram showing the fluorescence spectrum of the mitis shows the fluorescence spectrum at the indicated position P I 1 shown in FIG. 7A.
  • FIGS. 8A and 8B and FIGS. 9A and 9B show fluorescence images and fluorescence spectra when laser beams having wavelengths of 458 nm and 488 nm are irradiated.
  • FIG. 8A shows an image of S. cerevisiae imaged when irradiated with excitation light having a wavelength of 458 nm. It is a figure which shows the fluorescence image of mitis.
  • FIG. 8B shows the S.P. detected when irradiating excitation light having a wavelength of 458 nm.
  • a diagram showing the fluorescence spectrum of the mitis shows the fluorescence spectrum at the indicated position P I 1 shown in Figure 8A.
  • FIG. 9A shows an image of S.
  • FIG. 9B shows the S.P. detected when the excitation light having a wavelength of 488 nm is irradiated.
  • a diagram showing the fluorescence spectrum of the mitis shows the fluorescence spectrum at the indicated position P I 1 shown in Figure 9A.
  • S. mitis has a unique pattern as shown in the figure with respect to the autofluorescence pattern by excitation light of 405 nm, 458 nm and 488 nm.
  • FIG. 10 is an example of an identification target in the microscope system according to the embodiment of the present invention. a.
  • FIG. 10 shows a focused image obtained by irradiating laser light having a preset wavelength or wavelength band, as in FIG.
  • FIG. 11A shows an image of A.I.M. imaged when irradiated with excitation light having a wavelength of 405 nm. a. It is a figure which shows no fluorescence image.
  • FIG. 11B shows an A.D. detected when irradiated with excitation light having a wavelength of 405 nm. a.
  • a diagram showing a fluorescent spectrum shows the fluorescence spectrum at the indicated position P I 2 shown in FIG. 11A.
  • FIG. 12A shows images of A.A. and B.A. a. It is a figure which shows no fluorescence image.
  • FIG. 12B shows an A.D. detected when irradiation with excitation light having a wavelength of 458 nm. a.
  • FIG. 13A shows images of A.A. and B.A. a. It is a figure which shows no fluorescence image.
  • FIG. 13B shows an A.D. detected when irradiated with excitation light having a wavelength of 488 nm. a.
  • a diagram showing a fluorescent spectrum shows the fluorescence spectrum at the indicated position P I 2 shown in FIG. 13A.
  • FIG. 11B, FIG. 12B and FIG. 13B also show that different fluorescence spectra are obtained depending on the excitation wavelength.
  • A. a. Has a unique pattern as shown in the figure with respect to the autofluorescence pattern by excitation light of 405 nm, 458 nm and 488 nm.
  • the data analysis unit 305 identifies the microorganism species from the obtained autofluorescence pattern.
  • the analysis information recording unit 308 for example, for known microorganisms, an identification table in which each fluorescence spectrum pattern is associated with a microorganism species is recorded.
  • the data analysis unit 305 refers to the identification table recorded in the analysis information recording unit 308 and identifies the microorganism species of the unknown autofluorescence pattern input from the peak position or the like.
  • the data analysis unit 305 identifies the microorganism species for each position in the Z-axis direction and each irradiation position of the laser light, and generates identification information including the irradiation position of the laser light together with the identified type.
  • the description is based on the assumption that the spot diameter (irradiation position) of the laser beam and the pixel position have a one-to-one correspondence. However, a plurality of pixel positions are adjacent in the Z-axis direction by thinning or the like. This is not the case when microbial species are collectively identified for a plurality of focused images.
  • FIGS. FIG. mitis and A.M. a It is a figure which shows the focused image in which and exist.
  • FIG. 14 although the presence position of the microorganism can be grasped from the focused image, only by receiving each autofluorescence and imaging it, the S.P. mitis and A.M. a. Cannot be distinguished.
  • FIG. 15 shows an S.P. It is a figure which shows the image which performed the color scheme to mitis.
  • S. mitii is extracted from the mixed microorganisms. mitis can be identified.
  • S. mitis and A.M. a. If the remaining microorganism is known to exist only in A. a. Can also be identified.
  • FIGS. FIG. mitis and A.M. a It is a figure which shows the three-dimensional image which expressed the several focused image in which and exist in three dimensions.
  • FIG. mitis and A.M. a It is a figure which shows the three-dimensional image which performed each color scheme.
  • FIG. 18 shows the S.D.
  • FIG. 19 is a three-dimensional image based on reflected light, which is a three-dimensional image (a) that is not colored according to the microbial species. mitis and A.M. a. Three-dimensional image (b), and S. It is a figure which shows the three-dimensional image (c) which performed the color scheme to mitis.
  • the spatial position of the microorganism can be grasped from the three-dimensional image, as in the focused image shown in FIG. mitis and A.M. a. Cannot be distinguished.
  • FIG. 16 and FIG. A red color is superimposed on mitis and a.
  • S. mitis and A.M. a. Can be distinguished from each other (see FIGS. 17 and 19B).
  • FIG. 18 and FIG. By extracting mitis, A. mitis in the line-of-sight direction (for example, the Y-axis direction in FIG. 19C). a. In the back of S. It is possible to grasp the position of mitis spatially.
  • the image generation process described above can be performed by irradiating laser light with the confocal laser scanning microscope 100 and receiving reflected light or autofluorescence emitted from the specimen. For this reason, it is possible to identify microorganisms without isolation and culture of microorganisms and determination of base sequences as in the past, and in particular, to observe microorganisms as they are, and to observe microorganism species. Can be identified. This makes it possible to follow the dynamics (for example, growth and movement) of microorganisms over time. For example, it is possible to observe the movement of microorganisms over time by generating the three-dimensional image data shown in FIG. 15 over time and performing a switching display along a time series to display a moving image. At this time, if the identified microorganisms are colored, it is possible to follow the dynamics of a specific microorganism in the presence of a plurality of microorganisms.
  • the data analysis unit 305 can perform analysis such as evaluation of the state of the specimen and clustering.
  • analysis processing performed by the data analysis unit 305 will be described with reference to the drawings.
  • FIG. 20 is an image showing lipomyces starkey, which is an oily yeast (ascomycete) having different characteristics, and an autofluorescence image (a) of a high-fat oil production strain and an autofluorescence image of a low-fat accumulation strain. It is a figure which respectively shows the autofluorescence image (c) which mixed the (b) and fats and oils high production strain and the fats and oils low accumulation strain.
  • the high fat production strain see (a) of FIG. 20) which produces fats and oils
  • the low fat accumulation strain (figure in FIG. 20) having a relatively low fat accumulation capacity. 20 (b)
  • the color of autofluorescence (wavelength) and the size of the bacteria themselves are different (see (c) of FIG. 20).
  • FIG. 21 is a diagram showing an autofluorescence spectrum profile of the high fat and oil producing strain shown in FIG. 20 (a).
  • FIG. 22 is a diagram showing an autofluorescence spectrum profile of the low fat and oil accumulation strain shown in FIG. 21 and 22 show the first axis indicating the number (Excitation No.) assigned to the wavelength (wavelength band) of the excitation light to be used, and the light resolution by the detector 109 (32 channels in the above-described embodiment). 3D in which the second axis indicating the number (Emission (ch)) of the autofluorescence wavelength band divided in accordance with and the third axis indicating the relative intensity of the detected autofluorescence of each channel are orthogonal to each other. An orthogonal coordinate system is shown. As shown in FIGS. 21 and 22, the fluorescence spectrum of each strain is expressed as a distribution of the relative intensity of three-dimensional autofluorescence, and is different between a high fat and oil producing strain and a low fat and oil accumulation strain.
  • FIG. 23 is a diagram showing a spectral profile of autofluorescence of Paenibacillus polymyxa, which is a soil bacterium.
  • FIG. 24 is a diagram showing an autofluorescence spectrum profile of Pseudomonas putida which is a soil bacterium. 23 and 24, as in FIGS.
  • the first axis indicating the number (Excitation No.) assigned to the wavelength (wavelength band) of the excitation light to be used, and the resolution of light by the detector 109 ( 3D orthogonal in which the second axis indicating the autofluorescence wavelength band (Emission Wavelength) divided according to (32 channels) and the third axis indicating the relative intensity of the detected autofluorescence of each channel are orthogonal to each other.
  • a coordinate system is shown.
  • Paenibacillus polymixer is a gram-positive bacterium.
  • Pseudomonas putida is a gram-negative bacterium.
  • FIGS. 23 and 24 even in soil bacteria, the distribution of the relative intensity of autofluorescence varies depending on the type of fungus.
  • Such a distribution of relative intensity is recorded in the analysis information recording unit 308 in association with the stock status and the like, and the data analysis unit 305 determines the autofluorescence pattern obtained from the detection signal and the analysis information recording unit 308.
  • the data analysis unit 305 determines the autofluorescence pattern obtained from the detection signal and the analysis information recording unit 308.
  • FIG. 25A is a diagram showing a confocal reflection microscope image of wild-type E. coli.
  • FIG. 25B is a diagram showing an autofluorescence image of wild-type Escherichia coli acquired when each excitation light is irradiated. The images shown in FIGS. 25A and 25B are images obtained when scanning the same scanning plane.
  • FIG. 25A and 25B are images obtained when scanning the same scanning plane.
  • 25B is an autofluorescence image obtained when the wavelength of the excitation light is irradiated at 405 nm, 458 nm, 488 nm, 514 nm, 543 nm, and 633 nm, respectively.
  • FIG. 26A is a diagram showing a confocal image of a tyrosine overproducing strain E. coli.
  • FIG. 26B is a diagram showing an autofluorescence image of a tyrosine overproducing strain E. coli obtained when each excitation light is irradiated.
  • the images shown in FIGS. 26A and 26B are images obtained when the same scanning plane is scanned.
  • FIG. 26B is an autofluorescence image obtained when the wavelength of the excitation light is irradiated at 405 nm, 458 nm, 488 nm, 514 nm, 543 nm, and 633 nm, respectively.
  • FIG. 27 is a diagram showing a confocal reflection microscope image and autofluorescence image (a) of wild-type Escherichia coli, and a confocal reflection microscope image and autofluorescence image (b) of tyrosine-overproducing strain E. coli.
  • FIG. 27 shows autofluorescence images obtained when the excitation light was irradiated at wavelengths of 405 nm, 458 nm, 488 nm, 514 nm, 543 nm, and 633 nm, respectively.
  • FIG. 28A is a diagram showing a confocal reflection microscope image of a wild strain of mold (Aspergillus nidulans).
  • FIG. 28B is a diagram showing an autofluorescence image of a wild strain of mold (Aspergillus nidulans) acquired when each excitation light is irradiated. The images shown in FIGS. 28A and 28B are images obtained when scanning the same scanning plane.
  • FIG. 28A and 28B are images obtained when scanning the same scanning plane.
  • 28B is an autofluorescence image obtained when the wavelength of the excitation light is irradiated at 405 nm, 458 nm, 488 nm, 514 nm, 543 nm, and 633 nm, respectively.
  • FIG. 29A is a diagram showing a confocal reflection microscope image of a mutant strain of Aspergillus nidulans.
  • FIG. 29B is a diagram showing an autofluorescence image of a mutant strain (Aspergillus nidulans) obtained when each excitation light is irradiated. The images shown in FIGS. 29A and 29B are images obtained when scanning the same scanning plane.
  • FIG. 29B is an autofluorescence image obtained when the wavelength of the excitation light is irradiated at 405 nm, 458 nm, 488 nm, 514 nm, 543 nm, and 633 nm, respectively. 29A and 30B show mutants with altered nitrogen metabolic capacity.
  • FIG. 30 is a diagram showing a spectrum profile of autofluorescence of wild strain Aspergillus nidulans.
  • FIG. 31 is a diagram showing a spectrum profile of autofluorescence of mutant mold (Aspergillus nidulans).
  • the first axis indicating the number (Excitation No.) assigned to the wavelength (wavelength band) of the excitation light to be used, and the light resolution by the detector 109 ( 3D orthogonal in which the second axis indicating the autofluorescence wavelength band (Emission Wavelength) divided according to (32 channels) and the third axis indicating the relative intensity of the detected autofluorescence of each channel are orthogonal to each other.
  • a coordinate system is shown.
  • the distribution of the relative intensity of autofluorescence is different between the wild strain and the mutant strain.
  • the pattern of autofluorescence is slightly different depending on the characteristics of the light source of the excitation light applied and the individual difference of the strain itself.
  • the autofluorescence spectrum profile shown may not completely match.
  • image processing is performed on the autofluorescence pattern obtained in the same type of strain to extract pattern features. For example, based on the original image obtained by autofluorescence (distribution of autofluorescence intensity data), binarization, removal of minute objects, edge smoothing, expanded smoothing, contracted smoothing
  • the wild strain and the mutant strain are identified by extracting features by performing processing such as main object extraction, skeleton extraction, branch portion extraction, branch portion mask processing, branch portion removal processing, and minute segment removal.
  • a known sample can be characterized by machine learning using a plurality of autofluorescence images, and a wild strain and a mutant strain can be distinguished.
  • FIG. 32A is a diagram showing a confocal reflection microscope image of intestinal epithelial cancer cells.
  • FIG. 32B is a diagram showing an autofluorescence image of intestinal epithelial cancer cells acquired when each excitation light is irradiated.
  • FIG. 32B is an autofluorescence image obtained when the wavelength of the excitation light is irradiated at 405 nm, 458 nm, 488 nm, 514 nm, 543 nm, and 633 nm, respectively.
  • the intestinal epithelial cancer cells shown in FIGS. 32A and 32B can also be identified by characterizing the autofluorescence spectrum profile or autofluorescence pattern as described above.
  • correspondence data in which the autofluorescence pattern of the specimen, the reflected light data from the specimen, and the irradiation position of the laser light are associated is created, and based on the correspondence data Since the sample is analyzed, the spatial position information of the sample can be provided, and the sample can be analyzed in a non-invasive manner.
  • an unknown autofluorescence pattern of a specimen is acquired, a microbial species is identified by comparison with a known autofluorescence pattern, and the identified microbe in an image generated based on reflected light Since the hue is superimposed on the position corresponding to the species, the spatial position information of the microorganism can be grasped visually.
  • FIG. 33 is a diagram illustrating a confocal reflection microscope image generated in the microscope system according to the embodiment of the present invention and an image obtained by superimposing the autofluorescence image.
  • (A) of FIG. 33 is a figure which shows the confocal reflection microscope image and autofluorescence image of Pseudomonas putida (Pseudomonas putida).
  • the confocal reflection microscope image and the autofluorescence image shown in (a) of FIG. (B) in FIG. 33 image enlarged image obtained by enlarging a region R 1 in confocal reflection microscopy image shown in FIG. 33 (a), and a region R 2 in autofluorescence image shown in FIG. 33 (a) Indicates.
  • FIG. 33 Indicates.
  • the reflected light is acquired only by light having a preset wavelength.
  • all of the excitation lights having different wavelengths may be irradiated to obtain reflected light for each excitation light.
  • the reflected light data may be created by extracting the maximum intensity from the intensity of the plurality of reflected lights associated with each laser light irradiation position. The reflected light data may be generated by calculating an average value of the intensity of the reflected light.
  • Modification 1 of the above-described embodiment will be described with reference to FIG.
  • description is abbreviate
  • the type and state are specified based on the pre-recorded fluorescence spectrum pattern.
  • machine learning is performed from the pre-recorded fluorescence spectrum pattern.
  • FIG. 34 is a diagram for explaining data recorded by the recording unit in the microscope system according to Modification 1 of the embodiment of the present invention.
  • a plurality of different sets of fluorescence spectrum data 311 and 312 are recorded in the analysis information recording unit 308 as fluorescence spectra representing a specific species.
  • the data analysis unit 305 refers to the area determined based on the data sets 311 and 312 and identifies the type and state of the input specimen.
  • the data set 311 has a plurality of teacher data 311a, 311b, 311c, 311d, 311e,... Indicating the fluorescence intensity of autofluorescence expressing the oily and fat yeast (ascomycete) of the oily and fat producing strain.
  • Each of the teacher data 311a, 311b, 311c, 311d, 311e,... Is an autofluorescence intensity representing a high-fat production strain and has a pattern that is at least partially different from each other.
  • the data set 312 includes a plurality of teacher data 312a, 312b, 312c, 312d, 312e,... Indicating the fluorescence intensity of the autofluorescence expressing the oily yeast (ascomycetes) of the low-fat accumulation strain.
  • Each of the teacher data 312a, 312b, 312c, 312d, 312e,... Is an autofluorescence intensity representing a low fat and oil accumulation strain, and has patterns that are at least partially different from each other.
  • an area of autofluorescence intensity that represents a pre-set boundary and expresses a high fat and oil production strain, and an autofluorescence intensity that expresses a low fat and oil accumulation strain is extracted from each area with reference to the teacher data.
  • the boundary between the high fat and oil producing strain and the low fat and oil accumulating strain is reset based on the strength position of each extracted region.
  • the boundary reset at this time is a partial boundary divided by the wavelength of excitation light (Excitation No.) and the wavelength (channel) of autofluorescence.
  • a boundary is calculated for each set of the wavelength of the excitation light and the wavelength of the autofluorescence, and the boundary is connected to each other, so that the three-dimensional space including the first axis, the second axis, and the third axis described above.
  • the boundary between the region of the autofluorescence intensity expressing the high fat and oil producing strain and the region of the autofluorescence intensity expressing the low fat and oil accumulation strain is determined. For example, in the case of six excitation lights and 32 channels, 192 partial boundaries are set, and these boundaries are connected.
  • Such determination of the boundary is configured using a known method, for example, a support vector machine (SVM).
  • SVM support vector machine
  • a neural network or a convolutional neural network that defines a non-linear boundary that distinguishes an autofluorescence profile expressing a high fat and oil production strain and an autofluorescence profile expressing a low fat and oil accumulation strain is constructed. It may be.
  • a 192-dimensional vector is used as an input to the first layer of the neural network, or a 6 ⁇ 32 matrix is used as an input to the first layer of the convolutional neural network.
  • Such a non-linear boundary is determined using a known method such as an error back-propagation method or a dislocation learning method.
  • FIG. 35 is a diagram showing a confocal reflection microscope image of a Paenibacillus polymyxa in each growth phase, an autofluorescence image obtained when each excitation light is irradiated, and a fluorescence spectrum.
  • FIG. 36 is a diagram showing a confocal reflection microscope image of Pseudomonas putida in each growth phase, an autofluorescence image obtained when each excitation light is irradiated, and a fluorescence spectrum.
  • FIGS. 35 is a diagram showing a confocal reflection microscope image of a Paenibacillus polymyxa in each growth phase, an autofluorescence image obtained when each excitation light is irradiated, and a fluorescence spectrum.
  • 35 and 36 confocal reflection microscopic images and excitation light (wavelengths: 405 nm, 458 nm, 488 nm, 6 hours, 8 hours, 10 hours, 24 hours, 30 hours, and 52 hours) 514 nm, 543 nm, and 633 nm), and an autofluorescence spectrum file.
  • 35 and 36 the white line shown in each image indicates that the length from one end to the other end of the white line corresponds to 20 ⁇ m.
  • a machine learning model that can discriminate cells in any physiological state is constructed by training using autofluorescence spectral profiles of various physiological states and finding the correlation between samples. Can do. Further, as described above, a machine learning model can also be constructed by training what is characterized using an autofluorescence image (distribution of autofluorescence intensity data).
  • FIG. 37 is a diagram showing a confocal reflection microscope image in which Paenibacillus polymyxa and Pseudomonas putida are mixed.
  • FIG. 38 is a diagram showing an image in which hues set for Paenibacillus polymyxa and Pseudomonas putida (Pseudomonas putida) are superimposed on a confocal reflection microscope image.
  • the image shown in FIG. 38 has a black background while reversing the brightness of the bacteria in the confocal reflection microscope image shown in FIG. 37, and a hue corresponding to the identification result is superimposed thereon.
  • Paenibacillus polymyxa is expressed in green
  • Pseudomonas putida is expressed in red.
  • Hue is superimposed on the confocal reflection microscope image (see Fig. 37), which is a mixture of Paenibacillus polymyxa and Pseudomonas putida (see Fig. 37), according to the result identified with high accuracy by machine learning.
  • the image see FIG. 38
  • two bacteria are color-coded. In this way, the position of each fungus can be identified from the image on which the hue is superimposed.
  • machine learning is performed based on the data sets 311 and 312 recorded in the analysis information recording unit 308, and the high fat / oil production strain or the low fat / oil accumulation strain is identified from the input fluorescence spectrum. I did it. This makes it possible to specify the specimen even when spectral data other than the recorded fluorescence spectrum pattern is input.
  • Modification 2 of the above-described embodiment will be described with reference to FIG.
  • description is abbreviate
  • the structure of the microscope system which concerns on this modification 2 is the same as the structure of the microscope system 1 mentioned above, description is abbreviate
  • the position where the autofluorescence is to be acquired is specified and specified from the reflected light data. Excitation light is irradiated only on the position.
  • FIG. 39 is a flowchart for explaining a data analysis method according to the second modification of the embodiment of the present invention.
  • the flow of generating the superimposed image data by analyzing the specimen based on the obtained autofluorescence will be described.
  • the specimen is irradiated with illumination light (preferably laser light) for obtaining reflected light (step S11).
  • illumination light preferably laser light
  • the detection signal receiving unit 301 acquires the reflected light generated by the illumination light.
  • the illumination light used in this step S11 is for acquiring reflected light from the specimen, and may use light of a specific wavelength band such as excitation light for acquiring autofluorescence or white light. May be.
  • the entire scanning area is scanned.
  • step S12 the reflected light data generation unit 302b acquires a detection signal related to the reflected light received by the detection signal reception unit 301, and generates reflected light data based on the acquired detection signal (reflected light). Data generation step).
  • the data analysis unit 305 refers to the reflected light data to determine the position where the reflected light is received, that is, the position where the specimen is present. For example, the data analysis unit 305 determines a position where an intensity equal to or higher than a preset threshold is acquired as the specimen presence position.
  • a preset threshold As the threshold value set here, for example, a value larger than the intensity determined to be noise is set.
  • step S14 excitation light (preferably laser light) is irradiated to a position determined to have a specimen under the control of the control unit 201.
  • the detection signal receiving unit 301 acquires autofluorescence generated by the excitation light.
  • the autofluorescence data generation unit 302a acquires a detection signal related to autofluorescence received by the detection signal reception unit 301, and generates autofluorescence data based on the acquired detection signal (step S15: autofluorescence data generation step). ).
  • the autofluorescence data is provided with a fluorescence spectrum only at the position where it is determined in step S13 that the specimen exists. That is, the autofluorescence data is missing data when the acquired fluorescence spectra are arranged according to the scanning position.
  • step S16 the control unit 201 determines whether to irradiate excitation light having a wavelength (or wavelength band) different from the wavelength (or wavelength band) of the excitation light irradiated in step S14.
  • the control unit 201 refers to scanning conditions set in advance or scanning conditions set via the input unit 202, and determines whether there is excitation light to be further irradiated.
  • step S16: Yes the control unit 201 determines that it is necessary to irradiate excitation light having a wavelength different from the wavelength irradiated in step S14
  • the control unit 201 returns to step S14 and determines the position where the sample is present.
  • the scanning using the excitation light is repeated.
  • the control unit 201 determines that it is not necessary to perform further excitation light irradiation (step S16: No) the control unit 201 proceeds to step S17.
  • step S17 the correspondence data generation unit 302c generates correspondence data in which the intensity of the reflected light generated in step S12 and the fluorescence spectrum generated in step S15 are associated with the laser light irradiation position (correspondence data). Creation step).
  • step S18 the data analysis unit 305 performs sample analysis processing based on the corresponding data generated in step S17.
  • the data analysis unit 305 identifies the type of microorganism at the autofluorescence acquisition position (specimen presence position).
  • step S19 following step S18, the two-dimensional image generation unit 303, the three-dimensional image generation unit 304, and the hue superimposing unit 306 generate image data based on the corresponding data.
  • step S19 first, the two-dimensional image generation unit 303 generates a plurality of focused image data using the reflected light data in the correspondence data.
  • step S20 following step S19 the image processing apparatus 300 causes the display apparatus 400 to display the superimposed image data generated by the hue superimposing unit 306 under the control of the control apparatus 200.
  • a superimposed image in which the sample image acquired by the irradiation of the excitation light is colored according to the analysis result (type) is displayed on the display device 400.
  • the same effect as that of the above-described embodiment can be obtained, and the position where the autofluorescence is acquired is narrowed down from the reflected light data, which is compared with the above-described embodiment.
  • the scanning time for acquiring autofluorescence can be shortened and the amount of data can be reduced.
  • the illumination light is not reflected at the positions (coordinates) of the bubbles or vacuoles, and reflected light may not be obtained.
  • the entire region inside the specimen detected based on the specimen presence position is irradiated with excitation light to acquire autofluorescence. You may make it do.
  • the excitation light is irradiated to a plurality of positions determined as the presence of the specimen, that is, a plurality of coordinates, and all coordinates inside a region surrounded by the plurality of coordinates, and autofluorescence at the coordinates is acquired.
  • the data analysis unit 305 may extract a specimen having a predetermined characteristic with respect to an unknown sample.
  • a specimen that emits autofluorescence of a predetermined wavelength or a specimen having a predetermined fluorescence spectrum is extracted for a predetermined excitation wavelength (extraction step).
  • the information generated by this extraction processing is imaged in step S7.
  • the extracted portion may be displayed by superimposing the hue on the reflected light image, or after the extraction information generation, steps S7 and S8. You may make it complete
  • the present invention should not be limited only by the embodiment described above.
  • the fluorescence spectrum is generated based on the autofluorescence from the microorganism in the specimen and the type of the microorganism is identified.
  • the present invention is not limited to the microorganism type, but a laser beam such as a separated cell, for example. It is possible to apply to any organism that exhibits a unique fluorescence spectrum upon irradiation of.
  • the autofluorescence data, the reflected light data, and the corresponding data are generated by scanning the three-dimensional space.
  • the two-dimensional space (the XY plane, the XZ plane, and the Any one of the YZ planes) may be scanned to generate autofluorescence data, reflected light data, and corresponding data, or may be scanned in any one of the X, Y, and Z directions shown in FIG.
  • a certain point of autofluorescence and reflected light in a space may be acquired to generate autofluorescence data, reflected light data, and corresponding data.
  • a three-dimensional image is generated and displayed.
  • a two-dimensional image may be displayed or visual information may be superimposed, or by an operation input from a user. You may make it select the image to display.
  • the two-dimensional image and the three-dimensional image are generated by the reflected light from the specimen.
  • a method of visualizing with a specific wavelength or visible light for example, a confocal reflection microscope
  • a two-dimensional image or a three-dimensional image may be generated using a known method such as three-dimensional visualization using a method, two-dimensional visualization using a differential interference method, or two-dimensional visualization using transmitted light.
  • the detector 109 has been described as configured using a reflective diffraction grating and a photomultiplier tube (PMT).
  • PMT photomultiplier tube
  • an acousto-optic beam splitter for example, The detector may be a Leica AOBS (registered trademark)), a high-sensitivity detector (HyD detector), and a movable slit structure provided in front of the detector.
  • this detector can acquire data separated into wavelengths of, for example, 1 nm.
  • the hue set for the image is described as being superimposed.
  • the present invention is not limited to the hue, and can be applied as long as it is visually identifiable, such as overlapping a shade. It is.
  • reflected light or autofluorescence is acquired using laser light.
  • light having low directivity for example, a halogen lamp
  • the reflected light or autofluorescence may be obtained by condensing and irradiating the sample.
  • autofluorescence is acquired using a laser beam
  • reflected light is acquired using a halogen lamp
  • autofluorescence is acquired using a halogen lamp
  • reflected light is acquired using a laser beam
  • autofluorescence is acquired using a halogen lamp.
  • Fluorescence and reflected light may be acquired.
  • the wavelength of the light may be a light that has passed through a filter or a light that has been dispersed by a prism.
  • the type is identified by using the fluorescence spectrum for each of the plurality of excitation wavelengths. However, if identification is possible, the type is identified by the fluorescence spectrum corresponding to one excitation wavelength. You may do it.
  • the obtained fluorescence spectrum and the peak position of the known fluorescence spectrum are compared and analyzed. However, the analysis is performed using the peak intensity, the peak intensity ratio, or the like. You may do it.
  • the autofluorescence data is data in which the intensity of the autofluorescence detected for each position and for each excitation wavelength is associated.
  • the data creation method and the data use method according to the present invention can analyze a sample in a non-invasive manner and are useful for acquiring spatial position information of the target.
  • Microscope system 100 Confocal laser scanning microscope 101 Stage 102 Objective lens 103 Laser light source 104 Lens 105 Collimating lens 106 Beam splitter 107 Imaging lens 108 Confocal pinhole 109 Detector 110 Scanning mirror 200 Control apparatus 201 Control part 202 Input part 203 Laser Control unit 204 Scan control unit 300 Image processing device 301 Detection signal reception unit 302 Data generation unit 302a Autofluorescence data generation unit 302b Reflected light data generation unit 302c Corresponding data generation unit 303 Two-dimensional image generation unit 304 Three-dimensional image generation unit 305 Data Analysis unit 306 Hue superimposition unit 307 Recording unit 308 Analysis information recording unit 400 Display device

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Immunology (AREA)
  • Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Physics & Mathematics (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Urology & Nephrology (AREA)
  • Hematology (AREA)
  • Biotechnology (AREA)
  • Microbiology (AREA)
  • Organic Chemistry (AREA)
  • Medicinal Chemistry (AREA)
  • Food Science & Technology (AREA)
  • Cell Biology (AREA)
  • Proteomics, Peptides & Aminoacids (AREA)
  • Wood Science & Technology (AREA)
  • Zoology (AREA)
  • Botany (AREA)
  • Biophysics (AREA)
  • Genetics & Genomics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

データ作成方法は、所定の波長の光の焦点を所定の焦点面上の１つの座標に配置して、該座標に位置する試料に光からなる励起光を照射することによって、試料由来の自家蛍光を取得して、自家蛍光の強度データ及び／又はスペクトルデータを含む自家蛍光データを生成する自家蛍光データ生成ステップと、所定の焦点面上の１つの座標に照射光を照射することによって、試料が散乱させた反射光を取得し、該反射光の強度データを生成する反射光データ生成ステップと、所定の焦点面上の１つの座標における自家蛍光データと、反射光データとを対応付けた対応データを作成する対応データ作成ステップとを含む。

Description

データ作成方法及びデータ使用方法
　本発明は、例えば微生物が発した自家蛍光を測定することによってデータを作成するデータ作成方法、及びそのデータを使用するデータ使用方法に関する。
　従来、微生物種の同定を行う際には、コッホの法則で体系化されたように、検体から微生物を単離して培養するのが一般的である。これに対して、微生物の単離や培養を行わずに微生物種を同定する技術として、次世代シークエンサー技術に基づいたメタゲノム解析によって微生物種を同定する種別同定方法が提案されている（例えば、特許文献１を参照）。特許文献１によれば、メタゲノム解析によって決定された塩基配列と、既知の微生物の塩基配列とを比較することによって、検体中に存在する微生物の微生物種を同定することができる。
　このほかに微生物種を同定する技術として、コロニーが発する自家蛍光を検出することによって微生物種の同定を行う方法が知られている（例えば、特許文献２、３を参照）。特許文献２、３によれば、微生物に対して非侵襲で微生物種を検出することができる。さらに、蛍光染色された細胞に励起光を照射することによって該細胞が発する蛍光を撮像して得られる撮像画像であって、波長帯域が異なる励起光に基づく複数の撮像画像を用いて細胞を検出する技術が知られている（例えば、特許文献４を参照）。
　近年、微生物の動態を探るため、共焦点顕微鏡を用いて三次元空間における微生物の位置やその空間における動きを把握する研究が行われている（例えば、非特許文献１、２を参照）。これらの研究は、例えば微生物集団と微生物によって生産される細胞外マトリクス成分の複合体（バイオフィルム）の形成過程を経時的三次元的に観察することにおいて大きな成果をあげてきたが、当該方法を自家蛍光に基づく微生物の同定・評価に応用するという着想は報告されていない。また、前述の特許文献１~４において、三次元空間における空間的な位置やその空間における動きを把握するといった、微生物種の同定に加え、非侵襲の微生物の位置情報を取得することについては考慮されていない。さらには、空間上の１つの座標における、試料の発する自家蛍光と反射光の両者を対応させて記録するという着想は、前記の先行技術文献に記載も示唆もない。
特開２０１５−２０４８１３号公報 特表２０１２−５１１９０５号公報 特表２００５−５０２３５４号公報 国際公開第２００３／００８６３４号
Ｒ．Ｊ．Ｐａｌｍｅｒ　ａｎｄ　Ｃ．Ｓｔｅｒｎｂｅｒｇ：Ｃｕｒｒ．Ｏｐｉｎ．Ｂｉｏｔｅｃｈ．，１０，２６３（１９９９）． Ｙ．Ｙａｗａｔａ，Ｋ．Ｔｏｄａ，Ｅ．Ｓｅｔｏｙａｍａ，Ｊ．Ｆｕｋｕｄａ，Ｈ．Ｓｕｚｕｋｉ，Ｈ．Ｕｃｈｉｙａｍａ　ａｎｄ　Ｎ．Ｎｏｍｕｒａ：Ｊ．Ｂｉｏｓｃｉ．Ｂｉｏｅｎｇ．，１１０，３７７（２０１０）．
　本発明は、上記に鑑みてなされたものであって、試料を非侵襲のまま解析することができるとともに、その対象の空間的な位置情報を取得することができるデータ作成方法及びデータ使用方法を提供することを目的とする。
　上述した課題を解決し、目的を達成するために、本発明に係るデータ作成方法は、所定の波長の励起光の焦点を所定の焦点面上の１つの座標に配置して、該座標に位置する試料に前記励起光を照射することによって、試料由来の自家蛍光を取得して、自家蛍光の強度データ及び／又はスペクトルデータを含む自家蛍光データを生成する自家蛍光データ生成ステップと、前記所定の焦点面上の１つの座標に照射光を照射することによって、前記試料が散乱させた反射光を取得し、該反射光の強度データを生成する反射光データ生成ステップと、前記所定の焦点面上の１つの座標における前記自家蛍光データと、前記反射光の強度データとを対応付けた対応データを作成する対応データ作成ステップとを含むことを特徴とする。
　本発明に係るデータ作成方法は、上記発明において、前記所定の焦点面上の互いに異なる複数の座標において実施されるものであることを特徴とする。
　本発明に係るデータ作成方法は、上記発明において、互いに異なる複数の焦点面において実施されるものであることを特徴とする。
　本発明に係るデータ作成方法は、上記発明において、前記自家蛍光データ生成ステップにおいて、波長の異なる複数の励起光の照射を実施し、該複数の励起光により得られた各自家蛍光の前記スペクトルデータにより構成されるスペクトルプロファイルデータを含む前記自家蛍光データを作成することを特徴とする。
　本発明に係るデータ作成方法は、上記発明において、前記反射光データ生成ステップは、前記波長の異なる複数の励起光のいずれかの励起光を用いて前記反射光を取得することを特徴とする。
　本発明に係るデータ作成方法は、上記発明において、前記反射光データ生成ステップは、前記波長の異なる複数の励起光のすべての励起光を用いて前記反射光を取得することを特徴とする。
　本発明に係るデータ作成方法は、上記発明において、前記自家蛍光データ生成ステップは、前記反射光データ生成ステップにおいて所定の強度以上の反射光が得られた座標においてのみ実施することを特徴とする。
　本発明に係るデータ作成方法は、上記発明において、前記自家蛍光データ生成ステップは、前記反射光データ生成ステップにおいて所定の強度以上の反射光が得られた複数の座標と、該複数の座標によって取り囲まれる領域であって、前記試料の内部に相当する領域の内部に位置する一つ又は複数の座標とにおいて実施することを特徴とする。
　本発明に係るデータ作成方法は、上記発明において、前記励起光及び前記照射光は、少なくとも一方がレーザ光であることを特徴とする。
　本発明に係るデータ使用方法は、上記発明に係るデータ作成方法によって前記対応データを生成し、複数の試料の自家蛍光データを比較することによって、試料の状態との相関を見出すことを特徴とする。
　本発明に係るデータ使用方法は、上記発明において、機械学習により前記相関が見出されるものであることを特徴とする。
　本発明に係るデータ使用方法は、上記発明に係るデータ作成方法によって前記対応データを生成し、既知試料の自家蛍光データと未知試料の自家蛍光データとを比較することによって、未知試料の同定又は評価を行うことを特徴とする。
　本発明に係るデータ使用方法は、上記発明において、機械学習により既知試料の特徴付けが行われるものであることを特徴とする。
　本発明に係るデータ使用方法は、上記発明において、試料が、動物細胞、植物細胞、酵母細胞、真菌類細胞、微細藻類細胞、細菌類、古細菌類、ウイルス、ファージのいずれか及びそれらが産生する胞子、芽胞、膜小胞のいずれかであることを特徴とする。
　本発明に係るデータ使用方法は、上記発明において、前記試料の状態が、試料の代謝状態又は生理状態に関するものであることを特徴とする。
　本発明に係るデータ使用方法は、上記発明において、前記未知試料の同定が、生物学上の界、門、綱、目、科、属、種、品種、病原型又は抗原型を同定するものであることを特徴とする。
　本発明に係るデータ使用方法は、上記発明において、前記未知試料の同定が、微生物学上の株又は亜株であることを特徴とする。
　本発明に係るデータ使用方法は、上記発明において、前記未知試料の評価が、代謝状態又は生理状態に関するものであることを特徴とする。
　本発明に係るデータ使用方法は、上記発明において、所定の波長の光の焦点を所定の焦点面上の１つの座標に配置して、該座標に位置する試料に前記光からなる励起光を照射することによって、試料由来の自家蛍光を取得して、自家蛍光の強度データ及び／又はスペクトルデータを含む自家蛍光データを生成する自家蛍光データ生成ステップと、前記所定の焦点面上の１つの座標に照射光を照射することによって、前記試料が散乱させた反射光を取得し、該反射光の強度データを生成する反射光データ生成ステップと、前期所定の焦点面上の１つの座標における前記自家蛍光データと、前記反射光の強度データとを対応付けた対応データを作成する対応データ作成ステップと、前記自家蛍光データ生成ステップ、反射光データ生成ステップ、及び対応データ作成ステップを互いに異なる複数の焦点面において繰り返す繰り返しステップと、前記繰り返しステップにより得られた前記対応データを用いて、所定の特性を有する集団を抽出する抽出ステップとを含むことを特徴とする。
　本発明によれば、試料を非侵襲のまま解析することができるとともに、その対象の空間的な位置情報を取得することができるという効果を奏する。
図１は、本発明の一実施の形態に係る顕微鏡システムの概略構成を模式的に示す図である。 図２は、本発明の一実施の形態に係るデータ解析方法を説明するフローチャートの一例である。 図３は、本発明の一実施の形態に係る顕微鏡システムの走査方法を説明する図である。 図４は、本発明の一実施の形態に係る顕微鏡システムにおける走査によって生成される合焦画像を説明する図である。 図５は、本発明の一実施の形態に係る顕微鏡システムにおいて表示される三次元画像を説明する図である。 図６は、本発明の一実施の形態に係る顕微鏡システムにおける同定対象の一例であって、Ｓｔｒｅｐｔｏｃｏｃｃｕｓ　ｍｉｔｉｓ（Ｓ．ｍｉｔｉｓ）が写った検体画像を示す図である。 図７Ａは、波長が４０５ｎｍの励起光を照射した際に撮像されるＳ．ｍｉｔｉｓの蛍光画像を示す図である。 図７Ｂは、波長が４０５ｎｍの励起光を照射した際に検出されるＳ．ｍｉｔｉｓの蛍光スペクトルを示す図である。 図８Ａは、波長が４５８ｎｍの励起光を照射した際に撮像されるＳ．ｍｉｔｉｓの蛍光画像を示す図である。 図８Ｂは、波長が４５８ｎｍの励起光を照射した際に検出されるＳ．ｍｉｔｉｓの蛍光スペクトルを示す図である。 図９Ａは、波長が４８８ｎｍの励起光を照射した際に撮像されるＳ．ｍｉｔｉｓの蛍光画像を示す図である。 図９Ｂは、波長が４８８ｎｍの励起光を照射した際に検出されるＳ．ｍｉｔｉｓの蛍光スペクトルを示す図である。 図１０は、本発明の一実施の形態に係る顕微鏡システムにおける同定対象の一例であって、Ａｇｇｒｅｇａｔｉｂａｃｔｅｒ　ａｃｔｉｎｏｍｙｃｅｔｅｍｃｏｍｉｔａｎｓ（Ａ．ａ．）が写った検体画像を示す図である。 図１１Ａは、波長が４０５ｎｍの励起光を照射した際に撮像されるＡ．ａ．の蛍光画像を示す図である。 図１１Ｂは、波長が４０５ｎｍの励起光を照射した際に検出されるＡ．ａ．の蛍光スペクトルを示す図である。 図１２Ａは、波長が４５８ｎｍの励起光を照射した際に撮像されるＡ．ａ．の蛍光画像を示す図である。 図１２Ｂは、波長が４５８ｎｍの励起光を照射した際に検出されるＡ．ａ．の蛍光スペクトルを示す図である。 図１３Ａは、波長が４８８ｎｍの励起光を照射した際に撮像されるＡ．ａ．の蛍光画像を示す図である。 図１３Ｂは、波長が４８８ｎｍの励起光を照射した際に検出されるＡ．ａ．の蛍光スペクトルを示す図である。 図１４は、Ｓ．ｍｉｔｉｓとＡ．ａ．とが存在する合焦画像を示す図である。 図１５は、図１４に示す合焦画像において、Ｓ．ｍｉｔｉｓに配色を行った画像を示す図である。 図１６は、Ｓ．ｍｉｔｉｓとＡ．ａ．とが存在する複数の合焦画像を三次元で表現した三次元画像を示す図である。 図１７は、Ｓ．ｍｉｔｉｓ及びＡ．ａ．にそれぞれ配色を行った三次元画像を示す図である。 図１８は、図１７に示す三次元画像からＳ．ｍｉｔｉｓを抽出した三次元画像を示す図である。 図１９は、反射光に基づく三次元画像（ａ）、Ｓ．ｍｉｔｉｓ及びＡ．ａ．にそれぞれ配色を行った三次元画像（ｂ）、及びＳ．ｍｉｔｉｓに配色を行った三次元画像（ｃ）を示す図である。 図２０は、特性の異なる油脂酵母（子嚢菌）を示す画像であって、油脂高生産株の自家蛍光画像（ａ）、油脂低蓄積株の自家蛍光画像（ｂ）、及び油脂高生産株と油脂低蓄積株とを混合した自家蛍光画像（ｃ）をそれぞれ示す図である。 図２１は、図２０の（ａ）に示す油脂高生産株の自家蛍光のスペクトルプロファイルを示す図である。 図２２は、図２０の（ｂ）に示す油脂低蓄積株の自家蛍光のスペクトルプロファイルを示す図である。 図２３は、土壌細菌であるパエニバシラス・ポリミキサ（Ｐａｅｎｉｂａｃｉｌｌｕｓ　ｐｏｌｙｍｙｘａ）の自家蛍光のスペクトルプロファイルを示す図である。 図２４は、土壌細菌であるシュードモナス・プチダ（Ｐｓｅｕｄｏｍｏｎａｓ　ｐｕｔｉｄａ）の自家蛍光のスペクトルプロファイルを示す図である。 図２５Ａは、野生株大腸菌の共焦点反射顕微鏡画像を示す図である。 図２５Ｂは、各励起光を照射した際に取得される野生株大腸菌の自家蛍光画像を示す図である。 図２６Ａは、チロシン過剰生産株大腸菌の共焦点反射顕微鏡画像を示す図である。 図２６Ｂは、各励起光を照射した際に取得されるチロシン過剰生産株大腸菌の自家蛍光画像を示す図である。 図２７は、野生株大腸菌の共焦点反射顕微鏡画像及び自家蛍光画像（ａ）と、チロシン過剰生産株大腸菌の共焦点反射顕微鏡画像及び自家蛍光画像（ｂ）とを示す図である。 図２８Ａは、野生株のカビ（Ａｓｐｅｒｇｉｌｌｕｓ　ｎｉｄｕｌａｎｓ）の共焦点反射顕微鏡画像を示す図である。 図２８Ｂは、各励起光を照射した際に取得される野生株のカビ（Ａｓｐｅｒｇｉｌｌｕｓ　ｎｉｄｕｌａｎｓ）の自家蛍光画像を示す図である。 図２９Ａは、変異株のカビ（Ａｓｐｅｒｇｉｌｌｕｓ　ｎｉｄｕｌａｎｓ）の共焦点反射顕微鏡画像を示す図である。 図２９Ｂは、各励起光を照射した際に取得される変異株のカビ（Ａｓｐｅｒｇｉｌｌｕｓ　ｎｉｄｕｌａｎｓ）の自家蛍光画像を示す図である。 図３０は、野生株のカビ（Ａｓｐｅｒｇｉｌｌｕｓ　ｎｉｄｕｌａｎｓ）の自家蛍光のスペクトルプロファイルを示す図である。 図３１は、変異株のカビ（Ａｓｐｅｒｇｉｌｌｕｓ　ｎｉｄｕｌａｎｓ）の自家蛍光のスペクトルプロファイルを示す図である。 図３２Ａは、腸管上皮ガン細胞の共焦点反射顕微鏡画像を示す図である。 図３２Ｂは、各励起光を照射した際に取得される腸管上皮ガン細胞の自家蛍光画像を示す図である。 図３３は、本発明の一実施の形態に係る顕微鏡システムにおいて生成された共焦点反射顕微鏡画像と、自家蛍光画像とを重ね合わせた画像とについて説明する図である。 図３４は、本発明の実施の形態の変形例１に係る顕微鏡システムにおける記録部が記録するデータについて説明する図である。 図３５は、各増殖フェイズにおけるパエニバシラス・ポリミキサ（Ｐａｅｎｉｂａｃｉｌｌｕｓ　ｐｏｌｙｍｙｘａ）の共焦点反射顕微鏡画像、各励起光を照射した際に取得される自家蛍光画像、及び蛍光スペクトルを示す図である。 図３６は、各増殖フェイズにおけるシュードモナス・プチダ（Ｐｓｅｕｄｏｍｏｎａｓ　ｐｕｔｉｄａ）の共焦点反射顕微鏡画像、各励起光を照射した際に取得される自家蛍光画像、及び蛍光スペクトルを示す図である。 図３７は、パエニバシラス・ポリミキサ（Ｐａｅｎｉｂａｃｉｌｌｕｓ　ｐｏｌｙｍｙｘａ）とシュードモナス・プチダ（Ｐｓｅｕｄｏｍｏｎａｓ　ｐｕｔｉｄａ）とが混在している共焦点反射顕微鏡画像を示す図である。 図３８は、パエニバシラス・ポリミキサ（Ｐａｅｎｉｂａｃｉｌｌｕｓ　ｐｏｌｙｍｙｘａ）とシュードモナス・プチダ（Ｐｓｅｕｄｏｍｏｎａｓ　ｐｕｔｉｄａ）とに対してそれぞれ設定された色相を、共焦点反射顕微鏡画像に重畳した画像を示す図である。 図３９は、本発明の実施の形態の変形例２に係るデータ解析方法を説明するフローチャートである。
　以下、添付図面を参照して、本発明を実施するための形態（以下、「実施の形態」という）を説明する。
（実施の形態）
　図１は、本発明の一実施の形態に係る顕微鏡システムの概略構成を模式的に示す図である。同図に示す顕微鏡システム１は、共焦点レーザスキャン顕微鏡１００により取得された画像データに基づいて、画像中に写り込んだ対象の種別、例えば微生物の微生物種の同定を行って、その同定結果や取得した画像の表示を行うシステムである。この顕微鏡システム１は、図１に示すように、レーザ光を照射して検体の自家蛍光又は反射光を取得する共焦点レーザスキャン顕微鏡１００と、顕微鏡システム１を統括的に制御する制御装置２００と、共焦点レーザスキャン顕微鏡１００が取得した光に基づく画像データ等の各種データを生成する画像処理装置３００と、画像処理装置３００が生成した表示用の画像データに基づく画像を表示する表示装置４００とを備える。ここで、微生物は、細菌、菌類、ウイルス、微細藻類、及び原生動物等を含んでいる。なお、本実施の形態において、撮像対象となる試料は、動物細胞、植物細胞、酵母細胞、真菌類細胞、微細藻類細胞、細菌類、古細菌類、ウイルス、ファージのいずれか、及びそれらが産生する胞子、芽胞、膜小胞のいずれかである。
　共焦点レーザスキャン顕微鏡１００は、ステージ１０１と、対物レンズ１０２と、レーザ光源１０３と、レンズ１０４と、コリメートレンズ１０５と、ビームスプリッター１０６と、結像レンズ１０７と、コンフォーカルピンホール１０８と、検出器１０９と、走査ミラー１１０とを備える。以下、ステージ１０１の検体載置面と平行な平面上の直交する二つの軸をＸ軸、Ｙ軸とし、この平面に直交する軸をＺ軸とする。なお、Ｚ軸は、対物レンズ１０２の光軸と平行であるものとして説明する。
　ステージ１０１は、検体を載置する。ステージ１０１は、制御装置２００の制御のもと、例えばモータ等の駆動源を用いてＺ軸方向に移動可能に構成される。検体は、微生物を含む溶液や培地であり、例えばシャーレやスライドガラス等の保持部材によって保持された状態でステージ１０１に載置されている。
　対物レンズ１０２は、ビームスプリッター１０６が反射したレーザ光をステージ１０１に向けて集光するとともに、ステージ１０１上の検体からの光を平行光にしてビームスプリッター１０６に入射させる。
　レーザ光源１０３は、所定の波長を有するレーザ光を出射する。具体的に、レーザ光源１０３は、検体を励起するための励起波長に応じた波長のレーザ光を出射する。レーザ光源１０３は、使用する波長のレーザ光をそれぞれ出射可能な複数の光源を有するものであってもよいし、白色のレーザ光を照射して、フィルタによって出射する光の波長を選択できるようにしてもよい。
　レンズ１０４は、レーザ光源１０３が発したレーザ光を放射状のレーザ光として出射する。
　コリメートレンズ１０５は、レンズ１０４を通過した放射状のレーザ光を平行光に変換して、ビームスプリッター１０６に出射する。
　ビームスプリッター１０６は、入射する光の一部を通過させ、残りの光を反射する。具体的に、ビームスプリッター１０６は、レーザ光源１０３から出射された光の一部を対物レンズ１０２側に折り曲げるとともに、対物レンズ１０２から入射した光の一部を通過させることによって結像レンズ１０７に入射させる。ビームスプリッター１０６は、例えばハーフミラーを用いて構成され、入射したレーザ光のうち、半分のレーザ光を通過させるとともに、残りの半分のレーザ光を反射する。
　結像レンズ１０７は、ビームスプリッター１０６を通過した光を結像する。
　コンフォーカルピンホール１０８は、結像レンズ１０７によって結像された光の少なくとも一部を通過させる。コンフォーカルピンホール１０８には、光が通過可能な孔であるピンホール１０８ａが形成されている。また、コンフォーカルピンホール１０８は、対物レンズ１０２と共役な位置に設けられる。このため、コンフォーカルピンホール１０８では、対物レンズ１０２の焦点面からの光がピンホール１０８ａを通過し、合焦していない位置からの光が遮断される。例えば、結像レンズ１０７により結像されるレーザ光のスポット径が０．２μｍである場合、結像位置において、約０．０３μｍ２の範囲からの光がピンホール１０８ａを通過する。なお、ピンホール１０８ａの径と、焦点空間の大きさは設定の変更が可能である。
　検出器１０９は、入射した光を設定された波長帯域に分離する反射型回折格子と、得られた光を光電変換するとともに、変換した電気信号の電流増幅を行う複数の光電子増倍管（ＰｈｏｔｏＭｕｌｔｉｐｌｉｅｒ　Ｔｕｂｅ：ＰＭＴ、以下、チャンネルということもある）とを用いて構成される。検出器１０９は、例えば反射型回折格子によって互いに波長帯域の異なる３２個の光に分離し、分離した光が、３２個の光電子増倍管にそれぞれ入射する。各光電子増倍管は、入射した光をそれぞれ光電変換して電気信号を出力する。
　走査ミラー１１０は、制御装置２００による制御のもと、検体の焦点面ＰＦ上におけるレーザ光の照射位置を制御する。走査ミラー１１０は、例えばＸ位置制御ミラーと、Ｙ位置制御ミラーとを用いて構成され、ＸＹ平面上の所定の位置にレーザ光を導光する。走査ミラー１１０は、制御装置２００による制御のもと、各位置制御ミラーの角度を変化させることによってレーザ光の照射位置を予め設定された走査経路に沿って移動させる。
　次に、制御装置２００の構成について説明する。制御装置２００は、制御部２０１と、入力部２０２とを備える。なお、制御装置２００は、当該制御装置２００の動作に必要な各種情報を記録する記録部（図示せず）を備えている。
　制御部２０１は、演算及び制御機能を有するＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）や各種演算回路等を用いて構成される。制御部２０１は、記録部が格納する情報を読み出して各種演算処理を実行することによって顕微鏡システム１を統括して制御する。制御部２０１は、レーザ制御部２０３と、走査制御部２０４とを有する。
　レーザ制御部２０３は、制御プログラムや、入力部２０２が受け付けた指示情報に基づいて、レーザ光源１０３によるレーザ光の出射を制御する。具体的に、レーザ制御部２０３は、レーザ光の出射タイミングの制御や、出射するレーザ光の波長の制御を行う。レーザ制御部２０３は、例えば、パルス制御によってレーザ光を間欠的に出射する制御を行う。
　走査制御部２０４は、制御プログラムや、入力部２０２が受け付けた指示情報に基づいて、ステージ１０１のＺ方向の位置の制御や、走査ミラー１１０によるレーザ光の照射位置の制御を行う。
　入力部２０２は、各種情報の入力を受け付ける。入力部２０２は、キーボード、マウス、タッチパネル等のユーザインタフェースを用いて構成される。
　次に、画像処理装置３００の構成について説明する。画像処理装置３００は、検出信号受信部３０１と、データ生成部３０２と、二次元画像生成部３０３と、三次元画像生成部３０４と、データ解析部３０５と、色相重畳部３０６と、記録部３０７とを有する。
　検出信号受信部３０１は、検出器１０９から、各チャンネルの電気信号を受信する。検出信号受信部３０１は、受信した各チャンネルの電気信号と、走査面上の位置情報（レーザ光照射位置）とを対応付けてデータ生成部３０２に出力する。なお、検出信号受信部３０１は、反射光検出用と、自家蛍光検出用とを個別に設けるようしてもよい。
　データ生成部３０２は、検出信号受信部３０１から受信した電気信号に基づく光の強度と、走査面上の位置情報とを対応付けたデータを生成する。データ生成部３０２は、自家蛍光データ生成部３０２ａと、反射光データ生成部３０２ｂと、対応データ生成部３０２ｃとを有する。
　自家蛍光データ生成部３０２ａは、検出信号受信部３０１が受信した自家蛍光に係る電気信号であって、各チャンネルの電気信号を取得して、所定の焦点面上の１つの座標ごとに強度データ及び／又は蛍光スペクトル（スペクトルデータ）を生成する。自家蛍光データ生成部３０２ａは、走査面上の一つの位置について、照射された励起光が一つの場合は、一つの蛍光スペクトルを生成し、互いに異なる複数の波長の励起光が異なるタイミングで照射された場合には、励起光に応じて複数の蛍光スペクトルを生成する。ここでいう「蛍光スペクトル」とは、励起光として所定の波長のレーザ光を照射した際に生じた自家蛍光の「波長に対する強度分布」を意味する。また、ここでいう「強度」とは、例えば得られた自家蛍光を光電変換した信号値を指す。蛍光スペクトルは、例えばプロット間を補完して平滑化処理等が施されている波形からなる。なお、本発明では複数の蛍光スペクトルからなるデータをスペクトルプロファイルデータと呼ぶことがある。本明細書において、「自家蛍光データ」とは、自家蛍光の強度データ、スペクトルデータ及びスペクトルプロファイルデータのいずれか又はすべてを含む。自家蛍光データ生成部３０２ａは、走査面上の各位置（所定の焦点面上の複数の座標）について、励起波長に応じて生成される蛍光スペクトルを対応付けた自家蛍光データを生成する。
　反射光データ生成部３０２ｂは、検出信号受信部３０１が受信した、検体が反射した反射光に係る検出信号を取得して、この取得した検出信号に基づく反射光の強度と、走査面上の位置情報とを対応付けた反射光データを生成する。反射光データ生成部３０２ｂは、例えば、各チャンネルの電気信号に基づく光の強度を合算して、その走査面上の位置における反射光の強度とする。
　対応データ生成部３０２ｃは、所定の焦点面上の１つの座標における自家蛍光データと反射光データからなる、対応データを生成する。対応データ生成部３０２ｃは、複数の座標において自家蛍光データ及び反射光データが生成されていれば、各座標について、自家蛍光データと反射光データとを対応付けた対応データを生成する。また、同一の座標において複数の励起光による自家蛍光データが生成されていれば、その座標に各自家蛍光データを対応付ける。
　ここで、所定の焦点面上の１つの座標において反射光データと自家蛍光データとを対応付けることの意義について述べる。反射光の強度は、所定の焦点面上の１つの座標における、細胞等の検体の存在を反映する。当該座標に検体（細胞）が存在しなければ反射光の強度は低く、検体（細胞）が存在すれば高い強度の反射光が得られる。高倍率での反射光を取得すれば、細胞の輪郭部分からの反射光、細胞内部からの反射光、さらには核など内部の細胞内小器官からの反射光を得ることもできる。このようにして、ある座標における検体（細胞）の有無、或いは、ある座標が検体（細胞）のどの部位に相当するかの情報を取得し、これと当該座標における自家蛍光データを用いることにより、これまで不可能であった個々の細胞レベル、さらには細胞内小器官レベルでの同定又は評価を行うことが可能となる。
　二次元画像生成部３０３は、データ生成部３０２が生成した各種データに基づいて、１フレームの表示用画像に対応する二次元画像データを生成する。二次元画像生成部３０３は、例えば、反射光に基づく合焦画像データを生成する場合、反射光データ生成部３０２ｂが生成した反射光データに基づいて、画素位置ごとに輝度情報を付与した合焦画像データを、走査した走査面の数に応じて一つ又は複数生成する。また、二次元画像生成部３０３は、照射した励起光により生じた自家蛍光による蛍光画像データを生成する場合、対応データ生成部３０２ｃが生成した対応データのうちの蛍光スペクトルと、データ解析部３０５による解析結果とに基づいて、画素位置ごとに輝度情報を付与した蛍光画像データを、走査した走査面の数に応じて一つ又は複数生成する。二次元画像生成部３０３は、生成された１フレームの二次元画像データに対してゲイン処理、コントラスト処理、γ補正処理等の公知の技術を用いた画像処理を行うとともに、表示装置４００の表示仕様に応じた処理を施すことによって表示用の画像データを生成する。以下、反射光に基づく合焦画像を、共焦点反射顕微鏡（ＣＲＭ）画像ということもある。
　三次元画像生成部３０４は、二次元画像生成部３０３が生成した二次元画像データをもとに、三次元画像データを生成する。三次元画像生成部３０４は、各フレームにおける輝度情報を、三次元空間上に付与することによって三次元画像データを生成する。
　ここで、レーザ光照射位置は、二次元画像生成部３０３及び三次元画像生成部３０４が生成する画像データの空間情報と対応付いている。空間位置は、二次元であればＸ軸上の画素の位置（Ｘ位置）及びＹ軸上の画素の位置（Ｙ位置）からなる位置情報であり、三次元であればＸ位置、Ｙ位置、及びＺ軸上の画素の位置（Ｚ位置）からなる位置情報である。例えば、走査面は、Ｚ軸と直交する平面に対応し、走査面上の位置は、その走査面におけるＸ位置とＹ位置とによって表現される。
　データ解析部３０５は、データ生成部３０２において生成された対応データを用いて、検体に関する各種データ解析を行う。データ解析部３０５は、例えば、検体の種別の同定や、状態の評価、所定の特性を有する検体の抽出などを行う。具体的に、データ解析部３０５は、検体の同定を行う場合、記録部３０７に記録されている同定テーブルを参照して、解析対象の位置に対応付いている蛍光スペクトルと一致するスペクトルパターンを有する種別が存在するか否かを同定する。データ解析部３０５は、レーザ光の照射位置と、同定した種別とを対応付けた同定情報を生成する。
　色相重畳部３０６は、データ解析部３０５の同定情報に基づいて、画像中の対応する画素位置に、設定された色相を重畳する。具体的に、色相重畳部３０６は、表示対象画像が三次元画像であり、赤色に配色する微生物種が設定されている場合、三次元画像データに対して、該当する微生物種であると同定された画素位置に赤色を配色する処理を施す。色相重畳部３０６は、色相を重畳した重畳画像データを表示装置４００に出力する。この重畳画像データは、二次元画像データ又は三次元画像データに、色相に関する情報を付与したデータである。
　記録部３０７は、画像処理装置３００の動作を実行するためのプログラムを含む各種プログラムを記録する。記録部３０７は、各種プログラム等が予めインストールされたＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）や、演算パラメータ等を記録するＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）等を用いて構成される。
　記録部３０７は、データ解析部３０５が種別の同定に用いる同定テーブル等、解析を行うために必要なデータを記録する解析情報記録部３０８を有する。同定テーブルは、例えば微生物の種別（微生物種）を同定するものである場合、励起波長ごとに特徴付けられる蛍光スペクトルを一つ又は複数含むスペクトルパターンと、微生物種とが対応付けられている。同定テーブルに限らず、入力された情報に対して、対応する情報を出力可能なデータ形式であればよい。解析情報記録部３０８は、データ解析部３０５により生成された同定情報等の解析結果を記録してもよい。
　表示装置４００は、液晶又は有機ＥＬ（Ｅｌｅｃｔｒｏ　Ｌｕｍｉｎｅｓｃｅｎｃｅ）を用いて構成され、画像処理装置３００にて生成された画像等を表示する。表示装置４００は、制御装置２００にて生成された各種情報を表示するようにしてもよい。
　次に、顕微鏡システム１によるデータ解析方法について、図２を参照して説明する。図２は、本発明の一実施の形態に係るデータ解析方法を説明するフローチャートの一例である。以下、得られた自家蛍光に基づいて、検体の解析を行って重畳画像データを生成する流れを説明する。
　本実施の形態に係るデータ解析方法では、まず、制御部２０１の制御のもと、検体に対し、反射光を取得するために予め設定された波長又は波長帯域の光を照射する（ステップＳ１）。検出信号受信部３０１が、この光により生じた自家蛍光、又は検体が反射する反射光に応じた検出信号を取得する。本実施の形態では、反射光取得用の光であるレーザ光の焦点位置を三次元的に走査して自家蛍光又は反射光を取得し、三次元空間のデータを生成するものとして説明する。
　ここで、顕微鏡システム１による走査方法について、図３を参照して説明する。図３は、本発明の一実施の形態に係る顕微鏡システムの走査方法を説明する図である。共焦点レーザスキャン顕微鏡１００では、あるＺ位置の焦点面において、ＸＹ平面上を走査して検体からの光を受光した後、Ｚ位置を変更して、変更後のＺ位置におけるＸＹ平面上を走査する。例えば、図１に示すＺ走査範囲ＲＺにおいて設定されたＺ位置ごとに走査を行って、各Ｚ位置において焦点面上の複数の位置から光（反射光又は自家蛍光）を得る。共焦点レーザスキャン顕微鏡１００では、生成する画像に応じて、ビームスプリッター１０６や、検出器１０９の構成を適宜変更可能である。
　例えば、図３に示すように、焦点面ＰＦ１におけるレーザ光の走査を行った後、ステージ１０１をＺ軸方向に移動して、移動後にレーザ光の焦点が配置される焦点面ＰＦ２におけるレーザ光の走査を行う。これを、予め設定されているＺ走査範囲ＲＺにおける焦点面ＰＦ３、ＰＦ４、ＰＦ５、ＰＦ６、ＰＦ７、・・・と順次走査を行う。
　ＸＹ平面における走査方法について、例えば、図３に示すように、矩形をなす焦点面（図３では焦点面ＰＦ７）の一つの角部からレーザ光を照射して、照射領域であるスポットＳＰからの光を受光する。このスポットＳＰをジグザグに走査することによって、焦点面ＰＦ７において、１枚の二次元画像（合焦画像）を生成するためのデータ数に対応する光を取得することができる。このスポットＳＰの径を、例えば一つの画素（モニタに表示される１つのドットに相当）のサイズと略同等とすれば、二次元画像及び三次元画像の色を画素単位で表現することができ、さらには同定情報に対応する視覚情報を画素単位で配色することが可能である。「画素のサイズと略同等」とは、例えば、スポットＳＰを円とした場合、画素に内接する大きさとほぼ同じサイズのことをいう。なお、上述した走査経路は一例であり、焦点面を走査できれば、この経路に限らない。なお、スポットＳＰの径は、光学顕微鏡の分解能の限界である約０．２μｍを下限として、コンフォーカルピンホールの径を変更することにより適宜調節しうる。
　ステップＳ１に続くステップＳ２において、反射光データ生成部３０２ｂは、検出信号受信部３０１が受信した反射光に係る検出信号を取得し、取得した検出信号に基づいて反射光データを生成する（反射光データ生成ステップ）。
　ステップＳ２に続くステップＳ３において、制御部２０１の制御のもと、検体に対し、自家蛍光を取得するために予め設定された波長又は波長帯域の光（励起光）を照射する。なお、本フローチャートでは、自家蛍光を取得するための励起光と、反射光を取得するための照射光（例えば同じ波長の励起光）とを異なるタイミングで照射して取得するものとして説明するが、試料に対して励起光を一回のみ照射し、検出時間に差を設けることによって自家蛍光及び反射光を取得するようにしてもよい。
　その後、自家蛍光データ生成部３０２ａは、検出信号受信部３０１が受信した自家蛍光に係る検出信号を取得し、取得した検出信号に基づいて自家蛍光データを生成する（ステップＳ４：自家蛍光データ生成ステップ）。この自家蛍光データは、ステップＳ１において検体に照射された励起光によって生じた自家蛍光の蛍光スペクトルを含んでいる。
　なお、ステップＳ１、２及びステップＳ３、４の各データ生成処理は、ステップＳ３、４を先に行ってもよいし、並行して処理を実行するようにしてもよい。
　ステップＳ４に続くステップＳ５において、制御部２０１は、ステップＳ３で照射した自家蛍光取得用の励起光の波長（又は波長帯域）とは異なる波長（又は波長帯域）の励起光を照射するか否かを判断する。制御部２０１は、予め設定されている走査条件や、入力部２０２を介して設定された走査条件を参照し、さらに照射すべき励起光があるか否かを判断する。
　ステップＳ２、Ｓ４では、１スポット、すなわち、あるＺ位置の焦点面における一点について、ある一つの励起波長のレーザ光を照射した際に取得される自家蛍光の蛍光スペクトル、又は反射光強度が生成される。予め設定されている励起波長が複数の場合は、各励起波長のレーザ光の走査を繰り返すことによって、同じ位置において異なる励起波長の蛍光スペクトルを生成する。この繰り返しにより、複数の焦点面における各位置の、励起波長に応じた蛍光スペクトルが生成される。ここでいう「焦点面」とは、レーザ光の光軸と直交する面であって、レーザ光の焦点が配置されている面のことをさす。
　制御部２０１は、ステップＳ３で照射した波長とは異なる波長の励起光の照射をする必要があると判断した場合（ステップＳ５：Ｙｅｓ）、ステップＳ３に戻り、設定される励起光を用いた走査を繰り返す。これに対し、制御部２０１は、さらなる励起光の照射を行う必要がないと判断した場合（ステップＳ５：Ｎｏ）、ステップＳ６に移行する。
　ステップＳ６において、対応データ生成部３０２ｃは、ステップＳ２で生成された反射光の強度と、ステップＳ３で生成された蛍光スペクトルとを対応付けた対応データを生成する（対応データ作成ステップ）。この際、複数の励起光の照射により複数の蛍光スペクトルが生成されている場合は、一つのレーザ光照射位置について、複数の蛍光スペクトルと、反射光の強度とが対応付けられる。また、反射光の強度は、一つのレーザ光照射位置について、波長（又は波長帯域）が異なるすべての励起光について取得した反射光の強度を合算した合算値として用いてもよいし、予め設定されている波長の励起光により取得された反射光の強度を用いてもよい。
　ステップＳ６に続くステップＳ７において、データ解析部３０５は、ステップＳ５において生成された対応データをもとに、検体の解析処理を行う。本実施の形態では、データ解析部３０５が、各スポット位置における微生物の種別の同定を行う。解析処理の具体例については後述する。
　ステップＳ７に続くステップＳ８において、二次元画像生成部３０３、三次元画像生成部３０４及び色相重畳部３０６が、対応データに基づいて画像データを生成する。ステップＳ７では、まず、二次元画像生成部３０３が、対応データにおける反射光データを用いて複数の合焦画像データを生成する。
　図４は、本発明の一実施の形態に係る顕微鏡システムにおける走査によって生成される合焦画像を説明する図である。対応データ生成部３０２ｃにより生成された対応データのうちの反射光の強度に基づいて、二次元画像生成部３０３が画像処理を行うことによって、図４に示すような、各焦点面において反射された光に基づくＮ枚の合焦画像Ｄ１、Ｄ２、・・・、ＤＮが得られる（Ｎは３以上の自然数）。二次元画像生成部３０３は、各位置において得られた反射光の強度を輝度情報に変換し、レーザ光の照射位置に応じて配列した合焦画像データを生成する。すなわち、二次元画像生成部３０３は、反射光により生成される画像と、レーザ光の照射位置に関する位置情報（例えばＺ位置）とを含む二次元画像データを生成する。
　複数の合焦画像データ（合焦画像Ｄ１、Ｄ２、・・・、ＤＮ）が生成されると、三次元画像生成部３０４が、三次元空間の直交座標系において、各合焦画像の輝度情報を対応付けることによって、三次元空間上の輝度に応じて検体像を表現する三次元画像データを生成する。
　図５は、本発明の一実施の形態に係る顕微鏡システムにおいて表示される三次元画像を説明する図である。三次元画像生成部３０４は、図５に示すような、輝度に応じた明るさの点の集合によってなる三次元画像を含む三次元画像データを生成する。なお、図５では、輝度に応じて濃淡を変化させたグレースケールの三次元画像を示しているが、色相の条件等は適宜設定の変更が可能である。
　三次元画像データを生成後、色相重畳部３０６が、データ解析部３０５が生成した同定情報と、予め設定された条件とに応じて、各位置（二次元空間又は三次元空間上の位置）において重畳する色相を選択して、三次元画像生成部３０４が生成した三次元画像データに色相を重畳した重畳画像データを生成する。例えば、検体中に微生物であるＳｔｒｅｐｔｏｃｏｃｃｕｓ　ｍｉｔｉｓ（Ｓ．ｍｉｔｉｓ）と、Ａｇｇｒｅｇａｔｉｂａｃｔｅｒ　ａｃｔｉｎｏｍｙｃｅｔｅｍｃｏｍｉｔａｎｓ（Ａ．ａ．）とが存在し、Ｓ．ｍｉｔｉｓを赤色に配色し、Ａ．ａ．を緑色に配色する条件が設定されている場合、色相重畳部３０６は、重畳対象の画像に対し、Ｓ．ｍｉｔｉｓと同定されたレーザ光照射位置に対応する画像の位置（画素位置）に赤色、Ａ．ａ．と同定されたレーザ光照射位置に対応する画像の位置に緑色を重畳する処理を施す。
　ステップＳ８に続くステップＳ９において、画像処理装置３００は、制御装置２００の制御のもと、色相重畳部３０６により生成された重畳画像データを、表示装置４００に表示させる。以上説明した処理により、励起光の照射により取得した検体像を解析結果（種別）に応じて配色した重畳画像が、表示装置４００に表示される。
　続いて、ステップＳ７における解析処理について、図面を参照して説明する。ステップＳ７における解析処理では、処理内容に応じて、生物学上の界、門、綱、目、科、属、種、品種、病原型又は抗原型を同定したり、微生物学上の株又は亜株を同定したり、未知試料又は既知試料の代謝状態又は生理状態に関する試料の状態を評価したりする。ここでは、ステップＳ７における解析処理の一例を図６~図１９を参照して説明する。まず、自家蛍光に基づく蛍光スペクトルについて、図６~図１３Ｂを参照して説明する。以下、Ｓ．ｍｉｔｉｓ及びＡ．ａ．の画像と蛍光スペクトルとを例に挙げて説明する。
　図６は、本発明の一実施の形態に係る顕微鏡システムにおける同定対象の一例であってＳ．ｍｉｔｉｓが写った検体画像を示す図である。なお、図の左下にはスケールが表示されている。図６は、予め設定された波長又は波長帯域のレーザ光を照射して得られた合焦画像を示している。図６に示すような合焦画像を表示することによって、微生物（ここではＳ．ｍｉｔｉｓ）の二次元における配置を視覚的に確認することが可能である。
　図７Ａは、波長が４０５ｎｍの励起光を照射した際に撮像されるＳ．ｍｉｔｉｓの蛍光画像を示す図である。図７Ｂは、波長が４０５ｎｍの励起光を照射した際に検出されるＳ．ｍｉｔｉｓの蛍光スペクトルを示す図であって、図７Ａに示す指示位置ＰＩ１における蛍光スペクトルを示す図である。
　同様にして、波長が４５８ｎｍ、４８８ｎｍのレーザ光を照射した際の蛍光画像及び蛍光スペクトルを図８Ａ，８Ｂ、図９Ａ，９Ｂに示す。図８Ａは、波長が４５８ｎｍの励起光を照射した際に撮像されるＳ．ｍｉｔｉｓの蛍光画像を示す図である。図８Ｂは、波長が４５８ｎｍの励起光を照射した際に検出されるＳ．ｍｉｔｉｓの蛍光スペクトルを示す図であって、図８Ａに示す指示位置ＰＩ１における蛍光スペクトルを示す図である。図９Ａは、波長が４８８ｎｍの励起光を照射した際に撮像されるＳ．ｍｉｔｉｓの蛍光画像を示す図である。図９Ｂは、波長が４８８ｎｍの励起光を照射した際に検出されるＳ．ｍｉｔｉｓの蛍光スペクトルを示す図であって、図９Ａに示す指示位置ＰＩ１における蛍光スペクトルを示す図である。
　図７Ｂ、図８Ｂ及び図９Ｂに示すように、励起波長により異なる蛍光スぺクトルが得られる。Ｓ．ｍｉｔｉｓは、４０５ｎｍ、４５８ｎｍ及び４８８ｎｍの励起光による自家蛍光パターンについて、図示したような固有のパターンを有している。
　続いて、Ａｇｇｒｅｇａｔｉｂａｃｔｅｒ　ａｃｔｉｎｏｍｙｃｅｔｅｍｃｏｍｉｔａｎｓ（Ａ．ａ．）の画像及び蛍光スペクトルについて、図１０~図１３Ｂを参照して説明する。図１０は、本発明の一実施の形態に係る顕微鏡システムにおける同定対象の一例であって、Ａ．ａ．が写った検体画像を示す図である。図１０は、図６と同様に、予め設定された波長又は波長帯域のレーザ光を照射して得られた合焦画像を示している。
　また、図１１Ａは、波長が４０５ｎｍの励起光を照射した際に撮像されるＡ．ａ．の蛍光画像を示す図である。図１１Ｂは、波長が４０５ｎｍの励起光を照射した際に検出されるＡ．ａ．の蛍光スペクトルを示す図であって、図１１Ａに示す指示位置ＰＩ２における蛍光スペクトルを示す図である。図１２Ａは、波長が４５８ｎｍの励起光を照射した際に撮像されるＡ．ａ．の蛍光画像を示す図である。図１２Ｂは、波長が４５８ｎｍの励起光を照射した際に検出されるＡ．ａ．の蛍光スペクトルを示す図であって、図１２Ａに示す指示位置ＰＩ２における蛍光スペクトルを示す図である。図１３Ａは、波長が４８８ｎｍの励起光を照射した際に撮像されるＡ．ａ．の蛍光画像を示す図である。図１３Ｂは、波長が４８８ｎｍの励起光を照射した際に検出されるＡ．ａ．の蛍光スペクトルを示す図であって、図１３Ａに示す指示位置ＰＩ２における蛍光スペクトルを示す図である。
　図１１Ｂ、図１２Ｂ及び図１３Ｂについても、励起波長により異なる蛍光スペクトルが得られていることがわかる。Ａ．ａ．は、４０５ｎｍ、４５８ｎｍ及び４８８ｎｍの励起光による自家蛍光パターンについて、図示したような固有のパターンを有している。
　また、Ｓ．ｍｉｔｉｓとＡ．ａ．との蛍光スペクトルを比較しても、それぞれスペクトルのパターンが異なっていることが分かる。このように、微生物は、種別に応じて固有の自家蛍光パターンを有している。
　そこで、本実施の形態では、データ解析部３０５が、得られた自家蛍光パターンから微生物種を同定する。解析情報記録部３０８には、例えば、既知の微生物に関して、それぞれの蛍光スペクトルのパターンと微生物種とを対応付けた同定テーブルが記録されている。データ解析部３０５は、解析情報記録部３０８に記録されている同定テーブルを参照して、ピーク位置等から入力された未知の自家蛍光パターンの微生物種を同定する。この際、データ解析部３０５は、例えばＺ軸方向の位置ごと、レーザ光の照射位置ごとに微生物種の同定を行い、同定した種別とともに、レーザ光の照射位置を含む同定情報を生成する。なお、レーザ光のスポット径（照射位置）と、画素位置とが１対１で対応していることを前提に説明しているが、間引き等で複数の画素位置、及びＺ軸方向で隣り合う複数の合焦画像について一括して微生物種を同定する場合はこの限りではない。
　上述した色相の重畳について、図１４及び図１５を参照して、二次元画像である合焦画像に色相を重畳した場合を説明する。図１４は、Ｓ．ｍｉｔｉｓとＡ．ａ．とが存在する合焦画像を示す図である。図１４に示すように、合焦画像から微生物の存在位置は把握できるものの、それぞれの自家蛍光を受光して画像化したのみでは、Ｓ．ｍｉｔｉｓとＡ．ａ．とを区別することはできない。
　図１５は、図１４に示す合焦画像において、Ｓ．ｍｉｔｉｓに配色を行った画像を示す図である。図１４に示す合焦画像に対して、色相重畳部３０６によって、Ｓ．ｍｉｔｉｓであると同定された位置に赤色を重畳すると、混在する微生物のなかから、Ｓ．ｍｉｔｉｓを識別することができる。また、画像中にＳ．ｍｉｔｉｓ及びＡ．ａ．のみ存在することが分かっていれば、残りの微生物がＡ．ａ．であることも識別可能である。
　次に、上述した色相重畳処理を、三次元画像に適用した場合について、図１６~図１９を参照して説明する。図１６は、Ｓ．ｍｉｔｉｓとＡ．ａ．とが存在する複数の合焦画像を三次元で表現した三次元画像を示す図である。図１７は、Ｓ．ｍｉｔｉｓ及びＡ．ａ．にそれぞれ配色を行った三次元画像を示す図である。図１８は、図１７に示す三次元画像からＳ．ｍｉｔｉｓを抽出した三次元画像を示す図である。図１９は、反射光に基づく三次元画像であって、微生物種に応じた配色を行っていない三次元画像（ａ）、Ｓ．ｍｉｔｉｓ及びＡ．ａ．にそれぞれ配色を行った三次元画像（ｂ）、及びＳ．ｍｉｔｉｓに配色を行った三次元画像（ｃ）を示す図である。
　図１６及び図１９の（ａ）に示す三次元画像では、図１４に示す合焦画像と同様に、三次元画像から微生物の空間的な位置は把握できるものの、Ｓ．ｍｉｔｉｓとＡ．ａ．とを区別することはできない。
　図１６及び図１９の（ａ）に示す三次元画像に対して、色相重畳部３０６によって、Ｓ．ｍｉｔｉｓに赤色を重畳し、かつＡ．ａ．に緑色を重畳すると、微生物が混在する空間から、Ｓ．ｍｉｔｉｓとＡ．ａ．とをそれぞれ識別することができる（図１７及び図１９の（ｂ）参照）。また、図１８及び図１９の（ｃ）に示すように、Ｓ．ｍｉｔｉｓを抽出することにより、視線方向（例えば図１９の（ｃ）ではＹ軸方向）においてＡ．ａ．の奥に存在するＳ．ｍｉｔｉｓの位置を空間的に把握することが可能である。
　上述した画像生成処理は、共焦点レーザスキャン顕微鏡１００によりレーザ光を照射して、検体が発した反射光又は自家蛍光を受光することによって可能である。このため、従来のような、微生物の単離及び培養や、塩基配列の決定を行わずに微生物の同定を行うことができ、特に、微生物を生きたまま、ありのままに観察を行い、かつ微生物種の同定を行うことができる。これにより、微生物の動態（例えば、生長や移動）を経時的に追うことが可能となる。例えば、図１５に示す三次元画像データを経時的に生成し、時系列に沿って切り替え表示を行って動画表示させることによって、微生物の経時的な動きを観察することができる。この際、同定した微生物を配色すれば、複数の微生物が混在する中での、特定の微生物の動態を追うことも可能である。
　また、データ解析部３０５は、上述した種別の同定のほか、検体の状態の評価や、クラスタリング等の解析を行うことができる。以下、データ解析部３０５が行う解析処理の例を、図面を参照して説明する。
　図２０は、特性の異なる油脂酵母（子嚢菌）であるリポマイセス・スターキー（Ｌｉｐｏｍｙｃｅｓ　ｓｔａｒｋｅｙ）を示す画像であって、油脂高生産株の自家蛍光画像（ａ）、油脂低蓄積株の自家蛍光画像（ｂ）、及び油脂高生産株と油脂低蓄積株とを混合した自家蛍光画像（ｃ）をそれぞれ示す図である。図２０に示すように、子嚢菌であっても、油脂を高生産する油脂高生産株（図２０の（ａ）参照）と、油脂の蓄積能が比較的低い状態の油脂低蓄積株（図２０の（ｂ）参照）とでは、自家蛍光の色（波長）や菌自体の大きさが異なる（図２０の（ｃ）参照）。
　図２１は、図２０の（ａ）に示す油脂高生産株の自家蛍光のスペクトルプロファイルを示す図である。図２２は、図２０の（ｂ）に示す油脂低蓄積株の自家蛍光のスペクトルプロファイルを示す図である。図２１、２２は、使用する励起光の波長（波長帯域）に付された番号（Ｅｘｃｉｔａｔｉｏｎ　Ｎｏ．）を示す第１軸と、検出器１０９による光の分解能（上述した実施の形態では３２チャンネル）に合わせて分割した自家蛍光の波長帯域の番号（Ｅｍｉｓｓｉｏｎ（ｃｈ））を示す第２軸と、検出した各チャンネルの自家蛍光の相対強度を示す第３軸とが、互いに直交している三次元直交座標系を示している。図２１、２２に示すように、各株の蛍光スペクトルは、三次元の自家蛍光の相対強度の分布として表現され、油脂高生産株と油脂低蓄積株とで異なっている。
　図２３は、土壌細菌であるパエニバシラス・ポリミキサ（Ｐａｅｎｉｂａｃｉｌｌｕｓ　ｐｏｌｙｍｙｘａ）の自家蛍光のスペクトルプロファイルを示す図である。図２４は、土壌細菌であるシュードモナス・プチダ（Ｐｓｅｕｄｏｍｏｎａｓ　ｐｕｔｉｄａ）の自家蛍光のスペクトルプロファイルを示す図である。図２３、２４についても、図２１、２２と同様に、使用する励起光の波長（波長帯域）に付された番号（Ｅｘｃｉｔａｔｉｏｎ　Ｎｏ．）を示す第１軸と、検出器１０９による光の分解能（３２チャンネル）に合わせて分割した自家蛍光の波長帯域（Ｅｍｉｓｓｉｏｎ　Ｗａｖｅｌｅｎｇｔｈ）を示す第２軸と、検出した各チャンネルの自家蛍光の相対強度を示す第３軸とが、互いに直交している三次元直交座標系を示している。ここで、パエニバシラス・ポリミキサは、グラム陽性の細菌である。また、シュードモナス・プチダは、グラム陰性の細菌である。図２３、２４に示すように、土壌細菌においても、自家蛍光の相対強度の分布は、菌の種類で異なっている。
　このような相対強度の分布を、株の状態等と対応付けて解析情報記録部３０８に記録させておき、データ解析部３０５が、検出信号から得られる自家蛍光のパターンと、解析情報記録部３０８に記録されている相対強度の分布とを比較することによって、株の状態の評価、ここでは油脂の蓄積能の評価や土壌細菌の特定を行う。
　また、野生株の大腸菌（以下、野生株大腸菌という）と、チロシン過剰生産株の大腸菌（以下、チロシン過剰生産株大腸菌という）とにおいても、自家蛍光の色（波長に対する強度分布）に差異がみられる。図２５Ａは、野生株大腸菌の共焦点反射顕微鏡画像を示す図である。図２５Ｂは、各励起光を照射した際に取得される野生株大腸菌の自家蛍光画像を示す図である。図２５Ａ及び図２５Ｂに示す画像は、同一の走査面を走査した際に得られた画像である。図２５Ｂは、励起光の波長を、４０５ｎｍ、４５８ｎｍ、４８８ｎｍ、５１４ｎｍ、５４３ｎｍ及び６３３ｎｍとしてそれぞれ照射した際に得られた自家蛍光画像である。
　図２６Ａは、チロシン過剰生産株大腸菌の共焦点画像を示す図である。図２６Ｂは、各励起光を照射した際に取得されるチロシン過剰生産株大腸菌の自家蛍光画像を示す図である。図２６Ａ及び図２６Ｂに示す画像は、同一の走査面を走査した際に得られた画像である。図２６Ｂは、励起光の波長を、４０５ｎｍ、４５８ｎｍ、４８８ｎｍ、５１４ｎｍ、５４３ｎｍ及び６３３ｎｍとしてそれぞれ照射した際に得られた自家蛍光画像である。
　図２５Ｂ及び図２６Ｂに示すように、励起光の波長を５１４ｎｍ及び５４３ｎｍとしたときの蛍光強度又は色に大きな差がある。この差により、検体から得られる自家蛍光の強度分布から、例えば、野生株大腸菌とチロシン過剰生産株大腸菌とが混在するなかで、二つの大腸菌を選別することが可能である。
　また、野生株大腸菌と、突然変異株の大腸菌（以下、変位株大腸菌という）とにおいても、自家蛍光のパターンに差異がみられる。図２７は、野生株大腸菌の共焦点反射顕微鏡画像及び自家蛍光画像（ａ）と、チロシン過剰生産株大腸菌の共焦点反射顕微鏡画像及び自家蛍光画像（ｂ）とを示す図である。図２７は、励起光の波長を、４０５ｎｍ、４５８ｎｍ、４８８ｎｍ、５１４ｎｍ、５４３ｎｍ及び６３３ｎｍとしてそれぞれ照射した際に得られた自家蛍光像である。
　図２７の（ａ）及び図２７の（ｂ）に示すように、自家蛍光のパターンとして、特に励起光の波長を４８８ｎｍとしたときの蛍光強度に大きな差がある。この差により、検体から得られる自家蛍光パターンから、例えば、野生株大腸菌と変位株大腸菌とが混在するなかで、二つの大腸菌を選別することが可能である。
　また、野生株のカビ（Ａｓｐｅｒｇｉｌｌｕｓ　ｎｉｄｕｌａｎｓ）と、変異株のカビ（Ａｓｐｅｒｇｉｌｌｕｓ　ｎｉｄｕｌａｎｓ）とにおいても、自家蛍光の色（波長に対する強度分布）に差異がみられる。図２８Ａは、カビ（Ａｓｐｅｒｇｉｌｌｕｓ　ｎｉｄｕｌａｎｓ）の野生株の共焦点反射顕微鏡画像を示す図である。図２８Ｂは、各励起光を照射した際に取得されるカビ（Ａｓｐｅｒｇｉｌｌｕｓ　ｎｉｄｕｌａｎｓ）の野生株の自家蛍光画像を示す図である。図２８Ａ及び図２８Ｂに示す画像は、同一の走査面を走査した際に得られた画像である。図２８Ｂは、励起光の波長を、４０５ｎｍ、４５８ｎｍ、４８８ｎｍ、５１４ｎｍ、５４３ｎｍ及び６３３ｎｍとしてそれぞれ照射した際に得られた自家蛍光画像である。
　図２９Ａは、変異株のカビ（Ａｓｐｅｒｇｉｌｌｕｓ　ｎｉｄｕｌａｎｓ）の共焦点反射顕微鏡画像を示す図である。図２９Ｂは、各励起光を照射した際に取得される変異株のカビ（Ａｓｐｅｒｇｉｌｌｕｓ　ｎｉｄｕｌａｎｓ）の自家蛍光画像を示す図である。図２９Ａ及び図２９Ｂに示す画像は、同一の走査面を走査した際に得られた画像である。図２９Ｂは、励起光の波長を、４０５ｎｍ、４５８ｎｍ、４８８ｎｍ、５１４ｎｍ、５４３ｎｍ及び６３３ｎｍとしてそれぞれ照射した際に得られた自家蛍光画像である。図２９Ａ、３０Ｂは、窒素代謝能が変化した変異株を示している。
　図２８Ｂ及び図２９Ｂに示すように、野生株と変異株とでは、特に励起光の波長を６３３ｎｍとしたときの蛍光強度又は色に大きな差がある。この差により、検体から得られる自家蛍光の強度分布から、例えば、野生株大腸菌とチロシン過剰生産株大腸菌とが混在するなかで、二つの大腸菌を選別することが可能である。
　図３０は、野生株のカビ（Ａｓｐｅｒｇｉｌｌｕｓ　ｎｉｄｕｌａｎｓ）の自家蛍光のスペクトルプロファイルを示す図である。図３１は、変異株のカビ（Ａｓｐｅｒｇｉｌｌｕｓ　ｎｉｄｕｌａｎｓ）の自家蛍光のスペクトルプロファイルを示す図である。図３０、３１についても、図２３、２４と同様に、使用する励起光の波長（波長帯域）に付された番号（Ｅｘｃｉｔａｔｉｏｎ　Ｎｏ．）を示す第１軸と、検出器１０９による光の分解能（３２チャンネル）に合わせて分割した自家蛍光の波長帯域（Ｅｍｉｓｓｉｏｎ　Ｗａｖｅｌｅｎｇｔｈ）を示す第２軸と、検出した各チャンネルの自家蛍光の相対強度を示す第３軸とが、互いに直交している三次元直交座標系を示している。図３０、３１に示すように、カビ（Ａｓｐｅｒｇｉｌｌｕｓ　ｎｉｄｕｌａｎｓ）においても、自家蛍光の相対強度の分布は、野生株と変異株とで異なっている。
　ここで、同じ野生株、変異株であっても、当てる励起光の光源の特性や、株そのものの個体差によって自家蛍光のパターンが若干異なるため、同じ野生株であっても図３１、３２に示す自家蛍光のスペクトルプロファイルとは完全に一致しない場合がある。本変形例１では、同一種の株において得られた自家蛍光のパターンに対し、画像処理を施してパターンの特徴を抽出する。例えば、自家蛍光によって得られたオリジナルの画像（自家蛍光の強度データの分布）をもとに、二値化や、微小オブジェクトの除去、エッジ平滑化、膨張させた平滑化、収縮させた平滑化、主要オブジェクトの抽出、骨組み抽出、分岐部抽出、分岐部マスク処理、分岐部除去処理、微小セグメント除去等の処理を施して特徴を抽出することによって野生株と変異株とを識別する。例えば、複数の自家蛍光画像を用いて機械学習させることによって既知試料の特徴付けを行い、野生株と変異株とを識別することも可能である。
　図３２Ａは、腸管上皮ガン細胞の共焦点反射顕微鏡画像を示す図である。図３２Ｂは、各励起光を照射した際に取得される腸管上皮ガン細胞の自家蛍光画像を示す図である。図３２Ｂは、励起光の波長を、４０５ｎｍ、４５８ｎｍ、４８８ｎｍ、５１４ｎｍ、５４３ｎｍ及び６３３ｎｍとしてそれぞれ照射した際に得られた自家蛍光画像である。図３２Ａ、図３２Ｂに示す腸管上皮ガン細胞においても、上述したようにして、自家蛍光スペクトルプロファイルや自家蛍光パターンを特徴付けることによって、識別することが可能となる。
　以上説明した本発明の一実施の形態では、検体の自家蛍光パターンと、検体からの反射光データと、レーザ光の照射位置とを対応付けた対応データを作成して、この対応データに基づいて検体の解析を行うようにしたので、検体の空間的な位置情報を持たせ、検体を非侵襲のまま解析することができる。
　また、上述した実施の形態では、検体の未知の自家蛍光パターンを取得して、既知の自家蛍光パターンとの比較によって微生物種を同定し、反射光に基づいて生成された画像において、同定した微生物種に対応する位置に色相を重畳するようにしたので、微生物の空間的な位置情報を視覚的に把握することができる。
　図３３は、本発明の一実施の形態に係る顕微鏡システムにおいて生成された共焦点反射顕微鏡画像と、自家蛍光画像とを重ね合わせた画像とについて説明する図である。図３３の（ａ）は、シュードモナス・プチダ（Ｐｓｅｕｄｏｍｏｎａｓ　ｐｕｔｉｄａ）の共焦点反射顕微鏡画像及び自家蛍光画像を示す図である。図３３の（ａ）に示す共焦点反射顕微鏡画像及び自家蛍光画像は、位置関係が対応付いている。図３３の（ｂ）は、図３３の（ａ）に示す共焦点反射顕微鏡画像における領域Ｒ１を拡大した画像、及び図３３の（ａ）に示す自家蛍光画像における領域Ｒ２を拡大した画像を示す。図３３の（ｃ）は、図３３の（ｂ）に示す共焦点反射顕微鏡画像と自家蛍光画像とを重ね合わせた画像であって、共焦点反射顕微鏡画像に対して、所定の透過率に設定した自家蛍光画像を重畳した画像である。図３３の（ｃ）に示すように、共焦点反射顕微鏡画像と自家蛍光画像とを重ね合わせて表示することによって、所望の菌の画像における存在位置や、個々の菌の存在領域を容易に把握することができる。
　なお、上述した実施の形態では、図２に示すフローチャートにおいて、予め設定されている波長の光のみにより反射光を取得するものとして説明したが、自家蛍光取得用の励起光が複数ある場合に、この複数の励起光に合わせて、波長が異なるすべての励起光を照射して、各励起光について反射光を取得するようにしてもよい。また、複数の励起光の照射により取得した場合、各レーザ光照射位置に対応付けられる複数の反射光の強度のうち、最大の強度を抽出して反射光データを作成してもよいし、複数の反射光の強度の平均値を算出して反射光データを作成してもよい。
（変形例１）
　次に、上述した実施の形態の変形例１について、図３４を参照して説明する。なお、本変形例１に係る顕微鏡システムの構成は、上述した顕微鏡システム１の構成と同じであるため、説明を省略する。上述した実施の形態では、予め記録されている蛍光スペクトルのパターンに基づいて種類や状態を特定するものとして説明したが、本変形例１では、予め記録されている蛍光スペクトルのパターンから機械学習により既知試料を特徴付けし、異なる種別又は状態の試料間の境界を設定することによって、検体の種類の特定や、状態の評価を行う。
　図３４は、本発明の実施の形態の変形例１に係る顕微鏡システムにおける記録部が記録するデータについて説明する図である。本変形例１では、図３４に示すように、ある特定の種を表現する蛍光スペクトルとして、一部が異なる複数の蛍光スペクトルデータのデータセット３１１、３１２が、解析情報記録部３０８に記録されている。データ解析部３０５は、各データセット３１１、３１２に基づいて決定される領域を参照し、入力された検体の種別や状態を特定する。
　例えば、データセット３１１は、油脂高生産株の油脂酵母（子嚢菌）を表現する自家蛍光の蛍光強度を示す複数の教師データ３１１ａ、３１１ｂ、３１１ｃ、３１１ｄ、３１１ｅ、・・・を有する。教師データ３１１ａ、３１１ｂ、３１１ｃ、３１１ｄ、３１１ｅ、・・・は、それぞれが油脂高生産株を表現する自家蛍光強度であり、互いに少なくとも一部が異なっているパターンを有している。
　また、データセット３１２は、油脂低蓄積株の油脂酵母（子嚢菌）を表現する自家蛍光の蛍光強度を示す複数の教師データ３１２ａ、３１２ｂ、３１２ｃ、３１２ｄ、３１２ｅ、・・・を有する。教師データ３１２ａ、３１２ｂ、３１２ｃ、３１２ｄ、３１２ｅ、・・・は、それぞれが油脂低蓄積株を表現する自家蛍光強度であり、互いに少なくとも一部が異なっているパターンを有している。
　データ解析部３０５では、まず、データセット３１１、３１２について、予め設定されている境界であって、油脂高生産株を表現する自家蛍光強度の領域と、油脂低蓄積株を表現する自家蛍光強度の領域とを分ける境界に最も近い自家蛍光の強度を、教師データを参照して各領域から抽出する。その後、この抽出した各領域の強度の位置に基づいて油脂高生産株と油脂低蓄積株との境界を再設定する。この際に再設定される境界は、励起光の波長（Ｅｘｃｉｔａｔｉｏｎ　Ｎｏ．）と、自家蛍光の波長（チャンネル）とによって区分される部分的な境界である。この処理を、励起光の波長と自家蛍光の波長との組ごとにそれぞれ境界を算出し、これらの境界を繋ぐことによって、上述した第１軸、第２軸及び第３軸からなる三次元空間において、油脂高生産株を表現する自家蛍光強度の領域と、油脂低蓄積株を表現する自家蛍光強度の領域との境界を決定する。例えば、６つの励起光、３２チャンネルの場合、１９２個の部分的な境界が設定され、これらの境界が繋げられる。このような境界の決定は、公知の方法、例えばサポートベクターマシン（Ｓｕｐｐｏｒｔ　Ｖｅｃｔｏｒ　Ｍａｃｈｉｎｅ：ＳＶＭ）を用いて構成される。又は、データセット３１１、３１２について、油脂高生産株を表現する自家蛍光プロファイルと、油脂低蓄積株を表現する自家蛍光プロファイルを区別する非線形の境界を定義するニューラルネットワークまたは畳み込みニューラルネットワークを構築するようにしてもよい。例えば、６つの励起光、３２チャンネルの場合、１９２次元のベクターをニューラルネットワークの第一層への入力として、或いは６行３２列の行列を畳み込みニューラルネットワークの第一層への入力として用いる。このような非線型の境界の決定は、公知の方法、例えば誤差逆伝播方法や、あるいは転位学習法を用いて行われる。
　ここで、機械学習による判別の一例について、図３５、図３６を参照して説明する。同じ種類の細胞であっても、生理状態（増殖フェイズ）によって自家蛍光のスペクトルプロファイルが異なる。図３５は、各増殖フェイズにおけるパエニバシラス・ポリミキサ（Ｐａｅｎｉｂａｃｉｌｌｕｓ　ｐｏｌｙｍｙｘａ）の共焦点反射顕微鏡画像、各励起光を照射した際に取得される自家蛍光画像、及び蛍光スペクトルを示す図である。図３６は、各増殖フェイズにおけるシュードモナス・プチダ（Ｐｓｅｕｄｏｍｏｎａｓ　ｐｕｔｉｄａ）の共焦点反射顕微鏡画像、各励起光を照射した際に取得される自家蛍光画像、及び蛍光スペクトルを示す図である。図３５、図３６では、６時間、８時間、１０時間、２４時間、３０時間、５２時間の各増殖フェイズにおける共焦点反射顕微鏡画像と、励起光（波長：４０５　ｎｍ、４５８　ｎｍ、４８８　ｎｍ、５１４　ｎｍ、５４３　ｎｍ、６３３　ｎｍ）における自家蛍光画像と、自家蛍光スペクトルファイルとを示している。なお、図３５、図３６において、各画像中に示す白線は、その白線の一端から他端までの長さが２０μｍに相当することを示している。
　図３５、図３６に示すように、同じ細胞であっても、自家蛍光画像やその自家蛍光のスペクトルプロファイルが異なっていることが分かる。これらのスペクトルプロファイルを、細胞の種別を対応付けて機械学習させることによって、増殖フェイズによらず細胞を識別することができる。このように、様々な生理状態の自家蛍光のスペクトルプロファイルを用いて訓練させて、試料の相関を見出すことによって、どのような生理状態であっても細胞を識別可能な機械学習モデルを構築することができる。また、上述したように、自家蛍光画像（自家蛍光の強度データの分布）を用いて特徴付けしたものを訓練させることによっても機械学習モデルを構築することができる。
　ここで、機械学習モデルによる識別結果について、図３７及び図３８を参照して説明する。図３７は、パエニバシラス・ポリミキサ（Ｐａｅｎｉｂａｃｉｌｌｕｓ　ｐｏｌｙｍｙｘａ）とシュードモナス・プチダ（Ｐｓｅｕｄｏｍｏｎａｓ　ｐｕｔｉｄａ）とが混在している共焦点反射顕微鏡画像を示す図である。図３８は、パエニバシラス・ポリミキサ（Ｐａｅｎｉｂａｃｉｌｌｕｓ　ｐｏｌｙｍｙｘａ）とシュードモナス・プチダ（Ｐｓｅｕｄｏｍｏｎａｓ　ｐｕｔｉｄａ）とに対してそれぞれ設定された色相を、共焦点反射顕微鏡画像に重畳した画像を示す図である。なお、図３８に示す画像は、図３７に示す共焦点反射顕微鏡画像における菌の輝度を反転しつつ背景を黒色にし、その上に識別結果に応じた色相を重畳している。図３８に示す画像では、パエニバシラス・ポリミキサ（Ｐａｅｎｉｂａｃｉｌｌｕｓ　ｐｏｌｙｍｙｘａ）を緑色で表現し、シュードモナス・プチダ（Ｐｓｅｕｄｏｍｏｎａｓ　ｐｕｔｉｄａ）を赤色で表現している。
　パエニバシラス・ポリミキサ（Ｐａｅｎｉｂａｃｉｌｌｕｓ　ｐｏｌｙｍｙｘａ）とシュードモナス・プチダ（Ｐｓｅｕｄｏｍｏｎａｓ　ｐｕｔｉｄａ）とが混在している共焦点反射顕微鏡画像（図３７参照）に対し、機械学習により高精度に識別された結果に応じて色相を重畳した画像（図３８参照）では、二つの菌が色分けされている。このようにして、色相を重畳した画像から、各菌の位置を識別することができる。
　本変形例１では、解析情報記録部３０８に記録されるデータセット３１１、３１２をもとに、機械学習を行って、入力される蛍光スペクトルから、油脂高生産株又は油脂低蓄積株を特定するようにした。これにより、記録されている蛍光スペクトルのパターン以外のスペクトルデータが入力された場合であっても、検体の特定を行うことが可能となる。
　なお、上述した変形例１では、二つの種類を特定する例を説明したが、三つ以上の種類や状態を特定する場合であっても、同様にして各自家蛍光の強度分布に基づき境界が設定され、入力された自家蛍光のスペクトルから、検体が特定される。
（変形例２）
　次に、上述した実施の形態の変形例２について、図３９を参照して説明する。なお、本変形例２に係る顕微鏡システムの構成は、上述した顕微鏡システム１の構成と同じであるため、説明を省略する。上述した実施の形態では、走査領域全体をスキャンして自家蛍光データを取得するものとして説明したが、本変形例２では、反射光データから、自家蛍光を取得すべき位置を特定し、特定した位置にのみ励起光の照射を行う。
　図３９は、本発明の実施の形態の変形例２に係るデータ解析方法を説明するフローチャートである。以下、得られた自家蛍光に基づいて、検体の解析を行って重畳画像データを生成する流れを説明する。
　本変形例２に係る画像生成方法では、まず、制御部２０１の制御のもと、検体に対し、反射光を取得するための照明光（好ましくはレーザ光）を照射する（ステップＳ１１）。検出信号受信部３０１が、この照明光により生じた反射光を取得する。本ステップＳ１１で使用する照明光は、検体からの反射光を取得するためのものであり、自家蛍光を取得する励起光等の特定の波長帯域の光を用いてもよいし、白色光を用いてもよい。ステップＳ１１では、走査領域全体のスキャンを行う。
　ステップＳ１１に続くステップＳ１２において、反射光データ生成部３０２ｂは、検出信号受信部３０１が受信した反射光に係る検出信号を取得し、取得した検出信号に基づいて反射光データを生成する（反射光データ生成ステップ）。
　ステップＳ１２に続くステップＳ１３において、データ解析部３０５は、反射光データを参照して、反射光を受信した位置、すなわち検体が存在する位置を判定する。データ解析部３０５は、例えば、予め設定された閾値以上の強度を取得した位置を、検体存在位置として判定する。ここで設定する閾値としては、例えばノイズと判定される強度よりも大きい値が設定される。
　ステップＳ１３に続くステップＳ１４において、制御部２０１による制御のもと、検体が存在すると判定された位置に対し、励起光（好ましくはレーザ光）を照射する。検出信号受信部３０１が、この励起光により生じた自家蛍光を取得する。
　その後、自家蛍光データ生成部３０２ａは、検出信号受信部３０１が受信した自家蛍光に係る検出信号を取得し、取得した検出信号に基づいて自家蛍光データを生成する（ステップＳ１５：自家蛍光データ生成ステップ）。この自家蛍光データは、ステップＳ１３において検体が存在すると判定された位置にのみ蛍光スペクトルが付与される。すなわち、自家蛍光データは、取得した蛍光スペクトルを走査位置に応じて並べてみたときに歯抜けのデータとなっている。
　ステップＳ１５に続くステップＳ１６において、制御部２０１は、ステップＳ１４で照射した励起光の波長（又は波長帯域）とは異なる波長（又は波長帯域）の励起光を照射するか否かを判断する。制御部２０１は、予め設定されている走査条件や、入力部２０２を介して設定された走査条件を参照し、さらに照射すべき励起光があるか否かを判断する。制御部２０１は、ステップＳ１４で照射した波長とは異なる波長の励起光の照射をする必要があると判断した場合（ステップＳ１６：Ｙｅｓ）、ステップＳ１４に戻り、検体が存在すると判定された位置について、励起光を用いた走査を繰り返す。これに対し、制御部２０１は、さらなる励起光の照射を行う必要がないと判断した場合（ステップＳ１６：Ｎｏ）、ステップＳ１７に移行する。
　ステップＳ１７において、対応データ生成部３０２ｃは、ステップＳ１２で生成された反射光の強度と、ステップＳ１５で生成された蛍光スペクトルとを、レーザ光照射位置と対応付けた対応データを生成する（対応データ作成ステップ）。
　ステップＳ１７に続くステップＳ１８において、データ解析部３０５は、ステップＳ１７において生成された対応データをもとに、検体の解析処理を行う。ステップＳ１８では、例えば、上述した実施の形態のように、データ解析部３０５が、自家蛍光取得位置（検体存在位置）における微生物の種別の同定を行う。
　ステップＳ１８に続くステップＳ１９において、二次元画像生成部３０３、三次元画像生成部３０４及び色相重畳部３０６が、対応データに基づいて画像データを生成する。ステップＳ１９では、まず、二次元画像生成部３０３が、対応データにおける反射光データを用いて複数の合焦画像データを生成する。
　ステップＳ１９に続くステップＳ２０において、画像処理装置３００は、制御装置２００の制御のもと、色相重畳部３０６により生成された重畳画像データを、表示装置４００に表示させる。以上説明した処理により、励起光の照射により取得した検体像に、解析結果（種別）に応じて配色した重畳画像が、表示装置４００に表示される。
　本変形例２によれば、上述した実施の形態と同様の効果を得ることができるとともに、自家蛍光を取得する位置を、反射光データから絞るようにしたので、上述した実施の形態と比して、自家蛍光を取得するための走査時間を短縮し、データ量を削減することができる。
　なお、細胞によっては内部に気泡や液胞が存在しており、この気泡や液胞の位置（座標）では照明光が反射されず、反射光が得られない場合がある。このため、上述した変形例２において、反射光データから判定される検体存在位置に加え、この検体存在位置に基づいて検出される検体の内部全体の領域に励起光を照射して自家蛍光を取得するようにしてもよい。例えば、検体が存在すると判定された複数の位置、すなわち複数の座標と、その複数の座標によって取り囲まれる領域の内部の全座標に励起光を照射して、その座標における自家蛍光を取得する。このようにすることによって、検体、例えば細胞において気泡や液胞により反射光が得られなかった部分があったとしても、細胞全体（特に、気泡や液胞等により反射光が得られない部分）に励起光を照射して自家蛍光を取得することが可能となる。
　上述した実施の形態及び変形例のほか、例えば、データ解析部３０５が、未知試料に対し、所定の特性を有する検体を抽出するようにしてもよい。具体的には、図２に示すステップＳ６において、所定の励起波長に対して、所定の波長の自家蛍光を発する検体や、所定の蛍光スペクトルを有する検体を抽出する（抽出ステップ）。この抽出処理により生成された情報を、ステップＳ７で画像化、例えば抽出した部分について、反射光画像に色相を重畳してその画像を表示してもよいし、抽出情報生成後、ステップＳ７、Ｓ８は行わずに処理を終了するようにしてもよい。
　ここまで、本発明を実施するための形態を説明してきたが、本発明は上述した実施の形態によってのみ限定されるべきものではない。上述した実施の形態では、検体中の微生物からの自家蛍光に基づいて蛍光スペクトルを生成し、微生物の種別を同定するものとして説明したが、微生物種に限らず、例えば分離した細胞等、レーザ光の照射によって特有の蛍光スペクトルを示す生物であれば適用することが可能である。
　また、上述した実施の形態では、三次元空間を走査して、自家蛍光データ、反射光データ及び対応データを生成するものとして説明したが、二次元空間（図３に示すＸＹ平面、ＸＺ平面及びＹＺ平面のいずれか）を走査して自家蛍光データ、反射光データ及び対応データを生成してもよいし、図３に示すＸ方向、Ｙ方向及びＺ方向のうちのいずれか一つの方向に走査するようにしてもよいし、空間における、ある一点の自家蛍光及び反射光を取得して自家蛍光データ、反射光データ及び対応データを生成してもよい。
　また、上述した実施の形態では、三次元画像を生成して表示するものとして説明したが、二次元画像を表示、又は視覚情報を重畳するものであってもよいし、ユーザからの操作入力によって表示する画像を選択するようにしてもよい。
　また、上述した実施の形態では、検体からの反射光により二次元画像及び三次元画像を生成するものとして説明したが、この他、特定の波長あるいは可視光によって可視化する手法、例えば共焦点反射顕微鏡法による立体可視化や微分干渉法による二次元の可視化、透過光による二次元の可視化等、公知の手法を用いて二次元画像や三次元画像を生成するようにしてもよい。
　また、上述した実施の形態では、検出器１０９が、反射型回折格子及び光電子増倍管（ＰＭＴ）を用いて構成されるものとして説明したが、この他、例えば、音響光学ビームスプリッター（例えば、ライカ社のＡＯＢＳ（登録商標））、高感度検出器（ＨｙＤ検出器）、及び検出器の前段に設けられる可動スリット構造からなる検出器としてもよい。この検出器は、上述した構成により、例えば１ｎｍごとの波長に分離したデータを取得することが可能である。
　また、上述した実施の形態では、画像に対して設定された色相を重畳するものとして説明したが、色相に限らず、網掛けを重畳する等、視覚的に識別可能なものであれば適用可能である。
　また、上述した実施の形態では、レーザ光を用いて反射光又は自家蛍光を取得するようにしたが、レーザ光のような指向性の高い光に限らず、指向性の低い光（例えばハロゲンランプによる光）を集光して試料に照射することによって反射光又は自家蛍光を取得するようにしてもよい。例えば、レーザ光により自家蛍光を取得し、ハロゲンランプを用いて反射光を取得したり、ハロゲンランプを用いて自家蛍光を取得し、レーザ光により反射光を取得したり、ハロゲンランプを用いて自家蛍光及び反射光を取得したりしてもよい。また、光の波長は、フィルタを通過したものや、プリズムによって分光したものでもよい。
　また、上述した実施の形態では、複数の励起波長ごとの蛍光スペクトルを用いて種別を同定するものとして説明したが、同定可能であれば、一つの励起波長に対応する蛍光スペクトルにより種別を同定するようにしてもよい。また、上述した実施の形態では、得られた蛍光スペクトルと、既知の蛍光スペクトルのピーク位置を比較して解析するものとして説明したが、ピークの強度や、ピークの強度比等を用いて解析するようにしてもよい。強度を用いて解析する場合、自家蛍光データは、位置ごとかつ励起波長ごとに検出された自家蛍光の強度を対応付けたデータとなる。
　このように、本発明は、請求の範囲に記載した技術的思想を逸脱しない範囲内において、様々な実施の形態を含みうるものである。
　以上のように、本発明にかかるデータ作成方法及びデータ使用方法は、試料を非侵襲のまま解析することができるとともに、その対象の空間的な位置情報を取得するのに有用である。
　１　顕微鏡システム
　１００　共焦点レーザスキャン顕微鏡
　１０１　ステージ
　１０２　対物レンズ
　１０３　レーザ光源
　１０４　レンズ
　１０５　コリメートレンズ
　１０６　ビームスプリッター
　１０７　結像レンズ
　１０８　コンフォーカルピンホール
　１０９　検出器
　１１０　走査ミラー
　２００　制御装置
　２０１　制御部
　２０２　入力部
　２０３　レーザ制御部
　２０４　走査制御部
　３００　画像処理装置
　３０１　検出信号受信部
　３０２　データ生成部
　３０２ａ　自家蛍光データ生成部
　３０２ｂ　反射光データ生成部
　３０２ｃ　対応データ生成部
　３０３　二次元画像生成部
　３０４　三次元画像生成部
　３０５　データ解析部
　３０６　色相重畳部
　３０７　記録部
　３０８　解析情報記録部
　４００　表示装置

Claims (19)

  1. 　所定の波長の励起光の焦点を所定の焦点面上の１つの座標に配置して、該座標に位置する試料に前記励起光を照射することによって、試料由来の自家蛍光を取得して、自家蛍光の強度データ及び／又はスペクトルデータを含む自家蛍光データを生成する自家蛍光データ生成ステップと、
    　前記所定の焦点面上の１つの座標に照射光を照射することによって、前記試料が散乱させた反射光を取得し、該反射光の強度データを生成する反射光データ生成ステップと、
    　前記所定の焦点面上の１つの座標における前記自家蛍光データと、前記反射光の強度データとを対応付けた対応データを作成する対応データ作成ステップとを含む、
    　データ作成方法。
  2. 　前記所定の焦点面上の互いに異なる複数の座標において実施されるものである、
    　請求項１に記載のデータ作成方法。
  3. 　互いに異なる複数の焦点面において実施されるものである、
    　請求項１又は２に記載のデータ作成方法。
  4. 　前記自家蛍光データ生成ステップにおいて、波長の異なる複数の励起光の照射を実施し、該複数の励起光により得られた各自家蛍光の前記スペクトルデータにより構成されるスペクトルプロファイルデータを含む前記自家蛍光データを作成する、
    　請求項１~３のいずれかに記載のデータ作成方法。
  5. 　前記反射光データ生成ステップは、前記波長の異なる複数の励起光のいずれかの励起光を用いて前記反射光を取得する、
    　請求項４に記載のデータ作成方法。
  6. 　前記反射光データ生成ステップは、前記波長の異なる複数の励起光のすべての励起光を用いて前記反射光を取得する、
    　請求項４に記載のデータ作成方法。
  7. 　前記自家蛍光データ生成ステップは、前記反射光データ生成ステップにおいて所定の強度以上の反射光が得られた座標においてのみ実施する、
    　請求項１~６のいずれかに記載のデータ作成方法。
  8. 　前記自家蛍光データ生成ステップは、前記反射光データ生成ステップにおいて所定の強度以上の反射光が得られた複数の座標と、該複数の座標によって取り囲まれる領域であって、前記試料の内部に相当する領域の内部に位置する一つ又は複数の座標とにおいて実施する、
    　請求項１~６のいずれかに記載のデータ作成方法。
  9. 　前記励起光及び前記照射光は、少なくとも一方がレーザ光である、
    　請求項１~８のいずれかに記載のデータ作成方法。
  10. 　請求項１~９のいずれかに記載のデータ作成方法によって前記対応データを生成し、複数の試料の自家蛍光データを比較することによって、試料の状態との相関を見出すデータ使用方法。
  11. 　機械学習により前記相関が見出されるものである、請求項１０に記載のデータ使用方法。
  12. 　請求項１~９のいずれかに記載のデータ作成方法によって前記対応データを生成し、既知試料の自家蛍光データと未知試料の自家蛍光データとを比較することによって、未知試料の同定又は評価を行うデータ使用方法。
  13. 　機械学習により既知試料の特徴付けが行われるものである、請求項１２に記載のデータ使用方法。
  14. 　試料が、動物細胞、植物細胞、酵母細胞、真菌類細胞、微細藻類細胞、細菌類、古細菌類、ウイルス、ファージのいずれか及びそれらが産生する胞子、芽胞、膜小胞のいずれかである請求項１０~１３のいずれかに記載のデータ使用方法。
  15. 　前記試料の状態が、試料の代謝状態又は生理状態に関するものである請求項１０又は１１に記載のデータ使用方法。
  16. 　前記未知試料の同定が、生物学上の界、門、綱、目、科、属、種、品種、病原型又は抗原型を同定するものである請求項１２又は１３に記載のデータ使用方法。
  17. 　前記未知試料の同定が、微生物学上の株又は亜株である請求項１２又は１３に記載のデータ使用方法。
  18. 　前記未知試料の評価が、代謝状態又は生理状態に関するものである請求項１２又は１３に記載のデータ使用方法。
  19. 　所定の波長の光の焦点を所定の焦点面上の１つの座標に配置して、該座標に位置する試料に前記光からなる励起光を照射することによって、試料由来の自家蛍光を取得して、自家蛍光の強度データ及び／又はスペクトルデータを含む自家蛍光データを生成する自家蛍光データ生成ステップと、
    　前記所定の焦点面上の１つの座標に照射光を照射することによって、前記試料が散乱させた反射光を取得し、該反射光の強度データを生成する反射光データ生成ステップと、
    　前記所定の焦点面上の１つの座標における前記自家蛍光データと、前記反射光の強度データとを対応付けた対応データを作成する対応データ作成ステップと、
    　前記自家蛍光データ生成ステップ、反射光データ生成ステップ、及び対応データ作成ステップを互いに異なる複数の焦点面において繰り返す繰り返しステップと、
    　前記繰り返しステップにより得られた前記対応データを用いて、所定の特性を有する集団を抽出する抽出ステップとを含む、
    　データ使用方法。
PCT/JP2017/047414 2016-12-22 2017-12-22 データ作成方法及びデータ使用方法 WO2018117273A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP17884719.0A EP3561490A4 (en) 2016-12-22 2017-12-22 METHOD OF CREATING DATA AND METHOD OF USING DATA
US16/472,727 US11002678B2 (en) 2016-12-22 2017-12-22 Data creation method and data use method
JP2018513685A JP6422616B1 (ja) 2016-12-22 2017-12-22 データ作成方法及びデータ使用方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016249896 2016-12-22
JP2016-249896 2016-12-22

Publications (1)

Publication Number Publication Date
WO2018117273A1 true WO2018117273A1 (ja) 2018-06-28

Family

ID=62627799

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/047414 WO2018117273A1 (ja) 2016-12-22 2017-12-22 データ作成方法及びデータ使用方法

Country Status (4)

Country Link
US (1) US11002678B2 (ja)
EP (1) EP3561490A4 (ja)
JP (3) JP6422616B1 (ja)
WO (1) WO2018117273A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020018249A (ja) * 2018-08-02 2020-02-06 国立大学法人山梨大学 コロニー識別システム、コロニー識別方法およびコロニー識別プログラム
CN112699737A (zh) * 2020-12-10 2021-04-23 陈艳 一种基于生物的立体轮廓的属种鉴别***以及鉴别方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220154243A1 (en) * 2019-04-02 2022-05-19 National Institute For Materials Science Measurement apparatus, measurement method, program, and biosensor
JP2022535889A (ja) * 2019-06-07 2022-08-10 ビーエーエスエフ コーティングス ゲゼルシャフト ミット ベシュレンクテル ハフツング 蛍光表面構造及び反射防止表面構造を用いた物体認識のシステム及び方法
CN114127797A (zh) * 2019-06-07 2022-03-01 巴斯夫涂料有限公司 用于在自然光和/或人造光下进行对象识别的***和方法
WO2021095256A1 (ja) * 2019-11-15 2021-05-20 オリンパス株式会社 画像処理システム、画像処理方法、及び、プログラム
FR3103900A1 (fr) * 2019-11-29 2021-06-04 Universite Du Mans Méthode d'identification rapide de microorganismes par analyse de matrices excitation-émission
GB2600719B (en) * 2020-11-05 2023-10-11 Oxford Nanoimaging Ltd Fluorescence assay
JP7190534B1 (ja) * 2021-06-14 2022-12-15 アサヒ飲料株式会社 微生物の検出方法
WO2023008369A1 (ja) 2021-07-30 2023-02-02 キヤノン株式会社 細胞自家蛍光の画像を用いて細胞を分類する方法及び解析装置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003008634A1 (fr) 2001-07-18 2003-01-30 Asahi Breweries, Ltd. Dispositif et procede d'analyse de microbes
JP2005502354A (ja) 2001-09-06 2005-01-27 ジェノミック プロファイリング システムズ インコーポレイティッド 複製細胞の迅速な検出
JP2006526767A (ja) * 2003-06-03 2006-11-24 ブリティッシュ・コロンビア・キャンサー・エイジェンシー 多重の励起−発光対と、同時多チャンネル画像検出器とを用いる、蛍光結像方法と装置
JP2010527017A (ja) * 2007-05-16 2010-08-05 ナショナル ユニバーシティー オブ アイルランド， ゴールウェイ 分光学的データを使用し、材料または化学物質の分類および混合物中の材料または化学物質の特性を定量化するカーネル型方法および装置
WO2010101225A1 (ja) * 2009-03-04 2010-09-10 学校法人 東京女子医科大学 細胞シートを利用した細胞評価システム及びその利用方法
JP2012511905A (ja) 2008-12-16 2012-05-31 バイオメリュー・インコーポレイテッド 固体又は半固体培地上の微生物のキャラクタリゼーション方法
JP2015008727A (ja) * 2013-06-27 2015-01-19 中國醫藥大學 ハイパースペクトル利用の組織細胞画像分析のシステム及び方法
JP2015522249A (ja) * 2012-04-04 2015-08-06 ベーイーオー・メリュー 分光分析および構造化分類による微生物の同定
JP2015204813A (ja) 2014-04-23 2015-11-19 国立研究開発法人産業技術総合研究所 微生物の１６ＳｒＲＮＡ遺伝子定量用内部標準遺伝子
WO2016011534A1 (en) * 2014-07-24 2016-01-28 University Health Network Collection and analysis of data for diagnostic purposes
JP2016034925A (ja) * 2014-08-04 2016-03-17 国立大学法人東京農工大学 新規珪藻タンパク質及びその利用

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05127089A (ja) * 1991-11-01 1993-05-25 Fuji Photo Film Co Ltd 走査型顕微鏡
JP3568846B2 (ja) * 1999-11-18 2004-09-22 日本電信電話株式会社 ３次元イメージ取得方法及びその装置
JP2002095634A (ja) * 2000-09-26 2002-04-02 Fuji Photo Film Co Ltd 内視鏡装置
JP2006263044A (ja) * 2005-03-23 2006-10-05 Fuji Photo Film Co Ltd 蛍光検出システム
US20090242797A1 (en) * 2008-03-31 2009-10-01 General Electric Company System and method for multi-mode optical imaging
EP2322075B1 (en) * 2009-03-30 2012-12-05 Olympus Medical Systems Corp. Fluorescence observation device
JP5255514B2 (ja) * 2009-05-01 2013-08-07 株式会社ニデック 眼科撮影装置
EP2585811A4 (en) * 2010-06-25 2017-12-20 Cireca Theranostics, LLC Method for analyzing biological specimens by spectral imaging
JP6314454B2 (ja) * 2013-12-04 2018-04-25 横河電機株式会社 細胞検査装置および細胞検査方法
US10058256B2 (en) * 2015-03-20 2018-08-28 East Carolina University Multi-spectral laser imaging (MSLI) methods and systems for blood flow and perfusion imaging and quantification
WO2016187141A1 (en) * 2015-05-15 2016-11-24 The Regents Of The University Of California Dynamic contrast optical coherence tomography and endogenously-derived constrast agents

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003008634A1 (fr) 2001-07-18 2003-01-30 Asahi Breweries, Ltd. Dispositif et procede d'analyse de microbes
JP2005502354A (ja) 2001-09-06 2005-01-27 ジェノミック プロファイリング システムズ インコーポレイティッド 複製細胞の迅速な検出
JP2006526767A (ja) * 2003-06-03 2006-11-24 ブリティッシュ・コロンビア・キャンサー・エイジェンシー 多重の励起−発光対と、同時多チャンネル画像検出器とを用いる、蛍光結像方法と装置
JP2010527017A (ja) * 2007-05-16 2010-08-05 ナショナル ユニバーシティー オブ アイルランド， ゴールウェイ 分光学的データを使用し、材料または化学物質の分類および混合物中の材料または化学物質の特性を定量化するカーネル型方法および装置
JP2012511905A (ja) 2008-12-16 2012-05-31 バイオメリュー・インコーポレイテッド 固体又は半固体培地上の微生物のキャラクタリゼーション方法
WO2010101225A1 (ja) * 2009-03-04 2010-09-10 学校法人 東京女子医科大学 細胞シートを利用した細胞評価システム及びその利用方法
JP2015522249A (ja) * 2012-04-04 2015-08-06 ベーイーオー・メリュー 分光分析および構造化分類による微生物の同定
JP2015008727A (ja) * 2013-06-27 2015-01-19 中國醫藥大學 ハイパースペクトル利用の組織細胞画像分析のシステム及び方法
JP2015204813A (ja) 2014-04-23 2015-11-19 国立研究開発法人産業技術総合研究所 微生物の１６ＳｒＲＮＡ遺伝子定量用内部標準遺伝子
WO2016011534A1 (en) * 2014-07-24 2016-01-28 University Health Network Collection and analysis of data for diagnostic purposes
JP2016034925A (ja) * 2014-08-04 2016-03-17 国立大学法人東京農工大学 新規珪藻タンパク質及びその利用

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
R. J. PALMERC. STERNBERG, CURR. OPIN. BIOTECH., vol. 10, 1999, pages 263
Y. YAWATAK. TODAE. SETOYAMAJ. FUKUDAH. SUZUKIH. UCHIYAMAN.NOMURA, J. BIOSCI. BIOENG., vol. 110, 2010, pages 377
YOSHIMURA, MASATOSHI ET AL.: "Discrimination of bacterial species by fluorescence fingerprint spectroscopy with PLS-DA", 2016 ANNUAL MEETING OF THE SPECTROSCOPIAL SOCIETY OF JAPAN; MAY 24-26, 2016, 7 June 2016 (2016-06-07), JAPAN, pages 52, XP009519181 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020018249A (ja) * 2018-08-02 2020-02-06 国立大学法人山梨大学 コロニー識別システム、コロニー識別方法およびコロニー識別プログラム
JP7148776B2 (ja) 2018-08-02 2022-10-06 国立大学法人山梨大学 コロニー識別システム、コロニー識別方法およびコロニー識別プログラム
CN112699737A (zh) * 2020-12-10 2021-04-23 陈艳 一种基于生物的立体轮廓的属种鉴别***以及鉴别方法

Also Published As

Publication number Publication date
EP3561490A4 (en) 2020-07-15
EP3561490A1 (en) 2019-10-30
US20200386684A1 (en) 2020-12-10
JPWO2018117273A1 (ja) 2018-12-20
US11002678B2 (en) 2021-05-11
JP6422616B1 (ja) 2018-11-14
JP2022140443A (ja) 2022-09-26
JP2019012084A (ja) 2019-01-24
JP7336654B2 (ja) 2023-09-01
JP7105483B2 (ja) 2022-07-25

Similar Documents

Publication Publication Date Title
JP6422616B1 (ja) データ作成方法及びデータ使用方法
US9569828B2 (en) Method and apparatus for the imaging of a labeled biological sample
Cox Super-resolution imaging in live cells
US7420674B2 (en) Method and arrangement for analyzing samples
JP3035698B2 (ja) 蛍光による微生物の高速且つ高感度な検出及び計数のための装置及び方法
US9383570B2 (en) Image analysis method and image analysis apparatus
US20050036667A1 (en) Systems and methods for volumetric tissue scanning microscopy
Mannam et al. Machine learning for faster and smarter fluorescence lifetime imaging microscopy
JP6715180B2 (ja) 超解像顕微鏡の、又はそれに関する改良
JPWO2018203568A1 (ja) 細胞評価システム及び方法、細胞評価プログラム
JP4029983B2 (ja) 微生物の検査装置および検査方法
US20230384223A1 (en) Method and fluorescence microscope for determining the location of individual fluorescent dye molecules by means of adaptive scanning
JP2019091307A (ja) コンピュータプログラム、検出装置、撮像装置、サーバ、画像データ、検出器、検出方法及び提供方法
JP4539342B2 (ja) 解析装置、顕微鏡、および、解析プログラム
Grigoryeva et al. Confocal laser scanning microscopy for spectroscopic studies of living photosynthetic cells
JP2022122181A (ja) 補正パラメータ設定方法及びデータ補正方法
EP4166930A1 (en) Method, device, microscope and computer program for analyzing microscopy data
Cha et al. Spectral-resolved multifocal multiphoton microscopy with multianode photomultiplier tubes
JP2022130156A (ja) 細胞の表現型と自家蛍光の対応データ作成方法及びデータ使用方法
US10845357B2 (en) Observation system
JP6820332B2 (ja) デジタル蛍光画像を作成するための方法
Dahms et al. Advanced microscopy in mycology
Wang et al. A single-shot hyperspectral phasor camera for fast, multi-color fluorescence microscopy
Owen et al. Co‐Localisation and Correlation in Fluorescence Microscopy Data
JP2023137105A (ja) 品質評価方法及び品質評価プログラム

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2018513685

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17884719

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017884719

Country of ref document: EP

Effective date: 20190722