WO2023189393A1 - 生体試料観察システム、情報処理装置及び画像生成方法 - Google Patents

生体試料観察システム、情報処理装置及び画像生成方法 Download PDF

Info

Publication number
WO2023189393A1
WO2023189393A1 PCT/JP2023/009189 JP2023009189W WO2023189393A1 WO 2023189393 A1 WO2023189393 A1 WO 2023189393A1 JP 2023009189 W JP2023009189 W JP 2023009189W WO 2023189393 A1 WO2023189393 A1 WO 2023189393A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
information
deconvolution
observation
intensity distribution
Prior art date
Application number
PCT/JP2023/009189
Other languages
English (en)
French (fr)
Inventor
萌絵 坂田
克尚 神明
和博 中川
哲朗 桑山
歩 田口
憲治 池田
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2023189393A1 publication Critical patent/WO2023189393A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements

Definitions

  • the present disclosure relates to a biological sample observation system, an information processing device, and an image generation method.
  • Patent No. 6928757 Japanese Patent Application Publication No. 2014-164004 International Publication No. 2019/053768
  • the present disclosure proposes a biological sample observation system, an information processing device, and an image generation method that can suppress blurring of fluorescence images.
  • a biological sample observation system includes an irradiation unit that irradiates a sample including a biological sample with a plurality of line-shaped lights, and a plurality of observation slits that respectively correspond to the plurality of line-shaped lights.
  • An information processing device optimizes a point spread intensity distribution function for each observation slit in a line confocal fluorescence microscope that simultaneously performs imaging in a plurality of lines, and optimizes the point spread intensity distribution function and fluorescence.
  • the image processing unit includes an image processing unit that deconvolves the image.
  • An image generation method optimizes a point spread intensity distribution function for each observation slit in a line confocal fluorescence microscope that simultaneously performs imaging in a plurality of lines, and optimizes the point spread intensity distribution function and fluorescence. Deconvolve the image.
  • FIG. 1 is a diagram illustrating an example of a schematic configuration of an information processing system according to an embodiment of the present disclosure.
  • 1 is a diagram illustrating an example of a schematic configuration of a fluorescence observation apparatus according to an embodiment of the present disclosure.
  • FIG. 1 is a diagram illustrating an example of a schematic configuration of an observation unit according to an embodiment of the present disclosure.
  • FIG. 2 is a diagram illustrating an example of a sample according to an embodiment of the present disclosure.
  • FIG. 2 is an enlarged view showing a region where a sample is irradiated with line illumination according to an embodiment of the present disclosure.
  • FIG. 3 is a diagram for explaining focus evaluation for each observation slit according to an embodiment of the present disclosure.
  • FIG. 1 is a diagram illustrating an example of a schematic configuration of an information processing system according to an embodiment of the present disclosure.
  • 1 is a diagram illustrating an example of a schematic configuration of a fluorescence observation apparatus according to an embodiment of the present disclosure.
  • FIG. 1
  • FIG. 3 is a diagram showing a chart taken for each observation slit (excitation wavelength) according to an embodiment of the present disclosure.
  • FIG. 3 is a diagram showing pinhole imaging data according to an embodiment of the present disclosure.
  • FIG. 7 is a diagram showing signal waveforms of a center pinhole and an end pinhole in pinhole imaging data according to an embodiment of the present disclosure.
  • FIG. 2 is a diagram for explaining a pinhole sample according to an embodiment of the present disclosure. It is a flowchart which shows the flow of the 1st example of processing concerning an embodiment of this indication.
  • FIG. 2 is a diagram for explaining generation of an optimal PSF (Point Spread Function) according to an embodiment of the present disclosure.
  • FIG. 3 is a diagram showing fluorescence images and cell analysis result images before and after deconvolution according to an embodiment of the present disclosure.
  • 12 is a flowchart showing the flow of a second processing example according to an embodiment of the present disclosure.
  • FIG. 7 is a diagram for explaining a second processing example according to an embodiment of the present disclosure.
  • FIG. 3 is a diagram showing a bead fluorescence image after color separation according to an embodiment of the present disclosure.
  • FIG. 3 is a diagram for explaining evaluation results of deconvolution effects according to an embodiment of the present disclosure.
  • FIG. 3 is a diagram showing pinhole imaging data according to an embodiment of the present disclosure.
  • FIG. 3 is a diagram for explaining region division in a bead fluorescence image (deconvolution target image) according to an embodiment of the present disclosure.
  • FIG. 12 is a flowchart showing the flow of variation 1 of the third processing example according to the embodiment of the present disclosure.
  • FIG. 3 is a diagram for explaining evaluation results of deconvolution effects according to an embodiment of the present disclosure.
  • FIG. 3 is a diagram for explaining preparation of an optimal PSF for each region in pinhole imaging data according to an embodiment of the present disclosure.
  • FIG. 6 is a diagram for explaining a mixing ratio as a result of deconvoluting the entire image according to the embodiment of the present disclosure.
  • 12 is a flowchart showing the flow of a second processing example according to an embodiment of the present disclosure. It is a flowchart which shows the flow of the modification of the 2nd processing example concerning an embodiment of this indication.
  • FIG. 3 is a diagram showing a bead fluorescence image after color separation according to an embodiment of the present disclosure.
  • FIG. 3 is a diagram for explaining evaluation results of deconvolution effects according to an embodiment of the present disclosure.
  • 12 is a flowchart illustrating an example of the flow of evaluation processing of an ideal waveform and a deconvoluted waveform according to an embodiment of the present disclosure.
  • FIG. 3 is a diagram for explaining creation of a PSF for each pinhole according to an embodiment of the present disclosure.
  • FIG. 2 is a diagram showing an ideal waveform, a waveform obtained by blurring the ideal waveform with PSF, and a waveform obtained by deconvoluting the waveform with PSF, according to an embodiment of the present disclosure.
  • FIG. 6 is a diagram showing a waveform after deconvolving a blurred image and a PSF for each location according to an embodiment of the present disclosure using deconvlucy.
  • FIG. 7 is a diagram showing a waveform after deconvolving a blurred image and a PSF for each location according to an embodiment of the present disclosure using deconvwnr.
  • FIG. 6 is a diagram showing a waveform after deconvolving a blurred image and a PSF for each location according to an embodiment of the present disclosure using deconvreg.
  • FIG. 6 is a diagram showing edge evaluation results of a waveform after deconvolution of a blurred image and a PSF for each location according to an embodiment of the present disclosure.
  • 12 is a flowchart illustrating an example of the flow of evaluation processing of an ideal waveform and a deconvoluted waveform according to an embodiment of the present disclosure.
  • FIG. 7 is a diagram showing a waveform after a blurred image and a PSF for each observation slit are deconvoluted using deconvlucy according to an embodiment of the present disclosure.
  • FIG. 6 is a diagram showing a waveform after deconvolution of a blurred image and a PSF for each observation slit according to an embodiment of the present disclosure using deconvwnr.
  • FIG. 6 is a diagram showing a waveform after deconvolving a blurred image and a PSF for each observation slit according to an embodiment of the present disclosure using deconvreg.
  • FIG. 6 is a diagram showing edge evaluation results of a waveform after deconvolution of a blurred image and a PSF for each observation slit according to an embodiment of the present disclosure.
  • FIG. 1 is a diagram illustrating an example of a schematic hardware configuration of an information processing device.
  • One or more embodiments (including examples and modifications) described below can each be implemented independently. On the other hand, at least a portion of the plurality of embodiments described below may be implemented in combination with at least a portion of other embodiments as appropriate. These multiple embodiments may include novel features that are different from each other. Therefore, these multiple embodiments may contribute to solving mutually different objectives or problems, and may produce mutually different effects.
  • Embodiment 1-1 Configuration example of information processing system 1-2.
  • FIG. 1 is a diagram showing an example of a schematic configuration of an information processing system according to this embodiment.
  • the information processing system is an example of a biological sample observation system.
  • the information processing system includes an information processing device 100 and a database 200. As inputs to this information processing system, there are a fluorescent reagent 10A, a specimen 20A, and a fluorescently stained specimen 30A.
  • Fluorescent reagent 10A is a chemical used for staining specimen 20A.
  • the fluorescent reagent 10A is, for example, a fluorescent antibody, a fluorescent probe, or a nuclear staining reagent, but the type of the fluorescent reagent 10A is not particularly limited thereto.
  • Fluorescent antibodies include, for example, primary antibodies used for direct labeling, or secondary antibodies used for indirect labeling.
  • the fluorescent reagent 10A is managed with identification information that can identify the fluorescent reagent 10A and the manufacturing lot of the fluorescent reagent 10A.
  • the reagent identification information 11A is, for example, barcode information such as one-dimensional barcode information or two-dimensional barcode information, but is not limited thereto. Even if the fluorescent reagent 10A is a product of the same type, its properties differ depending on the production lot depending on the production method, the state of the cells from which the antibody was obtained, and the like. For example, in the fluorescent reagent 10A, spectral information, quantum yield, fluorescent labeling rate, etc. differ for each production lot. The fluorescence labeling rate is also called “F/P value: Fluorescein/Protein" and refers to the number of fluorescent molecules that label an antibody.
  • the fluorescent reagent 10A is managed for each production lot by being assigned reagent identification information 11A.
  • the reagent information for each fluorescent reagent 10A is managed for each manufacturing lot.
  • the information processing device 100 can separate the fluorescent signal and the autofluorescent signal while taking into consideration slight differences in properties that appear from manufacturing lot to manufacturing lot. Note that it is only an example that the fluorescent reagent 10A is managed in units of manufacturing lots, and the fluorescent reagents 10A may be managed in units smaller than manufacturing lots.
  • the specimen 20A is prepared from a specimen or tissue sample collected from a human body for the purpose of pathological diagnosis or clinical examination.
  • the type of tissue used such as an organ or cell
  • the type of disease of interest such as the attributes of the subject such as age, sex, blood type, or race, or, for example, dietary habits and exercise habits.
  • the lifestyle habits of the subject such as smoking habits.
  • the specimens 20A are managed with identification information that allows each specimen 20A to be identified.
  • specimen identification information 21A is, for example, barcode information such as one-dimensional barcode information or two-dimensional barcode information, but is not limited thereto.
  • the properties of the specimen 20A vary depending on the type of tissue used, the type of disease targeted, the attributes of the subject, or the lifestyle habits of the subject. For example, in the sample 20A, measurement channels or spectrum information differ depending on the type of tissue used. Therefore, in the information processing system according to this embodiment, the specimens 20A are individually managed by being assigned specimen identification information 21A. Thereby, the information processing device 100 can separate the fluorescent signal and the autofluorescent signal while taking into consideration the slight differences in properties that appear for each sample 20A.
  • the fluorescently stained specimen 30A is created by staining the specimen 20A with the fluorescent reagent 10A.
  • the fluorescently stained specimen 30A assumes that the specimen 20A is stained with at least one fluorescent reagent 10A, but the number of fluorescent reagents 10A used for staining is not particularly limited. Further, the staining method is determined by the combination of the specimen 20A and the fluorescent reagent 10A, and is not particularly limited.
  • the fluorescently stained specimen 30A is input to the information processing device 100 and imaged.
  • the information processing device 100 includes an acquisition section 110, an image processing section 170, a storage section 120, a processing section 130, a display section 140, a control section 150, and an operation section 160. Be prepared.
  • the acquisition unit 110 is configured to acquire information used in various processes of the information processing apparatus 100. As shown in FIG. 1, the acquisition unit 110 includes an information acquisition unit 111 and an image acquisition unit 112.
  • the information acquisition unit 111 is configured to acquire reagent information and specimen information. More specifically, the information acquisition unit 111 acquires the reagent identification information 11A attached to the fluorescent reagent 10A used to generate the fluorescently stained specimen 30A, and the specimen identification information 21A attached to the specimen 20A. For example, the information acquisition unit 111 acquires the reagent identification information 11A and the specimen identification information 21A using a barcode reader or the like. The information acquisition unit 111 then acquires reagent information from the database 200 based on the reagent identification information 11A and specimen information based on the specimen identification information 21A. The information acquisition unit 111 stores the acquired information in an information storage unit 121, which will be described later.
  • the image acquisition unit 112 is configured to acquire image information of the fluorescently stained specimen 30A and the specimen 20A stained with at least one fluorescent reagent 10A. More specifically, the image acquisition unit 112 includes an arbitrary image pickup device such as a CCD or CMOS, and acquires image information by capturing an image of the fluorescently stained specimen 30A using the image pickup device.
  • image information is a concept that includes not only the image itself of the fluorescently stained specimen 30A, but also measurement values that are not visualized as an image.
  • the image information may include information regarding the wavelength spectrum of fluorescence emitted from the fluorescently stained specimen 30A.
  • the wavelength spectrum of the fluorescence will be referred to as a fluorescence spectrum.
  • the image acquisition unit 112 stores image information in an image information storage unit 122, which will be described later.
  • the image processing unit 170 processes image information of the fluorescently stained specimen 30A acquired by the image acquisition unit 112. For example, the image processing unit 170 performs blur correction on the image information of the fluorescently stained specimen 30A to remove blur from the image based on the image information. Processing related to this blur correction will be described in detail later.
  • the storage unit 120 is configured to store information used in various processes of the information processing apparatus 100 or information outputted from various processes. As shown in FIG. 1, the storage unit 120 includes an information storage unit 121, an image information storage unit 122, and an analysis result storage unit 123.
  • the information storage unit 121 is configured to store reagent information and specimen information acquired by the information acquisition unit 111. Note that after the analysis process by the analysis unit 131 and the image information generation process by the image generation unit 132, that is, the image information reconstruction process, which will be described later, are completed, the information storage unit 121 stores the reagent information and specimen used in the process. You can also increase free space by deleting information.
  • the image information storage unit 122 is configured to store image information of the fluorescently stained specimen 30A processed by the image processing unit 170. Note that, similarly to the information storage unit 121, after the analysis process by the analysis unit 131 and the image information generation process by the image generation unit 132, that is, the image information reconstruction process, the image information storage unit 122 performs processing. Free space may be increased by deleting used image information.
  • the analysis result storage unit 123 is configured to store the results of analysis processing performed by the analysis unit 131, which will be described later.
  • the analysis result storage unit 123 stores the fluorescence signal of the fluorescent reagent 10A or the autofluorescence signal of the specimen 20A separated by the analysis unit 131.
  • the analysis result storage unit 123 separately provides the results of the analysis process to the database 200 in order to improve the analysis accuracy through machine learning or the like. Note that, after providing the results of the analysis process to the database 200, the analysis result storage unit 123 may increase free space by appropriately deleting the results of the analysis process that it has stored.
  • the processing unit 130 is a functional configuration that performs various processes using image information, reagent information, and specimen information. As shown in FIG. 1, the processing section 130 includes an analysis section 131 and an image generation section 132.
  • the analysis unit 131 is configured to perform various analysis processes using image information, specimen information, and reagent information. For example, the analysis unit 131 performs a process (color separation process) of separating the autofluorescent signal of the specimen 20A and the fluorescent signal of the fluorescent reagent 10A from the image information based on the specimen information and reagent information.
  • a process color separation process
  • the analysis unit 131 recognizes one or more elements constituting the autofluorescence signal based on the measurement channel included in the specimen information. For example, the analysis unit 131 recognizes one or more autofluorescence components that constitute an autofluorescence signal. Then, the analysis unit 131 predicts the autofluorescence signal included in the image information using the spectrum information of these autofluorescence components included in the specimen information. Then, the analysis unit 131 separates the autofluorescence signal and the fluorescence signal from the image information based on the spectrum information of the fluorescent component of the fluorescent reagent 10A included in the reagent information and the predicted autofluorescence signal.
  • the analysis unit 131 when the specimen 20A is stained with two or more fluorescent reagents 10A, the analysis unit 131 generates image information based on the specimen information and reagent information, or from the fluorescent signal after being separated from the autofluorescent signal.
  • the fluorescent signals of these two or more fluorescent reagents 10A are separated.
  • the analysis unit 131 uses the spectrum information of the fluorescent component of each fluorescent reagent 10A included in the reagent information to separate the fluorescent signal of each fluorescent reagent 10A from the entire fluorescent signal after being separated from the autofluorescent signal. do.
  • the analysis unit 131 when the autofluorescence signal is composed of two or more autofluorescence components, the analysis unit 131 generates image information based on the specimen information and reagent information, or from the autofluorescence signal after being separated from the fluorescence signal. Separate the autofluorescent signal of each autofluorescent component. For example, the analysis unit 131 uses the spectral information of each autofluorescent component included in the specimen information to separate the autofluorescent signal of each autofluorescent component from the entire autofluorescent signal after being separated from the fluorescent signal.
  • the analysis unit 131 that has separated the fluorescent signal and the autofluorescent signal performs various processes using these signals.
  • the analysis unit 131 may extract a fluorescent signal from the image information of the other specimen 20A by performing a subtraction process on the image information of the other specimen 20A using the separated autofluorescent signal. .
  • the subtraction process is also called "background subtraction process.”
  • the autofluorescence signals of these specimens 20A are likely to be similar.
  • the similar specimens 20A here include, for example, a tissue section before staining of a tissue section to be stained, a section adjacent to a stained section, a section different from the stained section in the same block, or a section in a different block of the same tissue. , sections taken from different patients, etc.
  • the tissue section will be referred to as a section.
  • the same block was sampled from the same location as the stained section. Different blocks are stained sections sampled from different locations. Therefore, when an autofluorescence signal can be extracted from a certain specimen 20A, the analysis unit 131 removes the autofluorescence signal from the image information of the other specimen 20A, thereby extracting the fluorescence signal from the image information of the other specimen 20A. May be extracted. Furthermore, when calculating the S/N value using the image information of the other specimen 20A, the analysis unit 131 can improve the S/N value by using the background after removing the autofluorescence signal. can.
  • the analysis unit 131 can perform various processes using the separated fluorescent signal or autofluorescent signal. For example, the analysis unit 131 can use these signals to analyze the immobilization state of the specimen 20A, or to perform segmentation or region division to recognize the region of the object included in the image information.
  • the object is, for example, a cell, an intracellular structure, or a tissue.
  • Intracellular structures include, for example, cytoplasm, cell membrane, nucleus, and the like.
  • Tissues include, for example, tumor areas, non-tumor areas, connective tissues, blood vessels, blood vessel walls, lymph vessels, fibrotic structures, necrosis, and the like.
  • the image generation unit 132 is configured to generate or reconstruct image information based on the analysis result obtained by the analysis unit 131, for example, a fluorescence signal or an autofluorescence signal separated by the analysis unit 131.
  • the image generation unit 132 can generate image information that includes only fluorescent signals, or image information that includes only autofluorescent signals.
  • the image generation unit 132 generates image information for each component. be able to.
  • the analysis unit 131 performs various processes using the separated fluorescent signal or autofluorescent signal
  • the image generation unit 132 may generate image information indicating the results of those processes.
  • Examples of the various processes include analysis of the fixation state of the specimen 20A, segmentation, and calculation of the S/N value.
  • the distribution information of the fluorescent reagent 10A labeled on the target molecule, etc. that is, the two-dimensional spread, intensity, wavelength, and positional relationship of the fluorescence can be visualized. Visibility for users such as doctors and researchers can be improved in the tissue image analysis area.
  • the image generation unit 132 may generate image information by controlling to distinguish the fluorescence signal from the autofluorescence signal based on the fluorescence signal or the autofluorescence signal separated by the analysis unit 131. Specifically, it improves the brightness of the fluorescence spectrum of the fluorescent reagent 10A labeled with the target molecule, extracts only the fluorescence spectrum of the labeled fluorescent reagent 10A, and changes color. Extracting the fluorescence spectra of two or more fluorescent reagents 10A from the sample 20A and changing each color to a different color, extracting only the autofluorescence spectrum of the sample 20A and dividing or subtracting it, improving the dynamic range, etc. Information may be generated. This allows the user to clearly distinguish the color information derived from the fluorescent reagent bound to the desired target substance, thereby improving visibility for the user.
  • the display unit 140 is configured to present the image information generated by the image generation unit 132 to the user by displaying it on a display.
  • the type of display used as the display section 140 is not particularly limited.
  • the image information generated by the image generation unit 132 may be presented to the user by being projected by a projector or printed by a printer. In other words, the method of outputting image information is not particularly limited.
  • the control unit 150 is a functional configuration that centrally controls the overall processing performed by the information processing device 100.
  • the control unit 150 controls the start and end of various processes as described above based on operation input by the user via the operation unit 160.
  • the various processes include, for example, an imaging process of the fluorescently stained specimen 30A, an analysis process, an image information generation process, an image information display process, and the like.
  • the image information generation process includes, for example, an image information reconstruction process.
  • the control content of the control unit 150 is not particularly limited.
  • the control unit 150 may control processing commonly performed in general-purpose computers, PCs, tablet PCs, etc., such as processing related to an OS (Operating System).
  • the operation unit 160 is configured to receive operation input from the user. More specifically, the operation unit 160 includes various input means such as a keyboard, mouse, button, touch panel, or microphone, and the user can perform various operations on the information processing apparatus 100 by operating these input means. You can make various inputs. Information regarding the operation input performed via the operation unit 160 is provided to the control unit 150.
  • the database 200 is a device that manages specimen information, reagent information, and analysis processing results. More specifically, the database 200 manages the specimen identification information 21A and specimen information, and the reagent identification information 11A and reagent information in association with each other. Thereby, the information acquisition unit 111 can acquire specimen information from the database 200 based on the specimen identification information 21A of the specimen 20A to be measured, and reagent information based on the reagent identification information 11A of the fluorescent reagent 10A.
  • the specimen information managed by the database 200 is information including measurement channels and spectrum information specific to the autofluorescent component contained in the specimen 20A.
  • the specimen information includes target information for each specimen 20A, specifically, the type of tissue used, such as organs, cells, blood, body fluids, ascites, and pleural effusion, and the target disease.
  • Information about the type of sample, attributes of the subject, such as age, gender, blood type, or race, or lifestyle habits of the subject, such as diet, exercise habits, or smoking habits, may also be included.
  • the information including the measurement channel and spectrum information specific to the autofluorescent component included in the sample 20A and the target information may be linked for each sample 20A.
  • tissue used is not particularly limited to tissue collected from a subject, but also includes in-vivo tissues and cell lines of humans and animals, as well as solutions, solvents, solutes, and materials contained in the measurement target. It's okay.
  • the reagent information managed by the database 200 includes the spectrum information of the fluorescent reagent 10A, as described above.
  • Information regarding the fluorescent reagent 10A such as labeling rate, quantum yield, fading coefficient, and absorption cross section or molar extinction coefficient, may be included.
  • the fading coefficient is information indicating how easily the fluorescence intensity of the fluorescent reagent 10A can be reduced.
  • the specimen information and reagent information managed by the database 200 may be managed in different configurations, and in particular, information regarding reagents may be a reagent database that presents the optimal combination of reagents to the user.
  • the specimen information and reagent information are provided by a manufacturer or the like, or are independently measured within the information processing system according to the present disclosure.
  • the manufacturer of the fluorescent reagent 10A often does not measure and provide spectral information, fluorescent labeling rate, etc. for each manufacturing lot. Therefore, by independently measuring and managing this information within the information processing system according to the present disclosure, the accuracy of separating fluorescent signals and autofluorescent signals can be improved.
  • the database 200 may use catalog values published by manufacturers or literature values described in various documents as specimen information and reagent information, particularly reagent information. .
  • actual specimen information and reagent information are often different from catalog values and literature values, so specimen information and reagent information are not measured independently within the information processing system according to the present disclosure, as described above. Better to be controlled.
  • machine learning technology that uses specimen information, reagent information, and analysis results managed in the database 200 can improve the accuracy of analysis processing, such as separation of fluorescent signals and autofluorescence signals. obtain.
  • the entity that performs learning using machine learning technology or the like is not particularly limited, in this embodiment, a case where the analysis unit 131 of the information processing device 100 performs the learning will be described as an example.
  • the analysis unit 131 performs machine learning using learning data in which fluorescent signals and autofluorescent signals after separation are associated with image information, specimen information, and reagent information used for separation using a neural network. Generate a classifier or estimator. Then, when image information, specimen information, and reagent information are newly acquired, the analysis unit 131 inputs the information to a classifier or an estimator to detect fluorescence signals and autofluorescence signals included in the image information. can be predicted and output.
  • a method for improving the separation process of fluorescent signals and autofluorescent signals based on the above may be output.
  • the separation process is, for example, a separation process in which similar image information, specimen information, or reagent information is used.
  • the contents of the process include, for example, information and parameters used in the process.
  • the machine learning method is not limited to the above, and known machine learning techniques may be used.
  • separation processing between fluorescent signals and autofluorescent signals may be performed by artificial intelligence.
  • various processing using fluorescent signals or autofluorescent signals after separation such as analysis of the immobilization state of specimen 20A or segmentation, etc. can be performed using machine learning technology. It may be improved by
  • the configuration example of the information processing system according to the present embodiment has been described above. Note that the above configuration described with reference to FIG. 1 is just an example, and the configuration of the information processing system according to this embodiment is not limited to this example.
  • the information processing device 100 does not necessarily have to include all of the functional configurations shown in FIG. Further, the information processing device 100 may include a database 200 therein.
  • the functional configuration of the information processing device 100 can be flexibly modified according to specifications and operation.
  • the information processing device 100 may perform processing other than the processing described above. For example, by including information such as the quantum yield, fluorescent labeling rate, absorption cross section, or molar extinction coefficient regarding the fluorescent reagent 10A in the reagent information, the information processing device 100 can generate image information from which autofluorescence signals have been removed. , and reagent information may be used to calculate the number of fluorescent molecules in the image information, the number of antibodies bound to the fluorescent molecules, and the like.
  • FIG. 2 is a diagram showing an example of a schematic configuration of a fluorescence observation apparatus 500 according to this embodiment.
  • FIG. 3 is a diagram showing an example of a schematic configuration of the observation unit 1 according to this embodiment.
  • the fluorescence observation apparatus 500 includes an observation unit 1, a processing unit 2, and a display section 3.
  • the observation unit 1 includes an excitation section (irradiation section) 10, a stage 20, a spectroscopic imaging section 30, an observation optical system 40, a scanning mechanism 50, a focus mechanism 60, and a non-fluorescence observation section 70.
  • the excitation unit 10 irradiates the observation target with a plurality of irradiation lights having different wavelengths.
  • the excitation unit 10 irradiates, for example, a plurality of line illuminations arranged parallel to different axes and having different wavelengths onto a pathological specimen that is an observation target, that is, a pathological sample.
  • the excitation section 10 functions as an irradiation section.
  • the stage 20 is a table that supports a pathological specimen, and is configured to be movable by a scanning mechanism 50 in a direction perpendicular to the direction of line light generated by line illumination.
  • the spectroscopic imaging unit 30 includes a spectrometer, and acquires the fluorescence spectrum of the pathological specimen excited in a line shape by line illumination, that is, spectroscopic data.
  • the observation unit 1 functions as a line spectrometer that acquires spectral data according to line illumination.
  • the observation unit 1 captures a plurality of fluorescence images generated from a pathological specimen to be imaged line by line for each of a plurality of fluorescence wavelengths, and acquires data of the plurality of captured fluorescence images in the order in which the lines are arranged. It also functions as an imaging device.
  • different axes and parallel means that the plurality of line illuminations are different axes and parallel. Different axes mean that they are not on the same axis, and the distance between the axes is not particularly limited.
  • Parallel is not limited to parallel in the strict sense, but also includes a state of being substantially parallel. For example, there may be deviation from the parallel state due to distortion originating from an optical system such as a lens or manufacturing tolerance, and in this case, it is also considered to be parallel.
  • the excitation unit 10 and the spectroscopic imaging unit 30 are connected to the stage 20 via an observation optical system 40.
  • the observation optical system 40 has a function of following the optimum focus using the focus mechanism 60.
  • a non-fluorescent observation section 70 for performing dark field observation, bright field observation, etc. may be connected to the observation optical system 40.
  • a control section 80 that controls the excitation section 10, the spectroscopic imaging section 30, the scanning mechanism 50, the focus mechanism 60, the non-fluorescence observation section 70, etc. may be connected to the observation unit 1.
  • the processing unit 2 includes a storage section 21, a data proofing section 22, and an image forming section 23.
  • the processing unit 2 typically forms an image of the pathological specimen or outputs the distribution of the fluorescence spectrum based on the fluorescence spectrum of the pathological specimen acquired by the observation unit 1.
  • the pathological specimen will also be referred to as sample S.
  • the image here refers to the composition ratio of dyes and sample-derived autofluorescence that make up the spectrum, the waveform converted to RGB (red, green, and blue) colors, and the brightness distribution in a specific wavelength band.
  • the storage unit 21 includes a nonvolatile storage medium such as a hard disk drive or a flash memory, and a storage control unit that controls writing and reading of data to and from the storage medium.
  • the storage unit 21 stores spectral data indicating the correlation between each wavelength of light emitted by each of the plurality of line illuminations included in the excitation unit 10 and the fluorescence received by the camera of the spectral imaging unit 30. Further, the storage unit 21 stores in advance information indicating a standard spectrum of autofluorescence regarding a sample to be observed (pathological specimen) and information indicating a standard spectrum of a single dye that stains the sample.
  • the data calibration unit 22 configures the spectral data stored in the storage unit 21 based on the captured image captured by the camera of the spectral imaging unit 30.
  • the image forming unit 23 forms a fluorescence image of the sample based on the spectral data and the interval ⁇ y between the plurality of line illuminations irradiated by the excitation unit 10.
  • the processing unit 2 including the data proofing section 22, the image forming section 23, etc. includes hardware elements used in a computer such as a CPU (Central Processing Unit), a RAM (Random Access Memory), and a ROM (Read Only Memory) and other necessary components. This is realized by a program (software).
  • PLD Programmable Logic Device
  • FPGA Field Programmable Gate Array
  • DSP Digital Signal Processor
  • ASIC Application Specific Integrated Circuit
  • the display unit 3 displays various information such as an image based on a fluorescence image formed by the image forming unit 23, for example.
  • This display section 3 may be configured with a monitor integrally attached to the processing unit 2, or may be a display device connected to the processing unit 2, for example.
  • the display unit 3 includes, for example, a display element such as a liquid crystal device or an organic EL device, and a touch sensor, and is configured as a UI (User Interface) that displays input settings of photographing conditions, photographed images, and the like.
  • UI User Interface
  • the excitation section 10 will be described as including two line illuminations Ex1 and Ex2 that each emit light of two wavelengths.
  • the line illumination Ex1 emits light with a wavelength of 405 nm and light with a wavelength of 561 nm
  • the line illumination Ex2 emits light with a wavelength of 488 nm and light with a wavelength of 645 nm.
  • the excitation section 10 has a plurality of excitation light sources L1, L2, L3, and L4.
  • Each of the excitation light sources L1 to L4 is composed of a laser light source that outputs laser light having wavelengths of 405 nm, 488 nm, 561 nm, and 645 nm, respectively.
  • each of the excitation light sources L1 to L4 is composed of a light emitting diode (LED), a laser diode (LD), or the like.
  • the excitation unit 10 includes a plurality of collimator lenses 11, a plurality of laser line filters 12, a plurality of dichroic mirrors 13a, 13b, 13c, a homogenizer 14, and a condenser lens 15, corresponding to each of the excitation light sources L1 to L4. , and an entrance slit section 16.
  • the laser light emitted from the excitation light source L1 and the laser light emitted from the excitation light source L3 are each turned into parallel light by a collimator lens 11, and then transmitted through a laser line filter 12 for cutting the base of each wavelength band. However, they are made coaxial by a dichroic mirror 13a.
  • the two coaxial laser beams are further beam-formed by a homogenizer 14 such as a fly's eye lens and a condenser lens 15 to form line illumination Ex1.
  • the laser light emitted from the excitation light source L2 and the laser light emitted from the excitation light source L4 are similarly made coaxial by each dichroic mirror 13b, 13c, and line illumination is performed so that the line illumination Ex2 has a different axis from the line illumination Ex1.
  • the line illuminations Ex1 and Ex2 form different axis line illuminations separated by a distance ⁇ y, that is, a primary image, in the entrance slit section 16 having a plurality of entrance slits through which each of the line illuminations can pass.
  • two lasers are configured with two coaxial and two different axes, but in addition, two lasers may be configured with two different axes, or four lasers are configured with four different axes.
  • An axial configuration may also be used.
  • the primary image is irradiated onto the sample S on the stage 20 via the observation optical system 40.
  • the observation optical system 40 includes a condenser lens 41, dichroic mirrors 42 and 43, an objective lens 44, a bandpass filter 45, and a condenser lens 46.
  • the condenser lens 46 is an example of an imaging lens.
  • the line illuminations Ex1 and Ex2 are made into parallel lights by a condenser lens 41 paired with an objective lens 44, reflected by dichroic mirrors 42 and 43, transmitted through the objective lens 44, and irradiated onto the sample S on the stage 20. .
  • FIG. 4 is a diagram showing an example of the sample S according to the present embodiment.
  • FIG. 4 shows the sample S viewed from the irradiation direction of the line illumination Ex1 and Ex2, which are excitation lights.
  • the sample S is typically composed of a slide containing an observation object Sa such as a tissue section as shown in FIG. 4, but may of course be other than that.
  • the observation target Sa is, for example, a biological sample such as a nucleic acid, a cell, a protein, a bacterium, or a virus.
  • the sample S, that is, the observation target Sa is stained with a plurality of fluorescent dyes.
  • the observation unit 1 magnifies the sample S to a desired magnification and observes it.
  • FIG. 5 is an enlarged view showing a region A where the line illumination Ex1 and Ex2 are irradiated onto the sample S according to the present embodiment.
  • two line illuminations Ex1 and Ex2 are arranged in area A, and imaging areas R1 and R2 of the spectral imaging unit 30 are arranged so as to overlap with the respective line illuminations Ex1 and Ex2.
  • the two line illuminations Ex1 and Ex2 are each parallel to the Z-axis direction and are arranged a predetermined distance ⁇ y apart from each other in the Y-axis direction.
  • line illuminations Ex1 and Ex2 are formed as shown in FIG.
  • the fluorescence excited in the sample S by these line illuminations Ex1 and Ex2 is focused by the objective lens 44, reflected by the dichroic mirror 43, and then connected to the dichroic mirror 42 and a band that cuts the excitation light.
  • the light passes through the pass filter 45 , is condensed again by the condenser lens 46 , and enters the spectral imaging section 30 .
  • the spectral imaging section 30 includes an observation slit section 31, an image sensor 32, a first prism 33, a mirror 34, a diffraction grating 35, and a second prism 36.
  • the diffraction grating 35 is, for example, a wavelength dispersion element.
  • the image sensor 32 is configured to include two image sensors 32a and 32b.
  • the image sensor 32 receives a plurality of lights, such as fluorescence, whose wavelengths are dispersed by the diffraction grating 35 .
  • a two-dimensional imager such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor) is employed.
  • the image sensor 32 functions as an imaging section.
  • the observation slit section 31 is arranged at the condensing point of the condenser lens 46, and has the same number of observation slits as the number of excitation lines, which is two observation slits in the example of FIG. 3.
  • the number of observation slits is not particularly limited, and may be four, for example.
  • the fluorescence spectra derived from the two excitation lines that have passed through the observation slit section 31 are separated by the first prism 33, and are reflected by the grating plane of the diffraction grating 35 via the mirror 34, so that the fluorescence spectra of each excitation wavelength are further separated into
  • the four separated fluorescence spectra are incident on the image pickup devices 32a and 32b via the mirror 34 and the second prism 36, and the spectral data (x, ⁇ ).
  • the spectral data (x, ⁇ ) is a pixel value of a pixel at a position x in the row direction and a wavelength ⁇ in the column direction among the pixels included in the image sensor 32. Note that the spectral data (x, ⁇ ) may be simply described as spectral data.
  • the pixel size (nm/Pixel) of the image sensors 32a and 32b is not particularly limited, and is set, for example, to 2 nm/Pixel or more and 20 nm/Pixel or less.
  • This dispersion value may be realized by the pitch of the diffraction grating 35 or optically, or may be realized by using hardware binning of the image sensors 32a and 32b.
  • a dichroic mirror 42 and a bandpass filter 45 are inserted in the middle of the optical path to prevent the excitation light, that is, the line illumination Ex1 and Ex2, from reaching the image sensor 32.
  • Each of the line illuminations Ex1 and Ex2 is not limited to each having a single wavelength, but may each have a plurality of wavelengths.
  • the fluorescence excited by these also includes a plurality of spectra.
  • the spectral imaging unit 30 includes a wavelength dispersion element for separating the fluorescence into spectra derived from the excitation wavelength.
  • the wavelength dispersion element is composed of a diffraction grating, a prism, or the like, and is typically placed on the optical path between the observation slit section 31 and the image pickup element 32.
  • stage 20 and the scanning mechanism 50 constitute an XY stage, and in order to obtain a fluorescence image of the sample S, the sample S is moved in the X-axis direction and the Y-axis direction.
  • WSI Whole slide imaging
  • the operation of scanning the sample S in the Y-axis direction, then moving it in the X-axis direction, and further scanning in the Y-axis direction is repeated.
  • dye spectra that is, fluorescence spectra, which are excited at different excitation wavelengths spatially separated by a distance ⁇ y on the sample S, that is, the observation target Sa, are continuously scanned in the Y-axis direction. can be obtained.
  • the scanning mechanism 50 changes the position on the sample S that is irradiated with the irradiation light over time. For example, the scanning mechanism 50 scans the stage 20 in the Y-axis direction.
  • This scanning mechanism 50 allows the stage 20 to be scanned by the plurality of line illuminations Ex1 and Ex2 in the Y-axis direction, that is, in the arrangement direction of the line illuminations Ex1 and Ex2.
  • the pre-stored distance ⁇ y or the output of the image sensor 32 It is corrected and output based on the value of the distance ⁇ y calculated from .
  • the non-fluorescent observation section 70 includes a light source 71, a dichroic mirror 43, an objective lens 44, a condenser lens 72, an image sensor 73, and the like.
  • the example in FIG. 3 shows an observation system using dark field illumination.
  • the light source 71 is arranged on the side facing the objective lens 44 with respect to the stage 20, and irradiates the sample S on the stage 20 with illumination light from the side opposite to the line illumination Ex1 and Ex2.
  • the light source 71 illuminates from outside the NA (numerical aperture) of the objective lens 44, and transmits the light (dark-field image) diffracted by the sample S through the objective lens 44, dichroic mirror 43, and condenser lens 72.
  • a photograph is taken using the image sensor 73.
  • the non-fluorescent observation unit 70 is not limited to an observation system that acquires dark-field images, but also an observation system that can acquire non-fluorescent images such as bright-field images, phase contrast images, phase images, and in-line hologram images. It may be composed of. For example, various observation methods such as a schlieren method, a phase difference contrast method, a polarized light observation method, and an epi-illumination method can be employed as a method for acquiring a non-fluorescent image.
  • the position of the illumination light source is not limited to below the stage 20, but may be above the stage 20 or around the objective lens 44.
  • other methods such as a prefocus map method in which focus coordinates (Z coordinates) are recorded in advance may be adopted.
  • the line illumination as excitation light is composed of two line illuminations Ex1 and Ex2, but is not limited to this, and may be three, four, or five or more.
  • each line illumination may include a plurality of excitation wavelengths selected so as to minimize deterioration of color separation performance.
  • the excitation light source is composed of multiple excitation wavelengths and each excitation wavelength is linked and recorded with the data obtained by the image sensor 32, it is possible to Although it does not provide the same resolution as the parallel method, a polychromatic spectrum can be obtained.
  • a fluorescence observation apparatus 500 for example, a line confocal fluorescence microscope
  • the observation slit section 31 having a plurality of observation slits for example, all the observation slits are focused based on one observation slit. Because the image is taken with an observation slit, other observation slits are out of focus, and the degree of blur in the fluorescent image differs depending on the observation slit.
  • the signal leakage from adjacent pixels due to the blurring may cause the results of cell analysis in the image after color separation to be biologically incorrect. , a location where two cells should be present may be detected as one cell.
  • FIG. 6 is a diagram for explaining focus evaluation for each observation slit according to the present embodiment.
  • the vertical axis is the sum of adjacent pixel differences
  • the horizontal axis is the object position ( ⁇ m).
  • Excitation wavelengths are, for example, 405 ⁇ m, 488 ⁇ m, 532 ⁇ m, and 638 ⁇ m. In the example of FIG. 6, there are four excitation wavelengths, but this number corresponds to the number of observation slits, and may be two, and is not particularly limited.
  • dots are presented that indicate the sum of adjacent pixel differences with respect to the objective position.
  • the optimum focus position is estimated for each observation slit by peak fitting using a Gaussian function. This estimated optimal focus position is shown in a table in FIG. 6 for each observation slit.
  • the optimal focus position of the observation slit for 405 excitation is 6.58 ⁇ m
  • the optimal focus position of the observation slit for 488 excitation is 6.22 ⁇ m
  • the optimal focus position of the observation slit for 532 excitation is 5.56 ⁇ m.
  • the optimum focus position of the observation slit for 638 excitation is 6.18 ⁇ m.
  • the difference between the optimum focus position of the observation slit for excitation 405 and the optimum focus position of the observation slit for excitation 532 is larger than 1 ⁇ m.
  • FIG. 7 is a diagram showing a chart taken for each observation slit (excitation wavelength) according to the present embodiment.
  • the image indicated by the square frame A1 is the most focused image, but the focus position at that time differs depending on the observation slit.
  • the focus position of the observation slit for 405 excitation is +7 ⁇ m from a certain reference position, and the optimal focus position of the observation slits for 488 excitation, 532 excitation, and 638 excitation is +6 ⁇ m. 405 Only the focus position of the excitation observation slit is different from other excitation observation slits. Since all the observation slits are out of focus in this way, blurring of the fluorescence image occurs in any of the observation slits.
  • FIG. 8 is a diagram showing pinhole photography data (pinhole photography image) according to this embodiment.
  • the pinhole H1 is shown as a black dot, but in the actual image, the pinhole H1 is a white dot, and the area other than the pinhole H1 is black.
  • FIG. 9 shows the center pinhole (pinhole H1 in the dotted circle frame A2 in FIG. 8) and the end pinhole (pinhole H1 in the solid circle frame A3 in FIG. 8) in the pinhole imaging data shown in FIG. ) is a diagram showing a signal waveform with.
  • the vertical axis is intensity and the horizontal axis is position. This also applies to the drawings related to waveforms below.
  • the pinhole photography data is an image in which a plurality of pinholes H1 are lined up in the slit longitudinal direction B1 of the observation slit.
  • This pinhole photographing data is obtained by photographing a pinhole sample 300 having each pinhole H1 using a fluorescence observation device 500.
  • the degree of blur differs depending on the location even within a single image. For example, as shown in FIG. 9, the spread of the signal waveform of the end pinhole (see solid line C1 in FIG. 9) is larger than the spread of the signal waveform of the central pinhole (see dotted line C2 in FIG. 9). , the blur in the longitudinal end regions of the slit is larger than the blur in the longitudinal center region of the slit.
  • FIG. 10 is a diagram for explaining the pinhole sample 300 according to this embodiment.
  • the pinhole sample 300 is created by masking the glass 310 by attaching a light shielding film 320 (for example, a chrome film) to the glass 310.
  • the light shielding film 320 has a plurality of pinholes H1 in the slit longitudinal direction B1 of the observation slit.
  • a cover glass 340 is placed on this pinhole sample 300 with a sealant 330 interposed therebetween.
  • the pinhole sample 300 in this state is photographed by the fluorescence observation device 500 using transmitted light from the backlight 350 (for example, Lambertian).
  • pinhole photography data pinhole photography image
  • the pinhole sample 300 may be made of phosphor.
  • the above description is not limited to a configuration in which all observation slits are focused based on one observation slit, that is, a configuration in which each line of illumination (multiple lines) has the same focal position, but also a configuration in which each line of illumination (multiple lines) has different focal positions. There may be.
  • images with different focus coordinates Z coordinates
  • microscopic photography there is a use for photographing multiple cross-sectional data while changing the focus coordinates, and this method has the advantage of being able to photograph multiple cross-sections at the same time. Note that it is also useful to perform different blur corrections on different tomographic images (images taken with different slits).
  • FIG. 11 is a flowchart showing the flow of the first processing example according to this embodiment.
  • FIG. 12 is a diagram for explaining generation of an optimal PSF (Point Spread Function) according to this embodiment.
  • FIG. 13 is a diagram showing fluorescence images (upper row) and cell analysis result images (lower row) before and after deconvolution according to the present embodiment.
  • the cell analysis result image is an image in which each cell is segmented based on the fluorescence image to be processed.
  • step S11 the image processing unit 170 convolves the pinhole correct signal waveform and the initial PSF to blur the pinhole correct signal waveform.
  • step S12 the image processing unit 170 performs nonlinear least squares fitting while changing the PSF so that the blurred pinhole correct signal waveform approaches the signal waveform of the actual pinhole imaging data, and generates an optimal PSF.
  • step S13 the image processing unit 170 deconvolves the optimal PSF and the blurred fluorescence image to generate a restored fluorescence image.
  • Deconvolution here refers to a method of correcting a blurred image, and includes, for example, correction by performing deconvolution processing of a blurred image and a point spread intensity distribution function.
  • the pinhole correct signal waveform is a pinhole correct signal waveform determined in advance. This pinhole correct signal waveform is determined in advance theoretically or experimentally depending on the pinhole size. For example, the pinhole correct signal waveform may be obtained through simulation or the like.
  • the pinhole correct signal waveform is stored, for example, in a storage unit (not shown) included in the image processing unit 170, and is read out by the image processing unit 170 from the storage unit as needed.
  • the pinhole imaging data is data regarding a pinhole imaging image actually obtained by the fluorescence observation device 500 using the pinhole sample 300 (see FIG. 10) as described above.
  • This pinhole photography data includes a blur peculiar to the fluorescence observation apparatus 500 (a blur peculiar to the apparatus). This unique blur occurs, for example, due to component precision and attachment precision of each part of the observation unit 1.
  • the pinhole photography data is acquired by the image acquisition section 112 and sent to the image processing section 170.
  • the pinhole correct signal waveform (see solid line D1 in FIG. 12) is blurred and the PSF is changed, and the blurred pinhole correct signal waveform is changed to the signal waveform of the actual pinhole imaging data ( Nonlinear least squares fitting is performed so as to approach the curve D2 (see dotted line D2 in FIG. 12). Then, the PSF when the difference between the blurred pinhole correct signal waveform and the signal waveform of the actual pinhole imaging data becomes the smallest (that is, they almost match) becomes the optimal PSF. This optimal PSF and the blurred fluorescence image are deconvoluted to generate a fluorescence image with restored edges.
  • PSF for example, a sum of a Gaussian function and a Laurentian function is used.
  • PSF is sometimes called a point spread function, a point spread function, etc. in addition to a point spread function.
  • a function used for deconvolution that is, a deconvolution function, for example, the deconvlucy function is used, but a deconvwnr function, a deconvreg function, a deconvblind function, etc. may also be used.
  • deconvlucy, deconvwnr, deconvreg, and deconvblind are functions that are used only in matlab, for example.
  • the blur of the fluorescent image is removed and the edges of the fluorescent image are restored. Therefore, it is possible to suppress the blurring of the fluorescent image, so that the results of cell analysis in the color-separated image can be understood biologically by reducing spatial leakage. For example, it is possible to prevent a location where a desired number of cells should exist from being detected as having fewer cells than the desired number.
  • the pinhole correct signal waveform is obtained from the light intensity distribution at the pinhole output end.
  • the light intensity distribution at the output end of the pinhole is given by electromagnetic wave analysis using a known waveguide, and is described by a Bessel function with the electric field at the end of the pinhole set to zero.
  • the Bessel function can be approximately replaced by Cos ⁇ 2.
  • the basis mode (0th order Bessel function of the first kind) can be approximated by a Cos function.
  • Equation (1) is a polar coordinate wave equation
  • Equation (2) is a condition where the electric field E is 0 at the end of the cylindrical tube.
  • the diameter of the cylindrical tube is 2a.
  • equation (1) is separated into the following two equations (3) and (4) by the variable separation method.
  • equations (5) and (6) are obtained.
  • PSF is the PSF (Point Spread Function) of the optical system.
  • the PSF of this optical system is the image plane (actually the image sensor This shows the degree of blur that appears in images (e.g.). If we know the true image of the sample placed on the object plane with infinite resolution, by convolving this true image with the PSF of the optical system, we can obtain the image transmitted through the optical system projected on the image sensor. The resulting image can be generated by calculation.
  • each of the above functions is used as an initial PSF as a starting point for finding the optimal solution, and is not necessarily limited to each of the above functions. It is sufficient to use this as the starting point for the convergence calculation.
  • FIG. 14 is a flowchart showing the flow of the second processing example according to this embodiment.
  • FIG. 15 is a diagram for explaining a second processing example according to this embodiment.
  • step S21 the image processing unit 170 optimizes the PSF using the pinhole imaging data of 405 excitation, and generates the optimal PSF for the 405 excitation slit.
  • This PSF optimization process corresponds to the processes in step S11 and step S12 in FIG.
  • step S22 the image processing unit 170 deconvolves the optimal PSF and the blurred 405 excitation fluorescence image to generate a restored 405 excitation fluorescence image.
  • 405 excitation means that the excitation wavelength is 405 ⁇ m
  • pinhole imaging data for 405 excitation is imaging data obtained by imaging at an excitation wavelength of 405 ⁇ m (the same applies to other excitation wavelengths). .
  • the image processing unit 170 performs the above-described PSF optimization process and deconvolution process in step S21 and step S22 using the pinhole imaging data of 488 excitation, 532 excitation, and 638 excitation. and generate restored 488 excitation fluorescence images, 532 excitation fluorescence images, and 638 excitation fluorescence images.
  • Excitation wavelengths are, for example, 405 ⁇ m, 488 ⁇ m, 532 ⁇ m, and 638 ⁇ m.
  • step S23 the image processing unit 170 packs the restored 405 excitation fluorescence image, 488 excitation fluorescence image, 532 excitation fluorescence image, and 638 excitation fluorescence image.
  • step S24 the analysis unit 131 performs color separation processing on the fluorescent image group packed by the image processing unit 170.
  • step S25 the image processing unit 170 performs cell analysis on the color-separated image.
  • a color-separated image is obtained for each dye by color separation processing, such as dye 1, dye 2, dye 3, and dye 4.
  • the color separation process is, for example, a process of separating a fluorescence component due to the autofluorescence of the observation target and/or a fluorescence component due to an adjacent wavelength region from the fluorescence detected by irradiating the observation target with excitation light. include.
  • FIG. 16 is a diagram showing a bead fluorescence image after color separation according to this embodiment.
  • FIG. 17 is a diagram for explaining the evaluation results of the deconvolution effect according to this embodiment.
  • FIG. 17 shows the evaluation results of the deconvolution effect for one bead surrounded by a square frame A5 in the bead fluorescence image after color separation.
  • the evaluation results shown in FIG. 17 are the results of evaluating the deconvolution effect by bead signal waveform analysis.
  • the bead waveform is the waveform of the central portion of one bead.
  • the average slope of the left and right edges in the bead waveform before deconvolution is 0.0093
  • the average slope of the left and right edges in the bead waveform as a result of deconvolution with the common PSF between observation slits is 0. .0411
  • the average slope of the left and right edges in the bead waveform resulting from deconvolution with different PSFs for each observation slit is 0.0531. The higher the average slope of the left and right edges, the sharper the edges of the image.
  • the image processing unit 170 optimizes the PSF for each pinhole H1 existing at a different position on the slide by the method described in the first processing example or the second processing example.
  • a different optimal PSF is created for each location, and each region in the fluorescence image is deconvoluted with the optimal PSF corresponding to each location.
  • FIG. 18 is a diagram showing pinhole imaging data according to this embodiment.
  • FIG. 19 is a diagram for explaining region division in a bead fluorescence image (deconvolution target image) according to this embodiment.
  • FIG. 20 is a flowchart showing the flow of variation 1 of the third processing example according to the present embodiment.
  • different PSFs are used for the longitudinal center region in the pinhole imaging data and a pair of end regions that sandwich the center region from both sides.
  • the image processing unit 170 has a pinhole H1 at the center in the longitudinal direction (pinhole H1 within the solid circle frame A6 in FIG. 18) and a pinhole H1 at the end in the longitudinal direction ( As shown in FIG. 19, one central region and two end regions are determined based on the location in the longitudinal direction of the image with the pinhole H1) within the dotted circle frame A7 in FIG.
  • the image processing unit 170 optimizes the PSF for each of the pinhole H1 at the center in the longitudinal direction and the pinhole H1 at the end in the longitudinal direction in the pinhole photography data, and Create an optimal PSF for the end region and an optimal PSF for the edge region.
  • the image processing unit 170 also divides the blurred fluorescence image into a central region and end regions in the longitudinal direction, and applies the optimal PSF for the central region and the optimal PSF for the end regions to each region in steps S33 and S34. By performing deconvolution, an image with restored edges is generated.
  • the number of image divisions is not particularly limited, and the image may be further divided according to the pinhole position to further increase the types of PSFs. Further, the PSF may be changed continuously or stepwise, for example, so as to interpolate between the optimal PSF for the central region and the optimal PSF for the edge regions.
  • FIG. 21 is a diagram for explaining the evaluation results of the deconvolution effect according to this embodiment.
  • the evaluation results shown in FIG. 21 are the results of evaluating the effect of deconvolution by bead signal waveform analysis.
  • the bead waveform is the waveform of the central portion of one bead.
  • the average slope of the left and right edges in the bead waveform as a result of deconvolution with one type of PSF is 0.0413, and the deconvolution is performed with two different types of PSF in the longitudinal center region and the end region.
  • the average slope of the left and right edges in the resulting bead waveform is 0.0459. Therefore, by comparing the average results of the slopes of the left and right edges, it can be said that for the one bead of interest this time, an image with the sharpest edges could be restored when deconvoluted with a different PSF for each region in the image.
  • FIG. 22 is a diagram for explaining preparation of an optimal PSF for each region in pinhole imaging data according to the present embodiment.
  • FIG. 23 is a diagram for explaining the mixing ratio as a result of deconvolving the entire image according to this embodiment.
  • the mixture ratio of the result of deconvoluting the entire image is changed depending on the location using a different optimal PSF for each region in the pinhole photography data.
  • the image processing unit 170 prepares optimal PSFs for the left end region, the center region, and the right end region in the longitudinal direction in the pinhole imaging data, and deconvolves the entire blurred fluorescence image using each of them. do.
  • the image processing unit 170 (1) sets the optimal PSF corresponding to pinhole H1 as the PSF for the left end region, and (4) sets the optimal PSF corresponding to pinhole H1 as the PSF for the center region.
  • the optimum PSF corresponding to pinhole H1 is set as the PSF for the right end region.
  • the image processing unit 170 creates a final deconvolution result image by changing the mixing ratio of the three obtained deconvolution result images depending on the location within the image.
  • the farther to the left of the image the higher the mixing ratio of the deconvolution result image with the PSF for the left end area becomes, and the closer to the center of the image, the higher the mixing ratio of the deconvolution result image with the PSF for the center area.
  • the closer to the right end of the image the higher the mixing ratio of the deconvolution result image with the PSF for the right end area.
  • the position in the image is adjusted.
  • a different optimal PSF is created for each location, and each region in the fluorescence image is deconvoluted with the optimal PSF corresponding to each location. This removes the blur of the fluorescent image and restores the edges of the fluorescent image. Therefore, it is possible to suppress the blurring of the fluorescent image, so that the results of cell analysis in the color-separated image can be understood biologically by reducing spatial leakage.
  • FIG. 24 is a flowchart showing the flow of the second processing example according to this embodiment.
  • FIG. 25 is a flowchart showing the flow of a modification of the second processing example according to the present embodiment.
  • FIG. 26 is a diagram illustrating an example of a schematic configuration of an information processing system corresponding to a modification of the second processing example according to the present embodiment.
  • the image processing section 170 is provided after the image generation section 132, rather than between the image acquisition section 112 and the image information storage section 122 (see FIG. 1).
  • deconvolution is performed on several hundred multispectral images, whereas as shown in Figure 25, deconvolution is performed after color separation.
  • the deconvolution process only needs to be performed on around 10 dye images, so the time required for the deconvolution process can be shortened.
  • the time taken to color separate a 9MIX beads image is approximately 12 minutes and 27 seconds in a flow that performs deconvolution before color separation, and approximately 3 minutes and 45 seconds in a flow that performs deconvolution after color separation. It can be seen that the time can be significantly reduced.
  • the PSF of the observation slit that matches the contribution of the dye is basically applied.
  • the AF488 dye has an optimum PSF of 488 excitation
  • the AF647 dye has an optimum PSF of 638 excitation
  • an appropriate mixing ratio of PSF is calculated from the peak ratio of the standard spectrum used, and the mixed PSF is applied.
  • FIG. 27 is a diagram showing a bead fluorescence image after color separation according to this embodiment.
  • FIG. 28 is a diagram for explaining the evaluation results of the deconvolution effect according to this embodiment.
  • FIG. 28 shows the evaluation results of the deconvolution effect for one bead surrounded by a square frame A9 in the bead fluorescence image after color separation.
  • the evaluation results shown in FIG. 28 are the results of evaluating the deconvolution effect by bead signal waveform analysis.
  • the bead waveform is the waveform of the central portion of one bead.
  • the average slope of the left and right edges in the bead waveform before deconvolution is 0.0093
  • the average slope of the left and right edges in the bead waveform as a result of deconvolution before color separation is 0.0531
  • the average slope of the left and right edges in the bead waveform resulting from deconvolution after color separation is 0.0560. Therefore, by comparing the average results of the slopes of the left and right edges, it can be said that for the one bead that we focused on this time, the result of deconvolution after color separation was able to restore an image with the sharpest edges.
  • the deconvolution effect of the entire image was confirmed by calculating the average slope of the left and right edges of each bead for all beads in the image and finding their average value.
  • the average value is 0.0080 before deconvolution, 0.0497 for the result of deconvolution before color separation, and 0.0536 for the result of deconvolution after color separation.
  • the result was that the edges of the entire image were most successfully restored. This is considered to be because an image with a higher S/N ratio is targeted for deconvolution compared to a multispectral image before color separation.
  • deconvolution functions include deconvlucy, deconvwnr, and deconvreg.
  • deconvlucy implements a fast, damped Lucy-Richardson algorithm. This function uses optimization techniques and Poisson statistics to perform calculations iteratively. This deconvlucy function has a loop, and deconvolution is performed while changing the input PSF and the resulting image.
  • deconvwnr finds a least squares solution. This function can give some information about the noise to reduce the noise amplification that may occur during deblurring.
  • deconvreg finds a constrained least squares solution. Note that constraints are set on the output image. This function can give some information about the noise to reduce the noise amplification that may occur during deblurring. In these deconvwnr and deconvreg functions, deconvolution is performed using the input PSF as it is without a loop.
  • deconvblind performs a blind deconvolution algorithm. This algorithm performs blur removal without knowledge of PSF. Pass the initial estimated value of PSF as an argument. In addition to the restored image, this function also returns the restored PSF. This implementation uses the same decay and iteration model as deconvlucy.
  • FIG. 29 is a flowchart illustrating an example of the flow of evaluation processing of an ideal waveform and a deconvoluted waveform according to the present embodiment.
  • FIG. 30 is a diagram for explaining creation of a PSF for each pinhole H1 according to this embodiment.
  • FIG. 31 is a diagram showing an ideal waveform according to this embodiment, a waveform obtained by blurring the ideal waveform with PSF, and a waveform obtained by deconvoluting the waveform with PSF.
  • step S51 the image processing unit 170 creates different PSFs 1 to 8 for each location in the pinhole photography data (photographed with 405 excitation). For example, as shown in FIG. 30, PSF1, PSF2, PSF3, . . . are created for each pinhole H1.
  • step S52 the image processing unit 170 blurs the ideal waveform by convolving it with each of PSFs 1 to 8.
  • step S53 the image processing unit 170 deconvolves the blurred image with each of PSFs 1 to 8 to restore it to its original state.
  • step S54 the image processing unit 170 calculates the average of the slopes of the left and right edges in the ideal waveform and the deconvolution waveform (deconvolution waveform).
  • the left and right edges are lines connecting the 90% point and 10% point of Peak.
  • the graph of thin solid line G1 is an ideal waveform
  • the graph of broken line G2 is a waveform obtained by blurring the ideal waveform with PSF
  • the graph of thick solid line G3 is the waveform of broken line G2 deconvoluted with PSF. This is the waveform. This also applies to the following figures, FIGS. 32 to 34 and 37 to 39.
  • FIG. 32 is a diagram showing a waveform after deconvolving the blurred image and the PSF for each location according to the present embodiment using deconvlucy.
  • FIG. 33 is a diagram showing a waveform after deconvolving the blurred image and the PSF for each location according to the present embodiment using deconvwnr.
  • FIG. 34 is a diagram showing a waveform after deconvolving the blurred image and the PSF for each location according to the present embodiment using deconvreg.
  • FIG. 35 is a diagram showing the edge evaluation result of the waveform after deconvolution of the blurred image and the PSF for each location according to the present embodiment.
  • blurring is performed in PSF1
  • deconvolution is performed in PSF1 to PSF8.
  • Deconvolution is performed in PSF1, PSF2, PSF3, and PSF4 in the order of the graphs arranged from the upper left graph to the right, and is performed in PSF5, PSF6, PSF7, and PSF8 in the order of the graphs arranged from the lower left graph to the right.
  • PSF1, PSF2, PSF3, and PSF4 in the order of the graphs arranged from the upper left graph to the right
  • PSF5 PSF6, PSF7, and PSF8 in the order of the graphs arranged from the lower left graph to the right.
  • the results of deconvolution of an image obtained by blurring an ideal waveform using any one of PSFs 1 to 8 and each of PSFs 1 to 8 are presented.
  • the vertical axis is the average value of the left and right edges
  • the horizontal axis is the ideal waveform and the type of PSF used.
  • the upper left graph is the result of deconvolution of an image obtained by blurring the ideal waveform using PSF1 and each of PSF1 to PSF8.
  • the blurring is performed in PSF1, PSF2, PSF3, and PSF4 in the order of graphs arranged from the upper left graph to the right, and in PSF5, PSF6, PSF7, and PSF8 in the order of graphs arranged from the lower left graph to the right.
  • FIG. 36 is a flowchart illustrating an example of the flow of evaluation processing of an ideal waveform and a deconvoluted waveform according to the present embodiment.
  • step S61 the image processing unit 170 creates different PSFs 405, 488, 532, and 638 for each observation slit in the pinhole photography data (pinhole (4)).
  • step S62 the image processing unit 170 blurs the ideal waveform by convolving it with each of the PSFs 405, 488, 532, and 638.
  • step S63 the image processing unit 170 deconvolves the blurred image with each of the PSFs 405, 488, 532, and 638 to restore the original image.
  • step S64 the image processing unit 170 calculates the average slope of the left and right edges (lines connecting the 90% point and 10% point of peak) in the ideal waveform and the deconvoluted waveform (deconvoluted waveform).
  • PSF405 is a PSF for 405 excitation
  • PSF488 is a PSF for 488 excitation
  • PSF532 is a PSF for 532 excitation
  • PSF638 is a PSF for 638 excitation.
  • FIG. 37 is a diagram showing a waveform after deconvolving the blurred image according to this embodiment and the PSF for each observation slit using deconvlucy.
  • FIG. 38 is a diagram showing a waveform after deconvolving the blurred image and the PSF for each observation slit according to the present embodiment using deconvwnr.
  • FIG. 39 is a diagram showing a waveform after deconvolving the blurred image and the PSF for each observation slit according to the present embodiment using deconvreg.
  • FIG. 40 is a diagram showing the edge evaluation result of the waveform after deconvolution of the blurred image and the PSF for each observation slit according to the present embodiment.
  • blurring is performed by PSF 405, and deconvolution is performed by PSF 405, PSF 488, PSF 532, and PSF 638.
  • Deconvolution is performed by PSF405, PSF488, PSF532, and PSF638 in the order of graphs arranged from the leftmost graph to the right. This also applies to the following figures, FIGS. 38 and 39.
  • FIG. 37 when deconvolution was performed using the PSF for the observation slit that matched the blurred image (the leftmost graph in FIG. 37), and when deconvolution was performed using the PSF for the observation slit that did not match the blurred image. It can be seen that the difference in the deconvolution effect is small depending on the time (three graphs other than the leftmost graph in FIG. 37).
  • FIGS. 38 and 39 when deconvolution is performed with the PSF for the observation slit that matches the blurred image (the leftmost graph in FIGS.
  • the results of deconvolution of an image obtained by blurring an ideal waveform using any one of PSF405, PSF488, PSF532, and PSF638 and each of PSF405, PSF488, PSF532, and PSF638 are presented.
  • the vertical axis is the average value of the left and right edges
  • the horizontal axis is the ideal waveform and the type of PSF used.
  • the upper left graph is the result of deconvolution of an image obtained by blurring the ideal waveform using PSF 405 and each of PSF 405, PSF 488, PSF 532, and PSF 638.
  • the blurring is performed in PSF 405 and PSF 488 in the order of graphs arranged from the upper left graph to the right, and in PSF 532 and PSF 638 in the order of graphs arranged from the lower left graph to the right.
  • the irradiation unit (for example, the excitation unit 10) that irradiates the sample S including the biological sample with a plurality of line-shaped lights, and the The point image intensity distribution function is optimized for each observation slit and an imaging unit (for example, the image sensor 32) that receives the light that has passed through a plurality of observation slits (for example, the observation slit of the observation slit section 31), and the optimal point image is obtained.
  • the image processing unit 170 includes an image processing unit 170 that deconvolves the intensity distribution function and a fluorescence image based on light received by the imaging unit. This makes it possible to restore the edges of the fluorescent image, thereby suppressing blurring of the fluorescent image.
  • the excitation wavelength of the plurality of line-shaped lights may be different for each observation slit. Even in this case, blurring of the fluorescent image can be suppressed.
  • the focal positions of the plurality of line-shaped lights may be different for each line-shaped light. Even in this case, blurring of the fluorescent image can be suppressed.
  • the image processing unit 170 may also optimize the point spread intensity distribution function for each location in the image corresponding to the fluorescence image, and deconvolve the optimal point spread intensity distribution function for each location in the image and the fluorescence image. . Thereby, it is possible to reliably suppress the blurring of the fluorescent image.
  • the image processing unit 170 also generates an optimal point spread intensity distribution function according to the locations of a plurality of pinholes based on the pinhole imaging data captured by the imaging unit, or a point spread function that is interpolated between the locations of the pinholes.
  • the optimum point spread intensity distribution function may be used. Thereby, it is possible to reliably suppress the blurring of the fluorescent image.
  • the image processing unit 170 also determines the mixing ratio of the result of deconvoluting the optimal point spread intensity distribution function for each location in the image with the entire fluorescence image (for example, each deconvolution result image) according to the location in the image. You can change it. Thereby, it is possible to reliably suppress the blurring of the fluorescent image.
  • the image processing unit 170 blurs a predetermined pinhole correct signal waveform using an initial point spread intensity distribution function, and uses nonlinear least squares processing to make the blurred pinhole correct signal waveform closer to the pinhole photographic data photographed by the imaging unit.
  • An optimal point spread intensity distribution function may be determined by fitting. Thereby, it is possible to reliably suppress the blurring of the fluorescent image.
  • the image processing unit 170 when deconvoluting the optimal point spread intensity distribution function and the fluorescence image, the image processing unit 170 performs deconvolution based on the Lucy-Richardson algorithm (for example, deconvlucy), deconvolution using a Wiener filter (for example, deconvwnr), deconvolution using a regularization filter (eg, deconvreg), or deconvolution based on a blind deconvolution algorithm (eg, deconvblind).
  • the image processing unit 170 performs deconvolution based on the Lucy-Richardson algorithm (for example, deconvlucy), deconvolution using a Wiener filter (for example, deconvwnr), deconvolution using a regularization filter (eg, deconvreg), or deconvolution based on a blind deconvolution algorithm (eg, deconvblind).
  • the image processing unit 170 may also deconvolve the optimal point spread intensity distribution function and the color-separated fluorescence image. Thereby, it is possible to reliably suppress the blurring of the fluorescent image. Furthermore, compared to the case where color separation processing is performed after deconvolution, processing time can be shortened, and an image with sharp edges can be restored.
  • each component of each device shown in the drawings is functionally conceptual, and does not necessarily need to be physically configured as shown in the drawings.
  • the specific form of distributing and integrating each device is not limited to what is shown in the diagram, and all or part of the devices can be functionally or physically distributed or integrated in arbitrary units depending on various loads and usage conditions. Can be integrated and configured.
  • FIG. 41 is a block diagram illustrating an example of a schematic hardware configuration of the information processing apparatus 100.
  • Various types of processing by the information processing device 100 are realized, for example, by cooperation between software and hardware described below.
  • the information processing device 100 includes a CPU (Central Processing Unit) 901, a ROM (Read Only Memory) 902, a RAM (Random Access Memory) 903, and a host bus 904a.
  • the information processing apparatus 100 also includes a bridge 904, an external bus 904b, an interface 905, an input device 906, an output device 907, a storage device 908, a drive 909, a connection port 911, a communication device 913, and a sensor 915.
  • the information processing device 100 may include a processing circuit such as a DSP or an ASIC in place of or in addition to the CPU 901.
  • the CPU 901 functions as an arithmetic processing device and a control device, and controls overall operations within the information processing device 100 according to various programs. Further, the CPU 901 may be a microprocessor.
  • the ROM 902 stores programs used by the CPU 901, calculation parameters, and the like.
  • the RAM 903 temporarily stores programs used in the execution of the CPU 901 and parameters that change as appropriate during the execution.
  • the CPU 901 can implement at least the processing unit 130 and the control unit 150 of the information processing device 100, for example.
  • the CPU 901, ROM 902, and RAM 903 are interconnected by a host bus 904a including a CPU bus.
  • the host bus 904a is connected via a bridge 904 to an external bus 904b such as a PCI (Peripheral Component Interconnect/Interface) bus.
  • PCI Peripheral Component Interconnect/Interface
  • the host bus 904a, bridge 904, and external bus 904b do not necessarily need to be configured separately, and these functions may be implemented in one bus.
  • the input device 906 is realized by a device into which information is input by the practitioner, such as a mouse, keyboard, touch panel, button, microphone, switch, lever, etc. Further, the input device 906 may be, for example, a remote control device that uses infrared rays or other radio waves, or may be an externally connected device such as a mobile phone or PDA that is compatible with the operation of the information processing device 100. . Further, the input device 906 may include, for example, an input control circuit that generates an input signal based on information input by the practitioner using the above input means and outputs it to the CPU 901. By operating this input device 906, the practitioner can input various data to the information processing apparatus 100 and instruct processing operations. The input device 906 may embody at least the operation unit 160 of the information processing device 100, for example.
  • the output device 907 is formed of a device that can visually or audibly notify the practitioner of the acquired information. Examples of such devices include display devices such as CRT display devices, liquid crystal display devices, plasma display devices, EL display devices, and lamps, sound output devices such as speakers and headphones, printer devices, and the like.
  • the output device 907 may embody at least the display unit 140 of the information processing device 100, for example.
  • the storage device 908 is a device for storing data.
  • the storage device 908 is realized by, for example, a magnetic storage device such as an HDD, a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like.
  • the storage device 908 may include a storage medium, a recording device that records data on the storage medium, a reading device that reads data from the storage medium, a deletion device that deletes data recorded on the storage medium, and the like.
  • This storage device 908 stores programs executed by the CPU 901, various data, various data acquired from the outside, and the like.
  • the storage device 908 may embody at least the storage unit 120 of the information processing device 100, for example.
  • the drive 909 is a reader/writer for storage media, and is either built into the information processing device 100 or attached externally.
  • the drive 909 reads information recorded on an attached removable storage medium such as a magnetic disk, optical disk, magneto-optical disk, or semiconductor memory, and outputs the information to the RAM 903 .
  • Drive 909 can also write information to a removable storage medium.
  • connection port 911 is an interface to be connected to an external device, and is a connection port to the external device that can transmit data using, for example, a USB (Universal Serial Bus).
  • USB Universal Serial Bus
  • the communication device 913 is, for example, a communication interface formed by a communication device or the like for connecting to the network 920.
  • the communication device 913 is, for example, a communication card for wired or wireless LAN (Local Area Network), LTE (Long Term Evolution), Bluetooth (registered trademark), or WUSB (Wireless USB).
  • the communication device 913 may be a router for optical communication, a router for ADSL (Asymmetric Digital Subscriber Line), a modem for various communications, or the like.
  • This communication device 913 can transmit and receive signals, etc., to and from the Internet or other communication devices, for example, in accordance with a predetermined protocol such as TCP/IP.
  • the senor 915 includes a sensor capable of acquiring a spectrum (for example, an image sensor, etc.), and other sensors (for example, an acceleration sensor, a gyro sensor, a geomagnetic sensor, a pressure sensor, a sound sensor, or the like). distance measurement sensor, etc.).
  • the sensor 915 can embody at least the image acquisition unit 112 of the information processing device 100, for example.
  • the network 920 is a wired or wireless transmission path for information transmitted from devices connected to the network 920.
  • the network 920 may include a public line network such as the Internet, a telephone line network, a satellite communication network, various LANs (Local Area Networks) including Ethernet (registered trademark), WANs (Wide Area Networks), and the like.
  • the network 920 may include a dedicated line network such as an IP-VPN (Internet Protocol-Virtual Private Network).
  • a computer program for realizing each function of the information processing device 100 as described above and install it on a PC or the like.
  • a computer-readable recording medium storing such a computer program can also be provided.
  • the recording medium includes, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory, and the like.
  • the above computer program may be distributed, for example, via a network, without using a recording medium.
  • the present technology can also have the following configuration.
  • an irradiation unit that irradiates a plurality of line-shaped lights onto a sample including a biological sample; an imaging unit that receives light that has passed through a plurality of observation slits corresponding to the plurality of line-shaped lights, respectively; an image processing unit that optimizes a point spread intensity distribution function for each of the observation slits and deconvolves the optimal point spread intensity distribution function and a fluorescence image based on the light received by the imaging unit; Biological sample observation system.
  • the excitation wavelength of the plurality of line-shaped lights is different for each of the observation slits, The biological sample observation system according to (1) above.
  • the focal position of the plurality of line-shaped lights is different for each of the line-shaped lights, The biological sample observation system according to (1) or (2) above.
  • the image processing unit optimizes the point spread intensity distribution function for each location in the image corresponding to the fluorescence image, and deconvolves the optimal point spread intensity distribution function for each location in the image and the fluorescence image.
  • the biological sample observation system according to any one of (1) to (3) above.
  • the image processing unit generates the optimum point spread intensity distribution function according to the locations of the plurality of pinholes based on the pinhole imaging data captured by the imaging unit, or interpolates between the locations of the plurality of pinholes. using the optimal point spread intensity distribution function determined by The biological sample observation system according to (4) above.
  • the image processing unit changes a mixing ratio of a result of deconvolving the optimal point spread intensity distribution function for each location in the image with the entire fluorescence image, depending on the location in the image.
  • the biological sample observation system according to (4) above.
  • the image processing unit blurs a predetermined pinhole correct signal waveform using an initial point spread intensity distribution function, and performs nonlinear least squares processing to bring the blurred pinhole correct signal waveform closer to the pinhole photographic data photographed by the imaging unit. determining the optimal point spread intensity distribution function by fitting; The biological sample observation system according to any one of (1) to (6) above.
  • the image processing unit When deconvoluting the optimal point spread intensity distribution function and the fluorescence image, the image processing unit performs deconvolution based on the Lucy Richardson algorithm, deconvolution using a Wiener filter, and deconvolution using a regularization filter. volution or deconvolution based on a blind deconvolution algorithm.
  • the biological sample observation system according to any one of (1) to (7) above.
  • the image processing unit deconvolves the optimal point spread intensity distribution function and the fluorescence image after color separation.
  • the biological sample observation system according to any one of (1) to (8) above.
  • an image processing unit that optimizes a point spread intensity distribution function for each observation slit in a line confocal fluorescence microscope that simultaneously performs imaging in a plurality of lines, and deconvolves the optimal point spread intensity distribution function and a fluorescence image; Information processing device.
  • An image generation method that optimizes a point spread intensity distribution function for each observation slit in a line confocal fluorescence microscope that simultaneously performs imaging in a plurality of lines, and deconvolves the optimal point spread intensity distribution function and a fluorescence image.
  • An information processing device comprising a component related to the biological sample observation system according to any one of (1) to (9) above.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Engineering & Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

本開示の一形態に係る生体試料観察システムは、生体試料を含むサンプルに複数のライン状の光を照射する照射部と、前記複数のライン状の光にそれぞれ対応する複数の観察スリットを通過した光を受ける撮像部と、前記観察スリットごとに、点像強度分布関数を最適化し、最適な前記点像強度分布関数と前記撮像部により受けられた前記光に基づく蛍光画像とをデコンボリューションする画像処理部（１７０）と、を備える。

Description

生体試料観察システム、情報処理装置及び画像生成方法
　本開示は、生体試料観察システム、情報処理装置及び画像生成方法に関する。
　生体蛍光イメージングでは、例えば、マルチプレックス蛍光イメージング技術が用いられている。このマルチプレックス蛍光イメージング技術により得られる蛍光画像は、ボケる傾向にある。蛍光画像のボケを抑えるため、例えば、特許文献１から３のような技術が提案されている。
特許第６９２８７５７号 特開２０１４－１６４００４号公報 国際公開第２０１９／０５３７６８号
　しかしながら、上記の技術では、励起波長ごとの観察スリットを有するライン共焦点蛍光顕微鏡特有の要因から生じるボケを抑えることは難しい。例えば、ある一つの観察スリットでフォーカスを合わせて全観察スリットで撮影を行うため、他の観察スリットではフォーカスが合っておらず、観察スリットごとに蛍光画像のボケの度合いが異なる。
　そこで、本開示では、蛍光画像のボケを抑えることが可能な生体試料観察システム、情報処理装置及び画像生成方法を提案する。
　本開示の一形態に係る生体試料観察システムは、生体試料を含むサンプルに複数のライン状の光を照射する照射部と、前記複数のライン状の光にそれぞれ対応する複数の観察スリットを通過した光を受ける撮像部と、前記観察スリットごとに、点像強度分布関数を最適化し、最適な前記点像強度分布関数と前記撮像部により受けられた前記光に基づく蛍光画像とをデコンボリューションする画像処理部と、を備える。
　本開示の一形態に係る情報処理装置は、複数のラインで同時に撮影を行うライン共焦点蛍光顕微鏡における観察スリットごとに、点像強度分布関数を最適化し、最適な前記点像強度分布関数と蛍光画像とをデコンボリューションする画像処理部を備える。
　本開示の一形態に係る画像生成方法は、複数のラインで同時に撮影を行うライン共焦点蛍光顕微鏡における観察スリットごとに、点像強度分布関数を最適化し、最適な前記点像強度分布関数と蛍光画像とをデコンボリューションする。
本開示の実施形態に係る情報処理システムの概略構成の一例を示す図である。 本開示の実施形態に係る蛍光観察装置の概略構成の一例を示す図である。 本開示の実施形態に係る観察ユニットの概略構成の一例を示す図である。 本開示の実施形態に係るサンプルの一例を示す図である。 本開示の実施形態に係るサンプルにライン照明が照射される領域を拡大して示す図である。 本開示の実施形態に係る観察スリットごとのフォーカス評価を説明するための図である。 本開示の実施形態に係る観察スリット（励起波長）ごとに撮影したチャートを示す図である。 本開示の実施形態に係るピンホール撮影データを示す図である。 本開示の実施形態に係るピンホール撮影データにおける中央側ピンホールと端ピンホールとの信号波形を示す図である。 本開示の実施形態に係るピンホールサンプルを説明するための図である。 本開示の実施形態に係る第１処理例の流れを示すフローチャートである。 本開示の実施形態に係る最適なＰＳＦ（Point　Spread　Function）の生成を説明するための図である。 本開示の実施形態に係るデコンボリューション前後の蛍光画像及び細胞解析結果画像を示す図である。 本開示の実施形態に係る第２処理例の流れを示すフローチャートである。 本開示の実施形態に係る第２処理例を説明するための図である。 本開示の実施形態に係る色分離後のビーズ蛍光画像を示す図である。 本開示の実施形態に係るデコンボリューション効果の評価結果を説明するための図である。 本開示の実施形態に係るピンホール撮影データを示す図である。 本開示の実施形態に係るビーズ蛍光画像（デコンボリューション対象画像）における領域分割を説明するための図である。 本開示の実施形態に係る第３処理例のバリエーション１の流れを示すフローチャートである。 本開示の実施形態に係るデコンボリューション効果の評価結果を説明するための図である。 本開示の実施形態に係るピンホール撮影データにおける領域ごとの最適ＰＳＦの用意を説明するための図である。 本開示の実施形態に係る画像全体をデコンボリューションした結果の混合比率を説明するための図である。 本開示の実施形態に係る第２処理例の流れを示すフローチャートである。 本開示の実施形態に係る第２処理例の変形例の流れを示すフローチャートである。 本開示の実施形態に係る第２処理例の変形例に対応する情報処理システムの概略構成の一例を示す図である。 本開示の実施形態に係る色分離後のビーズ蛍光画像を示す図である。 本開示の実施形態に係るデコンボリューション効果の評価結果を説明するための図である。 本開示の実施形態に係る理想波形とデコンボリューション後の波形との評価処理の流れの一例を示すフローチャートである。 本開示の実施形態に係るピンホールごとのＰＳＦの作成を説明するための図である。 本開示の実施形態に係る理想波形、理想波形をＰＳＦでぼかした波形及びその波形をＰＳＦでデコンボリューションした波形を示す図である。 本開示の実施形態に係るぼかした画と場所ごとのＰＳＦとをdeconvlucyでデコンボリューションした後の波形を示す図である。 本開示の実施形態に係るぼかした画と場所ごとのＰＳＦとをdeconvwnrでデコンボリューションした後の波形を示す図である。 本開示の実施形態に係るぼかした画と場所ごとのＰＳＦとをdeconvregでデコンボリューションした後の波形を示す図である。 本開示の実施形態に係るぼかした画と場所ごとのＰＳＦとのデコンボリューション後の波形のエッジ評価結果を示す図である。 本開示の実施形態に係る理想波形とデコンボリューション後の波形との評価処理の流れの一例を示すフローチャートである。 本開示の実施形態に係るぼかした画と観察スリットごとのＰＳＦとをdeconvlucyでデコンボリューションした後の波形を示す図である。 本開示の実施形態に係るぼかした画と観察スリットごとのＰＳＦとをdeconvwnrでデコンボリューションした後の波形を示す図である。 本開示の実施形態に係るぼかした画と観察スリットごとのＰＳＦとをdeconvregでデコンボリューションした後の波形を示す図である。 本開示の実施形態に係るぼかした画と観察スリットごとのＰＳＦとのデコンボリューション後の波形のエッジ評価結果を示す図である。 情報処理装置のハードウェアの概略構成の一例を示す図である。
　以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、この実施形態により本開示に係るシステムや装置、方法などが限定されるものではない。また、以下の各実施形態において、基本的に同一の部位には同一の符号を付することにより重複する説明を省略する。
　以下に説明される１又は複数の実施形態（実施例、変形例を含む）は、各々が独立に実施されることが可能である。一方で、以下に説明される複数の実施形態は少なくとも一部が他の実施形態の少なくとも一部と適宜組み合わせて実施されてもよい。これら複数の実施形態は、互いに異なる新規な特徴を含み得る。したがって、これら複数の実施形態は、互いに異なる目的又は課題を解決することに寄与し得、互いに異なる効果を奏し得る。
　以下に示す項目順序に従って本開示を説明する。
　１．実施形態
　１－１．情報処理システムの構成例
　１－２．蛍光観察装置の構成例
　１－３．画像処理部の第１処理例
　１－４．画像処理部の第２処理例
　１－５．画像処理部の第３処理例
　１－６．画像処理部の第２処理例の変形例
　１－７．デコンボリューションの関数例
　１－８．作用・効果
　２．他の実施形態
　３．ハードウェアの構成例
　４．付記
　＜１．実施形態＞
　＜１－１．情報処理システムの構成例＞
　本実施形態に係る情報処理システムの構成例について図１を参照して説明する。図１は、本実施形態に係る情報処理システムの概略構成の一例を示す図である。情報処理システムは、生体試料観察システムの一例である。
　図１に示すように、本実施形態に係る情報処理システムは、情報処理装置１００と、データベース２００とを備える。この情報処理システムへの入力として、蛍光試薬１０Ａと、標本２０Ａと、蛍光染色標本３０Ａとが存在する。
　（蛍光試薬１０Ａ）
　蛍光試薬１０Ａは、標本２０Ａの染色に使用される薬品である。蛍光試薬１０Ａは、例えば、蛍光抗体、蛍光プローブ、または核染色試薬などであるが、蛍光試薬１０Ａの種類はこれらに特に限定されない。蛍光抗体には、例えば、直接標識に使用される一次抗体、または間接標識に使用される二次抗体が含まれる。また、蛍光試薬１０Ａは、蛍光試薬１０Ａおよび蛍光試薬１０Ａの製造ロットを識別可能な識別情報を付されて管理される。以降、その識別情報を「試薬識別情報１１Ａ」と呼称する。試薬識別情報１１Ａは、例えば、一次元バーコード情報や二次元バーコード情報などのバーコード情報などであるが、これに限定されない。蛍光試薬１０Ａは、同種類の製品であっても、製造方法や抗体が取得された細胞の状態などに応じて製造ロット毎にその性質が異なる。例えば、蛍光試薬１０Ａにおいて、製造ロット毎にスペクトル情報、量子収率、または蛍光標識率などが異なる。蛍光標識率は、「F/P値：Fluorescein/Protein」とも呼称され、抗体を標識する蛍光分子数を指す。そこで、本実施形態に係る情報処理システムにおいて、蛍光試薬１０Ａは、試薬識別情報１１Ａを付されることによって製造ロット毎に管理される。換言すると、各蛍光試薬１０Ａの試薬情報は製造ロット毎に管理される。これによって、情報処理装置１００は、製造ロット毎に現れる僅かな性質の違いも考慮した上で蛍光シグナルと自家蛍光シグナルとを分離することができる。なお、蛍光試薬１０Ａが製造ロット単位で管理されることはあくまで一例であり、蛍光試薬１０Ａは製造ロットよりも細かい単位で管理されてもよい。
　（標本２０Ａ）
　標本２０Ａは、人体から採取された検体または組織サンプルから病理診断または臨床検査などを目的に作製されたものである。標本２０Ａについて、例えば臓器または細胞などの使用される組織の種類、対象となる疾病の種類、例えば年齢、性別、血液型、または人種などの対象者の属性、または、例えば食生活、運動習慣、または喫煙習慣などの対象者の生活習慣は特に限定されない。また、標本２０Ａは、各標本２０Ａを識別可能な識別情報を付されて管理される。以降、その識別情報を「標本識別情報２１Ａ」と呼称する。標本識別情報２１Ａは、試薬識別情報１１Ａと同様に、例えば、一次元バーコード情報や二次元バーコード情報などのバーコード情報などであるが、これに限定されない。標本２０Ａは、使用される組織の種類、対象となる疾病の種類、対象者の属性、または対象者の生活習慣などに応じてその性質が異なる。例えば、標本２０Ａにおいて、使用される組織の種類などに応じて計測チャネルまたはスペクトル情報などが異なる。そこで、本実施形態に係る情報処理システムにおいて、標本２０Ａは、標本識別情報２１Ａを付されることによって個々に管理される。これによって、情報処理装置１００は、標本２０Ａ毎に現れる僅かな性質の違いも考慮した上で蛍光シグナルと自家蛍光シグナルとを分離することができる。
　（蛍光染色標本３０Ａ）
　蛍光染色標本３０Ａは、標本２０Ａが蛍光試薬１０Ａによって染色されることで作成されたものである。本実施形態において、蛍光染色標本３０Ａは、標本２０Ａが少なくとも１つの蛍光試薬１０Ａによって染色されることを想定しているところ、染色に用いられる蛍光試薬１０Ａの数は特に限定されない。また、染色方法は、標本２０Ａおよび蛍光試薬１０Ａそれぞれの組み合わせなどによって決まり、特に限定されるものではない。蛍光染色標本３０Ａは、情報処理装置１００に対して入力され、撮像される。
　（情報処理装置１００）
　情報処理装置１００は、図１に示すように、取得部１１０と、画像処理部１７０と、保存部１２０と、処理部１３０と、表示部１４０と、制御部１５０と、操作部１６０と、を備える。
　（取得部１１０）
　取得部１１０は、情報処理装置１００の各種処理に使用される情報を取得する構成である。図１に示すように、取得部１１０は、情報取得部１１１と、画像取得部１１２と、を備える。
　（情報取得部１１１）
　情報取得部１１１は、試薬情報および標本情報を取得する構成である。より具体的には、情報取得部１１１は、蛍光染色標本３０Ａの生成に使用された蛍光試薬１０Ａに付された試薬識別情報１１Ａ、および標本２０Ａに付された標本識別情報２１Ａを取得する。例えば、情報取得部１１１は、バーコードリーダーなどを用いて試薬識別情報１１Ａおよび標本識別情報２１Ａを取得する。そして、情報取得部１１１は、試薬識別情報１１Ａに基づいて試薬情報を、標本識別情報２１Ａに基づいて標本情報をそれぞれデータベース２００から取得する。情報取得部１１１は、取得したこれらの情報を後述する情報保存部１２１に保存する。
　（画像取得部１１２）
　画像取得部１１２は、蛍光染色標本３０Ａ、少なくとも１つの蛍光試薬１０Ａで染色された標本２０Ａの画像情報を取得する構成である。より具体的には、画像取得部１１２は、例えばＣＣＤやＣＭＯＳなどの任意の撮像素子を備えており、当該撮像素子を用いて蛍光染色標本３０Ａを撮像することで画像情報を取得する。ここで、「画像情報」は、蛍光染色標本３０Ａの画像自体だけでなく、像として視覚化されていない測定値なども含む概念であることに留意されたい。例えば、画像情報には、蛍光染色標本３０Ａから放射した蛍光の波長スペクトルに関する情報が含まれていてもよい。以下、その蛍光の波長スペクトルを蛍光スペクトルという。画像取得部１１２は、画像情報を後述する画像情報保存部１２２に保存する。
　（画像処理部１７０）
　画像処理部１７０は、画像取得部１１２によって取得された蛍光染色標本３０Ａの画像情報を処理する。例えば、画像処理部１７０は、蛍光染色標本３０Ａの画像情報に対し、画像情報に基づく画像からボケを除去するボケ補正を行う。このボケ補正に関する処理などについて詳しくは後述する。
　（保存部１２０）
　保存部１２０は、情報処理装置１００の各種処理に使用される情報、または各種処理によって出力された情報を保存する構成である。図１に示すように、保存部１２０は、情報保存部１２１と、画像情報保存部１２２と、解析結果保存部１２３と、を備える。
　（情報保存部１２１）
　情報保存部１２１は、情報取得部１１１によって取得された試薬情報および標本情報を保存する構成である。なお、後述する解析部１３１による解析処理および画像生成部１３２による画像情報の生成処理、すなわち画像情報の再構築処理が終了した後には、情報保存部１２１は、処理に用いられた試薬情報および標本情報を削除することで空き容量を増やしてもよい。
　（画像情報保存部１２２）
　画像情報保存部１２２は、画像処理部１７０によって処理された蛍光染色標本３０Ａの画像情報を保存する構成である。なお、情報保存部１２１と同様に、解析部１３１による解析処理および画像生成部１３２による画像情報の生成処理、すなわち画像情報の再構築処理が終了した後には、画像情報保存部１２２は、処理に用いられた画像情報を削除することで空き容量を増やしてもよい。
　（解析結果保存部１２３）
　解析結果保存部１２３は、後述する解析部１３１によって行われた解析処理の結果を保存する構成である。例えば、解析結果保存部１２３は、解析部１３１によって分離された、蛍光試薬１０Ａの蛍光シグナルまたは標本２０Ａの自家蛍光シグナルを保存する。また、解析結果保存部１２３は、別途、機械学習などによって解析精度を向上させるために、解析処理の結果をデータベース２００へ提供する。なお、解析結果保存部１２３は、解析処理の結果をデータベース２００へ提供した後には、自らが保存している解析処理の結果を適宜削除することで空き容量を増やしてもよい。
　（処理部１３０）
　処理部１３０は、画像情報、試薬情報、および標本情報を用いて各種処理を行う機能構成である。図１に示すように、処理部１３０は、解析部１３１と、画像生成部１３２と、を備える。
　（解析部１３１）
　解析部１３１は、画像情報、標本情報および試薬情報を用いて各種解析処理を行う構成である。例えば、解析部１３１は、標本情報および試薬情報に基づいて画像情報から標本２０Ａの自家蛍光シグナルと蛍光試薬１０Ａの蛍光シグナルとを分離する処理（色分離処理）を行う。
　具体的には、解析部１３１は、標本情報に含まれる計測チャネルに基づいて自家蛍光シグナルを構成する１以上の要素を認識する。例えば、解析部１３１は、自家蛍光シグナルを構成する１以上の自家蛍光成分を認識する。そして、解析部１３１は、標本情報に含まれる、これらの自家蛍光成分のスペクトル情報を用いて画像情報に含まれる自家蛍光シグナルを予想する。そして、解析部１３１は、試薬情報に含まれる、蛍光試薬１０Ａの蛍光成分のスペクトル情報、および予想した自家蛍光シグナルに基づいて画像情報から自家蛍光シグナルと蛍光シグナルとを分離する。
　ここで、標本２０Ａが２以上の蛍光試薬１０Ａで染色されている場合、解析部１３１は、標本情報および試薬情報に基づいて画像情報、または、自家蛍光シグナルと分離された後の蛍光シグナルから、これら２以上の蛍光試薬１０Ａそれぞれの蛍光シグナルを分離する。例えば、解析部１３１は、試薬情報に含まれる、各蛍光試薬１０Ａの蛍光成分のスペクトル情報を用いて、自家蛍光シグナルと分離された後の蛍光シグナル全体から各蛍光試薬１０Ａそれぞれの蛍光シグナルを分離する。
　また、自家蛍光シグナルが２以上の自家蛍光成分によって構成されている場合、解析部１３１は、標本情報および試薬情報に基づいて画像情報、または、蛍光シグナルと分離された後の自家蛍光シグナルから、各自家蛍光成分それぞれの自家蛍光シグナルを分離する。例えば、解析部１３１は、標本情報に含まれる各自家蛍光成分のスペクトル情報を用いて、蛍光シグナルと分離された後の自家蛍光シグナル全体から各自家蛍光成分それぞれの自家蛍光シグナルを分離する。
　蛍光シグナルおよび自家蛍光シグナルを分離した解析部１３１は、これらのシグナルを用いて各種処理を行う。例えば、解析部１３１は、分離後の自家蛍光シグナルを用いて、他の標本２０Ａの画像情報に対して減算処理を行うことで当該他の標本２０Ａの画像情報から蛍光シグナルを抽出してもよい。その減算処理は、「バックグラウンド減算処理」とも呼称される。標本２０Ａに使用される組織、対象となる疾病の種類、対象者の属性、および対象者の生活習慣などの観点で同一または類似の標本２０Ａが複数存在する場合、これらの標本２０Ａの自家蛍光シグナルは類似している可能性が高い。ここでいう類似の標本２０Ａとは、例えば染色される組織切片の染色前の組織切片、染色された切片に隣接する切片、同一ブロックにおける染色切片と異なる切片、又は同一組織における異なるブロックにおける切片等、異なる患者から採取した切片などが含まれる。以下、組織切片を切片と呼称する。同一ブロックは、染色切片と同一の場所からサンプリングされたものである。異なるブロックは、染色切片と異なる場所からサンプリングされたものである。そこで、解析部１３１は、ある標本２０Ａから自家蛍光シグナルを抽出できた場合、他の標本２０Ａの画像情報から当該自家蛍光シグナルを除去することで、当該他の標本２０Ａの画像情報から蛍光シグナルを抽出してもよい。また、解析部１３１は、他の標本２０Ａの画像情報を用いてＳ／Ｎ値を算出する際に、自家蛍光シグナルを除去した後のバックグラウンドを用いることでＳ／Ｎ値を改善することができる。
　また、解析部１３１は、バックグラウンド減算処理以外にも分離後の蛍光シグナルまたは自家蛍光シグナルを用いて様々な処理を行うことができる。例えば、解析部１３１は、これらのシグナルを用いて標本２０Ａの固定化状態の解析を行ったり、画像情報に含まれる物体の領域を認識するセグメンテーションまたは領域分割を行ったりすることができる。物体は、例えば、細胞、細胞内構造、または組織、などである。細胞内構造は、例えば、細胞質、細胞膜、核、などである。組織は、例えば、腫瘍部、非腫瘍部、結合組織、血管、血管壁、リンパ管、繊維化構造、壊死、などである。
　（画像生成部１３２）
　画像生成部１３２は、解析部１３１によって得られた解析結果、例えば、解析部１３１によって分離された蛍光シグナルまたは自家蛍光シグナルに基づいて画像情報を生成、すなわち再構成する構成である。例えば、画像生成部１３２は、蛍光シグナルのみが含まれる画像情報を生成したり、自家蛍光シグナルのみが含まれる画像情報を生成したりすることができる。その際、蛍光シグナルが複数の蛍光成分によって構成されていたり、自家蛍光シグナルが複数の自家蛍光成分によって構成されたりしている場合、画像生成部１３２は、それぞれの成分単位で画像情報を生成することができる。さらに、解析部１３１が分離後の蛍光シグナルまたは自家蛍光シグナルを用いた各種処理を行った場合、画像生成部１３２は、それらの処理の結果を示す画像情報を生成してもよい。各種処理としては、例えば、標本２０Ａの固定化状態の解析、セグメンテーション、またはＳ／Ｎ値の算出などがある。本構成によれば、標的分子等に標識された蛍光試薬１０Ａの分布情報、つまり蛍光の二次元的な広がりや強度、波長、及びそれぞれの位置関係が可視化され、特に標的物質の情報が複雑な組織画像解析領域においてユーザである医師や研究者の視認性を向上させることができる。
　また、画像生成部１３２は、解析部１３１によって分離された蛍光シグナルまたは自家蛍光シグナルに基づいて自家蛍光シグナルに対する蛍光シグナルを区別するよう制御し、画像情報を生成しても良い。具体的には、標的分子等に標識された蛍光試薬１０Ａの蛍光スペクトルの輝度を向上させる、標識された蛍光試薬１０Ａの蛍光スペクトルのみを抽出し変色させる、２以上の蛍光試薬１０Ａによって標識された標本２０Ａから２以上の蛍光試薬１０Ａの蛍光スペクトルを抽出しそれぞれを別の色に変色する、標本２０Ａの自家蛍光スペクトルのみを抽出し除算または減算する、ダイナミックレンジを向上させる、等を制御し画像情報を生成してもよい。これによりユーザは目的となる標的物質に結合した蛍光試薬由来の色情報を明確に区別することが可能となり、ユーザの視認性を向上させることができる。
　（表示部１４０）
　表示部１４０は、画像生成部１３２によって生成された画像情報をディスプレイに表示することでユーザへ提示する構成である。なお、表示部１４０として用いられるディスプレイの種類は特に限定されない。また、本実施形態では詳細に説明しないが、画像生成部１３２によって生成された画像情報がプロジェクターによって投影されたり、プリンタによってプリントされたりすることでユーザへ提示されてもよい。換言すると、画像情報の出力方法は特に限定されない。
　（制御部１５０）
　制御部１５０は、情報処理装置１００が行う処理全般を統括的に制御する機能構成である。例えば、制御部１５０は、操作部１６０を介して行われるユーザによる操作入力に基づいて、上記で説明したような各種処理の開始や終了などを制御する。各種処理としては、例えば、蛍光染色標本３０Ａの撮像処理、解析処理、画像情報の生成処理、および画像情報の表示処理などがある。画像情報の生成処理としては、例えば、画像情報の再構築処理がある。なお、制御部１５０の制御内容は特に限定されない。例えば、制御部１５０は、汎用コンピュータ、ＰＣ、タブレットＰＣなどにおいて一般的に行われる処理、例えば、ＯＳ（Operating　System）に関する処理を制御してもよい。
　（操作部１６０）
　操作部１６０は、ユーザからの操作入力を受ける構成である。より具体的には、操作部１６０は、キーボード、マウス、ボタン、タッチパネル、またはマイクロフォンなどの各種入力手段を備えており、ユーザはこれらの入力手段を操作することで情報処理装置１００に対して様々な入力を行うことができる。操作部１６０を介して行われた操作入力に関する情報は制御部１５０へ提供される。
　（データベース２００）
　データベース２００は、標本情報、試薬情報、および解析処理の結果を管理する装置である。より具体的に説明すると、データベース２００は、標本識別情報２１Ａと標本情報、試薬識別情報１１Ａと試薬情報をそれぞれ紐づけて管理する。これによって、情報取得部１１１は、計測対象である標本２０Ａの標本識別情報２１Ａに基づいて標本情報を、蛍光試薬１０Ａの試薬識別情報１１Ａに基づいて試薬情報をデータベース２００から取得することができる。
　データベース２００が管理する標本情報は、上記のとおり、標本２０Ａに含まれる自家蛍光成分固有の計測チャネルおよびスペクトル情報を含む情報である。しかし、これら以外にも、標本情報には、各標本２０Ａについての対象情報、具体的には、例えば臓器、細胞、血液、体液、腹水、胸水などの使用される組織の種類、対象となる疾病の種類、例えば年齢、性別、血液型、または人種などの対象者の属性、または、例えば食生活、運動習慣、または喫煙習慣などの対象者の生活習慣に関する情報が含まれてもよく、標本２０Ａに含まれる自家蛍光成分固有の計測チャネルおよびスペクトル情報を含む情報及び対象情報は標本２０Ａごとに紐づけられてもよい。これにより、対象情報から標本２０Ａに含まれる自家蛍光成分固有の計測チャネルおよびスペクトル情報を含む情報を容易にたどることができ、例えば複数の標本２０Ａにおける対象情報の類似性から解析部１３１に過去に行われた類似の分離処理を実行させ、測定時間を短縮することが可能となる。なお、「使用される組織」は対象から採取された組織には特に限定されず、ヒトや動物等の生体内組織や細胞株、測定の対象物に含まれる溶液、溶剤、溶質、材料も含めてもよい。
　また、データベース２００が管理する試薬情報は、上記のとおり、蛍光試薬１０Ａのスペクトル情報を含む情報であり、しかし、これ以外にも、試薬情報には、製造ロット、蛍光成分、抗体、クローン、蛍光標識率、量子収率、褪色係数、および、吸収断面積またはモル吸光係数などの蛍光試薬１０Ａに関する情報が含まれてもよい。褪色係数は、蛍光試薬１０Ａの蛍光強度の低減し易さを示す情報である。さらに、データベース２００が管理する標本情報および試薬情報は異なる構成で管理されていてもよく、特に試薬に関する情報はユーザに最適な試薬の組み合わせを提示する試薬データベースであってもよい。
　ここで、標本情報および試薬情報は、製造者であるメーカーなどから提供されるか、本開示に係る情報処理システム内で独自に計測されることを想定している。例えば、蛍光試薬１０Ａの製造者は、製造ロット毎にスペクトル情報や蛍光標識率などを計測し提供することなどをしない場合が多い。したがって、本開示に係る情報処理システム内で独自にこれらの情報を計測し、管理することで蛍光シグナルと自家蛍光シグナルの分離精度が向上され得る。また、管理の簡略化のために、データベース２００は、メーカーなどによって公開されているカタログ値、または各種文献に記載されている文献値などを標本情報および試薬情報、特に試薬情報として用いてもよい。しかし、一般的に、実際の標本情報および試薬情報はカタログ値や文献値とは異なる場合が多いため、上記のように標本情報および試薬情報が本開示に係る情報処理システム内で独自に計測され管理される方がより好ましい。
　また、データベース２００にて管理されている標本情報、試薬情報、および解析処理の結果を用いる機械学習技術などによって、例えば、蛍光シグナルと自家蛍光シグナルとの分離処理などの解析処理の精度が向上され得る。機械学習技術などを用いて学習を行う主体は特に限定されないところ、本実施形態では情報処理装置１００の解析部１３１が学習を行う場合を一例として説明する。例えば、解析部１３１は、ニューラルネットワークを用いて、分離後の蛍光シグナルおよび自家蛍光シグナルと、分離に用いられた画像情報、標本情報および試薬情報とが紐づけられた学習データによって機械学習された分類器または推定器を生成する。そして、画像情報、標本情報および試薬情報が新たに取得された場合、解析部１３１は、それらの情報を分類器または推定器に入力することで、当該画像情報に含まれる蛍光シグナルおよび自家蛍光シグナルを予測して出力することができる。
　また、予測される蛍光シグナルおよび自家蛍光シグナルよりも精度の高い、過去に行われた類似の分離処理を算出し、それらの処理における処理の内容を統計的または回帰的に分析し、分析結果に基づいて蛍光シグナルと自家蛍光シグナルの分離処理を改善する方法が出力されてもよい。分離処理は、例えば、類似の画像情報、標本情報、または試薬情報が用いられる分離処理である。処理の内容は、例えば、処理に用いられる情報やパラメータなどを含む。なお、機械学習の方法は上記に限定されず、公知の機械学習技術が用いられ得る。また、人工知能によって蛍光シグナルと自家蛍光シグナルの分離処理が行われてもよい。また、蛍光シグナルと自家蛍光シグナルとの分離処理だけでなく、分離後の蛍光シグナルまたは自家蛍光シグナルを用いた各種処理、例えば、標本２０Ａの固定化状態の解析、またはセグメンテーションなどが機械学習技術などによって改善されてもよい。
　以上、本実施形態に係る情報処理システムの構成例について説明した。なお、図１を参照して説明した上記の構成はあくまで一例であり、本実施形態に係る情報処理システムの構成は係る例に限定されない。例えば、情報処理装置１００は、図１に示す機能構成の全てを必ずしも備えなくてもよい。また、情報処理装置１００は、データベース２００を内部に備えていてもよい。情報処理装置１００の機能構成は、仕様や運用に応じて柔軟に変形可能である。
　また、情報処理装置１００は、上記で説明してきた処理以外の処理を行ってもよい。例えば、蛍光試薬１０Ａに関する量子収率、蛍光標識率、および吸収断面積、もしくはモル吸光係数などの情報が試薬情報に含まれることによって、情報処理装置１００は、自家蛍光シグナルが除去された画像情報、および試薬情報を用いて画像情報における蛍光分子数や、蛍光分子と結合している抗体数などを算出してもよい。
　＜１－２．蛍光観察装置の構成例＞
　上記の情報処理システムは、例えば、蛍光観察装置５００に適用され得る。この蛍光観察装置５００は、顕微鏡システムの一例である。以下、蛍光観察装置５００の構成例について図２及び図３を参照して説明する。図２は、本実施形態に係る蛍光観察装置５００の概略構成の一例を示す図である。図３は、本実施形態に係る観察ユニット１の概略構成の一例を示す図である。
　図２に示すように、蛍光観察装置５００は、観察ユニット１と、処理ユニット２と、表示部３と、を有する。
　観察ユニット１は、励起部（照射部）１０と、ステージ２０と、分光イメージング部３０と、観察光学系４０と、走査機構５０と、フォーカス機構６０と、非蛍光観察部７０と、を含む。
　励起部１０は、波長が異なる複数の照射光を観察対象物に照射する。励起部１０は、例えば、異軸平行に配置された波長の異なる複数のライン照明を観察対象物である病理標本、すなわち病理サンプルに照射する。励起部１０は、照射部として機能する。ステージ２０は、病理標本を支持する台であって、走査機構５０により、ライン照明によるライン光の方向に対して垂直方向に移動可能に構成されている。分光イメージング部３０は、分光器を含み、ライン照明によりライン状に励起された病理標本の蛍光スペクトル、すなわち分光データを取得する。
　すなわち、観察ユニット１は、ライン照明に応じた分光データを取得するライン分光器として機能する。また、観察ユニット１は、複数の蛍光波長それぞれについて撮像対象である病理標本により生成された複数の蛍光画像をライン毎に撮像し、撮像した複数の蛍光画像のデータをラインの並び順で取得する撮像装置としても機能する。
　ここで、異軸平行とは、複数のライン照明が異軸かつ平行であることをいう。異軸とは、同軸上に無いことをいい、軸間の距離は特に限定されない。平行とは、厳密な意味での平行に限られず、ほぼ平行である状態も含む。例えば、レンズ等の光学系由来のディストーションや製造公差による平行状態からの逸脱があってもよく、この場合も平行とみなす。
　励起部１０と分光イメージング部３０は、ステージ２０に対し、観察光学系４０を介して接続されている。観察光学系４０は、フォーカス機構６０によって最適な焦点に追従する機能を有している。観察光学系４０には、暗視野観察、明視野観察などを行うための非蛍光観察部７０が接続されてもよい。また、観察ユニット１には、励起部１０、分光イメージング部３０、走査機構５０、フォーカス機構６０、非蛍光観察部７０などを制御する制御部８０が接続されてもよい。
　処理ユニット２は、記憶部２１と、データ校正部２２と、画像形成部２３とを含む。この処理ユニット２は、観察ユニット１によって取得された病理標本の蛍光スペクトルに基づいて、典型的には、病理標本の画像を形成し、あるいは蛍光スペクトルの分布を出力する。以下、病理標本はサンプルＳともいう。ここでの画像とは、そのスペクトルを構成する色素やサンプル由来の自家蛍光などの構成比率、波形からＲＧＢ（赤緑青）カラーに変換されたものや、特定の波長帯の輝度分布などをいう。
　記憶部２１は、例えばハードディスクドライブやフラッシュメモリといった不揮発性の記憶媒体と、当該記憶媒体に対するデータの書き込みおよび読み出しを制御する記憶制御部と、を含む。記憶部２１は、励起部１０が含む複数のライン照明それぞれにより射出される光の各波長と、分光イメージング部３０のカメラで受光された蛍光との相関を示す分光データが記憶される。また、記憶部２１には、観察対象となるサンプル（病理標本）に関する自家蛍光の標準スペクトルを示す情報や、サンプルを染色する色素単体の標準スペクトルを示す情報が予め記憶される。
　データ校正部２２は、分光イメージング部３０のカメラで撮像された撮像画像に基づき記憶部２１に記憶された分光データの構成を行う。画像形成部２３は、分光データと、励起部１０により照射された複数のライン照明の間隔Δｙとに基づき、サンプルの蛍光画像を形成する。例えば、データ校正部２２や画像形成部２３等を含む処理ユニット２は、ＣＰＵ（Central　Processing　Unit）、ＲＡＭ（Random　Access　Memory）、ＲＯＭ（Read　Only　Memory）等のコンピュータに用いられるハードウェア要素および必要なプログラム（ソフトウェア）により実現される。ＣＰＵに代えて、またはこれに加えて、ＦＰＧＡ（Field　Programmable　Gate　Array）等のＰＬＤ（Programmable　Logic　Device）、あるいは、ＤＳＰ（Digital　Signal　Processor）、その他ＡＳＩＣ（Application　Specific　Integrated　Circuit）等が用いられてもよい。
　表示部３は、例えば、画像形成部２３で形成された蛍光画像に基づく画像等の各種情報を表示する。この表示部３は、例えば、処理ユニット２に一体的に取り付けられたモニタで構成されてもよいし、処理ユニット２に接続された表示装置であってもよい。表示部３は、例えば、液晶デバイスあるいは有機ＥＬデバイス等の表示素子と、タッチセンサとを備え、撮影条件の入力設定や撮影画像等を表示するＵＩ（User　Interface）として構成される。
　次に、観察ユニット１の詳細について図３を参照して説明する。ここでは、励起部１０がそれぞれ２波長の発光を行う２つのライン照明Ｅｘ１およびＥｘ２を含むものとして説明する。例えば、ライン照明Ｅｘ１が波長４０５ｎｍの光と波長５６１ｎｍの光とを発光し、ライン照明Ｅｘ２が波長４８８ｎｍの光と波長６４５ｎｍの光とを発光する。
　図３に示すように、励起部１０は、複数の励起光源Ｌ１、Ｌ２、Ｌ３、Ｌ４を有する。各励起光源Ｌ１～Ｌ４は、波長がそれぞれ４０５ｎｍ、４８８ｎｍ、５６１ｎｍ及び６４５ｎｍのレーザ光を出力するレーザ光源で構成される。例えば、各励起光源Ｌ１～Ｌ４は、発光ダイオード（ＬＥＤ）やレーザダイオード（ＬＤ）などで構成される。
　さらに、励起部１０は、各励起光源Ｌ１～Ｌ４に対応するよう、複数のコリメータレンズ１１、複数のレーザラインフィルタ１２、複数のダイクロイックミラー１３ａ、１３ｂ、１３ｃと、ホモジナイザ１４と、コンデンサレンズ１５と、入射スリット部１６とを有する。
　励起光源Ｌ１から出射されるレーザ光と励起光源Ｌ３から出射されるレーザ光は、それぞれコリメータレンズ１１によって平行光になった後、各々の波長帯域の裾野をカットするためのレーザラインフィルタ１２を透過し、ダイクロイックミラー１３ａによって同軸にされる。同軸化された２つのレーザ光は、さらに、ライン照明Ｅｘ１となるべくフライアイレンズなどのホモジナイザ１４とコンデンサレンズ１５によってビーム成形される。
　励起光源Ｌ２から出射されるレーザ光と励起光源Ｌ４から出射されるレーザ光も同様に各ダイクロイックミラー１３ｂ、１３ｃによって同軸化され、ライン照明Ｅｘ１とは異軸のライン照明Ｅｘ２となるようにライン照明化される。ライン照明Ｅｘ１およびＥｘ２は、各々が通過可能な複数の入射スリットを有する入射スリット部１６において距離Δｙだけ離れた異軸ライン照明、すなわち１次像を形成する。
　なお、本実施形態では、４つのレーザを２つの同軸、２つの異軸とした例について説明するが、このほかに、２つのレーザを２つの異軸構成にしたり、４つのレーザを４つの異軸構成にしたりしてもよい。
　１次像は、観察光学系４０を介してステージ２０上のサンプルＳに照射される。観察光学系４０は、コンデンサレンズ４１と、ダイクロイックミラー４２，４３と、対物レンズ４４と、バンドパスフィルタ４５と、コンデンサレンズ４６とを有する。コンデンサレンズ４６は結像レンズの一例である。ライン照明Ｅｘ１、Ｅｘ２は、対物レンズ４４と対になったコンデンサレンズ４１で平行光にされ、ダイクロイックミラー４２、４３により反射されて対物レンズ４４を透過し、ステージ２０上のサンプルＳに照射される。
　ここで、図４は、本実施形態に係るサンプルＳの一例を示す図である。図４では、サンプルＳを励起光であるライン照明Ｅｘ１およびＥｘ２の照射方向から見た様子が示されている。サンプルＳは、典型的には、図４に示すような組織切片等の観察対象物Ｓａを含むスライドで構成されるが、勿論それ以外であってもよい。観察対象物Ｓａは、例えば、核酸、細胞、タンパク、菌、ウイルスなどの生体試料である。サンプルＳ、すなわち観察対象物Ｓａは、複数の蛍光色素によって染色されている。観察ユニット１は、サンプルＳを所望の倍率に拡大して観察する。
　図５は、本実施形態に係るサンプルＳにライン照明Ｅｘ１およびＥｘ２が照射される領域Ａを拡大して示す図である。図５の例では、領域Ａに２つのライン照明Ｅｘ１およびＥｘ２が配置されており、それぞれのライン照明Ｅｘ１およびＥｘ２に重なるように、分光イメージング部３０の撮影エリアＲ１およびＲ２が配置される。２つのライン照明Ｅｘ１およびＥｘ２は、それぞれＺ軸方向に平行であり、Ｙ軸方向に所定の距離Δｙだけ離れて配置される。
　サンプルＳの表面において、図５に示したようにライン照明Ｅｘ１およびＥｘ２が形成される。これらのライン照明Ｅｘ１およびＥｘ２によってサンプルＳにおいて励起された蛍光は、図３に示すように、対物レンズ４４によって集光され、ダイクロイックミラー４３に反射され、ダイクロイックミラー４２と、励起光をカットするバンドパスフィルタ４５とを透過し、コンデンサレンズ４６で再び集光されて、分光イメージング部３０に入射する。
　分光イメージング部３０は、図３に示すように、観察スリット部３１と、撮像素子３２と、第１プリズム３３と、ミラー３４と、回折格子３５と、第２プリズム３６と、を有する。回折格子３５は例えば波長分散素子である。
　図３の例では、撮像素子３２は、２つの撮像素子３２ａ、３２ｂを含んで構成されている。この撮像素子３２は、回折格子３５によって波長分散された複数の光、例えば蛍光等を受光する。撮像素子３２には、例えば、ＣＣＤ（Charge　Coupled　Device）、ＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）などの２次元イメージャが採用される。撮像素子３２は、撮像部として機能する。
　観察スリット部３１は、コンデンサレンズ４６の集光点に配置され、励起ライン数と同じ数、図３の例では２本の観察スリットを有する。観察スリットの数は特に限定されるものではなく、例えば、４本であってもよい。この観察スリット部３１を通過した２つの励起ライン由来の蛍光スペクトルは、第１プリズム３３で分離され、それぞれミラー３４を介して回折格子３５の格子面で反射することにより、励起波長各々の蛍光スペクトルにさらに分離される。分離された４つの蛍光スペクトルは、ミラー３４および第２プリズム３６を介して撮像素子３２ａおよび３２ｂに入射され、分光データとして、ライン方向の位置ｘと、波長λにより表現される分光データ（ｘ，λ）に展開される。分光データ（ｘ，λ）は、撮像素子３２に含まれる画素のうち、行方向において位置ｘ、列方向において波長λの位置の画素の画素値である。なお、分光データ（ｘ，λ）は、単に分光データとして記述されることがある。
　なお、撮像素子３２ａおよび３２ｂの画素サイズ（ｎｍ／Ｐｉｘｅｌ）は特に限定されず、例えば、２ｎｍ／Ｐｉｘｅｌ以上２０ｎｍ／Ｐｉｘｅｌ以下に設定される。この分散値は、回折格子３５のピッチや光学的に実現しても良いし、撮像素子３２ａおよび３２ｂのハードウェアビニングを使って実現しても良い。また、光路の途中にダイクロイックミラー４２やバンドパスフィルタ４５が挿入され、励起光、すなわちライン照明Ｅｘ１およびＥｘ２が撮像素子３２に到達しないようにされている。
　各ライン照明Ｅｘ１およびＥｘ２は、それぞれ単一の波長で構成される場合に限られず、それぞれが複数の波長で構成されてもよい。ライン照明Ｅｘ１およびＥｘ２がそれぞれ複数の波長で構成される場合、これらで励起される蛍光もそれぞれ複数のスペクトルを含む。この場合、分光イメージング部３０は、当該蛍光を励起波長に由来するスペクトルに分離するための波長分散素子を有する。波長分散素子は、回折格子やプリズムなどで構成され、典型的には、観察スリット部３１と撮像素子３２との間の光路上に配置される。
　なお、ステージ２０および走査機構５０は、Ｘ－Ｙステージを構成し、サンプルＳの蛍光画像を取得するため、サンプルＳをＸ軸方向およびＹ軸方向へ移動させる。ＷＳＩ（Whole　slide　imaging）では、Ｙ軸方向にサンプルＳをスキャンし、その後、Ｘ軸方向に移動し、さらにＹ軸方向へのスキャンを行うといった動作が繰り返される。走査機構５０を用いることで、サンプルＳ、すなわち観察対象物Ｓａ上において空間的に距離Δｙだけ離れた、それぞれ異なる励起波長で励起された色素スペクトル、すなわち蛍光スペクトルを、Ｙ軸方向に連続的に取得することができる。
　走査機構５０は、サンプルＳにおける照射光の照射される位置を経時的に変化させる。例えば、走査機構５０は、ステージ２０をＹ軸方向に走査する。この走査機構５０によって、ステージ２０に対して複数のライン照明Ｅｘ１，Ｅｘ２をＹ軸方向、つまり、各ライン照明Ｅｘ１，Ｅｘ２の配列方向に走査させることができる。これは、この例に限定されず、光学系の途中に配置されたガルバノミラーによって複数のライン照明Ｅｘ１およびＥｘ２がＹ軸方向に走査されてもよい。各ライン照明Ｅｘ１およびＥｘ２由来のデータ、例えば、２次元データ又は３次元データは、Ｙ軸について距離Δｙだけ座標がシフトしたデータになるので、予め記憶された距離Δｙ、または、撮像素子３２の出力から計算される距離Δｙの値に基づいて、補正され出力される。
　図３に示すように、非蛍光観察部７０は、光源７１、ダイクロイックミラー４３、対物レンズ４４、コンデンサレンズ７２、撮像素子７３などにより構成される。非蛍光観察部７０においては、図３の例では、暗視野照明による観察系を示している。
　光源７１は、ステージ２０に対して対物レンズ４４と対向する側に配置され、ステージ２０上のサンプルＳに対して、ライン照明Ｅｘ１、Ｅｘ２とは反対側から照明光を照射する。暗視野照明の場合、光源７１は、対物レンズ４４のＮＡ（開口数）の外側から照明し、サンプルＳで回折した光（暗視野像）を対物レンズ４４、ダイクロイックミラー４３およびコンデンサレンズ７２を介して撮像素子７３で撮影する。暗視野照明を用いることで、蛍光染色サンプルのような一見透明なサンプルであってもコントラストを付けて観察することができる。
　なお、この暗視野像を蛍光と同時に観察して、リアルタイムのフォーカスに使ってもよい。この場合、照明波長は、蛍光観察に影響のない波長を選択すればよい。非蛍光観察部７０は、暗視野画像を取得する観察系に限られず、明視野画像、位相差画像、位相像、インラインホログラム（In-line　hologram）画像などの非蛍光画像を取得可能な観察系で構成されてもよい。例えば、非蛍光画像の取得方法として、シュリーレン法、位相差コントラスト法、偏光観察法、落射照明法などの種々の観察法が採用可能である。照明用光源の位置もステージ２０の下方に限られず、ステージ２０の上方や対物レンズ４４の周りにあってもよい。また、リアルタイムでフォーカス制御を行う方式だけでなく、予めフォーカス座標（Ｚ座標）を記録しておくプレフォーカスマップ方式等の他の方式が採用されてもよい。
　なお、上述では、励起光としてのライン照明は、ライン照明Ｅｘ１およびＥｘ２の２本で構成されたが、これに限定されず、３本、４本あるいは５本以上であってもよい。またそれぞれのライン照明は、色分離性能がなるべく劣化しないように選択された複数の励起波長を含んでもよい。また、ライン照明が１本であっても、複数の励起波長から構成される励起光源で、かつそれぞれの励起波長と、撮像素子３２で所得されるデータとを紐づけて記録すれば、異軸平行ほどの分離能は得られないが、多色スペクトルを得ることができる。
　以上、本開示に係る技術を蛍光観察装置５００に適用した適用例について説明した。なお、図２及び図３を参照して説明した上記の構成はあくまで一例であり、本実施形態に係る蛍光観察装置５００の構成は係る例に限定されない。例えば、蛍光観察装置５００は、図２及び図３に示す構成の全てを必ずしも備えなくてもよいし、図２及び図３に示されていない構成を備えてもよい。
　このような複数の観察スリットを有する観察スリット部３１を備える蛍光観察装置５００（例えば、ライン共焦点蛍光顕微鏡）においては、例えば、ある一つの観察スリットに基づいて全観察スリットのフォーカスを合わせて全観察スリットで撮影を行うため、他の観察スリットではフォーカスが合っておらず、観察スリットごとに蛍光画像のボケの度合いが異なる。このようなボケが生じると、例えば、ボケによる隣接ピクセルからの信号の漏れ込みが原因となり、色分離後画像において細胞解析の結果が生物学的に正しくないと思われるものになること、一例として、二つの細胞が存在しているはずである箇所が一つの細胞として検出されることなどがある。
　ここで、図６は、本実施形態に係る観察スリットごとのフォーカス評価を説明するための図である。図６では、縦軸が隣接画素差分の和であり、横軸が対物位置（μｍ）である。励起波長は、例えば、４０５μｍ、４８８μｍ、５３２μｍ、６３８μｍである。図６の例では、励起波長は四つであるが、この数は観察スリットの数に対応するものであり、二つであってもよく、特に限定されるものではない。
　図６に示すように、観察スリット（励起波長）ごとに、対物位置に対する隣接画素差分の和を示すドットが提示されている。これらの各ドットに対して、観察スリットごとに、ガウシアン関数によるピークフィットにより最適フォーカス位置が推定される。この推定された最適フォーカス位置は、図６中に表として観察スリットごとに示されている。４０５励起用の観察スリットの最適フォーカス位置は６．５８μｍであり、４８８励起用の観察スリットの最適フォーカス位置は６．２２でμｍあり、５３２励起用の観察スリットの最適フォーカス位置は５．５６μｍであり、６３８励起用の観察スリットの最適フォーカス位置は６．１８μｍである。４０５励起用の観察スリットの最適フォーカス位置と５３２励起用の観察スリットの最適フォーカス位置との差は、１μｍよりも大きい。
　図７は、本実施形態に係る観察スリット（励起波長）ごとに撮影したチャートを示す図である。図７に示すように、正方形枠Ａ１が示す画が、フォーカスが最も合っている画であるが、そのときのフォーカス位置は、観察スリットによって異なっている。図７の例では、４０５励起用の観察スリットのフォーカス位置は、ある基準位置から＋７μｍであり、４８８励起用、５３２励起用及び６３８励起用の観察スリットの最適フォーカス位置は＋６μｍである。４０５励起用の観察スリットのフォーカス位置だけが他の励起用の観察スリットと異なる。このように全ての観察スリットでフォーカスが合っていないため、いずれかの観察スリットにおいて蛍光画像のボケが発生する。
　図８は、本実施形態に係るピンホール撮影データ（ピンホール撮影画像）を示す図である。図８の例では、ピンホールＨ１が黒点で示されているが、実際の画像ではピンホールＨ１は白点であり、ピンホールＨ１以外の領域は黒となる。これは、以下のピンホール撮影データに係る図でも同様である。図９は、図８に示すピンホール撮影データにおける中央側ピンホール（図８中の点線丸枠Ａ２内のピンホールＨ１）と端ピンホール（図８中の実線丸枠Ａ３内のピンホールＨ１）との信号波形を示す図である。図９の例では、縦軸が強度であり、横軸は位置である。これは、以下の波形に係る図面でも同様である。
　図８に示すように、ピンホール撮影データは、観察スリットのスリット長手方向Ｂ１に複数のピンホールＨ１が並ぶ画像である。このピンホール撮影データは、各ピンホールＨ１を有するピンホールサンプル３００が蛍光観察装置５００により撮影されて得られる。ピンホール撮影データにおいては、１枚の画像内でも場所ごとにボケ方が異なる。例えば、図９に示すように、端ピンホールの信号波形（図９中の実線Ｃ１参照）の広がりは、中央側ピンホールの信号波形（図９中の点線Ｃ２参照）の広がりよりも大きいため、スリット長手方向端領域におけるボケは、スリット長手方向中央領域におけるボケよりも大きい。
　図１０は、本実施形態に係るピンホールサンプル３００を説明するための図である。図１０に示すように、ピンホールサンプル３００は、ガラス３１０に遮光膜３２０（例えば、クロム膜）をつけてガラス３１０をマスクすることで作成されている。遮光膜３２０は、観察スリットのスリット長手方向Ｂ１に複数のピンホールＨ１を有する。このピンホールサンプル３００には、封止剤３３０を介してカバーガラス３４０が載置される。この状態のピンホールサンプル３００が、バックライト３５０（例えば、ランバーシアン）からの透過光により蛍光観察装置５００により撮影される。これにより、図８に示すように、観察スリットのスリット長手方向Ｂ１にピンホールＨ１が複数並んだピンホール撮影データ（ピンホール撮影画像）が得られる。なお、ピンホールサンプル３００は、蛍光体で作成されてもよい。
　なお、上述では、ある一つの観察スリットに基づいて全観察スリットのフォーカスを合わせる構成、すなわち、各ライン照明（複数ライン）が同じ焦点位置を有する構成に限定されず、異なる焦点位置を有する構成であってもよい。異なる焦点位置をもって走査撮影すると、フォーカス座標（Ｚ座標）の異なる画像を撮影することができる。顕微鏡撮影では、フォーカス座標を変えながら複数の断面データを撮影する用途があり、この方式であれば複数の断面を同時に撮影できるというメリットがある。なお、異なる断層像（異なるスリットでの撮影像）でそれぞれ異なるボケ補正を行うことも有用である。
　＜１－３．画像処理部の第１処理例＞
　本実施形態に係る画像処理部１７０の第１処理例について図１１から図１３を参照して説明する。図１１は、本実施形態に係る第１処理例の流れを示すフローチャートである。図１２は、本実施形態に係る最適なＰＳＦ（Point　Spread　Function：点像強度分布関数）の生成を説明するための図である。図１３は、本実施形態に係るデコンボリューション前後の蛍光画像（上段）及び細胞解析結果画像（下段）を示す図である。細胞解析結果画像は、処理対象の蛍光画像に基づいて細胞一つ一つをセグメンテーションした画像である。
　図１１に示すように、ステップＳ１１において、画像処理部１７０は、ピンホール正解信号波形と初期ＰＳＦをコンボリューション（畳み込み）し、ピンホール正解信号波形をボケさせる。ステップＳ１２において、画像処理部１７０は、ボケたピンホール正解信号波形が実際のピンホール撮影データの信号波形に近づくようにＰＳＦを変えながら非線形最小二乗フィッティングを行い、最適ＰＳＦを生成する。ステップＳ１３において、画像処理部１７０は、最適なＰＳＦとボケた蛍光画像をデコンボリューション（逆畳み込み）し、復元された蛍光画像を生成する。ここでいうデコンボリューションとは、ボケ画像を補正する手法を指し、例えば、ボケ画像と点像強度分布関数との逆畳み込み処理を行うことによる補正を含む。
　ピンホール正解信号波形は、予め求められたピンホール正解信号波形である。このピンホール正解信号波形は、ピンホールサイズに応じて理論的又は実験的に予め求められている。例えば、ピンホール正解信号波形はシミュレーションなどにより求められてもよい。ピンホール正解信号波形は、例えば、画像処理部１７０が備える記憶部（図示せず）などに記憶されており、必要に応じて記憶部から画像処理部１７０により読み出される。
　ピンホール撮影データは、上記のようにピンホールサンプル３００（図１０参照）が用いられて実際に蛍光観察装置５００により得られたピンホール撮影画像に関するデータである。このピンホール撮影データは、蛍光観察装置５００の特有のボケ（装置特有のボケ）を含むことになる。この特有のボケは、例えば、観察ユニット１が有する各部の部品精度や取り付け精度などに起因して発生するものである。ピンホール撮影データは、画像取得部１１２により取得されて画像処理部１７０に送られる。
　図１２に示すように、ピンホール正解信号波形（図１２中の実線Ｄ１参照）がボケさせられ、ＰＳＦが変えられつつ、ボケたピンホール正解信号波形が実際のピンホール撮影データの信号波形（図１２中の点線Ｄ２参照）に近づくように非線形最小二乗フィッティングが実行される。そして、ボケたピンホール正解信号波形と実際のピンホール撮影データの信号波形との差が最も小さくなった（すなわち、ほぼ一致した）ときのＰＳＦが最適なＰＳＦとなる。この最適なＰＳＦとボケた蛍光画像がデコンボリューションされ、エッジが復元された蛍光画像が生成される。
　なお、ＰＳＦとしては、例えば、ガウシアン関数とローレンチアン関数を足し合わせたものが使用される。ＰＳＦは、点像強度分布関数以外にも、点像分布関数や点拡がり関数などと呼ばれることもある。また、デコンボリューションに用いられる関数、すなわちデコンボリューション関数としては、例えば、deconvlucy関数を使用しているが、deconvwnr関数、deconvreg関数、deconvblind関数などが用いられてもよい。これらのdeconvlucyやdeconvwnr、deconvreg、deconvblindなどの関数は、例えば、matlab限定で使用される関数である。
　上記のような第１処理例によれば、蛍光画像のボケが除去され、蛍光画像のエッジが復元される。したがって、蛍光画像のボケを抑制することが可能になるので、空間漏れこみ低減により、色分離後画像における細胞解析の結果が生物学的に理解できるものとなる。例えば、所望個数の細胞が存在しているはずである箇所がその所望個数よりも少ない個数の細胞として検出されることを抑えることができる。
　例えば、図１３に示すように、デコンボリューション前の細胞解析結果画像（左側の画像参照）では、丸枠Ａ４内の細胞は二つであるが、デコンボリューション後の細胞解析結果画像（右側の画像参照）では、丸枠Ａ４内の細胞は五つである。このように上記のデコンボリューションを実行することで、五つの細胞が存在しているはずである箇所が二つの細胞として検出されることを抑えることができる。したがって、ボケによる隣接ピクセルからの信号の漏れ込みが原因となり、色分離後画像において細胞解析の結果が生物学的に正しくないと思われるものになることを抑制することができる。
　ここで、例えば、ピンホール正解信号波形は、ピンホール出射端での光強度分布から得られる。このピンホール出射端での光強度分布は、既知の導波管での電磁波解析により与えられ、ピンホール端部での電界をゼロとしたベッセル関数により記述される。なお、取り扱いのし安さから上記ベッセル関数は近似的にＣｏｓ＾２で置き換えることもできる。例えば、基底モード（第一種ベッセル関数０次）はＣｏｓ関数で近似可能である。
　例えば、円筒管のモード形状導出では、下記の式（１）は極座標波動方程式であり、下記の式（２）は円筒管の端で電界Ｅが０の条件である。なお、直交座標（ｘ、ｙ、ｚ）から円筒座標（ｘ、θ、ｚ）への変換は、ｘ＝ｒｃｏｓθ及びｙ＝ｒｓｉｎθ（極座標）で与えられる。また、円筒管の直径は２ａである。下記の式（１）及び式（２）に基づき、下記の式（１）は変数分離法により二つの下記の式（３）及び式（４）に分離される。下記の式（３）及び式（４）に基づき、二つの一般解の下記の式（５）及び（６）が得られる。基底では、式（６）は定数である。なお、ｊｎ（ｐ）＝０の第ｍ番目の根をＰｎｍと書けば、固有値はｋｔ＝Ｐｎｍ／ａである。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
Figure JPOXMLDOC01-appb-M000003
Figure JPOXMLDOC01-appb-M000004
Figure JPOXMLDOC01-appb-M000005
Figure JPOXMLDOC01-appb-M000006
　ＰＳＦは、光学系のＰＳＦ（Point　Spread　Function）である。この光学系のＰＳＦとは、光学系の物体平面におかれた無限小の点光源（例えば、発光する分子などが近い）が特定の光学系を透過したのちに像面（実際にはイメージセンサなど）にどのようなボケ具合で映るかを示したものである。仮に物体平面に置かれる試料について無限の解像度でその真の画像を知っていれば、この真の画像と光学系のＰＳＦとのコンボリューションを取ることにより、イメージセンサ上に映し出される光学系を透過したあとの画像を計算により生成できる。
　また、本実施形態に関する計算においては、像面側に口径Ｄ、焦点距離ｆ１の接眼レンズと焦点距離ｆ２の対物レンズとを用いた場合、点光源は、ｄ＝４λｆ１／（πＤ）のビームウエストをもつガウス分布を像面に構成する（λ：光の波長）。これは、物体面において、４λｆ２／ｆ１（πＤ）のビームウエストをもつガウス分布のように見えるので、ｆ（ｒ）＝Ｉ０ｅｘｐ（－２ｒ＾２／（４λｆ２／ｆ１（πＤ）＾２））が半径上のｒ地点におけるＰＳＦとなる。
　ただし、本実施形態においては、上記の各関数はあくまで最適解を求めるための出発点として初期ＰＳＦとして用いるものであって、必ずしも上記の各関数に限られるものではなく、同様の形状をした関数を収束演算の出発点として用いれば足りる。
　＜１－４．画像処理部の第２処理例＞
　本実施形態に係る画像処理部１７０の第２処理例について図１４及び図１５を参照して説明する。図１４は、本実施形態に係る第２処理例の流れを示すフローチャートである。図１５は、本実施形態に係る第２処理例を説明するための図である。
　図１４に示すように、ステップＳ２１において、画像処理部１７０は、４０５励起のピンホール撮影データを用いてＰＳＦを最適化し、４０５励起スリット用最適ＰＳＦを生成する。このＰＳＦの最適化処理は、図１１中のステップＳ１１及びステップＳ１２の処理に相当する。図１４及び図１５に示すように、ステップＳ２２において、画像処理部１７０は、最適なＰＳＦとボケた４０５励起蛍光画像をデコンボリューションし、復元された４０５励起蛍光画像を生成する。なお、４０５励起とは励起波長が４０５μｍであることを意味し、４０５励起のピンホール撮影データとは励起波長が４０５μｍによる撮影によって得られた撮影データである（他の励起波長も同様である）。
　また、画像処理部１７０は、上記と同じように、４８８励起、５３２励起及び６３８励起のピンホール撮影データを用いて、ステップＳ２１及びステップＳ２２において、上記のＰＳＦの最適化処理及びデコンボリューション処理を行い、復元された４８８励起蛍光画像、５３２励起蛍光画像及び６３８励起蛍光画像を生成する。なお、図１４及び図１５において、励起波長ごとに用いるデータは異なるが、処理自体は同じであるため、ステップに同じ符号を付す。励起波長は、例えば、４０５μｍ、４８８μｍ、５３２μｍ、６３８μｍである。
　図１４及び図１５に示すように、ステップＳ２３において、画像処理部１７０は、復元された４０５励起蛍光画像、４８８励起蛍光画像、５３２励起蛍光画像及び６３８励起蛍光画像をパッキングする。ステップＳ２４において、解析部１３１は、画像処理部１７０がパッキングした蛍光画像群に対して色分離処理を実行する。図１４に示すように、ステップＳ２５において、画像処理部１７０は、色分離後画像に対して細胞解析を行う。
　なお、図１５の例では、色素１、色素２、色素３、色素４というように、色分離処理によって色素ごとに色分離後画像が得られる。色分離処理は、例えば、観察対象に対して励起光を照射して検出される蛍光から、その観察対象の自家蛍光による蛍光成分、および／または、隣接する波長領域による蛍光成分を分離する処理を含む。
　このような第２処理例によれば、観察スリットごとのピンホール撮影データそれぞれにおいて、ＰＳＦを最適化することで、観察スリットごとに異なる最適ＰＳＦを作成し、マルチスペクトル画像の各励起蛍光画像をそれぞれに対応する観察スリットの最適ＰＳＦとデコンボリューションする。これにより、蛍光画像のボケが除去され、蛍光画像のエッジが復元される。したがって、蛍光画像のボケを抑制することが可能になるので、空間漏れこみ低減により、色分離後画像における細胞解析の結果が生物学的に理解できるものとなる。
　ここで、デコンボリューション効果（ボケ補正効果）の評価結果について図１６及び図１７を参照して説明する。図１６は、本実施形態に係る色分離後のビーズ蛍光画像を示す図である。図１７は、本実施形態に係るデコンボリューション効果の評価結果を説明するための図である。
　図１６に示すように、色分離後のビーズ蛍光画像が示されている。この色分離後のビーズ蛍光画像において正方形枠Ａ５で囲んでいる１ビーズについて、デコンボリューション効果の評価結果が図１７に示される。この図１７での評価結果は、デコンボリューション効果をビーズの信号波形解析により評価した結果である。図１７の例では、ビーズ波形は１ビーズの中央部分の波形である。
　図１７に示すように、上記の１ビーズについて、デコンボリューション前（図１７中の左側グラフ参照）と、観察スリット間で共通のＰＳＦとデコンボリューションした結果（図１７中の中央グラフ参照）と、観察スリットごとに異なるＰＳＦとデコンボリューションした結果（図１７中の右側グラフ参照）との３パターンにおける、ビーズ波形（図１７中の点線Ｅ１参照）とそのビーズ波形の左右エッジの傾き（ビーズ波形上の太実線Ｅ２参照）の平均とが提示されている。
　図１７の例では、デコンボリューション前のビーズ波形における左右エッジの傾きの平均は０．００９３であり、観察スリット間で共通のＰＳＦとデコンボリューションした結果のビーズ波形における左右エッジの傾きの平均は０．０４１１であり、観察スリットごとに異なるＰＳＦとデコンボリューションした結果のビーズ波形における左右エッジの傾きの平均は０．０５３１である。このような左右エッジの傾きの平均が高い方が、エッジの鋭い画であることを示す。したがって、各左右エッジの傾きの平均結果の比較により、今回注目した１ビーズについては、観察スリットごとに異なるＰＳＦとデコンボリューションした結果が最もエッジの鋭い画に復元できたといえる。
　＜１－５．画像処理部の第３処理例＞
　本実施形態に係る画像処理部１７０の第３処理例について図１８から図２３を参照して説明する。
　第３処理例では、画像処理部１７０は、スライド上の異なる位置に存在するピンホールＨ１それぞれにおいて、第１処理例又は第２処理例に記載した方法でＰＳＦを最適化することで画像内場所ごとに異なる最適ＰＳＦを作成し、蛍光画像内の各領域をそれぞれの場所に対応する最適ＰＳＦとデコンボリューションする。この方法について、以下２つのバリエーションがある。
　（バリエーション１）
　バリエーション１について図１８から図２０を参照して説明する。図１８は、本実施形態に係るピンホール撮影データを示す図である。図１９は、本実施形態に係るビーズ蛍光画像（デコンボリューション対象画像）における領域分割を説明するための図である。図２０は、本実施形態に係る第３処理例のバリエーション１の流れを示すフローチャートである。
　バリエーション１では、ピンホール撮影データにおける長手方向中央領域とその中央領域を両側から挟む一対の端領域とで異なるＰＳＦを使用する。
　図１８に示すように、画像処理部１７０は、ピンホール撮影データにおける長手方向中央のピンホールＨ１（図１８中の実線の丸枠Ａ６内のピンホールＨ１）と長手方向端のピンホールＨ１（図１８中の点線の丸枠Ａ７内のピンホールＨ１）との画像内長手方向の場所に基づいて、図１９に示すように、一つの中央領域及び二つの端領域を決定する。
　図２０に示すように、ステップＳ３１及びステップＳ３２において、画像処理部１７０は、ピンホール撮影データにおける長手方向中央のピンホールＨ１と長手方向端のピンホールＨ１のそれぞれでＰＳＦを最適化し、中央領域用最適ＰＳＦと端領域用最適ＰＳＦを作成する。画像処理部１７０は、ボケた蛍光画像も長手方向の中央領域と端領域とに分割し、ステップＳ３３及びステップＳ３４において、それぞれの領域に中央領域用最適ＰＳＦと端領域用最適ＰＳＦを適用してデコンボリューションを行うことで、エッジが復元された画像を生成する。
　なお、画像の分割数は特に限定されるものではなく、ピンホール位置に合わせて画像をさらに分割し、ＰＳＦの種類をさらに増やしてもよい。また、中央領域用最適ＰＳＦと端領域用最適ＰＳＦの間を補間するように、ＰＳＦを例えば連続的又は段階的に変化させてもよい。
　ここで、デコンボリューション効果の評価結果について図２１を参照して説明する。図２１は、本実施形態に係るデコンボリューション効果の評価結果を説明するための図である。この図２１での評価結果は、デコンボリューションの効果をビーズの信号波形解析により評価した結果である。図２１の例では、ビーズ波形は１ビーズの中央部分の波形である。
　図２１に示すように、色分離後のビーズ蛍光画像における正方形枠Ａ８（図１９参照）で囲まれている１ビーズについて、１種類のＰＳＦとデコンボリューションした結果（図２１中の左側グラフ参照）と、長手方向中央領域と端領域とで異なる２種類のＰＳＦとデコンボリューションした結果（図２１中の右側グラフ参照）との２パターンにおける、ビーズ波形（図２１中の点線Ｅ１参照）とそのビーズ波形の左右エッジの傾き（ビーズ波形上の太実線Ｅ２参照）の平均が提示されている。
　図２１の例では、１種類のＰＳＦとデコンボリューションした結果のビーズ波形における左右エッジの傾きの平均は０．０４１３であり、長手方向中央領域と端領域とで異なる２種類のＰＳＦとデコンボリューションした結果のビーズ波形における左右エッジの傾きの平均は０．０４５９である。したがって、それらの左右エッジの傾きの平均結果の比較により、今回注目した１ビーズについては、画像内領域ごとに異なるＰＳＦとデコンボリューションした場合が最もエッジの鋭い画に復元できたといえる。
　（バリエーション２）
　バリエーション２について図２２及び図２３を参照して説明する。図２２は、本実施形態に係るピンホール撮影データにおける領域ごとの最適ＰＳＦの用意を説明するための図である。図２３は、本実施形態に係る画像全体をデコンボリューションした結果の混合比率を説明するための図である。
　バリエーション２では、ピンホール撮影データにおける領域ごとに異なる最適ＰＳＦを使って、画像全体をデコンボリューションした結果の混合比率を場所によって変える。
　画像処理部１７０は、図２２に示すように、ピンホール撮影データにおいて長手方向左端領域用、中央領域用及び右端領域用の最適ＰＳＦを用意し、それぞれを使ってボケた蛍光画像全体をデコンボリューションする。図２２の例では、画像処理部１７０は、（１）ピンホールＨ１に対応する最適ＰＳＦを左端領域用ＰＳＦとして設定し、（４）ピンホールＨ１に対応する最適ＰＳＦを中央領域用ＰＳＦとして設定し、（８）ピンホールＨ１に対応する最適ＰＳＦを右端領域用ＰＳＦとして設定する。
　その後、画像処理部１７０は、図２３に示すように、得られた３つのデコンボリューション結果画像の混合比率を画像内の場所によって変えることで、最終的なデコンボリューション結果画像を作成する。図２３の例では、画の左端になるほど、左端領域用ＰＳＦとのデコンボリューション結果画像の混合比率が高くなり、画の中央になるほど、中央領域用ＰＳＦとのデコンボリューション結果画像の混合比率が高くなり、画の右端になるほど、右端領域用ＰＳＦとのデコンボリューション結果画像の混合比率が高くなる。
　このような第３処理例によれば、スライド上の異なる位置に存在する各ピンホールＨ１それぞれにおいて、第１処理例又は第２処理例に記載した方法でＰＳＦを最適化することで画像内場所ごとに異なる最適ＰＳＦを作成し、蛍光画像内の各領域をそれぞれの場所に対応する最適ＰＳＦとデコンボリューションする。これにより、蛍光画像のボケが除去され、蛍光画像のエッジが復元される。したがって、蛍光画像のボケを抑制することが可能になるので、空間漏れこみ低減により、色分離後画像における細胞解析の結果が生物学的に理解できるものとなる。
　＜１－６．画像処理部の第２処理例の変形例＞
　本実施形態に係る画像処理部１７０の第２処理の変形例について図２４から図２６を参照して説明する。図２４は、本実施形態に係る第２処理例の流れを示すフローチャートである。図２５は、本実施形態に係る第２処理例の変形例の流れを示すフローチャートである。図２６は、本実施形態に係る第２処理例の変形例に対応する情報処理システムの概略構成の一例を示す図である。
　第２処理例では、図２４に示すように、色分離前にデコンボリューションを行っているが、変形例では、図２５に示すように、色分離後にデコンボリューションを行っており、色分離のフローにおいて、デコンボリューション処理を入れるタイミングが異なっている。図２６に示すように、変形例では、画像処理部１７０は、画像取得部１１２及び画像情報保存部１２２（図１参照）との間ではなく、画像生成部１３２の後段に設けられている。
　図２４に示すように、色分離前にデコンボリューションするフローにおいては、数百枚のマルチスペクトル画像に対してデコンボリューションを行うことになるのに対し、図２５に示すように、色分離後にデコンボリューションするフローでは、十枚前後の色素画像に対してのデコンボリューション処理で済むため、デコンボリューション処理にかかる時間を短縮できる。例えば、９ＭＩＸのｂｅａｄｓ画像の色分離にかかった時間は、色分離前にデコンボリューションを行うフローで約１２分２７秒であり、色分離後にデコンボリューションを行うフローでは約３分４５秒となり、その時間を大幅に短縮できることがわかる。また、色分離後にデコンボリューションするフローでは、色分離前にデコンボリューションするフローよりもエッジが鋭い画像に復元できる。これは、色分離前のマルチスペクトル画像と比較してＳ／Ｎの高い画がデコンボリューションの対象になっているためである。
　また、色分離後の蛍光画像を観察スリットごとに異なるＰＳＦとデコンボリューションする際、基本的には色素のコントリビューションに合った観察スリットのＰＳＦを適用することにする。例えば、ＡＦ４８８色素は４８８励起の最適ＰＳＦ、ＡＦ６４７色素は６３８励起の最適ＰＳＦなどである。タンデム色素のような複数励起波長にまたがる色素の場合には、使用する標準スペクトルのピーク比率からＰＳＦの適切な混合比率を算出して混合したＰＳＦを適用する。
　ここで、デコンボリューション効果の評価結果について図２７及び図２８を参照して説明する。図２７は、本実施形態に係る色分離後のビーズ蛍光画像を示す図である。図２８は、本実施形態に係るデコンボリューション効果の評価結果を説明するための図である。
　図２７に示すように、色分離後のビーズ蛍光画像が示されている。この色分離後のビーズ蛍光画像において正方形枠Ａ９で囲まれている１ビーズについて、デコンボリューション効果の評価結果が図２８に示される。この図２８での評価結果は、デコンボリューション効果をビーズの信号波形解析により評価した結果である。図２８の例では、ビーズ波形は１ビーズの中央部分の波形である。
　図２８に示すように、上記の１ビーズについて、デコンボリューション前（図２８中の左側グラフ参照）と、色分離前にデコンボリューションした結果（図２８中の中央グラフ参照）と、色分離後にデコンボリューションした結果（図２８中の右側グラフ参照）との３パターンにおける、ビーズ波形（図２８中の点線Ｅ１参照）とそのビーズ波形の左右エッジの傾き（ビーズ波形上の太実線Ｅ２参照）の平均とが提示されている。
　図２８の例では、デコンボリューション前のビーズ波形における左右エッジの傾きの平均は０．００９３であり、色分離前にデコンボリューションした結果のビーズ波形における左右エッジの傾きの平均は０．０５３１であり、色分離後にデコンボリューションした結果のビーズ波形における左右エッジの傾きの平均は０．０５６０である。したがって、それらの左右エッジの傾きの平均結果の比較により、今回注目した１ビーズについては、色分離後にデコンボリューションした結果が最もエッジの鋭い画に復元できたといえる。
　さらに、各ビーズにおける左右エッジの傾きの平均を画像内全ビーズについて算出しそれらの平均値を求めることで、画像全体のデコンボリューション効果を確認した。平均値は、デコンボリューション前では０．００８０、色分離前にデコンボリューションした結果では０．０４９７、色分離後にデコンボリューションした結果では０．０５３６となっており、色分離後にデコンボリューションを行った時に最も画像全体のエッジが復元できたという結果になった。これは、色分離前のマルチスペクトル画像と比較して、Ｓ／Ｎの高い画がデコンボリューションの対象になっているためと考えられる。
　＜１－７．デコンボリューションの関数例＞
　本実施形態に係るデコンボリューションの関数例について図２９から図４０を参照して説明する。
　デコンボリューションの関数例としては、deconvlucy、deconvwnr、deconvregが挙げられる。deconvlucyは、高速の、減衰付きルーシーリチャードソンアルゴリズムを実行するものである。この関数は、最適化手法とポアソン統計量を使用して、反復的に計算を行うものである。このdeconvlucyの関数では、ループがありで、入力したＰＳＦや結果の画を変えながらデコンボリューションが行われる。deconvwnrは、最小二乗解を求める。この関数は、ブレ除去中に発生しうるノイズ増幅を小さくするため、ノイズに関するいくつかの情報を与えることができる。deconvregは、制約付きの最小二乗解を求める。なお、出力イメージに制約を設定する。この関数は、ブレ除去中に発生しうるノイズ増幅を小さくするため、ノイズに関するいくつかの情報を与えることができる。これらdeconvwnr及びdeconvregの関数では、ループがなしで、入力したＰＳＦをそのまま使ってデコンボリューションが行われる。
　なお、deconvlucy、deconvwnr、deconvreg以外にも、deconvblindが用いられてもよい。deconvblindは、ブラインドデコンボリューションアルゴリズムを実行する。このアルゴリズムは、ＰＳＦの知識なしにブレ除去を行うものである。ＰＳＦの初期推定値を引数として渡す。この関数は、復元されたイメージに加え、復元されたＰＳＦも返す。この実装では、deconvlucyと同じ減衰及び反復モデルを使用する。
　ここでは、deconvlucy、deconvwnr、deconvregの違いをシミュレーションピンホールのデコンボリューション（場所ごとのＰＳＦ、観察スリットごとのＰＳＦ）において観察する。この観察に必要な処理は、例えば、情報処理システムを適用した蛍光観察装置５００により実行される。
　（場所ごとのＰＳＦ）
　場所ごとのＰＳＦを用いるデコンボリューションについて図２９から図３１について説明する。図２９は、本実施形態に係る理想波形とデコンボリューション後の波形との評価処理の流れの一例を示すフローチャートである。図３０は、本実施形態に係るピンホールＨ１ごとのＰＳＦの作成を説明するための図である。図３１は、本実施形態に係る理想波形、理想波形をＰＳＦでぼかした波形及びその波形をＰＳＦでデコンボリューションした波形を示す図である。
　図２９に示すように、ステップＳ５１において、画像処理部１７０は、ピンホール撮影データ（４０５励起で撮影）における場所ごとに異なるＰＳＦ１～８を作成する。例えば、図３０に示すように、ピンホールＨ１ごとにＰＳＦ１、ＰＳＦ２、ＰＳＦ３、・・・が作成される。図２９に戻り、ステップＳ５２において、画像処理部１７０は、理想波形をＰＳＦ１～８のそれぞれとコンボリューションしてぼかす。ステップＳ５３において、画像処理部１７０は、ぼかした画をＰＳＦ１～８のそれぞれとデコンボリューションして元に戻す。ステップＳ５４において、画像処理部１７０は、理想波形とデコンボ後波形（デコンボリューション後の波形）において、左右エッジの傾きの平均を算出する。
　図３１に示すように、左右エッジ（図３１中の点線Ｆ１参照）とは、Ｐｅａｋ（ピーク）の９０％点と１０％点を結ぶ線である。なお、図３１の例では、細実線Ｇ１のグラフは理想波形であり、破線Ｇ２のグラフは理想波形をＰＳＦでぼかした波形であり、太実線Ｇ３のグラフは破線Ｇ２の波形をＰＳＦでデコンボリューションした波形である。これは、以下の図である図３２から図３４、図３７から図３９でも同様である。
　ここで、デコンボリューション効果の評価結果について図３２から図３５を参照して説明する。図３２は、本実施形態に係るぼかした画と場所ごとのＰＳＦとをdeconvlucyでデコンボリューションした後の波形を示す図である。図３３は、本実施形態に係るぼかした画と場所ごとのＰＳＦとをdeconvwnrでデコンボリューションした後の波形を示す図である。図３４は、本実施形態に係るぼかした画と場所ごとのＰＳＦとをdeconvregでデコンボリューションした後の波形を示す図である。図３５は、本実施形態に係るぼかした画と場所ごとのＰＳＦとのデコンボリューション後の波形のエッジ評価結果を示す図である。
　なお、図３２の例では、ぼかしはＰＳＦ１で行われ、デコンボリューションはＰＳＦ１～８で行われている。デコンボリューションは、左上側グラフから右へ並ぶグラフ順に、ＰＳＦ１、ＰＳＦ２、ＰＳＦ３、ＰＳＦ４で行われており、左下側グラフから右へ並ぶグラフ順にＰＳＦ５、ＰＳＦ６、ＰＳＦ７、ＰＳＦ８で行われている。これは、以下の図である図３３及び図３４でも同様である。
　図３２に示すように、図３２中の左上側グラフのように、ＰＳＦ１でぼかしてＰＳＦ１でデコンボリューションした場合には、理想波形とデコンボリューション後の波形（拡がり）はかなり近づいており、デコンボリューションの効果が大きいことがわかる。また、ぼかした画に合っていない場所用のＰＳＦでデコンボリューションした場合でも、図３２中の左上側グラフ以外のグラフのように、理想波形とデコンボリューション後の波形は近づいており、ある程度デコンボリューション効果が出ていることがわかる。
　図３３に示すように、図３３中の左上側グラフのように、ＰＳＦ１でぼかしてＰＳＦ１でデコンボリューションした場合には、理想波形とデコンボリューション後の波形（拡がり）はほぼ同じであり、デコンボリューションの効果が大きいことがわかる。一方、ぼかした画に合っていない場所用のＰＳＦでデコンボリューションした場合には、図３３中の左上側グラフ以外のグラフのように、図３２と比べると、理想波形とデコンボリューション後の波形はあまり近づいておらず、デコンボリューション効果が小さいことがわかる。
　図３４に示すように、図３４中の左上側グラフのように、ＰＳＦ１でぼかしてＰＳＦ１でデコンボリューションした場合には、図３３と同様、理想波形とデコンボリューション後の波形（拡がり）はほぼ同じであり、デコンボリューションの効果が大きいことがわかる。一方、ぼかした画に合っていない場所用のＰＳＦでデコンボリューションした場合には、図３４中の左上側グラフ以外のグラフのように、図３２と比べると、理想波形とデコンボリューション後の波形はあまり近づいておらず、デコンボリューション効果が小さいことがわかる。
　図３５に示すように、理想波形を各ＰＳＦ１～８のいずれかでぼかした画と各ＰＳＦ１～８のそれぞれとをデコンボリューションした結果が提示されている。図３５の例では、縦軸は上記の左右エッジの平均値であり、横軸は理想波形及び使用したＰＳＦの種類である。左上側グラフは、理想波形をＰＳＦ１でぼかした画と各ＰＳＦ１～８のそれぞれとをデコンボリューションした結果である。ぼかしは、左上側グラフから右へ並ぶグラフ順に、ＰＳＦ１、ＰＳＦ２、ＰＳＦ３、ＰＳＦ４で行われており、左下側グラフから右へ並ぶグラフ順にＰＳＦ５、ＰＳＦ６、ＰＳＦ７、ＰＳＦ８で行われている。
　図３５によれば、deconvlucyは、場所ごとにＰＳＦを使い分けてデコンボリューションしても、結果（左右エッジの平均値）の差が小さいことがわかる。一方、deconvwnr及びdeconvregは、場所ごとにＰＳＦを使い分けてデコンボリューションすると結果の差が大きいことがわかるが、ぼかした画に合ったＰＳＦでデコンボリューションすると、エッジが理想波形を超えるような過デコンボリューションになることなく理想波形に近づけることが可能であることがわかる。
　（観察スリットごとのＰＳＦ）
　観察スリットごとのＰＳＦを用いるデコンボリューションについて図３６及び図４０について説明する。図３６は、本実施形態に係る理想波形とデコンボリューション後の波形との評価処理の流れの一例を示すフローチャートである。
　図３６に示すように、ステップＳ６１において、画像処理部１７０は、ピンホール撮影データ（ピンホール（４））における観察スリットごとに異なるＰＳＦ４０５、４８８、５３２、６３８を作成する。ステップＳ６２において、画像処理部１７０は、理想波形をＰＳＦ４０５、４８８、５３２、６３８のそれぞれとコンボリューションしてぼかす。ステップＳ６３において、画像処理部１７０は、ぼかした画をＰＳＦ４０５、４８８、５３２、６３８のそれぞれとデコンボリューションして元に戻す。ステップＳ６４において、画像処理部１７０は、理想波形とデコンボ後波形（デコンボリューション後の波形）において、左右エッジ（ｐｅａｋの９０％点と１０％点を結ぶ線）の傾きの平均を算出する。
　なお、ＰＳＦ４０５は４０５励起用ＰＳＦであり、ＰＳＦ４８８は４８８励起用ＰＳＦであり、ＰＳＦ５３２は５３２励起用ＰＳＦであり、ＰＳＦ６３８は６３８励起用ＰＳＦである。これらのＰＳＦ４０５、４８８、５３２、６３８は、励起波長ごと、すなわち観察スリットごとに決定される。
　ここで、デコンボリューション効果の評価結果について図３７から図４０を参照して説明する。図３７は、本実施形態に係るぼかした画と観察スリットごとのＰＳＦとをdeconvlucyでデコンボリューションした後の波形を示す図である。図３８は、本実施形態に係るぼかした画と観察スリットごとのＰＳＦとをdeconvwnrでデコンボリューションした後の波形を示す図である。図３９は、本実施形態に係るぼかした画と観察スリットごとのＰＳＦとをdeconvregでデコンボリューションした後の波形を示す図である。図４０は、本実施形態に係るぼかした画と観察スリットごとのＰＳＦとのデコンボリューション後の波形のエッジ評価結果を示す図である。
　なお、図３７の例では、ぼかしはＰＳＦ４０５で行われ、デコンボリューションはＰＳＦ４０５、ＰＳＦ４８８、ＰＳＦ５３２、ＰＳＦ６３８で行われている。デコンボリューションは、最左側グラフから右へ並ぶグラフ順に、ＰＳＦ４０５、ＰＳＦ４８８、ＰＳＦ５３２、ＰＳＦ６３８で行われている。これは、以下の図である図３８及び図３９でも同様である。
　図３７によれば、ぼかした画に合っている観察スリット用のＰＳＦでデコンボリューションした時（図３７中の最左側グラフ）と、ぼかした画に合っていない観察スリット用のＰＳＦでデコンボリューションした時（図３７中の最左側グラフ以外の三つのグラフ）とで、デコンボリューション効果の差は小さいことがわかる。一方、図３８及び図３９によれば、ぼかした画に合っている観察スリット用のＰＳＦでデコンボリューションした時（図３８及ぶ図３９中の最左側グラフ）と、ぼかした画に合っていない観察スリット用のＰＳＦでデコンボリューションした時（図３８及ぶ図３９中の最左側グラフ以外の三つのグラフ）とで、デコンボリューション効果の差は大きいことがわかる。
　つまり、deconvlucyを使ってデコンボリューションした場合には、画像に合ったＰＳＦ４０５）でデコンボリューションした時と画像に合っていないＰＳＦ（ＰＳＦ４８８、５３２、６３８）でデコンボリューションした時の結果にあまり差はない。一方で、deconvwnrやdeconvregを使ってデコンボリューションした場合には、画像に合ったＰＳＦ（ＰＳＦ４０５）でデコンボリューションした時はデコンボリューション効果が非常に良く出ているが、それと比べると、画像に合っていないＰＳＦ（ＰＳＦ４８８、５３２、６３８）でデコンボリューションした時のデコンボリューション効果はかなり小さい。
　図４０に示すように、理想波形を各ＰＳＦ４０５、ＰＳＦ４８８、ＰＳＦ５３２、ＰＳＦ６３８のいずれかでぼかした画と各ＰＳＦ４０５、ＰＳＦ４８８、ＰＳＦ５３２、ＰＳＦ６３８のそれぞれとをデコンボリューションした結果が提示されている。図４０の例では、縦軸は上記の左右エッジの平均値であり、横軸は理想波形及び使用したＰＳＦの種類である。左上側グラフは、理想波形をＰＳＦ４０５でぼかした画と各ＰＳＦ４０５、ＰＳＦ４８８、ＰＳＦ５３２、ＰＳＦ６３８のそれぞれとをデコンボリューションした結果である。ぼかしは、左上側グラフから右へ並ぶグラフ順に、ＰＳＦ４０５、ＰＳＦ４８８で行われており、左下側グラフから右へ並ぶグラフ順にＰＳＦ５３２、ＰＳＦ６３８で行われている。
　図４０によれば、deconvlucyは、観察スリットごとにＰＳＦを使い分けてデコンボリューションしても、結果（左右エッジの平均値）の差が小さいことがわかる。一方、deconvwnr及びdeconvregは、観察スリットごとにＰＳＦを使い分けてデコンボリューションすると結果の差が大きいことがわかるが、ぼかした画に合った観察スリット用のＰＳＦでデコンボリューションすると、エッジが理想波形を超えるような過デコンボリューションになることなく理想波形に近づけることが可能であることがわかる。
　＜１－８．作用・効果＞
　以上説明したように、本実施形態によれば、生体試料を含むサンプルＳに複数のライン状の光を照射する照射部（例えば、励起部１０）と、複数のライン状の光にそれぞれ対応する複数の観察スリット（例えば、観察スリット部３１の観察スリット）を通過した光を受ける撮像部（例えば、撮像素子３２）と、観察スリットごとに、点像強度分布関数を最適化し、最適な点像強度分布関数と撮像部により受けられた光に基づく蛍光画像とをデコンボリューションする画像処理部１７０と、を備える。これにより、蛍光画像のエッジを復元することが可能になるので、蛍光画像のボケを抑えることができる。
　また、複数のライン状の光の励起波長は、観察スリットごとに異なってもよい。この場合でも、蛍光画像のボケを抑えることができる。
　また、複数のライン状の光の焦点位置は、ライン状の光ごとに異なってもよい。この場合でも、蛍光画像のボケを抑えることができる。
　また、画像処理部１７０は、蛍光画像に対応する画像内場所ごとに点像強度分布関数を最適化し、画像内場所ごとの最適な点像強度分布関数と蛍光画像とをデコンボリューションしてもよい。これにより、確実に蛍光画像のボケを抑えることができる。
　また、画像処理部１７０は、撮像部により撮影されたピンホール撮影データに基づく複数のピンホールの場所に応じた最適な点像強度分布関数、または、それらのピンホールの場所の間に補間された最適な前記点像強度分布関数を用いてもよい。これにより、確実に蛍光画像のボケを抑えることができる。
　また、画像処理部１７０は、画像内場所ごとの最適な点像強度分布関数と蛍光画像の全体とをデコンボリューションした結果（例えば、各デコンボリューション結果画像）の混合比率を画像内場所に応じて変えてもよい。これにより、確実に蛍光画像のボケを抑えることができる。
　また、画像処理部１７０は、所定のピンホール正解信号波形を初期点像強度分布関数でぼかし、ぼかしたピンホール正解信号波形を撮像部により撮影されたピンホール撮影データに近づけるよう、非線形最小二乗フィッティングで最適な点像強度分布関数を求めてもよい。これにより、確実に蛍光画像のボケを抑えることができる。
　また、画像処理部１７０は、最適な点像強度分布関数と蛍光画像とをデコンボリューションするとき、ルーシーリチャードソンアルゴリズムに基づいたデコンボリューション（例えば、deconvlucy）、ウィーナーフィルタを用いたデコンボリューション（例えば、deconvwnr）、正則化フィルタを用いたデコンボリューション（例えば、deconvreg）、または、ブラインドデコンボリューションアルゴリズムに基づいたデコンボリューション（例えば、deconvblind）を行ってもよい。これにより、確実に蛍光画像のボケを抑えることができる。
　また、画像処理部１７０は、最適な前記点像強度分布関数と色分離後の蛍光画像とをデコンボリューションしてもよい。これにより、確実に蛍光画像のボケを抑えることができる。さらに、デコンボリューション後に色分離処理を行う場合に比べ、処理時間を短縮することができ、また、エッジが鋭い画像を復元することができる。
　＜２．他の実施形態＞
　上述した実施形態又は変形例に係る処理は、上記実施形態以外にも種々の異なる形態又は変形例にて実施されてよい。例えば、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
　また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
　また、上述した実施形態又は変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。また、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、他の効果があってもよい。
　＜３．ハードウェアの構成例＞
　各実施形態（又は各変形例）に係る情報処理装置１００のハードウェアの構成例について図４１を参照して説明する。図４１は、情報処理装置１００のハードウェアの概略構成の一例を示すブロック図である。情報処理装置１００による各種処理は、例えば、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。
　図４１に示すように、情報処理装置１００は、ＣＰＵ（Central　Processing　Unit）９０１、ＲＯＭ（Read　Only　Memory）９０２、ＲＡＭ（Random　Access　Memory）９０３及びホストバス９０４ａを備える。また、情報処理装置１００は、ブリッジ９０４、外部バス９０４ｂ、インタフェース９０５、入力装置９０６、出力装置９０７、ストレージ装置９０８、ドライブ９０９、接続ポート９１１、通信装置９１３及びセンサ９１５を備える。情報処理装置１００は、ＣＰＵ９０１に代えて、又はこれとともに、ＤＳＰ若しくはＡＳＩＣなどの処理回路を有してもよい。
　ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置１００内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。ＣＰＵ９０１は、例えば、情報処理装置１００の少なくとも処理部１３０及び制御部１５０を具現し得る。
　ＣＰＵ９０１、ＲＯＭ９０２及びＲＡＭ９０３は、ＣＰＵバスなどを含むホストバス９０４ａにより相互に接続されている。ホストバス９０４ａは、ブリッジ９０４を介して、ＰＣＩ（Peripheral　Component　Interconnect/Interface）バス等の外部バス９０４ｂに接続されている。なお、必ずしもホストバス９０４ａ、ブリッジ９０４および外部バス９０４ｂを分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。
　入力装置９０６は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等、実施者によって情報が入力される装置によって実現される。また、入力装置９０６は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置１００の操作に対応した携帯電話やＰＤＡ等の外部接続機器であってもよい。さらに、入力装置９０６は、例えば、上記の入力手段を用いて実施者により入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などを含んでいてもよい。実施者は、この入力装置９０６を操作することにより、情報処理装置１００に対して各種のデータを入力したり処理動作を指示したりすることができる。入力装置９０６は、例えば、情報処理装置１００の少なくとも操作部１６０を具現し得る。
　出力装置９０７は、取得した情報を実施者に対して視覚的又は聴覚的に通知することが可能な装置で形成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置及びランプ等の表示装置や、スピーカ及びヘッドホン等の音響出力装置や、プリンタ装置等がある。出力装置９０７は、例えば、情報処理装置１００の少なくとも表示部１４０を具現し得る。
　ストレージ装置９０８は、データ格納用の装置である。ストレージ装置９０８は、例えば、ＨＤＤ等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現される。ストレージ装置９０８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置９０８は、ＣＰＵ９０１が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。ストレージ装置９０８は、例えば、情報処理装置１００の少なくとも保存部１２０を具現し得る。
　ドライブ９０９は、記憶媒体用リーダライタであり、情報処理装置１００に内蔵、あるいは外付けされる。ドライブ９０９は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９０９は、リムーバブル記憶媒体に情報を書き込むこともできる。
　接続ポート９１１は、外部機器と接続されるインタフェースであって、例えばＵＳＢ（Universal　Serial　Bus）などによりデータ伝送可能な外部機器との接続口である。
　通信装置９１３は、例えば、ネットワーク９２０に接続するための通信デバイス等で形成された通信インタフェースである。通信装置９１３は、例えば、有線若しくは無線ＬＡＮ（Local　Area　Network）、ＬＴＥ（Long　Term　Evolution）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Wireless　USB）用の通信カード等である。また、通信装置９１３は、光通信用のルータ、ＡＤＳＬ（Asymmetric　Digital　Subscriber　Line）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９１３は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。
　センサ９１５は、本実施形態においては、スペクトルを取得可能なセンサ（例えば、撮像素子等）を含むところ、他のセンサ（例えば、加速度センサ、ジャイロセンサ、地磁気センサ、感圧センサ、音センサ、または測距センサ等）を含んでもよい。センサ９１５は、例えば、情報処理装置１００の少なくとも画像取得部１１２を具現し得る。
　なお、ネットワーク９２０は、ネットワーク９２０に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク９２０は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Local　Area　Network）、ＷＡＮ（Wide　Area　Network）などを含んでもよい。また、ネットワーク９２０は、ＩＰ－ＶＰＮ（Internet　Protocol-Virtual　Private　Network）などの専用回線網を含んでもよい。
　以上、情報処理装置１００の機能を実現可能なハードウェア構成例を示した。上記の各構成要素は、汎用的な部材を用いて実現されていてもよいし、各構成要素の機能に特化したハードウェアにより実現されていてもよい。従って、本開示を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
　なお、上記のような情報処理装置１００の各機能を実現するためのコンピュータプログラムを作製し、ＰＣ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等を含む。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
　＜４．付記＞
　なお、本技術は以下のような構成も取ることができる。
（１）
　生体試料を含むサンプルに複数のライン状の光を照射する照射部と、
　前記複数のライン状の光にそれぞれ対応する複数の観察スリットを通過した光を受ける撮像部と、
　前記観察スリットごとに、点像強度分布関数を最適化し、最適な前記点像強度分布関数と前記撮像部により受けられた前記光に基づく蛍光画像とをデコンボリューションする画像処理部と、
　生体試料観察システム。
（２）
　前記複数のライン状の光の励起波長は、前記観察スリットごとに異なる、
　上記（１）に記載の生体試料観察システム。
（３）
　前記複数のライン状の光の焦点位置は、前記ライン状の光ごとに異なる、
　上記（１）または（２）に記載の生体試料観察システム。
（４）
　前記画像処理部は、前記蛍光画像に対応する画像内場所ごとに前記点像強度分布関数を最適化し、前記画像内場所ごとの最適な前記点像強度分布関数と前記蛍光画像とをデコンボリューションする、
　上記（１）から（３）のいずれか一つに記載の生体試料観察システム。
（５）
　前記画像処理部は、前記撮像部により撮影されたピンホール撮影データに基づく複数のピンホールの場所に応じた最適な前記点像強度分布関数、または、前記複数のピンホールの場所の間に補間された最適な前記点像強度分布関数を用いる、
　上記（４）に記載の生体試料観察システム。
（６）
　前記画像処理部は、前記画像内場所ごとの最適な前記点像強度分布関数と前記蛍光画像の全体とをデコンボリューションした結果の混合比率を前記画像内場所に応じて変える、
　上記（４）に記載の生体試料観察システム。
（７）
　前記画像処理部は、所定のピンホール正解信号波形を初期点像強度分布関数でぼかし、ぼかした前記ピンホール正解信号波形を前記撮像部により撮影されたピンホール撮影データに近づけるよう、非線形最小二乗フィッティングで最適な前記点像強度分布関数を求める、
　上記（１）から（６）のいずれか一つに記載の生体試料観察システム。
（８）
　前記画像処理部は、最適な前記点像強度分布関数と前記蛍光画像とをデコンボリューションするとき、ルーシーリチャードソンアルゴリズムに基づいたデコンボリューション、ウィーナーフィルタを用いたデコンボリューション、正則化フィルタを用いたデコンボリューション、または、ブラインドデコンボリューションアルゴリズムに基づいたデコンボリューションを行う、
　上記（１）から（７）のいずれか一つに記載の生体試料観察システム。
（９）
　前記画像処理部は、最適な前記点像強度分布関数と色分離後の前記蛍光画像とをデコンボリューションする、
　上記（１）から（８）のいずれか一つに記載の生体試料観察システム。
（１０）
　複数のラインで同時に撮影を行うライン共焦点蛍光顕微鏡における観察スリットごとに、点像強度分布関数を最適化し、最適な前記点像強度分布関数と蛍光画像とをデコンボリューションする画像処理部を有する、
　情報処理装置。
（１１）
　複数のラインで同時に撮影を行うライン共焦点蛍光顕微鏡における観察スリットごとに、点像強度分布関数を最適化し、最適な前記点像強度分布関数と蛍光画像とをデコンボリューションする画像生成方法。
（１２）
　上記（１）から（９）のいずれか一つに記載の生体試料観察システムに係る構成要素を備える情報処理装置。
（１３）
　上記（１）から（９）のいずれか一つに記載の生体試料観察システムにより画像を生成する画像生成方法。
　１　　　観察ユニット
　２　　　処理ユニット
　３　　　表示部
　１０　　励起部
　１１　　コリメータレンズ
　１０Ａ　蛍光試薬
　１１Ａ　試薬識別情報
　１２　　レーザラインフィルタ
　１３ａ　ダイクロイックミラー
　１３ｂ　ダイクロイックミラー
　１４　　ホモジナイザ
　１５　　コンデンサレンズ
　１６　　入射スリット部
　２０　　ステージ
　２０Ａ　標本
　２１　　記憶部
　２１Ａ　標本識別情報
　２２　　データ校正部
　２３　　画像形成部
　３０　　分光イメージング部
　３０Ａ　蛍光染色標本
　３１　　観察スリット部
　３２　　撮像素子
　３２ａ　撮像素子
　３２ｂ　撮像素子
　３３　　第１プリズム
　３４　　ミラー
　３５　　回折格子
　３６　　第２プリズム
　４０　　観察光学系
　４１　　コンデンサレンズ
　４２　　ダイクロイックミラー
　４３　　ダイクロイックミラー
　４４　　対物レンズ
　４５　　バンドパスフィルタ
　４６　　コンデンサレンズ
　５０　　走査機構
　６０　　フォーカス機構
　７０　　非蛍光観察部
　７１　　光源
　７２　　コンデンサレンズ
　７３　　撮像素子
　８０　　制御部
　１００　情報処理装置
　１１０　取得部
　１１１　情報取得部
　１１２　画像取得部
　１２０　保存部
　１２１　情報保存部
　１２２　画像情報保存部
　１２３　解析結果保存部
　１３０　処理部
　１３１　解析部
　１３２　画像生成部
　１４０　表示部
　１５０　制御部
　１６０　操作部
　１７０　画像処理部
　２００　データベース
　３００　ピンホールサンプル
　３１０　ガラス
　３２０　遮光膜
　３３０　封止剤
　３４０　カバーガラス
　３５０　バックライト
　５００　蛍光観察装置

Claims (11)

  1. 　生体試料を含むサンプルに複数のライン状の光を照射する照射部と、
    　前記複数のライン状の光にそれぞれ対応する複数の観察スリットを通過した光を受ける撮像部と、
    　前記観察スリットごとに、点像強度分布関数を最適化し、最適な前記点像強度分布関数と前記撮像部により受けられた前記光に基づく蛍光画像とをデコンボリューションする画像処理部と、
    　を備える、生体試料観察システム。
  2. 　前記複数のライン状の光の励起波長は、前記観察スリットごとに異なる、
    　請求項１に記載の生体試料観察システム。
  3. 　前記複数のライン状の光の焦点位置は、前記ライン状の光ごとに異なる、
    　請求項１に記載の生体試料観察システム。
  4. 　前記画像処理部は、前記蛍光画像に対応する画像内場所ごとに前記点像強度分布関数を最適化し、前記画像内場所ごとの最適な前記点像強度分布関数と前記蛍光画像とをデコンボリューションする、
    　請求項１に記載の生体試料観察システム。
  5. 　前記画像処理部は、前記撮像部により撮影されたピンホール撮影データに基づく複数のピンホールの場所に応じた最適な前記点像強度分布関数、または、前記複数のピンホールの場所の間に補間された最適な前記点像強度分布関数を用いる、
    　請求項４に記載の生体試料観察システム。
  6. 　前記画像処理部は、前記画像内場所ごとの最適な前記点像強度分布関数と前記蛍光画像の全体とをデコンボリューションした結果の混合比率を前記画像内場所に応じて変える、
    　請求項４に記載の生体試料観察システム。
  7. 　前記画像処理部は、所定のピンホール正解信号波形を初期点像強度分布関数でぼかし、ぼかした前記ピンホール正解信号波形を前記撮像部により撮影されたピンホール撮影データに近づけるよう、非線形最小二乗フィッティングで最適な前記点像強度分布関数を求める、
    　請求項１に記載の生体試料観察システム。
  8. 　前記画像処理部は、最適な前記点像強度分布関数と前記蛍光画像とをデコンボリューションするとき、ルーシーリチャードソンアルゴリズムに基づいたデコンボリューション、ウィーナーフィルタを用いたデコンボリューション、正則化フィルタを用いたデコンボリューション、または、ブラインドデコンボリューションアルゴリズムに基づいたデコンボリューションを行う、
    　請求項１に記載の生体試料観察システム。
  9. 　前記画像処理部は、最適な前記点像強度分布関数と色分離後の前記蛍光画像とをデコンボリューションする、
    　請求項１に記載の生体試料観察システム。
  10. 　複数のラインで同時に撮影を行うライン共焦点蛍光顕微鏡における観察スリットごとに、点像強度分布関数を最適化し、最適な前記点像強度分布関数と蛍光画像とをデコンボリューションする画像処理部を有する、
    　情報処理装置。
  11. 　複数のラインで同時に撮影を行うライン共焦点蛍光顕微鏡における観察スリットごとに、点像強度分布関数を最適化し、最適な前記点像強度分布関数と蛍光画像とをデコンボリューションする画像生成方法。
PCT/JP2023/009189 2022-03-29 2023-03-10 生体試料観察システム、情報処理装置及び画像生成方法 WO2023189393A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-053872 2022-03-29
JP2022053872 2022-03-29

Publications (1)

Publication Number Publication Date
WO2023189393A1 true WO2023189393A1 (ja) 2023-10-05

Family

ID=88200760

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/009189 WO2023189393A1 (ja) 2022-03-29 2023-03-10 生体試料観察システム、情報処理装置及び画像生成方法

Country Status (1)

Country Link
WO (1) WO2023189393A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020011571A1 (en) * 2000-05-17 2002-01-31 Lin Gregory Sharat Compton deconvolution camera
JP2014164004A (ja) * 2013-02-22 2014-09-08 Hitachi High-Technologies Corp 蛍光顕微鏡
WO2019230878A1 (ja) * 2018-05-30 2019-12-05 ソニー株式会社 蛍光観察装置及び蛍光観察方法
CN111340702A (zh) * 2020-02-24 2020-06-26 江南大学 基于盲估计的微小缺陷高频超声显微成像的稀疏重构方法
JP6928757B2 (ja) * 2015-07-24 2021-09-01 ライカ マイクロシステムズ シーエムエス ゲゼルシャフト ミット ベシュレンクテル ハフツングＬｅｉｃａ Ｍｉｃｒｏｓｙｓｔｅｍｓ ＣＭＳ ＧｍｂＨ 光学顕微鏡における画像処理のためのシステムおよび方法
WO2021177004A1 (ja) * 2020-03-05 2021-09-10 ソニーグループ株式会社 顕微鏡装置、画像取得システム、及び画像取得方法
JP2021140032A (ja) * 2020-03-05 2021-09-16 ソニーグループ株式会社 信号取得装置、信号取得システム、及び信号取得方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020011571A1 (en) * 2000-05-17 2002-01-31 Lin Gregory Sharat Compton deconvolution camera
JP2014164004A (ja) * 2013-02-22 2014-09-08 Hitachi High-Technologies Corp 蛍光顕微鏡
JP6928757B2 (ja) * 2015-07-24 2021-09-01 ライカ マイクロシステムズ シーエムエス ゲゼルシャフト ミット ベシュレンクテル ハフツングＬｅｉｃａ Ｍｉｃｒｏｓｙｓｔｅｍｓ ＣＭＳ ＧｍｂＨ 光学顕微鏡における画像処理のためのシステムおよび方法
WO2019230878A1 (ja) * 2018-05-30 2019-12-05 ソニー株式会社 蛍光観察装置及び蛍光観察方法
CN111340702A (zh) * 2020-02-24 2020-06-26 江南大学 基于盲估计的微小缺陷高频超声显微成像的稀疏重构方法
WO2021177004A1 (ja) * 2020-03-05 2021-09-10 ソニーグループ株式会社 顕微鏡装置、画像取得システム、及び画像取得方法
JP2021140032A (ja) * 2020-03-05 2021-09-16 ソニーグループ株式会社 信号取得装置、信号取得システム、及び信号取得方法

Similar Documents

Publication Publication Date Title
JP7424286B2 (ja) 蛍光観察装置及び蛍光観察方法
AU2014265382B2 (en) Microscopy of a tissue sample using structured illumination
US10580128B2 (en) Whole slide multispectral imaging systems and methods
JP7181537B2 (ja) 高空間分解能の時間分解イメージング法
JP6605716B2 (ja) 病理学的明視野画像における自動染色検出
JP2024019639A (ja) 顕微鏡システム、プログラム、及び、投影画像生成方法
CN115032196B (zh) 一种全划片高通量彩色病理成像分析仪器及方法
JP2006317261A (ja) 走査型サイトメータの画像処理方法及び装置
US11842555B2 (en) Signal acquisition apparatus, signal acquisition system, and signal acquisition method
US20230092749A1 (en) High throughput snapshot spectral encoding device for fluorescence spectral microscopy
JP6968357B2 (ja) 画像取得方法および画像取得装置
WO2017217325A1 (ja) データ復元装置、顕微鏡システム、およびデータ復元方法
WO2023189393A1 (ja) 生体試料観察システム、情報処理装置及び画像生成方法
JP2022519038A (ja) スペクトル分離
US20210174147A1 (en) Operating method of image processing apparatus, image processing apparatus, and computer-readable recording medium
US11378515B2 (en) Image processing device, imaging system, actuation method of image processing device, and computer-readable recording medium
US20220413275A1 (en) Microscope device, spectroscope, and microscope system
WO2023276219A1 (ja) 情報処理装置、生体試料観察システム及び画像生成方法
WO2023149296A1 (ja) 情報処理装置、生体試料観察システム及び画像生成方法
WO2022249583A1 (ja) 情報処理装置、生体試料観察システム及び画像生成方法
Sanderson Confocal microscopy
WO2022080189A1 (ja) 生体試料検出システム、顕微鏡システム、蛍光顕微鏡システム、生体試料検出方法及びプログラム
JP2019041737A (ja) 画像処理装置、観察装置、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23779418

Country of ref document: EP

Kind code of ref document: A1