WO2019230447A1 - 画像処理方法、薬剤感受性試験方法および画像処理装置 - Google Patents

画像処理方法、薬剤感受性試験方法および画像処理装置 Download PDF

Info

Publication number
WO2019230447A1
WO2019230447A1 PCT/JP2019/019666 JP2019019666W WO2019230447A1 WO 2019230447 A1 WO2019230447 A1 WO 2019230447A1 JP 2019019666 W JP2019019666 W JP 2019019666W WO 2019230447 A1 WO2019230447 A1 WO 2019230447A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
learning model
marker
image processing
cells
Prior art date
Application number
PCT/JP2019/019666
Other languages
English (en)
French (fr)
Other versions
WO2019230447A9 (ja
Inventor
民夫 水上
克己 岸本
Original Assignee
株式会社フロンティアファーマ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2019089529A external-priority patent/JP6627069B2/ja
Application filed by 株式会社フロンティアファーマ filed Critical 株式会社フロンティアファーマ
Priority to EP19811408.4A priority Critical patent/EP3805401B1/en
Priority to US17/059,500 priority patent/US11734824B2/en
Priority to CN201980031660.7A priority patent/CN112135912A/zh
Publication of WO2019230447A1 publication Critical patent/WO2019230447A1/ja
Publication of WO2019230447A9 publication Critical patent/WO2019230447A9/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/50—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
    • G01N33/5005—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing involving human or animal cells
    • G01N33/5008—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing involving human or animal cells for testing or evaluating the effect of chemical or biological compounds, e.g. drugs, cosmetics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/50—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
    • G01N33/5005—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing involving human or animal cells
    • G01N33/5008—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing involving human or animal cells for testing or evaluating the effect of chemical or biological compounds, e.g. drugs, cosmetics
    • G01N33/5011—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing involving human or animal cells for testing or evaluating the effect of chemical or biological compounds, e.g. drugs, cosmetics for testing antineoplastic activity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/10—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M41/00—Means for regulation, monitoring, measurement or control, e.g. flow regulation
    • C12M41/30—Means for regulation, monitoring, measurement or control, e.g. flow regulation of concentration
    • C12M41/36—Means for regulation, monitoring, measurement or control, e.g. flow regulation of concentration of biomass, e.g. colony counters or by turbidity measurements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2500/00—Screening for compounds of potential therapeutic value
    • G01N2500/10—Screening for compounds of potential therapeutic value involving cells
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10064—Fluorescence image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/40—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for data related to laboratory analysis, e.g. patient specimen analysis

Definitions

  • the present invention relates to an image processing method for determining the position of a specific part among cells included in an image obtained by imaging a cell, a drug sensitivity test method using the same, and an image processing apparatus.
  • ATP method MTT method and the like are known as conventional test methods.
  • MTT method MTT method and the like are known as conventional test methods.
  • the number, size, shape, etc. of cells are automatically measured from an image obtained by imaging a sample.
  • a marker that is selectively expressed in a site having a specific property for example, a cell nucleus
  • this operation is also referred to as labeling.
  • the expression part of the marker in an image is detected by image processing (for example, refer patent document 1).
  • an image captured without using a marker is suitable for observing the shape and texture of cells, but is not necessarily suitable for automatically measuring the position and number of cells. Therefore, establishment of a technique for automatically measuring the position and number of cells from an image without using a marker is desired.
  • the present invention has been made in view of the above problems, and an object thereof is to provide an image processing technique that enables automatic measurement of the position and number of cells included in an image even from an image that does not use a marker. .
  • One aspect of the present invention is an image processing method for detecting the position of a specific detected region from a test image obtained by imaging a cell, and in order to achieve the above object, the test image is input to a first learning model. Then, the output image of the first learning model is input to the second learning model, and the output image of the second learning model is output as a result image in which the position of the detected part is indicated by the representative point To do.
  • Another aspect of the present invention is an image processing apparatus for detecting the position of a specific detected site from a test image obtained by imaging a cell, and in order to achieve the above object, a bright-field image or a test image as the test image.
  • An image acquisition unit that acquires a phase difference image, the test image is input to a first learning model, an output image of the first learning model is input to a second learning model, and the second learning model
  • an image processing unit that outputs an output image as a result image in which the position of the detected portion is indicated by the representative point.
  • the first learning model uses teacher data in which the first image and the second image, which are images captured including the same cells, are associated with each other, and the second image is input.
  • the first image is constructed by executing deep learning (deep learning) corresponding to the output.
  • the first image is an image in which a marker corresponding to the detected site is expressed
  • the second image is an image in which the marker is not expressed.
  • the second learning model corresponds to an image captured including cells and a third image in which the marker is expressed, and information indicating the position of the representative point included in the third image.
  • the data is constructed by executing deep learning with the third image corresponding to the input and the position of the representative point corresponding to the output.
  • the first learning model deep learning is executed using teacher data in which a first image in which a marker corresponding to a detected site is expressed and a second image in which no marker is expressed are associated with each other. It is a learning model constructed by Therefore, in the learned first learning model, an image with a marker and an image without a marker are associated with each other.
  • the first learning model has a function of generating, from a test image without a marker, a pseudo marker-added image that would be obtained if the same sample was imaged in a state where the marker was expressed. Thereby, an image as if the marker is expressed can be obtained without actually introducing the marker into the sample.
  • the second learning model is a learning that is constructed by executing deep learning using teacher data in which an image in which a marker is expressed and information indicating the position of the representative point of the detected part are associated with each other. It is a model. Therefore, in the learned second learning model, the image in which the marker is expressed and the position of the representative point of the detected part included in the image are associated with each other.
  • an image in which the marker is expressed is input to the second learning model, an image indicating the position of the representative point of the detected site existing in the input image is obtained as the output.
  • the output image of the first learning model is used as the input image, a final output image specifying the position of the representative point of the detected part in the image can be obtained.
  • the output image of the first learning model is a pseudo marker-added image generated from a test image without a marker. Therefore, the position of the representative point of the detected site in the image is specified from the test image without the marker by the series of processes described above.
  • Classifying cell images by supervised machine learning has been done for some time. However, many of them are due to clustering in a feature amount space based on artificially selected feature amounts. In this case, since what kind of feature value is used affects the classification accuracy, it is necessary to determine the feature value according to the feature indicated by the detected part and other parts. Therefore, specialized knowledge for selecting feature quantities is required for operation. Moreover, the versatility with respect to various cells is not necessarily high also about the result of learning.
  • a high-precision learning model can be constructed as long as sufficient image samples can be prepared as teacher data. For this reason, it is possible to deal with various cells having different characteristics appearing in the image with the same learning algorithm.
  • the position of the representative point representing the detected site is specified with high accuracy. Therefore, even for a test image without a marker, it is possible to automatically measure the position and the number of detected parts in the image.
  • a drug sensitivity test method comprising a step of counting the number of living cells as the detection site by a method and a step of determining the sensitivity of the cells to the drug based on the result of the counting.
  • the above-described image processing method is executed with a living cell in a test image as a detected site.
  • the position where the living cell exists in a test image can be pinpointed accurately.
  • living cells in the test image can be selectively detected and the number thereof can be obtained with high accuracy. Therefore, based on the number of living cells, it becomes possible to effectively determine the sensitivity of the cells to the drug.
  • the present invention by using a learning model constructed by prior deep learning, it is possible to accurately detect the position of the representative point of the detected site in the image from a test image without a marker. . For this reason, it is possible to output a result image suitable for automatically measuring the position and the number of detected parts.
  • FIG. 1 is a diagram showing a concept of an image processing process according to an embodiment of the present invention.
  • FIG. 2 is a flowchart showing this image processing process.
  • the purpose of this image processing process is to detect the position of a specific detection site (for example, a cell nucleus) from a test image It captured including cells, and finally measure the number of cells that satisfy a predetermined condition. That is. More specifically, the target test image It is, for example, a bright field image or a phase difference image obtained by optical microscope imaging. Further, the detection result of the detected part is output as a result image Io representing the position of the representative point.
  • a specific detection site for example, a cell nucleus
  • a target test image It is acquired (step S101).
  • the test image It may be acquired by newly performing imaging.
  • the test image It may be acquired by reading out image data that has been captured in advance and stored in an appropriate storage unit.
  • the test image It is input to the first learning model 10 (step S102).
  • the first learning model 10 outputs the intermediate image Im created based on the test image It (step S103).
  • the intermediate image Im is an image that will be obtained if the same sample as the test image It is imaged under conditions where the marker appears.
  • the first learning model 10 has a function of creating an intermediate image Im provided with a pseudo marker from the test image It without a marker.
  • the first learning model 10 can also be called, for example, a “marker generation model”. If a pseudo-marked image can be created from an image without a marker with high accuracy (that is, a high degree of similarity can be obtained between the image that is actually introduced and captured), a marker can be added to the sample. There is no need to introduce it. This eliminates the need for invasive imaging of cells to be observed, and contributes to the cost reduction associated with marker introduction.
  • an image without a marker imaged in this way is suitable for visual observation because the shape of the cell, the density of the internal structure, etc. appear clearly.
  • an image with a marker is still advantageous in terms of measurement accuracy for the purpose of quantitatively and automatically detecting a specific part of interest, for example, the position and number of cell nuclei in the image. is there. Therefore, if an image with a marker can be generated from an image without a marker, accurate quantitative measurement can be performed even from an image without a marker.
  • the first learning model 10 is constructed by deep learning using teacher data collected in advance.
  • the teacher data is obtained by collecting a large number of sets of the first teacher image I1 and the second teacher image I2 obtained by imaging the same position of the sample prepared in advance including the cell into which the marker is introduced.
  • the first teacher image I1 is an image of the sample in which the marker is expressed
  • the second teacher image I2 is an image in a state where the marker is not expressed.
  • the marker for example, a marker that selectively emits fluorescence at a specific site of a cell can be used.
  • the fluorescence image of the sample imaged under excitation light illumination can be the first teacher image I1
  • the bright field image of the same sample imaged under visible light illumination can be the second teacher image I2.
  • ⁇ Machine learning is performed by collecting a large number of such cases and using them as teacher data. Then, for example, it is possible to analogize what kind of image appears when an object appearing in an image without a marker is captured in a state where the marker is expressed. By utilizing this fact, it is possible to create a pseudo marker-added image from a markerless image.
  • deep learning is used as a learning algorithm, it is not necessary to artificially provide a feature amount for analyzing an image. For this reason, the specialized knowledge for selecting a feature-value appropriately according to a use is unnecessary.
  • it is possible to construct an optimal learning model that eliminates the possibility of erroneous determination due to inappropriate selection of feature quantities.
  • the deep learning method that can be used in the present embodiment is not limited to a specific algorithm.
  • a deep learning method that can be used particularly preferably in this embodiment to learn the correlation between paired data using paired data such as images for input / output is known as “pix2pix” based on Conditional GAN, for example.
  • pix2pix based on Conditional GAN, for example.
  • There is a method (reference: Phillip Isola et al., Image-to-Image Translation with Conditional Adversarial Networks. CVPR, 21-Nov. 2016, URL: https://arxiv.org/pdf/1611.07004v1.pdf).
  • FIG. 3 is a flowchart showing a learning process for constructing the first learning model.
  • the first learning model 10 collects many sets of bright-field images and fluorescent images obtained by imaging the same position of the same sample (step S201), and performs deep learning using these as teacher data. Can be constructed (step S202).
  • the teacher images are preferably images of cells of the same type as the cells including the detected region of interest in the test image It.
  • FIG. 4 is a schematic diagram showing the operation of the pix2pix algorithm, which is a learning model adopted by this embodiment.
  • the first learning model 10 includes an image generation unit 11, an identification unit 12, and an optimizer 13.
  • the image generation unit 11 includes an encoder 11a that captures an image feature with a plurality of convolution layers, and a decoder 11b that performs an inverse operation from the feature with the same number of deconvolution layers and generates an image.
  • the second teacher image I2 which is a bright field image, is given to the image generation unit 11 as an input image.
  • the identification unit 12 identifies an input image or a generated image from the image feature.
  • the first teacher image I1 which is a fluorescent image, is input to the identification unit 12, and real learning is performed.
  • the generated image Ig output from the image generation unit 11 is input to the identification unit 12 to perform fake learning.
  • the optimizer 13 adjusts the internal parameters of the learning model so that the generated image Ig output from the image generation unit 11 approaches the real image (first teacher image I1). Learning progresses by repeating this. If the learning progresses sufficiently, it has a function of generating a pseudo fluorescent image (intermediate image Im) corresponding to the unknown bright field image (test image It).
  • fluorescence labeling is used here as a method of attaching a marker to a cell
  • the mode of the marker is not limited to this.
  • an embodiment in which a specific part is selectively stained with an appropriate dye may be used.
  • deep learning is performed using a set of an unstained sample image and a stained sample image as teacher data. By doing so, it is possible to create an analogy of an image obtained when the sample is stained from an unstained image newly given.
  • markers may be introduced for one sample.
  • calcein is known as a marker that is expressed in green in the cytoplasm of living cells.
  • propidium iodide (PI) is known as a marker expressed in red in the nucleus of a dead cell.
  • PI propidium iodide
  • an image with a marker can be handled by distinguishing colors.
  • data obtained by capturing a full-color image and separating the colors into RGB colors can be used.
  • image data captured in monochrome via a bandpass filter corresponding to the emission color may be handled as pseudo color separation image data corresponding to the emission color. For example, if monochrome imaging is performed using a high-sensitivity cooled CCD camera, image data that can be reproduced with high resolution can be acquired.
  • the first learning model 10 is constructed by executing deep learning using a set of an image with a marker and an image without a marker as teacher data.
  • the first learning model 10 thus constructed is based on a test image It that is a new bright field image without a marker, and is a pseudo marker by analogizing a fluorescence image obtained when the marker is introduced into the same sample. Create an attached image. This image is the intermediate image Im.
  • the intermediate image Im shown in FIG. 1 is an image with a pseudo marker corresponding to the test image It.
  • two types of markers are expressed by two types of density.
  • an image with a pseudo marker can be created from an image obtained by imaging a sample in which no marker is introduced.
  • an appropriate marker according to the target detected site, the presence or absence of the detected site and its position in the image can be represented in the image.
  • the test image It and the intermediate image Im are superimposed and displayed, it is possible to easily visually recognize which of the objects appearing in the test image It corresponds to the detected part.
  • the life and death of each cell can be clearly indicated.
  • An object that does not correspond to the marker, that is, is not an observation target is excluded from the image at this point, and does not affect subsequent processing.
  • the second learning model 20 is used to specify the position of the detected part from the intermediate image Im created by the first learning model 10.
  • the second learning model 20 is constructed by executing deep learning using a set of a third teacher image I3 and a position information image Ip prepared in advance as teacher data.
  • the position method image Ip is an image indicating the position of a representative point representing the detected site in the corresponding third teacher image I3.
  • the second learning model 20 constructed in this way has a function of detecting the position of a representative point representing the detected part in the image from the image with a marker.
  • the second learning model 20 can also be called a “position determination model”.
  • an intermediate image Im that is an image with a pseudo marker corresponding to the test image It is generated by the first learning model 10 as described above, and the intermediate image Im is the second learning model. 20 (step S104).
  • the second learning model 20 creates an image indicating the position of the representative point of the detected part from the input intermediate image Im, and outputs this as a result image Io (step S105). For example, if the detected site is a “living cell” and the center of gravity of the nucleus is a representative point, the result image Io is “the center of gravity of the nucleus of a living cell” among the objects included in the test image It. It becomes an image showing. The result need not be output as an image in this way, and may be output as data representing the coordinates of the detected representative point, for example.
  • the definitions of the site to be detected and the representative point are not limited to the above and are arbitrary.
  • step S106 If data specifying the position of the representative point of the detected site in the image is obtained, it is easy to automatically count the number of the data from the data (step S106). If the counting result is output and presented to the user (step S107), the user can obtain the counting result of the detected portion included in the image only by preparing the test image It.
  • FIG. 5 is a flowchart showing a learning process for constructing the second learning model.
  • a plurality of fluorescent images to be teacher images (third teacher image I3 shown in FIG. 1) are collected in advance (step S301).
  • a fluorescent image in this case, (1) The same fluorescent image as that collected as the first teacher image I1 (2) Any of the fluorescent images captured separately from the first teacher image I1.
  • the image with a pseudo marker created by the first learning model 10 shows sufficiently high similarity with the actual fluorescence image
  • the teacher image is a fluorescent image, but in a broader sense, the image may be an image in which the same kind of marker is expressed in the detected part of the same kind as the image with the pseudo marker output from the first learning model 10. .
  • the information (position information) for specifying the position of the representative point is collected for the detected part included in the collected fluorescence image (step S302).
  • a detection site such as a specific type of cell or a structure in the cell (for example, a cell nucleus) has a certain spread in the image, and the shape thereof has a large individual difference. For this reason, it is difficult to uniquely represent the position of the detection site with simple data. Therefore, the representative point is appropriately determined, and the position of the detected site is represented by the position.
  • the detected site is a relatively small structure such as a cell nucleus or mitochondria in a cell
  • an appropriate position for example, the center of gravity
  • the center of gravity of the nucleus can be used as a representative point.
  • the position of the representative point is set for the detected site included in each of the collected fluorescence images.
  • the representative point may be set by displaying a fluorescent image as a typical example on the screen and allowing a skilled person to specify and input the position of the representative point.
  • the center or the center of gravity of a relatively small structure that is clearly indicated by a marker such as a cell nucleus may be obtained by image processing, and the position may be set as the position of the representative point.
  • a known image process that contracts an object included in the fluorescence image in stages may be executed, and the remaining points may be used as representative points.
  • a well-known MaxPooling process can be suitably applied.
  • the set of the fluorescence image collected in this way and the position information of the representative point of the detected site included in the fluorescence image is used as teacher data (step S303).
  • this position information is shown as an image Ip in which the positions of representative points are mapped.
  • the present invention is not limited to this.
  • the position information may be represented as a table describing the position coordinates of the representative points.
  • the second learning model 20 is constructed by executing deep learning based on the created teacher data (step S304).
  • the third teacher image I3, which is a fluorescent image is made to correspond to the input, and the position information image Ip indicating the position of the representative point is made to correspond to the output to perform learning. If it carries out like this, it will become possible to detect the position of a to-be-detected site
  • the second learning model 20 constructed as described above is subjected to the target image in the image.
  • This output image becomes the result image Io.
  • FIG. 6A and 6B are diagrams illustrating how to give representative points.
  • an object Q1 having a relatively simple outer shape can be considered to correspond to, for example, one independent cell (or cell mass). Therefore, one representative point P1 may be set therein.
  • FIG. 6B when the outer peripheral shape of the object Q2 is complicated, it can be considered that a plurality of cells are in partial contact. Therefore, a plurality of representative points P2 and P3 may be set according to the shape.
  • the second learning model 20 is suitable for the purpose of specifying the position of the representative point of the detected part from the intermediate image Im output from the first learning model 10 in the present embodiment.
  • the second learning model 20 can also be applied for the purpose of detecting the position of a specific part from a fluorescence image.
  • the second learning model 20 can be used for the purpose of automatically measuring the position and number of a specific part such as a cell based on a fluorescence image of a sample into which a fluorescent marker is introduced.
  • the learning algorithm is the same as that of the first learning model 10 described above.
  • the shape of the cell may not appear clearly in the fluorescence image. This makes it difficult to automatically measure the position and number of cells from a fluorescent image, and it is difficult to improve the accuracy of measurement results.
  • the second learning model 20 can solve this problem.
  • a learning model for evaluating a sample on which a drug that affects cells is applied, a plurality of images obtained by imaging samples prepared at various drug concentrations are taught. It is desirable to be constructed as an image. The morphological characteristics of the cells are changed by the action of the drug, and the magnitude of the change depends on the drug concentration. For this reason, for example, a learning model constructed using only a sample image with a low drug concentration as a teacher image is not always effective for a sample image with a high drug concentration. The same applies to the reverse. If an image group in which images of samples with various drug concentrations are mixed is used as a teacher image, the constructed learning model can also correspond to samples with various drug concentrations.
  • FIG. 7 is a block diagram showing an example of an apparatus configuration capable of executing image processing according to the present embodiment.
  • This apparatus is an example of an image processing system capable of executing the image processing method according to the present invention.
  • the image processing system 100 includes an image processing device 110 and an imaging device 120.
  • the image processing apparatus 110 is an embodiment of the image processing apparatus according to the present invention, and includes a CPU (Central Processing Unit) 111 including an image processing unit 112, a memory 113, an interface 114, and a display unit 115. ing.
  • CPU Central Processing Unit
  • the CPU 111 executes the above-described image processing process and deep learning by executing a predetermined control program stored in the memory 113 in advance.
  • processing for image data is executed by the image processing unit 112.
  • the memory 113 stores a control program executed by the CPU 111 and data generated by processing.
  • the interface 114 manages data communication with an external device.
  • the interface 114 also receives an operation input from the user via an input device (not shown) (for example, a keyboard, a mouse, etc.).
  • the display unit 115 displays and outputs the progress status and results of the process to notify the user.
  • the imaging device 120 is a microscope device having an imaging function, for example.
  • the imaging device 120 captures a sample such as a cell cultured in a well plate, generates image data, and transmits the image data to the interface 114 of the image processing device 110.
  • the imaging device 120 is provided for the purpose of imaging the test image It, it is only necessary to have a bright field imaging function.
  • the imaging device 120 is provided for the purpose of collecting the first teacher image I1 and the second teacher image I2
  • the configuration of the image processing system is not limited to the above, and for example, the image processing device 110 and the imaging device 120 may be configured integrally.
  • the image processing system 100 may not have an imaging function.
  • FIG. 8 is a diagram showing an example of the cell count measurement result according to this embodiment.
  • the inventor of the present application introduces Hoechst 33342 (hereinafter abbreviated as “Hoechst”), which is a marker for staining cell nuclei, into HeLa cells (HeLa) cells and PI, and proteasome inhibitor (MG132) as a drug at various concentrations.
  • Hoechst is a marker for staining cell nuclei
  • HeLa HeLa cells
  • PI proteasome inhibitor
  • the solid line shows an example of the result of specifying the position of the cell nucleus using the first learning model 10 and the second learning model 20 and counting the number using the image obtained by bright field imaging of the sample as the test image It.
  • a broken line indicates an example of a result of directly inputting an image obtained by fluorescence imaging of the same imaging range of the same sample to the second learning model 20, specifying the position of the cell nucleus, and counting the number thereof.
  • the two results are almost consistent at each drug concentration. Similar comparisons were made for multiple samples, but similar results were obtained in all cases.
  • an image with a pseudo marker that is, an intermediate image Im
  • a bright field image that is, a test image It
  • FIG. 9A and FIG. 9B are diagrams comparing the measurement results of the number of cells according to this embodiment with the ATP assay method.
  • FIG. 9A shows an example of the result of evaluating the amount of viable cells by a known ATP assay method for samples treated with various concentrations of drugs, as in FIG.
  • FIG. 9B shows an example of the result of counting the number of living cells of the sample into which Hoechst and PI are introduced according to the present embodiment.
  • the solid line represents the number of seeded cells per well of 5000
  • the broken line represents 2000. Note that the result of FIG. 9B is a count result in an image obtained by imaging a partial region of one well, and thus the count result does not indicate the total number of cells in the well.
  • the detection of the position of the cell and the counting of the number of cells based thereon according to the present embodiment can be used as a quantitative method equivalent to the ATP assay method widely used as a standard quantitative method.
  • the ATP assay is invasive to cells, such as lysing cells
  • the method of this embodiment is capable of quantifying cells from bright field images without using markers or the like, and is non-invasive. This is more advantageous.
  • FIG. 10 and FIG. 11 are diagrams showing examples of images of a triple-stained sample.
  • FIG. 10 is an example of an image when HepG2 cells are used as a sample
  • FIG. 11 is an example of an image when HeLa cells are used as a sample.
  • the pseudo fluorescence image that is, the intermediate image Im
  • the first learning model 10 of the present embodiment shows high similarity with the true fluorescence image using these images.
  • Each sample has three types of fluorescent markers, calcein, Hoechst, and PI.
  • the calcein fluorescence is converted into a green (G) image
  • the Hoechst fluorescence is converted into a red (R) image
  • the PI fluorescence is converted into a blue (B) image.
  • G green
  • R red
  • B blue
  • the cytoplasm of a living cell is shown in green
  • its nucleus is shown in blue.
  • the nuclei of dead cells that stain both Hoechst and PI show a color close to pink in the color image by overlapping red and blue. Therefore, it is possible to distinguish the life and death of the cell from the color of the nucleus.
  • a full-color image obtained by fluorescent imaging of a sample is separated into RGB three primary colors, and image data is input to a first learning model 10 constructed for each color in advance, whereby an intermediate image of each RGB color is obtained.
  • a full-color pseudo fluorescent image can be obtained.
  • the pseudo fluorescence image thus obtained was compared with the true fluorescence image obtained by fluorescence imaging of the same sample. Note that such a full-color pseudo-fluorescent image can also be obtained by inputting image data to the first learning model 10 constructed using the full-color image as a teacher.
  • each image at the left end is a bright-field image serving as an input image to the first learning model 10.
  • the center image is a generated image obtained by inputting the leftmost image to the first learning model 10, that is, an intermediate image Im.
  • the rightmost image is a fluorescent image obtained by actually fluorescent imaging the same sample.
  • the ideal operation of the first learning model 10 used in the image processing process of this embodiment is to output the same image as the right end color image when the left end bright field image is input. In this sense, it can be said that the rightmost color image is a target image to be output by the first learning model 10.
  • the upper two images are examples of samples to which no drug is administered. More specifically, column A corresponds to an example of an image used as teacher data in deep learning, and column B corresponds to an image that was not used as teacher data. Columns C and D are examples of samples to which a drug has been administered. Of these, column C corresponds to an example of an image used as teacher data in deep learning, and column D corresponds to an image that was not used as teacher data.
  • the central generated image (pseudo-fluorescent image) generated and output based on the learning result by the first learning model 10 given the input image is actually sampled.
  • the target image at the right end which is an image obtained by fluorescence imaging, the position, size, brightness, and the like of the light emitting point indicating the position of the cell nucleus are very well matched. This is the same not only for input images used for learning as teacher data but also for input images that are not used for learning, that is, unknown to the first learning model 10.
  • the color of the image is not shown in the figure, but the colors of the generated image and the target image are also in good agreement.
  • the arrangement of the blue image indicating the nucleus of the living cell and the green image indicating the cytoplasm is the generated image and the target. It matches well with the image.
  • a pink image corresponding to the increase in the number of cells killed by the action of the drug is included. Their arrangement also matches well between the images.
  • the pseudo fluorescent image output as the intermediate image Im in the image processing process of the present embodiment can be sufficiently used as a substitute for the fluorescent image obtained by actual fluorescent imaging.
  • the counting results are also in good agreement. It was.
  • the accuracy of the image processing process of this embodiment including the output from the second learning model 20 is shown by the following experimental results.
  • the number of cell nuclei obtained by executing the image processing process of the present embodiment using the bright field image as an input image and the fluorescence image obtained by actual fluorescence imaging instead of the intermediate image Im are second learned.
  • the number of cell nuclei required by giving as model 20 was compared.
  • a sample in which calcein as a marker was introduced into HepG2 cells was prepared, and the bright field image and the fluorescence image were taken. Then, the number of cell nuclei (that is, the number of cells) was counted from the result when the fluorescence image was given to the second learning model 20 as an input. The number of cells at this time is referred to as a “number of correct images”. Further, an intermediate image Im obtained by inputting the bright field image to the first learning model 10 was given as an input to the second learning model 20, and the number of cells was counted from the result. The number of cells at this time is referred to as “number of generated images”.
  • the above-described image processing method of the present embodiment can be used for, for example, a drug sensitivity test method for examining the influence of a drug on cells.
  • a drug sensitivity test method for examining the influence of a drug on cells.
  • an example of a drug sensitivity test method including the above-described image processing process will be described.
  • FIG. 13 is a flowchart showing a drug sensitivity test method to which the image processing method of this embodiment is applied.
  • cells to be evaluated are cultured (step S401), and a sample is prepared by adding a predetermined concentration of drug (step S402).
  • the sample is imaged in a bright field at a predetermined timing, for example, when a certain time has elapsed since the administration of the drug (step S403).
  • the image processing described above is executed for the bright field imaging obtained in this way. Specifically, the imaged bright field image is set as a test image It, the above-described image processing process is executed using a living cell as a detected site (step S404), and the number of living cells is counted (step S405). The effect of the medicine is determined by, for example, obtaining the LC50 value described above from the count result (step S406), and the determination result is output to the display unit 115, for example (step S407). Further, when observation is continued and periodic evaluation is performed (step S408), the process returns to step S403, and imaging and evaluation of the sample are repeated. In this embodiment, since evaluation can be performed only by bright-field imaging without processing cells, continuous evaluation is possible in this way.
  • this embodiment is constructed by deep learning using a set of a fluorescence image as an example of an image with a marker collected in advance and a bright field image as an example of a corresponding image without a marker as teacher data.
  • a second learning model 20 constructed by deep learning using a set of a fluorescence image and information indicating the position of the detected portion in the fluorescence image as teacher data is prepared in advance.
  • the first learning model 10 When a bright field image as the test image It is input to the first learning model 10, the first learning model 10 outputs an image in which a marker is artificially added to the test image It based on the learning result. . That is, the first learning model 10 can create an image similar to the case where the marker is expressed from the bright field image without the marker. For this reason, it is not necessary to introduce a marker in advance, and a marker-attached image can be obtained non-invasively to cells. Accordingly, it is possible to observe a sample containing cells over time. Further, since no work or reagent for introducing the marker is required, the processing cost can be reduced.
  • the second learning model 20 learns the relationship between the image with a marker and the position of the detected part in it. Therefore, the second learning model 20 specifies and outputs the position of the detected region selected in advance from an image with a pseudo marker actually captured or output from the first learning model 10.
  • a plurality of cells may be in contact with each other, or may appear to be in contact with each other by overlapping in the depth direction in the image. By performing learning including such cases, the cells can be separated and processed. Therefore, from the output of the second learning model 20, the position and number of detected parts in the image can be accurately measured.
  • the test image It which is an unknown bright field image
  • the first learning model 10 for processing is input to the first learning model 10 for processing
  • the result is input to the second learning model 20 for processing. It is possible to accurately identify the position of the detected part in the bright field image.
  • the detection result is suitable for the purpose of automatically measuring the position and number of detected parts.
  • the first teacher image I1, the second teacher image I2, and the third teacher image I3 are the “first image”, “second image”, and “third image” of the present invention, respectively. Corresponds to “image”.
  • an interface 114 that receives image data from the outside functions as an “image acquisition unit” of the present invention.
  • the CPU 111, particularly the image processing unit 112, functions as the “image processing unit” of the present invention.
  • the present invention is not limited to the above-described embodiment, and various modifications other than those described above can be made without departing from the spirit of the present invention.
  • the test image It and the second teacher image I2 are bright field images.
  • these may be images obtained by other noninvasive imaging methods, for example, phase difference images.
  • the first teacher image I1 and the third teacher image I3 are fluorescence images.
  • these may be images with other markers, for example, images labeled with a dye that develops color under visible light illumination.
  • the image processing apparatus 110 is configured to receive image data given from an external apparatus, for example, image data obtained by imaging with the imaging apparatus 120 via the interface 114.
  • the image processing apparatus itself may have an imaging function. That is, the entire image processing system 100 can also be viewed as the “image processing apparatus” of the present invention.
  • the imaging device 120 that performs the imaging function functions as the “image acquisition unit” of the present invention. If there are image libraries captured in the past, teacher data can be created from these. In this case, the imaging function for the purpose of acquiring the teacher image can be omitted.
  • a device that executes processing for constructing the first and second learning models may be different from a device that processes the test image It using the result.
  • the first learning model 10 and the second learning model 20 constructed by executing deep learning in a certain image processing apparatus are transplanted to another image processing apparatus, and the transplant destination apparatus processes the test image It. It may be configured to.
  • the learning model is constructed by a device having a high computing capacity such as a supercomputer, it is possible to construct a highly accurate learning model using a large amount of data.
  • an apparatus that processes the test image It using the constructed learning model does not need to have a high calculation capability because only a relatively simple calculation is required. From this, for example, as will be described below, it is possible to execute processing by a relatively simple arithmetic device built in the device.
  • FIG. 14 is a diagram showing another embodiment of the present invention. More specifically, FIG. 14 is a block diagram showing a microscope apparatus 200 which is another embodiment of the image processing apparatus according to the present invention.
  • the microscope apparatus 200 includes a microscopic imaging unit 210 including an illumination light source 211, an imaging optical system 212, and an imaging element 213, a controller 220, and a video interface (IF) 230. That is, this embodiment is a microscope apparatus having a video output function.
  • the microscopic imaging unit 210 only needs to have a function of performing bright field imaging or phase difference imaging of a sample, and does not require a fluorescence imaging function.
  • the controller 220 has a function as a control subject that controls each part of the apparatus and executes an imaging operation. In addition, the controller 220 performs appropriate image processing on the image captured by the imaging unit 210 and outputs the image to the video interface 230. For this purpose, the controller 220 is provided with an image processor 221.
  • the image processing processor 221 is a device in which the above-described learned first learning model 10 and second learning model 20 are incorporated into dedicated hardware as fixed or rewritable data.
  • the image processor 221 can be configured by ASIC (Application Specific Integrated Circuit), PLA (Programmable Logic Array), FPGA (Field Programmable Gate Array), GPU (Graphics Processing Unit), and the like.
  • the image processor 221 has a function of outputting image data corresponding to the intermediate image Im generated by the first learning model 10 and the output image Io generated by the second learning model 20. Further, it may further have a function of superimposing various types of images for synthesis.
  • Image data obtained by imaging by the imaging unit 210 or image data after the image data is processed by the image processor 221 is output to the external display device 300 via the video interface 230.
  • the display device 300 displays and outputs an image corresponding to the image data given from the microscope device 200.
  • the imaging unit 210 functions as an “image acquisition unit” of the present invention
  • the image processor 221 functions as an “image processing unit” of the present invention.
  • the processing result may be output to an appropriate external device 400 via the interface 230.
  • the external device 400 an external storage device that stores processing results, a computer device that receives the processing results and executes further image processing or analysis, and the like can be applied.
  • the image picked up by the image pickup unit 210 can be sequentially processed by the image processor 221 and displayed on the display device 300.
  • the microscope device 200 having no fluorescence imaging function can be caused to function as a pseudo fluorescence microscope. That is, the microscope apparatus 200 has a function of outputting a fluorescent image.
  • the constructed learning model is made into a device in this way, for example, it becomes possible to add a completely new function by incorporating it into an existing microscope apparatus.
  • the time required for processing can be shortened. For example, if processing for one image can be completed in about 0.1 seconds or less, it can be said that image processing is substantially in real time.
  • a learning model can be constructed using a structure that appears only at a specific time in cell activity (for example, a chromosome that appears temporarily in the process of cell division) as a detected site.
  • a specific time in cell activity for example, a chromosome that appears temporarily in the process of cell division
  • an output suitable for observing cell division can be obtained. That is, if the intermediate image Im is displayed on the display device 300, when the detected site appears in the cell activity, a characteristic marker corresponding to the detected site appears in the pseudo-fluorescence image that is the display image. Become. For this reason, it becomes possible to immediately grasp the appearance of the part.
  • the cell cycle can be traced quantitatively from the variation in the count result of the detected site that appears only at a special time in the cell cycle.
  • a marker for selectively staining a site that temporarily appears at each stage of cell activity is available, and a sufficient number of images expressing the marker can be collected as a teacher image, this Such an application becomes possible. That is, a learning model is constructed using such an image with a marker and a corresponding bright field or phase difference image as teacher data, and a bright field image or phase difference image for a sample without a marker is input to the learning model. Thus, it becomes possible to acquire various information related to cell properties such as cell life and death and cell cycle.
  • a learning model is constructed using an image of a sample with a marker showing different expression modes in an undifferentiated cell and a differentiated cell as a teacher image
  • an undifferentiated cell is obtained from the image of the sample into which the marker is not introduced.
  • differentiated cells can be distinguished. It is also possible to acquire quantitative information suitable for observing the differentiation process of cells, such as counting those numbers individually.
  • At least a part of the plurality of first images may be used as at least a part of the plurality of third images.
  • the plurality of first images and the plurality of third images may be different from each other.
  • the output image when the second image is input to the first learning model may be the third image.
  • the 3rd image acquired by the different method may be mixed.
  • an image acquired by various methods can be used as the third image, which is suitable for collecting many cases and enhancing the learning effect.
  • the test image and the second image may be a bright field image or a phase difference image.
  • an image without the expression of a marker can be used. Therefore, it may be an image of a sample into which a marker is not introduced. If a bright-field image or a phase difference image is used as such an image, high affinity can be obtained for visual observation.
  • the first image may be a fluorescent image obtained by capturing fluorescently labeled cells under excitation light illumination.
  • fluorescence labeling technique many methods for selectively expressing a marker at a specific site of a cell according to the purpose have been developed. By applying the method established in this way, it is possible to reliably detect the target site to be detected.
  • the fluorescent labeling may include those showing different expression modes between living cells and dead cells. According to such a configuration, it is possible to distinguish between living cells and dead cells from an image without introducing a marker.
  • the image processing method according to the present invention may be configured to count and output the number of detected parts based on the result image.
  • the position of the representative point of the detected part is detected, for example, even if a plurality of detected parts having a spread in the image overlap, it is possible to detect them individually. is there. From this, it is possible to automatically count the number of detected parts themselves by counting the number of detected representative points.
  • This invention is suitable for observing a sample containing cells over time because the position of a specific part in an image containing cells can be specified non-invasively. Therefore, it is particularly suitable for uses such as a drug sensitivity test for examining the effect of a drug on cells and a drug discovery screening based on the drug sensitivity test.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Immunology (AREA)
  • Molecular Biology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Chemical & Material Sciences (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Hematology (AREA)
  • Urology & Nephrology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Pathology (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Medicinal Chemistry (AREA)
  • Biotechnology (AREA)
  • Tropical Medicine & Parasitology (AREA)
  • Analytical Chemistry (AREA)
  • Quality & Reliability (AREA)
  • Food Science & Technology (AREA)
  • Microbiology (AREA)
  • Cell Biology (AREA)
  • Biochemistry (AREA)
  • Toxicology (AREA)
  • Computational Linguistics (AREA)

Abstract

マーカーを用いない画像からであっても画像に含まれる細胞の位置や個数の自動計測を可能とするために、本発明に係る画像処理方法は、テスト画像を第１の学習モデルに入力し（ステップＳ１０２）、その出力画像を第２の学習モデルに入力し（ステップＳ１０４）、その出力画像を、被検出部位の位置がその代表点によって示された結果画像として出力する（ステップＳ１０５）。ここに第１の学習モデルは、互いに同じ細胞を含んで撮像された画像であるマーカーが発現した第１画像とマーカーの発現がない第２画像とを対応付けた教師データを用いたディープラーニングにより構築されたものである。また第２の学習モデルは、マーカーが発現した第３画像と、第３画像に含まれる代表点の位置を表す情報とを対応付けた教師データを用いたディープラーニングにより構築されたものである。

Description

画像処理方法、薬剤感受性試験方法および画像処理装置
　この発明は、細胞を撮像した画像に含まれる細胞のうち特定部位の位置を決定する画像処理方法、これを用いた薬剤感受性試験方法、および画像処理装置に関するものである。
　例えば創薬スクリーニングを目的とする実験では、薬剤を投与された試料における細胞の変化を観察することが広く行われている。従来の試験方法としてはＡＴＰ法、ＭＴＴ法などが知られている。また近年では、試料を撮像した画像から細胞の個数、サイズ、形状等を自動的に計測することも行われる。このような実験では、特定の性質を有する部位（例えば細胞核）において選択的に発現するようなマーカーが細胞に導入される（この操作はラベリングとも称される）。そして、画像におけるマーカーの発現箇所が、画像処理によって検出される（例えば、特許文献１参照）。
特表２０１５－５２１０３７号公報
　このようなマーカーの導入は観察対象である細胞を改変するものである。そのため、継続的な細胞の観察には必ずしも向いていない。また、マーカーを付与するための試薬やその導入作業が実験コストの上昇の原因となる。このことから、マーカーを用いずに画像から細胞を識別することが望まれる。
　特に創薬スクリーニングのための実験においては、画像中に含まれる種々のオブジェクトのうち、生きている細胞がどれだけあるかを容易に把握することができるのが望ましい。しかしながら、マーカーを用いずに撮像された画像は、細胞の形状やテクスチャなどの観察には適しているが、細胞の位置や個数を自動的に計測するには必ずしも適したものとは言えない。このため、マーカーを用いない画像から細胞の位置や個数を自動的に計測する技術の確立が望まれている。
　この発明は上記課題に鑑みなされたものであり、マーカーを用いない画像からであっても画像に含まれる細胞の位置や個数の自動計測を可能とする画像処理技術を提供することを目的とする。
　この発明の一の態様は、細胞を撮像したテスト画像から特定の被検出部位の位置を検出する画像処理方法であって、上記目的を達成するため、前記テスト画像を第１の学習モデルに入力し、前記第１の学習モデルの出力画像を第２の学習モデルに入力し、前記第２の学習モデルの出力画像を、前記被検出部位の位置がその代表点によって示された結果画像として出力する。
　また、この発明の他の態様は、細胞を撮像したテスト画像から特定の被検出部位の位置を検出する画像処理装置であって、上記目的を達成するため、前記テスト画像としての明視野画像または位相差画像を取得する画像取得部と、前記テスト画像を第１の学習モデルに入力し、前記第１の学習モデルの出力画像を第２の学習モデルに入力し、前記第２の学習モデルの出力画像を、前記被検出部位の位置がその代表点によって示された結果画像として出力する画像処理部とを備える。
　これらの発明において、前記第１の学習モデルは、互いに同じ細胞を含んで撮像された画像である第１画像と第２画像とを対応付けた教師データを用い、前記第２画像を入力に対応させ前記第１画像を出力に対応させてディープラーニング（深層学習）を実行することにより構築されたものである。ここで、第１画像は前記被検出部位に対応するマーカーが発現した画像であり、第２画像は前記マーカーの発現がない画像である。また、前記第２の学習モデルは、細胞を含んで撮像された画像であって前記マーカーが発現した第３画像と、前記第３画像に含まれる前記代表点の位置を表す情報と、を対応付けて教師データとし、前記第３画像を入力に対応させ前記代表点の位置を出力に対応させてディープラーニングを実行することにより構築されたものである。
　このように構成された発明では、マーカーが導入されていないテスト画像からでも、特定の特徴を有する被検出部位の位置を精度よく検出することが可能である。その理由は以下の通りである。
　本発明において、第１の学習モデルは、被検出部位に対応するマーカーが発現した第１画像と、マーカーの発現がない第２画像とを対応付けた教師データを用いてディープラーニングが実行されることにより構築される学習モデルである。したがって、学習済みの第１の学習モデルでは、マーカーありの画像とマーカーなしの画像とが相互に対応づけられている。
　このため、マーカーの発現のないテスト画像を第１の学習モデルに入力すれば、その出力としてテスト画像に対応するマーカー付きの画像が得られる。この画像は、テスト画像の撮像に用いられた試料にマーカーを導入し、そのマーカーが発現する条件で撮像を行ったときに得られる画像に相当する。つまり第１の学習モデルは、マーカーなしのテスト画像から、もし同じ試料がマーカーを発現させた状態で撮像されれば得られるであろう擬似的なマーカー付き画像を生成する機能を有する。これにより、試料に実際にマーカーを導入しなくても、あたかもマーカーが発現したかのような画像を得ることができる。
　一方、第２の学習モデルは、マーカーが発現した画像と、被検出部位の代表点の位置を表す情報とを対応付けた教師データを用いて、ディープラーニングが実行されることにより構築される学習モデルである。したがって、学習済みの第２の学習モデルでは、マーカーの発現した画像と、その中に含まれる被検出部位の代表点の位置とが相互に対応づけられている。
　このため、マーカーが発現した画像を第２の学習モデルに入力すると、その出力としては、入力画像中に存在する被検出部位の代表点の位置を示した画像が得られる。ここで入力画像として第１の学習モデルの出力画像を用いれば、当該画像における被検出部位の代表点の位置を特定した最終的な出力画像が得られる。第１の学習モデルの出力画像はマーカーなしのテスト画像から生成された擬似的なマーカー付き画像である。したがって、上記した一連の処理によって、マーカーなしのテスト画像から、当該画像中の被検出部位の代表点の位置が特定されることになる。
　教師付き機械学習により細胞の画像を分類することは以前から行われている。しかしながら、それらの多くは、人為的に選択された特徴量に基づく特徴量空間内でのクラスタリングによるものである。この場合、どのような特徴量を使用するかが分類精度に影響を与えるため、被検出部位やその他の部位が示す特徴に応じて特徴量を決定する必要がある。したがって、運用に当たっては特徴量を選択するための専門的知識が必要となる。また学習の結果についても、種々の細胞に対する汎用性は必ずしも高くない。
　これに対し、ディープラーニングによる本発明では、事前の特徴量の選択が不要である。教師データとなる画像サンプルを十分に用意することさえできれば、高精度な学習モデルを構築することが可能である。このため、画像に現れる特徴が異なる種々の細胞についても、同一の学習アルゴリズムでの対応が可能となる。
　このように、本発明では被検出部位を代表する代表点の位置が高精度に特定される。そのため、マーカーなしのテスト画像であっても、当該画像中の被検出部位の位置やその個数等を、自動的に計測することが可能となる。
　また、この発明の他の態様は、培養された細胞に評価対象となる薬剤が投与された試料を撮像した画像を取得する工程と、取得された前記画像を前記テスト画像として、上記した画像処理方法により、前記被検出部位としての生きている細胞の数を計数する工程と、前記計数の結果に基づき、前記細胞の前記薬剤に対する感受性を判定する工程とを備える薬剤感受性試験方法である。
　このように構成された発明では、テスト画像中の生きている細胞を被検出部位として上記した画像処理方法が実行される。これにより、テスト画像において生きている細胞が存在する位置を、精度よく特定することができる。この結果を用いれば、テスト画像中の生きている細胞を選択的に検出しその数を精度よく求めることができる。そのため、生きている細胞の数に基づき、薬剤に対する当該細胞の感受性を効果的に判定することが可能となる。
　本発明によれば、事前のディープラーニングにより構築された学習モデルを使用することで、マーカーなしのテスト画像から当該画像中の被検出部位の代表点の位置を精度よく検出することが可能である。このため、被検出部位の位置や個数を自動計測するのに好適な結果画像を出力することができる。
　この発明の前記ならびにその他の目的と新規な特徴は、添付図面を参照しながら次の詳細な説明を読めば、より完全に明らかとなるであろう。ただし、図面は専ら解説のためのものであって、この発明の範囲を限定するものではない。
本発明の一実施形態である画像処理プロセスの概念を示す図である。 この画像処理プロセスを示すフローチャートである。 第１の学習モデルを構築する学習プロセスを示すフローチャートである。 本実施形態が採用する学習モデルの動作を示す模式図である。 第２の学習モデルを構築する学習プロセスを示すフローチャートである。 代表点の与え方を例示する図である。 代表点の与え方を例示する図である。 本実施形態の画像処理を実行可能な装置構成の一例を示すブロック図である。 本実施形態による細胞数の計測結果の例を示す図である。 本実施形態による細胞数の計測結果をＡＴＰアッセイ法と対比した図である。 本実施形態による細胞数の計測結果をＡＴＰアッセイ法と対比した図である。 三重染色された試料の画像例を示す図である。 三重染色された試料の画像例を示す図である。 計数結果を比較する実験結果の一例を示す図である。 本実施形態の画像処理方法を適用した薬剤感受性試験方法を示すフローチャートである。 本発明の他の実施形態を示す図である。
　図１は本発明の一実施形態である画像処理プロセスの概念を示す図である。また、図２はこの画像処理プロセスを示すフローチャートである。この画像処理プロセスの目的は、細胞を含んで撮像されたテスト画像Ｉｔから、特定の被検出部位（例えば細胞核）の位置を検出し、最終的には所定の条件を満たす細胞の個数を計測することである。より具体的には、対象となるテスト画像Ｉｔは、例えば光学顕微鏡撮像により得られる明視野画像や位相差画像である。また、被検出部位の検出結果は、その代表点の位置を表した結果画像Ｉｏとして出力される。
　具体的な処理プロセスの概要は以下の通りである。まず対象となるテスト画像Ｉｔが取得される（ステップＳ１０１）。テスト画像Ｉｔは新たに撮像を実行することによって取得されてもよい。また、予め撮像され適宜の記憶手段に保存されている画像データを読み出すことにより、テスト画像Ｉｔが取得されてもよい。
　テスト画像Ｉｔは第１の学習モデル１０に入力される（ステップＳ１０２）。第１の学習モデル１０は、テスト画像Ｉｔに基づき作成した中間画像Ｉｍを出力する（ステップＳ１０３）。中間画像Ｉｍは、テスト画像Ｉｔと同一のサンプルが、マーカーの発現する条件で撮像されれば得られるであろう画像である。
　つまり、第１の学習モデル１０は、マーカーなしのテスト画像Ｉｔから、疑似的なマーカーが付与された中間画像Ｉｍを作成する機能を有する。この意味において、第１の学習モデル１０は、例えば「マーカー生成モデル」と呼ぶこともできる。マーカーなしの画像から疑似的なマーカー付き画像を高い精度で（つまり実際にマーカーが導入され撮像された画像との間で高い類似度が得られるように）作成することができれば、試料にマーカーを導入する必要がなくなる。このことは、観察対象である細胞に対し侵襲的な撮像を不要とするとともに、マーカー導入に伴うコストの低減にも寄与する。
　マーカーを導入しない撮像においては、試料にマーカー導入のための処理を施す必要がない。このため、細胞に対し非侵襲で撮像を行うことが可能であり、細胞の経時的な変化を観察する目的にも適用することができる。また、マーカーとなる試薬およびそれを導入する処理が不要となるため、撮像を含む実験のコストを抑制することも可能である。また、マーカーの種類によっては、撮像が可能となるまでに例えば長いものでは数日といった時間を要するものもあるが、このような時間も省略することができる。このため、細胞の状態が短時間で大きく変化するような試料の観察にも適しており、例えば再生医療分野への応用にも好適である。
　こうして撮像されるマーカーを伴わない画像、例えば細胞の明視野画像は、細胞の形状や内部構造の濃淡などが明瞭に現れるため目視観察に好適である。その一方、着目すべき特定の部位、例えば細胞核の画像内での位置や個数を定量的にかつ自動的に検出するという目的のためには、計測精度の点で依然としてマーカー付きの画像が有利である。したがって、マーカーなしの画像からマーカー付きの画像を生成することができれば、マーカーなしの画像からでも精度のよい定量的な計測が可能となる。
　この目的のために、第１の学習モデル１０は、予め収集された教師データを用いたディープラーニングによって構築される。教師データは、マーカーが導入された細胞を含んで予め用意された試料の同一位置をそれぞれ撮像した第１教師画像Ｉ１と第２教師画像Ｉ２とのセットを、多数収集したものである。ここで、第１教師画像Ｉ１はマーカーが発現した試料を撮像したものであり、第２教師画像Ｉ２はマーカーが発現しない状態で撮像されたものである。
　マーカーとしては例えば細胞の特定の部位において選択的に蛍光を発するものを用いることができる。この場合には、励起光照明下で撮像される試料の蛍光画像を第１教師画像Ｉ１、可視光照明下で撮像される同じ試料の明視野画像を第２教師画像Ｉ２とすることができる。このような第１教師画像Ｉ１と第２教師画像Ｉ２との間では、画像内で対応する位置同士を比較することで、試料中の同一オブジェクトをマーカー付きで撮像した場合とマーカーなしで撮像した場合との間での画像への現れ方を相互に関連付けることができる。
　このような事例を多数収集して教師データとして用い機械学習が実行される。そうすると、例えばマーカーなしの画像に現れるオブジェクトが、マーカーの発現する状態で撮像された場合にどのような像として現れるかを類推することが可能となる。このことを利用して、マーカーなし画像から疑似的なマーカー付き画像を作成することが可能である。特に学習アルゴリズムとしてディープラーニングを用いたとき、画像を解析するための特徴量を人為的に与える必要がない。このため、用途に応じて適切に特徴量を選定するための専門的知識が不要である。しかも、特徴量の不適切な選択による誤判定の可能性を排除した最適な学習モデルを構築することが可能である。
　ディープラーニングの原理や学習アルゴリズムについては種々の公知資料が既に存在しているため、ここでは詳しい説明を省略する。本実施形態において利用可能なディープラーニング手法は特定のアルゴリズムに限定されるものではない。なお本実施形態において特に好適に利用可能な、画像等の対データを入出力に用い対データ間の相関を学習させるディープラーニング手法としては、例えばConditional GANをベースにした”pix2pix”として知られた方法がある（参考文献：Phillip Isola et al., Image-to-Image Translation with Conditional Adversarial Networks. CVPR, 21-Nov. 2016、ＵＲＬ：https://arxiv.org/pdf/1611.07004v1.pdf）。
　図３は第１の学習モデルを構築するための学習プロセスを示すフローチャートである。上記したように、第１の学習モデル１０は、同一試料の同一位置を撮像した明視野画像と蛍光画像とのセットを多数収集し（ステップＳ２０１）、これらを教師データとしてディープラーニングを実行することにより、構築することができる（ステップＳ２０２）。教師画像（第１教師画像Ｉ１および第２教師画像Ｉ２）は、テスト画像Ｉｔにおいて着目される被検出部位を含む細胞と同種の細胞を撮像したものであることが望ましい。
　図４は本実施形態が採用する学習モデルである、pix2pixアルゴリズムの動作を示す模式図である。図４に示すように、第１の学習モデル１０は、画像生成部１１と、識別部１２と、オプチマイザ１３とを備えている。画像生成部１１は、複数段の畳み込み層で画像特徴を捉えるエンコーダ１１ａと、同じ段数の逆畳み込み層でその特徴から逆演算を行い画像生成を行うデコーダ１１ｂとを有する。明視野画像である第２教師画像Ｉ２が、入力画像として画像生成部１１に与えられる。識別部１２は、画像特徴から入力画像か生成画像かを識別する。蛍光画像である第１教師画像Ｉ１を識別部１２に入力して本物学習が行われる。一方、画像生成部１１から出力された生成画像Ｉｇを識別部１２に入力して偽物学習が行われる。オプチマイザ１３は、画像生成部１１が出力した生成画像Ｉｇが本物（第１教師画像Ｉ１）に近づくように学習モデルの内部パラメータ調整を行う。これを繰り返すことで学習が進む。十分学習が進めば、未知の明視野画像（テスト画像Ｉｔ）から、これに対応する疑似的な蛍光画像（中間画像Ｉｍ）を生成する機能を有することとなる。
　なお、ここでは細胞にマーカーを付す方法として蛍光ラベリングを用いているが、マーカーの態様はこれに限定されない。例えば適宜の染料によって特定の部位が選択的に染色される態様であってもよい。この場合、未染色の試料の画像と染色された試料の画像とのセットを教師データとしてディープラーニングを行う。こうすることで、新たに与えられる未染色画像から、当該試料が染色された場合に得られる画像を類推して作成することができる。
　また、１つの試料に対し複数種のマーカーが導入されてもよい。例えば、生きている細胞の細胞質において緑色に発現するマーカーとしてカルセイン（Calcein）が知られている。また、死んだ細胞の核において赤色に発現するマーカーとしてヨウ化プロピジウム（Propidium Iodide；ＰＩ）が知られている。これらを同一試料に導入することも広く行われている。このような例では、蛍光画像においてそれぞれのマーカーが異なる色で発現する。このため、例えばカラー画像であれば画像を色分解することにより、生きている細胞と死んだ細胞とを区別することが可能である。
　本実施形態の画像処理にもこの手法を導入することが可能である。すなわち、これら２種類のマーカー導入した試料の蛍光画像と明視野画像とのセットを教師データとしてディープラーニングを実行する。こうすることで、テスト画像となる明視野画像中のオブジェクトのうち生きている細胞に対応するものがカルセインに対応する緑色で、死んだ細胞の核に対応するものがＰＩに対応する赤色で、それぞれ示された中間画像が得られることになる。
　なお、このように異なる発光色を有する複数種のマーカーを導入する場合、少なくともマーカー付き画像は色を区別して取り扱うことのできるものである必要がある。例えばフルカラー画像を撮像しＲＧＢ各色に色分解したデータを用いることができる。また、発光色に応じたバンドパスフィルタを介してモノクロ撮像された画像データを、当該発光色に対応する擬似的な分版画像データとして扱うようにしてもよい。例えば高感度の冷却ＣＣＤカメラを用いてモノクロ撮像を行うようにすれば、高分解能で色再現も可能な画像データを取得することができる。
　このように、マーカー付き画像とマーカーなし画像とのセットを教師データとしてディープラーニングを実行することで、第１の学習モデル１０が構築される。こうして構築された第１の学習モデル１０は、マーカーなしの新たな明視野画像であるテスト画像Ｉｔに基づき、同じ試料にマーカーが導入された場合に得られる蛍光画像を類推して疑似的なマーカー付き画像を作成する。この画像が中間画像Ｉｍである。
　図１に示される中間画像Ｉｍは、テスト画像Ｉｔに対応する疑似マーカー付き画像である。ここでは、テスト画像Ｉｔに含まれるオブジェクトのうち２種類のマーカーがそれぞれ発現するものが２種類の濃度で示されている。
　図１および図２に戻って画像処理プロセスの説明を続ける。ここまでの処理により、マーカーを導入していない試料を撮像した画像から、疑似マーカー付き画像を作成することができる。目的とする被検出部位に応じた適宜のマーカーを選択することで、画像内における被検出部位の有無やその位置を画像に表すことができる。例えばテスト画像Ｉｔと中間画像Ｉｍとを重畳して表示すれば、テスト画像Ｉｔに現れるオブジェクトのうちどれが被検出部位に対応するものであるかを簡単に視認することが可能となる。例えば画像中の細胞を目視観察するのに際して、各細胞の生死を明示することができる。マーカーに対応していない、つまり観察対象ではないオブジェクトはこの時点で画像から除外されており、後の処理には影響を与えない。
　ところで、マーカー付き画像、特に励起光に応じてマーカーが発光する蛍光画像においては、その原理上、本来のオブジェクトの形状の情報が失われているケースが多い。このことから、第１の学習モデル１０が出力する疑似マーカー付き画像においても、細胞等の正確な形状や画像における広がり等に関する情報は得られないことがある。例えば試料において複数の細胞が互いに接触しまたは近接している場合、画像にはそれらが一体のものとして現れるケースがあり得る。このことは、細胞の位置や個数を定量的に検出する上での誤差要因となり得る。
　そこで、この実施形態では、第１の学習モデル１０により作成された中間画像Ｉｍから被検出部位の位置を特定するために、第２の学習モデル２０が用いられる。図１に示すように、第２の学習モデル２０は、予め準備された第３教師画像Ｉ３と位置情報画像Ｉｐとのセットを教師データとしてディープラーニングを実行することにより構築されたものである。位置方法画像Ｉｐは、対応する第３教師画像Ｉ３中の被検出部位を代表する代表点の位置を示す画像である。
　後述するように、このようにして構築される第２の学習モデル２０は、マーカー付き画像から、画像中の被検出部位を代表する代表点の位置を検出する機能を有する。この意味において、第２の学習モデル２０は「位置決定モデル」と呼ぶこともできる。具体的な処理プロセスにおいては、上記のようにしてテスト画像Ｉｔに対応する疑似的マーカー付き画像である中間画像Ｉｍが第１の学習モデル１０により生成され、該中間画像Ｉｍは第２の学習モデル２０に入力される（ステップＳ１０４）。
　第２の学習モデル２０は、入力された中間画像Ｉｍから被検出部位の代表点の位置を示す画像を作成し、これを結果画像Ｉｏとして出力する（ステップＳ１０５）。例えば被検出部位を「生きている細胞」とし、その核の重心位置を代表点とすれば、結果画像Ｉｏは、テスト画像Ｉｔに含まれるオブジェクトのうち「生きている細胞の核の重心位置」を示した画像となる。結果についてはこのように画像として出力される必要は必ずしもなく、例えば検出された代表点の座標を表すデータとして出力されてもよい。被検出部位および代表点の定義についても、上記に限定されず任意である。
　こうして画像における被検出部位の代表点の位置を特定するデータが得られれば、そのデータから例えばその個数を自動的に計数すること（ステップＳ１０６）は容易である。計数結果が出力されユーザに提示されるようにすれば（ステップＳ１０７）、ユーザはテスト画像Ｉｔを用意するだけで、当該画像に含まれる被検出部位の計数結果を入手することができることになる。
　図５は第２の学習モデルを構築するための学習プロセスを示すフローチャートである。予め、教師画像（図１に示す第３教師画像Ｉ３）となる複数の蛍光画像が収集される（ステップＳ３０１）。この場合の蛍光画像としては、
（１）第１教師画像Ｉ１として収集されたものと同じ蛍光画像
（２）第１教師画像Ｉ１とは別に撮像された蛍光画像
のいずれであってもよい。さらに、第１の学習モデル１０により作成される疑似マーカー付き画像が実際の蛍光画像と十分に高い類似性を示す場合には、
（３）第１の学習モデル１０が出力した疑似的な蛍光画像
を用いることも可能である。またそれらを合わせて教師画像としてもよい。
　なお、ここでは教師画像を蛍光画像としているが、より広義には、第１の学習モデル１０が出力する疑似マーカー付き画像と同種の被検出部位について、同種のマーカーが発現した画像であればよい。
　収集された蛍光画像に含まれる被検出部位につき、その代表点の位置を特定するための情報（位置情報）が収集される（ステップＳ３０２）。例えば特定の種類の細胞や細胞中の構造体（例えば細胞核）などの被検出部位は、画像内で一定の広がりを有しており、その形状も個体差が大きい。このため、被検出部位の位置を簡素なデータで一意に表すことは困難である。そこで、その代表点を適宜に定め、その位置によって被検出部位の位置を表すこととする。
　例えば被検出部位が細胞中の細胞核やミトコンドリアなど比較的小さな構造体である場合には、画像内での当該構造体の適宜の位置（例えば重心位置）を代表点とすることができる。また、個々の細胞が被検出部位とされる場合にも、その核の重心位置を代表点とすることができる。このようにすると、例えば近接する複数の細胞が蛍光画像内で一体になっていたとしても、核の位置を特定すれば複数の核を含むことから、それらは別個の細胞であることが示される。すなわち、蛍光画像では一体に見える複数の細胞を区別し、個別に計数することが可能になる。
　これを可能とするために、収集された蛍光画像の各々に含まれる被検出部位について、その代表点の位置が設定される。例えば、典型例としての蛍光画像を画面に表示させ熟練者に代表点の位置を指定入力させることで代表点を設定してもよい。また、例えば細胞核のようにマーカーによって明示される比較的小さな構造体の中心または重心を画像処理によって求め、その位置を代表点の位置としてもよい。また、蛍光画像に含まれるオブジェクトを段階的に収縮させる公知の画像処理（エロージョン処理）を実行し、最終的に残る点を代表点としてもよい。このように広がりを有する領域から１つの代表点を選出する画像処理としては、例えば公知のMaxPooling処理を好適に適用可能である。
　こうして収集された、蛍光画像とそれに含まれる被検出部位の代表点の位置情報とのセットが教師データとされる（ステップＳ３０３）。図１では、この位置情報が代表点の位置をマッピングした画像Ｉｐとして示されている。しかしながら、これに限定されず、例えば代表点の位置座標を記述したテーブルとして位置情報が表されていてもよい。
　作成された教師データに基づきディープラーニングが実行されることにより、第２の学習モデル２０が構築される（ステップＳ３０４）。例えば蛍光画像である第３教師画像Ｉ３を入力に対応させ、代表点の位置を示す位置情報画像Ｉｐを出力に対応させて学習を行わせる。こうすれば、被検出部位に対応するマーカーが発現した蛍光画像から被検出部位の位置を検出することが可能となる。
　すなわち、上記のようにして構築される第２の学習モデル２０は、第１の学習モデル１０が出力する中間画像Ｉｍあるいは新たに取得された未知の蛍光画像が入力されると、当該画像における被検出部位を代表点の位置によって示した画像を出力するという機能を獲得したことになる。この出力画像が結果画像Ｉｏとなる。なお、処理の目的としては被検出部位の位置が特定されれば足りる。その意味では、代表点の位置を示した結果画像Ｉｏを作成することに代えて、あるいはこれに加えて、例えば検出された代表点の位置座標を表したテーブルまたはリストが作成される態様であってもよい。
　図６Ａおよび図６Ｂは代表点の与え方を例示する図である。図６Ａに示すように、比較的単純な外形を有するオブジェクトＱ１については、例えば独立した１つの細胞（または細胞塊）に対応するものと考えることができる。したがって、その内部に１つの代表点Ｐ１が設定されるようにすればよい。一方、図６Ｂに示すように、オブジェクトＱ２の外周形状が複雑である場合には、複数の細胞が部分的に接していると見なせる。そこで、その形状に応じて複数の代表点Ｐ２，Ｐ３が設定されるようにすればよい。
　このような細胞の連結に対しても、種々の事例を収集した教師データを用意し、ディープラーニングにより第２の学習モデル２０を構築することで対応可能である。すなわち、未知の蛍光画像あるいは第１の学習モデル１０が出力する中間画像Ｉｍにおいて同様の形状のオブジェクトが現れたとき、それが単一の細胞であると誤認識されることなく、個々の細胞に対応してそれぞれの代表点が検出されることになる。
　このように、第２の学習モデル２０は、本実施形態における第１の学習モデル１０から出力される中間画像Ｉｍから被検出部位の代表点の位置を特定するという目的に好適なものである。それだけでなく、より一般的に、蛍光画像から特定の部位の位置を検出するという目的にも、第２の学習モデル２０を適用可能である。例えば、蛍光発光するマーカーを導入した試料の蛍光画像に基づき、細胞等の特定の部位の位置や個数を自動的に計測するという用途に、第２の学習モデル２０を使用することができる。学習アルゴリズムは前述の第１の学習モデル１０と同様である。
　前記したように、蛍光画像では細胞の形状が明瞭に現れない場合がある。このことが蛍光画像から細胞の位置や個数を自動的に計測することを困難にし、計測結果の精度向上が難しくなっているという問題がある。第２の学習モデル２０は、この問題の解消を図ることができるものである。
　なお、後述するように細胞に影響を与えるような薬剤を作用させた試料を評価する場合の学習モデルについては、種々の薬剤濃度で作製された試料を撮像して得られた複数の画像を教師画像として構築されることが望ましい。薬剤の作用によって細胞の形態的特徴が変化し、その変化の大きさは薬剤濃度に依存する。このため、例えば薬剤濃度が低い試料の画像のみを教師画像として構築された学習モデルは、薬剤濃度の高い試料の画像に対しても有効であるとは限らない。その逆についても同様である。種々の薬剤濃度の試料の画像を混在させた画像群を教師画像とすると、構築される学習モデルも種々の薬剤濃度の試料に対応することが可能なものとなる。
　図７は本実施形態の画像処理を実行可能な装置構成の一例を示すブロック図である。この装置は、本発明に係る画像処理方法を実行可能な画像処理システムの一例である。画像処理システム１００は、画像処理装置１１０および撮像装置１２０を備えている。画像処理装置１１０は、本発明に係る画像処理装置の一実施形態であり、画像処理部１１２を内蔵するＣＰＵ（Central Processing Unit）１１１と、メモリ１１３と、インターフェース１１４と、表示部１１５とを備えている。
　ＣＰＵ１１１は、メモリ１１３に予め記憶された所定の制御プログラムを実行することで、上記した画像処理プロセスおよびディープラーニングを実行する。該プロセスにおいて画像データに対する処理は、画像処理部１１２により実行される。メモリ１１３は、ＣＰＵ１１１が実行する制御プログラムや処理により生成されるデータを記憶する。インターフェース１１４は外部装置とのデータ通信を司る。インターフェース１１４はまた、図示しない入力装置（例えばキーボード、マウス等）を介してユーザからの操作入力を受け付ける。表示部１１５は、プロセスの進行状況や結果を表示出力してユーザに報知する。
　撮像装置１２０は、例えば撮像機能を備えた顕微鏡装置である。撮像装置１２０は、例えばウェルプレートで培養された細胞等の試料を撮像して画像データを生成し、画像処理装置１１０のインターフェース１１４に送信する。撮像装置１２０がテスト画像Ｉｔを撮像することを目的として設けられる場合、明視野撮像機能を有していればよい。一方、撮像装置１２０が第１教師画像Ｉ１および第２教師画像Ｉ２を収集する目的で設けられる場合、明視野撮像機能に加え蛍光撮像機能を有していればよい。１つの試料に対し明視野撮像と蛍光撮像とを同一視野で実行可能であることが望ましい。
　なお、画像処理システムの構成は上記に限定されず、例えば画像処理装置１１０と撮像装置１２０とが一体的に構成されていてもよい。また、例えば過去に撮像された画像データのライブラリを（例えばインターフェース１１４を介して受信することで）利用することができる場合には、画像処理システム１００が撮像機能を有していなくてもよい。
　以下、上記のように構成された画像処理プロセスの実施例について説明する。本願発明者は、本実施形態の画像処理プロセスの実効性を検証するために各種の評価実験を行った。それにより、画像から細胞の位置や個数を自動計測するのに、このプロセスが有効であることを示す結果が得られた。その結果の一部を以下に示す。
　図８は本実施形態による細胞数の計測結果の例を示す図である。本願発明者は、ヒーラ（ＨｅＬａ）細胞にそれぞれ細胞核を染色するマーカーであるＨｏｅｃｈｓｔ３３３４２（以下、「Ｈｏｅｃｈｓｔ」と略称する）およびＰＩを導入し、薬剤としてのプロテアソーム阻害剤（ＭＧ１３２）を種々の濃度で作用させた試料を用いて、生細胞数をカウントする実験を行った。ここで、Ｈｏｅｃｈｓｔは生死に関わらず細胞の核を蛍光画像において青色に発光させる一方、ＰＩは死んだ細胞の核を赤色に発光させる。このことから、青色（Ｂ）画像においてカウントされる細胞核の数（生細胞および死細胞の合計数）から、赤色（Ｒ）画像においてカウントされる細胞核の数（死細胞の数）を差し引くことで、生細胞の数を算出した。
　図８において実線は、試料を明視野撮像した画像をテスト画像Ｉｔとして、第１の学習モデル１０および第２の学習モデル２０を用いて細胞核の位置を特定しその数を計数した結果の一例を示す。また破線は、同じ試料の同じ撮像範囲を蛍光撮像した画像を直接第２の学習モデル２０に入力して細胞核の位置を特定し、その数を計数した結果の一例を示す。これからわかるように、各薬剤濃度において２つの結果はほぼ一致している。複数の試料について同様の比較を行ったが、いずれにおいても同じような結果が得られた。
　このことから、第１の学習モデル１０に明視野画像（すなわちテスト画像Ｉｔ）を入力することで得られる出力画像である擬似マーカー付き画像（すなわち中間画像Ｉｍ）は、実際にマーカーを導入して撮像されたマーカー付き画像（蛍光画像）と高い類似性を有していることがわかる。
　図９Ａおよび図９Ｂは本実施形態による細胞数の計測結果をＡＴＰアッセイ法と対比した図である。図９Ａは、図８と同様、種々の濃度の薬剤を作用させた試料を公知のＡＴＰアッセイ法により生細胞の量を評価した結果の一例を示している。一方、図９Ｂは、ＨｏｅｃｈｓｔおよびＰＩを導入した試料の生細胞の数を、本実施形態により計数した結果の一例を示している。これらにおいて、実線は１つのウェルへの細胞播種数を５０００、破線は同２０００としたものである。なお、図９Ｂの結果は１つのウェルのうち一部領域を撮像した画像における計数結果であるため、その計数結果はウェル内の細胞の総数を示すものではない。
　これらの結果から、薬剤の効果の指標として一般的に用いられる半数致死濃度（Median Lethal Concentration；ＬＣ５０）をそれぞれ求めると、いずれの方法でもほぼ同じ結果が得られた。複数の試料について同様の比較を行ったが、いずれにおいても同じような結果が得られた。このことから、本実施形態による細胞個数の計数結果が実態とよく一致しており、計数結果に基づく薬効の評価が、ＡＴＰアッセイ法と同等の結果を得られることが示される。また、ＨｅｐＧ２細胞についても同様の評価を行ったが、本実施形態の計数結果から求めたＬＣ５０値とＡＴＰアッセイ法で求めたＬＣ５０値とがよく一致することが確かめられた。
　すなわち、本実施形態による細胞の位置検出およびそれに基づく細胞数の計数は、標準的な定量法として広く用いられるＡＴＰアッセイ法と同等の定量法として利用可能なものであると言える。ＡＴＰアッセイ法が細胞を溶解するなど細胞に対し侵襲的なものであるのに対し、本実施形態の方法は、マーカー等を用いない明視野画像から細胞の定量が可能であり、非侵襲であるという点においてより有利である。
　図１０および図１１は三重染色された試料の画像例を示す図である。このうち図１０は試料としてＨｅｐＧ２細胞を用いたときの画像例、図１１は試料としてＨｅＬａ細胞を用いたときの画像例である。以下、これらの画像を用いて、本実施形態の第１の学習モデル１０により生成される擬似的な蛍光画像（すなわち中間画像Ｉｍ）が真の蛍光画像と高い類似性を示すことを説明する。
　各試料には蛍光マーカーとしてカルセイン、Ｈｏｅｃｈｓｔ、ＰＩの三種類が導入されている。この試料を撮像したカラー画像をＲＧＢ三原色に色分解したとき、カルセインによる蛍光は緑色（Ｇ）画像に、Ｈｏｅｃｈｓｔによる蛍光は赤色（Ｒ）画像に、ＰＩによる蛍光は青色（Ｂ）画像に、それぞれ現れる。三つの単色画像をマージしたフルカラー画像では、生きている細胞の細胞質が緑色で、その核が青色で示される。一方、ＨｏｅｃｈｓｔおよびＰＩの両方に染まる死細胞の核は、赤色と青色とが重なることで、カラー画像ではピンク色に近い色を示す。したがって、核の色から細胞の生死を識別することができる。
　試料を蛍光撮像して得られるフルカラー画像をＲＧＢ三原色に色分解し、予め色ごとに構築された第１の学習モデル１０に画像データを入力することで、ＲＧＢ各色の中間画像が得られる。それらの画像を合成（マージ）することで、フルカラーの擬似蛍光画像が得られる。このようにして得られた擬似蛍光画像と、同じ試料を蛍光撮像して得られた真の蛍光画像とを比較した。なお、このようなフルカラー疑似蛍光画像は、フルカラー画像を教師として構築された第１の学習モデル１０に画像データを入力することによっても得られる。
　これらの図に示される画像を横方向の並びに沿って見たとき、左端の各画像は第１の学習モデル１０への入力画像となる明視野画像である。また、中央の画像は、左端の画像を第１の学習モデル１０に入力することで得られる生成画像、つまり中間画像Ｉｍである。また、右端の画像は、同じ試料を実際に蛍光撮像して得られた蛍光画像である。
　本実施形態の画像処理プロセスにおいて使用される第１の学習モデル１０の理想的な動作は、左端の明視野画像が入力されたときに、右端のカラー画像と同じ画像を出力することである。この意味において右端のカラー画像は、第１の学習モデル１０が出力すべきターゲット画像であると言える。
　これらの図において、上２段の画像は薬剤を投与されていない試料の例である。より具体的には、Ａ欄はディープラーニングにおける教師データとして用いられた画像の一例に対応しており、Ｂ欄は教師データには用いられなかった画像に対応している。また、Ｃ欄およびＤ欄は薬剤が投与された試料の例である。このうちＣ欄はディープラーニングにおける教師データとして用いられた画像の一例に対応しており、Ｄ欄は教師データには用いられなかった画像に対応している。
　図１０、図１１のいずれにおいても、各欄において、入力画像を与えられた第１の学習モデル１０が学習の結果に基づき生成し出力した中央の生成画像（擬似蛍光画像）を、実際に試料を蛍光撮像して得られた画像である右端のターゲット画像と比較すると、細胞核の位置を示す発光点の位置やその大きさ、明るさ等が極めてよく一致している。このことは、教師データとして学習に用いられた入力画像のみならず、学習に使用されなかった、つまり第１の学習モデル１０にとって未知の入力画像においても同様である。
　また、図では画像の色が表されていないが、生成画像とターゲット画像との間ではその色彩についてもよく一致している。具体的には、薬剤を添加していない試料に対応するＡ欄およびＢ欄の画像では、生きている細胞の核を示す青色の像および細胞質を示す緑色の像の配置が、生成画像とターゲット画像との間でよく一致している。また、薬剤が添加された試料に対応するＣ欄およびＤ欄の画像では、薬剤の作用により死滅した細胞が増加してくることに対応して、青色および緑色の像に加えてピンク色の像が含まれている。それらの配置も、画像間でよく一致している。
　これらのことから、本実施形態の画像処理プロセスにおいて中間画像Ｉｍとして出力される擬似蛍光画像は、実際の蛍光撮像により得られる蛍光画像の代替物として十分に利用可能なものであると言える。また、教師データに用いられた画像とそれを入力画像として得られた生成画像とをそれぞれ第２の学習モデル２０に入力して細胞核の個数を計数したところ、それらの計数結果もよく一致していた。
　また、第２の学習モデル２０による出力も含めた本実施形態の画像処理プロセスの正確性については、以下のような実験結果によって示される。実験では、明視野画像を入力画像として本実施形態の画像処理プロセスを実行することで求められる細胞核の個数と、中間画像Ｉｍの代わりに実際の蛍光撮像により得られた蛍光画像を第２の学習モデル２０として与えることで求められる細胞核の個数とを比較した。
　具体的には、ＨｅｐＧ２細胞にマーカーとしてのカルセインを導入した試料を準備し、その明視野画像および蛍光画像を撮像した。そして、第２の学習モデル２０に蛍光画像を入力として与えた場合の結果から、細胞核の数（すなわち細胞の数）を計数した。このときの細胞の個数を「正解画像由来個数」と称することとする。また、明視野画像を第１の学習モデル１０に入力して得られる中間画像Ｉｍを第２の学習モデル２０に入力として与え、その結果から細胞数を計数した。このときの細胞の個数を「生成画像由来個数」と称する。
　図１２は実験結果の一例を示す図である。図に示されるように、正解画像由来個数と生成画像由来個数とは高い一致度を示しており、最小二乗法により直線近似すると、
　　ｙ＝１．０１９６ｘ－３．１５５４
となり、決定係数Ｒ2は０．９９４であった。このことから、本実施形態のマーカー生成モデル（第１の学習モデル１０）および位置決定モデル（第２の学習モデル２０）の組み合わせが、明視野画像から細胞の個数を計数するのに適していることが示される。
　上記した本実施形態の画像処理方法は、例えば薬剤が細胞に及ぼす影響を調べる薬剤感受性試験方法に利用することが可能である。以下、上記した画像処理プロセスを含む薬剤感受性試験方法の一例について説明する。
　図１３は本実施形態の画像処理方法を適用した薬剤感受性試験方法を示すフローチャートである。最初に、評価対象となる細胞が培養され（ステップＳ４０１）、所定濃度の薬剤が添加されることにより試料が作製される（ステップＳ４０２）。試料は、薬剤投与から一定時間が経過した時等、所定のタイミングで明視野撮像される（ステップＳ４０３）。
　こうして得られた明視野撮像に対し、上記した画像処理が実行される。具体的には、撮像された明視野画像をテスト画像Ｉｔとし、生細胞を被検出部位として上記の画像処理プロセスが実行され（ステップＳ４０４）、生細胞の数がカウントされる（ステップＳ４０５）。計数結果から例えば上記したＬＣ５０値を求める等により薬剤の効果が判定され（ステップＳ４０６）、判定結果が例えば表示部１１５に出力される（ステップＳ４０７）。さらに観察を継続し定期的に評価を行う場合には（ステップＳ４０８）、ステップＳ４０３に戻り、試料の撮像と評価とが繰り返される。この実施形態では細胞を加工せず明視野撮像のみで評価を行うことができるので、このように継続的な評価が可能となる。
　以上のように、この実施形態では、予め収集されたマーカー付き画像の一例としての蛍光画像とこれに対応するマーカーなし画像の一例としての明視野画像とのセットを教師データとするディープラーニングにより構築される第１の学習モデル１０と、蛍光画像と該蛍光画像における被検出部位の位置を示す情報とのセットを教師データとするディープラーニングにより構築される第２の学習モデル２０とが予め準備される。
　テスト画像Ｉｔとしての明視野画像が第１の学習モデル１０に入力されると、第１の学習モデル１０は、学習結果に基づき、テスト画像Ｉｔに疑似的にマーカーが付された画像を出力する。つまり、第１の学習モデル１０は、マーカーなしの明視野画像からマーカーが発現した場合と同様の画像を作成することができる。このため、事前のマーカー導入を行う必要がなくなり、細胞に対し非侵襲でマーカー付き画像を得ることができる。したがって細胞を含む試料の経時的な観察も可能となる。また、マーカー導入のための作業や試薬が不要であるため、処理コストの低減を図ることができる。
　第２の学習モデル２０は、マーカー付き画像とその中の被検出部位の位置との間の関係を学習している。したがって第２の学習モデル２０は、実際に撮像された、または第１の学習モデル１０が出力する疑似的なマーカー付きの画像から、予め選択された被検出部位の位置を特定し出力する。複数の細胞が互いに接している、あるいは画像内で深さ方向に重なることで見かけ上接しているように見える場合があり得る。このような事例も含めて学習を行わせることにより、それらの細胞を分離して処理することが可能となる。したがって、第２の学習モデル２０の出力から、画像中における被検出部位の位置や数を正確に計測することができる。
　結果として、上記実施形態では、未知の明視野画像であるテスト画像Ｉｔを第１の学習モデル１０に入力して処理させ、その結果を第２の学習モデル２０に入力して処理させることにより、明視野画像中の被検出部位の位置を精度よく特定することが可能である。そして、その検出結果は被検出部位の位置や数を自動的に計測する目的に好適なものとなっている。
　以上説明したように、上記の実施形態においては、第１教師画像Ｉ１、第２教師画像Ｉ２および第３教師画像Ｉ３がそれぞれ本発明の「第１画像」、「第２画像」および「第３画像」に相当している。また、図７の画像処理装置１１０において、外部から画像データを受け取るインターフェース１１４が本発明の「画像取得部」として機能している。また、ＣＰＵ１１１、特に画像処理部１１２が本発明の「画像処理部」として機能している。
　なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能である。例えば、上記実施形態においてテスト画像Ｉｔおよび第２教師画像Ｉ２は明視野画像である。しかしながら、これらは他の非侵襲撮像方法で得られる画像、例えば位相差画像であってもよい。また、上記実施形態において第１教師画像Ｉ１および第３教師画像Ｉ３は蛍光画像である。しかしながら、これらは他のマーカー付き画像、例えば可視光照明下で発色する染料によるラベリングが施された画像であってもよい。
　また、上記実施形態の画像処理装置１１０は外部装置から与えられる画像データ、例えば撮像装置１２０での撮像により得られた画像データをインターフェース１１４を介して受信する構成である。しかしながら、前記したように、画像処理装置自体が撮像機能を有していてもよい。すなわち、画像処理システム１００の全体を本発明の「画像処理装置」と見ることもできる。この場合、撮像機能を実行する撮像装置１２０が本発明の「画像取得部」として機能することになる。また、過去に撮像された画像ライブラリが存在する場合には、これらから教師データを作成することも可能である。この場合には、教師画像を取得する目的での撮像機能は省くことが可能である。
　また例えば、第１および第２の学習モデルを構築するための処理を実行する装置と、その結果を利用してテスト画像Ｉｔを処理する装置とが異なっていてもよい。例えば、ある画像処理装置においてディープラーニングを実行することで構築された第１の学習モデル１０および第２の学習モデル２０を他の画像処理装置に移植し、移植先の装置がテスト画像Ｉｔを処理するように構成されてもよい。学習モデルの構築を例えばスーパーコンピュータのような高い演算能力を有する装置により実行するようにすれば、大量のデータを用いて精度の高い学習モデルを構築することが可能となる。一方、構築された学習モデルを利用してテスト画像Ｉｔを処理する装置では、比較的簡単な演算のみで済むため高い演算能力を備える必要がない。このことから、例えば以下に説明するように、装置に内蔵された比較的単純な演算装置で処理を実行することが可能になる。
　図１４は本発明の他の実施形態を示す図である。より具体的には、図１４は本発明に係る画像処理装置の別実施形態である顕微鏡装置２００を示すブロック図である。この顕微鏡装置２００は、照明光源２１１、撮像光学系２１２および撮像素子２１３を含む顕微撮像ユニット２１０と、コントローラ２２０と、ビデオインターフェース（ＩＦ）２３０とを備えている。つまり、この実施形態は、ビデオ出力機能を有する顕微鏡装置である。顕微撮像ユニット２１０は、試料を明視野撮像または位相差撮像する機能を有していればよく、蛍光撮像機能を必要としない。
　コントローラ２２０は装置各部を制御して撮像動作を実行させる制御主体としての機能を有している。また、コントローラ２２０は、撮像ユニット２１０により撮像された画像に適宜の画像処理を施してビデオインターフェース２３０へ出力する。この目的のために、コントローラ２２０には画像処理プロセッサ２２１が設けられている。
　画像処理プロセッサ２２１は、上記した学習済みの第１の学習モデル１０および第２の学習モデル２０を固定されたまたは書き換え可能なデータとして専用ハードウェアに組み込みデバイス化したものである。例えばＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＡ（Programmable Logic Array）、ＦＰＧＡ（Field Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）等により、画像処理プロセッサ２２１を構成することができる。画像処理プロセッサ２２１は、第１の学習モデル１０により生成される中間画像Ｉｍおよび第２の学習モデル２０により生成される出力画像Ｉｏに対応する画像データを出力する機能を有する。また各種の画像を重ね合わせて合成する機能をさらに有してもよい。
　撮像ユニット２１０による撮像で得られた画像データ、あるいは当該画像データが画像処理プロセッサ２２１で処理された後の画像データは、ビデオインターフェース２３０を介して外部の表示装置３００に出力される。表示装置３００は、顕微鏡装置２００から与えられる画像データに対応する画像を表示出力する。この実施形態では、撮像ユニット２１０が本発明の「画像取得部」として機能し、画像処理プロセッサ２２１が本発明の「画像処理部」として機能することになる。表示装置３００への出力に代えて、あるいはこれに加えて、処理結果がインターフェース２３０を介して適宜の外部装置４００へ出力されてもよい。外部装置４００としては、処理結果を記憶する外部記憶装置や、処理結果を受け取ってさらなる画像処理や解析を実行するためのコンピュータ装置等を適用可能である。
　このような構成によれば、撮像ユニット２１０により撮像された画像を画像処理プロセッサ２２１により逐次処理して、表示装置３００に表示させることができる。ここで、画像処理プロセッサ２２１が出力する中間画像Ｉｍを表示装置３００に表示させるようにすれば、蛍光撮像機能を持たない顕微鏡装置２００を擬似的な蛍光顕微鏡として機能させることが可能になる。すなわち、顕微鏡装置２００は蛍光画像を出力する機能を有することになる。構築された学習モデルをこのようにデバイス化しておけば、例えば既存の顕微鏡装置にこれを組み込むことで全く新しい機能を付与することが可能になる。画像処理に特化された専用ハードウェアを用いることで、処理に要する時間を短縮することができる。例えば１つの画像に対する処理を０．１秒程度またはそれ以下で完了させることができれば、実質的にはリアルタイムでの画像処理ということができる。
　例えば、画像処理に要する時間と同程度の時間間隔で断続的に撮像を行うタイムラプス撮像を実行し、その都度画像処理を行って中間画像Ｉｍを表示装置３００に表示させるようにすることができる。こうすれば、蛍光顕微鏡と同じように、試料を擬似的な蛍光画像によってほぼリアルタイムで観察することが可能になる。また、第２の学習モデル２０が出力する出力画像Ｉｏあるいはそれに基づく計数結果を表示装置３００に表示させるようにすれば、刻々と変化する試料の状態を定量的に把握することが可能になる。
　例えば、細胞の活動において特定の時期のみに現れるような構造物（例えば細胞***の過程で一時的に現れる染色体）を被検出部位として学習モデルを構築しておくことができる。このようにすれば、細胞***の観察に好適な出力を得ることができる。すなわち、表示装置３００に中間画像Ｉｍを表示させるようにすれば、細胞の活動において当該被検出部位が出現したとき、それに対応する特徴的なマーカーが、表示画像である擬似蛍光画像に現れることになる。このため、当該部位の出現を直ちに把握することが可能となる。また、細胞周期の特別の時期のみ出現するような被検出部位の計数結果の変動から、細胞周期を定量的に追跡することも可能となる。
　細胞の活動の各段階で一時的に出現する部位を選択的に染色するマーカーが利用可能であり、かつそのマーカーが発現した画像を教師画像として十分な数収集することが可能であれば、このような応用が可能となる。すなわち、そのようなマーカー付き画像とこれに対応する明視野あるいは位相差画像とを教師データとして学習モデルを構築し、マーカーなしの試料についての明視野画像あるいは位相差画像を学習モデルに入力することで、細胞の生死や細胞周期など、細胞の性状に関する種々の情報を取得することが可能になる。
　また例えば、未分化細胞と分化細胞とで異なる発現態様を示すマーカーを付した試料の画像を教師画像として学習モデルを構築すれば、マーカーを導入していない試料の画像から、未分化状態の細胞と分化状態の細胞とを識別することが可能となる。そして、それらの数を個別に計数するなど、細胞の分化過程の観察に適した定量的な情報を取得することも可能となる。
　以上、具体的な実施形態を例示して説明してきたように、この発明において、例えば、複数の第１画像のうち少なくとも一部が、複数の第３画像の少なくとも一部として用いられてもよい。あるいは例えば、複数の第１画像と、複数の第３画像とが互いに異なっていてもよい。さらに例えば、第２画像を第１の学習モデルに入力したときの出力画像が第３画像とされてもよい。また、異なる方法で取得された第３画像が混在していてもよい。このように、第３画像としては種々の方法で取得される画像を使用可能であり、多くの事例を収集して学習の効果を高めるのに好適である。
　また例えば、テスト画像および第２画像は明視野画像または位相差画像であってもよい。テスト画像および第２画像としてはマーカーの発現のない画像を使用可能であり、したがってマーカーを導入されていない試料を撮像したものであってもよい。このような画像として明視野画像または位相差画像を用いれば、目視観察とも高い親和性を得ることができる。
　また例えば、第１画像は、蛍光ラベリングされた細胞を励起光照明下で撮像した蛍光画像であってもよい。蛍光ラベリング技術では、目的に応じ、細胞の特定の部位に選択的にマーカーを発現させるための手法が多く開発されている。このように確立された手法を適用することで、目的とする被検出部位を確実に検出することが可能となる。
　ここで、蛍光ラベリングは、生きている細胞と死んだ細胞とで異なる発現態様を示すものを含んでいてもよい。このような構成によれば、マーカーを導入することなく、画像から生きている細胞と死んだ細胞とを識別することが可能となる。
　また例えば、本発明に係る画像処理方法は、結果画像に基づき被検出部位の数を計数して出力する構成であってもよい。上記のように、本発明によれば被検出部位の代表点の位置を検出するので、例えば画像内で広がりを有する被検出部位が複数重なっていたとしてもそれらを個別に検出することが可能である。このことから、検出された代表点の数を計数することにより、被検出部位の数そのものを自動的に計数することが可能である。
　以上、特定の実施例に沿って発明を説明したが、この説明は限定的な意味で解釈されることを意図したものではない。発明の説明を参照すれば、本発明のその他の実施形態と同様に、開示された実施形態の様々な変形例が、この技術に精通した者に明らかとなるであろう。故に、添付の特許請求の範囲は、発明の真の範囲を逸脱しない範囲内で、当該変形例または実施形態を含むものと考えられる。
　この発明は、細胞を含む画像中の特定部位の位置を非侵襲で特定することができるので、細胞を含む試料の経時的な観察に好適である。そのため、例えば細胞に対する薬剤の効果を調べる薬剤感受性試験およびそれに基づく例えば抗がん剤等の創薬スクリーニング等の用途に特に好適である。
　１０　第１の学習モデル
　２０　第２の学習モデル
　１００　画像処理システム
　１１０　画像処理装置
　１１１　ＣＰＵ
　１１２　画像処理部
　１１４　インターフェース（画像取得部）
　１２０　撮像装置（画像取得部）
　２００　顕微鏡装置（画像処理装置）
　２１０　撮像ユニット（画像取得部）
　２２１　画像処理プロセッサ（画像処理部）
　Ｉ１　第１教師画像（第１画像）
　Ｉ２　第２教師画像（第２画像）
　Ｉ３　第３教師画像（第３画像）
　Ｉｐ　位置情報画像
　Ｉｍ　中間画像
　Ｉｏ　結果画像
　Ｉｔ　テスト画像

Claims (10)

  1. 　細胞を撮像したテスト画像から特定の被検出部位の位置を検出する画像処理方法であって、
    　前記テスト画像を第１の学習モデルに入力し、前記第１の学習モデルの出力画像を第２の学習モデルに入力し、前記第２の学習モデルの出力画像を、前記被検出部位の位置がその代表点によって示された結果画像として出力し、
    　前記第１の学習モデルは、互いに同じ細胞を含んで撮像された画像である、
    　前記被検出部位に対応するマーカーが発現した第１画像と、
    　前記マーカーの発現がない第２画像と
    を対応付けた教師データを用い、前記第２画像を入力に対応させ前記第１画像を出力に対応させてディープラーニングを実行することにより構築されたものであり、
    　前記第２の学習モデルは、
    　細胞を含んで撮像された画像であって前記マーカーが発現した第３画像と、
    　前記第３画像に含まれる前記代表点の位置を表す情報と
    を対応付けた教師データを用い、前記第３画像を入力に対応させ前記代表点の位置を出力に対応させてディープラーニングを実行することにより構築されたものである、画像処理方法。
  2. 　複数の前記第１画像のうち少なくとも一部が、複数の前記第３画像の少なくとも一部として用いられる請求項１に記載の画像処理方法。
  3. 　複数の前記第１画像と、複数の前記第３画像とが互いに異なる請求項１に記載の画像処理方法。
  4. 　前記第２画像を前記第１の学習モデルに入力したときの出力画像を前記第３画像とする請求項１に記載の画像処理方法。
  5. 　前記テスト画像および前記第２画像は明視野画像または位相差画像である請求項１ないし４のいずれかに記載の画像処理方法。
  6. 　前記第１画像は、蛍光ラベリングされた細胞を励起光照明下で撮像した蛍光画像である請求項１ないし５のいずれかに記載の画像処理方法。
  7. 　前記蛍光ラベリングは、生きている細胞と死んだ細胞とで異なる発現態様を示すものを含む請求項６に記載の画像処理方法。
  8. 　前記結果画像に基づき前記被検出部位の数を計数して出力する請求項１ないし７のいずれかに記載の画像処理方法。
  9. 　培養された細胞に評価対象となる薬剤が投与された試料を撮像した画像を取得する工程と、
    　取得された前記画像を前記テスト画像として、請求項８に記載の画像処理方法により、前記被検出部位としての生きている細胞の数を計数する工程と、
    　前記計数の結果に基づき、前記細胞の前記薬剤に対する感受性を判定する工程と
    を備える薬剤感受性試験方法。
  10. 　細胞を撮像したテスト画像から特定の被検出部位の位置を検出する画像処理装置であって、
    　前記テスト画像としての明視野画像または位相差画像を取得する画像取得部と、
    　前記テスト画像を第１の学習モデルに入力し、前記第１の学習モデルの出力画像を第２の学習モデルに入力し、前記第２の学習モデルの出力画像を、前記被検出部位の位置がその代表点によって示された結果画像として出力する画像処理部と
    を備え、
    　前記第１の学習モデルは、互いに同じ細胞を含んで撮像された画像である、
    　前記被検出部位に対応するマーカーが発現した第１画像と、
    　前記マーカーの発現がない第２画像と
    を対応付けた教師データを用い、前記第２画像を入力に対応させ前記第１画像を出力に対応させてディープラーニングを実行することにより構築されたものであり、
    　前記第２の学習モデルは、
    　細胞を含んで撮像された画像であって前記マーカーが発現した第３画像と、
    　前記第３画像に含まれる前記代表点の位置を表す情報と
    を対応付けた教師データを用い、前記第３画像を入力に対応させ前記代表点の位置を出力に対応させてディープラーニングを実行することにより構築されたものである、画像処理装置。
PCT/JP2019/019666 2018-06-01 2019-05-17 画像処理方法、薬剤感受性試験方法および画像処理装置 WO2019230447A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP19811408.4A EP3805401B1 (en) 2018-06-01 2019-05-17 Image processing method, medicine sensitivity test method and image processing device
US17/059,500 US11734824B2 (en) 2018-06-01 2019-05-17 Image processing method, drug sensitivity test method and image processing apparatus
CN201980031660.7A CN112135912A (zh) 2018-06-01 2019-05-17 图像处理方法、药剂敏感性试验方法以及图像处理装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2018-105777 2018-06-01
JP2018105777 2018-06-01
JP2019-089529 2019-05-10
JP2019089529A JP6627069B2 (ja) 2018-06-01 2019-05-10 画像処理方法、薬剤感受性試験方法および画像処理装置

Publications (2)

Publication Number Publication Date
WO2019230447A1 true WO2019230447A1 (ja) 2019-12-05
WO2019230447A9 WO2019230447A9 (ja) 2021-01-21

Family

ID=68696974

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/019666 WO2019230447A1 (ja) 2018-06-01 2019-05-17 画像処理方法、薬剤感受性試験方法および画像処理装置

Country Status (2)

Country Link
EP (1) EP3805401B1 (ja)
WO (1) WO2019230447A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111310838A (zh) * 2020-02-21 2020-06-19 单光存 一种基于深度Gabor网络的药效图像分类识别方法
WO2021261140A1 (ja) * 2020-06-22 2021-12-30 株式会社片岡製作所 細胞処理装置、学習装置、および学習済モデルの提案装置
WO2021261323A1 (ja) * 2020-06-24 2021-12-30 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム及び情報処理システム
WO2022004337A1 (ja) * 2020-06-30 2022-01-06 ソニーグループ株式会社 判断支援装置、情報処理装置及び学習方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11808760B1 (en) * 2019-02-14 2023-11-07 Curi Bio, Inc. System and methods for in vitro structural toxicity testing

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015521037A (ja) 2012-05-02 2015-07-27 チャールズ リバー ラボラトリーズ， インコーポレイテッド 生死判別染色法
WO2017027380A1 (en) * 2015-08-12 2017-02-16 Molecular Devices, Llc System and method for automatically analyzing phenotypical responses of cells
JP2017045341A (ja) * 2015-08-28 2017-03-02 カシオ計算機株式会社 診断装置、及び診断装置における学習処理方法、並びにプログラム
JP2017085966A (ja) * 2015-11-10 2017-05-25 株式会社Ｓｃｒｅｅｎホールディングス 分類器構成方法および細胞の生死判定方法
JP2017519985A (ja) * 2014-06-16 2017-07-20 シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレーテッドＳｉｅｍｅｎｓ Ｈｅａｌｔｈｃａｒｅ Ｄｉａｇｎｏｓｔｉｃｓ Ｉｎｃ． 血液学用デジタルホログラフィ顕微鏡検査データ分析

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015521037A (ja) 2012-05-02 2015-07-27 チャールズ リバー ラボラトリーズ， インコーポレイテッド 生死判別染色法
JP2017519985A (ja) * 2014-06-16 2017-07-20 シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレーテッドＳｉｅｍｅｎｓ Ｈｅａｌｔｈｃａｒｅ Ｄｉａｇｎｏｓｔｉｃｓ Ｉｎｃ． 血液学用デジタルホログラフィ顕微鏡検査データ分析
WO2017027380A1 (en) * 2015-08-12 2017-02-16 Molecular Devices, Llc System and method for automatically analyzing phenotypical responses of cells
JP2017045341A (ja) * 2015-08-28 2017-03-02 カシオ計算機株式会社 診断装置、及び診断装置における学習処理方法、並びにプログラム
JP2017085966A (ja) * 2015-11-10 2017-05-25 株式会社Ｓｃｒｅｅｎホールディングス 分類器構成方法および細胞の生死判定方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
MIYAKI, AKIRA: "P7. Development of live/death identification and counting technique for label-free and noninvasive cells by deep learning", THE 77TH ANNUAL MEETING OF THE JAPANESE CANCER ASSOCIATION, 27 September 2018 (2018-09-27), XP009524210 *
NIIOKA, H. ET AL.: "Classification of C2C12 cells at differentiation by convolutional neural network of deep learning using phase contrast images", HUMAN CELL, vol. 31, no. 1, 13 December 2017 (2017-12-13), pages 87 - 93, XP036389083, DOI: 10.1007/s13577-017-0191-9 *
ONO, KOSUKE: "P8. Live/death identification and counting technique developed by deep learning for label-free and noninvasive cells, and its application to hepatocyte toxicity assessment", THE 77TH ANNUAL MEETING OF THE JAPANESE CANCER ASSOCIATION, 27 September 2018 (2018-09-27), XP009524213 *
PHILLIP ISOLA ET AL.: "Image-to-image Translation with Conditional Adversarial Networks", CVPR, 21 November 2016 (2016-11-21), Retrieved from the Internet <URL:https://arxiv.org/pdf/1611.07004vl.pdf>
TAKAHASHI, SORA ET AL.: "3P-0777] Deep learning- aided label-free cell counting technology: prediction of fluorescent labels from unlabeled cell images", THE 41ST ANNUAL CONFERENCE OF THE MOLECULAR BIOLOGY SOCIETY OF JAPAN, 9 November 2018 (2018-11-09), XP009524212 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111310838A (zh) * 2020-02-21 2020-06-19 单光存 一种基于深度Gabor网络的药效图像分类识别方法
WO2021261140A1 (ja) * 2020-06-22 2021-12-30 株式会社片岡製作所 細胞処理装置、学習装置、および学習済モデルの提案装置
EP4163360A4 (en) * 2020-06-22 2024-05-01 Kataoka Corporation CELL PROCESSING DEVICE, LEARNING DEVICE AND LEARNED MODEL PROPOSAL DEVICE
WO2021261323A1 (ja) * 2020-06-24 2021-12-30 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム及び情報処理システム
WO2022004337A1 (ja) * 2020-06-30 2022-01-06 ソニーグループ株式会社 判断支援装置、情報処理装置及び学習方法

Also Published As

Publication number Publication date
WO2019230447A9 (ja) 2021-01-21
EP3805401B1 (en) 2023-09-27
EP3805401A1 (en) 2021-04-14
EP3805401A4 (en) 2022-03-09

Similar Documents

Publication Publication Date Title
JP6627069B2 (ja) 画像処理方法、薬剤感受性試験方法および画像処理装置
WO2019230447A1 (ja) 画像処理方法、薬剤感受性試験方法および画像処理装置
US11151716B2 (en) Methods and systems for assessing cell morphology
EP3859425B1 (en) Methods and apparatus for detecting an entity in a bodily sample
US10395368B2 (en) Methods and systems for assessing histological stains
US20190087954A1 (en) Pathology case review, analysis and prediction
US10803290B2 (en) Classifier construction method and method for determining life or death of cell using same
JP4521572B2 (ja) 細胞の評価方法、細胞測定用システム、及び細胞測定用プログラム
JP7026694B2 (ja) 画像解析装置、方法およびプログラム
JP4791900B2 (ja) 画像処理装置および画像処理プログラム
JP2007020449A (ja) スクリーニング方法およびスクリーニング装置
KR20200100062A (ko) 조직학적 이미지 분석
JP5938764B2 (ja) Ｄｎａ二本鎖切断損傷の解析装置及び解析方法
JP4944641B2 (ja) 染色組織標本の陽性細胞の自動検出法
JP2006275771A (ja) 細胞画像解析装置
JP6777147B2 (ja) 画像選択装置、画像選択プログラム、演算装置、及び表示装置
JPWO2018066039A1 (ja) 解析装置、解析方法、及びプログラム
JP2014157158A (ja) 細胞観察方法、三次元細胞画像解析システム及びそれに用いる三次元細胞画像解析装置
JP2005345310A (ja) 血液健康支援システム
JP2020060823A (ja) 画像処理方法および画像処理装置
Grimes Image processing and analysis methods in quantitative endothelial cell biology
Jonas et al. Semi-automated quantitative validation tool for medical image processing algorithm development

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19811408

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019811408

Country of ref document: EP

Effective date: 20210111